Revolut vyměnil Claude za čínské modely. Vývoj jsme zkrátili o 70 % a platíme desetinu, říká jeho šéf AI

Když Revolut zkoušel s vývojáři Claude Code od Anthropicu, narazil na vysoké účty. Někteří inženýři podle Davida Abitbola, který ve firmě vede provoz umělé inteligence, utratili za AI asistenta tisíc i deset tisíc dolarů, tedy desítky tisíc, nebo klidně statisíce korun měsíčně bez valné návratnosti. Britská finančně-technologická firma, která konkuruje tradičním bankám a právě dokončila prodej akcií při ocenění 115 miliard dolarů (2,5 bilionu korun), proto sáhla po čínském modelu. Vývojářům od jara s programováním pomáhá model GLM od pekingské firmy Z.ai, který Revolut provozuje na vyhrazených čipech v USA.

„Naše faktura je desetinová proti tomu, co jsme utráceli za Anthropic a OpenAI,“ říká Abitbol, který podrobnosti v říjnu popsal na konferenci AI Engineer v New Yorku (záznam níže). Revolut, který v Česku letos míří k 1,5 milionu klientů, mezitím potvrdil ocenění o víc než polovinu vyšší než loni v listopadu. Investoři v čele s Coatue, T. Rowe Price nebo Baillie Gifford kupovali existující akcie, mimo jiné od zaměstnanců, a nové peníze do firmy nešly, uvádí server Tech.eu.

Cesta k levnějšímu modelu vedla přes několik nástrojů. Nejdřív Revolut v celé firmě nasadil Gemini od Googlu, který podle Abitbola zkrátil čas strávený psaním kódu o 20 procent a dobu od převzetí úkolu po hotovou změnu připravenou k nasazení o deset procent. Claude Code pak firma kvůli nákladům pustila jen s přísnými rozpočtovými limity a výrazný efekt to tehdy podle Abitbola nemělo. Po přechodu na GLM v dubnu se na vzorku zhruba dvou tisíc inženýrů zkrátila doba psaní kódu o 60 procent a doba dodání o 70 procent.

„Zjistili jsme, že úzkým hrdlem vývoje nemusí být nutně samotné programování. Spoustu času ušetříte tím, že se nemusíte prohrabávat e-maily nebo se patlat s Jirou a Confluence,“ vysvětluje Abitbol. S tokeny bez limitu je prý vývojáři už nemusejí šetřit na konec čtvrtletí nebo na nejtěžší úkoly. Na provoz modelu pro zhruba dva tisíce lidí Revolutu stačí 56 čipů Nvidia B200 a smíšená cena vychází na 30 centů (6,5 koruny) za milion tokenů. Modely Anthropicu a OpenAI ve firmě zůstávají. „Nejnovější modely jsou fantastické. Ale držíme je jako výjimku,“ říká Abitbol.

Levný provoz ale nepřišel sám od sebe. Kdo jen nahraje váhy modelu na grafické karty, dočká se podle Abitbola mizerného výkonu. Tým Revolutu proto několik měsíců ladil nastavení a na stejném počtu čipů zkrátil dobu do první odpovědi z víc než deseti sekund na 1,6 sekundy, přestože poptávka mezitím vzrostla o 76 procent. „Jakmile překročíte pět sekund, začne mi explodovat Slack. Takže víme, že tohle je hranice,“ popisuje Abitbol. Kontextové okno tým omezil na 256 tisíc tokenů a úlohy s obrázky, které GLM nezvládá, posílá jiným modelům.

U regulované banky je nejcitlivější původ modelu. Z.ai, dříve Zhipu, je od letošního ledna na burze v Hongkongu a od ledna 2025 na americkém seznamu firem s omezeným přístupem k technologiím kvůli údajným vazbám na armádu. „Kolem používání čínských open source modelů panuje velké stigma. Jenže nepoužíváte endpoint, který vede do Číny. Jen si stáhnete váhy a nahrajete je na službu v USA. Z hlediska sdílení dat je to naprosto v pořádku,“ říká Abitbol. Regulátora má podle něj uklidnit i sandbox, kde agenti smějí spouštět jen povolené příkazy a nad prací je vždy člověk.

Kolik Revolut skutečně ušetřil, je otevřené. Desetinová faktura podle serveru Trending Topics, který vychází z analýzy StartupHub.ai, nezahrnuje náklady na cloud, lidi ani monitoring. Abitbol také neřekl, jestli Revolut čipy koupil, nebo pronajímá. Nákup samotných 56 čipů by podle propočtu Trending Topics vyšel na 1,7 až 2,2 milionu dolarů (37 až 48 milionů korun).