En AI-agent riskerar kosta mer än en anställd

Utan adekvata kontroller kan AI-agenter kosta mer än vad deras resultat är värda, enligt Jason Calacanis och Chamath Palihapitiya, techprofiler och programledare för den populära podden All In podcast.

Under ett nyligen sänt avsnitt noterade techinvesteraren Calacanis att agentkostnaderna snabbt steg till 300 dollar per dag när han använde Claude API i en av sina organisationer. Samtidigt ersatte dessa agenter, som kostade 100 000 dollar per år, bara en bråkdel av en anställds arbete.

– När överstiger kostnaden för AI-agenterna den anställdes lön? undrade han.

– För du är på väg att nå den gränsen. Jag är på väg att nå den.

Palihapitiya, vd för riskkapitalbolaget Social Capital, sa att hans organisation sätter upp tokenbudgetar för sina bästa utvecklare, men att obegränsad användning av agenter kan bli dyrt.

– Om man summerar det för alla personer kan man tydligt se en trend där man tänker: okej, nu måste de vara minst dubbelt så produktiva som en annan anställd, sa han.

Gränser är nödvändiga, annars skulle han få slut på pengar, tillade han.

Podcasten väckte viss uppmärksamhet på X och LinkedIn, där vissa kommentatorer menade att AI-företagens vinster är för höga. Andra sa att medvärdarnas erfarenheter visar varför organisationer måste ha strikt kontroll över agentutgifterna.

”Detta är inte ett argument mot AI-agenter”, skrev Ayesha Khanna, vd för AI-lösningsleverantören Addo AI, på LinkedIn. ”Frågan är om man använder dem på ett sätt som faktiskt är ekonomiskt rimligt. De flesta team gör det ännu inte.”

Flera andra AI-experter säger att den dagliga kostnaden på 300 dollar kan vara realistisk om it-cheferna inte begränsar utgifterna. Men agenterna behöver inte kosta i närheten av så mycket om rätt kontroller finns på plats, säger de.

Kostnaden för skräddarsydda agenter

Utan kontroller kan agentkostnaderna skjuta i höjden när organisationer använder dyra och skräddarsydda agentsystem för kodning och kör dem via API:er istället för att använda kodningsverktyg direkt, säger Vygandas Pliasas, vd för Solidmatics, en leverantör av fraktionerade cto-tjänster.

– Ibland kan jag nå 500 dollar på en vecka, och det är med en medveten, människoledd strategi. Saken är den att om du låter agenter radera och skriva om kod i blindo, så gör du inte riktigt arbetet själv längre, och jag skulle ha allvarliga tvivel om kvaliteten.

Att låta en agent ta över kodningen och andra uppgifter kan leda till säkerhetsrisker och andra risker, säger han.

– Jag säger alltid att AI är ett verktyg, inte en ersättning för din hjärna. Du leder med din hjärna. Du använder AI för att få svar snabbare, men om du blint litar på den och låter den köra, då kommer du att nå det beloppet. Och resultatet kommer inte att vara värt det.

Dessutom kan en kostnad på 300 dollar per dag vara missvisande utan sammanhang, säger Shahram Anver, vd och datavetare hos Cleric, en leverantör av AI-driven tillförlitlighetsteknik för webbplatser.

– Det händer när man ger en allmän modell en bred uppgift och låter den köra. Det är som att anlita en entreprenör utan tydliga ramar och bli chockad när man får fakturan.

Cleric har byggt en agent för webbplatsdriftsäkerhet (SRE) till en bråkdel av kostnaden på 300 dollar per dag. Den är byggd för ett specifikt syfte och vet vilka frågor den ska ställa och när den ska sluta.

I många fall kan agenter vara mer kostnadseffektiva än att anställa fler it-medarbetare, trots de potentiella kostnadsöverskridandena, säger Anver.

– En senior SRE kostar över 200 000 dollar per år med alla kostnader inkluderade. Om en agent kan utföra 80 procent av deras incidentutredningsarbete till en bråkdel av den kostnaden, är det viktigt om resultatet är tillräckligt bra för att man ska kunna lita på det, och inte vad det faktiskt kostar.

Ändå är det lätt för organisationer att låta sig ryckas med om it-cheferna inte sätter gränser, säger han.

– De flesta företag lär sig detta den hårda vägen. Någon i teamet startar en agent för en uppgift, det fungerar, de berättar för sina teamkamrater, och plötsligt har man 15 agenter igång utan insyn i vad de gör.

Det billigare alternativet

Det finns dyra sätt att distribuera agenter, och det finns billigare sätt, säger Kateryna Babenko, CX/CS-mjukvaruanalytiker hos Katico, en leverantör av AI-fokuserade chattbottar och supportdeskoptimering.

– Om du kör en persistent agent mot ett frontier-modell-API, med hög tokenförbrukning, långa kontextfönster, flerstegsresonemang och tung output, kan ekonomin snabbt bli dålig. I vissa fall kan kostnaden per uppgift bli högre än om man helt enkelt låter en person utföra arbetet, säger hon.

En agent med snävt avgränsad verksamhet i kombination med en mindre, finjusterad AI-modell som körs lokalt eller på ett kontrollerat inferenslager kan dock kosta betydligt mindre, säger Babenko.

De två ytterligheterna i agent-spektrumet är helt olika driftsmodeller, men många företag skiljer inte mellan dem, menar hon.

– De hör ”agent” och antar en viss kostnadskategori, men så är det inte. Det är ett brett spektrum, och skillnaden mellan en smart och en slarvig implementering kan lätt bli tio gånger så stor i driftskostnad.

Därför bör it-chefer modellera tokenvolymen per uppgift, jämföra inferenskostnaden på den modellnivå de använder och jämföra dessa kostnader med arbetskostnaden för de arbetsflöden de vill ersätta eller komplettera, rekommenderar hon.

– De agenter som motiverar sin kostnad är de som används för arbete som ingen vill göra manuellt, där uppgiften är avgränsad, resultatet kan kontrolleras och en människa kan upptäcka misstag innan de får kedjeeffekter, säger Babenko.

It-chefer måste tänka på agenternas ekonomi såväl som de tekniska konsekvenserna.

– De organisationer som hanterar dem väl är de som behandlar dem som vilken annan driftsresurs med rörliga kostnader som helst, med budgetar, kontroller, ägarskap och ansvarsskyldighet inbyggda från dag ett, säger hon.

Begränsa användningen

Pliasas från Solidmatics rekommenderar budgetbegränsningar för agentanvändning. De stora AI-leverantörerna tillåter kunder att sätta fasta utgiftsgränser per API-nyckel eller organisation, påpekar han. It-chefer kan skapa separata API-nycklar per team eller ingenjör och sätta en månatlig gräns i dollar.

För hanterade verktyg som Cursor, GitHub Copilot eller Claudes prenumerationsplaner kontrollerar organisationens it-team licenserna centralt och bestämmer vem som får en plats, vilken nivå de befinner sig på och om de får tillgång till bas- eller premiummodellerna.

Pliasas råder dock också it-chefer att vara flexibla med budgetbegränsningarna.

– Det beror på vilket värde som levereras. Om en utvecklare levererar högkvalitativa funktioner med stor genomslagskraft kanske resultatet motsvarar vad ett team på tio personer skulle producera under ett år. I så fall är kostnaden motiverad och man kan verkligen inte jämföra den med en enskild persons lön.