Ein britisches Fintech hat die Kosten für KI-gestützte Programmierung nach eigenen Angaben innerhalb von weniger als einem Jahr um rund 90 Prozent gesenkt. Es betreibt ein Open-Weight-Modell (Modell mit frei verfügbaren Gewichten) auf 56 Grafikprozessoren vom Typ Nvidia B200 in der eigenen Infrastruktur. Die Kosten liegen laut dem Leiter Betrieb und Infrastruktur bei rund 30 Cent pro Million Eingabe- und Ausgabe-Tokens. Das ist etwa ein Zehntel der früheren Kosten für kommerzielle Dienste. Ob die Hardware-Anschaffung in dieser Rechnung vollständig enthalten ist, geht aus den Berichten nicht hervor. Alle Zahlen stammen vom Unternehmen selbst. Auslöser waren Budgetgrenzen, nachdem einzelne Entwickler 1.000 oder 10.000 US-Dollar im Monat ausgegeben hatten, ohne dass sich das in entsprechenden Ergebnissen zeigte. Das Unternehmen nennt für den Einsatz 60 Prozent kürzere Programmierzeit und 70 Prozent kürzere Durchlaufzeit. Den größten Nutzen sieht es beim Debugging und bei der Ticketbearbeitung. Wichtig für die Praxis: Das Modell verarbeitet nur Text. Anfragen mit Bildern leitet das Unternehmen über einen Router an andere Modelle weiter, kommerzielle Dienste bleiben für Ausnahmefälle verfügbar. Für Banken und Versicherer mit KI-Einsatz in der Entwicklung bietet das drei Ansatzpunkte. Erstens den Verbrauch je Team und Anwendungsfall messen. Zweitens prüfen, welche Aufgaben ein selbst betriebenes Modell übernehmen kann. Drittens klären, welche Daten den eigenen Betrieb nie verlassen dürfen. Eine eigene Rechnung mit Hardware, Betrieb und Personal gehört vor jede Entscheidung.