Zum Inhalt springen
Kostenloses ErstgesprächErstgespräch

Qvestcon News

KI-Betrieb: Warum gespeicherter Kontext Rechenkosten senkt

Jede Antwort eines Sprachmodells entsteht in zwei Phasen: Prefill verarbeitet die Eingabe und ist durch GPU-Rechen­leis­tung begrenzt, Decoding erzeugt die Antwort Token für Token und ist durch GPU-Speicher begrenzt. Ein KV-Cache speichert Zwi­schen­er­geb­nisse, damit bereits verarbeiteter Kontext nicht neu berechnet wird. Im GPU-Speicher ist er flüchtig. Ein persistenter KV-Cache legt ihn auf Flash-Speicher ab, was nach Darstellung des Gastbeitrags GPU-Auslastung erhöhen und Kosten je Anfrage senken kann. Als Größenordnung nennt der Beitrag mehr als 140 Billionen Tokens täglich in China und Flash-Laufwerke mit bis zu 256 TB. Für IT und COO in Banken und Versicherern, die KI selbst betreiben, ist das als Einordnung von Qvestcon ein Hebel für die Betriebs­kos­ten­pla­nung.

Datenschutz

Drei Phasen der KI-Inferenz: Prefill verarbeitet die Eingabe, der KV-Cache speichert Zwischenergebnisse, Decoding erzeugt die Antwort Token für Token.

Jede Antwort eines Sprachmodells entsteht in zwei Phasen: Prefill verarbeitet die Eingabe und ist durch GPU-Rechen­leis­tung begrenzt, Decoding erzeugt die Antwort Token für Token und ist durch GPU-Speicher begrenzt. Ein KV-Cache speichert Zwi­schen­er­geb­nisse, damit bereits verarbeiteter Kontext nicht neu berechnet wird. Im GPU-Speicher ist er flüchtig. Ein persistenter KV-Cache legt ihn auf Flash-Speicher ab, was nach Darstellung des Gastbeitrags GPU-Auslastung erhöhen und Kosten je Anfrage senken kann. Als Größenordnung nennt der Beitrag mehr als 140 Billionen Tokens täglich in China und Flash-Laufwerke mit bis zu 256 TB. Für IT und COO in Banken und Versicherern, die KI selbst betreiben, ist das als Einordnung von Qvestcon ein Hebel für die Betriebs­kos­ten­pla­nung.

Ori­gi­nal­quelle: newsletter_storage-insider →

Teilen

Diese Einordnung bezieht sich auf die verlinkte Ori­gi­nal­quelle. Sie ist keine Rechts­be­ra­tung im Einzelfall.

Kostenloses Erstgespräch anfragen →

Weitere Meldungen in Datenschutz · alle Qvestcon-News