Zum Inhalt springen
Kostenloses ErstgesprächErstgespräch

Qvestcon News

KI-Betrieb: Das Netzwerk bestimmt die GPU-Auslastung

Rechen­auf­träge für KI laufen nur so schnell wie das Netzwerk, das die Daten liefert. Laut einem Netzwerk-Über­wa­chungs­an­bie­ter kann der Netz­werk­an­teil an der „Job Completion Time“ (Durchlaufzeit eines Rechen­auf­trags) 10 bis 50 Prozent betragen. Eine Modell­rech­nung des Asia Pacific Network Information Centre (APNIC) beziffert die Folgen: Bei 0,1 Prozent Paketverlust sinkt die Auslastung der Gra­fik­pro­zes­so­ren (GPU) um mehr als 13 Prozent, bei einem Prozent nutzen sie weniger als fünf Prozent ihrer Zeit für Rechenarbeit. Bei Mietkosten von durch­schnitt­lich zwei bis acht Dollar je Stunde für H100-GPUs sind je nach Anbieter sechs- oder sie­ben­stel­lige Mehrkosten möglich. Praktischer Schritt für Banken und Versicherer, die KI-Dienste betreiben oder einkaufen: Paketverlust und Laufzeiten ins Monitoring aufnehmen und bei IKT-Dienst­leis­tern als Leis­tungs­kenn­zahl abfragen, bevor Kapazität für GPU-Cluster nachbestellt wird.

Datenschutz

Drei Kernzahlen: Der Netzwerkanteil an der Durchlaufzeit beträgt 10 bis 50 Prozent. Bei 0,1 Prozent Paketverlust sinkt die GPU-Auslastung um mehr als 13 Prozent, bei 1 Prozent liegt die Rechenzeit unter 5 Prozent.

Rechen­auf­träge für KI laufen nur so schnell wie das Netzwerk, das die Daten liefert. Laut einem Netzwerk-Über­wa­chungs­an­bie­ter kann der Netz­werk­an­teil an der „Job Completion Time“ (Durchlaufzeit eines Rechen­auf­trags) 10 bis 50 Prozent betragen. Eine Modell­rech­nung des Asia Pacific Network Information Centre (APNIC) beziffert die Folgen: Bei 0,1 Prozent Paketverlust sinkt die Auslastung der Gra­fik­pro­zes­so­ren (GPU) um mehr als 13 Prozent, bei einem Prozent nutzen sie weniger als fünf Prozent ihrer Zeit für Rechenarbeit. Bei Mietkosten von durch­schnitt­lich zwei bis acht Dollar je Stunde für H100-GPUs sind je nach Anbieter sechs- oder sie­ben­stel­lige Mehrkosten möglich. Praktischer Schritt für Banken und Versicherer, die KI-Dienste betreiben oder einkaufen: Paketverlust und Laufzeiten ins Monitoring aufnehmen und bei IKT-Dienst­leis­tern als Leis­tungs­kenn­zahl abfragen, bevor Kapazität für GPU-Cluster nachbestellt wird.

Ori­gi­nal­quelle: Computerwoche →

Teilen

Diese Einordnung bezieht sich auf die verlinkte Ori­gi­nal­quelle. Sie ist keine Rechts­be­ra­tung im Einzelfall.

Kostenloses Erstgespräch anfragen →

Weitere Meldungen in Datenschutz · alle Qvestcon-News