
Rechenaufträge für KI laufen nur so schnell wie das Netzwerk, das die Daten liefert. Laut einem Netzwerk-Überwachungsanbieter kann der Netzwerkanteil an der „Job Completion Time“ (Durchlaufzeit eines Rechenauftrags) 10 bis 50 Prozent betragen. Eine Modellrechnung des Asia Pacific Network Information Centre (APNIC) beziffert die Folgen: Bei 0,1 Prozent Paketverlust sinkt die Auslastung der Grafikprozessoren (GPU) um mehr als 13 Prozent, bei einem Prozent nutzen sie weniger als fünf Prozent ihrer Zeit für Rechenarbeit. Bei Mietkosten von durchschnittlich zwei bis acht Dollar je Stunde für H100-GPUs sind je nach Anbieter sechs- oder siebenstellige Mehrkosten möglich. Praktischer Schritt für Banken und Versicherer, die KI-Dienste betreiben oder einkaufen: Paketverlust und Laufzeiten ins Monitoring aufnehmen und bei IKT-Dienstleistern als Leistungskennzahl abfragen, bevor Kapazität für GPU-Cluster nachbestellt wird.
