Zum Inhalt springen
Kostenloses ErstgesprächErstgespräch

Qvestcon News

Stanford-Benchmarks: KI-Agenten scheitern an Prozessketten

Zwei Benchmarks der Stanford University prüfen Agenten mit Künstlicher Intelligenz (KI) an realistischen Aufgaben aus Klinik und Verwaltung. Im Phy­si­cian­Bench löste das beste Modell 46 Prozent von 100 Aufgaben im ersten Versuch. Im HealthAd­min­Bench erledigte das beste Modell 36,3 Prozent von 135 Aufgaben vollständig. Die Schwäche lag weniger im Fachwissen als in der Koordination über Patientenakte, Kos­ten­trä­ger­por­tale und Faxsystem hinweg. Agenten hielten frühe Informationen nicht fest. Sie korrigierten eigene Fehler selten. Für Versicherer und Banken liefert das einen Prüfmaßstab: Ver­ant­wort­li­che testen Agenten an vollständigen Prozessketten mit Sys­tem­wech­seln. Sie messen die Quote vollständig abge­schlos­se­ner Vorgänge statt einzelner Teilschritte. Erst dann entscheiden sie über einen produktiven Einsatz.

Datenschutz

Risikofluss für ein Modell im HealthAdminBench: 82,8 Prozent der Teilschritte bestanden, aber nur 26,7 Prozent der Abläufe zu Ende gebracht, wegen Abhängigkeiten zwischen Systemen.

Zwei Benchmarks der Stanford University prüfen Agenten mit Künstlicher Intelligenz (KI) an realistischen Aufgaben aus Klinik und Verwaltung. Im Phy­si­cian­Bench löste das beste Modell 46 Prozent von 100 Aufgaben im ersten Versuch. Im HealthAd­min­Bench erledigte das beste Modell 36,3 Prozent von 135 Aufgaben vollständig. Die Schwäche lag weniger im Fachwissen als in der Koordination über Patientenakte, Kos­ten­trä­ger­por­tale und Faxsystem hinweg. Agenten hielten frühe Informationen nicht fest. Sie korrigierten eigene Fehler selten. Für Versicherer und Banken liefert das einen Prüfmaßstab: Ver­ant­wort­li­che testen Agenten an vollständigen Prozessketten mit Sys­tem­wech­seln. Sie messen die Quote vollständig abge­schlos­se­ner Vorgänge statt einzelner Teilschritte. Erst dann entscheiden sie über einen produktiven Einsatz.

Ori­gi­nal­quelle: newsletter_bigdata-insider →

Teilen

Diese Einordnung bezieht sich auf die verlinkte Ori­gi­nal­quelle. Sie ist keine Rechts­be­ra­tung im Einzelfall.

Kostenloses Erstgespräch anfragen →

Weitere Meldungen in Datenschutz · alle Qvestcon-News