Prof. Dr. Diego Calvanese von der Freien Universität Bozen warnt in einem Kommentar vom 2026-11-10, sprachliche Sicherheit mit inhaltlicher Verlässlichkeit zu verwechseln. Große Sprachmodelle lernen aus Datenbeständen, welche Formulierungen in einem Kontext wahrscheinlich aufeinander folgen, und erzeugen daraus ihre Antworten. Was sprachlich passt, muss sachlich nicht stimmen. Auch falsche Aussagen können überzeugend klingen und sind ohne fachliche Expertise schwer zu erkennen. Sprachmodelle ersetzen die fachliche Expertise nicht. Als Ansatz nennt der Autor die Verbindung neuronaler Verfahren mit explizitem Wissen, etwa in Knowledge Graphs, die Begriffe und Beziehungen festhalten. Das macht ein Sprachmodell nicht automatisch zu einem System, das versteht, kann aber Informationen verlässlicher verarbeiten und prüfen. Für die Praxis nennt er sorgfältige Datenaufbereitung, die semantische Einordnung von Informationen und die fachliche Kontrolle der Ergebnisse. Für Banken und Versicherer folgt daraus ein konkreter Schritt: Für jeden KI-Einsatz festlegen, welche Fachperson das Ergebnis prüft, bevor es in einen Prozess oder zu Kunden geht, und diese Prüfung nachweisbar dokumentieren. Aus unserer Erfahrung bei Kunden aus Versicherung und Bank gelingt das am besten, wenn die Prüfregel zusammen mit dem Anwendungsfall freigegeben wird und nicht erst danach.
Qvestcon News
KI-Antworten klingen sicher: Warum Fachleute sie prüfen müssen
Prof. Dr. Diego Calvanese von der Freien Universität Bozen warnt in einem Kommentar vom 2026-11-10, sprachliche Sicherheit mit inhaltlicher Verlässlichkeit zu verwechseln. Große Sprachmodelle lernen aus Datenbeständen, welche Formulierungen in einem Kontext wahrscheinlich aufeinander folgen, und erzeugen daraus ihre Antworten. Was sprachlich passt, muss sachlich nicht stimmen. Auch falsche Aussagen können überzeugend klingen und sind ohne fachliche Expertise schwer zu erkennen. Sprachmodelle ersetzen die fachliche Expertise nicht. Als Ansatz nennt der Autor die Verbindung neuronaler Verfahren mit explizitem Wissen, etwa in Knowledge Graphs, die Begriffe und Beziehungen festhalten. Das macht ein Sprachmodell nicht automatisch zu einem System, das versteht, kann aber Informationen verlässlicher verarbeiten und prüfen. Für die Praxis nennt er sorgfältige Datenaufbereitung, die semantische Einordnung von Informationen und die fachliche Kontrolle der Ergebnisse. Für Banken und Versicherer folgt daraus ein konkreter Schritt: Für jeden KI-Einsatz festlegen, welche Fachperson das Ergebnis prüft, bevor es in einen Prozess oder zu Kunden geht, und diese Prüfung nachweisbar dokumentieren. Aus unserer Erfahrung bei Kunden aus Versicherung und Bank gelingt das am besten, wenn die Prüfregel zusammen mit dem Anwendungsfall freigegeben wird und nicht erst danach.
Diese Einordnung bezieht sich auf die verlinkte Originalquelle. Sie ist keine Rechtsberatung im Einzelfall.
