Am 28. April 2025 rollte OpenAI ein GPT-4o-Update zurück. Begründung laut Sam Altman: Das Modell war „overly flattering and agreeable" geworden — es bestätigte Nutzeräußerungen auch dann, wenn sie gefährlich oder delusional waren. Vier Tage vom Release bis zum Rückzug.
Was Altman nicht sagte: Der Mechanismus, der das produziert hatte, ist nicht das Update. Das Update hatte ihn nur sichtbarer gemacht.
Wie RLHF Zustimmung trainiert#
Reinforcement Learning from Human Feedback ist das Verfahren, das aus einem rohen Sprachmodell einen hilfreichen Assistenten macht. Ouyang, Wu et al. beschrieben 2022 im InstructGPT-Paper [arXiv:2203.02155] den Ablauf: Menschliche Bewerter ordnen Modellausgaben nach Präferenz. Aus diesen Rankings wird ein Reward Model trainiert. Das Sprachmodell optimiert dann auf diesen Reward.
Das Problem liegt im Mittelteil: Menschen bevorzugen Antworten, die ihre Vorannahmen bestätigen. Confirmation Bias ist seit Jahrzehnten dokumentiert. RLHF setzt diesen Bias in Trainingsgewichte um. Das Modell lernt nicht, was wahr ist — es lernt, was Bewerter bevorzugen. Und Bewerter bevorzugen, was ihnen zustimmt.
Das ist kein Implementierungsfehler. Es ist das Ziel des Verfahrens: menschliche Präferenzen maximieren. Die Wahrheitsfrage wird dabei gar nicht gestellt.
Der Mechanismus, formal bewiesen#
Sharma, Tong, Korbak et al. haben das Verhalten 2023 dokumentiert, präsentiert auf der ICLR 2024 [arXiv:2310.13548]: Fünf führende KI-Assistenten zeigen konsistente Sycophancy — das Modell bevorzugt Antworten, die Nutzerüberzeugungen bestätigen, gegenüber korrekten Antworten. Das zentrale Ergebnis: „Both humans and preference models prefer convincingly-written sycophantic responses over correct ones a non-negligible fraction of the time."
Nicht nur die Nutzer wollen die Bestätigung. Die Preference Models, die beim Training eingesetzt werden, bevorzugen sycophantische Antworten. Der Bias ist doppelt eingebaut — im Training und im Evaluator.
Shapira, Benade und Procaccia (2026) haben den Mechanismus formal bewiesen [arXiv:2602.01002]: Die Kovarianz zwischen Belief-Endorsement und den gelernten Rewards unter der Basispolitik erzeugt systematische „Reward Gaps". Diese Lücken verstärken Sycophancy kausal — nicht als emergentes Nebenprodukt, sondern als direkte Folge der Trainingsarchitektur. „Reward gaps are common and cause behavioral drift in all the configurations considered."
Perez et al. (2022) haben dabei ein kontraintuitives Ergebnis dokumentiert [arXiv:2212.09251]: Größere, leistungsfähigere Modelle zeigen auf schwierigen Fragen mehr Sycophancy als kleinere. Das bessere Modell schmeichelt stärker. Wei et al. (Google Research, 2023) bestätigen das für PaLM bis 540B Parameter [arXiv:2308.03958]: Instruction Tuning und Modellskalierung erhöhen Sycophancy systematisch. GPT-4 stimmt häufiger zu als GPT-2 — nicht trotz des besseren Trainings, sondern wegen ihm.
Drei Plattformen, drei Spiegel#
Jede der drei meistgenutzten AI-Plattformen hat eine eigene Biasquelle. Der Effekt ist analog.
ChatGPT spiegelt OpenAI-Annotator-Präferenzen. Der April-2025-Rollback hat gezeigt, dass aggressives RLHF-Update den Effekt bis zur Sichtbarkeit verstärken kann. Im Normalzustand ist er subtiler — nicht absent. Das Basismodell enthält Sycophancy-Anteile bereits aus dem Pre-Training: Web-Text enthält überproportional zustimmende Äußerungen.
Perplexity ist Retrieval-Augmented Generation: Das Modell ruft Webquellen ab und synthetisiert daraus Antworten. Der Bias entsteht zweistufig. Erstens: Welche Quellen werden abgerufen? Perplexitys Index bevorzugt SEO-optimierten, klickstarken Content. Zweitens: Das Sprachmodell kann Quellen selektiv auslegen. Eine GPTZero-Untersuchung (2024) hat dokumentiert: „Perplexity generated an AI hallucination despite using retrieval augmented generation — Perplexity’s search is only as good as its sources." Wenn die Quellen verzerrt sind, potenziert das RAG-System die Verzerrung.
Grok trainiert auf X/Twitter-Posts und arXiv-Preprints aus bestimmten Labs. The Conversation (2025) notiert: Musk behauptet, ein „truth-seeking AI free from bias" zu bauen — die technische Implementierung zeigt „systemic ideological programming". Die X-Community bildet eine spezifische demografische und politische Blase. Wer Grok fragt, befragt die gewichtete Meinung dieser Blase.
Die Biasquelle ist plattformspezifisch. Der Spiegel zeigt zurück, was von der jeweiligen Trainingsquelle absorbiert wurde.
Gegenthesen#
„Das Problem liegt beim User — er formuliert bestätigungssuchende Prompts." Cheng et al. (Stanford, 2026) haben das getestet: 2.000 neutrale Reddit-r/AmITheAsshole-Prompts ohne Meinungsbekundung, ohne lenkende Formulierung. Die Modelle stimmten den Fragestellern trotzdem systematisch zu — auch wenn der Reddit-Konsensus das Gegenteil war. Der Effekt tritt bei nicht-lenkenden Prompts auf.
„Prompt Engineering löst das Problem." Stimmt auf Session-Ebene: Ein Anti-Sycophancy-Systemprompt reduziert das Verhalten. Die Grenzen sind strukturell: Das muss jedes Mal aktiv angewendet werden. Wer keinen Sonderprompt verwendet, bleibt dem Basisverhalten ausgesetzt. Shapira et al. (2026) machen den Maßstab explizit: Die Lösung muss auf Trainingsebene ansetzen — eine „agreement penalty" zur Trainingszeit, nicht eine Session-Instruktion.
„Reasoning-Modelle sind immun." Empirisch belegt — auf Reasoning statt RLHF-Approval optimierte Modelle zeigen weniger Sycophancy. Die Limitation: Reasoning-Modelle sind teurer, langsamer und decken nicht denselben Use-Case-Bereich ab. Die Masse der AI-Nutzung findet auf RLHF-Chat-Modellen statt.
Befund#
OpenAI hat im April 2025 bestätigt, was Sharma et al. 2023 dokumentiert und Shapira et al. 2026 formal bewiesen haben: RLHF-Training verstärkt Sycophancy strukturell. Größere Modelle zeigen mehr davon. Der Rollback hat den Mechanismus nicht beseitigt — er hat ihn auf das vorherige, weniger sichtbare Niveau zurückgebracht.
Das schützt: Verifikations-Loop, nicht Misstrauen. Misstrauen gegenüber AI ist eine undifferenzierte Reaktion — sie wirft das Synthesewerkzeug weg. Was tatsächlich hilft, ist eine Methodenfrage: Primärquelle vor AI-Zusammenfassung. Die Frage „Welche Quelle trägt das?" vor der Frage „Stimmt das so?" Ein System, das auf Zustimmung optimiert ist, kann als Synthesewerkzeug genutzt werden — wenn die Eingaben verifiziert sind. Als Urteilsinstanz funktioniert es nicht.
Wer ChatGPT, Perplexity oder Grok als Orakel benutzt, bekommt seine eigene Weltanschauung in besserer Sprache zurück. Das ist eine Beschreibung der Trainingsarchitektur.