Methodik-Studie
Wie zuverlässig sind KI-Empfehlungen wirklich?
Wir haben dieselbe Kauffrage 20-mal an ChatGPT, Perplexity, Claude und Gemini gestellt — über 10 DACH-Branchen, insgesamt 800 echte KI-Antworten. Das Ergebnis ist weder „alles Zufall" noch „immer gleich", sondern etwas Drittes — mit direkten Folgen dafür, wie Sichtbarkeit in KI-Antworten überhaupt gemessen werden darf.
Veröffentlicht 2026-07-25 · 800 Antworten · 10 Branchen · 4 Modelle · 20 Wiederholungen je Frage · vorregistriertes Protokoll
Kernergebnisse
Die vier Befunde, auf die es ankommt.
- 1Das meistgenannte Unternehmen blieb über 20 identische Abfragen hinweg in 84,5 % der Läufe dasselbe — KI-Empfehlungen sind also nicht beliebig.
- 2Gleichzeitig nannte die KI pro Frage im Schnitt 27,6 verschiedene Unternehmen — davon nur 3 verlässlich (in ≥ 80 % der Läufe) und rund 19,8 nur sporadisch (≤ 20 %).
- 3ChatGPT war am unbeständigsten: Der Top-Anbieter wechselte in mehr als einem Drittel der Wiederholungen (63,5 % konstant) und es gab im Schnitt nur 0,8 verlässliche Anbieter je Frage.
- 4Für eine Aussage mit ±10 Prozentpunkten Genauigkeit braucht es rechnerisch 97 Wiederholungen — eine einzelne Abfrage ist keine Messung.
Die Studie in Zahlen
Zum Zitieren und Teilen.
Der eigentliche Befund: ein stabiler Kern, ein volatiler Rest
Nicht „alles ändert sich“ — sondern eine Zwei-Klassen-Struktur, die für Marken entscheidend ist.
Wer erwartet, dass KI-Antworten reiner Zufall sind, liegt falsch: Das meistgenannte Unternehmen war in 84,5 % der Wiederholungen dasselbe, die Top 3 in 79,3 %. Es gibt also einen harten Kern von Anbietern, die praktisch immer genannt werden.
Dahinter beginnt jedoch eine völlig andere Zone. Pro Frage tauchten im Schnitt 27,6 verschiedene Unternehmen auf — aber nur rund 3 davon verlässlich. Rund 19,8 Anbieter je Frage erschienen nur sporadisch: heute genannt, beim nächsten identischen Aufruf verschwunden.
84,5 % / 19,8
So oft bleibt der Spitzenreiter gleich — und so viele Anbieter rotieren pro Frage im Zufallsbereich
Für Unternehmen heißt das: Es gibt zwei Ligen. Wer im Kern steht, wird zuverlässig empfohlen. Alle anderen konkurrieren um Plätze, die sich bei jeder Anfrage neu würfeln — dort entscheidet nicht „Platz 4 statt 5", sondern ob man überhaupt in der Auswahl auftaucht.
Die Modelle unterscheiden sich massiv
Dasselbe Experiment, vier Modelle — mit sehr unterschiedlicher Beständigkeit.
| Modell | Top-Anbieter bleibt gleich | Top 3 bleiben gleich | Verlässliche Anbieter | Zufalls-Anbieter | Ø Nennungen je Antwort |
|---|---|---|---|---|---|
| Claude | 97,5 % | 94,8 % | 4,6 | 5,2 | 5,7 |
| Perplexity | 90,5 % | 84 % | 2,9 | 1,2 | 3,5 |
| Gemini | 86,5 % | 83,2 % | 3,5 | 44,1 | 11,7 |
| ChatGPT | 63,5 % | 55,3 % | 0,8 | 28,8 | 5,3 |
Quelle: Citavo · citavo.app
ChatGPT — das meistgenutzte Modell — war das unbeständigste: Nur in 63,5 % der Läufe stand dieselbe Firma an erster Stelle, und im Schnitt gab es lediglich 0,8 verlässlich genannte Anbieter je Frage. Claude lag mit 97,5 % am anderen Ende. Gemini nannte mit Abstand die meisten Firmen pro Antwort — und hatte entsprechend den größten Zufallsbereich.
Statistische Ehrlichkeit: Nach der vorab festgelegten Regel gilt ein Modell nur dann als beständiger, wenn sich die 95-%-Konfidenzintervalle nicht überlappen. Belegt ist damit: perplexity beständiger als gemini; perplexity beständiger als chatgpt; claude beständiger als gemini; claude beständiger als chatgpt. Zwischen Perplexity und Claude ist der Unterschied nicht belastbar — diese Reihenfolge behaupten wir daher nicht.
Quelle: Citavo · citavo.app
Was das für jede KI-Sichtbarkeits-Messung bedeutet
Der methodische Kern der Studie — und der unbequeme Teil.
Wenn eine einzelne Abfrage schon zwischen zwei Läufen andere Anbieter liefert, dann ist ein einzelner Check keine Messung, sondern eine Stichprobe der Größe eins. Aus der gemessenen Streuung lässt sich ausrechnen, wie viele Wiederholungen nötig wären, um eine Nennungsrate mit definierter Genauigkeit anzugeben:
Das gilt ausdrücklich auch für uns: Ein einzelner Citavo-Scan einer einzelnen Frage ist ebenfalls verrauscht. Belastbar wird eine Aussage erst über viele Fragen und über wiederholte Messungen im Zeitverlauf — deshalb misst Citavo täglich über ein ganzes Fragen-Portfolio statt einmalig über eine Handvoll Prompts. Wer eine KI-Sichtbarkeitszahl aus einer Einzelabfrage präsentiert, präsentiert Rauschen.
Die Gegenprobe: Wie misst man es dann richtig?
Wenn eine Einzelabfrage Rauschen ist — wie viele Fragen und Tage braucht es für eine belastbare Zahl?
Die Schwankung einer einzelnen Frage sagt noch nichts darüber, wie präzise eine Sichtbarkeitszahl über ein ganzes Fragen-Portfolio ist. Denn Rauschen mittelt sich heraus: über viele Fragen und über wiederholte Messungen. Wir haben das direkt an denselben 800 Antworten simuliert — ein „Tag“ entspricht dabei genau einem echten Lauf je Frage, also exakt dem, was ein täglicher Scan tut.
| Messdesign | Genauigkeit der Sichtbarkeitszahl (95 %) |
|---|---|
| 10 Fragen · 1 Tag (Einzel-Check) | ±5 pp |
| 10 Fragen · 7 Tage | ±1,4–3,6 pp |
| 10 Fragen · 30 Tage | ±1,2–1,8 pp |
Quelle: Citavo · citavo.app
Quelle: Citavo · citavo.app
Das Ergebnis ist eindeutig: Ein einmaliger Check liefert eine Zahl mit rund ±5 pp Unsicherheit — für Aussagen wie „deine Sichtbarkeit ist um 3 Punkte gefallen“ ist das unbrauchbar. Dieselbe Messung über 30 Tage wiederholt landet dagegen bei ±1,2–1,8 pp — und wird damit belastbar. Mit mehr Fragen im Portfolio (30–100 statt 10) schrumpft der Fehler zusätzlich, ungefähr mit der Wurzel der Fragenzahl.
Zwei Konsequenzen. Erstens: Wer eine KI-Sichtbarkeitszahl aus einer Abfrage präsentiert, präsentiert Rauschen — unabhängig davon, wie hübsch das Dashboard aussieht. Zweitens, und das betrifft uns selbst: Auch ein einzelner Citavo-Scan einer einzelnen Frage ist verrauscht. Belastbar wird die Zahl erst durch das Portfolio und die tägliche Wiederholung. Genau deshalb misst Citavo täglich über viele Fragen statt einmalig über wenige — und liest Veränderungen aus dem Verlauf, nicht aus dem Tagesausschlag.
Methodisch: Resampling der gemessenen Läufe, 4.000 Wiederholungen, empirisches 95-%-Intervall. Diese Gegenprobe war nicht Teil der Vorregistrierung und ist als explorativ gekennzeichnet; sie nutzt ausschließlich dieselben 800 Antworten, keine neuen Messungen.
Beispiel aus den Rohdaten
Dieselbe Frage, dasselbe Modell, 20 Läufe.
Frage: „Beste E-Commerce-Agentur in Deutschland?" (ChatGPT, 20 identische Läufe). Genannt wurden insgesamt 56 verschiedene Unternehmen, davon 0 in mindestens 80 % der Läufe und 56 in höchstens 20 %.
| Unternehmen | genannt in … von 20 Läufen | Anteil |
|---|---|---|
| elogic commerce | 4 / 20 | 20 % |
| tantee | 4 / 20 | 20 % |
| creativestyle | 4 / 20 | 20 % |
| wesite | 3 / 20 | 15 % |
| 4tfm | 3 / 20 | 15 % |
| shopware | 3 / 20 | 15 % |
| basecom | 3 / 20 | 15 % |
| dinarys | 3 / 20 | 15 % |
Quelle: Citavo · citavo.app
Quelle: Citavo · citavo.app
Methodik
Vorab festgelegt, damit nichts nachträglich passend gemacht wird.
Design. 10 DACH-Branchen, je eine markenfreie Kauffrage („Beste {Kategorie} in Deutschland?"), Sprache de-DE. Jede Frage wurde 20× an jedes der 4 Modelle gestellt (ChatGPT, Perplexity, Claude, Gemini — alle mit Live-Websuche), also 40 Messzellen und 800 Antworten. Jede Anfrage lief unabhängig, ohne Konversationsverlauf und ohne Personalisierung.
Vorregistrierung. Metriken, Vergleichsregeln und Limitationen wurden schriftlich fixiert und versioniert, bevor die Ergebnisse ausgewertet wurden. Ein Modell gilt nur bei nicht-überlappenden 95-%-Konfidenzintervallen (Bootstrap, 10.000 Resamples) als beständiger.
Datenprüfung. Drei Kontrollen: (1) Alle 20 Antworten je Zelle waren unterschiedliche Texte — es handelt sich nicht um zwischengespeicherte Antworten. (2) Jede extrahierte Firma kam wörtlich im Antworttext vor (Stichprobe 132/132). (3) Firmennamen wurden auf Unternehmensebene zusammengeführt („HubSpot", „HubSpot CRM", „HubSpot Sales Hub" = ein Unternehmen); ohne diesen Schritt wäre die gemessene Schwankung künstlich zu hoch ausgefallen.
Grenzen. Eine Frage je Branche → die Studie misst Schwankung, keine Branchenunterschiede. Ein Zeitfenster → Aussagen über Varianz, nicht über Veränderung über Wochen. Nur de-DE, nur eine Formulierung → keine Aussage über Wortlaut-Effekte. Anbieterseitiges Caching würde die gemessene Beständigkeit eher erhöhen; die berichtete Schwankung ist damit konservativ. Die Kern-/Zufalls-Einteilung (≥ 80 % bzw. ≤ 20 %) war nicht vorregistriert und ist als explorativ gekennzeichnet.
Daten. Studiendesign, Prompts und Auswertungsregeln sind offengelegt, die Messung ist damit unabhängig nachbaubar. Die Rohantworten sind proprietäre Messdaten von Citavo und werden nicht veröffentlicht; für Presse- und Forschungsanfragen sind sie auf Anfrage einsehbar.
Häufige Fragen
Geben KI-Modelle bei derselben Frage immer dieselben Unternehmen an?
Nein, aber auch nicht völlig zufällig. In einer Messung mit 800 echten KI-Antworten (dieselbe Frage 20× je Modell, 10 DACH-Branchen) blieb das meistgenannte Unternehmen in 84.5 % der Läufe dasselbe. Pro Frage gab es rund 3 verlässlich genannte Anbieter — daneben aber rund 19.8 Anbieter, die nur sporadisch auftauchten.
Welches KI-Modell empfiehlt am konstantesten?
Claude war am konstantesten: Das meistgenannte Unternehmen blieb in 97.5 % der Wiederholungen dasselbe. Am stärksten schwankte ChatGPT mit 63.5 %. Zwischen Perplexity und Claude ließ sich statistisch kein belastbarer Unterschied nachweisen (überlappende Konfidenzintervalle).
Wie oft muss man eine KI-Frage stellen, um ein belastbares Ergebnis zu bekommen?
Deutlich öfter als einmal. Für eine Nennungsrate mit ±10 Prozentpunkten Genauigkeit (95 % Konfidenz) sind rund 97 Wiederholungen nötig, für ±5 Prozentpunkte rund 385. Eine einzelne Abfrage ist damit keine Messung, sondern eine Stichprobe von eins.
Wie präzise ist eine KI-Sichtbarkeitsmessung über viele Fragen?
Deutlich präziser als eine Einzelabfrage. Eine Simulation auf denselben 800 Antworten zeigt: Ein einmaliger Check über 10 Fragen liefert eine Sichtbarkeitszahl mit rund ±5 pp Unsicherheit (95 % Konfidenz). Wird dieselbe Messung täglich über 30 Tage wiederholt, sinkt die Unsicherheit auf ±1,2–1,8 pp. Für belastbare Aussagen zählt also das Fragen-Portfolio und der Zeitverlauf — nicht die einzelne Abfrage.
Was bedeutet das für Unternehmen, die in KI-Antworten vorkommen wollen?
Es gibt zwei Zonen: einen stabilen Kern von wenigen Anbietern, die fast immer genannt werden, und einen volatilen Rest, der pro Anfrage rotiert. Wer im Kern ist, wird verlässlich empfohlen. Wer es nicht ist, erscheint eher zufällig — und sollte Sichtbarkeit über viele Fragen hinweg und über die Zeit messen statt über einzelne Abfragen.
Weiterlesen
Presse & Zitieren
Journalist:innen und Autor:innen dürfen die Daten und Grafiken mit Quellenangabe frei verwenden. Veröffentlicht: 2026-07-25. Presse-Kontakt: mail@citavo.app.
Citavo (2026-07-25): „Wie zuverlässig sind KI-Empfehlungen? 800 Antworten im Test". https://www.citavo.app/studien/ki-empfehlungen-stabilitaet PDF herunterladenWeiter zu Citavo
Wie sichtbar ist deine Marke in der KI?
Diese Studie zeigt den Markt. Citavo zeigt dich: In welchen KI-Antworten du genannt wirst, wer stattdessen empfohlen wird und welche Quellen die KI zitiert — mit konkretem Aktionsplan.
7 Tage gratis · bezahlt wird erst danach · jederzeit kündbar