Analysen

Eine Untersuchung beginnt mit dem Gegenstand der Entscheidung. Soll ein Markt erschlossen, ein Angebot verändert, ein Preis angepasst oder ein Ablauf verbessert werden? Danach werden die tatsächlich zur Wahl stehenden Handlungen benannt. „Mehr über Kunden erfahren“ ist noch keine ausreichend begrenzte Aufgabe. „Unterschiede im Bedarf für die Weiterentwicklung des Serviceangebots erkennen“ lässt sich bereits mit geeigneten Erhebungen verbinden.

Jede Frage erhält eine Zielgröße, eine Untersuchungseinheit und einen Zeitraum. Eine Kundenbeziehung, ein einzelner Kauf und ein Angebotsvorgang sind unterschiedliche Einheiten. Werden sie vermischt, kann ein häufig kaufender Kunde die Auswertung dominieren, obwohl die Entscheidung jede Kundenbeziehung gleichermaßen betrifft. Ebenso müssen aktuelle Zustände von Entwicklungen über die Zeit getrennt werden.

Die gewünschte Schlussfolgerung wird ausdrücklich beschrieben. Soll eine Struktur geschätzt, eine Ursache eingegrenzt oder die Wirkung einer Maßnahme beurteilt werden? Das begrenzt auch die Verwendung der Ergebnisse. Ein Interview kann einen bislang unbekannten Bedarf sichtbar machen; die Verbreitung dieses Bedarfs ist damit noch nicht gemessen. Für die anschließende Entscheidung kann eine ergänzende quantitative Untersuchung erforderlich werden.

Die Größe eines Marktes hängt von seiner Abgrenzung ab. Produkte, Kundengruppen, Regionen und Absatzstufen müssen zur eigenen Entscheidung passen. Ein hohes Volumen eines übergeordneten Marktes sagt wenig darüber aus, welcher Teil für Ihr Unternehmen erreichbar ist. Deshalb werden Gesamtbedarf, fachlich passender Bedarf und realistisch zugänglicher Bereich getrennt dargestellt. Zugangsbedingungen können bestehende Lieferantenbeziehungen, technische Anforderungen oder notwendige Vertriebskanäle betreffen.

Veröffentlichte Daten werden auf Definition, Bezugsjahr und enthaltene Leistungen geprüft. Unterschiedliche Marktberichte können sich widersprechen, weil sie andere Grenzen ziehen. Solche Unterschiede lassen sich nicht durch bloßes Mitteln beseitigen. Ein Abgleich mit nachvollziehbaren Absatz-, Kunden- oder Mengengrößen kann die Plausibilität verbessern, ersetzt aber keine transparente Annahme dort, wo Informationen fehlen.

Beim Wettbewerb zählt zudem, welche Alternativen der Kunde tatsächlich erwägt. Dazu können Eigenleistung, Aufschub oder eine andersartige Problemlösung gehören. Die Gegenüberstellung trennt öffentliches Leistungsversprechen, beobachtbare Fähigkeit und noch ungeprüfte Annahme. Das Arbeitsresultat ist damit eine begründete Markt- und Wettbewerbsabgrenzung einschließlich Zugangshürden und offenen Punkten, die für Ihre Positionierung relevant sind.

Eine Befragung erfasst zunächst die antwortenden Personen. Ob ihre Aussagen auf die gewünschte Zielgruppe übertragbar sind, hängt von Auswahl, Erreichbarkeit und Teilnahme ab. Besonders zufriedene oder unzufriedene Kunden können häufiger reagieren. Eine Befragung heutiger Kunden erfasst keine verlorenen Interessenten. Wer ausschließlich die Antworten auswertet, erkennt diese Auslassungen nicht automatisch.

Für das Untersuchungsdesign werden deshalb Grundgesamtheit und Auswahlweg beschrieben. Relevante Gruppen werden getrennt betrachtet, etwa Neukunden und Bestandskunden oder unterschiedliche Tätigkeitsbereiche. Die Einladung und der Gesprächsleitfaden sollten nicht bereits die erwünschte Antwort nahelegen. Bei Mitarbeiterbefragungen sind außerdem Vertraulichkeit, tatsächliche Schutzmöglichkeiten und der Umgang mit kleinen Gruppen sorgfältig zu gestalten, damit die Aussagen sinnvoll verwendbar bleiben.

Bei Preisfragen kommt eine weitere Grenze hinzu: Eine erklärte Zahlungsbereitschaft ist keine verbindliche Kaufhandlung. Befragungen können Preisvorstellungen und Bewertungskriterien erschließen, aber nicht jede Absatzreaktion vorwegnehmen. Ein geeignetes Arbeitsresultat verbindet die Ergebnisse deshalb mit dem jeweiligen Erhebungskontext. Dadurch wird erkennbar, ob eine Entscheidung bereits gestützt wird oder ein Verhaltensnachweis noch fehlt.

Wenn Unternehmen nach einer Maßnahme bessere Ergebnisse erzielen, kann dies verschiedene Gründe haben. Möglicherweise war die Maßnahme wirksam. Vielleicht erhielten aber gerade die ohnehin aussichtsreichsten Bereiche zusätzliche Unterstützung. Oder das Marktumfeld verbesserte sich gleichzeitig. Ein Vorher-Nachher-Vergleich kann diese Erklärungen ohne weitere Informationen nicht trennen.

Für eine Wirkungsfrage ist daher das Gegenbild zu bestimmen: Was wäre ohne die Maßnahme im selben Zeitraum geschehen? Ein zufällig zugeteilter Vergleich kann unter geeigneten Bedingungen helfen, die Gruppen vor Beginn vergleichbar zu machen. Dazu müssen die Zuteilung, der tatsächliche Einsatz und die Beobachtung der Ergebnisse dokumentiert sein. Unterschiedliche Behandlung benachbarter Einheiten kann allerdings Übertragungseffekte auslösen, die den Vergleich verwischen.

Ist ein Experiment nicht möglich, kommen Beobachtungsvergleiche unter ausdrücklich benannten Voraussetzungen infrage. Vergleichbare Ausgangsmerkmale und ausreichende Überschneidung der Fälle sind dabei wichtig. Die Interpretation einer Entwicklungsdifferenz setzt voraus, dass sich die Gruppen ohne den Eingriff vergleichbar entwickelt hätten; ähnliche frühere Verläufe sind dafür ein Hinweis, kein Beweis. Statistische Anpassung kann fehlende Vergleichbarkeit nicht beliebig reparieren. Ein Ergebnis, das überwiegend auf unähnlichen Fällen oder nicht beobachteten Bedingungen beruht, braucht eine entsprechend begrenzte Interpretation.

Die Wirkung einer Entscheidung kann sich zeitlich verlagern. Eine Aktion kann einen Kauf vorziehen, ohne über einen längeren Zeitraum zusätzliche Nachfrage zu schaffen. Eine Prozessänderung kann zunächst Lernaufwand erzeugen und erst später zu anderer Leistung führen. Deshalb wird das Beobachtungsfenster vor der Auswertung anhand des erwarteten Mechanismus festgelegt.

Ebenso ist zu bestimmen, ob eine einzelne Maßnahme oder das gesamte Zusammenspiel mehrerer Maßnahmen untersucht werden soll. Wenn jede Aktivität im Vergleich zu einer anderen bewertet wird, bleibt möglicherweise offen, ob das gesamte Programm gegenüber einem Zustand ohne diese Aktivitäten nützlich ist. Wechselwirkungen und parallele Eingriffe werden daher dokumentiert. Die Wirkung einer Einzelmaßnahme darf nicht mehrfach dem Gesamtprogramm zugerechnet werden.

Für den betrieblichen Einsatz sind neben der Hauptzielgröße auch relevante Nebenwirkungen festzulegen. Eine höhere Abschlussquote kann beispielsweise mit aufwendigeren Konditionen oder mehr späterer Betreuung verbunden sein. Solche Größen werden nicht erst dann nachträglich ergänzt, wenn das Ergebnis unangenehm ausfällt. Die Untersuchungsregeln sollen möglichst unabhängig davon gelten, welches Resultat man sich erhofft.

Ein Prognosemodell lernt aus Informationen, die zum Vorhersagezeitpunkt verfügbar sein müssen. Enthalten die Trainingsdaten bereits Hinweise aus der späteren Zukunft, entsteht eine scheinbar gute Leistung. So kann ein nachträglich ergänzter Status das Ergebnis verraten, das eigentlich vorhergesagt werden soll. Diese zeitliche Durchlässigkeit wird durch eine klare Festlegung des Informationsstands verhindert.

Die Prüfung erfolgt an Daten, die nicht zur Anpassung des Modells verwendet wurden. Für zeitabhängige Aufgaben ist eine zeitliche Trennung häufig aussagekräftiger als das zufällige Verteilen ähnlicher Vorgänge aus demselben Zeitraum. Zusätzlich wird eine einfache Referenz betrachtet, etwa eine bisherige Regel oder eine unveränderte Fortschreibung. Ein komplexes Modell muss seinen zusätzlichen Nutzen gegenüber dieser Alternative zeigen.

Auch unterschiedliche Fehlerarten sind wirtschaftlich verschieden. Eine fälschliche Warnung bindet Bearbeitungskapazität; eine übersehene Störung kann einen Kunden beeinträchtigen. Die Entscheidungsschwelle wird daher mit dem geplanten Arbeitsprozess verbunden. Das Modell soll nicht nur eine gute Kennzahl erzielen, sondern bei begrenzten Ressourcen sinnvoll nutzbare Hinweise liefern. Bei veränderten Daten oder Rahmenbedingungen ist seine Leistung erneut zu beobachten.

Ein Analyseergebnis wird mit Herkunft, Auswahl und Reichweite seiner Daten präsentiert. Dazu gehören bekannte Auslassungen und alternative Erklärungen. Eine hohe Zahl von Datensätzen verhindert nicht, dass alle dieselbe Auswahlverzerrung enthalten. Ebenso ist ein statistisch erkennbarer Unterschied nicht automatisch wirtschaftlich relevant. Die Größe des Effekts und die Unsicherheit seiner Schätzung sind gemeinsam zu betrachten.

Wer viele Untergruppen und Zielgrößen untersucht, findet allein zufällig auffällige Unterschiede. Deshalb wird zwischen vorab begründeten Prüfungen und nachträglich entdeckten Mustern unterschieden. Ein explorativer Befund kann eine neue Hypothese liefern; seine Bestätigung benötigt eine davon ausreichend unabhängige Prüfung. So wird Entdeckung nicht mit Bestätigung verwechselt.

Die Empfehlung beschreibt schließlich, welche Handlung durch die Erkenntnisse gestützt wird und unter welchen Voraussetzungen. Bei unzureichender Evidenz kann das Ergebnis auch eine engere Entscheidung, ein begrenzter Test oder die gezielte Beschaffung einer noch entscheidenden Information sein. Ein Bericht wird dadurch nicht weniger nützlich. Er verhindert, dass eine scheinbar präzise Zahl mehr Sicherheit vermittelt, als die Untersuchung tatsächlich hergibt.