Promotion Experiment zu Produkt
Ein Experiment wird erst durch bewusste Produktfreigabe zur belastbaren Produktzusage.
Einstieg
Experimente dürfen unfertig sein. Sie testen Hypothesen, vergleichen Varianten, erzeugen Messwerte und verwerfen schlechte Ideen.
Ein Produkt darf diese Unfertigkeit nicht einfach erben. Eine Produktzusage muss klar sagen, für wen sie gilt, welche Kennzahl belastbar ist, wer Änderungen entscheidet und wie ein Fehler zurückgebaut wird.
Vorher: Telemetrie-Zweck spalten. Weiter: Partner-Share-Vertrag.
Begriffe vor dem Lesen
- Promotion — bewusste Freigabe vom Experiment zum produktiven Verhalten.
- Produktzusage — verbindliches Verhalten oder Versprechen gegenüber Nutzern, Kunden oder internen Teams.
- Rollback — geplanter Rückbau, falls die Freigabe scheitert.
- KPI — Kennzahl, mit der Erfolg oder Wirkung bewertet wird.
- Zielgruppe — Nutzer, Kundengruppe oder Produktvariante, für die die Freigabe gilt.
Das Problem im Alltag
Ein Experiment zeigt gute Aktivierung. Die Ergebnislogik wird in eine Produkttabelle kopiert. Product Management übernimmt die Zahl ins KPI-Dashboard. Support verweist gegenüber Kunden auf die neue Funktion.
Einige Wochen später stellt Engineering fest: Die Testgruppe war nicht repräsentativ. Ein Teil der Events war nur im Lab gültig. Der Rollback ist unklar.
Das Problem ist nicht das Experiment. Das Problem ist, dass kein Promotionspunkt existierte.
Das saubere Muster
Kein Experiment wird durch Kopieren produktiv. Promotion braucht eine bewusste Freigabe.
Was der Promotionsnachweis enthält
- Experiment-ID;
- bestätigte Hypothese;
- Produktzusage in einem Satz;
- Zielgruppe und Gültigkeitsbeginn;
- erlaubte und ausgeschlossene Daten;
- KPI und bekannte Grenzen;
- Freigabe durch die für die Produktzusage mandatierte Rolle, mit Research-Bewertung;
- technische Umsetzung, Monitoring und Rollback-Regel.
Rollen
Die für die Produktzusage mandatierte Rolle entscheidet, ob aus dem Experiment ein Produktverhalten wird; Research liefert die fachliche Bewertung. Engineering weist Rollout, Monitoring, Sicherheit und Rollback nach. Steward dokumentiert Experiment-ID, KPI, Grenzen und Freigabe. Der technische Betreiber setzt Tabellen, Zugriff, Feature Flags oder Deployments um.
Mini-Fall
Eine hohe Lab-Klickrate belegt weder repräsentative Zielgruppe noch produktionsfähige Events. Die Produktzusage erhält Zielgruppe und Gültigkeitsbeginn. Product beziehungsweise die ausdrücklich dafür mandatierte Rolle verantwortet die Promotion, Research liefert die Bewertung. Engineering weist Rollout, Monitoring und Rollback nach; eine Research-Rolle ohne Produktmandat darf die Zusage nicht allein erteilen.
Ein Lab-Experiment zeigt, dass eine neue Empfehlung häufig geklickt wird. Product möchte die Klickrate als offiziellen KPI übernehmen.
Vor Promotion wird geprüft: Galt der Test nur für Pilotkunden? Waren alle Events produktionsfähig? Welche Nutzergruppe ist betroffen? Welche alte Experimentlogik darf nicht in die Produkttabelle? Wie wird die Funktion deaktiviert, falls sie negative Effekte zeigt?
Erst danach wird die Zahl Produkt-KPI.
Anti-Patterns
- Eine Testtabelle wird Produktstandard, weil sie im Dashboard funktioniert.
- Eine PoC-Zahl wird als KPI berichtet, ohne Zielgruppe und Gültigkeit zu prüfen.
- Feature-Store-Admin oder Notebook-Owner entscheidet faktisch die Produktfreigabe.
- Rollback bedeutet nur: „Wir löschen die Tabelle später.“
- Kundenkommunikation nutzt Experimentwerte, bevor Product die Zusage übernommen hat.
Erster Umsetzungsschnitt
- Ein Experiment auswählen, das bereits Produktentscheidungen beeinflusst.
- Experimentdaten und Produktdaten trennen.
- Produktzusage in einem Satz formulieren.
- Zielgruppe, KPI, Startdatum und bekannte Grenzen benennen.
- Die mandatierte Produktrolle die Promotion mit Research-Bewertung bewusst bestätigen lassen.
- Engineering Rollout und Rollback nachweisen lassen.
- Alte Experimentwerte sichtbar als Experiment markieren.
In der Serie weiterlesen
Governance in software and product development
Part 4 of 6
View series