Das Setup: Wie sind wir vorgegangen?

Wir haben einen Newsletter in zwei textlichen Varianten verschickt. Bei der einen Version haben wir die Texte selber erstellt, bei den anderen durch ChatGPT schreiben lassen.

Wir haben also bewusst nur die Texte des Newsletters durch die KI erstellen lassen. Die inhaltliche Zusammenstellung der Artikel haben wir vorgegeben, auch das Layout war fix und die Bilder identisch.

In der KI-Variante des Newsletters hat die KI also die Teaser-Texte (Überschrift und Fliesstext) erstellt sowie die CTA formuliert.

KI-Version ansehen | Michael-Version ansehen

Die Betreffzeilen bzw. Preheader-Texte wurden ebenfalls durch die KI sowie durch Michael generiert:

• MK-Variante: Wie oft werden die Bilder blockiert? // Und: Wie viele Anmeldungen verlieren Sie im DOI-Prozess?
• KI-Variante: Wie oft werden Ihre Bilder blockiert? // Warum 93% der Unternehmen A/B-Tests nicht nutzen - Jetzt informieren

Die KI hatte also eine nahezu identische Betreffzeile generiert wie der Mensch.

Beide Varianten wurden zu 50/50 an je 820 Newsletter-Leser verschickt (random samples).

Und das Ergebnis in Zahlen?

Da sich die Elemente auf unterschiedliche Kennzahlen auswirken haben wir auch die Ergebnisse untergliedert:

Öffnungs-Faktoren
Auf die Öffnungsrate wirken sich Betreffzeile und Preheader-Text aus. Hier der Vergleich:

Interpretation: Die Betreffzeile der KI-Variante war minimal erfolgreicher als die menschliche Variante. Der kleine Unterschied ist nicht überraschend (und statistich auch nicht signifikant), weil die beiden Varianten sich ja kaum unterschieden haben.

Hintergrund: Bei der prognostizierte Öffnungsrate wird dabei hochgerechnet, wie viele der Nicht-Öffner das Mailing eigentlich geöffnet haben müssen. Diese Öffnungsrate ist in den meisten Fällen wesentlich realistischer als die "normale" Öffnungsrate!

Engagement-Faktoren
Die Texte und die CTA wirken sich auf das Engagement aus, insb. die Klickrate. Hier der Vergleich der wichtigsten Kennzahlen:

Interpretation: Die Lesedauer der menschlichen Variante war um 36% höher als bei der KI-Version. Dieser Unterschied ist auch statistisch signifikant. Offenbar haben es die Texte der menschlichen Version besser verstanden, die Leser etwas länger zu fesseln als die KI-Texte. Die bereinigte Klickrate war ebenfalls bei der manuellen Variante besser, allerdings ist der Unterschied hier nicht signifikant.

Hintergrund: Die Lesedauer ist ein ausgesprochen guter Gradmesser für das Interesse der Leser an den Inhalten. Die bereinigte Klickrate berücksichtigt nur Links, die auch tatsächlich auf ein Interesse der Leser hindeuten und es werden die Netto-Öffnungen als Berechnungsgrundlage herangezogen.

Aber: Es gibt noch einen weiteren Faktor: Aufwand und Kosten!

Alleine auf Basis der Kennzahlen ist die menschliche Version des Newsletters der "Sieger". Auch wenn nur die Lesedauer statistisch signifikant besser war und die restlichen Kennzahlen nicht.

Doch bei der Gesamtanalyse darf man nicht vergessen, dass die Aufwände für beide Versionen durchaus unterschiedlich waren.

Die KI hat also keine (weiteren) Kosten verursacht und der Zeitaufwand war deutlich geringer.

Fazit: Und wer hat nun gewonnen?

Am Ende des Tages muss man nüchtern feststellen, dass die KI-Variante nicht dramatisch schlechter abgeschnitten hat als die menschliche Version. Jedenfalls was die Texte betrifft, und nur die waren Gegenstand des Experiments.

Auch wenn die Lesedauer bei der menschlichen Version deutlich besser und die Klickrate tendenziell besser war, war der zeitliche Aufwand 6x so hoch und externe Kosten fielen auch an.

Aus unserer Sicht ist das ein Unentschieden. Auch wenn wir in Zukunft unsere Newsletter dennoch weiterhin selber schreiben werden und der Grafiker auch nicht sofort arbeitslos werden wird.