Να γιατί πρέπει να τρέχουμε πειράματα!

Πρόσφατα ξεκινήσαμε ένα πείραμα πολλαπλών μεταβλητών (multivariate experiment). MVT είναι το πείραμα στο οποίο τεστάρουμε συγχρόνως παραλλαγές σε διαφορετικά σημεία της σελίδας. Π.χ. Στο συγκεκριμένο δοκιμάζουμε 4 διαφορετικούς τίτλους, με 2 διαφορετικά κείμενα, 3 διαφορετικά call to action και 2 διαφορετικά στυλ εμφάνισης. Οπότε δημιουργούνται 4*2*3*2 = 48 συνδυασμοί. Και ενώ θα χρειαζόταν πολύς καιρός ή υψηλή επισκεψιμότητα για να βγάλουμε ασφαλές συμπέρασμα για το ποια συγκεκριμένη παραλλαγή από τις 48 φέρνει το καλύτερο αποτέλεσμα, μπορούμε να δούμε πολύ πιο γρήγορα ποια μεταβλητή επηρεάζει το αποτέλεσμα και κατά ποιον τρόπο. Παρακάτω λοιπόν βλέπετε τα πραγματικά στατιστικά από το συγκεκριμένο πείραμα μερικές μόνο μέρες από την έναρξή του. Καθώς το στήναμε, έκανα μια πρόβλεψη, ότι η μεταβλητή που θα φέρει τη μεγαλύτερη βελτίωση είναι αυτή του κειμένου και συγκεκριμένα η παραλλαγή με το μικρότερο κείμενο (small text). Ο προγραμματιστής μου με τον οποίο στήναμε το πείραμα συμφώνησε και μου απάντησε σχεδόν ειρωνικά ότι αυτή είναι μια εύκολη και σίγουρη πρόβλεψη. Τα αποτελέσματα μέχρι στιγμής είναι εντυπωσιακά. Με βεβαιότητα πάνω από 99%, αποδεικνύεται ότι αυτό που για μας θα ήταν μια εύκολη νίκη, είναι τελικά καταστροφή (πτώση 41,8% στο conversion rate)! Ευτυχώς τρέξαμε πείραμα στη συγκεκριμένη μεταβλητή και δεν εμπιστευτήκαμε το ένστικτό μας. Απενεργοποιώντας λοιπόν τις 24 παραλλαγές που εμφανίζονται με το μικρό κείμενο, επιταχύνουμε τη διαδικασία του πειράματος και αφήνουμε τις υπόλοιπες μεταβλητές (στις οποίες μέχρι στιγμής φαίνεται να έχουμε θετικό αποτέλεσμα) να μας δείξουν την παραλλαγή που φέρνει το μέγιστο αποτέλεσμα. Το παραπάνω μας υπενθυμίζει αυτό που συμβουλεύουν παγκοσμίως οι guru του conversion rate optimization, ότι όσο έμπειρος και "ειδικός" και αν είσαι, πρέπει να τρέχεις πειράματα. Τα "best practices", οι βασικές αρχές δηλαδή που γνωρίζουμε ότι δουλεύουν, δε σημαίνει ότι θα δουλέψουν για το δικό μας site και για το συγκεκριμένο σημείο.