Lubi krótkie podsumowania, więc gdy proszę ją, by powiedziała coś o sobie, mówi jednym zdaniem, że statystka kręci ją jak mikrofala talerz. Kopalnia anegdot i krynica perlistych żartów, gospodyni statystycznego bloga JaninaDaily.com. Przez długi czas uczyła studentów różnych kierunków, a teraz stara się uczyć statystyki świat marketingu, ale także wszystkich, którzy w swojej pracy mają do czynienia z liczbami, wynikami, badaniami...

Z Janiną Bąk rozmawiam o tym, w jaki sposób obcować z liczbami, których mnóstwo wokół nas, jak interpretować je poprawnie i nie dać się im oszukać.

Daniel Kahneman, psycholog, noblista w dziedzinie ekonomii, mówi o ludzkim mózgu jako o maszynie do wyciągania pochopnych wniosków. Często robimy to, opierając się właśnie o liczby, których dostarcza nam świat. Chętniej wierzymy liczbom, dlaczego?

Kahneman mówi, że w naszej głowie działają dwa systemy. Jeden, którym możemy analizować dogłębnie, ale jego uruchomienie kosztuje nas trochę wysiłku. I drugi, który myśli szybciej, ale często popełnia błędy i upraszcza wiele spraw, bo lubi chodzić na skróty. Dlaczego chętnie wierzymy liczbom? Wbrew pozorom, liczby w komunikacie wcale nie zmuszają nas do intensywniejszego myślenia. Jest coś takiego w psychologii poznawczej jak błąd kwantyfikacji (ang. quantification bias). Zupełnie nieświadomie nadajemy większą wartość temu, co jest mierzalne, policzalne, niż temu, czego nie możemy zmierzyć. Jest w tym jednak pewna ironia. Bo z jednej strony lubimy liczby, łatwo jest nam uwierzyć w jakiś raport albo w to, co publikują w gazetach. A z drugiej strony, w ogóle nie umiemy z tych liczb korzystać.

Niestety, w szkolnym programie nauczania nie ma statystyki, nikt nas nie uczył, jak nie dać się oszukać liczbom, jak je poprawnie interpretować, wreszcie – jak dostrzegać nadużycia. Po prostu nie zostaliśmy tego nauczeni. Ze statystyką największy problem jest taki, że jak mówię komuś, że coś nią jest, to on od razu reaguje alergią i stwierdzeniem, że i tak tego nie zrozumie, bo jest głąbem matematycznym. To szalenie przykre i nieprawdziwe, zawsze powtarzam, że nie ma głąbów matematycznych, są tylko źli nauczyciele. Na szczęście teraz kształcenie dorosłych jest w rozkwicie, mamy ogromny dostęp do wiedzy darmowej i płatnej, można to łatwo nadrobić.

Nie każdy musi być biegły w statystyce, ale każdy może – i powinien? – elementarną wiedzę sobie przyswoić, żeby nie popełniać podstawowych błędów. Jakie to błędy popełniamy najczęściej?

Jednym z najczęstszych jest opieranie swoich wniosków na dowodach anegdotycznych, czyli gdy wnioski ogólne wyciągamy na podstawie tego, że coś przytrafiło się nam lub innym pojedynczym osobom. To, że u ciebie się coś sprawdziło, to jeszcze nie znaczy, że już jest to jakiś trend, jakaś prawidłowość, która została potwierdzona. Temu błędowi ulegamy – niestety – bardzo często, widać to zwłaszcza w dyskusjach internetowych na jakikolwiek temat.

Jednym z najczęstszych błędów jest opieranie swoich wniosków na dowodach anegdotycznych.

Czyli pierwszy błąd kardynalny – wysnuwanie wniosków dotyczących ogółu na podstawie własnego ograniczonego doświadczenia?

Tak, dokładnie. Cytuję: „To musi być prawda, bo u mnie się sprawdziło”. Pamiętajmy, że mamy dostęp do mikrowycinka rzeczywistości, którym są nasze doświadczenia. To, że coś przytrafiło się Tobie, albo dwóm innym osobom, albo że czytałaś trzy historie tego typu w gazetach, nie jest wystarczające do wysnuwania jakichkolwiek wniosków. Znajdę ci dwie osoby, które mają zupełnie przeciwne doświadczenia i co wtedy? Podnoszona jest wtedy broń o nazwie intuicja. Bardzo często, gdy ludzie ze mną dyskutują, mówią – nie możemy wierzyć badaniom, wolimy intuicji. Po pierwsze, zawsze mówię, że intuicja to jest dobre imię dla jamnika, a nie dobry model biznesowy. A po drugie, co w sytuacji, gdy twoja intuicja mówi coś, a moja intuicja mówi mi coś przeciwnego – kto wtedy ma rację? Często, zwłaszcza w biznesie, nie możemy sobie pozwolić, by ryzykować i mówić: „Sprawdzam” dopiero po fakcie. Bo takie decyzje kosztują czas i pieniądze.

fot. Agnieszka Blonka Photography

Natrafiamy na różnego rodzaju wypowiedzi, stanowiska, one często są wysnuwane na podstawie liczb albo są liczbami podpierane. Zwłaszcza, jeśli chodzi o politykę czy dane, którymi posługują się np. firmy w swoich ofertach. Ponoć Mark Twain powiedział, że są trzy rodzaje kłamstwa – kłamstwo, kłamstwo bezczelne i wszelkiego rodzaju statystyki.

Gdy ludzie dyskutują ze mną i chcą pokazać, że liczby kłamią, to często przytaczają ten cytat. To jest o tyle zabawne, że po pierwsze, Mark Twain wcale tego nie powiedział (śmiech). To wspaniały przykład tego, jak kłamstwo – wiele razy powtarzane – staje się prawdą. A po drugie, zawsze odpowiadam to samo: Statystyki nie kłamią. To jest uproszczenie, demagogia, stwierdzenie wytrych, które ma zwalniać nas z myślenia. Faktem jest zaś to, że to ludzie popełniają błędy i nadużycia, interpretując statystyki.

To nie liczby kłamią, tylko ludzie?

To nie statystyki kłamią, ale ludzie bardzo często kłamią na temat statystyk. Czasem dlatego, że po prostu nie wiedzą, jak się nimi posługiwać. Gdy wynika to z niewiedzy, wtedy pół biedy. Ale czasem jest to manipulacja, żeby podeprzeć swój punkt widzenia, swoje argumenty.

W jakie pułapki, opracowując i prezentując dane, wpadają najczęściej firmy jako dawcy tych danych?

Największy grzech prezentacji danych to tzw. cherry picking, czyli wybieranie tych liczb i tych statystyk, które udowadniają i pokazują to, co chce się pokazać.

To się chyba nazywa marketing?

Tak, to niestety częsta praktyka marketingu, ale nie tylko. Jest to też spotykane we wszelkiego rodzaju raportach, gdzie liczy się wynik. Gdy mamy pokazać, jak nam idzie biznes, to wybieramy sobie te statystyki, które są imponujące i które sprawią, że prezes czy klient zaczną płakać ze wzruszenia. Gazety także to robią, zwykli ludzie też. Warto samych siebie obserwować, gdy dyskutujemy na jakikolwiek temat, czy przypadkiem właśnie nie wybieramy tych faktów, tych statystyk, które nam pasują, a nie patrzymy na pełny obrazek.

Drugi częsty grzech to niereprezentatywność próby. To jest duży problem. Zawsze powinniśmy na to zwracać uwagę, gdy czytamy o cudzych badaniach albo cudzych wnioskach. W każdym dobrym raporcie powinna znaleźć się sekcja metodologiczna, w której jest opisane, jak zdefiniowano i pobrano próbę, czyli dokładnie ile osób badano i kto to był. Po to właśnie pobieramy próbę, żeby na podstawie małej grupy wyciągnąć wnioski na temat populacji, ale by to było możliwe, ta próba musi być reprezentatywna. Jej dobór nie może być celowy, wybiórczy. Gdy chcę sprawdzić, co myślą o mnie moi klienci, nie mogę zadać tego pytania tylko tym zadowolonym. Na logikę powinniśmy wiedzieć, że nie tędy droga.

Trzeba też ostrożnie podchodzić np. do analizowania komentarzy i opinii w internecie. Komentowanie jest obarczone błędem, który nazywamy self-selection bias. Ludzie o określonych cechach demograficznych komentują zdecydowanie częściej w internecie niż inni. I to są ludzie, którzy mają bardzo silną opinię na temat naszej firmy lub marki, pozytywną lub negatywną, zdecydowanie częściej komentują też osoby z młodszych pokoleń i płci żeńskiej.

Czyli komentarze w internecie nie są dobrym źródłem informacji na temat tego, jak postrzegają nas nasi klienci bądź potencjalni klienci?

Są bardzo ważne. Jak najbardziej musimy je śledzić, by widzieć, co robimy dobrze, a co źle. Jednak, gdy analizujemy te komentarze i opinie, to miejmy z tyłu głowy, że nie są one reprezentatywne, że nie jest to zdanie wszystkich naszych klientów. To jakiś wycinek rzeczywistości, a jeśli chcemy naprawdę poznać opinie o firmie, to musimy się trochę bardziej postarać – spytajmy jeszcze tych pozostałych, którzy coś kupili, a nie wypowiadają się w internecie.

Dochodzimy do kolejnego problemu, kolejnego zagadnienia, czyli zależności i przyczynowości. Można by na przykład wysnuć wniosek, że mamy coraz więcej pozytywnych opinii w internecie, dlatego zysk naszej firmy rośnie. Kiedy na podstawie danych możemy stwierdzić związek przyczynowo-skutkowy? Kiedy jest to uprawnione?

Błąd pozornej przyczyny to też bardzo częsty błąd. Popełniamy go i w biznesie, i w życiu codziennym. Ustalenie związku przyczynowo-skutkowego jest w nauce czy w badaniach bardzo trudne. I jest szereg reguł, które trzeba spełnić, żeby móc bezpiecznie powiedzieć, że A powoduje B. To trudne w nauce, a co dopiero w złożonej rzeczywistości społecznej czy gospodarczej. I choć nie wszyscy jesteśmy analitykami, to oczywiście szukamy takich zależności i czasem możemy z dużym prawdopodobieństwem stwierdzić, że znamy przyczynę.

Komentarze i opinie w internecie nie są reprezentatywne. To tylko wycinek rzeczywistości.

Przykładem, który lubię, jest historia sprzed kilku lat. Maffashion, popularna blogerka modowa, poleciła podczas transmisji na Snapchacie perfumy. I ta marka następnego dnia została wyprzedana we wszystkich drogeriach w Warszawie. Jedna z ekspedientek stwierdziła, że było to o tyle dziwne, że od 3 lat nie było nimi żadnego zainteresowania. To jest coś, co pozwala nam przypuszczać, że rzeczywiście wpływ Maffashion tu zadziałał. Mogę jednak przytoczyć także kontrprzykład. Gdy swego czasu producent marki Tiger wypuścił – delikatnie mówiąc – bardzo nieprzemyślane kreacje reklamowe obrażające pamięć powstańców warszawskich, w internecie zawrzało, a komentujący konsumenci deklarowali masowy bojkot marki.

fot. Dominika Mikulska

Kilka dni później Maspex opublikował wyniki sprzedaży – na wykresie widoczny był gwałtowny wzrost sprzedaży, który nastąpił zaraz po deklarowanym bojkocie marki… I tak, jak każdy ma opinię na temat liczb, tak gazety zaczęły się rozwodzić nad wpływem rozgłosu wokół marki na sprzedaż, czyli „nieważne jak mówią, ważne, żeby mówili”. Dziś wiemy już, że przyczyną wzrostu wolumenu sprzedaży było wtedy obniżenie ceny.

Czyli patrzyliśmy w jedną stronę, a po drugiej stronie zadziałało co innego?

To jest typowe dla realnego świata. W nauce, gdy ustalamy związek przyczynowo-skutkowy, tworzymy w tym celu bardzo zaawansowane modele, które mają wykluczyć działanie innych czynników na określony skutek. Myślę, że to eksperyment myślowy, który powinniśmy robić sobie za każdym razem. Gdy wydaje nam się, że jest związek przyczynowo-skutkowy pomiędzy dwiema rzeczami, to zastanówmy się, co jeszcze może mieć wpływ, czy może mieć znaczenie dla takiego efektu. W przyrodzie, w życiu społecznym, gospodarczym rzadko jest tak, że tylko jeden czynnik powoduje zmianę. Czasem musimy więc odłożyć na bok optymizm, że sprzedaż wzrosła np. tylko w wyniku naszej nowej reklamy, czy zmiany komunikowania się z klientami, ale zastanowić się, co jeszcze się zmieniło. I wszystko absolutnie może mieć znaczenie – pora roku, sezonowość, ceny konkurencji, nowe opakowanie czy przeniesienie produktu na inną półkę.

Pamiętajmy także o tym, że mamy w przyrodzie wiele fałszywych korelacji (ang. spurious correlations), czyli rzeczy, które z jakiegoś powodu są bardzo silnie matematycznie związane ze sobą, ale tak naprawdę nie ma pomiędzy nimi związku. Istnieje na przykład silna korelacja pomiędzy liczbą kilogramów spożytego sera żółtego a liczbą śmierci na skutek zaplątania w pościeli. Spokojnie, wielbiciele sera nie muszą panikować. Takich przypadkowych korelacji, a właściwie koincydencji, jest w przyrodzie mnóstwo. Zaintrygowanych odsyłam do strony internetowej amerykańskiego badacza Tyle’a Vigena.

W przyrodzie występuje wiele fałszywych korelacji.

Oprócz tego, że nauczasz, zajmujesz się także biznesem, doradztwem w marketingu internetowym, w mierzeniu jego efektów. Zakładając, że każda firma ma swoją stronę internetową i swój profil na Facebooku, bo to jest obecnie must have komunikacji, to na jakie metryki przedsiębiorcy powinni zwracać uwagę, żeby mieć kontrolę nad tym, czy działają w dobrym kierunku?

Mamy dużo narzędzi i metryk, które możemy, a wręcz powinniśmy łączyć. Dane ze statystyk profilu, z menadżera reklam Facebooka, z własnej strony internetowej za pośrednictwem Google Analytics czy innych zainstalowanych narzędzi typu Cux czy Hotjar, liczba przesłanych formularzy kontaktowych, ale też dane zbierane offline, np. liczba odebranych telefonów. Dzięki temu widzimy całość obrazka.

Czy wystarczająco często zastanawiamy się nad tym, czy dane są logiczne i spójne?

Zdecydowanie nie. I bardzo często wpadamy w pułapkę zbytniego optymizmu na widok wysokich liczb. „Hurra, udało się, idzie nam świetnie!” Tu przytoczę ważną zasadę triangulacji danych, która polega na tym, że łączymy różne rodzaje i różne źródła danych, by spojrzeć na zagadnienie z przynajmniej trzech stron. Dzięki temu może się okazać, że to, że średni czas pobytu na moim landingpage’u to 40 minut, to wcale nie powód do otwierania szampana z okazji stworzenia megaangażującej kreacji, ale przeciwnie – problem do rozwiązania.

Jeśli chodzi o kwestię jakości danych, to chciałabym zatrzymać się chwilę nad zbieranymi przez serwisy społecznościowe informacjami o użytkownikach wykorzystywanymi do targetowania reklam.

Pierwsza kwestia – segmentowanie. Natrafiłam kiedyś na porównanie dwóch profili socjodemograficznych osób, które teoretycznie są bardzo do siebie podobne: urodzeni w tym samym roku, dorastali w Anglii, dwukrotnie żonaci, dwójka dzieci, zamożni, mają domy i psy... Byli to książę Karol i… Ozzy Osbourne. Gdyby jednak zaproponować traktorek do koszenia trawy jednemu i drugiemu, to śmiem sądzić, że ich reakcje mogłyby być zgoła odmienne.

Druga kwestia – adekwatność danych. Musimy być świadomi, że targetowanie obarczone jest pewnym błędem. Jeśli ustawiamy reklamę na kobiety 25–35 lat, które mieszkają w promieniu 15 kilometrów od naszego biura, to niech nie kusi nas myśleć, że absolutnie każda taka potencjalna klientka tę reklamę dostanie. Jakość danych zbieranych o użytkownikach różni się pomiędzy serwisami czy pomiędzy narzędziami, czasem jest lepsza, czasem gorsza. Próbę diagnozy jakości tych danych podjęła w 2007 roku firma Deloitte w Wielkiej Brytanii. Dla badanej grupy osób zebrano wszystkie dane, które były o nich dostępne w internecie, a następnie pokazano je samym zainteresowanym, mówiąc: „Czy to wszystko, co internet wie na Pani/Pana temat się zgadza?”. Okazało się, że o ile dane na temat np. płci były dość rzetelne (na poziomie 98 proc.), o tyle już ze zmiennymi, jak np. wiek, posiadanie dzieci, sytuacja zawodowa, status związku czy zainteresowania, był duży problem. Informacje te nie zawsze były trafne i zgodne z rzeczywistością. A to te parametry są dla nas często kluczowe w targetowaniu reklam.

Od wielu lat bez skutku próbuję się dowiedzieć, jak dokładnie Facebook określa nasze zainteresowania – po części to coś, co sami o sobie piszemy, to gdzie się uczyliśmy i pracowaliśmy, strony, które lubimy, czy te, z których postami wchodzimy najczęściej w interakcje... Każdy z nas może swój profil reklamowy zobaczyć, polecam jako ciekawostkę. Jeśli chodzi o moje zainteresowania, na podstawie których Facebook targetuje na mnie reklamy, trochę się zgadzają, bo tam jest statystyka i analityka, a z drugiej strony – są tam też wskazania dla mnie zaskakujące np. karate i... bułka. Oczywiście, lubię pieczywo, ale żeby to było moje zainteresowanie... no nie wiem.

Narzędzia internetowe są niedoskonałe, powinniśmy używać ich z głową.

Kryteria targetowania nie są idealne, ale nie oznacza to jednak, że nie powinniśmy ich używać?

Na pierwszy rzut oka to wygląda pięknie, te wszystkie możliwości, myślimy sobie: „Wyklikam precyzyjnie tę swoją personę i puszczę na nią reklamę, a potem będę się panierować w banknotach ze sprzedaży”. Nie, tak to nie działa. Korzystajmy z pewną dozą ostrożności, obserwujmy i dostosowujmy kryteria na bieżąco, gdy widzimy, że jednak nie ma takiej reakcji, jakiej byśmy się spodziewali.

To, co warto sobie jeszcze uświadomić, to to, że profile naszych klientów online nie są tożsame z naszymi klientami offline. Jeżeli moja demografia na stronie to głównie kobiety w określonym wieku, nie znaczy to, że jest to reprezentatywne dla moich klientów. Co więcej, demografia może się różnić pomiędzy źródłami czy np. profil demograficzny fanów na moim fanpage'u może być różny do demografii w GA mojej strony internetowej, a jeszcze zupełnie inaczej mogę to obserwować w kontaktach z klientami w rzeczywistości. Pewna konkretna grupa może być zainteresowana angażowaniem się w nasz fanpage ze względu na treści, które tam serwujemy, ale zupełnie nie jest zainteresowana przejściem do nas na stronę czy faktycznym skorzystaniem z usług.

To jest trochę czasami taka samospełniająca się przepowiednia?

Trochę tak. Patrzymy na Facebooku, że liczną grupą na naszym fanpage’u są np. kobiety w wieku lat 30–40, zaczynamy tworzyć dla nich więcej treści i – siłą rzeczy – ten segment nam rośnie procentowo. I absolutnie nic w tym złego, jeśli faktycznie jest to grupa, do której kierujemy nasz produkt czy usługę. Gorzej, jeśli nie. Dlatego zawsze powinniśmy pamiętać o naszym celu biznesowym i klientach, do których adresowany jest nasz produkt. Choć oczywiście, warto mieć świadomość demografii aktualnych fanów, bo to pewna diagnoza, reakcja na to, co aktualnie robimy.

Gdybyś mogła udzielić jednej jedynej rady, która sprawi, że będziemy lepiej – jako przedsiębiorcy, ale też po prostu jako ludzie – interpretować napływające do nas zewsząd dane, to...

To będzie coś bardzo trudnego. Aby każdy, kto właśnie interpretuje dane, potrafił zastanowić się nad nimi na chłodno. Odłożył na bok swoje opinie, oczekiwania, aspiracje, emocje i zastanowił się na chłodno nad każdą liczbą, która jest dla niego ważna z tego czy innego względu. Żeby zastanowił się, co ona może oznaczać, z czego wynika to, że jest taka, a nie inna. Powinniśmy stale robić takie eksperymenty myślowe i patrzeć z kilku punktów widzenia na dane, na fakty, które ktoś nam przedstawia, myśleć krytycznie i analizować, na ile możemy im zaufać. Zawsze mówię, że tam, gdzie  w grę wchodzą emocje, pierwszym zakładnikiem stają się fakty. Wiem, że obiektywizm jest bardzo trudny, zwłaszcza jeśli chodzi o rzeczy, z którymi mamy emocjonalny związek, albo gdy mamy głęboko zakorzenione przekonanie na dany temat.

Szczególnie, jeżeli analizujemy dane, na podstawie których będziemy później planować własne działania.

No tak. Nawet, jeśli cieszą nas soczyste wskaźniki w raportach, to długodystansowo nie wyjdziemy na tym najlepiej, jeśli będziemy opierać się na fałszywych przesłankach.

Dziękuję za rozmowę.

Dominika Mikulska - Ekspertka marketingu z 18-letnim stażem w zawodzie. Od 2013 związana z portalem Nieruchomosci-online.pl, w którym jako b2b marketing manager realizuje projekty w sferze komunikacji i rozwoju produktu dla biur i agentów nieruchomości. Redaktor naczelna e-magazynu „ESTATE”.