Metryki lagujące i leadujące

Jeden z najwiekszych problemów jakie frustrują produktowców jest deklarowanie się na cele i metryki, co do których (słusznie) nie mają pewności.

Bo my wiemy jak dużo czynników na te cele wpływa: sezon, akcje marketingowe, choroby wirusowe, wojny za granicą, korki na mieście czy nawet to, co leci w telewizji. Nie da się tego przewidzieć z dokładnością co do przecinka tak jak wymaga się wyliczania konwersji produktu na koniec kwartału.

Stojąc przed takim problemem PM ma zazwyczaj dwie możliwości:

  1. Zgodzić się i przyjąć wyzwanie. Na oko zdyskontować czynniki sprzyjające i hamujące i tak budować w sobie produktową intuicję. Gdy przyjdzie czas weryfikacji trzeba tylko mieć listę czynników zewnętrznych (czyli wymówek) dlaczego się nie udało. A jeśli się uda, to siedzieć cicho, chełpić się chwałą i karmić swój syndrom oszusta,
  2. Zbuntować się i odrzucić sztywne ramy raportowania. W związku z tym przerzucić odpowiedzialność na swojego przełożonego, który sam musi coś wpisać do tabelki z projekcjami ROI. Ten PM nie ma jednak nic konkretnego do zaoferowania w zamian, a jego szef będzie od teraz ma go na oku.

Jest natomiast trzecia droga: skalibrowanie metryk w sposób, który zminimalizuje ryzyko czynników zewnętrznych na pozytywny wpływ zespołu na produkt. Jak to zrobić?

Największy problem z metrykami jest taki, że czas między wdrożeniem funkcji, a jej zauważalnym wpływem (czyli tak zwana „obserwowalność”) potrafi być bardzo długi, liczona w tygodniach, miesiącach, a nawet kwartałach.

Natomiast każdy kolejny dzień wprowadza zwiększone ryzyko wystąpienia nieoczekiwanych wydarzeń, które zaszumiają obraz sytuacji, a więc zmniejszają szansę na weryfikację czy nowy ficzer wniósł pozytywną zmianę. Im dalej w przyszłość tym mocniej daje o sobie znać tzw. stożek możliwych przyszłości:

Prawdopodobieństwo, że trafisz ze swoim planem dokładnie w środek możliwych przyszłości jest znikomy… i coraz mniejszy im dłuższy horyzont czasowy.

Wspomniana wyżej kalibracja polega na zindentyfikowaniu metryk lagujących i leadujących. Lagujące to zazwyczaj te najistotniejsze, których królowa to EBITDA, poniżej niej zazwyczaj konwersja na pierwszy zakup, konwersja na kolejny zakup (czyli powracalność) i średni koszyk (AOV) oraz ich wariacje, jak wartość klienta w całym jego życiu (LTV) czy churn. Wpłynięcie na którąkolwiek z nich gwarantuje oczywisty wpływ na przychody firmy.

Ale! Aby móc to zrobić potrzeba ogromnego wysiłku, a przede wszystkim czasu. A czas to jest luksus, którego żaden startup nie może oczekiwać.

Trochę o A/B testach
Wielkim krokiem w stronę poprawy tej sytuacji było upowszechnienie się A/B testów, a następnie testów multiwariacyjnych. Natomiast one też mają swoje problemy, szczególnie wśród startupów o małej skali: korpus danych potrzebnych do osiągnięcia istotności statycznej A/B testów jest tak duży, że czasami trzeba czekać miesiącami, aby zweryfikować który wariant przycisku lepiej konwertuje. Finalnie zazwyczaj różnica między wariant A i B jest tak mały, że nie opłaca się tracić czas na takie testy budżetu, a w szybko poruszających się organizacjach po prostu nie ma na to czasu.

Dlatego mamy też metryki leadujące, nie tak bezpośrednie jak lagujące, ale z zasadniczą przewagą: nie trzeba na nie czekać, bo ich reakcję na działania widać (niemal) natychmiastowo. Jeśli uda się połączyć korelacją metrykę lagującą z metryką leadująca to mamy klucz do rozwiązania naszego pierwotnego dylematu, a więc dobrą kalibrację metryk.

Jeśli metryka leadująca jest mocno skorelowana z lagującą to oznacza, że efektywnie potrafimy czytać przyszłość – ograniczamy bowiem liczbę możliwych wariantów do tylko tych, które wskazywane są przez efekty leadujących metryk.

Przykład:

Załóżmy, że porządana częstotliwość korzystania z Twojego produktu to raz na miesiąc. To prawdopodobnie oznacza, że użytkownik churnujący to taki, który nie skorzystał z Twojego produktu przez minimum 3 miesiące od ostatniego razu.

Czekanie 3 miesiące po wdrożeniu funkcji, aby zobaczyć, czy przynosi efekty jest stratą czasu. Możemy więc w takim razie zadziałać inaczej: z dużą dozą prawdopodobieństwa można stwierdzić, że użytkownik, który wykonał dużo akcji po pierwszej konwersji (jak wchodzenie na konto, sprawdzanie historii, przeglądanie oferty itp) ma mniejszą szansę na churn, ponieważ generuje dużo interakcji i buduje się behawioralne przywiązanie. A to są rzeczy, na które zespół produktowy ma bezpośredni wpływ. Dobrym pomysłem więc byłoby szukanie metryki leadującej w postaci zwiększania zaangażowania po pierwszej konwersji. To już da się raportować w czasie rzeczywistym zamiast churnu na który trzeba czekać 3 miesiące.

Zresztą, inne działy w Waszej firmie już dawno to odkryły. Dobre działy sprzedaży zamiast patrzeć na to jak dużą wartość deali kumulatywnie przyniosą na koniec kwartału (metryka lagująca) patrzą na to, jak dużo spotkań sprzedażowych udało się odbyć w danym dniu (metryka leadująca). Im więcej spotkań tym większa szansa na sprzedaż. Prosta korelacja.

Kapelusze

Wyobraź sobie, że otwierasz swój telefon i korzystasz z jednej z appek bądź stron, które w jakiś sposób są Ci przydatne. Kupowanie biletów miejskich, jedzenie online, zakupy spożywcze, ubranie, rezerwacja u fryzjera czy w restauracji, oglądanie filmów, słuchanie muzyki, przesyłania pieniędzy, inwestowania… you name it.

Założę się, że miałaś nie jeden raz sytuacje w której łapałaś się za głowę zastanawiając jak to jest k%&*# możliwe, że przepuścili takiego babola: interfejs jest mylący, ścieżka prowadzi Cię do ślepego zaułka, appka się zacina w kluczowym momencie. A może najważniejsza rzecz jest zasłonięta przez popup z reklamą lub proces wymaga mnóstwa kroków, które w sumie wyglądają na niepotrzebne. Gdybyś tylko mogła tam pracować to byś to inaczej ułożyła, co oni myśleli!? Przecież to oczywiste co należy zrobić, żeby było lepiej!

A teraz wyobraź sobie, że faktycznie dostajesz pracę w jednym z tych startupów. I teraz faktycznie masz moc i kredyt zaufania, żeby wszystko zmienić. Co teraz? Zrobisz to?

W momencie przekroczenia symbolicznych progów nowej firmy zmieniamy (także symboliczny) kapelusz: z użytkownika na produktowca. Ta zmiana udowadnia jak niezwykłą siłę ma nasz mózg do dostrajania się do nowych sytuacji i kontekstów.

Bo to nie jest jednorazowe zjawisko. Ta magia dzieje się codziennie: przez całą moją produktową karierę zawsze w pracy byłem pełen respektu dla wszystkich ograniczeń, które powodują, że coś nie działa tak, jak bym chciał. Ale tylko jak skończyło się ostatnie spotkanie w pracy, to frustrowałem się wieczorem dlaczego koszyk mi się kasuje jak chcę zmienić restaurację, nie mogę jednym przyciskiem zamówić taksówki czy zapłacić online za wymianę opon.

A później przychodził ranek, zmieniałem kapelusz i szybko sobie przypomniałem dlaczego „to nie takie proste” – bo legacy, bo zależności, bo konsekwencje biznesowe, których użytkownicy nie są świadomi… A później wieczorem znów zmiana kapelusza i inny zestaw myśli: jakie k%^& konsekwencje biznesowe? Jestem userem, ma być mi łatwo, to jest najważniejsze! Ale przecież (zmiana kapelusza)… i tak w kółko.

Uważam, że to jedna z głównych barier, która nie pozwalają nam rozumieć „drugiej strony”: nie potrafimy mieć jednocześnie dwóch kapeluszy na głowie, nie potrafimy utrzymać dwóch sprzecznych opinii w umyśle w tym samym momencie. 

Produktowcy są jednak w wyjątkowo uprzywilejowanej sytuacji, bo faktycznie mają te dwa kapelusze. Co więcej: mogą je zmieniać na zawołanie. Sam fakt uświadomienia sobie otwiera zupełnie nowe możliwości, ale przede wszystkim świadomość, że to nie jest problem do rozwiązania a paradoks do ciągłego zarządzania.

Punkt konwersji

W 2015 i 2016 roku PizzaPortal.pl i Pyszne.pl toczyły zaciętą rywalizację o dominację na rynku dostaw jedzenia online w Polsce. Uber Eats dopiero wchodził na rynek, a inne platformy tego typu jeszcze nie były na horyzoncie.

PizzaPortal, będący częścią DeliveryHero, koncentrowało się na strategii opartej na performance marketingu, inwestując w Google Ads, a ja i optymalizowałem ścieżki zakupową w produkcie. Efektem tego była nowa, szybsza i responsywna strona www oraz natywne aplikacje na iOS i Androida (tutaj zrobiłem dekompozycję tego procesu). Wszystko to znacznie poprawiło naszą konwersję we wszystkich kanałach.

Pomimo to, Pyszne.pl zwyciężyło. Długo zastanawiałem się, dlaczego: mieliśmy lepszy produkt, lepsze targetowanie reklam w internecie, prawdziwy dział obsługi klienta. Jednak przegraliśmy. To była dla mnie frustrująca sytuacja, ponieważ byłem przekonany, że mając lepszy produkt, mamy przewagę. Pyszne.pl było znane z legendarnie słabego procesu zamawiania na www, a ich aplikacja to było tylko przepakowanie strony internetowej do okna przeglądarki. Nie popełniliśmy żadnego błędu, a mimo to przegraliśmy. Dlaczego?

Przez lata zbierałem fragmenty tej układanki – podobne historie i przypadki w innych rynkowych bataliach. Dopiero teraz, 8 lat później, zrozumiałem prawdziwy powód słysząc konwersację Karola (CTO) i Wojtka (PM) w uPacjenta, gdzie obecnie pracuję. Dochodzili do wniosku, że “prawdziwa konwersja dzieje się przed skorzystaniem z produktu”.

Wtedy mi coś kliknęło w głowie. My po prostu błędnie postrzegaliśmy prawdziwą konwersję – to nie jest zdarzenie gdzieś na mapie podróży klienta przez produkt. To nie moment, kiedy klient po raz pierwszy wchodzi bezpośrednio na stronę. To także nie jest moment, kiedy ktoś faktycznie zapłacił za produkt czy usługę. My, produktowcy, lubimy te dwa punkty analityczne, bo są łatwo mierzalne, a to co jest łatwo mierzalne, jest łatwe do raportowania i zrozumienia.

Jednak te liczby są tylko konsekwencją czegoś ważniejszego, czegoś znacznie trudniejszego (lub nawet niemożliwego?) do zmierzenia: prawdziwej intencji. A konkretnie chodzi o moment, kiedy ta intencja się formuje. W większości przypadków (szczególnie jeśli mamy do czynienia z produktem B2C) ten moment pojawia się zanim rozpocznie się mierzalna podróż klienta, a więc zanim klient wejdzie w interakcję z produktem!

Fakt, że klient włączył aplikację, jest efektem tej mentalnej konwersji, a dla całej analityki produktowej to jest tylko pierwszy etap modelowania ścieżki.

Gdy zrozumiałem to, zdałem sobie sprawę, dlaczego Pyszne.pl wygrało. W przeciwieństwie do nas, skupili się na zasięgu: reklamy telewizyjne, billboardy w największych miastach. Zastanawialiśmy się, jakie ogromne budżety musieli na to miesięcznie przeznaczać. Wydawało nam się, że to zły pomysł, bo mając tak słaby produkt, marnują pieniądze i psują pierwsze wrażenie. Dodatkowo, robili coś, co z natury rzeczy jest trudne do policzenia, więc nie mieli jak tego kontrolować, co skutkowało ryzykiem ogromnych strat.

Jednak z mojej nowej perspektywy, ich działania zaczynają mieć sens: uderzali szeroko, w momencie i miejscu formowania się intencji. My natomiast optymalizowaliśmy kilka kroków później na ścieżce użytkownika. W efekcie, pierwszy etap ich lejka konwersji był bardzo szeroki, więc nawet przy słabej „standardowej konwersji”, kończyli z znacznie lepszym efektem.

Jeśli więc prawdziwa konwersja jest tożsama z powstaniem intencji zakupowej, to komunikacja jest ważniejsza od produktu. Natomiast rolą produktu jest praca nad tym, aby nie spieprzyć tego, co komunikacja obiecała. Niemniej mając słaby produkt można wygrać dobrą komunikacją, ale w druga stronę jest to znacznie mniej prawdopodobne.