Jeden z najwiekszych problemów jakie frustrują produktowców jest deklarowanie się na cele i metryki, co do których (słusznie) nie mają pewności.
Bo my wiemy jak dużo czynników na te cele wpływa: sezon, akcje marketingowe, choroby wirusowe, wojny za granicą, korki na mieście czy nawet to, co leci w telewizji. Nie da się tego przewidzieć z dokładnością co do przecinka tak jak wymaga się wyliczania konwersji produktu na koniec kwartału.
Stojąc przed takim problemem PM ma zazwyczaj dwie możliwości:
- Zgodzić się i przyjąć wyzwanie. Na oko zdyskontować czynniki sprzyjające i hamujące i tak budować w sobie produktową intuicję. Gdy przyjdzie czas weryfikacji trzeba tylko mieć listę czynników zewnętrznych (czyli wymówek) dlaczego się nie udało. A jeśli się uda, to siedzieć cicho, chełpić się chwałą i karmić swój syndrom oszusta,
- Zbuntować się i odrzucić sztywne ramy raportowania. W związku z tym przerzucić odpowiedzialność na swojego przełożonego, który sam musi coś wpisać do tabelki z projekcjami ROI. Ten PM nie ma jednak nic konkretnego do zaoferowania w zamian, a jego szef będzie od teraz ma go na oku.
Jest natomiast trzecia droga: skalibrowanie metryk w sposób, który zminimalizuje ryzyko czynników zewnętrznych na pozytywny wpływ zespołu na produkt. Jak to zrobić?
Największy problem z metrykami jest taki, że czas między wdrożeniem funkcji, a jej zauważalnym wpływem (czyli tak zwana „obserwowalność”) potrafi być bardzo długi, liczona w tygodniach, miesiącach, a nawet kwartałach.
Natomiast każdy kolejny dzień wprowadza zwiększone ryzyko wystąpienia nieoczekiwanych wydarzeń, które zaszumiają obraz sytuacji, a więc zmniejszają szansę na weryfikację czy nowy ficzer wniósł pozytywną zmianę. Im dalej w przyszłość tym mocniej daje o sobie znać tzw. stożek możliwych przyszłości:
Prawdopodobieństwo, że trafisz ze swoim planem dokładnie w środek możliwych przyszłości jest znikomy… i coraz mniejszy im dłuższy horyzont czasowy.
Wspomniana wyżej kalibracja polega na zindentyfikowaniu metryk lagujących i leadujących. Lagujące to zazwyczaj te najistotniejsze, których królowa to EBITDA, poniżej niej zazwyczaj konwersja na pierwszy zakup, konwersja na kolejny zakup (czyli powracalność) i średni koszyk (AOV) oraz ich wariacje, jak wartość klienta w całym jego życiu (LTV) czy churn. Wpłynięcie na którąkolwiek z nich gwarantuje oczywisty wpływ na przychody firmy.
Ale! Aby móc to zrobić potrzeba ogromnego wysiłku, a przede wszystkim czasu. A czas to jest luksus, którego żaden startup nie może oczekiwać.
Trochę o A/B testach
Wielkim krokiem w stronę poprawy tej sytuacji było upowszechnienie się A/B testów, a następnie testów multiwariacyjnych. Natomiast one też mają swoje problemy, szczególnie wśród startupów o małej skali: korpus danych potrzebnych do osiągnięcia istotności statycznej A/B testów jest tak duży, że czasami trzeba czekać miesiącami, aby zweryfikować który wariant przycisku lepiej konwertuje. Finalnie zazwyczaj różnica między wariant A i B jest tak mały, że nie opłaca się tracić czas na takie testy budżetu, a w szybko poruszających się organizacjach po prostu nie ma na to czasu.
Dlatego mamy też metryki leadujące, nie tak bezpośrednie jak lagujące, ale z zasadniczą przewagą: nie trzeba na nie czekać, bo ich reakcję na działania widać (niemal) natychmiastowo. Jeśli uda się połączyć korelacją metrykę lagującą z metryką leadująca to mamy klucz do rozwiązania naszego pierwotnego dylematu, a więc dobrą kalibrację metryk.
Jeśli metryka leadująca jest mocno skorelowana z lagującą to oznacza, że efektywnie potrafimy czytać przyszłość – ograniczamy bowiem liczbę możliwych wariantów do tylko tych, które wskazywane są przez efekty leadujących metryk.
Przykład:
Załóżmy, że porządana częstotliwość korzystania z Twojego produktu to raz na miesiąc. To prawdopodobnie oznacza, że użytkownik churnujący to taki, który nie skorzystał z Twojego produktu przez minimum 3 miesiące od ostatniego razu.
Czekanie 3 miesiące po wdrożeniu funkcji, aby zobaczyć, czy przynosi efekty jest stratą czasu. Możemy więc w takim razie zadziałać inaczej: z dużą dozą prawdopodobieństwa można stwierdzić, że użytkownik, który wykonał dużo akcji po pierwszej konwersji (jak wchodzenie na konto, sprawdzanie historii, przeglądanie oferty itp) ma mniejszą szansę na churn, ponieważ generuje dużo interakcji i buduje się behawioralne przywiązanie. A to są rzeczy, na które zespół produktowy ma bezpośredni wpływ. Dobrym pomysłem więc byłoby szukanie metryki leadującej w postaci zwiększania zaangażowania po pierwszej konwersji. To już da się raportować w czasie rzeczywistym zamiast churnu na który trzeba czekać 3 miesiące.
Zresztą, inne działy w Waszej firmie już dawno to odkryły. Dobre działy sprzedaży zamiast patrzeć na to jak dużą wartość deali kumulatywnie przyniosą na koniec kwartału (metryka lagująca) patrzą na to, jak dużo spotkań sprzedażowych udało się odbyć w danym dniu (metryka leadująca). Im więcej spotkań tym większa szansa na sprzedaż. Prosta korelacja.
Upraszczając, chyba, albo jesteś proaktywny w pracy nad metrykami leadujacymi albo giniesz. Pytanie o efektywność. Jako sales możesz odbywać dziesiątki spotkań. W teorii przybliżają Cię do końcowego pozytywnego wyniku, ale w teorii. Musisz weryfikować czy w jakikolwiek sposób są efektywne, spotkanie spotkaniu nierówne. Zakładam, że to wiesz i pewnie jest szansa na kolejny wpis o tym jak to weryfikować w trakcie.
Hej Łukasz:) Dział sprzedaży to był tylko przykład i chyba nie chciałbym się zagłębiać bo to nie moja działka, natomiast tak, oczywiście: metryka ilościowa (liczba spotkań) powinna iść w parze z metryką jakościową (efekt spotkań). Natomiast ta jakościowa daje duże pole do interpretacji, bo jakość może być uznaniowa, albo właśnie jest to metryka lagująca