Jak mierzyć wydajność zespołów Scrumowych?

Twoje KPI mają znaczenie

KPI, czyli Key Performance Indicator to wskaźnik, który mierzy efektywność organizacji, zespołu czy jednostki. Mierzyć można wszystko, ale zły wybór miary może skierować całą organizację w niewłaściwą stronę.

Kadra zarządzająca ustalając, co będzie mierzone (KPI) wysyła do pracowników sygnał, co powinno być dla nich ważne, za co będą nagradzani i z czego będą rozliczani. I już to wystarczy – dostaniesz to, co mierzysz.

Jeśli mierzysz ilość telefonów do klienta, Twoi pracownicy będą wykonywać telefony do klienta. Jeśli mierzysz ilość linii kodu, dostaniesz linie kodu. Mierząc zamknięte zadania w Jirze, dostaniesz zamknięte zadania. Prawo Goodhart’a mówi, że „kiedy miara staje się celem, przestaje być dobrą miarą”. Po prostu pracownicy szybko nauczą się, jak spełniać swoje KPI.

Tylko czy to zapewni wartość biznesową dla klienta lub organizacji?

Mierz to, co jest naprawdę ważne.

Zwinność biznesowa

W odpowiedzi na złożoność i zmienność środowiska musiał zmienić się paradygmat zarządzania. Zmieniają się rynki, zmieniają się klienci i zmieniają się technologie. W takim tempie, że tylko najbardziej zwinne organizacje zdobywają przewagę konkurencyjną.

I dlatego na salony szturmem wszedł Scrum, zwinny framework do tworzenia, rozwoju i utrzymywania produktów w złożonych środowiskach.

Scrum jest obecny praktycznie w każdej firmie za sprawą działów IT (choć czasem jest słaby). Ma być odpowiedzią na potrzeby szybkich zmian i adaptacji do zmiennych warunków.

Tymczasem widzimy jak wiele zarządów boryka się z zespołami Scrumowymi. Działają inaczej: wyceniają pracę w abstrakcyjnych jednostkach Story Points, planują na kilka tygodni do przodu i nie potrafią zobowiązać się do harmonogramu i zakresu projektu.

I tu musimy się zderzyć z pierwszą różnicą w nastawieniu: jeśli chcesz być zwinny, to musisz zaakceptować zmiany. Tak w zakresie jak i harmonogramie. Scrum bazuje na założeniu, że w złożonych warunkach przyszłość jest trudno przewidzieć.

Mierzenie wydajności zespołów Scrumowych

Skoro przyszłość jest trudno przewidzieć i Scrum nie wpisuje się w sztywne wielomiesięczne harmonogramy, to jak mierzyć wydajność zespołu Scrumowego?

Scrum skupia się na tym, żeby w zamkniętych jednostkach czasu (Sprintach) o długości np. 2 tygodni dostarczyć maksymalną wartość dla użytkownika końcowego. Od pomysłu do wdrożenia.

To dlatego zespół Scrumowy musi być cross-funkcjonalny, musi mieć komplet kompetencji do rozwoju produktu. Musi być też uprawomocniony w organizacji do podejmowania działań i decyzji dotyczących ich produktu.

Dopiero taki zespół może wziąć pełną odpowiedzialność za efekt końcowy, bez wskazywania na inne zespoły i bez czekania na akceptacje innych działów kompetencyjnych.

W takich warunkach możemy skupić się nie na mierzeniu outputu poszczególnych ról, ale na efekcie, jakim jest produkt, który trafia do użytkownika końcowego.

I to jest najważniejsze dla Twojej firmy.

Mierz to, co ważne

Scrum w swojej naturze ma wysoką przejrzystość, która umożliwia inspekcję, a wyniki służą do adaptacji zespołu/produktu/procesu (transparency-inspect-adapt). Mierzenie różnych wskaźników przy takim założeniu jest czymś naturalnym.

Rozdzielmy jednak miary na wewnętrzne, do wykorzystania przez zespół i ogólne, wpisujące się w strategię i cele firmy.

Na przykład popularną miarą jest velocity, czyli ilość Story Pointów dostarczanych w jednym sprincie. Ta miara jednak jest przeznaczona tylko i wyłącznie dla zespołu, żeby mógł się usprawniać. Bo kiedy trafia ona do poziomu kadry zarządzającej, zespół będzie inaczej wyceniał swoją pracę. Dzieje się tak za sprawą efektu Hawthorn’a – zespół obserwowany podświadomie zmienia swoje zachowanie (i wyceny). Velocity to typowa miara wewnętrzna, jej mierzenie na poziomie organizacji tylko ją fałszuje.

W ogólnym rozrachunku to outcome się liczy, nie output. I odpowiedzią na potrzebę mierzenia efektu pracy zespołów Scrumowych jest np. Evidence Based Management.

Skupia się on na mierzeniu efektów w czterech obszarach:

1. Current Value - mierzy wartość, która jest dostarczana tu i teraz klientowi i organizacji
2. Unrealized Value – mierzy wartość, która mogłaby zostać dostarczona, gdybyśmy spełnili potrzeby użytkownika
3. Ability to Innovate – mierzy możliwość innowacyjnych rozwiązań
4. Time to Market – mierzy możliwość szybkiego dostarczania nowych funkcji, produktów i usług do klienta końcowego

Jak określić właściwe wskaźniki i mierzyć wartość produktu/usługi?

Przy wybraniu odpowiednich wskaźników firma skupia się na istotnych biznesowo obszarach. Evidence Based Management zawiera propozycje takich wskaźników i tak przykładowo wartość produktu można mierzyć za pomocą:

• NPS klientów – sentyment klienta końcowego
• Usage Index – użycie, częstotliwość, czas spędzony przy produkcie i jego konkretnych funkcjach
• Revenue per Employee – ilość przychodu przypadającego na jednego pracownika
• Cycle Time – ilość czasu od rozpoczęcia pracy do uruchomienia produkcyjnego
• Release frequency – ilość wdrożeń produkcyjnych w wybranej jednostce czasu
• Defect trends – trendy dotyczące ilości defektów w produkcie
• Market Share – procent rynku kontrolowany przez produkt

Oczywiście wskaźniki muszą być dostosowane do specyfiki produktu i usługi, a także możliwości organizacji w ich zbieraniu.

A jeśli Twoja organizacja dopiero wprowadza miary, to może dobrym pomysłem jest zapytać same zespoły, co chciałyby mierzyć? Z pewnością Ci, którzy są teraz najbliżej produktu potrafią zdefiniować, co według nich oznacza sukces i co warto mierzyć. Ilość bugów po wdrożeniu? Ilość uśmiechów w ciągu dnia? Ilość maili pochwalnych od klienta?

Właściwe wskaźniki zakomunikują całej organizacji, co jest naprawdę ważne.

Wymaga to jednak najpierw zmiany nastawienia z fixed everything na ciągłe poszukiwanie najlepszej inwestycji w danym momencie. Taka zmiana nie wydarzy się jednak w ciągu jednej nocy. To proces, po którym organizacja wchodzi w tryb ciągłego usprawniania w krótkich pętlach feedbacku transparency-inspect-adapt.