Nie vždy vám ukážu čísla dobrý smer

Prečo je dôvera v čísla taká zákonitá

Číslo pôsobí objektívne. Nemá tón hlasu, nemá záujem, nedá sa uraziť ani presvedčiť. Práve preto sa manažéri prirodzene prikláňajú k rozhodnutiam podloženým metrikou, namiesto rozhodnutí podložených dojmom alebo skúsenosťou. Táto dôvera má racionálny základ. Dáta skutočne odstraňujú množstvo skreslení, ktorým podlieha samotný ľudský úsudok. Bez nich by riadenie väčšej firmy bolo v podstate nemožné.

Problém nastáva vo chvíli, keď táto dôvera prestane byť podmienená a stane sa automatickou. Vtedy sa prestávame pýtať, čo presne číslo meria, a začneme sa pýtať len, či číslo rastie alebo klesá. A práve v tomto prechode, od otázky čo k otázke či, sa skrýva väčšina problémov, ktorým sa budem ďalej venovať.

Ak firmu riadite len podľa viditeľných čísel, o chvíľu nebudete mať ani firmu, ani čísla.

Táto myšlienka pochádza od W. Edwardsa Deminga, jedného z najvplyvnejších teoretikov moderného manažmentu kvality. V knihe Out of the Crisis citoval svojho kolegu Lloyda Nelsona. Podľa neho sú najdôležitejšie čísla, aké manažment potrebuje, neznáme a nepoznateľné. Nelson mal na mysli veci ako množiaci efekt spokojného klienta, ktorý firme formou odporúčania priniesie ďalších klientov. Alebo množiaci efekt nespokojného klienta, ktorý firmu odporučí ako varovanie. Tieto veci sa v reporte nikdy neobjavia ako riadok. Napriek tomu rozhodujú o budúcnosti firmy minimálne rovnako, ako čísla, ktoré report obsahuje.

Goodhartov zákon: keď sa miera stane cieľom

Prvý a najznámejší z javov, ktoré skresľujú vzťah medzi dátami a realitou, pochádza od britského ekonóma Charlesa Goodharta. V roku 1975, v článku o menovej politike Spojeného kráľovstva, sformuloval myšlienku, ktorú antropologička Marilyn Strathern neskôr popularizovala. Vo forme, akú dnes poznáme, znie takto: keď sa miera stane cieľom, prestáva byť dobrou mierou.

Mechanizmus je jednoduchý, len sa v praxi zvykne prehliadať. Kým je metrika len pozorovaním, verne odráža realitu, pretože nikto nemá dôvod ju ovplyvňovať. Akonáhle sa z metriky stane cieľ, na ktorý sú naviazané odmeny, hodnotenia alebo očakávania, situácia sa zmení. Ľudia začnú svoje správanie prispôsobovať tak, aby metriku splnili. Nie tak, aby dosiahli skutočný výsledok, ktorý mala metrika pôvodne reprezentovať. Metrika sa tým odtrhne od reality, ktorú mala merať.

Ako to vyzerá v bežnej B2B praxi

Vo všetkých troch prípadoch metrika po zavedení cieľa aj naďalej rastie, alebo sa aspoň nezhoršuje. Firma sa na papieri javí zdravo. Realita, ktorú mala metrika reprezentovať, teda skutočný obchodný výkon, sa ale môže zhoršovať súčasne s tým, ako číslo rastie. Toto je jadro Goodhartovho zákona, rozpojenie medzi číslom a javom, ktorý číslo pôvodne reprezentovalo.

Campbellov zákon: prečo sa dáta pod tlakom kazia

Súbežne s Goodhartom, a podľa niektorých historikov ešte skôr, sformuloval podobnú myšlienku americký sociálny vedec Donald T. Campbell. Jeho formulácia je dnes známa ako Campbellov zákon. Znie takto: čím viac sa kvantitatívny sociálny indikátor používa na rozhodovanie, tým väčší je tlak na jeho skresľovanie. A tým väčšmi tento tlak deformuje aj samotný proces, ktorý mal indikátor sledovať.

Rozdiel oproti Goodhartovmu zákonu je v dôraze. Goodhart hovorí o tom, že metrika stráca výpovednú hodnotu. Campbell ide ďalej a hovorí, že samotný proces, ktorý bol pôvodne meraný, sa začne deformovať pod tlakom merania. Campbell to pôvodne opísal na príkladoch zo školstva. Testy mali merať vzdelanie, ale pod tlakom hodnotenia škôl podľa výsledkov testov sa situácia zmenila. Samotné vyučovanie sa zmenilo na prípravu na test, nie na vzdelávanie v širšom zmysle.

Čím viac záleží na jednom čísle, tým väčší je tlak, aby prestalo byť pravdivé.

V B2B prostredí sa tento jav prejaví napríklad vtedy, keď firma naviaže bonusy priamo na mesačný obrat bez ohľadu na ziskovosť. Obchodníci pod týmto tlakom začnú poskytovať zľavy, ktoré sa v systéme často ani neevidujú. Obrat rastie, presne podľa cieľa, ale marža, ktorá nebola priamo merateľná metrikou, sa ticho prepadá. Proces predaja sa deformoval presne tak, ako Campbellov zákon predpovedá.

McNamarova chyba: keď meriame len to, čo je ľahké merať

Tretí, možno najvýznamnejší jav pre praktické riadenie firmy, nesie meno Roberta McNamaru. Bol americkým ministrom obrany počas vojny vo Vietname a predtým prezidentom spoločnosti Ford. McNamara preniesol do vedenia vojny prísne kvantitatívny prístup, ktorý mu predtým fungoval v automobilovom priemysle. Úspech vo vojne sa začal merať prevažne počtom zabitých nepriateľských vojakov, pretože to bolo číslo, ktoré sa dalo relatívne presne spočítať.

Publicista Daniel Yankelovich v roku 1971 popísal mechanizmus, ktorý z tohto prístupu vznikol, v štyroch krokoch. Najprv zmeriate všetko, čo sa dá jednoducho zmerať. Potom odignorujete všetko, čo sa nedá jednoducho zmerať. Potom začnete predpokladať, že to, čo sa nedá jednoducho zmerať, nie je dôležité. A na konci začnete predpokladať, že to, čo sa nedá jednoducho zmerať, ani neexistuje. Yankelovich posledný krok označil jediným slovom, samovražda.

Štyri kroky degradácie úsudku podľa Yankelovicha

• Zmerať to, čo je ľahko merateľné, čo je v poriadku ako prvý krok.
• Odignorovať to, čo sa nedá ľahko zmerať, čo je už umelé a skresľujúce.
• Predpokladať, že to, čo sa nedá ľahko zmerať, nie je dôležité, čo je slepota.
• Predpokladať, že to, čo sa nedá ľahko zmerať, ani neexistuje, čo je podľa Yankelovicha samovražedné.

Vo Vietname toto viedlo k tomu, že armáda vyhrávala podľa čísel a prehrávala podľa reality. Počty zabitých nepriateľov rástli. Armáda ale nezachytila rastúcu odhodlanosť protivníka, ani politický rozklad podpory doma. Tieto veci sa totiž do počtu obetí nedali premietnuť.

Ako sa McNamarova chyba prejavuje v obchode

Firma, ktorá sleduje len počet nových kontaktov v databáze, ale nesleduje kvalitu vzťahu, ktorý s nimi vzniká, robí presne tú istú chybu. Len v menšom meradle. Počet kontaktov je ľahko merateľný. Hĺbka dôvery, ktorú v konkrétnom vzťahu obchodník vybudoval, sa merať dá len ťažko. Preto sa často nemeria vôbec. Podľa McNamarovej logiky sa firma postupne dostáva do bodu, kde predpokladá, že dôvera, ktorú nevie zmerať, ani nie je dôležitá. Presne táto zložka však podľa Maisterovej rovnice dôvery najsilnejšie rozhoduje o dlhodobom obchodnom vzťahu.

Simpsonov paradox: keď súhrnné číslo klame o realite pod ním

Štvrtý jav je iného druhu než predošlé tri. Nevzniká z toho, že by niekto metriku zámerne skresľoval. Vzniká čisto matematicky, ako dôsledok toho, ako sú dáta zoskupené. Simpsonov paradox je pomenovaný po britskom štatistikovi Edwardovi H. Simpsonovi. Popisuje situáciu, kde trend viditeľný v každej jednotlivej podskupine dát sa po spojení všetkých podskupín do jedného súhrnného čísla obráti, alebo úplne zmizne.

Najznámejší príklad pochádza z prijímacieho konania na Kalifornskej univerzite v Berkeley zo sedemdesiatych rokov. Súhrnné dáta ukazovali, že univerzita prijíma vyššie percento mužov než žien, čo vyvolalo podozrenie na systematickú diskrimináciu. Keď sa dáta rozdelili podľa jednotlivých fakúlt, obraz sa zmenil. Na väčšine fakúlt neexistoval žiadny rozdiel, na niektorých boli dokonca zvýhodnené ženy. Príčina súhrnného rozdielu bola iná. Ženy sa vo väčšom počte hlásili na fakulty s celkovo nižšou mierou prijatia pre všetkých uchádzačov. Nie preto, že by tam boli diskriminované, ale preto, že tieto fakulty boli náročnejšie pre každého. Súhrnné číslo teda odrážalo rozdiel v tom, kam sa ľudia hlásili, nie rozdiel v tom, ako boli hodnotení.

Súhrnné číslo môže tvrdiť presný opak toho, čo je pravda v každej jednotlivej časti, z ktorej bolo zložené.

Kde sa Simpsonov paradox skrýva v obchodných dátach

Predstavme si firmu, ktorá sleduje celkovú mieru úspešnosti obchodných ponúk a táto miera medziročne stúpla. Vedenie firmy z toho môže vyvodiť, že obchodný tím zlepšil svoju prácu. V skutočnosti sa mohlo stať niečo úplne iné. Ak sa v priebehu roka zmenil podiel malých a veľkých zákaziek v celkovom mixe, mohlo sa stať toto. Firma spracovala relatívne viac malých, jednoduchších ponúk, ktoré majú prirodzene vyššiu mieru úspešnosti. Súhrnné číslo tak môže rásť, aj keby sa úspešnosť pri veľkých aj pri malých zákazkách jednotlivo zhoršovala. Zmena v zložení, nie zmena vo výkone, je to, čo v skutočnosti hýbe súhrnným číslom.

• Súhrnná miera úspešnosti môže rásť, aj keď sa výkon v každom jednotlivom segmente zhoršuje, ak sa zmenil podiel segmentov v celkovom objeme.
• Súhrnné hodnotenie spokojnosti klientov môže rásť, aj keď je nespokojnosť vo väčšine segmentov na vzostupe. Stačí, aby firma zároveň získala veľký počet nových, dočasne spokojných klientov, ktorí zriedia priemer.
• Jediný spôsob, ako Simpsonov paradox odhaliť, je nedôverovať súhrnnému číslu automaticky. Vždy sa treba opýtať, ako vyzerá rovnaké číslo, keď sa dáta rozdelia podľa segmentu, obdobia alebo typu klienta.

Prečo sú tieto štyri javy nebezpečné práve spoločne

Samostatne je každý z týchto javov zvládnuteľný. Firma, ktorá pozná Goodhartov zákon, si dá pozor na to, aby ciele nenavrhovala nepriamo tak, že podporujú opačné správanie, než chce dosiahnuť. Firma, ktorá pozná McNamarovu chybu, si udrží pri rozhodovaní aj priestor pre veci, ktoré sa nedajú jednoducho zmerať. Firma, ktorá pozná Simpsonov paradox, si súhrnné čísla vždy overí na úrovni segmentov.

Problém nastáva, keď sa tieto javy kombinujú. Firma nastaví metriku, ktorá sa pod tlakom skreslí podľa Goodharta. Súhrnné číslo túto skreslenosť ešte zamaskuje podľa Simpsonovho paradoxu. A vedenie firmy, riadiace sa len viditeľnými číslami podľa McNamarovej logiky, nevidí ani skreslenie, ani jeho príčinu. Report na stole vyzerá bezchybne. Realita pod ním sa už môže rozpadať.

Ako s tým prakticky pracovať bez toho, aby ste dáta odmietli

Riešením nie je prestať merať alebo neveriť číslam všeobecne. Dáta zostávajú nenahraditeľné, len sa k nim treba stavať s určitou disciplínou.

Prvé pravidlo: pri každej metrike sa opýtať, aké správanie odmeňuje

Skôr než firma zavedie metriku ako cieľ, oplatí sa premyslieť jednu vec. Čo presne bude niekto robiť, aby toto číslo vylepšil najlacnejším možným spôsobom, nie najhodnotnejším. Ak je najlacnejší spôsob iný než ten, ktorý firma skutočne chce podporiť, problém je hotový. Metrika je pripravená na zlyhanie podľa Goodhartovho zákona ešte predtým, než sa vôbec zavedie.

Druhé pravidlo: nikdy neveriť súhrnnému číslu bez segmentácie

Každé dôležité rozhodnutie postavené na súhrnnom čísle by mal predchádzať krátky test. Ako vyzerá to isté číslo, keď sa rozdelí podľa najdôležitejších kategórií, napríklad podľa veľkosti klienta, typu produktu alebo obdobia. Ak sa trend v podskupinách zhoduje s trendom v súhrne, číslo je dôveryhodné. Ak sa nezhoduje, firma práve narazila na Simpsonov paradox.

Tretie pravidlo: vedome si vymenovať, čo metrika nezachytáva

Namiesto toho, aby firma predpokladala, že to, čo nemeria, nie je dôležité, je užitočnejšie si to explicitne napísať. Napríklad, pri sledovaní mesačného obratu si priznať jedno. Tento údaj nezachytáva mieru rizika, akú firma podstupuje pri jednom veľkom klientovi, ani množiaci efekt spokojnosti alebo nespokojnosti klientov, o ktorom hovoril Deming. Tento zoznam nenahradí chýbajúce dáta, ale zabráni tomu, aby sa na tieto veci úplne zabudlo.

Štvrté pravidlo: číslo je signál na otázku, nie automatická odpoveď

Najpraktickejší dôsledok všetkého vyššie uvedeného je zmena vzťahu medzi manažérom a metrikou. Metrika, ktorá sa výrazne zmenila, by nemala automaticky spustiť rozhodnutie. Mala by spustiť otázku, prečo sa zmenila. Táto otázka by sa mala zodpovedať skôr, než sa urobí čokoľvek ďalšie. Metrika je v tomto zmysle podobná dymovému detektoru. Upozorní, že sa niečo deje, ale nepovie, či je to spálený toast, alebo požiar celej budovy. Rozlíšenie medzi týmito dvomi možnosťami stále vyžaduje ľudský úsudok.

Čo si z toho odniesť

Číslo, ktoré ukazuje jasný smer, nie je automaticky pravdivé. Nie je ani automaticky dostatočné. Goodhartov zákon ukazuje, že metrika sa pod tlakom cieľa môže odtrhnúť od reality. Campbellov zákon ukazuje, že tento tlak môže deformovať aj samotný sledovaný proces. McNamarova chyba ukazuje, že najdôležitejšie veci sa často merajú najhoršie. Preto sa z rozhodovania nenápadne vytrácajú. Simpsonov paradox ukazuje, že aj matematicky správne súhrnné číslo môže tvrdiť presný opak toho, čo sa deje v realite pod ním.

Skúsený manažér sa preto nepýta len, čo číslo hovorí. Pýta sa, čo číslo môže skrývať. Aké správanie práve odmeňuje, a čo z reality do neho vôbec nemalo šancu preniknúť. Toto nie je argument proti dátam. Je to argument za to, aby dáta zostali nástrojom v rukách zdravého úsudku, nie jeho náhradou.