Osporavanje tiranije metrike, mjerenja i upravljačkog ponašanja



<div _ngcontent-c14 = "" innerhtml = "

Upravljačka ploča je moćan simbol našeg doba. Ona nudi elegantnu vizualizaciju podataka, a namijenjena je snimanju i predstavljanju performansi sustava, otkrivanju trenutnog stanja i ukazivanju na potencijalne probleme koji se pojavljuju. Nadzorne ploče su istaknuto obilježje većine svakog projekta "velikih podataka" koje mogu zamisliti, a koje nudi svaki dobavljač, a konstruiran je kako bi gledatelju pružio snažan osjećaj kontrole. Činilo se prikladnim da će direktor Novartisa, dr. Vas Narasimhan, bivši konzultant McKinseyja, izgraditi (tada cvrkut "naš novi kontrolni toranj" – u biti super nadzorna ploča s više zaslona – "za praćenje, analizu i predviđanje statusa svih naših kliničkih studija. 500+ aktivnih pokusa, 70+ zemalja, 80 000+ pacijenata – transformirajuće za razvoj lijekova. ”Nadzorne ploče su fizička manifestacija ideologije velikih podataka, ideja da ako je možete izmjeriti možete upravljati njime.

Nadzorna ploča tvrtke: ovaj primjer iz tvrtke Yaskawa Electric Corp. u Irumi, prefektura Saitama, Japan. Fotograf: Shiho Fukada / Bloomberg&kopirati; 2018. Bloomberg Finance LP

Međutim, sve više me brine da je ideologija velikih podataka poprimila vlastiti život, pretpostavljajući osjećaj i neizbježnosti i samoopravdanja. Od mjerenja u službi ljudi, čini se da sve više mjerimo u službi podataka, uspostavljajući sustave i organizacije u kojima se konstantno mjerenje često čini samim ciljem.

Ispostavilo se da su moje brige jedva originalne. Zadovoljstvo mi je što sam tijekom prošle godine otkrio što se osjeća kao podzemno kretanje disidenata koji dovode u pitanje smjer u kojem se krećemo i koji su pažljivo raspravljali o mnogim pitanjima na koja sam naišao. (Posebni tip-šeširAccad & amp; Koka izvješće"Podcast, neovisan i originalan glas u svemiru podcasta za zdravstvo, za upoznavanje s nekoliko tih mislilaca, uključujući Jerryja Mullera i Garyja Kleina.)

Dobro mjesto za početak može biti 2013. godina esej Kenneth Cukier i Viktor Mayer-Sch & ouml; nberger u Pregled tehnologije, upozorenje,

"Mi smo osjetljiviji nego što možemo misliti na" diktaturu podataka "- to jest, dopustiti da nas podaci upravljaju na načine koji mogu učiniti što više štete kao dobro. Prijetnja je da ćemo dopustiti da nas bezuvjetno vezuju rezultati naših analiza čak i kada imamo razumne osnove za sumnju da nešto nije u redu. "

Navodeći primjer metrike opsjednutog ministra obrane Vijetnamske ere Robert McNamara, Kukier i Mayer-Sch & ouml; nberger zaključuju,

“Veliki podaci bit će temelj za poboljšanje lijekova koje uzimamo, način na koji učimo i djelovanje pojedinaca. Međutim, rizik je da će nas njegove izvanredne moći namamiti da učinimo grijeh McNamare: da se toliko usredotočimo na podatke, i tako opsjednemo snagom i obećanjem koje nudi, da ne uspijevamo shvatiti njezinu inherentnu sposobnost obmanjivanja.

Jerry Muller

povjesničar Jerry Muller, u svojoj suštinskoj novoj knjizi Tiranija metrika, nudi ono što bi moglo biti najbolji sažetak o tome kako je razmišljanje slično McNamari proširilo naše; na isti način kao i Steven Levy, 1984. napisao da je (nedavno uvedena) proračunska tablica “alat, ali je i pogled na svijet”, Muller nudi sličan pogled na metrike, koje brine, razvio se u fiksaciju.

„Najkarakterističnija značajka metričke fiksacije je težnja za zamjenom prosudbe na temelju iskustva sa standardiziranim mjerenjem. Jer se prosudba shvaća kao osobna, subjektivna i samo-zainteresirana. Metrike, nasuprot tome, ili bi trebale pružiti informacije koje su teške i objektivne. Strategija je poboljšati institucionalnu učinkovitost nudeći nagrade onima koji su metrike najviši, ili čiji su ciljevi postignuti, i kazniti one koji zaostaju….

Da budemo sigurni, postoje mnoge situacije u kojima je donošenje odluka na temelju standardiziranog mjerenja superiornije od prosudbe na temelju osobnog iskustva i stručnosti…. [U]Međutim, mjerenje prethodno neizmjerenog može pružiti stvarne koristi….

Ako je ono što se stvarno mjeri razumno mjerilo onoga što se namjerava izmjeriti, i ako se kombinira s prosudbom, onda mjerenje može pomoći praktičarima da procijene vlastiti učinak, kako za pojedince tako i za organizacije. No, problemi nastaju kada takve mjere postanu kriteriji koji se koriste za nagrađivanje i kažnjavanje – kada metrike postanu osnova plaće za izvedbu ili ocjene."

On primjećuje da "fiksacija metrike dovodi do preusmjeravanja resursa od proizvođača frontalnih linija prema menadžerima, upraviteljima i onima koji prikupljaju i manipuliraju podacima".

Muller je ključan za preuzimanje: "Nije sve što je važno je mjerljivo, i mnogo toga što je mjerljivo je nevažno."

Nassim Taleb

Crni labud Autor Nassim Taleb je također zabrinut zbog načina na koji razmišljamo o podacima, pisamo Antifragile (i izvadak ovdje),

“U poslovnom i ekonomskom odlučivanju, podaci uzrokuju ozbiljne nuspojave – podaci su sada bogati zahvaljujući povezivanju; a udio lažnih podataka u podacima se povećava kako se čovjek više uvuče u njega. Nedovoljno raspravljano svojstvo podataka: toksično je u velikim količinama – čak iu umjerenim količinama….

Što češće gledate podatke, to je veća buka koju ćete vjerojatno dobiti (više nego vrijedan dio koji se zove signal); stoga je veći omjer šuma i signala."

Doista, u svjedočenju Kongresa nakon financijske krize, Taleb rekao je,

“Neki mogu koristiti argument o predviđanju rizika jednakim ili boljim od ničega; koristeći argumente poput "svjesni smo granica". Mjerenje i predviđanje rizika – svako predviđanje – ima nuspojave povećanja rizika, čak i onih koji znaju da nisu pouzdani. Imamo dovoljno dokaza o tzv. Usidrenju u umjeravanju odluka. Informacije, čak i kada se zna da su sterilne, povećavaju prekomjerno samopouzdanje. "

Frank Pasquale

Posebno uvjerljiv sažetak našeg sadašnjeg stanja ponudio je profesor prava Frank Pasquale, čija je 2017 esej na profesionalnoj prosudbi, dok je malo oštrog sanjkanja ipak potrebna čitanja.

Pasquale nule na redukcionističkoj suštini mnogih pristupa usmjerenih na podatke,

„Robotika i umjetna inteligencija, uključujući čak i napredne sustave za strojno učenje, obuhvaćaju zanimanja kao poslove, poslove kao zadatke i zadatke kao što su promatranje, obrada informacija i pokretanje. Iako su takve strategije podjele rada osjetljive u mnogim industrijskim kontekstima, one zanemaruju nesvodivo holističke procjene koje su obilježja dobre prosudbe.

Pa ipak, Pasquale piše,

“Umjesto redukcionizma, sveobuhvatna holizam je obilježje profesionalne prakse – sposobnost integriranja činjenica i vrijednosti, zahtjeva određenog slučaja i prerogativa društva, te delikatna ravnoteža između misije i margine….

Već više od desetljeća poslovne knjige potiču upravitelje da budu „superpreglednici“ – kvantifikatori opsjednuti brojevima, koji brzo donose važne odluke kao „podatke upravljane“ što je više moguće. Postoji gotovo evanđeoska kvaliteta za ovo djelo, strastveno uvjerenje da su starije, intuitivne odluke griješni relikt paloga svijeta….

Srazmjerna snaga brojeva, brišući po strani sporne narative, obećava jednostavno rangiranje zasluga, bilo u školama, bolnicama ili izvan nje. Mjerenja nisu jednostavno nametnuta od vrha prema dolje. Oni također koloniziraju naše vlastito razumijevanje zasluga."

Takvi menadžerski pristupi, Pasquale prepoznaje, uzdiže "podatke koje pokreću podaci", dok minimizira sve-ljudski proces prikupljanja, čišćenja i analize podataka. "

Pasquale također naglašava Mullerovu točku da metrike „često iskrivljuju društvenu praksu koju oni navodno mjere“, citirajući Campbellov zakon: „Što se više koristi bilo koji kvantitativni socijalni pokazatelj za donošenje odluka u društvu, to će više biti predmet pritisaka na korupciju i više Možda će to biti iskrivljavanje i korumpiranje društvenih procesa koje treba pratiti. ”& nbsp; & nbsp; (Ova ideja je također pronašla izraz u Goodhartovom zakonu, u biti, "Kada mjera postane meta, ona prestaje biti dobra mjera.")

Naposljetku, ističući da "sveprožimajuća kvantifikacija i mjerenje" nije "neizbježna logika gospodarskog napretka", Pasquale prepoznaje da, "Za istinske vjernike u metricama i standardizaciji, problemi s postojećim mjerenjima jednostavno su brz za poboljšanje mjernih podataka."

Moja razmišljanja

Navedeni autori zaslužuju pažljivu i temeljitu kritiku; Navela sam ih da pruže osjećaj da postoji alternativni pogled na svijet u onom u kojem se osjeća toliko od nas, bilo da radimo u multinacionalnoj korporaciji ili u lokalnoj neprofitnoj bolnici. To je svijet u kojem dominira religiozna vjera u upravljanju, ideja da je pravi način za poboljšanje izvedbe mjerenje više, hvatanje više podataka i korištenje tih podataka u sve granularnijem obliku, u biheviorističkom stilu koji se može pratiti Taylor, ali često se osjeća više zahvalan Pavlovu.

Da budemo jasni, kritičari ne mogu cijeniti korisnost podataka, mjerenja, mjerenja; oni odlaze s puta da objasne kako svaki od njih može biti kritično važan – neprocjenjiv alat. Čini se da je problem u tome što smo uzeli alat, pristup, razmišljanje (da se vratimo na Levyjevu frazu) i počeli ga primjenjivati ​​gotovo neselektivno, s gotovo religioznim žarom. To činimo zato što možemo – uvijek ima više podataka za snimanje, a postoje i vrlo stvarni primjeri gdje podaci pružaju bitan uvid da je sama ljudska intuicija možda propustila ili je već propustila.

Ali ideja da podaci omogućuju da se ljudske predrasude zamijene čistom objektivnošću je fantastična iluzija. Ljudska prosudba je pristrasna, ali obožavanje podataka nas ne preusmjerava magično na Kraljevstvo zdrave objektivnosti. U svijetu podataka, pristranost obiluje, prožima sve što radimo – uključujući i način na koji odlučujemo koje podatke prikupiti (i odlučiti što je "naplativo"), kako odlučujemo kako mjeriti, kako odlučujemo kako analizirati i što odlučujemo učiniti s rezultatima ovih analiza.

Odgovor nije odbaciti sve podatke, mjerenja ili mjerne podatke, nego osigurati da ti alati ne dobiju neprimjereno poštovanje ili da im je nedovoljna korist od sumnje. Trebamo selektivno i razborito iskoristiti podatke i mjerne podatke, baš kao što bismo trebali prepoznati i iskoristiti selektivno nagomilanu mudrost reflektirajućih praktičara u nizu područja. Moramo također prepoznati vrijednost prešutnog znanja i akumulirane stručnosti u nekim područjima, dok istodobno zamišljeno izazivamo primljenu mudrost i cijenjene pretpostavke.

Kao što su Klein i Kahneman primijetili u zadivljujućoj 2009 esej pokušavajući sintetizirati njihove suprotstavljene poglede na stručnost, liječnici (i oni vjeruju, većina profesija) pokazuju "frakcioniranu ekspertizu", što znači da postoje situacije u kojima stručna mudrost zaslužuje povjerenje i situacije u kojima to ne bi trebalo biti (bivši zarobljeni Klein , kasnije, Kahneman).

Pretpostavljam da su Klein i Kahneman u pravu da je "razdvajanje stručnosti pravilo, a ne iznimka", ali brinem se da smo izgubili ravnotežu i postali toliko opsjednuti neuspjehom stručnosti i intuicije koje smo zanemarili iskoristiti duboke rezervoare postojeće stručnosti, posebno među iskusnim praktičarima. U međuvremenu, čini se da smo razvili pretjeranu vjeru u sposobnost navodno objektivnih podataka i izdvojenih analitika da nas izbave.

Ako postoji jedna stvar koju menadžerizam nudi prije svega, to je provedivi okvir, sveobuhvatan način pristupanja većini organizacija, bez obzira koliko velik i svaki problem, bez obzira na to koliko je težak. To ne uspijeva u malom dijelu jer očito funkcionira u nekim dobro definiranim situacijama, i dok u drugima može propasti (pharma R & D dolazi na pamet), čini se da nema alternativnog svjetonazora koji bi ga mogao zamijeniti, uzrokujući da ciklus opstane, obrasci ponašanja postaju sve ukorijenjeniji.

Nedavno sam & nbsp; upitao Mullera o toj zabrinutosti putem Twittera, & nbsp; pitajući se postoji li drugi način razmišljanja o tome. On odgovorila, “Upravljanje utemeljeno na iskustvu, stručnosti u predmetu organizacije i pokazanom talentu unutar organizacije; uz procjenu koristiti mjerenje i podatke selektivno i učinkovito. "

"Ne vidim kako bi kompetentni stručnjaci mogli zanemariti metriku", Muller i dalje, "Pitanje je njihova sposobnost da procijene značaj metrike i prepoznaju ulogu neizmjerenog."

Ovo & nbsp; savršeno hvali, gdje moramo biti na čelu, pogotovo kad razmišljamo kako smisleno poboljšati područja poput razvoja lijekova i pružanja zdravstvene skrbi. Podatkovne znanosti i tehnologija mogu i moraju igrati ključnu ulogu. Ali oni nisu zaslužili pravo da ih se smatra svrhom. Oni predstavljaju potencijalno vrijedne alate, idealno u rukama iskusnih i znatiželjnih praktičara, koji jedinstveno cijene suptilnosti svoje domene – McClintockov izraz & 'nbsp;' osjećaj za organizam 'dolazi na pamet; koji imaju poniznost da prepoznaju granice znanja; i koji će aktivno nastojati iskoristiti prednosti koje potencijalno nude podaci, analitika i mjerenje, promišljeno primijenjene.

Dodatak: Daljnje čitanje

Osim navedenih knjiga i članaka, čitatelji mogu uživati ​​i:

Ovaj Bill Gardner esej o opterećenosti kontrolnim listama, te kako dobronamjerno, ali pretjerano usko mjerenje utemeljeno na metricama može dovesti do neželjenih, suboptimalnih ishoda.

Ovaj Financial Times op-ed Nassim Taleb i ja napisali smo 2008. o izazovima industrijalizacije otkrivanja droga.

Ovaj atlantski esej Pisao sam o utjecaju redukcionizma u poslovnim strategijama oko smanjenja troškova zdravstvene skrbi.

Ovo je kratko Forbes komad Pisao sam o fetišizaciji metrike.

Ovo je zanimljivo razgovor by OptumLabs CMO Darshak Sanghavi (o čemu smo raspravljali na našem najnovijem TechTonics podcast sa Sanghavijem i supredsjedateljicom Lisa Suennen) naglašavajući (kroz analogije sa reality TV-om) važnost mjerenja važnosti – i razumijevanja onoga što je važno.

„>

Upravljačka ploča je moćan simbol našeg doba. Ona nudi elegantnu vizualizaciju podataka, a namijenjena je snimanju i predstavljanju performansi sustava, otkrivanju trenutnog stanja i ukazivanju na potencijalne probleme koji se pojavljuju. Nadzorne ploče su istaknuto obilježje većine svakog projekta "velikih podataka" koje mogu zamisliti, a koje nudi svaki dobavljač, a konstruiran je kako bi gledatelju pružio snažan osjećaj kontrole. Činilo se prikladnim da će direktor Novartisa, dr. Vas Narasimhan, bivši konzultant McKinseyja, izgraditi (tada cvrkut "naš novi kontrolni toranj" – u biti super nadzorna ploča s više zaslona – "za praćenje, analizu i predviđanje statusa svih naših kliničkih studija. 500+ aktivnih pokusa, 70+ zemalja, 80 000+ pacijenata – transformirajuće za razvoj lijekova. ”Nadzorne ploče su fizička manifestacija ideologije velikih podataka, ideja da ako je možete izmjeriti možete upravljati njime.

Nadzorna ploča tvrtke: ovaj primjer iz tvrtke Yaskawa Electric Corp. u Irumi, prefektura Saitama, Japan. Fotograf: Shiho Fukada / Bloomberg© 2018 Bloomberg Finance LP

Međutim, sve više me brine da je ideologija velikih podataka poprimila vlastiti život, pretpostavljajući osjećaj i neizbježnosti i samoopravdanja. Od mjerenja u službi ljudi, čini se da sve više mjerimo u službi podataka, uspostavljajući sustave i organizacije u kojima se konstantno mjerenje često čini samim ciljem.

Ispostavilo se da su moje brige jedva originalne. Zadovoljstvo mi je što sam tijekom prošle godine otkrio što se osjeća kao podzemno kretanje disidenata koji dovode u pitanje smjer u kojem se krećemo i koji su pažljivo raspravljali o mnogim pitanjima na koja sam naišao. (Specijalni savjet za podcast "The Accad & Koka Report", neovisan i originalan glas u svemiru podcasta za zdravstvo, za upoznavanje s nekoliko tih mislilaca, uključujući Jerryja Mullera i Garyja Kleina.)

Dobro mjesto za početak može biti esej iz 2013. Kennetha Cukiera i Viktora Mayera-Schönbergera u Pregled tehnologije, upozorenje,

"Mi smo osjetljiviji nego što možemo misliti na" diktaturu podataka "- to jest, dopustiti da nas podaci upravljaju na načine koji mogu učiniti što više štete kao dobro. Prijetnja je da ćemo dopustiti da nas bezuvjetno vezuju rezultati naših analiza čak i kada imamo razumne osnove za sumnju da nešto nije u redu. "

Navodeći primjer metričkog opsjednutog ministra obrane Vijetnamske ere Robert McNamara, Kukier i Mayer-Schönberger zaključuju,

“Veliki podaci bit će temelj za poboljšanje lijekova koje uzimamo, način na koji učimo i djelovanje pojedinaca. Međutim, rizik je da će nas njegove izvanredne moći namamiti da učinimo grijeh McNamare: da se toliko usredotočimo na podatke, i tako opsjednemo snagom i obećanjem koje nudi, da ne uspijevamo shvatiti njezinu inherentnu sposobnost obmanjivanja.

Jerry Muller

Povjesničar Jerry Muller, u svojoj suštinskoj novoj knjizi Tiranija metrika, nudi ono što bi moglo biti najbolji sažetak o tome kako je razmišljanje slično McNamari proširilo naše; na isti način na koji je Steven Levy 1984. godine napisao da je (nedavno uvedena) proračunska tablica “alat, ali je i pogled na svijet”, Muller nudi sličan pogled na metrike, koje brine, razvio se u fiksaciju.

„Najkarakterističnija značajka metričke fiksacije je težnja za zamjenom prosudbe na temelju iskustva sa standardiziranim mjerenjem. Jer se prosudba shvaća kao osobna, subjektivna i samo-zainteresirana. Metrike, nasuprot tome, ili bi trebale pružiti informacije koje su teške i objektivne. Strategija je poboljšati institucionalnu učinkovitost nudeći nagrade onima koji su metrike najviši, ili čiji su ciljevi postignuti, i kazniti one koji zaostaju….

Da budemo sigurni, postoje mnoge situacije u kojima je donošenje odluka na temelju standardiziranog mjerenja superiornije od prosudbe na temelju osobnog iskustva i stručnosti…. [U]Međutim, mjerenje prethodno neizmjerenog može pružiti stvarne koristi….

Ako je ono što se stvarno mjeri razumno mjerilo onoga što se namjerava izmjeriti, i ako se kombinira s prosudbom, onda mjerenje može pomoći praktičarima da procijene vlastiti učinak, kako za pojedince tako i za organizacije. No, problemi nastaju kada takve mjere postanu kriteriji koji se koriste za nagrađivanje i kažnjavanje – kada metrike postanu osnova plaćanja ili uspješnosti.

On primjećuje da "fiksacija metrike dovodi do preusmjeravanja resursa od proizvođača frontalnih linija prema menadžerima, upraviteljima i onima koji prikupljaju i manipuliraju podacima".

Muller je ključan za preuzimanje: "Nije sve što je važno je mjerljivo, i mnogo toga što je mjerljivo je nevažno."

Nassim Taleb

Crni labud autor Nassim Taleb također je zabrinut zbog načina na koji razmišljamo o podacima, pisanju Antifragile (i ovdje odlomak),

“U poslovnom i ekonomskom odlučivanju, podaci uzrokuju ozbiljne nuspojave – podaci su sada bogati zahvaljujući povezivanju; a udio lažnih podataka u podacima se povećava kako se čovjek više uvuče u njega. Nedovoljno raspravljano svojstvo podataka: toksično je u velikim količinama – čak iu umjerenim količinama….

Što češće gledate podatke, to je veća buka koju ćete vjerojatno dobiti (više nego vrijedan dio koji se zove signal); stoga je veći omjer šuma i signala. "

Doista, u svjedočenju Kongresa nakon financijske krize, Taleb je rekao:

“Neki mogu koristiti argument o predviđanju rizika jednakim ili boljim od ničega; koristeći argumente poput "svjesni smo granica". Mjerenje i predviđanje rizika – svako predviđanje – ima nuspojave povećanja rizika, čak i onih koji znaju da nisu pouzdani. Imamo dovoljno dokaza o tzv. Usidrenju u umjeravanju odluka. Informacije, čak i kada se zna da su sterilne, povećavaju prekomjerno samopouzdanje. "

Frank Pasquale

Posebno uvjerljiv sažetak našeg sadašnjeg stanja ponudio je profesor prava Frank Pasquale, čiji je esej o profesionalnoj prosudbi za 2017. godinu, iako malo oštar sanjkanje, ipak obavezan za čitanje.

Pasquale nule na redukcionističkoj suštini mnogih pristupa usmjerenih na podatke,

„Robotika i umjetna inteligencija, uključujući čak i napredne sustave za strojno učenje, obuhvaćaju zanimanja kao poslove, poslove kao zadatke i zadatke kao što su promatranje, obrada informacija i pokretanje. Iako su takve strategije podjele rada osjetljive u mnogim industrijskim kontekstima, one zanemaruju nesvodivo holističke procjene koje su obilježja dobre prosudbe.

Pa ipak, Pasquale piše,

“Umjesto redukcionizma, sveobuhvatna holizam je obilježje profesionalne prakse – sposobnost integriranja činjenica i vrijednosti, zahtjeva određenog slučaja i prerogativa društva, te delikatna ravnoteža između misije i margine….

Već više od desetljeća poslovne knjige potiču upravitelje da budu „superpreglednici“ – kvantifikatori opsjednuti brojevima, koji brzo donose važne odluke kao „podatke upravljane“ što je više moguće. Postoji gotovo evanđeoska kvaliteta za ovo djelo, strastveno uvjerenje da su starije, intuitivne odluke griješni relikt paloga svijeta….

Srazmjerna snaga brojeva, brišući po strani sporne narative, obećava jednostavno rangiranje zasluga, bilo u školama, bolnicama ili izvan nje. Mjerenja nisu jednostavno nametnuta od vrha prema dolje. Oni također koloniziraju naše razumijevanje zasluga. "

Takvi menadžerski pristupi, Pasquale prepoznaje, uzdiže "podatke koje pokreću podaci", dok minimizira sve-ljudski proces prikupljanja, čišćenja i analize podataka. "

Pasquale također naglašava Mullerovu točku da metrike „često iskrivljuju društvenu praksu koju oni navodno mjere“, citirajući Campbellov zakon: „Što se više koristi bilo koji kvantitativni socijalni pokazatelj za donošenje odluka u društvu, to će više biti predmet pritisaka na korupciju i više Možda će to biti iskrivljavanje i korumpiranje društvenih procesa koje treba pratiti. ”(Ova ideja je također našla izraz u Goodhartovom zakonu, u suštini,“ Kada mjera postane meta, ona prestaje biti dobra mjera. ”)

Naposljetku, ističući da "sveprožimajuća kvantifikacija i mjerenje" nije "neizbježna logika gospodarskog napretka", Pasquale prepoznaje da, "Za istinske vjernike u metricama i standardizaciji, problemi s postojećim mjerenjima jednostavno su brz za poboljšanje mjernih podataka."

Moja razmišljanja

Navedeni autori zaslužuju pažljivu i temeljitu kritiku; Naveo sam ih da pruže osjećaj da postoji alternativni pogled na svijet u kojem se osjeća toliko nas da živimo, bilo da radimo u multinacionalnoj korporaciji ili u lokalnoj neprofitnoj bolnici. To je svijet u kojem dominira religiozna vjera u upravljanju, ideja da je pravi način za poboljšanje izvedbe mjerenje više, hvatanje više podataka i korištenje tih podataka u sve granularnijem obliku, u biheviorističkom stilu koji se može pratiti Taylor, ali često se osjeća više zahvalan Pavlovu.

Da budemo jasni, kritičari ne mogu cijeniti korisnost podataka, mjerenja, mjerenja; oni odlaze s puta da objasne kako svaki od njih može biti kritično važan – neprocjenjiv alat. Čini se da je problem u tome što smo uzeli alat, pristup, način razmišljanja (da se vratimo na Levyjevu rečenicu) i počeli ga primjenjivati ​​gotovo neselektivno, s gotovo religioznim žarom. To činimo zato što možemo – uvijek ima više podataka za snimanje, a postoje i vrlo stvarni primjeri gdje podaci pružaju bitan uvid da je sama ljudska intuicija možda propustila ili je već propustila.

Ali ideja da podaci omogućuju da se ljudske predrasude zamijene čistom objektivnošću je fantastična iluzija. Ljudska prosudba je pristrasna, ali obožavanje podataka nas ne preusmjerava magično na Kraljevstvo zdrave objektivnosti. U svijetu podataka, pristranost obiluje, prožima sve što radimo – uključujući i način na koji odlučujemo koje podatke prikupiti (i odlučiti što je "naplativo"), kako odlučujemo kako mjeriti, kako odlučujemo kako analizirati i što odlučujemo učiniti s rezultatima ovih analiza.

Odgovor nije odbaciti sve podatke, mjerenja ili mjerne podatke, nego osigurati da ti alati ne dobiju neprimjereno poštovanje ili da im je nedovoljna korist od sumnje. Trebamo selektivno i razborito iskoristiti podatke i mjerne podatke, baš kao što bismo trebali prepoznati i iskoristiti selektivno nagomilanu mudrost reflektirajućih praktičara u nizu područja. Moramo također prepoznati vrijednost prešutnog znanja i akumulirane stručnosti u nekim područjima, dok istodobno zamišljeno izazivamo primljenu mudrost i cijenjene pretpostavke.

Kao što su Klein i Kahneman primijetili u zadivljujućem eseju iz 2009. godine, pokušavajući sintetizirati svoje suprotstavljene poglede na stručnost, liječnici (i oni vjeruju, većina profesija) pokazuju "frakcioniranu stručnost", što znači da postoje situacije u kojima stručnu mudrost zaslužuje povjerenje, i situacije u kojima to ne bi trebalo biti (bivši zarobljeni Klein, kasniji, Kahneman).

Pretpostavljam da su Klein i Kahneman u pravu da je "razdvajanje stručnosti pravilo, a ne iznimka", ali brinem se da smo izgubili ravnotežu i postali toliko opsjednuti neuspjehom stručnosti i intuicije koje smo zanemarili iskoristiti duboke rezervoare postojeće stručnosti, posebno među iskusnim praktičarima. U međuvremenu, čini se da smo razvili pretjeranu vjeru u sposobnost navodno objektivnih podataka i izdvojenih analitika da nas izbave.

Ako postoji jedna stvar koju menadžerizam nudi prije svega, to je provedivi okvir, sveobuhvatan način pristupanja većini organizacija, bez obzira koliko velik i svaki problem, bez obzira na to koliko je težak. To ne uspijeva u malom dijelu jer jasno djeluje u nekim dobro definiranim situacijama, i iako može propasti u velikoj mjeri u drugima (Pharma R&D mi pada na pamet), čini se da nema alternativnog svjetonazora koji bi ga mogao zamijeniti, uzrokujući ciklusa da ustraju, obrasci ponašanja postaju sve ukorijenjeniji.

Nedavno sam upitao Mullera o toj zabrinutosti, putem Twittera, pitajući se postoji li još jedan način razmišljanja o tome. On odgovorila, “Upravljanje utemeljeno na iskustvu, stručnosti u predmetu organizacije i pokazanom talentu unutar organizacije; uz procjenu koristiti mjerenje i podatke selektivno i učinkovito. "

"Ne vidim kako bi kompetentni stručnjaci mogli zanemariti metriku", Muller i dalje, "Pitanje je njihova sposobnost da procijene značaj metrike i prepoznaju ulogu neizmjerenog."

To savršeno obuhvaća mjesto na kojemu moramo biti na čelu, pogotovo kad razmišljamo kako smisleno poboljšati područja poput razvoja lijekova i pružanja zdravstvene skrbi. Podatkovne znanosti i tehnologija mogu i moraju igrati ključnu ulogu. Ali oni nisu zaslužili pravo da ih se smatra svrhom. Oni predstavljaju potencijalno vrijedne alate, idealno u rukama iskusnih i znatiželjnih praktičara, koji jedinstveno cijene suptilnosti svoje domene – na um dolazi McClintockova fraza "osjećaj za organizam"; koji imaju poniznost da prepoznaju granice znanja; i koji će aktivno nastojati iskoristiti prednosti koje potencijalno nude podaci, analitika i mjerenje, promišljeno primijenjene.

Dodatak: Daljnje čitanje

Osim navedenih knjiga i članaka, čitatelji mogu uživati ​​i:

Ovaj Bill Gardnerov esej o teretu kontrolnih lista i kako dobronamjerno, ali pretjerano usko razmišljanje utemeljeno na metricama može dovesti do neželjenih, suboptimalnih ishoda.

Ovaj Financial Times Nassim Taleb i ja napisali smo 2008. o izazovima industrijalizacije otkrivanja droga.

Ovaj atlantski Esej sam napisao o utjecaju redukcionizma u poslovnim strategijama oko smanjenja troškova zdravstvene skrbi.

Ovo je kratko Forbes Pišem o fetišizaciji metrike.

Ovaj zanimljiv razgovor od strane CMO-a tvrtke OptumLabs Darshak Sanghavi (o kojem smo razgovarali na našem nedavno objavljenom podcastu TechTonics sa Sanghavijem i co-voditeljicom Lisa Suennen) ističe (kroz analogije sa reality TV-om) važnost mjerenja važnosti – i razumijevanja onoga što je važno.