Artykuły

Dlaczego szukamy dowodów

Sławomir Jarmuż, Tomasz Witkowski

Kiedy gdzieś zostaje popełnione przestępstwo, policja gromadzi i zabezpiecza dowody. Gdybyśmy stanęli przed sądem jako oskarżeni o to przestępstwo i nie przedstawiono by nam wystarczających dowodów, prawdopodobnie uznalibyśmy, że zostały pogwałcone nasze prawa. Polegamy na dowodach, kiedy wsiadamy do górskiej kolejki. Liczymy na to, że inżynierowie zgromadzili wystarczająco dużo danych na temat wytrzymałości poszczególnych materiałów, z których została ona zbudowany. Podobnie ufamy, że lekarz, który nas leczy korzysta z wiedzy opartej na dowodach, a gdyby okazało się, że jest inaczej, prawdopodobnie bylibyśmy bardzo źli na niego.

Dlaczego w tak wielu sytuacjach poszukujemy dowodów i liczymy na nie? Prawdopodobnie dlatego, że działania oparte na dowodach dają dobre rezultaty. Dzięki medycynie opartej na dowodach długość życia ludzkiego w dwudziestym wieku została podwojona, a choroby, które jeszcze kilkadziesiąt lat temu były śmiertelnymi, dzisiaj nie stanowią większego zagrożenia. Rozwój technologiczny, którego jesteśmy świadkami i beneficjentami możliwy jest wyłącznie dzięki poważnemu potraktowaniu dowodów.

Z drugiej strony, te działania, w których dowodów brakuje, lub są w niewystarczający sposób uwzględnione, kończą się porażką lub tragedią. Źle zaprojektowany most zawali się i niewykluczone, że w katastrofie zginą ludzie. Brak wystarczających danych z badań nad skutkami ubocznymi nowego leku może spowodować nieodwracalne skutki.

Czy jednak jesteśmy na tyle racjonalni, że w każdym obszarze naszych działań poszukujemy dowodów, które byłyby gwarancją efektywności? Czy zadajemy pytanie o dowody nauczycielom, którzy uczą nasze dzieci? Czy ich metody są oparte na dowodach? Jak dużą uwagę do dowodów przykładają menedżerowie zarządzający ludźmi? Albo trenerzy szkolący naszych pracowników?

Cóż, odpowiedź tutaj nie jest całkiem jednoznaczna. Wiele metod nauczania, czy zarządzania jest oparta na dowodach, ale mnóstwo z nich to tylko obiegowe opinie, a czasem utrwalone mity, które mogą przynieść więcej szkody niż pożytku. Dlaczego zatem w niektórych obszarach polegamy wyłącznie na dowodach, a w innych nie dbamy o nie?

Są dwie główne przyczyny takiego stanu rzeczy.

Pierwsza – konsekwencje stosowania nieefektywnych metod w nauczaniu czy zarządzaniu nie prowadzi do spektakularnych katastrof. Negatywne efekty to raczej niewielka strata czasu na niektórych szkoleniach ale u dużej liczby ludzi. To nieefektywnie wydane pieniądze, ale raczej nigdy w takich ilościach, aby ich utrata miała zachwiać przedsiębiorstwem. Przyczyna druga,  wynika bezpośrednio z pierwszej. Ponieważ porażki związane ze stosowaniem nieefektywnych metod nigdy nie są spektakularne, przywykliśmy w bardzo tolerancyjny sposób podchodzić do dowodów a często subiektywne doświadczenia przyjmujemy za wystarczające dowody. Od inżyniera wymagamy twardych obliczeń, od metod szkoleniowych na ogół tego, aby były atrakcyjne i podobały się jego uczestnikom.

Czy w trudnych czasach kryzysu takie podejście jest racjonalne? Czy nie powinniśmy częściej stawiać pytania o dowody? Czy nie powinniśmy szukać najbardziej efektywnych metod? Odpowiedź może być tylko jedna – tak, nadszedł czas, aby również szkoleniowcom zacząć stawiać pytania o dowody. W jaki sposób?

Przede wszystkim powinniśmy wiedzieć, że niemal wszystko może stanowić dowód. Relacja naocznego świadka, który widział UFO może być dowodem potwierdzającym istnienie istot pozaziemskich. Z kolei zdjęcie turysty górskiego może stanowić dowód potwierdzający istnienie istot zwanych Yeti. Książka wrocławskiego archeologa Życie codzienne krasnoludków w starożytności i wiekach średnich zawiera wiele dowodów na istnienie krasnoludków. Czy o takie dowody nam chodzi? Z pewnością nie. Takich dowodów znajdziemy bardzo dużo, ale naukowcy nie traktują ich jako rozstrzygających. Dlaczego?

Bowiem istotą praktyk opartych na dowodach jest poszukiwanie najlepszych dostępnych dowodów, a nie po prostu jakichkolwiek. Tutaj jednak pojawia się kolejne pytanie, które na pierwszy rzut oka może się wydawać trudnym

Jak osądzić, czy dany dowód jest lepszy, czy gorszy? Jak odnaleźć się w gąszczu metod i sposobów rozróżniania, który dowód jest wart zaufania? Na szczęście z pomocą przychodzą nam naukowcy, którzy od dziesięcioleci zastanawiają się, które dowody należy uznać za najlepsze, a do których podchodzić z dystansem. Metodologia nauk społecznych wyznacza piramidę dowodów o różnej wiarygodności. Opiszemy tę piramidę na przykładzie burzy mózgów czyli jednej z najbardziej znanych metod wykorzystywanych zarówno w szkoleniach, jak i w praktyce biznesowej.

Ponad siedemdziesiąt lat temu amerykański przedsiębiorca Alex Osborn zastosował w swojej firmie pewną metodę twórczego rozwiązywania problemów, którą nazwał burzą mózgów. W późniejszych latach zafascynowany metodą opisał ją w kilku książkach i założył instytut promujący twórcze podejście w biznesie. Istotą metody jest zespołowa praca nad wymyślaniem rozwiązań problemu. Praca zespołu powinna przebiegać zgodnie z określonymi zasadami, do których należą między innymi: kreowanie swobodnych, nawet zupełnie nierealistycznych pomysłów, powstrzymywanie się od krytykowania i rozwijanie pomysłów innych osób. Po etapie wymyślania pomysłów następuje ich ocena według jednej z kilku procedur.

Prawdopodobnie na skutek efektywnej promocji i publikacji książkowych Osborna, metoda bardzo szybko przyjęła się w praktyce biznesowej w wielu krajach. Do dzisiaj stanowi kanon twórczego myślenia czy rozwiązań różnych problemów biznesowych. Popatrzmy jednak na metodę krytycznie, zgodnie z podejściem opartym na dowodach. Burza mózgów została wymyślona i wprowadzona do praktyki bez żadnego systematycznego testu. Skuteczność metody potwierdzali jej użytkownicy na podstawie własnego doświadczenia. Pozytywne opinie były prawdopodobnie wzmacniane poczuciem nowości w stosunku do dotychczasowych praktyk. Z całą pewnością wymyślanie rozwiązań w procedurze burzy mózgów musiało być dla ludzi dużo bardziej atrakcyjne niż metody tradycyjne. W ten sposób zrodziło się powszechne przekonanie o skuteczności tej formuły pracy. Mamy zatem pierwszy, najniższy możliwy poziom dowodów – subiektywne doświadczenia. Jak widać, niekiedy nawet ten sposób dowodzenia daje przepustkę do międzynarodowej kariery. Nie znaczy to jednak, że osobiste przekonanie o efektywności jest równoznaczne z rzeczywistą efektywnością. Prześledźmy wyższe szczeble drabiny dowodów. Na kolejnym znajduje się dobrze opisana analiza przypadku, która ma zastosowanie w przypadku bardziej złożonych metod i nie była wykorzystana w weryfikacji burzy mózgów. Wznosząc się na następny poziom, mamy systematyczne obserwacje czyli uporządkowany opis wielu praktyk z danego zakresu zwieńczony wyciągnięciem ogólniejszych wniosków. Prawdopodobnie takie obserwacje doprowadziły naukowców do decyzji o dojrzałej weryfikacji propozycji Osborna czyli przeprowadzenia kontrolowanych eksperymentów, które stanowią kolejny, wyższy poziom w hierarchii dowodów. W dużym uproszczeniu można powiedzieć, że metoda eksperymentalna daje możliwość sprawdzenia w kontrolowanych warunkach, na ile jedno zjawisko wpływa na inne. W naszym przypadku chodzi o odpowiedź na pytanie, czy metodą burzy mózgów można wykreować więcej dobrych pomysłów niż wykorzystując metody tradycyjne. Już od połowy dwudziestego wieku psychologowie prowadzili dobrze zaplanowane eksperymenty, aby odpowiedzieć sobie na to pytanie. Jedna grupa ludzi kreowała pomysły metodą Osborna, druga – wymyślała rozwiązania tych samych problemów indywidualnie. Porównując liczbę pomysłów oraz ich jakość i przydatność okazało się, że indywidualna praca dała znacznie lepsze wyniki niż burza mózgów. Wyniki wszystkich przeprowadzonych na ten temat eksperymentów zestawiono razem w postaci tak zwanej meta-analizy, która stanowi najwyższe piętro w hierarchii dowodów. Burza mózgów jawi się w świetle meta-analizy jako mało skuteczna metoda kreatywnego myślenia. Mamy więc do czynienia z bardzo częstą sytuacją w przypadku metod szkoleniowych; dowód na niskim poziomie okazuje się zdeprecjonowany przez rzetelne dowody na najwyższym poziomie hierarchii.

Chcąc działać racjonalnie, czy to podejmując decyzję o szkoleniu, czy też o wyborze metod zarządzania powinniśmy zawsze sprawdzać, na jakim poziomie hierarchii dowodów znajdują się te, które uzasadniają nasze działanie. Przypadek burzy mózgów jest świetnym przykładem pułapki, w jaką możemy wpaść bazując wyłącznie na subiektywnej ocenie praktyki.

Opieranie się na dowodach niższych w hierarchii w sytuacji dostępności dowodów o większej wadze przypomina zachowanie ślepców ze starej indyjskiej bajki, którzy postanowili dowiedzieć się czegoś o słoniu. Jeden z nich natknął się twardą skórę słoni a stwierdzając, że jest on murem. Drugi dotknął kła i ocenił, że ma do czynienia z włócznią. Trzeci dotknąwszy trąby doszedł do przekonania, że to gatunek węża. Czwarty natknąwszy się na kolano słonia zawyrokował, że jest on drzewem. Doświadczywszy podmuchów powietrza powodowanych przez uszy słonia, piąty ślepiec nazwał go wachlarzem. I wreszcie szósty ślepiec chwyciwszy go za ogon skonkludował, że zwierzę to jest zwykłą liną.

Podejście oparte na dowodach wypracowano tam, gdzie nie ma miejsca na opinie i poglądy – w ratowaniu życia i zdrowia ludzi. Sprawdziło się, dlatego myślący menedżerowie zastosowali je w zarządzaniu, rzetelni nauczyciele w nauczaniu a trenerzy w szkoleniach.

 

Przypowieść o ogrodniku

Tomasz Witkowski

Pamięci Williama z Ockham

Dawno, dawno temu pewien bardzo doświadczony ogrodnik opuścił swój kraj w poszukiwaniu pracy. Ogrody w kraju, w którym żył były pielęgnowane od stuleci z taką pieczołowitością, że garstka ludzi jego profesji wystarczała, aby utrzymać je w rozkwicie i ochronić przed chwastami i zdziczeniem. Nic dziwnego, że nawet bardzo doświadczeni przedstawiciele tego zawodu pozostawali bez pracy i środków do życia. Rad nierad wyruszył w długą zamorską podróż. Po wielu trudach dotarł wreszcie do kraju, w którym ogrody wydawały się szczególnie zapuszczone. Rosły w nich ogromnej wielkości chwasty, stare krzewy i skarłowaciałe drzewa, które ani nie dawały owoców, ani nie cieszyły oka kwieciem lub kształtem, lecz zagłuszały pożyteczne rośliny. Te ostatnie, walcząc z gęstwiną chwastów o każdy promyk słońca dawały rachityczne, cierpkie owoce, a kwiaty uznawane w jego ojczyźnie za ozdoby każdego ogrodu, tutaj ledwie różniły się od polnego kwiecia. – Cóż za kraj! – pomyślał ogrodnik. – Jego mieszkańcy nie potrafią sobie poradzić z chwastami w ogrodach i cieszyć się owocami, które mogłyby w nich rosnąć. To straszne, ale przecież to dla mnie wielka szansa. Tutaj z pewnością nie zabraknie dla mnie pracy do końca mojego żywota. Ucieszony taką perspektywą, odszukał właściciela jednego z bardziej zapuszczonych ogrodów i zaoferował mu swoje usługi. Ów przystał na tę propozycję z radością i zatrudnił ogrodnika.

Ogród był ogromny, dlatego też ogrodnik postanowił podejść do swojej pracy systematycznie i zajął się wprzódy oczyszczeniem z chwastów fragmentu, który, jak mu się zdawało, przeznaczono na warzywa. – To chyba najbardziej pożyteczne rośliny – pomyślał – więc oczyszczenie grządek z chwastów szybko przyniesie efekt, karłowate warzywa rozwiną się na słońcu, a gleba, w której rosną nie będzie już więcej musiała oddawać swoich zasobów zwyrodniałym bezużytecznym zielskom. Po czym żwawo zabrał się do roboty. Po kilku godzinach, pierwsze grządki ukazały rosnące na nich buraczki, marchewkę, cebulę i fasolę. Wtem nasz bohater ujrzał nadciągającego spiesznym krokiem właściciela ogrodu. Im był bliżej oczyszczonych grządek, tym krok jego był bardziej żwawy, a twarz bardziej wykrzywiał grymas złości.

– Cóż czynisz głupcze?! Dlaczego zniszczyłeś tyle pięknie wyrośniętych zielonych roślin?

– Ależ gospodarzu, przecież to chwasty! One zabierały słońce, wodę i pokarm pożytecznym warzywom!

– Gdzież ciebie nauczono takiego uprawiania ogrodu? – odkrzyknął właściciel. – My szanujemy wszystkie rośliny, pozwalamy im rosnąć, a nuż za jakiś czas wydadzą owoce albo ucieszą nasze oczy kwiatami? Nasza gleba jest dość żyzna, aby wyżywić wszystkie rosnące na niej rośliny, a słońce wystarczająco hojne, aby obdarzyć je światłem. To, co uczyniłeś jest ślepą destrukcją, która niszczy różnorodność. A właśnie dzięki niej nasze ogrody są tak wspaniałe! Wypowiedziawszy jeszcze wiele cierpkich słów pod adresem ogrodnika wydał mu polecenie podlania ogrodu, zaznaczając, że tam, gdzie rośliny są szczególnie wybujałe należy podlewać szczególnie intensywnie. Nasz bohater zabrał się do pracy z ciężkim sercem, wszak podlewanie wyrośniętych chwastów było sprzeczne ze wszystkim, czego uczył się od wczesnej młodości. Kiedy skończył zaleconą mu pracę, rozejrzał się po ogrodzie i zdecydował wyciąć cierniste krzewy, które przerastały winorośla raniąc dotkliwie każdego, kto próbował się doń zbliżyć. Niestety, i ta praca spotkała się z atakiem złości właściciela ogrodu, który kończąc swoją tyradę zawołał:

– Czy nie nauczono cię robić niczego konstruktywnego? Czy potrafisz tylko wyrywać i niszczyć?

Ogrodnik z największym pomieszaniem w głowie, jakie przytrafiło mu się w ciągu jego niekrótkiego przecież życia, przyjął reprymendę z pokorą. Cóż innego miał uczynić? Na szczęście dla niego, właściciel ogrodu dał mu jeszcze jedną szansę. Nazajutrz miał udać się do najbardziej cenionych ogrodników w kraju, aby odebrać kilka lekcji uprawy ogrodów.

Z nadzieją w sercu udał się do pierwszego z nich. Był to najbardziej uznany specjalista w zakresie długotrwałej uprawy roślin, które w kraju naszego bohatera uznawano za chwasty i wyrywano. Tutaj, chociaż żadna z tych roślin nigdy nie przyniosła ani pożytku, ani radości oczom, potrafiono uprawiać je przez kilkadziesiąt lat dając szansę, że kiedyś zaowocują. Pierwszy ogrodnik z dumą pokazał uczniowi gargantuiczne chwasty, a kiedy wrócili do domu wskazał na regał wypełniony opasłymi monografiami poświęconymi ich uprawie.

Drugim nauczycielem był specjalista od krzyżowania chwastów.

– Co prawda – pouczał naszego bohatera – żadna z tych roślin sama nie wydała owocu, ale to nie znaczy, że ich krzyżówki będą równie bezpłodne. Wystarczy skrzyżować ich odpowiednio wiele i wystarczająco cierpliwie poczekać, aby zaowocowały lub ucieszyły oczy przecudnym kwieciem.

Nieoceniona wartość tego sposobu uprawy ogrodu tkwiła również w tym, że każdą nową krzyżówkę chwastów można było nazwać własnym imieniem i nazwiskiem uwieczniając swój wkład w dzieło uprawy ogrodów lub nadać jej nazwę, przy pomocy której można byłoby przypochlebić się komuś, na względach kogo nam zależało. Mistrz ogrodnictwa z rozrzewnieniem recytował niekończącą się listę nadanych przez siebie nazw.

Trzecim mistrzem okazał się ogrodnik o podejściu indywidualistycznym. Całe życie poświęcił uprawom, które niezbicie wykazywały, że nie można określać wydajności ogrodu mierząc wielkość jego plonów. Ogień żarliwości pojawiał się w jego oczach, kiedy mówił o różnorodności. Dla niego każdy jeden okaz rośliny, nawet tego samego gatunku, wymagał indywidualnego podejścia. Z niezachwianą wiarą przekonywał, że o ile słusznym było oceniać jeden egzemplarz po wielkości owoców jakie wydał, o tyle już do sąsiadującego osobnika ta miara miała się nijak, bo należało go oceniać po wielkości tych elementów, które wybujały u niego najbardziej, np. liści. Jego zdaniem każda roślina obdarzona była wolną wolą i sama decydowała jakie elementy były dla niej istotne. Ogród trzeciego mistrza pełen był wynaturzonych mutantów, które prezentował z dumą godną ojca niezwykle utalentowanego potomstwa.

Do czwartego nauczyciela nasz ogrodnik już nie dotarł. Wszystko, co usłyszał w zestawieniu z tym, co wiedział doprowadziło go do takiej konfuzji i poplątania, że wywołało to ból głowy nie do zniesienia i torsje. Padł zemdlony, a kiedy po wielu godzinach doszedł nieco do siebie, otrząsnął się, oblał głowę zimną wodą i jak stał, pospiesznie wyruszył w drogę powrotną do swojej słynącej z pięknych ogrodów ojczyzny, w której ogrodnicy przez stulecia wyrywali chwasty i pielęgnowali pożyteczne rośliny, dające ludziom owoce i radość ich oczom.

Jestem ogrodnikiem. Żyję w kraju, który zwie się dumnie „nauki społeczne”, uprawiam ogród, przy wejściu do którego znajduje się szyld „psychologia”. Przestałem wyrywać chwasty. Czasem jedynie wskażę palcem na wyjątkową ich gęstwinę i natychmiast słyszę reprymendę:

– Czy ty nie potrafisz zrobić nic konstruktywnego tyko krytykować?

A kiedy pokazuję, że ktoś zasadził w naszym ogrodzie wyjątkowo trujące i szkodliwe rośliny, rozlegają się upomnienia:

– Zasadź swoją roślinę, jak jesteś taki mądry! Pokaż, co sam potrafisz zrobić, zamiast potępiać innych!

Nikogo też nie martwią stuletnie rośliny, które nie dają owoców wyjaławiając jednocześnie glebę, na której rosną. Podobno zbyt wielu ogrodników poświęciło zbyt wiele czasu uprawie tych roślin, abyśmy mogli je tak po prostu zniszczyć, powinniśmy poświęcić im jeszcze więcej czasu, być może za kilkadziesiąt kolejnych lat odwdzięczą się nam.

W naszym ogrodzie panuje tolerancja i jesteśmy z niej dumni. Akceptujemy wszystkie rośliny i poświęcamy im tym więcej uwagi i czasu im szybciej rosną. Trochę wstydzimy się uprawy roślin pożytecznych – warzyw i owoców, a jeśli nawet to robimy, to już na pewno nie oceniamy ogrodników podług zebranych przez nich plonów. Nie poświęcamy też nadmiaru energii pięknym kwiatom. Każdy z nas zajmuje się własną rośliną i im mniej uwagi zwraca na rośliny, którymi opiekują się inni, tym bardziej go szanujemy.

„Konstruktywność” jest w naszym ogrodzie nadrzędną wartością. Nawet jeśli uprawiamy wyjątkowo szkodliwą dla innych i trującą roślinę, to cały czas jesteśmy „konstruktywni”. Przeciwieństwem „konstruktywności” jest „krytyka” – synonim destrukcji i zła. A kiedy ktoś, spoza naszego ogrodu, zwraca nam uwagę na wyjątkowe nagromadzenie chwastów i gąszcz nie do przebycia, odpowiadamy z uśmiechem wyższości, że nie potrafi docenić „różnorodności”. Jeśli niezrażony wytyka nam fakt, że nasz ogród nie daje owoców, a te, które daje są wyjątkowo mizerne, upominamy go cierpliwie, że uprawiamy pole o takiej „złożoności” ekologicznej, która jest nieporównywalna z innymi ogrodami, dlatego nie można od nas zbyt szybko oczekiwać owoców.

Ogólnie bardzo dobrze żyje się ogrodnikom w naszym ogrodzie i nie potrzeba w nim tych, którzy potrafią wyrywać chwasty.

 

P.S. Grupa robocza pracująca w ramach projektu , którego celem było stworzenie programu zmiany zachowań pracowników opieki medycznej postawiła sobie jako jedno z pierwszych zadań zidentyfikowanie teorii psychologicznych. Za przydatne uznała 33 teorie psychologiczne zawierające w sumie 128 konstruktów teoretycznych wyjaśniających to konkretne zachowanie, które miało być przedmiotem zmiany. Myliłby się ten, kto by przypuszczał, że aby zidentyfikować te teorie i konstrukty, członkowie grupy roboczej przeprowadzili wyczerpujący przegląd literatury. Nie, był to wyłącznie efekt jednej sesji przeprowadzonej metodą burzy mózgów, w trakcie której zgłaszali oni takie teorie i konstrukty, które pamiętali, a które uznali za przydatne.  Pożądana w programie zmiana zachowania pracowników opieki medycznej dotyczyła … częstszego mycia rąk! (Mitchie i in., 2005)

 

Michie, S., Johnston, M., Abraham, C., Lawton, R., Parker, D., Walker, A. (2005). Making psychological theory useful for implementing evidence based practice: A consensus approach. Quality and Safety in Health Care, 14(1), 26–33.