Przykłady błędnej interpretacji badań

Jest dziedzina nauki zwana metodologią. W dużym skrócie i uproszczeniu – zajmuje się ona teorią tego, jak powinno się prowadzić badania, jak odczytywać już istniejące, jak wyciągać wnioski. Każdy karp to ryba, każdy szczupak to ryba. Każdy karp to szczupak. Logiczne, prawda?

Na rozgrzewkę nie tyle badanie, co pewien eksperyment, który krąży po internecie i niestety nie chce umrzeć śmiercią naturalną. Powinien być omawiany w szkole, czasem zastanawiam się, czy takich rzeczy nie ma w programie, bo dzięki nim łatwiej byłoby przejrzeć sztuczki polityków?

Chodzi o eksperyment z „mówieniem do ryżu” i jego klony. Polega to na tym, że bierze się dwie miski, słoiki, butelki, cokolwiek. Obie napełnia ryżem czy czymkolwiek innym. Do jednej mówi się miłe rzeczy, na drugą krzyczy i „wysyła negatywne emocje”. Według autorów, w pojemniku który dostał negatywne emocje żywność będzie szybko gniła i się psuła, w pozytywnym zachowa świeżość. Na youtube są tysiące filmów opisujących, jak to eksperyment się powiódł i jest dowodem na siłę myśli ludzkich.

Jest to klasyczny „błąd potwierdzenia”, coś, co przerabia się na pierwszej lekcji logiki. Mamy dokładnie 50% szansy na to, że eksperyment się uda, bo zawsze w jednym z pojemników szybciej zajdą procesy gnilne. Różnica jest w naszym emocjonalnym odbiorze wyników. Jeśli zgnije ryż w pojemniku, do którego mówiliśmy miłe słowa, wzruszymy ramionami i wyrzucimy to do śmieci, nie myśląc za wiele o całej sprawie. Ot, głupia zabawa. Jeśli jednak będzie odwrotnie, spleśnieje ten pojemnik, na który krzyczeliśmy, będzie to dla nas potężny bodziec, właśnie udowodniliśmy istnienie magii, przekonaliśmy samych siebie, że posiadamy niemal czarnoksięską moc wpływania na jedzenie samymi naszymi emocjami. Czym prędzej piszemy o tym na blogu albo nagrywamy film na youtube. Dlatego właśnie internet jest zasypany wynikami takich badań, ale ani jedno z nich nie zostało przeprowadzone w sposób racjonalny, wykluczający przypadek, na przykład poprzez mówienie do 40 słoików, z których połowa będzie w grupie „pozytywnej”.

Wspomnę też o tych filmach, gdzie ktoś 10 razy pod rząd wyrzuca reszkę na monecie. Tu sekret jest dużo prostszy, nagrywa się film tysiąc razy aż w końcu się uda. Czy raczej nagrywa się pięciogodzinny film, a potem wycina fragment z serią udanych rzutów.

Analiza, którą różni alternatywni machają ludziom przed oczyma, by udowodnić, że chemioterapia nie pomaga w nowotworach:

https://www.ncbi.nlm.nih.gov/pubmed/15630849

Niby wszystko OK, jak byk mamy, że chemioterapia przedłuża życie w nieco ponad 2% przypadkach. Gdzie jest problem?

Popełniono dwa błędy, które całkowicie dyskwalifikują tę analizę, a raczej jej interpretację. Po pierwsze, uwzględniono w nim wszystkie nowotwory, zarówno te, w których chemię się podaje jak i te, przy których nie podaje się jej nigdy. To tak, jakby liczyć „spalanie benzyny przez pojazdy”, policzyć 5 rowerów i 1 samochód, wyciągnąć średnią a potem mówić, że samochody w Polsce spalają poniżej jednego litra na sto kilometrów. Albo że rower spala średnio litr benzyny.

Socrates
„Socrates” by lentina_x is licensed with CC BY-NC-SA 2.0. 

Drugi błąd – czego naprawdę dotyczył artykuł? Niby miało to być „jak wielu pacjentom chemia przedłuża życie”, ale co dokładnie uznano kryterium skuteczności? Było to przekroczenie magicznej granicy 5 lat przeżycia. Oznacza to, że osoba, która bez leczenia zmarła by po 2 tygodniach, a dzięki lekom żyła 4 lata i 11 miesięcy, została tam uznana za „porażkę”. Podobnie ktoś, kto powinien umrzeć po 6 latach, ale został całkowicie wyleczony dzięki chemioterapii, również z powodu przyjęcia takiego parametru zostanie określony jako „brak efektu leczniczego chemii”.

W rzeczywistości celem analizy było wykazanie, że chemioterapia nie jest dziedziną onkologii, która ma największe znaczenie w ratowaniu życia, dlatego powinno się zmienić model finansowania i zacząć wspierać inne.

Pozwolę sobie teraz wkleić badanie, którego w innym miejscu użyłem jako dowodu na to, że testy western blot są w zasadzie nieomylne przy diagnozie boreliozy. Ten sam link przy błędnej interpretacji będzie wykorzystywany jako dowód na to, że testy te są bezużyteczne.

http://cid.oxfordjournals.org/content/53/6/541.long

Z tego badania wyciągniemy dwa całkowicie odmienne – i prawdziwe – wnioski. Pierwszy jest taki, że w pierwszej fazie choroby (rumień) tylko u 29% pacjentów bloty wykrywają chorobę. Drugi fakt: w późniejszych fazach (infekcja mięśnia sercowego, układu nerwowego, stawów) testy wykryły chorobę u 100% pacjentów.

Każdą chorobę zakaźną można wykryć testem przeciwciał dopiero po pewnym czasie od infekcji. Bakterie muszą się najpierw rozmnożyć, zaatakować nasze tkanki, nasz system odpornościowy musi „nauczyć się” z nimi walczyć. I to właśnie wykrywamy testem, sprawdzamy czy nasze ciało „potrafi” walczyć z bakterią, jeśli tak, wtedy wiemy, że zostało przez nią zaatakowane. Z diagnostyką boreliozy faktycznie jest problem, testy są nieskuteczne, ale tylko w pierwszych kilku, góra kilkunastu tygodniach od ukąszenia. W efekcie po tym, jak znajdziemy kleszcza albo musimy czekać do wystąpienia objawów, albo brać antybiotyki w ciemno. To – i tylko to – mają na myśli naukowcy, gdy mówią o tym, że diagnostyka tej choroby jest problemem.

Jeśli ktoś będzie chciał was oszukać, wkręcić wam „przewlekłą boreliozę”, pokaże to badanie i powie „z niego wynika, że western blot wykrywał przewlekłą chorobę tylko u 29% pacjentów”, co będzie po prostu ordynarnym kłamstwem.

Pora zająć się dietą, badanie które jest cytowane przez blogerów w pierwszych kilkuset wynikach w google po wpisaniu „keto atherosclerosis” jako dowód na to, że dieta niskowęglowodanowa leczy choroby serca:

http://circ.ahajournals.org/content/121/10/1200.full

Teoretycznie wszystko się zgadza. Zmierzono grubość ściany aorty, podano pacjentom trzy różne diety: niskotłuszczową, śródziemnomorską, niskowęglowodanową. Na każdej z nich zmiany aorty cofnęły się. Lek na miażdżycę?

Gdzie jest haczyk? Zagadka jest bardzo prosta. Co prawda każda z tych trzech sprawdzanych diet miała inne proporcje składników odżywczych, ale wszystkie miały jedną cechę wspólną: miały mniej kalorii, niż dieta, którą pacjenci mieli wcześniej. W efekcie każdy pacjent schudł, spadło im ciśnienie krwi, a to własnie ono w głównej mierze odpowiada za stan aorty, która jest bardzo wrażliwa na nadciśnienie. Prawdziwy wniosek z tego badania brzmi „chudnięcie cofa zmiany w aorcie, niezależnie od tego, jaką kto ma dietę”.

Kochane szczepionki:

https://www.ncbi.nlm.nih.gov/pubmed/22357833

To badanie zostało przytoczone przez jakiegoś „profesora” (kogo teraz robią profesorem?!) jako dowód na to, że szczepienia powodują epilepsję. Z pełną powagą pisał on, że – cytuję – „badanie kohortowe wykazało, iż u 2117 dzieci z tej grupy w siedem lat po zabiegu rozwinęła się epilepsja. Tymczasem wśród dzieci nieszczepionych tą szczepionką ilość zachorowań na padaczkę wyniosła zaledwie sto dwadzieścia jeden”. Niby się zgadza, prawie dwadzieścia razy więcej przypadków padaczki u zaszczepionych. Pan profesor „zapomniał” tylko dodać, że grupy nie były równe. Tak, dobrze zgadliście, grupa nieszczepiona była niemal dwadzieścia razy mniej liczna. Proporcjonalnie ryzyko epilepsji było identyczne.

Czystek w leczeniu boreliozy!

https://www.ncbi.nlm.nih.gov/pubmed/20432627

Znowu w teorii wszystko jest w porządku: stężenie 0,02% olejku eterycznego z czystka powodowało, że ilość nowych bakterii była 50 razy mniejsza. Wszystko się zgadza? Nie bardzo…

Po pierwsze, działał (słabo) tylko wyciąg alkoholowy i (mocno) koncentrat olejków eterycznych, roztwór wody nie miał żadnego efektu. Olejek eteryczny najwidoczniej nie rozpuszczał się w wodzie. Oznacza to, że herbatki i napary nie dadzą najmniejszego rezultatu.

Drugi problem jest dużo poważniejszy: stężenie… To dotyczy niemal każdego badania, w którym coś działało „w probówce”. W badaniu (jeśli dobrze rozumiem naukowy żargon po angielsku) ze 150 gramów suszu uzyskano 0,15 grama olejków. Stężenie, które zabijało bakterie to 0,02%. Dla człowieka ważącego 60 kg 0,02% to 12 gramów, tyle olejków należy jednorazowo pochłonąć. Oznacza to, że jednorazowo należy zjeść – uwaga uwaga – 15 kilogramów suszonego czystka, by przez chwilę mieć w organizmie odpowiednie stężenie olejków eterycznych. Oczywiście taka kalkulacja jest bardzo niedokładna, obliczanie tego, jakie stężenie osiągnie przyjęty lek jest dużo bardziej skomplikowane, ale mam nadzieję, że przytoczone tu proporcje dadzą jakieś pojęcie o tym, jaki rząd wielkości należy tu uwzględnić.

Są tysiące badań, w których jakieś zioło, witamina, minerał zabijały bakterie czy komórki nowotworowe w probówce. Niestety, prawie zawsze wygląda to tak samo: używano stężeń, które są fizycznie niemożliwe do uzyskania, a nawet gdyby się to komuś udało, zmarłby na skutek zatrucia. Spirytus jest używany do dezynfekcji, bo bardzo skutecznie zabija bakterie, zapewne zabiłby też komórkę nowotworową, kto jednak wypije 10 litrów spirytusu w ciągu kilku minut i to przeżyje?

Na koniec jedno z badań „dowodzących”, że witamina C zapobiega chorobom serca:

http://www.bmj.com/content/314/7081/634

Na pierwszy rzut oka znowu wszystko się zgadza: osoby z najniższym poziomem witaminy C miały 2,5 razy większe ryzyko śmierci z powodu chorób serca, niż te z najwyższym. Czego ten metodolog znowu się czepia, przecież właśnie odkryliśmy lek na miażdżycę!

Niestety, życie nie jest takie proste, jak to różni szarlatani sprzedający ludziom witaminę C próbują nam wmówić. Problem leży w tym, że witamina ta obecna jest przede wszystkim w owocach i warzywach, a nie ma jej w produktach odzwierzęcych. Oznacza to, że osoby z najniższym poziomem miały po prostu najgorszą dietę, a te z najwyższym najlepszą. Nic dziwnego, że były najzdrowsze, nie jest to żadna „ukryta terapia” ani tajemnica, lekarze i dietetycy bez przerwy powtarzają, żeby się tak odżywiać. Wysoki poziom askorbinianów we krwi był skutkiem zdrowej diety, a nie przyczyną zdrowia. Tak samo palacze mają żółte palce i jednocześnie częściej umierają na raka płuc, co nie oznacza, że jest on wywołany kolorem skóry. Próba zapobiegania miażdżycy przez jedzenie białego proszku ma tyle sensu, co próba zapobiegania rakowi płuc przez mycie palców. Szerzej o szarlatanerii Zięby rozpisałem się na blogu, z linkami do badań które wykazały ponad wszelką wątpliwość, że suplementacja tą substancją nic a nic nie daje:

http://naturalneleczenie.com.pl/2015/06/26/ukryte-terapie/