Streszczenie
„Jedna z mocnych stron nauki polega na tym, że nie jest konieczne, aby naukowcy nie popełniali błędów, tylko żeby różni naukowcy popełniali różne błędy.”
David Hull, Science as a Process
Odkrycia naukowe a przypadek
Podczas II wojny światowej fizyk Enrico Fermi zapytał generała Lesliego Grovesa o to, ilu generałów można określić mianem „wielkich” i na jakiej podstawie. Groves odpowiedział, że każdy generał, który wygrał pięć dużych bitew pod rząd może być nazwany wielkim i że mniej więcej 3 na 100 generałów spełnia ten warunek. Fermi obliczył, że, jeżeli walczące ze sobą siły są mniej więcej równe, to szansa, że generał wygra jedną bitwę wynosi 1 do 2, szansa, że wygra po kolei dwie bitwy wynosi 1 do 4, dla trzech kolejnych wygranych bitew 1 do 8, dla czterech – 1 do 16, zaś dla pięciu bitew pod rząd – 1 do 32. „Zatem, generale, ma pan rację, mniej więcej trzech na stu. Prawdopodobieństwo matematyczne, a nie geniusz.” Innymi słowy, wyraźnie uderzająca zgodność może być jedynie następstwem nieubłaganych zasad prawdopodobieństwa. W tym wstępnym artykule sugerujemy, że dzięki takiej samej nieubłaganej logice wiele odkryć naukowych można nazwać wielkimi.
Analogiczne do zdefiniowanego przez Fermiego „wielkiego generała” może być „wielkie odkrycie naukowe” – pozornie ekscytujące wyniki często trudne do powtórzenia w kolejnych badaniach, które początkowo być może uzyskano tylko przez przypadek, będący skutkiem jedynie liczby przeprowadzanych badań naukowych. Poniżej posłużymy się przykładem prac badaczy zajmujących się zależnościami między podatnością na chorobę a zmiennością sekwencji DNA, ustalaną na podstawie genetycznych badań sprzężeń.
Dla osób postronnych szansa zaobserwowania korelacji (w tym przypadku sprzężenie genetyczne), która w rzeczywistości nie istnieje, wynosi 1 do 20 (przy założeniu, że czasopisma naukowe akceptują próg p na poziomie 0,05 jako wystarczający dowód umożliwiający publikację), zaś szansa, że dane odkrycie zostanie powtórzone przez przypadek wynosi 1 do 400, co oznacza wiarygodny poziom pewności, że większość powtórzonych wyników będzie odpowiadać rzeczywistości. Programy do analizy statystycznej umożliwiają badaczom przeprowadzanie wielu testów statystycznych z zaskakującą szybkością, co stało się elementem rutynowego postępowania. Na podstawie jednego z niedawnych realistycznych badań symulacyjnych, w którym wykorzystywano 10 wariantów sekwencji w szeroko badanym genie dla enzymu O-metylotrasferazy katecholowej (COMT) oraz pakiet analiz podobnych do wykorzystywanych w praktyce, opisano, że odsetek wyników fałszywie dodatnich wynosił 96,8% przy poziomie istotności p=0,05. Co więcej, przy przyjęciu obszernej definicji replikacji, w większości przypadków uzyskano „powtórzenie” błędnych wyników, znowu z wykorzystaniem danych losowych.
Dodaj do ulubionych