„Metody statystyczne stały się alfą i omegą współczesnych badań naukowych. Pozwoliły nam poczynić wielkie postępy, wykrywać słabe sygnały w magmie danych” – pisze Hannah Fry, profesor w Centre for Advanced Spatial Analysis w College of London¹. I dalej: „Nawet jeśli rzucisz monetą tysiąc, a choćby i milion razy, nigdy nie możesz być absolutnie pewien, co wypadnie. Nawet jeśli prawdopodobieństwo jest nieskończenie małe, może teoretycznie wytworzyć wszystkie możliwe kombinacje. W obliczu tej niepewności naukowcy postanowili ustalić arbitralny próg, poniżej którego wszystkie dane są uważane za podejrzane. W 1925 r. statystyk brytyjski Ronald Fisher zaproponował ten próg umownie ustalić na 5%. (…) jeśli przy rzucie monetą wypadnie reszka pięć razy z rzędu (0,0325), można uznać, że moneta jest źle wyważona. Współczesna nauka opiera się na tej zasadzie przy wyciąganiu wniosków. Niezależnie od tego, czy szuka się dowodów na zmiany klimatyczne, czy skuteczność leku, idea jest ta sama. Jeśli wynik jest zbyt niezwykły, aby mógł być dziełem przypadku – gdy występuje w mniej niż 5% przypadków lub raz na 20 − można sądzić, że początkowa hipoteza została potwierdzona”.

Akceptowalne ryzyko

− Wynik istotny statystycznie − Święty Graal badaczy, czyli stworzenie wartości prawdopodobieństwa (p) pozwalającej uznać, że coś nie jest dziełem przypadku, wywodzi się z arbitralnego założenia „akceptowalnego ryzyka” – mówi prof. dr hab. n. med. Wojciech Fendler, kierownik Zakładu Biostatystyki i Medycyny Translacyjnej Uniwersytetu Medycznego w Łodzi. Przy tym założeniu kontroler złapie nas raz na 20 przejazdów na gapę (tego, czy to będzie przy pierwszym, czy którymś z kolejnych przejazdów, oczywiście nie da się przewidzieć). Zależnie jednak od rodzaju problemu badawczego i wielkości próby przyjęta wartość p powinna być modyfikowana adekwatnie do liczby porównań. − Jeśli 20 osób przyjęłoby strategię jazdy na gapę z ryzykiem mandatu 1/20, jedna z nich zostanie złapana na pewno. Żeby więc utrzymać wartość ryzyka błędu typu 1 dla dużej liczby eksperymentów, muszę ją skorygować zgodnie z „liczbą przejazdów” – dla 100 prób zmniejszę ją do 0,0005, a dla kilku milionów porównań, jak w badaniach związku chorób ze zmiennością całego genomu, do <0,00000001. Gdybym tego nie zrobił, musiałbym się liczyć z tym, że przy wielu próbach na pewno otrzymam pewną liczbę fałszywych wyników, które uznam za prawdę. To nie jest przewrotność statystyki. Tak po prostu jest – wyjaśnia prof. Fendler. Wartość p jest bezpiecznikiem wiarygodności dowodów naukowych. Gdyby jej nie było, ktoś by powiedział: „Tak jest i udowodnijcie mi, że jest inaczej”.