Spis treści
W SKRÓCIE
Decyzje o podejmowaniu działań terapeutycznych, zarówno wobec poszczególnych chorych, jak i w całym systemie opieki zdrowotnej, powinny się opierać na całokształcie dostępnych dowodów naukowych. Mniemanie, że dowody można zhierarchizować według ich wiarygodności czy użyteczności, jest złudne. Podejmujący decyzję muszą raczej osądzić, czy (i kiedy) dowód z badania doświadczalnego lub obserwacyjnego należy uwzględnić w danej sytuacji.
William Harvey (1578-1657) należał do
XVII-wiecznych filozofów przyrody, którzy przestali opierać rozumienie świata na autorytetach Arystotelesa, Platona czy Galena. Jak sam Harvey jednak zauważył: „podstawą jest uzyskiwanie wiedzy od innych, bez konieczności samodzielnego badania zagadnienia, zwłaszcza że księga natury stoi otworem i łatwo [po upowszechnieniu druku – przyp.red.] wymieniać się zdobytą wiedzą”. 1 Filozofowie przyrody tamtych czasów, chociaż zjednoczeni w dziele zgłębiania księgi natury, zawzięcie spierali się jednak, w jaki sposób należy to czynić. Trzy i pół wieku później dyskusja o istocie nauki i metodach naukowych toczy się nadal i w sposób szczególny dotyczy zależności między metodami indukcyjnymi a dedukcyjnymi. 2
Nigdy dotąd równie stanowczo, a czasem zawzięcie, nie przekonywano, że dowody naukowe muszą potwierdzać przydatność działań terapeutycznych. Stało się to szczególnie widoczne w ciągu ostatnich 30 lat, kiedy tworzono rozmaite reguły, poziomy i hierarchie dowodów. Typowy przykład przedstawiono w tabeli 1.

Tabela 1. Hierarchia dowodów
Dowód naukowy spełnia obecnie tylko jeden cel. Stanowi podstawę do podjęcia świadomej decyzji o właściwym zastosowaniu działań terapeutycznych w praktyce lekarskiej. Decyzje te podejmuje się na różnych szczeblach, ale ich skutki zawsze mają zasadnicze znaczenie dla chorych, ich rodzin i społeczeństwa. Decydenci rozstrzygają o zasadności stosowania danej metody leczenia, którą następnie proponuje się konkretnym pacjentom, decydują o konieczności zaopatrzenia szpitala w pewne produkty i pełni emocji oceniają, czy dany sposób leczenia jest wystarczająco bezpieczny i skuteczny, a także zasadny ekonomicznie, by wykorzystywać go w całym systemie opieki zdrowotnej. Skutki błędnych decyzji mogą być tragiczne.
W drabinach hierarchii dowodów naukowych badania z grupą kontrolną i randomizacją (RCT – randomized controlled trial) umieszcza się na samym szczycie, pozostawiając u ich podnóża różne formy badań obserwacyjnych. Hierarchie te dają poczucie siły ocenianego dowodu. Na podstawie tak postrzeganej siły opracowujący wytyczne nadają następnie rangę określonym rekomendacjom terapeutycznym.
Pogląd, że dowód naukowy można niezawodnie umiejscowić w hierarchii, jest jednak złudny. Stawianie RCT na tak wysokim piedestale bywa kłopotliwe, bowiem każda metoda badawcza ma zarówno wady, jak i zalety. 4 Badania obserwacyjne mają swoje ograniczenia, ale nie są pozbawione wartości. Decydenci muszą ocenić wszystkie dostępne dowody, niezależnie od tego, czy pochodzą one z RCT, czy z badań obserwacyjnych, a także poznać mocne i słabe strony każdego z nich. Dopiero wtedy mogą wyciągnąć wiarygodne wnioski. Nie ma nic zawstydzającego w tym, że zanim jakiś dowód zostanie uwzględniony w analizie, należy go ocenić pod kątem adekwatności do sytuacji, w jakiej się go wykorzystuje. Z drugiej strony, osobisty osąd jest nieodłączną składową większości aspektów procesu podejmowania decyzji. 5
Badania z grupą kontrolną i randomizacją
Wprowadzenie RCT w połowie XX wieku miało głęboki wpływ na praktykę kliniczną, a ich zasadnicze założenia zostały dokładnie opisane. 4, 6, 7 Polegają one na porównaniu wyników dwóch (lub większej liczby) metod zastosowanych w tym samym czasie u wyodrębnionych losowo grup pacjentów.
Prawidłowo przeprowadzone i przeanalizowane RCT z podwójnie ślepą próbą bez wątpienia wzbudza zaufanie, co do wiarygodności wyników oraz korzyści płynących z zastosowania danej interwencji, 6, 8 zwłaszcza jeśli rezultaty te powtarzają się w kolejnych badaniach. Dlatego RCT często nazywa się złotym standardem w potwierdzaniu (lub negowaniu) korzyści wynikających z poszczególnych działań medycznych. Metodę tę cechują jednak ważne ograniczenia, wśród których szczególny problem sprawiają cztery: hipoteza zerowa, prawdopodobieństwo, uogólnianie wyników oraz zależność od nakładów.
Hipoteza zerowa
Analiza RCT tradycyjnie opiera się na hipotezie zerowej zakładającej, że porównywane metody leczenia nie różnią się między sobą. Testuje się ją, szacując prawdopodobieństwo (częstość) uzyskiwania wyników skrajnych, przemawiających za słusznością tej hipotezy. Jeśli prawdopodobieństwo jest mniejsze niż pewna arbitralna wartość – zwykle mniejsze niż 1 na 20 (tj. p<0,05) – hipotezę zerową odrzuca się. Jest to najczęstsza metoda projektowania i analizy RCT, której niewątpliwymi zaletami są: łatwość obliczeń statystycznych, powszechna akceptacja metodologii oraz ustalone kryteria istotności statystycznej.
Hipoteza zerowa może być jednak niewłaściwa, choćby w przypadku, gdy we wcześniejszych badaniach wykazano już korzyści płynące z zastosowania danej metody leczenia. Zdarza się tak podczas opracowywania nowego leku, gdy wyniki wstępnych badań II fazy, ocenia się w badaniach III fazy na większych grupach chorych. Wówczas, opieranie analizy wyników badań III fazy na hipotezie zerowej staje się niezgodne z intuicją. Obserwacje przeprowadzone w ciągu ostatnich 10 lat ujawniają, że w 73% RCT opublikowanych w liczących się czasopismach nie próbowano zestawić uzyskanych wyników z osiągniętymi podczas wcześniejszych badań. 9
Hipoteza zerowa sprawia jeszcze większy kłopot w badaniach próbujących wykazać, że wyniki leczenia jednej z grup są takie same (ekwiwalentne), nie gorsze (non-inferiority study) lub wykazują założoną wcześniej różnicę (futility studies) w porównaniu z wynikami uzyskanymi w drugiej grupie. 10 Wszystkie takie badania wymagają założenia z góry różnicy między badanymi metodami leczenia, którą można będzie uznać za znaczącą. Metodologia hipotezy zerowej w rzeczywistości może być zgodna z dedukcyjnym podejściem do nauki, jak bowiem stwierdził Rothman: „przyjmowanie uniwersalnej hipotezy zerowej jest w istocie zawieszeniem wiary w świat rzeczywisty, a zatem kwestionowaniem podstaw empiryzmu”. 11
Prawdopodobieństwo
Wartość p
W najczęściej stosowanym ujęciu, jeśli wartość p (znamienności statystycznej) jest wystarczająco mała, to hipoteza zerowa jest fałszywa, a jeśli nie, to zdarzenia występowały zbyt rzadko, by hipotezę zerową odrzucić. Dla rozróżnienia tych dwóch możliwości powszechnie przyjęto, iż prawdopodobieństwo, że hipoteza zerowa jest prawdziwa, powinno być mniejsze niż 5% (tj. p<0,05). Jeśli wartość p jest większa lub mniejsza niż 0,05, odpowiednio odrzuca to lub potwierdza słuszność hipotezy zerowej. Niektórych, choć nie wszystkich, problemów związanych z wartością p można uniknąć, wyrażając wyniki w przedziałach ufności, które określają stopień niepewności lub braku dokładności wyników. Niemniej jednak wartość p i przedział ufności są ściśle ze sobą powiązane.
Multiplikacja
Trudność w interpretacji najczęściej wykorzystywanej wartości p zwiększa się, gdy podczas badania klinicznego trzeba zdecydować, czy należy je przedwcześnie zakończyć oraz jak (i czy) ocenić wyniki uzyskane w podgrupach chorych po zakończeniu badania. Podobny problem pojawia się podczas analizy bezpieczeństwa RCT. We wszystkich tych okolicznościach wielokrotne przeprowadzanie testów znamienności statystycznej – z wykorzystaniem konwencjonalnej wartość p (<0,05) – zwiększa prawdopodobieństwo uzyskania przynajmniej jednego wyniku znamiennego. Na przykład, jeśli bada się 10 odrębnych parametrów, prawdopodobieństwo, że jeden z nich uzyska znamienność statystyczną (p<0,05), wynosi 40%. Zjawisko to określa się mianem problemu multiplikacji. Statystycy, opracowując zasady przerywania badań i analizy podgrup, mają bardzo odmienne poglądy na to, jak te trudności pokonać. 12
Naturalnym pragnieniem badaczy jest przeprowadzanie w czasie trwania badania analizy danych zgromadzonych na danym jego etapie, by zdecydować, czy badanie kontynuować, czy też przedwcześnie je zakończyć. Wcześniejsze zakończenie badania jest uzasadnione, jeśli przyjęty wcześniej parametr oceny końcowej uzyskał znamienność statystyczną lub wówczas, gdy bezpieczeństwo kontynuowania badania w jednej z grup budzi obawy. Przy podejmowaniu decyzji o wcześniejszym zamknięciu RCT istnieją jednak pewne pułapki. Jeśli analiza w trakcie badania wskazuje na niespodziewaną korzyść, odróżnienie wyniku rzeczywistego od przypadkowego może być trudne. 13
W celu rozwiązania problemu multiplikacji tego rodzaju opracowano różne metody statystyczne. 12 Wiele z nich zależy od zmiany poziomu znamienności statystycznej (tj. wartości p) podczas każdej z przeprowadzanych analiz, co oznacza, że odrzucenie wyjściowej hipotezy wymaga przyjęcia mniejszej wartości p we wcześniejszych analizach. Statystycy nie ustalili jednak wspólnego stanowiska dotyczącego zasad wstrzymywania badań. 12, 14 Konieczność rozwiązania problemu staje się zatem pilna. Wczesne przerwanie badania z powodu uzyskanych korzyści może w sposób systemowy przeszacowywać efekty leczenia, co stwarza realne zagrożenie, że pewne wnioski dotyczące skuteczności leczenia, szczególnie w onkologii, mogą być nieuzasadnione. 12, 15
Analiza skutków leczenia przeprowadzona w podgrupach chorych może mieć ważne znaczenie dla określenia, czy różni chorzy inaczej reagują na leczenie. 16 Najczęstszym rozwiązaniem problemu multiplikacji w analizie podgrup jest przyjęcie tylko ograniczonej liczby, klinicznie i biologicznie uprawdopodobnionych podgrup, określonych na etapie planowania badania. 12, 17 Nie ustalono jednak, ile podgrup można uznać za ograniczoną liczbę. Analizowanie podgrup wyłonionych po zakończeniu badania wzbudza różne opinie. Niektórzy unikają analizy post hoc, podczas gdy inni sugerują ostrożne skorygowanie poziomu istotności statystycznej (wartości p). 17
Metoda Bayesa
Coraz więcej statystyków uważa, 18 że rozwiązanie wielu trudności, wynikających z konserwatywnego sposobu projektowania, analizy i interpretacji RCT, ułatwia zastosowanie metody statystycznej Bayesa. Wzięła ona swoją nazwę od nazwiska Thomasa Bayesa (1701-61), nonkonformistycznego pastora z Tunbridge Wells. Bajezjańskie rozumienie prawdopodobieństwa – zwanego subiektywnym lub odwróconym – polega na przyjęciu hipotezy badawczej na podstawie pewnych danych.
Twierdzenie Bayesa łączy znane wcześniej prawdopodobieństwo wyjściowe, tj. przed rozpoczęciem eksperymentu, jakim może być np. RCT, z prawdopodobieństwem końcowym, ponownie obliczonym po zakończeniu badania. Ogniwem łączącym prawdopodobieństwo wyjściowe z końcowym jest wynik samego doświadczenia. Końcowe prawdopodobieństwo zapewnia możliwość oceny prawdopodobieństwa hipotezy uzależnionej od obserwowanych wyników, ale po uwzględnieniu informacji znanych już (wcześniejszych) sprzed rozpoczęcia badania. 19, 20
Zastosowanie metody Bayesa podczas analizy wyników RCT przedstawiono na rycinie 1. Badanie GREAT zaprojektowano w celu oceny słuszności hipotezy, zgodnie z którą wczesne podanie leków trombolitycznych w domu chorego z ostrym zawałem mięśnia sercowego powinno być korzystniejsze niż rozpoczęcie takiego leczenia później w szpitalu. 21 Przeprowadzono zatem RCT porównujące skuteczność leczenia trombolitycznego podejmowanego przez lekarzy podstawowej opieki zdrowotnej w domu chorego ze skutecznością takiego leczenia włączanego dopiero wówczas, gdy chory znalazł się w miejscowym szpitalu. Po trzech miesiącach względne zmniejszenie umieralności z wszelkich przyczyn wyniosło 49% (p=0,04) wśród chorych rozpoczynających leczenie w domu w porównaniu z chorymi leczonymi dopiero po przyjęciu do szpitala. Choć wczesne podjęcie leczenia może korzystnie wpłynąć na przeżycie, zmniejszenie dzięki temu umieralności o niemal 50% wydaje się mało przekonujące, biorąc pod uwagę fakt, że włączenie takiego leczenia w szpitalu zmniejsza umieralność o około 25%.
Pocock i Spiegelhalter przeprowadzili ponową analizę metodą Bayesa (ryc. 1). 22 W oparciu o wyniki wcześniejszego RCT ustalili rozkład badanej zmiennej dla leczenia trombolitycznego zastosowanego w szpitalu (ryc. 1a). Przypuszczali, że dzięki wcześniejszemu podaniu leków bardzo prawdopodobne jest zmniejszenie umieralności o 15-20%, ale takie skrajności – jak brak korzyści wynikających z takiego leczenia lub zmniejszenie umieralności o 40% – są nieprawdopodobne. Rycina 1b ukazuje rozkład prawdopodobieństwa z wyników badania GREAT. Rycina 1c przedstawia rozkład uzyskany dzięki pomnożeniu wcześniejszych danych i prawdopodobieństwa uzyskanego w badaniu. Oznacza to, że prawdopodobieństwo wynikające z oryginalnej analizy badania GREAT zostało formalnie zakwestionowane, aby uzasadnić tezę, że oryginalne wyniki były zbyt dobre, by mogły być prawdziwe. 22
Zastosowanie metody Bayesa pozwala uniknąć bezkrytycznego posługiwania się hipotezą zerową, pomaga też pokonywać problemy podczas projektowania RCT i analizowania ich wyników, a także zagadnień związanych z multiplikacją. 19, 20 Dlaczego zatem metoda ta nie jest bardziej upowszechniona? Wydaje się, że składa się na to pięć głównych przyczyn.
Po pierwsze, chociaż subiektywne podejście do prawdopodobieństwa ma XVIII-wieczne korzenie, niektórzy (zwłaszcza ci o pospolitym sposobie myślenia) traktują taką interpretację prawdopodobieństwa z osobistą odrazą. 20 Wolą trzymać się złudnego bezpieczeństwa prostej definicji, która podczas testowania hipotezy zerowej przesądza o wynikach. Niechętnie natomiast akceptują to, że osobiste przekonanie lub opinia powinny być brane pod uwagę podczas podejmowania decyzji.
Po drugie, duże kontrowersje budzi określenie wyjściowego prawdopodobieństwa (znanego przed przeprowadzeniem badania). Jeśli istnieją dowody pochodzące z uprzednich badań, tzw. wyjściowe prawdopodobieństwo kliniczne jest łatwo dostępne. Gdy ich nie ma, wykorzystuje się prawdopodobieństwo domyślne (standardowe). 20 Do rzekomych trudności z jego zastosowaniem i całej metody Bayesa przywiązuje się zbyt dużą wagę. Zwykle jednak przy braku danych o wyjściowym prawdopodobieństwie klinicznym (lub czasami, w analizie wrażliwości metody, nawet przy jego znajomości) wykorzystuje się kilka wartości prawdopodobieństwa domyślnego.
Po trzecie, analizy Bayesa zawierają złożone obliczenia i wymagają więcej pracy niż metody stosowane podczas bardziej konserwatywnych analiz.
Po czwarte, niektórzy statystycy – choć jest ich coraz mniej – nie mają doświadczenia w stosowaniu technik analizy Bayesa i nie chcą (lub nie są w stanie) ich przyswoić. Niektórzy sądzą, że umiejętność tę nabywa się wraz z innymi podczas studiów uniwersyteckich. 23 Inni, mniej życzliwi, uważają ją za właściwą danemu pokoleniu statystyków. Jeden ze zwolenników metody Bayesa powiedział mi, że statystycy nauczeni korzystania z tablic logarytmicznych i suwaka logarytmicznego zwykle nie potrafią posługiwać się metodą statystyczną Bayesa.
Na koniec, agendy rządowe do spraw rejestracji czasem wahają się przyznać, że metoda Bayesa ma swoje zalety. 24 Obserwuje się coraz częstsze zainteresowanie oceną urządzeń medycznych. 25 Ich producenci coraz częściej wykorzystują metodę Bayesa podczas badań II lub III fazy. 26, 27
W przyszłości metoda Bayesa prawdopodobnie odegra większą rolę w projektowaniu i analizie RCT. 18 Korzyściami, które warto w ten sposób uzyskać będzie wyeliminowanie sztywnej wartości p i rozwiązanie kilku problemów związanych z multiplikacją. Poza tym metoda Bayesa może ułatwić decydentom wyciąganie bardziej stosownych wniosków.
Uogólnianie
RCT podejmuje się na ogół w wybranych populacjach chorych i trwają one określony, zwykle krótki czas. W praktyce klinicznej badaną metodę stosuje się w bardziej zróżnicowanej populacji – często obciążonej współistniejącymi chorobami – i przez dłuższy czas. Coraz większego znaczenia nabiera pytanie, w jakim stopniu wyniki uzyskane podczas RCT wymagają potwierdzenia w innych badaniach, a także możliwość ich ekstrapolacji i uogólnienia na większą populację chorych. 28, 29 Najważniejsze zagadnienia wymieniono w tabeli 2.

Tabela 2. Czynniki wpływające niekorzystnie na uogólnianie wyników randomizowanych badań z grupą kontrolną (RCT)
Poważne obawy związane z uogólnianiem wyników badań opisywano wielokrotnie. 10 Na przykład Bartlett i wsp. przeanalizowali kryteria wykluczenia przyjęte w RCT oceniających zarówno statyny (27 badań), jak i niesteroidowe leki przeciwzapalne (NLPZ) (25 badań). 30 Stwierdzili, że w badanych grupach znalazło się zbyt mało kobiet, osób w podeszłym wieku i przedstawicieli mniejszości etnicznych w porównaniu z ogólną populacją chorych przyjmujących te leki. Podobną zbyt małą reprezentatywność pewnych podgrup obserwowano w RCT poświęconych innym metodom leczenia chorób układu sercowo-naczyniowego. 31
Ocena korzyści
Nie ma zatem pewności, że korzyści uzyskane podczas RCT w tzw. uśrednionej grupie chorych można przenieść na przeciętnych chorych w warunkach rutynowej opieki lekarskiej. Na przykład, czy niedostateczna reprezentacja w RCT pewnych podgrup chorych rzeczywiście ma istotne znaczenie? Niektórzy przypuszczają, że wyniki uzyskane podczas RCT w odrębnych populacjach chorych mogą być przeniesione na postępowanie wobec ogólnej populacji chorych, jeśli tylko inne okoliczności są jednakowe. 7, 32 Przyjmuje się, że jeśli patogeneza choroby jest we wszystkich podgrupach taka sama, można się spodziewać podobnych korzyści w większych populacjach chorych.
Problemem takiego stanowiska jest to, że potwierdza je niewielka liczba systematycznych dowodów, a kilka świadczy przeciw niemu. 29, 32 Bez wątpienia istnieją pojedyncze badania, których wyniki wykazują zgodność między korzystnym efektem, obserwowanym podczas RCT, a postępowaniem w rutynowej praktyce lekarskiej. Przykładem jest skuteczność leczenia przeciwzakrzepowego w migotaniu przedsionków niewywołanym chorobą zastawek serca. 33 Ale pozostaje niejasne, w jakim stopniu różnice między charakterystykami uczestników RCT i chorych poddawanych leczeniu w warunkach opieki standardowej rzeczywiście wpływają na oczekiwane korzyści leczenia. Autorzy grupy CONSORT przyjęli zatem, że istotą oceny powinno być potwierdzenie wyników w badaniach zewnętrznych. 7
Rycina 2. Zakres kosztów poszczególnych randomizowanych badań z grupą kontrolną (oceniających lek)
Ocena zagrożeń
O ile na ocenę skuteczności badanego postępowania (z zastrzeżeniem pewnego stopnia niepewności co do uogólniania wyników) można patrzeć z optymizmem, o tyle – jak wynika z doświadczenia – ocena bezpieczeństwa tego postępowania w większości RCT nie dostarcza całkowicie wiarygodnych dowodów. RCT mogą ujawnić najpoważniejsze zagrożenia, ale metodologia jest tu zawodna.
Podczas badań klinicznych przyjęło się, że gromadzi się i zapisuje wszystkie działania niepożądane występujące po randomizacji. Zmniejsza to szansę badacza na stronniczą interpretację przyczynowej natury wszystkich współistniejących chorób, które mogą nieuchronnie pojawić się u niektórych uczestników w trakcie badania. Do działań niepożądanych zalicza się objawy chorobowe, odchylenia od normy wykrywane podczas rutynowych badań biochemicznych (takich jak: pełna morfologia krwi, stężenia mocznika i elektrolitów, testy czynnościowe wątroby badanie ogólne moczu i inne) oraz nieprawidłowości w wynikach swoistych badań kontrolnych (np. elektrokardiogramu, echokardiografii). Działania niepożądane związane przyczynowo z ocenianym sposobem postępowania (teoretycznie) można wyłonić dzięki prostemu porównaniu grup. Pomimo powierzchownej atrakcyjności postępowanie takie rodzi kilka problemów.
RCT projektuje się w celu zyskania pewności, że moc statystyczna jest wystarczająco duża, by wykazać korzyść z zastosowania badanej metody. Obliczając tę siłę, nie zawsze jednak uwzględnia się szkodliwość metody. 34 W wyniku tego RCT może wprawdzie wykazać najczęstsze działania niepożądane, nie rozpoznaje jednak tych, które pojawiają się rzadziej lub długo pozostają w utajeniu (np. nowotwory złośliwe). Nawet jeśli badana metoda ma być wykorzystywana w leczeniu chorych przez wiele lat, oceniające ją RCT trwa zaledwie od pół roku do dwóch lat. Jeśli działania niepożądane wykrywa się na poziomie znamiennym statystycznie, łatwo je zlekceważyć, traktując raczej jako przypadkowe niż wynikające z faktycznej różnicy między grupami.
Analiza RCT pod kątem szkodliwości badanej metody leczenia przynosi też kolejny nierozwiązany problem multiplikacji. 34 Prowadzone na dużą skalę, długotrwałe badania niemal nieuchronnie dostarczą wyników o pewnej znamienności statystycznej. Rozróżnienie powikłań jatrogennych od pojawiających się w trakcie badania (lecz niezwiązanych z nim) lub od błędów losowych jest bardziej sztuką niż nauką. Jeśli są to typowe zaburzenia jatrogenne (np. reakcje anafilaktyczne, wysypka, toksyczno-rozpływna martwica naskórka), można ustalić związek przyczynowo-skutkowy. Podobnie jak wówczas, gdy działania niepożądane można wytłumaczyć biologicznie (np. rozwój raka piersi pod wpływem stosowania hormonalnej terapii zastępczej [HTZ]). Gdy nie można uznać, że przyczyną zmian są wymienione czynniki, interpretacja staje się trudniejsza. Właściwie przeprowadzone i przeanalizowane RCT z pewnością dostarcza ważnych informacji o działaniach niepożądanych. Przykładami służą RCT oceniające profilaktyczne stosowanie po zawale serca leków antyarytmicznych 1 klasy 35 lub podawanie HTZ kobietom po menopauzie. 36 Są to jednak wyjątki.

Tabela 3. Różnorodność badań obserwacyjnych
Źródła finansowania
Prowadzenie RCT wiąże się z poświęceniem znaczących sum pieniędzy, czasu i energii. Na rycinie 2 przedstawiono zakres kosztów 153 RCT zakończonych w latach 2005-2006. Dane te łączą koszty badań finansowanych przez National Institute for Health Research oraz Medical Research Council, a także wydatki ponoszone przez firmy farmaceutyczne w badaniach II i III fazy. Mediana kosztu wyniosła 3202 tys. funtów szterlingów, a wahały się one w zakresie od 1929 tys. do 6568 tys. funtów. Nie muszą to być dane wyczerpujące ani reprezentatywne dla ogółu RCT, ukazują jednak, że prowadzenie takich badań może być bardzo kosztowne. Ponadto wydaje się, że koszty te stają się coraz większe. W jednej z firm farmaceutycznych oszacowano, że średnia kwota przeznaczona na każdego z uczestników badań zwiększyła się z 6300 (w 2005 r.) do 7300 (w 2006 r.) i do 9900 funtów (w 2007 r.).
Wzrost kosztów jest spowodowany przede wszystkim zwiększeniem wymagań dotyczących nadzoru, nakładanych w ostatnich latach na prowadzących badania finansowane ze środków zarówno prywatnych, jak i publicznych. 37 Każde z nich wprowadzono w jak najlepszych intencjach. Są to: chęć uchronienia chorych przed pozbawionymi skrupułów badaczami i sponsorami, zapewnienie gromadzenia i okresowego sporządzania raportów z działań niepożądanych obserwowanych w trakcie badania, kontrolowanie dokumentacji poszczególnych chorych, by uniknąć skutków wprowadzania nieprawdziwych danych przez prowadzących badanie i inne. Ale nawet proste badania, z zastosowaniem leków stosowanych od wielu lat, sprawiają potencjalnym sponsorom i badaczom wiele biurokratycznych trudności, niezależnie od tego, czy wywodzą się oni z ośrodków akademickich, czy sektora prywatnego.
Niedawne propozycje badaczy z klinik akademickich świadczą o tym, że koszt takich badań można byłoby zmniejszyć o 40-60% bez pogorszenia ich jakości. 38 Ograniczenie biurokracji za pomocą prostych środków, takich jak elektroniczne zapisywanie danych, skrócenie formularzy dokumentacji chorych i modyfikacja postępowania wobec ośrodków badawczych, wyraźnie zmniejszyłoby koszty badań.
Badania obserwacyjne
Nazewnictwo opisujące badania obserwacyjne (bez randomizacji) jest mylące. Wystrzegam się od dzielenia ich na „kontrolowane” (z grupą kontrolną) i „niekontrolowane” (bez takiej grupy), ponieważ wszystkie badania obserwacyjne zawierają element pewnych ukrytych (nieformalnych) lub jawnych (sformalizowanych) porównań. Nie uważam też posługiwania się określeniami „badanie kohortowe” i „badania zbliżone do doświadczalnych” za właściwe. Moim zdaniem ostatnie z tych sformułowań nigdy nie zostało właściwie (ani nawet spójnie) zdefiniowane. Różnorodne typy badań obserwacyjnych, które prowadzono, i prowadzi się nadal, w celu uzyskania dowodów skuteczności lub szkodliwości metod leczenia, przedstawiono w tabeli 3.
Wielką siłą RCT jest losowe przydzielanie pacjentom sposobu leczenia, dzięki czemu wyjściowe charakterystyki są w porównywanych grupach podobne. Nie zawsze jest tak w badaniach obserwacyjnych z grupą kontrolną, gdzie istnieje realne zagrożenie stronniczością doboru i pomyłkami. 39 Istnieje na ten temat rozległa, i czasami polemiczna, literatura porównująca wady i zalety RCT i badań obserwacyjnych. 10
Próby przeprowadzenia systematycznego przeglądu opublikowanych porównań obu metod pokrzyżowały jednak dwa problemy. Pierwszym jest trudność w wyłonieniu badań mających istotne znaczenie. Ponieważ wielu badań obserwacyjnych nie odnotowano wystarczająco dobrze w bibliografiach elektronicznych baz danych, nie można zapewnić, że tradycyjne metody poszukiwań bezbłędnie je wyłonią. Wielu badaczy polega zatem na zgromadzonych przez siebie doniesieniach, własnej (lub cudzej) pamięci oraz badaniach wyodrębnionych podczas wcześniejszych systematycznych przeglądów. Niemała jest więc możliwość stronniczego podejścia osoby prowadzącej przegląd. Kolejną trudność sprawia fakt, że bardzo niewiele tych przeglądów wyróżnia rozmaite sposoby projektowania badań obserwacyjnych. 40
Powszechnie przyjmuje się, że ewidentne korzyści z leczenia można dostrzec bez konieczności prowadzenia RCT. 41, 42, 43 Mniej zgodne są opinie o roli badań obserwacyjnych w określaniu tych korzyści, jeśli są one niewielkie. 31 W porównaniu do RCT w badaniach obserwacyjnych może pojawiać się tendencja do wyolbrzymiania skutków metody terapeutycznej, choć nie zawsze tak jest. W rzeczywistości opisywano zarówno zaniżanie, jak i zawyżanie wyników. Wielkość różnic między wynikami RCT i badania obserwacyjnego może zależeć od sposobu zaprojektowania badania obserwacyjnego. 40 Sposoby analizy ograniczające wpływ tendencyjnego doboru pacjentów i innych błędów na wyniki badań obserwacyjnych opisano w innych publikacjach. 44
W niniejszym artykule omówiono bliżej dwa rodzaje badań obserwacyjnych, odgrywają one bowiem szczególną rolę w dowodzeniu korzyści i szkodliwości działań leczniczych. Pełniejszy opis innych typów, mogących również dostarczać bardzo ważnych informacji, przedstawiono w innych opracowaniach. 10
Badania z historyczną grupą kontrolną
Przykłady terapii o niekwestionowanej skuteczności, wykazanej w dawnych badaniach z historyczną grupą kontrolną, w których skuteczność nowych metod porównywano ze skutecznością wykazaną we wcześniejszych badaniach nad leczeniem danej choroby, zestawiono w tabeli 4.

Tabela 4. Niektóre metody leczenia o skuteczności ustalonej na podstawie wyników badań z historyczną grupą kontrolną
Dawniej bardzo krytykowano wykorzystywanie historycznej grupy kontrolnej. 6 W końcu lat 80. ubiegłego stulecia nastawienie badaczy do tej metody stało się jednak mniej wrogie. Narastająca epidemia AIDS skłoniła ich do uznania, że niektóre tradycyjne zasady projektowania badań klinicznych niesłusznie były zbyt sztywne. 45 Autorzy zaproponowali, by w celu potwierdzenia skuteczności nowego leku stosowanego w leczeniu chorych na AIDS wykorzystywać badania z historyczną grupą kontrolną wówczas, gdy są spełnione następujące warunki: 1) nie ma innej metody leczenia, którą można by zastosować w grupie kontrolnej; 2) wystarczająco duże doświadczenie przemawia za tym, że pozostawienie chorych bez leczenia rokuje dla wszystkich jednakowo źle; 3) należy się spodziewać, że działania niepożądane badanej metody nie będą silniejsze niż jej potencjalna korzyść dla chorego; 4) uzasadnione jest oczekiwanie, że potencjalna korzyść odnoszona przez chorego będzie wystarczająco duża, by interpretacja wyników badań nierandomizowanych stała się jednoznaczna; 5) naukowe uzasadnienie zastosowania badanej metody leczenia musi być wystarczająco mocne, by jej korzystne działanie zyskało szeroką akceptację. 45
Moim zdaniem, te wymagania wobec badań z historyczną grupą kontrolną bezwstydnie pozostają pod wpływem uwarunkowań nakreślonych przez Bradforda Hilla, odróżniających zależności przyczynowe od niezwiązanych z przyczyną w badaniach epidemiologicznych. 46 Autor uważa zatem, że badania z historyczną grupą kontrolną należy ogólnie uznać za dowód skuteczności metody, jeśli spełniają wszystkie z poniższych warunków.
Leczenie powinno mieć wiarygodne podstawy biologiczne. Dotyczy to wszystkich metod wymienionych w tabeli 4.
Nie istnieje odpowiednia metoda leczenia, której zastosowanie w grupie kontrolnej znalazłoby uzasadnienie. Termin „odpowiednia” powinien wykluczać np. wykorzystanie przeszczepienia szpiku kostnego jako metody kontrolnej dla zastępczej terapii enzymatycznej w leczeniu choroby Gauchera.
Chorobę powinien cechować określony i przewidywalny naturalny przebieg. Wolę to określenie od „złego rokowania”. Na przykład pojawienie się malformacji naczyniowych płaskich (typu port wine stain) może znacznie pogorszyć jakość życia chorych, choć nie zagraża spodziewanemu przeżyciu.
Leczenie nie powinno powodować występowania działań niepożądanych, które przekreślałoby potencjalną korzyść wynikającą z jego stosowania. Warunek ten musi być koniecznie spełniony.
Istnieje uzasadnione oczekiwanie, że wpływ leczenia będzie wystarczająco silny, by interpretacja jego skuteczności nie budziła wątpliwości. O wyraźnym skutku terapeutycznym świadczy wartość stosunku sygnału do zakłóceń wynosząca co najmniej 10. 41, 43 Wielkość tego stosunku odzwierciedla bardzo silny (tj. 10-krotny) wpływ, opiera się jednak na subiektywnej ocenie i obecnie nie jest wspierana żadnym znaczącym dowodem empirycznym.
W przyszłości pojawią się okoliczności, w których nadal będziemy musieli być przygotowani na zaakceptowanie dowodów pochodzących z badań z historyczną grupą kontrolną. Działaniami należącymi do tej kategorii mogą być np. metody leczenia całkowicie powstrzymujące postępujące zwyrodnienie neuronów w przebiegu choroby Creutzfeldta-Jakoba lub pląsawicy Huntingtona. W obu przypadkach są dostępne zarówno obiektywne, jak i subiektywne skale pozwalające na potwierdzenie (lub wykluczenie) twierdzenia, że postęp choroby został powstrzymany. Napawa optymizmem fakt, że w samej Wielkiej Brytanii, a także w innych krajach Europy i Ameryki Północnej specjalnie gromadzi się obecnie kohorty osób dotkniętych jedną z tych chorób, aby zapewnić historyczne grupy kontrolne dla przyszłych badań. 10
Badania kliniczno-kontrolne
Badania kliniczno-kontrolne (case-control studies) porównują zastosowanie określonej interwencji u chorych na daną chorobę z jej zastosowaniem u chorych bez tej choroby. Podobnie jak inne badania obserwacyjne, dostarczają one informacji o skojarzeniu obserwowanych zdarzeń z ekspozycją na daną interwencję, niekoniecznie jednak wskazują, czy istnieje zależność przyczynowo-skutkowa. Problemy wynikające z tendencyjnego doboru chorych i innych błędów odgrywają w badaniach kliniczno-kontrolnych nie mniejszą rolę niż w innych badaniach obserwacyjnych z grupą kontrolną. Można je jednak zminimalizować, starannie projektując badanie i dokładnie analizując jego wyniki. 34
Ocena korzyści
Badania kliniczno-kontrolne wykorzystuje się, choć z rozmaitymi wynikami, do potwierdzenia skuteczności metod leczenia.
W latach 80. ubiegłego stulecia wyniki wielu badań obserwacyjnych (głównie kliniczno-kontrolnych) świadczyły o tym, że długotrwałemu stosowaniu hormonalnej terapii zastępczej (HTZ) towarzyszy znaczące zmniejszenie zapadalności na chorobę niedokrwienną serca. Przeprowadzone we wczesnych latach 90. XX wieku przeglądy ilościowe ujawniły, że ryzyko względne zachorowania na tę chorobę u stosujących to leczenie, w porównaniu z niestosującymi go, może być zmniejszone nawet o 50%. 47, 48 Spostrzeżenia te sprawiły, że preparaty HTZ stały się najczęściej przepisywanymi lekami w USA. 49
Dzięki wynikom kilku dużych, dobrze przeprowadzonych RCT wiadomo obecnie, że HTZ nie wywiera korzystnego wpływu na chorobę niedokrwienną serca i może zwiększać ryzyko wystąpienia udaru mózgu. 36 Rozbieżności między rezultatami badań obserwacyjnych i RCT, dotyczącymi korzystnego wpływu HTZ, wynikają głównie z tendencyjnego doboru pacjentek. Gdyby w badaniach obserwacyjnych uwzględniano wiek, status społeczno-ekonomiczny, palenie tytoniu i czas stosowania HRT, większość głoszonych zalet terapii (choć nie wszystkie) mogłaby zniknąć już na tym etapie. 50 Za ten błąd niektóre kobiety zapłaciły bardzo wysoką cenę.
W pewnych okolicznościach badania kliniczno-kontrolne wyraźnie wskazują jednak na korzystny wpływ określonych działań. Można tu wymienić m.in. wpływ kwasu acetylosalicylowego chroniący przed wystąpieniem zawału serca, 51 zapobieganie występowaniu wad cewy nerwowej u płodu przez podawanie matkom kwasu foliowego, 52 zależność między sposobem ułożenia dziecka do snu a zespołem nagłego zgonu niemowlęcia 53 oraz ochronny wpływ NLPZ na rozwój raka jelita grubego. 54 W przyszłości konieczne będzie opracowanie metod ułatwiających zyskanie pewności, że wyniki badań obserwacyjnych, a zwłaszcza badań kliniczno-kontrolnych, dostarczają informacji wiarygodnych. 55 Mogą w tym pomóc nowsze techniki, takie jak dobór losowy Mendla. 56 Potrzeba większych nakładów, czasu i energii w poszukiwaniu właściwych metodologii, jeśli badania obserwacyjne miałyby służyć bezpieczniejszemu wykazywaniu związków przyczynowych.
Ocena szkodliwości
W przeciwieństwie do trudności w ocenie korzyści płynących z zastosowania interwencji na podstawie projektów badań kliniczno-kontrolnych, metoda ta odgrywa szczególnie ważną rolę w ujawnianiu związków przyczynowo-skutkowych między interwencją a wywoływanymi przez nią działaniami niepożądanymi. Niektóre przykłady przedstawiono w tabeli 5. Badania kliniczno-kontrolne są również przydatne w upewnianiu się, że domniemane działania niepożądane opisywane w pojedynczych doniesieniach nie stwarzają istotnego problemu. Przykładami są podejrzenie zależności między leczeniem bisfosfonianami a występowaniem migotania przedsionków 57 oraz stosowaniem sympatykomimetycznych leków rozszerzających oskrzela a zwiększeniem częstości zgonów z powodu astmy. 58
W badaniach kliniczno-kontrolnych zaprojektowanych w celu oceny szkodliwości metody również może się zdarzyć stronniczość doboru i przyjęcie niejednoznacznych wskazań do zastosowania badanej metody. Na przykład w trzech badaniach kliniczno-kontrolnych opublikowanych jednocześnie w 1974 r. sugerowano występowanie związku między wykorzystywaniem rezerpiny w leczeniu nadciśnienia tętniczego a późniejszym rozwojem raka piersi. 59, 60, 61 W późniejszych badaniach nie potwierdzono takiej zależności i obecnie wydaje się, że była ona wynikiem wykluczenia z grupy kontrolnej osób z chorobami układu sercowo-naczyniowego. 62, 63 W tym przypadku za wysnute początkowo błędne wnioski odpowiadała prawdopodobnie niewielka tendencyjność doboru (wykluczenia z udziału w badaniu).
Hierarchie dowodów
Pierwszą hierarchię dowodów opublikowano w końcu lat 70. ubiegłego wieku. 64 Następnie w piśmiennictwie pojawiło się wiele podobnych hierarchii, udoskonalonych i coraz bardziej złożonych. Przeprowadzona w 2002 r. ankieta ujawniła 40 takich systemów stopniowania, nowsza zaś, z 2006 r., wyłoniła ich o 20 więcej. 65, 66
Hierarchia przedstawiona w tabeli 1, podobnie jak inne, umiejscawia RCT na najwyższym poziomie wiarygodności, natomiast badania obserwacyjne plasują się niżej. Takie hierarchiczne uporządkowanie służy wielu autorom nie tylko w ocenie postępów medycyny opartej na dowodach i technologii wykorzystywanych w lecznictwie, ale również zaczyna odgrywać główną rolę w opracowywaniu wytycznych dla praktykujących lekarzy. Tak wysoka pozycja wyników RCT nie znajduje jednak uzasadnienia. Bradford Hill, projektant RCT, trafnie zauważył: „przekonanie, iż badania z grupą kontrolną to jedyna droga, nie oznacza, że wahadło zbyt mocno wychyliło się w jedną stronę, ale że spadło z haka”. 67
Jak już wspomniano, szczególną słabością RCT jest możliwość uogólniania ich wyników, a zwłaszcza oceny szkodliwości badanej metody leczenia. Choć wyłaniają one działania niepożądane, występujące dość często i pojawiające się wcześnie, wspomniane ograniczenia nadal są poważne. W przeciwieństwie do aktualnie głoszonych opinii, tylko badania obserwacyjne mogą dostarczyć dowodów wymaganych do oceny rzadszych i odleglejszych czasowo działań niepożądanych. 68

Tabela 5. Działania niepożądane, których występowanie potwierdzono w badaniach kliniczno-kontrolnych
Ponadto hierarchie nie mogą uwzględniać dowodów polegających na łączeniu wyników RCT i badań obserwacyjnych. Połączenie dowodów pochodzących z badań przeprowadzonych według różnych metodologii wykorzystuje się w modelach decyzyjno-analitycznych, podobnie jak w coraz częściej wykorzystywanych teleoanalizach [metoda statystyczna pozwalająca porównywać interwencje, które oceniano wg różnych metodologii – przyp. red.] i badaniach preferencji chorych. 68, 69, 70, 71
Między poszczególnymi hierarchiami występują też sprzeczności świadczące o ich niedoskonałej naturze. Należy do nich przypisywanie różnej wartości metaanalizom. Niektóre z hierarchii plasują je bowiem powyżej dużych RCT o wysokiej jakości, inne natomiast ignorują je. Różne hierarchie nie są też spójne w nadawaniu wagi badaniom obserwacyjnym: niektóre przedkładają badania kohortowe nad kliniczno-kontrolne, inne traktują je na równi, a jeszcze inne odwracają ich kolejność.
Hierarchiami próbuje się zastąpić osądy przyjmowane na podstawie nadmiernie uproszczonyego, pseudoilościowego określania jakości dowodów. Formułując wnioski, decydenci – jako część swojej oceny wyników badań – muszą wyrobić sobie własny osąd na temat jakości pochodzących z nich dowodów. 5 Na te osądy wpływa stopień, w jakim każdy z dowodów jest adekwatny do danej sytuacji. Czy wyniki są wiarygodne? Czy można je uogólnić? Czy korzyści powodowane przez metodę są większe niż jej szkodliwość? – itd.
Podsumowanie
Badania doświadczalne, obserwacje i obliczenia – razem i każde z osobna – odgrywają zasadniczą rolę w dostarczaniu dowodów, na których opierają się współczesne metody leczenia. Argumenty przemawiające za względną przewagą którejś z tych metod wprowadzają nikomu niepotrzebne zamieszanie. Hierarchie dowodów należy zastąpić akceptacją różnorodności komplementarnych metod badawczych. Nie oznacza to, że należy zaprzestać prowadzenia RCT i zastąpić je badaniami obserwacyjnymi. Nie można przyjąć, że zastosowanie metody Bayesa w projektowaniu oraz analizowaniu badań doświadczalnych i klinicznych może zastąpić wszystkie inne metody statystyczne. Dla naukowców jest ona raczej pretekstem do rozwijania i udoskonalania metodologii, a podejmującym decyzje pozwala uniknąć przywiązywania się do zbyt wąskiego rozumienia wiarygodności dowodów, jednym i drugim zaś uświadamia, że wszystkie dowody należy interpretować rozsądnie. Tym, którzy uporczywie wątpią w wiarygodność niektórych dowodów, przypominam, że gdy Grzegorz Mendel (1822-84) opracował jednogenową teorię dziedziczenia na podstawie badań doświadczalnych, Karol Darwin (1809-82) stworzył teorię ewolucji w wyniku wnikliwych obserwacji, a szczególna teoria względności Alberta Einsteina (1879-1955) była matematycznym opisem pewnych zdarzeń zachodzących w otaczającym nas świecie. Odkrycie krążenia krwi przez Williama Harveya, opisane w „De Motu Cordis”, opierało się na eleganckiej syntezie wszystkich trzech rodzajów dowodów.
Podziękowania
Wielu przyjaciół i kolegów wspaniałomyślnie poświęciło swój czas, by dostarczyć mi informacje i inspirację, a także zapoznać się z różnymi szkicami tego doniesienia. Swą wartość zawdzięcza ono w dużej mierze wkładowi włożonemu przez nich wszystkich i każdego z osobna. Są to: Jeffrey Aronson (University of Oxford), Deborah Ashby (Queen Mary, University of London), Patricia Beaujouan (Sanofi-Aventis), David
Brickwood (Johnson and Johnson), Kalipso Chalkodou (National Institute of Health and Clinical Excellence), Iain Chalmers (James Lind Library), Stephen Evans (London School of Hygiene and Tropical Medicine), Kent Johnson (University of Newcastle, New South Wales, Australia), David Jones (University of Leicester), Jeremy Paterson (University of Newcastle upon Tyne), Stephen Pearson (Institute for Clinical and Economic Review, Massachusetts General Hospital i Harvard Medical School, USA), Patrick Valance (GlaxoSmithKline), Nancy Wexler (Columbia University i Hereditary Disease Foundation, USA), Alice Wexler (University of California, Los Angeles i Hereditary Disease Foundation, USA) oraz Tony Whitehead (Sanofi-Aventis). Niemniej jednak autor jako jedyny przyjmuje odpowiedzialność za wszelkie błędy spowodowane nieuzasadnionym pominięciem lub uwzględnieniem istniejących dowodów.
Pełny tekst wykładu jest również dostępny w formie broszury wydanej przez Publications Departament of the Royal College of Physicians. Wykład opublikowało też czasopismo „The Lancet”.
- 1. Shapin S. The scientific revolution. Chicago and London: University of Chicago Press, 1996.
- 2. Gower B. Scientific method: an historical and philosophical introduction. London and New York: Routledge, 1997.
- 3. Harbour R, Miller J. A new system for grading recommendations in evidence based guidelines. BMJ 2001;323:334-6.
- 4. Jadad AR, Enkin MW. Randomized controlled trials, 2nd edn. London: BMJ Books, 2007.
- 5. Rawlins MD, Culyer AJ. National Institute for Clinical Excellence and its value judgments. BMJ 2004;329:224-7.
- 6. Pocock SJ. Clinical trials: a practical approach. Chichester: John Wiley & Sons, 1983.
- 7. Altman DG, Schulz KF, Egger M et al. The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med 2001;134:663-94.
- 8. Moher D, Schulz KF, Altman DG. The CONSORT Statement: revised recommendations for improving the quality of reports of parallelgroup randomized trials. Ann Intern Med 2001;134:657-62.
- 9. Clarke M, Hopewell S, Chalmers I. Reports of clinical trials should begin and end with up-to-date systematic reviews of other relevant evidence: a status report. J R Soc Med 2007;100:187-90.
- 10. Rawlins MD. De Testimonio: on the evidence for decisions about the use of therapeutic interventions. London: Royal College of Physicians, 2008.
- 11. Rothman K. No adjustments are needed for multiple comparisons. Epidemiology 1990;1:43-6.
- 12. Schulz KF, Grimes DA. Multiplicity in randomised trials II: subgroups and interim analyses. Lancet 2005;365:1657-61.
- 13. Montori VM, Devereaux PJ, Adhikari NKJ et al. Randomised trials stopped early for benefit: a systematic review. JAMA 2005;294:2203-9.
- 14. Armitage P, Berry G, Matthews JNS. Statistical methods in medical research, 4th edn. Oxford: Blackwell, 2002.
- 15. Pocock SJ. When not to stop clinical trials for benefit. JAMA 2005;294: 2228-30.
- 16. Pocock SJ, Lubsen J. More on subgroup analyses. N Engl J Med 2008;358:2076.
- 17. Wang R, Lagakos SW, Ware J, Hunter DJ, Drazen JM. Statistics in medicine – reporting of subgroup analyses in clinical trials. N Engl J Med 2007;357:2189-94.
- 18. Ashby D. Bayesian statistics in medicine: a 25 year review. Stat Med 2006;25:3589-3631.
- 19. Spiegelhalter DJ, Freedman LS, Parmar MKB. Bayesian approaches to randomised trials. J R Stat Soc A 1994;157:357-416.
- 20. Spiegelhalter DJ, Myles JP, Jones DR, Abrams KR. Bayesian methods in health technology assessment: a review. Health Technol Assess 2000; 4:1-30.
- 21. Feasability, safety, and efficacy of domiciliary thrombolysis by general practitioners: Grampian region early anistreplase trial. BMJ 1992;305: 548-53.
- 22. Pocock SJ, Speigelhalter DJ. Grampian region early anastroplase trial. BMJ 1992;305:1015.
- 23. Bland JM, Altman DG. Bayesians and frequentists. BMJ 1998;317:1151.
- 24. Berry D, Goodman SN, Louis TA, Temple R. Introduction to Bayesian methods: floor discussion. Clin Trials 2005;2:301-4.
- 25. Food and Drug Administration. Guidance for the use of Bayesian statistics in medical device trials. Draft guidance. Bethesda: US Department of Health and Human Services, Food and Drug Administration, 2006.
- 26. Berry DA. Introduction to Bayesian methods III: use and interpretation of Bayesian tools in design and analysis. Clin Trials 2005;2;295-300.
- 27. Grieve AP. 25 years of Bayesian methods in the pharmaceutical industry: a personal, statistical bummel. Pharm Stat 2007;6:261-81.
- 28. Black N. Why we need observational studies to evaluate the effectiveness of health care. BMJ 1996;312:1215-8.
- 29. Rothwell PM. External validity of randomised controlled trials: ‘To whom do the benefits apply?’ Lancet 2005;365:82-93.
- 30. Bartlett C, Doyal L, Ebrahim S et al. The causes and effects of sociodemographic exclusions from clinical trials. Health Technol Assess 2005;9:1-152.
- 31. Heiat A, Gross CP, Krumhplz HM. Representation of the elderly. Women, and minorities in heart failure trials. Arch Intern Med 2002;162:1682-8.
- 32. McAlister FA. Applying the results of systematic reviews at the bedside. In: Egger M, Davey Smith G, Altman DG (eds), Systematic reviews in health care: meta-analysis in context. London: BMJ Books, 2001.
- 33. Kalra L, Yu G, Perez I, Lakhani A, Donaldson N. Prospective cohort study to determine if trial efficacy of anticoagulation for stoke prevention in atrial fibrillation translates into clinical effectiveness. BMJ 2000;320:1236-9.
- 34. Evans SJW. Statistics: analysis and presentation of safety data. In: Talbot J, Waller P (eds). Stephen’s detection of new adverse reactions, 5th edn. Chichester: John Wiley & Sons, 2004.
- 35. Teo KK, Yusuf S, Furberg CD. Effects of prophylactic antiarrhythmic drug therapy in acute myocardial infarction. JAMA 1993;270:1589-95.
- 36. Beral V, Banks E, Reeves G. Evidence from randomised trials on the long-term effects of hormone replacement therapy. Lancet 2002;360: 942-4.
- 37. Califf RM. Clinical trials bureaucracy: unintended consequences of well-intentioned policy. Clin Trials 2006;3:496-502.
- 38. Eisenstein EL, Collins R, Cracknell BS et al. Sensible approaches for reducing clinical trial costs. Clin Trials 2008;5:75-84.
- 39. Rochon PA, Gurwitz JH, Sykora K et al. Readers guide to critical appraisal of cohort studies: 1. Role and design. BMJ 2005;330:895-7.
- 40. Ioannidis JPA, Haidich A-B, Pappa M et al. Comparison of evidence of treatment effects in randomised and non-randomised studies. JAMA 2001;286:821-30.
- 41. Doll R, Peto R. Randomised controlled trials and retrospective controls. BMJ 1980;280:44.
- 42. MacMahon S, Collins R. Reliable assessment of the effects of treatment on mortality and major morbidity, II: observational studies. Lancet 2001;357:455-62.
- 43. Glasziou P, Chalmers I, Rawlins M, McCulloch P. When are randomised trials unnecessary? Picking signal from noise. BMJ 2007; 334:349-51.
- 44. Normand S-LT, Sykora K, Li P et al. Readers guide to critical appraisal of cohort studies: 3. Analytical strategies to reduce confounding. BMJ 2005;330:1021-3.
- 45. Byar DP, Schoenfield DA, Green SB et al. Design considerations for AIDS trials. N Engl J Med 1990;323:1343-8.
- 46. Hill AB. The environment and disease: association or causation? Proc R Soc Med 1965;58:295-300.
- 47. Grady D, Rubin SM, Pettiti DB et al. Hormone therapy to prevent disease and prolong life in postmenopausal women. Ann Intern Med 1992;117:1016-37.
- 48. Stampfer MJ, Colditz GA. Estrogen replacement therapy and coronary heart disease: a quantitative assessment of the epidemiological evidence. Prev Med 1991;20:47-63.
- 49. Herrington DM. Hormone replacement therapy and heart disease. Replacing dogma with data. Circulation 2003;107:2-4.
- 50. Petitti DB, Freedman DA. How far can epidemiologists get with statistical adjustment. Am J Epidemiol 2005;162:415-8.
- 51. Boston Collaborative Drug Surveillance Group. Regular aspirin intake and acute myocardial infarction. BMJ 1874;i:440-3.
- 52. Smithells RW, Nevin NC, Seller MJ et al. Further experience of neural tube supplementation for prevention of neural tube defects. Lancet 1983;i:1027-39.
- 53. Gilbert R, Salanti G, Harden M, See S. Infant sleeping position and sudden infant death syndrome: systematic review of observational studies and historical review of recommendations from 1940 to 2002. Int J Epidemiol 2005;34:874-87.
- 54. Rostom A, Dubé C, Lewin G et al. Nonsteroidal anti-inflammatory drugs and cyclooxygenase-2 inhibitors for the primary prevention of colorectal cancer: a systematic review prepared for the US Preventive Services Task Force. Ann Intern Med 2007;146:376-89.
- 55. Academy of Medical Sciences. Identifying the environmental causes of diseases: how should we decide what to believe and when to take action. London: Academy of Medical Sciences, 2007.
- 56. Davey Smith G, Ebrahim S. Mendelian randomization: prospects, potentials, and limitations. Int J Epidemiol 2004;33:30-42.
- 57. Sørensen HT, Christensen S, Mehnert F et al. Use of biphosphonates among women and risk of atrial fibrillation and flutter: population based case-control study. BMJ 2008;336:813-6.
- 58. Anderson HR, Ayres JG, Sturdy PM et al. Bronchodilator treatment and deaths from asthma: case-control study. BMJ 2005;330:117-24.
- 59. Boston Collaborative Drug Surveillance Program. Reserpine and breast cancer. Lancet 1974;2:669-71.
- 60. Armstrong B, Skegg D, White G, Doll R. Rauwolfia derivatives and breast cancer in hypertensive women. Lancet 1976;2:8-12.
- 61. Heinonen OP, Shapiro S, Tuominen L, Turunen MI. Reserpine use in relation to breast cancer. Lancet 1974;2:675-7.
- 62. Grossman E, Messerli FH, Goldbourt U. Antihypertensive therapy and the risk of malignancies. Eur Heart J 2001;22:1343-52.
- 63. Horwitz RI, Feinstein AR. Exclusion bias and the false relationship of reserpine and breast cancer. Arch Intern Med 1985;145:1873-5.
- 64. Canadian Task Force on the Periodic Health Examination. The periodic health examination. CMAJ 1979;121:1193-254.
- 65. Agency for Healthcare Research and Quality. Systems to rate the strength of scientific evidence. Rockville, MD: AHRQ, 2002.
- 66. Schünemann HJ, Fretheim A, Oxman AD. Improving the use of research evidence in guideline development: 9. Grading evidence and recommendations. Health Res Policy Syst 2006;4:21.
- 67. Hill AB. Heberden Oration 1965: reflections on the controlled trial. Ann Rheum Dis 1966;25:107-13.
- 68. Freemantle N, Irs A. Observational evidence for determining drug safety. BMJ 2008;338:627-8.
- 69. Weinstein MC, O’Brien B, Hornberger J et al. Principles of good practice for decision analytic modeling in health-care evaluation: report of the ISPO Task Force on Good Research Practices - Modeling Studies. Value Health 2003;6:9-17.
- 70. Wald NJ, Morris JK. Teleoanalysis: combining data from different types of study. BMJ 2003;327:616-8.
- 71. King M, Nazareth I, Lampe F et al. Impact of participant and physician intervention preferences on randomised trials. JAMA 2005; 293:1089-99.