Istnieje tajny świat, o którym prawdopodobnie nigdy nie słyszałeś. Znajduje się pod każdym stwierdzeniem, które kiedykolwiek przeczytałeś, w każdym nagłówku, który brzmi „nauka!” kiedy przechodziłeś obok ciebie. Ten świat jest powodem, dla którego zostałeś zaszczepiony, dlaczego bierzesz ibuprofen z powodu bólu i stanów zapalnych, a nawet dlaczego nie możesz dostać tabletek antykoncepcyjnych bez recepty w większości krajów.

Mówię oczywiście o świecie statystyki.

Statystyki Google dotyczące statystyki: najlepszy nerdfest.

Statystyki studiowania

Wyobraź sobie, że prowadzisz badania nad utratą masy ciała. Masz, powiedzmy, trzy grupy ludzi: 1, 2 i 3. Grupa 1 bierze narkotyki. Grupa 2 ma interwencję stylu życia. Grupa 3 to kontrola placebo - nic nie robią. Pod koniec badania masz setki, a nawet tysiące liczb. Można je dość łatwo porównać - spojrzeć na środki i mediany - ale wszystko to naprawdę mówi, że istnieją pewne różnice. Mogą być nieważne; mogą być przypadkiem. Co by było, gdybyś miał jedną osobę w Grupie 2, która zaczęła przy 400 kilogramach i straciła 300, ale reszta ludzi faktycznie zyskała kilka kilogramów? Prawdopodobnie miałbyś ogólną utratę wagi, ale tak naprawdę interwencja w stylu życia działa tylko dla jednego faceta.

Wprowadź statystyki.

To, co statystyki zasadniczo pozwalają ci robić w medycynie, to porównywanie wyników z różnych grup i stwierdzenie, czy zmiana jest prawdopodobna z powodu eksperymentu, czy tylko przypadkiem. Ponownie porównujesz swoje trzy grupy ludzi i okazuje się, że chociaż Grupa 2 średnio straciła na wadze, nie było to statystycznie istotne, ponieważ było to spowodowane tym jednym facetem i jego ogromnym wysiłkiem.

Okazuje się, że nowa „dieta czekoladowa” nie jest tak skuteczna, jak początkowo sądziliśmy.

Teraz użyłem bardzo ważnej frazy: istotnej statystycznie. Jest to w zasadzie poprzeczka, którą ustaliliśmy dla wyników badań. Jeśli przekroczą poprzeczkę, uważa się je za najprawdopodobniej z powodu rzeczy, którą badasz - w tym przypadku leku lub interwencji stylu życia. Zasadniczo, że leczenie zadziałało.

Jeśli nie dotrą do paska, mówimy, że wszelkie wyniki, które widzieliśmy, są prawdopodobnie spowodowane przypadkiem, a leczenie nie zadziałało.

To dość ważny bar.

I będziesz zaskoczony, że usłyszysz, jest to całkowicie arbitralne.

Co jest znaczące?

Kiedy przeprowadzamy test statystyczny, zwykle wychodzimy z tak zwaną wartością prawdopodobieństwa lub wartością p. Jest to liczba od zera do jeden, która wskazuje, jak prawdopodobne jest, że wynik, który zaobserwowaliśmy w naszym eksperymencie, był przypadkowy. Wysoka wartość p oznacza, że ​​każda różnica między grupami była prawdopodobnie przypadkiem; niska wartość p oznacza, że ​​możemy być przy czymś. Zwykle wartość p poniżej 0,05 oznacza, że ​​wyniki są statystycznie znaczące.

Innymi słowy, 0,05 to pasek, o którym mówiłem wcześniej.

W tym barze nie ma drinków, tylko mieszane metafory i smutek.

Problem polega jednak na tym, że 0,05 jest liczbą całkowicie dowolną. Można powiedzieć, że 0,04 lub 0,06 - to naprawdę nie ma znaczenia. Pamiętaj: to tylko miara prawdopodobieństwa, że ​​wyniki były przypadkowe.

Jeśli powiem, że coś jest statystycznie istotne, mówię, że wszelkie różnice między grupami w moim badaniu prawdopodobnie nie były spowodowane przypadkiem. Jest tam efekt.

Powiedzmy, że wykonuję eksperyment i znajduję statystycznie istotną różnicę między Grupą 1 a Grupą 3, przy czym Grupa 1 traci 100 gramów więcej masy w ciągu sześciu miesięcy eksperymentu. Nasza wartość p jest zadziwiająco niska i wynosi 0,000001.

Brzmi jak dobra wiadomość, prawda?

Znaczenie kliniczne

Zdaliśmy więc pierwszy test: wiemy, że zauważalna różnica jest prawdopodobnie spowodowana podawaniem leku przez grupę 1. Test statystyczny tak mówi!

Ale to nie jedyny rodzaj znaczenia.

Istotność statystyczna dotyczy tego, czy jedna rzecz spowodowała inną. Znaczenie kliniczne dotyczy tego, czy nam zależy. Czy to ważne, czy uda nam się doprowadzić niektórych ludzi do utraty 100 gramów wagi? Czy warto zażywać lek przez następne kilka miesięcy, lata, a nawet przez resztę życia?

Co jeśli powiem ci, że powoduje to również migreny, nudności i niepokój egzystencjalny?

Tak więc, jeśli powiem, że mój nowy lek jest klinicznie istotny, to tak naprawdę mówię, że myślę, że korzyści, które przynosi, przeważają nad skutkami ubocznymi. Mówię, że to zmienia twoje zdrowie na tyle, że lekarz może być zainteresowany przepisaniem go, a ty możesz chcieć użyć go do leczenia.

W rzeczywistości znaczenie kliniczne jest jedynym, na którym nam zależy.

Jednym świetnym przykładem jest różnica między mózgiem mężczyzn i kobiet. Ogromne badanie wykazało ostatnio statystyczną różnicę między działaniem mózgów mężczyzn w porównaniu z kobietami w kilku kluczowych regionach. Stwierdzili jednak również, że podobieństwa przeważają nad różnicami i że ostatecznie nie było klinicznej różnicy między kobietami i mężczyznami.

Nieistotne znaczenie.

Chodzi o to, że możesz zrobić badanie i znaleźć różnice statystyczne, ale jeśli nie wiesz, czy różnice te są klinicznie znaczące, wszystko, co robisz, to gra liczbami. Badacze w tym badaniu nie mogli odróżnić mózgu mężczyzny od mózgu kobiety, chyba że wcześniej wiedzieli, który jest który, ponieważ statystycznie istotne różnice w aktywności nie przełożyły się na coś, co mogliby faktycznie wykorzystać w swojej pracy.

Ale kiedy czytasz artykuł o artykule naukowym, nigdy nie usłyszysz o niuansie znaczenia klinicznego. Pamiętasz te wszystkie przerażające historie o ibuprofenie i atakach serca? Istnieje faktycznie znany statystycznie istotny związek między przyjmowaniem ibuprofenu a zawałem serca. Jedynym problemem jest to, że dla większości z nas wzrost ryzyka jest bardzo niewielki - statystycznie istotny, ale nieistotny klinicznie.

Jest też odwrotnie: istnieje statystycznie istotny związek między umiarkowanym piciem a nie umieraniem. Jedyny problem polega na tym, że różnica jest niewielka i prawdopodobnie wynika z innych czynników, więc nie ma powodu, aby codziennie zamieniać kieliszek wina.

Prawie każdy artykuł, który kiedykolwiek czytałeś o nauce, cytuje statystyki, jakby coś znaczyły.

Zbyt często nie.

Znaczenie plamienia

Trudno wiedzieć, co się liczy, jeśli chodzi o studia. Znaczenie kliniczne jest czymś, co często wymaga wykształcenia medycznego i lat szkolenia, aby właściwie zrozumieć.

Ale jest kilka rzeczy, na które możesz uważać.

Jeśli bezwzględny rozmiar efektu jest niewielki, chyba że jest to naprawdę poważne zdarzenie (takie jak śmierć), szanse na to, że znaczenie kliniczne jest ograniczone. Jeśli wynik, o którym mówią ludzie, jest tylko stycznie związany z faktycznym stanem zdrowia - na przykład ilością zjedzonych lodów - istnieje duża szansa, że ​​wyniki tak naprawdę niewiele mówią o twoim życiu.

Jeśli naprawdę się martwisz, idź do lekarza. Jest powód, dla którego prawie dekada wymaga pełnej kwalifikacji.

Czasami te rzeczy po prostu nie są takie proste.