Testowanie hipotez

Prosty i krótki samouczek na temat testowania hipotez za pomocą Pythona

Zdjęcie z: http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

Na tym blogu przedstawię krótki samouczek dotyczący testowania hipotez przy użyciu metod statystycznych w języku Python. Testowanie hipotez jest częścią znanej nam metody naukowej, czego prawdopodobnie nauczyliśmy się w pierwszych latach edukacji. Jednak w statystykach wiele eksperymentów wykonuje się na próbie populacji.

„Ustalenie, co przykładowy zestaw obserwacji mówi nam o proponowanym wyjaśnieniu, ogólnie wymaga od nas wnioskowania, lub, jak to nazywają statystycy, uzasadnienia z niepewnością. Rozumowanie z niepewnością jest rdzeniem wnioskowania statystycznego i zwykle odbywa się przy użyciu metody zwanej testowaniem istotności hipotezy zerowej. ” - Piekarniki.

Jako przykład tego bloga wykorzystam zestaw European Soccer Data znaleziony na Kaggle i przeprowadzę test hipotez. Zestaw danych można znaleźć tutaj.

Krok 1

Dokonaj obserwacji

Pierwszym krokiem jest obserwacja zjawisk. W takim przypadku będzie to: Czy istnieje wpływ agresji obronnej na średnią dozwoloną liczbę bramek?

Krok 2

Sprawdź badanie

Dobrym sposobem myślenia jest praca mądrzejsza niż trudniejsza. Jedną dobrą rzeczą jest sprawdzenie, czy badania dotyczące Twojej obserwacji już istnieją. Jeśli tak, może pomóc w udzieleniu odpowiedzi na nasze pytanie. Świadomość już istniejących badań lub eksperymentów pomoże nam lepiej ustrukturyzować nasz eksperyment, a może nawet odpowiedzieć na nasze pytanie i nie będzie musiał przeprowadzać eksperymentu w pierwszej kolejności.

Krok 3

Stwórz hipotezę zerową i hipotezę alternatywną

Alternatywną hipotezą jest nasze wykształcone przypuszczenie, a hipoteza zerowa jest po prostu przeciwieństwem. Jeśli hipoteza alternatywna stwierdza istnienie istotnej zależności między dwiema zmiennymi, hipoteza zerowa stwierdza, że ​​nie ma istotnej zależności.

Nasza hipoteza zerowa będzie następująca: Nie ma statystycznej różnicy w bramkach dozwolonych w przypadku drużyn o wskaźniku agresji w obronie większej lub równej 65 w porównaniu z drużynami poniżej 65.

Alternatywna hipoteza: Istnieje statystyczna różnica w dozwolonych bramkach dla drużyn o wskaźniku agresji obronnej większej lub równej 65 w porównaniu z drużynami poniżej 65.

Krok 4

Ustal, czy nasza hipoteza jest testem jednostronnym, czy dwustronnym.

Test jednostronny

„Jeśli używasz poziomu istotności 0,05, jednostronny test pozwala całej twojej alfa przetestować istotność statystyczną w jednym kierunku zainteresowania.” Przykładem jednostronnego testu może być: „Drużyny piłkarskie z oceną agresji niższą niż 65 dopuszczają statystycznie znacznie więcej bramek niż drużyny z oceną poniżej 65”.

Test dwustronny

„Jeśli używasz poziomu istotności 0,05, dwustronny test pozwala połowie alfa przetestować istotność statystyczną w jednym kierunku, a połowa alfa przetestować istotność statystyczną w drugim kierunku. Oznacza to, że 0,025 znajduje się w każdym ogonie rozkładu statystyk testowych. ”

Za pomocą testu dwustronnego testujesz istotność statystyczną w obu kierunkach. W naszym przypadku testujemy istotność statystyczną w obu kierunkach.

Krok 5

Ustaw próg istotności poziomu (alfa)

(wartość alfa): próg krańcowy, przy którym nie mamy nic przeciwko odrzuceniu hipotezy zerowej. Wartość alfa może być dowolną wartością, którą ustawiamy między 0 a 1. Jednak najczęstszą wartością alfa w nauce jest 0,05. Wartość alfa ustawiona na 0,05 oznacza, że ​​nie mamy nic przeciwko odrzuceniu hipotezy zerowej, nawet jeśli istnieje 5% lub mniej szans, że wyniki są wynikiem losowości.

Wartość p: Obliczone prawdopodobieństwo przypadkowego dotarcia do tych danych.

Jeśli obliczymy wartość p i wyniesie ona 0,03, możemy zinterpretować to jako powiedzenie „Istnieje 3% szansy, że wyniki, które widzę, są spowodowane przypadkowością lub czystym szczęściem”.

Zdjęcie z Learn.co

Naszym celem jest obliczenie wartości p i porównanie jej z naszą wartością alfa. Im niższa wartość alfa, tym bardziej rygorystyczny jest test.

Krok 6

Wykonaj próbkowanie

Tutaj mamy nasz zestaw danych o nazwie piłka nożna. Do naszego testu potrzebujemy tylko dwóch kolumn w naszym zestawie danych: team_def_aggr_rating i goal_allowed. Przefiltrujemy to do tych dwóch kolumn, a następnie utworzymy dwa podzbiory dla drużyn z oceną agresji obronnej wyższą lub równą 65 i drużyn z oceną agresji obronnej poniżej 65.

Podsumowując dla naszego testu hipotez:

Wpływ agresji obronnej na średnie dozwolone bramki. Hipoteza zerowa: Nie ma statystycznej różnicy w bramkach dozwolonych w drużynach z oceną agresji obronnej wyższą lub równą 65 w porównaniu z drużynami poniżej 65. Hipoteza alternatywna: Istnieje statystyczna różnica w bramkach w drużynach z oceną agresji obronnej wyższą 65 lub więcej w stosunku do drużyn poniżej 65. Dwustronna alfa testowa: 0,05

Teraz mamy dwie listy próbek, na których możemy przeprowadzić testy statystyczne. Przed tym krokiem nakreślę dwie dystrybucje, aby uzyskać wizualizację.

Krok 7

Wykonaj test T dwóch próbek

Test t dla dwóch próbek służy do ustalenia, czy dwie średnie populacji są równe. W tym celu użyjemy modułu Python o nazwie statsmodels. Nie będę szczegółowo omawiał modeli, ale dokumentację można znaleźć tutaj.

Krok 8

Oceń i zakończ

Przypomnijmy, że ustalona przez nas wartość alfa wynosiła 0,05. Jak widać z naszych wyników testu, wartość p jest mniejsza niż nasza alfa. Możemy odrzucić naszą hipotezę zerową iz 95% pewnością przyjąć naszą alternatywną hipotezę.

Dziękuję za przeczytanie! Aby uzyskać bardziej szczegółowe informacje na temat testowania hipotez, możesz sprawdzić ten projekt grupowy na GitHub, w którym brałem udział w testowaniu hipotez tutaj.

Zasoby:

Piekarniki, Matthew. „Statystyka i„ metoda naukowa ”Źródło: YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Wprowadzenie do SAS. UCLA: Statistics Consulting Group. z https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (dostęp maja 16, 2019).

Podręcznik statystyk technicznych. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm