Skip to content

Poziom istotności a siła efektu

Decyzja o przyjęciu lub odrzuceniu hipotezy zerowej w badaniach najczęściej podejmowana jest na podstawie wartości poziomu istotności. Wynik p poniżej przyjętego kryterium Alfa wywołuje uśmiech na twarzach badaczy i zadowolenie z wykonanych badań. Zdarza się także, że do generalizacji wniosków dochodzi jedynie na podstawie osiągniętego wyniku p w badanej próbie. 

 

Wartość p w ocenie istotności

Wynik istotny (czyli mniejszy od przyjętego poziomu Alfa) oznacza, że uzyskanie przez przypadek wyniku otrzymanego w próbie jest mało prawdopodobne wtedy, gdy H0 jest prawdziwa. Efektem tego uzyskanie w badaniach niskich wartości p (p < 0,05; p < 0,01; p < 0,001) prowadzić będzie do odrzucenia H0 i przyjęcia stawianej w badaniach hipotezy alternatywnej.

Wartość p jest „prawdopodobieństwem uzyskania w próbie takiej średniej, która w danym lub jeszcze większym stopniu będzie odchylona od wartości X, która w rzeczywistości zostałaby otrzymana, gdyby H0 była prawdziwa1. Małe prawdopodobieństwo czyli mały wynik p oznacza, że ciężko otrzymać w próbie takie wartości jak podaje H0 (więc mamy dowód by H0 uznać za fałszywą i ją odrzucić).

W przykładzie, jeżeli H0 mówi, że wynik z próby jest równy 65. Uzyskując wartość p = 0,01 mamy prawdopodobieństwo 1% (1/100), że utrzymany wynik z próby będzie równy 65. Skoro to tylko 1% trzeba uznać, że H0 kłamie, jest fałszywa. Gdyby p = 0,759, wniosek brzmiałby, że istnieje aż 76% na to, że otrzymany wynik w próbie jest równy 65. To już całkiem sporo i w takim przypadku ciężko odrzucić H0 – nie mamy do tego podstaw.

Poziom Alfa

Przyjęty przez badacza poziom, poniżej którego, uzna wynik za istotny. Najczęściej jest to Alfa = 0,05. Ale zdarzają się bardziej restrykcyjne jak Alfa = 0,01 lub Alfa = 0,001.

Wartość p

Wynik prawdopodobieństwa otrzymania wyniku z próby odchylanego od X, który otrzymalibyśmy kiedy hipoteza zerowa jest prawdziwa.

Istotność wyniku

Uznaniowa decyzja, czy dany wynik p można uznać za istotny. Podejmuje się ją na podstawie przyjętego poziomu Alfa. Wynik p mniejszy niż przyjęty poziom Alfa będzie istotny.

Mimo, że poziom istotności jest bardzo ważnym elementem oceny mocy danego testu jak i oceny uzyskanych wyników w badaniu, nie jest on zawsze wystarczający do podjęcia decyzji o odrzuceniu bądź przyjęciu hipotezy. Poleganie jedynie na samej tylko wartości wyniku p może prowadzić do błędnych wniosków. 

Odszukując w tablicach statystycznych wartości p dla konkretnego testu musimy znać wynik tego testu oraz liczbę stopni swobody. Taka sama wartość testu dla różnych stopni swobody będzie charakteryzowała się różnym wynikiem wartości p. Na liczbę stopni swobody w bezpośredni sposób składać się będzie liczba przebadanych osób, liczba obserwacji. W konsekwencji na wynik istotności danego testu będzie wpływać liczebność próby. Dojść można do wniosku, że zwiększając liczbę osób w badaniu zwiększamy prawdopodobieństwo odrzucenia hipotezy zerowej i przyjęcia hipotezy alternatywnej. Właśnie dlatego zbyt duże zaufanie jedynie dla samej wartości p może prowadzić do pewnych nadużyć. W bardzo dużej próbie badanych osób nawet niewielkie różnice mogą okazać się istotne, jedynie z powodu ilości przebadanych osób. W mniejszej próbie taki sam nawet wynik testu okazałby się bowiem już nieistotny.

 

Siła efektu

By uniknąć błędów przy odrzuceniu hipotezy zerowej oraz przy generalizacji wniosków oprócz samej wartości p, należy także wykazać inne miary określone siłami efektu. Wielkość efektu jest bowiem oszacowaniem stopnia, w jakim efekt oddziaływania jest obecny w populacji, wyrażony jako liczba uwolniona już od zastosowanej jednostki pomiaru, ale także niezależny jest od stopni swobody czyli niezależny od liczby przebadanych osób. Pokazanie takiej miary, która niezależna jest od liczby zbadanych osób, od zastosowanego pomiaru, czyli od narzędzia jakie zostało w badaniu wykorzystane, szczególnie ważne jest w metaanalizach, które łączą, agregują wyniki z różnych badań, z różnych krajów, w których każdy badacz mógł przebadać różną liczbę osób różnymi narzędziami. Tylko wykazanie wielkości efektu jest w obiektywny sposób daje możliwość by porównać wyniki takich badań w metaanalizie.

Różne testy statystyczne charakteryzować się będą różnymi wielkościami siły efektu jakie powinniśmy dla nie wyliczyć. Niżej w tabeli zostały zebrane najważniejsze, najczęściej wykorzystywane testy statystyczne wraz z odpowiadającymi im siłami efektu.

Test statystyczny

Siła efektu

Interpretacja

Test T Studenta dla danych niezależnych

d Cohena

0,2 – słaby efekt

0,5 – przeciętny efekt

0,8 – silny efekt

g Hedgesa

Delta Glassa

Test T Studenta dla danych zależnych

d Cohena

0,2 – słaby efekt

0,5 – przeciętny efekt

0,8 – silny efekt

U Manna-Whitney’a

rg – współczynnik korelacji dwuseryjnej Glassa

0,1 – słaby efekt

0,3 – przeciętny efekt

0,5 – silny efekt

0,8 – bardzo silny (jak R Pearsona)

Test Wilcoxona

rc – współczynnik korelacji dwuseryjnej dla par dopasowanych

0,1 – słaby efekt

0,3 – przeciętny efekt

0,5 – silny efekt

0,8 – bardzo silny (jak R Pearsona)

Jednoczynnikowa analiza wariancji

η2 – eta kwadrat

0,01 – słaby efekt

0,06 – przeciętny efekt

0,14 – silny efekt

ω2 – omega kwadrat

0,01 – słaby efekt

0,06 – przeciętny efekt

0,14 – silny efekt

Dwuczynnikowa analiza wariancji

η2 – eta kwadrat

0,01 – słaby efekt

0,06 – przeciętny efekt

0,14 – silny efekt

ω2 – cząstkowa omega kwadrat

0,01 – słaby efekt

0,06 – przeciętny efekt

0,14 – silny efekt

Test H Kruskala-Wallisa

ε2 – epsilon kwadrat

Przyjmuje wartości od 0,00 ( brak związku) do 1,00 (maksymalny związek)

ANOVA Friedmana

w – współczynnik zgodności Kendalla

Przyjmuje wartości od 0,00 ( brak związku) do 1,00 (maksymalny związek)

            Dla testu T Studenta dla danych niezależnych zauważyć można kilka współczynników siły efektu. D Cohena jest najczęściej wybieranym, g Hedgesa wykorzystać warto kiedy mamy różnoliczne grupy a Delta Glassa kiedy odchylenie standardowe w grupach jest różne. Dla analiz wariancji możemy skorzystać w wyników eta-kwadrat oraz omega-kwadrat. Ta pierwsza podwyższa oszacowane wartości, omega uznana jest za wynik nieobciążony, szacuje proporcje i ocenia każdy z czynników osobno. W przypadku jednoczynnikowych analiz wariancji z powtarzanym pomiarem lepiej sięgnąć po wynik eta-kwadrat. Siłę efekty należy interpretować w kontekście związków między zmiennymi i możliwością wyjaśniana zróżnicowania jednej zmiennej przez drugą, a nie ja wielkość różnic między pomiarami.

 
Podsumowanie

Standardy APA wymagają od autorów by ZAWSZE podawać wartości siły efektu kiedy to tyko możliwe. Pełne przedstawienie wyników, to także oprócz wartości testu statystycznego, stopni swobody czy poziomu istotności także siłę efektu. Czy zatem siła efektu może być kolejnym kryterium przyjęcia lub odrzucenia hipotezy zerowej?

 

1 King. B. M., Minium. E. E., (2020). Statystyka dla psychologów i pedagogów. Warszawa: Wydawnictwo Naukowe PWN. s. 323-325.                                       

Masz pytania? Zadzwoń lub napisz!

Może zainteresuje Cię także:

Arkadiusz Prajzner

Zajmuję się opracowaniem statystycznym danych w naukach społecznych oraz poradnictwem związanym z podstawami metodologicznymi badań. Chętnie odpowiem na Twoje pytania.