logo

TechCodeview

Înțelegerea testării ipotezelor

Testarea ipotezelor implică formularea de ipoteze despre parametrii populației pe baza statisticilor eșantionului și evaluarea riguroasă a acestor ipoteze în raport cu dovezile empirice. Acest articol pune în lumină semnificația testării ipotezelor și pașii critici implicați în proces.

Ce este testarea ipotezelor?

Testarea ipotezei este o metodă statistică care este utilizată pentru a lua o decizie statistică folosind date experimentale. Testarea ipotezelor este practic o presupunere pe care o facem despre un parametru al populației. Evaluează două afirmații care se exclud reciproc despre o populație pentru a determina care afirmație este cel mai bine susținută de datele eșantionului.



Exemplu: Spui că o înălțime medie în clasă este de 30 sau un băiat este mai înalt decât o fată. Toate acestea sunt o presupunere pe care o presupunem și avem nevoie de o modalitate statistică de a le demonstra. Avem nevoie de o concluzie matematică, orice presupunem că este adevărat.

Ipoteze definitorii

  • Ipoteza nulă (H 0 ): În statistică, ipoteza nulă este o afirmație generală sau o poziție implicită conform căreia nu există nicio relație între două cazuri măsurate sau nicio relație între grupuri. Cu alte cuvinte, este o presupunere de bază sau făcută pe baza cunoștințelor problemei.
    Exemplu : producția medie a unei companii este de 50 de unități/per h0: mu= 50.
  • Ipoteza alternativă (H 1 ): Ipoteza alternativă este ipoteza utilizată în testarea ipotezelor care este contrară ipotezei nule.
    Exemplu: producția unei companii nu este egală cu 50 de unități/pe zi, adică H1: mu cincizeci.

Termeni cheie ai testării ipotezelor

  • Nivel de semnificație : Se referă la gradul de semnificație în care acceptăm sau respingem ipoteza nulă. Nu este posibilă o acuratețe de 100% pentru acceptarea unei ipoteze, așa că, prin urmare, selectăm un nivel de semnificație care este de obicei de 5%. Acest lucru este de obicei notat cu alfași, în general, este de 0,05 sau 5%, ceea ce înseamnă că rezultatul dvs. ar trebui să fie 95% încrezător pentru a oferi un tip similar de rezultat în fiecare probă.
  • Valoarea p: The Valoarea P , sau probabilitatea calculată, este probabilitatea de a găsi rezultatele observate/extreme atunci când ipoteza nulă (H0) a unei probleme date de studiu este adevărată. Dacă valoarea P este mai mică decât nivelul de semnificație ales, atunci respingeți ipoteza nulă, adică acceptați că eșantionul dumneavoastră pretinde că susține ipoteza alternativă.
  • Statistica testului: Statistica testului este o valoare numerică calculată din datele eșantionului în timpul unui test de ipoteză, utilizată pentru a determina dacă se respinge ipoteza nulă. Este comparat cu o valoare critică sau o valoare p pentru a lua decizii cu privire la semnificația statistică a rezultatelor observate.
  • Valoare critica : Valoarea critică în statistici este un prag sau un punct limită utilizat pentru a determina dacă se respinge ipoteza nulă într-un test de ipoteză.
  • Grade de libertate: Gradele de libertate sunt asociate cu variabilitatea sau libertatea pe care o are în estimarea unui parametru. Gradele de libertate sunt legate de mărimea eșantionului și determină forma.

De ce folosim testarea ipotezei?

Testarea ipotezelor este o procedură importantă în statistică. Testarea ipotezelor evaluează două afirmații ale populației care se exclud reciproc pentru a determina care afirmație este cel mai susținută de datele eșantionului. Când spunem că constatările sunt semnificative statistic, datorită testării ipotezelor.

Testul cu o coadă și cu două cozi

Testul cu o coadă se concentrează pe o direcție, fie mai mare, fie mai mică decât o valoare specificată. Folosim un test cu o singură coadă atunci când există o așteptare direcțională clară bazată pe cunoștințe sau teorie anterioare. Regiunea critică este situată doar pe o parte a curbei de distribuție. Dacă eșantionul se încadrează în această regiune critică, ipoteza nulă este respinsă în favoarea ipotezei alternative.



Test cu o singură coadă

Există două tipuri de teste cu o singură coadă:

  • Testul cu coada stângă (partea stângă): Ipoteza alternativă afirmă că valoarea adevărată a parametrului este mai mică decât ipoteza nulă. Exemplu: H0: mu geq 50si H1:
  • si H1: mu>50

Test cu două cozi

Un test cu două cozi ia în considerare ambele direcții, mai mare și mai mică decât o valoare specificată. Folosim un test cu două cozi atunci când nu există o așteptare direcțională specifică și dorim să detectăm orice diferență semnificativă.

Exemplu: H0: in =50 și H1: mu eq 50



Ce sunt erorile de tip 1 și tip 2 în testarea ipotezelor?

În testarea ipotezelor, Erori de tip I și de tip II sunt două posibile erori pe care cercetătorii le pot face atunci când trag concluzii despre o populație pe baza unui eșantion de date. Aceste erori sunt asociate cu deciziile luate cu privire la ipoteza nulă și ipoteza alternativă.

  • Eroare de tip I: Când respingem ipoteza nulă, deși acea ipoteză era adevărată. Eroarea de tip I este notată cu alfa( alfa).
  • Erori de tip II: Când acceptăm ipoteza nulă, dar este falsă. Erorile de tip II sunt notate cu beta( eta).


Ipoteza nulă este adevărată

Ipoteza nulă este falsă

Ipoteza nulă este adevărată (Accept)

Decizie corectă

Eroare de tip II (fals negativ)

Ipoteza alternativă este adevărată (respingă)

Eroare de tip I (fals pozitiv)

Decizie corectă

Cum funcționează testarea ipotezei?

Pasul 1: Definiți ipoteza nulă și alternativă

Prezentați ipoteza nulă ( H_0), care nu reprezintă niciun efect, iar ipoteza alternativă ( H_1), sugerând un efect sau o diferență.

Mai întâi identificăm problema despre care dorim să facem o presupunere ținând cont de faptul că presupunerea noastră ar trebui să fie contradictorie una cu cealaltă, presupunând Date distribuite în mod normal.

Pasul 2 – Alegeți nivelul de semnificație

Selectați un nivel de semnificație ( alfa), de obicei 0,05, pentru a determina pragul de respingere a ipotezei nule. Oferă validitate testului nostru de ipoteză, asigurându-ne că avem suficiente date pentru a susține afirmațiile noastre. De obicei, ne determinăm nivelul de semnificație înaintea testului. The valoarea p este criteriul folosit pentru a calcula valoarea noastră de semnificație.

Pasul 3 – Colectați și analizați date.

Adunați date relevante prin observare sau experimentare. Analizați datele folosind metode statistice adecvate pentru a obține o statistică de testare.

Pasul 4 - Calculați statistica testului

Datele pentru teste sunt evaluate în acest pas căutăm diferite scoruri pe baza caracteristicilor datelor. Alegerea statisticii testului depinde de tipul testului de ipoteză care se efectuează.

Rajesh Khanna

Există diverse teste de ipoteză, fiecare adecvată pentru diferite scopuri pentru a calcula testul nostru. Acesta ar putea fi o Testul Z , Chi-pătrat , Testul T , și așa mai departe.

  1. Testul Z : Dacă mediile populației și abaterile standard sunt cunoscute. Z-statistica este folosită în mod obișnuit.
  2. testul t : Dacă abaterile standard ale populației sunt necunoscute. iar dimensiunea eșantionului este mai mică decât statistica testului t este mai adecvată.
  3. Testul chi-pătrat : Testul chi-pătrat este utilizat pentru date categorice sau pentru testarea independenței în tabelele de contingență
  4. F-test : testul F este adesea folosit în analiza varianței (ANOVA) pentru a compara variațiile sau pentru a testa egalitatea mediilor în mai multe grupuri.

Avem un set de date mai mic, deci, testul T este mai potrivit pentru a ne testa ipoteza.

T-statistica este o măsură a diferenței dintre mediile a două grupuri în raport cu variabilitatea în cadrul fiecărui grup. Se calculează ca diferența dintre mediile eșantionului împărțit la eroarea standard a diferenței. Este, de asemenea, cunoscut sub numele de valoare t sau scor t.

Pasul 5 – Compararea statisticii testului:

În această etapă, decidem unde ar trebui să acceptăm ipoteza nulă sau să respingem ipoteza nulă. Există două moduri de a decide unde ar trebui să acceptăm sau să respingem ipoteza nulă.

Metoda A: Utilizarea valorilor critice

Comparând statistica testului și valoarea critică tabelată pe care o avem,

  • Dacă Test Statistic>Valoare critică: Respingeți ipoteza nulă.
  • Dacă Test Statistic≤Valoare critică: Nu se respinge ipoteza nulă.

Notă: Valorile critice sunt valori de prag predeterminate care sunt utilizate pentru a lua o decizie în testarea ipotezelor. A determina valorile critice pentru testarea ipotezelor, de obicei ne referim la un tabel de distribuție statistică, cum ar fi distribuția normală sau tabelele de distribuție t bazate pe.

Metoda B: Utilizarea valorilor P

De asemenea, putem ajunge la o concluzie folosind valoarea p,

tipuri de calculator
  • Dacă valoarea p este mai mică sau egală cu nivelul de semnificație, adică ( pleqalpha), respingeți ipoteza nulă. Acest lucru indică faptul că este puțin probabil ca rezultatele observate să fi apărut doar întâmplător, oferind dovezi în favoarea ipotezei alternative.
  • Dacă valoarea p este mai mare decât nivelul de semnificație, adică ( pgeq alpha), nu reușiți să respingeți ipoteza nulă. Acest lucru sugerează că rezultatele observate sunt în concordanță cu ceea ce ar fi de așteptat în baza ipotezei nule.

Notă : Valoarea p este probabilitatea de a obține o statistică de test la fel de extremă sau mai extremă decât cea observată în eșantion, presupunând că ipoteza nulă este adevărată. A determina valoarea p pentru testarea ipotezelor, de obicei ne referim la un tabel de distribuție statistică, cum ar fi distribuția normală sau tabelele de distribuție t bazate pe.

Pasul 7 - Interpretați rezultatele

În cele din urmă, putem încheia experimentul nostru folosind metoda A sau B.

Calcularea statisticii testului

Pentru a valida ipoteza noastră despre un parametru de populație pe care îl folosim functii statistice . Folosim scorul z, valoarea p și nivelul de semnificație (alfa) pentru a face dovezi pentru ipoteza noastră pentru date distribuite în mod normal .

1. Z-statistici:

Când mediile populației și abaterile standard sunt cunoscute.

z = frac{ar{x} - mu}{frac{sigma}{sqrt{n}}}

Unde,

  • ar{x}este media eșantionului,
  • μ reprezintă media populației,
  • σ este abaterea standard
  • iar n este dimensiunea eșantionului.

2. T-Statistics

Testul T este utilizat când n<30,

calculul t-statistic este dat de:

t=frac{x̄-Μ}{s/sqrt{n}}

Unde,

  • t = scor t,
  • x̄ = medie eșantionului
  • μ = media populației,
  • s = abaterea standard a probei,
  • n = dimensiunea eșantionului

3. Testul Chi-Pătrat

Testul chi-pătrat pentru date categorice de independență (distribuit nenormal) folosind:

chi^2 = sum frac{(O_{ij} - E_{ij})^2}{E_{ij}}

Unde,

  • O_{ij}este frecvența observată în celulă {ij}
  • i,j sunt indexul rândurilor și, respectiv, coloanelor.
  • E_{ij}este frecvența așteptată în celulă {ij}, calculat ca:
    frac{{ ext{{Total rând}} imes ext{{Total coloană}}}}{{ ext{{Total observații}}}}

Exemplu de testare a ipotezei din viața reală

Să examinăm testarea ipotezelor folosind două situații din viața reală,

Cazul A: D Un nou medicament afectează tensiunea arterială?

Imaginați-vă că o companie farmaceutică a dezvoltat un nou medicament despre care cred că poate reduce în mod eficient tensiunea arterială la pacienții cu hipertensiune arterială. Înainte de a aduce medicamentul pe piață, trebuie să efectueze un studiu pentru a evalua impactul acestuia asupra tensiunii arteriale.

Date:

  • Înainte de tratament: 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
  • După tratament: 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Pasul 1 : Definiți ipoteza

  • Ipoteza nulă : (H0)Noul medicament nu are niciun efect asupra tensiunii arteriale.
  • Ipoteza alternativă : (H1)Noul medicament are un efect asupra tensiunii arteriale.

Pasul 2: Definiți nivelul de semnificație

Să luăm în considerare nivelul de semnificație la 0,05, indicând respingerea ipotezei nule.

Dacă dovezile sugerează o șansă mai mică de 5% de a observa rezultatele din cauza variației aleatorii.

Pasul 3 : Calculați statistica testului

Folosind test T pereche analizați datele pentru a obține o statistică de test și o valoare p.

Statistica testului (de exemplu, statistica T) este calculată pe baza diferențelor dintre măsurătorile tensiunii arteriale înainte și după tratament.

t = m/(s/√n)

Unde:

  • m = media diferenței, adică X după, X inainte de
  • s = abaterea standard a diferenței (d) adică d i = X după, i ​− X inainte de,
  • n = dimensiunea eșantionului,

apoi, m= -3,9, s= 1,8 și n= 10

noi, calculăm , T-statistica = -9 pe baza formulei pentru testul t pereche

Pasul 4: Găsiți valoarea p

T-statistica calculată este -9 și grade de libertate df = 9, puteți găsi valoarea p folosind un software statistic sau un tabel de distribuție t.

astfel, valoarea p = 8,538051223166285e-06

Pasul 5: Rezultatul

  • Dacă valoarea p este mai mică sau egală cu 0,05, cercetătorii resping ipoteza nulă.
  • Dacă valoarea p este mai mare de 0,05, ei nu reușesc să respingă ipoteza nulă.

Concluzie: Deoarece valoarea p (8,538051223166285e-06) este mai mică decât nivelul de semnificație (0,05), cercetătorii resping ipoteza nulă. Există dovezi semnificative statistic că tensiunea arterială medie înainte și după tratamentul cu noul medicament este diferită.

numerele alfabetului

Implementarea Python a testării ipotezelor

Să creăm testarea ipotezelor cu python, în care testăm dacă un nou medicament afectează tensiunea arterială. Pentru acest exemplu, vom folosi un test T pereche. Vom folosi scipy.stats> bibliotecă pentru testul T.

Vom implementa prima noastră problemă din viața reală prin python,

Python3

import> numpy as np> from> scipy>import> stats> # Data> before_treatment>=> np.array([>120>,>122>,>118>,>130>,>125>,>128>,>115>,>121>,>123>,>119>])> after_treatment>=> np.array([>115>,>120>,>112>,>128>,>122>,>125>,>110>,>117>,>119>,>114>])> # Step 1: Null and Alternate Hypotheses> # Null Hypothesis: The new drug has no effect on blood pressure.> # Alternate Hypothesis: The new drug has an effect on blood pressure.> null_hypothesis>=> 'The new drug has no effect on blood pressure.'> alternate_hypothesis>=> 'The new drug has an effect on blood pressure.'> # Step 2: Significance Level> alpha>=> 0.05> # Step 3: Paired T-test> t_statistic, p_value>=> stats.ttest_rel(after_treatment, before_treatment)> # Step 4: Calculate T-statistic manually> m>=> np.mean(after_treatment>-> before_treatment)> s>=> np.std(after_treatment>-> before_treatment, ddof>=>1>)># using ddof=1 for sample standard deviation> n>=> len>(before_treatment)> t_statistic_manual>=> m>/> (s>/> np.sqrt(n))> # Step 5: Decision> if> p_value <>=> alpha:> >decision>=> 'Reject'> else>:> >decision>=> 'Fail to reject'> # Conclusion> if> decision>=>=> 'Reject'>:> >conclusion>=> 'There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.'> else>:> >conclusion>=> 'There is insufficient evidence to claim a significant difference in average blood pressure before and after treatment with the new drug.'> # Display results> print>(>'T-statistic (from scipy):'>, t_statistic)> print>(>'P-value (from scipy):'>, p_value)> print>(>'T-statistic (calculated manually):'>, t_statistic_manual)> print>(f>'Decision: {decision} the null hypothesis at alpha={alpha}.'>)> print>(>'Conclusion:'>, conclusion)> 
>
>

Ieșire: 

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

În exemplul de mai sus, având în vedere statistica T de aproximativ -9 și o valoare p extrem de mică, rezultatele indică un caz puternic de respingere a ipotezei nule la un nivel de semnificație de 0,05.

  • Rezultatele sugerează că noul medicament, tratament sau intervenție are un efect semnificativ asupra scăderii tensiunii arteriale.
  • Statistica T negativă indică faptul că tensiunea arterială medie după tratament este semnificativ mai mică decât media presupusă a populației înainte de tratament.

Cazul B : Nivelul colesterolului într-o populație

Date: Se prelevează un eșantion de 25 de indivizi și li se măsoară nivelul de colesterol.

Niveluri de colesterol (mg/dL): 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 205, 198, 205, 198, 205, 198, 205, 198, 202, 208, 200, 205, 198, 205, 198, 205, 205 205, 210, 192, 205.

Media populației = 200

Abaterea standard a populației (σ): 5 mg/dL (dată pentru această problemă)

Pasul 1: Definiți ipoteza

  • Ipoteza nulă (H 0 ): Nivelul mediu de colesterol într-o populație este de 200 mg/dL.
  • Ipoteza alternativă (H 1 ): Nivelul mediu de colesterol într-o populație este diferit de 200 mg/dL.

Pasul 2: Definiți nivelul de semnificație

Deoarece direcția de abatere nu este dată, presupunem un test cu două cozi, iar pe baza unui tabel de distribuție normală, valorile critice pentru un nivel de semnificație de 0,05 (două cozi) pot fi calculate prin intermediul masa-z și sunt aproximativ -1,96 și 1,96.

Pasul 3 : Calculați statistica testului

Statistica testului este calculată utilizând formula z CU = (203,8 - 200) / (5 div sqrt{25})și obținem în consecință, CU = 2,03999999999992.

Pasul 4: Rezultatul

Deoarece valoarea absolută a statisticii test (2,04) este mai mare decât valoarea critică (1,96), respingem ipoteza nulă. Și trageți concluzia că, există dovezi semnificative statistic că nivelul mediu de colesterol în populație este diferit de 200 mg/dL

Implementarea Python a testării ipotezelor

Python3

import> scipy.stats as stats> import> math> import> numpy as np> # Given data> sample_data>=> np.array(> >[>205>,>198>,>210>,>190>,>215>,>205>,>200>,>192>,>198>,>205>,>198>,>202>,>208>,>200>,>205>,>198>,>205>,>210>,>192>,>205>,>198>,>205>,>210>,>192>,>205>])> population_std_dev>=> 5> population_mean>=> 200> sample_size>=> len>(sample_data)> # Step 1: Define the Hypotheses> # Null Hypothesis (H0): The average cholesterol level in a population is 200 mg/dL.> # Alternate Hypothesis (H1): The average cholesterol level in a population is different from 200 mg/dL.> # Step 2: Define the Significance Level> alpha>=> 0.05> # Two-tailed test> # Critical values for a significance level of 0.05 (two-tailed)> critical_value_left>=> stats.norm.ppf(alpha>/>2>)> critical_value_right>=> ->critical_value_left> # Step 3: Compute the test statistic> sample_mean>=> sample_data.mean()> z_score>=> (sample_mean>-> population_mean)>/> > >(population_std_dev>/> math.sqrt(sample_size))> # Step 4: Result> # Check if the absolute value of the test statistic is greater than the critical values> if> abs>(z_score)>>>>(>abs>(critical_value_left),>abs>(critical_value_right)):> >print>(>'Reject the null hypothesis.'>)> >print>(>'There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.'>)> else>:> >print>(>'Fail to reject the null hypothesis.'>)> >print>(>'There is not enough evidence to conclude that the average cholesterol level in the population is different from 200 mg/dL.'>)> 
>
>

Ieșire: 

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Limitările testării ipotezelor

  • Deși este o tehnică utilă, testarea ipotezelor nu oferă o înțelegere cuprinzătoare a subiectului studiat. Fără a reflecta pe deplin complexitatea sau întregul context al fenomenelor, se concentrează asupra anumitor ipoteze și semnificație statistică.
  • Acuratețea rezultatelor testării ipotezelor depinde de calitatea datelor disponibile și de caracterul adecvat al metodelor statistice utilizate. Datele inexacte sau ipotezele prost formulate pot duce la concluzii incorecte.
  • Bazându-se exclusiv pe testarea ipotezelor poate determina analiștii să treacă cu vederea modele sau relații semnificative în datele care nu sunt surprinse de ipotezele specifice testate. Această limitare subliniază importanța completării testării ipotezelor cu alte abordări analitice.

Concluzie

Testarea ipotezelor reprezintă o piatră de temelie în analiza statistică, permițând oamenilor de știință să navigheze în incertitudini și să tragă inferențe credibile din datele eșantionului. Prin definirea sistematică a ipotezelor nule și alternative, alegând niveluri de semnificație și utilizând teste statistice, cercetătorii pot evalua validitatea ipotezelor lor. Articolul elucidează, de asemenea, distincția critică dintre erorile de tip I și tip II, oferind o înțelegere cuprinzătoare a procesului de luare a deciziilor nuanțat inerent testării ipotezelor. Exemplul real de testare a efectului unui nou medicament asupra tensiunii arteriale folosind un test T pereche prezintă aplicarea practică a acestor principii, subliniind importanța rigoarei statistice în luarea deciziilor bazate pe date.

Întrebări frecvente (FAQs)

1. Care sunt cele 3 tipuri de test de ipoteză?

Există trei tipuri de teste de ipoteză: cu coadă dreaptă, cu coadă stângă și cu două cozi. Testele cu coada dreaptă evaluează dacă un parametru este mai mare, cu coada stângă dacă este mai mic. Testele cu două cozi verifică diferențele nedirecționale, mai mari sau mai mici.

2. Care sunt cele 4 componente ale testării ipotezelor?

Ipoteza nulă ( H_o): Nu există niciun efect sau diferență.

Ipoteză alternativă ( H_1): Există un efect sau o diferență.

Nivel de semnificație ( alfa): Risc de respingere a ipotezei nule atunci când este adevărată (eroare de tip I).

Test Statistică: Valoare numerică reprezentând dovezile observate împotriva ipotezei nule.

3. Ce este testarea ipotezelor în ML?

Metodă statistică de evaluare a performanței și validității modelelor de învățare automată. Testează ipoteze specifice despre comportamentul modelului, cum ar fi dacă caracteristicile influențează predicțiile sau dacă un model se generalizează bine la date nevăzute.

4. Care este diferența dintre Pytest și ipoteză în Python?

Pytest are ca scop un cadru general de testare pentru codul Python, în timp ce Hypothesis este un cadru de testare bazat pe proprietăți pentru Python, concentrându-se pe generarea de cazuri de testare bazate pe proprietățile specificate ale codului.