Învățarea automată este o ramură a inteligenței artificiale, care permite mașinilor să efectueze analize de date și să facă predicții. Cu toate acestea, dacă modelul de învățare automată nu este exact, poate face erori de predicție, iar aceste erori de predicție sunt de obicei cunoscute sub numele de Bias și Variance. În învățarea automată, aceste erori vor fi întotdeauna prezente, deoarece există întotdeauna o ușoară diferență între predicțiile modelului și predicțiile reale. Scopul principal al analiștilor ML/data science este de a reduce aceste erori pentru a obține rezultate mai precise. În acest subiect, vom discuta prejudecățile și varianța, compromisul bias-varianță, Underfitting și Overfitting. Dar înainte de a începe, să înțelegem mai întâi ce sunt erorile în învățarea automată?
Erori în învățarea automată?
În învățarea automată, o eroare este o măsură a cât de precis un algoritm poate face predicții pentru setul de date necunoscut anterior. Pe baza acestor erori, este selectat modelul de învățare automată care poate funcționa cel mai bine pe un anumit set de date. Există în principal două tipuri de erori în învățarea automată, care sunt:
indiferent de algoritmul utilizat. Cauza acestor erori sunt variabile necunoscute a căror valoare nu poate fi redusă.
Ce este Bias?
În general, un model de învățare automată analizează datele, găsește modele în ele și face predicții. În timpul antrenamentului, modelul învață aceste modele în setul de date și le aplică pentru a testa datele pentru predicție. În timpul efectuării predicțiilor, apare o diferență între valorile de predicție făcute de model și valorile reale/valorile așteptate , iar această diferență este cunoscută sub numele de erori de părtinire sau Erori datorate părtinirii . Poate fi definit ca o incapacitate a algoritmilor de învățare automată, cum ar fi regresia liniară, de a capta adevărata relație dintre punctele de date. Fiecare algoritm începe cu o anumită părtinire, deoarece părtinirea apare din ipotezele din model, ceea ce face ca funcția țintă să fie ușor de învățat. Un model are fie:
10 1 milioane
În general, un algoritm liniar are o părtinire mare, deoarece îi face să învețe rapid. Cu cât algoritmul este mai simplu, cu atât este mai mare probabilitatea ca acesta să fie introdus. În timp ce un algoritm neliniar are adesea părtinire scăzută.
Câteva exemple de algoritmi de învățare automată cu părtinire redusă sunt arbori de decizie, k-Cei mai apropiați vecini și mașini de suport vector . În același timp, un algoritm cu părtinire mare este Regresia liniară, analiza discriminantă liniară și regresia logistică.
Modalități de reducere a părtinirii înalte:
Prejudecata mare apare în principal datorită unui model mult simplu. Mai jos sunt câteva modalități de a reduce părtinirea ridicată:
- Măriți caracteristicile de intrare pe măsură ce modelul este subadaptat.
- Reduceți termenul de regularizare.
- Utilizați modele mai complexe, cum ar fi includerea unor caracteristici polinomiale.
Ce este o eroare de variație?
Varianta ar specifica cantitatea de variație a predicției dacă s-au folosit diferite date de antrenament. Cu cuvinte simple, varianța spune că cât de mult este diferită o variabilă aleatoare de valoarea ei așteptată. În mod ideal, un model nu ar trebui să varieze prea mult de la un set de date de antrenament la altul, ceea ce înseamnă că algoritmul ar trebui să fie bun pentru a înțelege maparea ascunsă dintre variabilele de intrare și de ieșire. Erorile de variație sunt oricare dintre varianță scăzută sau varianță mare.
exemplu java salut lume
Varianta scazuta înseamnă că există o mică variație în predicția funcției țintă cu modificări în setul de date de antrenament. În același timp, Varianta mare arată o variație mare în predicția funcției țintă cu modificări în setul de date de antrenament.
Un model care prezintă o variație mare învață multe și funcționează bine cu setul de date de antrenament și nu se generalizează bine cu setul de date nevăzut. Ca rezultat, un astfel de model dă rezultate bune cu setul de date de antrenament, dar arată rate mari de eroare pe setul de date de testare.
Deoarece, cu o variație mare, modelul învață prea multe din setul de date, aceasta duce la supraadaptarea modelului. Un model cu varianță mare are următoarele probleme:
- Un model cu variație mare duce la supraadaptare.
- Creșteți complexitatea modelului.
De obicei, algoritmii neliniari au o mare flexibilitate pentru a se potrivi modelului, au varianță mare.
Câteva exemple de algoritmi de învățare automată cu varianță scăzută sunt: Regresia liniară, regresia logistică și analiza discriminantă liniară . În același timp, algoritmii cu varianță mare sunt arbore de decizie, mașină vectorială de asistență și vecini K-cel mai apropiat.
Modalități de reducere a variației mari:
- Reduceți caracteristicile de intrare sau numărul de parametri, deoarece un model este supraadaptat.
- Nu utilizați un model foarte complex.
- Creșteți datele de antrenament.
- Măriți termenul de regularizare.
Diferite combinații de părtinire-varianță
Există patru combinații posibile de părtinire și variații, care sunt reprezentate de diagrama de mai jos:
Combinația dintre părtinire scăzută și varianță scăzută arată un model ideal de învățare automată. Cu toate acestea, practic nu este posibil.
Cu părtinire mare și varianță mare, predicțiile sunt inconsecvente și, de asemenea, inexacte, în medie.
Cum se identifică varianța ridicată sau părtinirea ridicată?
Varianta mare poate fi identificată dacă modelul are:
- Eroare scăzută de antrenament și eroare mare de testare.
Prejudiciul ridicat poate fi identificat dacă modelul are:
iterator java pentru hartă
- Eroarea mare de antrenament și eroarea de testare este aproape similară cu eroarea de antrenament.
Compensație prejudecată-varianță
În timp ce construiți modelul de învățare automată, este foarte important să aveți grijă de părtinire și variație pentru a evita supraadaptarea și subadaptarea în model. Dacă modelul este foarte simplu, cu mai puțini parametri, poate avea varianță scăzută și părtinire mare. În timp ce, dacă modelul are un număr mare de parametri, acesta va avea varianță mare și părtinire scăzută. Deci, este necesar să se facă un echilibru între erorile de părtinire și de varianță, iar acest echilibru între eroarea de părtinire și eroarea de varianță este cunoscut sub numele de compromisul Bias-Variance.
Pentru o predicție precisă a modelului, algoritmii au nevoie de o varianță scăzută și o părtinire scăzută. Dar acest lucru nu este posibil, deoarece părtinirea și varianța sunt legate între ele:
- Dacă reducem varianța, aceasta va crește părtinirea.
- Dacă reducem părtinirea, aceasta va crește varianța.
Compensația părtinire-varianță este o problemă centrală în învățarea supravegheată. În mod ideal, avem nevoie de un model care să surprindă cu acuratețe regularitățile în datele de antrenament și, în același timp, să generalizeze bine cu setul de date nevăzut. Din păcate, acest lucru nu este posibil simultan. Deoarece un algoritm cu variație mare poate funcționa bine cu datele de antrenament, dar poate duce la supraadaptarea la date zgomotoase. În timp ce, algoritmul de părtinire mare generează un model mult simplu, care poate să nu captureze nici măcar regularități importante în date. Deci, trebuie să găsim un punct favorabil între părtinire și varianță pentru a realiza un model optim.
Prin urmare, cel Compensația bias-varianță se referă la găsirea punctului favorabil pentru a face un echilibru între părtinire și erori de varianță.