Zakaj laso teži k ničelnim koeficientom?

Zakaj laso teži k ničelnim koeficientom?
Zakaj laso teži k ničelnim koeficientom?
Anonim

Laso izvaja krčenje, tako da so v omejitvi "vogali", ki v dveh dimenzijah ustrezajo diamantu. Če vsota kvadratov "zadene" enega od teh vogalov, potem se koeficient, ki ustreza osi, skrči na nič. … Zato laso izvaja krčenje in (dejansko) izbiro podmnožice.

Zakaj laso daje ničelne koeficiente?

Laso izvaja krčenje, tako da so v omejitvi "vogali", ki v dveh dimenzijah ustrezajo diamantu. Če vsota kvadratov "zadene" enega od teh vogalov, potem se koeficient, ki ustreza osi, skrči na nič.

Zakaj se laso skrči na nič, ne pa Ridge?

Rečeno je, da ker je oblika omejitve v LASSO-u diamant, se lahko dobljena rešitev najmanjših kvadratov dotakne vogala diamanta tako, da povzroči krčenje neke spremenljivke. Vendar pa pri regresiji grebena, ker je krog, se pogosto ne bo dotaknil osi

Zakaj se koeficienti regresije grebena skrčijo?

Ridge regresija krči vse regresijske koeficiente proti nič; laso ponavadi daje niz regresijskih koeficientov nič in vodi do redke rešitve. Upoštevajte, da se lahko regresijski koeficienti za regresijo grebena in laso premaknejo s pozitivnih na negativne vrednosti, ko se skrčijo proti nič.

Ali so lasso koeficienti pristranski?

… krčenje lasa povzroči, da so ocene ne-ničelnih koeficientov pristransko proti nič in na splošno niso dosledne [Dodana opomba: To pomeni, da kot velikost vzorca raste, ocene koeficientov se ne konvergirajo].

Priporočena: