Regularització. Què, per què, quan i com?

Bloc

Regularització. Què, per què, quan i com?

En aquest article, vull aprofundir en la regularització.

Què?

Què és la regularització?

La regularització és un mètode per restringir el model perquè s’ajusti amb precisió a les nostres dades i no s’adapti. També es pot considerar que penalitza la complexitat innecessària del nostre model. Hi ha principalment 3 tipus de tècniques de regularització que fan servir els professionals de l’aprenentatge profund. Ells són:

  1. L1 Regularització o Lasso regularització
  2. L2 Regularització o regularització Ridge
  3. Abandonament

Barra lateral : Altres tècniques també poden tenir un efecte regularitzador en el nostre model. Podeu evitar l'adequació excessiva si teniu més dades per restringir l'espai de cerca de la nostra funció. Això es pot fer amb tècniques com l’augment de dades, que creen més dades per entrenar i, per tant, redueixen l’adequació.

on puc comprar una moneda d’escull

Hi ha moltes altres solucions per a l'adequació excessiva, com ara el muntatge i aturar-se aviat, que poden ajudar a prevenir l'adequació, però no es consideren regularitzacions, ja que no restringeixen l'espai de cerca ni penalitzen la complexitat. Tot i que hauríeu de tenir-los en compte, ja que la regularització no és l’única manera de curar l’excés d’adequació.

Per què?

Per què necessitem regularització?

Imatge per publicar

Fig 1: Underfit v overfit. Imatge de l'autor. Inspirat per Andrew Ng

A la figura 1, veiem 3 corbes. El de l’esquerra fa una mala feina de predir els punts, i el de la dreta fa MASSA BO feina de predir els punts. Podem dir intuïtivament que el gràfic esquerre no és correcte, però per què és dolent el correcte? No és bo que el nostre model prediui punts exactament on es troben?

La resposta és NO , i aquí teniu per què. Les nostres dades contenen una mica de soroll, no volem que el nostre model prediui el soroll, ja que el soroll és aleatori. Per tant, el gràfic de la dreta tampoc no és l’ideal, volem una cosa semblant al gràfic del centre.

analitza javascript cadena xml

La insuficiència es produeix perquè el nostre model és massa simple o no està entrenat prou. L’abitament excessiu és un problema més difícil.

afegint dues llistes python

L’adequació excessiva es pot produir a causa d’un model massa complex que aprèn soroll, o bé l’espai de cerca de la nostra funció de model és gran i no tenim prou dades per limitar la cerca.

Per tant, la regularització és una manera d’aturar l’excés de condicionament.

Quan?

Quan fem servir la regularització?

Fem servir la regularització sempre que sospitem que el nostre model s’adapta massa. Els signes més grans d’adequació excessiva són el mal rendiment de les mètriques de validació. El conjunt de validació forma part del nostre conjunt de dades que el model encara no ha vist.

Com que volem detectar si el nostre model aprèn només a partir de les dades o està fortament influït pel soroll, fem servir el conjunt de validació que té un soroll diferent del nostre conjunt d’entrenament. Per tant, si el nostre model s’adapti a les dades d’entrenament, no prediria malament en el nostre conjunt de validació.

Durant la formació, també mesurem constantment mètriques de validació. Si veiem que les mètriques de validació no milloren significativament o empitjoren, aquest és un senyal revelador de que el nostre model s’adequa. Després hem d’aplicar tècniques de regularització.

Nota _: Algunes tècniques de regularització no tenen cap inconvenient i s’han d’utilitzar _ _TOT _ el temps. Un exemple d'això és l'augment de dades. L’ús de l’augment de dades no té cap desavantatge i s’hauria d’utilitzar independentment de si el model és massa adequat.

eina de diagnòstic pdf de llibres ràpids

Com?

L1 Regularització

La regularització L1 funciona afegint una penalització basada en el valor absolut dels paràmetres escalats per algun valor l (normalment anomenat lambda).

# aprenentatge automàtic # aprenentatge profund # ciència de dades # intel·ligència artificial # desenvolupador

towardsdatascience.com

Regularització. Què, per què, quan i com?

Vull aprofundir en la regularització. La regularització és un mètode per restringir el model perquè s'ajusti amb precisió a les nostres dades i no sigui excessiu. Hi ha principalment 3 tipus de tècniques de regularització que fan servir els professionals de l’aprenentatge profund: regularització L1 o regularització lazo; Regularització L2 o regularització Ridge; Abandonament