Minibatch diskriminacija

1. Kas yra Minibatch diskriminacija??
2. Kaip užkirsti kelią režimo GAN žlugimui?
3. Kaip galėčiau pagerinti savo GAN mokymą?
4. Kodėl GAN ​​yra nestabilus??

Kas yra Minibatch diskriminacija??

Minibatch diskriminacija yra diskriminacinis metodas generatyviems priešiniams tinklams, kai mes diskriminuojame visas miniatiūrines mėginių grupes, o ne atskirus mėginius. Taip siekiama išvengti generatoriaus sugriuvimo.

Kaip užkirsti kelią režimo GAN žlugimui?

Kruopščiai suplanuotas mokymosi greitis gali sušvelninti kai kurias rimtas GAN problemas, pvz., Režimo žlugimą. Konkrečiai, sumažinkite mokymosi greitį ir pakartokite mokymą, kai režimas sutrinka. Taip pat galime eksperimentuoti su skirtingais generatoriaus ir diskriminatoriaus mokymosi rodikliais.

Kaip galėčiau pagerinti savo GAN mokymą?

Papildomi patarimai ir gudrybės

1. Funkcijų atitikimas. Sukurkite GAN naudodami pusiau prižiūrimą mokymąsi.
2. Minibatch diskriminacija. Sukurkite kelių pavyzdžių funkcijas mažoje partijoje.
3. Istorinis vidurkis. Atnaujinkite nuostolių funkciją, kad įtrauktumėte istoriją.
4. Vienpusis etikečių išlyginimas. ...
5. Virtualus partijos normalizavimas.

Kodėl GAN ​​yra nestabilus??

Tai, kad GAN sudaro du tinklai, ir kiekvienas iš jų turi savo nuostolių funkciją, lemia tai, kad GAN iš esmės yra nestabilūs- šiek tiek gilinasi į problemą, generatoriaus (G) praradimas gali sukelti GAN nestabilumą , kuri gali būti gradiento išnykimo problemos priežastis, kai ...