Logo sl.boatexistence.com

Zakaj stohastičen gradientni spust?

Kazalo:

Zakaj stohastičen gradientni spust?
Zakaj stohastičen gradientni spust?

Video: Zakaj stohastičen gradientni spust?

Video: Zakaj stohastičen gradientni spust?
Video: Stochastic Gradient Descent, Clearly Explained!!! 2024, Maj
Anonim

Po mnenju višjega znanstvenika za podatke je ena od izrazitih prednosti uporabe stohastičnega gradientnega padanja ta, da izračuna hitreje kot gradientni spuščanje in serijsko gradientno spuščanje … Prav tako na ogromen niz podatkov, stohastični gradientni spust se lahko hitreje zbliža, ker posodabljanje izvaja pogosteje.

Za kaj se uporablja stohastični gradientni spust?

Stohastični gradientni spust je algoritem za optimizacijo, ki se pogosto uporablja v aplikacijah za strojno učenje za iskanje parametrov modela, ki se najbolje ujemajo med predvidenimi in dejanskimi rezultati To je nenatančna, a močna tehnika. Stohastični gradientni spust se pogosto uporablja v aplikacijah strojnega učenja.

Zakaj moramo uporabiti stohastični gradientni spust namesto standardnega gradientnega spuščanja za usposabljanje konvolucijske nevronske mreže?

Stohastičen gradientni spust posodablja parametre za vsako opazovanje, kar vodi do večjega števila posodobitev. Gre torej za hitrejši pristop, ki pomaga pri hitrejšem sprejemanju odločitev. V tej animaciji je mogoče opaziti hitrejše posodobitve v različnih smereh.

Zakaj imamo raje gradientni spust?

Glavni razlog, zakaj se gradientni spust uporablja za linearno regresijo, je računalniška zapletenost: v nekaterih primerih je računsko ceneje (hitreje) najti rešitev z uporabo gradientnega spuščanja. Tukaj morate izračunati matriko X′X in jo obrniti (glejte spodnjo opombo). To je drag izračun.

Zakaj se uporablja SGD?

Stohastični gradientni spust (pogosto skrajšano SGD) je iterativna metoda za optimizacijo ciljne funkcije z ustreznimi lastnostmi gladkosti (npr. diferencibilna ali subdiferencibilna).

Priporočena: