Akumulatorji so spremenljivke, ki se jim »dodajo« samo z asociativno operacijo in jih je zato mogoče učinkovito podpirati vzporedno. Uporabite jih lahko za implementacijo števcev (kot v MapReduce) ali vsote. Spark izvorno podpira akumulatorje številskih vrst, programerji pa lahko dodajo podporo za nove vrste.
Zakaj uporabljamo akumulator?
hidravlični akumulatorji se uporabljajo v najrazličnejših industrijah za shranjevanje energije; vzdrževati pritisk; blaži vibracije, pulzacije in udarce; in veliko več. Shranjevanje energije – Akumulatorji lahko sprejmejo, shranijo in sprostijo energijo v obliki tekočine pod tlakom, da izboljšajo učinkovitost vašega hidravličnega sistema.
Kakšna je razlika med oddajanjem in akumulatorjem v Sparku?
Ključna razlika med oddajno spremenljivko in akumulatorjem je v tem, da je spremenljivka oddajanja samo za branje, h kateri je mogoče dodati akumulator. … Vsako delovno vozlišče lahko dostopa samo do lastne vrednosti lokalnega akumulatorja in jo dodaja, do globalne vrednosti pa lahko dostopa samo gonilniški program.
Kako deluje akumulator Spark?
Akumulatorji so spremenljivke, ki se uporabljajo za združevanje informacij v izvajalcih. Te informacije se lahko na primer nanašajo na diagnozo podatkov ali API-ja, na primer, koliko zapisov je poškodovanih ali kolikokrat je bil poklican določen API knjižnice.
Zakaj spremenljivke akumulatorja v Sparku delavec ne bi smel uporabljati za operacije transformacije?
Akumulator bo dal napačen izhod. Če naloga teče počasi, lahko Spark zažene špekulativno kopijo te naloge na drugem vozlišču. Razsodba: Ni obravnavano. Akumulator bo dal napačen izhod.
