Topmusicanswers
Šį atminties telkinį valdo „Spark“. Tai yra atsakinga už tarpinės būsenos išsaugojimą atliekant užduotį, pvz., Sujungimus, arba išsaugoti transliacijos kintamuosius. Visi talpykloje saugomi/išlikę duomenys bus saugomi šiame segmente, ypač šio segmento atmintyje.
- Kaip veikia kibirkštinė atmintis?
- Gali pritrūkti kibirkšties atminties?
- Kaip atmintis yra padalinta į kibirkštį?
- Kaip sureguliuoti savo kibirkštinę atmintį?
Kaip veikia kibirkštinė atmintis?
„Apache Spark“ yra klasterių skaičiavimo platforma, teikianti platinamam programavimui skirtą API, panašią į „MapReduce“ modelį, tačiau sukurta taip, kad greitai veiktų interaktyvios užklausos ir kartotiniai algoritmai. Tai visų pirma pasiekiama spartinant duomenis, reikalingus skaičiavimui, klasterio mazgų atmintyje.
Gali pritrūkti kibirkšties atminties?
Trūksta atminties vairuotojo lygiu
„Spark“ tvarkyklė yra JVM, kurioje veikia pagrindinis programos valdymo srautas. Dažniausiai vairuotojas sugenda su „OutOfMemory“ klaida dėl netinkamo „Spark“ naudojimo.
Kaip atmintis yra padalinta į kibirkštį?
Apie krūvos atmintį
Pagal numatytuosius nustatymus „Spark“ naudoja tik atminties kaupą. „Executor“ atminties sritį galima suskirstyti į šiuos keturis blokus: Saugyklos atmintis: ji daugiausia naudojama „Spark“ talpyklos duomenims, pvz., RDD talpyklai, „Unroll“ duomenims ir pan., Saugoti.
Kaip sureguliuoti savo kibirkštinę atmintį?
Štai keletas būdų, kaip tai padaryti:
- Jei RAM dydis yra mažesnis nei 32 GB, JVM vėliava turėtų būti nustatyta į –xx:+ UseCompressedOops. ...
- Įdėtas struktūras galima išvengti naudojant kelis mažus objektus ir rodykles.
- Užuot naudodami eilutes raktams, galite naudoti skaitinius ID ir išvardintus objektus.
