Po pusantrų metų plėtros „Apache Software Foundation“ išleido naujos versijos „Apache Hadoop 3.3.0“, versija kuriame jis pridėjo patobulinimų ARM platformoms, parama konteinerių paleidimo planavimui ir kitiems dalykams.
Apache Hadoop pozicionuoja save kaip nemokamą platformą organizuoti paskirstytas didelio duomenų kiekio apdorojimas naudojant žemėlapio / sumažinimo paradigma, kurioje užduotis yra padalinta į daugybę mažesnių izoliuotų gabalų, kurių kiekvienas gali vykti atskirame grupių mazge.
„Hadoop“ pagrindu sukurta saugykla ji gali apimti tūkstančius mazgų ir joje gali būti duomenų.
Apie Apache Hadoop
Hadoop apima „Hadoop“ paskirstytos failų sistemos įgyvendinimą (HDFS), kuris automatiškai užtikrina duomenų perteklių ir yra optimizuotas „MapReduce“ programoms.
Pagrindinis funkcionalumas yra tas, kad norint efektyviai planuoti darbą, kiekviena failų sistema turi žinoti ir nurodyti savo vietą, stovo (tiksliau, jungiklio) pavadinimą, kuriame yra darbuotojo mazgas.
„Hadoop“ programos gali naudoti šią informaciją darbui mazge, kuriame yra duomenys, ir, to nepadarius, tame pačiame stende / jungiklyje, taip sumažinant tinklo srautą.
Supaprastinti prieigą prie duomenų „Hadoop“ saugykloje, Sukurta HBase duomenų bazė ir į SQL panaši kiaulių kalba, kuris yra „MapReduce“ SQL tipas, kurio užklausas galima lygiagrečiai ir apdoroti įvairiomis „Hadoop“ platformomis.
Projektas vertinamas kaip visiškai stabilus ir paruoštas naudoti pramonėje. „Hadoop“ aktyviai naudojama dideliuose pramonės projektuose, teikdama galimybes, panašias į „Google Bigtable / GFS / MapReduce“ platformą, o „Google“ oficialiai deleguoti „Hadoop“ ir kiti „Apache“ projektai turi teisę naudoti patentuotas technologijas, susijusias su „MapReduce“ metodu.
Hadoopas užima pirmąją vietą tarp „Apache“ saugyklų pagal atliktų pakeitimų skaičių ir penktą pagal dydį kodų bazę (maždaug 4 milijonai kodo eilučių).
Kas naujo „Apache Hadoop 3.3“?
Ši nauja „Hadoop“ versija yra kaip pirmoji versija el parama ARM platformoms, Su kuo norintys įdiegti šią platformą galės rasti jau turimą ARM dvejetainį variantą.
Kitas pagrindinių pakeitimų, pateiktų šioje naujojoje versijoje, yra naujos „Protobuf“ formato versijos diegimas (Protokolo buferiai), naudojami struktūriniams duomenims nuoseklinti buvo atnaujinta į versiją 3.7.1 dėl protobuf-2.5.0 šakos gyvenimo ciklo pabaigos.
Be to, taip pat jau buvo išplėstos S3A jungties galimybės kad dabar jį turi pridėtas palaikymas naudojant atpažinimo ženklus, patobulinta atsakymo talpyklų palaikymas naudojant 404 kodą, didesnis „S3guard“ našumas ir didesnis darbo patikimumas.
taip pat Pridėta DNS sprendimo priemonė klientui nustatyti serverius per DNS pagal pagrindinio kompiuterio vardus, o tai leidžia jums atsisakyti visų konfigūracijos pagrindinių kompiuterių sąrašo.
Taip pat parama konteinerių paleidimo planavimui per centralizuotą išteklių valdytoją („ResourceManager“), net turint galimybę paskirstyti konteinerius atsižvelgiant į kiekvieno mazgo apkrovą.
Iš kitų išsiskiriančių pokyčių šios naujos versijos:
- Automatinio derinimo problemos buvo išspręstos ABFS failų sistemoje.
- Pridėta vietinė parama „Tencent Cloud COS“ failų sistemai, norint pasiekti COS objektų saugyklą.
- Buvo pridėtas visas „Java 11“ palaikymas.
- Stabilizavo HDFS RBF (Router Based Federation) įgyvendinimą. Saugos valdikliai buvo pridėti prie HDFS maršrutizatoriaus.
- Pridėta „YARN“ programos katalogo paieška (kitas išteklių derybininkas).
Galiausiai, jei norite sužinoti daugiau apie tai, galite patikrinti išsamią naujos versijos informaciją originalus įrašas.
Tiems, kurie domisi galimybe gauti naują versiją, jie gali atsisiųsti paruoštus dvejetainius failus Šioje nuorodoje.