Apache Falcon: Hadoopi ökosüsteemi uus andmehalduse platvorm

Apache Falcon on Hadoopi ökosüsteemi uus andmehalduse platvorm, mis lihtsustab hadoop-klastrite voogude töötlemist ja voogude haldamist. Siit saate teada, kuidas seda seadistada.



Apache Falcon on raamistik andmete elutsükli haldamiseks Hadoopi klastrites. See loob seose Hadoopi keskkonna erinevate andmete ja töötlemiselementide vahel ning pakub ka vooguhaldusteenuseid, näiteks voo säilitamine, klastritevahelised replikatsioonid, arhiivimine jne.

Arutleme kõigepealt, kuidas Apache Falconi seadistada. Falconi git-hoidla allalaadimiseks käivitage allpool antud käsk:

Käsk: git kloon https://git-wip-us.apache.org/repos/asf/falcon.git falcon



erinevus ansible ja koka vahel

git-command-apache-falcon

Falconi käitamiseks peate selle kõigepealt ehitama.

Käsk: cd-pistrik



Käsk: eksport MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn puhas install -DskipTests

Käsk: mvn clean assembly: kokkupanek -DskipTests -DskipITs

Kui olete falconi ehitanud, leiate kataloogist / falcon / distro / target / kataloogist falcon-paketi.

Pistriku ehitamise käsud näevad välja väga lihtsad, kuid enne ehituse õnnestumisteate nägemist peate silmitsi seisma paljude probleemidega. Hadoop-2.2.0 jaoks seda tehes puutusin kokku paljude probleemidega

Nii et Falconi ehitamise valu vahele jätmiseks annan teile edukalt ehitatud falcon-paketi, mille saate alla laadida alloleva lingi abil.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Pakkige fail lahti, et saada kataloog falcon-0.10.

Käsk: lahti pakkima falcon-0.10-SNAPSHOT.zip

Määrake flacon-keskkonnamuutujad .bashrc-failis.

Käsk: sudo gedit .bashrc

Käsk: allikas .bashrc

Võite minna falcon kataloogi ja vaadata selles olevaid faile ja katalooge.

Käsk: cd falcon-0,10-SNAPSHOT /

Käsk: ls

Pistriku skripte leiate prügikasti kataloogist.

Käivitage Falconi käivitamiseks käsu all.

Käsk: ./bin/falcon-start

Näete, et töötab nüüd uus deemon FalconServer.

Käsk: jps

Käsk: ./bin/falcon admin -versioon

Avage oma brauser ja minge aadressile kohalik host: 15000 . Näete Falconi veebiliidest.

Kas teil on meile küsimus? Mainige neid kommentaaride jaotises ja me võtame teiega ühendust.

Seonduvad postitused:

Apache Drilli põhjalikum uurimine