Apache Flink: järgmise põlvkonna Big Data Analyticsi raamistik voogesituse ja pakettandmetöötluse jaoks

Siit blogist leiate kõike Apache Flinki ja Flinki klastri seadistamise kohta. Flink toetab reaalajas ja pakkide töötlemist ning on Big Data Analyticsi jaoks vajalik vaadata Big Data tehnoloogiat.

Apache Flink on avatud lähtekoodiga platvorm hajutatud voo ja pakettandmete töötlemiseks. See võib töötada Windowsis, Mac OS-is ja Linuxis. Selles blogipostituses arutleme, kuidas Flinki klastrit kohalikult seadistada. See sarnaneb Sparkiga mitmeti - sellel on graafikute ja masinate õppimise töötlemise API-d nagu Apache Spark -, kuid Apache Flink ja Apache Spark pole täpselt samad.





Flink-klastri seadistamiseks peab teie süsteemis olema installitud Java 7.x või uuem versioon. Kuna mul on CentOS-i (Linux) minu otsa installitud Hadoop-2.2.0, olen alla laadinud Flink-paketi, mis ühildub Hadoop 2.x-ga. Flinki paketi allalaadimiseks käivitage käsk allpool.

Käsk: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz



Command-Apache-Flink

Pöördkataloogi saamiseks tühistage fail.

Käsk: tar -xvf Allalaadimised / flink-1.0.0-bin-hadoop2-scala_2.10.tgz



Käsk: ls

Lisage .bashrc-faili Flinki keskkonnamuutujad.

Käsk: sudo gedit .bashrc

Peate käivitama alloleva käsu, et .bashrc-faili muudatused oleksid aktiveeritud

Käsk: allikas .bashrc

Nüüd minge flink kataloogi ja käivitage klaster kohapeal.

Käsk: cd kopsakas-1,0,0

Käsk: bin / start-local.sh

Kui olete klastri käivitanud, näete, kuidas töötab uus deemon JobManager.

Käsk: jps

mis vahe on css-l ja css3-l

Apache Flinki veebiliidese nägemiseks avage brauser ja minge aadressile http: // localhost: 8081.

Käitagem Apache Flinki abil lihtsat sõnade arvu näidet.

Enne näite käivitamist installige netcat oma süsteemis (sudo yum install nc).

Nüüd käivitage uues terminalis järgmine käsk.

Käsk: nc -lk 9000

Käivitage allpool antud käsk flink terminalis. See käsk käivitab programmi, mis võtab voogedastatud andmed sisendiks ja teostab voogesitatud andmetega sõnade arvu.

Käsk: bin / flink run näited / streaming / SocketTextStreamWordCount.jar –hostname localhost –port 9000

Veebiliides näete tööd jooksvas olekus.

Käivitage käsk allpool uues terminalis, see prindib voogesitatud ja töödeldud andmed.

kuidas kasutada java swing

Käsk: tail -f log / flink - * - jobmanager - *. välja

Nüüd minge terminali, kus alustasite netcati, ja tippige midagi.

Sel hetkel, kui vajutate märksõna sisestusnuppu pärast mõne teabe sisestamist netcati terminali, rakendatakse nendele andmetele wordcount-operatsiooni ja väljund trükitakse siin (flink's jobmanageri logi) millisekundite jooksul!

Väga lühikese aja jooksul voogesitatakse, töödeldakse ja prinditakse andmeid.

Apache Flinki kohta on palju muud õppida. Puudutame oma eelseisvas ajaveebis muid Flinki teemasid.

Kas teil on meile küsimus? Mainige neid kommentaaride jaotises ja me võtame teiega ühendust.

Seonduvad postitused:

Apache Falcon: Hadoopi ökosüsteemi uus andmehalduse platvorm