Informatica ETL: algajate juhend ETL-i mõistmiseks Informatica PowerCenteri abil

Informatica ETL-i mõistete mõistmine ja ETL-i protsessi erinevad etapid ning töötajate andmebaasi kasutava juhtumi praktiseerimine.

Informatica ETL-i eesmärk on pakkuda kasutajatele mitte ainult andmete väljavõtmist allikasüsteemidest ja toomist andmelattu, vaid pakkuda kasutajatele ka ühist platvormi, et integreerida oma andmed erinevatelt platvormidelt ja rakendustest.See on toonud kaasa nõudluse suurenemise .Enne kui räägime Informatica ETL-ist, mõistkem kõigepealt, miks me ETL-i vajame.



Miks me vajame ETL-i?

Iga ettevõteneed päevad peavad töödelda suuri andmekogumeid erinevatest allikatest. Neid andmeid tuleb töödelda, et anda ülevaatlikku teavet äriotsuste tegemiseks. Kuid sageli on sellistel andmetel järgmised väljakutsed:



  • Suured ettevõtted genereerivad palju andmeid ja selline tohutu andmepakk võib olla igas vormingus. Need oleksid saadaval mitmes andmebaasis ja paljudes struktureerimata failides.
  • Need andmed tuleb koondada, kombineerida, võrrelda ja panna toimima sujuva tervikuna. Kuid erinevad andmebaasid ei suhtle hästi!
  • Paljud organisatsioonid on nende andmebaaside vahel kasutanud liideseid, kuid neil oli järgmised väljakutsed:
    • Iga andmebaasipaar nõuab unikaalset liidest.
    • Ühe andmebaasi muutmisel võib juhtuda, et paljusid liideseid tuleb uuendada.

Allpool näete organisatsiooni erinevaid andmebaase ja nende koostoimeid:

Organisatsiooni erinevad andmekogumid - Informatica - ETL - Edureka

Organisatsiooni erinevate osakondade kasutatavad erinevad andmebaasid



Organisatsiooni andmebaaside erinevad koostoimed

Nagu ülalpool näha, võib organisatsiooni erinevates osakondades olla erinevaid andmebaase ja nende omavaheline suhtlus muutub raskesti rakendatavaks, kuna neile tuleb luua erinevad interaktsiooniliidesed. Nendest väljakutsetest ülesaamiseks on parim võimalik lahendus mõistete abil Andmete integreerimine mis võimaldaks erinevatest andmebaasidest ja vormingutest pärinevatel andmetel omavahel suhelda. Allolev joonis aitab meil mõista, kuidas andmete integreerimise tööriistast saab erinevate andmebaaside vahelise suhtluse ühine liides.

Andmete integreerimise kaudu ühendatud erinevad andmebaasid



Kuid andmete integreerimiseks on saadaval erinevad protsessid. Nendest protsessidest on ETL kõige optimaalsem, tõhusam ja usaldusväärsem protsess. ETL-i kaudu ei saa kasutaja mitte ainult tuua andmeid erinevatest allikatest, vaid ka teha enne andmete salvestamist lõppsihtmärgini mitmesuguseid toiminguid andmetega.

Erinevate turul saadaolevate ETL-i tööriistade hulgas on Informatica PowerCenter turu juhtiv andmete integreerimise platvorm. Testinud ligi 500 000 platvormi ja rakenduse kombinatsiooni, töötab Informatica PowerCenter inter võimalikult paljude erinevate standardite, süsteemide ja rakendustega. Mõistkem nüüd Informatica ETL-i protsessi etappe.

Informaatika ETL | Informatica arhitektuur | Informatica PowerCenteri õpetus Edureka

See Edureka Informatica õpetus aitab teil üksikasjalikult mõista ETLi põhialuseid, kasutades Informatica Powercenterit.

Informatica ETL-protsessi etapid:

Enne kui liigume Informatica ETL-i erinevate sammude juurde, olgem ülevaade ETL-ist. ETL-is on ekstraktimine koht, kus andmed eraldatakse homogeensetest või heterogeensetest andmeallikatest, teisendamine, kus andmed teisendatakse päringu ja analüüsi jaoks õiges vormingus või struktuuris säilitamiseks ning laadimine, kui andmed laaditakse lõplikku sihtandmebaasi, operatiivne andmekogu, andmekeskus või andmeladu. Allolev pilt aitab teil mõista, kuidas Informatica ETL protsess toimub.

ETL-i protsessi ülevaade

Nagu eespool näha, saab Informatica PowerCenter laadida andmeid erinevatest allikatest ja salvestada need ühte andmelattu. Vaatame nüüd Informatica ETL-i protsessi etappe.

Informatica ETL protsessis on peamiselt neli sammu, mõistkem neid nüüd põhjalikult:

  1. Väljavõte või jäädvustamine
  2. Puhastage või puhastage
  3. Teisenda
  4. Koormus ja indeks

1. Väljavõte või jäädvustamine: Nagu alloleval pildil näha, on Capture or Extract (Informatsiooni muutmine või eemaldamine) Informatica ETL-i protsessi esimene samm.See on valitud andmete alamhulga hetktõmmise hankimine allikast, mis tuleb laadida andmelattu. Hetkepilt on andmebaasis olevate andmete staatiline kirjutusvaade. Väljavõtte protsess võib olla kahte tüüpi:

  • Täielik väljavõte: Andmed eraldatakse täielikult lähtesüsteemist ja pole vaja jälgida andmeallika muudatusi pärast viimast edukat väljavõtmist.
  • Lisaväljavõte: See haarab ainult muudatused, mis on toimunud pärast viimast täielikku väljavõtet.

1. etapp: väljavõtte tegemine või jäädvustamine

2. Puhastage või puhastage: See on allikast pärinevate andmete puhastamise protsess, kasutades mitmesuguseid mustrituvastuse ja tehisintellekti tehnikaid edastatud andmete kvaliteedi parandamiseks. Tavaliselt on sellised vead nagu õigekirjavead, valed kuupäevad, vale väljakasutus, sobimatud aadressid, puuduvad andmed, duplikaadiandmed, vastuoludesile tõstetud ja seejärel parandatud või eemaldatudselles etapis. Selles etapis tehakse ka selliseid toiminguid nagu dekodeerimine, ümbervormindamine, ajatempel, teisendamine, võtmete genereerimine, ühendamine, vigade tuvastamine / logimine, puuduvate andmete leidmine. Nagu allolevalt pildilt näha, on see Informatica ETL-i protsessi teine ​​etapp.

2. etapp: andmete puhastamine või puhastamine

3. Teisendamine: Nagu alloleval pildil näha, on see Informatica ETL-i protsessi kolmas ja kõige olulisem samm. Ümberkujundamine on toiming andmete teisendamiseks lähtesüsteemi formaadist andmelao karkassiks. Transformatsiooni kasutatakse põhimõtteliselt reeglite kogumi esitamiseks, mis määratlevad andmevoo ja andmete laadimise sihtmärkidesse. Transformatsiooni kohta lisateabe saamiseks vaadake Ümberkujundused Informatikas Ajaveeb.

3. etapp: transformatsioon

4. Koormus ja indeks: See on Informatica ETL-i protsessi viimane etapp, nagu on näha alloleval pildil. Selles etapis paigutame teisendatud andmed lattu ja loome andmete indeksid. Laadimisprotsessi põhjal on saadaval kaks peamist tüüpi andmekoormust:

  • Täiskoormus või mahtlast :Andmete laadimise protsess, kui me seda esimest korda teeme. Töö eraldab kogu andmemahu lähtetabelist ja laadib pärast vajalike teisenduste rakendamist sihtandmete lattu. See on ühekordne töö, mida tehakse pärast seda, kui ainult muudatused võetakse osa väljavõtte osana.
  • Lisakoormus või Värskenda koormust : Ainuüksi muudetud andmeid värskendatakse sihtmärgil, millele järgneb täielik koormus. Muudatused võetakse arvesse, võrreldes loodud või muudetud kuupäeva töö viimase käitamiskuupäevaga.Ainult muudetud andmed pärinevad allikast ja neid värskendatakse sihtmärgis olemasolevaid andmeid mõjutamata.

4. etapp: laadimine ja indeks

Kui olete aru saanud Informatica ETL-i protsessist, on meil nüüd paremad võimalused hinnata, miks Informatica on sellistel juhtudel parim lahendus.

Informatica ETL omadused:

Kõigi andmete integreerimise ja ETL-i toimingute jaoks on Informatica meile andnud Informatica PowerCenter . Vaatame nüüd mõningaid Informatica ETL-i põhijooni:

  • Pakub võimalust suure hulga teisendusreeglite määramiseks GUI-ga.
  • Andmete teisendamiseks saate luua programme.
  • Käsitsege mitut andmeallikat.
  • Toetab andmete eraldamist, puhastamist, liitmist, ümberkorraldamist, teisendamist ja laadimist.
  • Genereerib automaatselt programmid andmete väljavõtmiseks.
  • Sihtandmete ladude kiire laadimine.

Allpool on toodud mõned tüüpilised stsenaariumid, milles Informatica PowerCenteri kasutatakse:

  1. Andmete migreerimine:

Ettevõte ostis oma kontode osakonnale uue võlgnevuse. PowerCenter saab olemasolevad kontoandmed uude rakendusse teisaldada. Allolev joonis aitab teil mõista, kuidas saate Informatica PowerCenteri andmete migreerimiseks kasutada. Informatica PowerCenter suudab andmete üleviimise käigus hõlpsalt säilitada maksujuhtimise, raamatupidamise ja muudel seaduslikult volitatud eesmärkidel andmeid.

Andmete üleviimine vanemast raamatupidamisrakendusest uude rakendusse

  1. Rakenduste integreerimine:

Oletame, et ettevõte A ostab ettevõtte B. Nii et konsolideerimise eeliste saavutamiseks tuleb ettevõtte-B arveldussüsteem integreerida ettevõtte-A arveldussüsteemiga, mida saab hõlpsasti teha Informatica PowerCenteri abil. Allolev joonis aitab teil mõista, kuidas saate Informatica PowerCenteri kasutada rakenduste integreerimiseks ettevõtete vahel.

Rakenduste integreerimine ettevõtete vahel

  1. Andmete ladustamine

Andmehoidlates nõutavad tüüpilised toimingud on järgmised.

  • Kombineerides analüüsimiseks paljudest allikatest pärinevat teavet.
  • Andmete teisaldamine paljudest andmebaasidest andmelao.

Kõiki ülaltoodud tüüpilisi juhtumeid saab hõlpsasti läbi viia Informatica PowerCenteri abil. Allpool näete, et Informatica PowerCenterit kasutatakse mitmesuguste andmebaaside (nt Oracle, SalesForce jne) andmete ühendamiseks ja Informatica PowerCenteri loodud ühiseks andmelaoks viimiseks.

Andmed erinevatest andmebaasidest, mis on integreeritud ühisesse andmelattu

  1. Vahevara

Oletame, et jaemüügiorganisatsioon kasutab jaemüügirakenduste jaoks SAP R3 ja andmeladuna SAP BW-d. Nende kahe rakenduse vaheline otsesuhtlus pole sideliidese puudumise tõttu võimalik. Informatica PowerCenteri saab siiski kasutada nende kahe rakenduse vahel vahevara. Alloleval pildil näete arhitektuuri, kuidas Informatica PowerCenteri SAP R / 3 ja SAP BW vahel vahevara kasutatakse. Rakendused SAP R / 3 - st edastavad oma andmed ABAP - raamistikule, mis seejärel edastab needSAP müügikoht (POS) ja SAPTeenuste arved (BOS). Informatica PowerCenter aitab nendest teenustest andmeid üle kanda SAP-i äriladu (BW).

Informatica PowerCenter vahevara SAP Retail Architecture'is

Kuigi olete näinud Informatica ETL-i mõningaid põhijooni ja tüüpilisi stsenaariume, loodan, et mõistate, miks Informatica PowerCenter on parim tööriist ETL-protsessi jaoks. Vaatame nüüd Informatica ETL-i kasutamise juhtumit.

Kasutamise juhtum: kahe tabeli ühendamine ühe detailse tabeli saamiseks

Oletame, et soovite oma töötajatele pakkuda osakondade jaoks mõistlikku transporti, kuna osakonnad asuvad erinevates kohtades. Selleks peate kõigepealt teadma, millisesse osakonda iga töötaja kuulub, ja osakonna asukoht. Töötajate andmed on siiski salvestatud erinevatesse tabelitesse ja peate osakonna üksikasjad ühendama olemasoleva andmebaasiga, kus on kõigi töötajate andmed. Selleks laadime kõigepealt mõlemad tabelid Informatica PowerCenterisse, teostame andmetele lähtekvalifikatsiooni teisenduse ja lõpuks laadime üksikasjad sihtmärkide andmebaasi.Alustame:

Samm 1 : Avage PowerCenter Designer.

Allpool on Informatica PowerCenter Designeri avaleht.

Loogem nüüd ühendus hoidlaga. Kui te pole oma hoidlaid konfigureerinud või kui teil on probleeme, võite meie lehelt vaadata Ajaveeb.

2. samm: Paremklõpsake oma hoidlal ja valige ühendusvõimalus.

informaatika teisenduste tüübid

Ühendusevalikul klõpsamisel palutakse teil kuvada allolev ekraan, küsides hoidla kasutajanime ja parooli.

Kui olete hoidlaga ühenduse loonud, peate avama oma töökausta, nagu allpool näha:

Teil palutakse küsida kaardistamise nimi. Määrake kaardistamise nimi ja klõpsake nuppu OK (olen nimetanud seda kui m-TÖÖTAJA ).

3. samm: Laadime nüüd tabelid andmebaasist, alustades andmebaasiga ühenduse loomisest. Selleks valige vahekaart Allikad ja suvand Impordi andmebaasist, nagu allpool näha:

Klõpsates nuppu Impordi andmebaasist, palutakse teil kuvada allpool olev ekraan, kus küsitakse ühenduse loomiseks teie andmebaasi üksikasju ning selle kasutajanime ja parooli (kasutan Oracle'i andmebaasi ja HR-i kasutajat).

Andmebaasiga ühenduse loomiseks klõpsake nuppu Ühenda.

4. samm: Kuna soovin liituda TÖÖTAJAD ja OSAKOND tabelid, valin need ja klõpsan nuppu OK.
Allikad on nähtavad teie kaardistamise kujundaja tööruumis, nagu allpool näha.

5. samm: Samamoodi laadige siht tabel kaardistamisele.

6. samm: Lingime nüüd allika täpsustaja ja tabeli. Paremklõpsake tööruumi tühjal kohal ja valige Autolink, nagu allpool näha:

Allpool on kaardistamine, mille Autolink lingib.

7. samm: Kuna peame mõlemad tabelid allikakvalifikaatoriga linkima, valige osakonna tabeli veerud ja kukutage see allikakvalifikaatorisse, nagu allpool näha:

mis on javas jadatav

Lohistage veeru väärtused allika kvalifikaatorisse SQ_EMPLOYEES .

Allpool on uuendatud allikakvalifikaator.

8. samm: Teisenduse muutmiseks tehke topeltklõps allikakvalifikaatoril.

Te saate hüpiku Muuda teisendust, nagu allpool näha. Klõpsake vahekaarti Atribuudid.

9. samm: Klõpsake vahekaardi Atribuudid rida Kasutaja määratud liitumise väli Väärtus.

Saate järgmise SQL-redaktori:

10. samm: Sisenema EMPLOYEES.DEPARTMENT_ID = DEPARTMENT.DEPARTMENT_ID kui tingimus liituda mõlema tabeliga SQL-väljal ja klõpsake nuppu OK.

11. samm: Nüüd klõpsake SQL-i päringu real, et luua SQL liitumiseks, nagu allpool näha:

Saate järgmise SQL-i redaktori, klõpsake valikul Loo SQL-i valik.

Eelmises etapis määratletud tingimuse jaoks luuakse järgmine SQL. Klõpsake nuppu OK.

12. samm: Klõpsake nuppu Rakenda ja OK.

Allpool on lõpetatud kaardistamine.

Oleme lõpetanud selle kavandamise, kuidas andmeid allikast sihtmärgini üle kanda. Andmete tegelik edastamine on aga alles ees ja selleks peame kasutama PowerCenteri töövoo kujundust. Töövoo käivitamine viib andmete ülekandumiseni allikast sihtmärgini. Töövoo kohta lisateabe saamiseks vaadake meie Informatica õpetus: töövoog Ajaveeb

13. samm: LNüüd käivita töövoogihaldur, klõpsates ikooni W, nagu allpool näha:

Allpool on töövoo kujundaja avaleht.

14. samm: Loogem nüüd meie kaardistamiseks uus töövoog. Klõpsake vahekaarti Töövoog ja valige Loo suvand.

Saad alloleva hüpikakna. Määrake oma töövoo nimi ja klõpsake nuppu OK.

15. samm : Kui töövoog on loodud, saame töövoo halduri tööruumi Start-ikooni.

Lisame nüüd uue seansi tööruumi, nagu allpool näha, klõpsates seansiikoonil ja klõpsates tööruumi:

Seansi ikooni paigutamiseks klõpsake tööruumi.

16. samm: Seansi lisamise ajal peate valima kaardistamise, mille olete loonud ja salvestanud ülaltoodud sammude abil. (Olin selle salvestanud kui M-TÖÖTAJA).

Allpool on tööruum pärast seansiikooni lisamist.

17. samm : Nüüd, kui olete uue seansi loonud, peame selle linkima algusülesandega. Saame seda teha, klõpsates alloleval ikoonil Lingi ülesanne:

Lingi loomiseks klõpsake kõigepealt ikooni Start ja seejärel ikooni Session.

Allpool on ühendatud töövoog.

kuidas installida php-aknaid 10

18. samm: Nüüd, kui oleme disaini lõpule viinud, alustame töövoogu. Klõpsake vahekaarti Töövoog ja valige suvand Käivita töövoog.

Töövoo haldur käivitab töövoo seire.

19. samm : Kui oleme töövoo käivitanud, käivitub töövoogihaldur automaatseltjavõimaldab teil jälgida oma töövoo täitmist. Allpool näete, et töövoo jälgija näitab teie töövoo olekut.

20. samm: Töövoo oleku kontrollimiseks paremklõpsake töövoo ja valige käsk Käivita atribuudid, nagu allpool näha:

Valige vahekaart Allika / sihtstatistika.

Allpool näete nende ridade arvu, mis on pärast teisendamist allika ja sihtmärgi vahel üle viidud.

Samuti saate oma tulemust kontrollida siht tabeli kontrollimisel, nagu allpool näha.

Loodan, et see Informatica ETL-i ajaveeb oli abiks, et luua oma arusaam Informatica abil ETL-i mõistetest ja on tekitanud teile piisavalt huvi Informatica kohta rohkem teada saada.

Kui leiate, et see ajaveeb on kasulik, saate tutvuda ka meie ajaveebisarjaga Informatica Tutorial , Informatica õpetus: Informatica 'Inside Out' mõistmine ja Informatica transformatsioonid: Informatica PowerCenteri süda ja hing . Juhul, kui otsite Informatica sertifitseerimise kohta üksikasju, saate vaadata meie ajaveebi Informatica sertifikaat: kõik, mida on vaja teada .

Kui olete juba otsustanud Informatica karjäärina asuda, soovitaksin teil meie pilguga tutvuda kursuse leht. Edurekas toimuv Informatica sertifitseerimiskoolitus muudab teid Informatica eksperdiks reaalajas juhendajate juhitud seansside ja praktiliste koolituste abil, kasutades reaalses elus kasutatavaid juhtumeid.