Tutorialul SSIS oferă concepte de bază și avansate ale serviciilor de integrare SQL Server. Tutorialul nostru SSIS este conceput pentru începători și profesioniști.
Serviciul de integrare SQL Server este un instrument rapid și flexibil de depozitare a datelor utilizat pentru extragerea, transformarea și încărcarea datelor. Facilitează încărcarea datelor dintr-o bază de date în altă bază de date, cum ar fi SQL Server, Oracle, fișier Excel etc.
În acest tutorial, vom discuta următoarele subiecte:
- Ce este SSIS
- Ce este integrarea datelor
- De ce SSIS
- Cum funcționează SSIS
- Cerințe pentru serviciul de integrare SQL Server
- Ce este pachetul SSIS
- Sarcini SSIS
- Exemplu de sarcină de flux de date
- Exemplu de executare a sarcinii SQL
Ce este SSIS?
- SSIS înseamnă SQL Server Integration Services.
- Este o componentă disponibilă în software-ul bazei de date Microsoft SQL Server, utilizată pentru a efectua o gamă largă de sarcini de integrare.
- Este un instrument de depozitare a datelor folosit pentru extragerea datelor, încărcarea datelor într-o altă bază de date, transformări precum curățarea, agregarea, fuzionarea datelor etc.
- Instrumentul SSIS conține, de asemenea, instrumentele grafice și funcțiile de flux de lucru ale vrăjitorilor de ferestre, cum ar fi trimiterea de mesaje de e-mail, operațiuni ftp, surse de date.
- SSIS este utilizat pentru a efectua o gamă largă de sarcini de transformare și integrare. În ansamblu, instrumentul SSIS este utilizat în migrarea datelor.
SSIS este un instrument utilizat în principal pentru a efectua două funcționalități:
SSIS realizează integrarea datelor prin combinarea datelor din mai multe surse și furnizează date unificate utilizatorilor.
Fluxul de lucru poate fi folosit pentru a efectua mai multe lucruri. Uneori trebuie să executăm niște pași specifici sau o anumită cale care se bazează fie pe perioada de timp, fie pe parametrul transmis pachetului sau pe datele interogate din baza de date. Poate fi folosit pentru a automatiza întreținerea bazelor de date SQL Server și oferă actualizarea datelor analitice multidimensionale.
Ce este integrarea datelor?
Integrarea datelor este un proces pe care îl urmați pentru a integra datele din mai multe surse. Datele pot fi fie date eterogene, fie date omogene. Datele pot fi structurate, semi-structurate sau nestructurate. În integrarea datelor, datele din diferite surse de date diferite se integrează pentru a forma unele date semnificative.
Unele metode sunt utilizate pentru a realiza integrarea datelor:
Avantajele integrării datelor:
Reduce complexitatea datelor, ceea ce înseamnă că datele pot fi livrate oricărui sistem. Integrarea datelor menține complexitatea, conexiunile simplificate și facilitează livrarea datelor oricărui sistem.
Integritatea datelor joacă un rol major în integrarea datelor. Se ocupă cu curățarea și validarea datelor. Toată lumea își dorește date de înaltă calitate și robuste, așa că pentru a realiza acest concept de integrare a datelor este utilizat. Integrarea datelor este utilă în eliminarea erorilor, inconsecvenței și duplicarea.
Accesibilitatea vine sub colaborarea datelor. Accesibilitatea înseamnă că datele pot fi transformate cu ușurință, iar oamenii pot integra cu ușurință datele în proiecte, pot împărtăși rezultatele lor și pot păstra datele actualizate.
De asemenea, vă oferă posibilitatea de a lua decizii mai inteligente. O date integrate se referă la procesul de transmitere în cadrul unei companii astfel încât să putem înțelege mai ușor informațiile. O date integrate este mult mai ușoară și informativă.
De ce SSIS?
SSIS este utilizat din următoarele motive:
SSIS este utilizat pentru a combina datele din mai multe surse de date pentru a genera o singură structură într-o vizualizare unificată. Practic, este responsabil pentru colectarea datelor, extragerea datelor din mai multe surse de date și fuzionarea într-o singură sursă de date.
SSSIS este o platformă care are capacitatea de a încărca o cantitate mare de date din Excel într-o bază de date SQL Server.
Instrumentul SSSIS oferă o integrare strânsă cu alte produse Microsoft.
Instrumentul SSSIS este mai ieftin decât majoritatea celorlalte instrumente. Poate rezista cu alte produse de bază, gestionabilitatea acestora, business intelligence etc.
SSSIS vă permite să gestionați eroarea complexă dintr-un flux de date. Puteți porni și opri fluxul de date în funcție de gravitatea erorii. Puteți chiar să trimiteți un e-mail la administrator atunci când apare o eroare. Când o eroare este rezolvată, puteți alege calea dintre fluxul de lucru.
Cum funcționează SSIS?
Știm că SSIS este o platformă pentru două funcții, și anume, integrarea datelor și fluxul de lucru. Atât sarcinile Transformarea datelor, cât și crearea fluxului de lucru sunt efectuate prin utilizarea pachetului SSIS. Pachetul SSIS este format din trei componente:
Date operaționale
Datele operaționale sunt o bază de date utilizată pentru a integra datele din mai multe surse de date pentru a efectua operațiuni suplimentare asupra datelor. Este locul în care datele sunt găzduite pentru operațiunea curentă înainte de a fi trimise la depozitul de date pentru stocare, raportare sau arhivare.
cum să găsești aplicații ascunse pe Android
ETL
- ETL este cel mai important proces din instrumentul SSIS. ETL este folosit pentru a extrage, transforma și încărca datele într-un depozit de date.
- ETL este un proces responsabil pentru extragerea datelor din mai multe surse de date, transformarea datelor în date utile și apoi stocarea datelor într-un depozit de date. Datele pot fi în orice format de fișier xml, fișier plat sau orice fișier de bază de date.
- De asemenea, se asigură că datele stocate în depozitul de date sunt relevante, exacte, de înaltă calitate și utile utilizatorilor de afaceri.
- Poate fi accesat cu ușurință, astfel încât depozitul de date să poată fi utilizat eficient și eficient.
- De asemenea, ajută organizația să ia decizii bazate pe date prin preluarea datelor structurate și nestructurate din mai multe surse de date.
Un ETL este un concept format din trei cuvinte, dar este împărțit în patru faze:
Captură: Faza de captare este cunoscută și sub denumirea de faza de extracție. În această fază, alege datele sursă sau metadatele, iar datele pot fi în orice format, cum ar fi fișier xml, fișier plat sau orice fișier de bază de date.
Scrub: În această fază, datele originale sunt verificate. Verifică datele, indiferent dacă sunt sau nu erori. Verifică erorile sau inconsecvența datelor prin utilizarea unor tehnici de inteligență artificială. Pe scurt, se verifică dacă calitatea produsului este îndeplinită sau nu.
Transforma: Este a treia fază în ETL. Transformarea este procesul prin care formatul original este convertit într-un format necesar pe care îl doriți. Transformarea înseamnă modelarea sau modificarea datelor în funcție de cerințele utilizatorului. Modificările pot fi fie modificări ale numărului de coloane, fie ale numărului de rânduri.
Încărcare și indexare: A patra fază este Încărcare și indexare. Încarcă datele și validează numărul de rânduri care au fost procesate. Odată ce încărcarea datelor este finalizată, se utilizează indexarea. Indexarea vă ajută să urmăriți numărul de rânduri care sunt încărcate în depozitul de date. Indexarea ajută și la identificarea datelor, indiferent dacă acestea sunt în formatul corect sau nu.
Depozitul de date
Depozitul de date este un depozit unic, complet și consistent de date, care este formulat prin combinarea datelor din mai multe surse de date.
Diferența dintre baza de date și depozitul de date
Răspunsul poate fi atât da, cât și nu. Atât baza de date, cât și depozitul de date au o unitate mare de date și o reprezentare fizică similară, dar timpul de răspuns al interogărilor complexe din depozitul de date este mai rapid decât baza de date.
Cerințe pentru SQL Server Integration Services
Următoarele sunt cerințele pentru a instala SQL Server Integration Services:
- Instalați SQL Server
- Instalați instrumentele de date SQL Server
Urmați pașii de mai jos pentru a instala instrumentele de date SQL Server:
Pasul 1: Apasa pe link https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 pentru a descărca instrumentele de date SQL Server.
Pasul 2: Când faceți clic pe linkul de mai sus, apare ecranul prezentat mai jos:
În ecranul de mai sus, selectați versiunea de SSDT pe care doriți să o instalați.
Pasul 3: Odată ce descărcarea este finalizată, rulați fișierul descărcat. Când rulați fișierul descărcat, apare ecranul care este prezentat mai jos:
Pasul 4: Faceți clic pe butonul Următorul.
Pasul 5: Selectați instanța de studio vizual și instrumentele pe care doriți să le instalați în studioul vizual 2017.
Pasul 6: Faceți clic pe Instalare buton.
Ce este pachetul SSIS?
Pachetul este un bloc fundamental în care codificați în SSIS. Aici, codul nu înseamnă că codificați într-un limbaj de programare; înseamnă dezvoltarea pe care o faci. Dezvoltarea se face în pachetul SSIS. SSIS este utilizat în principal pentru procesul ETL, iar procesul ETL este efectuat în interiorul pachetului SSIS.
Pachetul SSIS este compus din trei părți:
Pachetul SSIS va avea unele conexiuni, iar aceste conexiuni sunt folosite pentru a se conecta la diverse surse de date.
Pachetul SSIS este compus din două elemente, și anume, elemente de flux de control și elemente de flux de date. Elementele fluxului de control gestionează fluxurile de lucru. Fluxul de lucru înseamnă că executăm unele sarcini în pași, deci secvența se face prin fluxul de control.
Elementele fluxului de date efectuează transformări.
Sarcini SSIS
În pachetul SSIS, putem adăuga sarcinile. O sarcină este o unitate de lucru și vom avea diferite tipuri de sarcini pentru a efectua diferite tipuri de muncă. Există diferite tipuri de sarcini, dar vom discuta despre cele mai frecvente sarcini utilizate în SSIS:
Este folosit pentru a executa instrucțiunile SQL împotriva unei baze de date relaționale.
Este folosit în principal pentru a citi datele din una sau mai multe surse de date, pentru a transforma datele și, de asemenea, poate încărca datele către una sau mai multe destinații.
Este folosit pentru a procesa obiecte ale unui cub SSAS sau model tabular.
Această sarcină este folosită pentru a apela celelalte pachete din același proiect. Puteți chiar să transmiteți valorile variabilei pachetului apelat.
Vă permite să rulați o aplicație sau scripturi lot ca servicii de integrare SQL Server. Poate fi folosit pentru a deschide aplicația standard, cum ar fi Microsoft Excel, Microsoft Word, etc. Este, de asemenea, folosit pentru a dezarhiva fișierul comprimat.
Poate fi folosit pentru a efectua manipulări în sistemul de fișiere, cum ar fi mutarea fișierelor, ștergerea fișierelor, redenumirea fișierelor, schimbarea directorului etc.
Sarcinile IFTP sunt folosite pentru a efectua operațiunile pe fișiere și foldere. De exemplu, dacă doriți să trimiteți sau să primiți fișierul de la serverul FTP în directorul local, atunci este utilizată sarcina FTP SSIS.
Această sarcină vă permite să scrieți codul .Net pe care doriți să îl efectuați.
Această sarcină este folosită pentru a trimite un e-mail. Este utilizat în principal atunci când doriți să notificați utilizatorii cu privire la starea sarcinii dacă este în stare de rulare sau a apărut o eroare.
Să vedem un exemplu de lucru al unui serviciu de integrare a datelor.
Exemplu de sarcină de flux de date
Pasul 1: Mai întâi, creăm un fișier Excel în Microsoft Excel. Să presupunem că creez baza de date a studenților în Microsoft Excel, iar câmpurile din tabelul student sunt student_id, student_name, note și gen.
Pasul 2: Deschideți studioul vizual (SQL Server Data Tools).
Pasul 3: Faceți clic pe opțiunea Fișier și apoi treceți la Nou->Proiect.
Pasul 4: Când faceți clic pe Proiect, apare ecranul, care este afișat mai jos:
În ecranul de mai sus, faceți clic pe Integration Services care apare în partea din stânga a panoului și apoi faceți clic pe Integration Services Project.
Pasul 5: După ce faceți clic pe Proiectul Servicii de Integrare opțiunea, ecranul apare după cum urmează:
Ecranul de mai sus constă din cinci file, cum ar fi Flux de control, Flux de date, Parametri, Manipulator de evenimente și Explorator de pachete. Am discutat deja despre fluxul de control și fluxul de date, atât fluxul de control, cât și fluxul de date există în pachetul SSIS.
pasul 6: Pentru a importa datele, trebuie mai întâi să creăm baza de date în care creăm tabelul în baza de date SQL Server. După cum știm că datele studenților sunt disponibile în fișierul Excel și dorim să importam datele în baza de date SQL Server. Pentru a realiza acest lucru, trebuie mai întâi să creăm tabelul în SQL Server. Deschideți studioul SQL Server Management.
Pasul 7: Creați student Bază de date. Faceți clic dreapta pe baza de date, apoi faceți clic pe Noua baza de date opțiune.
Pasul 8: Introduceți numele bazei de date în captura de ecran de mai jos:
Am dat StudentWarehouse ca nume de bază de date.
Pasul 9: Faceți clic pe Bine buton.
Pasul 10: Acum, creăm tabelul în a StudentWarehouse Bază de date. Faceți clic dreapta pe Tabele, apoi faceți clic pe Tabelul Nou.
Pasul 11: Acum adăugăm câmpurile într-un tabel, cum ar fi student_id, student_name, note și gen. Am stabilit student_id ca o cheie primară care identifică în mod unic fiecare rând.
algebra multimilor
Ecranul de mai sus arată că adăugăm patru câmpuri într-un tabel. După adăugarea tuturor câmpurilor dintr-un tabel, salvăm tabelul furnizând un nume util. Să presupunem că am furnizat studentului ca nume de tabel.
Pasul 12: Reveniți la studioul vizual. Fluxul de control conține sarcina de flux de date, trageți și plasați sarcina de flux de date în fereastra principală.
Pasul 13: Când facem dublu clic pe Data Flow Task, controlul se mută automat în Data Flow din Control Flow, așa că putem spune că Control Flow este un container de Data Flow.
Pasul 14: Acum, putem efectua transformările în Data Flow. Dorim să extragem datele din fișierul Excel pe care l-am creat mai devreme, așa că trageți și plasați sursa Excel din celelalte surse care apar în partea stângă a panoului.
Din ecranul de mai sus, observăm că în interiorul Sursei Excel apare crucea roșie, înseamnă că componenta este configurată cu Sursa Excel.
Pasul 15: Pentru a configura componenta, faceți clic dreapta pe sursa Excel și faceți clic pe opțiunea Editare așa cum se arată în captura de ecran de mai jos:
Pasul 16: Completați detaliile afișate în captura de ecran de mai jos:
Pasul 17: După ce ați introdus toate detaliile, apare ecranul prezentat după cum urmează:
Pasul 18: Faceți clic pe Excel Souce.
Ecranul de mai sus arată două săgeți, roșu și albastru. Săgeata albastră definește datele reale pe care le primim din fișierul Excel, iar săgeata roșie indică erorile pe care le avem. Acum trebuie să facem transformările, iar înainte de a efectua transformările, trebuie să încărcăm baza de date.
Pasul 19: Pentru a încărca baza de date, faceți clic pe Alte destinații și apoi pe Destinație.
Pasul 20: După adăugarea destinației, conectați sursa la Destinație.
Pasul 21: La pasul de mai sus, am observat crucea roșie în ADO NET Destination, ceea ce înseamnă că nu este configurat cu o componentă. Faceți clic dreapta pe Destinația ADO NET și apoi faceți clic pe opțiunea Editare, așa cum se arată în captura de ecran de mai jos:
Pasul 22: Trebuie să specificați managerul de configurare.
Pasul 23: Faceți clic pe Nou butonul pentru a adăuga managerul de conexiuni. Când faceți clic pe Nou butonul, apare ecranul prezentat mai jos:
Pasul 24: Adăugați numele serverului și selectați numele bazei de date din SQL Server.
Pasul 25: Faceți clic pe butonul OK.
Pasul 26: Adăugați numele tabelului în care doriți să încărcați datele.
Pasul 27: În ecranul de mai jos, mapați câmpul sursei de intrare cu câmpul sursei de destinație.
șir în java
Pasul 28: După adăugarea unei mapări, sursa este conectată la Destinație, așa cum se arată în captura de ecran de mai jos:
Pasul 29: Faceți clic pe start butonul pentru a rula Proiectul Servicii de integrare. Când rulați proiectul, datele sunt încărcate la destinație, adică SQL Server .
Exemplu de executare a sarcinii SQL
- Urmați pașii de la pasul 2 la pasul 5 din exemplul anterior.
- Trageți și plasați Executați sarcina SQL care apare în panoul din stânga ferestrei principale.
În ecranul de mai sus, observăm că crucea roșie apare în Execute SQL Task, ceea ce înseamnă că Manager de conexiune nu este configurat cu Executați sarcina SQL . Pentru a-l configura, trebuie să adăugăm Connection Manager.
- Pentru a adăuga Manager de conexiune, faceți clic dreapta pe Manager de conexiune și apoi faceți clic pe Manager de conexiune nou, așa cum se arată în captura de ecran de mai jos:
- Selectează OLEDB ca tip Connection Manager și apoi faceți clic pe Adăuga butonul așa cum se arată în captura de ecran de mai jos:
- După ce faceți clic pe Adăuga butonul, ecranul apare afișat în captura de ecran de mai jos:
În ecranul de mai sus, observăm că conexiunea de date a StudentWarehouse baza de date este deja disponibilă așa cum am creat-o în pasul anterior. Faceți clic pe Bine buton.
- Când faceți clic pe butonul OK, ecranul apare așa cum se arată mai jos:
În ecranul de mai sus, trebuie să introduceți detalii precum numele sarcinii dvs., descrierea, instrucțiunea SQL (sarcina SQL pe care trebuie să o efectuați pe tabel).
- Am introdus următoarele detalii în captura de ecran de mai sus:
În cazul de mai sus, am furnizat comanda de inserare în SQLStatement.
- Faceți clic pe Bine buton.
- Când configurați componenta cu Execute SQL Task, crucea roșie dispare așa cum se arată în captura de ecran de mai jos:
- Rulați proiectul făcând clic pe start .
- Când faceți clic pe start , ecranul apare după cum urmează:
În ecranul de mai sus, bifața arată că sarcina dvs. SQL a fost finalizată cu succes. Instrucțiunea insert pe care am adăugat-o în pașii anteriori a fost executată, iar datele sunt adăugate în tabel. adică student1.
- Rezultatul acestei sarcini este prezentat mai jos
Condiție prealabilă
Înainte de a învăța SSIS, trebuie să aveți cunoștințele de bază despre SQL Server.
Public
Tutorialul nostru SSIS este conceput pentru a ajuta începătorii și profesioniștii.
Problemă
Vă asigurăm că nu veți găsi nicio problemă în acest tutorial SSIS. Dar dacă există vreo greșeală sau eroare, vă rugăm să postați eroarea în formularul de contact.