Content
- ETL crea colls d'ampolla per a Analytics
- Racionalitzar ETL amb Machine Learning i AI
- Sense errors, sense estrès: la vostra guia pas a pas per crear programes que canvien la vida sense destruir la vida
Font: Pop Nukoonrat / Dreamstime.com
Emportar:
Les dades són crucials per a les empreses, però per tal que siguin útils, no hi ha d'haver errors a l'hora de recollir, processar i presentar aquestes dades. La intel·ligència artificial pot supervisar els processos ETL per assegurar-se que no estan produïts per errors.
L’ETL (extreure, transformar i carregar) és un dels processos més importants en l’analítica de dades grans i, alhora, pot ser un dels seus colls d’ampolla més grans. (Per obtenir més informació sobre dades grans, consulteu 5 cursos útils de big data que podeu realitzar en línia.)
La raó per la qual ETL és tan important és que la majoria de dades que recopila un negoci no està preparada, en la seva forma crua, per a una solució d’anàlisi analítica. Per tal que una solució d’analítica crei informació, cal extreure les dades en brut de l’aplicació on resideix actualment, transformar-la en un format que un programa d’analítica pot llegir i, després, carregar-se al propi programa d’analítica.
Aquest procés és anàleg a la cuina. Els seus ingredients crus són les seves dades en brut. Cal extreure'ls (comprar a una botiga), transformar-los (cuinar) i després carregar-los (xapats) abans de poder-los analitzar (tastar). La dificultat i la despesa poden augmentar-se de manera imprevisible: és fàcil fer el formatge mac per tu mateix, però és molt més difícil crear un menú gourmet per a 40 persones en un sopar. No cal dir que un error en qualsevol moment pot fer que el vostre menjar sigui indigest.
ETL crea colls d'ampolla per a Analytics
L’ETL és, d’alguna manera, la base del procés d’analítica, però també té alguns inconvenients. En primer lloc, és lent i computacionalment car. Això significa que les empreses solen prioritzar només les seves dades més importants per a l’anàlisi i simplement emmagatzemar la resta. Això contribueix al fet que fins a un 99% de les dades empresarials no es fan servir amb finalitats analítiques.
A més, el procés ETL mai és segur. Els errors del procés ETL poden deteriorar les vostres dades. Per exemple, un error de xarxa breu pot evitar que s’extreguin dades. Si les dades d'origen contenen diversos tipus de fitxers, es podrien transformar de manera incorrecta. Com es diuen: escombraries i escombraries, els errors durant el procés d’ETL gairebé s’expressen en termes d’analítica inexacta.
Un procés d’ETL corromput pot tenir males conseqüències. Fins i tot en el cas dels millors casos, probablement haureu de tornar a executar l’ETL, cosa que suposa un retard d’hores i, mentrestant, els seus responsables de decisió estan impacients. En el pitjor dels casos, no observeu les analítiques inexactes fins que no hagueu començat a perdre diners i clients.
Racionalitzar ETL amb Machine Learning i AI
Podeu - i probablement ho podeu - assignar a algú perquè supervisi ETL, però no és tan senzill. Les dades incorrectes poden derivar d’errors de procés que es produeixen tan ràpidament que no es poden notar en temps real. Els resultats d'un procés ETL corromput sovint no semblen diferents de les dades carregades correctament. Fins i tot quan els errors són evidents, és possible que el problema que ha creat l'error no sigui tan fàcil de localitzar. (Per obtenir més informació sobre com analitzar les dades, vegeu Funció: analista de dades.)
La bona notícia és que les màquines poden atrapar el que els humans no poden. Aquestes són només algunes maneres en què l’IA i l’aprenentatge automàtic poden detectar errors ETL abans que es converteixin en analítiques inexactes.
Sense errors, sense estrès: la vostra guia pas a pas per crear programes que canvien la vida sense destruir la vida
No podeu millorar les vostres habilitats de programació quan ningú es preocupa per la qualitat del programari.
1. Detectar i alertar a través de mètriques ETL
Tot i que les vostres dades són una imatge en moviment constant, el procés ETL encara hauria de produir valors consistents a una velocitat constant. Quan aquestes coses canvien, és l’alarma. Els humans podem observar grans canvis en les dades i reconèixer els errors, però l’aprenentatge automàtic pot reconèixer falles subtils més ràpidament. És possible que un sistema d’aprenentatge de màquines ofereixi detecció d’anomalies en temps real i alerti directament el departament d’informàtica, permetent-los aturar el procés i solucionar el problema sense haver de descartar hores d’esforç computacional.
2. Identificar els colls d'ampolla específics
Tot i que els vostres resultats siguin precisos, encara podrien sortir-ne de forma massa lenta. Gartner ho diu 80% d’informacions Els derivats de les analítiques mai no podran aprofitar-se per crear valor monetari, i això pot ser que un líder empresarial no pot veure una visió a temps per aprofitar-ne. L’aprenentatge automàtic us pot dir on s’alenteix el vostre sistema i us proporcionarà respostes, aconseguint millors dades, més ràpidament.
3. Quantificar l'impacte de la gestió del canvi
Els sistemes que produeixen les vostres dades i analítiques no són estàtics: reben constantment pedaços i actualitzacions. De vegades, aquestes afecten la forma de produir o interpretar dades, cosa que comporta resultats imprecisos. L’aprenentatge automàtic pot marcar resultats que s’han canviat i rastrejar-los a l’aplicació o aplicació específica de pegat.
4. Reduir el cost d’operacions
Les operacions d’analítica perduda igualen diners perduts. El temps que dediqueu a esbrinar no només com resoldre el problema, sinó també qui és el responsable Per resoldre el problema és temps que podríeu gastar valor creatiu. L’aprenentatge automàtic ajuda a arribar al centre de la qüestió alertant només els equips que poden ser els responsables de respondre a tipus específics d’incidents, deixant la resta del departament d’informàtica per continuar desenvolupant funcions bàsiques. A més, l’aprenentatge automàtic ajudarà a eliminar falsos positius, reduint el nombre global d’alertes alhora que augmentarà la granularitat de la informació que poden proporcionar. La fatiga d'alerta és molt real, de manera que aquest canvi tindrà un impacte mesurable en la qualitat de vida.
Quan es tracta de guanyar en negocis, l’analítica és crucial. Un estudi destacat de Bain Capital demostra que les empreses que utilitzen analítiques tenen més del doble de probabilitats de sobreperformar financerament. ETL proporciona els fonaments de l'èxit en aquest terreny, però els retards i els errors també poden impedir l'èxit d'un programa d'analítica. L’aprenentatge automàtic, per tant, es converteix en una eina inestimable per a l’èxit de qualsevol programa d’analítica, ajudant a garantir dades netes i resultats precisos.