Content
Font: Nmedia /Dreamstime.com
Emportar:
Les grans dades són grans empreses a tot arreu, però hi ha algunes àrees específiques que aprofiten al màxim aquesta tecnologia.
Quan vaig començar aquest article, estava pensant a enumerar els diferents tipus de plataformes de dades grans. Però, després de tres dies d’intentar corregir totes les diferents grans ofertes de dades (relacionals o no relacionals, SQL vers NoSQL i base de dades versus framework), vaig decidir evitar aquest embolic.
Per afegir insult a les lesions, havia esperat presentar la persona que va encunyar el terme "big data" com a part de l'article. Però, ni tan sols puc fer-ho. No hi ha cap resposta acordada. De fet, hi ha un projecte d’investigació complet sobre els que es van presentar dades de dades originals. En lloc d'això, vaig a fer una ullada a algunes de les maneres principals que s'utilitzen dades grans. Això és molt més important. I és més interessant i sorprenent del que podríeu pensar.
Com va passar?
Els analistes que utilitzen la mineria tradicional de dades porten anys manipulant dades. Aquests mateixos analistes ara tenen dificultats per fer front a la quantitat i a la varietat de dades que s’estalvien per empreses, organitzacions privades i agències governamentals.
Introduïu dades grans, el següent pas evolutiu en la mineria de dades. Les dades grans es van dissenyar per gestionar les massives bases de dades i nombrosos tipus de dades que s’estan creant al món digital actual. Si "massiu" penses en Google i en totes les dades que recopila, estaria al banc. El que us pot sorprendre és que Google només és el quart lloc de la llista dels deu primers llocs de dades més grans del món. Des de gener de 2014, el World Data Center for Climate va superar la llista amb 220 terabytes de dades, i ningú suposa la mida de bases de dades controlades per determinades agències governamentals.
Per descomptat, les grans dades es van enlairar perquè permet manipular grans quantitats de dades diferents i descobrir coses sorprenents - i sorprenentment detallades i personals -. John Sumser, analista de la indústria de recursos humans, proporciona l'exemple següent:
"Avui creem hipòtesis i recopilem dades. Demà farem la inversa. L'acumulació constant i constant de dades ens permetrà mirar dades abans de formular preguntes. Això vol dir que obtindrem respostes a les preguntes que no vam fer". No sé preguntar-ho. Pensarem en un munt de coses que suposem fets ".Per descomptat, tots hem sabut parlar d’algunes de les maneres esgarrifoses que s’han utilitzat aquestes dades, com ara la capacitat d’objectius de destriar l’embaràs d’una dona jove abans que fins i tot la seva família s’assabenti. Però també s’utilitza big data per causes molt menys sinistres. Aquí hi ha algunes organitzacions que ho estan aprofitant més:
No podeu millorar les vostres habilitats de programació quan ningú es preocupa per la qualitat del programari.
Una dada evident de grans àrees que ajudarà és la de manejar els registres de salut electrònics de forma segura i precisa a les organitzacions mèdiques. Tenir registres precisos proporcionarà als pacients un millor servei i disminuirà els errors. L’àmbit assistencial, per raons òbvies, està adaptant les dades grans a un ritme més lent per tal d’ajustar-se a les regulacions governamentals sobre la confidencialitat del pacient.
Com s'ha esmentat anteriorment, es coneixen dades grans per proporcionar respostes a preguntes sense contestar. En el camp de l’assistència sanitària, això podria suposar trobar un nou medicament o un tractament que no s’hauria trobat d’una altra manera. Segons McKinsey & Company, les grans dades podrien fer possible en un futur no tan llunyà:
- El model predictiu de processos i medicaments biològics es fa més sofisticat i generalitzat.
- Els pacients s’identifiquen per inscriure’s en assaigs clínics basats en més fonts d’informació, com ara els mitjans socials.
- Les proves es controlen en temps real per identificar ràpidament problemes de seguretat o operatius.
- En lloc de les sitges rígides de dades difícils d’explotar, les dades es capturen electrònicament i flueixen fàcilment entre diferents unitats.
Big Data, Gran oportunitat
Si bé s’aprofiten les grans dades en algunes àrees específiques, ofereix oportunitats per a totes les organitzacions de les següents àrees:
Quasi sobre qualsevol dispositiu d’informàtica i de xarxa que registra les dades. La quantitat de dades que s’estan registrant ràpidament es fa difícil. Les dades grans poden gestionar fàcilment aquesta quantitat de dades, permetent als administradors supervisar l’activitat de la xarxa, diagnosticar problemes o, a l’exemple que em va donar Rubin, buscar determinats patrons de trànsit de xarxa que indicessin l’activitat de programari maliciós.
Si llegiu aquest article, és una aposta força segura que no sabeu el problema Heartbleed que envolta OpenSSL. A més del problema tècnic, hi ha la preocupació que existeixi la vulnerabilitat des de fa uns quants anys. Rubin va esmentar que les dades grans permeten als administradors de xarxa, que treballen amb analistes de dades, crear un programa que cerqui batejos cardíacs maliciosos a tots els registres de la xarxa. Aquesta publicació del FEP menciona:
"Qualsevol operador de xarxa que tingui extensos registres de paquets pot comprovar els batecs cardíacs maliciosos, que solen tenir una càrrega útil TCP de 18 03 02 00 03 01 o 18 03 01 00 03 01 (o potser fins i tot 18 03 03 00 03 01)."L'exemple següent és una sortida d'exemple de l'ordre d'auditoria de mostres:
Auditoria # de demostració d’encaminador
* 14 de setembre 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Encaix:
24D98B13B87D106E7E6A7E5D1B3CE0AD Usuari:
* 14 de setembre, 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Encaix:
4AC2D776AA6FCA8FD7653CEB8969B695 Usuari:
* 14 de setembre, 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Encaix:
95DD497B1BB61AB33A629124CBFEC0FC Usuari:
* 14 set 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Usuari:
* 14 de setembre 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Encaix:
32F66463DDA802CC9171AF6386663D20 Usuari:
Si seguiu els segells de temps, l'interval de temps per a totes aquestes entrades era inferior a un segon. Ni voldria extrapolar-ho ni un dia, i molt menys, dos anys!
Alguna cosa a mirar
Si comproveu els anuncis de treball, és molt important que hi hagi grans experts en dades. Vaig preguntar a Rubin sobre això. Va coincidir, esmentant que els seus estudiants estaven entusiasmats amb les seves perspectives. Aleshores em vaig adonar que les plataformes de dades grans, en particular aquelles que es consideren de codi obert, segueixen una línia de temps molt similar a com Linux es va convertir en mainstream.
Les universitats adopten versions de codi obert de plataformes de dades grans, en particular Hadoop, perquè són gratuïtes i els estudiants poden manipular el codi font. Així, els graduats que omplen totes aquestes ofertes de treball preferiran treballar amb plataformes de codi obert, ja que és el que millor saben. Serà interessant de veure.