Content
- Sense errors, sense estrès: la vostra guia pas a pas per crear programes que canvien la vida sense destruir la vida
- Baix al negoci
- Com canviarà Kafka en la gestió de dades
Emportar:
Kafka farà per als sistemes d'informació el que fa LinkedIn per a empresaris: mantenir-los connectats entre àmplies gammes.
Creient apassionadament en alguna cosa que encara no existeix, la creem. L’existent és el que no hem desitjat prou.~ Franz Kafka
La necessitat continua sent la mare de la invenció. Com un astut consultor em va dir una vegada: "Si hi ha alguna cosa que ha de passar en una organització, està passant." El seu punt era doble: 1) algunes persones sempre trobaran la manera d’aconseguir les coses; i, 2) l'alta direcció o, fins i tot, la direcció intermedia, potser desconeix exactament com es fan les coses dins del seu propi establiment.
Si estenem aquesta metàfora a tot l’univers de la gestió de dades, podrem veure una transformació que s’està produint ara mateix. La pressió bruta de big data, combinada amb l’eix de la transmissió de dades, crea tanta pressió que els sistemes llegats s’estan trencant a les vores, si no que s’esfondren del tot. Tot i això, hi ha molts professionals que es dediquen a la seva feina en aquest moment, que desconeguen en gran mesura aquesta realitat.
Les empreses basades en dades, basades en dades, tenen un seient de primera fila i, de moltes maneres, impulsen aquest canvi. Penseu en com potències com Yahoo! I LinkedIn han capgirat la indústria del programari empresarial de costat amb les seves donacions prodigioses a codi obert: Hadoop, Cassandra i ara Kafka, que han estat pastoritzades per la Fundació Apache, que és el protagonista de la metamorfosi. .
Quina és la conseqüència de tot aquest canvi? El que avui van ser testimonis és la reclassificació i reestructuració categòriques de la pròpia gestió de dades. Això no vol dir que ara es destruiran i substituiran els sistemes heretats. Qualsevol veterà de la indústria us dirà que la dissolució a l'engròs de sistemes heretats es produeix tan sovint com els Cubs de Chicago guanyen les sèries mundials. És un fet rar, com a mínim.
El que passa realment és que s'està construint una superestructura al voltant dels sistemes antics. Considereu l’analogia de les carreteres interestatals, que sovint s’alcen per sobre de les ciutats i pobles que serveixen, dissenyades per a transportar persones i càrrega a aquests nuclis de població i proporcionar estrès a qualsevol persona i qualsevol cosa dins d’elles. No substitueixen les carreteres existents tant com augmentar-les amb alternatives d’alta velocitat.
Això és exactament el que fa Apache Kafka: proporciona rutes d'alta velocitat per al moviment de dades entre i entre els sistemes d'informació. Per seguir l'analogia de l'autopista, encara hi ha moltes empreses que utilitzen cues lineals o l'antic patró d'ETL (extract-transform-load); però aquestes vies tenen límits de baixa velocitat, i hi ha molts forats; a més, sovint són desorbitants els costos de manteniment; la senyalització és pobra.
Kafka ofereix un mètode alternatiu per a la publicació de dades, decididament en temps real, escalable i durador. Això vol dir que Kafka no només és un vehicle de moviment de dades, sinó també un replicador de dades; i fins a cert punt, una tecnologia de bases de dades distribuïda. Hauríem d’anar amb compte de portar l’analogia massa lluny, ja que hi ha característiques de bases de dades compatibles amb l’ACID que Kafka encara no practica. Tot i així, el canvi és real.
Aquesta és una gran notícia per al panorama de la informació, perquè les dades ara es poden moure lliurement pel país i pel món. El que abans era una restricció dolorosa, és a dir, colpejar finestres batch per processos ETL, ara es dissipa molt a mesura que la boira dóna pas a un cel clar a l’enlluernament d’un sol calent. Quan es mouen dades d'un sistema a un altre es converteix en una línia sense límits, sorgeix una era de noves oportunitats.
Sense errors, sense estrès: la vostra guia pas a pas per crear programes que canvien la vida sense destruir la vida
No podeu millorar les vostres habilitats de programació quan ningú es preocupa per la qualitat del programari.
És probable que els éssers humans representin la fricció més important del camí cap a un nou futur. Els hàbits costen de treure. Nary a CIO s’emociona massa amb fer canvis a l’engròs als sistemes empresarials. Va dir un experimentat alt executiu del paper: "Prepareu-vos per estar sol". D’aquí a un any d’aquell comentari, va ser consultor. No és un camí fàcil, intentant gestionar el món de les dades empresarials.
La bona notícia és que Kafka proporciona una expansió al futur. Com que serveix com un autobús polifacètic de gran potència, crea ponts entre els sistemes antics i els seus homòlegs de futur. Així, les organitzacions que abracen aquesta nova oportunitat amb les ments obertes i el pressupost suficient podran endinsar-se en el nou món, sense deixar enrere l'antic. Això és un gran problema.
Baix al negoci
Si bé Apache Kafka és una tecnologia de codi obert, gratuïta per a qualsevol persona per descarregar-la i utilitzar-la, les persones que han creat aquest programari per a LinkedIn han separat una entitat separada anomenada Confluent, que es centra en endurir l'oferta d'ús empresarial. Igual que Cloudera, Hortonworks i MapR han construït els seus negocis al voltant del projecte de codi obert d’Apache Hadoop, de manera que Confluent busca monetitzar Kafka.
En una recent entrevista InsideAnalysis, el CEO de Confluent i el cofundador Jay Kreps, va explicar el seu origen a LinkedIn:
"Estàvem intentant resoldre un parell de problemes diferents. Un era, teníem tots aquests sistemes de dades diferents amb diferents tipus de dades. Teníem bases de dades i teníem fitxers de registre i teníem mètriques sobre servidors i teníem usuaris fent clic a coses. Obtenir totes aquestes dades, com que es feien grans, era molt difícil: el poder de les dades només hi era si podríeu arribar a les aplicacions, al processament o als sistemes que ho necessitaven, i era un gran problema.
"L'altre problema que teníem era que havíem adoptat Hadoop, i en això vaig estar implicat. Teníem aquesta fantàstica plataforma de processament fora de línia que podríem escalar i que podríem posar totes les dades. Per a LinkedIn, totes les nostres dades van passar realment. temps: hi va haver una generació contínua de dades. Sempre hi va haver aquest desajust mentre vam intentar construir parts clau del negoci fora de les nostres dades; entre alguna cosa que funcionava una vegada al dia, potser a la nit, i va generar resultats al dia següent, i aquest tipus de dades contínues (breus temps d’interacció) amb els quals havíeu de posar-vos al dia. Volíem poder fer una cosa que havia estat durant una estona a l’àmbit acadèmic, però realment no era una cosa principal, que és poder introduïu i processeu els fluxos de dades a mesura que es generaven, més que no pas mentre estaven ".
Bé. Això és exactament el que pretén fer ara Confluent amb dades empresarials de totes les formes i mides. L’oportunitat en joc? Greenfield Francament, en tota la història del programari empresarial, es podria argumentar que el mercat adreçable per a aquesta tecnologia pren absolutament la coca. No hi ha una sola gran organització, ni tan sols una petita empresa pesada en dades, que no pugui beneficiar-se enormement d'aquesta tecnologia.
Això és especialment cert a causa de l’aspecte neurològic d’aquesta tecnologia; no només les ments implicades, sinó la naturalesa del que fa Kafka per als sistemes d’informació. Com que Kafka es pot utilitzar per gestionar el moviment de dades a tota una organització, es pot veure com més que un policia de trànsit, sinó com el cervell de l'operació. Estàvem en els primers estadis d'aquesta visió, però estem segurs, la seva realitat.
Com canviarà Kafka en la gestió de dades
Per entendre com canviarà la naturalesa de la gestió de dades, Kafka només pensa en les maneres en què LinkedIn ha canviat la xarxa. Trobar companys és molt més fàcil; mantenir contacte amb la gent és ara un cop d’ull. Kafka farà per als sistemes d'informació el que fa LinkedIn per a empresaris: mantenir-los connectats entre les més àmplies gammes d'aquest món.
El spinoff de Confluent és emblemàtic d’alguna cosa que podríem anomenar New Innovation, un moviment impulsat pel desacoblament del desenvolupament de programari i la mentalitat de codi tancat, guiat pels creadors de tecnologia de codi obert, alimentat per grans quantitats de capital risc, monetitzat per empreses amb ànim de lucre que busquen revolucionar com les organitzacions i les persones creen, recopilen, analitzen i aprofiten les dades.
Per citar Franz Kafka, "Des d'un cert punt en endavant, ja no hi ha cap retrocés. Aquest és el punt que cal arribar".
Hem passat el Rubicon. No hi ha volta enrere ara.