Content
- Definició: què significa MapReduce?
- Una introducció a Microsoft Azure i al Microsoft Cloud | Durant aquesta guia, podreu conèixer què és la informàtica en núvol i com Microsoft Azure us pot ajudar a migrar i executar el vostre negoci des del núvol.
- La Techopedia explica MapReduce
Definició: què significa MapReduce?
MapReduce és un model de programació introduït per Google per processar i generar grans conjunts de dades en clústers d’ordinadors.
Google va formular primer el marc amb l'objectiu de servir la indexació de pàgines web de Google i el nou marc va substituir els algorismes d'indexació anteriors. Els desenvolupadors principiants mostren que el marc de MapReduce és beneficiós perquè les rutines de biblioteques es poden utilitzar per crear programes paral·lels sense preocupacions sobre la comunicació amb infra-clúster, el control de tasques o els processos de maneig d’errors.
MapReduce funciona amb un gran grup de màquines de productes bàsics i és altament escalable. Té diverses formes d'implementació proporcionades per diversos llenguatges de programació, com ara Java, C # i C ++.
Una introducció a Microsoft Azure i al Microsoft Cloud | Durant aquesta guia, podreu conèixer què és la informàtica en núvol i com Microsoft Azure us pot ajudar a migrar i executar el vostre negoci des del núvol.
La Techopedia explica MapReduce
El marc MapReduce té dues parts:
- Funció anomenada "Map", que permet a diferents punts del clúster distribuït distribuir el seu treball
- Una funció anomenada "Reduir", que està dissenyada per reduir la forma final dels resultats dels clústers en una sortida
El principal avantatge del marc MapReduce és la seva tolerància a errades, en què s’esperen informes periòdics de cada node del clúster quan finalitzi el treball.
Una tasca es transfereix d'un node a un altre. Si el node mestre s’adona que un node ha estat en silenci durant un interval més llarg del previst, el node principal realitza el procés de reassignació a la tasca congelada / retardada.
El marc MapReduce està inspirat en les funcions "Map" i "Reduir" utilitzades en la programació funcional. El processament computacional es produeix a les dades emmagatzemades en un sistema de fitxers o dins d’una base de dades, que pren un conjunt de valors de clau d’entrada i produeix un conjunt de valors de clau de sortida.
Cada dia, s’executen nombrosos programes MapReduce i treballs MapReduce en clústers de Googles. Els programes es paralitzen i s’executen automàticament en un gran grup de màquines de productes bàsics. El sistema d’execució tracta de particionar les dades d’entrada, programar l’execució dels programes en un conjunt de màquines, manejar fallades de la màquina i gestionar la comunicació intermaquina necessària. Els programadors sense cap experiència amb sistemes distribuïts paral·lels i poden utilitzar fàcilment els recursos d’un gran sistema distribuït.
MapReduce s’utilitza en grep distribuït, ordenació distribuïda, inversió d’enllaços gràfics web, estadístiques de registre d’accés web, agrupació de documents, aprenentatge automàtic i traducció automàtica estadística.