Logo ca.boatexistence.com

Com funcionen els mapeadors i reductors?

Taula de continguts:

Com funcionen els mapeadors i reductors?
Com funcionen els mapeadors i reductors?

Vídeo: Com funcionen els mapeadors i reductors?

Vídeo: Com funcionen els mapeadors i reductors?
Vídeo: Com funcionen els fòrums de l'aula Canvas? 2024, Maig
Anonim

La sortida d'un treball de mapeig o de mapa (parells de clau-valor) s'introdueix al Reductor El reductor rep el parell de clau-valor de diversos treballs de mapa. Aleshores, el reductor agrega aquestes tuples de dades intermèdies (parell clau-valor intermedi) en un conjunt més petit de tuples o parells clau-valor que és la sortida final.

Què fan els mapeadors i els reductors?

Hadoop Mapper és una funció o tasca que s'utilitza per processar tots els registres d'entrada d'un fitxer i generar la sortida que funciona com a entrada per al Reductor Produeix la sortida tornant nous parells clau-valor. … El mapeador també genera alguns petits blocs de dades mentre processa els registres d'entrada com a parell clau-valor.

Quina diferència hi ha entre el mapeador i el reductor?

Quina és la diferència principal entre el mapeador i el reductor? La tasca del mapeador és la primera fase del processament que processa cada registre d'entrada (de RecordReader) i genera un parell clau-valor intermedi. El mètode Redueix s'anomena per separat per a cada parell de llista clau/valors.

Com es calcula el nombre de mapeadors i reductors?

Depèn de quants nuclis i de quanta memòria tinguis a cada esclau. En general, un mapeador hauria de obtenir d'1 a 1,5 nuclis de processadors Així que si teniu 15 nuclis, podeu executar 10 mapeadors per node. Per tant, si teniu 100 nodes de dades a Hadoop Cluster, podeu executar 1000 mappers en un clúster.

Com funciona la funció Mapper?

Mapper és una funció que processa les dades d'entrada El mapeador processa les dades i crea diversos petits fragments de dades. L'entrada a la funció de mapeig és en forma de parells (clau, valor), tot i que l'entrada a un programa MapReduce és un fitxer o directori (que s'emmagatzema a l'HDFS).

Recomanat: