Intentando dar sentido a un ejemplo básico de WordCount MapReduce

Comencé a usar Hadoop recientemente y luché por darle sentido a algunas cosas. Aquí hay un ejemplo básico de WordCount que estoy viendo (cuente la cantidad de veces que aparece cada palabra):

Map(String docid, String text):
 for each word term in text:
 Emit(term, 1);

Reduce(String term, Iterator<Int> values):
 int sum = 0;
 for each v in values:
 sum += v;
 Emit(term, sum);

En primer lugar, ¿qué se Emit(w,1)supone que debe hacer? Noto que en todos los ejemplos que miro, el segundo parámetro siempre se establece en 1 , pero parece que no puedo encontrar una explicación al respecto.

Además, solo para aclarar: ¿estoy en lo cierto al decir que el término es la clave y la suma en la forma Reducir los pares clave-valor (respectivamente)? Si este es el caso, ¿los valores son simplemente una lista de 1 para cada término que se emitió desde Map? Esa es la única forma en que puedo darle sentido, pero estas son solo suposiciones.

Disculpas por la pregunta novata, he mirado tutoriales, pero muchas veces encuentro que se usa mucha terminología confusa y las cosas básicas en general se hacen más complicadas de lo que realmente son, así que estoy luchando un poco por hacer sentido de esto.

Agradezco cualquier ayuda!

Respuesta 1

Tome esta entrada como ejemplo de entrada de conteo de palabras.

Mapper dividirá esta oración en palabras.

Take,1
this,1
input,1
as,1
an,1
example,1
word,1
count,1
input,1

Luego, el reductor recibe "grupos" de la misma palabra (o clave ) y listas de los valores agrupados de esa manera (y además clasifica las claves, pero eso no es importante para este ejemplo)

Take, (1)
this, (1)
input (1, 1)
etc...

Como puede ver, la clave inputse ha "reducido" en un solo elemento, que puede recorrer y sumar los valores y emitir así

Take,1
this,1
input,2 
etc...
Respuesta: 2

Estoy tratando de usar restFB en Google App Engine, cuando intento obtener información sobre el usuario actual, aparece un error, javax.net.ssl.SSLHandshakeException: No se pudo verificar el certificado SSL para: https: // ...

Tengo una fecha de cadena y la convierto con la siguiente declaración: LocalDateTime datetime = LocalDateTime.parse (rs.getString ("DateIn"), DateTimeFormatter.ofPattern ("aaaa / MM / dd HH: mm: ss")); Ahora quiero ...

¿Hay alguna manera en UIMA para acceder a las anotaciones de los tokens de la misma manera que lo hacen en su GUI de depurador de CAS? Por supuesto, puede acceder a todas las anotaciones desde el repositorio de índices, pero yo ...

Si tengo un proyecto Java que usa una biblioteca (un archivo jar), ¿es posible obtener la cobertura de código de las clases dentro de este jar? La idea detrás de esto es que me gustaría saber qué proporción ...