Implementación de unión cruzada en hadoop

Estoy tratando de implementar la unión cruzada usando hadoop en java. Ambos lados de la unión son lo suficientemente grandes como para que no pueda guardar ninguno de ellos en la memoria. He intentado varias cosas y, aunque me doy cuenta de que PIG / colmena podría ser más fácil, me gustaría implementarlo en Java nativo.

Creo que CompositeInputFormatpodría ser la forma de hacerlo, pero no he podido encontrar ningún código de muestra.

Intenté enviar datos etiquetados SequenceFileInputFormaty cansado de usarlos Reducerpara unir los datos, pero tampoco funcionó. (Puedo proporcionar más detalles, si esta es la forma correcta).

¿Hay algún código de muestra que pueda ver?

Respuesta 1

¿Existe alguna herramienta o marco capaz de facilitar la prueba de software distribuido escrito en Java? Mi sistema bajo prueba es un software peer-to-peer, y me gustaría realizar pruebas usando algo ...

Quiero usar el analizador stanford dentro del coreNLP. Ya tengo este ejemplo funcionando: http://stanfordnlp.github.io/CoreNLP/simple.html PERO: Necesito el modelo alemán. Así que descargué "stanford-german -...

Estoy haciendo un juego / simulación de estilo de cuadrícula basado en errores que "detectan" y comen alimentos. Estoy usando un gridPane (llamado worldGrid) de etiquetas para mostrar la cuadrícula de errores y alimentos. Esto obviamente va a ser ...

Dada la siguiente jerarquía de tipos hipotéticos: BaseElement + StringElement + .... + .... + BooleanElement + .... + .... + ... Tengo una interfaz de clase en la forma: ...