Analizar un directorio de registros en Hadoop 0.20.2

Tengo un directorio de archivos de registro comprimidos basados ​​en texto, cada uno con muchos registros. En versiones anteriores de Hadoop, me extendería MultiFileInputFormatpara devolver una costumbre RecordReaderque descomprimiera los archivos de registro y continuaría desde allí. Pero estoy tratando de usar Hadoop 0.20.2.

En la documentación de Hadoop 0.20.2, noto que MultiFileInputFormatestá en desuso a favor de CombineFileInputFormat. Pero para extender CombineFileInputFormat, tengo que usar las clases obsoletas JobConfy InputSplit. ¿Cuál es el equivalente moderno MultiFileInputFormato la forma moderna de obtener registros de un directorio de archivos?

Respuesta 1

Estoy tratando de enumerar todos los archivos * .xml en el directorio. Primero hice un CD y luego intenté ejecutar: find. -type f -name * .xml Pero no estoy seguro de cómo hacerlo exactamente. Hubo algún ejemplo alrededor del ...

¿Es posible ver la lista completa de la pila de llamadas para un método dado en mi aplicación usando alguna herramienta? Quiero ver el resultado similar que puedo ver en JProfiler para un método dado. Sin embargo, yo ...

Tengo muchos lugares en mi código donde tengo un método que es idéntico a otro, excepto que los objetos que usan son diferentes, como en el siguiente ejemplo: private void applyContractualFields () {...

Al intentar implementar una aplicación springboot en un tomcat externo, no puedo implementarlo. En el pom.xml, si excluyo la dependencia de tomcat, entonces no estoy enfrentando un error de tiempo de compilación. Desde que he usado ...