Spark imprimir dataframe sin quedarse sin memoria

¿Cómo imprimo un marco de datos completo en Java sin quedarse sin memoria?

Dataset<Row> df = ...

Yo sé eso:

df.show() 

Mostrará el marco de datos, pero con un marco de datos lo suficientemente grande es posible que esto se quede sin memoria.

Sé que puedo limitar el contenido usando:

df.show(rowCount, false)

Pero quiero imprimir un marco de datos completo, no quiero limitar el contenido ...

Yo he tratado:

df.foreachPartition(iter -> {
    while(iter.hasNext()){
       System.out.println(rowIter.next().mkString(",");)
     }
});

Pero esto se imprimirá en cada uno de los nodos respectivos, no en el controlador ...

Si hay alguna forma de que pueda imprimir todo en el controlador sin quedarse sin memoria?

Respuesta 1

Tengo un fragmento HTML simple similar a este: <a href="123"> link </a> Necesito transformarlo en <abc: href var = "123"> link </ abc: href> Lo hago con XSLT, así que tuve que agregar el ...

¿El siguiente código filtrará elementos hasta que encuentre 3 elementos que pasen el método de filtrado o filtre todos los elementos? manyItems.stream () .filter (it -> it.getValue> 100) .limit (3) ...

¿Es posible limitar el tamaño de celda (alto / ancho) en un GridBagLayout? Quiero decir ... tengo 2 filas que tienen el mismo peso x = 0.5, pero cuando cambio el tamaño no quiero que la primera fila tenga más de 300 píxeles. ...

¿Sigue siendo TLS un requisito previo para usar HTTP / 2 en los últimos Java y Tomcat? ¿Puedo agregar <UpgradeProtocol className = "org.apache.coyote.http2.Http2Protocol" /> al puerto HTTP 8080 y esperar que HTTP / 2 ...