¿Cómo resolver java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword?

Estoy tratando de ejecutar un proceso de chispa desde mi aplicación web Spring y recibo este error:

java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[C
    at org.apache.spark.SSLOptions$.$anonfun$parse$8(SSLOptions.scala:188) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at scala.Option.orElse(Option.scala:306) ~[scala-library-2.12.8.jar:na]
    at org.apache.spark.SSLOptions$.parse(SSLOptions.scala:188) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.SecurityManager.<init>(SecurityManager.scala:117) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.SparkEnv$.create(SparkEnv.scala:236) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:185) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:424) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2520) ~[spark-core_2.12-2.4.3.jar:2.4.3]
    at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$5(SparkSession.scala:935) ~[spark-sql_2.12-2.4.2.jar:2.4.2]
    at scala.Option.getOrElse(Option.scala:138) ~[scala-library-2.12.8.jar:na]
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:926) ~[spark-sql_2.12-2.4.2.jar:2.4.2]
Respuesta 1

El problema es una clara indicación de que la versión de las bibliotecas de hadoop no coincide.

Además, me enfrenté al mismo problema y como estoy usando Maven, comenté a continuación. ya que no estoy usando resolvió el problema

<!--<dependency>-->
      <!--<groupId>org.apache.hadoop</groupId>-->
      <!--<artifactId>hadoop-client</artifactId>-->
      <!--<version>${hadoop.version}</version>-->
      <!--<scope>provided</scope>-->
    <!--</dependency>-->
Respuesta: 2

Hola, cómo saber qué usuarios están inactivos (no han abierto una página o no han hecho nada en un momento determinado), estoy usando jsp y java.

Estoy tratando de hacer Iterator of List <HashSet <Integer>> list = new ArrayList <> (). Sin embargo, sigo cayendo. Esto es lo que probé Iterator Iterator <HashSet <Integer>> iterator ...

Estoy tratando de implementar el algoritmo gost 28147-89 para cifrar y descifrar cadenas. En la documentación de Bouncycastle no entendí cómo implementar Gost 28147. ¿Cómo puedo hacer un simple ...

Tengo una aplicación que necesita leer un archivo que es un resultado serializado de ArrayList. (ArrayList <String>, 50000 registros en esta lista, tamaño: 20 MB) No sé exactamente cómo leer los datos en ...