Apache Spark: java.lang.IllegalArgumentException: <gépnév>
Beküldte lacyc3 – 2019. máj. 07. 22:27
Probléma: Végre akarsz hajtani egy Apache Spark lekérdezést, de az java.lang.IllegalArgumentException: <gépnév>
-vel elhal.
Megoldás: Nem működik a Spark gépek között a névfeloldás. Spark esetén minden gépnek tudnia kell a másik nevéhez tartozó IP címet. Egy kisebb klaszter esetén megoldás lehet a hosts fájl használata. Ne feledkezzünk meg róla, hogy ez egy elosztott rendszer, tehát minden gép hosts fájljába írjuk be mindegyik gép nevét és IP címét.
Teljes exception és stack trace:
Legyen az aktuális gép neve spark-1