kisokos

Cassandra: Streaming error occurred java.io.IOException: CF <> was dropped during streaming

Apache Cassandra logo
Probléma: Van egy relatív sok (1 TB+) adatot tartalmazó Cassandra klasztered, legalább egy DataCenterrel. Hozzáadsz egy új DataCentert, amibe szinkronizálni szeretnéd a meglévő adatokat. Ennek megfelelően módosítod a keyspace-ek replication factorát (vagy ha jobban tetszik, a kulcsterek replikációs tényezőjét). Kiadod a nodetool rebuild -dc <forrás_dc> parancsot, de az adatok szinkronizálása néhány 100 GB után megszakad. Többedik rebuild kiadására sem javul jelentősen a helyzet, sokadik próbálkozásra sem sikerül megközelíteni a forrás DataCenterben lévő adatmennyiséget.

Apache Spark: java.lang.IllegalArgumentException: <gépnév>

Apache Spark logo
Probléma: Végre akarsz hajtani egy Apache Spark lekérdezést, de az java.lang.IllegalArgumentException: <gépnév>-vel elhal.

Megoldás: Nem működik a Spark gépek között a névfeloldás. Spark esetén minden gépnek tudnia kell a másik nevéhez tartozó IP címet. Egy kisebb klaszter esetén megoldás lehet a hosts fájl használata. Ne feledkezzünk meg róla, hogy ez egy elosztott rendszer, tehát minden gép hosts fájljába írjuk be mindegyik gép nevét és IP címét.

Teljes exception és stack trace:
Legyen az aktuális gép neve spark-1

Nem adott felhasználóhoz és csoporthoz tartozó fájlok megkeresése

Probléma: Meg kellene keresni azokat a fájlokat, melyek nem egy adott felhasználóhoz és csoporthoz tartoznak.

Megoldás: find . ! -group <csoport> ! -user <felhasználó>
Például: find . ! -group cassandra ! -user cassandra

Redis: Kulcsok tömeges törlése redis-cli segítségével

Redis logó
Probléma: Egy bizonyos szabály szerint szeretnél tömegesen kulcsokat törölni Redisből, de valamiért nem szeretnél LUA-t használni.

Megoldás: Hozzunk létre egy egyszerű for ciklust bash-ben, amely a redis-cli kimenetét fogja sorról-sorra végigjárni. A redis-cli az általunk megadott sablon szerint listázza a kulcsokat:

Mate: Failed to connect to socket /tmp/dbus-blabla: Connection refused

Probléma: A következőhöz hasonló hibaüzenet kíséretében nem indul el a Mate asztali környezet:

Jan 25 21:36:51 Narada-Gentoo mate-session[26120]: CRITICAL: dbus_g_proxy_new_for_name: assertion 'connection != NULL' failed 
Jan 25 21:36:51 Narada-Gentoo mate-session[26120]: CRITICAL: error getting session bus: Failed to connect to socket /tmp/dbus-SoQY8irStc: Connection refused

Megoldás: