𝐓𝐨𝐝𝐚𝐲 𝐈 𝐋𝐞𝐚𝐫𝐧 2022.08.25.목

𝐓𝐨𝐝𝐚𝐲 𝐈 𝐋𝐞𝐚𝐫𝐧 2022.08.25.목

 

문제 발생

Hadoop 사전과제를 하는데

hdfs dfs -cat wordcount_test_out/part-r-00000 | more

가 실행되지 않았다.

원인 발견

jps

jps 명령어를 통해 datanode가 사라져있다는 것을 알 수 있었다!

해결

https://pythontoomuchinformation.tistory.com/432

Hadoop # Datanode 삭제되었을 때 해결방법

다음 블로그 글을 참고하여 이를 해결할 수 있었다.

---

우선 서버를 종료시켜주었다.

stop-dfs.sh

 

hdfs가 사용하는 folder를 삭제하고 hdfs가 사용할 폴더를 다시 생성한다

rm -rf ~/hadoop_tmp
mkdir hadoop_tmp

 

hdfs를 포맷시켜준다

hadoop namenode-format

 

다시 서버를 켜준다

start-dfs.sh

 

hadoop user가 사용할 폴더를 다시 생성한다

hdfs dfs mkdir-p .