데이터 노트

하둡 분산 클러스터를 구상한 후, 하둡을 실행 시켰으나, 오류가 발생했다.하둡 클러스터 구성은 namenode01/02, datanode01/02이며,자세한 내용은 여기!에러 상황start-all.sh 시, namenode만 안 올라옴 해결을 위한 노력결론부터 말하자면, try4에서 해결했다.Try1. log를 확인하자.로그를 우선적으로 살펴보니 이렇게 적혀 있었다.# log 확인$ ~/hadoop/logs/hadoop-ubuntu-namenode-namenode.log# log error 내용java.net.BindException: Problem binding to [namenode:9000] java.net.BindException: Cannot assign requested address; For..

계기이전 아차차 프로젝트를 진행할 당시, hadoop을 단순 저장소로만 활용하고 분산 시스템으로서 활용하지 못한 것이 아쉬웠기 때문에, 해당 프로젝트를 디벨롭 하는 과정에서 하둡 분산 클러스터를 구축해보고자 했다.구성 및 설정AWS EC2를 4대 구성하여 활용하였다.여러 레퍼런스들을 찾아보았지만 같은 계정 내에서 3~4대 구성한 경우는 많았지만 각기 다른 계정에서 각각 구축하여 연동한 케이스는 많이 없어 고생 좀 했다.각 EC2 서버는 이하와 같이 설정해 주었다.서버 구성서버노드EC2 - 1namenode01EC2 - 2namenode02EC2 - 3datanode01EC2 - 4datanode02또한, 이후 작업하면서 통신이 잘 되지 않는 경우가 여러 번 발생하였는데, 이는 AWS EC2 사이트 내에서..