클러스터 재실행하기
Hadoop Eco 사용 시 인스턴스를 재실행하거나 오류가 발생하여 클러스터를 재실행해야 할 경우, 클러스터를 재실행하는 방법은 다음과 같습니다.
- 추천 실행 순서: Zookeeper → HDFS → YARN → Hive → History Server → Trino → History Server → Hue, Zepplin 등
재부팅이나 오류가 발생하여 컴포넌트가 중지되는 경우 자동으로 3분마다 재시작합니다.
- 재시작을 원하지 않는 경우 컴포넌트를 명시적으로 종료(stop) 하고, 서비스를 disabled 상태로 변경하여야 합니다.
코드 예제 Zookeeper 서비스 종료
sudo systemctl stop zookeeper.service
sudo systemctl disable zookeeper.service
Hadoop
Hadoop Single
표 Hadoop Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| 4 | hive | metastore | hive metastore | 마스터 | sudo systemctl restart metastore.service |
| 5 | history server | spark historyserver | 마스터 | sudo systemctl restart sparkhistoryserver.service | |
| 6 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| hiveserver2 | hiveserver2 | 마스터 | sudo systemctl restart hiveserver2.service | ||
| timeline server | 마스터 | sudo systemctl restart timelineserver.service | |||
| job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service | |||
| tez-ui | 마스터 | sudo systemctl restart tezui.service | |||
| oozie | oozie | 마스터 | sudo systemctl restart oozie.service | ||
| zeppelin | zeppelin | 마스터 | sudo systemctl restart zeppelin.service |
Hadoop HA
표 Hadoop HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1, 2, 3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1, 2, 3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1, 2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1, 2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1, 2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| 4 | hive | metastore | hive metastore | 마스터 1, 2, 3 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 1, 2, 3 | sudo systemctl restart hiveserver2.service | ||
| 5 | history server | spark historyserver | 마스터 3 | sudo systemctl restart sparkhistoryserver.service | |
| timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |||
| job historyserver | 마스터 3 | sudo systemctl restart jobhistoryserver.service | |||
| tez-ui | 마스터 3 | sudo systemctl restart tezui.service | |||
| 6 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
| oozie | oozie | 마스터 3 | sudo systemctl restart oozie.service | ||
| zeppelin | zeppelin | 마스터 3 | sudo systemctl restart zeppelin.service |
HBase
HBase Single
표 HBase Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| 4 | hbase | hmaster | hmaster | 마스터 | sudo systemctl restart hmaster.service |
| regionserver | regionserver | 마스터 | sudo systemctl restart regionserver.service | ||
| 5 | history server | timeline server | 마스터 | sudo systemctl restart timelineserver.service | |
| job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service | |||
| 6 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
HBase HA
표 HBase HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1, 2, 3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1, 2, 3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1, 2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1, 2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1, 2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| 4 | hbase | hmaster | hmaster | 마스터 1, 2, 3 | sudo systemctl restart hmaster.service |
| regionserver | regionserver | 워커 | sudo systemctl restart regionserver.service | ||
| 5 | history server | timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |
| job historyserver | 마스터 3 | sudo systemctl restart jobhistoryserver.service | |||
| 6 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
Trino
Trino Single
표 Trino Single - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | namenode | 마스터 | sudo systemctl restart namenode.service |
| secondary namenode | 마스터 | sudo systemctl restart secondarynamenode.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| 4 | hive | metastore | hive metastore | 마스터 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 | sudo systemctl restart hiveserver2.service | ||
| 5 | history server | timeline server | 마스터 | sudo systemctl restart timelineserver.service | |
| job historyserver | 마스터 | sudo systemctl restart jobhistoryserver.service | |||
| 6 | trino | trino | coordinator | 마스터 | sudo systemctl restart trino.service |
| worker | 워커 | sudo systemctl restart trino.service | |||
| 7 | 기타 | hue | hue | 마스터 | sudo systemctl restart hue.service |
| zeppelin | zeppelin | 마스터 | sudo systemctl restart zeppelin.service |
Trino HA
표 Trino HA - 클러스터 재실행 명령어
| 순서 | 분류 | 서비스 | 컴포넌트 | 위치 | 명령어 |
|---|---|---|---|---|---|
| 1 | zookeeper | zookeeper | zookeeper | 마스터 1, 2, 3 | sudo systemctl restart zookeeper.service |
| 2 | hadoop | hdfs | journalnode | 마스터 1, 2, 3 | sudo systemctl restart journalnode.service |
| namenode | 마스터 1, 2 | sudo systemctl restart namenode.service | |||
| zkfc | 마스터 1, 2 | sudo systemctl restart zkfc.service | |||
| datanode | 워커 | sudo systemctl restart datanode.service | |||
| 3 | hadoop | yarn | resource manager | 마스터 1, 2 | sudo systemctl restart resourcemanager.service |
| nodemanager | 워커 | sudo systemctl restart nodemanager.service | |||
| 4 | hive | metastore | hive metastore | 마스터 1, 2, 3 | sudo systemctl restart metastore.service |
| hiveserver2 | hiveserver2 | 마스터 1, 2, 3 | sudo systemctl restart hiveserver2.service | ||
| 5 | history server | timeline server | 마스터 3 | sudo systemctl restart timelineserver.service | |
| job historyserver | 마스터 3 | sudo systemctl restart jobhistoryserver.service | |||
| 6 | trino | trino | coordinator | 마스터 3 | sudo systemctl restart trino.service |
| worker | 워커 | sudo systemctl restart trino.service | |||
| 7 | 기타 | hue | hue | 마스터 3 | sudo systemctl restart hue.service |
| zeppelin | zeppelin | 마스터 3 | sudo systemctl restart zeppelin.service |