CLI환경에서 Hadoop Eco 정보 확인하기
CLI 환경에서 Hadoop Eco 정보를 확인하는 방법을 다음과 같습니다.
HDFS
표 HDFS 명령어에 대한 설명
| 명령어 | 설명 |
|---|---|
| hdfs dfsadmin -report | HDFS 사용량 확인 |
| curl http://$(hostname -f):50070/webhdfs/v1/user/?op=LISTSTATUS | WebHDFS 사용 |
HDFS 사용량 확인하기
HDFS의 각 데이터 노드의 사용량을 확인할 수 있습니다.
코드 예제 HDFS 사용량 확인
hdfs dfsadmin -report
이미지 HDFS 사용량 확인
| 코드 | 설명 |
|---|---|
| Present Capacity | 사용 가능한 HDFS 총 용량 |
| DFS Remaining | 남아 있는 HDFS 용량 |
| DFS Used | 사용한 HDFS 용량 |
| Live datanodes (N) | N개의 데이터 노드가 운영 중 - 각 데이터 노드의 상세 사용량 확인 가능 |
WebHDFS REST API 사용하기
curl 명령을 이용하여 REST API로 HDFS를 확인할 수 있습니다.
안내
모든 명령은 WebHDFS를 참고하시기 바랍니다.
코드 예제 WebHDFS REST API 사용
curl -s http://$(hostname -f):50070/webhdfs/v1/user/?op=LISTSTATUS
이미지 WebHDFS REST API 사용
YARN
표 YARN 명령어
| 명령어 | 설명 |
|---|---|
| yarn node -list | 노드 매니저 목록 확인 |
| yarn node -list -showDetails | 노드 매니저의 상세 정보 확인 |
| yarn top | 작업 상태 확인 |
| yarn application -list | 애플리케이션 목록 확인 |
| yarn application -list -appStates RUNNING | 애플리케이션의 상태에 따른 목록 확인 |
| yarn application -status < Application ID > | < Application ID >의 상태 확인 |
| yarn application -kill < Application ID > | < Application ID > 작업 종료 |
| yarn logs -applicationId < Application ID > | < Application ID > 작업 로그 확인 |
| mapred queue -list | 작업 큐 목록 확인 |
| yarn queue -status < Queue Name > | < Queue Name > 큐의 현재 상태 확인 |
노드 매니저 확인하기
노드 매니저의 상태를 확인할 수 있습니다.
코드 예제 노드 매니저 확인
yarn node -list -showDetails
이미지 노드 매니저 확인
작업 상태 확인하기
현재 리소스 매니저의 동작 상태(vCore, 메모리 사용량)를 확인할 수 있습니다.
명령어 작업 상태 확인
yarn top
이미지 작업 상태 확인
애플리케이션 목록 확인하기
현재 실행 중인 애플리케이션 목록을 확인할 수 있습니다.
코드 예제 애플리케이션 목록 확인
yarn application -list
이미지 애플리케이션 목록 확인
표 애플리케이션 목록
| 코드 | 설명 |
|---|---|
| Application-Id | 애플리케이션 ID |
| Application-Name | 애플리케이션 이름 |
| Application-Type | 애플리케이션 타입 |
| User | 사용자 |
| Queue | 큐 이름 |
| State | 상태 |
| Final-State | 최종 실행 상태 |
| Progress | 처리율 |
| Tracking-URL | 애플리케이션 마스터 URL |
애플리케이션 로그 확인하기
현재 실행 중인 애플리케이션 로그를 확인할 수 있습니다.
코드 예제 애플리케이션 로그 확인
yarn logs -applicationId <Application Id>
이미지 애플리케이션 로그 확인
전체 큐 목록 확인하기
전체 큐(Queue) 목록을 확인할 수 있습니다.
코드 예제 전체 큐 목록 확인
mapred queue -list
이미지 전체 큐 목록 확인
표 전체 큐 목록
| 코드 | 설명 |
|---|---|
| Capacity | 큐에 설정된 사용 가능량 |
| MaximumCapacity | 최고 사용량 |
| CurrentCapacity | 현재 사용량 |
큐 상태 확인하기
큐(Queue)의 상태를 확인할 수 있습니다.
코드 예제 큐 상태 확인
yarn queue -status <Queue Name>
표 전체 큐 목록
| 코드 | 설명 |
|---|---|
| Capacity | 큐에 설정된 사용 가능량 |
| CurrentCapacity | 현재 사용량 |
| MaximumCapacity | 최고 사용량 |
이미지 큐 상태 확인