클라우드 가이드 센터 User Guide

클러스터 관리하기

페이지 이동경로

클러스터 관리하기

클러스터는 Virtual Machine을 이용하여 프로비저닝된 노드들의 집합입니다.
Hadoop Eco 서비스에서 클러스터를 관리하는 방법은 다음과 같습니다.

클러스터 목록 보기

현재 생성된 클러스터 목록과 클러스터의 기본 정보를 확인할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.

  2. Cluster 탭에서 클러스터 목록을 확인합니다.

    이미지 이미지 클러스터 목록

    구분 설명
    클러스터 필터 필터를 통해 특정 클러스터 조회하거나, 키워드로 검색
    - 선택한 항목은 AND 조건으로, 일반 키워드 검색은 OR 조건으로 동작
    클러스터 이름 사용자가 지정한 클러스터의 이름
    Open API 상태 Open API 상태
    - 적용 불가능, 적용 가능,적용 중
    클러스터 상태 클러스터의 상태
    - Pending, Processing, Terminated(User)
    - 클러스터 상태가 Terminated(오류로 삭제된 클러스터 포함)인 경우 목록에 90일간 노출됨
    - 각 상태값에 대한 자세한 설명은 Overview 참고
    클러스터 타입 클러스터 타입 확인
    노드 수 클러스터 구성에 사용된 전체 인스턴스의 개수
    생성일 클러스터를 생성한 일자
    가동 시간 클러스터를 운영한 시간
    더보기 - 클러스터 복제: 클러스터의 상태와 상관없이 복제 가능
    - Open API 인증: API Key 발급(Open API 상태가 적용 가능일 때 노출)
    - 워커 노드 수 변경: 워커 노드의 개수를 줄이거나 늘림
    - 클러스터 삭제: 클러스터를 삭제

클러스터 상세 보기

클러스터의 세부 정보, 노드 정보, 노드 목록, 액션 로그, 모니터링 정보를 확인할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 상세 정보를 확인할 클러스터를 클릭합니다.

  3. 클러스터의 상세 페이지에서 정보를 확인합니다.

    구분 설명
    클러스터의 이름 클러스터 생성 시 작성한 클러스터의 이름
    기본 정보 클러스터의 상태와 인스턴스 총 가동 시간

클러스터 정보 확인하기

클러스터 작업, 작업 스케줄링, 서비스 연동 정보를 확인할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 정보를 확인할 클러스터를 클릭합니다.

  3. 클러스터 정보 탭에서 해당 클러스터의 정보를 확인합니다.

    이미지 이미지 클러스터 정보 탭

    구분 설명
    클러스터 정보 클러스터 관련 전체 정보
    작업 스케줄링 작업 스케줄링 정보
    - 작업 종류
    - 작업 완료 동작
    - 실행파일
    서비스 연동 서비스 연동 정보
    -모니터링 에이전트 설치 여부
    - 외부 Hive 메타 스토어 연동
      ㄴ 인스턴스 이름
      ㄴ MySQL 데이터베이스 이름
      ㄴ MySQL 아이디
      ㄴ MySQL 비밀번호
    - Data Catalog 연동
      ㄴ 카탈로그 이름

노드 정보 확인하기

마스터/워커 노드의 정보를 확인할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 노드 정보를 확인할 클러스터를 클릭합니다.

  3. 노드 정보 탭을 클릭한 후, 해당 클러스터의 노드 정보를 확인합니다.

    이미지 이미지 노드 정보 탭

    구분 설명
    노드 요약 노드 유형에 따른 요약 정보
    - 유형(마스터 또는 워커)
    - 노드 인스턴스 타입
    - 상태
    - 노드 개수: 워커 노드 개수 변경 가능
    마스터 노드 마스터 노드의 정보
    - 노드 인스턴스 타입
    - 디스크 볼륨
    - 호스트 이름
    워커 노드 워커 노드의 정보
    - 노드 인스턴스 타입
    - 디스크 볼륨

노드 목록 확인하기

현재 생성된 노드 목록과 노드의 기본 정보를 확인할 수 있습니다.

주의
Hadoop Eco 서비스에서 사용 중인 마스터/워커 노드 인스턴스는 임의의 동작(정지/재시작/삭제) 시 서비스에 영향을 줄 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 노드 목록을 확인할 클러스터를 클릭합니다.

  3. 노드 목록 탭을 클릭한 후, 해당 클러스터의 노드 목록을 확인합니다.

    이미지 이미지 노드 목록 탭

    구분 설명
    노드 인스턴스 이름 노드 인스턴스 이름 클릭 시, Virtual Machine의 해당 인스턴스 상세 페이지로 이동 후, 액션 사용 가능
    노드 유형 노드 유형(마스터 또는 워커)
    노드 인스턴스 ID 노드 인스턴스의 ID
    상태 노드 인스턴스의 상태
    타입 노드 인스턴스의 타입

액션 로그 확인하기

Open API Key를 발급받아 Hadoop Eco 클러스터를 생성한 경우, 액션 로그를 확인할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 액션 로그를 확인할 클러스터를 클릭합니다.
  3. 액션 로그 탭을 클릭한 후, 해당 클러스터의 액션 로그를 확인합니다.
    • 요청 ID 클릭 시 해당 액션 로그의 상세 정보를 확인할 수 있습니다.

    이미지 이미지 액션 로그 탭

    구분 설명
    액션로그 필터 필터 속성을 선택하거나 검색어를 입력해 원하는 조건으로 액션 로그 검색
    - 필터 속성: 요청 ID, 작업 결과, 사용자
    요청 ID 클러스터의 요청 ID
    상태 클러스터의 상태
    - Terminate, Node Modify, Schedule Start, Create
    작업 결과 클러스터 작업 결과
    - 진행중, 실패, 성공
    사용자 해당 클러스터 사용자 이메일
    가동시간/인스턴스 가동시간 클러스터를 운영한 시간
    - 시간 위에 마우스 포인터를 올리면 해당 클러스터를 요청한 시간을 알 수 있음
    액션로그 상세정보 [펼침] 아이콘 클릭 시 각 액션 로그의 상세 정보 확인
    - 워커 노드 개수: 설정한 워커 노드의 수
    - 워커 볼륨 사이즈: 액션 로그의 워커 볼륨 크기
    - HDFS 복제 개수: HDFS(Hadoop Distributed File System){:target=”_blank”}에서 복제한 개수
    - HDFS 블록 사이즈: HDFS의 블록 사이즈
    - 사용자 작업 옵션: 사용자가 작업한 옵션

모니터링 확인하기

Hadoop Eco 클러스터의 HDFS, YARN, Namenode, Resource Manager, Nodes, HBase 등 노드 별 상세 모니터링 지표를 확인할 수 있습니다.

안내
Trino 타입의 클러스터 모니터링은 추후 지원 예정입니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 모니터링 지표를 확인할 클러스터를 클릭합니다.

  3. 모니터링 탭을 클릭한 후, 해당 클러스터의 모니터링 지표를 확인합니다.

    이미지 이미지 모니터링 탭

    구분 설명
    데이터 기간 조회할 모니터링 지표 기간
    - 기간: 1시간(기본값) / 3시간 / 12시간 / 1일 / 7일
    조회 항목 조회할 모니터링 지표 항목
    - 항목(에이전트 설치): HDFS / YARN / Namenode / ResourceManager / Nodes / HBase
    - 항목(에이전트 설치 안 함): HDFS / YARN / Namenode / ResourceManager / HBase
    - 전체 항목을 기본적으로 조회하며, 복수의 항목 선택 가능
    자동 새로고침 주기 자동 새로고침 주기 설정
    - 주기: 자동 새로고침 안 함(기본값) / 10초 / 30초 / 1분 / 5분
    수동 새로고침 클릭 시 모니터링 결과 새로고침

    표 모니터링 제공 데이터

    항목 모니터링 데이터 설명
    HDFS HDFS 사용량 (%) HDFS의 사용량
      실행 중인 Datanode (개수) 실행 중인 Datanode의 개수
    YARN YARN 메모리 사용량 (Bytes) 전체 가용 메모리와 사용한 메모리의 양
      YARN CPU 사용량 (%) 전체 vCore의 사용량과 사용한 vCore의 양
      실행 중인 Nodemanager (개수) 실행 중인 Nodemanager 개수
      실행 중인 Application (개수) 실행 중인 Application 개수
    Namenode Heap Size (Bytes) 전체 가용 Heap 메모리와 사용한 Heap 메모리의 양
    ResourceManager Heap Size (Bytes) 전체 가용 Heap 메모리와 사용한 Heap 메모리의 양
    Nodes 노드별 CPU 사용량 (%) 노드 인스턴스 별 CPU 사용량
    - 에이전트 설치 시, 조회 가능
      노드별 메모리 사용량 (%) 노드 인스턴스 별 메모리 사용량
    - 에이전트 설치 시, 조회 가능
    HBase HMaster Heap Size (Bytes) 전체 가용 Heap 메모리와 사용한 Heap 메모리의 양
    - 클러스터 타입이 HBase일 경우만 조회 가능
      실행 중인 Resion Server (개수) 실행 중인 Resion Server의 개수
    - 클러스터 타입이 HBase일 경우만 조회 가능

클러스터 복제하기

동일한 설정의 클러스터를 복제할 수 있습니다.

안내
클러스터의 상태와 상관없이 복제할 수 있습니다. 생성 후 90일까지 정보를 가지고 있는 클러스터만 복제할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 복제할 클러스터의 [더보기] 아이콘 > 클러스터 복제를 클릭합니다.
  3. 클러스터 복제 팝업창에서 복제할 클러스터의 정보 확인 및 작업 스케줄링 설정 복제 여부를 선택하고 [확인] 버튼을 클릭합니다.
    • 작업 스케줄링 설정 여부는 원본 클러스터가 Core Hadoop일 때만 노출됩니다.

    이미지 이미지 클러스터 복제

    구분 설명
    클러스터 구성 클러스터 버전/타입/가용성
    클러스터 가용성 클러스터의 운영 안정성을 위해 가용성 타입으로 표준과 고가용성 타입을 제공
    마스터 노드 설정 노드 인스턴스 타입, 디스크 볼륨, 호스트 이름
    워커 노드 설정 노드 인스턴스 타입, 디스크 볼륨

API Key 발급하기

클러스터 타입이 Core Hadoop일 때 다음의 조건을 만족한 경우, Hadoop Eco 클러스터 API Key를 발급받을 수 있습니다.

클러스터 타입이 Core Hadoop인 경우의 Hadoop Eco 클러스터 API Key 발급 조건

  • 작업 스케줄링 활성화가 Hive 또는 Spark인 경우
  • Hadoop Eco 클러스터의 상태가 Terminated(User Command)또는 Terminated(User)인 경우

안내
Open API 상태가 적용 중인 경우, 2가지 형태의 클러스터 상태 값이 나타납니다.
- Pending: Open API 활성화 후, Hadoop Eco 생성 요청이 가능한 상태
- Processing: Open API 활성화 후 Hadoop Eco 생성 및 job scheduling이 진행 중인 상태

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 API Key를 발급할 클러스터를 선택합니다.
    • Open API 상태 필터로 원하는 상태의 Open API 상태를 검색하거나, API Key를 발급받을 클러스터를 검색할 수 있습니다.

    이미지 이미지 클러스터 목록의 Open API 상태 필터링

    Open API 상태 설명 결과 이미지
    적용 불가능 Open API 인증 미노출 이미지
    적용 가능 Open API 인증 노출 이미지
    적용 중 Open API 인증 선택 불가 이미지

  3. 클러스터의 [더보기] 아이콘 > Open API 인증을 클릭합니다.

    이미지 이미지 더보기 > Open API 인증

  4. Open API 인증 팝업창에서 [발급] 버튼을 클릭합니다.

    이미지 이미지 Open API Key 발급 팝업창

  5. 발급한 API Key를 복사하여 따로 저장해둡니다.

    이미지이미지 API Key 복사 버튼

주의
API Key는 재확인이 어려우므로 Open API 인증 팝업창에서 복사해서 별도로 저장해놓거나, 분실 시 [재발급] 버튼을 통해 다시 발급하시기 바랍니다.
- 동일한 이름의 클러스터가 있을 시, Open API Key는 발급되지 않습니다.
- Open API를 통한 클러스터 생성이 더 이상 필요하지 않을 경우, [삭제] 버튼을 눌러 API Key를 삭제하시기 바랍니다.

API Key 재발급하기

Hadoop Eco 서비스에서 API Key를 재발급할 수 있습니다.
Open API Key 재발급 시, 기존 API Key는 더 이상 동작하지 않게 되고 API 호출 시 새로 발급받은 Open API Key로 교체해야 합니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 API Key를 재발급할 클러스터의 [더보기] 아이콘 > Open API 인증을 클릭합니다.

  3. Open API 인증 팝업창에서 [재발급] 버튼을 클릭합니다.

    이미지 이미지 Open API 인증 팝업창

  4. Open API Key 재발급 팝업창에서 [재발급] 버튼을 클릭합니다.

    이미지 이미지 Open API Key 재발급 팝업창

API Key 삭제하기

API Key를 삭제할 수 있습니다. API Key 삭제 시, 클러스터 상세 페이지의 액션 로그 탭이 삭제됩니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 API Key를 삭제할 클러스터의 [더보기] 아이콘 > Open API 인증을 클릭합니다.
  3. Open API 인증 팝업창에서 [삭제] 버튼을 클릭합니다.

  4. Open API Key 삭제 팝업창에서 [삭제] 버튼을 클릭합니다.

    이미지 이미지 Open API Key 삭제 팝업창

워커 노드 수 변경하기

워커 노드 수를 변경할 수 있습니다.

안내
클러스터 상태가 Running인 경우에만 노드 수를 변경할 수 있습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 워커 노드 수를 변경할 클러스터의 [더보기] 아이콘 > 워커 노드 수 변경을 클릭합니다.

  3. 워크 노드 수 변경 팝업창에서 기존 생성한 노드 인스턴스 타입과 수를 확인한 후, 기존의 노드 수보다 크거나 작은 숫자로 입력하고 [저장] 버튼을 클릭합니다.

    이미지 이미지 워커 노드 수 변경 팝업창

클러스터 삭제하기

더 이상 사용하지 않는 클러스터를 삭제할 수 있습니다.

주의
삭제한 클러스터 자원은 종료한 후 완전히 반납되며 복구할 수 없습니다. HDFS의 데이터도 클러스터 자원과 함께 완전히 삭제되어 복구할 수 없습니다.

  1. 카카오 i 클라우드 콘솔에서 Hadoop Eco 메뉴를 선택합니다.
  2. Cluster 탭에서 삭제할 클러스터의 [더보기] 아이콘 > 클러스터 삭제를 클릭합니다.

  3. 클러스터 삭제 팝업창에서 삭제할 클러스터를 확인한 후, 영구 삭제를 입력하고 [삭제] 버튼을 클릭합니다.

    이미지 이미지 클러스터 삭제