-
교육기간
1개월
-
수업일
평일반(월~금)
주 5일주말반(토, 일)
주 2일 -
상담문의
1522-7909
하둡 프로그래밍 과정 소개
하둡은 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술입니다. 하둡은 수천 대의 분산된 x86 장비에 대용량 파일을 저장할 수 있는 기능을 제공하는 분산파일 시스템과, 저장된 파일 데이터를 분산된 서버의 CPU와 메모리 자원을 이용해 쉽고 빠르게 분석할 수 있는 컴퓨팅 플랫폼인 맵리듀스로 구성돼 있습니다. 하둡의 HDFS와 맵리듀스(MAPREDUCE)의 동작 원리를 이해하고 하둡 클러스터 운영/관리, 하둡 스트리밍/스케줄러를 활용한 대용량 데이터를 저장, 분석, 처리하는 기능을 학습합니다.하둡 프로그래밍 과정 학습목표
-
01
빅데이터 처리를 위한 프레임워크인 하둡에 대한 이해를 할 수 있고 하둡을 설치하고 예제
프로그램 실행을 통해 하둡 시스템에 적응할 수 있습니다. -
02
하둡의 HDFS와 맵리듀스(MAPREDUCE)의 동작 원리를 이해할 수 있고 하둡 특화 데이터 타입과 데이터 입출력 포맷에 대해 이해할 수 있으며
샘플 데이터를 토대로 맵리듀스 프로그램을
개발할 수 있습니다. -
03
하둡 클러스터를 운영/관리 할 수 있고
하둡 스트리밍/스케줄러를 활용해
대용량 데이터를 저장, 분석, 처리할 수 있습니다.
하둡 프로그래밍 과정 커리큘럼
주제 | 소주제 |
---|---|
빅데이터 하둡의 설정과 실행 |
빅데이터 처리를 위한 프레임워크인 하둡에 대한 이해 |
리눅스 호스트에 하둡(가분산모드) 설치 및 실행 | |
하둡 예제 프로그램 실행하며 하둡 시스템에 적응 | |
맵리듀스의 이해 | 하둡작업의 근간을 이루는 키/값 에 대한 이해 |
맵리듀스 잡의 각 단계에 대한 이해 | |
맵리듀스 프로그램 개발을 위한 환경 설정 | |
하둡 자바 API를 이용한 간단한 맵리듀스잡 생성 | |
맵리듀스의 이해 | 하둡 자바 API를 이용한 간단한 맵리듀스잡 생성 |
맵리듀스 동작 과정 이해 | |
컴바이너 설정 | |
하둡 특화 데이터 타입에 대한 이해 | |
하둡 데이터 입출력 포맷에 대한 이해 | |
맵리듀스 프로그램 개발 | 항공운행 데이터를 토대로 맵리듀스 프로그램 개발 |
체인매퍼를 이용해 필드/검사 분석 | |
맵리듀스 프로그램 개발 | 분산캐쉬 활용 |
카운터 활용 | |
고급 맵리듀스 기술 | 데이터 조인 |
– 맵사이드 조인과 리듀스 사이드 조인 | |
고급 맵리듀스 기술 | 프로그래밍 언어에 종속적이지 않은 데이터 처리 |
에이브로 맵리듀스 API | |
클러스터 구축 및 운영 | 완전분산모드 설정 |
하둡 데이터 노드와 태스크트래커 장애복구 | |
하둡 네임노드와 잡트래커 장애복구 |
수강신청 절차 안내
-
STEP1
온·오프라인 1:1 교육컨설팅 -
STEP2
학습계획 수립 -
STEP3
교육비 납부 및 수강신청 -
STEP4
교육 진행
교육후기 더보기
-
최우람 #클라우드 아키텍처 설계 및 운영 엔지니어 양성
안녕하세요 국비지원과정 클라우드 아키텍쳐 운영관리 및 정보보안 전문가 과정 참여중인 최우람 이라고 합니다.
-
김명화 #Python 기초
학원 처음 등록해서 파이썬과목을 공부하고있는 비전공자 입니다.
-
정지은 #파이썬&자바 SW개발자 양성
비전공자로 국비지원을 통해 수강하고 있는 정지은입니다!