HOME>디지털 실무>데이터베이스>하둡
ONLINE CLASS

하둡

?

수강 전 꼭 확인하세요

수강 전 자주 묻는 내용을 간단히 안내드립니다.

Q초보자도 교재 없이 수강 가능한가요? 프로그램 정보는?
A

네, 영상과 실습자료로 쉽게 학습할 수 있습니다. 알지오는 원격평생교육원으로 프로그램 관련 정보는 제공하지 않습니다.

◆
기업이 선택한 신뢰 강의

검증된 커리큘럼과 전문 강사진으로 높은 만족도를 제공합니다.

자세히 보기  >
♥
수강료 일부는 사회환원에 사용됩니다.

작은 나눔이 더 나은 내일을 만듭니다.

자세히 보기  >
REAL REVIEW

수강생 리얼후기!

실제 수강생의 학습 경험을 확인해 보세요.

수강후기를 불러오는 중입니다.

하둡 하둡

  • 하둡

  • 강의구성
  • (20강) 전체 : 13시간 10분|평균 : 39분30초
  • 이용기간/강사
  • 2개월
    알지오 R&D [IT] ▶ 프로필 보기
  • 증빙가능
  • 수료증, 수강증, 학습진도
  • 수강료
  • 250,000원할인125,000원
  • 알지오 패키지
    • "5개월" 혜택!
?

수강 전 꼭 확인하세요

수강 전 자주 묻는 내용을 간단히 안내드립니다.

Q 초보자도 교재 없이 수강 가능한가요? 프로그램 정보는?
A

네, 영상과 실습자료로 쉽게 학습할 수 있습니다. 알지오는 원격평생교육원으로 프로그램 관련 정보는 제공하지 않습니다.

수강료 일부는 사회환원에 사용됩니다.

작은 나눔이 더 나은 내일을 만듭니다.

자세히 보기 >
  • 01.38분 hadoop의 소개와 개발 준비
    빅데이터, 하둡 에코 시스템, ETL, 실행모드, 리눅스 서버 준비, 호스트 파일 수정, 인코딩 방식 설정, 자바와 하둡 설치
    빅데이터의 정의/빅데이터의 특징/빅데이터의 3대 요소/비정형 데이타/하둡과 관련된 제품/scribe/설치 파일 실행/ssh 접속 시도
  • 02.36분 개발 준비와 하둡 분산 파일 시스템
    하둡 환경설정 파일 수정, 하둡 실행, 예제 실행, 이클립스 설정, 프로젝트 빌드, HDFS 기초, HDFS 아키텍처, 네임노드와 데이터노드, 블록구조 파일시스템
    환경 설정 파일 수정/hadoop classpath 옵션/dfs.http.address/jps로 하둡 실행 여부 확인/빌드 결과 확인/네임노드와 데이터노드
  • 03.38분 HDFS의 파일 저장 동작방식과 읽기 동작방식
    HDFS 기초, HDFS 아키텍처, HDFS 명렁어 사용, 클러스터 웹 인터페이스
    파일 저장에 대한 동작방식 그림/데이터 저장시 장애가 발생할 경우/에디트 로그와 파일 시스템 이미지의 동작방식/HDFS 명령어 사용법/mv 명령어/stat 명령어/Dead Nodes
  • 04.37분 HDFS 입출력과 맵리듀스
    HDFS 입출력 예제, 맵리듀스 개념, 아키텍처, WordCount
    HDFS 입출력 예제/맵과 리듀스의 동작/잡 할당 과정/Interface Writable/매퍼 클래스 소스코드 보기/class OutputFormat/class LazyOutputForma
  • 05.36분 WordCount 맵리듀스 프로그램
    분석용 데이터, 항공 출발 지연 데이터 분석, 항공 도착 지연 데이터 분석
    WordCount 맵리듀스 프로그램 만들기/자세한 소스 보기/리듀스 메소드 재정의/출력 로그 자세히 보기/필요한 데이터 다운/출력 데이터 생성 확인/사용자 정의 옵션 사용
  • 06.32분 맵리듀스 기초
    사용자 정의 옵션, 카운터 사용, 다수의 파일 출력, 체인
    사용자 정의 옵션/GenericOptionsParser/Interface Tool/로그 보기/Class MultipleOutputs/매소드 보기/세번째 매퍼 설정할 경우
  • 07.38분 맵리듀스 정렬 구현
    보조 정렬, 부분 정렬, 전체 정렬
    정렬 구현/보조 정렬 순서/복합키 비교기 보기/리듀서 소스 보기/맵 리듀스 파일 실행/전체 정렬 작동 방식/정렬 확인
  • 08.40분 조인과 맵리듀스 튜닝
    주인 구현, 조인 준비, 맵-사이드 조인, 리듀스-사이드 조인, 셔플 튜닝
    조인/Class DistributedCache/리듀스-사이드 조인/출력 경로 조회/리듀스/주의할 점
  • 09.44분 맵리듀스 튜닝과 하둡 운영
    콤바이너 클래스 적용, 맵 출력 데이터 압축, DFS 블록 사이즈 수정, JVM 재사용, 투기적 잡 실행, 네임노드 HA 구성, 파일시스템 상태 확인, HDFS 어드민 명령어
    콤바이너 클래스 적용/snappy/ArrivalDelayCount에 snappy 적용/결과 비교/개별적인 잡에 대한 투기적 잡 실행/생성자 로그의 정보 보기/-saveNamespace 옵션/파일 저장 용량 설정 방법
  • 10.43분 하둡 운영
    데이터 저장공간 관리, 데이터노드 제거 및 추가, 네임노드와 데이터노드 장애복구, 하둡 사용자 관리, 하둡 주요 포트
    데이터 저장공간 관리/데이터노드 제거/데이터노드 추가/hdfs-site.xml 파일 내용 보기/에러가 나는 이유/네임노드 메타데이타 이중화/하둡 부가기능/제너릭 옵션 설명/-archives
  • 11.37분 하둡 부가기능
    하둡 스트리밍, 스트리밍 실행 옵션, 스틀리밍 구현, 잡스케줄러
    하둡 스트리밍 구현/첫번째 job 구현/명령어 파이프라인 사용/하둡 스트리밍 실행/페어스케줄러/풀 설정 파일 정의/전체에 대한 속성 보기
  • 12.39분 하둡 부가기능과 하이브
    페어 스케줄러, 커패시티 스케줄러, contrib 패키지, 하이브 아키텍처, 하이브 설치, 하이브QL, 하이브 칼럼 타입
    페어 스케줄러 적용/커패시티 스케줄러/속성값 살펴보기/관리 화면에서 queue 조회/구성요소 보기/테이블 생성 내용/drop 테이블
  • 13.40분 하이브QL과 하둡 적용
    데이터업로드, 하이브 내장집계함수, 하이브 내장함수, 조인, 조인 제약사항, 버킷활용, 하둡과 몽고DB 이용, 히둡 에코시스템 활용한 분석 플랫폼 구축, 빅데이터 기술 이용한 소셜 네트워크 데이터 분석
    데이터 업로드/첫번째 라인 삭제한 이유/하이브 주요 내장함수/조인하기/스토리지 사용 추이 데이터 보기/확장성과 실시간성 확보/sns 데이터 분석 시스템 구성
  • 14.37분 하둡 데이터 이동 part1
    인그레스, 이그레스, 플룸 아키텍처, 스크라이브 아키텍처, 추크와 아키텍처, 하둡에 로그파일 집어넣기
    하둡 데이터의 이동/복구 가능성/하둡으로 데이터를 옮길때 쓸수 있는 주된 방법/플룸 노드 데몬 시작 화면/플룸 마스터에서 설정 변경하는 방법/장애극복 모드/출력 포맷 보기
  • 15.45분 하둡 데이터 이동 part2
    반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기, 파일슬러퍼, 우지, 데이터베이스로부터 데이터 풀링, 맵리듀스활용, 스쿱
    반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기/파일 슬러퍼/슬러퍼의 중요한 특징/실제 작업 흐름 보기/DB 구조 살펴보기/두가지 예제 더 보기/맵 리듀스의 데이터 소스로서 HBase를 사용하는 경우
  • 16.40분 하둡 데이터 이동 part3
    하둡 밖으로 데이터 옮기기, 로컬 파일시스템으로의 이그레스, 데이터베이스, HBase, 하이브를 활용한 데이터 분석, 로그 파일 로딩, UDF 및 압축 파티션 테이블 쓰기
    하둡 밖으로 데이터 옮기기/input-fields-terminated-by/HBase shell 에서 테이블 만들기/직렬화 및 역직렬화(SerDe)/RegexSerDe 작동 보기/버킷 설정 두가지 방법/udf 클래스 살펴보기/description 보기
  • 17.44분 하이브 활용과 피그
    하이브를 활용한 데이터 분석, 하이브 조인 튜닝, 그루핑, 정렬, Explain, 피그 기본, 피그로 데이터 로드
    하이브 조인 튜닝/Full outer join/세미 조인/피그 라틴 데이터 타입 보기/완전한 기능을 갖춘 로그 로더 제공 방법/로드 하기/커먼 로그 로드 펑션을 사용해 로드 하는 법 알아보기
  • 18.42분 피그
    피그 파이프라인, 필터링 및 투영, UDF 그루핑 및 취합, UDF 활용 위치 찾기, 스트리밍, 조인, 정렬, 데이터저장
    필터링/투영/필터링 과정/필터 연산 결과로 ip 주소별로 로그 엔트리 그루핑하고 계산하기/getfinal/exec 메소드/스트리밍/시퀀스 파일로 저장하는 이유/커스텀 로드 펑션 실행
  • 19.40분 피그와 그런치 및 그 외 기술
    사용자 작업 흐름 최적화, LIMIT, SAMPLE, ILLUSTRATE, EXPLAIN, 성능, 그런치
    사용자 작업 흐름 최적화/RandomSampleLoader 인자 보기/Map Reduce Plan/피그에서 리듀서를 사용하는 연산자/configure 메서드/크런치에서 완전한 맵 리듀스 잡 실행하기/uniqueValues 메서드 살펴보기
  • 20.44분 데스트와 디버깅
    로그에서 가장 인기있는 URL 찾기, 조인, 케스케이딩, 튜플, 파이프, 탭, 테스트, 사용자 공간 문제 디버깅, 맵리듀스 주의 사항
    로그에서 가장 인기있는 URL 찾기/initialize를 통한 선언 초기화/크런치 조인 파이프라인/테스트 요소 살펴보기/run 메서드/테스크 출력 값 보기/투기적 실행 경쟁 조건/지나치게 많은 카운터

강의목록 다운로드                        1:1 강의 질문&답변