2002년 자바, 2011년 안드로이드에 이어 빅데이터(하둡이)라는 새로운 친구가 생겼다.



Hype Cycle for Emerging Technologies, 2013



2013년,빅데이터(Big Data)는 거품의 정점에 있었다.

뭐, 그런 것 같다. 

2014년 3월 현재 빅데이터의 거품이 꺼지고 있는게 느껴진다.

그렇다고 빅데이터 관련 기술이 사라질 기술은 아니라 생각한다.

파란색원이 안정기에 들어가기 위해서는 최소 5년, 최대 10년이 걸릴거라는데.


재미있는 해석은,

우리나라 사람들은 peak of inflated Expectations에 있는 기술에 많은 관심을 가지며

그 거품이 꺼지기 시작하면 해당 기술에 종사하던 사람도 많이 사라져 버린다는 것이다.

사라져 버린 사람들은 다시 새로운 기술을 배우고 있는 중이고.


빅데이터 기술은 5~10 사이 안정기에 접어들게 된다.

하지만 관련 기술자는 부족한 상태가 되고 더욱이 쓸만한 기술자는 더더욱 부족한 상태.

문.제.는.

내가 거품과 함께 사라져 버리면 안된다는 것인데!


해서 배운 기술을 내재화하기 위해 개인 프로젝트를 진행할 생각이다.




빅데이터아카데미 > 빅데이터 기술전문가

교육정보 빅데이터 기술 전문가

교육기간 : 3개월


교육 대상
심사범위선발기준
직무 기준
  • 개발자, DBA, SE(System Engineer)
  • 빅데이터 관련 직무자(빅데이터 처리 및 저장 관련 업무)
선수 조건필수 조건
  • DB 및 프로그래밍 관련 업무 3년(과장급) 이상의 중급 기술자
  • 관계형 데이터베이스 유경험자
  • Java Application, Java Script/Eclipse 사용 유경험자
  • 리눅스/유닉스 시스템 유경험자
우대 조건
  • 빅데이터 프로젝트 예정 인력
  • 데이터 분석 경험
  • 하둡(MapReduce, HDFS) 사용 유경험자
  • NoSQL 개념 이해 또는 경험자
  • 클라우드 서비스 및 인프라 사용/관리 유경험자
  • 분산파일 시스템 또는 분산 데이터베이스 유경험자
  • NoSQL, 캐싱기술 유경험자
교육 목표
  • 빅데이터 처리 수요 증가에 따라 DB 분산 처리 및 관리에 대한 해법이 필요한 상황에서 빅데이터 기반의 분산처리 및 NoSQL 관리 기법을 학습하게 하여 빅데이터 관리 시스템 구축 비용 절감 및 효과적 빅데이터 전략 수립 방안 제시
  • 빅데이터 핵심 기술인 하둡과 NoSQL의 논리적 구조와 물리적 구조에 대한 이해를 기반으로 하둡 관리 및 활용, MapReduce 프로그래밍, NoSQL(MongoDB) 관리 고급 기술을 습득하여 현업에 바로 적용할 수 있는 빅데이터 기술 전문가 양성
교육 내용 및 운영 계획
  • 사전교육 (1주차) : 빅데이터 온라인 교육 동영상 학습
  • 이론/실습교육 (2주차~3주차)
과목명내용시간
빅데이터 이해
  • 데이터 사이언스와 인문학적 통찰력
2h
빅데이터 분석 전략
  • 분석 과제 정의
  • 분석 마스터 플랜
5h
빅데이터 아키텍처 및 개념
  • 빅데이터와 하둡
  • 하둡 아키텍처 및 기본 개념
  • 하둡 활용 사례 연구
63h
하둡 분산 파일 시스템(HDFS)
  • 하둡 분산파일 시스템(HDFS) 개요
  • 하둡 분산파일 시스템(HDFS) 응용
  • 하둡 분산파일 시스템(HDFS)의 클러스터 운영 및 관리
빅데이터 MapReduce
  • MapReduce의 구조와 성능
  • 빅데이터 MapReduce 응용
  • 빅데이터 MapReduce 고급 분석
빅데이터 하둡 에코시스템
  • 분산 수집 시스템(FLUME)
  • 쿼리 분석 엔진(Hive/Pig)
  • NoSQL(HBase, Cassandra)
  • 데이터 통합(Sqoop)
  • 웍플로우 관리(Oozie)
빅데이터 운영 관리
  • 분석 시스템 관리
  • 분석 시스템 용량/비용 계획
  • 보안 관리

※ 상기 교육과정은 사정에 따라 변동될 수 있습니다.



  • 프로젝트(4주차~11주차) : 빅데이터 응용실무
일차내용
4주차~11주차- 프로젝트 팀 구성
- 추천(Micro Targeting) 시스템 구현 
- 자사 빅데이터 프로젝트 POC(Proof of concept)


  • 워크숍(12주차) : 빅데이터 고급실무
일차내용
12주차- 빅데이터 실시간 처리 기술(SQL on Hadoop) 
- 빅데이터 저장 기술(MongoDB)