Hadoop을 넘어

전문가 제언

본고는 보스턴의 기고가인 Gregory Mone이 "Beyond Hadoop"의 제목으로 CACM에 기고한 내용이며, 빅 데이터의 실시간 서비스가 요구되는 상황에서 기존의 하둡(Hadoop)이상의 새로운 솔루션을 찾아야 한다는 요지이다.

실시간 데이터 분석요구에 비해 하?이 너무 느려 다른 툴들이 나오기 시작했다. 하둡은 인프라 구조 소프트웨어인 HBase 안에서 실시간 처리능력을 구축해 왔으며 사실상 최상이었다고 Cloudera Lipcon은 설명한다. Mike Miller는 실시간 엔진인 Cloudant가 MapReduce 기반의 질의 프레임워크를 사용하여 실시간 정보처리와 추적능력을 보유하고 있고, HBase와 같은 컬럼 중심이 아닌 문서 중심적 저장방법으로 돌발적 ad hoc 질의를 쉽게 처리할 수 있다고 한다. 그는 구글이 2009년 ad hoc분석도구 Dremel을 제시하고 오픈소스 프로젝트 Drill을 시작했고, 현재는 지연되고 있지만 Drill의 이상적 목표는 linkedIn의 “People You May Know”의 기능이 될 것이라고 한다.

상기 업체들은 접근방법은 달라도 본질적으로 소셜 트렌드 모니터링과 더 나은 음악의 생성 및 제시에 대한 연결성 등에 대한 목표는 동일하며, 대량 정보의 확장 스토어로부터의 통찰을 끌어내기 위한 새로운 방법을 찾고 있다. Guestrin은 “많은 사람들이 빅 데이터에 대해 언급하나 대부분의 사람들은 빅 데이터를 생성하고 있다. 진짜 가치는 분석에 있다”고 결론을 맺는다.

코멘트: 빅 데이터 대응에 대한 방담이나 방향성 담론에서 벗어나 도입 및 활용을 위한 전문적 분석 및 체계 구축과 실천이 중요하다. 단기성 시범과제나 연결성 없는 테스트베드 구성에 과대투자나 시행착오를 줄일 시기이다. 중소기업 증흥을 위한 직접 지원정책도 좋지만 정부 및 공공기관의 실천적 투자에 중소기업의 구체적 참여기회를 배분하는 정책이 중요한 시기이다.

저자

Gregory Mone

자료유형

연구단신

원문언어

영어

기업산업분류

정보통신

연도

2013

권(호)

56(1)

잡지명

communications of the acm

과학기술
표준분류

정보통신

페이지

22~24

분석자

박*만

분석물

• Hadoop을 넘어.pdf [143,496 byte]

이미지변환중입니다.