빅데이터, 패스트 데이터 및 데이터 레이크 개념

전문가 제언

○ 빅데이터는 기존의 일반적인 DB S/W로는 관리하기가 어려울 정도의 큰 규모로서 현재로는 수십 테라에서 앞으로 페타, 엑사 바이트 정도 크기의 대용량 데이터를 의미한다. 최근에는 빅데이터는 대용량 데이터의 수집, 저장, 분석, 체계화를 위한 도구, 플랫폼, 분석기법 등을 포괄하는 용어로 변화하고 있다. IDC의 Digital Universe Study에 따르면 2009년 0.8제타바이트(ZB=1021바이트)였던 데이터양이 2020년 35ZB로 44배 규모로 증가할 것으로 예측하고 있다.

 

○ 패스트 데이터(fast data)는 빅데이터 형성 전에 실시간으로 빠르게 흘러들어오는 필터링 되지 않는 데이터를 말한다. 패스트 데이터는 즉각적인 반응이 중요한데 이를 위해 사전예측 작업을 수행해야 한다. 처리 과정은 (1) 애플리케이션 통합, (2) 이벤트 프로세싱, (3) 데이터의 시각화이다. 적용사례는 의료, 기상정보 등의 많은 분야에서 활용 중인데 최근 정부기관에서도 이를 이용한 서비스를 개발하고 있다.

 

○ 데이터 레이크(data lake)는 막대한 양의 원시 데이터를 본연의 형식 그대로 필요해질 때까지 보관하는 저장소이다. 조직들이 다양한 리소스에서 방대한 양의 데이터를 수집하면서 점차 일반화되고 있는 개념이다. 분석에 대한 비즈니스 요구 증가도 대규모 데이터 저장소 추세를 부추기는 요인이다. 또한 기업들이 무한이 많은 네트워크화 된 사물로부터 데이터를 수집하는 사물인터넷의 성장과 함께 데이터 레이크의 중요성은 더욱 커질 가능성이 높다.

 

○ 국내 빅데이터 기술은 선진국에 비해 기술격차가 3.3년이고 시장발전의 핵심지표인 서비스 부문 비중도 10% 정도 벌어져 있다. 국내 빅데이터 시장은 현재는 선진국(32.75%)보다 성장률이 떨어지지만(29.2%) 2020년에는 43.74%로 선진국(43.63%)을 앞서기 시작할 것으로 전망된다. 특히 금융(45.7%)과 통신미디어(48.7%)의 성장세가 높다. 국내 빅데이터 산업은 현재 시장초기단계이지만 빅데이터와 이와 관련된 데이터 레이크 및 패스트 데이터기술에 대한 다양한 사례가 만들어진다면 시장 활성화에 크게 기여할 수 있을 것이다.

 

저자

Natalia Miloslavskaya, Alexander Tolstoy

자료유형

니즈학술정보

원문언어

영어

기업산업분류

정보통신

연도

2016

권(호)

88()

잡지명

Procedia Computer Science

과학기술
표준분류

정보통신

페이지

300~305

분석자

박*준

분석물

• 빅데이터, 패스트 데이터 및 데이터 레이크 개념.pdf [526,465 byte]

이미지변환중입니다.