빅 데이터 활용을 지원하는 병렬분산처리와 유사검색의 고속화기술

전문가 제언

○ 기업에서의 빅 데이터 이용은 업무 데이터를 중심으로 센서나 사진 등 현장에서 새롭게 얻어지는 현장 데이터, 혹은 외부 데이터와 조합하여 새로운 지식을 얻고 이러한 복수 데이터계열의 결합을 고속으로 처리하기 위하여 필요한 정보를 검색하는 것이다. 본고에서는 특정기업 내부의 대량 업무 데이터의 패치처리를 분산하여 처리하는 것을 고속화하는 데 있어 하둡(Hadoop)을 통해 업무 데이터 활용의 생산성을 높이는 기술과 센서나 사진 등의 유사성 검색을 종래보다 대폭 고속화하는 후지쓰의 고속 근사유사검색기술을 소개한다. IoT 응용 비즈니스 분야에서 다양한 활용이 가능하며 벤치마킹 포인트 획득을 위한 심층 분석이 필요하다.

 

○ IoT 분야의 빅 데이터 분석 관련 소스의 다양성, 로직의 이질성, 대용량 데이터의 분산처리 등 복잡도 해결을 위한 기술이 핵심이다. 특히 IoT 융합 비즈니스 모델로 인한 대용량 데이터의 패턴을 분석하고 상관관계 분석을 통해 비즈니스 가치창출을 극대화하는 기술이 중요해 지고 있다. 실무적으로 위치정보, 상항정보, 개별객체정보 등 특정속성 데이터의 벡터와 스칼라양의 융합이 창출하는 속성의 영향 정도를 정확히 파악하고 부족한 검색 속성을 분석하고 보완하여 빅 데이터 처리의 신뢰성 향상이 요구된다. 특정 제품인 하둡도 장단점이 있으므로 하둡의 단점을 커버할 수 있는 기술개발 연구와 상품화가 필요하다.

 

○ 빅 데이터 분석의 역량을 향상시키기 위한 비즈니스 지능화 메커니즘이외에 예측 모델링 및 최적화 알고리즘 개발도 중요하며 실무적으로 시나리오에 따른 시스템 시물레이션 분석의 정확도 향상과 최적화 의사결정 메커니즘이 중요하다. 향후 빅 데이터 처리성능 향상을 위한 병렬처리성능 향상기법 및 다양성 분석을 위한 병렬 질의처리기법에 대한 연구가 계속적으로 진행되어야 할 것이다.

 

○ 주요 해외 솔루션벤더로는 IBM, EMC, Oracle, SAP, SAS, HP 등이 있고, 국내 업체로 KT, 그루터, 클라우다인 등과 삼성SDS, LG CNS, SK C&C 등 다수 업체들이 있다. IoT 비즈니스 모델별 빅 데이터 분석 특화 솔루션 제공에 중소 ICT 기업의 참여가 요구된다.

 

저자

Satoshi TSUCHIYA, Makiko KONOSHIMA, Haruyasu UEDA

자료유형

니즈학술정보

원문언어

일어

기업산업분류

전기·전자

연도

2015

권(호)

66(4)

잡지명

雜誌FUJITSU

과학기술
표준분류

전기·전자

페이지

33~41

분석자

권*하

분석물

• 빅 데이터 활용을 지원하는 병렬분산처리와 유사검색의 고속화기술.pdf [574,195 byte]

이미지변환중입니다.