Hadoop과 Pig을 이용한 범죄데이터 분석

전문가 제언

○ 빅데이터 처리기술은 MR(MapReduce)와 같은 프로그래밍 모델을 기반으로 하여 개발자가 직접 응용 프로그래밍을 인터페이스를 이용하여 프로그래밍 해야 하므로 번거롭고 시간이 많이 걸린다. 따라서 프로그래밍 생산성을 높이기 위해서는 고수준의 처리 언어가 요구된다. 이와 같은 빅데이터 처리 프로그래밍 지원 기술로는 구글의 Sawzall, Hadoop의 Pig 등이 있다.

 

○ Pig는 고수준의 처리 언어 Pig Latin을 이용하여 프로그램하면 이를 MR 프로그램으로 변환하여 실행한다. MR를 이용하여 응용프로그램을 개발할 때보다 Pig 기반으로 응용프로그램을 개발할 때 전체 개발 시간이 약 16분의 1로 단축된다는 보고도 있다. 따라서 빅데이터 분석 개발자나 연구자는 Pig를 이용함으로써 MR를 이용할 때보다 개발시간과 시험시간을 단축할 수 있어 작업효율을 더 높일 수 있다.

 

○ 이 문헌에서는 미국의 경우 인구증가와 더불어 각종 범죄발생도 증가하여 범죄방지를 위한 조치로 사법부나 입법부가 의사결정을 위한 지원시스템으로 빅데이터를 이용하는 데 분석효율과 시간을 절약하기 위해 Hadoop의 Pig를 이용하여 분석하고 있다. 이 방법은 개발시간 단축과 작업효율을 높일 수 있어 여러 분야에서 빅데이터 분석 시 활용하면 좋은 결과를 얻을 수 있을 것이다.

 

○ 국내기업의 빅데이터 활용현황을 보면 전체기업 기준으로 4.3%(2015)이고 매출액 1천억 이상 기업의 경우 도입률은 9.6%, 종업원 수 100명 이상 기업기준 도입률은 4.3% 정도이다. 향후 도입의사를 가진 기업은 30.2%로 특히 2018년 이후 급증이 전망된다. 국내 기술수준은 선진국에 비해 62.6%로 약 3.3년 뒤쳐져 있다고 평가된다. 국내 빅데이터 활성화를 위해서는 적용사례를 통한 확산과 IoT, 클라우드와의 빅데이터 연계로 빅데이터 산업의 활성화를 추구해야 할 것이다.

저자

Arushi Jain, Vishal Bhatnagar

자료유형

니즈학술정보

원문언어

영어

기업산업분류

정보통신

연도

2016

권(호)

78()

잡지명

Procedia Computer Science

과학기술
표준분류

정보통신

페이지

571~578

분석자

박*준

분석물

• Hadoop과 Pig을 이용한 범죄데이터 분석.pdf [510,063 byte]

이미지변환중입니다.