개량된 역방향 전파 신경망을 사용한 스팸 필터링의 자동 사전 구축

전문가 제언

○ 스팸 필터링에는 여러 가지 다양한 기법이 사용되고 있다. 이 중에 신경망은 정확한 결과를 산출하는데, 신경망 중에 가장 인기가 있는 것은 BP(Backward Propagation) 신경망으로서 가장 정확한 결과를 낸다. 그러나 실제 응용에는 학습 시간이 길고 또한 규모가 크면 국부 최저치에 빠질 위험성 때문에 적합하지 못하다. 따라서 통상적인 BP 신경망을 개량하여 이 문제를 해결한다.

○ 스팸 필터링을 하기 위해서 메일을 표기하는 전통적인 방법은 문서에 출현하는 용어를 사용하여 문서 벡터를 만드는 것이다. 그러나 이 방법은 용어 간의 개념적인 유사성을 무시하고 용어 의미의 애매성 때문에 문제가 발생한다. 이 문제를 해결하기 위해서 사전이 등장했는데, 사전 활용의 기본적인 전제는 용어가 같은 문서에 나오면 서로 연관성이 있다는 것이다.

○ 이 논문에서 제안하는 스팸 필터링 시스템에는 자료 전처리, 사전 구축, 분류기 구축 그리고 스팸 필터링의 네 가지 요소를 가지고 있다. 제안하는 시스템의 성능 평가를 위해서는 Ling-Spam 말뭉치를 사용했고 10겹의 중층 크로스 확인(cross validation) 방법을 적용했는데 이는 90%의 자료를 훈련용, 나머지 10%를 실험 자료로 사용한 것이다.

○ 논문에서 국내 연구자 논문의 인용이 없어 연구 및 국내 동향의 파악을 위해 관련된 키 워드를 사용하여 검색한 결과 BP 신경망의 개량에 대해서는 반응이 없었고, 반대로 BP 신경망에 대해서는 146편이 나와 활발한 분야로 간주되나 그중 2편의 한국인 논문은 스팸을 다루지 않았다.

○ 신경망을 사용한 스팸의 연구는 비교적 활발하여 34편의 논문이 추출되었으나 그중 2편의 한국인 논문은 스팸을 다루지 않았다. 신경망 또는 기타 기법의 사용에 무관하게 스팸 문제에 대해서는 아직 국내 연구자의 활동이 없는 것이 이전의 분석에서도 판명되었다. 그러나 이는 능력의 문제가 아니라 연구자 취향이라고 생각한다.

저자

Hao Xu, Bo Yu

자료유형

학술정보

원문언어

영어

기업산업분류

정보통신

연도

2010

권(호)

37

잡지명

Expert Systems with Applications

과학기술
표준분류

정보통신

페이지

18~23

분석자

김*창

분석물

• 개량된 역방향 전파 신경망을 사용한 스팸 필터링의 자동 사전 구축.pdf [326,946 byte]

이미지변환중입니다.