초록

본 연구는 주행 중 촬영되는 영상에서 이상자를 실시간으로 탐지하기 위한 딥러닝 기반 프레임워크를 제안한다. 차량 내부나 주변에 설치된 카메라를 통해 수집되는 얼굴 영상은 법적·윤리적 이슈로 인해 데이터베이스에 사전 등록이 어렵다. 이에 따라, 실시간으로 유입되는 얼굴 이미지에 대해 등록 정보 없이도 이상 여부를 판단할 수 있는 기술이 필수적이다. 그러나 기존의 실시간 얼굴 추적 기술은 인물이 가려지거나 겹쳐지는 노이즈 환경에서 오분류 가능성이 높아, 실제 적용 시 큰 위험 요소가 된다.

이러한 한계를 극복하기 위해 본 연구에서는 영상 프레임을 기반으로 한 이상자 탐지 프레임워크를 설계하였다. 주행 영상을 프레임 단위로 분할한 후, 동일 인물로 추정되는 얼굴들을 추적하여 ID별로 묶는다. 이후 각 ID에 대해 프레임별 품질 평가를 수행하고, 가장 고품질의 이미지만을 선별하여 3D 얼굴 마스크로 증강한다. 사전에 확보된 이상자의 3D 머그샷도 동일한 방식으로 증강한 후, 두 3D 얼굴 마스크 간의 정합을 통해 유사도 검사를 수행한다. 이를 통해 두 얼굴의 공간적 유사성을 정량화하고, 임계값 이하일 경우 이상자로 판별하는 방식이다.

제안된 프레임워크는 크게 세 가지 기법으로 구성된다. 첫째, 얼굴 인식과 추적을 동시에 고려하기 위해 MTCNN과 BoxBot을 결합한 얼굴 전용 추적 기법을 개발하였다. 둘째, 유사도 검사의 효율성을 높이기 위해 모든 프레임을 사용하는 대신, 프레임별 품질을 스코어링하여 최상위 이미지만 선별하는 전처리 기법을 적용하였다. 셋째, 선별된 이미지를 3DDFA_v2를 통해 3D로 증강하고, ICP 기반 정합 및 Chamfer Distance 계산을 통해 3D-3D 유사도 검사를 수행하였다.

실험 결과, 제안하는 방법은 기존 기술 대비 더 높은 안정성과 정확성을 바탕으로, 영상 내 이상자 조기 식별에 효과적으로 활용될 수 있음을 보였다.