기술개요
본 기술은 영상 흔들림을 제거하여 안정화된 영상을 생성하는 딥러닝 기반의 영상 보정 장치 및 방법임
- 영상의 여러 프레임을 입력받아 신경망 연산을 수행
- 2D 옵티컬 플로우와 3D 리지드 플로우 정보를 함께 사용
- 동적 영역(움직이는 객체 영역)과 정적 영역(고정된 배경)을 분리
- 정적 플로우 기반으로 영상 흐림(불안정성)을 보정
- 자기 지도 학습 기반의 재귀적 학습 구조 채택
기술 구현 내용
1) 영상 획득 모듈: 프레임 연속 영상 입력
2) 옵티컬 플로우 획득 모듈: 2D 정보 추출 (픽셀 이동)
3) 3차원 플로우 획득 모듈: 깊이 맵 + 카메라 내부/외부 정보 기반 리지드 플로우 생성
4) 정적 영역 검출 모듈: 2D-3D 벡터 차이로 동적 영역 제거
5) 영상 보정 모듈: 정적 플로우를 활용해 영상 흔들림 제거
6) 자기 지도 학습: 보정 결과를 반복 입력하여 성능 향상
시장성
■ 비디오 안정화 소프트웨어 시장
글로벌 비디오 안정화 소프트웨어 시장 규모는 2024년 기준으로 4억 5,000만 달러에서 2033년 12억 달러까지 연평균 12.5% 성장할 것으로 전망됨
고화질 카메라, 드론 및 액션 카메라의 채택이 증가함에 따라 스마트 및 더 전문적인 화상 기기의 수요가 증가하고 있음
기술의 차별성
1) 기존 기술의 한계
- 대부분의 기존 영상 안정화 기술은 2D 옵티컬 플로우만 사용해 카메라 흔들림만 처리함. 동적 객체로 인한 오차가 큼
2) 본 발명의 특장점
- 2D와 3D 정보를 융합하여 동적 객체를 구분하고, 정적 영역만 보정하여 정밀도 향상
3) 차별화 포인트
- 자기 지도 학습
- 3D 깊이맵 + 카메라 매트릭스 기반 리지드 플로우 활용
- 정적/동적 분리 기반 정적 플로우 생성
