해결하려던 문제
내시경은 광원과 카메라가 거의 같은 위치에 있어, 점막 표면에 시점에 따라 움직이는 강한 정반사가 자주 생깁니다. 표준 3DGS는 이 하이라이트를 조직의 색·질감으로 함께 학습해, 새 시점에서도 밝기 포화와 색 왜곡이 남습니다.
담당 범위와 협업
직접 한 일
- 정반사 분해 방법 설계와 C3VD 실험 (제1저자)
- 원본 3DGS 대비 수정 코드 전부 작성 (정반사 추정, 최적화 경로 분리, 가중치, 정반사 제외 평가)
- MUE 2026 논문 집필과 동영상 발표
기반 코드 · 공동연구자
- 베이스 코드: Inria 3D Gaussian Splatting
- 참고 구현: PR-ENDO (내시경 3DGS)
- 데이터 전처리: EndoGSLAM 파이프라인
- 공동저자(Jae-Hyeong Kim)·지도교수(Byeong-Seok Shin): 연구 논의와 검토
주요 판단과 선택 이유
- 정반사는 복원을 “방해하는 관측”으로 정의했습니다. 정반사는 광원·카메라 위치에 따라 생기는 관측이고 조직의 성질이 아니므로, 조직 외관과 별도 성분으로 분리해 다뤘습니다.
- 정반사를 맞추는 학습이 조직 구조를 바꾸지 않게 했습니다. 두 성분의 최적화 경로를 나눠, 하이라이트를 설명하려고 조직 쪽 가우시안이 변형되는 것을 막았습니다.
- 조명 연구와 반대로 가중치를 낮췄습니다. 실내 장면에서는 광원 자체가 복원 대상이라 광원 영역의 손실 가중치를 높였고, 여기서는 정반사가 조직 복원을 방해하므로 정반사 가능성이 높은 픽셀의 가중치를 낮췄습니다. 두 연구를 나란히 놓고 정리한 설계 방향입니다.
- 정량 평가는 정반사를 뺀 영역에서 했습니다. 입력 영상에 정반사가 들어 있어, 정반사 영역까지 입력과 비교하면 하이라이트를 그대로 재현할수록 점수가 높아지기 때문입니다. 정반사 영역은 정성 비교로 보였습니다.
방법과 실험 과정
입력 영상 I를 시점에 따라 변하지 않는 조직 기본 외관 Ibase와 시점에 따라 변하는 정반사 성분 Ispec으로 나눕니다. 조직 구조는 3DGS로 표현하고, 정반사 성분은 따로 추정합니다.
- 정반사 추정: HSV 사전정보(밝고 채도가 낮은 픽셀)와, 기본 외관보다 밝은 양(+)의 잔차를 함께 써서 Ispec을 추정합니다.
- 최적화 경로 분리: 정반사를 맞추는 과정이 조직 기본 구조를 직접 바꾸지 않도록 두 성분의 최적화를 분리했습니다.
- 관측 신뢰도 가중치: 정반사 가능성이 높은 픽셀은 기본 외관 학습에서 가중치를 낮춰, 여러 시점에서 안정적으로 관측된 정보를 우선 반영합니다.
공개 코드와 논문 방법. 현재 공개 저장소의 코드는 논문 제출 이후 발전시킨 버전입니다. 정반사 추정에 포즈 임베딩 MLP와 FiLM 조건부 CNN을 쓰고 손실 항이 6개로 늘었으며, 가중치 형태도 다릅니다. 이 페이지의 방법 설명과 표 1 수치는 논문 기준입니다.
결과와 검증
정성 비교: 정반사 억제와 조직 외관
슬라이더나 이미지를 드래그하면 경계가 움직입니다. 키보드에서는 방향키를 쓰세요.
표준 3DGS는 입력의 하이라이트를 상당 부분 그대로 재현하지만, 제안 방법은 하이라이트를 줄이고 주변 조직과 이어지는 색·질감으로 복원합니다.
분리한 정반사 성분
슬라이더나 이미지를 드래그하면 경계가 움직입니다. 키보드에서는 방향키를 쓰세요.
분리한 정반사 성분은 입력의 하이라이트 위치와 대응하며, 시점이 달라도 같은 방식으로 분리되는 것을 확인했습니다.
정반사 제외 영역 정량 평가
| 방법 | PSNR (dB)↑ | SSIM↑ | LPIPS↓ |
|---|---|---|---|
| 3DGS | 35.80 | 0.89 | 0.22 |
| 제안 방법 | 35.88 | 0.90 | 0.22 |
평가 조건과 출처
- 데이터
- C3VD (Colonoscopy 3D Video Dataset), EndoGSLAM 전처리
- 비교 대상
- 표준 3DGS vs 제안 방법 (논문의 원본 평가 파이프라인)
- 테스트 셋
- 각 장면에서 8프레임 간격으로 추출
- 평가 범위
- 각 테스트 프레임에서 정반사 마스크 영역을 뺀 나머지 픽셀
- 평균
- 전체 테스트 프레임 대상 (평균 방식은 논문에 미기재, 저자 확인)
- 출처
- MUE 2026 논문 · Table 1 · Experiments and Results
- 이 표는 정반사 영역을 뺀 나머지의 복원 품질입니다. 정반사 제거 자체의 정확도를 측정한 값이 아니며, 정반사 억제는 정성 비교로 보여줍니다.
정반사 제외 영역 PSNR 35.80 → 35.88, SSIM 0.89 → 0.90, LPIPS 0.22 유지 (MUE 2026 표 1. 정반사 영역을 뺀 픽셀만 평가한 값). 정반사를 따로 분리하면서도 나머지 조직 영역의 복원 품질은 표준 3DGS와 같거나 조금 높게 유지했습니다.
평가 범위와 다음 연구
- 정량 표는 정반사 영역을 뺀 픽셀의 평가이고, 정반사 영역은 위 정성 비교로 확인했습니다. 데이터는 대장 모형을 촬영한 C3VD입니다.
- 다음 단계로 정반사 영역 내부의 복원 정확도를 정량으로 평가할 기준을 마련하고, 공개 저장소의 발전된 버전을 같은 조건에서 다시 평가하려 합니다.
같은 연구축의 앞선 연구: 강한 광원 주변의 3DGS 복원 왜곡 개선