강한 광원 주변의 3DGS 복원 왜곡 개선

해결하려던 문제

고휘도 광원 주변의 블룸·렌즈 플레어·과포화는 시점에 따라 다르게 관측됩니다. 표준 3DGS는 이 변화를 장면의 구조와 외관으로 설명하려 하므로, 광원 경계가 번지고 일부 가우시안이 비정상적으로 팽창하거나 반투명해지며 부유물 형태의 아티팩트가 생깁니다.

정답 (GT)

표준 3DGS

오류가 시작되는 단계를 세 가지로 나눴습니다.

• 초기 구조: 광학 효과가 섞인 RGB 영상에서 SfM을 시작하면 광원 주변 특징점이 흔들립니다.
• 학습 비중: 광원은 영상에서 차지하는 면적이 작아, 그 영역의 오차가 전체 손실에 충분히 반영되지 않습니다.
• 속성 안정성: 광원 주변 가우시안의 불투명도와 크기가 학습 중 불안정해집니다.

담당 범위와 협업

주요 판단과 선택 이유

• 오류를 세 단계로 나눠 단계마다 모듈 하나씩 대응했습니다. 광원 주변 번짐을 초기 구조·학습 비중·속성 안정성의 문제로 나눴습니다. 이렇게 나눠 두면 모듈을 하나씩 빼는 실험으로 각 단계의 효과를 따로 확인할 수 있습니다.
• 추가한 연산은 모두 학습 단계에만 넣었습니다. 학습이 끝난 뒤의 렌더링은 표준 3DGS 파이프라인을 그대로 써서 3DGS의 실시간 렌더링 장점을 유지합니다.
• 밝기 채널은 SfM에만 썼습니다. 색상 대비 대신 명암 중심으로 특징점을 잡아 조명에 따라 색이 크게 바뀌는 영역의 영향을 줄였습니다. KCC 2025에서 학습까지 밝기 채널로 하자 결과가 흑백이 되는 한계를 확인했기 때문에, 이후 학습은 RGB로 되돌렸습니다.
• 광원 검출은 가벼운 규칙 점수로 했습니다. 딥러닝 분할 모델을 붙이면 학습 비용이 늘어나므로, 광원이 대체로 “밝고 채도가 낮다”는 성질을 점수로 썼습니다.
• 이진 마스크 대신 소프트 마스크를 썼습니다. 이진 마스크는 경계에서 그래디언트가 불안정하고, 광원과 비슷한 물체를 잘못 잡았을 때 학습을 과도하게 끌고 갑니다.
• 정규화는 광원 가우시안에만, 학습 중반부터 걸었습니다. 장면 전체에 걸면 광원이 아닌 영역의 표현까지 묶입니다. 학습 초기에는 위치·크기·불투명도가 아직 수렴하지 않아 강한 제약이 최적화를 늦추거나 발산시킬 수 있다고 판단했습니다.
• 모든 모듈을 플래그로 켜고 끄게 만들었습니다. 플래그를 모두 끄면 원본 3DGS와 같은 학습이 되어, 비교 실험과 구성요소 제거 실험을 같은 코드로 재현할 수 있습니다.

방법과 실험 과정

1. 밝기 중심 SfM — 초기 구조

RGB 영상을 HSV로 바꾸고 V(명도) 채널만으로 COLMAP SfM을 수행해 카메라 포즈와 초기 포인트 클라우드를 구합니다. 3DGS 학습 자체에는 원본 RGB 영상을 그대로 씁니다.

KCC 2025에서는 밝기 채널만으로 학습까지 진행해 결과가 흑백으로 렌더링되는 한계가 있었습니다. 학술지·학위논문에서는 SfM에만 밝기 채널을 쓰고 컬러 외관 복원은 RGB로 학습하도록 확장했습니다.

2. 광원 소프트 마스크와 가중치 맵 — 학습 비중

밝기와 채도로 광원 후보 점수를 계산합니다.

점수가 임계값 τ 이상인 픽셀로 이진 마스크를 만든 뒤, 시그모이드·가우시안 블러·형태학 연산으로 경계를 부드럽게 해 소프트 마스크 M을 얻습니다.

마스크는 픽셀별 L1 손실의 가중치로 들어갑니다. β = 0.8은 학위논문에서 실험적으로 정한 값입니다.

아래에서 β를 바꾸면 광원 픽셀의 가중치가 어떻게 커지고, 가중치 합에서 광원 영역이 차지하는 비중이 얼마나 늘어나는지 볼 수 있습니다.

β를 바꾸면 학습 손실에 쓰는 픽셀 가중치만 브라우저에서 다시 계산합니다. 학습된 3DGS 결과는 β = 0.8로 학습한 하나뿐이며, 이 슬라이더로 바뀌지 않습니다.

Case 3 · 샹들리에Case 2 · 창문 자연광Case 1 · 천장 형광등

정답 영상

소프트 마스크 M

가중치 맵 w

β

0.8

논문 값(0.8)으로

w = 1.03.0

광원 픽셀(M ≥ 0.5) 면적

–

가중치 합에서 광원 픽셀 비중

–

광원 픽셀 가중치 (M = 1)

–

3. 광원 가우시안의 속성 정규화 — 속성 안정성

광원으로 식별한 가우시안 집합 G_light에만 제약을 겁니다.

• 광원 가우시안 식별: 반복마다 가우시안 밝기를 계산해 임계값을 넘는 가우시안을 G_light로 식별
• 불투명도 정규화 L_o: 불투명도가 0 또는 1로 수렴하도록 유도해 반투명한 가우시안이 남지 않게 합니다.
• 스케일 정규화 L_s: 크기의 L1 노름을 줄여 비정상적인 팽창을 억제합니다.

적용 시점: 총 30,000회 중 15,000회 이후 속성 정규화를 활성화하고, 활성화 후 일정 구간 동안 가중치를 선형으로 높임.

통합 손실

원본 3DGS 대비 바꾼 부분

아래 수정은 모두 직접 작성했습니다.

결과와 검증

광원 영역 정량 평가

Case 3 · 샹들리에Case 2 · 창문 자연광Case 1 · 천장 형광등

표준 3DGS ↔ 제안 방법정답 ↔ 제안 방법정답 ↔ 표준 3DGS

표준 3DGS제안 방법

비교 경계 위치

슬라이더나 이미지를 드래그하면 경계가 움직입니다. 키보드에서는 방향키를 쓰세요.

같은 영역을 확대해 보면 창문 프레임과 조명 경계의 번짐, 광원에 붙은 부유물이 줄었습니다. Case 3(샹들리에)은 PSNR 향상 폭이 가장 작지만(+0.51 dB) LPIPS는 0.314에서 0.286으로 낮아졌습니다.

전체 이미지 평가

전체 이미지 기준 PSNR 향상은 시점별 +0.17 ~ +0.38 dB로, 광원 ROI보다 작음. 광원 영역을 겨냥한 방법이라 개선이 광원 주변에 모였고, 전체 이미지에서도 세 시점 모두 PSNR이 올랐습니다.

View 1View 2View 3

표준 3DGS ↔ 제안 방법정답 ↔ 제안 방법

표준 3DGS제안 방법

비교 경계 위치

슬라이더나 이미지를 드래그하면 경계가 움직입니다. 키보드에서는 방향키를 쓰세요.

구성요소 제거 실험

• 전체 모델이 모듈을 하나씩 제거한 3개 조건보다 PSNR·SSIM·LPIPS 모두 우수.
• 가중치 맵 손실을 뺐을 때 PSNR이 가장 크게 떨어졌습니다(전체 모델 대비 −0.38 dB).
• 속성 정규화를 뺐을 때 SSIM이 가장 낮았습니다(0.819).
• 밝기 중심 SfM을 뺐을 때는 PSNR이 0.17 dB 낮아지고 LPIPS가 높아졌습니다.

측정은 전체 모델과 모듈을 하나씩 뺀 3개 조건, 모두 4가지로 했습니다.

렌더링 속도

평가 범위와 다음 연구

• 정량 평가는 DrJohnson 단일 장면에서 표준 3DGS와 비교한 결과이며, 렌더링 품질 개선을 다룹니다. 카메라 포즈 같은 기하 정확도는 평가 대상에 넣지 않았습니다.
• 다음 단계로 여러 실내 장면과 반복 실행에서 개선 폭이 일관되는지 확인하고, 학습된 결과를 브라우저에서 직접 돌려 볼 수 있는 실시간 비교 뷰어를 실제 PLY로 검증한 뒤 공개하려 합니다.

연구 흐름과 발표

1. KCC 2025 — 밝기 채널 기반 SfM. 구조가 안정되는 것을 확인했지만 결과가 흑백으로 렌더링되는 한계가 남았습니다. 우수논문상.
2. 정보과학회논문지 (2026) — 컬러 외관 복원으로 확장하고, 가중치 맵 학습과 속성 정규화를 추가했습니다.
3. MUE 2026 — 같은 연구축에서 내시경 정반사 분리로 문제를 옮겼습니다. 내시경 정반사 분리 연구 보기
4. 학위논문 (2026.08) — 조명 복원 연구를 통합·정리했습니다.