Adaptive Image Restoration
Projects | | Links:
IAMSEC
교수님께서 대전 컨벤션센터(DCC)에서 개최하는 제 16회 육군 M&S 국제학술대회(IAMSEC)를 위한 발표 준비로 이미지 복원을 제안하셨다.
연구 배경
| 상태 | bicubic downsampler | average pooling |
|---|---|---|
| 손상 |  |  |
| 복원 |  |  |
이미지 복원 기법은 다양하게 존재하지만 각각의 복원 기법은 그에 걸맞는 노이즈에 한정하여 성능을 발휘한다. 예를 들어 하나의 이미지에 bicubic downsampler와 average pooling으로 손상을 가하고 동일한 복원 기법을 적용하였을 때 모델이 해당 노이즈에 대한 복원을 학습한 경우에만 좋은 결과를 보인다. 따라서 임의의 손상된 이미지가 주어졌을 때 복원 기법 뿐만 아니라 어떠한 복원 기법을 사용해야할지 선택하고 결정하는 것 또한 전문 지식과 노력을 필요로 한다.
이에 대한 해결책으로 노이즈를 분류하여 다양한 복원 기법들을 통합적으로 이용할 수 있는 방안을 제시한다.
연구 방법
ImageNet에서 무작위로 이미지를 추출하여 1000장의 데이터셋을 구성하였다.
| bicubic downsampler | gaussian blur | rain mask | average pooling |
|---|---|---|---|
 |  |  |  |
추출한 이미지에 4가지 방식의 노이즈를 추가한다. bicubic downsampler, gaussian blur, average pooling은 DDNM을 rain mask는 efficientderain을 참조하였다.
| bicubic downsampler | gaussian blur | rain mask | average pooling |
|---|---|---|---|
 |  |  |  |
분류 정확도를 높이기 위한 방법으로 노이즈 성분만을 추출하는 방식을 고민해 보았다. 기본 아이디어는 이미지에 포함된 노이즈 정보가 주파수 영역에서 어떻게 나타나는지 이해하고 이를 기반으로 주파수 대역에서의 변화를 추출하는 것이다. 이를 위해서 이산 푸리에 변환을 통해 푸리에 스펙트럼을 구하였다. 노이즈 별로 특정한 양상을 띠는 것을 확인할 수 있다.
| Train | Validation |
|---|---|
 |  |
원본 이미지를 포함한 5000장의 데이터로 분류를 위한 학습을 위해 딥러닝 분류 알고리즘인 EfficientNet을 사용하였다. 테스트 결과 정확도가 58% 정도이다. 푸리에 스펙트럼을 EfficientNet으로 학습시키고 테스트를 진행하였다. 분류 정확도가 97%까지 높아진 것을 확인하였다.
