단렌즈 + 알고리즘

어제 트위터에서 굉장히 흥미로운 기술 소개 영상을 보았다.
광학에서 렌즈는 자이델의 5대 수차라는 왜곡 문제를 일으키기 때문에 카메라 등의 영상 측정 장치에서는 이런 수차를 보정하기 위해 여러계의 렌즈 구성을 잘 설계해서 조립한 복잡한 렌즈군을 채용한다. 당연히 수차가 적은 좋은 렌즈는 가격이 비싸지게 된다.

어제 본 기술에서는 가격이 싼 단렌즈(하나의 렌즈)로 영상을 획득하고 영상의 수차를 연산을 통해 후처리로 보정하는 것을 보여주었다.(단렌즈 이미징 - 아래의 영상 참조)


SimpleLensImaging Heide2013 from Felix Heide on Vimeo.


'외계력이 쩐다.'고 표현하는 사람도 있지만, 기술적으로는 그렇게 어렵지는 않다. 쉽다는 이야기는 아니고, 필요한 기반 기술이 이미 오랬동안 연구되어 왔다는 의미에서 이다.
뜯어서 보면, 단렌즈+센서가 구성된 상태에서 색상별로, 위치별로 Point Spread Function(PSF)를 얻어서 측정된 이미지를 PSF를 이용해 Deconvolution하는 것에 대한 내용이다. 일전에 Adobe에서 시연한 deblurring 기술과 본질적으로 유사하다.

다만 두 기술에는 결정적으로 큰 차이가 존재하는데, PSF를 획득하는 방법이다. 단렌즈 이미징은 이미 원본을 아는 이미지를 단렌즈로 측정한 후 왜곡된 영상과 원본을 비교하여 PSF를 획득하였고, Adobe는 이미지 자체를 분석해서 PSF를 획득하였다.(당연히 Adobe의 PSF 획득 기술이 어렵다.)

내가 이야기하고 싶은 것은 단렌즈 이미징의 알고리즘은 요즘 기준으로 허들이 그렇게 높지는 않다. (개발자들의 노고를 깍아 내리려는 것은 아니다. 알고리즘을 최적화 하기 위해 상당한 노력을 기울였다고 생각한다.) 그럼에도 불구하고 디지털 이미징 시대가 열리고 단렌즈 이미징이 개발되는데 걸린 시간이 이상하게 길다.

그 이유는 대다수의 사람들이 이런 발상을 하지 못하였기 때문일 것이다. 디지털 이미징 기술을 연구하는 사람들은 빛을 더 깊이 이해하려고 노력한다. 그들에게 빛은 굉장히 많은 정보를 담고 있는 대상이다. 영상을 다루는 사람은 RGB 세개의 요소로만 생각해도 괜찮지만, 그들에겐 빛은 굉장히 다양한 (연속적인) 파장으로 이루어져 있다. 영상을 다루는 사람들에겐 색수차인 것도 그들에겐 '파장'수차인 것이다. 그들은 줄곧 파장 수차를 줄여야 한다고 생각해 왔을 것이다. 하지만 단렌즈 이미징 기술 개발자들은 단어 그대로 '색'수차를 보정하면 된다고 간단히 생각한 듯 하다. (기하 수차의 경우도 광학 보정과 디지털 보정간에 차이가 존재하지만 여기서는 논외로 하였다.)

그 관점에서 보면 단렌즈 이미징 기술은 한계를 갖는다. RGB로 변환된 이후의 영상을 후보정 한 것이므로 각각의 'R', 'G', 'B' 안에는 넓은 파장의 광원들의 수차들이 누적되어 있는 상태이다. 이 수차들은 후보정으로는 보정할 수 없는 전산 기술의 한계이다. 하지만 단렌즈의 가격과 소개 영상에서 보여주는 결과물을 생각하면 상당한 파급력을 갖을만한 기술이라고 생각한다.

현단계에선 휴대용 기기에서 처리하기엔 꽤 큰 연산 능력이 필요하겠지만 곧 해당 알고리즘을 하드웨어 단에서 처리하도록 칩을 제작하면 보급도 간단해 질 것이고, 무엇보다 스마트폰 같은 부실한 광학계를 갖는 영상 장치의 결과물 수준이 크게 올라갈 수 있을 것으로 기대된다.

개인적으로 카메라 외에 현미경으로의 적용도 기대된다. 요즘은 연구도 데이터가 중요해서 현미경이 눈을 위해 사용되는 경우보다는 카메라를 위해 사용되는 경우가 더 많은데, 이 경우 저렴한 수십만원대의 대물렌즈로도 기존 수백~수천만원대의 대물렌즈와 그리 큰 차이가 없는 결과물을 얻을 수 있도록 해줄 것이다.