첨단영상대학원 김상진 연구교수 왼쪽부터 융합공학부 Monson H. Hayes 교수, 백승조교
첨단영상대학원 시각및지능시스템 연구실의 김상진 연구교수(이하 \\'김\\')와 지도자급 외국인초빙교수로 첨단영상대학원 및 공과대학 융합공학부 겸임 교수로 재직 중인 Monson H. Hayes 교수 (이하 \\'Hayes\\')가 개발한 시스템이 전기전자컴퓨터공학 분야에서 세계적으로 가장 규모가 큰 학회인 국제전기전자기술협회 (IEEE INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS)가 발간하는 저널 \\'IEEE TRANSACTIONS ON IMAGE PROCESSING (SCI 피인용 상위 10% 및 신호및영상처리 분야 최고의 논문지)\\'에 논문 출판이 확정되었다. ELECTRIC ENGINEERING 분야 정상급 저널에 우리 대학의 두 교수가 개발한 시스템의 논문 출판이 확정되었다는 기쁜 소식에 인터뷰를 요청했다.
우선 이번 논문 출판을 축하 드립니다.
김&Hayes: 감사합니다. 이렇게 인터뷰까지 할 줄은 몰랐어요.(웃음)
이번 SCI 논문 (Multifocusing and Depth Estimation Using a Color Shift Model-Based Computational Camera )에 제안된 다중컬러필터조리개 (multiple color -filter aperture system; MCA) 시스템에 관하여 설명을 해주세요.
김&Hayes: 계산영상처리 (Computational Imaging) 기술은 광학계, 영상센서, 컴퓨터 기술의 유기적 결합으로 기존 신호처리의 한계를 극복하는 분야로서 항공우주, 원격탐사, 군사용, 산업용, 과학연구, 의생명공학, 보안감시 등 전문 분야 및 디지털 시네마, 디지털 TV, 휴대폰 콘텐츠 등의 일반 생활 응용 분야에도 활용되어 더욱 다양한 콘텐츠 제작 환경을 만들 수 있습니다. 저희는 세계 최초로 다중컬러필터조리개 (multiple color-filter aperture; MCA)를 이용하여 피사체의 거리에 따른 심도(depth) 정보를 추정할 수 있는 단일 카메라 기반의 계산 카메라 (Computational Camera)를 제안하였으며, 다양한 분야에 활용 될 수 있을 뿐만 아니라 계산 카메라 분야의 원천 기술을 확보할 수 있을 것으로 기대됩니다.
그림 : 다중컬러필터조리개 시스템
제안한 카메라에 대해 좀 더 구체적으로 설명하자면, 이번에 개발된 카메라 안에는 빨간색(R), 초록색(G), 파란색(B) 필터로 구성된 다중컬러필터조리개가 설치되어 있습니다. 빛이 카메라 안으로 들어가면 다중컬러필터조리개에 의해서 피사체의 위치에 따라 센서에 도달하는 빛의 수렴 패턴이 달라지게 됩니다. 이러한 수렴 패턴은 결국 영상에서 R, G, B 채널의 컬러 부정합 (misalignment)을 발생시키고, 이를 수학적으로 모델링 하면 단일 카메라에서도 피사체의 거리 정보를 추정할 수 있습니다. 이전에는 피사체의 심도를 추정하려면 2대 이상의 카메라가 필요했습니다. 매우 흥미로운 방법이죠?
시스템에 대한 설명을 마친 후, 김상진 연구교수는 “인터뷰를 떠나서 계산영상처리 기술이 얼마나 재미있는지 알려주고 싶다.”면서 인터넷을 켜고 영상자료를 보여주었다.
어렸을 때 어떤 학생이셨나요?
김: 게임을 좋아하는 평범한 학생이었어요. 특히 파이널판타지, 드레곤퀘스트와 같은 롤플레잉 게임을 좋아하고 과학 원리에 관심이 많았어요.
그럼 어떻게 영상대학원에 들어오게 되셨나요? 그리고 계산 카메라에 대해 어떻게 관심을 갖게 되셨는지?
김: 학부 때 DSP(digital signal processing) 및 영상처리 수업을 들으면서 미적분, 확률통계 등등 내가 배운 이론이 영상처리 기술에 실제로 적용된다는 것을 알게 되었습니다. 신선한 충격이었어요. 그 후 영상대학원에 진학하게 되었고 관련 학문들을 연구 개발하면서 자연스럽게 계산카메라를 접하게 되었습니다.
Hayes: 평소에 사진과 비디오에 흥미가 있었죠. 제가 그 쪽 방면으로 박사과정을 밟으면서 자연스럽게 계산 카메라에도 관심을 갖게 되었어요.
앞으로의 포부가 있다면? 그리고 혹시 다른 연구를 준비 중 인가요?
김: 기존 영상 처리 기술은 이미징 시스템의 소형화와 저전력 하드웨어 요구에 따른 연산 능력 및 성능에서 그 한계를 보이고 있어요. 그래서 계산 카메라를 더욱 연구하여 다양한 원천기술을 확보하는데 노력을 기울이고 있습니다. 또한 개발한 기술을 최근 화두가 되고 있는 유비쿼터스 컴퓨팅 환경이나, 바이오 응용기술 분야에 접목 시키고 싶습니다.
Hayes: 운전자가 졸음 운전할 때 자동차 안의 카메라가 감지하여 졸음 운전을 방지하는 시스템을 연구 중입니다. 또 다른 연구는 automatic lane detection이라는 것인데요. 이는 자동차가 도로의 상황을 감지해서 운전자가 도로의 움푹 파이거나 망가진 곳을 파악할 수 있습니다. 모두 영상과 관련이 있죠.
김상진 연구교수님은 60여편의 논문과 5개의 특허가, Hayes 교수님은 150여편의 논문이 있다고 들었습니다.
김: 네. 영상에 관련한 60 여편의 논문 (SCI급: 14편, 해외논문 20여편 등)이 있습니다.
Hayes: 네. 영상에 관련해서 150 여편의 논문이 있습니다.
그렇다면 이번 논문 출판에 대한 소감을 말해주세요.
김: 이번 논문은 제가 주 저자인 만큼 책임감이 들었고 애착이 큽니다.
Hayes: 하하. 저도 김상진 교수와 백준기 교수 도움을 많이 받았어요. 아이디어에 대해 많이 토의 했습니다. 매력적인 주제였어요.
끝으로 영상에 관심을 갖고 있는 학우들은 물론 모든 중앙인에게 하고 싶은 한 마디만 해주세요.
김: \"\\'꿈\\'은 자신이 만들고 발전시키는 것이다\"라고 들은 적이 있습니다. 다들 자기가 하고 있는 분야에 최선을 다하여 좋은 결과를 얻을 수 있도록 노력하는 것이 무엇보다 중요한 것 같아요.
Hayes : 중국, 미국 등 여러 나라의 학생들을 지도해 보았습니다. 나라마다 학생들의 특성이 다른데, 한국 학생들은 열심히 배우려 한다는 것을 중앙대학교 학생들을 통해 알아가고 있습니다. 이 분야에 관심 있는 학생들이 그 뜻을 이루기를 바랍니다.
사람은 대부분 시각을 통해서 정보를 인식한다. 김상진 연구교수와 Monson Hayes 교수는 사진이라는 인간의 또 다른 시각을 3차원의 세계에까지 접목시켜, 시각에 대한 새로운 패러다임을 제시하고 있다. 영상의 매력에 빠진 두 남자. 그들의 연구가 더욱 기대된다.
취재: 홍보대사 조현진(전자전기공학부 2학년)
홍보대사 양선아(광고홍보학과 2학년)