特許 6372805 画像処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6372805

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】画像処理装置、方法、及びプログラム

(51)【国際特許分類】

   H04N 9/09 20060101AFI20180806BHJP

   G06T 3/00 20060101ALI20180806BHJP

   H04N 9/04 20060101ALI20180806BHJP

   G06T 1/00 20060101ALI20180806BHJP

【ＦＩ】

   H04N9/09 A

   G06T3/00 750

   H04N9/04 Z

   G06T1/00 510

【請求項の数】9

【全頁数】21

(21)【出願番号】特願2015-134267(P2015-134267)

(22)【出願日】2015年7月3日

(65)【公開番号】特開2017-17607(P2017-17607A)

(43)【公開日】2017年1月19日

【審査請求日】2017年6月2日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】土田 勝

(72)【発明者】

【氏名】森 稔

(72)【発明者】

【氏名】柏野 邦夫

(72)【発明者】

【氏名】大和 淳司

(72)【発明者】

【氏名】青木 孝文

(72)【発明者】

【氏名】伊藤 康一

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００３−２２３６３８（ＪＰ，Ａ）

【文献】 特開２０１２−０２９０４７（ＪＰ，Ａ）

【文献】 特開２０１４−２３５６００（ＪＰ，Ａ）

【文献】 特開２０１４−１７３９１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−９／４０

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

複数のカラーチャンネルごとに撮影された複数のカラーチャンネル画像から、マルチカラーチャンネル画像を生成する画像処理装置であって、
前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する変形対象画像選択部と、
前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出する画像変形パラメータ算出処理部と、
前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形する画像変形処理部と、
前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するカラー画像統合部と、
を含む画像処理装置。

【請求項2】

前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、
前記変形対象画像選択部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項１に記載の画像処理装置。

【請求項3】

前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、
前記画像間類似度計算部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、
前記画像間類似度評価部は、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項１に記載の画像処理装置。

【請求項4】

前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、
前記対応点探索部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、
前記カメラ位置推定部は、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、
前記カメラ間距離評価部は、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項１に記載の画像処理装置。

【請求項5】

複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、マルチカラーチャンネル画像を生成する画像処理装置における画像処理方法であって、
変形対象画像選択部が、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について、前記カラーチャンネルで複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択するステップと、
画像変形パラメータ算出処理部が、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出するステップと、
画像変形処理部が、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形するステップと、
カラー画像統合部が、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するステップと、
を含む画像処理方法。

【請求項6】

前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、
前記変形対象画像選択部が選択するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルの前記変形対象画像として選択する請求項５に記載の画像処理方法。

【請求項7】

前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、
前記画像間類似度計算部が計算するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について、前記カラーチャンネルで複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、
前記画像間類似度評価部が選択するステップは、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について、前記カラーチャンネルで撮影された複数枚のカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を当該カラーチャンネルの前記変形対象画像として選択する請求項５に記載の画像処理方法。

【請求項8】

前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、
前記対応点探索部が検出するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、
前記カメラ位置推定部が推定するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、
前記カメラ間距離評価部が選択するステップは、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項５に記載の画像処理方法。

【請求項9】

コンピュータを、請求項１〜請求項４のいずれか１項に記載の画像処理装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、方法、及びプログラムに係り、特に、マルチカラーチャンネル画像を生成するための画像処理装置、方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、複数の画像センサを同期させてカラー画像を撮影する技術が知られている（特許文献１及び非特許文献１参照）。例えば、多板センサカメラ（３ＣＣＤカメラなど）を用いてのカラー画像撮影では、各センサ間で同期を取っていれば、カメラや被写体が動いた場合でも、各画像センサで撮影された画像間での対応点の位置ずれは生じない。また分光感度特性が異なる２台以上のカメラをそれぞれ時間的に同期させ、４つ以上のカラーチャンネルを有するマルチカラーチャンネル画像を撮影する手法も提案されている。

【0003】

また、分光感度特性を変えながら順次撮影した単色画像からカラー画像を生成する技術が知られている（非特許文献２及び非特許文献３参照）。１枚の画像センサもしくは１台のカメラと、カラーフィルタを組み合わせ、カラーフィルタの分光透過率特性を切り替えながら順次、各々の単色画像を撮影することで、マルチカラーチャンネル画像の取得が可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１５８９９３号公報

【非特許文献】

【0005】

【非特許文献1】K. Ohsawa, et al., “Six-band HDTV camera system for spectrum-based color reproduction.”, Journal of Imaging Science and Technology, Vol. 48, No. 2, 85-92, 2004

【非特許文献2】M. Yamaguchi et al., "Natural Vision: Visual Telecommunication based on Multispectral Technology.", Proc. International Display Workshop 2000,1115-1118, 2000

【非特許文献3】S. TOMINAGA, et al., “Object Recognition by Multi-Spectral Imaging with a Liquid Crystal Filter.” In proceedings of Conference on Pattern Recognition, IAPR, Vol.1, 708-711, 2000

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、複数のセンサ（もしくはカメラ）を用いてカラー画像を撮影する場合において、被写体又はカメラが動いた際に、各センサ又は各カメラの間で同期が取れていない（または、一部もしくは全てのセンサの同期が途中からずれてしまった）場合、カメラシステムから出力されるカラー画像もしくはマルチカラーチャンネル画像上において、各カラーチャンネルの単色画像（カラーチャンネル画像）間で、対応点のずれが生じることがある。また同様のケースにおいて、分光感度特性を変えながら順次撮影した単色画像からのカラー画像（もしくはカラーチャンネル画像）を生成する場合においては、取得された各単色画像の視点（カメラの位置）が本来の視点と異なり、同期が取れていない複数のセンサを用いてカラー画像（もしくはマルチカラーチャンネル画像）を撮影する場合と同様に、カメラシステムから出力されるカラー画像（もしくはマルチカラーチャンネル画像）上において、各カラーチャンネルの単色画像間で、対応点の位置ずれが生じることがある。その結果、ディスプレイ装置に出力される色再現画像上で対応点ずれの該当箇所に偽色が生じ、画質が低下するという問題が生じる。またCIE-XYZやCIE-Labなどの測色値、また分光反射率の推定精度低下にもつながる。

【0007】

本発明は、上記問題点を解決するために成されたものであり、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影が実施された場合と同等のマルチカラーチャンネル画像を生成することができる画像処理装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、第１の発明に係る画像処理装置は、各画像センサ（もしくはカメラ）が非同期の状態で、複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、各画像センサを同期させた状態で撮影を行った時と同等のマルチカラーチャンネル画像を生成する画像処理装置であって、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルにおける変形対象画像として選択する変形対象画像選択部と、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出する画像変形パラメータ算出処理部と、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形する画像変形処理部と、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するカラー画像統合部と、を含んで構成されている。
なお各画像センサが非同期の状態で、複数のカラーチャンネルの画像が１回だけ撮影された場合には、変形対象画像選択部を省くことができる。

【0009】

また、第１の発明に係る画像処理装置において、前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、前記変形対象画像選択部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。

【0010】

また、第１の発明に係る画像処理装置において、前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、前記画像間類似度計算部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、前記画像間類似度評価部は、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。

【0011】

また、第１の発明に係る画像処理装置において、前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、前記対応点探索部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、前記カメラ位置推定部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像および基準画像以外のカラーチャンネル画像を撮影した際のそれぞれのカメラの位置および姿勢を推定し、前記カメラ間距離評価部は、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢に基づいて、前記カラーチャンネルの各々で複数枚撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。

【0012】

第２の発明に係る画像処理方法は、各画像センサ（もしくはカメラ）が非同期の状態で、複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、各画像センサを同期させた情報で撮影を行った時と同等のマルチカラーチャンネル画像を生成する画像処理装置における画像処理方法であって、変形対象画像選択部が、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルにおける変形対象画像として選択するステップと、画像変形パラメータ算出処理部が、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出するステップと、画像変形処理部が、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形するステップと、カラー画像統合部が、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するステップと、を含んで実行することを特徴とする。

【0013】

また、第２の発明に係る画像処理方法において、前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、前記変形対象画像選択部が選択するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。

【0014】

また、第２の発明に係る画像処理方法において、前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、前記画像間類似度計算部が計算するステップは、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、前記画像間類似度評価部が選択するステップは、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。

【0015】

また、第２の発明に係る画像処理方法において、前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、前記対応点探索部が検出するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、前記カメラ位置推定部が推定するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、前記カメラ間距離評価部が選択するステップは、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択するようにしてもよい。

【0016】

第３の発明に係るプログラムは、コンピュータを、上記第１の発明に係る画像処理装置の各部として機能させるためのプログラムである。

【発明の効果】

【0017】

本発明の画像処理装置、方法、及びプログラムによれば、複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルにおける変形対象画像として選択し、選択された変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネル画像を生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる、という効果が得られる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。

【図2】（Ａ）３板式３色カメラ、（Ｂ）２分岐光学系方式６バンドカメラ、及び（Ｃ）ステレオカメラ式６バンドカメラの一例を示す図である。

【図3】本発明の第１の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。

【図4】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。

【図5】（Ａ）カメラの前にフィルターターレットを設置し、異なる分光透過率特性のフィルタを装着、使用するフィルタを時分割で変更させながら撮影する白黒カメラ、及び（Ｂ）光源側にフィルターターレットを設置し、照明光源の色を時分割で変えながら撮影する白黒カメラの一例を示す図である。

【図6】本発明の第２の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。

【図7】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。

【図8】本発明の第２の実施の形態に係る画像処理装置における画像処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0020】

＜本発明の実施の形態に係る概要＞

【0021】

まず、本発明の実施の形態における概要を説明する。本発明の実施の形態に係る画像処理装置では、複数のカラーチャンネルの各々に対し、基準とする画像（基準画像）を定め、基準画像で使用したもの以外のカラーチャンネル各々に関する複数枚のカラーチャンネル画像から変形対象画像を選択し、基準画像と変形対象画像との対応点が一致するように、変形対象画像を変形させる。変形対象画像を選択する手法としては、以下の３通りの画像選択方法が挙げられる。

【0022】

第１の方法では、画像撮影時に各画像へ付与したタイムスタンプを基準画像とその他の画像（他のカラーチャンネル画像）との間で比較し、各カラーチャンネルの画像ごとに、基準画像のタイムスタンプに対して最近傍のカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。

【0023】

第２の方法では、基準画像と、その他のカラーチャンネル画像毎の画像との間の類似度（輪郭画像の相互相関値や、画像の位相成分の相互相関値）を比較し、各カラーチャンネルの画像ごとに類似度が最も高いカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する。ここでは、画像間の類似度が高いほど、画像撮影のタイミングまたカメラ位置が近いと仮定している。

【0024】

第３の方法では、被写体又はカメラを動かし、撮影毎に、被写体に対するカメラの撮影位置を推定し、各カラーチャンネルの画像ごとに、基準画像を撮影した撮影位置と最も近い撮影位置のカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する。

【0025】

＜本発明の第１の実施の形態に係る画像処理装置の構成＞

【0026】

次に、本発明の第１の実施の形態に係る画像処理装置の構成について説明する。第１の実施の形態では、タイムスタンプを用いて各カラーチャンネルにおける変形対象画像を選択する。

【0027】

図１に示すように、本発明の第１の実施の形態に係る画像処理システム１００は、画像入力装置１０と、画像処理装置１８とを備えている。画像処理装置１８は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置１８は、機能的には図１に示すように撮影画像記録部２６と、演算部２０と、出力部８０とを備えている。

【0028】

画像入力装置１０は、図２（Ａ）に示すような３板式３色カメラで構成されており、３つのカラーチャンネルごとに３枚のカラーチャンネル画像を撮影する。具体的には、画像入力部１１_１〜１１_３によって、それぞれ異なるカラーチャンネルのカラーチャンネル画像を撮影する。画像入力部１１_１はイメージセンサ１２_１及びタイムスタンプ付与部１３_１、画像入力部１１_２はイメージセンサ１２_２及びタイムスタンプ付与部１３_２、並びに画像入力部１１_３はイメージセンサ１２_３及びタイムスタンプ付与部１３_３から構成される。画像入力装置１０では、イメージセンサ１２_１〜１２_３によって、それぞれのカラーチャンネルが異なるカラーチャンネル画像を撮影する。そして、タイムスタンプ付与部１３_１〜１３_３によって、それぞれのカラーチャンネル画像に対して撮影した時刻のタイムスタンプを付与する。ここで、イメージセンサ１２_１〜１２_３は互いに同期が取れていない状態を想定している。ここで、後述する基準画像とするカラーチャンネルのカラーチャンネル画像は１枚撮影しても、複数枚撮影しても良く、複数枚撮影した場合には任意のカラーチャンネル画像を選び、基準画像として設定するようにすれば良い。

【0029】

なお、画像入力装置１０は、上記図２（Ａ）の他、図２（Ｂ）に示すような２分岐光学系方式６バンドカメラ（６板式６色カメラ）、図２（Ｃ）に示すようなステレオカメラ式６バンドカメラとしても良い。また、画像入力装置１０は、複数のカラーチャンネルのカラーチャンネル画像を撮影できればよく、３つの画像入力部１１_１〜１１_３で構成される場合に限定されず、Ｎ個の画像入力部１１_１〜１１_Ｎによって構成されるものであっても良い。この場合、イメージセンサ１２_１〜１２_３Ｎの全てもしくは一部の同期が取れていない状態とする。また、図２（Ｂ）及び図２（Ｃ）において、カメラ１及びカメラ２が３板式センサカメラではなく単板式センサカメラ（１枚のセンサ上に多色のカラーフィルタが取り付けられている）の場合には、画像入力部１１_１をカメラ１、画像入力部１１_２をカメラ２とすれば良い。

【0030】

撮影画像記録部２６には、画像入力部１１_１〜１１_３で撮影された３つのカラーチャンネル画像が記録される。

【0031】

演算部２０は、画像蓄積部２８_１〜２８_３と、同期画像生成部３０_２と、同期画像生成部３０_３と、カラー画像統合部６０と、色再現部７０とを含んで構成されている。

【0032】

画像蓄積部２８_１〜２８_３には、画像入力部１１_１〜１１_３で３つのカラーチャンネルごとに撮影された、タイムスタンプが付与されたカラーチャンネル画像の各々が格納される。ここで、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とする。本実施の形態では画像入力部１１_１のカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、画像入力部１１_２〜１１_３のカラーチャンネルで撮影されたものを、基準画像で使用したカラーチャンネル以外のカラーチャンネル画像とする。なお、基準画像を撮影した画像入力部１１_１から出力されたタイムスタンプ付きのカラーチャンネル画像は画像蓄積部２８_１を経由せず、直接、同期画像生成部３０に入力しても良い。また画像入力装置１０で撮影されたタイムスタンプ付きの３つのカラーチャンネル画像は、一旦、撮影画像記録部２６に保存された後に画像蓄積部２８_１〜２８_３へ格納するようにしても良い。

【0033】

同期画像生成部３０_２は、変形対象画像選択部３２_２と、画像変形パラメータ算出処理部４０_２と、画像変形処理部５０_２とを備えている。

【0034】

変形対象画像選択部３２_２は、基準画像のカラーチャンネルを１つ目のカラーチャンネルとして、２つ目のカラーチャンネルについて、当該カラーチャンネルで撮影された複数のカラーチャンネル画像のうち、基準画像とタイムスタンプが最も近いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。例えば、まず、ある時刻に撮影された基準画像のタイムスタンプと、画像蓄積部２８_２に格納されたカラーチャンネル画像の各々のタイムスタンプとの比較を行い、時刻の差が最も小さなカラーチャンネル画像を、当該カラーチャンネルの変形対象画像とする。

【0035】

画像変形パラメータ算出処理部４０_２は、対応点探索部４２_２と、検出対応点記憶部４４_２と、画像変形パラメータ算出部４６_２とから構成されている。

【0036】

対応点探索部４２_２は、基準画像と、変形対象画像選択部３２_２で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を検出対応点記憶部４４_２に記録する。対応点検出手法は、既存の手法を用いればよく、特にサブピクセル精度での検出が可能な手法が好ましい。本実施の形態では、対応点の検出方法として、サブピクセル精度での対応点検出が可能な位相限定相関法（ＰＯＣ法）を用いたが、対応点検出手法は位相限定相関法に限定されるものではなく、ＮＣＣ（normalized cross correlation）法やＳＡＤ（sum of absolute differences）法、ＳＳＤ（sum of squared difference）法、ＳＩＦＴ（Scale-Invariant Feature Transform）法、ヒストグラム相関法、ＨＯＧ（Histograms of Oriented Gradients）法等を用いても良い。

【0037】

検出対応点記憶部４４_２には、基準画像と変形対象画像との間で検出された全ての対応点の座標が各カラーチャンネルの変形対象画像ごとに格納される。

【0038】

画像変形パラメータ算出部４６_２は、検出対応点記憶部４４_２に記録された対応点の画像上での位置情報を元に、各カラーチャンネルの変形対象画像の画像変形に必要なパラメータを算出する。算出するパラメータは画像変形で使用するアルゴリズムに依存し、例えば、変形処理に用いる行列やルックアップ・テーブルが用いられる。画像変形アルゴリズムは、射影変換の様な線形手法やスプライン変換の非線形手法など、既存の手法を用いればよい。本実施の形態では、射影変換法を用いる。また、被写体が３次元的な形状を持つ場合には、非線形的な手法の１つであるＴＰＳ（Thin-plate spline）法を用いてもよい。

【0039】

画像変形処理部５０_２は、変形対象画像選択部３２_２によって選択された各カラーチャンネルの変形対象画像を、画像変形パラメータ算出部４６_２によって算出されたパラメータに基づいて、基準画像に合わせて変形する。なお、同様の処理を、画像変形処理部５０_３において、イメージセンサ１２_３で撮影されたカラーチャンネル画像から選択された変形対象画像に関しても行なう。以上の処理により、３つのイメージセンサ間で同期を取って撮影したときと同等の、各カラーチャンネル画像間での対応点間の位置ズレが無い３つのカラーチャンネル画像を生成することができる。また、画像を小領域に分割し、画像ごとに射影変換法の様な線形的手法やＴＰＳ法の様な非線形的手法を適用してもよい。

【0040】

同期画像生成部３０_３は、同期画像生成部３０_２と同様に、変形対象画像選択部３２_３と、画像変形パラメータ算出処理部４０_３と、画像変形処理部５０_３とを備えている。変形対象画像選択部３２_３、画像変形パラメータ算出処理部４０_３、及び画像変形処理部５０_３の各処理は、変形対象画像選択部３２_２、画像変形パラメータ算出処理部４０_２、及び画像変形処理部５０_２と同様であるため、説明を省略する。

【0041】

カラー画像統合部６０は、画像変形処理部５０_２、５０_３によって基準画像で使用したもの以外のカラーチャンネルの各々に関する変形対象画像をそれぞれ変形させて得られた結果画像と、基準画像とに基づいて、マルチカラーチャンネル画像を生成する。なお、所定のフォーマットのファイル形式に変換し出力する場合もある。例えば、ハードディスクなどの記録媒体が含まれていてもよく、入力された変形対象画像（カラーチャンネル画像）の各々を何らかのフォーマットに基づいたファイル形式に変換し、記録しても良い。

【0042】

色再現部７０は、反射光スペクトル画像により分光反射率を再現する場合、カラー画像統合部６０によって生成されたマルチカラーチャンネル画像と、撮影時の照明光スペクトルと、画像入力装置１０の分光感度特性及び分光反射率データベース（図示省略）から得られた主成分スペクトル等（被写体の分光反射率に関する統計情報）を用いて、マルチカラーチャンネル画像上の各画素に対応する被写体表面の分光反射率を推定し、分光反射率画像を生成する。ここで、分光反射率の算出手法は、ウィナー推定法や重回帰分析法などの既存手法を用いる。反射光スペクトル画像を再現する場合には、前述の分光反射率画像と再現したい照明環境における照明光スペクトルを用いて反射光スペクトル画像を生成する。また、出力デバイスに依存しない測色値画像を再現する場合には、分光反射率を再現する場合に用いた情報に加えて、再現したい照明環境における照明光スペクトルを用いて、測色値画像を生成する。また、出力部８０の特性に合わせた色再現画像を生成する場合には、測色値画像を再現する場合に用いた情報に加えて、出力部８０の特性を用いて、色再現画像を生成する。

【0043】

そして、色再現部７０は、生成した分光反射率画像、反射光スペクトル画像、測色値画像、又は色再現画像を出力部８０に出力する。なお、色再現部７０における色再現処理手法は既存の手法を用いればよく、特定の手法に限定されるものではない。

【0044】

＜本発明の第１の実施の形態に係る画像処理装置の作用＞

【0045】

次に、本発明の第１の実施の形態に係る画像処理装置１８の作用について説明する。画像入力部１１_１〜１１_３で３つのカラーチャンネルごとに撮影された、タイムスタンプが付与されたカラーチャンネル画像の各々を受け付けると、カラーチャンネル画像の各々を画像蓄積部２８_１〜２８_３に格納し、画像処理装置１８は、図３に示す画像処理ルーチンを実行する。

【0046】

まず、ステップＳ１００では、画像蓄積部２８_１〜２８_３に格納された３つのカラーチャンネル各々のカラーチャンネル画像の各々を取得し、画像蓄積部２８_１に格納されたカラーチャンネル画像の何れか１つを基準画像として設定する。

【0047】

次に、ステップＳ１０２では、基準画像のカラーチャンネル以外から、カラーチャンネルを選択する。

【0048】

ステップＳ１０４では、当該カラーチャンネルで撮影された複数枚のカラーチャンネル画像のうち、基準画像とタイムスタンプが最も近いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。

【0049】

ステップＳ１０６では、基準画像と、ステップＳ１０４で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を記録する。

【0050】

ステップＳ１０８では、ステップＳ１０６で記録された対応点の画像上での位置情報を元に、変形対象画像の画像変形に必要なパラメータを算出する。

【0051】

ステップＳ１１０では、ステップＳ１０４で選択された変形対象画像を、画像変形パラメータ算出部４６によって算出されたパラメータに基づいて、基準画像に合わせて変形する。

【0052】

ステップＳ１１２では、基準画像のカラーチャンネル以外の全てのカラーチャンネルについて処理を終了したかを判定し、終了していなければ、ステップＳ１０２へ戻ってステップＳ１０４〜ステップＳ１１０の処理を繰り返し、終了していれば、ステップＳ１１４へ移行する。

【0053】

ステップＳ１１４では、ステップＳ１１０で基準画像で使用したもの以外のカラーチャンネルの各々に関する変形対象画像をそれぞれ変形させて得られた結果画像と、基準画像とに基づいて、マルチカラーチャンネル画像を生成する。

【0054】

ステップＳ１１６では、ステップＳ１１４で生成されたマルチカラーチャンネル画像と、撮影時の照明光スペクトルと、画像入力装置１０の分光感度特性及び分光反射率データベース（図示省略）から得られた主成分スペクトル等と、出力部８０の特性とに基づいて、色再現画像を生成する。

【0055】

ステップＳ１１８では、ステップＳ１１６で生成された色再現画像を出力部８０に出力し画像処理ルーチンを終了する。

【0056】

以上説明したように、第１の実施の形態に係る画像処理装置によれば、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうち基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像とタイムスタンプが最も近い当該カラーチャンネルのカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択し、選択された各カラーチャンネルの変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネルを生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる。

【0057】

＜本発明の第２の実施の形態に係る画像処理装置の構成＞

【0058】

次に、本発明の第２の実施の形態に係る画像処理装置の構成について説明する。第２の実施の形態では、基準画像と、その他の各カラーチャンネル画像それぞれとの間の類似度を用いて当該カラーチャンネルの変形対象画像を選択する。なお、第２の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。

【0059】

図４に示すように、本発明の第２の実施の形態に係る画像処理システム２００は、画像入力装置２１０と、画像処理装置２１８とを備えている。画像処理装置２１８は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置２１８は、機能的には図４に示すように、撮影画像記録部２６と、演算部２２０と、出力部８０とを備えている。

【0060】

画像入力装置２１０は、上記図２（Ａ）に示すような３板式３色カメラで構成されており、３つのカラーチャンネルごとに３枚のカラーチャンネル画像を撮影する。具体的には、画像入力部２１１_１〜２１１_３によって、それぞれ異なるカラーチャンネルのカラーチャンネル画像を撮影する。

【0061】

なお、画像入力装置２１０は、上記図２（Ａ）の他、図２（Ｂ）に示すような２分岐光学系方式６バンドカメラ（６板式６色カメラ）、図２（Ｃ）に示すようなステレオカメラ式６バンドカメラとしても良い。また、図５（Ａ）に示すような、１台の白黒カメラの前にフィルターターレットを設置し、異なる分光透過率特性のフィルタを装着、使用するフィルタを時分割で変更させながら撮影するマルチカラーチャンネルカメラ（図の場合は６色）である。カメラの台数を増やし、図５（Ａ）とは異なる（一部のフィルタは同じでも良い）分光透過率特性を有するフィルタを用いて、ステレオ撮影方式にしても良い。また、図５（Ｂ）に示すような、光源側にフィルターターレットを設置し、照明光源の色を時分割で変えながら、それぞれの画像を白黒カメラで撮影する方式としても良い。また、画像入力装置２１０は、複数のカラーチャンネルのカラーチャンネル画像を撮影できればよく、３つの画像入力部２１１_１〜２１１_３で構成される場合に限定されず、Ｎ個の画像入力部２１１_１〜２１１_Ｎによって構成されるものであっても良い。この場合、画像入力部２１１_１〜２１１_Ｎの全てもしくは一部の同期が取れていない状態とする。また、図２（Ｂ）及び図２（Ｃ）において、カメラ１及びカメラ２が３板式センサカメラではなく単板式センサカメラの場合には、画像入力部２１１_１をカメラ１、画像入力部２１１_２をカメラ２とすれば良い。

【0062】

演算部２２０は、画像蓄積部２２８_１〜２２８_３と、同期画像生成部２３０_２と、同期画像生成部２３０_３と、カラー画像統合部６０と、色再現部７０とを含んで構成されている。

【0063】

画像蓄積部２２８_１〜２２８_３には、画像入力部２１１_１〜２１１_３で３つのカラーチャンネルごとに撮影された、カラーチャンネル画像の各々が格納される。ここで、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とする。本実施の形態では画像入力部２１１_１のカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、画像入力部２１１_２〜２１１_３のカラーチャンネルで撮影されたカラーチャンネル画像を、各カラーチャンネルの変形対象画像候補とする。

【0064】

同期画像生成部２３０_２は、変形対象画像選択部２３２_２と、画像変形パラメータ算出処理部４０_２と、画像変形処理部５０_２とを備えている。

【0065】

変形対象画像選択部２３２_２は、画像記憶部２３３_２と、画像間類似度計算部２３４_２と、画像間類似度評価部２３８_２とから構成されている。

【0066】

画像記憶部２３３_２には、画像入力部２１１_２で撮影された２つ目のカラーチャンネルの複数枚のカラーチャンネル画像の各々が変形対象画像候補として格納される。

【0067】

画像間類似度計算部２３４_２は、複数のカラーチャンネルのうちの２つ目のカラーチャンネルについて、当該カラーチャンネルで撮影された複数枚のカラーチャンネル画像（変形対象画像候補）の各々と基準画像との類似度を計算し、類似度が最も大きなカラーチャンネル画像を、当該カラーチャンネルの変形対象画像とする。本実施の形態の画像間類似度計算部２３４_２では、カラーチャンネル画像（変形対象画像候補）と基準画像との位相情報の相関値を類似度として用いる。画像の類似度を表現する方法は、様々な方法が開発されており、その評価値は画像の位相情報の相関値に制限するものではない。

【0068】

画像間類似度評価部２３８_２は画像間類似度計算部２３４_２によって算出された類似度に基づいて、複数のカラーチャンネルのうちの２つ目のカラーチャンネルについて、画像記憶部２３３_２内の全てのカラーチャンネル画像のうち、基準画像との類似度が最も高いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。

【0069】

第２の実施の形態の対応点探索部４２_２は、基準画像と、変形対象画像選択部２３２_２で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を変形対象画像ごとに検出対応点記憶部４４_２へ記録する。

【0070】

同期画像生成部２３０_３は、同期画像生成部２３０_２と同様に、変形対象画像選択部２３２_３と、画像変形パラメータ算出処理部４０_３と、画像変形処理部５０_３とを備えている。変形対象画像選択部２３２_３、画像変形パラメータ算出処理部４０_３、及び画像変形処理部５０_３の各処理は、変形対象画像選択部２３２_２、画像変形パラメータ算出処理部４０_２、及び画像変形処理部５０_２と同様であるため、説明を省略する。

【0071】

なお、第２の実施の形態に係る画像処理システム２００の他の構成については、第１の実施の形態と同様であるため、説明を省略する。

【0072】

＜本発明の第２の実施の形態に係る画像処理装置の作用＞

【0073】

次に、本発明の第２の実施の形態に係る画像処理装置２１８の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

【0074】

画像入力部２１１_１〜２１１_３で３つのカラーチャンネルごとに撮影されたカラーチャンネル画像の各々を受け付けると、カラーチャンネル画像の各々を画像蓄積部２２８_１〜２２８_３に格納し、画像処理装置２００は、図６に示す画像処理ルーチンを実行する。

【0075】

ステップＳ２００では、当該カラーチャンネルで撮影されたカラーチャンネル画像の各々と基準画像との類似度を計算する。

【0076】

ステップＳ２０２では、ステップＳ２００でカラーチャンネル画像の各々について算出された類似度に基づいて、複数のカラーチャンネルのうちの当該カラーチャンネルについて、全てのカラーチャンネル画像のうち、基準画像との類似度が最も高いカラーチャンネル画像を当該カラーチャンネルの変形対象画像として選択する。

【0077】

ステップＳ１０６では、基準画像と、ステップＳ２０２で選択された変形対象画像との間での対応点探索を行い、基準画像と変形対象画像との間で検出された全ての対応点の座標を変形対象画像ごとに記録する。

【0078】

なお、第２の実施の形態に係る画像処理装置２１８の他の作用については、第１の実施の形態と同様であるため、説明を省略する。

【0079】

以上説明したように、第２の実施の形態に係る画像処理装置によれば、３つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうち基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像との類似度が最も高い当該カラーチャンネルのカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択し、選択された変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネルを生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる。

【0080】

＜本発明の第３の実施の形態に係る画像処理装置の構成＞

【0081】

次に、本発明の第３の実施の形態に係る画像処理装置の構成について説明する。第３の実施の形態における具体的なシチュエーションは、回転ステージ上に載せて回転させた被写体を、各カメラの分光感度特性が異なる複数のカメラ（ステレオカメラシステムなど）で同時に、または時間的に分けて撮影した場合を想定している。被写体ではなく、カメラを動かす場合も同様である。このようなシチュエーションを想定し、ある特定のカメラについて、基準画像を撮影した撮影位置と最も近い撮影位置のカラーチャンネル画像を変形対象画像として選択する。なお、第３の実施の形態の画像処理システムについて、第１の実施の形態の画像処理システム１００と同様の構成については、同一符号を付して詳細な説明を省略する。

【0082】

図７に示すように、本発明の第３の実施の形態に係る画像処理システム３００は、画像入力装置３１０と、画像処理装置３１８とを備えている。画像処理装置３１８は、ＣＰＵと、ＲＡＭと、後述する画像処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この画像処理装置３１８は、機能的には図７に示すように撮影画像記録部２６と、カメラ内部パラメータ記憶部３２７と、演算部３２０と、出力部８０とを備えている。

【0083】

画像入力装置３１０は、上記図５（Ａ）に示すような、光源側に６つのカラーフィルタをもつフィルターターレットを設置し、照明光源の色を時分割で変えながら、それぞれのカラーチャンネルの画像を白黒カメラで撮影するように構成されており、フィルターターレットを動かし、６つのカラーチャンネルごとに６枚のカラーチャンネル画像を撮影する。具体的には、フィルタ３１２_１〜３１２_６を通して、イメージセンサ３１１により、それぞれ異なるカラーチャンネルのカラーチャンネル画像を撮影する。そして、イメージセンサ３１１によりそれぞれのカラーチャンネル画像を出力する。

【0084】

なお、画像入力装置３１０は、図２（Ａ）に示すような３板式３色カメラ、図２（Ｂ）に示すような２分岐光学系方式６バンドカメラ（６板式６色カメラ）、及び図２（Ｃ）に示すようなステレオカメラ式６バンドカメラとしても良い。また、上記図５（Ｂ）に示すような、光源側にフィルターターレットを設置し、照明光源の色を時分割で変えながら、それぞれの画像を白黒カメラで撮影する方式としても良い。

【0085】

カメラ内部パラメータ記憶部３２７には、基準画像を撮影したカメラ及び各カラーチャンネル画像を撮影したカメラの、光学系を含めた、幾何光学系パラメータ（画角など）が記憶されている。

【0086】

画像蓄積部３２８_１〜３２８_６には、イメージセンサ３１１で６つのカラーチャンネルごとに撮影された、カラーチャンネル画像の各々が格納される。ここで、６つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とする。本実施の形態ではフィルタ３１２_１のカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、フィルタ３１２_２〜３１２_６のカラーチャンネルで撮影されたものを基準画像で使用したカラーチャンネル以外のカラーチャンネル画像とする。

【0087】

演算部３２０は、画像蓄積部３２８_１〜３２８_６と、同期画像生成部３３０_２〜２３０_６と、カラー画像統合部６０と、色再現部７０とを含んで構成されている。

【0088】

同期画像生成部３３０_２は、変形対象画像選択部３３２_２と、画像変形パラメータ算出処理部３４０_２と、画像変形処理部５０_２とを備えている。

【0089】

変形対象画像選択部３３２_２は、画像記憶部３３３_２と、対応点探索部３３４_２と、検出対応点記憶部３３５_２と、カメラ位置推定部３３６_２と、カメラ間距離評価部３３８_２とから構成されている。

【0090】

画像記憶部３３３_２には、フィルタ３１２_２を用いてイメージセンサ３１１で撮影された、２つ目のカラーチャンネルのカラーチャンネル画像の各々が変形対象画像候補として格納される。

【0091】

対応点探索部３３４_２は、２つ目のカラーチャンネルで撮影されたカラーチャンネル画像（変形対象画像候補）の各々に対し、基準画像及び当該カラーチャンネル画像（変形対象画像候補）の間で対応する特徴点のペアである対応点を検出する。対応点の詳細な検出手法は、第１の実施の形態の画像処理システム１００における対応点探索部４２と同様である。

【0092】

検出対応点記憶部３３５_２は、２つ目のカラーチャンネルのカラーチャンネル画像の各々について、基準画像との間で検出された全ての対応点に関して、基準画像上および変形対象画像候補上におけるそれぞれの座標がカラーチャンネル画像毎に格納される。

【0093】

カメラ位置推定部３３６_２は、２つ目のカラーチャンネルで撮影されたカラーチャンネル画像（変形対象画像候補）の各々に対し、検出対応点記憶部３３５_２に格納されたカラーチャンネル画像毎の対応点の座標と、カメラ内部パラメータ記憶部３２７に記憶されている、基準画像を撮影したカメラ及び当該カラーチャンネル画像（変形対象画像候補）を撮影したカメラの幾何光学系パラメータとに基づいて、基準画像を撮影したカメラの位置に対する当該カラーチャンネル画像を撮影したカメラの位置を推定する。

【0094】

カメラ間距離評価部３３８_２は、２つ目のカラーチャンネルについて、カメラ位置推定部３３６_２によって推定された各カラーチャンネル画像を撮影したカメラの位置に基づいて、当該カラーチャンネルで撮影されたカラーチャンネル画像のうち、基準画像と撮影位置が最も近いカラーチャンネル画像を当該カラーチャンネルにおける変形対象画像として選択する。

【0095】

画像変形パラメータ算出処理部３４０_２は、カメラ間距離評価部３３８_２で選択された変形対象画像について検出対応点記憶部３３５_２に記録された対応点の画像上での位置情報（座標）を元に、変形対象画像の画像変形に必要なパラメータを算出する。

【0096】

同期画像生成部３３０_３〜３３０_６は、同期画像生成部２３０_２と同様に、変形対象画像選択部２３２_３〜３３２_６と、画像変形パラメータ算出処理部３４０_３〜３４０_６と、画像変形処理部５０_３〜５０_６とを備えている。変形対象画像選択部２３２_３〜３３２_６、画像変形パラメータ算出処理部３４０_３〜３４０_６、及び画像変形処理部５０_３〜５０_６の各処理は、変形対象画像選択部２３２_２、画像変形パラメータ算出処理部４０_２、及び画像変形処理部５０_２と同様であるため、説明を省略する。

【0097】

なお、第３の実施の形態に係る画像処理システム３００の他の構成については、第１の実施の形態と同様であるため、説明を省略する。

【0098】

＜本発明の第３の実施の形態に係る画像処理装置の作用＞

【0099】

次に、本発明の第３の実施の形態に係る画像処理装置３１８の作用について説明する。なお、第１の実施の形態における画像処理ルーチンと同一の処理については、同一符号を付して説明を省略する。

【0100】

フィルタ３１２_１〜３１２_６を用いてイメージセンサ３１１により６つのカラーチャンネルごとに撮影されたカラーチャンネル画像の各々を受け付けると、カラーチャンネル画像の各々を画像蓄積部３２８_１〜３２８_６に格納し、画像処理装置３１８は、図８に示す画像処理ルーチンを実行する。

【0101】

ステップＳ３００では、基準画像と、ステップＳ１０２で選択されたカラーチャンネルのカラーチャンネル画像の各々との間での対応点探索を行い、基準画像とカラーチャンネル画像との間で検出された全ての対応点の座標を、カラーチャンネル画像毎に記録する。

【0102】

ステップＳ３０２では、カラーチャンネル画像の各々に対し、ステップＳ３００で記録された対応点と、幾何光学系パラメータとに基づいて、カメラ位置を推定する。

【0103】

ステップＳ３０４では、ステップＳ３０２でカラーチャンネル画像の各々に対し推定されたカメラ位置に基づいて当該カラーチャンネルで撮影されたカラーチャンネル画像のうち、基準画像と撮影位置が最も近いカラーチャンネル画像を変形対象画像として選択する。

【0104】

ステップＳ１０８では、ステップＳ３００で選択された変形対象画像について記録された対応点の画像上での位置情報を元に、変形対象画像の画像変形に必要なパラメータを算出する。

【0105】

なお、第３の実施の形態に係る画像処理装置３１８の作用については、第１の実施の形態と同様であるため、説明を省略する。

【0106】

以上説明したように、第３の実施の形態に係る画像処理装置によれば、６つのカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、複数のカラーチャンネルのうち基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、基準画像と撮影位置が最も近いカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択し、選択された変形対象画像の各々を、基準画像に合わせて変形し、変形された変形対象画像の各々と、基準画像とに基づいてマルチカラーチャンネルを生成することにより、複数のカラーチャンネルの画像の撮像が同期していなくても、同期撮影を行った場合と同等のマルチカラーチャンネル画像を生成することができる。

【0107】

また、カメラや被写体の移動により、基準画像の視点における、あるカラーチャンネルの画像（参照画像）が撮影されていない場合でも、基準画像の視点におけるマルチカラーチャンネル画像が生成できる。

【0108】

また、色再現画像の画質が従来手法に比べ向上し、またCIE-XYZやCIE-Labなどの測色値、また分光反射率の推定精度が向上する。さらに、センサもしくはカメラ間で同期を取る必要がなくなり、システム構成の簡略化や小型化、またシステム構築費用の削減が実現できる。

【0109】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【符号の説明】

【0110】

１０、２１０、３１０ 画像入力装置
１１_１〜１１_３、２１１_１〜２１１_３ 画像入力部
１２_１〜１２_３、３１１ イメージセンサ
１３_１〜１３_３ タイムスタンプ付与部
３１２_１〜３１２_６ フィルタ
１８、２１８、３１８ 画像処理装置
２６ 撮影画像記録部
２８_１〜２８_３、２２８_１〜２２８_３、３２８_１〜３２８_６ 画像蓄積部
３２７ カメラ内部パラメータ記憶部
２０、２２０、３２０ 演算部
３０_２〜３０_３、２３０_２〜２３０_３、３３０_２〜３３０_６ 同期画像生成部
３２_２〜３２_３、２３２_２〜２３２_３、３３２_２〜３３２_６ 変形対象画像選択部
２３３_２〜２３３_３、３３３_２〜３３３_６ 画像記憶部
２３４_２〜２３４_３ 画像間類似度計算部
２３８_２〜２３８_３ 画像間類似度評価部
４２_２〜４２_３、３３４_２〜３３４_６ 対応点探索部
４４_２〜４４_３、３３５_２〜３３５_６ 検出対応点記憶部
３３６_２〜３３６_６ カメラ位置推定部
３３８_２〜３３８_６ カメラ間距離評価部
４０_２〜４０_３、３４０_２〜３４０_６ 画像変形パラメータ算出処理部
４６_２〜４６_３ 画像変形パラメータ算出部
６０ カラー画像統合部
７０ 色再現部
８０ 出力部
１００、２００、３００ 画像処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】