特許 6408817 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6408817

(24)【登録日】2018年9月28日

(45)【発行日】2018年10月17日

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム

(51)【国際特許分類】

   H04N 9/04 20060101AFI20181004BHJP

   A61B 1/045 20060101ALI20181004BHJP

   A61B 1/07 20060101ALI20181004BHJP

   H04N 5/232 20060101ALI20181004BHJP

【ＦＩ】

   H04N9/04 Z

   A61B1/045 610

   A61B1/07 735

   H04N5/232 290

【請求項の数】16

【全頁数】28

(21)【出願番号】特願2014-149145(P2014-149145)

(22)【出願日】2014年7月22日

(65)【公開番号】特開2016-25530(P2016-25530A)

(43)【公開日】2016年2月8日

【審査請求日】2017年5月30日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】大塚 武

(72)【発明者】

【氏名】矢口 陽一

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２０１４−００８１４２（ＪＰ，Ａ）

【文献】 特開２０１４−０４５２７５（ＪＰ，Ａ）

【文献】 特開２００７−２５７２８７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４−９／１１

Ｈ０４Ｎ ５／２２２−５／２５７

Ａ６１Ｂ １／０４５

Ａ６１Ｂ １／０７

(57)【特許請求の範囲】

【請求項1】

互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、
前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、
隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、
前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定部と、
前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、
前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記並び順において、画像の波長帯域の中心波長が、短波長側から長波長側、又は長波長側から短波長側に、単調にシフトする、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記並び順は、前記処理対象画像選択部が選択する処理対象画像ごとに設定される、ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記並び順は、前記処理対象画像選択部が選択する各処理対象画像の間で共通に設定される、ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項5】

前記画像群は、４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された一連の画像のうち、基準時刻を含む所定時間内に生成された複数の画像からなり、
前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、
前記画像群に含まれる画像が前記並び順に沿って撮像されるように撮像順を制御する制御部と、
前記基準時刻が異なる複数の前記画像群に基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部と、
をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。

【請求項6】

前記並び順における前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間に、少なくとも１つの別の波長帯域が挿入されている、ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。

【請求項7】

前記並び順において、画像の波長帯域が、前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間を少なくとも１往復する、ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。

【請求項8】

基準時刻の前後に生成された波長帯域が同一の２つの画像を用いて、前記基準時刻における内挿画像を作成する内挿画像作成部と、
前記４つ以上の波長帯域についてそれぞれ作成された４つ以上の前記内挿画像と前記基準時刻に生成された画像とを含む画像セットに対し、隣接する画像間において波長帯域が隣り合うように並び順を設定する内挿画像列作成部と、
をさらに備え、
前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、
前記処理対象画像選択部は、前記画像セットに含まれる前記内挿画像を前記処理対象画像として選択し、
前記変換情報推定部は、前記画像セットを前記画像群として前記変換情報を推定し、
前記変形画像作成部は、前記内挿画像に前記画像変換を施すことにより、前記変形画像を作成し、
さらに、
前記基準時刻が異なる複数の前記画像セットに基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部を備える、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記画像変換は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、及び平行移動のいずれか又は組み合わせである、ことを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。

【請求項10】

前記変形画像作成部は、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を順次累積した累積変換情報を算出し、該累積変換情報を用いて前記処理対象画像に画像変換を施すことにより、前記変形画像を作成する、
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。

【請求項11】

互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、
前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、
隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、
前記並び順における前記処理対象画像から前記基準画像に向け、前記画像群に含まれる画像を順次用いて変換情報を推定する変換情報推定部と、
前記処理対象画像に対し、前記変換情報推定部により推定された変換情報を順次用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、
前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、
を備え、
前記変換情報推定部は、前記画像群に含まれる画像と、前記変形画像作成部により前記画像変換が施された画像との間における変換情報を推定する、
ことを特徴とする画像処理装置。

【請求項12】

互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、
前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、
隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、
前記画像群に含まれる画像を所定の並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、
前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、
前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、
を含み、
前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、
ことを特徴とする画像処理方法。

【請求項13】

互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、
前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、
隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、
前記画像群に含まれる画像を所定の並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、
前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、
前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、
をコンピュータに実行させ、
前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、
ことを特徴とする画像処理プログラム。

【請求項14】

請求項１〜１１のいずれか１項に記載の画像処理装置と、
面順次方式により前記４つ以上の波長帯域に分けて撮像を行うことにより画像データを生成し、前記画像処理装置に出力する撮像手段と、
を備えることを特徴とする撮像システム。

【請求項15】

前記撮像手段は、
前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、
前記４つ以上の波長帯域の各々に対応する感度を有するフィルタを前記受光面に順次配置するフィルタ部と、
を備えることを特徴とする請求項１４に記載の撮像システム。

【請求項16】

前記撮像手段は、
前記４つ以上の波長帯域の各々に帯域が制限された光を前記被写体に順次照射する光照射手段と、
前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、
を備えることを特徴とする請求項１４に記載の撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、面順次方式により撮像されたマルチバンド画像における色ずれを補正する画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムに関する。

【背景技術】

【0002】

カラー画像の生成方法として、波長帯域ごとに撮像を行うことにより取得した複数の画像（マルチバンド画像）を合成する方法が知られている。

【0003】

マルチバンド画像の撮像方式としては、面順次方式が知られている。面順次方式とは、複数のバンドパスフィルタが並べられたフィルタホイールをカメラの前面に配置し、フィルタホイールを回転させることにより、各バンドパスフィルタを介して順次撮像を行う撮像方式である。

【0004】

ところで、レンズにおいては一般的に、透過する光の色によって焦点位置が異なる色収差が生じる。これは、物質の屈折率が光の波長に応じて異なることに起因する。具体的には、波長帯域に応じて像面の位置が光軸上において前後にずれる、或いは像の大きさが異なる、といった現象が生じる。例えば、緑色の像面の位置を基準にすると、緑色よりも短波長である青色の像はレンズに近い側に結像し、緑色よりも長波長である赤色の像はレンズから遠い側に結像する。そのため、上述したマルチバンド画像を合成してカラー画像を生成した場合、同一の被写体の像が色ごとにずれる、所謂色ずれが発生してしまう。

【0005】

このような問題に対し、例えば特許文献１には、ラプラシアン演算（２階微分）により画像内のエッジを抽出し、このエッジに基づいて各色成分の色収差量を算出し、さらに、この色収差量から算出した色収差特性曲線をもとに異なる色成分の像の間で位置合わせを行うことで、色ずれを補正する技術が開示されている。

【0006】

また、特許文献２には、波長帯域別の色収差特性データが記憶された補正テーブルを事前に用意し、補正テーブルから読み出した色収差特性データをもとに、波長帯域ごとの画像（分光画像）間の位置合わせを行うことで、色ずれを補正する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０００−２９９８７４号公報

【特許文献2】特開２００８−２４４８３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、面順次方式で撮像されたマルチバンド画像においては、補正対象波長の画像と基準波長の画像との間で色の相関が低い場合がある。例えば、マルチバンド画像における各分光画像の波長帯域が４００ｎｍ〜７００ｎｍである場合、４００ｎｍを中心とする波長帯域の分光画像と７００ｎｍを中心とする波長帯域の分光画像とでは色の相関が低い。このように色の相関が低い分光画像同士に対して、上記特許文献１に開示された技術を適用すると、エッジの特徴が合わず、良好な位置合わせを行うことが困難となる。

【0009】

この点について、上記特許文献２においては、色収差特性データが記憶された補正テーブルを事前に用意しておくことで、色の相関が低い分光画像同士であっても位置合わせを行うことができるが、波長帯域別の色収差特性データを用意しておく必要があるため、事前の処理が煩雑になってしまう。

【0010】

また、マルチバンド画像を面順次方式によって取得した場合、色収差に起因する色ずれに加えて、撮像タイミングの差に起因するぶれが生じるおそれもある。従って、面順次方式の場合には、後者のぶれも合わせて補正できると、より好ましい。

【0011】

本発明は、上記に鑑みてなされたものであり、面順次方式により生成されたマルチバンド画像に基づき、事前に煩雑な処理を要することなく、色ずれやぶれを低減したカラー画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定部と、前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、を備えることを特徴とする。

【0013】

上記画像処理装置において、前記並び順において画像の波長帯域の中心波長が、短波長側から長波長側、又は長波長側から短波長側に、単調にシフトする、ことを特徴とする。

【0014】

上記画像処理装置において、前記並び順は、前記処理対象画像選択部が選択する処理対象画像ごとに設定される、ことを特徴とする。

【0015】

上記画像処理装置において、前記並び順は、前記処理対象画像選択部が選択する各処理対象画像の間で共通に設定される、ことを特徴とする。

【0016】

上記画像処理装置において、前記画像群は、４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された一連の画像のうち、基準時刻を含む所定時間内に生成された複数の画像からなり、前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、前記画像群に含まれる画像が前記並び順に沿って撮像されるように撮像順を制御する制御部と、前記基準時刻が異なる複数の前記画像群に基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部と、をさらに備えることを特徴とする。

【0017】

上記画像処理装置において、前記並び順における前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間に、少なくとも１つの別の波長帯域が挿入されている、ことを特徴とする。

【0018】

上記画像処理装置において、前記並び順において画像の波長帯域が、前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間を少なくとも１往復する、ことを特徴とする。

【0019】

上記画像処理装置は、基準時刻の前後に生成された波長帯域が同一の２つの画像を用いて、前記基準時刻における内挿画像を作成する内挿画像作成部と、前記４つ以上の波長帯域についてそれぞれ作成された４つ以上の前記内挿画像と前記基準時刻に生成された画像とを含む画像セットに対し、隣接する画像間において波長帯域が隣り合うように並び順を設定する内挿画像列作成部と、をさらに備え、前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、前記処理対象画像選択部は、前記画像セットに含まれる前記内挿画像を前記処理対象画像として選択し、前記変換情報推定部は、前記画像セットを前記画像群として前記変形情報を推定し、前記変形画像作成部は、前記内挿画像に前記画像変換を施すことにより、前記変形画像を作成し、さらに、前記基準時刻が異なる複数の前記画像セットに基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部を備える、ことを特徴とする。

【0020】

上記画像処理装置において、前記画像変換は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、及び平行移動のいずれか又は組み合わせである、ことを特徴とする。

【0021】

上記画像処理装置において、前記変形画像作成部は、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を順次累積した累積変換情報を算出し、該累積変換情報を用いて前記処理対象画像に画像変換を施すことにより、前記変形画像を作成する、ことを特徴とする。

【0022】

本発明に係る画像処理装置は、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、前記並び順における前記処理対象画像から前記基準画像に向け、前記画像群に含まれる画像を順次用いて変換情報を推定する変換情報推定部と、前記処理対象画像に対し、前記変換情報推定部により推定された変換情報を順次用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、を備え、前記変換情報推定部は、前記画像群に含まれる画像と、前記変形画像作成部により前記画像変換が施された画像との間における変換情報を推定する、ことを特徴とする。

【0023】

本発明に係る画像処理方法は、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、前記画像群に含まれる画像を所定の並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、を含み、前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、ことを特徴とする。

【0024】

本発明に係る画像処理プログラムは、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、前記画像群に含まれる画像を所定の並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、をコンピュータに実行させ、前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、ことを特徴とする。

【0025】

本発明に係る撮像システムは、前記画像処理装置と、面順次方式により前記４つ以上の波長帯域に分けて撮像を行うことにより画像データを生成し、前記画像処理装置に出力する撮像手段と、を備えることを特徴とする。

【0026】

上記撮像システムにおいて、前記撮像手段は、前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、前記４つ以上の波長帯域の各々に対応する感度を有するフィルタを前記受光面に順次配置するフィルタ部と、を備えることを特徴とする。

【0027】

上記撮像システムにおいて、前記撮像手段は、前記４つ以上の波長帯域の各々に帯域が制限された光を前記被写体に順次照射する光照射手段と、前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、を備えることを特徴とする。

【発明の効果】

【0028】

本発明によれば、面順次方式により生成されたマルチバンド画像に含まれる個々の画像に対し、撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように画像を並べた場合に隣接する画像間の変換情報を累積的に用いて画像変換を行うことにより変形画像を作成し、これらの変形画像を用いてカラー画像を作成するので、事前に煩雑な処理を要することなく好適に画像間の位置合わせを行うことができ、色ずれやぶれを低減したカラー画像を生成することが可能となる。

【図面の簡単な説明】

【0029】

【図1】図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。

【図2】図２は、図１に示す撮像装置の構成例を示す模式図である。

【図3】図３は、図１に示す撮像システムの動作を示すフローチャートである。

【図4】図４は、図１に示す撮像システムの動作を説明するための模式図である。

【図5】図５は、本発明の実施の形態１の変形例１に係る撮像システムの動作を説明するための模式図である。

【図6】図６は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。

【図7】図７は、図６に示す撮像システムにおける撮像動作を示すフローチャートである。

【図8】図８は、図６に示す撮像システムにおける画像処理を示すフローチャートである。

【図9】図９は、図６に示す撮像システムの動作を説明するための模式図である。

【図10】図１０は、本発明の実施の形態３に係る撮像システムの構成例を示すブロック図である。

【図11】図１１は、図１０に示す撮像システムの動作を説明するための模式図である。

【図12】図１２は、図１０に示す撮像システムの動作を説明するための模式図である。

【図13】図１３は、図１０に示す撮像システムにおける撮像動作を示すフローチャートである。

【図14】図１４は、本発明の実施の形態４に係る撮像システムの構成例を示すブロック図である。

【図15】図１５は、図１４に示す画像処理装置が実行する画像群の取得処理を示すフローチャートである。

【図16】図１６は、図１４に示す画像処理装置が実行する画像処理を説明するための模式図である。

【図17】図１７は、図１４に示す画像処理装置が実行する画像処理を説明するための模式図である。

【図18】図１８は、本発明の実施の形態５に係る撮像システムの構成例を示す図である。

【図19】図１９は、本発明の実施の形態６に係る撮像システムの構成例を示す模式図である。

【発明を実施するための形態】

【0030】

以下、本発明に係る画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。

【0031】

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図１に示すように、本実施の形態１に係る撮像システム１は、面順次方式でマルチバンド撮像を行うことにより画像を生成する撮像装置１０と、該撮像装置１０から出力された画像に基づいてカラー画像を生成する画像処理装置１００とを備える。本出願においては、マルチバンド撮像に際して、可視光領域を４つ以上の波長帯域に分離した波長帯域ごとに被写体を撮像することとする。

【0032】

図２は、撮像装置１０の構成例を示す模式図である。図２に示すように、撮像装置１０は、モノクロカメラ１０１と、フィルタ部１０３と、結像レンズ１０５とを備える。モノクロカメラ１０１は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。

【0033】

フィルタ部１０３は、分光特性が互いに異なる複数の光学フィルタ１０３ａと、該光学フィルタ１０３ａを回転可能に保持するフィルタホイール１０３ｂとを備える。このフィルタホイール１０３ｂを回転させることにより、モノクロカメラ１０１の前面に配置される光学フィルタ１０３ａが順次切り換えられる。なお、図２においては、５種類の光学フィルタ１０３ａを備えるフィルタ部１０３を図示しているが、光学フィルタ１０３ａの構成はこれに限定されない。一例として、波長帯域の中心波長が４００ｎｍ〜７２０ｎｍの間で１０ｎｍずつシフトする３３枚の光学フィルタを有するフィルタ部を用いても良い。

【0034】

結像レンズ１０５は、被写体からの観察光（例えば被写体からの反射光）をモノクロカメラ１０１の受光面に結像する。

【0035】

マルチバンド撮像を行う際には、被写体に白色光を照射し、モノクロカメラ１０１の前面に配置される光学フィルタ１０３ａを撮像フレームレートに合わせて切り換えながら撮像を行う。それにより、被写体からの観察光が結像レンズ１０５及び光学フィルタ１０３ａを介してモノクロカメラ１０１に順次入射し、各光学フィルタ１０３ａに対応する波長帯域の画像が順次生成される。撮像装置１０は、このようにして生成した各波長帯域の画像を表す画像データを順次出力する。

【0036】

このような撮像装置１０は、例えば顕微鏡装置に設けられ、顕微鏡装置のステージ上に載置された標本等を被写体として撮像する。或いは、撮像装置１０を、生体内に挿入されて生体の管腔内を撮像する内視鏡に設けても良い。

【0037】

なお、撮像装置１０の構成は、図２に示す構成に限定されない。例えば、フィルタ部１０３の代わりに、電気的な制御により分光特性が変化する液晶チューナブルフィルタを用いても良い。

【0038】

また、被写体に白色光を照射する代わりに、波長帯域が制限された光を被写体に順次照射し、被写体からの反射光を、結像レンズ１０５を介してモノクロカメラ１０１によって受光することにより、各波長帯域の画像を生成しても良い。

【0039】

再び図１を参照すると、画像処理装置１００は、複数の波長帯域の画像を含む画像群の画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像システム１全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記憶部１３０と、記憶部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０とを備える。

【0040】

画像取得部１１０は、当該画像処理装置１００を含む撮像システム１の態様に応じて適宜構成される。例えば図１に示すように、画像処理装置１００に撮像装置１０を接続する場合、画像取得部１１０は、撮像装置１０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。

【0041】

制御部１２０は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１３０に記憶されている各種制御プログラムを読み込むことにより、画像取得部１１０が取得した画像データや入力部１５０から入力された各種信号に従って、画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００及び撮像システム１全体の動作を統括的に制御する。また、制御部１２０は、撮像装置１０における面順次方式によるマルチバンド撮像動作を制御する面順次マルチバンド撮像制御部１２１を備える。

【0042】

記憶部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって構成される。記憶部１３０は、当該画像処理装置１００及び撮像システム１の動作を制御するための各種制御プログラムや、マルチバンド画像に基づいてカラー画像を生成する画像処理を演算部１４０に実行させる画像処理プログラム等の各種プログラムを記憶するプログラム記憶部１３１と、撮像装置１０から出力された画像データを記憶する画像データ記憶部１３２とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。

【0043】

演算部１４０は、ＣＰＵ等のハードウェアによって実現され、プログラム記憶部１３１に記憶された画像処理プログラムを読み込むことにより、画像データ記憶部１３２に記憶された画像データに基づいてカラー画像を生成する画像処理を実行する。

【0044】

より詳細には、演算部１４０は、並び順設定部１４１と、基準画像選択部１４２と、処理対象画像選択部１４３と、変換情報推定部１４４と、変形画像作成部１４５と、カラー画像作成部１４６とを備える。

【0045】

並び順設定部１４１は、被写体が写った４つ以上の波長帯域の画像を含む画像群（以下、マルチバンド画像群ともいう）に対し、隣接する画像間で波長帯域が隣り合うように、画像の並び順を設定する。

【0046】

基準画像選択部１４２は、マルチバンド画像群のうちの１つの画像を基準画像として選択する。

【0047】

処理対象画像選択部１４３は、マルチバンド画像群のうちの基準画像以外の画像を、処理対象画像として順次設定する。

【0048】

変換情報推定部１４４は、並び順設定部１４１により設定された並び順でマルチバンド画像群に含まれる画像を並べた場合に隣接する画像間の変換情報（変換パラメータ）を推定する。画像変換としては、具体的には、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、及び平行移動のいずれか、又はこれらの変換の組み合わせが挙げられる。

【0049】

変形画像作成部１４５は、並び順設定部１４１により設定された並び順において、処理対象画像から基準画像に向け、変換情報を累積的に用いて画像変換を行うことにより、処理対象画像の変形画像を作成する。

【0050】

カラー画像作成部１４６は、マルチバンド画像群に含まれる基準画像以外の全ての画像からそれぞれ作成された変形画像と基準画像とを用いてカラー画像を作成する。

【0051】

入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、外部からなされる操作入力に応じた入力信号を制御部１２０に出力する。

【0052】

表示部１６０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって構成され、制御部１２０から出力された表示信号をもとに各種画面を表示する。

【0053】

次に、撮像システム１の動作について説明する。図３は、撮像システム１の動作を示すフローチャートである。また、図４は、撮像システム１の動作を説明するための模式図である。

【0054】

まず、ステップＳ１００において、演算部１００は、４つ以上の波長帯域に分けて被写体を撮像することにより生成されたマルチバンド画像群を取得する。詳細には、面順次マルチバンド撮像制御部１２１の下で撮像装置１０を動作させ、波長帯域の中心波長を４００ｎｍ〜７２０ｎｍの間で１０ｎｍずつシフトさせながら（図４参照）、撮像周期１／３３分（撮像フレームレート３３枚／分）で順次撮像を行う。画像取得部１１０は、それによって生成された３３バンドの画像の画像データを撮像装置１０から順次取得し、画像データ記憶部１３２に記憶させる。演算部１００は、画像データ記憶部１３２から画像データを読み出すことによりマルチバンド画像群を取得する。以下において、中心波長λの波長帯域の画像を、画像Ｉ（λ）と記す。

【0055】

続くステップＳ１０１において、演算部１４０は、マルチバンド画像群における画像の並び順を設定する。具体的には、画像処理装置１００において静止画表示を行う場合、並び順設定部１４１は、隣接する画像間で波長帯域が隣り合うように並び順を設定する。なお、図４の場合、波長帯域を短波長側から長波長側に順次シフトさせるので、撮像順に従って画像の並び順を設定すれば良い。

【0056】

続くステップＳ１０２において、変換情報推定部１４４は、ステップＳ１０１において設定された並び順で隣接する２つの画像に対して変換推定を行うことにより、これらの画像間の変換情報（変換パラメータ）を推定する。ここで、変換推定とは、２つの画像を重ねた場合に一致する変換情報を推定する処理である。変換推定の一例として、特開２００７−２５７２８７号公報に開示されているように、濃度勾配情報に基づく平面射影変換等の変換情報の推定を繰り返すことにより、高精度な変換情報を取得する処理が挙げられる。推定される変換処理としては、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、平行移動等の公知の画像変換、或いはこれらの組み合わせが挙げられる。

【0057】

変換情報推定部１４４は、このような変換推定を、マルチバンド画像群に含まれる全ての隣接する２つの画像の組み合わせに対して実行する。例えば、図４の場合、画像Ｉ（４００）と画像Ｉ（４１０）との間の変換情報ｔｒ（４００）、画像Ｉ（４１０）と画像Ｉ（４２０）との変換情報ｔｒ（４１０）、…が推定される。

【0058】

続くステップＳ１０３において、基準画像選択部１４２は、マルチバンド画像群に含まれる任意の１つの画像を基準画像として選択する。図４においては、一例として、中心波長５５０ｎｍの波長帯域の画像Ｉ（５５０）を基準画像とする。以下、基準画像の波長帯域を基準波長帯域ともいう。

【0059】

続くステップＳ１０４において、処理対象画像選択部１４３は、マルチバンド画像群に含まれる画像のうちの基準画像以外の画像から、処理対象画像を選択する。

【0060】

続くステップＳ１０５において、変形画像作成部１４５は、処理対象画像から基準画像に向かって、変換情報を累積的に用いて処理対象画像に画像変換を施すことにより、変形画像を作成する。例えば図４において、画像Ｉ（４１０）が処理対象画像である場合、画像Ｉ（４１０）と、基準画像である画像Ｉ（５５０）との間に位置する画像Ｉ（４２０）〜画像Ｉ（５４０）に関する変換情報が利用される。具体的には、画像Ｉ（４１０）−画像Ｉ（４２０）間の変換情報ｔｒ（４１０）と、画像Ｉ（４２０）−画像Ｉ（４３０）間の変換情報ｔｒ（４２０）と、…、画像Ｉ（５４０）−画像Ｉ（５５０）間の変換情報ｔｒ（５４０）とを順次累積したトータルの変換情報（累積変換情報）を算出し、この累積変換情報を用いて、画像Ｉ（４１０）に画像変換を施す。

【0061】

ここで、変換情報を利用する順序は、処理対象画像から基準画像に向かう順とする。具体的には、処理対象画像の波長帯域が基準波長帯域よりも短波長帯域である場合（図４においては、画像Ｉ（４００）〜Ｉ（５４０）が処理対象画像である場合）、短波長側から長波長側に向かって変換情報を累積的に利用する。一方、処理対象画像の波長帯域が基準波長帯域よりも長波長帯域である場合（図４においては、画像Ｉ（５６０）〜Ｉ（７２０）が処理対象画像である場合）、長波長側から短波長側に向かって変換情報を累積的に利用する。例えば、画像Ｉ（６５０）を処理対象画像とする場合、まず、画像Ｉ（６５０）−画像Ｉ（６４０）間の変換情報ｔｒ（６５０）と、画像Ｉ（６４０）−Ｉ（６３０）間の変換情報ｔｒ（６４０）と、…、画像Ｉ（５６０）−画像Ｉ（５５０）間の変換情報ｔｒ（５６０）とを順次累積したトータルの変換情報（累積変換情報）を算出し、この累積変換情報を用いて、画像Ｉ（６５０）に画像変換を施す。

【0062】

ステップＳ１０６において、変形画像作成部１４５は、基準波長帯域以外の全波長帯域の画像の変形画像を作成したか否かを判定する。基準波長帯域以外で未だ変形画像を作成していない波長帯域が残っている場合（ステップＳ１０６：Ｎｏ）、演算部１４０の動作はステップＳ１０４に戻る。

【0063】

一方、基準波長帯域以外の全波長帯域の変形画像を作成した場合（ステップＳ１０６：Ｙｅｓ）、続いてカラー画像作成部１４６は、基準画像及び全波長帯域の変形画像からカラー画像を作成する（ステップＳ１０７）。詳細には、カラー画像作成部１４６は、各変形画像を照明の分光特性で補正し、レンダリング照明の分光特性、等色関数、ｓＲＧＢ変換行列を乗算することでカラー画像を作成する。

【0064】

続くステップＳ１０８において、演算部１４０は、ステップＳ１０７において作成したカラー画像を出力する。これに応じて、制御部１２０は、カラー画像を表示部１６０に表示させると共に、カラー画像の画像データを画像データ記憶部１３２に記憶させる。
その後、撮像システム１の動作は終了する。

【0065】

以上説明したように、本発明の実施の形態１によれば、基準波長帯域に対して処理対象画像の波長帯域の相関が低い場合であっても、処理対象画像から基準画像に向かって変換情報を累積的に用いることにより処理対象画像を変形するので、煩雑な処理を要することなく、基準画像に対して処理対象画像を好適に補正することができる。従って、色収差に起因する色ずれが低減されたカラー画像を生成することが可能となる。

【0066】

なお、上記実施の形態１においては、マルチバンド撮像を行う際に、波長帯域を短波長側から長波長側に単調にシフトさせたが、長波長側から短波長側に単調にシフトさせても良いし、ランダムにシフトさせても良い。いずれにしても、静止画を表示する場合には、並び順設定部１４１がマルチバンド画像群における画像の並び順を設定するので、マルチバンド撮像を行う際の波長帯域の順序は特に考慮しなくても良い。

【0067】

また、上記実施の形態１においては、マルチバンド画像群における画像の並び順を一律に設定し、全ての処理対象画像に対し、この並び順に沿った順で変換情報を用いて変形画像を作成することとしたが、処理対象画像ごとに並び順を異ならせても良い。

【0068】

（変形例１）
次に、本発明の実施の形態１の変形例１について説明する。図５は、本発明の実施の形態１の変形例１に係る撮像システムの動作を説明するための模式図である。

【0069】

上記実施の形態１においては、並び順設定部１４１が設定した並び順において隣接する２つの画像の全ての組み合わせについて変換情報を推定し（図３のステップＳ１０２参照）、その後、必要な変形情報を用いて各処理対象画像の変形画像を作成した（ステップＳＳ１０５）。しかしながら、各処理対象画像の変形画像を作成する際に、変換情報の推定を逐次行っても良い。

【0070】

例えば、図５において画像Ｉ（４００）を処理対象画像とする場合、変換情報推定部１４４は、まず、隣接する画像Ｉ（４１０）との間の変換情報ｔｒ４００を推定し、変形画像作成部１４５は、この変換情報ｔｒ（４００）を用いて画像Ｉ（４００）を変換することにより、変形画像Ｉ（４００）₄₁₀を作成する。続いて、変換情報推定部１４４は、並び順が次の画像Ｉ（４２０）と直前に作成された変形画像Ｉ（４００）₄₁₀との間の変換情報ｔｒ（４１０）’を推定し、変形画像作成部１４５は、この変換情報ｔｒ（４１０）’を用いて、変形画像Ｉ（４００）₄₁₀をさらに変形することにより、変形画像Ｉ（４００）₄₂₀を作成する。このように、画像の並び順に沿って、もとの画像と、直前に作成された変形画像との変換情報を推定し、この変換情報を用いて直前に作成された変形画像をさらに変換するという処理を累積的に繰り返す。そして、最後に、画像Ｉ（５５０）と変形画像Ｉ（４００）₅₄₀との間の変形情報ｔｒ（５４０）’を用いて変形画像Ｉ（４００）₅₄₀を変換することで、画像Ｉ（４１０）の最終的な変形画像Ｉ（４００）₅₅₀を取得する。

【0071】

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図６は、本発明の実施の形態２に係る撮像システムの構成を示すブロック図である。図６に示すように、本実施の形態２に係る撮像システム２は、撮像装置１０と画像処理装置２００とを備える。撮像装置１０の構成及び動作は、実施の形態１と同様である。

【0072】

画像処理装置２００は、図１に示す制御部１２０及び演算部１４０の代わりに、制御部２１０及び演算部２２０をそれぞれ備える。制御部２１０及び演算部２２０以外の画像処理装置２００の各部の構成及び動作は、実施の形態１と同様である。

【0073】

制御部２１０は、撮像装置１０における面順次方式によるマルチバンド撮像動作を制御する面順次マルチバンド撮像制御部２１１と、このマルチバンド撮像の動作を撮像装置１０に連続して繰り返し実行させる連続撮像制御部２１２とを備える。

【0074】

演算部２２０は、図１に示す基準画像選択部１４２〜カラー画像作成部１４６に加え、動画作成部２２１をさらに備える。動画作成部２２１は、撮像装置１０から連続的に入力される画像データに基づき順次作成されるカラー画像を用いて動画を作成する。なお、ここでいう動画は、ＭＰＥＧやＡＶＩ等の標準フォーマットの動画であっても良いし、画像処理装置２００独自のフォーマットの動画であっても良い。また、基準画像選択部１４２〜カラー画像作成部１４６の動作は、実施の形態１と同様である。

【0075】

次に、撮像システム２の動作について説明する。
図７は、撮像システム２における撮像動作を示すフローチャートである。図８は、撮像システム２における画像処理を示すフローチャートである。図９は、撮像システム２の動作を説明するための模式図である。

【0076】

まず、ステップＳ２００において、面順次マルチバンド撮像制御部２１１は、４つ以上の波長帯域に対して撮像を行う順序を設定する。本実施の形態２においては、連続して撮像される画像間において波長帯域が隣接するように、波長帯域の順序を設定する。具体的には、図９に示すように、波長帯域の中心波長を、最短波長の４００ｎｍから最長波長の７２０ｎｍに向かって１０ｎｍずつシフトさせる。

【0077】

続くステップＳ２０１において、面順次マルチバンド撮像制御部２１１は、マルチバンド撮像を開始する際の波長帯域の初期値を設定する。本実施の形態２においては、図９に示すように、中心波長が４００ｎｍの波長帯域からマルチバンド撮像を開始する。

【0078】

ステップＳ２０２において、撮像装置１０は、ステップＳ２０１において設定された波長帯域で被写体を撮像し、画像データを生成する。続くステップＳ２０３において、撮像装置１０は、生成した画像データを画像処理装置２００に出力する。

【0079】

ステップＳ２０４において、撮像装置１０は、連続撮像制御部２１２から撮像終了の制御信号が入力されたか否かを判定する。撮像終了の制御信号が入力されない場合（ステップＳ２０４：Ｎｏ）、撮像装置１０は、ステップＳ２００において設定された順に波長帯域を変更する（ステップＳ２０５）。その後、撮像装置１０の動作はステップＳ２０２に移行する。このような動作を繰り返すことにより、各波長帯域の画像の画像データが順次画像処理装置２００に出力される。なお、波長帯域が最長波長の７２０ｎｍに至った場合には最短波長の４００ｎｍに戻り、再び短波長側から長波長側に向かった波長帯域をシフトさせる。

【0080】

一方、連続撮像制御部２１２から撮像終了の制御信号が入力された場合（ステップＳ２０４：Ｙｅｓ）、撮像装置１０の撮像動作は終了する。

【0081】

画像処理装置２００は、撮像装置１０から画像データが出力されると（図７のステップＳ２０３参照）、画像データの取り込みを開始し、画像データ記憶部１３２に順次記憶させる（図８のステップＳ２１０参照）。

【0082】

続くステップＳ２１１において、演算部２２０は任意の基準時刻を設定する。図９においては、まず、時刻ｔ１が基準時刻に設定されたものとする。

【0083】

ステップＳ２１２において、演算部２２０は、画像データ記憶部１３２に順次記憶された画像データに基づいて、基準時刻の前後所定時間内に生成された画像群（マルチバンド画像群）を撮像時刻順に取得する。画像群を取得する範囲は、全ての波長帯域がカバーされていれば任意であり、いくつかの波長帯域が重複していても構わない。例えば図９に示すように、１分間に全３３バンドの画像が生成される場合、基準時刻を含む少なくとも１分間に生成された画像を取得すれば良い。図９においては、時刻ｔ１を中心とする前後３０秒間に生成された画像Ｉ（４００）₁〜Ｉ（７２０）₁を取得している。なお、画像を取得する期間に対して基準時刻は必ずしも中心である必要はない。

【0084】

ステップＳ２１２に続くステップＳ１０２〜Ｓ１０７の動作は、実施の形態１と同様である。このうち、ステップＳ１０２においては、撮像時刻順に並べられた画像間における変換情報が推定される。また、ステップＳ１０３においては、ステップＳ２１１において設定された基準時刻における画像（図９においては、時刻ｔ１に対応する画像Ｉ（５５０）₁）が基準画像に設定される。それにより、画像Ｉ（４００）₁〜Ｉ（７２０）₁に基づき、カラー画像が作成される（ステップＳ１０７参照）。

【0085】

ステップＳ１０７に続くステップＳ２１３において、動画作成部２２１は、ステップＳ１０７において作成されたカラー画像を基準時刻におけるフレーム画像として動画を作成する。例えば、画像Ｉ（４００）₁〜Ｉ（７２０）₁に基づいて作成されたカラー画像は、基準時刻ｔ１に対応するフレーム１の画像となる。

【0086】

これに応じて、演算部２２０は作成された動画を出力し、制御部２１０はカラー画像による動画を表示部１６０に表示させる（ステップＳ２１４）。

【0087】

ステップＳ２１５において、撮像装置１０から新たな画像データの入力がある場合（ステップＳ２１５：Ｙｅｓ）、演算部２２０は、基準時刻を変更する（ステップＳ２１６）。基準時刻の周期は任意であるが、高フレームレートの動画を作成するためには、基準時刻の周期を短くすると良い。例えば図９においては、時刻ｔ１に続いて、撮像周期と等しい１／３３分後の時刻ｔ２を基準時刻に設定している。その後、演算部２２０の動作はステップＳ２１２に戻る。

【0088】

このような動作を繰り返すことにより、基準時刻を含む所定時間内に生成されたマルチバンド画像群に基づいて、動画の各フレーム画像としてのカラー画像が順次作成される。例えば、基準時刻ｔ２の前後３０秒間に生成された画像Ｉ（４１０）₁〜Ｉ（４００）₂に基づいてフレーム２のカラー画像が作成され、基準時刻ｔ３の前後３０秒間に生成された画像Ｉ（４２０）₁〜Ｉ（４１０）₂に基づいてフレーム３のカラー画像が作成される。

【0089】

一方、ステップＳ２１５において、撮像装置１０からの画像データの入力が終了した場合（ステップＳ２１５：Ｎｏ）、画像処理装置２００の動作は終了する。

【0090】

以上説明したように、本発明の実施の形態２によれば、連続して撮像される画像間において波長帯域が隣接するように各波長帯域の撮像順を設定するので、色収差に起因する色ずれと撮像時刻の差に起因するぶれとの両方が精度良く補正されたカラー画像を作成することができる。従って、このようなカラー画像を用いることにより、画質の良いカラーの動画を作成することが可能となる。

【0091】

なお、上記ステップＳ２１３、Ｓ２１４においては、撮像装置１０から順次入力される画像データを用いて、リアルタイムで動画を作成及び表示することとしたが、ステップＳ１０７において作成されたカラー画像を記憶し、蓄積されたカラー画像を繋げて動画を作成することとしても良い。

【0092】

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１０は、本発明の実施の形態３に係る撮像システムの構成を示すブロック図である。図１０に示すように、本実施の形態３に係る撮像システム３は、撮像装置１０と画像処理装置３００とを備える。この画像処理装置３００は、図６に示す制御部２１０の代わりに、制御部３１０を備える。なお、撮像装置１０の構成及び動作は、実施の形態１と同様である。また、制御部３１０以外の画像処理装置３００の構成及び動作は、実施の形態２と同様である。

【0093】

制御部３１０は、撮像装置１０における面順次方式によるマルチバンド撮像動作を制御する面順次マルチバンド撮像制御部３１１と、このマルチバンド撮像動作を撮像装置１０に連続して繰り返し実行させる連続撮像制御部２１２とを備える。面順次マルチバンド撮像制御部３１１は、撮像装置１０にマルチバンド撮像を実行させる際に、波長帯域の変更動作の制御、及び波長帯域を変更させる方向の制御を行う。なお、連続撮像制御部２１２の動作は、実施の形態２と同様である。

【0094】

ここで、実施の形態２のように、波長帯域を短波長側から長波長側に単調にシフトさせる場合、基準時刻をもとにマルチバンド画像群を取得する時間帯に、波長帯域が最長波長から最短波長にジャンプするタイミングが含まれてしまう場合がある。具体的には、図１１に示すように、中心波長４００ｎｍ〜７２０ｎｍの８バンドのマルチバンド撮像を行う場合基準時刻ｔ０に対しては、マルチバンド画像群として画像Ｉ（５５０）₁〜Ｉ（４５０）₂が取得される。このマルチバンド画像群においては、波長帯域の相関が低い画像Ｉ（７２０）₁と画像Ｉ（４００）₂とが連続しているため、両画像間における変換推定精度が低くなる。それにより、画像Ｉ（７２０）₁と画像Ｉ（４００）₂との変換情報を利用して作成された変形画像の精度が低下してしまう。例えば図１１の場合、画像Ｉ（４５０）₂から基準画像Ｉ（７００）₁に向かって作成される変形画像や、画像Ｉ（４００）₂から基準画像Ｉ（７００）₁に向かって作成される変形画像の精度が低下する。その結果、適切なカラー画像を作成することが困難になるおそれがある。

【0095】

そこで、本実施の形態３においては、図１２に示すように、連続して撮像を行う際に波長帯域を１段階以上空けてシフトさせ、１サイクルのマルチバンド撮像において、最短波長帯域と最長波長帯域との間で波長帯域を少なくとも１往復させることにより、最短波長帯域と最長波長帯域とが直接隣り合わない（即ち、間に別の波長帯域が挿入されている）ようにする。具体的には、図１２の場合、まず、中心波長を４００ｎｍ→５００ｎｍ→６００ｎｍ→７００ｎｍの順にシフトさせて、各波長帯域の画像を取得した後、最長波長帯域の画像を取得する。即ち、往路においては、中心波長４５０ｎｍ、５５０ｎｍ、６５０ｎｍの波長帯域をスキップする。その後、中心波長を６５０ｎｍ→５５０ｎｍ→４５０ｎｍの順にシフトさせて、各波長帯域の画像を取得する。即ち、復路においては、中心波長７００ｎｍ、６００ｎｍ、５００ｎｍの波長帯域をスキップする。

【0096】

なお、１サイクルのマルチバンド撮像においては、同じ波長帯域を重複して撮像しても良い。この場合、画像処理装置３００における画像処理の効率の観点から、重複分の撮像回数は、１サイクルの撮像回数の半分以下にすることが好ましい。

【0097】

このようなサイクルで波長帯域をシフトさせてマルチバンド撮像を行う場合、設定される基準時刻によらず、マルチバンド画像群内で撮像順が隣接する全ての画像の組み合わせにおいて、波長帯域の相関を、高いレベルで維持することができる。具体的には、基準時刻ｔ１をもとに抽出されたマルチバンド画像群Ｉ（４００）₃〜Ｉ（４５０）₃、基準時刻ｔ２をもとに抽出されたマルチバンド画像群Ｉ（５００）₃〜Ｉ（４００）₄、基準時刻ｔ３をもとに抽出されたマルチバンド画像群Ｉ（６００）₃〜Ｉ（５００）₄のいずれにおいても、撮像順が隣接する画像間において、波長帯域の相関が大幅に低い画像の組合せは発生していない。

【0098】

面順次マルチバンド撮像制御部３１１は、このように、撮像装置１０に対して、撮像を１回行うごとに波長帯域を１段階以上空けてシフトさせることにより、１サイクルのマルチバンド撮像において、最短波長帯域と最長波長帯域との間で波長帯域を少なくとも１往復させる制御を行う。

【0099】

図１３は、撮像システム３における撮像動作を示すフローチャートである。まず、ステップＳ３００において、面順次マルチバンド撮像制御部３１１は、マルチバンド撮像を行う４つ以上の波長帯域を設定する。本実施の形態３においては、図１１に示すように、中心波長が４００ｎｍ〜７２０ｎｍの８つの波長帯域のマルチバンド撮像を行うこととする。

【0100】

続くステップＳ３０１において、面順次マルチバンド撮像制御部３１１は、波長帯域及び波長帯域を変更する方向の初期値を設定する。本実施の形態３においては、波長帯域の初期値として、中心波長４００ｎｍの最短波長帯域を初期値として設定すると共に、波長帯域を変更する方向の初期値を昇順に設定する。

【0101】

ステップＳ３０２において、撮像装置１０は、ステップＳ３０１において設定された波長帯域で被写体を撮像し、画像データを生成する。続くステップＳ３０３において、撮像装置１０は、生成した画像データを画像処理装置３００に出力する。

【0102】

ステップＳ３０４において、撮像装置１０は、ステップＳ３０１において設定された方向に、波長帯域を１段階以上空けて変更する。具体的には、中心波長４００ｎｍの波長帯域に対し、中心波長４５０ｎｍの波長帯域をスキップして、中心波長５００ｎｍの波長帯域に変更される。

【0103】

ステップＳ３０５において、面順次マルチバンド撮像制御部３１１は、変更後の波長帯域が、ステップＳ３００において設定された波長帯域の最端（上端又は下端）波長帯域であるか否かを判定する。変更後の波長帯域が最端波長帯域である場合（ステップＳ３０５：Ｙｅｓ）、面順次マルチバンド撮像制御部３１１は、波長帯域を変更する方向を切り換える（ステップＳ３０６）。例えば、ステップＳ３０４において変更された後の波長帯域の中心波長が７２０ｎｍ（上端波長帯域）であった場合、波長帯域を変更する方向を降順に切り換える。一方、変更後の波長帯域が最端波長帯域でない場合（ステップＳ３０５：Ｎｏ）、動作はそのままステップＳ３０７に移行する。

【0104】

ステップＳ３０７において、撮像装置１０は、連続撮像制御部２１２から撮像終了の制御信号が入力されたか否かを判定する。撮像終了の制御信号が入力されない場合（ステップＳ３０７：Ｎｏ）、撮像装置１０の動作はステップＳ３０２に移行する。この場合、ステップＳ３０４において変更された波長帯域での撮像が行われる。一方、撮像終了の制御信号が入力された場合（ステップＳ３０７：Ｙｅｓ）、撮像装置１０の動作は終了する。

【0105】

以上説明したように、本発明の実施の形態３によれば、基準時刻の設定によらず、マルチバンド画像群において、撮像順が隣接する画像の全ての組み合わせにおける波長帯域の相関を高いレベルで維持し、局所的な波長帯域の相関の低下を防ぐことができる。従って、色収差に起因する色ずれと撮像時刻の差に起因するぶれとの両方が精度良く補正されたカラー画像を、常に生成することが可能となる。従って、このようなカラー画像を用いることにより、高品質なカラーの動画を作成することが可能となる。

【0106】

なお、撮像装置において、液晶チューナブルフィルタ等を用いた電気的な制御により波長帯域を変化させる場合、１サイクルで波長帯域の中心波長が例えば４００ｎｍ→５００ｎｍ→６００ｎｍ→７００ｎｍ→７２０ｎｍ→６５０ｎｍ→５５０ｎｍ→４５０ｎｍの順で変化するように、制御プログラムを作成すれば良い。

【0107】

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１４は、本発明の実施の形態４に係る撮像システムの構成を示すブロック図である。図１４に示すように、本実施の形態４に係る撮像システム４は、撮像装置１０と画像処理装置４００とを備える。撮像装置１０の構成及び動作は、実施の形態４と同様である。

【0108】

画像処理装置４００は、図６に示す演算部２２０の代わりに、演算部４１０を備える。演算部４１０は、図６に示す演算部２２０の構成に加えて、内挿画像作成部４１１及び内挿画像列作成部４１２を備える。なお、演算部４１０以外の画像処理装置４００の構成及び動作は、実施の形態２と同様である。

【0109】

内挿画像作成部４１１は、基準時刻の前後において生成された同一の波長帯域の画像から、基準時刻における内挿画像を作成する。

【0110】

内挿画像列作成部４１２は、内挿画像作成部４１１が作成した各波長帯域の内挿画像を、所定の並び順で並べる。

【0111】

撮像システム４の動作は、全体として実施の形態２（図７及び図８参照）と同様であり、図８のステップＳ２１２における基準時刻の前後所定時間内に生成された画像群を取得する動作が実施の形態２と異なる。図１５は、ステップＳ２１２において演算部４１０が実行する詳細な動作を示すフローチャートである。また、図１６及び図１７は、ステップＳ２１２における演算部４１０の詳細な動作を説明するための模式図である。

【0112】

まず、ステップＳ４００において、内挿画像作成部４１１は、図８のステップＳ２１１において設定された基準時刻における波長帯域以外の波長帯域から、処理対象の波長帯域を選択する。続くステップＳ４０１において、内挿画像作成部４１１は、基準時刻の前後に生成された処理対象の波長帯域の画像対を選択する。例えば図１６において、処理対象の波長帯域の中心波長が４００ｎｍである場合、基準時刻ｔ５の前後に生成された画像Ｉ（４００）₅及びＩ（４００）₆の画像対が選択される。

【0113】

続くステップＳ４０２において、内挿画像作成部４１１は、ステップＳ４０１において選択された画像対から、被写体の動きを推定する。動きの推定には、ブロックマッチング法、勾配法等の公知の技術を用いることができる。

【0114】

ステップＳ４０３において、内挿画像作成部４１１は、被写体の動きから、基準時刻における被写体の位置を推定する。

【0115】

ステップＳ４０４において、内挿画像作成部４１１は、被写体の位置に基づいて、基準時刻における内挿画像を作成する（例えば、特開２０１２−１４２８１７号公報参照）。この際、動きの推定に用いた画像対のいずれを用いても良い。例えば、画像Ｉ（４００）₅から基準時刻ｔ５における内挿画像Ｉ（４００）_t5を作成しても良いし、画像Ｉ（４００）₆から内挿画像Ｉ（４００）_t5を作成しても良い。画像Ｉ（４００）₅と画像Ｉ（４００）₆とのいずれを用いるかについては、例えば、撮像時刻が早い方の画像、撮像時刻が遅い方の画像、撮像時刻がより基準時刻に近い方の画像というように、適宜設定すれば良い。或いは、画像Ｉ（４００）₅とＩ（４００）₆との両方を用いて内挿画像Ｉ（４００）_t5を作成しても良い。

【0116】

ステップＳ４０５において、内挿画像作成部４１０は、基準時刻における波長帯域以外の全ての波長帯域の内挿画像を作成したか否かを判定する。基準時刻における波長帯域以外で未だ内挿画像を作成していない波長帯域が残っている場合（ステップＳ４０５：Ｎｏ）、演算部４１０の動作はステップＳ４００に移行する。この処理を繰り返すことにより、図１７に示すように、中心波長４００ｎｍ、４５０ｎｍ、５００ｎｍ、５５０ｎｍ、６００ｎｍ、６５０ｎｍ、７２０ｎｍの各波長帯域について、基準時刻ｔ５における内挿画像Ｉ（４００）_t5、Ｉ（４５０）_t5、Ｉ（５００）_t5、Ｉ（５５０）_t5、Ｉ（６００）_t5、Ｉ（６５０）_t5、Ｉ（７２０）_t5が作成される。

【0117】

基準時刻における波長帯域以外の全ての波長帯域の内挿画像を作成した場合（ステップＳ４０５：Ｙｅｓ）、内挿画像列作成部４１２は、全ての内挿画像と基準時刻における画像とからなる画像セットに対し、隣接する画像間で波長帯域が隣り合うように、画像の並び順を設定する（ステップＳ４０６）。その後、演算部４１０の動作はメインルーチンに戻る。

【0118】

ステップＳ２１２に続くステップＳ１０２以降においては、ステップＳ４０６において並び順が設定された画像セットをマルチバンド画像群とみなし、実施の形態２と同様に画像処理が実行される。この際、ステップＳ１０３においては、基準時刻に撮像された画像が基準画像として選択される。従って、図１７の場合、画像Ｉ（７００）₅が基準画像として選択され、処理対象画像として選択された各内挿画像（４００）_t5、Ｉ（４５０）_t5、Ｉ（５００）_t5、Ｉ（５５０）_t5、Ｉ（６００）_t5、Ｉ（６５０）_t5、Ｉ（７２０）_t5は、当該処理対象画像から基準画像（画像Ｉ（７００）₅）に向かって、隣接する内挿画像間で推定された変換情報を累積的に利用して変形画像に変換される（ステップＳ１０５参照）。

【0119】

以上説明したように、本発明の実施の形態４によれば、基準時刻の前後に生成された各波長帯域の画像を用いて作成された内挿画像をマルチバンド画像群として扱うので、撮像を行う波長帯域の順序によらず、色収差に起因する色ずれと撮像時刻の差に起因するぼけとの両方が精度良く補正されたカラー画像を作成することが可能となる。従って、そのようなカラー画像を用いることにより、高品質な動画を作成することが可能となる。

【0120】

（実施の形態５）
次に、本発明の実施の形態５について説明する。
図１８は、本発明の実施の形態５に係る撮像システムの構成例を示す図である。図１８に示すように、本実施の形態５に係る撮像システム５は、撮像装置１０が設けられた顕微鏡装置５００と、画像処理装置１００とを備える。なお、画像処理装置１００の代わりに、図６に示す画像処理装置２００、図１０に示す画像処理装置３００、又は図１４に示す画像処理装置４００を設けても良い。

【0121】

顕微鏡装置５００は、落射照明ユニット５０１及び透過照明ユニット５０２が設けられた略Ｃ字形のアーム５００ａと、該アーム５００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ５０３と、鏡筒５０５の一端側に三眼鏡筒ユニット５０７を介して標本ステージ５０３と対向するように設けられた対物レンズ５０４と、標本ステージ５０３を移動させるステージ位置変更部５０６とを有する。三眼鏡筒ユニット５０７は、対物レンズ５０４から入射した被写体ＳＰの観察光を、鏡筒５０５の他端側に設けられた撮像装置１０と後述する接眼レンズユニット５０８とに分岐する。接眼レンズユニット５０８は、ユーザが被写体ＳＰを直接観察するためのものである。

【0122】

落射照明ユニット５０１は、落射照明用光源５０１ａ及び落射照明光学系５０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系５０１ｂは、落射照明用光源５０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

【0123】

透過照明ユニット５０２は、透過照明用光源５０２ａ及び透過照明光学系５０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系５０２ｂは、透過照明用光源５０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

【0124】

対物レンズ５０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ５０４、５０４’）を保持可能なレボルバ５０９に取り付けられている。このレボルバ５０９を回転させて、標本ステージ５０３と対向する対物レンズ５０４、５０４’を変更することにより、撮像倍率を変化させることができる。

【0125】

鏡筒５０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部（いずれも図示せず）とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。

【0126】

ステージ位置変更部５０６は、例えばステッピングモータ等の駆動部５０６ａを含み、標本ステージ５０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部５０６には、標本ステージ５０３をＺ軸に沿って移動させることにより、対物レンズ５０４の焦点を被写体ＳＰに合わせる。

【0127】

このような顕微鏡装置５００において生成された被写体ＳＰの拡大像を撮像装置１０においてマルチバンド撮像することより、被写体ＳＰのカラー画像が表示部１６０に表示される。

【0128】

（実施の形態６）
次に、本発明の実施の形態６について説明する。
図１９は、本発明の実施の形態６に係る撮像システムの構成例としての内視鏡システムを示す模式図である。図１９に示す内視鏡システム６は、画像処理装置１００と、生体の管腔内に先端部を挿入して撮像を行うことにより管腔内の画像を生成する内視鏡６００と、内視鏡６００の先端から出射する照明光を発生する光源装置７００とを備える。画像処理装置１００は、内視鏡６００が生成した画像に所定の画像処理を施すとともに（実施の形態１参照）、内視鏡システム６全体の動作を統括的に制御する。なお、画像処理装置１００の代わりに、実施の形態２〜４に係る画像処理装置２００、３００、４００を適用しても良い。また、図１９においては、画像処理装置１００が備える表示部１６０（図１参照）を本体の外部に図示している。

【0129】

内視鏡６００は、可撓性を有する細長形状をなす挿入部６１と、挿入部６１の基端側に接続され、各種の操作信号の入力を受け付ける操作部６２と、操作部６２から挿入部６１が延びる方向と異なる方向に延び、画像処理装置１００及び光源装置７００と接続する各種ケーブルを内蔵するユニバーサルコード６３とを備える。

【0130】

挿入部６１は、先端部６４と、複数の湾曲駒によって構成された湾曲自在な湾曲部６５と、湾曲部６５の基端側に接続され、可撓性を有する長尺状の可撓管６６とを有する。この挿入部６１の先端部６４に、外部から入射する光を集光する光学系や撮像素子が設けられている。

【0131】

操作部６２と先端部６４との間には、画像処理装置１００との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルが接続されている。複数の信号線には、撮像素子が出力した映像信号（画像データ）を画像処理装置１００に伝送する信号線及び画像処理装置１００が出力する制御信号を撮像素子へ伝送する信号線等が含まれる。

【0132】

操作部６２は、湾曲部６５を上下方向及び左右方向に湾曲させる湾曲ノブ６２１と、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部６２２と、画像処理装置１００や光源装置７００の他、送気手段、送水手段、送ガス手段等の周辺機器に対して操作指示信号を入力する操作入力部である複数のスイッチ６２３と、を有する。

【0133】

ユニバーサルコード６３は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード６３の操作部６２に連なる側と異なる側の端部には、光源装置７００に着脱自在なコネクタ部６７と、コイル状をなすコイルケーブル６７０を介してコネクタ部６７と電気的に接続され、画像処理装置１００と着脱自在な電気コネクタ部６８とが設けられている。

【0134】

画像処理装置１００は、先端部６４に設けられた撮像素子から出力された画像データをもとに、表示部１６０に表示する画像を生成する。

【0135】

光源装置７００は、制御部１２０（図１参照）の制御の下で、可視光領域を４つ以上の波長帯域に分離した波長帯域ごとの光を順次発生し、ライトガイドを経由して先端部６４の先端から管腔内を照射する。

【0136】

なお、上記実施の形態６においては、図１、図６、図１０、又は図１４に示す撮像システムを生体用の内視鏡システムに適用する例を説明したが、工業用の内視鏡システムに適用しても良い。或いは、図１、図６、図１０、又は図１４に示す撮像システムを、生体内に導入されて該生体内を移動しつつ撮像を行うカプセル型内視鏡に適用しても良い。

【0137】

また、光源装置７００の代わりに白色光を発生する光源装置を設けると共に、内視鏡６００の先端部６４に分光特性が互いに異なる複数の光学フィルタを設け、管腔内に白色光を照射し、管腔内からの反射光を光学フィルタを介して受光することにより、マルチバンド撮像を行っても良い。

【0138】

本発明は、上述した各実施の形態１〜６そのままに限定されるものではなく、各実施の形態１〜６に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜５に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

【符号の説明】

【0139】

１〜５ 撮像システム
６ 内視鏡システム
１０ 撮像装置
１０１ モノクロカメラ
１０３ フィルタ部
１０３ａ 光学フィルタ
１０３ｂ フィルタホイール
１０５ 結像レンズ
１００、２００、３００、４００ 画像処理装置
１１０ 画像取得部
１２０、２１０、３１０ 制御部
１２１、２１１、３１１ 面順次マルチバンド撮像制御部
１３０ 記憶部
１３１ プログラム記憶部
１３２ 画像データ記憶部
１４０、２２０、４１０ 演算部
１４１ 並び順設定部
１４２ 基準画像選択部
１４３ 処理対象画像選択部
１４４ 変換情報推定部
１４５ 変形画像作成部
１４６ カラー画像作成部
１５０ 入力部
１６０ 表示部
２１２ 連続撮像制御部
２２１ 動画作成部
４１１ 内挿画像作成部
４１２ 内挿画像列作成部
５００ａ アーム
５０１ 落射照明ユニット
５０１ａ 落射照明用光源
５０１ｂ 落射照明光学系
５０２ 透過照明ユニット
５０２ａ 透過照明用光源
５０２ｂ 透過照明光学系
５０３ 標本ステージ
５０４、５０４’ 対物レンズ
５０５ 鏡筒
５０６ ステージ位置変更部
５０６ａ ステッピングモータ
５０７ 三眼鏡筒ユニット
５０８ 接眼レンズユニット
５０９ レボルバ
６００ 内視鏡
６１ 挿入部
６２ 操作部
６３ ユニバーサルコード
６４ 先端部
６５ 湾曲部
６６ 可撓管
６７ コネクタ部
６８ 電気コネクタ部
６２１ 湾曲ノブ
６２２ 処置具挿入部
６２３ スイッチ
６７０ コイルケーブル
７００ 光源装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】