特許 6392570 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6392570

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20180910BHJP

   A61B 1/00 20060101ALI20180910BHJP

   G02B 23/24 20060101ALI20180910BHJP

   H04N 7/18 20060101ALI20180910BHJP

【ＦＩ】

   A61B1/045 610

   A61B1/045 631

   A61B1/00ZDM

   G02B23/24 B

   H04N7/18 M

【請求項の数】19

【全頁数】25

(21)【出願番号】特願2014-143676(P2014-143676)

(22)【出願日】2014年7月11日

(65)【公開番号】特開2016-19569(P2016-19569A)

(43)【公開日】2016年2月4日

【審査請求日】2017年5月30日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】三井 正法

(72)【発明者】

【氏名】堀江 卓二

【審査官】 北島 拓馬

(56)【参考文献】

【文献】 特開２０１０−０６３５９０（ＪＰ，Ａ）

【文献】 特開２０１１−１６０８４８（ＪＰ，Ａ）

【文献】 特開２０１２−０８５１２２（ＪＰ，Ａ）

【文献】 特開２０１０−１７２６７３（ＪＰ，Ａ）

【文献】 特開２０１２−１７０６４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００− １／３２

Ｇ０２Ｂ ２３／２４−２３／２６

Ｈ０４Ｎ ７／００− ７／０８８

(57)【特許請求の範囲】

【請求項1】

被写体に光を照射し、前記被写体により反射された第１の分光特性を有する光に基づいて第１の画像を表す第１の画像データを生成すると共に、前記被写体により反射された前記第１の分光特性と異なる第２の分光特性を有する光に基づいて第２の画像を表す第２の画像データを生成する画像取得手段を備える撮像システムにおいて、前記第１及び第２の画像に画像処理を施す画像処理装置であって、
前記第１の画像と前記第２の画像との相関の度合いを判定する演算部と、
前記画像取得手段に対し、設定されたフレームレートで前記第１の画像データを生成させると共に、前記相関の度合いの判定結果に基づいて、前記第１の画像データの代わりに前記第２の画像データを生成させるタイミングを制御する制御部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記第２の分光特性を有する光は、前記第１の分光特性を有する光に対して波長帯域が制限されている、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記演算部は、
前記第１の画像と前記第２の画像との間の前記相関の度合いを示すパラメータを算出する相関演算部と、
前記パラメータを閾値と比較することにより、前記第１の画像と前記第２の画像との間に相関があるか否かを判定する相関判定部と、
を備え、
前記制御部は、前記第１の画像と前記第２の画像との間に相関がないと判定された場合に、前記画像取得手段に前記第２の画像データを生成させる、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記演算部は、
前記第２の画像から注目領域を抽出する領域抽出部と、
前記第１の画像において前記第２の画像から抽出された前記注目領域を追従できるか否かを判定する追従判定部と、
を備え、
前記制御部は、さらに、前記第１の画像において前記注目領域を追従できない場合に、前記画像取得手段に前記第２の画像データを生成させる、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項5】

前記演算部は、
前記注目領域を記憶する領域記憶部と、
前記第１の画像において前記注目領域を追従できると判定された場合に、前記注目領域を前記第１の画像において対応する領域に合わせて変形する領域変形処理部と、
をさらに備え、
前記領域記憶部は、前記領域変形処理部により変形された前記注目領域を順次更新して記憶し、
前記追従判定部は、前記第１の画像において前記領域記憶部に記憶された前記注目領域を追従できるか否かを判定する、
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記制御部は、さらに、前記第１の画像データが連続して所定回数以上生成された場合に、前記画像取得手段に前記第２の画像データを生成させる、
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。

【請求項7】

外部からの操作に応じた指示信号を前記制御部に入力する入力部をさらに備え、
前記制御部はさらに、前記入力部から前記指示信号が入力された場合に、前記画像取得手段に前記第２の画像データを生成させる、
ことを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。

【請求項8】

前記制御部は、前記画像取得手段に対し、前記第１の分光特性と異なり、且つ分光特性が互いに異なる複数種類の光にそれぞれ基づいて前記第２の画像データを複数回生成する動作を１つのセット動作として実行させる、ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。

【請求項9】

前記セット動作は、前記第２の画像データを複数回生成する合間に、前記第１の画像データを生成する動作を少なくとも１回挿入する、ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記第１の画像及び前記第２の画像を並べて表示する表示部をさらに備える、ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。

【請求項11】

画面内の第１の領域に前記第１の画像を表示すると共に、前記画面内の前記第１の領域以外の領域に、少なくとも１つの前記第２の画像をそれぞれ縮小した少なくとも１つの縮小画像を表示する表示部をさらに備える、ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。

【請求項12】

前記第１の画像を表示すると共に、前記領域記憶部に記憶された前記注目領域に対応する前記第１の画像内の領域を強調して表示する表示部をさらに備える、ことを特徴とする請求項５に記載の画像処理装置。

【請求項13】

前記第１の画像を表示すると共に、前記領域記憶部に記憶された前記注目領域の画像を前記第１の画像に重畳して表示する表示部をさらに備える、ことを特徴とする請求項５に記載の画像処理装置。

【請求項14】

請求項１〜１３のいずれか１項に記載の画像処理装置と、
前記画像取得手段と、
を備えることを特徴とする内視鏡システム。

【請求項15】

前記画像取得手段は、
白色光を発生する光源と、
前記被写体により反射された光を受光して撮像信号を生成する撮像素子と、
前記光源と前記被写体との間に配置される波長選択手段と、
を備えることを特徴とする請求項１４に記載の内視鏡システム。

【請求項16】

前記画像取得手段は、
前記第１の分光特性を有する光を発生する第１の光源と、
前記第２の分光特性を有する光を発生する第２の光源と、
前記被写体により反射された光を受光して撮像信号を生成する撮像素子と、
を備えることを特徴とする請求項１４に記載の内視鏡システム。

【請求項17】

前記画像取得手段は、
白色光を発生する光源と、
前記被写体により反射された光を受光して撮像信号を生成する撮像素子と、
前記被写体と前記撮像素子との間に配置される波長選択手段と、
を備えることを特徴とする請求項１４に記載の内視鏡システム。

【請求項18】

画像処理装置の作動方法であって、
光源部が被写体に光を照射し、撮像部が前記被写体により反射された第１の分光特性を有する光に基づいて、第１の画像を表す画像データを生成する第１の画像データ生成ステップと、
前記光源部が前記被写体に光を照射し、前記撮像部が前記被写体により反射された前記第１の分光特性と異なる第２の分光特性を有する光に基づいて、第２の画像を表す画像データを生成する第２の画像データ生成ステップと、
演算部が前記第１の画像と前記第２の画像との相関の度合いを判定する演算ステップと、
制御部が設定されたフレームレートで前記第１の画像データ生成ステップを実行させると共に、前記相関の度合いの判定結果に基づいて、前記第１の画像データ生成ステップの代わりに前記第２の画像データ生成ステップを実行させるタイミングを制御する制御ステップと、
を含むことを特徴とする画像処理方法。

【請求項19】

被写体に光を照射し、前記被写体により反射された第１の分光特性を有する光に基づいて、第１の画像を表す画像データを生成する第１の画像データ生成ステップと、
前記被写体に光を照射し、前記被写体により反射された前記第１の分光特性と異なる第２の分光特性を有する光に基づいて、第２の画像を表す画像データを生成する第２の画像データ生成ステップと、
前記第１の画像と前記第２の画像との相関の度合いを判定する演算ステップと、
設定されたフレームレートで前記第１の画像データ生成ステップを実行させると共に、前記相関の度合いの判定結果に基づいて、前記第１の画像データ生成ステップの代わりに前記第２の画像データ生成ステップを実行させるタイミングを制御する制御ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分光特性が互いに異なる光をそれぞれ用いて撮像を行うことにより生成された複数種類の画像に対して画像処理を施す画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムに関する。

【背景技術】

【0002】

近年、内視鏡や顕微鏡等の分野においては、白色光（以下、通常光ともいう）を用いた撮像により生成された画像（通常光画像）に加え、特定の分光特性を有する光（以下、特殊光ともいう）を用いた撮像（特殊光撮像）により生成された画像（特殊光画像とも呼ばれる）が診断に利用されている。

【0003】

ところが、特殊光の波長帯域は通常光に対して制限されているため、特殊光画像のカラーバランスは通常光画像と比べて著しく異なっている。そのため、両画像を対比させて観察することが困難という問題がある。

【0004】

このような問題に対し、例えば特許文献１には、通常光撮像及び特殊光撮像を実行することにより一セットの通常光画像及び特殊光画像を生成し、このうちの特殊光画像を解析して、病変として疑われる箇所である病変候補を検出し、この通常光画像、及び通常光画像に対応する特殊光画像から検出された病変候補を同時にモニタに表示させる技術が開示されている。

【0005】

また、特許文献２には、最大強度で狭帯域光を照射する第一照射動作と、通常の強度で狭帯域光を照射する第二照射動作をＣＣＤの蓄積期間単位で交互に繰り返し、第一照射動作で得たＲ画素値との相関演算により、第一照射動作で得たＧ画素値から粘膜表層の毛細血管の成分を抽出し、第二照射動作で得たＢ画素値と抽出した成分をモニタのＢ、Ｇチャンネルに割り当てると共に、第二照射動作で得たＧ画素値をＲチャンネルに割り当てることにより、モニタに毛細血管が赤褐色に着色された強調画像を表示させる技術が開示されている。

【0006】

さらに、特許文献３には、特殊光画像内の画素の特徴量に基づいて、特殊光画像における注目領域を検出し、該注目領域の検出結果に基づいて経過時間の設定処理を行い、この経過時間に基づいて、通常光画像に基づき生成される表示画像の表示態様設定処理を行う技術が開示されている。この特許文献３においては、所定の周期で通常光画像と特殊光画像とを取得すると共に、通常光画像の取得比率を特殊光画像より高めることにより、基本となる通常光画像の時間的分解能の低下を抑制し、高品位な通常光画像を取得している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１０−１７２６７３号公報

【特許文献2】特開２０１２−１７０６４０号公報

【特許文献3】特開２０１１−１６０８４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記特許文献１、２においては、通常光と特殊光とを交互に切り替えているため、動画表示を行う場合、通常光画像のフレームレートが半分になってしまい、通常光画像を動画表示する際に画質の低下を招いてしまう。

【0009】

この点、上記特許文献３においては、通常光撮像と特殊光撮像とを必ずしも同じ比率で実行しているわけではなく、通常光撮像のフレームレートが特殊光撮像のフレームレートよりも大きくなるように設定することができる。

【0010】

しかしながら、特殊光撮像を実行する比率が大きすぎると、通常光画像を再生した際の画質が低下してしまう。反対に、特殊光撮像を実行する比率が小さすぎると、病変等の特徴領域が視界に入ったときなど、特殊光画像が必要なタイミングで特殊光撮像が実行されなくなるおそれがある。この場合、特殊光撮像により強調可能な病変領域等を見落としてしまう可能性がある。

【0011】

本発明は、上記に鑑みて為されたものであって、通常光画像を再生した際の画質を低下させることなく、且つ、必要なタイミングで特殊光画像を取得することができる画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体に光を照射し、前記被写体により反射された第１の分光特性を有する光に基づいて第１の画像を表す第１の画像データを生成すると共に、前記被写体により反射された前記第１の分光特性と異なる第２の分光特性を有する光に基づいて第２の画像を表す第２の画像データを生成する画像取得手段を備える撮像システムにおいて、前記第１及び第２の画像に画像処理を施す画像処理装置であって、前記第１の画像と前記第２の画像との相関の度合いを判定する演算部と、前記画像取得手段に対し、設定されたフレームレートで前記第１の画像データを生成させると共に、前記相関の度合いの判定結果に基づいて、前記第１の画像データの代わりに前記第２の画像データを生成させるタイミングを制御する制御部と、を備えることを特徴とする。

【0013】

上記画像処理装置において、前記第２の分光特性を有する光は、前記第１の分光特性を有する光に対して波長帯域が制限されている、ことを特徴とする。

【0014】

上記画像処理装置において、前記演算部は、前記第１の画像と前記第２の画像との間の前記相関の度合いを示すパラメータを算出する相関演算部と、前記パラメータを閾値と比較することにより、前記第１の画像と前記第２の画像との間に相関があるか否かを判定する相関判定部と、を備え、前記制御部は、前記第１の画像と前記第２の画像との間に相関がないと判定された場合に、前記画像取得手段に前記第２の画像データを生成させる、ことを特徴とする。

【0015】

上記画像処理装置において、前記演算部は、前記第２の画像から注目領域を抽出する領域抽出部と、前記第１の画像において前記第２の画像から抽出された前記注目領域を追従できるか否かを判定する追従判定部と、を備え、前記制御部は、さらに、前記第１の画像において前記注目領域を追従できない場合に、前記画像取得手段に前記第２の画像データを生成させる、ことを特徴とする。

【0016】

上記画像処理装置において、前記演算部は、前記注目領域を記憶する領域記憶部と、前記第１の画像において前記注目領域を追従できると判定された場合に、前記注目領域を前記第１の画像において対応する領域に合わせて変形する領域変形処理部と、をさらに備え、前記領域記憶部は、前記領域変形処理部により変形された前記注目領域を順次更新して記憶し、前記追従判定部は、前記第１の画像において前記領域記憶部に記憶された前記注目領域を追従できるか否かを判定する、ことを特徴とする。

【0017】

上記画像処理装置において、前記制御部は、さらに、前記第１の画像データが連続して所定回数以上生成された場合に、前記画像取得手段に前記第２の画像データを生成させる、ことを特徴とする。

【0018】

上記画像処理装置は、外部からの操作に応じた指示信号を前記制御部に入力する入力部をさらに備え、前記制御部はさらに、前記入力部から前記指示信号が入力された場合に、前記画像取得手段に前記第２の画像データを生成させる、ことを特徴とする。

【0019】

上記画像処理装置において、前記制御部は、前記画像取得手段に対し、前記第１の分光特性と異なり、且つ分光特性が互いに異なる複数種類の光にそれぞれ基づいて前記第２の画像データを複数回生成する動作を１つのセット動作として実行させる、ことを特徴とする。

【0020】

上記画像処理装置において、前記セット動作は、前記第２の画像データを複数回生成する合間に、前記第１の画像データを生成する動作を少なくとも１回挿入する、ことを特徴とする。

【0021】

上記画像処理装置は、前記第１の画像及び前記第２の画像を並べて表示する表示部をさらに備える、ことを特徴とする。

【0022】

上記画像処理装置は、画面内の第１の領域に前記第１の画像を表示すると共に、前記画面内の前記第１の領域以外の領域に、少なくとも１つの前記第２の画像をそれぞれ縮小した少なくとも１つの縮小画像を表示する表示部をさらに備える、ことを特徴とする。

【0023】

上記画像処理装置は、前記第１の画像を表示すると共に、前記領域記憶部に記憶された前記注目領域に対応する前記第１の画像内の領域を強調して表示する表示部をさらに備える、ことを特徴とする。

【0024】

上記画像処理装置は、前記第１の画像を表示すると共に、前記領域記憶部に記憶された前記注目領域の画像を前記第１の画像に重畳して表示する表示部をさらに備える、ことを特徴とする。

【0025】

本発明に係る内視鏡システムは、前記画像処理装置と、前記画像取得手段と、を備えることを特徴とする。

【0026】

上記内視鏡システムにおいて、前記画像取得手段は、白色光を発生する光源と、前記被写体により反射された光を受光して撮像信号を生成する撮像素子と、前記光源と前記被写体との間に配置される波長選択手段と、を備えることを特徴とする。

【0027】

上記内視鏡システムにおいて、前記画像取得手段は、前記第１の分光特性を有する光を発生する第１の光源と、前記第２の分光特性を有する光を発生する第２の光源と、前記被写体により反射された光を受光して撮像信号を生成する撮像素子と、を備えることを特徴とする。

【0028】

上記内視鏡システムにおいて、前記画像取得手段は、白色光を発生する光源と、前記被写体により反射された光を受光して撮像信号を生成する撮像素子と、前記被写体と前記撮像素子との間に配置される波長選択手段と、を備えることを特徴とする。

【0029】

本発明に係る画像処理方法は、被写体に光を照射し、前記被写体により反射された第１の分光特性を有する光に基づいて、第１の画像を表す画像データを生成する第１画像データ生成ステップと、前記被写体に光を照射し、前記被写体により反射された前記第１の分光特性と異なる第２の分光特性を有する光に基づいて、第２の画像を表す画像データを生成する第２画像データ生成ステップと、前記第１の画像と前記第２の画像との相関の度合いを判定する演算ステップと、設定されたフレームレートで前記第１の画像データ生成ステップを実行させると共に、前記相関の度合いの判定結果に基づいて、前記第１の画像データ生成ステップの代わりに前記第２の画像データ生成ステップを実行させるタイミングを制御する制御ステップと、を含むことを特徴とする。

【0030】

本発明に係る画像処理プログラムは、被写体に光を照射し、前記被写体により反射された第１の分光特性を有する光に基づいて、第１の画像を表す画像データを生成する第１画像データ生成ステップと、前記被写体に光を照射し、前記被写体により反射された前記第１の分光特性と異なる第２の分光特性を有する光に基づいて、第２の画像を表す画像データを生成する第２画像データ生成ステップと、前記第１の画像と前記第２の画像との相関の度合いを判定する演算ステップと、設定されたフレームレートで前記第１の画像データ生成ステップを実行させると共に、前記相関の度合いの判定結果に基づいて、前記第１の画像データ生成ステップの代わりに前記第２の画像データ生成ステップを実行させるタイミングを制御する制御ステップと、をコンピュータに実行させることを特徴とする。

【発明の効果】

【0031】

本発明によれば、第１の分光特性を有する光（通常光）に基づいて第１の画像を表す第１の画像データを設定されたフレームレートで生成すると共に、第２の分光特性を有する光（特殊光）に基づく第２の画像を表す第２の画像データを第１の画像データの代わりに生成するタイミングを、第１の画像と第２の画像との相関の度合いの判定結果に基づいて制御するので、第１の画像の撮像フレームレートを大幅に低下させることなく、第２の画像を適宜生成することができる。従って、第１の画像を再生した際の画質を低下させることなく、必要なタイミングで第２の画像を漏れなく取得することが可能となる。

【図面の簡単な説明】

【0032】

【図1】図１は、本発明の実施の形態１に係る画像処理装置を備える撮像システムを示すブロック図である。

【図2】図２は、図１に示す撮像システムの動作を示すフローチャートである。

【図3】図３は、図１に示す撮像システムにより順次生成される画像列を示す模式図である。

【図4】図４は、病変領域抽出モードにおける通常光画像及び特殊光画像の表示例を示す模式図である。

【図5】図５は、病変領域抽出モードにおける通常光画像及び特殊光画像の別の表示例を示す模式図である。

【図6】図６は、本発明の実施の形態１の変形例１−３において順次生成される画像列を示す模式図である。

【図7】図７は、本発明の実施の形態１の変形例１−４に係る画像処理装置を備える撮像システムの構成を示すブロック図である。

【図8】図８は、本発明の実施の形態２に係る画像処理装置を備える撮像システムの構成を示すブロック図である。

【図9】図９は、図８に示す撮像システムの動作を示すフローチャートである。

【図10】図１０は、図８に示す撮像システムにより順次生成される画像列を示す模式図である。

【図11】図１１は、病変領域抽出モードにおける通常光画像及び特殊光画像から抽出された注目領域の表示例を示す模式図である。

【図12】図１２は、病変領域抽出モードにおける通常光画像及び特殊光画像から抽出された注目領域の別の表示例を示す模式図である。

【図13】図１３は、本発明の実施の形態３において順次生成される画像列を示す模式図である。

【図14】図１４は、本発明の実施の形態４において順次生成される画像列を示す模式図である。

【図15】図１５は、本発明の実施の形態４において用いられる光の分光特性の例を示すグラフである。

【図16】図１６は、本発明の実施の形態４において順次生成される画像列の別の例を示す模式図である。

【図17】図１７は、本発明の実施の形態４において順次生成される画像列の別の例を示す模式図である。

【図18】図１８は、本発明の実施の形態５に係る内視鏡システムの概略構成を示す模式図である。

【発明を実施するための形態】

【0033】

以下、本発明の実施の形態に係る画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

【0034】

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置を備える撮像システムを示すブロック図である。図１に示す撮像システム１は、通常光を被写体に照射し、被写体により反射された通常光（第１の分光特性を有する光）に基づいて通常光画像（第１の画像）を表す画像データを生成する通常光撮像と、通常光に対して帯域が制限された特殊光（第２の分光特性を有する光）に基づいて特殊光画像（第２の画像）を表す画像データを生成する特殊光撮像とを実行し、それぞれの撮像により生成された画像データに基づいて画像を表示するシステムである。このような撮像システム１は、例えば、生体の管腔内を撮像して管腔内画像を表示する内視鏡システムに適用される。

【0035】

撮像システム１は、画像処理装置１０と、該画像処理装置１０の制御の下で被写体を撮像して画像データを生成する撮像部１１と、画像処理装置１０の制御の下で被写体に照射する光を発生する光源部１２と、画像処理装置１０により画像処理が施された画像を表示する表示部１３とを備える。このうち、撮像部１１及び光源部１２は、通常光撮像及び特殊光撮像を行う画像取得手段を構成する。

【0036】

撮像部１１は、受光した光を光電変換することにより撮像信号を生成して出力するＣＣＤ等の撮像素子と、被写体により反射された光（被写体像）を撮像素子の受光面に結像する光学系とを備える。撮像部１１は、後述する制御部１４０の制御の下、設定されたフレームレートで動作する。

【0037】

光源部１２は、例えば、白色ＬＥＤやキセノンランプ等の同時式の白色光源と、該白色光源から出射する白色光の光路に挿脱可能に配設され、白色光のうち特定の分光特性を有する成分（特殊光）を通過させる波長選択手段としてのフィルタと、制御部１４０の制御の下で白色光の光路における該フィルタの挿脱を切り替える切替部とを備える。

【0038】

フィルタが白色光の光路上に挿入されている間、被写体に特殊光が照射され、この間に撮像を行うことにより生成された画像は特殊光画像となる。一方、フィルタが白色光の光路から抜去されている間、被写体に通常光が照射され、この間に撮像を行うことにより生成された画像は通常光画像となる。

【0039】

なお、白色光の光路にフィルタを挿脱する代わりに、液晶チューナブルフィルタや音響光学チューナブルフィルタ等を該光路に配置し、電気的な制御により、白色光（通常光）と特殊光とを切り替えることとしても良い。

【0040】

表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって構成され、制御部１４０の制御の下で、被写体の画像を所定の形式で表示する。

【0041】

画像処理装置１０は、画像データや各種プログラム等を記憶する記憶部１１０と、記憶部１１０に記憶された画像データに基づいて所定の演算処理を行う演算部１２０と、記憶部１１０に記憶された画像データに基づいて画像を生成する画像生成部１３０と、撮像システム１全体の動作を制御する制御部１４０と、外部からの操作に応じた信号を制御部１４０に入力する入力部１５０とを備える。

【0042】

記憶部１１０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって構成される。記憶部１１０は、撮像部１１が生成した画像データを取り込んで記憶する画像データ記憶部１１１と、種々のプログラムを記憶するプログラム記憶部１１２とを備える。プログラム記憶部１１２は、具体的には、設定されたフレームレートで通常光撮像を行うと共に、所定の条件を満たす場合に、通常光撮像の代わりに特殊光撮像を行うという一連の撮像を撮像システム１に実行させるプログラムを格納する。

【0043】

演算部１２０は、通常光撮像が連続して所定回数以上実行されたか否かを判定する撮像回数判定部１２１と、通常光画像と特殊光画像との相関の度合いを表すパラメータである相関値を算出する相関演算部１２２と、該相関値に基づいて通常光画像と特殊光画像との間に相関があるか否かを判定する相関判定部１２３とを備える。

【0044】

画像生成部１３０は、画像データ記憶部１１１に記憶された画像データに基づいて、通常光画像及び特殊光画像を生成する。詳細には、画像生成部１３０は、画像データ記憶部１１１に記憶された画像データに対して例えばホワイトバランス（ＷＢ）調整処理、ゲイン調整処理、γ補正処理、Ｄ／Ａ変換処理、フォーマット変更処理等を行うことにより表示用の画像を生成する。

【0045】

制御部１４０は、ＣＰＵ等のハードウェアによって実現され、プログラム記憶部１１２に記録された各種プログラムを読み込むことにより、撮像部１１から入力される画像データや入力部１５０から入力される各種信号等に従って、撮像システム１を構成する各部への指示やデータの転送等を行い、撮像システム１全体の動作を統括的に制御する。

【0046】

詳細には、制御部１４０は、撮像制御部１４１、光源制御部１４２、及び表示制御部１４３を備える。撮像制御部１４１は、設定されたフレームレートで撮像部１１に撮像を実行させる。光源制御部１４２は、光源部１２に対し、被写体を照射する通常光を連続的、又は上記フレームレートと同期して間欠的に発生させると共に、特定のタイミングで通常光の代わりに特殊光を発生させる。表示制御部１４３は、通常光画像及び特殊光画像を所定の形式で表示部１３に表示させる。

【0047】

入力部１５０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１４０に出力する。

【0048】

次に、撮像システム１の動作を説明する。図２は、撮像システム１の動作を示すフローチャートである。また、図３は、撮像システム１により順次生成される画像列を示す模式図である。なお、図３においては、特殊光画像（特殊光（１）、（２）、（３））に網掛けを附している。

【0049】

まず、ステップＳ１００において、制御部１４０は、病変領域抽出モードが選択されたか否かを判定する。ここで、病変領域抽出モードとは、通常光撮像の合間に特殊光撮像を行うことにより、血管や特定の構造物（腫瘍等）が強調された特殊光画像を取得するモードのことである。病変領域抽出モードは、入力部１５０に対する所定の入力操作に応じて選択される。

【0050】

病変領域抽出モードが選択されない場合（ステップＳ１００：Ｎｏ）、光源制御部１４２は、光源部１２に通常光を発生するよう設定を行う（ステップＳ１０１）。

【0051】

続くステップＳ１０２において、撮像制御部１４１は、撮像部１１に撮像（通常光撮像）を実行させる。これにより生成された画像データが、撮像部１１から画像処理装置１０に入力され、画像データ記憶部１１１に記憶される。これに応じて、画像生成部１３０は、画像データを読み出して通常光画像を生成し、表示部１３に出力する。表示部１３は、表示制御部１４３の制御の下で、通常光画像を表示する。

【0052】

ステップＳ１０３において、制御部１４０は、入力部１５０から終了を指示する信号が入力されたか否かを判定する。終了を指示する信号が入力された場合（ステップＳ１０３：Ｙｅｓ）、撮像システム１は動作を終了する。

【0053】

一方、終了を指示する信号が入力されない場合（ステップＳ１０３：Ｎｏ）、制御部１４０は、入力部１５０からモード変更を指示する信号が入力されたか否かを判定する（ステップＳ１０４）。モードを変更する信号が入力された場合（ステップＳ１０４：Ｙｅｓ）、撮像システム１の動作はステップＳ１００に戻る。一方、モードを変更する信号が入力されない場合（ステップＳ１０４：Ｎｏ）、撮像システム１の動作はステップＳ１０１に戻る。

【0054】

制御部１４０は、撮像システム１の各部に対し、このような一連のステップＳ１０１〜Ｓ１０４を設定されたフレームレートで実行させる。それにより、表示部１３に、通常光画像が動画形式で順次表示される。なお、このフレームレートは、当該撮像システム１に予め設定されている固定値であっても良いし、入力部１５０を用いた操作によりユーザが所望の値を設定できることとしても良い。

【0055】

ステップＳ１００において、病変領域抽出モードが選択された場合（ステップＳ１００：Ｙｅｓ）、光源制御部１４２は、まず、光源部１２に通常光を発生するよう設定を行う（ステップＳ１１１）。

【0056】

続くステップＳ１１２において、撮像制御部１４１は、撮像部１１に撮像（通常光撮像）を実行させる。これにより生成された画像データが、撮像部１１から画像処理装置１０に入力され、画像データ記憶部１１１に記憶される。これに応じて、演算部１２０は、通常光撮像が連続して実行された回数をカウントする。また、画像生成部１３０は、画像データを読み出して通常光画像を生成し、表示部１３に出力する。表示部１３は、表示制御部１４３の制御の下で、通常光画像を表示する。

【0057】

ステップＳ１１３において、撮像回数判定部１２１は、通常光撮像の連続実行回数が一定値以上であるか否かを判定する。連続実行回数が一定値以上である場合（ステップＳ１１３：Ｙｅｓ）、光源制御部１４２は、光源部１２に特殊光を発生するよう設定を行う（ステップＳ１１４）。

【0058】

続くステップＳ１１５において、撮像制御部１４１は、撮像部１１に撮像（特殊光撮像）を実行させる。これにより生成された画像データが、撮像部１１から画像処理装置１０に入力され、画像データ記憶部１１１に記憶される。これに応じて、画像生成部１３０は、画像データを読み出して特殊光画像を生成する。図３は、第１フレームで通常光画像が生成された後、次の第２フレームで特殊光画像（特殊光（１））が生成されたことを示している。また、表示部１３は、表示制御部１４３の制御の下で、生成された特殊光画像を表示する。特殊光画像の表示態様については後述する。

【0059】

続くステップＳ１１８において、制御部１４０は、入力部１５０から終了を指示する信号が入力されたか否かを判定する（ステップＳ１１８）。終了を指示する信号が入力された場合（ステップＳ１１８：Ｙｅｓ）、撮像システム１は動作を終了する。

【0060】

一方、終了を指示する信号が入力されない場合（ステップＳ１１８：Ｎｏ）、制御部１４０は、入力部１５０からモード変更を指示する信号が入力されたか否かを判定する（ステップＳ１１９）。モードを変更する信号が入力された場合（ステップＳ１１９：Ｙｅｓ）、撮像システム１の動作はステップＳ１００に戻る。一方、モードを変更する信号が入力されない場合（ステップＳ１１９：Ｎｏ）、撮像システム１の動作はステップＳ１１１に戻る。

【0061】

また、通常光撮像の連続実行回数が一定値未満である場合（ステップＳ１１３：Ｎｏ）、相関演算部１２２は、ステップＳ１１２における通常光撮像により生成された最新の通常光画像と、この段階で最後に生成された特殊光画像との相関演算を行い、両画像間の相関値を算出する（ステップＳ１１６）。例えば、第３フレームで通常光画像が生成されたときには、第２フレームで生成された特殊光画像（特殊光（１））との相関演算が実行される。

【0062】

ステップＳ１１６における相関演算の手法は特に限定されず、相関の度合いを表すパラメータを算出することができれば、公知の種々の演算方法を適用することができる。本実施の形態１においては、相関が強いほど相関値が高くなる演算を行う。具体的には、テンプレートマッチングによる正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）を相関値として算出する。ＮＣＣは、画像間の相関が強いほど値が大きくなる。

【0063】

ステップＳ１１７において、相関判定部１２３は、判定対象の画像間に相関があるか否を判定する。本実施の形態１においては、ステップＳ１１６において算出された相関値が閾値以上である場合、判定対象の画像間に相関があると判定する。

【0064】

判定対象の画像間に相関があると判定された場合（ステップＳ１１７：Ｙｅｓ）、先に特殊光撮像を行ったフレームからの撮像部１１の視野の変化は小さいと考えられる。この場合、撮像システム１の動作はステップＳ１１８に移行し、撮像の終了指示やモード変更の指示が入力されないときには（ステップＳ１１８、Ｓ１１９参照）、通常光撮像を繰り返す（ステップＳ１１１参照）。例えば第３フレームで通常光画像が生成された場合、第２フレームで生成された特殊光画像（特殊光（１））との相関があると判定されると、次の第４フレームでは通常光撮像が実行される。

【0065】

一方、判定対象の画像間に相関がないと判定された場合（ステップＳ１１７：Ｎｏ）、先に特殊光撮像を行ったフレームからの撮像部１１の視野の変化が大きいと考えられる。この場合、撮像システム１の動作はステップＳ１１４に移行し、特殊光撮像を実行する。例えば第６フレームで通常光画像が生成された場合、第２フレームで生成された特殊光画像（特殊光（１））との相関がないと判定されると、次の第７フレームでは特殊光撮像が実行される。

【0066】

このように、病変領域抽出モードにおいては、ステップＳ１１３及びＳ１１７における判定結果に従い、通常光撮像の合間に特殊光撮像が行われる。その結果、図３に示すように、通常光画像又は特殊光画像が、設定されたフレームレートで取得される。

【0067】

図４は、病変領域抽出モードにおける通常光画像及び特殊光画像の表示例を示す模式図である。図４に示すように、表示部１３の画面１３１には、通常光画像表示領域１３２及び特殊光画像表示領域１３３が設けられている。通常光画像表示領域１３２には、ステップＳ１１２において生成された通常光画像が動画形式で表示される。一方、特殊光画像表示領域１３３には、ステップＳ１１５において生成された特殊光画像が、順次切り替えて表示される。

【0068】

図５は、病変領域抽出モードにおける通常光画像及び特殊光画像の別の表示例を示す模式図である。図５に示すように、表示部１３の画面１３１には、通常光画像表示領域１３４及びサムネイル領域１３５が設けられている。通常光画像表示領域１３４には、ステップＳ１１２において生成された通常光画像が動画形式で表示される。一方、サムネイル領域１３５には、ステップＳ１１５において生成された特殊光画像が縮小され、静止画として一覧表示される。なお、図５においては、特殊光画像の縮小画像を通常光画像表示領域１３４の下方に一列に並べる例を示しているが、縮小画像の配置はこれに限定されず、例えば、通常光画像表示領域１３４の周囲を囲むように縮小画像を配置しても良い。

【0069】

以上説明したように、本発明の実施の形態１によれば、設定されたフレームレートで通常光撮像を行い、通常光撮像が一定回数以上連続して実行されたときや、通常光画像と特殊光画像との相関がなくなったときに、通常光撮像の代わりに特殊光撮像を実行するので、通常光撮像のフレームレートの低下を抑制し、画質の良い動画再生を行うことができると共に、視野の変化が大きいときなど必要なタイミングで特殊光画像を漏れなく生成することができる。また、実施の形態１によれば、通常光画像と共に特殊光画像も画面に表示するので、ユーザは、通常光画像を参照しながら、特殊光画像において強調される特徴的な領域を観察することが可能となる。

【0070】

（変形例１−１）
次に、本発明の実施の形態１の変形例１−１について説明する。
上記実施の形態１においては、相関演算部１２２が、通常光画像と特殊光画像との相関値としてＮＣＣを算出することとしたが、これ以外にも公知のパラメータを相関値として算出することができる。具体的には、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）が挙げられる。ＳＳＤ及びＳＡＤは、画像間の相関が強いほど値が小さくなる。従ってこの場合、ステップＳ１１７において、ＳＳＤ又はＳＡＤが閾値より大きいときには相関がないと判定され、次のフレームで特殊光撮像が行われる（ステップＳ１１４、Ｓ１１５参照）。反対に、ＳＳＤ又はＳＡＤが閾値以下であるときには相関があると判定され、次のフレームで通常光撮像が行われる（ステップＳ１１１、Ｓ１１２参照）。

【0071】

或いは、通常光画像と特殊光画像との相関を表すパラメータとして、両画像間における対応点を抽出し、これらの対応点の移動量を算出しても良い。この場合、移動量が閾値よりも大きいときには相関がないと判定され、次のフレームで特殊光撮像が行われる。反対に、移動量が閾値以下のときには相関があると判定され、次のフレームで通常光撮像が行われる。

【0072】

また、通常光画像と特殊光画像との相関を表すパラメータとして、両画像間における対応点を抽出し、この対応点における明るさや色の変動量を算出しても良い。この場合、変動量が閾値よりも大きいときには相関がないと判定され、次のフレームで特殊光撮像が行われる。反対に、変動量が閾値以下のときには相関があると判定され、次のフレームで通常光撮像が行われる。

【0073】

（変形例１−２）
次に、本発明の実施の形態１の変形例１−２について説明する。
上記実施の形態１においては、光源部１２の構成として、光源から出射する白色光の光路にフィルタを挿脱することにより、通常光と特殊光とを切り替えることとしたが、光源部１２の構成はこれに限定されない。例えば、白色光を発生する白色光源と、特殊光を発生するＬＥＤ等の特殊光源とを設け、被写体に照射する光の出射口までの光路を白色光源と特殊光源とのいずれかに接続することにより、通常光と特殊光とを切り替えても良い。

【0074】

（変形例１−３）
次に、本発明の実施の形態１の変形例１−３について説明する。
上記実施の形態１においては、通常光撮像を連続して実行した回数、及び最新の通常光画像と最後に生成された特殊光画像との相関に基づき、通常光撮像の代わりに特殊光撮像を実行するタイミングを制御したが、これに加えて、ユーザ所望のタイミングで特殊光撮像を実行する構成としても良い。

【0075】

図６は、本変形例１−３において順次生成される画像列を示す模式図である。なお、図６においては、特殊光画像（特殊光（１）、（２）、（３）、（４））に網掛けを附している。

【0076】

本変形例１−３においても、基本的には実施の形態１と同様に、通常光撮像が連続して所定回数以上実行されたとき、及び、最新の通常光画像と最後に生成された特殊光画像との相関がなくなったときに、特殊光撮像が実行される。例えば図６に示すように、第３フレームで通常光画像が生成された場合、この通常光画像と第２フレームで生成された特殊光画像（特殊光（１））との相関が判定される。そして、相関があると判定されると、次の第４フレームで通常光撮像が実行される。

【0077】

通常光撮像の実行中に、入力部１５０から特殊光撮像を実行するリクエスト信号が入力された場合、次のフレームでは特殊光撮像が実行される。例えば、第４フレームにおける通常光撮像の実行中にリクエスト信号が入力されると、次の第５フレームで特殊光撮像が実行される。この場合、さらに次の第６フレームでは通常光撮像が実行され、それによって生成された通常光画像は、この段階で最後に生成されたリクエストによる特殊光画像（特殊光（２））との相関が判定される。

【0078】

（変形例１−４）
次に、本発明の実施の形態１の変形例１−４について説明する。
上記実施の形態１においては、被写体に照射する光の分光特性を制御することにより通常光撮像と特殊光撮像とを切り替えたが、被写体により反射され、撮像素子に入射する光の分光特性を制御することとしても良い。

【0079】

図７は、本変形例１−４に係る撮像システムの構成を示すブロック図である。図７に示すように、本変形例１−４に係る撮像システム２は、画像処理装置２０と、撮像部２１と、光源部２２と、表示部１３と、画像処理装置２０とを備える。このうち、撮像部２１及び光源部２２が画像取得手段を構成する。また、表示部１３の構成及び動作は、実施の形態１と同様である。

【0080】

撮像部２１は、受光した光を光電変換することにより撮像信号を生成して出力するＣＣＤやＣＭＯＳ等の撮像素子と、該撮像素子に入射する光の光路に挿脱可能に配設され、特定の分光特性を有する成分（特殊光）を通過させる波長選択手段としてのフィルタと、制御部２１０の制御の下で撮像素子への入射光の光路における該フィルタの挿脱を切り替える切替部とを備える。

【0081】

光源部２２は、白色光（通常光）を発生する光源であり、制御部２１０の制御の下で動作し、被写体に通常光を照射する。

【0082】

フィルタが入射光の光路上に挿入されている間、被写体により反射された通常光に含まれる特殊光成分が撮像素子に入射し、この間に撮像を行うことにより生成された画像は特殊光画像となる。一方、フィルタが入射光の光路から抜去されている間、被写体により反射された通常光が撮像素子に入射し、この間に撮像を行うことにより生成された画像は通常光画像となる。

【0083】

画像処理装置２０は、図１に示す制御部１４０の代わりに、撮像制御部２１１、光源制御部２１２、及び表示制御部１４３を有する制御部２１０を備える。撮像制御部２１１は、設定されたフレームレートで撮像部１１に撮像を実行させると共に、撮像部１１が備える切替部に対する制御により、通常光を受光して通常光画像を表す画像データを生成する通常光撮像と、特殊光を受光して特殊光画像を表す画像データを生成する特殊光撮像とを切り替える。光源制御部２１２は、光源部２２による通常光の発生動作を制御する。表示制御部１４３の動作は、実施の形態１と同様である。

【0084】

（変形例１−５）
次に、本発明の実施の形態１の変形例１−５について説明する。
上記変形例１−４において、撮像素子に入射する光（通常光又は特殊光）を切り替える手段としては、フィルタ及び切替部の他にも種々の構成を適用することができる。例えば、撮像素子に入射する光の光路に液晶チューナブルフィルタや音響光学チューナブルフィルタ（ＡＯＴＦ）等の波長選択手段を設置し、電気的な制御により、撮像素子に入射する光の光学特性を制御することとしても良い。

【0085】

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図８は、本発明の実施の形態２に係る画像処理装置を備える撮像システムの構成を示すブロック図である。図８に示すように、本実施の形態２に係る撮像システム３は、図１に示す画像処理装置１０の代わりに、画像処理装置３０を備える。なお、撮像部１１、光源部１２、及び表示部１３の構成は、実施の形態１と同様である（図１参照）。或いは、変形例１−４と同様に、撮像部２１、光源部２２、及び表示部１３を設けることとしても良い（図７参照）。

【0086】

画像処理装置３０は、図１に示す演算部１２０の代わりに、演算部３１０を備える。演算部３１０は、撮像回数判定部１２１〜相関判定部１２３に加え、特殊光画像から病変等の特徴的な領域を注目領域として抽出する領域抽出部３１１と、最新の通常光画像において注目領域を追従できるか否かを判定する追従判定部３１２と、追従判定部３１２の判定結果に応じて注目領域の形状を変形する領域変形処理部３１３と、変形された注目領域を最新の注目領域として設定する領域設定部３１４と、該最新の注目領域を通常光画像に重畳して表示する領域を算出する重畳領域算出部３１５と、最新の注目領域を記憶する領域記憶部３１６とを備える。なお、撮像回数判定部１２１〜相関判定部１２３の動作は実施の形態１と同様である。また、演算部３１０以外の画像処理装置３０の構成及び動作は、実施の形態１と同様である。

【0087】

次に、撮像システム３の動作について説明する。図９は、撮像システム３の動作を示すフローチャートである。また、図１０は、撮像システム３により順次生成される画像列を示す模式図である。図１０においては、特殊光画像（特殊光（１）、（２）、（３））に網掛けを附している。

【0088】

図９に示すステップＳ１００〜Ｓ１０４、Ｓ１１１〜Ｓ１１５、及びＳ１１６、Ｓ１１７の動作は、実施の形態１と同様である。
ステップＳ１１５に続くステップＳ１２０において、領域抽出部３１１は、画像データ記憶部１１１に記憶された特殊光画像の画像データに基づき、画素値を閾値処理するなどの公知の手法により、特殊光画像から病変等の特徴的な領域を注目領域として抽出し、抽出した注目領域を最新の注目領域として領域記憶部３１６に更新記憶させる。その後、撮像システム３の動作は、ステップＳ１１８に移行する。ステップＳ１１８、Ｓ１１９の動作は、実施の形態１と同様である。

【0089】

また、ステップＳ１１７において、通常光画像と特殊光画像との間に相関があると判定された場合（ステップＳ１１７：Ｙｅｓ）、追従判定部３１２は、領域記憶部３１６に記憶されている注目領域に対し、ステップＳ１１２において生成された通常光画像の追従演算を実行する（ステップＳ１２１）。追従演算としては、例えばテンプレートマッチング等の手法を適用することができる。

【0090】

続くステップＳ１２２において、追従判定部３１２は、ステップＳ１２１における追従演算の結果に基づき、通常光画像において注目領域を追従できるか否かを判定する。注目領域を追従できると判定された場合（ステップＳ１２２：Ｙｅｓ）、領域変形処理部３１３は、当該注目領域を、通常光画像内の対応する領域の形状に合わせて変形する（ステップＳ１２３）。

【0091】

ステップＳ１２４において、領域設定部３１４は、ステップＳ１２３において変形された注目領域を最新の注目領域として設定し、領域記憶部３１６に更新して記憶させる。

【0092】

ステップＳ１２５において、重畳領域算出部３１５は、領域記憶部３１６に記憶された注目領域に対応する最新の通常光画像内の領域を算出し、該領域の位置に合わせて、注目領域を通常光画像に重畳して表示する。通常光画像への注目領域の重畳表示については、後述する。続くステップＳ１１８、Ｓ１１９の動作は、実施の形態１と同様である。

【0093】

例えば、第３フレームで通常光画像ｍ２２が生成された場合（ステップＳ１１２参照）、通常光画像ｍ２２とこの段階で最後に生成された特殊光画像（特殊光（１））ｍ２１との相関があり、且つ、通常光画像ｍ２２において特殊光画像ｍ２１から抽出された注目領域を追従できるとき、特殊光画像ｍ２１から抽出された注目領域は、通常光画像ｍ２２内の対応する領域の形状に合わせて変形され、変形後の注目領域が領域記憶部３１６に記憶される。そして、この通常光画像ｍ２２に対し、変形された注目領域が重畳表示される。

【0094】

また、次の第４フレームで通常光画像ｍ２３が生成された場合（ステップＳ１１２参照）、通常光画像ｍ２３とこの段階で最後に生成された特殊光画像（特殊光（１））ｍ２１との相関があり、且つ、通常光画像ｍ２３において領域記憶部３１６に記憶された注目領域を追従できるとき、該注目領域はさらに、通常光画像ｍ２３内の対応する領域の形状に合わせて変形され、変形後の注目領域が領域記憶部３１６に記憶される。そして、この通常光画像ｍ２３に対し、変形された注目領域が重畳表示される。

【0095】

一方、ステップＳ１２２において、通常光画像において注目領域を追従できないと判定された場合（ステップＳ１２２：Ｎｏ）、新たに注目領域を設定する必要がある。そこで、撮像システム３の動作はステップＳ１１４に移行し、特殊光撮像を実行する。

【0096】

例えば、第６フレームで通常光画像ｍ２４が生成された場合（ステップＳ１１２参照）、通常光画像ｍ２４とこの段階で最後に生成された特殊光画像ｍ２１（特殊光（１））との相関はあるが、通常光画像ｍ２４において領域記憶部３１６に記憶された注目領域を追従できないとき、次の第７フレームでは特殊光撮像が実行される。この場合、領域記憶部３１６には、特殊光画像ｍ２５から抽出された注目領域が更新記憶される。

【0097】

図１１は、病変領域抽出モードにおける通常光画像及び特殊光画像の表示例を示す模式図である。図１１に示すように、表示部１３の画面１３１には、画像表示領域１３６が設けられている。画像表示領域１３６には、ステップＳ１１２において生成された通常光画像が動画形式で表示されると共に、領域記憶部３１６に記憶されている注目領域に対応する領域を囲む枠１３７が重畳して表示される。または、枠１３７の代わりに、注目領域に対応する通常光画像内の領域の輝度を高くする、該領域を特定の色で塗りつぶす、或いは、該領域の輪郭を囲む、といった強調表示を行っても良い。さらには、通常光画像に対し、領域記憶部３１５に記憶されている注目領域の画像を重畳して表示しても良い。このように、通常光画像と注目領域とを関連付けて表示することで、ユーザは、重点的に観察すべき領域を瞬時に把握することが可能となる。

【0098】

なお、このような画像表示領域１３６に対し、実施の形態１と同様に、特殊光画像を並べて表示する（図４参照）、或いは、特殊光画像の縮小画像をサムネイルとして並べて表示する（図５参照）などしても良い。また、ステップＳ１１７において判定対象の画像間に相関がないと判定された際には、枠１３７などの強調表示を消去しても良い。

【0099】

図１２は、病変領域抽出モードにおける通常光画像及び特殊光画像の別の表示例を示す模式図である。図１２に示すように、表示部１３の画面１３１には、通常光画像表示領域１３８及び注目領域表示領域１３９が設けられている。通常光画像表示領域１３８には、ステップＳ１１２において生成された通常光画像が動画形式で表示される。一方、注目領域表示領域１３９には、領域記憶部３１６に記憶されている注目領域が、順次更新表示される。または、注目領域表示領域１３９に、注目領域の輪郭のみを表示する、或いは、注目領域を特定の色で塗りつぶして強調表示するなどしても良い。

【0100】

以上説明したように、本発明の実施の形態２によれば、設定されたフレームレートで通常光撮像を行い、通常光撮像が一定回数以上連続して実行されたとき、最新の通常光画像と最後に生成された特殊光画像との相関がなくなったとき、或いは、最新の通常光画像において注目領域を追従できなくなったときに、通常光撮像の代わりに特殊光撮像を実行するので、通常光撮像におけるフレームレート低下を抑制し、画質の良い動画再生を行うことができると共に、視野の変化が大きいときや病変等の特徴的な領域が視界に入ったときなど必要なタイミングで特殊光画像を漏れなく生成することができる。また、実施の形態２によれば、特殊光画像から抽出された注目領域を、通常光画像内の対応する領域に合わせて変形するので、通常光画像に対して注目領域を良好に重畳することができ、ユーザは、通常光画像における注目領域の位置を正確に把握することが可能になる。

【0101】

（実施の形態３）
次に、本発明の実施の形態３について説明する。
特殊光撮像の実行タイミングの制御方法は、実施の形態１、２に限定されず、種々の方法により制御することができる。例えば、通常光撮像と特殊光撮像を実行する比率を固定すると共に、ユーザの指示に基づいて特殊光撮像を随時実行することとしても良い。なお、本実施の形態３に係る撮像システムの構成は、実施の形態２と同様である（図８参照）。

【0102】

図１３は、本発明の実施の形態３において順次生成される画像列を示す模式図である。図１３においては、特殊光画像に網掛けを附している。また、実施の形態３においては、通常光撮像を１０回実行するごとに特殊光撮像を１回実行する設定がなされているものとする。

【0103】

この場合、基本的には、第１フレームにおいて特殊光撮像により特殊光画像が生成された後、通常光撮像が連続して１０回実行され、その後の第１２フレームで再び特殊光撮像が実行されて特殊光画像が生成される。この間、入力部１５０から、特殊光撮像の実行を指示する指示信号が入力された場合、制御部１４０は撮像部１１及び光源部１２に対し、指示信号が入力されたタイミングの次のフレームで特殊光撮像を実行させる。例えば図１３の場合、第３フレームの間に指示信号が入力されているため、次の第４フレームで特殊光撮像が実行される。また、第８、第９フレームにおいても指示信号が入力され続けているため、第９、第１０フレームで特殊光撮像が実行される。第１２フレームにおいては、当初の予定通り、特殊光撮像が実行される。

【0104】

なお、本実施の形態３において特殊光撮像が実行されたときには、実施の形態２と同様に、演算部３１０が特殊光画像から注目領域を抽出し、該注目領域を最新の通常光画像内の対応する領域に合わせて変形して領域記憶部３１６に更新記憶させても良い。この場合、表示部１３は、通常光画像に注目領域或いは該注目領域を表す枠やマークを重畳して表示する。或いは、実施の形態１と同様に、注目領域の抽出を行うことなく、単に通常光画像と特殊光画像とを並べて表示しても良い。

【0105】

本発明の実施の形態３によれば、通常光撮像に対して特殊光撮像を実行する比率を低減することで、通常光撮像のフレームレートの低下を抑制することができ、画質の良い動画再生を行うことができる。また、ユーザの指示に応じて特殊光撮像を随時実行するので、必要に応じて更新された特殊光画像を通常光画像と並べて表示、或いはそのような特殊光画像から抽出された注目領域を通常光画像に重畳して表示することができる。従って、ユーザは、通常光画像を参照しながら、特殊光画像において強調される注目領域を観察することが可能となる。

【0106】

（実施の形態４）
次に、本発明の実施の形態４について説明する。
上記実施の形態１〜３においては、１種類の特殊光を用いて特殊光撮像を行うこととしたが、通常光と異なる分光特性を有し、且つ、分光特性が互いに異なる複数種類の特殊光をそれぞれ用いて特殊光撮像を行うこととしても良い。

【0107】

複数種類の特殊光を用いた特殊光撮像を行う場合、図１に示す光源部１２において、分光特性が互いに異なる複数種類のフィルタを光源から出射する光の光路に順次挿入し、撮像を行えば良い。または、互いに異なる分光特性を有する光を発生する複数種類のＬＥＤ光源を光源部１２に設け、これらの光源を順次動作させて撮像を行っても良い。或いは、図７に示す撮像部２１において、分光特性が互いに異なる複数種類のフィルタを、撮像素子に入射する光の光路に順次挿入して撮像を行っても良い。さらには、複数種類のフィルタの代わりに、電気的な制御により光学特性が変化する波長選択手段を該光路に挿入しても良い。

【0108】

図１４は、本発明の実施の形態４において順次生成される画像列を示す模式図である。図１４においては、特殊光画像に網掛けを附している。

【0109】

図１５は、本実施の形態４における撮像の際に用いられる光の分光特性の例を示すグラフである。このうち、図１５（ａ）は、通常光の分光特性（波長帯域）を示し、図１５（ｂ）は、特殊光（特殊光Ｒ１、Ｇ１、Ｂ１）の分光特性（波長帯域）を示している。

【0110】

このように、複数種類の特殊光を用いて特殊光撮像を実行する場合、各特殊光Ｒ１、Ｇ１、Ｂ１を用いた特殊光撮像の頻度を均等にすることが好ましい。そこで、本実施の形態４においては、特殊光Ｒ１、Ｇ１、Ｂ１をそれぞれ用いた特殊光撮像の合間に通常光撮像を所定回数（図１４においては２回ずつ）挿入する計８回の撮像を１つのセット動作（撮像セットＭ１）として、撮像を実行する。このような撮像セットＭ１を、実施の形態１〜３において説明した１回の特殊光撮像の代わりに実行する。より詳細には、撮像セットＭ１を実行した後、通常光撮像が所定回数だけ連続して実行された場合や、最新の通常光画像と特殊光画像との相関がなくなった場合、或いは、相関はあるものの、最新の通常光画像において領域記憶部３１６に記憶された注目領域を追従できなくなった場合に、再び撮像セットＭ１が実行される。

【0111】

ここで、特殊光画像との相関判定を行う場合、最新の通常光画像の生成段階で最後に実行された撮像セットＭ１により取得された特殊光Ｒ１の画像、特殊光Ｇ１の画像、特殊光Ｂ１の画像のそれぞれとの相関を判定する。そして、これらの３つの画像のいずれかとの相関がある場合、最新の通常光画像は撮像セットＭ１と相関があると判定する。

【0112】

また、注目領域の追従判定を行う場合、特殊光Ｒ１、Ｇ１、Ｂ１の各画像から抽出された注目領域を特殊光の分光特性ごとに領域記憶部３１６に記憶させる。そして、最新の通常光画像において領域記憶部３１６に記憶された注目領域のいずれかを追従できる場合、撮像セットＭ１から抽出された注目領域を追従できると判定する。

【0113】

本発明の実施の形態４によれば、分光特性が互いに異なる複数種類の特殊光を用いる場合であっても、通常光撮像に対して特殊光撮像を実行する比率を低減することができ、通常光撮像のフレームレートの低下を抑制することができ、画質の良い動画再生を行うことが可能となる。また、分光特性が互いに異なる複数種類の特殊光を用いることで、分光特性に応じた注目領域を抽出し、表示することが可能となる。

【0114】

なお、複数種類の特殊光Ｒ１、Ｇ１、Ｂ１を用いて撮像を行うセット動作としては、図１５に示す撮像セットＭ１に限定されない。例えば、図１６に示す撮像セットＭ２のように、特殊光Ｒ１、Ｇ１、Ｂ１をそれぞれ用いた撮像を連続して行っても良いし、図１７に示す撮像セットＭ３のように、特殊光Ｒ１、Ｇ１、Ｂ１の各々を用いた撮像と通常光を用いた撮像とを交互に行っても良い。また、１つのセット動作において用いられる特殊光の種類は３種類に限定されず、２種類であっても良いし、４種類以上であっても良い。

【0115】

（実施の形態５）
次に、本発明の実施の形態５について説明する。
図１８は、本発明の実施の形態５に係る内視鏡システムの概略構成を示す模式図である。図１８に示す内視鏡システム４は、図１に示す撮像システム１の一態様であり、画像処理装置１０と、被写体の管腔内に先端部を挿入することによって被写体の体内を撮像した画像を生成する内視鏡５と、内視鏡５の先端から出射する照明光を発生する光源部１２と、画像処理装置１０が画像処理を施した体内画像を表示する表示部１３とを備える。画像処理装置１０は、内視鏡５が生成した画像に所定の画像処理を施すとともに、内視鏡システム４全体の動作を統括的に制御する。なお、実施の形態１に係る画像処理装置１０の代わりに、変形例１−４に係る画像処理装置２０や、実施の形態２に係る画像処理装置３０を適用しても良い。

【0116】

内視鏡５は、可撓性を有する細長形状をなす挿入部５１と、挿入部５１の基端側に接続され、各種の操作信号の入力を受け付ける操作部５２と、操作部５２から挿入部５１が延びる方向と異なる方向に延び、画像処理装置１０及び光源部１２と接続する各種ケーブルを内蔵するユニバーサルコード５３とを備える。

【0117】

挿入部５１は、先端部５４と、複数の湾曲駒によって構成された湾曲自在な湾曲部５５と、湾曲部５５の基端側に接続され、可撓性を有する長尺状の可撓針管５６とを有する。この挿入部５１の先端部５４に、撮像部１１（図１参照）が設けられている。

【0118】

操作部５２と先端部５４との間には、画像処理装置１０との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルが接続されている。複数の信号線には、撮像素子が出力した映像信号を画像処理装置１０へ伝送する信号線及び画像処理装置１０が出力する制御信号を撮像素子へ伝送する信号線等が含まれる。

【0119】

操作部５２は、湾曲部５５を上下方向及び左右方向に湾曲させる湾曲ノブ５２１と、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部５２２と、画像処理装置１０、光源部１２に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ５２３と、を有する。

【0120】

ユニバーサルコード５３は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード５３の操作部５２に連なる側と異なる側の端部には、光源部１２に着脱自在なコネクタ部５７と、コイル状をなすコイルケーブル５７０を介してコネクタ部５７と電気的に接続され、画像処理装置１０と着脱自在な電気コネクタ部５８とが設けられている。

【0121】

画像処理装置１０は、先端部５４に設けられた撮像部１１から出力された画像データをもとに、表示部１３が表示する画像を生成する。光源部１２は、光源制御部１４２の制御の下、通常光又は特殊光を所定のタイミングで発生する。光源部１２が発生した光は、ライトガイドを経由して先端部５４の先端から照射される。

【0122】

上記実施の形態５においては、図１に示す撮像システムを生体用の内視鏡システムに適用する例を説明したが、工業用の内視鏡システム適用しても良い。或いは、上記撮像システムを、生体内に導入されて該生体内を移動しつつ撮像を行うカプセル型内視鏡に適用しても良い。

【0123】

また、上記実施の形態１〜５においては、同時式の白色光源により通常光を発生することしたが、面順次式の光源により通常光を発生することとしても良い。

【0124】

以上説明した本発明は、実施の形態１〜５並びに変形例に限定されるものではなく、各実施の形態１〜５や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

【符号の説明】

【0125】

１、２、３ 撮像システム
４ 内視鏡システム
５ 内視鏡
１０、２０、３０ 画像処理装置
１１、２１ 撮像部
１２、２２ 光源部
１３ 表示部
１１０ 記憶部
１１１ 画像データ記憶部
１１２ プログラム記憶部
１２０、３１０ 演算部
１２１ 撮像回数判定部
１２２ 相関演算部
１２３ 相関判定部
１３０ 画像生成部
１３１ 画面
１３２、１３４、１３８ 通常光画像表示領域
１３３ 特殊光画像表示領域
１３５ サムネイル領域
１３６ 画像表示領域
１３７ 枠
１３９ 注目領域表示領域
１４０、２１０ 制御部
１４１、２１１ 撮像制御部
１４２、２１２ 光源制御部
１４３ 表示制御部
１５０ 入力部
３１１ 領域抽出部
３１２ 追従判定部
３１３ 領域変形処理部
３１４ 領域設定部
３１５ 重畳領域算出部
３１６ 領域記憶部
５１ 挿入部
５２ 操作部
５３ ユニバーサルコード
５４ 先端部
５５ 湾曲部
５６ 可撓針管
５７ コネクタ部
５８ 電気コネクタ部
５２１ 湾曲ノブ
５２２ 処置具挿入部
５２３ スイッチ
５７０ コイルケーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】