特許 6242230 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6242230

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20171127BHJP

   A61B 1/00 20060101ALI20171127BHJP

   A61B 5/00 20060101ALI20171127BHJP

   A61B 6/00 20060101ALI20171127BHJP

【ＦＩ】

   A61B1/045 610

   A61B1/00 513

   A61B5/00 G

   A61B6/00 350P

【請求項の数】18

【全頁数】35

(21)【出願番号】特願2014-24049(P2014-24049)

(22)【出願日】2014年2月12日

(65)【公開番号】特開2015-150029(P2015-150029A)

(43)【公開日】2015年8月24日

【審査請求日】2016年10月27日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(72)【発明者】

【氏名】江▲崎▼ 日淑

【審査官】 森川 能匡

(56)【参考文献】

【文献】 特開２０１１−１３４１１８（ＪＰ，Ａ）

【文献】 特開昭６３−２７１６６８（ＪＰ，Ａ）

【文献】 特開２０１３−０７８４６０（ＪＰ，Ａ）

【文献】 特開平０６−０４７０３６（ＪＰ，Ａ）

【文献】 実開平０６−０１３２７１（ＪＰ，Ｕ）

【文献】 特開２０１３−１１５４４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ａ６１Ｂ ５／００

Ａ６１Ｂ ６／００−６／１４

Ｈ０４Ｎ ５／２２２

(57)【特許請求の範囲】

【請求項1】

撮像部による時系列の撮像画像を取得する画像取得部と、
前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１のノイズ低減処理部と、
前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２のノイズ低減処理部と、
前記撮像画像のフレーム間の類似度を検出する類似度検出部と、
前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像の合成処理を行う画像合成部と、
前記撮像画像の撮影条件を取得する撮影条件取得部と、
を含み、
前記撮影条件取得部は、
前記撮像部と被写体との間の相対的な動きにより変化する動き情報を前記撮影条件として取得し、
前記画像合成部は、
前記動き情報が表す前記相対的な動きが大きいほど前記第１画像の合成度合いを低くすると共に前記第２画像の合成度合いを高くすることを特徴とする画像処理装置。

【請求項2】

請求項１において、
前記類似度検出部は、
前記撮像画像の第１の領域において前記類似度を検出し、
前記撮影条件取得部は、
前記撮像画像の前記第１の領域よりも広い第２の領域において前記動き情報を取得することを特徴とする画像処理装置。

【請求項3】

請求項１において、
前記撮影条件取得部は、
前記撮像部と被写体との間の相対的な動き量を前記動き情報として取得し、
前記画像合成部は、
前記動き量が大きいほど前記第１画像の合成度合いを低くすると共に前記第２画像の合成度合いを高くすることを特徴とする画像処理装置。

【請求項4】

請求項３において、
前記撮影条件取得部は、
前記撮像画像上での前記被写体のフレーム間における動きベクトルの大きさを前記動き量として取得することを特徴とする画像処理装置。

【請求項5】

請求項４において、
前記撮影条件取得部は、
前記撮像画像の複数の領域について動きベクトルを検出し、前記複数の領域についての前記動きベクトルを前記動きベクトルの大きさの順に並べ、前記大きさが小さい方から所定割合の前記動きベクトルの平均値を前記動き量として取得することを特徴とする画像処理装置。

【請求項6】

請求項１において、
前記撮影条件取得部は、
前記撮像画像のフレーム間における明るさの変化量を前記動き情報として取得し、
前記画像合成部は、
前記明るさの変化量が大きいほど前記第１画像の合成度合いを低くすると共に前記第２画像の合成度合いを高くすることを特徴とする画像処理装置。

【請求項7】

請求項１において、
前記画像合成部は、
前記第１画像に対する第１ブレンド率（α）及び、前記第２画像に対する第２ブレンド率（１−α）を決定し、前記類似度が高いほど前記第１ブレンド率（α）を高くするブレンド率決定部と、
前記第１ブレンド率（α）と前記第２ブレンド率（１−α）で前記第１画像と前記第２画像をブレンドする処理を、前記合成処理として行うブレンド処理部と、
を有し、
前記ブレンド率決定部は、
前記動き情報が表す前記相対的な動きが大きいほど前記第１ブレンド率（α）を低くすることを特徴とする画像処理装置。

【請求項8】

請求項１において、
前記画像合成部は、
閾値を決定する閾値決定部と、
前記類似度が前記閾値よりも大きい場合には前記第１画像を選択し、前記類似度が前記閾値よりも小さい場合には前記第２画像を選択する選択部と、
を有し、
前記閾値決定部は、
前記動き情報が表す前記相対的な動きが大きいほど前記閾値を低く設定することを特徴とする画像処理装置。

【請求項9】

請求項１において、
前記撮影条件取得部は、
前記撮像画像の種類を前記撮影条件として取得し、
前記画像合成部は、
前記撮像画像の前記種類が第１の種類である場合と、前記撮像画像の前記種類が第２の種類である場合とで、前記合成度合いを変更することを特徴とする画像処理装置。

【請求項10】

請求項９において、
前記第１の種類は、白色の波長帯域における情報を有した白色光画像であり、
前記第２の種類は、特定の波長帯域における情報を有した特殊光画像であり、
前記画像合成部は、
前記撮像画像の前記種類が前記特殊光画像である場合には、前記撮像画像の前記種類が前記白色光画像である場合に比べて、前記第１画像の合成度合いを低くすると共に前記第２画像の合成度合いを高くすることを特徴とする画像処理装置。

【請求項11】

請求項１０において、
前記画像合成部は、
前記第１画像に対する第１ブレンド率（α）及び、前記第２画像に対する第２ブレンド率（１−α）を決定し、前記類似度が高いほど前記第１ブレンド率（α）を高くするブレンド率決定部と、
前記第１ブレンド率（α）と前記第２ブレンド率（１−α）で前記第１画像と前記第２画像をブレンドする処理を、前記合成処理として行うブレンド処理部と、
を有し、
前記ブレンド率決定部は、
前記撮像画像の前記種類が前記特殊光画像である場合には、前記撮像画像の前記種類が前記白色光画像である場合に比べて、前記第１ブレンド率を低くすることを特徴とする画像処理装置。

【請求項12】

請求項１０において、
前記画像合成部は、
閾値を決定する閾値決定部と、
前記類似度が前記閾値よりも大きい場合には前記第１画像を選択し、前記類似度が前記閾値よりも小さい場合には前記第２画像を選択する選択部と、
を有し、
前記閾値決定部は、
前記撮像画像の前記種類が前記特殊光画像である場合には、前記撮像画像の前記種類が前記白色光画像である場合に比べて、前記閾値を低く設定することを特徴とする画像処理装置。

【請求項13】

請求項１０において、
前記特定の波長帯域は、
前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。

【請求項14】

請求項１において、
前記類似度は、前記撮像画像の現在フレームの画素値と前記現在フレームよりも前のフレームの画素値との差分値の絶対値を、所定領域において加算した値であり、
前記加算した値が小さいほど前記類似度は高くなることを特徴とする画像処理装置。

【請求項15】

請求項１に記載された画像処理装置を含むことを特徴とする内視鏡装置。

【請求項16】

撮像部による時系列の撮像画像を取得する画像取得部と、
前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１のノイズ低減処理部と、
前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２のノイズ低減処理部と、
前記撮像画像のフレーム間の類似度を検出する類似度検出部と、
前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像の合成処理を行う画像合成部と、
前記撮像画像の撮影条件を取得する撮影条件取得部と、
を含み、
前記画像合成部は、
前記撮影条件に基づき前記合成処理における前記合成度合いを変更することを特徴とする内視鏡装置。

【請求項17】

画像処理装置が、撮像部による時系列の撮像画像を取得し、
前記画像処理装置が、前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１ノイズ低減処理を行い、
前記画像処理装置が、前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２ノイズ低減処理を行い、
前記画像処理装置が、前記撮像画像のフレーム間の類似度を検出し、
前記画像処理装置が、前記撮像部と被写体との間の相対的な動きにより変化する動き情報を前記撮像画像の撮影条件として取得し、
前記画像処理装置が、前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像を合成処理し、前記動き情報が表す前記相対的な動きが大きいほど前記第１画像の合成度合いを低くすると共に前記第２画像の合成度合いを高くすることを特徴とする画像処理装置の作動方法。

【請求項18】

撮像部による時系列の撮像画像を取得し、
前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１ノイズ低減処理を行い、
前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２ノイズ低減処理を行い、
前記撮像画像のフレーム間の類似度を検出し、
前記撮像部と被写体との間の相対的な動きにより変化する動き情報を前記撮像画像の撮影条件として取得し、
前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像を合成処理し、前記動き情報が表す前記相対的な動きが大きいほど前記第１画像の合成度合いを低くすると共に前記第２画像の合成度合いを高くする、
ステップをコンピューターに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム等に関する。

【背景技術】

【0002】

動画像のノイズ低減手法として、動画像の１枚のフレームを用いた空間方向のノイズ低減処理と、撮影時間の異なる複数フレームを用いた時間方向のノイズ低減処理がある。時間方向のノイズ低減処理は、空間方向のノイズ低減処理に比べて解像度の高い画像が得られるが、被写体が静止していない場合には残像が発生する。

【0003】

このような残像を低減しつつ高解像度のノイズ低減を行う手法として、特許文献１には、空間方向のノイズ低減処理の結果と時間方向のノイズ低減処理の結果とをブレンドする手法が開示されている。この手法では、現フレームと前フレームの同一位置での画素値のＳＡＤ（差分絶対値）を算出し、そのＳＡＤに応じて、ブレンド率と、時間方向のノイズ低減処理で用いる巡回係数とを決定する。

【0004】

画像内でＳＡＤが大きい領域では被写体が静止していないと考えられるので、ＳＡＤが大きい領域ほど時間方向のノイズ低減処理から得られた結果のブレンド率を低くし、ＳＡＤが小さい領域ほど時間方向のノイズ低減処理から得られた結果のブレンド率を高くする。これにより、被写体が静止している領域では解像度の高いノイズ低減処理結果が得られる。

【0005】

また、巡回係数に関しては、ＳＡＤが小さい領域ほど係数が大きくなるように決定する。これにより、被写体が静止していない領域では小さな巡回係数に基づいてノイズ低減がされるために残像の発生が抑制される。一方、被写体が静止している領域では大きな巡回係数に基づいてノイズ低減処理がされるため、ノイズ低減効果を向上できる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００５−１５０９０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上記のＳＡＤが小さい場合であっても、時間方向のノイズ低減処理において残像が生じる場合や、時間方向のノイズ低減処理の結果をブレンドすることでアーティファクトが生じる場合がある。この場合、特許文献１ではＳＡＤのみを用いてブレンド率を決定しているため、時間方向のノイズ低減処理のブレンド率が高くなり、残像やアーティファクトが発生するという課題がある。

【0008】

本発明の幾つかの態様によれば、撮影条件を考慮したノイズ低減処理により残像やアーティファクトを低減することが可能な画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供できる。

【課題を解決するための手段】

【0009】

本発明の一態様は、撮像部による時系列の撮像画像を取得する画像取得部と、前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１のノイズ低減処理部と、前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２のノイズ低減処理部と、前記撮像画像のフレーム間の類似度を検出する類似度検出部と、前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像の合成処理を行う画像合成部と、前記撮像画像の撮影条件を取得する撮影条件取得部と、を含み、前記画像合成部は、前記撮影条件に基づき前記合成処理における前記合成度合いを変更する画像処理装置に関係する。

【0010】

本発明の一態様によれば、撮像画像のフレーム間の類似度が高いほど第１画像の合成度合いが高くなると共に第２画像の合成度合いが低くなるように第１画像と第２画像が合成処理される。このとき、撮影条件により合成度合いが変更される。これにより、撮影条件を考慮したノイズ低減処理が行われ、残像やアーティファクトを低減することが可能となる。

【0011】

また本発明の他の態様は、上記に記載された画像処理装置を含む内視鏡装置に関係する。

【0012】

また本発明の更に他の態様は、撮像部による時系列の撮像画像を取得し、前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１ノイズ低減処理を行い、前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２ノイズ低減処理を行い、前記撮像画像のフレーム間の類似度を検出し、前記撮像画像の撮影条件を取得し、前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像を合成処理し、前記撮影条件により前記合成度合いを変更する画像処理方法に関係する。

【0013】

また本発明の更に他の態様は、撮像部による時系列の撮像画像を取得し、前記撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する第１ノイズ低減処理を行い、前記撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する第２ノイズ低減処理を行い、前記撮像画像のフレーム間の類似度を検出し、前記撮像画像の撮影条件を取得し、前記類似度が高いほど前記第１画像の合成度合いが高くなると共に前記第２画像の合成度合いが低くなるように前記第１画像と前記第２画像を合成処理し、前記撮影条件により前記合成度合いを変更する、ステップをコンピューターに実行させる画像処理プログラムに関係する。

【図面の簡単な説明】

【0014】

【図1】画像処理装置の構成例。

【図2】第１実施形態における内視鏡装置の構成例。

【図3】撮像素子の色フィルターの配置構成例。

【図4】色フィルターの透過率特性の例。

【図5】第１実施形態におけるノイズ低減処理部の詳細な構成例。

【図6】図６（Ａ）、図６（Ｂ）は、差分平均値ｍＳＡＤについての説明図。

【図7】図７（Ａ）〜図７（Ｃ）は、差分平均値ｍＳＡＤについての説明図。

【図8】図８（Ａ）〜図８（Ｃ）は、差分平均値ｍＳＡＤについての説明図。

【図9】第１実施形態における撮影条件取得部の詳細な構成例。

【図10】動きベクトルを検出する処理についての説明図。

【図11】第１実施形態における画像合成部の詳細な構成例。

【図12】類似度に関するブレンド率についての説明図。

【図13】動き量に関するブレンド率についての説明図。

【図14】第２実施形態における撮影条件取得部の詳細な構成例。

【図15】明るさの変化量に関するブレンド率についての説明図。

【図16】第３実施形態における画像合成部についての説明図。

【図17】第５実施形態における内視鏡装置の構成例。

【図18】狭帯域フィルターの透過率特性の例。

【図19】第５実施形態における撮影条件取得部の詳細な構成例。

【発明を実施するための形態】

【0015】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0016】

１．本実施形態の概要
上述したＳＡＤは、現フレームと前フレームの画素値を同一位置で比べたものであり、局所的な動きの程度（静止の程度）を表すものと言える。ＳＡＤが小さい領域では、被写体は静止していると考えられるため、時間方向のノイズ低減処理において残像は発生していないと考えられる。そのため、ＳＡＤが小さい領域では、大きなブレンド率で時間方向のノイズ低減処理の結果をブレンドすることで、残像を抑制しつつ解像度の高いノイズ低減が可能となる。

【0017】

しかしながら、上記の手法ではＳＡＤのみでブレンド率を決定しており、撮影条件が考慮されていないため、ノイズ低減において画質を低下させる可能性がある。即ち、撮影条件とは、ノイズ低減処理において時間方向のノイズ低減処理の結果と空間方向のノイズ低減処理の結果を合成した場合に、その画像の画質に影響を与える条件である。言い換えれば、特定の撮影条件においては、合成した画像の画質が低下する可能性があるということである。

【0018】

画質の低下としては、例えば上述した残像が残ることや、アーティファクトが生じることが考えられる。これらの低下が起きる状況として、例えば以下の状況が考えられる。

【0019】

１つ目は、局所的な動き（ＳＡＤ）が小さいにも関わらず、時間方向のノイズ低減処理において残像が発生する場合である。残像が発生するということは被写体に動きがあるということだが、例えば低コントラスト画像などではＳＡＤが小さくなる。内視鏡装置では、消化管の粘膜等、構造物が比較的少ない被写体を観察することが多く、このような状況が起きやすい。

【0020】

下式（２）で説明するように、時間方向のノイズ低減処理ではフレーム間の動きベクトルを検出し、位置合わせを行っている。この位置合わせが成功していれば残像が生じないが、実際には動きベクトルの検出が失敗する場合がある。例えば、被写体に比較的大きな動きが発生している場合である。例えば、動き検出の探索範囲を超えるような動きはそもそも検出できない。このような場合に、ＳＡＤが小さいことだけでブレンド率を決めると、時間方向のノイズ低減処理の結果が大きなブレンド率でブレンドされることになり、残像が残ってしまう。

【0021】

２つ目は、現フレームと前フレームの明るさが大幅に異なる場合である。このような状況は、例えば撮像部を大きく動かした場合等に起き得る。内視鏡装置では、撮像部の先端から照明光を照射するため、被写体までの距離によって明るさが異なっている。そのため、撮像部を奥行き（光軸）方向に動かした場合や、消化管の蠕動などによって被写体までの距離が変わった場合等に、明るさが大きく変化する。

【0022】

空間方向のノイズ低減は基本的に現フレームに対して行うので、現フレームに近い明るさの画像となる。一方、時間方向のノイズ低減処理では現フレームと前フレームを加算するため、現フレームと前フレームの明るさが大きく異なる場合には、加算後の画像の明るさは現フレームの明るさと異なっている。ＳＡＤは局所的な動きを表すので、一般には画素や領域ごとに異なった値を持ち、そのＳＡＤから決めたブレンド率は画素や領域ごとに異なったものとなる。そうすると、明るさが異なる時間方向のノイズ低減処理の結果と空間方向のノイズ低減処理の結果が、画素や領域ごとに異なる割合でブレンドされ、その明るさの差がアーティファクトとなる。

【0023】

なお、ノイズ低減処理の画質を低下させる撮影条件は上記の例に限定されるものでない。例えば、画像にノイズが多い条件では動きベクトルの検出を失敗する可能性が高くなり、時間方向のノイズ低減処理において残像が発生しやすい。ノイズが多くなる場合として、例えば第５実施形態で説明する狭帯域光画像などが考えられる。

【0024】

以上のように、局所的な動きの程度であるＳＡＤのみで時間方向のノイズ低減処理の結果と空間方向のノイズ低減処理の結果を合成すると、ノイズ低減処理において画質が低下するという課題がある。

【0025】

このような課題を解決できる本実施形態の画像処理装置の構成例を図１に示す。画像処理装置は、画像取得部３１５と第１のノイズ低減処理部３２３と第２のノイズ低減処理部３２４と類似度検出部３２１と撮影条件取得部３２２と画像合成部３２５とを含む。

【0026】

画像取得部３１５は、撮像部により撮像された時系列の撮像画像を取得する。画像取得部３１５は、例えば図２で後述する補間処理部３１０に対応する。即ち、ベイヤ配列の画像に対して補間処理を行い、各画素にＲＧＢ画素値が存在するＲＧＢ画像を撮像画像として取得する。或は、Ｒ画像、Ｇ画像、Ｂ画像を順次に撮像する面順次方式の場合には、画像取得部３１５は、それらのＲ画像、Ｇ画像、Ｂ画像から１つのＲＧＢ画像にまとめることで、撮像画像を取得してもよい。

【0027】

第１のノイズ低減処理部３２３は、撮像画像に対して時間方向のノイズ低減処理を施して第１画像を生成する。時間方向のノイズ低減処理は、複数フレームの画素値を用いて平滑化を行う処理である。例えば、下式（２）に示すように、画素単位で現フレームと前フレームの画素値を加重平均する処理である。

【0028】

第２のノイズ低減処理部３２４は、撮像画像に対して少なくとも空間方向のノイズ低減処理を施して第２画像を生成する。空間方向のノイズ低減処理は、同一フレームの画素値を用いて平滑化を行う処理である。少なくとも空間方向のノイズ低減処理を行えばよいので、同一フレームの画素値のみで平滑化を行ってもよいし、下式（３）、（４）に示すように、更に複数フレームの画素値を用いた平滑化を組み合わせてもよい。

【0029】

類似度検出部３２１は、撮像画像のフレーム間の類似度を検出する。即ち、現フレームと前フレームの間の類似度を検出する。類似度とは、各画素又は各局所領域について算出され、フレーム間の局所的な相関度合いを表す指標である。例えば、下式（１）に示す差分平均値ｍＳＡＤを類似度として用いる。この差分平均値ｍＳＡＤは各画素位置（ｘ，ｙ）について算出される。

【0030】

撮影条件取得部３２２は、撮像画像の撮影条件を取得する。撮影条件は、上述のように画質低下を招く可能性がある条件である。撮影条件は、例えば撮像画像から所定の量を抽出することで取得してもよいし、或は、センサーにより取得してもよいし、或は、制御信号や操作入力により取得してもよい。

【0031】

画像合成部３２５は、類似度が高いほど第１画像の合成度合いが高くなると共に第２画像の合成度合いが低くなるように、第１画像と第２画像を合成処理する。即ち、類似度が高い画素や局所領域では、時間方向のノイズ低減処理の結果を高い合成度合いで合成する。このとき、画像合成部３２５は、撮影条件により合成度合いを変更する。撮影条件が残像やアーティファクトを発生させる条件である場合には、第１画像の合成度合いを低くする。即ち、同じ類似度であっても、時間方向のノイズ低減処理の結果が合成される度合いが低下し、残像やアーティファクトの発生を抑制できる。

【0032】

ここで、合成処理とは、ブレンド処理又は選択処理である。ブレンド処理は、第１画像を第１ブレンド率（例えば後述する１−α）で第２画像を第２ブレンド率（例えば後述するα）で加重平均する処理である。この場合、合成度合いはブレンド率である。一方、選択処理は、第１画像と第２画像のいずれかを選択する処理である。この場合、合成度合いは、選択される度合い（選択されやすさ）である。例えば、類似度が閾値以上である場合に第１画像を選択する場合、類似度が高くなれば第１画像が選択される度合いが上がり、類似度が低くなれば第１画像が選択される度合いが下がる。また、閾値を変化させることによって第１画像が選択される度合いを変化させることができる。

【0033】

具体的には、撮影条件取得部３２２は、撮像部と被写体との間の相対的な動きにより変化する動き情報を撮影条件として取得する。そして、画像合成部３２５は、その動き情報が表す相対的な動きが大きいほど第１画像の合成度合いを低くすると共に第２画像の合成度合いを高くする。

【0034】

動き情報としては、例えば上述した被写体の動き量や明るさの変化量等がある。画像内で被写体の動き量が大きくなるのは、例えば撮像部と被写体が相対的に横（光軸に交差する方向）に移動した場合である。また、画像の明るさが大きく変化するのは、例えば撮像部と被写体が相対的に縦（光軸方向）に移動した場合である。

【0035】

動き情報が動き量である場合、動き量が大きいほど相対的な動きが大きいことを表す。また、動き情報が明るさの変化量である場合、明るさの変化量が大きいほど相対的な動きが大きいことを表す。本実施形態では、このような動き情報が表す動きが大きいほど、時間方向のノイズ低減処理の結果を合成する度合いを低くすることで、残像やアーティファクトの発生を抑制できる。

【0036】

また、類似度検出部３２１は、撮像画像の第１の領域において類似度を検出し、撮影条件取得部３２２は、撮像画像の第１の領域よりも広い第２の領域において動き情報を取得する。

【0037】

例えば、類似度が下式（１）に示す差分平均値ｍＳＡＤである場合、類似度は（２ｋ＋１）×（２ｋ＋１）画素の領域（第１の領域）で検出する。動き量や明るさの変化量等の動き情報は、その（２ｋ＋１）×（２ｋ＋１）画素の領域よりも広い領域（第２の領域）で検出する。例えば、第１、第２実施形態で説明するように、画像全体についての動き量や明るさの変化量を検出する。

【0038】

上述した画質を低下させる撮影条件は、類似度の検出領域よりもグローバル（大局的）な領域で発生する条件と予想される。例えば、内視鏡スコープの操作や消化管の蠕動などで生じる動きは、画像の広い範囲に及ぶと考えられる。また、低コントラスト画像などにおいて、類似度を検出する微小な領域でフレーム間に差がなかったとしても、広い領域で見れば動き量や明るさの変化量を検出することが可能である。

【0039】

このような理由から、グローバルな動き情報を取得することによって、類似度が小さい場合であっても時間方向のノイズ低減処理の結果を合成する度合いを低くすることが可能となり、残像やアーティファクトを低減できる。

【0040】

２．第１実施形態
２．１．内視鏡装置
以下、詳細な実施形態について説明する。図２に、第１実施形態における内視鏡装置の構成例を示す。内視鏡システムは、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００と、を含む。制御装置３００は、補間処理部３１０と、ノイズ低減処理部３２０と、フレームメモリー３３０と、表示画像生成部３４０と、制御部３９０と、を含む。

【0041】

光源部１００は、白色光を発生する白色光源１１０と、その白色光をライトガイドファイバー２１０に集光するためのレンズ１２０と、を含む。

【0042】

撮像部２００は、体腔への挿入を可能にするため、例えば細長く且つ湾曲可能に形成されている。また、観察する部位により異なる撮像部が用いられるため、撮像部２００は制御装置３００に対して着脱可能な構造をしている。なお以下の説明では適宜、撮像部２００をスコープと呼ぶ。

【0043】

撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバー２１０と、そのライトガイドファイバー２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、を含む。また撮像部２００は、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０と、メモリー２５０と、を含む。メモリー２５０は制御部３９０に接続されている。

【0044】

撮像素子２４０は、図３に示すようにベイヤ配列の色フィルターを有する撮像素子である。色フィルターは、ｒフィルター、ｇフィルター、ｂフィルターの３種類である。図４に示すように、ｒフィルターは５８０〜７００ｎｍの光を透過させ、ｇフィルターは４８０〜６００ｎｍの光を透過させ、ｂフィルターは３９０〜５００ｎｍの光を透過させる特性を有する。

【0045】

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。例えば、外部Ｉ／Ｆ部５００は、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。外部Ｉ／Ｆ部５００は、入力された情報を制御部３９０へ出力する。

【0046】

制御装置３００は、内視鏡装置の各部の制御や、撮像画像に対する画像処理等を行う。補間処理部３１０は、ノイズ低減処理部３２０に接続されている。ノイズ低減処理部３２０は表示画像生成部３４０に接続されている。また、ノイズ低減処理部３２０は、フレームメモリー３３０と双方向に接続されている。表示画像生成部３４０は表示部４００に接続されている。制御部３９０は、補間処理部３１０と、ノイズ低減処理部３２０と、フレームメモリー３３０と、表示画像生成部３４０に接続されており、これらの制御を行う。

【0047】

補間処理部３１０は、撮像素子２４０により取得される画像に対して補間処理を行う。上述のように撮像素子２４０はベイヤ配列を有するため、撮像素子２４０により取得される画像の各画素は、Ｒ、Ｇ、Ｂ信号のうちの何れか１色の信号値を有し、他の２色の信号値が欠落した状態である。補間処理部３１０は、この画像の各画素に対して補間処理を行うとで、欠落している信号値を補間し、各画素においてＲ、Ｇ、Ｂ信号の全ての信号値を有する画像を生成する。補間処理として、例えば公知のバイキュービック補間処理を用いればよい。なお以下では、補間処理後の画像をＲＧＢ画像と呼ぶ。補間処理部３１０は、生成したＲＧＢ画像をノイズ低減処理部３２０へ出力する。

【0048】

ノイズ低減処理部３２０は、補間処理部３１０より出力されるＲＧＢ画像に対して、ノイズ低減処理を行う。ノイズ低減処理部３２０の詳細は後述する。なお以下では、ノイズ低減処理後の画像をＮＲ画像（ノイズ低減画像）と呼ぶ。

【0049】

表示画像生成部３４０は、ノイズ低減処理部３２０より出力されるＮＲ画像に対し、例えば既存のホワイトバランスや色変換処理、階調変換処理等を施し、表示画像を生成する。表示画像生成部３４０は、生成した表示画像を表示部４００に出力する。表示部４００は、表示画像を表示し、例えば液晶表示装置等の表示装置により構成される。

【0050】

２．２．ノイズ低減処理部
図５に、ノイズ低減処理部３２０の詳細な構成例を示す。ノイズ低減処理部３２０は、類似度検出部３２１と、撮影条件取得部３２２と、第１のノイズ低減処理部３２３と、第２のノイズ低減処理部３２４と、画像合成部３２５と、を含む。

【0051】

類似度検出部３２１は、補間処理部３１０とフレームメモリー３３０と画像合成部３２５に接続されている。類似度検出部３２１は、補間処理部３１０から得られる現在のＲＧＢ画像と、フレームメモリー３３０から得られる過去画像を用いて類似度を検出し、その類似度を画像合成部３２５に転送する。過去画像とは、現在のＲＧＢ画像よりも１フレーム前の時点において、ノイズ低減処理部３２０から出力されたＮＲ画像である。以下現在のＲＧＢ画像を現フレーム、過去画像を前フレームと呼ぶ。類似度検出部３２１は、後述する下式（１）を用いて、現フレームと前フレームの所定矩形領域内の差分値を類似度として検出する。

【0052】

撮影条件取得部３２２は、補間処理部３１０とフレームメモリー３３０と画像合成部３２５と接続されている。撮影条件取得部３２２は、現フレームと前フレームから被写体の動き量を検出し、その動き量を撮影条件として画像合成部３２５へ転送する。具体的には、撮影条件取得部３２２は、現フレームと前フレームの間における被写体の動きベクトルを各局所領域について検出し、その検出した動きベクトルを大きさの昇順に整列する。そして、昇順に整列された動きベクトルのうち下位の複数個の動きベクトルを抽出し、その抽出した動きベクトルの大きさの平均値を求め、その平均値を動き量とする。

【0053】

第１のノイズ低減処理部３２３は、補間処理部３１０とフレームメモリー３３０と画像合成部３２５に接続されている。第１のノイズ低減処理部３２３は、現フレームと前フレームを用いて時間方向のノイズ低減処理を行い、その結果の画像（以下、時間方向ＮＲ画像と呼ぶ）を画像合成部３２５に転送する。時間方向のノイズ低減処理の詳細は、下式（２）で後述する。

【0054】

第２のノイズ低減処理部３２４は、補間処理部３１０と画像合成部３２５に接続されている。第２のノイズ低減処理部３２４は、現フレームを用いて空間方向のノイズ低減処理を行い、その結果の画像（以下空間方向ＮＲ画像と呼ぶ）を画像合成部３２５に転送する。空間方向のノイズ低減処理の詳細は、下式（３）、（４）で後述する。

【0055】

画像合成部３２５は、類似度及び動き量に基づいて、時間方向ＮＲ画像と空間方向ＮＲ画像を合成する処理を行う。画像合成部３２５は、合成処理の結果の画像をフレームメモリー３３０と表示画像生成部３４０に転送する。

【0056】

フレームメモリー３３０は、画像合成部３２５から転送されたＮＲ画像を記憶する。そして、そのＮＲ画像を前フレームとして、類似度検出部３２１と撮影条件取得部３２２と第１のノイズ低減処理部３２３に転送する。

【0057】

２．３．類似度検出部
次に、類似度検出部の詳細について説明する。類似度検出部３２１は、現フレームと前フレームとを用いて、類似度である差分平均値ｍＳＡＤを算出する。以下に差分平均値ｍＳＡＤについて詳しく説明する。

【0058】

ノイズ低減処理の対象となる画素である注目画素の座標を（ｘ，ｙ）とすると、差分平均値ｍＳＡＤ（フレーム間差分値）は、下式（１）を用いて算出される。

【数1】

【0059】

類似度検出部３２１は、上式（１）のＳＡＤ（ｍ，ｎ）が最小となる差分平均値ｍＳＡＤの値を、画像合成部３２５へ出力する。なお、以下ではＧ信号についての処理を説明するが、Ｒ信号、Ｂ信号についても同一の処理が施される。

【0060】

ここで、上式（１）において、ｍｉｎ｛｝は、括弧内の値の最小値を取得する処理を表す。また、ｍ＝−１、０、１、ｎ＝−１、０、１である。また、Ｆ_{Ｇ＿ｃｕｒ}（ｘ，ｙ）は現フレームの座標（ｘ，ｙ）におけるＧ信号値であり、Ｆ_{Ｇ＿ｐｒｅ}（ｘ，ｙ）は前フレームの座標（ｘ，ｙ）におけるＧ信号値である。また、ｋは自然数であり、（２ｋ＋１）は差分平均値ｍＳＡＤを算出する際のカーネルサイズに相当する。ｋは、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００より、ユーザーが任意の値を設定する構成としてもよい。また、||Ａ||は、実数値Ａの絶対値を取得する処理を表す。

【0061】

差分平均値ｍＳＡＤは、被写体が静止状態である場合と動作状態（動きがある状態）である場合とで、その値が異なっている。この特徴について以下に説明する。なお、説明を簡単にするために、画像を１次元の信号として扱う。また、画像信号の成分は、図６（Ａ）に示す構造成分と、図６（Ｂ）に示すノイズ成分で構成されているものとする。

【0062】

ある時刻ｔにおいて図７（Ａ）に示す画像が取得され、その直前の時刻ｔ−１において図７（Ｂ）に示す画像が取得された場合を考える。この場合、時刻ｔと時刻ｔ−１において、構造成分の位置は変化していない（静止状態に相当）。そのため、時刻ｔにおける画像と、時刻ｔ−１における画像との差分値（差分値の絶対値）を求めると、図７（Ｃ）に示すように、差分値にはノイズ成分のみが含まれることになる。一方、ある時刻ｔにおいて図８（Ａ）に示す画像が取得され、その直前の時刻ｔ−１において図８（Ｂ）に示す画像が取得された場合を考える。図８（Ｂ）に示すｄは、フレーム間における被写体の動き量に相当する（動作状態に相当）。この場合、時刻ｔにおける画像と、時刻ｔ−１における画像の差分値を求めると、図８（Ｃ）に示すように、差分値にはノイズ成分と構造成分の両方が含まれることになる。

【0063】

従って、動作状態における差分平均値ｍＳＡＤは、静止状態における差分平均値ｍＳＡＤよりも大きくなる特徴がある。差分平均値ｍＳＡＤは後述する下式（９）〜（１２）で説明するように、ブレンド率の決定に用いられる。

【0064】

２．４．第１のノイズ低減処理部
次に、時間方向のノイズ低減処理の詳細について説明する。時間方向のノイズ低減処理には、下式（２）が用いられる。

【数2】

【0065】

ここで、上式（２）において、Ｆ_{Ｇ＿ＴｉｍｅＮＲ}（ｘ，ｙ）は時間方向ＮＲ画像の座標（ｘ，ｙ）におけるＧ信号値である。また、ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは加重平均処理時の重み係数である。重み係数ｗｅ＿ｐｒｅを重み係数ｗｅ＿ｃｕｒよりも大きくすることにより、ノイズ低減量が大きくなる。重み係数ｗｅ＿ｃｕｒ、ｗｅ＿ｐｒｅは予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００より、ユーザーが任意の値を設定する構成としてもよい。また、（ｕ，ｖ）は動きベクトルである。即ち、時間方向のノイズ低減処理において各座標（ｘ，ｙ）での被写体の動きベクトル（ｕ，ｖ）を検出し、その動きベクトル（ｕ，ｖ）により位置合わせを行う。

【0066】

２．５．第２のノイズ低減処理部
次に、空間方向のノイズ低減処理の詳細について説明する。本実施形態において、空間方向のノイズ低減処理は、ノイズ低減処理の対象となる画素（注目画素）とその周辺の画素を用いた加重平均処理である。具体的には、下式（３）を用いてノイズを低減する。

【数3】

【0067】

ここで、上式（３）において、ｗｅ＿ｄｉｆｆ＿ｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）、ｗｅ＿ｄｉｆｆ＿ｐｒｅ（ｘ＋ｉ，ｙ＋ｊ）は加重平均処理時の重み係数に相当する。この係数は、下式（４）に示すように、ガウス分布で与えられる。また、Ｉは自然数である。また、ｍ、ｎは、上式（１）において差分平均値ｍＳＡＤとして選択されたＳＡＤ（ｍ，ｎ）のｍ、ｎである。

【数4】

【0068】

上式（４）に示すように、本実施形態で用いられる空間方向のノイズ低減処理では、注目画素の信号値と周辺画素の信号値との差分の大きさに応じて、適応的に重み係数が設定される。具体的には、差分が大きい場合には、加重平均処理時の重みが小さくなる。従って、エッジ部など信号値が急に変化する領域の画素は加重平均処理に寄与しなくなるため、エッジ部を保持してノイズ成分のみを低減できる利点がある。

【0069】

２．６．撮影条件取得部
以上のように、ノイズ低減処理部３２０は、時間方向のノイズ低減処理と空間方向のノイズ低減処理を行う。時間方向のノイズ低減処理は、解像感を保持できる反面、残像の副作用があり、時間方向のノイズ低減処理は、残像が生じない反面、解像が低下する副作用がある。

【0070】

そこで、本実施形態では、類似度（差分平均値ｍＳＡＤ）に応じて空間方向ＮＲ画像と時間方向ＮＲ画像をブレンドすることで、時間方向のノイズ低減処理と空間方向のノイズ低減処理のそれぞれの利点を活かした、高性能なノイズ低減を実現する。

【0071】

具体的には、差分平均値ｍＳＡＤの値が小さい場合には、現フレームと前フレームの間は被写体が静止状態であると判断できる。よって差分平均値ｍＳＡＤの値が小さいと類似性が高くなるため、時間方向ＮＲ画像のブレンド率を高くする制御を行う。逆に、差分平均値ｍＳＡＤの値が大きい場合には、現フレームと前フレームの間は被写体が動作状態であると判断できる。よって差分平均値ｍＳＡＤが大きいと類似度が低くなるため、空間方向ＮＲ画像のブレンド率を高くする制御を行う。

【0072】

このような制御によって、残像が生じない静止状態では時間方向ＮＲ画像のブレンド率を上げて解像度を向上させ、残像が生じる動作状態では空間方向ＮＲ画像のブレンド率を上げて残像を抑制できる。

【0073】

しかしながら、静止状態を判断する指標として差分平均値ｍＳＡＤの信頼性が低い場合があり、そのような場合には、差分平均値ｍＳＡＤが小さい場合であっても実際には静止状態ではない可能性がある。例えば、「１．本実施形態の概要」で説明した１つ目の状況である。即ち、被写体のコントラストやノイズの影響により、差分平均値ｍＳＡＤを誤判定し、時間方向ＮＲ画像に残像があるにも関わらず合成度合いが高くなる場合である。

【0074】

そこで本実施形態では、画像の広い範囲における被写体の動きの程度を表すグローバルな動き量を用いてブレンド率を決定する。即ち、グローバルな動き量が大きい場合は、時間方向ＮＲ画像を少なくするようにブレンド率を調整することで、残像を抑えたノイズ低減処理を実現する。

【0075】

以下、この構成について詳細に説明する。図９に撮影条件取得部３２２の詳細な構成例を示す。撮影条件取得部３２２は、公知のブロックマッチング処理を用いて複数の局所領域から動きベクトルを算出する動きベクトル検出部６０１と、得られた動きベクトルを昇順に並べる動きベクトル整列部６０２と、所定の割合で下位の動きベクトルを採用し、それらの平均値を算出する動きベクトル平均部６０３と、を含む。

【0076】

具体的には、動きベクトル検出部６０１は、現フレームに対し、図１０に示すように代表点を中心とする局所領域を複数設定する。ｘは画像の水平走査方向における座標であり、ｙは画像の垂直走査方向における座標である。設定する局所領域の大きさ，数は、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００によりユーザーが任意の値を設定できる構成としても良い。

【0077】

次に、動きベクトル検出部６０１は、設定された全ての局所領域について公知のブロックマッチング処理を用いて動きベクトル（ｍｘ，ｍｙ）を算出する。ブロックマッチング処理では、現フレーム（基準画像）の各ブロックに対して、相関が高いブロックの位置を前フレーム（対象画像）内で探索する。ブロック間の相対的なズレ量が、そのブロックの動きベクトル（ｍｘ，ｍｙ）に対応する。

【0078】

ブロックマッチングで相関の高いブロックを探索する方法としては、例えば二乗誤差ＳＳＤや、絶対誤差ＳＡＤなどを用いれば良い。これは基準画像におけるブロック領域をＩ、対象画像におけるブロック領域をＩ’として、Ｉと相関が高いＩ’の位置を求める方法である。各ブロック領域での画素位置をｐ∈Ｉ及びｑ∈Ｉ’として、各画素の信号値をＬｐ，Ｌｑとすると、ＳＳＤ，ＳＡＤは、下式（５）及び下式（６）で定義され、この値が小さいほど相関が高いと評価する。

【数5】

【数6】

【0079】

ここで、ｐ及びｑはそれぞれ２次元の値を持ち、Ｉ及びＩ’は２次元の領域を持つものとし、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す。また||Ａ||は実数値Ａの絶対値を取得する処理を表す。

【0080】

動きベクトル整列部６０２は、全ての局所領域において算出された動きベクトル（ｍｘ，ｍｙ）をサイズ（大きさ）に基づき昇順に整列する。動きベクトルのサイズは、動きベクトルの水平成分であるｍｘと、動きベクトルの垂直成分であるｍｙの、それぞれの絶対値である。算出する各代表画素における動き量ｍｖは、下式（７）に示すように、｜ｍｘ｜と｜ｍｙ｜を比較し、値の大きい方を選択したものである。

【数7】

【0081】

動きベクトル平均部６０３は、整列された動き量ｍｖの中から、下位の所定の割合（例えば数％）の動き量ｍｖを採用する。採用した複数の動き量ｍｖを平均するための式を下式（８）に示す。

【数8】

【0082】

ここで、ｎｕｍは動きベクトルの数であり、ｍｖ_ｉはｉ番目の代表点における動き量ｍｖであり、それらにより算出された結果がグローバルな動き量ＭＶである。

【0083】

なお、上記では、動き量ＭＶをフレーム全体で算出する例を挙げたが、これに限定されず、動き量ＭＶを所定領域毎、若しくは画素毎で算出しても良い。

【0084】

２．７．画像合成部
図１１に、画像合成部３２５の詳細な構成例を示す。画像合成部３２５は、類似度である差分平均値ｍＳＡＤとグローバルな動き量ＭＶとに基づいてブレンド率を決定するブレンド率決定部６１１と、そのブレンド率に基づいて時間方向ＮＲ画像と空間方向ＮＲ画像をブレンドするブレンド処理部６１２と、を含む。

【0085】

具体的には、ブレンド率決定部６１１は、制御部３９０からブレンド率を決定するためのパラメーターを取得し、類似度検出部３２１から類似度（差分平均値ｍＳＡＤ）を取得し、撮影条件取得部３２２から動き量ＭＶを取得する。そして、下式（９）によりブレンド率αを決定する。ブレンド率αは空間方向ＮＲ画像のブレンド率であり、時間方向ＮＲ画像のブレンド率は（１−α）となる。

【数9】

【0086】

αは、０以上１以下の値となるように正規化する。また、ＢＬＥＮＤ＿ｍＳＡＤは類似度に関するブレンド率であり、ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮは観察条件に関するブレンド率である。

【0087】

まず、類似度に関するブレンド率ＢＬＥＮＤ＿ｍＳＡＤについて説明する。メモリー２５０は、ブレンド率ＢＬＥＮＤ＿ｍＳＡＤを決定するのに用いるパラメーターである閾値ｍＳＡＤ＿ＴＨ及び傾きｍＳＡＤ＿ＳＬＰを保持している。これらのパラメーターは、予めメモリー２５０に登録しておく。制御部３９０は、メモリー２５０を参照して、パラメーターを画像合成部３２５に転送する。

【0088】

図１２に示すように、横軸を差分平均値ｍＳＡＤとし、縦軸をブレンド率ＢＬＥＮＤ＿ｍＳＡＤとする。まず、閾値ｍＳＡＤ＿ＴＨと傾きｍＳＡＤ＿ＳＬＰを用いて下式（１０）によりＢＬＥＮＤ＿ｍＳＡＤ’を算出する。

【数10】

【0089】

次に、下式（１１）に示すようにＢＬＥＮＤ＿ｍＳＡＤ’を下限値０と上限値６４でクリッピングする。下限値０と上限値６４は任意の値に設定可能である。

【数11】

【0090】

次に、下式（１２）に示すようにＢＬＥＮＤ＿ｍＳＡＤ’を正規化してＢＬＥＮＤ＿ｍＳＡＤを求める。

【数12】

【0091】

差分平均値ｍＳＡＤは各位置（ｘ，ｙ）で算出するので、ブレンド率ＢＬＥＮＤ＿ｍＳＡＤは各位置（ｘ，ｙ）で異なる値となる。即ち、最終的なブレンド率αも各位置（ｘ，ｙ）で異なる値をもつことになる。

【0092】

次に、観察条件に関するブレンド率ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮについて説明する。下式（１３）に示すように、ブレンド率ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮは、動き量ＭＶに関するブレンド率ＢＬＥＮＤ＿ＭＶである。

【数13】

【0093】

メモリー２５０は、ブレンド率ＢＬＥＮＤ＿ＭＶを決定するのに用いるパラメーター、閾値ＭＶ＿ＴＨと傾きＭＶ＿ＳＬＰを保持している。これらのパラメーターは、予めメモリー２５０に登録しておく。制御部３９０は、メモリー２５０を参照して、パラメーターを画像合成部３２５に転送する。

【0094】

図１３に示すように、横軸を動き量ＭＶとし、縦軸をブレンド率ＢＬＥＮＤ＿ＭＶとする。まず、閾値ＭＶ＿ＴＨと傾きＭＶ＿ＳＬＰを用いて下式（１４）によりＢＬＥＮＤ＿ＭＶ’を求める。そして、下式（１５）によりＢＬＥＮＤ＿ＭＶ’をクリッピングし、下式（１６）に示すようにＢＬＥＮＤ＿ＭＶ’を正規化してブレンド率ＢＬＥＮＤ＿ＭＶを求める。

【数14】

【数15】

【数16】

【0095】

閾値ｍＳＡＤ＿ＴＨ、ｍＳＡＤ＿ＴＨを設けるのは以下の理由による。即ち、閾値の存在により、差分平均値ｍＳＡＤや動き量ＭＶがある程度の大きさになるまでは空間方向ＮＲ画像のブレンド率αが低くなる。これにより、残像が発生しにくい条件では時間方向ＮＲ画像のブレンド率（１−α）を高くでき、解像度を維持できるからである。

【0096】

ブレンド処理部６１２は、上記のようにして決定されたブレンド率αに基づいて、第１のノイズ低減処理部３２３からの時間方向ＮＲ画像と第２のノイズ低減処理部３２４からの空間方向ＮＲ画像とをブレンドする。

【0097】

具体的には、下式（１７）によりブレンド結果の画像Ｆ_Ｇ＿ＮＲ（ｘ，ｙ）を求める。

【数17】

【0098】

ここで、Ｆ_{Ｇ＿ＴｉｍｅＮＲ}（ｘ，ｙ）は時間方向ＮＲ画像の画素値であり、Ｆ_{Ｇ＿ＳｐａｃｅＮＲ}は空間方向ＮＲ画像の画素値である。

【0099】

なお、上記ではブレンド率ＢＬＥＮＤ＿ｍＳＡＤ、ＢＬＥＮＤ＿ＭＶを用いて空間方向ＮＲ画像のブレンド率αを算出する例を説明したが、これに限定されず、時間方向ＮＲ画像のブレンド率（１−α）を算出するようにしても良い。その場合は、図１２、図１３のグラフが右下がりとなる。

【0100】

以上の第１実施形態によれば、撮影条件取得部３２２は、撮像部２００と被写体との間の相対的な動き量ＭＶを動き情報として取得する。そして、画像合成部３２５は、動き量ＭＶが大きいほど第１画像（時間方向ＮＲ画像）の合成度合いを低くすると共に第２画像（空間方向ＮＲ画像）の合成度合いを高くする。

【0101】

具体的には、撮影条件取得部３２２は、撮像画像上での被写体のフレーム間における動きベクトルの大きさを動き量ＭＶとして取得する。なお、動き量は画像から動きベクトルを検出する場合に限定されず、例えば撮像部２００に加速度センサー等のモーションセンサー（変位量検出部）を設け、そのセンシング信号に基づいて動き量を検出してもよい。

【0102】

このようにすれば、類似度が低い場合であっても、動き量ＭＶが検出された場合には時間方向ＮＲ画像の合成度合いを低くできるので、最終的なＮＲ画像において残像を抑制できる。

【0103】

具体的には、図１２に示すように、局所的な類似度が低くなるほど（差分平均値ｍＳＡＤの値が大きくなるほど）ブレンド率ＢＬＥＮＤ＿ｍＳＡＤの値が大きくなるので、空間方向ＮＲ画像のブレンド率αが大きくなる。また、図１３に示すように、グローバルな動き量ＭＶが大きくなるほどブレンド率ＢＬＥＮＤ＿ＭＶの値が大きくなるので、空間方向ＮＲ画像のブレンド率αが大きくなる。

【0104】

これにより、局所的な類似度又はグローバルな動き量ＭＶの少なくとも一方が大きい場合には、時間方向ＮＲ画像のブレンド率（１−α）が小さくなり、残像を低減できる。特に、局所的な類似度が高い（差分平均値ｍＳＡＤの値が小さい）場合であっても、グローバルな動き量ＭＶが大きい場合には時間方向ＮＲ画像に残像が発生しやすいが、本実施形態ではグローバルな動き量ＭＶを考慮しているため時間方向ＮＲ画像のブレンド率（１−α）が小さくなり、残像を抑制できる。

【0105】

なお、第１実施形態では合成処理はブレンド処理であるが、第３実施形態で説明するように合成処理は選択処理であってもよい。選択処理の場合にも、上記と同様の効果が得られる。

【0106】

また第１実施形態では、撮影条件取得部３２２は、撮像画像の複数の領域について動きベクトルを検出し、その複数の領域についての動きベクトルを大きさｍｖ（上式（７））の順に並べる。そして、撮影条件取得部３２２は、大きさｍｖが小さい方から所定割合の動きベクトルの平均値（上式（８））を動き量ＭＶとして取得する。

【0107】

例えば鉗子により処置を行っているような場合、背景が静止しているが、画面全体の中で比較的少ない領域の被写体（鉗子）が大きく動いている状況が生まれる。このような状況では、できるだけ時間方向ＮＲ画像を採用して解像度を高くすることが望ましい。

【0108】

しかしながら、このような場合に、全ての動き量ｍｖを採用して最終的なグローバルな動き量ＭＶを求めると、動いている被写体（鉗子）の動き量ｍｖによりグローバルな動き量ＭＶが大きくなってしまう。そうすると、背景が静止してグローバルな動きがないにも関わらず、動きがあるかのような動き量ＭＶが算出され、時間方向ＮＲ画像の合成度合いが低くなる。

【0109】

この点、本実施形態では、大きさｍｖが小さい方から所定割合の動きベクトルを採用するので、上記の鉗子のような画像の一部で動きがあっても、その動きベクトルの大きさｍｖは除外される。これにより、背景に動きがない場合には動き量ＭＶとして小さい値を算出でき、時間方向ＮＲ画像の合成度合いを高くできる。

【0110】

３．第２実施形態
次に、第２実施形態について説明する。「１．本実施形態の概要」で説明したように、画質を低下させる２つ目の状況として画像の明るさに大きな変化が生じた場合がある。例えば、現フレームが暗い画像であり、前フレームが明るい画像であるとする。この場合、空間方向ＮＲ画像は現フレームと同じく暗い画像となり、時間方向ＮＲ画像は現フレームと前フレームを加算した中間の明るさの画像となる。これらの画像は、場所によって異なるブレンド率αでブレンドされるので、明るさの異なる画素や領域が隣り合わせとなり、その明るさの違いが偽輪郭として現れ、アーティファクトとなってしまう。

【0111】

そこで第２実施形態では、フレーム間における明るさの変化量を考慮してブレンド率αを決定する。なお、以下では撮影条件として動き量ＭＶと明るさの変化量を組み合わせる場合を例に説明するが、これに限定されず、撮影条件として明るさの変化量のみを用いてもよい。

【0112】

図１４に、第２実施形態における撮影条件取得部３２２の詳細な構成例を示す。撮影条件取得部３２２は、動きベクトル検出部６０１と動きベクトル整列部６０２と動きベクトル平均部６０３と明るさ変化量検出部６０４とを含む。なお、内視鏡装置及びノイズ低減処理部３２０の構成は第１実施形態と同じである。また、すでに説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

【0113】

明るさ変化量検出部６０４は、現フレームと前フレームのフレーム間における明るさの変化を、明るさの変化量として検出し、その明るさの変化量を画像合成部３２５へ転送する。

【0114】

具体的には、下式（１８）に示すように、現フレームの画素値又は輝度値の平均値Ａｖｅ_{ａｌｌ＿ｃｕｒ}と、前フレームの画素値又は輝度値の平均値Ａｖｅ_{ａｌｌ＿ｐｒｅ}とを求め、それらの差分値を明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}として求める。

【数18】

【0115】

平均値Ａｖｅ_{ａｌｌ＿ｃｕｒ、}Ａｖｅ_{ａｌｌ＿ｐｒｅ}は画像全体の明るさを代表している。例えば、画像の中心位置（ｘ，ｙ）＝（Ｗ／２，Ｌ／２）を中心とする所定矩形内の画素の画素値を平均して求められる。Ｗは水平走査方向の画像サイズであり、Ｌは垂直走査方向の画像サイズである。

【0116】

画像合成部３２５は、上記で求めた明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}と、第１実施形態で説明した類似度（差分平均値ｍＳＡＤ）及びグローバルの動き量ＭＶに基づいて、時間方向ＮＲ画像と空間方向ＮＲ画像をブレンドする。

【0117】

具体的には、第１実施形態の図１１と同様に、画像合成部３２５はブレンド率決定部６１１とブレンド処理部６１２を含む。

【0118】

ブレンド率決定部６１１は、制御部３９０からブレンド率を決定するためのパラメーターを取得し、類似度検出部３２１から差分平均値ｍＳＡＤを取得し、撮影条件取得部３２２から動き量ＭＶと明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}を取得する。

【0119】

ブレンド率αを決定する式は上式（９）と同じであるが、観察条件に関するブレンド率ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮは、下式（１９）となる。ＢＬＥＮＤ＿ＬＮは、明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}に関するブレンド率である。

【数19】

【0120】

ブレンド率ＢＬＥＮＤ＿ＬＮは、以下のようにして求める。即ち、メモリー２５０は、ブレンド率ＢＬＥＮＤ＿ＬＮを決定するのに用いるパラメーターとして閾値ＬＮ＿ＴＨと傾きＬＮ＿ＳＬＰを保持している。これらのパラメーターは、予めメモリー２５０に登録しておく。制御部３９０は、メモリー２５０を参照して、パラメーターを画像合成部３２５に転送する。

【0121】

図１５に示すように、横軸をフレームごとの明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}とし、縦軸をブレンド率ＢＬＥＮＤ＿ＬＮとする。まず、閾値ＬＮ＿ＴＨと傾きＬＮ＿ＳＬＰを用いて下式（２０）によりＢＬＥＮＤ＿ＬＮ’を求める。そして、下式（２１）によりＢＬＥＮＤ＿ＬＮ’をクリッピングし、下式（２２）に示すようにＢＬＥＮＤ＿ＬＮ’を正規化してブレンド率ＢＬＥＮＤ＿ＬＮを求める。

【数20】

【数21】

【数22】

【0122】

閾値ＬＮ＿ＴＨを設けるのは以下の理由による。即ち、閾値の存在により、明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}がある程度の大きさになるまでは空間方向ＮＲ画像のブレンド率αが低くなる。これにより、アーティファクトが発生しにくい条件では時間方向ＮＲ画像のブレンド率（１−α）を高くでき、解像度を維持できるからである。

【0123】

なお、上記ではブレンド率ＢＬＥＮＤ＿ｍＳＡＤ、ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮを用いて空間方向ＮＲ画像のブレンド率αを算出する例を説明したが、これに限定されず、時間方向ＮＲ画像のブレンド率（１−α）を算出するようにしても良い。その場合は、図１２、図１３、図１５のグラフが右下がりとなる。

【0124】

以上の第２実施形態によれば、撮影条件取得部３２２は、撮像画像のフレーム間における明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}を動き情報として取得する。そして、画像合成部３２５は、明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}が大きいほど第１画像（時間方向ＮＲ画像）の合成度合いを低くすると共に第２画像（空間方向ＮＲ画像）の合成度合いを高くする。

【0125】

このようにすれば、類似度が低い場合であっても、明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}が検出された場合には時間方向ＮＲ画像の合成度合いを低くできるので、アーティファクトを抑制できる。

【0126】

具体的には、図１５に示すように、明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}が大きくなるほどブレンド率ＢＬＥＮＤ＿ＬＮの値が大きくなるので、空間方向ＮＲ画像のブレンド率αが大きくなる。即ち、局所的な類似度が高い（差分平均値ｍＳＡＤの値が小さい）場合であっても、画像全体の明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}が大きい場合には時間方向ＮＲ画像のブレンド率（１−α）が小さくなる。これにより、明るさが異なる空間方向ＮＲ画像と時間方向ＮＲ画像が混在してブレンドされることがなくなり、アーティファクトを抑制できる。

【0127】

なお、第２実施形態では合成処理はブレンド処理であるが、第３実施形態で説明するように合成処理は選択処理であってもよい。選択処理の場合にも、上記と同様の効果が得られる。

【0128】

４．第３実施形態
次に、第３実施形態について説明する。第３実施形態では、類似度である差分平均値ｍＳＡＤと動き量ＭＶと明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}を用いて閾値を決定し、その閾値に基づいて時間方向ＮＲ画像と空間方向ＮＲ画像のいずれかを選択する。

【0129】

なお、以下では動き量ＭＶと明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}の双方を用いて閾値を決定する場合を説明するが、これに限定されず、動き量ＭＶと明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}のいずれか一方を用いて閾値を決定してもよい。

【0130】

図１６に、第３実施形態における画像合成部３２５の詳細な構成例を示す。画像合成部３２５は、閾値決定部６２１と選択部６２２を含む。なお、内視鏡装置及びノイズ低減処理部３２０の構成は第１実施形態と同じであり、撮影条件取得部３２２の構成は第２実施形態と同じである。また、すでに説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

【0131】

メモリー２５０は、類似度に関する閾値ｍＳＡＤ＿ＴＨをパラメーターとして保持している。制御部３９０は、メモリー２５０に保持されているパラメーターを参照し、画像合成部３２５にパラメーターを送る。

【0132】

閾値決定部６２１は、制御部３９０から閾値を決定するためのパラメーターを取得し、類似度検出部３２１から類似度（差分平均値ｍＳＡＤ）を取得し、撮影条件取得部３２２から動き量ＭＶと明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}を取得する。閾値決定部６２１は、取得した類似度、動き量、明るさの変化量に基づいて閾値を決定する。

【0133】

具体的には、閾値決定部６２１では、閾値ｍＳＡＤ＿ＴＨと、撮影条件に関する値ＣＯＮＤＩＴＩＯＮ＿ＶＡＬを用いて、下式（２３）のように閾値ｍＳＡＤ＿ＴＨ’を再設定する。

【数23】

【0134】

ここで、ＣＯＮＤＩＴＩＯＮ＿ＶＡＬは、動き量ＭＶと明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}を用いて下式（２４）のように算出する。ＣＯＮＤＩＴＩＯＮ＿ＶＡＬの下限値０と上限値６４は任意の値に設定可能である。また、上式（２３）においてＣＯＮＤＩＴＩＯＮ＿ＶＡＬ／６４の分母６４は、ＣＯＮＤＩＴＩＯＮ＿ＶＡＬの上限値と同一の値であり、正規化を意味する。

【数24】

【0135】

上式（２３）、（２４）によれば、動き量ＭＶ又は明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}が大きいほど閾値ｍＳＡＤ＿ＴＨよりも小さくなるような閾値ｍＳＡＤ＿ＴＨ’を設定することができる。

【0136】

選択部６２２は、閾値ｍＳＡＤ＿ＴＨ’に基づいて、時間方向ＮＲ画像若しくは、空間方向ＮＲ画像の何れかを選択し、その選択した画像をフレームメモリー３３０と表示画像生成部３４０に転送する。

【0137】

具体的には、選択部６２２は、再設定された閾値ｍＳＡＤ＿ＴＨ’と類似度である差分平均値ｍＳＡＤを用いて下式（２５）のように判別処理を行う。

【数25】

【0138】

Ｆ_{Ｇ＿ＴｉｍｅＮＲ}（ｘ，ｙ）は時間方向ＮＲ画像の画素値であり、Ｆ_{Ｇ＿ＳｐａｃｅＮＲ}は空間方向ＮＲ画像の画素値であり、Ｆ_Ｇ＿ＮＲ（ｘ，ｙ）は選択された画像である。

【0139】

差分平均値ｍＳＡＤがｍＳＡＤ＿ＴＨ’よりも小さい場合は、差分平均値ｍＳＡＤによる局所的な動き検出が成功している、或は現フレームと前フレームで明るさの変化が少ないと判断できるので、時間方向のノイズ低減処理の結果を選択する。一方、差分平均値ｍＳＡＤがｍＳＡＤ＿ＴＨ’よりも大きい場合は、差分平均値ｍＳＡＤによる局所的な動き検出が失敗している、或は現フレームと前フレームの明るさの変化が大きいと判断できるので、空間方向のノイズ低減処理の結果を選択する。このようにして、撮影条件を考慮することにより残像やアーティファクトを抑制できる。

【0140】

５．第４実施形態
次に、第４実施形態について説明する。第４実施形態では、明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}に基づいて画像の明るさを補正することで、空間方向ＮＲ画像と時間方向ＮＲ画像の明るさを合わせ、アーティファクトを抑制する。具体的には、時間方向ＮＲ画像に明るさの変化量ＡＶＥ_{ａｌｌ＿ｄｉｆｆ}を加算してから空間方向ＮＲ画像とブレンド若しくは選択を行う。

【0141】

まず、ブレンドを行う場合について説明する。画像合成部３２５の構成は図１１の第１実施形態と同じである。また、内視鏡装置及びノイズ低減処理部３２０の構成は図１、図５の第１実施形態と同じであり、撮影条件取得部３２２の構成は図１４の第２実施形態と同じである。

【0142】

明るさ変化量検出部６０４は、下式（２６）に示すように、注目画素（ｘ、ｙ）を中心とする所定矩形内における現フレームの画素値の平均値ＡＶＥ_ｃｕｒ（ｘ，ｙ）と前フレームの画素値の平均値ＡＶＥ_ｐｒｅ（ｘ＋ｕ，ｘ＋ｖ）をとり、現フレームと前フレームの明るさの変化量ＡＶＥ_ｄｉｆｆ（ｘ，ｙ）を算出する。（ｕ，ｖ）は上式（２）の動きベクトル（ｕ，ｖ）である。即ち、明るさ変化量検出部６０４は、第１のノイズ低減処理部３２３により検出された動きベクトル（ｕ，ｖ）を受けて、位置合わせを行う。なお、動き検出をしなかった場合には（ｕ，ｖ）＝（０，０）である。

【数26】

【0143】

画像合成部３２５は、下式（２７）に示すように、明るさの変化量ＡＶＥ_ｄｉｆｆ（ｘ，ｙ）を時間方向ＮＲ画像Ｆ_{Ｇ＿ＴｉｍｅＮＲ}（ｘ，ｙ）に加算し、その画像と空間方向ＮＲ画像Ｆ_{Ｇ＿ＳｐａｃｅＮＲ}（ｘ，ｙ）とをブレンドする。

【数27】

【0144】

次に、選択を行う場合について説明する。画像合成部３２５の構成は図１６の第３実施形態と同じである。また、内視鏡装置及びノイズ低減処理部３２０の構成は図１、図５の第１実施形態と同じであり、撮影条件取得部３２２の構成は図１４の第２実施形態と同じである。

【0145】

明るさ変化量検出部６０４は、上式（２６）により明るさの変化量ＡＶＥ_ｄｉｆｆ（ｘ，ｙ）を算出する。そして、画像合成部３２５は、下式（２８）に示すように、明るさの変化量ＡＶＥ_ｄｉｆｆ（ｘ，ｙ）を時間方向ＮＲ画像Ｆ_{Ｇ＿ＴｉｍｅＮＲ}（ｘ，ｙ）に加算し、その画像と空間方向ＮＲ画像Ｆ_{Ｇ＿ＳｐａｃｅＮＲ}（ｘ，ｙ）のいずれかを選択する。

【数28】

【0146】

以上の処理の効果として、明るさの変化量ＡＶＥ_ｄｉｆｆ（ｘ，ｙ）を時間方向ＮＲ画像に加算してからブレンドすることで、明るさの違いによるアーティファクトを防ぐことができる。

【0147】

６．第５実施形態
次に、第５実施形態について説明する。第５実施形態では、画像の種類を撮影条件としてブレンド率や選択を制御する。

【0148】

図１７に、第５実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部１００と、撮像部２００と、制御装置３００と、表示部４００と、外部Ｉ／Ｆ部５００と、を含む。なお以下では、すでに説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

【0149】

撮像部２００は、ライトガイドファイバー２１０と、照明レンズ２２０と、集光レンズ２３０と、撮像素子２４０と、メモリー２５０と、フィルター駆動部２８０と、狭帯域フィルター２９０と、を含む。フィルター駆動部２８０は狭帯域フィルター２９０に接続されており、さらに制御部３９０と双方向に接続されている。

【0150】

狭帯域フィルター２９０は、図１８に示すように、３８０〜４５０ｎｍ、及び５３０〜５５０ｎｍの光を透過する。また、狭帯域フィルター２９０は、集光レンズ２３０及び撮像素子２４０の間の光路に挿入できるようになっている。狭帯域フィルター２９０の挿入・非挿入は、例えば外部Ｉ／Ｆ部５００よりユーザーが制御する。この場合、ユーザーの指示が、外部Ｉ／Ｆ部５００より制御部３９０を介してフィルター駆動部２８０に送られ、フィルター駆動部２８０が狭帯域フィルター２９０を駆動する。狭帯域フィルター２９０が光路中に挿入されている場合、制御部３９０は、補間処理部３１０及びノイズ低減処理部３２０へトリガー信号を出力する。

【0151】

補間処理部３１０は、撮像素子２４０により撮影される画像に対して補間処理を行う。補間処理部３１０は、上述のトリガー信号が制御部３９０から出力されてない場合（狭帯域フィルター２９０が挿入されてない場合）には、第１実施形態と同一の手法によりＲＧＢ画像を生成する。以下では狭帯域フィルター２９０が挿入されない場合に取得されるＲＧＢ画像を、白色光画像と呼ぶ。

【0152】

一方、トリガー信号が制御部３９０から出力されている場合（狭帯域フィルター２９０が挿入されている場合）には、補間処理部３１０は、Ｇ信号及びＢ信号に対してのみ補間処理を行う。補間処理は、例えば公知のバイキュービック補間処理である。この場合、補間処理部３１０は、全画素においてＧ信号を有するＧ画像と、全画素においてＢ信号を有するＢ画像とを、補間処理により生成する。そして、ＲＧＢ画像のＲ信号にＧ画像を入力し、ＲＧＢ画像のＧ信号とＢ信号にＢ画像を入力することで、ＲＧＢ画像を生成する。以下では、狭帯域フィルター２９０が挿入されている場合に取得されるＲＧＢ画像を、狭帯域光画像（特殊光画像）と呼ぶ。

【0153】

なお、上記では、狭帯域フィルター２９０を光路に挿入することにより狭帯域光画像を撮像する場合を例に説明したが、本実施形態はこれに限定されない。例えば、光源部１００が、特殊光（狭義には狭帯域光）を出射することにより狭帯域光画像を撮像してもよい。あるいは、撮像部２００が、特殊光を透過する色フィルターを有する撮像素子を更に含み、その撮像素子により狭帯域光画像を撮像してもよい。あるいは、画像処理により白色光画像から狭帯域光画像を生成してもよい。

【0154】

さて、狭帯域光画像は、白色光画像と比べて光の波長帯域が狭いので光量が不足し、ノイズが増加（Ｓ／Ｎが低下）する。即ち、白色光画像と狭帯域光画像とでは撮影条件が異なっている。上述したようにＳ／Ｎが低下した画像ではＮＲ画像に残像が出やすいため、白色光画像と同じブレンド率や閾値で狭帯域光画像のノイズ低減処理を行うと、狭帯域光画像のＮＲ画像に残像が出てしまうという課題がある。

【0155】

そこで本実施形態では、撮影条件に画像の種類を用いることで、それぞれの画像に合ったブレンド率や閾値の設定をする。白色光画像の場合は、第１実施形態で設定されたブレンド率や閾値を用い、狭帯域光画像の場合は、白色光画像と比べてノイズ量が増加し、差分平均値ｍＳＡＤによる判定精度が低下してしまうことを考慮してブレンド率や閾値を設定する。具体的には、白色光画像と比べて、空間方向ＮＲ画像を用いる割合を増やす。

【0156】

このように、画像の種類に合わせて、時間方向ＮＲ画像と空間方向ＮＲ画像のブレンド率や閾値を決定し、ブレンドや選択を行うことで、残像を低減した高性能なノイズ低減を実現できる。

【0157】

まず、ブレンドを行う場合について説明する。図１９に、第５実施形態における撮影条件取得部３２２の詳細な構成例を示す。撮影条件取得部３２２は、動きベクトル検出部６０１と動きベクトル整列部６０２と動きベクトル平均部６０３と明るさ変化量検出部６０４と種類情報取得部６０５とを含む。なお、ノイズ低減処理部３２０及び画像合成部３２５の構成は図５、図１１の第１実施形態と同じである。

【0158】

種類情報取得部６０５は、白色光画像か狭帯域光画像かを識別するための種類情報を制御部３９０から取得する。種類情報は、外部Ｉ／Ｆ部５００によりユーザーが狭帯域フィルター２９０を挿入した場合に制御部３９０が出力するトリガー信号である。例えば、制御部３９０は、白色光画像の場合は“０”をトリガー信号として出力し、狭帯域光画像の場合は“１”をトリガー信号として出力する。種類情報取得部６０５は、画像合成部３２５と接続されており、種類情報を画像合成部３２５に転送する。

【0159】

画像合成部３２５は、撮影条件取得部３２２から取得した種類情報に応じたパラメーターと類似度からブレンド率αを算出し、そのブレンド率αに基づいてブレンド処理を行う。

【0160】

具体的には、メモリー２５０は、白色光画像に対応するブレンド率ＢＬＥＮＤ＿ＷＩＬと狭帯域画像に対応するブレンド率ＢＬＥＮＤ＿ＮＢＩを保持している。ＢＬＥＮＤ＿ＮＢＩ、ＢＬＥＮＤ＿ＷＩＬは０以上１以下であり、ＢＬＥＮＤ＿ＮＢＩはＢＬＥＮＤ＿ＷＩＬよりも大きい値を持つ。

【0161】

ブレンド率決定部６１１は、撮影条件取得部３２２から種類情報を取得し、撮影条件に関するブレンド率ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮを下式（２９）により算出する。

【数29】

【0162】

ＢＬＥＮＤ＿ＩＭＡＧＥＴＹＰＥは、画像の種類に関するブレンド率である。ブレンド率決定部６１１は、下式（３０）に示すように、トリガー信号ＴＳ＝０の場合には、白色光画像に対応したブレンド率ＢＬＥＮＤ＿ＷＬＩをブレンド率ＢＬＥＮＤ＿ＩＭＡＧＥＴＹＰＥとして設定する。一方、トリガー信号ＴＳ＝１の場合には、狭帯域光画像に対応したブレンド率ＢＬＥＮＤ＿ＮＢＩをブレンド率ＢＬＥＮＤ＿ＩＭＡＧＥＴＹＰＥとして設定する。

【数30】

【0163】

ブレンド処理部６１２は、上記のようにして設定したブレンド率ＢＬＥＮＤ＿ＣＯＮＤＩＴＩＯＮを上式（９）に代入してブレンド率αを求め、上式（１７）により時間方向ＮＲ画像と空間方向ＮＲ画像をブレンドする。

【0164】

次に、選択を行う場合について説明する。撮影条件取得部３２２及びノイズ低減処理部３２０の構成はブレンドを行う場合と同じである。また、画像合成部３２５の構成は図１６の第３実施形態と同じである。

【0165】

メモリー２５０は、白色光画像に対応する値ＶＡＬ＿ＷＬＩと狭帯域画像に対応する値ＶＡＬ＿ＮＢＩを保持している。ただし、ＶＡＬ＿ＮＢＩはＶＡＬ＿ＷＬＩよりも大きい値を持つ。

【0166】

閾値決定部６２１は、撮影条件取得部３２２から種類情報を取得し、撮影条件に関する値ＣＯＮＤＩＴＩＯＮ＿ＶＡＬを下式（３１）により算出する。

【数31】

【0167】

ＶＡＬ＿ＩＭＡＧＥＴＹＰＥは画像の種類に関する値である。閾値決定部６２１は、下式（３２）に示すように、トリガー信号ＴＳ＝０の場合には、白色光画像に対応した値ＶＡＬ＿ＷＬＩを値ＶＡＬ＿ＩＭＡＧＥＴＹＰＥとして設定する。一方、トリガー信号ＴＳ＝１の場合には、狭帯域光画像に対応した値ＶＡＬ＿ＮＢＩを値ＶＡＬ＿ＩＭＡＧＥＴＹＰＥとして設定する。

【数32】

【0168】

閾値決定部６２１は、上記のようにして設定した値ＣＯＮＤＩＴＩＯＮ＿ＶＡＬを上式（２３）に代入して閾値ｍＳＡＤ＿ＴＨ’を求め、上式（２５）により時間方向ＮＲ画像と空間方向ＮＲ画像のいずれかを選択する。

【0169】

以上の第５実施形態によれば、撮影条件取得部３２２は、撮像画像の種類を撮影条件として取得する。そして、画像合成部３２５は、撮像画像の種類が第１の種類である場合と、撮像画像の種類が第２の種類である場合とで、合成度合いを変更する。

【0170】

具体的には、第１の種類は、白色の波長帯域における情報を有した白色光画像であり、第２の種類は、特定の波長帯域における情報を有した特殊光画像（狭帯域光画像）である。そして、画像合成部３２５は、撮像画像の種類が特殊光画像である場合には、撮像画像の種類が白色光画像である場合に比べて、第１画像（時間方向ＮＲ画像）の合成度合いを低くすると共に第２画像（空間方向ＮＲ画像）の合成度合いを高くする。

【0171】

このように、画像の種類に応じて異なる合成度合いで合成処理（ブレンド処理又は選択処理）を行うことで、残像が発生しやすい画像の種類である場合であっても時間方向ＮＲ画像の合成度合いを下げて、残像を抑制できる。

【0172】

具体的には、白色光画像の場合は、第１実施形態で設定されたブレンド率や閾値を用い、狭帯域光画像の場合は、白色光画像と比べてノイズ量が増加し、差分平均値ｍＳＡＤによる判定精度が低下してしまうことを考慮してブレンド率や閾値を設定する。即ち、白色光画像と比べて、空間方向ＮＲ画像を用いる割合を増やすことで、最終的なＮＲ画像において残像を抑制できる。

【0173】

また第５実施形態によれば、特定の波長帯域は、白色の波長帯域（例えば３８０ｎｍ〜６５０ｎｍ）よりも狭い帯域である（NBI:Narrow Band Imaging）。例えば、白色光画像及び特殊光画像は、生体内を写した生体内画像であり、その生体内画像に含まれる特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域である。例えば、このヘモグロビンに吸収される波長は、３９０ｎｍ〜４４５ｎｍ（第１の狭帯域光）、または５３０ｎｍ〜５５０ｎｍ（第２の狭帯域光）である。

【0174】

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｇ２→Ｒ、Ｂ２→Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとは、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。

【0175】

７．ソフトウェア
以上に説明した実施形態では、例えば、画像処理装置を構成する各部をハードウェアで構成してもよいし、或は、撮像画像に対してプロセッサーが各部の処理を行う構成としてもよい。例えば、プロセッサーがプログラムを実行することによって画像処理装置をソフトウェアとして実現することとしてもよい。或は、画像処理装置の各部が行う処理の一部をソフトウェアで構成することとしてもよい。ソフトウェアとして実現する場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをプロセッサーが実行する。

【0176】

ここで、プロセッサーは、例えばＣＰＵやＭＰＵ、ＤＳＰ、ＧＰＵ等の汎用のプロセッサーであってもよいし、ＡＳＩＣ等の専用に設計されたプロセッサーであってもよい。即ち、プロセッサーは、処理を記述したプログラムを外部から読み込んで実行する汎用のプロセッサーであってもよいし、その処理を専用に行う回路を予め組み込んだ専用のプロセッサーであってもよい。また、プロセッサーは１つのチップで構成されてもよいし、複数のチップを組み合わせて構成されてもよい。

【0177】

また、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。情報記憶媒体は、ＣＤ−ＲＯＭやＵＳＢメモリーの他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステムの内外に備えられるＨＤＤやＲＡＭ、ＲＯＭ等の「固定用の物理媒体」、モデムを介して接続される公衆回線や、他のコンピューターシステム又はサーバーが接続されるローカルエリアネットワーク又は広域エリアネットワーク等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステムによって読み取り可能なプログラムを記録するあらゆる記録媒体を含む。

【0178】

即ち、プログラムは、上記の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム（操作部、処理部、記憶部、出力部を備える装置）は、このような記録媒体からプログラムを読み出して実行することで画像処理装置を実現する。なお、プログラムは、コンピューターシステムによって実行されることに限定されるものではなく、他のコンピューターシステム又はサーバーがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0179】

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、画像処理装置や内視鏡装置、画像処理方法（画像処理装置の作動方法、内視鏡装置の作動方法）等の各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0180】

１００ 光源部、１１０ 白色光源、１２０ レンズ、２００ 撮像部、
２１０ ライトガイドファイバー、２２０ 照明レンズ、２３０ 集光レンズ、
２４０ 撮像素子、２５０ メモリー、２８０ フィルター駆動部、
２９０ 狭帯域フィルター、３００ 制御装置、３１０ 補間処理部、
３１５ 画像取得部、３２０ ノイズ低減処理部、３２１ 類似度検出部、
３２２ 撮影条件取得部、３２３ 第１のノイズ低減処理部、
３２４ 第２のノイズ低減処理部、３２５ 画像合成部、
３３０ フレームメモリー、３４０ 表示画像生成部、３９０ 制御部、
４００ 表示部、５００ 外部Ｉ／Ｆ部、６０１ 動きベクトル検出部、
６０２ 動きベクトル整列部、６０３ 動きベクトル平均部、
６０４ 明るさ変化量検出部、６０５ 種類情報取得部、
６１１ ブレンド率決定部、６１２ ブレンド処理部、
６２１ 閾値決定部、６２２ 選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】