知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6377171
(24)【登録日】2018年8月3日
(45)【発行日】2018年8月22日
(54)【発明の名称】画像処理装置、内視鏡装置及び画像処理方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20180813BHJP
H04N 9/04 20060101ALI20180813BHJP
G06T 1/00 20060101ALI20180813BHJP
G06T 5/00 20060101ALI20180813BHJP
A61B 1/06 20060101ALI20180813BHJP
A61B 1/045 20060101ALI20180813BHJP
【ＦＩ】
H04N5/232 290
H04N5/232 133
H04N9/04 Z
G06T1/00 290Z
G06T5/00 710
A61B1/06 510
A61B1/045 610
A61B1/045 630
【請求項の数】15
【全頁数】31
(21)【出願番号】特願2016-556133(P2016-556133)
(86)(22)【出願日】2014年10月30日
(86)【国際出願番号】JP2014078974
(87)【国際公開番号】WO2016067425
(87)【国際公開日】20160506
【審査請求日】2017年10月19日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】谷内 章一
【審査官】
藤原 敬利
(56)【参考文献】
【文献】
特開平０１−３０９４７８（ＪＰ，Ａ）
【文献】
特開平１０−２６２１７６（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２２２− ５／２５７
Ａ６１Ｂ １／００ − １／３２
Ｇ０６Ｔ １／００ − １／４０
Ｇ０６Ｔ ３／００ − ５／５０
Ｇ０６Ｔ ９／００ − ９／４０
Ｈ０４Ｎ ９／０４ − ９／１１
(57)【特許請求の範囲】
【請求項1】
第１〜第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から撮像画像を取得する画像取得部と、
合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部と、
を含み、
前記画像取得部は、
第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける前記撮像部の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、
前記処理部は、
前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像に基づいて、第１の合成マップを求め、
前記処理部は、
前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた前記第１の合成マップとに基づいて、第２の合成マップを求め、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行うことを特徴とする画像処理装置。
合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部と、
を含み、
前記画像取得部は、
第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける前記撮像部の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、
前記処理部は、
前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像に基づいて、第１の合成マップを求め、
前記処理部は、
前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた前記第１の合成マップとに基づいて、第２の合成マップを求め、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行うことを特徴とする画像処理装置。
【請求項2】
請求項１において、
前記処理部は、
前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームよりも時間的に過去のフレームである前記第ｋのフレームで求められた前記第１の合成マップとに基づいて、前記第２の合成マップを求め、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行うことを特徴とする画像処理装置。
前記処理部は、
前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームよりも時間的に過去のフレームである前記第ｋのフレームで求められた前記第１の合成マップとに基づいて、前記第２の合成マップを求め、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行うことを特徴とする画像処理装置。
【請求項3】
請求項１又は２において、
前記処理部は、
前記第ｉのフレームの前記第１の合成マップと、前記第ｋのフレームの前記第１の合成マップとを、所与の重み情報を用いて重みづけして合成することで、前記第ｉのフレームにおける前記第２の合成マップを求めることを特徴とする画像処理装置。
前記処理部は、
前記第ｉのフレームの前記第１の合成マップと、前記第ｋのフレームの前記第１の合成マップとを、所与の重み情報を用いて重みづけして合成することで、前記第ｉのフレームにおける前記第２の合成マップを求めることを特徴とする画像処理装置。
【請求項4】
請求項３において、
前記処理部は、
前記第ｉのフレームに対して時間的に近いフレームで求められた前記第１の合成マップの重みを大きくする前記重み情報を用いて、前記第２の合成マップを求めることを特徴とする画像処理装置。
前記処理部は、
前記第ｉのフレームに対して時間的に近いフレームで求められた前記第１の合成マップの重みを大きくする前記重み情報を用いて、前記第２の合成マップを求めることを特徴とする画像処理装置。
【請求項5】
請求項３において、
前記処理部は、
前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像のそれぞれから評価値を求め、求められた前記評価値と所与の閾値を用いた閾値判定処理の結果に基づいて、前記重み情報を設定することを特徴とする画像処理装置。
前記処理部は、
前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像のそれぞれから評価値を求め、求められた前記評価値と所与の閾値を用いた閾値判定処理の結果に基づいて、前記重み情報を設定することを特徴とする画像処理装置。
【請求項6】
請求項５において、
前記処理部は、
前記撮像画像のうち、前記評価値が前記閾値より大きいと判定された第１の領域では、第１の重み情報を設定し、前記第１の重み情報を用いて、前記第１の領域で用いられる前記第２の合成マップを求め、
前記撮像画像のうち、前記評価値が前記閾値以下であると判定された第２の領域では、前記第１の重み情報とは異なる第２の重み情報を設定し、前記第２の重み情報を用いて、前記第２の領域で用いられる前記第２の合成マップを求めることを特徴とする画像処理装置。
前記処理部は、
前記撮像画像のうち、前記評価値が前記閾値より大きいと判定された第１の領域では、第１の重み情報を設定し、前記第１の重み情報を用いて、前記第１の領域で用いられる前記第２の合成マップを求め、
前記撮像画像のうち、前記評価値が前記閾値以下であると判定された第２の領域では、前記第１の重み情報とは異なる第２の重み情報を設定し、前記第２の重み情報を用いて、前記第２の領域で用いられる前記第２の合成マップを求めることを特徴とする画像処理装置。
【請求項7】
請求項３において、
前記撮像部は、
Ｒ，Ｇ，Ｂの３フレームを１周期として、面順次方式で撮像を行い、
前記処理部は、
Ｒのフレームに対応する前記第１の合成マップに比べて、Ｇのフレーム又はＢのフレームに対応する前記第１の合成マップの重みを大きくする前記重み情報を設定することを特徴とする画像処理装置。
前記撮像部は、
Ｒ，Ｇ，Ｂの３フレームを１周期として、面順次方式で撮像を行い、
前記処理部は、
Ｒのフレームに対応する前記第１の合成マップに比べて、Ｇのフレーム又はＢのフレームに対応する前記第１の合成マップの重みを大きくする前記重み情報を設定することを特徴とする画像処理装置。
【請求項8】
請求項１乃至７のいずれかにおいて、
前記処理部は、
第ｊ（ｊは１≦ｊ≦Ｎ、ｊ≠ｉ、ｊ≠ｋを満たす整数）のフレームで求められた前記第１の合成マップと、前記第ｉのフレームで求められた前記第２の合成マップとに基づいて、前記第ｊのフレームにおける前記第２の合成マップを求めることを特徴とする画像処理装置。
前記処理部は、
第ｊ（ｊは１≦ｊ≦Ｎ、ｊ≠ｉ、ｊ≠ｋを満たす整数）のフレームで求められた前記第１の合成マップと、前記第ｉのフレームで求められた前記第２の合成マップとに基づいて、前記第ｊのフレームにおける前記第２の合成マップを求めることを特徴とする画像処理装置。
【請求項9】
請求項８において、
前記第ｊのフレームは、前記第ｉのフレームと時間的に隣り合うフレームであることを特徴とする画像処理装置。
前記第ｊのフレームは、前記第ｉのフレームと時間的に隣り合うフレームであることを特徴とする画像処理装置。
【請求項10】
請求項１乃至９のいずれかにおいて、
前記処理部は、
前記第ｉのフレームで求められた前記第１の合成マップと、第１〜第ｉ−１のフレーム、及び第ｉ＋１〜第Ｎのフレームで求められた前記第１の合成マップとに基づいて、前記第ｉのフレームにおける前記第２の合成マップを求めることを特徴とする画像処理装置。
前記処理部は、
前記第ｉのフレームで求められた前記第１の合成マップと、第１〜第ｉ−１のフレーム、及び第ｉ＋１〜第Ｎのフレームで求められた前記第１の合成マップとに基づいて、前記第ｉのフレームにおける前記第２の合成マップを求めることを特徴とする画像処理装置。
【請求項11】
請求項１乃至１０のいずれかにおいて、
前記処理部は、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像を合成する前記合成処理により第ｉの合成画像を生成し、
前記第１〜第Ｎのフレームに対応する第１〜第Ｎの合成画像を合成することで、出力画像を生成することを特徴とする画像処理装置。
前記処理部は、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像を合成する前記合成処理により第ｉの合成画像を生成し、
前記第１〜第Ｎのフレームに対応する第１〜第Ｎの合成画像を合成することで、出力画像を生成することを特徴とする画像処理装置。
【請求項12】
Ｒ，Ｇ，Ｂの３フレームを少なくとも含む第１〜第Ｎ（Ｎは３以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から撮像画像を取得する画像取得部と、
合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部と、
を含み、
前記画像取得部は、
第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける前記撮像部の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、
前記第ｉのフレームが前記Ｒに対応するフレームの場合に、
前記処理部は、
前記Ｇに対応するフレームで求められた前記合成マップ及び前記Ｂに対応するフレームで求められた前記合成マップの少なくとも一方に基づいて、前記Ｒに対応する前記第ｉのフレームでの前記合成マップを求め、
前記処理部は、
前記合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行うことを特徴とする画像処理装置。
合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部と、
を含み、
前記画像取得部は、
第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける前記撮像部の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、
前記第ｉのフレームが前記Ｒに対応するフレームの場合に、
前記処理部は、
前記Ｇに対応するフレームで求められた前記合成マップ及び前記Ｂに対応するフレームで求められた前記合成マップの少なくとも一方に基づいて、前記Ｒに対応する前記第ｉのフレームでの前記合成マップを求め、
前記処理部は、
前記合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行うことを特徴とする画像処理装置。
【請求項13】
請求項１乃至１２のいずれかに記載の画像処理装置と、
前記撮像部と、
を含むことを特徴とする内視鏡装置。
前記撮像部と、
を含むことを特徴とする内視鏡装置。
【請求項14】
第１〜第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおいて合焦物体位置の異なる複数の撮像画像を取得し、
前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像に基づいて、第１の合成マップを求め、
前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた前記第１の合成マップとに基づいて、第２の合成マップを求め、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する合成処理を行うことを特徴とする画像処理方法。
前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像に基づいて、第１の合成マップを求め、
前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた前記第１の合成マップとに基づいて、第２の合成マップを求め、
前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する合成処理を行うことを特徴とする画像処理方法。
【請求項15】
Ｒ，Ｇ，Ｂの３フレームを少なくとも含む第１〜第Ｎ（Ｎは３以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおいて、合焦物体位置の異なる複数の撮像画像を取得し、
前記第ｉのフレームが前記Ｒに対応するフレームの場合に、
前記Ｇに対応するフレームで求められた合成マップ及び前記Ｂに対応するフレームで求められた前記合成マップの少なくとも一方に基づいて、前記Ｒに対応する前記第ｉのフレームでの前記合成マップを求め、
前記合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する合成処理を行うことを特徴とする画像処理方法。
前記第ｉのフレームが前記Ｒに対応するフレームの場合に、
前記Ｇに対応するフレームで求められた合成マップ及び前記Ｂに対応するフレームで求められた前記合成マップの少なくとも一方に基づいて、前記Ｒに対応する前記第ｉのフレームでの前記合成マップを求め、
前記合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する合成処理を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、内視鏡装置及び画像処理方法等に関する。【背景技術】
【0002】
従来、フォーカス（焦点）の状態が異なる複数の異焦点画像を合成して、画像上の広い領域で（狭義には画像の全領域で）ピントが合っている全焦点画像を生成する手法が知られている。ここでのフォーカスの状態とは、例えばフォーカスレンズ等の光学系の制御状態によって変化するものであり、複数の異焦点画像とは例えば合焦状態における物体（被写体）の位置を表す合焦物体位置が互いに異なる画像となる。【0003】
例えば特許文献１には、焦点位置に関する確率分布である焦点位置確率分布を画素位置ごとに算出し、当該焦点位置確率分布に基づいて求められる最適焦点位置を用いて、合成画像（全焦点画像）を生成する手法が開示されている。【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１３−８４１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１では撮影画像のグレースケール画像、つまり輝度情報から周波数成分の強度を算出することで画素毎の焦点位置を推定し、合成画像を生成している。しかし被写体の輪郭やテクスチャでコントラストを形成する色の波長帯域が照明光の波長帯域と重複しない場合、算出される周波数成分の強度が小さくノイズの影響が相対的に大きくなる。その結果焦点位置の推定精度が落ちるため画像の合成精度も低下する。【0006】
特に、面順次撮像方式ではフレーム毎に照射する照明光の波長が異なるため、画像合成精度もフレーム毎に異なる。例えば面順次撮像方式が多く使用されている内視鏡で撮影する生体画像では、Ｒチャンネルの照明で撮影した画像で周波数成分の強度が小さくなる傾向がある。その結果、面順次撮像方式の同時化処理の際にＲチャンネルの画像だけ合成精度が低下して焦点ぼけを生じ、結果として生体における血管等のＲＧＢバランス、すなわち色みが崩れるという問題がある。【0007】
本発明の幾つかの態様によれば、面順次撮像方式の所与のフレームでの複数の異焦点画像の合成処理において、必要に応じて他のフレームでの情報を用いることで、精度よく合成処理を行う画像処理装置、内視鏡装置及び画像処理方法等を提供することができる。【課題を解決するための手段】
【0008】
本発明の一態様は、第１〜第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から撮像画像を取得する画像取得部と、合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部と、を含み、前記画像取得部は、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける前記撮像部の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、前記処理部は、前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像に基づいて、第１の合成マップを求め、前記処理部は、前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた前記第１の合成マップとに基づいて、第２の合成マップを求め、前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行う画像処理装置に関係する。【0009】
本発明の一態様では、第ｉのフレームで撮像された合焦物体位置の異なる複数の画像を合成する際に、第２の合成マップを用い、第２の合成マップは第ｉのフレームから求めた第１の合成マップと、第ｋのフレームから求めた第１の合成マップとに基づいて算出する。これにより、所与のフレームの合成処理を行う際の合成マップを、他のフレームの情報を考慮した上で求めることができ、精度の高い合成処理を実現すること等が可能になる。【0010】
また、本発明の他の態様は、Ｒ，Ｇ，Ｂの３フレームを少なくとも含む第１〜第Ｎ（Ｎは３以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から撮像画像を取得する画像取得部と、合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部と、を含み、前記画像取得部は、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける前記撮像部の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、前記第ｉのフレームが前記Ｒに対応するフレームの場合に、前記処理部は、前記Ｇに対応するフレームで求められた前記合成マップ及び前記Ｂに対応するフレームで求められた前記合成マップの少なくとも一方に基づいて、前記Ｒに対応する前記第ｉのフレームでの前記合成マップを求め、前記処理部は、前記合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する前記合成処理を行う画像処理装置に関係する。【0011】
また、本発明の他の態様は、上記の画像処理装置と、前記撮像部と、を含む内視鏡装置に関係する。【0012】
また、本発明の他の態様は、第１〜第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおいて合焦物体位置の異なる複数の撮像画像を取得し、前記第ｉのフレームで撮像された前記合焦物体位置の異なる複数の前記撮像画像に基づいて、第１の合成マップを求め、前記第ｉのフレームで求められた前記第１の合成マップと、前記第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた前記第１の合成マップとに基づいて、第２の合成マップを求め、前記第２の合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する合成処理を行う画像処理方法に関係する。【0013】
また、本発明の他の態様は、Ｒ，Ｇ，Ｂの３フレームを少なくとも含む第１〜第Ｎ（Ｎは３以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおいて、合焦物体位置の異なる複数の撮像画像を取得し、前記第ｉのフレームが前記Ｒに対応するフレームの場合に、前記Ｇに対応するフレームで求められた合成マップ及び前記Ｂに対応するフレームで求められた前記合成マップの少なくとも一方に基づいて、前記Ｒに対応する前記第ｉのフレームでの前記合成マップを求め、前記合成マップに基づいて、前記第ｉのフレームで撮像された前記合焦物体位置の異なる前記複数の画像を合成する合成処理を行う画像処理方法に関係する。【図面の簡単な説明】
【0014】
【発明を実施するための形態】
【0015】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。【0016】
１．本実施形態の手法まず本実施形態の手法について説明する。近年、複数の異焦点画像を合成して全焦点画像を生成する手法が用いられている。例えば、撮像部からの距離が近い位置にフォーカスが合っている第１の画像と、当該第１の画像と比較した場合に、撮像部からの距離が遠い位置にフォーカスが合っている第２の画像を、複数の異焦点画像として取得しておく。ここで、撮像部からの距離が近い位置にフォーカスが合っているとは、合焦物体位置が撮像部に近い、と言い換えることが可能である。また、第１の画像と第２の画像の画角（撮像される被写体の範囲）は基本的に同一となる。
【0017】
このような場合、撮像された被写体のうち、撮像部からの距離が比較的近い第１の被写体については、第１の画像でピントが合っており、撮像部からの距離が比較的遠い第２の被写体については、第２の画像でピントが合っていると考えられる。よって、撮像画像のうち、第１の被写体が撮像されている領域については第１の画像の画素値を採用し、第２の被写体が撮像されている領域については第２の画像の画素値を採用することで合成画像を生成すれば、当該合成画像では第１の被写体と第２の被写体の両方にピントが合うことになる。【0018】
具体的な処理としては、撮像画像の各画素（或いは複数画素からなる領域）に対して、第１，第２の画像のいずれでよりピントが合っているかを判定すればよく、当該判定にはコントラスト等の評価値を用いればよい。第１の画像での評価値＞第２の画像での評価値となれば、当該画素は第１の画像でピントが合っていると判定できるし、そうでなければ、第２の画像でピントが合っていると判定できる。或いは、評価値の差が小さいのであれば、第１の画像の画素値と第２の画像の画素値を合成して、合成画像における処理対象画素の画素値を求めてもよい。【0019】
ここでは、異焦点画像を２枚用いるものとしたが、異焦点画像は３枚以上であってもよい。上述したように、原理的には複数の異焦点画像のいずれかにおいてピントが合っている被写体は、合成画像においてピントがあった状態とすることが可能である。よって、異焦点画像の枚数を増やすことで、広い距離範囲に分布している被写体にピントを合わせることや、撮像画像の広い領域に対してピントを合わせること等が可能になる。【0020】
なお、各異焦点画像でどの距離範囲の被写体にピントが合うかは合焦物体位置や被写界深度の幅に依存するし、被写体がどのような距離範囲に分布しているかはどのような被写体をどのような条件で撮像するかによって変化する。よって、種々の条件によっては、少ない異焦点画像でも、広い領域にピントがあった合成画像が取得できる可能性はあるが、基本的には異焦点画像の枚数が多いほど、合成画像において広い距離範囲の被写体に対してピントを合わせられる傾向にあると言える。【0021】
例えば、近年の顕微鏡等の分野では数十枚の異焦点画像を実時間で合成する手法も用いられている。その場合、視野全体（撮像画像の全領域）に対してピントが合っている画像を出力可能と考えられるため、合成画像を全焦点画像とも呼んでいる。以下、本明細書において、合成処理前の画像を異焦点画像、合成処理後の画像を全焦点画像とも表記する。ただし、本実施形態の全焦点画像とは、必ずしも画像中の全領域に対してピントが合っていることを保証するものではない。【0022】
また、撮像方式として面順次方式が知られている。具体的な構成は、例えば図１に示すような光源部１００により実現できる。光源部１００は、白色光源１１０と、複数の分光透過率を持った回転色フィルタ１２０と、回転色フィルタ１２０を駆動させる回転駆動部１３０を有する。そして、回転色フィルタ１２０は、例えば図２に示すように、三原色の赤色（以下Ｒと略す）フィルタ１２１と、緑色（以下Ｇと略す）フィルタ１２２と、青色（以下Ｂと略す）フィルタ１２３とから構成されている。なお、図１の他の構成については後述する。【0023】
回転駆動部１３０は、撮像制御部４００からの制御信号に基づき撮像素子２２０の撮像期間と同期して回転色フィルタ１２０を所定回転数で回転させる。例えば色フィルタを１秒間に２０回転させると、各色フィルタは６０分の１秒間隔で入射白色光を横切る事になり、撮像素子２２０は６０分の１秒間隔で３原色の各色光（Ｒ或はＧ或はＢ）に対する観察対象からの反射光を撮像し、画像の転送を完了することになる。つまりこの例ではＲ画像、Ｇ画像、Ｂ画像が６０分の１秒間隔で撮像され、実質のフレームレートは２０ｆｐｓとなる。【0024】
フィルタ１２１〜１２３の分光特性は図３（Ａ）〜図３（Ｃ）に示したとおりであり、この例では、所与のフレームｔでフィルタ１２１を透過したＲ帯域の光が照射され、その次のフレームｔ＋１でフィルタ１２２を透過したＧ帯域の光が照射され、その次のフレームｔ＋２でフィルタ１２３を透過したＢ帯域の光が照射されることになる。【0025】
面順次方式では、所与の１フレームに着目した場合に、撮像素子の全画素に対して１つの色（１つのチャネル、波長帯域）での信号が取得される。広く用いられているベイヤ配列の撮像素子であれば、所与の１フレームに着目した場合、Ｒ、Ｇ、Ｂの各信号は撮像素子の全画素の１／４、或いは１／２の画素分しか取得されない。そのため、ベイヤ配列等の撮像素子を用いた場合、Ｒ、Ｇ、Ｂの各信号を全画素分取得するための補間処理が必要となり、解像度が低下する。つまり、面順次方式は各チャネルの信号を撮像素子の全画素で取得できるという意味で、解像度の点でベイヤ配列等の撮像素子を用いる場合に比べて有利である。ただし、１フレーム当たり１色の信号しか取得できないため、各色を合成したカラー画像を出力するためには、複数フレーム分の信号を合成する必要がある。Ｒ，ＧＢの３色であれば、３フレーム当たり１枚のカラー画像が出力されることになり、ベイヤ配列等の撮像素子に比べてフレームレートでは劣ることになる。【0026】
以上に示したように、複数の異焦点画像を合成して全焦点画像を生成する手法、及び面順次方式の撮像手法が、それぞれ知られていた。しかしこれらを組み合わせて用いようとした場合、問題が生じることがわかった。【0027】
具体的な組み合わせ方を図４を用いて説明する。図４ではＲ，Ｇ，Ｂの３色を用いる例を説明するが、チャネル数（１枚のカラー画像出力に必要なフレーム数）は２以上であれば任意である。図４の横軸は時間軸であり、所与の１フレームで、特定の色の信号を用いて複数の異焦点画像を取得する。図４のＡ１のフレームの例であれば、互いに合焦物体位置の異なるＭ（Ｍは２以上の整数）枚のＲ画像が取得されている。同様に、Ａ２のフレームではＭ枚のＧ画像、Ａ３のフレームではＭ枚のＢ画像が取得されている。【0028】
そして、各フレーム毎に複数の異焦点画像を合成して、特定の色信号における全焦点画像を生成する。具体的には、Ａ１で取得されたＭ枚のＲ画像を合成して、Ｒの全焦点画像を生成し、Ａ２で取得されたＭ枚のＧ画像を合成して、Ｇの全焦点画像を生成し、Ａ３で取得されたＭ枚のＢ画像を合成して、Ｂの全焦点画像を生成する。ここでの全焦点画像は、上述したように単色の信号である。よって、Ｒの全焦点画像、Ｇの全焦点画像、Ｂの全焦点画像を合成して１枚のカラー画像を出力する。Ａ３以降のフレームについても以上の処理を繰り返せばよく、３フレーム当たり１枚の全焦点画像が出力される。【0029】
上記先行技術では撮影画像のグレースケール画像、つまり輝度情報から周波数成分の強度を算出することで画素毎の焦点位置を推定し、合成画像を生成している。つまり、図４の例であれば、Ｒの全焦点画像を生成する際には、Ｍ枚のＲ画像を用いて処理を行うし、Ｇ、Ｂの全焦点画像を生成する際には、それぞれＭ枚のＧ画像、Ｂ画像を用いることになる。【0030】
しかし被写体の輪郭やテクスチャでコントラストを形成する色の波長帯域が照明光の波長帯域と重複しない場合、算出される周波数成分の強度が小さくノイズの影響が相対的に大きくなる。その結果焦点位置の推定精度が落ちるため画像の合成精度も低下する。特に、面順次撮像方式ではフレーム毎に照射する照明光の波長が異なるため、画像合成精度もフレーム毎に異なる。【0031】
例えば面順次撮像方式が多く使用されている内視鏡で撮影する生体画像では、Ｒチャンネルの照明で撮影した画像で周波数成分の強度が小さくなる傾向がある。一例としては、血管は画像中でコントラストを形成する要素となるが、血管の色味は主としてＧ信号及びＢ信号により作られるものであり、Ｒ信号の寄与は非常に小さい。そのため、Ｒ画像、Ｇ画像、Ｂ画像のそれぞれに分けて考えた場合、Ｇ画像及びＢ画像では当該血管部分でコントラストが高くなるのに対して、Ｒ画像ではコントラストが非常に小さい。その結果、面順次撮像方式の同時化処理の際にＲチャンネルの画像だけ合成精度が低下して焦点ぼけを生じ、結果として生体における血管等のＲＧＢバランス、すなわち色みが崩れるという問題がある。【0032】
そこで本出願人は、所与の１フレームでの複数の異焦点画像を合成する際に、必要に応じて他のフレームの情報を用いる手法を提案する。具体的には、本実施形態に係る画像処理装置３００は図５に示したように、第１〜第Ｎ（Ｎは２以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部２００から撮像画像を取得する画像取得部３１０と、合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部３２０を含む。【0033】
画像取得部３１０は、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける撮像部２００の撮像により、合焦物体位置の異なる複数の撮像画像を取得する。これは図４を用いて上述したように、各フレームにおいて、対応する色（波長帯域）の異焦点画像をＭ枚取得することに相当する。【0034】
そして処理部３２０は、第ｉのフレームで撮像された合焦物体位置の異なる複数の撮像画像に基づいて、第１の合成マップを求め、第ｉのフレームで求められた第１の合成マップと、第ｉのフレームとは異なる第ｋ（ｋは１≦ｋ≦Ｎ、ｋ≠ｉを満たす整数）のフレームで求められた第１の合成マップとに基づいて、第２の合成マップを求める。さらに処理部３２０は、第２の合成マップに基づいて、第ｉのフレームで撮像された合焦物体位置の異なる複数の画像を合成する。【0035】
ここで合成マップとは、複数の異焦点画像の合成処理に用いられる情報（合成情報）であり、例えば画像の各画素に対して、当該画素の画素値を決定するための情報が対応付けられた情報であってもよい。画素の画素値を決定するための情報は種々考えられるが、所与の１つの異焦点画像の画素値をそのまま全焦点画像の画素値とする場合であれば、選択対象である異焦点画像を特定する情報（画像のIＤ情報等）となる。或いは、いくつかの異焦点画像の画素値を合成して全焦点画像の画素値を求める場合であれば、その合成比率を表す情報を画素値を決定するための情報としてもよい。【0036】
また、第ｉのフレームでの第１の合成マップは、第ｉのフレームで取得された複数の異焦点画像から求められる。すなわち、ここでの第１の合成マップとは所与の１フレームの情報から求められる合成マップである。【0037】
それに対して、本実施形態の手法で合成処理に用いられる合成マップは第２の合成マップである。つまり、所与の１フレームで取得された複数の異焦点画像を合成する際に、当該フレームの情報だけでなく、他のフレームで取得された情報も利用可能になる。これにより、所与のフレームの情報だけでは精度よく合成処理を行うことができない場合であっても、他のフレームの情報を用いることができるため、当該所与のフレームの異焦点画像についても精度よく合成処理を行うことが可能になる。【0038】
例えば、上述した生体内画像の血管のように、Ｒ信号のコントラストが小さい被写体を対象とする場合、Ｒ信号から求めた第１の合成マップの精度が低いため、当該第１の合成マップから合成処理を行うとＲの全焦点画像の合成精度が低くなる。それに対して本実施形態の手法では、例えばＧ信号から求めた第１の合成マップやＢ信号から求めた第１の合成マップを用いてＲの複数の異焦点画像を合成できるため、Ｒの全焦点画像を精度よく求めることが可能になる。【0039】
以下、第１〜第３の実施形態について説明する。第１の実施形態において基本的手法を説明し、第２の実施形態では、時系列に応じて第２の合成マップを求める際の重みづけを行う手法を説明する。第３の実施形態では、評価値を用いて複数の重みづけを使い分ける手法、及び既に求めてある第２の合成マップを異なるフレームでの処理に流用する手法を説明する。【0040】
２．第１の実施形態図１に本実施形態に係る画像処理装置３００、及び当該画像処理装置３００を含む内視鏡装置（広義には電子機器）のシステム構成例を示す。図１に示したように、内視鏡装置は、光源部１００と、撮像部２００と、画像処理装置３００と、撮像制御部４００と、照明光色情報取得部５００を含む。ただし、画像処理装置３００及び内視鏡装置は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、図１では撮像制御部４００と、照明光色情報取得部５００を、画像処理装置３００とは別体の構成としたが、画像処理装置３００が撮像制御部４００及び照明光色情報取得部５００を含むものとしてもよい。
【0041】
光源部１００は、白色光源（光源ランプ）１１０と、回転色フィルタ１２０と、回転駆動部（回転モータ）１３０を含む。光源部１００については、上述した通りであるため、詳細な説明は省略する。なお、図２の回転色フィルタ１２０は、Ｒ，Ｇ，Ｂの３色を用いる例であるため、分光特性の異なる３つのフィルタ１２１〜１２３を有するものであり、Ｎ通りの波長帯域を用いる場合には、Ｎ個のフィルタを有するものとなる。以下ではＲ，Ｇ，Ｂの３色を用いて説明を行うが、色数Ｎは他の数に拡張して考えることが可能である。【0042】
撮像部２００は、光学系（レンズ系）２１０と、撮像素子２２０と、Ａ／Ｄ変換部２３０と、撮像用フレームメモリ２４０を含む。光学系２１０の構成は種々考えられるが、例えばズームレンズと、フォーカスレンズを含むものであってもよい。撮像素子２２０は、回転色フィルタ１２０を透過した特定の波長帯域の光が、被写体により反射された反射光を、光学系２１０を介して受光する。撮像素子２２０では、上記特定の波長帯域での信号を、撮像素子の全面（全画素）で取得することになる。【0043】
Ａ／Ｄ変換部２３０は、撮像素子からのアナログ信号をデジタル信号に変換する。撮像用フレームメモリ２４０は、デジタル変換された撮像画像を記憶するためのメモリである。【0044】
ここで、光学系２１０と撮像素子２２０は、同被写体に対して合焦物体位置（焦点位置）の異なるＭ枚の画像が同時刻で取得できるものとする。具体的には、ステレオカメラを用いてもよく、この場合には光学系２１０と撮像素子２２０をそれぞれＭ組有する撮像部２００を用いればよい。或いは、入射光をプリズム等で分割してもよく、この場合光学系２１０のうちレンズ部分は１つでもよいが、入射光をＭ分割するだけのプリズムやハーフミラーを有する必要があり、撮像素子２２０についても各分割光に対応させてＭ個用いることになる。なお、以下では説明を簡略化するために２枚の異焦点画像を取得するものとするが、異焦点画像の枚数は３枚以上に拡張して考えることが可能である。【0045】
撮像制御部４００は、白色光源１１０前の回転色フィルタ１２０を回転させる回転駆動部１３０の制御と、撮像素子２２０の読み出し制御を同期させ、面順次方式で撮像した画像を撮像用フレームメモリ２４０に格納する。【0046】
照明光色情報取得部５００は、撮像制御部４００の信号を元に各フレームにおいてＲＧＢの何れの色の光が照射されているかを表すラベルを取得する。例えば、Ｒならラベルの値を０、Ｇなら１、Ｂなら２とすればよい。【0047】
画像処理装置３００は、上述したように画像取得部３１０と、処理部３２０を含む。画像取得部３１０は、撮像部２００で撮像された撮像画像を取得する。ここでの撮像画像とは合成処理前の画像、すなわち複数の異焦点画像である。画像取得部３１０は、例えば撮像部２００との間のインターフェースとして実現されてもよい。また、画像取得部３１０は、撮像画像保存用のメモリを含んでもよい。【0048】
処理部３２０は、複数の異焦点画像を合成して全焦点画像を求める処理等を行う。この処理部３２０の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳIＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。【0049】
処理部３２０は、周波数成分算出部３２１と、第１の合成マップ算出部３２２と、第１の合成マップ用フレームメモリ３２３と、第２の合成マップ算出部３２４と、画像合成処理部３２５と、合成画像用フレームメモリ３２６と、同時化処理部３２７を含む。【0050】
以下、処理部３２０の各部の詳細とともに、本実施形態の処理の流れを説明する。また、以下ではＲ，Ｇ，Ｂの３色を用いる例（Ｎ＝３）、及び２枚の異焦点画像を合成する例（Ｍ＝２）を説明するが、上述したようにＭ及びＮは種々の変形実施が可能である。【0051】
周波数成分算出部３２１は、撮像した複数の異焦点画像それぞれに対して、所定の周波数帯域抽出フィルタを用いて算出した評価値ｅを出力する。フィルタには一般的な微分フィルタや、フィルタサイズと係数を実験的に算出したバンドパスフィルタを用いればよい。周波数成分算出部３２１で求められる情報は、例えば一般的なコントラストＡＦで用いられるコントラスト値等であり、評価値ｅはコントラスト値そのものや、コントラスト値に基づいて求められる値である。ここではＭ＝２（２焦点）なので全ての画像座標ｘに対して２つの評価値ｅ１（ｘ）及びｅ２（ｘ）を出力する。ｅ１が第１の異焦点画像（焦点１の画像）から求められた評価値ｅであり、ｅ２が第２の異焦点画像（焦点２の画像）から求められた評価値ｅである。【0052】
第１の合成マップ算出部３２２は、ｅ１（ｘ）、ｅ２（ｘ）の大小関係を表す評価値Ｅ（ｘ）を用いて、座標毎に各画像のどちらを合成画像として選択するか決定する値ＭＦを算出し出力する。画素毎に求められるＭＦの、画像の全領域分の集合が第１の合成マップを表すことになる。【0053】
Ｅはｅ１とｅ２の比、または差の値を用いればよい。ＭＦはＥを用いて、例えば下式（１）により求めればよい。なお、Ｅ１，Ｅ２は実験的に求められる閾値であり、１は焦点１，０は焦点２の画像をそれぞれ１００％で合成することを意味する。【数1】
【0054】
また、第１の合成マップ用フレームメモリ３２３は、求められた第１の合成マップを保存する。後の説明のため、現フレームからｊ番目の過去フレームで算出した第１の合成マップをＭＦｊと定義する。現フレームで算出したものはＭＦ０となる。【0055】
第２の合成マップ算出部３２４は、照明光色情報のラベルと現フレームと過去フレームで算出した第１の合成マップを用いて第２の合成マップを算出する。具体的には、第２の合成マップ算出部３２４は、第１の合成マップ加重算出部（重み算出部）３２４１と、第１の合成マップ時系列平滑化処理部（加重平均処理部）３２４２と、合成マップ読出し制御部３２４３を含む。【0056】
第１の合成マップ加重算出部３２４１は、照明色情報のラベルに基づいて、面順次の周期に対応するＮ個の第１の合成マップを加重平均するための重みＷｉ（ｘ）を算出する。重みは下式（２）を満たすように設定する。【数2】
【0057】
ここではＮがＲ，Ｇ，Ｂの３つなのでＷ０（ｘ），Ｗ１（ｘ），Ｗ２（ｘ）の３つを上式（２）を満たすように求めることとなる。本実施形態では、照明がＲの波長帯域ならラベル０，Ｇなら１，Ｂなら２なので、例えば、図６に示したテーブルのように重みを設定すればよい。ここでは、光がＲ、Ｇ、Ｂ、Ｒ・・・の順に照射されるものとしている。つまり、ラベル＝０の場合、現フレームがＲ、１フレーム前がＢ、２フレーム前がＧとなるため、Ｗ０はＲ信号から求められた第１の合成マップに対する重みを表し、Ｗ１がＢ信号、Ｗ２がＧ信号から求められた第１の合成マップに対する重みを表す。同様に、ラベル＝１の場合、現フレームがＧであるため、Ｗ０がＧ信号、Ｗ１がＲ信号、Ｗ２がＢ信号に対応する。ラベル＝２の場合、現フレームがＢであるため、Ｗ０がＢ信号、Ｗ１がＧ信号、Ｗ２がＲ信号に対応する。【0058】
図６からわかるように、本実施形態ではＲの帯域の光を照射したフレームに対する重みを０とし、Ｇ，Ｂに対応するフレームに対する重みをそれぞれ０．５とする。ただし、第１の合成マップを加重平均して第２の合成マップを求める際の重みはこれに限定されない。例えば上記テーブルの値は、被写体に対して実験的に最適値を与えることが望ましい。【0059】
ここでは生体内画像における血管のように、Ｒ信号からはコントラストを精度よく求められない例を考えているため、Ｒ信号に対応する重みを相対的に小さくし、それ以外、すなわちＧ信号とＢ信号に対応する重みを相対的に大きくした。この処理はＲに限定されるものではなく、Ｎ個のチャネルのうち、特定のチャネルで精度が低下することがわかっていれば、当該チャネルの重みを小さくし、他のチャネルの重みを大きくすればよい。或いは、重みを小さくする場合にも０とするものには限定されず、相対的に小さく且つ０でない値を用いてもよい。【0060】
合成マップ読出し制御部３２４３は、現フレームと過去２フレームの３フレームで保存した第１の合成マップＭＦｉを読み出す。ここでは、Ｒ，Ｇ，Ｂの３色からなる３フレームを１周期としているため、ＭＦ０，ＭＦ１，ＭＦ２の３つの第１の合成マップを読み出すものとしたが、１周期がＮフレームであれば、Ｎフレーム分の第１の合成マップを読み出せばよい。具体的には、ＭＦ０〜ＭＦＮ−１のＮ個の第１の合成マップを読み出す。【0061】
第１の合成マップ時系列平滑化処理部３２４２は、下式（３）を用いて、現フレームの複数の異焦点画像を合成する際に用いられる第２の合成マップＭＳを算出し、出力する。【数3】
【0062】
以上の第２の合成マップ算出部３２４における処理により、照明の色が被写体のコントラストを形成しにくい色となるフレームでは算出した合成マップの重みが小さくなり、それ以外のフレームで算出した合成マップの値と加重平均される。第１の合成マップ時系列平滑化処理部３２４２で求められた第２の合成マップは、画像合成処理部３２５に出力される。【0063】
画像合成処理部３２５は、第１の異焦点画像と、第２の異焦点画像を、求められた第２の合成マップに基づいて合成し、合成画像用フレームメモリ３２６に保存する。具体的には、画素位置ｘでの合成画像（全焦点画像）の画素値をI’（ｘ）、第１の異焦点画像の画素値をI１（ｘ）、第２の異焦点画像の画素値をI２（ｘ）とした場合に、下式（４）により合成処理を行えばよい。上述したように、ＭＳ（ｘ）＝１であれば、当該画素の画素値は第１の異焦点画像の画素値が１００％用いられ、ＭＳ（ｘ）＝０であれば、当該画素の画素値は第２の異焦点画像の画素値が１００％用いられる。I’(x) = MS(x)×I1(x) + {1-MS(x)}×I2(x) ・・・・・（４）
【0064】
以上の処理を１周期分（３フレーム）の情報を対象として行うことで、各色の全焦点画像が取得される。同時化処理部３２７では、面順次撮影の１周期で算出した合成画像に基づいて、現フレームのＲＧＢフルカラー画像を生成する。【0065】
具体的には、同時化処理部３２７は、フルカラー画像生成部３２７１と、合成画像読出し制御部３２７２を含んでもよい。合成画像読出し制御部３２７２は、所与のフレームであることを条件に、過去フレームで合成画像用フレームメモリ３２６に保存された合成画像を読み出す。例えば図４の例であれば、Ａ１〜Ａ３の３フレームの情報を用いてカラー画像を出力するものとしているため、現フレームがＡ３のフレーム（Ｂのフレーム）である場合に、過去２フレーム（ＲとＧのフレーム）で保存された合成画像を読み出せばよい。【0066】
フルカラー画像生成部３２７１では、上記制御に従って読み出された過去フレームでの合成画像と、現フレームでの合成画像を合成する処理を行ってフルカラー画像を生成、出力する。【0067】
以上の本実施形態による効果を、従来手法と比較しつつ図７（Ａ）〜図８（Ｆ）を用いて説明する。図７（Ａ）は第１のフォーカス状態での画像の例であり、図７（Ｂ）は第２のフォーカス状態での画像の例である。図７（Ａ）、図７（Ｂ）はフルカラー画像を表す模式図であるが、本実施形態ではＲ，Ｇ，Ｂの各フレームにおいて、第１の異焦点画像として図７（Ａ）に対応する単色画像が取得され、第２の異焦点画像として図７（Ｂ）に対応する単色画像が取得される。それぞれの画像中央部に縦方向に見えるラインが血管を表しており、図からわかるように図７（Ａ）では血管がはっきり観察できるのに対して、図７（Ｂ）では血管がぼやけている。つまりこの例では、Ｒ，Ｇ，Ｂのいずれのフレームにおいても、少なくとも血管周辺部では、第１の異焦点画像の画素値を合成画像の画素値とすることで、合成画像において当該血管にピントを合わせることが可能である。【0068】
第１の異焦点画像及び第２の異焦点画像の所与の位置に、点Ｐ及び点Ｑを設定する。第１の異焦点画像でのＰの位置と第２の異焦点画像でのＰの位置は一致し、同様にＱの位置についても一致する。ここで、各異焦点画像での線分ＰＱ上での画素値の変化を図８（Ａ）及び図８（Ｂ）に示す。図８（Ａ）及び図８（Ｂ）は、横軸が画素位置を表し、縦軸が対応する画素位置での画素値を表す。【0069】
この場合、血管の位置、すなわちＰとＱの中間位置では他の領域（生体でいえば粘膜等）に比べて画素値が大きく変化する。そのため、図８（Ａ）のＧ１やＢ１に示したように、第１の異焦点画像の画素値のうち、ＧとＢの画素値については、ＰとＱの中間点で非常に小さくなっている。それに対して、ピントが合っていない第２の異焦点画像では、図８（Ｂ）のＢ２、Ｇ２に示したように、ＧとＢの画素値に変化はみられるものの、当該変化が緩やか（画素位置の変化に対する画素値の変化が小さい、傾きが小さい）である。【0070】
そのため、ＧとＢの画素については、血管付近の情報を用いて評価値ｅ（コントラスト値）を求めれば、ｅ１＞ｅ２であってその差が明確である。よって、Ｅ＝ｅ１−ｅ２、或いはＥ＝ｅ１／ｅ２によりＥを求めた場合、当該Ｅは上式（１）のうちＥ＞Ｅ２を満たすものとなる。これを表したものが図８（Ｃ）のうちのＧ，Ｂである。図８（Ｃ）はＲ信号、Ｇ信号、Ｂ信号から求められる第１の合成マップの値のうち、ＰＱ上に位置する画素での値を表したグラフである。上述したように、Ｇ信号、Ｂ信号では２つの異焦点画像でそれぞれ評価値を精度よく求めることができるため、当該評価値に基づく第１の合成マップも、適切な値、すなわち第１の異焦点画像を用いることを表す値（縦軸＝１）となっている。【0071】
つまり、Ｇ信号やＢ信号では、合成処理に第１の合成マップＭＦを用いた場合、すなわち、従来手法と同様に現フレームの情報だけを用いて現フレームの合成処理を行ったとしても、大きな問題とならない。図８（Ｅ）は図８（Ｃ）に示した第１の合成マップを用いて、図８（Ａ）の第１の異焦点画像及び図８（Ｂ）の第２の異焦点画像を合成した場合の合成画像の画素値を表す図である。図８（Ｅ）からわかるように、Ｇ信号及びＢ信号については、図８（Ａ）に示した第１の異焦点画像と同様の値となり、適切な画像を選択できていることがわかる。【0072】
一方、上述したように血管の色味にはＲ信号はあまり含まれていない。そのため、図７（Ａ）に示したように、カラー画像をユーザが観察すれば画像中央部に縦方向に走る被写体があることは一目瞭然であるが、Ｒの画素値にはそれが十分反映されない。具体的には、図８（Ａ）のＲ１に示したように、実際にはピントが合っている状況でも、Ｒ信号はＧ信号やＢ信号に比べて、血管部分での画素値の変化が非常に小さい。さらにピントが合っていない状況では、図８（Ｂ）のＲ２に示したように、画素値の変化がノイズと区別できない程度に小さくなってしまうこともある。【0073】
この場合、図８（Ａ）のＲの値の変化は非常に小さく、精度よくノイズと区別することは容易ではない。その結果、図８（Ａ）と図８（Ｂ）のＲの画素値を用いて求められる評価値ｅは、ｅ１とｅ２で明確な差が生じない。結果として、Ｅは上式（１）のうち、Ｅ１＜Ｅ＜Ｅ２を満たすものとなり、例えば図８（Ｃ）のＲに示したようにＭＦ＝０．５といった値となる。【0074】
そのため、Ｒ信号で従来手法と同様に第１の合成マップを用いて現フレームの合成処理を行ってしまうと、図８（Ｅ）に示したように、合成画像のＲ画素値は、第１の異焦点画像のＲ画素値（Ｒ１）と第２の異焦点画像のＲ画素値（Ｒ２）の平均値となってしまう。図８（Ａ）のＲ１と、図８（Ｅ）の（Ｒ１＋Ｒ２）／２を比較すればわかるように、ただでさえ小さい血管部分での画素値変化が、合成処理によりさらに小さいものとなってしまっている。カラー画像での色味はＲ，Ｇ，Ｂの各画素値の割合によって決定されるため、画素値の変化がわずかでもユーザにとっての色味は大きく変化する。その点、現フレームの情報だけを用いる従来手法では、特定の照明光で撮像したフレームでは適切な合成処理を行えないことになる、結果として被写体（ここでは血管）の色味が不自然なものとなってしまう。【0075】
ここでは、ｅ１とｅ２に差がない場合には２つの異焦点画像を合成するものとしたが、合成処理の手法によっては第１の異焦点画像と第２の異焦点画像のいずれかを必ず選択する（第１の合成マップの値を０又は１の２値に限定する）ことがあり得る。その場合、ｅ１とｅ２に差がない以上、第２の異焦点画像が選択される（第１の合成マップの値が０となる）おそれもある。そうなると、合成後のＲ画素値が図８（Ｂ）に一致してしまい、図８（Ｅ）よりもＲの画素値が小さい、すなわちより不適切な色味となるおそれがある。【0076】
それに対して、本実施形態の手法では第１の合成マップではなく、第２の合成マップを合成処理に用いる。そして、第２の合成マップは複数の第１の合成マップを所与の重みを用いて加重平均して求められる。図６のテーブル及び上式（３）の例であれば、第２の合成マップは、Ｇ信号での第１の合成マップの値と、Ｂ信号での第１の合成マップの値の平均値となる。そのため、第２の合成マップは図８（Ｄ）に示したように、Ｒ，Ｇ，Ｂのすべてにおいて、線分ＰＱ上では１となる。【0077】
図８（Ｆ）は図８（Ｄ）に示した第２の合成マップを用いて、図８（Ａ）の第１の異焦点画像及び図８（Ｂ）の第２の異焦点画像を合成した場合の合成画像の画素値を表す図である。この場合、ＰＱ上では第２の合成マップの値は１であるから、合成処理後の画素値は、第１の異焦点画像と同様となり、図８（Ｆ）は図８（Ａ）と一致する。つまり本実施形態の手法であれば、図７（Ａ）に示したようにピントが合っている側の異焦点画像を適切に選択することが可能になる。【0078】
さて、ここまでの説明により、Ｒ信号（広義にはコントラストを形成しにくい色の信号）がそもそも必要なのか、という点を疑問に感じることがあるかもしれない。つまり、特定のチャネル（例えばＲ）でコントラストがでないのであれば、Ｒ画像については複数の異焦点画像のいずれについてもピントが合っていないはずだから、どのように合成しようとピントが合うはずがない、言い換えれば、どのような合成を行ったとしても、Ｒ画像がカラー画像に影響を及ぼさないのではないか、との考えが成り立ちそうに思える。【0079】
しかし、所与の被写体を実現するに当たり、所定の色が全く寄与しないということは現実的には考えにくい。主としてＧやＢが用いられるとしてもＲ信号が０ということはなく、対象となる被写体を形成するＲ信号が存在するはずである。そして、そのＲ信号は図８（Ｂ）に示したようにピントが合っていない異焦点画像ではノイズに埋もれてしまうかもしれないが、図８（Ａ）に示したようにピントが合っている異焦点画像では、ある程度の値がみられるものである。【0080】
つまり、コントラストを形成しにくい色であっても、コントラストを全く形成しないとは言えない以上、適切な異焦点画像を選択する意義がある。そして、上述したように、色味は各チャネルの信号の比率で決定されるものである。そのため、コントラストの形成においてＧ，Ｂに比べてＲの寄与度が小さいからといって、Ｒ信号の色味に対する影響は無視してよいものではない。例えば図８（Ｅ）と図８（Ｆ）ではＲの画素値自体の変化量はさほど大きくないが、図８（Ｆ）では色味が自然である（生体内画像撮像時に、血管の色味としてよく見られる色である）のに対して、図８（Ｅ）では色味が不自然となることがわかっている。【0081】
また、以上の説明により新たな疑問が生じるかもしれない。具体的には、コントラストを形成しにくい色であっても、ピントがあっている異焦点画像とピントがあっていない異焦点画像との間で差異が生じるのであれば、従来手法と同様にＲ信号だけを用いて当該差異を検出できるのではないか、言い換えれば、第１の合成マップだけを用いても適切な合成処理ができるのではないか、との考えが成り立ちそうに思える。【0082】
しかし、図８（Ａ）のＲ１をみればわかるように、Ｒ信号の変化は非常に小さい。また、ノイズの混入度合いも状況に応じて変化する。そのため、各異焦点画像からコントラスト値を求めた場合に、それがノイズに起因するものなのか、本来の信号値変化に起因するものなのかを適切に切り分けることが難しく、複数の異焦点画像同士をコントラスト値を用いて評価することも困難である。つまり、従来手法に関して上述してきたように、コントラストを形成しにくい色では精度よく合成処理を行うことが難しいという課題がある。その際、ＧやＢは図８（Ａ）から明らかなように、本来の信号値変化がノイズによる信号値変化に比べて十分大きいため、精度のよい合成処理が可能であり、Ｒ信号についても、無理にＲ信号だけから合成するよりは、ＧやＢの情報を用いたほうが精度の面で有利である。【0083】
以上で説明したように、照明の色が被写体のコントラストを形成しにくい色となるフレームでも、それ以外の照明で撮影したフレームで算出した合成マップの値に基づいて画像を合成することにより、被写体の色と照明の色に依存せず全てのフレームで高い精度の画像合成が可能となる。【0084】
図９及び図１０が本実施形態に係る処理を説明するフローチャートである。図９が１フレーム毎に行われる処理を表し、この処理が開始されると、まずＭ枚の異焦点画像を取得する（Ｓ１０１）。それとともに、Ｓ１０１で取得したＭ枚の異焦点画像が、どの照明光により撮像されたものであるかを表す照明光色情報を取得する（Ｓ１０２）。ここでの照明光色情報とは、上述したラベルであってもよく、Ｒ，Ｇ，Ｂの３色の場合、０，１，２のいずれかの値をとる情報である。【0085】
次に、複数の異焦点画像の各画像を対象として、周波数成分（コントラスト値、評価値）を算出し（Ｓ１０３）、当該周波数成分に基づいて、現フレームでの第１の合成マップＭＦ０を算出する（Ｓ１０４）。周波数成分の算出は、上述したようにバンドパスフィルタ等を用いればよく、第１の合成マップの算出は上式（１）等を用いればよい。算出された第１の合成マップＭＦ０はフレームメモリ（第１の合成マップ用フレームメモリ３２３）に記憶される。【0086】
第１の合成マップＭＦ０が求められたら、実際に合成処理に用いる第２の合成マップＭＳを算出する（Ｓ１０６）。第２の合成マップの算出処理を表すフローチャートが図１０であり、この処理が開始されると、面順次の１周期を構成するフレーム数をＮとして、フレーム数分のループを開始する（Ｓ２０１）。具体的には、Ｓ２０１とＳ２０５のブロックの間の処理を、１周期分だけループする。【0087】
Ｓ２０１のループ内では、第１の合成マップの全画素（撮像画像の全画素）をスキャンして、各画素に対して第２の合成マップを算出する際の重みＷｉを設定する。図１０ではＳ２０２及びＳ２０４が画素を始点から終点まで１画素ずつ更新していくループになり、当該ループ内で、処理対象画素に対して、照明光色情報に基づいて重みＷｉ（ｘ）を設定する処理（Ｓ２０３）が行われる。【0088】
Ｓ２０１〜Ｓ２０５により、重みＷ０，Ｗ１，Ｗ２，・・・ＷＮ−１が求められる。また、１周期分の過去の第１の合成マップをフレームメモリ（第１の合成マップ用フレームメモリ３２３）から読み出し、読み出した第１の合成マップをそれぞれＭＦ１，ＭＦ２，・・・ＭＦＮ−１とする（Ｓ２０６）。【0089】
そして、Ｓ１０４で求められた現フレームの第１の合成マップＭＦ０と、Ｓ２０６で読み出したＭＦ１，ＭＦ２，・・・ＭＦＮ−１を、Ｓ２０５までのループ処理で求められた重みＷ０，Ｗ１，Ｗ２，・・・ＷＮ−１を用いて加重平均して第２の合成マップＭＳを求める（Ｓ２０７）。具体的な加重平均は、例えば上式（３）を用いればよい。【0090】
第２の合成マップＭＳが求められたら、当該第２の合成マップＭＳを用いて、Ｍ枚の位相点画像を合成して合成画像I０を求め（Ｓ１０７）、求めた合成画像I０をフレームメモリ（合成画像用フレームメモリ３２６に保存する（Ｓ１０８）。【0091】
また、１周期分の過去の合成画像I１、I２、・・・IＮ−１を読み出し（Ｓ１０９）、I０と読み出した過去の合成画像I１、I２、・・・IＮ−１を用いて１枚のフルカラー画像を生成する（Ｓ１１０）。【0092】
以上の本実施形態では、画像処理装置３００の処理部３２０は、第ｉのフレームで求められた第１の合成マップと、第ｉのフレームよりも時間的に過去のフレームである第ｋのフレームで求められた第１の合成マップとに基づいて、第２の合成マップを求める。そして処理部３２０は、第２の合成マップに基づいて、第ｉのフレームで撮像された合焦物体位置の異なる複数の画像を合成する合成処理を行う。【0093】
これにより、第１の実施形態として上述したように、現フレーム（処理対象フレーム）よりも前のフレームで求められた第１の合成マップを、現フレームでの第２の合成マップの算出に利用することが可能になる。このようにすれば、仮に現フレームで求められる第１の合成マップＭＦ０の信頼性が低い場合にも、精度よく第２の合成マップを求めることが可能になる。特に、リアルタイム処理のように、最新フレームを対象として順次第２の合成マップ算出処理、及びそれを用いた合成処理を行っていく場合、各フレームにおいて当該フレームでの第１の合成マップ算出処理が実行される。よって、過去フレームの第１の合成マップは算出済みであるため、それを保存、読み出しすれば、現フレームにおいて過去フレームの第１の合成マップを算出する処理を行う必要がなく、効率的な処理を実行することが可能である。【0094】
なお、以上の説明では現フレームの処理において過去フレームの情報を用いるものとしたが、本実施形態の処理は異なる変形実施が可能である。具体的には、所与のフレームを処理対象フレームとした場合に、当該フレームよりも時間的に後のフレームで求められる第１の合成マップを処理に用いてもよい。【0095】
例えば、内視鏡装置を用いて病変の発見と、病変の除去の両方を行うような場合、撮像した画像を可能な限り遅延を減らして表示する必要がある。その場合、上述してきたように、最新フレーム（現フレーム）に対して合成処理を行って即座に表示する必要があり、そのために利用する他のフレームは必然的に過去フレームとなる。しかし、病変のスクリーニングのみを目的とする場合、画像は撮像後蓄積しておき、当該画像のユーザ（医師）による閲覧はある程度時間がたってから行われてもよい。一例としては、カプセル内視鏡を用いた撮像では、撮像画像はユーザが保持する受信機等に保存されるため、当該画像を観察完了後（カプセル内視鏡が体外に排出された後）等に閲覧する利用形態が考えられる。【0096】
この場合、処理を開始する段階ではある程度のフレームに渡って複数の異焦点画像が取得できているのであるから、第１の合成マップ及び第２の合成マップの算出処理は時間的に前のフレームから始める必要はない。例えば、時間的に最も後のフレームや、観察の重要度が高い被写体が撮像されているフレーム等から処理を開始してもよい。その際、本実施形態の手法は１フレーム（特定の波長帯域）だけで合成処理を閉じず、他のフレーム（他の波長帯域）の情報も利用する点に特徴がある。つまり、処理対象フレームに対して、時間的に前か後かは問題とならず、当該処理対象フレーム以外のフレームを処理に用いればよい。【0097】
その際、第２の実施形態で後述するように、フレーム間で被写体と撮像部の相対的な動きがあると、当該フレームをまたいで第１の合成マップを流用することは適切ではない。よって、処理対象フレーム以外のフレームを用いる際には、上述したように時間的な前後は問わないが、動きが生じる可能性を低減するためにも、時間的に大きく離れたフレームは用いないことが好ましい。また、動きがない（小さい）ことが求められることを考慮すれば、フレーム間の動き情報を求め、処理対象フレームに対して被写体と撮像部の相対的な動きが小さいと判定されたフレームを優先的に処理に用いるような変形実施も可能である。ここでの動き情報とは、例えば取得タイミングが異なる複数の画像から算出される動きベクトル等であってもよい。【0098】
また、処理部３２０は、第ｉのフレームの第１の合成マップと、第ｋのフレームの第１の合成マップとを、所与の重み情報を用いて重みづけして合成することで、第ｉのフレームにおける第２の合成マップを求めてもよい。【0099】
これにより、処理対象フレームと他のフレームとでそれぞれ第１の合成マップが求められた際に、第２の合成マップをそれら複数の第１の合成マップの重み付け合成により求めることが可能になる。具体的には、上式（３）に示したように、重みづけ加算処理を行えばよい。【0100】
また、撮像部２００は、ＲＧＢの３フレームを１周期として、面順次方式で撮像を行い、処理部３２０は、Ｒのフレームに対応する第１の合成マップに比べて、Ｇのフレーム又はＢのフレームに対応する第１の合成マップの重みを大きくする重み情報を設定してもよい。【0101】
これにより、具体的にＲＧＢの三色を用いる場合に、Ｒ信号ではコントラストが形成されにくい状況でも精度のよい合成処理を行うことが可能になる。具体的な重み情報は、図６を用いればよく、図６の例ではＲに対応する重みを０とし、Ｇ及びＢに対応する重みをそれぞれ０．５としている。これは上述したように、生体内画像で血管を観察対象とする場合に有用である。【0102】
また、処理部３２０は、第ｉのフレームで求められた第１の合成マップと、第１〜第ｉ−１のフレーム、及び第ｉ＋１〜第Ｎのフレームで求められた第１の合成マップとに基づいて、第ｉのフレームにおける第２の合成マップを求めてもよい。【0103】
これにより、面順次の１周期の信号を用いて、所与のフレームでの第２の合成マップを求めることが可能になる。例えば、ＲＧＢの三色であれば、Ｒのフレームで第２の合成マップを求める際にはＧとＢのフレームを参照するし、Ｇのフレームで第２の合成マップを求める際にはＢとＲのフレームを参照するし、Ｂのフレームで第２の合成マップを求める際にはＲとＧのフレームを参照する。なお、上述したように、参照するフレーム（処理対象フレームとは異なるフレーム）は時間的な前後を問わない。よって、Ｒ１→Ｇ１→Ｂ１→Ｒ２→Ｇ２→Ｂ２・・・といった順で光が照射される場合であって、Ｒ２のフレームで第２の合成マップを求める場合、参照するＧとＢの組は、（Ｇ１，Ｂ１）であってもよいし（Ｂ１，Ｇ２）であってもよいし（Ｇ２，Ｂ２）であってもよい。このようにすれば、撮像可能な全ての色（全ての波長帯域）の情報を用いることになるため、第２の合成マップを精度よく求めることが可能になる。【0104】
また、処理部３２０は、第２の合成マップに基づいて、第ｉのフレームで撮像された合焦物体位置の異なる複数の撮像画像を合成する合成処理により第ｉの合成画像を生成し、第１〜第Ｎのフレームに対応する第１〜第Ｎの合成画像を合成することで、出力画像（表示画像、フルカラー画像）を生成する。【0105】
これにより、各フレームにおいて合成画像（全焦点画像）が求められた後については、一般的な面順次方式の撮像と同様に、１周期分の画像をさらに合成して、フルカラー画像を生成することが可能になる。具体的には図４に示した処理を行えばよい。【0106】
また、以上の本実施形態は、Ｒ，Ｇ，Ｂの３フレームを少なくとも含む第１〜第Ｎ（Ｎは３以上の整数）のフレームを１周期として、面順次方式で撮像を行う撮像部２００から撮像画像を取得する画像取得部３１０と、合成マップに基づいて、撮像された撮像画像を合成する合成処理を行う処理部３２０を含む画像処理装置３００に適用できる。そして、画像取得部３１０は、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のフレームにおける撮像部２００の撮像により、合焦物体位置の異なる複数の前記撮像画像を取得し、第ｉのフレームがＲに対応するフレームの場合に、処理部３２０は、Ｇに対応するフレームで求められた合成マップ及びＢに対応するフレームで求められた合成マップの少なくとも一方に基づいて、Ｒに対応する第ｉのフレームでの合成マップを求め、処理部３２０は、合成マップに基づいて、第ｉのフレームで撮像された合焦物体位置の異なる複数の画像を合成する合成処理を行う。【0107】
ここでのＲ，Ｇ，Ｂとは、上述したように光の三原色における赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を表し、Ｒのフレーム、Ｂのフレーム、Ｇのフレームとは、それぞれ対応する色（波長帯域）の光の照射により撮像画像が取得されたフレームを表す。なお、Ｒ，Ｇ，Ｂの各光の波長帯域は種々の変形実施が可能であるが、例えば図３（Ａ）〜図３（Ｃ）に示す帯域であってもよい。【0108】
これにより、ＲＧＢの三色を含む（三色のみであってもよい）面順次方式の撮像を行う場合、処理対象フレームがＲに対応する場合には、Ｇ及びＢの少なくとも一方の情報に基づいて第２の合成マップを求める画像処理装置を実現することが可能になる。例えば図６のテーブルの場合、ラベルがどの値であってもＲ信号から求められる第１の合成マップは参照の対象とならない。つまり、現フレームがＲである場合、現フレームにおける第１の合成マップの算出処理、保存処理をスキップするといった実施形態も考えられる。この場合、処理の一部をスキップできるため、処理負荷が軽減できたり、メモリ容量の圧迫を抑止すること等が可能である。【0109】
また、以上の本実施形態は、図１に示したように、撮像部２００と、上述してきた画像処理装置３００とを含む内視鏡装置に適用できる。【0110】
この場合、生体内画像を対象とする可能性が高いため、上述した血管に関する問題に適切に対応可能となる。【0111】
３．第２の実施形態図１１に本実施形態に係る第２の合成マップ算出部３２４の構成例を示す。図１１以外は第１実施例と同様の構成となる。図１１と図１からわかるように、本実施形態では第１の実施形態の第２の合成マップ算出部３２４に対して、時系列方向加重調整部３２４４が追加された構成となっている。
【0112】
時系列方向加重調整部３２４４は、第１の合成マップ加重算出部３２４１で求められる重みＷｉの値に対して、さらに時系列方向の調整係数Ｃｉをかけて上書きする。上書き前のＷｉ，Ｃｉは下式（５）を満たすように設定する。【数4】
【0113】
第１の実施形態で上式（２）に示したように、最終的に各第１の合成マップに対して作用する重みは、その総和が１となることが好ましい。本実施形態では、Ｗｉ×Ｃｉの値で重みを上書きする、すなわちＷｉ×Ｃｉの値が最終的な重みとなるため、上式（２）に相当する条件は上式（５）により満たすことが可能である。【0114】
ＮがＲ，Ｇ，Ｂの３つなので調整係数としてはＣ０（ｘ），Ｃ１（ｘ），Ｃ２（ｘ）の３つを考慮することとなるが、本実施形態ではＣはｉの値が小さい程大きい値とすることが望ましい。図１２の表が調整係数Ｃ、及び最終的な重みＣｉ×Ｗｉの一例であり、図１２ではＲ信号ではなく、且つ現フレームに近い信号の優先度を高くする調整係数が設定されている。なお、Ｗｉの値は図６のものを用いている。【0115】
具体的には、ラベル＝０では、現フレームがＲであるため、Ｃ０の値を小さくし、Ｃ１，Ｃ２についてはともにＲではないため、より現フレームに近いＣ１の値を大きくしている。ここでは、Ｃ０＝０、Ｃ１＝２、Ｃ２＝０である。また、ラベル＝１及びラベル＝２では、現フレームがそれぞれＧ，ＢでありＲでないため、現フレームであるＣ０の値を２と大きくし、Ｃ１及びＣ２を０としている。【0116】
このような調整係数Ｃと、図６のＷを用いることで、最終的な重みＣｉ×Ｗｉは図１２に示したようになる。ラベル＝０では１フレーム前のＢ信号での第１の合成マップの重みが１となり、他の重みが０となる。ラベル＝１では現フレームのＧ信号での第１の合成マップの重みが１となり、他の重みが０となる。ラベル＝２では現フレームのＢ信号での第１の合成マップの重みが１となり、他の重みが０となる。【0117】
このようにすれば、Ｒ信号の重みを相対的に下げるという前提のもので、時系列的に現フレームに近い第１の合成マップの優先度を高くする（重みを大きくする）ことが可能になる。上述してきた本発明の手法は、所与のフレームでの合成処理に他のフレームで求められた合成マップを用いている。しかし、過去フレームでの合成マップは、当該過去フレームでの合焦状態を反映したものである。そのため、過去フレームと現フレームの間で合焦状態が異なるものとなれば、過去フレームでの合成マップを現フレームに流用することは適切とは言えない。【0118】
例えば、過去フレームと現フレームの間で、被写体が動いてしまった、或いは撮像部が動いてしまったといったように、被写体自体が変わってしまったり、被写体が同一であっても撮像部との相対位置関係が変わってしまえば、過去フレームの合成マップを現フレームで用いることは不適切と言える。【0119】
そして、そのような被写体の相対的な動きは、フレーム間の時間が長いほど生じやすい傾向にある。つまり、第１の合成マップを求めたフレームが現フレームから時間的に離れていればいるほど、当該第１の合成マップを現フレームで用いても精度が出ない可能性が高い。逆に、第１の合成マップを求めたフレームが現フレームから時間的に近いほど、当該第１の合成マップを高精度で利用できる可能性が高い。つまり、現フレームに対する時系列の情報を重みの調整に用いるとよい。【0120】
本実施形態の調整係数Ｃはこの点を考慮したものであり、上述したようにｉの値が小さい程大きい値とすることで、現フレームに対して時間的に近いフレームで求められた第１の合成マップの寄与度を高くすることが可能になる。【0121】
図１３に本実施形態における第２の合成マップ算出処理を説明するフローチャートを示す。図１３のＳ３０１〜Ｓ３０３は図１０のＳ２０１〜Ｓ２０３と同様である。本実施形態では、Ｓ３０３の重みＷｉの設定後に、当該重みに対して時系列方向の調整係数Ｃをかける処理を行う（Ｓ３０４）。Ｓ３０４の処理は、Ｓ３０１のループ及びＳ３０２のループの内部であるため、１周期分の情報を対象として、各画素に対して行われることになる。【0122】
Ｓ３０６までで時系列方向の調整が加えられた重みが求められる。その後の処理（Ｓ３０７，Ｓ３０８）については、図１０のＳ２０６，Ｓ２０７と同様である。【0123】
以上の本実施形態では、処理部３２０は、第ｉのフレームに対して時間的に近いフレームで求められた第１の合成マップの重みを大きくする重み情報を用いて、第２の合成マップを求める。【0124】
これにより、時間的に近いフレームの重みが大きくなるため、被写体と撮像部の相対的な動き等による影響を抑止して、精度のよい合成処理を行うことが可能になる。具体的には図１２のＣ０〜Ｃ２に示した調整係数を用いればよい。なお、時間的に近いとは、処理対象フレームとの時間差が問題であり、第１の実施形態で上述したように、処理対象フレームよりも時間的に前か後かは問題とならない。よって、処理対象フレームの１フレーム後と、１フレーム前とは、特段の事情がない限り区別して取り扱う必要はない。【0125】
なお、ここでの「第ｉのフレームに対して時間的に近い」とは、第ｉのフレームのタイミングを基準とした場合の、対象フレームのタイミングの時間差（或いはフレーム差）が小さいことを表す。例えば、第ｉのフレームに対して、時間的にｐフレーム後に取得された第ｉ＋ｐのフレームと、第ｉのフレームに対して、時間的にｑフレーム後に取得された第ｉ＋ｑのフレームがあり、ｐ＜ｑの場合、第ｉ＋ｐのフレームは第ｉ＋ｑのフレームに比べて、第ｉのフレームに対して時間的に近いことになる。また、第ｉのフレームの取得から時間ｔｐの経過後に取得された第ｉ＋ｐのフレームと、第ｉのフレームの取得から時間ｔｑの経過後に取得された第ｉ＋ｑのフレームがあり、ｔｐ＜ｔｑの場合も、第ｉ＋ｐのフレームは第ｉ＋ｑのフレームに比べて、第ｉのフレームに対して時間的に近い。【0126】
また、上述したように処理対象フレーム（第ｉのフレーム）に対する変化は前か後ろかは問わない。よって、ｐフレーム後或いは時間ｔｐの経過後とは、第ｉのフレームに対する時間的に変化幅としては、ｐフレーム前或いは時間ｔｐだけ前の時間、すなわち−ｐフレーム後、或いは時間（−ｔｐ）の経過後と同等に扱うことが可能である。つまり、「第ｉのフレームに対して時間的に近い」か否かの判定においては、フレーム数や時間の符号を考慮せずに、その絶対値を用いて処理を行ってもよい。例えば、ｐフレーム後と、ｑフレーム前（−ｑフレーム後）であれば、｜ｐ｜＜｜−ｑ｜であるため、ｐフレーム後の方が第ｉのフレームに対して時間的に近いことになる。また、以上の本実施形態で説明したように、第ｉのフレームそのものも重み付けの対象となることから、上述したｐとしてｐ＝０の場合を考慮してもよい。【0127】
４．第３の実施形態図１４に本実施形態に係る内視鏡装置の構成例を示す。図１４に示したように、本実施形態の内視鏡装置は、図１に示した第１の実施形態と比較した場合に、閾値判定部３２８が追加されており、第１の合成マップ用フレームメモリ３２３が、第２の合成マップ用フレームメモリ３２９に置き換えられている。また、第２の合成マップ算出部３２４が、合成マップ加重算出部３２４５と、合成マップ時系列平滑化処理部３２４６と、合成マップ読出し制御部３２４３とを含むものに変更されている。
【0128】
以下、第１の実施形態と同様の箇所については説明を省略し、異なる構成について詳細に説明する。まず本実施形態では、上述したように第１の合成マップ用フレームメモリ３２３が、第２の合成マップ用フレームメモリ３２９に置き換えられている。つまり本実施形態では、所与のフレームにおいて第２の合成マップが求められたら、当該第２の合成マップをメモリに保存する。そのため、第２の合成マップを出力する合成マップ時系列平滑化処理部３２４６は、画像合成処理部３２５とともに、第２の合成マップ用フレームメモリ３２９にも接続されている。【0129】
そして本実施形態では、現フレームの第２の合成マップを求める際に、現フレームでの第１の合成マップと、過去フレームでの第２の合成マップを用いる。その際、過去フレームの第２の合成マップについては、１周期分（１フレーム過去〜Ｎ−１フレーム過去）の全てを用いる必要はなく、例えば直近１フレームの第２の合成マップを用いればよい。【0130】
なぜなら、第１の実施形態や第２の実施形態の手法により１回第２の合成マップが求められた場合、当該第２の合成マップは、１周期分の第１の合成マップに基づいた情報となっている。つまり、第２の合成マップとは複数のフレームを考慮した上で、適切である（精度が高い）と判定された合成マップであるため、当該第２の合成マップは、一部の例外的な状況を除いて現フレームにおいても精度よく利用可能と考えられる。ここでの例外的な状況とは、現フレームと１フレーム過去との間で被写体に動きが生じた、或いは過去１周期において機器の故障等の要因により適切な画像が取得されなかったといった状況であり、生じる可能性は低いものである。【0131】
第１の合成マップは、１フレームの情報のみを用いて求められるため、Ｒに対応するフレームのように信頼性が低いものも含まれている。それに対して、第２の合成マップは複数フレームの情報を含む信頼性が高いものである以上、現フレームの第２の合成マップを求めるに当たり、過去の第２の合成マップを複数利用するメリットは大きくない。【0132】
よって本実施形態での重みＷは、現フレームで求められた第１の合成マップＭＦ０に対する重みＷ０と、１フレーム前に求められた第２の合成マップＭＳ１に対する重みＷ１の２つを考慮すればよい。そして、第２の合成マップ算出部３２４の合成マップ時系列平滑化処理部３２４６では、下式（６）により、現フレームでの第２の合成マップＭＳ０を求めればよい。MS0(x) = W0(x)×MF0(x) + W1(x)×MS1(x) ・・・・・（６）
【0133】
このようにすれば、過去の合成マップを１フレーム分のみ保存すればよいため、フレームメモリの容量も小さくて済むという利点がある。【0134】
また本実施形態では、現フレームの情報がどれだけ信頼できるかを閾値を用いて判定してもよい。そして、判定結果に基づいて第２の合成マップの算出に用いられる重み（上述したＷ０，Ｗ１）を変化させてもよい。【0135】
上述したように、本実施形態の画像処理装置３００は閾値判定部３２８を含む。そして閾値判定部３２８は、各異焦点画像から求められた周波数成分の評価値（狭義にはコントラスト値）であるｅ１（ｘ）、ｅ２（ｘ）のいずれかが、所定の閾値ｔｈｒを超えるかどうか判定し、閾値判定マップＴＨ（ｘ）を生成する。具体的には下式（７）により閾値判定マップＴＨ（ｘ）を求めればよい。下式（７）において、ｍａｘ（α，β）はαとβのうちの大きい方の値を表す。【数5】
【0136】
生成された閾値判定マップＴＨ（ｘ）は第２の合成マップ算出部３２４の合成マップ加重算出部３２４５に出力され、第２の合成マップを求める際の重みの決定に利用される。【0137】
合成マップ加重算出部３２４５は、照明色情報のラベルと、閾値判定マップＴＨ（ｘ）に基づいて、現フレームの第１の合成マップＭＦ０と、１フレーム過去の第２の合成マップＭＳ１を加重平均するための重みＷｉ（ｘ）を、図１５（Ａ）、図１５（Ｂ）に示したテーブルを用いて算出する。【0138】
具体的には、ＴＨ（ｘ）＝０となる画素ｘについては、図１５（Ａ）に示したテーブルを用い、ＴＨ（ｘ）＝１となる画素ｘについては、図１５（Ｂ）に示したテーブルを用いる。ＴＨ（ｘ）＝１の場合、当該画素ｘにおいては、ｅ１（ｘ）とｅ２（ｘ）の少なくとも一方がある程度（ｔｈｒよりも）大きい値となっている。つまり、現フレームの画像は、複数の異焦点画像のうち少なくとも１枚においてしっかりピントが合っている状態である。そのため、現フレームで取得された複数の異焦点画像に基づいて第１の合成マップＭＦ０を求めた場合、当該ＭＦ０は精度の高い合成処理を実現可能と言える。具体的には、第１の異焦点画像でピントが合っており（ｅ１（ｘ）＞ｔｈｒ）、第２の異焦点画像でピントが合っていない状況であれば、上式（１）においてＥ（ｘ）≧Ｅ２となり、ＭＦ（ｘ）＝１、すなわち第１の異焦点画像を１００％合成するという結果となるはずである。【0139】
この場合、現フレームで求められる第１の合成マップＭＦ０の信頼性が高い以上、過去フレームで求められた情報を敢えて用いる必要はなく、第１の合成マップＭＦ０だけから現フレームの複数の異焦点画像を合成すればよい。よって図１５（Ｂ）に示したように、ラベルによらず、Ｗ０＝１、Ｗ１＝０としている。ただし、現フレームの重みを大きくすればよく、Ｗ０を１とする実施形態には限定されない。例えば、被写体の色に合わせて実験的に最適な重みを設定してもよい。【0140】
上述したように、生体内画像の血管等を対象とした場合、Ｒはコントラストを形成しにくいことがわかっているが、血管以外が撮像されることもあるし、被写体が血管であっても照明光等の撮像条件が変わればＲ信号がコントラストを形成する場合もあり得る。第１，第２の実施形態では、具体的な状況を考慮せず、一律に「Ｒ信号はコントラストを形成しにくいため寄与度を下げる」という方針で処理を行っていたが、閾値判定部３２８を設けることで、実際に取得された信号でコントラストが検出できるか否かを判定することが可能である。よって、たとえＲ信号であっても、コントラストが十分形成されているのであれば、当該信号を合成処理に活用すること等が可能になる。【0141】
一方、ＴＨ（ｘ）＝０の場合、現フレームで取得された複数の異焦点画像はいずれも十分なコントラストが形成されていないため、そこから第１の合成マップＭＦ０を求めたとしても精度が低いおそれがある。よって現フレームの重みを小さく、過去フレームの重みを大きくすればよく、一例としては図１５（Ａ）に示したようにＷ０＝０、Ｗ１＝１とすればよい。ただし、ＴＨ（ｘ）＝０の場合の重みも図１５（Ａ）に限定されない。【0142】
例えば、ＴＨ（ｘ）＝０の場合に図１５（Ｃ）に示した重みを用いてもよい。図１５（Ｃ）のテーブルは、第１，第２の実施形態と同様にＲ信号の寄与度をできるだけ下げるというスタンス、及び時系列で現フレームに近い情報を優先するというスタンスでの処理に対応する。【0143】
ラベル＝０、すなわち現フレームがＲで、１フレーム過去がＢの場合には、図１５（Ａ）と同様にＷ０＝０、Ｗ１＝１とする。この場合の処理は、上述したように現フレームの信頼性が低いという観点の処理でもあるし、Ｒ信号の寄与度をできるだけ下げる処理でもある。【0144】
また、ラベル＝１、すなわち現フレームがＧで、１フレーム過去がＲの場合には、Ｗ０＝１、Ｗ１＝０とする。この場合、現フレームでコントラストが十分形成されていないため、Ｇ信号といえどもそこから求められる第１の合成マップＭＦ０の信頼性は十分高いとは言えないかもしれない。しかし１フレーム過去はＲ信号である。そのため、仮に１フレーム過去の第２の合成マップＭＳ１を第１，第２の実施形態の手法により求める場合、２フレーム過去のＢ信号から求められる第１の合成マップＭＦ２や、３フレーム過去のＧ信号から求められる第１の合成マップＭＦ３を用いて処理を行っている。また、図１５（Ｃ）を用いて第２の合成マップＭＳ１を求めている場合、上述したようにさらに１フレーム過去のＢ信号に対応する第２の合成マップＭＳ２を利用して求めている。いずれにせよ、この場合のＭＳ１は、見かけ上１フレーム前に求められているが、その算出処理にはさらに過去のフレームの情報を利用している。つまり、現フレームからの時間軸での差異が大きく、上述した被写体の相対的な動き等の問題が生じうる。よって図１５（Ｃ）では、現フレームでの評価値がｔｈｒ以下であっても、現フレームを優先する重みを設定している。【0145】
また、ラベル＝２、すなわち現フレームがＢで、１フレーム過去がＧの場合には、Ｗ０＝０．５、Ｗ１＝０．５とする。この場合、Ｒ信号は関係しないため、Ｒの寄与度を下げる点の考慮は不要である。また、ＴＨ（ｘ）＝０であるから、現フレームの寄与度を下げることが好ましい一方、時系列を考慮すれば過去フレームよりも現フレームの寄与度を上げることが好ましい。ここではそのバランスをとって、現フレームと過去フレームの重みとして同じ値を設定している。【0146】
以上により閾値判定の結果である閾値判定マップＴＨ（ｘ）を用いて重みを設定することができる。本実施形態の合成マップ読出し制御部３２４３は、直前のフレームで保存した第２の合成マップＭＳ１を読み出す。そして、合成マップ時系列平滑化処理部３２４６は、上式（６）で第２の合成マップＭＳ０を算出し、出力する。【0147】
図１６及び図１７が本実施形態に係る処理を説明するフローチャートである。図１６が１フレーム毎に行われる処理を表し、Ｓ４０１〜Ｓ４０３は図９のＳ１０１〜Ｓ１０３と同様である。周波数成分の算出後に、上式（７）を用いて閾値判定を行い、閾値判定マップＴＨ（ｘ）を生成する（Ｓ４０４）。そして、第１の合成マップＭＦ０を算出し（Ｓ４０５）、現フレームでの第２の合成マップＭＳ０を算出する（Ｓ４０６）。【0148】
本実施形態での第２の合成マップＭＳ０の算出処理を表すフローチャートが図１７である。Ｓ５０１、Ｓ５０２は図１０のＳ２０１、Ｓ２０２と同様である。本実施形態では、各画素に対してＴＨ（ｘ）の値を判定する（Ｓ５０３）。ＴＨ（ｘ）＝０の場合には、対応するテーブル（具体的には図１５（Ａ）や図１５（Ｃ））を用いて重みＷｉを設定する（Ｓ５０４）。一方、ＴＨ（ｘ）＝１の場合には、現フレームの寄与度を高くするテーブル（具体的には図１５（Ｂ））を用いて重みＷｉを設定する（Ｓ５０５）。Ｓ５０６、Ｓ５０７は、それぞれＳ５０２、Ｓ５０１に対応するループの終点を表す。【0149】
Ｓ５０７までで全画素について重みが設定されたので、フレームメモリから１フレーム過去の第２の合成マップＭＳ１を読み出し（Ｓ５０８）、Ｓ４０５で求めた現フレームの第１の合成マップＭＦ０と、読み出したＭＳ１を、設定した重みを用いて合成して、現フレームの第２の合成マップＭＳ０を求める（Ｓ５０９）。【0150】
現フレームでの第２の合成マップＭＳ０が算出されたら、当該第２の合成マップＭＳ０をフレームメモリに保存する（Ｓ４０７）。その後のＳ４０８〜Ｓ４１１については図９のＳ１０７〜Ｓ１１０と同様である。【0151】
以上の本実施形態では、処理部３２０は、第ｉのフレームで撮像された合焦物体位置の異なる複数の撮像画像のそれぞれから評価値を求め、求められた評価値と所与の閾値を用いた閾値判定処理の結果に基づいて、重み情報を設定する。【0152】
これにより、処理対象フレームの情報が信頼できるか否かを実際に取得された画像に基づいて判定することが可能になる。具体的には、上式（７）に示した処理を行って閾値判定マップＴＨ（ｘ）を求め、求めたＴＨ（ｘ）に基づいて重みＷｉを設定すればよい。【0153】
また、処理部３２０は、撮像画像のうち、評価値が閾値より大きいと判定された第１の領域では、第１の重み情報を設定し、第１の重み情報を用いて、第１の領域で用いられる第２の合成マップを求め、撮像画像のうち、評価値が閾値以下であると判定された第２の領域では、第１の重み情報とは異なる第２の重み情報を設定し、第２の重み情報を用いて、第２の領域で用いられる前記第２の合成マップを求めてもよい。【0154】
これにより、閾値判定の結果に基づいて、画像の領域毎に第２の合成マップ算出処理に用いる重みを変更することが可能になる。具体的には、上式（７）や図１７のＳ５０２〜Ｓ５０６に示したように、閾値判定部３２８による処理は画素毎に行われるため、各画素に対していずれの重みを用いるかが決定されることになる。また、第１の重み情報とは、処理対象フレームの重みが大きい重み情報であり、例えば図１５（Ｂ）に対応する。また、第２の重み情報とは他のフレームの重みが大きい重み情報であり、例えば図１５（Ａ）や図１５（Ｃ）に対応する。ただし、図１５（Ｃ）からもわかるように、他の観点も含めて複合的に重みが決定されてもよく、その場合第２の重み情報において、必ずしも処理対象フレームによりも他のフレームの重みが大きくなるとは限らない。【0155】
また、処理部３２０は、第ｊ（ｊは１≦ｊ≦Ｎ、ｊ≠ｉ、ｊ≠ｋを満たす整数）のフレームで求められた第１の合成マップと、第ｉのフレームで求められた第２の合成マップとに基づいて、第ｊのフレームにおける第２の合成マップを求めてもよい。【0156】
これにより、所与のフレーム（第ｉのフレーム）の処理により当該フレームでの第２の合成マップが既に求められている場合には、処理対象フレーム（第ｊのフレーム）での処理に、既に求められている上記第２の合成マップを流用することが可能になる。第２の合成マップは複数のフレームの情報に基づいた信頼度が高い情報であると考えられるため、第２の合成マップを流用することで、異なるフレームでの第２の合成マップを容易に求めることが可能になる。一例としては、処理開始後ある程度の期間（例えば最初の数フレーム、或いは最初の１周期）において第１，第２の実施形態と同様に、第１の合成マップから第２の合成マップを求める処理を行い、その後の処理では求められた第２の合成マップを流用していくといった実施形態を考えることが可能である。【0157】
また、第ｊのフレームは、第ｉのフレームと時間的に隣り合うフレームであってもよい。具体的には、第ｊのフレームは第ｉのフレームの１フレーム前或いは１フレーム後であってもよい。【0158】
このようにすれば、第２の合成マップの参照先として時間的に近いフレームを指定することが可能になり、上述したように撮像部と被写体との相対的な動きによる影響等を抑止することができる。【0159】
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。【符号の説明】
【0160】
１００ 光源部、１１０ 白色光源、１２０ 回転色フィルタ、１２１ Ｒフィルタ、１２２ Ｇフィルタ、１２３ Ｂフィルタ、
１３０ 回転駆動部、２００ 撮像部、２１０ 光学系、
２２０ 撮像素子、２３０ Ａ／Ｄ変換部、２４０ 撮像用フレームメモリ、
３００ 画像処理装置、３１０ 画像取得部、３２０ 処理部、
３２１ 周波数成分算出部、３２２ 第１の合成マップ算出部、
３２３ 第１の合成マップ用フレームメモリ、
３２４ 第２の合成マップ算出部、３２５ 画像合成処理部、
３２６ 合成画像用フレームメモリ、３２７ 同時化処理部、
３２８ 閾値判定部、３２９ 第２の合成マップ用フレームメモリ、
４００ 撮像制御部、５００ 照明光色情報取得部、
３２４１ 第１の合成マップ加重算出部、
３２４２ 第１の合成マップ時系列平滑化処理部、
３２４３ 合成マップ読出し制御部、３２４４ 時系列方向加重調整部、
３２４５ 合成マップ加重算出部、３２４６ 合成マップ時系列平滑化処理部、
３２７１ フルカラー画像生成部、３２７２ 合成画像読出し制御部