特開 2015-223221 画像強調処理システムおよび電子内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-223221(P2015-223221A)

(43)【公開日】2015年12月14日

(54)【発明の名称】画像強調処理システムおよび電子内視鏡システム

(51)【国際特許分類】

   A61B 1/04 20060101AFI20151117BHJP

   H04N 7/18 20060101ALI20151117BHJP

   G02B 23/24 20060101ALI20151117BHJP

【ＦＩ】

   A61B1/04 370

   H04N7/18 M

   G02B23/24 B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2014-108275(P2014-108275)

(22)【出願日】2014年5月26日

(71)【出願人】

【識別番号】000113263

【氏名又は名称】ＨＯＹＡ株式会社

(71)【出願人】

【識別番号】304020177

【氏名又は名称】国立大学法人山口大学

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(74)【代理人】

【識別番号】100147762

【弁理士】

【氏名又は名称】藤 拓也

(72)【発明者】

【氏名】三池 秀敏

(72)【発明者】

【氏名】長 篤志

(72)【発明者】

【氏名】大高 洸輝

(72)【発明者】

【氏名】池本 洋祐

【テーマコード（参考）】

2H040

4C161

5C054

【Ｆターム（参考）】

2H040GA02

2H040GA06

2H040GA10

2H040GA11

4C161NN05

4C161WW08

5C054CC07

5C054FC01

5C054FC12

5C054FC14

5C054FE09

5C054HA12

(57)【要約】

【課題】より人の知覚に近いモーションシャープニング効果を得るとともに処理エラーの発生が防止された画像強調処理システムを提供する。
【解決手段】動画を形成する時系列に撮影される複数の画像の最新フレーム画像ｆ₀を処理基準画像とする。過去フレーム程平均算出領域Ａ₀、Ａ_-1、Ａ_-2を拡大し、フレーム画像ｆ₀、ｆ_-1、ｆ_-2の空間平均画像ｆs_av₀、ｆs_av_-1、ｆs_av_-2を算出する。空間平均画像ｆs_av₀、ｆs_av_-1、ｆs_av_-2の平均から時間平均画像ｆt_avを生成する。処理基準画像ｆ₀と時間平均画像ｆt_avの差から差分画像ｆdeを生成する。処理基準画像ｆ₀に差分画像ｆdeのα倍を加算して処理基準画像ｆ₀に対する強調画像ｆ’とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

動画を形成する時系列に撮影された複数の画像のうち処理基準画像よりも過去の画像から時間軸方向の平均である時間平均画像を生成する時間平均画像生成手段と、
前記処理基準画像の前記時間平均画像からの偏差を算出して差分画像を生成する差分画像生成手段と、
前記差分画像を増幅するとともに、増幅された前記差分画像を前記処理基準画像に加算して強調画像を得る強調画像生成手段とを備え、
前記時間平均画像生成手段が空間的な暈し処理を含み、前記暈し処理は過去の画像の情報ほど空間的に暈す
ことを特徴とする画像強調処理システム。

【請求項2】

前記暈し処理のフィルタ領域において、画素値が所定の閾値を超えるとき、当該画素を暈し処理の計算から除外することを特徴とする請求項１に記載の画像強調処理システム。

【請求項3】

前記処理基準画像は順次更新され、前記時間平均画像生成手段は、１つ前の処理基準画像に対する強調画像を生成する際に使用された時間平均画像と、現処理基準画像または１つ前の処理基準画像とを用いて新たな時間平均画像を生成することを特徴とする請求項１または請求項２の何れか一項に記載の画像強調処理システム。

【請求項4】

前記時間平均画像生成手段は、前記処理基準画像の更新の度に、前記暈し処理を前記時間平均画像に施すことを特徴とする請求項３に記載の画像強調処理システム。

【請求項5】

現処理基準画像に対する画像強調処理に前記新たな時間平均画像が使用されることを特徴とする請求項３または請求項４の何れか一項に記載の画像強調処理システム。

【請求項6】

次の処理基準画像に対する画像強調処理に前記新たな時間平均画像が使用されることを特徴とする請求項３または請求項４の何れか一項に記載の画像強調処理システム。

【請求項7】

１つ前の処理基準画像に対する強調画像を生成する際に使用された時間平均画像と現処理基準画像または１つ前の処理基準画像との加重平均に暈し処理を施し、前記新たな時間平均画像とすることを特徴とする請求項６に記載の画像強調処理システム。

【請求項8】

前記時間平均画像生成手段が、前記複数の画像に対し、過去の画像程処理領域が広い暈し処理を施し、それらの画像の平均を取ることで前記時間平均画像を生成することを特徴とする請求項１または請求項２の何れか一項に記載の画像強調処理システム。

【請求項9】

前記時間平均画像が未だ生成されていないときには、所定の初期画像を前記時間平均画像として使用することを特徴とする請求項１〜請求項７の何れか一項に記載の画像強調処理システム。

【請求項10】

請求項１〜請求項９の何れか一項に記載の画像強調処理システムを備えたことを特徴とする電子内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像に対する画像処理に関し、特に人の視覚機能に特徴的なモーションシャープニングを考慮した動画像の画像処理に関する。

【背景技術】

【0002】

動画から静止画を作成する際には、動画では見えていたものが静止画にすると見えなくなる現象が発生することがある。このような問題に対して、動画を構成する一連の画像に対し、モーションシャープニング類似のコントラストが得られるように画像処理を施して静止画を作成する方法が提唱されている（特許文献１）。特許文献１では、処理基準画像を中心とする前後複数のフレーム画像から画素毎に画素値の時間軸平均を求め時間軸平均画像を生成している。そして、処理基準画像の時間軸平均画像からの偏差を算出しこれを増幅する。そして、増幅された偏差を時間軸平均画像に加算して強調画像を求めている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−０３９７９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の画像強調処理でも一定のモーションシャープニング効果は得られるものの、同画像処理は時間軸方向に対称な処理であるため、時間軸方向に非対称である人の知覚に十分に適合しているとは言えない。しかも、従来の画像強調処理では、所定のフレーム画像中において、周辺領域に比べて輝度差が極端に大きい領域が動画像中にあると、その領域の移動方向後方に黒い影のような残像が発生し、また暗部では疑似輪郭が生じることがある。すなわち従来の画像強調処理では、より人の知覚に近いモーションシャープニング効果を得るという目的については注目されているものの、処理エラーの発生により不自然な部分が発生することの対応については不十分であった。

【0005】

本発明は、より人の知覚に近いモーションシャープニング効果を得るとともに処理エラーの発生が防止された画像強調処理システムを提供することを課題としている。

【課題を解決するための手段】

【0006】

本発明の画像強調処理システムは、動画を形成する時系列に撮影された複数の画像のうち処理基準画像よりも過去の画像から時間軸方向の平均である時間平均画像を生成する時間平均画像生成手段と、処理基準画像の時間平均画像からの偏差を算出して差分画像を生成する差分画像生成手段と、差分画像を増幅するとともに、増幅された差分画像を処理基準画像に加算して強調画像を得る強調画像生成手段とを備え、時間平均画像生成手段が空間的な暈し処理を含み、暈し処理は過去の画像の情報ほど空間的に暈すことを特徴としている。

【0007】

暈し処理のフィルタ領域において、画素値が所定の閾値を超えるとき、当該画素を暈し処理の計算から除外することが好ましい。処理基準画像は例えば順次更新され、時間平均画像生成手段は、１つ前の処理基準画像に対する強調画像を生成する際に使用された時間平均画像と現処理基準画像または１つ前の処理基準画像とから新たな時間平均画像を生成する。また、時間平均画像生成手段は、例えば処理基準画像の更新の度に、暈し処理を前記時間平均画像に施す。

【0008】

現処理基準画像に対する画像強調処理に、例えば上記新たな時間平均画像を使用してもよい。また、次の処理基準画像に対する画像強調処理に、例えば新たな時間平均画像を使用してもよい。また１つ前の処理基準画像に対する強調画像を生成する際に使用された時間平均画像と現処理基準画像または１つ前の処理基準画像との加重平均に暈し処理を施し、上記新たな時間平均画像としてもよい。更に、時間平均画像生成手段は、上記複数の画像に対し、過去の画像程処理領域が広い暈し処理を施し、それらの画像の平均を取ることで時間平均画像を生成してもよい。また、時間平均画像が未だ生成されていないときには、所定の初期画像を時間平均画像として使用することが好ましい。

【0009】

本発明の電子内視鏡システムは、上記画像強調処理システムを備えたことを特徴としている。

【発明の効果】

【0010】

本発明によれば、より人の知覚に近いモーションシャープニング効果を得るとともに処理エラーの発生が防止された画像強調処理システムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態である画像強調処理システムの構成を示すブロック図である。

【図2】第１実施形態における画像強調処理の手順を模式的に説明する図である。

【図3】第１実施形態の時間平均画像の生成に用いられる各画像の施される平均化フィルタの大きさを示す図である。

【図4】本実施形態のエラー処理を用いないときに発生する問題を説明する図である。

【図5】第１エラー処理による効果を説明する図である。

【図6】第２エラー処理による効果を説明する図である。

【図7】第２実施形態における画像強調処理の手順を模式的に説明する図である。

【図8】第３実施形態における画像強調処理の手順を模式的に説明する図である。

【図9】第４実施形態における画像強調処理の手順を模式的に説明する図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態である画像強調処理システムの構成を示すブロック図である。

【0013】

本実施形態の画像強調処理システムは、例えば電子内視鏡システム１０に搭載される。電子内視鏡システム１０は、主にスコープ本体１１、プロセッサ装置１２、モニタ装置１３から構成される。スコープ本体１１は、体内などに挿入される可撓管からなる挿入部１４と、挿入部１４を操作する操作部１５と、操作部１５とプロセッサ装置１２を接続するユニバーサルコード１６とから主に構成される。挿入部１４の先端には撮像素子が設けられ、先端から照射される光を照明として動画像が撮影される。撮像素子で得られた映像は、プロセッサ装置１２へと送られ、各種画像処理を施された後、モニタ装置１３へと出力され表示される。

【0014】

また、プロセッサ装置１２は、映像処理部１７、映像出力部１８、画像メモリ１９、画像強調処理部２０、コントローラ２１、外部メモリ２２、フロントパネル２３等を備える。映像処理部１７には、撮像素子から動画像信号が順次入力される。映像処理部１７は、動画像信号に、ゲイン補正、ホワイトバランス処理など従来周知の所定の信号処理を施すことによりデジタル画像信号を生成する。デジタル画像信号は、映像処理部１７から画像メモリ１９へと出力され、画像メモリ１９では、フレーム画像（あるいはフィールド画像）を単位に所定のフレーム数（Ｎフレーム）の静止画像データが順次記録され、同フレーム数を維持しながら順次最新の画像に更新される。

【0015】

映像処理部１７で処理された動画像信号は、内視鏡観察中、映像出力部１８へ常時出力される。映像出力部１８では、入力された動画像信号が例えばコンポジット信号や輝度色差信号などの所定規格のアナログ映像信号に変換され、モニタ装置１３へ出力される。すなわち、モニタ装置１３の画面には、撮像素子で撮影される動画像がリアルタイムで表示される。

【0016】

画像強調処理部２０は、画像メモリ１９に記憶された画像データ、および現フレーム画像を用いて後述する本実施形態の画像強調処理を施し、映像出力部１８へと常時出力する。映像出力部１８は、例えば操作部１５に設けられる静止画取得ボタン１５Ａ、あるいはフロントパネル２３に設けられる動画強調モード設定用の所定のスイッチ操作に連動してモニタ装置１３への出力信号を切り替える。すなわち静止画取得ボタン１５Ａ、あるいは動画強調モード設定用の所定のスイッチが操作されると、映像出力部１８からモニタ装置１３へ出力される映像信号が、映像処理部１７の映像信号から画像強調処理部２０の映像信号へと切り替えられる。

【0017】

静止画取得ボタン１５Ａによる映像出力部１８の出力の切り替えは一時的なものであり、所定時間経過すると、出力は元に戻される。すなわち、モニタ装置１３には、静止画像が所定時間表示され、その後、通常の動画像が表示される。なお、このとき画像強調処理部２０で作成された静止画像データは、必要に応じて、ハードディスクやメモリカードなどの不揮発性の外部メモリ２２に記憶され、あるいはプリンタ（図示せず）などで印刷される。

【0018】

一方、フロントパネル２３に設けられた動画強調モード設定用のスイッチ操作による映像出力部１８の出力の切り替えは、モードが通常画像モードに戻されるまで継続される。すなわち、次の動画強調モード設定用のスイッチ操作がなされない限り、モニタ装置１３には、画像強調処理部２０で強調処理が施された動画像が表示され続ける。

【0019】

本実施形態のように、映像処理部１７、画像強調処理部２０から常時映像信号を出力し、映像出力部１８において出力信号の切り替え行う場合、スイッチ操作に対する追従性が向上する。一方、静止画取得ボタン１５Ａ、あるいは動画強調モード設定用の所定のスイッチが操作されたときのみ画像強調処理部２０を駆動し、かつ映像処理部１７の映像出力部１８への出力を停止する構成でも、通常の動画像と強調処理画像の表示切替を行うことができる。この構成の場合には、画像処理による負荷を低減することができる。

【0020】

コントローラ２１は、プロセッサ装置１２全体の処理を制御する回路であり、静止画取得ボタン１５Ａやフロントパネル２３のスイッチ操作に連動する映像出力部１８における出力信号の切替え等は、コントローラ２１によって制御される。

【0021】

図２は、画像強調処理部２０で実行される本発明の第１実施形態の画像強調処理の手順を説明する図である。第１実施形態の画像強調処理では、画像メモリ１９に記憶される連続するＮフレーム（図２では３フレーム分を例示）の画像の内、最新フレーム画像ｆ₀を処理基準画像とする。また本実施形態では、各フレーム画像に対して、過去に行くほど強い暈し処理を施す（第１エラー処理）。暈し処理には、例えば空間平均化処理が用いられ、暈けの強さは、例えば空間平均の算出に用いられる領域（空間平均算出領域）の大きさにより制御される。なお、図２では、最新フレーム画像ｆ₀の空間平均画像がｆs_av₀、その１フレーム前のフレーム画像ｆ_-1の空間平均画像がｆs_av_-1、２フレーム前のフレーム画像ｆ_-2の空間平均画像がｆs_av_-2として示される。また、ここで添え字を付して表される画像ｆ（ｆ₀，ｆ_-1，ｆ_-2，ｆs_av₀，ｆs_av_-1，ｆs_av_-2など）は、その画像の画素（ｘ，ｙ）の画素値ｆ（ｘ，ｙ）を代表している。

【0022】

次に、算出されたＮフレーム分の空間平均画像（図２の例では、ｆs_av₀，ｆs_av_-1，ｆs_av_-2）の平均値、すなわち時間平均画像ｆt_av（＝（ｆs_av₀＋ｆs_av_-1＋ｆs_av_-2）／３）が算出される。そして、処理基準画像ｆ₀の時間平均画像ｆt_avからの偏差が差分画像ｆde（＝ｆ₀−ｆt_av）として算出される。最後に差分画像ｆdeをα倍したものを、処理基準画像ｆ₀に加算することにより、モーションシャープニングの視覚効果が再現される強調画像ｆ’（＝ｆ₀＋α×ｆde）を求める。

【0023】

また、各フレームでの空間平均算出領域は、各画素を中心とする例えばｍ×ｎピクセルの領域であり（ｍ、ｎは例えば奇数）、本実施形態では、ｍ＝ｎの正方領域が用いられる。例えば図３には、連続する５フレームの画像が、過去から順に図面奥行方向へと時系列に並べられて示される。すなわち、最新のフレーム画像（処理基準画像）ｆ₀が一番奥に描かれ、奥から順に、最新フレーム画像ｆ₀に対し１フレーム前のフレーム画像ｆ_-1、２フレーム前のフレーム画像ｆ_-2、３フレーム前のフレーム画像ｆ_-3、４フレーム前のフレーム画像ｆ_-4が描かれる。また、図３には同一の画素Ｐに対する各フレーム画像ｆ₀〜ｆ_-4の空間平均算出領域Ａ₀〜Ａ_-4が示される。

【0024】

本実施形態では、最新フレーム画像ｆ₀の空間平均算出領域Ａ₀が、１×１ピクセルの領域（つまり、画素Ｐそのもの）とされ、過去に１フレーム遡るに従って空間平均算出領域が縦横２画素分拡大される。つまり本実施形態では、フレーム画像ｆ_-1の空間平均算出領域Ａ_-1は３×３ピクセル、フレーム画像ｆ_-2の空間平均算出領域Ａ_-2は５×５ピクセル、フレーム画像ｆ_-3の空間平均算出領域Ａ_-3は７×７ピクセル、フレーム画像ｆ_-4の空間平均算出領域Ａ_-4は９×９ピクセルとされる。したがって、本実施形態では処理基準画像である最新フレーム画像ｆ₀に対しては平均化処理（暈し処理）は行われない。

【0025】

また、本実施形態では、上記空間平均画像を各フレームにおいて算出する際、空間平均算出領域内に画素値（あるいは輝度値）が所定値ｋを超える画素が存在する場合、その画素を空間平均の算出から除外する（第２エラー処理）。例えば、フレーム画像ｆ_-2の空間平均画像ｆs_av_-2における画素Ｐの画素値は、画素Ｐを中心とする５×５ピクセル（２５画素）からなる空間平均算出領域Ａ_-2の画素値の平均値（空間平均画像レベル）として求められる。ここで、同領域内に画素値（あるいは輝度値）が所定値ｋを超える画素が、例えば３画素存在すれば、これらの画素を除く２２画素の画素値平均がフレーム画像ｆ_-2の空間平均画像ｆs_av_-2における画素Ｐの画素値とされる。

【0026】

なお、上記計算は、例えばカラー画像の色成分毎（例えばＲＧＢ毎）に行われる。処理の対象となる画像信号としては、ＲＧＢ信号の他、例示的に色差信号、輝度信号、色相、彩度、明度に関わる画像信号などが挙げられる。また、これらの画像信号に血管強調処理などの画像処理を施した画像信号を処理対象としてもよい。なお、倍率αは一定値でもよいが、例えばオプティカルフローなどから、各画素での動きを評価し、動きの大きい画素（例えばオプティカルフローの絶対値や、発散が大きい画素）程小さな値を与えることもできる。

【0027】

次に図４〜図７を参照して、第１実施形態の画像強調処理の効果について説明する。図４（ａ）は、内視鏡の先端を、被写体（患部）が映し出されたモニタ画面中において、右上から左下へと移動しながら撮影したときの原画像の様子を模式的に示すものである。図４（ｂ）は、図４（ａ）の原画像に、第１エラー処理および第２エラー処理を省いた画像強調処理を施したときの強調画像である。すなわち、図４（ｂ）で適用された画像強調処理は、第１実施形態の画像強調処理において、全てのフレームの空間平均算出領域を１×１ピクセルとしたものに対応する。

【0028】

図４（ａ）の原画像には、膨らんだ患部の粘膜の鏡面反射により発生したハイライト領域Ａｈが４つ描かれている。この状態において、第１、第２エラー処理を行わないと、図４（ｂ）に示されるように、動画像上でのハイライト領域Ａｈの移動方向後ろ側（ここでは左下）に、各ハイライト領域Ａｈに対応する黒い影Ａｓが発生する。また、画像の中で暗い領域では、疑似輪郭線Ｃが発生する。

【0029】

次に図５、図６に、それぞれ第１エラー処理による効果、第２エラー処理による効果を示す。図５に示されるように、第１エラー処理、すなわち、過去のフレーム画像程、暈しを強く（空間平均算出領域を広く）すると、暗い領域での疑似輪郭線Ｃの発生は防止される。しかし、第１エラー処理だけでは、ハイライト領域Ａｈによる薄暗い領域Ａｄがハイライト領域近くに広がり、画質を劣化させ得る。

【0030】

一方、各フレームでの空間平均化処理（暈し処理）の計算から画素値（輝度値）が所定値を超える画素を除外する第２エラー処理によれば、図６に示されるように、ハイライト領域Ａｈの移動により発生する薄暗い領域Ａｄの影響が除去される。しかし、第２エラー処理のみでは、明暗が極端な部分に発生する疑似輪郭線Ｃは除去されない。したがって、本実施形態では、第１、第２エラー処理を同時に採用し、暗い領域での疑似輪郭線発生の問題と、ハイライト領域による影発生の問題とを同時に解決している。

【0031】

以上のように、本実施形態では、最新フレームを処理基準画像としたモーションシャープニング処理を採用することで、より人の知覚に近い画像強調処理を実現するともに、第１エラー処理を採用することにより、疑似輪郭の発生を防止している。また更に、各フレームでの空間平均の算出において、画素値（輝度値）が所定値を超える画素を除外する第２エラー処理の採用により、ハイライト領域の移動により発生する黒い影の影響も除去することができる。

【0032】

次に図７を参照して本発明の第２実施形態の画像強調処理について説明する。第１実施形態の空間平均を求める処理（暈し処理、つまり第１エラー処理）では、過去のフレーム程、暈けを強くするため、暈し処理に必要な領域（空間平均算出領域）も過去フレーム程広くする。したがって、画像強調処理に使用されるフレーム数が多くなるとその計算コストが増大する。また、暈した過去のフレーム画像、すなわち過去フレームの空間平均画像を保持する必要がある。従って、相応の処理能力やメモリ容量を備えることが望まれる。

【0033】

これらのことから、第２実施形態では、以下の方法で、計算コスト、およびメモリ容量を第１実施形態よりも削減し、より好ましい形で、モーションシャープニング効果を利用した動画像処理をリアルタイムで実行する。なお、第１実施形態と第２実施形態の違いは、第１実施形態における空間平均画像の算出処理から時間平均画像の算出処理に至る構成であり、その他の構成は、第１実施形態と略同様である。

【0034】

図７は、第２実施形態の画像強調処理の手順を説明する図であり、図１に示す画像強調処理部２０で実行される。図７（ａ）は、フレームｆ₀を処理基準画像とするときの画像強調処理の手順、図７（ｂ）は、図７（ａ）の画像強調処理終了後、フレームｆ₀の次のフレームｆ₁を処理基準画像とするときの画像強調処理の手順を示す。

【0035】

第２実施形態では、現フレームの１つ前のフレームを処理基準画像としたときの時間平均画像に暈し処理を施し、この暈し処理を施した時間平均画像と現処理基準画像の平均を取ることで現フレームを処理基準画像としたときの新たな時間平均画像とする。すなわち、図７（ａ）では現処理基準画像ｆ₀の１つ前のフレームの画像ｆ_-1が処理基準画像であったときの時間平均画像ｆt-av_-1に対して暈し処理を施し、暈し処理後の時間平均画像ｆt-av_-1と処理基準画像ｆ₀の平均を処理基準画像ｆ₀に対する時間平均画像ｆt-av₀とする。そして処理基準画像ｆ₀の時間平均画像ｆt-av₀からの偏差を差分画像ｆdeとして、フレームｆ₀での強調画像をｆ₀’＝ｆ₀＋α×ｆdeとする。なお、係数αは第１実施形態と同様である。また、上記説明では、暈し処理を行った後、時間平均を取っているが、時間平均を取った後で、暈し処理を行ってもよい。

【0036】

次のフレームでは、図７（ｂ）に示されるように、フレームｆ₀の次のフレームｆ₁を処理基準画像とし、時間平均画像ｆt-av₀に対して暈し処理を施し、暈し処理後の時間平均画像ｆt-av₀と処理基準画像ｆ₁の平均を処理基準画像ｆ₁に対する時間平均画像ｆt-av₁とする。そして処理基準画像ｆ₁の時間平均画像ｆt-av₁からの偏差を差分画像ｆdeとして、フレームｆ₁での強調画像をｆ₁’＝ｆ₁＋α×ｆdeとする。そして同処理は、順次次のフレームに対して同様に実行される。

【0037】

これにより、連続して入力される各フレームに対して時間平均画像ｆt-avがリアルタイムで順次求められる。時間平均画像ｆt-avには処理基準画像よりも過去の全てのフレームの情報が含まれ、過去のフレームの情報程、暈し処理が繰り返し施されることになる。そのため、過去フレームの情報程広く空間的拡散され、暈し処理の強度が増大する（第１エラー処理）。なお、同処理開始時には、初期時間平均画像として、例えば一様に灰色な画像（中間輝度）が与えられる。なお、１フレーム前の時間平均画像に暈し処理を施す際に、暈けフィルタのフィルタ領域内に画素値（あるいは輝度値）が所定値ｋを超える画素が存在する場合、その画素を暈し処理から除外する、あるいはその画素値を中間の値等で置き換える（第２エラー処理）。

【0038】

以上のように、第２実施形態においても第１実施形態と同様に、最新フレームを処理基準画像とし、より人の知覚に近い画像強調処理を実現しながらも、第１エラー処理、第２エラー処理により、処理エラーの発生も抑えられる。また、各強調画像の生成に直接用いられるフレーム数が低減されるとともに、暈し処理に適用される計算領域（フィルタ領域）も一定の狭い領域に固定できるので、計算コストやメモリ容量を低減できる。

【0039】

次に図８を参照して本発明の第３実施形態の画像強調処理について説明する。図８は、第３実施形態の画像強調処理の手順を説明する図である。画像強調処理は、図１に示す画像強調処理部２０で実行される。

【0040】

第２実施形態の画像強調処理では、１つ前のフレームを処理基準画像としたときの時間平均画像に対して暈し処理（例えば空間平均化処理）を施し、暈し処理後の時間平均画像と現処理基準画像の平均を現処理基準画像に対する時間平均画像として、差分画像を求めた。第３実施形態では、１つ前のフレームを処理基準画像としたときに生成される時間平均画像から差分画像を生成するとともに、この時間平均画像と現処理基準画像の加重平均に暈し処理を施すことで、次フレームを処理基準画像とするときに使用される時間平均画像を生成する（第１エラー処理）。

【0041】

例えば図８に示されるように、フレームｆ₀を処理基準画像とする強調画像ｆ₀’の作成では、まず、１つ前のフレームｆ_-1を処理基準画像とした画像強調処理を行ったときに作成された前フレーム時間平均画像ｆt_av_-1からの現処理基準画像ｆ₀の偏差を差分画像ｆde＝ｆ₀−ｆt_av_-1とする。そして差分画像ｆdeのα倍を現処理基準画像ｆ₀に加算して強調画像ｆ₀’＝ｆ₀＋α×ｆdeとしている。

【0042】

このとき、同時に時間平均画像ｆt_av_-1と処理基準画像ｆ₀の加重平均ｆw_av₀＝（ｗ１×ｆt_av_-1＋ｗ２×ｆ₀）／（ｗ１＋ｗ２）を算出する。そして、加重平均ｆw_av₀に暈し処理Ｂｌｕｒ（例えば空間平均化処理）を施し、次のフレームｆ₁を処理基準画像とするときの時間平均画像ｆt_av₀（＝Ｂｌｕｒ（ｆw_av₀））を求める。なお、ここでｗ１≦ｗ２である。

【0043】

なお、暈し処理Ｂｌｕｒを施す際に、暈けフィルタのフィルタ領域内に画素値（あるいは輝度値）が所定値ｋを超える画素が存在する場合、その画素を暈し処理から除外する、あるいはその画素値を中間の値等で置き換える（第２エラー処理）。なお、同処理開始時（１フレーム目）には、初期時間平均画像として、例えば一様に灰色な画像（中間輝度）が与えられる（初期化）。

【0044】

以上のように、第３実施形態の構成でも、第２実施形態と同様の効果が得られるが、第３実施形態においては、過去の計算結果を利用しているため計算コストが更に抑えられる。なお、第３実施形態において、その他の構成は第２実施形態と同様である。

【0045】

次に図９を参照して本発明の第４実施形態の画像強調処理について説明する。図９は、第４実施形態の画像強調処理の手順を説明する図である。画像強調処理は、図１に示す画像強調処理部２０で実行される。

【0046】

第４実施形態では、処理基準画像ｆ₀に対する時間平均画像ｆt_av₀を、以下のように求める。まず画像ｆ₀の１つ前のフレーム画像ｆ_-1と、フレーム画像ｆ_-1を処理基準画像としたときの時間平均画像ｆt_av_-1との加重平均（ｗ１×ｆt_av_-1＋ｗ２×ｆ_-1）／（ｗ１＋ｗ２）を算出する（ｗ１≦ｗ２）。その後、この加重平均に暈し処理（例えば空間平均化処理）を施し、これを処理基準画像ｆ₀に対する時間平均画像ｆt_av₀とする（第１エラー処理）。すなわち、第４実施形態では、ｆt_av₀＝Ｂｌｕｒ［（ｗ１×ｆt_av_-1＋ｗ２×ｆ_-1）／（ｗ１＋ｗ２）］とする。

【0047】

そして、第４実施形態では、処理基準画像ｆ₀の時間平均画像ｆt_av₀からの偏差を差分画像ｆde＝ｆ₀−ｆt_av₀とし、処理基準画像ｆ₀の強調画像ｆ₀’は、差分画像ｆdeのα倍を処理基準画像ｆ₀に加算したｆ₀’＝ｆ₀＋α×ｆdeとされる。ここで、現フレーム画像ｆ₀に対する処理で算出された時間平均画像ｆt_av₀は、次のフレーム画像ｆ₁の画像強調処理で使用される時間平均画像ｆt_av₁の算出に用いられる（ｆt_av₁＝Ｂｌｕｒ［（ｗ１×ｆt_av₀＋ｗ２×ｆ₀）／（ｗ１＋ｗ２）］）。なお、第４実施形態においても、暈し処理Ｂｌｕｒを施す際に、暈けフィルタのフィルタ領域内に画素値（あるいは輝度値）が所定値ｋを超える画素が存在する場合、その画素を暈し処理から除外する、あるいはその画素値を中間の値等で置き換える（第２エラー処理）。また、強調画像処理開始時（１フレーム目）には、初期時間平均画像として、例えば一様に灰色な画像（中間輝度）が与えられる（初期化）。

【0048】

以上のように、第４実施形態の構成でも、より人の知覚に近い画像強調処理を実現できるとともに、疑似輪郭線の発生を防止し、ハイライト領域の移動による黒い影の影響も除去できる。また第４実施形態では、過去の計算結果を利用しているため計算コストが抑えられる。そして、第４実施形態では、処理基準画像（ｆ₀）の強調処理に用いる時間平均画像（ｆt_av₀）の算出に、現処理基準画像（ｆ₀）を用いていないため、例えば第１、第２実施形態に比べ、モーションシャープニングに関わる強調効果が高い。

【0049】

なお、上記第４実施形態の説明においては、ｆt_av₀＝Ｂｌｕｒ［（ｗ１×ｆt_av_-1＋ｗ２×ｆ_-1）／（ｗ１＋ｗ２）］としたが、ｆt_av₀＝（ｗ１×Ｂｌｕｒ［ｆt_av_-1］＋ｗ２×ｆ_-1）／（ｗ１＋ｗ２）とすることもできる。

【0050】

なお、第１から第４実施形態における暈し処理には第１実施形態の移動平均フィルタの他、ガウシアンフィルタなど他の平滑化フィルタを用いることも可能である。

【0051】

また、本実施形態の画像強調処理は、電子内視鏡の画像撮影など、遮光空間において、被写体に近い位置から照明光の照射、撮影が行われ、かつ被写体に対し撮影距離、位置、角度が激しく変化する場合に特に有効であるが、適用できる撮像装置は、電子内視鏡に限定されるものではない。

【符号の説明】

【0052】

１０ 電子内視鏡システム
１１ スコープ本体
１２ プロセッサ装置
１３ モニタ装置
１５Ａ 静止画取得ボタン
１７ 映像処理部
１８ 映像出力部
１９ 画像メモリ
２０ 画像強調処理部
２１ コントローラ
２３ フロントパネル

【図1】

【図2】

【図3】

【図7】

【図8】

【図9】

【図4】

【図5】

【図6】