特許 5977909 信号処理装置及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5977909

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月24日

(54)【発明の名称】信号処理装置及び内視鏡システム

(51)【国際特許分類】

   A61B 1/04 20060101AFI20160817BHJP

   G02B 23/24 20060101ALI20160817BHJP

【ＦＩ】

   A61B1/04 370

   G02B23/24 B

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2016-521375(P2016-521375)

(86)(22)【出願日】2015年10月1日

(86)【国際出願番号】JP2015077981

【審査請求日】2016年4月7日

(31)【優先権主張番号】特願2014-211035(P2014-211035)

(32)【優先日】2014年10月15日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】佐藤 朋也

【審査官】 右▲高▼ 孝幸

(56)【参考文献】

【文献】 特開平2-41131（ＪＰ，Ａ）

【文献】 特開平2-116350（ＪＰ，Ａ）

【文献】 特開平10-323326（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／０４

Ｇ０２Ｂ ２３／２４

(57)【特許請求の範囲】

【請求項1】

被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部と、
前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部と、
前記輪郭抽出部で抽出され、前記輪郭膨張処理部で膨張された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、
前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも１つの画像セットを選択する画像選択部と、
を具備する信号処理装置。

【請求項2】

複数の前記画像セットを記憶する記憶部をさらに具備し、
前記画像選択部は、静止画生成指示に基づいて、前記記憶部に記憶された複数の前記画像セットの中から、前記ズレ量の最も小さい画像セットを選択する請求項１に記載の信号処理装置。

【請求項3】

前記ズレ量検出部は、前記画像セットに含まれる画像データのうちの２枚の画像データの間で画素毎の差分絶対値を算出し、前記算出した差分絶対値の総和を前記ズレ量として検出する請求項１に記載の信号処理装置。

【請求項4】

前記輪郭抽出部の前段に設けられ、前記画像データのノイズ成分を除去するノイズ除去部をさらに有する請求項１に記載の信号処理装置。

【請求項5】

前記輪郭膨張処理部の前段側に設けられ、前記画像データの縮小処理を行う縮小処理部をさらに有する請求項１に記載の信号処理装置。

【請求項6】

前記縮小処理部は、前記輪郭抽出部の前段側に設けられている請求項５に記載の信号処理装置。

【請求項7】

被写体の時系列の撮像によって複数の画像データを取得する撮像部と、
前記撮像部で取得された複数の画像データから輪郭成分を抽出する輪郭抽出部と、
前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部と、
前記輪郭抽出部で抽出され、前記輪郭膨張処理部で膨張された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、
前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも１つの画像セットを選択する画像選択部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも１つの画像セットを選択する画像選択部と、
を具備する内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡装置から入力された画像を処理する信号処理装置及びそれを備えた内視鏡システムに関する。

【背景技術】

【0002】

電子内視鏡装置を有する内視鏡システムにおいて、動画表示されている内視鏡画像から静止画像を生成して表示する機能が知られている。このような静止画像は、複数フィールドの画像データを用いて生成されている。したがって、被写体又は内視鏡装置に動きがあるときに、色ずれの大きな静止画像が生成されることがある。このような静止画表示時の色ずれを防止するための提案として、例えば日本国特開２００６−１４９４８３号公報の提案がなされている。日本国特開２００６−１４９４８３号公報の電子内視鏡装置は、面順次で得られる複数色の画像データの同一水平ラインの隣接画素間の画素の値の差の符号、すなわち画素の値の変化の仕方から、複数色の画像間のずれである色ずれの程度を判別するようにしている。そして、日本国特開２００６−１４９４８３号公報の電子内視鏡装置は、色ずれが最小となるように画像データをずらすことにより、色ずれを補正している。

【発明の概要】

【0003】

輝度の変化の仕方だけで判断してしまうと、例えばノイズによる画素の値の変化も色ずれとして判別してしまう可能性がある。また、例えば白とびしている画像のような静止画表示するには余り適さないような画像に対して色ずれのない画像と判断してしまう可能性もある。

【0004】

本発明は、前記の事情に鑑みてなされたもので、内視鏡装置から入力された画像から静止画像を生成する際に、ノイズの影響や被写体自体の明るさの影響を受けずに静止画像を生成できる信号処理装置及びそれを備えた内視鏡システムを提供することを目的とする。

【0005】

前記の目的を達成するために、本発明の第１の態様の信号処理装置は、被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部と、前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部と、前記輪郭抽出部で抽出され、前記輪郭膨張処理部で膨張された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも１つの画像セットを選択する画像選択部とを具備する。

【0006】

前記の目的を達成するために、本発明の第２の態様の内視鏡システムは、被写体の時系列の撮像によって複数の画像データを取得する撮像部と、前記撮像部で取得された複数の画像データから輪郭成分を抽出する輪郭抽出部と、前記抽出された輪郭成分の膨張処理を行う輪郭膨張処理部と、前記輪郭抽出部で抽出され、前記輪郭膨張処理部で膨張された輪郭成分のズレ量を各々が所定数の前記画像データの集まりである複数の画像セットの各々に含まれる画像データ間で比較することにより、各々の前記画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも１つの画像セットを選択する画像選択部と、前記ズレ量検出部の検出結果に基づいて、前記画像セットの中から少なくとも１つの画像セットを選択する画像選択部とを具備する。

【0007】

本発明によれば、内視鏡装置から入力された画像から静止画像を生成する際に、ノイズの影響や被写体自体の明るさの影響を受けずに静止画像を生成できる信号処理装置及びそれを備えた内視鏡システムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施形態に係る信号処理装置を備えた内視鏡システムの構成を示すブロック図である。

【図2】図２は、内視鏡システムによる内視鏡画像の表示処理を示すフローチャートである。

【図3】図３は、画像セットの選択の処理を示すフローチャートである。

【図4】図４は、図３の処理に従った画像セットの選択の例を示す図である。

【図5】図５は、変形例の静止画選択部の構成を示す図である。

【図6】図６は、変形例の画像セットの選択の処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る信号処理装置を備えた内視鏡システムの構成を示すブロック図である。なお、図１に示す内視鏡システム１は、例えば面順次方式で内視鏡画像を生成するシステムである。面順次方式とは、フィールド毎に異なる色の照明光を被写体である被検体に照射し、撮像素子からフィールド順次で得られる信号を同時化することによってカラー化された内視鏡画像を得る方式である。

【0010】

内視鏡システム１は、内視鏡装置２と、光源装置３と、信号処理装置４と、モニタ５とを有している。内視鏡装置２は、被写体である被検体の体内を撮像し、被検体に係る画像信号を生成する。光源装置３は、ライトガイド３６を介して内視鏡装置２に接続されており、内視鏡装置２に照明光を供給する。信号処理装置４は、内視鏡装置２で生成された画像信号を処理する。モニタ５は、信号処理装置４で処理された画像信号に基づいて、例えば被検体の体内の画像である内視鏡画像を表示する。以下、内視鏡システム１のそれぞれのブロックについて説明する。

【0011】

内視鏡装置２は、挿入部２１と、ケーブル２２とを有している。挿入部２１は、内視鏡装置２において被検体の体内に挿入される部分である。挿入部２１の先端には、対物レンズ２１１と、撮像素子２１２とが設けられている。対物レンズ２１１は、被写体からの像を撮像素子２１２に結像させるための光学系である。撮像素子２１２は、２次元状に配置された画素を有している。それぞれの画素は、例えばフォトダイオードであり、対物レンズ２１１を介して入射した光の量に応じた電気信号（画像信号）を生成する。前述したように、内視鏡システム１は、面順次方式で内視鏡画像を生成する。したがって、撮像素子２１２は、１フレーム分の内視鏡画像の表示期間の間に複数回の撮像を行う。この複数回の撮像においては、異なる色の照明光が被検体に対して照射される。そして、撮像素子２１２では、それぞれの撮像に伴って異なる色の情報のみを有する画像信号が生成される。本実施形態の例では、赤色（Ｒ）の照明光、緑色（Ｇ）の照明光、青色（Ｂ）の照明光が順次照射される。そして、Ｒの照明光が被検体に照射された場合にはＲの情報のみを有する画像信号が生成され、Ｇの照明光が被検体に照射された場合にはＧの情報のみを有する画像信号が生成され、Ｂの照明光が被検体に照射された場合にはＢの情報のみを有する画像信号が生成される。

【0012】

ケーブル２２は、図示しないコネクタを介して信号処理装置４に接続されている。このケーブル２２の内部には、駆動信号線２１２ａ、出力信号線２１２ｂが設けられている。駆動信号線２１２ａは、撮像素子２１２の各画素に接続されている。また、駆動信号線２１２ａは、挿入部２１が図示しないコネクタを介して信号処理装置４に接続された際に、信号処理装置４の駆動制御部４６に接続されるように構成されている。このとき、撮像素子２１２は、駆動信号線２１２ａを介して駆動制御部４６からの駆動信号に従って被写体の撮像動作を行う。出力信号線２１２ｂも、撮像素子２１２の各画素に接続されている。また、出力信号線２１２ｂは、挿入部２１が図示しないコネクタを介して信号処理装置４に接続された際に、信号処理装置４の前処理部４１に接続されるように構成されている。このとき、撮像素子２１２は、出力信号線２１２ｂを介して前処理部４１に対して画像信号を出力する。

【0013】

光源装置３は、光源３１と、導波路３２と、光源制御部３４と、集光レンズ３５と、ライトガイド３６とを有している。

【0014】

光源３１は、複数の光源、すなわちＲＬＥＤ３１Ｒと、ＧＬＥＤ３１Ｇと、ＢＬＥＤ３１Ｂとを有している。ＲＬＥＤ３１Ｒは、赤色（Ｒ）光を発するＬＥＤである。ＧＬＥＤ３１Ｒは、緑色（Ｇ）光を発するＬＥＤである。ＢＬＥＤ３１Ｂは、青色（Ｂ）光を発するＬＥＤである。導波路３２は、例えば光ファイバであってＲＬＥＤ３１Ｒ、ＧＬＥＤ３１Ｇ、ＢＬＥＤ３１Ｂのそれぞれに光学的に結合されている。この導波路３２は、ＲＬＥＤ３１Ｒ、ＧＬＥＤ３１Ｇ、ＢＬＥＤ３１Ｂのそれぞれから照射された照明光を集光レンズ３５に導く。光源制御部３４は、駆動制御部４６の制御による撮像素子２１２の撮像動作と同期してＲＬＥＤ３１Ｒ、ＧＬＥＤ３１Ｇ、ＢＬＥＤ３１Ｂの動作を制御する。面順次方式の場合、光源制御部３４は、ＲＬＥＤ３１Ｒ、ＧＬＥＤ３１Ｇ、ＢＬＥＤ３１Ｂの発光がフィールド順次で行われるよう、ＲＬＥＤ３１Ｒ、ＧＬＥＤ３１Ｇ、ＢＬＥＤ３１Ｂをフィールド毎に順次に駆動する。集光レンズ３５は、導波路３２から射出された光を集光してライトガイド３６に入射させる。ライトガイド３６は、集光レンズ３５によって集光された光を内視鏡装置２に入射させる。この光は、内視鏡装置２から射出され、被写体に照射される。この状態で被写体の撮像がされることにより、撮像素子２１２において、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号のそれぞれが得られる。ここで、光源装置３は、ＲＬＥＤ、ＧＬＥＤ、ＢＬＥＤを設けることに代えて、白色光源（ランプ又は白色ＬＥＤ）とＲＧＢの回転フィルタとを設け、当該ＲＧＢのフィルタをフィールド毎に順次光路に挿入することによって面順次方式を実現するものであっても良い。なお、光源３１は、ＲＬＥＤ３１Ｒ、ＧＬＥＤ３１Ｇ、ＢＬＥＤ３１Ｂを同時に発光させたり、白色光源から可視光をそのまま出射させたりすることで白色光の照射も可能である。このような照明方式は、同時式等と呼ばれている。

【0015】

信号処理装置４は、前処理部４１と、記憶部４２と、画像処理部４３と、静止画選択部４４と、表示制御部４５と、駆動制御部４６と、制御部４７と、操作部４８とを有している。

【0016】

前処理部４１は、画像信号のアナログゲイン調整、アナログノイズの除去といった種々のアナログ処理を行う。また、前処理部４１は、アナログ処理した画像信号をデジタル信号である画像データに変換することも行う。なお、以下の説明においては、撮像素子２１２の複数回の撮像によって得られる異なる色の画像データの組を画像セットという。画像セットは、１枚のカラーの内視鏡画像を生成するために用いられる複数の画像データの集まりである。本実施形態の例では、画像セットは３枚の画像データによって構成される。すなわち、この３枚の画像データは、赤色（Ｒ）の情報のみを有するＲ画像データ、緑色（Ｇ）の情報のみを有するＧ画像データ、青色（Ｂ）の情報のみを有するＢ画像データである。

【0017】

また、内視鏡システムの場合、内視鏡装置２と信号処理装置４の間は、絶縁回路によって絶縁されていることが望ましい。この絶縁回路は、例えば前処理部４１に設けられている。絶縁回路は、例えばフォトカプラのような無線によって信号を伝送する回路を含む。

【0018】

記憶部４２は、前処理部４１によって得られた画像データを一時的に記憶する。記憶部４２は、複数の画像セットを記憶できるだけの記憶容量を有している。

【0019】

画像処理部４３は、記憶部４２に記憶された画像セットに含まれるそれぞれの画像データに対して画像処理を施す。なお、画像処理部４３は、動画表示の際には、入力された画像データに対して動画表示用の画像処理を施し、静止画表示の際には、入力された画像データに対して静止画表示用の画像処理を施す。この画像処理部４３は、同時化回路、輝度・色差分離回路、階調補正回路、色補正回路、拡大縮小回路、強調回路等を有している。同時化回路は、面順次方式に従って得られた画像セットに含まれている３枚の画像データを同時化して同時化画像データを生成する。同時化画像データは、複数の色成分の情報を各画素が有している画像データである。階調補正回路は、同時化画像データに対して階調補正を行う。色補正回路は、同時化画像データに対して色調補正を行う。拡大縮小回路は、同時化画像データのサイズをモニタ５の表示サイズに応じて拡大又は縮小して表示用画像データを生成する。強調回路は、表示用画像データの被写体の輪郭を強調したり、例えば被写体が血管である場合において血管の構造を強調したりする処理を行う。

【0020】

静止画選択部４４は、記憶部４２に記憶されている画像セットに含まれる画像データを用いて静止画表示のための画像選択を行う。静止画選択部４４は、輪郭抽出部４４１と、輪郭膨張処理部４４２と、ズレ量検出部４４３と、画像選択部４４４とを有している。

【0021】

輪郭抽出部４４１は、例えばラプラシアンフィルタやソーベルフィルタのような輪郭抽出フィルタを有し、記憶部４２に記憶されている画像セットに含まれるそれぞれの画像データの輪郭成分（所定値以上の高周波成分）を抽出する。なお、輪郭抽出部４４１による輪郭抽出処理は、フィルタ処理以外の、例えばＦＦＴ（フーリエ変換）を用いた周波数空間上での信号処理によって行われても良い。輪郭膨張処理部４４２は、輪郭抽出部４４１で抽出された輪郭成分を膨張させる処理を行う。輪郭膨張処理は、例えば抽出された輪郭の線を太くする処理や、ガウシアンフィルタのような平滑化フィルタを用いたぼかし処理によって行われる。なお、輪郭抽出と平滑化とは１つのフィルタによって行われても良い。

【0022】

ズレ量検出部４４３は、画像セットに含まれる画像データから抽出された輪郭成分のズレ量を画像セットに含まれる画像データ間のズレ量として検出する。画像選択部４４４は、ズレ量検出部４４３で検出されたズレ量に基づいて静止画表示に用いられる画像セットを選択する。すなわち、画像選択部４４４は、動画表示用の撮像によって得られる複数の画像セットの中で画像データ間のズレ量の最も小さい画像セットを静止画表示用の画像セットとして選択する。画像選択部４４４で選択された画像セットに含まれる画像データは、記憶部４２から画像処理部４３によって取得される。

【0023】

表示制御部４５は、画像処理部４３において画像処理された画像データ（表示用画像データ）に基づいてカラー化された内視鏡画像をモニタ５に表示させる。この表示制御部４５は、例えばデジタル信号である表示用画像データをアナログの映像信号に変換する。さらに、表示制御部４５は、制御部４７の指示に従って映像信号をモニタ５に入力することにより、モニタ５に内視鏡画像を表示させる。

【0024】

駆動制御部４６は、撮像素子２１２の撮像動作を制御する。すなわち、駆動制御部４６は、撮像素子２１２の露光開始及び露光終了を制御したり、撮像素子２１２からの画像信号の読み出しを制御したりする。

【0025】

制御部４７は、信号処理装置４の動作を含む内視鏡システム１の全体の動作を制御する。例えば、制御部４７は、光源制御部３４による光源３１の制御と駆動制御部４６による撮像素子２１２の撮像制御とを同期させる。また、制御部４７は、表示制御部４５の制御を行う。さらに、制御部４７は、操作部４８を介した静止画表示指示に応じて静止画表示のための処理を静止画選択部４４に実行させる。

【0026】

操作部４８は、使用者が内視鏡システム１の操作をするための操作部材を含む。本実施形態において、操作部４８は、内視鏡画像の静止画表示を使用者が指示するための操作部材を含む。この操作部材は、ボタン又はスイッチのような操作部材であっても良いし、タッチパネルのような操作部材であっても良い。

【0027】

モニタ５は、例えば液晶ディスプレイのようなモニタであって、表示制御部４５の制御に従って内視鏡画像等の各種の画像を表示する。

【0028】

次に、本実施形態に係る内視鏡システム１の動作を説明する。図２は、内視鏡システム１による内視鏡画像の表示処理を示すフローチャートである。図２の処理は、例えば内視鏡システム１の電源がオンされると開始される。

【0029】

ステップＳ１０１において、制御部４７は、内視鏡システム１の電源がオフされたか否かを判定する。ステップＳ１０１において、内視鏡システム１の電源がオフされたと判定された場合には、図２の処理は終了される。

【0030】

ステップＳ１０１において、内視鏡システム１の電源がオフされていないと判定された場合には、処理はステップＳ１０２に進む。ステップＳ１０２において、制御部４７は、駆動制御部４６による撮像素子２１２の撮像制御を開始させるとともに、撮像素子２１２の撮像に同期するように光源装置３による照明を開始させる。光源制御部３４は、例えば、予め定められたフィールド周期毎に異なる色の光が光源装置３から射出されるように光源３１を制御する。一方、駆動制御部４６は、予め定められたフィールド周期で撮像が繰り返されるように撮像素子２１２を制御する。このようにして、画像データが記憶部４２に記憶される。

【0031】

ステップＳ１０３において、制御部４７は、画像処理部４３に、内視鏡画像の動画表示のための画像処理を行わせる。このとき、画像処理部４３は、画像データの同時化、階調補正、色補正、拡大・縮小、強調処理といった基本的な動画表示のための処理を行う。

【0032】

ステップＳ１０４において、制御部４７は、画像処理部４３によって処理された画像データに基づく内視鏡画像の表示を表示制御部４５に行わせる。すなわち、表示制御部４５は、３フィールド（１フレーム）毎に生成される表示用画像データを映像信号に変換し、この映像信号をモニタ５に入力する。この映像信号に基づいて、モニタ５は内視鏡画像を表示する。モニタ５に表示された内視鏡画像を見ることで、使用者は、例えば被検体の体内を動画像で観察することが可能である。

【0033】

ステップＳ１０５において、制御部４７は、使用者の操作部４８の操作により、動画表示中の内視鏡画像の静止画表示の指示がされたか否かを判定する。ステップＳ１０５において、静止画表示の指示がされていないと判定された場合、処理はステップＳ１０１に戻る。この場合、内視鏡画像の動画表示が継続される。

【0034】

ステップＳ１０５において、静止画表示の指示がされたと判定された場合、処理はステップＳ１０６に進む。ステップＳ１０６において、制御部４７は、静止画表示用の画像セットの選択を静止画選択部４４に行わせる。以下、画像セットの選択処理を説明する。

【0035】

図３は、画像セットの選択の処理を示すフローチャートである。図４は、図３の処理に従った画像セットの選択の例を示す図である。ステップＳ２０１において、静止画選択部４４の輪郭抽出部４４１は、記憶部４２に記憶されている複数の画像セット（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）を取得する。図４では、画像セットとして入力画像１、入力画像２、入力画像３の３つの画像セットが取得されている。入力画像１は、画像データ間で大きなズレが生じている画像セットである。入力画像２は、画像データ間で中程度のズレが生じている画像セットである。入力画像３は、画像データ間で中程度のズレが生じている画像セットである。

【0036】

図４では、３つの画像セットを取得する例を示しているが、例えば静止画表示指示のタイミングの５００ミリ秒前までの画像セットを取得するといったように、何セットの画像セットを取得するかは適宜に設定され得る。

【0037】

また、例えば光源装置３から特殊光が照射されている場合、画像セットから生成される表示用画像データにおいては、Ｇ画像データとＢ画像データの影響が支配的になる。したがって、輪郭抽出部４４１は、画像セット内の特定の色の影響が大きいことが予め分かっている場合に、特定の２色の画像データのみを取得するように構成されていても良い。以下の説明では、輪郭抽出部４４１は、例えばＧ画像データとＢ画像データのみを取得したものとして説明を続ける。

【0038】

ステップＳ２０２において、輪郭抽出部４４１は、取得したそれぞれの画像セットに含まれるＧ画像データ、Ｂ画像データの輪郭成分を例えばフィルタ処理によって抽出する。図４に示すように、画像データ間の色ズレがない場合、輪郭抽出処理によって抽出される画像データ間の輪郭のズレもない。一方、画像データ間の色ズレがある場合、画像データ間に符号Ｄ１又はＤ２で示すような輪郭のズレが生じる。このため、輪郭のズレ量から画像データ間のずれ量を検出することが可能である。

【0039】

ステップＳ２０３において、輪郭膨張処理部４４２は、輪郭抽出部４４１で抽出されたＧ画像データ、Ｂ画像データの輪郭成分に対して輪郭膨張処理を行う。輪郭膨張処理の強度は、画像データ間のズレの許容量に応じて変更され得る。すなわち、画像データ間のズレの許容量を大きくしても良いのであれは、輪郭膨張処理の強度を大きくすることができ、逆に、画像データ間のズレの許容量を小さくする必要があれは、輪郭膨張処理の強度も小さくする必要がある。

【0040】

ステップＳ２０４において、ズレ量検出部４４３は、輪郭膨張処理部４４２で輪郭膨張処理がされたＲ画像データ、Ｇ画像データ、Ｂ画像データの輪郭成分を規格化する。ズレ量検出部４４３は、例えば画像データの各画素のデータの取り得る最大値で輪郭成分を規格化する。

【0041】

ステップＳ２０５において、ズレ量検出部４４３は、同一画像セットに含まれる画像データ間のズレ量を算出する。ズレ量をＦとすると、このズレ量Ｆは、例えば（式１）で示す、画像データの各画素のＬ２ｎｏｒｍ（差分二乗和）によって算出される。ここで、（式１）のＩ１（ｘ，ｙ）は、規格化後のＲ画像データ、Ｇ画像データ、Ｂ画像データのうちの１つの画像データＩ１における位置（ｘ，ｙ）の画素の値であり、Ｉ２（ｘ，ｙ）は、規格化後のＲ画像データ、Ｇ画像データ、Ｂ画像データのうちの別の１つの画像データＩ２における位置（ｘ，ｙ）の画素の値である。ｘは水平位置である。例えばｘ＝１を画像データにおける左端の位置とし、ｘ＝Ｎを画像データにおける右端の位置とする。また、ｙは垂直位置である。例えばｙ＝１を画像データにおける上端の位置とし、ｙ＝Ｍを画像データにおける下端の位置とする。

【数1】

【0042】

輪郭抽出後の画像データに対して（式１）の演算をすることにより、図４に示すように、画像データの色ズレ量を輪郭のズレ量として求めることができる。特に、差分を取るのに先立って輪郭膨張処理をすることにより、画像データ間の色ズレ量が小さい（中程度の）場合には、輪郭に重なり部分Ｅ２が生じる。そして、この重なり部分Ｅ２は、輪郭膨張処理によって相殺される。したがって、色ズレ量が中程度である場合の（式１）の結果は、色ズレ量が大きい場合の（式１）の結果よりも小さくなる。このように、色ズレ量が大きくなるほど、（式１）の結果は大きくなり、画像データ間の色ズレ量を適切に評価することができる。

【0043】

ここで、（式１）の演算は、通常、Ｒ画像データとＧ画像データの間、Ｇ画像データとＢ画像データの間、Ｂ画像データとＲ画像データの間で行われる。ただし、特定の２色の画像データのみの輪郭成分が抽出されている場合には、その画像データの間でのみ、（式１）の演算が行われる。

【0044】

ステップＳ２０６において、画像選択部４４４は、画像セットに含まれる画像データ間のズレ量に応じて静止画表示に用いる画像セットを選択する。（式１）の演算の場合、Ｆの値が小さいほど、輪郭のズレ量は小さくなる。これから、画像選択部４４４は、画像データ間のズレ量が最も小さい画像セットを静止画表示用の画像セットとして選択する。図４の例では、画像選択部４４４は、入力画像３を静止画表示に用いる画像セットとして選択する。このような画像セットの選択の後、図３の処理は終了される。

【0045】

ここで、図２の説明に戻る。ステップＳ１０７において、制御部４７は、選択された画像セットを用いての内視鏡画像の静止画表示のための画像処理を行わせる。このとき、画像処理部４３は、画像データの同時化、階調補正、色補正、拡大・縮小、強調処理といった基本的な静止画表示のための処理を行う。

【0046】

ステップＳ１０８において、制御部４７は、画像処理部４３によって処理された画像データに基づく内視鏡画像の表示を表示制御部４５に行わせる。すなわち、表示制御部４５は、静止画表示のための画像処理により生成される表示用画像データを映像信号に変換し、この映像信号をモニタ５に入力する。この映像信号に基づいて、モニタ５は内視鏡画像を表示する。モニタ５に表示された内視鏡画像を見ることで、使用者は、必要なタイミングの体内の静止画像を観察することが可能である。

【0047】

ステップＳ１０９において、制御部４７は、使用者の操作部４８の操作により、静止画表示の終了が指示されたか否かを判定する。ステップＳ１０９において、静止画表示の終了が指示されていないと判定された場合、処理はステップＳ１０８に戻る。この場合、内視鏡画像の静止画表示が継続される。

【0048】

ステップＳ１０９において、静止画表示の終了が指示されたと判定された場合、処理はステップＳ１０１に戻る。この場合、内視鏡システム１の電源がオフされていなければ、動画表示が再開される。

【0049】

以上説明したように本実施形態では、画像セットに含まれる画像データの輪郭成分のズレ量から画像セットに含まれる画像データ間のズレ量を検出するようにしている。白とびしている画像データのような一様に高輝度な画像データからは輪郭成分は抽出されないので、静止画表示に適さない画像セットが選択されてしまう可能性を低減できる。また、ズレ量Ｆを画素の値のＬ２ｎｏｒｍで算出することにより、画素の輝度変化の仕方だけではなく、画素の変化量の総和を評価することで、ノイズに対する耐性を高めることが可能である。

【0050】

さらに、ズレ量Ｆを算出するに当たって、輪郭成分に対するぼかし処理を行うことにより、ノイズに対する耐性をさらに高めることが可能である。なお、ぼかし処理は必須の処理ではなく、ズレ量に対する許容量に応じて行われることが望ましい。

【0051】

ここで、本実施形態では、画像セットは、面順次方式で得られる３枚の画像データを含む例を示している。しかしながら、画像セットは、面順次方式で得られる画像データで構成されるものに限るものではない。例えば、画像セットは、同時式（インターレース方式）のそれぞれのフィールドで得られる画像データで構成されていても良い。インターレース方式では、フィールド毎に露光する画素行を異ならせるので、画像データ間にズレが生じ得る。この画像データ間のズレ量は、本実施形態の手法によって検出することができる。

【0052】

また、本実施形態では、ズレ量Ｆを画素の値のＬ２ｎｏｒｍで算出している。ズレ量Ｆは、画素の値のＬ２ｎｏｒｍ以外であっても良い。例えば、ズレ量Ｆは、画素の値のＬ１ｎｏｒｍ（差分絶対値和）でも良い。

【0053】

また、本実施形態では、ズレ量Ｆに応じて１つの画像セットを選択する例を示している。これに対し、画像選択部４４４は、ズレ量Ｆの小さい複数の画像セットを選択するように構成されていても良い。

【0054】

［変形例］
以下、本実施形態の変形例について説明する。図５は、変形例の静止画選択部４４の構成を示す図である。変形例の静止画選択部４４は、ノイズ除去部４４５と、輪郭抽出部４４１と、縮小処理部４４６と、輪郭膨張処理部４４２と、ズレ量検出部４４３と、画像選択部４４４とを有している。このうち、輪郭抽出部４４１と、輪郭膨張処理部４４２と、ズレ量検出部４４３と、画像選択部４４４は、図１で説明したものと同様の構成である。したがって、説明を省略する。

【0055】

ノイズ除去部４４５は、輪郭抽出部４４１の前段に設けられ、記憶部４２に記憶されている画像セットに含まれるそれぞれの画像データのノイズ成分（輪郭成分よりも高周波のノイズとみなせる成分）を除去する。輪郭抽出部４４１による輪郭抽出処理に先立って、ノイズ成分を除去しておくことにより、輪郭抽出処理において輪郭成分を精度良く抽出することが可能である。縮小処理部４４６は、例えば輪郭膨張処理部の前段に設けられ、輪郭抽出部４４１で抽出された画像データの輪郭成分に対して縮小処理を行う。縮小処理は、例えば間引き処理や画素加算処理によって行われる。縮小処理を行うことにより、輪郭膨張処理部４４２における輪郭膨張処理に必要なフィルタサイズを小さくして、輪郭膨張処理の負荷を減らすことができる。なお、縮小処理部４４６は、輪郭抽出部４４１の前段に設けられていても良い。この場合、輪郭抽出部４４１における輪郭抽出処理に必要なフィルタサイズを小さくして、輪郭抽出処理の負荷も減らすことができる。

【0056】

図６は、変形例における画像セットの選択の処理を示すフローチャートである。なお、図３と共通の部分については簡単に説明する。ステップＳ３０１において、静止画選択部４４のノイズ除去部４４５は、記憶部４２に記憶されている複数の画像セット（Ｒ画像データ、Ｇ画像データ、Ｂ画像データ）を取得する。

【0057】

ステップＳ３０２において、ノイズ除去部４４５は、取得したそれぞれの画像セットに含まれるＧ画像データ、Ｂ画像データのノイズを除去する。

【0058】

ステップＳ３０３において、輪郭抽出部４４１は、ノイズ除去部４４５でノイズが除去されたＧ画像データ、Ｂ画像データの輪郭成分を例えばフィルタ処理によって抽出する。

【0059】

ステップＳ３０４において、縮小処理部４４６は、輪郭抽出部４４１で抽出されたＧ画像データ、Ｂ画像データの輪郭成分に対して輪郭膨張処理を行う。

【0060】

ステップＳ３０５において、輪郭膨張処理部４４２は、縮小処理部４４６で縮小処理がされたＧ画像データ、Ｂ画像データの輪郭成分に対して輪郭膨張処理を行う。

【0061】

ステップＳ３０６において、ズレ量検出部４４３は、輪郭膨張処理部４４２で輪郭膨張処理がされたＲ画像データ、Ｇ画像データ、Ｂ画像データの輪郭成分を規格化する。

【0062】

ステップＳ３０７において、ズレ量検出部４４３は、同一画像セットに含まれる画像データ間のズレ量を算出する。

【0063】

ステップＳ３０８において、画像選択部４４４は、画像セットに含まれる画像データ間のズレ量に応じて静止画表示に用いる画像セットを選択する。

【0064】

以上説明した変形例により、画像データ間のズレ量をより精度良く検出し、静止画表示に適さない画像セットが選択されてしまう可能性をより低減できる。

【要約】

信号処理装置(4)は、被写体の時系列の撮像によって生成される複数の画像データを取得し、取得した複数の画像データから輪郭成分を抽出する輪郭抽出部(441)と、輪郭抽出部で抽出された輪郭成分のズレ量を、各々が所定数の画像データの集まりである画像セットに含まれる画像データ間で比較することにより、各々の画像セットに含まれる画像データ間のズレ量を検出するズレ量検出部(443)と、ズレ量検出部の検出結果に基づいて、画像セットの中から少なくとも１つの画像セットを選択する画像選択部(444)とを備える。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】