特許 5974205 画像処理装置、画像処理装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5974205

(24)【登録日】2016年7月22日

(45)【発行日】2016年8月23日

(54)【発明の名称】画像処理装置、画像処理装置の作動方法

(51)【国際特許分類】

   A61B 1/04 20060101AFI20160809BHJP

   A61B 1/00 20060101ALI20160809BHJP

   G02B 23/24 20060101ALI20160809BHJP

   H04N 7/18 20060101ALI20160809BHJP

【ＦＩ】

   A61B1/04 370

   A61B1/00 300Y

   G02B23/24 B

   H04N7/18 M

【請求項の数】12

【全頁数】14

(21)【出願番号】特願2016-520097(P2016-520097)

(86)(22)【出願日】2015年11月26日

(86)【国際出願番号】JP2015083198

【審査請求日】2016年4月4日

(31)【優先権主張番号】特願2014-244294(P2014-244294)

(32)【優先日】2014年12月2日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】久津間 祐二

(72)【発明者】

【氏名】鈴木 達彦

(72)【発明者】

【氏名】岩崎 智樹

(72)【発明者】

【氏名】橋本 進

(72)【発明者】

【氏名】濱田 敏裕

【審査官】 右▲高▼ 孝幸

(56)【参考文献】

【文献】 特開２０１３−６６６４６（ＪＰ，Ａ）

【文献】 特開２０１２−１３８８７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／０４

Ｇ０２Ｂ ２３／２４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

前方視野および側方視野の被写体の光学像に基づいて生成される画像データを入力する入力部と、
前記入力部により入力された前記画像データに対して、該画像データがあらわす前記前方視野および前記側方視野の画像のエッジを強調するエッジ強調処理を施す強調処理部と、
前記強調処理部の後段側に設けられ、前記エッジ強調処理が施された前記画像データにおける、前記前方視野の画像と前記側方視野の画像の境界となる領域である境界領域に対して、前記エッジ強調処理とは非可換な補正処理を施す補正処理部と、
を具備することを特徴とする画像処理装置。

【請求項2】

前記補正処理部は、前記エッジ強調処理とは非可換な補正処理として、前記前方視野の画像と前記側方視野の画像との少なくとも一方を、前記境界領域に対してオーバーラップさせるオーバーラップ処理を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記補正処理部の前段側に設けられた、前記前方視野および前記側方視野の画像に変倍処理を施す変倍処理部をさらに具備することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記補正処理部が前記補正処理を施す前記境界領域の範囲を設定する境界補正範囲設定部をさらに具備することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記強調処理部が施す前記エッジ強調処理の強度を設定する強調度設定部をさらに具備し、
前記境界補正範囲設定部は、前記強調度設定部により設定された前記エッジ強調処理の強度に基づいて、前記補正処理部が前記補正処理を施す前記境界領域の範囲を設定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記補正処理部の前段側に設けられた、前記前方視野および前記側方視野の画像に変倍処理を施す変倍処理部と、
前記変倍処理部が施す前記変倍処理の変倍率を設定する変倍率設定部と、
をさらに具備し、
前記境界補正範囲設定部は、前記変倍率設定部により設定された前記変倍率に基づいて、前記補正処理部が前記補正処理を施す前記境界領域の範囲を設定することを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記画像データを取得した撮像装置の固有情報を入力する第２の入力部をさらに具備し、
前記境界補正範囲設定部は、前記固有情報に基づいて、前記補正処理部が前記補正処理を施す前記境界領域の範囲を設定することを特徴とする請求項４に記載の画像処理装置。

【請求項8】

前記固有情報は、前記境界領域の配置に係る情報を含むことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記境界領域の配置に係る情報は、前記境界領域の内側半径をあらわす情報と、前記境界領域の外側半径をあらわす情報と、の少なくとも一方を含むことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記境界領域の配置に係る情報は、前記境界領域の内側半径をあらわす情報、および当該内側半径に対する前記境界領域の外側半径の比率をあらわす情報を含むことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記境界領域の配置に係る情報は、前記境界領域の外側半径をあらわす情報、および当該外側半径に対する前記境界領域の内側半径の比率をあらわす情報を含むことを特徴とする請求項９に記載の画像処理装置。

【請求項12】

入力部が、前方視野および側方視野の被写体の光学像に基づいて生成される画像データを入力するステップと、
強調処理部が、前記入力部により入力された前記画像データに対して、該画像データがあらわす前記前方視野および前記側方視野の画像のエッジを強調するエッジ強調処理を施すステップと、
前記強調処理部の後段側に設けられた補正処理部が、前記エッジ強調処理が施された前記画像データにおける、前記前方視野の画像と前記側方視野の画像の境界となる領域である境界領域に対して、前記エッジ強調処理とは非可換な補正処理を施すステップと、
を有することを特徴とする画像処理装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、前方視野と側方視野の境界領域に補正処理を施す画像処理装置、画像処理装置の作動方法に関する。

【背景技術】

【0002】

近年、画角の拡大化を図った超広角内視鏡、例えば、前方観察窓を介して前方視野画像を取得すると共に、側方観察窓を介して側方視野画像を取得する内視鏡が提案されている。

【0003】

こうした内視鏡では、前方視野画像と側方視野画像との間に境界領域が存在するために、境界領域が目立たないようにする処理が行われている。

【0004】

例えば、日本国特開２０１３−６６６４６号公報には、前方視野画像と側方視野画像とが１枚の画像上に前方領域と側方領域として形成された画像信号に対して、一方を他方にオーバーラップさせて合成する処理を行うことで、前方領域と側方領域との境界となる境界領域を補正する技術が記載されている。

【0005】

しかしながら、境界補正処理と他の画像処理との実行順序を工夫しないと、処理後の画像において境界領域が目立ってしまうことがある。こうした具体例について、本発明の実施形態に係る図５、図８、および図９を参照して説明する。

【0006】

図５は撮像して得られた画像データにおける境界領域周辺の様子を示し、前方視野画像５２が次第に減衰していく部分と、側方視野画像５３が次第に減衰していく部分と、が重なった部分が、ある幅をもった境界領域５４となっている。

【0007】

次に、図８は図５に示す画像データに境界補正処理を行ったときの様子を示している。ここでの境界補正処理は、例えば前方視野画像５２を拡大して側方視野画像５３に接続することにより行われている。これによって、図５において幅があった境界領域５４が、境界補正処理後には境界線５４’のみとなっている。

【0008】

続いて、図９は図８に示す画像データにエッジ強調処理を行ったときの様子を示している。図８の処理を行った後には、前方視野画像５２と側方視野画像５３とに境界線５４’を挟んだコントラストのギャップ、すなわちエッジが発生している。このために、図８に示す画像データにエッジ強調処理を行うと、図９に示すようにコントラストのギャップが拡大してエッジが強調され、前方視野画像５２と側方視野画像５３との境界がより目立ってしまうことになる。

【0009】

本発明は上記事情に鑑みてなされたものであり、前方視野と側方視野の境界領域が良好に補正された画像を取得することができる画像処理装置、画像処理装置の作動方法を提供することを目的としている。

【発明の開示】

【課題を解決するための手段】

【0010】

本発明のある態様による画像処理装置は、前方視野および側方視野の被写体の光学像に基づいて生成される画像データを入力する入力部と、前記入力部により入力された前記画像データに対して、該画像データがあらわす前記前方視野および前記側方視野の画像のエッジを強調するエッジ強調処理を施す強調処理部と、前記強調処理部の後段側に設けられ、前記エッジ強調処理が施された前記画像データにおける、前記前方視野の画像と前記側方視野の画像の境界となる領域である境界領域に対して、前記エッジ強調処理とは非可換な補正処理を施す補正処理部と、を具備している。

【0011】

本発明のある態様による画像処理装置の作動方法は、入力部が、前方視野および側方視野の被写体の光学像に基づいて生成される画像データを入力するステップと、強調処理部が、前記入力部により入力された前記画像データに対して、該画像データがあらわす前記前方視野および前記側方視野の画像のエッジを強調するエッジ強調処理を施すステップと、前記強調処理部の後段側に設けられた補正処理部が、前記エッジ強調処理が施された前記画像データにおける、前記前方視野の画像と前記側方視野の画像の境界となる領域である境界領域に対して、前記エッジ強調処理とは非可換な補正処理を施すステップと、を有する方法である。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態１における内視鏡システムの構成を示すブロック図。

【図2】上記実施形態１において、撮像素子から出力された画像データがあらわす画像を、境界補正処理を行うことなく表示装置の画面に表示したときの例を示す図。

【図3】上記実施形態１において、撮像素子から出力された画像データがあらわす画像を、境界補正処理を行って表示装置の画面に表示したときの例を示す図。

【図4】上記実施形態１において、オーバーラップ処理およびエッジ強調処理を行う前の画像データを表示装置の画面に表示したときの画像および信号値の変化の例を示す図。

【図5】上記実施形態１における図４の信号値の変化をモデル化した線図。

【図6】上記実施形態１において、図５に示すコントラスト分布の画像データにエッジ強調処理を行った後の様子を示す線図。

【図7】上記実施形態１において、図６に示すコントラスト分布の画像データに境界補正処理を行った後の様子を示す線図。

【図8】上記実施形態１において、図５に示すコントラスト分布の画像データに境界補正処理を行った後の様子を示す線図。

【図9】上記実施形態１において、図８に示すコントラスト分布の画像データにエッジ強調処理を行った後の様子を示す線図。

【図10】上記実施形態１において、エッジ強調度に対して設定される境界補正範囲の例を示す線図。

【発明を実施するための最良の形態】

【0013】

以下、図面を参照して本発明の実施の形態を説明する。

【0014】

［実施形態１］
図１から図１０は本発明の実施形態１を示したものであり、図１は内視鏡システムの構成を示すブロック図である。

【0015】

この内視鏡システムは、被写体を撮像して画像データを取得する撮像装置である内視鏡１０と、内視鏡１０から出力された画像データを処理して表示信号を生成する画像処理装置であるビデオプロセッサ２０と、内視鏡１０とビデオプロセッサ２０との接続を検出する内視鏡検出部１５と、内視鏡システムに対する入力を行うための入力部４０と、ビデオプロセッサ２０により生成された内視鏡画像を表示する表示装置５０と、を備えている。

【0016】

内視鏡１０は、撮像ユニット１１と、スコープＩＤ記憶部１２と、を備えている。

【0017】

撮像ユニット１１は、対物光学系と撮像素子とを含んで構成されている。ここに、対物光学系は、直視光学系および側視光学系を兼ねた光学系として構成されていて、直視方向である前方視野の被写体の光学像と、側視方向である側方視野の被写体の光学像と、を撮像素子上に結像する。従って、撮像素子は、前方視野および側方視野の被写体の光学像に基づいて生成される画像データを出力する。こうして、本実施形態の内視鏡１０は、前方視野画像と側方視野画像とを取得する超広角内視鏡として構成されている。

【0018】

ここに、図２は、撮像素子から出力された画像データがあらわす画像を、境界補正処理を行うことなく表示装置５０の画面５０ａに表示したときの例を示す図である。

【0019】

前方視野画像５２は視野中心Ｆを中心とした例えば円形をなしており、側方視野画像５３は前方視野画像５２の外周部に、概略、円環形状に形成されている。ここに、図２等に示す側方視野画像５３は、概略、円環形状をなしてはいるが、周方向の一部に、内視鏡１０の先端面に配設された構造物の影響によるケラレ５５が生じている。

【0020】

そして、内径側にある前方視野画像５２の外周と、外径側にある側方視野画像５３の内周側と、の間が境界領域５４となっている。

【0021】

次に、スコープＩＤ記憶部１２は、内視鏡１０の固有情報を不揮発に記憶する記憶部であり、内視鏡１０の種類（型番）やシリアル番号、内視鏡１０が備える撮像素子の種類（型番）、撮像素子のサイズや有効画素数、撮像素子上における前方視野画像５２および側方視野画像５３の配置（ひいては、境界領域５４の配置）などの情報が、製造時に予め記憶されている。ここに、境界領域５４の配置に係る情報は、例えば、境界領域５４の内側半径ｒｉｎ（図４参照）をあらわす情報と、境界領域５４の外側半径ｒｏｕｔ（図４参照）をあらわす情報と、の少なくとも一方を含んでいる。境界領域５４の配置に係る情報の具体的な第１の例は、境界領域５４の内側半径ｒｉｎをあらわす情報、および境界領域５４の外側半径ｒｏｕｔをあらわす情報（つまり両方の情報）である。また、第２の例は、境界領域５４の内側半径ｒｉｎをあらわす情報、および内側半径ｒｉｎに対する境界領域５４の外側半径ｒｏｕｔの比率（ｒｏｕｔ／ｒｉｎ）をあらわす情報である。さらに、第３の例は、境界領域５４の外側半径ｒｏｕｔをあらわす情報、および外側半径ｒｏｕｔに対する境界領域５４の内側半径ｒｉｎの比率（ｒｉｎ／ｒｏｕｔ）をあらわす情報である。

【0022】

内視鏡検出部１５は、内視鏡１０が接続されたか否かを検出して、検出結果をビデオプロセッサ２０の後述するＣＰＵ３４に送信するものであり、例えば内視鏡１０とビデオプロセッサ２０の両方に設けられた電気接点、あるいはビデオプロセッサ２０に設けられたセンサ、等により構成されている。

【0023】

ビデオプロセッサ２０は、第１入力部２１と、第２入力部２２と、画像処理部２３と、表示制御部３１と、メモリ３２と、ＣＰＵ３４と、を備え、画像データを入力して画像処理を行う画像処理装置である。

【0024】

第１入力部２１は、前方視野および側方視野の被写体の光学像に基づいて撮像ユニット１１により生成された画像データを入力する。

【0025】

第２入力部２２は、画像データを取得した撮像装置である内視鏡１０の上述した固有情報を入力する。

【0026】

画像処理部２３は、第１入力部２１から入力された画像データを画像処理するものであり、前段処理部２４と、拡大縮小部２５と、強調処理部２６と、境界補正部２７と、後段処理部２８と、ＲＡＭ２９と、を備えている。

【0027】

前段処理部２４は、入力された画像データに対して、例えば、ゲイン調整、欠陥画素の補正、ホワイトバランス調整などの各種の処理を行う。

【0028】

拡大縮小部２５は、境界補正部２７の前段側に設けられていて、前方視野および側方視野の画像データに、いわゆる電子ズームである変倍処理（拡大処理または縮小処理）を行う変倍処理部である。

【0029】

強調処理部２６は、第１入力部２１により入力された画像データに対して、画像データがあらわす前方視野および側方視野の画像のエッジ（輪郭）を強調するエッジ強調処理を施す。ここに、エッジ強調処理は、例えば、画像データにエッジ検出フィルタをかけてエッジ成分を抽出し、抽出したエッジ成分にエッジ強調係数αを掛けて、元の画像データに加算することにより行う。従って、エッジ強調処理の強度であるエッジ強調度は、例えばエッジ強調係数αの値を変更することにより調整される。

【0030】

境界補正部２７は、強調処理部２６の後段側に設けられていて、エッジ強調処理が施された画像データにおける、前方視野画像５２と側方視野画像５３の境界となる領域である境界領域５４に対して境界補正処理（補正処理）を行うことにより、境界領域５４が目立たないようにする境界補正処理部（補正処理部）である。

【0031】

ここに、境界補正部２７により行われる境界補正処理は、上述したエッジ強調処理とは非可換な処理となっている。すなわち、画像データをＰ、エッジ強調処理をあらわす関数をＥ（）、境界補正処理をあらわす関数をＢ（）、合成関数であることを示す記号を「・」とすると、エッジ強調処理Ｅ（）を先に行って境界補正処理Ｂ（）を後に行った処理結果Ｐ’、
Ｐ’＝Ｂ（Ｅ（Ｐ））≡Ｂ・Ｅ（Ｐ）
と、境界補正処理Ｂ（）を先に行ってエッジ強調処理Ｅ（）を後に行った処理結果Ｐ”、
Ｐ”＝Ｅ（Ｂ（Ｐ））≡Ｅ・Ｂ（Ｐ）
とが異なる（Ｐ’≠Ｐ”）とき、つまりＢ・Ｅ≠Ｅ・Ｂであるときに、境界補正処理Ｂ（）とエッジ強調処理Ｅ（）とは非可換であるという。

【0032】

境界補正部２７による境界補正処理の一例は、図３に示すようなオーバーラップ処理である。ここに、図３は、撮像素子から出力された画像データがあらわす画像を、境界補正処理を行って表示装置５０の画面５０ａに表示したときの例を示す図である。

【0033】

このオーバーラップ処理は、前方視野画像５２と側方視野画像５３との少なくとも一方を拡大する等により、拡大した前方視野画像５２または側方視野画像５３により境界領域５４を覆う（オーバーラップする）処理である。このオーバーラップ処理がエッジ強調処理Ｅ（）と非可換である点については、後で図４〜図９を参照して説明する。

【0034】

後段処理部２８は、画像データに対して、例えば、階調変換や色空間変換、ガンマ補正などの各種の処理を行う。

【0035】

ＲＡＭ２９は、画像処理部２３において処理される画像データを一時的に記憶するメモリである。

【0036】

表示制御部３１は、画像処理部２３により画像処理された画像データに、内視鏡システムに関する文字情報などを重畳して表示用の信号に変換し、表示装置５０へ出力する。

【0037】

メモリ３２は、ＣＰＵ３４により実行される処理プログラムを格納すると共に、内視鏡システムに対して設定された各種の設定内容を記憶する設定内容格納部３３を備えている。この設定内容格納部３３には、スコープＩＤ記憶部１２から読み出された内視鏡１０の固有情報（内視鏡１０の種類、撮像素子の種類、撮像素子の有効画素数などの情報）が記憶されると共に、後述する入力部４０から入力されるズーム倍率（変倍率）、エッジ強調度、境界補正範囲などの情報が記憶される。

【0038】

ＣＰＵ３４は、このビデオプロセッサ２０を含む内視鏡システム全体を統合的に制御する制御部である。このＣＰＵ３４は、境界補正範囲設定部、強調度設定部、変倍率設定部、などとしても機能するようになっている。

【0039】

すなわち、ＣＰＵ３４は、強調度設定部として機能して、強調処理部２６が施すエッジ強調処理の強度（エッジ強調度）を設定する。ここに、ＣＰＵ３４は、例えば初期値として設定されているエッジ強調度に基づいて、あるいは画像を解析した結果の自動処理に基づいて、さらにあるいは入力部４０からの手動入力に基づいて、エッジ強調度を強調処理部２６に設定する。そして、ＣＰＵ３４は、設定したエッジ強調度に基づいて、境界補正範囲設定部として機能して、境界補正部２７が境界補正処理を施す境界領域５４の範囲（例えば、図２に示したような境界領域５４の、視野中心Ｆを中心とした径方向の幅）を設定する。

【0040】

また、ＣＰＵ３４は、変倍率設定部として機能して、拡大縮小部２５が施す変倍処理の変倍率を設定する。ここに、ＣＰＵ３４は、例えば初期値として設定されている変倍率に基づいて、あるいは入力部４０からの入力設定に基づいて、変倍率を拡大縮小部２５に設定する。そして、ＣＰＵ３４は、設定した変倍率に基づき、境界補正範囲設定部として機能して、境界補正部２７が境界補正処理を施す境界領域５４の範囲を設定する。

【0041】

さらに、ＣＰＵ３４は、第２入力部２２から取得した固有情報に基づき、境界補正範囲設定部として機能して、境界補正部２７が境界補正処理を施す境界領域５４の範囲を設定する。

【0042】

入力部４０は、キーボード４１、フロントパネルスイッチ４２、フットスイッチ４３などの各種の入力デバイスを備えており、ＣＰＵ３４へ接続されている。この入力部４０を用いれば内視鏡システムに対する種々の設定や入力が可能であるが、幾つかの入力設定の例としては、拡大縮小部２５による電子ズームに対するズーム倍率（変倍率）、強調処理部２６に対するエッジ強調度（このエッジ強調度によりエッジ強調係数αが決まる）、境界補正部２７による境界補正範囲などが挙げられる。

【0043】

表示装置５０は、内視鏡１０により撮像された画像データを表示する内視鏡画像表示部５１を備え、さらに、内視鏡システムに関する各種の情報等も表示するようになっている。

【0044】

次に、図４〜図９を参照して、オーバーラップ処理とエッジ強調処理とが非可換である点について説明する。

【0045】

まず、図４は、オーバーラップ処理およびエッジ強調処理を行う前の画像データを表示装置５０の画面５０ａに表示したときの画像および信号値の変化の例を示す図である。

【0046】

図４の上図に示すように、前方視野画像５２は、視野中心Ｆを中心とした半径ｒｉｎ内の円形領域となっており、側方視野画像５３は、視野中心Ｆを中心とした半径ｒｏｕｔ（ｒｏｕｔ＞ｒｉｎ）外の概略円環状領域となっている。そして、ｒｉｎ≦ｒ≦ｒｏｕｔの領域が境界領域５４である（従って、境界領域５４は、ｒｉｎが内側半径、ｒｏｕｔが外側半径となる）。

【0047】

この境界領域５４を挟んだ信号値（例えばコントラスト）の変化の一例を示すのが、図４の下図である。なお、図４の上図において、水平右方向をｘ座標の正方向、垂直上方向をｙ座標の正方向としてｘ−ｙ座標軸を設定している。

【0048】

前方視野画像５２に起因するコントラストは、半径ｒｉｎに対応するｘ座標ｘｉｎを（この座標設定の場合にはｘ座標の負方向に）超えると、前方視野からの被写体光の光量が急速に低下するために値が急速に低下する。

【0049】

同様に、側方視野画像５３に起因するコントラストは、半径ｒｏｕｔに対応するｘ座標ｘｏｕｔを（この座標設定の場合にはｘ座標の正方向に）超えると、側方視野からの被写体光の光量が急速に低下するために値が急速に低下する。

【0050】

そして、境界領域５４においては、前方視野画像５２に起因するコントラストと、側方視野画像５３に起因するコントラストと、が重畳されて例えば図示のようなコントラスト分布を形成している。

【0051】

なお、ここでは、境界領域５４において前方視野画像５２と側方視野画像５３とが比較的滑らかにコントラスト接続される例を示したが、対物光学系の構成などによっては、境界領域５４のコントラストがほぼ０になるなどの例もある。

【0052】

次に、図５は、図４の信号値の変化をモデル化した線図である。ここでは曲線の形状を単純にしてモデル化しているが、前方視野画像５２のｘ座標ｘｉｎにおけるコントラストと、側方視野画像５３のｘ座標ｘｏｕｔにおけるコントラストとは、異なる値となっている。

【0053】

続いて、図６は、図５に示すコントラスト分布の画像データにエッジ強調処理を行った後の様子を示す線図である。

【0054】

図５に示すコントラスト分布では、コントラストが急激に変化しているエッジ部分はほとんど存在していないために、エッジ強調処理を行っても画像データはあまり変化していない。

【0055】

図７は、図６に示すコントラスト分布の画像データに境界補正処理を行った後の様子を示す線図である。

【0056】

ここでの境界補正処理は、例えば前方視野画像５２を拡大して側方視野画像５３に接続するオーバーラップ処理により行われている。これによって、図５および図６において幅があった境界領域５４が、境界補正処理後には境界線５４’のみとなっている。

【0057】

一方、図８は、図５に示すコントラスト分布の画像データに境界補正処理を行った後の様子を示す線図である。

【0058】

図７に示した例とほぼ同様に、境界補正処理としてのオーバーラップ処理を行うと、図５および図６において幅があった境界領域５４が、境界補正処理後には境界線５４’のみとなっている。そして、上述したように、前方視野画像５２のｘ座標ｘｉｎにおけるコントラストと、側方視野画像５３のｘ座標ｘｏｕｔにおけるコントラストとは、異なる値となっているために、境界線５４’において、コントラストの急激な変化部分であるエッジが発生している。

【0059】

図９は、図８に示すコントラスト分布の画像データにエッジ強調処理を行った後の様子を示す線図である。

【0060】

エッジ強調処理においては、エッジ部分のコントラストのギャップが拡大されるために、境界線５４’を挟んで元々コントラストが高かった前方視野画像５２側のコントラストがさらに高くなり、元々コントラストが低かった側方視野画像５３側のコントラストがさらに低くなっている。

【0061】

こうして、エッジ強調処理を先に行って境界補正処理を後に行った図７に示す処理結果と、境界補正処理を先に行ってエッジ強調処理を後に行った図９に示す処理結果とは、異なる結果となり、つまり、エッジ強調処理と境界補正処理とは非可換な処理であることが分かる。

【0062】

しかも、図９に示すように、境界補正処理を先に行ってエッジ強調処理を後に行った場合には、境界補正処理によって生じたエッジが強調されてしまう結果、前方視野画像５２と側方視野画像５３との境界がより目立つことになってしまう。

【0063】

そこで、本実施形態では、図１に示したように、強調処理部２６の後段側に境界補正部２７を配置する構成を採用している。これにより、図７に示したように、境界線５４’に生じるエッジが強調されてしまうのを抑制することができる。

【0064】

さらに、本実施形態では、図１に示したように、拡大縮小部２５を境界補正部２７の前段側に配置している。これは、もし変倍処理を境界補正処理よりも後に行うと、境界補正処理によって図２に示したような境界領域５４が図３に示したような境界線５４’に縮小されたにも関わらず、その後の変倍処理（拡大処理）によって境界線５４’が再び拡大されて境界領域５４として目立つことになってしまうためである。

【0065】

なお、拡大縮小部２５および強調処理部２６は、境界補正部２７よりも前段側に配置されている条件を満たせば、図１に示すように順序を入れ替えても構わない。また、拡大縮小部２５および強調処理部２６に限らず、境界補正部２７により境界領域５４を補正して得られた境界線５４’が、その後に何らかの処理を行うことにより目立つことになる場合には、その処理を行う処理部を境界補正部２７よりも前段側に配置することが好ましい。

【0066】

また、例えば前方視野画像５２と側方視野画像５３とが境界領域５４において互いに滑らかに接続されていて、そのままでも境界領域５４が不自然に見えることが少ないときなどには、境界補正処理の処理対象範囲を小さくすることが考えられる。あるいは、図７を参照して説明したように、境界補正処理を行うと画像のコントラストにギャップが生じてエッジとして観察されてしまうために、むしろ境界補正処理を行わない方が良い場合もあると考えられる。

【0067】

そこで、上記においても一部説明したように、次のような処理を行うようにしている。

【0068】

すなわち、エッジ強調処理を行うと、上述したようにエッジにおけるコントラストのギャップが拡大して境界が目立つことになる。従って、ＣＰＵ３４は境界補正範囲設定部として機能して、強調処理部２６が施すエッジ強調処理の強度が高いときには境界補正部２７が境界補正処理を施す対象とする境界領域５４の範囲を大きくし、逆にエッジ強調処理の強度が低いときには境界領域５４の範囲を小さくする設定を行う。

【0069】

図１０はエッジ強調度に対して設定される境界補正範囲の例を示す線図である。

【0070】

この図１０においては、エッジ強調処理の強度（エッジ強調度）を示す指標として、上述したエッジ強調係数αを用いている。

【0071】

図示のように、エッジ強調度が最低強度の場合（例えば、エッジ強調度が０であってエッジ強調を行わない場合）には、境界補正範囲は最低範囲のＷｍｉｎをとっている。ここに、本実施形態における境界補正範囲Ｗは、境界補正処理を行う対象となる境界領域５４の図２等に示した視野中心Ｆを中心とした径方向の幅を想定している（ただし、これに限定されるものではない）。そして、エッジ強調度を示すエッジ強調係数αが増加するに従って境界補正範囲Ｗも拡大し、エッジ強調係数αがある値α１になったところで境界補正範囲Ｗは最大値Ｗ０をとり、エッジ強調係数αが値α１を超えても最大値Ｗ０が維持される。

【0072】

また、拡大縮小部２５により画像を拡大すると、拡大後の画像の鮮鋭度が低下してしまうために、その対策としてエッジ強調度を高く設定する処理が行われる。つまり、変倍処理の変倍率とエッジ強調度とには関連性がある。従って、ＣＰＵ３４は境界補正範囲設定部として機能して、拡大縮小部２５による変倍処理の変倍率が大きいとき（つまり、エッジ強調度が高いとき）には、境界補正部２７が境界補正処理を施す対象とする境界領域５４の範囲を大きくし、逆に変倍率が小さいとき（つまり、エッジ強調度が低いとき）には境界領域５４の範囲を小さくする設定（図１０に示す境界補正範囲Ｗ０からＷ１への変更設定など）を行う。

【0073】

さらに、例えば内視鏡１０が細径である場合には、小型の撮像素子を用いることになるが、小型の撮像素子は画素数が少ないために、表示装置５０に表示するために拡大処理を行うことがある。また、撮像素子の種類によっては低輝度時のノイズ発生量が比較的多い場合があるが、こうしたノイズ低減処理は周辺画素からの補間により行われる。従って、拡大処理やノイズ低減処理などの画素補間を伴う処理は、画像の鮮鋭度を低下させることになるために、その対策として上述と同様にエッジ強調度を高く設定する処理が行われることがある。従って、ＣＰＵ３４は境界補正範囲設定部として機能して、第２入力部２２から取得した固有情報（内視鏡１０の種類、撮像素子の種類、撮像素子の有効画素数などの情報）に基づいて、境界補正部２７が境界補正処理を施す境界領域５４の範囲を設定するようにしている。具体例としては、撮像素子の有効画素数が多い場合には境界領域５４の範囲を小さくする設定を行い、有効画素数が少ない場合には境界領域５４の範囲を大きくする設定（例えば、図１０に示す境界補正範囲の最大値をＷ１からＷ０へ変更する設定など）を行う、等である。

【0074】

なお、境界補正部２７が境界補正処理を施す境界領域５４の範囲（境界補正範囲）は、上述したように、入力部４０を介して、ユーザが手動で設定することも可能となっている。この場合には、ユーザは、表示装置５０の内視鏡画像表示部５１に表示されている画像を観察しながら、表示が最も適切となるように所望の設定を行えば良い。

【0075】

このような実施形態１によれば、エッジ強調処理とは非可換な境界補正処理を施す境界補正部２７を強調処理部２６の後段側に設けるようにしたために、境界補正処理によって前方視野画像５２と側方視野画像５３の境界に生じるエッジが、エッジ強調処理により強調されることはなく、前方視野と側方視野の境界領域５４が良好に補正された画像を取得することができる。

【0076】

また、境界補正部２７がエッジ強調処理とは非可換な境界補正処理としてオーバーラップ処理を行うようにしたために、比較的簡単な処理で境界領域５４を目立たなくさせることができる。

【0077】

さらに、画像に変倍処理を施す拡大縮小部２５を境界補正部２７の前段側に設けたために、境界補正処理によって前方視野画像５２と側方視野画像５３の境界に生じるエッジが、変倍処理により領域拡大されることはなく、前方視野と側方視野の境界領域５４が良好に補正された画像を取得することができる。

【0078】

そして、ＣＰＵ３４が境界補正範囲設定部として機能して、境界補正部２７が境界補正処理を施す境界領域５４の範囲を設定するようにしたために、必要に応じた適切な範囲に対して境界補正を行うことが可能となる。

【0079】

加えて、ＣＰＵ３４が、エッジ強調処理の強度に基づいて、境界補正処理を施す境界領域５４の範囲を設定するようにしたために、エッジ強調度に応じた適切な範囲に対して境界補正処理を行うことができる。

【0080】

このとき、エッジ強調処理の強度に影響を与える変倍処理の変倍率に基づいても、境界補正処理を施す境界領域５４の範囲を適切に設定することができる。

【0081】

また、エッジ強調処理の強度に影響を与える内視鏡１０の固有情報（内視鏡１０の種類、撮像素子の種類、撮像素子の有効画素数など）に基づいても、境界補正処理を施す境界領域５４の範囲を適切に設定することができる。

【0082】

このとき、境界領域５４の配置に係る情報として、境界領域５４の内側半径ｒｉｎをあらわす情報と境界領域５４の外側半径ｒｏｕｔをあらわす情報との少なくとも一方を含むようにしたために、具体的には、境界領域５４の内側半径ｒｉｎをあらわす情報および境界領域５４の外側半径ｒｏｕｔをあらわす情報と、境界領域５４の内側半径ｒｉｎをあらわす情報および内側半径ｒｉｎに対する境界領域５４の外側半径ｒｏｕｔの比率（ｒｏｕｔ／ｒｉｎ）をあらわす情報と、境界領域５４の外側半径ｒｏｕｔをあらわす情報および外側半径ｒｏｕｔに対する境界領域５４の内側半径ｒｉｎの比率（ｒｉｎ／ｒｏｕｔ）をあらわす情報と、の何れかを用いることにより、境界領域５４の配置を少ないデータ量で正確に表すことができる。

【0083】

なお、上述では主として画像処理装置について説明したが、画像処理装置を上述したように作動させる作動方法であっても良いし、画像処理装置と同様の処理を行うための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

【0084】

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

【0085】

本出願は、２０１４年１２月２日に日本国に出願された特願２０１４−２４４２９４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

【要約】

前方視野および側方視野の画像を含む画像データを入力する第１入力部（２１）と、入力された画像データがあらわす画像のエッジを強調する強調処理部（２６）と、強調処理部（２６）の後段側に設けられ、エッジ強調された画像データにおける前方視野と側方視野との境界領域に対して、エッジ強調処理とは非可換な補正処理を施す境界補正部（２７）と、を備える画像処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】