特許 6017749 撮像装置、撮像装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6017749

(24)【登録日】2016年10月7日

(45)【発行日】2016年11月2日

(54)【発明の名称】撮像装置、撮像装置の作動方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20161020BHJP

   A61B 1/04 20060101ALI20161020BHJP

   H04N 5/232 20060101ALI20161020BHJP

【ＦＩ】

   H04N5/225 A

   A61B1/04 370

   H04N5/232 Z

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2016-547954(P2016-547954)

(86)(22)【出願日】2015年12月2日

(86)【国際出願番号】JP2015083873

【審査請求日】2016年7月21日

(31)【優先権主張番号】特願2015-37151(P2015-37151)

(32)【優先日】2015年2月26日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】神宮 一斐

(72)【発明者】

【氏名】大町 健二

(72)【発明者】

【氏名】永水 裕之

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２００７−３１８５３３（ＪＰ，Ａ）

【文献】 特開２０１０−０３５１３１（ＪＰ，Ａ）

【文献】 特開２００８−２３６６３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ａ６１Ｂ １／００ − １／３２

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

被写体の画像を気体中および液体中において取得可能な撮像装置であって、
上記被写体の光学像を形成する撮像光学系と、
上記光学像を光電変換して画像信号を生成する撮像素子と、
上記画像信号中にケラレ部分が検出された場合に上記画像信号が気体中で取得されたとする気体中判定を行い、上記画像信号中にケラレ部分が検出されない場合に上記画像信号が液体中で取得されたとする液体中判定を行う判定部と、
上記気体中判定が行われた場合には、気体中撮像に応じた表示データを生成し、上記液体中判定が行われた場合には、上記気体中撮像に応じた表示データとは異なる液体中撮像に応じた表示データを生成する表示データ生成部と、
を有することを特徴とする撮像装置。

【請求項2】

上記判定部は、気体中で取得された場合の上記画像信号のケラレ部分に対して予め設定されたケラレ測定領域の平均輝度が、所定の閾値未満である場合にケラレ部分が検出されたと判定し、所定の閾値以上である場合にケラレ部分が検出されないと判定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

上記表示データ生成部は、上記気体中判定が行われた場合には、該画像信号におけるケラレ部分を除いたイメージサークル内の画像部分を切り出して拡大することにより上記表示データを生成することを特徴とする請求項１に記載の撮像装置。

【請求項4】

上記表示データ生成部は、上記判定部の判定結果を告知するための告知表示データを含むように上記表示データを生成することを特徴とする請求項１に記載の撮像装置。

【請求項5】

上記撮像素子から得られた画像信号に基づき測光を行って、測光結果に基づき被写体へ照射する照明光を制御する照明制御部をさらに有し、
上記照明制御部は、上記判定部による判定結果が、上記液体中判定である場合には上記画像信号の全部または一部を測光範囲に設定し、上記気体中判定である場合には上記画像信号におけるケラレ部分を除いた部分の全部または一部を測光範囲に設定することを特徴とする請求項１に記載の撮像装置。

【請求項6】

上記撮像素子から得られた画像信号に基づきホワイトバランスを測定して、測定結果に基づき画像信号のホワイトバランス調整を行うホワイトバランス処理部をさらに有し、
上記ホワイトバランス処理部は、上記判定部による判定結果が、上記液体中判定である場合には上記画像信号の全部または一部をホワイトバランス測定範囲に設定し、上記気体中判定である場合には上記画像信号におけるケラレ部分を除いた部分の全部または一部をホワイトバランス測定範囲に設定することを特徴とする請求項１に記載の撮像装置。

【請求項7】

被写体の画像を気体中および液体中において取得可能な撮像装置の作動方法であって、
撮像光学系が、上記被写体の光学像を形成し、
撮像素子が、上記光学像を光電変換して画像信号を生成し、
判定部が、上記画像信号中にケラレ部分が検出された場合に上記画像信号が気体中で取得されたとする気体中判定を行い、上記画像信号中にケラレ部分が検出されない場合に上記画像信号が液体中で取得されたとする液体中判定を行い、
表示データ生成部が、上記気体中判定が行われた場合には、気体中撮像に応じた表示データを生成し、上記液体中判定が行われた場合には、上記気体中撮像に応じた表示データとは異なる液体中撮像に応じた表示データを生成する、
ことを特徴とする撮像装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の画像を気体中および液体中において取得可能な撮像装置、撮像装置の作動方法に関する。

【背景技術】

【0002】

撮像装置には、空気中などの気体中にある被写体を撮像するだけでなく、水中などの液体中にある被写体を撮像するものもある。

【0003】

例えば、日本国特開２００７−３１８５３３号公報には、防水パックに収容することで水中でのストロボ撮影が可能なデジタルカメラが記載されている。ただし、レンズ突出タイプのデジタルカメラの防水パックではレンズ部分が一回り大きな構成となるために、内蔵ストロボでストロボ撮影を行うとそのレンズ部分によってストロボ光が遮光されケラレが発生する。そこで該公報には、水中モードに設定されているか否かを判定して、水中モードに設定されていると判定した場合に、ストロボ光のケラレが発生した画像をケラレのない画像に補正する画像処理を施す技術が提案されている。

【0004】

また、日本国特開２０１０−３５１３１号公報には、デジタルカメラにコンバージョンレンズが装着された際に、コンバージョンレンズにより発生するケラレを検出する技術が記載されている。具体的に該公報には、画像データを縦横に区切って適当な大きさのエリアに分割し、それぞれのエリアにおける露光量を計測して評価値を算出し、画像データの周囲の評価値が黒であることを示す値になる評価値パターンが検出されたら、画像データにケラレが発生していると検出するようになっている。

【0005】

ところで、液体中で使用することが一般的な内視鏡などの撮像装置において、液体中における広画角を実現しようとすると、液体（例えば水）と気体（例えば空気）との屈折率の違いから、気体中では液体中よりも画角が広くなり、液体中撮像では生じないケラレ部分が気体中撮像では内視鏡画像に生じることがある。従って、こうした内視鏡画像のケラレ部分を見たユーザが、故障であると誤認識してしまう、またはケラレ画像を観察することに違和感を覚えてしまう、といった課題がある。

【0006】

本発明は上記事情に鑑みてなされたものであり、液体中撮像では生じないケラレ部分が気体中撮像により生じた場合でも、故障であると誤認識されることのない画像表示を行うことを可能とする撮像装置、撮像装置の作動方法を提供することを目的としている。

【発明の開示】

【課題を解決するための手段】

【0007】

本発明のある態様による撮像装置は、被写体の画像を気体中および液体中において取得可能な撮像装置であって、上記被写体の光学像を形成する撮像光学系と、上記光学像を光電変換して画像信号を生成する撮像素子と、上記画像信号中にケラレ部分が検出された場合に上記画像信号が気体中で取得されたとする気体中判定を行い、上記画像信号中にケラレ部分が検出されない場合に上記画像信号が液体中で取得されたとする液体中判定を行う判定部と、上記気体中判定が行われた場合には、気体中撮像に応じた表示データを生成し、上記液体中判定が行われた場合には、上記気体中撮像に応じた表示データとは異なる液体中撮像に応じた表示データを生成する表示データ生成部と、を有している。

【0008】

本発明のある態様による撮像装置の作動方法は、被写体の画像を気体中および液体中において取得可能な撮像装置の作動方法であって、撮像光学系が、上記被写体の光学像を形成し、撮像素子が、上記光学像を光電変換して画像信号を生成し、判定部が、上記画像信号中にケラレ部分が検出された場合に上記画像信号が気体中で取得されたとする気体中判定を行い、上記画像信号中にケラレ部分が検出されない場合に上記画像信号が液体中で取得されたとする液体中判定を行い、表示データ生成部が、上記気体中判定が行われた場合には、気体中撮像に応じた表示データを生成し、上記液体中判定が行われた場合には、上記気体中撮像に応じた表示データとは異なる液体中撮像に応じた表示データを生成する方法である。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１における内視鏡システムの構成を示すブロック図。

【図2】上記実施形態１における画像処理部の構成を示すブロック図。

【図3】上記実施形態１において、物体側が液体中にある撮像光学系により撮像素子へ結像する光線の光路の例を示す図。

【図4】上記実施形態１において、物体側が気体中にある撮像光学系により撮像素子へ結像する光線の光路の例を示す図。

【図5】上記実施形態１において、表示装置の画面に表示されている、液体中撮像で得られた内視鏡画像の例を示す図。

【図6】上記実施形態１において、表示装置の画面に表示されている、気体中撮像で得られた内視鏡画像の例を示す図。

【図7】上記実施形態１において、気体中撮像で得られた画像の一例を示す図。

【図8】上記実施形態１において、気体中撮像で得られた画像の他の例を示す図。

【図9】上記実施形態１において、気体中で取得された画像信号をズーム処理する様子を示す図。

【図10】上記実施形態１の表示装置に表示された告知表示データの例を示す図。

【図11】上記実施形態１における撮像装置の作用を示すフローチャート。

【発明を実施するための最良の形態】

【0010】

以下、図面を参照して本発明の実施の形態を説明する。

【0011】

［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は内視鏡システムの構成を示すブロック図である。すなわち、本実施形態は、撮像装置を内視鏡システムに適用した実施形態となっている。

【0012】

この内視鏡システムは、内視鏡１と、ビデオプロセッサ２と、表示装置３と、を備えている。

【0013】

内視鏡１は、被写体の画像を、気体中において取得可能であると共に、液体中においても取得可能となっていて、撮像光学系１１と、撮像素子１２と、照明部１３と、ＩＤメモリ１４と、告知ランプ１５と、を備えている。

【0014】

撮像光学系１１は、物体側にある気体または液体を介して入射した光から、被写体の光学像を形成する光学系である。

【0015】

撮像素子１２は、撮像光学系１１により形成された光学像を光電変換して画像信号を生成する撮像部である。

【0016】

上述した撮像光学系１１は、液体中において被写体の光学像を形成する場合には、撮像素子１２の撮像面がイメージサークルＩＣｗ（図５等参照）内に入るように設計されている。しかし、撮像光学系１１が気体中において被写体の光学像を形成する場合にはイメージサークルＩＣａ（図６等参照）が小さくなり、撮像素子１２の撮像面内にイメージサークルＩＣａ外となるケラレ部分ＶＰが生じる構成となっている（図７および図８に示す例も参照）。

【0017】

ここで、図３および図４を参照して、気体中においてケラレ部分ＶＰが生じる理由について説明する。図３は物体側が液体中にある撮像光学系１１により撮像素子１２へ結像する光線の光路の例を示す図、図４は物体側が気体中にある撮像光学系１１により撮像素子１２へ結像する光線の光路の例を示す図である。

【0018】

気体が空気であるとすると屈折率は約１．００、液体が水であるとすると屈折率は約１．３３である。これに対して、撮像光学系１１を形成する硝材の屈折率は一般に空気や水よりも高く、例えば１．４３〜２．１４程度である。

【0019】

従って、図３に示すような液体中での撮像画角よりも、図４に示すような気体中での撮像画角は一般に広くなる。このとき、液体中での広い画角を実現しようとすると、屈折率から理論的に算出される気体中での画角が、撮像光学系１１の入射面の形状から光線が入射し得る最大の角度範囲（例えば、入射面が平面である場合には、光線が入射し得る最大の角度範囲は１８０°）を超えてしまうことがある。実際には最大の角度範囲を超える画角範囲からの光線入射はないために、このときには、撮像素子１２の撮像面の辺縁に到達する光線を逆トレースすると、図４の２点鎖線に示すように、撮像光学系１１の入射面の内面側において全反射が生じる状態となっている。このような状態で撮像される画像の辺縁に生じているケラレを、本明細書においては、例えば「全反射ケラレ」と称することにする。

【0020】

このような全反射ケラレが生じると、有効な画像領域の周囲に有効な画像でないケラレ部分が生じ、このケラレ部分に上述した内面全反射に起因して撮像光学系１１のレンズ枠の内面が映し出されるなどする。表示装置３においてこのような表示を観察すると、故障が生じたとユーザが誤認識する、あるいはユーザが表示に違和感を覚えることがある。

【0021】

図５は表示装置３の画面に表示されている、液体中撮像で得られた内視鏡画像４１の例を示す図、図６は表示装置３の画面に表示されている、気体中撮像で得られた内視鏡画像４１の例を示す図である。

【0022】

液体中撮像の場合には、図５に示すように、イメージサークルＩＣｗ（なお、文字ｗは、イメージサークルＩＣが液体中におけるものであることを示すために付している）は内視鏡画像４１を内部に含むために、ケラレ部分は生じない。

【0023】

これに対して図６に示す気体中撮像の場合には、図５に示した液体中のイメージサークルＩＣｗの光軸Ｏを中心とした半径Ｉｗよりも小さい半径ＩａのイメージサークルＩＣａ（なお、文字ａは、イメージサークルＩＣが気体中におけるものであることを示すために付している）となり、しかもこのイメージサークルＩＣａでは内視鏡画像４１の全域を覆うことができないために、内視鏡画像４１の辺縁部にハッチングを付して示すようなケラレ部分ＶＰが生じている。

【0024】

図６に示した例では、イメージサークルＩＣの直径は内視鏡画像４１の短辺の長さと同じであるが、撮像光学系１１の構成によっては、イメージサークルＩＣの直径が内視鏡画像４１の短辺よりも小さい場合や、イメージサークルＩＣの直径が内視鏡画像４１の短辺と長辺との中間の長さになる場合がある。これらの例を図７および図８に示す。

【0025】

まず、図７は気体中撮像で得られた画像の一例を示す図である。

【0026】

この図７に示す例においては、イメージサークルＩＣの直径が撮像素子１２の撮像面の短辺よりも小さく、イメージサークルＩＣの像が撮像素子１２上に円形に結像して、イメージサークルＩＣの外部が上述した全反射ケラレによるケラレ部分ＶＰとなっている。

【0027】

また、図８は気体中撮像で得られた画像の他の例を示す図である。

【0028】

この図８に示す例においては、イメージサークルＩＣの直径が撮像素子１２の撮像面の短辺よりも大きくかつ長辺よりも小さくなっており、イメージサークルＩＣの像の輪郭が円弧状となって、その左右の外部が上述した全反射ケラレによるケラレ部分ＶＰとなっている。

【0029】

図１の説明に戻って、照明部１３は、被写体へ照明光を照射するものであり、ＬＥＤ等の発光素子、あるいは照明光を伝送するライトガイドファイバ等を含んで構成されている。

【0030】

ＩＤメモリ１４は、内視鏡ＩＤを不揮発に記憶する記憶部であり、具体的には内視鏡１の型番やシリアル番号などの情報が記憶されている。これらの内の例えば内視鏡１の型番の情報に基づいて、内視鏡１が気体中と液体中との何れにおいても画像信号を取得可能なタイプの内視鏡であることを判別可能となっている。さらに、内視鏡１が気体中と液体中との何れにおいても画像信号を取得可能なタイプの内視鏡である場合には、内視鏡１の型番の情報に基づいて後述する制御部２８がデータベース等を参照することによりイメージサークルＩＣの位置や大きさなどの輪郭情報を取得可能であるか、または、このＩＤメモリ１４内にイメージサークルＩＣの位置や大きさなどの輪郭情報が予め記憶されていて制御部２８により読み出されるものとする。

【0031】

告知ランプ１５は、内視鏡１の例えば操作部に設けられていて、ビデオプロセッサ２内の後述する制御部２８により、画像信号が気体中撮像で得られたとする気体中判定、または画像信号が液体中撮像で得られたとする液体中判定が行われたときに、その判定結果をランプの点灯／消灯によりユーザに告知する告知部である。ここに一例として、液体中判定が行われたときに告知ランプ１５が点灯し、気体中判定が行われたときに告知ランプ１５が消灯するように構成されている。

【0032】

なお、ここでは告知ランプ１５を内視鏡１の操作部に設ける例を説明したが、この配置に限るものではなく、ビデオプロセッサ２の外装に設けても構わないし、表示装置３に設けても良い（ここに、後で図１０を参照して説明するように、表示装置３の画面に告知表示を行うことも可能であるが、例えば表示装置３の画面全体に内視鏡画像を表示する場合には、表示装置３の外装に告知ランプ１５を設けると良い）。

【0033】

ビデオプロセッサ２は、前処理部２１と、表示データ生成部２２と、照明制御部２６と、操作入力部２７と、制御部２８と、を備えている。

【0034】

前処理部２１は、例えば、撮像素子１２から入力された画像信号を増幅してデジタル信号に変換する処理等を行う。

【0035】

表示データ生成部２２は、前処理部２１から入力された画像信号に画像処理を施して表示データを生成するものであり、画像処理部２３と、画像出力部２４と、を備えている。表示データ生成部２２は、後述する制御部２８により気体中判定が行われた場合には、気体中撮像に応じた表示データを画像信号から生成し、液体中判定が行われた場合には、気体中撮像に応じた表示データとは異なる液体中撮像に応じた表示データを画像信号から生成する。

【0036】

ここに、図２は画像処理部２３の構成を示すブロック図である。

【0037】

この画像処理部２３は、同時化処理部３１と、ケラレ測定領域平均輝度算出部３２と、ズーム処理部３３と、ホワイトバランス処理部３４と、ガンマ変換部３５と、を備えている。

【0038】

同時化処理部３１は、例えば撮像素子１２がモノクロ撮像素子であって面順次照明によってカラー画像信号を取得する場合には、取得された各色の画像を同時化処理して１枚のカラー画像を作成する。また、同時化処理部３１は、例えば撮像素子１２が原色ベイヤー配列のカラーフィルタを供える単板カラー撮像素子である場合には、取得されたベイヤー画像をデモザイキング処理して１枚のカラー画像を作成する。

【0039】

ケラレ測定領域平均輝度算出部３２は、内視鏡１が気体中において画像信号を取得した場合に生じるイメージサークルＩＣ外のケラレ部分ＶＰの全部または一部をケラレ測定領域（このケラレ測定領域は、上述したように、内視鏡１が液体中において画像信号を取得した場合にはケラレ部分ＶＰとはならない）に予め設定して、このケラレ測定領域の例えば平均輝度を算出する。

【0040】

なお、上述した図７に示す例と図８に示す例との何れにおいても、画像の左右辺縁部（長辺方向の両辺縁部）は共通してケラレ部分ＶＰとなっている。従って、後述するケラレ測定領域をイメージサークルＩＣ外の左右の辺縁部に限定するようにすれば、複数種類の内視鏡に対して共通するケラレ測定領域を用いることが可能となり、処理の統一化を図ることができる。あるいはさらに限定的に、画像の上下左右の四隅部をケラレ測定領域とするようにしても構わない。

【0041】

また、ここでは平均輝度を算出したが、これに限るものではなく、ケラレ測定領域の輝度分布の中央値や、輝度に係る出現頻度のピーク値等を用いても構わず、要はケラレ測定領域の輝度を代表する値であれば良い。

【0042】

制御部２８は、ケラレ測定領域平均輝度算出部３２により算出されたケラレ測定領域の平均輝度を所定の閾値と比較して、閾値以上である場合にはケラレ部分ＶＰが検出されず、つまり液体中における撮像であると判定し、閾値未満である場合にはケラレ部分ＶＰが検出され、つまり気体中における撮像であると判定する判定部として機能する。

【0043】

ズーム処理部３３は、撮像素子１２から取得された画像の一部を切り出して拡大する電子ズーム処理を行うものである。このズーム処理部３３は、手動でのズーム操作が行われたときに設定内容に応じた電子ズーム処理を行うと共に、さらに本実施形態においては、自動ズームモードが設定されていて、かつ気体中判定が行われた場合に、気体中撮像で取得された画像信号におけるケラレ部分ＶＰを除いたイメージサークルＩＣ内の画像部分を切り出して拡大することにより表示データを生成する自動処理を行う。

【0044】

図９は、気体中において取得された画像信号をズーム処理する様子を示す図である。

【0045】

気体中において取得された画像信号を処理して得られる内視鏡画像４１は、上述したように、イメージサークルＩＣ内の有効な画像領域と、イメージサークルＩＣ外のケラレ部分ＶＰと、を含んでいる。そこで、ズーム処理部３３は、制御部２８により画像信号が気体中撮像で生成されたと判定された場合には、画像信号におけるイメージサークルＩＣ内の画像部分ＳＡを切り出して拡大することにより、新たな内視鏡画像４１’を表示データとして生成する。

【0046】

なお、この自動ズーム処理を行うときには、液体中で撮像された被写体と同一の被写体が気体中撮像時にもほぼ同じ大きさで表示装置３上に表示されるように拡大率を設定すると、液体中撮像と気体中撮像とが切り替わったときの違和感が軽減されるために好ましい。

【0047】

ホワイトバランス処理部３４は、撮像素子１２から得られた画像信号に基づきホワイトバランスを測定して、測定結果に基づき画像信号のホワイトバランス調整を行う。ホワイトバランス処理部３４は、画像信号が例えばＲＧＢの３成分で構成される場合は、白色の被写体が白色で観察されるようにＲ成分とＧ成分とＢ成分とにそれぞれのゲインを乗算することでホワイトバランス調整を行う。

【0048】

このとき、ホワイトバランス処理部３４は、制御部２８による判定結果が、液体中判定である場合には撮像素子１２から得られた画像信号の全部または一部をホワイトバランス測定範囲に設定し、気体中判定である場合には撮像素子１２から得られた画像信号におけるケラレ部分ＶＰを除いた部分（イメージサークルＩＣ内の有効画像領域）の全部または一部をホワイトバランス測定範囲に設定するようになっている。

【0049】

ガンマ変換部３５は、画像信号の階調特性が表示装置３の表示特性に適するように階調変換を行う。

【0050】

画像出力部２４は、画像処理部２３により処理された画像信号から表示装置３に表示するための表示データを生成するものであり、画像合成部２５を含んでいる。

【0051】

ここに、画像合成部２５は、制御部２８による判定結果を告知するための告知表示データを表示データに重畳する画像合成を行う。

【0052】

図１０は、表示装置３に表示された告知表示データの例を示す図である。

【0053】

表示装置３の表示画面３ａには、内視鏡１により取得された画像が内視鏡画像４１として表示されるようになっている。

【0054】

そして、告知表示の一例は、内視鏡画像４１を取り囲む枠線４２の表示態様を、内視鏡画像４１が液体中において取得された場合と、気体中において取得された場合とで異ならせるものである。具体的な表示態様の違いとしては、枠線４２の、太さを異ならせる、色を異ならせる、線種（単線や２重線、点線、一点鎖線、２点鎖線等）を異ならせる、などが幾つかの例として考えられる。

【0055】

また、告知表示の他の例は、表示画面３ａ内に、内視鏡画像４１が液体中／気体中の何れにおいて取得されたかを示す文字やマークなどの撮像環境表示４３を行うものである。

【0056】

これらの枠線４２と撮像環境表示４３は、何れか一方のみを行っても良いし、両方を同時に行っても構わない。また、これらの例に限らず、その他の告知表示を行うようにしても良い。そして、上述した告知ランプ１５による告知も、これらの告知表示と併用しても良いし、何れか一方のみであっても構わない。

【0057】

照明制御部２６は、撮像素子１２から得られた画像信号に基づき測光を行って、測光結果に基づき照明部１３が被写体へ照射する照明光の例えば光量（あるいはさらに指向性等）を制御するものである。すなわち、照明制御部２６は、画像の明るさが適正値よりも大きい場合には照明光の光量を低下させるように照明部１３を制御し、画像の明るさが適正値よりも小さい場合には照明光の光量を増大させるように照明部１３を制御する。

【0058】

このとき、照明制御部２６は、制御部２８による気体中判定結果または液体中判定結果に基づいて、測光範囲を変更するようになっている。すなわち、照明制御部２６は、制御部２８による判定結果が、液体中判定である場合には撮像素子１２から得られた画像信号の全部または一部を測光範囲に設定し、気体中判定である場合には撮像素子１２から得られた画像信号におけるケラレ部分ＶＰを除いた部分（イメージサークルＩＣ内の有効画像領域）の全部または一部を測光範囲に設定するようになっている。

【0059】

操作入力部２７は、ビデオプロセッサ２を含むこの内視鏡システムに対する操作入力を行うためのものであり、操作スイッチや操作パネル、キーボードやマウス、トラックボール等を適宜含んで構成されている。なお、図１に示す例においては操作入力部２７をビデオプロセッサ２に設けた例を示したが、内視鏡１に設けられた操作スイッチ等であっても良いし、フットスイッチ等の外付けの操作入力部等であっても構わず、配置が限定されるものではない。本実施形態の操作入力部２７は、気体中において取得された画像信号中のイメージサークルＩＣ内の画像を自動的に切り出してズーム拡大する自動ズームモードを設定可能となっている。また、操作入力部２７により手動ズームを行うことが可能となっている。

【0060】

制御部２８は、ビデオプロセッサ２を含むこの内視鏡システム全体を統合的に制御するものである。

【0061】

例えば、制御部２８は、上述したＩＤメモリ１４から内視鏡ＩＤを取得して、取得した内視鏡ＩＤに応じた処理、つまり接続されている内視鏡１の種類等に応じた処理を行う。具体的に、制御部２８は、内視鏡１が気体中と液体中との何れにおいても画像信号を取得可能なタイプの内視鏡であると判別した場合には、後で図１１等を参照して説明するような処理を行う。

【0062】

また、制御部２８は、上述したように判定部として機能して、例えばケラレ測定領域平均輝度算出部３２により算出されたケラレ測定領域の平均輝度に基づき、画像信号中にケラレ部分ＶＰ（イメージサークルＩＣ外の部分）が検出された場合に画像信号が気体中で取得されたとする気体中判定を行い、画像信号中にケラレ部分ＶＰが検出されない場合に画像信号が液体中で取得されたとする液体中判定を行う。

【0063】

表示装置３は、ビデオプロセッサ２により生成された表示データにより例えば図１０に示したような内視鏡画像４１や告知表示データ等を表示する表示部である。

【0064】

図１１は、撮像装置の作用を示すフローチャートである。

【0065】

この処理を開始すると、処理を終了するか否かを判定し（ステップＳ１）、終了しない場合には撮像素子１２により撮像を行って画像信号を取得する（ステップＳ２）。取得された画像信号は、前処理部２１により処理された後に、画像処理部２３に入力される。

【0066】

画像処理部２３は、入力された画像信号に対して、例えば同時化処理部３１により同時化処理を行った後に、ケラレ測定領域平均輝度算出部３２によりケラレ測定領域の平均輝度を算出する（ステップＳ３）。

【0067】

制御部２８は、算出されたケラレ測定領域の平均輝度を取得して、所定の閾値と比較する（ステップＳ４）。

【0068】

このステップＳ４において平均輝度が閾値以上であると判定された場合（つまり、液体中判定がなされた場合）には、制御部２８は、照明制御部２６を制御して測光範囲を液体中用の測光範囲に設定すると共に、ホワイトバランス処理部３４を制御してホワイトバランス測定範囲を液体中用のホワイトバランス測定範囲に設定する（ステップＳ５）。

【0069】

さらに、制御部２８は、画像合成部２５を制御して液体中撮像に対応した告知表示データを表示データに重畳させることで、図１０に示したような枠線４２と撮像環境表示４３とを表示装置３に表示させると共に、告知ランプ１５を点灯させて液体中撮像であることを告知する（ステップＳ６）。

【0070】

その後、撮像素子１２から取得されたズームなし画像を、ズーム処理部３３によるズーム処理を経ることなく、表示装置３に表示する（ステップＳ７）。

【0071】

一方、ステップＳ４において平均輝度が閾値未満であると判定された場合（つまり、気体中判定がなされた場合）には、制御部２８は、照明制御部２６を制御して測光範囲を気体中用の測光範囲に設定すると共に、ホワイトバランス処理部３４を制御してホワイトバランス測定範囲を気体中用のホワイトバランス測定範囲に設定する（ステップＳ８）。

【0072】

さらに、制御部２８は、画像合成部２５を制御して気体中撮像に対応した告知表示データを表示データに重畳させることで、図１０に示したような枠線４２と撮像環境表示４３とを表示装置３に表示させると共に、告知ランプ１５を消灯させて気体中撮像であることを告知する（ステップＳ９）。

【0073】

その後、制御部２８は、自動ズームモードが設定されているか否かを判定する（ステップＳ１０）。

【0074】

ここで自動ズームモードが設定されていると判定された場合には、ケラレ部分ＶＰを表示しないように、ズーム処理部３３がズーム処理を行って、イメージサークルＩＣ内の画像部分ＳＡを図９に示したように切り出して拡大し表示画像を生成する（ステップＳ１１）。

【0075】

また、ステップＳ１０において、自動ズームモードが設定されていないと判定された場合には、操作入力部２７から手動ズーム操作が行われてズーム設定がなされたか否かを判定する（ステップＳ１２）。

【0076】

ここで、手動のズーム設定がなされていないと判定された場合には、上述したステップＳ７へ行ってズームなし画像を表示装置３に表示する。

【0077】

これに対して、手動のズーム設定がなされていると判定された場合には、ズーム処理部３３がズーム処理を行って、手動設定に応じたズーム倍率の表示画像を生成する（ステップＳ１３）。

【0078】

ステップＳ１１またはステップＳ１３によりズーム処理された表示画像が生成されたら、生成されたズーム画像を表示装置３に表示する（ステップＳ１４）。

【0079】

ステップＳ７またはステップＳ１４の処理を行ったら、ステップＳ１へ戻って上述したように終了判定を行う。こうしたループ処理を行うことにより、ステップＳ４による平均輝度と閾値との比較判定、つまり液体中撮像であるか気体中撮像であるかの判定が、一定の周期で定期的に行われることになる。

【0080】

そして、ステップＳ１において、処理を終了すると判定された場合には、この処理から図示しないメイン処理にリターンする。

【0081】

なお、上述では、ケラレ測定領域の輝度の代表値（例えば平均輝度）を算出して、所定の閾値と比し、気体中撮像であるか液体中撮像を判定したが、他の判定法を用いても構わない。

【0082】

例えば、判定法の第１の変形例は、ケラレ測定領域とイメージサークルＩＣ内に入る有効画像領域との輝度差を判定する方法である。例えば図７または図８に示すようなケラレ部分ＶＰに複数の輝度測定点、具体的にケラレ部分ＶＰの例えば四隅に輝度測定点を設定して、これら４つの輝度測定点において測定された輝度がＬ１〜Ｌ４であったものとする。さらに、図７または図８に示すようなイメージサークルＩＣの例えば中央にも輝度測定点を設定して、この輝度測定点において測定された輝度がＬ０であったものとする。このときに、ケラレ測定領域と有効画像領域との輝度差を与える次の判別値Ｄを算出する。

【0083】

Ｄ＝Ｌ０−（Ｌ１＋Ｌ２＋Ｌ３＋Ｌ４）／４
そして、算出した判別値Ｄを予め定められた閾値Ｔｈと比較して、判別値Ｄが、閾値Ｔｈ未満（Ｄ＜Ｔｈ）のときには液体中撮像であると判定し、閾値Ｔｈ以上（Ｄ≧Ｔｈ）であるときには気体中撮像であると判定する。

【0084】

また例えば、判定法の第２の変形例は、イメージサークルＩＣの輪郭検出を行う方法である。イメージサークルＩＣの輪郭が撮像素子１２上のどの位置に形成されるかは、撮像光学系１１の構成に応じて予め定まっている。そこで、制御部２８が、上述したように、ＩＤメモリ１４（またはデータベース等）から撮像光学系１１の情報（イメージサークルＩＣの位置や大きさなどの輪郭情報）を取得して、取得した輪郭位置の近傍のエッジ検出を行う。その結果、イメージサークルＩＣの輪郭に一致するエッジが、検出された場合には気体中撮像であると判定し、検出されない場合には液体中撮像であると判定する。

【0085】

なお、平均輝度または輝度差に基づく判定と、輪郭検出結果に基づく判定とを組み合わせるようにしても良い。

【0086】

また、上述では表示により視覚的に告知する例を説明したが、これに替えて、あるいはこれに加えて、音を用いて液体中撮像と気体中撮像との何れであるかを告知するようにしても良い。具体的な一例としては、液体中撮像から気体中撮像へ切り替わったときにあるメロディーの告知チャイムを鳴らし、気体中撮像から液体中撮像へ切り替わったときに他のメロディーの告知チャイムを鳴らす、等を行っても良い。また他の例としては、気体中撮像から液体中撮像へ切り替わったときに「水中観察に切り替わりました」等の音声により告知し、液体中撮像から気体中撮像へ切り替わったときに「気中観察に切り替わりました」等の音声により告知するようにしても構わない。

【0087】

さらに、上述では、気体中撮像である場合に自動処理で行われるズームとして、ズーム処理部３３による電子ズームを例に挙げたが、撮像光学系１１がズーム光学系である場合には光学ズームにより行うようにしても構わない。手動操作によるズームについても同様である。

【0088】

このような実施形態１によれば、ケラレ部分ＶＰの検出の有無に応じて気体中判定または液体中判定を行い、判定結果に応じた異なる表示データを画像信号から生成するようにしたために、液体中撮像では生じないケラレ部分ＶＰが気体中撮像により生じた場合でも、故障であると誤認識されることのない画像表示を行うことが可能となる。

【0089】

また、ケラレ測定領域の平均輝度を所定の閾値と比較した結果に基づきケラレ部分ＶＰの検出の有無を判定するようにしたために、安定した判定結果を簡単な演算により得ることができる。

【0090】

同様に、ケラレ測定領域と有効画像領域との輝度差に基づきケラレ部分ＶＰの検出の有無の判定を行う場合にも、実用的な判定結果を簡単な演算により得ることができる。

【0091】

一方、イメージサークルＩＣの輪郭検出結果に基づいてケラレ部分ＶＰの検出の有無の判定を行う場合には、輪郭検出フィルタを作用させる演算負荷が生じるものの、ほぼ確実な検出結果を得ることができる。

【0092】

そして、平均輝度または輝度差に基づく判定と、輪郭検出結果に基づく判定とを組み合わせる場合には、より精度の高い判定を行うことが可能となる。

【0093】

さらに、気体中判定が行われた場合に、イメージサークルＩＣ内の画像部分ＳＡを切り出して拡大することにより表示データを生成するようにしたために、ケラレのない画像を観察することができ、画像中のケラレ部分による違和感をなくすことができる。

【0094】

このとき、同一被写体の大きさが、液体中撮像のときと気体中撮像時のときとでほぼ同じ大きさで表示されるように拡大率を設定する場合には、液体中撮像と気体中撮像の切り替え時の違和感をさらに軽減することができる。

【0095】

また、判定結果を示す告知表示データを含むように表示データを生成するようにしたために、故障でないことを視覚的に確認することができる。そして、枠線４２の表示態様や撮像環境表示４３の表示内容により、液体中撮像と気体中撮像の何れであるかを把握することが可能となる。告知ランプを用いる場合にもほぼ同様の効果を奏することができる。

【0096】

一方、音を用いて告知する場合には、視線を告知表示や告知ランプへ向ける必要がないために、術者等のユーザは、行っている作業から視線を外すことなく、液体中撮像と気体中撮像との何れの状態であるかを把握することが可能となる。

【0097】

そして、液体中判定であるか気体中判定であるかに応じて測光範囲を適切に設定するようにしたために（つまり、有効な画像が得られないケラレ部分ＶＰを測光範囲から外すようにしたために）、液体中撮像であるか気体中撮像であるかに依らず、適切な明るさの画像を観察することが可能となる。

【0098】

加えて、液体中判定であるか気体中判定であるかに応じてホワイトバランス測定範囲を適切に設定するようにしたために（つまり、有効な画像が得られないケラレ部分ＶＰをホワイトバランス測定範囲から外すようにしたために）、液体中撮像であるか気体中撮像であるかに依らず、適切なホワイトバランスの画像を観察することが可能となる。

【0099】

なお、上述した内視鏡１（あるいは内視鏡システム全体）は、特に用途を限定されるものではなく、例えば医療用の内視鏡と工業用の内視鏡との何れであっても構わない。また、上述では撮像装置を内視鏡システムに適用した例を説明したが、これに限定されるものではなく、被写体の画像を気体中および液体中において取得可能であれば、任意の撮像装置に対して本発明を適用可能である。

【0100】

また、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

【0101】

そして、上述では主として撮像装置について説明したが、撮像装置を上述したように作動させる作動方法であっても良いし、コンピュータに撮像装置を上述したように制御させるための制御プログラム、該制御プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

【0102】

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

【0103】

本出願は、２０１５年２月２６日に日本国に出願された特願２０１５−３７１５１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

【要約】

被写体の画像を気体および液体中において取得可能な撮像装置であって、撮像光学系（１１）と、撮像素子（１２）と、画像信号中にケラレ部分が検出された場合に気体中判定を行い、画像信号中にケラレ部分が検出されない場合に液体中判定を行う制御部（２８）と、気体中判定が行われた場合には気体中撮像に応じたある表示データを画像信号から生成し、液体中判定が行われた場合には液体中撮像に応じた他の表示データを画像信号から生成する表示データ生成部（２２）と、を有する撮像装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】