(58)【調査した分野】(Int.Cl.,DB名)
被検体内に挿入される内視鏡の接眼部に着脱自在に接続され、当該内視鏡にて取り込まれた被写体像を撮像する撮像部を有する撮像装置と、前記撮像部による撮像で得られる撮像画像を処理して表示用の映像信号を生成する制御装置とを備えた内視鏡装置であって、
ホワイトバランスのゲインを算出させるユーザ操作を受け付ける操作受付部と、
前記ユーザ操作に応じて、前記撮像画像に基づいて、ホワイトバランスのゲインを算出するゲイン算出部と、
前記ユーザ操作に応じて、前記撮像画像における画素毎の輝度信号に基づいて、当該撮像画像に含まれる前記被写体像と当該被写体像以外のマスク領域との境界点を検出するマスクエッジ検出処理を実行するエッジ検出部と、
前記撮像画像の1ライン上の画素毎の輝度信号に基づく輝度値と第1輝度閾値とを比較し、当該第1輝度閾値よりも高い輝度値を有する第1画素を抽出する抽出部と、
前記第1画素が前記1ライン上で連続して並ぶ第1連続画素数と第1画素数閾値とを比較し、当該第1連続画素数が当該第1画素数閾値以上である処理可能状態であるか、当該第1連続画素数が当該第1画素数閾値未満である処理不可能状態であるかを判定する処理可否判定部とを備え、
前記エッジ検出部は、
前記処理可否判定部にて前記処理可能状態であると判定された場合に、前記マスクエッジ検出処理を実行する
ことを特徴とする内視鏡装置。
【発明を実施するための形態】
【0017】
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0018】
〔内視鏡装置の概略構成〕
図1は、本実施の形態に係る内視鏡装置1の概略構成を示す図である。
内視鏡装置1は、医療分野において用いられ、生体内を観察する装置である。この内視鏡装置1は、
図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
【0019】
挿入部2は、硬性鏡で構成されている。すなわち、挿入部2は、硬質または少なくとも一部が軟質で細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
【0020】
カメラヘッド5は、本発明に係る撮像装置としての機能を有する。このカメラヘッド5は、挿入部2の基端(接眼部21(
図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された被写体像を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
【0021】
第1伝送ケーブル6は、一端がコネクタCN1(
図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(
図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
【0022】
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイを用いて構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
【0023】
制御装置9は、CPU(Central Processing Unit)等を含んで構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
【0024】
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、
図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、
図2に示すように、レンズユニット51と、レンズ駆動部52と、レンズ位置検出部53と、撮像部54と、通信部55とを備える。
【0025】
レンズユニット51は、光軸に沿って移動可能な複数のレンズを用いて構成され、挿入部2にて集光された被写体像を撮像部54(撮像素子541(
図2))の撮像面に結像する。このレンズユニット51は、
図2に示すように、フォーカスレンズ511と、ズームレンズ512とを備える。
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズームレンズ512は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。
また、レンズユニット51には、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)やズームレンズ512を光軸に沿って移動させる光学ズーム機構(図示略)が設けられている。
レンズ駆動部52は、
図2に示すように、上述したフォーカス機構や光学ズーム機構を動作させるモータ521と、当該モータ521を駆動するドライバ522とを備える。そして、レンズ駆動部52は、制御装置9による制御の下、レンズユニット51の焦点や画角を調整する。
【0026】
レンズ位置検出部53は、フォトインタラプタ等の位置センサを用いて構成され、フォーカスレンズ511のレンズ位置(以下、フォーカス位置と記載)やズームレンズ512のレンズ位置(以下、ズーム位置と記載)を検出する。そして、レンズ位置検出部53は、第1伝送ケーブル6を介して、フォーカス位置及びズーム位置に応じた検出信号を制御装置9に出力する。
【0027】
撮像部54は、制御装置9による制御の下、生体内を撮像する。この撮像部54は、
図2に示すように、撮像素子541と、信号処理部542とを備える。
撮像素子541は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する。
例えば、信号処理部542は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
【0028】
通信部55は、第1伝送ケーブル6を介して、撮像部54から出力される画像信号(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部55は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
【0029】
〔制御装置の構成〕
次に、制御装置9の構成について
図2を参照しながら説明する。
制御装置9は、
図2に示すように、通信部91と、画像処理部92と、検波処理部93と、エッジ処理部94と、表示制御部95と、制御部96と、入力部97と、出力部98と、記憶部99とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部55)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部55との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
【0030】
画像処理部92は、制御部96による制御の下、カメラヘッド5(通信部55)から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))を処理する。
例えば、画像処理部92は、画像信号(RAW信号(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。また、画像処理部92は、デジタルゲインを乗算した後の画像信号(RAW信号(デジタル信号))に対してオプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。さらに、画像処理部92は、当該RGB信号(画像信号)に対して、RGB値にそれぞれゲインを乗算するホワイトバランス調整処理、RGBガンマ補正、及びYC変換(RGB信号を輝度信号及び色差信号(Y,C
B/C
R信号)に変換)等のRGB処理を施す。また、画像処理部92は、当該Y,C
B/C
R信号(画像信号)に対して、色差補正及びノイズリダクション等のYC処理を実行する。
【0031】
検波処理部93は、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)を入力し、当該画像信号(Y,C
B/C
R信号)に基づいて、検波処理を実行する。
例えば、検波処理部93は、撮像素子541にて撮像された1フレームの撮像画像全体における所定の領域(以下、検波領域と記載)の画素毎の画素情報(輝度信号(Y信号)に基づいて、当該検波領域内の画像のコントラストや周波数成分の検出、フィルタ等による当該検波領域内の輝度平均値や最大最小画素の検出、閾値との比較判定、ヒストグラム等の検出を実行する。そして、検波処理部93は、当該検出により得られた検波情報(コントラスト、周波数成分、輝度平均値、最大最小画素、及びヒストグラム等)を制御部96に出力する。
【0032】
図3は、エッジ処理部94の構成を示すブロック図である。
エッジ処理部94は、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)を構成する輝度信号(Y信号)に基づいて、マスクエッジ検出処理、及び第1,第2判定処理を実行する。このエッジ処理部94は、
図3に示すように、エッジ検出部941と、抽出部942と、処理可否判定部943と、画素位置認識部944と、変化判定部945とを備える。
【0033】
エッジ検出部941は、入力部97へのホワイトバランスのゲイン(画像処理部92によるホワイトバランス調整処理で用いられるゲイン)を算出させるユーザ操作(以下、ホワイトバランス設定操作と記載)及び処理可否判定部943による第1判定処理の判定結果に応じて、以下に示すマスクエッジ検出処理を実行する。
図4は、マスクエッジ検出処理を説明する図である。具体的に、
図4(a)は、撮像素子541にて撮像された撮像画像CIの一例を示す図である。
図4(b)は、
図4(a)に示した撮像画像CI中の水平ラインL5での輝度値の分布を示す図である。
ここで、生体内で反射され、挿入部2内に集光された光(被写体像)は、断面略円形である。このため、撮像画像CI内の被写体像SIは、
図4(a)に示すように、略円形となる。すなわち、撮像画像CIは、被写体像SIと、当該被写体像SI以外のマスク領域MA(
図4(a)の黒塗りの部分)とを含む。
そして、エッジ検出部941は、マスクエッジ検出処理を実行することにより、被写体像SIとマスク領域MAとの境界点BP(
図4(a))を検出する。
【0034】
具体的に、エッジ検出部941は、
図4(a)に示すように、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)のうち輝度信号(Y信号)を取得する。そして、エッジ検出部941は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の複数本(本実施の形態では14本)の水平ラインL1〜L14での輝度値の分布をそれぞれ検出する。ここで、撮像画像CIにおいて、被写体像SIの領域は、マスク領域MAよりも輝度値が高い。すなわち、例えば、水平ラインL5での輝度分布は、
図4(b)に示すように、被写体像SIとマスク領域MAとの2つの境界点BP間で輝度値が高くなり、その他の部分で輝度値が低くなる。このため、エッジ検出部941は、輝度値と第1輝度閾値SB1(
図4(b))とを比較し、第1輝度閾値SB1よりも高い輝度値を有する画素が連続して並ぶ領域を被写体像SIと認識する。また、エッジ検出部941は、輝度値と第1輝度閾値SB1よりも低い第2輝度閾値SB2(
図4(b))とを比較し、第2輝度閾値SB2よりも低い輝度値を有する画素が連続して並ぶ領域をマスク領域MAと認識する。そして、エッジ検出部941は、被写体像SIとマスク領域MAとの境界点BP(
図4(a))を認識する。また、エッジ検出部941は、以上の処理を全ての水平ラインL1〜L14について実行することで、被写体像SIとマスク領域MAとの複数の境界点BPを認識する。
【0035】
抽出部942は、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の中央に位置する水平ラインL7(
図4(a))上の各画素の輝度値と第1輝度閾値SB1とを比較し、第1輝度閾値SB1よりも高い輝度値を有する第1画素を抽出する。また、抽出部942は、水平ラインL7での輝度値と第2輝度閾値SB2とを比較し、第2輝度閾値SB2よりも高い輝度値を有する第2画素を抽出する。
【0036】
処理可否判定部943は、以下に示す第1判定処理を実行する。
すなわち、処理可否判定部943は、抽出部942にて抽出された第1画素が水平ラインL7上で連続して並ぶ画素数(以下、第1連続画素数N1(
図6参照)と記載)と第1画素数閾値SN1(
図6(a)参照)とを比較し、第1連続画素数N1が第1画素数閾値SN1以上である処理可能状態であるか、第1連続画素数N1が第1画素数閾値SN1未満である処理不可能状態であるかを判定する。また、処理可否判定部943は、抽出部942にて抽出された第2画素が水平ラインL7上で連続して並ぶ画素数(以下、第2連続画素数N2(
図6参照)と記載)と第2画素数閾値SN2(
図6(a)参照)とを比較し、第2連続画素数N2が第2画素数閾値SN2以上である処理可能状態であるか、第2連続画素数N2が第2画素数閾値SN2未満である処理不可能状態であるかを判定する。
そして、処理可否判定部943は、第1判定処理の判定結果に応じた検出信号を制御部96に出力する。
【0037】
画素位置認識部944は、処理可否判定部943にて処理可能状態であると判定された場合に、第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置を認識する。
変化判定部945は、以下に示す第2判定処理を実行する。
すなわち、変化判定部945は、画素位置認識部944にて認識された画素位置の全ての画素がエッジ検出部941によるマスクエッジ検出処理の後、抽出部942にて第2画素として継続して抽出されているか否かを判定する。
【0038】
表示制御部95は、制御部96による制御の下、OSD(オンスクリーンディスプレイ)処理等により、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)に基づく撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像(本発明に係る警告情報に相当)を重畳した表示用の映像信号を生成する。そして、表示制御部95は、第2伝送ケーブル8を介して、当該映像信号を表示装置7に出力する。すなわち、表示制御部95及び表示装置7は、本発明に係る警告情報報知部100(
図2)としての機能を有する。
【0039】
制御部96は、例えば、CPU等を用いて構成され、第1〜第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部96は、
図2に示すように、レンズ制御部961と、パラメータ算出部962と、明るさ制御部963とを備える。
レンズ制御部961は、レンズ駆動部52を動作させ、レンズユニット51の焦点や画角を調整(フォーカス位置やズーム位置を変更)する。
例えば、レンズ制御部961は、検波処理部93から出力された検波情報(コントラストや周波数成分)に基づいて、撮像画像CIに含まれる被写体像SIの合焦状態を評価するための合焦評価値を算出する。ここで、レンズ制御部961は、検波処理部93にて検出されたコントラストや、検波処理部93にて検出された周波数成分のうち高周波成分の和を合焦評価値とする。なお、合焦評価値は、値が大きいほどフォーカスが合っていることを示す。そして、レンズ制御部961は、レンズ位置検出部53にて検出されたフォーカス位置と、当該合焦評価値とに基づいて、山登り法等により被写体像SIが合焦状態となるフォーカス位置にフォーカスレンズ511を位置付けるAF処理を実行する。
なお、当該AF処理は、常時、実行する所謂、コンティニュアスAFを採用してもよく、あるいは、カメラヘッド5等に設けられた操作ボタン(図示略)の操作に応じて実行する所謂、ワンタッチAFを採用しても構わない。
【0040】
パラメータ算出部962は、検波処理部93から出力された検波情報(輝度平均値)に基づいて、撮像部54による撮像で得られる撮像画像CIの明るさを基準となる明るさに変更する(検波処理により得られる輝度平均値を基準となる輝度平均値に変更する)ための明るさパラメータを算出する。
本実施の形態では、パラメータ算出部962は、検波処理部93から出力された検波情報(輝度平均値)に基づいて、撮像素子541における各画素の露光時間、信号処理部542にて乗算されるアナログゲイン、画像処理部92にて乗算されるデジタルゲイン、及び光源装置3から挿入部2に供給される光の光量の4つの明るさパラメータをそれぞれ算出する。
また、パラメータ算出部962は、検波処理部93から出力された検波情報に基づいて、画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを算出する。そして、パラメータ算出部962は、画像処理部92に制御信号を出力し、当該画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを当該算出したゲインとする。すなわち、パラメータ算出部962は、本発明に係るゲイン算出部としての機能を有する。
【0041】
明るさ制御部963は、パラメータ算出部962にて算出された明るさパラメータに基づいて、撮像素子541、信号処理部542、画像処理部92、及び光源装置3の動作を制御する。
具体的に、明るさ制御部963は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、撮像素子541の各画素の露光時間をパラメータ算出部962にて算出された露光時間(明るさパラメータ)とする。また、明るさ制御部963は、第1伝送ケーブル6を介して撮像部54に制御信号を出力し、信号処理部542にて乗算されるアナログゲインをパラメータ算出部962にて算出されたアナログゲイン(明るさパラメータ)とする。さらに、明るさ制御部963は、画像処理部92に制御信号を出力し、当該画像処理部92にて乗算されるデジタルゲインをパラメータ算出部962にて算出されたデジタルゲイン(明るさパラメータ)とする。また、明るさ制御部963は、第3伝送ケーブル10を介して光源装置3に制御信号を出力し、当該光源装置3から挿入部2に供給される光の光量をパラメータ算出部962にて算出された光量(明るさパラメータ)とする。
以上のように明るさ制御部963にて撮像素子541、信号処理部542、画像処理部92、及び光源装置3の動作が制御されることで、撮像画像CIの明るさは、基準となる明るさに変更される。
【0042】
入力部97は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作(例えば、ホワイトバランス設定操作)を受け付ける。そして、入力部97は、ユーザ操作に応じた操作信号を制御部96に出力する。すなわち、入力部97は、本発明に係る操作受付部としての機能を有する。
出力部98は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部99は、制御部96が実行するプログラムや、制御部96の処理に必要な情報等を記憶する。
【0043】
〔内視鏡装置の動作〕
次に、上述した内視鏡装置1の動作(エッジ検出方法)について説明する。
図5は、内視鏡装置1の動作を示すフローチャートである。
図6は、内視鏡装置1の動作を説明する図である。具体的に、
図6は、
図4(a)に示した撮像画像CI中の中央に位置する水平ラインL7での輝度値の分布を示す図である。
なお、以下では、エッジ処理部94、検波処理部93、表示制御部95、及び表示装置7の動作を主に説明する。
先ず、医師等のユーザは、ガーゼ等の白色の被写体を挿入部2の先端に被せ、挿入部2の視野範囲に当該被写体を設置する(ステップS1:被写体設置ステップ)。
そして、内視鏡装置1は、当該被写体の撮像を開始する(ステップS2:撮像ステップ)。
【0044】
ステップS2の後、制御部96は、入力部97に対してホワイトバランス設定操作が有ったか否かを常時、監視する(ステップS3:操作受付ステップ)。すなわち、ホワイトバランス設定操作がないと判断した場合(ステップS3:No)には、ステップS3での監視を継続する。
ホワイトバランス設定操作が有ったと判断された場合(ステップS3:Yes)には、抽出部942は、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の中央に位置する水平ラインL7上の各画素の輝度値と第1輝度閾値SB1とを比較し、第1輝度閾値SB1よりも高い輝度値を有する第1画素を抽出する(ステップS4)。
【0045】
ステップS4の後、処理可否判定部943は、ステップS3で抽出された第1画素が水平ラインL7上で連続して並ぶ第1連続画素数N1と第1画素数閾値SN1とを比較し、第1連続画素数N1が第1画素数閾値SN1以上であるか否か(処理可能状態であるか処理不可能状態であるか)を判定する(ステップS5)。そして、処理可否判定部943は、当該判定結果に応じた信号を制御部96に出力する。
【0046】
ここで、
図6(a)は、カメラヘッド5に挿入部2が装着され、かつ、ステップS1で挿入部2の視野範囲に白色の被写体が設置された状態(以下、第1の状態と記載)での撮像画像CI中の水平ラインL7での輝度値の分布を示している。そして、第1の状態では、被写体像SIの輝度値が十分に高いものとなり、第1連続画素数N1が第1画素数閾値SN1以上となるため、ステップS5では、処理可能状態であると判定される。
また、
図6(b)は、カメラヘッド5に挿入部2が装着されているが、ステップS1で挿入部2の視野範囲に白色の被写体を設置していない状態(以下、第2の状態と記載)での撮像画像CI中の水平ラインL7での輝度値の分布を示している。そして、第2の状態では、被写体像SIの輝度値のバラつきが大きいものとなり、第1連続画素数N1が第1画素数閾値SN1未満となるため、ステップS5では、処理不可能状態であると判定される。
さらに、
図6(c)は、カメラヘッド5に挿入部2が装着されていない状態(以下、第3の状態と記載)での撮像画像CI中の水平ラインL7での輝度値の分布を示している。そして、第3の状態では、カメラヘッド5から挿入部2が取り外されているため、撮像画像CI全体の輝度値のバラつきが大きいものなる。このため、第2の状態と同様に、第1連続画素数N1が第1画素数閾値SN1未満となり、ステップS5では、処理不可能状態であると判定される。
【0047】
第1連続画素数N1が第1画素数閾値SN1未満である(処理不可能状態である)と判定された場合(ステップS5:No)には、第2,第3の状態である可能性があり、マスクエッジ検出処理で境界点BPを高精度に検出することができない。このため、表示制御部95は、制御部96による制御の下、撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像(警告情報)を重畳した表示画像を表示装置7に表示させる(ステップS6)。この後、内視鏡装置1は、ステップS3に戻る。
【0048】
一方、第1連続画素数N1が第1画素数閾値SN1以上である(処理可能状態である)と判定された場合(ステップS5:Yes)には、抽出部942は、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)のうち輝度信号(Y信号)を取得する。そして、抽出部942は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の中央に位置する水平ラインL7上の各画素の輝度値と第2輝度閾値SB2とを比較し、第2輝度閾値SB2よりも低い輝度値を有する第2画素を抽出する(ステップS7)。
なお、ステップS7は、当該ステップS7以降、他の処理と並行して常時、継続する。
【0049】
ステップS7の後、処理可否判定部943は、ステップS7で抽出された第2画素が水平ラインL7上で連続して並ぶ第2連続画素数N2と第2画素数閾値SN2とを比較し、第2連続画素数N2が第2画素数閾値SN2以上であるか否か(処理可能状態であるか処理不可能状態であるか)を判定する(ステップS8)。そして、処理可否判定部943は、当該判定結果に応じた信号を制御部96に出力する。
【0050】
ここで、第1,第2の状態では、カメラヘッド5に挿入部2が装着されている。すなわち、
図6(a)または
図6(b)に示すように、マスク領域MAの輝度値が十分に低いものとなり、第2連続画素数N2が第2画素数閾値SN2以上となるため、ステップS8では、処理可能状態であると判定される。
また、第3の状態では、カメラヘッド5に挿入部2が装着されていない。すなわち、
図6(c)に示すように、撮像画像CI全体の輝度値のバラつきが大きいものとなり、第2連続画素数N2が第2画素数閾値SN2未満となるため、ステップS8では、処理不可能状態であると判定される。
【0051】
第2連続画素数N2が第2画素数閾値SN2未満である(処理不可能状態である)と判定された場合(ステップS8:No)には、第3の状態である可能性があり、マスクエッジ検出処理で境界点BPを高精度に検出することができない。このため、内視鏡装置1は、ステップS6に移行する。
一方、第2連続画素数N2が第2画素数閾値SN2以上である(処理可能状態である)と判定された場合(ステップS8:Yes)には、画素位置認識部944は、ステップS8の判定に用いられた第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置(マスク領域MAの各画素位置)を認識する(ステップS9)。
【0052】
ステップS9の後、エッジ検出部941は、マスクエッジ検出処理を実行する(ステップS10:マスクエッジ検出ステップ)。
ステップS10の後、検波処理部93は、画像処理部92にて処理された画像信号(Y,C
B/C
R信号)のうち輝度信号(Y信号)を取得する。また、検波処理部93は、ステップS9で検出された複数の境界点BPで囲まれる被写体像SIの領域を検波領域とする。そして、検波処理部93は、当該取得した輝度信号(Y信号)のうち、当該検波領域の画素毎の輝度信号(Y信号)に基づいて、検波処理を実行する(ステップS11)。そして、検波処理部93は、当該検波処理により得られた検波情報を制御部96に出力する。
なお、ステップS11は、当該ステップS11以降、他の処理と並行して常時、継続する。
【0053】
ステップS11の後、パラメータ算出部962は、検波処理部93から出力された検波情報に基づいて、画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを算出する(ステップS12:ゲイン算出ステップ)。そして、パラメータ算出部962は、画像処理部92に制御信号を出力し、当該画像処理部92によるホワイトバランス調整処理でRGB値にそれぞれ乗算されるゲインを当該算出したゲインとする。また、パラメータ算出部962は、当該検波情報に基づいて、明るさパラメータを算出する。
【0054】
ステップS12の後、変化判定部945は、ステップS9で認識された画素位置の全ての画素がステップS10の後、抽出部942にて第2画素として継続して抽出されているか否かを判定する(ステップS13)。そして、変化判定部945は、当該判定結果に応じた信号を制御部96に出力する。
ここで、第1の状態でマスクエッジ検出処理が実行された後、第2の状態に移行した場合には、白色の被写体を挿入部2の先端から取り外しただけであるため、
図6(a)と
図6(b)とを比較して分かるように、マスク領域MA内の各画素の輝度値に変化はない。このため、ステップS13では、「Yes」と判定される。
一方、第1の状態でマスクエッジ検出処理が実行された後、第3の状態に移行した場合には、カメラヘッド5から挿入部2が取り外されるため、撮像画像CI全体の輝度値のバラつきが大きいものとなる。すなわち、
図6(a)と
図6(c)とを比較して分かるように、第1の状態で認識されたマスク領域MAの各画素位置の一部の画素が第2画素として抽出されなくなる(第2輝度閾値SB2以上となる)。このため、ステップS13では、「No」と判定される。
【0055】
第2画素として継続して抽出されていないと判定された場合(ステップS13:No)には、第1の状態から第3の状態に移行し、挿入部2を当該挿入部2とは異なる挿入部2(例えば、径が異なり、撮像画像CI中の被写体像SIの径が異なるものとなる挿入部2)に交換される可能性がある。このため、内視鏡装置1は、ステップS6に移行する。
一方、第2画素として継続して抽出されていると判定された場合(ステップS13:Yes)には、内視鏡装置1は、ステップS13を継続する。
【0056】
以上説明した本実施の形態によれば、以下の効果を奏する。
すなわち、本発明は、内視鏡装置1にホワイトバランスのゲインを算出させる際、被写体をガーゼ等の白色の被写体とする医師等のユーザの行為に着目した発明である。そして、本実施の形態に係る内視鏡装置1では、ホワイトバランス設定操作に応じて、撮像画像CIにおける画素毎の輝度信号に基づいて、被写体像SIとマスク領域MAとの境界点BPを検出するマスクエッジ検出処理を実行する。すなわち、被写体がガーゼ等の白色の被写体となっている第1の状態で、マスクエッジ検出処理を実行することができる。このため、撮像画像CIに含まれる被写体像SIの輝度値が十分に高いものとなり、撮像画像CI内の輝度分布を利用して、被写体像SIとマスク領域MAとの境界点BPを精度良く検出することができる。
【0057】
また、本実施の形態に係る内視鏡装置1では、輝度値と第1,第2輝度閾値SB1,SB2との比較、及び第1,第2連続画素数N1,N2と第1,第2画素数閾値SN1,SN2との比較により、処理可能状態であるか処理不可能状態であるかを判定する。そして、当該内視鏡装置1は、処理可能状態であると判定した場合に限り、マスクエッジ検出処理を実行する。
このため、被写体がガーゼ等の白色の被写体となっていない、あるいは、カメラヘッド5から挿入部2が外されている第2,第3の状態でマスクエッジ検出処理を実行することを回避することができる。すなわち、第1の状態でのみマスクエッジ検出処理を実行することができ、上述した被写体像SIとマスク領域MAとの境界点BPを精度良く検出することができる、という効果を好適に実現することができる。
【0058】
また、本実施の形態に係る内視鏡装置1では、処理不可能状態である場合には、撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を重畳した表示画像を表示する。
このため、第2,第3の状態であることを医師等のユーザに認識させることができる。すなわち、当該第2,第3の状態から第1の状態に移行させ、改めてホワイトバランス設定操作を医師等のユーザに行わせることができる。したがって、当該第1の状態でマスクエッジ検出処理を実行することができ、上述した被写体像SIとマスク領域MAとの境界点BPを精度良く検出することができる、という効果を好適に実現することができる。
【0059】
ところで、マスクエッジ検出処理及びホワイトバランスのゲインの算出処理が実行された後、挿入部2を別の挿入部2に交換した場合には、挿入部2の個体差等を考慮し、ホワイトバランスのゲインの算出処理を改めて実行させる必要がある。また、挿入部2の径も異なる場合があり、マスクエッジ検出処理も改めて実行させる必要がある。
本実施の形態に係る内視鏡装置1では、処理可能状態であると判定した際での第2連続画素数N2が第2画素数閾値SN2以上となる第2画素の画素位置を認識し、当該認識した画素位置の全ての画素が第2画素として継続して抽出しているか否かを判定する(第2判定処理)。そして、内視鏡装置1では、「No」と判定した場合に、撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を重畳した表示画像を表示する。
このため、第2判定処理により、第1の状態から第3の状態に移行し、挿入部2が別の挿入部2に交換される状態にあるか否かを判定することができる。そして、撮像画像CI上に「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を重畳した表示画像を表示することで、改めてホワイトバランス設定操作を医師等のユーザに行わせることができる。すなわち、交換後の挿入部2について、ホワイトバランスのゲインの算出処理、及びマスクエッジ検出処理を改めて実行することができる。
【0060】
また、本実施の形態1に係る内視鏡装置1では、マスクエッジ検出処理により検出された被写体像SIとマスク領域MAとの複数の境界点BPで囲まれる被写体像SIの領域を検波領域として検波処理を行う。
このため、マスク領域MAを含まない最大限に広い検波領域(被写体像SIの略全領域)で検波処理を行うことができる。すなわち、当該検波処理で得られた検波情報に基づく処理(例えば、AF処理や明るさパラメータの算出処理等)を精度良く実行することができる。
【0061】
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
上述した実施の形態において、カメラヘッド5に設けられていた構成(レンズユニット51、レンズ駆動部52、レンズ位置検出部53、及び撮像部54)の少なくとも一部を挿入部2内の先端に設けても構わない。また、挿入部2としては、硬性鏡に限らず、軟性鏡としても構わない。
また、上述した実施の形態において、制御部96の機能の少なくとも一部を制御装置9の外部(カメラヘッド5、コネクタCN1,CN2等)に設けても構わない。
さらに、上述した実施の形態において、ホワイトバランス設定操作を受け付ける本発明に係る操作受付部は、制御装置9に限らず、例えば、カメラヘッド5に設けてもよい。
上述した実施の形態1では、警告情報報知部100は、「もう一度、ホワイトバランス設定操作を行って下さい」等のメッセージを含む画像を表示していたが、これに限らず、その他の態様で報知(例えば、当該メッセージを音声で出力等)しても構わない。
上述した実施の形態において、内視鏡装置1は、工業分野で用いられ、機械構造物等の被検体内部を観察する内視鏡装置としても構わない。