(58)【調査した分野】(Int.Cl.,DB名)
前記信頼度判定部によって前記計測信頼度が低いと判定され、かつ前記撮像条件判定部によって前記撮像条件が変化したと判定された後、前記撮像部は、前記物体を前記第2のタイミングで撮像し、前記第2の視差画像を生成する
ことを特徴とする請求項1に記載の計測装置。
前記信頼度判定部によって前記計測信頼度が低いと判定された後、かつ前記第2の視差画像が取得される前に、前記計測信頼度を高めるための情報をユーザーに通知する通知制御部をさらに有する
ことを特徴とする請求項1に記載の計測装置。
前記通知制御部は、前記物体からの光を前記撮像部に入射させる光学系と前記物体との間の物体距離が変化するように、前記撮像部の前記位置および前記姿勢の少なくとも1つを変更することを前記ユーザーに促す前記情報を前記ユーザーに通知する
ことを特徴とする請求項5に記載の計測装置。
前記通知制御部は、前記撮像部の前記撮像条件を前記第1のタイミングにおける前記撮像条件と異なる条件に変更することを前記ユーザーに促す前記情報を前記ユーザーに通知する
ことを特徴とする請求項4に記載の計測装置。
前記信頼度判定部によって前記計測信頼度が低いと判定された後、かつ前記第2の視差画像が取得される前に、前記計測信頼度が高まるように前記撮像部の前記撮像条件を変更する撮像条件制御部をさらに有する
ことを特徴とする請求項1に記載の計測装置。
【発明を実施するための形態】
【0023】
以下、図面を参照し、本発明の実施形態を説明する。以下では、計測装置が内視鏡装置である例を説明する。計測装置は、計測機能を有する装置でありさえすればよく、内視鏡装置に限らない。
【0024】
(第1の実施形態)
図1は、本発明の第1の実施形態の内視鏡装置1(計測装置)の外観を示す。内視鏡装置1は、被写体を撮像し、画像を使用して被写体の幾何学的特徴を計測する。ユーザーは、種々の被写体の観察と計測とを行うために、挿入部2の先端に装着される光学アダプターの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。以下では、計測の一例として、ステレオ計測を行う場合について説明する。
【0025】
図1に示すように、内視鏡装置1は、挿入部2と、コントロールユニット3と、操作部4と、表示部5とを有する。
【0026】
挿入部2は、被写体の内部に挿入される。挿入部2は、先端20から基端部にわたって屈曲可能な細長い管状である。挿入部2は、計測部分を撮像し、かつ撮像信号をコントロールユニット3に出力する。挿入部2の先端20には、ステレオ光学アダプター30(
図3)が装着される。コントロールユニット3は、挿入部2を収納する収納部を備えた制御装置である。操作部4は、内視鏡装置1に対するユーザーの操作を受ける。表示部5は、表示画面を有し、かつ挿入部2で撮像された被写体の画像および操作メニュー等を表示画面に表示する。
【0027】
操作部4は、ユーザーインタフェースである。例えば、ユーザーインタフェースは、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つである。表示部5は、LCD(Liquid Crystal Display)等のモニタ(ディスプレイ)である。
【0028】
図2に示すように、コントロールユニット3は、内視鏡ユニット8と、CCU(Camera Control Unit)9と、制御ユニット10とを有する。内視鏡ユニット8は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、図示していない湾曲機構を湾曲させる。挿入部2の先端20には撮像素子28が内蔵されている。撮像素子28は、イメージセンサーである。撮像素子28は、ステレオ光学アダプター30を介して結像された被写体像を光電変換し、かつ撮像信号を生成する。CCU9は、撮像素子28を駆動する。撮像素子28から出力された撮像信号がCCU9に入力される。CCU9は、撮像素子28により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。CCU9は、前処理が行われた撮像信号をNTSC信号等の映像信号に変換する。
【0029】
制御ユニット10は、映像信号処理回路12と、ROM(Read Only Memory)13と、RAM(Random Access Memory)14と、カードインタフェース15と、外部機器インタフェース16と、制御インタフェース17と、CPU(Central Processing Unit)18aとを有する。
【0030】
映像信号処理回路12は、CCU9から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路12は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路12は、計測実行時には、計測精度を向上させるための処理も行う。例えば、映像信号処理回路12は、CCU9から出力された映像信号と、CPU18aによって生成されるグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、カーソルの画像、指定点の画像、および計測結果等を含む。映像信号処理回路12は、合成された映像信号を表示部5に出力する。
【0031】
また、映像信号処理回路12は、CCU9からの映像信号に基づく画像データをCPU18aに出力する。計測時にはステレオ光学アダプター30が挿入部2の先端20に装着されるため、映像信号処理回路12からの画像データに基づく画像には、計測対象である同一被写体に関する複数の被写体像が含まれる。複数の被写体像は、互いに異なる視差を有する。本発明の実施形態では、左右の光学系によって結像される被写体像を同時に取得する方法を使用する例を説明する。被写体像を取得する方法はこれに限らない。例えば、互いに視差の異なる複数の被写体像を時分割に取得する方法が使用されてもよい。例えば、ステレオ光学系の左右の光路のいずれか1つがシャッターで塞がれ、かつもう1つの光路を通った光が形成する被写体像が撮像される。シャッターで塞がれる位置を変えることにより、取得される被写体像が変更される。
【0032】
ROM13は、CPU18aが内視鏡装置1の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。RAM14は、CPU18aが内視鏡装置1の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。CPU18aは、ROM13に記録されたプログラムに基づいて内視鏡装置1の動作を制御する。
【0033】
着脱可能な記録媒体であるメモリカード42がカードインタフェース15に接続される。カードインタフェース15は、メモリカード42に記憶されている制御処理情報および画像情報等を制御ユニット10に取り込む。また、カードインタフェース15は、内視鏡装置1によって生成された制御処理情報および画像情報等をメモリカード42に記録する。
【0034】
USB機器等の外部機器が外部機器インタフェース16に接続される。例えば、パーソナルコンピューター41が外部機器インタフェース16に接続される。外部機器インタフェース16は、パーソナルコンピューター41への情報の送信とパーソナルコンピューター41からの情報の受信とを行う。これによって、パーソナルコンピューター41のモニタが情報を表示することができる。また、ユーザーがパーソナルコンピューター41を介して、内視鏡装置1の制御に関する操作を行うことができる。
【0035】
制御インタフェース17は、操作部4、内視鏡ユニット8、およびCCU9と動作制御のための通信を行う。制御インタフェース17は、操作部4を介してユーザーによって入力された指示をCPU18aに通知する。制御インタフェース17は、光源装置および湾曲装置の制御のための制御信号を内視鏡ユニット8に出力する。制御インタフェース17は、撮像素子28の制御のための制御信号をCCU9に出力する。
【0036】
CPU18aが実行するプログラムは、コンピューター読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置1以外のコンピューターが読み込み、かつ実行してもよい。例えば、パーソナルコンピューター41がプログラムを読み込んで実行してもよい。パーソナルコンピューター41は、プログラムに従って、内視鏡装置1を制御するための制御情報を内視鏡装置1に送信することにより内視鏡装置1を制御してもよい。あるいは、パーソナルコンピューター41は、内視鏡装置1から映像信号を取得し、かつ取得された映像信号を使用して計測を行ってもよい。
【0037】
上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピューターから、伝送媒体を介して、あるいは伝送媒体中の伝送波により内視鏡装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピューターに既に記録されているプログラムとの組合せで実現できる差分ファイル(差分プログラム)であってもよい。
【0038】
図3および
図4は、挿入部2の先端20およびステレオ光学アダプター30の構成を示す。
図3は、挿入部2の先端20およびステレオ光学アダプター30の外観を示す。
図4は、挿入部2の先端20およびステレオ光学アダプター30の断面を示す。
図4では、第1の光学系31および第2の光学系32を含む断面が示されている。
【0039】
ステレオ光学アダプター30が挿入部2の先端20に装着されている。ステレオ光学アダプター30は、固定リング71の雌ねじ72により挿入部2の先端20の雄ねじ23と螺合されて固定される。ステレオ光学アダプター30の先端には、第1の光学系31と、第2の光学系32と、照明窓33とが設けられている。第1の光学系31および第2の光学系32は、対物レンズを含む。第1の光学系31および第2の光学系32は、視差方向Dr1に離間している。被写体に向かって左側に第1の光学系31が配置され、かつ右側に第2の光学系32が配置されている。第1の光学系31の光軸Ax1および第2の光学系32の光軸Ax2は、視差方向Dr1に交差する方向Dr2に配置されている。つまり、第1の光学系31の光軸Ax1および第2の光学系32の光軸Ax2は、方向Dr2を向くように配置されている。視差方向Dr1は、第1の光学系31の第1の光学中心(主点)と第2の光学系32の第2の光学中心(主点)とを通る直線の方向である。方向Dr2は、視差方向Dr1に直交する。第1の光学系31および第2の光学系32は、挿入部2の先端20内に設けられた撮像素子28上に被写体の2つの像を結像する。第1の光学系31は第1の光学像を結像し、かつ第2の光学系32は第2の光学像を結像する。
【0040】
第1の光学像および第2の光学像は、互いに視差を有する。被写体に向かって右側に第1の光学系31が配置され、かつ左側に第2の光学系32が配置されてもよい。
【0041】
撮像素子28は、挿入部2の先端20に配置される。撮像素子28は、第1の光学系31および第2の光学系32の結像位置に配置された撮像面24を有する。撮像素子28は、第1の光学系31を介して撮像面24に結像された第1の光学像と、第2の光学系32を介して撮像面24に結像された第2の光学像とから撮像信号を生成する。つまり、撮像素子28は、第1の光学系31を介して得られた第1の光学像に対応する第1の画像および第2の光学系32を介して得られた第2の光学像に対応する第2の画像を生成する。第1の画像および第2の画像は、互いに視差を有する。第1の実施形態において、左側の視野に対応する画像が第1の画像と定義され、かつ右側の視野に対応する画像が第2の画像と定義される。右側の視野に対応する画像が第1の画像と定義され、かつ左側の視野に対応する画像が第2の画像と定義されてもよい。
【0042】
撮像素子28は信号線80に接続され、撮像信号が撮像素子28から信号線80に出力される。挿入部2の先端20の端面には、撮像素子28を保護するためのカバーガラス35が配置されている。
【0043】
上記のように、内視鏡装置1は、撮像素子28(撮像部)、CCU9(画像取得部)、およびCPU18aを有する。撮像素子28は、計測対象の物体である被写体を撮像し、かつ撮像信号を生成する。これにより、撮像素子28は、互いに視差を有する2つの画像を含む視差画像(ステレオ画像)を生成する。視差画像は、1対の第1の画像(1回目に取得した左右画像のペア)および1対の第2の画像(2回目に取得した左右画像のペア)を含む。CCU9は、撮像信号に基づいて映像信号(画像データ)を生成する。映像信号は、被写体の画像を含む。したがって、CCU9は、被写体を撮像することにより生成された、その被写体の画像を取得する。CCU9により取得された画像は映像信号処理回路12を介してCPU18aに入力される。
【0044】
図5は、CPU18aの機能構成を示す。制御部180、表示制御部181、指定点設定部182、点検出部183、3次元座標算出部184、信頼度判定部185、撮像条件判定部186、および計測部187によってCPU18aの機能が構成されている。
図5に示すブロックの少なくとも1つがCPU18aとは別の回路で構成されてもよい。
【0045】
図5に示す各部は、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field−Programmable Gate Array)の少なくとも1つである。
図5に示す各部は、1つまたは複数のプロセッサを含むことができる。
図5に示す各部は、1つまたは複数の論理回路を含むことができる。
【0046】
制御部180は、各部が行う処理を制御する。表示制御部181は、CCU9により取得された画像を表示部5に表示させる。撮像素子28により生成された視差画像に含まれる第1の画像および第2の画像の少なくとも一方が表示部5に表示される。したがって、第1の画像および第2の画像のいずれか1つのみが表示部5に表示されてもよい。あるいは、第1の画像および第2の画像が表示部5に表示されてもよい。表示制御部181は、ユーザーが指定点を指定するためのカーソルを画像上に表示させる。表示制御部181は、ユーザーによって指定される指定点のマーク等を画像上に表示させる。
【0047】
例えば、表示制御部181は、カーソル等のグラフィック画像信号を生成する。表示制御部181は、生成されたグラフィック画像信号を映像信号処理回路12に出力する。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18aから出力されたグラフィック画像信号とを合成する。これにより、カーソル等が画像に重畳される。映像信号処理回路12は、合成された映像信号を表示部5に出力する。表示部5は、カーソル等が重畳された画像を表示する。表示制御部181は、ユーザーが操作部4を操作することにより入力したカーソル移動指示を検出し、かつカーソル移動指示に基づいてカーソルの位置を逐次更新する。
【0048】
指定点設定部182は、表示部5に表示された画像においてユーザーにより指定された位置に基づいて、CCU9により取得され、かつ表示部5に表示された画像上に1つ以上の指定点を設定する。視差画像に含まれる第1の画像および第2の画像のいずれか一方に指定点が設定される。
【0049】
操作部4は、ユーザーが操作部4を操作することにより入力した指定点を受け付ける。操作部4は、ユーザーにより指定された指定点の位置(座標)を示す情報を出力する。操作部4から出力されたその情報は、制御インタフェース17に入力される。制御インタフェース17に入力されたその情報は、CPU18aに入力される。指定点設定部182は、CPU18aに入力されたその情報に基づいて指定点を設定する。設定された指定点の情報は、RAM14に保持される。指定点の位置が特定の画像に関連付けられることにより、指定点が設定される。
【0050】
指定点は、ユーザーの指示により決定された画像における注目位置の座標情報である。指定点は、被写体上の計測位置を示す。また、指定点は、画像において計測信頼度を算出する位置を示す。
【0051】
点検出部183は、視差画像に含まれる2つの画像のいずれか一方に設定された指定点に対応する、他方の画像上の対応点を探索および検出する。一般的に、この処理はマッチング処理と呼ばれる。指定点が第1の画像上に設定された場合、点検出部183は第2の画像上の対応点を検出する。指定点が第2の画像上に設定された場合、点検出部183は第1の画像上の対応点を検出する。
【0052】
また、点検出部183は、第1の視差画像に設定された指定点に類似する類似点を、第1の視差画像と異なる第2の視差画像において探索および検出する。指定点が設定された画像と同じ視差関係を持つ画像から類似点が検出される。指定点が第1の視差画像の第1の画像に設定された場合、第2の視差画像の第1の画像において類似点が検出される。指定点が第1の視差画像の第2の画像に設定された場合、第2の視差画像の第2の画像において類似点が検出される。
【0053】
また、点検出部183は、視差画像に含まれる2つの画像のいずれか一方から検出された類似点に対応する、他方の画像上の対応点(類似対応点)をマッチング処理により探索および検出する。類似点が第1の画像から検出された場合、点検出部183は第2の画像上の類似対応点を検出する。類似点が第2の画像から検出された場合、点検出部183は第1の画像上の類似対応点を検出する。
【0054】
3次元座標算出部184は、CCU9により取得された画像を使用して、指定点および類似点の各々の3次元座標(空間座標)を算出する。具体的には、3次元座標算出部184は、指定点の座標と対応点の座標とを使用して視差量を算出する。あるいは、3次元座標算出部184は、類似点の座標と類似対応点の座標とを使用して視差量を算出する。3次元座標算出部184は、算出された視差量と、カメラ校正情報とに基づいて、指定点または類似点の3次元座標を算出する。カメラ校正情報は、カメラパラメーターとも呼ばれる。カメラ校正情報は、工場出荷時または光学アダプターが挿入部2の先端20に取り付けられたときに生成される。
【0055】
信頼度判定部185は、指定点または類似点の近傍の画素情報または3次元座標算出部184により算出された3次元座標(マッチング相関値などの中間生成データを含む)に基づいて、指定点または類似点における計測信頼度を算出する。信頼度判定部185は、算出された信頼度と、予め保持された基準値(閾値)とを比較することにより、計測信頼度を判定する。
【0056】
撮像条件判定部186は、撮像素子28の撮像条件が変化したか否かを判定する。例えば、撮像条件は撮像素子28の位置および姿勢の少なくとも1つである。撮像条件は、計測対象の物体からの光を撮像素子28に入射させる光学系とその物体との間の物体距離であってもよい。計測対象の物体からの光を撮像素子28に入射させる光学系は、ステレオ光学アダプター30内の第1の光学系31および第2の光学系32である。物体距離は、光学系と、指定点に対応する物体上の点との間の距離である。例えば、撮像条件判定部186は、撮像素子28が動いたか否かを判定することにより、撮像条件が変化したか否かを判定する。
【0057】
計測部187は、視差画像を使用してステレオ計測により物体の計測を行う。つまり、計測部187は、物体の3次元形状の大きさを計測する。計測部187は、3次元座標算出部184を含んでもよい。
【0058】
上記のように構成された内視鏡装置1の概略動作を説明する。撮像素子28は、計測対象の物体を第1のタイミングで撮像し、互いに視差を有する2つの画像を含む第1の視差画像を生成する。2つの画像が時分割で生成される場合、第1のタイミングは第1の画像の撮像タイミングおよび第2の画像の撮像タイミングを含む。第1のタイミングは、第1の画像の撮像タイミングおよび第2の画像の撮像タイミングのうち基準となるいずれか一方の撮像タイミングであってもよい。第1のタイミングは、第1の画像の撮像タイミングおよび第2の画像の撮像タイミングの中間のタイミング等であってもよい。
【0059】
表示制御部181は、物体が第1のタイミングで撮像されたときに生成された第1の視差画像に含まれる2つの画像の少なくとも一方を表示部5に表示させる。指定点設定部182は、第1の視差画像に含まれる2つの画像のうちの1つであって、表示部5に表示された画像上に指定点を設定する。点検出部183は、第1の視差画像に含まれる2つの画像のうちの1つであって、指定点が設定された画像と異なる画像において、指定点に対応する対応点を検出する。信頼度判定部185は、指定点および対応点に基づいて計測信頼度を判定する。信頼度判定部185によって計測信頼度が高いと判定された場合に、計測部187は、視差画像を使用して物体の計測を行う。
【0060】
信頼度判定部185によって計測信頼度が低いと判定された後、撮像条件判定部186は、撮像素子28の撮像条件が第1のタイミングにおける撮像条件から変化したか否かを判定する。信頼度判定部185によって計測信頼度が低いと判定された後、撮像素子28は、計測対象の物体を第2のタイミングで撮像し、互いに視差を有する2つの画像を含む第2の視差画像を生成する。撮像条件判定部186によって撮像条件が変化したと判定された後、点検出部183は、第1の視差画像に含まれる2つの画像のうちの1つに設定された指定点に類似する類似点を、第2の視差画像に含まれる2つの画像のうちの1つにおいて検出する。点検出部183は、第2の視差画像に含まれる2つの画像のうちの1つであって、類似点が検出された画像と異なる画像において、類似点に対応する類似対応点を検出する。信頼度判定部185は、類似点および類似対応点に基づいて計測信頼度を判定する。
【0061】
図6を参照し、ステレオ計測の原理を説明する。ステレオ計測では、被写体像を2つの光学系で捉えたときの2つの光学測距点の座標に基づいて、三角測量の原理を使用して被写体の3次元座標が算出される。左の光学中心(第1の光学中心63)と右の光学中心(第2の光学中心64)とを結ぶ線分の中点が原点Oとして定義される。また、右方向が正であるx軸と、下方向が正であるy軸とが定義される。また、光軸と平行に光学系から遠ざかる方向が正であるz軸が定義される。
【0062】
左の光学系および右の光学系を介して得られた被写体像を含む画像に対して、三角測量の原理により、計測指定点60の3次元座標(X,Y,Z)が以下の式(1)から式(3)で計算される。ただし、歪み補正が施された左の画像面の計測指定点61と、歪み補正が施された右の画像面の対応点62との2次元座標はそれぞれ、(X
L,Y
L)、(X
R,Y
R)である。これらの2次元座標の原点はそれぞれ、左の光学系および右の光学系の光軸と画像面との交点O
L、交点O
Rである。第1の光学中心63と第2の光学中心64との距離はDである。焦点距離はFである。パラメーターtは、D/(X
R−X
L)である。
X=t×X
R+D/2・・・(1)
Y=−t×Y
R・・・(2)
Z=t×F・・・(3)
【0063】
上記のように画像面上での計測指定点61と対応点62との座標が決定された場合、パラメーターDとパラメーターFとを用いて計測指定点60の3次元座標を求めることができる。いくつかの点の3次元座標を求めることによって、様々な計測機能が実現可能である。例えば、2点間の距離、2点を結ぶ線と1点の距離、複数点を結ぶ線で囲まれた領域の面積、基準面の深さ、および表面形状等が計測される。ユーザーは、様々な計測機能から所望の計測機能を選択することができる。また、第1の光学中心63または第2の光学中心64から被写体までの距離(物体距離)を求めることも可能である。上記のステレオ計測を行うためには、挿入部2の先端20とステレオ光学アダプター30とを含む光学系の特性を示す光学データが必要である。例えば、マッチング処理および光学データの詳細は特開2004−49638号公報に記載されているので、その説明を省略する。
【0064】
図7から
図10を参照し、計測の開始から計測処理の実行までの一連の流れについて説明する。
図7は、計測のための処理を示す。
図8は、表示部5の表示画面51を示す。
図9および
図10は、取得された画像を示す。
【0065】
内視鏡検査では、ユーザーは、被写体の状況をライブ画像により確認し、かつ欠陥または傷が存在するか否かを検査する。このとき、内視鏡装置1は、観察モードで動作する。被写体に計測対象となる欠陥または傷が発見された場合には、内視鏡装置1の状態は、観察モードからスポットレンジングモードまたは計測モードに移行する。スポットレンジングモードでは、内視鏡装置1は、ライブ画像上でユーザーから指定点を受け付け、かつその指定点における測距結果をリアルタイムに画面に表示する。測距結果は、光学系から被写体上の任意の点までの奥行き、すなわち物体距離を示す。スポットレンジングモードにおける測距処理および測距結果表示の説明については省略する。
【0066】
計測モードでは、内視鏡装置1は、観察モードまたはスポットレンジングモードでユーザーが行った画像取得操作に基づいて静止画を取得し、かつその静止画を使用して寸法計測を行う。画像取得操作は、フリーズともよばれる。以下では、観察モードからスポットレンジングモードへの切替のための操作が行われることを想定している。
【0067】
ユーザーが操作部4を操作することにより、スポットレンジング起動操作を行う(ステップS101)。
【0068】
ステップS101の後、制御部180は、3次元計測に必要な第1の視差画像の取得をCCU9に命令する。CCU9が撮像素子28を駆動することにより、撮像素子28は被写体を撮像し、第1の視差画像を生成する。CCU9は第1の視差画像を撮像素子28から取得する。取得された第1の視差画像は、映像信号処理回路12を介して表示部5およびCPU18aに出力される(ステップS102)。ステップS102は、第1の撮像ステップに対応する。
【0069】
ステップS102の後、表示制御部181は、CCU9により取得された第1の視差画像を表示部5に表示させる(ステップS103)。ステップS103において、第1の視差画像に含まれる第1の画像および第2の画像が表示部5に表示される。第1の画像および第2の画像のいずれか一方のみが表示部5に表示されてもよい。ステップS103は、表示ステップに対応する。
【0070】
ステップS103の後、ユーザーは、操作部4を操作することにより、表示された画像上に仮指定点を指定する。このとき、第1の視差画像に含まれる第1の画像および第2の画像のいずれか一方において仮指定点が指定される。操作部4は、ユーザーにより指定された仮指定点を受け付ける。指定点設定部182は、表示された画像上に、ユーザーにより指定された仮指定点を設定する(ステップS104)。ステップS104は、指定点設定ステップに対応する。
【0071】
仮指定点は、ユーザーが計測を行いたいと考えている注目領域を示す。また、仮指定点は、計測信頼度を算出するための基準位置を示す。ユーザーにより指定される指定点は、仮指定点および計測指定点を含む。以下の説明では、仮指定点は、計測処理において指定される計測指定点と区別されるが、仮指定点が計測指定点として使用されてもよい。以下では、第1の視差画像に含まれる第1の画像上に仮指定点が設定される例を記載するが、第1の視差画像に含まれる第2の画像上に仮指定点が設定されてもよい。
【0072】
本明細書では、便宜上、「点」という言葉を使っているが、指定点は画面上の1ピクセルに対応する1点である必要はない。指定点は、任意の形状および大きさの領域を含んでもよい。その領域の形状は、円および矩形等であってもよい。領域の形状および大きさはユーザーにより任意に変更できてもよい。
図8に示す例では、2つの仮指定点が指定されているが、2点が指定される必要はない。指定された1点が一定の領域を有し、その点だけで注目領域がカバーされてもよい。当然、2点以上が指定されてもよい。
【0073】
図8は、表示部5の表示画面51を示す。
図8に示すように、第1の視差画像に含まれる第1の画像G101Lおよび第2の画像G101Rが表示される。この例では、第1の画像G101L上に2つの仮指定点P101Lおよび仮指定点P102Lが設定される。ユーザーの操作により各仮指定点が指定されたとき、指定点設定部182は、指定された各仮指定点の各位置(座標)を算出する。各仮指定点の位置情報(座標情報)は、RAM14に保持される。
【0074】
設定された2つの仮指定点P101Lおよび仮指定点P102Lは、表示部5に表示される。表示制御部181は、各仮指定点を表示部5に表示させる。具体的には、表示制御部181は、各仮指定点のグラフィック画像信号を生成する。表示制御部181は、生成されたグラフィック画像信号を映像信号処理回路12に出力する。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18aから出力されたグラフィック画像信号とを合成する。これにより、各仮指定点が第1の画像に重畳される。映像信号処理回路12は、合成された映像信号を表示部5に出力する。表示部5は、各仮指定点が重畳された第1の画像を表示する。これにより、ユーザーは、各仮指定点の位置を認識することができる。
【0075】
ステップS104の後、点検出部183は、第1の視差画像の第2の画像において、仮指定点に対応する対応点をマッチング処理により探索および検出する(ステップS105)。マッチング処理にはテンプレートマッチングと呼ばれる処理が良く使用される。仮指定点に対する対応点を見つけることができればどのようなマッチング処理が使用されてもよい。ステップS105は、第1の点検出ステップに対応する。
【0076】
図8に示す例では、第2の画像G101R上の2つの対応点P101Rおよび対応点P102Rが検出される。各対応点の位置情報(座標情報)は、RAM14に保持される。
【0077】
検出された2つの対応点P101Rおよび対応点P102Rは、表示部5に表示される。表示制御部181は、各対応点を表示部5に表示させる。具体的には、表示制御部181は、各対応点のグラフィック画像信号を生成する。表示制御部181は、生成されたグラフィック画像信号を映像信号処理回路12に出力する。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18aから出力されたグラフィック画像信号とを合成する。これにより、各対応点が第2の画像に重畳される。映像信号処理回路12は、合成された映像信号を表示部5に出力する。表示部5は、各対応点が重畳された第2の画像を表示する。これにより、ユーザーは、各対応点の位置を認識することができる。
【0078】
ステップS105の後、3次元座標算出部184は、仮指定点の3次元座標を算出する。3次元座標が算出された後、信頼度判定部185は、計測信頼度を算出する(ステップS106)。計測信頼度の算出には、仮指定点および対応点の近傍の2次元画像の画素値と、仮指定点の3次元座標の算出の過程で得られる中間データと、仮指定点の3次元座標と、三角測量の原理で決まる空間分解能となどが利用される。
【0079】
仮指定点または対応点の近傍の2次元画像の画素値を使用する場合について説明する。例えば、信頼度判定部185は、仮指定点近傍の画素の輝度(明るさ)および対応点近傍の画素の輝度(明るさ)に基づいて計測信頼度を算出する。あるいは、信頼度判定部185は、仮指定点とその周辺領域との被写体の模様の違いおよび対応点とその周辺領域との被写体の模様の違いに基づいて計測信頼度を算出する。被写体の模様の違いは、色および輝度等に基づいて検出される。
【0080】
仮指定点の3次元座標の算出の過程で得られる中間データを使用する場合について説明する。例えば、信頼度判定部185は、マッチング相関値および評価関数の形状等に基づいて計測信頼度を算出する。
【0081】
三角測量の原理で決まる空間分解能を使用する場合について説明する。例えば、信頼度判定部185は、基線長、焦点距離、および測距値に基づいて計測信頼度を算出する。基線長および焦点距離は、設計値により決定されている、または、カメラキャリブレーションにより事前に推定されている。測距値は、算出された3次元座標のz座標である。
【0082】
計測信頼度の具体的な算出方法の例を説明する。例えば、信頼度判定部185は、各種要因から算出される信頼値に対して、式(4)に示すような重み付き線形和により最終的な計測信頼度Eを算出する。
【0084】
式(4)は、仮指定点P101Lにおける計測信頼度Eを示す。式(4)におけるe
iは、各要因の信頼値を示す。式(4)におけるw
iは、各要因の重み量を示す。式(4)におけるNは、想定される要因の数を示す。仮指定点P102Lにおける計測信頼度Eも、式(4)と同様の演算により算出される。信頼度判定部185は、仮指定点P101Lおよび仮指定点P102Lの全ての計測信頼度を合計することにより最終的な計測信頼度を算出してもよい。
【0085】
計測信頼度の算出方法は、上記の方法に限らない。例えば、計測信頼度は複数種類あってもよい。計測信頼度の算出方法は、各要因の信頼値の論理演算であってもよい。または、想定される要因での信頼値の最小値を最終的な計測信頼度Eとして使っても良い。信頼度判定部185とは別の処理部が、計測信頼度を示す指標を算出し、信頼度判定部185がその指標に基づいて計測信頼度を判定してもよい。
【0086】
ステップS106の後、信頼度判定部185は、算出された計測信頼度と、予め保持された閾値とを比較することにより、ステップS102で取得された第1の視差画像が計測に適切であるか否かを判定する。つまり、信頼度判定部185は、計測信頼度が高いか否かを判定する(ステップS107)。ステップS107は、第1の信頼度判定ステップに対応する。
【0087】
例えば、算出された計測信頼度が閾値よりも大きい場合、信頼度判定部185は、計測信頼度が高いと判定する。算出された計測信頼度が閾値よりも小さい場合、信頼度判定部185は、計測信頼度が低いと判定する。
【0088】
ステップS107において、計測信頼度が高いと信頼度判定部185が判定した場合、内視鏡装置1の状態は、視差画像に対して計測を行うための状態へと移行する。その状態で実行される処理は、計測モードの処理と同じである。操作部4は、計測モードの選択をユーザーから受け付ける(ステップS108)。
【0089】
計測モードは、2点間計測、線基準計測、および面基準計測等を実行するモードである。2点間計測では、ユーザーによって指定された2つの計測指定点間の3次元距離が計測される。線基準計測では、ユーザーによって指定された2つの基準点に基づいて基準線が設定され、かつユーザーによって指定された計測指定点から基準線までの3次元距離が計測される。面基準計測では、ユーザーによって指定された3つの基準点に基づいて基準平面が設定され、かつユーザーによって指定された計測指定点から基準平面までの3次元距離(垂線の長さ)が計測される。
【0090】
ステップS108の後、ユーザーは、操作部4を操作し、仮指定点として指定した座標をサブピクセル単位で調整する。これにより、ユーザーは、計測位置を示す最終的な計測指定点を決定する。操作部4は、ユーザーにより決定された計測指定点を受け付ける。指定点設定部182は、表示された画像上に、ユーザーにより決定された計測指定点を設定する(ステップS109)。ステップS109において、1つ以上の計測指定点が設定される。
【0091】
ステップS109の後、計測処理が実行される(ステップS110)。ステップS110における処理は、一般的なステレオ計測の処理である。ステップS110において点検出部183は、計測指定点に対応する計測対応点をマッチング処理により探索および検出する。3次元座標算出部184は、計測指定点および計測対応点の座標に基づいて計測指定点の3次元座標を算出する。計測部187は、計測指定点の3次元座標に基づいて物体の計測を行う。表示制御部181は、計測結果を表示部5に表示させる。ステップS110は、第1の計測ステップに対応する。
【0092】
ステップS107において、計測信頼度が低いと信頼度判定部185が判定した場合、制御部180は、3次元計測に必要な第2の視差画像の取得をCCU9に命令する。CCU9が撮像素子28を駆動することにより、撮像素子28は被写体を撮像し、第2の視差画像を生成する。CCU9は第2の視差画像を撮像素子28から取得する。取得された第2の視差画像は、映像信号処理回路12を介して表示部5およびCPU18aに出力される(ステップS111)。第1の視差画像および第2の視差画像は、互いに異なるタイミングで生成される。ステップS111は、第2の撮像ステップに対応する。
【0093】
ステップS111の後、表示制御部181は、CCU9により取得された第2の視差画像を表示部5に表示させる(ステップS112)。ステップS112において、第2の視差画像に含まれる第1の画像および第2の画像が表示部5に表示される。第1の画像および第2の画像のいずれか一方のみが表示部5に表示されてもよい。
【0094】
ステップS112の後、撮像条件判定部186は、ステップS102において取得された第1の視差画像と、ステップS111において取得された第2の視差画像とを比較する。これにより、撮像条件判定部186は、撮像条件が変化したか否かを判定する(ステップS113)。第1の実施形態において、第2の視差画像が生成された後、撮像条件判定部186は、撮像素子28の撮像条件が第1のタイミングにおける撮像条件から変化したか否かを判定する。このとき、撮像条件判定部186は、第2のタイミングにおける撮像条件が第1のタイミングにおける撮像条件から変化したか否かを判定する。ステップS113は、撮像条件判定ステップに対応する。
【0095】
この例では、撮像条件判定部186は、画像の比較により撮像条件の変化を判定する。具体的な方法の例を説明する。撮像条件判定部186は、第1の視差画像の第1の画像と第2の視差画像の第1の画像との各画素間の差分を算出する。撮像条件判定部186は、第1の視差画像の第2の画像と第2の視差画像の第2の画像との各画素間の差分を算出してもよい。撮像条件判定部186は、各画素間の差分の絶対値を加算する。撮像条件判定部186は、差分の絶対値の総和が閾値を超えているか否かを判定する。差分の絶対値の総和が閾値を超えている場合、撮像条件判定部186は、撮像条件が変化したと判定する。差分の絶対値の総和が閾値を超えていない場合、撮像条件判定部186は、撮像条件が変化していないと判定する。
【0096】
撮像条件の判定方法は、上記の方法に限らない。第1の視差画像および第2の視差画像を使用して撮像条件が変化したか否かを判定できさえすれば、どのような方法が使用されてもよい。第1の実施形態の第4の変形例で説明するように、画像による比較ではない方法により撮像条件の判定が行われてもよい。第1の実施形態の第4の変形例については後述する。
【0097】
ステップS106において3次元座標算出部184は、仮指定点の3次元座標を算出する。算出された3次元座標を構成するz座標は物体距離を示す。したがって、ステップS106において3次元座標算出部184は、物体距離を計測する。ステップS113において撮像条件判定部186は、3次元座標算出部184によって計測された物体距離が変化したか否かを判定することにより、撮像条件が変化したか否かを判定してもよい。
【0098】
ステップS113において、撮像条件が変化していないと撮像条件判定部186が判定した場合、ステップS111における処理が実行される。つまり、撮像条件が変化しない場合、第2の視差画像が繰り返し取得される。
図7に示す処理は、撮像条件の変更をユーザーに促すための処理、あるいは内視鏡装置1が撮像条件を意図的に変更する処理を含まない。内視鏡検査の環境では、手ブレまたは重力等の要因により、挿入部2の先端20の位置および姿勢の少なくとも1つが常に変動する場合が多い。つまり、撮像素子28の周囲の環境により撮像素子28の位置および姿勢の少なくとも1つが変動しやすい。そのため、ステップS111からステップS113における処理が実行され続けることは少ない。もし、一定の時間が経っても撮像条件が変わらない場合、スポットレンジングモードが終了してもよい。
【0099】
ステップS113において、撮像条件が変化したと撮像条件判定部186が判定した場合、点検出部183は、第2の視差画像の第1の画像において、仮指定点に類似する類似点を探索および検出する(ステップS114)。ステップS114は、第2の点検出ステップに対応する。
【0100】
図9(a)および
図9(b)を用いて、ステップS114における処理の詳細を説明する。
図9(a)は、第1の視差画像の第1の画像111Lを示す。
図9(b)は、第2の視差画像の第1の画像112Lを示す。第1の画像111Lと第1の画像112Lとでは、ユーザーが注目している領域の画像上の位置がわずかに異なる。具体的には、
図9(b)では、第1の画像112Lにおける注目領域は、第1の画像111Lにおける注目領域に対して左下方向にずれている。
【0101】
第1の画像111L上に設定された仮指定点P111Aおよび仮指定点P111Bの座標はRAM14に保持されている。点検出部183は、第1の画像112Lにおいて、仮指定点の座標を中心としたROI(Region Of Interest)111AおよびROI111Bを設定する。点検出部183は、ROI111Aにおいて仮指定点P111Aと最も類似している点である類似点P112Aを決定する。同様に、点検出部183は、ROI111Bにおいて仮指定点P111Bと最も類似している点である類似点P112Bを決定する。
【0102】
類似点を決定するための方法として、テンプレートマッチング、KLT(Kanade−Lucas−Tomasi Feature Tracker)、およびParticle Filter等の公知技術を使用できる。類似点を決定するための方法は、これらに限らない。第1の視差画像の第1の画像(または第2の画像)上の仮指定点の座標から第2の視差画像の第1の画像(または第2の画像)上の類似点の座標を求めることができさえすれば、どのような方法が使用されてもよい。
【0103】
ステップS114の後、点検出部183は、第2の視差画像の第2の画像において、類似点に対応する類似対応点を探索および検出する(ステップS115)。例えば、ステップS115において、ステップS114における処理と同様の処理が実行される。ステップS115は、第3の点検出ステップに対応する。
【0104】
図10(a)および
図10(b)を用いて、ステップS115における処理の詳細を説明する。
図10(a)は、第1の視差画像の第2の画像121Rを示す。
図10(b)は、第2の視差画像の第2の画像122Rを示す。
【0105】
第2の画像121R上で検出された対応点P121Aおよび対応点P121Bの座標はRAM14に保持されている。点検出部183は、第2の画像122Rにおいて、対応点の座標を中心としたROI121AおよびROI121Bを設定する。点検出部183は、ROI121Aにおいて対応点P121Aと最も類似している点である類似対応点P122Aを決定する。同様に、点検出部183は、ROI121Bにおいて対応点P121Bと最も類似している点である類似対応点P122Bを決定する。
【0106】
対応類似点を検出するための処理は、上記の処理に限らない。例えば、点検出部183は、第2の視差画像の第1の画像上で検出された類似点に基づいて、マッチング処理により第2の視差画像の第2の画像上の類似対応点を検出してもよい。この処理は、ステップS105に対応する第1の点検出ステップと同じである。
【0107】
ステップS115の後、ステップS106における処理が実行される。ステップS106において、仮指定点が類似点に置き換わり、類似点における計測信頼度が算出される。その後、ステップS107(第2の信頼度判定ステップ)において計測信頼度が判定される。計測信頼度が高いと信頼度判定部185が判定した場合、ステップS108およびステップS109における処理が実行される。その後、ステップS110(第2の計測ステップ)において計測処理が実行される。
【0108】
上記の処理により、計測信頼度が高くなるまで一対の視差画像の取得が継続される。予め決定された制限時間内に、計測信頼度が高い画像が取得されなかった場合には処理が終了してもよい。
【0109】
ステップS112における処理は必須ではない。したがって、第2の視差画像が表示されなくてもよい。
【0110】
図7に示す特徴的な処理が実行されるモードは、スポットレンジングモードに限らない。したがって、ステップS101における処理は必須ではない。
【0111】
計測モードが事前に設定されている場合に
図7に示す特徴的な処理が実行されてもよい。したがって、ステップS108における処理は必須ではない。
【0112】
第1の実施形態の第2の変形例で説明するように、ステップS109における処理は必須ではない。
【0113】
第1の実施形態において、取得された視差画像の計測信頼度が低い場合、撮像条件が変化したか否かが判定される。撮像条件が変化したことが確認された後、視差画像が再度取得される。これにより、視差画像を取得する回数を減らすことができる。そのため、内視鏡装置1は、ユーザーの手間を減らすことができ、かつ計測信頼度が高い画像を取得することができる。その結果、検査効率が向上する。
【0114】
ユーザーにより指定点が指定される前に複数の画像が取得される従来技術では、計測が実行されるまで、取得された複数の画像がメモリ等の記憶領域に保存される必要がある。多数の画像が取得される場合には、ハードウェアリソースを多く使うという問題がある。組み込み機器の特性を考慮すると、これは大きな制約になる可能性がある。第1の実施形態において、取得される視差画像の数が減るため、画像の記憶のためのハードウェアリソースを節約することができる。
【0115】
(第1の実施形態の第1の変形例)
上記の例では、ステップS111において1対の第2の視差画像が取得される。しかしながら、ステップS111において取得される第2の視差画像は1対である必要はない。第1の実施形態の第1の変形例において、ステップS111における処理が1回実行されたときにN対の第2の視差画像が連続的に取得される。Nは2以上の整数である。ステップS112において、N対の視差画像に含まれる画像が表示部5に同時に表示される。あるいは、ステップS112において、N対の視差画像に含まれる画像が表示部5に1対ずつ順番に表示される。
【0116】
信頼度判定部185は、取得されたN対の各第2の視差画像に対して、第1の視差画像の撮像条件から撮像条件が変化したか否かを判定してもよい。撮像条件が変化した場合、取得された各第2の視差画像に対して、ステップS114、ステップS115、ステップS106、およびステップS107における処理が実行されてもよい。その結果、計測信頼度が高い複数の第2の視差画像が抽出されてもよい。その場合、抽出された第2の視差画像のうち最も計測信頼度の高い1対の第2の視差画像が計測に使用されてもよい。
【0117】
ステップS107において、複数の第2の視差画像に対して、計測信頼度が高いと判定された場合、信頼度判定部185は、複数の第2の視差画像に対応する複数の計測信頼度の統計量を算出してもよい。例えば、統計量は、標準偏差またはヒストグラムである。表示制御部181は、算出された統計量を表示部5に表示させてもよい。
【0118】
(第1の実施形態の第2の変形例)
上記の例では、ステップS104において仮指定点がユーザーにより指定された後、ステップS109において仮指定点の座標の調整により計測指定点が決定される。つまり、計測指定点の決定のための手順が2段階になっている。しかしながら、ステップS104において仮指定点の座標が、計測を実行する上で問題ない精度で検出されていれば、ステップS109における処理が省略されてもよい。ステップS109における処理を省略するか否かをユーザーが決定してもよい。
【0119】
(第1の実施形態の第3の変形例)
上記の例では、ステップS104において設定された仮指定点がその後の処理で使用される。しかしながら、ユーザーが計測したい位置が途中で変わることも想定される。この場合ユーザーは、ステップS112において表示部5に表示される画像を見て、ステップS104において設定された仮指定点を変更することができる。例えば、ユーザーは、仮指定点の位置すなわち座標を、最初に設定された座標とは異なる座標に変更することができる。あるいは、ユーザーは、仮指定点の数を増やす、または減らすことができる。第1の実施形態の第3の変形例において、ユーザーにより変更される可能性がある仮指定点の情報を最新の情報に更新するステップが追加される。
【0120】
図11を使用して、第1の実施形態の第3の変形例における処理について説明する。
図11は、計測のための処理を示す。
図11に示す処理について、
図7に示す処理と異なる点を説明する。
【0121】
ステップS112において第2の視差画像が表示されたとき、第1の視差画像上の仮指定点の座標と同じ座標に仮指定点が表示される。ユーザーは、操作部4を操作することにより、仮指定点の座標を変更することができる。ユーザーは、操作部4を操作し、新しい仮指定点を指定することにより、仮指定点を追加することができる。ユーザーは、操作部4を操作し、既に設定された仮指定点のキャンセルを指示することにより、仮指定点をキャンセルすることができる。
【0122】
ステップS113において、撮像条件が変化したと撮像条件判定部186が判定した場合、点検出部183は、ユーザーにより仮指定点の座標または数が更新されたか否かを判定する(ステップS121)。
【0123】
ステップS121において、ユーザーにより仮指定点の座標または数が更新されたと点検出部183が判定した場合、ステップS106における処理が実行される。この場合、ステップS106において類似点の座標情報は存在しない。そのため、ステップS106において、指定点における計測信頼度が算出される。ユーザーにより仮指定点が追加されることにより複数の仮指定点が存在する場合、ステップS106において、各仮指定点における計測信頼度が算出される。ステップS107において全ての仮指定点の計測信頼度が高いと判定された場合、ステップS108における処理が実行される。
【0124】
ステップS121において、ユーザーにより仮指定点の座標または数が更新されていないと点検出部183が判定した場合、ステップS114における処理が実行される。
【0125】
ステップS121における処理が実行されるタイミングは、
図11に示すタイミングに限らない。仮指定点の座標情報および数が最新の状態に更新されさえすれば、ステップS121における処理は、ステップS105からステップS114までの処理が実行される期間の任意のタイミングで実行されてもよい。ステップS121における処理が実行されるタイミングは、ステップS108からステップS110までの処理が実行される期間には含まれない。
【0126】
上記以外の点について、
図11に示す処理は、
図7に示す処理と同様である。
【0127】
(第1の実施形態の第4の変形例)
第1の実施形態で説明したように、ステップS111において第2の視差画像が取得され、かつステップS113において第1の視差画像と第2の視差画像との比較により撮像条件が判定される。しかしながら、撮像条件が変化したか否かの判定において、必ずしも第2の視差画像を取得する必要はない。例えば、挿入部2の先端20に組み込まれた小型のセンサーが取得した情報に基づいて、内視鏡の位置または姿勢が変化したか否かが判定されてもよい。第1の実施形態の第4の変形例において撮像条件判定部186は、撮像素子28の位置および姿勢の少なくとも1つが変化したか否かを判定する。信頼度判定部185によって計測信頼度が低いと判定され、かつ撮像条件判定部186によって撮像条件が変化したと判定された後、撮像素子28は、計測対象の物体を第2のタイミングで撮像し、第2の視差画像を生成する。
【0128】
第1の実施形態の第4の変形例において、
図4に示す挿入部2の先端20の構成は、
図12に示す構成に変更される。
図12は、挿入部2の先端20およびステレオ光学アダプター30の断面を示す。
図12に示す構成について、
図4に示す構成と異なる点を説明する。
【0129】
図12に示すように、センサー29が挿入部2の先端20に配置されている。センサー29は撮像素子28の近傍に配置されている。センサー29は撮像素子28から離れている。センサー29は撮像素子28と接触してもよい。センサー29は撮像素子28の内部に配置されてもよい。センサー29は、磁気センサー、加速度センサー、およびジャイロセンサー等である。センサー29に実装される検出方式に関わらず、センサー29は、撮像素子28の位置および姿勢の少なくとも1つを検出できさえすればよい。センサー29は、撮像素子28の位置および姿勢の少なくとも1つを示す信号を出力する。
【0130】
図13を使用して、第1の実施形態の第4の変形例における処理について説明する。
図13は、計測のための処理の手順を示す。
図13に示す処理について、
図7に示す処理と異なる点を説明する。
【0131】
ステップS107において、計測信頼度が低いと信頼度判定部185が判定した場合、ステップS113における処理が実行される。ステップS113において撮像条件判定部186は、センサー29から出力される信号が示す撮像素子28の位置または姿勢の変化量が、予め設定された所定の値よりも大きいか否かを判定する。撮像素子28の位置または姿勢の変化量が所定の値よりも大きい場合、撮像条件判定部186は、撮像条件が変化したと判定する。撮像素子28の位置または姿勢の変化量が所定の値よりも小さい場合、撮像条件判定部186は、撮像条件が変化していないと判定する。
【0132】
ステップS113において、撮像条件が変化していないと撮像条件判定部186が判定した場合、ステップS113における処理が再度実行される。つまり、撮像条件が変化しない場合、撮像条件が変化したか否かの判定が繰り返される。ステップS113において、撮像条件が変化したと撮像条件判定部186が判定した場合、ステップS111における処理が実行される。ステップS112の後、ステップS114における処理が実行される。
【0133】
上記以外の点について、
図13に示す処理は、
図7に示す処理と同様である。
【0134】
撮像条件判定部186は、ユーザーによって照明の明るさが変更されたか否かを判定することにより、撮像条件が変化したか否かを判定してもよい。あるいは、撮像条件判定部186は、ユーザーによって画像処理の設定値(画像処理パラメーター)が変更されたか否かを判定することにより、撮像条件が変化したか否かを判定してもよい。ステップS113において、ユーザーによって照明の明るさが変更されていない、または画像処理の設定値が変更されていないと撮像条件判定部186が判定した場合、ステップS113における処理が再度実行される。ステップS113において、ユーザーによって照明の明るさが変更された、または画像処理の設定値が変更されたと撮像条件判定部186が判定した場合、ステップS111における処理が実行される。
【0135】
(第2の実施形態)
本発明の第2の実施形態の内視鏡装置1は、ユーザーへの支援機能を有する。具体的には、内視鏡装置1は、計測に適した画像を取得するために必要な支援情報をユーザーに通知する。これにより、内視鏡装置1は、計測に適した画像を高速に取得することができる。支援情報は、計測信頼度が低くなった原因と、計測信頼度を高めるための対策とで構成される。支援情報は、計測信頼度を高めるための対策として、撮像条件の変更、指定点の変更、およびステレオ光学アダプター30の装着状態の適正化のうち少なくとも1つをユーザーに促す情報を含む。
【0136】
第2の実施形態において、第1の実施形態におけるCPU18aは、
図14に示すCPU18bに変更される。
図14は、CPU18bの機能構成を示す。
図14に示す構成について、
図5に示す構成と異なる点を説明する。
【0137】
CPU18bは、
図5に示す構成に加えて、通知制御部188を有する。信頼度判定部185によって計測信頼度が低いと判定された後、かつ第2の視差画像が取得される前に、通知制御部188は、計測信頼度を高めるための情報をユーザーに通知する。例えば、通知制御部188は、撮像素子28の位置および姿勢の少なくとも1つを変更することをユーザーに促す情報をユーザーに通知する。これにより、通知制御部188は、撮像素子28の撮像条件を第1のタイミングにおける撮像条件と異なる条件に変更することをユーザーに促す情報をユーザーに通知する。通知制御部188は、物体距離が変化するように、撮像素子28の位置および姿勢の少なくとも1つを変更することをユーザーに促す情報をユーザーに通知する。
【0138】
具体的には、通知制御部188は、計測信頼度を高めるためのメッセージ等を画像上に表示させる。例えば、通知制御部188は、メッセージ等のグラフィック画像信号を生成する。通知制御部188は、生成されたグラフィック画像信号を映像信号処理回路12に出力する。映像信号処理回路12は、CCU9から出力された映像信号と、CPU18bから出力されたグラフィック画像信号とを合成する。これにより、メッセージ等が画像に重畳される。映像信号処理回路12は、合成された映像信号を表示部5に出力する。表示部5は、メッセージ等が重畳された画像を表示する。メッセージ等は、計測信頼度が低くなった原因と、計測信頼度を高めるための対策とを示す。
【0139】
ユーザーへの通知方法は、表示部5による情報の表示に限らない。例えば、計測信頼度を高めるための情報を示す音声が出力されてもよい。
【0140】
上記以外の点について、
図14に示す構成は、
図5に示す構成と同様である。
【0141】
図15を使用して、第2の実施形態における処理について説明する。
図15は、計測のための処理の手順を示す。
図15に示す処理について、
図7に示す処理と異なる点を説明する。
【0142】
ステップS107において、計測信頼度が低いと信頼度判定部185が判定した場合、通知制御部188は、計測信頼度を高めるための情報をユーザーに通知する(ステップS131)。ステップS131の後、ステップS111における処理が実行される。ステップS113において、撮像条件が変化していないと撮像条件判定部186が判定した場合、ステップS131における処理が実行される。
【0143】
上記以外の点について、
図15に示す処理は、
図7に示す処理と同様である。
【0144】
図16および
図17は、ステップS131における処理の手順を示す。
図16および
図17を使用して、ユーザーに対する情報通知処理の詳細を説明する。
【0145】
通知制御部188は、信頼度判定部185から出力された計測信頼度と、その関連情報とを受け取る(ステップS1311)。関連情報は、信頼度判定部185が結果を得るために使用した仮指定点座標、2次元画像、および3次元座標等である。
【0146】
ステップS1311の後、通知制御部188は、3次元座標を構成するz座標を使用し、物体距離が十分に近いか否かを判定する。これにより、通知制御部188は、内視鏡先端(挿入部2の先端20)が被写体に十分近づいたか否かを判定する(ステップS1312)。
【0147】
ステップS1312において、物体距離が遠いと通知制御部188が判定した場合、通知制御部188は、内視鏡先端を被写体に近づけるようにユーザーに通知する(ステップS1313)。これにより、通知制御部188は、撮像素子28の位置を変更することをユーザーに促す情報をユーザーに通知する。ステップS1313における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0148】
図18は、ステップS1313における表示部5の表示画面51を示す。
図18に示すように、現在の物体距離M101、目標の物体距離M102、および計測に適した撮像条件を実現するための対策案M103が表示画面51に表示される。また、内視鏡先端を被写体に近づけることをユーザーに通知する図形F101が表示画面51に表示される。内視鏡先端を被写体に近づけることをユーザーに通知するアイコン等が表示画面51に表示されてもよい。
【0149】
ステップS1312において、物体距離が十分に近いと通知制御部188が判定した場合、通知制御部188は、ユーザーにより指定された仮指定点が視野中心近傍にあるか否かを判定する(ステップS1314)。
【0150】
ステップS1314において、仮指定点が視野中心近傍にないと通知制御部188が判定した場合、通知制御部188は、内視鏡先端の姿勢を変えるための湾曲操作により仮指定点を視野中心近傍に移動させるようにユーザーに通知する(ステップS1315)。これにより、通知制御部188は、撮像素子28の姿勢を変更することをユーザーに促す情報をユーザーに通知する。ステップS1315における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0151】
図19は、ステップS1315における表示部5の表示画面51を示す。
図19に示すように、現在の仮指定点の座標近傍の位置P131、目標の視野中心の領域R131、および計測に適した撮像条件を実現するための対策案M131が表示画面51に表示される。また、湾曲操作のイメージをユーザーに通知する図形F131が表示画面51に表示される。湾曲操作のイメージをユーザーに通知するアイコン等が表示画面51に表示されてもよい。
【0152】
ステップS1314において、仮指定点が視野中心近傍にあると通知制御部188が判定した場合、通知制御部188は、仮指定点近傍の画像の輝度(明るさ)が適切であるか否かを判定する(ステップS1316)。
【0153】
ステップS1316において、仮指定点近傍の画像の輝度が適切でないと通知制御部188が判定した場合、通知制御部188は、画像の輝度値を上げるまたは下げることにより仮指定点近傍の輝度を調整するようにユーザーに通知する(ステップS1317)。ステップS1317における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0154】
図20は、ステップS1317における表示部5の表示画面51を示す。
図20に示すように、現在の仮指定点の座標近傍の輝度値M141、目標の輝度値M142、および計測に適した撮像条件を実現するための対策案M143が表示画面51に表示される。また、輝度変更のイメージをユーザーに通知する図形F141が表示画面51に表示される。輝度変更のイメージをユーザーに通知するアイコン等が表示画面51に表示されてもよい。
【0155】
ステップS1316において、仮指定点近傍の画像の輝度が適切であると通知制御部188が判定した場合、通知制御部188は、手ブレが発生しているか否かを判定する(ステップS1318)。例えば、ステップS1318において、通知制御部188は、連続的に取得された2対の視差画像を比較することにより手ブレが発生しているか否かを判定する。内視鏡装置1が
図12に示すセンサー29を有している場合、通知制御部188は、センサー29から出力される信号に基づいて、手ブレが発生しているか否かを判定してもよい。
【0156】
ステップS1318において、手ブレが発生していると通知制御部188が判定した場合、通知制御部188は、内視鏡先端の手ブレを抑制するようにユーザーに通知する(ステップS1319)。ステップS1319における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0157】
図21は、ステップS1319における表示部5の表示画面51を示す。
図21に示すように、現在の手ブレ量M151、目標の手ブレ量M152、および計測に適した撮像条件を実現するための対策案M153が表示画面51に表示される。また、内視鏡先端の手ブレを抑制するイメージをユーザーに通知する図形F151が表示画面51に表示される。内視鏡先端の手ブレを抑制するイメージをユーザーに通知するアイコン等が表示画面51に表示されてもよい。
【0158】
ステップS1318において、手ブレが発生していないと通知制御部188が判定した場合、通知制御部188は、仮指定点近傍においてハレーションが発生しているか否かを判定する(ステップS1320)。
【0159】
ステップS1320において、ハレーションが発生していると通知制御部188が判定した場合、通知制御部188は、構図が所定の回数よりも多く変更されたか否かを判定する(ステップS1321)。
【0160】
ステップS1321において、構図が所定の回数以下だけ変更されたと通知制御部188が判定した場合、通知制御部188は、仮指定点近傍の領域がハレーションと重ならないように、内視鏡先端と被写体との位置関係すなわち構図を変化させるようにユーザーに通知する(ステップS1322)。これにより、通知制御部188は、撮像素子28の位置および姿勢の少なくとも1つを変更することをユーザーに促す情報をユーザーに通知する。ステップS1322における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0161】
ステップS1321において、構図が所定の回数よりも多く変更されたと通知制御部188が判定した場合、通知制御部188は、構図が変更されても仮指定点近傍に発生しているハレーションを回避できないと判定する。そのため、通知制御部188は、仮指定点の座標を変更するようにユーザーに通知する(ステップS1323)。これにより、通知制御部188は、仮指定点の変更をユーザーに促す情報をユーザーに通知する。ステップS1323における処理が実行されることにより、
図16および
図17に示す処理が終了する。ステップS1321における判定の基準である所定の回数の上限および下限に制限はない。
【0162】
ステップS1320において、ハレーションが発生していないと通知制御部188が判定した場合、通知制御部188は、オクルージョンが発生しているか否かを判定する(ステップS1324)。オクルージョンは、第1の光学系31および第2の光学系32の一方により得られた光学像では視認でき、第1の光学系31および第2の光学系32の他方により得られた光学像では視認できない領域が発生する状態である。
【0163】
ステップS1324において、オクルージョンが発生していると通知制御部188が判定した場合、ステップS1321における処理が実行される。ステップS1324において、オクルージョンが発生していないと通知制御部188が判定した場合、通知制御部188は、被写体の模様が仮指定点近傍に十分にあるか否かを判定する(ステップS1325)。
【0164】
ステップS1325において、被写体の模様が仮指定点近傍に十分にないと通知制御部188が判定した場合、計測精度が低下する。そのため、通知制御部188は、十分な模様がある座標に仮指定点を変更するようにユーザーに通知する(ステップS1323)。ステップS1325において、被写体の模様が仮指定点近傍に全くないと通知制御部188が判定した場合も、ステップS1323における処理が実行される。
【0165】
ステップS1325において、被写体の模様が仮指定点近傍に十分にあると通知制御部188が判定した場合、通知制御部188は、仮指定点近傍の模様と同様の模様が、仮指定点から視差方向に離れた座標にあるか否かを判定する(ステップS1326)。
【0166】
ステップS1326において、仮指定点近傍の模様と同様の模様が、仮指定点から視差方向に離れた座標にあると通知制御部188が判定した場合、計測精度が低下する。そのため、通知制御部188は、内視鏡先端の光軸周りの回転動作または湾曲操作を行うことにより、仮指定点近傍の模様と似た視差方向の模様をなくすようにユーザーに通知する(ステップS1327)。これにより、通知制御部188は、撮像素子28の姿勢を変更することをユーザーに促す情報をユーザーに通知する。例えば、内視鏡先端の光軸周りの回転動作は、内視鏡先端の捻り動作である。ステップS1327における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0167】
ステップS1326において、仮指定点近傍の模様と同様の模様が、仮指定点から視差方向に離れた座標にないと通知制御部188が判定した場合、取得された画像またはステレオ光学アダプター30の装着状態が正しくない可能性がある。そのため、通知制御部188は、それらの状態を確認するようにユーザーに通知する(ステップS1328)。これにより、通知制御部188は、ステレオ光学アダプター30の装着状態の適正化をユーザーに促す情報をユーザーに通知する。ステップS1328における処理が実行されることにより、
図16および
図17に示す処理が終了する。
【0168】
ステップS1313、ステップS1315、ステップS1317、ステップS1319、ステップS1322、およびステップS1327における処理により、通知制御部188は、撮像素子28の撮像条件を第1のタイミングにおける撮像条件と異なる条件に変更することをユーザーに促す情報をユーザーに通知する。
【0169】
ステップS106において3次元座標算出部184は、仮指定点の3次元座標を算出する。算出された3次元座標を構成するz座標は物体距離を示す。したがって、ステップS106において3次元座標算出部184(物体距離計測部)は、物体距離を計測する。ステップS131において通知制御部188によって、計測信頼度を高めるための情報がユーザーに通知され、かつステップS111において第2の視差画像が取得される。その後、撮像条件判定部186は、3次元座標算出部184によって計測された物体距離が変化したか否かを判定することにより、撮像条件が変化したか否かを判定する。
【0170】
通知制御部188とは別の処理部が、
図16および
図17に示す処理のうち判定に関する処理を実行し、かつ通知制御部188は通知に関する処理のみを実行してもよい。
【0171】
図16および
図17に示す処理は一例である。各ステップの順番が変更されてもよい。一部のステップが省略されてもよい。1つのステップが複数のステップに分割されてもよい。例えば、内視鏡先端が被写体に十分近づいたことが確認され、かつ仮指定点が視野中心近傍にあることが確認された後、内視鏡先端が被写体に十分近づいたか否かが再度判定されてもよい。
【0172】
第2の実施形態において、計測に適した撮像条件を実現するための支援情報がユーザーに通知される。これにより、第1の実施形態と比較して、内視鏡装置1は計測に適した画像を高速に取得することができる。そのため、検査効率が向上する。
【0173】
(第3の実施形態)
本発明の第3の実施形態の内視鏡装置1は、撮像条件が計測に適するように撮像条件を自動的に変更する。第1の実施形態およびその第4の変形例と同様に、撮像条件は、撮像素子28の位置および姿勢に加えて、照明の明るさおよび画像処理の設定値(画像処理パラメーター)を含む。
【0174】
第3の実施形態において、第1の実施形態におけるCPU18aは、
図22に示すCPU18cに変更される。
図22は、CPU18cの機能構成を示す。
図22に示す構成について、
図5に示す構成と異なる点を説明する。
【0175】
CPU18cは、
図5に示す構成に加えて、撮像条件制御部189を有する。信頼度判定部185によって計測信頼度が低いと判定された後、かつ第2の視差画像が取得される前に、撮像条件制御部189は、計測信頼度が高まるように撮像素子28の撮像条件を変更する。撮像条件制御部189は、計測信頼度が高まるように、第2のタイミングにおける撮像条件を第1のタイミングにおける撮像条件と異なる条件に変更する。これにより、撮像条件が変更される前と比較して、計測信頼度が向上する。
【0176】
撮像条件は撮像素子28の位置および姿勢の少なくとも1つである。撮像条件は、計測対象の物体からの光を撮像素子28に入射させる光学系とその物体との間の物体距離であってもよい。撮像条件は、照明の明るさおよび画像処理の設定値の少なくとも1つであってもよい。
【0177】
上記以外の点について、
図22に示す構成は、
図5に示す構成と同様である。
【0178】
図23を使用して、第3の実施形態における処理について説明する。
図23は、計測のための処理の手順を示す。
図23に示す処理について、
図7に示す処理と異なる点を説明する。
【0179】
ステップS107において、計測信頼度が低いと信頼度判定部185が判定した場合、撮像条件制御部189は、計測信頼度が高まるように撮像素子28の撮像条件を変更する(ステップS141)。ステップS141の後、ステップS111における処理が実行される。ステップS113において、撮像条件が変化していないと撮像条件判定部186が判定した場合、ステップS141における処理が実行される。
【0180】
上記以外の点について、
図23に示す処理は、
図7に示す処理と同様である。
【0181】
図24は、ステップS141における処理の手順を示す。
図24を使用して、撮像条件変更処理の詳細を説明する。
【0182】
撮像条件制御部189は、信頼度判定部185から出力された計測信頼度と、その関連情報とを受け取る(ステップS1411)。関連情報は、信頼度判定部185が結果を得るために使用した仮指定点座標および3次元座標等である。
【0183】
ステップS1411の後、撮像条件制御部189は、ユーザーにより指定された仮指定点が視野中心近傍にあるか否かを判定する(ステップS1412)。
【0184】
ステップS1412において、仮指定点が視野中心近傍にあると撮像条件制御部189が判定した場合、ステップS1415における処理が実行される。ステップS1412において、仮指定点が視野中心近傍にないと撮像条件制御部189が判定した場合、撮像条件制御部189は、内視鏡先端の姿勢を変えるための湾曲制御により、仮指定点を視野中心方向に移動させる(ステップS1413)。
【0185】
ステップS1413において撮像条件制御部189は、挿入部2の先端20を湾曲させるための湾曲機構を制御する。例えば、撮像条件制御部189は、挿入部2の先端20を上、下、左、および右のいずれか1つの方向に湾曲させるための命令を生成する。撮像条件制御部189により生成された命令は、制御インタフェース17を介して内視鏡ユニット8に出力される。内視鏡ユニット8は、その命令に基づいて湾曲機構を駆動することにより、挿入部2の先端20を湾曲させる。
【0186】
ステップS1413の後、撮像条件制御部189は、湾曲状態が異常であるか否かを判定する(ステップS1414)。例えば、異常な湾曲状態は、撮像条件制御部189が仮指定点を視野中心に移動させようと試みても湾曲角度が限界まで既に到達している状態である。あるいは、異常な湾曲状態は、被写体の一部に内視鏡先端がひっかかって湾曲が動作しない等の状態である。
【0187】
ステップS1414において、湾曲状態が異常でないと撮像条件制御部189が判定した場合、ステップS1412における処理が実行される。ステップS1414において、湾曲状態が異常であると撮像条件制御部189が判定した場合、撮像条件制御部189は湾曲動作を停止する。その後、ステップS1415における処理が実行される。
【0188】
撮像条件制御部189は、仮指定点近傍の画像の輝度(明るさ)を検出する(ステップS1415)。ステップS1415の後、撮像条件制御部189は、仮指定点近傍の画像の輝度が適切であるか否かを判定する(ステップS1416)。
【0189】
ステップS1416において、仮指定点近傍の画像の輝度が適切でないと撮像条件制御部189が判定した場合、撮像条件制御部189は、仮指定点近傍の画像の輝度の目標値を算出する(ステップS1417)。目標値が予め設定されている場合、ステップS1417において撮像条件制御部189はその目標値をRAM14から読み出す。
【0190】
ステップS1417の後、撮像条件制御部189は、輝度が、ステップS1417において算出された目標値に近づくように露光時間、ゲイン、および光源の光量を調節する。これにより、撮像条件制御部189は、仮指定点近傍の画像の輝度を変更する(ステップS1418)。ステップS1418の後、ステップS1416における処理が実行される。
【0191】
ステップS1416において、仮指定点近傍の画像の輝度が適切であると撮像条件制御部189が判定した場合、撮像条件制御部189は、画像処理の設定値が不適切であると判定する。そのため、撮像条件制御部189は、画像処理の設定値を変更する(ステップS1419)。ステップS1419における処理が実行されることにより、
図24に示す処理が終了する。
【0192】
図24に示す処理は一例である。各ステップの順番が変更されてもよい。一部のステップが省略されてもよい。1つのステップが複数のステップに分割されてもよい。例えば、仮指定点が視野中心近傍に移動した後、仮指定点近傍の輝度が適切に調節される。その後、仮指定点が視野中心近傍から外れていれば、仮指定点を視野中心近傍に移動させる処理が再度実行されてもよい。
【0193】
内視鏡装置1は、変更できる撮像条件の一部のみを変更してもよい。第2の実施形態における支援情報をユーザーに通知する処理がステップS141の後に実行されてもよい。
【0194】
第3の実施形態において、ユーザーは様々な撮像条件を自分でわざわざ変更しなくてもよい。内視鏡装置1が撮像条件を自動的に変更することにより、熟練度の低いユーザーであっても、計測に適した画像を簡単に取得することができる。そのため、検査効率が向上する。
【0195】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。