特許 5976436 内視鏡装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5976436

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月23日

(54)【発明の名称】内視鏡装置およびプログラム

(51)【国際特許分類】

   G02B 23/24 20060101AFI20160809BHJP

   A61B 1/00 20060101ALI20160809BHJP

   A61B 1/04 20060101ALI20160809BHJP

   H04N 5/225 20060101ALI20160809BHJP

   H04N 5/232 20060101ALI20160809BHJP

   G06T 1/00 20060101ALI20160809BHJP

   G01B 11/24 20060101ALI20160809BHJP

【ＦＩ】

   G02B23/24 B

   A61B1/00 300P

   A61B1/04 370

   A61B1/00 300Y

   H04N5/225 C

   H04N5/232 Z

   H04N5/225 E

   G06T1/00 315

   G01B11/24 K

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2012-168354(P2012-168354)

(22)【出願日】2012年7月30日

(65)【公開番号】特開2014-26217(P2014-26217A)

(43)【公開日】2014年2月6日

【審査請求日】2015年6月25日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100094400

【弁理士】

【氏名又は名称】鈴木 三義

(74)【代理人】

【識別番号】100086379

【弁理士】

【氏名又は名称】高柴 忠夫

(74)【代理人】

【識別番号】100129403

【弁理士】

【氏名又は名称】増井 裕士

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(72)【発明者】

【氏名】遠藤 尚史

【審査官】 殿岡 雅仁

(56)【参考文献】

【文献】 特開２００９−２５８４２７（ＪＰ，Ａ）

【文献】 特開２００３−０７０７１９（ＪＰ，Ａ）

【文献】 特開２００２−３４５７３８（ＪＰ，Ａ）

【文献】 特開２００３−０７５１３６（ＪＰ，Ａ）

【文献】 特開２００９−１７５６９２（ＪＰ，Ａ）

【文献】 特開２００９−２５８２７３（ＪＰ，Ａ）

【文献】 特開２０１１−０２７９１２（ＪＰ，Ａ）

【文献】 特開２０１１−１７０２７６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２３／２４ − ２３／２６

Ａ６１Ｂ １／００ − １／３２

Ｈ０４Ｎ ５／２２５− ５／２５７

Ｇ０１Ｂ １１／００ − １１／３０

(57)【特許請求の範囲】

【請求項1】

光学系によって結像された被写体像に基づく撮像信号を生成する内視鏡を有し、前記光学系を交換可能な挿入部と、
前記撮像信号に基づいて映像信号を生成する映像信号生成部と、
前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、
前記映像信号に基づいて、第１の被写体像において指定された計測点の位置から、前記第１の被写体像に対して視差を有する第２の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、
前記位置関係を示す指標値を算出する指標値算出部と、
前記指標値に基づいて、前記位置関係の変化を判定する判定部と、
前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、
前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、
前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、
前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、
前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、
を備えたことを特徴とする内視鏡装置。

【請求項2】

前記位置関係に変化が生じていないと判定された場合に、前記計測部は、前記補正部によって補正される前の前記パラメータに基づいて、被写体の大きさを計測することを特徴とする請求項１に記載の内視鏡装置。

【請求項3】

前記対応点算出部は、第１の条件に基づいて前記計測点に対する第１の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第１の対応点を重畳して表示し、
前記第１の対応点の位置が妥当でないと判断された場合に、前記対応点算出部は、前記第１の条件と異なる第２の条件に基づいて前記計測点に対する第２の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第２の対応点を重畳して表示することを特徴とする請求項１または請求項２に記載の内視鏡装置。

【請求項4】

前記対応点算出部は、第１の条件に基づいて前記計測点に対する第１の対応点の位置を算出し、
前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第１の対応点を重畳して表示し、
前記要求部は、前記第１の対応点の位置の確認をユーザーに要求し、
前記入力部は、前記第１の対応点の位置を確認したユーザーが前記第１の対応点の位置の妥当性を判断した結果を入力し、
前記補正部は、前記第１の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする請求項１または請求項２に記載の内視鏡装置。

【請求項5】

前記対応点算出部は、前記第１の対応点の位置が妥当でないと判断された場合に、前記第１の条件と異なる第２の条件に基づいて前記計測点に対する第２の対応点の位置を算出し、
前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第２の対応点を重畳して表示し、
前記要求部は、前記第２の対応点の位置の確認をユーザーに要求し、
前記補正部は、前記第２の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする請求項４に記載の内視鏡装置。

【請求項6】

前記指標値算出部は、前記位置関係を示す２種類の指標値を算出し、
前記判定部は、２種類の前記指標値に基づいて、前記位置関係の変化を判定する
ことを特徴とする請求項１〜請求項５のいずれか一項に記載の内視鏡装置。

【請求項7】

前記指標値算出部は、前記第２の被写体像における前記対応点とエピポーララインのずれの値を前記指標値として算出することを特徴とする請求項１〜請求項５のいずれか一項に記載の内視鏡装置。

【請求項8】

前記指標値算出部は、前記第２の被写体像における前記対応点とエピポーララインのずれの値を第１の指標値として算出し、さらに、前記第１の被写体像と前記第２の被写体像との相関を示す相関値を第２の指標値として算出することを特徴とする請求項６に記載の内視鏡装置。

【請求項9】

前記計測用のパラメータは、前記エピポーララインの式を示すパラメータであることを特徴とする請求項７または請求項８に記載の内視鏡装置。

【請求項10】

光学系によって結像された被写体像に基づく撮像信号を生成する内視鏡を有し、前記光学系を交換可能な挿入部と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、を有する内視鏡装置における前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、
前記映像信号に基づいて、第１の被写体像において指定された計測点の位置から、前記第１の被写体像に対して視差を有する第２の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、
前記位置関係を示す指標値を算出する指標値算出部と、
前記指標値に基づいて、前記位置関係の変化を判定する判定部と、
前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、
前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、
前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、
前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、
前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、
としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測機能を有する内視鏡装置に関する。また、本発明は、コンピュータに計測機能を実現させるためのプログラムに関する。

【背景技術】

【0002】

ボイラー、タービン、エンジン、化学プラントなどの検査において、内部の傷や腐食を観察するのに工業用内視鏡が広く用いられている。工業用内視鏡では、多様な観察物を観察および検査することを可能にするため、計測対象物の内部に挿入する挿入部の先端に装着される光学アダプターとして複数種類の光学アダプターが用意されている。光学アダプターの１つとして、異なる視点に対応する左右の２つの被写体像を形成するための２つの光学系を有するステレオ計測用光学アダプター（以下、ステレオアダプターと記載）がある。また、ステレオアダプターを使用し、三角測量の原理を利用したステレオ計測により３次元計測を実現した内視鏡装置が使用されている（例えば特許文献１参照）。

【0003】

内視鏡装置で撮像された画像には光学系による光学的歪みが含まれており、この光学的歪みを補正する必要がある。この補正には、光学系の光学特性を示す光学データが使用される。光学データは工業用内視鏡の製造段階で生成される。製造段階で光学データの生成時に製造者が使用する挿入部と、計測時にユーザーが使用する挿入部とが異なる場合があるため、光学データの生成時と計測時とで同一のステレオアダプターが使用されたとしても、ステレオアダプターと挿入部との位置関係が異なる場合がある。このため、ユーザー側では、ステレオアダプターと挿入部との位置関係に応じて光学データを補正した環境データが生成される。この環境データを生成するための一連の処理はキャリブレーションと呼ばれている。計測時には、環境データを用いて画像の光学的歪みが補正される。

【0004】

ステレオ計測機能を搭載した内視鏡装置において、ステレオアダプターが挿入部に対して緩んだまま計測を行った場合、計測時のステレオアダプターと挿入部との位置関係が環境データの生成時の位置関係と異なっていることから計測精度が低下してしまうことがある。これに対して、特許文献１の第８の実施形態には、計測時に環境データを補正することにより、ステレオアダプターの緩みによる計測精度の低下を防止することが記載されている。

【0005】

特許文献１の第８の実施形態に記載された環境データの具体的な補正方法を説明する。ステレオアダプターには、光学系に入射した光を遮光するための構造物であるマスクが設けられており、マスクによって、左側の被写体像と右側の被写体像が仕切られている。予め光学データ内に、マスクライン（左右の被写体像に対応する左画像および右画像を含む画像におけるマスクの中心点を通りマスクの傾きを示す直線）とセンターライン（左画像と右画像の歪み中心点を結んだ直線）の２つの線が成す角度とマスクの中心点の情報とが記録される。

【0006】

計測時には、左画像において、予め決められた中央付近の複数点が自動でサンプル点として指定され、画像のパターンマッチング（以下、マッチングと記載）により、左画像上のサンプル点の位置に対応する右画像上の対応点の位置が算出される。また、複数のサンプル点の重心と複数の対応点の重心とを結ぶ線（マッチングライン）と、予め光学データに記録された角度とから計測時のマスクラインが推定され、推定されたマスクラインに基づいて環境データが補正される。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９−２５８４２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、環境データを計測の度に自動で書き換えることにより、ステレオアダプターの緩みによる計測精度の低下の防止を図っている。特許文献１に記載された方法は、計測時のステレオアダプターと挿入部との位置関係が正確に検出されている場合には有効であるが、この位置関係が正確に検出されていないと、補正前の環境データを使用する場合よりも計測精度が低下することも考えられる。

【0009】

具体的には、ステレオアダプターと挿入部との位置関係を検出する過程で、画像の状態にかかわらず自動で左画像上の所定位置のサンプル点が指定され、マッチングにより右画像上の対応点の位置が検出される。このマッチングでは、環境データに基づいて、右画像におけるエピポーララインが設定される。２つの視点の位置関係が固定されたステレオ計測では、左画像上の点に対応する右画像上の対応点は、右画像上のある直線上に必ず存在する、という幾何学的な性質がある。この直線がエピポーララインと呼ばれている。対応点の位置は、通常、エピポーララインを基準とする所定の探索範囲内に存在するため、マッチングはこの探索範囲内で行われる。

【0010】

しかし、ステレオアダプターの取り付け時の不良あるいは観察中の何らかの原因によりステレオアダプターが緩んだ場合に、真の対応点が探索範囲外に存在することにより、探索範囲内から、真の対応点と異なる偽の対応点が検出される誤対応が発生することがある。あるいは、画像のコントラストが低い等のため画像のテクスチャが適していない場合、探索範囲内から、真の対応点と異なる偽の対応点が検出される誤対応が発生することもある。誤対応が発生した場合、ステレオアダプターと挿入部との位置関係が正確に検出されず、誤った位置関係に基づいて環境データが補正されるため、この環境データを用いて計測を行うと、計測精度が低下する。

【0011】

本発明は、上述した課題に鑑みてなされたものであって、計測精度の低下を低減することができる内視鏡装置およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明は、上記の課題を解決するためになされたもので、光学系によって結像された被写体像に基づく撮像信号を生成する内視鏡を有し、前記光学系を交換可能な挿入部と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、前記映像信号に基づいて、第１の被写体像において指定された計測点の位置から、前記第１の被写体像に対して視差を有する第２の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、前記位置関係を示す指標値を算出する指標値算出部と、前記指標値に基づいて、前記位置関係の変化を判定する判定部と、前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、を備えたことを特徴とする内視鏡装置である。

【0013】

また、本発明の内視鏡装置において、前記位置関係に変化が生じていないと判定された場合に、前記計測部は、前記補正部によって補正される前の前記パラメータに基づいて、被写体の大きさを計測することを特徴とする。

【0014】

また、本発明の内視鏡装置において、前記対応点算出部は、第１の条件に基づいて前記計測点に対する第１の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第１の対応点を重畳して表示し、前記第１の対応点の位置が妥当でないと判断された場合に、前記対応点算出部は、前記第１の条件と異なる第２の条件に基づいて前記計測点に対する第２の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第２の対応点を重畳して表示することを特徴とする。

【0015】

また、本発明の内視鏡装置において、前記対応点算出部は、第１の条件に基づいて前記計測点に対する第１の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第１の対応点を重畳して表示し、前記要求部は、前記第１の対応点の位置の確認をユーザーに要求し、前記入力部は、前記第１の対応点の位置を確認したユーザーが前記第１の対応点の位置の妥当性を判断した結果を入力し、前記補正部は、前記第１の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする。

【0016】

また、本発明の内視鏡装置において、前記対応点算出部は、前記第１の対応点の位置が妥当でないと判断された場合に、前記第１の条件と異なる第２の条件に基づいて前記計測点に対する第２の対応点の位置を算出し、前記表示部は、前記映像信号に基づく画像に対して前記計測点および前記第２の対応点を重畳して表示し、前記要求部は、前記第２の対応点の位置の確認をユーザーに要求し、前記補正部は、前記第２の対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正することを特徴とする。

【0017】

また、本発明の内視鏡装置において、前記指標値算出部は、前記位置関係を示す２種類の指標値を算出し、前記判定部は、２種類の前記指標値に基づいて、前記位置関係の変化を判定することを特徴とする。

【0018】

また、本発明の内視鏡装置において、前記指標値算出部は、前記第２の被写体像における前記対応点とエピポーララインのずれの値を前記指標値として算出することを特徴とする。

【0019】

また、本発明の内視鏡装置において、前記指標値算出部は、前記第２の被写体像における前記対応点とエピポーララインのずれの値を第１の指標値として算出し、さらに、前記第１の被写体像と前記第２の被写体像との相関を示す相関値を第２の指標値として算出することを特徴とする。

【0020】

また、本発明の内視鏡装置において、前記計測用のパラメータは、前記エピポーララインの式を示すパラメータであることを特徴とする。

【0021】

また、本発明は、光学系によって結像された被写体像に基づく撮像信号を生成する内視鏡を有し、前記光学系を交換可能な挿入部と、前記撮像信号に基づいて映像信号を生成する映像信号生成部と、を有する内視鏡装置における前記光学系の光学特性と、前記光学系および前記挿入部の位置関係とに基づく環境データを記憶する記憶部と、前記映像信号に基づいて、第１の被写体像において指定された計測点の位置から、前記第１の被写体像に対して視差を有する第２の被写体像において前記計測点に対応する対応点の位置を算出する対応点算出部と、前記位置関係を示す指標値を算出する指標値算出部と、前記指標値に基づいて、前記位置関係の変化を判定する判定部と、前記映像信号に基づく画像に対して前記計測点および前記対応点を重畳して表示する表示部と、前記位置関係に変化が生じていると判定された場合に、前記対応点の位置の確認をユーザーに要求する要求部と、前記対応点の位置を確認したユーザーが前記対応点の位置の妥当性を判断した結果を入力する入力部と、前記対応点の位置が妥当であると判断された場合に、前記指標値に基づく前記位置関係の変化分だけ、前記環境データから生成される計測用のパラメータを補正する補正部と、前記補正部によって補正された前記パラメータに基づいて、被写体の大きさを計測する計測部と、としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0022】

本発明によれば、光学系および挿入部の位置関係に変化が生じていると判定された場合に、対応点の位置の確認がユーザーに要求され、対応点の位置が妥当であるとユーザーが判断した場合に、環境データから生成される計測用のパラメータが補正される。これによって、位置関係に変化が生じている場合に計測用のパラメータを補正しつつ、誤対応が発生した場合に計測用のパラメータが補正されることを回避することが可能となるので、計測精度の低下を低減することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。

【図2】本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。

【図3】本発明の一実施形態による内視鏡装置の機能構成を示すブロック図である。

【図4】本発明の一実施形態による内視鏡装置の概略動作の手順を示すフローチャートである。

【図5】本発明の一実施形態による内視鏡装置が備えるモニタに表示される画像を示す参考図である。

【図6】本発明の一実施形態による内視鏡装置が備えるモニタに表示される画像を示す参考図である。

【図7】本発明の一実施形態による内視鏡装置が備えるモニタに表示される画像を示す参考図である。

【図8】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。

【図9】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。

【図10】本発明の一実施形態における対応点とエピポーララインのずれ量を示す参考図である。

【図11】本発明の一実施形態におけるマッチングの探索範囲を示す参考図である。

【図12】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。

【図13】本発明の一実施形態におけるマッチングの探索範囲を示す参考図である。

【図14】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。

【図15】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。

【図16】本発明の一実施形態による内視鏡装置の動作の手順を示すフローチャートである。

【図17】ステレオ計測による計測点の３次元座標の求め方を説明するための参考図である。

【発明を実施するための形態】

【0024】

以下、図面を参照し、本発明の実施形態を説明する。

【0025】

（装置構成）
まず、以下の第１〜第６の動作例で共通する内視鏡装置の構成を説明する。図１は、本実施形態による内視鏡装置の全体構成を示している。図１に示すように、内視鏡装置１は、内視鏡２と、この内視鏡２に接続された装置本体３とを備えている。内視鏡２は、細長な挿入部２０と、装置全体の各種動作制御を実行する際に必要な操作を行うための操作部６とを備えている。装置本体３は、内視鏡２で撮像された被写体の画像や操作制御内容（例えば処理メニュー）等を表示するモニタ４と、内部に制御ユニット１０（図２参照）を有する筐体５とを備えている。

【0026】

挿入部２０は、硬質な先端部２１と、例えば上下左右に湾曲可能な湾曲部２２と、柔軟性を有する可撓管部２３とを先端側から順に連設して構成されている。先端部２１には、観察視野を２つ有するステレオアダプターや観察視野が１つの通常観察光学アダプター等、各種光学アダプターが着脱自在になっている。

【0027】

図２に示すように筐体５内には、ＣＣＵ９（カメラコントロールユニット）および制御ユニット１０が設けられている。挿入部２０の基端部は内視鏡ユニット８に接続されている。内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）と、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）とを備えて構成されている。ＣＣＵ９は、撮像素子２８を駆動する駆動装置（不図示）を備えて構成されている。

【0028】

先端部２１には撮像素子２８が内蔵されている。撮像素子２８は、光学アダプターを介して結像された被写体像を光電変換し、撮像信号を生成する。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号（画像データ）に変換されて、制御ユニット１０へ供給される。

【0029】

制御ユニット１０内には、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、カードＩ／Ｆ１５（カードインターフェイス）、ＵＳＢ Ｉ／Ｆ１６（ＵＳＢインターフェイス）、ＲＳ−２３２Ｃ Ｉ／Ｆ１７（ＲＳ−２３２Ｃインターフェイス）、およびＣＰＵ１８が設けられている。

【0030】

ＲＳ−２３２Ｃ Ｉ／Ｆ１７には、ＣＣＵ９および内視鏡ユニット８が接続されると共に、これらＣＣＵ９や内視鏡ユニット８等の制御および動作指示を行う操作部６が接続されている。ユーザーが操作部６を操作すると、その操作内容に基づいて、ＣＣＵ９および内視鏡ユニット８を動作制御する際に必要な通信が行われる。

【0031】

ＵＳＢ Ｉ／Ｆ１６は、制御ユニット１０とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ Ｉ／Ｆ１６を介して制御ユニット１０とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示に基づく制御を行うことが可能になると共に、制御ユニット１０とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。

【0032】

また、カードＩ／Ｆ１５には、メモリカード３２を自由に着脱することができるようになっている。メモリカード３２をカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御に従って、このメモリカード３２に記憶されている制御処理情報や画像情報等のデータの制御ユニット１０への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカード３２への記録を行うことが可能になる。

【0033】

映像信号処理回路１２は、ＣＣＵ９から供給された映像信号に基づく内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、ＣＰＵ１８により生成される、操作メニューに基づくグラフィック画像信号とＣＣＵ９からの映像信号を合成する処理や、モニタ４の画面上に表示するのに必要な処理等を行い、表示信号をモニタ４に供給する。また、この映像信号処理回路１２は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、モニタ４の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。

【0034】

ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、内視鏡装置１全体の動作制御を行う。ＲＡＭ１４は、ＣＰＵ１８によって、データの一時格納用の作業領域として使用される。

【0035】

ＣＰＵ１８が実行するプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータに読み込ませ、実行させてもよい。例えば、パーソナルコンピュータ３１がプログラムを読み込んで実行し、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信して内視鏡装置１を制御し、内視鏡装置１から映像信号を取得して、取得した映像信号を用いて計測を行ってもよい。

【0036】

ここで、「コンピュータ」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0037】

また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0038】

図３は、内視鏡装置１のうち、本実施形態の説明の中心となる部分の機能構成を示している。映像信号生成部４１はＣＣＵ９の機能に対応する。この映像信号生成部４１は、撮像素子２８から出力された撮像信号に基づいて映像信号を生成する。先端部２１にステレオアダプターが装着された場合に生成される映像信号は、左側の視野に対応する光学系により得られた第１の被写体像を含む左画像と、右側の視野に対応する光学系により得られた、第１の被写体像に対して視差を有する第２の被写体像を含む右画像とを構成する。

【0039】

操作検出部４２、対応点算出部４３、計測処理部４４、指標値算出部４５、判定部４６、補正部４７、グラフィック画像生成部４８、制御部４９はＣＰＵ１８の機能に対応する。操作検出部４２は、ユーザーによる操作部６の操作を検出し、操作内容を制御部４９に通知する。操作部６が操作され、モニタ４の画面に表示される画像における被写体上の計測位置を示す計測点の位置が指定された場合、操作検出部４２は画像における計測点の２次元座標を算出し、制御部４９に通知する。本実施形態では、一例として、左画像上で計測点の位置が指定される。

【0040】

対応点算出部４３は、マッチングにより、左画像上の計測点の２次元座標に対応する右画像上の対応点の２次元座標を算出する。計測処理部４４は計測処理を実行する。計測処理は、ユーザーが指定した計測点およびその対応点の２次元座標に基づいて実空間上の３次元座標を算出し、被写体の実空間上の長さや面積等を計算する処理である。指標値算出部４５は、対応点の２次元座標に基づいて、ステレオアダプターと挿入部２０との位置関係を示す指標値を算出する。本実施形態の指標値は、ステレオアダプターにどの程度の緩みが生じているのかを示す指標である。この指標値は、例えば対応点とエピポーララインのずれやマッチング結果の相関値等に基づいている。

【0041】

判定部４６は、指標値に基づいて、ステレオアダプターと挿入部２０との位置関係に所定の変化が生じているか否か、すなわちステレオアダプターに緩みが生じているか否かを判定する。補正部４７は、ステレオアダプターに緩みが生じていると判定された場合に、計測精度の低下を防止するため、環境データから生成される計測用のパラメータを補正する。本実施形態の計測用のパラメータは、例えばエピポーララインの式を決定する係数である。グラフィック画像生成部４８は、モニタ４の画面上に表示する操作メニューや、計測点および対応点のマーク、メッセージ等を含むグラフィック画像信号を生成する。制御部４９は、操作検出部４２、対応点算出部４３、計測処理部４４、指標値算出部４５、判定部４６、補正部４７、グラフィック画像生成部４８のそれぞれへの処理の割り当てを制御すると共に、内視鏡装置１全体の動作を制御する。

【0042】

表示信号生成部５０は映像信号処理回路１２の機能に対応する。この表示信号生成部５０は、映像信号生成部４１によって生成された映像信号と、グラフィック画像生成部４８によって生成されたグラフィック画像信号とを合成し、表示信号を生成する。モニタ４は、表示信号生成部５０によって生成された表示信号に基づいて画像を表示する。

【0043】

ＲＡＭ１４は、本発明の内視鏡装置における記憶部に対応する。モニタ４は、本発明の内視鏡装置における表示部に対応する。対応点算出部４３および計測処理部４４は、本発明の内視鏡装置における計測部に対応する。グラフィック画像生成部４８、表示信号生成部５０、およびモニタ４は、本発明の内視鏡装置における要求部に対応する。操作部６は、本発明の内視鏡装置における入力部に対応する。

【0044】

次に、本実施形態の計測の原理を説明する。左右２つの視野を形成するステレオアダプターを使用し、被写体像を左右の光学系で捉えたときの左右の光学測距点の座標に基づいて、三角測量の原理を使用して被写体の３次元空間座標を求めることで、各種計測（ステレオ計測）が可能となる。図１７は、ステレオ計測による計測点の３次元座標の求め方を示している。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、左側の光学中心６３と右側の光学中心６４とを結ぶ線分の中点を原点Ｏとして、点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式〜（３）式で計算される。ただし、歪み補正が施された左右の画像上の計測点６１および対応点６２の座標を、左右それぞれの光学系の光軸と画像面との交点ＯＬ、ＯＲを原点として、それぞれ（ＸＬ，ＹＬ）、（ＸＲ，ＹＲ）とし、左側と右側の光学中心６３，６４の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（ＸＲ−ＸＬ）とする。
Ｘ＝ｔ×ＸＲ＋Ｄ／２ ・・・（１）
Ｙ＝−ｔ×ＹＲ ・・・（２）
Ｚ＝ｔ×Ｆ ・・・（３）

【0045】

上記のように元画像上の計測点６１および対応点６２の座標が決定されると、パラメータＤおよびＦを用いて点６０の３次元座標が求まる。いくつかの点の３次元座標を求めることによって、２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左側の光学中心６３または右側の光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。物体距離は、先端部２１から被写体までの距離であって、例えば撮像素子２８または観察光学系から被写体までの距離である。上記のステレオ計測を行うためには、先端部２１とステレオ光学アダプターを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細や、環境データの生成方法、ステレオアダプターと挿入部２０との位置関係による計測精度への影響については、例えば特許文献１に記載されているので、その説明を省略する。

【0046】

次に、内視鏡装置１の動作の概要を説明する。図４は、内視鏡装置１の概略動作の手順を示している。本実施形態では、既にキャリブレーションが行われて環境データが生成され、メモリカード３２に環境データが記録されているものとする。ステレオアダプターが装着された挿入部２０が検査対象物に挿入され、環境データがメモリカード３２からＲＡＭ１４に読み込まれた後、被写体の観察が開始される。

【0047】

被写体の観察が開始されると、被写体を撮像した動画像（ライブ画像）がモニタ４に表示される（ステップＳ１）。ユーザーが計測したい被写体が見つかった場合、静止画像の画像データがＲＡＭ１４に保存される（ステップＳ２）。続いて、ユーザーによって左画像上で計測点の位置が指定されると、対応点算出部４３は、マッチングを行い、計測点に対応する右画像上の対応点の２次元座標を算出し、指標値算出部４５は、対応点の２次元座標に基づいて、ステレオアダプターと挿入部２０との位置関係を示す指標値を算出する（ステップＳ３）。

【0048】

続いて、判定部４６は、ステレオアダプターと挿入部２０との位置関係に所定の変化が生じているか否か、すなわちステレオアダプターに緩みが生じているか否かを指標値に基づいて判定する（ステップＳ４）。ステレオアダプターと挿入部２０との位置関係の変化は、所定の基準状態における位置関係からの変化を指す。所定の基準状態は、ステレオアダプターが挿入部２０に緩みなく装着された理想的な状態である。

【0049】

ステレオアダプターに緩みが生じていると判定された場合、対応点の位置の確認をユーザーに要求するためのメッセージがモニタ４に表示される（ステップＳ５）。マッチングの結果を利用して算出した指標値に基づいてステレオアダプターの緩みを判定する場合、実際にはステレオアダプターに緩みが生じていないにもかかわらず、画像のテクスチャが不適切であることが原因で、探索範囲内から、計測点に対応する真の対応点と異なる偽の対応点が検出される誤対応が発生し、ステレオアダプターに緩みが生じていると判定されることがある。このため、本実施形態では、対応点の位置が妥当であるか否かの確認が行われる。

【0050】

図５は、ステップＳ５でモニタ４に表示されるメッセージの一例である。例えば、図５（ａ）のようにステレオアダプターに緩みが生じていることを伝えるメッセージＭ１が表示された後、図５（ｂ）のようにマッチングが正確に行われたか否かの確認を促すメッセージＭ２が表示される。

【0051】

メッセージの表示後、ユーザーは画像上の対応点の位置を確認する。図６は、ユーザーが対応点の位置を確認するときにモニタ４に表示される画像の一例である。左画像Ｌ１上の計測点の位置にマークＭＡ１が表示されると共に、右画像Ｒ１上の対応点の位置にマークＭＡ２が表示される。図６（ａ）のように計測点と対応点が被写体上のほぼ同様の位置にある場合、誤対応は発生していないので、対応点の位置が妥当であると判断される。また、図６（ｂ）のように計測点と対応点が被写体上の異なる位置にある場合、誤対応が発生しているので、対応点の位置が妥当でないと判断される。ユーザーが対応点の位置を確認するときには、図５に示したメッセージは非表示となるか、ユーザーが対応点の位置を確認するのを妨げない位置に表示される。

【0052】

ユーザーは、操作部６を操作し、対応点の位置を確認した結果、すなわち対応点の位置が妥当か否かを判断した結果を入力する（ステップＳ６）。画像のテクスチャが不適切であることによる誤対応が発生しており、対応点の位置が妥当でないと判断された場合には、ステレオアダプターと挿入部２０との位置関係が正しく検出されていないので、計測用のパラメータを補正すると計測精度が低下する可能性がある。この場合、ステレオアダプターと挿入部２０との位置関係を再度検出するために、計測点の変更をユーザーに要求するためのメッセージがモニタ４に表示される（ステップＳ７）。図７は、ステップＳ７でモニタ４に表示されるメッセージの一例である。例えば、図７（ａ）のように計測点の変更を促すメッセージＭ３が表示される。メッセージの表示後、再度ステップＳ３で計測点が指定され、指標値が算出される。部分的な画像のテクスチャが不適切であることによる誤対応が発生している場合には、計測点を変更することで、誤対応が発生しにくくなると考えられる。

【0053】

図４では、対応点の位置が妥当でないと判断された場合、計測点の変更が行われるが、対応点の位置が妥当でないと判断された場合に画像の撮影が再度行われるようにしてもよい。例えば、図７（ｂ）のように画像の再撮影を促すメッセージＭ４がステップＳ７で表示された後、処理がステップＳ１に戻り、モニタ４に動画像が表示されるようにしてもよい。画像全体のテクスチャが不適切であることによる誤対応が発生している場合には、画像を変更することで、誤対応が発生しにくくなると考えられる。

【0054】

あるいは、対応点の位置が妥当でないと判断された場合にステレオアダプターの装着をやり直すようにしてもよい。例えば、図７（ｃ）のようにステレオアダプターの装着のやり直しを促すメッセージＭ５がステップＳ７で表示された後、ユーザーによって挿入部２０が検査対象物から引き抜かれ、ステレオアダプターの装着がやり直された後、挿入部２０が検査対象物に挿入される。この後、ステップＳ１からの処理が再度行われる。ステレオアダプターが大きく緩んでいることによる誤対応が発生している場合には、ステレオアダプターの装着をやり直すことで、誤対応が発生しにくくなると考えられる。

【0055】

一方、対応点の位置が妥当であると判断された場合、補正部４７は、計測精度の低下を防止するため、ステレオアダプターの緩みの度合いに応じて計測用のパラメータを補正する（ステップＳ８）。計測用のパラメータの補正後、計測処理部４４は、前述したステップＳ３における計測点および対応点の２次元座標に基づいて実空間上の３次元座標を算出する（ステップＳ９）。その後、計測点の指定が終了したか否かが判定され（ステップＳ１０）、計測点の指定が終了していない場合には、再度ステップＳ３で計測点が指定され、指標値が算出される。

【0056】

また、計測点の指定が終了した場合には、計測処理部４４は、指定された計測点に基づく３次元座標に基づいて被写体の実空間上の長さ等を算出する（ステップＳ１１）。続いて、ステップＳ１１で算出された長さ等の計測結果がモニタ４に表示され（ステップＳ１２）、計測の処理が終了する。また、ステップＳ４でステレオアダプターに緩みが生じていないと判定された場合、計測処理部４４は、計測用のパラメータの補正を行わずに、ステップＳ１１で被写体の実空間上の長さ等を算出する。

【0057】

上記のように、ステレオアダプターと挿入部２０との位置関係に変化が生じ、ステレオアダプターに緩みが生じていると判定された（ステップＳ４）場合に、対応点の位置の確認がユーザーに要求され（ステップＳ５）、対応点の位置が妥当であるとユーザーが判断した（ステップＳ６）場合のみ、計測用のパラメータが補正される（ステップＳ８）。これによって、ステレオアダプターと挿入部２０との位置関係に変化が生じている場合に計測用のパラメータを補正しつつ、誤対応が発生した場合に計測用のパラメータが補正されることを回避することが可能となるので、計測精度の低下を低減することができる。また、ステレオアダプターに緩みが生じていないと判定された（ステップＳ４）場合には、対応点の位置の確認をユーザーに要求する処理や、計測用のパラメータを補正する処理を省くことができる。

【0058】

マッチングを行う際の対応点の探索範囲はエピポーララインを基準に設定されるため、計測用のパラメータをエピポーララインの式としている本実施形態では、計測用のパラメータが補正されると、ステレオアダプターの緩みを考慮してマッチングが行われるようになる。このため、マッチングの結果を利用して算出した指標値に基づいてステレオアダプターの緩みを検出する場合、ステレオアダプターの緩みが生じていないと判定されやすくなるので、ユーザーが対応点の位置を確認する手間が発生しにくくなる。

【0059】

図４では、計測点が指定されるごとにステップＳ４の判定が行われているが、例えば計測点が２点、５点等の複数点指定されたらステップＳ４の判定が行われるようにしてもよい。

【0060】

次に、内視鏡装置１の詳細な動作を説明する。以下では第１〜第６の動作例を説明する。

【0061】

（第１の動作例）
図８および図９は、第１の動作例における内視鏡装置１の動作の手順を示している。ステレオアダプターが装着された挿入部２０が検査対象物に挿入され、環境データがメモリカード３２からＲＡＭ１４に読み込まれた後、被写体の観察が開始される。

【0062】

被写体の観察が開始されると、被写体を撮像した動画像（ライブ画像）がモニタ４に表示される（ステップＳ１００）。ユーザーが計測したい被写体が見つかった場合、静止画像の画像データがＲＡＭ１４に保存される（ステップＳ１０１）。

【0063】

より具体的には、ステップＳ１０１では、ユーザーによって操作部６が操作され、静止画像を保存する指示が入力されると、操作検出部４２はこの指示を検出し、制御部４９に指示を通知する。制御部４９は、この指示に基づいて、映像信号生成部４１で生成された映像信号を構成する画像データを取り込み、ＲＡＭ１４に保存する。このとき、制御部４９が取り込んだ画像データと同じ画像データに基づく画像がモニタ４に表示され、以後は、映像の同期信号に基づくタイミングで、同じ画像データに基づいて画像の表示が更新される。

【0064】

画像データがＲＡＭ１４に保存された後、ユーザーによって左画像上で計測点の位置が指定される（ステップＳ１０２）。より具体的には、ステップＳ１０２では、ユーザーによって操作部６が操作され、左画像上の計測点の位置を指定する指示が入力されると、操作検出部４２はこの指示を検出して計測点の２次元座標を算出し、制御部４９に計測点の２次元座標を通知する。制御部４９は対応点算出部４３に計測点の２次元座標を通知する。

【0065】

計測点の位置が指定された後、対応点算出部４３は対応点の探索範囲を設定してマッチングを行い、計測点に対応する右画像上の対応点の２次元座標を算出し、指標値算出部４５に対応点の２次元座標を通知する（ステップＳ１０３）。対応点算出部４３がマッチングを行う際の対応点の探索範囲は以下のようにして決定される。対応点算出部４３は、環境データ内の複数のパラメータを用いて、エピポーララインの式を算出する。エピポーララインの式は一般的な一次関数「y=ax+b」で表せる（aは傾き、bは切片）。対応点算出部４３は、計測点の２次元座標と環境データ内の複数のパラメータにより、a，bの値を決定する。対応点算出部４３は、生成したエピポーララインの式を用いて探索範囲を決定する。エピポーララインの式を構成するa，bの値は指標値算出部４５に通知される。

【0066】

指標値算出部４５は、対応点の２次元座標とエピポーララインの式に基づいて、対応点とエピポーララインのずれ量を算出し、判定部４６にずれ量を通知する（ステップＳ１０４）。図１０に示すように、対応点Ｐ１とエピポーララインＥＬ１のずれ量は、エピポーララインＥＬ１上で対応点Ｐ１とx座標が等しい点のy座標と対応点Ｐ１のy座標との差Ｄ１である。判定部４６は、対応点とエピポーララインのずれ量が所定値以上であるか否かを判定し、判定結果を制御部４９に通知する（ステップＳ１０５）。

【0067】

対応点とエピポーララインのずれ量が所定値以上である場合、ステレオアダプターに緩みが生じている可能性がある。対応点とエピポーララインのずれ量が所定値以上である場合、対応点の位置の確認をユーザーに要求するためのメッセージがモニタ４に表示される（ステップＳ１０６）。より具体的には、ステップＳ１０６では、制御部４９は、対応点の位置の確認をユーザーに要求するためのメッセージの生成をグラフィック画像生成部４８に指示する。グラフィック画像生成部４８は、メッセージを含むグラフィック画像信号を生成し、表示信号生成部５０に出力する。表示信号生成部５０は、制御部４９が取り込んだ画像データと同じ画像データと、グラフィック画像生成部４８によって生成されたグラフィック画像信号とを合成し、表示信号を生成する。モニタ４は、この表示信号に基づいて、メッセージが重畳された画像を表示する。

【0068】

ユーザーは、操作部６を操作し、対応点の位置を確認した結果、すなわち対応点の位置が妥当か否かを判断した結果を入力する（ステップＳ１０７）。より具体的には、ステップＳ１０７では、ユーザーによって操作部６が操作され、判断結果が入力されると、操作検出部４２はこの判断結果を検出し、制御部４９に判断結果を通知する。制御部４９は、判断結果に基づいて、以降の処理を決定する。

【0069】

ステップＳ１０７でモニタ４に表示されている画像には、図６に示したように、計測点および対応点の位置を示すマークが重畳されている。この画像は、以下のようにして表示される。制御部４９は、対応点算出部４３が算出した計測点および対応点の２次元座標を取得し、グラフィック画像生成部４８に通知する。グラフィック画像生成部４８は、計測点および対応点の位置を示すマークを含むグラフィック画像信号を生成し、表示信号生成部５０に出力する。これ以降は、前述した処理と同様の処理が行われ、モニタ４に画像が表示される。

【0070】

画像のテクスチャが不適切であることによる誤対応が発生しており、対応点の位置が妥当でないと判断された場合には、ステレオアダプターと挿入部２０との位置関係が正しく検出されていないので、計測用のパラメータを補正すると計測精度が低下する可能性がある。この場合、以下のように、探索範囲を変更してマッチングが再度行われ、誤対応が発生していないことが確認されてから、計測用のパラメータが補正される。

【0071】

対応点の位置が妥当でないと判定された場合、制御部４９は対応点算出部４３にマッチングの実行を指示する。対応点算出部４３は、探索範囲を拡大し（ステップＳ１０８）、マッチングを行う（ステップＳ１０９）。図１１は、ステップＳ１０９のマッチングにおける探索範囲を示している。拡大される前の探索範囲Ａ１（第１の処理条件）がy方向に拡大され、探索範囲Ａ２（第２の処理条件）となる。ステップＳ１０９のマッチングでは、ステップＳ１０２で指定された計測点に対応する右画像上の対応点の２次元座標が算出され、指標値算出部４５に対応点の２次元座標が通知される。この後、処理がステップＳ１０３に戻ってマッチングが行われる際の探索範囲は、拡大される前の探索範囲となる。

【0072】

続いて、対応点の位置の確認をユーザーに要求するためのメッセージがモニタ４に表示される（ステップＳ１１０）。ステップＳ１１０で行われる処理は、ステップＳ１０６で行われる処理と同様である。ユーザーは、操作部６を操作し、対応点の位置を確認した結果、すなわち対応点の位置が妥当か否かを判断した結果を入力する（ステップＳ１１１）。ステップＳ１１１で行われる処理は、ステップＳ１０７で行われる処理と同様である。

【0073】

画像のテクスチャが不適切であることによる誤対応が発生しており、対応点の位置が妥当でないと判断された場合には、ステレオアダプターと挿入部２０との位置関係が正しく検出されていないので、計測用のパラメータを補正すると計測精度が低下する可能性がある。この場合、ステレオアダプターと挿入部２０との位置関係を再度検出するために、計測点の変更をユーザーに要求するためのメッセージがモニタ４に表示される（ステップＳ１１２）。ステップＳ１１２で行われる処理は、ステップＳ１０６で行われる処理と同様である。メッセージの表示後、再度ステップＳ１０２で計測点が指定される。

【0074】

図８および図９では、ステップＳ１１１で対応点の位置が妥当でないと判断された場合、計測点の変更が行われるが、前述したように、画像の撮影が再度行われるようにしたり、ステレオアダプターの装着をやり直したりするようにしてもよい。例えば、画像の再撮影を促すメッセージがステップＳ１１２で表示された後、処理がステップＳ１００に戻り、モニタ４に動画像が表示される。あるいは、ステレオアダプターの装着のやり直しを促すメッセージがステップＳ１１２で表示された後、ユーザーによって挿入部２０が検査対象物から引き抜かれ、ステレオアダプターの装着がやり直された後、挿入部２０が検査対象物に挿入される。この後、ステップＳ１００からの処理が再度行われる。

【0075】

一方、ステップＳ１１１で対応点の位置が妥当であると判断された場合、指標値算出部４５は、ステップＳ１０９で再度算出された対応点の２次元座標とエピポーララインの式に基づいて、対応点とエピポーララインのずれ量を算出し、制御部４９を介して補正部４７にずれ量を通知する（ステップＳ１１３）。ステップＳ１１３でずれ量を算出する処理は、ステップＳ１０４でずれ量を算出する処理と同様である。

【0076】

続いて、補正部４７は、計測精度の低下を防止するため、対応点とエピポーララインのずれ量に応じてエピポーララインの式を補正する（ステップＳ１１４）。ステップＳ１１４では、エピポーララインの式の切片bの値に対してずれ量を加算または減算することにより、エピポーララインの式が補正される。また、ステップＳ１０７で対応点の位置が妥当であると判断された場合も、補正部４７はステップＳ１１４でエピポーララインの式を補正する。

【0077】

エピポーララインの式の補正後、計測処理部４４は、ステップＳ１０９における計測点および対応点の２次元座標に基づいて実空間上の３次元座標を算出する（ステップＳ１１６）。その後、計測点の指定が終了したか否かが判定され（ステップＳ１１７）、計測点の指定が終了していない場合には、再度ステップＳ１０３で計測点が指定される。

【0078】

また、計測点の指定が終了した場合には、計測処理部４４は、指定された計測点に基づく３次元座標に基づいて被写体の実空間上の長さ等を算出する（ステップＳ１１８）。続いて、ステップＳ１１８で算出された長さ等の計測結果がモニタ４に表示され（ステップＳ１１９）、計測の処理が終了する。また、ステップＳ１０５でずれ量が所定値未満である場合、計測処理部４４はステップＳ１１６で３次元座標を算出する。

【0079】

上記のように、ステレオアダプターと挿入部２０との位置関係に変化が生じ、対応点とエピポーララインのずれ量が所定値以上であると判定された（ステップＳ１０５）場合に、対応点の位置の確認がユーザーに要求され（ステップＳ１０６，Ｓ１１０）、対応点の位置が妥当であるとユーザーが判断した（ステップＳ１０７，Ｓ１１１）場合のみ、エピポーララインの式が補正される（ステップＳ１１４）。これによって、ステレオアダプターと挿入部２０との位置関係に変化が生じている場合にエピポーララインの式を補正しつつ、誤対応が発生した場合にエピポーララインの式が補正されることを回避することが可能となるので、計測精度の低下を低減することができる。また、対応点とエピポーララインのずれ量が所定値未満であると判定された（ステップＳ１０５）場合には、対応点の位置の確認をユーザーに要求する処理や、エピポーララインの式を補正する処理を省くことができる。

【0080】

また、対応点の位置が妥当でないとユーザーが判断した（ステップＳ１０７）場合に探索範囲を広げて再度マッチングを行い（ステップＳ１０９）、対応点の位置の確認をユーザーに再度要求する（ステップＳ１１０）ことによって、誤対応の発生を低減することができる。

【0081】

（第２の動作例）
図１２および図９は、第２の動作例における内視鏡装置１の動作の手順を示している。図９に示す動作は第１の動作例と共通である。第１の動作例では、ステレオアダプターに緩みが生じている場合でも、マッチングにより偽の対応点が検出され、その偽の対応点が偶然エピポーララインの近傍に存在していると、ステレオアダプターに緩みが生じていることを検出することができない。このため、第２の動作例では、ステレオアダプターと挿入部２０との位置関係を示す指標値として、対応点とエピポーララインのずれ量と、左右の画像の相関を示す相関値との両方を使用する。

【0082】

ステップＳ１０３では、対応点算出部４３は、左画像上の計測点の位置を基準とするパターンエリアの画像と、右画像上の探索範囲のうちパターンエリアと同じサイズの画像との間で、探索範囲内で画像の位置をずらしながら各位置で、公知の正規化相互相関によるマッチングを行う。このマッチングに利用する正規化相互相関関数Ｍ（ｕ，ｖ）には、一般的に以下の式を用いる。すなわち、ｔ（ｘ，ｙ）をテンプレートとし、ｇ（ｘ，ｙ）を画像データとし、ｔ’をテンプレートの平均輝度とし、さらに、ｇ’を画像の平均輝度として、以下の（４）式が適用される。ここでΣΣ_Ｓは画素の和をとることを表す。
Ｍ（ｕ，ｖ）＝｛ΣΣ_Ｓ（ｇ（ｘ＋ｕ，ｙ＋ｖ）−ｇ’）（ｔ（ｘ，ｙ）−ｔ’）｝／｛ΣΣ_Ｓ（ｇ（ｘ＋ｕ，ｙ＋ｖ）−ｇ’）^２×ΣΣ_Ｓ（ｔ（ｘ，ｙ）−ｔ’）^２｝^１／２ ・・・（４）

【0083】

最も正規化相互相関係数が大きくなる座標（Ｘ，Ｙ）が対応点の２次元座標であり、正規化相互相関係数の最大値（−１〜１のいずれかの値）が本実施形態の相関値である。本実施形態の対応点算出部４３は、本発明の内視鏡装置における対応点算出部と指標値算出部の両方に対応する。対応点算出部４３が算出した相関値は判定部４６に通知される。

【0084】

ステップＳ１０５で対応点とエピポーララインのずれ量が所定値未満である場合、判定部４６は、相関値が所定値以上であるか否かを判定する（ステップＳ１２０）。相関値が所定値未満である場合、ステレオアダプターに緩みが生じている可能性があるため、ステップＳ１０６で対応点の位置の確認をユーザーに要求するためのメッセージがモニタ４に表示される。また、相関値が所定値以上である場合、計測処理部４４はステップＳ１１６で３次元座標を算出する。

【0085】

上記のように、対応点とエピポーララインのずれ量が所定値未満であると判定された（ステップＳ１０５）場合に、相関値が所定値以上であるか否かが判定され（ステップＳ１２０）、相関値が所定値以下である場合に、ステレオアダプターに緩みが生じていると判定され、対応点の位置の確認がユーザーに要求される（ステップＳ１０６）。これによって、ステレオアダプターに緩みが生じているか否かの判定の精度を向上させることができる。

【0086】

上記では正規化相互相関係数に基づく相関値を用いて、ステレオアダプターに緩みが生じているか否かを判定しているが、画像のコントラスト値を用いて同様の判定を行ってもよい。

【0087】

（第３の動作例）
第３の動作例では、ステップＳ１０８，Ｓ１０９，Ｓ１１１で行われる処理が、第１の動作例の各ステップで行われる処理と異なる。ステップＳ１０８では、ステップＳ１０３で設定される探索範囲よりも広い範囲に対して複数の探索範囲が設定される。図１３は、ステップＳ１０８で設定される探索範囲の一例を示している。図１３に示す例では、５つの探索範囲Ａ１０〜Ａ１４が設定される。設定される探索範囲の数は複数であればよい。ステップＳ１０９では、ステップＳ１０８で設定された探索範囲毎にマッチングが行われる。

【0088】

ステップＳ１１１では、探索範囲毎のマッチングで求められた各対応点の位置を示すマークが重畳された画像が表示される。つまり、モニタ４に表示される画像には複数のマークが表示される。ユーザーは、操作部６を操作し、最も正確な（妥当な）対応点を選択した結果を入力する。また、全ての対応点が正確でないと判断される場合、ユーザーは、操作部６を操作し、その旨を示す情報を入力する。

【0089】

全ての対応点が正確でないと判断された場合、ステップＳ１１２で計測点の変更をユーザーに要求するためのメッセージがモニタ４に表示される。また、最も正確な対応点が選択された場合、ステップＳ１１３でエピポーララインと、選択された対応点とのずれ量が算出される。

【0090】

上記のように、複数の探索範囲でマッチングを行うと、第１の動作例にように探索範囲を広げてマッチングを行うことと比較して、より正確な対応点が求まる場合がある。例えば、ステップＳ１０３で設定される探索範囲の外に、真の対応点と、真の対応点で得られる相関値よりも高い相関値が得られる偽の対応点とが存在している場合に、第１の動作例のように単純に探索範囲を広げてマッチングを行うと、偽の対応点が検出される場合がある。しかし、上記のように複数の探索範囲を設定した場合に、真の対応点と偽の対応点とが異なる探索範囲内に存在していれば、それぞれが別々に検出され、ユーザーによって真の対応点が選択される。したがって、より正確な対応点をユーザーが選択することができる。

【0091】

（第４の動作例）
図１４および図９は、第４の動作例における内視鏡装置１の動作の手順を示している。図９に示す動作は第１の動作例と共通である。図１４に示す動作では、図８に示す動作と比較して、ステップＳ１３０〜Ｓ１３３の処理が追加されている点が異なる。ステップＳ１０１で画像データがＲＡＭ１４に保存された後、判定部４６は、以後の判定で使用する変数ｉの値を０に初期化する（ステップＳ１３０）。続いて、ステップＳ１０２で計測点の位置が指定される。

【0092】

ステップＳ１０５で対応点とエピポーララインのずれ量が所定値以上であると判定された場合、判定部４６は変数ｉの値を１増加する（ステップＳ１３１）。また、ステップＳ１０５で対応点とエピポーララインのずれ量が所定値未満であると判定された場合、判定部４６は変数ｉの値を０に初期化する（ステップＳ１３２）。ステップＳ１３２で変数ｉの値が０に初期化された後、計測処理部４４はステップＳ１１６で３次元座標を算出する。

【0093】

ステップＳ１３１で変数ｉの値が１増加された後、判定部４６は、変数ｉの値が所定値（２以上の整数）以上であるか否かを判定する（ステップＳ１３３）。変数ｉの値が所定値以上である場合、ステップＳ１０６で対応点の位置の確認をユーザーに要求するためのメッセージがモニタ４に表示される。また、変数ｉの値が所定値未満である場合、計測処理部４４はステップＳ１１６で３次元座標を算出する。

【0094】

上記の処理では、所定回数連続で計測点が指定され（ステップＳ１０２）、それらの計測点に対応する対応点とエピポーララインのずれ量が全て所定値以上であると判定された（ステップＳ１０５）場合に、変数ｉの値が所定値以上となり、ステレオアダプターに緩みが生じていると判定され（ステップＳ１３３）、対応点の位置の確認がユーザーに要求される（ステップＳ１０６）。このように、対応点とエピポーララインのずれ量が所定値以上であることが所定回数続く場合には、ステレオアダプターに緩みが生じていると判定される。

【0095】

また、対応点とエピポーララインのずれ量が所定値未満であると判定される（ステップＳ１０５）と、変数ｉの値が０に初期化される（ステップＳ１３２）。したがって、対応点とエピポーララインのずれ量が所定値以上であることが所定回数続かない場合には、仮にずれ量が一定値以上であっても、その原因はステレオアダプターの緩みではなく、部分的な画像のテクスチャが不適切であることによる誤対応であると考えられるため、エピポーララインの式の補正は行われない。これによって、エピポーララインの式が誤って補正されることを回避することができる。この場合、計測結果の信頼性が低いことをユーザーに通知してもよい。

【0096】

（第５の動作例）
第５の動作例は第４の動作例の変形である。図１５および図９は、第５の動作例における内視鏡装置１の動作の手順を示している。図９に示す動作は第１の動作例と共通である。図１５に示す動作では、図１４に示す動作と比較して、ステップＳ１０３のマッチング時に相関値が算出され、ステップＳ１０４の処理が削除され、ステップＳ１０５の処理がステップＳ１４０の処理に変更されている点が異なる。

【0097】

ステップＳ１０３の処理が行われた後、判定部４６は、相関値が所定値以下であるか否かを判定する（ステップＳ１４０）。相関値が所定値以下である場合、判定部４６は変数ｉの値を１増加する（ステップＳ１３１）。また、相関値が所定値を超えている場合、判定部４６は変数ｉの値を０に初期化する（ステップＳ１３２）。

【0098】

上記の処理では、所定回数連続で計測点が指定され（ステップＳ１０２）、それらの計測点に対応する対応点を算出したときの相関値が全て所定値以下であると判定された（ステップＳ１４０）場合に、変数ｉの値が所定値以上となり、ステレオアダプターに緩みが生じていると判定され（ステップＳ１３３）、対応点の位置の確認がユーザーに要求される（ステップＳ１０６）。このように、相関値が所定値以下であることが所定回数続く場合には、ステレオアダプターに緩みが生じていると判定される。

【0099】

また、相関値が所定値を超えていると判定される（ステップＳ１４０）と、変数ｉの値が０に初期化される（ステップＳ１３３）。したがって、相関値が所定値以下であることが所定回数続かない場合には、仮に相関値が一定値以下であっても、その原因はステレオアダプターの緩みではなく、部分的な画像のテクスチャが不適切であることであると考えられるため、エピポーララインの式の補正は行われない。これによって、エピポーララインの式が誤って補正されることを回避することができる。この場合、計測結果の信頼性が低いことをユーザーに通知してもよい。

【0100】

（第６の動作例）
第６の動作例は第４の動作例および第５の動作例の変形である。図１６および図９は、第６の動作例における内視鏡装置１の動作の手順を示している。図９に示す動作は第１の動作例と共通である。図１６に示す動作では、図１４に示す動作と比較して、ステップＳ１０３のマッチング時に相関値が算出され、ステップＳ１０５の処理がステップＳ１５０の処理に変更されている点が異なる。

【0101】

ステップＳ１０４の処理が行われた後、判定部４６は、対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下であるか否かを判定する（ステップＳ１５０）。対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下である場合、判定部４６は変数ｉの値を１増加する（ステップＳ１３１）。また、対応点とエピポーララインのずれ量が所定値未満であるか、対応点の位置を算出したときの相関値が所定値を超えている場合、判定部４６は変数ｉの値を０に初期化する（ステップＳ１３２）。

【0102】

上記の処理では、所定回数連続で計測点が指定され（ステップＳ１０２）、それらの計測点に対応する対応点とエピポーララインのずれ量が全て所定値以上であり、対応点を算出したときの相関値が全て所定値以下であると判定された（ステップＳ１５０）場合に、変数ｉの値が所定値以上となり、ステレオアダプターに緩みが生じていると判定され（ステップＳ１３３）、対応点の位置の確認がユーザーに要求される（ステップＳ１０６）。このように、対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下であることが所定回数続く場合には、ステレオアダプターに緩みが生じていると判定される。

【0103】

また、対応点とエピポーララインのずれ量が所定値未満であるか相関値が所定値を超えていると判定される（ステップＳ１５０）と、変数ｉの値が０に初期化される（ステップＳ１３３）。したがって、対応点とエピポーララインのずれ量が所定値以上かつ相関値が所定値以下であることが所定回数続かない場合には、仮に対応点とエピポーララインのずれ量が所定値以上かつ相関値が一定値以下であっても、その原因はステレオアダプターの緩みではなく、部分的な画像のテクスチャが不適切であることであると考えられるため、エピポーララインの式の補正は行われない。これによって、エピポーララインの式が誤って補正されることを回避することができる。この場合、計測結果の信頼性が低いことをユーザーに通知してもよい。

【0104】

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0105】

１・・・内視鏡装置、２・・・内視鏡ユニット、３・・・装置本体、４・・・モニタ、５・・・筐体、６・・・操作部、８・・・内視鏡ユニット、９・・・ＣＣＵ、１０・・・制御ユニット、１２・・・映像信号処理回路、１３・・・ＲＯＭ、１４・・・ＲＡＭ、１８・・・ＣＰＵ、２８・・・撮像素子、４１・・・映像信号生成部、４２・・・操作検出部、４３・・・対応点算出部、４４・・・計測処理部、４５・・・指標値算出部、４６・・・判定部、４７・・・補正部、４８・・・グラフィック画像生成部、４９・・・制御部、５０・・・表示信号生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】