特許 7049220 画像取得装置および画像取得装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-29

(45)【発行日】2022-04-06

(54)【発明の名称】画像取得装置および画像取得装置の作動方法

(51)【国際特許分類】

   G02B 23/24 20060101AFI20220330BHJP

   A61B 1/00 20060101ALI20220330BHJP

   A61B 1/045 20060101ALI20220330BHJP

   G06T 7/579 20170101ALI20220330BHJP

   H04N 7/18 20060101ALI20220330BHJP

【ＦＩ】

G02B23/24 B

A61B1/00 522

A61B1/045 610

A61B1/045 650

G06T7/579

H04N7/18 M

【請求項の数】 15

(21)【出願番号】P 2018161521

(22)【出願日】2018-08-30

(65)【公開番号】P2020034743

(43)【公開日】2020-03-05

【審査請求日】2021-03-12

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100094400

【氏名又は名称】鈴木 三義

(74)【代理人】

【識別番号】100086379

【弁理士】

【氏名又は名称】高柴 忠夫

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(72)【発明者】

【氏名】坂本 陽平

【審査官】森内 正明

(56)【参考文献】

【文献】国際公開第２０１６／２０８６６４（ＷＯ，Ａ１）

【文献】特開平６－７２８９（ＪＰ，Ａ）

【文献】特開２０１４－２３２２２２（ＪＰ，Ａ）

【文献】特開２０１２－７０９３６（ＪＰ，Ａ）

【文献】欧州特許出願公開第３１９３１３６（ＥＰ，Ａ１）

【文献】国際公開第２０１７／１１９３５１（ＷＯ，Ａ１）

【文献】特開２０１３－２５２２６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４ － ２３／２６

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像視野内の被写体の光学像に基づいて画像を生成する撮像部と、
前記撮像視野を変更する視野変更部と、
前記撮像視野を変更させる方向をユーザーから受け付ける操作部と、
制御部と、
を有する画像取得装置であって、
前記被写体の３次元形状の復元に使用される前記画像を取得するための画像取得モードが前記画像取得装置に設定された場合、前記制御部は、前記操作部によって受け付けられた前記方向を認識し、
前記制御部は、前記画像取得モードにおける画像取得条件を規定する第１の情報および第２の情報を記憶媒体から読み出し、前記第１の情報は、前記撮像視野を変更させる速さまたは前記撮像視野を変更させる距離を示し、前記第２の情報は、前記３次元形状の復元に使用される前記画像を取得するタイミングを示し、
前記制御部は、前記視野変更部に、認識された前記方向に前記第１の情報が示す前記速さで前記撮像視野を変更させ、または認識された前記方向に前記第１の情報が示す前記距離だけ前記撮像視野を変更させ、
前記制御部は、前記第２の情報が示す前記タイミングで少なくとも２枚の前記画像を前記撮像部から取得し、
前記制御部は、前記撮像部から取得された前記画像を使用して前記３次元形状を復元する
ことを特徴とする画像取得装置。

【請求項2】

前記撮像部から取得された前記画像は、１枚の第１の画像と、少なくとも１枚の第２の画像とを含み、
前記制御部は、前記第１の画像と前記第２の画像との間で重なる領域を検出し、
前記制御部は、前記第１の画像を処理することにより、前記第１の画像における前記領域を視認可能にし、
前記制御部は、処理された前記第１の画像を表示部に表示する
ことを特徴とする請求項１に記載の画像取得装置。

【請求項3】

前記第１の画像が前記表示部に表示された後、前記操作部は、前記３次元形状の復元の実行指示を前記ユーザーから受け付け、
前記操作部が前記実行指示を受け付けた場合、前記制御部は、前記３次元形状を復元する
ことを特徴とする請求項２に記載の画像取得装置。

【請求項4】

前記撮像部から取得された前記画像は、１枚の第１の画像と、少なくとも１枚の第２の画像とを含み、
前記制御部は、前記第１の画像において前記ユーザーによって指定された指定点が前記第２の画像に含まれるか否かを判断し、
前記指定点が前記第２の画像に含まれると前記制御部が判断した場合、前記制御部は、前記３次元形状を復元する
ことを特徴とする請求項１に記載の画像取得装置。

【請求項5】

前記画像取得条件に基づく前記画像の取得が終了した後、前記制御部は、第１の数と第２の数とを比較し、前記第１の数は、前記撮像部から取得された前記画像の枚数を示し、前記第２の数は、前記３次元形状の復元に必要な前記画像の枚数を示し、かつ少なくとも２枚である
ことを特徴とする請求項１に記載の画像取得装置。

【請求項6】

前記第１の数が前記第２の数よりも大きい場合、前記制御部は、前記撮像部から取得された前記画像のうち少なくとも前記第２の数の前記画像を選択し、
前記制御部は、選択された前記画像を使用して前記３次元形状を復元する
ことを特徴とする請求項５に記載の画像取得装置。

【請求項7】

前記制御部は、前記撮像部から取得された前記画像の各々の重なりの度合いに基づいて少なくとも前記第２の数の前記画像を選択する
ことを特徴とする請求項６に記載の画像取得装置。

【請求項8】

前記制御部は、前記撮像部から取得された前記画像のうち最初に取得された前記画像と、前記撮像部から取得された前記画像のうち最後に取得された前記画像とを含む前記第２の数の前記画像を選択する
ことを特徴とする請求項６に記載の画像取得装置。

【請求項9】

前記操作部が前記ユーザーから画像取得終了指示を受け付け、かつ前記第１の数が前記第２の数よりも小さい場合、前記操作部は、前記撮像視野を変更させる第２の方向を前記ユーザーから受け付け、
前記制御部は、前記操作部によって受け付けられた前記第２の方向を認識し、
前記制御部は、前記視野変更部に、認識された前記第２の方向に前記第１の情報が示す前記速さで前記撮像視野を再度変更させ、または認識された前記方向に前記第１の情報が示す前記距離だけ前記撮像視野を再度変更させ、
前記第２の方向に前記撮像視野が変更された後、前記制御部は、前記第２の情報が示す前記タイミングで少なくとも１枚の前記画像を前記撮像部から取得する
ことを特徴とする請求項５に記載の画像取得装置。

【請求項10】

前記操作部が前記ユーザーから画像取得終了指示を受け付け、かつ前記第１の数が前記第２の数よりも小さい場合、前記制御部は、認識された前記方向に基づいて、前記撮像視野を変更させる第２の方向を決定し、
前記制御部は、前記視野変更部に、決定された前記第２の方向に前記第１の情報が示す前記速さで前記撮像視野を再度変更させ、または決定された前記第２の方向に前記第１の情報が示す前記距離だけ前記撮像視野を再度変更させ、
前記第２の方向に前記撮像視野が変更された後、前記制御部は、前記第２の情報が示す前記タイミングで少なくとも１枚の前記画像を前記撮像部から取得する
ことを特徴とする請求項５に記載の画像取得装置。

【請求項11】

前記第１の数が前記第２の数よりも小さい場合、前記制御部は、前記第１の数が前記第２の数に到達していないことを前記ユーザーに通知する
ことを特徴とする請求項５に記載の画像取得装置。

【請求項12】

前記操作部はさらに、前記撮像視野内の位置を前記ユーザーから受け付け、
前記制御部は、前記操作部によって受け付けられた前記位置を認識し、
前記第１の情報は、前記撮像視野を変更させる前記速さを示し、
前記制御部は、前記視野変更部に、前記撮像視野の中心が前記位置と一致するまで、認識された前記方向に前記第１の情報が示す前記速さで前記撮像視野を変更させる
ことを特徴とする請求項１に記載の画像取得装置。

【請求項13】

前記制御部は、前記撮像部から取得された前記画像の少なくとも１枚を表示部に表示し、
前記制御部は、第１の数を計数し、かつ第２の数に対する前記第１の数の割合を示す情報を前記表示部に表示し、前記第１の数は、前記撮像部から取得された前記画像の枚数を示し、前記第２の数は、前記３次元形状の復元に必要な前記画像の枚数を示し、かつ少なくとも２枚である
ことを特徴とする請求項１に記載の画像取得装置。

【請求項14】

前記制御部は、前記撮像部から取得された前記画像の画素数を減らすことによりサムネイル画像を生成し、
前記制御部は、前記サムネイル画像を表示部に表示する
ことを特徴とする請求項１に記載の画像取得装置。

【請求項15】

撮像視野内の被写体の光学像に基づいて画像を生成する撮像部と、
前記撮像視野を変更する視野変更部と、
前記撮像視野を変更させる方向をユーザーから受け付ける操作部と、
制御部と、
を有する画像取得装置の作動方法であって、
前記被写体の３次元形状の復元に使用される前記画像を取得するための画像取得モードが前記画像取得装置に設定された場合、前記制御部が、前記操作部によって受け付けられた前記方向を認識する第１のステップと、
前記制御部が、前記画像取得モードにおける画像取得条件を規定する第１の情報および第２の情報を記憶媒体から読み出し、前記第１の情報は、前記撮像視野を変更させる速さまたは前記撮像視野を変更させる距離を示し、前記第２の情報は、前記３次元形状の復元に使用される前記画像を取得するタイミングを示す第２のステップと、
前記制御部が、前記視野変更部に、認識された前記方向に前記第１の情報が示す前記速さで前記撮像視野を変更させ、または認識された前記方向に前記第１の情報が示す前記距離だけ前記撮像視野を変更させる第３のステップと、
前記制御部が、前記第２の情報が示す前記タイミングで少なくとも２枚の前記画像を前記撮像部から取得する第４のステップと、
前記制御部が、前記撮像部から取得された前記画像を使用して前記３次元形状を復元する第５のステップと、
を有することを特徴とする画像取得装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像取得装置および画像取得装置の作動方法に関する。

【背景技術】

【0002】

ボイラー、タービン、エンジン、およびパイプ等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の欠陥および傷の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能が搭載された内視鏡装置が存在する。

【0003】

以下では、内視鏡装置を使用した検査において、ユーザーが計測を行う手順を簡単に示す。まず、ユーザーは、観察性能の高い単眼の光学アダプターを使用して、被写体内部に欠陥および傷があるか否かを確認する。検査中に欠陥または傷が発見され、かつその欠陥または傷が計測対象であると判断された場合には、ユーザーは光学アダプターを単眼光学アダプターから計測用光学アダプターに交換する。計測用光学アダプターには、ステレオ光学系が搭載されている。ユーザーは、光学アダプターを交換するために、被写体の内部に挿入された内視鏡先端を引き戻す。光学アダプターが単眼光学アダプターから計測用光学アダプターに交換された後、ユーザーは内視鏡先端を被写体の内部に再度挿入する。内視鏡先端が、単眼光学アダプターを使用した観察により発見された欠陥または傷の場所に到達した後、ユーザーは計測を行う。

【0004】

計測を行うためにはこのような手順が必要である。このため、欠陥または傷が発見されてから計測が行われるまでの検査時間が長かった。つまり、検査効率が悪かった。これを解決するために、通常の内視鏡検査で使用される単眼光学アダプターに３次元計測機能を搭載したいという要望があった。単眼光学アダプターを使用して３次元計測を行う技術として、例えば特許文献１に開示されている技術がある。特許文献１に開示されている技術は、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（以下ではＳｆＭと略す）と測距手段とを組み合わせて計測を行う方法を提供する。以下では、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ＭｏｔｉｏｎはＳｆＭと略される。装置は、ＳｆＭの結果を使用して被写体の３次元形状を復元することができる。以下では、ＳｆＭを行うために取得する画像は計測画像と記載される。

【0005】

特許文献１で開示されている技術を使用して、計測画像を取得するためには、複数のカメラ視点のそれぞれから撮影された画像を取得する必要がある。カメラ視点を変更する具体的な方法の１つとして、内視鏡先端の湾曲機能を使用してカメラ視点を変更するという方法が挙げられる。例えば、湾曲機能を使用してカメラ視点を変更し、かつ画像を取得する方法が特許文献２および特許文献３に開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平９－２６５４７号公報

【文献】特開２００６－１８７３８６号公報

【文献】特開２０１４－２３２２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献２および特許文献３に開示されている湾曲制御方法に従って計測画像を取得する場合、計測画像を取得する効率が悪いという問題点がある。以下にその理由を説明する。

【0008】

ＳｆＭを行うためには、装置は、ユーザーが計測対象として認識している領域の画像のみを取得しさえすればよい。そのため、計測対象ではない領域の画像は不要である。特許文献２および特許文献３に開示されている湾曲制御方法では、画像の取得漏れを防ぐために、広い範囲の画像が取得される。特許文献２および特許文献３に開示されている湾曲制御方法がＳｆＭのための画像取得に適用された場合、ユーザーが計測対象として認識している領域以外の領域の画像が取得される。そのため、計測のための画像取得に要する時間が長くなる。

【0009】

本発明は、被写体の３次元形状の復元のための画像を取得する時間を短縮することができる画像取得装置および画像取得装置の作動方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明は、撮像視野内の被写体の光学像に基づいて画像を生成する撮像部と、前記撮像視野を変更する視野変更部と、前記撮像視野を変更させる方向をユーザーから受け付ける操作部と、制御部と、を有する画像取得装置であって、前記被写体の３次元形状の復元に使用される前記画像を取得するための画像取得モードが前記画像取得装置に設定された場合、前記制御部は、前記操作部によって受け付けられた前記方向を認識し、前記制御部は、前記画像取得モードにおける画像取得条件を規定する第１の情報および第２の情報を記憶媒体から読み出し、前記第１の情報は、前記撮像視野を変更させる速さまたは前記撮像視野を変更させる距離を示し、前記第２の情報は、前記３次元形状の復元に使用される前記画像を取得するタイミングを示し、前記制御部は、前記視野変更部に、認識された前記方向に前記第１の情報が示す前記速さで前記撮像視野を変更させ、または認識された前記方向に前記第１の情報が示す前記距離だけ前記撮像視野を変更させ、前記制御部は、前記第２の情報が示す前記タイミングで少なくとも２枚の前記画像を前記撮像部から取得し、前記制御部は、前記撮像部から取得された前記画像を使用して前記３次元形状を復元することを特徴とする画像取得装置である。

【0011】

本発明の画像取得装置において、前記撮像部から取得された前記画像は、１枚の第１の画像と、少なくとも１枚の第２の画像とを含み、前記制御部は、前記第１の画像と前記第２の画像との間で重なる領域を検出し、前記制御部は、前記第１の画像を処理することにより、前記第１の画像における前記領域を視認可能にし、前記制御部は、処理された前記第１の画像を表示部に表示することを特徴とする。

【0012】

本発明の画像取得装置において、前記第１の画像が前記表示部に表示された後、前記操作部は、前記３次元形状の復元の実行指示を前記ユーザーから受け付け、前記操作部が前記実行指示を受け付けた場合、前記制御部は、前記３次元形状を復元することを特徴とする。

【0013】

本発明の画像取得装置において、前記撮像部から取得された前記画像は、１枚の第１の画像と、少なくとも１枚の第２の画像とを含み、前記制御部は、前記第１の画像において前記ユーザーによって指定された指定点が前記第２の画像に含まれるか否かを判断し、前記指定点が前記第２の画像に含まれると前記制御部が判断した場合、前記制御部は、前記３次元形状を復元することを特徴とする。

【0014】

本発明の画像取得装置において、前記画像取得条件に基づく前記画像の取得が終了した後、前記制御部は、第１の数と第２の数とを比較し、前記第１の数は、前記撮像部から取得された前記画像の枚数を示し、前記第２の数は、前記３次元形状の復元に必要な前記画像の枚数を示し、かつ少なくとも２枚であることを特徴とする。

【0015】

本発明の画像取得装置において、前記第１の数が前記第２の数よりも大きい場合、前記制御部は、前記撮像部から取得された前記画像のうち少なくとも前記第２の数の前記画像を選択し、前記制御部は、選択された前記画像を使用して前記３次元形状を復元することを特徴とする。

【0016】

本発明の画像取得装置において、前記制御部は、前記撮像部から取得された前記画像の各々の重なりの度合いに基づいて少なくとも前記第２の数の前記画像を選択することを特徴とする。

【0017】

本発明の画像取得装置において、前記制御部は、前記撮像部から取得された前記画像のうち最初に取得された前記画像と、前記撮像部から取得された前記画像のうち最後に取得された前記画像とを含む前記第２の数の前記画像を選択することを特徴とする。

【0018】

本発明の画像取得装置において、前記操作部が画像取得終了指示を前記ユーザーから受け付け、かつ前記第１の数が前記第２の数よりも小さい場合、前記操作部は、前記撮像視野を変更させる第２の方向を前記ユーザーから受け付け、前記制御部は、前記操作部によって受け付けられた前記第２の方向を認識し、前記制御部は、前記視野変更部に、認識された前記第２の方向に前記第１の情報が示す前記速さで前記撮像視野を再度変更させ、または認識された前記方向に前記第１の情報が示す前記距離だけ前記撮像視野を再度変更させ、前記第２の方向に前記撮像視野が変更された後、前記制御部は、前記第２の情報が示す前記タイミングで少なくとも１枚の前記画像を前記撮像部から取得することを特徴とする。

【0019】

本発明の画像取得装置において、前記操作部が画像取得終了指示を前記ユーザーから受け付け、かつ前記第１の数が前記第２の数よりも小さい場合、前記制御部は、認識された前記方向に基づいて、前記撮像視野を変更させる第２の方向を決定し、前記制御部は、前記視野変更部に、決定された前記第２の方向に前記第１の情報が示す前記速さで前記撮像視野を再度変更させ、または決定された前記第２の方向に前記第１の情報が示す前記距離だけ前記撮像視野を再度変更させ、前記第２の方向に前記撮像視野が変更された後、前記制御部は、前記第２の情報が示す前記タイミングで少なくとも１枚の前記画像を前記撮像部から取得することを特徴とする。

【0020】

本発明の画像取得装置において、前記第１の数が前記第２の数よりも小さい場合、前記制御部は、前記第１の数が前記第２の数に到達していないことを前記ユーザーに通知することを特徴とする。

【0021】

本発明の画像取得装置において、前記操作部はさらに、前記撮像視野内の位置を前記ユーザーから受け付け、前記制御部は、前記操作部によって受け付けられた前記位置を認識し、前記第１の情報は、前記撮像視野を変更させる前記速さを示し、前記制御部は、前記視野変更部に、前記撮像視野の中心が前記位置と一致するまで、認識された前記方向に前記第１の情報が示す前記速さで前記撮像視野を変更させることを特徴とする。

【0022】

本発明の画像取得装置において、前記制御部は、前記撮像部から取得された前記画像の少なくとも１枚を表示部に表示し、前記制御部は、第１の数を計数し、かつ第２の数に対する前記第１の数の割合を示す情報を前記表示部に表示し、前記第１の数は、前記撮像部から取得された前記画像の枚数を示し、前記第２の数は、前記３次元形状の復元に必要な前記画像の枚数を示し、かつ少なくとも２枚であることを特徴とする。

【0023】

本発明の画像取得装置において、前記制御部は、前記撮像部から取得された前記画像の画素数を減らすことによりサムネイル画像を生成し、前記制御部は、前記サムネイル画像を表示部に表示することを特徴とする。

【0024】

本発明は、撮像視野内の被写体の光学像に基づいて画像を生成する撮像部と、前記撮像視野を変更する視野変更部と、前記撮像視野を変更させる方向をユーザーから受け付ける操作部と、制御部と、を有する画像取得装置の作動方法であって、前記被写体の３次元形状の復元に使用される前記画像を取得するための画像取得モードが前記画像取得装置に設定された場合、前記制御部が、前記操作部によって受け付けられた前記方向を認識する第１のステップと、前記制御部が、前記画像取得モードにおける画像取得条件を規定する第１の情報および第２の情報を記憶媒体から読み出し、前記第１の情報は、前記撮像視野を変更させる速さまたは前記撮像視野を変更させる距離を示し、前記第２の情報は、前記３次元形状の復元に使用される前記画像を取得するタイミングを示す第２のステップと、前記制御部が、前記視野変更部に、認識された前記方向に前記第１の情報が示す前記速さで前記撮像視野を変更させ、または認識された前記方向に前記第１の情報が示す前記距離だけ前記撮像視野を変更させる第３のステップと、前記制御部が、前記第２の情報が示す前記タイミングで少なくとも２枚の前記画像を前記撮像部から取得する第４のステップと、前記制御部が、前記撮像部から取得された前記画像を使用して前記３次元形状を復元する第５のステップと、を有することを特徴とする画像取得装置の作動方法である。

【発明の効果】

【0025】

本発明によれば、画像取得装置および画像取得装置の作動方法は、被写体の３次元形状の復元のための画像を取得する時間を短縮することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。

【図2】本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。

【図3】本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。

【図4】本発明の第１の実施形態における画像取得の状況を示す模式図である。

【図5】本発明の第１の実施形態における３次元形状復元および計測のための処理の手順を示すフローチャートである。

【図6】本発明の第１の実施形態における計測処理の手順を示すフローチャートである。

【図7】本発明の第１の実施形態による表示部に表示される画像を示す図である。

【図8】本発明の第１の実施形態における画像取得の流れを示す図である。

【図9】本発明の第１の実施形態における画像取得の流れを示す図である。

【図10】本発明の第２の実施形態によるＣＰＵの機能構成を示すブロック図である。

【図11】本発明の第２の実施形態における計測処理の手順を示すフローチャートである。

【図12】本発明の第２の実施形態における計測処理の手順を示すフローチャートである。

【図13】本発明の第２の実施形態における計測画像を示す図である。

【図14】本発明の第２の実施形態における計測画像を示す図である。

【図15】本発明の第２の実施形態における内視鏡先端の動きと取得される計測画像とを示す図である。

【図16】本発明の第２の実施形態における内視鏡先端の動きと取得される計測画像とを示す図である。

【図17】本発明の第２の実施形態の第１の変形例における計測処理の手順を示すフローチャートである。

【図18】本発明の第２の実施形態の第１の変形例における計測画像を示す図である。

【図19】本発明の第３の実施形態によるＣＰＵの機能構成を示すブロック図である。

【図20】本発明の第３の実施形態における計測処理の手順を示すフローチャートである。

【図21】本発明の第３の実施形態における計測処理において実行される判断処理の手順を示すフローチャートである。

【図22】本発明の第３の実施形態における計測画像を示す図である。

【図23】本発明の第３の実施形態における計測画像を示す図である。

【図24】本発明の第３の実施形態による表示部に表示される画像を示す図である。

【図25】本発明の第３の実施形態における計測画像を示す図である。

【図26】本発明の第３の実施形態による表示部に表示される画像を示す図である。

【図27】本発明の第４の実施形態における計測処理において実行される判断処理の手順を示すフローチャートである。

【図28】本発明の第４の実施形態における計測画像を示す図である。

【発明を実施するための形態】

【0027】

以下、図面を参照し、本発明の実施形態を説明する。以下では、画像取得装置が内視鏡装置である例を説明する。画像取得装置は、画像取得機能を有する装置でありさえすればよく、内視鏡装置に限らない。

【0028】

（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１の外観を示す。図２は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を使用して被写体の幾何学的特徴を計測する。検査者は、種々の被写体の観察と計測とを行うために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。以下では、計測の一例として、ＳｆＭを使用した３次元形状復元とユーザーによる基準距離入力とを組み合わせた計測を行う場合について説明する。

【0029】

図１に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

【0030】

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、計測部分を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが挿入部２の先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

【0031】

操作部４は、ユーザーインタフェースである。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。

【0032】

図２に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、制御装置１０、および湾曲機構１１を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構１１を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が行われた撮像信号をＮＴＳＣ信号等の映像信号に変換する。

【0033】

制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８ａを有する。

【0034】

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、計測実行時には、計測性能を向上させるための処理も行う。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａによって生成されるグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、カーソルの画像、指定点の画像、および計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。

【0035】

ＲＯＭ１３は、ＣＰＵ１８ａが内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８ａが内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８ａは、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

【0036】

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

【0037】

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、パーソナルコンピュータ４１へ情報を送信し、かつパーソナルコンピュータ４１から情報を受信する。これによって、パーソナルコンピュータ４１のモニタが情報を表示することができる。また、ユーザーは、パーソナルコンピュータ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を行うことができる。

【0038】

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８ａに通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

【0039】

ＣＰＵ１８ａが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、パーソナルコンピュータ４１がプログラムを読み込んで実行してもよい。パーソナルコンピュータ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、パーソナルコンピュータ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を使用して計測を行ってもよい。

【0040】

上述したプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。

【0041】

上記の内視鏡装置１は、撮像素子２８（撮像部）、湾曲機構１１（視野変更部）、操作部４、およびＣＰＵ１８ａ（制御部）を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。これにより、撮像素子２８は、撮像視野内の被写体の光学像に基づいて画像（画像データ）を生成する。撮像素子２８によって生成された画像は映像信号処理回路１２を経由してＣＰＵ１８ａに入力される。湾曲機構１１は、挿入部２を湾曲させることにより、撮像素子２８の撮像視野を変更する。視野変更部は、撮像素子２８を移動させる、または撮像素子２８を含む部材を移動させることにより撮像視野を変更できる機構でありさえすればよい。操作部４は、撮像視野を変更させる方向をユーザーから受け付ける。

【0042】

図３は、ＣＰＵ１８ａの機能構成を示す。メイン制御部１８０、画像取得部１８１、表示制御部１８２、指定点設定部１８３、基準寸法設定部１８４、３次元形状復元部１８５、計測部１８６、湾曲制御部１８７、モード設定部１８８、および読み出し部１８９によってＣＰＵ１８ａの機能が構成されている。図３に示すブロックの少なくとも１つがＣＰＵ１８ａとは別の回路で構成されてもよい。

【0043】

図３に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。図３に示す各部は、１つまたは複数のプロセッサを含むことができる。図３に示す各部は、１つまたは複数の論理回路を含むことができる。

【0044】

メイン制御部１８０は、各部が実行する処理を制御する。画像取得部１８１は、撮像素子２８によって生成された画像を映像信号処理回路１２から取得する。取得された画像は、ＲＡＭ１４に保持される。

【0045】

表示制御部１８２は、撮像素子２８によって生成された画像を表示部５に表示する。例えば、表示制御部１８２は、映像信号処理回路１２によって実行される処理を制御する。表示制御部１８２は、映像信号処理回路１２に、処理された画像を表示部５へ出力させる。表示部５は、映像信号処理回路１２から出力された画像を表示する。

【0046】

表示制御部１８２は、各種情報を表示部５に表示する。つまり、表示制御部１８２は、画像上に各種情報を表示する。各種情報は、カーソルおよびアイコン等を含む。カーソルは、ユーザーが画像上の特定の位置を指定するためのポインターである。アイコンは、ユーザーが画像上で指定した指定点の位置を示すマークである。例えば、表示制御部１８２は、各種情報のグラフィック画像信号を生成する。表示制御部１８２は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８ａから出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、映像信号に基づいて、各種情報が重畳された画像を表示する。

【0047】

ユーザーは、操作部４を操作することにより、カーソルの位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、入力部である制御インタフェース１７に入力される。制御インタフェース１７に入力された位置情報は、ＣＰＵ１８ａに入力される。表示制御部１８２は、操作部４に入力された位置情報が示す位置を検出する。表示制御部１８２は、操作部４に入力された位置情報が示す位置にカーソルを表示する。表示部５がタッチパネルである場合、ユーザーは表示部５の画面をタッチすることによりカーソルの位置情報を操作部４に入力する。

【0048】

指定点設定部１８３は、画像上に１つ以上の指定点を設定する。指定点は、計測位置を示す計測点と基準寸法の位置を示す基準点との少なくとも１つを含む。例えば、指定点は、ユーザーにより入力される。指定点設定部１８３は、１つ以上の計測点および１つ以上の基準点を設定する。しかし、指定点設定部１８３は、画像上に計測点または基準点のみを設定してもよい。

【0049】

ユーザーは、操作部４を操作することにより、計測点および基準点の位置情報を操作部４に入力する。操作部４は、ユーザーが入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。指定点設定部１８３は、撮像素子２８により取得され、かつ表示部５に表示された画像において位置情報が示す位置に計測点および基準点を設定する。指定点設定部１８３によって設定された計測点および基準点の位置情報は、ＲＡＭ１４に保持される。計測点および基準点が特定の画像に関連付けられることにより、計測点および基準点が設定される。

【0050】

指定点は、ユーザーの指示に基づいて決定された画像における注目位置の座標情報である。上記のように、指定点は、計測点および基準点を含む。指定点は、計測位置および基準寸法の位置を指定するための点であることを想定している。指定点を決定するための手段は、ユーザーによる入力に限定されない。例えば、内視鏡装置１に予め登録された情報に基づいて、指定点設定部１８３が自動的に指定点を決定してもよい。例えば、指定点が予め設定された参照画像がパーソナルコンピュータ４１またはメモリカード４２から内視鏡装置１に取り込まれる。指定点設定部１８３は、参照画像上に設定された指定点と類似する点をパターンマッチングにより画像から検出し、かつ検出された点を指定点として画像に設定してもよい。

【0051】

計測点または基準点の指定は、ユーザーが計測点または基準点を内視鏡装置１に指示することを意味する。ユーザーは、画像上の位置をカーソルで指定することにより計測点または基準点を指定する。あるいは、ユーザーは、表示部５の画面をタッチすることにより計測点または基準点を指定する。計測点の設定は、指定点設定部１８３が計測点を画像に関連付けることを意味する。基準点の設定は、指定点設定部１８３が基準点を画像に関連付けることを意味する。

【0052】

指定点をユーザーに知らせることができる限り、カーソルおよびアイコンの形状および大きさは問わない。また、本明細書では、便宜上、「点」という言葉を使っているが、指定点は画面上の１ピクセルに対応する１点である必要はない。指定点は、任意の大きさの領域を含んでもよい。指定点は、サブピクセル単位で指定できる領域を含んでもよい。

【0053】

ユーザーは、操作部４を操作することにより、基準寸法を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した基準寸法を受け付け、その基準寸法を出力する。操作部４に入力された基準寸法は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。基準寸法が操作部４に入力されたとき、基準寸法設定部１８４は、撮像素子２８により取得され、かつ表示部５に表示された画像に基準寸法を設定する。基準寸法設定部１８４によって設定された基準寸法は、ＲＡＭ１４に保持される。基準寸法が特定の画像に関連付けられることにより、基準寸法が設定される。基準寸法の指定は、ユーザーが基準寸法を内視鏡装置１に指示することを意味する。基準寸法の設定は、基準寸法設定部１８４が基準寸法を画像に関連付けることを意味する。

【0054】

以下の例では、基準寸法は２点間の基準距離である。上記のように、基準距離はユーザーによって与えられる。例えば、ユーザーは、２つの基準点を指定し、かつそれらの距離を基準距離として指定する。ユーザーにより指定される基準距離は既知である。例えば、被写体上の既知の構造における基準距離がユーザーにより指定される。

【0055】

基準距離は、図示していない距離取得部から内視鏡装置１に入力されてもよい。例えば、距離取得部は、アクティブ投影系および３次元計測部を有する。アクティブ投影系は、点、線、および縞等の形状を持つ光を被写体に投影する。３次元計測部は、その光が投影された被写体の画像に基づいて基準距離を算出する。３次元計測部は、基準距離が算出された位置に基づいて基準点を取得してもよい。基準寸法の位置を示す基準点は、基準寸法を計測する機器から入力されてもよい。例えば、基準点が３次元計測部または距離取得部から内視鏡装置１に入力されてもよい。距離取得部は、飛行時間測定法（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）により基準距離を算出してもよい。距離取得部は、３次元加速度センサー、ジャイロセンサー、および電波センサー等のセンサーを使用するセンシング手段であってもよい。

【0056】

例えば、外部機器インタフェース１６は、基準点および基準距離を距離取得部から取得してもよい。上記のように、１つの例では、距離取得部は、アクティブ投影系および３次元計測部を有する。距離取得部から出力された基準点および基準距離が外部機器インタフェース１６に入力される。外部機器インタフェース１６に入力された基準点および基準距離は、ＣＰＵ１８ａに入力される。指定点設定部１８３は、距離取得部から出力された基準点を画像に設定する。基準寸法設定部１８４は、距離取得部から出力された基準距離を画像に設定する。この場合、基準点および基準距離が自動的に決定されるため、ユーザーの手間がかからない。

【0057】

内視鏡装置１は、予め算出された基準寸法を記憶するメモリを有してもよい。基準寸法設定部１８４は、指定点設定部１８３によって設定された基準点における基準寸法をメモリから読み出し、かつ読み出された基準寸法を画像に設定してもよい。

【0058】

３次元形状復元部１８５は、画像取得部１８１によって取得された複数枚の画像を使用して、被写体すなわち計測対象の物体の３次元形状を復元する。複数枚の画像の各々が生成されたとき、撮像位置および撮像姿勢の少なくとも１つが互いに異なる。したがって、複数枚の画像の各々が生成されたとき、撮像素子２８の撮像視野は互いに異なる。３次元形状の復元方法については後述する。

【0059】

計測部１８６は、３次元形状、複数の指定点、および基準寸法に基づいて、計測対象の物体の計測を行う。３次元形状は、３次元形状復元部１８５により復元される。複数の指定点は、計測点および基準点である。複数の指定点は、指定点設定部１８３によって設定される。基準寸法は、基準寸法設定部１８４によって設定される。計測部１８６は、計測点および基準点の２次元座標と、基準距離とを使用して、計測点に対応する３次元座標を算出する。計測部１８６は、計測点に対応する３次元座標に基づいて被写体の３次元での寸法を計測する。

【0060】

湾曲制御部１８７は、挿入部２の先端２０を湾曲させるための湾曲機構１１を制御する。例えば、湾曲制御部１８７は、メイン制御部１８０からの指示に基づいて、挿入部２の先端２０を１つの方向に湾曲させるための命令を生成する。湾曲制御部１８７によって生成された命令は、制御インタフェース１７を経由して内視鏡ユニット８に出力される。内視鏡ユニット８は、その命令に基づいて湾曲機構１１を駆動することにより、挿入部２の先端２０を湾曲させる。

【0061】

ユーザーは、操作部４を操作することにより、挿入部２の先端２０の湾曲角度を変更させる方向を操作部４に入力する。つまり、ユーザーは、撮像視野を変更させる方向を操作部４に入力する。以下では、挿入部２の先端２０の湾曲角度を変更させる方向は角度変更方向と記載される。操作部４は、ユーザーが操作部４に入力した角度変更方向を受け付け、その角度変更方向を出力する。操作部４に入力された角度変更方向は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。湾曲制御部１８７は、操作部４に入力された角度変更方向に基づいて、湾曲機構１１を駆動するための命令を生成する。

【0062】

モード設定部１８８は、内視鏡装置１に所定の動作モードを設定する。例えば、モード設定部１８８は、画像取得モードおよび検査モード（画像表示モード）のいずれか１つを内視鏡装置１に設定する。画像取得モードは、被写体の３次元形状の復元に使用される画像を取得するためのモードである。検査モードは、撮像素子２８によって撮像フレームレートに基づく間隔で生成された画像を表示部５に表示するためのモードである。

【0063】

ユーザーは、操作部４を操作することにより、動作モードの指示を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した指示を受け付け、その指示を出力する。操作部４に入力された指示は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。モード設定部１８８は、操作部４に入力された指示に基づいて、ユーザーによって指示された動作モードを判断する。モード設定部１８８は、ユーザーによって指示された動作モードを内視鏡装置１に設定する。モード設定部１８８は、操作部４に入力された指示に基づいて、内視鏡装置１に設定された動作モードを画像取得モードと検査モードとの間で切り替える。

【0064】

画像取得モードが内視鏡装置１に設定された場合、読み出し部１８９は、画像取得条件を規定する画像取得条件情報を記憶媒体から読み出す。検査モードが内視鏡装置１に設定された場合、読み出し部１８９は、画像表示条件を規定する画像表示条件情報を記憶媒体から読み出す。画像取得条件情報および画像表示条件情報は、撮像視野変更情報およびタイミング情報を含む。撮像視野変更情報は、撮像視野を変更させる速さまたは撮像視野を変更させる距離を示す。タイミング情報は、画像取得モードまたは検査モードにおいて使用される画像を撮像素子２８から取得するタイミングを示す。例えば、画像取得モードにおけるタイミング情報は、撮像視野を変更させる速さまたは撮像視野を変更させる距離に基づくタイミングを示す。検査モードにおけるタイミング情報は、撮像素子２８の撮像タイミングと同じタイミングを示す。

【0065】

読み出し部１８９は、画像取得条件情報および画像表示条件情報をＲＡＭ１４から読み出す。例えば、メモリカード４２は画像取得条件情報および画像表示条件情報を記憶する。カードインタフェース１５を経由してメモリカード４２からＲＡＭ１４に画像取得条件情報および画像表示条件情報が転送される。パーソナルコンピュータ４１が画像取得条件情報および画像表示条件情報を記憶してもよい。外部機器インタフェース１６を経由してパーソナルコンピュータ４１からＲＡＭ１４に画像取得条件情報および画像表示条件情報が転送されてもよい。ネットワーク上のサーバー（クラウドサーバー等）が画像取得条件情報および画像表示条件情報を記憶してもよい。外部機器インタフェース１６を経由してサーバーからＲＡＭ１４に画像取得条件情報および画像表示条件情報が転送されてもよい。

【0066】

画像取得モードにおける内視鏡装置１の概略動作を説明する。操作部４は、撮像視野を変更させる方向をユーザーから受け付ける。画像取得モードが内視鏡装置１に設定された場合、湾曲制御部１８７は、操作部４によって受け付けられた方向を認識する。読み出し部１８９は、画像取得モードにおける画像取得条件を規定する第１の情報および第２の情報をＲＡＭ１４から読み出す。第１の情報は、撮像視野を変更させる速さまたは撮像視野を変更させる距離を示す。第２の情報は、３次元形状の復元に使用される画像を取得するタイミングを示す。湾曲制御部１８７は、湾曲機構１１に、認識された方向に第１の情報が示す速さで撮像視野を変更させ、または認識された方向に第１の情報が示す距離だけ撮像視野を変更させる。画像取得部１８１は、第２の情報が示すタイミングで少なくとも２枚の画像を撮像素子２８から取得する。３次元形状復元部１８５は、撮像素子２８から取得された少なくとも２枚の画像を使用して被写体の３次元形状を復元する。湾曲機構１１は、認識された方向に第１の情報が示す速さで撮像視野を変更し、または認識された方向に第１の情報が示す距離だけ撮像視野を変更する。

【0067】

検査モードにおける内視鏡装置１の概略動作を説明する。操作部４は、撮像視野を変更させる方向をユーザーから受け付ける。検査モードが内視鏡装置１に設定された場合、湾曲制御部１８７は、操作部４によって受け付けられた方向を認識する。読み出し部１８９は、検査モードにおける表示条件を規定する第３の情報および第４の情報をＲＡＭ１４から読み出す。第３の情報は、撮像視野を変更させる速さまたは撮像視野を変更させる距離を示す。第４の情報は、画像の表示に使用される画像を取得するタイミングを示す。湾曲制御部１８７は、湾曲機構１１に、認識された方向に第３の情報が示す速さで撮像視野を変更させ、または認識された方向に第３の情報が示す距離だけ撮像視野を変更させる。表示制御部１８２は、第４の情報が示すタイミングで撮像素子２８から出力された画像を表示部５に出力する。湾曲機構１１は、認識された方向に第３の情報が示す速さで撮像視野を変更し、または認識された方向に第３の情報が示す距離だけ撮像視野を変更する。

【0068】

３次元形状復元部１８５および計測部１８６が実行する具体的な処理の手順について説明する。３次元形状復元部１８５は、映像信号処理回路１２から出力された複数枚の画像と、ＲＡＭ１４に保持されている指定点の座標情報とを受け取る。以下では、３次元形状復元部１８５が映像信号処理回路１２から２枚の画像を受け取る例について説明する。３枚以上の画像が使用される場合でも、基本原理は、２枚の画像が使用される場合と変わらない。以下で説明される方法は、３枚以上の画像が使用される場合にも適用できる。

【0069】

図４は、計測対象の被写体の２枚の画像が取得される場合の画像取得の状況を模式的に示す。以下の説明では、広義のカメラという表現を使用する。以下の説明におけるカメラは、具体的には内視鏡先端（挿入部２の先端２０）の観察光学系を指す。

【0070】

図４に示すように、最初にカメラの撮像状態ｃ_１において画像Ｉ_１が取得される。次に、カメラの撮像状態ｃ_２において画像Ｉ_２が取得される。撮像状態ｃ_１と撮像状態ｃ_２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図４において、撮像状態ｃ_１と撮像状態ｃ_２とでは、撮像位置および撮像姿勢の両方が異なる。

【0071】

本発明の各実施形態では、画像Ｉ_１および画像Ｉ_２は同じ内視鏡で取得されることを想定している。また、本発明の各実施形態では、内視鏡の対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、内視鏡の光学系の特性が記述された内部パラメーターは、内視鏡先端のカメラの位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されており、かつ計測時には内部パラメーターは既知であることを想定している。

【0072】

異なる内視鏡装置を使って画像Ｉ_１および画像Ｉ_２を取得する場合、共通の内部パラメーターは使用できない。また、同じ内視鏡装置を使って画像Ｉ_１および画像Ｉ_２を取得するが内部パラメーターが画像毎に異なる場合には共通の内部パラメーターは使用できない。しかしながら、内部パラメーターを未知数として計算を行うことはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。前者の場合、それぞれの内視鏡装置が個別の内部パラメーターを予め保持してもよい。

【0073】

図５を参照し、取得された被写体画像に基づいて被写体の３次元座標を計算するための手順について説明する。図５は、３次元形状復元および計測のための処理の手順を示す。

【0074】

まず、３次元形状復元部１８５は、特徴点検出処理を実行する（ステップＳＡ）。３次元形状復元部１８５は、特徴点検出処理において、取得された２枚の画像の特徴点を検出する。特徴点とは、画像に写っている被写体情報のうち、画像輝度勾配の大きいコーナーおよびエッジ等を指す。この特徴点を検出する方法として、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）およびＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）等が使用される。このような方法を用いることにより画像内の特徴点を検出することができる。

【0075】

図４は、画像Ｉ_１から特徴点ｍ_１が検出され、かつ画像Ｉ_２から特徴点ｍ_２が検出された例を示す。図４では各画像の１つの特徴点のみが表示されているが、実際には各画像に対して、複数の特徴点が検出される。各画像で検出される特徴点の数は異なる可能性がある。各画像から検出された各特徴点は特徴量というデータに変換される。特徴量は、特徴点の特徴を表すデータである。

【0076】

ステップＳＡの後、３次元形状復元部１８５は、特徴点対応付け処理を実行する（ステップＳＢ）。３次元形状復元部１８５は、特徴点対応付け処理において、ステップＳＡにおける特徴点検出処理により検出された各特徴点に対して、画像間で特徴量の相関を比較する。特徴量の相関が比較された結果、各画像において特徴量が近い特徴点が見つかった場合、３次元形状復元部１８５は、その情報をＲＡＭ１４に保持する。一方、特徴量が近い特徴点が見つからなかった場合には、３次元形状復元部１８５は、その特徴点の情報を破棄する。

【0077】

ステップＳＢの後、３次元形状復元部１８５は、互いに対応付けられた２枚の画像の特徴点（特徴点ペア）の座標をＲＡＭ１４から読み出す。３次元形状復元部１８５は、読み出された座標に基づいて、位置および姿勢の算出処理を実行する（ステップＳＣ）。３次元形状復元部１８５は、位置および姿勢の算出処理において、画像Ｉ_１を取得したカメラの撮像状態ｃ_１と画像Ｉ_２を取得したカメラの撮像状態ｃ_２との間の相対的な位置および姿勢を算出する。より具体的には、３次元形状復元部１８５は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。

【0078】

【数1】

【0079】

行列Ｅは基本行列と呼ばれる。基本行列Ｅは、画像Ｉ_１を取得したカメラの撮像状態ｃ_１と画像Ｉ_２を取得したカメラの撮像状態ｃ_２との相対的な位置および姿勢を保持する行列である。方程式（１）において、ｐ_１は、画像Ｉ_１から検出された特徴点の座標を含む行列である。ｐ_２は、画像Ｉ_２から検出された特徴点の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。基本行列Ｅは、公知のアルゴリズムを使用して解くことができる。

【0080】

図４に示すように、カメラの位置変化量がｔであり、かつカメラの姿勢変化量がＲである場合、式（２）および式（３）が成り立つ。

【0081】

【数2】

【0082】

式（２）において、ｔ_ｘはｘ軸方向の移動量であり、ｔ_ｙはｙ軸方向の移動量であり、かつｔ_ｚはｚ軸方向の移動量である。式（３）において、Ｒ_ｘ（α）はｘ軸周りの回転量αであり、Ｒ_ｙ（β）はｙ軸周りの回転量βであり、かつＲ_ｚ（γ）はｚ軸周りの回転量γである。基本行列Ｅが算出された後、３次元座標の復元精度を高めるためにバンドル調整という最適化処理が実行されてもよい。一般的には、ＳｆＭと呼ばれる処理は、画像が取得された後に実行されるステップＳＡ、ステップＳＢ、およびステップＳＣの処理を含む。

【0083】

ステップＳＣの後、３次元形状復元部１８５は、ステップＳＣにおいて算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、被写体の３次元形状の復元処理を実行する（ステップＳＤ）。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。

【0084】

ステップＳＤの後、計測部１８６は、ステップＳＤにおける３次元形状復元処理により算出された被写体の３次元形状データと、ＲＡＭ１４から読み出された基準距離の情報とに基づいて３次元座標変換処理を実行する。計測部１８６は、３次元座標変換処理において、被写体の３次元形状データを、長さの次元を持つ３次元座標データへと変換する（ステップＳＥ）。

【0085】

ステップＳＥの後、計測部１８６は、被写体の３次元座標データに基づいて寸法計測処理を実行する（ステップＳＦ）。寸法計測処理は、従来の工業用内視鏡に搭載されている計測処理と変わらないので、その詳細な説明を割愛する。例えば、計測部１８６は、ユーザーによって選択された計測モードに従って、２点間距離計測および面基準計測などの寸法計測を行う。

【0086】

図６を使用して、第１の実施形態における計測処理の全体について説明する。図６は、計測処理の手順を示す。

【0087】

内視鏡を使用する検査では、ユーザーは、ライブ画像で被写体の状況を確認することにより、欠陥および傷が存在するか否かを検査する。このときの内視鏡装置１のモードは検査モードと呼ばれる。検査中において、被写体に計測対象である欠陥または傷が発見された場合などにユーザーは計測の実行を要求する。そのとき、ユーザーは、内視鏡装置１の動作モードを計測モードに移行させるために操作部４を操作する（ステップＳ１０１）。例えば、ユーザーが表示部５に表示されている、計測モード移行を示すアイコンをタップしたとき、内視鏡装置１の動作モードが検査モードから計測モードへ移行する。あるいは、ユーザーがリモートコントローラー等の入力装置を使用して計測モード移行ボタンを押下してもよい。内視鏡装置１の動作モードを検査モードから計測モードへ移行させるための操作は、上記の例に限定されない。計測モードは、上述した画像取得モードで規定された機能と計測機能との組み合わせを実行するモードである。

【0088】

ステップＳ１０１の後、指定点入力のための第１の計測画像が取得される。つまり、撮像素子２８は、被写体を１回撮像することにより第１の計測画像を生成する。画像取得部１８１は、撮像素子２８によって生成された第１の計測画像を取得する（ステップＳ１０２）。画像取得条件情報に含まれる第２の情報は、内視鏡装置１の動作モードが検査モードから計測モードへ移行したタイミングで計測画像を取得することを示す。

【0089】

ステップＳ１０２の後、読み出し部１８９は、角度変更量をＲＡＭ１４から読み出す（ステップＳ１０３）。角度変更量は、挿入部２の先端２０の湾曲角度を変更させる量を示す。角度変更量は、画像取得条件情報に含まれる第１の情報に対応する。角度変更量は、撮像視野を変更させる距離に対応する。角度変更量は、２回の撮像タイミングの間における湾曲角度の変更量である。

【0090】

ステップＳ１０３の後、読み出し部１８９は、角度変更速さをＲＡＭ１４から読み出す（ステップＳ１０４）。角度変更速さは、挿入部２の先端２０の湾曲角度を変更させる速さを示す。角度変更速さは、画像取得条件情報に含まれる第１の情報に対応する。角度変更速さは、撮像視野を変更させる速さに対応する。角度変更速さは、２回の撮像タイミングの間における湾曲角度の変化の速さである。

【0091】

角度変更量は、２回の撮像における撮像視野が互いに重なる量に設定される。つまり、角度変更量は、２回の撮像により取得された２枚の計測画像の領域が互いに重なる量に設定される。これにより、ＳｆＭの処理結果の信頼性が高まる。角度変更速さは、モーションブラーが計測画像に影響を与えない速さに設定される。これにより、計測画像の取得効率が高まる。

【0092】

本発明の実施形態において、角度変更量および角度変更速さの両方がＲＡＭ１４から読み出される。本発明の各態様は、この方法に限定される訳ではない。例えば、順次取得された複数枚の画像から内視鏡先端の動き量が推測され、その推測量に従って適応的に内視鏡先端の角度変更量が制御されてもよい。あるいは、ユーザーが操作部４を操作することにより、角度変更速さを指定できてもよい。

【0093】

ユーザーは、自身が計測対象として認識している領域の計測画像を取得するために角度変更方向を操作部４に入力する。ステップＳ１０４の後、操作部４は、角度変更方向をユーザーから受け付ける。操作部４に入力された角度変更方向は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。湾曲制御部１８７は、操作部４に入力された角度変更方向を認識する（ステップＳ１０５）。ユーザーは、タッチパネル等の入力装置を操作することにより角度変更方向を入力してもよい。

【0094】

ステップＳ１０５の後、湾曲制御部１８７は、ユーザーから受け付けられた角度変更方向に内視鏡先端を湾曲させるための命令を生成する。この命令は、角度変更速さに対応する速さで、角度変更量に対応する量だけ湾曲角度を変更する動作を規定する。湾曲制御部１８７は、生成された命令を内視鏡ユニット８に出力することにより、湾曲機構１１を駆動し、かつ内視鏡先端を湾曲させる。これにより、内視鏡先端の視点が変更される（ステップＳ１０６）。

【0095】

本発明の実施形態において、所定の角度変更量だけ内視鏡先端が動いた後、内視鏡先端が停止していることを想定している。これにより、モーションブラーの無い画像を取得することができる。内視鏡先端が停止している時間は、少なくとも１枚の画像の取得に必要な時間でありさえすればよい。例えば、この時間は、フレームレートの逆数とほぼ等しい。内視鏡先端の動きが、カメラの露光時間に対して十分小さいと想定される時間内で発生する場合、内視鏡先端が停止している必要はない。つまり、内視鏡先端が停止しているとみなせる程度の遅い動きは許容できる。

【0096】

ステップＳ１０６の後、変数ｎが１増加する（ステップＳ１０７）。ステップＳ１０７の後、画像取得部１８１は、撮像素子２８によって生成された第ｎの計測画像を取得する（ステップＳ１０８）。変数ｎは、３次元形状の復元および計測のために取得された計測画像の枚数を示す。ステップＳ１０１における処理が実行されたとき、変数ｎは２である。ステップＳ１０８における処理が１回目に実行されたとき、画像取得部１８１は第２の計測画像を取得する。

【0097】

画像取得部１８１は、ステップＳ１０８において、画像取得条件情報に含まれる第２の情報が示すタイミングで第ｎの計測画像を取得する。例えば、第２の情報は、角度変更速さで湾曲角度が所定の時間だけ変更されたタイミングで計測画像を取得することを示す。あるいは、第２の情報は、湾曲角度が角度変更量だけ変更されたタイミングで計測画像を取得することを示す。

【0098】

ステップＳ１０６において内視鏡先端の視点が変更されている間、撮像素子２８は撮像フレームレートに基づく間隔で撮像を実行する。ステップＳ１０８において取得される計測画像は、内視鏡先端の視点の変更が終了したときに撮像素子２８によって生成された画像である。ステップＳ１０６において内視鏡先端の視点が変更されている間、撮像素子２８は撮像を停止してもよい。内視鏡先端の視点の変更が終了したタイミングから所定の時間が経過した後、撮像素子２８が撮像を実行し、かつ撮像素子２８によって生成された第ｎの計測画像が取得されてもよい。

【0099】

１回の画像取得処理は、ステップＳ１０５、ステップＳ１０６、ステップ１０７、およびステップ１０８の各々における処理を含む。１回の画像取得処理が実行されたとき、１枚の計測画像が取得される。

【0100】

ステップＳ１０８の後、表示制御部１８２は、取得された第ｎの計測画像を表示部５に表示する。また、表示制御部１８２は、計測画像の取得に関する進捗状況を示す情報を表示部５に表示する（ステップＳ１０９）。

【0101】

図７を使用して、ステップＳ１０９における処理を説明する。図７は、表示部５に表示される画像を示す。ＳｆＭに最低限必要な計測画像の枚数が予め内視鏡装置１に設定されている。例えば、その枚数は、以前に実行されたＳｆＭの結果に基づいて経験的に得られる。その枚数は２枚以上である。以下では、その枚数が５枚である例を説明するが、その枚数は５枚に限定されない。以下では、３枚の計測画像が取得されたときにステップＳ１０９において実行される処理を説明する。

【0102】

最初に表示制御部１８２は、第ｎの計測画像Ｉ１０１を表示部５に表示する。第ｎの計測画像Ｉ１０１が表示された後、表示制御部１８２は、進捗状況を示す情報を第ｎの計測画像Ｉ１０１上に表示する。例えば、表示制御部１８２は、進捗状況を示す情報のグラフィック画像信号を生成する。その後、カーソルを表示するための処理と同様の処理が実行される。表示部５は、進捗状況を示す情報が重畳された第ｎの計測画像Ｉ１０１を表示する。

【0103】

図７に示す例では、情報ＩＦ１１１および情報ＩＦ１１２が表示される。情報ＩＦ１１１は、ＳｆＭに最低限必要な計測画像の枚数と、現在までに取得された計測画像の枚数とを示す。情報ＩＦ１１１は、２つの数字を含む。情報ＩＦ１１１において右側の数字は、ＳｆＭに最低限必要な計測画像の枚数を示す。情報ＩＦ１１１において左側の数字は、現在までに取得された計測画像の枚数を示す。情報ＩＦ１１２は、進捗状況をプログレスバーとして示す。また、図７に示す例では、３枚のサムネイル画像ＴＨ１２１が表示される。各サムネイル画像ＴＨ１２１は、計測画像の画素数を減らすことにより生成された縮小画像である。

【0104】

内視鏡装置１は、計測画像を取得するための処理を終了できるまでにあと何枚の画像を取得しなければならないか、あるいはあとどれくらいの時間がかかるかをユーザーに通知できさえすればよい。取得された計測画像の枚数が、ＳｆＭに最低限必要な計測画像の枚数に達したとき、内視鏡装置１は、計測画像を取得するための処理を終了できる。計測画像の取得の進捗状況をユーザーに通知できる限り、どのような表示方法が使用されてもよい。

【0105】

表示制御部１８２は、ステップＳ１０９において、撮像素子２８から取得された計測画像の少なくとも１枚を表示部５に表示する。２枚以上の計測画像が既に取得されている場合、ステップＳ１０９において２枚以上の計測画像が表示されてもよい。表示制御部１８２は、ステップＳ１０９において、第１の数を計数し、かつ第２の数に対する第１の数の割合を示す情報を表示部５に表示する。第１の数は、撮像素子２８から取得された計測画像の枚数を示す。つまり、上記の例では、第１の数は、現在までに取得された計測画像の枚数を示す。第２の数は、３次元形状の復元に必要な計測画像の枚数を示し、かつ少なくとも２枚である。つまり、上記の例では、第２の数は、ＳｆＭに最低限必要な計測画像の枚数を示す。上記の例では、上記の割合を示す情報は、情報ＩＦ１１１および情報ＩＦ１１２である。

【0106】

表示制御部１８２は、ステップＳ１０９において、撮像素子２８から取得された画像の画素数を減らすことによりサムネイル画像を生成する。表示制御部１８２は、ステップＳ１０９において、サムネイル画像を表示部５に表示する。２枚以上の計測画像が既に取得されている場合、ステップＳ１０９において２枚以上のサムネイル画像が生成され、かつ表示されてもよい。上記の例では、３枚のサムネイル画像ＴＨ１２１が表示部５に表示される。

【0107】

ステップＳ１０９の後、メイン制御部１８０は、変数ｎと所定の枚数とを比較する。変数ｎは、取得された計測画像の枚数を示す。所定の枚数は、ＳｆＭに最低限必要な計測画像の枚数を示す。所定の枚数は、少なくとも２枚である。メイン制御部１８０は、比較結果に基づいて、取得された計測画像の枚数が所定の枚数に達したか否かを判断する（ステップＳ１１０）。

【0108】

画像取得条件に基づく計測画像の取得が終了した後、メイン制御部１８０は、ステップＳ１１０において、第１の数と第２の数とを比較する。第１の数は、撮像素子２８から取得された計測画像の枚数を示す。第２の数は、３次元形状の復元に必要な計測画像の枚数を示し、かつ少なくとも２枚である。

【0109】

ステップＳ１１０において、取得された計測画像の枚数が所定の枚数に達したとメイン制御部１８０が判断した場合、３次元形状復元部１８５は、画像取得部１８１によって取得された所定の枚数の計測画像を使用して、３Ｄ再構成を実行する（ステップＳ１１１）。３Ｄ再構成の実行は、ＳｆＭと被写体の密な３次元形状の復元処理との両方を含む。３Ｄ再構成において、所定の枚数の計測画像が使用される。ステップＳ１１０において、取得された計測画像の枚数が所定の枚数に達していないとメイン制御部１８０が判断した場合、ステップＳ１０５における処理が実行される。その後、画像取得処理が再度実行され、計測画像が取得される。所定の枚数の計測画像が取得されるまで、画像取得処理が繰り返される。

【0110】

取得された計測画像の枚数が所定の枚数に達するまでの画像取得の流れを、図８および図９を使用して説明する。ＳｆＭに最低限必要な計測画像の枚数が５枚である例を説明する。

【0111】

ステップＳ１０２において、第１の計測画像Ｉ２０１が取得される。第１の計測画像Ｉ２０１が取得された後、操作部４は、ステップＳ１０５において角度変更方向Ｄ２１１をユーザーから受け付ける。１回目の画像取得処理のステップＳ１０６において、湾曲角度が角度変更方向Ｄ２１１に沿って変更される。湾曲角度の変更が終了した後、１回目の画像取得処理のステップＳ１０８において、第２の計測画像Ｉ２０２が取得される。第２の計測画像Ｉ２０２が取得された後、操作部４は、ステップＳ１０５において角度変更方向Ｄ２１２をユーザーから受け付ける。２回目の画像取得処理のステップＳ１０６において、湾曲角度が角度変更方向Ｄ２１２に沿って変更される。湾曲角度の変更が終了した後、２回目の画像取得処理のステップＳ１０８において、第３の計測画像Ｉ２０３が取得される。

【0112】

第３の計測画像Ｉ２０３が取得された後、操作部４は、ステップＳ１０５において角度変更方向Ｄ２１３をユーザーから受け付ける。３回目の画像取得処理のステップＳ１０６において、湾曲角度が角度変更方向Ｄ２１３に沿って変更される。湾曲角度の変更が終了した後、３回目の画像取得処理のステップＳ１０８において、第４の計測画像Ｉ２０４が取得される。第４の計測画像Ｉ２０４が取得された後、操作部４は、ステップＳ１０５において角度変更方向Ｄ２１４をユーザーから受け付ける。４回目の画像取得処理のステップＳ１０６において、湾曲角度が角度変更方向Ｄ２１４に沿って変更される。湾曲角度の変更が終了した後、４回目の画像取得処理のステップＳ１０８において、第５の計測画像Ｉ２０５が取得される。５枚の計測画像が取得されたため、ステップＳ１１０において、計測画像の枚数が所定の枚数に達したと判断される。

【0113】

図８および図９に示す例では、角度変更方向は一定である。各画像取得条件における角度変更方向は、常に一定であるとは限らない。

【0114】

ステップＳ１１１の後、表示制御部１８２は、ステップＳ１０２において取得された第１の計測画像を表示部５に表示する（ステップＳ１１２）。

【0115】

ステップＳ１１２の後、ユーザーは、操作部４を操作することにより、表示された第１の計測画像上に指定点を指定する。これにより、ユーザーは、計測点および基準点を指定する。操作部４は、ユーザーによって指定された計測点および基準点を受け付ける。指定点設定部１８３は、表示された第１の計測画像上に、ユーザーによって指定された計測点および基準点を設定する（ステップＳ１１３）。

【0116】

ステップＳ１１３の後、ユーザーは、操作部４を操作することにより、基準距離を指定する。ユーザーは、自身が既に把握している基準距離の長さを数値として指定する。操作部４は、ユーザーによって指定された基準距離を受け付ける。基準寸法設定部１８４は、表示された第１の計測画像上に基準距離を設定する（ステップＳ１１４）。

【0117】

例えば、基準距離は被写体面上に設定された２つの基準点間の距離であり、２点で規定される。しかし、基準距離は２点で規定される距離に限定されない。例えば、被写体上に基準点が１点だけ設定され、その基準点から内視鏡先端までの距離（物体距離）が基準距離に設定されてもよい。この場合、基準距離は１点だけで規定される。

【0118】

ステップＳ１１４の後、計測部１８６は、被写体の３次元形状データを、長さの次元を持つ３次元座標データに変換する（ステップＳ１１５）。このとき、計測部１８６は、ステップＳ１１３において設定された２つの基準点と、ステップＳ１１４において設定された基準距離とを使用する。

【0119】

ステップＳ１１５の後、計測部１８６は、ステップＳ１１５において得られた３次元座標データに基づいて、公知の計測方法で、ユーザーによって指定された計測点で規定される寸法を計測する（ステップＳ１１６）。

【0120】

ステップＳ１１６の後、表示制御部１８２は、計測結果を表示部５に表示する。例えば、計測結果が、表示部５に表示された第１の計測画像に重畳される（ステップＳ１１７）。計測結果は、メモリカード４２等の外部メディアに記録されてもよい。ステップＳ１１７における処理が実行されたとき、計測処理が終了する。

【0121】

本発明の各態様の画像取得装置の作動方法は、第１から第５のステップを有する。画像取得モードが内視鏡装置１に設定された場合、湾曲制御部１８７は、第１のステップ（ステップＳ１０５）において、操作部４によって受け付けられた方向を認識する。読み出し部１８９は、第２のステップ（ステップＳ１０３、ステップＳ１０４）において、画像取得モードにおける画像取得条件を規定する第１の情報および第２の情報をＲＡＭ１４から読み出す。第１の情報は、撮像視野を変更させる速さまたは撮像視野を変更させる距離を示す。第２の情報は、３次元形状の復元に使用される画像を取得するタイミングを示す。湾曲制御部１８７は、第３のステップ（ステップＳ１０６）において、湾曲機構１１に、認識された方向に第１の情報が示す速さで撮像視野を変更させ、または認識された方向に第１の情報が示す距離だけ撮像視野を変更させる。画像取得部１８１は、第４のステップ（ステップＳ１０８）において、第２の情報が示すタイミングで少なくとも２枚の画像を撮像素子２８から取得する。３次元形状復元部１８５は、第５のステップ（ステップＳ１１１）において、撮像素子２８から取得された少なくとも２枚の画像を使用して被写体の３次元形状を復元する。

【0122】

本発明の各態様において、ステップＳ１１２からステップＳ１１７の各々における処理は必須ではない。

【0123】

第１の実施形態の画像取得モードにおいて、ユーザーの操作に基づく角度変更方向の制御と、装置が実行する角度変更量または角度変更速さの制御とが組み合わされる。そのため、内視鏡装置１は、被写体の３次元形状の復元のための画像を取得する時間を短縮することができる。その結果、検査効率が向上する。

【0124】

（第１の実施形態の変形例）
以下では、本発明の第１の実施形態の変形例を説明する。

【0125】

上記の例では、内視鏡先端の視点を変更するために湾曲が使用される。本発明の各態様における撮像視野の変更は、湾曲を使用する方法に限定されない。例えば、挿入部２の進行および後退を制御できる制御冶具が使用されてもよい。例えば、挿入部２の光軸に垂直な方向を観察できる光学アダプターが挿入部２の先端２０に装着される。挿入部２が進行する、または後退することにより、撮像視野が変更される。挿入部２の捻りを制御できる制御治具が使用されてもよい。撮像方向と異なる方向に挿入部２が移動する限り、撮像視野を変更するための方法は限定されない。

【0126】

上記の例では、操作部４はステップＳ１１３において計測点および基準点をユーザーから受け付ける。このとき、ステップＳ１０２において取得された第１の計測画像が表示されている。このとき表示されている計測画像は、第１の計測画像である必要はない。例えば、第２の計測画像が表示されてもよい。あるいは、最後に取得された計測画像が表示されてもよい。取得された複数枚の計測画像が表示され、かつユーザーが指定点の入力のための計測画像を複数枚の計測画像から選択できてもよい。基準点が設定される計測画像と、計測点が設定される計測画像とが異なってもよい。

【0127】

上記の例では、ＳｆＭに最低限必要な枚数の計測画像が取得されるまで、複数回の画像取得処理の各々においてステップＳ１０５の処理が実行される。少なくとも１回の画像取得処理においてステップＳ１０５の処理が実行されさえすればよい。例えば、操作部４がステップＳ１０５においてユーザーから受け付けた角度変更方向は、ＲＡＭ１４に保持される。ユーザーが新しい角度変更方向を指定しない場合、前回実行された画像取得処理における角度変更方向がＲＡＭ１４から読み出されてもよい。ステップＳ１０６において、ＲＡＭ１４から読み出された角度変更方向に基づいて内視鏡先端の視点が変更されてもよい。ユーザーは、角度変更方向を変えたいタイミングで、新しい角度変更方向を操作部４に入力しさえすればよい。そのため、ユーザーの作業量を減らすことができる。

【0128】

上記の例では、内視鏡装置１は、角度変更方向をユーザーから受け付け、その角度変更方向に湾曲角度を変更する。その後、内視鏡装置１は、角度変更方向をユーザーから再度受け付け、その角度変更方向に湾曲角度を変更する。つまり、内視鏡装置１は、角度変更方向の受け付けと湾曲角度の変更とを繰り返す。本発明の各態様における画像取得処理は、これに限定されない。

【0129】

例えば、内視鏡装置１が画像取得処理において湾曲角度を変更している間に、操作部４は、新たな角度変更方向をユーザーから受け付けてもよい。内視鏡装置１は、湾曲角度の変更中に角度変更方向を更新し、かつ更新された角度変更方向に基づいて湾曲角度を変更してもよい。この場合、湾曲角度の変更中に、内視鏡先端が動く方向が変更される。角度変更方向が更新されるまでに変更された湾曲角度の量はリセットされない。つまり、湾曲角度が変更された後、湾曲角度は差分量だけ変化する。差分量は、１回の画像取得処理における角度変更量と、角度変更方向が更新されるまでに変化した量との差分である。

【0130】

例えば、角度変更方向として右方向がユーザーによって指示され、ステップＳ１０３において読み出された角度変更量が１００である場合の例を説明する。例えば、湾曲角度が５０だけ変更された後、角度変更方向として上方向がユーザーによって指示される。この場合、内視鏡装置１は、湾曲角度を上方向に５０だけ変更する。

【0131】

上記の例では、１回の画像取得処理が実行される間に、操作部４が角度変更方向をユーザーから受け付け、かつその角度変更方向に基づいて湾曲角度が変更される。角度変更方向は、予め内視鏡装置１に設定されてもよい。例えば、内視鏡装置１は、熟練しているユーザーの操作に基づいて、図６に示す計測処理を実行する。このとき、熟練したユーザーから受け付けられた角度変更方向の履歴がＲＡＭ１４に保持される。その後、熟練していない一般ユーザーが計測の実行を要求する。この場合に実行される計測処理のステップＳ１０５において、履歴として保持された角度変更方向がＲＡＭ１４から読み出される。一連の画像取得処理が実行される間、内視鏡装置１は、熟練したユーザーから受け付けられた角度変更方向に従って湾曲角度を変更し、かつ計測画像を取得する。

【0132】

内視鏡装置１は、熟練したユーザーから受け付けられた角度変更方向を、一般ユーザーの指示に基づいて実行された計測処理に適用することができる。そのため、ユーザーが熟練しているか否かによらず、ＳｆＭの処理結果の信頼性が安定しやすい。

【0133】

（第２の実施形態）
本発明の第２の実施形態において、計測画像を取得するための処理が完了するタイミングをユーザーが指定できる。ユーザーが指定点として指定したい位置が被写体上で撮像視野内の領域に比較的近い場合、第１の実施形態の構成は有効である。ユーザーが指定点として指定したい位置が被写体上で撮像視野内の領域から比較的遠い場合には、ユーザーが指定したい位置が撮像視野に入るまで内視鏡先端を移動させる必要がある。しかしながら、内視鏡先端が移動している間に、ＳｆＭに最低限必要な枚数の計測画像の取得が終了する可能性がある。その結果、内視鏡先端が目的地に到達するまでに計測画像の取得が終了する可能性がある。第２の実施形態の内視鏡装置１は、ユーザーが指定したい指定点を含む計測画像を確実に取得するための機能を有する。

【0134】

第２の実施形態において、図３に示すＣＰＵ１８ａは、図１０に示すＣＰＵ１８ｂに変更される。図１０は、ＣＰＵ１８ｂの機能構成を示す。図３に示す構成と同じ構成の説明を省略する。

【0135】

ＣＰＵ１８ｂは、図３に示す構成に加えて、画像選択部１９０を有する。画像取得条件に基づく計測画像の取得が終了した後、メイン制御部１８０は、第１の数と第２の数とを比較する。第１の数は、撮像素子２８から取得された計測画像の枚数を示す。以下の例では、第１の数は、現在までに取得された計測画像の枚数を示す。第２の数は、３次元形状の復元に必要な計測画像の枚数を示し、かつ少なくとも２枚である。以下の例では、第２の数は、ＳｆＭに最低限必要な計測画像の枚数を示す。第１の数が第２の数と同じである場合、３次元形状復元部１８５は、被写体の３次元形状を復元する。

【0136】

第１の数が第２の数よりも大きい場合、画像選択部１９０は、撮像素子２８から取得された計測画像のうち少なくとも第２の数の計測画像を選択する。つまり、画像選択部１９０は、第２の数と同数もしくは第２の数よりも多い数の計測画像を選択する。以下の例では、画像選択部１９０は、３次元形状の復元に必要な枚数の計測画像を選択する。３次元形状復元部１８５は、選択された計測画像を使用して被写体の３次元形状を復元する。

【0137】

例えば、画像選択部１９０は、撮像素子２８から取得された計測画像の各々の重なりの度合いに基づいて少なくとも第２の数の計測画像を選択する。あるいは、画像選択部１９０は、撮像素子２８から取得された計測画像のうち最初に取得された計測画像と、撮像素子２８から取得された計測画像のうち最後に取得された計測画像とを含む第２の数の計測画像を選択する。

【0138】

操作部４が画像取得終了指示（３次元形状の復元の実行指示）をユーザーから受け付け、かつ第１の数が第２の数よりも小さい場合、操作部４は、撮像視野を変更させる第２の方向（角度変更方向）をユーザーから受け付ける。第２の方向は、前回ユーザーから受け付けられた角度変更方向と同じである。あるいは、第２の方向は、前回ユーザーから受け付けられた角度変更方向と異なる。湾曲制御部１８７は、操作部４によって受け付けられた第２の方向を認識する。湾曲制御部１８７は、湾曲機構１１に、認識された第２の方向に第１の情報が示す速さで撮像視野を再度変更させ、または認識された第２の方向に第１の情報が示す距離だけ撮像視野を再度変更させる。第１の情報は、撮像視野を変更させる速さ（角度変更速さ）または撮像視野を変更させる距離（角度変更量）を示す。第２の方向に撮像視野が変更された後、画像取得部１８１は、第２の情報が示すタイミングで少なくとも１枚の計測画像を撮像素子２８から取得する。第２の情報は、３次元形状の復元に使用される画像を取得するタイミングを示す。第１の情報および第２の情報は、画像取得モード（計測モード）における画像取得条件を規定する。

【0139】

第３の数と第４の数との合計が第２の数になるまで、内視鏡装置１は、画像取得条件に基づいて計測画像を繰り返し取得する。第３の数は、操作部４が画像取得終了指示をユーザーから受け付ける前に撮像素子２８から取得された計測画像の枚数を示す。第４の数は、操作部４が画像取得終了指示をユーザーから受け付けた後に撮像素子２８から取得された計測画像の枚数を示す。

【0140】

図１１および図１２を使用して、第２の実施形態における計測処理について説明する。図１１および図１２は、計測処理の手順を示す。図６に示す処理と同じ処理の説明を省略する。

【0141】

ユーザーは、ステップＳ１０９において表示された第ｎの計測画像を確認することにより、自身が計測対象として認識している領域の計測画像を取得できたか否かを判断する。その領域の計測画像を取得できたとユーザーが判断した場合、ユーザーは画像取得終了指示を操作部４に入力する。画像取得終了指示は、計測画像の取得を終了し、かつＳｆＭおよび３次元形状の復元を実行する指示を示す。ステップＳ１０９の後、操作部４は、画像取得終了指示をユーザーから受け付ける。操作部４に入力された画像取得終了指示は、制御インタフェース１７を経由してＣＰＵ１８ｂに入力される。メイン制御部１８０は、画像取得終了指示をユーザーから受け付けたか否かを判断する（ステップＳ１２１）。

【0142】

ステップＳ１２１において、画像取得終了指示をユーザーから受け付けていないとメイン制御部１８０が判断した場合、ステップＳ１０５における処理が実行される。ステップＳ１２１において、画像取得終了指示をユーザーから受け付けたとメイン制御部１８０が判断した場合、メイン制御部１８０は、変数ｎと所定の枚数とを比較する。変数ｎは、取得された計測画像の枚数を示す。所定の枚数は、ＳｆＭに最低限必要な計測画像の枚数を示す。所定の枚数は、少なくとも２枚である。メイン制御部１８０は、比較結果に基づいて、適切な枚数の計測画像が取得されたか否かを判断する（ステップＳ１２２）。

【0143】

変数ｎが所定の枚数と同じである場合、メイン制御部１８０は、適切な枚数の計測画像が取得されたと判断する。その場合、ステップＳ１１１における処理が実行される。変数ｎが所定の枚数と異なる場合、メイン制御部１８０は、適切な枚数の計測画像が取得されていないと判断する。その場合、メイン制御部１８０は、変数ｎが所定の枚数よりも少ないか否かを判断する（ステップＳ１２３）。

【0144】

ユーザーが指定点として指定したい位置が被写体上で撮像視野内の領域から遠い場合、内視鏡先端がその位置に近づくまでに時間がかかる。そのため、適切な枚数よりも多くの計測画像が取得されるという現象が発生する場合がある。ステップＳ１２３において、変数ｎが所定の枚数よりも多いとメイン制御部１８０が判断した場合、画像選択部１９０は、撮像素子２８から取得された計測画像を間引けるか否かを判断する（ステップＳ１２４）。計測画像を間引くことは、撮像素子２８から取得された計測画像を使用予定画像と非使用画像とに分類することを意味する。使用予定画像は、ＳｆＭと３次元形状の復元とを含む３Ｄ再構成に使用される。非使用画像は、３Ｄ再構成に使用されない。

【0145】

ステップＳ１２４において、計測画像を間引けないと画像選択部１９０が判断した場合、ステップＳ１１１における処理が実行される。この場合、撮像素子２８から取得された計測画像の全てがステップＳ１１１における３Ｄ再構成に使用される。ステップＳ１２４において、計測画像を間引けると画像選択部１９０が判断した場合、画像選択部１９０は、撮像素子２８から取得された計測画像を間引く。これにより、画像選択部１９０は、ＳｆＭに必要な画像のみを使用予定画像として選択する（ステップＳ１２５）。

【0146】

非使用画像は、撮像素子２８から取得された計測画像のうち使用予定画像を除く計測画像である。画像選択部１９０は、非使用画像を削除してもよい。ステップＳ１２４およびステップＳ１２５における処理の例については後述する。

【0147】

ステップＳ１２５の後、ステップＳ１１１における処理が実行される。この場合、画像選択部１９０によって使用予定画像として選択された計測画像が３Ｄ再構成に使用される。

【0148】

ステップＳ１２３において、変数ｎが所定の枚数よりも少ないとメイン制御部１８０が判断した場合、ステップＳ１２６からステップＳ１３０の各々における処理が実行される。ステップＳ１２６からステップＳ１３０はそれぞれ、ステップＳ１０５からステップＳ１０９と同じである。

【0149】

操作部４は、ステップＳ１２６において、撮像視野を変更させる角度変更方向（第２の方向）をユーザーから受け付ける。湾曲制御部１８７は、ステップＳ１２６において、操作部４によって受け付けられた角度変更方向を認識する。湾曲制御部１８７は、ステップＳ１２７において、湾曲機構１１に、認識された角度変更方向に角度変更速さでかつ角度変更量だけ湾曲角度を変更させる。画像取得部１８１は、ステップＳ１２９において、第ｎの計測画像を撮像素子２８から取得する。表示制御部１８２は、ステップＳ１３０において、第ｎの計測画像を表示部５に表示し、かつ計測画像の取得に関する進捗状況を示す情報を表示部５に表示する。

【0150】

ステップＳ１３０の後、メイン制御部１８０は、変数ｎと所定の枚数とを比較する。変数ｎは、取得された計測画像の枚数を示す。所定の枚数は、ステップＳ１２２における処理で使用される所定の枚数と同じである。メイン制御部１８０は、比較結果に基づいて、取得された計測画像の枚数が所定の枚数に達したか否かを判断する（ステップＳ１３１）。

【0151】

ステップＳ１３１において、取得された計測画像の枚数が所定の枚数に達したとメイン制御部１８０が判断した場合、ステップＳ１１１における処理が実行される。ステップＳ１３１において、取得された計測画像の枚数が所定の枚数に達していないとメイン制御部１８０が判断した場合、ステップＳ１２６における処理が実行される。

【0152】

第１の数が第２の数よりも小さい場合、表示制御部１８２は、第１の数が第２の数に到達していないことをユーザーに通知してもよい。例えば、ステップＳ１２６における処理が実行される前に表示制御部１８２は、取得された計測画像の枚数がＳｆＭに最低限必要な計測画像の枚数よりも少ないことを示す情報を表示部５に表示する。その情報は、文字、アイコン、または記号等を含む。表示制御部１８２は、追加で取得する必要がある計測画像の枚数を示す情報を表示部５に表示してもよい。ユーザーへの通知方法は、表示部５による情報の表示に限定されない。例えば、第１の数が第２の数に到達していないことを示す音声が出力されてもよい。

【0153】

画像を間引くための処理の例を説明する。例えば、撮像素子２８から取得された２枚以上の計測画像の各々の重なりの度合いに基づいて計測画像を選択する方法を適用できる。画像選択部１９０は、１枚の計測画像と、その計測画像の２枚後の計測画像との間で共通する領域の割合を算出する。例えば、計測画像Ａ、計測画像Ｂ、および計測画像Ｃがこの順に取得される。画像選択部１９０は、計測画像Ａと計測画像Ｃとの間で共通する領域の割合を算出する。その割合が所定の閾値よりも大きい場合、画像選択部１９０は、領域の割合の算出に使用された２枚の計測画像の間に取得された計測画像を間引くことができると判断する。例えば、計測画像Ａと計測画像Ｃとの間で共通する領域の割合が所定の閾値よりも大きい場合、画像選択部１９０は、計測画像Ｂを間引くことができると判断する。図１３を使用して具体的な例を説明する。

【0154】

撮像素子２８から取得された計測画像は、図１３に示す計測画像Ｉ３０１、計測画像Ｉ３０２、および計測画像Ｉ３０３を含む。計測画像Ｉ３０１が撮像素子２８から取得された後、計測画像Ｉ３０２が撮像素子２８から取得される。計測画像Ｉ３０２が撮像素子２８から取得された後、計測画像Ｉ３０３が撮像素子２８から取得される。

【0155】

画像選択部１９０は、計測画像Ｉ３０１と計測画像Ｉ３０３との間で共通する領域Ｒ３１１の面積（ピクセル数）を算出する。次に、画像選択部１９０は、画像の全ピクセル数に対する領域Ｒ３１１の面積の割合を算出する。画像の全ピクセル数は、水平ピクセル数に垂直ピクセル数を乗じた数である。画像選択部１９０は、算出された割合と所定の閾値とを比較する。算出された割合が所定の閾値よりも大きい場合、画像選択部１９０は、計測画像Ｉ３０２を間引くことができると判断する。算出された割合が所定の閾値よりも小さい場合、画像選択部１９０は、計測画像Ｉ３０２を間引かないと判断する。内視鏡装置１は、上記の処理を実行することにより、ＳｆＭに使用される計測画像の枚数を減らすことができる。そのため、処理時間が短縮される。

【0156】

領域Ｒ３１１の面積の割合が所定の閾値よりも大きい場合、画像選択部１９０は、以下の２つの割合を算出する処理を追加で実行してもよい。画像選択部１９０は、上記と同様に、計測画像Ｉ３０１と計測画像Ｉ３０２との間で共通する領域の割合を算出し、かつ計測画像Ｉ３０２と計測画像Ｉ３０３との間で共通する領域の割合を算出する。これらの割合の全てが所定の閾値よりも大きい場合、画像選択部１９０は、計測画像Ｉ３０２を間引くことができると判断してもよい。

【0157】

計測画像Ｉ３０１と計測画像Ｉ３０３との間で共通する領域が大きく、かつ計測画像Ｉ３０２とその他の計測画像との間で共通する領域が小さい場合がある。その場合、領域Ｒ３１１の割合のみに基づいて判断を実行することにより、計測画像Ｉ３０２が間引かれる可能性がある。

【0158】

上記の追加処理を実行することにより得られる効果を、図１４を使用して説明する。撮像素子２８から取得された計測画像は、図１４に示す計測画像Ｉ４０１、計測画像Ｉ４０２、および計測画像Ｉ４０３を含む。計測画像Ｉ４０１が撮像素子２８から取得された後、計測画像Ｉ４０２が撮像素子２８から取得される。計測画像Ｉ４０２が撮像素子２８から取得された後、計測画像Ｉ４０３が撮像素子２８から取得される。

【0159】

領域Ｒ４１１は、計測画像Ｉ４０１と計測画像Ｉ４０３との間で共通する。領域Ｒ４１２および領域Ｒ４１３は、計測画像Ｉ４０１と計測画像Ｉ４０２との間で共通するが、計測画像Ｉ４０３と計測画像Ｉ４０２との間で共通しない。画像選択部１９０は、領域Ｒ４１１の割合を算出する。上記の追加処理が実行されない場合、画像選択部１９０は、領域Ｒ４１１の割合が所定の閾値よりも大きいことを確認することのみにより、計測画像Ｉ３０２を間引くことができると判断する。計測画像Ｉ３０２が間引かれた後、領域Ｒ４１２および領域Ｒ４１３は、ＳｆＭに使用される計測画像Ｉ４０１と計測画像Ｉ４０３との間で共通しない。そのため、領域Ｒ４１２および領域Ｒ４１３において、ＳｆＭにより３次元形状が復元できない。

【0160】

上記の追加処理が実行される場合、画像選択部１９０は、領域Ｒ４１２および領域Ｒ４１３の少なくとも１つの割合が所定の閾値よりも小さいことを確認することにより、計測画像Ｉ４０２を間引かないと判断する。そのため、領域Ｒ４１２および領域Ｒ４１３において、ＳｆＭにより３次元形状が復元できる。

【0161】

画像選択部１９０は、撮像素子２８から最初に取得された計測画像と、撮像素子２８から最後に取得された計測画像とを少なくとも選択してもよい。例えば、第１から第７の計測画像が順に取得される。第７の計測画像が取得された後、ステップＳ１２１においてユーザーから画像取得終了指示が受け付けられる。ＳｆＭに最低限必要な計測画像の枚数は５枚である。この場合、画像選択部１９０は、第１の計測画像と第７の計測画像とを使用予定画像として選択し、かつ第２から第６の計測画像のうち３枚の計測画像を使用予定画像として選択してもよい。

【0162】

ユーザーが注目する領域が画像に含まれるとき、ユーザーは内視鏡装置１の動作モードを検査モードから計測モードに移行させると考えられる。そのため、撮像素子２８から最初に取得された計測画像に計測点または基準点が指定される可能性が高い。同様に、ユーザーが注目する領域が画像に含まれるとき、ユーザーは画像取得終了指示を操作部４に入力すると考えられる。そのため、撮像素子２８から最後に取得された計測画像に計測点または基準点が指定される可能性が高い。内視鏡装置１は、ユーザーが基準距離を設定したい領域またはユーザーが計測対象として認識している領域を含む計測画像を取得することができる。そのため、検査効率が向上し、かつＳｆＭの処理結果の信頼性が高まる。

【0163】

図１１および図１２に従った処理の例を説明する。図１５は、ステップＳ１２１においてユーザーから画像取得終了指示が受け付けられるまでの内視鏡先端の動きと取得される計測画像とを示す。例えば、領域Ｒ５１１が画像に写っているとき、計測画像の取得が開始される。領域Ｒ５１１は、ユーザーが基準距離を設定したい領域である。ステップＳ１０２において、領域Ｒ５１１を含む計測画像Ｉ５０１が取得される。計測画像Ｉ５０１が取得された後、ステップＳ１０５においてユーザーから受け付けられた角度変更方向に基づいて、ステップＳ１０６において内視鏡先端の視点が変更される。その後、ステップＳ１０８において計測画像Ｉ５０２が取得される。計測画像Ｉ５０２が取得された後、同様にステップＳ１０６において内視鏡先端の視点が変更され、かつステップＳ１０８において計測画像Ｉ５０３が取得される。この時点で、３枚の計測画像が取得される。

【0164】

計測画像Ｉ５０３は、ユーザーが計測対象として認識している領域Ｒ５１２を含む。ユーザーは、領域Ｒ５１２が計測画像Ｉ５０３に含まれることを確認し、かつ画像取得終了指示を操作部４に入力する。メイン制御部１８０は、ステップＳ１２２において、取得された計測画像の枚数と、ＳｆＭに最低限必要な計測画像の枚数とを比較する。取得された計測画像の枚数は３枚であり、かつＳｆＭに最低限必要な計測画像の枚数は５枚である。ＳｆＭを実行するためには２枚の画像が足りないため、メイン制御部１８０は、ステップＳ１２３において、計測画像が少ないと判断する。

【0165】

図１６は、ＳｆＭに最低限必要な枚数の計測画像が取得されるまでの内視鏡先端の動きと取得される計測画像とを示す。ユーザーから画像取得終了指示が受け付けられた後に計測画像を取得するための処理を説明する。ステップＳ１２６においてユーザーから受け付けられた角度変更方向に基づいて、ステップＳ１２７において内視鏡先端の視点が変更される。例えば、ユーザーは、計測画像Ｉ５０３を取得するために指示された角度変更方向と同じ角度変更方向を内視鏡装置１に指示する。その後、ステップＳ１２９において計測画像Ｉ５０４が取得される。計測画像Ｉ５０４が取得された後、同様にステップＳ１２７において内視鏡先端の視点が変更され、かつステップＳ１２９において計測画像Ｉ５０５が取得される。計測画像Ｉ５０５が取得されたとき、ＳｆＭに最低限必要な枚数の計測画像の取得が終了する。

【0166】

その後、ステップＳ１１１において３次元形状復元部１８５は、３Ｄ再構成を実行することにより、ＳｆＭを実行し、かつ被写体の３次元形状を復元する。ステップＳ１１３において、ユーザーは計測点および基準点を指定する。図１６に示す例では、基準点Ｐ５２１および基準点Ｐ５２２が計測画像Ｉ５０１に設定される。図１６に示す例では、計測点Ｐ５２３および計測点Ｐ５２４が計測画像Ｉ５０３に設定される。

【0167】

ユーザーから画像取得終了指示が受け付けられた後、ＳｆＭに必要な２枚の計測画像が追加で取得される。そのため、ＳｆＭの処理結果の信頼性が高まる。

【0168】

ユーザーが指定する基準点と計測点との位置関係によらず、内視鏡装置１は、ＳｆＭに最低限必要な枚数の計測画像を取得することができる。その結果、検査効率が向上し、かつＳｆＭの処理結果の信頼性が高まる。

【0169】

（第２の実施形態の第１の変形例）
図１２に示すステップＳ１２６において、ユーザーから角度変更方向が受け付けられる。しかしながら、必ずしもユーザーが角度変更方向を操作部４に入力する必要はない。ステップＳ１２１においてユーザーから画像取得終了指示（３次元形状の復元の実行指示）が受け付けられたとき、ユーザーが基準点と計測点とを指定したい領域を含む計測画像が取得済みであると考えられる。そのため、内視鏡装置１は、ＳｆＭの実行のために不足している計測画像を取得しさえすればよい。このような理由から、第２の実施形態の第１の変形例の内視鏡装置１は、湾曲角度を変更するための制御をユーザーの代わりに実行する。

【0170】

操作部４が画像取得終了指示をユーザーから受け付ける前、操作部４は、撮像視野を変更させる角度変更方向をユーザーから受け付ける。湾曲制御部１８７は、操作部４によって受け付けられた角度変更方向を認識する。操作部４が画像取得終了指示をユーザーから受け付け、かつ第１の数が第２の数よりも小さい場合、湾曲制御部１８７は、認識された角度変更方向に基づいて、撮像視野を変更させる第２の方向（角度変更方向）を決定する。第１の数は、撮像素子２８から取得された計測画像の枚数を示す。以下の例では、第１の数は、現在までに取得された計測画像の枚数を示す。第２の数は、３次元形状の復元に必要な計測画像の枚数を示し、かつ少なくとも２枚である。以下の例では、第２の数は、ＳｆＭに最低限必要な計測画像の枚数を示す。例えば、第２の方向は、前回ユーザーから受け付けられた角度変更方向と同じである。湾曲制御部１８７は、湾曲機構１１に、決定された第２の方向に第１の情報が示す速さで撮像視野を再度変更させ、または決定された第２の方向に第１の情報が示す距離だけ撮像視野を再度変更させる。第１の情報は、撮像視野を変更させる速さ（角度変更速さ）または撮像視野を変更させる距離（角度変更量）を示す。第２の方向に撮像視野が変更された後、画像取得部１８１は、第２の情報が示すタイミングで少なくとも１枚の計測画像を撮像素子２８から取得する。第２の情報は、３次元形状の復元に使用される画像を取得するタイミングを示す。第１の情報および第２の情報は、画像取得モード（計測モード）における画像取得条件を規定する。

【0171】

第５の数と第６の数との合計が第２の数になるまで、内視鏡装置１は、画像取得条件に基づいて計測画像を繰り返し取得する。第５の数は、操作部４が画像取得終了指示をユーザーから受け付ける前に撮像素子２８から取得された計測画像の枚数を示す。第６の数は、操作部４が画像取得終了指示をユーザーから受け付けた後に撮像素子２８から取得された計測画像の枚数を示す。操作部４が画像取得終了指示をユーザーから受け付けた後の各回の画像取得処理において、湾曲制御部１８７は、以前にユーザーから受け付けられた角度変更方向、または以前に湾曲制御部１８７によって決定された角度変更方向に基づいて、角度変更方向を決定する。

【0172】

図１７は、図１２に示す処理の代わりに実行される処理の手順を示す。図１２に示す処理と同じ処理の説明を省略する。

【0173】

図１２に示すステップＳ１２６は、図１７に示すステップＳ１４１に変更される。ステップＳ１２３において、変数ｎが所定の枚数よりも少ないとメイン制御部１８０が判断した場合、湾曲制御部１８７は、ステップＳ１０５においてユーザーから受け付けられた角度変更方向に基づいて、新たな角度変更方向を決定する。例えば、湾曲制御部１８７は、第ｎの計測画像を取得するためにユーザーから受け付けられた角度変更方向に基づいて、第（ｎ＋１）の計測画像を取得するために使用される角度変更方向を決定する（ステップＳ１４１）。ステップＳ１４１の後、ステップＳ１２７における処理が実行される。

【0174】

ステップＳ１０５における処理が複数回実行された場合、ユーザーから受け付けられた複数の角度変更方向がＲＡＭ１４に保持されてもよい。湾曲制御部１８７は、ユーザーから受け付けられた複数の角度変更方向に基づいて新たな角度変更方向を決定してもよい。

【0175】

ステップＳ１３１において、取得された計測画像の枚数が所定の枚数に達していないとメイン制御部１８０が判断した場合、ステップＳ１４１における処理が実行される。湾曲制御部１８７は、ステップＳ１０５においてユーザーから受け付けられた角度変更方向、または以前にステップＳ１４１において決定された角度変更方向に基づいて、新たな角度変更方向を決定する。

【0176】

図１８を使用して、角度変更方向を制御するための具体的な例を説明する。図１８は、撮像素子２８から取得された計測画像を示す。計測画像Ｉ６０１が取得された後、ユーザーから画像取得終了指示が受け付けられる。湾曲制御部１８７は、計測画像Ｉ６０１を取得するためにユーザーから受け付けられた角度変更方向に基づいて、計測画像Ｉ６０２を取得するために使用される角度変更方向を決定する。例えば、決定された角度変更方向は、ユーザーから受け付けられた角度変更方向と同じである。

【0177】

計測画像Ｉ６０２が取得された後、湾曲制御部１８７は、計測画像Ｉ６０２を取得するために使用された角度変更方向に基づいて、計測画像Ｉ６０３を取得するために使用される角度変更方向を決定する。例えば、決定された角度変更方向は、計測画像Ｉ６０２を取得するために使用された角度変更方向と異なる。

【0178】

計測画像Ｉ６０３が取得された後、湾曲制御部１８７は、計測画像Ｉ６０３を取得するために使用された角度変更方向に基づいて、計測画像Ｉ６０４を取得するために使用される角度変更方向を決定する。例えば、決定された角度変更方向は、計測画像Ｉ６０３を取得するために使用された角度変更方向と異なる。

【0179】

計測画像Ｉ６０４が取得された後、湾曲制御部１８７は、計測画像Ｉ６０４を取得するために使用された角度変更方向に基づいて、計測画像Ｉ６０５を取得するために使用される角度変更方向を決定する。例えば、決定された角度変更方向は、計測画像Ｉ６０４を取得するために使用された角度変更方向と異なる。

【0180】

図１８に示す例では、計測画像Ｉ６０１に含まれる領域の周辺領域の画像を取得するために、反時計回りに角度変更方向が変化する。追加で取得された４枚の計測画像は、計測画像Ｉ６０１の中心の領域を含む。角度変更方向を制御するための方法は、図１８に示す方法に限定されない。

【0181】

内視鏡装置１は、ユーザーから画像取得終了指示が受け付けられる前に取得された計測画像に含まれる領域の周辺領域の画像を取得するために角度変更方向を制御する。その結果、ユーザーが注目する指定点（計測点および基準点）を含む計測画像を増やすことができる。同じ指定点が多くの画像に含まれるほうが計測精度は高い。そのため、ＳｆＭの後に実行される寸法計測の精度が高まる。

【0182】

（第２の実施形態の第２の変形例）
本発明の第２の実施形態の第２の変形例において、操作部４および表示部５は一体化され、かつタッチパネルとして構成されている。ユーザーは、タッチパネルを操作することにより、角度変更方向および目的地を操作部４に入力する。湾曲制御部１８７は、撮像視野の中心が目的地と一致するまで、湾曲機構１１に、内視鏡先端を湾曲させる。

【0183】

目的地は、角度変更方向を規定するための仮の目的地であってもよい。例えば、湾曲制御部１８７は、撮像視野の中心が仮の目的地と一致するまで、湾曲機構１１に、内視鏡先端を湾曲させる。その後、湾曲制御部１８７は、角度変更方向を保ったまま、湾曲機構１１に、内視鏡先端をさらに湾曲させる。

【0184】

操作部４は、角度変更方向に加えて、撮像視野内の位置をユーザーから受け付ける。例えば、ユーザーは、表示部５に表示された計測画像上の位置をタッチする。そのとき、操作部４は、その位置を受け付ける。湾曲制御部１８７は、操作部４によって受け付けられた位置を認識する。画像取得条件を規定する第１の情報は、撮像視野を変更させる速さを示す。湾曲制御部１８７は、湾曲機構１１に、撮像視野の中心が上記の位置と一致するまで、認識された湾曲変更方向に第１の情報が示す速さで撮像視野を変更させる。

【0185】

操作部４は、ユーザーから角度変更方向および目的地を同時に受け付けてもよい。例えば、操作部４は、上記と同様に、表示部５に表示された計測画像上の位置を受け付ける。表示部５に表示された計測画像の中心は、現在の撮像視野の中心と同じである。そのため、湾曲制御部１８７は、計測画像の中心と、ユーザーから受け付けられた計測画像上の位置とに基づいて、角度変更方向を算出することができる。

【0186】

ユーザーは、湾曲による移動の目的地を内視鏡装置１に指示することができる。そのため、ユーザーは、計測画像を取得するときの内視鏡先端の位置を内視鏡装置１に容易に指示することができる。

【0187】

（第３の実施形態）
本発明の第３の実施形態において、ユーザーは、自身が指定した指定点が複数の計測画像に含まれているか否かを確認する。ＳｆＭが実行される前にこの確認が行われる。計算負荷の大きいＳｆＭが実行される前に、ユーザーは、自身が指定したい計測点で寸法計測を実行できるか否かを判断できる。寸法計測が失敗する前に、内視鏡装置１は、計測画像の再取得を早い段階でユーザーに促すことができる。

【0188】

第３の実施形態において、図３に示すＣＰＵ１８ａは、図１９に示すＣＰＵ１８ｃに変更される。図１９は、ＣＰＵ１８ｃの機能構成を示す。図３に示す構成と同じ構成の説明を省略する。

【0189】

ＣＰＵ１８ｃは、図３に示す構成に加えて、領域検出部１９１を有する。撮像素子２８から取得された計測画像は、１枚の第１の画像と、少なくとも１枚の第２の画像とを含む。領域検出部１９１は、第１の画像と第２の画像との間で重なる領域を検出する。表示制御部１８２は、第１の画像を処理することにより、第１の画像におけるその領域を視認可能にする。表示制御部１８２は、処理された第１の画像を表示部５に表示する。

【0190】

第１の画像が表示部５に表示された後、操作部４は、３次元形状の復元の実行指示をユーザーから受け付ける。操作部４が３次元形状の復元の実行指示を受け付けた場合、３次元形状復元部１８５は、被写体の３次元形状を復元する。

【0191】

図２０を使用して、第３の実施形態における計測処理について説明する。図２０は、計測処理の手順を示す。図６に示す処理と同じ処理の説明を省略する。

【0192】

ステップＳ１１０において、取得された計測画像の枚数が所定の枚数に達したとメイン制御部１８０が判断した場合、メイン制御部１８０は、取得された計測画像を使用する寸法計測が可能であるか否かを判断する（ステップＳ１５１）。ユーザーは、自身が指定点として指定したい位置における寸法計測が可能であるか否かを判断する。具体的には、ユーザーは、自身が指定点として指定したい位置が少なくとも２枚の計測画像に含まれているか否かを判断する。ユーザーは判断結果を操作部４に入力する。操作部４は、判断結果をユーザーから受け付ける。操作部４に入力された判断結果は、制御インタフェース１７を経由してＣＰＵ１８ｃに入力される。メイン制御部１８０は、ステップＳ１５１において、ユーザーによって入力された判断結果に基づいて、取得された計測画像を使用する寸法計測が可能であるか否かを判断する。

【0193】

ステップＳ１５１において、取得された計測画像を使用する寸法計測が可能であるとメイン制御部１８０が判断した場合、ステップＳ１１１における処理が実行される。ステップＳ１５１において、取得された計測画像を使用する寸法計測が可能ではないとメイン制御部１８０が判断した場合、計測処理が終了する。その場合、内視鏡装置１の動作モードは計測モードから検査モードへ移行する。ユーザーは、構図および撮像条件を再度設定し、かつ内視鏡装置１の動作モードを検査モードから計測モードへ移行させるための操作を再度行う。その後、内視鏡装置１は、計測画像を取得するための処理を再度実行する。

【0194】

ステップＳ１５１において、取得された計測画像を使用する寸法計測が可能ではないとメイン制御部１８０が判断した場合、内視鏡装置１は、図１２に示す処理と同じ処理を実行してもよい。これにより、内視鏡装置１は、計測画像を追加で取得することができる。

【0195】

図２１を使用して、ステップＳ１５１の詳細を説明する。図２１は、ステップＳ１５１において実行される判断処理を示す。

【0196】

以下では、図２２に示す５枚の計測画像が取得された場合の例を説明する。計測画像Ｉ７０１が最初に取得される。計測画像Ｉ７０１は、ユーザーが計測点Ｐ７２１および計測点Ｐ７２２を指定したい領域を含む。また、計測画像Ｉ７０１は、ユーザーが基準点Ｐ７２３および基準点Ｐ７２４を指定したい領域を含む。ユーザーが指定したい４つの指定点の各々の位置が図２２に示されている。４つの指定点は、２つの基準点および２つの計測点を含む。ステップＳ１５１における処理が実行されたとき、図２２に示す４つの指定点はまだ指定されていない。

【0197】

撮像視野が方向Ｄ７１１に沿って変更された後、計測画像Ｉ７０２が取得される。撮像視野が方向Ｄ７１２に沿って変更された後、計測画像Ｉ７０３が取得される。撮像視野が方向Ｄ７１３に沿って変更された後、計測画像Ｉ７０４が取得される。撮像視野がさらに方向Ｄ７１３に沿って変更された後、計測画像Ｉ７０５が取得される。

【0198】

領域検出部１９１は、取得された２枚以上の計測画像を使用して画像ペアを生成する（ステップＳ１５１１）。画像ペアは、互いに異なる２枚の計測画像を含む。画像ペアは、取得された２枚以上の計測画像から任意に選択された２枚の計測画像を含む。取得された２枚以上の計測画像の各々は、少なくとも１つの画像ペアに含まれる。例えば、取得された２枚以上の計測画像のうちの１枚を第１の画像と定義する。第１の画像を除く少なくとも１枚の計測画像を第２の画像と定義する。画像ペアは、１枚の第１の画像と１枚の第２の画像とを含む。全ての第２の画像は、第１の画像と一緒にいずれか１つの画像ペアに含まれる。第１の画像ペアの第１の画像と第２の画像ペアの第２の画像とが同じであり、かつ第１の画像ペアの第２の画像と第２の画像ペアの第１の画像とが同じである場合、第１の画像ペアおよび第２の画像ペアは１つの画像ペアに統合される。例えば、５枚の計測画像が取得された場合、１０個の画像ペアが生成される。

【0199】

ステップＳ１５１１の後、領域検出部１９１は、１つの画像ペアを選択し、かつ選択された画像ペアに含まれる２枚の計測画像の間で重なる領域を検出する。つまり、領域検出部１９１は、第１の画像と第２の画像との間で重なる領域を検出する（ステップＳ１５１２）。以下では、２つの計測画像の間で重なる領域を重複領域と定義する。

【0200】

ステップＳ１５１２の後、領域検出部１９１は、全ての画像ペアが処理されたか否かを判断する。つまり、領域検出部１９１は、ステップＳ１５１２における処理が全ての画像ペアに実行されたか否かを判断する（ステップＳ１５１３）。ステップＳ１５１２における処理が実行されていない画像ペアが存在する場合、その画像ペアを使用してステップＳ１５１２における処理が実行される。

【0201】

例えば、ステップＳ１５１２において、領域検出部１９１は、図２３に示す計測画像Ｉ７０１と計測画像Ｉ７０２との間の重複領域Ｒ１２を検出する。同様に、領域検出部１９１は、計測画像Ｉ７０１と計測画像Ｉ７０３との間の重複領域Ｒ１３を検出する。領域検出部１９１は、計測画像Ｉ７０１と計測画像Ｉ７０４との間の重複領域Ｒ１４を検出する。領域検出部１９１は、計測画像Ｉ７０１と計測画像Ｉ７０５との間の重複領域Ｒ１５を検出する。領域検出部１９１は、同様の処理を繰り返すことにより、全ての画像ペアを処理する。

【0202】

ステップＳ１５１３において、全ての画像ペアが処理されたと領域検出部１９１が判断した場合、表示制御部１８２は、取得された計測画像の各々において、他の計測画像の領域と重なる領域の論理和を算出する。表示制御部１８２は、算出された論理和に対応する領域を各計測画像に重畳し、かつその計測画像を表示部５に表示する（ステップＳ１５１４）。

【0203】

例えば、上記の例では、表示制御部１８２は、計測画像Ｉ７０１を含む画像ペアにおいて、論理和を算出する。具体的には、表示制御部１８２は、重複領域Ｒ１２、重複領域Ｒ１３、重複領域Ｒ１４、および重複領域Ｒ１５の論理和を算出する。同様に、表示制御部１８２は、計測画像Ｉ７０３、計測画像Ｉ７０４、および計測画像Ｉ７０５の各々を含む画像ペアにおいて、論理和を算出する。

【0204】

図２４は、ステップＳ１５１４において表示部５に表示された各計測画像を示す。各計測画像は、サムネイル画像である。計測画像Ｉ７０１の領域Ｒ７３１、計測画像Ｉ７０２の領域Ｒ７３２、計測画像Ｉ７０３の領域Ｒ７３３、計測画像Ｉ７０４の領域Ｒ７３４、および計測画像Ｉ７０５の領域Ｒ７３５は、ステップＳ１５１４において算出された論理和に対応する。例えば、計測画像Ｉ７０１に関して、第１の画像は計測画像Ｉ７０１であり、第２の画像は計測画像Ｉ７０２、計測画像Ｉ７０３、計測画像Ｉ７０４、および計測画像Ｉ７０５である。領域Ｒ７３１は、計測画像Ｉ７０１と他の計測画像との間で重なる領域を含む。５枚の計測画像は表示部５に同時に表示される。５枚の計測画像が表示部５に順次表示されてもよい。

【0205】

表示制御部１８２は、各計測画像において、論理和に対応する領域と、その他の領域とを視覚的に区別するための画像処理を実行する。例えば、表示制御部１８２は、論理和に対応する領域に特定の色を付ける。その特定の色は、被写体の色と異なってもよい。論理和に対応する領域と、その他の領域とを視覚的に区別できる限り、計測画像を処理する方法はこの方法に限定されない。表示制御部１８２は、計測画像Ｉ７０１を処理することにより、領域Ｒ７３１を視認可能にする。表示制御部１８２は、計測画像Ｉ７０１と同様に、計測画像Ｉ７０２、計測画像Ｉ７０３、計測画像Ｉ７０４、および計測画像Ｉ７０５を処理する。表示制御部１８２は、処理された各計測画像を映像信号処理回路１２に出力する。映像信号処理回路１２は、各計測画像を表示部５に出力する。表示部５は、各計測画像を表示する。

【0206】

ユーザーが指定したい計測点Ｐ７２１、計測点Ｐ７２２、基準点Ｐ７２３、および基準点Ｐ７２４の各々の位置が図２４に示されている。各計測画像が表示部５に表示されたとき、これらの指定点はまだ設定されていない。そのため、これらの指定点のアイコンは表示されていない。各計測画像が表示部５に表示されたとき、ユーザーは、図２４に示す各指定点を各計測画像上で想像する。

【0207】

ステップＳ１５１４の後、ユーザーは、表示部５に表示された各計測画像を見て、自身が指定したい指定点の全てが重複領域に含まれるか否かを確認する。ユーザーは、寸法計測が可能であるか否かを判断し、かつ判断結果を操作部４に入力する。操作部４は、判断結果をユーザーから受け付ける。操作部４に入力された判断結果は、制御インタフェース１７を経由してＣＰＵ１８ｃに入力される。メイン制御部１８０は、ユーザーによって入力された判断結果に基づいて、寸法計測が可能であるか否かを判断する（ステップＳ１５１５）。

【0208】

指定点が指定される予定の位置の全てが計測画像における重複領域に含まれる場合、ユーザーは、寸法計測が可能であると判断する。つまり、ユーザーが指定したい指定点の全てが少なくとも２枚の計測画像に含まれる場合、ユーザーは、寸法計測が可能であると判断する。指定点が指定される予定の位置の少なくとも１つが重複領域に含まれない場合、ユーザーは、寸法計測が不可能であると判断する。つまり、ユーザーが指定したい指定点の少なくとも１つが１枚の計測画像のみに含まれる場合、ユーザーは、寸法計測が不可能であると判断する。寸法計測が可能であるとユーザーが判断した場合、操作部４に入力された判断結果は、ＳｆＭおよび３次元形状の復元の実行指示を示す。

【0209】

図２４に示す例では、計測点Ｐ７２１は、計測画像Ｉ７０１、計測画像Ｉ７０２、および計測画像Ｉ７０４に含まれる。計測点Ｐ７２２は、計測画像Ｉ７０１、計測画像Ｉ７０２、計測画像Ｉ７０３、および計測画像Ｉ７０４に含まれる。基準点Ｐ７２３は、計測画像Ｉ７０１、計測画像Ｉ７０３、および計測画像Ｉ７０４に含まれる。基準点Ｐ７２４は、基準点Ｐ７２３と同様に、計測画像Ｉ７０１、計測画像Ｉ７０３、および計測画像Ｉ７０４に含まれる。

【0210】

ユーザーが指定したい各指定点が、取得された５枚の計測画像のうちの少なくとも２枚に含まれている。そのため、ユーザーは、自身が指定したい指定点における寸法計測が可能であると判断できる。少なくとも１つの指定点が１枚のみの計測画像に含まれている場合には、ユーザーは、自身が指定した指定点における寸法計測が不可能であると判断できる。

【0211】

指定点が少なくとも２枚の計測画像に含まれる場合、その指定点は重複領域に含まれる。つまり、その指定点は、領域Ｒ７３１、領域Ｒ７３２、領域Ｒ７３３、および領域Ｒ７３４の少なくとも１つに含まれる。図２４に示す例では、全ての指定点が領域Ｒ７３１、領域Ｒ７３２、領域Ｒ７３３、および領域Ｒ７３４の少なくとも１つに含まれる。つまり、全ての指定点が重複領域に含まれる。そのため、内視鏡装置１は、図２４に示す５枚の計測画像に基づいて、ユーザーが指定したい指定点における寸法計測を実行できる。

【0212】

ステップＳ１５１５において、寸法計測が可能であるとメイン制御部１８０が判断した場合、ステップＳ１１１における処理が実行される。この場合、３次元形状復元部１８５は、ユーザーが入力した実行指示に基づいて、３Ｄ再構成を実行する。ステップＳ１５１５において、寸法計測が不可能であるとメイン制御部１８０が判断した場合、計測処理が終了する。

【0213】

以下では、図２５に示す５枚の計測画像が取得された場合の例を説明する。計測画像Ｉ８０１が最初に取得される。計測画像Ｉ８０１は、ユーザーが計測点Ｐ８２１および計測点Ｐ８２２を指定したい領域を含む。また、計測画像Ｉ８０１は、ユーザーが基準点Ｐ８２３および基準点Ｐ８２４を指定したい領域を含む。ステップＳ１５１における処理が実行されたとき、図２５に示す２つの基準点および２つの計測点はまだ設定されていない。

【0214】

撮像視野が方向Ｄ８１１に沿って変更された後、計測画像Ｉ８０２が取得される。撮像視野が方向Ｄ８１２に沿って変更された後、計測画像Ｉ８０３が取得される。撮像視野が方向Ｄ８１３に沿って変更された後、計測画像Ｉ８０４が取得される。撮像視野がさらに方向Ｄ８１３に沿って変更された後、計測画像Ｉ８０５が取得される。

【0215】

図２６は、ステップＳ１５１４において表示部５に表示された各計測画像を示す。各計測画像は、サムネイル画像である。計測画像Ｉ８０１の領域Ｒ８３１、計測画像Ｉ８０２の領域Ｒ８３２、計測画像Ｉ８０３の領域Ｒ８３３、計測画像Ｉ８０４の領域Ｒ８３４、および計測画像Ｉ８０５の領域Ｒ８３５は、ステップＳ１５１４において算出された論理和に対応する。

【0216】

図２６に示す例では、計測点Ｐ８２１は、計測画像Ｉ８０１、計測画像Ｉ８０２、および計測画像Ｉ８０３に含まれる。計測点Ｐ８２２は、計測画像Ｉ８０１、計測画像Ｉ８０２、計測画像Ｉ８０３、および計測画像Ｉ８０４に含まれる。基準点Ｐ８２３は、計測画像Ｉ８０１のみに含まれる。基準点Ｐ８２４は、計測画像Ｉ８０１および計測画像Ｉ８０３に含まれる。

【0217】

基準点Ｐ８２３は１つの計測画像Ｉ８０１のみに含まれる。そのため、基準点Ｐ８２３は計測画像Ｉ８０１の領域Ｒ８３１に含まれていない。ユーザーは、寸法計測が不可能であると判断できる。

【0218】

図２４および図２６に示す例では、サムネイル画像が表示される。表示部５に表示される画像は必ずしもサムネイル画像ではなくてもよい。領域の重なりをユーザーに通知できる限り、どのような表示方法が使用されてもよい。

【0219】

内視鏡装置１は、画像ペア毎に、２枚の計測画像の間で重なる領域を検出し、かつその領域が重畳された各計測画像を表示部５に表示する。そのため、ユーザーは、自身が指定したい計測点および基準点を使用する寸法計測が可能か否かを簡単に判断することができる。図２０および図２１に示す計測処理では、計算負荷の大きいＳｆＭが実行される前に、寸法計測が可能か否かをユーザーが判断することができる。ユーザーが指定したい２つ以上の指定点のうち少なくとも１つが１枚の計測画像のみに含まれる場合、内視鏡装置１は、早い段階で計測画像の再取得をユーザーに促すことができる。

【0220】

２枚の計測画像の間で重なる領域をユーザーが識別できる限り、その領域の表示方法は、その領域に色を付ける方法に限定されない。例えば、その領域を囲む線が表示されてもよい。また、計測画像に重畳され、かつ表示される領域の色は１色のみに限定されない。例えば、３枚の計測画像間で重なる領域では、計測精度が高まる。そのため、内視鏡装置１は、その領域を、２枚のみの計測画像間で重なる領域とは異なる色で表示してもよい。

【0221】

内視鏡装置１は、図３に示すＣＰＵ１８ａを有してもよい。その場合、表示制御部１８２は、撮像素子２８から取得された２枚以上の計測画像の全てを表示部５に表示する。表示制御部１８２は、２枚の計測画像の間で重なる領域を計測画像に重畳させる必要はない。内視鏡装置１は、計測画像を表示することにより、寸法計測が可能であるか否かを判断するユーザーを支援する。しかし、内視鏡装置１は、これ以外の支援を行う必要はない。ユーザーは、表示部５に表示された計測画像を見て、自身が指定したい指定点の全てが２枚以上の計測画像に含まれるか否かを確認する。ユーザーは、寸法計測が可能であるか否かを判断し、かつ判断結果を操作部４に入力する。その後に実行される処理は、前述した処理と同様である。

【0222】

（第４の実施形態）
第３の実施形態において、２枚の計測画像の間で重なる領域、すなわち寸法計測が可能な領域を内視鏡装置１が可視化する。また、第３の実施形態において、ユーザーは、自身が指定したい指定点が、可視化された領域に含まれるか否かを判定する。本発明において、寸法計測が可能か否かを判断する主体はユーザーに限定されない。本発明の第４の実施形態において、内視鏡装置１は、取得された２枚以上の計測画像に基づいて、寸法計測が可能か否かを判断する。

【0223】

ユーザーによって入力された情報を使用することなく、装置が計測画像のみを使用して、ユーザーが指定したい指定点において寸法計測が可能か否かを判断することは難しい。そのため、第４の実施形態では、このような例は除外される。

【0224】

第４の実施形態の内視鏡装置１は、図３に示すＣＰＵ１８ａを有する。撮像素子２８から取得された計測画像は、１枚の第１の画像と、少なくとも１枚の第２の画像とを含む。メイン制御部１８０は、第１の画像においてユーザーによって指定された指定点が第２の画像に含まれるか否かを判断する。指定点が第２の画像に含まれるとメイン制御部１８０が判断した場合、３次元形状復元部１８５は、被写体の３次元形状を復元する。

【0225】

第４の実施形態の計測処理は、図２０に示す処理を含む。図２１に示す処理は、図２７に示す処理に変更される。図２７を使用して、ステップＳ１５１の詳細を説明する。図２７は、ステップＳ１５１において実行される判断処理を示す。

【0226】

表示制御部１８２は、少なくとも１枚の代表画像を表示部５に表示する（ステップＳ１５１６）。代表画像は、撮像素子２８から計測画像として取得された画像であればどのような画像であってもよい。表示制御部１８２は、複数枚の代表画像を表示部５に表示してもよい。

【0227】

ステップＳ１５１６の後、ユーザーは、操作部４を操作することにより、代表画像における１つの指定点の位置情報を操作部４に入力する。指定点は、計測点または基準点である。操作部４は、位置情報をユーザーから受け付ける。操作部４に入力された位置情報は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。メイン制御部１８０は、位置情報に基づいて、ユーザーから受け付けられた指定点を認識する。メイン制御部１８０は、ユーザーから受け付けられた指定点が代表画像以外の計測画像に含まれるか否かを判断する。つまり、メイン制御部１８０は、代表画像（第１の画像）においてユーザーによって指定された指定点が代表画像以外の計測画像（第２の画像）に含まれるか否かを判断する。これにより、メイン制御部１８０は、寸法計測が可能であるか否かを判断する（ステップＳ１５１８）。

【0228】

ステップＳ１５１８において、メイン制御部１８０は、代表画像以外の計測画像において、指定点と類似する点を検出するための処理を実行する。指定点と類似する点を検出できた場合、メイン制御部１８０は、指定点が代表画像以外の計測画像に含まれると判断する。指定点と類似する点を検出できなかった場合、メイン制御部１８０は、指定点が代表画像以外の計測画像に含まれないと判断する。

【0229】

ステップＳ１５１８において、指定点が代表画像以外の計測画像に含まれないとメイン制御部１８０が判断した場合、少なくとも１つの指定点が１枚のみの計測画像に含まれる。そのため、メイン制御部１８０は、寸法計測が不可能であると判断する。その場合、計測処理が終了し、かつ内視鏡装置１の動作モードは計測モードから検査モードへ移行する。ユーザーは、構図および撮像条件を再度設定し、かつ内視鏡装置１の動作モードを検査モードから計測モードへ移行させるための操作を再度行う。その後、内視鏡装置１は、計測画像を取得するための処理を再度実行する。ステップＳ１５１８において、指定点が代表画像以外の計測画像に含まれないとメイン制御部１８０が判断した場合、内視鏡装置１は、図１２に示す処理と同じ処理を実行してもよい。

【0230】

指定点と類似する点を検出するための具体的な処理を、図２８を使用して説明する。図２８は、撮像素子２８から取得された５枚の計測画像の例を示す。計測画像Ｉ９０１、計測画像Ｉ９０２、計測画像Ｉ９０３、計測画像Ｉ９０４、および計測画像Ｉ９０５が撮像素子２８から取得される。計測画像Ｉ９０１は代表画像であり、表示部５に表示される。

【0231】

例えば、ステップＳ１５１７において、ユーザーから計測画像Ｉ９０１上の指定点Ｐ９１１が受け付けられる。ユーザーから指定点Ｐ９１１が受け付けられた後、メイン制御部１８０は、計測画像Ｉ９０２、計測画像Ｉ９０３、計測画像Ｉ９０４、および計測画像Ｉ９０５の各々において、指定点Ｐ９１１と類似する点を探索する。例えば、これに適用できる探索方法では、指定点Ｐ９１１の特徴量は多次元ベクトルとして記述される。その探索方法では、類似点に決定される座標は、指定点Ｐ９１１の特徴量を示す多次元ベクトルと最も一致する。各計測画像において、指定点Ｐ９１１と最も類似する点と指定点Ｐ９１１との間の一致度が所定の閾値以下である場合、その計測画像には指定点Ｐ９１１と類似する点が存在しないと判断される。

【0232】

取得された複数の計測画像が取得された視点は互いに異なる。そのため、２枚の計測画像の間の巨視的な画像の動き方は所定の規則に適合する。言い換えると、２枚の計測画像の間で微視的な被写体の位置関係は変わらないという制約がある。例えば、２枚の計測画像の間で被写体全体が平行移動する、あるいは、画像の倍率が変わる。内視鏡装置１は、これを利用して、指定点と類似する点を探索してもよい。上記の探索方法は具体例の１つである。探索方法は上記の方法に限定されない。指定点と類似する点を発見できる限り、どのような探索方法が使用されてもよい。

【0233】

図２８に示す例では、計測画像Ｉ９０２において、指定点Ｐ９１１と類似する点Ｐ９１１ａが検出され、かつ計測画像Ｉ９０４において、指定点Ｐ９１１と類似する点Ｐ９１１ｂが検出される。ユーザーは、指定点Ｐ９１１を入力した後、指定点Ｐ９１２、指定点Ｐ９１３、および指定点Ｐ９１４を順次入力する。

【0234】

メイン制御部１８０は、計測画像Ｉ９０２、計測画像Ｉ９０３、計測画像Ｉ９０４、および計測画像Ｉ９０５の各々において、指定点Ｐ９１２、指定点Ｐ９１３、および指定点Ｐ９１４の各々と類似する点を探索する。図２８に示す例では、計測画像Ｉ９０２において、指定点Ｐ９１２と類似する点Ｐ９１２ａが検出され、かつ計測画像Ｉ９０４において、指定点Ｐ９１２と類似する点Ｐ９１２ｂが検出される。計測画像Ｉ９０３において、指定点Ｐ９１３と類似する点Ｐ９１３ａが検出され、かつ計測画像Ｉ９０４において、指定点Ｐ９１３と類似する点Ｐ９１３ｂが検出される。計測画像Ｉ９０３において、指定点Ｐ９１４と類似する点Ｐ９１４ａが検出され、かつ計測画像Ｉ９０４において、指定点Ｐ９１４と類似する点Ｐ９１４ｂが検出される。図２８に示す例では、代表画像においてユーザーによって指定された２つ以上の指定点の全てが代表画像以外の計測画像に含まれる。つまり、２つ以上の指定点の全てが少なくとも２枚の計測画像に含まれる。

【0235】

指定点の入力を終了する場合、ユーザーは入力終了指示を操作部４に入力する。操作部４は、入力終了指示をユーザーから受け付ける。操作部４に入力された入力終了指示は、制御インタフェース１７を経由してＣＰＵ１８ａに入力される。ステップＳ１５１８において、指定点が代表画像以外の計測画像に含まれるとメイン制御部１８０が判断した場合、メイン制御部１８０は、入力終了指示をユーザーから受け付けたか否かを判断する。これにより、メイン制御部１８０は、全ての指定点の入力が完了したか否かを判断する（ステップＳ１５１９）。

【0236】

ステップＳ１５１９において、入力終了指示をユーザーから受け付けていないとメイン制御部１８０が判断した場合、指定点の入力が完了していない。その場合、ステップＳ１５１７における処理が実行される。

【0237】

ステップＳ１５１９において、入力終了指示をユーザーから受け付けたとメイン制御部１８０が判断した場合、全ての指定点の入力が完了する。その場合、全ての指定点が少なくとも２枚の計測画像に含まれる。そのため、メイン制御部１８０は、寸法計測が可能であると判断する。その場合、ステップＳ１１１における処理が実行される。

【0238】

図２７に示す処理は、ユーザーが指定点を入力するステップ（Ｓ１５１７）を含む。そのため、図２０に示すステップＳ１１４は省略されてもよい。

【0239】

以前に計測処理において使用された計測画像が代表画像として使用されてもよい。その代表画像は、ユーザーから受け付けられた位置情報に基づいて設定された指定点を含む。メイン制御部１８０は、代表画像に設定された指定点が代表画像以外の計測画像に含まれるか否かを判断する。全ての指定点が代表画像以外の少なくとも１枚の計測画像に含まれる場合、メイン制御部１８０は、寸法計測が可能であると判断する。少なくとも１つの指定点が代表画像のみに含まれる場合、メイン制御部１８０は、寸法計測が不可能であると判断する。

【0240】

内視鏡装置１は、ユーザーによって指定された指定点が代表画像以外の計測画像に含まれるか否かを判断する。これにより、内視鏡装置１は、ユーザーが指定したい計測点および基準点を使用する寸法計測が可能か否かを判断することができる。図２０および図２７に示す計測処理では、計算負荷の大きいＳｆＭが実行される前に、寸法計測が可能か否かをユーザーが判断することができる。ユーザーが指定したい２つ以上の指定点のうち少なくとも１つが１枚の計測画像のみに含まれる場合、内視鏡装置１は、早い段階で計測画像の再取得をユーザーに促すことができる。

【0241】

内視鏡装置１は、図２０に示すステップＳ１１４における処理を実行する代わりに、ステップＳ１５１７における処理を実行できる。この場合、処理の順番が変わるだけであるため、処理全体の負荷の増加は抑えられる。

【0242】

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

【符号の説明】

【0243】

１ 内視鏡装置
２ 挿入部
３ 本体部
４ 操作部
５ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８ａ，１８ｂ，１８ｃ ＣＰＵ
２０ 先端
２８ 撮像素子
１８０ メイン制御部
１８１ 画像取得部
１８２ 表示制御部
１８３ 指定点設定部
１８４ 基準寸法設定部
１８５ ３次元形状復元部
１８６ 計測部
１８７ 湾曲制御部
１８８ モード設定部
１８９ 読み出し部
１９０ 画像選択部
１９１ 領域検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】