特開 2022-71822 画像表示方法、表示制御装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022071822

(43)【公開日】2022-05-16

(54)【発明の名称】画像表示方法、表示制御装置、およびプログラム

(51)【国際特許分類】

   G02B 23/24 20060101AFI20220509BHJP

   A61B 1/00 20060101ALI20220509BHJP

   G06T 17/00 20060101ALI20220509BHJP

【ＦＩ】

G02B23/24 B

A61B1/00 552

G06T17/00

【審査請求】未請求

【請求項の数】29

【出願形態】ＯＬ

(21)【出願番号】P 2021135768

(22)【出願日】2021-08-23

(31)【優先権主張番号】P 2020180445

(32)【優先日】2020-10-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(74)【代理人】

【識別番号】100207789

【弁理士】

【氏名又は名称】石田 良平

(72)【発明者】

【氏名】坂本 陽平

【テーマコード（参考）】

2H040

4C161

5B080

【Ｆターム（参考）】

2H040BA04

2H040BA15

2H040GA02

2H040GA10

2H040GA11

4C161AA29

4C161CC06

4C161HH55

4C161LL02

4C161WW10

4C161WW13

5B080AA17

5B080AA19

5B080AA20

5B080BA04

5B080CA00

5B080FA02

5B080FA08

5B080GA00

(57)【要約】

【課題】被写体の２次元画像の少なくとも一部と関連する３次元座標を持つ位置を可視化する。
【解決手段】記憶制御部は、記憶ステップにおいて被写体の３次元データを記憶媒体に記憶させる。選択部は、第１の選択ステップにおいて基準画像を選択する。前記選択部は、第２の選択ステップにおいて、前記基準画像に基づいて、前記３次元データを生成するために使用された２次元画像である選択画像を選択する。推定部は、推定ステップにおいて、前記選択画像に関する第１のカメラ座標に基づいて、前記基準画像に関する第２のカメラ座標を推定する。表示制御部は、表示ステップにおいて、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

記憶制御部が被写体の２枚以上の２次元画像に基づいて生成された３次元データを記憶媒体に記憶させる記憶ステップであって、前記３次元データは、前記被写体の２つ以上の点の３次元座標および第１のカメラ座標を含み、前記第１のカメラ座標は、前記２枚以上の２次元画像の各々を取得した第１のカメラの３次元座標であり、かつ前記２枚以上の２次元画像の各々と関連付けられている前記記憶ステップと、
選択部が前記被写体の２次元画像である基準画像を選択する第１の選択ステップと、
前記選択部が、前記基準画像に基づいて、前記２枚以上の２次元画像のうちの少なくとも１枚を選択画像として選択する第２の選択ステップと、
推定部が前記選択画像と関連付けられている前記第１のカメラ座標に基づいて、前記基準画像を取得した第２のカメラの３次元座標である第２のカメラ座標を推定する推定ステップと、
表示制御部が、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する表示ステップと、
を有する画像表示方法。

【請求項2】

前記被写体の前記画像は、３次元画像であり、
前記３次元画像は、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方を可視化し、かつ前記２つ以上の点のうちの１つ以上の前記３次元座標を可視化する
請求項１に記載の画像表示方法。

【請求項3】

前記３次元データはさらに、前記第１のカメラの姿勢を示す第１の姿勢情報を含み、
前記第１の姿勢情報は、前記２枚以上の２次元画像の各々と関連付けられており、
前記推定部はさらに、前記推定ステップにおいて、前記選択画像と関連付けられている前記第１の姿勢情報に基づいて前記第２のカメラの姿勢を推定し、推定された前記姿勢を示す第２の姿勢情報を生成し、
前記推定部はさらに、前記推定ステップにおいて、前記第２のカメラ座標および前記第２の姿勢情報に基づいて、前記基準画像に写っている前記被写体の領域の１つ以上の点の３次元座標を推定し、
前記３次元画像は、前記領域の前記１つ以上の点の前記３次元座標を可視化する
請求項２に記載の画像表示方法。

【請求項4】

前記表示制御部はさらに、前記表示ステップにおいて、前記領域の位置を示す情報を前記３次元画像に重畳する
請求項３に記載の画像表示方法。

【請求項5】

前記３次元画像が前記ディスプレイに表示された後、前記表示制御部が、前記３次元画像の視点を変更する視点変更ステップをさらに有する
請求項３に記載の画像表示方法。

【請求項6】

前記選択部は、前記第１の選択ステップにおいて２枚以上の前記基準画像を選択し、
前記表示制御部はさらに、前記表示ステップにおいて、前記２枚以上の前記基準画像間で共通の領域の位置を示す情報を前記ディスプレイに表示する
請求項３に記載の画像表示方法。

【請求項7】

前記３次元画像は、前記被写体の３次元形状を示す形状データの画像であり、
前記画像表示方法は、データ処理部が、前記被写体の前記２つ以上の点の前記３次元座標を前記形状データによって示される前記３次元形状と関連付ける関連付けステップをさらに有する
請求項３に記載の画像表示方法。

【請求項8】

前記表示制御部はさらに、前記表示ステップにおいて、前記基準画像の画角を示す画角情報を前記ディスプレイに表示する
請求項３に記載の画像表示方法。

【請求項9】

前記表示制御部はさらに、前記表示ステップにおいて、前記被写体の前記２つ以上の点に含まれる基準点と前記領域との間の３次元距離を前記ディスプレイに表示する
請求項３に記載の画像表示方法。

【請求項10】

前記被写体は、周期的に配置された２つ以上の部分領域を含み、
前記表示制御部はさらに、前記表示ステップにおいて、基準部分から注目部分までの前記部分領域の少なくとも一部の数を前記ディスプレイに表示し、前記基準部分は前記２つ以上の部分領域のうちの１つであり、前記注目部分は、前記基準部分と異なり前記領域と対応する前記部分領域である
請求項３に記載の画像表示方法。

【請求項11】

前記領域は、前記基準画像に写っている範囲の全体である
請求項３に記載の画像表示方法。

【請求項12】

前記領域は、前記基準画像に写っている範囲の一部である
請求項３に記載の画像表示方法。

【請求項13】

前記推定部は、前記推定ステップにおいて、前記第２のカメラ座標、前記第２の姿勢情報、および前記選択画像に基づいて、前記基準画像に写っている前記被写体の領域の１つ以上の点の３次元座標を推定し、
前記領域の前記１つ以上の点は、前記３次元データに含まれる前記３次元座標を持つ点と異なり、
前記３次元画像は、前記領域の前記１つ以上の点の前記３次元座標を可視化し、かつ前記３次元データに含まれる前記３次元座標のうち前記領域に含まれる１つ以上の点の前記３次元座標を可視化し、
前記３次元画像によって可視化される前記３次元座標を持つ点の密度は、前記被写体の前記２つ以上の点のうち前記領域に含まれる点の密度よりも高い
請求項３に記載の画像表示方法。

【請求項14】

前記選択部は、前記第１の選択ステップにおいて、予め設定された条件を満たす基準領域を含む前記基準画像を選択し、
前記推定部は、前記推定ステップにおいて、前記基準領域の１つ以上の点の３次元座標を推定する
請求項３に記載の画像表示方法。

【請求項15】

前記推定部は、前記推定ステップにおいて、前記第２のカメラ座標、前記第２の姿勢情報、および前記選択画像に基づいて、前記基準領域の前記１つ以上の点の前記３次元座標を推定し、
前記基準領域の前記１つ以上の点は、前記３次元データに含まれる前記３次元座標を持つ点と異なり、
前記３次元画像は、前記基準領域の前記１つ以上の点の前記３次元座標を可視化し、かつ前記３次元データに含まれる前記３次元座標のうち前記基準領域に含まれる１つ以上の点の前記３次元座標を可視化し、
前記３次元画像によって可視化される前記３次元座標を持つ点の密度は、前記被写体の前記２つ以上の点のうち前記基準領域に含まれる点の密度よりも高い
請求項１４に記載の画像表示方法。

【請求項16】

前記３次元データはさらに、前記２枚以上の２次元画像の各々に含まれる第１の点の２次元座標を含み、
前記推定部は、前記推定ステップにおいて、前記第１のカメラ座標と、前記２枚以上の２次元画像のうちの１枚に含まれる前記第１の点の前記２次元座標と、前記第１の点と対応する前記基準画像の第２の点の２次元座標とに基づいて、前記第２のカメラ座標を推定する
請求項３に記載の画像表示方法。

【請求項17】

前記選択部は、前記第１の選択ステップにおいて、１枚以上の選択対象画像のうちの１枚を前記基準画像として選択し、
前記１枚以上の選択対象画像は、前記被写体の２次元画像であり、前記２枚以上の２次元画像に含まれない
請求項３に記載の画像表示方法。

【請求項18】

前記２枚以上の２次元画像の各々は、前記２枚以上の２次元画像に含まれる他の２次元画像と時間的に関連付けられている
請求項３に記載の画像表示方法。

【請求項19】

前記２枚以上の２次元画像の各々は、単眼のカメラによって取得された画像である
請求項１８に記載の画像表示方法。

【請求項20】

前記選択部は、前記第２の選択ステップにおいて、前記２枚以上の２次元画像を互いに時間的に関連付ける時間情報を使用することにより前記２枚以上の２次元画像のうちの少なくとも１枚を前記選択画像として選択する
請求項１８に記載の画像表示方法。

【請求項21】

前記被写体の前記画像は、２次元画像であり、
前記２次元画像は、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方と対応する２次元座標を可視化し、かつ前記２つ以上の点のうちの１つ以上の前記３次元座標と対応する２次元座標を可視化する
請求項１に記載の画像表示方法。

【請求項22】

前記３次元データはさらに、前記第１のカメラの姿勢を示す第１の姿勢情報を含み、
前記第１の姿勢情報は、前記２枚以上の２次元画像の各々と関連付けられており、
前記推定部はさらに、前記推定ステップにおいて、前記選択画像と関連付けられている前記第１の姿勢情報に基づいて前記第２のカメラの姿勢を推定し、推定された前記姿勢を示す第２の姿勢情報を生成し、
前記推定部はさらに、前記推定ステップにおいて、前記第２のカメラ座標および前記第２の姿勢情報に基づいて、前記基準画像に写っている前記被写体の領域の１つ以上の点の３次元座標を推定し、
前記２次元画像は、前記領域の前記１つ以上の点の前記３次元座標と対応する２次元座標を可視化する
請求項２１に記載の画像表示方法。

【請求項23】

前記表示制御部はさらに、前記表示ステップにおいて、前記領域の位置を示す情報を前記２次元画像に重畳する
請求項２２に記載の画像表示方法。

【請求項24】

生成部が前記３次元データを使用することにより前記２次元画像を生成する生成ステップをさらに有する
請求項２１に記載の画像表示方法。

【請求項25】

前記生成部は、前記生成ステップにおいて、第１の視点から見た前記被写体の前記２次元画像である第１の画像を生成し、かつ前記第１の視点と異なる第２の視点から見た前記被写体の前記２次元画像である第２の画像を生成し、
前記表示制御部は、前記表示ステップにおいて、前記第１の画像および前記第２の画像を前記ディスプレイに表示する
請求項２４に記載の画像表示方法。

【請求項26】

前記基準画像は、前記被写体の情報と予め関連付けられており、
前記画像表示方法は、前記表示ステップが実行され、かつ前記基準画像を選択する指示が入力された場合に前記表示制御部が前記指示によって示される前記基準画像と関連付けられている前記情報を前記ディスプレイに表示する情報表示ステップをさらに有する
請求項２１に記載の画像表示方法。

【請求項27】

前記２次元画像は、前記被写体の２次元形状を示す形状データの画像であり、
前記画像表示方法は、データ処理部が、前記被写体の前記２つ以上の点の前記３次元座標と対応する２次元座標を前記形状データによって示される前記２次元形状と関連付ける関連付けステップをさらに有する
請求項２１に記載の画像表示方法。

【請求項28】

被写体の２枚以上の２次元画像に基づいて生成された３次元データを記憶媒体に記憶させる記憶制御部であって、前記３次元データは、前記被写体の２つ以上の点の３次元座標および第１のカメラ座標を含み、前記第１のカメラ座標は、前記２枚以上の２次元画像の各々を取得した第１のカメラの３次元座標であり、かつ前記２枚以上の２次元画像の各々と関連付けられている前記記憶制御部と、
前記被写体の２次元画像である基準画像を選択し、前記基準画像に基づいて、前記２枚以上の２次元画像のうちの少なくとも１枚を選択画像として選択する選択部と、
前記選択画像と関連付けられている前記第１のカメラ座標に基づいて、前記基準画像を取得した第２のカメラの３次元座標である第２のカメラ座標を推定する推定部と、
前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する表示制御部と、
を有する表示制御装置。

【請求項29】

被写体の２枚以上の２次元画像に基づいて生成された３次元データを記憶媒体に記憶させる記憶ステップであって、前記３次元データは、前記被写体の２つ以上の点の３次元座標および第１のカメラ座標を含み、前記第１のカメラ座標は、前記２枚以上の２次元画像の各々を取得した第１のカメラの３次元座標であり、かつ前記２枚以上の２次元画像の各々と関連付けられている前記記憶ステップと、
前記被写体の２次元画像である基準画像を選択する第１の選択ステップと、
前記基準画像に基づいて、前記２枚以上の２次元画像のうちの少なくとも１枚を選択画像として選択する第２の選択ステップと、
前記選択画像と関連付けられている前記第１のカメラ座標に基づいて、前記基準画像を取得した第２のカメラの３次元座標である第２のカメラ座標を推定する推定ステップと、
前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する表示ステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示方法、表示制御装置、およびプログラムに関する。

【背景技術】

【0002】

工業用の内視鏡装置は、ボイラー、ガスタービン、自動車エンジン、およびパイプ等の内部の異常（傷および腐食等）の検査に使用されている。内視鏡検査において、異常の有無および異常の深刻さを検査の証拠として残すために検査の作業者は検査中に静止画を記録する。内視鏡検査が完了した後、検査レポートが生成される。一般的に、記録された静止画に写っている異常の状態などを示すテキストがその静止画と一緒に検査レポートに付加される。

【0003】

位置情報が、異常に関する付加事項に含まれる。位置情報は、記録された静止画が検査対象物において取得された位置を示す。発見された異常の位置情報は、異常な部位を交換または修理する際、あるいは次回の検査が実施される際に重要である。検査の作業者は、位置情報を得るために、スコープの挿入部に印字された目印から位置を読み取る。その目印は、検査対象物に挿入された挿入部の部分の長さ（挿入長）を示す。作業者は、その位置をメモに書き取る。

【0004】

しかしながら、上記のような検査では、以下の４つの理由などにより作業者が異常の位置情報を把握することが困難になる場合がある。

【0005】

（１）作業者が、直管のような比較的単純な構造物における部位の大よその位置を知ることはできる。複雑な形状を有する構造物が検査される場合（例えばタービン検査など）には、作業者が異常な部位の位置を挿入長のみから知ることは困難である。

【0006】

（２）直管のような単純な構造物が検査される場合であっても、挿入長をメモに書き取る行為が作業者には面倒である。

【0007】

（３）安全が脅かされる過酷な検査環境では、検査中に挿入長をメモに書き取る時間的、精神的、または肉体的な余裕がない。

【0008】

（４）作業者が挿入長をメモに書き取り忘れる。

【0009】

上記の問題を解決する方法の１つとして、検査中に記録された静止画を、検査対象物の３次元形状（３Ｄ形状）を示す３次元データ（３Ｄデータ）と関連付け、かつその静止画が取得された位置を可視化するという方法がある。このような方法を使用することにより、静止画が取得された検査対象物の位置が明確になる。

【0010】

例えば、シェーマ図と静止画とを互いに関連付け、シェーマ図および静止画を可視化する方法が特許文献１に開示されている。シェーマ図は、生体の内部構造を模式的に表す。シェーマ図と関連付けられた音声またはテキストと、静止画と関連付けられた音声またはテキストとを照合することにより、静止画が取得された位置が特定される。

【0011】

検査対象物の動画と、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置またはＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置によって取得された３次元画像とを互いに関連付け、かつ動画または静止画を可視化する方法が特許文献２に開示されている。内視鏡で撮影された臓器の仮想的な画像が生成される。その画像と動画のフレームとを照合することにより、動画のフレームと対応する検査対象物の位置が特定される。

【0012】

検査中に記録された２枚以上の２次元画像と対応する３次元点群を検査対象物の３次元画像（３Ｄ画像）上に表示する方法が特許文献３に開示されている。特許文献３に開示された装置は、検査中に記録された２枚以上の静止画または検査中に記録された動画を使用する。その装置は、検査対象物の３Ｄ形状を再構成し、その３Ｄ形状の３Ｄ画像を表示する。その装置は、その３Ｄ画像上の任意の位置をユーザーから受け付け、その位置を含む領域を抽出する。その装置は、その領域が写っている静止画を表示する。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】特許第５４５１７１８号公報

【特許文献2】特許第６６０８１１１号公報

【特許文献3】特開２０１７－１３００４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0014】

特許文献１および特許文献２に開示された技術は、検査対象物の３Ｄデータと、検査中に記録された静止画とを関連付け、３Ｄデータおよび静止画を可視化することはできる。そのため、作業者は、静止画が取得された検査対象物の位置を把握することができる。しかしながら、作業者が把握できる位置は、検査対象物の特徴的な部位（例えば、分岐構造）に限定される可能性がある。また、特許文献１では、音声またはテキストを静止画と関連付ける作業が作業者にとって面倒である。

【0015】

特許文献３に開示された装置は、ユーザーによって３Ｄ画像上で指定された特定の領域が写っている静止画を表示する。しかしながら、その装置は、ユーザーが注目する静止画と対応する３Ｄ形状の領域を検出せず、その３Ｄ形状におけるその領域の位置を表示しない。

【0016】

検査対象物の位置を把握するために３Ｄデータと関連付けられる画像は静止画に限らない。ユーザーが動画記録中に特定のフレームに注目フレームを示すタグを付け、その特定のフレームに写っている注目領域（異常など）の画像が３Ｄデータと関連付けられてもよい。機械学習などを利用することにより異常が自動でフレームから検出され、そのフレームまたはそのフレーム内の領域が３Ｄデータと関連付けられてもよい。上記の画像が３Ｄデータと関連付けられているため、作業者および検査承認者は３Ｄデータ上の位置を把握することができる。しかしながら、上記に関する説明は特許文献１から特許文献３のいずれにおいても記載されていない。

【0017】

本発明は、被写体の２次元画像の少なくとも一部と関連する３次元座標を持つ位置を可視化することができる画像表示方法、表示制御装置、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0018】

本発明は、記憶制御部が被写体の２枚以上の２次元画像に基づいて生成された３次元データを記憶媒体に記憶させる記憶ステップであって、前記３次元データは、前記被写体の２つ以上の点の３次元座標および第１のカメラ座標を含み、前記第１のカメラ座標は、前記２枚以上の２次元画像の各々を取得した第１のカメラの３次元座標であり、かつ前記２枚以上の２次元画像の各々と関連付けられている前記記憶ステップと、選択部が前記被写体の２次元画像である基準画像を選択する第１の選択ステップと、前記選択部が、前記基準画像に基づいて、前記２枚以上の２次元画像のうちの少なくとも１枚を選択画像として選択する第２の選択ステップと、推定部が前記選択画像と関連付けられている前記第１のカメラ座標に基づいて、前記基準画像を取得した第２のカメラの３次元座標である第２のカメラ座標を推定する推定ステップと、表示制御部が、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する表示ステップと、を有する画像表示方法である。

【0019】

本発明の画像表示方法において、前記被写体の前記画像は、３次元画像であり、前記３次元画像は、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方を可視化し、かつ前記２つ以上の点のうちの１つ以上の前記３次元座標を可視化する。

【0020】

本発明の画像表示方法において、前記３次元データはさらに、前記第１のカメラの姿勢を示す第１の姿勢情報を含み、前記第１の姿勢情報は、前記２枚以上の２次元画像の各々と関連付けられており、前記推定部はさらに、前記推定ステップにおいて、前記選択画像と関連付けられている前記第１の姿勢情報に基づいて前記第２のカメラの姿勢を推定し、推定された前記姿勢を示す第２の姿勢情報を生成し、前記推定部はさらに、前記推定ステップにおいて、前記第２のカメラ座標および前記第２の姿勢情報に基づいて、前記基準画像に写っている前記被写体の領域の１つ以上の点の３次元座標を推定し、前記３次元画像は、前記領域の前記１つ以上の点の前記３次元座標を可視化する。

【0021】

本発明の画像表示方法において、前記表示制御部はさらに、前記表示ステップにおいて、前記領域の位置を示す情報を前記３次元画像に重畳する。

【0022】

本発明の画像表示方法は、前記３次元画像が前記ディスプレイに表示された後、前記表示制御部が、前記３次元画像の視点を変更する視点変更ステップをさらに有する。

【0023】

本発明の画像表示方法において、前記選択部は、前記第１の選択ステップにおいて２枚以上の前記基準画像を選択し、前記表示制御部はさらに、前記表示ステップにおいて、前記２枚以上の前記基準画像間で共通の領域の位置を示す情報を前記ディスプレイに表示する。

【0024】

本発明の画像表示方法において、前記３次元画像は、前記被写体の３次元形状を示す形状データの画像であり、前記画像表示方法は、データ処理部が、前記被写体の前記２つ以上の点の前記３次元座標を前記形状データによって示される前記３次元形状と関連付ける関連付けステップをさらに有する。

【0025】

本発明の画像表示方法において、前記表示制御部はさらに、前記表示ステップにおいて、前記基準画像の画角を示す画角情報を前記ディスプレイに表示する。

【0026】

本発明の画像表示方法において、前記表示制御部はさらに、前記表示ステップにおいて、前記被写体の前記２つ以上の点に含まれる基準点と前記領域との間の３次元距離を前記ディスプレイに表示する。

【0027】

本発明の画像表示方法において、前記被写体は、周期的に配置された２つ以上の部分領域を含み、前記表示制御部はさらに、前記表示ステップにおいて、基準部分から注目部分までの前記部分領域の少なくとも一部の数を前記ディスプレイに表示し、前記基準部分は前記２つ以上の部分領域のうちの１つであり、前記注目部分は、前記基準部分と異なり前記領域と対応する前記部分領域である。

【0028】

本発明の画像表示方法において、前記領域は、前記基準画像に写っている範囲の全体である。

【0029】

本発明の画像表示方法において、前記領域は、前記基準画像に写っている範囲の一部である。

【0030】

本発明の画像表示方法において、前記推定部は、前記推定ステップにおいて、前記第２のカメラ座標、前記第２の姿勢情報、および前記選択画像に基づいて、前記基準画像に写っている前記被写体の領域の１つ以上の点の３次元座標を推定し、前記領域の前記１つ以上の点は、前記３次元データに含まれる前記３次元座標を持つ点と異なり、前記３次元画像は、前記領域の前記１つ以上の点の前記３次元座標を可視化し、かつ前記３次元データに含まれる前記３次元座標のうち前記領域に含まれる１つ以上の点の前記３次元座標を可視化し、前記３次元画像によって可視化される前記３次元座標を持つ点の密度は、前記被写体の前記２つ以上の点のうち前記領域に含まれる点の密度よりも高い。

【0031】

本発明の画像表示方法において、前記選択部は、前記第１の選択ステップにおいて、予め設定された条件を満たす基準領域を含む前記基準画像を選択し、前記推定部は、前記推定ステップにおいて、前記基準領域の１つ以上の点の３次元座標を推定する。

【0032】

本発明の画像表示方法において、前記推定部は、前記推定ステップにおいて、前記第２のカメラ座標、前記第２の姿勢情報、および前記選択画像に基づいて、前記基準領域の前記１つ以上の点の前記３次元座標を推定し、前記基準領域の前記１つ以上の点は、前記３次元データに含まれる前記３次元座標を持つ点と異なり、前記３次元画像は、前記基準領域の前記１つ以上の点の前記３次元座標を可視化し、かつ前記３次元データに含まれる前記３次元座標のうち前記基準領域に含まれる１つ以上の点の前記３次元座標を可視化し、前記３次元画像によって可視化される前記３次元座標を持つ点の密度は、前記被写体の前記２つ以上の点のうち前記基準領域に含まれる点の密度よりも高い。

【0033】

本発明の画像表示方法において、前記３次元データはさらに、前記２枚以上の２次元画像の各々に含まれる第１の点の２次元座標を含み、前記推定部は、前記推定ステップにおいて、前記第１のカメラ座標と、前記２枚以上の２次元画像のうちの１枚に含まれる前記第１の点の前記２次元座標と、前記第１の点と対応する前記基準画像の第２の点の２次元座標とに基づいて、前記第２のカメラ座標を推定する。

【0034】

本発明の画像表示方法において、前記選択部は、前記第１の選択ステップにおいて、１枚以上の選択対象画像のうちの１枚を前記基準画像として選択し、前記１枚以上の選択対象画像は、前記被写体の２次元画像であり、前記２枚以上の２次元画像に含まれない。

【0035】

本発明の画像表示方法において、前記２枚以上の２次元画像の各々は、前記２枚以上の２次元画像に含まれる他の２次元画像と時間的に関連付けられている。

【0036】

本発明の画像表示方法において、前記２枚以上の２次元画像の各々は、単眼のカメラによって取得された画像である。

【0037】

本発明の画像表示方法において、前記被写体の前記画像は、２次元画像であり、前記２次元画像は、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方と対応する２次元座標を可視化し、かつ前記２つ以上の点のうちの１つ以上の前記３次元座標と対応する２次元座標を可視化する。

【0038】

本発明の画像表示方法において、前記３次元データはさらに、前記第１のカメラの姿勢を示す第１の姿勢情報を含み、前記第１の姿勢情報は、前記２枚以上の２次元画像の各々と関連付けられており、前記推定部はさらに、前記推定ステップにおいて、前記選択画像と関連付けられている前記第１の姿勢情報に基づいて前記第２のカメラの姿勢を推定し、推定された前記姿勢を示す第２の姿勢情報を生成し、前記推定部はさらに、前記推定ステップにおいて、前記第２のカメラ座標および前記第２の姿勢情報に基づいて、前記基準画像に写っている前記被写体の領域の１つ以上の点の３次元座標を推定し、前記２次元画像は、前記領域の前記１つ以上の点の前記３次元座標と対応する２次元座標を可視化する。

【0039】

本発明の画像表示方法において、前記表示制御部はさらに、前記表示ステップにおいて、前記領域の位置を示す情報を前記２次元画像に重畳する。

【0040】

本発明の画像表示方法は、生成部が前記３次元データを使用することにより前記２次元画像を生成する生成ステップをさらに有する。

【0041】

前記生成部は、前記生成ステップにおいて、第１の視点から見た前記被写体の前記２次元画像である第１の画像を生成し、かつ前記第１の視点と異なる第２の視点から見た前記被写体の前記２次元画像である第２の画像を生成し、前記表示制御部は、前記表示ステップにおいて、前記第１の画像および前記第２の画像を前記ディスプレイに表示する。

【0042】

本発明の画像表示方法において、前記基準画像は、前記被写体の情報と予め関連付けられており、前記画像表示方法は、前記表示ステップが実行され、かつ前記基準画像を選択する指示が入力された場合に前記表示制御部が前記指示によって示される前記基準画像と関連付けられている前記情報を前記ディスプレイに表示する情報表示ステップをさらに有する。

【0043】

本発明の画像表示方法において、前記２次元画像は、前記被写体の２次元形状を示す形状データの画像であり、前記画像表示方法は、データ処理部が、前記被写体の前記２つ以上の点の前記３次元座標と対応する２次元座標を前記形状データによって示される前記２次元形状と関連付ける関連付けステップをさらに有する。

【0044】

本発明の画像表示方法において、前記選択部は、前記第２の選択ステップにおいて、前記２枚以上の２次元画像を互いに時間的に関連付ける時間情報を使用することにより前記２枚以上の２次元画像のうちの少なくとも１枚を前記選択画像として選択する。

【0045】

本発明は、被写体の２枚以上の２次元画像に基づいて生成された３次元データを記憶媒体に記憶させる記憶制御部であって、前記３次元データは、前記被写体の２つ以上の点の３次元座標および第１のカメラ座標を含み、前記第１のカメラ座標は、前記２枚以上の２次元画像の各々を取得した第１のカメラの３次元座標であり、かつ前記２枚以上の２次元画像の各々と関連付けられている前記記憶制御部と、前記被写体の２次元画像である基準画像を選択し、前記基準画像に基づいて、前記２枚以上の２次元画像のうちの少なくとも１枚を選択画像として選択する選択部と、前記選択画像と関連付けられている前記第１のカメラ座標に基づいて、前記基準画像を取得した第２のカメラの３次元座標である第２のカメラ座標を推定する推定部と、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する表示制御部と、を有する表示制御装置である。

【0046】

本発明は、被写体の２枚以上の２次元画像に基づいて生成された３次元データを記憶媒体に記憶させる記憶ステップであって、前記３次元データは、前記被写体の２つ以上の点の３次元座標および第１のカメラ座標を含み、前記第１のカメラ座標は、前記２枚以上の２次元画像の各々を取得した第１のカメラの３次元座標であり、かつ前記２枚以上の２次元画像の各々と関連付けられている前記記憶ステップと、前記被写体の２次元画像である基準画像を選択する第１の選択ステップと、前記基準画像に基づいて、前記２枚以上の２次元画像のうちの少なくとも１枚を選択画像として選択する第２の選択ステップと、前記選択画像と関連付けられている前記第１のカメラ座標に基づいて、前記基準画像を取得した第２のカメラの３次元座標である第２のカメラ座標を推定する推定ステップと、前記第２のカメラ座標と、前記第２のカメラ座標に基づいて算出された前記被写体の１つ以上の点の３次元座標との少なくとも一方が示す位置を可視化する前記被写体の画像をディスプレイに表示する表示ステップと、をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0047】

本発明によれば、画像表示方法、表示制御装置、およびプログラムは、被写体の２次元画像の少なくとも一部と関連する３次元座標を持つ位置を可視化することができる。

【図面の簡単な説明】

【0048】

【図1】本発明の第１の実施形態によるＰＣの構成を示すブロック図である。

【図2】本発明の第１の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図3】本発明の第１の実施形態における画像取得の状況を示す模式図である。

【図4】本発明の第１の実施形態における３次元モデルを生成するための処理の手順を示すフローチャートである。

【図5】本発明の第１の実施形態におけるカメラの位置および姿勢を推定するための処理の手順を示すフローチャートである。

【図6】本発明の第１の実施形態における画像取得の状況を示す模式図である。

【図7】本発明の第１の実施形態におけるカメラの位置および姿勢を推定するための処理を示す模式図である。

【図8】本発明の第１の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図9】本発明の第１の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図10】本発明の第１の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図11】本発明の第１の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図12】本発明の第１の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図13】本発明の第１の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図14】本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。

【図15】本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。

【図16】本発明の第１の実施形態の第１の変形例によるＰＣの構成を示すブロック図である。

【図17】本発明の第１の実施形態の第１の変形例によるＰＣが実行する処理の手順を示すフローチャートである。

【図18】本発明の第１の実施形態の第１の変形例によるＰＣが有する表示部の表示画面の例を示す図である。

【図19】本発明の第１の実施形態の第２の変形例における被写体の２次元画像の例を示す図である。

【図20】本発明の第１の実施形態の第４の変形例によるＰＣが実行する処理の手順を示すフローチャートである。

【図21】本発明の第１の実施形態の第４の変形例によるＰＣが有する表示部の表示画面の例を示す図である。

【図22】本発明の第１の実施形態の第５の変形例によるＰＣが実行する処理の手順を示すフローチャートである。

【図23】本発明の第１の実施形態の第５の変形例によるＰＣが有する表示部の表示画面の例を示す図である。

【図24】本発明の第１の実施形態の第６の変形例によるＰＣの構成を示すブロック図である。

【図25】本発明の第１の実施形態の第６の変形例によるＰＣが実行する処理の手順を示すフローチャートである。

【図26】本発明の第２の実施形態によるＰＣの構成を示すブロック図である。

【図27】本発明の第２の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図28】本発明の第２の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図29】本発明の第２の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図30】本発明の第３の実施形態によるＰＣの構成を示すブロック図である。

【図31】本発明の第３の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図32】本発明の第３の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図33】本発明の第４の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図34】本発明の第４の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図35】本発明の第４の実施形態の変形例によるＰＣが実行する処理の手順を示すフローチャートである。

【図36】本発明の第４の実施形態の変形例によるＰＣが有する表示部の表示画面の例を示す図である。

【図37】本発明の第５の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図38】本発明の第５の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図39】本発明の第６の実施形態による画像表示システムの構成を示すブロック図である。

【図40】本発明の第６の実施形態によるＰＣの構成を示すブロック図である。

【図41】本発明の第６の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図42】本発明の第７の実施形態によるＰＣの構成を示すブロック図である。

【図43】本発明の第７の実施形態によるＰＣが実行する処理の手順を示すフローチャートである。

【図44】本発明の第７の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図45】本発明の第７の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図46】本発明の第７の実施形態によるＰＣが有する表示部の表示画面の例を示す図である。

【図47】本発明の第７の実施形態の変形例によるＰＣが実行する処理の手順を示すフローチャートである。

【図48】本発明の第７の実施形態の変形例における検査レポートの例を示す図である。

【図49】本発明の第７の実施形態の変形例における検査レポートに添付された注目領域の情報を示す図である。

【発明を実施するための形態】

【0049】

以下、図面を参照し、本発明の実施形態を説明する。

【0050】

（第１の実施形態）
図１は、本発明の第１の実施形態によるＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）４１の構成を示す。例えば、ＰＣ４１は、デスクトップＰＣである。ＰＣ４１は、携帯性を有するラップトップＰＣまたはタブレット端末であってもよい。ＰＣ４１は、クラウド上で動作するコンピュータシステムであってもよい。図１に示すＰＣ４１は、ＣＰＵ４３、操作部４４、表示部４５、通信部４６、およびメモリ４７を有する。ＰＣ４１は、表示制御装置として機能する。

【0051】

操作部４４は、ユーザーインタフェースである。例えば、操作部４４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。操作部４４は、ＰＣ４１に対するユーザーの操作を受け付ける。ユーザーは、操作部４４を操作することにより、各種情報をＰＣ４１に入力することができる。操作部４４は、ユーザーが入力した情報を受け付け、その情報をＣＰＵ４３に出力する。

【0052】

表示部４５は、表示画面を有し、かつ検査対象物内の被写体の３Ｄモデル等を表示画面に表示する。表示部４５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部４５は、タッチパネルであってもよい。その場合、操作部４４および表示部４５は一体化される。

【0053】

通信部４６は、内視鏡装置等の外部装置と通信を実行する。例えば、通信部４６はケーブルあるいは無線で外部装置と接続される。通信部４６と外部装置との間の通信は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットを経由して実行されてもよい。

【0054】

メモリ４７は、揮発性または不揮発性のメモリである。例えば、メモリ４７は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。メモリ４７は、画像等を記憶する。

【0055】

本発明の各実施形態において内視鏡装置が被写体の画像（画像データ）を取得する。しかしながら、画像を取得する装置は内視鏡装置に限らない。カメラを有する装置が画像を取得し、かつＰＣ４１がその画像を取得してもよい。カメラを有する装置が画像を取得し、かつその画像がメモリカードのような記憶媒体に記憶されてもよい。ＰＣ４１はその画像をその記憶媒体から取得してもよい。ＰＣ４１がカメラを有し、かつそのカメラが画像を取得してもよい。

【0056】

ＣＰＵ４３は、ＰＣ４１の動作を制御する。ＣＰＵ４３の機能は、画像取得部４３０、条件受付部４３１、３Ｄモデル生成部４３２、画像選択部４３３、推定部４３４、表示制御部４３５、および記憶制御部４３６を含む。図３に示すＣＰＵ４３内のブロックの少なくとも１つがＣＰＵ４３と異なる回路で構成されてもよい。

【0057】

ＣＰＵ４３内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。ＣＰＵ４３内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３内の各部は、１つまたは複数の論理回路を含むことができる。

【0058】

画像取得部４３０は、通信部４６を制御することにより、２枚以上の静止画を含む静止画群を内視鏡装置から取得する。静止画は被写体の２次元画像（２Ｄ画像）である。そのため、画像取得部４３０は、２枚以上の２Ｄ画像を取得する。静止画群は、互いに時間的に関連付けられた２枚以上の２Ｄ画像を含む動画であってもよい。

【0059】

ユーザーは、操作部４４を操作することにより、被写体の３次元モデル（３Ｄモデル）を生成するための条件を示す情報をＰＣ４１に入力する。条件受付部４３１は、ユーザーが入力した情報に基づいて、被写体の３Ｄモデルを生成するための条件を受け付ける。具体的には、その条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、設定値、および基準長等を含む。設定値は、３Ｄモデルを生成するための各種処理に使用される。基準長は、３Ｄモデルを実際の被写体のスケールと合わせるために使用される。

【0060】

３Ｄモデル生成部４３２は、静止画群に含まれる２枚以上の２Ｄ画像に基づいて被写体の３Ｄモデルを生成（再構成）する。３Ｄモデル生成部４３２が静止画群に含まれる全ての２Ｄ画像を使用する必要はない。静止画群が３枚以上の２Ｄ画像を含む場合、３Ｄモデル生成部４３２は、静止画群の全てまたは一部に基づいて３Ｄモデルを生成する。３Ｄモデルは被写体の３次元データ（３Ｄデータ）である。３Ｄモデルは、被写体の２つ以上の点（３次元点群）の３次元座標（３Ｄ座標）、カメラ座標、および姿勢情報を含む。

【0061】

カメラ座標（第１のカメラ座標）は、２枚以上の２Ｄ画像の各々を取得したカメラ（第１のカメラ）の３Ｄ座標であり、かつ２枚以上の２Ｄ画像の各々と関連付けられている。カメラ座標は、２Ｄ画像が取得されたときの視点の３Ｄ座標である。例えば、カメラ座標は、カメラが有する観察光学系の３Ｄ座標である。姿勢情報（第１の姿勢情報）は、２枚以上の２Ｄ画像の各々を取得したカメラの姿勢を示し、かつ２枚以上の２Ｄ画像の各々と関連付けられている。例えば、姿勢情報は、カメラが有する観察光学系の姿勢を示す。

【0062】

被写体の２つ以上の点の各々は２Ｄ画像に写っている。本明細書では、便宜上、「点」という言葉を使っているが、被写体の点は画面上の１ピクセルに対応する１点である必要はない。被写体の点は、任意の大きさの領域を含んでもよい。被写体の点は、サブピクセル単位で指定できる領域を含んでもよい。

【0063】

３Ｄモデルは、２枚以上の２Ｄ画像の各々に含まれる点の２Ｄ座標を含む。３Ｄモデルにおいて３Ｄ座標および２Ｄ座標は互いに関連付けられている。３Ｄモデルにおいて３Ｄ座標および２Ｄ座標は、その２Ｄ座標が含まれる２Ｄ画像と関連付けられている。

【0064】

画像選択部４３３は、注目領域が写っている基準フレーム（基準画像）を静止画群から選択する。注目領域は、３Ｄモデル上の位置を可視化するためにユーザーまたはコンピュータによって指定された特定の領域を指す。注目領域と対応する３Ｄモデル上の位置が可視化される。注目領域は主に、特定の画像全体と、特定の画像に写っている特定の被写体の領域とに分類される。

【0065】

注目領域が特定の画像全体である例を説明する。例えば、注目領域は、検査中に取得された静止画の全体領域である。全体領域は、静止画に写っている範囲の全体である。注目領域は、機械学習などの技術手段を使用することにより異常が自動で検出された画像の全体領域であってもよい。注目領域は、動画が記録されている間にユーザーがタグを付けた画像の全体領域であってもよい。

【0066】

注目領域が特定の被写体の領域である例を説明する。例えば、注目領域は、検査中または検査後に、特定の画像においてユーザーが指定した被写体の特定の領域である。つまり、注目領域は、静止画の部分領域である。部分領域は、静止画に写っている範囲の一部である。注目領域は、異常が自動で検出された画像に含まれる特定の領域であってもよい。

【0067】

したがって、注目領域は、静止画群に含まれる１枚の静止画の全体または一部である。注目領域は、上記の例に限らない。画像選択部４３３は、２枚以上の基準フレームを静止画群から選択してもよい。

【0068】

また、画像選択部４３３は、静止画群に含まれ、かつ３Ｄモデルを生成するために使用された２枚以上の画像のうちの少なくとも１枚の画像（選択画像）を選択する。以下では、３Ｄモデルを生成するために使用された２枚以上の画像をキーフレームと呼ぶ。また、画像選択部４３３によって選択されたキーフレームを選択フレームと呼ぶ。画像選択部４３３によって選択された基準フレームおよび選択フレームは、推定部４３４によって使用される。

【0069】

前述したように、３Ｄモデルはカメラ座標および姿勢情報を含み、カメラ座標および姿勢情報は静止画群に含まれる静止画と関連付けられている。選択フレームは静止画群に含まれる。推定部４３４は、選択フレームと関連付けられているカメラ座標に基づいて、基準フレームを取得したカメラ（第２のカメラ）の３Ｄ座標（第２のカメラ座標）を推定する。

【0070】

推定部４３４はさらに、基準フレームを取得したカメラの姿勢を推定し、推定された姿勢を示す姿勢情報（第２の姿勢情報）を生成する。推定部４３４は、基準フレームを取得したカメラのカメラ座標および姿勢情報に基づいて、基準フレームに写っている被写体の領域の３Ｄ座標を推定する。これにより、推定部４３４は、注目領域と対応する３Ｄモデル上の位置を推定する。

【0071】

表示制御部４３５は、画像を表示部４５に出力することにより、画像を表示部４５に表示する。また、表示制御部４３５は、画像に情報を重畳し、かつその画像を表示部４５に出力する。これにより、表示制御部４３５は、情報が重畳された画像を表示部４５に表示する。具体的には、表示制御部４３５は、３Ｄモデルに含まれる３Ｄ座標を可視化する３次元画像（３Ｄ画像）を表示部４５に表示する。また、表示制御部４３５は、基準フレームを取得したカメラのカメラ座標と、注目領域と対応する３Ｄモデルの領域の位置との少なくとも一方を３Ｄ画像上に表示する。また、表示制御部４３５は、ユーザーに提示される各種情報を表示部４５に表示する。

【0072】

記憶制御部４３６は、内視鏡装置から取得された静止画群をメモリ４７に記憶させる。記憶制御部４３６は、条件受付部４３１によって受け付けられた条件をメモリ４７に記憶させる。記憶制御部４３６は、３Ｄモデル生成部４３２によって生成された３Ｄモデルをメモリ４７に記憶させる。記憶制御部４３６は、上記の情報およびデータに加えて、ＣＰＵ４３によって処理された各種情報および各種データをメモリ４７に記憶させる。

【0073】

ＣＰＵ４３が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、ＣＰＵ４３の動作を規定する命令を含む。つまり、ＣＰＵ４３の機能はソフトウェアにより実現されてもよい。そのプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波によりＰＣ４１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。

【0074】

ＰＣ４１は、ユーザーから情報を受け付けずに処理を実行してもよい。そのため、ＰＣ４１が操作部４４を有する必要はない。ＰＣ４１は、画像等を表示するためにＰＣ４１の外部の表示部を使用してもよい。そのため、ＰＣ４１が表示部４５を有する必要はない。ＰＣ４１が、静止画群を取得するカメラを有する場合、ＰＣ４１は静止画群を内視鏡装置から取得する必要はない。そのため、ＰＣ４１が通信部４６を有する必要はない。メモリ４７は、ＰＣ４１への装着とＰＣ４１からの取り外しとが可能であるように構成されてもよい。そのため、ＰＣ４１がメモリ４７を有する必要はない。

【0075】

図２を参照し、３Ｄモデルの生成および注目領域の表示のために実行される処理の手順を説明する。図２は、ＣＰＵ４３が実行する処理の手順を示す。ＰＣ４１は、静止画群、３Ｄモデルを生成するための条件、および注目領域の情報に基づいて処理を実行する。これにより、ＰＣ４１は、注目領域と対応する３Ｄモデル上の位置を可視化する。

【0076】

第１の実施形態では、注目領域は、内視鏡を使用する検査中にユーザーからの指示に従って記録された静止画の全体領域である。また、静止画群は動画であり、静止画が記録されたタイミングは、検査中に記録された動画ファイルと関連付けられている。静止画が記録されたタイミングが動画ファイルと関連付けられていない例は、第１の実施形態の第３の変形例において説明する。ユーザーが注目領域を設定せず、装置が注目領域を自動的に設定する例は、第３の実施形態において説明する。

【0077】

画像取得部４３０は、通信部４６を制御することにより、２枚以上の静止画（２Ｄ画像）を含む静止画群を内視鏡装置から取得する。記憶制御部４３６は、静止画群をメモリ４７に記憶させる（ステップＳ１０１）。

【0078】

ステップＳ１０１の後、ユーザーは、被写体の３Ｄモデルを生成するための条件を示す情報をＰＣ４１に入力する。条件受付部４３１は、ユーザーがＰＣ４１に入力した情報に基づいて、被写体の３Ｄモデルを生成するための条件を受け付ける。記憶制御部４３６は、その条件をメモリ４７に記憶させる（ステップＳ１０２）。前述したように、その条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、設定値、および基準長等を含む。これらの条件の全てをユーザーが指定する必要はない。ＣＰＵ４３がこれらの条件の少なくとも１つを自動的に設定してもよい。

【0079】

ステップＳ１０２の後、３Ｄモデル生成部４３２は、静止画群に含まれる２枚以上の２Ｄ画像と、３Ｄモデルを生成するための条件とに基づいて、被写体の３Ｄモデルを生成する（ステップＳ１０３）。３Ｄモデル生成部４３２が静止画群に含まれる全ての２Ｄ画像を使用する必要はない。

【0080】

３Ｄモデル生成部４３２が実行する具体的な処理の手順について説明する。３Ｄモデル生成部４３２は、画像取得部４３０によって取得された静止画群と、条件受付部４３１によって受け付けられた条件とを使用する。以下では、３Ｄモデル生成部４３２が、静止画群に含まれる２枚の画像（静止画）を使用する例について説明する。２枚の画像を撮影したとき、カメラの２つの視点は互いに異なる。３枚以上の画像が使用される場合でも、基本原理は、２枚の画像が使用される場合と変わらない。以下で説明される方法は、３枚以上の画像が使用される場合にも適用できる。

【0081】

以下で説明される方法では、互いに異なる２つの視点において取得された２枚の画像の各々における特徴点が検出され、複数の特徴点が互いに関連付けられる。また、以下で説明される方法では、複数の特徴点に基づいてカメラの位置、カメラの姿勢、および特徴点の３Ｄ座標が推定される。特徴点の情報を使用する方法は、Ｉｎｄｉｒｅｃｔ Ｍｅｔｈｏｄと呼ばれる。本発明の各実施形態に適用される方法はこの方法に限らない。

【0082】

例えば、互いに異なる２つの視点において取得された２枚の画像の画素値を直接使用する方法がある。この方法を使用することにより、カメラの位置、カメラの姿勢、および各画素と対応する３Ｄ座標が推定される。この方法は、Ｄｉｒｅｃｔ Ｍｅｔｈｏｄと呼ばれる。本発明の各実施形態において、この方法が使用されてもよい。互いに異なる２つ以上の視点において取得された２枚以上の画像を使用することによりカメラの位置、カメラの姿勢、および被写体の３Ｄ座標を推定することができる限り、どのような方法が使用されてもよい。

【0083】

図３は、被写体の２枚の画像が取得される場合の画像取得の状況を模式的に示す。以下の説明では、広義のカメラという表現を使用する。内視鏡が画像を取得する場合、以下の説明におけるカメラは、具体的には内視鏡先端の観察光学系を指す。

【0084】

図３に示すように、最初にカメラの撮像状態ｃ_１において画像Ｉ_１が取得される。次に、カメラの撮像状態ｃ_２において画像Ｉ_２が取得される。撮像状態ｃ_１と撮像状態ｃ_２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図３において、撮像状態ｃ_１と撮像状態ｃ_２とでは、撮像位置および撮像姿勢の両方が異なる。

【0085】

本発明の各実施形態では、画像Ｉ_１および画像Ｉ_２は同じ内視鏡で取得されることを想定している。また、本発明の各実施形態では、内視鏡の対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、内視鏡の光学系の特性が記述された内部パラメーターは、カメラ（観察光学系）の位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されていることを想定している。また、本発明の各実施形態では、画像の取得時には内部パラメーターは既知であることを想定している。

【0086】

本発明の各実施形態では、静止画群から２枚以上の画像が抽出されることを想定し、かつ静止画群は１つの内視鏡によって取得されることを想定している。しかし、本発明はこれに限らない。例えば、複数の内視鏡によって取得された複数の静止画群を使用して３Ｄモデルを復元する場合においても、本発明を適用できる。この場合、画像Ｉ_１および画像Ｉ_２は、互いに異なる内視鏡装置を使用して取得され、内視鏡毎に別々の内部パラメーターが保持されてさえいればよい。仮に内部パラメーターが未知であっても、内部パラメーターを変数として計算を実施することはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。

【0087】

図４を参照し、２枚の画像に基づいて被写体の３Ｄ座標を計算し、かつ３Ｄモデルを生成するための処理について説明する。図４は、３Ｄモデルを生成するための処理の手順を示す。

【0088】

まず、３Ｄモデル生成部４３２は、特徴点検出処理を実行する（ステップＳ１０３ａ）。３Ｄモデル生成部４３２は、特徴点検出処理において、２枚の画像の各々の特徴点を検出する。特徴点とは、画像に写っている被写体情報のうち、画像輝度勾配の大きいコーナーおよびエッジ等を指す。この特徴点を検出する方法として、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）およびＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）等が使用される。３Ｄモデル生成部４３２は、このような方法を使用することにより画像内の特徴点を検出することができる。

【0089】

図３は、画像Ｉ_１から特徴点Ｐ_１１が検出され、かつ画像Ｉ_２から特徴点Ｐ_１２が検出された例を示す。図３では各画像の１つの特徴点のみが表示されているが、実際には各画像において複数の特徴点が検出される。検出される特徴点の数は画像間で異なる可能性がある。各画像から検出された各特徴点は特徴量というデータに変換される。特徴量は、特徴点の特徴を表すデータである。

【0090】

ステップＳ１０３ａの後、３Ｄモデル生成部４３２は、特徴点関連付け処理を実行する（ステップＳ１０３ｂ）。３Ｄモデル生成部４３２は、特徴点関連付け処理において、特徴点検出処理（ステップＳ１０３ａ）により検出された各特徴点に対して、画像間で特徴量の相関を比較する。特徴量の相関が比較され、各画像において特徴量が近い特徴点が見つかった場合、３Ｄモデル生成部４３２は、その情報をメモリ４７に保持する。これにより、３Ｄモデル生成部４３２は、各画像の特徴点を互いに関連付ける。一方、特徴量が近い特徴点が見つからなかった場合には、３Ｄモデル生成部４３２は、その特徴点の情報を破棄する。

【0091】

ステップＳ１０３ｂの後、３Ｄモデル生成部４３２は、互いに関連付けられた２枚の画像の特徴点（特徴点ペア）の座標をメモリ４７から読み出す。３Ｄモデル生成部４３２は、読み出された座標に基づいて、位置および姿勢の算出処理を実行する（ステップＳ１０３ｃ）。３Ｄモデル生成部４３２は、位置および姿勢の算出処理において、画像Ｉ_１を取得したカメラの撮像状態ｃ_１と画像Ｉ_２を取得したカメラの撮像状態ｃ_２との間の相対的な位置および姿勢を算出する。より具体的には、３Ｄモデル生成部４３２は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。

【0092】

【数1】

【0093】

行列Ｅは基本行列と呼ばれる。基本行列Ｅは、画像Ｉ_１を取得したカメラの撮像状態ｃ_１と画像Ｉ_２を取得したカメラの撮像状態ｃ_２との間の相対的な位置および姿勢を保持する行列である。方程式（１）において、行列ｐ_１は、画像Ｉ_１から検出された特徴点の座標を含む行列である。行列ｐ_２は、画像Ｉ_２から検出された特徴点の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。３Ｄモデル生成部４３２は、公知のアルゴリズムを使用することにより基本行列Ｅを解くことができる。

【0094】

図３に示すように、カメラの位置変化量（相対的な位置）がｔであり、かつカメラの姿勢変化量（相対的な姿勢）がＲである場合、式（２）および式（３）が成り立つ。

【0095】

【数2】

【0096】

式（２）において、ｘ軸方向の移動量はｔ_ｘと表され、ｙ軸方向の移動量はｔ_ｙと表され、かつｚ軸方向の移動量はｔ_ｚと表される。式（３）において、ｘ軸周りの回転量αはＲ_ｘ（α）と表され、ｙ軸周りの回転量βはＲ_ｙ（β）と表され、かつｚ軸周りの回転量γはＲ_ｚ（γ）と表される。基本行列Ｅが算出された後、３Ｄ座標の復元精度を高めるためにバンドル調整という最適化処理が実行されてもよい。

【0097】

３Ｄモデル生成部４３２は、算出されたカメラの位置変化量を使用することにより３Ｄモデルの座標系における３Ｄ座標（カメラ座標）を算出する。例えば、３Ｄモデル生成部４３２は、画像Ｉ_１を取得したカメラの３Ｄ座標を定義する。３Ｄモデル生成部４３２は、画像Ｉ_１を取得したカメラの３Ｄ座標と、画像Ｉ_２を取得したカメラの位置変化量とに基づいて、画像Ｉ_２を取得したカメラの３Ｄ座標を算出する。

【0098】

３Ｄモデル生成部４３２は、算出されたカメラの姿勢変化量を使用することにより３Ｄモデルの座標系における姿勢情報を算出する。例えば、３Ｄモデル生成部４３２は、画像Ｉ_１を取得したカメラの姿勢情報を定義する。３Ｄモデル生成部４３２は、画像Ｉ_１を取得したカメラの姿勢情報と、画像Ｉ_２を取得したカメラの姿勢変化量とに基づいて、画像Ｉ_２を取得したカメラの姿勢情報を生成する。

【0099】

３Ｄモデル生成部４３２は、位置および姿勢の算出処理（ステップＳ１０３ｃ）を実行することにより、カメラの位置における３Ｄ座標（カメラ座標）と、カメラの姿勢を示す姿勢情報とを含む３次元形状（３Ｄ形状）のデータ（３Ｄ形状データ）を生成する。また、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎまたはｖｉｓｕａｌ－ＳＬＡＭ等の方法が位置および姿勢の算出処理（ステップＳ１０３ｃ）に適用される場合、３Ｄモデル生成部４３２はさらに、ステップＳ１０３ｃにおいて各特徴点の３Ｄ座標を算出する。ステップＳ１０３ｃにおいて生成された３Ｄ形状データは、特徴点以外の被写体上の点の３Ｄ座標を含まない。そのため、３Ｄ形状データは、被写体の疎な３Ｄ形状を示す。

【0100】

３Ｄ形状データは、各特徴点の３Ｄ座標、上記のカメラ座標、および上記の姿勢情報を含む。各特徴点の３Ｄ座標は、３Ｄモデルの座標系において定義される。各特徴点の３Ｄ座標は、各特徴点の２次元座標（２Ｄ座標）と関連付けられている。各特徴点の２Ｄ座標は、各特徴点が含まれる２Ｄ画像の座標系において定義される。各特徴点の２Ｄ座標および３Ｄ座標は、各特徴点が含まれる２Ｄ画像と関連付けられている。

【0101】

ステップＳ１０３ｃの後、３Ｄモデル生成部４３２は、ステップＳ１０３ｃにおいて算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、３次元形状復元処理を実行する（ステップＳ１０３ｄ）。３Ｄモデル生成部４３２は、３次元形状復元処理において、被写体の３Ｄモデルを生成する。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。

【0102】

３Ｄモデル生成部４３２は、ステップＳ１０３ｄにおいて、特徴点以外の被写体上の点の３Ｄ座標を算出する。特徴点以外の各点の３Ｄ座標は、３Ｄモデルの座標系において定義される。各点の３Ｄ座標は、各点の２Ｄ座標と関連付けられている。各点の２Ｄ座標は、各点が含まれる２Ｄ画像の座標系において定義される。各点の２Ｄ座標および３Ｄ座標は、各点が含まれる２Ｄ画像と関連付けられている。３Ｄモデル生成部４３２は、３Ｄ形状データを更新する。更新された３Ｄ形状データは、各特徴点の３Ｄ座標、特徴点以外の各点の３Ｄ座標、カメラ座標、および姿勢情報を含む。ステップＳ１０３ｄにおいて更新された３Ｄ形状データは、特徴点の３Ｄ座標に加えて特徴点以外の被写体上の点の３Ｄ座標を含む。そのため、３Ｄ形状データは、被写体の密な３Ｄ形状を示す。

【0103】

ステップＳ１０３ｄの後、３Ｄモデル生成部４３２は、３次元形状復元処理（ステップＳ１０３ｄ）において処理された３Ｄ形状データと、条件受付部４３１によって受け付けられた基準長とに基づいて３次元座標変換処理を実行する（ステップＳ１０３ｅ）。３Ｄモデル生成部４３２は、３次元座標変換処理において、被写体の３Ｄ形状データを、長さの次元を持つ３次元座標データへと変換する。ステップＳ１０３ｅが実行されたとき、図４に示す処理が終了する。

【0104】

処理時間を短縮するために、ステップＳ１０３ｄが省略されてもよい。この場合、ステップＳ１０３ｃが実行された後、ステップＳ１０３ｄが実行されずにステップＳ１０３ｅが実行される。

【0105】

ステップＳ１０３ｅが省略されてもよい。この場合、ステップＳ１０３ｄが実行された後、ステップＳ１０３ｅが実行されずに、図４に示す処理が終了する。この場合、３Ｄモデルは、長さの次元を持たない被写体の相対的な形状を示す。３Ｄモデルが被写体の相対的な形状を示す場合であっても、ＰＣ４１は、注目領域と対応する３Ｄモデルの領域を特定することができる。

【0106】

図３に示す原理に従って３Ｄモデルが生成されるためには、各２Ｄ画像の領域の少なくとも一部と、それ以外の少なくとも１枚の２Ｄ画像の各々の領域の少なくとも一部とが共通である必要がある。つまり、第１の２Ｄ画像の領域と、第１の２Ｄ画像と異なる第２の２Ｄ画像の領域とは、共通領域を含む。第１の２Ｄ画像において共通領域以外の領域と、第２の２Ｄ画像において共通領域以外の領域とは、互いに異なる。

【0107】

図２を再び参照し、３Ｄモデルが生成された後に実行される処理の手順を説明する。ステップＳ１０３の後、記憶制御部４３６は、３Ｄモデル生成部４３２によって生成された３Ｄモデルをメモリ４７に記憶させる（ステップＳ１０４）。

【0108】

ステップＳ１０４の後、画像選択部４３３は、注目領域を含む基準フレームを静止画群から選択する。第１の実施形態において、静止画が記録されたタイミングは、検査中に記録された動画ファイルと関連付けられている。例えば、そのタイミングは動画ファイルのヘッダーに埋め込まれている。画像選択部４３３は、動画ファイルのヘッダーを読み取ることにより、静止画が記録されたタイミングを特定する。例えば、動画のフレームレートが６０ｆｐｓであり、かつ動画の生成が開始されたタイミングの２０秒後に静止画が記録された場合、動画の１２００枚目の画像と対応する静止画が記録される。画像選択部４３３は、特定されたタイミングで記録された静止画を基準フレームとしてメモリ４７から読み出す（ステップＳ１０５）。

【0109】

第１の実施形態において、基準フレームは、ユーザーによって指定された静止画と同じである。注目領域は、基準フレームに写っている範囲の全体である。

【0110】

基準フレームの条件は予めメモリ４７に記憶されている。上記の例では、その条件は、選択される静止画が特定のタイミングと関連付けられていることを示す。画像選択部４３３は、ステップＳ１０５において、静止画群に含まれる２枚以上の２Ｄ画像のうち、その条件を満たす２Ｄ画像を選択する。

【0111】

ステップＳ１０５の後、画像選択部４３３は、ステップＳ１０３において３Ｄモデルを生成するために使用された２枚以上のキーフレームのうちの少なくとも１枚（選択フレーム）を選択する。選択フレームは、ステップＳ１０５において特定されたタイミングに時間的に最も近いタイミングと関連付けられている。選択フレームは、基準フレームと異なる。画像選択部４３３は、選択フレームをメモリ４７から読み出す（ステップＳ１０６）。

【0112】

選択フレームの条件は予めメモリ４７に記憶されている。上記の例では、その条件は、選択されるキーフレームが、ステップＳ１０５において特定されたタイミングに時間的に最も近いタイミングと関連付けられていることを示す。画像選択部４３３は、ステップＳ１０６において、２枚以上のキーフレームのうち、その条件を満たすキーフレームを選択する。

【0113】

上記の例では、画像選択部４３３は、基準フレームに時間的に最も近いキーフレームを選択フレームとして選択する。これにより、画像選択部４３３は、基準フレームの構図と最も似ている構図で取得されたキーフレームを選択する。そのため、被写体の同じ領域が基準フレームおよび選択フレームに写っていることが期待される。しかしながら、本発明の各実施形態はこの処理に限定されない。また、画像選択部４３３は、少なくとも２枚のキーフレームを選択フレームとして選択してもよい。例えば、画像選択部４３３は、基準フレームに時間的に最も近いキーフレームと、２番目に近いキーフレームとを選択してもよい。

【0114】

基準フレームの領域の少なくとも一部と、選択フレームの領域の少なくとも一部とは共通である。つまり、基準フレームの領域および選択フレームの領域は、共通領域を含む。基準フレームにおいて共通領域以外の領域と、選択フレームにおいて共通領域以外の領域とは、互いに異なる。

【0115】

ステップＳ１０６の後、推定部４３４は、３Ｄモデルをメモリ４７から読み出す。推定部４３４は、基準フレーム、選択フレーム、および３Ｄモデルに基づいて、基準フレームを取得したカメラの位置および姿勢を推定する（ステップＳ１０７）。

【0116】

図５および図６を参照し、カメラの位置および姿勢を推定するための処理について説明する。図５は、カメラの位置および姿勢を推定するための処理の手順を示す。図６は、基準フレームおよび選択フレームが取得される状況を模式的に示す。カメラの撮像状態Ｃ_ｄにおいて基準フレームＩ_ｄが取得され、かつカメラの撮像状態Ｃ_ＫＦにおいてキーフレームの１つである選択フレームＩ_ＫＦが取得される。第１の実施形態において、基準フレームおよび選択フレームは、内視鏡によって取得された静止画群に含まれる。そのため、基準フレームを取得したカメラは、選択フレームを取得したカメラと同じである。基準フレームを取得したカメラは、選択フレームを取得したカメラと異なっていてもよい。

【0117】

推定部４３４は、３Ｄモデルを構成する３次元点群（３Ｄ点群）の一部を抽出する。抽出された３Ｄ点群と対応する被写体の領域は、選択フレームを取得したカメラの撮像視野に入っている。そのため、その領域は選択フレームに写っている。前述したように、特徴点の２Ｄ座標および３Ｄ座標は、その特徴点が含まれる２Ｄ画像と関連付けられている。３Ｄモデルは、２枚以上のキーフレームの各々に含まれる特徴点の３Ｄ座標を含む。推定部４３４は、選択フレームと関連付けられている特徴点の３Ｄ座標を抽出する。これにより、推定部４３４は、３Ｄ点群を抽出する。例えば、推定部４３４は、図６に示す３ＤモデルＭＤ１上の点Ｐ１１、点Ｐ１２、点Ｐ１３、および点Ｐ１４を抽出する（ステップＳ１０７ａ）。

【0118】

ステップＳ１０７ａの後、推定部４３４は、ステップＳ１０７ａにおいて抽出された３Ｄ点群を選択フレームの２次元座標系へ再投影することにより、３Ｄ点群の２Ｄ座標を取得する。推定部４３４は、予め保持されているカメラモデルを使用することにより、３Ｄ点群の３Ｄ座標を選択フレームの２次元座標系へ再投影することができる。一般的に、ピンホールカメラモデルなどがカメラモデルとして良く使用される。例えば、推定部４３４は、図６に示す選択フレームＩ_ＫＦの点Ｐ１１_ＫＦ、点Ｐ１２_ＫＦ、点Ｐ１３_ＫＦ、および点Ｐ１４_ＫＦの各々の２Ｄ座標を取得する。図６において、選択フレームＩ_ＫＦの点Ｐ１１_ＫＦが３ＤモデルＭＤ１上の点Ｐ１１と対応し、選択フレームＩ_ＫＦの点Ｐ１２_ＫＦが３ＤモデルＭＤ１上の点Ｐ１２と対応し、選択フレームＩ_ＫＦの点Ｐ１３_ＫＦが３ＤモデルＭＤ１上の点Ｐ１３と対応し、選択フレームＩ_ＫＦの点Ｐ１４_ＫＦが３ＤモデルＭＤ１上の点Ｐ１４と対応する（ステップＳ１０７ｂ）。

【0119】

ステップＳ１０７ｂの後、推定部４３４は、ステップＳ１０７ｂにおいて取得された選択フレームの２Ｄ座標と対応する基準フレームの２Ｄ座標を探索する。つまり、推定部４３４は、選択フレームに写っている点と同じ点を基準フレームにおいて特定する。例えば、推定部４３４は、図６に示す基準フレームＩ_ｄの点Ｐ１１_ｄ、点Ｐ１２_ｄ、点Ｐ１３_ｄ、および点Ｐ１４_ｄを特定する。図６において、基準フレームＩ_ｄの点Ｐ１１_ｄが選択フレームＩ_ＫＦの点Ｐ１１_ＫＦと対応し、基準フレームＩ_ｄの点Ｐ１２_ｄが選択フレームＩ_ＫＦの点Ｐ１２_ＫＦと対応し、基準フレームＩ_ｄの点Ｐ１３_ｄが選択フレームＩ_ＫＦの点Ｐ１３_ＫＦと対応し、基準フレームＩ_ｄの点Ｐ１４_ｄが選択フレームＩ_ＫＦの点Ｐ１４_ＫＦと対応する（ステップＳ１０７ｃ）。

【0120】

図４に示すステップＳ１０３ａにおいて、各画像の特徴点における特徴量が算出される。３Ｄモデルは、静止画群に含まれる２枚以上の２Ｄ画像の各々の特徴点における特徴量を含んでもよい。推定部４３４は、ステップＳ１０７ｃにおいて、選択フレームの点の特徴量および基準フレームの点の特徴量に基づいて、選択フレームの点と同じ基準フレームの点を特定してもよい。

【0121】

ステップＳ１０７ｃの後、推定部４３４は、ステップＳ１０７ａにおいて取得された３Ｄ座標と、ステップＳ１０７ｂにおいて取得された２Ｄ座標と、ステップＳ１０７ｃにおいて取得された２Ｄ座標とに基づいて、基準フレームを取得したカメラの位置および姿勢を推定する。具体的には、推定部４３４は、３Ｄモデル上の３Ｄ座標、選択フレームの２Ｄ座標、および基準フレームの２Ｄ座標を入力とするｐｅｒｓｐｅｃｔｉｖｅ ｎ ｐｏｉｎｔ ｐｒｏｂｌｅｍを解くことにより、カメラの位置および姿勢を推定する。これにより、推定部４３４は、第１のカメラの位置を基準とする第２のカメラの相対的な位置を推定し、かつ第１のカメラの姿勢を基準とする第２のカメラの相対的な姿勢を推定する。第１のカメラは、選択フレームを取得したカメラである。第２のカメラは、基準フレームを取得したカメラである。例えば、推定部４３４は、図６に示す位置ｔ１_ＫＦ－ｄおよび姿勢Ｒ１_ＫＦ－ｄを推定する（ステップＳ１０７ｄ）。

【0122】

３Ｄモデルは、３Ｄモデルを生成するための２枚以上の２Ｄ画像を取得したカメラのカメラ座標および姿勢情報を含む。第１の実施形態では、３Ｄモデル生成部４３２が基準フレームを使用せずに３Ｄモデルを生成することを想定している。この場合、画像選択部４３３は、３Ｄモデルを生成するために使用された２枚以上のキーフレームの全てと異なる２Ｄ画像を基準フレームとして選択する。３Ｄモデルは、基準フレームを取得したカメラのカメラ座標および姿勢情報を含まない。そのため、推定部４３４は、ステップＳ１０７ｄにおいて、基準フレームを取得したカメラの位置および姿勢を推定する。

【0123】

ステップＳ１０７ｄの後、推定部４３４は、ステップＳ１０７ｄにおいて取得されたカメラの位置および姿勢を、３Ｄモデルの座標系におけるカメラの位置および姿勢に変換する（ステップＳ１０７ｅ）。ステップＳ１０７ｅが実行されたとき、図５に示す処理が終了する。

【0124】

図７を参照し、ステップＳ１０７ｅの詳細を説明する。３Ｄモデル生成部４３２は、ステップＳ１０３において、図７における選択フレームＩ_ＫＦを取得したカメラの位置および姿勢を推定する。つまり、３Ｄモデル生成部４３２は、図７における３ＤモデルＭＤ１０の座標系の原点Ｏ１０を基準とする位置ｔ２_Ｗ－ＫＦおよび姿勢Ｒ２_Ｗ－ＫＦを推定する。３ＤモデルＭＤ１０の３Ｄデータは、選択フレームＩ_ＫＦを取得したカメラのカメラ座標およびそのカメラの姿勢情報を含む。つまり、３Ｄデータは、位置ｔ２_Ｗ－ＫＦの３Ｄ座標および姿勢Ｒ２_Ｗ－ＫＦの姿勢情報を含む。

【0125】

推定部４３４は、ステップＳ１０７ｄにおいて、基準フレームＩ_ｄを取得したカメラの相対的な位置ｔ１_ＫＦ－ｄおよび相対的な姿勢Ｒ１_ＫＦ－ｄを推定する。推定部４３４は、ステップＳ１０７ｅにおいて、選択フレームＩ_ＫＦを取得したカメラの位置ｔ２_Ｗ－ＫＦ（３Ｄ座標）と、そのカメラの姿勢Ｒ２_Ｗ－ＫＦ（姿勢情報）とを３Ｄデータから取得する。推定部４３４は、ステップＳ１０７ｅにおいて、図７における基準フレームＩ_ｄを取得したカメラの位置および姿勢を推定する。具体的には、推定部４３４は、位置ｔ２_Ｗ－ＫＦおよび位置ｔ１_ＫＦ－ｄに基づいて、原点Ｏ１０を基準とする位置ｔ３_Ｗ－ｄを推定する。また、推定部４３４は、姿勢Ｒ２_Ｗ－ＫＦおよび姿勢Ｒ１_ＫＦ－ｄに基づいて、原点Ｏ１０を基準とする姿勢Ｒ３_Ｗ－ｄを推定する。

【0126】

図２を再び参照し、３Ｄモデルが生成された後に実行される処理の手順を説明する。ステップＳ１０７の後、推定部４３４は、基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を算出する。これにより、推定部４３４は、注目領域と対応する３Ｄモデル上の位置を推定する（ステップＳ１０８）。

【0127】

ステップＳ１０８の詳細を説明する。推定部４３４は、ステップＳ１０７において推定されたカメラの位置および姿勢と、条件受付部４３１から受け取った条件（内部パラメーターおよび歪み補正パラメーター）とに基づいて基準フレームの１つ以上の点の２Ｄ座標を３Ｄモデルに投影する。これにより、推定部４３４は、３Ｄモデル上の１つ以上の点を特定する。基準フレームの１つ以上の点は、ステップＳ１０７ｃにおいて特定された２Ｄ座標を持つ点を含む。つまり、基準フレームの１つ以上の点は、１つ以上の特徴点を含む。あるいは、基準フレームの１つ以上の点は、ステップＳ１０７ｃにおいて特定された２Ｄ座標以外の２Ｄ座標を持つ点を含む。つまり、基準フレームの１つ以上の点は、特徴点以外の１つ以上の点を含む。基準フレームの１つ以上の点は、１つ以上の特徴点と、特徴点以外の１つ以上の点とを含んでもよい。推定部４３４は、特定された点の３Ｄ座標を３Ｄモデルから取得する。推定部４３４は、上記の処理を実行することにより、基準フレームを取得したカメラの撮像視野に入る被写体の３Ｄ座標を算出する。

【0128】

ステップＳ１０８の後、推定部４３４は、ステップＳ１０８において算出された３Ｄ座標を３Ｄモデルと関連付ける。具体的には、推定部４３４は、アノテーションを実行することにより３Ｄ座標を３Ｄモデルと関連付ける（ステップＳ１０９）。

【0129】

ステップＳ１０９の後、表示制御部４３５は、３Ｄモデルの３Ｄ画像を表示部４５に表示する。このとき、表示制御部４３５は、ステップＳ１０８において算出された３Ｄ座標を持つ点を含む領域を３Ｄ画像上に表示する。これにより、表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を３Ｄ画像上に表示する（ステップＳ１１０）。ユーザーは、注目領域である基準フレームと対応する３Ｄモデル上の位置を確認することができる。ステップＳ１１０が実行されたとき、図２に示す処理が終了する。

【0130】

ＰＣ４１と異なる装置がステップＳ１０１からステップＳ１０３を実行し、ＰＣ４１が３Ｄモデルをその装置から取得してもよい。そのため、ステップＳ１０１からステップＳ１０３は必須ではない。

【0131】

推定部４３４がステップＳ１０８およびステップＳ１０９を実行せず、表示制御部４３５が、基準フレームを取得したカメラのカメラ座標を３Ｄモデルの３Ｄ画像上に表示してもよい。カメラ座標が３Ｄ画像上に表示されるため、ユーザーは、基準フレームの視点の位置を確認することができる。そのため、ステップＳ１０８およびステップＳ１０９は必須ではない。

【0132】

表示制御部４３５は、ステップＳ１１０において、３Ｄモデルと、注目領域と対応する領域とを同時に表示してもよい。あるいは、表示制御部４３５は、ステップＳ１０９が実行される前に３Ｄモデルの３Ｄ画像を表示し、ステップＳ１１０において注目領域と対応する領域を３Ｄ画像上に表示してもよい。

【0133】

上記のように３Ｄモデルは、３Ｄモデルを生成するための２枚以上の２Ｄ画像を取得したカメラのカメラ座標および姿勢情報を含む。そのため、３Ｄモデルは、選択フレームを取得した第１のカメラのカメラ座標およびその第１のカメラの姿勢情報を含む。推定部４３４は、ステップＳ１０７ｄにおいて、第１のカメラのカメラ座標を、基準フレームを取得した第２のカメラのカメラ座標の推定結果として３Ｄモデルから取得してもよい。推定部４３４は、ステップＳ１０７ｄにおいて、第１のカメラの姿勢情報を第２のカメラの姿勢の推定結果として３Ｄモデルから取得してもよい。選択フレームの構図は、基準フレームの構図と似ている。そのため、推定部４３４は、第１のカメラのカメラ座標を第２のカメラの近似的なカメラ座標として使用してもよい。推定部４３４は、第１のカメラの姿勢情報を第２のカメラの近似的な姿勢情報として使用してもよい。

【0134】

上記の例では、画像選択部４３３は、３Ｄモデルを生成するために使用された２枚以上のキーフレームに含まれない２Ｄ画像を基準フレームとして選択する。画像選択部４３３は、２枚以上のキーフレームのうちの１枚を基準フレームとして選択してもよい。その場合、３Ｄモデルは、基準フレームを取得した第２のカメラのカメラ座標およびその第２のカメラの姿勢情報を含む。推定部４３４は、そのカメラ座標およびその姿勢情報を３Ｄモデルから取得してもよい。

【0135】

表示部４５に表示される画像の例を説明する。図８から図１３は、表示部４５の表示画面の例を示す。以下では、便宜上、表示部４５が３Ｄモデルの３Ｄ画像を表示した後にＰＣ４１が注目領域として１枚の基準フレームを選択する例を示す。ＰＣ４１が３Ｄ画像を表示するタイミングと、ＰＣ４１が基準フレームを選択するタイミングとに制約はない。そのため、３Ｄ画像の表示と基準フレームの選択とのどちらが先に実施されてもよい。

【0136】

図８から図１３に示す例は、本発明の各実施形態における最低限の構成を示す。図８から図１３に示すユーザーインタフェースの部品（ボタン、チェックボックス、またはラジオボタン等）以外の部品が表示画面に配置されてもよい。図８から図１３で共通する部分には同じ符号が付与されている。

【0137】

ＣＰＵ４３が図２に示す処理を開始したとき、表示制御部４３５は、図８に示すダイアログＡ１０を表示部４５に表示する。また、表示制御部４３５は、ボタンＢ１０および領域Ｒ１０をダイアログＡ１０上に表示する。

【0138】

ボタンＢ１０は、３Ｄモデルを生成する指示を入力するためのボタンである。ユーザーは、操作部４４を通して表示画面上のボタンを押すことができる。表示部４５がタッチパネルである場合、ユーザーは、表示画面を触ることにより、表示画面上のボタンを押すことができる。

【0139】

領域Ｒ１０は、３Ｄモデルの３Ｄ画像を表示するための領域である。ＣＰＵ４３が図２に示す処理を開始したとき、３Ｄモデルはまだ生成されていない。このとき、３Ｄ画像は領域Ｒ１０に表示されていない。

【0140】

ユーザーは、ボタンＢ１０を押すことにより、３Ｄモデルを生成する指示を入力する。このとき、３Ｄモデル生成部４３２は、ステップＳ１０３における処理を開始する。表示制御部４３５は、生成された３Ｄモデルの３Ｄ画像を表示するためのボタンを表示部４５に表示してもよい。

【0141】

３Ｄモデルが生成された後、表示制御部４３５は、ステップＳ１１０において、３Ｄモデルの３Ｄ画像ＭＩ１０を領域Ｒ１０に表示する（図９）。このとき、表示制御部４３５は、予め設定された視点から予め設定された方向に見た３Ｄモデルの３Ｄ画像ＭＩ１０を表示する。また、表示制御部４３５は、ボタンＢ１１をダイアログＡ１０上に表示する。ボタンＢ１１は、注目領域として基準フレームを読み込む指示を入力するためのボタンである。

【0142】

３Ｄモデルが表示された後、ユーザーはボタンＢ１１を押す。このとき、表示制御部４３５は、検査中に記録された静止画を選択するためのダイアログを表示部４５に表示する。ユーザーは、記録された位置を知りたい静止画を選択する。

【0143】

以下では、３枚の静止画（基準フレーム）が選択される例を説明する。例えば、ｉｍｇ０１、ｉｍｇ０２、ｉｍｇ０３という識別情報（ファイル名）が３枚の静止画に付与されている。第１の実施形態において、注目領域は、検査中に取得された静止画の全体領域である。注目領域の読み込みは静止画の読み込みに限定されない。以下の例では、３枚の静止画に写っている範囲は互いに重ならない。

【0144】

画像選択部４３３は、３枚の静止画をメモリ４７から読み出し、ステップＳ１０６を実行する。推定部４３４は、ステップＳ１０７からステップＳ１０９を実行する。

【0145】

表示制御部４３５は、ステップＳ１１０において、３枚の静止画と対応する３Ｄモデル上の位置を示す情報を３Ｄ画像ＭＩ１０上に表示する（図１０）。具体的には、表示制御部４３５は、文字列ＣＨ１１、文字列ＣＨ１２、および文字列ＣＨ１３を３Ｄ画像ＭＩ１０上に表示し、かつ線Ｌ１１、線Ｌ１２、および線Ｌ１３を３Ｄ画像ＭＩ１０上に表示する。

【0146】

各文字列は、３枚の静止画の各々のファイル名を示す。文字列ＣＨ１１は、ファイル名ｉｍｇ０１を示す。文字列ＣＨ１２は、ファイル名ｉｍｇ０２を示す。文字列ＣＨ１３は、ファイル名ｉｍｇ０３を示す。各線は、各静止画と対応する位置を示す。線Ｌ１１は、ファイル名ｉｍｇ０１を持つ静止画と対応する位置を示す。線Ｌ１２は、ファイル名ｉｍｇ０２を持つ静止画と対応する位置を示す。線Ｌ１３は、ファイル名ｉｍｇ０３を持つ静止画と対応する位置を示す。各位置は、ステップＳ１０８において、基準フレームを取得したカメラのカメラ座標および姿勢情報に基づいて算出された３Ｄ座標と対応する。各静止画と対応する３Ｄモデル上の位置が３Ｄ画像ＭＩ１０上に表示されるため、ユーザーは、注目領域と対応する３Ｄモデル上の位置を確認することができる。

【0147】

また、表示制御部４３５は、ステップＳ１１０において、３枚の静止画の各々のサムネイル画像を表示部４５に表示する。図１０に示す例では、表示制御部４３５は、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３をダイアログＡ１０内の領域Ｒ２０に表示する。

【0148】

各サムネイル画像は、注目領域である静止画（基準フレーム）と対応する。サムネイル画像ＩＭ１１は、ファイル名ｉｍｇ０１を持つ静止画と対応する。サムネイル画像ＩＭ１２は、ファイル名ｉｍｇ０２を持つ静止画と対応する。サムネイル画像ＩＭ１３は、ファイル名ｉｍｇ０３を持つ静止画と対応する。表示制御部４３５が注目領域の画像（サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３）を表示部４５に表示する必要はない。

【0149】

図１０に示す例では、３Ｄ画像ＭＩ１０上の位置が静止画のファイル名と関連付けられている。ファイル名が表示される必要はない。３Ｄ画像ＭＩ１０上の位置がファイル名と異なる識別情報と関連付けられてもよい。３Ｄ画像ＭＩ１０上の位置がファイル名と異なるテキストまたは色等と関連付けられてもよい。例えば、表示制御部４３５は、ファイル名ｉｍｇ０１と対応するサムネイル画像ＩＭ１１の外周を所定の色で表示し、かつ３Ｄ画像ＭＩ１０上の位置にマークをその色で表示してもよい。

【0150】

図１１は、表示部４５の表示画面の他の例を示す。図１０に示す部分と同じ部分の説明を省略する。表示制御部４３５は、ステップＳ１１０において、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３をファイル名と一緒に３Ｄモデルの３Ｄ画像ＭＩ１０上に表示する。

【0151】

表示制御部４３５は、サムネイル画像およびファイル名の表示と非表示とを切り替える機能を有してもよい。表示制御部４３５は、記録された静止画自体をサムネイル画像として表示する必要はない。表示制御部４３５は、人工的に処理された静止画を表示してもよい。例えば、表示制御部４３５は、表示される複数の画像間で各画像の明るさを複数の画像の平均的な明るさに統一する処理を実行してもよい。表示制御部４３５は、静止画を、特定の物体距離または特定の観察角度の条件で仮想的な視点において取得された画像（自由視点画像）に変換してもよい。表示制御部４３５は、静止画が記録された位置が大きく変わらない範囲で、この変換を実行してもよい。本発明の各実施形態は、静止画が表示されるときに画像に施される処理の制約を受けない。

【0152】

図１２は、表示部４５の表示画面の他の例を示す。図１０に示す部分と同じ部分の説明を省略する。表示制御部４３５は、ステップＳ１１０において、各静止画と対応する３Ｄモデルの領域の位置を示す情報を３Ｄ画像ＭＩ１０上に表示する。例えば、表示制御部４３５は、領域ＭＲ１１、領域ＭＲ１２、および領域ＭＲ１３を３Ｄモデルの３Ｄ画像ＭＩ１０上に表示する。領域ＭＲ１１は、ファイル名ｉｍｇ０１を持つ静止画と対応する３Ｄモデルの領域である。領域ＭＲ１２は、ファイル名ｉｍｇ０２を持つ静止画と対応する３Ｄモデルの領域である。領域ＭＲ１３は、ファイル名ｉｍｇ０３を持つ静止画と対応する３Ｄモデルの領域である。領域ＭＲ１１、領域ＭＲ１２、および領域ＭＲ１３は、静止画に写っている被写体の範囲を正確に示す必要はない。

【0153】

表示制御部４３５は、視認性を高めるための処理（強調処理）を領域ＭＲ１１、領域ＭＲ１２、および領域ＭＲ１３の各々の画像に施してもよい。例えば、表示制御部４３５は、各領域の輪郭を線で表示してもよい。表示制御部４３５は、各領域を所定の色または所定の模様で表示してもよい。ユーザーが各領域を３Ｄモデルの他の領域と区別できる限り、各領域を表示する方法は上記の方法に限らない。

【0154】

表示制御部４３５は、ステップＳ１１０において、各静止画を取得したカメラのカメラ座標を３Ｄ画像ＭＩ１０上に表示する。例えば、表示制御部４３５は、図１２に示すマークＣ１１、マークＣ１２、およびマークＣ１３を表示する。マークＣ１１は、ファイル名ｉｍｇ０１を持つ静止画が取得されたときのカメラ座標を示す。マークＣ１２は、ファイル名ｉｍｇ０２を持つ静止画が取得されたときのカメラ座標を示す。マークＣ１３は、ファイル名ｉｍｇ０３を持つ静止画が取得されたときのカメラ座標を示す。

【0155】

表示制御部４３５は、マークＣ１１、マークＣ１２、およびマークＣ１３の各々の画像に強調処理を施してもよい。例えば、表示制御部４３５は、各マークの輪郭を線で表示してもよい。表示制御部４３５は、各マークを所定の色または所定の模様で表示してもよい。ユーザーが各マークを識別できる限り、各マークを表示する方法は上記の方法に限らない。

【0156】

表示制御部４３５は、ステップＳ１１０において、各静止画の画角を示す画角情報を３Ｄ画像ＭＩ１０上に表示する。例えば、表示制御部４３５は、図１２に示す線Ｌ２１、線Ｌ２２、および線Ｌ２３を表示する。線Ｌ２１は、ファイル名ｉｍｇ０１を持つ静止画の画角を示す。線Ｌ２２は、ファイル名ｉｍｇ０２を持つ静止画の画角を示す。線Ｌ２３は、ファイル名ｉｍｇ０３を持つ静止画の画角を示す。画角情報は、静止画を取得したカメラの撮像視野に入る領域とその撮像視野に入らない領域との境界を示す。表示制御部４３５は、静止画に写っている範囲の４隅の点と対応する３Ｄモデル上の４点と、その静止画を取得したカメラのカメラ座標とに基づいて、画角を示す４つの線を算出してもよい。

【0157】

表示制御部４３５は、静止画と対応する３Ｄモデルの領域と、カメラ座標と、画角情報との全てを表示する必要はない。表示制御部４３５は、画角情報を表示せずに３Ｄモデルの領域とカメラ座標との一方のみを表示してもよい。表示制御部４３５は、カメラ座標を表示せずに、３Ｄモデルの領域および画角情報を表示してもよい。表示制御部４３５は、３Ｄモデルの領域を表示せずに、カメラ座標および画角情報を表示してもよい。表示制御部４３５は、静止画毎に異なる種類の情報を表示してもよい。

【0158】

３Ｄ画像ＭＩ１０が表示された後、表示制御部４３５は、３Ｄ画像ＭＩ１０の視点を変更してもよい。例えば、ユーザーは、操作部４４を操作することにより、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３のいずれか１つを指定する。あるいは、ユーザーは、操作部４４を操作することにより、マークＣ１１、マークＣ１２、およびマークＣ１３のいずれか１つを指定する。このとき、表示制御部４３５は、ユーザーによって指定されたサムネイル画像またはマークと対応する静止画を特定する。

【0159】

ユーザーは、操作部４４を通して各サムネイルまたは各マークを指定することができる。表示部４５がタッチパネルである場合、ユーザーは、表示部４５の表示画面を触ることにより、各サムネイルまたは各マークを指定することができる。表示制御部４３５は、特定された静止画を取得したカメラのカメラ座標に基づいて３Ｄ画像ＭＩ１０の視点を変更する。また、表示制御部４３５は、視線の方向を所定の方向に変更する。

【0160】

表示制御部４３５は、３Ｄ画像ＭＩ１０の視点を、上記のカメラ座標を持つ点に変更してもよい。表示制御部４３５は、３Ｄ画像ＭＩ１０の視点を、上記のカメラ座標に近い３Ｄ座標を持つ点に変更してもよい。表示制御部４３５は、３Ｄ画像ＭＩ１０の視点を変更した後、静止画と対応する３Ｄモデルの領域を拡大、縮小、または回転してもよい。３Ｄ画像ＭＩ１０の視点がカメラ座標またはその近傍の３Ｄ座標に変更される限り、視点を変更する方法は上記の方法に限らない。

【0161】

図１３を参照し、３Ｄ画像ＭＩ１０の視点が変更される例を説明する。表示制御部４３５は、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を領域Ｒ２０に表示する。例えば、ユーザーはサムネイル画像ＩＭ１２を指定する。このとき、表示制御部４３５は、サムネイル画像ＩＭ１２と対応する静止画を特定し、その静止画を取得したカメラのカメラ座標に基づいて、図１２に示す３Ｄ画像ＭＩ１０の視点を変更する。これにより、表示制御部４３５は、図１３に示す３Ｄ画像ＭＩ２０を表示する。例えば、表示制御部４３５は、そのカメラ座標を持つ点と、そのカメラの撮像視野に入る領域の少なくとも一部とが表示されるように視点を変更する。表示制御部４３５は、そのカメラの撮像視野に入る領域が見やすくなるように、拡大、縮小、または回転などの処理を実行してもよい。

【0162】

表示制御部４３５は、図１３に示すマークＣ２１、領域ＭＲ２１、および線Ｌ３１を表示する。マークＣ２１は、サムネイル画像ＩＭ１２と対応する静止画が取得されたときのカメラ座標を示す。領域ＭＲ２１は、その静止画と対応する３Ｄモデルの領域を示す。線Ｌ３１は、その静止画の画角を示す。

【0163】

図１４および図１５を参照し、静止画群を取得する内視鏡装置の構成を説明する。図１４は、内視鏡装置１の外観を示す。図１５は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。被写体は、工業製品である。検査者は、種々の被写体の観察を行うために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを行うことが可能である。

【0164】

図１４に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

【0165】

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが挿入部２の先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２によって取得された被写体の画像および操作メニュー等を表示画面に表示する。

【0166】

操作部４は、ユーザーインタフェースである。表示部５は、ＬＣＤ等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。

【0167】

図１５に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。

【0168】

制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８を有する。

【0169】

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。

【0170】

ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

【0171】

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

【0172】

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、図１に示すＰＣ４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１の表示部４５が情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を行うことができる。

【0173】

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

【0174】

撮像素子２８は、静止画群を取得するカメラである。静止画群は、２枚以上の２Ｄ画像を含む。２枚以上の２Ｄ画像の各々は、２枚以上の２Ｄ画像に含まれる他の２Ｄ画像と時間的に関連付けられている。例えば、静止画群が動画である場合、動画に含まれる２つ以上のフレームの各々は、タイムスタンプ（タイムコード）によって互いに関連付けられている。

【0175】

例えば、撮像素子２８は、１つの視点を持つ単眼のカメラである。この場合、２枚以上の２Ｄ画像の各々は、単眼のカメラによって取得された画像である。

【0176】

撮像素子２８は、２つ以上の視点を持ってもよい。例えば、撮像素子２８は、第１の視点から見た被写体の画像と、第１の視点と異なる第２の視点から見た被写体の画像とを含むステレオ画像を取得してもよい。内視鏡装置１が、明部および暗部を持つパターン光を被写体に投影し、撮像素子２８は、２枚以上の画像を取得してもよい。ＰＣ４１は、ステレオ画像またはパターン光が投影された被写体の画像に基づいて３Ｄモデルを生成してもよい。

【0177】

本発明の各態様の画像表示方法は、記憶ステップ、第１の選択ステップ、第２の選択ステップ、推定ステップ、および表示ステップを有する。記憶制御部４３６は、記憶ステップ（ステップＳ１０４）において、被写体の２枚以上の２Ｄ画像に基づいて生成された３Ｄモデル（３Ｄデータ）をメモリ４７（記憶媒体）に記憶させる。３Ｄモデルは、被写体の２つ以上の点の３Ｄ座標および第１のカメラ座標を含む。第１のカメラ座標は、２枚以上の２Ｄ画像の各々を取得した第１のカメラの３Ｄ座標であり、かつ２枚以上の２Ｄ画像の各々と関連付けられている。画像選択部４３３は、第１の選択ステップ（ステップＳ１０５）において、被写体の２Ｄ画像である基準フレーム（基準画像）を選択する。画像選択部４３３は、第２の選択ステップ（ステップＳ１０６）において、基準フレームに基づいて、２枚以上の２Ｄ画像のうちの少なくとも１枚を選択フレーム（選択画像）として選択する。推定部４３４は、推定ステップ（ステップＳ１０７）において、選択フレームと関連付けられている第１のカメラ座標に基づいて、基準フレームを取得した第２のカメラの３Ｄ座標である第２のカメラ座標を推定する。表示制御部４３５は、表示ステップ（ステップＳ１１０）において、第２のカメラ座標と、第２のカメラ座標に基づいて算出された被写体の１つ以上の点の３Ｄ座標との少なくとも一方を可視化し、かつ被写体の２つ以上の点のうちの１つ以上の３Ｄ座標を可視化する３Ｄ画像ＭＩ１０を表示部４５（ディスプレイ）に表示する。

【0178】

例えば、表示制御部４３５は、第２のカメラ座標と、第２のカメラ座標に基づいて算出された３Ｄ座標との少なくとも一方と対応する位置を３Ｄ画像ＭＩ１０上に表示する。図１２に示す例では、表示制御部４３５は、第２のカメラ座標を示すマークＣ１１等を表示する。図１０および図１２に示す例では、表示制御部４３５は、静止画と対応する３Ｄモデル上の位置を示す文字列ＣＨ１１および線Ｌ１１等を３Ｄ画像ＭＩ１０上に表示する。文字列ＣＨ１１および線Ｌ１１等は、第２のカメラ座標に基づいて算出された３Ｄ座標を示す。図１２に示す例では、表示制御部４３５は、静止画と対応する３Ｄモデルの領域ＭＲ１１等を３Ｄ画像ＭＩ１０上に表示する。領域ＭＲ１１等は、第２のカメラ座標に基づいて算出された３Ｄ座標を示す。

【0179】

本発明の各態様は次の変形例を含んでもよい。３Ｄモデルはさらに、第１のカメラの姿勢を示す第１の姿勢情報を含む。第１の姿勢情報は、２枚以上の２Ｄ画像の各々と関連付けられている。推定部４３４はさらに、推定ステップ（ステップＳ１０７）において、選択フレームと関連付けられている第１の姿勢情報に基づいて第２のカメラの姿勢を推定し、推定された姿勢を示す第２の姿勢情報を生成する。推定部４３４はさらに、推定ステップ（ステップＳ１０８）において、第２のカメラ座標および第２の姿勢情報に基づいて、基準フレームに写っている被写体の領域の１つ以上の点の３Ｄ座標を推定する。３Ｄ画像ＭＩ１０は、その領域の１つ以上の点の３Ｄ座標を可視化する。

【0180】

例えば、推定部４３４は、基準フレームに写っている領域の全体の３Ｄ座標を算出する。推定部４３４は、基準フレームに写っている領域の一部の３Ｄ座標を算出してもよい。３Ｄモデルが生成されるとき、３Ｄモデルを構成する２つ以上の点の３Ｄ座標が算出される。推定部４３４は、その２つ以上の点と異なる点の３Ｄ座標を算出する。

【0181】

例えば、表示制御部４３５は、基準フレームに写っている領域の１つ以上の点の３Ｄ座標と対応する位置を３Ｄ画像ＭＩ１０上に表示する。図１０および図１２に示す例では、表示制御部４３５は、静止画と対応する３Ｄモデル上の位置を示す文字列ＣＨ１１等および線Ｌ１１等を３Ｄ画像ＭＩ１０上に表示する。図１２に示す例では、表示制御部４３５は、静止画と対応する３Ｄモデルの領域ＭＲ１１等を３Ｄ画像ＭＩ１０上に表示する。図１０および図１２に示す３Ｄ画像ＭＩ１０は、基準フレームに写っている領域の１つ以上の点の３Ｄ座標と、被写体の２つ以上の点の３Ｄ座標とを可視化する。

【0182】

本発明の各態様は次の変形例を含んでもよい。表示制御部４３５はさらに、表示ステップ（ステップＳ１１０）において、基準フレームに写っている領域の位置を示す情報を３Ｄ画像ＭＩ１０に重畳する。

【0183】

本発明の各態様は次の変形例を含んでもよい。３Ｄ画像が表示部４５に表示された後、表示制御部４３５は、視点変更ステップ（ステップＳ１１０）において、３Ｄ画像ＭＩ１０の視点を変更する。

【0184】

本発明の各態様は次の変形例を含んでもよい。表示制御部４３５は、表示ステップ（ステップＳ１１０）において、基準フレームの画角を示す画角情報を表示部４５に表示する。

【0185】

本発明の各態様は次の変形例を含んでもよい。３Ｄモデルはさらに、２枚以上の２Ｄ画像の各々に含まれる第１の点の２Ｄ座標を含む。推定部４３４は、推定ステップ（ステップＳ１０７）において、第１のカメラ座標と、２枚以上の２Ｄ画像のうちの１枚に含まれる第１の点（図６の点Ｐ１１_ＫＦ等）の２Ｄ座標と、第１の点と対応する基準フレームの第２の点（図６の点Ｐ１１_ｄ等）の２Ｄ座標とに基づいて、第２のカメラ座標を推定する。

【0186】

本発明の各態様は次の変形例を含んでもよい。画像選択部４３３は、第１の選択ステップ（ステップＳ１０５）において、１枚以上の選択対象画像のうちの１枚を基準フレームとして選択する。１枚以上の選択対象画像は、被写体の２Ｄ画像であり、２枚以上の２Ｄ画像に含まれない。

【0187】

本発明の各態様は次の変形例を含んでもよい。画像選択部４３３は、第２の選択ステップ（ステップＳ１０６）において、２枚以上の２Ｄ画像を互いに時間的に関連付ける時間情報を使用することにより２枚以上の２Ｄ画像のうちの少なくとも１枚を選択フレームとして選択する。

【0188】

第１の実施形態において、ＰＣ４１は、被写体の３Ｄ画像を表示部４５に表示する。その３Ｄ画像は、基準フレームを取得したカメラのカメラ座標と、そのカメラ座標に基づいて算出された３Ｄ座標との少なくとも一方を可視化し、かつ被写体の２つ以上の点のうちの１つ以上の３Ｄ座標を可視化する。これにより、ＰＣ４１は、被写体の２Ｄ画像（基準フレーム）の少なくとも一部と関連する３Ｄ座標を持つ位置を可視化することができる。

【0189】

ユーザーは、注目領域と対応する３Ｄモデル上の位置を確認することができる。その位置が３Ｄ画像上に表示されるため、ユーザーは、検査対象物の全体における注目領域の相対的な位置を確認することができる。そのため、ＰＣ４１は、修理または次回の検査において有用な情報をユーザーに提供することができる。ユーザーが検査中に挿入長をメモに書き取る必要はない。

【0190】

ＰＣ４１は、注目領域の視認性が高まるように、３Ｄ画像を強調表示する。あるいは、ＰＣ４１は、３Ｄ画像を表示するための視点を切り替える。これにより、ユーザーは、注目領域と対応する３Ｄモデルの領域の形状または傾き（方向）などを詳細に確認することができる。

【0191】

（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例を説明する。図１に示すＰＣ４１は、図１６に示すＰＣ４１ａに変更される。図１６は、ＰＣ４１ａの構成を示す。ＰＣ４１ａは、注目領域と対応する３Ｄモデル上の位置を表示し、かつその位置と３Ｄモデル上の基準点との間の３次元距離（３Ｄ距離）を表示する。図１に示す構成と同じ構成の説明を省略する。

【0192】

図１に示すＣＰＵ４３は、ＣＰＵ４３ａに変更される。ＣＰＵ４３ａの機能は、画像取得部４３０、条件受付部４３１、３Ｄモデル生成部４３２、画像選択部４３３、推定部４３４、表示制御部４３５、記憶制御部４３６、および基準位置受付部４３７を含む。図１６に示すＣＰＵ４３ａ内のブロックの少なくとも１つがＣＰＵ４３ａと異なる回路で構成されてもよい。

【0193】

ＣＰＵ４３ａ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ａ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ａ内の各部は、１つまたは複数の論理回路を含むことができる。

【0194】

ユーザーは、操作部４４を操作することにより、３Ｄモデル上の基準位置をＰＣ４１ａに入力する。基準位置は、３Ｄモデル上の１つの点に限らない。基準位置は、３Ｄモデル上の２つ以上の点を含む領域であってもよい。基準位置受付部４３７は、ユーザーがＰＣ４１ａに入力した情報に基づいて、基準位置を受け付ける。記憶制御部４３６は、基準位置受付部４３７によって受け付けられた基準位置をメモリ４７に記憶させる。基準位置受付部４３７は、基準位置と対応する３Ｄモデル上の基準点を特定する。３Ｄモデルは、基準点を含む２つ以上の点の３Ｄ座標を含む。基準位置受付部４３７は、基準点と、注目領域と対応する３Ｄモデルの領域との間の３Ｄ距離を算出する。表示制御部４３５は、基準位置受付部４３７によって算出された３Ｄ距離を３Ｄモデルの３Ｄ画像上に表示する。

【0195】

図１７は、ＰＣ４１ａが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0196】

ユーザーは、操作部４４を操作することにより３Ｄモデル上の基準位置をＰＣ４１ａに入力する。例えば、ユーザーは、内視鏡が挿入される入り口であるアクセスポートを基準位置として指定する。あるいは、ユーザーは、エルボーなどの曲がり部位を基準位置として指定する。ステップＳ１１０の後、基準位置受付部４３７は、ユーザーがＰＣ４１ａに入力した情報に基づいて、基準位置を受け付ける（ステップＳ１２１）。

【0197】

ステップＳ１２１の後、基準位置受付部４３７は、基準位置と対応する３Ｄモデル上の基準点を特定する。例えば、３Ｄモデル上の特定の領域が基準位置として指定された場合、基準位置受付部４３７は、その領域に含まれる１つの点を基準点として特定する。基準位置受付部４３７は、基準点と、注目領域と対応する３Ｄモデルの領域との間の３Ｄ距離を算出する（ステップＳ１２２）。

【0198】

ステップＳ１２２の詳細を説明する。例えば、基準位置受付部４３７は、注目領域と対応する３Ｄモデル上の代表点を選択し、基準点と代表点との間の３Ｄ距離を算出する。この場合、基準位置受付部４３７は、基準点と、３Ｄモデルの領域内の２つ以上の点のうちの１つとの間の３Ｄ距離を算出する。基準位置受付部４３７は、基準点と、注目領域と対応する３Ｄモデル上の２つ以上の点の各々との間の３Ｄ距離を算出し、かつ２つ以上の点の全てに対する３Ｄ距離の平均を算出してもよい。この場合、基準位置受付部４３７は、基準点と、３Ｄモデルの領域内の近似点との間の３Ｄ距離を算出する。近似点は、３Ｄモデル上の２つ以上の点のいずれか１つと一致する、またはその２つ以上の点のいずれか１つの近傍にある。

【0199】

ステップＳ１２２の後、表示制御部４３５は、ステップＳ１２２において算出された３Ｄ距離を３Ｄモデルの３Ｄ画像上に表示する（ステップＳ１２３）。ステップＳ１２３が実行されたとき、図１７に示す処理が終了する。

【0200】

上記の例では、ユーザーが基準位置を指定する。ＰＣ４１ａは、基準位置を自動で３Ｄモデルに設定してもよい。例えば、ユーザーが予め指定した基準位置の情報がメモリ４７に記憶される。その情報は、過去にユーザーがＰＣ４１ａに入力した基準位置を示してもよい。ＰＣ４１ａは、その情報に基づいて基準位置を３Ｄモデルに設定する。

【0201】

図１８は、表示部４５の表示画面の例を示す。図１０に示す部分と同じ部分の説明を省略する。

【0202】

表示制御部４３５は、ステップＳ１２３において、基準位置受付部４３７によって受け付けられた基準位置と、基準位置受付部４３７によって算出された３Ｄ距離とを３Ｄ画像ＭＩ１０上に表示する。図１８に示す例では、表示制御部４３５は、基準位置ＲＦ１を３Ｄ画像ＭＩ１０上に表示し、かつ３Ｄ距離を示す文字列Ｄ１１、文字列Ｄ１２、および文字列Ｄ１３を３Ｄ画像ＭＩ１０上に表示する。文字列Ｄ１１は、基準位置ＲＦ１と対応する基準点と、静止画（ファイル名ｉｍｇ０１）と対応する領域との間の３Ｄ距離を示す。文字列Ｄ１２は、基準位置ＲＦ１と対応する基準点と、静止画（ファイル名ｉｍｇ０２）と対応する領域との間の３Ｄ距離を示す。文字列Ｄ１３は、基準位置ＲＦ１と対応する基準点と、静止画（ファイル名ｉｍｇ０３）と対応する領域との間の３Ｄ距離を示す。

【0203】

図１８に示す例では、３Ｄ画像ＭＩ１０および３Ｄ距離が領域Ｒ１０に表示される。３Ｄ距離は、３Ｄ画像ＭＩ１０が表示される領域Ｒ１０と異なる領域に表示されてもよい。

【0204】

上記の例では、３Ｄモデル上の長さを実際の長さに変換するために基準長が必要である。基準長は必須ではない。基準位置受付部４３７は、実際の長さのスケールを持たない３Ｄ距離を算出してもよい。例えば、基準位置受付部４３７は、第１の基準点と３Ｄモデル上の第１の点との間の第１の３Ｄ距離を算出する。また、基準位置受付部４３７は、第２の基準点と３Ｄモデル上の第２の点との間の第２の３Ｄ距離を算出する。基準位置受付部４３７は、第１の３Ｄ距離と第２の３Ｄ距離との比を算出する。この場合、３Ｄ距離が長さのスケールを持つ必要はない。そのため、基準長は不要である。

【0205】

上記の例では、ユーザーからの指示に基づいて基準長が設定される。ユーザーが基準長を指定する必要はない。例えば、基準位置が設定される部位が特徴的な形状、模様、または色等を持つ場合、その部位の情報が予めメモリ４７に記憶されてもよい。基準位置受付部４３７は、その情報を使用することにより、被写体の２Ｄ画像または被写体の３Ｄモデルを処理し、基準位置を検出してもよい。このとき、基準位置受付部４３７は、公知技術を使用することができる。

【0206】

本発明の各態様は次の変形例を含んでもよい。表示制御部４３５は、表示ステップ（ステップＳ１２３）において、被写体の２つ以上の点に含まれる基準点と、基準フレーム（基準画像）に写っている被写体の領域との間の３Ｄ距離を表示部４５に表示する。

【0207】

第１の実施形態の第１の変形例において、ＰＣ４１ａは、基準点と、注目領域と対応する３Ｄモデルの領域との間の３Ｄ距離を表示する。ユーザーは、３Ｄモデル上の位置が基準点からどれだけ離れているのかを確認することができる。例えば、第１の実施形態の第１の変形例は配管検査に適用される。

【0208】

（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例を説明する。第１の実施形態の第２の変形例において、図１に示すＰＣ４１が使用される。例えば、第１の実施形態の第２の変形例はガスタービン検査に適用される。ガスタービンは、周期的に配置された２つ以上のブレードを有する。２つ以上のブレードは、ガスタービンの外周方向に沿って配置されている。ガスタービンは検査中に外周方向に回転する。

【0209】

検査中に基準ブレードおよび注目ブレードが指定される。注目ブレードは、ユーザーによって指定された静止画に含まれる。基準フレームは、ユーザーによって指定された静止画と同じである。そのため、注目ブレードは、基準フレームに含まれる。ＰＣ４１、または図１４および図１５に示す内視鏡装置１は、基準ブレードから注目ブレードまでのブレードの数を検出する。ＰＣ４１は、その数を表示する。

【0210】

図１９は、第１の実施形態の第２の変形例における被写体であるガスタービンの２Ｄ画像の例を示す。図１９に示す画像ＧＴ１０において、２つ以上のブレードＢＤ１０が写っている。例えば、２つ以上のブレードＢＤ１０が同じ形状および同じ大きさを持つように２つ以上のブレードＢＤ１０が製造される。２つ以上のブレードＢＤ１０は等間隔に配置される。

【0211】

以下では、ブレードの数を検出する２つの方法を説明する。まず、内視鏡装置１がブレードの数を検出する第１の方法を説明する。例えば、内視鏡装置１は、レーザー光を投影する投影光学系と、レーザー光を検出する検出光学系とを有する。例えば、投影光学系はレーザーポインターを含む。検出光学系は、レーザー検出器を有する。レーザー検出器は撮像素子２８であってもよい。

【0212】

投影光学系は、ガスタービンに向けてレーザー光を投影する。ブレードが撮像素子２８の撮像視野に入っているとき、レーザー光はブレードで反射し、検出光学系に入射する。そのため、レーザー検出器はレーザー光を検出する。ブレードが撮像素子２８の撮像視野に入っていないとき、レーザー光はブレードで反射せず、検出光学系に入射しない。そのため、レーザー検出器はレーザー光を検出しない。レーザー検出器は、レーザー光の検出結果を示す信号をＣＰＵ１８に出力する。

【0213】

ガスタービンが回転している間、ＣＰＵ１８は、レーザー検出器がレーザー光を検出する第１の期間と、レーザー検出器がレーザー光を検出しない第２の期間とを検出する。第１の期間および第２の期間は交互に現れる。ＣＰＵ１８が１回の第１の期間および１回の第２の期間の組を検出したとき、ＣＰＵ１８は、１枚のブレードが検出されたと判断する。ＣＰＵ１８は、２種類の期間の組の数を数えることにより、ブレードの数を検出する。

【0214】

例えば、ユーザーは、特徴的な傷などを持つブレードを基準ブレードとして指定する。ＣＰＵ１８が、所定の基準を満たす基準ブレードを選択してもよい。撮像素子２８が静止画群（動画）の取得を開始した後、ＣＰＵ１８は、撮像素子２８によって取得された画像において基準ブレードが検出されたか否かを判断する。基準ブレードが検出された場合、ＣＰＵ１８はブレードの数を検出し始める。１枚のブレードが検出される度にＣＰＵ１８はブレードの数を１ずつ増加させる。次に基準ブレードが検出された場合、ＣＰＵ１８はブレードの計数を終了し、ブレードの数を新たに検出し始める。ＣＰＵ１８は、ブレードの数を示す情報を、撮像素子２８によって取得された各画像と関連付ける。例えば、ＣＰＵ１８は、その情報を動画ファイルのヘッダーに記録する。

【0215】

表示制御部４３５は、図２または図１７に示すステップＳ１１０において、画像選択部４３３によって選択された基準フレームと関連付けられている情報を取得する。その情報は、基準ブレードから、その基準フレームに写っている注目ブレードまでのブレードの数を示す。

【0216】

次に、ＰＣ４１がブレードの数を検出する第２の方法を説明する。ガスタービンの３Ｄモデルにおいて基準ブレードが指定された場合、表示制御部４３５は、ガスタービンの外周に沿って所定方向に並んだ各ブレードを検出する。所定方向は、ガスタービンの回転方向と同じ方向、またはその回転方向と反対の方向である。表示制御部４３５は、ガスタービンの３Ｄ－ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データと３Ｄモデルとを組み合わせることにより、３Ｄモデルにおけるブレードを検出してもよい。表示制御部４３５は、図２または図１７に示すステップＳ１１０において、基準ブレードから注目ブレードまでのブレードの数を検出する。

【0217】

表示制御部４３５は、基準ブレードから所定の方向にブレードの第１の数を検出し、かつ基準ブレードからその所定の方向と反対の方向にブレードの第２の数を検出してもよい。表示制御部４３５は、第１の数および第２の数のうち小さいほうを最終的なブレードの数として選択してもよい。

【0218】

表示制御部４３５は、第１の方法または第２の方法を使用することにより検出されたブレードの数を表示部４５に表示する。例えば、表示制御部４３５は、図２または図１７に示すステップＳ１１０において、その数を３Ｄモデルの３Ｄ画像上に表示する。

【0219】

本発明の各態様は次の変形例を含んでもよい。被写体は、周期的に配置された２つ以上の部分領域を含む。表示制御部４３５は、表示ステップ（ステップＳ１１０）において、基準部分から注目部分までの部分領域の少なくとも一部の数を表示部４５に表示する。基準部分は２つ以上の部分領域のうちの１つである。注目部分は、基準部分と異なり、基準フレーム（基準画像）に写っている被写体の領域と対応する部分領域である。

【0220】

上記の例では、被写体はガスタービンであり、２つ以上のブレードを含む。基準部分は、２つ以上のブレードのうちの１つである。上記の例では、基準部分は基準ブレードである。上記の例では、注目部分は、基準フレームに写っている注目ブレードである。

【0221】

数を検出するブレードの範囲の例を説明する。例えば、その範囲は、基準ブレードおよび注目ブレードを含み、かつ基準ブレードおよび注目ブレードの間に配置された１つ以上のブレードの全てを含む。その範囲は、基準ブレードおよび注目ブレードのいずれか一方を含み、かつ基準ブレードおよび注目ブレードの間に配置された１つ以上のブレードの全てを含んでもよい。そのため、その範囲は、基準ブレードおよび注目ブレードの両方を含む必要はない。その範囲は、基準ブレードおよび注目ブレードを含まず、かつ基準ブレードおよび注目ブレードの間に配置された１つ以上のブレードの全てを含んでもよい。注目ブレードが基準ブレードと同じである場合、その範囲は基準ブレードのみを含む。

【0222】

第１の実施形態の第２の変形例において、ＰＣ４１は基準ブレードから注目ブレードまでのブレードの数を表示する。注目ブレードは、注目領域に含まれる。ユーザーは、注目ブレードが基準ブレードからどれだけ離れているのかを確認することができる。

【0223】

（第１の実施形態の第３の変形例）
本発明の第１の実施形態の第３の変形例を説明する。第１の実施形態の第３の変形例において、図１に示すＰＣ４１が使用される。前述した第１の実施形態において、内視鏡装置１等の装置は、被写体の３Ｄモデルを生成するための静止画群と、注目領域が写っている静止画とを１回の検査中に取得する。以下では、注目領域が写っている静止画を注目画像と呼ぶ。第１の実施形態の第３の変形例において、内視鏡装置１等の装置は、静止画群と注目画像とを互いに異なる検査中に取得する。

【0224】

図２を参照し、ＰＣ４１が実行する処理を説明する。第１の実施形態における処理と同じ処理の説明を省略する。図２に示すステップＳ１０５における処理が変更される。

【0225】

第１の実施形態において、注目画像が記録されたタイミングは動画ファイルのヘッダーに埋め込まれている。そのため、第１の実施形態において画像選択部４３３は、動画ファイルのヘッダーを読み取ることにより、注目画像が記録されたタイミングを特定することができる。

【0226】

第１の実施形態の第３の変形例において、静止画群（動画ファイル）を取得するための検査のタイミングと、注目画像を取得する検査のタイミングとが異なる。そのため、注目画像が記録されたタイミングは動画ファイルのヘッダーに埋め込まれていない。画像選択部４３３は、ステップＳ１０５において、注目画像の構図と似た構図で取得された画像を動画ファイルから選択する。これにより、画像選択部４３３は、注目画像と類似する基準フレームを選択する。

【0227】

画像選択部４３３は、“類似画像検索”と呼ばれる公知技術を使用してもよい。これにより、画像選択部４３３は、特定の静止画の構図と似た構図で取得された画像（フレーム）を動画ファイルにおいて検索することができる。類似画像検索の代表的な例として、Ｂａｇ ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓなどの技術がある。

【0228】

静止画群と注目画像とが互いに異なる検査中に取得される場合であっても、ＰＣ４１は、注目画像と対応する基準フレームを選択することができる。そのため、ＰＣ４１は、被写体の２Ｄ画像（基準フレーム）の少なくとも一部と関連する３Ｄ座標を持つ位置を可視化することができる。

【0229】

（第１の実施形態の第４の変形例）
本発明の第１の実施形態の第４の変形例を説明する。第１の実施形態の第４の変形例において、図１に示すＰＣ４１が使用される。

【0230】

３Ｄモデルが表示された後、ＰＣ４１は、静止画の特定領域を新たな注目領域としてユーザーから受け付ける。ＰＣ４１は、注目領域と対応する３Ｄモデルの領域を３Ｄモデルの３Ｄ画像上に表示する。注目領域は、基準フレームに写っている範囲の一部である。

【0231】

図２０は、ＰＣ４１が実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0232】

ステップＳ１１０において３Ｄモデルの３Ｄ画像が表示部４５に表示された後、ユーザーは、操作部４４を操作することにより、特定の静止画における注目領域の位置を示す情報をＰＣ４１に入力する。その静止画は、ステップＳ１０５において選択された基準フレームである。ステップＳ１０５において２枚以上の基準フレームが選択された場合、ユーザーは、１枚の基準フレームにおける注目領域の位置を示す情報をＰＣ４１に入力する。推定部４３４は、ユーザーがＰＣ４１に入力した情報に基づいて、注目領域を受け付ける。推定部４３４は、２つ以上の注目領域を受け付けてもよい（ステップＳ１３１）。

【0233】

ステップＳ１３１の後、推定部４３４は、注目領域と対応する３Ｄモデルの領域の３Ｄ座標を算出する。これにより、推定部４３４は、注目領域と対応する３Ｄモデル上の位置を推定する（ステップＳ１３２）。

【0234】

ステップＳ１３２の詳細を説明する。推定部４３４は、公知技術を使用することによりステップＳ１３２を実行することができる。例えば、推定部４３４は、ステップＳ１０３と同様の処理を実行することにより、注目領域と対応する３Ｄモデルの領域の３Ｄ座標を算出する。注目領域が基準フレームの領域であるため、推定部４３４は、ステップＳ１０８の結果を使用することにより、注目領域と対応する３Ｄモデルの領域の３Ｄ座標を算出してもよい。

【0235】

注目領域は、３Ｄモデルを生成するために使用されたキーフレームの領域であってもよい。ステップＳ１０３が実行されたとき、キーフレームの各点の２Ｄ座標は３Ｄモデルの各点の３Ｄ座標と関連付けられる。そのため、推定部４３４は、その２Ｄ座標とその３Ｄ座標との関係に基づいて、注目領域と対応する３Ｄモデルの領域の３Ｄ座標を算出してもよい。

【0236】

ステップＳ１３２の後、表示制御部４３５は、ステップＳ１３２において推定された位置を含む３Ｄモデルの３Ｄ画像を表示部４５に再度表示する。このとき、表示制御部４３５は、ステップＳ１３２において推定された位置が見やすくなるように３Ｄ画像の視点を変更してもよい。表示制御部４３５は、ステップＳ１３２において推定された位置を含む領域を拡大、縮小、または回転してもよい（ステップＳ１３３）。ユーザーは、注目領域と対応する３Ｄモデル上の位置を確認することができる。ステップＳ１３３が実行されたとき、図２０に示す処理が終了する。

【0237】

図２０に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１３３の後、ステップＳ１２１からステップＳ１２３が実行されてもよい。ステップＳ１３１が実行される前にステップＳ１２１からステップＳ１２３が実行されてもよい。

【0238】

表示制御部４３５は、ステップＳ１１０またはステップＳ１３３において、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0239】

図２１は、表示部４５の表示画面の例を示す。図１３に示す部分と同じ部分の説明を省略する。

【0240】

表示制御部４３５は、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を領域Ｒ２０に表示する。例えば、ユーザーはサムネイル画像ＩＭ１２の一部を指定する。このとき、推定部４３４は、ステップＳ１３１において、サムネイル画像ＩＭ１２の一部を注目領域ＭＲ３１として受け付ける。表示制御部４３５は、注目領域ＭＲ３１をサムネイル画像ＩＭ１２上に表示してもよい。推定部４３４は、ステップＳ１３２において、注目領域ＭＲ３１と対応する３Ｄモデル上の位置を推定する。表示制御部４３５は、ステップＳ１３３において、注目領域ＭＲ３１と対応する３Ｄモデルの領域の位置を示す情報を３Ｄモデルの３Ｄ画像ＭＩ２０上に表示する。例えば、表示制御部４３５は、領域ＭＲ３２を３Ｄ画像ＭＩ２０上に表示する。

【0241】

表示制御部４３５は、視認性を高めるための処理（強調処理）を領域ＭＲ３２の画像に施してもよい。例えば、表示制御部４３５は、領域ＭＲ３２の輪郭を線で表示してもよい。表示制御部４３５は、領域ＭＲ３２を所定の色または所定の模様で表示してもよい。ユーザーが領域ＭＲ３２を３Ｄモデルの他の領域と区別できる限り、領域ＭＲ３２を表示する方法は上記の方法に限らない。

【0242】

第１の実施形態の第４の変形例において、ＰＣ４１は、静止画の特定領域と対応する３Ｄモデルの領域を３Ｄモデルの３Ｄ画像上に表示する。ユーザーは、その特定領域と対応する３Ｄモデル上の位置を確認することができる。

【0243】

ユーザーは、静止画に写っている異常な部位などを注目領域として指定することができる。ユーザーは、注目領域と対応する３Ｄモデルの領域の位置および傾き（方向）を詳細に確認することができる。

【0244】

（第１の実施形態の第５の変形例）
本発明の第１の実施形態の第５の変形例を説明する。第１の実施形態の第５の変形例において、図１に示すＰＣ４１が使用される。２枚以上の基準フレームが使用される。２枚以上の基準フレームに写っている範囲は互いに重なる。ＰＣ４１は、２枚以上の基準フレーム間で重なる領域を表示する。

【0245】

画像選択部４３３は、２枚以上の基準フレームを静止画群から選択する。画像選択部４３３は、各基準フレームに基づいて選択フレームを静止画群から選択する。したがって、画像選択部４３３は、２枚以上の選択フレームを選択する。

【0246】

推定部４３４は、各基準フレームを取得したカメラのカメラ座標を推定する。また、推定部４３４は、各基準フレームを取得したカメラの姿勢を推定し、推定された姿勢を示す姿勢情報を生成する。さらに、推定部４３４は、各基準フレームに写っている被写体の領域の３Ｄ座標を推定する。

【0247】

表示制御部４３５は、３Ｄモデルの３Ｄ画像を表示部４５に表示する。表示制御部４３５は、各基準フレームを取得したカメラのカメラ座標と、注目領域と対応する３Ｄモデルの領域との少なくとも一方と対応する位置を３Ｄ画像上に表示する。表示制御部４３５は、２枚以上の基準フレーム間で共通の領域（重複領域）の位置を示す情報を表示部４５に表示する。表示制御部４３５は、重複領域のうち被写体の形状が大きく変化する領域を表示部４５に表示する。

【0248】

以下では、ユーザーが２枚の静止画（第１の静止画および第２の静止画）を注目領域として指定する例を説明する。２枚の静止画に写っている範囲は互いに重なる。第１の静止画は、過去に実施された検査（例えば、１年前に実施された検査）で取得された静止画であり、処理対象の静止画群に含まれない。第２の静止画は、最も新しい検査で取得された静止画であり、処理対象の静止画群に含まれる。３枚以上の静止画が注目領域となる場合であっても、ＰＣ４１は、以下で説明される方法と同様の方法を使用することができる。

【0249】

図２２は、ＰＣ４１が実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0250】

図２に示すステップＳ１０５は、ステップＳ１０５ａに変更される。ユーザーは、操作部４４を操作することにより、２枚の静止画を示す情報をＰＣ４１に入力する。画像選択部４３３は、ユーザーがＰＣ４１に入力した情報に基づいて、２枚の静止画を受け付ける。画像選択部４３３は、２枚の静止画に基づいて２枚の基準フレーム（第１の基準フレームおよび第２の基準フレーム）を静止画群から選択する。画像選択部４３３は、２枚の基準フレームをメモリ４７から読み出す（ステップＳ１０５ａ）。

【0251】

ステップＳ１０５ａの詳細を説明する。画像選択部４３３は、第１の静止画に基づいて第１の基準フレームを選択する。第１の基準フレームを選択する方法は、第１の実施形態の第３の変形例における方法と同じである。画像選択部４３３は、第１の静止画の構図と似た構図で取得された静止画を静止画群から選択することにより、第１の静止画と類似する第１の基準フレームを選択する。

【0252】

第１の静止画が取得されたタイミングは、静止画群に含まれる各静止画が取得されたタイミングと大きく異なる。過去の検査と最も新しい検査との間に異常が発生する可能性がある。そのため、第１の静止画には異常が写ってなく、第１の基準フレームには異常が写っている場合がある。第１の静止画と類似する第１の基準フレームを正確に選択するために、異常な領域が静止画群の各静止画から除外されてもよい。

【0253】

ユーザーが、操作部４４を操作することにより、異常な領域を示す情報をＰＣ４１に入力し、画像選択部４３３はその領域を受け付けてもよい。ＰＣ４１が機械学習などを使用することにより異常な領域を静止画から検出してよい。画像選択部４３３は、静止画群の各静止画に写っている範囲から異常な領域を除外し、第１の基準フレームを選択してもよい。異常な領域を除外する方法は上記の方法に限らない。

【0254】

画像選択部４３３は、第２の静止画に基づいて第２の基準フレームを選択する。第２の基準フレームを選択する方法は、第１の実施形態における方法と同じである。例えば、第２の静止画が記録されたタイミングは動画ファイルのヘッダーに埋め込まれている。画像選択部４３３は、動画ファイルのヘッダーを読み取ることにより、第２の静止画が記録されたタイミングを特定する。画像選択部４３３は、特定されたタイミングで記録された静止画を第２の基準フレームとしてメモリ４７から読み出す。第２の基準フレームは第２の静止画と同じである。

【0255】

ユーザーによって指定された２枚の静止画に写っている範囲が互いに重なる場合、画像選択部４３３は、以下の方法を使用することにより２枚の基準フレームを選択してもよい。まず、画像選択部４３３は、上記の方法を使用することにより、第２の基準フレームを選択する。画像選択部４３３は、静止画群において第２の基準フレームと時間的に近い１枚以上の静止画を処理対象として選択する。画像選択部４３３は、第１の静止画と似ている静止画を処理対象から選択する。選択された静止画は第１の基準フレームである。これにより、誤ったフレームを第１の基準フレームとして選択する頻度が減り、第１の基準フレームを選択するための処理時間が短縮される。

【0256】

画像選択部４３３は、ステップＳ１０６において、２枚の基準フレームに基づいて２枚の選択フレーム（第１の選択フレームおよび第２の選択フレーム）を選択する。各選択フレームを選択する方法は、第１の実施形態における方法と同じである。

【0257】

推定部４３４は、ステップＳ１０７において、第１の基準フレーム、第１の選択フレーム、および３Ｄモデルに基づいて、第１の基準フレームを取得したカメラの位置および姿勢を推定する。また、推定部４３４は、ステップＳ１０７において、第２の基準フレーム、第２の選択フレーム、および３Ｄモデルに基づいて、第２の基準フレームを取得したカメラの位置および姿勢を推定する。カメラの位置および姿勢を推定する方法は、第１の実施形態における方法と同じである。

【0258】

推定部４３４は、ステップＳ１０８において、第１の基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を算出する。また、推定部４３４は、ステップＳ１０８において、第２の基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を算出する。これにより、推定部４３４は、第１の静止画および第２の静止画の各々と対応する３Ｄモデル上の位置を推定する。３Ｄモデル上の位置を推定する方法は、第１の実施形態における方法と同じである。

【0259】

ステップＳ１０９の後、表示制御部４３５は、第１の基準フレームおよび第２の基準フレーム間で共通の領域（重複領域）を検出する。その領域は、第１の基準フレームおよび第２の基準フレームに写っている。表示制御部４３５は、２枚の基準フレームの２次元情報のみに基づいて重複領域を検出してもよい。ステップＳ１０８において各基準フレームと対応する３Ｄモデルの領域が特定されているため、表示制御部４３５は、その領域の３次元情報を使用することにより重複領域を検出してもよい（ステップＳ１４１）。

【0260】

ステップＳ１４１の後、表示制御部４３５は、重複領域における被写体の形状の変化量を算出し、その変化量が所定量以上である領域を検出する。これにより、表示制御部４３５は、被写体の形状が大きく変化する領域を検出する。表示制御部４３５は、２枚の基準フレームの２次元情報のみに基づいてその領域を検出してもよい。例えば、表示制御部４３５は、互いに隣接する２つの画素の値の差分を算出し、その差分が所定値を超える領域を検出してもよい。あるいは、表示制御部４３５は、画像の色が周囲の領域と大きく異なる領域を検出してもよい。表示制御部４３５は、重複領域の３次元情報を使用することにより、被写体の形状が大きく変化する領域を検出してもよい。例えば、表示制御部４３５は、被写体の３Ｄ形状において周囲の領域に対する高さまたは深さが所定値を超える領域を検出してもよい（ステップＳ１４２）。

【0261】

図２に示すステップＳ１１０は、ステップＳ１１０ａに変更される。ステップＳ１４２の後、表示制御部４３５は、３Ｄモデルの３Ｄ画像を表示部４５に表示する。このとき、表示制御部４３５は、ステップＳ１０８において算出された３Ｄ座標を持つ点を含む領域を３Ｄ画像上に表示する。これにより、表示制御部４３５は、第１の静止画および第２の静止画の各々と対応する３Ｄモデルの領域を３Ｄ画像上に表示する。また、表示制御部４３５は、ステップＳ１４１において検出された重複領域と、ステップＳ１４２において検出された領域とを表示部４５に表示する（ステップＳ１１０ａ）。ステップＳ１１０ａが実行されたとき、図２２に示す処理が終了する。

【0262】

ＰＣ４１が実行する処理の順番は、図２２に示す順番に限らない。例えば、表示制御部４３５は、基準フレームが選択されるタイミングと、３Ｄ画像が表示されるタイミングとの間の任意のタイミングで重複領域を検出してもよい。したがって、ステップＳ１４１はステップＳ１０５ａとステップＳ１１０ａとの間の任意のタイミングで実行されてもよい。表示制御部４３５は、基準フレームが選択されるタイミングと、３Ｄ画像が表示されるタイミングとの間の任意のタイミングで、被写体の形状が大きく変化する領域を検出してもよい。したがって、ステップＳ１４２はステップＳ１０５ａとステップＳ１１０ａとの間の任意のタイミングで実行されてもよい。

【0263】

表示制御部４３５は、ステップＳ１４１を実行しなくてもよく、ステップＳ１１０ａにおいて重複領域を表示しなくてもよい。そのため、ステップＳ１４１は必須ではない。

【0264】

表示制御部４３５は、ステップＳ１４２を実行しなくてもよく、ステップＳ１１０ａにおいて被写体の形状が大きく変化する領域を表示しなくてもよい。そのため、ステップＳ１４２は必須ではない。

【0265】

図２２に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１１０ａの後、ステップＳ１２１からステップＳ１２３が実行されてもよい。ステップＳ１４１が実行される前に、図１７に示すステップＳ１１０、およびステップＳ１２１からステップＳ１２３が実行されてもよい。

【0266】

図２２に示す処理に加えて、図２０に示すステップＳ１３１からステップＳ１３３が実行されてもよい。例えば、ステップＳ１１０ａの後、ステップＳ１３１からステップＳ１３３が実行されてもよい。ステップＳ１４１が実行される前に、図２０に示すステップＳ１１０、およびステップＳ１３１からステップＳ１３３が実行されてもよい。

【0267】

表示制御部４３５は、ステップＳ１１０ａにおいて、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0268】

図２３は、表示部４５の表示画面の例を示す。図１３に示す部分と同じ部分の説明を省略する。

【0269】

表示制御部４３５は、ステップＳ１１０ａにおいて、第１の静止画および第２の静止画の各々のサムネイル画像を表示部４５に表示する。図２３に示す例では、表示制御部４３５は、サムネイル画像ＩＭ１４およびサムネイル画像ＩＭ１５を領域Ｒ２０に表示する。サムネイル画像ＩＭ１４は、ファイル名ｉｍｇ０４を持つ静止画のサムネイル画像である。サムネイル画像ＩＭ１５は、ファイル名ｉｍｇ０５を持つ静止画のサムネイル画像である。

【0270】

表示制御部４３５は、ステップＳ１１０ａにおいて、３Ｄモデルの注目領域ＭＲ３１および領域ＭＲ３２を３Ｄモデルの３Ｄ画像ＭＩ２０上に表示する。注目領域ＭＲ３１は、ファイル名ｉｍｇ０４を持つ静止画と対応する３Ｄモデルの領域である。領域ＭＲ３２は、ファイル名ｉｍｇ０５を持つ静止画と対応する３Ｄモデルの領域である。

【0271】

表示制御部４３５はステップＳ１１０ａにおいて、マークＣ３１およびマークＣ３２を３Ｄ画像ＭＩ２０上に表示する。マークＣ３１は、ファイル名ｉｍｇ０４を持つ静止画が取得されたときのカメラ座標を示す。マークＣ３２は、ファイル名ｉｍｇ０５を持つ静止画が取得されたときのカメラ座標を示す。

【0272】

表示制御部４３５は、ステップＳ１１０ａにおいて、線Ｌ４１および線Ｌ４２を表示する。線Ｌ４１は、ファイル名ｉｍｇ０４を持つ静止画の画角を示す。線Ｌ４２は、ファイル名ｉｍｇ０５を持つ静止画の画角を示す。

【0273】

表示制御部４３５は、ステップＳ１４１において、２枚の基準フレーム間で共通の領域（重複領域）を検出する。表示制御部４３５は、ステップＳ１１０ａにおいて、重複領域の位置を示す情報を表示部４５に表示する。例えば、表示制御部４３５は、領域ＭＲ４１をサムネイル画像ＩＭ１４およびサムネイル画像ＩＭ１５上に表示し、領域ＭＲ４２をサムネイル画像ＩＭ１５上に表示する。領域ＭＲ４１は、重複領域である。領域ＭＲ４２は、２枚の基準フレーム間で共通しない領域である。図２３に示す例では、静止画（ファイル名ｉｍｇ０５）を取得したカメラの撮像視野は、静止画（ファイル名ｉｍｇ０４）を取得したカメラの撮像視野を含む。サムネイル画像ＩＭ１４は、領域ＭＲ４１のみの画像である。サムネイル画像ＩＭ１５は、領域ＭＲ４１および領域ＭＲ４２の画像である。

【0274】

ユーザーによって指定された静止画は、基準フレームと同じである、または基準フレームと似ている。そのため、２枚の基準フレーム間で共通の領域のほぼ全体が２枚の静止画に含まれる可能性が高い。図２３に示す例では、表示制御部４３５は、基準フレームの重複領域と同じ領域をユーザーによって指定された静止画において検出する。表示制御部４３５は、検出された領域をサムネイル画像上に表示する。

【0275】

ユーザーによって指定された静止画と基準フレームとが異なる場合、表示制御部４３５は基準フレームを表示部４５に表示してもよい。表示制御部４３５は、重複領域を基準フレーム上に表示してもよい。

【0276】

表示制御部４３５は、ステップＳ１４２において、被写体の形状が大きく変化する領域を検出する。表示制御部４３５は、ステップＳ１１０ａにおいて領域ＭＲ４３をサムネイル画像ＩＭ１４およびサムネイル画像ＩＭ１５上に表示する。領域ＭＲ４３において被写体の形状が大きく変化する。領域ＭＲ４３は領域ＭＲ４１に含まれる。ユーザーによって指定された静止画と基準フレームとが異なる場合、表示制御部４３５は、被写体の形状が大きく変化する領域を基準フレーム上に表示してもよい。

【0277】

図２３に示す例では、表示制御部４３５は、各静止画と対応するサムネイル画像上に重複領域を表示する。表示制御部４３５は、重複領域を３Ｄ画像ＭＩ２０上に表示してもよい。

【0278】

図２３に示す例では、表示制御部４３５は、被写体の形状が大きく変化する領域を、各静止画と対応するサムネイル画像上に表示する。表示制御部４３５は、その領域を３Ｄ画像ＭＩ２０上に表示してもよい。

【0279】

表示制御部４３５は、視認性を高めるための処理（強調処理）を領域ＭＲ４１、領域ＭＲ４２、および領域ＭＲ４３の各々の画像に施してもよい。例えば、表示制御部４３５は、各領域の輪郭を線で表示してもよい。表示制御部４３５は、各領域を所定の色または所定の模様で表示してもよい。ユーザーが各領域を静止画の他の領域または３Ｄモデルの領域と区別できる限り、各領域を表示する方法は上記の方法に限らない。

【0280】

本発明の各態様は次の変形例を含んでもよい。画像選択部４３３は、第１の選択ステップ（ステップＳ１０５ａ）において２枚以上の基準フレーム（基準画像）を選択する。表示制御部４３５は、表示ステップ（ステップＳ１１０ａ）において、２枚以上の基準フレーム間で共通の領域の位置を示す情報を表示部４５に表示する。

【0281】

第１の実施形態の第５の変形例において、ＰＣ４１は、２枚以上の基準フレーム間で共通の領域（重複領域）の位置を示す情報を表示部４５に表示する。ユーザーは、互いに大きく異なるタイミングで取得された２枚以上の静止画の関係を分析および管理することができる。

【0282】

ＰＣ４１は、重複領域のうち被写体の形状が大きく変化する領域を表示部４５に表示する。ユーザーは、被写体の形状の時系列的な変化を分析および管理することができる。

【0283】

（第１の実施形態の第６の変形例）
本発明の第１の実施形態の第６の変形例を説明する。図１に示すＰＣ４１は、図２４に示すＰＣ４１ｂに変更される。図２４は、ＰＣ４１ｂの構成を示す。ＰＣ４１ｂは、３Ｄモデルの代わりに、３Ｄ－ＣＡＤ等の設計データ（参照データ）の３Ｄ画像を表示する。図１に示す構成と同じ構成の説明を省略する。

【0284】

図１に示すＣＰＵ４３は、ＣＰＵ４３ｂに変更される。ＣＰＵ４３ｂの機能は、画像取得部４３０、条件受付部４３１、３Ｄモデル生成部４３２、画像選択部４３３、推定部４３４、表示制御部４３５、記憶制御部４３６、データ受付部４３８、およびデータ処理部４３９を含む。図２４に示すＣＰＵ４３ｂ内のブロックの少なくとも１つがＣＰＵ４３ｂと異なる回路で構成されてもよい。

【0285】

ＣＰＵ４３ｂ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ｂ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ｂ内の各部は、１つまたは複数の論理回路を含むことができる。

【0286】

メモリ４７は、ＰＣ４１ｂまたは外部装置によって生成された参照データを記憶する。参照データは、被写体の３Ｄ形状を示す。参照データは、３Ｄモデルから独立しているデータである。３Ｄモデルのデータフォーマットと参照データのデータフォーマットとが異なっていてもよい。ユーザーは、操作部４４を操作することにより、参照データを指定するための情報をＰＣ４１ｂに入力する。データ受付部４３８は、その情報を操作部４４から受け付ける。

【0287】

３Ｄモデルは、被写体の２つ以上の点の３Ｄ座標を含む。データ処理部４３９は、その２つ以上の点の３Ｄ座標を参照データによって示される３Ｄ形状と関連付ける。これにより、データ処理部４３９は、３Ｄモデルの位置と参照データの位置とを互いに関連付ける。

【0288】

図２５は、ＰＣ４１ｂが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0289】

ステップＳ１０２の後、ユーザーは、操作部４４を操作することにより、参照データを指定するための情報をＰＣ４１ｂに入力する。データ受付部４３８は、その情報を操作部４４から受け付ける（ステップＳ１５１）。ステップＳ１５１の後、ステップＳ１０３が実行される。

【0290】

ステップＳ１０８の後、データ処理部４３９は、ステップＳ１０３において生成された３Ｄモデルと、ステップＳ１５１において受け付けられた情報が示す参照データとをメモリ４７から読み出す。データ処理部４３９は、３Ｄモデルの位置と参照データの位置とを互いに関連付ける（ステップＳ１５２）。

【0291】

ステップＳ１５２の詳細を説明する。３Ｄモデルのデータフォーマットと参照データのデータフォーマットとが異なる場合、データ処理部４３９は、３Ｄモデルのデータフォーマットと参照データのデータフォーマットとを揃える処理を実行する。３Ｄモデルは、３Ｄ点群データである。例えば、参照データがソリッドデータまたはサーフェースデータである場合、データ処理部４３９は、参照データを３Ｄ点群データに変換する。データ処理部４３９は、３Ｄモデルをソリッドデータまたはサーフェースデータに変換してもよい。

【0292】

その後、データ処理部４３９は、公知の３Ｄデータの位置合わせ技術を使用することにより、３Ｄモデルの位置と参照データの位置とを互いに関連付ける。データ処理部４３９は、３Ｄモデルまたは参照データのデータフォーマットを変換することにより、位置合わせを容易に実行することができる。ユーザーは、操作部４４を操作することにより、３Ｄモデルの位置と参照データの位置とを合わせてもよい。

【0293】

ステップＳ１５２の後、推定部４３４は、ステップＳ１０８において算出された３Ｄ座標を参照データと関連付ける（ステップＳ１５３）。ステップＳ１５３は、図２に示すステップＳ１０９と同様である。

【0294】

ステップＳ１５３の後、表示制御部４３５は、参照データの３Ｄ画像を表示部４５に表示する。このとき、表示制御部４３５は、ステップＳ１０８において算出された３Ｄ座標を持つ点を含む領域を３Ｄ画像上に表示する。これにより、表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を３Ｄ画像上に表示する（ステップＳ１５４）。ユーザーは、参照データの３Ｄ画像を確認することにより、注目領域である基準フレームと対応する３Ｄモデル上の位置を確認することができる。ステップＳ１５４が実行されたとき、図２５に示す処理が終了する。

【0295】

ＰＣ４１ｂが実行する処理の順番は、図２５に示す順番に限らない。例えば、データ受付部４３８は、データ処理部４３９が参照データを処理する前の任意のタイミングで、参照データを指定するための情報を受け付けてもよい。したがって、ステップＳ１５１はステップＳ１５２が実行される前の任意のタイミングで実行されてもよい。

【0296】

所定の参照データを使用する条件が予めＰＣ４１ｂに設定されている場合、データ受付部４３８は、参照データを指定するための情報を受け付ける必要はない。そのため、ＣＰＵ４３ｂがデータ受付部４３８を有する必要はなく、ステップＳ１５１は必須ではない。

【0297】

図２５に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１５４の後、ステップＳ１２１からステップＳ１２３が実行されてもよい。表示制御部４３５は、ステップＳ１２３において、３Ｄ距離を参照データの３Ｄ画像上に表示してもよい。

【0298】

図２５に示す処理に加えて、図２０に示すステップＳ１３１からステップＳ１３３が実行されてもよい。例えば、ステップＳ１５４の後、ステップＳ１３１からステップＳ１３３が実行されてもよい。表示制御部４３５は、ステップＳ１３３において、新たな注目領域の位置として推定された位置を含む参照データの３Ｄ画像を表示部４５に表示してもよい。

【0299】

図２５に示す処理に加えて、図２２に示すステップＳ１４１およびステップＳ１４２が実行されてもよい。例えば、ステップＳ１５４の後、ステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１４２の後、表示制御部４３５は、ステップＳ１４１において検出された重複領域と、ステップＳ１４２において検出された領域とを参照データの３Ｄ画像上に表示してもよい。ステップＳ１５２が実行される前にステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１５４が実行されたとき、表示制御部４３５は、ステップＳ１４１において検出された重複領域と、ステップＳ１４２において検出された領域とを参照データの３Ｄ画像上に表示してもよい。

【0300】

表示制御部４３５は、ステップＳ１５４において、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0301】

本発明の各態様は次の変形例を含んでもよい。３Ｄ画像は、被写体の３Ｄ形状を示す形状データの画像である。データ処理部４３９は、関連付けステップ（ステップＳ１５３）において、被写体の２つ以上の点の３Ｄ座標を形状データによって示される３Ｄ形状と関連付ける。

【0302】

第１の実施形態の第６の変形例において、ＰＣ４１ｂは、３Ｄ－ＣＡＤ等の参照データの３Ｄ画像を表示する。被写体の表面が高い品質で表示されるため、ユーザーは、被写体の表面を詳細に確認することができる。

【0303】

（第２の実施形態）
本発明の第２の実施形態を説明する。図１に示すＰＣ４１は、図２６に示すＰＣ４１ｃに変更される。図２６は、ＰＣ４１ｃの構成を示す。ＰＣ４１ｃは、動画を再生する機能を有し、３Ｄモデルの３Ｄ画像と一緒に動画を表示する。図１に示す構成と同じ構成の説明を省略する。

【0304】

図１に示すＣＰＵ４３は、ＣＰＵ４３ｃに変更される。ＣＰＵ４３ｃの機能は、画像取得部４３０、条件受付部４３１、３Ｄモデル生成部４３２、画像選択部４３３、推定部４３４、表示制御部４３５、記憶制御部４３６、および動画制御部４４０を含む。図２６に示すＣＰＵ４３ｃ内のブロックの少なくとも１つがＣＰＵ４３ｃと異なる回路で構成されてもよい。

【0305】

ＣＰＵ４３ｃ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ｃ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ｃ内の各部は、１つまたは複数の論理回路を含むことができる。

【0306】

第２の実施形態において、動画が静止画群として使用される。内視鏡装置１等の装置は、検査中に動画を取得する。ユーザーは、動画の撮影中に注目フレームを指定することにより、インデックスを動画の特定のフレームに付与することができる。インデックスは、チャプターと同様の機能を持つ。動画制御部４４０は、動画の再生を制御する。

【0307】

図２７および図２８は、ＰＣ４１ｃが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0308】

図２に示すステップＳ１０５は、ステップＳ１０５ｂに変更される。画像選択部４３３は、動画に埋め込まれたインデックスを読み取り、そのインデックスと対応するフレームを特定する。画像選択部４３３は、そのフレームを基準フレームとしてメモリ４７から読み出す（ステップＳ１０５ｂ）。

【0309】

ステップＳ１１０の後、動画制御部４４０は、動画をメモリ４７から読み出し、動画を再生する。動画制御部４４０は、再生された動画を表示部４５に表示する。動画制御部４４０は、動画に埋め込まれたインデックスを読み取り、そのインデックスと対応するフレームを特定してもよい。動画制御部４４０は、インデックスが付与されたフレームを示す情報を動画と一緒に表示してもよい（ステップＳ１６１）。

【0310】

ユーザーは、動画の再生中に操作部４４を操作することにより、動画の特定のフレームを示す情報をＰＣ４１ｃに入力する。これにより、ユーザーは、新たな注目領域を示す情報をＰＣ４１ｃに入力する。画像選択部４３３は、入力された情報が示すフレームを新たな基準フレームとしてメモリ４７から読み出す（ステップＳ１６２）。

【0311】

ステップＳ１６２の後、ステップＳ１６３からステップＳ１６６が実行される。ステップＳ１６３は、図２に示すステップＳ１０６と同じである。ステップＳ１６４は、図２に示すステップＳ１０７と同じである。ステップＳ１６５は、図２に示すステップＳ１０８と同じである。ステップＳ１６６は、図２に示すステップＳ１０９と同じである。

【0312】

ステップＳ１６６の後、表示制御部４３５は、ステップＳ１６５において算出された３Ｄ座標を持つ点を含む領域を３Ｄモデルの３Ｄ画像上に表示する。これにより、表示制御部４３５は、新たな注目領域と対応する３Ｄモデルの領域を３Ｄ画像上に表示する（ステップＳ１６７）。ステップＳ１６７が実行されたとき、図２７および図２８に示す処理が終了する。

【0313】

動画が記録された後にインデックスが動画に付与されてもよい。例えば、動画が表示部４５に表示された後、ユーザーが操作部４４を操作することにより、インデックスを動画の所望の位置に付与してもよい。

【0314】

ＰＣ４１ｃが実行する処理の順番は、図２７および図２８に示す順番に限らない。例えば、ステップＳ１０５ｂが実行される前に動画が表示され、ユーザーは、動画の特定のフレームを注目領域として指定してもよい。画像選択部４３３は、ステップＳ１０５ｂにおいて、そのフレームを基準フレームとして選択してもよい。したがって、ステップＳ１０４が実行される前にステップＳ１６１が実行されてもよい。

【0315】

動画制御部４４０は、動画の再生を一時的に停止してもよい。画像選択部４３３は、動画の再生が停止されたときに表示されているフレームを基準フレームとして選択してもよい。ユーザーは、操作部４４を操作することにより、基準フレームにおける注目領域を示す情報をＰＣ４１ｃに入力してもよい。その後、図２０に示すステップＳ１３１からステップＳ１３３と同様の処理が実行されてもよい。

【0316】

図２７および図２８に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１６７の後、ステップＳ１２１からステップＳ１２３が実行されてもよい。ステップＳ１６１が実行される前にステップＳ１２１からステップＳ１２３が実行されてもよい。

【0317】

図２７および図２８に示す処理に加えて、図２２に示すステップＳ１４１およびステップＳ１４２が実行されてもよい。例えば、ステップＳ１６６の後、ステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１６１が実行される前にステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１６７が実行されたとき、表示制御部４３５は、ステップＳ１４１において検出された重複領域と、ステップＳ１４２において検出された領域とを３Ｄ画像上に表示してもよい。

【0318】

図２７および図２８に示す処理に加えて、図２５に示すステップＳ１５１からステップＳ１５４が実行されてもよい。例えば、ステップＳ１０２とステップＳ１０３との間にステップＳ１５１が実行されてもよい。ステップＳ１５２からステップＳ１５４がステップＳ１０９およびステップＳ１１０の代わりに実行されてもよい。ステップＳ１６７が実行されたとき、表示制御部４３５は、新たな注目領域と対応する３Ｄモデルの領域を参照データの３Ｄ画像上に表示してもよい。

【0319】

表示制御部４３５は、ステップＳ１１０またはステップＳ１６７において、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0320】

図２９は、表示部４５の表示画面の例を示す。第１の実施形態と同様に、表示部４５が３Ｄモデルの３Ｄ画像を表示した後にＰＣ４１ｃが注目領域として１枚の基準フレームを読み込む例を示す。インデックスが基準フレームに付与されている。

【0321】

表示制御部４３５は、図２９に示すダイアログＡ２０を表示部４５に表示する。また、表示制御部４３５は、領域Ｒ１０をダイアログＡ２０上に表示する。領域Ｒ１０は、３Ｄモデルの３Ｄ画像を表示するための領域である。

【0322】

３Ｄモデルが生成された後、表示制御部４３５は、３Ｄモデルの３Ｄ画像ＭＩ１０を領域Ｒ１０に表示する。このとき、表示制御部４３５は、予め設定された視点から見た３Ｄモデルの３Ｄ画像ＭＩ１０を表示する。

【0323】

表示制御部４３５は、ステップＳ１６１において、動画ＩＭ２１をダイアログＡ２０上に表示する。このとき、表示制御部４３５は、３Ｄ画像ＭＩ１０が表示された領域Ｒ１０と異なる領域に動画ＩＭ２１を表示する。３Ｄ画像ＭＩ１０および動画ＩＭ２１は、水平方向に並べられている。

【0324】

表示制御部４３５は、ステップＳ１６１において、シークバーＳＢ１０をダイアログＡ２０上に表示する。シークバーＳＢ１０は、動画ＩＭ２１の再生位置または再生時間を示す。表示制御部４３５は、ステップＳ１６１において、インデックス位置ＩＮ１１およびインデックス位置ＩＮ１２をシークバーＳＢ１０上に表示する。インデックス位置ＩＮ１１およびインデックス位置ＩＮ１２は、動画ＩＭ２１の撮影中にユーザーによってインデックスが付与されたフレームの位置を示す。

【0325】

表示制御部４３５は、ステップＳ１６１において、インデックス位置ＩＮ１１およびインデックス位置ＩＮ１２の各々と対応する３Ｄモデル上の位置を示す情報を３Ｄ画像ＭＩ１０上に表示する。具体的には、表示制御部４３５は、文字列ＣＨ２１および文字列ＣＨ２２を３Ｄ画像ＭＩ１０上に表示し、かつ線Ｌ５１および線Ｌ５２を３Ｄ画像ＭＩ１０上に表示する。

【0326】

各文字列は、インデックス名を示す。文字列ＣＨ２１は、インデックス位置ＩＮ１１と対応するインデックス名ｉｎｄｅｘ１を示す。文字列ＣＨ２２は、インデックス位置ＩＮ１２と対応するインデックス名ｉｎｄｅｘ２を示す。各線は、各インデックス名が示すフレームと対応する位置を示す。線Ｌ５１は、インデックス名ｉｎｄｅｘ１が示す静止画と対応する位置を示す。線Ｌ５２は、インデックス名ｉｎｄｅｘ２が示す静止画と対応する位置を示す。各位置は、ステップＳ１０８において、基準フレームを取得したカメラのカメラ座標および姿勢情報に基づいて算出された３Ｄ座標と対応する。

【0327】

ユーザーは、インデックスが付与されたフレームの位置を確認することができる。また、ユーザーは、動画ＩＭ２１に付与されたインデックスと対応する３Ｄモデル上の位置を確認することができる。３Ｄ画像ＭＩ１０および動画ＩＭ２１が表示されるため、ユーザーは、インデックスが付与されたフレームの位置と、そのインデックスと対応する３Ｄモデル上の位置とを互いに関連付けることができる。

【0328】

３Ｄ画像ＭＩ１０が表示された後、表示制御部４３５は、３Ｄ画像ＭＩ１０の視点を変更してもよい。例えば、ユーザーは、操作部４４を操作することにより、インデックスを指定してもよい。このとき、表示制御部４３５は、ユーザーによって指定されたインデックスが付与されたフレームを特定してもよい。表示制御部４３５は、特定されたフレームを取得したカメラのカメラ座標に基づいて３Ｄ画像ＭＩ１０の視点を変更してもよい。表示制御部４３５は、特定されたフレームと対応する３Ｄモデルの領域を拡大、縮小、または回転してもよい。３Ｄ画像ＭＩ１０の視点を変更する方法は、第１の実施形態における方法と同じである。３Ｄモデルの領域を拡大、縮小、または回転する方法は、第１の実施形態における方法と同じである。

【0329】

動画ＩＭ２１が表示された後、ユーザーは、操作部４４を操作することにより、シークバーＳＢ１０上の特定の位置ＳＰ１０を指定する。これにより、ユーザーは、動画の特定のフレームを注目領域として指定する。画像選択部４３３は、ステップＳ１６２において、ユーザーによって指定されたフレームを新たな基準フレームとして選択する。ステップＳ１６３からステップＳ１６６が実行された後、表示制御部４３５は、ステップＳ１６７において、新たな注目領域と対応する領域の位置Ｐ３１を３Ｄ画像ＭＩ１０上に表示する。

【0330】

ユーザーは、動画の再生を一時的に停止してもよい。ユーザーは、表示されているフレームに写っている範囲の一部を指定してもよい。このとき、推定部４３４は、そのフレームの一部を注目領域として受け付けてもよい。推定部４３４は、注目領域と対応する３Ｄモデル上の位置を推定してもよい。表示制御部４３５は、注目領域と対応する領域を３Ｄ画像ＭＩ１０上に表示してもよい。静止画の一部を注目領域として受け付け、かつその注目領域と対応する３Ｄモデルの領域を可視化する方法は、第１の実施形態の第４の変形例における方法と同じである。

【0331】

第２の実施形態において、ＰＣ４１ｃは、３Ｄモデルの３Ｄ画像を表示し、かつその３Ｄモデルの生成に使用された２枚以上の静止画を含む動画を表示する。ＰＣ４１ｃは、特定のフレームの全体または一部と対応する３Ｄモデル上の位置を３Ｄ画像上に表示する。検査が終了した後、ユーザーは、注目領域と対応する３Ｄモデルの領域の位置および姿勢を詳細に確認することができる。そのため、ユーザーは、検査結果の報告（レビュー）を効率的に実施することができ、かつ検査動画を使用することにより異常を効率的に見直すことができる。

【0332】

（第３の実施形態）
本発明の第３の実施形態を説明する。図１に示すＰＣ４１は、図３０に示すＰＣ４１ｄに変更される。図３０は、ＰＣ４１ｄの構成を示す。ＰＣ４１ｄは、ユーザーが実施する操作に関わらず、注目領域を自動で設定する。図１に示す構成と同じ構成の説明を省略する。

【0333】

図１に示すＣＰＵ４３は、ＣＰＵ４３ｄに変更される。ＣＰＵ４３ｄの機能は、画像取得部４３０、条件受付部４３１、３Ｄモデル生成部４３２、画像選択部４３３、推定部４３４、表示制御部４３５、記憶制御部４３６、および領域検出部４４１を含む。図３０に示すＣＰＵ４３ｄ内のブロックの少なくとも１つがＣＰＵ４３ｄと異なる回路で構成されてもよい。

【0334】

ＣＰＵ４３ｄ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ｄ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ｄ内の各部は、１つまたは複数の論理回路を含むことができる。

【0335】

領域検出部４４１は、画像に写っている被写体の領域の一部を注目領域として検出する。例えば、注目領域は、異常を含むと推定される領域（異常領域）である。注目領域は、異常領域に限らない。３Ｄモデル上の位置を可視化する目的で注目領域が設定される限り、注目領域は、異常ではない領域であってもよい。例えば、注目領域は、配管検査における被写体の溶接痕であってもよいし、その被写体のエルボーなどの分岐点であってもよい。注目領域は、ガスタービン検査における基準ブレードであってもよい。注目領域は、検査対象物においてランドマークとなる領域であってもよい。

【0336】

図３１は、ＰＣ４１ｄが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0337】

ステップＳ１０４の後、領域検出部４４１は、画像を処理し、その画像における注目領域を検出する（ステップＳ１７１）。ステップＳ１７１の後、ステップＳ１０５が実行される。

【0338】

ステップＳ１７１の詳細を説明する。以下では、機械学習を使用することにより検査対象物内の異常を検出する例を説明する。異常な領域は、形状、色、または模様等の観点で異常ではない領域と区別される。ユーザーは、過去の検査において管理している画像（静止画または動画）を予め２種類の画像に分類する。２種類の画像は、既知の異常が写っている画像と、既知の異常が写っていない画像とである。領域検出部４４１は、これらの画像を機械学習の教師データ（正解付き教師データ）として扱う。

【0339】

領域検出部４４１は、教師データを入力とする学習を実施することにより、学習データを生成する。学習データは、異常な領域の特徴を示す。領域検出部４４１は、学習データに基づいて、異常領域が任意の画像に含まれるか否かを判断する。異常領域が画像に含まれると領域検出部４４１が判断した場合、領域検出部４４１は、異常領域を注目領域として検出する。ＰＣ４１ｄが注目領域を自動的に検出できる限り、注目領域を検出する方法は、上記の方法に限らない。

【0340】

例えば、領域検出部４４１は、静止画群に含まれる静止画に注目領域が含まれるか否かを判断する。あるいは、領域検出部４４１は、静止画群が取得されたタイミングと異なるタイミングで取得された静止画における注目領域を検出する。この場合、領域検出部４４１は、静止画群に含まれる２枚以上の静止画の全てと異なる静止画に注目領域が含まれるか否かを判断する。

【0341】

静止画群は、３Ｄモデルを生成するために使用された２枚以上のキーフレームを含む。領域検出部４４１は、キーフレームに注目領域が含まれるか否かを判断する。あるいは、領域検出部４４１は、その２枚以上のキーフレームに含まれない静止画に注目領域が含まれるか否かを判断する。例えば、静止画群が、３Ｄモデルを生成するために使用されない静止画を含む場合、領域検出部４４１は、その静止画に注目領域が含まれるか否かを判断する。静止画群に含まれない静止画は、３Ｄモデルを生成するために使用されない。領域検出部４４１は、その静止画に注目領域が含まれるか否かを判断してもよい。

【0342】

画像選択部４３３は、ステップＳ１０５において、静止画群に含まれる２枚以上の静止画のうちの１枚を基準フレームとして選択する。領域検出部４４１が、静止画群に含まれる静止画における注目領域を検出した場合、画像選択部４３３はその静止画を基準フレームとして選択する。領域検出部４４１が、静止画群に含まれる２枚以上の静止画の全てと異なる静止画における注目領域を検出した場合、画像選択部４３３は、第１の実施形態の第３の変形例と同様に、その静止画の構図と似た構図で取得された画像を静止画群から選択する。これにより、画像選択部４３３は、基準フレームを選択する。その基準フレームは、静止画において検出された注目領域を含む。

【0343】

領域検出部４４１が、３Ｄモデルを生成するために使用されたキーフレームにおける注目領域を検出した場合、画像選択部４３３はそのキーフレームを基準フレームとして選択する。領域検出部４４１が、２枚以上のキーフレームに含まれない静止画における注目領域を検出し、かつその静止画が静止画群に含まれる場合、画像選択部４３３は、その静止画を基準フレームとして選択する。領域検出部４４１が、２枚以上のキーフレームに含まれない静止画における注目領域を検出し、かつその静止画が静止画群に含まれない場合、画像選択部４３３は、第１の実施形態の第３の変形例と同様に、その静止画の構図と似た構図で取得された画像を静止画群から選択する。これにより、画像選択部４３３は、基準フレームを選択する。その基準フレームは、静止画において検出された注目領域を含む。

【0344】

基準フレームの条件は予めメモリ４７に記憶されている。上記の例では、その条件は学習データによって示される。画像選択部４３３は、ステップＳ１０５において、静止画群に含まれる２枚以上の静止画のうちの１枚を選択する。選択された静止画は、その条件を満たす注目領域を含む。上記の例では、画像選択部４３３は、領域検出部４４１によって検出された注目領域を含む基準フレームを選択する。あるいは、画像選択部４３３は、その注目領域を含む静止画と対応する基準フレームを選択する。これにより、画像選択部４３３は、学習データによって示される条件を満たす静止画を基準フレームとして選択する。

【0345】

推定部４３４は、ステップＳ１０８において、基準フレームにおける注目領域を検出する。画像選択部４３３が、領域検出部４４１によって検出された注目領域を含む静止画と同じ静止画を基準フレームとして選択した場合、その基準フレームは注目領域を含む。推定部４３４は、その注目領域を検出する。画像選択部４３３が、領域検出部４４１によって検出された注目領域を含む静止画と異なる静止画を基準フレームとして選択した場合、推定部４３４は、その注目領域と類似する領域を基準フレームにおいて抽出する。推定部４３４は、抽出された領域を注目領域として扱う。

【0346】

推定部４３４は、ステップＳ１０８において、注目領域と対応する３Ｄモデルの領域の３Ｄ座標を算出する。これにより、推定部４３４は、注目領域と対応する３Ｄモデル上の位置を推定する。３Ｄモデル上の位置を推定する方法は、第１の実施形態における方法と同じである。

【0347】

表示制御部４３５は、ステップＳ１１０において、３Ｄモデルの３Ｄ画像を表示部４５に表示する。このとき、表示制御部４３５は、注目領域を表示部４５に表示する。

【0348】

ＰＣ４１ｄが実行する処理の順番は、図３１に示す順番に限らない。例えば、３Ｄモデル生成部４３２が３Ｄモデルを生成する前に領域検出部４４１が注目領域を検出してもよい。したがって、ステップＳ１７１は、ステップＳ１０１とステップＳ１０４との間の任意のタイミングで実行されてもよい。

【0349】

図３１に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１２１からステップＳ１２３が実行されてもよい。

【0350】

図３１に示す処理に加えて、図２０に示すステップＳ１３１からステップＳ１３３が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１３１からステップＳ１３３が実行されてもよい。

【0351】

図３１に示す処理に加えて、図２２に示すステップＳ１４１およびステップＳ１４２が実行されてもよい。例えば、ステップＳ１０９の後、ステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１４２の後、図２２に示すステップＳ１１０ａがステップＳ１１０の代わりに実行されてもよい。

【0352】

図３１に示す処理に加えて、図２５に示すステップＳ１５１からステップＳ１５４が実行されてもよい。例えば、ステップＳ１０２とステップＳ１０３との間にステップＳ１５１が実行されてもよい。ステップＳ１５２からステップＳ１５４がステップＳ１０９およびステップＳ１１０の代わりに実行されてもよい。

【0353】

図３１に示す処理に加えて、図２８に示すステップＳ１６１からステップＳ１６７が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１６１からステップＳ１６７が実行されてもよい。

【0354】

表示制御部４３５は、ステップＳ１１０において、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0355】

図３２は、表示部４５の表示画面の例を示す。図１０に示す部分と同じ部分の説明を省略する。

【0356】

表示制御部４３５は、ステップＳ１１０において、３Ｄモデルの領域の位置を示す情報を３Ｄモデルの３Ｄ画像ＭＩ１０上に表示する。例えば、表示制御部４３５は、領域ＭＲ５１、領域ＭＲ５２、および領域ＭＲ５３を３Ｄ画像ＭＩ１０上に表示する。領域ＭＲ５１は、ファイル名ｉｍｇ０１を持つ静止画と対応する３Ｄモデルの領域である。領域ＭＲ５２は、ファイル名ｉｍｇ０２を持つ静止画と対応する３Ｄモデルの領域である。領域ＭＲ５３は、ファイル名ｉｍｇ０３を持つ静止画と対応する３Ｄモデルの領域である。

【0357】

表示制御部４３５は、ステップＳ１１０において、領域検出部４４１によって検出された注目領域の位置を示す情報を３Ｄ画像ＭＩ１０上に表示する。例えば、表示制御部４３５は、注目領域ＭＲ６１、注目領域ＭＲ６２、および注目領域ＭＲ６３を表示する。注目領域ＭＲ６１はサムネイル画像ＩＭ１１上に表示され、注目領域ＭＲ６２はサムネイル画像ＩＭ１２上に表示され、注目領域ＭＲ６３はサムネイル画像ＩＭ１３上に表示される。領域ＭＲ５１は注目領域ＭＲ６１と対応し、領域ＭＲ５２は注目領域ＭＲ６２と対応し、領域ＭＲ５３は注目領域ＭＲ６３と対応する。

【0358】

表示制御部４３５は、視認性を高めるための処理（強調処理）を領域ＭＲ５１、領域ＭＲ５２、領域ＭＲ５３、注目領域ＭＲ６１、注目領域ＭＲ６２、および注目領域ＭＲ６３の各々の画像に施してもよい。例えば、表示制御部４３５は、各領域の輪郭を線で表示してもよい。表示制御部４３５は、各領域を所定の色または所定の模様で表示してもよい。ユーザーが各領域を静止画の他の領域または３Ｄモデルの領域と区別できる限り、各領域を表示する方法は上記の方法に限らない。

【0359】

図３２に示す例では、表示制御部４３５は、３枚の静止画の各々における注目領域を表示し、かつ各注目領域と対応する３Ｄモデルの領域を表示する。様々な視点で取得された画像が表示されるため、領域検出部４４１によって検出された異常領域が本当に異常であるか否かをユーザーは容易に確認することができる。

【0360】

領域検出部４４１が異常領域を多くの静止画において検出する可能性がある。異常領域が検出された全ての静止画を表示制御部４３５が表示した場合、ユーザーが異常領域を確認することが困難になる可能性がある。その場合、表示制御部４３５は、異常が検出された代表的な静止画のみを表示してもよい。

【0361】

３Ｄ画像ＭＩ１０が表示された後、表示制御部４３５は、３Ｄ画像ＭＩ１０の視点を変更してもよい。例えば、ユーザーは、操作部４４を操作することにより、注目領域ＭＲ６１、注目領域ＭＲ６２、および注目領域ＭＲ６３のいずれか１つを指定する。あるいは、ユーザーは、操作部４４を操作することにより、領域ＭＲ５１、領域ＭＲ５２、および領域ＭＲ５３のいずれか１つを指定する。このとき、表示制御部４３５は、ユーザーによって指定された領域と対応する静止画を特定する。表示制御部４３５は、特定された静止画を取得したカメラのカメラ座標に基づいて３Ｄ画像ＭＩ１０の視点を変更する。表示制御部４３５は、特定された静止画と対応する３Ｄモデルの領域を拡大、縮小、または回転してもよい。３Ｄ画像ＭＩ１０の視点を変更する方法は、第１の実施形態における方法と同じである。３Ｄモデルの領域を拡大、縮小、または回転する方法は、第１の実施形態における方法と同じである。ユーザーは、３Ｄ画像ＭＩ１０の視点を変更することにより、異常領域を容易に確認することができる。

【0362】

本発明の各態様は次の変形例を含んでもよい。画像選択部４３３は、第１の選択ステップ（ステップＳ１０５）において、予め設定された条件を満たす注目領域（基準領域）を含む基準フレーム（基準画像）を選択する。推定部４３４は、推定ステップ（ステップＳ１０８）において、注目領域の１つ以上の点の３Ｄ座標を推定する。

【0363】

第３の実施形態において、ＰＣ４１ｄは、ユーザーが実施する操作に関わらず、注目領域を自動で設定する。ユーザーの操作量が減るため、ユーザーは所定の作業に集中することができる。例えば、ユーザーは、検査対象物の全体における注目領域の相対的な位置を確認することができる。異常領域が注目領域として検出された場合、ユーザーは、異常領域が本当に異常であるか否かを確認することができる。

【0364】

（第４の実施形態）
本発明の第４の実施形態を説明する。第４の実施形態において、図１に示すＰＣ４１が使用される。

【0365】

ユーザーが、３Ｄモデルを観察することにより、注目領域の凹凸の状態または異常の寸法などを詳細に確認する場合がある。第１から第３の実施形態では、３Ｄモデルは被写体の疎な３Ｄ形状を示す。３Ｄモデルが高精細ではないため、ユーザーが、注目領域と対応する３Ｄモデルの領域の状態を十分に確認できない可能性がある。検査対象物の全体のような比較的広い範囲の高精細な３Ｄモデルを得るためには、長い処理時間が必要である。

【0366】

ユーザーは、疎な点で構成された３Ｄモデルを観察することにより、検査対象物の全体像を確認することはできる。しかしながら、ユーザーが被写体の特定の位置における凹凸などの微細な構造を確認するための、またはその構造の寸法を計測するための精度が足りない可能性がある。

【0367】

第４の実施形態において、ＰＣ４１は、注目領域と対応する３Ｄモデルの領域の高精細な３Ｄモデルを生成し、その３Ｄモデルの３Ｄ画像を表示する。これにより、ＰＣ４１は、上記の問題を解決する。

【0368】

図３３は、ＰＣ４１が実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0369】

ステップＳ１０３において図４に示すステップＳ１０３ｄは実行されない。そのため、ステップＳ１０３において生成された３Ｄモデルは、特徴点以外の被写体上の点の３Ｄ座標を含まない。

【0370】

ステップＳ１１０において３Ｄモデルの３Ｄ画像が表示部４５に表示された後、ユーザーは、操作部４４を操作することにより、特定の静止画を示す情報をＰＣ４１に入力する。その静止画は、ステップＳ１０５において選択された基準フレームである。ステップＳ１０５において２枚以上の基準フレームが選択された場合、ユーザーは、１枚の基準フレームを示す情報をＰＣ４１に入力する。推定部４３４は、ユーザーがＰＣ４１に入力した情報に基づいて、基準フレームを注目領域として受け付ける。注目領域は、基準フレームに写っている範囲の全体である。推定部４３４は、２枚以上の基準フレームを受け付けてもよい（ステップＳ１８１）。

【0371】

ステップＳ１８１の後、推定部４３４は、ステップＳ１８１において受け付けられた基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を算出し、その３Ｄ座標を含む３Ｄモデルを生成する。記憶制御部４３６は、推定部４３４によって生成された３Ｄモデルをメモリ４７に記憶させる（ステップＳ１８２）。

【0372】

ステップＳ１８２の詳細を説明する。推定部４３４は、基準フレームを取得したカメラのカメラ座標と、そのカメラの姿勢情報と、選択フレームとに基づいて、基準フレームの２つ以上の点の３Ｄ座標を算出する。図５に示すステップＳ１０７ｄが実行されたとき、推定部４３４は、基準フレームを取得したカメラのカメラ座標および姿勢情報を取得する。推定部４３４は、ステップＳ１８２においてそのカメラ座標および姿勢情報を使用する。

【0373】

基準フレームの２つ以上の点は、図５に示すステップＳ１０７ｃにおいて特定された２Ｄ座標を持つ点を含む。つまり、基準フレームの２つ以上の点は、１つ以上の特徴点を含む。あるいは、基準フレームの２つ以上の点は、ステップＳ１０７ｃにおいて特定された２Ｄ座標以外の２Ｄ座標を持つ１つ以上の点を含む。つまり、基準フレームの２つ以上の点は、特徴点以外の１つ以上の点を含む。３Ｄモデルが特徴点の３Ｄ座標を含む場合、推定部４３４は、その特徴点の３Ｄ座標を３Ｄモデルから取得してもよい。

【0374】

例えば、推定部４３４は、図４に示すステップＳ１０３ｄと同様の処理を実行することにより３Ｄ座標を算出する。このとき、例えば推定部４３４は、選択フレームを図３に示す画像Ｉ_１として使用し、基準フレームを図３に示す画像Ｉ_２として使用する。推定部４３４は、上記の処理を実行することにより、基準フレームを取得したカメラの撮像視野に入る被写体の３Ｄ座標を算出する。また、推定部４３４は、図４に示すステップＳ１０３ｅと同様の処理を実行する。

【0375】

推定部４３４は、基準フレームに写っている範囲の３Ｄ座標に加えて、その範囲の周辺の３Ｄ座標を算出してもよい。例えば、推定部４３４は、基準フレームおよび選択フレーム間で共通の領域（重複領域）を選択フレームから検出してもよい。推定部４３４は、選択フレームにおいて重複領域の外側の領域の３Ｄ座標を算出してもよい。

【0376】

推定部４３４は、ステップＳ１８２を実行することにより、基準フレームと対応する高精細な３Ｄモデルを生成する。ステップＳ１８２において生成された３Ｄモデルの点の密度は、ステップＳ１０３において生成された３Ｄモデルの２つ以上の点のうち基準フレームと対応する領域に含まれる点の密度よりも高い。点の密度は、３Ｄモデルの座標系における単位体積に含まれる点の数を示す。

【0377】

ステップＳ１８２の後、表示制御部４３５は、ステップＳ１８２において生成された３Ｄモデルの３Ｄ画像を表示部４５に表示する。これにより、表示制御部４３５は、注目領域と対応する高精細な３Ｄモデルの領域を表示する（ステップＳ１８３）。ユーザーは、注目領域である基準フレームと対応する高精細な３Ｄモデルを認識することができる。ステップＳ１８３が実行されたとき、図３３に示す処理が終了する。

【0378】

推定部４３４がステップＳ１８１において２枚以上の基準フレームを受け付けた場合、推定部４３４は、ステップＳ１８２において２枚以上の基準フレームの各々と対応する高精細な３Ｄモデルを生成してもよい。表示制御部４３５は、ステップＳ１８３において２枚以上の基準フレームの各々と対応する高精細な３Ｄモデルの３Ｄ画像を表示部４５に表示してもよい。

【0379】

ＰＣ４１が実行する処理の順番は、図３３に示す順番に限らない。例えば、画像選択部４３３が基準フレームを選択した後、かつ表示制御部４３５が疎な３Ｄモデルの３Ｄ画像を表示する前に推定部４３４が基準フレームを受け付けてもよい。したがって、ステップＳ１８１は、ステップＳ１０５とステップＳ１１０との間の任意のタイミングで実行されてもよい。

【0380】

推定部４３４が基準フレームを取得したカメラのカメラ座標および姿勢情報を取得した後、かつ表示制御部４３５が疎な３Ｄモデルの３Ｄ画像を表示する前に推定部４３４が高精細な３Ｄモデルを生成してもよい。したがって、ステップＳ１８２は、ステップＳ１０７とステップＳ１１０との間の任意のタイミングで実行されてもよい。

【0381】

推定部４３４が基準フレームを取得したカメラのカメラ座標および姿勢情報を取得した後、かつ表示制御部４３５が疎な３Ｄモデルの３Ｄ画像を表示する前に表示制御部４３５が高精細な３Ｄモデルの３Ｄ画像を表示してもよい。したがって、ステップＳ１８３は、ステップＳ１０７とステップＳ１１０との間の任意のタイミングで実行されてもよい。

【0382】

推定部４３４は、ステップＳ１０５において選択された基準フレームと対応する高精細な３Ｄモデルを生成してもよい。そのため、推定部４３４がステップＳ１８１を実行する必要はない。

【0383】

図３３に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１８３の後、ステップＳ１２１からステップＳ１２３が実行されてもよい。ステップＳ１８１が実行される前にステップＳ１２１からステップＳ１２３が実行されてもよい。

【0384】

図３３に示す処理に加えて、図２０に示すステップＳ１３１からステップＳ１３３が実行されてもよい。例えば、ステップＳ１８３の後、ステップＳ１３１からステップＳ１３３が実行されてもよい。ステップＳ１８１が実行される前にステップＳ１３１からステップＳ１３３が実行されてもよい。

【0385】

図３３に示す処理に加えて、図２２に示すステップＳ１４１、ステップＳ１４２、およびステップＳ１１０ａが実行されてもよい。例えば、ステップＳ１８３の後、ステップＳ１４１、ステップＳ１４２、およびステップＳ１１０ａが実行されてもよい。ステップＳ１８１が実行される前にステップＳ１４１、ステップＳ１４２、およびステップＳ１１０ａが実行されてもよい。

【0386】

図３３に示す処理に加えて、図２５に示すステップＳ１５１からステップＳ１５４が実行されてもよい。例えば、ステップＳ１０２とステップＳ１０３との間にステップＳ１５１が実行されてもよい。ステップＳ１５２からステップＳ１５４がステップＳ１０９およびステップＳ１１０の代わりに実行されてもよい。

【0387】

図３３に示す処理に加えて、図２８に示すステップＳ１６１からステップＳ１６７が実行されてもよい。例えば、ステップＳ１８３の後、ステップＳ１６１からステップＳ１６７が実行されてもよい。ステップＳ１８１が実行される前にステップＳ１６１からステップＳ１６７が実行されてもよい。

【0388】

図３３に示す処理に加えて、図３１に示すステップＳ１７１が実行されてもよい。例えば、ステップＳ１０４とステップＳ１０５との間にステップＳ１７１が実行されてもよい。領域検出部４４１は、ステップＳ１７１において、画像における注目領域を検出する。推定部４３４は、ステップＳ１８１を実行する必要はない。推定部４３４は、ステップＳ１８２において、注目領域と対応する３Ｄモデルの領域の３Ｄ座標を算出し、その３Ｄ座標を含む３Ｄモデルを生成してもよい。

【0389】

表示制御部４３５は、ステップＳ１１０において、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0390】

図３４は、表示部４５の表示画面の例を示す。図１０に示す部分と同じ部分の説明を省略する。

【0391】

表示制御部４３５は、図１０と同様にサムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を領域Ｒ２０に表示する。例えば、ユーザーはサムネイル画像ＩＭ１３を指定する。このとき、推定部４３４は、ステップＳ１８１において、サムネイル画像ＩＭ１３と対応する基準フレームを注目領域として受け付ける。推定部４３４は、ステップＳ１８２において、基準フレームと対応する高精細な３Ｄモデルを生成する。表示制御部４３５は、ステップＳ１８３において、高精細な３Ｄモデルの３Ｄ画像ＭＩ３０をダイアログＡ１０上の領域Ｒ３０に表示する。

【0392】

表示制御部４３５は、予め設定された視点から予め設定された方向に見た３Ｄモデルの３Ｄ画像ＭＩ３０を表示する。表示制御部４３５は、基準フレームを取得したカメラのカメラ座標から、そのカメラの姿勢情報が示す方向に見た３Ｄモデルの３Ｄ画像ＭＩ３０を表示してもよい。例えば、表示制御部４３５は、疎な３Ｄモデルの３Ｄ画像ＭＩ１０が表示される領域Ｒ１０と、各サムネイル画像が表示される領域Ｒ２０との間に３Ｄ画像ＭＩ３０を表示する。

【0393】

図３４に示す例では、３Ｄ画像ＭＩ１０が表示される領域Ｒ１０と、３Ｄ画像ＭＩ３０が表示される領域Ｒ３０とが互いに異なる。表示制御部４３５は、３Ｄ画像ＭＩ１０および３Ｄ画像ＭＩ３０を１つの領域に表示してもよい。

【0394】

表示制御部４３５は、第１の表示状態と第２の表示状態とを切り替えてもよい。表示制御部４３５は、第１の表示状態において、３Ｄ画像ＭＩ３０を表示せずに３Ｄ画像ＭＩ１０を表示する。表示制御部４３５は、第２の表示状態において、３Ｄ画像ＭＩ１０を表示せずに３Ｄ画像ＭＩ３０を表示する。ユーザーは、操作部４４を操作することにより、第１の表示状態および第２の表示状態の一方を示す情報をＰＣ４１に入力してもよい。表示制御部４３５は、その情報が示す表示状態を実現してもよい。

【0395】

図３４に示す例では、表示制御部４３５は、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を領域Ｒ２０に表示する。表示制御部４３５は、各基準フレームと対応する高精細な３Ｄモデルを各サムネイル画像の代わりに領域Ｒ２０に表示してもよい。

【0396】

ユーザーは、操作部４４を操作することにより、３Ｄ画像ＭＩ３０の２つ以上の計測点をＰＣ４１に入力してもよい。ＣＰＵ４３は、その２つ以上の計測点を受け付け、かつその２つ以上の計測点に基づいて３Ｄモデルの寸法を計測してもよい。

【0397】

本発明の各態様は次の変形例を含んでもよい。推定部４３４は、推定ステップ（ステップＳ１８２）において、基準フレーム（基準画像）を取得した第２のカメラの第２のカメラ座標、その第２のカメラの第２の姿勢情報、および選択フレーム（選択画像）に基づいて、基準フレームに写っている被写体の領域の１つ以上の点の３Ｄ座標を推定する。その領域の１つ以上の点は、ステップＳ１０４においてメモリ４７に記憶された３Ｄモデル（３Ｄデータ）に含まれる３Ｄ座標を持つ点と異なる。３Ｄ画像ＭＩ３０は、その領域の１つ以上の点の３Ｄ座標を可視化する。また、３Ｄ画像ＭＩ３０は、その３Ｄモデルに含まれる３Ｄ座標のうちその領域に含まれる１つ以上の点の３Ｄ座標を可視化する。３Ｄ画像ＭＩ３０によって可視化される３Ｄ座標を持つ点の密度は、被写体の２つ以上の点のうちその領域に含まれる点の密度よりも高い。

【0398】

本発明の各態様は次の変形例を含んでもよい。画像選択部４３３は、第１の選択ステップ（ステップＳ１０５）において、予め設定された条件を満たす注目領域（基準領域）を含む基準フレームを選択する。推定部４３４は、推定ステップ（ステップＳ１８２）において、第２のカメラ座標、第２の姿勢情報、および選択フレーム（選択画像）に基づいて、注目領域の１つ以上の点の３Ｄ座標を推定する。注目領域の１つ以上の点は、ステップＳ１０４においてメモリ４７に記憶された３Ｄモデルに含まれる３Ｄ座標を持つ点と異なる。３Ｄ画像は、注目領域の１つ以上の点の３Ｄ座標を可視化する。また、その３Ｄ画像は、その３Ｄモデルに含まれる３Ｄ座標のうち注目領域に含まれる１つ以上の点の３Ｄ座標を可視化する。３Ｄ画像によって可視化される３Ｄ座標を持つ点の密度は、被写体の２つ以上の点のうち注目領域に含まれる点の密度よりも高い。

【0399】

第４の実施形態において、ＰＣ４１は、注目領域と対応する３Ｄモデルの領域の高精細な３Ｄモデルを生成する。ＰＣ４１が検査対象物の全体の高精細な３Ｄモデルを生成する場合と比較して、処理時間の増加が抑制される。ＰＣ４１が高精細な３Ｄモデルの３Ｄ画像を表示するため、ユーザーは、注目領域と対応する３Ｄモデル上の位置を確認することができる。また、ユーザーは、注目領域の局所的な異常の状態（凹凸の状態または異常の寸法など）を正確に確認することができる。

【0400】

（第４の実施形態の変形例）
本発明の第４の実施形態の変形例を説明する。第４の実施形態の変形例において、図１に示すＰＣ４１が使用される。ＰＣ４１は、３Ｄモデル生成部４３２によって生成された疎な３Ｄモデルの３Ｄ画像を表示する必要はない。

【0401】

図３５は、ＰＣ４１が実行する処理の手順を示す。図３３に示す処理と同じ処理の説明を省略する。

【0402】

ステップＳ１０７の後、推定部４３４は、ステップＳ１８２において、基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を算出し、その３Ｄ座標を含む３Ｄモデルを生成する。このとき、推定部４３４は、ステップＳ１０５において選択された基準フレームを使用する。

【0403】

３Ｄモデル生成部４３２によって生成された３Ｄモデルは、３Ｄモデルを生成するための２枚以上の２Ｄ画像を取得したカメラのカメラ座標および姿勢情報を含む。３Ｄモデル生成部４３２が基準フレームを使用せずに３Ｄモデルを生成する場合、その３Ｄモデルは、基準フレームを取得したカメラのカメラ座標および姿勢情報を含まない。そのため、推定部４３４は、ステップＳ１０７において、基準フレームを取得したカメラの位置および姿勢を推定する。

【0404】

上記の例では、画像選択部４３３は、３Ｄモデルを生成するために使用された２枚以上のキーフレームに含まれない静止画を基準フレームとして選択する。画像選択部４３３は、２枚以上のキーフレームのうちの１枚を基準フレームとして選択してもよい。その場合、３Ｄモデルは、基準フレームを取得した第２のカメラのカメラ座標およびその第２のカメラの姿勢情報を含む。推定部４３４は、ステップＳ１０７において、そのカメラ座標およびその姿勢情報を３Ｄモデルから取得してもよい。

【0405】

図３６は、表示部４５の表示画面の例を示す。図３４に示す部分と同じ部分の説明を省略する。

【0406】

表示制御部４３５は、３Ｄモデルの３Ｄ画像を表示するための領域Ｒ１０を表示しない。表示制御部４３５は、図３４と同様にサムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を領域Ｒ２０に表示する。例えば、ユーザーはサムネイル画像ＩＭ１３を指定する。このとき、画像選択部４３３は、ステップＳ１０５において、サムネイル画像ＩＭ１３と対応する基準フレームを選択する。推定部４３４は、ステップＳ１８２において、基準フレームと対応する高精細な３Ｄモデルを生成する。表示制御部４３５は、ステップＳ１８３において、高精細な３Ｄモデルの３Ｄ画像ＭＩ３０をダイアログＡ１０上の領域Ｒ３０に表示する。

【0407】

本発明の各態様の画像表示方法は、記憶ステップ、第１の選択ステップ、第２の選択ステップ、推定ステップ、および表示ステップを有する。記憶制御部４３６は、記憶ステップ（ステップＳ１０４）において、被写体の２枚以上の２Ｄ画像に基づいて生成された３Ｄモデル（３Ｄデータ）をメモリ４７（記憶媒体）に記憶させる。３Ｄモデルは、被写体の２つ以上の点の３Ｄ座標および第１のカメラ座標を含む。第１のカメラ座標は、２枚以上の２Ｄ画像の各々を取得した第１のカメラの３Ｄ座標であり、かつ２枚以上の２Ｄ画像の各々と関連付けられている。画像選択部４３３は、第１の選択ステップ（ステップＳ１０５）において、被写体の２Ｄ画像である基準フレーム（基準画像）を選択する。画像選択部４３３は、第２の選択ステップ（ステップＳ１０６）において、基準フレームに基づいて、２枚以上の２Ｄ画像のうちの少なくとも１枚を選択フレーム（選択画像）として選択する。推定部４３４は、推定ステップ（ステップＳ１８２）において、基準フレームを取得した第２のカメラの第２のカメラ座標、その第２のカメラの第２の姿勢情報、および選択フレームに基づいて、基準フレームに写っている被写体の領域の１つ以上の点の３Ｄ座標を推定する。その領域の１つ以上の点は、３Ｄモデルに含まれる３Ｄ座標を持つ点と異なる。表示制御部４３５は、表示ステップ（ステップＳ１８３）において、その領域の１つ以上の点の３Ｄ座標を可視化し、かつ３Ｄモデルに含まれる３Ｄ座標のうちその領域に含まれる１つ以上の点の３Ｄ座標を可視化する３Ｄ画像ＭＩ３０を表示部４５（ディスプレイ）に表示する。３Ｄ画像ＭＩ３０によって可視化される３Ｄ座標を持つ点の密度は、被写体の２つ以上の点のうちその領域に含まれる点の密度よりも高い。

【0408】

第４の実施形態の変形例において、ＰＣ４１は、検査対象物の全体の疎な３Ｄモデルを表示せずに注目領域と対応する３Ｄモデルの領域の高精細な３Ｄモデルを表示する。そのため、疎な３Ｄモデルと高精細な３Ｄモデルとが同時に表示される場合と比較して、ＰＣ４１は、高精細な３Ｄモデルを表示するために表示部４５の表示画面を効率的に使用することができる。

【0409】

（第５の実施形態）
本発明の第５の実施形態を説明する。第５の実施形態において、図１に示すＰＣ４１が使用される。

【0410】

第５の実施形態においてＰＣ４１は、注目領域を含む基準フレームをキーフレームとして使用することにより３Ｄモデルを生成する。３Ｄモデルが生成される前に画像選択部４３３は基準フレームを選択する。３Ｄモデル生成部４３２が３Ｄモデルを生成するとき、３Ｄモデル生成部４３２は、基準フレームを取得したカメラのカメラ座標および姿勢を推定する。

【0411】

図３７は、ＰＣ４１が実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0412】

ステップＳ１０２の後、画像選択部４３３は、ステップＳ１０５において、静止画群に含まれる２枚以上の静止画のうちの１枚を基準フレームとして選択する。例えば、画像選択部４３３は、第１の実施形態と同様に動画ファイルのヘッダーを読み取ることにより、静止画が記録されたタイミングを特定する。画像選択部４３３は、そのタイミングで記録された静止画を基準フレームとして選択する。ＰＣ４１が図２６に示すＰＣ４１ｃと同様に動画を再生する機能を有する場合、ユーザーは、動画の再生中に動画の特定のフレームを指定してもよい。画像選択部４３３は、ユーザーによって指定されたフレームを基準フレームとして選択してもよい。

【0413】

ステップＳ１０５の後、３Ｄモデル生成部４３２は、静止画群に含まれる２枚以上の静止画と、３Ｄモデルを生成するための条件とに基づいて、被写体の３Ｄモデルを生成する（ステップＳ１９１）。３Ｄモデルを生成するために使用される２枚以上の静止画は基準フレームを含む。

【0414】

３Ｄモデル生成部４３２が実行する具体的な処理の手順について説明する。図３８は、３Ｄモデル生成部４３２が実行する処理の手順を示す。

【0415】

３Ｄモデル生成部４３２は、静止画群に含まれる１枚の静止画をメモリ４７から読み出す（ステップＳ１９１ａ）。ステップＳ１９１ａは、静止画群に含まれる静止画の数と同じ回数だけ実行される。３Ｄモデル生成部４３２は、ステップＳ１９１ａにおいて、既に読み出された静止画と異なる静止画をメモリ４７から読み出す。静止画群に含まれる２枚以上の静止画は、タイムスタンプなどに従って予め順番に並べられてもよい。３Ｄモデル生成部４３２は、ステップＳ１９１ａにおいて、その順番に従って静止画をメモリ４７から読み出してもよい。

【0416】

ステップＳ１９１ａの後、３Ｄモデル生成部４３２は、ステップＳ１９１ａにおいて読み出された静止画の特徴点を検出する（ステップＳ１９１ｂ）。

【0417】

ステップＳ１９１ｂの後、３Ｄモデル生成部４３２は、既に読み出された各静止画の特徴点と、ステップＳ１９１ｂにおいて検出された特徴点とを互いに関連付ける（ステップＳ１９１ｃ）。ステップＳ１９１ａが１回だけ実行されたとき、ステップＳ１９１ｃは実行されない。

【0418】

ステップＳ１９１ｃの後、３Ｄモデル生成部４３２は、静止画群に含まれる全ての画像が読み出されたか否かを判断する（ステップＳ１９１ｄ）。一部の画像が読み出されていないと３Ｄモデル生成部４３２がステップＳ１９１ｄにおいて判断した場合、ステップＳ１９１ａが実行される。静止画群に含まれる全ての画像が処理されるまでステップＳ１９１ａからステップＳ１９１ｄが繰り返し実行される。

【0419】

静止画群に含まれる全ての画像が読み出されたと３Ｄモデル生成部４３２がステップＳ１９１ｄにおいて判断した場合、３Ｄモデル生成部４３２は、３Ｄモデルを生成するための１枚以上のキーフレームを静止画群から選択する（ステップＳ１９１ｅ）。

【0420】

ステップＳ１９１ｅの詳細を説明する。３Ｄモデル生成部４３２は、所定の基準を満たすキーフレームを選択する。例えば、３Ｄモデル生成部４３２は、ボケがない画像、または明るい画像をキーフレームとして選択する。また、３Ｄモデル生成部４３２は、２枚のキーフレーム間の動きの量が所定量以上であることを確認する。ステップＳ１０５において選択された基準フレームがキーフレームの条件を満たす場合、３Ｄモデル生成部４３２は、ステップＳ１９１ｅにおいて基準フレームを含む２枚以上のキーフレームを選択してもよい。

【0421】

ステップＳ１９１ｅの後、３Ｄモデル生成部４３２は、ステップＳ１０５において選択された基準フレームをキーフレームに追加する（ステップＳ１９１ｆ）。ステップＳ１９１ｅにおいて基準フレームを含む２枚以上のキーフレームが選択された場合、ステップＳ１９１ｆは実行されない。

【0422】

ステップＳ１９１ｆの後、３Ｄモデル生成部４３２は、２枚以上のキーフレームの特徴点の２Ｄ座標に基づいて、各キーフレームを取得したカメラのカメラ座標と、そのカメラの姿勢とを推定する（ステップＳ１９１ｇ）。

【0423】

ステップＳ１９１ｇの後、３Ｄモデル生成部４３２は、各特徴点の３Ｄ座標を算出する（ステップＳ１９１ｈ）。ステップＳ１９１ｇおよびステップＳ１９１ｈは、図４に示すステップＳ１０３ｃと同様である。ステップＳ１９１ｈが実行されたとき、図３８に示す処理が終了する。

【0424】

図３７を再び参照し、３Ｄモデルが生成された後に実行される処理の手順を説明する。ステップＳ１９１の後、ステップＳ１０４が実行される。ステップＳ１０４の後、ステップＳ１０９が実行される。

【0425】

３Ｄモデル生成部４３２は、図３８に示すステップＳ１９１ｈにおいて、基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を算出する。これにより、３Ｄモデル生成部４３２は、注目領域と対応する３Ｄモデル上の位置を推定する。推定部４３４は、ステップＳ１０９において、その領域の３Ｄ座標を３Ｄモデルと関連付ける。

【0426】

図３７に示す処理に加えて、図１７に示すステップＳ１２１からステップＳ１２３が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１２１からステップＳ１２３が実行されてもよい。

【0427】

図３７に示す処理に加えて、図２０に示すステップＳ１３１からステップＳ１３３が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１３１からステップＳ１３３が実行されてもよい。

【0428】

図３７に示す処理に加えて、図２２に示すステップＳ１４１およびステップＳ１４２が実行されてもよい。例えば、ステップＳ１０９の後、ステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１４２の後、図２２に示すステップＳ１１０ａがステップＳ１１０の代わりに実行されてもよい。

【0429】

図３７に示す処理に加えて、図２５に示すステップＳ１５１からステップＳ１５４が実行されてもよい。例えば、ステップＳ１０２とステップＳ１０３との間にステップＳ１５１が実行されてもよい。ステップＳ１５２からステップＳ１５４がステップＳ１０９およびステップＳ１１０の代わりに実行されてもよい。

【0430】

図３７に示す処理に加えて、図２８に示すステップＳ１６１からステップＳ１６７が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１６１からステップＳ１６７が実行されてもよい。

【0431】

図３７に示す処理に加えて、図３１に示すステップＳ１７１が実行されてもよい。例えば、ステップＳ１０１とステップＳ１０２との間にステップＳ１７１が実行されてもよい。あるいは、ステップＳ１０２とステップＳ１０５との間にステップＳ１７１が実行されてもよい。領域検出部４４１は、ステップＳ１７１において、画像における注目領域を検出する。画像選択部４３３は、ステップＳ１０５において、領域検出部４４１によって検出された注目領域を含む基準フレームを選択してもよい。

【0432】

図３７に示す処理に加えて、図３３に示すステップＳ１８１からステップＳ１８３が実行されてもよい。例えば、ステップＳ１１０の後、ステップＳ１８１からステップＳ１８３が実行されてもよい。

【0433】

表示制御部４３５は、ステップＳ１１０において、第１の実施形態の第２の変形例に示す方法を使用することによりガスタービンのブレードの数を表示してもよい。

【0434】

本発明の各態様の画像表示方法は、選択ステップ、推定ステップ、および表示ステップを有する。画像選択部４３３は、選択ステップ（ステップＳ１０５）において、被写体の２Ｄ画像である基準フレーム（基準画像）を選択する。３Ｄモデル生成部４３２は、推定ステップ（ステップＳ１９１）において、基準フレームを含む被写体の２枚以上の２Ｄ画像に基づいて、被写体の２つ以上の点の３Ｄ座標およびカメラ座標を推定する。カメラ座標は、２枚以上の２Ｄ画像の各々を取得したカメラの３Ｄ座標であり、かつ２枚以上の２Ｄ画像の各々と関連付けられている。表示制御部４３５は、表示ステップ（ステップＳ１１０）において、基準フレームを取得したカメラのカメラ座標と、そのカメラ座標に基づいて算出された被写体の１つ以上の点の３Ｄ座標との少なくとも一方を可視化し、かつ被写体の２つ以上の点のうちの１つ以上の３Ｄ座標を可視化する３Ｄ画像を表示部４５（ディスプレイ）に表示する。

【0435】

第５の実施形態において、ＰＣ４１は、３Ｄモデルを生成する前に、注目領域を含む基準フレームをキーフレームに追加する。ＰＣ４１は、基準フレームを含む２枚以上のキーフレームを使用することにより３Ｄモデルを生成する。ＰＣ４１が３Ｄモデルの生成を終了したとき、ＰＣ４１は基準フレームと対応する３Ｄモデルの領域の３Ｄ座標を得ることができる。

【0436】

（第６の実施形態）
本発明の第６の実施形態を説明する。第６の実施形態において、２つの装置が連携する。第１の装置は、ユーザーから指示を受け付けて処理を実行し、かつ処理結果をユーザーに通知する。第１の装置は、画像の表示などに関する処理を実行する。第２の装置は、３Ｄモデルの生成などに関する処理を実行する。例えば、第１の装置の携帯性は優れているが、第１の装置の計算リソースは小さい。第２の装置の携帯性は優れていないが、第２の装置の計算リソースは豊富である。第６の実施形態において、２つの装置の利点が生かされる。大型の装置などを持ち運びにくい現場において、画像を使用する処理が求められる状況がある。そのような状況において、第６の実施形態は効果的である。

【0437】

図３９は、第６の実施形態による画像表示システム６の構成を示す。図３９に示す画像表示システム６は、ＰＣ４１ｅおよび３Ｄモデル生成装置７を有する。

【0438】

図１に示すＰＣ４１は、図４０に示すＰＣ４１ｅに変更される。図４０は、ＰＣ４１ｅの構成を示す。図１に示す構成と同じ構成の説明を省略する。

【0439】

通信部４６は、３Ｄモデル生成装置７と通信を実行する。例えば、通信部４６はケーブルあるいは無線で３Ｄモデル生成装置７と接続される。通信部４６と３Ｄモデル生成装置７との間の通信は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットを経由して実行されてもよい。

【0440】

図１に示すＣＰＵ４３は、ＣＰＵ４３ｅに変更される。ＣＰＵ４３ｅの機能は、画像取得部４３０、条件受付部４３１、画像選択部４３３、推定部４３４、表示制御部４３５、記憶制御部４３６、および３Ｄモデル取得部４４２を含む。図４０に示すＣＰＵ４３ｅ内のブロックの少なくとも１つがＣＰＵ４３ｅと異なる回路で構成されてもよい。

【0441】

ＣＰＵ４３ｅ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ｅ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ｅ内の各部は、１つまたは複数の論理回路を含むことができる。

【0442】

図１に示す３Ｄモデル生成部４３２は、３Ｄモデル取得部４４２に変更される。３Ｄモデル取得部４４２は、通信部４６を制御することにより、３Ｄモデル生成装置７と通信を実行する。３Ｄモデル取得部４４２は、３Ｄモデルを生成するための静止画群と、３Ｄモデルを生成するための条件とを３Ｄモデル生成装置７に送信する。３Ｄモデル取得部４４２は、３Ｄモデルを３Ｄモデル生成装置７から受信することにより３Ｄモデルを取得する。

【0443】

３Ｄモデル生成装置７は、３Ｄモデルを生成するための静止画群と、３Ｄモデルを生成するための条件とをＰＣ４１ｅから受信する。３Ｄモデル生成装置７は、静止画群に含まれる２枚以上の静止画と、３Ｄモデルを生成するための条件とに基づいて、被写体の３Ｄモデルを生成する。３Ｄモデル生成装置７は、生成された３ＤモデルをＰＣ４１ｅに送信する。

【0444】

図４１は、ＰＣ４１ｅが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0445】

ステップＳ１０２の後、３Ｄモデル取得部４４２は、通信部４６を制御することにより、ステップＳ１０１において取得された静止画群と、ステップＳ１０２において受け付けられた条件とを３Ｄモデル生成装置７に送信する（ステップＳ２０１）。

【0446】

ステップＳ２０１の後、３Ｄモデル取得部４４２は、通信部４６を制御することにより、３Ｄモデルを３Ｄモデル生成装置７から受信する（ステップＳ２０２）。ステップＳ２０２の後、ステップＳ１０４が実行される。

【0447】

上記の例では、複数の処理が２つの装置間で分散される。装置の数に制約はなく、かつ各装置が実行する処理に制約はない。例えば、複数の３Ｄモデル生成装置７が、時間のかかる処理を実行してもよい。

【0448】

例えば、ステップＳ２０１の後、ＰＣ４１ｅは、ステップＳ２０２およびステップＳ１０４を実行せずにステップＳ１０５を実行してもよい。ステップＳ１０５の後、ＰＣ４１ｅは、ステップＳ１０５において選択された基準フレームと、ステップＳ１０６において選択された選択フレームとを３Ｄモデル生成装置７に送信してもよい。３Ｄモデル生成装置７は、基準フレームおよび選択フレームをＰＣ４１ｅから受信し、かつステップＳ１０７、ステップＳ１０８、およびステップＳ１０９と同様の処理を実行してもよい。３Ｄモデル生成装置７は３ＤモデルをＰＣ４１ｅに送信し、ＰＣ４１ｅは３Ｄモデルを３Ｄモデル生成装置７から受信してもよい。ＰＣ４１ｅは、ステップＳ１１０において、３Ｄモデルの３Ｄ画像を表示部４５に表示し、３Ｄモデル生成装置７によって算出された３Ｄ座標を持つ点を含む領域を３Ｄ画像上に表示してもよい。

【0449】

第６の実施形態において、複数の装置が連携して処理を実行する。複数の装置のうち少なくとも１つは、携帯性は優れているが、計算リソースは小さいという特徴を持つ。複数の装置の少なくとも１つは、携帯性は優れていないが、計算リソースは豊富であるという特徴を持つ。画像表示システム６は、複数の装置の利点を生かして３Ｄモデルを表示することができる。

【0450】

（第７の実施形態）
本発明の第７の実施形態を説明する。３Ｄモデルを生成するために使用される画像にノイズが含まれる場合がある。そのノイズの影響により、被写体の本来の形状と正確に一致しない３Ｄモデルが生成される可能性がある。そのノイズは、画像のボケ、画像の不適切な明るさ、またはモーションブラー等に起因する。画像が非常に明るい、または非常に暗い場合、画像の明るさは不適切である。したがって、３Ｄモデルがそのまま表示される場合と比較して、ＣＡＤ等を使用することにより生成された参照データの画像が表示される場合には、ユーザーが被写体の形状を容易に確認することができる。

【0451】

参照データは、検査中に記録された静止画に写っている被写体の範囲と関連付けられていない。そのため、参照データのみが表示される場合、ユーザーは、検査中に記録された静止画に写っている被写体の範囲を確認することができない。第７の実施形態は、この問題を解決する。３ＤＣＡＤ等の３Ｄ設計データが参照データとして使用される例は、前述した第１の実施形態の第６の変形例と対応する。以下では、２ＤＣＡＤ等の２Ｄ設計データが参照データとして使用される例を説明する。

【0452】

図１に示すＰＣ４１は、図４２に示すＰＣ４１ｆに変更される。図４２は、ＰＣ４１ｆの構成を示す。ＰＣ４１ｆは、３Ｄモデルの３Ｄ画像の代わりに参照データの２Ｄ画像を表示する。図１に示す構成と同じ構成の説明を省略する。

【0453】

図１に示すＣＰＵ４３は、ＣＰＵ４３ｆに変更される。ＣＰＵ４３ｆの機能は、画像取得部４３０、条件受付部４３１、３Ｄモデル生成部４３２、画像選択部４３３、推定部４３４、表示制御部４３５、記憶制御部４３６、データ受付部４３８、データ処理部４３９、および２Ｄデータ生成部４４３を含む。図４２に示すＣＰＵ４３ｆ内のブロックの少なくとも１つがＣＰＵ４３ｆと異なる回路で構成されてもよい。

【0454】

ＣＰＵ４３ｆ内の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。ＣＰＵ４３ｆ内の各部は、１つまたは複数のプロセッサを含むことができる。ＣＰＵ４３ｆ内の各部は、１つまたは複数の論理回路を含むことができる。

【0455】

メモリ４７は、ＰＣ４１ｆまたは外部装置によって生成された参照データを記憶する。参照データは、被写体の２次元形状（２Ｄ形状）を示す。ユーザーは、操作部４４を操作することにより、参照データを指定するための情報をＰＣ４１ｆに入力する。データ受付部４３８は、その情報を操作部４４から受け付ける。

【0456】

２Ｄデータ生成部４４３は、３Ｄモデルを２Ｄデータに変換する。２Ｄデータは、被写体の２つ以上の点の３Ｄ座標と対応する２Ｄ座標を含む。また、２Ｄデータは、カメラ座標（第１のカメラ座標）と対応する２Ｄ座標を含む。カメラ座標は、３Ｄモデルを生成するための２枚以上の２Ｄ画像の各々を取得したカメラ（第１のカメラ）の３Ｄ座標であり、かつ２枚以上の２Ｄ画像の各々と関連付けられている。２Ｄデータ生成部４４３は、３Ｄモデルに含まれる３Ｄ座標を持つ点の２Ｄ座標を算出する。２Ｄデータ生成部４４３は、算出された２Ｄ座標を含む２Ｄデータ（２Ｄ画像）を生成する。

【0457】

データ処理部４３９は、２Ｄデータにおける２Ｄ座標を参照データによって示される２Ｄ形状と関連付ける。これにより、データ処理部４３９は、２Ｄデータの位置と参照データの位置とを互いに関連付ける。

【0458】

図４３は、ＰＣ４１ｆが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。

【0459】

ステップＳ１０９の後、ユーザーは、操作部４４を操作することにより、参照データを指定するための情報をＰＣ４１ｆに入力する。データ受付部４３８は、その情報を操作部４４から受け付ける（ステップＳ２１１）。

【0460】

ステップＳ２１１の後、２Ｄデータ生成部４４３は、３Ｄモデルを、特定の視点から見た被写体の２Ｄデータに変換する（ステップＳ２１２）。このとき、３Ｄモデルを２Ｄデータに変換するための公知の技術が適用できる。その技術は、透視投影または平行投影等である。３Ｄモデルを２Ｄデータに変換するために使用される技術は上記の技術に限らない。ＣＰＵ４３ｆは、メモリ４７に予め記憶された設定情報に従って上記の視点を選択してもよい。あるいは、ユーザーは、操作部４４を操作することにより、上記の視点を選択してもよい。

【0461】

被写体の２つ以上の点の各々の３Ｄ座標は、ステップＳ２１２において２Ｄ座標に変換される。また、カメラ座標はステップＳ２１２において２Ｄ座標に変換される。２Ｄデータ生成部４４３は、被写体の２つ以上の点の各々の３Ｄ座標およびカメラ座標を２Ｄデータにおける２Ｄ座標と関連付ける。記憶制御部４３６は、２Ｄデータ生成部４４３によって生成された２Ｄデータをメモリ４７に記憶させる。

【0462】

ステップＳ１０８において算出された３Ｄ座標は、ステップＳ１０９において３Ｄモデルと関連付けられる。ステップＳ２１２が実行されたとき、ステップＳ１０８において算出された３Ｄ座標は、２Ｄデータと関連付けられる。つまり、ステップＳ１０８において算出された３Ｄ座標は、２Ｄデータにおける２Ｄ座標と関連付けられる。

【0463】

ステップＳ２１２の後、データ処理部４３９は、ステップＳ２１２において生成された２Ｄデータと、ステップＳ２１１において受け付けられた情報が示す参照データとをメモリ４７から読み出す。データ処理部４３９は、２Ｄデータの位置と参照データの位置とを互いに関連付ける（ステップＳ２１３）。

【0464】

ステップＳ２１３の詳細を説明する。２Ｄデータのデータフォーマットと参照データのデータフォーマットとが異なる場合、データ処理部４３９は、２Ｄデータのデータフォーマットと参照データのデータフォーマットとを揃える処理を実行する。

【0465】

その後、データ処理部４３９は、公知の位置合わせ技術を使用することにより、２Ｄデータの位置と参照データの位置とを互いに関連付ける。データ処理部４３９は、被写体の２Ｄ形状におけるユニークな形状の位置を検出することにより２Ｄデータの位置と参照データの位置とを互いに関連付けてもよい。

【0466】

ステップＳ２１３の後、推定部４３４は、ステップＳ１０８において算出された３Ｄ座標を参照データと関連付ける（ステップＳ２１４）。ステップＳ１０８において算出された３Ｄ座標は、２Ｄデータにおける２Ｄ座標と関連付けられている。２Ｄデータの位置と参照データの位置とは互いに関連付けられている。推定部４３４は、ステップＳ２１４において、この関係を使用することにより、３Ｄ座標を参照データと関連付ける。

【0467】

ステップＳ２１４の後、表示制御部４３５は、参照データの２Ｄ画像を表示部４５に表示する。このとき、表示制御部４３５は、ステップＳ１０８において算出された３Ｄ座標を持つ点を含む領域を２Ｄ画像上に表示する。これにより、表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を２Ｄ画像上に表示する（ステップＳ２１５）。ユーザーは、参照データの２Ｄ画像を確認することにより、注目領域である基準フレームと対応する３Ｄモデル上の位置を確認することができる。表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を２Ｄ画像上に表示し、かつカメラ座標と対応する２Ｄ座標を２Ｄ画像上に表示してもよい。あるいは、表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を２Ｄ画像上に表示せずに、カメラ座標と対応する２Ｄ座標を２Ｄ画像上に表示してもよい。ステップＳ２１５が実行されたとき、図４３に示す処理が終了する。

【0468】

図４４は、表示部４５の表示画面の例を示す。図１０に示す部分と同じ部分の説明を省略する。

【0469】

２Ｄデータ生成部４４３は、ステップＳ２１２において、３Ｄモデルの座標系における第１の視点から予め設定された方向に見た３Ｄ形状の２Ｄデータを生成する。表示制御部４３５は、ステップＳ２１５において、２Ｄデータの２Ｄ画像ＤＩ１０を領域Ｒ１０に表示する。

【0470】

表示制御部４３５は、ステップＳ２１５において、静止画と対応する３Ｄモデル上の位置を示す情報を２Ｄ画像ＤＩ１０上に表示する。具体的には、表示制御部４３５は、文字列ＣＨ１１、文字列ＣＨ１２、および文字列ＣＨ１３を２Ｄ画像ＤＩ１０上に表示し、かつ線Ｌ１１、線Ｌ１２、および線Ｌ１３を２Ｄ画像ＤＩ１０上に表示する。また、表示制御部４３５は、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を２Ｄ画像ＤＩ１０上に表示する。

【0471】

図４５は、表示部４５の表示画面の他の例を示す。図１０に示す部分と同じ部分の説明を省略する。

【0472】

２Ｄデータ生成部４４３は、ステップＳ２１２において、３Ｄモデルの座標系における第２の視点から予め設定された方向に見た３Ｄ形状の２Ｄデータを生成する。第２の視点は、上記の第１の視点と異なる。表示制御部４３５は、ステップＳ２１５において、２Ｄデータの２Ｄ画像ＤＩ１１を領域Ｒ１０に表示する。表示制御部４３５は、ステップＳ２１５において、静止画と対応する３Ｄモデル上の位置を示す情報を２Ｄ画像ＤＩ１１上に表示する。その情報は、文字列ＣＨ１１、文字列ＣＨ１２、文字列ＣＨ１３、線Ｌ１１、線Ｌ１２、線Ｌ１３、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を含む。

【0473】

２Ｄデータ生成部４４３は、ステップＳ２１２において、第１の視点から見た３Ｄ形状の２Ｄデータと、第２の視点から見た３Ｄ形状の２Ｄデータとを生成してもよい。表示制御部４３５は、ステップＳ２１５において、２Ｄ画像ＤＩ１０および２Ｄ画像ＤＩ１１を表示部４５に表示してもよい。表示制御部４３５は、ステップＳ２１５において、静止画と対応する３Ｄモデル上の位置を示す情報を２Ｄ画像ＤＩ１０および２Ｄ画像ＤＩ１１上に表示してもよい。

【0474】

第１の視点から見た３Ｄ形状において互いに異なる第１の位置および第２の位置が互いに重なる場合であっても、第２の視点から見た３Ｄ形状において第１の位置および第２の位置は互いに重ならない。ユーザーは、基準フレームと対応する３Ｄモデル上の位置を容易に確認することができる。

【0475】

ガスタービン検査において取得された３Ｄモデルが使用される例を説明する。ガスタービンは、２つ以上のブレードおよび２つ以上の燃料噴射ノズルを有する。２つ以上のブレードおよび２つ以上の燃料噴射ノズルは、円環状に配置されている。２Ｄデータ生成部４４３は、ステップＳ２１２において、特定の視点から、ガスタービンの回転軸に平行な方向に見たガスタービンの３Ｄ形状の２Ｄデータを生成する。２Ｄデータ生成部４４３は、ガスタービンの回転軸に垂直な断面における３Ｄモデルのデータを使用することによりその断面の２Ｄデータを生成してもよい。

【0476】

以下の例では、２つ以上のブレードを有する構造の３Ｄモデルが使用される。以下の方法は、２つ以上の燃料噴射ノズルを有する構造の３Ｄモデルに適用されてもよい。

【0477】

図４６は、表示部４５の表示画面の例を示す。図１０に示す部分と同じ部分の説明を省略する。

【0478】

表示制御部４３５は、ステップＳ２１５において、２Ｄデータの２Ｄ画像ＤＩ１２を領域Ｒ１０に表示する。１２枚のブレードＢＤ１１がディスクＤＳ１０に配置されている。実際には、数十枚のブレードまたは１００枚を超えるブレードが１つのディスクに配置されている。中心位置ＣＰ１０は、回転軸に垂直な平面におけるディスクＤＳ１０の中心を示す。

【0479】

表示制御部４３５は、ステップＳ２１５において、静止画と対応する３Ｄモデル上の位置を示す情報を２Ｄ画像ＤＩ１２上に表示する。具体的には、表示制御部４３５は、文字列ＣＨ１６および文字列ＣＨ１７を２Ｄ画像ＤＩ１２上に表示し、かつ線Ｌ１６および線Ｌ１７を２Ｄ画像ＤＩ１２上に表示する。また、表示制御部４３５は、サムネイル画像ＩＭ１６およびサムネイル画像ＩＭ１７を２Ｄ画像ＤＩ１２上に表示する。

【0480】

各文字列は、各静止画のファイル名を示す。文字列ＣＨ１６は、ファイル名ｉｍｇ０６を示す。文字列ＣＨ１７は、ファイル名ｉｍｇ０７を示す。各線は、各静止画と対応する位置を示す。線Ｌ１１は、ファイル名ｉｍｇ０６を持つ静止画と対応する位置を示す。線Ｌ１７は、ファイル名ｉｍｇ０７を持つ静止画と対応する位置を示す。各位置は、ステップＳ１０８において、基準フレームを取得したカメラのカメラ座標および姿勢情報に基づいて算出された３Ｄ座標と対応する。サムネイル画像ＩＭ１６は、ファイル名ｉｍｇ０６を持つ静止画のサムネイル画像である。サムネイル画像ＩＭ１７は、ファイル名ｉｍｇ０７を持つ静止画のサムネイル画像である。

【0481】

２Ｄデータ生成部４４３は、ステップＳ２１２において、上記の視点と異なる視点から見たガスタービンの３Ｄ形状の２Ｄデータを生成してもよい。表示制御部４３５は、ステップＳ２１５において、２つの２Ｄデータの２枚の２Ｄ画像を表示部４５に表示してもよい。表示制御部４３５は、ステップＳ２１５において、静止画と対応する３Ｄモデル上の位置を示す情報をその２枚の２Ｄ画像上に表示してもよい。

【0482】

ＰＣ４１ｆが実行する処理の順番は、図４３に示す順番に限らない。例えば、データ受付部４３８は、データ処理部４３９が参照データを処理する前の任意のタイミングで、参照データを指定するための情報を受け付けてもよい。したがって、ステップＳ２１１はステップＳ２１３が実行される前の任意のタイミングで実行されてもよい。

【0483】

所定の参照データを使用する条件が予めＰＣ４１ｆに設定されている場合、データ受付部４３８は、参照データを指定するための情報を受け付ける必要はない。そのため、ＣＰＵ４３ｆがデータ受付部４３８を有する必要はなく、ステップＳ２１１は必須ではない。

【0484】

推定部４３４がステップＳ１０８およびステップＳ１０９を実行せず、データ処理部４３９がステップＳ２１４を実行せず、表示制御部４３５が、カメラ座標と対応する２Ｄ座標を参照データの２Ｄ画像上に表示してもよい。カメラ座標が２Ｄ画像上に表示されるため、ユーザーは、基準フレームの視点の位置を確認することができる。そのため、ステップＳ１０８、ステップＳ１０９、およびステップＳ２１４は必須ではない。

【0485】

各種変形例を含む第１から第６の実施形態において、表示制御部４３５は、３Ｄモデルの３Ｄ画像を表示する代わりに参照データの２Ｄ画像を表示部４５に表示してもよい。

【0486】

本発明の各態様は次の変形例を含んでもよい。表示制御部４３５は、表示ステップ（ステップＳ２１５）において、第２のカメラ座標と、第２のカメラ座標に基づいて算出された被写体の１つ以上の点の３Ｄ座標との少なくとも一方と対応する２Ｄ座標を可視化し、かつ被写体の２つ以上の点のうちの１つ以上の３Ｄ座標と対応する２Ｄ座標を可視化する２Ｄ画像を表示部４５に表示する。

【0487】

本発明の各態様は次の変形例を含んでもよい。３Ｄデータはさらに、第１のカメラの姿勢を示す第１の姿勢情報を含む。第１の姿勢情報は、２枚以上の２Ｄ画像の各々と関連付けられている。推定部４３４はさらに、推定ステップ（ステップＳ１０７）において、選択フレームと関連付けられている第１の姿勢情報に基づいて第２のカメラの姿勢を推定し、推定された姿勢を示す第２の姿勢情報を生成する。推定部４３４はさらに、推定ステップ（ステップＳ１０８）において、第２のカメラ座標および第２の姿勢情報に基づいて、基準レームに写っている被写体の領域の１つ以上の点の３Ｄ座標を推定する。２Ｄ画像は、基準フレームに写っている被写体の領域の１つ以上の点の３Ｄ座標と対応する２Ｄ座標を可視化する。

【0488】

本発明の各態様は次の変形例を含んでもよい。表示制御部４３５はさらに、表示ステップ（ステップＳ２１５）において、基準フレームに写っている領域の位置を示す情報を２Ｄ画像に重畳する。

【0489】

本発明の各態様は次の変形例を含んでもよい。２Ｄデータ生成部４４３は、生成ステップ（ステップＳ２１２）において、３Ｄモデルを使用することにより２Ｄ画像を生成する。

【0490】

本発明の各態様は次の変形例を含んでもよい。２Ｄデータ生成部４４３は、生成ステップ（ステップＳ２１２）において、第１の視点から見た被写体の２Ｄ画像である第１の画像を生成し、かつ第１の視点と異なる第２の視点から見た被写体の２Ｄ画像である第２の画像を生成する。表示制御部４３５は、表示ステップ（ステップＳ２１５）において、第１の画像および第２の画像を表示部４５に表示する。

【0491】

本発明の各態様は次の変形例を含んでもよい。２Ｄ画像は、被写体の２Ｄ形状を示す形状データの画像である。データ処理部４３９は、関連付けステップ（ステップＳ２１４）において、被写体の２つ以上の点の３Ｄ座標と対応する２Ｄ座標を形状データによって示される２Ｄ形状と関連付ける。

【0492】

第７の実施形態において、ＰＣ４１ｆは、被写体の２Ｄ画像を表示部４５に表示する。その２Ｄ画像は、基準フレームを取得したカメラのカメラ座標と、そのカメラ座標に基づいて算出された３Ｄ座標との少なくとも一方と対応する２Ｄ座標を可視化し、かつ被写体の２つ以上の点のうちの１つ以上の３Ｄ座標と対応する２Ｄ座標を可視化する。これにより、ＰＣ４１ｆは、被写体の２Ｄ画像（基準フレーム）の少なくとも一部と関連する３Ｄ座標を持つ位置を可視化することができる。

【0493】

ユーザーは、注目領域と対応する３Ｄモデル上の位置を確認することができる。２Ｄ画像が２Ｄ－ＣＡＤ等の参照データの画像であるため、ユーザーは被写体の本来の形状を確認することができる。

【0494】

（第７の実施形態の変形例）
本発明の第７の実施形態の変形例を説明する。第７の実施形態の変形例において、図４２に示すＰＣ４１ｆが使用される。ＰＣ４１ｆは、参照データを使用せず、３Ｄモデルを２Ｄデータに変換し、かつその２Ｄデータの画像を表示する。第７の実施形態の変形例において、ＰＣ４１ｆは、図４２に示すデータ受付部４３８を有する必要はない。

【0495】

第７の実施形態の変形例において、検査レポートが使用される例を説明する。検査が完了した後、ユーザーは検査レポートを作成する。例えば、検査対象物の全体の位置関係を示す情報が検査レポートに添付される。３Ｄモデルのデータ量は大きく、かつ３Ｄモデルを扱う方法が複雑であるため、３Ｄモデルが検査レポートに添付される必要はない。２Ｄデータのデータ量は３Ｄモデルのデータ量よりも小さく、かつ２Ｄデータを扱う方法は簡単である。そのため、２Ｄデータは、検査レポートに添付される情報に適している。また、参照データが入手できない場合がある。その場合、第７の実施形態の変形例は効果的である。

【0496】

以下の例では、注目領域は、基準フレームの全体領域である。注目領域は、特定の画像に写っている特定の被写体の領域であってもよい。

【0497】

図４７は、ＰＣ４１ｆが実行する処理の手順を示す。図４３に示す処理と同じ処理の説明を省略する。

【0498】

ステップＳ１０９の後、２Ｄデータ生成部４４３は、ステップＳ２１２において、３Ｄモデルを、特定の視点から見た被写体の２Ｄデータに変換する。

【0499】

ステップＳ２１２の後、データ処理部４３９は、２Ｄデータを検査レポートに添付する（ステップＳ２２１）。記憶制御部４３６は、２Ｄデータが添付された検査レポートをメモリ４７に記憶させる。

【0500】

ステップＳ２２１の後、データ処理部４３９は、ステップＳ１０８において算出された３Ｄ座標を示す情報を検査レポートに添付する。つまり、データ処理部４３９は、注目領域と対応する３Ｄモデル上の位置の情報を検査レポートに添付する（ステップＳ２２２）。

【0501】

ステップＳ２２１およびステップＳ２２２は任意の順番で実行されてもよい。したがって、ステップＳ２２２が実行され、その後、ステップＳ２２１が実行されてもよい。

【0502】

ステップＳ２２２の後、表示制御部４３５は、２Ｄデータの２Ｄ画像を表示部４５に表示する。このとき、表示制御部４３５は、ステップＳ１０８において算出された３Ｄ座標を持つ点を含む領域を２Ｄ画像上に表示する。これにより、表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を２Ｄ画像上に表示する（ステップＳ２２３）。ユーザーは、２Ｄデータの２Ｄ画像を確認することにより、注目領域である基準フレームと対応する３Ｄモデル上の位置を確認することができる。表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を２Ｄ画像上に表示し、かつカメラ座標と対応する２Ｄ座標を２Ｄ画像上に表示してもよい。あるいは、表示制御部４３５は、注目領域と対応する３Ｄモデルの領域を２Ｄ画像上に表示せずに、カメラ座標と対応する２Ｄ座標を２Ｄ画像上に表示してもよい。ステップＳ２２３が実行されたとき、図４７に示す処理が終了する。

【0503】

図４８は、検査レポートの例を示す。図４８に示す検査レポートＩＲ１０は、２ＤデータＤＴ１０を含む。２ＤデータＤＴ１０は、図４４に示す領域Ｒ１０に表示される情報と同様の情報を含む。２ＤデータＤＴ１０は、サムネイル画像ＩＭ１１、サムネイル画像ＩＭ１２、およびサムネイル画像ＩＭ１３を含む。

【0504】

図４９は、検査レポートに添付された注目領域の情報の例を示す。図４９に示す情報ＩＮＦ１０は、３つの注目領域の情報を含む。各注目領域の情報は、注目領域のサムネイル画像を含み、かつ注目領域における異常に関する異常情報を含む。異常情報は、検査結果を示し、かつ注目領域に異常があるか否かを示す。注目領域に異常がある場合、異常情報は、その異常の深刻度を示す。

【0505】

図４９に示す例では、サムネイル画像ＩＭ１１ａおよび異常情報ＡＩ１１が互いに関連付けられ、サムネイル画像ＩＭ１２ａおよび異常情報ＡＩ１２が互いに関連付けられ、サムネイル画像ＩＭ１３ａおよび異常情報ＡＩ１３が互いに関連付けられている。サムネイル画像ＩＭ１１ａはサムネイル画像ＩＭ１１と同じである。サムネイル画像ＩＭ１２ａはサムネイル画像ＩＭ１２と同じである。サムネイル画像ＩＭ１３ａはサムネイル画像ＩＭ１３と同じである。２ＤデータＤＴ１０に含まれるサムネイル画像の縮尺と、注目領域の情報に含まれるサムネイル画像の縮尺とが互いに異なってもよい。２ＤデータＤＴ１０に含まれるサムネイル画像のアスペクト比と、注目領域の情報に含まれるサムネイル画像のアスペクト比とが互いに異なってもよい。

【0506】

各静止画（基準フレーム）および各異常情報は、予め互いに関連付けられている。データ処理部４３９は、ステップＳ２２２において、サムネイル画像ＩＭ１１ａ、サムネイル画像ＩＭ１２ａ、およびサムネイル画像ＩＭ１２ａを検査レポートに添付する。このとき、データ処理部４３９は、サムネイル画像ＩＭ１１ａを異常情報ＡＩ１１と関連付け、サムネイル画像ＩＭ１２ａを異常情報ＡＩ１２と関連付け、サムネイル画像ＩＭ１３ａを異常情報ＡＩ１３と関連付ける。また、データ処理部４３９は、サムネイル画像ＩＭ１１ａをサムネイル画像ＩＭ１１と関連付け、サムネイル画像ＩＭ１２ａをサムネイル画像ＩＭ１２と関連付け、サムネイル画像ＩＭ１３ａをサムネイル画像ＩＭ１３と関連付ける。

【0507】

例えば、表示制御部４３５は、ステップＳ２２３において検査レポートＩＲ１０を表示部４５に表示する。これにより、表示制御部４３５は、２ＤデータＤＴ１０の２Ｄ画像を表示部４５に表示する。例えば、ユーザーは、静止画に異常が写っているか否かを確認するために、または静止画に写っている異常の深刻度を確認するために、操作部４４を操作する。これにより、ユーザーは、サムネイル画像ＩＭ１１を選択する指示をＰＣ４１ｆに入力する。ＣＰＵ４３ｆは、その指示を操作部４４から受け付ける。各サムネイル画像は、注目領域である静止画（基準フレーム）と対応する。上記の指示は、サムネイル画像ＩＭ１１と対応する基準フレームを示す。

【0508】

表示制御部４３５は、上記の指示に基づいて情報ＩＮＦ１０を表示部４５に表示する。このとき、表示制御部４３５は、サムネイル画像ＩＭ１１ａおよび異常情報ＡＩ１１を線Ｌ６０で囲む。これにより、表示制御部４３５は、ＰＣ４１ｆに入力された指示によって示される基準フレームと関連付けられている情報を強調する。ユーザーは、異常が静止画に写っているか否か、または異常の深刻度を確認することができる。ユーザーが、選択されたサムネイル画像と対応する情報を容易に確認できる限り、その情報を強調するためにどのような方法が使用されてもよい。

【0509】

情報ＩＮＦ１０が表示されたとき、表示制御部４３５は、検査レポートＩＲ１０を非表示にしてもよい。表示制御部４３５は、検査レポートＩＲ１０および情報ＩＮＦ１０を表示部４５に表示してもよい。サムネイル画像ＩＭ１１を選択する指示がＰＣ４１ｆに入力されたとき、表示制御部４３５は、サムネイル画像ＩＭ１１ａおよび異常情報ＡＩ１１を情報ＩＮＦ１０から抽出し、かつサムネイル画像ＩＭ１１ａおよび異常情報ＡＩ１１を表示部４５に表示してもよい。

【0510】

情報ＩＮＦ１０が表示されているとき、ユーザーはサムネイル画像を選択してもよい。例えば、ユーザーは、操作部４４を操作することにより、サムネイル画像ＩＭ１１ａを選択する指示をＰＣ４１ｆに入力する。ＣＰＵ４３ｆは、その指示を操作部４４から受け付ける。表示制御部４３５は、その指示に基づいて検査レポートＩＲ１０を表示部４５に表示し、かつサムネイル画像ＩＭ１１を強調する。

【0511】

ユーザーが選択する情報はサムネイル画像に限らない。例えば、ユーザーは、静止画のファイル名（ｉｍｇ０１等）を選択してもよい。

【0512】

推定部４３４がステップＳ１０８およびステップＳ１０９を実行せず、データ処理部４３９がステップＳ２２２を実行せず、表示制御部４３５が、カメラ座標と対応する２Ｄ座標を２Ｄデータの２Ｄ画像上に表示してもよい。カメラ座標が２Ｄ画像上に表示されるため、ユーザーは、基準フレームの視点の位置を確認することができる。そのため、ステップＳ１０８、ステップＳ１０９、およびステップＳ２２２は必須ではない。

【0513】

２Ｄデータが検査レポートに添付される必要はない。そのため、ステップＳ２２１およびステップＳ２２２は必須ではない。

【0514】

各種変形例を含む第１から第６の実施形態において、表示制御部４３５は、３Ｄモデルの３Ｄ画像を表示する代わりに２Ｄデータの２Ｄ画像を表示部４５に表示してもよい。

【0515】

本発明の各態様は次の変形例を含んでもよい。基準フレームは、被写体の情報（異常情報ＡＩ１１）と予め関連付けられている。表示ステップ（ステップＳ２２３）が実行され、かつ基準フレームを選択する指示が入力された場合に表示制御部４３５は、情報表示ステップ（ステップＳ２２３）において、その指示によって示される基準フレームと関連付けられている情報（異常情報ＡＩ１１）を表示部４５に表示する。

【0516】

第７の実施形態の変形例において、ＰＣ４１ｆは、３Ｄモデルを、検査レポートに添付するために適した形式を持つ２Ｄデータに変換することができる。そのため、ＰＣ４１ｆは、検査レポートを作成するために必要な作業の負荷を減らすことができる。

【0517】

図４８に示す２ＤデータＤＴ１０に含まれる情報と、図４９に示す情報ＩＮＦ１０とは、互いに関連付けられている。ユーザーおよび検査レポートの承認者は、注目領域と対応する３Ｄモデル上の位置と、その位置における被写体の情報とを確認することができる。そのため、ユーザーおよび検査レポートの承認者は、検査の状況を容易に確認することができる。

【0518】

（付記）
本発明の各態様において、表示制御部４３５は、第２のカメラ座標と、第２のカメラ座標に基づいて算出された被写体の１つ以上の点の３Ｄ座標との少なくとも一方が示す位置を可視化する被写体の画像を表示部４５（ディスプレイ）に表示する。被写体の画像は、３次元画像または２次元画像である。

【0519】

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

【符号の説明】

【0520】

１ 内視鏡装置
２ 挿入部
３ 本体部
４，４４ 操作部
５，４５ 表示部
６ 画像表示システム
７ ３Ｄモデル生成装置
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８，４３，４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ ＣＰＵ
２０ 先端
２８ 撮像素子
４１，４１ａ，４１ｂ，４１ｃ，４１ｄ，４１ｅ ＰＣ
４２ メモリカード
４６ 通信部
４７ メモリ
４３０ 画像取得部
４３１ 条件受付部
４３２ ３Ｄモデル生成部
４３３ 画像選択部
４３４ 推定部
４３５ 表示制御部
４３６ 記憶制御部
４３７ 基準位置受付部
４３８ データ受付部
４３９ データ処理部
４４０ 動画制御部
４４１ 領域検出部
４４２ ３Ｄモデル取得部
４４３ ２Ｄデータ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】