(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-03
(45)【発行日】2024-06-11
(54)【発明の名称】３次元再構成装置、３次元再構成方法、およびプログラム
(51)【国際特許分類】
G01B 11/24 20060101AFI20240604BHJP
G06T 7/579 20170101ALI20240604BHJP
【ＦＩ】
G01B11/24 K
G06T7/579
【請求項の数】
9
(21)【出願番号】P 2023537837
(86)(22)【出願日】2021-07-29
(86)【国際出願番号】 JP2021028000
(87)【国際公開番号】W WO2023007641
(87)【国際公開日】2023-02-02
【審査請求日】2023-08-08
(73)【特許権者】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】宮下 尚之
【審査官】仲野 一秀
(56)【参考文献】
【文献】特開２０１９－２１２２０３（ＪＰ，Ａ）
【文献】特開２０２０－６７４３９（ＪＰ，Ａ）
【文献】中国特許出願公開第１１１１４５２３８（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｃ １／００－１／１４
５／００－１５／１４
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
位置姿勢情報および２次元座標情報を取得する情報取得部であって、前記位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および前記２つ以上の位置の各々における前記カメラの姿勢を示し、前記２次元座標情報は、前記カメラが前記２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標を示し、前記位置姿勢情報および前記２次元座標情報は、前記２枚以上の画像を使用する３次元再構成処理を通して生成された前記情報取得部と、前記２つ以上の位置の各々における前記被写体の３次元のサイズを取得するサイズ取得部と、
前記２つ以上の位置の各々における前記サイズを既知のサイズと一致させるための補正係数を算出する補正係数算出部と、
前記補正係数を使用することにより前記２つ以上の位置の各々を補正するカメラ位置補正部と、
前記カメラ位置補正部によって補正された前記２つ以上の位置と、前記２つ以上の位置の各々における前記姿勢と、前記２次元座標情報とを使用することにより前記被写体の３次元形状を復元する３次元形状復元部と、
を備える３次元再構成装置。
【請求項2】
前記サイズ取得部は、前記位置姿勢情報を使用することにより、前記２つ以上の位置の各々における前記被写体の３次元のサイズを算出する請求項１に記載の３次元再構成装置。
【請求項3】
前記情報取得部は、前記被写体の３次元形状を示す形状情報を取得し、前記サイズ取得部は、前記２つ以上の位置の各々において前記カメラの視野に入る前記被写体の前記形状情報が示す前記３次元形状のデプスを前記サイズとして算出する
請求項２に記載の３次元再構成装置。
【請求項4】
前記サイズ取得部は、前記２つ以上の位置に含まれる２つの位置の距離に基づいて前記サイズを算出する請求項２に記載の３次元再構成装置。
【請求項5】
前記情報取得部は、前記被写体の３次元形状を示す形状情報を取得し、前記サイズ取得部は、前記形状情報が示す３次元形状を近似する所定の３次元形状を使用することにより前記サイズを算出する
請求項２に記載の３次元再構成装置。
【請求項6】
前記サイズ取得部は、入力装置に入力された前記サイズを前記入力装置から取得する請求項１に記載の３次元再構成装置。
【請求項7】
前記補正係数算出部は、前記２つ以上の位置の各々における前記サイズと、前記サイズの目標値とを使用することにより前記補正係数を算出する請求項１に記載の３次元再構成装置。
【請求項8】
情報取得部が位置姿勢情報および２次元座標情報を取得する情報取得ステップであって、前記位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および前記２つ以上の位置の各々における前記カメラの姿勢を示し、前記２次元座標情報は、前記カメラが前記２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標を示し、前記位置姿勢情報および前記２次元座標情報は、前記２枚以上の画像を使用する３次元再構成処理を通して生成された前記情報取得ステップと、サイズ取得部が前記２つ以上の位置の各々における前記被写体の３次元のサイズを取得するサイズ取得ステップと、
補正係数算出部が、前記２つ以上の位置の各々における前記サイズを既知のサイズと一致させるための補正係数を算出する補正係数算出ステップと、
カメラ位置補正部が前記補正係数を使用することにより前記２つ以上の位置の各々を補正するカメラ位置補正ステップと、
３次元形状復元部が、前記カメラ位置補正ステップにおいて補正された前記２つ以上の位置と、前記２つ以上の位置の各々における前記姿勢と、前記２次元座標情報とを使用することにより前記被写体の３次元形状を復元する３次元形状復元ステップと、
を備える３次元再構成方法。
【請求項9】
位置姿勢情報および２次元座標情報を取得する情報取得ステップであって、前記位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および前記２つ以上の位置の各々における前記カメラの姿勢を示し、前記２次元座標情報は、前記カメラが前記２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標を示し、前記位置姿勢情報および前記２次元座標情報は、前記２枚以上の画像を使用する３次元再構成処理を通して生成された前記情報取得ステップと、前記２つ以上の位置の各々における前記被写体の３次元のサイズを取得するサイズ取得ステップと、
前記２つ以上の位置の各々における前記サイズを既知のサイズと一致させるための補正係数を算出する補正係数算出ステップと、
前記補正係数を使用することにより前記２つ以上の位置の各々を補正するカメラ位置補正ステップと、
前記カメラ位置補正ステップにおいて補正された前記２つ以上の位置と、前記２つ以上の位置の各々における前記姿勢と、前記２次元座標情報とを使用することにより前記被写体の３次元形状を復元する３次元形状復元ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元再構成装置、３次元再構成方法、およびプログラムに関する。
【背景技術】
【0002】
工業用内視鏡（ＲＶＩ（Remote Visual Inspection））が航空機エンジンまたはプラント配管等の工業製品の画像を取得し、その画像を使用する検査が実施されている。検査では、画像を取得するためのプローブが被写体内に挿入される。撮像光学系である光学アダプタがプローブの先端に配置されている。検査者は画像を観察し、欠陥等があるか否かを判断する。
【0003】
一般的に、検査者は、単眼の光学アダプタを通して取得された画像を使用することにより被写体の内部を観察する。検査において発見された欠陥等が被写体内のどこに位置するのかを正しく記録することが重要である。しかしながら、検査者が画像のみから欠陥等の正確な位置を知ることは困難である。そのため、被写体の形状および画像を通して観察された位置（観察位置）を自動的に検出することが要求されている。
【0004】
ＳｆＭ（Structure-from-Motion）またはＶｉｓｕａｌ－ＳＬＡＭ（Visual-Simultaneous-Localization-and-Mapping）と呼ばれる技術が開発されている。これらの技術は、単眼のカメラによって取得された動画像を使用することにより３次元復元（３次元再構成）を実行する。３次元復元を通して被写体の形状および画像の観察位置が復元される。
【0005】
単眼のカメラによって取得された画像を使用する３次元復元では、原理的に、スケールドリフトと呼ばれる現象が発生する。従来技術は、スケールドリフトを解消するループクロージング処理を提供する。その技術は、カメラがループ状に一周して以前の位置と同じ位置に戻った場合にループを検知し、ループ前後のカメラの位置・姿勢を補正し、かつカメラの軌跡全体を補正する。
【0006】
特許文献１に開示された技術は、カメラの位置姿勢推定の誤差を減らす処理を提供する。その技術は、画像から検出される特徴点の数を増やすことにより、誤差を減らす。具体的には、特徴点の数が閾値以下である場合、カメラの移動方向および移動速度が変更される。
【先行技術文献】
【特許文献】
【0007】
【文献】日本国特開２０１７－１６７６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献１に開示された技術では、スケールドリフトの発生は根本的には解消されない。また、その技術では、目的地に近づく移動と、目的地から遠ざかる移動とが繰り返されるため、撮影操作が煩雑となる。
【0009】
本発明は、被写体の３次元形状の誤差を減らすことができる３次元再構成装置、３次元再構成方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第１の態様によれば、３次元再構成装置は、情報取得部、サイズ取得部、補正係数算出部、カメラ位置補正部、および３次元形状復元部を備える。前記情報取得部は、位置姿勢情報および２次元座標情報を取得する。前記位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および前記２つ以上の位置の各々における前記カメラの姿勢を示す。前記２次元座標情報は、前記カメラが前記２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標を示す。前記位置姿勢情報および前記２次元座標情報は、前記２枚以上の画像を使用する３次元再構成処理を通して生成される。前記サイズ取得部は、前記２つ以上の位置の各々における前記被写体の３次元のサイズを取得する。前記補正係数算出部は、前記２つ以上の位置の各々における前記サイズを既知のサイズと一致させるための補正係数を算出する。前記カメラ位置補正部は、前記補正係数を使用することにより前記２つ以上の位置の各々を補正する。前記３次元形状復元部は、前記カメラ位置補正部によって補正された前記２つ以上の位置と、前記２つ以上の位置の各々における前記姿勢と、前記２次元座標情報とを使用することにより前記被写体の３次元形状を復元する。
【0011】
本発明の第２の態様によれば、第１の態様において、前記サイズ取得部は、前記位置姿勢情報を使用することにより、前記２つ以上の位置の各々における前記被写体の３次元のサイズを算出してもよい。
【0012】
本発明の第３の態様によれば、第２の態様において、前記情報取得部は、前記被写体の３次元形状を示す形状情報を取得してもよい。前記サイズ取得部は、前記２つ以上の位置の各々において前記カメラの視野に入る前記被写体の前記形状情報が示す前記３次元形状のデプスを前記サイズとして算出してもよい。
【0013】
本発明の第４の態様によれば、第２の態様において、前記サイズ取得部は、前記２つ以上の位置に含まれる２つの位置の距離に基づいて前記サイズを算出してもよい。
【0014】
本発明の第５の態様によれば、第２の態様において、前記情報取得部は、前記被写体の３次元形状を示す形状情報を取得してもよい。前記サイズ取得部は、前記形状情報が示す３次元形状を近似する所定の３次元形状を使用することにより前記サイズを算出してもよい。
【0015】
本発明の第６の態様によれば、第１の態様において、前記サイズ取得部は、入力装置に入力された前記サイズを前記入力装置から取得してもよい。
【0016】
本発明の第７の態様によれば、第１の態様において、前記補正係数算出部は、前記２つ以上の位置の各々における前記サイズと、前記サイズの目標値とを使用することにより前記補正係数を算出してもよい。
【0017】
本発明の第８の態様によれば、３次元再構成方法は、情報取得ステップ、サイズ取得ステップ、補正係数算出ステップ、カメラ位置補正ステップ、および３次元形状復元ステップを有する。情報取得部は、前記情報取得ステップにおいて、位置姿勢情報および２次元座標情報を取得する。前記位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および前記２つ以上の位置の各々における前記カメラの姿勢を示す。前記２次元座標情報は、前記カメラが前記２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標を示す。前記位置姿勢情報および前記２次元座標情報は、前記２枚以上の画像を使用する３次元再構成処理を通して生成される。サイズ取得部は、前記サイズ取得ステップにおいて、前記２つ以上の位置の各々における前記被写体の３次元のサイズを取得する。補正係数算出部は、前記補正係数算出ステップにおいて、前記２つ以上の位置の各々における前記サイズを既知のサイズと一致させるための補正係数を算出する。カメラ位置補正部は、前記カメラ位置補正ステップにおいて、前記補正係数を使用することにより前記２つ以上の位置の各々を補正する。３次元形状復元部は、前記３次元形状復元ステップにおいて、前記カメラ位置補正ステップにおいて補正された前記２つ以上の位置と、前記２つ以上の位置の各々における前記姿勢と、前記２次元座標情報とを使用することにより前記被写体の３次元形状を復元する。
【0018】
本発明の第９の態様によれば、プログラムは、情報取得ステップ、サイズ取得ステップ、補正係数算出ステップ、カメラ位置補正ステップ、および３次元形状復元ステップをコンピュータに実行させる。前記コンピュータは、前記情報取得ステップにおいて、位置姿勢情報および２次元座標情報を取得する。前記位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および前記２つ以上の位置の各々における前記カメラの姿勢を示す。前記２次元座標情報は、前記カメラが前記２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標を示す。前記位置姿勢情報および前記２次元座標情報は、前記２枚以上の画像を使用する３次元再構成処理を通して生成される。前記コンピュータは、前記サイズ取得ステップにおいて、前記２つ以上の位置の各々における前記被写体の３次元のサイズを取得する。前記コンピュータは、前記補正係数算出ステップにおいて、前記２つ以上の位置の各々における前記サイズを既知のサイズと一致させるための補正係数を算出する。前記コンピュータは、前記カメラ位置補正ステップにおいて、前記補正係数を使用することにより前記２つ以上の位置の各々を補正する。前記コンピュータは、前記３次元形状復元ステップにおいて、前記カメラ位置補正ステップにおいて補正された前記２つ以上の位置と、前記２つ以上の位置の各々における前記姿勢と、前記２次元座標情報とを使用することにより前記被写体の３次元形状を復元する。
【発明の効果】
【0019】
上記の各態様によれば、３次元再構成装置、３次元再構成方法、およびプログラムは、被写体の３次元形状の誤差を減らすことができる。
【図面の簡単な説明】
【0020】
【図1】本発明の第１の実施形態の３次元（３Ｄ）再構成装置の構成を示すブロック図である。
【図2】本発明の第１の実施形態の３Ｄ再構成装置が実行する処理の手順を示すフローチャートである。
【図3】本発明の第１の実施形態におけるカメラの位置および被写体の３Ｄ形状を示す図である。
【図4】本発明の第１の実施形態における被写体のサイズの例を示す図である。
【図5】本発明の第１の実施形態における被写体のサイズの例を示す図である。
【図6】本発明の第１の実施形態におけるデプスのグラフである。
【図7】本発明の第１の実施形態における基線長のグラフである。
【図8】本発明の第１の実施形態における所定のサイズとカメラ位置におけるサイズとの比のグラフである。
【図9】本発明の第１の実施形態における補正係数のグラフである。
【図10】本発明の第１の実施形態における補正されたカメラの位置のグラフである。
【図11】本発明の第１の実施形態の３Ｄ再構成装置によって復元された３Ｄ形状の例を示す図である。
【図12】本発明の第１の実施形態の３Ｄ再構成装置によって復元された３Ｄ形状の例を示す図である。
【図13】本発明の第１の実施形態における被写体の例を示す図である。
【図14】本発明の第１の実施形態の３Ｄ再構成装置に入力された形状情報によって示される３Ｄ形状の例を示す図である。
【図15】本発明の第１の実施形態の３Ｄ再構成装置によって復元された３Ｄ形状の例を示す図である。
【図16】本発明の第２の実施形態の３Ｄ再構成装置の構成を示すブロック図である。
【図17】本発明の第２の実施形態の３Ｄ再構成装置が実行する処理の手順を示すフローチャートである。
【図18】本発明の第２の実施形態における被写体の例を示す図である。
【図19】本発明の第２の実施形態の３Ｄ再構成装置によって復元された３Ｄ形状の例を示す図である。
【発明を実施するための形態】
【0021】
図面を参照し、本発明の実施形態を説明する。
【0022】
（第１の実施形態）
図１は、本発明の第１の実施形態の３Ｄ再構成装置１の構成を示す。図１に示す３Ｄ再構成装置１は、３Ｄ再構成部１０および記憶部１１を有する。３Ｄ再構成部１０は、情報取得部１００、サイズ取得部１０１、補正係数算出部１０２、カメラ位置補正部１０３、３Ｄ形状復元部１０４、およびバンドル調整部１０５を有する。
図１は、本発明の第１の実施形態の３Ｄ再構成装置１の構成を示す。図１に示す３Ｄ再構成装置１は、３Ｄ再構成部１０および記憶部１１を有する。３Ｄ再構成部１０は、情報取得部１００、サイズ取得部１０１、補正係数算出部１０２、カメラ位置補正部１０３、３Ｄ形状復元部１０４、およびバンドル調整部１０５を有する。
【0023】
３Ｄ再構成装置１の概略構成について説明する。情報取得部１００は、位置姿勢情報および２次元座標情報（２Ｄ座標情報）を取得する。位置姿勢情報は、単眼のカメラの互いに異なる２つ以上の位置および２つ以上の位置の各々におけるカメラの姿勢を示す。２Ｄ座標情報は、カメラがその２つ以上の位置において取得した被写体の２枚以上の画像の各々における１つ以上の点の２次元座標（２Ｄ座標）を示す。位置姿勢情報および２Ｄ座標情報は、その２枚以上の画像を使用する３次元再構成処理（３Ｄ再構成処理）を通して生成される。サイズ取得部１０１は、カメラの２つ以上の位置の各々における被写体の３次元のサイズを取得する。補正係数算出部１０２は、カメラの２つ以上の位置の各々におけるサイズを既知のサイズと一致させるための補正係数を算出する。カメラ位置補正部１０３は、補正係数を使用することによりカメラの２つ以上の位置の各々を補正する。３Ｄ形状復元部１０４は、カメラ位置補正部１０３によって補正された２つ以上の位置と、その２つ以上の位置の各々におけるカメラの姿勢と、２Ｄ座標情報とを使用することにより被写体の３次元形状（３Ｄ形状）を復元する。
【0024】
上記のカメラは、１つの視点と対応する単眼の撮像光学系を有する。カメラは、視点から見た被写体の光学像を捉え、その光学像に基づいて画像を生成する。以下では、視点と対応するカメラの位置をカメラ位置と呼ぶ。
【0025】
３Ｄ再構成装置１の詳細な構成について説明する。３Ｄ再構成装置１は、入力装置２および出力装置３に接続されている。３Ｄ再構成装置１は、入力装置２および出力装置３の少なくとも一方を有してもよい。
【0026】
入力装置２は、位置姿勢情報、形状情報、および２Ｄ座標情報等を３Ｄ再構成装置１に入力する。例えば、入力装置２は、外部装置と通信を実施する通信機を有し、位置姿勢情報、形状情報、および２Ｄ座標情報等を外部装置から受信する。入力装置２は、位置姿勢情報、形状情報、および２Ｄ座標情報を外部記憶媒体から読み出す読み出し回路を有してもよい。入力装置２は、ユーザーインターフェースを有してもよい。例えば、ユーザーインターフェースは、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、またはタッチパネルである。ユーザーは、ユーザーインターフェースを通して情報を入力装置２に入力してもよい。
【0027】
位置姿勢情報、形状情報、および２Ｄ座標情報は、ＳｆＭまたはＶｉｓｕａｌ－ＳＬＡＭ等を使用する３Ｄ再構成処理を通して生成される。被写体の２枚以上の画像（キーフレーム）が３Ｄ再構成処理において使用される。カメラは、互いに異なる２つ以上のカメラ位置において画像を取得する。
【0028】
位置姿勢情報は、その２つ以上のカメラ位置の各々の３次元座標（３Ｄ座標）と、その２つ以上のカメラ位置の各々におけるカメラの姿勢を示す姿勢情報とを含む。カメラ位置は、３次元空間における位置を示す３次元ベクトル（ｘ，ｙ，ｚ）で表され、カメラの姿勢は軸回りの回転量を示す３次元ベクトル（ｒｘ，ｒｙ，ｒｚ）もしくは３ｘ３の回転行列で表される。位置姿勢情報は上記の合計６ＤｏＦ（自由度）の情報である。１つのカメラ位置と１つの姿勢とが互いに関連付けられている。互いに異なる２つのカメラ位置の間でカメラの２つの姿勢は同じであってもよいし、あるいは互いに異なってもよい。
【0029】
形状情報は、被写体の３Ｄ形状を示す。形状情報は、被写体の３次元点群である。形状情報は、被写体上の３つ以上の位置の各々の３Ｄ座標を含む。位置姿勢情報における３Ｄ座標および姿勢情報は、形状情報における３Ｄ座標と関連付けられている。つまり、カメラの位置および姿勢は、被写体の３Ｄ形状上の点と関連付けられている。
【0030】
２Ｄ座標情報は、被写体の２枚以上の画像（キーフレーム）の各々における１つ以上の点の２Ｄ座標を示す。形状情報における各点の３Ｄ座標は、形状情報における各点と対応する２Ｄ座標情報の２Ｄ座標と関連付けられている。
【0031】
出力装置３は、３Ｄ再構成装置１によって復元された被写体の３Ｄ形状を出力する。例えば、出力装置３は、その３Ｄ形状の画像をディスプレイに出力する。出力装置３は、外部装置と通信を実施する通信機を有してもよく、その３Ｄ形状を外部装置に送信してもよい。出力装置３は、その３Ｄ形状を外部記憶媒体に書き込む書き込み回路を有してもよい。
【0032】
情報取得部１００は、入力装置２によって入力された位置姿勢情報、形状情報、および２Ｄ座標情報を入力装置２から取得する。
【0033】
サイズ取得部１０１は、各カメラ位置における被写体の３次元のサイズを取得する。例えば、サイズ取得部１０１は、位置姿勢情報および形状情報の少なくとも一方を使用することにより、そのサイズを算出する。入力装置２は、既知のサイズを３Ｄ再構成装置１に入力してもよい。サイズ取得部１０１は、入力装置２によって入力されたサイズを入力装置２から取得してもよい。被写体のサイズの詳細については後述する。
【0034】
補正係数算出部１０２は、３Ｄ再構成装置１に入力された形状情報が示す３Ｄ形状におけるサイズを所定のサイズと一致させるための補正係数を算出する。カメラ位置補正部１０３は、補正係数算出部１０２によって算出された補正係数を使用することにより２つ以上のカメラ位置の各々を補正する。
【0035】
３Ｄ形状復元部１０４は、三角測量を実行し、被写体の３Ｄ形状を復元する。このとき、３Ｄ形状復元部１０４は、カメラ位置補正部１０３によって補正された２つ以上のカメラ位置を使用する。また、３Ｄ形状復元部１０４は、その２つ以上のカメラ位置の各々と関連付けられている姿勢を使用する。また、３Ｄ形状復元部１０４は、２Ｄ座標情報を使用する。３Ｄ形状復元部１０４は、この処理を通して、被写体上の３つ以上の位置の各々の３Ｄ座標を含む形状情報を生成する。三角測量には３Ｄ再構成において用いられる一般的な処理を用いてもよい。
【0036】
バンドル調整部１０５は、被写体の３Ｄ形状を安定させるためのバンドル調整を実行する。このとき、３Ｄ形状復元部１０４によって生成された形状情報が処理される。バンドル調整には、３Ｄ点の再投影誤差を最小化する様にカメラ位置姿勢および３Ｄ座標を最適化する一般的な処理を用いてもよい。
【0037】
３Ｄ再構成部１０は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。３Ｄ再構成部１０は、１つまたは複数のプロセッサを含んでもよい。情報受付部３０、３Ｄ再構成部１０は、１つまたは複数の論理回路を含んでもよい。
【0038】
３Ｄ再構成装置１のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、３Ｄ再構成部１０の動作を規定する命令を含む。つまり、３Ｄ再構成部１０の機能はソフトウェアにより実現されてもよい。
【0039】
上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により３Ｄ再構成装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
【0040】
記憶部１１は、情報取得部１００によって取得された位置姿勢情報、形状情報、および２Ｄ座標情報を記憶する。また、記憶部１１は、バンドル調整部１０５によって処理された形状情報を記憶する。
【0041】
記憶部１１は、揮発性または不揮発性の記録媒体である。例えば、記憶部１１は、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、およびフラッシュメモリの少なくとも１つである。
【0042】
３Ｄ再構成装置１が実行する処理を説明する。図２は、３Ｄ再構成装置１が実行する処理の手順を示す。
【0043】
情報取得部１００は、入力装置２によって入力された位置姿勢情報、形状情報、および２Ｄ座標情報を入力装置２から取得する（ステップＳ１００）。情報取得部１００によって取得された位置姿勢情報、形状情報、および２Ｄ座標情報は記憶部１１に記憶される。３Ｄ再構成部１０の各部は、位置姿勢情報、形状情報、または２Ｄ座標情報を記憶部１１から読み出し、読み出された情報を処理する。
【0044】
ステップＳ１００の後、サイズ取得部１０１は、被写体のサイズを取得する（ステップＳ１０１）。
【0045】
サイズ取得部１０１は、ステップＳ１０１において以下の処理を実行する。以下では、サイズ取得部１０１が被写体のサイズを算出する例を説明する。
【0046】
図３に、内径が一定の配管である被写体の内側を内視鏡を使用することにより撮影した動画像に対し、予め単眼３Ｄ再構成を行った結果を、情報取得部１００から取得した例を示す。３Ｄ形状３Ｄ１は、形状情報によって示される被写体の３Ｄ点群である。カメラ位置ＣＰ１、カメラ位置ＣＰ２、およびカメラ位置ＣＰ３の各々は、動画像のうち３Ｄ再構成に用いられた画像（いわゆるキーフレーム）のカメラ位置を示している。
【0047】
内径が一定の配管である被写体では、３Ｄ形状が示す内径は理想的には一定となるはずである。しかしながら単眼３Ｄ再構成ではスケールドリフトが生じるため３Ｄ形状が変化してしまう。図３は、スケールドリフトが内径の縮小として生じた例を示す。例えば、スケールドリフトは、内径Ｄ１および内径Ｄ２の違いとして現れる。
【0048】
スケールドリフトは縮小だけではなく、拡大や拡縮として生じる場合もあるが、以下では説明を簡単にするために縮小のみ発生したと仮定して本発明の各実施形態を説明する。
【0049】
図４および図５は、被写体のサイズの例を示す。カメラ位置ＣＰ１およびカメラ位置ＣＰｎが図４に示されている。カメラ位置ＣＰ１およびカメラ位置ＣＰｎの間のカメラ位置は図４に示されていない。サイズ取得部１０１は、位置姿勢情報および形状情報を使用することにより、図４に示すデプスＤＰ１およびデプスＤＰｎを算出する。デプスＤＰ１は、カメラ位置ＣＰ１から見た被写体のデプスを示す。デプスＤＰｎは、カメラ位置ＣＰｎから見た被写体のデプスを示す。サイズ取得部１０１は、デプスＤＰ１およびデプスＤＰｎに加えて、カメラ位置ＣＰ１およびカメラ位置ＣＰｎの間の各カメラ位置におけるデプスを算出する。
【0050】
カメラの座標系は、Ｘ軸、Ｙ軸、およびＺ軸によって定義される。Ｘ軸およびＹ軸は、カメラの撮像面に平行である。Ｚ軸は、撮像面に垂直である。例えば、サイズ取得部１０１は、各カメラ位置と関連付けられている３Ｄ座標を形状情報から抽出する。形状情報における座標系は、所定の世界座標系であり、例えば３Ｄ再構成が行われた際の第０のカメラ位置を原点とする。サイズ取得部１０１は、位置姿勢情報におけるカメラ位置および姿勢情報を使用することにより、形状情報である３Ｄ座標の座標系を、カメラを基準とする座標系に変換する。その後、サイズ取得部１０１は、変換された３Ｄ座標のＺ座標を使用することによりデプスを算出する。デプスは、例えば複数のＺ座標の中央値を用いることにより算出される。
【0051】
カメラ位置ＣＰ１、カメラ位置ＣＰ２、カメラ位置ＣＰｎ、およびカメラ位置ＣＰ（ｎ＋１）が図５に示されている。カメラ位置ＣＰ２およびカメラ位置ＣＰｎの間のカメラ位置は図５に示されていない。サイズ取得部１０１は、位置姿勢情報を使用することにより、図５に示す基線長ＢＬ１および基線長ＢＬｎを算出する。基線長ＢＬ１は、カメラ位置ＣＰ１からカメラ位置ＣＰ２までのカメラの移動量、すなわちカメラ位置ＣＰ１とカメラ位置ＣＰ２との間の３次元距離を示す。基線長ＢＬｎは、カメラ位置ＣＰｎからカメラ位置ＣＰ（ｎ＋１）までのカメラの移動量、すなわちカメラ位置ＣＰｎとカメラ位置ＣＰ（ｎ＋１）との間の３次元距離を示す。サイズ取得部１０１は、基線長ＢＬ１および基線長ＢＬｎに加えて、カメラ位置ＣＰ２およびカメラ位置ＣＰｎの間の各カメラ位置に関する基線長を算出する。
【0052】
図６は、サイズ取得部１０１によって算出されたデプスの例を示す。図６における横軸は、カメラ位置と対応するカメラ番号を示す。図６における縦軸は、デプスを示す。カメラ番号は、基準位置からの距離と対応する。例えば、基準位置は、最初のカメラ番号を持つカメラの位置である。基準位置からの距離が増加するとデプスは減少する。
【0053】
【0054】
サイズ取得部１０１は、図３に示す３Ｄ形状３Ｄ１の内径を被写体のサイズとして算出してもよい。サイズ取得部１０１は例えば、カメラ位置ＣＰ１近傍の３Ｄ形状（３Ｄ点群）に既存の円筒形状をあてはめるフィッティング処理を実行することによりカメラ位置ＣＰ１における内径を算出することができる。サイズ取得部１０１は、３Ｄ形状３Ｄ１および所定の３Ｄ形状を用いる点群レジストレーション等を実行することにより被写体のサイズを算出しても良い。
【0055】
以上の様に、被写体のサイズは、スケールドリフトの程度を示す指標であり、目的に沿った手法を使用することにより種々の指標に変形可能である。
【0056】
被写体のサイズが既知である場合、ユーザーは、入力装置２が有するユーザーインターフェースを経由してそのサイズを３Ｄ再構成装置１に入力してもよい。例えば、ユーザーは、被写体の内径を３Ｄ再構成装置１に入力してもよい。サイズ取得部１０１は、入力装置２によって入力されたサイズを入力装置２から取得してもよい。
【0057】
サイズ取得部１０１は、２つ以上のカメラ位置の各々におけるサイズを取得する。つまり、サイズ取得部１０１は、２つ以上のサイズを取得する。サイズ取得部１０１は、全てのカメラ位置におけるサイズを取得する必要はない。サイズ取得部１０１は、最初のカメラ位置におけるサイズと、最後のカメラ位置におけるサイズとのみを取得してもよい。
【0058】
ステップＳ１０１の後、補正係数算出部１０２は、各カメラ位置におけるサイズと既知のサイズとに基づいて補正係数を算出する（ステップＳ１０２）。
【0059】
補正係数算出部１０２は、ステップＳ１０２において以下の処理を実行する。例えば、補正係数算出部１０２は、所定のサイズＳｔとカメラ位置ｉにおけるサイズＳｉとの比（Ｓｔ／Ｓｉ）を算出する。補正係数算出部１０２は、比（Ｓｔ／Ｓｉ）を２つ以上のカメラ位置の間で平滑化する。平滑化の方法として、様々な方法が使用できる。例えば、補正係数算出部１０２は、カメラ位置ｉを含み所定の長さを持つ区間における全てのカメラ位置における比（Ｓｔ／Ｓｉ）の平均値を算出する。補正係数算出部１０２は、算出された平均値をカメラ位置ｉにおける補正係数として扱う。補正係数算出部１０２は、被写体のサイズに関する値（Ｓｔ／Ｓｉ）を２つ以上のカメラ位置の間で平滑化することにより、ノイズの影響を抑制することができる。
【0060】
所定のサイズＳｔは、被写体のサイズの目標値を示す。３Ｄ再構成処理を通して生成される位置姿勢情報および形状情報は、絶対的な大きさの単位を持たない。そのため、サイズＳｔは、０よりも大きい値でありさえすればよく、計算上破綻の無い範囲における任意の値に設定しても良い。３Ｄ形状復元部１０４によって復元された３Ｄ形状における相対的な距離は、サイズＳｔの大きさに応じて変化する。しかしながら、サイズＳｔの大きさは、全体的な３Ｄ形状の補正に影響を与えない。
【0061】
補正係数算出部１０２は、平均値の代わりに中央値などを算出してもよい。補正係数算出部１０２は、比（Ｓｔ／Ｓｉ）を近似する多項式を算出してもよい。補正係数算出部１０２は、その多項式を使用することにより各カメラ位置における補正係数を算出してもよい。
【0062】
記憶部１１は、補正係数を算出するためのパラメータを記憶するテーブルを記憶してもよい。補正係数算出部１０２は、そのテーブルを使用することにより各補正係数を算出してもよい。
【0063】
【0064】
図９は、補正係数算出部１０２によって算出された補正係数の例を示す。図９における横軸は、カメラ位置と対応するカメラ番号を示す。図９における縦軸は、補正係数を示す。図６および図７において、基準位置からの距離が増加すると被写体のサイズは減少する。図９において、基準位置からの距離が増加すると補正係数は増加する。つまり、被写体のサイズが減少すると、補正係数は増加する。
【0065】
ステップＳ１０２の後、カメラ位置補正部１０３は、補正係数算出部１０２によって算出された補正係数を使用することにより２つ以上のカメラ位置の各々を補正する（ステップＳ１０３）。
【0066】
カメラ位置補正部１０３は、ステップＳ１０３において以下の処理を実行する。例えば、カメラ位置補正部１０３は、以下の式（１）を使用することにより各カメラ位置を補正する。
Ｏｃｉ＝Ｃｉ（Ｏｉ－Ｏｉ－１）＋Ｏｃｉ－１ （１）
Ｏｃｉ＝Ｃｉ（Ｏｉ－Ｏｉ－１）＋Ｏｃｉ－１ （１）
【0067】
式（１）におけるカメラ位置Ｏｃｉおよびカメラ位置Ｏｃｉ－１の各々は、補正されたカメラ位置（カメラ中心の座標）を示す。式（１）におけるカメラ位置Ｏｉおよびカメラ位置Ｏｉ－１の各々は、補正されていないカメラ位置（カメラ中心の座標）を示す。式（１）における値Ｃｉは、ステップＳ１０２において算出された補正係数を示す。式（１）の右辺第１項（Ｃｉ（Ｏｉ－Ｏｉ－１））は、カメラの基線長に補正係数を乗算することにより得られる。
【0068】
式（１）において、２つのカメラ位置の間の距離が補正係数に従って補正される。補正された距離をカメラ位置Ｏｃｉ－１に加算することにより、補正されたカメラ位置Ｏｃｉが算出される。
【0069】
カメラ位置Ｏ１は基準位置であり、補正されない。カメラ位置Ｏｃ２が算出されるとき、式（１）においてカメラ位置Ｏｃｉ－１の代わりにカメラ位置Ｏ１が使用される。
【0070】
図１０は、補正されたカメラ位置の例を示す。図１０における横軸は、カメラ位置と対応するカメラ番号を示す。図１０における左側の縦軸は、補正されていないカメラ位置を示す。図１０における右側の縦軸は、補正されたカメラ位置を示す。各カメラ位置は、基準位置からカメラまでの距離として示される。線Ｌ１は、補正されていないカメラ位置のグラフを示す。線Ｌ２は、補正されたカメラ位置のグラフを示す。各カメラ位置が補正される前、線Ｌ１が示すように、カメラ番号が増加すると、カメラ位置の変化は次第に小さくなっていく。各カメラ位置が補正された後、線Ｌ２が示すように、カメラ番号とカメラ位置との関係はほぼ線型である。つまり、スケールドリフトの影響は抑制される。
【0071】
ステップＳ１０３の後、３Ｄ形状復元部１０４は、三角測量を実行し、被写体の３Ｄ形状を復元する（ステップＳ１０４）。
【0072】
３Ｄ形状復元部１０４は、ステップＳ１０４において以下の処理を実行する。３Ｄ形状復元部１０４は、補正された２つ以上のカメラ位置と、その２つ以上のカメラ位置の各々と関連付けられている姿勢と、２Ｄ座標情報とを使用し、被写体上の３つ以上の位置の各々の３Ｄ座標を算出する。３Ｄ形状復元部１０４は、単眼のカメラによって取得された画像を使用する一般的な３Ｄ再構成処理において実行される処理を使用することができる。３Ｄ形状復元部１０４は、算出された３Ｄ座標を含む形状情報を生成する。
【0073】
ステップＳ１０４の後、バンドル調整部１０５は、３Ｄ形状復元部１０４によって生成された形状情報を使用するバンドル調整を実行する（ステップＳ１０５）。ステップＳ１０５が実行されたとき、図２に示す処理が終了する。
【0074】
バンドル調整部１０５は、一般的なバンドル調整を使用することができる。しかしながら、バンドル調整は必須ではない。したがって、ステップＳ１０５が省略されてもよい。
【0075】
図１１は、３Ｄ再構成装置１によって復元された３Ｄ形状の例を示す。図１１に示す被写体ＳＢ１０は配管である。被写体ＳＢ１０は、直線部ＳＰ１０、直線部ＳＰ１１、およびチーズＣＨ１０（継ぎ手）を有する。チーズＣＨ１０は、直線部ＳＰ１０と直線部ＳＰ１１との間に配置されている。カメラは、直線部ＳＰ１０の左端から直線部ＳＰ１１の右端に向かって移動する。
【0076】
図１１における３Ｄ形状３Ｄ１０は、３Ｄ再構成装置１に入力された形状情報によって示される。つまり、３Ｄ形状３Ｄ１０は、カメラ位置補正部１０３によって補正されていないカメラ位置を使用することにより復元される。
【0077】
図１１における３Ｄ形状３Ｄ１１は、３Ｄ形状復元部１０４によって生成された形状情報によって示される。つまり、３Ｄ形状３Ｄ１１は、カメラ位置補正部１０３によって補正されたカメラ位置を使用することにより復元される。
【0078】
３Ｄ形状３Ｄ１０は、左側から右側に向かって徐々に細くかつ短くなる。３Ｄ形状３Ｄ１０の長さは被写体ＳＢ１０の長さと大きく異なる。一方、３Ｄ形状３Ｄ１１の長さおよび太さの変化は大きく抑制される。
【0079】
図１２は、３Ｄ再構成装置１によって復元された３Ｄ形状の他の例を示す。図１２に示す被写体ＳＢ１１はＵ字管である。被写体ＳＢ１１は、直線部ＳＰ１２、直線部ＳＰ１３、および曲線部ＣＰ１０を有する。曲線部ＣＰ１０は、直線部ＳＰ１２と直線部ＳＰ１３との間に配置されている。曲線部ＣＰ１０の内径は、直線部ＳＰ１２および直線部ＳＰ１３の各々の内径と同じである。カメラは、直線部ＳＰ１２の左端から直線部ＳＰ１３の左端に向かって移動する。
【0080】
図１２における３Ｄ形状３Ｄ１２は、３Ｄ再構成装置１に入力された形状情報によって示される。つまり、３Ｄ形状３Ｄ１２は、カメラ位置補正部１０３によって補正されていないカメラ位置を使用することにより復元される。
【0081】
図１２における３Ｄ形状３Ｄ１３は、３Ｄ形状復元部１０４によって生成された形状情報によって示される。つまり、３Ｄ形状３Ｄ１３は、カメラ位置補正部１０３によって補正されたカメラ位置を使用することにより復元される。
【0082】
３Ｄ形状３Ｄ１２は、左側から右側に向かって徐々に細くかつ短くなる。３Ｄ形状３Ｄ１２の長さは被写体ＳＢ１１の長さと大きく異なる。一方、３Ｄ形状３Ｄ１３の長さおよび太さの変化は大きく抑制される。
【0083】
第１の実施形態における被写体は、Ｔ字菅であってもよい。被写体がＴ字管である場合も、被写体の３Ｄ形状の大きさの変化は大きく抑制される。
【0084】
３Ｄ再構成装置１によって復元された３Ｄ形状の他の例を説明する。以下の例における被写体は、航空機エンジンのガスタービンに配置されたブレードである。ガスタービンは２枚以上のブレードを有する。図１３は、ブレードの構成を概略的に示す。２枚以上のブレードは、ディスクと呼ばれる円盤状の部品に環状かつ放射状に固定されている。図１３において、１２枚のブレードＢＬ１０がディスクＤＳ１０に配置されている。中心位置ＣＴ１０は、エンジンの回転軸に垂直な平面におけるディスクＤＳ１０の中心を示す。カメラの位置は固定され、かつディスクＤＳ１０は方向ＤＲ１０と反対方向に回転する。そのため、カメラは方向ＤＲ１０に相対的に移動する。
【0085】
図１４における３Ｄ形状３Ｄ１４は、３Ｄ再構成装置１に入力された形状情報によって示される。つまり、３Ｄ形状３Ｄ１４は、カメラ位置補正部１０３によって補正されていないカメラ位置を使用することにより復元される。
【0086】
図１５における３Ｄ形状３Ｄ１５は、３Ｄ形状復元部１０４によって生成された形状情報によって示される。つまり、３Ｄ形状３Ｄ１５は、カメラ位置補正部１０３によって補正されたカメラ位置を使用することにより復元される。
【0087】
３Ｄ形状３Ｄ１４は、方向ＤＲ１０に沿って徐々に細くかつ短くなる。一方、方向ＤＲ１０における３Ｄ形状３Ｄ１５の長さおよび太さの変化は大きく抑制される。
【0088】
本発明の各態様の３次元再構成方法は、情報取得ステップ、サイズ取得ステップ、補正係数算出ステップ、カメラ位置補正ステップ、および３次元形状復元ステップを有する。情報取得部１００は、情報取得ステップ（ステップＳ１００）において、位置姿勢情報および２Ｄ座標情報を取得する。サイズ取得部１０１は、サイズ取得ステップ（ステップＳ１０１）において、カメラの２つ以上の位置の各々における被写体の３次元のサイズを取得する。補正係数算出部１０２は、補正係数算出ステップ（ステップＳ１０２）において、カメラの２つ以上の位置の各々におけるサイズを既知のサイズと一致させるための補正係数を算出する。カメラ位置補正部１０３は、カメラ位置補正ステップ（ステップＳ１０３）において、補正係数を使用することによりカメラの２つ以上の位置の各々を補正する。３Ｄ形状復元部１０４は、３次元形状復元ステップ（ステップＳ１０４）において、補正された２つ以上の位置と、その２つ以上の位置の各々におけるカメラの姿勢と、２Ｄ座標情報とを使用することにより被写体の３Ｄ形状を復元する。
【0089】
本発明の各態様は、以下の変形例を含んでもよい。サイズ取得部１０１は、位置姿勢情報を使用することにより、カメラの２つ以上の位置の各々における被写体の３次元のサイズを算出する。
【0090】
本発明の各態様は、以下の変形例を含んでもよい。情報取得部１００は、被写体の３Ｄ形状を示す形状情報を取得する。サイズ取得部１０１は、カメラの２つ以上の位置の各々においてカメラの視野に入る被写体の形状情報が示す３Ｄ形状のデプスを被写体のサイズとして算出する。
【0091】
本発明の各態様は、以下の変形例を含んでもよい。サイズ取得部１０１は、カメラの２つ以上の位置に含まれる２つの位置の距離に基づいて被写体のサイズを算出する。
【0092】
本発明の各態様は、以下の変形例を含んでもよい。サイズ取得部１０１は、入力装置２に入力されたサイズを入力装置２から取得する。
【0093】
本発明の各態様は、以下の変形例を含んでもよい。補正係数算出部１０２は、カメラの２つ以上の位置の各々における被写体のサイズと、被写体のサイズの目標値とを使用することにより補正係数を算出する。
【0094】
本発明の各態様は、以下の変形例を含んでもよい。補正係数算出部１０２は、カメラの２つ以上の位置の各々における被写体のサイズに関する値をその２つ以上の位置の間で平滑化する。補正係数算出部１０２は、平滑化された値を使用することにより補正係数を算出する。
【0095】
第１の実施形態において、補正係数算出部１０２は、被写体の３Ｄ形状におけるサイズを既知のサイズと一致させるための補正係数を算出する。カメラ位置補正部１０３は、補正係数を使用することにより２つ以上のカメラ位置の各々を補正する。３Ｄ形状復元部１０４は、補正された２つ以上のカメラ位置と各カメラ位置におけるカメラの姿勢とを使用することにより被写体の３Ｄ形状を復元する。これにより、３Ｄ再構成装置１は、被写体の３Ｄ形状の誤差を減らすことができる。
【0096】
第１の実施形態では、説明を簡単にするためにスケールドリフトが縮小のみとして発生した例を説明した。しかしながら、拡大や拡縮などが発生し、被写体のサイズが本来のサイズと異なるサイズを持つように３Ｄ再構成が実行された場合に、３Ｄ再構成の結果に対し上記の手法を広く適用できることは言うまでもない。
【0097】
（第２の実施形態）
本発明の第２の実施形態を説明する。図１６は、第２の実施形態の３Ｄ再構成装置１ａの構成を示す。図１６に示す３Ｄ再構成装置１ａは、３Ｄ再構成部１０ａおよび記憶部１１を有する。３Ｄ再構成部１０ａは、情報取得部１００、サイズ取得部１０１、補正係数算出部１０２、カメラ位置補正部１０３、３Ｄ形状復元部１０４、バンドル調整部１０５、および補正区間設定部１０６を有する。図１に示す構成と同じ構成の説明を省略する。
本発明の第２の実施形態を説明する。図１６は、第２の実施形態の３Ｄ再構成装置１ａの構成を示す。図１６に示す３Ｄ再構成装置１ａは、３Ｄ再構成部１０ａおよび記憶部１１を有する。３Ｄ再構成部１０ａは、情報取得部１００、サイズ取得部１０１、補正係数算出部１０２、カメラ位置補正部１０３、３Ｄ形状復元部１０４、バンドル調整部１０５、および補正区間設定部１０６を有する。図１に示す構成と同じ構成の説明を省略する。
【0098】
補正区間設定部１０６は、情報取得部１００によって取得された形状情報が示す被写体の３Ｄ形状上に２つ以上の補正区間を設定する。補正係数算出部１０２は、補正区間ごとに補正係数を算出する。
【0099】
【0100】
ステップＳ１０１の後、補正区間設定部１０６は、被写体の３Ｄ形状上に２つ以上の補正区間を設定する（ステップＳ１１０）。
【0101】
図１８は、被写体の例を示す。図１８に示す被写体ＳＢ２０は異径配管である。異径配管は、異なる径を持つ２つ以上の配管が接続された構造を持つ。被写体ＳＢ２０は、直線部ＳＰ２０、直線部ＳＰ２１、直線部ＳＰ２２、チーズＣＨ２０、およびチーズＣＨ２１を有する。直線部ＳＰ２０および直線部ＳＰ２２の各々の内径はＤ２０である。直線部ＳＰ２１の内径はＤ２１である。内径Ｄ２１は、内径Ｄ２０よりも小さい。チーズＣＨ２０は、直線部ＳＰ２０と直線部ＳＰ２１との間に配置されている。チーズＣＨ２１は、直線部ＳＰ２１と直線部ＳＰ２２との間に配置されている。
【0102】
ユーザーは、入力装置２が有するユーザーインターフェースを経由して基準位置Ｐ２０、基準位置Ｐ２１、基準位置Ｐ２２、および基準位置Ｐ２３を３Ｄ再構成装置１ａに入力する。実際には、被写体ＳＢ２０の形状情報が示す３Ｄ形状上の基準位置がユーザーによって指定される。あるいは、補正区間設定部１０６は、被写体ＳＢ２０の形状情報に基づいて基準位置Ｐ２０、基準位置Ｐ２１、基準位置Ｐ２２、および基準位置Ｐ２３を検出する。
【0103】
補正区間設定部１０６は、基準位置Ｐ２０からＰ２３に基づいて、補正区間ＣＳ２０、補正区間ＣＳ２１、および補正区間ＣＳ２２を設定する。補正区間ＣＳ２０は、基準位置Ｐ２０から基準位置Ｐ２１までの被写体ＳＢ２０の部分を含む。補正区間ＣＳ２１は、基準位置Ｐ２１から基準位置Ｐ２２までの被写体ＳＢ２０の部分を含む。補正区間ＣＳ２２は、基準位置Ｐ２２から基準位置Ｐ２３までの被写体ＳＢ２０の部分を含む。
【0104】
ステップＳ１１０の後、補正係数算出部１０２は、補正区間設定部１０６によって設定された２つ以上の補正区間の各々における被写体のサイズの目標値を設定する（ステップＳ１１１）。
【0105】
ユーザーは、入力装置２が有するユーザーインターフェースを経由して目標値を３Ｄ再構成装置１ａに入力する。あるいは、予め用意された目標値が使用されてもよい。例えば、補正係数算出部１０２は、被写体の３Ｄ形状に基づいて被写体の種類を検出する。被写体の種類ごとに目標値が予め用意されている。補正係数算出部１０２は、検出された種類の目標値を使用する。図１８に示す例では、補正区間ＣＳ２０の目標値および補正区間ＣＳ２２の目標値は同じである。補正区間ＣＳ２１の目標値は、補正区間ＣＳ２０の目標値および補正区間ＣＳ２２の目標値と異なる。
【0106】
ステップＳ１１１の後、ステップＳ１０２が実行される。例えば、補正係数算出部１０２は、ステップＳ１０２において、所定のサイズＳｔとカメラ位置ｉにおけるサイズＳｉとの比（Ｓｔ／Ｓｉ）を算出する。各補正区間の目標値がサイズＳｔとして使用される。補正係数算出部１０２は、第１の実施形態における処理と同様の処理を実行することにより補正係数を算出する。
【0107】
図１９は、３Ｄ再構成装置１ａによって復元された３Ｄ形状の例を示す。図１９に示す被写体ＳＢ２０は、図１８に示す被写体ＳＢ２０と同じである。カメラは、被写体ＳＢ２０の左端から被写体ＳＢ２０の右端に向かって移動する。
【0108】
図１９における３Ｄ形状３Ｄ２０は、３Ｄ再構成装置１ａに入力された形状情報によって示される。つまり、３Ｄ形状３Ｄ２０は、カメラ位置補正部１０３によって補正されていないカメラ位置を使用することにより復元される。
【0109】
図１９における３Ｄ形状３Ｄ２１は、３Ｄ形状復元部１０４によって生成された形状情報によって示される。つまり、３Ｄ形状３Ｄ２１は、カメラ位置補正部１０３によって補正されたカメラ位置を使用することにより復元される。
【0110】
３Ｄ形状３Ｄ２１は、図１７に示す処理を通して復元される。補正係数算出部１０２は、補正区間ごとに設定された目標値をサイズＳｔとして使用することにより補正係数を算出する。
【0111】
３Ｄ形状３Ｄ２０は、左側から右側に向かって徐々に細くかつ短くなる。３Ｄ形状３Ｄ２０における各チーズの位置は、被写体ＳＢ２０の各チーズの位置と大きく異なる。一方、３Ｄ形状３Ｄ２１の長さおよび太さの変化は大きく抑制される。
【0112】
第２の実施形態において、補正区間設定部１０６は、被写体の３Ｄ形状上に２つ以上の補正区間を設定する。補正係数算出部１０２は、補正区間ごとに補正係数を算出する。３Ｄ再構成装置１ａは、異なる大きさを持つ２つ以上の部分を含む被写体の３Ｄ形状の誤差を減らすことができる。
【0113】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【0114】
本発明の各実施形態によれば、３次元再構成装置、３次元再構成方法、およびプログラムは、被写体の３次元形状の誤差を減らすことができる。
【符号の説明】
【0115】
１，１ａ ３Ｄ再構成装置
２ 入力装置
３ 出力装置
１０，１０ａ ３Ｄ再構成部
１１ 記憶部
１００ 情報取得部
１０１ サイズ取得部
１０２ 補正係数算出部
１０３ カメラ位置補正部
１０４ ３Ｄ形状復元部
１０５ バンドル調整部
１０６ 補正区間設定部
２ 入力装置
３ 出力装置
１０，１０ａ ３Ｄ再構成部
１１ 記憶部
１００ 情報取得部
１０１ サイズ取得部
１０２ 補正係数算出部
１０３ カメラ位置補正部
１０４ ３Ｄ形状復元部
１０５ バンドル調整部
１０６ 補正区間設定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】