特許 7242431 三次元計測装置、三次元計測方法および三次元計測用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-10

(45)【発行日】2023-03-20

(54)【発明の名称】三次元計測装置、三次元計測方法および三次元計測用プログラム

(51)【国際特許分類】

   G01B 11/245 20060101AFI20230313BHJP

【ＦＩ】

G01B11/245 H

【請求項の数】 10

(21)【出願番号】P 2019102437

(22)【出願日】2019-05-31

(65)【公開番号】P2020197407

(43)【公開日】2020-12-10

【審査請求日】2022-02-09

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「大規模画像からＰＥを計測する技術の開発およびＰＥ値のモデル化」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】596175810

【氏名又は名称】公益財団法人かずさＤＮＡ研究所

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】林 篤司

(72)【発明者】

【氏名】高地 伸夫

(72)【発明者】

【氏名】七夕 高也

(72)【発明者】

【氏名】磯部 祥子

【審査官】國田 正久

(56)【参考文献】

【文献】特開２０１８－１９７６８５（ＪＰ，Ａ）

【文献】特開２０１０－１１３３９８（ＪＰ，Ａ）

【文献】特開２０１７－３５３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／２４５

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ２３／６９５

(57)【特許請求の範囲】

【請求項1】

計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択部と、
前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部と
を有し、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測装置。

【請求項2】

計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択部と、
前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部と
を有し、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択されるカメラ位置が重複しない三次元計測装置。

【請求項3】

前記カメラ位置選択部では、
前記計測対象物から見た角度位置が３６０°／Ｎ（Ｎは３以上の自然数）の位置にあるＮ箇所のカメラ位置を選択する１回目の選択と、
前記１回目に選択されたＮ箇所のカメラ位置に対して、前記計測対象物から見た角度位置が１８０°／Ｎずれた位置から、Ｎ箇所のカメラ位置を選択する２回目の選択と
が行なわれる請求項１または２に記載の三次元計測装置。

【請求項4】

前記ランダムドット模様は、前記計測対象物が載せられた台に固定され、前記台から上方向に延在する長手部材の表面に形成されている請求項１～３のいずれか一項に記載の三次元計測装置。

【請求項5】

前記長手部材の高さ方向の寸法は、前記台の上に載せられる前記計測対象物の高さ方向の寸法よりも大きい請求項４に記載の三次元計測装置。

【請求項6】

前記台は、回転可能な請求項４または５に記載の三次元計測装置。

【請求項7】

前記カメラに対して、前記台を回転させながら、前記カメラによる前記計測対象物の撮影が行われることで、前記計測対象物および前記ランダムドット模様を周囲の複数の視点から撮影した複数の画像データが得られ、
前記計測対象物を囲む３つ以上の位置を頂点とする多角形の中に前記計測対象物の回転中心が位置する請求項６に記載の三次元計測装置。

【請求項8】

計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択ステップと、
前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップと
を有し、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測方法。

【請求項9】

コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、
前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択ステップと、
前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、
前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップと
を実行させ、
前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測用プログラム。

【請求項10】

前記カメラ位置選択部は、前記計測対象物を囲む３箇所以上のカメラ位置の１回目の選択と、前記計測対象物を囲む３箇所以上のカメラ位置の２回目の選択とを行い、
前記カメラの位置算出部は、
前記１回目に選択されたカメラ位置の算出と、
該算出において得られた前記カメラ位置を初期値とした前記２回目に選択されたカメラ位置の算出と
を行う請求項１または２に記載の三次元計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を用いた三次元計測の技術に関する。

【背景技術】

【0002】

画像を用いて植物の三次元形状に係るデータを取得し、その成長過程を三次元的に把握する技術が知られている。例えば、特許文献１には、計測対象物である植物を回転させながら植物の写真撮影を行い、得られた複数の撮影画像から被写体（植物）の三次元モデルを得る技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１９７６８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像を用いた三次元計測においては、異なる視点から得た複数の画像間のマッチング（対応関係の特定）が重要となる。図１（Ａ）には、回転台に載せた計測対象物（この場合は花）を回転させながらカメラで撮影を行い、計測対象物の三次元計測を行う場合が示されている。この場合、回転台（計測対象物）に固定された座標で考えて、計測対象物が周囲の複数の位置から撮影された状態となる。この技術では、後方交会法により、各カメラ位置が計算により特定され、また前方交会法により計測対象物各部の三次元位置が計算される。

【0005】

理想的には、図１（Ｂ）に示すように、回転台に対するおける各カメラの相対位置は、円周上に分布する。しかしながら、実際には図２に示すように計算開始時のカメラ位置(1)と最後に計算されたカメラ位置(16)との間にズレが生じる。これは、カメラ位置の計算が(1)→(2)→(3)→(4)→・・・と順に行なわれる過程で、誤差が徐々に累積するからである。

【0006】

このズレは、カメラ位置の計算の後にバンドル調整計算を行うことで是正される。しかしながらが、図２に示すような誤差が大きくなった段階でのバンドル調整計算は、プロセッサへの負荷が大きく、また計算が収束しない場合もある。

【0007】

このような背景において、本発明は、計測対象物を周囲の複数の視点から撮影することで当該計測対象物の三次元写真計測を行う技術において、カメラ位置の算出精度の低下を抑える技術の提供を目的とする。

【課題を解決するための手段】

【0008】

本発明は、計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択部と、前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部とを有し、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測装置である。

【0009】

また本発明は、計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付部と、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択部と、前記カメラ位置選択部が選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択部と、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出部とを有し、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択されるカメラ位置が重複しない三次元計測装置である。

【0010】

本発明において、前記カメラ位置選択部では、前記計測対象物から見た角度位置が３６０°／Ｎ（Ｎは３以上の自然数）の位置にあるＮ箇所のカメラ位置を選択する１回目の選択と、前記１回目に選択されたＮ箇所のカメラ位置に対して、前記計測対象物から見た角度位置が１８０°／Ｎずれた位置から、Ｎ箇所のカメラ位置を選択する２回目の選択とが行なわれる態様が挙げられる。

【0011】

本発明において、前記ランダムドット模様は、前記計測対象物が載せられた台に固定され、前記台から上方向に延在する長手部材の表面に形成されている態様が挙げられる。この態様において、前記長手部材の高さ方向の寸法は、前記台の上に載せられる前記計測対象物の高さ方向の寸法よりも大きいことは好ましい。また、前記台は、回転可能である態様が挙げられる。

【0012】

本発明において、前記カメラに対して、前記台を回転させながら、前記カメラによる前記計測対象物の撮影が行われることで、前記計測対象物および前記ランダムドット模様を周囲の複数の視点から撮影した複数の画像データが得られ、前記計測対象物を囲む３つ以上の位置を頂点とする多角形の中に前記計測対象物の回転中心が位置する態様が挙げられる。

【0013】

本発明は、計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択ステップと、前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップとを有し、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測方法として把握することもできる。

【0014】

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに計測対象物およびランダムドット模様を周囲の複数の視点からカメラで撮影することで得た複数の画像データを受け付ける画像データ受付ステップと、前記複数の画像を撮影した複数の前記カメラの位置の中から、前記計測対象物を囲む３箇所以上のカメラ位置を選択するカメラ位置選択ステップと、前記カメラ位置選択ステップで選択したカメラ位置から撮影した画像の中からステレオ画像を選択するステレオ画像選択ステップと、前記ステレオ画像を用いた交会法により、前記ステレオ画像を撮影したカメラの位置を算出するカメラの位置算出ステップとを実行させ、前記カメラ位置の選択は、複数回行なわれ、異なる選択時において、選択される少なくとも一部のカメラ位置が重複しない三次元計測用プログラムとして把握することもできる。

【発明の効果】

【0015】

本発明によれば、計測対象物を周囲の複数の視点から撮影することで当該計測対象物の三次元写真計測を行う技術において、カメラ位置の算出精度の低下を抑える技術が得られる。

【図面の簡単な説明】

【0016】

【図1】三次元計測の原理を説明する原理図（Ａ）および（Ｂ）である。

【図2】誤差が生じる原理を説明する原理図である。

【図3】発明の一例の原理図である。

【図4】発明の一例の原理図である。

【図5】発明の一例の原理図である。

【図6】発明の一例の原理図である。

【図7】実施形態の概念図である。

【図8】実施形態の三次元計測装置のブロック図である。

【図9】後方交会法の原理を示す原理図（Ａ）と前方交会法の原理を示す原理図（Ｂ）である。

【図10】処理の手順の一例を示すフローチャートである。

【図11】処理の手順の一例を示すフローチャートである。

【図12】上下方向におけるカメラ位置を示す図。

【発明を実施するための形態】

【0017】

１．原理
図１に本発明の基本的な原理を示す。図１（Ａ）には、固定したカメラに対して回転台を回転させつつ、計測対象物（この場合は花）をカメラで撮影し、ステレオ写真測量の原理で計測対象物の三次元計測を行う場合が示されている。ここで、回転台に固定した座標系で考えると、回転台に対するカメラ位置（視点の位置）は、図１（Ｂ）に示すように回転台の回転中心を中心とする円周上に分布する。なお、図１（Ｂ）は、回転台の回転軸に沿った上の方向から回転台を見た視点で描かれている。これは、図２～図６も同じである。

【0018】

ここで、交会法を用いて、(1)→(2)→(3)→・・・とカメラ位置の計算を行なった場合、計算が繰り返されるにつれて、誤差が累積し、図２に示すように算出されるカメラ位置が実際の位置からずれてゆく。

【0019】

このズレの累積を避けるために、本発明では、図３に一例を示す方法を採用する。この方法では、例えば回転台を囲む９０°間隔の等角な４箇所の位置(1)，(9)，(17)，(25)から撮影した４枚の画像を用いて、これら４箇所におけるカメラ位置を算出する。

【0020】

カメラ位置の算出は、ステレオ画像の選択、ステレオ画像中からの特徴点の抽出およびターゲットの検出、特徴点およびターゲットを用いたカメラ位置（視点の位置）を含めた三次元位置関係（三次元モデル）の作成（相互標定）、既知の寸法や既知のターゲット位置を利用した前記三次元モデルへのスケールの付与（絶対標定）によって行われる。

【0021】

ステレオ画像は、(1)と(9)、(9)と(17)、(17)と(25)というように隣接する角度位置で９０°離れた２点のカメラ位置から撮影した組が選択される。４箇所の位置(1)，(9)，(17)，(25)のカメラ位置の算出後にバンドル調整計算を行ない、誤差を最小化する。

【0022】

図３に示す４箇所のカメラ位置の算出の後、図４に進む。図４では、その前の図３の段階で位置が求められている(1)，(9)，(17)，(25)のカメラ位置に加えて、これらカメラ位置から４５°回転した４箇所のカメラ位置(5)，(13)，(21)，(29)を加えた８点から撮影した８枚の画像を用いて図３の場合と同様の処理を行う。

【0023】

この際、先に求めた図３の(1)，(9)，(17)，(25)の４箇所のカメラ位置が初期値（拘束点と捉えることもできる）となり、新たなカメラ位置(5)，(13)，(21)，(29)が算出される。この際、図５の(1)，(9)，(17)，(25)のカメラ位置は初期値であるが、決定した値ではなく、これらのカメラ位置は、新たなカメラ位置を含めて全体が最適化されるように再計算される。こうして、回転台を中心とした円周上の等間隔（４５°間隔）な８点で回転台に対するカメラ位置を求める。この段階でも再度のバンドル計算を行ない、誤差を最小化する。

【0024】

図４のカメラ位置を求めた後、(5)，(13)，(21)，(29)のカメラ位置を２２．５°回転させ、同様な処理を行う。こうして、１２箇所のカメラ位置が求まる。この処理を全てのカメラ位置が求まるまで繰り返す。図３および図４に示す方法では、計算に誤差が生じてもそれが累積されず、あるいは生じても僅かである。よって、図２のように、計算を進めてゆくに従って徐々に誤差が増大する問題が抑制される。

【0025】

この方法では、最初にすべてのカメラ位置を４方向⇒８方向⇒・・・と徐々に密に求めていく。その際、同時に疎なステレオマッチングによる対応点も求まる。また、このときに誤差最小化（バンドル調整）も行う。

【0026】

結果的に全画像を使ってカメラ位置を求めてゆくが、初期値に基線の長い画像（この例では、角度位置で９０°異なる位置）を使い、かつ全体を閉ループにしているので精度がよい。またそれぞれの段階のバンドル調整を初期値にしてかけているので、収束が遅くなったり破綻したりすることがない（正解している初期値があるので収束が早い）。

【0027】

計測対象物の点群は、カメラ位置を求めた後で、再度隣接のステレオマッチングにより、密な三次元点群を求める。そのときに、カメラ位置の特定時に求めた疎な点群も利用する。ここではすでにカメラ位置を求めているため、バンドル調整は行わない（勿論、行ってもよい）。なお、バンドル調整のかわりにＩＣＰ法で位置合わせを行う形態も可能である。

【0028】

回転台（計測対象物）を囲む複数のカメラ位置の数は、３以上が必要である。回転台を「囲む位置」とは、回転台の回転軸の方向（鉛直上方）から見て、３点以上のカメラ位置（視点の位置）を頂点とする多角形を形成した場合に、回転台の回転中心が当該多角形の内部に位置する状態として定義される。

【0029】

図３および図４の手法でのＭ回目におけるずらす角度θは、Ｎを３カ所以上の等角な角度位置の数とした場合に、θ＝（３６０°／（Ｎ×（Ｍ＋１））で与えられる。例えば、図４の場合は、Ｍ＝１，Ｎ＝４であるので、θ＝４５°となる。なお、θの値は厳格なものではなく、上記の数式で求められる位置にカメラがない場合（撮影タイミングによっては、その可能性が有り得る）は、近くのカメラ位置を選択すればよい。

【0030】

図３および図４の手法におけるカメラ位置の選択は、回転台の角度位置と撮影タイミングのデータに基づき行われる。回転台の角度位置は、回転台の回転を検出するロータリーエンコーダ等のセンサから得られ、撮影タイミングは、カメラの撮影タイミングを制御する制御信号の出力タイミングを記憶したログデータから得られる。

【0031】

ステレオ画像を構成する異なるカメラ位置から撮影した画像としては、２つのカメラ位置から撮影した２枚の画像を用いる場合が基本であるが、異なる３以上の視点から撮影した３枚以上の画像を用いることも可能である。要求されるカメラの角度位置と実際のカメラ位置がずれている場合は、要求されるカメラ位置に最も近い実際のカメラ位置が採用される。

【0032】

２．全体の構成
図７には、植物１２０の三次元データを得るための三次元計測システム１００が示されている。三次元計測システム１００は、土台１１１、土台上でモータ等の駆動手段により回転する回転台１１２を備えている。回転台１１２には、三次元計測の計測対象物である植物１２２が載せられている。

【0033】

土台１１１、回転台１１２および三次元計測システム１００の背景は、植物１２０の色とは異なる色（この例では青）に着色されている。この色は、植物１２０と色彩が違うモノトーンの色が望ましい。例えば、植物１２０が緑系の色の場合、青、黄色、黒、白といった植物１２０と異なるモノトーンの色が選択される。物１２０は、鉢１２４に植えられており、鉢１２４には、識別用の２次元バーコード表示１２５が表示されている。

【0034】

土台１１１および回転台１１２の各部の寸法は予め既知のデータとして取得されている。回転台１１２の上面には、基準点となるターゲット１１３の表示が行なわれている。ターゲット１１３は、３箇所以上の複数が配置されている。ターゲット１１３は、２次元コードが付されたコード化ターゲットであり、それぞれが個別に識別可能とされている。また、各ターゲットの回転台１１２における位置は予め調べられ、既知となっている。

【0035】

回転台１１２の上面には、画像マッチング用の識別部材であるランダムドット柱１２１～１２３が固定されている。ランダムドット柱１２１～１２３は、長手形状を有する板状の部材であり、回転台１１２から鉛直上方に延在し、表面にランダムドットパターンが表示されている。ランダムドット柱１２１～１２３の表面には、ランダムドットパターンの他に、識別コードが表示されており、各識別コードは個別に識別できるようにされている。ランダムドット柱として、円柱や多角柱（例えば、四角柱や五角柱）を用いることもできる。

【0036】

ランダムドット柱の数を４本以上としてもよい。ただし、ランダムドット柱は、カメラ１３１～１３３と計測対象物である植物１２２との間に位置するので、その数が多すぎると、カメラ１３１～１３３による植物１２２の撮影に支障が生じる。

【0037】

ランダムドット柱１２１～１２３の回転台１１２に対する位置関係は既知であり、またランダムドット柱１２１～１２３の寸法（幅、長さ、厚さ）も既知である。ランダムドット柱１２１～１２３の寸法は既知であるので、ランダムドット柱１２１～１２３はスケールとしても利用される。回転台１１２上に定規を配置する方法や回転台１１２上にスケールを表示する形態も可能である。なお、計測対象物である植物１２０の上端より上方にランダムドット柱１２１～１２３の先端が位置するように、ランダムドット柱１２１～１２３の長手方向の寸法が（鉛直方向の寸法）が設定されている。また、上方から見て、ランダムドット柱１２１～１２３により計測対象物（植物１２０）が囲まれるように、ランダムドット柱１２１～１２３が配置されている。これは、ランダムドット柱の数を増やした場合も同様である。

【0038】

ランダムドットパターンは、丸形状のドットが規則性なくランダムに分布しているドットパターンである。ランダムドットパターンに関する技術は、例えば、特開平１１－３９５０５号公報、特開平１０－９７６４１号公報、電子情報通信学会研究報告．ＣＯＭＰ，コンビュテーション１１２（２４），５１－５８，２０１２－０５－０７等に記載されている。ランダムドットパターンの色は、モノトーンであってもよいし、多色であってもよい。この例では、白の下地に黒のランダムドットパターンを表示している。

【0039】

回転台１１２の周囲には、カメラ１３１～１３３が配置されている。カメラ１３１～１３３は、土台１１１に対して固定されており、回転する回転台１１２およびその上の植物１２０を特定の時間間隔で繰り返し撮影する。カメラの数は、少なくとも１台あればよいが、複数を配置し、植物１２０に対してなるべく死角が生じないようにその数と位置を設定することが望ましい。カメラ１３１～１３３は、デジタルカメラであり、撮影した画像のデータ（画像データ）は、三次元計測装置２００に送られる。

【0040】

回転台１１２を回転させながら、土台１１１に固定されたカメラ１３１～１３３から、植物１２０を連続して撮影する。これにより、植物１２０を周囲の多数のカメラ位置（視点）から撮影した多数の画像が得られる。この際、隣接するカメラ位置からの画像で撮影範囲が一部重複するようにする。

【0041】

上記の撮影を行った場合、計測対象物である植物１２０を周囲から撮影した複数の撮影画像が得られる。ここで、隣接する視点（カメラ位置）から撮影した画像が一部重複するようにする。例えば、回転台１１２が１回転する間に植物１２０に向けた１台のカメラから７２枚の撮影を行う場合を考える。この場合、回転台１１２に固定された座標系で考えると、回転台１１２の回転中心を中心とする円周上で、３６０°／７２＝５°刻みに視点の位置（カメラ位置）を少しずつずらして撮影した７２枚の画像が得られる。

【0042】

３．三次元計測装置
計測対象物である植物１２０の三次元モデルの作成は、公知の三次元写真測量の原理に基づき行われる。三次元計測装置２００は、汎用のＰＣ（パーソナルコンピュータ）を利用して構成されている。三次元計測装置２００は、カメラ１３１～１３３が撮影した画像のデータに基づき、植物１２０の三次元モデルを作成する。また、三次元計測装置２００は、モータ駆動装置１４０に制御信号を送り、回転台１１２の回転制御を行う。また、三次元計測装置２００は、カメラ１３１～１３３の撮影タイミングの制御を行う。

【0043】

三次元計測装置２００は、ＣＰＵ、メモリデバイス、各種のインターフェースを備えたコンピュータであり、汎用あるいは専用のハードウェアによって構成することができる。三次元計測装置２００を構成する汎用のハードウェアとしては、ＰＣ以外にＷＳ（ワークステーション）が挙げられる。これらコンピュータに三次元計測装置２００の機能を実現する動作プログラムをインストールし、後述する各機能部の機能をソフトウェア的に実現する。

【0044】

なお、三次元計測装置２００の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。

【0045】

例えば、図示する各機能部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に代表されるＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などの電子回路やプロセッサにより構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。

【0046】

また、三次元計測装置２００の機能をサーバで実行し、該サーバにインターネットを介して接続したＰＣ、タブレット、スマートフォン等を操作インターフェース端末として利用する形態も可能である。

【0047】

三次元計測装置２００は、画像データ受付部２１０、カメラ位置選択部２２０、ステレオ画像選択部２２１、ターゲット検出部２４０、外部標定要素算出部２４５、特徴点抽出部２５０、対応点特定部２６０、三次元座標算出部２７０、三次元モデル作成部２８０、記憶部２９０、回転制御部２９５、撮影タイミング制御部２９６、バンドル調整計算部２９７を備える。また、三次元計測装置２００は、外部の機器との間でデータのやり取りを行うインターフェース機能、操作者による操作を受け付けるユーザインターフェース機能を有する。これらは、利用するＰＣのインターフェースを用いている。

【0048】

画像データ受付部２１０は、カメラ１３１～１３３が撮影した画像のデータ（画像データ）を受け付け、それを三次元計測装置１００の内部に取り込む。

【0049】

カメラ位置選択部２２０は、図５に例示するような、交会法により計算されるカメラ位置の候補を選択する。カメラ位置の選択時は、交会法によるカメラ位置の計算前の状態であり、正確なカメラ位置の座標は不明である。しかしながら、回転台１１２の回転制御とカメラ１３１～１３３の撮影タイミングの制御の内容から、回転台１１２に対するカメラ１３１～１３３の大凡の位置が特定でき、またそこで撮影された画像は選択できる。この処理がカメラ位置選択部２２０で行われる。

【0050】

例えば、回転台１１２の回転位置は、ロータリーエンコーダ―等により検出されるので、時間軸上における回転台１１２の回転位置を知ることができる。この情報と撮影時刻のデータとから、撮影時のカメラ位置を知ることができる。例えば、(1)のカメラ位置と(9)のカメラ位置を特定できる。ただし、このカメラ位置は概略の位置であり、その精度は三次元写真測量に利用できるレベルにはない。

【0051】

ステレオ画像選択部２２１は、異なる視点から重複する場所を撮影した２枚以上の画像をステレオ画像として選択する。例えば、図５の(1)と(5)の位置から回転台１１２を撮影した画像や図６の(1)と(17)とから回転台およびその上の植物１２０を撮影した画像がステレオ画像として選択される。ステレオ画像は、基本２枚一組であるが、３枚以上を１組としてステレオ画像を構成することもできる。なお、画像には、少なくとも回転台１１２、計測対象物である植物１２０およびランダムドット柱１２１～１２３の少なくとも１本が写っている必要がある。

【0052】

ターゲット検出部２４０は、カメラ１３１～１３３が撮影した画像に写ったターゲット１１３を検出する。予めターゲット１１３の画像は取得されており、それをリファレンスとして撮影画像中からターゲット１１３の抽出が行なわれる。ターゲット１１３は識別でき、また回転台１１２における位置は既知なので、ターゲット検出部２４０により、複数あるターゲット１１３それぞれの位置が検出される。

【0053】

外部標定要素算出部２４５は、撮影画像中の特徴点（特徴点抽出部２５０が抽出した特徴点）を利用して、図７のカメラ１３１～１３３の外部標定要素（位置と姿勢）を後方交会法により算出する。図９（Ａ）には、後方交会法の原理が示されている。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。交会法については、基礎測量学（電気書院：２０１０／４発行）ｐ １８２，ｐ１８４に記載されている。また、特開２０１３－１８６８１６号公報には交会法に関して具体的な計算方法の例が示されている。

【0054】

以下、具体的な計算の一例を説明する。ここでは、回転台１１２を回転させ、３０°回転する前と後の異なる２つのタイミングでカメラ１３２による回転台１１２の撮影を行うとする。３０°の回転の制御は、回転制御部２９５で行われ、撮影タイミングの制御は、撮影タイミング制御部２９６で行われる。なお、この例では、定速で回転を継続し、上方から見て３０°異なる角度位置で撮影が行われるように、回転台１１２の回転とカメラ１３２の撮影のタイミングが制御される。

【0055】

この場合、回転台１１２に固定した座標系で考えると、図５の位置(1)と(3)から撮影した撮影画像が得られる。この２枚の撮影画像をステレオ画像とし、そこからの特徴点の抽出、抽出した特徴点の当該ステレオ画像間でのマッチング（対応関係の特定）を行う。特徴点の抽出は、特徴点抽出部２５０で行われ、対応点の特定は対応点特定部２６０で行われる。

【0056】

図５のカメラ位置(1)と(3)から撮影した上記ステレオ画像間での特徴点の対応関係を特定したら、図９（Ａ）の後方交会法を用いてカメラ位置(1)と(3)の位置を算出する。ここでカメラ位置は、回転台１１２の回転中心を原点とし、回転台１１２に固定されたローカル座標系で記述される。

【0057】

例えば、以下のような方法により、図５のカメラ位置(1)と(3)におけるカメラの外部標定要素（姿勢と位置）が求められる。まず、回転台１１２の上面は平面であり、そこから取得される特徴点は当該平面上に位置している。また、ランダムドット柱１２１～１２３表面のランダムドットは鉛直面上に分布している。この拘束条件から、相互標定により、相対三次元モデルにおけるカメラ位置(1)と(3)における位置と姿勢が求まる。

【0058】

例えば、ステレオ画像で対応するランダムドット柱１２１～１２３のドットから得た特徴点の中から、図９（Ａ）のＰ_１，Ｐ_２，Ｐ_３を選択する。ここで、Ｐ_１，Ｐ_２，Ｐ_３は鉛直面上に分布するという拘束条件が課せられる。そして、Ｐ_１，Ｐ_２，Ｐ_３の画面中における位置をｐ_１，ｐ_２，ｐ_３とした場合に、Ｐ_１とｐ_１、Ｐ_２とｐ_２、Ｐ_３とｐ_３を結ぶ３つの方向線を設定する。この場合、この３本の方向線の交点Ｏが当該画像を撮影したカメラ１３２の位置（投影中心）となる。また、点Ｏと画面の中心を結ぶ方向線の延長方向がカメラ１３２の光軸方向となり、カメラ１３２の向き（姿勢）が求まる。

【0059】

この段階でＰ_１，Ｐ_２，Ｐ_３の絶対位置関係は未知なので、この場合における図９（Ａ）の三次元モデルは相対三次元モデルとなる。この相対三次元モデルを得る処理が相互標定である。

【0060】

ここで、Ｐ_１とＰ_２がランダムドット柱１２１の上辺の端点であれば、回転台１１２に固定されたローカル座標系におけるそれら端点の座標は既知であるので、上記相対三次元モデルにスケールが与えられる。こうして絶対標定が行なわれ、当該座標系におけるカメラの外部標定要素が判明する。この方法において、複数あるターゲット１１３の位置情報を併用することもできる。

【0061】

また、３つ以上のターゲット１１３の位置情報から各カメラ位置におけるカメラの外部標定要素を求めることもできる。例えば、図５の(1)位置から３つのターゲット１１３が見えているとする。この場合、Ｐ_１，Ｐ_２，Ｐ_３をこれら３つのターゲット１１３の位置とすると、Ｐ_１，Ｐ_２，Ｐ_３の位置は既知なので、点Ｏの座標が求まる。また、点Ｏと画面の中心を結ぶ方向からカメラの姿勢が判明する。こうして、３つのターゲット１１３が見えている(1)の位置におけるカメラの外部標定要素が判る。

【0062】

また、カメラ位置が判れば、図９（Ｂ）の前方交会法により、多数存在する位置が既知でない特徴点の当該座標系（回転台１１２に固定されたローカル座標系）における位置も計算できる。そして、多数の特徴点の位置が判れば、それらの位置に基づく図９（Ａ）の後方交会法によるカメラ位置の算出も行われる。

【0063】

実際には、上述した一連の方法によるカメラ１３１～１３３の外部標定要素の算出のための数式は、多数の特徴点の座標も含めた多数の行列要素を有した計算式となる。この計算式において、未知数が収束するまで繰り返し計算が行なわれることで、カメラ１３１～１３３の外部標定要素が求められる。また、適切なタイミングでバンドル調整計算部２９７によるバンドル調整計算が行なわれ、誤差の最小化が行なわれる。

【0064】

特徴点抽出部２５０は、カメラ１３１～１３３が撮影した画像の中から特徴点を抽出する。特徴点は、周囲から区別できる点であり、例えば、エッジ部分、更には周囲と色彩や明度が異なっている部分等が特徴点として抽出される。特徴点の抽出は、ソフトウェア処理により行われる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタが用いられる。

【0065】

対応点特定部２６０は、異なる視点から撮影した２枚以上の画像中でそれぞれ個別に抽出された特徴点の対応関係を特定する。すなわち、一方の画像中で抽出された特徴点と同じ特徴点を他方の画像中で特定する。この特徴点の対応関係を特定する処理は、例えば、Ｆｅａｔｕｒｅ－Ｂａｓｅｄ（特徴抽出）法としてのＳＩＦＴやＳＵＲＦ、Ｋａｚｅ、……や、Ａｒｅａ‐Ｂａｓｅｄ（面積相関）法としてのテンプレートマッチングを用いて行われる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。対応点の特定は、基本２枚の画像や２つの点群位置データを対象に行われるが、３枚以上の画像や３つ以上の点群位置データを対象として行うこともできる。

【0066】

複数の画像間の対応関係を求める技術については、例えば特開２０１３－１７８６５６号公報や特開２０１４－３５７０２号公報に記載されている技術を利用することができる。なお、特開２０１３－１７８６５６号公報や特開２０１４－３５７０２号公報には、特徴点の抽出に係る技術、特徴点の三次元位置を求める技術についても記載されており、これらの技術は、本願明細書中で説明する技術に利用できる。

【0067】

三次元座標算出部２７０は、特徴点抽出部１５０が画像中から抽出した特徴点の三次元位置を前方交会法により算出する。対象物を構成する多数の特徴点の三次元位置を算出することで、当該対象物を三次元座標が特定された点の集合として把握可能な点群位置データが得られる。更には、この点群位置データに基づき三次元モデルを作成することができる。

【0068】

図９（Ｂ）には、前方交会法の原理が示されている。前方交会法では、異なる複数点（図９（Ｂ）の場合は、Ｏ_１とＯ_２の２点）から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める。

【0069】

図９（Ｂ）には、異なるカメラ位置Ｏ_１とＯ_２から外部標定要素が既知のカメラを用いて重複する領域を撮影した場合が示されている。ここで、一方の画像における未知点Ｐの画面座標がｐ_１であり、他方の画像における未知点Ｐの画面座標がｐ_２である。カメラ位置Ｏ_１とＯ_２は既知であり、またそれらの位置におけるカメラの姿勢も既知であるので、Ｏ_１とｐ_１を結ぶ方向線とＯ_２とｐ_２を結ぶ方向線の交点Ｐの座標が計算できる。

【0070】

三次元モデル作成部２８０は、多数の撮影画像を解析することで得られた三次元点群位置データに基づいて三次元モデルを作成する。例えば、得られた多数の特徴点の三次元座標からなる三次元点群位置データを用いてｔｉｎ（不整三角形網）を作成し、撮影対象物の三次元モデルの作成が行われる。点群位置データに基づいて三次元モデルを作成する技術に関しては、例えば、ＷＯ２０１１／０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４―３５７０２号公報に記載されている。利用する三次元座標系としては、例えば回転台１１２の回転中心の位置を原点としたローカル座標が用いられる。

【0071】

記憶部２９０は、三次元計測装置２００で利用される各種のデータ、動作プログラム、動作の結果得られた各種のデータ等を記憶する。記憶部２９０の他に外部の記憶装置（外付けハードディスク装置やデータ記憶用サーバ等）を用いることも可能である。

【0072】

回転制御部２９５は、回転台１１２を回転させるモータ（図示せず）を駆動するモータ駆動装置１４０（図７参照）に制御信号を送り、モータの動作制御を行う。回転制御部２９５の機能により、回転台１１２の回転のタイミングや回転速度の設定が行われる。回転台１１２の回転は、ロータリーエンコーダにより検出され、この検出値に基づき回転制御部２９５は回転台１１２の回転を制御する。

【0073】

撮影タイミング制御部２９６は、カメラ１３１，１３２，１３３に撮影タイミングを決める制御信号を送り、撮影動作の制御を行う。カメラ１３１，１３２，１３３は、撮影タイミング制御部２９６に制御されて、回転する回転台１１２およびその上に配置された植物１２０の撮影を行う。例えば、回転台１１２を５～１０回転／分の回転速度で回転させ、その際にカメラ１３１，１３２，１３３のそれぞれは、０．１～０．５秒間隔で繰り返し静止画像の撮影を行う。

【0074】

４．処理の一例
以下、回転台１１２上の植物１２０の点群位置データを得、更にこの点群位置データに基づき植物１２０の三次元モデルを作成する処理の一例を説明する。以下の処理は、三次元計測システム１００を用いて行われる。以下に説明する処理を実行するプログラムは、記憶部２９０に記憶され、三次元計測装置２００によって実行される。当該プログラムは、適当な記憶媒体や記憶サーバ等に記憶され、そこから提供される形態も可能である。

【0075】

（撮影）
まず、回転台１１２とランダムドット柱１２１～１２３が写るようにカメラ１３１～１３３の位置と姿勢を設定する。その上で撮影を行う。撮影は、計測対象の植物１２０を載せた回転台１１２を等速で回転させながら、特定の時間間隔でカメラ１３１～１３３により行う。

【0076】

撮影は、例えば、回転台１１２が等速で１回転する間に等時間間隔で７２枚の静止画像が撮影される条件、すなわち５°異なる角度から７２回撮影する条件で行う。この場合、３台のカメラ１３１～１３３から７２枚×３＝２１６枚の画像が撮影される。この画像データは、三次元計測装置２００に送られ、画像データ受付部２１０で受け付けられる。画像データ受付部２１０で受け付けられた画像データは、記憶部２９０に記憶される。回転速度やシャッター間隔は、植物の種類や取得したい点群密度に対応させて任意に設定できる。

【0077】

植物１２０を撮影した画像データを得たら、各撮影画像から背景を除去する処理を行う。この処理については、例えば特開２０１８－１９７６８５号公報に記載されている。

【0078】

こうして、鉛直上方から見て、周囲３６０°を等間隔に７２分割した方向からの３組（７２×３＝２１６枚）の撮影画像が得られる。以下、この２１６枚の画像を基に処理を行う。

【0079】

（カメラ位置の特定）
カメラ位置の特定に係る処理は、カメラ１３１～１３３のそれぞれにおいて行われる。まず、図５に示す手法を用いて等角な角度位置にある複数箇所のカメラ位置を算出する（例えば、図５には１２箇所のカメラ位置を選択した場合が示されている）。

【0080】

ここでは、図５の手法を用いて等角（３０°）な１２箇所の位置にあるカメラ位置を特定する。図１０にこの処理の手順の一例を示す。まず、図５に示す１２箇所のカメラ位置を選択する（ステップＳ１０１）。例えば、上方から見て角度位置が３０°異なる１２箇所のカメラ位置が選択される。この段階でのカメラ位置の選択は、回転台１１２の回転位置とカメラ１３１～１３３の撮影タイミングに基づき行われる。この処理は、図８のカメラ位置選択部２２０で行われる。

【0081】

次に、ステップＳ１０１で選択された位置から撮影した画像の中からステレオ画像を選択する（ステップＳ１０２）。この場合、カメラ位置で考えて、(1)と(3)、(3)と(5)、(5)と(7)・・・・と隣接するカメラ位置がステレオ画像のカメラ位置として選択される。すなわち、カメラ位置(1)と(3)から撮影した２つの画像でステレオ画像を構成し、カメラ位置(3)と(5)から撮影した２つの画像でステレオ画像を構成し、カメラ位置(5)と(7)から撮影した２つの画像でステレオ画像を構成し、・・・とした複数の組のステレオ画像が選択される。この処理は、図８のステレオ画像選択部２２１で行われる。

【0082】

次に、選択されたステレオ画像からの特徴点の抽出（ステップＳ１０３）を行う。この処理は、特徴点抽出部２５０で行われる。ここで抽出される特徴点には、植物１２０、回転台１１２およびランダムドット柱１２１～１２３の特徴点が含まれる。次に、ステレオ画像間における特徴点の対応関係の特定（ステレオマッチング）を行う（ステップＳ１０４）。また、ステレオ画像間における共通に写っているターゲット１１３の検出を行う(ステップＳ１０５)。

【0083】

次に、対応関係を特定した特徴点を用いた後方交会法により、ステップＳ１０１で選択したカメラと特徴点の相対位置関係を算出する相互標定を行う（Ｓ１０６）。またこの際、同時にステレオ画像に写った対応点とカメラ位置の相対位置関係が前方交会法を用いて特定される。

【0084】

次に、ステップＳ１０６で求められた相対位置関係に特徴点から得られるスケールやターゲット１１３の位置から実寸法が与えられ、絶対標定が行なわれる（ステップＳ１０７）。この処理により、カメラの外部標定要素（位置と姿勢）とステップＳ１０４で対応関係が特定された特徴点の位置が求まる。最後にバンドル調整計算を行ない誤差の最小化を行う（ステップＳ１０８）。

【0085】

Ｓ１０６～Ｓ１０８の処理は、図８の外部標定要素算出部２４５、三次元座標算出部２７０およびバンドル調整計算部２９７で行なわれる。以上の処理により、カメラ位置が算出される。例えば、図５の(1)，(3)，(5)，(7)・・・・(23)におけるカメラの位置が算出される。以上の処理は、カメラ１３１～１３３のそれぞれにおいて行われる。

【0086】

以上の処理を繰り返すことで、徐々にカメラ位置を増やしながらのカメラ位置の算出が全ての画像を対象として行われる。

【0087】

例えば、図５に係るＳ１０１～Ｓ１０６の処理が行なった後、図６に示すように、新たな１２箇所のカメラ位置に関してＳ１０１～１０６の処理を繰り返す。この場合、新たに求めるカメラ位置が図６に示す(2)，(4)，(6)，(8)，(10)・・・・(24)であり、既に求められているカメラ位置が図５に示す(1)，(3)，(5)，(7)・・・(23)である。この場合、図５に示す(1)，(3)，(5)，(7)・・・(23)のカメラ位置を初期値として、新たなカメラ位置(2)，(4)，(6)，(8)，(10)・・・・(24)が計算される。この際、初期値として扱われるカメラ位置(1)，(3)，(5)，(7)・・・(23)は再計算される。

【0088】

上記の処理では、既に求められているカメラ位置を初期値として、その時点で対象となっている全てのカメラ位置の計算を行う。この計算は、カメラ位置を増やしながら最終的に全ての画像が対象となるように、繰り返し行われる。こうして、全ての画像におけるカメラ位置を算出する。

【0089】

例えば、回転台上に設置された計測対象物を等角な周囲７２箇所のカメラ位置から撮影する場合を考える。この場合、図５および図６に示す処理を６回繰り返し、７２枚全ての画像のカメラ位置を求める。具体的には、３０°間隔の１２箇所のカメラ位置を求める処理を１回目から２回目への移行時に１５°ずらし、２回目から３回目への移行時に-１０°ずらし、３回目から４回目への移行時に １５° ずらし、４回目から５回目への移行時に -１０°ずらし、５回目から６回目への移行時に １５° ずらし、と６回に分けて行う。 こうして、１２×６＝７２枚の画像すべてにおけるカメラ位置を求める。なお、計測対象物に対する複数のカメラ位置は必ずしも等角な角度位置である必要はない。

【0090】

（計測対象物の三次元計測）
全ての画像における回転台１１２に対するカメラ位置を求めたら、今度は隣接するカメラ位置でステレオ画像を構成し、当該ステレオ画像から抽出される特徴点の三次元座標位置を算出する。この際、図１０の処理で求めた粗な点群の位置データも利用される。図１１は、この処理のフローチャートの一例である。

【0091】

処理が開始されると、隣接または近接する視点位置（カメラ位置）から植物１２０を隣接するカメラ位置から撮影した２枚の画像をステレオ画像として選択する（ステップＳ２０１）。選択の候補となる画像は、カメラ１３１～１３３が撮影した合計２１６枚の画像である。この処理は、ステレオ画像選択部２２１で行われる。選択する２枚の画像は、異なるカメラが撮影したものであってもよい。なお、重複した対象を撮影した３枚状以上の画像をステレオ画像として選択することもできる。

【0092】

次に、ステップＳ２０１で選択したステレオ画像からの特徴点の抽出を行う（ステップＳ２０２）。この処理は、図８の特徴点抽出部２５０で行われる。ステレオ画像からの特徴点の抽出を行ったら、それら特徴点のステレオ画像間での対応関係の特定を行う（ステップＳ２０３）。この処理は、図８の対応点特定部２６０で行われる。また、ステレオ画像中からのターゲット１１３の検出を行う（ステップＳ２０４）。この処理はターゲット検出部２４０で行われる。ターゲットの検出はステップＳ２０２～Ｓ２０５の間で行えばよい。

【0093】

次に、ステップＳ２０３でステレオ画像間での対応関係が特定された特徴点の三次元位置の算出を行う（ステップＳ２０５）。この際、図１０の処理で位置を特定した特徴点を初期値として用いる。この処理は、三次元座標算出部２７０で行われる。特徴点の三次元位置は、回転台１１２に固定された座標系での座標として算出される。この位置が特定された特徴点が三次元点群となり、植物１２０の点群位置データが得られる。

【0094】

次に、ステップＳ２０１の前段階に戻り、ステップＳ２０１以下の処理が繰り返される。

【0095】

例えば、カメラ位置(1)と(2)が隣接し、(2)と(3)が隣接しているとする。この場合において、前回のステップＳ２０１以下の処理において、図６のカメラ位置(1)と(2)から撮影した画像がステレオ画像として選択されたとする（ここで(1)と(2)は隣接しているとする）。この場合、次のフローのステップＳ２０１以下の処理では、図４のカメラ位置(2)と(3)が選択される（ここで(2)と(3)は隣接しているとする）。

【0096】

こうして、新たな組み合わせのステレオ画像が選択されると、その段階で未知の対応点（ステレオ画像を構成する画像の中で共通する対応する未知な特徴点）が抽出され、その位置が算出される。この処理を繰り返すことで、更に利用する全ての画像から順次選択されたステレオ画像中で共通する特徴点の三次元位置の算出が行われる。こうして、三次元計測の対象である植物１２０を、三次元座標が判明した点の集合として捉えた点群位置データが得られる。

【0097】

植物１２０の点群位置データ得たら、それに基づき植物１２０の三次元モデルを作成する。この処理は、既知の処理であるので説明は省略する。三次元モデルの作成については、例えば、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２－２３０５９４号公報、特開２０１４－３５７０２号公報等に記載されている。

【0098】

（むすび）
本実施形態では、最初にすべてのカメラ位置を１２方向⇒２４方向⇒・・・と徐々にカメラ位置の数を増やしながら、その都度選択される各３０°の角度位置にある１２箇所のカメラ位置の組を順次求める。この際、選択するカメラ位置が閉ループで閉じており、それを徐々にずらしながら、計算を繰り返し、最終的に全画像に係るカメラ位置を求める。

【0099】

この方法では、誤差の累積の問題を回避できる。また、初期値に図５のカメラ位置(1)と(2)というような基線の長いステレオ画像を使い、かつ全体を閉ループにしているので精度が良い。また、それぞれの段階でのバンドル調整計算の結果を次の段階における初期値にしているので、収束が遅くなったり破綻したりすることがない。

【0100】

また、カメラ位置を求める際に疎なステレオマッチングによる対応点も求まり、その誤差もバンドル調整計算により最小化されている。カメラ位置を求めた後で、再度隣接するカメラ位置のステレオマッチングにより、密な三次元点群を求めるが、その際に、カメラ位置を求める際に求めた疎な点群の位置データが利用され、それが拘束点となる。このため、密な三次元点群を求める際の計算も収束は早く、また計算精度も高い。

【0101】

（その他）
回転台１１２の回転を精密に制御し、撮影時に回転を停止し、静止させた状態とする態様も可能である。例えば撮影時に長い露光時間が必要な場合や、対象が振動により生じた揺れが収束するまでに、この手法を利用することができる。また、計測の対象は植物に限定されない。

【0102】

回転台を囲む複数のカメラ位置が等角な位置関係にない場合も可能である。また、回転台を囲む複数箇所のカメラ位置の選択において、Ｎ回目とＮ＋１回目でカメラ位置の数が同じ出ない場合も可能である。また、回転台を囲む複数箇所のカメラ位置の選択において、Ｎ回目とＮ＋１回目で一部のカメラ位置が重複する形態も可能である。

【0103】

計測対象を回転させずに固定し、計測対象に向けたカメラを円周上で移動させつつ撮影を行ってもよい。この場合、カメラが移動する円周の中心を基準にカメラの角度位置が把握される。また、計測対象とカメラの位置関係を相対的に固定してもよい。この場合、計測対象を中心とした円周上に多数のカメラを配置した状態とし、各カメラ位置からの撮影を行う。この場合、カメラが配置された円周の中心を基準に角度位置が把握される。

【0104】

（変形例１）
図１０に示すカメラ位置の特定を全てのカメラ位置に対して行わない態様も可能である。例えば、図４に示す計測対象物（回転台）を囲む８箇所のカメラ位置を求めた段階で、図２に示す隣接するカメラ位置を順次求める処理に移行してもよい。この場合、既知なカメラ位置(1)，(5)，(9)，(13)，(17)，(21)，(25)，(29)を初期値あるいは拘束点として、未知なカメラ位置の算出および新たに抽出された特徴点の算出が行われる。

【0105】

（変形例２）
各段階でバンドル調整計算を行なわず、全てのカメラ位置の算出の終了後にバンドル調整計算を行なってもよい。

【0106】

（変形例３）
図３の場合において、ステレオ画像として、(1)と(17)，(9)と(25)のカメラ位置の組を選択してもよい。つまり、選択された(1)，(9)，(17)，(25)の４箇所のカメラ位置から選択されるステレオ画像として、隣接しないカメラ位置のものを選択してもよい。これは、図４～図６の場合も同じである。

【0107】

（変形例４）
図１２の右側に示すようなカメラの配置は、死角がない撮影を行う上で有効である。図１２に示す方法では、上下に少なくとも４台のカメラを配置し、下方の２台のカメラは斜め上方向を向き、上方の２台のカメラは斜め下方向を向いている。そして、計測対象物の上側を相対的に上方に配置された斜め下指向のカメラと相対的に上方に配置された斜め上指向のカメラで撮影する。そして、計測対象物の下側を相対的に下方にある斜め下指向のカメラと相対的に下方に配置された斜め上指向のカメラで撮影する。勿論、上下方向における両組の撮影範囲は一部で重複している。こうすることで、上下方向における撮影範囲の死角の発生を抑制できる。

【符号の説明】

【0108】

１００…３Ｄ計測システム、１１１…土台、１１２…回転台、１１３…ターゲット、１２０…測定対象物である植物、１２１～１２３…ランダムドット柱、１２４…鉢、１２５…２次元バーコード表示、１３１～１３３…カメラ、２００…ＰＣを利用した３Ｄ計測処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】