特許 7409647 作物の三次元計測用ターゲット装置および作物の三次元写真計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-25

(45)【発行日】2024-01-09

(54)【発明の名称】作物の三次元計測用ターゲット装置および作物の三次元写真計測方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20231226BHJP

   A01G 7/00 20060101ALI20231226BHJP

   G01C 15/06 20060101ALI20231226BHJP

【ＦＩ】

G01B11/24 K

A01G7/00 603

G01C15/06 T

【請求項の数】 10

(21)【出願番号】P 2020037657

(22)【出願日】2020-03-05

(65)【公開番号】P2021139749

(43)【公開日】2021-09-16

【審査請求日】2023-02-15

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】高地 伸夫

(72)【発明者】

【氏名】イ ウンソク

(72)【発明者】

【氏名】徳田 献一

(72)【発明者】

【氏名】エムディー パーベス イスラム

(72)【発明者】

【氏名】篠原 洋太

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０１８－１７９９７５（ＪＰ，Ａ）

【文献】特開２０１５－１６１６８２（ＪＰ，Ａ）

【文献】特開２０１８－１９７６８５（ＪＰ，Ａ）

【文献】特開２０１８－１８９６１８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００９７９３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

２１／００－２１／３２

Ｇ０１Ｃ １／００－１５／１４

Ａ０１Ｇ ７／００

(57)【特許請求の範囲】

【請求項1】

柔軟性のある長手形状の部材と、
前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットと
を備え、
前記コード化ターゲットは、板材の表裏に２次元コードが表示された構造を有する作物の三次元計測用ターゲット装置。

【請求項2】

長手形状の部材と、
前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットと
を備え、
前記コード化ターゲットは、板材の表裏に２次元コードが表示された構造を有し、
前記長手形状の部材の少なくとも一端に前記長手形状の部材を相手部材に引っかけて固定するためのフックが設けられている作物の三次元計測用ターゲット装置。

【請求項3】

前記コード化ターゲットが３以上配置されている請求項１または２に記載の作物の三次元計測用ターゲット装置。

【請求項4】

前記長手形状の部材の少なくとも一端に、前記長手形状の部材を固定するためのフックを備える請求項１に記載の作物の三次元計測用ターゲット装置。

【請求項5】

前記長手形状の部材は、平行に配置された一対を有し、
前記複数のコード化ターゲットは、前記一対の長手形状の部材の間に保持されている請求項１～４のいずれか一項に記載の作物の三次元計測用ターゲット装置。

【請求項6】

請求項１～５のいずれか一項に記載の作物の三次元計測用ターゲット装置の複数を計測対象物である作物に対して縦横に設置した上で前記計測対象物の三次元写真計測を行う作物の三次元写真計測方法。

【請求項7】

請求項１～５のいずれか一項に記載の作物の三次元計測用ターゲット装置の複数を、計測対象物である作物を取り囲むように配置した状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法。

【請求項8】

請求項１～５のいずれか一項に記載の作物の三次元計測用ターゲット装置を折り曲げて計測対象物である作物を囲むように設置した上で前記計測対象物の三次元写真計測を行う作物の三次元写真計測方法。

【請求項9】

請求項１～５のいずれか一項に記載の作物の三次元計測用ターゲット装置を辺とする立体形状が形成され、
計測対象物である作物が前記立体形状の内側に収まった状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法。

【請求項10】

請求項１～５のいずれか一項に記載の作物の三次元計測用ターゲット装置を互いに交差する３軸方向に沿って配置した状態で計測対象物である作物に対する三次元写真計測が行なわれる作物の三次元写真計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、野菜や果実といった作物を３次元写真計測する技術に関する。

【背景技術】

【0002】

作物を撮影し、画像解析により生育状態等の情報を取得する技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１６５６５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ハウス栽培における作物の三次元写真計測を行う場合、カメラの位置と姿勢を如何に簡素に、また精度よく求めるかが問題となる。カメラの位置と姿勢を求めるためには、標定用のターゲットの設置が問題となるが、作物のハウス栽培に適した標定用ターゲットの設置については、これまで検討されていない。これは、野外における作物の栽培についてもいえる。

【0005】

このような背景において、本発明は、作物の栽培における三次元写真計測に適したターゲットの設置に係る技術の提供を目的とする。

【課題を解決するための手段】

【0006】

本発明は、柔軟性のある長手形状の部材と、前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットとを備え、前記コード化ターゲットは、板材の表裏に２次元コードが表示された構造を有する作物の三次元写真計測用ターゲット装置である。

【0007】

また本発明は、長手形状の部材と、前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットとを備え、前記コード化ターゲットは、板材の表裏に２次元コードが表示された構造を有し、前記長手形状の部材の少なくとも一端に前記長手形状の部材を相手部材に引っかけて固定するためのフックが設けられている作物の三次元計測用ターゲット装置である。

【0008】

本発明において、前記コード化ターゲットが３以上配置されている態様は好ましい。本発明において、前記長手形状の部材の少なくとも一端に、前記長手形状の部材を固定するためのフックを備える態様は好ましい。本発明において、前記長手形状の部材は、平行に配置された一対を有し、前記複数のコード化ターゲットは、前記一対の長手形状の部材の間に保持されている態様は好ましい。

【0010】

また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置の複数を計測対象物である作物に対して縦横に設置した上で前記計測対象物の三次元写真計測を行う作物の三次元写真計測方法である。

【0011】

また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置の複数を、計測対象物である作物を取り囲むように配置した状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法である。

【0012】

また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置を折り曲げて計測対象物である作物を囲むように設置した上で前記計測対象物の三次元写真計測を行う作物の三次元写真計測方法である。

【0013】

また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置を辺とする立体形状が形成され、計測対象物である作物が前記立体形状の内側に収まった状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法である。

【0014】

また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置を互いに交差する３軸方向に沿って配置した状態で計測対象物である作物に対する三次元写真計測が行なわれる作物の三次元写真計測方法である。ここで、３軸は、互いに直交する方向が好ましいが、必ずしも直交していなくてもよい。また、上述した構成を有する作物の三次元計測用ターゲット装置を交差する４軸以上に沿って配置することは好ましい。

【発明の効果】

【0015】

本発明によれば、作物の栽培における三次元写真計測に適したターゲットの設置に係る技術が提供される。

【図面の簡単な説明】

【0016】

【図1】実施形態の概要図である。

【図2】ワイヤーターゲットの正面図である。

【図3】ワイヤーターゲットの正面図である。

【図4】ワイヤーターゲットの斜視図である。

【図5】三次元写真計測の原理図（Ａ）および（Ｂ）である。

【図6】後方交会法の原理図である。

【図7】前方交会法の原理図である。

【図8】テープ状ターゲットの正面図（Ａ）および（Ｂ）である。

【図9】ワイヤーターゲットを折り曲げて配置した場合の一例を示す斜視図である。

【図10】実施形態の撮影装置の概念図である。

【発明を実施するための形態】

【0017】

（概要）
図１には、発明を利用した農業ハウス１００内の様子が示されている。なお、図を見易くするために農業ハウス１００の骨組み、壁面、天井等の記載は図示省略されている。図１には、基本的に同じ構造を有するワイヤーターゲット３００，４００，５００および６００が示されている。ワイヤーターゲット４００は、柔軟性のある長手形状の部材であるワイヤー４１０、ワイヤー４１０の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲット４０１～４０４を備えている。ワイヤーターゲット３００，４００，５００および６００は、計測対象物である作物２０１～２０３を囲むように設置されている。

【0018】

（詳細）
農業ハウス１００では、作物２０１，２０２，２０３が育成される。育成される作物の種類は、特に限定されない。作物としては、例えば、茄子やキュウリ等の野菜、イチゴ等の果物、観賞用の植物等が挙げられる。なお、作物の成長の段階は特に限定されない。

【0019】

図１の例では、作物２０１，２０２，２０３は、トマトの苗であり、図示しない上方から垂らされた誘引ワイヤーに束縛され、この図示しない誘引ワイヤーに沿って上方に成長する。この点は、通常のハウス栽培のトマトの場合と同じである。なお、誘引ワイヤーの方向は、斜め上方向や水平方向であってもよい。なお、作物の数は、図示する例に限定されず、２本以下、あるいは３本以上であってもよい。

【0020】

図１に示す農業ハウス１００は、側壁部分に配置された移動式カメラ１５０と天井部分に配置された移動式カメラ１６０を備える。移動式カメラ１５０と１６０により、作物２０１，２０２，２０３の三次元写真計測が行なわれる。カメラ１５０は、レール１５１上を移動可能であり、レール１５１上で移動しながら、作物２０１～２０３の側面斜め上の方向から連続写真撮影を行う。カメラ１６０は、レール１６１上を移動可能であり、レール１６１上で移動しながら、上方から作物２０１，２０２，２０３の連続写真撮影を行う。

【0021】

農業ハウス１００の天井部分には、支持ワイヤー１０１と１０２が水平方向に張り渡され支持ワイヤー１０１と１０２は、天然繊維、化学繊維、金属、それらの２以上を複合化したもの等により構成される線材である。支持ワイヤー１０１の代わりに樹脂パイプ、金属パイプ、木材の棒、竹の棒等の長手形状の部材を支持部材して上方に配置する構成も可能である。

【0022】

作物２０１，２０２，２０３を囲むように、ワイヤーターゲット３００，４００，５００，６００，７００，８００．９００が配置されている。ワイヤーターゲット３００，４００，５００は、鉛直方向に展張して配置されている。ワイヤーターゲット７００，８００．９００は、水平方向に展張して配置されている。

【0023】

（ワイヤーターゲットの構造）
以下、ワイヤーターゲット３００，４００，５００，６００について説明する。ワイヤーターゲット３００，４００，５００，６００は、同じ構造を有する。ただし、各ワイヤーターゲットが備えるコード化ターゲットは、個別に識別が可能である。また、コード化ターゲットのコードの内容は、各ワイヤーターゲットにおいて異なる。

【0024】

以下、ワイヤーターゲット４００について説明する。ワイヤーターゲット４００は、ワイヤー４１０にコード化ターゲット４０１，４０２，４０３，４０４とランダムドットターゲット４０５を取り付けた構造を有する。ワイヤー４１０は、柔軟性のある線材であり例えば、市販されている園芸用の針金やロープが利用される。ワイヤー４１０としては、各種のロープ、紐、被覆金属線、またはこれらを複合化した線材を利用することができる。

【0025】

コード化ターゲット４０１～４０４は、矩形のプラスチック板で構成されている。これは、他のコード化ターゲットについても同じである。このプラスチック板の表裏には、図形の組み合わせでデジタル情報が構成される２次元コードが表示されている。２次元コードとしては、マトリクス表示や２次元バーコード等の各種のものが知られており、その中から画像による読み取りに適したものが利用される。なお、コードの表示を表裏でなく、一方の面のみに設ける構成も可能である。

【0026】

ここで、コード化ターゲット４０１，４０２，４０３，４０４は、個別に識別できるように異なるコード情報に設定されている。また、図１に示す全てのコード化ターゲットは、個別に識別できるように異なるコード情報に設定されている。

【0027】

ランダムドットターゲット４０５は、矩形のプラスチック板で構成されている。このプラスチック板の表裏には、ランダム配置されたドットにより構成されるドット模様が形成（印刷）されている。これは、他のランダムドットターゲットも同じである。

【0028】

ランダムドットは、ステレオ写真画像のマッチング（対応関係の特定）に際して、対応関係が特定し易い。このことを利用して、ステレオ写真画像の対応関係の特定にランダムドットターゲット４０５が利用される。

【0029】

図２は、ワイヤーターゲット４００の拡大図である。ワイヤー４１０の両端には、鉤型のフック４１１，４１２が固定されている。フック４１１は、地面側に設置された図示しない相手フックに引っかけられ、フック４１２は、支持ワイヤー１０２に引っかけられる。これにより、ワイヤーターゲット４００が図１に示す状態で鉛直方向に展張される。

【0030】

なお、展張された状態を維持し、またある程度の張力を与えて弛ませないために、フック４１１およびフック４１２の少なくとも一方とワイヤー４１０の端部の間に弾性体（例えばコイルばねやゴム）を配置し、ワイヤー１０２に張力が作用するようにしてもよい。これは、他のワイヤーターゲットでも同じである。

【0031】

コード化ターゲット４０１，４０２，４０３，４０４の間隔は予め特定の値に設定されている。この例では、ワイヤー４１０を伸ばした際に、コード化ターゲット４０１，４０２，４０３，４０４が等間隔に並ぶように設定されている。コード化ターゲット間の間隔は、等間隔でなくてもよい。ただし、特定の２つのコード化ターゲット間の距離の情報は、予め取得しておき、既知の情報としておく。なお、各コード化ターゲットは、撮影画像の中から中心の位置の特定が可能とされ、この中心の位置を基準に２つのコード化ターゲット間の距離の情報が取得される。

【0032】

ワイヤー４１０の代わりに剛性のある長手形状の部材（金属パイプ、樹脂パイプ、竹や木材の棒）を利用してもよい。この場合も当該長手形状の部材の少なくとも一方の一端にフックを設け、そのフックを支持ワイヤー１０１や１０２に引っかけることで、当該長手形状の部材を支持ワイヤー１０１や１０２から吊るせる構造とする。なお、地面側は、長手形状部材を地面に突き刺す、あるいは専用の土台を用意し、地面上で支持する構造としてもよい。

【0033】

また、ワイヤー４１０の代わりに剛性のある長手形状の部材を用いた場合、この長手形状の部材を立て掛けることで、ワイヤーターゲット３００，４００，５００，６００と同様な配置とすることも可能である。

【0034】

次に、ワイヤーターゲット７００と８００について説明する。ワイヤーターゲット７００と８００は同じ構造を有する。ただし、各コード化ターゲットは、個別に識別が可能であり、ワイヤーターゲット７００と８００において、コード化ターゲットのコードの内容は異なる。

【0035】

図３にワイヤーターゲット７００の概要を示す。ワイヤーターゲット７００は、ワイヤー７０６にコード化ターゲット７０１，７０３，７０５、ランダムドットターゲット７０２，７０４を取り付けた構造を有する。コードの内容以外のコード化ターゲット７０１，７０３，７０５の構造は、図２のコード化ターゲット４００におけるものと同じである。また、ランダムドットターゲット７０２，７０４の構造も図２のコード化ターゲット４００におけるものと同じである。

【0036】

ワイヤー７０６の両端には、フック７１０，７１１が取り付けられている。フック７１０を支持ワイヤー１０１に引っかけ、フック７１２を支持ワイヤー１０２に引っかけることで、ワイヤーターゲット７００が支持ワイヤー１０１と１０２の間に水平に展張される。また、同様な方法で、ワイヤーターゲット８００が支持ワイヤー１０１と１０２の間に水平に展張される。ワイヤーターゲット７００と８００は、水平方向から見て、各ターゲットが効果的に見えるように、各ターゲットの表示面が垂直になるように配置される。

【0037】

次に、ワイヤーターゲット９００について説明する。図４は、ワイヤーターゲット９００の斜視図である。ワイヤーターゲット９００は、上方から見易い様に２次元コードの表示を上面に向けて配置される。

【0038】

ワイヤーターゲット９００は、平行に配置された２本のワイヤー９１０，９２０の間にコード化ターゲット９０１，９０２，９０３，９０４が配置された構造を有する。ワイヤー９１０の両端には、フック９１１，９１２が固定され、ワイヤー９２０の両端には、フック９２１，９２２が固定されている。

【0039】

フック９１１を支持ワイヤー１０１に引っかけ、フック９１２を支持ワイヤー１０２に引っかけ、更にフック９２１を支持ワイヤー１０１に引っかけ、フック９２２を支持ワイヤー１０２に引っかけることで、ワイヤーターゲット９００が作物２０１～２０３の上方に固定される。２本のワイヤー９１０，９２０の代わりに２本の棒やパイプを用いる形態も可能である。ワイヤーターゲット９００を作物２０１～２０３の上端より低い位置に配置する形態も可能である。

【0040】

農業ハウス１００の地面（床）には、基準点１３１，１３２が配置されている。基準点１３１，１３２は、コード化ターゲットを用いて構成されており、画像による識別が可能で、その位置は予め取得されている。位置のデータは、農業ハウス１００に設定されたローカル座標系または絶対座標系で記述される。絶対座標系は、ＧＮＳＳや地図情報で利用される座標系である。基準点の設置位置は、カメラ１５０，１６０から見える位置であればよい。

【0041】

（優位性）
図１の例では、作物２０１，２０２，２０３を囲むように、縦にワイヤーターゲット３００，４００，５００，６００を配置し、横（水平）にワイヤーターゲット７００，８００，９００を配置している。

【0042】

三次元写真測量の対象物である作物２０１，２０２，２０３を囲むように、縦横にワイヤーターゲットを配置することで、作物２０１，２０２，２０３の三次元写真測量の精度を高めることができる。以下、その理由について説明する。

【0043】

図１に示される複数のコード化ターゲットは、３次元写真測量を行うためのカメラ１５０，１６０の標定に利用される。３次元写真測量では、撮影時のカメラの外部標定要素（位置と姿勢（向き））の精度が重要となる。この外部標定要素を求める処理が標定（標定処理）である。

【0044】

この例では、カメラ１５０はレール１５１上を移動しながら、カメラ１６０は、レール１５１上を移動しながら間欠的に作物２０１，２０２，２０３の写真撮影を連続して行う。この写真撮影で得られる同一カメラによる多数の画像において、時間軸上で隣接または近接する２つの画像は、一部が重複し、ステレオ写真画像となるように撮影のタイミングやカメラ１５０，１６０の移動速度が設定されている。

【0045】

カメラ１５０およびカメラ１６０のそれぞれにおいて、時間軸上で隣接（または近接）する２枚の撮影画像をステレオ画像として、このステレオ画像を構成する２枚の撮影画像の撮影時における各カメラの外部標定要素（カメラ１５０の位置と向き）の算出が行われる。この処理が標定処理となる。

【0046】

ここで、各ワイヤーターゲット上における位置的に隣接するコード化ターゲットの間隔が既知であるので、長さのスケールが与えられ、相対座標系上でのカメラ１５０の外部標定要素が算出される。また、上記のステレオ写真画像中に基準点１３１，１３２が写っていれば、絶対標定が可能となり、利用する座標系におけるカメラ１５０の外部標定要素の絶対値が求まる。

【0047】

移動するカメラからの撮影による三次元写真測量およびその際のカメラの標定処理に関しては、例えば、特開2013-186816号公報に記載されている。

【0048】

ここで、ワイヤーターゲット３００と４００を用いてカメラ１５０の外部標定要素の算出を行った第１の場合と、ワイヤーターゲット３００，４００，５００，６００を用いてカメラ１５０の外部標定要素の算出を行った第２の場合を比較すると、第２の場合の方が高い精度が得られる。これは、第１の場合に比較して、第２の場合の方が、カメラ１５０から見た奥行き方向の情報が増えるからである。

【0049】

また、ワイヤーターゲット３００，４００，５００，６００に加えて、更にワイヤーターゲット７００と９００を用いることで、更に標定の精度を高めることができる。

【0050】

また、カメラ１６０からは、ワイヤーターゲット９００のみではく、ワイヤーターゲット３００～８００の一部が見えており、そのコード化ターゲットも標定に利用される。この場合も３次元方向における利用できるコード化ターゲットの数、および組み合わせのバリエーションが増え、カメラ１６０の各カメラ位置における外部標定要素の算出精度が高くなる。

【0051】

以上の理由から、被測定対象物（作物２０１，２０２，２０３）を囲むように縦横に複数のワイヤーターゲットを配置することで、カメラ１５０およびカメラ１６０の外部標定要素の算出精度を高めることができる。そして、カメラ１５０およびカメラ１６０の外部標定要素の精度を高めることで、カメラ１５０およびカメラ１６０を用いて取得される作物２０１，２０２，２０３の三次元情報の精度を高めることができる。

【0052】

また、図１には、ワイヤーターゲット３００，４００，５００，６００，７００，８００を辺とする立方体が構成され、この立方体の内側に被測定対象物（作物２０１，２０２，２０３）が納まるようにした構成が記載されている。こうすることで、縦横に配置されたワイヤーターゲットにより被測定対象物（作物２０１，２０２，２０３）が囲まれ、被測定対象物の三次元計測に適した高精度のカメラ１５０およびカメラ１６０に係る外部標定要素が得られる。

【0053】

例えば、カメラ１５０から見て、被測定対象物（作物２０１，２０２，２０３）の左右、前後、および上下に配置されたコード化ターゲットによる標定が行なわれるので、被測定対象物（作物２０１，２０２，２０３）の撮影画像に係るカメラ１５０の外部標定要素の誤差が抑制される。

【0054】

すなわち、ワイヤーターゲットを直交する３軸方向（ＸＹＺ方向）に展張することで、三次元空間におけるカメラ１５０の外部標定要素の精度が得られる。もちろん、更に展張する方向を確保することで、更にカメラ１５０の外部標定要素の精度は高まる。ワイヤーターゲットの展張方向が３軸から２軸になると、カメラ１５０の外部標定要素の精度は著しく低下する。よって、少なくとも交差する３軸方向におけてワイヤーターゲットを展張する必要がある。

【0055】

作物２０１～２０３の成長が進むと、葉が茂り、一部のコード化ターゲットが葉に隠れ、当該コード化ターゲットがカメラ１５０やカメラ１６０から見えなくなる可能性がある。このような場合でも各ワイヤーターゲットは３以上のコード化ターゲットを備えているので、２つのコード化ターゲットが見えれば、スケールを得ることができる。

【0056】

また、葉が茂ってきた場合に、カメラ１５０およびカメラ１６０から見える位置にワイヤーターゲットの位置をずらすことで、葉による標定点の減少を抑えることができる。

【0057】

ワイヤーターゲットは、コード化ターゲット間の間隔が既知であるので、直線状に並んだコード化ターゲットの数が撮影画像から認識できれば、その延長距離を取得できる。また、個別にコード化ターゲットが識別できるので、何番目から何番目までのコード化ターゲット間の距離といった情報も撮影画像から得ることができる。

【0058】

（標定：カメラの外部標定要素の算出）
以下、カメラの標定処理（カメラの外部標定要素を求める処理）について説明する。図５は、本実施形態における標定および三次元測量の原理図である。

【0059】

図５（Ａ）において、Ａ１～Ａ７は、カメラの撮影位置である。Ｂ１～Ｂ３は、ワイヤーターゲット（例えば、図１のワイヤーターゲット７００）におけるコード化ターゲットの中心の位置である。カメラは移動しながら撮影を行い、時間経過に従いＡ１⇒Ａ２⇒Ａ３⇒・・・の点（カメラ位置（撮影の視点））から順次撮影を行う。ここで、カメラ位置Ａ１から撮影した画像とカメラ位置Ａ２から撮影した画像には、点Ｂ１～Ｂ３が共通して写っているとする。

【0060】

図１に関連して説明したように、Ｂ１～Ｂ３の間隔は既知である（図１に関連して説明したようにワイヤーターゲットにおけるコード化ターゲットの間隔は既知である）。ここでは、まずカメラ位置Ａと、そこにおけるカメラの姿勢を後方交会法により求める。

【0061】

図６は、後方公会法の原理図である。この場合、図６のＰ１，Ｐ２，Ｐ３は、図５のＢ１，Ｂ２，Ｂ３に対応する。図６のｐ１，ｐ２，ｐ３は撮影画面中における点Ｐ１，Ｐ２，Ｐ３の画面座標位置である。

【0062】

この段階では、カメラ位置（カメラの光学原点（投影原点））であるＡ１の位置と、Ａ１におけるカメラの姿勢は未知である。まず、カメラ位置Ａ１を求める。ここでは、Ｐ１とｐ１、Ｐ２とｐ２、Ｐ３とｐ３を結ぶ方向線を設定する。そしてこの方向線の交点Ｏがカメラ位置Ａ１として求まる。また、点Ｏと撮影画面の中心点を結ぶ方向線を設定し、その方向線の方向がカメラ位置Ａ１におけるカメラの向きとして求まる。以上のようにして、カメラ位置Ａ１におけるカメラの外部標定要素（位置と向き）が求まる。同様にして、カメラ位置Ａ２以降の外部標定要素が求められる。

【0063】

そして、異なるワイヤーターゲット間の２以上のコード化ターゲットが１枚の撮影画像中に写るようにすることで、ワイヤーターゲット間を跨いだ標定が可能となり、全てのカメラ位置におけるカメラの外部標定要素が次々と順次求められる。

【0064】

ここで、一つのワイヤーターゲットにおけるコード化ターゲットの相対位置関係は既知であるが、その絶対位置は未知である。よって得られる各カメラ位置におけるカメラの外部標定要素の絶対値は未知である（座標系は特定されていない）。ここで、利用する座標系における位置が既知の基準点１３１，１３２を用いることで、図６の三次元位置関係の少なくとも一点に座標値が与えられ、利用する座標系における外部標定要素の値が得られる。 なお、得られる三次元データがローカル座標系におけるものでよい場合は、基準点１３１，１３２は不要である。この場合、絶対位置の情報は得られないが、ワイヤーターゲットによりスケールが与えられるので、作物の寸法や成長量（例えば、１０日前に比較して何ｃｍ成長したか）は得ることができる。

【0065】

（三次元モデルの作成）
図５（Ｂ）において、Ａ１とＡ２が隣接するカメラ位置、Ｂ３がカメラ位置Ａ１から撮影した画像とカメラ位置Ａ２から撮影した画像において共通する点であるとする。共通する点は、２枚の画像中から抽出された特徴点の対応関係を求めることで得られる。また、Ａ１とＡ２のカメラ位置は、標定において予め求められているとする。

【0066】

この場合、図７に示す前方交会法により、点Ｂ３の位置が算出される。ここで、図５（Ｂ）のカメラ位置Ａ１が図７のＯ１、図５（Ｂ）のカメラ位置Ａ２が図７のＯ２に対応する。この場合、カメラ位置Ｏ１（Ａ１）と点Ｐの撮影画面中における画面座標位置ｐ１を結ぶ方向線と、カメラ位置Ｏ２（Ａ２）と点Ｐの撮影画面中における画面座標位置ｐ２を結ぶ方向線を設定し、その交点Ｐの位置を点Ｂ３の位置として算出する。

【0067】

この段階で、カメラ位置Ｏ１（Ａ１）とＯ２（Ａ２）におけるカメラの位置と姿勢は既知であるので、上記の２つの方向線の交点の点Ｐ（Ｂ３）の座標が求められる。全ての撮影画像におけるカメラ位置とカメラの姿勢が判っていれば、上記の原理により、画像中から抽出された全ての特徴点の三次元座標位置を求めることができる。

【0068】

撮影画像中からは、対象となる作物の外観を特徴づける特徴点が抽出され、また異なるカメラ位置から得られた画像間における特徴点の対応関係の特定がテンプレートマッチング等を用いて行なわれる。これらの技術については、例えば特開2013-186816号公報や特開2018-197685号公報に記載されている。そして、抽出された全ての特徴点の位置が上記の原理を用いて算出される。こうして、撮影対象物（作物２０１～２０３）を、位置が求められた点の集まりとしてデータ化した点群データが得られる。

【0069】

この点群データは、撮影対象物（作物２０１～２０３）を三次元空間中における点の集まりとして把握したデータとなる。この点群データを基に撮影対象物（作物２０１～２０３）の３次元モデルが作成される。点群データに基づく三次元モデルの作成については、例えば国際公開番号WO2012/070927号公報、特開2012-230594号公報、特開2014-35702号公報等に記載されている。

【0070】

例えば、毎日昼１２時に作物２０１～２０３を撮影し、その三次元モデルを作成することで、１日ステップで三次元モデルを用いた作物２０１～２０３の成長過程の観察が可能となる。

【0071】

（特徴点を用いて標定を行う場合）
特徴点を用いて標定を行うこともできる。この場合、位置を特定した特徴点を標定点として用い、図６の後方交会法により、カメラの位置および姿勢を求める。この特徴点を利用する標定とコード化ターゲットを用いた標定とを組み合わせて、カメラの位置および姿勢を求める処理も可能である。

【0072】

（テープ状ターゲット）
複数のコード化ターゲットおよびランダムドットターゲットの少なくとも一方を、柔軟性のあるテープ状（リボン状）の基材の上に設けたテープ状ターゲットも可能である。図８（Ａ）には、テープ状ターゲット２５０が示されている。テープ状ターゲット２５０は、平たいテープ状（リボン状）の基材２６０、基材２６０に印刷されたコード化ターゲット２５１，２５３，２５５、ランダムドットターゲット２５２，２５４を有する。

【0073】

基材２６０は、薄く柔軟性のある平たい樹脂フィルムである。コード化ターゲットとランダムドットターゲットは、図１の場合と同じである。また、隣接するコード化ターゲットの中心間の間隔は、予め設定されてあり、既知とされている。ターゲットは、基材２６０の一方の面に設けてもよいし、両面に設けてもよい。コード化ターゲットとランダムドットターゲットの一方のみを設ける構造も可能である。

【0074】

基材２６０の両端部分は剥離層が付いた粘着層を有する粘着部となっており、この粘着部を支持棒等に貼り付け固定することで、テープ状ターゲット２５０の設置が行なわれる。その他、基材の両端に孔を設け、紐や針金により固定する形態等も可能である。

【0075】

図８（Ｂ）には、テープ状ターゲット２７０が示されている。テープ状ターゲット２７０は、柔軟性のあるテープ状（リボン状）の基材上にコード化ターゲットを隙間なく配置したものである。各コード化ターゲットのコード情報は、個別に設定され同じものがないようにされている。また、隣接するコード化ターゲットの中心間の距離は既知のデータとして予め決められている。テープ状ターゲット２７０において、コード化ターゲットとランダムドットターゲットを組み合わせて配置する構造も可能である。また、ランダムドットターゲットのみを配置する構造も可能である。

【0076】

テープ状ターゲット２５０および２７０は、個別に識別可能な各コード化ターゲット間の距離が既知な情報として予め取得されている。そのため、標定処理においてスケールを得ることができる。テープ状ターゲット２５０および２７０は、任意の位置で切断し、所望の長さとして利用することが可能である。また、図９に示すように折り曲げて利用することもできる。

【0077】

テープ状ターゲット２７０は、直線状に並んだコード化ターゲットがいくつ写っているかを数えること、あるいは検出されたコード番号から、長さ（展開長）を検出することができる。例えば、複数のコード化ターゲットが距離Ｌの等間隔で配置され、１，２，３，４，５，６・・と順にコード番号が付与されているとする。この場合、検出された１と５のコード間の距離は、４Ｌとなる。

【0078】

（折り曲げて設置する形態）
ワイヤーターゲットを折り曲げて設置する形態も可能である。図９には、折り曲げて設置されたワイヤーターゲット３５０が示されている。ワイヤーターゲット３５０は、ワイヤー３６０、ワイヤー３６０に固定されたコード化ターゲット３５１，３５３，３５５、ランダムドットターゲット３５２，３５４を有する。

【0079】

ワイヤー３６０の両端には、図３の場合と同様なフックが設けられている。このフックにより、支持棒３７１と３７３の間でワイヤーターゲット３５０（ワイヤー３６０）が展張されている。ここで、ワイヤー３６０の途中の部分を支持棒３７２に引っかけて折り曲げることで、ワイヤーターゲット３５０は、約９０°の角度で折り曲げて、配置されている。折り曲げる角度は、任意に設定可能である。なお、コード化ターゲットとランダムドットターゲットの一方のみを設ける構造も可能である。

【0080】

折り曲げる回数は、２回以上であってもよい。この態様によれば、一つのワイヤーターゲット３５０を折り曲げて配置することで、計測対象となる作物３７０を囲むように配置することができる。また、一つのワイヤーターゲットを折り曲げて展張することで、交差する２軸以上の方向に展張することができる。三次元写真計測の方法は、図１の場合と同じである。

【0081】

（ターゲットの変形例）
コード化ターゲットおよび／またはランダムドットターゲットとして、光反射性のものを採用することもできる。例えば、これらターゲットの表示を光反射性のもので構成、特定の光を反射するもので構成、蛍光材で構成、蓄光材で構成することもできる。

【0082】

（野外での利用）
本発明は、野外における作物の栽培、すなわち野外の圃場において適用することもできる。

【0083】

（他のカメラの例）
地上走行型のカメラを用いる構成も可能である。この場合、１または複数のカメラを地上で走行可能な架台（支持台）に取り付けものを用意する。この架台は、農地上で走行が可能であり、例えば作物の列（例えば畝）に沿って移動させつつ、搭載したカメラによる作物の連続撮影が行われる。この構成において、アームを用いてカメラを支持（保持）することで、作物の上方等の任意の視点からの撮影も可能である。この方法は、野外での利用や図１のような移動式カメラの設備がない農業ハウスでの利用に好適である。また カメラを手で持った状態で移送しつつ、撮影を行う形態も可能である。

【0084】

図１０には、地上走行型の撮影装置の一例が示されている。図１０には、撮影装置５３０が示されている。撮影装置５３０は、本体５３１を有し、本体５３０には、車輪５３２，５３３が取り付けられている。車輪５３２，５３３がモータ等の駆動装置によって駆動され回転することで、撮影装置５３０は農地上を走行する。撮影装置５３０を走行させる方法や牽引等であってもよい。また、軌道上を走行する形態も可能である。

【0085】

本体５３１には、符号５３４で代表される複数のカメラが固定されている。また、本体５３１の上方には、アーム５３５が固定され、アーム５３５には、作物（例えば符号５２０）を上方から撮影するためのカメラ５３６が取り付けされている。

【0086】

撮影装置５３０は、農業ハウス内または野外の圃場において、作物５１０、５２０の間を走行する。作物５１０，５２０は、図の奥行き方向に沿って複数が植えられており、その列に沿って撮影装置５３０は移動する。この移動を行いつつ、搭載された複数のカメラにより、作物５１０，５２０の連続撮影が行われる。

【0087】

無人航空機（ＵＡＶ、ドローン）を用いて空中から撮影する形態も可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】