IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 独立行政法人農業・食品産業技術総合研究機構の特許一覧

<>
  • 特開-計測システム 図1
  • 特開-計測システム 図2
  • 特開-計測システム 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118043
(43)【公開日】2024-08-30
(54)【発明の名称】計測システム
(51)【国際特許分類】
   G01B 11/02 20060101AFI20240823BHJP
   G01C 15/00 20060101ALI20240823BHJP
   A01G 7/00 20060101ALI20240823BHJP
【FI】
G01B11/02 H
G01C15/00 104Z
A01G7/00 603
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023024214
(22)【出願日】2023-02-20
【国等の委託研究の成果に係る記載事項】(出願人による申告)国立研究開発法人農業・食品産業技術総合研究機構、ムーンショット型農林水産研究開発事業委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】根岸 美智哉
(72)【発明者】
【氏名】高地 伸夫
(72)【発明者】
【氏名】林 篤司
(72)【発明者】
【氏名】相馬 史幸
(72)【発明者】
【氏名】宇賀 優作
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA21
2F065AA53
2F065BB27
2F065FF61
2F065JJ05
2F065JJ26
2F065MM23
(57)【要約】
【課題】植物の3次元計測を効率よく行う。
【解決手段】植物が配置される計測空間100と、前記計測空間100を撮影し、特定の方向に移動が可能な可視画像の撮影を行うRGBカメラ111,112と、RGBカメラ111,112により撮影され、前記移動の方向に沿って配置された複数の基準点ターゲット221~224により構成される第1の基準点群と、第1の基準点群と高さ位置と水平位置が異なり、前記計測空間を囲む位置に配置された複数の基準点ターゲット241~244により構成された第2の基準点群とを備えた計測システム100。
【選択図】図1

【特許請求の範囲】
【請求項1】
植物が配置される計測空間と、
前記計測空間を撮影し、特定の方向に移動が可能な可視画像の撮影を行う第1のカメラと、
前記第1のカメラにより撮影され、前記移動の方向に沿って配置された複数の基準点により構成される第1の基準点群と、
第1の基準点群と高さ位置と水平位置が異なり、前記計測空間を囲む位置に配置された複数の基準点により構成された第2の基準点群と
を備えた計測システム。
【請求項2】
前記第1のカメラと共に移動する第2のカメラと、
前記第1の基準点群と前記第2の基準点群を照明する照明装置と
を備え、
前記第2のカメラは熱画像カメラであり、
前記第1の基準点および前記第2の基準点は識別表示を備え、
前記識別表示は、熱絶縁体上に接して配置された黒と白の表示を含んでいる請求項1に記載の計測システム。
【請求項3】
前記第1のカメラおよび前記第2のカメラは、前記第1の基準点群の上方を移動し、
前記第2の基準点群は、前記第1の基準点群を水平方向で挟む位置に配置され、
前記第2の基準点群は、前記第1の基準点群よりも低い位置に配置されている請求項2に記載の計測システム。
【請求項4】
前記第1の基準点群と前記第2の基準点群を構成するターゲットを保持するフレーム構造体を有し、
前記フレーム構造体は、
前記移動の方向に延長し、前記第1の基準点群を構成する複数の基準点ターゲットを保持する第1のフレームと、
前記第1のフレームに水平方向で直交した状態で固定された第2のフレームと
を備え、
前記第2のフレームに前記第2の基準点群を構成するターゲットが保持されている請求項3に記載の計測システム。
【請求項5】
前記計測空間は、人工事象器の内部空間であり、
照明装置は、前記人工気象器の照明である請求項2に記載の計測システム。



【発明の詳細な説明】
【技術分野】
【0001】
本発明は、植物の三次元計測を行う技術に関する。
【背景技術】
【0002】
三次元写真計測を行うには、カメラの撮影時における位置と姿勢を求める標定を行うための基準点を与えるターゲットが必要となる。特許文献1には、植物の三次元写真計測に利用されるターゲットについて記載されている。特許文献2には、三次元写真計測に利用されるターゲットの位置が変更できる技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-139749号公報
【特許文献2】特開2003-42726号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
植物の三次元写真計測を行う場合、成長した茎や葉により、カメラから見て標定用のターゲットが隠れ、このターゲットがカメラの撮影画像に写らなくなる問題が生じる。また、植物の三次元構造は複雑であり、死角なく撮影を行う必要がある。死角なく撮影を行うには、多数のカメラを用いればよいが、数多くのカメラを用いることはコスト高であり、またシステムが複雑化し、好ましくない。
【0005】
このような背景において、植物の3次元計測を効率よく行えるシステムの提供を目的とする。
【課題を解決するための手段】
【0006】
本発明は、植物が配置される計測空間と、前記計測空間を撮影し、特定の方向に移動が可能な可視画像の撮影を行う第1のカメラと、前記第1のカメラにより撮影され、前記移動の方向に沿って配置された複数の基準点により構成される第1の基準点群と、第1の基準点群と高さ位置と水平位置が異なり、前記計測空間を囲む位置に配置された複数の基準点により構成された第2の基準点群とを備えた計測システムである。
【0007】
本発明において、前記第1のカメラと共に移動する第2のカメラと、前記第1の基準点群と前記第2の基準点群を照明する照明装置とを備え、前記第2のカメラは熱画像カメラであり、前記第1の基準点および前記第2の基準点は識別表示を備え、前記識別表示は、熱絶縁体上に接して配置された黒と白の表示を含んでいる態様が挙げられる。
【0008】
本発明において、前記第1のカメラおよび前記第2のカメラは、前記第1の基準点群の上方を移動し、前記第2の基準点群は、前記第1の基準点群を水平方向で挟む位置に配置され、前記第2の基準点群は、前記第1の基準点群よりも低い位置に配置されている態様が挙げられる。
【0009】
本発明において、前記第1の基準点群と前記第2の基準点群を構成するターゲットを保持するフレーム構造体を有し、前記フレーム構造体は、前記移動の方向に延長し、前記第1の基準点群を構成する複数の基準点ターゲットを保持する第1のフレームと、前記第1のフレームに水平方向で直交した状態で固定された第2のフレームとを備え、前記第2のフレームに前記第2の基準点群を構成するターゲットが保持されている態様が挙げられる。本発明において、前記計測空間は、人工事象器の内部空間であり、照明装置は、前記人工気象器の照明である態様が挙げられる。
【発明の効果】
【0010】
本発明によれば、植物の3次元計測を効率よく行えるシステムが得られる。
【図面の簡単な説明】
【0011】
図1】植物の3次元計測を行うシステムを示す図である。
図2】植物の3次元計測を行うシステムを示す図である。
図3】RGB画像と熱画像を示す図面代用写真である。
【発明を実施するための形態】
【0012】
1.第1の実施形態
(構成)
図1には、植物の三次元計測システム100が示されている。図2は、図1をX軸正の方向から見た図である。三次元計測システム100は、三次元計測の対象である植物(この場合は、図2の稲102)が配置される計測空間110と、前記計測空間100を撮影し、特定の方向(X軸方向)に移動が可能な可視画像の撮影を行うRGBカメラ111,112および熱画像カメラ113,114と、RGBカメラ111,112および熱画像カメラ113,114により撮影され、前記移動の方向に沿って配置された複数の基準点ターゲット221~224により構成される第1の基準点群と、第1の基準点群と高さ位置と水平位置が異なり、前記計測空間110を水平方向で囲む位置に配置された複数の基準点ターゲット241~244により構成された第2の基準点群とを備える。
【0013】
三次元計測システム100は、人工気象器の内部で実現されている。計測空間110は、図示しない壁や天板により、外部から遮断され密閉されている。この計測空間110は、温度、湿度、照度、雰囲気が所定のものとなるように調整されている。人工気象器は公知の技術を利用して構築されている。
【0014】
三次元計測システム100は、土台(床面)上に配置されたポット101に植えられた稲102(図1では図視せず、図2参照)の三次元写真計測を行う。稲102が植えられたポッド101は、2列に多数が配置されている。
【0015】
三次元計測システム100における三次元写真計測では、RGB可視画像に基づき作成した点群データと、熱画像に基づき作成した点群データを統合した三次元データを得る。可視画像に基づく三次元データと熱画像に基づく三次元データを統合する技術については、例えば特願2022―22258号に記載されている。
【0016】
上記稲のRGB可視画像は、RGBカメラ111,112により撮影され、熱画像は熱画像カメラ113,114により撮影される。RGBカメラ111,112は、RGB(赤、緑、青)のカラー画像を撮影するカメラであり、熱画像カメラ113,114は赤外線カメラであり、この例において、熱画像カメラ113,114は、室温付近の熱画像を撮影する機能を有し、波長7μm~14μmの赤外線に感度を有するものが利用されている。
【0017】
各2台のカメラを用いるのは、死角を極力無くすためである。RGBカメラ111,112は、Y軸方向に並んで配置され、X軸方向に移動しながら下方を撮影する。同様に、熱画像カメラ113,114は、Y軸方向に並んで配置され、X軸方向に移動しながら下方を撮影する。RGBカメラ111,112と熱画像カメラ113,114が一体化されており、全体で一体となって移動する。RGBカメラと熱画像カメラの数は特に限定されず、各1台も可能である。なお、RGBカメラと熱画像カメラが各1台だと死角が発生する可能性が増大し、台数が多くなると、設備が大規模化し、コストが増大する。
【0018】
RGB画像と熱画像の撮影では、時間軸上で隣接する撮影画像の撮影範囲が一部重複するように撮影の間隔とカメラの移動速度が設定される。例えば、時刻T1において第1のRGB画像の撮影が行われ、次に時刻T2において次の第2のRGB画像の撮影が行われるとする。この場合、第1のRGB画像と第2のRGB画像が一部で重複するようにする。これは、熱画像も同じである。各カメラは、レール115に吊り下げられ、図示しないモータによって駆動され、一体となってX軸方向に移動する。
【0019】
移動しながらの撮影により、異なる多視点からの撮像画像が得られる。この多視点からの撮像画像を用いたSFM(Structure from Motion)により、稲の三次元写真計測が行われる。
【0020】
SFMを行うには、基準点を撮影し、カメラの標定を行う必要がある。図1の例では、仮想基準点フレーム200を用いて、基準点を確保している。仮想基準点フレーム200は、RGBカメラ111,112と熱画像カメラ113,114の移動方向(X軸方向)に延長した長手形状の部材であるメインフレーム201を備える。メインフレーム201の両側に複数のポッド101が置かれている。すなわち、X軸上の2列に並んで配置された稲と稲の間にメインフレーム201が位置するように仮想基準点フレーム200が設置されている。
【0021】
メインフレーム201の両端には、水平方向で直交する長手形状のサブフレーム202,203が結合している。サブフレーム202の両端は2本の脚部204,205によって土台(人工気象器の床面)上で支持されている。サブフレーム203の両端は2本の脚部206,207によって土台上で支持されている。
【0022】
メインフレーム201には、上記カメラの移動方向に沿って、上方に延長する基準点ターゲット支持部材211~214が固定されている。基準点ターゲット支持部材211~214の上端には、それぞれ基準点ターゲット221~224が固定されている。
【0023】
基準点ターゲット221~224は、コード化ターゲットである。コード化ターゲットは、個別に画像中から識別が可能であり、且つ、その中心が画像中から正確に特定できる図形コードが表示された標定用のターゲットである。基準点ターゲットは、画像認識できる他の形態のものを利用することもできる。
【0024】
基準点ターゲット221~224は、熱絶縁体(この例では、薄板状のコルク)によって、基台から熱絶縁されて配置されている。この例において、基準点ターゲット211は、基準点ターゲット支持部211の上端に固定されたアルミ板、その上に接して固定された厚さ5mmのコルク板、このコルク板上に接して固定された白い厚さ1mmのプラスチック板により構成される。この白いプラスチック板の表面にコード化ターゲットの表示が黒の顔料を用いてプリントされている。この構造により、プリントパターンをRGB画像上および熱画像上で識別できる。他の基準点ターゲットもコード化ターゲットの識別用のコードの表示内容は異なるだけで構造は同じである。
【0025】
熱絶縁体は、熱伝導率が0.1W/(m・k)以下、好ましくは0.05W/(m・k)以下のものが好ましい。熱絶縁体としては、発泡スチロールや発泡ウレタンも利用できる。
【0026】
基準点ターゲット221~224が熱画像上で識別できるのは、以下の理由による。人工気象器の内部は、LED照明装置116により明るく照らされている。この照明は、植物の育成のための照明であり、自然光に近い波長分布のものが採用されている。
【0027】
この可視光の照明は、ターゲット表面の黒色部分に相対的に高い効率で吸収される。他方において、白色部分での可視光の吸収効率は相対的に低い(黒色は可視光を高効率で吸収し、白色は可視光を高効率で反射する)。
【0028】
このため、黒色部分は可視光の照明を受けて温度が上昇するが、白色部分の温度の上昇はそれ程でもなく、両者に温度差が生じる。この傾向は、熱絶縁により顕在化する。すなわち、熱絶縁構造により、基準点ターゲットにおける上記の温度差が生じやすくなる。
【0029】
ところで、温度が上昇した物体は、輻射熱を放射し、この輻射熱は赤外帯域の電磁波として放射される。熱輻射のエネルギーは、温度の4乗に比例するので、極めて僅かな温度差であっても輻射熱のエネルギーには差が生じる。特に黒い顔料は輻射効率が高いので、その傾向が大となる。よって、強い可視光の照明を受けているターゲット表面の黒色の部分は相対的に強い輻射熱(赤外帯域の電磁波)の放射を行い、白色の部分からの輻射熱の放射はそれ程でもない状態となる。この結果、ターゲット表面の黒色の部分と白色の部分の識別が熱画像上で可能となる。
【0030】
なお、熱絶縁を行わないと、熱画像中における基準点ターゲットの模様が明確でなく、その検出が困難であることは実験により確認されている。これは、基準点ターゲットが置かれた基材に黒色部分の熱が逃げ、上記の温度差が生じる現象が抑制されるからであると考えられる。
【0031】
以下、この点に関する実証データを説明する。図3は、熱絶縁構造有と熱絶構造無しのターゲットのRGB画像と熱画像である。図3には、ターゲットとして黒と白のチェッカー模様(市松模様)を表示したものが示されている。ここで、熱絶縁構造有りは、基台となるアルミ板上にコルク板を介して白黒の市松模様を描いた紙のターゲットを張り付けたものであり、熱絶縁構造無しは、基台となるアルミ板上に白黒の市松模様を描いた紙のターゲットを直接貼り付けたものである。また、撮影時には図1の人工気象器内と同様の照明を行っている。
【0032】
図3から明らかなように、熱絶縁構造を採用することで、可視画像中で識別でき、且つ、熱画像中でも識別できるターゲット表示を実現できる。
【0033】
以上の基準点ターゲットに関する事柄は、後述する基準点ターゲット241~244においても同様である。
【0034】
基準点ターゲット221~224の間隔や241~244の間隔(隣接する基準点ターゲット間の離間距離)は、既知な値とされている。これにより、計測空間にスケール(実寸法)が与えられる。寸法が既知の間隔は、少なくとも2つの基準点ターゲット間におけるものでもよい。
【0035】
サブフレーム202の両端には、上方に延長する基準点ターゲット支持部材231,232が固定され、サブフレーム203の両端には、上方に延長する基準点ターゲット支持部材233,234が固定されている。基準点ターゲット支持部材231の上には、基準点ターゲット241が固定されている。基準点ターゲット支持部材232の上には、基準点ターゲット242が固定されている。基準点ターゲット支持部材233の上には、基準点ターゲット243が固定されている。基準点ターゲット支持部材234の上には、基準点ターゲット244が固定されている。
【0036】
(基準点ターゲットの位置について)
基準点ターゲット221~224は、RGBカメラ111,112と熱画像カメラ113,114の移動方向に沿って配置され、またその高さ位置は、ポッド101に植えられた稲の最終的に成長した高さよりも高い位置が選択されている。
【0037】
基準点ターゲット221~224をカメラの移動方向に沿って配置することで、SFMにおける標定(撮影時のカメラの位置と姿勢を求める処理)が効率よく行える。また、基準点ターゲット221~224の高さ位置を上記の位置とすることで、成長した稲によって基準点ターゲット221~224の少なくとも一つが隠れ、撮影に支障が出ないようにしている。
【0038】
基準点ターゲット241~244は、計測対象(この場合は、図2の稲102)が存在する計測空間110を水平方向で囲むように、該空間110の4隅に配置され、また基準点ターゲット221~224よりも高さが低い位置に配置されている。
【0039】
基準点ターゲット241~244には、以下の役割がある。図1および図2のシステムでは、RGB画像由来の点群データと、熱画像由来の点群データを統合した点群データを得る。
【0040】
この統合では、RGB画像由来の点群データと、熱画像由来の点群データのマッチング(位置合わせ)の精度が重要となる。一般に2つの点群データの位置合わせは、両者で共通する基準点を用いて行われる。基準点を用いないマッチングも理論上は可能であるが、演算の負担が大きく、高い精度は期待できないのが現状である。
【0041】
特に、RGB画像(可視画像)に基づく点群データと熱画像に基づく点群データは、質的に異なる対象が特徴点となるので、同じ範囲であっても点同士が必ずしも重複しない。すなわち、RGB画像から抽出された特徴点は、色や濃淡の境、形状のエッジ部分等から抽出されるが、熱画像から抽出された特徴点は、温度差のある部分から抽出される。両者は、抽出の対象が異なり、必ずしも対応しない。このため、基準点を用いないで、RGB画像に基づく点群データと熱画像に基づく点群データのマッチングを行った場合、高い精度を期待できない。
【0042】
図1のシステムでは、RGB画像に基づく点群データと熱画像に基づく点群データのマッチングに、一例に並んだ基準点ターゲット221~224と、4隅に配置され、基準点ターゲット221~224と高さが異なる基準点ターゲット241~244を用いる。基準点ターゲット221~224は、直線上に配置されているので、それだけでは、空間的に広がりのある点群同士のマッチングの精度の追求には、限界がある。
【0043】
そこで、基準点ターゲット221~224と上下位置が異なり、また水平方向において2次元的に分布した基準点ターゲット241~244を併用する。基準点ターゲット221~224と基準点ターゲット241~244を利用することで、計測対象の3次元空間内の3次元的(X軸方法、Y軸方向およびZ軸方向)に基準点ターゲットが分布した状態となり、RGB画像に基づく点群データと熱画像に基づく点群データのマッチングの精度を高めることができる。
【0044】
なお、基準点ターゲット241~244を基準点ターゲット221~224よりも高い位置に配置する構成も考えられるが、RGBカメラ111,112と熱画像カメラ113,114の画角(図2参照)を考えると、基準点ターゲット241~244を基準点ターゲット221~224よりも低い位置に配置する構成が好ましい。
【0045】
また、標定におけるスケールは、基準点ターゲット241~244により与えられるので、位置が固定されているのであれば、基準点ターゲット221~224における隣接する基準点ターゲット間の離間距離の情報は未知でもよい(勿論、既知であってもよい)。
【0046】
(三次元計測について説明)
RGBカメラ111,112および熱画像カメラ113,114をX軸方向に移動させながら、多数の静止画(可視カラー画像(RGB画像)と熱画像)の撮影を行う。この際、隣接する画像が一部で重複するように撮影間隔とカメラの移動速度を設定する。多数のRGB画像と熱画像を得たら、SFMの原理により、RGB画像に基づく点群データと熱画像に基づく点群データを得る。この際、基準点ターゲット221~224及び241~244を用いた相互標定および絶対標定が行われる。
【0047】
基準点ターゲット221~224及び241~244は、熱画像中でも画像認識できるので、熱画像に関してもSFMによる点群データの作成が可能である。
【0048】
絶対標定では、基準点ターゲット221~224や241~244の間隔の値が既知であることが利用され、相互標定で得られた相対三次元モデルにスケール(実寸法)が与えられる。
【0049】
RGB画像に基づく点群データと熱画像に基づく点群データを得たら、両点群データを統合する。この際、基準点ターゲット221~224および基準点ターゲット241~244が両点群データにおける共通の基準点として利用され、両点群データの対応関係の特定が行われる。ここで、基準点ターゲット221~224および基準点ターゲット241~244が計測空間100内に上下左右に3次元的に分布しているので、2つの点群データのマッチングを効率良くまた高精度に行うことができる。
【0050】
(優位性)
仮想基準点フレーム200を用いることで、複数の基準点の位置関係がフレームにより固定され、個別に基準点ターゲットを配置する煩雑さが解消される。また、移動するカメラによるSFMに適した基準点、および可視画像に基づく点群データと熱画像に基づく点群データの統合に適した基準点を効率よく計測空間に設置できる。このため、植物の3次元計測を効率よく行うことができる。
【0051】
(変形例)
更に基準点ターゲットを追加することもできる。例えば、メインフレーム201上やサブフレーム202,203上に更に基準点ターゲットを配置してもよい。基準点の位置の測定にレーザースキャナやトータルステーションを用いることもできる。この場合、スケールの設定は不要であり、レーザースキャンやトータルステーションのデータから隣接する基準点間の離間距離の情報が得られる。
【0052】
メインフレーム201の中央の部分から水平に+Y軸方向および-Y軸方向に腕を伸ばし、基準点ターゲット231や232と同様な基準点ターゲットを追加してもよい。この場合、周囲6点に配置された基準点ターゲットにより計測空間110が囲まれる。このため、RGB画像に基づく点群データと熱画像に基づく点群データのマッチングの精度を更に高めることができる。メインフレーム201を更に長くし、X軸方向に沿ってさらに多くの基準点ターゲットを配置することもできる。
【0053】
仮想基準点フレーム200は、可視画像に基づく2つの点群データのマッチング、熱画像に基づく2つの点群データのマッチングに利用することもできる。仮想基準点フレーム200は、計測対象の3次元空間に、(1)SFMに適したカメラの移動方向に沿った複数の第1の基準点群の設置、(2)2つの点群データのマッチングに適した、第1の基準点群を水平方向で挟み、上下方向で離間した第2の基準点群の設置を可能とする。第1の基準点群と第2の基準点群を用いたマッチング精度への寄与は、一般的な2つの点群データのマッチングにおいても有効である。
【0054】
各フレームを伸縮可能とし、隣接する基準点ターゲット間の距離を変更できる構造も可能である。RGBカメラに加えて、またはそれに加えて、モノクロカメラ、特定の波長帯域を撮影するカメラ、マルチスペクトルカメラを利用することもできる。
【符号の説明】
【0055】
100…計測システム、101…植物が植えられるポッド、110…計測対象の空間、111,112…RGBカメラ、113,114…熱画像カメラ、115…レール、116…LED照明装置、201…メインフレーム、200…仮想基準点フレーム、202,203…サブフレーム、204~207…脚部、211~214…基準点ターゲット支持部材、221~224…基準点ターゲット、241~244…基準点ターゲット、231~234…基準点ターゲット支持部材。


図1
図2
図3