(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-28
(45)【発行日】2023-04-05
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、および構造体
(51)【国際特許分類】
G09B 29/00 20060101AFI20230329BHJP
G01C 11/04 20060101ALI20230329BHJP
G09B 29/10 20060101ALI20230329BHJP
B64D 47/08 20060101ALI20230329BHJP
【FI】
G09B29/00 Z
G01C11/04
G09B29/10 A
B64D47/08
(21)【出願番号】P 2019103839
(22)【出願日】2019-06-03
【審査請求日】2022-01-31
【国等の委託研究の成果に係る記載事項】(出願人による申告)国立研究開発法人農業・食品産業技術総合研究機構、戦略的イノベーション創造プログラム(SIP)「スマートバイオ産業・農業基盤技術」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】松島 健一
【審査官】柳 重幸
(56)【参考文献】
【文献】実開昭63-084700(JP,U)
【文献】国際公開第2017/175804(WO,A1)
【文献】Phong Ha Nguyen, Ki Wan Kim, Young Won Lee, and Kang Ryoung Park,Remote Marker-Based Tracking for UAV Landing Using Visible-Light Camera Sensor,sensors,MDPI,2017年08月30日,Vol.9, Iss.9, 1987,https://www.mdpi.com/journal/sensors,特に、Figure2参照[2022年10月21日検索]
(58)【調査した分野】(Int.Cl.,DB名)
G09B 23/00-29/14
G01C 11/04
B64D 47/08
(57)【特許請求の範囲】
【請求項1】
地球表面を撮像して得られる撮像画像を取得する取得部と、
前
記取得部が取得した撮像画像から、
方向性が規定できる図柄又は形状を有し方向性を有する少なくとも1つの対空標識を含む複数の対空標識を抽出し、抽出した対空標識の少なくとも2つを繋ぐ境界線を示す境界線情報を生成する境界線情報生成部と、
を備えていることを特徴とする情報処理装置。
【請求項2】
前記取得部は、
前記複数の対空標識の緯度情報及び経度情報、または、
前記複数の対空標識の緯度情報、経度情報及び高度情報
を取得し、
前記境界線情報生成部は、
前記緯度情報及び経度情報、または、
前記緯度情報、経度情報及び高度情報
を参照して、閉合した境界線によって形成された領域を示す前記境界線情報を生成する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記対空標識には、属性が予め規定されており、
前記境界線情報生成部は、前記対空標識に予め規定された属性を用いて、前記境界線、
及び前記境界線で囲われた領域に係る属性情報を含む前記境界線情報を生成する
ことを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記境界線情報生成部は、
前記撮像画像に含まれる複数の対空標識のうち、ある1つの対空標識である第1の対空標識の周辺に探索範囲を設定し、
設定した探索範囲に含まれる1又は複数の第2の対空標識を参照し、当該第2の対空標識の何れかと、前記第1の対空標識とを繋ぐペアリング処理を実行し、
前記ペアリング処理が成功した前記第1の対空標識と当該第2の対空標識とを繋ぐ境界線を示す境界線情報を生成する
ことを特徴とする請求項1から3の何れか1項に記載の情報処理装置。
【請求項5】
前記境界線情報生成部は、
前記探索範囲に複数の第2の対空標識が含まれる場合、当該複数の第2の対空標識に付された優先度の順に前記ペアリング処理を実行する
ことを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記境界線情報生成部は、
前記複数の第2の対空標識のうち、前記第1の対空標識からの距離がより近い第2の対空標識に対してより高い優先度を設定する
ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記境界線情報生成部は、
前記第1の対空標識として
、方向性が規定できる図柄又は形状を有し方向性を有する対空標識を選択し、前記探索範囲を当該方向性に応じて設定する
ことを特徴とする請求項4から6の何れか1項に記載の情報処理装置。
【請求項8】
前記境界線情報生成部は、
前記探索範囲における前記第2の対空標識が
、方向性が規定できる図柄又は形状を有し方向性を有している場合には、前記第1の対空標識の方向性と前記第2の対空標識の方向性との差が所定の範囲内である場合に、当該第1の対空標識と前記第2の対空標識とのペアリングが成功したと判定し、
前記探索範囲における前記第2の対空標識が方向性を有していない場合には、当該第1の対空標識と前記第2の対空標識とのペアリングが成功したと判定する
ことを特徴とする請求項7に記載の情報処理装置。
【請求項9】
前記境界線情報生成部は、
前記境界線情報として、閉合した境界線によって形成されたある領域から他の領域への移動経路の境界を示す境界線情報を生成する
ことを特徴とする請求項3に記載の情報処理装置。
【請求項10】
前記対空標識は、杭に対して
当該杭の延伸方向が前記対空標識の法線方向に沿うように、かつ、
前記対空標識が前記杭の延伸方向を回転軸として、前記杭に対して回転可能となるように接続されている
ことを特徴とする請求項1から9の何れか1項に記載の情報処理装置。
【請求項11】
地球表面を撮像して得られる撮像画像を取得する取得ステップと、
取得した前記撮像画像から、
方向性が規定できる図柄又は形状を有し方向性を有する少なくとも1つの対空標識を含む複数の対空標識を抽出し、抽出した対空標識の少なくとも2つを繋ぐ境界線を示す境界線情報を生成する境界線情報生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項12】
請求項1に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、上記取得部、および上記境界線情報生成部としてコンピュータを機能させるためのプログラム。
【請求項13】
方向性が規定できる図柄又は形状を有する対空標識と、
杭とを備え、
前記杭は、
当該杭の延伸方向が前記対空標識の法線方向に沿うように、かつ、
前記対空標識が前記杭の延伸方向を回転軸として、前記杭に対して回転可能となるように、
前記対空標識に対して接続されてい
る構造体
が備えている対空標識を、
方向性を有する少なくとも1つの前記対空標識として用いることを特徴とする、請求項11に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラム、および構造体に関する。
【背景技術】
【0002】
従来、無人航空機(UAV:Unmanned Aerial Vehicle)等を用いて撮像した画像を用いて地形の測量や、地図の作成を行う航空写真測量による自動図化法が知られている(例えば、特許文献1参照)。これらの方法では、画像から、色の相違等によって道路の白線を認識したり、形状認識によって標識などを認識したりすることにより、自動で地図を作成している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述のような従来技術は、例えば農場や建設現場のように、画像からの白線認識や標識等の形状認識により法肩位置や境界を検知することが難しい場所については、地理データを簡便に、且つ確実に生成することはできないという問題がある。
【0005】
本発明の一態様は、上述した事情に鑑みてなされたものであり、航空測量よる情報を適切に処理し、簡便かつ正確に地理データを生成する技術を実現することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、地球表面を撮像して得られる撮像画像を取得する取得部と、前記取得部が取得した撮像画像から、方向性を有する少なくとも1つの対空標識を含む複数の対空標識を抽出し、抽出した対空標識の少なくとも2つを繋ぐ境界線を示す境界線情報を生成する境界線情報生成部と、を備えている。
【0007】
また、上記の課題を解決するために、本発明の一態様に係る構造体は、方向性が規定できる図柄又は形状を有する対空標識と、杭とを備え、前記杭は、当該杭の延伸方向が前記対空標識の法線方向に沿うように、かつ、前記対空標識が前記杭の延伸方向を回転軸として、前記杭に対して回転可能となるように、前記対空標識に対して接続されている。
【発明の効果】
【0008】
本発明の一態様によれば、航空測量よる情報を適切に処理し、簡便かつ正確に地理データを生成することができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態に係る情報処理装置を含む情報処理システムの概要構成を示すブロック図である。
【
図4】対空標識を用いた測量現場の例を示す図である。
【
図7】情報処理装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、詳細に説明する。
図1は、本発明の実施形態に係る情報処理装置10を含む情報処理システム100の概要構成を示すブロック図である。
図1に示すように、情報処理システム100は、UAV80と、情報処理装置10と、対空標識60と、を含んでいる。
【0011】
UAV80は、例えばラジコンにより目視操縦される無人航空機である。UAV80は、カメラ85を備えている。
【0012】
カメラ85は、飛行中のUAV80から、地球表面を撮像した撮像画像を得る。カメラ85は、UAV80の操縦者、または画像撮影を行う撮影者、による操作に応じて、地球表面を撮像する構成であってもよいし、UAV80の飛行中は、連続的に地球表面を自動で撮像する構成であってもよい。
【0013】
なお、カメラ85は、無人航空機であるUAV80に限らず、有人航空機に設置され、有人飛行による飛行中に、地球表面を撮像した撮像画像を得てもよい。本実施形態では、無人航空機であるUAV80を用いる構成について説明しているが、無人航空機に代えて、有人航空機を用いても良いことは言うまでもない。
【0014】
(情報処理装置10の構成)
情報処理装置10は、取得部20と、境界線情報生成部30と、マップ情報生成部40と、シミュレーション部50と、を含んでいる。
【0015】
取得部20は、処理対象の情報を外部の機器から取得する。取得部20は、無線通信によりUAV80と通信する。取得部20は、例えば、所定の周波数帯の無線LANを介して、UAV80と通信し、UAV80から処理対象の情報を取得する。
【0016】
また、取得部20は、SDカード、およびマイクロSDカード等の記録媒体から情報を読み込むカードリーダを備え、記録媒体から処理対象の情報を取得してもよい。
【0017】
取得部20は、画像取得部21と、位置情報取得部22と、を含んでいる。画像取得部21は、UAV80から無線通信を介して送信される地球表面を撮像して得られた撮像画像を取得する。
【0018】
位置情報取得部22は、画像取得部21が取得した撮像画像を参照して、撮像画像中の対空標識60の緯度情報及び経度情報、または緯度情報、経度情報及び高度情報を取得する。対空標識60には、当該対空標識60の位置を特定するための位置情報61が付されている。
【0019】
位置情報61は、対空標識60の緯度及び経度(X,Y)を特定するための情報である。また、位置情報61は、対空標識60の高度情報(Z)を含んでいてもよい。本実施形態では、対空標識60の位置情報61は、緯度情報、経度情報、及び高度情報を含む(X,Y,Z)とする。
【0020】
対空標識60には、位置情報61を特定するための位置情報ラベルが付されている。位置情報ラベルは、(X,Y,Z)を特定するための「1」「2」「3」・・、「A」「B」「C」・・等の英数字等の例であってもよいし、2次元バーコードのような画像であってもよい。位置情報取得部22は、画像取得部21が取得した撮像画像中に含まれる位置情報ラベルから対空標識60の位置情報61を取得してもよい。
【0021】
また、対空標識60には、位置情報61として、当該対空標識60を、他の対空標識と識別するための識別情報を示す識別ラベルが付されていてもよい。位置情報取得部22は、画像取得部21が取得した撮像画像中に含まれる識別ラベルから対空標識60の識別情報を特定し、特定した識別情報から位置情報61(X,Y,Z)を特定する構成としてもよい。この場合、位置情報取得部22は、各識別情報と各(X,Y,Z)とが対応付けられた対応情報をメモリに格納しており、当該対応情報を参照することで、位置情報61(X,Y,Z)を特定する構成であってもよい。
【0022】
境界線情報生成部30は、対空標識抽出部31と、探索範囲設定部32と、ペアリング処理部33と、を含んでいる。
【0023】
対空標識抽出部31は、画像取得部21が取得した撮像画像から少なくとも1つの対空標識60を抽出する。
【0024】
図2は、対空標識60の例である対空標識60a~60iをそれぞれ示している。対空標識60には、人間および画像解析により方向性が規定できる図柄または形状を有する標識である「方向性を有する対空標識」と、方向性が規定できる図柄または形状を有していない標識である「方向性を有していない対空標識」とが含まれる。
【0025】
対空標識60aは、楕円3の長軸の両延伸方向に直線ベクトルV1を持つ、方向性を有する楕円型標識である。対空標識60bは、丸型標識であり、方向性を持たず、節点として用いられる。対空標識60cは、円の中心点を始点として、尖った方向に直線のベクトルV2を持つ方向性を有する雫型標識である。
【0026】
対空標識60dは、黒色に着色された部分の1つの頂点VT1から正方形の外枠延長線上の2つの直交した直線ベクトルV3,V4を持つ、方向性を有する正方形型標識である。対空標識60eは、黒色に着色された部分の2つの頂点VT2,VT2’を結んだ直線の両延伸方向にベクトルV5を持つ、方向性を有する長方形型標識である。
【0027】
対空標識60fは、白色の正方形部分SQ1と、黒色に着色された正方形部分SQ2と、その他の色、例えば黄色に着色された長方形部分RC1とを有する3色正方形型標識である。対空標識60fは、黄色に着色された長方形部分RC1側を作業機の通行側に向くように配置され、黒色に着色された正方形部分SQ2の1つの頂点VT3から正方形の外枠延長線上の外側方向に2つの直交した直線ベクトルV6,V7を形成する。対空標識60fの通行方向に一致する直線ベクトルV7は、隣接する他の対空標識60と結合して直線ベクトルを形成する。また、対空標識60fのもう一方の通行方向に直交する直線ベクトルV6は、設定した任意の長さに対して他の対空標識60がなければ、所定の長さの直線ベクトルを形成する。
【0028】
これらの対空標識60は、背景(
図2に示した対空標識では白色の部分)の色を変えることで、設置される地表の属性を定義することができてもよい。例えば、地表が道路なら背景を黄色、水路なら背景を水色といったように、属性によって色を定義することができてもよい。対空標識60d~fに示すうに、対空標識60は、標識の背景の少なくとも一部を、属性に応じた色に着色することによって、地表の属性を判別することができる構成であってもよい。また、対空標識60は、属性に応じた色に着色する位置によって、当該属性の地表の境界線に対する位置を示すことができてもよい。
【0029】
また、図示は省略するが、対空標識60d,60e,60fが、色によって地表の属性を定義する機能を備えている構成であってもよい。この場合には、対空標識60d,60e,60fの
図2に白色に示した部分を地表の属性に応じた色に着色することができる。
【0030】
上述のように対空標識60に付された属性は、対空標識抽出部31によって抽出され、抽出された属性は、境界線情報生成部30が境界線情報を生成する際に参照される。
【0031】
図2に示したように、対空標識60には、方向性を有する対空標識60(例えば、対空標識60a,60c,60d,60e,60f,60g,60i)と、方向性を有さない対空標識60(例えば、対空標識60b,60h)とがある。対空標識抽出部31は、画像取得部21が取得した撮像画像から、方向性を有する少なくとも1つの対空標識60を含む複数の対空標識60を抽出する。境界線情報生成部30は、対空標識抽出部31が抽出した対空標識60の少なくとも2つを繋ぐ境界線を示す境界線情報を生成する。
【0032】
つまり、情報処理装置10は、デジタル地図上に境界線を付加したい地点上に実際に物理的に設置されたこれらの対空標識の図柄または形状を、対空標識抽出部31の機能により、画像解析によって自動認識させる。そして、情報処理装置10は、対空標識抽出部31が画像から抽出した対空標識について、境界線情報生成部30の機能により、さらにその図柄または形状から方向性を画像認識によって分析し、少なくとも1つ以上の他の対空標識とマッチングさせることで境界線情報を生成する。
【0033】
図3は、別の対空標識60の例である対空標識60j~60oをそれぞれ示している。
対空標識60j、及び対空標識60kは、V字の尖った方向に直線のベクトルV7,V8を持つ方向性を有する対空標識である。また、対空標識60lは、矢印の向く方向に直線のベクトルV9を持つ方向性を有する対空標識である。これらの対空標識60j,60k,60lは、上述した雫型標識と同様の用途で用いることができる。
【0034】
対空標識60mは、菱形の長軸方向の頂点を結び直線の両延伸方向に直線ベクトルV10を持つ方向性を有する対空標識である。対空標識60nは、長方形の中心を通り、長辺方向に延びる直線の両延伸方向に直線ベクトルV11を持つ方向性を有する対空標識である。対空標識60oは、矢印の向く両方向に直線ベクトルV12を持つ方向性を有する対空標識である。これらの対空標識60m,60n,60oは、上述した楕円型標識と同様の用途で用いることができる。
【0035】
図2、および
図3に示すように対空標識60は、様々な態様の、人間および画像解析により方向性が既定できる図柄または形状を有する標識とすることができる。
【0036】
図4は、複数の対空標識60が設置された測定対象エリアの例を示す図である。
図4に示すように、対空標識60は、道路、および圃場等の境界線に、互いに間隔をあけて配置され、道路、および耕作道等の法肩を判別するために用いられる。
【0037】
対空標識60は、例えば、楕円型標識である対空標識60aが、道路の路肩に沿って、標識に示された楕円の長軸方向が互いに一致するように複数並べて設置される。また、対空標識60は、例えば、雫型標識である対空標識60cが、道路の路肩上に標識に示された円の中心が一致し、標識に示された三角形の尖った方向が路肩に沿って互いに一致するように複数並べて設置される。また、対空標識60は、例えば、丸型標識である対空標識60bが、道路の路肩上に標識に示された円の中心が一致するように複数並べて設置される。また、対空標識60a,60b,60cを組み合わせて、境界線を定義することができてもよい。
【0038】
具体的には、対空標識60a,60b,60cは、測定対象エリアの現地視認により、道の法肩と判断される、
図4に破線で示した境界線BL上に設置される。丸型標識である対空標識60bは、ベクトル成分を持たないため、対空標識60bの前後には、ベクトル成分を持つ雫型標識である対空標識60c、または楕円型標識である対空標識60aが配置される。
【0039】
図5は、測定対象エリアにおける障害物の境界線を示すために対空標識60を配置する場合の、対空標識60の配置例を示す図である。
図5に示すように、長方形型標識である対空標識60eと、3色正方形型標識である対空標識60fとを用いて、障害物の境界線が示される。また、正方形型標識である対空標識60dを用いて障害物の境界線が示されてもよい。
【0040】
対空標識60は、例えば、正方形型標識である対空標識60dの頂点VT1、または3色正方形型標識である対空標識60fの頂点VT3が障害物の起点及び終点に設置されるように対空標識60を設置することで、作業機が稼働する領域に対する障害物の境界線を定義することができる。
【0041】
具体的には、
図4、および
図5に示すように、障害物とは、例えば、圃場の内側の領域、または外側の領域に設定された電柱、給水栓、ガードレール等である。これらの障害物の境界線は、
図5に示すように、対空標識60eと、対空標識60fとの組み合わせによって示すことができる。例えば、給水栓の範囲の、圃場の境界線に沿った起点及び終点に、3色正方形型標識である対空標識60fの頂点VT3が一致するように、対空標識60fを配置することで、作業機が稼働する領域に対して障害物となる給水栓の境界線を示してもよい。また、圃場の外側の領域に、例えばコンクリートの土台のような障害物がある場合には、障害物の、圃場の境界線に沿った起点及び終点を対空標識60fの頂点VT3で示すとともに、障害物が、起点と終点との間で連続して存在していることを、2つの対空標識60fの中間に配置された長方形型標識である対空標識60eで示してもよい。
【0042】
図4に示すように、3色正方形型標識である対空標識60fを用いて、障害物であるガードレールの境界線を示してもよい。この場合には、まず、ガードレールの起点と終点とを結んだ線分lを生成する。次に、道路の中心線に対して、対空標識60fの頂点VT3を通過する垂直線を生成する。そして、当該垂直線を、対空標識60fの頂点VT3から道路の外側方向に所定の長さ伸ばした線分mを生成する。これにより、対空標識60fを用いて生成した線分lと、線分mとによって障害物であるガードレールの境界線が示される。
【0043】
境界線情報生成部30は、画像取得部21が取得した撮影画像から対空標識抽出部31が抽出した複数の対空標識60と、位置情報取得部22が取得したこれらの複数の対空標識60のそれぞれの緯度情報及び経度情報を参照して、閉合した境界線によって形成された領域を示す境界線情報を生成する。また、境界線情報生成部30は、緯度情報及び経度情報に加え、上記対空標識の高度情報を更に参照して上記境界線情報を生成する構成としてもよい。高度情報を更に参照することによって、実際の地形により忠実な境界線情報を生成することができる。
【0044】
境界線情報生成部30によって生成される境界線情報は、撮影画像中の1つの対空標識60と、他の1つの対空標識60とを繋ぐ線分である境界線を特定するための情報である。境界線情報には、撮影画像中の複数の対空標識60のうち、少なくとも境界線の2つの端部の対空標識60の緯度情報および経度情報を含む位置情報が含まれている。また、境界線情報には、対空標識60によって示される境界線の方向性を示す情報が含まれている。
【0045】
更に、境界線情報には、境界線を規定する複数の対空標識60のそれぞれの緯度情報および経度情報を含む位置情報を含んでいてもよい。更に、複数の対空標識60のそれぞれの位置情報には、対空標識60の高度情報を含んでもよい。対空標識60の位置情報が高度情報を含む場合には、境界線情報には、境界線の方向性を示す情報として、境界線の鉛直方向の方向性に関する情報も含まれる。
【0046】
図6は、探索範囲設定部32によって設定される対空標識60の探索範囲SAを模式的に示す図である。
図6に示すように、境界線情報生成部30は、対空標識抽出部31が撮像画像から抽出した複数の対空標識60のうち、ある1つの対空標識60である第1の対空標識60Oの周辺に、探索範囲設定部32の機能により探索範囲SAを設定する。
【0047】
また、境界線情報生成部30は、探索範囲設定部32が設定した探索範囲SAに含まれる1または複数の第2の対空標識60P,60Q,60Rを参照し、第2の対空標識60P,60Q,60Rの何れかと、第1の対空標識60Oとを繋ぐペアリング処理をペアリング処理部33の機能により実行する。
【0048】
境界線情報生成部30は、ペアリング処理部33によってペアリング処理が成功した第1の対空標識60Oと、第2の対空標識60P,60Q,60Rの何れかとを繋ぐ境界線を示す境界線情報を生成する。
【0049】
境界線情報生成部30による境界線情報生成処理の具体例を
図6を用いて説明すると、境界線情報生成部30は、まず、対空標識抽出部31の機能により、撮像画像から、第1の対空標識を抽出する。対空標識抽出部31は、撮像画像から抽出した複数の対空標識60のうち、方向性を有する対空標識60を第1の対空標識として選択する。
図6は、地点Aに設置された楕円型標識である対空標識60Oが、第1の対空標識として抽出された例を示している。
【0050】
続いて、境界線情報生成部30は、探索範囲設定部32の機能により、探索範囲SAを設定する。探索範囲設定部32は、探索範囲SAを、第1の対空標識60Oの方向性に応じて設定する。第1の対空標識60Oは、楕円の長軸方向に直線ベクトルを持ち、探索範囲設定部32は、例えば、第1の対空標識60Oの長軸方向の前方および後方に対して所定の範囲を探索範囲SAとして設定する。探索範囲設定部32は、例えば、第1の対空標識60Oの楕円の長軸方向に延びるY軸に対して所定の範囲、例えばプラス15度~マイナス15度の範囲、またはプラス3m~マイナス3mの幅の範囲、またはこれらの両者を組み合わせた範囲を探索範囲SAとして設定する。このように、探索範囲設定部32は、第1の対空標識の方向性が示す方向に応じた探索範囲を設定する。
【0051】
境界線情報生成部30は、探索範囲設定部32が設定した探索範囲SAに、対空標識抽出部31によって抽出された複数の第2の対空標識60P,60Q,60Rが含まれる場合、ペアリング処理部33によって当該複数の第2の対空標識60P,60Q,60Rに付された優先度の順にペアリング処理を実行する。第2の対空標識60P,60Q,60Rには、ペアリング処理部33によって、例えば、第1の対空標識からの距離がより近いものにより高い優先度が設定される。
【0052】
また、境界線情報生成部30は、探索範囲SAにおける第2の対空標識が方向性を有している場合には、第1の対空標識60Oの方向性と第2の対空標識の方向性との差が所定の範囲内である場合に、第1の対空標識60Oと第2の対空標識とのペアリングが成功したと判定する。また、境界線情報生成部30は、探索範囲SAにおける第2の対空標識が方向性を有していない場合には、第1の対空標識60Oと第2の対空標識とのペアリングが成功したと判定する。
【0053】
探索範囲設定部32は、方向性を有する第1の対空標識60を原点とし、第1の対空標識60のベクトル方向を軸とした局所座標系を用いて、探索範囲SAを設定する。また、対空標識抽出部31は、第1の対空標識60のベクトル方向を軸とした局所座標系を用いて、探索範囲設定部32によって探索範囲SA内の第2の対空標識を探索する。ペアリング処理部33は、第1の対空標識60のベクトル方向を軸とした局所座標系を用いて、第1の対空標識60と第2の対空標識60とのペアリングが成功したか否かを判定する。
【0054】
図6は、探索範囲SA内に、第2の対空標識の候補として、対空標識60P,60Q,60Rが抽出された場合の例を示している。対空標識60P,60Q,60Rのうち、第1の対空標識60Oからの距離が最も近く、優先度の高い対空標識60Pは、楕円型標識であり、長軸方向に直線ベクトルを持つ。ペアリング処理部33は、第1の対空標識60Oと、対空標識60Pとのペアリング処理を実行する。ペアリング処理部33は、第1の対空標識60Oの方向性と対空標識60Pの方向性との差が、所定の範囲、例えばプラス15度~マイナス15度の範囲であれば、第1の対空標識60Oと対空標識60Pとのペアリングが成功したと判定する。
【0055】
図6に示した例では、第1の対空標識60Oの方向性と、第1の対空標識60Oの方向性とは、互いに直交し、所定の範囲ではないため、ペアリング処理部33は、第1の対空標識60Oと対空標識60Pとのペアリングが成功しなかったと判定する。
【0056】
ペアリング処理部33は、続いて、第1の対空標識60Oからの距離が次に近い対空標識60Qについて、第1の対空標識60Oとのペアリング処理を実行する。ペアリング処理部33は、第1の対空標識60Oの方向性と対空標識60Qの方向性との差が、所定の範囲である場合、または、対空標識60Qが方向性を有していない場合に、第1の対空標識60Oと対空標識60Qとのペアリングが成功したと判定する。
図6に示した例では、対空標識60Qは丸型標識であり、方向性を有していないため、ペアリング処理部33は、第1の対空標識60Oと対空標識60Qとのペアリングが成功したと判定する。
【0057】
また、例えば、対空標識60Qが丸型標識ではなく、第1の対空標識60Oとのペアリングが成功しなかった場合には、ペアリング処理部33は、続いて、対空標識60Rについて第1の対空標識60Oとのペアリング処理を実行する。対空標識60Rは、楕円型標識であり、長軸方向に直線ベクトルを持つ。また、第1の対空標識60Oの方向性と対空標識60Rの方向性との差は、プラス15度~マイナス15度の範囲であるため、ペアリング処理部33は、第1の対空標識60Oと対空標識60Rとのペアリングが成功したと判定する。
【0058】
また、ペアリング処理部33は、第1の対空標識60、および第2の対空標識60が共に方向性を有していない対空標識、例えば丸型標識、である場合に、第1の対空標識60と第2の対空標識60とのペアリングが成功したと判定する。
【0059】
また、ペアリング処理部33は、第1の対空標識60が方向性を有していない丸型標識であり、第2の対空標識60が方向性を有している対空標識、例えば雫型標識、である場合に、第2の対空標識60の方向性が示す所定の範囲、例えばプラス15度~マイナス15度の範囲、に第1の対空標識60が含まれていれば、第1の対空標識60と第2の対空標識60とのペアリングが成功したと判定する。
【0060】
境界線情報生成部30は、ペアリング処理部33によってペアリングが成功したと判定された第1の対空標識60と、第2の対空標識60との間を繋ぐことで、境界線を示す境界線情報を生成する。
【0061】
境界線情報生成部30は、続いて、第2の対空標識60を第1の対空標識60として、他の対空標識60の抽出、探索、およびペアリングを行い、対空標識60間のペアリングが成立する範囲における境界線情報を生成する。境界線情報生成部30は、これにより、
図4に示したように、例えば、境界線情報として、圃場の境界を示す境界線情報を生成する。このように、境界線情報生成部30は、閉合した境界線によって形成された領域を示す境界線情報を生成する。また、境界線情報生成部30は、境界線情報として、ある圃場から他の圃場への移動経路の境界のように、閉合した境界線によって形成されたある領域から、別の閉合した境界線によって形成された領域への移動経路の境界を示す境界線情報を生成する。
【0062】
このように、圃場の境界を示す境界線情報のように、閉合した境界線によって形成された領域を示す境界線情報を生成することで、各領域に、例えば圃場番号等を付与して管理することができる。これにより、トラクター等の作業機の自動運転に利用する際に、圃場番号と作業機での作業履歴を連携させ、圃場毎に作業内容や実施日を管理することが出来るようになる。また、閉合した境界線によって形成された領域毎の管理が可能となるため、土地所有者、または建設現場において、不動産管理や作業管理にも好適に利用することが可能になる。さらに圃場において、圃場出入り口、道路などを領域毎に分けておくことができ、ロボットなどの作業機の移動用の制御の切り替えを領域に応じて行うことが可能になる。例えば、勾配を有している圃場出入り口等を、一領域として管理することで、ロボットの入退の方向に関する制御情報や、作業機の走行速度に関する制御情報、及びトラクター等に取り付ける作業機の昇降の関する情報を、領域毎に管理することができるようなる。
【0063】
図4のように配置された標識を参照して、破線に示すような境界線BL1を生成する場合の境界線情報生成部30の動作について具体的に説明する。境界線情報生成部30は、まず、対空標識抽出部31により、撮影画像から対空標識60c1を抽出する。対空標識60c1は方向性を有する対空標識であり、境界線情報生成部30は、続いて、対空標識60c1を原点とし、対空標識60c1のベクトル方向を軸とした局所座標系を用いて、探索範囲SAを設定する。境界線情報生成部30は、ペアリング処理部33の機能により、対空標識60c1と、探索範囲SA内の複数の対空標識60のいずれかとのペアリング処理を実行する。ペアリング処理部33は、探索範囲SA内の複数の対空標識60のそれぞれの優先度と、対空標識60c1の方向性との差が所定の範囲内であるか否かと、に応じて、ペアリング処理が成功したか否かを判定し、対空標識60b1とのペアリング処理が成功したことを検出する。境界線情報生成部30は、ペアリング処理が成功した対空標識60c1と、対空標識60b1とを繋ぐ境界線を示す境界線情報を生成する。
【0064】
続いて、境界線情報生成部30は、対空標識60b1と、対空標識60b1に対してペアリング処理を実行し、ペアリング処理が成功した対空標識60b1と対空標識60a2とを繋ぐ境界線を示す境界線情報を生成する。境界線情報生成部30は、同様に、対空標識60a2と対空標識60c2とを繋ぐ境界線を示す境界線情報、対空標識60c2と対空標識60c3とを繋ぐ境界線を示す境界線情報、対空標識60c3と対空標識60c4とを繋ぐ境界線を示す境界線情報を続けて生成する。境界線情報生成部30は、このようにして、ペアリング処理が成功した対空標識間を繋いで行くことにより、測定対象エリアにおける境界線BL1を示す境界線情報を生成する。
【0065】
図5のように配置された標識を参照して、障害物である給排水栓OB1の境界線を生成する場合の境界線情報生成部30の動作について具体的に説明する。境界線情報生成部30は、まず、対空標識抽出部31により、撮影画像から対空標識60f1を抽出する。対空標識60f1は方向性を有する対空標識であり、境界線情報生成部30は、続いて、対空標識60f1を原点とし、対空標識60f1のベクトル方向を軸とした局所座標系を用いて、探索範囲SAを設定する。
【0066】
境界線情報生成部30は、ペアリング処理部33の機能により、対空標識60f1と対空標識60f2とのペアリング処理が成功したことを検出する。境界線情報生成部30は、対空標識60f1と対空標識60f2との1つの頂点VT3によって示される、障害物である給排水栓OB1の起点と終点とを繋ぐことにより、障害物の境界線を示す境界線情報を生成する。
【0067】
また、境界線情報生成部30は、対空標識抽出部31により、撮影画像から抽出された対空標識60f3と対空標識60e1とを繋ぐ境界線によって示される境界線情報、および対空標識60e1と対空標識60f4とを繋ぐ境界線によって示される境界線情報を生成し、障害物であるコンクリートOB2の境界線を示す境界線情報を生成する。これにより、境界線情報生成部30は、対空標識60f3と対空標識60f4との1つの頂点VT3によって示される、コンクリートOB2の起点と終点とを繋ぎ、コンクリートOB2が延在する境界線を示す境界線情報を生成する。
【0068】
マップ情報生成部40は、境界線情報生成部30によって生成された境界線情報と、他のオブジェクトの位置情報とを含むマップ情報を生成する。他のオブジェクトとは、例えば、道路、出入口、電柱、給水栓、ガードレール等の障害物であり、マップ情報生成部40は、これらの障害物の位置情報を含むマップ情報を生成してもよい。
【0069】
マップ情報生成部40は、画像取得部21が取得した撮影画像を、オルソ画像に変換し、当該オルソ画像上に、境界線情報生成部30によって生成された境界線情報に基づいて、境界線を図化する。マップ情報生成部40は、オルソ画像上に図化された境界線を、三次元空間上に読み込んで、鉛直方向に延伸させ、鉛直曲面を形成する。マップ情報生成部40は、形成した鉛直曲面によって区分された三次元空間の点群データ毎にメッシュデータを形成する。マップ情報生成部40は、メッシュデータで形成された曲面と、鉛直曲面との交線を三次元空間上での境界線とする。マップ情報生成部40は、鉛直曲面によって囲まれたメッシュ領域に、対空標識60のそれぞれが保有する属性データを付加することで、メッシュ領域に自動的にテキスチャを割り付ける。
【0070】
上述したように、対空標識には、属性が予め規定されており、境界線情報生成部30は、属性を予め規定した対空標識から、当該属性を抽出し、抽出した属性を用いることで境界線および境界線で囲われた領域に係る属性情報を含む前記境界線情報を生成する。このように、境界線で囲われた領域に属性情報を付与することで、アスファルト舗装なのか土砂系舗装か等の路面状態に係る情報を属性情報として付加することで、より精密な制御を実行するために用いることが可能となる。
【0071】
シミュレーション部50は、境界線情報生成部30によって生成された、ある圃場から他の圃場への移動経路を示す境界線情報を参照して、当該移動経路を、トラクター等の移動体が移動可能であるか否かをシミュレーションする。
【0072】
ここで、シミュレーション部50は、一例として、上記境界線情報によって規定される上記移動経路の幅と、上記移動体の幅とを比較することによって、上記移動経路を上記移動体が移動可能であるか否かをシミュレーションする。
【0073】
(情報処理装置10の処理の流れについて)
図7は、情報処理装置10による処理の流れを示すフローチャートである。
図7を参照して、情報処理装置10による処理の流れを説明する。
【0074】
(ステップS1)
情報処理装置10は、画像取得部21の機能により、UAV80がカメラ85によって撮像した撮像画像を取得部20を介して取得する。
【0075】
(ステップS2)
境界情報生成部30は、対空標識抽出部31の機能により、画像取得部21が取得した撮影画像から第1の対空標識60を抽出する。
【0076】
(ステップS3)
取得部20は、位置情報取得部22の機能により、第1の対空標識60の緯度情報および経度情報を取得する。
【0077】
(ステップS4)
境界情報生成部30は、探索範囲設定部32の機能により、第2の対空標識60を探索する探索範囲を設定する。
【0078】
(ステップS5)
境界情報生成部30は、ペアリング処理部33の機能により、第1の対空標識60と、探索範囲内の第2の対空標識60の候補とのペアリング処理を実行する。
【0079】
(ステップS6)
ペアリング処理部33は、ペアリングが成功したか否かを判定する。ペアリング処理部33は、ペアリングが成功したと判定すると(ステップS6でYES)、ステップS7に進む。ペアリング処理部33は、ペアリングが成功しなったと判定すると(ステップS6でNO)、ステップS5に戻り、探索範囲内の第2の対空標識60の他の候補とのペアリング処理を実行する。
【0080】
(ステップS7)
境界情報生成部30は、ペアリングが成功した第1の対空標識60と、第2の対空標識60とを繋ぐ境界線を示す境界線情報を生成する。
【0081】
境界線情報生成部30は、ステップS2からステップS7の処理を繰り返し行い、撮影画像から抽出した対空標識の全てについて境界線情報を生成する。また、境界線情報生成部30は、ステップS1からステップS7の処理を繰り返し行い、複数の撮影画像から対空標識の抽出、および境界線情報の生成を行ってもよい。
【0082】
(ステップS8)
マップ情報生成部40は、境界線情報生成部30が生成した境界線情報を参照して、マップ情報を生成する。
【0083】
(ステップS9)
シミュレーション部50は、マップ情報生成部40が生成したマップ情報を参照して、移動経路を移動体が移動可能であるかシミュレーションを行う。
【0084】
このように、情報処理装置10によって生成された境界線情報、およびマップ情報の少なくとも何れか一方は、トラクター等の移動体を無人で走行するための情報として用いられる。トラクターは、例えば、GNSS(Global Navigation Satellite System)情報を参照して、自車の緯度情報および経度情報などの位置情報を特定し、情報処理装置10によって生成された境界線情報を参照して、進行すべきルートを決定し、自動走行する。
【0085】
(対空標識の設置構成について)
図8は、対空標識60の設置構成を示す図である。
図1に示すように対空標識60は、杭65に回転機構68を介して接続されている。
【0086】
図8に示すように、対空標識60は、杭65に対して、杭65の延伸方向が、対空標識60の法線方向NDに沿うように設けられている。また、対空標識60と、杭65とは、杭65の延伸方向NDを回転軸として、杭65に対して対空標識60が回転可能となるように、回転機構68によって接続されている。回転機構68は、杭65に対して対空標識60が回転可能となるよう、対空標識60と、杭65とを接続することができる構成であれば否かる構成であってもよく、例えば磁石によって構成されていてもよい。
【0087】
対空標識60を、杭65に対して回転可能に接続した、対空標識60と、杭65とを含む構造体は、
図8に示すように、草むらなどの整地されていな場所にも好適に設置することができるように構成されている。
【0088】
対空標識60を設置する場合には、まず、杭65を設置位置の地面に打設する。そして、設置位置に打設された杭65の頭上に、回転機構68を介して対空標識60を取り付ける。このとき、対空標識60は、対空標識60の方向性が規定の方向となるように、杭65に接続される。
【0089】
対空標識60は、杭65によって、地表面から離れた位置に設置される。このため、境界線情報生成部30は、境界線情報を生成するさいに、少なくとも2つの対空標識60間を繋いで形成される境界線を鉛直方向に射影し、鉛直平面と地表面とが交わった線を境界線として境界線情報を生成する。なお、草むら等の地表面が判別しにくい場所では、鉛直平面と地表面とが交わった線を正確に得ることができない。よってこのような場合には、地表面から対空標識60までの高さを予め、例えば各対空標識60の位置情報61に記憶しておき、対空標識60の地表面からの高さ位置同士で境界線を示す境界線情報を生成してもよい。
【0090】
〔ソフトウェアによる実現例〕
情報処理装置10の制御ブロック(特に取得部20、境界線情報生成部30、マップ情報生成部40、およびシミュレーション部50)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0091】
後者の場合、情報処理装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0092】
〔まとめ〕
本発明の態様1に係る情報処理装置10は、地球表面を撮像して得られる撮像画像を取得する取得部20と、前記取得部20が取得した撮像画像から、方向性を有する少なくとも1つの対空標識60を含む複数の対空標識60を抽出し、抽出した対空標識60の少なくとも2つを繋ぐ境界線を示す境界線情報を生成する境界線情報生成部30と、を備えている。
【0093】
上記の構成によれば、撮影画像から抽出した対空標識を繋ぐことで境界線を示す境界線情報を生成することができるため、画像からの白線認識や標識等の形状認識により法肩位置や境界を検知することが難しい場所についても、航空測量よる情報を適切に処理し、簡便かつ正確に地理データを生成することができる。これにより、航空測量よって圃場等の地理データを生成することが可能となり、トラクタ等の自動走行作業機に用いるための高精度地図を生成することができる。
【0094】
本発明の態様2に係る情報処理装置10は、上記態様1において、取得部20は、前記複数の対空標識の緯度情報及び経度情報、または緯度情報、経度情報及び高度情報を取得し、前記境界線情報生成部30は、前記緯度情報及び経度情報、または前記緯度情報、経度情報及び高度情報を参照して、閉合した境界線によって形成された領域を示す前記境界線情報を生成してもよい。
【0095】
上記の構成によれば、緯度情報及び経度情報を含む境界線情報を生成することができ、航空測量によって生成する地理データの精度を向上することができる。
【0096】
本発明の態様3に係る情報処理装置10は、上記態様1または2において、前記対空標識には、属性が予め規定されており、前記境界線情報生成部30は、前記対空標識に予め規定された属性を用いて、前記境界線、及び前記境界線で囲われた領域に係る属性情報を含む前記境界線情報を生成してもよい。
【0097】
上記の構成によれば、境界線と、境界線で囲われた領域に係る属性情報を含むマップを生成することができ、圃場等を自動走行する自動走行作業機に用いるための高精度地図を生成することができる。
【0098】
本発明の態様4に係る情報処理装置10は、上記態様1から3において、境界線情報生成部30は、撮像画像に含まれる複数の対空標識60のうち、ある1つの対空標識である第1の対空標識の周辺に探索範囲SAを設定し、設定した探索範囲SAに含まれる1又は複数の第2の対空標識60を参照し、当該第2の対空標識の何れかと、第1の対空標識とを繋ぐペアリング処理を実行し、ペアリング処理が成功した第1の対空標識と第2の対空標識とを繋ぐ境界線を示す境界線情報を生成してもよい。
【0099】
上記の構成によれば、2つの対空標識間でペアリング処理をおこない、ペアリング処理が成功した場合に、これらを繋ぐ境界線を示す境界線情報を生成するため、撮影画像に複数の対空標識60が含まれている場合であっても、適切な2つの対空標識を繋いで、境界線情報を生成することができ、精度良く境界線情報を生成することができる。
【0100】
本発明の態様5に係る情報処理装置10は、上記態様4において、境界線情報生成部30は、探索範囲SAに複数の第2の対空標識60が含まれる場合、当該複数の第2の対空標識に付された優先度の順に前記ペアリング処理を実行してもよい。
【0101】
上記の構成によれば、優先度の順にペアリング処理が実行されるため、適切な2つの対空標識を繋いで、境界線情報を生成することができ、精度良く境界線情報を生成することができる。
【0102】
本発明の態様6に係る情報処理装置10は、上記態様5において、境界線情報生成部30は、複数の第2の対空標識のうち、第1の対空標識からの距離がより近い第2の対空標識に対してより高い優先度を設定してもよい。
【0103】
上記の構成によれば、互いの距離がより違い対空標識60に対してペアリング処理が実行され、適切な2つの対空標識を繋いで、境界線情報を生成することができ、精度良く境界線情報を生成することができる。
【0104】
本発明の態様7に係る情報処理装置10は、上記態様4から6において、境界線情報生成部30は、第1の対空標識として方向性を有する対空標識を選択し、探索範囲SAを当該方向性に応じて設定してもよい。
【0105】
上記の構成によれば、対空標識60により境界線の延びる方向を示し、この方向性を有する第1の対空標識を基準として、ペアリングする他の対空標識を探索することができ、精度良く境界線情報を生成することができる。
【0106】
本発明の態様8に係る情報処理装置10は、上記態様7において、境界線情報生成部30は、探索範囲SAにおける第2の対空標識が方向性を有している場合には、第1の対空標識の方向性と第2の対空標識の方向性との差が所定の範囲内である場合に、当該第1の対空標識と第2の対空標識とのペアリングが成功したと判定し、探索範囲SAにおける第2の対空標識が方向性を有していない場合には、当該第1の対空標識と第2の対空標識とのペアリングが成功したと判定してもよい。
【0107】
上記の構成によれば、対空標識60が方向性を有し、対空標識60により境界線の延びる方向が示されている場合に、対空標識60が示している方向が大きく異なる対空標識60同士がペアリングされることがなく、対空表しい60が示している方向性に応じた境界線を示す境界線情報を適切に生成することができる。
【0108】
本発明の態様9に係る情報処理装置10は、上記態様3において、境界線情報生成部30は、境界線情報として、閉合した境界線によって形成されたある領域から他の領域への移動経路の境界を示す境界線情報を生成してもよい。
【0109】
上記の構成によれば、画像からの白線認識や標識等の形状認識により法肩位置や境界を検知することが難しい圃場と圃場との間の移動経路の境界を示す境界線情報を、航空測量によって精度良く生成することができる。
【0110】
本発明の態様10に係る情報処理装置10は、上記態様1から9において、対空標識60は、杭65に対して、当該杭65の延伸方向が対空標識60の法線方向NDに沿うように、かつ、対空標識60が杭65の延伸方向を回転軸として、杭65に対して回転可能となるように接続されていてもよい。
【0111】
上記の構成によれば、草むらなどの地表面が整地されていない場所にも、容易に対空標識60を設置することができる。また、対空標識60の設置場所に応じて適切な境界線の方向に対空標識が示す方向性を合わせることができる。
【0112】
本発明の態様13に係る構造体は、方向性が規定できる図柄又は形状を有する対空標識60と、杭65とを備え、杭65は、当該杭65の延伸方向が対空標識60の法線方向NDに沿うように、かつ、対空標識60が杭の延伸方向を回転軸として、杭65に対して回転可能となるように、対空標識60に対して接続されている。
【0113】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0114】
10 情報処理装置
20 取得部
21 画像取得部
22 位置情報取得部
30 境界線情報生成部
31 対空標識抽出部
32 探索範囲設定部
33 ペアリング処理部
40 マップ情報生成部
50 シミュレーション部
60 対空標識
68 回転機構
100 情報処理システム