IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社クボタの特許一覧

特開2025-4532農業機械、および農業機械の運転支援システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025004532
(43)【公開日】2025-01-15
(54)【発明の名称】農業機械、および農業機械の運転支援システム
(51)【国際特許分類】
   G01S 13/88 20060101AFI20250107BHJP
   A01B 69/00 20060101ALI20250107BHJP
   G01S 13/931 20200101ALI20250107BHJP
【FI】
G01S13/88 200
A01B69/00 303D
A01B69/00 303M
G01S13/931
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023104266
(22)【出願日】2023-06-26
(71)【出願人】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100139930
【弁理士】
【氏名又は名称】山下 亮司
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(74)【代理人】
【識別番号】100202142
【弁理士】
【氏名又は名称】北 倫子
(72)【発明者】
【氏名】湯浅 純一
(72)【発明者】
【氏名】玉井 拓也
【テーマコード(参考)】
2B043
5J070
【Fターム(参考)】
2B043AA04
2B043AB01
2B043BA02
2B043BA09
2B043BB01
2B043DC03
2B043EA22
2B043EA32
2B043EB04
2B043EB05
2B043EB08
2B043EB14
2B043ED12
2B043EE01
5J070AB01
5J070AC01
5J070AD05
5J070AE11
5J070AF04
5J070BD06
5J070BD08
5J070BE03
5J070BF07
5J070BF21
(57)【要約】
【課題】複数の樹木が生い茂る環境において、農業機械の位置を推定する。
【解決手段】運転支援システムは、作物が植え付けられた圃場を走行する農業機械のための運転支援システムである。運転支援システムは、地面に電磁波を放射し、地中からの反射波を受信するように構成され、地中における作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、圃場の走行時における地下部に対する農業機械の相対的な変位を参照し、農業機械の位置を推定する処理装置と、を備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
作物が植え付けられた圃場を走行する農業機械のための運転支援システムであって、
地面に電磁波を放射し、地中からの反射波を受信するように構成され、前記地中における前記作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、
前記圃場の走行時における前記地下部に対する前記農業機械の相対的な変位を参照し、前記農業機械の位置を推定する処理装置と、
を備える運転支援システム。
【請求項2】
前記農業機械は前記圃場を目標経路に沿って走行し、
前記処理装置は、
前記センシングデータを処理して、前記地下部に対する前記農業機械の相対的な変位の向きおよび大きさを決定し、
前記変位の向きおよび大きさに基づいて、前記目標経路に関連付けられた基準点に対する前記農業機械の相対位置を推定する、請求項1に記載の運転支援システム。
【請求項3】
作物が植え付けられた圃場を走行する農業機械のための運転支援システムであって、
地面に電磁波を放射し、地中からの反射波を受信するように構成され、前記地中における前記作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、
前記センシングデータに基づいて、前記地下部を含む地下地図を作成する処理装置と、
を備え、
それぞれが、同じ圃場内における作物の地下部に関する情報を含む複数のセンシングデータを前記地中レーダ装置が取得している場合は、前記処理装置は、前記複数のセンシングデータのうち、最も遅く取得された最新のセンシングデータに基づいて前記地下地図を作成する、運転支援システム。
【請求項4】
前記農業機械は前記圃場を目標経路に沿って走行し、
前記処理装置は、前記地中レーダ装置が取得する前記センシングデータに基づいて、前記地下地図上の前記農業機械の相対位置を推定する、請求項3に記載の運転支援システム。
【請求項5】
前記農業機械の相対位置の情報および前記目標経路に基づいて、前記農業機械の走行を制御する制御装置を備える、請求項2または4に記載の運転支援システム。
【請求項6】
前記処理装置は、前記目標経路と、前記農業機械の相対位置との位置偏差を算出し、
前記制御装置は、前記位置偏差を用いて前記農業機械の走行を制御する、請求項5に記載の運転支援システム。
【請求項7】
前記目標経路に沿った基準線に対する前記農業機械の向きを計測する方位計測装置をさらに備え、
前記処理装置は、前記方位計測装置からの出力に基づいて、前記農業機械の向きと、前記基準線の方向との角度差を示す方位偏差を算出し、
前記制御装置は、前記位置偏差および前記方位偏差を用いて前記農業機械の走行を制御する、請求項6に記載の運転支援システム。
【請求項8】
前記処理装置は、前記圃場における土壌状態から決定される補正パラメータを、前記センシングデータに適用して、前記センシングデータを補正する、請求項1から4のいずれかに記載の運転支援システム。
【請求項9】
前記処理装置は、前記センシングデータに基づいて前記作物の生育に関する情報を取得する、請求項1から4のいずれかに記載の運転支援システム。
【請求項10】
前記地中レーダ装置は、前記農業機械の前部に設けられ、
前記農業機械の後部に設けられた他の地中レーダ装置をさらに備える、請求項1から4のいずれかに記載の運転支援システム。
【請求項11】
前記最新のセンシングデータに基づいて前記地下地図が作成された時点から所定の期間内に前記農業機械が前記圃場を走行するときは、前記処理装置は、前記地中レーダ装置が取得するセンシングデータに基づいて、前記地下地図上の前記農業機械の相対位置を推定する、請求項3に記載の運転支援システム。
【請求項12】
前記最新のセンシングデータに基づいて前記地下地図が作成された時点から所定の期間が経過した後、前記農業機械が前記圃場を走行するときは、前記処理装置は、前記地中レーダ装置が取得するセンシングデータに基づいて前記地下地図を更新する、請求項3に記載の運転支援システム。
【請求項13】
前記最新のセンシングデータに基づいて前記地下地図が作成された時点から所定の期間が経過した後、前記農業機械が前記圃場を走行するときは、前記処理装置は、前記圃場の走行時における前記地下部に対する前記農業機械の相対的な変位を参照し、前記農業機械の位置を推定する、請求項3に記載の運転支援システム。
【請求項14】
請求項1から4のいずれかに記載の運転支援システムと、
農業機械を走行させる駆動装置と、
を備える農業機械。
【請求項15】
前記地面に対して対地作業を行う作業機を備え、
前記地中レーダ装置は前記作業機に取り付けられている、請求項14に記載の農業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、農業機械、および農業機械の運転支援システムに関する。
【背景技術】
【0002】
次世代農業として、ICT(Information and Communication Technology)およびIoT(Internet of Things)を活用したスマート農業の研究開発が進められている。圃場で使用されるトラクタなどの作業車両の自動化および無人化に向けた研究開発も進められている。例えば、精密な測位が可能なGNSS(Global Navigation Satellite System)などの測位システムを利用して自動操舵で走行する作業車両が実用化されてきた。特許文献1から3は、GNSSを利用して行った測位の結果に基づいて自動操舵を行う作業車両の例を開示している。
【0003】
一方、LiDAR(Light Detection and Ranging)などの距離センサを利用して自律的に移動する移動体の開発も進められている。例えば特許文献4は、LiDARを利用して圃場における作物列の間を自動走行する作業車両の例を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2017/208306号
【特許文献2】特開2020-104617号公報
【特許文献3】特開2020-12680号公報
【特許文献4】特開2019-154379号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ぶどう園(vineyard)などの果樹園、または森林などの、樹木が高い密度で分布する環境では、樹木の上部で生い茂る葉が樹冠(canopy)を形成し、衛星からの電波にとって障害物または多重反射体として働く。このような環境では、GNSSによる正確な測位が困難である。GNSSを利用できない環境においては、位置推定と地図作成とを同時に実行するSLAM(Simultaneous Localization and Mapping)を利用することが考えられる。しかし、SLAMを利用して多数の樹木が存在する環境内を自律的に、あるいは自動操舵で移動する移動体の実用化には様々な課題が存在する。例えば、季節の変化によって樹木の葉部の分布が大きく変化するため、過去に作成された地図を継続して使用することができないといった課題がある。
【課題を解決するための手段】
【0006】
本開示の一態様による運転支援システムは、作物が植え付けられた圃場を走行する農業機械のためのシステムであって、地面に電磁波を放射し、地中からの反射波を受信するように構成され、前記地中における前記作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、前記圃場の走行時における前記地下部に対する前記農業機械の相対的な変位を参照し、前記農業機械の位置を推定する処理装置と、を備える。
【0007】
本開示の他の一態様による運転支援システムは、作物が植え付けられた圃場を走行する農業機械のためのシステムであって、地面に電磁波を放射し、地中からの反射波を受信するように構成され、前記地中における前記作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、前記センシングデータに基づいて、前記地下部を含む地下地図を作成する処理装置と、を備え、それぞれが、同じ圃場内における作物の地下部に関する情報を含む複数のセンシングデータを前記地中レーダ装置が取得している場合は、前記処理装置は、前記複数のセンシングデータのうち、最も遅く取得された最新のセンシングデータに基づいて前記地下地図を作成する。
【0008】
本開示の一態様による農業機械は、上記の運転支援システムと、農業機械を走行させる駆動装置と、
を備える。
【0009】
本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が二つ以上の装置で構成される場合、当該二つ以上の装置は、一つの機器内に配置されてもよいし、分離した二つ以上の機器内に分かれて配置されていてもよい。
【発明の効果】
【0010】
本開示の実施形態によれば、GNSSによる測位が困難な環境においても、地中レーダ(Ground Penetrating Radar:GPR)装置によって取得される、地中における作物の地下部または根系(root system)に関する情報を含むセンシングデータを活用することで、農業機械の自動操舵あるいは自律移動を実現することが可能になる。
【図面の簡単な説明】
【0011】
図1】本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。
図2A】作業車両、および作業車両に連結されたインプルメントの例を模式的に示す側面図である。
図2B】作業車両の他の構成例を模式的に示す側面図である。
図3】作業車両およびインプルメントの構成例を示すブロック図である。
図4】RTK-GNSSによる測位を行う作業車両の例を示す概念図である。
図5】キャビンの内部に設けられる操作端末および操作スイッチ群の例を示す図である。
図6】管理装置および端末装置のハードウェア構成を例示するブロック図である。
図7A】地中レーダ装置が地中を探査する様子を模式的に示す図である。
図7B】地中レーダ装置の構成例を示すブロック図である。
図7C】地中レーダ装置のアンテナユニットの配置例を模式的に示す図である。
図8】圃場に植え付けられた作物群の地下に存在する地下部の分布を模式的に示す図である。
図9】合成レーダ画像を模式的に示す図である。
図10】時刻t1から時刻t2までの間に平面上を移動する作業車両の例を模式的に示す図である。
図11A】作業車両の運動が並進のみの場合の、地下部に対する作業車両の変位を説明するための図である。
図11B】作業車両の運動が並進のみの場合の、地下部に対する作業車両の変位を説明するための図である。
図11C】作業車両の運動が並進のみの場合の、地下部に対する作業車両の変位を説明するための図である。
図12A】作業車両の運動が並進および回転を伴う場合の、地下部に対する作業車両の変位量および回転角を説明するための図である。
図12B】作業車両の運動が並進および回転を伴う場合の、地下部に対する作業車両の変位量および回転角を説明するための図である。
図13】特徴点マッチング手法を用いる自己位置推定の手順を例示するフローチャートである。
図14】隣接するフレーム間において地下部の一部の形状の特徴点がマッチングする様子を模式的に示す図である。
図15】地下部の一部の形状の回転角θを模式的に示す図である。
図16】作業車両の移動量Δdおよび向きの変化量Δφの推定値を周期的に更新していく様子を説明するための図である。
図17】圃場内を目標経路に沿って自動で走行する作業車両の例を模式的に示す図である。
図18】自動運転時の操舵制御の動作の例を示すフローチャートである。
図19A】目標経路に沿って走行する作業車両の例を示す図である。
図19B】目標経路から右にシフトした位置にある作業車両の例を示す図である。
図19C】目標経路から左にシフトした位置にある作業車両の例を示す図である。
図19D】目標経路に対して傾斜した方向を向いている作業車両の例を示す図である。
図20】複数の作業車両が圃場の内部および圃場の外側の道を自動走行している状況の例を模式的に示す図である。
図21】圃場における作物群が形成する地下部の形状を模式的に示す図である。
図22】ぶどう園の樹木の地下部の一部である台木を基準にして設定される目標経路の例を示す図である。
図23】作業車両が走行するぶどう園の環境の一例を模式的に示す図である。
図24】地下地図生成時、および自動走行時の作業車両の走行経路の一例を模式的に示す図である。
図25】作物が植え付けられた畝列を跨いで作業車両が走行する例を模式的に示す図である。
【発明を実施するための形態】
【0012】
(用語の定義)
本開示において「農業機械」は、農業用途で使用される機械を意味する。農業機械の例は、トラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、および農業用移動ロボットを含む。トラクタのような作業車両が単独で「農業機械」として機能する場合だけでなく、作業車両に装着または牽引される作業機(インプルメント)と作業車両の全体が一つの「農業機械」として機能する場合がある。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う。これらの農作業を「対地作業」または単に「作業」と称することがある。車両型の農業機械が農作業を行いながら走行することを「作業走行」と称することがある。
【0013】
「自動運転」は、運転者による手動操作によらず、制御装置の働きによって農業機械の移動を制御することを意味する。自動運転を行う農業機械は「自動運転農機」または「ロボット農機」と呼ばれることがある。自動運転中、農業機械の移動だけでなく、農作業の動作(例えば作業機の動作)も自動で制御されてもよい。農業機械が車両型の機械である場合、自動運転によって農業機械が走行することを「自動走行」と称する。制御装置は、農業機械の移動に必要な操舵、移動速度の調整、移動の開始および停止の少なくとも一つを制御し得る。作業機が装着された作業車両を制御する場合、制御装置は、作業機の昇降、作業機の動作の開始および停止などの動作を制御してもよい。自動運転による移動には、農業機械が所定の経路に沿って目的地に向かう移動のみならず、追尾目標に追従する移動も含まれ得る。自動運転を行う農業機械は、部分的にユーザの指示に基づいて移動してもよい。また、自動運転を行う農業機械は、自動運転モードに加えて、運転者の手動操作によって移動する手動運転モードで動作してもよい。手動によらず、制御装置の働きによって農業機械の操舵を行うことを「自動操舵」と称する。制御装置の一部または全部が農業機械の外部にあってもよい。農業機械の外部にある制御装置と農業機械との間では、制御信号、コマンド、またはデータなどの通信が行われ得る。自動運転を行う農業機械は、人がその農業機械の移動の制御に関与することなく、周囲の環境をセンシングしながら自律的に移動してもよい。自律的な移動が可能な農業機械は、無人で圃場内または圃場外(例えば道路)を走行することができる。自律移動中に、障害物の検出および障害物の回避動作を行ってもよい。
【0014】
「作業計画」は、農業機械によって実行される一つ以上の農作業の予定を定めるデータである。作業計画は、例えば、農業機械によって実行される農作業の順序および各農作業が行われる圃場を示す情報を含み得る。作業計画は、各農作業が行われる予定の日および時刻の情報を含んでいてもよい。作業計画は、農業機械と通信して農作業を管理する処理装置、または農業機械に搭載された処理装置によって作成され得る。処理装置は、例えば、ユーザ(農業経営者または農作業者など)が端末装置を操作して入力した情報に基づいて作業計画を作成することができる。本明細書において、農業機械と通信して農作業を管理する処理装置を「管理装置」と称する。管理装置は、複数の農業機械の農作業を管理してもよい。その場合、管理装置は、複数の農業機械の各々が実行する各農作業に関する情報を含む作業計画を作成してもよい。作業計画は、各農業機械によってダウンロードされ、記憶装置に格納され得る。各農業機械は、作業計画に従って、予定された農作業を実行するために、自動で圃場に向かい、農作業を実行することができる。
【0015】
「環境地図」は、農業機械が移動する環境に存在する物の位置または領域を所定の座標系によって表現したデータである。環境地図を規定する座標系は、例えば、地球に対して固定された地理座標系などのワールド座標系であり得る。環境地図は、環境に存在する物について、位置以外の情報(例えば、属性情報その他の情報)を含んでいてもよい。環境地図は、点群地図または格子地図など、さまざまな形式の地図を含む。環境地図を構築する過程で生成または処理される局所地図または部分地図のデータについても、「環境地図」または「環境地図データ」と呼ぶ。
【0016】
「地下地図」は、農業機械が走行する圃場の地下に存在する物の位置または分布を所定の座標系によって表現したデータである。地下に存在する物の例は、作物の地下部である。地下部は、地下茎および根を含み、根系とも呼ばれる。地下地図を規定する座標系も、環境地図と同様に、地球に対して固定されたワールド座標系であり得る。地下地図は、地下に存在する物について、位置以外の情報(例えば、属性情報その他の情報)を含んでいてもよい。地下地図は、点群地図または格子地図など、さまざまな形式の地図を含む。地下地図を構築する過程で生成または処理される局所地図または部分地図のデータについても、「地下地図」または「地下地図データ」と呼ぶ。
【0017】
「農道」は、主に農業目的で利用される道を意味する。農道は、アスファルトで舗装された道に限らず、土または砂利等で覆われた未舗装の道も含む。農道は、車両型の農業機械(例えばトラクタ等の作業車両)のみが専ら通行可能な道(私道を含む)と、一般の車両(乗用車、トラック、バス等)も通行可能な道路とを含む。作業車両は、農道に加えて一般道を自動で走行してもよい。一般道は、一般の車両の交通のために整備された道路である。
【0018】
「ポーズ」は、物(オブジェクト)の「位置および向き」である。2次元空間におけるポーズは、例えば(x,y,θ)の3個の座標値によって規定される。ここで、(x,y)は、地球に固定されたワールド座標系であるXY座標系における座標値であり、θは基準方向に対する角度である。θは、3次元空間におけるロール角、ピッチ角、およびヨー角のうちのヨー角に相当する。ヨー角は、農業機械の上下方向の軸の周りの回転量を表す。
【0019】
(実施形態)
以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細な説明および実質的に同一の構成に関する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同一の参照符号を付している。
【0020】
以下の実施形態は例示であり、本開示の技術は以下の実施形態に限定されない。例えば、以下の実施形態で示される数値、形状、材料、ステップ、ステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。
【0021】
以下、農業機械の一例であるトラクタなどの作業車両に本開示の技術を適用した実施形態を主に説明する。本開示の技術は、トラクタなどの作業車両に限らず、他の種類の農業機械にも適用することができる。
【0022】
図1は、本開示の例示的な実施形態による農業管理システムの概要を説明するための図である。図1に示す農業管理システムは、作業車両100と、端末装置400と、管理装置600とを備える。農業管理システムは、さらに、エッジコンピュータを備えていてもよい。端末装置400は、作業車両100を遠隔で監視するユーザが使用するコンピュータである。管理装置600は、農業管理システムを運営する事業者が管理するコンピュータである。作業車両100、端末装置400、および管理装置600は、ネットワーク80を介して互いに通信することができる。図1には1台の作業車両100が例示されているが、農業管理システムは、複数の作業車両またはその他の農業機械を含んでいてもよい。
【0023】
本実施形態における地中レーダ装置と、地中レーダ装置から出力されるセンシングデータを処理する処理装置とが、協働して、運転支援システムとして機能する。あるいは、地中レーダ装置と、処理装置と、作業車両100が備える制御装置とが、協働して、運転支援システムとして機能し得る。当該処理装置は、例えば、作業車両100が備える処理装置、管理装置600におけるプロセッサ、またはエッジコンピュータである。
【0024】
運転支援システムは、それらの機能を有しない作業車両に後から取り付けることもできる。そのようなシステムは、作業車両とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、作業車両とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線(例えばインターネット)を介したダウンロードによっても提供され得る。
【0025】
本実施形態における作業車両100はトラクタである。作業車両100は、後部および前部の一方または両方に作業機を装着することができる。作業車両100は、作業機の種類に応じた農作業を行いながら圃場内を走行することができる。作業車両100は、作業機を装着しない状態で圃場内または圃場外を走行してもよい。
【0026】
作業車両100は、自動運転機能を備える。すなわち、作業車両100は、手動によらず、制御装置の働きによって走行することができる。本実施形態における制御装置は、作業車両100の内部に設けられ、作業車両100の速度および操舵の両方を制御することができる。作業車両100は、圃場内に限らず、圃場外(例えば道路)を自動走行することもできる。
【0027】
作業車両100は、測位のために利用されるGNSS受信機などの装置を備える。作業車両100の制御装置は、作業車両100の位置と、目標経路の情報とに基づいて、作業車両100を自動で走行させる。制御装置は、作業車両100の走行制御に加えて、作業機の動作の制御も行う。これにより、作業車両100は、圃場内を自動で走行しながら作業機を用いて農作業を実行することができる。さらに、作業車両100は、圃場外の道(例えば、農道または一般道)を目標経路に沿って自動で走行することができる。作業車両100は、カメラまたはLiDARセンサなどのセンシング装置から出力されるデータを活用しながら、圃場外の道に沿って自動走行を行う。
【0028】
管理装置600は、作業車両100による農作業を管理するコンピュータである。管理装置600は、例えば圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援するサーバコンピュータであり得る。管理装置600は、例えば、作業車両100の作業計画を作成し、その作業計画に従って、作業車両100に農作業を実行させる。管理装置600は、例えば、ユーザが端末装置400または他のデバイスを用いて入力した情報に基づいて圃場内の目標経路を生成する。管理装置600は、さらに、作業車両100または他の移動体がLiDARセンサなどのセンシング装置を用いて収集したデータに基づいて、環境地図の生成および編集を行ってもよい。管理装置600は、生成した作業計画、目標経路、および環境地図のデータを作業車両100に送信する。作業車両100は、それらのデータに基づいて、移動および農作業を自動で行う。
【0029】
端末装置400は、作業車両100から離れた場所にいるユーザが使用するコンピュータである。図1に示す端末装置400はラップトップコンピュータであるが、これに限定されない。端末装置400は、デスクトップPC(personal computer)などの据え置き型のコンピュータであってもよいし、スマートフォンまたはタブレットコンピュータなどのモバイル端末でもよい。端末装置400は、作業車両100を遠隔監視したり、作業車両100を遠隔操作したりするために用いられ得る。例えば、端末装置400は、作業車両100が備える1台以上のカメラ(撮像装置)が撮影した映像をディスプレイに表示させることができる。端末装置400は、さらに、作業車両100の作業計画(例えば各農作業のスケジュール)を作成するために必要な情報をユーザが入力するための設定画面をディスプレイに表示することもできる。ユーザが設定画面上で必要な情報を入力し送信の操作を行うと、端末装置400は、入力された情報を管理装置600に送信する。管理装置600は、その情報に基づいて作業計画を作成する。端末装置400は、さらに、目標経路を設定するために必要な情報をユーザが入力するための設定画面をディスプレイに表示する機能を備えていてもよい。
【0030】
以下、本実施形態におけるシステムの構成例をより詳細に説明する。
【0031】
[1.構成例]
図2Aは、作業車両100、および作業車両100に連結された作業機300の例を模式的に示す側面図である。本実施形態における作業車両100は、手動運転モードと自動運転モードの両方で動作することができる。自動運転モードにおいて、作業車両100は無人で走行することができる。作業車両100は、圃場内と圃場外の両方で自動運転が可能である。
【0032】
図2Aに示すように、作業車両100は、車両本体101と、原動機(エンジン)102と、変速装置(トランスミッション)103とを備える。車両本体101には、タイヤ付きの車輪104と、キャビン105とが設けられている。車輪104は、一対の前輪104Fと一対の後輪104Rとを含む。キャビン105の内部に運転席107、操舵装置106、操作端末200、および操作のためのスイッチ群が設けられている。作業車両100が圃場内で作業走行を行うとき、前輪104Fおよび後輪104Rの一方または両方にはタイヤではなくクローラが取り付けられていてもよい。
【0033】
作業車両100は、作業車両100の周囲の環境および地中をセンシングする少なくとも1つのセンシング装置と、少なくとも1つのセンシング装置から出力されるセンシングデータを処理する処理装置とを備え得る。図2Aに示す例では、作業車両100は複数のセンシング装置を備える。センシング装置は、複数のカメラ120と、複数の障害物センサ130と、地中レーダ装置140とを含む。
【0034】
カメラ120は、例えば作業車両100の前後左右に設けられ得る。カメラ120は、作業車両100の周囲の環境を撮影し、画像データを生成する。カメラ120が取得した画像は、作業車両100に搭載された処理装置に出力され、遠隔監視を行うための端末装置400に送信され得る。当該画像は、無人運転時に作業車両100を監視するために用いられ得る。カメラ120は、作業車両100が圃場外の道(農道または一般道)を走行するときに、周辺の地物もしくは障害物、白線、標識、または表示などを認識するための画像を生成する用途でも使用され得る。
【0035】
図2Aの例における地中レーダ装置140は、車両本体101の前部の下側に配置されている。地中レーダ装置140は、車両本体101の中央下部または車両本体101の後部の下側などの他の位置に設けられていてもよい。また、使用する地中レーダ装置の個数は1個に限定されず、2個以上であり得る。図2Bは、作業車両100の他の構成例を模式的に示す側面図である。作業車両100は、例えば2個の地中レーダ装置140を備え得る。この場合、一方は、車両本体101の前部の下側に配置され、他方は、車両本体101の後部の下側に配置され得る。あるいは、車両本体の後部に地中レーダ装置を取り付けることが作業機と干渉して困難である場合などは、地面に対して対地作業を行う作業機に地中レーダ装置を取り付けてもよいし、車両本体101の底面に地中レーダ装置を取り付けてもよい。
【0036】
地中レーダ装置140は、地面に電磁波を放射し、地中からの反射波を受信するように構成される。地中レーダ装置140は、比誘電率の変化によって地中の物理的境界面で電磁波が反射する現象を利用して地中の物体の存在を探査・検出する探査装置である。地中レーダ装置140は、地中に存在する構造物の空間分布に関する情報を含むセンシングデータを繰り返し取得する。空間分布は2次元または3次元空間における分布であり得る。以降、空間分布は単に「分布」と呼ぶ。本実施形態における地中レーダ装置140は、作業車両100が圃場を走行している間、圃場内の地中における作物の地下部の分布に関する情報を含むセンシングデータを繰り返し取得する。
【0037】
図7Aは、地中レーダ装置140が地中を探査する様子を模式的に示す図である。図7Bは、地中レーダ装置140の構成例のブロック図である。図7Cは、地中レーダ装置140のアンテナユニット141の配置例を模式的に示す図である。
【0038】
本実施形態における地中レーダ装置140は、それぞれが送信アンテナTおよび受信アンテナRを含む複数のアンテナユニット(マルチチャネル)141と、複数の受信アンテナRのそれぞれに接続される受信機142と、複数の送信アンテナTのそれぞれに接続されるパルス発生器143と、受信機142およびパルス発生器143の動作を制御する制御装置144と、記憶装置145とを備える。図7Bおよび図7Cに例示する地中レーダ装置140は、複数のアンテナユニット141を備える3次元地中レーダ装置である。車両本体101の幅方向(図7Cに示すY方向)に沿った地中レーダ装置140の長さは、例えば100cm~200cmである。複数の送信アンテナTは、車両本体101の幅方向に沿って等間隔(例えば数十mm)で配置され、複数の受信アンテナRも、車両本体101の幅方向に沿って等間隔(例えば数十mm)で配置され得る。3次元地中レーダ装置によれば、受信アンテナRの間隔で、図7Aに示すXZ平面に平行な複数の地中断面の地中探査データを同時に取得することが可能となる。地中探査データに基づいて、地中の地下部の分布を高精細な3次元情報として取得でき、可視化することが可能である。この3次元情報は、画像化することが可能であり、これにより、3次元画像データを取得することができる。また、地中の地下部の分布を示す3次元情報に基づいて地下部の2次元または3次元形状を推定することができる。
【0039】
地中レーダ装置140は、例えば、ステップ周波数方式に従って、200MHzから3000MHzの周波数帯域の電磁波を送受信することができる。ただし、レーダ方式または変調方式はこれに限定されず、任意の方式であってよい。例えば、レーダ方式としてインパルス方式を利用し得る。地中レーダ装置140は、例えば、上記の周波数帯域の間で、正弦波周波数を段階的に上昇させながら、地面に電磁波を放射し、地中からの反射波を受信して得られた周波数スペクトルデータをフーリエ逆変換することで、地中からの反射波に相当する時間領域波形を生成し得る。反射波形が反射体77の位置または形状に依存するために、受信信号に基づいて、反射体77の位置(図7Cに示すZ方向の深さ)または形状を推定あるいは特定することが可能となる。
【0040】
地中レーダ装置140から出力されるセンシングデータは、作業車両100の制御システム、管理装置600またはエッジコンピュータによって処理され得る。本実施形態では、作業車両100の制御システムが、地中レーダ装置140から出力されるセンシングデータを処理し、地下部に対する作業車両100の相対的な変位に基づいて自己位置推定を行う。
【0041】
作業車両100は、1または複数のLiDARセンサを備えていてもよい。LiDARセンサは、作業車両100が主に圃場外を走行している間、周囲の環境に存在する物体の各計測点までの距離および方向、または各計測点の2次元もしくは3次元の座標値を示すセンサデータを繰り返し出力する。LiDARセンサから出力されたセンサデータは、作業車両100の制御システムによって処理され得る。制御装置は、センサデータに基づいて、作業車両100の周辺に存在する障害物などの物体を検出することができる。
【0042】
再び図2Aを参照する。図2Aに示す複数の障害物センサ130は、キャビン105の前部および後部に設けられている。障害物センサ130は、他の部位にも配置され得る。例えば、車両本体101の側部、前部、および後部の任意の位置に、一つまたは複数の障害物センサ130が設けられ得る。障害物センサ130は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ130は、自動走行時に周囲の障害物を検出して作業車両100を停止したり迂回したりするために用いられる。
【0043】
本実施形態における作業車両100は、さらに、GNSSユニット110を備える。ただし、GNSSユニットは必須ではない。GNSSユニット110は、GNSS受信機を含む。GNSS受信機は、GNSS衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて作業車両100の位置を計算するプロセッサとを備え得る。GNSSユニット110は、複数のGNSS衛星から送信される衛星信号を受信し、衛星信号に基づいて測位を行う。GNSSは、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System、例えばみちびき)、GLONASS、Galileo、およびBeiDouなどの衛星測位システムの総称である。本実施形態におけるGNSSユニット110は、キャビン105の上部に設けられているが、他の位置に設けられていてもよい。
【0044】
GNSSユニット110は、慣性計測装置(IMU)を含み得る。IMUからの信号を利用して位置データを補完することができる。IMUは、作業車両100の傾きおよび微小な動きを計測することができる。IMUによって取得されたデータを用いて、衛星信号に基づく位置データを補完することにより、測位の性能を向上させることができる。
【0045】
本実施形態における作業車両100の処理装置は、地中レーダ装置140が取得したセンシングデータに加え、GNSSユニット110による測位結果、および/またはカメラ120が取得したセンシングデータを利用して自己位置推定を行ってもよい。これにより、より高い精度で作業車両100の位置を特定できる。
【0046】
原動機102は、例えばディーゼルエンジンであり得る。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置103は、変速によって作業車両100の推進力および移動速度を変化させることができる。変速装置103は、作業車両100の前進と後進とを切り換えることもできる。
【0047】
操舵装置106は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪104Fは操舵輪であり、その切れ角(「操舵角」とも称する。)を変化させることにより、作業車両100の走行方向を変化させることができる。前輪104Fの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪104Fの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、作業車両100内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。
【0048】
車両本体101の後部には、連結装置108が設けられている。連結装置108は、例えば3点支持装置(「3点リンク」または「3点ヒッチ」とも称する。)、PTO(Power Take Off)軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置108によって作業機300を作業車両100に着脱することができる。連結装置108は、例えば油圧装置によって3点リンクを昇降させ、作業機300の位置または姿勢を変化させることができる。また、ユニバーサルジョイントを介して作業車両100から作業機300に動力を送ることができる。作業車両100は、作業機300を引きながら、作業機300に所定の作業を実行させることができる。連結装置は、車両本体101の前部に設けられていてもよい。その場合、作業車両100の前部に作業機を接続することができる。
【0049】
図2Aに示す作業機300は、作物に薬剤を噴霧するスプレイヤであるが、作業機300はスプレイヤに限定されない。例えば、シーダ(播種機)、スプレッダ(施肥機)、移植機、モーア(草刈機)、レーキ、ベーラ(集草機)、ハーベスタ(収穫機)、ロータリ耕耘機、またはハローなどの、任意の作業機を作業車両100に接続して使用することができる。
【0050】
図2Aに示す作業車両100は、有人運転が可能であるが、無人運転のみに対応していてもよい。その場合には、キャビン105、操舵装置106、および運転席107などの、有人運転にのみ必要な構成要素は、作業車両100に設けられていなくてもよい。無人の作業車両100は、自律走行、またはユーザによる遠隔操作によって走行することができる。
【0051】
図3は、作業車両100および作業機300の構成例を示すブロック図である。作業車両100と作業機300は、連結装置108に含まれる通信ケーブルを介して互いに通信することができる。作業車両100は、ネットワーク80を介して、端末装置400および管理装置600と通信することができる。
【0052】
図3の例における作業車両100は、GNSSユニット110、カメラ120、障害物センサ130、地中レーダ装置140、および操作端末200に加え、作業車両100の動作状態を検出するセンサ群150、制御システム160、通信装置190、操作スイッチ群210、ブザー220、および駆動装置240を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。GNSSユニット110は、GNSS受信機111と、RTK受信機112と、慣性計測装置(IMU)115と、処理回路116とを備える。センサ群150は、ステアリングホイールセンサ152と、切れ角センサ154、車軸センサ156とを含む。制御システム160は、処理装置161と、記憶装置170と、制御装置180とを備える。制御装置180は、複数の電子制御ユニット(ECU)181から185を備える。作業機300は、駆動装置340と、制御装置380と、通信装置390とを備える。なお、図3には、作業車両100による自動運転の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。
【0053】
GNSSユニット110におけるGNSS受信機111は、複数のGNSS衛星から送信される衛星信号を受信し、衛星信号に基づいてGNSSデータを生成する。GNSSデータは、例えばNMEA-0183フォーマットなどの所定のフォーマットで生成される。GNSSデータは、例えば、衛星信号が受信されたそれぞれの衛星の識別番号、仰角、方位角、および受信強度を示す値を含み得る。
【0054】
図3に示すGNSSユニット110は、RTK(Real Time Kinematic)-GNSSを利用して作業車両100の測位を行う。図4は、RTK-GNSSによる測位を行う作業車両100の例を示す概念図である。RTK-GNSSによる測位では、複数のGNSS衛星50から送信される衛星信号に加えて、基準局60から送信される補正信号が利用される。基準局60は、作業車両100が作業走行を行う圃場の付近(例えば、作業車両100から10km以内の位置)に設置され得る。基準局60は、複数のGNSS衛星50から受信した衛星信号に基づいて、例えばRTCMフォーマットの補正信号を生成し、GNSSユニット110に送信する。RTK受信機112は、アンテナおよびモデムを含み、基準局60から送信される補正信号を受信する。GNSSユニット110の処理回路116は、補正信号に基づき、GNSS受信機111による測位結果を補正する。RTK-GNSSを用いることにより、例えば誤差数cmの精度で測位を行うことが可能である。緯度、経度、および高度の情報を含む位置情報が、RTK-GNSSによる高精度の測位によって取得される。GNSSユニット110は、例えば1秒間に1回から10回程度の頻度で、作業車両100の位置を計算する。
【0055】
なお、測位方法はRTK-GNSSに限らず、必要な精度の位置情報が得られる任意の測位方法(干渉測位法または相対測位法など)を用いることができる。例えば、VRS(Virtual Reference Station)またはDGPS(Differential Global Positioning System)を利用した測位を行ってもよい。基準局60から送信される補正信号を用いなくても必要な精度の位置情報が得られる場合は、補正信号を用いずに位置情報を生成してもよい。その場合、GNSSユニット110は、RTK受信機112を備えていなくてもよい。
【0056】
RTK-GNSSを利用する場合であっても、基準局60からの補正信号が得られない場所(例えば圃場から遠く離れた道路上)では、RTK受信機112からの信号によらず、他の方法で作業車両100の位置が推定される。例えば、カメラ120および/またはLiDARセンサから出力されたデータと、高精度の環境地図とのマッチングによって、作業車両100の位置が推定され得る。また、作業車両100が圃場を走行するときは、地中レーダ装置140から出力されたセンシングデータと、高精度の地下地図とのマッチングによって、作業車両100の位置が推定され得る。
【0057】
本実施形態におけるGNSSユニット110は、さらにIMU115を備える。IMU115は、3軸加速度センサおよび3軸ジャイロスコープを備え得る。IMU115は、3軸地磁気センサなどの方位センサを備えていてもよい。IMU115は、モーションセンサとして機能し、作業車両100の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。処理回路116は、衛星信号および補正信号に加えて、IMU115から出力された信号に基づいて、作業車両100の位置および向きをより高い精度で推定することができる。IMU115から出力された信号は、衛星信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。IMU115は、GNSS受信機111よりも高い頻度で信号を出力する。その高頻度の信号を利用して、処理回路116は、作業車両100の位置および向きをより高い頻度(例えば、10Hz以上)で計測することができる。IMU115に代えて、3軸加速度センサおよび3軸ジャイロスコープを別々に設けてもよい。IMU115は、GNSSユニット110とは別の装置として設けられていてもよい。
【0058】
カメラ120は、作業車両100の周囲の環境を撮影する撮像装置である。カメラ120は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを備える。カメラ120は、他にも、一つ以上のレンズを含む光学系、および信号処理回路を備え得る。カメラ120は、作業車両100の走行中、作業車両100の周囲の環境を撮影し、画像(例えば動画)のデータを生成する。カメラ120は、例えば、3フレーム/秒(fps: frames per second)以上のフレームレートで動画を撮影することができる。カメラ120によって生成された画像は、例えば遠隔の監視者が端末装置400を用いて作業車両100の周囲の環境を確認するときに利用され得る。カメラ120によって生成された画像は、測位または障害物の検出に利用されてもよい。図2Aに示すように、複数のカメラ120が作業車両100の異なる位置に設けられていてもよいし、単数のカメラが設けられていてもよい。可視光画像を生成する可視カメラと、赤外線画像を生成する赤外カメラとが別々に設けられていてもよい。可視カメラと赤外カメラの両方が監視用の画像を生成するカメラとして設けられていてもよい。赤外カメラは、夜間において障害物の検出にも用いられ得る。
【0059】
障害物センサ130は、作業車両100の周囲に存在する物体を検出する。障害物センサ130は、例えばレーザスキャナまたは超音波ソナーを含み得る。障害物センサ130は、障害物センサ130から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ130が作業車両100の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、作業車両100の異なる位置に配置されていてもよい。そのような多くの障害物センサ130を備えることにより、作業車両100の周囲の障害物の監視における死角を減らすことができる。
【0060】
ステアリングホイールセンサ152は、作業車両100のステアリングホイールの回転角を計測する。切れ角センサ154は、操舵輪である前輪104Fの切れ角を計測する。ステアリングホイールセンサ152および切れ角センサ154による計測値は、制御装置180による操舵制御に利用される。
【0061】
車軸センサ156は、車輪104に接続された車軸の回転速度、すなわち単位時間あたりの回転数を計測する。車軸センサ156は、例えば磁気抵抗素子(MR)、ホール素子、または電磁ピックアップを利用したセンサであり得る。車軸センサ156は、例えば、車軸の1分あたりの回転数(単位:rpm)を示す数値を出力する。車軸センサ156は、作業車両100の速度を計測するために使用される。
【0062】
駆動装置240は、前述の原動機102、変速装置103、操舵装置106、および連結装置108などの、作業車両100の走行および作業機300の駆動に必要な各種の装置を含む。原動機102は、例えばディーゼル機関などの内燃機関を備え得る。駆動装置240は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。
【0063】
ブザー220は、異常を報知するための警告音を発する音声出力装置である。ブザー220は、例えば、自動運転時に、障害物が検出された場合に警告音を発する。ブザー220は、制御装置180によって制御される。
【0064】
処理装置161の例は、マイクロプロセッサまたはマイクロコントローラである。処理装置161は、主として地中レーダ装置140から出力されるセンシングデータを処理する。例えば、処理装置161は、作業車両100が圃場を走行している間に地中レーダ装置140から繰り返し出力されるセンシングデータに基づいて、圃場の地中における地下部を検出し、地下部に対する作業車両100の相対的な変位を参照しながら自己位置推定を行う。また、処理装置161は、検出した地下部の分布を示す局所地下地図データを生成して記憶装置170に記録する動作を繰り返す。処理装置161は、作業車両100が圃場全体または圃場の一区画を走行する間に生成した局所地下地図データを繋ぎ合わせることにより、地下地図データを生成し得る。地下地図データは、管理装置600におけるプロセッサまたはエッジコンピュータによって生成あるいは編集されてもよい。処理装置161が行う一連の処理を後述する制御装置180に実行させることも可能である。
【0065】
記憶装置170は、フラッシュメモリまたは磁気ディスクなどの一つ以上の記憶媒体を含む。記憶装置170は、GNSSユニット110、カメラ120、障害物センサ130、地中レーダ装置140、センサ群150、処理装置161および制御装置180が生成する各種のデータを記憶する。記憶装置170が記憶するデータには、作業車両100が走行する圃場内の地下地図、作業車両100が走行する環境内の環境地図、および自動運転のための目標経路のデータが含まれ得る。環境地図は、例えば、作業車両100が農作業を行う複数の圃場およびその周辺の道の情報を含む。環境地図および目標経路は、管理装置600におけるプロセッサによって生成され得る。なお、制御装置180が、環境地図および目標経路を生成または編集する機能を備えていてもよい。制御装置180は、管理装置600から取得した環境地図および目標経路を、作業車両100の走行環境に応じて編集することができる。記憶装置170は、通信装置190が管理装置600から受信した作業計画のデータも記憶する。
【0066】
記憶装置170は、処理装置161、および制御装置180における各ECUに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介して作業車両100に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
【0067】
制御装置180は、複数のECUを含む。複数のECUは、例えば、速度制御用のECU181、ステアリング制御用のECU182、インプルメント制御用のECU183、自動運転制御用のECU184、および経路生成用のECU185を含む。
【0068】
ECU181は、駆動装置240に含まれる原動機102、変速装置103、およびブレーキを制御することによって作業車両100の速度を制御する。
【0069】
ECU182は、ステアリングホイールセンサ152の計測値に基づいて、操舵装置106に含まれる油圧装置または電動モータを制御することによって作業車両100のステアリングを制御する。
【0070】
ECU183は、作業機300に所望の動作を実行させるために、連結装置108に含まれる3点リンクおよびPTO軸などの動作を制御する。ECU183はまた、作業機300の動作を制御する信号を生成し、その信号を通信装置190から作業機300に送信する。
【0071】
ECU184は、GNSSユニット110、カメラ120、障害物センサ130、処理装置161およびセンサ群150から出力されたデータに基づいて、自動運転を実現するための演算および制御を行う。例えば、ECU184は、GNSSユニット110、カメラ120および処理装置161の少なくとも1つから出力されたデータに基づいて、作業車両100の位置を特定する。ECU184は、LiDARセンサから出力されたデータにさらに基づいて、作業車両100の位置を特定し得る。作業車両100がとりわけ圃場を走行するときは、処理装置161は、単独でまたはECU184と協働して、地中レーダ装置140から出力されたセンシングデータに基づいて自己位置推定を行い得る。ECU184は、カメラ120またはLiDARセンサが取得したデータに基づいて、処理装置161が推定した作業車両100の位置を補正してもよい。また、圃場外においては、ECU184は、カメラ120またはLiDARセンサから出力されるデータを利用して作業車両100の位置を推定する。例えば、ECU184は、カメラ120またはLiDARセンサから出力されるデータと、環境地図とのマッチングにより、作業車両100の位置を推定してもよい。自動運転中、ECU184は、推定された作業車両100の位置に基づいて、目標経路に沿って作業車両100が走行するために必要な演算を行う。ECU184は、ECU181に速度変更の指令を送り、ECU182に操舵角変更の指令を送る。ECU181は、速度変更の指令に応答して原動機102、変速装置103、またはブレーキを制御することによって作業車両100の速度を変化させる。ECU182は、操舵角変更の指令に応答して操舵装置106を制御することによって操舵角を変化させる。
【0072】
ECU185は、作業車両100の走行中、カメラ120および障害物センサ130から出力されたデータに基づいて、作業車両100の周囲に存在する障害物を認識する。また、ECU185は、記憶装置170に格納された作業計画に基づいて作業車両100の移動先を決定し、作業車両100の移動の開始地点から目的地点までの目標経路を決定し得る。
【0073】
これらのECUの働きにより、制御装置180は、処理装置161と協働して、自動運転を実現する。自動運転時において、制御装置180は、計測または推定された作業車両100の位置と、目標経路とに基づいて、駆動装置240を制御する。これにより、制御装置180は、作業車両100を目標経路に沿って走行させることができる。
【0074】
制御装置180に含まれる複数のECUは、例えばCAN(Controller Area Network)などのビークルバス規格に従って、相互に通信することができる。CANに代えて、車載イーサネット(登録商標)などの、より高速の通信方式が用いられてもよい。図3において、処理装置161、およびECU181から185のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のECUによって実現されていてもよい。処理装置161、ECU181から185の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置180は、ECU181から185以外のECUを備えていてもよく、機能に応じて任意の個数のECUが設けられ得る。例えば、処理装置161は、ECUとして制御装置180に実装されてもよい。各ECUは、一つ以上のプロセッサを含む処理回路を備える。
【0075】
通信装置190は、作業機300、端末装置400、および管理装置600と通信を行う回路を含む装置である。通信装置190は、例えばISOBUS-TIM等のISOBUS規格に準拠した信号の送受信を、作業機300の通信装置390との間で実行する回路を含む。これにより、作業機300に所望の動作を実行させたり、作業機300から情報を取得したりすることができる。通信装置190は、さらに、ネットワーク80を介した信号の送受信を、端末装置400および管理装置600のそれぞれの通信装置との間で実行するためのアンテナおよび通信回路を含み得る。ネットワーク80は、例えば、3G、4Gもしくは5Gなどのセルラー移動体通信網およびインターネットを含み得る。通信装置190は、作業車両100の近くにいる監視者が使用する携帯端末と通信する機能を備えていてもよい。そのような携帯端末との間では、Wi-Fi(登録商標)、3G、4Gもしくは5Gなどのセルラー移動体通信、またはBluetooth(登録商標)などの、任意の無線通信規格に準拠した通信が行われ得る。
【0076】
操作端末200は、作業車両100の走行および作業機300の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル(VT)とも称される。操作端末200は、タッチスクリーンなどの表示装置、および/または一つ以上のボタンを備え得る。表示装置は、例えば液晶または有機発光ダイオード(OLED)などのディスプレイであり得る。ユーザは、操作端末200を操作することにより、例えば自動運転モードのオン/オフの切り替え、環境地図の記録または編集、目標経路の設定、および作業機300のオン/オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群210を操作することによっても実現され得る。操作端末200は、作業車両100から取り外せるように構成されていてもよい。作業車両100から離れた場所にいるユーザが、取り外された操作端末200を操作して作業車両100の動作を制御してもよい。ユーザは、操作端末200の代わりに、端末装置400などの、必要なアプリケーションソフトウェアがインストールされたコンピュータを操作して作業車両100の動作を制御してもよい。
【0077】
図5は、キャビン105の内部に設けられる操作端末200および操作スイッチ群210の例を示す図である。キャビン105の内部には、ユーザが操作可能な複数のスイッチを含む操作スイッチ群210が配置されている。操作スイッチ群210は、例えば、主変速または副変速の変速段を選択するためのスイッチ、自動運転モードと手動運転モードとを切り替えるためのスイッチ、前進と後進とを切り替えるためのスイッチ、および作業機300を昇降するためのスイッチ等を含み得る。なお、作業車両100が無人運転のみを行い、有人運転の機能を備えていない場合、作業車両100が操作スイッチ群210を備えている必要はない。
【0078】
図3に示す作業機300における駆動装置340は、作業機300が所定の作業を実行するために必要な動作を行う。駆動装置340は、例えば油圧装置、電気モータ、またはポンプなどの、作業機300の用途に応じた装置を含む。制御装置380は、駆動装置340の動作を制御する。制御装置380は、通信装置390を介して作業車両100から送信された信号に応答して、駆動装置340に各種の動作を実行させる。また、作業機300の状態に応じた信号を通信装置390から作業車両100に送信することもできる。
【0079】
次に、図6を参照しながら、管理装置600および端末装置400の構成を説明する。図6は、管理装置600および端末装置400の概略的なハードウェア構成を例示するブロック図である。
【0080】
管理装置600は、記憶装置650と、プロセッサ660と、ROM(Read Only Memory)670と、RAM(Random Access Memory)680と、通信装置690とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。管理装置600は、作業車両100が実行する圃場における農作業のスケジュール管理を行い、管理するデータを活用して農業を支援するクラウドサーバとして機能し得る。ユーザは、端末装置400を用いて作業計画の作成に必要な情報を入力し、その情報をネットワーク80を介して管理装置600にアップロードすることが可能である。管理装置600は、その情報に基づき、農作業のスケジュール、すなわち作業計画を作成することができる。管理装置600は、さらに、地下地図および環境地図の生成または編集を実行することができる。地下地図および環境地図のそれぞれは、管理装置600の外部のコンピュータから配信されてもよい。
【0081】
通信装置690は、ネットワーク80を介して作業車両100および端末装置400と通信するための通信モジュールである。通信装置690は、例えば、IEEE1394(登録商標)またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信装置690は、Bluetooth(登録商標)規格もしくはWi-Fi規格に準拠した無線通信、または、3G、4Gもしくは5Gなどのセルラー移動体通信を行ってもよい。
【0082】
プロセッサ660は、例えば中央演算処理装置(CPU)を含む半導体集積回路であり得る。プロセッサ660は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。あるいは、プロセッサ660は、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される二つ以上の回路の組み合わせによっても実現され得る。プロセッサ660は、ROM670に格納された、少なくとも一つの処理を実行するための命令群を記述したコンピュータプログラムを逐次実行し、所望の処理を実現する。
【0083】
ROM670は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM670は、プロセッサ660の動作を制御するプログラムを記憶する。ROM670は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。複数の記憶媒体の集合体の一部は、取り外し可能なメモリであってもよい。
【0084】
RAM680は、ROM670に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。RAM680は、単一の記憶媒体である必要はなく、複数の記憶媒体の集合体であってもよい。
【0085】
記憶装置650は、主としてデータベースのストレージとして機能する。記憶装置650は、例えば、磁気記憶装置または半導体記憶装置であり得る。磁気記憶装置の例は、ハードディスクドライブ(HDD)である。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。記憶装置650は、管理装置600とは独立した装置であってもよい。例えば、記憶装置650は、管理装置600にネットワーク80を介して接続される記憶装置、例えばクラウドストレージであってもよい。
【0086】
端末装置400は、入力装置420と、表示装置430と、記憶装置450と、プロセッサ460と、ROM470と、RAM480と、通信装置490とを備える。これらの構成要素は、バスを介して相互に通信可能に接続される。入力装置420は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置420は、例えば、キーボード、マウス、またはタッチパネルであり得る。表示装置430は、例えば液晶ディスプレイまたは有機ELディスプレイであり得る。プロセッサ460、ROM470、RAM480、記憶装置450、および通信装置490のそれぞれに関する説明は、管理装置600のハードウェア構成例において記載したとおりであり、それらの説明を省略する。
【0087】
[2.作物の地下部]
作物は、地上に存在する部分、および、地下に存在する部分から構成される。前者は地上部と呼ばれ、後者は、地下部または根系と呼ばれる。地下部は、根および地下茎などを含む。作物の根は、生育に応じて地中に不規則に伸びる。また、剪定技術、灌漑、年度などの根の成長に影響を与えるさまざまな要因により、根の成長の仕方は年ごとに異なり得る。以下、作物としてぶどうを例に挙げ、地下部の概略的な構造を説明する。
【0088】
ぶどうの地下部の大部分は地面から100cmの深さの範囲内に位置し、個々の根は9mの深さにまで成長し得る。細根のほとんどは、10cm~60cmの深さにあり、地面から20cm程の深さにおいて、根の密度が最大になる。主根は、通常、地面から18cm~80cmの深さに確認される。根の分布は、土壌特性、不透水層、および台木(root stock)の品種などに依存し得る。ぶどうの根は非常に分岐することが知られており、様々な深さや方向に成長し得る。いくつかの研究によれば、ぶどうの根は、主に開花からヴェレゾン(すなわち、ぶどうが成熟するにつれ、色づいていくこと)の間に成長し、典型的には、収穫時期の近くには成長せず、収穫後または春先にもほとんど成長しない。また、休眠期であっても、土壌の温度が十分高ければ、根は成長し得る。
【0089】
このように、作物が植え付けられた圃場の地下における地下部の分布は、作物の個体ごとに特有であり、地下部の固有パターンを形成する。圃場に植え付けられた複数の作物のそれぞれは、地下部の固有パターンを形成する。このため、複数の作物の地下部が組み合わさることによって、圃場全体として、圃場の地下部全体の固有パターンが形成される。圃場の地下部全体の分布は、前述したさまざまな要因によって根の成長とともに変化し得る。この点において、動的な地下部は、地中に存在し得る例えば配管または岩石などの静的構造物とは異なる。
【0090】
図8は、圃場に植え付けられた作物群の地下に存在する地下部の分布を模式的に示す図である。図8には、作物群のうちの9つの作物の地下部700に着目して例示している。作物群のそれぞれの地下部が、圃場の地中に張り巡らされ、全体の地下部を形成している。地下部の分布または形状は、個々の作物ごとに異なっている。それぞれの根は3次元空間中に不規則に伸びている。例えば、ぶどうの標準的な根の太さ(直径)は、0.5cm~2cm程度であり、太い根は2cm以上の直径を有し、細い根は0.5cm以下の直径を有し得る。ぶどうの根は、幹から水平方向(地中の深さ方向に直交する方向)に例えば2m~3m離れた地点にまで到達し得る。
【0091】
作業車両100が圃場を走行している間に、地中レーダ装置140が、地中における作物の地下部700に関する情報を含むセンシングデータを取得する。作業車両100が、例えば、図8に示すX方向またはY方向に沿って往復を繰り返すと、地中レーダ装置140は、地中の地下部700の分布を示す3次元情報を含むセンシングデータを取得する。個々のセンシングデータは、地中レーダ装置140の受信アンテナが受信した地中からの反射波に基づいて得られる観測データである。例えば、1500MHz~2000MHzのマイクロ波を利用すると、地面から深さ30cm程度までに存在し、かつ、直径が5mm以上の根を検出することができる。400MHz程度の比較的低い周波数のマイクロ波を利用すると、直径が2cm~4cmであれば、地面から深さ2m程度までに存在する根を検出することができる。
【0092】
再び、図7Aおよび図7Cを参照する。作業車両100が例えばX方向に走行する場合、作業車両100の幅方向(Y方向)に所定間隔で配置された複数の受信アンテナRの各々が、地中からの反射波を受信することにより、図8に示すXZ平面に平行な縦断面における地下部の縦断面プロファイルが受信アンテナRの数だけ得られる。処理装置161は、複数の縦断面プロファイルをY方向に繋ぎ合わせることで、圃場全体の地下部の分布を示す3次元データ群を生成し得る。3次元データ群は、モデリングして可視化することが可能である。処理装置161は、観測して得られたデータ群に基づいて地下部の形状を推定することができる。観測して得られたデータ群に基づいて生成される画像をレーダ画像と呼ぶ。レーダ画像は、例えば地下部の形状の一部または全部を含む。
【0093】
作業車両100が車両本体101の前部および後部に一対の地中レーダ装置を備える場合には、一方を他方に対し、アンテナユニット141の間隔の例えば半分の距離だけ作業車両の幅方向(図7Cに示すY方向)にシフトさせて配置してもよい。これにより、1個の地中レーダ装置を用いる場合に比べ、作業車両の幅方向に2倍の分解能で縦断面プロファイルのデータを取得することができる。高分解能で大量のデータを取得することは、後述するように、地中における地下部の位置または形状を推定すること、または、地下部の分布を示す精度の高い地下地図を構築することに有益である。
【0094】
作業車両100が圃場の全体または一区画を走行し終えると、圃場の全体または一区画の地下部の分布に関する情報を含む3次元データ群が得られる。3次元データ群は、地中の深さ方向にXY平面に平行にスライスすることが可能である。3次元データ群を深さ方向にスライスすることで、所望の深さで2次元平面(水平断面)における地下部の分布情報が得られ、その分布情報に基づいて水平断面における地下部の水平断面プロファイルSが得られる。処理装置161は、深さが異なる複数の水平断面プロファイルS0~Snに対応する複数のレーダ画像を合成することによって、深さ方向の合成レーダ画像を生成し得る。それぞれのレーダ画像は、それぞれの深さにおける根の形状を反映した根の分布情報を含む。
【0095】
処理装置161は、観測して得られたデータ群を例えば空間解析手法を用いて、2次元または3次元空間に分布するデータ点の分布パターンを分析してもよい。データ点の分布はラスターデータとして表現されてもよいし、例えばカーネル法を用いて可視化してもよい。あるいは、処理装置161は、点分布の密度を算出し、それらを可視化した画像を生成してもよい。このようにして生成される画像も、前述したレーダ画像の一例である。
【0096】
図9は、合成レーダ画像を模式的に示す図である。図9には、地面からある深さまでの複数のレーダ画像を合成して得られる合成レーダ画像を例示している。処理装置161は、例えば、根が高い密度で分布する深度範囲の複数の水平断面プロファイルに対応した複数のレーダ画像を合成することにより、その深度範囲における合成レーダ画像を生成してもよい。処理装置161は、時系列の連続するレーダ画像または合成レーダ画像のデータを用いて、例えば10fps以上の動画像を生成し得る。以下、このように生成される動画像を「レーダ動画像」と呼ぶ。レーダ動画像を構成する各フレームは、圃場における作業車両100の地点の地下部の分布情報を含み、それぞれのフレームが示す地下部の分布はフレーム群の間で異なる。
【0097】
処理装置161は、レーダ画像または合成レーダ画像のデータを生成する前に、圃場における土壌状態、例えば土壌に含まれる水分量、養分、土性などから決定される補正パラメータを、地中レーダ装置140によって取得されるセンシングデータに適用して、センシングデータを補正する前処理を実行してもよい。これにより、前処理した3次元データを利用することで、地中における地下部の位置または形状を推定する精度が向上し得る。
【0098】
[3.自己位置推定]
次に、図10から図16を参照して、地中の地下部に対する作業車両100の位置を推定する方法の例を説明する。実際、作業車両100は平坦ではない圃場の地面を走行するために、作業車両100の姿勢は、ロール角、ピッチ角、およびヨー角によって表される。ただし、以下の説明では、簡単のため、作業車両100が2次元空間(すなわち平面)内を移動するものとし、姿勢は主にヨー角によって表されものとする。
【0099】
作業車両100は、作物が植え付けられた圃場を走行する。本実施形態の一態様における作業車両100の処理装置161は、作業車両100が圃場を走行しているときに、地下部に対する作業車両100の相対的な変位を参照し、作業車両100の位置を推定する。具体的には、作業車両100は圃場を目標経路に沿って走行する。処理装置161は、地中レーダ装置140から出力されるセンシングデータを処理して、地下部に対する作業車両100の相対的な変位の向きおよび大きさを決定し、変位の向きおよび大きさに基づいて、目標経路に関連付けられた基準点に対する作業車両100の相対位置を推定する。本開示の自己位置推定は、目標経路に沿った自動運転に限定されず、目標経路が設定されない場合の自動運転、あるいは、手動運転にも適用することが可能である。
【0100】
前述したように、圃場に植え付けられた作物群のそれぞれは、地下部の固有パターンを形成する。そのため、作業車両100が圃場を走行している間に地中レーダ装置140によって取得されるセンシングデータに基づいて生成されるレーダ画像が含む根の形状または分布は、作業車両100の位置に応じて変化する。処理装置161は、レーダ動画像の隣接するフレーム間の根の形状または分布の変化を追跡することにより、地下部に対する作業車両100の相対的な変位を決定する。本実施形態では、処理装置161は、時系列のフレーム群における1フレームのレーダ画像に含まれる根の形状から部分的な形状を特定パターンとして抽出し、特定パターンが、隣接するフレーム間でどの方向にどれだけ移動するかを追跡することで、地下部に対する作業車両100の相対的な変位を決定する。処理装置161は、決定した変位に基づいて自己位置推定を行う。
【0101】
図10は、時刻t1から時刻t2までの間に平面上を移動する作業車両100の例を模式的に示す図である。図10には、平面上を移動する作業車両100の位置および向きが模式的に示されている。作業車両100の位置座標は、XY座標系によって示される。XY座標系は、地球に固定されたワールド座標系Σである。図10には、作業車両100に固定された移動体座標系Σも示されている。この例における移動体座標系Σは、作業車両100の正面が向く方向をu軸方向、u軸を反時計回りに90度回転させた方向をv軸方向とするuv座標系である。移動体座標系Σの原点の位置は、作業車両100の移動に伴って変化する。移動体座標系Σの向きは、作業車両100の向きの変化、すなわち回転に伴って変化する。
【0102】
時刻t1における作業車両100のポーズ(すなわち位置および向き)をr1、時刻t2における作業車両100のポーズをr2とする。ポーズr1は、例えば、座標(x1,y1)で示される位置と、角度θ1で示される向きとによって規定される。ここでは、作業車両100の向きは作業車両100の正面が向く方向であると定義する。また、X軸正方向を角度の基準方向とし、反時計回りを角度の正方向とする。ポーズr2は、座標(x2,y2)で示される位置と、角度θ2で示される向きとによって規定される。
【0103】
図10の例において、時刻t1から時刻t2までの間に、作業車両100の位置は、角度θ1の方位にΔd1だけ移動(並進)し、作業車両100の向きは、Δφ1(=θ2-θ1)だけ反時計回りに回転している。このように、作業車両100の運動は、「並進」と「回転」の合成である。
【0104】
この例において、距離Δd1が十分に短いとき、作業車両100の進行方向は移動体座標系Σのu軸に平行であると近似できる。このため、以下の式1が成立する。
【数1】
【0105】
本実施形態において、Δd1およびΔφ1は、レーダ画像に特徴点マッチング手法を適用することによって推定される。作業車両100が、慣性計測装置(IMU)などの内界センサを備えている場合には、その内界センサからの出力を利用して、Δφ1を推定することもできる。時刻t1から時刻t2までの時間差が例えば100ミリ秒以下のように短い場合、距離Δd1は十分に短く、式1が成立する。時刻がt1、t2、t3、・・・と進む過程で、Δd1およびΔφ1の推定値を周期的に更新していくことにより、作業車両100の位置および向き(すなわちポーズ)の変化を推定することが可能である。言い換えると、初期のポーズ、例えば(x1,y1,θ1)が既知である場合、その後の作業車両100のポーズの推定値を周期的に更新することができる。ただし、特徴点マッチングに基づくポーズの推定に機械学習を適用することによって、作業車両100の位置を推定する正確度を高めることができる。あるいは、衛星測位システムまたはSLAM技術を併用することで、作業車両100の位置の正確度の高い推定値を取得することが可能となる。
【0106】
図11Aから図11Cは、作業車両100の運動が並進のみの場合の、地下部に対する作業車両100の変位を説明するための図である。図11Aから図11Cのそれぞれには、ワールド座標系Σ、および移動体座標系Σが示されている。簡単のために、ワールド座標系Σにおいてアルファベットの文字群が地中に配置され、これらの文字群の上を作業車両が移動している間に地中レーダ装置がこれらの文字群をセンシングするものとする。時刻tn-1、時刻tn、時刻tn+1にそれぞれ取得されるレーダ画像B1、B2およびB3が、矩形の点線で示されている。ここで、隣接するフレーム間において、現在フレームであるレーダ画像B2、および、現在フレームよりも先行する先行フレームであるレーダ画像B1を、それぞれ、第2フレームおよび第1フレームと呼ぶことがある。この場合、レーダ画像B3およびB2は、それぞれ、第2フレームおよび第1フレームと呼ぶことができる。
【0107】
レーダ画像における文字の位置および向きは、地中レーダ装置の位置および向きによって定まり、文字の位置座標は、画像座標上で規定される。厳密には、画像座標系は移動体座標系Σとは異なり得るが、以下の説明では、画像座標系と移動体座標系Σとは同一であるものとする。画像座標系と移動体座標系Σとの関係は既知であるため、一方の座標系を既知の角度だけ回転させ、かつ、既知の距離だけ並進させることにより、他方の座標系に一致させることができる。
【0108】
図11Bに示す例において、隣接するレーダ画像B1、B2の両方に存在する例えば文字Eに着目すると、作業車両100の並進運動により、画像座標系において文字Eの位置が移動する。この移動は、作業車両100の並進運動による平行移動であり、その結果、時刻tn-1と時刻tnとの間の文字Eの変位を示す、大きさ(移動量)および向きを有する移動ベクトルMが求まる。ただし、この例における向きは不変である。移動ベクトルMの決定に、例えば、レーダ画像B1から抽出した文字Eのパターンをテンプレートとしてブロックマッチング手法を利用することができる。図示される例において、文字Aに着目した場合においても、これと同様に、移動ベクトルMが求まる。
【0109】
図11Cに示す例において、文字Eは、レーダ画像B3に存在しないために、今度は、隣接するレーダ画像B2、B3の両方に存在する例えば文字Fに着目する。作業車両100の並進運動により、画像座標系において文字Fの位置が移動し、時刻tnと時刻tn+1との間の文字Fの変位を示す移動ベクトルMが求まる。このように、作業車両100の運動が並進のみの場合、向きは不変であり、移動ベクトルMは比較的容易に決定することができる。画像座標系と移動体座標系Σとの関係、および、移動体座標系Σとワールド座標系Σとの関係は既知であるため、画像座標系における移動ベクトルMの大きさに基づいてワールド座標系Σにおける作業車両100の変位量、すなわち、図10に示す距離Δd1を決定することができる。
【0110】
作業車両100が圃場を走行するときは回転運動を行い得る。図12Aおよび図12Bは、作業車両100の運動が並進および回転を伴う場合の、地下部に対する作業車両100の変位量および回転角を説明するための図である。図12Aおよび図12Bには、ワールド座標系Σ、および移動体座標系Σが示されている。図12Bに示す例において、隣接するレーダ画像B1、B2の両方に存在する例えば文字Eに着目すると、作業車両100の回転運動(例えばヨーの回転)により、画像座標系において文字Eが回転する。さらに、作業車両100の並進運動により、画像座標系において文字Eの位置が移動する。この移動は、作業車両100の並進運動による平行移動である。この場合の移動ベクトルMの大きさおよび回転角θ(向き)は、例えば、後述する特徴量マッピング手法を用いて決定することができる。文字Aに着目した場合においても、これと同様に、変位の大きさおよび回転角θが決定される。
【0111】
図13を参照して、特徴点マッチング手法を用いる自己位置推定の手順の例を説明する。ただし、本開示の自己位置推定に、特徴点マッチング手法以外に、公知のあらゆる手法またはアルゴリズムが採用され得る。
【0112】
図13は、特徴点マッチング手法を用いる自己位置推定の手順を例示するフローチャートである。図14は、隣接するフレーム間において地下部の一部の形状の特徴点がマッチングする様子を模式的に示す図である。図15は、地下部の一部の形状の回転角θを模式的に示す図である。
【0113】
本実施形態において、処理装置161が、図13に示すステップS221~S226の処理を実行することにより、地下部に対する作業車両100の相対位置を推定する。ただし、これら一連の処理は、例えば、管理装置600またはエッジコンピュータによって行われてもよいし、処理装置161とエッジコンピュータとによって行われてもよい。例えば、OpenCV(Open Source Computer Vision Library)が提供する特徴点マッチング用のライブラリを利用することができる。
【0114】
(ステップS221)
処理装置161は、地中レーダ装置140から所定の周期(例えばスキャンレートによって規定される時間)で出力されるセンシングデータを処理し、例えば10fps以上のレーダ動画像を生成する。処理装置161は、隣接する第1および第2フレームのうちの、先行フレームである第1フレームから地下部の一部の形状を抽出する。図14に、第1フレームから抽出した地下部の一部の形状F1が例示されている。形状F1の外接長方形が実線の矩形で示されている。例えば、処理装置161は、第1フレームの画像を2値化して、2値化画像から形状F1の輪郭を抽出する。
【0115】
(ステップS222)
処理装置161は、抽出した形状F1の特徴点を検出し、特徴量を算出する。処理装置161は、形状F1の角、線の交わり、またはエッジなどの、画像座標系における固有の点の座標を検出する。処理装置161は、例えば、検出した特徴点の固有性をベクトルまたはバイナリーコードで表現した値を特徴量として算出する。特徴点の検出および特徴量の算出に用いるアルゴリズムの例は、AKAZE(Accelerated KAZE)である。特徴量の算出は、深層学習を用いて行ってもよい。これにより、後述するマッチングの精度が向上し得る。
【0116】
(ステップS223)
処理装置161は、隣接する第1および第2フレームのうちの第2フレームから地下部の一部の形状を抽出し、マスクを生成する。処理装置161は、マスクの特徴点を検出し、特徴量を算出する。図14に、第2フレームから抽出した地下部の一部の形状F2(以下、「マスクF2」と記載する)が例示されている。形状F2の外接長方形が実線の矩形で示されている。例えば、処理装置161は、第2フレームの画像を2値化して、2値化画像からマスクF2を生成し、マスクF2に含まれる形状の輪郭を抽出する。処理装置161は、ステップS222と同様に、マスクF2に含まれる形状の特徴点を検出し、特徴量を算出する。
【0117】
(ステップS224)
処理装置161は、ステップS222で算出した形状F1の特徴量と、ステップS223で算出したマスクF2の特徴量とを比較する。処理装置161は、例えばKNN(K Nearest Neighbor)法を用いてマッチングを行い得る。
【0118】
(ステップS225)
処理装置161は、第2フレームから抽出したマスクF2の形状が、第1フレームから抽出した形状F1に整合するかどうかを決定する。例えば、処理装置161は、マッチングした特徴点の数がしきい値以上である場合に、マスクF2の形状が形状F1に整合すると決定することができる。マスクF2の形状が形状F1に整合する場合、処理は次のステップS226に進む。一方、マッチングした特徴点の数がしきい値未満である場合、処理はステップS223に戻る。ステップS223において、処理装置161は、第2フレームから先に抽出した地下部の一部とは異なる部分の形状を抽出し、マスクF2を再度生成して更新する。処理装置161は、マスクF2の形状が形状F1に整合するまでステップS223~S225の処理を繰り返し実行する。
【0119】
(ステップS226)
処理装置161は、形状F1とマスクF2に含まれる形状との特徴点の対応関係に基づいて変換行列を推定し、移動量(図15に示す移動ベクトルMの大きさ)、および、向き(図15に示す回転角θ)を算出する。変換行列の例は、アフィン変換行列である。処理装置161は、画像座標系における移動量をワールド座標系における移動量に変換することによって、図10に示す距離Δd1を決定し、回転角θを作業車両100の向きの変化量Δφ1として決定する。ただし、変位の向きの変化量Δφ1は、IMUから出力される信号に基づいて決定してもよい。変換行列の推定に、IMUからの出力信号に基づいて決定された回転角θを既知の変数として利用することにより、変位の移動量の推定の精度が向上し得る。
【0120】
図16は、時刻がt0、t1、t2、t3、・・・と進む過程で、作業車両100の移動量Δdおよび向きの変化量Δφの推定値を周期的に更新していく様子を説明するための図である。処理装置161は、ステップS226で移動量Δdおよび変化量Δφを推定すると、その都度、移動量Δdおよび変化量Δφを前述した式1に代入し、ワールド座標系における作業車両100のポーズrn(xn,yn,θn)を更新する。これにより、時刻=t0における初期位置を基準点とした場合に、それぞれの時刻において、基準点に対する作業車両100の相対位置が推定される。ただし、基準点は、ワールド座標系における任意の位置座標に設定され得る。ワールド座標系における基準点の位置座標が既知である場合には、基準点に対する作業車両100の相対位置に基づいて、ワールド座標系における作業車両100の絶対位置および向きが決定される。
【0121】
本実施形態による自己位置推定の方法によれば、連続するフレーム間における根の分布の変化を追跡することにより、地下部に対する作業車両の相対的な変位の向きおよび大きさを決定することができる。この方法は、後述する地下地図を必要としないために、根の成長による影響を受けにくい。GNSS、LiDARセンサまたはIMUなどの、従来、測位するために必要とされた装置は特に必要ではないために、製品コストを抑えることが可能となる。
【0122】
前述した例における処理装置161は、地下部の分布から推定された地下部の形状を含むレーダ画像を用いて変位の大きさおよび向きを決定する。ただし、処理装置161は、地下部の形状を含む画像に代えて、例えば点分布の密度を算出し、それらを可視化した画像を活用して、変位の大きさおよび向きを推定してもよい。あるいは、処理装置161は、地下部の分布を示す3次元データ群を利用して、空間解析によって空間オブジェクトの類似性などを分析し、分析結果に基づいて変位の大きさおよび向きを推定し得る。
【0123】
[4.地下地図の作成]
地下地図データが存在する場合、処理装置161は、地中レーダ装置140から出力されるセンシングデータと、地下地図データとに基づいて、自己位置推定を行い得る。ただし、前述したように、作物の根が成長する時期、根が成長しない時期、または土壌の条件によって根が成長し得る時期などが存在する。このため、地下地図データは、生成されてから所定期間が経過した後は、現在の根の形状を正確に反映しておらず、自己位置推定に用いる地図として相応しくない場合がある。そのため、根が成長しない期間内であれば地下地図を再利用することが可能であるが、根が成長する時期においては地下地図データを再生成または更新することが望ましい。
【0124】
本実施形態の他の一態様における作業車両100の処理装置161は、地中レーダ装置140から出力されるセンシングデータに基づいて、地下部を含む地下地図を作成する。作業車両100が以前に、同じ圃場を複数回走行した間に、地中レーダ装置140が複数のセンシングデータを取得したとする。この場合、作業車両100の走行の都度、地中レーダ装置140によって取得されたセンシングデータは、例えば管理装置600に送信され、記憶装置650に記録される。例えば異なる日に取得されたそれぞれのセンシングデータは、同じ圃場内の作物の地下部に関する情報を含み得る。その場合、処理装置161は、複数のセンシングデータのうち、最も遅く取得された最新のセンシングデータに基づいて地下地図データを生成する。これにより、処理装置161は、地下部の分布の最新の情報を反映した地下地図を作成することができ、根が成長した場合であっても最新の地下地図を利用して自己位置推定を行い得る。
【0125】
地下地図データの生成のために必要なセンシングデータの収集は、地中レーダ装置を搭載した作業車両を走行させながら行ってもよい。あるいは、一対の送受信アンテナ(シングルチャネル)を備える、従来の手押し型の地中レーダ装置を作業者が手押ししながら圃場を移動することにより行ってもよい。また、地中レーダ装置によるセンシングデータの収集と、GNSSユニット110による測位とを同時に行ってもよい。これにより、処理装置161は、緯度、経度、および高度の情報を含む位置情報(地理情報)をセンシングデータに付加することができる。地理情報が付加されたセンシングデータは、例えば記憶装置170に記録され得る。地下地図データは、例えば、地下部の分布、地下部の分布から推定された形状、または根の密度に関する情報を含む。
【0126】
地下地図データが生成されると、作業車両100は、地下地図データを利用して自己位置推定を行うことが可能となる。処理装置161は、作業車両100が圃場を走行している間に地中レーダ装置140から繰り返し出力されるセンシングデータに基づいて検出した地下部の形状または分布と、地下地図データとのマッチングを行うことによって、自己位置推定を行う。
【0127】
地下地図データが地下部の分布に関する情報を含む場合には、自己位置推定は、例えば、センシングデータから求まる観測点の3次元空間における位置座標と、地下地図データに含まれる地下部の分布を示すデータ群の個々のデータ点の位置座標とのマッチングを行うことにより可能になる。この例におけるマッチングに、例えばICPマッチング法またはNDTマッチング法などのアルゴリズムを用いることができる。あるいは、地下地図データが地下部の形状に関する情報を含む場合には、例えば、前述したレーダ画像をテンプレートとして利用することができ、当該テンプレートと、地下地図データに含まれる地下部の形状とのブロックマッチング手法によるマッチングを行うことも可能である。
【0128】
最新のセンシングデータに基づいて地下地図が作成された時点から所定の期間内に作業車両100が圃場を走行するときは、処理装置161は、地中レーダ装置140が取得するセンシングデータに基づいて、地下地図上の作業車両100の相対位置を推定してもよい。地下地図が作成されてから修正または更新があった場合には、修正または更新のあった時点が、地図が作成された時点に相当する。例えば、管理装置600は、所定の期間が経過したか否かどうかを管理または判定し得る。この管理または判定は時刻単位または日単位で行われ得る。ここで、所定の期間は、例えば、春夏秋冬の季節、または作物の生育過程におけるある特定の期間(例えば根が成長しない期間)を意味する。
【0129】
最新のセンシングデータに基づいて地下地図が作成された時点から所定の期間が経過した後、作業車両100が圃場を走行するときは、処理装置161は、地中レーダ装置140が取得するセンシングデータに基づいて地下地図を更新してもよい。あるいは、最新のセンシングデータに基づいて地下地図が作成された時点から所定の期間が経過した後、作業車両100が圃場を走行するときは、処理装置161は、地下地図データを参照せずに、例えば、前述した図13に示す処理手順に従って自己位置推定を行ってもよい。このように、既存の地下地図データを参照することが可能か否か、あるいは、地下地図データを更新すべきかどうかを、例えば作物の根の成長時期、または、季節を考慮して、コンピュータによって時刻単位または日単位で管理してもよい。
【0130】
本実施形態によれば、例えば、作物の根が成長しない期間においては、処理装置161は地下地図を再利用し、作物が成長する期間においては、処理装置161は地下地図を更新したり、地下地図を活用せずに、圃場の走行時における地下部に対する作業車両100の相対的な変位を参照し、自己位置推定を行い得る。
【0131】
[5.自動走行動作]
まず、作業車両100による自動走行の動作の例を説明する。本実施形態における作業車両100は、圃場内および圃場外の両方において自動で走行することができる。圃場内において、作業車両100は、予め設定された目標経路に沿って走行しながら、作業機300を駆動して所定の農作業を行う。作業車両100は、圃場内を走行中、障害物センサ130によって障害物が検出された場合、走行を停止し、ブザー220からの警告音の発出、および端末装置400への警告信号の送信などの動作を行う。圃場内において、作業車両100の位置の推定は、前述したように地中レーダ装置140から出力されるセンシングデータに基づいて行われる。あるいは、作業車両100の測位は、部分的に、GNSSユニット110から出力されるデータに基づいて行われてもよい。一方、圃場外において、作業車両100は、圃場外の農道または一般道に設定された目標経路に沿って自動で走行する。作業車両100は、圃場外を走行中、カメラ120またはLiDARセンサによって取得されたデータを活用して走行する。圃場外において、作業車両100は、障害物が検出されると、障害物を回避するか、その場で停止する。圃場外においては、GNSSユニット110から出力される測位データに加え、カメラ120またはLiDARセンサから出力されるデータに基づいて作業車両100の位置が推定される。
【0132】
以下、作業車両100が圃場内を自動走行する場合の動作の例を説明する。
【0133】
図17は、圃場内を目標経路に沿って自動で走行する作業車両100の例を模式的に示す図である。この例において、圃場は、作業車両100が作業機300を用いて作業を行う作業領域72と、圃場の外周縁付近に位置する枕地74とを含む。地図上で圃場のどの領域が作業領域72または枕地74に該当するかは、ユーザによって事前に設定され得る。この例における目標経路は、並列する複数の主経路P1と、複数の主経路P1を接続する複数の旋回経路P2とを含む。主経路P1は作業領域72内に位置し、旋回経路P2は枕地74内に位置する。図17に示す各主経路P1は直線状の経路であるが、各主経路P1は曲線状の部分を含んでいてもよい。図17における破線は、作業機300の作業幅を表している。作業幅は、予め設定され、記憶装置170に記録される。作業幅は、ユーザが操作端末200または端末装置400を操作することによって設定され、記録され得る。あるいは、作業幅は、作業機300を作業車両100に接続したときに自動で認識され、記録されてもよい。複数の主経路P1の間隔は、作業幅に合わせて設定され得る。目標経路は、自動運転が開始される前に、ユーザの操作に基づいて作成され得る。目標経路は、例えば圃場内の作業領域72の全体をカバーするように作成され得る。作業車両100は、図17に示すような目標経路に沿って、作業の開始地点から作業の終了地点まで、往復を繰り返しながら自動で走行する。前述した基準点は、例えば、初期位置である、目標経路上の作業の開始地点に関連付けあるいは決定される。なお、図17に示す目標経路は一例に過ぎず、目標経路の定め方は任意である。
【0134】
次に、制御装置180による圃場内における自動運転時の制御の例を説明する。
【0135】
まず、自動運転時の操舵制御の概要を説明する。本実施形態における処理装置161は、目標経路と、作業車両100の相対位置との位置偏差を算出する。制御装置180は、処理装置161が算出した位置偏差を用いて作業車両100の走行を制御する。作業車両100は、目標経路に沿った基準線に対する作業車両100の向きを計測する方位計測装置をさらに備え得る。方位計測装置の例は、前述したIMUである。処理装置161は、方位計測装置からの出力に基づいて、作業車両100の向きと、基準線の方向との角度差を示す方位偏差を算出し得る。制御装置180は、位置偏差および方位偏差を用いて作業車両100の走行を制御し得る。
【0136】
以下、自動運転時の操舵制御の動作の例をより詳細に説明する。
【0137】
図18は、制御装置180によって実行される自動運転時の操舵制御の動作の例を示すフローチャートである。制御装置180は、作業車両100の走行中、図18に示すステップS121からS125の動作を実行することにより、自動操舵を行う。速度に関しては、例えば予め設定された速度に維持される。制御装置180は、作業車両100の走行中、処理装置161によって推定された作業車両100の位置を示すデータを取得する(ステップS121)。次に、制御装置180は、作業車両100の位置と、目標経路との位置偏差を算出する(ステップS122)。位置偏差は、その時点における作業車両100の位置と、目標経路との距離を表す。制御装置180は、算出した位置偏差が予め設定された閾値を超えるか否かを判定する(ステップS123)。位置偏差が閾値を超える場合、制御装置180は、位置偏差が小さくなるように、駆動装置240に含まれる操舵装置の制御パラメータを変更することにより、操舵角を変更する。ステップS123において位置偏差が閾値を超えない場合、ステップS124の動作は省略される。続くステップS125において、制御装置180は、動作終了の指令を受けたか否かを判定する。動作終了の指令は、例えばユーザが遠隔操作で自動運転の停止を指示したり、作業車両100が目的地に到達したりした場合に出され得る。動作終了の指令が出されていない場合、ステップS121に戻り、新たに推定された作業車両100の位置に基づいて、同様の動作を実行する。制御装置180は、動作終了の指令が出されるまで、ステップS121からS125の動作を繰り返す。上記の動作は、制御装置180におけるECU182、184によって実行される。
【0138】
図18に示す例では、制御装置180は、処理装置161が推定した作業車両100の位置と目標経路との位置偏差のみに基づいて駆動装置240を制御するが、方位偏差もさらに考慮して制御してもよい。例えば、制御装置180は、処理装置161が推定した作業車両100の向き、あるいは、IMUを有するGNSSユニット110によって特定された作業車両100の向きと、目標経路の方向との角度差である方位偏差が予め設定された閾値を超える場合に、その偏差に応じて駆動装置240の操舵装置の制御パラメータ(例えば操舵角)を変更してもよい。
【0139】
以下、図19Aから図19Dを参照しながら、制御装置180による操舵制御の例をより具体的に説明する。
【0140】
図19Aは、目標経路Pに沿って走行する作業車両100の例を示す図である。図9Bは、目標経路Pから右にシフトした位置にある作業車両100の例を示す図である。図9Cは、目標経路Pから左にシフトした位置にある作業車両100の例を示す図である。図9Dは、目標経路Pに対して傾斜した方向を向いている作業車両100の例を示す図である。これらの図において、目標経路に沿って基準線が設定され、目標経路上に基準点が設定されている。例えば処理装置161によって推定された作業車両100の位置および向きを示すポーズが、図10を参照して説明したようにr(x,y,θ)と表現されている。(x,y)は、ワールド座標系であるXY座標系における作業車両100の基準点の位置を表す座標である。図19Aから図19Dに示す例において、作業車両100の基準点はキャビン上のGNSSアンテナが設置された位置にあるが、この基準点の位置は任意である。θは、作業車両100の推定または計測された向きを表す角度である。図示されている例においては、目標経路PがY軸に平行であるが、一般的には目標経路PはY軸に平行であるとは限らない。
【0141】
図19Aに示すように、作業車両100の位置および向きが目標経路Pから外れていない場合には、制御装置180は、作業車両100の操舵角および速度を変更せずに維持する。
【0142】
図19Bに示すように、作業車両100の位置が目標経路Pから右側にシフトしている場合には、制御装置180は、作業車両100の走行方向が左寄りに傾き、経路Pに近付くように操舵角を変更する。このとき、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δxの大きさに応じて調整され得る。
【0143】
図19Cに示すように、作業車両100の位置が目標経路Pから左側にシフトしている場合には、制御装置180は、作業車両100の走行方向が右寄りに傾き、経路Pに近付くように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の変化量は、例えば位置偏差Δxの大きさに応じて調整され得る。
【0144】
図19Dに示すように、作業車両100の位置は目標経路Pから大きく外れていないが、向きが目標経路Pの方向とは異なる場合は、制御装置180は、方位偏差Δθが小さくなるように操舵角を変更する。この場合も、操舵角に加えて速度も併せて変更してもよい。操舵角の大きさは、例えば位置偏差Δxおよび方位偏差Δθのそれぞれの大きさに応じて調整され得る。例えば、位置偏差Δxの絶対値が小さいほど方位偏差Δθに応じた操舵角の変化量を大きくしてもよい。位置偏差Δxの絶対値が大きい場合には、経路Pに戻るために操舵角を大きく変化させることになるため、必然的に方位偏差Δθの絶対値が大きくなる。逆に、位置偏差Δxの絶対値が小さい場合には、方位偏差Δθをゼロに近づけることが必要である。このため、操舵角を決定するための方位偏差Δθの重み(すなわち制御ゲイン)を相対的に大きくすることが妥当である。
【0145】
作業車両100の操舵制御および速度制御には、PID制御またはMPC制御(モデル予測制御)などの制御技術が適用され得る。これらの制御技術を適用することにより、作業車両100を目標経路Pに近付ける制御を滑らかにすることができる。
【0146】
なお、走行中に一つ以上の障害物センサ130によって障害物が検出された場合には、制御装置180は、作業車両100を停止させる。このとき、ブザー220に警告音を発出させたり、警告信号を端末装置400に送信してもよい。障害物の回避が可能な場合、制御装置180は、障害物を回避するように駆動装置240を制御してもよい。
【0147】
本実施形態における作業車両100は、圃場内だけでなく、圃場外でも自動走行が可能である。圃場外において、制御装置180は、カメラ120またはLiDARセンサから出力されたデータに基づいて、作業車両100から比較的離れた位置に存在する物体(例えば、他の車両または歩行者等)を検出することができる。制御装置180は、検出された物体を回避するように速度制御および操舵制御を行うことにより、圃場外の道における自動走行を実現できる。
【0148】
このように、本実施形態における作業車両100は、無人で圃場内および圃場外を自動で走行できる。図20は、複数の作業車両100が圃場70の内部および圃場70の外側の道76を自動走行している状況の例を模式的に示す図である。記憶装置170には、複数の圃場およびその周辺の道を含む領域の環境地図、複数の圃場のそれぞれの地下地図、および目標経路の少なくとも1つが記録される。環境地図および目標経路は、管理装置600またはECU185によって生成され得る。作業車両100が道路上を走行する場合、作業車両100は、作業機300を上昇させた状態で、カメラ120などのセンシング装置を用いて周囲をセンシングしながら、目標経路に沿って走行する。
【0149】
図21は、圃場における作物群が形成する地下部700の形状を模式的に示す図である。図22は、ぶどう園の樹木の地下部の一部である台木(幹に繋がる部分)701を基準にして設定される目標経路Pの例を示す図である。処理装置161は、地下部700の分布に関する3次元データに基づいて台木の分布データを生成し得る。処理装置161は、例えば、台木の分布データから地下地図上の各樹木の台木701の位置座標を決定することができる。処理装置161は、台木の分布データに基づいて目標経路Pを設定してもよい。図22には、地下地図上の各樹木の台木701の位置が円印で示され、隣り合う台木列17の間を作業車両100が走行するための目標経路Pが例示されている。この例における処理装置161は、各台木列17に含まれる台木701の部分を繋いだ曲線を決定し、隣り合う2つの台木列17の中央部を通る曲線または折れ線を目標経路Pとして決定する。
【0150】
[6.適用例]
次に、本実施形態による自己位置推定の方法の適用例を幾つか説明する。
【0151】
本実施形態による自己位置推定の方法は、例えばぶどう園で農作業を行う作業車両に好適に利用される。ぶどう園は一般に、複数の樹木が生い茂り、GNSSを利用しにくい環境である。このような環境下において、本実施形態による自己位置推定の方法は優れた効果を発揮し得る。
【0152】
図23は、作業車両100が走行するぶどう園の環境の一例を模式的に示す図である。この例では、作業車両100は、ぶどう園における複数の樹木列20の間を走行しながら、作業機を用いて所定の作業(例えば、草刈り、防除、その他)を行う。ぶどう園では、上空が枝および葉で遮られ、GNSSを用いた自動走行が難しい。また、ぶどう園では、樹木の葉または垣根の外形が季節によって大きく変化する。そのため、従来のSLAM技術によって作成された点群地図を通期で使用することが難しい。これに対し、本実施形態によれば、地下部に対する作業車両100の相対的な変位に基づいて自己位置推定を行うことが可能である。さらに、ぶどう園などの果樹園に適した地下地図を作成することができ、その地下地図データを利用して作業車両100の自動走行を行うことが可能である。
【0153】
図24は、地下地図生成時、および自動走行時の作業車両100の走行経路の一例を模式的に示す図である。作業車両100は、例えば図24に矢印で示す目標経路Pに沿ってぶどう園内の複数の樹木列20の間を走行する。図では、目標経路Pに含まれる線分が直線状に記載されているが、作業車両100が実際に走行する経路は、蛇行部分を含んでいてもよい。図24の例では、作業車両100は、隣り合う樹木列20の間を直進および旋回の動作を繰り返しながら走行する。このような走行は、作業車両100が例えば地下地図を利用して自己位置推定を行いながら、自動で行う。なお、GNSSユニット110がGNSS信号を受信できるタイミングにおいては、GNSS信号に基づいて測位を行ってもよい。例えば、図24に示す目標経路Pにおいて方向転換するタイミングでは、GNSS信号を遮る葉が存在しないことから、GNSS信号に基づく測位が可能である。
【0154】
図25は、作物が植え付けられた畝列を跨いで作業車両が走行する例を模式的に示す図である。図25には、列状に形成された畝12に作物が植え付けられた圃場を示している。例えば、目標経路Pは、畝12に植え付けられた作物の集合である作物列13に沿って設定され得る。1つの畝12上に、複数の作物列13が形成され得る。作業車両100は、畝12の地中における作物の地下部の分布に基づいて自己位置推定を行いながら、隣り合う畝12の間の作業通路14を目標経路Pに沿って走行し得る。なお、作業車両100は、2以上の畝12を跨ぐように走行し得る。
【0155】
地中レーダ装置140によって取得されたセンシングデータは、自己位置推定および地下地図の作成に加え、作物の生育に関する情報を取得するために利用され得る。例えば、根の太さまたは根の密度は、土壌に含まれる水分量、養分、土性などに大きく依存する。そのため、センシングデータから根の直径または根の密度などを計測することにより、作物の生育状況を把握することが可能になる。例えば、計測された根の直径または根の密度は、水分量、養分、土性などに紐付けられ、クラウド上で一元管理され得る。
【0156】
本実施形態による自己位置推定の方法および地下地図の作成方法は、地中に作物の地下部が形成された圃場を走行する様々な種類の農業機械、または、農業機械のための運転支援システムに実装し得る。収穫機などで作物を刈り取りした後の圃場の地中には根を含む地下部がまだ残っているために、作物が刈り取られた後であっても、当該地下部の情報を利用して自己位置推定を行ったり、地下地図を作成したりすることが可能である。
【0157】
本開示の実施形態による運転支援システムは、作物が植え付けられた圃場を走行する作業車両(または農業機械)100のためのシステムである。当該運転支援システムは、地面に電磁波を放射し、地中からの反射波を受信するように構成され、地中における作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置140と、圃場の走行時における地下部に対する作業車両100の相対的な変位を参照し、作業車両100の位置を推定する処理装置161とを備え得る。当該運転支援システムによれば、例えば、GNSSによる測位が困難な環境においても、地中レーダ装置140によって取得される、地中における作物の地下部または根系に関する情報を含むセンシングデータを活用することで、作業車両100の自動操舵あるいは自律移動を実現することが可能になる。
【0158】
作業車両100は圃場を目標経路Pに沿って走行し得る。処理装置161は、センシングデータを処理して、地下部に対する作業車両100の相対的な変位の向きおよび大きさを決定し、変位の向きおよび大きさに基づいて、目標経路Pに関連付けられた基準点に対する作業車両100の相対位置を推定する。この構成によれば、目標経路Pに関連付けられた基準点に対する、推定した作業車両100の相対位置に基づいて、作業車両100の自動操舵あるいは自律移動を実現することが可能になる。
【0159】
当該運転支援システムは、地面に電磁波を放射し、地中からの反射波を受信するように構成され、地中における作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置140と、センシングデータに基づいて、地下部を含む地下地図を作成する処理装置161とを備え得る。それぞれが、同じ圃場内における作物の地下部に関する情報を含む複数のセンシングデータを地中レーダ装置140が取得しているとする。その場合は、処理装置161は、複数のセンシングデータのうち、最も遅く取得された最新のセンシングデータに基づいて地下地図を作成し得る。当該運転支援システムによれば、処理装置161は、地下部の分布の最新の情報を反映した地下地図を作成することができる。これにより、根が成長した場合であっても最新の地下地図を利用して自己位置推定が実現され得る。
【0160】
作業車両100は圃場を目標経路に沿って走行し得る。処理装置161は、地中レーダ装置140が取得するセンシングデータに基づいて、地下地図上の作業車両100の相対位置を推定し得る。これにより、地下地図上の作業車両100の相対位置を推定することが可能となる。
【0161】
当該運転支援システムは、作業車両100の相対位置の情報および目標経路Pに基づいて、作業車両100の走行を制御する制御装置180を備え得る。これにより、処理装置161に加え、作業車両100の走行を制御する制御装置180をさらに備える運転支援システムが提供される。
【0162】
処理装置161は、目標経路Pと、作業車両100の相対位置との位置偏差を算出し得る。この場合における制御装置180は、位置偏差を用いて作業車両100の走行を制御し得る。これにより、位置偏差に基づく作業車両100の走行制御が実現される。
【0163】
当該運転支援システムは、目標経路Pに沿った基準線に対する作業車両100の向きを計測する方位計測装置をさらに備え得る。方位計測装置の例はIMUである。処理装置161は、方位計測装置からの出力に基づいて、作業車両100の向きと、基準線の方向との角度差を示す方位偏差を算出し得る。この場合における制御装置180は、位置偏差および方位偏差を用いて作業車両100の走行を制御し得る。これにより、位置偏差に加え、さらに方位偏差を考慮した作業車両100の走行制御が実現される。
【0164】
処理装置161は、圃場における土壌状態から決定される補正パラメータを、センシングデータに適用して、センシングデータを補正し得る。これにより、前処理したセンシングデータを利用することで、地中における地下部の位置または形状を正確に推定することが可能となる。
【0165】
処理装置161は、センシングデータに基づいて作物の生育に関する情報を取得し得る。例えば、センシングデータから根の直径または根の密度などを計測することにより、作物の生育状況を把握することが可能になる。
【0166】
地中レーダ装置140は、作業車両100の前部に設けられ得る。この場合、当該運転支援システムは、作業車両100の後部に設けられた他の地中レーダ装置をさらに備え得る。このような構成によれば、2個の地中レーダ装置からより多くのセンシングデータを取得することによって、地中における地下部に関するより多くの情報を取得することが可能となる。その結果、地中における地下部の位置または形状を正確に推定することが可能となる。
【0167】
最新のセンシングデータに基づいて地下地図が作成された時点から所定の期間内に作業車両100が圃場を走行するときは、処理装置161は、地中レーダ装置140が取得するセンシングデータに基づいて、地下地図上の作業車両100の相対位置を推定し得る。
【0168】
最新のセンシングデータに基づいて地下地図が作成された時点から所定の期間が経過した後、作業車両100が圃場を走行するときは、処理装置161は、地中レーダ装置140が取得するセンシングデータに基づいて地下地図を更新し得る。
【0169】
あるいは、最新のセンシングデータに基づいて地下地図が作成された時点から所定の期間が経過した後、作業車両100が圃場を走行するときは、処理装置161は、圃場の走行時における地下部に対する作業車両100の相対的な変位を参照し、作業車両100の位置を推定し得る。
【0170】
このような構成によれば、例えば、作物の根が成長しない期間においては、処理装置161は地下地図を再利用し、作物が成長する期間においては、処理装置161は地下地図を更新したり、地下地図を活用せずに、圃場の走行時における地下部に対する作業車両100の相対的な変位を参照し、自己位置推定を行い得る。
【0171】
作業車両100は、前述した運転支援システムと、作業車両100を走行させる駆動装置とを備え得る。作業車両100は、地面に対して対地作業を行う作業機300をさらに備え得る。この場合における地中レーダ装置140は作業機300に取り付けられ得る。例えば、車両本体の後部に地中レーダ装置を取り付けることが作業機300と干渉して困難である場合に、このような構成は有利である。
【0172】
本明細書は、以下の項目に記載の解決手段を開示している。
【0173】
[項目1]
作物が植え付けられた圃場を走行する農業機械のための運転支援システムであって、
地面に電磁波を放射し、地中からの反射波を受信するように構成され、前記地中における前記作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、
前記圃場の走行時における前記地下部に対する前記農業機械の相対的な変位を参照し、前記農業機械の位置を推定する処理装置と、
を備える運転支援システム。
【0174】
[項目2]
前記農業機械は前記圃場を目標経路に沿って走行し、
前記処理装置は、
前記センシングデータを処理して、前記地下部に対する前記農業機械の相対的な変位の向きおよび大きさを決定し、
前記変位の向きおよび大きさに基づいて、前記目標経路に関連付けられた基準点に対する前記農業機械の相対位置を推定する、項目1に記載の運転支援システム。
【0175】
[項目3]
作物が植え付けられた圃場を走行する農業機械のための運転支援システムであって、
地面に電磁波を放射し、地中からの反射波を受信するように構成され、前記地中における前記作物の地下部に関する情報を含むセンシングデータを取得する地中レーダ装置と、
前記センシングデータに基づいて、前記地下部を含む地下地図を作成する処理装置と、
を備え、
それぞれが、同じ圃場内における作物の地下部に関する情報を含む複数のセンシングデータを前記地中レーダ装置が取得している場合は、前記処理装置は、前記複数のセンシングデータのうち、最も遅く取得された最新のセンシングデータに基づいて前記地下地図を作成する、運転支援システム。
【0176】
[項目4]
前記農業機械は前記圃場を目標経路に沿って走行し、
前記処理装置は、前記地中レーダ装置が取得する前記センシングデータに基づいて、前記地下地図上の前記農業機械の相対位置を推定する、項目3に記載の運転支援システム。
【0177】
[項目5]
前記農業機械の相対位置の情報および前記目標経路に基づいて、前記農業機械の走行を制御する制御装置を備える、項目2または4に記載の運転支援システム。
【0178】
[項目6]
前記処理装置は、前記目標経路と、前記農業機械の相対位置との位置偏差を算出し、
前記制御装置は、前記位置偏差を用いて前記農業機械の走行を制御する、項目5に記載の運転支援システム。
【0179】
[項目7]
前記目標経路に沿った基準線に対する前記農業機械の向きを計測する方位計測装置をさらに備え、
前記処理装置は、前記方位計測装置からの出力に基づいて、前記農業機械の向きと、前記基準線の方向との角度差を示す方位偏差を算出し、
前記制御装置は、前記位置偏差および前記方位偏差を用いて前記農業機械の走行を制御する、項目6に記載の運転支援システム。
【0180】
[項目8]
前記処理装置は、前記圃場における土壌状態から決定される補正パラメータを、前記センシングデータに適用して、前記センシングデータを補正する、項目1から7のいずれかに記載の運転支援システム。
【0181】
[項目9]
前記処理装置は、前記センシングデータに基づいて前記作物の生育に関する情報を取得する、項目1から8のいずれかに記載の運転支援システム。
【0182】
[項目10]
前記地中レーダ装置は、前記農業機械の前部に設けられ、
前記農業機械の後部に設けられた他の地中レーダ装置をさらに備える、項目1から9のいずれかに記載の運転支援システム。
【0183】
[項目11]
前記最新のセンシングデータに基づいて前記地下地図が作成された時点から所定の期間内に前記農業機械が前記圃場を走行するときは、前記処理装置は、前記地中レーダ装置が取得するセンシングデータに基づいて、前記地下地図上の前記農業機械の相対位置を推定する、項目3に記載の運転支援システム。
【0184】
[項目12]
前記最新のセンシングデータに基づいて前記地下地図が作成された時点から所定の期間が経過した後、前記農業機械が前記圃場を走行するときは、前記処理装置は、前記地中レーダ装置が取得するセンシングデータに基づいて前記地下地図を更新する、項目3に記載の運転支援システム。
【0185】
[項目13]
前記最新のセンシングデータに基づいて前記地下地図が作成された時点から所定の期間が経過した後、前記農業機械が前記圃場を走行するときは、前記処理装置は、前記圃場の走行時における前記地下部に対する前記農業機械の相対的な変位を参照し、前記農業機械の位置を推定する、項目3に記載の運転支援システム。
【0186】
[項目14]
項目1から13のいずれかに記載の運転支援システムと、
農業機械を走行させる駆動装置と、
を備える農業機械。
【0187】
[項目15]
前記地面に対して対地作業を行う作業機を備え、
前記地中レーダ装置は前記作業機に取り付けられている、項目14に記載の農業機械。
【産業上の利用可能性】
【0188】
本開示の技術は、例えばトラクタ、収穫機、田植機、乗用管理機、野菜移植機、草刈機、播種機、施肥機、または農業用ロボットなどの農業機械の操作に適用することができる。
【符号の説明】
【0189】
50・・・GNSS衛星、60・・・基準局、70・・・圃場、72・・・作業領域、74・・・枕地、76・・・道路、80・・・ネットワーク、100・・・作業車両、101・・・車両本体、102・・・原動機(エンジン)、103・・・変速装置(トランスミッション)、104・・・車輪、105・・・キャビン、106・・・操舵装置、107・・・運転席、108・・・連結装置、110・・・測位装置、111・・・GNSS受信機、112・・・RTK受信機、115・・・慣性計測装置(IMU)、116・・・処理回路、120・・・カメラ、130・・・障害物センサ、140・・・地中レーダ装置、141・・・アンテナユニット、150・・・センサ群、152・・・ステアリングホイールセンサ、154・・・切れ角センサ、156・・・回転センサ、160・・・制御システム、161・・・処理装置、170・・・記憶装置、180・・・制御装置、181~185・・・ECU、190・・・通信装置、200・・・操作端末、210・・・操作スイッチ群、220・・・ブザー、240・・・駆動装置、250・・・受信機、300・・・作業機、340・・・駆動装置、380・・・制御装置、390・・・通信装置、400・・・端末装置、420・・・入力装置、430・・・表示装置、450・・・記憶装置、460・・・プロセッサ、470・・・ROM、480・・・RAM、490・・・通信装置、600・・・管理装置、660・・・プロセッサ、670・・・記憶装置、670・・・ROM、680・・・RAM
図1
図2A
図2B
図3
図4
図5
図6
図7A
図7B
図7C
図8
図9
図10
図11A
図11B
図11C
図12A
図12B
図13
図14
図15
図16
図17
図18
図19A
図19B
図19C
図19D
図20
図21
図22
図23
図24
図25