特開 2024-84284 圃場作業車

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084284

(43)【公開日】2024-06-25

(54)【発明の名称】圃場作業車

(51)【国際特許分類】

   A01B 69/00 20060101AFI20240618BHJP

   G05D 1/43 20240101ALI20240618BHJP

【ＦＩ】

A01B69/00 303J

G05D1/02 N

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022198465

(22)【出願日】2022-12-13

(71)【出願人】

【識別番号】000001052

【氏名又は名称】株式会社クボタ

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】三木 淳平

(72)【発明者】

【氏名】江戸 俊介

(72)【発明者】

【氏名】西山 峻史

【テーマコード（参考）】

2B043

5H301

【Ｆターム（参考）】

2B043AA04

2B043AB15

2B043BA02

2B043BB14

2B043EA26

2B043EA37

2B043EB08

2B043EB18

2B043EC12

2B043EC13

2B043EC14

2B043EC15

5H301BB01

5H301GG09

(57)【要約】

【課題】圃場の植物によって障害物の下端部が隠れている場合に、機体と障害物との距離が精度良く推定されやすい圃場作業車を提供する。
【解決手段】機体の周囲を撮像して画像を生成するカメラ４０と、圃場の植物Ｔの高さである植物高さを取得する高さ取得部と、障害物Ｑを示す領域である障害物領域Ｆ１を画像において特定する特定部と、植物高さ及び障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定する推定部と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

機体の周囲を撮像して画像を生成するカメラと、
圃場の植物の高さである植物高さを取得する高さ取得部と、
障害物を示す領域である障害物領域を前記画像において特定する特定部と、
前記植物高さ及び前記障害物領域に基づいて前記機体と前記障害物との距離を推定する推定部と、を備える圃場作業車。

【請求項2】

前記カメラと、前記障害物のうち前記障害物領域の下端部に対応する部位と、を結ぶ直線の鉛直方向に対する傾きに関する値である角度関連値を取得する角度取得部を備え、
前記推定部は、前記カメラの高さから前記植物高さを減じて得た値と、前記角度関連値と、に基づいて前記機体と前記障害物との距離を推定する請求項１に記載の圃場作業車。

【請求項3】

前記特定部が前記障害物領域を特定した場合に、前記障害物が前記圃場における植物が存在する領域に位置しているか否かを判定する位置判定処理を実行する判定部を備え、
前記位置判定処理によって前記障害物が前記圃場における植物が存在する領域に位置していると判定された場合、前記推定部は、前記植物高さ及び前記障害物領域に基づいて前記機体と前記障害物との距離を推定し、
前記位置判定処理によって前記障害物が前記圃場における植物が存在する領域に位置していないと判定された場合、前記推定部は、前記植物高さに基づくことなく、前記障害物領域に基づいて前記機体と前記障害物との距離を推定する請求項１または２に記載の圃場作業車。

【請求項4】

前記圃場における未作業領域を示す領域マップを取得するマップ取得部を備え、
前記判定部は、前記領域マップに基づいて前記位置判定処理を実行する請求項３に記載の圃場作業車。

【請求項5】

前記判定部は、前記画像に基づいて前記位置判定処理を実行する請求項３に記載の圃場作業車。

【請求項6】

前記機体の周囲の物体の三次元位置を検知する検知部を備え、
前記高さ取得部は、前記検知部による検知結果に基づいて前記植物高さを取得する請求項１または２に記載の圃場作業車。

【請求項7】

前記植物高さに関する人為操作入力を受け付ける受付部を備え、
前記高さ取得部は、前記受付部が受け付けた前記人為操作入力に基づいて前記植物高さを取得する請求項１または２に記載の圃場作業車。

【請求項8】

前記推定部により推定された距離に基づいて前記機体の動作を制御する機体制御部を備える請求項１または２に記載の圃場作業車。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機体の周囲を撮像して画像を生成するカメラを備える圃場作業車に関する。

【背景技術】

【0002】

上記のような圃場作業車として、例えば、特許文献１に記載のものが既に知られている。この圃場作業車（特許文献１では「トラクタ」）は、機体の周囲を撮像するための複数のカメラを備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－９２４４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、カメラによる撮像により得られた画像に基づいて、機体の周囲の障害物を検知することについては記載されていない。ここで、障害物が例えば人物である場合、カメラによる撮像により得られた画像に基づいて、カメラと、当該人物の足もとと、を結ぶ直線の鉛直方向に対する傾きを算出すると共に、当該傾きに基づいて、機体と当該人物との間の水平方向の距離を推定することが考えられる。

【0005】

より具体的には、当該傾き（角度）の正接とカメラの高さとの積が、機体（より具体的にはカメラ）と当該人物との間の水平方向の距離に相当する。カメラの高さが既知である場合に、このことを利用して、機体と当該人物との間の距離を推定することが考えられる。

【0006】

しかしながら、圃場の植物（例えば植立穀稈）によって当該人物の足もとが隠れている場合、カメラによる撮像により得られた画像に基づいて当該傾きを精度良く算出することが困難になりがちである。その結果、機体と当該人物との間の距離を精度良く推定することができない事態が想定される。

【0007】

このように、圃場の植物によって障害物の下端部（例えば人物の足もと）が隠れている場合、機体と障害物との間の距離を精度良く推定することが困難になりがちである。

【0008】

本発明の目的は、圃場の植物によって障害物の下端部が隠れている場合に、機体と障害物との距離が精度良く推定されやすい圃場作業車を提供することである。

【課題を解決するための手段】

【0009】

本発明の特徴は、機体の周囲を撮像して画像を生成するカメラと、圃場の植物の高さである植物高さを取得する高さ取得部と、障害物を示す領域である障害物領域を前記画像において特定する特定部と、前記植物高さ及び前記障害物領域に基づいて前記機体と前記障害物との距離を推定する推定部と、を備えることにある。

【0010】

本構成によれば、植物高さに基づいて機体と障害物との距離が推定される。これにより、例えば、圃場の植物によって障害物の下端部が隠れている場合において、カメラと、障害物のうち障害物領域の下端部に対応する部位と、を結ぶ直線の鉛直方向に対する傾きを算出すると共に、当該傾き（角度）の正接と、カメラの高さから植物高さを減じて得た値と、の積を算出することにより、機体と障害物との間の距離を精度良く推定することができる。

【0011】

即ち、本構成によれば、圃場の植物によって障害物の下端部が隠れている場合に、機体と障害物との距離が精度良く推定されやすい圃場作業車を実現できる。

【0012】

さらに、本発明において、前記カメラと、前記障害物のうち前記障害物領域の下端部に対応する部位と、を結ぶ直線の鉛直方向に対する傾きに関する値である角度関連値を取得する角度取得部を備え、前記推定部は、前記カメラの高さから前記植物高さを減じて得た値と、前記角度関連値と、に基づいて前記機体と前記障害物との距離を推定すると好適である。

【0013】

本構成によれば、角度関連値が取得されるため、カメラと、障害物のうち障害物領域の下端部に対応する部位と、を結ぶ直線の鉛直方向に対する傾き（角度）の正接を確実に算出しやすい。そして、例えば、当該正接と、カメラの高さから植物高さを減じて得た値と、の積を算出することにより、機体と障害物との間の距離を精度良く推定することができる。

【0014】

さらに、本発明において、前記特定部が前記障害物領域を特定した場合に、前記障害物が前記圃場における植物が存在する領域に位置しているか否かを判定する位置判定処理を実行する判定部を備え、前記位置判定処理によって前記障害物が前記圃場における植物が存在する領域に位置していると判定された場合、前記推定部は、前記植物高さ及び前記障害物領域に基づいて前記機体と前記障害物との距離を推定し、前記位置判定処理によって前記障害物が前記圃場における植物が存在する領域に位置していないと判定された場合、前記推定部は、前記植物高さに基づくことなく、前記障害物領域に基づいて前記機体と前記障害物との距離を推定すると好適である。

【0015】

本構成によれば、障害物が圃場における植物が存在する領域に位置しているか否かに応じて、適切な方法で、機体と障害物との距離が推定される構成を実現できる。

【0016】

さらに、本発明において、前記圃場における未作業領域を示す領域マップを取得するマップ取得部を備え、前記判定部は、前記領域マップに基づいて前記位置判定処理を実行すると好適である。

【0017】

本構成によれば、障害物が圃場における植物が存在する領域に位置しているか否かを精度良く判定しやすい。これにより、機体と障害物との距離の推定方法の使い分けが適切になりやすい。

【0018】

さらに、本発明において、前記判定部は、前記画像に基づいて前記位置判定処理を実行すると好適である。

【0019】

本構成によれば、例えば、画像において障害物の近傍に植物が存在しているか否かを画像解析によって判定することにより、位置判定処理を実行することができる。これにより、障害物が圃場における植物が存在する領域に位置しているか否かを精度良く判定しやすい。

【0020】

さらに、本発明において、前記機体の周囲の物体の三次元位置を検知する検知部を備え、前記高さ取得部は、前記検知部による検知結果に基づいて前記植物高さを取得すると好適である。

【0021】

本構成によれば、植物高さが自動的に取得される構成を実現できる。これにより、植物高さに関する情報（例えば、植物高さを示す値）を人為操作によって入力する必要がない構成を実現できる。

【0022】

さらに、本発明において、前記植物高さに関する人為操作入力を受け付ける受付部を備え、前記高さ取得部は、前記受付部が受け付けた前記人為操作入力に基づいて前記植物高さを取得すると好適である。

【0023】

本構成によれば、植物高さを検知するためのセンサを備えていない場合であっても、植物高さを取得することが可能となる。これにより、植物高さを検知するためのセンサを設けることによって製造コストが増大してしまう事態を回避しやすい。

【0024】

さらに、本発明において、前記推定部により推定された距離に基づいて前記機体の動作を制御する機体制御部を備えると好適である。

【0025】

本構成によれば、機体と障害物との距離に応じて機体が自動的に制御される構成を実現できる。これにより、例えば、機体と障害物との距離が比較的短い場合に機体の走行が停止される構成を実現できる。

【図面の簡単な説明】

【0026】

【図1】コンバインの左側面図である。

【図2】制御部に関する構成を示すブロック図である。

【図3】特定部による障害物検出の流れを示す図である。

【図4】既作業領域及び未作業領域を示す図である。

【図5】距離推定フローのフローチャートである。

【図6】第１推定方法を説明する図である。

【図7】第２推定方法を説明する図である。

【発明を実施するための形態】

【0027】

本発明を実施するための形態について、図面に基づき説明する。尚、以下の説明においては、特に断りがない限り、図中の矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とする。また、図中の矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。

【0028】

〔コンバインの全体構成〕
図１に示すように、普通型のコンバイン１（本発明に係る「圃場作業車」に相当）は、収穫部Ｈ、クローラ式の走行装置１１、運転部１２、脱穀装置１３、穀粒タンク１４、搬送部１６、穀粒排出装置１８、衛星測位モジュール８０を備えている。

【0029】

走行装置１１は、コンバイン１における下部に備えられている。また、走行装置１１は、コンバイン１に搭載されたエンジン（図示せず）からの動力によって駆動する。そして、コンバイン１は、走行装置１１によって走行可能である。

【0030】

運転部１２、脱穀装置１３、穀粒タンク１４は、走行装置１１の上側に備えられている。運転部１２には、コンバイン１の作業を監視するオペレータが搭乗可能である。尚、オペレータは、コンバイン１の機外からコンバイン１の作業を監視していても良い。

【0031】

運転部１２は、運転座席１２ａ及びキャビン１２ｂを有している。運転座席１２ａは、キャビン１２ｂの内側に設けられている。運転座席１２ａには、オペレータが着座可能である。

【0032】

穀粒排出装置１８は、穀粒タンク１４の上側に設けられている。また、衛星測位モジュール８０は、運転部１２の上面に取り付けられている。

【0033】

収穫部Ｈは、コンバイン１における前部に備えられている。そして、搬送部１６は、収穫部Ｈの後側に設けられている。収穫部Ｈは、搬送部１６と共に、機体左右方向に延びる揺動軸芯（図示せず）周りに上下揺動可能に構成されている。これにより、収穫部Ｈは、昇降可能である。尚、当該揺動軸芯は、搬送部１６の後端部に位置している。また、収穫部Ｈは、刈取装置１５及びリール１７を含んでいる。

【0034】

刈取装置１５は、圃場の作物Ｐを刈り取る。特に限定されないが、作物Ｐは、例えば稲等であっても良い。また、リール１７は、機体左右方向に沿うリール軸芯１７ｂ周りに回転駆動しながら収穫対象の作物Ｐを掻き込む。刈取装置１５により刈り取られた作物Ｐは、搬送部１６へ送られる。

【0035】

この構成により、収穫部Ｈは、圃場の作物Ｐを収穫する。そして、コンバイン１は、刈取装置１５によって圃場の作物Ｐを刈り取りながら走行装置１１によって走行する刈取走行が可能である。

【0036】

収穫部Ｈにより収穫された作物Ｐは、搬送部１６によって機体後方へ搬送される。これにより、作物Ｐは脱穀装置１３へ搬送される。

【0037】

脱穀装置１３において、作物Ｐは脱穀処理される。脱穀処理により得られた収穫物（穀粒）は、穀粒タンク１４に貯留される。穀粒タンク１４に貯留された収穫物は、必要に応じて、穀粒排出装置１８によって機外に排出される。

【0038】

尚、コンバイン１は、圃場において自動走行可能に構成されていても良いし、自動走行できないように構成されていても良い。コンバイン１が自動走行する場合、例えば、コンバイン１は、生成された経路（図示せず）に沿って自動的に走行しても良い。

【0039】

〔障害物の検出〕
図１及び図２に示すように、コンバイン１は、カメラ４０を備えている。カメラ４０は、運転部１２の上面における前端部に取り付けられている。カメラ４０は、前下方へ向けられている。

【0040】

カメラ４０は、コンバイン１の機体の周囲を撮像して画像を生成する。より具体的には、カメラ４０は、コンバイン１の機体の前方を撮像して画像を生成する。

【0041】

このように、コンバイン１は、機体の周囲を撮像して画像を生成するカメラ４０を備えている。

【0042】

図１及び図２に示すように、コンバイン１は、制御部２０を備えている。図２に示すように、制御部２０は、特定部２１を有している。

【0043】

図２に示すように、カメラ４０により生成された画像（撮像画像）は、特定部２１へ送られる。特定部２１は、カメラ４０による撮像画像に基づいて機体周辺の障害物Ｑ（図１参照）を検出する。このとき、特定部２１は、深層学習を用いて学習されたニューラルネットワークを利用することによって機体周辺の障害物Ｑを検出する。

【0044】

図３には、特定部２１による障害物検出の流れが示されている。以下では、特定部２１における検出対象物が人物であるとして、特定部２１による障害物Ｑの検出について説明する。

【0045】

図３に示すように、特定部２１には、カメラ４０による撮像画像に含まれる各画素の画素値が入力される。そして、特定部２１から、推定結果（検出結果）を示すデータが出力される。このデータには、障害物Ｑである人物の存在領域と、その推定確率が含まれている。

【0046】

図３における推定結果には、人物（障害物Ｑ）の存在領域である障害物領域Ｆ１が矩形の枠で示されている。障害物領域Ｆ１は、障害物Ｑを示す領域である。障害物領域Ｆ１には、推定確率がリンクされている。また、障害物領域Ｆ１は、４つのコーナ点により規定される。撮像画像におけるこれら４つのコーナ点の座標位置も、推定結果に含まれている。尚、撮像画像において検出対象物が推定されない場合には、障害物領域Ｆ１は出力されず、その推定確率はゼロとなる。

【0047】

以上で説明した構成により、特定部２１は、カメラ４０により生成された画像において、障害物領域Ｆ１を特定する。これにより、特定部２１は、障害物Ｑを検出する。

【0048】

このように、コンバイン１は、障害物Ｑを示す領域である障害物領域Ｆ１を画像において特定する特定部２１を備えている。

【0049】

尚、制御部２０、及び、制御部２０に含まれる特定部２１等の各要素は、マイクロコンピュータ等の物理的な装置であっても良いし、ソフトウェアにおける機能部であっても良い。

【0050】

〔位置判定処理〕
図２に示すように、制御部２０は、位置算出部２２、マップ取得部２３、方位算出部２４、判定部２５を有している。

【0051】

衛星測位モジュール８０は、ＧＰＳ（グローバル・ポジショニング・システム）で用いられる人工衛星ＧＳ（図１参照）からのＧＰＳ信号を受信する。そして、図２に示すように、衛星測位モジュール８０は、受信したＧＰＳ信号に基づいて、コンバイン１の機体位置を示す測位データを位置算出部２２へ送る。

【0052】

尚、本発明はこれに限定されない。衛星測位モジュール８０は、ＧＰＳを利用するものでなくても良い。例えば、衛星測位モジュール８０は、ＧＰＳ以外のＧＮＳＳ（ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、みちびき、ＢｅｉＤｏｕ等）を利用するものであっても良い。

【0053】

位置算出部２２は、衛星測位モジュール８０により出力された測位データに基づいて、コンバイン１の位置座標を経時的に算出する。算出されたコンバイン１の経時的な位置座標は、マップ取得部２３、方位算出部２４、判定部２５へ送られる。

【0054】

マップ取得部２３は、位置算出部２２から受け取ったコンバイン１の経時的な位置座標に基づいて、図４に示すように、既作業領域ＳＡ及び未作業領域ＣＡを算出する。

【0055】

より具体的には、マップ取得部２３は、圃場の外形を示すデータを取得する。当該データは、例えば、圃場の最外周領域においてコンバイン１が周回走行を行った際のコンバイン１の経時的な位置座標に基づいて取得されても良い。そして、コンバイン１が圃場において刈取走行（作業走行）を行っている間、マップ取得部２３は、位置算出部２２から受け取ったコンバイン１の経時的な位置座標に基づいて、圃場におけるコンバイン１の刈取走行軌跡を算出する。

【0056】

マップ取得部２３は、コンバイン１の刈取走行軌跡に基づいて、コンバイン１が刈取走行を行った領域を既作業領域ＳＡとして経時的に算出する。また、マップ取得部２３は、圃場の外形を示すデータと、既作業領域ＳＡと、に基づいて、未作業領域ＣＡを経時的に算出する。このとき、マップ取得部２３は、圃場のうち既作業領域ＳＡでない部分を、未作業領域ＣＡとして算出する。

【0057】

これにより、マップ取得部２３は、圃場における既作業領域ＳＡ及び未作業領域ＣＡを示す領域マップを経時的に生成する。その結果、マップ取得部２３は、当該領域マップを取得する。

【0058】

このように、コンバイン１は、圃場における未作業領域ＣＡを示す領域マップを取得するマップ取得部２３を備えている。

【0059】

尚、本実施形態において、既作業領域ＳＡは、刈り取られていない作物Ｐが存在しない領域である。また、未作業領域ＣＡは、刈り取られていない作物Ｐが存在する領域である。

【0060】

図２に示すように、マップ取得部２３により取得された領域マップは、判定部２５へ送られる。

【0061】

また、図２に示すように、コンバイン１は、慣性計測装置８１を備えている。慣性計測装置８１は、コンバイン１の機体のヨー角度の角速度、及び、互いに直交する３軸方向の加速度を経時的に検知する。慣性計測装置８１による検知結果は、方位算出部２４へ送られる。

【0062】

方位算出部２４は、位置算出部２２から、コンバイン１の位置座標を受け取る。そして、方位算出部２４は、慣性計測装置８１による検知結果と、コンバイン１の位置座標と、に基づいて、コンバイン１の機体方位を算出する。

【0063】

より具体的には、まず、コンバイン１の走行中に、現在のコンバイン１の位置座標、及び、直前に走行していた地点におけるコンバイン１の位置座標に基づいて、方位算出部２４は、初期機体方位を算出する。次に、初期機体方位が算出されてからコンバイン１が一定時間走行すると、方位算出部２４は、その一定時間の走行の間に慣性計測装置８１により検知された角速度を積分処理することにより、機体方位の変化量を算出する。

【0064】

そして、このように算出された機体方位の変化量を初期機体方位に足し合わせることによって、方位算出部２４は、機体方位の算出結果を更新する。その後、一定時間毎に、機体方位の変化量が同様に算出されると共に、順次、機体方位の算出結果が更新されていく。

【0065】

以上の構成により、方位算出部２４は、コンバイン１の機体方位を算出する。方位算出部２４による算出結果は、判定部２５へ送られる。

【0066】

特定部２１が障害物領域Ｆ１を特定した場合、図２に示すように、特定部２１は、所定の信号を判定部２５へ送る。この信号は、特定部２１が障害物領域Ｆ１を特定したことを示す信号である。判定部２５は、この信号を受け取ると、位置判定処理を実行する。位置判定処理とは、障害物Ｑが圃場における植物Ｔが存在する領域に位置しているか否かを判定する処理である。

【0067】

このように、コンバイン１は、特定部２１が障害物領域Ｆ１を特定した場合に、障害物Ｑが圃場における植物Ｔが存在する領域に位置しているか否かを判定する位置判定処理を実行する判定部２５を備えている。

【0068】

尚、作物Ｐは、植物Ｔの具体例である。ただし、植物Ｔの具体例は、作物Ｐに限定されない。植物Ｔは、例えば、雑草であっても良い。

【0069】

判定部２５は、位置判定処理において、上述の領域マップと、現在のコンバイン１の位置座標と、現在のコンバイン１の機体方位と、に基づいて、障害物Ｑが圃場における植物Ｔが存在する領域に位置しているか否かを判定する。

【0070】

即ち、判定部２５は、領域マップに基づいて位置判定処理を実行する。

【0071】

例えば、図４では、第１位置Ｐ１及び第２位置Ｐ２が示されている。コンバイン１が第１位置Ｐ１に位置しているとき、コンバイン１の前方には、未作業領域ＣＡが存在している。このときに、特定部２１が障害物領域Ｆ１を特定した場合、判定部２５は、位置判定処理によって、障害物Ｑが圃場における植物Ｔ（作物Ｐ）が存在する領域（未作業領域ＣＡ）に位置していると判定する。

【0072】

また、図４に示す例において、コンバイン１が第２位置Ｐ２に位置しているとき、コンバイン１の前方には、未作業領域ＣＡが存在していない。このときに、特定部２１が障害物領域Ｆ１を特定した場合、判定部２５は、位置判定処理によって、障害物Ｑが圃場における植物Ｔ（作物Ｐ）が存在する領域（未作業領域ＣＡ）に位置していないと判定する。

【0073】

〔植物高さ〕
図１に示すように、コンバイン１は、検知部４１を備えている。検知部４１は、運転部１２の上面における前端部に取り付けられている。検知部４１は、カメラ４０に隣接した状態で配置されている。検知部４１は、前下方へ向けられている。

【0074】

検知部４１は、コンバイン１の機体の周囲の物体の三次元位置を検知する。より具体的には、検知部４１は、コンバイン１の機体の前方の物体の三次元位置を検知する。これにより、検知部４１は、植物Ｔ（作物Ｐ）の上端部の三次元位置を検知可能である。

【0075】

このように、コンバイン１は、機体の周囲の物体の三次元位置を検知する検知部４１を備えている。

【0076】

本実施形態における検知部４１は、ＴｏＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）測定方式の測定装置であるＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサである。尚、検知部４１の測定方式は、ＴｏＦ測定方式に限定されず、ステレオマッチング測定方式等であっても良い。

【0077】

図２に示すように、コンバイン１は、受付部４２を備えている。受付部４２は、植物高さに関する人為操作入力を受け付けるように構成されている。尚、植物高さとは、圃場の植物Ｔ（作物Ｐ）の高さである。

【0078】

このように、コンバイン１は、植物高さに関する人為操作入力を受け付ける受付部４２を備えている。

【0079】

受付部４２は、例えば、タッチパネルやキーボードやマウス等であっても良い。受付部４２が人為操作入力によって受け付ける情報は、特に限定されないが、例えば植物Ｔ（作物Ｐ）の種（稲、大豆、小麦等）や品種を示す情報であっても良い。

【0080】

図２に示すように、制御部２０は、高さ取得部２６を有している。高さ取得部２６は、検知部４１による検知結果を取得する。また、高さ取得部２６は、受付部４２が人為操作入力によって受け付けた情報を取得する。そして、高さ取得部２６は、検知部４１による検知結果と、受付部４２が人為操作入力によって受け付けた情報と、に基づいて、植物高さを算出する。これにより、高さ取得部２６は、植物高さを取得する。

【0081】

このように、コンバイン１は、圃場の植物Ｔの高さである植物高さを取得する高さ取得部２６を備えている。また、高さ取得部２６は、検知部４１による検知結果に基づいて植物高さを取得する。また、高さ取得部２６は、受付部４２が受け付けた人為操作入力に基づいて植物高さを取得する。

【0082】

〔距離の推定〕
図２に示すように、制御部２０は、推定部２７を有している。推定部２７は、コンバイン１の機体と障害物Ｑとの間の距離を推定する。制御部２０は、コンバイン１が圃場において走行しているとき、図５に示す距離推定フローに従って、機体と障害物Ｑとの距離の推定に関する処理を行うように構成されている。尚、この距離推定フローは、コンバイン１が手動走行しているときに実行されても良いし、自動走行しているときに実行されても良い。

【0083】

この距離推定フローが開始されると、まず、ステップＳ０１の処理が実行される。ステップＳ０１では、特定部２１によって障害物領域Ｆ１が特定されたか否かが判定される。特定部２１によって障害物領域Ｆ１が特定されていない場合（図５のステップＳ０１にて「Ｎｏ」）、この距離推定フローは一旦終了する。特定部２１によって障害物領域Ｆ１が特定された場合（図５のステップＳ０１にて「Ｙｅｓ」）、処理はステップＳ０２へ移行する。

【0084】

ステップＳ０２では、判定部２５によって、位置判定処理が実行される。位置判定処理による判定結果は、判定部２５から推定部２７へ送られる（図２参照）。

【0085】

位置判定処理によって障害物Ｑが圃場における植物Ｔが存在する領域に位置していると判定された場合（図５のステップＳ０２にて「Ｙｅｓ」）、処理はステップＳ０３へ移行する。位置判定処理によって障害物Ｑが圃場における植物Ｔが存在する領域に位置していないと判定された場合（図５のステップＳ０２にて「Ｎｏ」）、処理はステップＳ０４へ移行する。

【0086】

ステップＳ０３では、推定部２７が、第１推定方法によって、機体と障害物Ｑとの距離を推定する。第１推定方法とは、植物高さ及び障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定する方法である。以下では、第１推定方法について詳述する。

【0087】

図２に示すように、制御部２０は、角度取得部２８を有している。角度取得部２８は、角度関連値を取得する。角度関連値とは、鉛直方向に対する基準直線Ｙ（図６及び図７参照）の傾きに関する値である。基準直線Ｙとは、カメラ４０と、障害物Ｑのうち障害物領域Ｆ１の下端部に対応する部位と、を結ぶ直線である。

【0088】

このように、コンバイン１は、カメラ４０と、障害物Ｑのうち障害物領域Ｆ１の下端部に対応する部位と、を結ぶ直線の鉛直方向に対する傾きに関する値である角度関連値を取得する角度取得部２８を備えている。

【0089】

本実施形態において、角度関連値は、鉛直方向に対する基準直線Ｙの傾きである。ただし、本発明はこれに限定されない。角度関連値は、例えば、水平方向に対する基準直線Ｙの傾き（俯角）であっても良いし、カメラ４０の向きに対する基準直線Ｙの傾きであっても良い。

【0090】

本実施形態において、角度取得部２８は、カメラ４０による撮像画像の各画素と、対応角度と、の対応関係を示すデータである対応角度データを記憶している。対応角度とは、カメラ４０の向きに対する、撮像画像における一つの画素に対応する方向の傾きである。例えば、撮像画像の中央に位置する画素の対応角度は、０度である。また、画素の対応角度は、撮像画像の中央から当該画素までの距離が長いほど大きくなる。当該対応角度データは、実験的に決定することができる。

【0091】

また、本実施形態において、角度取得部２８は、鉛直方向に対するカメラ４０の向きの傾きを記憶している。尚、本実施形態において、カメラ４０の向きは固定されている。

【0092】

第１推定方法においては、まず、撮像画像における障害物領域Ｆ１の下端部に対応する画素を示す情報が、特定部２１から角度取得部２８へ送られる。次に、角度取得部２８は、当該情報と、上述の対応角度データと、鉛直方向に対するカメラ４０の向きの傾きと、に基づいて、鉛直方向に対する基準直線Ｙの傾きを算出する。これにより、角度取得部２８は、鉛直方向に対する基準直線Ｙの傾きを取得する。

【0093】

次に、推定部２７は、高さ取得部２６から植物高さを取得すると共に、角度取得部２８から鉛直方向に対する基準直線Ｙの傾きを取得する。そして、推定部２７は、鉛直方向に対する基準直線Ｙの傾き（角度）の正接と、カメラ４０の高さから植物高さを減じて得た値と、の積を算出することにより、コンバイン１の機体と障害物Ｑとの間の距離を推定する。言い換えれば、機体と障害物Ｑとの距離の推定値として、鉛直方向に対する基準直線Ｙの傾き（角度）の正接と、カメラ４０の高さから植物高さを減じて得た値と、の積を算出する。尚、カメラ４０の高さは、推定部２７に予め記憶されている。

【0094】

以上で説明した処理により、第１推定方法によって機体と障害物Ｑとの距離が推定される。

【0095】

このように、コンバイン１は、植物高さ及び障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定する推定部２７を備えている。また、推定部２７は、カメラ４０の高さから植物高さを減じて得た値と、角度関連値と、に基づいて機体と障害物Ｑとの距離を推定する。また、位置判定処理によって障害物Ｑが圃場における植物Ｔが存在する領域に位置していると判定された場合、推定部２７は、植物高さ及び障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定する。

【0096】

例えば、図６に示す例では、障害物Ｑが、圃場における植物Ｔ（作物Ｐ）が存在する領域に位置している。この場合、第１推定方法によって機体と障害物Ｑとの距離が推定される。

【0097】

図６に示す例では、障害物Ｑである人物の下半身は、植物Ｔ（作物Ｐ）で隠れている。この場合、障害物領域Ｆ１は、当該人物のうち、隠れていない部分のみを囲む枠となる。そのため、当該人物のうち障害物領域Ｆ１の下端部に対応する部位は、当該人物の腰部である。従って、この例における基準直線Ｙは、カメラ４０と、当該人物の腰部と、を結ぶ直線である。

【0098】

図６に示す例において、鉛直方向に対する基準直線Ｙの傾きは、Ａ１であるとする。また、カメラ４０の高さは、Ｈ１であるとする。また、植物高さは、Ｈ２であるとする。また、機体（より具体的にはカメラ４０）と障害物Ｑとの距離は、Ｄ１であるとする。

【0099】

この場合、
Ｄ１＝（Ｈ１－Ｈ２）×ｔａｎＡ１
である。このようにして、機体と障害物Ｑとの距離が推定される。

【0100】

図２に示すように、制御部２０は、機体制御部２９を有している。図５に示すステップＳ０３にて、第１推定方法によって機体と障害物Ｑとの距離が推定されると、推定された距離が、推定部２７から機体制御部２９へ送られる。そして、処理はステップＳ０５へ移行する。

【0101】

ステップＳ０５では、機体制御部２９が、推定部２７により推定された距離に基づいて機体の動作を制御する。特に限定されないが、機体制御部２９は、例えば、推定部２７により推定された距離が所定距離以下である場合、機体の走行を停止させても良い。また、例えば、機体制御部２９は、推定部２７により推定された距離に応じて、コンバイン１が障害物Ｑを回避しながら走行するように、走行装置１１及び収穫部Ｈのうち何れか一方または両方の動作を制御しても良い。このとき、例えば、機体制御部２９は、収穫部Ｈを上昇させても良い。また、例えば、機体制御部２９は、推定部２７により推定された距離に応じて、障害物Ｑ及びオペレータのうち何れか一方または両方に対して、音や光等による警告を発するように機体を制御しても良い。

【0102】

このように、コンバイン１は、推定部２７により推定された距離に基づいて機体の動作を制御する機体制御部２９を備えている。

【0103】

ステップＳ０５の後、この距離推定フローは一旦終了する。

【0104】

ステップＳ０４では、推定部２７が、第２推定方法によって、機体と障害物Ｑとの距離を推定する。第２推定方法とは、植物高さに基づくことなく、障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定する方法である。以下では、第２推定方法について詳述する。

【0105】

第２推定方法においては、まず、撮像画像における障害物領域Ｆ１の下端部に対応する画素を示す情報が、特定部２１から角度取得部２８へ送られる。次に、角度取得部２８は、当該情報と、上述の対応角度データと、鉛直方向に対するカメラ４０の向きの傾きと、に基づいて、鉛直方向に対する基準直線Ｙの傾きを算出する。これにより、角度取得部２８は、鉛直方向に対する基準直線Ｙの傾きを取得する。

【0106】

次に、推定部２７は、角度取得部２８から鉛直方向に対する基準直線Ｙの傾きを取得する。そして、推定部２７は、鉛直方向に対する基準直線Ｙの傾き（角度）の正接と、カメラ４０の高さと、の積を算出することにより、コンバイン１の機体と障害物Ｑとの間の距離を推定する。言い換えれば、機体と障害物Ｑとの距離の推定値として、鉛直方向に対する基準直線Ｙの傾き（角度）の正接と、カメラ４０の高さと、の積を算出する。

【0107】

以上で説明した処理により、第２推定方法によって機体と障害物Ｑとの距離が推定される。

【0108】

このように、位置判定処理によって障害物Ｑが圃場における植物Ｔが存在する領域に位置していないと判定された場合、推定部２７は、植物高さに基づくことなく、障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定する。

【0109】

例えば、図７に示す例では、障害物Ｑが、圃場における植物Ｔ（作物Ｐ）が存在する領域に位置していない。言い換えれば、障害物Ｑは、圃場における植物Ｔ（作物Ｐ）が存在しない領域に位置している。この場合、第２推定方法によって機体と障害物Ｑとの距離が推定される。

【0110】

図７に示す例では、障害物Ｑである人物のうち障害物領域Ｆ１の下端部に対応する部位は、当該人物の足もとである。そのため、この例における基準直線Ｙは、カメラ４０と、当該人物の足もとと、を結ぶ直線である。

【0111】

図７に示す例において、鉛直方向に対する基準直線Ｙの傾きは、Ａ２であるとする。また、カメラ４０の高さは、Ｈ１であるとする。また、機体（より具体的にはカメラ４０）と障害物Ｑとの距離は、Ｄ２であるとする。

【0112】

この場合、
Ｄ２＝Ｈ１×ｔａｎＡ２
である。このようにして、機体と障害物Ｑとの距離が推定される。

【0113】

図５に示すステップＳ０４にて、第２推定方法によって機体と障害物Ｑとの距離が推定されると、推定された距離が、推定部２７から機体制御部２９へ送られる。そして、処理はステップＳ０５へ移行する。ステップＳ０５における処理は、上述した通りである。

【0114】

以上で説明した構成によれば、植物高さに基づいて機体と障害物Ｑとの距離が推定される。これにより、例えば、圃場の植物Ｔによって障害物Ｑの下端部が隠れている場合において、カメラ４０と、障害物Ｑのうち障害物領域Ｆ１の下端部に対応する部位と、を結ぶ直線の鉛直方向に対する傾きを算出すると共に、当該傾き（角度）の正接と、カメラ４０の高さから植物高さを減じて得た値と、の積を算出することにより、機体と障害物Ｑとの間の距離を精度良く推定することができる。

【0115】

即ち、以上で説明した構成によれば、圃場の植物Ｔによって障害物Ｑの下端部が隠れている場合に、機体と障害物Ｑとの距離が精度良く推定されやすいコンバイン１を実現できる。

【0116】

〔その他の実施形態〕
（１）カメラ４０は、コンバイン１の機体の前方だけでなく、他の方向を撮像しても良い。また、複数のカメラ４０が設けられていても良い。複数のカメラ４０は、互いに異なる方向へ向けられていても良い。

【0117】

（２）受付部４２が人為操作入力によって受け付ける情報は、植物高さを示す値（より具体的には、植物高さそのもの）であっても良い。

【0118】

（３）検知部４１は設けられていなくても良い。即ち、高さ取得部２６は、検知部４１による検知結果に基づくことなく、植物高さを取得しても良い。

【0119】

（４）受付部４２は設けられていなくても良い。即ち、高さ取得部２６は、受付部４２が受け付けた人為操作入力に基づくことなく、植物高さを取得しても良い。

【0120】

（５）カメラ４０の向きが可変であっても良い。この場合、障害物Ｑのうち障害物領域Ｆ１の下端部に対応する部位にカメラ４０を向けた状態でのカメラ４０の向きが検知されるように構成されていても良い。このとき、検知されたカメラ４０の向きは、本発明に係る「角度関連値」に相当する。また、このとき、検知されたカメラ４０の向きは、基準直線Ｙの延びる方向に一致する。即ち、検知されたカメラ４０の向きに基づいて、機体と障害物Ｑとの距離を推定できる。

【0121】

（６）推定部２７により推定される距離は、機体のいかなる部分と障害物Ｑとの距離であっても良い。例えば、推定部２７により推定される距離は、機体前後方向におけるカメラ４０の前端部と障害物Ｑとの間の距離であっても良いし、機体前後方向における収穫部Ｈの前端部と障害物Ｑとの間の距離であっても良い。尚、機体前後方向における収穫部Ｈの前端部と障害物Ｑとの間の距離は、例えば、図６に示すＤ１から、機体前後方向におけるカメラ４０の前端部と収穫部Ｈの前端部との間の距離を減じることにより、算出（推定）することができる。

【0122】

（７）判定部２５は、カメラ４０の撮像により生成された画像に基づいて位置判定処理を実行しても良い。例えば、判定部２５は、深層学習を用いて学習されたニューラルネットワークを利用して画像解析を行うことにより、障害物Ｑが圃場における植物Ｔが存在する領域に位置しているか否かを判定しても良い。

【0123】

（８）角度取得部２８により取得される角度関連値が、水平方向に対する基準直線Ｙの傾き（俯角）である場合、推定部２７は、例えば、カメラ４０の高さから植物高さを減じて得た値を、当該傾き（角度）の正接で除することにより、コンバイン１の機体と障害物Ｑとの間の距離を推定しても良い。

【0124】

（９）基準直線Ｙの長さ（言い換えれば、カメラ４０と、障害物Ｑのうち障害物領域Ｆ１の下端部に対応する部位と、の間の距離）を検知するセンサが備えられていても良い。この場合、推定部２７は、例えば、カメラ４０の高さから植物高さを減じて得た値と、基準直線Ｙの長さと、に基づいて、三平方の定理を利用して、コンバイン１の機体と障害物Ｑとの間の距離を推定しても良い。この場合、角度取得部２８は設けられていなくても良い。

【0125】

（１０）判定部２５は設けられていなくても良い。この場合、推定部２７は、障害物Ｑが圃場における植物Ｔが存在する領域に位置しているか否かにかかわらず、常に、植物高さ及び障害物領域Ｆ１に基づいて機体と障害物Ｑとの距離を推定しても良い。

【0126】

（１１）障害物Ｑは、人物に限定されない。障害物Ｑは、例えば、鳥獣や樹木や建物等であっても良い。

【0127】

（１２）障害物領域Ｆ１は、いかなる形状であっても良い。障害物領域Ｆ１は、例えば、円形であっても良いし、障害物Ｑの外形に沿う形状であっても良い。

【0128】

尚、上述の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

【産業上の利用可能性】

【0129】

本発明は、普通型のコンバインだけではなく、自脱型のコンバイン、トラクタ、田植機、トウモロコシ収穫機、ジャガイモ収穫機、ニンジン収穫機等の種々の圃場作業車に利用可能である。

【符号の説明】

【0130】

１ ：コンバイン（圃場作業車）
２１ ：特定部
２３ ：マップ取得部
２５ ：判定部
２６ ：高さ取得部
２７ ：推定部
２８ ：角度取得部
２９ ：機体制御部
４０ ：カメラ
４１ ：検知部
４２ ：受付部
ＣＡ ：未作業領域
Ｆ１ ：障害物領域
Ｑ ：障害物
Ｔ ：植物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】