特許 7195543 収穫機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-16

(45)【発行日】2022-12-26

(54)【発明の名称】収穫機

(51)【国際特許分類】

   A01B 69/00 20060101AFI20221219BHJP

   G06T 7/70 20170101ALI20221219BHJP

   G06T 7/593 20170101ALI20221219BHJP

【ＦＩ】

A01B69/00 303J

G06T7/70 A

G06T7/593

【請求項の数】 3

(21)【出願番号】P 2019085785

(22)【出願日】2019-04-26

(65)【公開番号】P2020178659

(43)【公開日】2020-11-05

【審査請求日】2022-01-27

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(73)【特許権者】

【識別番号】000001052

【氏名又は名称】株式会社クボタ

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】飯田 訓久

(72)【発明者】

【氏名】朝田 諒

(72)【発明者】

【氏名】中林 隆志

【審査官】田辺 義拓

(56)【参考文献】

【文献】特開２０１８－１９６３４９（ＪＰ，Ａ）

【文献】国際公開第２０１５／１６３０２８（ＷＯ，Ａ１）

【文献】特開平１０－１７８８１５（ＪＰ，Ａ）

【文献】特開平９－２３８５１０（ＪＰ，Ａ）

【文献】特開２０１４－１９４７２９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／３７６１２８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｂ ６９／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

圃場の農作物を刈り取る収穫部を有する収穫機であって、
圃場における機体の進行方向前方を撮影するステレオカメラユニットと、
前記ステレオカメラユニットによって取得された撮影画像からステレオマッチングを用いて、圃場面を１つの基準面とする３次元座標系で展開された３次元点群データを生成する距離情報生成部と、
前記３次元点群データから、前記収穫部によって刈り取られた既刈地と未刈地との境界及び前記農作物の高さを含む圃場刈取り情報を生成する圃場刈取り情報作成部と、
障害物が前記既刈地と前記未刈地のいずれに存在するかを推定する障害物推定手段と、
前記未刈地での前記農作物の高さ領域に入っている前記３次元点群データを障害物検出対象から除外するマスキング処理を行うとともに、前記３次元点群データと前記障害物推定手段による推定結果とに基づいて、前記障害物を検出するとともに前記障害物と前記機体との位置関係を算出する障害物検出部と、
を備えた収穫機。

【請求項2】

前記機体からの位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、
前記障害物検出部によって検出された前記障害物が前記障害物警戒領域に存在する場合、前記位置関係に応じて車速を変更する車速変更指令出力部が備えられている請求項１に記載の収穫機。

【請求項3】

前記障害物推定手段が深層学習ユニットであり、前記深層学習ユニットは前記ステレオカメラユニットを構成するいずれか１つのカメラからによって取得された撮影画像を用いて障害物が見いだされる障害物領域を推定する請求項１または２に記載の収穫機。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラによって取得された撮影画像を用いて、圃場における障害物を検出する収穫機に関する。

【背景技術】

【0002】

圃場には、運転者以外の作業者や動物や電柱などの障害物が存在している可能性があるので、圃場を作業走行する収穫機には、特許文献１に開示されているように、障害物を検出するための超音波式の障害物センサが備えられているものがある。障害物センサによって障害物が検出された場合、危険防止のためにエンジン等が停止される。

【0003】

特許文献２によるコンバインには、レーザースキャナが備えられている。このレーザースキャナは、刈取対象物が刈り取られることによって路面の大部分が露呈している領域に立ち入った人を検出するために、刈取部の右側部分に偏ってレーザーが照射されるように構成されている。また、特許文献２では、障害物を検出するために、レーザースキャナに代えて、ミリ波レーダを用いること、あるいはカメラ等を用いた画像処理を用いることも可能であると記載されている。

【0004】

特許文献３によるコンバインでは、機体に設けられた撮影部によって遂次取得された撮影画像が入力されることで、この撮影画像に写っている認識対象物が存在する存在領域がその推定確率ともに出力される。高い推定確率で認識対象物が推定されると、警告の報知や走行制御が行われる。この認識対象物の推定には機械学習が用いられているが、精度良く認識対象物を推定するには、その障害物検出制御ユニットに高度な学習機能と高い演算機能が要求される。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平９－７６８５０号公報

【文献】特開２０１７－１７６００７号公報

【文献】特開２０１９－００４７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

小麦や稲や大豆などの農作物の収穫作業では、人などの障害物が部分的に農作物によって隠されてしまう可能性が高く、その場合、障害物検出精度が低下する。障害物を検出する毎に機体が停車し、検出された障害物の確認作業が頻繁に行われると、作業性が低下する。このような実情から、高い精度で障害物検出を行うことができる収穫機が要望されている。

【課題を解決するための手段】

【0007】

本発明による収穫機は、圃場の農作物を刈り取る収穫部を有し、圃場における機体の進行方向前方を撮影するステレオカメラユニットと、前記ステレオカメラユニットによって取得された撮影画像からステレオマッチングを用いて、圃場面を１つの基準面とする３次元座標系で展開された３次元点群データを生成する距離情報生成部と、前記３次元点群データから、前記収穫部によって刈り取られた既刈地と未刈地との境界及び前記農作物の高さを含む圃場刈取り情報を生成する圃場刈取り情報作成部と、障害物が前記既刈地と前記未刈地のいずれに存在するかを推定する障害物推定手段と、前記未刈地での前記農作物の高さ領域に入っている前記３次元点群データを障害物検出対象から除外するマスキング処理を行うとともに、前記３次元点群データと前記障害物推定手段による推定結果とに基づいて、前記障害物を検出するとともに前記障害物と前記機体との位置関係を算出する障害物検出部とを備える。

【0008】

この構成によれば、ステレオカメラユニットの左右一対のカメラによって取得された左右の撮影画像を用いてステレオマッチングが行われることで、３次元点群データが生成される。３次元点群データを構成する各点データは撮影画像の各点の位置座標を示すので、この３次元点群データの分布に基づいて、既刈地と未刈地との境界（圃場刈取り情報の１つ）及び農作物の高さ（圃場刈取り情報の他の１つ）の算出が可能である。既刈地は、農作物が収穫部によって刈り取られた圃場領域であり、未刈地は、農作物がまだ生育している圃場領域である。既刈地を示す点群と未刈地を示す点群との違いから、撮像画像における、既刈地と未刈地との境界、ないしは既刈地と未刈地の領域が算出される。農作物の高さは、未刈地における農作物を示す点群から算出可能である。さらに、未刈地に生育している農作物の領域（未刈地の表面積と農作物の高さとで求められる農作物空間）に入り込んでいる障害物は撮影画像には写らないので、その領域は、障害物検出対象から除外するマスキング処理の対象領域として取り扱う。さらには、障害物が既刈地と未刈地のいずれに存在するかの推定が可能な障害物推定手段が備えられているので、この障害物推定手段の推定結果と、生育している農作物の領域をマスキングした３次元点群データとに基づいて障害物が検出され、当該障害物と機体との位置関係が、高い信頼性をもって算出される。未刈地での障害物検出では、農作物空間が障害物の検出対象から除外されることで、無駄な検出（ノイズ）を回避することができる。また、既刈地での障害物検出では、実質的に圃場面から所定高さ上方の全領域が検出対象となり、既刈地に存在する種々の形態の障害物を検出することができる。

【0009】

本発明の好適な実施形態の１つでは、前記機体からの位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、前記障害物検出部によって検出された前記障害物が前記障害物警戒領域に存在する場合、前記位置関係に応じて車速を変更する車速変更指令出力部が備えられている。この構成によれば、検出された障害物が障害物警戒領域に存在するとみなされると、当該障害物と機体との位置関係に応じて車速が変更される。したがって、機体と障害物との位置関係から所定時間内での干渉可能性が大きい場合と、干渉可能性が小さい場合とによって車速の変更度合を相違させることができる。その際、例えば、機体と障害物との位置関係から相対的に短い時間内での干渉可能性が大きい場合での車速の変更は、車速ゼロへの変更、つまり機体を停止にさせることになる。これにより、機体と障害物との位置関係から相対的に短い時間内での干渉可能性が小さい場合でも、機体を停止させ、作業性を低下させるようなことは、低減される。さらには、障害物警戒領域が機体に対する位置に基づいて規定されることから、カメラの撮影視野に入っている領域であっても、機体と障害物とが干渉する可能性がほとんど無視することができる領域に対しては、障害物警戒領域から外すことができる。これにより、障害物検出の効率が向上する。

【0010】

障害物が既刈地と未刈地のいずれに存在するかの推定が可能な障害物推定手段は、撮影画像を入力とする機械学習ユニットによって実現することができる。圃場における障害物の検出では、機械学習のなかでも学習能力の高い深層学習が好ましい。このことから、本発明の好適な実施形態の１つでは、前記障害物推定手段が深層学習ユニットであり、前記深層学習ユニットは、前記ステレオカメラユニットを構成するいずれか１つのカメラからによって取得された撮影画像を用いて、障害物が見いだされる障害物領域を推定する。この構成では、撮影画像を入力することで、障害物（人や動物などの注目物体）の輪郭を示す障害物枠（バウンディングボックス）が出力される。この障害物枠を３次元点群データに当てはめることで、当該障害物枠で示された障害物の三次元位置、結果的には当該障害物と機体との位置関係が得られる。ステレオマッチングによる３次元点群データと、良好に学習された深層学習ユニットとを組み合わせることにより、刈取り前の農作物（生育中の農作物）の上端から突き出している人の顔の検出が可能となることが実験的にも確かめられている。

【図面の簡単な説明】

【0011】

【図1】コンバインの全体側面図である。

【図2】機体前部に装備されたステレオカメラによる障害物検出範囲を示す模式図である。

【図3】障害物検出の流れを模式的に説明する説明図である。

【図4】ステレオカメラによる障害物検出に用いられる第１警戒領域と第２警戒領域とを示す平面図である。

【図5】コンバインにおける制御系の機能ブロック図である。

【図6】障害物検出制御の流れを示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明に係る収穫機の一例としてのコンバインの実施形態を図面に基づいて説明する。収穫対象となる農作物は、小麦や稲などの植立穀稈である。この実施形態で、機体１の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図１に符号（Ｆ）で示す方向が機体前側、図１に符号（Ｂ）で示す方向が機体後側である。機体１の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。「上側（上方）」または「下側（下方）」は、機体１の鉛直方向（垂直方向）での位置関係であり、地上高さにおける関係を示す。

【0013】

図１に示すように、コンバインでは、左右一対のクローラ走行装置１０を備えた機体１の前部に横軸芯周りで昇降操作自在に収穫部である刈取部２が連結されている。左右それぞれのクローラ走行装置１０の速度差によって、機体１は左右旋回可能となる。機体１の後部には、機体横幅方向に並ぶ状態で脱穀装置１１と、穀粒を貯留する穀粒タンク１２とが備えられている。機体１の前部右側箇所に搭乗運転部１４が備えられ、この搭乗運転部１４の下方に図示されていないエンジンが備えられている。

【0014】

図１に示すように、脱穀装置１１は、刈取部２で刈り取られて後方に搬送されてきた刈取穀稈を内部に受け入れて、穀稈の株元をフィードチェーン１１１と挟持レール１１２とによって挟持して搬送しながら穂先側を扱胴１１３にて脱穀処理する。そして、扱胴１１３の下方に備えられた選別部にて脱穀処理物に対する穀粒選別処理が実行され、そこで選別された穀粒が穀粒タンク１２へ搬送され、貯留される。また、詳述はしないが、穀粒タンク１２にて貯留される穀粒を外部に排出する穀粒排出装置１３が備えられている。

【0015】

刈取部２には、引起された植立穀稈の株元を切断するバリカン型の切断装置２２、穀稈搬送装置２３等が備えられている。穀稈搬送装置２３は、株元が切断された縦姿勢の刈取穀稈を徐々に横倒れ姿勢に変更させながら、フィードチェーン１１１の始端部に向けて搬送する。

【0016】

搭乗運転部１４の天井部には、衛星測位モジュール８０も設けられている。衛星測位モジュール８０には、ＧＮＳＳ（global navigation satellite system）信号（ＧＰＳ信号を含む）を受信するための衛星用アンテナが含まれている。衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサからなる慣性航法ユニットを衛星測位モジュール８０に組み込んでもよい。もちろん、慣性航法ユニットは別の場所に配置できる。

【0017】

図２に示すように、コンバインの前部には、障害物検出のために、圃場における機体１の進行方向前方を撮影する左右一対のカメラを有するステレオカメラであるステレオカメラユニット８１が備えられている。さらに、この実施形態では、ステレオカメラユニット８１のいずれか一方のカメラによって取得された撮影画像は、深層学習などの機械学習アルゴリズムに用いられ、当該撮影画像に写っている人などの障害物が検出される。

【0018】

図３に示された模式的な制御フロー図を用いて、以下に、障害物検出の一例を説明する。ステレオカメラユニット８１を用いた障害物検出では、まず、ステレオカメラユニット８１の左右のカメラで撮影画像が取得される（＃ａ）。次に、取得された左右のカメラの撮影画像に対するステレオマッチング処理が行われる（＃ｂ）。ステレオマッチング処理を通じて、視差データが生成され、さらに距離画像が生成される（＃ｃ）。さらに、距離画像から圃場面を１つの基準面（底面）とする３次元座標系で展開された３次元点群データが生成される（＃ｄ）。

【0019】

さらに、３次元点群データから、刈取部２によって刈り取られた既刈地と未刈地との境界及び植立穀稈の高さを含む圃場刈取り情報が生成される。この圃場刈取り情報の作成アルゴリズムの一例を以下に説明する。

【0020】

３次元点群データをもとにして、走行方向前方の３次元空間（処理対象空間）が数値標高モデル化され、数値標高モデルを用いて未刈地の推定が行われる。さらに、この推定された未刈地に生育している植立穀稈の高さの推定も行われる。処理対象空間は、例えば、幅５ｍ、奥行き５ｍ、高さ３ｍ程度である。処理対象空間は、その底面を、単位区画（例えば、２ｃｍ×２ｃｍ～５ｃｍ×５ｃｍ）で格子状に区切り、この単位区画群を底面とする直方体をさらに高さ方向に区分けされることで、セル構造体となる。このセル構造体の各セルに３次元点群データで示される点群が割り当てられる。単位区画を底面とする直方体に属するセルに入った点群の代表高さ（例えば、最大高さや平均高さ）を、単位区画に割り当てることで、圃場面の凹凸（植立穀稈の高さや障害物の高さを含む）が表現された凹凸画像が得られる。この凹凸画像に対して、２値化処理、膨張・収縮処理、ラベリング処理が行われ、最終的に未刈地と既刈地の領域が推定される（＃ｅ）。図３では、未刈地領域が斜線で、既刈地領域がクロス線で、未刈地と既刈地との間の境界が太い実線で示されている。コンバインが直進状態であると仮定すれば、境界が直線で示される。未刈地領域における点群の代表高さの平均が、植立穀稈の高さ（例えば１ｍ）となる。これにより、走行方向前方の処理対象空間が未刈地の植立穀稈が存在する穀稈存在空間と、未刈地の植立穀稈が存在しない穀稈上方空間と、既刈地の自由空間とに分けることができる（＃ｆ）。

【0021】

穀稈存在空間に存在する障害物は、植立穀稈に遮蔽されるので、検出不能である。したがって、穀稈存在空間において推定された障害物はノイズとみなされる。このため、未刈地での植立穀稈の高さ領域である穀稈存在空間に入っている３次元点群データはマスキング処理によって障害物検出対象から除外される。このマスキング処理は、障害物検出処理に先立って、穀稈存在空間に入っている３次元点群データを処理対象から外す方法と、しきい値比較によって外す方法が考えられるが、いずれの方法も、本願ではマスキング処理として取り扱われる。穀稈上方空間と既刈地の自由空間とにおける、障害物検出の最大高さは、２．５ｍ程度とする。

【0022】

障害物検出対象となっている３次元点群データを用いた障害物検出（物体検出）は、フィルタ処理、２値化処理、膨張・収縮処理、ラベリング処理を通じて得られる点密度によって行われる。障害物検出のためのしきい値より大きい点密度となるセル群が障害物とみなされる。その際、遠方領域の点密度は近傍での点密度に比べて粗になるので、障害物検出のためのしきい値は、ステレオカメラユニット８１から各区画までの距離の関数、例えば距離の二乗に反比例するように与えられる。

【0023】

この実施形態では、障害物が既刈地と未刈地のいずれに存在するかを推定する障害物推定手段が用いられている。この障害物推定手段は深層学習を用いたアルゴリズムにより実現され、これにより障害物が見いだされる障害物枠（障害物領域）が出力される（＃ｇ）。つまり、ステレオカメラユニット８１を構成するいずれか１つのカメラからによって取得された撮影画像において障害物が見いだされる障害物枠のサイズと位置が深層学習アルゴリズムによる出力される。なお、この実施形態では、費用対効果などの理由で、深層学習アルゴリズムとしてＹＯＬＯが用いられている。

【0024】

この障害物検出処理では、ステレオマッチングによる障害物検出と、深層学習アルゴリズムによる障害物枠とが組み合わされる（＃ｈ）。ステレオマッチングによる障害物検出では、障害物検出のしきい値を上げ過ぎると実際の障害物が未検出となり、障害物検出のしきい値を下げ過ぎると障害物を誤検出するという問題を引き起こす。このような問題は、深層学習アルゴリズムによって撮影画像に写っている障害物を示す障害物枠の出力によって、障害物の存在する領域をその信頼率とともに、ステレオマッチングによる障害物検出アルゴリズムに与えることで、低減する。例えば、植立穀稈の上端から突き出した人の顔を正しく障害物として検出することや、植立穀稈近くの既刈地にしゃがんでいる人を正しく障害物として検出することが、実験的に可能であった。

【0025】

検出された障害物が機体１との干渉の恐れがある場合、障害物との干渉回避の制御が行われる。このために用いる障害物警戒領域は、図４に示すように、機体１の進行方向前方に広がる圃場面に対応する基準面（ＸＹ平面）上に規定される。ここでは、障害物警戒領域は、機体１との位置関係が異なる第１警戒領域（図４では濃く塗りつぶされ、符号Ｚ１が付与されている）と第２警戒領域（図４では薄く塗りつぶされ、符号Ｚ２が付与されている）とからなる。

【0026】

第１警戒領域は、刈取部２の作業幅と、機体１から機体１の進行方向前方への警戒距離（図４では符号Ｌ１で示されている）とによって規定される長方形から、ステレオカメラユニット８１の画角によって決まる死角領域を切り取った先端楔状の領域である。言い換えると、第１警戒領域は、実質的にコンバインの走行軌跡幅である刈取部２の左右幅の一辺とし、機体１から進行方向前方への所定距離（警戒距離）を他辺とする長方形から、ステレオカメラユニット８１の画角によって決まる死角領域を切り取った形状である。この第１警戒領域に存在する障害物は、コンバインの進行によりコンバインと接触することになる。したがって、その警戒距離は、コンバインの車速に応じて変更されるのが好ましいが、この実施形態では、作業走行速度が実質的に一定であるので、数ｍに設定されている。

【0027】

第２警戒領域は、機体１の進行方向前方へ広がった平面における、ステレオカメラユニット８１の画角によって決まる死角領域を切り取った先端楔状の領域から、第１警戒領域を切り取った形状である。コンバインの左右方向に関して、第１警戒領域の３倍程度の幅を有し、機体１の進行方向前方に関して、第１警戒領域の２倍弱の長さ（図４では符号Ｌ２で示されている）を有する。第２警戒領域の左右方向広がりは、コンバインの旋回を考慮して設定され、第２警戒領域の進行方向の広がりは、機体１と障害物との干渉までに時間的に余裕が、第１警戒領域より大きくなるように設定されている。

【0028】

図５には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス８４は、運転者等に障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。障害物の検出結果に関しては、障害物が第１警戒領域に存在している場合には、切迫した状態を示すような警告音や警告光や警告メッセージが緊急警戒報知として報知され、第１警戒領域に存在している場合には、緊急警戒報知よりは穏やかな注意音や注意光や注意メッセージが注意報知として報知される。

【0029】

通信部８５は、外部の通信機器との間でデータ交換するために用いられる。制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データ、および、ステレオカメラユニット８１からの撮影画像は、配線網を通じて制御ユニット６に入力される。

【0030】

制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａおよび作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における動力制御機器などが含まれている。

【0031】

入力処理部６Ａには、走行系検出センサ群８Ａや作業系検出センサ群８Ｂなどが接続されている。走行系検出センサ群８Ａには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群８Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。

【0032】

制御ユニット６には、作業走行制御モジュール６０、障害物検出ユニット５０、車速変更指令出力部６５、機体位置算出部６６、報知部６７が制御機能部として備えられている。なお、これらの制御機能部は、それぞれ別体で構成され、車載ＬＡＮ等で接続される。

【0033】

報知部６７は、制御ユニット６の各機能部からの要求に基づいて報知データを生成し、報知デバイス８４に与える。機体位置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１の地図座標（または圃場座標）である機体位置を算出する。

【0034】

この実施形態のコンバインは自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。作業走行制御モジュール６０には、走行制御部６１と作業制御部６２とに加えて、作業走行指令部６３および走行経路設定部６４が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）が搭乗運転部１４内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。

【0035】

走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。

【0036】

走行経路設定部６４は、自動走行のための走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。

【0037】

作業走行指令部６３は、自動走行指令として、自動操舵指令および車速指令を生成して、走行制御部６１に与える。自動操舵指令は、走行経路設定部６４によって走行経路と、機体位置算出部６６によって算出された自機位置との間の方位ずれおよび位置ずれを解消するように生成される。自動走行時には、車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時には、車速指令は、手動車速操作に基づいて生成される。但し、障害物検出などの緊急事態が発生した場合は、強制的な停止を含む車速変更や、エンジン停止などが自動的に行われる。

【0038】

自動走行モードが選択されている場合、作業走行指令部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。手動走行モードが選択されている場合、運転者による操作に基づいて、走行制御部６１が制御信号を生成し、車両走行機器群７Ａを制御する。

【0039】

障害物検出ユニット５０では、図３を用いて説明したように、ステレオカメラユニット８１によって取得された撮影画像が用いられ、ステレオマッチングによる障害物検出及び深層学習アルゴリズムによる障害物検出が同時に行われる。このため、障害物検出ユニット５０には、画像取得部５１と、距離情報生成部５２と、圃場刈取り情報作成部５３と、深層学習ユニット５４と、障害物検出部５５と、警戒領域設定部５６とが含まれている。画像取得部５１は、ステレオカメラユニット８１から送られてきた左右の撮影画像を距離情報生成部５２に与え、左右の撮影画像のうちのいずれか、例えば右の撮影画像を深層学習ユニット５４に送る。距離情報生成部５２は、左右の撮影画像からステレオマッチングを用いて、圃場面を１つの基準面とする３次元座標系で展開された３次元点群データを生成する。圃場刈取り情報作成部５３は、３次元点群データから、刈取部２によって刈り取られた既刈地と未刈地との境界及び植立穀稈の高さを含む圃場刈取り情報を生成する。深層学習ユニット５４は、障害物が既刈地と未刈地のいずれに存在するかを推定する機能を有する。学習済の深層学習ユニット５４は、入力された撮影画像における障害物の存在を推定し、当該障害物の輪郭を示す障害物枠のサイズ及びその位置を推定結果として出力する。

【0040】

障害物検出部５５は、３次元点群データと、圃場刈取り情報と、障害物枠のサイズ及びその位置とに基づいて、障害物を検出し、当該障害物と機体１との距離（障害物距離）を算出する。警戒領域設定部５６は、機体１に対する位置に基づいて規定される障害物警戒領域を設定する。この実施形態では、障害物警戒領域は、図４を用いて述べたように、第１警戒領域と第２警戒領域に区分けられている。障害物検出部５５は、検出される障害物が第１警戒領域と第２警戒領域とのどちらに存在するものであるかを判定し、障害物検出情報を生成する。なお、図５に示された障害物検出ユニット５０を構成する構成要素は、主に説明目的で分けられており、当該構成要素の統合や、当該構成要素の分割は、自由に行われてよい。

【0041】

障害物検出ユニット５０で生成された障害物検出情報は、車速変更指令出力部６５に送られる。車速変更指令出力部６５は、受け取った障害物検出情報から、障害物が第１警戒領域に存在する場合には、車速変更値を含む第１車速変更指令を作業走行指令部６３に出力し、障害物が第２警戒領域に存在する場合には、車速変更値を含む第２車速変更指令を作業走行指令部６３に出力する。第１車速変更指令は、車速をゼロにする指令、つまり機体１を停止する命令である。もちろん、第１車速変更指令は、車速をゼロに近い値にする指令、あるいは、段階的に車速をゼロにする指令であってもよい。第２車速変更指令は、車速を微速、例えば時速１ｋｍ程度に減速する減速値である。第２車速変更指令として、直前の車速の数分の１に減速するといった、直前車速に対する割合で決められた減速値であってもよい。いずれにせよ、第１車速変更指令による第１車速変更値は、第２車速変更指令による第２車速変更値より大きく、緊急避難のための指令となっている。車速変更指令出力部６５によって決定された車速変更指令に基づいて、作業走行指令部６３は、走行制御部６１に制御指令を与えて、機体１を緊急的に減速させる。検出された障害物の存在が第１警戒領域から第２警戒領域に移行すれば、停止していた機体１は、第２車速変更指令で規定されている微速で前進する。さらには、障害物が警戒領域で、検出されなくなれば、通常の作業車速での走行に戻る。

【0042】

次に、上述した制御系における、障害物検出と車速減速との制御の流れの一例を示すフローチャートが図６に示されている。この制御がスタートすれば、フラグや変数のリセットなどの初期設定が行われる（＃０１）。警戒領域の設定、つまり第１警戒領域と第２警戒領域が設定される（＃０２）。第１警戒領域が、車速によって変更される場合には、現在車速を取得して、その車速に基づいて、第１警戒領域が設定される。

【0043】

ステレオカメラユニット８１から撮影画像が取り込まれる（＃０３）。取り込まれた撮影画像を用いて、図３で示されたように障害物検出ユニット５０による障害物検出処理が行われ、障害物が検出されると障害物検出情報が出力される（＃０４）。

【0044】

障害物が検出されているかどうかの判定が行われ、障害物が検出されていると（＃０５Ｙｅｓ分岐）、障害物警戒領域における障害物の位置が、つまり障害物の二次元位置が算出される（＃１１）。

【0045】

障害物が第１警戒領域に入っているかどうかチェックされる（＃１２）。障害物が第１警戒領域に入っていれば（＃１２Ｙｅｓ分岐）、車速変更指令出力部６５が第１車速変更指令として、停止指令を作業走行指令部６３に与える（＃１３）。さらに停止フラグをＯＮにする（＃１４）。なお、ステップ＃１４において、減速フラグがＯＮであるときは（第２警戒領域から第１境界領域に障害物が移動したときは）、減速フラグをＯＦＦにして停止フラグをＯＮにする。これにより機体１は停止し、制御はステップ＃０２に戻る。

【0046】

ステップ＃１２のチェックで障害物が第１警戒領域に入っていない場合（＃１２Ｎｏ分岐）、さらに、第２警戒領域に入っているかどうかチェックされる（＃２０）。障害物が第２警戒領域に入っていれば（＃２０Ｙｅｓ分岐）、車速変更指令出力部６５が第２車速変更指令として、減速指令を作業走行指令部６３に与える（＃２１）。さらに減速フラグをＯＮにする（＃２２）。なお、ステップ＃２２において、停止フラグがＯＮであるときは（第１警戒領域から第２境界領域に障害物が移動したときは）、停止フラグをＯＦＦにして減速フラグをＯＮにする。これにより機体１は微速走行し（時速１ｋｍ程度）、制御はステップ＃０２に戻る。

【0047】

ステップ＃２０のチェックで障害物が第２警戒領域に入っていない場合（＃２０Ｎｏ分岐）、警戒領域には障害物が存在しないことになる。このように警戒領域には障害物が存在しない場合、あるいは、そもそも障害物が検出されなかった場合（＃０８Ｎｏ分岐）、停止フラグの状態と減速フラグとの状態がチェックされ、その状態に応じたフラグ内容の書き換えが行われる。具体的には、その際に、停止フラグがＯＮであれば（＃３０Ｙｅｓ分岐）、停止フラグはＯＦＦに書き換えられ（＃３１）、さらに、走行指令が有効となり、機体１は通常走行を行う（＃３２）。次いで、制御はステップ＃０２に戻る。その際に、停止フラグがＯＮでなければ（＃３０Ｎｏ分岐）、減速フラグの内容がチェックされる（＃４０）。減速フラグがＯＮであれば（＃４０Ｙｅｓ分岐）、減速フラグはＯＦＦに書き換えられる（＃４１）、さらに、走行指令が有効となり、機体１は通常走行を行う（＃４２）。通常走行とは、障害物等が検出されていない際の作業走行であり、その車速は、障害物が第２警戒領域に存在している際の車速より、速い速度である。次いで、制御はステップ＃０２に戻る。減速フラグがＯＦＦであれば（＃４０Ｎｏ分岐）、もちろん走行指令は有効であり、機体１は通常走行を行う（＃４３）そのまま、制御はステップ＃０２に戻る。

【0048】

このような障害物検出と車速変更との制御により、収穫機の機体１の進行方向前方の警戒領域に圃場作業者が進入すると、収穫機は停止または減速し、警戒領域から圃場作業者が出ていくと、収穫機は、再び通常の車速での作業走行に復帰する。

【0049】

この障害物検出に基づく車速減速の制御は、収穫機が自動走行であっても、手動走行であっても、実行させることが可能である。

【0050】

上述した実施形態では、第１警戒領域と第２警戒領域とを設定し、障害物がそれぞれの警戒領域に存在した場合、機体１の停止、または通常走行より遅い車速への変更が行われた。これに代えて、警戒領域を３つ以上設け、それぞれの領域に応じて、機体１を停止または微速への変更が行われてもよい。さらには、警戒領域を無段階に設定し、機体１と障害物との距離に応じて、機体１の停止、あるいは通常走行より遅い車速への無段階の変更が行われてもよい。

【0051】

なお、上記実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

【産業上の利用可能性】

【0052】

本発明は、圃場で作業走行を行う収穫機に適用される。

【符号の説明】

【0053】

１ ：機体
２ ：刈取部（収穫部）
５０ ：障害物検出ユニット
５１ ：画像取得部
５２ ：距離情報生成部
５３ ：圃場刈取り情報作成部
５４ ：深層学習ユニット（障害物推定手段）
５５ ：障害物検出部
５６ ：警戒領域設定部
６５ ：車速変更指令出力部
８１ ：ステレオカメラユニット（ステレオカメラ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】