特許 7246641 農作業機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-17

(45)【発行日】2023-03-28

(54)【発明の名称】農作業機

(51)【国際特許分類】

   A01B 69/00 20060101AFI20230320BHJP

   G06T 7/60 20170101ALI20230320BHJP

   G06T 7/00 20170101ALI20230320BHJP

   A01D 41/127 20060101ALI20230320BHJP

   G05D 1/02 20200101ALI20230320BHJP

【ＦＩ】

A01B69/00 303D

G06T7/60 180B

G06T7/00 350C

G06T7/00 650B

A01B69/00 303Q

A01D41/127

G05D1/02 N

【請求項の数】 7

(21)【出願番号】P 2019182770

(22)【出願日】2019-10-03

(65)【公開番号】P2021058099

(43)【公開日】2021-04-15

【審査請求日】2022-02-10

(73)【特許権者】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(73)【特許権者】

【識別番号】000001052

【氏名又は名称】株式会社クボタ

(74)【代理人】

【識別番号】110001818

【氏名又は名称】弁理士法人Ｒ＆Ｃ

(72)【発明者】

【氏名】飯田 訓久

(72)【発明者】

【氏名】李 楊

(72)【発明者】

【氏名】中林 隆志

【審査官】星野 浩一

(56)【参考文献】

【文献】特開２０１９－０８３７０３（ＪＰ，Ａ）

【文献】特開２０１８－１２４９７３（ＪＰ，Ａ）

【文献】特開平０４－２９３４０３（ＪＰ，Ａ）

【文献】竹藤輝 外２名，視覚障害者のための歩行支援装置の検討，２０１９年度 電気・情報関係学会九州支部連合大会 講演論文集，日本，2019年09月19日，第２９２頁， https://www.jstage.jst.go.jp/article/jceeek/2019/0/2019_292/_article/-char/ja/

【文献】ステレオカメラによるYOLOと３次元点群を利用した人物検出，第25回画像センシングシンポジウム 講演論文，2019年06月13日，第１－３頁，https://www.mech.chuo-u.ac.jp/umedalab/publications/paper.html

【文献】高橋正裕 外２名，ステレオカメラによるYOLOと３次元点群を利用した人物検出，第31回 人間情報学会講演集，日本，2018年12月17日，第１－２頁，http://www.ahi-soc.info/pdf/31stAHI_proceedings.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｂ ６９／００

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／００

Ａ０１Ｄ ４１／１２７

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

圃場を作業走行する農作業機であって、
前記圃場の特定領域を撮影する撮影ユニットと、
前記撮影ユニットからの撮影画像を入力して、前記撮影画像に写っている特定物体を認識し、当該特定物体が前記撮影画像において占める領域を示す特定物体輪郭を含む物体領域情報を出力するニューラルネットワークと、
前記特定領域を撮影し、前記特定領域に存在する物体全ての空間位置を示す物体位置情報を生成する空間位置測定部と、
前記物体位置情報から圃場面を基準面とする３次元座標系で展開された３次元点群データを作成し、前記特定物体輪郭の内部に含まれる前記３次元点群データと前記特定物体輪郭とから、農作物が存在する前記特定物体の１つである未刈地と前記農作物が刈り取られた前記特定物体の１つである既刈地との境界を含む圃場刈取り情報を作成する圃場情報作成部と、
前記物体位置情報と前記物体領域情報と前記圃場刈取り情報とに基づいて前記特定物体の１つである走行障害物の空間位置を決定し、機体から前記走行障害物までの距離である特定物体距離を算出する距離算出部と、
前記特定物体距離に基づいて物体検出信号を出力する物体検出信号生成部と、を備える農作業機。

【請求項2】

前記ニューラルネットワークは、エンコーダネットワークとデコーダネットワークとからなるセグメンテーションニューラルネットワークで構成され、前記物体領域情報には、前記特定物体の輪郭が含まれている請求項１に記載の農作業機。

【請求項3】

前記エンコーダネットワーク及び前記デコーダネットワークを構成する隠れ層には、畳み込み層とプーリング層とバッチ正規化層とが含まれ、前記バッチ正規化層におけるパラメータに基づいてプルーニングが行われる請求項２に記載の農作業機。

【請求項4】

前記特定物体距離は、前記走行障害物の前記輪郭から算出される前記走行障害物の重心から前記機体までの距離、または前記輪郭内に含まれる距離測定点の統計的代表値である請求項２または３に記載の農作業機。

【請求項5】

前記空間位置測定部は、前記特定領域に対するステレオマッチング技術を用いて前記物体位置情報を生成する請求項１から４のいずれか一項に記載の農作業機。

【請求項6】

前記農作業機が農作物を刈り取る収穫部を有する収穫機であり、
前記既刈地は前記収穫部によって前記農作物が刈り取られた領域であり、前記未刈地は前記収穫部によって前記農作物が刈り取られる前の領域である請求項１から５のいずれか一項に記載の農作業機。

【請求項7】

前記機体からの位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、車速を変更する車速変更指令出力部とが備えられており、
前記走行障害物が前記障害物警戒領域に存在する場合、前記車速変更指令出力部は前記特定物体距離に基づいて車速を変更する請求項１から６のいずれか一項に記載の農作業機。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、圃場に存在する物体を検出しながら作業走行する農作業機に関する。

【背景技術】

【0002】

特許文献１による農作業機には、圃場に存在する障害物を検出するための超音波式の障害物センサが備えられており、障害物センサによって障害物が検出された場合、危険防止のためにエンジン等が停止される。

【0003】

特許文献２によるコンバインには、レーザースキャナが備えられている。このレーザースキャナは、刈取対象物が刈り取られることによって圃場面の大部分が露出している領域に立ち入った人を検出するために、刈取部の右側部分に偏ってレーザーが照射されるように構成されている。また、特許文献２では、障害物を検出するために、レーザースキャナに代えて、ミリ波レーダを用いること、あるいはカメラ等を用いた画像処理を用いることも可能であると記載されている。

【0004】

特許文献３によるコンバインでは、機体に設けられた撮影部によって逐次取得された撮影画像が入力されることで、この撮影画像に写っている認識対象物が存在する存在領域がその推定確率ともに出力される。高い推定確率で認識対象物が推定されると、警告の報知や走行制御が行われる。この認識対象物の推定には機械学習が用いられているが、機械学習の詳しい構成は開示されていない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平９－７６８５０号公報

【文献】特開２０１７－１７６００７号公報

【文献】特開２０１９－００４７７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

圃場における農作業機による作業走行では、人や動物などの物体が走行障害物として存在する可能性がある。この物体が機体進行方向で機体の近くに存在している場合、機体に物体が干渉することを回避する必要がある。このためには、走行障害物となるような物体は高い精度で検出されるとともに、機体との距離も高い精度で算出される必要がある。しかしながら、従来の農作業機に搭載されている物体検出技術では、圃場における物体を迅速かつ高精度に検出することが困難であった。このような実情から、圃場における物体を、機体からの距離とともに迅速かつ高精度に検出する物体検出技術を搭載した農作業機が要望されている。

【課題を解決するための手段】

【0007】

本発明による、圃場を作業走行する農作業機は、前記圃場の特定領域を撮影する撮影ユニットと、前記撮影ユニットからの撮影画像を入力して、前記撮影画像に写っている特定物体を認識し、当該特定物体が前記撮影画像において占める領域を示す特定物体輪郭を含む物体領域情報を出力するニューラルネットワークと、前記特定領域を撮影し、前記特定領域に存在する物体全ての空間位置を示す物体位置情報を生成する空間位置測定部と、前記物体位置情報から圃場面を基準面とする３次元座標系で展開された３次元点群データを作成し、前記特定物体輪郭の内部に含まれる前記３次元点群データと前記特定物体輪郭とから、農作物が存在する前記特定物体の１つである未刈地と前記農作物が刈り取られた前記特定物体の１つである既刈地との境界を含む圃場刈取り情報を作成する圃場情報作成部と、前記物体位置情報と前記物体領域情報と前記圃場刈取り情報とに基づいて前記特定物体の１つである走行障害物の空間位置を決定し、機体から前記走行障害物までの距離である特定物体距離を算出する距離算出部と、前記特定物体距離に基づいて物体検出信号を出力する物体検出信号生成部と、を備える。

【0008】

この構成によれば、ニューラルネットワークは撮影ユニットからの撮影画像を用いて圃場の特定領域に存在する特定物体を認識し、当該特定物体の撮影画像において占める領域を示す物体領域情報を出力する。空間位置測定部は、撮影された圃場の特定領域に存在する物体全ての空間位置を示す物体位置情報を生成する。ニューラルネットワークが検知した特定物体が特定領域において占める領域の空間位置が、物体領域情報と物体位置情報とを対応させることで算出され、さらに機体から特定物体までの距離が算出される。例えば、物体領域情報に示された特定物体が人間などの走行障害物である場合、物体領域情報と物体位置情報とを対応させることで、機体から走行障害物までの距離が算出されるので、その距離に応じた機体の制御が可能となる。この発明では、特定物体の正確な空間位置の算出はできなくても特定物体の検知能力に優れているニューラルネットワークと、特定物体の検知能力はなくても何らかの物体（不明物体）の正確な空間位置の算出能力に優れている空間位置測定部とを組み合わせることで、圃場における特定物体を、機体からの距離とともに迅速かつ高精度に検出することができる農作業機が提供される。

【0009】

撮影画像から、撮影画像における特定物体を認識して当該特定物体の当該撮影画像における領域を示す物体領域情報を出力するために、本発明の好適な実施形態の１つでは、前記ニューラルネットワークは、エンコーダネットワークとデコーダネットワークとからなるセグメンテーションニューラルネットワーク（セマンティックセグメンテーション）で構成され、前記物体領域情報には、前記特定物体の輪郭が含まれている。この構成では、撮影画像が入力されると、当該撮影画像に含まれる物体を少なくとも１つ以上に分別して、その分別がわかるように識別された画像、例えば、物体の種別に応じて異なる色で表現された画像（ラベル画像）が出力される。したがって、物体領域情報から撮影画像における特定物体の輪郭を示すデータを取り出すことができる。

【0010】

セグメンテーションニューラルネットワークを、そのまま実装すると、ネットワーク構造が複雑となることから、演算処理負担が大きくなり、処理速度が低下する。ネットワークを高速化するためには、ネットワークを構成する隠れ層のユニット（パーセプトロンとも呼ばれる）数をプルーニングにより低減することが好適である。このため、本発明の好適な実施形態の１つでは、前記エンコーダネットワーク及び前記デコーダネットワークを構成する隠れ層には、畳み込み層とプーリング層とバッチ正規化層（batchNormalizationLayer）とが含まれ、前記バッチ正規化層におけるパラメータに基づいてプルーニング（Pruning）が行われる。この構成では、バッチ正規化層におけるバッチ正規化演算によって得られたパラメータに基づいて、良好な出力を行うための寄与率が小さいと判断されたユニットは、不使用にする。これにより、ネットワーク構造が簡単化され、ニューラルネットワークの処理速度が速くなる。

【0011】

特定物体までの距離は、特定物体との干渉を回避するための機体制御などに用いられるので、迅速かつ正確に算出される必要がある。また、特定物体までの距離の算出に外乱等でエラー値となった測定値が用いられることはできるだけ避けなければならない。このような観点から、本発明の好適な実施形態の１つでは、前記特定物体距離は、前記走行障害物の前記輪郭から算出される前記走行障害物の重心から前記機体までの距離、または前記輪郭内に含まれる距離測定点の統計的代表値である。重心位置は、輪郭を示す多数の距離測定点の座標（空間位置）から算出される。統計的代表値は、中間値や中央値や平均値であり、これも多数の距離測定点に基づいて算出される。このように、特定物体距離の算出に、特定物体の重心や統計的代表値を用いることで、特定物体までの距離の算出において、エラー値が大きな割合を占めることは抑制される。

【0012】

本発明の好適な実施形態の１つでは、前記空間位置測定部は、前記特定領域に対するステレオマッチング技術を用いて前記物体位置情報を生成する。この構成では、圃場の特定領域の撮影画像を用いたステレオマッチングにより、３次元点群データが生成される。点群データの各点はそれぞれ3次元位置、つまり空間位置を有するので、３次元点群データに基づいて物体位置情報が生成される。ステレオマッチングに用いられる撮影画像は、ニューラルネットワークに用いられる撮影画像を流用することも可能であるが、ステレオマッチングに適した解像度の撮影画像を得るために、好ましくは、専用のカメラによる撮影画像が用いられるとよい。もちろん、その際には、ニューラルネットワークに用いられる撮影画像の撮影視野と同じかそれより広い撮影視野をもつステレオマッチング用撮影画像が用いられる。

【0013】

種々の農作業機の中でも農作物を刈り取る収穫機が走行する圃場には、圃場面から高く生育した農作物の存在する未刈地、この農作物を刈り取った後に残された未刈地、それらの囲む畔が存在する。稲や麦などの農作物は倒伏姿勢となっている区域もあり、その高さは場所によって変動する。さらに、既刈地と未刈地の領域は、刈取り作業の進行に伴って変動する。人や動物などの特定物体の検出において、既刈地と未刈地の区別、未刈地に生育している農作物の高さを検出しておくことは、重要である。このことから、前記農作業機が農作物を刈り取る収穫部を有する収穫機である場合での、本発明の好適な実施形態の１つでは、前記既刈地は前記収穫部によって前記農作物が刈り取られた領域であり、前記未刈地は前記収穫部によって前記農作物が刈り取られる前の領域である。この圃場刈取り情報を用いることで、農作物に沈み込んでいる領域で検出される特定物体や、既刈地である圃場面の上方の領域で検出されている特定物体は誤検出とみなすことが可能であり、それらの領域をマスキングすることができる。また、畔より遠く離れた領域で検出された物体は、走行障害物にはならないので、そのような領域もマスキングすることが可能である。これにより、人や動物などの走行障害物を迅速かつ正確に検出して、機体がそれらと干渉することを回避することができる。

【0014】

本発明の好適な実施形態の１つでは、前記機体からの位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、車速を変更する車速変更指令出力部（物体検出信号生成部の一例）とが備えられており、前記走行障害物が前記障害物警戒領域に存在する場合、前記車速変更指令出力部は前記特定物体距離に基づいて車速を変更する。この構成によれば、検出された特定物体、つまり走行障害物が障害物警戒領域に存在するとみなされると、当該走行障害物と機体との位置関係に応じて車速が変更される。したがって、機体と走行障害物との位置関係から所定時間内での干渉可能性が大きい場合と、干渉可能性が小さい場合とによって車速の変更度合を相違させることができる。その際、例えば、機体と走行障害物との位置関係から相対的に短い時間内での干渉可能性が大きい場合での車速の変更は、車速ゼロへの変更、つまり機体を停止にさせることになる。これにより、機体と走行障害物との位置関係から相対的に短い時間内での干渉可能性が小さい場合でも、機体を停止させ、作業性を低下させるようなことは、低減される。

【図面の簡単な説明】

【0015】

【図1】コンバインの全体側面図である。

【図2】機体前部に装備されたカメラによる特定物体検出範囲を示す模式図である。

【図3】セグメンテーションニューラルネットワークの構造を示す模式図である。

【図4】特定物体の検出および特定物体の空間位置を求める処理の模式的な流れ図である。

【図5】図４による流れ図の別形態を示す流れ図である。

【図6】検出された走行障害物の警戒判定に用いられる第１警戒領域と第２警戒領域とを示す平面図である。

【図7】コンバインにおける制御系の機能ブロック図である。

【図8】走行障害物回避制御の流れを示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明に係る農作業機の一例である収穫機としてのコンバインの実施形態を図面に基づいて説明する。収穫対象となる農作物は、小麦や稲などの植立穀稈である。この実施形態で、機体１の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図１に符号（Ｆ）で示す方向が機体前側、図１に符号（Ｂ）で示す方向が機体後側である。機体１の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。「上側（上方）」または「下側（下方）」は、機体１の鉛直方向（垂直方向）での位置関係であり、地上高さにおける関係を示す。

【0017】

図１に示すように、コンバインは、左右一対のクローラ走行装置１０を備えた機体１の前部に横軸芯周りで昇降操作自在に収穫部である刈取部２が連結されている。左右それぞれのクローラ走行装置１０の速度差によって、機体１は左右旋回可能となる。機体１の後部には、機体横幅方向に並ぶ状態で脱穀装置１１と、穀粒を貯留する穀粒タンク１２とが備えられている。機体１の前部右側箇所に搭乗運転部１４が備えられ、この搭乗運転部１４の下方に図示されていないエンジンが備えられている。

【0018】

図１に示すように、脱穀装置１１は、刈取部２で刈り取られて後方に搬送されてきた刈取穀稈を内部に受け入れて、穀稈の株元をフィードチェーン１１１と挟持レール１１２とによって挟持して搬送しながら穂先側を扱胴１１３にて脱穀処理する。そして、扱胴１１３の下方に備えられた選別部にて脱穀処理物に対する穀粒選別処理が実行され、そこで選別された穀粒が穀粒タンク１２へ搬送され、貯留される。また、詳述はしないが、穀粒タンク１２にて貯留される穀粒を外部に排出する穀粒排出装置１３が備えられている。

【0019】

刈取部２には、引起された植立穀稈の株元を切断するバリカン型の切断装置２２、穀稈搬送装置２３等が備えられている。穀稈搬送装置２３は、株元が切断された縦姿勢の刈取穀稈を徐々に横倒れ姿勢に変更させながら、フィードチェーン１１１の始端部に向けて搬送する。

【0020】

搭乗運転部１４の天井部には、衛星測位モジュール８０も設けられている。衛星測位モジュール８０には、ＧＮＳＳ（global navigation satellite system）信号（ＧＰＳ信号を含む）を受信するための衛星用アンテナが含まれている。衛星測位モジュール８０による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサからなる慣性航法ユニットを衛星測位モジュール８０に組み込んでもよい。もちろん、慣性航法ユニットは別の場所に配置できる。コンバインの前部には、障害物検出のために用いられる光学センサユニット９が設けられている。この光学センサユニット９には、ＲＧＢカメラである撮影ユニット９Ａと、深度計測が可能なステレオビジョンカメラ９Ｂと、照明器９Ｃが含まれている。

【0021】

図２に示すように、光学センサユニット９の各カメラは、圃場における機体１の進行方向前方の特定領域を撮影視野とするように設定されている。この実施形態では、ステレオビジョンカメラ９Ｂの水平視野角、垂直視野角、斜め視野角は、それぞれ、１００°、７０°、１００°程度である。

【0022】

図３に示すように、撮影ユニット９Ａから出力される撮影画像は、ニューラルネットワーク４の入力データとして用いられる。ニューラルネットワーク４は、撮影画像を入力して、この撮影画像に写っている特定物体を認識し、当該特定物体の撮影画像において占める領域を示す物体領域情報を出力する。

【0023】

この実施形態では、ニューラルネットワーク４は、エンコーダネットワーク４Ａとデコーダネットワーク４Ｂとからなるセグメンテーションニューラルネットワークとして構成されている。エンコーダネットワーク４Ａは入力層４１と複数の隠れ層４２とからなり、デコーダネットワーク４Ｂは複数の隠れ層４２と出力層４３とからなる。隠れ層４２は、畳み込み層とプーリング層を含んでいる。セグメンテーションタイプのニューラルネットワーク４から出力される出力データは、入力された撮影画像に対するラベル画像であり、その各画素には、検出された（分別された）特定物体を識別するラベルが割り当てられている。なお、図３では、ラベルとして濃淡色が用いられており、濃淡色によって特定物体としての植立穀稈（未刈地）と刈り跡（既刈地）とが区分けされている。

【0024】

さらに、この実施形態では、ニューラルネットワーク４を高速化するために、隠れ層４２には、バッチ正規化層（batchNormalizationLayer）４４が介在しており、バッチ正規化層４４におけるパラメータに基づいてプルーニング（Pruning）が行われる。このプルーニングでは、以下に説明するように、バッチ正規化層４４におけるパラメータに基づいて隠れ層４２のユニット数が削減される。

【0025】

ここでのプルーニングの説明にあたって、バッチ正規化層への入力ベクトルを、

【数1】

とし、
出力を、

【数2】

とすると、

【数3】

となる。
ここで用いられたγがユニット削減のパラメータとして用いられる。つまり、学習処理において、パラメータ：γが小さいユニットが削除される。

【0026】

光学センサユニット９の撮影ユニット９Ａからの撮影画像、及び、ステレオビジョンカメラ９Ｂからのステレオビジョン画像を用いて、特定物体の検出および特定物体の空間位置を求める処理の模式的な流れ図が、図４に示されている。

【0027】

まず、一方では、撮影ユニット９Ａからの撮影画像が、学習済のニューラルネットワーク４に入力されると、撮影画像に特定物体が存在しているどうかが推定され、特定物体が推定されると、推定された特定物体が占める領域を示す物体領域情報が出力される（＃ａ）。図４では、物体領域情報は、人と植立穀稈（未刈地）と刈り跡（既刈地）と畔とが区分けされたラベル画像として示されている。検出された人が占める領域である人の輪郭は、このラベル画像から求めることができる。

【0028】

他方では、ステレオビジョンカメラ９Ｂからのステレオビジョン画像に基づいて、空間位置測定部５２が、ステレオマッチング技術を用いて、特定領域に存在する物体全ての空間位置（多数の距離測定点からなる深度データ群である）を示す物体位置情報を生成する。物体位置情報は、図４では、各画素の深度を濃淡色で表した、深度画像と呼ばれる画像として出力される（＃ｂ）。各画素は、ステレオマッチング点に対応しており、これらの点群は、三次元座標値を有するので、３次元点群データと呼ばれ、３次元座標空間（特定領域）に展開可能である。

【0029】

次に、ニューラルネットワーク４から出力された物体領域情報と、空間位置測定部５２から出力された物体位置情報とに基づいて、機体１から走行障害物となる人や動物（図４では人）までの距離である特定物体距離が距離算出部５３によって算出される（＃ｃ）。なお、この実施形態では、特定物体距離は、検出された人の輪郭に含まれる多数の距離測定点を用いて算出される人の輪郭の重心（図４ではＰ１で示されている）から機体１までの距離である。特定物体距離の基準点として、輪郭の重心に代えて、輪郭に含まれる多数の距離測定点の統計的代表値（中間値や中央値や平均値など）を用いてもよい。

【0030】

以上の図４の説明では、物体位置情報がそのまま距離算出部５３に与えられ、特定物体距離の算出に用いられている。別実施形態として、この図４に示す方法に代えて、図５に示されているような方法を採用してもよい。図５に示された方法では、圃場情報作成部５４は、物体位置情報から圃場面を１つの基準面（底面）とする３次元座標系で展開された３次元点群データを作成する（＃ｃ１）。さらに、圃場情報作成部５４は、３次元点群データと物体領域情報とから、畔、植立穀稈、刈り跡、既刈地と未刈地との境界を含む圃場刈取り情報を作成する（＃ｃ２と＃ｃ３）。距離算出部５３は、物体位置情報と物体領域情報と圃場刈取り情報とに基づいて、走行障害物である特定物体を決定し、この決定された特定物体の重心（図５ではＰ１で示されている）と機体１との距離を特定物体距離として算出する（＃ｃ）。

【0031】

検出された走行障害物が機体１と干渉する可能性がある場合、走行障害物との干渉回避の制御が行われる。このために用いる障害物警戒領域は、図６に示すように、機体１の進行方向前方に広がる圃場面に対応する基準面（ＸＹ平面）上に規定される。ここでは、障害物警戒領域は、機体１との位置関係が異なる第１警戒領域（図６では濃く塗りつぶされ、符号Ｚ１が付与されている）と第２警戒領域（図６では薄く塗りつぶされ、符号Ｚ２が付与されている）とからなる。

【0032】

第１警戒領域は、刈取部２の作業幅と、機体１から機体１の進行方向前方への警戒距離（図６では符号Ｌ１で示されている）とによって規定される長方形から、撮影ユニット９Ａ及びステレオビジョンカメラ９Ｂのカメラ画角によって決まる死角領域を切り取った先端楔状の領域である。言い換えると、第１警戒領域は、実質的にコンバインの走行軌跡幅である刈取部２の左右幅の一辺とし、機体１から進行方向前方への所定距離（警戒距離）を他辺とする長方形から、カメラ画角によって決まる死角領域を切り取った形状である。この第１警戒領域に存在する走行障害物は、コンバインの進行によりコンバインと接触することになる。したがって、その警戒距離は、コンバインの車速に応じて変更されるのが好ましいが、この実施形態では、作業走行速度が実質的に一定であるので、数ｍに設定されている。

【0033】

第２警戒領域は、機体１の進行方向前方へ広がった平面における、カメラ画角によって決まる死角領域を切り取った先端楔状の領域から、第１警戒領域を切り取った形状である。コンバインの左右方向に関して、第１警戒領域の３倍程度の幅を有し、機体１の進行方向前方に関して、第１警戒領域の２倍弱の長さ（図６では符号Ｌ２で示されている）を有する。第２警戒領域の左右方向広がりは、コンバインの旋回を考慮して設定され、第２警戒領域の進行方向の広がりは、機体１と走行障害物との干渉までに時間的に余裕が、第１警戒領域より大きくなるように設定されている。

【0034】

図７には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のＥＣＵと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載ＬＡＮなどの配線網から構成されている。報知デバイス８４は、運転者や圃場周辺にいる管理者等に走行障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。検出された走行障害物が第１警戒領域に存在している場合には、切迫した状態を示すような警告音や警告光や警告メッセージが緊急警戒報知として報知され、第１警戒領域に存在している場合には、緊急警戒報知よりは穏やかな注意音や注意光や注意メッセージが注意報知として報知される。

【0035】

通信部８５は、外部の通信機器との間でデータ交換するために用いられる。制御ユニット６は、この制御系の中核要素であり、複数のＥＣＵの集合体として示されている。衛星測位モジュール８０からの測位データ、および、光学センサユニット９からの画像データは、配線網を通じて制御ユニット６に入力される。

【0036】

制御ユニット６は、入出力インタフェースとして、出力処理部６Ｂと入力処理部６Ａとを備えている。出力処理部６Ｂは、車両走行機器群７Ａおよび作業装置機器群７Ｂと接続している。車両走行機器群７Ａには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群７Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における動力制御機器などが含まれている。

【0037】

入力処理部６Ａには、走行系検出センサ群８Ａや作業系検出センサ群８Ｂなどが接続されている。走行系検出センサ群８Ａには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群８Ｂには、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。

【0038】

制御ユニット６には、作業走行制御モジュール６０、障害物検出ユニット５０、車速変更指令出力部６５、機体位置算出部６６、報知部６７が制御機能部として備えられている。なお、これらの制御機能部は、それぞれ別体で構成され、車載ＬＡＮ等で接続される。

【0039】

報知部６７は、制御ユニット６の各機能部からの要求に基づいて報知データを生成し、報知デバイス８４に与える。機体位置算出部６６は、衛星測位モジュール８０から逐次送られてくる測位データに基づいて、機体１の地図座標（または圃場座標）である機体位置を算出する。

【0040】

この実施形態のコンバインは自動走行（自動操舵）と手動走行（手動操舵）の両方で走行可能である。作業走行制御モジュール６０には、走行制御部６１と作業制御部６２とに加えて、作業走行指令部６３および走行経路設定部６４が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ（非図示）が搭乗運転部１４内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。

【0041】

走行制御部６１は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群７Ａに走行制御信号を与える。作業制御部６２は、刈取部２、脱穀装置１１、穀粒排出装置１３、穀稈搬送装置２３などの動きを制御するために、作業装置機器群７Ｂに作業制御信号を与える。

【0042】

走行経路設定部６４は、自動走行のための走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。

【0043】

作業走行指令部６３は、自動走行指令として、自動操舵指令および車速指令を生成して、走行制御部６１に与える。自動操舵指令は、走行経路設定部６４によって走行経路と、機体位置算出部６６によって算出された自機位置との間の方位ずれおよび位置ずれを解消するように生成される。自動走行時には、車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時には、車速指令は、手動車速操作に基づいて生成される。但し、走行障害物検出などの緊急事態が発生した場合は、強制的な停止を含む車速変更や、エンジン停止などが自動的に行われる。

【0044】

自動走行モードが選択されている場合、作業走行指令部６３によって与えられる自動走行指令に基づいて、走行制御部６１は、操舵に関する車両走行機器群７Ａや車速に関する車両走行機器群７Ａを制御する。手動走行モードが選択されている場合、運転者による操作に基づいて、走行制御部６１が制御信号を生成し、車両走行機器群７Ａを制御する。

【0045】

障害物検出ユニット５０は、図４または図５を用いて説明した物体検出処理を行う。このため、障害物検出ユニット５０には、ＡＩ部５１、空間位置測定部５２、距離算出部５３、圃場情報作成部５４、物体検出信号生成部５５、警戒領域設定部５６が含まれている。障害物検出ユニット５０を構成する上記の構成要素は、主に説明目的で分けられており、当該構成要素の統合や、当該構成要素の分割は、自由に行われてよい。

【0046】

ＡＩ部５１は、図３で説明したセグメンテーションニューラルネットワーク４の学習済モデルが実装されており、図４または図５で説明したような原理で走行障害物の検出（特定物体検出）を行う。

【0047】

空間位置測定部５２、距離算出部５３、圃場情報作成部５４は、図４と図５とを用いて説明した機能を有する。警戒領域設定部５６は、機体１に対する位置に基づいて規定される障害物警戒領域を設定する。この実施形態では、障害物警戒領域は、図６を用いて述べたように、第１警戒領域と第２警戒領域とに区分けられている。

【0048】

距離算出部５３は、ＡＩ部５１や空間位置測定部５２などと連係することにより、検出された走行障害物の位置、特に機体１からの走行障害物までの距離（特定物体距離）を算出する。物体検出信号生成部５５は、機体１からの走行障害物までの距離に基づいて、検出される走行障害物が第１警戒領域と第２警戒領域とのどちらに存在するものであるかを判定し、警戒領域別の物体検出信号を生成する。この物体検出信号には、報知部６７に与える走行障害物報知信号と、車速変更指令出力部６５に与える障害物走行信号とが含まれ、さらに障害物走行信号には、走行障害物が存在する警戒領域別の信号が含まれる。

【0049】

車速変更指令出力部６５は、受け取った障害物走行信号から、走行障害物が第１警戒領域に存在する場合には、車速変更値を含む第１車速変更指令を作業走行指令部６３に出力し、走行障害物が第２警戒領域に存在する場合には、車速変更値を含む第２車速変更指令を作業走行指令部６３に出力する。第１車速変更指令は、車速をゼロにする指令、つまり機体１を停止する命令である。もちろん、第１車速変更指令は、車速をゼロに近い値にする指令、あるいは、段階的に車速をゼロにする指令であってもよい。第２車速変更指令は、車速を微速、例えば時速１ｋｍ程度に減速する減速値である。第２車速変更指令として、直前の車速の数分の１に減速するといった、直前車速に対する割合で決められた減速値であってもよい。いずれにせよ、第１車速変更指令による第１車速変更値は、第２車速変更指令による第２車速変更値より大きく、緊急避難のための指令となっている。車速変更指令出力部６５から与えられた車速変更指令に基づいて、作業走行指令部６３は、走行制御部６１に制御指令を与えて、機体１を緊急的に減速させる。走行障害物の存在が第１警戒領域から第２警戒領域に移行すれば、停止していた機体１は、第２車速変更指令で規定されている微速で前進する。さらには、走行障害物が警戒領域で、検出されなくなれば、通常の作業車速での走行に戻る。

【0050】

次に、上述した制御系における、走行障害物検出時の車速減速の制御ルーチンの一例が図８に示されている。この制御ルーチンがスタートすれば、フラグや変数のリセットなどの初期設定が行われる（＃０１）。警戒領域の設定、つまり第１警戒領域と第２警戒領域が設定される（＃０２）。第１警戒領域が、車速によって変更される場合には、現在車速が取得され、その車速に基づいて、第１警戒領域が設定される。

【0051】

光学センサユニット９から画像データ（撮影画像）が取り込まれる（＃０３）。取り込まれた画像データを用いて、障害物検出ユニット５０による特定物体検出処理（走行障害物検出処理）が行われる（＃０４）。

【0052】

走行障害物が検出されているかどうかの判定が行われ、走行障害物が検出されていると（＃０５Ｙｅｓ分岐）、障害物警戒領域における走行障害物の位置が算出される（＃１１）。

【0053】

走行障害物が第１警戒領域に入っているかどうかチェックされる（＃１２）。走行障害物が第１警戒領域に入っていれば（＃１２Ｙｅｓ分岐）、車速変更指令出力部６５が第１車速変更指令として、停止指令を作業走行指令部６３に与える（＃１３）。さらに停止フラグをＯＮにする（＃１４）。なお、ステップ＃１４において、減速フラグがＯＮであるときは（第２警戒領域から第１境界領域に走行障害物が移動したときは）、減速フラグをＯＦＦにして停止フラグをＯＮにする。これにより機体１は停止し、制御はステップ＃０２に戻る。

【0054】

ステップ＃１２のチェックで走行障害物が第１警戒領域に入っていない場合（＃１２Ｎｏ分岐）、さらに、第２警戒領域に入っているかどうかチェックされる（＃２０）。走行障害物が第２警戒領域に入っていれば（＃２０Ｙｅｓ分岐）、車速変更指令出力部６５が第２車速変更指令として、減速指令を作業走行指令部６３に与える（＃２１）。さらに減速フラグをＯＮにする（＃２２）。なお、ステップ＃２２において、停止フラグがＯＮであるときは（第１警戒領域から第２境界領域に走行障害物が移動したときは）、停止フラグをＯＦＦにして減速フラグをＯＮにする。これにより機体１は微速走行し（時速１ｋｍ程度）、制御はステップ＃０２に戻る。

【0055】

ステップ＃２０のチェックで走行障害物が第２警戒領域に入っていない場合（＃２０Ｎｏ分岐）、警戒領域には走行障害物が存在しないことになる。このように警戒領域には走行障害物が存在しない場合、あるいは、そもそも走行障害物が検出されなかった場合（＃０８Ｎｏ分岐）、停止フラグの状態と減速フラグとの状態がチェックされ、その状態に応じたフラグ内容の書き換えが行われる。具体的には、その際に、停止フラグがＯＮであれば（＃３０Ｙｅｓ分岐）、停止フラグはＯＦＦに書き換えられ（＃３１）、さらに、走行指令が有効となり、機体１は通常走行を行う（＃３２）。次いで、制御はステップ＃０２に戻る。その際に、停止フラグがＯＮでなければ（＃３０Ｎｏ分岐）、減速フラグの内容がチェックされる（＃４０）。減速フラグがＯＮであれば（＃４０Ｙｅｓ分岐）、減速フラグはＯＦＦに書き換えられる（＃４１）、さらに、走行指令が有効となり、機体１は通常走行を行う（＃４２）。通常走行とは、走行障害物等が検出されていない際の作業走行であり、その車速は、走行障害物が第２警戒領域に存在している際の車速より、速い速度である。次いで、制御はステップ＃０２に戻る。減速フラグがＯＦＦであれば（＃４０Ｎｏ分岐）、もちろん走行指令は有効であり、通常走行が行われる（＃４３）。そして、制御はステップ＃０２に戻る。

【0056】

このような走行障害物検出と車速変更との制御により、例えば、機体１の進行方向前方の警戒領域に圃場作業者が進入すると、機体１は停止または減速し、警戒領域から圃場作業者が出ていくと、コンバインは、再び通常の車速での作業走行に復帰する。

【0057】

この走行障害物検出に基づく車速減速の制御は、コンバインが自動走行であっても、手動走行であっても、実行させることが可能である。

【0058】

上述した実施形態では、第１警戒領域と第２警戒領域とを設定し、走行障害物がそれぞれの警戒領域に存在した場合、機体１の停止、または通常走行より遅い車速への変更が行われた。これに代えて、警戒領域を３つ以上設け、それぞれの領域に応じて、機体１を停止または微速への変更が行われてもよい。さらには、警戒領域を無段階に設定し、機体１と走行障害物との距離に応じて、機体１の停止、あるいは通常走行より遅い車速への無段階の変更が行われてもよい。

【0059】

なお、上記実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

【産業上の利用可能性】

【0060】

本発明は、圃場で作業走行を行う、収穫機、田植機、トタクタなどの農作業機に適用される。

【符号の説明】

【0061】

１ ：機体
２ ：刈取部
４ ：セグメンテーションニューラルネットワーク（ニューラルネットワーク）
４Ａ ：エンコーダネットワーク
４Ｂ ：デコーダネットワーク
４１ ：入力層
４２ ：隠れ層
４３ ：出力層
４４ ：バッチ正規化層
５０ ：障害物検出ユニット
５１ ：ＡＩ部
５２ ：空間位置測定部
５３ ：距離算出部
５４ ：圃場情報作成部
５５ ：物体検出信号生成部
５６ ：警戒領域設定部
６ ：制御ユニット
６１ ：走行制御部
６３ ：作業走行指令部
６５ ：車速変更指令出力部
６７ ：報知部
９ ：光学センサユニット
９Ａ ：撮影ユニット
９Ｂ ：ステレオビジョンカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】