特開 2024-78006 収穫作業車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078006

(43)【公開日】2024-06-10

(54)【発明の名称】収穫作業車両

(51)【国際特許分類】

   A01B 69/00 20060101AFI20240603BHJP

   G06V 10/56 20220101ALI20240603BHJP

   A01D 41/127 20060101ALI20240603BHJP

【ＦＩ】

A01B69/00 303C

G06V10/56

A01D41/127 130

A01D41/127 140

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022190296

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000000125

【氏名又は名称】井関農機株式会社

(72)【発明者】

【氏名】西野 栄治

(72)【発明者】

【氏名】武井 祐

(72)【発明者】

【氏名】稲垣 成祥

(72)【発明者】

【氏名】玉田 晋太郎

(72)【発明者】

【氏名】小佐野 光

(72)【発明者】

【氏名】景浦 宏一

(72)【発明者】

【氏名】弓達 武志

(72)【発明者】

【氏名】後田 達哉

(72)【発明者】

【氏名】楫野 豊

(72)【発明者】

【氏名】町田 章紘

(72)【発明者】

【氏名】三宅 浩喜

(72)【発明者】

【氏名】鈴木 大翔

(72)【発明者】

【氏名】相原 研人

【テーマコード（参考）】

2B043

2B396

5L096

【Ｆターム（参考）】

2B043AA04

2B043AB15

2B043BA09

2B043BB14

2B043EA23

2B043EA33

2B043EB08

2B043EB18

2B043EB23

2B043EB28

2B043EC02

2B043ED12

2B396JA04

2B396JC06

2B396JE01

2B396QA02

2B396QA29

2B396QC05

2B396QG01

2B396QG05

2B396QG06

2B396RA03

2B396RA25

5L096AA02

5L096BA08

5L096GA40

5L096JA11

(57)【要約】

【課題】収穫作業車両において、圃場における収穫作物の倒伏状態を早期に検出し、収穫物の品質の良いものを区別して収穫することは困難であった。
【解決手段】
収穫車両に撮像装置を設け、画像処理を行い、登録データと比較する等の人工知能による分析で周り刈りの段階で圃場の状態を分析し、作業経路を変更し、収穫物を区分して収穫することで対応する。
【選択図】図３

【特許請求の範囲】

【請求項1】

圃場の外周部の刈取時に作物重量と水分を計測し、作業車両の方向変換位置を圃場の角部とし、登録してある圃場マップデータに、未収穫領域と未収穫領域の推定作物重量と水分データを圃場マップデータに追加し、自動走行データの基準とする収穫作業車両。

【請求項2】

圃場の外周部の刈取時に作業車両に装備した撮像装置で、所定間隔ごとに圃場を撮影し、撮像装置の撮像画像を状態変更システムにて緑系と茶系の領域の並びに算出し、あらかじめ登録された緑系と茶系の領域の並びデータと比較し、作物の倒伏状態を判断し、圃場マップデータに情報追加し、未収穫領域内の倒伏状態をマピングするシステムを備えた請求項１の収穫作業車両。

【請求項3】

撮像装置の撮像範囲を超えて、撮像することができない領域において、撮像できた領域の画像を上空から見たＲＧＢ画像グラデーションに状態変更し、
このグラデーションの並びを利用して同比率で未撮像領域にあたる推定画像を作成するが、推定画像に相当する実撮像ができた場合に、推定画像と実撮像された画像を比較し、ＲＧＢ画像の差異を補正する補正係数を算出し、
この補正係数を基準に撮像された画像データより、未撮像領域の推定画像データを作成する機能を有した請求項１または２の収穫作業車両。

【請求項4】

作業車両の作業進行に伴い撮像装置で追加される実撮像データ及び、推定画像データより、状態変更システム内で、前回までのデータに画像を重ね合わせ、重ね合わせ部位のドットデータを画像精度の高い側に重みをつけて合成を行い、未収穫領域の領域別の倒伏度合い、単位面積の重量、水分値を推定判断する請求項1、または２の収穫作業車両。

【請求項5】

撮像装置から画像のＲＧＢ画像分析を行い、画像の緑系と茶系の並びより、作物の倒伏領域、倒伏度合、品質を判定し、登録データと比較演算することで、走行部や作業部の制御を行う請求項１または２の収穫作業車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置と衛星測位システムを配備し、自動走行を可能とした収穫作業車両における圃場作物の分析と圃場マップに関する。

【背景技術】

【0002】

撮像装置を備え、作物の倒伏状態を検出する機能を有した収穫作業車両がある。
（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－２４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、作物の高さを基準として、同じ高さで広がる領域の広さで、倒伏する作物状態を検出する技術がある。

【0005】

しかし撮像装置において、２０ｍを超える範囲を作業車両より撮像した場合、広範囲の作物の高さの検出は可能であるが、撮像角度より、部分的な倒伏領域は検出できない場合や、雑草等のノイズにより誤検出する可能がある。

【0006】

本発明においては、撮像データから色合いを分析し、色合いの並びを基準データと比較する人工知能判断させることで倒伏の判断の精度を上げるものである。作業初期の周り狩り時に倒伏度合いを推定し作業行程を決定することや、撮像不可能な領域の推定判断や、作業進行に伴う追加データ対応により圃場の状態をより正確に計測することを課題とする。

【課題を解決するための手段】

【0007】

第一の発明は、次の技術手段により解決される。

【0008】

圃場の外周部の刈取時に作物重量と水分を計測し、作業車両の方向変換位置を圃場の角部とし、登録してある圃場マップデータに、未収穫領域と未収穫領域の推定作物重量と水分データを圃場マップデータに追加し、自動走行データの基準とする。

【0009】

第二の発明は、次の技術手段により解決される。

【0010】

圃場の外周部の刈取時に作業車両に装備した撮像装置で、所定間隔ごとに圃場を撮影し、撮像装置の撮像画像を状態変更システムにて緑系と茶系の領域の並びに算出し、あらかじめ登録された緑系と茶系の領域の並びデータと比較し、作物の倒伏状態を判断し、圃場マップデータに情報追加し、未収穫領域内の倒伏状態をマピングするシステムを備える。

【0011】

第三の発明は、次の技術手段により解決される。

【0012】

撮像装置の撮像範囲を超えて、撮像することができない領域において、撮像できた領域の画像を上空から見たＲＧＢ画像グラデーションに状態変更し、このグラデーションの並びを利用して同比率で未撮像領域にあたる推定画像を作成するが、推定画像に相当する実撮像ができた場合に、推定画像と実撮像された画像を比較し、ＲＧＢ画像の差異を補正する補正係数を算出し、この補正係数を基準に撮像された画像データより、未撮像領域の推定画像データを作成する機能を有する。

【0013】

第四の発明は、次の技術手段により解決される。

【0014】

作業車両の作業進行に伴い撮像装置で追加される実撮像データ及び、推定画像データより、状態変更システム内で、前回までのデータに画像を重ね合わせ、重ね合わせ部位のドットデータを画像精度の高い側に重みをつけて合成を行い、未収穫領域の領域別の倒伏度合い、単位面積の重量、水分値を推定判断する。

【0015】

第五の発明は、次の技術手段により解決される。

【0016】

撮像装置から画像のＲＧＢ画像分析を行い、画像の緑系と茶系の並びより、作物の倒伏領域、倒伏度合、品質を判定し、登録データと比較演算することで、走行部や作業部の制御を行う。

【発明の効果】

【0017】

第一の発明と第二の発明により、作業初期の周り狩り時に倒伏度合いを推定し作業行程を決定することで、品質の良い作物を区分して収穫する作業行程、作業経路を作成しやすくなる。

【0018】

第三の発明と第四の発明と第五の発明により、撮像不可能な領域の推定判断や、作業進行に伴う追加データ対応により圃場の状態をより正確に、より早く計測することで、収穫経路を修正しながら、品質の良い作物を取り出すことが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態における、収獲作業車両の外観図

【図2】本発明の収穫作業車両の圃場マップと情報画面図

【図3】本発明の収穫作業機の圃場マップ利用による作業フロー図

【図4】本発明の撮像装置の画像データの状態変更のブロック図

【図5】本発明の撮像装置の撮像データの合成による状態変更のブロック図

【図6】本発明の倒伏した作物の画像図

【図7】本発明の倒伏した作物のＲＧＢカラーモデルで分析し、ドット画像に変換した画像図

【図8】本発明の倒伏した作物のドット画像を平均化し線形処理した画像

【図9】本発明の倒伏していない作物の画像図

【図10】本発明の倒伏していない作物のＲＧＢカラーモデルで分析し、ドット画像に変換した画像図

【図11】本発明の倒伏していない作物のドット画像を平均化し線形処理した画像

【図12】本発明のニューラルネットワークを利用した人工知能による判断で、撮像装置のデータを状態変更していく様子を示す図

【図13】本発明の未撮像領域を、撮像された画像から作成していく模式図

【図14】本発明の未撮像領域を、過去の画像データから作成していく模式図

【図15】本発明の圃場マップで、作物の倒伏状態をポリゴン状で示した図

【発明を実施するための形態】

【0020】

以下、図面に示す実施例に基づき本発明を説明する。

【0021】

図１～図１５に示す収獲作業車両は、本実施形態の一例を示すものである。

【0022】

本発明の収獲作業車両について説明する。

【0023】

図１において、本発明の実施の形態の収穫作業車両の一例としてのコンバイン１は、車体２を有する。車体２の下部には、左右一対の走行装置１１を有する。実施の形態の走行装置１１は、一例として、無限軌道のいわゆるクローラーにより構成されている。車体の右前方には、作業者が搭乗可能な搭乗部１２が設置されている。車体の前部には、圃場の作物を収穫する収穫装置１３が配置されている。収穫装置１３の後方には、収穫された穀粒を搬送する搬送装置１４が配置されている。搬送装置１４の後方には、搬送装置１４で搬送された穀粒を脱穀する脱穀装置１６が配置されている。脱穀装置１６の右方には、脱穀装置１６で処理された穀粒が収容されるグレンタンク１７が配置されている。グレンタンク１７の後部には、グレンタンク１７から圃場外のトラックのコンテナに穀粒を排出する排出装置１８が接続されている。車体の後部には、藁を排出する藁排出装置１９が配置されている。

【0024】

実施の形態のコンバイン１には、現在位置計測部の一例として衛星測位システムが装備されている。衛星測位システムの受信機４１が搭乗部１２の上面に設置されている。国内においては、衛星測位システムの全地球航法衛星システム版をＧＮＳＳと呼称するため、以降、ＧＮＳＳと表記する。

【0025】

受信機４１は、ＧＮＳＳ用の人工衛星からの信号を受信して、コンバイン１の現在位置を計測可能である。したがって、実施の形態のコンバイン１は、ＧＮＳＳを使用して自律走行（自動走行、無人走行）も可能であるし、搭乗部１２に作業者が搭乗して操作に応じて走行する（手動走行、有人走行）も可能である。なお、自律走行時に、コンバイン１との間で無線通信が可能な端末を操作する作業者は、コンバイン１の外部（圃場外または圃場内）にいることも可能であるし、端末を携帯したまま搭乗部１２に搭乗することも可能である。

【0026】

実施の形態のコンバイン１には、慣性計測装置（ＩＭＵ）が配備されている。このＩＭＵ２２は、３軸のジャイロと３方向の加速度計によって、３次元の角速度と加速度を算出することで、機体の進行方向や傾きを導くことが可能であり、前述の衛星測位システムの補正に利用することで、自車位置をより正確に測定することができる。

【0027】

実施の形態のコンバイン１では、車体２の前部と左右両側に、作物検出手段の一例としての障害物センサ３１、３２，３３が設置されている。障害物センサ３１～３３は、車体２の前方や左右両側の作物や障害物を検出可能である。なお、作物検出手段の一例として障害物センサを例示したが、これに限定されず、カメラ等の撮像装置を使用することも可能である。

【0028】

実施の形態のコンバイン１には、撮像装置２１が配備されており、３６０度の全方位の画像を撮像することが可能である。撮像装置２１は、ＬＩＤＡＲを配備している。ＬＩＤＡＲでは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザー照射に対する散乱光を測定し物体の形状や性質を分析することが可能である。また物体までの距離を測定することを可能とし、遠距離から近距離までの距離測定や物体の移動速度も計測可能である。したがって物体が人物、その他の動物や固定物の判別も可能とする。また撮像装置２１は、ミリ波レーダーを用いることも可能である。早朝での作業時で朝霧のある状態での対応や急激な気象変化、逆光、コンバインの車体の陰になる場合でも対象物を可能とする特徴がある。さらにはＣＣＤカメラなどで被写体からの光線をレンズなどの光学方式を電気信号に変換する装置でも良い。このような、いずれかのセンサ、または組み合わせにより、物体の形状、色、動き、距離を計測できる撮像装置２１が配備されている。

【0029】

本発明の背景を説明する。

【0030】

収獲作業車両が有人運転の場合は、人の目視や経験値から、圃場における作物の倒伏度合を推定判断する。これによって作業行程を変更する場合がある。

【0031】

例えば、圃場の中央部あたりの倒伏が大きく全体の圃場の領域から倒伏の領域を判断し、収穫できる量的なものを推定し、倒伏した領域を主体として区分けする場合に、どのように刈取する行程を立てるのが良いかを判断する。従来どおりの周り刈りで進めるか、倒伏領域の近傍で中割をかけて、倒伏領域をまとめ刈りするかといった判断である。

【0032】

しかし無人運転をするロボット収獲車両では、この判断ができないため、圃場すべてを１種類のものとして区別することなく作業を行う。そのため倒伏によって品質の悪い作物を混ぜ合わせることになってしまう。

【0033】

本発明では、周り刈りの状態で、圃場にある作物の倒伏状態を早期に算出することで、その後の運搬車両、乾燥調製施設での乾燥機区分等も考慮して、刈取の作業行程を組むことができる。また作業進行により、順次精度を上げることで、より品質の良い作物を区分して収穫できるようになり、無人運転でありながらも、人の判断も加味した収穫作業を行うことができる。

【0034】

本発明の未収穫領域と未収穫領域の推定作物重量と水分データを圃場マップデータに追加する第一の発明の内容について説明する。

【0035】

収穫作業車両には、あらかじめ該当する圃場のマップが登録されている。この圃場マップのデータは、作業車両の端末やクラウド上に保管する場合もある。また圃場マップデータは、圃場の外周位置を緯度経度で登録されており、ＧＮＳＳとＩＭＵのデータをもとに、作業車両がマップ上のどの位置にあるかを表示することができる。

【0036】

一般的な収穫作業車両では、圃場の外周を刈取する行程をはじめに行う。本発明の作業車両は無人運転を可能とするロボット作業車両であるが、作業行程においては同様な行程をはじめに行う。この作業は自動運転を可能とするため、障害物が多く存在する圃場の外周の刈取作業をリモート運転や有人運転を行い、安全的な基本行路を決定することや、旋回位置と旋回領域を記憶登録させることで、無人運転の場合の経路を決定することに利用する。その他の効果では、未収獲領域を明確に示すことを外周部の刈取行程を利用して行う。外周部で囲い込むことにより、その領域が決定される。通常は囲い込みの内側を未収獲領域とするが、内外を切り換えることも可能である。

【0037】

収獲作業機のグレーンタンクの重量計と水分計が装備されており、外周部の刈取時の穀物の重量が検出できる。作業車両の走行速度や走行距離が計測されており、作業車両の刈り幅から刈取した面積を算出することが可能である。そのため外周部の刈取の単位面積あたりの重量を換算することが可能である。このように外周部の刈取から外周部の作物重量、単位面積の重量、外周部の各ポイントの水分と平均水分が算出することができ、未収獲領域の推定作物重量や、未収獲領域の各ポイントでの水分や水分偏差も推測することが可能となる。

【0038】

外周部の刈取時に作物重量と水分を計測することで、外周部を刈取した段階で未収穫部の重量と水分を圃場マップデータとして登録することで、クラウド上にもデータが上がり、乾燥調製施設においては、未収獲領域の作物の重量や水分より、刈取後に張込を行う乾燥機の選択をすることが事前にできるようになる。例えば未収獲の領域の重量が3トンあると推定され、水分が２３％以上の領域と２０％以下の領域があり、それぞれが２トンと１トンの割合であると推定されると、３０石の乾燥機にまとめて張り込んで乾燥するよりも、２０石と１０石の乾燥機が、1台ずつ空きがあるならば、この割合で配分できるように刈取を行えば、乾燥機の燃料コストの低減と、品質も区分けで対応することも可能となる。

【0039】

また作業車両の方向変換位置を角部として登録することで、自動走行時の旋回のポイント基準になり、その内側で旋回することで畦を走行部で破損させることの防止、畦ぎわの障害物の回避、圃場全体の旋回方向と水分測定ポイントの決定にも利用できる。特に最初から中割り刈りで外周部を登録させたい場合では、方向変換位置を角部として登録することで有効に設定できる。

【0040】

図２では、収穫作業車両の圃場マップと情報画面図を示している。これから作業する圃場を選択する。４２では携帯端末を操作する図で表示しているが、作業車両に装備しているディスプレーの画面でも同様な操作は可能である。本発明は無人走行車両を基準としているため携帯端末で説明を行う。

【0041】

４２は外周部の刈取が終了した時点の圃場の画像である。撮像装置での画像取得や未収獲部の画像や情報データの算出等は、後述でしめすが、周り刈りの終了時点で圃場の画像データや情報データは、推測演算を含めてすべて揃うシステムである。

【0042】

４２の画像は、図１５に記載するように、圃場全体における倒伏領域を表示する。この倒伏領域はポリゴン状のドットで表示され、倒伏度合で色を変えて表示する。例えばユーザーが倒伏領域の位置を指でタッチすると、この領域に該当する情報が読み出される方式である。つまり外周部の刈取りをした時点で、種々の情報を位置情報にからめて登録するという作業を行っている。４３は倒伏した領域の実撮像した時の画像である。この画像を見てユーザーは圃場の状態を確認することができる。作業中は高速で作業するため、十分に確認できてない領域もあり、撮像データは有効な情報となる。作業車両は、撮像装置で順次撮像して走行位置と画像データを分析することで、上空から見た圃場マップを作成していくことになる。

【0043】

４４は圃場の情報をから演算した内容である。倒伏した度合を算出することが可能であり、例えば弱、中、強の３段階として圃場全体における領域から倒伏割合を演算して表示する。この情報は該当するエリアが紐づけられ、エリア番号を選択すると該当する領域の詳細データが表示されるようになる。

【0044】

４５は全体的な圃場の情報を表示する。外周部の刈取りをした時の情報から単位面積あたりの重量を表示する。また平均的な水分値も演算して表示する。未収獲の面積を推定し、周り刈りの情報から未収獲部の推定重量を算出する。この情報が外周部の刈取りをした時点でわかるため、後の作物の搬送やポストハーベスト機器の準備等で有用な情報となる。

【0045】

４６はこれから作業するための設定画面である。本発明は撮像装置にて倒伏対応する内容であるため、これに関連する設定で説明するが付随する設定項目は多数ある。倒伏部の対応、刈取行程の変更、中割刈取り、未収獲領域の画像作成をどう対応するかを設定できるようにする。

【0046】

図３にて、未収穫領域と未収穫領域の推定作物重量と水分データを圃場マップデータに追加する一連の作業について説明する。

【0047】

この内容は、本発明の作物の倒伏状態を判断し、圃場マップデータに情報追加し、未収穫領域内の倒伏状態をマピングするシステムを説明するものである。

【0048】

収獲作業車両では、圃場の作物の刈取は、周り刈りの実施Ｓ３－１から開始するのが望ましい。前述の圃場の角部の対応により、圃場マップの領域区分が成立され、未収獲領域の判別ができる状態となる。ここはユーザーが設定することも可能であるが、圃場マップには圃場の中心を登録してある場合が多いため、Ｓ３－２の行程は自動判別することができる。Ｓ３－３の判定を受けた場合は、自動走行作業では困難な状態であり、ユーザーによる判断が必要である。逆に圃場マップの中心位置を登録したデータと比較することは、現在の作業機の位置に対して、未作業位置がどちらにあるか判断し、即時に自動走行に入ることも可能となる。

【0049】

圃場角部の読み出しＳ３－４にて、未収獲領域面積算出Ｓ３－７が可能となる。周り刈りの重量Ｓ３－５と、周り刈りの水分算出と、前述のコンバインの走行性能から単位面積の収穫量の算出Ｓ３－８を行う。これにより未収獲領域の重量演算Ｓ３－９を行うことができ、推定重量によるポストハーベスト対応が可能である。

【0050】

未収獲領域には、作物が倒伏している部分もあり、この部分を倒伏区別対応するＳ３－１０収穫を選択した場合は、その対応作業として収納タンクの適正区分演算Ｓ３－１１を行う。この作業は、未収穫部を収穫する場合、これを分けて収穫するが倒伏部の推定容量と収納タンクの大きさから走行経路の算出Ｓ３－１１を行うための基礎データとなる。

【0051】

一方、この未収獲領域から圃場マップデータを作成する行程がある。圃場マップには基本的には圃場の外周部の緯度経度と中心部の緯度経度が登録されている。ここにデータを追加することで圃場マップデータを構築していく。

【0052】

周り刈りの撮像開始Ｓ３－１７になると、圃場マップには撮影した位置に合わせて撮像データを登録して関連つけを行う。衛星測位システムと照合し、第一マッピングとして、圃場データマップにポリゴンデータとして登録する。

【0053】

図１５では未収獲部において、倒伏部と検出された部位を表示した画面の一例をしめしている。圃場の状態を知りたければ、画面上で知りたい位置をタッチすれば、画像上の各領域ごとに関連づけ登録されたデータが読み出せるようになっている。データ取得した時刻に、作物の画像、水分、気温、地温、天候、画像判断からの倒伏度合や稲穂の実り具合等が読み出せる。また全体画像として圃場全体における倒伏の割合、圃場全体の水分分布、水分偏差が表示される。

【0054】

この圃場の倒伏状態は、後述に記載の画像処理で倒伏度合を判断することができる。簡単な区分では、倒伏度合を３段階に分け、軽倒伏、中倒伏、強倒伏とする。これは倒伏した茎の角度や稲穂の圃場からの高さで演算して区分する手法を用いる。

【0055】

図３の説明に戻るが、倒伏部の検出Ｓ３－１８でデータを作成することで倒伏された位置、領域が推定判明される。外周の周り刈りのみでは内部の領域までは不明な点もあるが、そこにおいては後に記載する本発明の画像処理対応で推測し、第一マップ、生育の登録Ｓ３－１９として圃場マップデータとして追加登録される。

【0056】

また収納タンクの適正区分演算Ｓ３－１１より、通常の手順で刈取した場合の経路となる第二マップ、収量の登録Ｓ３－１２のデータが追加される。データには圃場全体の推測重量や倒伏の度合い、倒伏の面積や比率といったようなデータが圃場マップに追加される。

【0057】

また走行経路の算出Ｓ３－１３より、実際に刈取する計画走行経路が第三マップ、走行経路の登録Ｓ３－１４として登録される。圃場マップは、第一マップ、第二マップ、第三マップの情報データを追加して第四マップ、区分登録Ｓ３－２０がなされ、この圃場マップデータはクラウド２２６に送信され、ユーザーへ情報提供される。

【0058】

ユーザーはこの圃場マップデータを確認し、走行経路や刈取区分に問題がないか登録内容の修正の確認Ｓ３－１５を行う。各マップの修正Ｓ３－１６が行われると圃場マップの作成、登録Ｓ３－２１が行われ周り刈りの作業は終了する。以後は、登録された圃場マップデータをもとに自動走行運転が開始される流れとなる。登録された圃場マップには収穫物の品質と圃場の領域を重ね合わせており、収穫完了後も画像データとして残り、来期の栽培の基礎データとしても利用できる。これを各圃場で行うことでユーザデータベースを構築していくようになる。

【0059】

図４は、撮像装置の画像の利用を示しているブロック図である。

【0060】

撮像装置では、作物の、色の分析５０と、形状の分析６０と、高さ（距離）の分析７０を行う。しかし画像には多くの情報が混在するため不要となるデータも多い。必然的にマスキング対応しなくてはならず、各分析演算では基準外を除去するマスキング量を決定している。本発明では、作物の距離の分析９０に相当する。緑系でも色合いの基準を決め、彩度や濃度の判定より作物のものか雑草かの見極めを行う。雑草はノイズとしてマスキングされる。茶系においても緑系と同じ判断をすることで、被害米、稲こうじの判定となりマスキングの対象である。マスキングは９１，９２のように長さが基準となる。

【0061】

黒系の位置９３は圃場の撮像のマスキングである。下方にある黒系は圃場を撮像していると想定し画像からマスキングすることで作物画像をより正確に分析することが可能となる。作物の倒伏を判断する場合は、拡大と広角を利用してノイズ除去を行う手法もある。本発明ではマスキング処理として不明な情報は演算に取り込まない手法であるが後述の項で説明する。

【0062】

画像データは容易に扱いにくいため領域に置き換える画像処理を行う。この領域は小型の四角形の集合で表記でき、全体として多角形（ポリゴン）で表示する。外周部はなめらかな線種ではないが、圃場の分析における解像度として耐えうる範囲の分析度合いである。

【0063】

色の分析５０では、茎を判定するための緑系のポリゴン領域と稲穂を判定するための茶系のポリゴン領域を判定する。撮像データは、緑系のポリゴン領域をドット表記できる撮像システムであり、線状の色合い分析を段階的に異なる色合いで表記することも可能である。茶系のポリゴン領域のドット表記も同様な機能を有している。

【0064】

撮像装置は同じ位置の映像であっても、拡大映像と広角映像の両方を比較することで光の加減によるノイズを除去し、緑系と茶系の並びを鮮明に捕らえる。図４の５２と５３の制御が該当する。倒伏状態の基本写像を登録しておき、この写像データとの一致度にて倒伏か否かの判定をするものである。

【0065】

形状の分析６０は、作物の形状を分析していくものである。色の分析５０では茶系と緑系の配列を主体に分析し、これにより作物の倒伏の状態は概ね判断ができるのであるが、色合いの圃場における位置関係を分析するものである。撮像装置は距離を計測できるため稲穂の位置や茎の位置を判断することが可能である。図４では撮像装置が２か所あり、図１の２１と２３である。この位置の差分より、物体の立体形状を判断するもので、稲穂位置の確認1と稲穂位置の確認２で稲穂の形状確認と圃場からの位置を分析する。同時に植物高さ１と植物高さ２で茎の形状と雑草の形状の見極めを行い、茎が圃場からどのくらいの高さまであるかを計測することができる。また茎と稲穂位置から作物がどの方向に向いているかも判別が可能である。このように複数の撮像装置を設けると、撮像の角度の違いにより物体の奥行を判断し、また光の加減のノイズも防止でき、上記の計測を容易とする。

【0066】

圃場データ８０には、刈取時の作物水分、圃場周辺の気温、圃場の地温が取り込まれ、色の分析５０、形状の分析６０のデータを総合分析して、倒伏度合判定９５、倒伏領域判定９６、穀物品位判定９７を推定算出することが可能である。

【0067】

なお撮像画像で倒伏分析の画像の状態変更の仕方は図６～図１１で、状態変更するための各センサの入力と出力の状態変更方法であるニューラルネットワークを利用した人工知能での分析方法は図１２にて説明する。

【0068】

本発明の緑系と茶系の領域の並びデータと比較し、作物の倒伏状態を判断し、圃場マップデータに情報追加し、未収穫領域内の倒伏状態をマピングするシステムについて説明する。

【0069】

圃場の外周部の刈取時に作業車両に装備した撮像装置で、所定間隔ごとに圃場を撮影するが、この撮像データを色分けでドット表示して撮像物の状態を判断する。

【0070】

図６は、撮像装置２１でとらえた稲の倒伏状態である。稲の茎の部分１０１、１０２、１０３は地面に対して横方向に傾いており、稲穂の部分１１１、１１２、１１３は地面に対して縦方向に向いている形である。同様にこの周辺の雑草１０４、１０５も稲の倒れにつられる形で横方向に倒れ込む場合も多い。

【0071】

この撮像データをＲＧＢカラーモデルで分析し、ドット画像に変換したものが、図７で示すようなものである。図面をカラー表示できないため言語によって説明するが、稲の茎の部分１０１Ａ、１０２Ａ、１０３Ａは緑色系のドットであり、地面に対して横方向に傾いており、稲穂の部分１１１Ａ、１１２Ａ、１１３Ａは茶系のドットであり、地面に対して縦方向に向いている形である。雑草１０４Ａ、１０５Ａは、緑色系のドットであり、地面に対して横方向に傾いている。

【0072】

なお茎や雑草と判断できる緑系と稲穂とされる茶系の光の波長は十分に異なり識別は容易である。また圃場の地面である黒系の識別とも差異があり、数枚の撮像データを分析することで誤認識や解析不能の現象は極めて少なくなる。

【0073】

このドット画像データを平均化し線形処理したものが、図８である。この処理を行うと、茎と稲穂の関係が明確になる。稲の茎の部分１０１Ｂ、１０２Ｂ、１０３Ｂは緑色系の線状となり、地面に対して横方向に傾いており、稲穂の部分１１１Ｂ、１１２Ｂ、１１３Ｂは茶系の線状であり、地面に対して縦方向に向いている形である。雑草１０４Ｂ、１０５Ｂは、緑色系の線状であり、地面に対して横方向に傾いている。この線状画像により、緑系と茶系の線の交差角のα１やα２が検出され、これを作物の倒伏状態の判別に利用するものである。

【0074】

図９は、撮像装置２１でとらえた稲の倒伏していない状態である。稲の茎の部分１０１Ｃ、１０３Ｃは地面に対して縦方向に伸びており、稲穂の部分１１１Ｃ、１１３Ｃも地面に対して縦方向に向いている形である。同様にこの周辺の雑草１０４Ｃも縦方向に伸びている。

【0075】

この撮像データをＲＧＢカラーモデルで分析し、ドット画像に変換したものが、図１０で示すようなものである。稲の茎の部分１０１Ｄ、１０３Ｄは緑色系のドットであり、地面に対して縦方向に伸びており、稲穂の部分１１１Ｄ、１１３Ｄは茶系のドットであり、地面に対して縦方向に向いている形である。雑草１０４Ｄは、緑色系のドットであり、地面に対して縦方向に伸びている。

【0076】

このドット画像データを平均化し線形処理したものが、図１１である。この処理を行うと、茎と稲穂の関係が明確になる。稲の茎の部分１０１Ｅ、１０３Ｅは緑色系の線状となり、地面に対して縦方向に伸びており、稲穂の部分１１１Ｅ、１１３Ｅは茶系の線状であり、地面に対して縦方向に向いている形である。雑草１０４Ｅは、緑色系の線状であり、地面に対して縦方向に伸びている。この線状画像により、緑系と茶系の線の交差角のα３やα４が検出され、これを作物の倒伏状態の判別に利用するものである。

【0077】

緑系と茶系の領域の並びデータを、線状画像に変更させ、緑系と茶系の線の交差角を検出し、交差角により倒伏の度合いを算出することが可能となることを画像の状態変更の概要で説明した。このように、画像データを要素別に分解分析し、その分析された各情報の関係を既存のデータ情報と比較することで、別の情報判断を成立させる演算を行うことで人の経験的な判断に近しい判断を実行することが可能となる。本発明の作物の倒伏状態の判断の一例として、図１２のニューラルネットワークを利用した人工知能による判断で、撮像装置のデータを状態変更する判断が有力な方策となる。

【0078】

図１２にて、本発明の撮像装置の撮像画像を状態変更システムにて緑系と茶系の領域の並びに算出し、あらかじめ登録された緑系と茶系の領域の並びデータと比較し、作物の倒伏状態を判断する第二の発明の内容について説明する。

【0079】

本実施例では、撮像装置は３台装備されている。各撮像装置は同様な機能を有しているが取り付け位置の差分を利用することで、画像の立体形状、色合い分析の精度をさらに高めるものとし、主体とする分析データを差別化し、ノイズの除去法については構造上、データ処理上の差を有することで、より撮像分析の精度を上げることができる。

【0080】

第一撮像装置２１と障害物センサ３１、３２、３３のデータは、作物の大きさ検出部２０１を主体としている。撮像装置の要素別のデータと、各障害センサからの要素別データを、その要素同士を新たに組み合わせて判断することにより、物体の大きさを判断できる情報へと状態変更していく制御を行う。第一状態変更として作物全体の高さ２０３、作物全体の幅２０４、茎部の高さ２０５、作物部（実）の位置であり本実施例では稲穂にあたるものであるが２０６へと情報内容は状態変更をおこす。

【0081】

第二撮像装置２３は、作物の色合い検出部２０２を主体としている。撮像装置の要素別のデータを新たに組み合わせて判断することにより、物体の色合いを判断できる情報へと状態変更していく制御を行う。第一状態変更として緑系の方向２０７、茶系の方向２０８、マスキング量の判定２０９、作物密度２１０へと情報内容は状態変更をおこす。

【0082】

これらの状態変更により、画像は図６が図８に、図９が図１１へと画像状態変更、決定部２１１にて対応される。

【0083】

前述で記載したように比較する基準データは、データ記憶部２１６に登録されており、２１１と２１６を比較し、近似するものを照合していく画像照合をするが、その近しい度合いかどうかも画像の状態変更の範囲内にあるかどうかを第一状態変更部の２０１、２０２で再度演算させることで、倒伏の判定２０２、倒伏領域の判定２１３、倒伏度合いの判定２１４、品質の推定２１５を導き出す。この第二状態変更は、要素データの新規組み合わせと、基準の登録データとの照合を行うという状態変更と照合、判定の組み合わせであり、いわゆる人工知能の機能によるものである。

【0084】

この機能は作業経路変更、決定部２１７にて理想的な経路を選択し、作業を行うことにより自動運転機能に反映されるものとなる。しかし自動走行する無人運転のためには、各種の設定データとの照合を行い作業経路の決定をしなければならない。

【0085】

外部データとしては、あらかじめ設定された経路設定２２８をどう改訂するかにある。外周部を刈取りした結果による圃場マップデータは、環境マップ２２７としても生かされる。この情報は通信部２２９、クラウド２２６にてユーザとも情報交換するものである。また第三撮像装置２４で、作業車両手前の圃場の状態や刈取部の状態も分析し、衛星測位装置２２のデータも加え、作業経路変更、決定部２１７を判断するものである。

【0086】

実施例の人工知能は、走行部２１８と作業部２２１を制御するまでを統括するが。２１７の作業経路を決定することで、走行速度２１９、走行方向２２０を決定し走行を開始する。また作業機としても作業高さ２２２、作業部傾き２２３、作業部回転速度２２４、収穫部制御２２５の制御も決定することで、人工知能による無人運転作業を行うことが可能となる。

【0087】

撮像装置の撮像範囲を超えて、撮像することができない領域の画像データの作成方法である第三の発明について説明する。

【0088】

図１３は、収穫作業車両２５０と撮像装置の撮影範囲３０２と圃場２４０の関係を示すものである。収穫作業車両は順次反時計回りで周り刈りをすすめるものであり、２５０⇒２５１⇒２５２⇒２５３⇒２５４⇒２５５⇒２５６⇒２５７と進む。

【0089】

撮像装置は、白抜きの円弧の範囲は確実に撮像できる範囲である。撮像する回数を増加させれば走行経路上の多くは撮像可能であるが、本発明においては、撮像された既存データを引き延ばして利用する手法を利用する。例えば撮像できた前方領域であるエリア３０１の撮像が終わると３０１の内部の上空から見た画像グラデーションを作成していく。３０１Ａ、３０１Ｂ、３０１Ｃであるが、この並びを利用して同比率で３０１Ａ、３０１Ｂ、３０１Ｃのデータを拡大して３０２のエリアを作成する。収穫作業車両は２５１⇒２５２に向かう時に、３０２のエリアを実撮像ができるため、この実撮像した画像と３０２の画像を比較できる。このデータ比較により差異を算出する。倒伏の度合いにおいては、比率の違いがあれば、その比率を演算する。この比率の移動平均値を算出し、３０２のような推定画像を補正する係数を導く。この補正係数の算出においても図１２のニューラルネットワーク機能で対応する。２１１の画像状態変更、決定部が３０２の推定画像であり、２１６のデータ記憶部が実際に撮影された映像に相当する。この第二状態変更の演算を利用して、倒伏度合の判定２１２、倒伏領域の判定２１３、倒伏度合いの判定２１４、品質の推定２１５を判定すると同時に、３０２の上空からの画像映像を修正する。

【0090】

この撮像画像に補正をかけて撮像していない領域の画像を想定作成する技術を利用して、未収獲領域の推定画像を作成するものである。図１３で説明すると、３０２の画像データより補正係数を習得し、３０３の領域の撮像データにおいても３０３Ａ、３０３Ｂ、３０３Ｃの上空の画像グラデーションを利用して３０４の画像を作成するが、補正係数を利用して画像だけではなく、倒伏度合の判定２１２、倒伏領域の判定２１３、倒伏度合いの判定２１４、品質の推定２１５のデータも補正を行う。

【0091】

この補正係数を基準に撮像された画像データより、未撮像領域の推定画像データを作成する機能で、推定するデータを順次重ね合わせることで精度を向上していくことができ、次々に変更修正した内容を登録して、この画像変更の内容や倒伏データの変更等の内容の多いものに重みをつけて繰り返し演算、修正、登録する機能、所謂学習機能を有している。

【0092】

図１２で示す第一状態変更と第二状態変更により、撮像装置や障害物センサやデータ記憶部２１６にある各データを比較、照合、除去、分析、変更することで従来人間の視覚や経験値で判断していた圃場の作物の状態を判断することとなる。

【0093】

さらに拡大機能として、走行部２１８における走行速度２１９と走行方向２２０を制御すること。作業部制御２２１にて、作業部高さ２２２、作業部傾き２２３、作業部回転速度２２４、収穫部制御２２５の出力である部分を制御する。

【0094】

従来の技術では、各撮像装置からの距離情報や画像データ、障害物センサの情報から、例えば作物の高さ等を判定し、出力として走行部制御２１８や作業部制御２２１を直接的に行う制御であるが、本発明では、これを第一状態変更、第二状態変更を行ってから、出力として走行部制御２１８や作業部制御２２１を行うために制御精度が向上するだけでなく、作物の詳細な状態を得ることで、作業をしながら作業経路を変更することができ、この変更に基づき出力制御を変更することになる。

【0095】

したがって第一状態変更、第二状態変更は、人工知能による判断でなくては分析することはできず、走行部制御２１８と作業部制御２２１も含めて、ニューラルネットワークを利用した人工知能による判断制御を生かした独自制御と考える。

【0096】

第五の発明は、前述の出力に至るまでの制御を説明するものであり、撮像装置２１から作物の大きさを検出し、撮像装置２３から作物の色合いを検出し、画像のＲＧＢ要素分析を行い、画像の緑系と茶系の並びより、作物の倒伏領域の判定２１３、倒伏度合の判定２１４、品質の推定２１５を判定し、データ登録部２１６と比較演算することで、走行部２１８や作業部２２１の制御を行う。

【0097】

前回までのデータに画像を重ね合わせ、重ね合わせ部位のドットデータを画像精度の高い側に重みをつけて合成を行い、未収穫領域の領域別の倒伏度合い、単位面積の重量、水分値を推定判断する第四の発明については、前述の項の説明に加え、図１３にて撮像データが重なりあう部位の対応について説明する。

【0098】

図１３では、３１４の領域が該当する。撮像した方向は異なるが同じ領域であり、撮像された画像は両方とも参照できるようになっている。しかし、上空からみたポリゴン状態の画像は合成する必要がある。この場合は両者の画像を足し合わせ、画像精度の高い側に重みをつけて合成を行う。図１３では、３１４の画像は、作業車両２５７が撮像装置の前方画像であり、より精度が高いため作業車両２５７の前方画像に重みをもった合成処理を行う。

【0099】

撮像装置の撮影範囲を超える場合の過去データの対応について説明する。

【0100】

実撮像した領域を利用し、推定画像データを作成し対応する。しかしその推定できる範囲をはるかに超える領域になると、信頼性も低くなるため図１４の対応を行う。手法としては、過去データを流用する手法である。昨年の圃場のデータをデータ記憶部に登録させておき、未撮像領域を過去の画像データを取組み仮に表示を行うものである。この過去の画像データには、倒伏度合い、単位面積の重量、水分値を推定判断するデータが含まれている。

【0101】

ユーザーは画像で、未撮像の領域をタッチすると推定画像データか過去画像データかを選択でき、選択した方の画像データをもとに、倒伏度合い、単位面積の重量、水分値を表示する機能があり、ユーザーはこの推定データをもとに経路を変更したり、収穫区分対応したりすることが可能となる。

【0102】

なお過去の画像データも存在しない場合は空白としてデータ表示しないか、あるいはデータ精度が低いと表示のもとで、該当領域に近いデータを利用することもできる。

【0103】

これらの撮像装置による画像データは、圃場すべてを一枚で撮影できるものではなく、画像データの組み合わせをおこなわなくてはならない。図５では標準的な画像の組み合わせを示したブロック図である。圃場は、四角形状である場合が多く、四辺、四角である。よって四角におけるデータと四辺の中央データを利用すれば、最低限の圃場撮像は可能となる。そうしてこの画像どおしを合わせる技術としては、上空からの色合いに変更する手段が簡単であり、四角と四辺の間を順番にＲＧＢのカラー分析をしながら合成していくことで、地上にある作業機に装備された撮像手段で上空からの圃場画像を作成することが可能となる。

【0104】

図５では各画像の組み合わせ手順と、最終的に圃場の倒伏面積、倒伏度合のマップを作成していく概要を記載している。

【符号の説明】

【0105】

１ コンバイン
２１ 第一撮像装置
２２ 慣性計測装置（ＩＭＵ）
２３ 第二撮像装置
２４ 第三撮像装置
３１、３２、３３ 障害物センサ
４１ 衛星測位システム受信部（ＧＮＳＳ受信部）
Ｓ３－１２ 第二マップ（収量）
Ｓ３－１４ 第三マップ（走行経路）
Ｓ３－１９ 第一マップ（生育）
Ｓ３－２０ 第四マップ（区分）
２０１ 作物の大きさ検出部
２０２ 作物の色合い検出部
２１１ 画像状態変更、決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】