(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089982
(43)【公開日】2024-07-04
(54)【発明の名称】収穫作業車両
(51)【国際特許分類】
A01D 41/12 20060101AFI20240627BHJP
A01B 69/00 20060101ALI20240627BHJP
【ＦＩ】
A01D41/12 C
A01B69/00 303Z
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022205574
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000000125
【氏名又は名称】井関農機株式会社
(72)【発明者】
【氏名】西野 栄治
(72)【発明者】
【氏名】武井 祐
(72)【発明者】
【氏名】稲垣 成祥
(72)【発明者】
【氏名】玉田 晋太郎
(72)【発明者】
【氏名】小佐野 光
(72)【発明者】
【氏名】景浦 宏一
(72)【発明者】
【氏名】弓達 武志
(72)【発明者】
【氏名】後田 達哉
(72)【発明者】
【氏名】楫野 豊
(72)【発明者】
【氏名】町田 章紘
(72)【発明者】
【氏名】三宅 浩喜
(72)【発明者】
【氏名】鈴木 大翔
(72)【発明者】
【氏名】相原 研人
【テーマコード（参考）】
2B043
2B074
【Ｆターム（参考）】
2B043AA04
2B043AB19
2B043BA05
2B043BA09
2B043BB14
2B043DC01
2B043EA19
2B043EA20
2B043EA24
2B043EA33
2B043EA37
2B043EB05
2B043EB08
2B043EB10
2B043EB15
2B043EB18
2B043EB23
2B043EB24
2B043EC14
2B043EC16
2B074AA02
2B074AB01
2B074AC02
2B074AF02
2B074BA13
2B074CE01
2B074DA01
2B074DA02
2B074DA03
2B074DA05
2B074EB15
2B074EB16
2B074FA03
2B074FA10
2B074FC02
2B074GJ05
(57)【要約】
【課題】収穫作業車両において、収獲する時の太陽光の状態により、撮像された画像の色相が正しく分析できないため、作物の状態を正しく判別できない場合がある。
【解決手段】
撮像装置を複数備え、異なる角度から撮影を行うと共に、照明装置を利用することで基準とする撮影条件にし、登録された画像データと比較することで対応する。
【選択図】図１
【解決手段】
撮像装置を複数備え、異なる角度から撮影を行うと共に、照明装置を利用することで基準とする撮影条件にし、登録された画像データと比較することで対応する。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業機を前方に備え、操作席側（１０１）と収穫した作物を搬送する経路となる作業経路側（１０２）に構成し、上下可動を可能する収穫装置（１３）の可動を妨げない上方位置の固定部位（２０）に照明装置を備え、照明の発光する方向と同方向、及び操作席側（１０１）に斜方向に撮像装置を向けた作業車両。
【請求項2】
太陽光が基準とする白色領域の色相以外である場合や、基準とする光量を満たさない場合において、撮像装置で撮影をする場合に照明装置より白色の色相の照明を点灯させ、対象物の色相判別の補正を行う請求項１の作業車両。
【請求項3】
撮像装置から発する計測用の光線が、収穫装置（１３）の全幅を検出し、距離演算において、操作席側（１０１）の物体位置が、収穫車両の進行方向に対しての距離にすべく補正演算をかける請求項１及び２の作業車両。
【請求項4】
収穫装置（１３）は作物が流れる流路（１３Ａ,１３Ｂ,１３Ｃ）と、作物が流れる流路（１３Ａ,１３Ｂ,１３Ｃ）を形成するための搬送ケース（１３Ｄ）を備え、作物が流れる流路（１３Ａ,１３Ｂ,１３Ｃ）に入り込む作物を撮像する第二撮像装置（２４）を設け、第二撮像装置（２４）は収穫装置（１３）の可動範囲の外側に設ける部材（２６）に取り付けると共に、搬送ケース（１３Ｄ）の投影領域に設ける請求項３の作業車両。
【請求項5】
作業車両に備える収穫した作物を排出する排出装置で、排出装置が伸縮、回転を行う構成にあり、先端部に第三の撮像装置を備え、収獲作業運転中に排出装置の先端部を未収獲領域の上方部まで移動させ、未収獲領域の上方からの撮像を行うと共に、排出装置の格納異常信号を検出しないことを特徴とした請求項１の作業車両。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置と衛星測位システムを配備し、自動走行を可能とした収穫作業車両に関する。
【背景技術】
【0002】
撮像装置を備え、作物の倒伏状態を検出する機能を有した収穫作業車両がある。
（特許文献１）
（特許文献１）
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１９９９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、収穫作業車両の操作席を室内とするキャビン構成のルーフ位置に撮像装置を設置する技術がある。
【0005】
しかし、キャビン構成の作業車両でない型式もあり、汎用的な取り付け位置である方が望ましい。また撮像装置を利用して、収穫対象物の色相や距離分析を高精度に撮影できる位置である必要性もある。
【0006】
本発明は、汎用性が高く、収穫対象物の色相や距離分析を高精度に撮影できる収穫作業車両を提供することを課題とする。
【課題を解決するための手段】
【0007】
第一の発明は、次の技術手段により解決される。
【0008】
作業機を前方に備え、操作席側１０１と収穫した作物を搬送する経路となる作業経路側１０２に構成し、上下可動を可能する収穫装置１３の可動を妨げない上方位置の固定部位２０に照明を備え、照明の発光する方向と同方向、及び操作席側１０１に斜方向に撮像装置を向ける。
【0009】
第二の発明は、次の技術手段により解決される。
【0010】
太陽光が基準とする白色領域の色相以外である場合や、基準とする光量を満たさない場合において、撮像装置で撮影をする場合に照明装置より白色の色相の照明を点灯させ、対象物の色相判別の補正を行う。
【0011】
第三の発明は、次の技術手段により解決される。
【0012】
撮像装置から発する計測用の光線が、収穫装置１３の全幅を検出し、距離演算において、操作席側１０１の物体位置が、収穫車両の進行方向に対しての位置にすべく補正演算をかける。
【0013】
第四の発明は、次の技術手段により解決される。
【0014】
収穫装置１３は作物が流れる流路１３Ａ,１３Ｂ,１３Ｃと、作物が流れる流路１３Ａ,１３Ｂ,１３Ｃを形成するための搬送ケース１３Ｄを備え、作物が流れる流路１３Ａ,１３Ｂ,１３Ｃに入り込む作物を撮像する第二撮像装置２４を設け、第二撮像装置２４は収穫装置１３の可動範囲の外側に設ける部材２６に取り付けると共に、搬送ケース１３Ｄの投影領域に設ける。
【0015】
第五の発明は、次の技術手段により解決される。
【0016】
作業車両に備える収穫した作物を排出する排出装置で、排出装置が伸縮、回転を行う構成にあり、先端部に第三の撮像装置を備え、収獲作業運転中に排出装置の先端部を未収獲領域の上方部まで移動させ、未収獲領域の上方からの撮像を行うと共に、排出装置の格納異常信号を検出しない。
【発明の効果】
【0017】
第一の発明と第二の発明により、前方に収穫装置を備えるキャビンを装着していない作業車両においても、収穫装置の上下可動に関係なく撮像することが可能である。複数の撮像装置と照明を利用することで、太陽光の状態に影響されることなく、撮像対象の奥行寸法と色相を計測し、稲の倒伏方向や、稲穂の被害状況も判断することが可能となる。
【0018】
第三の発明により、運転席側の撮像対象までの距離を正確に算出できる。
【0019】
第四の発明により、作業装置に搬入されてくる収穫物の状態を観察でき、作業制御や異常判断を行うことができる。
【0020】
第五の発明より、未収穫部を上方から撮像した画像を取得することが可能となる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施形態における、収獲作業車両の正面図
【図2】本発明の実施形態における、収獲作業車両の左側面図
【図3】本発明の実施形態における、収獲作業車両の左前方からの斜視図
【図4】本発明のニューラルネットワークを利用した人工知能による判断で、撮像装置のデータを状態変更していく様子を示す図
【図5】本発明の実施形態における、作業装置、撮像装置、照明装置周辺図
【図6】本発明の排出装置に撮像装置を配置した作業車両の斜視図
【図7】本発明の排出装置の撮像装置を配置して未収獲領域を撮像している上方図
【図8】本発明の別実施形態における分草杆と稲の位置関係
【図9】本発明の別実施形態における第三撮像装置を配置した図
【図10】本発明の実施形態におけるバッテリの配置図
【発明を実施するための形態】
【0022】
以下、図面に示す実施例に基づき本発明を説明する。
【0023】
【0024】
本発明の収獲作業車両について説明する。
【0025】
図２において、本発明の実施の形態の収穫作業車両の一例としてのコンバイン１は、車体２を有する。図１及び図２の車体２の下部には、左右一対の走行装置１１を有する。実施の形態の走行装置１１は、一例として、無限軌道のいわゆるクローラにより構成されている。車体の右前方には、作業者が搭乗可能な搭乗部１２が設置されている。車体の前部には、圃場の作物を収穫する収穫装置１３が配置されている。収穫装置１３の後方には、収穫された穀粒を搬送する搬送装置１４が配置されている。搬送装置１４の後方には、搬送装置１４で搬送された穀粒を脱穀する脱穀装置１６が配置されている。脱穀装置１６の右方には、脱穀装置１６で処理された穀粒が収容されるグレンタンク１７が配置されている。グレンタンク１７の後部には、グレンタンク１７から圃場外のトラックのコンテナに穀粒を排出する排出装置１８が接続されている。車体の後部には、藁を排出する藁排出装置１９が配置されている。
【0026】
実施の形態のコンバイン１には、現在位置計測部の一例として衛星測位システムが装備されている。図１及び図２及び図３に示すように衛星測位システムの受信機４１が搭乗部１２の上面に設置されている。国内においては、衛星測位システムの全地球航法衛星システム版をＧＮＳＳと呼称するため、以降、ＧＮＳＳと表記する。
【0027】
受信機４１は、ＧＮＳＳ用の人工衛星からの信号を受信して、コンバイン１の現在位置を計測可能である。したがって、実施の形態のコンバイン１は、ＧＮＳＳを使用して自律走行（自動走行、無人走行）も可能であるし、搭乗部１２に作業者が搭乗して操作に応じて走行する（手動走行、有人走行）も可能である。なお、自律走行時に、コンバイン１との間で無線通信が可能な端末を操作する作業者は、コンバイン１の外部（圃場外または圃場内）にいることも可能であるし、端末を携帯したまま搭乗部１２に搭乗することも可能である。
【0028】
実施の形態のコンバイン１には、慣性計測装置（ＩＭＵ）が配備されている。このＩＭＵ２２は、３軸のジャイロと３方向の加速度計によって、３次元の角速度と加速度を算出することで、機体の進行方向や傾きを導くことが可能であり、前述の衛星測位システムの補正に利用することで、自車位置をより正確に測定することができる。
【0029】
実施の形態のコンバイン１では、車体２の前部と左右両側に、作物検出手段の一例としての障害物センサ３１、３２，３３が設置されている。障害物センサ３１～３３は、車体２の前方や左右両側の作物や障害物を検出可能である。なお、作物検出手段の一例として障害物センサを例示したが、これに限定されず、カメラ等の撮像装置を使用することも可能である。
【0030】
実施の形態のコンバイン１には、撮像装置２１と２３が配備されており、撮像装置２１は前方からコンバイン１の右側面の撮像することが可能である。撮像装置２３は前方からコンバイン１の左側面を撮像することが可能である。
【0031】
撮像装置２１、２３は、ＬＩＤＡＲを配備している。ＬＩＤＡＲは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザー照射に対する散乱光を測定し物体の形状や性質を分析することが可能である。また物体までの距離を測定することを可能とし、遠距離から近距離までの距離測定や物体の移動速度も計測可能である。したがって物体が人物、その他の動物や固定物の判別も可能とする。また撮像装置２１、２３は、ミリ波レーダーを用いることも可能である。早朝での作業時で朝霧のある状態での対応や急激な気象変化、逆光、コンバインの車体の陰になる場合でも対象物を可能とする特徴がある。さらにはＣＣＤカメラなどで被写体からの光線をレンズなどの光学方式を電気信号に変換する装置でも良い。このような、いずれかのセンサ、または組み合わせにより、物体の形状、色、動き、距離を計測できる撮像装置２１、２３が配備されている。
【0032】
本発明の背景を説明する。
【0033】
収獲作業車両が有人運転の場合は、人の目視や経験値から、圃場における作物の倒伏度合を推定判断する。これによって作業行程を変更する場合がある。
【0034】
例えば、圃場の中央部あたりの倒伏が大きく全体の圃場の領域から倒伏の領域を判断し、収穫できる量的なものを推定し、倒伏した領域を主体として区分けする場合に、どのように刈取する行程を立てるのが良いかを判断する。従来どおりの周り刈りで進めるか、倒伏領域の近傍で中割をかけて、倒伏領域をまとめ刈りするかといった判断である。
【0035】
しかし無人運転をするロボット収獲車両では、この判断ができないため、圃場すべてを１種類のものとして区別することなく作業を行う。そのため倒伏によって品質の悪い作物を混ぜ合わせることになってしまう。
【0036】
本発明では、ロボット収獲車両を主体とした構成で、操作席が不要となる場合もある。また撮影精度をより向上させる撮像装置の配置が必要でもある。撮像の色相は、太陽光の関係より、絶対的な色相の判断ではなく、その時点の太陽光の関係から相対的に判断する必要があり、本発明では、照明装置も含めた撮像装置の構成により、解決していくものである。
【0037】
本収穫作業車両の無人走行に利用される環境マップについて概要を説明する。
【0038】
収穫作業車両には、あらかじめ該当する圃場のマップが登録されている。この圃場マップのデータは、図４に示すように環境マップとして、作業車両の端末やクラウド上に保管する場合もある。また環境マップデータは、圃場の外周位置を緯度経度で登録されており、ＧＮＳＳとＩＭＵのデータをもとに、作業車両がマップ上のどの位置にあるかを表示することができる。
【0039】
一般的な収穫作業車両では、圃場の外周を刈取する行程をはじめに行う。本発明の作業車両は無人運転を可能とするロボット作業車両であるが、作業行程においては同様な行程をはじめに行う。この外周を刈取する行程は自動運転を可能とするため、障害物が多く存在する圃場の外周の刈取作業をリモート運転や有人運転を行い、安全的な基本行路を決定することや、旋回位置と旋回領域を記憶登録させることで、無人運転の場合の経路を決定することに利用する。その他の効果では、未収獲領域を明確に示すことを外周部の刈取行程を利用して行う。外周部で囲い込むことにより、その領域が決定される。通常は囲い込みの内側を未収獲領域とするが、内外を切り換えることも可能である。
【0040】
収獲作業機のグレンタンクには重量計と水分計が装備されており、外周部の刈取時の穀物の重量がと水分が検出できる。作業車両の走行速度や走行距離が計測されており、作業車両の刈り幅から刈取した面積を算出することが可能である。そのため外周部の刈取の単位面積あたりの重量を換算することが可能である。このように外周部の刈取から外周部の作物重量、単位面積の重量、外周部の各ポイントの水分と平均水分が算出することができ、未収獲領域の推定作物重量や、未収獲領域の各ポイントでの水分や水分偏差も推測することが可能となる。
【0041】
本発明の作業機を前方に備え、操作席側１０１と収穫した作物を搬送する経路となる作業経路側１０２に構成し、上下可動を可能する収穫装置１３の可動を妨げない上方位置の固定部位２０に照明を備え、照明の発光する方向と同方向、及び操作席側１０１に斜方向に撮像装置を向ける収穫作業車両の説明をする。
【0042】
照明を必要とする理由を説明する。
【0043】
収獲作業車両は、早朝から夕方まで利用するが、この間の時間帯では太陽光の傾き変化による大気との関係により、太陽光の色相が変化する。
【0044】
例えば、日中においては青系統が強まり、朝方と夕方では青色系が弱まり、赤系統が強く見えるようになる。この太陽光の色相の変化は、圃場における作物を撮像した色相においても変化をおこす。
【0045】
稲の茎や葉にあたる部位は、日中では鮮やかな緑色であっても、夕方では薄黒い青に近い色に見える。また稲穂の部位は日中では茶系の色であっても、夕方では太陽光の色相のまま、オレンジ色に近い色相に変化していく。
【0046】
撮像装置において、色の波長で絶対値を決めていると、この太陽光の色相の変化により誤認識してしまう可能性が高い。したがって色相の基本識別値を変更する必要がある。
【0047】
色相識別の対応方法としては、圃場のある地区の期日と時刻によって、基本となる色相基準を変更させることで対応ができる。
【0048】
この制御方法は、季節によってＲＧＢの基本色に補正をかけフィルタの色合いも変更することで、稲の茎と雑草の識別、稲穂と圃場の差異を各確認判断する制御である。
【0049】
この期日と時刻による対応は、太陽光の光量にも対応することが可能となる。色相と同様に日中の光量は多く、撮像装置も照明がなくても色は鮮明に判別できる。しかし早朝や夕方では太陽の傾斜が大きく、大気に遮られるばかりか、それぞれの土地の条件によって山や建造物等の陰になり、十分な光量を得られないため、光量不足によって色相を誤認識する。この光量の違いについても、圃場のある地区の期日と時刻によって基準値を変更させることで対応することが可能である。取り込まれた画像において、色相の基準値を圃場のある地区の期日と時刻によって補正することで、基準とする色相との違いを分析する。これは画像を、電子データ的に補正をかける対応で行う。しかし画像の補正の度合いによっては誤認識もありうるので、撮像装置が一定の安定した環境で撮影されることが望ましい。
【0050】
この対応の手段として、撮像装置の撮影する方向と同方向に向けられた照明装置が利用できる。光量が減少した朝夕の時刻では、白色から青色系の強い照明を当てることで、日中の太陽光に近い状態を作り出すことで、色相の基準値を変更することなく対応ができる。
【0051】
特に撮像装置の撮影する方向と同方向に照明装置の発光を行うように、撮像装置と照明装置を配備することで、対象物の影のできる方向を一定にすることができる。そのため日中の太陽の傾きがある場合の陰の位置を推定演算して判断することで、圃場における撮像のノイズ除去を確実に行える。
【0052】
本発明においては、撮像装置は走行方向に向く２１Ｌ、２１Ｒと、この撮像方向を異なる方向に設置した撮像装置２３Ｌ、２３Ｒを配備している。これは中心とする撮像装置２１Ｌ、２１Ｒの画像に対して、異なる角度で撮影するものであるが、光の当たり具合が異なる映像であるため、比較することで物体の奥行や形状を判別でき、また色相のノイズも除去が可能である。光を直接的に受けた面は、白色系の色飛びもおこるため、撮像の角度を変更することで対応する。
【0053】
本発明では、照明装置２５Ｌと２５Ｒの中で、それぞれの照明装置の両端部に撮像装置を設けている。外端にあたる２１Ｌ、２１Ｒは走行方向に向かい、内端にある２３Ｌ、２３Ｒは、撮像装置が配置されている１０２の範囲と反対側に当たる 運転席側１０１に傾斜して取り付けられている。
【0054】
一体化した照明と撮像装置では、照明の両端部は光力が弱く中央部は高いため、この配置にすることで、撮像装置の画像のハレーションを防止しながらも、照明の方向と撮像の方向を決められた関係に保つことが可能となる。一体化しない構成では照明装置の取り付け方向を確認しながら、撮像装置の取り付け方向を合わさなくてはならず関係を同一に保つことは困難である。
【0055】
図４は、前記の撮像装置の画像の利用を示しているブロック図である。
【0056】
撮像装置では、作物の形状検出部６０の情報の一つとして作物全体の高さ７０や作物全体の幅８０の測定を行う。ここでの作物全体とは稲の一株に相当するものであり、この分析により茎部の高さ７１、作物部（実）の位置７２も判断できる。
【0057】
また作物の色相検出部５０では、緑系の方向９０、茶系の方向９１を検出する。しかし画像には多くの情報が混在するため不要となるデータも多い。必然的にマスキング対応しなくてはならず、各分析演算では基準外を除去するマスキング量を決定している。本発明では、マスキング量判定９２に相当する。緑系でも色相の基準を決め、彩度や濃度の判定より作物のものか雑草かの見極めを行う。雑草はノイズとしてマスキングされる。茶系においても緑系と同じ判断をすることで、被害米、稲こうじの判定となりマスキングの対象である。黒系の位置は圃場の撮像のマスキングである。下方にある黒系は圃場を撮像していると想定し画像からマスキングすることで作物画像をより正確に分析することが可能となる。作物の倒伏を判断する場合は、拡大と広角を利用してノイズ除去を行う手法もある。
【0058】
また前述記載のように、太陽光の状態により色相の変化があるため、茶系の黒味度合９３、緑系の黒味度合９４を中心に補正判定基準を行う。
【0059】
このような画像の判断においては、多くの情報から正しい情報を取得することと、正しい情報を組み合わせ新たな情報を作り出す演算、また画像データを要素別に分解分析し、その分析された各情報の関係を既存のデータ情報と比較することで、別の情報判断を成立させる演算を行うことで人の経験的な判断に近しい判断を実行することが可能となる。本発明の作物の倒伏状態の判断の一例として、図４のニューラルネットワークを利用した人工知能による判断で、撮像装置のデータを状態変更する判断が有力な方策となる。
【0060】
撮像装置を作業車両の走行方向に対して、傾斜させた取り付けを行った場合の距離の補正について説明する。
【0061】
実施形態の撮像装置は、ＬＩＤＡＲであり、画像の形状認識や画像の動き度合、距離関係を計測することが可能である。本発明においては、図３で示すように撮像装置が収穫した作物を搬送する経路となる作業経路側１０２に設置しており、走行方向に向く２１Ｌ、２１Ｒと、操作席側１０１の範囲へ向く撮像装置２３Ｌ、２３Ｒを配備している。
【0062】
撮像装置２３Ｌと２３Ｒの取り付け角度は図５に示すように左右方向のみならず、上下方向にも異なっており、この左右上下の角度差を利用して、撮像物の画像のノイズ対応を行う。また分草杆１２０、１２１、１２２、１２３、１２４，１２５、１２６により、撮像画像に影が発生し、作業装置に入ってくる作物の状態が撮像しにくくなるが、撮像装置の取り付け角度の違いを利用して補正画像を作成することで、収穫物のつまりや作業装置での負荷具合も判定することが可能である。
【0063】
距離計測値においては撮像装置からの距離であるため、操作席側１０１の範囲へ向く撮像装置２３Ｌ、２３Ｒの距離計測は、作業車両の走行方向に対しては斜方向に向けられているため、操作席側１０１側からの物体計測とは異なる。これを作業車両の走行方向に対して、同方向での距離を算出すべく、撮像装置からの距離を補正する演算を行う。
【0064】
太陽光が基準とする白色領域の色相以外である場合や、基準とする光量を満たさない場合において、撮像装置で撮影をする場合に撮像装置より白色の色相の照明を点灯させ、対象物の色相判別の補正を行うについて説明する。
【0065】
前述のように、太陽光は朝夕では光量も低下し、色相も赤系統に変化していく。その対応をその地区の期日と日時により照明を点灯する内容を説明したが、太陽光が基準とする白色領域の色相以外であると判断して照明を点灯させることも可能である。
【0066】
例えば、撮像装置が撮影する範囲内に基準色を判定するサンプル撮像部を備える。このサンプル撮像部は白色の塗装板等が理想的である。白色は色相の変化に敏感に判定できる基準となる。この白色の塗装板の色相の変化や反射量を算出して、基準とする色相以外である場合や、基準とする光量を満たさない場合は照明装置を点灯させる。
【0067】
色相においては、ＲＧＢカラートライアングルが利用できるが、ＲＧＢの中央色は白色であり、色相に偏りが発生すると赤、緑、青への色相を強める。画像分析の演算回路では、白色の塗装板の色相の変化を画像上で読み取る対応を行う。演算回路には、あらかじめ基準とする白色領域を設定しておき、この領域をこえて色相に変化があった場合、太陽光の基準がいずれかの色相に偏ったと判断する。この色相の偏りが検出された場合に照明を点灯することで対応する。この照明の色相においては、白色の色相に相当する照明であり、太陽光の色相の偏りを白色色相の照明を点灯させることで、基準環境に戻す対応を行う。
【0068】
また照明装置の光量も経年変化や気象状態の変化に対応しきれない場合もあり、照明装置から発光される光の色相、明度、輝度を測定することで、基準色である白色との差異量を明確にすることで、演算回路で色相の補正対応することもできる。
【0069】
補正制御の演算では、赤、緑、青の各色相を段階的に区分する基準をつくり、色相ごとに色の明度と輝度を登録しておく。この基準と比較することで、色相のずれを算出する。この色相のずれ量が対象物の色相の変化となるため、この色相ずれを補正して対象物の色相を判別する。
【0070】
また別形態の実施例として、太陽光の波長を計測することで補正することも可能である。直接的に太陽光の波長を計測する装置を設け、その波長によって対象物の色合いの補正を行うことで補正対応する。
【0071】
撮像装置から発する計測用の光線が、収穫装置１３の全幅を検出し、距離演算において、操作席側１０１の物体位置が、収穫車両の進行方向に対しての位置にすべく補正演算をかける内容について説明する。
【0072】
本発明の収穫作業車両の構成では、収獲装置１３が車体の全幅にあるが、作物の処理機能としては、機体の半分は収穫された作物から必要部位を取るための仕組みとなっている。図３の１０１の範囲に相当する。また片側は、作業車両の操作部と収穫された作物を一時保管する領域が必要である。図３の１０２の範囲に相当する。実施形態のコンバインで説明をすれば、片側は穀粒を脱穀する装置、もう片側は操作部とグレンタンクの配置となる。操作席においてはリモートコントロールでき、圃場内では不要構成であるが、圃場間の移動、納屋からの移動、トラック等への積み込み等では人による手動運転も必要であり、構成上、配備する必用がある。
【0073】
またキャビン仕様はすべてではないため、撮像装置はそれ以外の部位に装着する構成となるため、車体の中心位置からずれた位置に配備する。この構成を取ると撮像装置がLIDARで距離を計測する役目を担う場合は、撮像装置の取り付けと反対側の距離は作業車両の進行方向に対して傾きを持ち、距離としては進行方向上の距離に対して長く計測してしまう結果となる。
【0074】
この問題の対応として、収穫装置の全幅を検出し、この幅の角部の位置が収穫車両の前後方向における距離を算出する。この正弦の関係を利用して、対象物までの実質の距離、走行方向の距離を算出して走行制御を行うものである。余弦の角度においては、撮像装置であるLIDARの対象物体までの距離から算出する。
【0075】
収穫装置１３は作物が流れる流路１３Ａ,１３Ｂ,１３Ｃと、作物が流れる流路１３Ａ,１３Ｂ,１３Ｃを形成するための搬送ケース１３Ｄを備え、作物が流れる流路１３Ａ,１３Ｂ,１３Ｃに入り込む作物を撮像する第二撮像装置２４を設け、第二撮像装置２４は収穫装置１３の可動範囲の外側に設ける部材２６に取り付けると共に、搬送ケース１３Ｄの投影領域に設けるについて説明する。
【0076】
収獲装置１３は、収穫物の無い領域では、装置全体を上方に持ち上げてから作業車両を旋回させる。上下可動するため、第二撮像装置２４を上下可動する収獲装置１３に設置すると、同時に動くため収獲装置１３に入り込む穀物の状態と圃場の関係を撮像することができない。本提案においては、穀杆に流れ込む状態を撮像することで、つまりがないかを確認するためのものである。したがって圃場の位置を基準で固定し、収獲装置１３が上がる時に確実に収穫作物の搬入が切れることを確認する。この切れが確認できることで、収獲装置１３におけるつまりを防止できる。
【0077】
この撮像装置１３を作業車両の固定部に連結する部材２６は、収穫装置１３の可動範囲の外側に設けてあることで、収獲装置１３が可動しても干渉することはない。また作物が流れ込む流路１３Ａ、１３Ｂ、１３Ｃを外し、搬送ケース１３Ｄのある領域に配備したことで、収穫物の流れ込みが、第二撮像装置２４に干渉することもなく、映像を確実に行えることと、装置の破損防止対応も可能である。
【0078】
また収獲装置１３は、横面から見ると後方に向けて傾斜している。図２のポイントＡからポイントＢまでの間で第二撮像装置２４を配置することは、収獲装置１３の後方傾斜を有効利用できるものであり、収獲装置１３の動きに干渉することのない構成である。
【0079】
さらに固定部に連結する部材２６は、収獲装置を取り囲むようにループとなっているが、このループした位置を撮像装置が移動することが可能である。この移動により、搬送ケース１３Ｄだけでなく、その他の部位へ移動して撮像も可能である。
【0080】
固定部に連結する部材２６は、収穫物が稲の場合であると、稲わらの抑え込みにも利用できる。
【0081】
固定部に連結する部材２６は、作業車両本体との固定位置を外し、収獲装置に仮止めすることができる。この場合、収獲装置を取り外す場合、固定部に連結する部材２６は収獲装置に仮止めで外すことが可能であり、メンテナンス作業の場合の対応が可能である。
【0082】
撮像装置と車速の関係について説明する。
【0083】
収穫部を撮像する撮像装置において、収穫物が入り込む速度と車速の関係の基準データを作成しておく、現在運転において、作業速度に対して、収穫物の入る速度が早い場合は、車速を落とす制御を行う。
【0084】
図４において、撮像装置の画像より作物の流れ込み７３の情報を得る。その他の情報を得て、画像の状態変更、決定部８０を行う。作業車両のデータ記憶部８１には、撮像装置の基本となるデータが登録されており、このデータと比較することで穀杆撮像データ８２にて倒伏の判定、倒伏領域の判定、倒伏度合の判定、品質の判定も行う。またクラウド８５にて過去のデータや周辺地区の圃場データ、一般的な環境マップの情報も得ることや、第二撮像装置２４の画像を分析した結果より、作業経路変更、決定部８３にて作業車両の作業状態の制御の基礎情報と作業経路が決定される。
【0085】
前述のような作業速度に対して、収穫物の入る速度が早い場合は、車速を落とす制御の決定もここで行われる。この制御は、走行部制御として走行速度８６、走行方向８７に反映される。同様に作業部制御８８も行われ、作業高さ、作業部の傾き、作業部の回転速度、収穫部制御を行うことで対応する。
【0086】
この一連の人工知能を利用した制御によって、収穫物が入り込む速度と車速の関係の基準データを作成は、各撮像装置の画像から、収穫物の移動状態を分析し、各穀杆の流れも検出し、連続する直進作業中に、流れ込む速度差が瞬間的に低下した場合、倒伏している可能性があると判断もできる。
【0087】
また倒伏ではなく、流れ不良がおこる要因としては、雑草等が多量に流れ込む場合であるが、本発明では、撮像装置が複数配備されており、作業車両に対して、左右上下で差異を持たせている。この差異によって稲穂位置を確認し、その稲穂位置から近傍は、稲の茎であり、稲穂が近傍にない緑系を草と判断することができる。よって草が多量に入った場合は、脱穀部以降での処理も負荷がかかると想定し、車両の走行速度を低下させる制御を行う。
【0088】
作業車両に備える排出装置１８で、排出装置が伸縮、回転を行う構成にあり、先端部に第三撮像装置１３０を備え、収獲作業運転中に先端部を未収獲領域の上方部まで移動させ上方からの撮像を行うと共に、排出装置の格納異常信号を検出しないについて説明する。
【0089】
図６に示すように作業車両の排出装置１８の先端部に第三の撮像装置１３０が配備されている。第三の撮像装置１３０は排出装置１８の伸縮によって撮像位置を変更することが可能であり、作業車両の最上段にあるため上方からの上空に近い撮像が可能である。
【0090】
撮像装置２１、２３、２４は固定位置であるため、先の圃場の状態を撮像するには限界がある。しかし第三の撮像装置は、排出装置１８を移動させることで、前方でこれから収獲する圃場を上方から撮像できる。
【0091】
また図７のように、排出装置１８を回転させて作業車両の側方に向ける位置に移動させると未収獲領域を上方から撮像することが可能である。実施形態では作業車両は反時計回りに収獲を行う図であり、進行方向に対して左側が未収獲領域となる。そのため１周の刈取作業が行われた後に作業する圃場の状態を事前に分析することが可能である。
【0092】
排出装置１８を所定の位置に設置し格納しないと、走行したり作業したりすると異常信号を発生させる場合や、運転することができないように安全装置が作動するが、本発明においては第三の撮像装置が作動する場合は、これらの安全装置が作動しないようになっている。
【0093】
排出装置１８の先端部はの排出口１３１が回転することが可能であり、作物を排出する場合は地上側である下向きになり、走行中や作業中は上向きになり、作物の残粒こぼれを防止する。これに対して第三の撮像装置は固定で下向きである。この構成をとることで、走行中、作業中で排出口が上向きになっている時も第三の撮像装置１３０は下向きになっており、圃場の未収獲領域を撮像する。また排出装置１８が下向きになり作物の排出を行う場合も下向きであり、作物を排出する時に排出先を撮像することができ、排出先でのつまり防止や異物混入等の対応も可能となる。さらに排出装置１８の先端部には、障害物センサが配備されており、撮像装置１８の先端に障害物が近傍にくる場合は、撮像中であっても障害物検出として異常検出を行う。
【0094】
本発明の別の実施形態について説明する。
【0095】
後方に備えた撮像装置を利用して、風の流れを検出する内容を説明する。
【0096】
本発明の実施形態であるコンバインでは、車両の後方は、収穫する排藁により粉塵が起こっている。この粉塵は風向きを知るには好都合であり、撮像装置によって粉塵の流れを分析して風向きを得る。風向きは時刻によって変化するが、測定中で最も長い時間にあった方向を風向きとする方法や、測定中の全風向きの平均方向を示す方法もある。
【0097】
この風向きの検出は、倒伏画像の補正に使用する。撮像装置で倒伏を検出したが、横倒れになっている稲の画像で稲穂と茎の繋がりが明確に検出できない場合は、どちらの方向に倒れているのか判明できない。この場合、風向きを解析要素として捕らえ、風向きの方向に倒伏したとして自動判定を行うのも良い。
【0098】
この倒伏の方向は、追い刈りの場合と向い刈りの場合では車速を変更して対応する制御があり、その他に脱穀の制御にも利用することができる。
【0099】
また風向きを考慮した作業経路の立て直しも活用される。倒伏においては追い刈りが主体になるように作業経路を組み立てることで、稲への損傷を低減させることも可能である。向い刈りの場合は、稲の根本を切断する前に穂先が穀杆内に入り込むため、引き押しを確実に行わなくてはならず、車速を上げると引き起こしが十分でない場合は、つまりが発生する可能性がある。こうしたこともあり、追い刈りで作業経路を立て直すことも作業効率を上げる方策である。
【0100】
あるいは機体において倒れた稲穂をクローラで踏まない方向、本実施形態では左倒伏側になるように選択するように作業経路を組むようにする作業経路の組み立てもある。本発明の実施形態では、作業車両の進行方向で右側に運転席を設け、反時計回りで作業をするのが望ましい。よって作業車両の左側が未収獲領域となり、右側へ倒伏の稲穂が垂れ下がると、クローラで踏みつける場合もあるため、右側倒伏をさけるように作業経路を組み立てた方が作業はしやすくなる。
【0101】
このように倒伏の方向で作業経路を変更した方が作業効率が上がる場合もあり、倒伏の方向を推測する手段として、風向きの測定を利用する。
【0102】
第二撮像装置２４の別形態の位置について説明する。
【0103】
収獲装置１３への作物の流れ込みを撮像する撮像装置の位置で、図９に示すコンバインにおいては、刈取部前面で最も右側の分草稈上部付近のデバイダ内部に埋め込む形で搭載している。右撮像装置１４０の位置にあるため収獲装置が上下に可動しても同じように可動するため干渉による破損がなくなる。
【0104】
右端は、脱穀部に流れ込むのが最も遅れるため、つまりが発生しやすい。そのため右側の倒伏の状態を検出して、つまる前に事前に対応することが可能となる。
【0105】
また各デバイダに撮像装置を搭載すればより精度の高い撮像結果を出すことは可能であるが、図９のように最も左側のデバイダ内部に埋め込む場合もある。左撮像装置１４１の位置にあり、こちらも収獲装置が上下に可動しても同じように可動するため干渉による破損がない。左側のメリットとしては、時計回りの対応と、撮像装置を利用して障害物の対応も可能である。運転手が乗車している場合は、運転席と反対側は見えにくい場合もあるので、撮像装置があれば対応しやすい。
【0106】
第二の撮像装置においては、図８ａのように画像の識別対象領域は２ｍ前方付近の株根本付近とする。取得した画像に対して、図４のような人工知能を用いた処理を行い、画像解析を行う。分類項目としては作物、土壌（水面等）、畔、障害物で大きく区分する。
【0107】
撮像装置の利用の一例を図８ｂに記載しているが、稲１６０が密集している２点間の距離の中点１６１を条間の中心としてそこに分草稈１２０を合わせるように制御する。しかし、図８ｃのように畦１６２が認識された場合は畦際の収穫をしていると判断し、畦の端部１６３と稲の密集している点との距離の中点１６４に分草稈１２０を合わせるように制御する。
【0108】
本発明の実施形態の作業車両は電動車両であり、バッテリの位置について説明する。
【0109】
図１０に示すように、グレンタンク１５０の下に、バッテリ１５１を設置し、またグレンタンクの回転軸１５２が操作席１５３の後ろ側で車両の中央側に配置され、後方からグレンタンク１５０を回転させて開く構成であり、グレンタンク１５０の車両の後方で車両の中央側にバッテリ１５１を備える。
【0110】
グレンタンクの支点が操作席後方に配置されることでグレンタンクが車体後ろ側から開くようになり、大きなスペースを確保できるため、重量物であるバッテリをホイストやクレーン、リフトなどを用いて交換できる利点がある。
【符号の説明】
【0111】
１ コンバイン
２１Ｌ、２１Ｒ 第一撮像装置（外側）
２２ 慣性計測装置（ＩＭＵ）
２３Ｌ、２３Ｒ 第一撮像装置（内側）
２４ 第二撮像装置
３１、３２、３３ 障害物センサ
４１ 衛星測位システム受信部（ＧＮＳＳ受信部）
５０ 作物の色相検出部
６０ 作物の形状検出部
１３０ 第三撮像装置
２１Ｌ、２１Ｒ 第一撮像装置（外側）
２２ 慣性計測装置（ＩＭＵ）
２３Ｌ、２３Ｒ 第一撮像装置（内側）
２４ 第二撮像装置
３１、３２、３３ 障害物センサ
４１ 衛星測位システム受信部（ＧＮＳＳ受信部）
５０ 作物の色相検出部
６０ 作物の形状検出部
１３０ 第三撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
