(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022090771
(43)【公開日】2022-06-20
(54)【発明の名称】システム、収穫機、方法、およびプログラム
(51)【国際特許分類】
A01D 34/24 20060101AFI20220613BHJP
A01B 69/00 20060101ALI20220613BHJP
A01D 41/12 20060101ALI20220613BHJP
A01D 69/00 20060101ALI20220613BHJP
G06Q 50/02 20120101ALI20220613BHJP
【FI】
A01D34/24 105A
A01D34/24 103
A01B69/00 301
A01D41/12 B
A01D69/00 301
G06Q50/02
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2020203273
(22)【出願日】2020-12-08
(71)【出願人】
【識別番号】000126115
【氏名又は名称】エア・ウォーター株式会社
(71)【出願人】
【識別番号】504193837
【氏名又は名称】国立大学法人室蘭工業大学
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】荻野 友保
(72)【発明者】
【氏名】湯浅 友典
(72)【発明者】
【氏名】相津 佳永
【テーマコード(参考)】
2B043
2B074
2B076
2B382
5L049
【Fターム(参考)】
2B043AA04
2B043AB20
2B043BA02
2B043BA09
2B043BB12
2B043DC03
2B043EA12
2B043EB18
2B043EB22
2B043EC02
2B043EC12
2B043EC14
2B043EC20
2B043ED02
2B043ED12
2B043EE01
2B074AB02
2B074AC02
2B074DB04
2B074EA02
2B074EB02
2B074ED03
2B074ED05
2B074FA03
2B074FB02
2B074FC02
2B076AA03
2B076CA03
2B076EA04
2B076EC21
2B076EC23
2B076ED21
2B076ED27
2B076ED30
2B382GA03
2B382GA04
2B382GA08
2B382GB01
2B382HB02
2B382HF02
2B382JB01
2B382JB05
2B382JB06
2B382JB07
2B382LA12
2B382LB05
2B382LB07
2B382LB16
2B382LC07
2B382LD05
2B382LD10
2B382MA13
2B382MA20
2B382MA24
2B382MA25
2B382MA26
5L049CC01
(57)【要約】
【課題】センサから畝までの距離を正確に計測可能なシステムを提供する。
【解決手段】収穫作業を補助するシステムは、情報処理装置と、刈取部に下向きに設置されたカメラおよびセンサとを備える。カメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。カメラは、撮像によって得られた第1の画像データを情報処理装置に出力する。センサは、農地をセンシングし、かつセンシングによって得られたセンサから農地までの距離を表す第2の画像データを情報処理装置に出力する。情報処理装置は、第1の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。情報処理装置は、抽出の結果と、第2の画像データとに基づき、第1のセンサから畝までの距離を決定する。情報処理装置は、決定された距離と予め定められた基準距離との差分に基づいた信号を出力する。
【選択図】
図14
【特許請求の範囲】
【請求項1】
刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助するシステムであって、
情報処理装置と、
前記刈取部に下向きに設置された第1のカメラと、
前記刈取部に下向きに設置された第1のセンサとを備え、
前記第1のカメラは、
前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
前記撮像によって得られた第1の画像データを前記情報処理装置に出力し、
前記第1のセンサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記第1のセンサから前記農地までの距離を表す第2の画像データを前記情報処理装置に出力し、
前記情報処理装置は、
前記第1の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
前記抽出の結果と、前記第2の画像データとに基づき、前記第1のセンサから前記畝までの第1の距離を決定し、
前記第1の距離と予め定められた第1の基準距離との差分に基づいた第1の信号を出力する、システム。
【請求項2】
前記収穫機に設置された第1の表示装置をさらに備え、
前記情報処理装置は、前記第1の信号を前記第1の表示装置に出力し、
前記第1の表示装置は、前記第1の信号に基づいた表示を行う、請求項1に記載のシステム。
【請求項3】
前記第1の表示装置は、第1のレベルメータであって、
前記第1のレベルメータは、前記差分の大きさに応じたレベルを表示する、請求項2に記載のシステム。
【請求項4】
前記第1のレベルメータは、前記収穫機の運転席の前方に設置されている、請求項3に記載のシステム。
【請求項5】
前記情報処理装置は、
前記第1の画像データおよび前記第2の画像データに基づき、前記畝の畝幅方向の中央位置に対する前記刈取部のズレ量を算出し、
前記ズレ量に基づいた第2の信号を出力する、請求項1から4のいずれか1項に記載のシステム。
【請求項6】
前記収穫機に設置された第2の表示装置をさらに備え、
前記情報処理装置は、前記第2の信号を前記第2の表示装置に出力し、
前記第2の表示装置は、前記第2の信号に基づいた表示を行う、請求項5に記載のシステム。
【請求項7】
前記第2の表示装置は、第2のレベルメータであって、
前記第2のレベルメータは、前記ズレ量の大きさに応じたレベルを表示する、請求項6に記載のシステム。
【請求項8】
前記第2のレベルメータは、前記収穫機の運転席の前方に設置されている、請求項7に記載のシステム。
【請求項9】
前記収穫機の前面視において、前記刈取部は前記本体部に対して傾斜可能であり、
前記システムは、
前記刈取部に下向きに設置された第2のカメラと、
前記刈取部に下向きに設置された第2のセンサとをさらに備え、
前記第1のカメラと前記第1のセンサとは、前記収穫機の運転席から見て左前方および右前方のうちの一方に設置されており、
前記第2のカメラと前記第2のセンサとは、前記運転席から見て左前方および右前方のうちの他方に設置されており、
前記第2のカメラは、前記農地を撮像し、かつ前記撮像によって得られた第3の画像データを前記情報処理装置に出力し、
前記第2のセンサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記第2のセンサから前記農地までの距離を表す第4の画像データを前記情報処理装置に出力し、
前記情報処理装置は、
前記第3の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
前記第3の画像データに基づく前記抽出の結果と、前記第4の画像データとに基づき、前記第2のセンサから前記畝までの第2の距離を決定し、
前記第2の距離と予め定められた第2の基準距離との差分に基づいた第2の信号を出力する、請求項1に記載のシステム。
【請求項10】
各々が前記収穫機に設置された、第1の表示装置と第2の表示装置とをさらに備え、
前記情報処理装置は、
前記第1の信号を前記第1の表示装置に出力し、
前記第2の信号を前記第2の表示装置に出力し、
前記第1の表示装置は、前記第1の信号に基づいた表示を行い、
前記第2の表示装置は、前記第2の信号に基づいた表示を行う、請求項9に記載のシステム。
【請求項11】
前記情報処理装置は、
前記第1の画像データと前記第2の画像データとに基づき、前記畝の畝幅方向に対する前記刈取部のズレに起因する第1の指標値を算出し、
前記第3の画像データと前記第4の画像データとに基づき、前記畝の畝幅方向に対する前記刈取部のズレに起因する第2の指標値を算出し、
前記第1の指標値と前記第2の指標値とに基づき、前記畝の畝幅方向の中央位置に対する前記刈取部のズレ量を算出し、
前記ズレ量に基づいた第3の信号を出力する、請求項9または10に記載のシステム。
【請求項12】
前記収穫機に設置された第3の表示装置をさらに備え、
前記情報処理装置は、前記第3の信号を前記第3の表示装置に出力し、
前記第3の表示装置は、前記第3の信号に基づいた表示を行う、請求項11に記載のシステム。
【請求項13】
前記収穫機は、自動運転が可能な車両であって、
前記情報処理装置は、前記差分を、前記収穫機の自動運転を制御するユニットに通知する、請求項1に記載のシステム。
【請求項14】
前記情報処理装置は、
前記第1の画像データに基づき、前記畝の畝幅方向の中央位置に対する前記刈取部のズレ量を算出し、
前記ズレ量を前記ユニットに通知する、請求項13に記載のシステム。
【請求項15】
前記第1のカメラと前記第1のセンサとは、第1の筐体に収容されており、
前記第2のカメラと前記第2のセンサとは、第2の筐体に収容されている、請求項9から12のいずれか1項に記載のシステム。
【請求項16】
前記第1の筐体と前記第2の筐体とは、前記刃との距離が同一となる位置に設置されている、請求項15に記載のシステム。
【請求項17】
請求項1~16のいずれか1項に記載のシステムを備える、収穫機。
【請求項18】
収穫機であって、
本体部と、
刃を有し、かつ前記本体部に対して上下方向に移動可能な刈取部と、
コントローラと、
前記刈取部に下向きに設置されたカメラと、
前記刈取部に下向きに設置されたセンサとを備え、
前記カメラは、
前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
前記撮像によって得られた第1の画像データを前記コントローラに出力し、
前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第2の画像データを前記コントローラに出力し、
前記コントローラは、
前記第1の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
前記抽出の結果と、前記第2の画像データとに基づき、前記センサから前記畝までの距離を決定し、
決定された前記距離と予め定められた基準距離との差分に基づいて、前記刈取部の前記上下方向の位置を制御する、収穫機。
【請求項19】
操舵装置をさらに備え、
前記コントローラは、
前記第1の画像データに基づき、前記畝の畝幅方向の中央位置に対する前記刈取部のズレ量を算出し、
前記ズレ量に基づいて、前記操舵装置の操舵角度を制御する、請求項18に記載の収穫機。
【請求項20】
刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する方法であって、
前記刈取部に下向きに設置されたカメラから、前記刃の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第1の画像データを取得するステップと、
前記刈取部に下向きに設置されたセンサから、前記農地をセンシングすることによって得られた、前記センサから前記農地までの距離を表す第2の画像データを取得するステップと、
前記第1の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出するステップと、
前記抽出の結果と、前記第2の画像データとに基づき、前記センサから前記畝までの距離を決定するステップと、
決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを備える、方法。
【請求項21】
刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する情報処理装置を制御するプログラムであって、
前記刈取部に下向きに設置されたカメラから、前記刈取部の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第1の画像データを取得するステップと、
前記刈取部に下向きに設置されたセンサから、前記農地をセンシングすることによって得られた、前記センサから前記農地までの距離を表す第2の画像データを取得するステップと、
前記第1の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出するステップと、
前記抽出の結果と、前記第2の画像データとに基づき、前記センサから前記畝までの距離を決定するステップと、
決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、特に、収穫作業を補助するシステム、収穫機、収穫作業を補助する方法、および収穫作業を補助する情報処理装置を制御するプログラムに関する。
【背景技術】
【0002】
従来、畝に生育している農作物を収穫する収穫機が知られている。このような収穫機として、たとえば特開平6-233606号公報(特許文献1)には、刈取部の高さを自動制御する構成が開示されている。当該刈取部には、超音波センサが取付けられている。収穫機は、超音波センサにより、対地高さを検出する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
畝には農作物が生育しているため、特許文献1では、超音波センサから畝までの距離(対地高さ)を正確に計測できない。
【0005】
本開示は、センサから畝までの距離をより正確に計測可能なシステム、収穫機、方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示のある局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助するシステムは、情報処理装置と、刈取部に下向きに設置された第1のカメラと、刈取部に下向きに設置された第1のセンサとを備える。第1のカメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。第1のカメラは、撮像によって得られた第1の画像データを情報処理装置に出力する。第1のセンサは、農地をセンシングし、かつセンシングによって得られた、第1のセンサから農地までの距離を表す第2の画像データを情報処理装置に出力する。情報処理装置は、第1の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。情報処理装置は、抽出の結果と、第2の画像データとに基づき、第1のセンサから畝までの第1の距離を決定する。情報処理装置は、第1の距離と予め定められた第1の基準距離との差分に基づいた第1の信号を出力する。
【0007】
本開示の他の局面に従うと、収穫機は、本体部と、刃を有し、かつ本体部に対して上下方向に移動可能な刈取部と、コントローラと、刈取部に下向きに設置されたカメラと、刈取部に下向きに設置されたセンサとを備える。カメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。カメラは、撮像によって得られた第1の画像データをコントローラに出力する。センサは、農地をセンシングし、かつセンシングによって得られた、センサから農地までの距離を表す第2の画像データをコントローラに出力する。コントローラは、第1の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。コントローラは、抽出の結果と、第2の画像データとに基づき、センサから畝までの距離を決定する。コントローラは、決定された距離と予め定められた基準距離との差分に基づいて、刈取部の上下方向の位置を制御する。
【0008】
本開示のさらに他の局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する方法は、刈取部に下向きに設置されたカメラから、刃の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第1の画像データを取得するステップと、刈取部に下向きに設置されたセンサから、農地をセンシングすることによって得られた、センサから農地までの距離を表す第2の画像データを取得するステップと、第1の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出するステップと、抽出の結果と、第2の画像データとに基づき、センサから畝までの距離を決定するステップと、決定された距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを備える。
【0009】
本開示のさらに他の局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する情報処理装置を制御するプログラムは、刈取部に下向きに設置されたカメラから、刈取部の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第1の画像データを取得するステップと、刈取部に下向きに設置されたセンサから、農地をセンシングすることによって得られた、センサから農地までの距離を表す第2の画像データを取得するステップと、第1の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出するステップと、抽出の結果と、第2の画像データとに基づき、センサから畝までの距離を決定するステップと、決定された距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを、情報処理装置のプロセッサに実行させる。
【発明の効果】
【0010】
本開示によれば、センサから畝までの距離を従来よりも正確に計測可能となる。
【図面の簡単な説明】
【0011】
【
図1】収穫機の全体構成を説明するための外観図である。
【
図2】収穫機の刈取部を拡大した要部拡大図である。
【
図3】畝と刈取部の刈取刃との関係を説明するための図である。
【
図7】デプスカメラによる撮像を説明するための図である。
【
図9】情報処理装置の構成を説明するための図である。
【
図13】ズレ量ΔWの算出方法の一例を説明するための図である。
【
図14】情報処理システムによって実行される処理の流れを表したフロー図である。
【
図15】他の形態に係る収穫機を前面から見た図である。
【
図16】2台のデプスカメラによる撮像を説明するための図である。
【
図18】情報処理装置の構成を説明するための図である。
【
図19】ズレ量ΔWの算出方法の一例を説明するための図である。
【
図20】情報処理システムによって実行される処理の前半の流れを表したフロー図である。
【
図21】情報処理システムによって実行される処理の後半の流れを表したフロー図である。
【
図22】さらに他の形態に係る収穫機の構成を説明するための図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本発明の各実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0013】
各実施形態における構成を適宜組み合わせて用いることは当初から予定されていることである。また、一部の構成要素を用いない場合もある。
【0014】
以下、収穫機について、図面を参照しながら説明する。なお、以下の説明において、「上」,「下」,「前」,「後」,「左」,「右」とは、収穫機の運転席に着座したオペレータを基準とする用語である。
【0015】
収穫機は、畝に生育した農作物を収穫する車両である。収穫機は、主として、農作物の実(果物、野菜)の部分を収穫する車両である。農作物としては、たとえば、無支柱栽培で育つ作物(トマト、ナス等)、畝上に育つ果菜類(トマト、南瓜、ピーマン等)、地面上の農作物、匍匐茎(ホフクケイ)を有する農作物が挙げられる。
【0016】
収穫機1は、好適には、農作物の実の一例である加工用トマトの収穫に用いられる。なお、加工用トマトは、太陽をたくさん浴びられるよう茎が地(畝面)を這うよう生育する。
【0017】
雑草抑制、乾燥防止等の観点から、典型的には黒色のマルチシートによって畝が覆われている場合もある。本例では、畝の表面(畝面)がマルチシートで覆われている場合を例に挙げて説明する。しかしながら、これに限定されず、畝面がマルチシートで覆われていない場合にも、本実施の形態の処理を適用できる。
【0018】
[実施の形態1]
図1は、本実施の形態に係る収穫機1の全体構成を説明するための外観図である。
図1(A)は、収穫機1の上面図である。
図1(B)は、収穫機1の左側側面図である。
【0019】
図1(A)および
図1(B)を参照して、収穫機1は、刈取部2と、本体部3とを備える。刈取部2は、ピックアップ装置とも称される。刈取部2は、ピックアップコンベア201を含む。本体部3は、運転席4と、分別装置5と、側部コンベア6と、エレベータ7と、左右の補助輪8R,8Lと、左右の前輪9R,9Lと、左右の後輪10R,10Lとを備える。
【0020】
収穫機1は、農地の畝910に沿って畝上を走行する。収穫機1は、矢印Fの方向に前進する。左右の前輪9R,9Lと、左右の後輪10R,10Lとは、畝910と畝910との間の通路(以下、「畝通路」とも称する)に接地している。なお、
図1のXYZ座標系は、収穫機1におけるローカル座標系である。
【0021】
刈取部2は、畝910に生育した農作物(茎、葉、および実)の茎部を切断し、切断された農作物を実線および破線の矢印に示すように、運転席4の後方の分別装置5に送る。畝910は、マルチシート(
図3参照)によって覆われている。
【0022】
分別装置5は、農作物を、茎および葉の部分と、実の部分とに分別する。分別装置5は、茎および葉を後方の農地に排出する。分別装置5は、実を側部コンベア6に排出する。
【0023】
側部コンベア6は、実をエレベータ7へと搬送する。エレベータ7は、収穫機1と併走するトラック(図示せず)の荷台に実を排出する。
【0024】
図2は、収穫機1の刈取部2を拡大した要部拡大図である。
図2を参照して、刈取部2は、ピックアップコンベア201と、アーム部202と、刈取刃203とを含む。アーム部202は、複数のアームで構成されている。各アームは、等間隔にY軸方向に配置されている。
【0025】
収穫機1が前進するに伴い、アーム部202のアーム間には、農作物の茎の部分が入り込む。その後、収穫機1のさらなる前進に伴い、茎の部分が刈取刃203によって切断される。刈取刃203によって切断(刈取)された農作物(正確には、畝に残った茎の部分を除く農作物の一部)は、収穫機1のさらなる前進に伴い、ピックアップコンベア201に運ばれる。ピックアップコンベア201は、刈り取られた農作物(茎の一部および実)を分別装置5に送る。
【0026】
図3は、畝910と刈取部2の刈取刃203との関係を説明するための図である。
図3を参照して、農地900に形成された畝910は、畝面911と、傾斜面912とを有する。畝面911は、畝天面とも称される。畝910と畝910との間には,畝通路920が設けられている。
【0027】
なお、傾斜面912は、畝910の端部である。傾斜面912は、畝面911と畝通路920とを接続している。畝通路920は、畝910に沿った通路である。畝通路920は、畝と畝との間の畝よりも低い土の部分である。畝通路920は、人による作業のため、および収穫機1の前輪9R,9Lおよび後輪10R,10Lが通過するために、農地900に設けられている。
【0028】
畝910には、農作物990が生育している。農作物990は、茎991と、茎991になった実992とを有する。畝910は、マルチシート950で覆われている。詳しくは、少なくとも畝面911と傾斜面912とがマルチシート950で覆われている。
【0029】
刈取刃203を畝面911に接近させた状態で、刈取刃203によって農作物990の茎991の部分(畝面911に近い部分)が切断される。刈取刃203は、畝面911に極力近づけることが好ましい。刈取刃203の位置が畝面911から上方に離れすぎると、実992を切断してしまうおそれがあるためである。
【0030】
図4は、収穫機1を前面から見た図である。
図4を参照して、収穫機1は、情報処理システム100と、アクチュエータ11R,11Lと、支持フレーム12,13とをさらに備える。情報処理システム100は、デプスカメラ110と、情報処理装置130と、表示装置140,160とを備える。
【0031】
運転席4は、ハンドル401と、座席402と、操作盤403とを備える。操作盤403は、操作部411を有する。本例では、運転席4に、情報処理装置130が設置されている。なお、情報処理装置130は、運転席4以外に設置されてもよい。
【0032】
アクチュエータ11R,11Lは、操作部411に対するオペレータ操作に基づき、刈取刃203を有する刈取部2を本体部3に対して上下方向に移動させる。アクチュエータ11R,11Lは、たとえば油圧シリンダである。操作部411は、アクチュエータ11Rを動作(シリンダを伸張)させるスイッチと、アクチュエータ11Lを動作させるスイッチとを備える。
【0033】
収穫機1の前面視(
図4の状態)において、刈取部2は本体部3に対して傾斜可能である。アクチュエータ11R,11Lの一方を動作させることにより、刈取部2は本体部3に対して傾斜する。また、アクチュエータ11R,11Lの一方の動作量を他方の動作量と異ならせることにより、刈取部2は本体部3に対して傾斜する。このように、収穫機1の前面視において、刈取部2は本体部3に対して傾斜可能(XY平面に平行な平面内で傾斜可能)である。
【0034】
アクチュエータ11Rが矢印810Rの方向に移動すると、刈取部2の先端部は矢印820Rの方向(上下方向)に移動する。アクチュエータ11Lが矢印810Lの方向に移動すると、刈取部2の先端部は矢印820Lの方向(上下方向)に移動する。
【0035】
支持フレーム12は、刈取部2に取付けられている。支持フレーム12は、ピックアップコンベア201の移動方向とは垂直な方向(Y軸方向)に伸びている。支持フレーム12は、表示装置140,160を支持する。
【0036】
支持フレーム13は、刈取部2に取付けられている。支持フレーム13は、支持フレーム12よりも前方に取付けられている。支持フレーム13の後端側が刈取部2に取付けられている。支持フレーム13は、支持フレーム13の前端側においてデプスカメラ110を支持する。本例では、支持フレーム13は、複数の部材が連結されて構成されている。
【0037】
デプスカメラ110は、刈取部2の横方向(Y軸方向)の中央位置に設置されている。デプスカメラ110は、ピックアップコンベア201の横方向の中央位置に設置されている。
【0038】
デプスカメラ110は、被写体までの距離を測定する。詳細については後述するが、本例の場合、デプスカメラ110は、農地900までの距離(高さ)を測定する。
【0039】
情報処理装置130は、デプスカメラ110からの入力を処理し、表示装置140,160に対して信号を出力する。情報処理装置130による情報処理については、後述する。
【0040】
表示装置140,160は、収穫機1の運転席4の前方に設置されている。表示装置140,160は、支持フレーム12の中央部(Y軸方向中央部)に設置されている。表示装置140,160は、ピックアップコンベア201のY軸方向の中心部の上方に設置されている。表示装置140,160は、本例では、LEDを用いたレベルメータである。
【0041】
表示装置140は、レベルの表示が収穫機1に対して上下方向に変化する向きに設置されている。表示装置140は、支持フレーム12に対して鉛直方向に設置されている。
【0042】
表示装置160は、レベルの表示が収穫機1に対して左右方向に変化する向きに設置されている。表示装置160は、支持フレーム12に対して水平方向に設置されている。
【0043】
図5は、収穫機1の刈取部2側を拡大した拡大図である。
図5を参照して、収穫機1は、上述したように、デプスカメラ110と、情報処理装置130と、表示装置140,160と、アクチュエータ11R,11Lと、支持フレーム12,13とを備える。
【0044】
デプスカメラ110は、刈取部2に下向きに設置されている。デプスカメラ110は、刈取部2の刈取刃203の前方かつ上方に設置されている。
【0045】
表示装置140,160は、表示面が運転席4の方向を向く姿勢で固定されている。
図6は、デプスカメラ110の外観を示した図である。
【0046】
図6を参照して、デプスカメラ110は、カメラ111と、センサ112とを備える。センサ112は、赤外線プロジェクタ1121と、赤外線ステレオカメラ1122とを備える。赤外線ステレオカメラ1122は、2つの赤外線カメラ1122R,1123Lにより構成される。
【0047】
本例では、上記のように、カメラ111とセンサ112とが1つの筐体に収容されている。なお、デプスカメラは知られているため、ここでは、デプスカメラ110の詳細な構成およびデータ処理の詳細については、繰り返し説明しない。
【0048】
図7は、デプスカメラ110による撮像を説明するための図である。
図7を参照して、カメラ111は、刈取刃203の前方に位置する農作物990が生育した農地900を撮像し、かつ撮像によって得られた画像データを情報処理装置130に出力する。本例では、カメラ111は、撮像した被写体をRGB画像として出力する。カメラ111は、少なくとも動画像(映像)を撮像する。カメラ111は、RGB画像データをリアルタイムに情報処理装置130に送信する。
【0049】
センサ112は、農地900をセンシングし、かつセンシングによって得られた、センサ112から農地900までの距離を表す画像データを情報処理装置130に出力する。詳しくは、赤外線ステレオカメラ1122が、距離を表す画像データを情報処理装置130にリアルタイムに送信する。
【0050】
本例では、少なくとも、デプスカメラ110によって、畝910までの距離を測定する。詳しくは、本例では、デプスカメラ110によって、少なくとも畝面911までの距離を測定する。
【0051】
図8は、表示装置140,160を説明するための図である。
図8を参照して、表示装置140は、複数のLED141~149を有する。表示装置160は、複数のLED161~169を有する。
【0052】
詳細については後述するが、表示装置140は、LED141~149の少なくとも1つを発光することによって、刈取部2(詳しくは、刈取刃203)の基準位置(適正位置)からの高さ方向(Z軸方向)のズレ量を表す。
【0053】
表示装置160は、LED161~169の少なくとも1つを発光することによって、刈取部2(詳しくは、刈取刃203)の基準位置(適正位置)からの左右方向(横方向、Y軸方向)のズレ量を表す。
【0054】
以下では、説明の便宜上、収穫機1が農作物の実として加工用のトマトを収穫する場合を例に挙げて説明する。なお、上述したように、農作物は、これに限定されるものではない。
【0055】
図9は、情報処理装置130の構成を説明するための図である。
図9を参照して、情報処理装置130は、プロセッサ1310と、メモリ1320と、通信インターフェイス1330と、通信インターフェイス1340とを備える。
【0056】
プロセッサ1310は、機能ブロックとして、正規化処理部1311と、領域抽出部1312と、距離決定部1313と、距離決定部1314と、差分算出部1315と、ズレ量算出部1316と、表示制御部1317とを有する。メモリ1320は、ROM(Read Only Memory)1321と、RAM(Random Access Memory)1322と、フラッシュメモリ1323とを有する。
【0057】
通信インターフェイス1330は、デプスカメラ110からデータを受信する。通信インターフェイス1330は、カメラ111からRGB画像データを受信する。通信インターフェイス1330は、センサ112から距離を表す画像データ(以下、「距離画像データ」とも称する)を受信する。通信インターフェイス1330は、受信した両画像データをプロセッサ1310に送る。
【0058】
メモリ1320のフラッシュメモリ1323には、プロセッサが実行するオペレーティングシステムおよびアプリケーションプログラムが予め格納されている。これらのプログラムは、RAM1322上に展開される。なお、ROM1321には、BIOS等のファームウェアが記憶されている。このようなオペレーティングシステムおよびアプリケーションプログラムにより、情報処理装置130のデータ処理内容が決定する。これらのプログラムが情報処理装置130を制御する。
【0059】
プロセッサ1310は、デプスカメラ110から送られてきた両画像データに基づいて、データ処理を実行する。以下、プロセッサ1310が実行する処理について説明する。
【0060】
正規化処理部1311は、RGB画像データを正規化する。曇りの場合、日陰の場合、晴れの場合、日向の場合等の周囲環境によって、RGB画像データの各色の画素値は変化する。そこで、明るさに影響されず畝面911(詳しくは、マルチシートおよび露出した土)を検出するために、正規化処理部1311は、RGB画像データを正規化する。
【0061】
以下、正規化処理をする理由を、
図10および
図11に基づいて説明する。
図10は、正規化前のデータを表した図である。
図10(A)は、曇り等の最も暗い場合のRGB画像データの各色の部分別の画素値の平均値を表した図である。
図10(B)は、晴れ等の最も明るい場合のRGB画像データの各色の部分別の画素値の平均値を表した図である。
図10(C)は、全てのRGB画像データ(本例では、
図10(A)の画像1枚および
図10(A)のように暗い場合の他の画像9枚の合計10枚(RGB画像データを10個)と、
図10(B)の画像1枚および
図10(B)のように明るい場合の他の画像9枚の合計10枚(RGB画像データを10個)とから、各色の部分それぞれ100個の画素データ)の各色の部分別の平均値と標準偏差とを表した図である。
【0062】
図10(C)を参照して、棒グラフが、マルチシート950の部分と、葉の部分と、トマトの部分と、土の部分とのRGBの各画素値の平均値を示している。エラーバーは、標準偏差の情報を誤差範囲として棒グラフに付加したものである。
【0063】
各部分のRの値とGの値とBの値とにおいてばらつき(標準偏差)が大きい。それゆえ、トマト以外の部分が、どの部分であるかを判別し難い。
【0064】
図11は、正規化後のデータを表した図である。詳しくは、
図11は、各色部分別の平均値と標準偏差とを表した図である。より詳しくは、
図11は、以下の演算処理によって得られる図である。
【0065】
まず、正規化処理部1311は、各画素のRGBの値(3つ値)のうちの最小値を、各RGBの値から減算する。次に、正規化処理部1311は、減算されたRGBの3つ値のうちの最大値によって、減算された各RGBの値を除算する。さらに、正規化処理部1311は、除算によって得られた値をパーセント表示する。正規化処理部1311は、このような一連の処理を
図10(C)の各画素に対して行うことにより、各色部分別の平均値と標準偏差とを算出する。
【0066】
図11を参照して、マルチシート950の部分と、葉の部分と、トマトの部分と、土の部分とに関し、Rの値とGの値とBの値との組み合わせの特異性が明確になっている。たとえば、マルチシート950では、赤の値が極めて低く、かつ青の値が極めて低い。また、葉の部分では、緑の値が赤の値および青の値に比べて高い。土の部分では、赤の値と青の値とが高く、緑の値が極めて低い。
【0067】
このように正規化をすることにより、RGB画像データを、マルチシート950の領域と、葉の領域と、トマトの領域と、土の領域とに精度良く区分することが可能となる。
【0068】
再び
図9を参照して、領域抽出部1312は、正規化後のRGB画像データに基づき、当該RGB画像データ(すなわち、農地900の画像)から少なくとも畝910の画像領域を抽出する。
【0069】
本例では、領域抽出部1312は、正規化後のRGB画像データから、葉の領域と、トマトの領域と、影などの極端に暗い領域(画素値が極端に小さい領域)とを除去する。これにより、領域抽出部1312は、畝910の画像領域としてのマルチシート950の画像領域とおよびマルチシート950の裂け目から露出した土の画像領域と、畝通路920の画像領域とを抽出する。
【0070】
なお、畝910がマルチシート950で覆われていない場合には、領域抽出部1312は、土の画像領域を抽出する。詳しくは、ある局面では、領域抽出部1312は、畝910の画像領域(農作物の画像領域を除く土の画像領域)と、畝通路920の画像領域とを抽出する。他の局面では、領域抽出部1312は、畝910の画像領域(土の画像領域)のみを抽出する。
【0071】
距離決定部1313は、領域抽出部1312による抽出の結果と、センサ112によって取得された距離画像データとに基づき、デプスカメラ110から畝910(詳しくは、畝面911)までの距離Daを決定する。詳しくは、本例では、デプスカメラ110から畝910までの距離Daとして、距離決定部1313は、デプスカメラ110から畝910を覆うマルチシート950までの距離を決定する。具体的には、距離決定部1313は、センシングによって得られたマルチシート950までの複数の距離のうち、最も短い距離を畝910までの距離とする。
【0072】
差分算出部1315は、距離決定部1313によって決定された距離Daと、予め設定された基準距離Dsとの差分を算出する。
【0073】
図12は、距離の差分を説明するための図である。
図12(A)は、最適な地上高さに刈取刃203が位置している状態を表した図である。
図12(B)は、最適な地上高さに刈取刃203が位置していない状態を表した図である。
【0074】
図12(A)を参照して、距離Duは、デプスカメラ110と刈取刃203との上下(鉛直)方向の距離を表している。デプスカメラ110と刈取刃203とは刈取部2に取付けられているため、刈取部2がアクチュエータ11R,11Lによって移動しても、距離Duは変化しない。すなわち、距離Duは固定値である。
【0075】
距離ΔDpは、刈取刃203と畝面911との間の最適な距離である。農作物の実を傷付けないため、距離ΔDpは0に近いことが好ましい。距離ΔDpも固定値である。距離ΔDpは、事前に決定される。
【0076】
よって、決定された距離Daが基準距離Ds(=Du+ΔDp)と一致する場合に、最適な地上高さに刈取刃203が位置しているといえる。
【0077】
図12(B)を参照して、決定された距離Daが、基準距離DsよりもΔDqだけ長い場合(Da=Ds+ΔDq=Du+ΔDp+ΔDqの場合)、差分算出部1315は、距離Daと基準距離Dsとの差分(すなわち、ΔDq)を算出する。差分算出部1315は、算出された差分ΔDqを表示制御部1317に通知する。
【0078】
距離決定部1314は、領域抽出部1312による抽出の結果と、センサ112によって取得された距離を表した画像データとに基づき、デプスカメラ110から畝通路920までの距離Dbを決定する。
【0079】
ズレ量算出部1316は、RGB画像データと、距離画像データとに基づき、畝910の畝幅方向の中央位置に対する刈取部2のズレ量ΔWを算出する。詳しくは、ズレ量算出部1316は、領域抽出部1312による抽出の結果と、距離決定部1313によって決定された距離Daと、距離決定部1314によって決定された距離Dbとに基づき、畝910の畝幅方向の中央位置に対する刈取部2のズレ量ΔWを算出する。ズレ量算出部1316は、Y軸方向のズレ量ΔWを算出する。ズレ量ΔWの算出方法の一例を、
図12に基づいて説明する。
【0080】
図13は、ズレ量ΔWの算出方法の一例を説明するための図である。
図13を参照して、RGB画像データに基づく画像901Gは、畝910の画像910Gと、畝通路920の画像920Gとを含む。畝910の画像910Gは、畝面911の画像911Gと、傾斜面912の画像912Gとを含む。
【0081】
ズレ量算出部1316は、上述した距離Daと距離Dbとの中間の距離Dc(Dc=(Da+Db)/2)を求める。ズレ量算出部1316は、左右の傾斜面912の各々において距離Dcとなる位置Pa,Pbを特定する。なお、位置Pcは、位置Paと位置Pbとの中央の位置であり、畝幅方向の中央位置である。
【0082】
ズレ量算出部1316は、画像901GにおけるX軸方向に沿った中心線Lcと、位置Paとの距離W1を求める。また、ズレ量算出部1316は、中心線Lcと、位置Pbとの距離W2を求める。ズレ量算出部1316は、W1とW2との差分を2で割ることにより、ズレ量ΔWを算出する。ズレ量算出部1316は、算出されたズレ量ΔWを表示制御部1317に通知する。
【0083】
表示制御部1317は、距離Daと基準距離Dsとの差分ΔDqに基づいた信号SG1を表示装置140に出力する。表示制御部1317は、ズレ量ΔWに基づいた信号SG2を表示装置160に出力する。
【0084】
表示装置140は、信号SG1に基づいた表示を行なう。詳しくは、表示装置140は、差分ΔDqに応じたレベルを表示する。
【0085】
再び
図8を参照して、たとえば差分ΔDqが0(あるいは0に近い場合)、表示装置140は、中央(上から5つ目)のLED145を点灯する。差分ΔDqがプラスの値の場合(
図12(B)の状態)、表示装置140は、LED146~149のうち、差分ΔDqの大きさに応じたLEDを点灯する。表示装置140は、差分ΔDqが大きくなるにつれ、より上側のLEDを点灯する。差分ΔDqがマイナスの値の場合(ΔDp>ΔDq+ΔDq)、表示装置140は、LED141~144のうち、差分ΔDqの絶対値の大きさに応じたLEDを点灯する。表示装置140は、差分ΔDqの絶対値が大きくなるにつれ、より下側のLEDを点灯する。
【0086】
このような表示により、収穫機1のオペレータは、刈取部2を上方に移動させるべきか、下方に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度上下に刈取部2を移動させるべきかについても容易に知ることができる。
【0087】
表示装置160は、信号SG2に基づいた表示を行なう。詳しくは、表示装置160は、ズレ量ΔWに応じたレベルを表示する。
【0088】
たとえばズレ量ΔWが0(あるいは0に近い場合)、表示装置160は、中央(左から5つ目)のLED165を点灯する。ズレ量ΔWがプラスの値の場合、表示装置160は、LED166~169のうち、ズレ量ΔWの大きさに応じたLEDを点灯する。表示装置160は、ズレ量ΔWが大きくなるにつれ、より右側のLEDを点灯する。ズレ量ΔWがマイナスの値の場合(
図13の場合)、表示装置160は、LED161~164のうち、ズレ量ΔWの絶対値の大きさに応じたLEDを点灯する。表示装置140は、ズレ量ΔWの絶対値が大きくなるにつれ、より左側のLEDを点灯する。
【0089】
このような表示により、収穫機1のオペレータは、収穫機1を左側に移動させるべきか、右側に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度左右に、刈取部2を移動させるべきかについても容易に知ることができる。
【0090】
図14は、情報処理システム100によって実行される処理の流れを表したフロー図である。
【0091】
図14を参照して、ステップS1において、デプスカメラ110は撮像を開始する。ステップS2において、情報処理装置130は、デプスカメラ110から、RGB画像データと距離画像データとを周期的に取得する。
【0092】
ステップS3において、情報処理装置130は、RGB画像データから、緑色の部分(葉の部分)と、赤色の部分(トマト(実)の部分)と、極端に暗い部分(影の部分)を除去することにより、土の画像領域とマルチシート950の画像領域とを抽出する。
【0093】
ステップS4において、情報処理装置130は、抽出された画像を、距離画像データに基づいて、畝面911と、傾斜面912と、畝通路920との3つの領域に分割する。
【0094】
ステップS5において、情報処理装置130は、デプスカメラ110から土までの距離を示した距離情報と、デプスカメラ110からマルチシート950までの距離を示した距離情報とを集計する。情報処理システム100では、畝面911と、傾斜面912と、畝通路920との各々において、複数の地点で距離を計測しているため、情報処理装置130は、畝面911と、傾斜面912と、畝通路920との各々において、複数の距離情報を取得する。
【0095】
ステップS6において、情報処理装置130は、畝面911までの各距離のうち、最も短い距離をデプスカメラ110から畝面911までの距離Daに決定する。ステップS7において、情報処理装置130は、決定された距離Daと、基準距離Dsとの差分ΔDqを算出する。ステップS8において、情報処理装置130は、畝910の畝幅方向の中央位置に対する刈取部2のズレ量ΔWを算出する。
【0096】
ステップS9において、情報処理装置130は、算出された差分ΔDqを表す信号SG1を表示装置140に送信する。ステップS10において、情報処理装置130は、ズレ量ΔWを表す信号SG2を表示装置160に送信する。ステップS11において、表示装置140は、差分ΔDqに応じたLEDを点灯させる。ステップS12において、表示装置160は、ズレ量ΔWに応じたLEDを点灯させる。
【0097】
(小括)
本実施の形態に係る情報処理システム100を小括すると、以下のとおりである。
【0098】
(1)情報処理システム100は、刈取刃203を有する刈取部2が本体部3に対して上下方向に移動可能な収穫機1を用いた収穫作業を補助するシステムである。情報処理システム100は、情報処理装置130と、刈取部2に下向きに設置されたカメラ111と、刈取部2に下向きに設置されたセンサ112とを備える。
【0099】
カメラ111は、刈取刃203の前方に位置し、かつ農作物が畝910に生育した農地900を撮像する。カメラ111は、撮像によって得られたRGB画像データを情報処理装置130に出力する。センサ112は、農地900をセンシングし、かつセンシングによって得られた、センサ112から農地900までの距離を表す距離画像データを情報処理装置130に出力する。
【0100】
情報処理装置130は、RGB画像データに基づき、農地900の画像から少なくとも畝910の画像領域を抽出する。情報処理装置130は、抽出の結果と、距離画像データとに基づき、センサ112から畝910までの距離Daを決定する。情報処理装置130は、距離Daと予め定められた基準距離Dsとの差分ΔDqに基づいた信号SG1を出力する。
【0101】
このような構成によれば、センサ112から農作物までの距離ではなく、畝面911までの距離Daを計測できる。それゆえ、センサ112から畝910までの距離を正確に計測可能となる。また、情報処理装置130は、距離Daと基準距離Dsとの差分ΔDqを出力するため、基準距離Dsとなる位置から刈取部2が上下方向にどれだけズレているかを、外部に通知することができる。
【0102】
(2)情報処理システム100は、収穫機1に設置された表示装置140をさらに備える。情報処理装置130は、信号SG1を表示装置140に出力する。表示装置140は、信号SG1に基づいた表示を行う。このような構成によれば、収穫機1のオペレータは、基準距離Dsとなる位置から刈取部2が上下方向にどれだけズレているかを視認することができる。
【0103】
(3)表示装置140は、レベルメータである。表示装置140は、差分ΔDqの大きさに応じたレベルを表示する。このような構成によれば、収穫機1のオペレータは収獲部2の上下方向のズレの程度を容易に確認することができる。
【0104】
(4)表示装置140は、収穫機1の運転席の前方に設置されている。このような構成によれば、オペレータは、刈取部2の方向を見つつ、ズレの程度を確認することができる。
【0105】
(5)表示装置140は、レベルの表示が収穫機1に対して上下方向に変化する向きに設置されている。このような構成によれば、レベル表示の変動方向と刈取部2の上下方向とが一致するため、視認性に優れる。
【0106】
(6)情報処理装置130は、RGB画像データおよび距離画像データに基づき、畝910の畝幅方向の中央位置Pcに対する刈取部2のズレ量ΔWを算出する。情報処理装置130は、ズレ量ΔWに基づいた信号SG2を出力する。
【0107】
このような構成によれば、刈取部2が畝幅方向にどれだけズレているかを、外部に通知することができる。
【0108】
(7)情報処理装置130は、RGB画像データに基づき、農地900の画像から、畝910の画像領域と、畝910に沿った畝通路920の画像領域とを抽出する。情報処理装置130は、抽出の結果と距離画像データとに基づき、センサ112から畝通路920までの距離Dbを決定する。情報処理装置130は、抽出の結果と距離Daと距離Dbとに基づき、畝910の畝幅方向の中央位置Pcに対する刈取部2のズレ量ΔWを算出する。情報処理装置130は、ズレ量ΔWに基づいた信号SG2を出力する。
【0109】
このような構成によれば、刈取部2が畝幅方向にどれだけズレているかを、外部に通知することができる。
【0110】
(8)情報処理システム100は、収穫機1に設置された表示装置160をさらに備える。情報処理装置130は、信号SG2を表示装置160に出力する。表示装置160は、信号SG2に基づいた表示を行う。このような構成によれば、収穫機1のオペレータは、刈取部2が畝幅方向にどれだけズレているかを視認することができる。
【0111】
(9)表示装置160は、レベルメータである。表示装置160は、ズレ量ΔWの大きさに応じたレベルを表示する。このような構成によれば、収穫機1のオペレータはズレの程度を容易に確認することができる。
【0112】
(10)表示装置160は、収穫機1の運転席の前方に設置されている。このような構成によれば、オペレータは、刈取部2の方向を見つつ、ズレの程度を確認することができる。
【0113】
(11)表示装置160は、レベルの表示が収穫機1に対して左右方向に変化する向きに設置されている。このような構成によれば、レベル表示の変動方向と刈取部2の左右方向とが一致するため、視認性に優れる。
【0114】
[実施の形態2]
実施の形態1では、デプスカメラ110を1台備えた構成を説明した。本実施の形態では、デプスカメラを2台利用する構成について説明する。
【0115】
図15は、本実施の形態に係る収穫機1Aを前面から見た図である。
図15を参照して、収穫機1Aは、情報処理システム100Aを備える。情報処理システム100Aは、情報処理装置130Aと、デプスカメラ110R,100Lと、表示装置140R,140Lと、表示装置160とを備える。情報処理装置130Aは、デプスカメラ110R,100Lと、表示装置140R,140Lと、表示装置160とに通信可能に接続されている。
【0116】
収穫機1Aは、デプスカメラ110R,110Lを備える点において、デプスカメラ110を備える実施の形態1の収穫機1(
図4参照)と異なる。収穫機1Aは、表示装置140R,140Lを備える点において、表示装置140を備える実施の形態1の収穫機1とは異なる。なお、デプスカメラ110R,110Lが、デプスカメラ110と同様の構成および機能を有する。
【0117】
デプスカメラ110Rとデプスカメラ110Lとは、刈取刃203との距離が同一となる位置に設置されている。デプスカメラ110Rの筐体とデプスカメラ110Lの筐体とは、刈取刃203との距離が同一となる位置に設置されている。
【0118】
デプスカメラ110Rは、刈取部2の横方向(Y軸方向)の中央位置から右外側方向に設置されている。デプスカメラ110Rは、ピックアップコンベア201の横方向の中央位置から右外側方向に設置されている。
【0119】
デプスカメラ110Lは、刈取部2の横方向(Y軸方向)の中央位置から左外側方向に設置されている。デプスカメラ110Lは、ピックアップコンベア201の横方向の中央位置から左外側方向に設置されている。
【0120】
デプスカメラ110Lは、ピックアップコンベア201の横方向の中央位置に対して、デプスカメラ110Rと対称となる位置に設置されている。デプスカメラ110R,110Lのカメラ111とセンサ112とは、刈取部2に下向きに設置されている。
【0121】
デプスカメラ110R,Lは、デプスカメラ110と同様に、農地900までの距離(高さ)を測定する。
【0122】
表示装置140Rは、デプスカメラ110Rによって取得された画像データに基づく表示を行なう。表示装置140Lは、デプスカメラ110Lによって取得された画像データに基づく表示を行なう。このように、表示装置140Rとデプスカメラ110Rとが対になり、表示装置140Lとデプスカメラ110Lとが対になっている。
【0123】
表示装置140R,140Lは、収穫機1Aの運転席4の前方に設置されている。表示装置140Rは、支持フレーム12の中央(Y軸方向中央)から右外側方向に設置されている。表示装置140Lは、支持フレーム12の中央(Y軸方向中央)から左外側方向に設置されている。
【0124】
表示装置140Rは、運転席4から見て左前方および右前方のうち、デプスカメラ110Rと同じ方向に設置されている。表示装置140Lは、運転席4から見て左前方および右前方のうち、デプスカメラ110Lと同じ方向に設置されている。
【0125】
表示装置140R,140Lは、表示装置140と同様に、レベルの表示が収穫機1に対して上下方向に変化する向きに設置されている。表示装置140R,140Lは、支持フレーム12に対して鉛直方向に設置されている。
【0126】
情報処理装置130Aは、デプスカメラ110RからのRGB画像データおよび距離画像データと、デプスカメラ110LからのRGB画像データおよび距離画像データとを、個別に処理する。
【0127】
図16は、2台のデプスカメラ110R,110Lによる撮像を説明するための図である。
【0128】
図16を参照して、情報処理装置130Aは、デプスカメラ110Rから畝面911までの距離Deを決定する。情報処理装置130Aは、デプスカメラ110Rから畝通路920までの距離Dfを決定する。
【0129】
情報処理装置130Aは、デプスカメラ110Lから畝面911までの距離Dgを決定する。情報処理装置130Aは、デプスカメラ110Lから畝通路920までの距離Dhを決定する。
【0130】
情報処理装置130Aは、距離Deと基準距離Dsとの差分ΔDq_Rを算出する。情報処理装置130Aは、距離Dgと基準距離Dsとの差分ΔDq_Lを算出する。本実施の形態では、実施の形態1とは異なり、2つの差分を算出する。なお、本実施の形態における差分の算出は、実施の形態1の差分の算出方法と同様である。
【0131】
情報処理装置130Aは、RGB画像データと、距離画像データとに基づき、畝910の畝幅方向の中央位置に対する刈取部2のズレ量ΔWを算出する。
【0132】
図17は、表示装置140R,140L,160を説明するための図である。
図17を参照して、表示装置140R,Lは、表示装置140と同様に、複数のLED141~149を有する。
【0133】
表示装置140R,Lは、LED141~149の少なくとも1つを発光することによって、刈取部2(詳しくは、刈取刃203)の基準位置(適正位置)からの高さ方向(Z軸方向)のズレ量を表す。
【0134】
表示装置140Rは、LED141~149のうち、差分ΔDq_Rの大きさに応じたLEDを点灯する。表示装置140Rは、差分ΔDq_Rが大きくなるにつれ、より上側のLEDを点灯する。表示装置140Rは、差分ΔDq_Rが小さくなるにつれ、より下側のLEDを点灯する。
【0135】
表示装置140Lは、LED141~149のうち、差分ΔDq_Lの大きさに応じたLEDを点灯する。表示装置140Lは、差分ΔDq_Lが大きくなるにつれ、より上側のLEDを点灯する。表示装置140Lは、差分ΔDq_Lが小さくなるにつれ、より下側のLEDを点灯する。
【0136】
このような表示により、収穫機1のオペレータは、刈取部2を上方に移動させるべきか、下方に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度上下に刈取部2を移動させるべきかについても容易に知ることができる。特に、オペレータは、刈取部2を上下移動させる2つのアクチュエータ11R,11L(
図15参照)の各々を、どの程度動作させるべきかを容易に知ることができる。
【0137】
たとえば、表示装置140RのLED147が点灯し、かつ表示装置140LのLED145が点灯している場合には、オペレータは、アクチュエータ11Rを伸ばして、刈取部2を下げる必要があることを容易に知ることができる。
【0138】
図18は、情報処理装置130Aの構成を説明するための図である。
図18を参照して、情報処理装置130Aは、プロセッサ1310Aと、メモリ1320と、通信インターフェイス1330と、通信インターフェイス1340とを備える。
【0139】
プロセッサ1310Aは、機能ブロックとして、正規化処理部1311と、領域抽出部1312と、距離決定部1313と、距離決定部1314と、差分算出部1315と、ズレ量算出部1316Aと、表示制御部1317Aとを有する。
【0140】
本実施の形態では、正規化処理部1311と、領域抽出部1312と、距離決定部1313と、距離決定部1314と、差分算出部1315とは、実施の形態1で説明した処理を、2つのデプスカメラ110R,110Lから送られてくるデータ毎に実行する。なお、正規化処理部1311と、領域抽出部1312と、距離決定部1313と、距離決定部1314と、差分算出部1315とが、デプスカメラ110R用と、デプスカメラ110Lとに分かれて設けられていてもよい。
【0141】
表示制御部1317Aは、3つの表示装置140R,140L,160に信号を送信する点において、2つの表示装置140,160に信号SG1,SG2を送信する構成の実施の形態1の表示制御部1317とは異なる。
【0142】
次に、ズレ量算出部1316Aについて説明する。ズレ量算出部1316Aによるズレ量ΔWの算出方法は、実施の形態1のズレ量算出部1316によるズレ量ΔWの算出方法とは異なる。
【0143】
図19は、本実施の形態におけるズレ量ΔWの算出方法の一例を説明するための図である。
【0144】
図19を参照して、右側のデプスカメラ110Rによって取得されたRGB画像データに基づく画像901GRは、畝910の画像910GRと、畝通路920の画像920GRとを含む。畝910の画像910GRは、畝面911の画像911GRと、傾斜面912の画像911GRとを含む。
【0145】
左側のデプスカメラ110Lによって取得されたRGB画像データに基づく画像901GLは、畝910の画像910GLと、畝通路920の画像920GLとを含む。畝910の画像910GLは、畝面911の画像911GLと、傾斜面912の画像912GLとを含む。
【0146】
ズレ量算出部1316Aは、距離Deと距離Dfとの中間の距離Di(Di=(De+Df)/2)を求める。ズレ量算出部1316Aは、右の傾斜面912において距離Diとなる位置Pdを特定する。
【0147】
ズレ量算出部1316Aは、距離Dfと距離Dgとの中間の距離Dj(Dj=(Df+Dg)/2)を求める。ズレ量算出部1316Aは、左の傾斜面912において距離Djとなる位置Peを特定する。
【0148】
ズレ量算出部1316Aは、画像901GRにおけるX軸方向に沿った中心線Ldと、位置Pdとの距離WRを求める。ズレ量算出部1316Aは、画像901GLにおけるX軸方向に沿った中心線Leと、位置Peとの距離WLを求める。ズレ量算出部1316Aは、WRとWLとの和を2で割ることにより、ズレ量ΔWを算出する。
【0149】
本例の場合、
図19にように距離WRが距離WLよりも大きいときには、刈取部2が畝910に対して左方向に寄っている。このため、表示装置160は、LED161~169のうち、LED165よりも左側のLEDを点灯させる。
【0150】
距離WRが距離WLよりも小さいときには、刈取部2が畝910に対して右方向に寄っている。このため、表示装置160は、LED161~169のうち、LED165よりも右側のLEDを点灯させる。
【0151】
このような表示によれば、オペレータは、収穫機1のハンドルを、どちらの回転方向にどの程度回転させればよいかを判断できる。
【0152】
なお、距離WR,WLは、畝910の畝幅方向に対する刈取部2のズレに起因する指標値の一例である。
【0153】
図20は、情報処理システム100Aによって実行される処理の前半の流れを表したフロー図である。
【0154】
図20を参照して、ステップS1A~S7Aは、実施の形態1の
図14のステップS1~S7に対応する。ステップS1A~S7AがステップS1~S7と異なる点は、デプスカメラの参照符号(110R)と、距離の参照符号(De)と、差分の参照符号(ΔDq_R)である。
【0155】
同様に、ステップS1B~S7Bも、実施の形態1の
図14のステップS1~S7に対応する。ステップS1B~S7BがステップS1~S7と異なる点は、デプスカメラの参照符号(110L)と、距離の参照符号(Dg)と、差分の参照符号(ΔDq_L)である。
【0156】
したがって、ここでは、ステップS1A~S7AおよびステップS1B~S7Bの説明は繰り返さない。
【0157】
図21は、情報処理システム100Aによって実行される処理の後半の流れを表したフロー図である。
【0158】
図21を参照して、ステップS8において、
図19に基づき説明したように、情報処理装置130Aは、畝910の畝幅方向の中央位置に対する刈取部2のズレ量ΔWを算出する。
【0159】
ステップS9Aにおいて、情報処理装置130Aは、算出された差分ΔDq_Rを表す信号SG1_Rを表示装置140Rに送信する。ステップS9Bにおいて、情報処理装置130Aは、算出された差分ΔDq_Lを表す信号SG1_Lを表示装置140Lに送信する。ステップS10において、情報処理装置130Aは、ズレ量ΔWを表す信号SG2を表示装置160に送信する。
【0160】
ステップS11Aにおいて、表示装置140Rは、差分ΔDq_Rに応じたLEDを点灯させる。ステップS11Bにおいて、表示装置140Lは、差分ΔDq_Lに応じたLEDを点灯させる。ステップS12において、表示装置160は、ズレ量ΔWに応じたLEDを点灯させる。
【0161】
(小括)
本実施の形態1とは異なる点に着目して、情報処理システム100Aを小括すると、以下のとおりである。
【0162】
(1)情報処理システム100Aは、刈取部2に下向きに設置された、デプスカメラ110Rのカメラ111と、デプスカメラ110Rのセンサ112とを備える。情報処理システム100Aは、刈取部2に下向きに設置された、デプスカメラ110Lのカメラ111と、デプスカメラ110Lのセンサ112とを備える。
【0163】
デプスカメラ110Rのカメラ111とセンサ112とは、収穫機1Aの運転席4から見て右前方に設置されている。デプスカメラ110Lのカメラ111とセンサ112とは、収穫機1Aの運転席4から見て左前方に設置されている。
【0164】
デプスカメラ110Rのカメラ111は、農地900を撮像し、かつ撮像によって得られたRGB画像データを情報処理装置130Aに出力する。デプスカメラ110Rのセンサ112は、農地900をセンシングし、かつセンシングによって得られた、センサ112から農地900までの距離を表す距離画像データを情報処理装置130Aに出力する。
【0165】
同様に、デプスカメラ110Lのカメラ111は、農地900を撮像し、かつ撮像によって得られたRGB画像データを情報処理装置130Aに出力する。デプスカメラ110Lのセンサ112は、農地900をセンシングし、かつセンシングによって得られた、センサ112から農地900までの距離を表す距離画像データを情報処理装置130Aに出力する。
【0166】
情報処理装置130Aは、デプスカメラ110Rによって取得されたRGB画像データに基づき、農地900の画像から少なくとも畝910の画像領域を抽出する。情報処理装置130Aは、抽出の結果と、距離画像データとに基づき、デプスカメラ110Rのセンサ112から畝910までの距離Deを決定する。情報処理装置130Aは、距離Deと予め定められた基準距離Dsとの差分ΔDq_Rに基づいた信号SG1_Rを出力する。
【0167】
同様に、情報処理装置130Aは、デプスカメラ110Lによって取得されたRGB画像データに基づき、農地900の画像から少なくとも畝910の画像領域を抽出する。情報処理装置130Aは、抽出の結果と、距離画像データとに基づき、デプスカメラ110Lのセンサ112から畝910までの距離Dgを決定する。情報処理装置130Aは、距離Dgと予め定められた基準距離Dsとの差分ΔDq_Lに基づいた信号SG1_Lを出力する。
【0168】
このような構成によれば、センサ112から農作物までの距離ではなく、畝面911までの距離De,Dgを計測できる。それゆえ、センサ112から畝910までの距離を、刈取部2の左右の位置において正確に計測可能となる。また、距離De,Dgと基準距離Dsとの差分ΔDqを出力するため、情報処理装置130Aは、刈取部2が基準距離Dsとなる位置から、刈取部2の左右の位置において上下方向にどれだけズレているかを、外部に通知することができる。
【0169】
なお、デプスカメラ110Rとデプスカメラ110Lとが、刈取刃203との距離が同一とならない位置に設置されている場合には、基準距離Dsをデプスカメラ110Rとデプスカメラ110Lとで個別に設定すればよい。たとえば、基準距離Dsとして、第1の基準距離と、第2の基準距離とを用いればよい。
【0170】
(2)情報処理システム100Aは、各々が収穫機1に設置された、表示装置140Rと表示装置140Lとをさらに備える。情報処理装置130Aは、信号SG1_Rを表示装置140Rに出力する。情報処理装置130Aは、信号SG1_Lを表示装置140Lに出力する。表示装置140Rは、信号SG1_Rに基づいた表示を行う。表示装置140Lは、信号SG1_Lに基づいた表示を行う。
【0171】
このような構成によれば、収穫機1Aのオペレータは、刈取部2の左側と右側との各々が基準距離Dsとなる位置から上下方向にどれだけズレているかを視認することができる。
【0172】
(3)表示装置140Rは、運転席4から見て左前方および右前方のうち、デプスカメラ110Rのカメラ111およびセンサ112と同じ方向(すなわち右前方)に設置されている。表示装置140Lは、運転席4から見て左前方および右前方のうち、デプスカメラ110Lのカメラ111およびセンサ112と同じ方向(すなわち左前方)に設置されている。
【0173】
このような構成によれば、オペレータは、刈取部2の右側前方部位の上下方向のズレを右側の表示装置140Rで確認することができる。また、オペレータは、刈取部2の左側前方部位の上下方向のズレを右側の表示装置140Lで確認することができる。
【0174】
それゆえ、オペレータは、視線を大きく動かすことなく、表示装置140Rと刈取部2の右側前方部位とを視認することができる。また、オペレータは、視線を大きく動かすことなく、表示装置140Lと刈取部2の左側前方部位とを視認することができる。したがって、このような表示装置140R,140Lの配置によれば、作業効率を向上させることができる。
【0175】
(4)情報処理装置130Aは、デプスカメラ110Rによって取得されたRGB画像データと距離画像データとに基づき、畝910の畝幅方向に対する刈取部2のズレに起因する第1の指標値(距離WR)を算出する。情報処理装置130Aは、デプスカメラ110Lによって取得されたRGB画像データと距離画像データとに基づき、畝910の畝幅方向に対する刈取部2のズレに起因する第2の指標値(距離WL)を算出する。
【0176】
情報処理装置130Aは、第1の指標値と第2の指標値とに基づき、畝910の畝幅方向の中央位置に対する刈取部2のズレ量ΔWを算出する。情報処理装置130Aは、ズレ量ΔWに基づいた信号SG2を出力する。
【0177】
このような構成によれば、刈取部2が畝幅方向にどれだけズレているかを、外部に通知することができる。
【0178】
(5)情報処理システム100Aは、収穫機1に設置された表示装置160をさらに備える。情報処理装置130Aは、信号SG2を表示装置160に出力する。表示装置160は、信号SG2に基づいた表示を行う。このような構成によれば、収穫機1Aのオペレータは、刈取部2が畝幅方向にどれだけズレているかを視認することができる。
【0179】
[実施の形態3]
実施の形態2では、情報処理装置130Aは、差分ΔDq_Rを表示装置140Rにおいてレベルで表示し、かつ差分ΔDq_Lを表示装置140Lにおいてレベルで表示した。また、情報処理装置130Aは、ズレ量ΔWを表示装置160においてレベルで表示した。
【0180】
本実施の形態に係る収穫機1Bは、自動運転が可能な車両である。収穫機1Bは、差分ΔDq_R,差分ΔDq_Lを用いて、アクチュエータ11R,11Lを自動制御する構成について説明する。また、収穫機1Bは、ズレ量ΔWを用いて、収穫機1Bの操舵装置を自動制御する。このため、収穫機1Bでは、表示装置140R,140L,160は必須ではない。
【0181】
図22は、本実施の形態に係る収穫機1Bの構成を説明するための図である。
図22を参照して、収穫機1Bは、デプスカメラ110R,110Lと、操舵装置18と、アクチュエータ11R,11Lと、コントロールバルブ19R,19Lと、コントローラ20とを備える。
【0182】
コントローラ20は、収穫機1Bの全体的な動作を制御する。コントローラ20は、本例では、情報処理装置130Aの機能を実行する。
【0183】
デプスカメラ110R,110Lによって取得された画像データ(RGB画像データおよび距離画像データ)は、コントローラ20に送られる。コントローラ20は、差分ΔDq_R,ΔDq_Lと、ズレ量Δwとを算出する。
【0184】
コントロールバルブ19Rに供給するパイロット油の流量を制御する。コントローラ20は、差分ΔDq_Lに基づき、コントロールバルブ19Lに供給するパイロット油の流量を制御する。
【0185】
コントロールバルブ19Rは、パイロット油の流量に応じて、アクチュエータ11Rに供給する作動油の流量を制御する。コントロールバルブ19Lは、パイロット油の流量に応じて、アクチュエータ11Lに供給する作動油の流量を制御する。
【0186】
操舵装置18は、本例では、前輪9Lの向きを変更する装置である。コントローラ20は、ズレ量ΔWに基づき、操舵装置18の操舵角を制御する。なお、運転席4のハンドル401は、操舵角に応じて自動で回転する。
【0187】
このような構成によれば、刈取部2の位置をオペレータが操作することなく、刈取部2(詳しくは、刈取刃203)を、農作物990の収穫作業に適した位置に制御することが可能となる。
【0188】
(小括)
以下では、デプスカメラ110R,110Lの一方に着目して、本実施の形態を小括する。
【0189】
(1)収穫機1は、本体部3と、刈取刃203を有し、かつ本体部3に対して上下方向に移動可能な刈取部2と、コントローラ20と、刈取部2に下向きに設置されたカメラ111およびセンサ112とを備える。
【0190】
カメラ111は、刈取刃203の前方に位置し、かつ農作物990が畝に生育した農地900を撮像する。カメラ111は、撮像によって得られたRGB画像データをコントローラ20に出力する。センサ112は、農地900をセンシングし、かつセンシングによって得られた、センサ112から農地900までの距離を表す距離画像データをコントローラ20に出力する。
【0191】
コントローラ20は、RGB画像データに基づき、農地900の画像から少なくとも畝910の画像領域を抽出する。コントローラ20は、抽出の結果と、距離画像データとに基づき、センサ112から畝910までの距離を決定する。コントローラ20は、決定された距離と予め定められた基準距離Dsとの差分に基づいて、刈取部2の上下方向の位置を制御する。
【0192】
(2)収穫機1Bは、操舵装置18をさらに備える。コントローラ20は、RGB画像データに基づき、畝910の畝幅方向の中央位置に対する刈取部2のズレ量を算出する。コントローラ20は、ズレ量に基づいて、操舵装置18の操舵角度を制御する。
【0193】
(変形例)
(1)情報処理装置130Aが、コントローラ20とは別に設けられていてもよい。
【0194】
この場合、情報処理装置130Aは、コントローラ20に差分ΔDq_R,ΔDq_Lをコントローラ20に通知すればよい。また、情報処理装置130Aは、コントローラ20にズレ量ΔWを通知すればよい。
【0195】
(2)実施の形態1で示したようにデプスカメラを1台だけ使用する場合であっても、本実施の形態の上記自動制御を適用できる。
【0196】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0197】
1,1A,1B 収穫機、2 刈取部、3 本体部、4 運転席、5 分別装置、6 側部コンベア、7 エレベータ、8L,8R 補助輪、9L,9R 前輪、10L,10R 後輪、11L,11R アクチュエータ、12,13 支持フレーム、18 操舵装置、19L,19R コントロールバルブ、20 コントローラ、100,100A 情報処理システム、100L,110,110L,110R,L デプスカメラ、111 カメラ、112 センサ、130,130A 情報処理装置、140,140L,140R,160,L 表示装置、201 ピックアップコンベア、202 アーム部、203 刈取刃、401 ハンドル、402 座席、403 操作盤、411 操作部、810L,810R,820L,820R,F 矢印、900 農地、910 畝、911 畝面、912 傾斜面、920 畝通路、950 マルチシート、990 農作物、991 茎、992 実、1121 赤外線プロジェクタ、1122 赤外線ステレオカメラ、1122R,1123L 赤外線カメラ、1310,1310A プロセッサ、1311 正規化処理部、1312 領域抽出部、1313,1314 距離決定部、1315 差分算出部、1316,1316A ズレ量算出部、1317,1317A 表示制御部、1320 メモリ、1330,1340 通信インターフェイス、Da,Db,De,Df,Dg,Dh,Du,W1,W2,WL,WR 距離、Ds 基準距離、Lc,Ld,Le 中心線、Pa,Pb,Pd,Pe 位置、Pc 中央位置。