特開 2023-104471 作業車両及び圃場情報表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023104471

(43)【公開日】2023-07-28

(54)【発明の名称】作業車両及び圃場情報表示システム

(51)【国際特許分類】

   A01B 69/00 20060101AFI20230721BHJP

【ＦＩ】

A01B69/00 301

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022005472

(22)【出願日】2022-01-18

(71)【出願人】

【識別番号】000001878

【氏名又は名称】三菱マヒンドラ農機株式会社

(74)【代理人】

【識別番号】100085394

【弁理士】

【氏名又は名称】廣瀬 哲夫

(74)【代理人】

【識別番号】100128392

【弁理士】

【氏名又は名称】服部 秀一

(74)【代理人】

【識別番号】100165456

【弁理士】

【氏名又は名称】鈴木 佑子

(72)【発明者】

【氏名】寺田 琢磨

(72)【発明者】

【氏名】加藤 将太郎

【テーマコード（参考）】

2B043

【Ｆターム（参考）】

2B043AA03

2B043AB07

2B043AB19

2B043BA02

2B043BB01

2B043BB06

2B043BB14

2B043DC03

2B043EA03

2B043EA12

2B043EA32

(57)【要約】

【課題】圃場側指標のない圃場であっても、進性及び作業性を向上させることが可能な作業車両及び圃場情報表示システムを提供する。
【解決手段】圃場を撮影可能なカメラ２２１と、画像を表示可能なディスプレイ２２７と、ディスプレイ２２７を表示制御可能な制御部２１０と、を備えるトラクタであって、制御部２１０は、圃場情報に基づいて作業走行の基準線となる作業基準線を算出し、現在の圃場画像又は作業者の視野内に作業基準線を重ね合わせて表示させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

圃場を撮影可能なカメラと、
画像を表示可能な表示部と、
前記表示部を表示制御可能な制御部と、を備える作業車両であって、
前記制御部は、
圃場情報に基づいて作業走行の基準線となる作業基準線を算出する作業基準線算出手段と、
現在の前記圃場画像又は作業者の視野内に前記作業基準線を重ね合わせて表示させる作業基準線重合表示手段と、を備えることを特徴とする作業車両。

【請求項2】

前記カメラの撮影姿勢を検出する姿勢検出手段を更に備え、
前記圃場情報には、前記カメラの撮影画像と撮影時のカメラ姿勢に基づいて算出される圃場位置情報が含まれることを特徴とする請求項１に記載の作業車両。

【請求項3】

前記圃場情報には、圃場の平面形状を特定可能な圃場位置情報が含まれることを特徴とする請求項１又は２に記載の作業車両。

【請求項4】

前記表示部は、視野内に画像を重ねて表示可能なスマートグラスであり、
前記作業基準線重合表示手段は、前記スマートグラスの視野内に前記作業基準線を重ね合わせて表示させることを特徴とする請求項１～３のいずれか１項に記載の作業車両。

【請求項5】

前記作業基準線重合表示手段は、前記スマートグラスの視野の変化に応じて、前記作業基準線の重ね合わせ位置を補正することを特徴とする請求項４に記載の作業車両。

【請求項6】

圃場を撮影可能なカメラと、
画像を表示可能な表示部と、
前記表示部を表示制御可能な制御部と、を備える圃場情報表示システムであって、
前記表示部は、視野内に画像を重ねて表示可能なスマートグラスであり、
前記制御部は、
圃場情報に基づいて作業走行の基準線となる作業基準線を算出する作業基準線算出手段と、
前記スマートグラスの視野内に前記作業基準線を重ね合わせて表示させる作業基準線重合表示手段と、を備えることを特徴とする圃場情報表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、トラクタなどの作業車両及び圃場情報表示システムに関する。

【背景技術】

【0002】

特許文献１には、少なくとも一方の面にカメラを有し、かつ少なくとも他方の面にディスプレイを有するスマートフォンと、スマートフォンを支持するスマートフォン支持台と、を備え、カメラが撮影した機体前方の画像とディスプレイ上の絶対位置に表示される指標とをディスプレイに合成表示させる農作業機が開示されている。このような農作業機によれば、作業者の視点のずれに拘わらず、圃場側指標と機体側指標との絶対的な位置関係を認識することができるので、作業者の視点のずれに起因するステアリングハンドルの誤操作を防止し、直進性を向上させることが可能になる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１６３７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の農作業機は、圃場側指標のない圃場において直進性を向上させることが困難であった。

【課題を解決するための手段】

【0005】

本発明は、上記の如き実情に鑑みこれらの課題を解決することを目的として創作されたものであって、請求項１の発明は、圃場を撮影可能なカメラと、画像を表示可能な表示部と、前記表示部を表示制御可能な制御部と、を備える作業車両であって、前記制御部は、圃場情報に基づいて作業走行の基準線となる作業基準線を算出する作業基準線算出手段と、現在の前記圃場画像又は作業者の視野内に前記作業基準線を重ね合わせて表示させる作業基準線重合表示手段と、を備えることを特徴とする。
また、請求項２の発明は、請求項１に記載の作業車両であって、前記カメラの撮影姿勢を検出する姿勢検出手段を更に備え、前記圃場情報には、前記カメラの撮影画像と撮影時のカメラ姿勢に基づいて算出される圃場位置情報が含まれることを特徴とする。
また、請求項３の発明は、請求項１又は２に記載の作業車両であって、前記圃場情報には、圃場の平面形状を特定可能な圃場位置情報が含まれることを特徴とする。
また、請求項４の発明は、請求項１～３のいずれか１項に記載の作業車両であって、前記表示部は、視野内に画像を重ねて表示可能なスマートグラスであり、前記作業基準線重合表示手段は、前記スマートグラスの視野内に前記作業基準線を重ね合わせて表示させることを特徴とする。
また、請求項５の発明は、請求項４に記載の作業車両であって、前記作業基準線重合表示手段は、前記スマートグラスの視野の変化に応じて、前記作業基準線の重ね合わせ位置を補正することを特徴とする。
また、請求項６の発明は、圃場を撮影可能なカメラと、画像を表示可能な表示部と、前記表示部を表示制御可能な制御部と、を備える圃場情報表示システムであって、前記表示部は、視野内に画像を重ねて表示可能なスマートグラスであり、前記制御部は、圃場情報に基づいて作業走行の基準線となる作業基準線を算出する作業基準線算出手段と、前記スマートグラスの視野内に前記作業基準線を重ね合わせて表示させる作業基準線重合表示手段と、を備えることを特徴とする。

【発明の効果】

【0006】

請求項１の発明によれば、圃場情報に基づいて作業走行の基準線となる作業基準線を算出し、現在の圃場画像又は作業者の視野内に作業基準線を重ね合わせて表示させるので、圃場側指標のない圃場であっても、作業基準線に沿って走行することで、直進性及び作業性を向上させることができる。
また、請求項２の発明によれば、圃場情報には、カメラの撮影画像と撮影時のカメラ姿勢に基づいて算出される圃場位置情報が含まれるので、正確な作業基準線を設定することができる。
また、請求項３の発明によれば、圃場情報には、圃場の平面形状を特定可能な圃場位置情報が含まれるので、より正確な作業基準線を設定することができる。
また、請求項４の発明によれば、表示部は、視野内に画像を重ねて表示可能なスマートグラスであり、スマートグラスの視野内に作業基準線を重ね合わせて表示させるので、作業基準線の視認性が向上し、直進性及び作業性をさらに向上させることができる。
また、請求項５の発明によれば、スマートグラスの視野の変化に応じて、作業基準線の重ね合わせ位置を補正するので、スマートグラスの視野の変化に起因する作業基準線のずれを抑制できる。
また、請求項６の発明によれば、特定の作業車両の装備としてではなく、各種の作業車両において利用可能な汎用性の高い圃場情報表示システムを提供することが可能になる。

【図面の簡単な説明】

【0007】

【図1】トラクタの側面図である。

【図2】圃場情報表示システムの構成を示すブロック図である。

【図3】スマートグラスの視野内に作業基準線を重ね合わせて表示した状態を示す図である。

【図4】ボンネットに設けたマーカを示す図である。

【図5】作業基準線の表示制御手順を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、本発明の実施の形態について、図面に基づいて説明する。図１において、１はトラクタＴ（作業車両）の走行機体であって、該走行機体１は、エンジン（図示せず）が搭載されるエンジン搭載部２と、エンジン動力を変速するミッションケース３と、ミッションケース３から出力される動力で回転駆動される前輪４及び後輪５と、各種の作業機を連結可能な作業機連結部６と、作業者が乗車する操縦部７と、操縦部７を覆うキャビン８と、を備える。

【0009】

また、走行機体１には、図２に示すような圃場情報表示システム１００が装備されている。本実施形態の圃場情報表示システム１００には、走行機体１に設けられる第１構成と、走行機体１から分離可能な第２構成とが含まれるが、すべての構成を走行機体１に設けてもよいし、すべての構成を走行機体１から分離可能としてもよい。

【0010】

圃場情報表示システム１００の第１構成は、走行機体１に設けられる制御部１０、ＧＮＳＳユニット１１及び通信装置１２を利用して構成される。制御部１０は、走行機体１の位置情報及び方位情報をＧＮＳＳユニット１１から入力し、通信装置１２を介して第２構成側に送信することができる。また、制御部１０は、作業車両の機体情報を記憶しており、これを通信装置１２を介して第２構成側に送信することができる。機体情報は、例えば、作業進捗状況、機体種別（トラクタ、田植機、コンバインなど）、トラクタＴの場合は作業機幅、作業機種別、田植機の場合は植付幅、植付条数、コンバインの場合は刈取幅、刈取条数などが含まれる。

【0011】

圃場情報表示システム１００の第２構成は、携帯端末２００を備える。携帯端末２００は、メガネ形態の携帯端末であるスマートグラス単体で構成してもよいし、スマートフォン、タブレットＰＣ及びノートＰＣのいずれか１つで構成してもよいし、これらの組み合わせで構成してもよい。

【0012】

図２に示すように、携帯端末２００は、各種の制御処理を実行する制御部２１０を備える。制御部２１０には、圃場を撮影可能なカメラ２２１と、距離を計測可能なＬｉｄｅｒセンサなどの距離センサ２２２と、携帯端末２００の位置を検出する位置センサ２２３と、タッチパネルなどの入力装置２２４と、携帯端末２００の姿勢を検出可能なＩＭＵセンサ２２５（姿勢検出位手段：加速度センサやジャイロセンサを含む）と、無線通信を行う通信装置２２６と、画像を表示可能なディスプレイ２２７（表示部）と、音を出力するスピーカ２２８と、が接続されている。制御部２１０は、通信装置２２６を介して制御部１０から走行機体１の位置情報、方位情報、機体情報などを受信する。

【0013】

なお、本実施形態では、画像の表示場所として、視野内に画像を重ねて表示可能なスマートグラスの表示部を想定しているが、スマートフォン、タブレットＰＣ及びノートＰＣの表示部であってもよいし、走行機体１に設けられる表示部であってもよい。また、プロジェクタを用いて走行機体１のフロントガラスに画像を投影するようにしてもよい。

【0014】

制御部２１０は、ハードウェアとソフトウェアとの協働により実現される機能的な構成として、作業基準線算出手段及び作業基準線重合表示手段を備える。

【0015】

作業基準線算出手段は、圃場情報に基づいて作業走行の基準線となる作業基準線Ｌを算出する。例えば、圃場の平面形状を特定可能な圃場位置情報に基づいて、圃場の作業領域において所定幅（例えば、作業機幅、植付幅、刈取幅など）で並列する複数の作業基準線Ｌを算出する。所定幅は、機体情報から取得可能であり、作業車両や作業機の種類に拘らず適切な幅の作業基準線Ｌを算出することが可能になる。

【0016】

なお、圃場情報としては、地図データ、測量データ、航空写真などを利用可能であるが、携帯端末２００の機能を利用して算出するようにしてもよい。例えば、カメラ２２１による圃場の撮影画像と、ＩＭＵセンサ２２５による携帯端末２００の撮影姿勢情報とに基づいて、圃場の平面位置情報を算出するようにしてもよい。このような技術は、ＳＬＡＭ「Simultaneous Localization and Mapping」という名称で知られており、その技術内容は公知である。

【0017】

作業基準線重合表示手段は、現在の圃場画像又は作業者の視野内に作業基準線Ｌを重ね合わせて表示させる。例えば、スマートグラスに表示する場合は、スマートグラスの視野内に作業基準線Ｌを重ね合わせて表示し、スマートフォン、タブレットＰＣ及びノートＰＣの場合は、現在の圃場画像に作業基準線Ｌを重ね合わせて表示させる。このとき、スマートグラスの視野と作業基準線Ｌとの位置合わせや、現在の圃場画像と作業基準線Ｌとの位置合わせは、機体情報、携帯端末２００の位置及び姿勢、走行機体１の位置及び向きなどに基づいて行われる。

【0018】

また、作業基準線重合表示手段は、図３に示すように、現在の圃場画像又は作業者の視野内に作業基準線Ｌを重ね合わせて表示させるにあたり、現在の作業基準線Ｌと、作業済みの作業基準線Ｌ１と、作業前の作業基準線Ｌ２と、を識別可能に表示することができる。例えば、３種類の作業基準線Ｌ、Ｌ１、Ｌ２を色分け表示する。

【0019】

また、作業基準線重合表示手段は、スマートグラスの視野内に作業基準線Ｌを重ねて表示する場合、スマートグラスの視野の変化に応じて作業基準線Ｌの重ね合わせ位置を補正することができる。例えば、図４に示すように、走行機体１のボンネット９に文字、記号、シンボルなどのマーカＭを設けておき、スマートグラスの視野内（カメラ２２１の画像内）においてマーカＭを認識したら、マーカＭの位置を基準として視線方向を特定し、作業基準線Ｌの重ね合わせ位置を補正する。なお、マーカＭは、機体情報を含む二次元コードとし、二次元コードを介して機体情報を読み取るようにしてもよい。

【0020】

なお、本実施形態では、現在の圃場画像又は作業者の視野内に作業基準線Ｌを重ね合わせて表示するが、作業基準線Ｌだけでなく、その他の各種情報を現在の圃場画像又は作業者の視野内に重ね合わせて表示することができる。その他の各種情報としては、例えば、走行機体１の情報（警報、エンジン回転、車速、施肥モニタ、苗残量、収穫量、水分、籾量、機体設定など）、作業状況（作業面積、予測作業時間、必要苗枚数、予測収穫量など）、肥料、種、苗などの資材補給場所、機体不具合時の連絡先（ディーラー電話番号など）、圃場範囲、圃場端（枕地）までの距離、機体消耗品情報、機体内部透視図などが含まれる。また、これらの表示項目の切り換えは、音声入力、タッチ入力、スマートグラスの視線変化などに基づいて行うことができる。また、機体消耗品情報や機体内部透視図は、スマートグラスの視野内又は現在のカメラ画像に機体対象部位が含まれる場合に、スマートグラスの視野内又は現在のカメラ画像に重ね合わせて表示することが望ましい。

【0021】

つぎに、上記のような機能構成を実現する制御部２１０の制御手順について、図５を参照して説明する。

【0022】

図５に示すように、制御部２１０は、作業基準線の表示制御を行うにあたり、まず、圃場の平面情報を取得した後（Ｓ１）、走行機体１の進行方向（作業走行方向）の入力を求める（Ｓ２）。その後、制御部２１０は、走行機体１の機体情報を取得し（Ｓ３）、走行機体１の機体情報や圃場の平面情報などに基づいて、作業走行の基準線となる左右に並列した複数の作業基準線Ｌを算出し、算出した複数の作業基準線Ｌをスマートグラスの視野内又は現在の圃場画像に重ね合わせて表示させる（Ｓ４）。

【0023】

叙述の如く構成された本実施形態によれば、圃場を撮影可能なカメラ２２１と、画像を表示可能なディスプレイ２２７と、ディスプレイ２２７を表示制御可能な制御部２１０と、を備えるトラクタＴであって、制御部２１０は、圃場情報に基づいて作業走行の基準線となる作業基準線Ｌを算出し、現在の圃場画像又は作業者の視野内に作業基準線Ｌを重ね合わせて表示させるので、圃場側指標のない圃場であっても、作業基準線Ｌに沿って走行することで、直進性及び作業性を向上させることができる。

【0024】

また、カメラ２２１の撮影姿勢を検出し、カメラ２２１の撮影画像と撮影時のカメラ姿勢に基づいて圃場情報（圃場位置情報）を算出するので、正確な作業基準線Ｌを設定することができる。

【0025】

また、圃場情報には、圃場の平面形状を特定可能な圃場位置情報が含まれるので、より正確な作業基準線Ｌを設定することができる。

【0026】

また、携帯端末２００は、視野内に画像を重ねて表示可能なスマートグラスであり、スマートグラスの視野内に作業基準線Ｌを重ね合わせて表示させるので、作業基準線Ｌの視認性が向上し、直進性及び作業性をさらに向上させることができる。

【0027】

また、スマートグラスの視野の変化に応じて、作業基準線Ｌの重ね合わせ位置を補正するので、スマートグラスの視野の変化に起因する作業基準線Ｌのずれを抑制できる。

【符号の説明】

【0028】

Ｔ トラクタ
Ｌ 作業基準線
１ 走行機体
１１ ＧＮＳＳユニット
１２ 通信装置
１００ 圃場情報表示システム
２００ 携帯端末
２１０ 制御部
２２１ カメラ
２２２ 距離センサ
２２３ 位置センサ
２２４ 入力装置
２２５ ＩＭＵセンサ
２２６ 通信装置
２２７ ディスプレイ
２２８ スピーカ

【図1】

【図2】

【図3】

【図4】

【図5】