IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社クボタの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094637
(43)【公開日】2024-07-10
(54)【発明の名称】遠隔装置および遠隔操縦システム
(51)【国際特許分類】
   A01B 69/00 20060101AFI20240703BHJP
   G05D 1/00 20240101ALI20240703BHJP
【FI】
A01B69/00 301
A01B69/00 B
G05D1/00 B
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022211308
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】110003041
【氏名又は名称】安田岡本弁理士法人
(72)【発明者】
【氏名】小丸 千明
(72)【発明者】
【氏名】松崎 優之
【テーマコード(参考)】
2B043
5H301
【Fターム(参考)】
2B043AA04
2B043AB19
2B043BA02
2B043BA07
2B043BB01
2B043BB03
2B043BB04
2B043BB07
2B043BB11
2B043BB12
2B043BB20
2B043DA04
2B043DA17
2B043EA13
2B043EA23
2B043EA32
2B043EA35
2B043EA37
2B043EB16
2B043EB17
2B043EB18
2B043EC02
2B043ED02
2B043ED05
2B043EE01
2B043EE02
2B043EE05
2B043EE06
5H301AA03
5H301BB01
5H301CC03
5H301CC06
5H301CC10
5H301DD06
5H301DD07
5H301DD17
5H301GG07
5H301GG08
5H301GG09
5H301GG10
5H301GG14
5H301GG17
5H301LL08
5H301LL11
(57)【要約】
【課題】遠隔操縦をアシスト(支援)すること。
【解決手段】遠隔装置30は、作業車両1を遠隔操縦する操縦装置35と、作業車両1の速度又は加速度を示す走行情報を受信する通信装置33と、表示装置34と、操縦装置35にて作業車両1を遠隔操縦する場合に、走行情報が示す当該作業車両1の速度に応じて変化する強調表示を、表示装置34に表示させる制御装置31と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
作業車両を遠隔操縦する操縦装置と、
前記作業車両の速度又は加速度を示す走行情報を受信する通信装置と、
表示装置と、
前記操縦装置にて前記作業車両を遠隔操縦する場合に、前記走行情報に応じて変化する強調表示を、前記表示装置に表示させる制御装置と、を備える遠隔装置。
【請求項2】
前記通信装置は、前記作業車両が遠隔運転される場合に当該作業車両の進行方向を撮像した撮像画像を逐次に受信し、
前記表示装置は、遠隔運転画面に前記撮像画像を逐次に表示し、
前記制御装置は、前記遠隔運転画面に前記強調表示を表示させる請求項1に記載の遠隔装置。
【請求項3】
前記制御装置は、第1条件が成立した場合に前記強調表示を前記遠隔運転画面に表示させ、前記第1条件が不成立の場合に前記強調表示を前記遠隔運転画面に表示させない請求項2に記載の遠隔装置。
【請求項4】
前記制御装置は、複数の前記撮像画像の変化量が閾値未満である場合に前記第1条件の成立と判定し、複数の前記撮像画像の変化量が閾値以上である場合に前記第1条件の不成立と判定する請求項3に記載の遠隔装置。
【請求項5】
前記制御装置は、前記撮像画像において路面標示が含まれていない場合に前記第1条件の成立と判定し、前記撮像画像において前記路面標示が含まれている場合に前記第1条件の不成立と判定する請求項3に記載の遠隔装置。
【請求項6】
前記制御装置は、前記作業車両の位置情報と、地図情報とを用いて、当該作業車両の位置情報が示す現時点の位置が、前記地図情報が示す地図の所定領域に位置すれば、前記第1条件の成立と判定し、前記所定領域に位置しなければ前記第1条件の不成立と判定する請求項3に記載の遠隔装置。
【請求項7】
前記制御装置は、前記強調表示を前記遠隔運転画面の前記撮像画像上に重畳表示させる請求項2に記載の遠隔装置。
【請求項8】
前記制御装置は、前記強調表示を前記遠隔運転画面又は前記撮像画像の周縁部に表示させる請求項2に記載の遠隔装置。
【請求項9】
前記制御装置は、前記作業車両の速度又は加速度に応じて、前記周縁部の領域を変更する請求項8に記載の遠隔装置。
【請求項10】
前記制御装置は、前記作業車両の速度又は加速度に応じて表示体の移動速度を変更する請求項7に記載の遠隔装置。
【請求項11】
前記制御装置は、前記作業車両の速度又は加速度に応じて表示体の態様を変更する請求項7に記載の遠隔装置。
【請求項12】
前記表示体は、前記作業車両の進行方向に延びる表示体である請求項10又は11に記載の遠隔装置。
【請求項13】
前記表示体は、前記作業車両の進行方向に並べた複数の仮想表示物である請求項10又
は11に記載の遠隔装置。
【請求項14】
前記制御装置は、前記強調表示として、前記作業車両の速度又は加速度に応じて前記遠隔運転画面の撮像画像以外の特定箇所の色を変化させる請求項2に記載の遠隔装置。
【請求項15】
前記制御装置は、前記強調表示として、前記作業車両の速度又は加速度に応じて前記遠隔運転画面の枠の色を変化させる請求項2に記載の遠隔装置。
【請求項16】
前記遠隔運転画面には、前方撮像画像と後方撮像画像とが含まれ、
前記制御装置は、前進時には前記前方撮像画像に前記強調表示を、後進時には前記後方撮像画像に前記強調表示を表示させる請求項2に記載の遠隔装置。
【請求項17】
前記制御装置は、前記作業車両の後進時において、前記遠隔運転画面に前記作業車両の後進時の撮像画像が表示され、前記強調表示として、前記作業車両の速度又は加速度に応じて当該遠隔運転画面に表示されるガイド線の態様を変化させる請求項2に記載の遠隔装置。
【請求項18】
前記制御装置は、前記作業車両の加速時には、前記遠隔運転画面における前記撮像画像として映す範囲を加速度の変化分に応じて上側に変更させ、前記作業車両の減速時に前記遠隔運転画面における前記撮像画像として映す範囲を加速度の変化分に応じて下側に変更させる請求項2に記載の遠隔装置。
【請求項19】
前記制御装置は、前記作業車両の左旋回時には、前記遠隔運転画面における前記撮像画像として映す範囲を左旋回の操舵角に応じて右側に変更させ、前記作業車両の右旋回時には、前記遠隔運転画面における前記撮像画像として映す範囲を右旋回の操舵角に応じて左側に変更させる請求項2に記載の遠隔装置。
【請求項20】
作業車両と、請求項1~11、14~19の何れか1項に記載の遠隔装置と、を備え、
前記作業車両は、当該作業車両の速度を検出する検出装置と、当該作業車両の進行方向を撮像する撮像装置と、前記検出装置にて検出された速度又は加速度を示す走行情報と前記撮像装置にて撮像された撮像画像とを対応付けた対応データを送信する車載通信装置とを備え、
前記遠隔装置の前記通信装置は、前記車載通信装置から送信された前記対応データを受信する遠隔操縦システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業車両を遠隔操縦する遠隔装置及び作業車両を遠隔操縦する遠隔操縦システムに関する。
【背景技術】
【0002】
例えば特許文献1には、運転者の怒りを判定する怒り判定部と、怒り判定部の判定結果に基づいて、アクセルペダルの操作量に対する加速を抑制する加速制御部と、怒り判定部の判定結果に基づいて、体感速度を増大させる体感速度可変部と、を備える運転支援システムが開示されている。この運転支援システムによれば、運転者の怒りを検出した場合に、運転者の体感速度を増大させる表示を行うことにより、怒りにより平常心が失われていることを運転者に知覚させ、迅速に平常心に復帰させることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-97270号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
産業機械の速度帯域は、一般車両とは異なり、低速に偏っているため、車速変化を体感しにくい。遠隔運転はただでさえ車速を体感しにくいが、牧草地や畑などを走行する場合、センターラインがなく、周辺景色の変化も乏しいため、さらに車速を体感しにくい。
【0005】
本発明は、上記問題に鑑み、遠隔操縦者に対して作業車両の速度を体感させ易くすることができ、遠隔操縦を支援することができる遠隔装置及び遠隔操縦システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記技術的課題を解決するための本発明の技術的手段は、以下に示す点を特徴とする。
本発明の一態様に係る遠隔装置は、作業車両を遠隔操縦する操縦装置と、前記作業車両の速度又は加速度を示す走行情報を受信する通信装置と、表示装置と、前記操縦装置にて前記作業車両を遠隔操縦する場合に、前記走行情報に応じて変化する強調表示を、前記表示装置に表示させる制御装置と、を備える。
【0007】
前記通信装置は、前記作業車両が遠隔運転される場合に当該作業車両の進行方向を撮像した撮像画像を逐次に受信し、前記表示装置は、遠隔運転画面に前記撮像画像を逐次に表示し、前記制御装置は、前記遠隔運転画面に前記強調表示を表示させてもよい。
【0008】
前記制御装置は、第1条件が成立した場合に前記強調表示を前記遠隔運転画面に表示させ、前記第1条件が不成立の場合に前記強調表示を前記遠隔運転画面に表示させないとしてもよい。
【0009】
前記制御装置は、複数の前記撮像画像の変化量が閾値未満である場合に前記第1条件の成立と判定し、複数の前記撮像画像の変化量が閾値以上である場合に前記第1条件の不成立と判定してもよい。
【0010】
前記制御装置は、前記撮像画像において路面標示が含まれていない場合に前記第1条件の成立と判定し、前記撮像画像において前記路面標示が含まれている場合に前記第1条件
の不成立と判定してもよい。
【0011】
前記制御装置は、前記作業車両の位置情報と、地図情報とを用いて、当該作業車両の位置情報が示す現時点の位置が、前記地図情報が示す地図の所定領域に位置すれば、前記第1条件の成立と判定し、前記所定領域に位置しなければ前記第1条件の不成立と判定してもよい。
【0012】
前記制御装置は、前記強調表示を前記遠隔運転画面の前記撮像画像上に重畳表示させてもよい。
前記制御装置は、前記強調表示を前記遠隔運転画面又は前記撮像画像の周縁部に表示させてもよい。
【0013】
前記制御装置は、前記作業車両の速度又は加速度に応じて表示体の移動速度を変更してもよい。
前記制御装置は、前記作業車両の速度又は加速度に応じて表示体の態様を変更してもよい。
【0014】
前記表示体は、前記作業車両の進行方向に延びる表示体であってもよい。
前記表示体は、前記作業車両の進行方向に並べた複数の仮想表示物であってもよい。
【0015】
前記制御装置は、前記作業車両の速度又は加速度に応じて、前記周縁部の領域を変更してもよい。
【0016】
前記制御装置は、前記強調表示として、前記作業車両の速度又は加速度に応じて前記遠隔運転画面の撮像画像以外の特定箇所の色を変化させてもよい。
【0017】
前記制御装置は、前記強調表示として、前記作業車両の速度又は加速度に応じて前記遠隔運転画面の枠の色を変化させてもよい。
【0018】
前記遠隔運転画面には、前方の撮像画像と後方の撮像画像とが含まれ、前記制御装置は、前進時には前記前方の撮像画像に前記強調表示を、後進時には前記後方の撮像画像に前記強調表示が表示させてもよい。
【0019】
前記制御装置は、前記作業車両の後進時において、前記遠隔運転画面に前記作業車両の後進時の撮像画像が表示され、前記強調表示として、前記作業車両の速度又は加速度に応じて当該遠隔運転画面に表示されるガイド線の形態を変化させてもよい。
【0020】
前記制御装置は、前記作業車両の加速時には、前記遠隔運転画面における前記撮像画像として映す範囲を加速度の変化分に応じて上側に変更させ、前記作業車両の減速時に前記遠隔運転画面における前記撮像画像として映す範囲を加速度の変化分に応じて下側に変更させてもよい。
【0021】
前記制御装置は、前記作業車両の左旋回時には、前記遠隔運転画面における前記撮像画像として映す範囲を左旋回の操舵角に応じて右側に変更させ、前記作業車両の右旋回時には、前記遠隔運転画面における前記撮像画像として映す範囲を右旋回の操舵角に応じて左側に変更させてもよい。
【0022】
本発明の一態様に係る遠隔操縦システムは、作業車両と、上記の遠隔装置と、を備え、前記作業車両は、当該作業車両の速度を検出する検出装置と、当該作業車両の進行方向を撮像する撮像装置と、前記検出装置にて検出された速度又は加速度を示す走行情報と前記
撮像装置にて撮像された撮像画像とを対応付けた対応データを送信する車載通信装置とを備え、前記遠隔装置の前記通信装置は、前記車載通信装置から送信された前記対応データを受信する。
【発明の効果】
【0023】
本発明によれば、遠隔操縦者に対して作業車両の速度を体感させ易くすることができ、遠隔操縦を支援することができる。
【図面の簡単な説明】
【0024】
図1】本発明の一実施形態の遠隔操縦システム100の構成図である。
図2】作業車両1の一例であるトラクタの側面図である。
図3】対応データの一例を示す図である。
図4】走行予定ルートL1の一例を示す図である。
図5A】強調表示Kがない遠隔運転画面G2の一例を示す図である。
図5B】強調表示Kがある遠隔運転画面G2の一例を示す図である。
図5C】遠隔運転画面G2での第2表示形態の強調表示Kを示す図である。
図6】遠隔運転画面G2での第3表示形態の強調表示Kを示す図である。
図7A】遠隔運転画面G2での第4表示形態の強調表示Kを示す図である。
図7B】遠隔運転画面G2での第4表示形態の強調表示Kを示す図である。
図8A】遠隔運転画面G2での第5表示形態の強調表示Kを示す図である。
図8B】遠隔運転画面G2での第7表示形態の強調表示Kを示す図である。
図8C】遠隔運転画面G2での第8表示形態の強調表示Kを示す図である。
図9A】表示装置34の選択画面G1の一例を示す図である。
図9B】表示装置34の選択画面G1の一例を示す図である。
図9C】表示装置34の選択画面G1の一例を示す図である。
図9D】表示装置34の第1変形例の選択画面G1の一例を示す図である。
図10A】遠隔運転時の作業車両1の動作を示すフローチャートである。
図10B】作業車両1を遠隔操縦する場合の遠隔装置30の動作を示すフローチャートである。
図11】画面表示更新処理を示すフローチャートである。
図12A】第1変形例の遠隔運転画面G2の一例を示す図である。
図12B】第1変形例の遠隔運転画面G2での強調表示Kを示す図である。
図12C】第1変形例の遠隔運転画面G2での強調表示Kを示す図である。
図12D】第1変形例の遠隔運転画面G2での強調表示Kを示す図である。
図12E】第1変形例の遠隔運転画面G2での強調表示Kを示す図である。
図13】第2変形例の画面表示更新処理を示すフローチャートである。
【発明を実施するための形態】
【0025】
図1は、本発明の一実施形態の遠隔操縦システム100の構成図である。遠隔操縦システム100は、作業車両1及び遠隔装置30を備えている。遠隔操縦システム100及び遠隔装置30では、作業車両1の遠隔操縦(又は遠隔操作)及び作業車両1の遠隔監視が可能である。作業車両1は、遠隔装置30による遠隔運転(例えば、遠隔走行及び遠隔作業など)が可能な農場機械(「遠隔操縦型農業機械」とも言う。)である。作業車両1は、例えばトラクタである。トラクタは、圃場で農作業を行う農業機械の一例である。なお、作業車両1は、トラクタ以外の農業機械、建設機械、又は作業機であってもよい。
【0026】
図2は、作業車両1の一例であるトラクタの側面図である。作業車両1は、車体3を備えている。車体3には、走行装置7が設けられている。走行装置7は、車体3の左右両側にそれぞれ前輪7F及び後輪7Rが設けられ、車体3を走行可能に支持している。走行装置7は、クローラ型の装置であってもよい。
【0027】
車体3には、原動機4、変速装置5、制動装置13(図1)、及び操舵装置14(図1)が搭載されている。原動機4は、エンジン(ディーゼルエンジン、ガソリンエンジン)又は電動モータなどから成る。変速装置5は、例えば変速動作を行うことにより、走行装置7の推進力を可変し、且つ走行装置7の前進、後進の切り換えを行う。制動装置13は車体3を制動する。操舵装置14は車体3を操舵する。
【0028】
車体3の上部には、保護機構の一例であるキャビン9が設けられている。キャビン9の内部には、運転席10と操縦装置11が設けられている。作業車両1は無人で走行(運転)し、作業装置2により作業することが可能なトラクタであるが、運転席10に着座した作業者が操縦装置11を操作することによって、作業車両1を走行させ、作業装置2により作業することも可能である。キャビン9は、運転席10の前方、後方、上方及び左右側方を取り囲むことにより、運転席10を保護する。なお、保護機構は、キャビン9に限定されるものではなく、ロプスなどであってもよい。
【0029】
図2に矢印A1で示す方向が、作業車両1の前方である。矢印A2で示す方向が、作業車両1の後方である。矢印Z1で示す方向が、作業車両1の上方である。矢印Z2で示す方向が、作業車両1の下方である。そして、矢印A1、A2、Z1、Z2に対して直行する方向が、作業車両1の幅方向(左右方向)である。図2に向かって手前側が作業車両1の左方であり、奥側が作業車両1の右方である。
【0030】
車体3の後部には、連結装置8が設けられている。連結装置8は、3点リンク機構などで構成されている。連結装置8には、作業装置2(インプルメント等)が着脱可能である。連結装置8に作業装置2を連結して、走行装置7を駆動することで作業車両1(車体3)を走行させることにより、作業装置2を牽引することができる。また、連結装置8は、作業装置2を昇降すること、作業装置2の姿勢を変更することができる。
【0031】
作業装置2としては、耕耘する耕耘装置、肥料を散布する肥料散布装置、農薬を散布する農薬散布装置、収穫を行う収穫装置、牧草等の刈取を行う刈取装置、牧草等の拡散を行う拡散装置、牧草等の集草を行う集草装置、牧草等の成形を行う成形装置などがある。これらの各装置は連結装置8によって作業車両1に着脱可能である。作業車両1は、作業装置2により圃場に対して農作業を行う。
【0032】
キャビン9の前側には、ボンネット12が設けられている。ボンネット12は、車体3に取り付けられている。ボンネット12と車体3の間には、収容ルームが形成されている。その収容ルームには、原動機4だけでなく、冷却ファン、ラジエータ、及びバッテリなどが収容されている。
【0033】
図1に示すように、作業車両1は、車載制御装置21、車載通信装置23、位置検出装置24、センシング装置25、状態検出装置26、操縦装置11、アクチュエータ群27、原動機4、走行装置7、変速装置5、制動装置13、操舵装置14、及び連結装置8を備える。また、作業車両1には、CAN、LIN、又はFlexRayなどの車載ネットワークが構築されている。車載制御装置21には、当該車載ネットワークを介して、車載通信装置23、位置検出装置24、センシング装置25、状態検出装置26、操縦装置11、アクチュエータ群27、及び作業車両1に連結された作業装置2などが電気的に接続されている。
【0034】
車載制御装置21は、プロセッサ21aとメモリ21bとを含んだECU(電子制御装置)から構成されている。車載制御装置21は、作業車両1の各部の動作を制御するコントローラである。メモリ21bは、揮発性又は不揮発性のメモリなどから構成されている
。車載制御装置21のメモリ21bには、車載制御装置21が作業車両1の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。
【0035】
車載通信装置23は、携帯電話通信網、インターネット、又は無線LANを介して、無線で通信するためのアンテナ、IC(集積回路)、及び電気回路などから構成されている。車載制御装置21は、車載通信装置23により遠隔装置30と無線で通信する。
【0036】
なお、本実施形態では、作業車両1と遠隔装置30とが携帯電話通信網などを介して通信する例を示しているが、これ以外に、例えば作業車両1と遠隔装置30とが携帯電話通信網などと、サーバ又は中継器などの外部装置を介して通信するようにしてもよい。また、作業車両1と遠隔装置30とが、例えばBLU(Bluetooth(登録商標) Low Energy)信号又はUHF(Ultra High Frequency)信号などのような近距離無線信号で直接通信してもよい。この場合、車載通信装置23と遠隔装置30とに、近距離無線通信用のインタフェイスがそれぞれ設けられていればよい。
【0037】
位置検出装置24は、例えばキャビン9(図2)の上部に設置されている。なお、位置検出装置24の設置位置は、キャビン9の上部に限定せず、車体3の別の箇所又は作業装置2の所定の箇所でもよい。位置検出装置24は、衛星測位システムを利用して、自己の位置(緯度、経度を含む測位情報)を検出する。即ち、位置検出装置24は、測位衛星から送信された信号(測位衛星の位置、送信時刻、補正情報等)を受信し、当該信号に基づいて自己の位置を検出する。位置検出装置24は、測位衛星からの信号を受信可能な基地局(基準局)からの補正等の信号に基づいて補正した位置を、自己の位置として検出してもよい。
【0038】
また、位置検出装置24は、ジャイロセンサや加速度センサ等の慣性計測装置を有していてもよい。この場合、位置検出装置24は、測位衛星から受信した信号に基づいて検出した位置(緯度、経度)を、慣性計測装置によって補正して、当該補正後の位置を自己の位置として検出してもよい。位置検出装置24は、検出した自己の位置を作業車両1の位置とする。また、位置検出装置24は、検出した自己の位置と、予め記憶された作業車両1の外形情報とに基づいて、作業車両1の位置を算出してもよい。また、位置検出装置24は、検出した自己の位置と、予め記憶された作業装置2の外形情報と、車体3に対する作業装置2の取り付け位置とに基づいて、作業装置2の位置を算出してもよい。
【0039】
センシング装置25は、作業車両1の周辺をセンシング(監視)する。詳しくは、センシング装置25は、レーザセンサ25a、超音波センサ25b、カメラ25c、及び対象物検出部25dを有している。例えば、レーザセンサ25a及び超音波センサ25bはそれぞれ複数有している。複数のレーザセンサ25a及び複数の超音波センサ25bは、作業車両1の前部、後部、及び左右側部などの所定箇所にそれぞれ設置されていて、作業車両1の前方、後方、及び左右側方などの周辺状況及び当該周辺にある対象物を検出する。例えば、レーザセンサ25a及び超音波センサ25bは、作業車両1から所定の目標検出距離以内で且つ車体3よりも低い位置にある対象物でも検出可能な車体3の所定位置にそれぞれ設置されている。
【0040】
レーザセンサ25a及び超音波センサ25bは、対象物センサの一例である。なお、レーザセンサ25a及び超音波センサ25bの少なくともいずれかが、対象物センサとしてセンシング装置25に複数設けられてもよい。また、他の対象物センサが、センシング装置25に複数設けられてもよい。
【0041】
レーザセンサ25aは、ライダー(LiDAR: Light Detection And Ranging)などの光学式のセンサから構成されている。レーザセンサ25aは、レーザダイオードなどの光源か
ら1秒間に何百万回ものパルス状の測定光(レーザ光)を照射し、当該測定光を回転ミラーで反射することにより水平方向又は鉛直方向に走査して、所定の検出範囲(センシング範囲)に投光する。そして、レーザセンサ25aは、測定光の対象物による反射光を、受光素子で受光する。
【0042】
対象物検出部25dは、レーザセンサ25aの受光素子から出力された受光信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する電気回路又はICなどから構成されている。対象物検出部25dは、レーザセンサ25aにより測定光を照射してから、反射光を受光するまでの時間に基づいて、対象物までの距離を検出する(TOF(Time of Flight)法)。対象物検出部25dが検出する対象物には、作業車両1が走行及び作業を行う現場、圃場、圃場の作物、地面、路面、その他の物体、及び人などが含まれている。
【0043】
超音波センサ25bは、ソナーなどの空中超音波センサから構成されている。超音波センサ25bは、送波器により測定波(超音波)を所定の検出範囲に発信し、当該測定波が対象物で反射した反射波を受波器で受信する。対象物検出部25dは、超音波センサ25bの受波器から出力された信号に基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出する。また、対象物検出部25dは、超音波センサ25bにより測定波を発信してから、反射波を受波するまでの時間に基づいて、対象物までの距離を検出する(TOF法)。
【0044】
カメラ25cは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、又はCMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラなどから構成されている。カメラ25cは、図2に示すように、作業車両1の前部、後部、左右側部、及びキャビン9の内部などの所定箇所にそれぞれ設置されていて、作業車両1の前方、後方、及び左右側方などの周辺を撮像して、当該撮像画像のデータを出力する。カメラ25cは、撮像装置の一例である。
【0045】
例えば、作業車両1には、複数のカメラ25cが設置されている。作業車両1に設置された複数のカメラ25cのうち、図2に示すようにキャビン9の内部に設置された内部カメラ25c1は、運転席10から作業車両1の前方を撮像する。より詳しくは、内部カメラ25c1は、運転席10に着座した作業者と略同様の視野で作業車両1の前方(進行方向)を撮像する。つまり、内部カメラ25c1によれば、作業車両1の進行方向を撮像した撮像画像が得られる。
【0046】
また、複数のカメラ25cのうち、図2に示すようにキャビン9の後部に設置された後方カメラ25c2は、作業車両1の後方を撮像する。より詳しくは、後方カメラ25c2は、例えばシフトレバーが後進側の位置に操作されると、キャビン9の後部から作業車両1の後方(後進方向)を撮像する。つまり、後方カメラ25c2によれば、作業車両1の後方を撮像した撮像画像(以下、適宜に後方撮像画像と呼ぶことがある)が得られる。なお、後方カメラ25c2は、シフトレバーの位置(つまり、前進側の位置、ニュートラルの位置、後進側の位置)に関わらず、常時に作業車両1の後方を撮像してもよい。
【0047】
対象物検出部25dは、カメラ25cから出力された撮像画像のデータに基づいて、対象物の有無、対象物の位置、及び対象物の種類などを検出することも可能である。
【0048】
センシング装置25は、レーザセンサ25a、超音波センサ25b、カメラ25c、及び対象物検出部25dにより、作業車両1及び作業装置2の周辺状況をセンシング(監視)し、その結果を示すセンシング情報を車載制御装置21に出力する。センシング情報に
は、少なくとも対象物検出部25dの検出情報とカメラ25cの撮像画像のデータとが含まれているが、これら以外にレーザセンサ25aと超音波センサ25bの検出情報がセンシング情報に含まれていてもよい。
【0049】
状態検出装置26は、作業車両1及び作業装置2の動作状態を検出する。具体的には、状態検出装置26には、作業車両1及び作業装置2の各部に設置された各種センサと、演算器とが含まれていて、演算器が各種センサからの出力信号に基づいて、作業車両1及び作業装置2の動作状態を検出(演算)する。状態検出装置26が検出する作業車両1の状態には、作業車両1の各部の駆動と停止の状態、作業車両1の進行方向、走行速度、加速度、及び姿勢などが含まれている。状態検出装置26が検出する作業装置2の状態には、作業装置2の各部の駆動と停止の状態及び姿勢などが含まれている。
【0050】
状態検出装置26は、位置検出装置24により検出された車体3の位置(作業車両1の位置)を所定の周期で取得し、当該車体3の位置から作業装置2の位置を検出(算出)したり、車体3の位置の変化(変遷)を検出したりしてもよい。また、状態検出装置26は、車体3の位置の変化から、車体3の走行速度を検出してもよい。他の例として、走行装置7の前輪7F、後輪7Rの回転数又は前輪7F、後輪7Rを転動させる走行モータの回転数を検出する回転数センサを設け、状態検出装置26が当該回転数センサの出力信号に基づいて、車体3の走行速度を検出してもよい。また、状態検出装置26は、速度計を有し、速度計で計測された車体3の走行速度を取得してもよい。状態検出装置26は、単位時間当たりの速度変化から加速度を検出してもよい。また、状態検出装置26は、加速度計を有し、加速度計で計測された車体3の加速度を取得してもよい。
【0051】
状態検出装置26は、検出した作業車両1及び作業装置2の動作状態を示す検出情報を生成し、当該検出情報を車載制御装置21に出力する。例えば、状態検出装置26の検出情報には、作業車両1及び作業装置2の操縦情報が含まれる。この操縦情報は、例えば、作業車両1の速度、加速度、変速装置5の変速切替位置、制動装置13の制動位置、及び、作業装置2の操作位置の情報を含む。
【0052】
位置検出装置24及び状態検出装置26は、所定の周期又は所定のタイミングで検出した結果を示す検出情報を車載制御装置21に随時出力する。また、センシング装置25も、所定の周期又は所定のタイミングでセンシングした結果を示すセンシング情報を車載制御装置21に随時出力する。車載制御装置21は、位置検出装置24、状態検出装置26、及びセンシング装置25から入力された検出情報及びセンシング情報を内部のメモリ21bに記憶させる。また、車載制御装置21は、遠隔運転の場合には、内部のメモリ21bに記憶させた検出情報及びセンシング情報を、所定の周期又は所定のタイミングで車載通信装置23により遠隔装置30に逐次に送信させる。
【0053】
このように作業車両1から送信される検出情報及びセンシング情報には、作業車両1の位置情報と、作業車両1の速度又は加速度を含む走行情報と、作業車両1の進行方向を撮像した撮像画像とを対応付けた対応データ(図3を参照)が含まれる。図3は、対応データの一例を示す図である。即ち、位置検出装置24の検出情報(つまり、作業車両1の位置情報)と、状態検出装置26で検出された作業車両1の走行情報と、センシング装置25のセンシング情報(例えば、内部カメラ25c1による撮像画像)とを対応付けた対応データが、遠隔装置30に逐次に送信される。図3に示すように、作業車両1の位置PA1と、作業車両1の速度SD1と、カメラ25cで撮像された撮像画像GPA1とを対応付けた対応データが遠隔装置30に送信される。また、作業車両1の位置PA2と、作業車両1の速度SD2と、カメラ25cで撮像された撮像画像GPA2とを対応付けた対応データが遠隔装置30に送信される。撮像画像に言及すると、図3に示すように、前進時には前方の撮像画像(後進時には後方の撮像画像)と、作業車両1の走行情報と、作業車
両1の位置情報とを対応付けた対応データが、遠隔装置30に逐次に送信される。なお、上述した実施形態では、作業車両1の位置情報と走行情報と撮像画像とを対応付けた対応データが含まれるとしていたが、作業車両1の位置情報と、走行情報と、撮像画像とを別々に取得して、時刻等によって、互いに対応付けてもよい。
【0054】
アクチュエータ群27には、作業車両1の原動機4、走行装置7、変速装置5、制動装置13、及び連結装置8などの各部を作動させるための電動式若しくは油圧式のモータ、シリンダ、及び制御弁などが含まれている。操縦装置11には、ステアリングハンドル11a(図2)、アクセルペダル、ブレーキペダル、及び変速レバー11d(図1)などが含まれている。車載制御装置21は、操縦装置11の操作状態に応じて、アクチュエータ群27に含まれる所定のアクチュエータを作動させて、原動機4、走行装置7、変速装置5、制動装置13、及び操舵装置14を駆動し、作業車両1の走行と操舵を制御する。
【0055】
また、車載制御装置21は、作業装置2に備わる制御部2aと通信して、制御部2aに作業装置2の動作を制御させる。即ち、車載制御装置21は、制御部2aを介して作業装置2の動作を制御することで、圃場に対して作業を行う。例えば、制御部2aは、CPU、メモリなどで構成されている。なお、作業装置2には、制御部2aを備えないものもある。この場合、車載制御装置21は、連結装置8により作業装置2の姿勢を制御して、作業装置2により圃場に対して作業を行う。
【0056】
車載制御装置21は、センシング装置25のセンシング情報と、状態検出装置26の検出情報と、位置検出装置24の検出情報などに基づいて、作業車両1の走行、作業装置2による作業、及び作業車両1のその他の動作をそれぞれ制御する。また、車載制御装置21は、遠隔装置30から送信された遠隔操縦信号を車載通信装置23により受信した場合には、上記各情報に加えて、当該遠隔操縦信号に基づいて、作業車両1の走行、作業装置2による作業、及び作業車両1のその他動作をそれぞれ制御する。
【0057】
さらに、車載制御装置21は、作業車両1の走行又は作業装置2による作業を制御する際に、対象物検出部25dの検出情報から、対象物が作業車両1又は作業装置2に所定距離未満で接近して、接触する危険があるか否かを判断する。そして、車載制御装置21は、対象物が作業車両1又は作業装置2に所定距離未満で接近して、接触する危険があると判断した場合に、走行装置7又は作業装置2などを制御して、作業車両1の走行又は作業を自動で停止し、対象物との接触を回避する。
【0058】
次に、遠隔装置30について説明する。図1に示すように、遠隔装置30は、作業車両1から離れた位置に配置されている。遠隔装置30によれば、遠隔操縦者(オペレータ)による操縦によって作業車両1を遠隔操縦することができ、作業車両1の状態、作業車両1の周辺状況などを監視することができる。遠隔装置30は、制御装置31、記憶装置32、通信装置33、表示装置34、操縦装置35、及び報知装置36を備えている。
【0059】
制御装置31は、遠隔装置30の各部の動作を制御するプロセッサである。このプロセッサは、例えば、記憶装置32に記憶された遠隔制御プログラムを実行することにより、遠隔装置30の各部の動作を制御する制御装置31として機能する。制御装置31に設けられた内部メモリ32aは、揮発性又は不揮発性のメモリである。内部メモリ32aには、制御装置31が遠隔装置30の各部の動作を制御するための各種の情報とデータが読み書き可能に記憶される。
【0060】
記憶装置32は、作業車両1を遠隔運転するための遠隔制御プログラム、作業車両1を遠隔監視するための遠隔監視プログラムなどの制御プログラム、各種のデータなどを予め記憶している。記憶装置32は、例えば、SSD(ソリッド・ステート・ドライブ)、H
DD(ハードディスクドライブ)などである。
【0061】
通信装置33は、携帯電話通信網、インターネット、又は無線LANを介して、無線で通信するためのアンテナ、IC、及び電気回路などから構成されている。通信装置33は、制御装置31による制御下、作業車両1と無線で通信する。通信装置33は、車載通信装置23から送信される各種データ(位置検出装置24及び状態検出装置26の検出情報、センシング装置25のセンシング情報など)を受信する。例えば、通信装置33は、作業車両1の位置情報と作業車両1の走行情報と作業車両1の進行方向を撮像した撮像画像とを対応付けた対応データを受信する。
【0062】
表示装置34は、例えば液晶ディスプレイ、有機ELディスプレイなどである。表示装置34は、制御装置31による表示制御により、作業車両1を遠隔で操作するための情報を表示する。図5Aは、強調表示Kがない遠隔運転画面G2の一例を示す図である。例えば、表示装置34は、図5Aに示すように、遠隔運転画面G2を表示する。
【0063】
遠隔運転画面G2は、作業車両1を遠隔で操作するための各種の情報を表示する運転画面である。例えば、遠隔運転画面G2は、作業車両1の前方が内部カメラ25c1によって撮像された前方撮像画像42aを表示するウインドウ43aと、車体3の後部に設置された後方カメラ25c2(図2)により作業車両1の後方が撮像された後方撮像画像42bを表示するウインドウ43bと、作業車両1の状態を示す各種の情報を表示するのウインドウ41a、41bとを有する。つまり、前方撮像画像42aと後方撮像画像42bとが両方表示される。制御装置31は、前進時には前方撮像画像42aなどに強調表示Kを、後進時には後方撮像画像42bに強調表示Kを表示させる。なお、遠隔運転画面G2は、作業車両1の前進時であれば前方撮像画像42aのみが表示され、作業車両1の後進時であれば後方撮像画像42b(図8Cを参照)のみが表示される構成であってもよい。
【0064】
また、表示装置34は、例えば表示画面の前側にタッチパネルが備えられており、表示画面に対するタッチ操作をタッチパネルによって検出可能である。
【0065】
遠隔装置30の制御装置31は、作業車両1の位置検出装置24及び車載制御装置21により検出された作業車両1の状態を、遠隔運転画面G2のウインドウ41a、41bに表示させる。図5Aでは、走行装置7の進行方向が前進方向に切り換えられていること(「シャトル:F」)、変速装置5の副変速が高速段に切り換えられていること(「副変速:高」)、主変速(無段変速)の状態が50%になっていること(「主変速:50%」)、作業車両1が2輪駆動モードで走行していること(「走行モード:2WD」)、及びアクセルペダルの操作量が40%であることが、ウインドウ41aに表示されている。また、作業車両1が遠隔操作で走行中であること(「遠隔操作中」)、作業車両1(車体3)の走行速度が2.9km/hであること、及び原動機4の回転数1600rpmであることなどが、ウインドウ41bに表示されている。
【0066】
ウインドウ41a、41bに表示される情報は、上記の作業車両1の状態に限定されない。また、ウインドウ41a、41bの数は2つに限定されず、1つでも3つ以上でもよい。また、制御装置31が、位置検出装置24などの検出情報又はセンシング装置25のセンシング情報に基づいて、作業車両1の状態だけでなく、作業車両1への作業装置2の連結の有無、作業装置2の種類などを、遠隔運転画面G2のウインドウに表示させてもよい。
【0067】
操縦装置35は、作業車両1を遠隔操縦するための装置である。操縦装置35は、ハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dを備え、これらが遠隔操縦席の周囲に配置されている。遠隔操縦者は、遠隔操縦席に座って操縦
装置35を操作することによって、作業車両1の走行又は作業装置2による作業を遠隔で操縦する。また、遠隔操縦者は、作業車両1と周辺の状況を表示装置34により監視する。また、遠隔操縦者は、操縦装置35を操作することによって、遠隔装置30に所定の情報又は指示を入力可能である。なお、操縦装置35は、タッチパッド又はハードウェア型のスイッチなどであってもよい。
【0068】
報知装置36は、遠隔操縦者に対して報知の音声を出力するスピーカ36aを備えている。
【0069】
遠隔操縦者が操縦装置35を操作して、作業車両1の動作指示を入力すると、制御装置31が、当該動作指示に対応する遠隔操縦信号を生成し、当該遠隔操縦信号を通信装置33により作業車両1に送信する。つまり、ハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dの操作に応じた遠隔操縦信号が作業車両1に送信される。作業車両1の車載制御装置21は、遠隔装置30からの遠隔操縦信号を車載通信装置23により受信すると、当該遠隔操縦信号と、位置検出装置24の検出情報と、センシング装置25のセンシング情報と、状態検出装置26の検出情報とに基づいて、作業車両1の各部を動作させて、作業車両1の走行及び操舵を制御したり、作業装置2による作業動作を制御したりする。
【0070】
また、車載制御装置21は、位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とを、車載通信装置23により遠隔装置30に送信する。遠隔装置30の制御装置31は、位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とを、通信装置33により受信すると、これらの情報を内部メモリ32aに記憶させたり、表示装置34に表示させたりする。
【0071】
なお、図1に示すように、遠隔装置30は、表示端末70と操縦装置35とで構成されてもよい。即ち、表示端末70は、制御装置31、記憶装置32、通信装置33、表示装置34、及び報知装置36を備える端末装置としてもよい。表示端末70は、例えば、タブレット装置若しくはスマートフォンなどの携帯型の端末装置、又は基地局(図示省略)に設置された据え置き型のコンピュータなどが挙げられる。また、表示端末70は、ユーザインタフェイス装置であってもよい。
【0072】
ここで、作業車両1の走行予定ルートL1について詳細に説明する。図4は、走行予定ルートL1の一例を示す図である。遠隔装置30は、走行予定ルートL1を設定することができる。例えば、記憶装置32には、圃場H1を含むマップ情報が予め記憶されている。なお、遠隔装置30は、圃場H1を含むマップ情報が記憶装置32に記憶されていない場合には、図示しない地図サーバにアクセスして、圃場H1を含むマップ情報を取得し、記憶装置32に記憶させることも可能である。制御装置31は、記憶装置32から、圃場H1を含むマップ情報を読み出し、表示装置34の表示画面に図4に示す圃場H1を表示させる。表示装置34の表示画面の作業エリアWA1に対してタッチ操作(例えばペン入力操作)することで、圃場H1の作業エリアWA1に対して図4に示すように走行予定ルートL1を予め設定することができる。走行予定ルートL1は、複数の直線経路L1aと、隣接する2つの直線経路L1aの端部同士を連結した複数の半円弧状の旋回経路L1bとからなる。設定された走行予定ルートL1は、記憶装置32に登録される。
【0073】
なお、作業車両1は、走行予定ルートL1を予め設定することもできる。例えば、運転者が作業車両1に搭乗して圃場H1にて作業車両1を実際に運転することで、作業車両1の車載制御装置21は、圃場H1の作業エリアWA1に走行予定ルートL1を設定することができる。遠隔装置30は、この走行予定ルートL1を作業車両1から受信して記憶装置32に記憶させてもよい。
【0074】
ところで、トラクタなどの作業車両1の速度帯域は、自動車などの一般車両とは異なり、低速に偏っている。このため、作業車両1では、運転者が実際に搭乗して運転(実運転)する場合でも、車速変化を体感しにくい。さらに、遠隔運転では、ただでさえ車速を体感しにくいが、田、畑、牧草地などの圃場を走行する場合、センターラインなどもなく、周辺景色の変化も乏しいため、更に車速を体感しにくいという問題がある。
【0075】
そこで、本実施形態の遠隔操縦システム100及び遠隔装置30は、例えば図5Bに示すように、車両速度の強調表示Kを表示装置34に表示させることにより、遠隔操縦者に対して作業車両1の速度を体感させ易くしている。図5Bは、強調表示Kがある遠隔運転画面G2の一例を示す図である。
【0076】
制御装置31は、操縦装置35にて作業車両1を遠隔操縦する場合に、走行情報に応じて変化する強調表示Kを表示装置34に表示させる。例えば、制御装置31は、走行情報が示す作業車両1の速度又は加速度に応じて変化する、車両速度の強調表示Kを、表示装置34に表示させる。ここで、作業車両1の速度とは、時速、分速、秒速といった単位時間当たりの速度と、速度の変化である加速度のいずれかを示している。
【0077】
具体的には、通信装置33は、作業車両1が遠隔運転される場合に当該作業車両1の進行方向を撮像した撮像画像を逐次に受信する。表示装置34は、遠隔運転画面G2に撮像画像を逐次に表示する。制御装置31は、後述する第1条件が成立している場合に、遠隔運転画面G2に強調表示Kを表示させる。詳述すると、制御装置31は、第1条件が成立している場合に、第1~第8表示形態の強調表示Kのうちで選択された一つの強調表示Kを表示させる。
【0078】
図5Bには、第1表示形態の強調表示Kが表示されている。例えば、制御装置31は、第1表示形態の強調表示Kとして、遠隔運転画面G2の撮像画像上に重畳表示させる。制御装置31は、第1表示形態の強調表示Kとして、作業車両1の進行方向に延びる表示体K1を重畳表示させ、且つ、作業車両1の速度又は加速度に応じて表示体K1の移動表示速度を変更させる。表示体K1は、例えば、破線の区画線(破線のセンターライン、破線の車線境界線など)であり、複数個の線分Kaが作業車両1の進行方向に沿って1列に配置されたものである。
【0079】
制御装置31は、遠隔運転画面G2を視認した遠隔操縦者の体感速度が、実際の速度よりも速く感じるように、強調処理を行う。制御装置31は、強調処理において、作業車両1の単位時間当たりの実際の速度(時速など)又は加速度が増加した場合には、表示装置34を視認した遠隔操縦者の体感速度が実際の速度よりも速く感じるような強調表示Kを実行する。また、制御装置31は、強調処理において、作業車両1の単位時間当たりの実際の速度又は加速度が減速した場合でも、遠隔操縦者の体感速度が実際の作業車両1の速度よりも速く感じるような強調表示Kを実行する。
【0080】
作業車両1の車両速度又は加速度が速くなれば、表示の移動速度も速くなり、車両速度又は加速度が遅くなれば、表示の移動速度は遅くなるが、その両方において、操縦者の体感速度が実際の車両の速度よりは早く感じるように設定することが好ましい。
【0081】
一般的には、作業車両1(例えばトラクタ)の車速が低速量域に偏っており、遠隔運転の場合、オペレータが速度を認識しにくい。しかし、上記の強調表示Kによれば、体感速度が実際の速度よりも早く感じるように強調することができる。
【0082】
また、制御装置31は、強調処理において、作業車両1の実際の加速度が増加した場合
にも、遠隔操縦者の体感速度が実際の作業車両1の加速度よりも速く感じるような強調表示Kを実行する。また、制御装置31は、強調処理において、作業車両1の加速度が減少した場合にも、遠隔操縦者の体感速度が実際の作業車両1の加速度よりも速く感じるような強調表示Kを実行する。
【0083】
例えば、強調処理において、作業車両1の走行速度が[1km/h]である場合に、遠隔運転画面G2における表示体K1の移動表示速度を、第1移動表示速度とする。第1移動表示速度は、実速度[1km/h]と同じ又はそれを上回る速度(実際の速度又は加速度の増加分に応じて1以上の係数を乗じた速度)としてもよい。そして、強調処理において、作業車両1の走行速度が[2km/h]である場合に、表示体K1の移動表示速度を第1移動表示速度よりも速い第2移動表示速度とする。第2移動表示速度は、第1移動表示速度よりも速い速度であれば、実速度[2km/h]と同じ又はそれを上回る速度としてもよい。
【0084】
制御装置31は、第1条件が成立した場合に、図5Bなどに示すように強調表示Kを遠隔運転画面G2に表示させ、第1条件が不成立の場合に、図5Aに示すように、強調表示Kを遠隔運転画面G2に表示させない。
【0085】
具体的には、制御装置31は、複数の撮像画像の変化量が閾値未満である場合に第1条件の成立と判定し、複数の撮像画像の変化量が閾値以上である場合に第1条件の不成立と判定する。例えば、制御装置31は、既知の差分画像処理により、複数の撮像画像の変化量が閾値以上であるか否かを判定すればよい。例えば、制御装置31は、2枚の撮像画像を差分した差分画像を生成する。そして、制御装置31は、この差分画像の予め定められた範囲について、所定値以上の差分画素値の総数が規定数未満である場合に、複数の撮像画像の変化量が閾値未満であると判定し、第1条件の成立と判定する。なお、予め定められた範囲は、差分画像の全体であってもよいし、差分画像の一部分(例えば専ら路面に対応する部分)であってもよい。一方、制御装置31は、所定値以上の差分画素値の総数が規定数以上である場合に、複数の撮像画像の変化量が閾値以上であると判定し、第1条件の不成立と判定する。
【0086】
また、制御装置31は、撮像画像において路面標示が含まれていない場合に、第1条件の成立と判定し、撮像画像において路面標示が含まれている場合に、第1条件の不成立と判定する。路面標示としては、例えば、路面上の道路標示(センターライン、車線境界線などの指示標示、走行規制を示すマークなどの規制標示など)がある。制御装置31は、既知の画像解析処理(例えばパターンマッチング処理)により、撮像画像において路面標示がないと判定した場合には、第1条件の成立と判定する。つまり、遠隔運転にて作業車両1が走行している領域が周辺景色の変化の乏しい領域(例えば、牧草地、畑など)であると判定することができる。一方、制御装置31は、既知の画像解析処理(例えばパターンマッチング処理)により、撮像画像において路面標示が含まれると判定した場合には、第1条件の不成立と判定する。つまり、遠隔運転にて作業車両1が走行している領域が周辺景色の変化に富んだ領域(例えば、一般道路)であると判定することができる。
【0087】
図5Cは、遠隔運転画面G2での第2表示形態の強調表示Kを示す図である。制御装置31は、図5Cに示すように、第2表示形態の強調表示Kとして、遠隔運転画面G2の撮像画像上に、作業車両1の進行方向に延びる表示体K2を重畳表示させ、且つ、作業車両1の速度に応じて表示体K2の色を変化させることができる。表示体K2は、例えば、実線の区画線(実線のセンターライン、実線の車線境界線など)であり、作業車両1の進行方向に沿って1本の線Kbが配置されたものである。
【0088】
具体的には、制御装置31は、作業車両1の速度(走行速度)に応じて、図5Cに示す
遠隔運転画面G2での第2表示形態の強調表示K(表示体K2)の色を変化させる。例えば、作業車両1の車速が低速であれば表示体K2が青色、高速であれば表示体K2が赤色で表示される。また、制御装置31は、走行速度が速くなるに連れて、強調表示K(表示体K2)の色を、例えばオストワルト表色系の緑、黄緑、黄、黄みの橙、橙、赤みの橙、赤の順に変化させてもよい。例えば、走行速度が[0km/h]であるときに強調表示Kの色が緑となり、走行速度が単位速度(例えば[0.5km/h])増加する毎に、黄緑、黄、黄みの橙、橙、赤みの橙、赤の順に変化する。これは一例であり、紫、藍、青、緑、黄、橙、赤に変化するとしてもよいし、緑、黄、橙、赤の順に変化するとしてもよい。
【0089】
また、制御装置31は、作業車両1の速度(走行速度)に応じて、図5Bに示す遠隔運転画面G2での第1表示形態の強調表示K(表示体K1)の色を変化させてもよい。
【0090】
図6は、遠隔運転画面G2での第3表示形態の強調表示Kを示す図である。制御装置31は、図6に示すように、第3表示形態の強調表示Kとして、遠隔運転画面G2の撮像画像上に、複数の仮想表示物Kcを作業車両1の進行方向に並べて重畳表示させ、且つ、作業車両1の速度に応じて複数の仮想表示物Kcの移動表示速度を変更させることができる。仮想表示物Kcは、例えば、ロードコーン、ポールなどである。図6に示す強調表示K3は、複数の仮想表示物Kcから構成されている。
【0091】
制御装置31は、例えば、作業車両1の走行速度が[1km/h]である場合に、遠隔運転画面G2における仮想表示物Kcの移動表示速度を、第1移動表示速度とする。第1移動表示速度は、実速度[1km/h]と同じとしてもよいし、異なるとしてもよい。そして、制御装置31は、作業車両1の走行速度が[2km/h]である場合に、仮想表示物Kcの移動表示速度を第1移動表示速度よりも速い第2移動表示速度とする。第2移動表示速度は、第1移動表示速度よりも速い速度であれば、実速度[2km/h]と同じとしてもよいし、異なるとしてもよい。
【0092】
図7Aは、遠隔運転画面G2での第4表示形態の強調表示Kを示す図である。制御装置31は、図7Aに示すように、第4表示形態の強調表示Kを遠隔運転画面G2の周縁部PPに表示させることができる。また、第4表示形態の強調表示Kを撮像画像の周縁部PPに表示させてもよい。周縁部PPは、加速演出領域K4に対応している。周縁部PPは、加速演出領域K4が表示される領域であると言える。例えば、制御装置31は、作業車両1の速度又は加速度に応じて、周縁部PPの領域を変更する。ここで言う「周縁部PPの領域を変更する」ということは、領域の大きさを変更すること、形・色などのデザインを変更することなどを含む。ここでは、例えば、制御装置31は、作業車両1の速度又は加速度が増加すると、周縁部PPの領域(つまり、加速演出領域K4)を増大させている。加速演出領域K4は、矩形枠形状であるため、左辺部と上辺部と右辺部と下辺部との領域を有している。図7Aに示す加速演出領域K4では、例えば、左辺部及び右辺部の各横幅d1と、上辺部及び下辺部の各縦幅d2とが等しいとしているが、異なる長さとしてもよい。
【0093】
加速演出領域K4には、スピード感を示す流れ線が、撮像画像の外部輪郭から略放射状に延びた態様で表されている。つまり、加速演出領域K4には、流れ表示がされる。制御装置31は、遠隔運転画面G2の全体に亘る撮像画像を、遠隔運転画面G2の周縁部PPを除く領域に収まる大きさとなるように縮小させて表示させているが、これに限定されない。例えば、制御装置31は、遠隔運転画面G2の全体に亘る撮像画像の大きさを変更することなく、当該撮像画像上に、矩形枠形状の加速演出領域K4を重畳表示させてもよい。この場合に、加速演出領域K4は、流れを示す黒線以外の箇所を透明又は半透明で表示させてもよい。
【0094】
制御装置31は、作業車両1の速度又は加速度が増加するに連れて加速演出領域K4を増大させて表示させる。図7Bに示す加速演出領域K4では、例えば、左辺部及び右辺部の各横幅d3が各横幅d1よりも大きく、且つ、上辺部及び下辺部の各縦幅d4が各縦幅d2よりも大きくしている。このため、図7Bに示す加速演出領域K4は、図7Aに示す加速演出領域K4よりも増大している。つまり、制御装置31は、作業車両1の速度又は加速度が増加するに連れて加速演出領域K4の各横幅及び各縦幅を増加させている。なお、図7Bに示す加速演出領域K4の左辺部及び右辺部の各横幅d3と、上辺部及び下辺部の各縦幅d4とが等しいとしているが、異なる長さとしてもよい。
【0095】
制御装置31は、第1条件が成立している場合に、例えば、作業車両1の走行速度が[1km/h]であれば、遠隔運転画面G2に図7Aに示す加速演出領域K4を表示し、作業車両1の走行速度が[2km/h]であれば、遠隔運転画面G2に図7Bに示す加速演出領域K4を表示してもよい。また、例えば、作業車両1の加速度が第1加速度である場合に、遠隔運転画面G2に図7Aに示す加速演出領域K4を表示し、作業車両1の加速度が第1加速度よりも大きい第2加速度である場合に、遠隔運転画面G2に図7Bに示す加速演出領域K4を表示してもよい。
【0096】
また、制御装置31は、図7A図7Bに示す加速演出領域K4に替えて、図8Aに示す加速演出領域K5を表示させることができる。図8Aは、遠隔運転画面G2での第5表示形態の強調表示Kを示す図である。図7A図7Bに示す加速演出領域K4は、スピード感を示す流れ線を有する表示態様である。これに対して、図8Aに示す加速演出領域K5は、スピード感を示すぼかしを有する表示態様としている。つまり、第5表示形態の強調表示Kとして、図8Aに示す加速演出領域K5が表示されている。例えば、加速演出領域K5には、スピード感を示すぼかしの濃度が、撮像画像の外部輪郭から略放射状に離れるに連れて高くなる態様で表されている。つまり、加速演出領域K5には、ぼかし表示がされる。また、制御装置31は、図7A図7Bに示す加速演出領域K4の場合と同様に、作業車両1の速度又は加速度が増加するに連れて加速演出領域K5を増大させて表示させることができる。
【0097】
制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の撮像画像以外の特定箇所(例えばウインドウ41a、41b)の色を変化させることができる。制御装置31は、例えば図5Aに示す遠隔運転画面G2の特定箇所の色を変化させる第6表示形態の強調表示Kを表示させる。例えば、作業車両1の車速が低速であれば遠隔運転画面G2の特定箇所を青色、高速であれば遠隔運転画面G2の特定箇所を赤色で表示される。また、制御装置31は、遠隔運転画面G2の特定箇所の色を、走行速度が速くなるに連れて、例えばオストワルト表色系の緑、黄緑、黄、黄みの橙、橙、赤みの橙、赤の順に変化させてもよい。なお、遠隔運転画面G2の全体の色を変化させてもよい。
【0098】
図8Bは、遠隔運転画面G2での第7表示形態の強調表示Kを示す図である。制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の枠Fの色を変化させることができる。制御装置31は、図8Bに示すように、遠隔運転画面G2の枠Fの色を変化させる。例えば、作業車両1の車速が低速であれば遠隔運転画面G2の枠Fを青色、高速であれば遠隔運転画面G2の枠Fを赤色で表示される。また、制御装置31は、遠隔運転画面G2の枠Fの色を、走行速度が速くなるに連れて、例えばオストワルト表色系の緑、黄緑、黄、黄みの橙、橙、赤みの橙、赤の順に変化させてもよい。
【0099】
図8Cは、遠隔運転画面G2のウインドウ43bでの第8表示形態の強調表示Kを示す図である。制御装置31は、図8Cに示すように、作業車両1の後進時において、遠隔運転画面G2に作業車両1の後進時の撮像画像を表示させ、当該遠隔運転画面G2にガイド
線K6を表示させる。ガイド線K6は、例えば、作業車両1の後進時の予想進路線、作業車両1の駐車ガイド線、作業車両1に取り付けた作業機の予想進路線などである。図8Cでは、角度θ1とする一対のガイド線K6が表示されている。そして、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて当該遠隔運転画面G2に表示されるガイド線K6の態様(形態又は色)を変化させることができる。例えば、作業車両1の速度又は加速度に応じて、一対のガイド線K6の角度が、角度θ1から角度θ2に変化している。角度θ2は、角度θ1よりも小さい。つまり、作業車両1の速度又は加速度が大きくなるに連れて角度が小さくなるガイド線K61が表示される。なお、それとは逆に角度が大きくなるガイド線K61が表示されるとしてもよい。また、ガイド線K61の色で表示してもよい。
【0100】
制御装置31は、例えば、作業車両1の後進時の走行速度が[1km/h]である場合に、遠隔運転画面G2において、図8Cに示すガイド線K6を表示させ、作業車両1の後進時の走行速度が[2km/h]である場合に、図8Cに示すガイド線K6をガイド線K61に変化させている。
【0101】
制御装置31は、遠隔操縦者による選択操作に従って、第1~第8表示形態の強調表示Kの種別を選択することが可能である。図9A図9Cはそれぞれ、表示装置34の選択画面G1の一例を示す図である。制御装置31は、選択画面G1に対する選択操作により、第1~第8表示形態の強調表示Kの中から選択された強調表示Kに変更することができる。具体的には、制御装置31は、遠隔操縦者により、強調表示Kの選択指示があると、図9Aに示すように、選択画面G1を表示装置34に表示させる。図9Aに示す選択画面G1には、現時点の強調表示の種別が、図5Bに示すセンターライン(破線)に設定されていることが表示されている。
【0102】
図9Aに示す選択画面G1の変更ボタンB1を遠隔操縦者がタッチ操作すると、図9Bに示すように、制御装置31は、第1~第8表示形態の強調表示Kの種別を示す選択可能項目を表示装置34に表示させる。表示装置34は、図5Bに示す第1表示形態の強調表示K(センターライン(破線))、図5Cに示す第2表示形態の強調表示K(センターライン(色))、図6に示す第3表示形態の強調表示K(ロードコーン)、図7Aに示す第4表示形態の強調表示K(加速演出領域K4(流し))、図8Aに示す第5表示形態の強調表示K(加速演出領域K5(ぼかし))、第6表示形態の強調表示K(遠隔運転画面G2の全体の色)、図8Bに示す第7表示形態の強調表示K(遠隔運転画面G2の枠Fの色)、及び、図8Cに示す第8表示形態の強調表示K(バックモニタのガイド線K6)の8つの選択可能項目を表示する。制御装置31は、遠隔操縦者が上移動ボタンB3を操作するごとに、選択可能項目が上方に移動させ、遠隔操縦者が下移動ボタンB4を操作するごとに、選択可能項目が下方に移動させる。図9Bでは、下移動ボタンB4が2回操作されて、図6に示す第3表示形態の強調表示K(ロードコーン)に変更された状態が表示されている。
【0103】
図9Cに示すように、制御装置31は、遠隔操縦者がOKボタンB2を操作すると、選択された項目の強調表示Kに決定される。図9Cは、図7Aに示す第4表示形態の強調表示K(加速演出領域K4(流し))に決定されたことを示している。なお、制御装置31は、運転席10の周囲に配置された1又は複数の選択ボタン(図示省略)を遠隔操縦者が操作することにより、強調表示Kの種別を変更してもよい。
【0104】
ここで、図10A図10Bを用いて、作業車両1を遠隔操縦する場合に、表示装置34の遠隔運転画面G2に車両速度の強調表示Kを重畳表示させる処理について説明する。図10Aは、遠隔運転時の作業車両1の動作を示すフローチャートである。図10Bは、作業車両1を遠隔操縦する場合の遠隔装置30の動作を示すフローチャートである。
【0105】
遠隔操縦者によって遠隔操縦開始の要求があると、制御装置31は、図10Bに示すように、作業車両1で検出された情報を要求するリクエスト信号を、通信装置33によって作業車両1に送信させる(S21)。
【0106】
作業車両1の車載制御装置21は、図10Aに示すように、遠隔装置30からのリクエスト信号を車載通信装置23により受信すると(S11)、位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とを、車載通信装置23によって遠隔装置30に送信させる(S12)。なお前述したように、状態検出装置26の検出情報には、作業車両1及び作業装置2の操縦情報(作業車両1の速度(又は加速度)、変速装置5の変速切替位置、制動装置13の制動位置、作業装置2の操作位置のうちの少なくとも一つ以上の情報)が含まれる。
【0107】
図10Bに戻って、遠隔装置30の制御装置31は、位置検出装置24及び状態検出装置26の検出情報と、センシング装置25のセンシング情報とが、通信装置33にて受信されると(S22)、これらの情報を記憶装置32に記憶させる。また、制御装置31は、記憶装置32に記憶された位置検出装置24及び状態検出装置26の検出情報、センシング装置25のセンシング情報、作業車両1及び作業装置2の仕様を示す装置情報、並びに作業車両1の周辺の地図情報をそれぞれ、内部メモリ32aに読み込む(S23)。
【0108】
なお、通信装置33は、作業車両1及び作業装置2の仕様を示す装置情報を受信し、記憶装置32に記憶される。また、記憶装置32には、作業車両1が位置する地域の地図情報が予め記憶されている。制御装置31は、ステップS23で位置検出装置24の検出情報から作業車両1の位置を抽出し、当該作業車両1の位置から所定距離以内の範囲を作業車両1の周辺とみなして、当該範囲の地図情報を記憶装置32から内部メモリ32aに読み込む。他の例として、制御装置31は、ステップS23で作業車両1の位置から所定距離以内の範囲の地図情報を、インターネットなどを介して外部サーバから通信装置33により受信して、当該受信した地図情報を読み込んでもよい。
【0109】
そして、制御装置31は、位置検出装置24及び状態検出装置26の検出情報、センシング装置25のセンシング情報、装置情報、並びに地図情報に基づいて、遠隔運転画面G2を表示装置34に表示させる(S24)。
【0110】
制御装置31は、強調表示Kの種別選択の有無を判定する(S25)。制御装置31は、例えば図9A図9Cに示す選択画面G1に対して遠隔操縦者による強調表示Kの種別選択の指示がある場合(S25:YES)、選択された強調表示Kの種別に決定する(S26)。一方、制御装置31は、遠隔操縦者による強調表示Kの種別選択の指示がない場合(S25:NO)、デフォルト値又は前回に設定された強調表示Kの種別に決定する(S26)。
【0111】
ここでは、S26において、制御装置31は、図9Aに示すように、図5Bに示す第1表示形態の強調表示K(センターライン(破線))に決定したとする。
【0112】
制御装置31は、操縦装置35による操縦操作の有無を判定する(S27)。制御装置31は、操縦装置35による操縦操作がある場合(S27:YES)、操縦装置35による操縦操作に応じた遠隔操縦信号を、通信装置33によって作業車両1に送信させる(S28)。例えば、遠隔操縦者によるハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dの操作に応じた各種の操作信号を含む遠隔操縦信号が、遠隔装置30から作業車両1に送信される。
【0113】
図10Aに戻って、S12のあと、車載制御装置21は、遠隔装置30からの遠隔操縦信号の有無を判定する(S13)。車載制御装置21は、遠隔装置30からの遠隔操縦信号を車載通信装置23により受信した場合(S13:YES)、センシング装置25のセンシング情報と、状態検出装置26の検出情報と、位置検出装置24の検出情報、当該遠隔操縦信号に基づいて、作業車両1の走行、作業装置2による作業、及び作業車両1のその他動作をそれぞれ制御する(S14)。
【0114】
作業車両1は、遠隔装置30からの遠隔操縦信号に従って動作する。つまり、車載制御装置21は、遠隔操縦者によるハンドル35a、アクセルペダル35b、ブレーキペダル35c及び変速レバー35dの操作に応じた各種の操作信号に従って、操縦装置11のステアリングハンドル11a(図2)、アクセルペダル、ブレーキペダル、及び変速レバー11dなどを動作させる。
【0115】
一方、遠隔装置30の制御装置31は、S28のあと、又は、操縦装置35による操縦操作がない場合(S27:NO)、画面表示更新処理(S29)に進む。
【0116】
制御装置31は、画面表示更新処理を行う(S29)。すなわち、制御装置31は、遠隔運転時に作業車両1からの対応データを受信する毎に、画面表示更新処理を行う。図11は、画面表示更新処理を示すフローチャートである。制御装置31は、画像解析処理を行う(S41)。
【0117】
具体的には、遠隔装置30の通信装置33は、作業車両1からの位置検出装置24及び状態検出装置26の検出情報とセンシング装置25のセンシング情報とを逐次に受信する。通信装置33は、検出情報に含まれる対応データ(つまり、内部カメラ25c1による撮像画像と、状態検出装置26で検出された作業車両1の走行情報と、位置検出装置24で検出された作業車両1の位置情報とを対応付けた対応データ)を逐次に受信する。
【0118】
制御装置31は、逐次に受信される撮像画像(内部カメラ25c1による撮像画像)について画像解析処理を行う(S41)。制御装置31は、既知の画像解析処理(例えばパターンマッチング処理)により、撮像画像に路面標示が含まれているか否かを判定する。制御装置31は、第1条件の成立又は不成立を判定する(S42)。制御装置31は、撮像画像において路面標示が含まれていない場合に、第1条件の成立と判定し(S42:YES)、強調表示ありと判定する(S43)。一方、制御装置31は、撮像画像において路面標示が含まれている場合に、第1条件の不成立と判定し(S42:NO)、強調表示なしと判定する(S44)。
【0119】
なお、制御装置31は、S41において既知の差分画像処理を行うことにより、複数の撮像画像の変化量が閾値以上であるか否かを判定してもよい。制御装置31は、複数の撮像画像の変化量が閾値未満である場合に、第1条件の成立と判定し(S42:YES)、強調表示ありと判定する(S43)。一方、制御装置31は、複数の撮像画像の変化量が閾値以上である場合に、第1条件の不成立と判定し(S42:NO)、強調表示なしと判定する(S44)。
【0120】
制御装置31は、画面表示更新を行う(S45)。具体的には、制御装置31は、遠隔運転画面G2に表示される撮像画像を、通信装置33が受信した対応データの撮像画像に更新すると共に、第1条件の成立であれば(S42:YES)に撮像画像上に強調表示Kを重畳表示させる。ここでは、前述のS26において、制御装置31は、第1表示形態の強調表示Kに決定しているので、図5Bに示すように、第1表示形態の強調表示K(センターライン(破線))を重畳表示させる。
【0121】
一方、制御装置31は、遠隔運転画面G2に表示される撮像画像を、通信装置33が受信した対応データの撮像画像に更新し、第1条件の不成立であれば(S42:NO)に撮像画像上に強調表示Kを重畳表示させない。図5Aに示すように、強調表示Kがない遠隔運転画面G2が表示される。
【0122】
図10Aに戻って、車載制御装置21は、作業車両1から当該作業車両1の進行方向に予め設定された距離までの領域を、緊急停止領域として設定している。このため、車載制御装置21は、作業車両1が遠隔装置30による遠隔操作で走行しているときに、センシング装置25のセンシング情報に基づいて、障害物が緊急停止領域に入ったことが検出されると、作業車両1と障害物との接触を避けるために作業車両1の走行を自動で緊急停止させ(S15:YES)、S12戻る。
【0123】
一方、車載制御装置21は、障害物が緊急停止領域に入ったことが検出されない場合(S15:NO)、つまり、緊急停止領域に障害物がない場合、遠隔運転の終了か否かを判定する(S16)。車載制御装置21は、例えば、遠隔装置30から遠隔運転の終了信号を受信した場合(S16:YES)、遠隔運転を終了する。一方、車載制御装置21は、遠隔装置30から遠隔運転の終了信号を受信していない場合(S16:NO)、S12に戻る。
【0124】
図10Bに戻って、制御装置31は、遠隔運転の終了の有無を判定する(S30)。例えば、制御装置31は、遠隔操縦者により遠隔運転の終了が指示されていない場合(S30:NO)、S27に戻る。一方、制御装置31は、遠隔運転の終了が指示されている場合(S30:YES)、遠隔運転を終了する。
【0125】
上記の実施形態では、作業車両1を圃場内で遠隔運転する際に、第1条件の成立と判定した場合に遠隔運転画面G2に強調表示Kが重畳表示されるが、これに限定されない。例えば、作業車両1の圃場間の移動、圃場と納屋との間の移動、又は、農道又は一般道路の移動などについて遠隔運転する際に、第1条件の成立と判定した場合に遠隔運転画面G2に強調表示Kが重畳表示されてもよい。
【0126】
上述した本実施形態の遠隔装置30は、作業車両1を遠隔操縦する操縦装置35と、作業車両1の速度を示す走行情報を受信する通信装置33と、表示装置34と、操縦装置35にて作業車両1を遠隔操縦する場合に、走行情報が示す当該作業車両1の速度に応じて変化する、車両速度の強調表示Kを、表示装置34に表示させる制御装置31と、を備える。この構成によれば、作業車両1が遠隔運転される場合に、当該作業車両1の速度に応じて変化する強調表示K(つまり、車両速度の強調表示K)が表示される。この強調表示Kにより、遠隔操縦者は、作業車両1の速度が体感し易くなる。つまり、遠隔操縦者に対して作業車両1の速度を意識させることができる。
【0127】
また、通信装置33は、作業車両1が遠隔運転される場合に当該作業車両1の進行方向を撮像した撮像画像を逐次に受信し、表示装置34は、遠隔運転画面G2に撮像画像を逐次に表示し、制御装置31は、遠隔運転画面G2に強調表示Kを表示させる。この構成によれば、作業車両1の進行方向を撮像した撮像画像が逐次に表示される遠隔運転画面G2において強調表示Kが表示されるので、遠隔運転画面G2の撮像画像に対して作業車両1の速度感を付与することができ、遠隔運転画面G2から作業車両1の速度を体感し易くすることができる。
【0128】
また、制御装置31は、第1条件が成立した場合に強調表示Kを遠隔運転画面G2に表示させ、第1条件が不成立の場合に強調表示Kを遠隔運転画面G2に表示させない。この構成によれば、遠隔運転画面G2に強調表示Kを表示するか否かを適宜に切り換えること
ができる。すなわち、遠隔操縦者に対する作業車両1の速度感の提供の有無を適切に切り換えることができる。
【0129】
また、制御装置31は、複数の撮像画像の変化量が閾値未満である場合に第1条件の成立と判定し、複数の撮像画像の変化量が閾値以上である場合に第1条件の不成立と判定する。この構成によれば、複数の撮像画像の変化量が閾値未満である場合には、遠隔運転にて作業車両1が走行している領域が周辺景色の変化の乏しい領域であると判定することができる。例えば、牧草地、畑などは、概ね同色の土地であり、センターラインなども無いので、色彩の変化の乏しい領域(土地)である。このような周辺景色の変化の乏しい領域(例えば、牧草地、畑など)では、さらに車速を体感しにくいという問題がある。これに対して、周辺景色の変化の乏しい領域では、強調表示Kがされるので、周辺景色の変化の乏しい領域において、遠隔操縦者は作業車両1の速度が体感し易くなる。つまり、作業車両1の速度が体感しにくい場所を遠隔操縦する際に、遠隔操縦者に対して作業車両1の速度を意識させることができる。一方、複数の撮像画像の変化量が閾値以上である場合には、遠隔運転にて作業車両1が走行している領域が周辺景色の変化に富んだ領域であると判定することができる。このように、周辺景色の変化に富んだ領域では、周辺景色の変化の乏しい領域に比べて、車速を体感し易いので、強調表示Kが表示されない。
【0130】
また、制御装置31は、撮像画像において路面標示が含まれていない場合に第1条件の成立と判定し、撮像画像において路面標示が含まれている場合に第1条件の不成立と判定する。この構成によれば、撮像画像において路面標示(例えば、路面上の道路標示(センターライン、車線境界線などの指示標示、走行規制を示すマークなどの規制標示))がない場合には、遠隔運転にて作業車両1が走行している領域が周辺景色の変化の乏しい領域(例えば、牧草地、畑など)であると判定することができる。このような周辺景色の変化の乏しい領域では、強調表示Kがされるので、周辺景色の変化の乏しい領域において、遠隔操縦者は作業車両1の速度が体感し易くなる。一方、撮像画像において路面標示が含まれる場合には、遠隔運転にて作業車両1が走行している領域が周辺景色の変化に富んだ領域(例えば、一般道路)であると判定することができる。このように、周辺景色の変化に富んだ領域では、周辺景色の変化の乏しい領域に比べて、車速を体感し易いので、強調表示Kが表示されない。
【0131】
また、制御装置31は、強調表示Kとして、遠隔運転画面G2の撮像画像上に、作業車両1の進行方向に延びる表示体K1を重畳表示させ、且つ、作業車両1の速度に応じて表示体K1の移動表示速度を変更させる。この構成によれば、制御装置31は、強調表示Kとして、遠隔運転画面G2の撮像画像上に、作業車両1の進行方向に延びる表示体K1(例えば、センターライン、車線境界線など)を重畳表示させ、且つ、作業車両1の速度に応じて表示体K1の移動表示速度を変更させる。すなわち、表示体K1の移動表示速度が速くなることで、車両速度を強調して表示することができる。このように、遠隔運転画面G2の撮像画像上に、作業車両1の速度に応じて移動表示速度が変更される表示体K1が重畳表示されるので、遠隔運転画面G2の撮像画像に対して作業車両1の速度感を付与することができ、遠隔運転画面G2から作業車両1の速度を体感し易くすることができる。
【0132】
また、制御装置31は、強調表示Kとして、遠隔運転画面G2の撮像画像上に、作業車両1の進行方向に延びる表示体K1、K2を重畳表示させ、且つ、作業車両1の速度に応じて表示体K1、K2の色を変化させる。この構成によれば、制御装置31は、強調表示Kとして、遠隔運転画面G2の撮像画像上に、作業車両1の進行方向に延びる表示体K1、K2(例えば、センターライン、車線境界線など)を重畳表示させ、且つ、作業車両1の速度に応じて表示体K1、K2の色を変化させる。すなわち、表示体K1、K2の色が変化することで、車両速度を強調して表示することができる。このように、遠隔運転画面G2の撮像画像上に、作業車両1の速度に応じて色が変化される表示体K1、K2が重畳
表示されるので、遠隔運転画面G2の撮像画像に対して作業車両1の速度感を付与することができ、遠隔運転画面G2から作業車両1の速度を体感し易くすることができる。
【0133】
また、制御装置31は、強調表示Kとして、遠隔運転画面G2の撮像画像上に、複数の仮想表示物Kcを作業車両1の進行方向に並べて重畳表示させ、且つ、作業車両1の速度に応じて複数の仮想表示物Kcの移動表示速度を変更させる。この構成によれば、制御装置31は、強調表示Kとして、遠隔運転画面G2の撮像画像上に、複数の仮想表示物Kc(例えば、ロードコーンなど)を作業車両1の進行方向に並べて重畳表示させ、且つ、作業車両1の速度に応じて複数の仮想表示物Kcの移動表示速度を変更させる。すなわち、複数の仮想表示物Kcの移動表示速度が速くなることで、車両速度を強調して表示することができる。このように、遠隔運転画面G2の撮像画像上に、作業車両1の速度に応じて移動表示速度が変更される複数の仮想表示物Kcが重畳表示されるので、遠隔運転画面G2の撮像画像に対して作業車両1の速度感を付与することができ、遠隔運転画面G2から作業車両1の速度を体感し易くすることができる。
【0134】
また、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の周縁部PPに加速演出領域K4、K5を表示させる。この構成によれば、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の周縁部PPに加速演出領域K4、K5を表示させる。すなわち、遠隔運転画面G2の周縁部PPに表示される加速演出領域K4、K5によって、車両速度を強調して表示することができる。
【0135】
また、制御装置31は、作業車両1の速度又は加速度が増加するに連れて加速演出領域K4、K5を増大させて表示させる。この構成によれば、遠隔運転画面G2の周縁部PPに表示される加速演出領域K4、K5は、作業車両1の速度又は加速度が増加するに連れて増大されて表示されるので、遠隔運転画面G2の撮像画像の大きさが小さくなる。このため、作業車両1の速度又は加速度が増加するに連れて視野が狭くなるような表示演出を提供することができる。これにより、遠隔運転画面G2の撮像画像に対して作業車両1の速度感をより一層付与することができ、遠隔運転画面G2から作業車両1の速度をより一層体感し易くすることができる。
【0136】
また、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の全体の色を変化させる。この構成によれば、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の全体の色を変化させる。すなわち、作業車両1の速度又は加速度に応じて、遠隔運転画面G2の全体の色が変化することによって、車両速度又は加速度を強調して表示することができる。
【0137】
また、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の枠Fの色を変化させる。この構成によれば、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2の枠Fの色を変化させる。すなわち、作業車両1の速度又は加速度に応じて、遠隔運転画面G2の枠Fの色が変化することによって、車両速度又は加速度を強調して表示することができる。
【0138】
また、制御装置31は、作業車両1の後進時において、遠隔運転画面G2に作業車両1の後進時の撮像画像が表示され、強調表示Kとして、作業車両1の速度又は加速度に応じて当該遠隔運転画面G2に表示されるガイド線の形態を変化させる。この構成によれば、制御装置31は、強調表示Kとして、作業車両1の速度又は加速度に応じて遠隔運転画面G2に表示されるガイド線(予想進路線、駐車ガイド線など)の形態(色、形状など)を変化させる。すなわち、作業車両1の速度又は加速度に応じて、遠隔運転画面G2のガイド線の形態が変化することによって、車両速度又は加速度を強調して表示することができ
る。
【0139】
また、遠隔操縦システム100は、作業車両1と、遠隔装置30と、を備え、作業車両1は、当該作業車両1の速度を検出する検出装置(状態検出装置26)と、当該作業車両1の進行方向を撮像する撮像装置(カメラ25c)と、状態検出装置26にて検出された速度又は加速度を示す走行情報とカメラ25cにて撮像された撮像画像とを対応付けた対応データを送信する車載通信装置23とを備え、遠隔装置30の通信装置33は、車載通信装置23から送信された対応データを受信する。この構成によれば、遠隔装置30の操縦装置35にて作業車両1を遠隔操縦することにより当該作業車両1が遠隔運転される場合に、当該作業車両1の速度に応じて変化する強調表示K(つまり、車両速度の強調表示K)が遠隔装置30の表示装置34に表示される。この強調表示Kにより、遠隔操縦者は、作業車両1の速度が体感し易くなる。つまり、遠隔操縦者に対して作業車両1の速度を意識させることができる。
【0140】
<第1変形例>
第1変形例の遠隔装置30及び遠隔操縦システム100では、制御装置31は、図12A図12Eに示すように、作業車両1の遠隔操作時において、作業車両1の加速、減速、急ハンドル操作があると、遠隔運転画面G2において撮像画像として映す範囲を変更させる強調表示Kを表示することができる。図12Aは、第1変形例の遠隔運転画面G2の一例を示す図である。図12B図12Eはそれぞれ、第1変形例の遠隔運転画面G2での第8表示形態の強調表示Kを示す図である。
【0141】
図12Aに示すように、カメラ25cにて撮像された撮像画像のうちで、撮像画像として映す範囲(つまり、ウインドウ43aに表示される範囲)が予め定められている。例えば、撮像画像として映す範囲は、カメラ25cが向けられた方向(撮影方向)の中心線を中心点とする矩形状の範囲としている。
【0142】
制御装置31は、図12Bに示すように、作業車両1の加速時には、遠隔運転画面G2における撮像画像として映す範囲を加速度の変化分に応じた距離Dだけ上側に変更させる。例えば、制御装置31は、作業車両1の加速が規定値以上である場合に、遠隔運転画面G2における撮像画像として映す範囲を、加速度の変化分に応じた距離Dだけ上方に移動させる。つまり、カメラ方向が上方に振られたような撮像画像が表示される。一方、制御装置31は、作業車両1の加速が規定値未満である場合に、遠隔運転画面G2における撮像画像として映す範囲を移動させない。このように、急加速(規定値以上の加速)であれば、図12Bに示す強調表示Kが実行され、緩やかな加速(規定値未満の加速)であれば、図12Bに示す強調表示Kが実行されず、図12Aに示す遠隔運転画面G2が表示される。
【0143】
制御装置31は、図12Cに示すように、作業車両1の減速時に遠隔運転画面G2における撮像画像として映す範囲を加速度の変化分に応じた距離Dだけ下側に変更させる。例えば、制御装置31は、作業車両1の減速が規定値以上である場合に、遠隔運転画面G2における撮像画像として映す範囲を、加速度の変化分に応じた距離Dだけ下方に移動させる。つまり、カメラ方向が下方に振られたような撮像画像が表示される。一方、制御装置31は、作業車両1の減速が規定値未満である場合に、遠隔運転画面G2における撮像画像として映す範囲を移動させない。このように、急減速(規定値以上の減速)であれば、図12Cに示す強調表示Kが実行され、緩やかな減速(規定値未満の減速)であれば、図12Cに示す強調表示Kが実行されず、図12Aに示す遠隔運転画面G2が表示される。
【0144】
制御装置31は、図12Dに示すように、作業車両1の左旋回時には、遠隔運転画面G2における撮像画像として映す範囲を左旋回の操舵角に応じた距離Dだけ右側に変更させ
る。例えば、作業車両1の左旋回の操舵角が規定値以上である場合に、遠隔運転画面G2における撮像画像として映す範囲を、操舵角に応じた距離Dだけ右側に移動され、作業車両1の左旋回の操舵角が規定値未満である場合に、遠隔運転画面G2における撮像画像として映す範囲を移動させない。このように、急な左ハンドル操作であれば、図12Dに示す強調表示Kが実行され、緩やかな左ハンドル操作であれば、図12Dに示す強調表示Kが実行されず、図12Aに示す遠隔運転画面G2が表示される。
【0145】
制御装置31は、図12Eに示すように、作業車両1の右旋回時には、遠隔運転画面G2における撮像画像として映す範囲を右旋回の操舵角に応じた距離Dだけ左側に変更させる。例えば、作業車両1の右旋回の操舵角が規定値以上である場合に、遠隔運転画面G2における撮像画像として映す範囲を、操舵角に応じた距離Dだけ左側に移動され、作業車両1の右旋回の操舵角が規定値未満である場合に、遠隔運転画面G2における撮像画像として映す範囲を移動させない。このように、急な右ハンドル操作であれば、図12Eに示す強調表示Kが実行され、緩やかな右ハンドル操作であれば、図12Eに示す強調表示Kが実行されず、図12Aに示す遠隔運転画面G2が表示される。
【0146】
なお、上記したカメラ25cにて撮像された撮像画像のうちで、撮像画像として映す範囲を変えるのではなく、カメラ25cで撮像される範囲(つまり、カメラ25cの向き)を変えるようにしてもよい。すなわち、作業車両1の急な速度変化(例えば、加速度の規定値以上の変化)を作業車両1側の状態検出装置26にて検出された場合、カメラ25cの作業車両1への取り付け角度を作業車両1の車載制御装置21が自動で制御して変更する。例えば、車載制御装置21は、状態検出装置26にて急加速が検出された場合、カメラ25cの取り付け角度が、加速度の変化分に応じた角度だけ上側を向くように制御し、カメラ25cが上側を撮影するようにしてもよい。なお、急減速、左右への急旋回についても同様に制御してもよい。すなわち、車載制御装置21は、カメラ25cの取り付け角度を、加速度の変化分に応じた角度だけ下側、左側又は右側を向くように制御し、カメラ25cが下側、左側又は右側を撮影するようにしてもよい。
【0147】
制御装置31は、図9Dに示す選択画面G1に対する遠隔操縦者による選択操作に従って、図12B図12Eに示す第8表示形態の強調表示Kの実行の有無を決定することができる。図9Dは、表示装置34の第1変形例の選択画面G1の一例を示す図である。
【0148】
具体的には、制御装置31は、遠隔操縦者により、所定の追加指示、例えば、追加の演出(体感表示演出)の設定指示があると、図9Dに示すように、選択画面G1を表示装置34に表示させる。図9Dに示す選択画面G1には、体感表示演出を構成する3つの演出について、個別にオン又はオフが設定可能である。3つの演出は、急加速時の撮像画像の上向き演出、急減速時の撮像画像の下向き演出、及び、急ハンドル時の撮像画像の左右振り演出である。図9Dでは、3つの演出の全てがオンに設定されている。
【0149】
制御装置31は、図11に示す第1条件が成立している場合(S42:YES)、作業車両1の急加速(規定値以上の加速)があれば、図12Bに示す強調表示K(体感表示演出)を表示し、作業車両1の急減速(規定値以上の減速)があれば、図12Cに示す強調表示K(体感表示演出)を表示し、急ハンドル(操舵角が規定値以上)があれば、図12D図12Eに示す強調表示K(体感表示演出)を表示する。制御装置31は、図12B図12Eに示す強調表示K(体感表示演出)を、図5B図5C図6図7A図7B図8A図8B図8Cに加えて実行してもよい。
【0150】
第1変形例の遠隔装置30によれば、制御装置31は、作業車両1の加速時には、遠隔運転画面G2における撮像画像の表示位置を上方に加速度の変化分に応じた距離Dだけ移動させ、作業車両1の減速時に遠隔運転画面G2における撮像画像の表示位置を下方に加
速度の変化分に応じた距離Dだけ移動させる。この構成によれば、作業車両1の加速時には、遠隔運転画面G2における撮像画像の表示位置を、上方に加速度の変化分に応じた距離Dだけ移動させるので、遠隔操縦者に加速感の演出を提供することができる。また、作業車両1の減速時には、遠隔運転画面G2における撮像画像の表示位置を、下方に加速度の変化分に応じた距離Dだけ移動させるので、遠隔操縦者に減速感の演出を提供することができる。
【0151】
また、制御装置31は、作業車両1の左旋回時には、遠隔運転画面G2における撮像画像の表示位置を左旋回の操舵角に応じた距離Dだけ左側に移動させ、作業車両1の右旋回時には、遠隔運転画面G2における撮像画像の表示位置を右旋回の操舵角に応じた距離Dだけ右側に移動させる。この構成によれば、作業車両1の左旋回時には、遠隔運転画面G2における撮像画像の表示位置を、左側に左旋回の操舵角に応じた距離Dだけ移動させるので、遠隔操縦者に急左旋回感の演出を提供することができる。また、作業車両1の右旋回時には、遠隔運転画面G2における撮像画像の表示位置を、右側に右旋回の操舵角に応じた距離Dだけ移動させるので、遠隔操縦者に急右旋回感の演出を提供することができる。
【0152】
<第2変形例>
上記実施形態の遠隔装置30及び遠隔操縦システム100では、制御装置31は、撮像画像に基づいて第1条件の成立又は不成立を判定しているが、これに限定されない。第2変形例の遠隔装置30及び遠隔操縦システム100では、地図情報に基づいて第1条件の成立又は不成立を判定することができる。
【0153】
例えば、第2変形例の制御装置31は、作業車両1の位置情報と、地図情報とを用いて、当該作業車両1の位置情報が示す現時点の位置が、地図情報が示す地図の所定領域(例えば圃場H1)であれば、第1条件の成立と判定し、所定領域(例えば圃場H1)でなければ第1条件の不成立と判定する。
【0154】
図13は、第2変形例の画面表示更新処理を示すフローチャートである。制御装置31は、地図判定処理を行う(S51)。具体的には、記憶装置32は、例えば、圃場H1を含む地図情報を記憶している。制御装置31は、地図判定処理(S51)において、作業車両1の位置情報と、記憶装置32に記憶された地図情報とを用いて、作業車両1の位置情報が示す現時点の位置が、地図情報が示す地図の所定領域(例えば圃場H1)に位置するか否かを判定する。制御装置31は、作業車両1の現時点の位置が圃場H1に位置していれば、第1条件の成立と判定し(S42:YES)、作業車両1の現時点の位置が圃場H1に位置していなければ、第1条件の不成立と判定する(S42:NO)。S43~S45は、図11と同じであるため、ここでの説明を省略する。
【0155】
第2変形例によれば、制御装置31は、作業車両1の位置情報と、地図情報とを用いて、当該作業車両1の位置情報が示す現時点の位置が、地図情報が示す地図の所定領域であれば、第1条件の成立と判定し、所定領域でなければ第1条件の不成立と判定する。この構成によれば、遠隔運転される作業車両1の位置が地図の所定領域(例えば、圃場、牧草地、農道など)であれば、第1条件の成立と判定するので、撮像画像を画像解析する必要がなく、簡易に第1条件の成立/不成立を判定することができる。
【0156】
なお、上記実施形態及び第1、第2変形例では、強調表示Kを遠隔運転画面G2に表示しているが、図1に示す遠隔装置30の操縦装置35の周辺装置(例えば、ハンドル35aなど)に強調表示Kが表示されてもよい。
【0157】
また、上記実施形態及び第1、第2変形例での強調表示Kに加えて、遠隔操縦席の遠隔
操縦者に対して風を送り、作業車両1の走行速度に応じて風の強さが変更されてもよい。例えば、作業車両1の走行速度が増加するに連れて、風の強さが強くなる。
【0158】
また、上記実施形態及び第1、第2変形例での強調表示Kに加えて、遠隔操縦席の遠隔操縦者に対して作業車両1のエンジン音を音出力し、作業車両1の走行速度に応じてエンジン音の大きさや種類が変更されてもよい。例えば、作業車両1の走行速度が増加するに連れて、エンジン音が大きくなる、または、エンジン音が変化する。例えば、遠隔装置30は、記憶装置32に予めエンジン音を記憶し、作業車両1の走行速度が増加するに連れて、エンジン音が大きくなるよう、または、エンジン音が変化するようにスピーカ36aから出力することができる。また、遠隔装置30は、実際の作業車両1に設けられた集音装置にてエンジン音を検出して音情報として遠隔装置30に送信し、遠隔装置30が受信した音情報を音声再生装置で再生したエンジン音をスピーカ36aから出力してもよい。
【0159】
以上、本発明について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0160】
1 作業車両
2 作業装置
21 車載通信装置
24 位置検出装置
25c カメラ(撮像装置)
25c1 内部カメラ(撮像装置)
25c2 後方カメラ(撮像装置)
30 遠隔装置
31 制御装置
32 記憶装置
33 通信装置
34 表示装置
35 操縦装置
70 表示端末
100 遠隔操縦システム
K 強調表示
図1
図2
図3
図4
図5A
図5B
図5C
図6
図7A
図7B
図8A
図8B
図8C
図9A
図9B
図9C
図9D
図10A
図10B
図11
図12A
図12B
図12C
図12D
図12E
図13