(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
(51)【国際特許分類】
G06Q 50/08 20120101AFI20240903BHJP
E02F 9/26 20060101ALI20240903BHJP
【FI】
G06Q50/08
E02F9/26 A
(21)【出願番号】P 2020085080
(22)【出願日】2020-05-14
【審査請求日】2023-02-06
(73)【特許権者】
【識別番号】000246273
【氏名又は名称】コベルコ建機株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】デロイトトーマツ弁理士法人
(72)【発明者】
【氏名】大谷 真輝
(72)【発明者】
【氏名】佐々木 均
(72)【発明者】
【氏名】佐伯 誠司
(72)【発明者】
【氏名】山▲崎▼ 洋一郎
【審査官】▲高▼瀬 健太郎
(56)【参考文献】
【文献】特開2016-075599(JP,A)
【文献】特開2019-207570(JP,A)
【文献】特開2019-159727(JP,A)
【文献】特開2020-173150(JP,A)
【文献】特開2017-211896(JP,A)
【文献】特開2007-047948(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 -99/00
E02F 9/26
(57)【特許請求の範囲】
【請求項1】
遠隔操作装置と、オペレータによる
該遠隔操作装置を通じた作業機械の遠隔操作を支援するための
遠隔操作支援サーバと、を備える遠隔操作支援
システムであって、
前記遠隔操作支援サーバは、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける
将来の第
2指定期間にわたる
予測気象条件を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける
前記予測気象条件を表わす第1作業参考情報を生成して
、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報を出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援
システム。
【請求項2】
請求項1記載の遠隔操作支援
システムにおいて、
前記第1支援処理要素
は、気象情報データベースへの照会により、前記指定エリアにおける
前記予測気象条件に加えて、
前記指定エリアにおける過去の第
1指定期間にわた
る気象条件を認識し、
前記第2支援処理要素
は、前記第1支援処理要素により認識された前記指定エリアにおける
前記予測気象条件に加えて、
前記指定エリアにおける過去の第
1指定期間にわた
る気象条件を表わす
ように前記第1作業参考情報を生成して
、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報を出力させることを特徴とする遠隔操作支援
システム。
【請求項3】
請求項
1または2に記載の遠隔操作支援
システムにおいて、
前記第1支援処理要素
は、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識し、
前記第2支援処理要素
は、前記第1支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第1支援処理要素により認識された前記指定エリアにおける
前記予測気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質を表わす
ように第2作業参考情報を生成して、
前記出力インターフェースに前記第2作業参考情報を出力させることを特徴とする遠隔操作支援
システム。
【請求項4】
請求項
3記載の遠隔操作支援
システムにおいて、
前記第2支援処理要素
は、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の安定な移動の観点から定まる第1閾値以上であるか否かを表わす
ように前記第2作業参考情報を生成することを特徴とする遠隔操作支援
システム。
【請求項5】
遠隔操作装置と、オペレータによる該遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバと、を備える遠隔操作支援システムであって、
前記遠隔操作支援サーバは、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第1指定期間にわたる気象条件を認識するとともに、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける過去の第1指定期間にわたる気象条件を表わす第1作業参考情報を生成するとともに、前記第1支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第1支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の安定な移動の観点から定まる第1閾値以上であるか否かを表わす第2作業参考情報を生成して、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報および第2作業参考情報を出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援システム。
【請求項6】
遠隔操作装置と、オペレータによる該遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバと、を備える遠隔操作支援システムであって、
前記遠隔操作支援サーバは、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第1指定期間にわたる気象条件を認識するとともに、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける過去の第1指定期間にわたる気象条件を表わす第1作業参考情報を生成するとともに、前記第1支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第1支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の作業の容易の観点から定まる第2閾値以下であるか否かを表わす第2作業参考情報を生成して、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報および前記第2作業参考情報を出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援システム。
【請求項7】
請求項
3~6のうちいずれか1項に記載の遠隔操作支援
システムにおいて、
前記出力インターフェースには、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像
を表わす撮像画像データに応じた作業環境画像が出力され、
前記第2支援処理要素は、前記出力インターフェースに出力されている前記作業環境画像に含まれているエリアを前記指定エリアとして、前記第2作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第2作業参考情報を出力させることを特徴とする遠隔操作支援
システム。
【請求項8】
請求項
7記載の遠隔操作支援
システムおいて、
前記第2支援処理要素は、前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第2作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援
システム。
【請求項9】
請求項1~8のうちいずれか1項に記載の遠隔操作支援システムにおいて、
前記出力インターフェースには、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を表わす撮像画像データに応じた作業環境画像が出力され、
前記第2支援処理要素は、前記出力インターフェースに出力されている前記作業環境画像に含まれているエリアを前記指定エリアとして前記第1作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第1作業参考情報を出力させることを特徴とする遠隔操作支援システム。
【請求項10】
請求項9記載の遠隔操作支援システムおいて、
前記第2支援処理要素は、前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第1作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援システム。
【請求項11】
オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける将来の第2指定期間にわたる予測気象条件を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける前記予測気象条件を表わす第1作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報を出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
【請求項12】
請求項11記載の遠隔操作支援サーバにおいて、
前記第1支援処理要素が、気象情報データベースへの照会により、前記指定エリアにおける過去の第1指定期間にわたる気象条件を認識し、
前記第2支援処理要素が、前記指定エリアにおける前記予測気象条件に加えて、前記第1支援処理要素により認識された前記指定エリアにおける過去の第1指定期間にわたる気象条件を表わすように前記第1作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報を出力させることを特徴とする遠隔操作支援サーバ。
【請求項13】
オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第1指定期間にわたる気象条件を認識するとともに、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける過去の第1指定期間にわたる気象条件を表わす第1作業参考情報を生成するとともに、前記第1支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第1支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の安定な移動の観点から定まる第1閾値以上であるか否かを表わす第2作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報および前記第2作業参考情報を出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
【請求項14】
オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第1指定期間にわたる気象条件を認識するとともに、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける過去の第1指定期間にわたる気象条件を表わす第1作業参考情報を生成するとともに、前記第1支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第1支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の作業の容易の観点から定まる第2閾値以下であるか否かを表わす第2作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報および前記第2作業参考情報を出力させる第2支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための技術に関する。
【背景技術】
【0002】
作業機から所定の稼働情報を受信する遠隔サーバにおいて、作物の育成に関与する情報(具体的には作業機の作業領域を含む地図情報や作物の生育に関する標準的な生育管理モデル)と連動して気象条件を表示する技術が提案されている(例えば、特許文献1参照)。遠隔サーバは、作業機の位置を示す位置情報に基づいて作業機の作業領域を含む地図情報を抽出し、別途読み込む気象条件から作業領域を含む地域に対応する気象条件を抽出し、地図情報の地域と地図情報の地域に対応する気象条件とを並べて所定の表示領域に収めた状態で表示させる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、地域に関する降雨量および気温等の気象条件が、作業機械の移動および作業に及ぼす影響に関する情報を当該作業機械のオペレータに対して提供する観点に欠けている。
【0005】
そこで、本発明は、地域に関する降雨量および気温等の様々な気象条件が、作業機械の移動および作業に及ぼす影響に関する情報を当該作業機械のオペレータに対して提供することができるサーバ等を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の遠隔操作支援サーバは、
オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける将来の第2指定期間にわたる気象条件を認識する第1支援処理要素と、
前記第1支援処理要素により認識された前記指定エリアにおける将来の第2指定期間にわたる予測気象条件を表わす第1作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報を出力させる第2支援処理要素と、を備えている。
【0007】
本発明の遠隔操作支援システムは、本発明の遠隔操作支援サーバと、前記遠隔操作装置と、により構成されている。
【0008】
当該構成の遠隔操作支援サーバまたは遠隔操作支援システム(以下「遠隔操作支援サーバ等」という。)によれば、作業機械が存在する指定エリア(または指定地点)における将来の第2指定期間にわたる予測気象条件を表わす第1作業参考情報が遠隔操作装置の出力インターフェースに出力される。よって、当該将来の第2指定期間にわたる予測気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらすか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに推定または予測させることができる。
【0009】
本発明の遠隔操作支援サーバ等において、
前記第1支援処理要素は、気象情報データベースへの照会により、前記指定エリアにおける前記予測気象条件に加えて、過去の第1指定期間にわたる気象条件を認識し、
前記第2支援処理要素は、前記第1支援処理要素により認識された前記指定エリアにおける前記予測気象条件に加えて、過去の第1指定期間にわたる気象条件を表わすように前記第1作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第1作業参考情報を出力させることが好ましい。
【0010】
当該構成の遠隔操作支援サーバ等によれば、作業機械が存在する指定エリアにおける過去の第1指定期間および将来の第2指定期間にわたる気象条件を表わす第1作業参考情報が遠隔操作装置の出力インターフェースに出力される。よって、当該過去の第1指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらしたか、当該将来の第2指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらすか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の将来における当該変化後の性質に関する情報を当該作業機械のオペレータに推定または予測させることができる。
【0011】
本発明の遠隔操作支援サーバ等において、
前記出力インターフェースには、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を表わす撮像画像データに応じた作業環境画像を、前記遠隔操作装置との通信に基づいて前記出力インターフェースに出力させ、
前記第2支援処理要素は、前記出力インターフェースに出力されている作業環境画像に含まれているエリアを前記指定エリアとして、前記第1作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第1作業参考情報を出力させることが好ましい。
【0012】
当該構成の遠隔操作支援サーバ等によれば、作業環境画像に映り込んでいる作業機械およびこれを含むエリアとしての指定エリアにおける降雨量および気温等の気象条件が当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに推定させることができる。
【0013】
本発明の遠隔操作支援サーバ等において、
前記第2支援処理要素が、前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第1作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることが好ましい。
【0014】
当該構成の遠隔操作支援サーバ等によれば、作業環境画像そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第1作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。
【0015】
本発明の遠隔操作支援サーバ等において、
前記第1支援処理要素が、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識し、
前記第2支援処理要素が、前記第1支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第1支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質を表わす第2作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第2作業参考情報を出力させることが好ましい。
【0016】
当該構成の遠隔操作支援サーバ等によれば、作業機械が存在する指定エリアにおける地盤の本来的な性質が、当該指定エリアの過去の第1指定期間(および将来の第2指定期間)にわたる気象条件に応じてどのように変化しているかが推定または予測され、当該推定結果を表わす第2作業参考情報が遠隔操作装置の出力インターフェースに出力される。よって、指定エリアに関する降雨量および気温等の気象条件が、当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、(さらには、当該将来の第2指定期間にわたる気象条件が各地点における地盤の本来的な性質にどのような変化をもたらすか、)ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに認識させることができる。
【0017】
本発明の遠隔操作支援サーバ等において、
前記第2支援処理要素が、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の安定な移動の観点から定まる第1閾値以上であるか否かを表わす前記第2作業参考情報を生成することが好ましい。
【0018】
当該構成の遠隔操作支援サーバ等によれば、指定エリアにおける降雨量および気温等の気象条件に応じた地盤の硬さが、作業機械の安定な移動の観点から十分であるか否かを当該作業機械のオペレータに認識することができる。
【0019】
本発明の遠隔操作支援サーバ等において、
前記第2支援処理要素が、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の作業の容易の観点から定まる第2閾値以下であるか否かを表わす前記第2作業参考情報を生成することが好ましい。
【0020】
当該構成の遠隔操作支援サーバ等によれば、指定エリアにおける降雨量および気温等の気象条件に応じた地盤の柔らかさが、作業機械の作業の容易の観点から十分であるか否かを当該作業機械のオペレータに認識することができる。
【0021】
本発明の遠隔操作支援サーバ等において、
前記出力インターフェースには、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を表わす撮像画像データに応じた作業環境画像を、前記遠隔操作装置との通信に基づいて前記出力インターフェースに出力させ、
前記第2支援処理要素は、前記出力インターフェースに出力されている作業環境画像に含まれているエリアを前記指定エリアとして、前記第2作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第2作業参考情報を出力させることが好ましい。
【0022】
当該構成の遠隔操作支援サーバ等によれば、作業環境画像に映り込んでいる作業機械およびこれを含むエリアとしての指定エリアにおける降雨量および気温等の気象条件が当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに認識させることができる。
【0023】
本発明の遠隔操作支援サーバ等において、
前記第2支援処理要素が、前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第2作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることが好ましい。
【0024】
当該構成の遠隔操作支援サーバ等によれば、作業環境画像そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第2作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。
【図面の簡単な説明】
【0025】
【
図1】本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。
【
図4】遠隔操作支援システムの第1機能に関する説明図。
【
図5】遠隔操作支援システムの第2機能に関する説明図。
【
図9】環境画像および第1作業参考情報の表示態様に関する説明図。
【
図10】第2作業参考情報の表示態様に関する説明図。
【
図11】作業参考情報の他の表示態様に関する説明図。
【発明を実施するための形態】
【0026】
(遠隔操作支援システムの構成)
図1に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ10と、作業機械40を遠隔操作するための遠隔操作装置20と、により構成されている。遠隔操作支援サーバ10、遠隔操作装置20および作業機械40は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10、気象情報データベース11および地盤情報データベース12は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ10および遠隔操作装置20の相互通信ネットワークと、遠隔操作支援サーバ10および作業機械40の相互通信ネットワークと、は同一であってもよく相違していてもよい。
【0027】
(遠隔操作支援サーバの構成)
遠隔操作支援サーバ10は、データベース102と、第1支援処理要素121と、第2支援処理要素122と、を備えている。データベース102は、撮像画像データ等を記憶保持する。データベース102は、遠隔操作支援サーバ10とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
【0028】
(遠隔操作装置の構成)
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、を備えている。遠隔制御装置200は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース210は、遠隔操作機構211を備えている。遠隔出力インターフェース220は、画像出力装置221と、遠隔無線通信機器222と、を備えている。
【0029】
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体410を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
【0030】
遠隔操作機構211を構成する各操作レバーは、例えば、
図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
【0031】
シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、
図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、
図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。
【0032】
画像出力装置221は、例えば
図2に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212により構成されている。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。
【0033】
図2に示されているように、中央画像出力装置2210の画面および左側画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側画像出力装置2211の右縁が、中央画像出力装置2210の左縁に隣接している。
図2に示されているように、中央画像出力装置2210の画面および右側画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側画像出力装置2212の左縁が、中央画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
【0034】
中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置2210、左側画像出力装置2211および右側画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置2210が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置2210~2212は、スピーカ(音声出力装置)をさらに備えていてもよい。
【0035】
(作業機械の構成)
作業機械40は、実機制御装置400と、実機入力インターフェース41と、実機出力インターフェース42と、作動機構440と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0036】
作業機械40は、例えばクローラショベル(建設機械)であり、図3に示されているように、クローラ式の下部走行体410と、下部走行体410に旋回機構430を介して旋回可能に搭載されている上部旋回体420と、を備えている。上部旋回体420の前方左側部にはキャブ424(運転室)が設けられている。上部旋回体220の前方中央部には作業機構440が設けられている。
【0037】
実機入力インターフェース41は、実機操作機構411と、実機撮像装置412と、測位装置414と、を備えている。実機操作機構411は、キャブ424の内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ424に設けられている。実機撮像装置412は、例えばキャブ424の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置414は、GPSおよび必要に応じてジャイロセンサ等により構成されている。
【0038】
実機出力インターフェース42は、実機無線通信機器422を備えている。
【0039】
図3に示されているように、作動機構としての作業機構440は、上部旋回体420に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
【0040】
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体420との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
【0041】
(第1機能)
前記構成の遠隔操作支援システムの第1機能について
図4に示されているフローチャートを用いて説明する。当該フローチャートにおいて「C●」というブロックは、記載の簡略のために用いられ、データの送信および/または受信を意味し、当該データの送信および/または受信を条件として分岐方向の処理が実行される条件分岐を意味している。これは、
図5のフローチャートにおいても同様である。
【0042】
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた指定操作の有無が判定される(
図4/STEP210)。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(
図4/STEP210‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(
図4/STEP210‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して環境確認要求が送信される(
図4/STEP212)。
【0043】
遠隔操作支援サーバ10において、環境確認要求が受信された場合、第1支援処理要素121により当該環境確認要求が該当する作業機械40に対して送信される(
図4/C10)。
【0044】
作業機械40において、実機無線通信機器422を通じて環境確認要求が受信された場合(
図4/C40)、実機制御装置400が実機撮像装置412を通じて撮像画像を取得する(
図4/STEP410)。実機制御装置400により、実機無線通信機器422を通じて、当該撮像画像を表わす撮像画像データが遠隔操作
支援サーバ10に対して送信される(
図4/STEP412)。
【0045】
遠隔操作支援サーバ10において、第1支援処理要素121により撮像画像データが受信された場合(
図4/C11)、第2支援処理要素122により撮像画像に応じた環境画像データが遠隔操作装置20に対して送信される(
図4/STEP110)。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。
【0046】
遠隔操作装置20において、遠隔無線通信機器222を通じて環境画像データが受信された場合(
図4/C21)、遠隔制御装置200により、環境画像データに応じた環境画像が画像出力装置221に出力される(
図4/STEP214)。
【0047】
これにより、例えば、
図6に示されているように、作業機構440の一部であるブーム441、アーム443およびバケット445が映り込んでいる
作業環境画像Img(C)が画像出力装置221に出力される。
【0048】
遠隔操作装置20において、遠隔制御装置200により遠隔操作機構211の操作態様が認識され(
図4/STEP216)、かつ、遠隔無線通信機器222を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ10に対して送信される(
図4/STEP218)。
【0049】
遠隔操作支援サーバ10において、第2支援処理要素122により当該遠隔操作指令が受信された場合、第1支援処理要素121により、当該遠隔操作指令が作業機械40に対して送信される(
図4/C12)。
【0050】
作業機械40において、実機制御装置400により、実機無線通信機器422を通じて操作指令が受信された場合(
図4/C41)、作業機構440等の動作が制御される(
図4/STEP414)。例えば、バケット445により作業機械40の前方の土をすくい、上部旋回体410を旋回させたうえでバケット445から土を落とす作業が実行される。
【0051】
(第2機能)
前記構成の遠隔操作支援システムのさらなる機能について
図5に示されているフローチャートを用いて説明する。
【0052】
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた第1指定操作の有無が判定される(
図5/STEP220)。「第1指定操作」は、例えば、複数の作業機械40のそれぞれの存在位置を示すマップにおいて、一つの作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。「第1指定操作」は、「指定操作」と同一の操作として判定されてもよいし、別の操作として判定されてもよい。当該判定結果が否定的である場合(
図5/STEP220‥NO)、一連の処理が終了する。その一方、当該判定結果が肯定的である場合(
図5/STEP220‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して第1作業参考情報要求が送信される(
図5/STEP222)。当該要求には、遠隔操作装置20との通信が確立している作業機械40または遠隔入力インターフェース210を通じて指定された作業機械40を識別するための作業機械識別子が含まれている。
【0053】
遠隔操作支援サーバ10において、第1作業参考情報要求が受信された場合(
図5/C13)、第1支援処理要素121により当該要求に含まれている作業機械識別子により識別される作業機械40に対して位置情報要求が送信される(
図5/STEP120)。
【0054】
作業機械40において、実機無線通信機器422を通じて位置情報要求が受信された場合(
図5/C42)、実機制御装置400が測位装置414を通じて、当該作業機械40の位置情報(緯度および経度により特定される。)が認識される(
図5/STEP420)。実機制御装置400により、実機無線通信機器422を通じて、当該位置情報またはこれを表わす位置データが遠隔操作
支援サーバ10に対して送信される(
図5/STEP422)。
【0055】
なお、位置情報要求の受信(
図5/C42)に関わらず、当該位置情報またはこれを表わす位置データが遠隔操作支援サーバ10に対して定期的に送信されてもい。
【0056】
遠隔操作支援サーバ10において、第1支援処理要素121により位置情報が認識された場合(
図5/C14)、第1支援処理要素121により当該作業機械40が存在する指定エリアが認識される(
図5/STEP121)。位置情報に加えて撮像画像データ(
図4/STEP412→C11参照)に基づき、撮像範囲が画像座標系から世界座標系に座標変換されることにより、当該位置を基準として拡がる世界座標系におけるエリアが指定エリアとして認識されてもよい。
【0057】
第1支援処理要素121により、気象情報データベース11への照会により、過去の第1指定期間にわたる気象条件および将来の第2指定期間(第1指定期間と長さが同じであっても異なっていてもよい。)にわたる当該指定エリアにおける気象条件が認識される(
図5/STEP122)。気象条件には、天候、単位時間(例えば1時間)当たりの日照時間、気温、湿度、降水量、風速、風向きおよび/または気圧などが含まれている。
【0058】
第1支援処理要素121により認識された指定エリアにおける気象条件に基づき、第2支援処理要素122により、第1作業参考情報が生成され、かつ、遠隔操作装置20に対して送信される(
図5/STEP124)。例えば、
図7に示されているように、指定エリアAの少なくとも一部を包含し、かつ、作業機械40の現在位置Pを示すマップM11に加えて、当該現在位置Pの住所MAd、指定エリアAにおける現在時刻の天候を示すアイコンM12、指定エリアAにおける現在時刻の気象条件M13(例えば、気温、湿度および風速)、第1指定期間および第2指定期間にわたる気象条件(例えば、気温、天候および降水量)の変遷を表わすダイヤグラムM120、M122およびM124が含まれている。指定エリアAの形状は、例えば、作業機械40の現在位置Pを中心として拡がる所定径の円形状のほか、矩形状または多角形状など様々な形状であってもよい。作業機械
40が作業を実施する作業エリア(あらかじめデータベース102に登録されている。)が指定エリアAとして認識されてもよい。
【0059】
遠隔操作装置20において、遠隔制御装置200により第1作業参考情報が受信され(
図5/C22)、遠隔出力インターフェース220を構成する画像出力装置221に当該第1作業参考情報が出力される(
図5/STEP222)。これにより、
図7に示されているような第1作業参考情報(またはこれを示す画像)Img(Info1)が画像出力装置221に出力される。第1作業参考情報Img(Info1)には、前記のようにマップM11、指定エリアAにおける第1指定期間および第2指定期間にわたる気象条件(例えば、気温、天候および降水量)の変遷を表わすダイヤグラムM120、M122およびM124等が含まれている。
【0060】
第1作業参考情報に重複出力指令が含まれているまたは付属している場合、遠隔制御装置200により、
図9に示されているように、遠隔出力インターフェース220を構成する画像出力装置221に当該第1作業参考情報Img(info1)が
作業環境画像Img(C)に重畳されて出力されてもよい。第1作業参考情報Img(info1)が出力されることにより、作業環境画像Img(C)における地面の色または輝度の視認性が損なわれることはない。これにより、作業環境画像Img(C)そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第1作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。
【0061】
遠隔操作装置20において、オペレータにより遠隔入力インターフェース210を通じた第2指定操作の有無が判定される(
図5/STEP224)。「第2指定操作」は、例えば、複数の作業機械40のそれぞれの存在位置を示すマップにおいて、一の作業機械40を指定するための遠隔入力インターフェース210におけるタップなどの操作である。当該判定結果が否定的である場合(
図5/STEP224‥NO)、第1指定操作の有無の判定(
図5/STEP220)以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合(
図5/STEP224‥YES)、遠隔無線通信機器222を通じて、遠隔操作支援サーバ10に対して第2作業参考情報要求が送信される(
図5/STEP226)。当該要求には、遠隔操作装置20との通信が確立している作業機械40または遠隔入力インターフェース210を通じて指定された作業機械40を識別するための作業機械識別子が含まれている。
【0062】
遠隔操作支援サーバ10において、第2作業参考情報要求が受信された場合(
図5/C15)、第1支援処理要素121により当該要求に含まれている作業機械識別子により識別される作業機械40が存在する指定エリアに基づき、地盤情報データベース
12への照会により、指定エリアにおける本来的な地盤情報が認識される(
図5/STEP126)。この際、指定エリアが未指定である場合、前記のように当該要求に含まれている作業機械識別子に基づき、指定エリアが指定されてもよい(
図5/STEP120→‥→STEP121参照)。地盤情報には、地盤の含水率、N値および/または地質が勘案された換算N値などが含まれている。
【0063】
第1支援処理要素121は、地盤情報データベース
12への照会により、過去の第1指定期間にわたる地盤情報および将来の第2指定期間(第1指定期間と長さが同じであっても異なっていてもよい。)にわたる当該指定エリアにおける地盤情報が認識される(
図5/STEP127)。
【0064】
第2支援処理要素122を構成する記憶装置には、例えば、気象条件の時間変化態様および地盤情報の変化態様の相関関係が、機械学習により学習された結果としてのモデルが記憶保持されている。そして、当該モデルに対して、第1支援処理要素121により認識された指定エリアにおける気象条件の時間変化態様が入力されることにより、当該モデルの出力が地盤情報の変化態様の推定結果または予測結果として認識される。当該モデルは、例えば、土壌雨量指数を演算するためのタンクモデルを用い、さらに各指定エリアにおける地質特性の学習を反映させたモデルを用いることができる。
【0065】
第1支援処理要素121により認識された指定エリアにおける気象条件および地盤情報に基づき、第2支援処理要素122により、第2作業参考情報が生成され、かつ、遠隔操作装置20に対して送信される(
図5/STEP128)。例えば、
図8に示されているように、指定エリアAの少なくとも一部を包含し、かつ、作業機械40の現在位置Pを示すマップM21に加えて、当該現在位置Pの住所MAd、指定エリアAにおける現在時刻の含水率を示すアイコンM22、指定エリアAにおける現在時刻の地盤情報M23(例えば、含水率およびN値)、第1指定期間および第2指定期間にわたる地盤情報(例えば、含水率)の変遷を表わすダイヤグラムM220、ならびに気象条件の変遷を表わすM222およびM224が含まれている。
【0066】
遠隔操作装置20において、遠隔制御装置200により第2作業参考情報が受信され(
図5/C24)、遠隔出力インターフェース220を構成する画像出力装置221に当該第
2作業参考情報が出力される(
図5/STEP228)。これにより、
図8に示されているような第2作業参考情報(またはこれを示す画像)Img(Info2)が画像出力装置221に出力される。第2作業参考情報Img(Info2)には、前記のようにマップM11、指定エリアAにおける第1指定期間および第2指定期間にわたる地盤情報(例えば、含水率)の変遷を表わすダイヤグラムM220等が含まれている。
【0067】
第2作業参考情報に重複出力指令が含まれているまたは付属している場合、遠隔制御装置200により、遠隔出力インターフェース220を構成する画像出力装置221に当該第2作業参考情報Img(info2)が
作業環境画像Img(C)に重畳されて出力されてもよい(
図9参照)。第2作業参考情報Img(info2)が出力されることにより、作業環境画像Img(C)における地面の色または輝度の視認性が損なわれることはない。これにより、作業環境画像Img(C)そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第2作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。
【0068】
(効果)
当該構成の遠隔操作支援システム、ならびに、これを構成する遠隔操作支援サーバ10および遠隔操作装置20によれば、作業機械40が存在する指定エリアAにおける過去の第1指定期間にわたる気象条件(実測値又は解析値)および将来の第2指定期間にわたる気象条件(予測値)を表わす第1作業参考情報Img(info1)が遠隔操作装置20の
遠隔出力インターフェース220に出力される(
図5/STEP120→C42→STEP420→STEP422→C14→STEP121→STEP122→STEP124→C22→STEP222、
図7参照)。よって、当該過去の第1指定期間および将来の第2指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらしたかまたはもたらすか、ひいては、作業機械40の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械40のオペレータに推定または予測させることができる。
【0069】
また、作業機械40が存在する指定エリアにおける地盤の本来的な性質が、当該指定エリアの過去の第1指定期間および将来の第2指定期間にわたる気象条件に応じてどのように変化しているかが推定または予測され、当該推定結果を表わす第2作業参考情報Img(info2)が遠隔操作装置20の
遠隔出力インターフェース220に出力される(
図5/STEP126→STEP127→STEP128→C24→STEP228、
図8参照)。よって、指定エリアに関する降雨量および気温等の気象条件が、当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、さらには、当該将来の第2指定期間にわたる気象条件が各地点における地盤の本来的な性質にどのような変化をもたらすか、ひいては、作業機械40の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械40のオペレータに認識させることができる。
【0070】
(本発明の他の実施形態)
第2支援処理要素122が、指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、作業機械40の安定な移動の観点から定まる第1閾値以上であるか否かを表わす第2作業参考情報を生成してもよい。例えば、
図10に示されているように、指定エリアにおける地盤の含水率の時間変化態様を示す曲線(実線参照)とともに第1閾値を示す線分(破線参照)が含まれているダイヤグラムが第2作業参考情報として生成されてもよい。また、作業機械40による作業開始予定時刻より後で(または前後で)含水率が第1閾値を超える時間帯において作業機械40の移動が不安定になる旨の通知、および/または、当該時間帯の終了時刻から作業開始を推奨する旨の通知が第2作業参考情報に含まれていてもよい。
【0071】
同様に、第2支援処理要素122が、指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、作業機械40の作業の容易の観点から定まる第2閾値以下であるか否かを表わす第2作業参考情報を生成してもよい。
【0072】
第2支援処理要素122が、作業機械40が存在する指定エリアにおける地盤の硬さまたは含水量を表わす指標値を作業機械40が存在する位置を中心とした地図情報に重畳させた第2作業参考情報を生成してもよい。例えば、
図11に示されているように、作業機械40の現在位置Pを示すマップM31の地図情報に、地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、第1指定期間から第2指定期間にわたって第1閾値以上であるエリアM310、第1指定
期間では第1閾値以上であるが第2指定期間にわたると第1閾値未満となるエリアM311、第1指定期間から第2指定期間にわたって第1閾値未満であるエリアM312、および森林などの作業機械40が移動できないエリアM313が第2作業参考情報として生成されてもよい。各エリア311~313は、例えば、異なる色により表現される。また、マップM31は第1指定期間から第2指定期間にわたる間の所定の時刻における第2作業参考情報を生成してもよい。
【0073】
当該構成の遠隔操作支援サーバによれば、作業環境画像に映り込んでいる作業機械およびこれを含むエリアの各地点に関する降雨量および気温等の気象条件が地盤の本来意的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに対して提供することができる。
【符号の説明】
【0074】
10‥遠隔操作支援サーバ、11‥気象情報データベース、12‥地盤情報データベース、20‥遠隔操作装置、40‥作業機械、102‥データベース、121‥第1支援処理要素、122‥第2支援処理要素、200‥遠隔制御装置、210‥遠隔入力インターフェース、211‥遠隔操作機構、220‥遠隔出力インターフェース、221‥画像出力装置、400‥実機制御装置、410‥実機入力インターフェース、420‥実機出力インターフェース、424‥キャブ(運転室)、440‥作業機構(作動機構)、445‥バケット(作業部)。