特開 2024-1740 操作支援装置、操作支援システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001740

(43)【公開日】2024-01-10

(54)【発明の名称】操作支援装置、操作支援システム、及びプログラム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20231227BHJP

   E02F 9/20 20060101ALI20231227BHJP

【ＦＩ】

E02F9/26 A

E02F9/20 Z

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022100597

(22)【出願日】2022-06-22

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】竹内 凌一

【テーマコード（参考）】

2D003

2D015

【Ｆターム（参考）】

2D003AA01

2D003AB03

2D003AB04

2D003BA01

2D003BA04

2D003BA06

2D003CA02

2D003DA04

2D003DB01

2D003DC07

2D015HA03

(57)【要約】

【課題】バケットなどで掬い上げた物体を投下するユーザ操作を支援する操作支援装置、操作支援システム、及びプログラムを提供する。
【解決手段】操作支援装置は、バケットにより掬い上げられる物体に関する情報に基づき、物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定部と、推定部が推定する落下位置及び落下範囲の少なくとも一方を示す映像を生成する映像生成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

バケットにより掬い上げられる物体に関する情報に基づき、当該物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定部と、
前記推定部が推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成部と、
を備える、操作支援装置。

【請求項2】

前記推定部は、前記バケットによって掬い上げられた前記物体の高さ及び位置の少なくとも一方に基づいて、前記落下位置及び前記落下範囲の少なくとも一方を推定する、請求項１に記載の操作支援装置。

【請求項3】

前記推定部は、前記バケットの高さ及び位置の少なくとも一方に基づいて、前記落下位置及び前記落下範囲の少なくとも一方を推定する、請求項１に記載の操作支援装置。

【請求項4】

バケットによって掬い上げられる物体の映像を取得する映像取得部と、
前記映像取得部が取得する前記物体の映像に基づいて、当該物体を判別する物体判別部と、を有し、
前記推定部は、前記物体判別部が判別する前記物体に応じて、当該物体が落下する落下位置及び落下範囲の少なくとも一方を推定する、請求項１に記載の操作支援装置。

【請求項5】

前記推定部は、前記物体判別部が判別する前記物体の物理的特性に応じて、前記落下位置及び前記落下範囲の少なくとも一方を推定する、請求項４に記載の操作支援装置。

【請求項6】

前記物体判別部が判別する前記物体と、当該物体の物理的特性との対応関係を記憶する記憶部を備える、請求項４に記載の操作支援装置。

【請求項7】

前記物体の重量を判定する重量判定部を備え、
前記推定部は、前記物体の重量に基づいて、前記落下位置及び前記落下範囲の少なくとも一方を推定する、請求項４に記載の操作支援装置。

【請求項8】

前記重量判定部は、前記映像取得部が取得する前記物体の映像に基づいて、当該物体の重量を判定する、請求項７に記載の操作支援装置。

【請求項9】

前記重量判定部は、前記物体の重量を検出するセンサの出力に基づいて、当該物体の重量を判定する、請求項７に記載の操作支援装置。

【請求項10】

前記推定部は、前記バケットによって掬い上げられる前記物体が当該バケットから投下される際の当該バケットの運動速度に基づいて、前記落下位置及び前記落下範囲の少なくとも一方を推定する、請求項１に記載の操作支援装置。

【請求項11】

前記推定部は、前記バケットによって掬い上げられる前記物体が当該バケットから投下される際の当該バケットのチルト速度に基づいて、前記落下位置及び前記落下範囲の少なくとも一方を推定する、請求項１に記載の操作支援装置。

【請求項12】

前記映像生成部は、前記推定部が推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を、前記映像取得部が取得する前記物体の映像に重ねた映像を生成する、請求項１から請求項１０のいずれかに記載の操作支援装置。

【請求項13】

前記推定部は、バケットの位置に基づいて当該バケットの鉛直下方向の地点を推定し、
前記映像生成部は、前記推定部が推定する前記バケットの鉛直下方向の地点を示す映像を生成する、請求項１に記載の操作支援装置。

【請求項14】

前記物体に関する情報を前記推定部に入力する入力部を有し、
前記推定部は、前記入力部から入力された前記物体に関する情報に基づいて、前記バケットが前記物体を掬っていない状態で、前記落下位置及び前記落下範囲を推定する、請求項１に記載の操作支援装置。

【請求項15】

前記バケットが前記物体を掬い上げることで出力した、前記物体に関する情報を記憶する記憶部を有し、
前記推定部は、前記記憶部が記憶した前記物体に関する情報に基づいて、前記バケットが前記物体を掬っていない状態で、前記落下位置及び前記落下範囲を推定する、請求項１に記載の操作支援装置。

【請求項16】

バケットにより掬い上げられる物体に関する情報を受信する通信部と、
前記通信部が受信する情報に基づき、前記物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定部と、
前記推定部が推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成部と、
前記映像生成部が生成する映像を表示する表示部と、
を含む、操作支援システム。

【請求項17】

コンピュータに、
バケットにより掬い上げられる物体に関する情報に基づき、当該物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定ステップと、
前記推定ステップにおいて推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成ステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、操作支援装置、操作支援システム、及びプログラムに関する。

【背景技術】

【0002】

工事現場などにおいて、建設機械として、例えばバックホウ又はローディングショベルなどのような油圧ショベルが用いられることがある。これらのような建設機械は、例えば土又は石などの各種物体を、バケットなどのアタッチメントで掬い上げることができる。このような建設機械のユーザは、バケットなどで掬い上げた物体を、狙い通りの場所（位置）に投下することを求められることがある。このような状況に対応し得るものとして、例えば特許文献１は、画像処理システムを提案している。この画像処理システムは、ユーザが油圧ショベルなどを用いて土砂などの物体を掬い上げてから投下する際に、ダンプトラックなどのベッセル（荷台）の位置を特定することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－３５３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

建設機械のバケットなどで掬い上げた物体を、ユーザが狙い通りの場所（位置）に投下できれば望ましいことがある。

【0005】

本開示の目的は、バケットなどで掬い上げた物体を投下するユーザ操作を支援する操作支援装置、操作支援システム、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

一実施形態に係る操作支援装置は、
バケットにより掬い上げられる物体に関する情報に基づき、当該物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定部と、
前記推定部が推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成部と、
を備える。

【0007】

一実施形態に係る操作支援システムは、
バケットにより掬い上げられる物体に関する情報を受信する通信部と、
前記通信部が受信する情報に基づき、前記物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定部と、
前記推定部が推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成部と、
前記映像生成部が生成する映像を表示する表示部と、
を含む。

【0008】

一実施形態に係るプログラムは、
コンピュータに、
バケットにより掬い上げられる物体に関する情報に基づき、当該物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定ステップと、
前記推定ステップにおいて推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成ステップと、
を実行させる。

【発明の効果】

【0009】

一実施形態によれば、バケットなどで掬い上げた物体を投下するユーザ操作を支援する操作支援装置、操作支援システム、及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る操作支援システム及び油圧ショベルの構成を概略的に示すブロック図である。

【図2】一実施形態に係る操作支援システムの機能的な構成を示すブロック図である。

【図3】一実施形態に係る操作支援装置の動作を説明するフローチャートである。

【図4】一実施形態に係る操作支援装置の動作の例を示す図である。

【図5】一実施形態に係る操作支援装置の動作を説明するフローチャートである。

【図6】一実施形態に係る操作支援装置の動作の例を示す図である。

【図7】一実施形態に係る操作支援装置の動作の例を示す図である。

【発明を実施するための形態】

【0011】

本開示において、「操作支援装置」とは、電力により駆動される電子機器としてよい。また、「操作支援システム」とは、電力により駆動される機器（例えば操作支援装置）を含むものとしてよい。また、「ユーザ」とは、一実施形態に係る操作支援装置又は操作支援システムを使用する者としてよい。ユーザは、一実施形態に係る操作支援装置又は操作支援システムを用いることによる恩恵を受け得る者としてよい。

【0012】

一実施形態に係る操作支援装置が利用される場面として想定されるのは、例えば建設現場又は工事現場などの油圧ショベルのような建設機械が使用される現場としてよい。このような現場において、建設機械のバケットなどで掬い上げた物体を、ユーザが狙い通りの場所（位置）に投下できれば望ましいことがある。特に近年、オペレータ（作業人員）が、実際の現場の様子を直接現場で目視せずに、ディスプレイ又はタブレット端末の画面に表示された現場の様子を見ながら、例えば油圧ショベルのような建設機械を遠隔操作するような状況も想定される。また、遠隔操作を行う場面に限定されず、例えば、オペレータが、油圧ショベルのような建設機械のキャビン内のディスプレイに表示された現場の様子を確認しながら、当該建設機械を操作するような状況も想定される。

【0013】

上述のような状況においては、オペレータは、画面上で２次元的に表示された映像を見ながらの操作を行うため、油圧ショベルのバケットで掬い上げた物体を立体視することができない。特に、このような状況において、オペレータは、奥行方向の距離感を把握しにくくなる。このため、オペレータは、バケットによって掬い上げた物体を投下する操作を行う際に、想定した位置とは異なる位置に物体を投下してしまうおそれがある。そこで、一実施形態に係る操作支援装置は、オペレータが、２次元的に表示された画面を見ながら操作を行っても、バケットなどで掬い上げた物体を狙い通りの場所（位置）に投下し易い環境を提供する。

【0014】

以下、一実施形態に係る操作支援装置及び操作支援システムについて、図面を参照して説明する。

【0015】

図１は、一実施形態に係る操作支援装置を含む操作支援システムを、遠隔操作を行う油圧ショベルとともに示す図である。

【0016】

図１に示すように、操作支援システム１は、操作支援装置１０と、通信部１２０と、表示部１３０とを含んで構成されてよい。また、操作支援システム１は、油圧ショベル２００の操作を支援するものとしてよい。油圧ショベル２００は、例えばリモートコントローラ３００によって遠隔操作されるものとしてよい。

【0017】

油圧ショベル２００は、例えばバックホウ若しくはショベルカー、又はローディングショベルなどとしてよい。油圧ショベル２００は、前述以外の建設機械としてもよく、少なくともバケット２１０で物体を掬い上げ、投下させる機能があればよい。一実施形態において、油圧ショベル２００は、公知の建設機械を用いてよい。油圧ショベル２００は、バケット２１０を備えてよい。また、油圧ショベル２００は、典型的には、アーム２２０と、ブーム２３０と、機体２４０と、クローラ２５０と、などを備えてよい。油圧ショベル２００は、図１に示す機能部の一部を備えなくてもよいし、図１に示す機能部以外の機能部を備えてもよい。例えば、油圧ショベル２００は、撮像部２６０と、通信部２７０と、重量センサ２８０と、の少なくともいずれかを備えてもよい。

【0018】

バケット２１０は、種々の物体を掬い上げることができる。バケット２１０は、例えば、砂、土、土砂、砂利、小石、石、岩、木片、木屑、ネジ、若しくは鉄屑などのような各種の固体、又は水などのような各種の液体、あるいは前述の任意のものの混合物などを掬い上げてよい。

【0019】

アーム２２０は、バケット２１０に接続されることにより、バケット２１０を運動可能にする。特に、アーム２２０は、バケット２１０を所定の回転軸の周りに適宜チルト（回転）させることができる。アーム２２０は、バケット２１０が所定の物体を掬い上げる際、及び掬い上げた物体を投下する際などに、バケット２１０をチルトさせてよい。

【0020】

ブーム２３０は、アーム２２０に接続されることにより、アーム２２０を運動可能にする。機体２４０は、油圧ショベル２００の本体部分としてよい。機体２４０は、例えばキャビン及びエンジンなどを含んでよい。クローラ２５０は、例えば無限軌道又は履帯などのような、油圧ショベル２００の移動手段としてよい。油圧ショベル２００は、クローラ２５０の代わりに、適宜タイヤなどを備えてもよい。また、油圧ショベル２００は、クローラ２５０のような移動手段を備えなくてもよい。

【0021】

以上説明した油圧ショベル２００の各機能部については、既知のものを採用してよい。したがって、それらの各機能部について、より詳細な説明は省略する。

【0022】

撮像部２６０は、映像を撮像することができる。撮像部２６０は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部２６０は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部２６０は、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。撮像部２６０が撮像する映像は、静止画としてもよいし、連続する静止画としてもよいし、動画としてもよい。以下、静止画、連続する静止画、及び動画などのような、撮像部２６０によって撮像されるものを総称して、「映像」と記す。

【0023】

撮像部２６０は、油圧ショベル２００におけるいずれかの箇所に設置されてよい。撮像部２６０は、油圧ショベル２００に固定して取り付けられてよい。また、撮像部２６０は、撮像範囲を変更できるように、油圧ショベル２００において可動に取り付けられてもよい。

【0024】

一実施形態において、撮像部２６０は、典型的には油圧ショベル２００の前方の映像を撮像してよい。特に、撮像部２６０は、バケット２１０が掬い上げる物体の映像を撮像してよい。また、撮像部２６０は、バケット２１０が掬い上げた物体を投下する際の映像を撮像してよい。撮像部２６０が撮像した映像のデータは、通信部２７０に送信されてよい。撮像部２６０は、通信部２７０と、有線及び無線の少なくとも一方によって接続されてよい。

【0025】

油圧ショベル２００の通信部２７０は、操作支援システム１の通信部１２０と、有線及び無線の少なくとも一方によって接続されることにより、通信することができる機能部としてよい。通信部２７０は、油圧ショベル２００に設置される専用のハードウェアとしてもよいし、例えばスマートフォン又はタブレット端末のような汎用品を利用してもよい。

【0026】

通信部２７０は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部２７０によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含んでよい。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部２７０は、上記の通信規格の１つ又は複数をサポートすることができる。通信部２７０は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。また、通信部２７０は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部２７０は、無線通信を行うための既知の技術により構成できるため、より詳細なハードウェアなどの説明は省略する。

【0027】

重量センサ２８０は、バケット２１０によって掬い上げられた物体の重量を検出するセンサとしてよい。重量センサ２８０は、バケット２１０によって掬い上げられた物体の重量を検出する既知の技術を採用してよい。重量センサ２８０が検出した重量のデータは、通信部２７０に送信されてよい。重量センサ２８０は、通信部２７０と、有線及び無線の少なくとも一方によって接続されてよい。

【0028】

油圧ショベル２００は、油圧ショベル２００の各所における各種のステータスを検出する各種のセンサなどを備えてよい。このような各種のセンサは、通信部２７０と、有線及び無線の少なくとも一方によって接続されてよい。

【0029】

リモートコントローラ３００は、油圧ショベル２００を遠隔操作するコントローラとしてよい。リモートコントローラ３００は、例えば、ジョイスティック、スライダ、タッチパッド若しくはタッチパネル、及び／又は各種のスイッチの少なくともいずれかを含んでよい。油圧ショベル２００のオペレータ（作業人員）は、リモートコントローラ３００を用いて、油圧ショベル２００を遠隔操作することができる。

【0030】

リモートコントローラ３００は、操作支援システム１の通信部１２０に、有線及び無線の少なくとも一方によって接続されてよい。リモートコントローラ３００は、通信部１２０に接続されて、通信部２７０と通信することにより、油圧ショベル２００を遠隔操作することができる。

【0031】

油圧ショベル２００は、リモートコントローラ３００によって遠隔操作されなくてもよい。例えば、図１に示す油圧ショベル２００は、操作支援システム１の少なくとも一部を備えてもよい。すなわち、図１に示す油圧ショベル２００は、油圧ショベル２００のキャビンに搭乗するオペレータによって操作されてもよい。この場合、油圧ショベル２００は、通信部１２０と通信部２７０のいずれか一方のみを備えてもよい。また、この場合、油圧ショベル２００は、リモートコントローラ３００を備えずに、油圧ショベル２００のキャビン内の操作系によって操作されてもよい。油圧ショベル２００の全ての操作が、リモートコントローラ３００によって行われなくてよく、一部の操作が油圧ショベル２００のキャビン内の操作系によって行われてもよい。

【0032】

図２は、一実施形態に係る操作支援システム１の機能的な構成を示すブロック図である。図２に示すように、操作支援システム１は、操作支援装置１０と、通信部１２０と、表示部１３０とを含んで構成されてよい。また、図２に示すように、操作支援システム１は、入力部１４０を含んで構成されてもよい。入力部１４０は、操作支援装置１０に設けられてもよい。

【0033】

通信部１２０は、有線又は無線により通信するためのインタフェースの機能を有する。通信部１２０は、油圧ショベル２００の通信部２７０と有線又は無線により通信する機能を有してよい。通信部１２０は、通信部２７０と同様又は類似の思想に基づく機能部としてよい。通信部１２０は、通信部２７０と無線により通信する機能部として、例えばＲＦ部のような既知の無線通信デバイスと同様又は類似の思想に基づく機能部としてよい。また、通信部１２０は、通信部２７０と有線により通信する機能部として、例えばコネクタのようなデバイスと同様又は類似の思想に基づく機能部としてよい。通信部１２０は、既知の技術により構成することができるため、より詳細な説明は省略する。

【0034】

表示部１３０は、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬディスプレイ（Organic Electro-Luminescence panel）、又は無機ＥＬディスプレイ（Inorganic Electro-Luminescence panel）等の任意の表示デバイスとしてよい。表示部１３０は、文字、図形、又は記号等の各種の情報を表示してよい。また、表示部１３０は、例えばユーザに操作支援装置１０又は油圧ショベル２００の操作を促すために、種々のＧＵＩを構成するオブジェクト、及びアイコン画像などを表示してもよい。表示部１３０は、上述のような既知の表示デバイスと同様又は類似の思想に基づく機能部としてよい。表示部１３０は、既知の技術により構成することができるため、より詳細な説明は省略する。

【0035】

操作支援装置１０は、図２に示すように、映像取得部１１、情報取得部１２、動作判定部１３、物体判別部１４、重量判定部１５、推定部１６、映像生成部１７、及び記憶部１８を備えてよい。操作支援装置１０は、図２に示す機能部の一部を備えなくてもよいし、図２に示す機能部以外の機能部を備えてもよい。

【0036】

一実施形態に係る操作支援装置１０は、種々の電子機器として構成し得る。例えば、操作支援装置１０は、専用に設計された端末としてもよいし、汎用のコンピュータ、ノートパソコン、又はサーバなどとしてもよい。さらに、操作支援装置１０は、タブレット型コンピュータ又はスマートフォンなどとしてもよい。

【0037】

操作支援装置１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ(Digital Signal Processor)のような、少なくとも１つのプロセッサを含んでよい。操作支援装置１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路（Integrated Circuit：ＩＣ）として実現されてよい。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

【0038】

一実施形態において、操作支援装置１０は、例えばＣＰＵ及び当該ＣＰＵで実行されるプログラムとして構成されてよい。操作支援装置１０において実行されるプログラム、並びに、操作支援装置１０において実行された処理の結果などは、例えば記憶部１８に記憶されてよい。操作支援装置１０は、動作に必要なメモリを適宜含んでもよい。操作支援装置１０は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。

【0039】

映像取得部１１は、油圧ショベル２００の撮像部２６０が撮像する映像を取得する。映像取得部１１は、例えば、油圧ショベル２００の通信部２７０及び操作支援システム１の通信部１２０を介して、撮像部２６０が撮像する映像を取得してよい。上述のように、撮像部２６０は、油圧ショベル２００のバケット２１０が物体を掬い上げる様子を撮像できるように配置されてよい。したがって、映像取得部１１は、撮像部２６０によって撮像される映像であって、油圧ショベル２００のバケット２１０が掬い上げる物体を撮像してよい。この場合、映像取得部１１は、油圧ショベル２００のバケット２１０によって掬い上げられる物体の映像を取得してよい。

【0040】

情報取得部１２は、油圧ショベル２００における各部から、各種の情報を取得してよい。情報取得部１２は、例えば、油圧ショベル２００の通信部２７０及び操作支援システム１の通信部１２０を介して、各種の情報を取得してよい。例えば、情報取得部１２は、油圧ショベル２００の重量センサ２８０が検出する重量の情報を取得してよい。重量センサ２８０が検出する重量の情報とは、バケット２１０によって掬い上げられた物体の重量の情報としてよい。

【0041】

また、情報取得部１２は、油圧ショベル２００に関する各種の情報を取得してもよい。例えば、情報取得部１２は、バケット２１０の高さ、バケット２１０のチルト状態、及びバケット２１０のチルト速度などの少なくともいずれかの情報を取得してよい。ここで、バケット２１０の高さとは、バケット２１０の地上（地面）からの高さとしてよい。バケット２１０のチルト状態とは、例えば、バケット２１０における開口部の周囲に平行な面が、地面に平行な面となす角度に基づく状態としてよい。バケット２１０のチルト状態とは、例えばバケット２１０の回転軸における所定の基準位置に対する角度であってもよい。また、バケット２１０のチルト速度とは、例えば、バケット２１０が回転軸まわりに回転する速度であってよく、一例として、バケット２１０における開口部の周囲に平行な面が、地面に平行な面となす角度が変化する速度としてもよい。

【0042】

また、情報取得部１２は、例えば、バケット２１０の運動状態、バケット２１０の運動速度、及びバケット２１０の油圧ショベル２００に対する相対的な位置などの少なくともいずれかの情報を取得してよい。ここで、バケット２１０の運動状態とは、バケット２１０の静止系に対する運動の状態としてよい。また、バケット２１０の運動状態とは、バケット２１０の油圧ショベル２００に対する運動の状態としてもよい。バケット２１０の運動速度とは、例えば、バケット２１０の静止系に対する運動の速度としてよい。また、バケット２１０の運動速度とは、バケット２１０の油圧ショベル２００に対する運動の速度としてもよい。

【0043】

その他、情報取得部１２は、油圧ショベル２００のアーム２２０、ブーム２３０、及びクローラ２５０などの各部のうち少なくともいずれかの状態を示す情報を取得してもよい。例えば、情報取得部１２は、油圧ショベル２００の各部の静止系に対する運動の速度を示す情報を取得してもよい。情報取得部１２は、油圧ショベル２００の各部に関する各種の情報を、油圧ショベル２００に設置された各種のセンサから取得してよい。また、情報取得部１２は、油圧ショベル２００に関する各種の情報を、例えば各可動部のモータ（サーボモータ）のフィードバック制御に用いられる各種の信号から取得してもよい。

【0044】

動作判定部１３は、映像取得部１１が取得する映像及び情報取得部１２が取得する情報の少なくとも一方に基づいて、油圧ショベル２００の各種の動作を判定してよい。例えば、動作判定部１３は、映像取得部１１が取得する映像及び情報取得部１２が取得する情報の少なくとも一方に基づいて、バケット２１０の動作又は状態を判定してよい。例えば、動作判定部１３は、バケット２１０のチルト状態及び／又はバケット２１０のチルト速度などを判定してよい。また、動作判定部１３は、バケット２１０の運動状態及び／又はバケット２１０の運動速度などを判定してもよい。

【0045】

さらに、動作判定部１３は、映像取得部１１が取得する映像及び情報取得部１２が取得する情報の少なくとも一方に基づいて、油圧ショベル２００のアーム２２０、ブーム２３０、及びクローラ２５０などのうち少なくともいずれかの動作又は状態を判定してもよい。

【0046】

物体判別部１４は、バケット２１０によって掬い上げられる物体が何であるか判別する。物体判別部１４は、バケット２１０によって掬い上げられる物体の映像に基づいて、当該物体を判別してよい。上述のように、バケット２１０によって掬い上げられる物体の映像は、油圧ショベル２００の撮像部２６０によって撮像される映像としてよい。このように、物体判別部１４は、映像取得部１１が取得する物体の映像に基づいて、バケット２１０によって掬い上げられる物体を判別する。

【0047】

物体判別部１４は、例えば画像認識によって、物体を判別してよい。物体判別部１４は、例えばパターンマッチングなどの各種技術によって、物体を判別してよい。物体判別部１４は、各種物体の画像に対応付けられた各種物体の情報に基づいて、物体を判別してよい。各種物体の画像に対応付けられた各種物体の情報は、例えば記憶部１８に記憶されていてもよいし、通信部１２０を介して例えば外部サーバなどに問い合わせてもよい。物体判別部１４は、例えばＡＩ(Artificial Intelligence)の技術に基づいて、物体を判別してもよい。物体判別部１４は、例えば機械学習（さらにはディープラーニング）の技術に基づいて、物体を判別してもよい。

【0048】

重量判定部１５は、バケット２１０によって掬い上げられる物体の重量を判定する。重量判定部１５は、映像取得部１１が取得する、バケット２１０によって掬い上げられる物体の映像に基づいて、当該物体の重量を判定してもよい。この場合、重量判定部１５は、各種物体の画像に対応付けられた各種物体の重量の情報に基づいて、当該物体の重量を判定してもよい。各種物体の画像に対応付けられた各種物体の重量の情報は、例えば記憶部１８に記憶されていてもよいし、通信部１２０を介して例えば外部サーバなどに問い合わせてもよい。また、重量判定部１５は、バケット２１０によって掬い上げられる物体の重量を検出するセンサ（例えば重量センサ２８０）の出力に基づいて、当該物体の重量を判定してもよい。

【0049】

推定部１６は、物体判別部１４が判別する物体に応じて、バケット２１０によって掬い上げられる物体が落下する落下位置及び落下範囲の少なくとも一方を推定する。特に、推定部１６は、バケット２１０によって掬い上げられる物体が地面に落下する場合に予測される、当該地面における落下位置及び落下範囲の少なくとも一方を推定してよい。推定部１６による物体の落下位置及び／又は落下範囲の推定については、さらに後述する。また、推定部１６は、上述のような物体の落下位置及び／又は落下範囲の推定の他に、各種の情報に基づいて各種の推定処理を行ってもよい。

【0050】

また、推定部１６は、バケット２１０によって物体が掬い上げられているか否かによらず、バケット２１０の鉛直下方向の地面の位置を推定してもよい。推定部１６は、各種の手法を用いて、バケット２１０の鉛直下方向の地面の位置を推定してよい。例えば、推定部１６は、バケット２１０の現時点における位置に基づいて、バケット２１０の鉛直下方向の地面の位置（地点）を推定してよい。また、推定部１６は、バケット２１０を含む油圧ショベル２００の各部の実際のサイズと、映像取得部１１が取得する映像に映り込んだ油圧ショベル２００の各部のサイズとを比較することで、バケット２１０の鉛直下方向の地面の位置を推定してよい。この場合、推定部１６は、映像取得部１１が取得する映像に映り込んだ背景の映像（地面の映像を含む）にも基づいて、バケット２１０の鉛直下方向の地面の位置を推定してよい。また、推定部１６による地面の位置の推定に際し、例えば油圧ショベル２００において撮像部２６０が設置される位置及び／又は高さなどを考慮してもよい。さらに、推定部１６による地面の位置の推定に際し、撮像部２６０によって撮像される映像と、当該映像として撮像された対象物の実際のサイズとを予め比較することで、適宜キャリブレーションなどを行うようにしてもよい。

【0051】

推定部１６は、入力部１４０によって情報が入力されるように構成されてもよい。ここで、入力部１４０は、任意の入力デバイスを含んで構成されてよい。入力部１４０は、例えば、キーボード、マウス、タッチパネル、ロータリースイッチ、スライドスイッチなどの少なくともいずれかを含んでよい。推定部１６は、入力部１４０によって入力された情報を反映させて、物体の落下位置及び／又は落下範囲を推定してもよい。入力部１４０によって入力される情報は、例えば、物体の種類、数、個々の重量、総重量、大きさ、形状等、物体の落下位置／落下範囲を推定するために必要な各種パラメータとしてよい。

【0052】

映像生成部１７は、推定部１６によって推定された落下位置及び落下範囲の少なくとも一方を示す映像を生成してよい。推定部１６によって推定された落下位置及び／又は落下範囲とは、バケット２１０によって掬い上げられる物体が落下する落下位置及び／又は落下範囲としてよい。すなわち、映像生成部１７によって生成される映像とは、バケット２１０によって掬い上げられる物体が地面に落下する場合に予測される、当該地面における落下位置及び落下範囲の少なくとも一方を示す映像としてよい。このように、映像生成部１７は、バケット２１０によって掬い上げられる物体が落下する落下位置及び落下範囲の少なくとも一方を示す映像を生成してよい。ここで、落下範囲とは、バケット２１０によって掬い上げられる物体が地面に落下し、その後に当該物体が飛び散ったり広がったりすることが考慮されたものである。言い換えれば、落下範囲とは、物体が落下後に地面上に存在するであろう領域を意味する。一方、落下位置とは、物体がバケット２１０から落下する直後の位置であり、落下後の当該物体の広がり等が考慮されない、物体が落下する位置そのものを意味する。したがって、落下範囲は、落下位置に対して広くなる場合がある。

【0053】

また、後述のように、映像生成部１７は、推定部１６が推定する落下位置及び落下範囲の少なくとも一方を示す映像を、映像取得部１１が取得する映像であってバケット２１０によって掬い上げられる物体の映像に重ねた映像を生成してもよい。このような映像が表示部１３０に表示されることにより、油圧ショベル２００のオペレータは、バケット２１０によって掬い上げられた物体が落下する落下位置及び／又は落下範囲を、画面上で確認することができる。

【0054】

映像生成部１７によって生成される映像は、表示部１３０に出力されてよい。表示部１３０は、映像生成部１７から映像を供給されることにより、映像生成部１７によって生成される映像を表示することができる。

【0055】

記憶部１８は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部１８は、例えば操作支援装置１０において実行されるプログラム、及び、操作支援装置１０の少なくとも一部において実行された処理の結果などを記憶してよい。記憶部１８は、各種の情報を記憶するデータベースとしての機能を有してもよい。また、記憶部１８は、操作支援装置１０の少なくとも一部のワークメモリとして機能してよい。記憶部１８は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部１８は、一実施形態に係る操作支援装置１０に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部１８は、操作支援装置１０の少なくとも一部において用いられるＣＰＵの内部メモリであってもよいし、操作支援装置１０の少なくとも一部に別体として接続されるものとしてもよい。

【0056】

図２に示す操作支援システム１において、通信部１２０、表示部１３０、及び入力部１４０は、操作支援装置１０とは別の機能部として示してある。しかしながら、一実施形態に係る操作支援装置１０は、通信部１２０、表示部１３０、及び入力部１４０の少なくともいずれかを備えてもよい。

【0057】

次に、一実施形態に係る操作支援装置１０の動作について説明する。図３は、一実施形態に係る操作支援装置１０の動作を説明するフローチャートである。図３は、典型的には、油圧ショベル２００がバケット２１０によって物体を掬い上げる動作を開始する前から、当該掬い上げる動作を完了した後までに実行されることを想定した、操作支援装置１０の動作としてよい。

【0058】

図３に示す動作は、図１に示すような油圧ショベル２００をオペレータがリモートコントローラ３００によって操作可能な場面としてよい。図３に示す動作が開始する時点で、操作支援装置１０は、通信部１２０を介して、油圧ショベル２００（の通信部２７０）と通信可能な状態とする。また、図３に示す動作が開始する時点で、油圧ショベル２００の撮像部２６０は油圧ショベル２００の前方の映像を撮像しており、映像取得部１１は撮像部２６０が撮像する映像を取得しているものとする。また、図３に示す動作が開始する時点で、情報取得部１２は油圧ショベル２００における各種の情報を取得しているものとしてもよい。

【0059】

図３に示す動作が開始すると、動作判定部１３は、油圧ショベル２００がバケット２１０によって物体を掬い上げる動作を開始したか否か判定する（ステップＳ１１）。操作支援装置１０は、映像取得部１１が取得する映像及び情報取得部１２が取得する情報の少なくとも一方に基づいて、油圧ショベル２００がバケット２１０によって物体を掬い上げる動作を開始したか否か判定してよい。例えば、操作支援装置１０は、バケット２１０、アーム２２０、及びブーム２３０などの少なくともいずれかの動作に基づいて、油圧ショベル２００がバケット２１０によって物体を掬い上げる動作を開始したか否か判定してよい。また、動作判定部１３は、例えば所定のスイッチがオンにされる操作、又は所定の動作モードに切り替えられる操作などに基づいて、油圧ショベル２００がバケット２１０によって物体を掬い上げる動作を開始したか否か判定してもよい。

【0060】

ステップＳ１１において物体の掬い上げが開始されたと判定されたら、物体判別部１４は、バケット２１０によって掬い上げられた物体を判別し、物体に関する情報として取得する（ステップＳ１２）。ステップＳ１２において、物体判別部１４は、バケット２１０によって掬い上げられた物体の種類及び／又は種別などを判別してよい。物体判別部１４は、バケット２１０によって掬い上げられた物体が、例えば、砂、土、土砂、砂利、小石、石、岩、木片、木屑、ネジ、若しくは鉄屑などのような各種の固体、又は水などのような各種の液体などのいずれに該当するか判別してよい。また、物体判別部１４は、バケット２１０によって掬い上げられた物体が、例えば前述のような物体の複数の混合物であるか否かなどを判別してもよい。また、物体判別部１４は、バケット２１０によって掬い上げられた複数の物体の各々の大きさ及び／又は形状を判別しても良い。

【0061】

ステップＳ１２において物体が判別したら、重量判定部１５は、バケット２１０によって掬い上げられた物体の重量を判定する（ステップＳ１３）。ステップＳ１３において、重量判定部１５は、上述のようにして、バケット２１０によって掬い上げられた物体の重量を判定してよい。

【0062】

ステップＳ１３において物体の重量が判定されたら、推定部１６は、バケット２１０の鉛直下方向の地面の位置を推定する（ステップＳ１４）。ステップＳ１４において、推定部１６は、上述のようにして、バケット２１０の鉛直下方向の地面の位置を推定してよい。

【0063】

ステップＳ１４において地面の位置が推定されたら、映像生成部１７は、バケット２１０の鉛直下方向の地面の位置（地点）を示す映像を出力する（ステップＳ１５）。このように、映像生成部１７は、推定部１６が推定するバケット２１０の鉛直下方向の地点を示す映像を生成してもよい。また、ステップＳ１５において、映像生成部１７は、バケット２１０の鉛直下方向の地点を示す映像を、映像取得部１１が取得する映像に重ねた映像を生成してもよい。

【0064】

ステップＳ１５において出力された映像は、例えば表示部１３０に表示されてよい。表示部１３０に表示される映像は、撮像部２６０によって撮像された映像において、バケット２１０の鉛直下方向の地点が示された映像となる。したがって、油圧ショベル２００のオペレータは、バケット２１０及びバケット２１０の鉛直下方向の地点を実際に目視していなくても（目視できなくても）、表示部１３０のみ目視することにより、バケット２１０の鉛直下方向の地点を正しく把握することができる。

【0065】

図４は、一実施形態に係る操作支援装置による、図３に示した動作の例を示す図である。図４は、操作支援装置１０から出力される映像を、表示部１３０に表示した様子を示している。

【0066】

図４に示すように、表示部１３０において、撮像部２６０によって撮像された映像が表示されている。図４に示す例において、撮像部２６０は、油圧ショベル２００のキャビン内において、前方の映像を撮像するように設置されている。したがって、図４に示す例において、表示部１３０に表示される映像には、油圧ショベル２００のキャビンの一部、及び、油圧ショベル２００のキャビンの窓から見える前方の景色が映っている。また、図４に示す例において、表示部１３０に表示される映像には、油圧ショベル２００のバケット２１０が映っている。ただし、表示部１３０に表示される映像において、バケット２１０は、２次元的に（平面的に）表示されている。このため、油圧ショベル２００のオペレータにとって、バケット２１０が図４に示す表示の奥行方向のどの辺りの位置にあるのか、正しく把握するのは容易ではない。

【0067】

しかしながら、操作支援装置１０から出力され、表示部１３０に表示される映像において、図４に示すように、バケット２１０の鉛直下方向の地点を示す画像である例えばオブジェクトＢが表示される。図４に示すオブジェクトＢは、バケット２１０の鉛直下方向における地面の位置を示している。図４に示すオブジェクトＢは、一例としてバツ印としてあるが、バケット２１０の鉛直下方向の地点を示すものであれば、任意の形状、大きさ、及び／又は表示態様のオブジェクトとしてよい。油圧ショベル２００のオペレータは、表示部１３０に表示されるオブジェクトＢを目視することにより、バケット２１０の鉛直下方向における地面の位置を正しく把握することができる。

【0068】

一実施形態において、図３に示したステップＳ１４及びステップＳ１５の動作を繰り返し実行してもよい。このような動作により、例えば油圧ショベル２００のオペレータが図４に示すバケット２１０を動かす操作を行うと、バケット２１０の動きに追従して、バケット２１０の鉛直下方向の地点を示すオブジェクトＢも移動する。

【0069】

図３に示した動作は、ステップＳ１１で物体の掬い上げが開始された後で、ステップＳ１４及びステップＳ１５の動作を経て、バケット２１０の鉛直下方向の地点を示すオブジェクトを表示した。しかしながら、一実施形態において、バケット２１０によって物体の掬い上げが開始されたか否かにかかわらず、ステップＳ１４及びステップＳ１５の動作を実行してもよい。このような動作により、バケット２１０の鉛直下方向の地点を示すオブジェクトが常に表示されてもよい。また、例えば油圧ショベル２００のオペレータによる所定の操作に基づいて、バケット２１０の鉛直下方向の地点を示すオブジェクトＢが表示されるようにしてもよい。

【0070】

図５は、一実施形態に係る操作支援装置１０の動作を説明するフローチャートである。図５は、典型的には、油圧ショベル２００がバケット２１０によって掬い上げた物体を放出（投下）する動作を開始する前から、当該放出（投下）する動作を完了した後までに実行されることを想定した、操作支援装置１０の動作としてよい。すなわち、図５に示す動作は、例えば、図３に示した動作の後に実行される動作としてよい。

【0071】

図５に示す動作が開始すると、動作判定部１３は、油圧ショベル２００がバケット２１０によって掬い上げた物体を放出又は投下する動作を開始したか否か判定する（ステップＳ２１）。操作支援装置１０は、映像取得部１１が取得する映像及び情報取得部１２が取得する情報の少なくとも一方に基づいて、油圧ショベル２００がバケット２１０によって物体を放出又は投下する動作を開始したか否か判定してよい。例えば、操作支援装置１０は、バケット２１０、アーム２２０、及びブーム２３０などの少なくともいずれかの動作に基づいて、油圧ショベル２００がバケット２１０によって物体を放出又は投下する動作を開始したか否か判定してよい。また、動作判定部１３は、例えば所定のスイッチがオンにされる操作、又は所定の動作モードに切り替えられる操作などに基づいて、油圧ショベル２００がバケット２１０によって物体を放出又は投下する動作を開始したか否か判定してもよい。

【0072】

ステップＳ２１において物体の放出又は投下の開始が判定されたら、推定部１６は、放出又は投下される物体の地面への落下位置を推定する（ステップＳ２２）。また、推定部１６は、放出又は投下される物体の地面への落下範囲を推定する（ステップＳ２３）。ステップＳ２２及びステップＳ２３の動作は、どちらか一方のみを実行してもよいし、両方実行してもよい。また、ステップＳ２２及びステップＳ２３の動作は、どちらから先に実行してもよい。

【0073】

ここで、放出又は投下される物体の落下位置／落下範囲の推定について、さらに説明する。バケット２１０によって掬い上げられた物体を放出又は投下する際、物体が地上に落下する位置／範囲は、当該物体によって異なり得る。具体的には、物体が地上に落下する位置／範囲は、当該物体の重量、形状、粒度、空気抵抗、摩擦係数、粘性、及び物体の量の大小など、物体の各種の物理的特性によって異なり得る。したがって、物体の落下位置／落下範囲は、これらの各種の物理的特性の少なくともいずれかを考慮して推定してもよい。前述のとおり、落下範囲は、物体の落下後の落下位置における広がりが考慮されたものである。落下範囲は、バケット２１０が掬い上げた物体の大きさ、形状、数量、及び／又は重さなどに基づいて推定されてよい。例えば、転がりやすい形状（球状に近い物体）の物体の落下範囲は、転がりにくい形状の物体の落下範囲より大きくなってよい。例えば、掬い上げた物体の数が多い場合は、少ない場合に比べての物体の落下範囲が大きくなってよい。掬い上げた物体が、落下によって破損する可能性がある場合には、破損による破片の広がりが落下範囲に反映されても良い。

【0074】

例えば、推定部１６は、放出又は投下される物体の重量に基づいて、当該物体の落下位置及び落下範囲の少なくとも一方を推定してもよい。また、推定部１６は、物体判別部１４が判別する物体の物理的特性に応じて、当該物体の落下位置及び落下範囲の少なくとも一方を推定してもよい。この場合、物体判別部１４が判別する物体と、当該物体の物理的特性との対応関係は、例えば記憶部１８に記憶されてよい。

【0075】

また、バケット２１０によって掬い上げられた物体を放出又は投下する際、物体の落下位置／落下範囲は、当該物体が放出又は投下される態様によっても異なり得る。例えば、物体の落下位置／落下範囲は、当該物体が放出又は投下される際のバケット２１０の状態によっても異なり得る。例えば、物体の落下位置／落下範囲は、当該物体が放出又は投下される際のバケット２１０の地上からの高さ、又は、バケット２１０から放出又は投下される際の当該物体の地上からの高さなどを考慮して推定してもよい。また、例えば、物体の落下位置／落下範囲は、当該物体が放出又は投下される際のバケット２１０の位置、又は、バケット２１０から放出又は投下される際の当該物体の位置などを考慮して推定してもよい。

【0076】

このように、一実施形態において、推定部１６は、バケット２１０によって掬い上げられた物体の高さ及び位置の少なくとも一方に基づいて、落下位置及び落下範囲の少なくとも一方を推定してもよい。また、一実施形態において、推定部１６は、バケット２１０の高さ及び位置の少なくとも一方に基づいて、落下位置及び落下範囲の少なくとも一方を推定してもよい。

【0077】

また、一実施形態において、推定部１６は、バケット２１０から物体が放出又は投下される際の速度、物体が放出又は投下される際のバケット２１０の（例えば水平位置からの）角度などを考慮して、落下位置及び落下範囲の少なくとも一方を推定してもよい。さらに、推定部１６は、バケット２１０から物体が放出又は投下される際のアーム２２０の角速、及び／又は、アーム２２０の角速度などを考慮して、落下位置及び落下範囲の少なくとも一方を推定してもよい。

【0078】

また、物体の落下位置／落下範囲は、当該物体が放出又は投下される際にバケット２１０が静止しているか動いているか、動いている場合にはその速度（運動速度）又は加速度などを考慮して推定してもよい。また、物体の落下位置／落下範囲は、例えば、当該物体が放出又は投下される際のバケット２１０のチルトの角度、及び／又は、バケット２１０のチルト速度などを考慮して推定してもよい。このように、バケット２１０によって掬い上げられた物体を放出又は投下する際、物体の落下位置／落下範囲は、当該物体が放出又は投下される際の油圧ショベル２００における各部の状態を考慮して推定してもよい。

【0079】

このように、推定部１６は、バケット２１０によって掬い上げられた物体がバケット２１０から投下される際のバケット２１０の運動速度に基づいて、当該物体の前記落下位置及び落下範囲の少なくとも一方を推定してもよい。また、推定部１６は、バケット２１０によって掬い上げられた物体がバケット２１０から投下される際のバケット２１０のチルト速度に基づいて、当該物体の前記落下位置及び落下範囲の少なくとも一方を推定してもよい。

【0080】

さらに、バケット２１０によって掬い上げられた物体を放出又は投下する際、物体の落下位置／落下範囲は、当該物体が放出又は投下される際の油圧ショベル２００の周囲環境などによっても異なり得る。例えば、物体の落下位置／落下範囲は、当該物体が放出又は投下される際の風向き、風速、天気、降水量、及び／又は降雪量などの少なくともいずれかを考慮して推定してもよい。これらの周囲環境に係る各種情報は、例えば油圧ショベル２００に設置される各種のセンサによって検出してもよいし、通信部１２０を介して環境情報の提供業者などから入手してもよい。

【0081】

推定部１６は、例えばパターンマッチングなどの各種技術によって、物体の落下位置／落下範囲を推定してよい。推定部１６は、各種物体の画像に対応付けられた各種物体の物理的特性を示す情報に基づいて、物体の落下位置／落下範囲を推定してよい。各種物体の画像に対応付けられた各種物体の物理的特性を示す情報は、例えば記憶部１８に記憶されていてもよいし、通信部１２０を介して例えば外部サーバなどに問い合わせてもよい。推定部１６は、例えばＡＩ(Artificial Intelligence)の技術に基づいて、物体の落下位置／落下範囲を推定してよい。推定部１６は、例えば機械学習（さらにはディープラーニング）の技術に基づいて、物体の落下位置／落下範囲を推定してよい。

【0082】

ステップＳ２２及び／又はステップＳ２３において物体の落下位置／落下範囲が推定されたら、映像生成部１７は、地面における物体の落下位置／落下範囲を示す映像を出力する（ステップＳ２４）。ステップＳ２４において、映像生成部１７は、推定部１６によって推定された物体の落下位置／落下範囲を示す映像を、映像取得部１１が取得する映像に重ねた映像を生成してもよい。

【0083】

ステップＳ２４において出力された映像は、例えば表示部１３０に表示されてよい。表示部１３０に表示される映像は、撮像部２６０によって撮像された映像において、バケット２１０から投下される物体の落下位置／落下範囲（推定）が示された映像となる。したがって、油圧ショベル２００のオペレータは、バケット２１０から投下される物体を実際に目視していなくても（目視できなくても）、表示部１３０のみ目視することにより、バケット２１０から投下される物体の落下位置／落下範囲を把握できる。

【0084】

図６及び図７は、一実施形態に係る操作支援装置による、図５に示した動作の例を示す図である。図６及び図７は、操作支援装置１０から出力される映像を、表示部１３０に表示した様子を示している。

【0085】

図６及び図７は、図４と概ね同様の状況を示している。図６に示す例において、バケット２１０によって掬い上げられた物体ＯＢ１は、比較的小さい多数の物体である。一方、図７に示す例において、バケット２１０によって掬い上げられた物体ＯＢ２は、比較的大きな少数の物体である。ただし、表示部１３０に表示される映像において、バケット２１０及び物体ＯＢ１又は物体ＯＢ２は、２次元的に（平面的に）表示されている。このため、油圧ショベル２００のオペレータにとって、バケット２１０から投下される物体ＯＢ１又は物体ＯＢ２が、地面においてどの辺りの位置／範囲に落下するのかを正しく把握するのは容易ではない。

【0086】

しかしながら、操作支援装置１０から出力される映像によって、表示部１３０に表示される映像において、図６に示すように、バケット２１０から投下される物体ＯＢ１の地面における落下位置を示す例えばオブジェクトＦ１が表示される。また、表示部１３０に表示される映像において、図７に示すように、バケット２１０から投下される物体ＯＢ２の地面における落下位置を示す例えばオブジェクトＦ２が表示される。図６に示す例において、物体ＯＢ１は、比較的軽い物体であるため、バケット２１０から投下される際に、比較的緩やかな放物線を辿るものと推定される。一方、図７に示す例において、物体ＯＢ２は、比較的思い物体であるため、バケット２１０から投下される際に、比較的急峻な放物線を辿るものと推定される。一実施形態において、操作支援装置１０は、バケット２１０から投下される際に物体が辿ると推定される放物線などを示す映像も出力してもよい。

【0087】

また、操作支援装置１０から出力される映像によって、表示部１３０に表示される映像において、図６に示すように、バケット２１０から投下される物体ＯＢ１の地面における落下範囲を示す例えばオブジェクトＲ１が表示される。また、表示部１３０に表示される映像において、図７に示すように、バケット２１０から投下される物体ＯＢ２の地面における落下範囲を示す例えばオブジェクトＲ２が表示される。図６に示す例において、物体ＯＢ１は、比較的軽い多数の物体であるため、バケット２１０から投下される際に、比較的広範囲に落下するものと推定される。一方、図７に示す例において、物体ＯＢ２は、比較的重い少数の物体であるため、バケット２１０から投下される際に、比較的狭い範囲に落下するものと推定される。

【0088】

図６及び図７に示すオブジェクトＦ１及びＦ２並びにＲ１及びＲ２は、任意の形状、及び／又は表示態様のオブジェクトとしてよい。油圧ショベル２００のオペレータは、表示部１３０に表示されるオブジェクトを目視することにより、バケット２１０から投下される物体の落下位置／落下範囲を正しく把握することができる。

【0089】

上記実施例では、バケット２１０が実際に物体を掬い上げた状態から、落下させる動作を行う中で、落下位置／落下範囲を表示部１３０に表示させるものとして説明した。しかし、実際には物体を掬い上げていない状態で、物体がバケット２１０に掬い上げられていたと仮定した場合の、落下位置／落下範囲を表示部１３０に表示させてもよい。この場合、オペレータは、推定部１６に掬い上げると想定する物体の種類、数、個々の重量、総重量、大きさ、形状等の、落下位置／落下範囲を推定するために必要な情報をパラメータとして入力してよい。全ての情報が入力されない場合（すなわち一部の情報が入力されない場合）には、例えば入力された物体の種類から想定される情報によって、大きさ及び／又は形状、重量等の他の情報が補完されてもよい。これらの情報が操作支援装置１０に設けられた入力部１４０によって推定部１６に入力された後、オペレータは、任意の位置に空のバケット２１０を移動させ、物体を放出又は投下する動作を行うようにしてもよい。この場合、推定部１６は、バケット２１０に物体が掬い上げられていた場合の落下位置／落下範囲を推定し、表示部１３０に表示させてよい。これにより、オペレータは、実際に物体を掬い上げる前に、物体の落下位置／落下範囲をシミュレートすることができる。

【0090】

物体の落下位置／落下範囲をシミュレートするにあたって、推定部１６に物体の情報を正確に入力するのは困難な場合がある。推定部１６は、オペレータが実際にバケット２１０で物体を掬い上げた時の、映像取得部１１が取得する映像及び情報取得部１２が取得する情報の少なくとも一方に基づいて、シミュレートの際に推定部１６に入力すべきパラメータを出力してよい。オペレータは、実際に物体を掬い上げて得たパラメータを、入力部１４０によって推定部１６に入力してよい。推定部１６が出力するパラメータは、任意の名前が付けられたファイルとして記憶部１８に保存できてよい。オペレータは、シミュレートを行いたいときにこのファイルを指定することで、推定部１６にパラメータを入力できてよい。これにより、オペレータは、シミュレートするためのパラメータ情報を正確に取得できるため、物体を放出又は投下した場合の落下位置／落下範囲を容易に得ることができる。

【0091】

一実施形態において、図５に示したステップＳ２２乃至ステップＳ２４の動作を繰り返し実行してもよい。このような動作により、例えば油圧ショベル２００のオペレータが図６又は図７に示すバケット２１０を動かす操作を行うと、バケット２１０の動きに追従して、バケット２１０から投下される物体の落下位置／落下範囲を示すオブジェクトも移動する。

【0092】

一実施形態に係る操作支援装置１０によれば、油圧ショベル２００を例えば遠隔操作する際に、オペレータは、表示部１３０のような画面を見ながら操作を行うことができる。操作支援装置１０によれば、オペレータは、表示部１３０のような画面のみを目視しながら油圧ショベル２００のバケット２１０を操作する際でも、奥行方向の距離感を正しく把握することができる。したがって、操作支援装置１０によれば、バケット２１０によって掬い上げた物体を投下又は放出する際に、実際に物体を落下させる前の時点で、当該物体の落下位置／落下範囲を容易かつ適切に把握することができる。

【0093】

また、一実施形態に係る操作支援装置１０によれば、遠隔操作可能な既存の油圧ショベルに設置されたカメラのような撮像部２６０を利用することができる。このため、操作支援装置１０によれば、追加のコストを抑えることができる。また、操作支援装置１０によれば、物体の落下位置／落下範囲を常に表示しておくことができる。このため、操作支援装置１０によれば、仮に映像されるデータの送受信又はレンダリングなどにおける遅延がある程度発生したとしても、オペレータは、物体の落下位置／落下範囲を把握することができる。

【0094】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【0095】

また、上述した実施形態は、例えば、上述した操作支援装置のような電子機器の制御方法として実施してもよい。さらに、上述した実施形態は、例えば、上述した操作支援装置を含むシステムとして実施してもよい。例えば、上述した実施形態は、操作支援装置１０、通信部１２０、及び表示部１３０を含む操作支援システムとして実施してもよい。この場合、表示部１３０は、操作支援装置１０の映像生成部１７が生成する映像を表示してよい。また、遠隔支援システムは、通信部１２０に代えて、又は通信部１２０とともに、映像を撮像する撮像部２６０をさらに含んでもよい。また、上述した実施形態は、例えば、上述した操作支援装置又は操作支援システムによって実行されるプログラムとして実施してもよい。さらに、上述した実施形態は、例えば、上述した操作支援装置又は操作支援システムによって実行されるプログラムを記録した記録媒体、すなわちコンピュータ読み取り可能な記録媒体として実施してもよい。

【0096】

上述した実施形態をプログラムとして実施する場合、当該プログラムは、
コンピュータに、
バケットにより掬い上げられる物体に関する情報に基づき、当該物体が落下する落下位置及び落下範囲の少なくとも一方を推定する推定ステップと、
前記推定ステップにおいて推定する前記落下位置及び前記落下範囲の少なくとも一方を示す映像を生成する映像生成ステップと、
を実行させるものとしてよい。

【0097】

一実施形態に係る操作支援装置１０は、例えば、図２に示す機能部の全てを含まなくてもよい。例えば、一実施形態に係る操作支援装置１０は、映像取得部１１と、物体判別部１４と、推定部１６と、映像生成部１７とを備えるものとしてもよい。また、例えば、一実施形態に係る操作支援装置１０は、推定部１６と、映像生成部１７とを備えるものとしてもよい。

【0098】

一実施形態に係る操作支援装置１０によれば、バケット２１０によって掬い上げた物体を投下する操作を支援することができる。しかしながら、一実施形態において、操作支援装置１０は、バケット２１０に限定されず、物体を掬い上げることかできる任意の機材によって掬い上げた物体を投下する操作を支援してもよい。

【0099】

上述した実施形態において、操作支援装置１０は、バケット２１０によって掬い上げた物体を投下する操作を視覚的に支援した。しかしながら、一実施形態において、操作支援装置１０は、バケット２１０によって掬い上げた物体を投下する操作を、視覚的に支援するのではなく、聴覚的及び／又は触覚的に支援してもよい。この場合、操作支援装置１０は、例えば、推定部１６が推定する落下位置及び落下範囲の少なくとも一方を示す音声を生成してよい。そして、任意の音声出力部は、バケット２１０によって掬い上げた物体の落下位置及び落下範囲の少なくとも一方を示す音声を出力してよい。また、操作支援装置１０は、例えば、推定部１６が推定する落下位置及び落下範囲の少なくとも一方を示す触感の情報を生成してよい。そして、任意の触感呈示部は、バケット２１０によって掬い上げた物体の落下位置及び落下範囲の少なくとも一方を示す触感を呈示してよい。また、一実施形態において、操作支援装置１０は、バケットなどで掬い上げた物体を投下する操作を、視覚的に支援するとともに、聴覚的及び／又は触覚的に支援してもよい。

【符号の説明】

【0100】

１ 操作支援システム
１０ 操作支援装置
１１ 撮像取得部
１２ 情報取得部
１３ 動作判定部
１４ 物体判別部
１５ 重量判定部
１６ 推定部
１７ 映像生成部
１８ 記憶部
１２０ 通信部
１３０ 表示部
１４０ 入力部
２００ 油圧ショベル
２１０ バケット
２２０ アーム
２３０ ブーム
２４０ 機体
２５０ クローラ
２６０ 撮像部
２７０ 通信部
２８０ 重量センサ
３００ リモートコントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】