(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024064626
(43)【公開日】2024-05-14
(54)【発明の名称】遠隔操作支援システムおよび作業機械の遠隔操作装置
(51)【国際特許分類】
E02F 9/20 20060101AFI20240507BHJP
【FI】
E02F9/20 N
E02F9/20 Q
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022173362
(22)【出願日】2022-10-28
(71)【出願人】
【識別番号】000246273
【氏名又は名称】コベルコ建機株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】デロイトトーマツ弁理士法人
(72)【発明者】
【氏名】藤原 裕介
(72)【発明者】
【氏名】大谷 真輝
【テーマコード(参考)】
2D003
【Fターム(参考)】
2D003AA01
2D003AB01
2D003AB02
2D003AB03
2D003BA04
2D003BB07
2D003DB02
2D003DB04
2D003DB05
2D003FA02
(57)【要約】
【課題】遠隔操作装置および作業機械のそれぞれに設けられたマイクおよびスピーカーによるハウリングを回避しながら、操作性向上を図りうる遠隔操作システムおよび作業機械の遠隔操作装置を提供する。
【解決手段】実機スピーカー422を通じて遠隔操作装置側音響(遠隔マイク214により集音された音響)を出力させる場合、に、遠隔スピーカー222を通じた作業機械側音響(実機外マイク414により集音された音響)の出力が低減されるまたは遠隔スピーカー222の出力が停止される。このため、遠隔スピーカー222から出力される音響が遠隔マイク214を通じて集音されることが抑制される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
遠隔操作装置による作業機械の作業を支援するための遠隔操作支援システムであって、
前記作業機械に搭載され前記作業機械側の音響を作業機械側音響として集音する実機マイクと、
前記遠隔操作装置に搭載され前記実機マイクを通じて集音された前記作業機械側音響を出力させる遠隔スピーカーと、
前記遠隔操作装置に搭載され前記遠隔操作装置側の音響を遠隔操作装置側音響として集音する遠隔マイクと、
前記作業機械に搭載され前記遠隔マイクを通じて集音された前記遠隔操作装置側音響を出力させる実機スピーカーと、を備え、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、に、前記遠隔スピーカーを通じた前記作業機械側音響の出力を低減させるまたは前記遠隔スピーカーを通じた前記作業機械側音響の出力を停止させる
遠隔操作支援システム。
【請求項2】
請求項1に記載の作業機械の遠隔操作システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させない場合、前記作業機械側音響を前記遠隔スピーカーを通じて出力させ、前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、前記実機スピーカーを通じて前記遠隔操作装置側音響を出力するときよりも出力を低減した前記作業機械側音響を前記遠隔スピーカーを通じて出力させる、または前記遠隔スピーカーの出力を停止させる
遠隔操作システム。
【請求項3】
請求項1に記載の作業機械の遠隔操作システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力する出力状態と出力しない非出力状態とを切替える切替装置を備え、
前記切替装置により非出力状態が指定されているときには前記作業機械側音響を前記遠隔スピーカーを通じて出力させ、前記切替装置により出力状態が指定されているときには前記実機スピーカーを通じて前記遠隔操作装置側音響を出力するときよりも出力を低減した前記作業機械側音響を前記遠隔スピーカーを通じて出力させる、または前記遠隔スピーカーの出力を停止する
遠隔操作システム。
【請求項4】
請求項1または2に記載の作業機械の遠隔操作システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、前記作業機械側音響を疑似した疑似音響を前記遠隔スピーカーに出力させる
遠隔操作システム。
【請求項5】
請求項4に記載の作業機械の遠隔操作システムにおいて、
前記作業機械の動作状況を認識する実機動作状況認識要素を備え、
前記実機動作状況認識要素により認識された前記作業機械の動作状況に基づいて生成した前記疑似音響を前記遠隔スピーカーに出力させる
遠隔操作システム。
【請求項6】
請求項1または2に記載の作業機械の遠隔操作システムにおいて、
前記音響制御装置が記遠隔スピーカーを通じた前記作業機械側音響の出力を低減する場合に、または前記遠隔スピーカーの出力を停止している場合に、その旨を報知する報知装置を備える
遠隔操作システム。
【請求項7】
請求項1または2に記載の作業機械の遠隔操作システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させない場合、遠隔操作装置に搭載されているオペレータの操作を受け付ける遠隔操作機構の操作態様に基づいて前記作業機械を動作させ、前記実機スピーカーを通じて前記遠隔操作装置側音響出力させる場合、前記遠隔操作機構の操作態様に基づいた前記作業機械の動作を制限する
遠隔操作システム。
【請求項8】
作業機械の遠隔操作を支援する遠隔操作装置であって、
前記作業機械に搭載された実機マイクを通じて集音された作業機械側音響を出力する遠隔スピーカーと、
前記作業機械に搭載された実機スピーカー通じて出力する遠隔操作装置側音響を集音する遠隔マイクと、を備え、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、に、前記遠隔スピーカーを通じた前記作業機械側音響の出力を低減する、または前記遠隔スピーカーを通じた前記作業機械側音響の出力を停止させる
作業機械の遠隔操作装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、油圧ショベル等の作業機械のオペレータによる遠隔操作を支援するための技術に関する。
【背景技術】
【0002】
作業機械を遠隔地で遠隔操作するための遠隔操作装置において、視覚に加えて音響により現場の状況を把握するための技術が提案されている(例えば、特許文献1参照)。具体的には、マイクが作業機械に設けられ、当該マイクを通じて集音された音響を出力するスピーカーが遠隔操作装置に設けられている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
さらに、オペレータが作業機械の周辺にいる作業者に対して音響でメッセージを伝えることができるように、マイクが遠隔操作装置に設けられ、当該マイクを通じて集音されたオペレータの音響を出力するスピーカーが作業機械に設けられることが考えられる。この場合、遠隔操作装置および作業機械のそれぞれに設けられたマイクおよびスピーカーがハウリングを起こしてしまう可能性がある。
【0005】
そこで、本発明は、遠隔操作装置および作業機械のそれぞれに設けられたマイクおよびスピーカーによるハウリングを回避しながら、操作性向上を図りうる遠隔操作システムおよび作業機械の遠隔操作装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の遠隔操作支援システムは、
遠隔操作装置による作業機械の作業を支援するための遠隔操作支援システムであって、
前記作業機械に搭載され前記作業機械側の音響を作業機械側音響として集音する実機マイクと、
前記遠隔操作装置に搭載され前記実機マイクを通じて集音された前記作業機械側音響を出力させる遠隔スピーカーと、
前記遠隔操作装置に搭載され前記遠隔操作装置側の音響を遠隔操作装置側音響として集音する遠隔マイクと、
前記作業機械に搭載され前記遠隔マイクを通じて集音された前記遠隔操作装置側音響を出力させる実機スピーカーと、を備え、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、に、前記遠隔スピーカーを通じた前記作業機械側音響の出力を低減させるまたは前記遠隔スピーカーを通じた前記作業機械側音響の出力を停止させる。
【0007】
当該構成の遠隔操作支援システムによれば、実機スピーカーを通じて遠隔操作装置側音響を出力させる場合、に、遠隔スピーカーを通じた作業機械側音響の出力を低減するまたは遠隔スピーカーの出力を停止するため、遠隔スピーカーから出力される音響が遠隔マイクを通じて集音されることが抑制される。これにより、実機マイクおよび実機スピーカーにおけるハウリング、および、遠隔マイクおよび遠隔スピーカーにおけるハウリングが回避されるため、操作性向上が図られる。
【0008】
前記構成の遠隔操作支援システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させない場合、前記作業機械側音響を前記遠隔スピーカーを通じて出力させ、前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、前記実機スピーカーを通じて前記遠隔操作装置側音響を出力するときよりも出力を低減した前記作業機械側音響を前記遠隔スピーカーを通じて出力させる、または前記遠隔スピーカーの出力を停止させる
ことが好ましい。
【0009】
当該構成の遠隔操作支援システムによれば、実機スピーカーを通じて遠隔操作装置側音響を出力させない場合、作業機械側音響を遠隔スピーカーを通じて出力させるため、オペレータは当該作業機械側音響を介して作業機械や作業現場周囲の現場の状況を把握することができる。また、実機スピーカーを通じて遠隔操作装置側音響を出力させる場合、遠隔スピーカーから出力される音響が遠隔マイクを通じて集音されることがなくなるため実機マイクおよび実機スピーカーにおけるハウリング、および、遠隔マイクおよび遠隔スピーカーにおけるハウリングが回避される。
【0010】
前記構成の遠隔操作支援システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力する出力状態と出力しない非出力状態とを切替える切替装置を備え、
前記切替装置により非出力状態が指定されているときには前記作業機械側音響を前記遠隔スピーカーを通じて出力させ、前記切替装置により出力状態が指定されているときには前記実機スピーカーを通じて前記遠隔操作装置側音響を出力するときよりも出力を低減した前記作業機械側音響を前記遠隔スピーカーを通じて出力させる、または前記遠隔スピーカーの出力を停止する
ことが好ましい。
【0011】
当該構成の遠隔操作支援システムによれば、切替装置により実機スピーカーを通じた遠隔操作装置側音響の出力状態と非出力状態とが切替えられる。これにより、オペレータは任意のタイミングで遠隔操作装置側音響の伝達処理の実行と非実行とを切り替えることができ、遠隔操作装置を通じた作業機械の操作性の向上が図られる。
【0012】
前記構成の遠隔操作支援システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、前記作業機械側音響を疑似した疑似音響を前記遠隔スピーカーに出力させる
ことが好ましい。
【0013】
当該構成の遠隔操作支援システムによれば、実機スピーカーを通じて遠隔操作装置側音響を出力させる場合、作業機械側音響に代わって疑似音響が遠隔スピーカーに出力されるので、実機スピーカーを通じて遠隔操作装置側音響を出力させない場合、遠隔スピーカーから作業機械側音響が出力されないと比較してオペレータに与える違和感が軽減され、ひいては、当該オペレータによる作業機械の遠隔操作の形態が不適当になる可能性が低減されうる。
【0014】
前記構成の遠隔操作支援システムにおいて、
前記作業機械の動作状況を認識する実機動作状況認識要素を備え、前記音響制御装置は、前記実機動作状況認識要素により認識された前記作業機械の動作状況に基づいて生成した前記疑似音響を前記遠隔スピーカーに出力させる
ことが好ましい。
【0015】
当該構成の遠隔操作支援システムによれば、実機スピーカーを通じて遠隔操作装置側音響を出力させない場合、遠隔スピーカーから出力される作業機械の動作に伴う音響と、当該作業機械の動作状況に基づいて生成される疑似音響との相関性の向上が図られるので、オペレータに与える違和感がさらに軽減され、ひいては、当該オペレータによる作業機械の遠隔操作の形態が不適当になる可能性がさらに低減されうる。
【0016】
前記構成の遠隔操作支援システムにおいて、
前記音響制御装置が記遠隔スピーカーを通じた前記作業機械側音響の出力を低減する場合に、または前記遠隔スピーカーの出力を停止している場合に、その旨を報知する報知装置を備える
ことが好ましい。
【0017】
当該構成の遠隔操作支援システムによれば、報知装置を通じてオペレータに作業機械側音響の出力を低減しているまたは遠隔スピーカーの出力を停止していることを報知できる。
【0018】
前記構成の遠隔操作支援システムにおいて、
前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させない場合、遠隔操作装置に搭載されているオペレータの操作を受け付ける遠隔操作機構の操作態様に基づいて前記作業機械を動作させ、前記実機スピーカーを通じて前記遠隔操作装置側音響出力させる場合、前記遠隔操作機構の操作態様に基づいた前記作業機械の動作を制限する
ことが好ましい。
【0019】
当該構成の遠隔操作支援システムによれば、遠隔スピーカーを通じた作業機械側音響の出力が低減している、または遠隔スピーカーの出力が停止している場合に、遠隔操作機構の操作態様に基づいた作業機械の動作を抑制することができる。これによって、作業機械側音響を介して作業機械や作業現場周囲の現場の状況を把握しにくい状況でのオペレータの作業機械の遠隔操作を制限して抑制することができる。
【0020】
また、本発明の作業機械の遠隔操作装置は、
作業機械の遠隔操作を支援する遠隔操作装置であって、前記作業機械に搭載された実機マイクを通じて集音された作業機械側音響を出力する遠隔スピーカーと、前記作業機械に搭載された実機スピーカー通じて出力する遠隔操作装置側音響を集音する遠隔マイクと、を備え、前記実機スピーカーを通じて前記遠隔操作装置側音響を出力させる場合、に、前記遠隔スピーカーを通じた前記作業機械側音響の出力を低減する、または前記遠隔スピーカーを通じた前記作業機械側音響の出力を停止させる。
【0021】
当該構成の作業機械の遠隔操作装置によれば、実機スピーカーを通じて遠隔操作装置側音響を出力させる場合、に、遠隔スピーカーを通じた作業機械側音響の出力を低減するまたは遠隔スピーカーの出力を停止するため、遠隔スピーカーから出力される作業機械側音響が遠隔マイクを通じて集音されることが抑制される。これにより、実機マイクおよび実機スピーカーにおけるハウリング、および、遠隔マイクおよび遠隔スピーカーにおけるハウリングが回避されるため、操作性向上が図られる。
【図面の簡単な説明】
【0022】
【
図1】遠隔操作支援システムの構成に関する説明図。
【
図2】遠隔操作支援システムの要素機能に関する説明図。
【
図6】遠隔操作支援システムの機能に関する説明図。
【発明を実施するための形態】
【0023】
(遠隔操作支援システムの構成)
図1に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援装置10、遠隔操作装置20および作業機械40と、により構成されている。遠隔操作装置20および作業機械40は、相互にネットワーク通信可能に構成されている。当該ネットワークは、無線ネットワークと有線ネットワークの少なくとも一方で構成される。
【0024】
(遠隔操作支援装置の構成)
遠隔操作支援装置10は、例えば、コンピュータにより構成されている。遠隔操作支援装置10は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。
【0025】
本発明の構成要素が情報(またはデータ)を「認識する」とは、当該情報を受信、読み取りまたは検索等により認識すること、基礎となるデータまたは信号に対して演算処理を実行することにより当該情報を決定、測定、同定、推定、予測等することなど、当該情報を後続の演算処理の実行に際して利用可能な形態で準備するあらゆる処理を包含する概念である。
【0026】
(遠隔操作装置の構成)
図1に示されているように、遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、遠隔通信機器224と、を備えている。
【0027】
遠隔制御装置200は、コントローラ231と、遠隔音響処理装置232と、を備えている。
【0028】
図1および
図2に示されているように、コントローラ231は、遠隔操作支援装置10として機能する。コントローラ231は、遠隔制御装置200を構成するコンピュータとは別個のコンピュータにより構成され、当該遠隔制御装置200とローカルネットワーク(CANなどの車両ネットワーク)を介して通信可能に構成されていてもよい。
【0029】
コントローラ231は、遠隔マイク214が集音した音に対応する電気信号が入力され、当該電気信号を音響処理装置232に入力する。また、遠隔操作支援装置10は、遠隔画像出力装置221や手元端末225に画像を出力させる。
【0030】
遠隔音響理装置232は、コントローラ231より送信された電気信号を受信し、当該電気信号に対応する音響データ情報を圧縮符号化して遠隔通信機器224に送信する。また、遠隔音響処理装置232は、遠隔通信機器224を介して送信されてきた音響データ情報を展開して復元し、復元した音響データ情報に対応する電気信号をコントローラ231およびアンプ234に出力する。アンプ234は入力された電気信号を増幅する。
【0031】
図1に示されているように、遠隔入力インターフェース210は、遠隔操作機構211と、遠隔マイク214と、を備えている。
【0032】
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体41を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構43を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。アーム用操作装置の操作レバー(アームレバー)は作業機械40のアームシリンダ444を動かすために操作される。バケット用操作装置の操作レバー(バケットレバー)は作業機械40のバケットシリンダ446を動かすために操作される。
【0033】
遠隔操作機構211を構成する各操作レバーは、例えば、
図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。
【0034】
シートStの前方に左右のクローラに応じた左右走行レバー2110が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、
図2に示されているシートStの左側フレームの前方に設けられている左側操作レバー2111が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、
図2に示されているシートStの右側フレームの前方に設けられている右側操作レバー2112が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータによる遠隔入力インターフェース210の所定操作に応じて任意に変更されてもよい。
【0035】
遠隔マイク214は、遠隔操作装置20の空間の音を集音して電気信号に変換する装置であり、遠隔操作装置20のオペレータの音声を集音するために配置される。例えば、
図2に示されているように、シートStの側方に遠隔マイク214が配置される。遠隔マイク214は、固定式のものでもよく、脱着可能なクリップ等を有し取付位置を変更可能なものでもよい。ハンズフリー形式のマイクが遠隔マイク214として用いられてもよい。本実施形態では、遠隔マイク214は、遠隔操作装置20の空間の音を集音する機能の有効と無効とを切り替え可能なスイッチ(切替装置)を有している。
【0036】
図1に示されているように、遠隔出力インターフェース220は、遠隔画像出力装置221と、遠隔スピーカー222(遠隔音響出力装置)と、手元端末225と、を備えている。
【0037】
遠隔画像出力装置221は、例えば
図3に示されているように、シートStの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212により構成されている。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面(画像表示領域)の形状およびサイズは同じであってもよく相違していてもよい。遠隔画像出力装置221は、単一の湾曲したまたは湾曲可能な画像出力装置、シートStの前方を囲むように配置される2つまたは4つ以上の画像出力装置により構成されていてもよい。遠隔画像出力装置221は、遠隔操作装置20を操作するオペレータにより携帯される情報端末装置が有する画像出力装置により構成されていてもよい。
【0038】
図3に示されているように、中央遠隔画像出力装置2210の画面および左側遠隔画像出力装置2211の画面が傾斜角度θ1(例えば、120°≦θ1≦150°)をなすように、左側遠隔画像出力装置2211の右縁が、中央遠隔画像出力装置2210の左縁に隣接している。
図2に示されているように、中央遠隔画像出力装置2210の画面および右側遠隔画像出力装置2212の画面が傾斜角度θ2(例えば、120°≦θ2≦150°)をなすように、右側遠隔画像出力装置2212の左縁が、中央遠隔画像出力装置2210の右縁に隣接している。当該傾斜角度θ1およびθ2は同じであっても相違していてもよい。
【0039】
中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置2210、左側遠隔画像出力装置2211および右側遠隔画像出力装置2212のうち少なくとも1つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置2210が、略矩形状の画面を有する上下に隣接する画像出力装置により構成されていてもよい。
【0040】
遠隔スピーカー222は、アンプ234を経由して出力された電気信号を基に音響を発する装置であり、遠隔操作装置20のオペレータに音響を提供するために配置される。遠隔スピーカー222は、一または複数のスピーカーにより構成され、例えば
図2に示されているように、シートStの前方に配置された前方遠隔スピーカー2223により構成されている。前方遠隔スピーカー2223に加えて、または前方遠隔スピーカー2223に代えて、シートStの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央遠隔スピーカー2220、左側遠隔スピーカー2221および右側遠隔スピーカー2222により構成されてもよい。中央遠隔スピーカー2220、左側遠隔スピーカー2221および右側遠隔スピーカー2222のそれぞれの仕様は同じであってもよく相違していてもよい。
【0041】
手元端末225は、遠隔制御装置200からの信号に基づいて各種画面を表示面に表示する。手元端末225は、オペレータによってタッチ操作されることにより、それを表す信号をコントローラ231に出力する遠隔入力インターフェース210として機能してもよい。
【0042】
遠隔通信機器224は、遠隔操作装置20のネットワーク通信を可能とする機器であり、ネットワークを介して作業機械40との通信をする。
【0043】
(作業機械の構成)
図1に示されているように、作業機械40は、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、実機通信機器424と、を備えている。実機制御装置400は、演算処理装置(シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア)により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0044】
作業機械40は、例えばクローラショベル(建設機械)であり、
図4に示されているように、クローラ式の下部走行体41と、下部走行体41に旋回機構43を介して旋回可能に搭載されている上部旋回体42と、を備えている。上部旋回体42の前方左側部にはキャブ42C(運転室)が設けられている。上部旋回体42の前方中央部には作業機構44が設けられている。上部旋回体42の後方の機械室には、作動油を供給するポンプおよび当該ポンプを駆動するエンジンや電動機等の原動機が搭載される。
【0045】
作業機構44は、上部旋回体42に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されているバケット445と、を備えている。作業機構44には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444およびバケットシリンダ446が装着されている。
【0046】
ブームシリンダ442は、作動油の供給を受けることにより伸縮してブーム441を起伏方向に回動させるように当該ブーム441と上部旋回体42との間に介在する。アームシリンダ444は、作動油の供給を受けることにより伸縮してアーム443をブーム441に対して水平軸回りに回動させるように当該アーム443と当該ブーム441との間に介在する。バケットシリンダ446は、作動油の供給を受けることにより伸縮してバケット445をアーム443に対して水平軸回りに回動させるように当該バケット445と当該アーム443との間に介在する。
【0047】
図1に示されているように、実機制御装置400は、実機音響処理装置432と、実機出力音響選択装置438と、を備えている。
【0048】
図2に示されているように、実機音響処理装置432は、実機外マイク414が集音した音に対応する電気信号が入力され、当該電気信号に対応する音響データ情報を圧縮符号化して実機通信機器424に入力する。さらに、実機音響処理装置432は、実機通信機器424を介して送信されてきた音響データ情報を展開して復元し、復元した当該音響データ情報を選択装置438に送信する。
【0049】
図2に示されているように、実機出力音響選択装置438は、実機内マイク436が集音した音に対応する電気信号が入力され、かつ、実機音響処理装置432を介して復元した音響データ情報に対応する電気信号が入力される。実機出力音響選択装置438は、2つの電気信号の入力に対して1つを選択してアンプ434に出力する。例えば、作業機械40のキャブ42C内部に搭乗する搭乗オペレータにより作業機械40が操作される場合には実機外マイク414が集音した音に対応する電気信号を選択してアンプ434に出力し、作業機械40が遠隔操作装置20を操作するオペレータにより遠隔操作される場合に実機通信機器424を介して送信されてきた音響データ情報に対応する電気信号を選択してアンプ434に出力する。実機出力音響選択装置438は、実機内マイク436が集音した音に対応する電気信号をアンプ434に出力する機能を搭載してもよい。アンプ434は入力された電気信号を増幅する。
【0050】
図1に示されているように、実機入力インターフェース410は、実機操作機構411と、実機撮像装置412と、実機外マイク414と、実機内マイク436と、を備えている。
【0051】
実機操作機構411は、キャブ42Cの内部に配置されたシートの周囲に遠隔操作機構211と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ42Cに設けられている。
【0052】
図4に示されているように、実機撮像装置412は、例えばキャブ42Cの内部に設置され、フロントウィンドウおよび左右サイドウィンドウ越しに作業機構44の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。
【0053】
実機外マイク414は、作業機械40の周囲の音を集音して電気信号に変換する装置であり、キャブ42Cの外部に配置される。例えば、
図4に示されているように、キャブ42Cを支持する底板を有する上部旋回体42の旋回フレーム42A上において、キャブ42Cの床下部材と旋回フレーム42Aとにより画定された空間に実機外マイク414が配置される。実機外マイク414は、上部旋回体42の上面など他の個所に配置されてもよい。
【0054】
実機内マイク436は、キャブ42Cの内部空間の音を集音して電気信号に変換する装置であり、作業機械40に搭乗する搭乗オペレータの音声を集音するためにキャブ42Cの内部に配置される。例えば、
図4に示されているように、キャブ42Cの内部空間の側方に寄せて実機キャブ内用マイク436が配置される。実機内マイク436は、固定式のものでもよく、脱着可能なクリップ等を有し取付位置を変更可能なものでもよい。ハンズフリー形式のマイクが搭乗用マイク436として用いられてもよい。実機内マイク436は、キャブ42Cの内部空間の音を集音する機能の有効と無効とを切り替え可能なスイッチを有していてもよい。
図1に示されているように、実機出力インターフェース420は、実機スピーカー422を備えている。実機スピーカー422は、アンプ434を介して出力された電気信号を基に音響を発する装置であり、作業機械40の周囲に向けて音響を提供するためにキャブ42Cの外部に配置される。例えば、
図4に示されているように、旋回フレーム42A上であってブーム441の上部旋回体42への装着部分の前方側に実機スピーカー422が配置され、実機スピーカー422より上部旋回体42の前方方向に向けて音響が発せられる。実機スピーカー422は、上部旋回体42の前方方向以外の左右方向や後方に向けて音響が発せられるように配置されてもよく、複数の実機スピーカー422が配置されてもよい。
【0055】
(ハウリング)
前記構成の遠隔操作支援装置10が抑制するハウリングの概要について、
図5Aおよび
図5Bを用いて説明する。
【0056】
図5Aは、第1の音響ループを示す概念図である。
図5Aに示されている第1の音響ループによれば、遠隔マイク214に遠隔操作装置側音響(遠隔操作装置20のオペレータの音声など)が入力されると、当該音響に対応する音響データがおよびネットワークを介して当該遠隔操作装置20から作業機械40に対して送信されて、アンプ434を介して実機スピーカー422から出力される。さらに、実機スピーカー422から出力される音響の一部が実機マイク414に集音され、音響データとしてネットワークを介して作業機械40から遠隔操作装置20に対して送信されて、アンプ234を介して遠隔スピーカー222から出力される。
【0057】
図5Bは、第2の音響ループを示す概念図である。
図5Bに示されている第2の音響ループによれば、実機外マイク414に作業機械側音響(作業機械40の周囲の音響、作業機械40の原動機および/または油圧モータの音響など)が入力されると、当該音響に対応する音響データがネットワークを介して当該作業機械40から遠隔操作装置20に対して送信されて、アンプ234を介して遠隔スピーカー222から出力される。さらに、遠隔スピーカー222から出力される音響の一部が遠隔マイク214に集音され、音響データとしてネットワークを介して遠隔操作装置20から作業機械40に対して送信されて、アンプ434を介して実機スピーカー422から出力される。
【0058】
このように第1の音響ループおよび第2の音響ループのそれぞれが、遠隔入力インターフェース210および/または実機入力インターフェース410におけるオペレータの操作に応じて実現されてしまい、ハウリングとなり得る。
【0059】
一般に、ハウリングを回避する手法としては、スピーカーから音声を出力する際に当該スピーカーに近接するマイクをミュート状態とすることが行われる。例えば、遠隔音響処理装置232が遠隔通信機器224を介して送信されてきた音響データ情報を元に遠隔スピーカー222に音響を発生させる場合に、遠隔マイク214による集音を停止させミュート状態とすることで、第1の音響ループおよび第2の音響ループが生成されないようにすることができる。しかしながら、この手法を採用すると、遠隔スピーカー222に音響を発生させている際に、実機スピーカー222に遠隔マイク214が集音するオペレータの音声等の遠隔操作装置側音響を出力することができなくなる。
【0060】
また、例えば、実機音響処理装置432が実機通信機器424介して送信されてきた音響データ情報を元に実機スピーカー422に音響を発生させる場合に、実機外マイク414や実機内マイク436による集音を停止させミュート状態とすることで、第1の音響ループおよび第2の音響ループが生成されないようにすることができる。しかしながら、この手法を採用すると、実機スピーカー422に音響を発生させている際に、作業機械側音響の情報が遠隔操作装置20に提供されない。
【0061】
また、ハウリングを回避する別の手法としては、マイクが集音した音からスピーカーから出力された音響に対応する音の周波数を打ち消す(フィルタリング)処理をすることが行われる。例えば、遠隔音響処理装置232が遠隔通信機器224を介して送信されてきた音響データ情報を元に遠隔スピーカー222に音響を発生させる場合に、遠隔マイク214により集音される音響データのうち遠隔スピーカー222に出力された音響に対応する周波数成分を除去することで、第1の音響ループおよび第2の音響ループが生成されないようにすることができる。或いは、実機音響処理装置432が実機通信機器424介して送信されてきた音響データ情報を元に実機スピーカー422に音響を発生させる場合に、実機外マイク414や実機内マイク436により集音される音響データのうち実機スピーカー422に出力された音響に対応する周波数成分を除去することで、第1の音響ループおよび第2の音響ループが生成されないようにすることができる。
【0062】
しかしながら、この手法を採用したとしても、第1の音響ループおよび第2の音響ループの生成が排除しきれないことが想定される。例えば、作業機械40の周囲の構造物に応じて反響音の音質が変化したり、反響音が遠隔マイク214に集音されるタイミングが変化ししたりすることにより、実機スピーカー422に出力された音響に対応する周波数成分を除去しきれないことが想定される。特に、実機スピーカー422が複数搭載されている場合には、作業機械40の周囲の構造物に応じて反響音が遠隔マイク214に集音されるタイミングが福財津となる。また、作業機械40による作業時には、例えば作業機構44と作業対象物との接触時に大きな音が発生するため、周波数成分が除去しきれない場合には音量が高い特定の周波数により第1の音響ループや第2の音響ループが生成されやすい。
【0063】
(機能)
前記構成の遠隔操作支援装置10は、前述したハウリングを回避する手法における問題点を克服するものである。遠隔操作支援装置10の機能について、
図4に示されているフローチャートを用いて説明する。
【0064】
まず、実機スピーカー422に遠隔マイク214に入力された遠隔操作装置側音響を出力させる状態(出力状態)であるか否かが判定される(
図4/STEP110)。具体的には、押しボタン式のスイッチ(切替装置)により、遠隔操作装置20の空間の音を集音する機能を有効とする出力状態、および集音する機能を無効にする非出力状態のうちいずれが指定されているかが判定される。
【0065】
実機スピーカー422に当該遠隔操作装置側音響を出力させる出力状態であると判定された場合(
図4/STEP110‥YES)、遠隔スピーカー222および/または遠隔画像出力装置221(もしくは遠隔出力インターフェース220を構成する発光装置)を通じて報知が出力される(
図4/STEP111)。当該報知は、遠隔スピーカー222通じた作業機械40の音響出力を低減させること、または、遠隔スピーカー222を通じた作業機械40の音響出力を停止させることを、オペレータに認識させるためのものである。手元端末225に当該報知が出力されてもよい。なお、当該報知処理は省略されてもよい。
【0066】
そのうえで、遠隔スピーカー222を通じた作業機械40の音響出力(音量または特定周波数の音量)が低減され、または、遠隔スピーカー222を通じた作業機械40の音響出力が停止される(
図4/STEP113)。具体的には、遠隔スピーカー222の出力を制御することで、遠隔スピーカー22をミュート状態として遠隔スピーカー222から音響が出力されない状態とする。また、遠隔スピーカー222から出力される音量を低減する、あるいは特定周波数の音量について音量を低減する又は消音状態とすることで、遠隔スピーカー222を通じた作業機械40の音響出力が停止される。これにより、ハウリングの要因となりうる音響が作業機械側音響に含まれていたとしても、遠隔マイク214には、ハウリングの要因となりうる音響が集音されなくなり、ハウリングの防止が図られる。
【0067】
さらに、遠隔操作機構211の操作態様に基づく作業機械40の動作が制限される(
図4/STEP121)。具体的には、遠隔操作機構211を構成する操作レバーや走行ペダルの操作量xに対する下部走行体41および/または上部旋回体42および/または作業機構44の通常の動作量f(x)が制限動作量αf(x)(0≦α<1)に制御される。当該係数「α」は、下部走行体41および/または上部旋回体42および/または作業機構44の動作に伴って生じる音響の音量の大小に応じて適当に設定されている。すなわち、作業機械40の動作が制限されない場合と比較して、作業機械40の動作が制限される場合には、作業機械40の制限されている動作の操作レバーの操作量xに対する動作量が低減される。これにより、当該制限されている動作が緩慢に動作する(通常よりも低い動作速度で動作する)、または当該制限されている動作が停止される。この処理は、遠隔操作装置20を操作するオペレータの作業機械40および作業機械40の周囲の状況の認知度に応じて遠隔操作機構211の操作態様に基づく作業機械40の動作を制限するためのものである。通常において、オペレータは遠隔スピーカー222から出力される作業機械40の音響に基づいて作業機械40および作業機械40の周囲の状況を把握することができ。しかし、作業機械40の音響出力が停止された(
図4/STEP113)状態にある場合には、作業機械40および作業機械40の周囲の状況を把握しにくくなる。そこで、この処理において遠隔操作機構211の操作態様に基づく作業機械40の動作を制限する(
図4/STEP121)。なお、当該動作制限処理は省略されてもよい。
【0068】
遠隔操作機構211の操作態様に基づく作業機械40の動作が制限される(
図4/STEP121)場合には、例えば、作業機械40の一部の動作のみが制限されるように構成されてもよい。具体的には、操作レバーや走行ペダルの操作量xに対する下部走行体41および/または上部旋回体42については制限され、作業機構44については制限せずに遠隔操作機構211の操作態様に基づいて動作が許容されるように構成することができる。この場合、実機撮像装置412により上部旋回体42の前方を捉えた撮像画像が遠隔画像出力装置221に出力されるため、作業機構44についてオペレータは状況を的確に把握することができる。したがって、認知度の高い作業機構44について制限しないことで施業性の低下を抑えることができる。また、実機撮像装置412により下部走行体41の進行方向を捉えた撮像画像が取得される場合には、下部走行体41の動作についても制限しないようにすることもできる。
【0069】
また、作業機械40の動作状況が認識される(
図4/STEP130)。作業機械40から遠隔操作装置20に対して送信される当該作業機械40の動作状況を表わす信号またはデータにより、遠隔制御装置200を構成する遠隔操作支援装置10により当該作業機械40の動作状況が認識される。認識される信号またはデータには、作業機械40に搭載されているセンサの出力信号に基づいて検知されるエンジンの回転数やポンプの回転数が動作状況が含まれている。また、当該信号またはデータには、圧力センサにより検知されるポンプの吐出圧や各シリンダにかかる圧力が含まれてもよい。角度センサやシリンダストロークセンサにより検知される下部走行体41および/または上部旋回体42および/または作業機構44の動作状態や姿勢状況、実機撮像装置412により撮像された画像等の信号またはデータが認識されてもよい。
【0070】
認識された作業機械40の動作状況に基づき、当該作業機械40の音響を疑似した疑似音響が遠隔スピーカー222から出力される(
図4/STEP132)。作業機械40の動作状況と、疑似音響のデータと、の相関関係を表わすデータが、遠隔操作支援装置10を構成する記憶装置に保存されていてもよい。作業機械40の動作状況と、当該相関関係を表わすデータに基づき、疑似音響が生成されてもよい。例えば、作業機械40の原動機の音響や油圧モータの音響が疑似音響として遠隔スピーカー222から出力され、作業機械40のエンジンの回転数又はポンプの回転数に基づいて疑似音響が変化される。原動機の音響や油圧モータは回転数が大きいほど音量や周波数、ノイズが大きくなるが、これに対応するように疑似音響の音量やのノイズを変化させることで、オペレータが作業機械40およびその作業現場周囲の現場の状況を把握するのに適当な情報を提供する。
【0071】
疑似音響には、作業機構44の音響としてバケット445が作業対象物体と接触する音響が含まれてもよい。この場合、例えば、実機撮像装置412により撮像された画像や作業機構44の動作状態、姿勢状況とからバケット445が作業対象物体と接触する状況を認識し、バケット445が作業対象物体と接触するタイミングにて接触する音響が遠隔スピーカー222から出力される。また、疑似音響には、遠隔操作対象である一の作業機械40の音響のほか、当該一の作業機械40の周辺に存在する他の作業機械40および/またはトラックなどの他の車両の音響が含まれていてもよい。この場合、例えば、実機撮像装置412により撮像された画像中に他の作業機械40や車両等が含まれているか否かを判定し、他の作業機械40や車両等が含まれている場合に音響が遠隔スピーカー222から出力される。
【0072】
作業機械40の現時点における動作状況とは無関係に遠隔スピーカー222から疑似音響が出力されてもよい。例えば、過去の指定期間(現時点の直前の指定期間であることが好ましい。)における作業機械側音響の時系列が記憶装置に記憶され、当該指定期間における作業機械側音響の時系列が記憶装置から読み出されて、疑似音響として遠隔スピーカー222から出力されてもよい。当該疑似音響の出力処理が省略されてもよい。
【0073】
実機スピーカー422に遠隔操作装置20において遠隔マイク214に入力された音声を出力させない非出力状態であると判定された場合(
図4/STEP110‥NO)、遠隔スピーカー222を通じて作業機械40の音響が出力される(
図4/STEP112)。
【0074】
さらに、遠隔操作機構211の操作態様に基づき、作業機械40の動作が通常通りに制御される(
図4/STEP122)。具体的には、遠隔操作機構211を構成する操作レバーの操作量xに基づいた下部走行体41および/または上部旋回体42および/または作業機構44の通常の動作量f(x)が許容される。
【0075】
(作用効果)
前記機能を発揮する遠隔操作支援装置10および遠隔操作支援システムによれば、実機スピーカー422を通じて遠隔操作装置側音響(遠隔マイク214により集音された音響)を出力させる場合、に、遠隔スピーカー222を通じた作業機械側音響(実機マイク414により集音された音響)の出力が低減されるまたは遠隔スピーカー222の出力が停止される(
図4/STEP110‥YES→‥→STEP113参照)。このため、遠隔スピーカー222から出力される遠隔操作装置側音響が遠隔マイク214を通じて集音されることが抑制される。これにより、実機マイク414および実機スピーカー422におけるハウリング、および、遠隔マイク214および遠隔スピーカー222におけるハウリングが回避されるため、操作性向上が図られる(
図5Aおよび
図5B参照)。
【0076】
遠隔スピーカー222の出力制御によりハウリングが回避されるため、作業機械40の構成や制御が複雑にならない。特に遠隔操作支援装置10により複数の作業機械40を選択的に遠隔操作する際に、各作業機械40にそれぞれハウリングを回避するための機能を設ける必要が無く、費用削減や管理の容易化が図られる。また、ハウリングが回避される制御が行われる際においても、遠隔マイク214により集音された音響に対応する音響データ情報はネットワークに送信されているため、例えば、作業機械40の稼働データをサーバ等に記録しておく場合に、ネットワークを介して遠隔マイク214により集音された作業機械側音響を取得することができる。
【0077】
実機スピーカー422を通じて遠隔操作装置側音響を出力させる場合、作業機械側音響に代わって疑似音響が遠隔スピーカー222に出力される(
図4/STEP110‥YES→‥→STEP132参照)。このため、遠隔スピーカー222から作業機械側音響が出力されない場合と比較して、オペレータに与える違和感が軽減され、ひいては、当該オペレータによる作業機械40の遠隔操作の形態が不適当になる可能性が低減されうる。
【0078】
疑似音響が、作業機械40の動作状況に応じて出力される(
図4/STEP130→STEP132参照)。これにより、作業機械40の実際の動作状況に鑑みて、実機マイク414により集音されうる作業機械側音響が疑似された疑似音響が遠隔スピーカー222から出力される。このため、オペレータに与える違和感がさらに軽減され、ひいては、当該オペレータによる作業機械40の遠隔操作の形態が不適当になる可能性がさらに低減されうる。
【0079】
遠隔スピーカー222を通じた作業機械側音響の出力が低減される場合、遠隔操作機構211の操作態様に基づいた作業機械40の動作が抑制される(
図4/STEP110‥YES→‥→STEP113→STEP121参照)。これによって、作業機械側音響を介して作業機械40および作業現場周囲の現場の状況を把握しにくい状況でのオペレータの作業機械40の遠隔操作を制限することができる。
【0080】
(本発明の他の実施形態)
前記実施形態では、遠隔操作支援装置10が遠隔制御装置200により構成されている(または遠隔操作装置20に搭載されている)が、他の実施形態として、遠隔操作支援装置10が実機制御装置400により構成されていてもよい(または作業機械40に搭載されていてもよい)。さらに他の実施形態として、遠隔操作支援装置10が遠隔操作措置20および作業機械40のそれぞれとネットワークを介して通信可能なサーバ等の外部機器または外部コンピュータにより構成されていてもよい。
【0081】
前記実施形態では、押しボタン式のスイッチ(切替装置)により、遠隔操作装置20の空間の音を集音する機能を有効とする出力状態、および集音する機能を無効にする非出力状態のうちいずれが指定されるものであったが、他の実施形態として、遠隔マイク214に入力される音響が人間の音声がであるか否かを判定し、判定の結果、人間の音声の音声である場合に、遠隔操作装置20の空間の音を集音する機能を有効とする出力状態とするように構成されてもよい。この構成によれば、オペレータがスイッチ(切替装置)の切り替え操作をしなくとも、スイッチ(切替装置)が切換えられる。
【0082】
前記実施形態では、遠隔スピーカー222の出力制御によりハウリングが回避されるが、他の実施形態として、実機外マイク414や実機内マイク436の集音機能を一時的に無効にすることによりハウリングが回避されるように構成されてもよい。この構成によれば、実機外マイク414や実機内マイク436の集音が停止される分だけ作業機械40のバッテリの消費が抑えられ、また、作業機械40からネットワークに送信される音響データが単調となりデータ量が低減できる。
【0083】
また、他の実施形態として、実機外マイク414や実機内マイク436で集音した音響の音響データのネットワークへの送信が停止されてもよい。この構成によれば、音響データの送信がされない分だけ作業機械40のバッテリの消費が抑えられる。
【0084】
前記実施形態では、疑似音響が、作業機械40の動作状況に応じて遠隔スピーカー222に出力されているが、他の実施形態として、遠隔操作機構211の遠隔操作レバーの操作態様に遠隔スピーカー222に疑似音響が出力されるように構成されてもよい。この構成によれば、遠隔操作機構211の操作態様に基づいて作業機械40が動作するまでの間に遅延がある場合であっても、遠隔操作機構211の操作態様に基づいて即時に疑似音響を遠隔スピーカー222に出力させることができ、オペレータに与える違和感が軽減され、ひいては、当該オペレータによる作業機械40の遠隔操作の形態が不適当になる可能性が低減されうる。
【符号の説明】
【0085】
10‥遠隔操作支援装置
20‥遠隔操作装置
200‥遠隔制御装置
210‥遠隔入力インターフェース
211‥遠隔操作機構
214‥遠隔マイク
220‥遠隔出力インターフェース
221‥遠隔画像出力装置
222‥遠隔スピーカー
224‥遠隔通信機器
40‥作業機械
41‥下部走行体
42‥上部旋回体
42C‥キャブ(運転室)
44‥作業機構
445‥バケット
400‥実機制御装置
410‥実機入力インターフェース
412‥実機撮像装置
414‥実機外マイク
420‥実機出力インターフェース
422‥実機スピーカー
424‥実機通信機器