ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2025-7067作業機械の表示装置、作業機械、及び作業機械の遠隔操作システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025007067
(43)【公開日】2025-01-17
(54)【発明の名称】作業機械の表示装置、作業機械、及び作業機械の遠隔操作システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20250109BHJP
E02F 9/20 20060101ALI20250109BHJP
【ＦＩ】
E02F9/26 B
E02F9/20 M
E02F9/20 C
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023108227
(22)【出願日】2023-06-30
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】小野寺 将
【テーマコード（参考）】
2D003
2D015
【Ｆターム（参考）】
2D003AA01
2D003BA04
2D003BA06
2D003BA07
2D003DA04
2D003DB03
2D003DB04
2D003DB05
2D003DB08
2D003FA02
2D015GA03
2D015GB06
2D015GB07
2D015HA03
2D015HB00
(57)【要約】
【課題】安全性を向上させる。
【解決手段】実施形態の一態様に係る作業機械の表示装置は、当該作業機械に設けられた撮像装置で撮像された画像情報を取得すると共に、当該作業機械に設けられた複数の集音装置の各々が取得した音信号に関する情報を取得し、複数の集音装置の各々から取得した音信号に関する情報に基づいた作業機械の周辺の音の発生状況を、画像情報に重ねて表示部に表示するように構成されている制御部を備える。
【選択図】図６
【解決手段】実施形態の一態様に係る作業機械の表示装置は、当該作業機械に設けられた撮像装置で撮像された画像情報を取得すると共に、当該作業機械に設けられた複数の集音装置の各々が取得した音信号に関する情報を取得し、複数の集音装置の各々から取得した音信号に関する情報に基づいた作業機械の周辺の音の発生状況を、画像情報に重ねて表示部に表示するように構成されている制御部を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
当該作業機械に設けられた撮像装置で撮像された画像情報を取得すると共に、当該作業機械に設けられた複数の集音装置の各々が取得した音信号に関する情報を取得し、
前記複数の集音装置の各々から取得した前記音信号に関する情報に基づいた前記作業機械の周辺の音の発生状況を、前記画像情報に重ねて表示部に表示するように構成されている制御部を備える、
作業機械の表示装置。
前記複数の集音装置の各々から取得した前記音信号に関する情報に基づいた前記作業機械の周辺の音の発生状況を、前記画像情報に重ねて表示部に表示するように構成されている制御部を備える、
作業機械の表示装置。
【請求項2】
前記制御部は、前記音の発生状況として、前記画像情報に表された各領域に対応する方向から、取得した前記音の強弱を認識可能な表示態様で表示する、
請求項１に記載の作業機械の表示装置。
請求項１に記載の作業機械の表示装置。
【請求項3】
前記制御部は、前記複数の集音装置の各々から取得した前記音信号に、複数の音源が含まれている場合に、当該複数の音源を認識可能な表示態様で表示する、
請求項２に記載の作業機械の表示装置。
請求項２に記載の作業機械の表示装置。
【請求項4】
前記制御部は、前記画像情報で表されている領域外の方向から前記音信号を取得した場合に、前記画像情報で表されている領域外から前記音信号を取得した旨を表示する、
請求項１に記載の作業機械の表示装置。
請求項１に記載の作業機械の表示装置。
【請求項5】
前記制御部は、前記音信号に含まれる音声を文字に変換し、変換された文字を前記表示部に表示する、
請求項１に記載の作業機械の表示装置。
請求項１に記載の作業機械の表示装置。
【請求項6】
前記制御部は、前記複数の集音装置の各々から取得した前記音信号に対して、所定の条件に基づいたフィルタリングを行い、フィルタリングされた前記音信号を出力する、
請求項１に記載の作業機械の表示装置。
請求項１に記載の作業機械の表示装置。
【請求項7】
前記制御部は、所定の周波数成分を減衰させるか否かを定められているフィルタリングを行い、フィルタリングされた前記音信号を出力する、
請求項６に記載の作業機械の表示装置。
請求項６に記載の作業機械の表示装置。
【請求項8】
前記制御部は、前記作業機械の駆動源から発生する前記音信号を減衰させるフィルタリングを行う、
請求項７に記載の作業機械の表示装置。
請求項７に記載の作業機械の表示装置。
【請求項9】
前記制御部は、前記所定の条件として、操作装置から受け付けた操作に応じて、フィルタリングを行うか否かを切り替える、請求項６に記載の作業機械の表示装置。
【請求項10】
前記制御部は、フィルタリングされた前記音信号を、スピーカから出力する、
請求項６乃至９のいずれか一つに記載の作業機械の表示装置。
請求項６乃至９のいずれか一つに記載の作業機械の表示装置。
【請求項11】
撮像装置と、
複数の集音装置と、
前記撮像装置から画像情報を取得すると共に、前記複数の集音装置の各々から音信号を取得し、前記複数の集音装置の各々から取得した前記音信号に基づいた当該作業機械の周辺の音の発生状況を、前記画像情報に重ねて表示装置に出力する制御装置と、
を備える作業機械。
複数の集音装置と、
前記撮像装置から画像情報を取得すると共に、前記複数の集音装置の各々から音信号を取得し、前記複数の集音装置の各々から取得した前記音信号に基づいた当該作業機械の周辺の音の発生状況を、前記画像情報に重ねて表示装置に出力する制御装置と、
を備える作業機械。
【請求項12】
前記複数の集音装置は、前記撮像装置が撮像する撮像領域を含んだ範囲から発せられた音を取得可能に設けられている、
請求項１１に記載の作業機械。
請求項１１に記載の作業機械。
【請求項13】
作業機械と、前記作業機械を操作する情報処理装置と、を備えた遠隔操作システムにおいて、
前記作業機械に設けられた撮像装置から画像情報を取得すると共に、前記作業機械に設けられた複数の集音装置の各々から音信号を取得し、当該画像情報及び当該音信号に関する情報を送信する、前記作業機械と、
前記音信号に関する情報に基づいた前記作業機械の周辺の音の発生状況を、受信した前記画像情報に重ねて表示装置に表示する情報処理装置と、
を備える作業機械の遠隔操作システム。
前記作業機械に設けられた撮像装置から画像情報を取得すると共に、前記作業機械に設けられた複数の集音装置の各々から音信号を取得し、当該画像情報及び当該音信号に関する情報を送信する、前記作業機械と、
前記音信号に関する情報に基づいた前記作業機械の周辺の音の発生状況を、受信した前記画像情報に重ねて表示装置に表示する情報処理装置と、
を備える作業機械の遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の表示装置、作業機械、及び作業機械の遠隔操作システムに関する。
【背景技術】
【0002】
従来から、作業機械の操作を行う操作者に対して、作業機械が作業を行っている周辺環境の情報を適切に提供することが求められている。例えば、機械の外部の位置毎に危険度を算出し、危険度が高い位置からの音声を抽出し、出力する技術が提案されている（特許文献１参照）。これにより操作者は、瞬時的に危険回避を行うことを可能としている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１２－５８３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載されたシステムは、音の発生源を表示することは考慮されていない。つまり、作業機械の周辺を表した画像情報を表示する際に、当該周辺に存在する音源の位置が視覚的に認識できれば、安全性をより向上できると考えられる。
【0005】
上述に鑑み、作業機械周辺の音の発生状況を、撮像装置により撮像された画像情報に重ねて表示することで、安全性を向上させる。
【課題を解決するための手段】
【0006】
本発明の一態様に係る作業機械の表示装置は、当該作業機械に設けられた撮像装置で撮像された画像情報を取得すると共に、当該作業機械に設けられた複数の集音装置の各々が取得した音信号に関する情報を取得し、複数の集音装置の各々から取得した音信号に関する情報に基づいた作業機械の周辺の音の発生状況を、画像情報に重ねて表示部に表示するように構成されている制御部を備える。
【発明の効果】
【0007】
本発明の一態様によれば、作業機械の周辺の音の発生状況を認識できるので、安全性を向上させる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
【0010】
【0011】
＜遠隔操作システムを構成する機器＞
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、遠隔操作室ＲＣと、を含んでいる。
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、遠隔操作室ＲＣと、を含んでいる。
【0012】
ショベル１００、及び遠隔操作室ＲＣは、通信回線ＮＷを介してデータの送受信を可能に接続されている。
【0013】
ショベル１００の無線通信が可能とする。そして、ショベル１００は、通信回線ＮＷに接続された機器（例えば、遠隔操作室ＲＣ）との間でデータの送受信を可能とする。
【0014】
そして、ショベル１００は、作業現場に関する情報を、遠隔操作室ＲＣに送信できる。これにより、遠隔操作室ＲＣは、ショベル１００からの情報に応じて、作業現場を確認できる。なお、本実施形態は、作業現場の測定を行う装置を、ショベル１００に制限するものではなく、作業現場上を飛行するドローン、定点カメラ、又はユーザが所持可能な撮像装置など、他の態様の装置であってもよい。
【0015】
例えば、ショベル１００には撮像装置Ｓ６が設けられている。ショベル１００は、撮像装置Ｓ６による作業現場の撮像結果を示した撮像情報を、遠隔操作室ＲＣに送信する。
【0016】
遠隔操作システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムＳＹＳは、複数台のショベル１００を通じて、遠隔操作室ＲＣに作業現場に関する情報提供を行うことができる。
【0017】
＜遠隔操作室の構成例＞
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置４２、操作センサ４３、表示装置Ｄ１、及びスピーカＡ２を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置４２、操作センサ４３、表示装置Ｄ１、及びスピーカＡ２を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。
【0018】
通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１（図２参照）との間で通信を制御するように構成されている。
【0019】
遠隔コントローラ４０は、各種演算を実行する情報処理装置である。本実施形態では、遠隔コントローラ４０は、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。
【0020】
表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認するために、ショベル１００から送信された情報に基づいた画面を表示する。表示装置Ｄ１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、ショベル１００の周囲を含む作業現場の状況を確認できる。
【0021】
操作装置４２（操作部の一例）には、操作装置４２の操作内容を検出するための操作センサ４３が設置されている。操作センサ４３は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ４３は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ４３は、検出した操作装置４２の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ４３は、操作信号を生成するように構成されていてもよい。この場合、操作センサ４３は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。これにより、遠隔操作室ＲＣから、ショベル１００の遠隔操作を実現できる。
【0022】
スピーカＡ２は、遠隔操作室ＲＣにいる操作者ＯＰに対してショベル１００の周囲で発生した音を認識させるために、ショベル１００から送信された音情報を出力する。
【0023】
＜ショベルの構成例＞
次に、図２を参照して、本実施形態に係るショベル１００の概要について説明する。図２は、第１の実施形態に係る作業機械としてのショベル１００の側面図である。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
次に、図２を参照して、本実施形態に係るショベル１００の概要について説明する。図２は、第１の実施形態に係る作業機械としてのショベル１００の側面図である。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
【0024】
図２に示される例では、ショベル１００の進行方向（前後方向）を、Ｘ軸で示し、ショベル１００の幅方向をＹ軸で示し、ショベル１００の高さ方向をＺ軸で示す。
【0025】
ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケット６にはバケット角度センサＳ３が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。
【0026】
ブーム角度センサＳ１はブーム４の回動角度を検出する。本実施形態では、ブーム角度センサＳ１は加速度センサであり、上部旋回体３に対するブーム４の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム４を最も下げたときに最小角度となり、ブーム４を上げるにつれて大きくなる。
【0027】
アーム角度センサＳ２はアーム５の回動角度を検出する。本実施形態では、アーム角度センサＳ２は加速度センサであり、ブーム４に対するアーム５の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム５を最も閉じたときに最小角度となり、アーム５を開くにつれて大きくなる。
【0028】
バケット角度センサＳ３はバケット６の回動角度を検出する。本実施形態では、バケット角度センサＳ３は加速度センサであり、アーム５に対するバケット６の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット６を最も閉じたときに最小角度となり、バケット６を開くにつれて大きくなる。
【0029】
ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。
【0030】
上部旋回体３には、運転室としてのキャビン１０、エンジン１１、機体傾斜センサＳ４、旋回角速度センサＳ５、撮像装置Ｓ６、測位装置Ｓ７、マイクロフォンアレイＡ１、及び通信装置Ｔ１等が搭載されている。
【0031】
キャビン１０内には、ショベルコントローラ３０が設置される。また、キャビン１０内には、運転席及び操作装置等が設置されている。
【0032】
ショベルコントローラ３０は、各種演算を実行する演算装置である。ショベルコントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。ショベルコントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。
【0033】
エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。
【0034】
機体傾斜センサＳ４は、所定の平面に対する上部旋回体３の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサＳ４は、水平面に関する上部旋回体３の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体３の前後軸及び左右軸は、例えば、互いに直交してショベル１００の旋回軸上の一点であるショベル中心点を通る。
【0035】
旋回角速度センサＳ５は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ５は、ジャイロセンサである。旋回角速度センサＳ５は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサＳ５は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
【0036】
撮像装置Ｓ６はショベル１００の周辺の画像を取得するように構成されている。本実施形態では、撮像装置Ｓ６は、ショベル１００の前方の空間を撮像する前カメラＳ６Ｆ、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及びショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。
【0037】
撮像装置Ｓ６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラであり、撮像した画像を表示装置ＤＩに出力してもよい。
【0038】
前カメラＳ６Ｆは、例えば、キャビン１０の屋根に取り付けられている。左カメラＳ６Ｌは、上部旋回体３の上面左端に取り付けられている。右カメラＳ６Ｒは、上部旋回体３の上面右端に取り付けられている。後カメラＳ６Ｂは、上部旋回体３の上面後端に取り付けられている。
【0039】
本実施形態は、撮像装置Ｓ６を上述した配置に設けることで、ショベル１００の周辺に存在する物体を撮像できる。なお、撮像装置Ｓ６は、撮影対象までの距離を認識可能なカメラ（例えば、ＲＧＢＤカメラ又はステレオカメラ）を用いてもよい。
【0040】
測位装置Ｓ７は、ショベル１００の位置に関する情報を取得するように構成されている。本実施形態では、測位装置Ｓ７は、基準座標系におけるショベル１００の位置及び向きを測定するように構成されている。具体的には、測位装置Ｓ７は、電子コンパスを組み込んだＧＮＳＳ受信機であり、ショベル１００の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル１００の向きを測定する。本実施形態に係る基準座標系とは、例えば、世界測地系である。世界測地系は、地球の重心に原点をおき、Ｘ軸をグリニッジ子午線と赤道との交点の方向に、Ｙ軸を東経９０度の方向に、そして、Ｚ軸を北極の方向にとる三次元直交ＸＹＺ座標系である。
【0041】
通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。
【0042】
また、通信装置Ｔ１は、例えば、外部のＧＮＳＳ（Global Navigation Satellite System）測量システムとショベル１００との間の無線通信を制御する。
【0043】
マイクロフォンアレイＡ１は、複数のマイクロフォンを有し、ショベル１００の周囲で発生する音を集めるように構成されている。本実施形態では、マイクロフォンアレイＡ１は、上部旋回体３に取り付けられた複数のマイクロフォンである。
【0044】
図３は、本実施形態に係るマイクロフォンアレイＡ１に含まれるマイクロフォンの配置例を示した図である。図３に示されるように、キャビン１０の前側にマイクロフォンアレイＡ１が設けられている。具体的には、マイクロフォンアレイＡ１を構成するマイクロフォンが、Ｚ軸方向に３個、Ｙ軸方向に５個の配列として、合計１５個配置されている。マイクロフォンアレイＡ１を構成するマイクロフォンの間は距離ｌとする。なお、マイクロフォンの間の距離は、一例を示したもので、実施態様に応じて定められるものとする。
【0045】
マイクロフォンアレイＡ１を構成するマイクロフォンの各々は、例えば、正面を中心に―９０度～＋９０度の範囲内の所定の方向において集音可能とする。マイクロフォンアレイＡ１が音を取得可能な範囲は、少なくとも前カメラＳ６Ｆの撮像範囲内で発せられた音を取得可能に定められている。これにより、前カメラＳ６Ｆで撮像された画像情報を表示する際に、当該撮像範囲で発せられた音を認識可能に表示できる。なお、画像情報の表示態様については後述する。本実施形態はマイクロフォンアレイＡ１の集音可能な範囲は一例として示したものであって、少なくとも前カメラＳ６Ｆの撮像範囲が含まれていればよい。
【0046】
本実施形態においては、複数の集音装置の一例として、図３に示されるマイクロフォンアレイＡ１を用いた例について説明した。本実施形態は、複数の集音装置の一例を示したものであって、図３に示されるマイクロフォンアレイＡ１に制限するものではない。具体的には、マイクロフォンの数を、図３に示される１５個（３×５）に制限するものではない。例えば、マイクロフォンの幅方向（Ｙ軸方向）の数は５個以外でもよいし、高さ方向（Ｚ軸方向）の数は３個以外でもよい。また、マイクロフォンは、Ｙ軸方向及びＺ軸方向による２次元配列に制限するものではなく、例えば、Ｙ軸方向による１次元配列であってもよい。
【0047】
［ショベルの駆動制御系］
図４は、図２のショベル１００の駆動制御系の構成例を示す図である。図４において、機械的動力伝達系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は点線でそれぞれ示される。
図４は、図２のショベル１００の駆動制御系の構成例を示す図である。図４において、機械的動力伝達系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は点線でそれぞれ示される。
【0048】
本実施形態に係るショベル１００の駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブユニット１７を含む。また、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６のそれぞれを油圧駆動する走行油圧モータ１Ｌ，１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。
【0049】
エンジン１１は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体３の後部に搭載される。具体的には、エンジン１１は、後述するショベルコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。
【0050】
レギュレータ１３は、メインポンプ１４の吐出量を制御する。例えば、レギュレータ１３は、ショベルコントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（傾転角）を調節する。レギュレータ１３は、例えば、後述の如く、レギュレータ１３Ｌ，１３Ｒを含む。
【0051】
メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ラインを通じてコントロールバルブユニット１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、ショベルコントローラ３０による制御下で、レギュレータ１３により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。メインポンプ１４は、例えば、後述の如く、メインポンプ１４Ｌ，１４Ｒを含む。
【0052】
コントロールバルブユニット１７は、ショベル１００における油圧システムを制御する油圧制御装置である。本実施形態では、コントロールバルブユニット１７は、制御弁１７１～１７６を含む。制御弁１７５は制御弁１７５Ｌ及び制御弁１７５Ｒを含み、制御弁１７６は制御弁１７６Ｌ及び制御弁１７６Ｒを含む。コントロールバルブユニット１７は、制御弁１７１～１７６を通じ、メインポンプ１４が吐出する作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁１７１～１７６は、例えば、メインポンプ１４から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行油圧モータ１Ｌ、１Ｒ、及び旋回油圧モータ２Ａを含む。より具体的には、制御弁１７１は、左走行油圧モータ１Ｌに対応し、制御弁１７２は、右走行油圧モータ１Ｒに対応し、制御弁１７３は、旋回油圧モータ２Ａに対応する。また、制御弁１７４は、バケットシリンダ９に対応し、制御弁１７５は、ブームシリンダ７に対応し、制御弁１７６は、アームシリンダ８に対応する。また、制御弁１７５は、例えば、後述の如く、制御弁１７５Ｌ，１７５Ｒを含み、制御弁１７６は、例えば、後述の如く、制御弁１７６Ｌ，１７６Ｒを含む。制御弁１７１～１７６の詳細は、後述する。
【0053】
パイロットポンプ１５は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、作動油ラインを介して作動油をコントロールバルブユニット１７に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ１５は、省略されてもよい。
【0054】
操作装置２６は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。
【0055】
吐出圧センサ２８は、メインポンプ１４の吐出圧を検出するように構成されている。本実施形態では、吐出圧センサ２８は、検出した値をショベルコントローラ３０に対して出力する。吐出圧センサ２８は、例えば、後述の如く、吐出圧センサ２８Ｌ，２８Ｒを含む。
【0056】
操作センサ２９は、操作装置２６を用いた操作者の操作内容を検出するように構成されている。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をショベルコントローラ３０に対して出力する。本実施形態では、ショベルコントローラ３０は、操作センサ２９の出力に応じて比例弁３１の開口面積を制御する。そして、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力（パイロット圧）は、原則として、油圧アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量に応じた圧力である。このように、操作装置２６は、パイロットポンプ１５が吐出する作動油を、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給できるように構成されている。
【0057】
マシンコントロール用制御弁として機能する比例弁３１は、パイロットポンプ１５とコントロールバルブユニット１７内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、ショベルコントローラ３０が出力する制御指令に応じて動作する。そのため、ショベルコントローラ３０は、操作者による操作装置２６の操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブユニット１７内の制御弁のパイロットポートに供給できる。
【0058】
この構成により、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われていない場合であっても、その特定の操作装置２６に対応する油圧アクチュエータを動作させることができる。
【0059】
例えば、ショベルコントローラ３０は、操作者等の所定操作により予め設定される作業モード等に基づき、目標回転数を設定し、エンジン１１を一定回転させる駆動制御を行う。
【0060】
また、例えば、ショベルコントローラ３０は、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。
【0061】
また、例えば、ショベルコントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作をガイド（案内）するマシンガイダンス機能に関する制御を行う。また、ショベルコントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作を自動的に支援するマシンコントロール機能に関する制御を行う。
【0062】
なお、ショベルコントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、ショベルコントローラ３０の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ（制御装置）により実現されてもよい。
【0063】
［ショベルの油圧システム］
次に、図５を参照して、本実施形態に係るショベル１００の油圧システムについて説明する。
次に、図５を参照して、本実施形態に係るショベル１００の油圧システムについて説明する。
【0064】
図５は、本実施形態に係るショベル１００の油圧システムの構成の一例を概略的に示す図である。
【0065】
なお、図５において、機械的動力系、作動油ライン、パイロットライン、及び電気制御系は、それぞれ二重線、実線、破線、及び点線で示されている。
【0066】
当該油圧回路により実現される油圧システムは、エンジン１１により駆動されるメインポンプ１４Ｌ，１４Ｒのそれぞれから、センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒ、パラレル油路Ｃ２Ｌ，Ｃ２Ｒを経て作動油タンクまで作動油を循環させる。
【0067】
センタバイパス油路Ｃ１Ｌは、メインポンプ１４Ｌを起点として、コントロールバルブユニット１７内に配置される制御弁１７１，１７３，１７５Ｌ，１７６Ｌを順に通過し、作動油タンクに至る。
【0068】
センタバイパス油路Ｃ１Ｒは、メインポンプ１４Ｒを起点として、コントロールバルブユニット１７内に配置される制御弁１７２，１７４，１７５Ｒ，１７６Ｒを順に通過し、作動油タンクに至る。
【0069】
制御弁１７１は、メインポンプ１４Ｌから吐出される作動油を走行油圧モータ１Ｌへ供給し、且つ、走行油圧モータ１Ｌが吐出する作動油を作動油タンクに排出させるスプール弁である。
【0070】
制御弁１７２は、メインポンプ１４Ｒから吐出される作動油を走行油圧モータ１Ｒへ供給し、且つ、走行油圧モータ１Ｒが吐出する作動油を作動油タンクへ排出させるスプール弁である。
【0071】
制御弁１７３は、メインポンプ１４Ｌから吐出される作動油を旋回油圧モータ２Ａへ供給し、且つ、旋回油圧モータ２Ａが吐出する作動油を作動油タンクへ排出させるスプール弁である。
【0072】
制御弁１７４は、メインポンプ１４Ｒから吐出される作動油をバケットシリンダ９へ供給し、且つ、バケットシリンダ９内の作動油を作動油タンクへ排出させるスプール弁である。
【0073】
制御弁１７５Ｌ，１７５Ｒは、それぞれ、メインポンプ１４Ｌ，１４Ｒが吐出する作動油をブームシリンダ７へ供給し、且つ、ブームシリンダ７内の作動油を作動油タンクへ排出させるスプール弁である。
【0074】
制御弁１７６Ｌ，１７６Ｒは、メインポンプ１４Ｌ，１４Ｒが吐出する作動油をアームシリンダ８へ供給し、且つ、アームシリンダ８内の作動油を作動油タンクへ排出させる。
【0075】
制御弁１７１，１７２，１７３，１７４，１７５Ｌ，１７５Ｒ，１７６Ｌ，１７６Ｒは、それぞれ、パイロットポートに作用するパイロット圧に応じて、油圧アクチュエータに給排される作動油の流量を調整したり、流れる方向を切り換えたりする。
【0076】
パラレル油路Ｃ２Ｌは、センタバイパス油路Ｃ１Ｌと並列的に、制御弁１７１，１７３，１７５Ｌ，１７６Ｌにメインポンプ１４Ｌの作動油を供給する。具体的には、パラレル油路Ｃ２Ｌは、制御弁１７１の上流側でセンタバイパス油路Ｃ１Ｌから分岐し、制御弁１７１，１７３，１７５Ｌ，１７６Ｒのそれぞれに並列してメインポンプ１４Ｌの作動油を供給可能に構成される。これにより、パラレル油路Ｃ２Ｌは、制御弁１７１，１７３，１７５Ｌの何れかによってセンタバイパス油路Ｃ１Ｌを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
【0077】
パラレル油路Ｃ２Ｒは、センタバイパス油路Ｃ１Ｒと並列的に、制御弁１７２，１７４，１７５Ｒ，１７６Ｒにメインポンプ１４Ｒの作動油を供給する。具体的には、パラレル油路Ｃ２Ｒは、制御弁１７２の上流側でセンタバイパス油路Ｃ１Ｒから分岐し、制御弁１７２，１７４，１７５Ｒ，１７６Ｒのそれぞれに並列してメインポンプ１４Ｒの作動油を供給可能に構成される。パラレル油路Ｃ２Ｒは、制御弁１７２，１７４，１７５Ｒの何れかによってセンタバイパス油路Ｃ１Ｒを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
【0078】
レギュレータ１３Ｌ，１３Ｒは、それぞれ、ショベルコントローラ３０による制御下で、メインポンプ１４Ｌ，１４Ｒの斜板の傾転角を調節することによって、メインポンプ１４Ｌ，１４Ｒの吐出量を調節する。
【0079】
吐出圧センサ２８Ｌは、メインポンプ１４Ｌの吐出圧を検出し、検出された吐出圧に対応する検出信号は、ショベルコントローラ３０に取り込まれる。吐出圧センサ２８Ｒについても同様である。これにより、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御することができる。
【0080】
センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒには、最も下流にある制御弁１７６Ｌ，１７６Ｒのそれぞれと作動油タンクとの間には、ネガティブコントロール絞り（以下、「ネガコン絞り」）１８Ｌ，１８Ｒが設けられる。これにより、メインポンプ１４Ｌ，１４Ｒにより吐出された作動油の流れは、ネガコン絞り１８Ｌ，１８Ｒで制限される。そして、ネガコン絞り１８Ｌ，１８Ｒは、レギュレータ１３Ｌ，１３Ｒを制御するための制御圧（以下、「ネガコン圧」）を発生させる。
【0081】
ネガコン圧センサ１９Ｌ，１９Ｒは、ネガコン圧を検出し、検出されたネガコン圧に対応する検出信号は、ショベルコントローラ３０に取り込まれる。
【0082】
ショベルコントローラ３０は、吐出圧センサ２８Ｌ，２８Ｒにより検出されるメインポンプ１４Ｌ，１４Ｒの吐出圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御し、メインポンプ１４Ｌ，１４Ｒの吐出量を調節してよい。例えば、ショベルコントローラ３０は、メインポンプ１４Ｌの吐出圧の増大に応じて、レギュレータ１３Ｌを制御し、メインポンプ１４Ｌの斜板傾転角を調節することにより、吐出量を減少させてよい。レギュレータ１３Ｒについても同様である。これにより、ショベルコントローラ３０は、吐出圧と吐出量との積で表されるメインポンプ１４Ｌ，１４Ｒの吸収馬力がエンジン１１の出力馬力を超えないように、メインポンプ１４Ｌ，１４Ｒの全馬力制御を行うことができる。
【0083】
また、ショベルコントローラ３０は、ネガコン圧センサ１９Ｌ，１９Ｒにより検出されるネガコン圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御することにより、メインポンプ１４Ｌ，１４Ｒの吐出量を調節してよい。例えば、ショベルコントローラ３０は、ネガコン圧が大きいほどメインポンプ１４Ｌ，１４Ｒの吐出量を減少させ、ネガコン圧が小さいほどメインポンプ１４Ｌ，１４Ｒの吐出量を増大させる。
【0084】
具体的には、ショベル１００における油圧アクチュエータが何れも操作されていない待機状態（図５に示す状態）の場合、メインポンプ１４Ｌ，１４Ｒから吐出される作動油は、センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒを通ってネガコン絞り１８Ｌ，１８Ｒに至る。そして、メインポンプ１４Ｌ，１４Ｒから吐出される作動油の流れは、ネガコン絞り１８Ｌ，１８Ｒの上流で発生するネガコン圧を増大させる。その結果、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出量を許容最小吐出量まで減少させ、吐出した作動油がセンタバイパス油路Ｃ１Ｌ，Ｃ１Ｒを通過する際の圧力損失（ポンピングロス）を抑制する。
【0085】
一方、何れかの油圧アクチュエータが操作装置２６を通じて操作された場合、メインポンプ１４Ｌ，１４Ｒから吐出される作動油は、操作対象の油圧アクチュエータに対応する制御弁を介して、操作対象の油圧アクチュエータに流れ込む。そして、メインポンプ１４Ｌ，１４Ｒから吐出される作動油の流れは、ネガコン絞り１８Ｌ，１８Ｒに至る量を減少或いは消失させ、ネガコン絞り１８Ｌ，１８Ｒの上流で発生するネガコン圧を低下させる。その結果、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出量を増大させ、操作対象の油圧アクチュエータに十分な作動油を循環させ、操作対象の油圧アクチュエータを確実に駆動させることができる。
【0086】
操作装置２６は、左操作レバー２６Ｌ、右操作レバー２６Ｒ及び走行レバー２６Ｄを含む。走行レバー２６Ｄは、左走行レバー２６ＤＬ及び右走行レバー２６ＤＲを含む。
【0087】
左操作レバー２６Ｌ、及び右操作レバー２６Ｒは、前後方向及び左右方向のうちいずれか一つ以上に対する操作を受け付ける。
【0088】
左操作レバー２６Ｌは、旋回操作とアーム５の操作に用いられる。左操作レバー２６Ｌが、前後方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７６Ｌ、１７６Ｒのパイロットポートに導入させる。また、左操作レバー２６Ｌが、左右方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７３のパイロットポートに導入させる。
【0089】
具体的には、左操作レバー２６Ｌは、アーム閉じ方向に操作された場合に、ショベルコントローラ３０が、制御弁１７６Ｌの右側パイロットポートに作動油を導入させ、且つ、制御弁１７６Ｒの左側パイロットポートに作動油を導入させる。また、左操作レバー２６Ｌは、アーム開き方向に操作された場合には、ショベルコントローラ３０が、制御弁１７６Ｌの左側パイロットポートに作動油を導入させ、且つ、制御弁１７６Ｒの右側パイロットポートに作動油を導入させる。また、左操作レバー２６Ｌは、左旋回方向に操作された場合に、ショベルコントローラ３０が、制御弁１７３の左側パイロットポートに作動油を導入させ、右旋回方向に操作された場合に、ショベルコントローラ３０が、制御弁１７３の右側パイロットポートに作動油を導入させる。ショベルコントローラ３０が当該制御を行うためには、操作センサ２９ＬＡ、２９ＬＢからの出力を用いる。
【0090】
右操作レバー２６Ｒは、ブーム４の操作とバケット６の操作に用いられる。右操作レバー２６Ｒは、前後方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７５のパイロットポートに導入させる。また、左右方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７４のパイロットポートに導入させる。
【0091】
具体的には、右操作レバー２６Ｒは、ブーム下げ方向に操作された場合に、ショベルコントローラ３０が、制御弁１７５Ｒの左側パイロットポートに作動油を導入させる。また、右操作レバー２６Ｒは、ブーム上げ方向に操作された場合には、ショベルコントローラ３０が、制御弁１７５Ｌの右側パイロットポートに作動油を導入させ、且つ、制御弁１７５Ｒの左側パイロットポートに作動油を導入させる。また、右操作レバー２６Ｒは、バケット閉じ方向に操作された場合に、ショベルコントローラ３０が、制御弁１７４の右側パイロットポートに作動油を導入させ、バケット開き方向に操作された場合に、ショベルコントローラ３０が、制御弁１７４の左側パイロットポートに作動油を導入させる。ショベルコントローラ３０が当該制御を行うためには、操作センサ２９ＲＡ、２９ＲＢからの出力を用いる。
【0092】
左走行レバー２６ＤＬは、左クローラ１ＣＬの操作に用いられる。左走行ペダルと連動するように構成されていてもよい。左走行レバー２６ＤＬは、前後方向に操作されると、ショベルコントローラ３０が、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７１のパイロットポートに導入させる。右走行レバー２６ＤＲは、右クローラ１ＣＲの操作に用いられる。右走行ペダルと連動するように構成されていてもよい。右走行レバー２６ＤＲは、前後方向に操作されると、ショベルコントローラ３０が、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７２のパイロットポートに導入させる。ショベルコントローラ３０が当該制御を行うためには、後述する操作センサ２９ＤＬ、２９ＤＲからの出力を用いる。
【0093】
操作センサ２９は、操作者による操作装置２６の操作の内容を検出できるように構成されている。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0094】
操作センサ２９は、操作センサ２９ＬＡ、２９ＬＢ、２９ＲＡ、２９ＲＢ、２９ＤＬ、２９ＤＲを含む。操作センサ２９ＬＡは、操作者による左操作レバー２６Ｌに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作の内容は、例えば、レバー操作方向、レバー操作量（レバー操作角度）等である。
【0095】
同様に、操作センサ２９ＬＢは、操作者による左操作レバー２６Ｌに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＲＡは、操作者による右操作レバー２６Ｒに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＲＢは、操作者による右操作レバー２６Ｒに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0096】
操作センサ２９ＤＬは、操作者による左走行レバー２６ＤＬに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＤＲは、操作者による右走行レバー２６ＤＲに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0097】
ショベルコントローラ３０は、操作センサ２９の出力を受信し、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。また、ショベルコントローラ３０は、絞り１８の上流に設けられた制御圧センサ１９の出力を受信し、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。絞り１８は左絞り１８Ｌ及び右絞り１８Ｒを含み、制御圧センサ１９はネガコン圧センサ１９Ｌ、１９Ｒを含む。
【0098】
＜遠隔操作システムのブロック構成＞
図６は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図６に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、及び、ショベル１００の各々のブロック構成を示している。なお、ショベル１００のハードウェア構成については上述した通りなので、説明を省略する。
図６は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図６に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、及び、ショベル１００の各々のブロック構成を示している。なお、ショベル１００のハードウェア構成については上述した通りなので、説明を省略する。
【0099】
＜遠隔操作室ＲＣの構成＞
遠隔操作室ＲＣは、遠隔コントローラ４０と、通信装置Ｔ２と、スピーカＡ２と、操作センサ４３と、表示装置Ｄ１と、を含む。スピーカＡ２、通信装置Ｔ２、及び操作センサ４３は、上述したので説明を省略する。
遠隔操作室ＲＣは、遠隔コントローラ４０と、通信装置Ｔ２と、スピーカＡ２と、操作センサ４３と、表示装置Ｄ１と、を含む。スピーカＡ２、通信装置Ｔ２、及び操作センサ４３は、上述したので説明を省略する。
【0100】
次に、遠隔操作室ＲＣについて説明する。図７は、遠隔操作室ＲＣの配置例を示す図である。遠隔操作室ＲＣには、操作席ＤＳを基準に、複数の操作装置４２が設けられている。
【0101】
本実施形態では、表示装置Ｄ１は、図７に示すように、縦３段、横３列の９つのモニタで構成されるマルチディスプレイである。具体的には、表示装置Ｄ１は、中央モニタＤ１ａ、上モニタＤ１ｂ、下モニタＤ１ｃ、左モニタＤ１ｄ、右モニタＤ１ｅ、左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉを含む。
【0102】
本実施形態では、表示装置Ｄ１の上方にスピーカＡ２が設けられている。スピーカＡ２は、例えば、ショベル１００のマイクロフォンアレイＡ１で集音された音を出力するために設けられている。
【0103】
＜＜ショベルの機能ブロック＞＞
図６に戻り、ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。ショベルコントローラ３０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。ショベルコントローラ３０は、プログラムを実現することで、取得部３０１と、ショベル状態特定部３０２と、マップ生成部３０３と、送信制御部３０４と、受信制御部３０５と、アクチュエータ駆動部３０６と、を備える。
図６に戻り、ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。ショベルコントローラ３０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。ショベルコントローラ３０は、プログラムを実現することで、取得部３０１と、ショベル状態特定部３０２と、マップ生成部３０３と、送信制御部３０４と、受信制御部３０５と、アクチュエータ駆動部３０６と、を備える。
【0104】
【0105】
作業員８０１は、ショベル１００に対して話しかけている。トラック８０２は、動作中のため、エンジン音がショベル１００まで響いている。
【0106】
ショベル１００の前カメラＳ６Ｆの撮像領域には、作業員８０１と、トラック８０２とが含まれている。
【0107】
さらに、マイクロフォンアレイＡ１が、作業員８０１の発話と、トラック８０２のエンジン音と、を集音する。
【0108】
そして、ショベルコントローラ３０は、ショベル１００のマイクロフォンアレイＡ１により集音された音を示した音信号を、通信装置Ｔ１を介して、遠隔操作室ＲＣの通信装置Ｔ２に送信する。さらに、ショベル１００は、マイクロフォンアレイＡ１が取得した音信号に基づいて、ショベル１００の周辺の音の発生状況を示した情報（後述する音のヒートマップに相当）を生成し、生成した情報を、通信装置Ｔ１から、遠隔操作室ＲＣの通信装置Ｔ２に送信する。当該情報の送信を実現するためのショベル１００の具体的な構成について説明する。
【0109】
図６に戻り、取得部３０１は、ショベル１００に設けられた各種検出装置からの信号を取得する。例えば、取得部３０１は、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３）の検出結果を取得する。また、取得部３０１は、測位装置Ｓ７から、ショベル１００の位置及び向き等の測定結果を取得する。また、取得部３０１は、撮像装置Ｓ６からの画像情報を取得する。また、取得部３０１は、マイクロフォンアレイＡ１から、マイクロフォンアレイＡ１を構成するマイクロフォンの各々が集音した音信号を取得する。
【0110】
ショベル状態特定部３０２は、取得部３０１が取得した信号に基づいて、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向き、及びショベル１００のアタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）を含む。ショベル１００の位置は、例えば、ショベル１００の基準座標系における位置（ショベル１００基準点の緯度、経度、及び高度）である。ショベル状態特定部３０２は、測位装置Ｓ７の出力に基づいてショベル１００の位置及び向きを特定する。
【0111】
アタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）は、角度センサ（ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３）の検出結果、及びブーム４、アーム５及びバケット６の各々のサイズから特定できる。
【0112】
マップ生成部３０３は、マイクロフォンアレイＡ１を構成するマイクロフォンの各々が集音した音信号に基づいて、ショベル１００周囲の音の強弱を表した、音のヒートマップを生成する。
【0113】
本実施形態に係る音のヒートマップは、ショベル１００の高さ方向（Ｚ軸方向）及びショベル１００の幅方向（Ｙ軸方向）における２次元マップであって、マイクロフォンアレイＡ１が集音可能な範囲において、集音方向毎に、集音された音の強弱を表したマップとする。音の強弱とは、音信号における振幅の大きさを表している。
【0114】
図９は、本実施形態に係るマップ生成部３０３における、マイクロフォンアレイＡ１の音信号による音のヒートマップの生成を示した概念図である。図９で示される例では、説明を容易にするために、マイクロフォンアレイＡ１が、マイクロフォンＡ１ａ～Ａ１ｅで構成されている例について説明する。
【0115】
図９に示されるように、マイクロフォンアレイＡ１のマイクロフォンＡ１ａ～Ａ１ｅは、集音可能な範囲において、集音方向毎に集音した音信号を、ショベルコントローラ３０に出力する。そしてショベルコントローラ３０の取得部３０１が取得した音信号を、マップ生成部３０３に出力する。
【0116】
マップ生成部３０３は、マイクロフォンＡ１ａ～Ａ１ｅの各々が集音した音信号に対して、集音方向に応じた遅延器を設定する。
【0117】
図９に示される例では、正面から幅方向（Ｙ軸方向）に角度θだけ傾いた方向からの集音した音信号の強弱を認識するために、マップ生成部３０３は、マイクロフォンＡ１ａに対応する遅延器３０３ａを割り当て、マイクロフォンＡ１ｂに対応する遅延器３０３ｂを割り当て、マイクロフォンＡ１ｃに対応する遅延器３０３ｃを割り当て、マイクロフォンＡ１ｄに対応する遅延器３０３ｄを割り当てる。遅延器３０３ａ～３０３ｄは、集音方向を示す角度θに応じて定められる。
【0118】
例えば、遅延器３０３ａは、マイクロフォンＡ１ａから入力された音信号に対する、"ｅ-t4・s"を用いた演算で、時間ｔ４の遅れを考慮した音信号を生成する。ｓは、ラプラス演算子とする。時間ｔ４は、集音方向が幅方向に角度θだけ傾いている場合の、マイクロフォンＡ１ａが集音してからマイクロフォンＡ１ｅが集音するまでの遅延時間を示している。具体的には、時間ｔ４は、式"ｔ４＝４・ｌ・ｓｉｎθ／ｖ"から算出できる。距離ｌは、マイクロフォンの間の距離であり、音速ｖと定義する。遅延器３０３ａ～遅延器３０３ｄで行われる具体的な演算は、周知の手法を用いればよいので説明を省略する。なお、音速ｖは、固定値でもよいし、検出された気温等に基づいて算出してもよい。なお、本実施形態は、遅延器３０３ａ～遅延器３０３ｄの一例を示したものであって、音信号の遅れを考慮した回路であれば、周知の回路を用いてよい。
【0119】
遅延器３０３ｂは、マイクロフォンＡ１ｂから入力された音信号に対する、"ｅ-t3・s"を用いた演算で、時間ｔ３の遅れを考慮した音信号を生成する。時間ｔ３は、集音方向が幅方向に角度θだけ傾いている場合の、マイクロフォンＡ１ｂが集音してからマイクロフォンＡ１ｅが集音するまでの遅延時間を示している。具体的には、時間ｔ３は、式"ｔ３＝３・ｌ・ｓｉｎθ／ｖ"から算出できる。
【0120】
遅延器３０３ｃは、マイクロフォンＡ１ｃから入力された音信号に対する、"ｅ-t2・s"を用いた演算で、時間ｔ２の遅れを考慮した音信号を生成する。時間ｔ２は、集音方向が幅方向に角度θだけ傾いている場合の、マイクロフォンＡ１ｃが集音してからマイクロフォンＡ１ｅが集音するまでの遅延時間を示している。具体的には、時間ｔ２は、式"ｔ２＝２・ｌ・ｓｉｎθ／ｖ"から算出できる。
【0121】
遅延器３０３ｄは、マイクロフォンＡ１ｄから入力された音信号に対する、"ｅ-t1・s"を用いた演算で、時間ｔ１の遅れを考慮した音信号を生成する。時間ｔ１は、集音方向が幅方向に角度θだけ傾いている場合の、マイクロフォンＡ１ｄが集音してからマイクロフォンＡ１ｅが集音するまでの遅延時間を示している。具体的には、時間ｔ１は、式"ｔ１＝ｌ・ｓｉｎθ／ｖ"から算出できる。
【0122】
演算器３０３ｆは、遅延器３０３ａ～遅延器３０３ｄから出力された値と、マイクロフォンＡ１ｅから出力された音信号と、に基づいて、マイクロフォンＡ１ａ～Ａ１ｅの各々が集音した音信号のうち、角度θだけ傾いた方向からの音が強調された音信号を生成する。
【0123】
マップ生成部３０３は、演算器３０３ｆにより生成された音信号の振幅に基づいて、音のヒートマップ３０３ｇを生成する。具体的には、ヒートマップ３０３ｇには、集音方向毎に、対応する領域（例えば画素）が予め定められている。そして、マップ生成部３０３は、ヒートマップ３０３ｇの領域（例えば画素）に対して、当該領域に対応する当該集音方向の音が強調された音信号の振幅に応じた、色を割り当てる。例えば、マップ生成部３０３は、振幅が大きいほど赤（または黒）になり、パラメータが小さいほど白になるように色を割り当てる。
【0124】
マップ生成部３０３は、マイクロフォンアレイＡ１の集音可能な範囲において、集音方向毎に、当該方向の音が強調された音信号を生成し、当該音信号の振幅に応じた色を割り当てることで、音のヒートマップ３０３ｇを生成する。
【0125】
なお、図９で示される例では、説明を容易にするために、Ｙ軸方向に角度θだけ傾いた例について説明するが、集音する方向はＹ軸方向及びＺ軸方向の組み合わせた方向となる。当該組み合わせ方向についても上述した処理で、音の強弱を認識できるので説明を省略する。
【0126】
送信制御部３０４は、通信装置Ｔ１を介して、取得部３０１の取得結果に基づいた様々な情報を、遠隔操作室ＲＣに送信するための制御を行う。例えば、送信制御部３０４は、撮像装置Ｓ６が撮像した画像情報、ショベル１００の位置及び向きを示した位置情報、アタッチメントの状態を示す状態情報、マイクロフォンアレイＡ１が集音した音信号、並びに、音のヒートマップを、遠隔操作室ＲＣに送信する制御を行う。送信制御部３０４による送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、ショベル１００の作業によって変化した状況を認識できる時間間隔とする。例えば、送信制御部３０４は、上記の情報を、１秒間隔で送信してもよい。
【0127】
受信制御部３０５は、通信装置Ｔ１を介して、様々な情報を、遠隔操作室ＲＣから受信するための制御を行う。例えば、受信制御部３０５は、遠隔操作室ＲＣから、ショベル１００の動作を制御するための操作信号を受信する。
【0128】
アクチュエータ駆動部３０６は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３０６は、遠隔操作室ＲＣから送信されてくる操作信号に基づき、比例弁３１に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。
【0129】
作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
【0130】
＜＜遠隔操作室の機能ブロック＞＞
遠隔操作室ＲＣの遠隔コントローラ（制御部の一例）４０内の各機能ブロックについて説明する。遠隔コントローラ４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。遠隔コントローラ４０は、プログラムを実現することで、受信制御部４０１と、表示画面生成部４０２と、出力制御部４０３と、信号生成部４０４と、送信制御部４０５と、を備える。
遠隔操作室ＲＣの遠隔コントローラ（制御部の一例）４０内の各機能ブロックについて説明する。遠隔コントローラ４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。遠隔コントローラ４０は、プログラムを実現することで、受信制御部４０１と、表示画面生成部４０２と、出力制御部４０３と、信号生成部４０４と、送信制御部４０５と、を備える。
【0131】
本実施形態は、遠隔操作室ＲＣの遠隔コントローラ４０が、表示装置（表示部の一例）Ｄ１の制御部である場合について説明する。つまり、遠隔操作室ＲＣにある構成が、ショベル１００の遠隔操作を支援するための表示装置として機能する。
【0132】
受信制御部４０１は、通信装置Ｔ２を介して、様々な情報を、ショベル１００から受信するための制御を行う。
【0133】
他の例としては、受信制御部４０１は、ショベル１００から、撮像装置Ｓ６で撮像された画像情報、位置情報、状態情報、マイクロフォンアレイＡ１が取得した音信号、及び音のヒートマップ（音に関する情報の一例）を受信（取得）する。画像情報は、撮像装置Ｓ６により撮像された情報とする。位置情報は、測位装置Ｓ７により測定された基準座標系におけるショベル１００の位置及び向きを示した情報とする。状態情報は、アタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）を示した情報とする。音のヒートマップは、マップ生成部３０３により生成されたショベル１００周囲の音の強弱を示したマップ情報とする。
【0134】
表示画面生成部４０２は、ショベル１００の周辺の音の発生状況を表した音のヒートマップを、画像情報に重ねて表示画像を生成する。具体的には、表示画面生成部４０２は、画像情報に表されている位置と、ヒートマップの集音方向と、が対応するように重ねるようにして、表示画像を生成する。
【0135】
出力制御部４０３は、マイクロフォンアレイＡ１の音信号を、スピーカＡ２から出力する。複数のマイクロフォンによる音信号を、スピーカＡ２から出力する手法は、周知の手法を問わず、あらゆる手法を用いてよい。
【0136】
また、出力制御部４０３は、表示画面生成部４０２により生成された表示画像を、表示装置Ｄ１に出力する。
【0137】
信号生成部４０４は、操作センサ４３が受け付けた操作に従って、ショベル１００の動作を制御するための操作信号を生成する。送信制御部４０５は、生成した操作信号を、ショベル１００に送信する。
【0138】
図１０は、本実施形態に係る表示装置Ｄ１に表示される表示画面の一例を示した図である。図１０に示される例では、前カメラＳ６Ｆによって撮影された画像情報に表されている、作業員８０１と、トラック８０２とが表示されている。さらに、音のヒートマップで表されていた音検知領域１００１、１００２が画像情報に重ねて表示されている。音検知領域１００１、１００２は、半透明（透過率は任意とする）で表示される。
【0139】
音検知領域１００１は、音のヒートマップに基づいて表示された領域である。音検知領域１００１は、濃い赤の領域１００１ａと、赤色の領域１００１ｂと、オレンジ色の領域１００１ｃと、黄色の領域１００１ｄと、薄黄色の領域１００１ｅと、を含んでいる。音検知領域１００１では、領域１００１ａから領域１００１ｅに変化するに従って音が小さくなっていることを示している。換言すれば、領域１００１ａが音源の近傍であって、作業員８０１が声を出していることを示している。
【0140】
同様に、音検知領域１００２は、赤色の領域１００２ａと、オレンジ色の領域１００２ｂと、黄色の領域１００２ｃと、薄黄色の領域１００２ｄと、を含んでいる。音検知領域１００２も同様に、領域１００２ａから領域１００２ｄに変化するに従って音が小さくなっていることを示している。換言すれば、領域１００２ａが音源の近傍であって、トラック８０２のエンジンが動作していることを示している。
【0141】
図１０に示される画面のように、本実施形態では、出力制御部４０３が、ショベル１００周囲の音の発生状況として、画面に表わされる各領域に対応する方向から取得した音の強弱を認識可能な表示態様で表示する。なお、本実施形態では、音の強弱を色として表した例を示したが、音の強弱を色として表した例に制限するものではなく、他の態様であってもよい。例えば、網掛けでもよいし、輝度等を変更してもよい。本実施形態では、音の強弱を認識可能に表示画面を表示することで、操作者が音の発生源を把握できる。つまり、操作者は、スピーカＡ２で音を聞いた際に、当該音の発生源を認識できるので、現在の状況を把握できる。そして、操作者は、現在の状況に応じた操作が可能になる。したがって、安全性の向上を実現できる。
【0142】
本実施形態に係る表示画面を生成するために用いられた音のヒートマップは、マイクロフォンアレイＡ１が集音可能な範囲に含まれる方向毎に取得した音の強弱を、色として示している。これにより、マイクロフォンアレイＡ１が複数の発生源から音を集音した場合には、出力制御部４０３が出力する表示画像では、複数の音の発生源が、複数の音検知領域として表される。つまり、出力制御部４０３は、マイクロフォンアレイＡ１が取得した音信号に、音の発生源が複数含まれている場合に、当該複数の音の発生源の各々を、認識可能な表示態様で表示できる。これにより、操作者は、複数の音の発生源を認識した上で、操作ができるので、安全性の向上を実現できる。
【0143】
また、前カメラＳ６Ｆによる撮像領域と、マイクロフォンアレイＡ１が集音可能な範囲と、が異なる場合がある。この場合、前カメラＳ６Ｆによる撮像領域には表されていない音の発生源からの音信号を、マイクロフォンアレイＡ１が取得することもある。この場合、表示画面生成部４０２は、画像情報に発生源が表れていなくとも、音検知領域を画像情報に重ねて表示画像を生成してもよい。
【0144】
図１１は、本実施形態に係る表示装置Ｄ１に表示される表示画面の一例を示した図である。図１１に示される例では、前カメラＳ６Ｆによって撮影された画像情報に音の発生源は写っていないが、音の発生源が右側に存在することを表した音検知領域１１０１が画像情報に重ねて表示されている。
【0145】
音検知領域１１０１は、音のヒートマップに基づいて表示された領域である。音検知領域１１０１は、オレンジ色の領域１１０１ａと、黄色の領域１１０１ｂと、薄黄色の領域１１０１ｃと、を含んでいる。そして、操作者は、スピーカＡ２から音が出力された際に、音検知領域１１０１を認識することで、音の発信源が右側にあることを認識できる。
【0146】
図１１に示される音検知領域１１０１は、表示態様の一例を示したものであって、当該表示態様に制限するものではない。つまり、画像情報で表されている領域外の方向から音信号を取得したことを認識可能な表示態様であればよい。
【0147】
このように、本実施形態に係る出力制御部４０３は、前カメラＳ６Ｆによって撮影された画像情報で表されている領域外の方向から音信号を取得した場合に、画像情報で表されている領域外から音信号を取得したことを表示装置Ｄ１に表示する。これにより、操作者は、表示装置Ｄ１に写っていなくとも、音の発生源が存在する方向を推定できる。操作者は、音の発生源が存在する方向を推定した上で、作業ができるので、安全性を向上させることができる。
【0148】
本実施形態では、音のヒートマップ（音に関する情報の一例）の生成を、ショベルコントローラ３０が行う例について説明した。しかしながら、音のヒートマップ（音に関する情報の一例）の生成を、ショベルコントローラ３０側で行う態様に制限するものではなく、例えば、遠隔コントローラ４０側で行ってもよい。
【0149】
（第１の実施形態の変形例１）
上述した実施形態では、画像情報に、音の強弱を示した音検知領域を重ねて表示する例について説明した。しかしながら、上述した実施形態の表示態様に制限するものではない。例えば、発話された内容を文字情報として表示してもよい。
上述した実施形態では、画像情報に、音の強弱を示した音検知領域を重ねて表示する例について説明した。しかしながら、上述した実施形態の表示態様に制限するものではない。例えば、発話された内容を文字情報として表示してもよい。
【0150】
遠隔コントローラ４０の表示画面生成部４０２は、受信制御部４０１が受信した音信号に含まれる音声を抽出し、当該音声を文字情報に変換する。当該音声を文字に変換する音声認識の手法は、周知の手法を用いてよい。
【0151】
そして、表示画面生成部４０２は、変換された文字情報を、音検知領域と共に、画像情報に重ねて、表示画面を生成する。
【0152】
そして、出力制御部４０３は、文字情報が重ねられた表示画面を表示する。図１２は、本実施形態に係る表示装置Ｄ１に表示される表示画面の一例を示した図である。図１２に示される例では、前カメラＳ６Ｆによって撮影された画像情報に、音検知領域１００１、１００２と共に、文字列情報１２０１が重ねて表示される。
【0153】
文字列情報１２０１で示される音声は、スピーカＡ２から出力されるが、本変形例では、文字列情報１２０１としても表されている。これにより、操作者は、スピーカＡ２から出力された音声を聞き逃した場合又は聞こえなかった場合でも、発話された内容を認識できるので、当該発話された内容を考慮してショベル１００の操作を行うことができる。これにより、安全性の向上を図ることができる。
【0154】
（第１の実施形態の変形例２）
上述した実施形態では、マイクロフォンアレイＡ１を構成するマイクロフォンが集音した音信号の遅延和に基づいて、特定方向から取得した音信号を合成することで、当該特定方向の音の強弱を認識し、当該認識結果を音のヒートマップとして生成する例について説明した。しかしながら、音の発生状況を認識する手法を上述した実施形態の手法に制限するものではない。
上述した実施形態では、マイクロフォンアレイＡ１を構成するマイクロフォンが集音した音信号の遅延和に基づいて、特定方向から取得した音信号を合成することで、当該特定方向の音の強弱を認識し、当該認識結果を音のヒートマップとして生成する例について説明した。しかしながら、音の発生状況を認識する手法を上述した実施形態の手法に制限するものではない。
【0155】
例えば、マイクロフォンアレイＡ１を構成するマイクロフォンが集音した音信号は、発生源が異なる音信号が組み合わされている。そこで、マップ生成部３０３が、マイクロフォンの各々が取得した音信号から、発生源ごとに異なる音信号に分離し、分離した音信号のマイクロフォンへの到達時間の差から、音の発生源を特定してもよい。そして、送信制御部３０４は、音の発生源と、分離された音信号の強さと、を表した音に関する情報を、遠隔コントローラ４０に送信する。そして、表示画面生成部４０２は、画像情報に、音の発生源と、音の強さとを表した音検知領域を重ねて、表示画像を生成する。これにより、上述した実施形態と同様の表示画面を表示できる。発生源ごとに異なる音信号を抽出する手法としては、例えば音信号の複製とフィルタリング処理とを組み合わせた周知の手法を用いてもよい。
【0156】
（第２の実施形態）
上述した実施形態及び変形例は、ショベル１００の周辺の音の発生状況を表した音のヒートマップを表示する際の手法を示した。当該表示のために、ショベル１００の周辺の音として、作業員８０１と、トラック８０２と、から集音した場合について説明した。しかしながら、マイクロフォンアレイＡ１に集音される対象は、ショベル１００の周囲に存在する物体に制限するものではなく、ショベル１００の内部に存在する物体も含まれる。そこで、第２の実施形態では、ショベル１００の内部に存在する物体からの音を考慮した場合について説明する。
上述した実施形態及び変形例は、ショベル１００の周辺の音の発生状況を表した音のヒートマップを表示する際の手法を示した。当該表示のために、ショベル１００の周辺の音として、作業員８０１と、トラック８０２と、から集音した場合について説明した。しかしながら、マイクロフォンアレイＡ１に集音される対象は、ショベル１００の周囲に存在する物体に制限するものではなく、ショベル１００の内部に存在する物体も含まれる。そこで、第２の実施形態では、ショベル１００の内部に存在する物体からの音を考慮した場合について説明する。
【0157】
図１３は、本実施形態に係るショベル１００の周辺の状況を示した概念図である。図１３に示される例では、ショベル１００の周囲に、作業員８０１と、トラック８０２と、が存在する例とする。さらに図１３に示される例では、ショベル１００に搭載しているエンジン１１のエンジン音が、マイクロフォンアレイＡ１に集音される。
【0158】
遠隔操作室ＲＣにおいては、スピーカＡ２から出力される音に、エンジン１１のエンジン音が含まれている場合、操作者は、ショベル１００の周囲の状況を把握するのが難しくなる可能性がある。そこで、本実施形態においては、ショベル１００のエンジン１１から発せられるエンジン音を抑制するよう制御する。本実施形態では、エンジン音を抑制する手法として、エンジン音をフィルタリングする例について説明する。なお、本実施形態は、エンジン音を抑制する手法としてエンジン音をフィルタリングする例について説明するが、エンジン音を抑制する手法として他の手法を適用してもよい。
【0159】
図１４は、本実施形態において、遠隔操作室ＲＣで音を出力するまでの構成を示した概念図である。図１４に示される例では、ショベル１００が、ショベルコントローラ３０Ａを備えた例とする。さらには、遠隔操作室ＲＣには、遠隔コントローラ４０Ａが設けられた例とする。
【0160】
図１４に示される例では、遠隔コントローラ４０Ａには、受信制御部４０１と、音響分離部１４０１と、減衰部１４０２と、加算部１４０３と、マップ生成部３０３Ａと、出力制御部４０３と、表示画面生成部４０２と、を備えた例とする。
【0161】
本実施形態においては、遠隔コントローラ４０Ａが、エンジン音をフィルタリングする例とする。つまり、上述した実施形態では、マップ生成部３０３がショベルコントローラ３０に設けられた例について説明したが、本実施形態においては、マップ生成部３０３Ａが、遠隔コントローラ４０Ａに設けられた例とする。
【0162】
図１４に示される例では、ショベルコントローラ３０Ａは、マイクロフォンアレイＡ１から集音された音を示した音信号を、通信装置Ｔ１を介して、遠隔操作室ＲＣの通信装置Ｔ２に送信する。
【0163】
音響分離部１４０１は、受信制御部４０１が受信した音信号に含まれる、マイクロフォンの各々が取得した音信号から、発生源ごとに異なる音信号に分離する。図１４に示される例では、エンジン音の音信号と、作業員８０１の音信号と、トラック８０２の音信号と、に分離する。
【0164】
本実施形態に係る音響分離部１４０１は、エンジン１１のエンジン音を示す特徴情報（例えば、周波数帯域及び波形）を保持している。したがって、音響分離部１４０１は、分離した音信号から、エンジン音を示した音信号を特定できる。
【0165】
そして、音響分離部１４０１は、エンジン音を示した音信号を、減衰部１４０２に出力する。一方、音響分離部１４０１は、エンジン音以外の音信号を、マップ生成部３０３Ａに出力すると共に、加算部１４０３に出力する。
【0166】
マップ生成部３０３Ａは、マイクロフォンアレイＡ１を構成するマイクロフォンの各々が取得した音信号のうち、エンジン音を取り除いた音信号に基づいて、音のヒートマップを生成する。なお、生成手法は、第１の実施形態の変形例２と同様として説明を省略する。
【0167】
減衰部１４０２が、エンジン音を示した音信号の振幅を低減させる。つまり、本実施形態では、減衰部１４０２が、エンジン音を示した音信号の振幅を低減させることで、エンジン音に対応する所定の周波数成分を減衰させることができる。なお、低減度合いは実施態様に応じて定められれば良い。
【0168】
そして、加算部１４０３が、減衰部１４０２により減衰された、エンジン音を示した音信号と、その他の音信号とを、加算する。これにより、加算部１４０３は、ショベル（作業機械の一例）１００のエンジン（駆動源）から発生するエンジン音を減衰させた音信号を生成する。
【0169】
そして、出力制御部４０３は、加算された後の音信号を、スピーカＡ２から出力するための制御を行う。その際、出力制御部４０３は、スピーカＡ２から出力できるように、マイクロフォンアレイＡ１を構成するマイクロフォンの各々の音信号を合成してもよい。
【0170】
本実施形態においては、遠隔コントローラ４０が、上述した制御を行うことで、エンジン音を減衰させることで、操作者は、スピーカＡ２から出力される音で、ショベル１００の周囲に状況を把握するのが容易になる。
【0171】
本実施形態においては、スピーカＡ２から出力される音では、エンジン音が減衰しているので、操作者の音響によるストレスを低減できる。
【0172】
また、スピーカＡ２から出力される音から、エンジン音などの所定の周波数成分を減衰させて、ショベル１００の周囲の音を聞きやすくしているので、例えば、ショベル１００の周囲の人の声や異常音によって、周囲の状況を把握するのが容易になる。
【0173】
（第２の実施形態の変形例１）
上述した実施形態においては、音響分離部１４０１が、発生源ごとに異なる音信号に分離する例について説明した。しかしながら、エンジン音を抑制する手法として、エンジン音を示した音信号を抽出した後に、当該音信号を減衰させる手法に制限するものではない。本変形例においては、音響分離部１４０１、減衰部１４０２、及び加算部１４０３の代わりにバンドストップフィルタを設けた例とする。なお、本変形例においては、マップ生成部は、ショベルコントローラに設けられてもよいし、遠隔コントローラに設けられてもよい。
上述した実施形態においては、音響分離部１４０１が、発生源ごとに異なる音信号に分離する例について説明した。しかしながら、エンジン音を抑制する手法として、エンジン音を示した音信号を抽出した後に、当該音信号を減衰させる手法に制限するものではない。本変形例においては、音響分離部１４０１、減衰部１４０２、及び加算部１４０３の代わりにバンドストップフィルタを設けた例とする。なお、本変形例においては、マップ生成部は、ショベルコントローラに設けられてもよいし、遠隔コントローラに設けられてもよい。
【0174】
本変形例では、バンドストップフィルタが、受信制御部４０１が受信した音信号に含まれる、マイクロフォンの各々が取得した音信号から、エンジン音に対応する周波数帯を減衰させる。そして、出力制御部４０３が、エンジン音に対応する周波数帯を減衰させた音信号を、スピーカＡ２から出力する。
【0175】
なお、本変形例では、エンジン音に対応する周波数帯を減衰させるフィルタとして、バンドストップフィルタを用いた例について説明したが、エンジン音に対応する周波数帯を減衰させるフィルタをバンドストップフィルタに制限するものではなく、ノッチフィルタを用いてもよい。つまり、エンジン音に対応する周波数帯を減衰させ、他の音を減衰させないように、減衰させる周波数の帯域が定められたフィルタであれば、どのようなフィルタを用いてもよい。
【0176】
本変形例では、上述した制御を行うことで、第２の実施形態と同様の効果を奏することができる。
【0177】
上述した実施形態及び本変形例では、フィルタリングの手法として、エンジン音を示した音信号の振幅を低減させる例について説明した。しかしながら、本実施形態はフィルタリングの一例を示したものであって、フィルタリングの当該手法に制限するものではない。つまり、遠隔操作室ＲＣの操作者が、ショベル１００を操作する際に、所定の条件に基づいて、ショベル１００の周囲の状況を認識するために障害となる音を減衰させるフィルタリングであればよい。次に所定の条件に基づいてフィルタリングを行う他の例について説明する。
【0178】
（第２の実施形態の変形例２）
上述した実施形態では、操作者に周囲の状況を認識させるためにエンジン１１のエンジン音を減衰させる例について説明した。しかしながら、操作者に周囲の状況を認識させる手法としては他の態様がある。例えば、複数の音の発生源が存在する場合に、人の音声が聞き取りにくい場合がある。そこで、本変形例では、人の音声の聞き取りを容易にする場合について説明する。
上述した実施形態では、操作者に周囲の状況を認識させるためにエンジン１１のエンジン音を減衰させる例について説明した。しかしながら、操作者に周囲の状況を認識させる手法としては他の態様がある。例えば、複数の音の発生源が存在する場合に、人の音声が聞き取りにくい場合がある。そこで、本変形例では、人の音声の聞き取りを容易にする場合について説明する。
【0179】
人の音声の周波数帯域は、おおよそ１００Hz～１０００Hzである。このため、当該周波数帯域を抽出し、スピーカＡ２から出力すれば、音声が聞き取りやすくなる。
【0180】
そこで、本変形例では、遠隔操作室ＲＣの遠隔コントローラ４０は、当該周波数帯域でフィルタリングするか否かの操作を受け付け可能とする。当該操作を受け付けるための操作装置の態様は、任意の手法をと合わずあらゆる手法を用いてよい。例えば、フィルタリングするか否かの切り替えるためのボタンを設けてもよい。
【0181】
そして、遠隔コントローラ４０は、フィルタリングする旨の操作を受け付けた場合に、受信した音信号に対して、１００Hz～１０００Hzの周波数帯域を抽出するフィルタリングを行う。
【0182】
そして、出力制御部４０３は、フィルタリングされた音信号を、スピーカＡ２から出力する。本変形例では、音声の周波数帯域でフィルタリングされるため、人の音声を聞き取りが容易になる。これにより、ショベル１００の周囲の状況を把握できるので、安全性を向上させることができる。
【0183】
なお、本変形例では、遠隔操作室ＲＣの遠隔コントローラ４０は、操作を受け付けて、人の音声に対応する１００Hz～１０００Hzの周波数帯域を抽出するか否かを切り替える例について説明した。しかしながら、本変形例は、操作に応じて抽出するか否かを切り替える周波数帯域を、人の音声に対応する周波数帯域に制限するものではない。例えば、上述した実施形態で示したような、エンジン音に対応する周波数帯を減衰させるか否を、操作に応じて切り替えてもよい。
【0184】
本変形例では、操作に応じてフィルタリングするか否かを切り替える例について説明した。しかしながら、フィルタリングするか否かを切り替える条件を、操作の有無に制限するものではない。例えば、人の声を検知したか否かに応じて自動的にフィルタリングするか否かを切り替えてもよい。
【0185】
上述した実施形態及び本変形例では、所定の条件に基づいたフィルタリングを行い、フィルタリングされた音信号に基づいて、音のヒートマップの生成及びスピーカＡ２から出力のうちいずれか一つ以上を行う例について説明した。このように、フィルタリングされた音信号に基づいた情報を操作者に提示することで、操作者に対して必要な情報を認識させることができる。したがって、利便性の向上を実現できる。
【0186】
（第３の実施形態）
上述した実施形態においては、マイクロフォンアレイＡ１を、ショベル１００の前面に設けた例について説明した。しかしながら、上述した実施形態のように、マイクロフォンアレイＡ１を、ショベル１００の前面に設ける例に制限するものではない。そこで、第３の実施形態では、４方向の各々に、マイクロフォンアレイＡ１を設ける例について説明する。
上述した実施形態においては、マイクロフォンアレイＡ１を、ショベル１００の前面に設けた例について説明した。しかしながら、上述した実施形態のように、マイクロフォンアレイＡ１を、ショベル１００の前面に設ける例に制限するものではない。そこで、第３の実施形態では、４方向の各々に、マイクロフォンアレイＡ１を設ける例について説明する。
【0187】
図１５は、第３の実施形態に係る作業機械としてのショベル１００Ａの側面図である。マイクロフォンアレイＡ１以外は、上述した実施形態と同様として説明を省略する。
【0188】
マイクロフォンアレイＡ１はショベル１００の周辺の音を取得するように構成されている。本実施形態では、マイクロフォンアレイＡ１は、ショベル１００の前方を集音する前マイクロフォンアレイＡ１Ｆ、ショベル１００の左方を集音する左マイクロフォンアレイＡ１Ｌ、ショベル１００の右方を集音する右マイクロフォンアレイＡ１Ｒ、及びショベル１００の後方を集音する後マイクロフォンアレイＡ１Ｂを含む。
【0189】
撮像装置Ｓ６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラであり、撮像した画像を表示装置ＤＩに出力してもよい。
【0190】
前カメラＳ６Ｆは、例えば、キャビン１０の屋根に取り付けられている。左カメラＳ６Ｌは、上部旋回体３の上面左端に取り付けられている。右カメラＳ６Ｒは、上部旋回体３の上面右端に取り付けられている。後カメラＳ６Ｂは、上部旋回体３の上面後端に取り付けられている。
【0191】
左マイクロフォンアレイＡ１Ｌは、例えば、ショベル１００の左側のフレームに取り付けられている。右マイクロフォンアレイＡ１Ｒは、例えば、ショベル１００の右側のフレームに取り付けられている。後マイクロフォンアレイＡ１Ｂは、例えば、ショベル１００の後側のフレームに取り付けられている。
【0192】
そして、ショベルコントローラ３０のマップ生成部３０３は、４個のマイクロフォンアレイＡ１の各々に対応する音のヒートマップを生成する。そして、送信制御部３０４は、４つの音のヒートマップを、遠隔コントローラ４０に送信する。
【0193】
これにより、遠隔操作室ＲＣでは、４個の撮像装置Ｓ６の各々の画像情報を表示する際に、音検知領域を重ねて表示することができる。したがって、遠隔操作室ＲＣの操作者から、４個の撮像装置Ｓ６が撮像した画像情報から、表示を切り替える操作を受け付けた場合に、切り替えられた後に表示される表示画像に音検知領域を重ねて表すことができる。
【0194】
本実施形態では、撮像装置Ｓ６の設置に対応するように、４個のマイクロフォンアレイＡ１を備えられているので、４個の撮像装置Ｓ６が撮像した画像情報のうち、どの画像情報が表示されたにかかわらず、画像情報に音検知領域を重ねて表示できる。これにより、遠隔操作室ＲＣの操作者は、音の発生源を把握できるので、安全性の向上を実現できる。
【0195】
また、表示画面生成部４０２は、４個の撮像装置Ｓ６が撮像した画像情報のうちいずれか一つを、表示装置Ｄ１に表示する場合に、表示された画像情報に対応しない方向に設けられたマイクロフォンアレイＡ１の音のヒートマップの各々を考慮した表示画像を生成してもよい。例えば、表示画面生成部４０２は、前カメラＳ６Ｆの画像情報に基づいて表示画像を生成する際に、左マイクロフォンアレイＡ１Ｌからの音のヒートマップにおいて音が強いことが表されている場合に、前カメラＳ６Ｆの画像情報に、音の発生源が左側に存在することを示した情報を、画像情報に重ねてもよい。この場合に、表示画面生成部４０２は、左マイクロフォンアレイＡ１Ｌから集音した音声から変換された文字列情報を、前カメラＳ６Ｆの画像情報に重ねて表示してもよい。これにより、操作者は、表示画面に表示された領域以外において、音の発生源が存在する方向を把握できる。したがって、操作者は音の発生源が存在する方向を認識できるので、安全性を向上させることができる。
【0196】
（第４の実施形態）
上述した実施形態及び変形例では、遠隔操作室ＲＣで操作者が操作を行う場合について説明した。しかしながら、上述した実施形態のような、画像情報に音検知領域を重ねて表示する態様を、遠隔操作を行う場合に制限するものではない。そこで、第４の実施形態では、ショベル１００Ｂで操作する操作者に対して表示する場合について説明する。
上述した実施形態及び変形例では、遠隔操作室ＲＣで操作者が操作を行う場合について説明した。しかしながら、上述した実施形態のような、画像情報に音検知領域を重ねて表示する態様を、遠隔操作を行う場合に制限するものではない。そこで、第４の実施形態では、ショベル１００Ｂで操作する操作者に対して表示する場合について説明する。
【0197】
図１６は、第４の実施形態に係る作業機械としてのショベル１００Ｂの側面図である。撮像装置Ｓ６及びマイクロフォンアレイＡ１以外は、上述した実施形態と同様として説明を省略する。
【0198】
本実施形態に係る撮像装置Ｓ６は、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及びショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。このように、本実施形態においては、前方向は操作者が目視で確認できるため、前カメラＳ６Ｆが設けられていない。
【0199】
同様に、マイクロフォンアレイＡ１は、ショベル１００の左方を集音する左マイクロフォンアレイＡ１Ｌ、ショベル１００の右方を集音する右マイクロフォンアレイＡ１Ｒ、及びショベル１００の後方を集音する後マイクロフォンアレイＡ１Ｂを含んでいる。取り付け場所は、上述した実施形態と同様として説明を省略する。
【0200】
そして、ショベルコントローラ３０のマップ生成部３０３は、３個のマイクロフォンアレイＡ１の各々に対応する音のヒートマップを生成する。そして、ショベルコントローラ３０が、ショベル１００の周辺の音の発生状況を表した音のヒートマップを、画像情報に重ねて表示画像を生成し、表示装置Ｄ１に表示する。
【0201】
次に、図１７を参照して、表示装置ＤＩの画像表示部５１及び操作部５２の構成例について説明する。図１７は、表示装置ＤＩの画像表示部５１及び操作部５２の構成例を示す図である。図１７に示す例では、画像表示部５１に、操作部５２のプッシュスイッチ５２ａが操作される前に表示される画面として、右方画像ＲＧ、後方画像ＢＧ、及び俯瞰画像ＴＧを含むホーム画面が表示されている状態を示す。ホーム画面は、ショベル１００の動作中に表示される画面である。
【0202】
まず、画像表示部５１について説明する。図１７に示されるように、画像表示部５１は、日時表示領域５１ａ、走行モード表示領域５１ｂ、アタッチメント表示領域５１ｃ、燃費表示領域５１ｄ、エンジン制御状態表示領域５１ｅ、エンジン稼働時間表示領域５１ｆ、冷却水温表示領域５１ｇ、燃料残量表示領域５１ｈ、回転数レベル表示領域５１ｉ、尿素水残量表示領域５１ｊ、作動油温表示領域５１ｋ、エアコン運転状態表示領域５１ｍ、画像表示領域５１ｎ、及びスイッチ画像表示領域５１ｐを含む。
【0203】
走行モード表示領域５１ｂ、アタッチメント表示領域５１ｃ、エンジン制御状態表示領域５１ｅ、回転数レベル表示領域５１ｉ、及びエアコン運転状態表示領域５１ｍは、ショベル１００の設定状態に関する情報である設定状態情報を表示する領域である。燃費表示領域５１ｄ、エンジン稼働時間表示領域５１ｆ、冷却水温表示領域５１ｇ、燃料残量表示領域５１ｈ、尿素水残量表示領域５１ｊ、及び作動油温表示領域５１ｋは、ショベル１００の稼動状態に関する情報である稼動状態情報を表示する領域である。
【0204】
具体的には、日時表示領域５１ａは、現在の日時を表示する領域である。走行モード表示領域５１ｂは、現在の走行モードを表示する領域である。アタッチメント表示領域５１ｃは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域５１ｄは、ショベルコントローラ３０によって算出された燃費情報を表示する領域である。燃費表示領域５１ｄは、生涯平均燃費又は区間平均燃費を表示する平均燃費表示領域５１ｄ１、瞬間燃費を表示する瞬間燃費表示領域５１ｄ２を含む。
【0205】
エンジン制御状態表示領域５１ｅは、エンジン１１の制御状態を表示する領域である。エンジン稼働時間表示領域５１ｆは、エンジン１１の累積稼働時間を表示する領域である。冷却水温表示領域５１ｇは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域５１ｈは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。回転数レベル表示領域５１ｉは、ダイヤル７５によって設定された現在のレベルを画像で表示する領域である。図１７は、第１レベルが選択された状態を示している。尿素水残量表示領域５１ｊは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域５１ｋは、作動油タンク内の作動油の温度状態を表示する領域である。
【0206】
エアコン運転状態表示領域５１ｍは、現在の吹出口の位置を表示する吹出口表示領域５１ｍ１、現在の運転モードを表示する運転モード表示領域５１ｍ２、現在の設定温度を表示する温度表示領域５１ｍ３、及び現在の設定風量を表示する風量表示領域５１ｍ４を含む。
【0207】
画像表示領域５１ｎは、撮像装置Ｓ６が撮像した画像を表示する領域である。図１７に示す例では、画像表示領域５１ｎは、右方画像ＲＧ、後方画像ＢＧ、及び俯瞰画像ＴＧを表示している。
【0208】
右方画像ＲＧは、ショベル１００の右方の空間を映し出す画像であり、上部旋回体３の上面右端の画像ＧＣ１を含む。右方画像ＲＧは、ショベルコントローラ３０によって、右カメラＳ６Ｒが撮像した画像に、右マイクロフォンアレイＡ１Ｒが取得した音信号により生成された音のヒートマップを重ねて生成された画像である。
【0209】
右方画像ＲＧには、作業員１５０１が写っている。右方画像ＲＧには、さらに、音のヒートマップで表されていた音検知領域１５１１が重ねて表示されている。音検知領域１００１は、音のヒートマップに基づいて表示された領域である。音検知領域１５１１は、濃い赤の領域１５１１ａと、赤色の領域１５１１ｂと、オレンジ色の領域１５１１ｃと、黄色の領域１５１１ｄと、薄黄色の領域１５１１ｅと、を含んでいる。
【0210】
後方画像ＢＧは、ショベル１００の後方の空間を映し出す画像であり、カウンタウェイトの画像ＧＣ２を含む。後方画像ＢＧは、ショベルコントローラ３０によって、後ろカメラＳ６Ｂが撮像した画像に、後マイクロフォンアレイＡ１Ｂが取得した音信号により生成された音のヒートマップを重ねて生成された画像である。
【0211】
後方画像ＢＧには、トラック１５０２が写っている。後方画像ＢＧには、さらに、音のヒートマップで表されていた音検知領域１５１２が重ねて表示されている。音検知領域１００１は、音のヒートマップに基づいて表示された領域である。音検知領域１５２１は、黄色の領域１５１１ａと、薄黄色の領域１５１１ｂと、を含んでいる。
【0212】
俯瞰画像ＴＧは、ショベルコントローラ３０によって生成される仮想視点画像であり、後カメラＳ６Ｂ、左カメラＳ６Ｌ、及び右カメラＳ６Ｒのそれぞれが取得した画像に基づいて生成される。また、俯瞰画像の中央部分には、ショベル１００に対応するショベル図形が配置されている。ショベル１００とショベル１００の周囲に存在する物体との位置関係を操作者により直感的に把握させるためである。
【0213】
俯瞰画像ＴＧにも、作業員１５０１とトラック１５０２とが写っている。これにより、ショベル１００の操作者は、周囲の状況を認識できる。
【0214】
また、画像表示領域５１ｎは、上方に位置する第１画像表示領域５１ｎ１と下方に位置する第２画像表示領域５１ｎ２を有する。図１７に示す例では、右方画像ＲＧ及び後方画像ＢＧが第１画像表示領域５１ｎ１に配置され、且つ、俯瞰画像ＴＧが第２画像表示領域５１ｎ２に配置されている。なお、画像表示領域５１ｎは、俯瞰画像ＴＧを第１画像表示領域５１ｎ１に配置し、且つ、後方画像ＢＧ及び右方画像ＲＧを第２画像表示領域５１ｎ２に配置してもよい。
【0215】
また、画像表示領域５１ｎは、左方画像を同時に表示するように構成されていてもよい。この場合、画像表示領域５１ｎは、左方画像と右方画像ＲＧとを第１画像表示領域５１ｎ１に配置し、且つ、後方画像ＢＧと俯瞰画像ＴＧとを第２画像表示領域５１ｎ２に配置してもよい。この場合、左方画像は、第１画像表示領域５１ｎ１の左側に配置され、右方画像ＲＧは、第１画像表示領域５１ｎ１の右側に配置されてもよい。
【0216】
また、図１７に示す例では、右方画像ＲＧと後方画像ＢＧとは左右に隣接して配置されているが、間隔を空けて配置されていてもよい。また、図１７に示す例では、画像表示領域５１ｎが縦長の領域であるが、画像表示領域５１ｎは横長の領域であってもよい。画像表示領域５１ｎが横長の領域である場合、画像表示領域５１ｎは、左側に第１画像表示領域５１ｎ１として俯瞰画像ＴＧを配置し、右側に第２画像表示領域５１ｎ２として後方画像ＢＧ及び右方画像ＲＧを配置してもよい。この場合、左右に間隔を空けて配置してもよいし、俯瞰画像ＴＧの位置と後方画像ＢＧ及び右方画像ＲＧの位置とを入れ換えてもよい。
【0217】
スイッチ画像表示領域５１ｐは、スイッチ画像５１ｐ１～５１ｐ７を有する。図１７に示す例では、画像表示部５１の最下部に、スイッチ画像５１ｐ１～５１ｐ７が左右に互いに間隔を空けて配置されている。スイッチ画像５１ｐ１～５１ｐ７には、対応するプッシュスイッチ５２ａ１～５２ａ７の機能を表すアイコンが表示される。
【0218】
スイッチ画像５１ｐ１には、メニュー詳細項目を表示するためのメニュー詳細項目アイコンが表示されている。操作者によりスイッチ画像５１ｐ１に対応するプッシュスイッチ５２ａ１が操作されると、スイッチ画像５１ｐ２～５１ｐ７に表示されているアイコンがメニュー詳細項目に関連付けされたアイコンに切り換わる。
【0219】
図１７に示す例では、スイッチ画像５１ｐ４には、デジタル水準器に関する情報を表示するためのアイコンが表示されている。操作者によりスイッチ画像５１ｐ４に対応するプッシュスイッチ５２ａ４が操作されると、第２画像表示領域５１ｎ２に表示されていた俯瞰画像ＴＧがデジタル水準器に関する情報を示す画像（サブ画面）に切り換わる。一方で、第１画像表示領域５１ｎ１に表示されていた後方画像ＢＧ及び右方画像ＲＧはそのままの大きさで継続的に表示される。但し、デジタル水準器に関する情報を示す画像（サブ画面）は、第１画像表示領域５１ｎ１に表示されてもよい。この場合、第１画像表示領域５１ｎ１に表示されていた後方画像ＢＧ及び右方画像ＲＧは、俯瞰画像ＴＧの代わりに、第２画像表示領域５１ｎ２に表示されてもよい。
【0220】
図１７に示す例では、スイッチ画像５１ｐ２、５１ｐ３、５１ｐ５、５１ｐ６、５１ｐ７には、アイコンが表示されていない。このため、操作者によりスイッチ画像５１ｐ２、５１ｐ３、５１ｐ５、５１ｐ６、５１ｐ７に対応するプッシュスイッチ５２ａ２、５２ａ３、５２ａ５、５２ａ６、５２ａ７が操作されても、画像表示部５１に表示される画像に変化は生じない。
【0221】
なお、スイッチ画像５１ｐ１～５１ｐ７に表示されるアイコンは上記した例に限定されるものではなく、他の情報を表示するためのアイコンが表示されていてもよい。
【0222】
次に、操作部５２について説明する。図１７に示されるように、操作部５２は、スイッチ画像５１ｐ１～５１ｐ７のそれぞれに対応するボタン式のスイッチであるプッシュスイッチ５２ａにより構成されている。図１７に示す例では、操作部５２は、上段に配置された７つのプッシュスイッチ５２ａ１～５２ａ７と、下段に配置された７つのプッシュスイッチ５２ａ８～５２ａ１４と、を含む。プッシュスイッチ５２ａ８～５２ａ１４は、プッシュスイッチ５２ａ１～５２ａ７のそれぞれの下方に配置されている。但し、操作部５２のプッシュスイッチ５２ａは、その数、形態、及び配置が上記した例に限定されるものではなく、例えば、ジョグホイール又はジョグスイッチ等のように複数のボタン式のスイッチの機能を一つにまとめた形態であってもよい。また、操作部５２は、表示装置ＤＩとは別の部材として構成されていてもよい。また、画像表示部５１と操作部５２とが一体となったタッチパネルでスイッチ画像５１ｐ１～５１ｐ７を直接タッチ操作する方式でもよい。
【0223】
プッシュスイッチ５２ａ１～５２ａ７は、スイッチ画像５１ｐ１～５１ｐ７の下方に、それぞれスイッチ画像５１ｐ１～５１ｐ７に対応して配置されており、それぞれスイッチ画像５１ｐ１～５１ｐ７を選択するプッシュスイッチとして機能する。プッシュスイッチ５２ａ１～５２ａ７がそれぞれスイッチ画像５１ｐ１～５１ｐ７の下方に、それぞれスイッチ画像５１ｐ１～５１ｐ７に対応して配置されているので、操作者は直感的にスイッチ画像５１ｐ１～５１ｐ７を選択できる。
【0224】
プッシュスイッチ５２ａ８は、画像表示領域５１ｎに表示される撮像画像を切り換えるスイッチである。プッシュスイッチ５２ａ８が操作されるごとに画像表示領域５１ｎの第１画像表示領域５１ｎ１に表示される撮像画像が、例えば、後方画像、左方画像、右方画像、及び俯瞰画像の間で切り換わるように構成されている。また、プッシュスイッチ５２ａ８が操作されるごとに画像表示領域５１ｎの第２画像表示領域５１ｎ２に表示される撮像画像が、例えば、後方画像、左方画像、右方画像、及び俯瞰画像の間で切り換わるように構成されていてもよい。また、プッシュスイッチ５２ａ８が操作されるごとに画像表示領域５１ｎの第１画像表示領域５１ｎ１に表示される撮像画像と第２画像表示領域５１ｎ２に表示される撮像画像とが入れ換わるように構成されていてもよい。このように、操作部５２としてのプッシュスイッチ５２ａ８は、第１画像表示領域５１ｎ１又は第２画像表示領域５１ｎ２に表示される撮像画像を切り換えるために利用されてもよいし、第１画像表示領域５１ｎ１に表示される撮像画像と第２画像表示領域５１ｎ２に表示される撮像画像とを切り換えるために利用されてもよい。また、第２画像表示領域５１ｎ２に表示される画面を切り換えるためのスイッチが別に設けられていてもよい。
【0225】
プッシュスイッチ５２ａ９、５２ａ１０は、エアコンの風量を調節するスイッチである。図１７に示す例では、プッシュスイッチ５２ａ９が操作されるとエアコンの風量が小さくなり、プッシュスイッチ５２ａ１０が操作されるとエアコンの風量が大きくなるように構成されている。
【0226】
プッシュスイッチ５２ａ１１は、冷房・暖房機能のＯＮ・ＯＦＦを切り換えるスイッチである。図１７に示す例では、プッシュスイッチ５２ａ１１が操作されるごとに冷房・暖房機能のＯＮ・ＯＦＦが切り換わるように構成されている。
【0227】
プッシュスイッチ５２ａ１２、５２ａ１３は、エアコンの設定温度を調節するスイッチである。図１７に示す例では、プッシュスイッチ５２ａ１２が操作されると設定温度が低くなり、プッシュスイッチ５２ａ１３が操作されると設定温度が高くなるように構成されている。
【0228】
プッシュスイッチ５２ａ１４は、エンジン稼働時間表示領域５１ｆの表示を切り換得るスイッチである。
【0229】
また、プッシュスイッチ５２ａ２～５２ａ６、５２ａ９～５２ａ１３は、それぞれのスイッチ又はスイッチ近傍に表示された数字を入力可能に構成されている。また、プッシュスイッチ５２ａ３、５２ａ４、５２ａ５、５２ａ１１は、画像表示領域５１ｎにカーソルが表示された際、カーソルをそれぞれ左、上、右、下に移動させることができるように構成されている。
【0230】
なお、上述したプッシュスイッチ５２ａ１～５２ａ７、５２ａ８～５２ａ１４に割り当てられる機能は一例であり、他の機能が割り当てられてもよい。
【0231】
以上に説明したように、画像表示領域５１ｎに右方画像ＲＧ、後方画像ＢＧ、及び俯瞰画像ＴＧが表示されている状態で、スイッチ画像５１ｐ１に対応するプッシュスイッチ５２ａ１が操作されると、右方画像ＲＧ及び後方画像ＢＧが表示された状態でスイッチ画像５１ｐ２～５１ｐ７に新たなアイコン（プッシュスイッチ５２ａ１～５２ａ７のそれぞれに新たに割り当てられた機能を表すアイコン）が表示される。このため、操作者は、右方画像ＲＧ及び後方画像ＢＧを確認しながら、新たなアイコンを確認できる。
【0232】
また、上述の例では、画像表示領域５１ｎに右方画像ＲＧ、後方画像ＢＧ、及び俯瞰画像ＴＧが表示されている状態でスイッチ画像５１ｐ２～５１ｐ７に対応するプッシュスイッチ５２ａ１～５２ａ７のうちの一つが操作されると、俯瞰画像ＴＧが、選択されたスイッチ画像に対応する情報を示すメニュー画像に切り換わる。このように、右方画像ＲＧと後方画像ＢＧとを表示した状態でメニュー画像が表示されるので、操作者は、メニュー画像を表示している状態においても周囲（後方及び右方の空間）の監視を継続できる。そのため、操作者は、メニュー画像を表示した状態でショベル１００を操作できる。
【0233】
本実施形態においては、表示装置Ｄ１の画像表示領域５１ｎに含まれる、右方画像ＲＧ及び後方画像ＢＧには、音検知領域を重ねて表示される。
【0234】
つまり、本実施形態においては、ショベル１００に搭乗している操作者は、ショベル１００の前方の状況は目視で確認できるので、ショベル１００の前方から聞こえる音と共に、音の発信源を認識できる。
【0235】
しかしながら、ショベル１００に搭乗している操作者は、視認できない領域については音の発信源を認識するのが難しい場合がある。そこで、本実施形態にかかるショベルコントローラ３０は、表示装置ＤＩに上述した画面を表示する。
【0236】
これにより、ショベル１００の操作者は、視認できない領域についても、ショベル１００の周囲の音の発信源を認識できる。例えば、右方画像ＲＧ及び後方画像ＢＧを参照することで、音の発信源を認識できるので、操作者が現在聞いている音の発信源を把握できるので、聞こえた音に対応した操作を行うことができる。したがって、安全性の向上を実現できる。
【0237】
＜作用＞
上述した実施形態及び変形例においては、操作者が、表示画像を視認することで、音の発生源を認識できるので、作業現場の状況の確認が容易になる。したがって、操作者は、作業現場の状況に応じた操作を行うことができるので、安全性の向上を実現できる。さらには、操作者は、作業現場の状況に応じた操作を行うことができるので、作業効率の向上を実現できる。
上述した実施形態及び変形例においては、操作者が、表示画像を視認することで、音の発生源を認識できるので、作業現場の状況の確認が容易になる。したがって、操作者は、作業現場の状況に応じた操作を行うことができるので、安全性の向上を実現できる。さらには、操作者は、作業現場の状況に応じた操作を行うことができるので、作業効率の向上を実現できる。
【0238】
上述した実施形態及び変形例においては、作業機械の一例としてショベルを用いた場合について説明した。しかしながら、実施形態及び変形例で示した構成は、作業機械としてショベルに適用させる例に制限するものではなく、例えば、クレーン、フォークリフト等に適用してもよい。
【0239】
以上、作業機械の表示装置、作業機械、作業機械の遠隔操作システム一例を示した実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。
【符号の説明】
【0240】
１００ ショベル
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
Ｓ６ 撮像装置
Ｔ１ 通信装置
ＤＩ 表示装置
Ａ１ マイクロフォンアレイ
３０ ショベルコントローラ
３０１ 取得部
３０２ ショベル状態特定部
３０３ マップ生成部
３０４ 送信制御部
３０５ 受信制御部
３０６ アクチュエータ駆動部
３１ 比例弁
ＲＣ 遠隔操作室
Ｔ２ 通信装置
Ｄ１ 表示装置
Ａ２ スピーカ
４０ 遠隔コントローラ
４０１ 受信制御部
４０２ 表示画面生成部
４０３ 出力制御部
４０４ 信号生成部
４０５ 送信制御部
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
Ｓ６ 撮像装置
Ｔ１ 通信装置
ＤＩ 表示装置
Ａ１ マイクロフォンアレイ
３０ ショベルコントローラ
３０１ 取得部
３０２ ショベル状態特定部
３０３ マップ生成部
３０４ 送信制御部
３０５ 受信制御部
３０６ アクチュエータ駆動部
３１ 比例弁
ＲＣ 遠隔操作室
Ｔ２ 通信装置
Ｄ１ 表示装置
Ａ２ スピーカ
４０ 遠隔コントローラ
４０１ 受信制御部
４０２ 表示画面生成部
４０３ 出力制御部
４０４ 信号生成部
４０５ 送信制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】