特許 7283070 作業機械用周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-22

(45)【発行日】2023-05-30

(54)【発明の名称】作業機械用周辺監視装置

(51)【国際特許分類】

   E02F 9/26 20060101AFI20230523BHJP

   E02F 9/24 20060101ALI20230523BHJP

   E02F 9/20 20060101ALI20230523BHJP

   H04N 7/18 20060101ALI20230523BHJP

【ＦＩ】

E02F9/26 B

E02F9/24 B

E02F9/20 N

H04N7/18 J

【請求項の数】 8

(21)【出願番号】P 2018237009

(22)【出願日】2018-12-19

(65)【公開番号】P2020097866

(43)【公開日】2020-06-25

【審査請求日】2021-09-13

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】弁理士法人創成国際特許事務所

(72)【発明者】

【氏名】佐々木 均

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

(72)【発明者】

【氏名】佐伯 誠司

【審査官】石川 信也

(56)【参考文献】

【文献】特開２０１４－０６４１４４（ＪＰ，Ａ）

【文献】特開２０１８－１９７４９３（ＪＰ，Ａ）

【文献】特開２０１７－１０２６０６（ＪＰ，Ａ）

【文献】実開平０６－０４００６６（ＪＰ，Ｕ）

【文献】国際公開第２０１８／００８５０４（ＷＯ，Ａ１）

【文献】特許第５７５５５７６（ＪＰ，Ｂ２）

【文献】特開２０１８－１１１９８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２６

Ｅ０２Ｆ ９／２４

Ｅ０２Ｆ ９／２０

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／２０

(57)【特許請求の範囲】

【請求項1】

操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記作業機械による作業を開始するための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間に物体が存在する旨を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。

【請求項2】

操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間における物体の相対的な位置又は方位を示す情報を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。

【請求項3】

操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して注意すべき注意事項を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。

【請求項4】

操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記作業機械を移動させる方向と距離を指令する情報を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。

【請求項5】

操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して実行すべきでない処理を示す情報を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。

【請求項6】

操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者が着座するシートの周囲の複数個所に配置され、前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記周辺物体検知部により検知された物体が存在している相対的な位置又は相対的な方位を示す情報を取得し、前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置に前記周辺物体検知部による物体の検知結果を示す音声を出力させる、又は前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置の音量を他の前記出力装置よりも大きくして前記周辺物体検知部による物体の検知結果を示す音声を出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする作業機械用周辺監視装置。

【請求項7】

請求項１～６のいずれか１項に記載の作業機械用周辺監視装置において、
前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した場合に、前記作業機械及びその周辺の鳥瞰画像又は俯瞰画像を前記出力装置にさらに出力させることを特徴とする作業機械用周辺監視装置。

【請求項8】

請求項１～７のいずれか１項に記載の作業機械用周辺監視装置において、
前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した後に当該対象空間に前記物体が検知されなくなった場合に、前記対象空間から前記物体が外れた旨の情報を前記出力装置にさらに出力させることを特徴とする作業機械用周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の周辺を監視するための装置に関する。

【背景技術】

【0002】

従来、この種の技術としては、例えば特許文献１に見られるものが知られている。特許文献１には、作業機械の周囲に存在する人の位置を作業機械の操作者が直感的に把握できるようにするため、一の監視空間（例えば作業機械の右側）に人が存在すると判定された場合に当該一の監視空間に対応する一の警報出力部（例えばキャブ内の右側警報出力部）から警報を出力させ、他の監視空間（例えば作業機械の後方）に人が存在すると判定された場合に当該他の監視空間に対応する他の警報出力部（例えばキャブ内の後側警報出力部）から警報を出力させる技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０９３５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、警報の出力タイミングが不適当であると作業機械の操作者に煩わしさを感じさせ、操作に対する集中を削ぐことにもなりかねない。

【0005】

そこで、本発明は、作業機械の操作者に対して、その集中を削ぐ事態を回避する観点から適当なタイミングで、当該作業機械の周辺における状況を認識させることができる装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

まず、本発明の概要を説明する。本発明の本発明の作業機械用周辺監視装置は、操作者による作業機械を動作させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体の有無を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、
前記操作状態検出器により前記作業機械を始動させるための初期操作状態が前記操作装置の操作状態として検知されたことに応じて、前記周辺物体検知部による検知結果を示す音声を前記出力装置に出力させる制御要素と、を備えていることを特徴とする。

【0007】

本発明の作業機械用周辺監視装置によれば、作業機械の操作装置の操作状態として、作業機械の動作を開始させるための初期操作状態が検知されたことに応じて、周辺物体検知部による検知結果を示す音声が出力装置から出力される。

【0008】

例えば、作業機械の動作を開始させるための初期操作状態が検知され、かつ、当該作業機械の周辺の対象空間に物体が存在することが検知された場合には、当該検知に応じて、当該物体が対象空間に存在する旨の音声が出力装置から出力され得る。これにより、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在することをオペレータにその聴覚を通じて認識させることができる。

【0009】

また、例えば、作業機械の動作を開始させるための初期操作状態が検知され、かつ、当該作業機械の周辺の対象空間に物体が存在しないことが検知された場合には、当該検知に応じて、当該物体が対象空間に存在しない旨の音声が出力装置から出力され得る。これにより、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在することをオペレータにその聴覚を通じて認識させることができる。

【0010】

なお、本発明において、「作業機械の動作」とは、作業機械の全体的な動作のほか、その一部である部分の動作をも包含する概念である。また、本発明において、周辺物体検知部による検知結果を示す音声を出力装置に出力させることは、当該物体が対象空間に存在することが検知された場合と、当該物体が対象空間に存在しないことが検知された場合とのいずれか一方の場合だけで実行してもよい。

【0011】

本発明では、前記制御要素は、前記操作状態検出器により前記作業機械を始動させるための初期操作状態が前記操作装置の操作状態として検知されたことに応じて、前記周辺物体検知部による検知結果を表す前記作業機械及びその周辺の鳥瞰画像又は俯瞰画像を前記出力装置にさらに出力させることを採用し得る。

【0012】

これによれば、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在する場合に、出力装置により出力される鳥瞰画像又は俯瞰画像に応じて、作業機械の周囲の対象空間に物体が存在することをオペレータにその視覚を通じて認識させることができる。

【0013】

また、本発明では、前記制御要素は、前記操作状態検出器により前記作業機械を始動させるための初期操作状態が前記操作装置の操作状態として検知され、且つ、前記周辺物体検知部により前記対象空間に前記物体が存在することが検知されたことに応じて、その後の前記作業機械の操作の注意事項に関する音声を前記出力装置にさらに出力させることを採用し得る。

【0014】

これによれば、作業機械の操作装置の操作状態として、作業機械の動作を開始させるための初期操作状態が検知され、かつ、当該作業機械の周辺の対象空間に物体が存在することが検知されたことに応じて、その後の作業機械の操作の注意事項に関する音声が出力装置から出力される。これにより、オペレータが作業機械の周囲の状況に特に配慮する必要がある当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在する場合に、該物体が存在することに加えて、その状況に応じたその後の作業機械の操作の注意事項をオペレータにその聴覚を通じて認識させることができる。

【0015】

また、本発明では、前記制御要素は、前記周辺物体検知部により前記対象空間に前記物体が存在することが検知された後、前記周辺物体検知部により前記対象空間に前記物体が存在しないことが検知されたことに応じて、前記対象空間から前記物体が外れた旨の音声を前記出力装置にさらに出力させるという態様をを採用し得る。

【0016】

当該作業機械の動作開始時に、作業機械の周囲の対象空間に物体が存在することをオペレータにその聴覚を通じて認識させた後、オペレータによる操作装置を通じた作業機械の操作等に応じた状況変化によって、対象空間から当該物体がいなくなったことをオペレータにその聴覚を通じて認識させることができる。
次に、本発明のより具体的な態様を説明する。
本発明の第１の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記作業機械による作業を開始するための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間に物体が存在する旨を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第２の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記対象空間における物体の相対的な位置又は方位を示す情報を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第３の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して注意すべき注意事項を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第４の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記作業機械を移動させる方向と距離を指令する情報を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第５の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記報知情報として前記操作装置の操作に関して実行すべきでない処理を示す情報を前記出力装置に出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
本発明の第６の態様は、操作者による作業機械のアクチュエータを作動させるための操作装置の操作状態を検知する操作状態検出器と、
前記作業機械の周囲の対象空間における物体を検知する周辺物体検知部と、
前記操作者が着座するシートの周囲の複数個所に配置され、前記操作者に対して報知情報を出力する出力装置と、を備え、
前記操作状態検出器が検知する前記操作装置の操作状態に基づいて、前記操作装置に前記アクチュエータを始動させるための初期操作がなされたか否かを逐次判断する判断処理を実行し、
前記判断処理において前記初期操作が検知されない場合には、前記判断処理を逐次繰り返し実行し、
前記判断処理において前記初期操作が検知された場合には、その都度、前記周辺物体検知部による物体の検知情報を取得し、当該検知情報が否定的である場合には、前記報知情報として前記対象空間に物体が存在しない旨を前記出力装置に出力させ、当該検知情報が肯定的である場合には、前記周辺物体検知部により検知された物体が存在している相対的な位置又は相対的な方位を示す情報を取得し、前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置に前記周辺物体検知部による物体の検知結果を示す音声を出力させる、又は前記シートに対する位置関係が当該相対的な位置又は当該相対的な方位に整合している前記出力装置の音量を他の前記出力装置よりも大きくして前記周辺物体検知部による物体の検知結果を示す音声を出力させ、
前記初期操作は、中立状態になった前記操作装置が不感帯域を超える操作量まで操作されること、又は、中立状態になった前記操作装置が前記不感帯を超える直前の操作量まで操作されることであることを特徴とする。
また、前記第１～第６の態様では、前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した場合に、前記作業機械及びその周辺の鳥瞰画像又は俯瞰画像を前記出力装置にさらに出力させるという態様（第７の態様）を採用し得る。
また、前記第１～第７の態様では、前記周辺物体検知部が前記作業機械の周囲の対象空間に前記物体を検知した後に当該対象空間に前記物体が検知されなくなった場合に、前記対象空間から前記物体が外れた旨の情報を前記出力装置にさらに出力させるという態様（第８の態様）を採用し得る。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態を適用した作業機械の遠隔操作システムの全体構成を示す図。

【図2】実施形態の遠隔操作システムの制御に関する構成を示すブロック図。

【図3】作業機械の周囲に設定された対象空間を例示する図。

【図4】実施形態の遠隔操作システムの遠隔操作装置の構成を示す図。

【図5】実施形態の遠隔操作システムの作動に関するフローチャート。

【発明を実施するための形態】

【0018】

本発明の一実施形態を図１～図５を参照して以下に説明する。本実施形態は、例えば、作業機械１０を、オペレータ（操作者）３が遠隔操作装置４０によって遠隔操作し得るように構成された遠隔操作システム１に適用した実施形態である。

【0019】

作業機械１０は、例えば油圧ショベルであり、アタッチメント１１、アーム１２、ブーム１３、旋回体１４及び走行体１５を備えている。走行体１５は、図示例ではクローラ式の走行体であり、図示しない走行用油圧モータにより駆動される。なお、走行体１５は車輪型の走行体であってもよい。

【0020】

旋回体１４は、走行体１５の上側に配置され、図示しない旋回用油圧モータにより走行体１５に対してヨー軸周りに旋回し得るように構成されている。この旋回体１４の後部には、図示しない油圧機器（油圧ポンプ、方向切換弁、作動油タンク等）と、油圧ポンプ等の動力源たる図示しないエンジンとが収容された機械室１４ｂが備えられている。

【0021】

また、作業機械１０は、運転者が搭乗して操縦することも可能な作業機械であり、旋回体１４の前部には、運転室１４ａが備えられている。運転室１４ａには、作業機械１０の操縦用の操作装置１７（図２に示す）が配置されている。該操作装置１７は、図示しない操作レバー、操作ペダル、操作スイッチ等を含む。

【0022】

ブーム１３は、油圧シリンダ１３ａにより旋回体１４に対して揺動し得るように旋回体１４の前部に取付けられ、アーム１２は、油圧シリンダ１２ａによりブーム１３に対して揺動し得るようにブーム１３の先端部に取付けられ、アタッチメント１１は、油圧シリンダ１１ａによりアーム１２に対して揺動し得るようにアーム１２の先端部に取付けられている。なお、図１では、アタッチメント１１として、バケットを例示しているが、アタッチメント１１は、他の種類のアタッチメント（破砕機、ブレーカ、マグネット等）であってもよい。

【0023】

なお、作業機械１０は、上記の走行用油圧モータ、旋回用油圧モータ、及び油圧シリンダ１１ａ，１２ａ，１３ａ以外のアクチュエータ（例えば、ドーザの駆動用の油圧アクチュエータ、破砕機等のアタッチメントに含まれる油圧アクチュエータ等）をさらに含み得る。また、作業機械１０の一部のアクチュエータ（例えば旋回用アクチュエータ）は、電動アクチュエータであってもよい。

【0024】

上記構成の作業機械１０では、エンジンを作動させた状態で操作装置１７の操作レバー又は操作ペダルを操作することで、走行用油圧モータ、旋回用油圧モータ、油圧シリンダ１１ａ，１２ａ，１３ａ等の各アクチュエータを各々作動させ、ひいては、作業機械１０を操縦することができる。この場合、操作装置１７の操作に応じた各アクチュエータの作動は、例えば公知の作業機械と同様に行い得る。

【0025】

そして、本実施形態では、作業機械１０の遠隔操作を可能とするために、図２に示すように、操作装置１７を駆動する電動式の操作駆動装置２１が作業機械１０に搭載されている。この操作駆動装置２１は、複数の電動モータ（図示せず）を有し、運転室１４ａに設置されている。そして、操作駆動装置２１は、操作装置１７に含まれる各操作レバー又は操作ペダルのそれぞれを電動モータにより駆動し得るように操作装置１７に接続されている。なお、操作駆動装置２１は、作業機械１０の遠隔操作を行わない場合には、作業機械１０から取り外し可能に構成されていてもよい。

【0026】

作業機械１０にはさらに、図２に示すように、作業機械１０の動作状態を検出するための動作状態検出器２２と、作業機械１０の周囲の所定の領域を撮影するカメラ２３と、作業機械１０の周囲に存在する物体を検知するための外界センサ２４と、種々の制御処理を実行可能な作業機側制御装置２５と、遠隔操作装置４０側と通信を行うための無線通信装置２６とが搭載されている。

【0027】

動作状態検出器２２は、詳細な図示は省略するが、例えば、アタッチメント１１、アーム１２、及びブーム１３のそれぞれの揺動動作の回転角（又は、油圧シリンダ１１ａ，１２ａ，１３ａのストローク長）を検出する検出器、旋回体１４の旋回角度を検出する検出器、及び、走行体１５の駆動速度を検出する検出器を含む。なお、動作状態検出器２２は、例えば、旋回体１４又は走行体１５の傾斜角を検出する検出器、旋回体１４の角速度又は加速度を検出する慣性センサ等をさらに含み得る。

【0028】

カメラ２３は、例えば、旋回体１４の前方領域を撮影し得るように、運転室１４ａの天井部等に搭載されている。なお、作業機械１０の周囲の複数の領域を撮影し得るように複数のカメラ２３が作業機械１０に搭載されていてもよい。

【0029】

外界センサ２４は、本実施形態における作業機械用周辺監視装置の構成要素である。この外界センサ２４は、例えばカメラ、測距センサ、レーダ等により構成され、旋回体１４の周囲に存在する物体を検出し得るように旋回体１４の周縁部等の複数の箇所に設置されている。なお、上記カメラ２３を外界センサ２４として利用することも可能である。

【0030】

作業機側制御装置２５は、例えば、マイクロコンピュータ、メモリ、インターフェース回路等を含む１つ以上の電子回路ユニットにより構成され、カメラ２３の撮影映像信号や、外界センサ２４及び動作状態検出器２２のそれぞれの検出信号を適宜、取得し得る。また、作業機側制御装置２５は、無線通信装置２６を介して遠隔操作装置４０側と適宜、通信を行うことが可能である。

【0031】

そして、作業機側制御装置２５は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の両方又は一方により実現される機能として、操作装置１７の操作に応じて、あるいは、遠隔操作装置４０側から無線通信装置２６を介して与えられる運転指令に応じて作業機械１０の運転制御を行う運転制御部２５ａとしての機能と、作業機械１０の周囲の所定の対象空間ＡＲ（図３に示す）に人、設置物等の物体が存在する場合に、該物体を検知する周辺物体検知部２５ｂとしての機能とを有する。

【0032】

運転制御部２５ａは、前記操作駆動装置２１の作動制御（ひいては、操作装置１７の操作制御）を行い得ると共に、エンジンの運転制御を行い得る。

【0033】

周辺物体検知部２５ｂは、外界センサ２４の検出信号に基づいて、作業機械１０の周囲の所定の対象空間ＡＲに存在する物体を検知する。この場合、物体の検知を行う対象空間ＡＲは、例えば、図３に示すように、旋回体１４の周囲に設定（定義）された領域である。この対象空間ＡＲは、そこに物体が存在する状態で、作業機械１０を動作させると、該物体と作業機械との接触が生じる虞がある領域として設定される。そして、周辺物体検知部２５は、対象空間ＡＲに図３の例示する如く人等の物体Ｐが存在する場合に、該物体Ｐをその存在位置（作業機械１０に対する相対位置）を含めて検知する。なお、対象空間ＡＲのサイズもしくは形状は、作業機械１０の動作状態に応じて可変的に設定され得る。

【0034】

次に、遠隔操作装置４０について説明する。遠隔操作装置４０は、図４に示すように、オペレータ（図示せず）が着座するシート４１と、作業機械１０の遠隔操作のためにオペレータが操作する操作装置４２と、音響情報（聴覚的情報）の出力装置としてのスピーカ４３、表示情報（視覚的情報）の出力装置としてのディスプレイ４４とを遠隔操作室２内に備える。

【0035】

また、図２に示すように、遠隔操作装置４０は、作業機械１０側と無線通信を行うための無線通信装置４５と、操作装置４２の操作状態を検出するための操作状態検出器４６と、種々の制御処理を実行可能なマスタ側制御装置４７とを備える。なお、無線通信装置４５及びマスタ側制御装置４７は、遠隔操作室２の内部及び外部のいずれに配置されていてもよい。

【0036】

操作装置４２は、例えば、作業機械１０の操作装置１７と同様もしくは類似の構成のものを採用し得る。例えば図４に例示する操作装置４２は、シート４１に着座したオペレータが操作し得るようにシート４１の前側に設置された操作ペダル４２ａｐ付きの操作レバー４２ａ、及び、シート４１の左右のコンソール４１ｂに各々搭載された操作レバー４２ｂ等を含む。ただし、操作装置４２は、作業機械１０の操作装置１７と異なる構成のものであってもよい。例えば操作装置４２は、ジョイスティック、操作ボタン等を有する携帯型の操作装置であってもよい。

【0037】

操作状態検出器４６は、例えば、操作装置４２に組み込まれたポテンショメータ、接点スイッチ等を含み、操作装置４２の各操作部（操作レバー４２ａ，４２ｂ、操作ペダル４２ａｐ等）の操作状態を示す検出信号を出力するように構成されている。

【0038】

スピーカ４３は、例えば、遠隔操作室２の周囲の複数個所、例えば、遠隔操作室２の前部、後部及び左右の両側に配置されている。ディスプレイ４４は、例えば液晶ディスプレイ、ヘッドアップディスプレイ等により構成され、シート４１に着座したオペレータが視認し得るように、シート４１の前方側に配置されている。なお、本実施形態では、スピーカ４３及びディスプレイ４４が本発明における出力装置に相当する。

【0039】

マスタ側制御装置４７は、例えば、マイクロコンピュータ、メモリ、インターフェース回路等を含む１つ以上の電子回路ユニットにより構成され、操作状態検出器４６の検出信号を適宜、取得し得る。また、マスタ側制御装置４７は、無線通信装置４５及び作業機械１０の無線通信装置２６を介して作業機側制御装置２５と適宜、通信を行うことが可能である。この通信より、マスタ側制御装置４７は、操作状態検出器４６で検出された操作装置４２の操作状態により規定される作業機械１０の運転指令を作業機側制御装置２５に送信したり、あるいは、作業機械１０側の種々の情報（カメラ２３による撮影映像、作業機械１０の周囲の物体の検知情報、作業機械１０の動作状態の検出情報等）を、作業機側制御装置２５から受信することが可能である。

【0040】

そして、マスタ側制御装置４７は、実装されたハードウェア構成及びプログラム（ソフトウェア構成）の両方又は一方により実現される機能として、スピーカ４３及びディスプレイ４４を制御する出力情報制御部４７ａとしての機能を有する。該出力情報制御部４７ａは、本発明における制御要素に相当する。

【0041】

次に、本実施形態の遠隔操作システム１の作動を具体的に説明する。遠隔操作室２内のシート４１に着座したオペレータが作業機械１０による作業を開始するために、所定の始動操作（例えば、操作装置４２の図示しない始動スイッチのオン操作、あるいは、音声入力操作）を行うと、これに応じてマスタ側制御装置４７は、作業機側制御装置２５に対して無線通信装置４５，２６を介して始動指令送信する。

【0042】

このとき、作業機側制御装置２５は、上記始動指令の受信に応じて作業機械１０のエンジンを始動する制御処理を運転制御部２５ａにより実行する。そして、作業機側制御装置２５は、エンジンの始動が完了すると、エンジンが始動したことを示すエンジン始動完了情報を無線通信装置２６，４５を介してマスタ側制御装置４７に送信する。また、作業機側制御装置２５は、周辺物体検知部２５ｂにより作業機械１０の周囲の対象空間ＡＲに、人等の物体が存在するか否かを、外界センサ２４の検出信号に基づいて検知する処理を開始する。

【0043】

マスタ側制御装置４７は、上記エンジン始動完了情報を受信すると、作業機械１０のエンジンが始動した旨を示す音声情報をスピーカ４３から出力させ、あるいは、エンジンが始動した旨を示す表示情報をディスプレイ４４に表示させる。これにより、オペレータは、作業機械１０のエンジンが始動したことを認識することができる。

【0044】

さらに、マスタ側制御装置４７は、作業機械１０のカメラ２３による撮影映像（旋回体１４の前方側の撮影映像を含む）を、作業機側制御装置２５との通信により逐次取得（受信）する。そして、マスタ側制御装置４７は、取得した撮影映像をディスプレイ４４に表示させつつ、図５のフローチャートに示す初期監視処理を作業機側制御装置２５との協働で実行する。

【0045】

ＳＴＥＰ１で、マスタ側制御装置４７は、操作状態検出器４６の出力（検出信号）に基づいて、作業機械１０による作業を開始するための初期操作がなされたか否かを逐次判断する。このＳＴＥＰ１では、マスタ側制御装置４７は、例えば、操作装置４２において、作業機械１０のいずれかのアクチュエータの作動用の操作レバー４２ａ又は操作ペダル４２ｂが所定の不感帯域を超える操作量まで操作されたこと、あるいは、該不感帯を超える直前の操作量まで操作されたことが、操作状態検出器４６の出力に基づいて検知された場合に、初期操作がなされたことを検知する。

【0046】

あるいは、ＳＴＥＰ１では、マスタ側制御装置４７は、例えば、作業機械１０に搭載された乗降遮断レバー（図示せず）を下げるための操作を、オペレータが操作装置４２で実行したことが操作状態検出器４６を介して検出された場合に、初期操作がなされたことを検知してもよい。

【0047】

具体的には、例えば、遠隔操作装置４０の操作装置４２にも、作業機械１０の乗降遮断レバーと同様に上下動操作可能な乗降遮断レバーを備えておき、オペレータが操作装置４２の乗降遮断レバーを下げる操作を行うことに応じて、作業機械１０でのレバー操作ロック（作業機械１０の各アクチュエータへの作動油の供給が遮断される状態）が解除されるように、作業機械１０の操作駆動装置２１等を構成しておく。この場合、オペレータが作業機械１０による作業を開始するときには、レバー操作ロックを解除するために、遠隔操作装置４０の乗降遮断レバーを下げる操作を行うので、その操作を初期操作とみなすことができる。

【0048】

あるいは、例えば、操作装置４２において、旋回体１４の旋回動作のロックを解除する操作なされたことが、操作状態検出器４６の出力に基づいて検知された場合に、初期操作がなされたことを検知するようにしてもよい。

【0049】

なお、ＳＴＥＰ１では、例えば、操作装置４２でのエンジンの始動操作を初期操作として検知するようにしてもよい。

【0050】

マスタ側制御装置４７は、ＳＴＥＰ１の判断結果が否定的である場合には、ＳＴＥＰ１の判断処理を逐次繰り返す。また、ＳＴＥＰ１の判断結果が肯定的になった場合（初期操作の実行が検知された場合）には、マスタ側制御装置４７は、ＳＴＥＰ２の処理を実行する。このＳＴＥＰ２では、マスタ側制御装置４７は、作業機械１０の周囲の対象空間ＡＲに人等の物体が存在するか否かを判断する。

【0051】

具体的には、マスタ側制御装置４７は、作業機側制御装置２５の周辺物体検知部２５ｂによる物体の検知情報（現在の検知情報）を作業機側制御装置２５と通信により取得し、該検知情報に基づいて、対象空間ＡＲに人等の物体が存在するか否かを判断する。

【0052】

この場合、マスタ側制御装置４７は、作業機側制御装置２５の周辺物体検知部２５ｂにより対象空間ＡＲに物体が存在することが検知された場合には、そのことを示す検知情報（作業機械１０に対して物体が存在する相対的な位置又は相対的な方位を示す情報を含む）を作業機側制御装置２５から受信し、ひいては、ＳＴＥＰ２の判断結果が肯定的になる。

【0053】

また、マスタ側制御装置４７は、作業機側制御装置２５の周辺物体検知部２５ｂにより対象空間ＡＲに物体が存在することが検知されていない場合には、そのことを示す検知情報を作業機側制御装置２５から受信し、ひいては、ＳＴＥＰ２の判断結果が否定的になる。

【0054】

そして、ＳＴＥＰ２の判断結果が否定的である場合には、マスタ側制御装置４７は、ＳＴＥＰ４の処理を実行し、図５のフローチャートの処理（初期監視処理）を終了する。ＳＴＥＰ４では、マスタ側制御装置４７は、作業機械１０の周囲の対象空間ＡＲに物体が存在しないことを示す音声情報をスピーカ４３から出力させる。例えば、「周囲に障害物は存在しません。」という内容の音声情報が、遠隔操作室２のいずれかの（又は全ての）スピーカ４３から出力される。

【0055】

これによりオペレータは、作業機械１０による作業を支障なく開始できることを容易に認識することができる。また、オペレータは、当該情報を、視線の動きを必要とせずに、音声による聴覚的な情報として認識できるので、ディスプレイ４４に表示されている撮影映像を見ながら作業を開始することを速やかに実行することができる。

【0056】

ＳＴＥＰ２の判断結果が肯定的である場合には、マスタ側制御装置４７は、ＳＴＥＰ３からの処理を実行する。ＳＴＥＰ３では、マスタ側制御装置４７は、作業機械１０の周囲の対象空間ＡＲに物体が存在することを示す音声情報をスピーカ４３から出力させる。この場合、該音声情報には、対象空間ＡＲに存在する物体の、作業機械１０に対する相対的な位置又は方位を示す情報が含まれる。例えば、「右側斜め後方に（又は右側斜め後方の１ｍ以内の位置に）物体が存在します。注意してください。」というような内容の音声情報が、遠隔操作室２のいずれかの（又は全ての）スピーカ４３から出力される。これにより、オペレータは、ディスプレイ４４に表示されている撮影映像に物体が写っていなかったり、あるいは、撮影映像に写っている物体の存在を見落としていても、作業機械１０の周囲の対象空間ＡＲに物体が存在し、また、該物体が、作業機械１０に対してどのあたりの位置あるいは方向に存在するのかを容易に認識するこができる。

【0057】

なお、対象空間ＡＲに存在する物体の種類（人、設置物等）を特定できる場合には、上記音声情報に物体の種類を示す情報を含ませてもよい。

【0058】

また、上記音声情報をスピーカ４３から出力させる処理では、遠隔操作室２に配置された複数のスピーカ４３のうちのどのスピーカ４３から音声情報を出力させるか、あるいは、音声情報を出力させる各スピーカ４３の音量を、対象空間ＡＲにおける物体の存在位置又は存在方向に応じて変化させるようにしてもよい。

【0059】

例えば、対象空間ＡＲに存在することが検知された物体が作業機械１０に近いほど、スピーカ４３から出力させる音声情報の音量を大きくするようにしてもよい。これによりオペレータは、該音声情報の音量に基づいて、作業機械１０に対する物体の近さの程度を認識することができる。

【0060】

また、例えば、オペレータの周囲のスピーカ４３のうち、オペレータとの位置関係が、対象空間ＡＲにおける物体の存在位置又は存在方向に整合するスピーカ４３だけから音声情報を出力させ、あるいは、当該整合するスピーカ４３の音量を他のスピーカ４３の音量よりも大きくするようにしてもよい。具体的には、例えば、対象空間ＡＲのうち、作業機械１０の旋回体１４の右側斜め後方に物体が存在することが検知された場合には、遠隔操作室２内の前後左右のスピーカ４３のうち、右側及び後側のスピーカ４３だけから音声情報を出力させ、あるいは、右側及び後側のスピーカ４３から出力させる音声情報の音量を、左側及び前側のスピーカ４３から出力させる音声情報の音量よりも大きくする。このようにすることで、オペレータは、音声情報が聞こえる方向、もしくは聞こえやすい方向に基づいて、物体が作業機械１０に対してどの方向に存在しているのかを認識することができる。

【0061】

マスタ側制御装置４７は、ＳＴＥＰ３ではさらに、ディスプレイ４４の一部の領域に、作業機械１０の周囲状況を示す俯瞰画像を表示させる。例えば、図３に例示する如く、作業機械１０の俯瞰画像と、その周囲の対象空間ＡＲを示す画像とがディスプレイ４４に表示されると共に、対象空間ＡＲの画像のうちの物体の存在位置に相当する箇所に、該物体Ｐを示すマーカ画像（又は該物体の撮影画像）が表示される。これにより、オペレータは、対象空間ＡＲのうちのどの位置に物体が存在しているのかを、ディスプレイ４４に表示される視覚的な情報により明示的に認識することができる。

【0062】

なお、作業機械１０の俯瞰画像は、ＳＴＥＰ３の処理の実行時に作業機械１０の動作状態検出器２２により検出された該作業機械１０の実際の動作状態に合わせて作成してもよい。例えば、作業機械１０の俯瞰画像における旋回体１４からアタッチメント１１までの距離を、動作状態検出器２２の検出信号に基づいて推定される実際の前後方向距離にほぼ比例させるように俯瞰画像を生成してもよい。また、作業機械１０の俯瞰画像の代わりに、又は該俯瞰画像に加えて、例えば、作業機械１０の鳥瞰画像と、これに対応する対象空間ＡＲの画像と、該対象空間ＡＲで検知された物体の画像とをディスプレイ４４に表示させるようにしてもよい。例えば、図３に例示する如く、対象空間ＡＲに存在する人等の物体Ｐが作業機側制御装置２５の周辺物体検知部２５ｂにより検出された場合に、同図に例示する如き態様で、作業機械１０、対象空間ＡＲ及び物体Ｐの画像をディスプレイ４４に表示させるようにしてもよい。

【0063】

マスタ側制御装置４７は、ＳＴＥＰ３ではさらに、対象空間ＡＲに物体が存在することを示す音声情報をスピーカ４３から出力させた後に、あるいは、該音声情報に連続させて、オペレータが操作装置４２の操作に関して注意すべき注意事項を示す音声情報をスピーカ４３から出力させる。具体的には、マスタ側制御装置４７は、物体の検知に応じてオペレータが実行すべき対応処理を示す音声情報を、上記注意事項を示す情報としてスピーカ４３から出力させる。これに応じてオペレータは適切な対応処理を行うことができる。

【0064】

例えば、「周囲の対象空間から物体を退避（又は除去）した上で、作業を開始してください。」という内容の音声情報が、上記対応処理を示す情報として出力される。このとき、オペレータは、操作装置４２において、作業機械１０の周囲に警報出力を発生させるための所定の操作を行う。

【0065】

これに応じて、マスタ側制御装置４７は、当該警報出力の発生指令を作業機側制御装置２５に送信する。そして、該発生指令を受信した作業機側制御装置２５は、作業機械１０に備えられた図示しないスピーカから、物体を対象空間ＡＲから退避（又は除去）させるための警報音又は警報音声を出力させる。なお、当該警報出力は、警報音又は警報音声等の聴覚的な警報出力に限らず、作業機械１０の周囲への投光等による視覚的（光学的）な警報出力であってもよい。

【0066】

また、例えば、対象空間ＡＲに存在する物体が、固定物等、動かすことが困難な物体である場合には、「作業機械を○○の方向に、○○ｍ程度移動させてください。」というような内容の音声情報をスピーカ４３から出力させるようにしてもよい。この場合、オペレータは、作業機械１０を、音声情報に従って、移動させるように操作装置４２を操作する。このとき、マスタ側制御装置４７は、当該指令に応じた移動指令を作業機側制御装置２５に送信する。そして、該移動指令を受信した作業機側制御装置２５は、運転制御部２５ａにより操作駆動装置２１を制御することで、操作装置１７を操作する。こにより、作業機械１０が上記移動指令に従って移動する。

【0067】

なお、ＳＴＥＰ３において、オペレータが実施すべき対応処理を示す音声情報の代わりに、あるいは、該音声情報に加えて、オペレータが実行すべきでない処理を示す音声情報を、注意事項を示す情報としてスピーカ４３から出力させてもよい。例えば、作業機械１０の旋回体１４の右側後方物体が存在する場合に、「旋回体を左側に（反時計周り側に）旋回させないでください。」という音声情報をスピーカ４３から出力させたり、作業機械１０の真後ろに物体が存在する場合に、「走行体を後退させないでください。」という内容の音声情報をスピーカ４３から出力させるようにしてもよい

【0068】

上記の如き、ＳＴＥＰ３の処理を実行した後、マスタ側制御装置４７は、次に、ＳＴＥＰ５において、対象空間ＡＲから物体が離脱したか否かを逐次判断する。具体的には、マスタ側制御装置４７は、作業機側制御装置２５の周辺物体検知部２５ｂによる物体の検知情報を作業機側制御装置２５と通信により取得し、該検知情報に基づいて、対象空間ＡＲに人等の物体が存在するか否かを逐次判断する。

【0069】

この場合、マスタ側制御装置４７は、作業機側制御装置２５の周辺物体検知部２５ｂにより対象空間ＡＲに物体が存在することが検知されている場合には、そのことを示す検知情報を作業機側制御装置２５から受信し、ひいては、ＳＴＥＰ５の判断結果が否定的になる。この場合には、マスタ側制御装置４７は、ＳＴＥＰ５の判断処理を繰り返す。なお、この場合、ＳＴＥＰ３と同様の音声情報をスピーカ４３から出力させることを間欠的に繰り返すようにしてもよい。また、ＳＴＥＰ３と同様にディスプレイ４４に作業機械１０の俯瞰画像等を表示することを継続してもよい。この場合、対象空間ＡＲ内の物体の移動に応じてディスプレイ４４に表示させる該物体の画像を移動させるようにしてもよい。

【0070】

一方、マスタ側制御装置４７は、作業機側制御装置２５の周辺物体検知部２５ｂにより対象空間ＡＲに物体が存在することが検知されなくなった場合には、そのことを示す検知情報を作業機側制御装置２５から受信し、ひいては、ＳＴＥＰ５の判断結果が否定的になる。この場合には、マスタ側制御装置４７は、ＳＴＥＰ６の処理を実行した上で、図５のフローチャートの処理（初期監視処理）を終了する。

【0071】

ＳＴＥＰ６では、マスタ側制御装置４７は、対象空間ＡＲから物体が離脱したことを示す音声情報をスピーカ４３から出力させる。例えば、「物体が対象空間の外に出ました。」という内容の音声情報がスピーカ４３から出力される。これにより、オペレータは、作業を支障なく開始できる状態になったことを、視線の動きを必要とせずに、音声による聴覚的な情報として認識できるので、ディスプレイ４４に表示される撮影映像を見ながら作業を開始することを速やかに実行することができる。

【0072】

以上の如く、本実施形態によれば、オペレータは、作業機械１０による作業を開始しようとしたときに、作業機械１０の周囲の対象空間ＡＲに物体が存在するのか否かを、スピーカ４３から出力される音声情報により容易に認識することができる。従って、オペレータは、作業機械１０の周囲の状況に対する配慮を行うことの必要性が高い状況で、ディスプレイ４４に表示される作業機械１０の周囲の撮影映像を注意深く観察することを必要とせずに、作業機械１０の周囲の状況（対象空間ＡＲに物体が存在するか否か）を容易に認識することができる。

【0073】

さらに、対象空間ＡＲに物体が存在する場合には、作業機械１０とその周囲の俯瞰画像（又は鳥瞰画像）が物体の画像と共にディスプレイ４４に表示されるので、オペレータは、物体が作業機械１０に対してどのような位置又は方向に存在するのかを容易に認識することができる。

【0074】

また、対象空間ＡＲに物体が存在する場合に、適切な対応処理を示す音声情報がオペレータに対して出力されるので、オペレータは、適切な対応処理をスムーズに実施できる。さらに、対象空間ＡＲに物体が存在しなくなった場合には、そのことを示す音声情報がオペレータに対して出力されるので、オペレータは、スムーズに作業機械１０による作業を開始することができる。

【0075】

なお、本発明は以上説明した実施形態に限定されるものではなく、他の実施形態を採用することもできる。以下に他の実施形態をいくつか例示する。

【0076】

前記実施形態では、オペレータによる操作装置４２の初期操作がなされた場合に、作業機械１０の周囲の対象空間ＡＲに物体が存在することが検知された場合と、物体の存在が検知されない場合とのいずれの場合でも、当該検知結果を示す音声情報を出力するようにした。ただし、例えば、対象空間ＡＲに物体が存在することが検知された場合にだけ、そのことを示す音声情報を出力する（物体が存在することが検知されない場合には、音声情報を出力しない）ようにしてもよい。すなわち、図５のＳＴＥＰ４の処理を省略してもよい。

【0077】

また、物体が対象空間ＡＲに存在することが検知された場合のＳＴＥＰ３の処理で、作業機械１０の周囲状況を示す俯瞰画像（又は鳥瞰画像）をディスプレイ４４に表示すること、あるいは、対応処理を示す音声情報を出力することを省略してもよい。また、ＳＴＥＰ５，６の処理（物体が対象空間ＡＲから離脱した場合に、その旨を示す音声情報を出力する処理）を省略してもよい。

【0078】

また、前記実施形態では、初期操作として、作業機械１０の作業開始時における操作装置４２の操作レバーの操作、エンジンの始動操作、あるいは、レバー操作ロックの解除操作等を例示したが、これらの操作の組み合わせにより初期操作を検知してもよい。例えば、作業の開始時には、エンジンの始動操作と、レバー操作ロックの解除操作が行われるで、これらの両方の操作を検出することで、初期操作を検出するようにしてもよい。また、作業開始後には、作業機械１０のアクチュエータの作動用の操作レバーの操作の初期段階を検出することで、初期操作を検出するようにしてもよい。

【0079】

また、前記実施形態では、作業機械１０による作業の途中で遠隔操作装置４０の操作装置４２の操作が一時的に中立状態（無操作状態）になった場合、あるいは、作業機械１０の走行や旋回体１４の旋回の操作後に間をおいてアタッチメント１１の操作に移行する場合等において、その都度、初期操作が検知されて、物体の有無が検知される。ただし、操作装置４２での操作入力が無い時間が所定の短時間である場合には、操作装置４２の操作が継続しているものとみなし、所定の短時間内に再び操作入力があっても、当該操作を初期操作と判断しないようにしてもよい。

【0080】

また、前記実施形態では、作業機械１０として油圧ショベルを例示したが、本発明における作業機械は、クレーン、林業機械等の作業機械であってもよい。また、作業機械１０は、遠隔操作専用の作業機械であってもよい。

【0081】

また、前記実施形態では、作業機械１０の遠隔操作システム１を例示したが、本発明は、オペレータが搭乗で操縦する作業機械についても適用することができる。この場合、作業機械の操作装置による初期操作を、例えば、該操作装置の操作に応じて発生するパイロット圧の検出値に基づいて検知するようにしてもよい。

【符号の説明】

【0082】

１０…作業機械、２５ｂ…周辺物体検知部、４２…操作装置、４３…スピーカ（出力装置）、４４…ディスプレイ（出力装置）、４６…操作状態検出器

【図1】

【図2】

【図3】

【図4】

【図5】