特許 7332868 作業機械周辺監視システム、作業機械周辺監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-16

(45)【発行日】2023-08-24

(54)【発明の名称】作業機械周辺監視システム、作業機械周辺監視プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230817BHJP

   E02F 9/26 20060101ALI20230817BHJP

   B60R 1/20 20220101ALI20230817BHJP

【ＦＩ】

H04N7/18 V

E02F9/26 A

B60R1/20 100

H04N7/18 J

【請求項の数】 3

(21)【出願番号】P 2019137461

(22)【出願日】2019-07-26

(65)【公開番号】P2021022804

(43)【公開日】2021-02-18

【審査請求日】2022-05-10

(73)【特許権者】

【識別番号】000002059

【氏名又は名称】シンフォニアテクノロジー株式会社

(74)【代理人】

【識別番号】100130498

【弁理士】

【氏名又は名称】佐野 禎哉

(72)【発明者】

【氏名】小林 健

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１０－２０４８２１（ＪＰ，Ａ）

【文献】特開２０１９－０４９９１８（ＪＰ，Ａ）

【文献】特開２０００－１１６６３７（ＪＰ，Ａ）

【文献】特開２００３－１５３０８２（ＪＰ，Ａ）

【文献】特開２０１４－１７２４１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｅ０２Ｆ ９／２６

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／００

Ｂ６０Ｒ ２１／０００

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

作業機械に取り付けられる撮像装置の映像を取り込んでオペレータが視認可能な表示部に出力可能なコントローラを備え、
前記コントローラが、
前記撮像装置の現在映像及び停止時点映像メモリに記憶している停止時点映像を第１透過率で合成した第１透過率合成映像と、前記現在映像及び前記停止時点映像を前記第１透過率とは異なる透過率である第２透過率で合成した第２透過率合成映像とを所定の周期で切り換えて合成した透過率切換映像を作り出す透過率切換映像合成部を備えたものであり、
前記第２透過率における前記現在映像の透過率を前記第１透過率における前記現在映像の透過率よりも相対的に低く設定するとともに、前記第２透過率における前記停止時点映像の透過率を前記第１透過率における前記停止時点映像の透過率よりも相対的に高く設定することによって、停止時点以降の映像の変化が点滅表示または濃淡表示として現れる前記透過率切換映像を前記表示部に出力表示させるように構成したことを特徴とする作業機械周辺監視システム。

【請求項2】

前記コントローラが、さらに、
前記作業機械が移動中であるのか、または停止中であるのかを判定する判定部を備えたものであり、
前記判定部による判定結果が移動中である場合にのみ、当該判定時点における現在映像を停止時点映像として前記停止時点映像メモリに記憶させて前記停止時点映像を更新する請求項１に記載の作業機械周辺監視システム。

【請求項3】

コンピュータを、作業機械の周辺状況を監視する作業機械周辺監視システムとして実行させるソフトウェアプログラムであって、
撮像装置の現在映像及び停止時点映像メモリに記憶している停止時点映像を第１透過率で合成した第１透過率合成映像と、前記現在映像及び前記停止時点映像を前記第１透過率とは異なる透過率である第２透過率で合成した第２透過率合成映像とを所定の周期で切り換えて合成した透過率切換映像を作り出す透過率切換映像合成ステップと、
前記透過率切換映像合成ステップで合成した透過率切換映像を表示部に出力表示する透過率切換映像出力ステップと、
を含み、
前記第２透過率における前記現在映像の透過率が前記第１透過率における前記現在映像の透過率よりも相対的に低く設定されるとともに、前記第２透過率における前記停止時点映像の透過率が前記第１透過率における前記停止時点映像の透過率よりも相対的に高く設定されていることによって、前記透過率切換映像出力ステップでは、停止時点以降の映像の変化が点滅表示または濃淡表示として現れる前記透過率切換映像を前記表示部に出力表示することを特徴とする作業機械周辺監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械等の作業機械の周囲を監視するシステム、及び作業機械周辺監視プログラムに関するものである。

【背景技術】

【0002】

例えば、下部走行体と、この下部走行体に旋回自在に装着される上部旋回体とを備えた油圧ショベル等、各種作業に特化した構造を有する作業機械（建設機械）では、操縦室に作業者（オペレータ）が乗り込んで操作レバー等の走行用操作部を操作することによって、車両を前進、後退、或いは旋回することができる。このような操作を行う場合、オペレータは、目視したり、車両の適宜箇所に設けたカメラによる映像を運転室内に設けたモニタで見ることで、車両周辺の状況を把握し、車両の動く方向に人や障害物が無いことを確認しているのが通常である。

【0003】

この場合、目視不能または目視し難い周辺状況をカメラ映像によるモニタ表示で確認する場合、モニタに表示された映像中のオブジェクト（人や物等、被写体や対象物と同義）が静止しているのか、移動しているのかを正確に把握するためには、しばらくモニタを見続けて注視する必要があり、速やかな操縦の妨げになる。また、モニタに表示された移動中のオブジェクトを静止中のオブジェクトと誤認識したり、移動中のオブジェクトを見落とした場合には、重大な事故に直結し得る。

【0004】

そこで、例えば、過去の一定時間における周辺状況の変化（オブジェクトの動き）を把握することが可能な監視装置を利用することで、上述のような事故を回避することが期待できる。下記特許文献１には、停車時の映像と発車時の映像を比較し、その比較結果に基づいて差異を出力する周辺監視装置が開示されている。

【0005】

特許文献１には、監視装置の具体的な構成として、停車時における車両の周辺の状況を示す俯瞰画像を生成してメモリに保存し、停車からの発進時における現在の車両の周辺の状況を示す現在の俯瞰画像を生成し、メモリに保存されている俯瞰画像（停車時における車両の周辺の状況を示す俯瞰画像）を読み出し、生成された現在の俯瞰画像と、読み出された過去の俯瞰画像とを比較し、この比較結果に基づき、現在の俯瞰画像と、停車時の俯瞰画像との差分を示す差分画像を表示装置に強調表示する構成が記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－１９６２１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の監視装置であれば、差分が抽出された領域を、現在の映像上で強調表示するものであるため、強調表示される領域の停車中における変化や動きが把握できないという問題がある。

【0008】

また、特許文献１に記載の監視装置であれば、停車時の映像と現在の映像を比較する処理、さらにその比較結果に基づき映像を合成する処理が必要であり、演算負荷が高くリアルタイムに表示するためには高速な演算性能が必要である。

【0009】

本発明は、このような課題に着目してなされたものであって、主たる目的は、作業機械に適用可能な周辺監視システムであって、演算負荷が低く、高速な演算性能が要求されることなくリアルタイムで表示する映像によって、停車中に生じた周辺状況の変化の認識が瞬時にできる周辺監視システムを提供することである。

【課題を解決するための手段】

【0010】

すなわち、本発明に係る作業機械周辺監視システムは、作業機械に取り付けられる撮像装置の映像を取り込んでオペレータが視認可能な表示部に出力可能なコントローラを備え、コントローラとして、撮像装置の現在映像及び停止時点映像メモリに記憶している停止時点映像を第１透過率で合成した第１透過率合成映像と、現在映像及び停止時点映像を第２透過率で合成した第２透過率合成映像とを所定の周期で切り換えて合成した透過率切換映像を作り出す透過率切換映像合成部を備えたものを適用し、透過率切換映像を表示部に出力表示させるように構成したことを特徴としている。

【0011】

このような、本発明に係る作業機械周辺監視システムであれば、撮像装置の現在の映像（現在映像）と停止時点映像メモリに記憶している停止時点の映像（停止時点映像）を第１透過率で重ね合わせて合成した第１透過率合成映像と、第１透過率とは異なる第２透過率で重ね合わせて合成した第２透過率合成映像とが所定の周期で切り換わる映像を、オペレータが視認可能な表示部に出力表示させるように構成しているため、変化の無い映像の部位は現在映像と同じ映像で表示し、現在映像中にのみ表れた変化や現在映像中から無くなった変化の映像部位を点滅または濃淡で表示部に表示できる。したがって、このような透過率切換映像が表示部に表示されることで、オペレータは点滅映像または濃淡映像として映る部分が、停車中に変化があった部分であると直感的に認識でき、表示部に表示された映像中のオブジェクトを注視し続ける必要がなく、速やかに操縦を開始することができる。

【0012】

加えて、本発明に係る作業機械周辺監視システムでは、現在映像と停止時点映像という時間経過の異なる映像を所定の透過率（第１透過率、第２透過率）で重ね合わせた映像（第１透過率合成映像、第２透過率合成映像）を所定の周期で切り換える映像（透過率切換映像）を利用しているため、停止時点の映像と停止状態が解除された時点の映像を比較し、その比較結果に基づいて差異を出力する構成と比較して、演算負荷が各段に低減し、高度な演算性能が要求されない点においても優れている。

【0013】

ところで、作業機械の移動中にあっては、操縦者は現在映像を確認できれば十分であり、過去の停止時点から現時点までの変化を把握する必要性は乏しく、表示部に変化のあった部位が点滅表示されたり、濃淡表示されることによるメリットは少ない。

【0014】

そこで、本発明に係る作業機械周辺監視システムにおいて、コントローラが、さらに、作業機械が移動中であるのか、または停止中であるのかを判定する判定部を備えたものであり、判定部による判定結果（作業機械の移動の有無）に応じて、停止時点映像が映る透過率切換映像が表示部に表示されたり、表示されないように設定することが好ましい。具体的には、判定部による判定結果が移動中である場合にのみ、当該判定時点における現在映像を停止時点映像として停止時点映像メモリに記憶して停止時点映像を更新するように設定すれば、作業機械が移動中であるとの判定結果の場合に現在映像のみが映り、停止時点映像が点滅映像または濃淡映像として映らないようにすることが可能になる。これにより、作業機械の移動中と作業機械の停止中とで表示部に表示する映像を異ならせることができ、特に作業機械が移動中である場合に点滅映像または濃淡映像が表示されることで却って適切な表示がされず、操縦の妨げになるという不都合を回避することができる。

【0015】

また、本発明に係る作業機械周辺監視プログラムは、コンピュータを、作業機械の周辺状況を監視する作業機械周辺監視システムとして実行させるソフトウェアプログラムであって、撮像装置の現在映像及びと停止時点映像メモリに記憶している撮像装置の停止時点映像を第１透過率で合成した第１透過率合成映像と、現在映像及び停止時点映像を第２透過率で合成した第２透過率合成映像とを所定の周期で切り換えて合成した透過率切換映像を作り出す透過率切換映像合成ステップと、透過率切換映像合成ステップで合成した透過率切換映像を表示部に出力表示する透過率切換映像出力ステップとを含むことを特徴としている。

【0016】

このような作業機械周辺監視プログラムによれば、停止時点以降に表れた変化や無くなった変化を表示部に表示された透過率切換映像から容易に特定することができ、さらに演算処理時の負荷の低減化も実現できる。

【発明の効果】

【0017】

本発明によれば、撮像装置の現在映像と停止時点映像を複数パターンの透過率で所定の周期で重ねて合成した透過率切換映像を出力する機能を発揮し、停止時点以降の映像の変化が通常表示とは異なる強調表示（点滅表示または濃淡表示）として現れる透過率切換映像に基づいて、作業機械が一時停止してから次に動き出すまでの時間経過による変化をオペレータが瞬時に認識可能な作業機械周辺監視システムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係る作業機械周辺監視システムの適用例を模式的に示す図。

【図2】同実施形態に係る作業機械周辺監視システムの全体構成図。

【図3】同実施形態に係る作業機械周辺監視プログラムのフローチャート。

【図4】同実施形態における映像合成処理の具体例を示す図。

【発明を実施するための形態】

【0019】

以下、本発明の一実施形態を、図面を参照して説明する。

【0020】

本実施形態に係る作業機械周辺監視システムＸは、図１に示すように、例えば油圧ショベル（バックホーとも称される）等の作業機械Ｈの周辺を監視する用途で利用可能なものである。作業機械周辺監視システムＸは、作業機械Ｈに取り付けられた撮像装置Ｉの映像を取り込んで出力先に出力可能なコントローラＣを備えている。本実施形態に用いる撮像装置Ｉは、一般的な車載カメラである。撮像装置Ｉを作業機械Ｈに取り付ける位置は、操縦室Ｈ１に入室中のオペレータから見えない範囲（死角）や見えにくい範囲を撮像可能な位置であれば特に限定されず、本実施形態では、油圧ショベルＨの後方の所定範囲を撮像可能な位置に撮像装置Ｉを取り付けている。なお、図１では、作業機械周辺監視システムＸの実施に用いる機器（撮像装置Ｉや後述する表示部Ｄ）をそれぞれ誇張して模式的に示している。

【0021】

コントローラＣは、図１及び図２に示すように、現在映像記憶部１と、透過率切換映像合成部２と、透過率切換映像出力部３と、作業機械状態判定部４（本発明の「判定部」に相当）と、パラメータ設定部５と、停止時点映像記憶部６と、透過率切換映像記憶部７とを備えたものである。

【0022】

現在映像記憶部１は、適宜の手段で取り込んだ撮像装置Ｉの現在の映像（以下、現在映像）を現在映像メモリＭ１に記憶するものである。現在映像メモリＭ１には揮発性メモリを採用している。

【0023】

透過率切換映像合成部２は、撮像装置Ｉの現在映像と停止時点映像メモリＭ２に記憶している停止時点映像を、所定の周期で透過率を切り換えて合成するものである。具体的に、本実施形態の透過率切換映像合成部２は、２つの透過率（第１透過率と第２透過率）を所定の周期で切り換えて合成した映像（透過率切換映像）を作り出すものであり、第１透過率と第２透過率は相互に異なる値に設定されている。

【0024】

透過率切換映像出力部３は、透過率切換映像合成部２で合成した透過率切換映像を表示部Ｄに出力表示するものである。本実施形態では、操縦室Ｈ１内に設けた表示部であるモニタＤに透過率切換映像を出力表示するように構成している（図１参照）。したがって、操縦室Ｈ１内においてオペレータは、モニタＤに画面表示された透過率切換映像を見ることできる。

【0025】

作業機械状態判定部４は、作業機械Ｈが移動中であるか、停止中であるかを特定可能な情報（以下、作業機械移動情報）を外部入力として受け付け、作業機械Ｈが移動中であるのか、または停止中であるのかを判定するものである。ここで、作業機械Ｈとして油圧ショベルを適用している本実施形態における作業機械Ｈの移動には、油圧ショベルＨの前進、後退、旋回（クローラＨ２を含む下部フレームＨ３に対して操縦室Ｈ１を含む上部フレームＨ４が旋回するする動き）、ブームＨ５の上げ下げ、アームＨ６の曲げ伸ばし、バケットＨ７の掘削位置と開放位置の移動が含まれる。また、作業機械移動情報は、例えば操縦室Ｈ１内のオペレータによる操縦状態を検知した信号を利用する。

【0026】

パラメータ設定部５は、作業機械状態判定部４による判定結果（作業機械移動有無情報）に応じて、当該判定時点に対応する現在映像を停止時点映像メモリＭ２に停止時点映像として記憶するか否かを設定するものである。また、本実施形態のパラメータ設定部５は、透過率切換映像合成部２における複数パターンの透過率（第１透過率、第２透過率）や、透過率切換映像合成部２における透過率切換時間周期Ｔ１も設定する。

【0027】

透過率切換映像記憶部７は、透過率切換映像合成部２で合成した映像（透過率切換映像）を透過率切換映像メモリＭ３に記憶するものである。透過率切換映像メモリＭ３は、現在映像メモリＭ１と同様に揮発性メモリである。

【0028】

停止時点映像記憶部６は、作業機械移動有無情報に応じて停止時点映像メモリＭ２に停止時点映像を記憶するものである。本実施形態では、作業機械が停止中であると判定した場合にのみ、当該判定時点の現在映像を停止時点映像として停止時点映像メモリＭ２に記憶している。停止時点映像メモリＭ２は、現在映像メモリＭ１と同様に揮発性メモリとしている。

【0029】

次に、このような機能を発揮するコントローラＣによって制御される本実施形態に係る作業機械周辺監視装システムＸの映像処理フロー及び作用効果を図３及び図４等を用いて説明する。図３は、作業機械Ｈに搭載したコンピュータを作業機械周辺監視システムＸとして実行させるソフトウェアプログラムである作業機械周辺監視プログラムのフローチャートである。このコンピュータは、コントローラＣにその構成要素として備えられたもの又はコントローラＣ自体の何れかである。図４は、本実施形態に係る作業機械周辺監視システムＸで映像処理を行った際にモニタＤに表示される透過率切換映像の変化の一例を、現在映像及び停止時点映像の変化と共に示したものである。

【0030】

先ず、作業機械Ｈの移動中または停止中に関わらず、本実施形態の監視システムＸは、撮像装置Ｉで撮像した映像を現在映像として、現在映像記憶部１によって現在映像メモリＭ１に記憶し（現在映像記憶ステップＳ１）、作業機械状態判定部４によって作業機械Ｈが移動中または停止中の何れの状態であるかを判定する（作業機械移動有無判定ステップＳ２）。なお、撮像装置Ｉで撮像した映像である現在映像は、適宜の手段でコントローラＣに取り込まれ、現在映像メモリＭ１に記憶される。

【0031】

作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、本実施形態に係る作業機械周辺監視システムＸは、パラメータ設定部５によって、移動状態に関するパラメータ（停止中／移動中）を停止中に設定する。一方、作業機械移動有無判定ステップＳ２において、作業機械Ｈが移動中であると判定した場合、パラメータ設定部５によって、移動状態に関するパラメータを移動中に設定する。移動状態に関するパラメータが移動中に設定されると、現在点映像を停止時点映像として停止時点映像メモリＭ２に記憶して常時更新する処理を経る（パラメータ設定ステップＳ３）。また、作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、透過率切換映像合成部２における複数パターンの透過率（第１透過率、第２透過率）や透過率切換時間周期Ｔ１を設定する。一方、作業機械Ｈが移動中であると判定した場合、パラメータ設定部５によって、映像合成部２における透過率を０パーセントに設定する（パラメータ設定ステップＳ３）。

【0032】

作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、停止時点映像記憶部６によって、現在映像メモリＭ１に記憶している現在映像を停止時点映像メモリＭ２に停止時点映像として記憶する（停止時点映像記憶ステップＳ４）。

【0033】

そして、本実施形態に係る作業機械周辺監視システムＸは、透過率切換映像合成部２によって、現在映像と停止時点映像を、複数パターンの透過率を所定の周期で切り換えて合成する（透過率切換映像合成ステップＳ５）。具体的に、透過率切換映像合成ステップＳ５では、パラメータ設定部５によって設定した透過率切換時間周期及び複数パターンの透過率（第１透過率、第２透過率）に基づいて、現在映像メモリＭ１に記憶している現在映像と停止時点映像メモリＭ２に記憶している停止時点映像（更新された直近の停止時点映像）を、複数パターンの透過率を透過率切換時間周期Ｔ１で切り換えて合成する処理を行う。本実施形態では、透過率切換時間周期Ｔ１を０．５秒に設定し、第１透過率として、現在映像を５０％、停止時点映像を５０％に設定し、さらに、第２透過率として、現在映像を０％、停止時点映像を１００％に設定して、合成する処理を行う。

【0034】

続いて、本実施形態に係る作業機械周辺監視システムＸは、透過率切換映像合成ステップＳ５で合成した映像（透過率切換映像）を透過率切換映像記憶部６によって透過率切換映像メモリＭ３に記憶する（透過率切換映像記憶ステップＳ６）。また、透過率切換映像を透過率切換映像出力部３によって出力する（透過率切換映像出力ステップＳ７）。本実施形態では、操縦室Ｈ１に設けたモニタＤに透過率切換映像を出力表示するように設定しているため、オペレータはモニタＤで透過率切換映像を確認することができる。

【0035】

このように、本実施形態では、異なる２パターンの透過率を所定の周期で合成することにより、透過率切換映像では、現在映像及び停止時点映像の両方に映っているオブジェクトと現在映像に映っているオブジェクトが交互に表示される。一方、作業機械Ｈが移動中であると判定した場合、現在映像を停止時点映像として常時更新し、透過率切換映像に現在映像とは異なる映像が映り込むことがないように設定している。

【0036】

次に、停止中の作業機械Ｈの周辺（撮像装置Ｉの撮像範囲内）においてトラックＬが消えた際や人物Ｗが現れた際の現在映像、停止時点映像、透過率切換映像の関係を時系列で示す図４を参照して説明する。

【0037】

まず、図４の経過時間ＴＬ１の映像は、停止時点映像（例えばモニタＤに前回画面表示していた確認済み映像）と現在映像が同じ状態である時点の映像である。この時点において本実施形態の作業機械周辺監視システムＸによる映像処理を行うと、撮像装置Ｉで撮像した現在映像は停止時点映像と比較して変化が無く、現在映像及び停止時点映像を第１透過率（現在映像５０％、停止時点映像５０％）で合成した映像と、現在映像及び停止時点映像を第２透過率（現在映像０％、停止時点映像１００％）で合成した映像は同様の映像になる。これらの映像を所定の周期（０．５秒）で切り換えて合成した透過率切換映像は、現在映像と同じ映像になる。このような透過率切換映像が、モニタＤに表示される。

【0038】

図４の経過時間ＴＬ２の映像は、停止時点映像では画面右上に映っていたトラックＬが移動して現在映像では画面から無くなった（移動して消えた）時点の映像である。この場合、現在映像と停止時点映像において映像の変化があった部分は、現在映像では映っていないトラックＬである。本実施形態では、第１透過率や第２透過率を０．５秒周期で切り換えて合成した透過率切換映像をモニタＤに出力表示すると、現在映像から消えたトラックＬ（消失変化があったトラックＬ）は、透過率５０％と透過率１００％で切り替わる点滅映像として表示される。すなわち、トラックＬは、透過率切換映像において点滅する映像として映り、モニタＤに点滅表示される。一方、現在映像と停止時点映像で変化が無いフェンスＦは、経過時間ＴＬ１の時点の場合と同様に現在映像と同じ表示であり、透過率切換映像において濃淡や点滅しない映像（通常映像）として映り、モニタＤに通常表示される。

【0039】

図４の経過時間ＴＬ３の映像は、停止時点映像では映っていなかった人物Ｗが作業機械Ｈの周辺（撮像装置Ｉの撮像範囲内）に現れた時の映像であり、現在映像の右端辺りに人物Ｗが映っている。この場合、現在映像と停止時点映像において映像の変化があった部分は、現在映像にのみ映っている人物Ｗと、停止時点映像にのみ映っているトラックＬである。本実施形態では、第１透過率や第２透過率を０．５秒周期で切り換えて合成した透過率切換映像をモニタＤに出力表示すると、現在映像にのみ現れた人物Ｗ（出現変化があった人物Ｗ）は、透過率５０％と透過率０％で切り替わる濃淡映像として表示される。すなわち、人物Ｗは、透過率切換映像において濃淡が変化する映像として映り、モニタＤに濃淡表示される。一方、経過時間ＴＬ３の時点においても現在映像から消えているトラックＬは、経過時間ＴＬ２の時点の場合と同様に、透過率５０％と透過率１００％で切り替わる点滅映像として表示され、透過率切換映像において点滅する映像として映り、モニタＤに点滅表示される。なお、現在映像と停止時点映像で変化が無いフェンスＦは、経過時間ＴＬ１の時点の場合と同様に現在映像と同じ表示であり、透過率切換映像において濃淡やや点滅しない映像（通常映像）として映り、モニタＤに通常表示される。

【0040】

図４の経過時間ＴＬ４の映像は、人物Ｗが経過時間ＴＬ３の時点からさらに移動した時点の映像であり、現在映像の左端辺りに人物Ｗが映っている。この場合、モニタＤに表示される透過率切換映像は、経過時間ＴＬ３の映像と比較して、人物Ｗの位置だけが異なり、人物Ｗが濃淡表示される点、トラックが点滅表示される点、フェンスＦが通常表示される点は経過時間ＴＬ３の映像と同じである。

【0041】

このように、本実施形態に係る作業機械周辺監視システムＸ及び作業機械周辺監視プログラムによれば、現在映像と停止時点映像を第１透過率と第２透過率を所定の周期で合成した透過率切換映像を出力することで、図４に示すように、現在映像と停止時点映像で映像に変化があった部分を、モニタＤに点滅表示または濃淡表示できる。したがって、このような透過率切換映像がモニタＤに表示されることで、オペレータは点滅表示または濃淡表示（半透明表示）された部分が停止時点の映像から変化した部分であると直感的に認識できる。また、映像に変化があった部分について、停止中に作業機械Ｈの周辺（撮像装置Ｉの撮像範囲内）から移動したオブジェクトを点滅表示して、停止中に作業機械Ｈの周辺に現れたオブジェクトを濃淡表示することにより、停止中における作業車両Ｈの周辺の状況を把握することができる。

【0042】

本実施形態に係る作業機械周辺監視システムＸでは、一般的な映像処理（例えば背景映像との差分を切り出して記憶し、且つその差分を背景映像と合成する映像処理）と比較して、背景映像との差分を切り出す処理や、時系列の映像と差分の映像等を記憶するためのメモリが不要であるため、演算負荷やハードウェア面での負荷が各段に低くなり、高度の演算性能が要求されず、高速にアクセスできる大容量のメモリが不要である点においても有利である。特に、本実施形態に係る作業機械周辺監視システムＸでは、撮像装置Ｉに映り込んだ映像を現在映像や停止時点映像として利用して合成した透過率切換映像をモニタＤに表示する構成であるため、現在映像と停止時点映像で自然に生じる差分を含む映像全体をモニタＤに表示することになり、映像内のオブジェクトの認識は不要であり、シーンや状況に依らない汎用的な作業機械周辺監視システムを簡易に組むことができる。つまり、本実施形態に係る作業機械周辺監視システムＸは、例えば夜間の作業など光が少量の場合でも、現在映像または停止時点映像に映っているオブジェクトであれば、その変化の有無を点滅表示または濃淡表示、あるいは通常表示によって認識することが可能である。

【0043】

また、本実施形態に係る作業機械周辺監視システムＸでは、作業機械Ｈが停止中であると判定した場合、当該判定時点における現在映像を停止時点映像として停止時点映像メモリに記録しないように設定する一方、作業機械Ｈが移動中であると判定した場合、当該判定時点における現在映像を停止時点映像として停止時点映像メモリに記憶させて常時更新している。これは、作業機械Ｈの移動中は現在映像と停止時点映像の映像全体が常に変化するため、作業機械Ｈが停止中の場合と同じ映像合成処理を行うと、映像全体が半透明の残像となり、適切なモニタ表示がされず、操縦の妨げになることを考慮している。

【0044】

以上に詳述したように、本実施形態に係る作業機械周辺監視システムＸは、停止時点の映像と現在映像を異なる透過率で重ねて所定の周期で繰り返し表示することで、変化の無い映像の部位は現在映像と同じ映像として出力表示し、現在映像にのみ出現した映像の部位や、現在映像から消えた映像の部位は、点滅または濃淡により強調表示で可視化することができる。

【0045】

以上、本発明の実施形態について説明したが、本発明は上記実施形態の構成に限られるものではない。例えば、上述の実施形態では、作業機械として油圧ショベルを例示したが、油圧ショベル以外の作業機械（建設機械、農林作業機械等、特定の用途で特殊な性能を発揮する機械、あるいは船や飛行機以外の各種車両）にも本発明の周辺監視システムを適用することができる。

【0046】

また、上述の実施形態では、作業機械移動情報として、撮像装置Ｉで取り込んだ映像を利用することも可能である。この場合、外部システムに依拠しない監視システムを構築できる。また、作業機械移動情報として、ＧＰＳによる位置情報、加速度センサによる振動、ポテンショメータによる機構位置などを利用してもよい。

【0047】

１機（１台）の作業機械に複数の撮像装置を取り付け、各撮像装置の映像ごとに個別に透過率切換映像処理を実施してもよいし、各撮像装置の現在の映像であって且つ同時刻の映像をまとめて透過率切換映像処理を実施してもよい。オペレータが視認可能なモニタの数も複数設定しても構わない。

【0048】

上述の実施形態における第１透過率や第２透過率は一例であり、透過率の値は適宜変更することができる。例えば、第２透過率の停止時点映像の透過率を第１透過率の停止時点映像の透過率よりも低く設定して、停止時点の映像から変化があった部分について、停止中に作業機械Ｈの周辺（撮像装置Ｉの撮像範囲内）から移動したオブジェクトを薄い濃淡表示して、停止中に作業機械Ｈの周辺に現れたオブジェクトを濃い濃淡表示することにより、停止中における作業車両Ｈの周辺の状況を把握することも可能である。また、透過率切換時間の値も適宜変更することができる。

【0049】

さらには、３以上の透過率パターンを所定の周期で切り換えて合成した映像を透過率切換映像として利用してもよいし、複数の透過率切換時間周期を設定してもよい。この場合、現在映像と停止時点映像で映像に変化があった部分を滑らかに点滅表示または濃淡表示でき、フリッカーなどによる作業者の負担が軽減されため、停止時点の映像から変化した部分をより直感的に認識できる。

【0050】

同じ場所に所定時間以上（長時間）停車し続ける場合には、停車中の時点における現在映像を停止時点映像として停止時点映像メモリに記憶して更新し、停止時点映像をリセット可能に構成することもできる。

【0051】

表示部として、モニタ以外に、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）を適用してもよい。

【0052】

その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

【符号の説明】

【0053】

２…透過率切換映像合成部
３…透過率切換映像出力部
４…判定部（作業機械状態判定部）
Ｃ…コントローラ
Ｄ…表示部（モニタ）
Ｈ…作業機械
Ｉ…撮像装置
Ｍ２…停止時点映像メモリ
Ｘ…作業機械周辺監視システム

【図1】

【図2】

【図3】

【図4】