特開 2020-180466 作業機械周辺監視システム、作業機械周辺監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-180466(P2020-180466A)

(43)【公開日】2020年11月5日

(54)【発明の名称】作業機械周辺監視システム、作業機械周辺監視プログラム

(51)【国際特許分類】

   E02F 9/26 20060101AFI20201009BHJP

   G06T 5/50 20060101ALI20201009BHJP

   H04N 7/18 20060101ALI20201009BHJP

【ＦＩ】

   E02F9/26 A

   G06T5/50

   H04N7/18 J

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】12

(21)【出願番号】特願2019-83603(P2019-83603)

(22)【出願日】2019年4月25日

(71)【出願人】

【識別番号】000002059

【氏名又は名称】シンフォニアテクノロジー株式会社

(74)【代理人】

【識別番号】100130498

【弁理士】

【氏名又は名称】佐野 禎哉

(72)【発明者】

【氏名】小林 健

【テーマコード（参考）】

2D015

5B057

5C054

【Ｆターム（参考）】

2D015HA03

5B057AA19

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5C054CC02

5C054FD00

5C054FE12

5C054GB01

5C054HA30

(57)【要約】      （修正有）

【課題】作業機械に適用可能な周辺監視システムであって、時間経過による変化の認知ができるとともに、監視映像の記録において少ないメモリ容量でより長時間の映像を、映像の欠落を伴うことなく記録することが可能な周辺監視システムを提供する。
【解決手段】作業機械に取り付けられる撮像装置Ｉの映像を取り込んで出力先に出力可能なコントローラＣを備え、コントローラＣが、撮像装置Ｉの現在映像と過去映像メモリに記憶している過去映像を所定の透過率で合成する映像合成部２と、映像合成部２で合成した映像を出力する合成映像出力部３とを備えたものであり、合成映像出力部３から出力した合成映像をオペレータが視認可能な表示部Ｄに表示させるように構成した。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業機械に取り付けられる撮像装置の映像を取り込んで出力先に出力可能なコントローラを備え、
前記コントローラが、
前記撮像装置の現在映像と過去映像メモリに記憶している過去映像とを所定の透過率で合成する映像合成部と、
前記映像合成部で合成した映像を出力する合成映像出力部とを備えたものであり、
前記合成映像出力部から出力した合成映像をオペレータが視認可能な表示部に表示させるように構成したことを特徴とする作業機械周辺監視システム。

【請求項2】

前記コントローラが、さらに、
前記作業機械が移動中であるのか、または停止中であるのかの判定結果に応じて前記透過率を設定するパラメータ設定部を備えたものである請求項１に記載の作業機械周辺監視システム。

【請求項3】

前記コントローラが、さらに、
前記映像合成部で合成した映像を合成映像メモリに記憶する合成映像記憶部と、
前記合成映像メモリに記憶している合成映像を所定の時間周期で前記過去映像メモリに記憶する過去映像記憶部とを備えたものである請求項１または２に記載の作業機周辺監視システム。

【請求項4】

前記コントローラが、さらに、
前記作業機械が移動中であるのか、または停止中であるのかの判定結果に応じて、前記合成映像を前記過去映像メモリに記憶する時間周期を設定するパラメータ設定部を備えたものである請求項３に記載の作業機械周辺監視システム。

【請求項5】

前記コントローラが、さらに、前記合成映像出力部から出力した合成映像を所定の時間周期で監視映像メモリに記憶する監視用合成映像記憶部を備えている請求項１乃至４の何れかに記載の作業機械周辺監視システム。

【請求項6】

前記コントローラが、さらに、前記作業機械が移動中であるのか、または停止中であるのかの判定結果に応じて、前記合成映像を前記監視映像メモリに記憶する時間周期を設定するパラメータ設定部を備えたものである請求項５に記載の作業機械周辺監視システム。

【請求項7】

コンピュータを、作業機械の周辺状況を監視する作業機械周辺監視システムとして実行させるソフトウェアプログラムであって、
前記撮像装置の現在映像と過去映像メモリに記憶している過去映像を所定の透過率で合成する映像合成ステップと、
前記映像合成ステップで合成した映像を出力する合成映像出力ステップと、
を含むことを特徴とする作業機械周辺監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械等の作業機械の周囲を監視するシステム、及び作業機械周辺監視プログラムに関するものである。

【背景技術】

【0002】

例えば、下部走行体と、この下部走行体に旋回自在に装着される上部旋回体とを備えた油圧ショベル等、各種作業に特化した構造を有する作業機械（建設機械）では、操縦室に作業者（オペレータ）が乗り込んで操作レバー等の走行用操作部を操作することによって、車両を前進、後退、或いは旋回することができる。このような操作を行う場合、オペレータは、目視したり、車両の適宜箇所に設けたカメラによる映像を運転室内に設けたモニタで見ることで、車両周辺の状況を把握し、車両の動く方向に人や障害物が無いことを確認しているのが通常である。

【0003】

この場合、目視不能または目視し難い周辺状況をカメラ映像によるモニタ表示で確認する場合、モニタに表示された映像中のオブジェクト（人や物等、被写体や対象物と同義）が静止しているのか、移動しているのかを正確に把握するためには、しばらくモニタを見続けて注視する必要があり、速やかな操縦の妨げになる。また、モニタに表示された移動中のオブジェクトを静止中のオブジェクトと誤認識したり、移動中のオブジェクトを見落とした場合には、重大な事故に直結し得る。

【0004】

そこで、例えば、過去の一定時間における周辺状況の変化（オブジェクトの動き）を把握することが可能な監視装置を利用することで、上述のような事故を回避することが期待できる。下記特許文献１には、一定時間毎にカメラ映像を保存し、背景映像との差分の映像について輝度を変えて背景に重ねて表示する監視装置が開示されている。

【0005】

特許文献１には、監視装置の具体的な構成として、ビデオカメラの映像を取り込み、一定時間ごとに画像メモリ部に取り込んだ映像として保存し、一定時間ごとにおいて画像が変化しているか否かを調べて、変化していれば差分情報記憶メモリ部に記憶し、変化がなければ記憶しないようにする点、及び差分情報記憶メモリ部に記憶した差分情報から変化があった部分のみを取り出した過去の映像を、現在の映像と合成し、フレームメモリ部に書き込むことで移動したオブジェクトが残像を残すように表示する点が開示されている。このような構成であれば、過去の映像データの変化した部分の輝度を変調して現時点のデータに重ね合わせ、時間軸上で過去の映像データほど薄く表示させる処理が行われることで、過去からの映像の変化の経緯を認識でき、過去の一定時間における周辺状況の変化（オブジェクトの動き）を把握することが可能になる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００２−３７４５２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の監視装置であれば、過去の映像データの変化した部分の輝度を変調して現時点のデータに合成するため、合成した部分の背景の映像が欠落し、過去からの映像の変化が認識し難いという問題がある。

【0008】

また、特許文献１に記載の監視装置であれば、背景映像との差分を切り出して記憶したうえで、その差分を背景映像と合成する必要があるため、演算負荷が高くリアルタイムに表示を行うには高速な演算性能が必要である。加えて、時系列の映像とその差分の映像を記憶しておくメモリも必要であり、高速にアクセスできる大容量のメモリ部が必要になる。

【0009】

本発明は、このような課題に着目してなされたものであって、主たる目的は、作業機械に適用可能な周辺監視システムであって、時間経過による変化の認識が瞬時にできるとともに、監視映像の記録において、少ないメモリ容量でより長時間の映像を、映像中のオブジェクトを欠落させることなく記録することが可能な周辺監視システムを提供することである。

【課題を解決するための手段】

【0010】

すなわち、本発明に係る作業機械周辺監視システムは、作業機械に取り付けられる撮像装置の映像を取り込んで出力先に出力可能なコントローラを備え、コントローラとして、撮像装置の現在映像と過去映像メモリに記憶している過去映像とを所定の透過率で合成する映像合成部と、映像合成部で合成した映像を出力する合成映像出力部とを備えたものを適用し、合成映像出力部から出力した合成映像をオペレータが視認可能な表示部に表示させるように構成したことを特徴としている。

【0011】

このような、本発明に係る作業機械周辺監視システムであれば、撮像装置の現在の映像（現在映像）と過去映像メモリに記憶している過去の映像（過去映像）を所定の透過率で重ね合わせて合成した映像をオペレータが視認可能な表示部に出力表示させるように構成しているため、現在映像と過去映像で映像に変化があった部分を半透明で表示部に表示できる。したがって、このような合成映像が表示部に表示されることで、オペレータは半透明の残像として映る部分が、過去の映像から変化があった部分であると直感的に認識でき、表示部に表示された映像中のオブジェクトを注視し続ける必要がなく、速やかに操縦を開始することができる。

【0012】

さらに、本発明に係る作業機械周辺監視システムであれば、現在映像と過去映像で映像の変化があった部分を半透明で映すため、映像の変化があった部分の背景の映像が欠落しない映像を表示部に表示できる。したがって、過去の映像から変化があった部分を認識しやすくなる。

【0013】

加えて、本発明に係る作業機械周辺監視システムでは、時間経過の異なる映像を半透明な映像として重ね合わせることで映像の変化している部分が半透明の映像になることを利用しているため、背景映像との差分を切り出して記憶し、且つその差分を背景映像と合成する構成と比較して、演算負荷が各段に低減し、時系列の映像と差分の映像を記憶しておくメモリも不要であり、高速にアクセスできる大容量のメモリが不要である点においても優れている。

【0014】

ところで、作業機械の移動中は現在映像と過去映像は互いに映像全体が異なる。この場合、映像全体に過去映像が半透明の残像として映る合成映像が表示部に表示されることによるメリットは少ない。

【0015】

そこで、本発明に係る作業機械周辺監視システムにおいて、コントローラが、さらに、作業機械が移動中であるのか、または停止中であるのかの判定結果（作業機械の移動の有無）に応じて透過率を設定するパラメータ設定部を備えたものであることが好ましい。このような構成であれば、作業機械が移動中であるとの判定結果の場合に現在映像のみが映り、過去映像が半透明の残像として映らない合成映像となるように透過率を設定することが可能になる。これにより、作業機械の移動中と作業機械の停止中とで透過率の異なる合成映像を表示部に表示することができ、特に作業機械が移動中である場合に映像全体が半透明の残像となることで却って適切な表示がされず、操縦の妨げになるという不都合を回避することができる。

【0016】

また、本発明に係る作業機械周辺監視システムにおいて、コントローラが、さらに、映像合成部で合成した映像を合成映像メモリに記憶する合成映像記憶部と、合成映像メモリに記憶している合成映像を所定の時間周期で過去映像メモリに記憶する過去映像記憶部とを備えたものであれば、合成映像を過去映像として使用することができ、低メモリ消費でありながら上述のような種々の作用効果を奏する監視システムを実現できる。

【0017】

本発明に係る作業機械周辺監視システムでは、コントローラとして、さらに、作業機械が移動中であるのか、または停止中であるのかの判定結果に応じて、合成映像を過去映像メモリに記憶する時間周期を設定するパラメータ設定部を備えたものを適用することができる。

【0018】

本発明では、コントローラとして、さらに、合成映像出力部から出力した合成映像を所定の時間周期で監視映像メモリに記憶する監視用合成映像記憶部を備えたものを適用することができる。この場合、さらにコントローラが、作業機械が移動中であるのか、または停止中であるのかの判定結果に応じて、合成映像を監視映像メモリに記憶する時間周期を設定するパラメータ設定部を備えたものであれば、過去映像から変化した部分が半透明の残像として残るという本発明特有のメリットを活かして、作業機械の停止中は、半透明の残像による記録を加味して、合成映像を監視映像メモリに記憶する所定の時間周期を長く設定することができる。一方、作業機械の移動中は、合成映像を監視映像メモリに記憶する所定の時間周期を最短の周期に設定して、監視用画像としての要求、つまり時間経過毎に個別に映像を記憶するという要求に応えることができる。

【0019】

また、本発明に係る作業機械周辺監視プログラムは、コンピュータを、作業機械の周辺状況を監視する作業機械周辺監視システムとして実行させるソフトウェアプログラムであって、撮像装置の現在映像と過去映像メモリに記憶している撮像装置の過去映像を所定の透過率で合成する映像合成ステップと、映像合成ステップで合成した映像を出力する合成映像出力ステップとを含むことを特徴としている。

【0020】

このような作業機械周辺監視プログラムによれば、現在映像のうち過去映像から変化した部位を容易に特定することができ、さらに演算処理時の負荷の低減化も実現できる。

【発明の効果】

【0021】

本発明によれば、撮像装置の現在映像と過去映像を所定の透過率で重ねて合成する機能を発揮し、映像の変化を半透明の残像として映像化した合成映像に基づいて当該合成映像に映っている対象物の移動状態を認識することができ、時間経過による変化の認識が瞬時にできる作業機械周辺監視システムを提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る作業機械周辺監視システムの適用例を模式的に示す図。

【図2】同実施形態に係る作業機械周辺監視システムの全体構成図。

【図3】同実施形態に係る作業機械周辺監視プログラムのフローチャート。

【図4】同実施形態における映像合成処理の具体例を示す図。

【発明を実施するための形態】

【0023】

以下、本発明の一実施形態を、図面を参照して説明する。

【0024】

本実施形態に係る作業機械周辺監視システムＸは、図１に示すように、例えば油圧ショベル（バックホーとも称される）等の作業機械Ｈの周辺を監視する用途で利用可能なものである。作業機械周辺監視システムＸは、作業機械Ｈに取り付けられた撮像装置Ｉの映像を取り込んで出力先に出力可能なコントローラＣを備えている。本実施形態に用いる撮像装置Ｉは、一般的な車載カメラである。撮像装置Ｉを作業機械Ｈに取り付ける位置は、操縦室Ｈ１に入室中のオペレータから見えない範囲（死角）や見えにくい範囲を撮像可能な位置であれば特に限定されず、本実施形態では、油圧ショベルＨの後方の所定範囲を撮像可能な位置に撮像装置Ｉを取り付けている。なお、図１では、作業機械周辺監視システムＸの実施に用いる機器（撮像装置Ｉや後述する表示部Ｄ）をそれぞれ誇張して模式的に示している。

【0025】

コントローラＣは、図１及び図２に示すように、現在映像記憶部１と、映像合成部２と、合成映像出力部３と、作業機械状態判定部４と、パラメータ設定部５と、合成映像記憶部６と、過去映像記憶部７と、監視用合成映像記憶部８とを備えたものである。

【0026】

現在映像記憶部１は、適宜の手段で取り込んだ撮像装置Ｉの現在の映像（以下、現在映像）を現在映像メモリＭ１に記憶するものである。現在映像メモリＭ１には揮発性メモリを採用している。

【0027】

映像合成部２は、撮像装置Ｉの現在映像と過去映像メモリＭ２に記憶している過去映像を所定の透過率で合成するものである。

【0028】

合成映像出力部３は、映像合成部２で合成した映像（以下、合成映像）を出力するものである。本実施形態では、操縦室Ｈ１内に設けた表示部であるモニタＤに合成映像を出力表示するように構成している（図１参照）。したがって、操縦室Ｈ１内においてオペレータは、モニタＤに画面表示された合成映像を見ることできる。

【0029】

作業機械状態判定部４は、作業機械Ｈが移動中であるか、停止中であるかを特定可能な情報（以下、作業機械移動情報）を外部入力として受け付け、作業機械Ｈが移動中であるのか、または停止中であるのかを判定するものである。ここで、作業機械Ｈとして油圧ショベルを適用している本実施形態における作業機械Ｈの移動には、油圧ショベルＨの前進、後退、旋回（クローラＨ２を含む下部フレームＨ３に対して操縦室Ｈ１を含む上部フレームＨ４が旋回するする動き）、ブームＨ５の上げ下げ、アームＨ６の曲げ伸ばし、バケットＨ７の掘削位置と開放位置の移動が含まれる。また、作業機械移動情報は、例えば操縦室Ｈ１内のオペレータによる操縦状態を検知した信号を利用する。

【0030】

パラメータ設定部５は、作業機械状態判定部４による判定結果（以下、作業機械移動有無情報）に応じて映像合成部２における透過率を設定するものである。また、本実施形態のパラメータ設定部５は、作業機械移動有無情報に応じて、後述する過去映像記憶時間周期Ｔ１、監視映像記憶時間周期Ｔ２も設定する。

【0031】

合成映像記憶部６は、合成映像を合成映像メモリＭ３に記憶するものである。合成映像メモリＭ３は、現在映像メモリＭ１と同様に揮発性メモリである。

【0032】

過去映像記憶部７は、合成映像メモリＭ３に記憶している合成映像を所定の時間周期で過去映像メモリＭ２に記憶するものである。本実施形態では、パラメータ設定部５によって設定された過去映像記憶時間周期Ｔ１で合成映像を過去映像メモリM２に記憶している。過去映像メモリＭ２は、現在映像メモリＭ１と同様に揮発性メモリとしている。したがって、本実施形態の監視システムＸでは、所定の時間周期Ｔ１で記憶した合成映像を映像合成部２の過去映像として使用することが可能である。

【0033】

監視用合成映像記憶部８は、合成映像出力部３から出力した合成映像を所定の時間周期Ｔ２で監視映像メモリＭ４に記憶するものである。本実施形態では、パラメータ設定部５によって設定された監視映像記憶時間周期Ｔ２で合成映像を監視映像メモリＭ４に記憶している。監視映像メモリＭ４は、不揮発性メモリである。

【0034】

次に、このような機能を発揮するコントローラＣによって制御される本実施形態に係る作業機械周辺監視装システムＸの映像処理フロー及び作用効果を図３及び図４等を用いて説明する。図３は、作業機械Ｈに搭載したコンピュータを作業機械周辺監視システムＸとして実行させるソフトウェアプログラムである作業機械周辺監視プログラムのフローチャートである。図４は、本実施形態に係る作業機械周辺監視システムＸで映像処理を行った際にモニタＤに表示される合成映像の変化の一例を、現在映像及び過去映像の変化と共に示したものである。

【0035】

先ず、作業機械Ｈの移動中または停止中に関わらず、本実施形態の監視システムＸは、撮像装置Ｉで撮像した映像を現在映像として、現在映像記憶部１によって現在映像メモリＭ１に記憶し（現在映像記憶ステップＳ１）、作業機械状態判定部４によって作業機械Ｈが移動中または停止中の何れの状態であるかを判定する（作業機械移動有無判定ステップＳ２）。なお、撮像装置Ｉで撮像した映像である現在映像は、適宜の手段でコントローラＣに取り込まれ、現在映像メモリＭ１に記憶される。

【0036】

作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、本実施形態に係る作業機械周辺監視システムＸは、パラメータ設定部５によって、映像合成部２における透過率を作業機械Ｈの停止中に対応する透過率（以下、停止中の透過率）に設定する（パラメータ設定ステップＳ３）。一方、作業機械移動有無判定ステップＳ２において、作業機械Ｈが移動中であると判定した場合、パラメータ設定部５によって、映像合成部２における透過率を作業機械Ｈの移動中に対応する透過率（以下、移動中の透過率）に設定する（パラメータ設定ステップＳ３）。本実施形態では、作業機械Ｈが停止中であると判定した場合、現在映像の透過率を過去映像の透過率よりも相対的に低くなるように設定している。その結果、合成映像では現在映像の部分が濃く映り、透過率を現在映像よりも高く設定した過去映像の部分が、半透明の残像として徐々に薄く映るようにしている。本実施形態に係る作業機械周辺監視システムＸでは、停止中の透過率を３０パーセントに設定している。一方、作業機械Ｈが移動中であると判定した場合、合成映像において過去映像の部分が半透明の残像にならないように透過率を設定している。本実施形態に係る作業機械周辺監視システムＸでは、移動中の透過率を０パーセントに設定している。

【0037】

また、作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、パラメータ設定部５によって、過去映像記憶部７における過去映像記憶時間周期Ｔ１を作業機械Ｈの停止中に対応する時間周期（以下、停止中の過去映像記憶時間周期）に設定する（パラメータ設定ステップＳ３）。一方、作業機械移動有無判定ステップＳ２において、作業機械Ｈが移動中であると判定した場合、パラメータ設定部５によって、過去映像記憶部７における過去映像記憶時間周期Ｔ１を作業機械Ｈの移動中に対応する時間周期（以下、移動中の過去映像記憶時間周期）に設定する（パラメータ設定ステップＳ３）。本実施形態では、合成映像における過去映像の部分が確実に半透明の残像になるように、合成映像記憶部６が合成映像メモリＭ３に記憶する時間周期を最短とし、オブジェクト（人物など）が現在映像に映ってから撮像装置Ｉの撮像範囲を外れるまでの時間を最長として、その範囲内で過去映像記憶時間周期Ｔ１を設定している。また、停止中の過去映像記憶時間周期と移動中の過去映像記憶時間周期は、同じ時間周期に設定している。

【0038】

また、作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、パラメータ設定部５によって、監視用合成映像記憶部８における監視用映像記憶時間周期Ｔ２を作業機械Ｈの停止中に対応する時間周期（以下、停止中の監視時間周期）に設定する（パラメータ設定ステップＳ３）。一方、作業機械移動有無判定ステップＳ２において、作業機械Ｈが移動中であると判定した場合、パラメータ設定部５によって、監視用合成映像記憶部８における監視用映像記憶時間周期Ｔ２を作業機械Ｈの移動中に対応する時間周期（以下、移動中の監視時間周期）に設定する（パラメータ設定ステップＳ３）。本実施形態では、作業機械移動有無判定ステップＳ２において、作業機械Ｈが移動中であると判定した場合、合成映像における過去映像の部分が確実に半透明の残像になるように、合成映像記憶部６が合成映像メモリＭ３に記憶する時間周期を最短とし、オブジェクト（人物など）が現在映像に映ってから撮像装置Ｉの撮像範囲を外れるまでの時間を最長として、その範囲内で監視用映像記憶時間周期Ｔ２を設定している。一方、作業機械移動有無判定ステップＳ２において、作業機械Ｈが停止中であると判定した場合、合成映像記憶部６が合成映像メモリＭ３に記憶する時間周期を最短とし、オブジェクト（人物など）が現在映像に映ってから撮像装置Ｉの撮像範囲から外れ合成映像メモリＭ３の合成映像から消失するまでの時間を最長として、その範囲内で監視用映像記憶時間周期Ｔ２を設定している。

【0039】

本実施形態に係る作業機械周辺監視システムＸの過去映像記憶部７は、パラメータ設定部５によって設定された過去映像記憶時間周期Ｔ１で、合成映像メモリＭ３に記憶している合成映像を過去映像メモリＭ２に記憶する（過去映像記憶ステップＳ４）。なお、合成映像を過去映像メモリＭ２に記憶する際、現在映像記憶ステップＳ１と同期させる必要はないが、必要に応じて同期させてもよい。

【0040】

そして、本実施形態に係る作業機械周辺監視システムＸは、映像合成部２によって、現在映像メモリＭ１に記憶している現在映像と過去映像メモリＭ２に記憶している過去映像をパラメータ設定ステップＳ３で設定した透過率で合成する（映像合成ステップＳ５）。

【0041】

続いて、本実施形態に係る作業機械周辺監視システムＸは、映像合成ステップＳ５で合成した映像（合成映像）を合成映像記憶部６によって合成映像メモリＭ３に記憶する（合成映像記憶ステップＳ６）。また、映像合成ステップＳ５で合成した映像（合成映像）を合成映像出力部３によって出力する（合成映像出力ステップＳ７）。本実施形態では、操縦室Ｈ１に設けたモニタＤに合成映像を出力表示するように設定しているため、オペレータはモニタＤで合成映像を確認することができる。

【0042】

また、本実施形態に係る作業機械周辺監視システムＸは、パラメータ設定部５によって設定された監視用映像記憶時間周期Ｔ２で、合成映像メモリＭ３に記憶している合成映像を監視用合成映像記憶部８によって監視映像メモリＭ４に記憶する（監視用合成映像記憶ステップＳ８）。

【0043】

次に、作業機械Ｈの周辺に人物Ｗが現れた際の現在映像、過去映像、合成映像の関係を時系列で示す図４を参照して説明する。
まず、図４の経過時間ＴＬ１の映像は、作業機械Ｈが停止中で、作業機械Ｈの周辺（撮像装置Ｉの撮像範囲内）に人物Ｗが現れていない時点の映像である。この時点において本実施形態の作業機械周辺監視システムＸによる映像処理を行うと、撮像装置Ｉで撮像した映像に変化が無く、合成画像は、現在映像と同様の映像になる。本実施形態では、停止中の透過率を３０パーセントに設定している。このため、現在映像が７０パーセントであって且つ過去映像が３０パーセントの比率の合成映像が、モニタＤに表示される。現在映像と過去映像において映像の変化がないので、合成画像は現在映像と同様の映像になる。

【0044】

図４の経過時間ＴＬ２の映像は、作業機械Ｈの周辺（撮像装置Ｉの撮像範囲内）に人物Ｗが現れた時の映像であり、現在映像の右端辺りに人物Ｗが映っている。この場合、現在映像と過去映像において映像の変化があった部分は、現在映像に映っている人物Ｗである。本実施形態では、停止中の透過率を３０パーセントに設定しているため、現在映像が７０パーセントであって且つ過去映像が３０パーセントの比率の合成映像が、モニタＤに表示される。すなわち、現在映像に含まれる人物Ｗは、合成映像において７０パーセントの濃い半透明で表示され、過去映像に含まれるロードコーンＲは、合成映像において３０パーセントの薄い半透明で表示される。

【0045】

図４の経過時間ＴＬ３の映像は、人物Ｗが移動した時の映像であり、現在映像の中央辺りに人物Ｗが映っている。この場合、現在映像と過去映像において映像の変化があった部分は、現在映像に映っている人物Ｗと過去映像に映っている人物Ｗである。本実施形態では、停止中の透過率を３０パーセントに設定しているため、現在映像が７０パーセントであって且つ過去映像が３０パーセントの比率の合成映像が、モニタＤに表示される。すなわち、現在映像に含まれる中央の人物Ｗは、合成映像において７０パーセントの濃い半透明で表示される。また、過去映像に含まれる右端の人物Ｗは、７０パーセントの濃い半透明であったものがそこから更に３０パーセントで合成されることにより、合成映像において２１パーセントの薄い半透明の残像として表示される。現在映像と過去映像に含まれるロードコーンＲは、現在映像の７０パーセントと、過去映像の３０パーセントに対して更に３０パーセントで合成された９パーセントとの合計である７９パーセントの濃い半透明で表示される。

【0046】

図４の経過時間ＴＬ４の映像は、人物Ｗが更に移動した時点の映像であり、現在映像の左端辺りに人物Ｗが映っている。この場合、現在映像と過去映像において映像の変化があった部分は、現在映像に映っている人物Ｗと過去映像に映っている人物Ｗである。本実施形態では、停止中の透過率を３０パーセントに設定しているため、現在映像が７０パーセントであって且つ過去映像が３０パーセントの比率の合成映像が、モニタＤに表示される。すなわち、現在映像に含まれる左端の人物Ｗは、７０パーセントの濃い半透明で表示される。また、過去映像に含まれる中央の人物Ｗは、７０パーセントの濃い半透明であったものがそこから更に３０パーセントで合成されることにより、合成映像において２１パーセントの薄い半透明の残像として表示される。過去映像に含まれる右端の人物Ｗは、２１パーセントの薄い半透明であったものがそこから更に３０パーセントで合成されることにより、６．３パーセントの薄い半透明の残像として表示される。現在映像と過去映像に含まれるロードコーンＲは、現在映像の７０パーセントと、過去映像の７９パーセントに対して更に３０パーセントで合成された２３．７パーセントとの合計である９３．７パーセントの濃い半透明で表示される。

【0047】

図４の経過時間ＴＬ５の映像は、人物Ｗが移動後に停止した時点の映像であり、現在映像の左端辺りに人物Ｗが映っている。この場合、現在映像と過去映像において映像の変化があった部分は、過去映像に映っている人物Ｗである。本実施形態では、停止中の透過率を３０パーセントに設定しているため、現在映像が７０パーセントであって且つ過去映像が３０パーセントの比率の合成映像が、モニタＤに表示される。すなわち、現在映像と過去映像に含まれる左端の人物Ｗは、現在映像の７０パーセントと、過去映像の７０パーセントに対して更に３０パーセントで合成された２１パーセントとの合計である９１パーセントの濃い半透明で表示される。また、過去映像に含まれる中央の人物Ｗは、２１パーセントの薄い半透明であったものがそこから更に３０パーセントで合成されることにより、６．３パーセントの薄い半透明の残像として表示される。過去映像に含まれる右端の人物Ｗは、６．３パーセントの薄い半透明であったものがそこから更に３０パーセントで合成されることにより、１．８９パーセントの薄い半透明の残像として表示され、ほぼ目視出来なくなる。現在映像と過去映像に含まれるロードコーンＲは、現在映像の７０パーセントと、過去映像の９３．７パーセントに対して更に３０パーセントで合成された２８．１１パーセントとの合計である９８．１１パーセントの濃い半透明で表示される。

【0048】

図４の経過時間ＴＬ６の映像は、人物Ｗが停止後に移動していない時点の映像であり、現在映像の左端辺りに人物Ｗが映っている。この場合、現在映像と過去映像において映像の変化があった部分は、過去映像に映っている人物Ｗである。本実施形態では、停止中の透過率を３０パーセントに設定しているため、現在映像が７０パーセントであって且つ過去映像が３０パーセントの比率の合成映像が、モニタＤに表示される。すなわち、現在映像と過去映像に含まれる左端の人物Ｗは、現在映像の７０パーセントと、過去映像の９１パーセントに対して更に３０パーセントで合成された２３．７パーセントとの合計である９３．７パーセントの濃い半透明の残像として表示され、半透明であることを目視ではほぼ判別できない。また、過去映像に含まれる中央の人物Ｗは、６．３パーセントの薄い半透明であったものがそこから更に３０パーセントで合成されることにより、１．８９パーセントの薄い半透明の残像として表示され、ほぼ目視できなくなる。

【0049】

このように、本実施形態に係る作業機械周辺監視システムＸ及び作業機械周辺監視プログラムによれば、現在映像と過去映像を所定の透過率で合成した合成映像を出力することで、図４に示すように、現在映像と過去映像で映像に変化があった部分を、時系列的に半透明でモニタＤに表示できる。したがって、このような合成映像がモニタＤに表示されることで、オペレータは半透明の残像として映る部分が過去の映像から変化した部分（移動状態にある部分）であると直感的に認識できる。

【0050】

さらに、本実施形態に係る作業機械周辺監視システムＸによれば、合成映像出力部３で出力する合成映像が変化の有る映像部位を半透明で映したものであるため、映像の変化があった部分の背景の映像が欠落しない映像をモニタＤに出力することができる。したがって、過去の映像から変化があった部分を認識しやすくなる。

【0051】

本実施形態に係る作業機械周辺監視システムＸでは、一般的な画像処理（例えば背景映像との差分を切り出して記憶し、且つその差分を背景映像と合成する画像処理）と比較して、背景映像との差分を切り出す処理や、時系列の映像と差分の映像等を記憶するためのメモリが不要であるため、演算負荷が各段に低くなり、高速にアクセスできる大容量のメモリが不要である点においても有利である。

【0052】

加えて、過去映像記憶部７により過去映像メモリＭ２に記憶した合成映像を過去映像として使用するため、時間経過毎に個別に映像を記憶する必要が無く、メモリ消費量を効果的に低減することができる。

【0053】

また、本実施形態に係る作業機械周辺監視システムＸでは、作業機械Ｈが移動中である場合、パラメータ設定部５によって、映像合成部２における透過率を移動中の透過率に決定する（パラメータ設定ステップＳ３）。本実施形態では、作業機械Ｈが移動中である場合、移動中の透過率を０パーセントに設定し、現在映像が１００パーセントであって且つ過去映像が０パーセントの比率の合成映像が、モニタＤに表示される。その結果、現在映像と過去映像を合成した映像において、現在映像のみが映り、過去映像は半透明の残像として映らない。これは、作業機械Ｈの移動中は現在映像と過去映像の映像全体が常に変化するため、作業機械Ｈが停止中の場合と同じ映像合成処理を行うと、映像全体が半透明の残像となり、適切なモニタ表示がされず、操縦の妨げになることを考慮している。

【0054】

また、本実施形態に係る作業機械周辺監視システムＸは、監視用合成映像記憶部８によって、映像合成部２で合成した合成映像を監視映像記憶時間周期Ｔ２で監視映像メモリＭ４に記憶する。これにより、監視映像記憶時間周期Ｔ２で記憶した合成映像の間の欠落部分を半透明の残像で補間できるため、現在における過去映像と過去映像の変化だけでなく、過去から現在に至る変化を時系列的に認識できる。

【0055】

以上に詳述したように、本実施形態に係る作業機械周辺監視システムＸは、時間経過の異なる半透明の映像を重ねることで変化した部位を可視化するため、変化した部位の特定が不要となり、演算処理時の負荷を低減できる。また、過去の映像として時間経過毎に半透明の映像を重ね合わせた合成済みの映像を使うため、時間経過毎に個別に映像を記憶する必要が無く、メモリ消費量の低減化も図ることができる。

【0056】

以上、本発明の実施形態について説明したが、本発明は上記実施形態の構成に限られるものではない。例えば、上述の実施形態では、作業機械として油圧ショベルを例示したが、油圧ショベル以外の作業機械（建設機械、農林作業機械等、特定の用途で特殊な性能を発揮する機械、あるいは船や飛行機以外の各種車両）にも本発明の周辺監視システムを適用することができる。

【0057】

また、上述の実施形態では、作業機械移動情報として、撮像装置Ｉで取り込んだ映像を利用することも可能である。この場合、外部システムに依拠しない監視システムを構築できる。また、作業機械移動情報として、ＧＰＳによる位置情報、加速度センサによる振動、ポテンショメータによる機構位置などを利用してもよい。

【0058】

１機（１台）の作業機械に複数の撮像装置を取り付け、各撮像装置の映像ごとに個別に合成映像処理を実施してもよいし、各撮像装置の現在の映像であって且つ同時刻の映像をまとめて合成映像処理を実施してもよい。オペレータが視認可能なモニタの数も複数設定しても構わない。

【0059】

上述の実施形態における移動中の透過率や停止中の透過率は一例であり、透過率の値は適宜変更することができる。

【0060】

表示部として、モニタ以外に、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）を適用してもよい。

【0061】

その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

【符号の説明】

【0062】

２…映像合成部
３…合成映像出力部
５…パラメータ設定部
６…合成映像記憶部
７…過去映像記憶部
８…監視用合成映像記憶部
Ｃ…コントローラ
Ｄ…表示部（モニタ）
Ｈ…作業機械
Ｉ…撮像装置
Ｍ２…過去映像メモリ
Ｍ３…合成映像メモリ
Ｍ４…監視映像メモリ
Ｘ…作業機械周辺監視システム

【図1】

【図2】

【図3】

【図4】