特許 6940907 作業機械の周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6940907

(24)【登録日】2021年9月7日

(45)【発行日】2021年9月29日

(54)【発明の名称】作業機械の周辺監視装置

(51)【国際特許分類】

   E02F 9/26 20060101AFI20210916BHJP

【ＦＩ】

   E02F9/26 A

【請求項の数】9

【全頁数】26

(21)【出願番号】特願2021-55106(P2021-55106)

(22)【出願日】2021年3月29日

【審査請求日】2021年4月6日

【早期審査対象出願】

(73)【特許権者】

【識別番号】509122887

【氏名又は名称】株式会社レグラス

(74)【代理人】

【識別番号】100211719

【弁理士】

【氏名又は名称】伊藤 和真

(72)【発明者】

【氏名】酒井 将

(72)【発明者】

【氏名】佐々木 翔

(72)【発明者】

【氏名】森住 哲也

(72)【発明者】

【氏名】前田 隆志

(72)【発明者】

【氏名】長谷川 裕太

(72)【発明者】

【氏名】村上 大樹

【審査官】 石川 信也

(56)【参考文献】

【文献】 国際公開第２０１８／１５１２８０（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１６４７１２（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／１５９０１２（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／１５８２５５（ＷＯ，Ａ１）

【文献】 特開２０１９−１８６５９７（ＪＰ，Ａ）

【文献】 特開２０２０−１２７２１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｅ０２Ｆ ９／２６

Ｅ０２Ｆ ９／２４

Ｂ６０Ｒ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の半天球カメラを含み、該半天球カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行し、
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標の前記半天球カメラの光軸からの距離と、前記半天球カメラのレンズの焦点距離と、に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、
算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定する、
作業機械の周辺監視装置。

【請求項2】

作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の半天球カメラを含み、該半天球カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行し、
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の画素数に基づいて、前記作業機械とその周囲の人物との距離を測定する、
作業機械の周辺監視装置。

【請求項3】

前記発報制御処理において、前記プロセッサは、
前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる、
請求項１又は請求項２に記載の作業機械の周辺監視装置。

【請求項4】

前記抽出処理において、前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出する、
請求項１から請求項３の何れか１項に記載の作業機械の周辺監視装置。

【請求項5】

前記撮影装置によって撮影された前記撮影画像データ又は／及び該撮影画像データに基づく処理により取得された所定のデータを表示可能に構成された表示装置を、更に備える、
請求項１から請求項４の何れか１項に記載の作業機械の周辺監視装置。

【請求項6】

前記プロセッサは、
前記周辺監視装置の電源が入れられてから所定時間経過するまでは、前記抽出処理及び前記測距処理により取得され得るデータを前記表示装置に出力せず、前記撮影画像データのみを前記表示装置に出力する処理を実行する、
請求項５に記載の作業機械の周辺監視装置。

【請求項7】

前記プロセッサは、
前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、
前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行する、
請求項１から請求項６の何れか１項に記載の作業機械の周辺監視装置。

【請求項8】

前記プロセッサは、前記作業機械に設置された集積回路に実装される、
請求項１から請求項７の何れか１項に記載の作業機械の周辺監視装置。

【請求項9】

前記撮影装置は、
被写体の輝度に応じて前記半天球カメラの露出を所定の基準値に自動制御する装置であって、
更に、
前記作業機械の周囲の地面の輝度を取得し、前記地面の輝度が所定の第１輝度以上の場合には、前記半天球カメラの露出が前記基準値よりも大きくなるように補正し、前記地面の輝度が前記第１輝度よりも低い所定の第２輝度以下の場合には、前記半天球カメラの露出が前記基準値よりも小さくなるように補正し、前記地面の輝度が前記第２輝度よりも高くて前記第１輝度よりも低い場合には、前記半天球カメラの露出を補正しない、
請求項１から請求項８の何れか１項に記載の作業機械の周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の周辺監視装置に関する。

【背景技術】

【0002】

ショベル、フォークリフト等の作業機械が用いられる現場では、作業機械とその周囲の人物との接触事故の防止が図られている。例えば、作業機械の車体の周辺に存在する障害物をオペレータが視認できるように、ミラーやカメラを設置した作業機械が実用化されている。そして、カメラが撮影した画像を作業機械の運転室内のディスプレイに表示するシステムが知られている。

【0003】

また、カメラが撮影した画像に基づいて、作業機械の周囲に存在する物体との距離を測定する技術として、特許文献１には、下部走行体と上部旋回体とを有するショベルにおいて、上部旋回体に複数のステレオカメラを配置する技術が開示されている。当該技術では、ステレオカメラによって、ショベルの周囲に存在する物体の距離情報が取得される。

【0004】

一方、作業機械に広視野角カメラを設置して、該作業機械の運転室内でオペレータにとって死角となる範囲の視野を得るようにする技術が知られている。例えば、特許文献２には、作業機械に取り付けて直ちに死角全体の状況を把握できる魚眼レンズ利用の作業機械周囲監視方法及びシステムが開示されている。また、特許文献３には、１台のカメラを利用するだけで簡単かつ適正に後進移動時のガイダンスを行うことができる建設機械が開示されている。そして、この建設機械では、油圧ショベルの上部旋回体に、全方位カメラや魚眼カメラ等の広視野角カメラが備えられている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０−１２７２１７号公報

【特許文献2】特開２０１２−１７２３５０号公報

【特許文献3】特開２００８−２４０３６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ショベル、フォークリフト等の作業機械とその周囲の人物との接触を抑制するためには、作業機械の周囲を広範囲に亘って監視する必要がある。ここで、特許文献２や特許文献３に記載の作業機械では、広視野角カメラを用いて作業機械の周囲の画像を取得することができる。つまり、これらは、作業機械の車体の周辺に存在する障害物をオペレータが視認できるようにしたものであるが、オペレータは、運転室内のディスプレイ等に表示された画像を確認しながら、作業機械とその周囲の人物とが接触しないように操作しなければならない。

【0007】

一方、特許文献１に記載の技術によれば、カメラが撮影した画像に基づいて、ショベルの周囲に存在する物体の距離情報を取得することができるものの、ショベルに設置されるカメラはステレオカメラであって、作業機械の周囲を広範囲に亘って監視するためには、複数のステレオカメラを配置する必要がある。そのため、コストとスペースが問題となり得る。

【0008】

本開示の目的は、低コスト及び可及的に少ないカメラ数で作業機械の周囲を広範囲に亘って監視できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供することにある。

【課題を解決するための手段】

【0009】

本開示の作業機械の周辺監視装置は、作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、所定の警報信号又は／及び所定の発報を出力する発報装置と、を備える。ここで、前記撮影装置は、１以上の半天球カメラを含み、該半天球カメラの光軸が地面に対して所定の角度で配置されるように構成される。そして、前記プロセッサは、前記撮影画像データから人物画像を抽出する抽出処理と、抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行する。

【0010】

ここで、上記の作業機械とは、ショベル等の建設機械や、作業機を備えた機械（フォークリフト等）である。そして、このような作業機械に設置される本開示の周辺監視装置では、該作業機械に撮影装置が配置される。この撮影装置は、半天球カメラの光軸が地面に対して所定の角度をなすように配置される。ここで、上記の所定の角度とは、撮影装置によって地面付近の人を撮影可能な角度として定義され、例えば、地面と略垂直に向いた角度である。そして、本開示の作業機械の周辺監視装置は、撮影装置、画像処理装置、および発報装置といった簡易な構成によって実現され、これらを既存の作業機械に配置するだけで、作業機械に周辺監視装置を簡単に設置することができる。また、撮影装置が、作業機械の周囲を広範囲に亘って撮影可能な半天球カメラによって構成されるため、例えば、撮影装置が複数のステレオカメラによって構成される場合と比較して、作業機械の周辺を監視するためのコストを抑制することができる。更に、このような周辺監視装置では、抽出処理によって抽出された人物画像と、撮影装置の設置パラメータと、に基づいて測距処理が実行され、該測距処理の結果に基づいて、発報装置による警報信号又は／及び発報の出力が制御される。なお、発報装置が出力する発報は、例えば、警告灯や警告音である。これにより、作業機械とその周囲の人物との接触を抑制することができる。なお、前記発報制御処理において、前記プロセッサは、前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させてもよい。ここで、上記の回避動作とは、作業機械の作動が減速する動作や、作業機械の作動が停止する動作などである。このような発報制御処理では、発報装置からの上記信号が、作業機械の動作を制御する制御装置に入力されることで、作業機械は、オペレータの操作によらず自動で回避動作を行うことになる。これによれば、オペレータによる運転動作によらずに作業機械の回避動作を行うことができ、作業機械とその周囲の人物との接触をより好適に回避することができる。

【0011】

そして、上記の作業機械の周辺監視装置では、前記測距処理において、前記プロセッサは、前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定してもよい。これによれば、半天球カメラによって、低コスト及び可及的に少ないカメラ数ながら精度よく測距処理を行うことができる。なお、このような足元座標に基づく測距によれば、該足元座標を比較的正確に取得することができるため、上記距離の測定精度を可及的に高くすることができる。また、前記測距処理において、前記プロセッサは、前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の大きさに基づいて、前記作業機械とその周囲の人物との距離を測定してもよい。これによっても、半天球カメラによって、低コスト及び可及的に少ないカメラ数ながら精度よく測距処理を行うことができる。なお、このような頭の画像の大きさに基づく測距によれば、撮影画像データに周囲人物の足元が含まれていない場合であったり、高所に人が登っているなどして人物が地上にいない場合であっても、作業機械とその周囲の人物との距離を測定することができる。

【0012】

また、上記の作業機械の周辺監視装置では、前記抽出処理において、前記プロセッサは、所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出してもよい。これによれば、事前学習モデルを用いることで、撮影画像データから人物画像を精度よく抽出することができる。

【0013】

以上に述べた作業機械の周辺監視装置において、前記プロセッサは、前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行してもよい。これによれば、環境に応じて鮮明化された撮影画像データに基づいて人物画像を抽出することができる。したがって、撮影画像データからの人物画像の抽出精度を可及的に高くすることができる。

【0014】

また、以上に述べた作業機械の周辺監視装置において、前記撮影装置は、被写体の輝度に応じて前記半天球カメラの露出を所定の基準値に自動制御する装置であってもよい。この場合、前記撮影装置は、更に、前記作業機械の周囲の地面の輝度を取得し、前記地面の輝度が所定の第１輝度以上の場合には、前記半天球カメラの露出が前記基準値よりも大きくなるように補正し、前記地面の輝度が前記第１輝度よりも低い所定の第２輝度以下の場合には、前記半天球カメラの露出が前記基準値よりも小さくなるように補正してもよい。一方、前記地面の輝度が前記第２輝度よりも高くて前記第１輝度よりも低い場合には、前記撮影装置は、前記半天球カメラの露出を補正しなくてもよい。これによれば、作業機械の周囲人物を適切な明るさで撮影することができるため、撮影画像データからの人物画像の抽出精度を可及的に高くすることができる。

【発明の効果】

【0015】

本開示によれば、低コスト及び可及的に少ないカメラ数で作業機械の周囲を広範囲に亘って監視できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供することができる。

【図面の簡単な説明】

【0016】

【図1】第１実施形態における作業機械の周辺監視装置の概略構成を示す図である。

【図2】第１実施形態に係る周辺監視装置において、作業機械とその周囲の人物との接触を回避するために制御部が行う処理フローを示すフローチャートである。

【図3】撮影画像データから除外されるエリアを説明するための図である。

【図4】第１実施形態における事前学習モデルに対する入力から得られる識別結果と、該事前学習モデルを構成するニューラルネットワークを説明するための図である。

【図5】表示装置に表示される撮影画像データおよび人物画像を説明するための図である。

【図6】足元角度と、撮影装置の設置高さと、周囲人物との距離と、の関係を説明するための図である。

【図7】第１実施形態に係る測距処理の一つである足元測距において、測距処理部が行う処理フローを示すフローチャートである。

【図8】カメラの内部パラメータとともに、該カメラのセンサ上に投影される被写体を説明するための図である。

【図9】第１実施形態の変形例２に係る周辺監視装置において、作業機械とその周囲の人物との接触を回避するために制御部が行う処理フローを示す第１のフローチャートである。

【図10】第１実施形態の変形例２に係る周辺監視装置において、作業機械とその周囲の人物との接触を回避するために制御部が行う処理フローを示す第２のフローチャートである。

【図11】第２実施形態に係る画像鮮明化処理において、制御部が行う処理フローを示すフローチャートである。

【図12】第３実施形態に係る半天球カメラの露出補正のフローを示すフローチャートである。

【図13】本開示における作業機械の周辺監視装置の概略構成の変形例を示す図である。

【発明を実施するための形態】

【0017】

以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。

【0018】

＜第１実施形態＞
第１実施形態における作業機械の周辺監視装置の概要について、図１を参照しながら説明する。図１は、本実施形態における作業機械の周辺監視装置の概略構成を示す図である。本実施形態に係る作業機械の周辺監視装置１００は、作業機械１０に設置され、該作業機械１０の周辺を監視するための装置である。ここで、作業機械１０とは、ショベル等の建設機械や、作業機を備えた機械（フォークリフト等）である。そして、周辺監視装置１００は、撮影装置２００と、画像処理装置３００と、発報装置４００と、を備える。

【0019】

撮影装置２００は、作業機械１０に設置され該作業機械１０の周囲を撮影する装置であって、静止画や動画等の画像の入力を受け付ける機能を有し、具体的には、Charged-Coupled Devices（ＣＣＤ）、Metal-oxide-semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイメージセンサを用いたカメラにより実現される。本開示の撮影装置２００は、１以上の半天球カメラ２２０を含み、該半天球カメラ２２０の光軸が地面に対して所定の角度で配置されるように構成される。ここで、本実施形態では、図１（ａ）に示すように、半天球カメラ２２０は、作業機械１０（例えば、ミニショベル）の上部旋回体１１の上面に配置され、該半天球カメラ２２０の光軸Ｌ２が、地面との平行線Ｌ１に対して所定の角度で下方に向けられている。なお、この角度は、撮影装置２００によって地面付近の人を撮影可能な角度として定義され、例えば、図１（ａ）に示すように、半天球カメラ２２０が上部旋回体１１の上面に配置される場合には、該半天球カメラ２２０の光軸Ｌ２が地面に対して略垂直に向けられる。ただし、このように半天球カメラ２２０が地面に対して略垂直に向けられる態様に限定する意図はなく、半天球カメラ２２０は、前後左右いずれかの方向に傾けられてもよい。そして、本実施形態では、図１（ｂ）に示すように、１つの半天球カメラ２２０が、作業機械１０の運転室の上面に配置されている。このように、作業機械１０に半天球カメラ２２０が設置されることで、可及的に少ないカメラ数で作業機械１０の周囲を広範囲に亘って視野が欠けることなく撮影することができ、また、該半天球カメラ２２０が運転室の上面に配置されることで、該運転室の存在により生じ得る死角の影響を可及的に抑制することができる。なお、本開示の撮影装置を１つの半天球カメラを含んだ構成に限定する意図はない。例えば、作業機械１０が大型の建設機械の場合には、該作業機械１０の前後に１つずつ半天球カメラが配置されてもよい。

【0020】

画像処理装置３００は、撮影装置２００によって撮影された作業機械１０の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行する。

【0021】

ここで、画像処理装置３００は、データの取得、生成、更新等の演算処理及び加工処理のための処理能力のある機器であればどの様な電子機器でもよく、例えば、コンピュータである。すなわち、画像処理装置３００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、あるいは、ＣＤやＤＶＤのようなディスク記録媒体であってもよい。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納されている。

【0022】

発報装置４００は、所定の警報信号又は／及び所定の発報を出力する装置である。ここで、所定の発報とは、警告灯や警告音などである。本実施形態では、図１（ａ）および図１（ｂ）に示すように、発報装置４００として、例えば、パトライト（登録商標）が上部旋回体１１の上面に配置されてもよい。そうすると、周辺監視装置１００は、例えば、パトライト（登録商標）が発する警告灯によって、作業機械１０の周囲の人物に対して警告を行うことができる。また、作業機械１０のオペレータに対して、該作業機械１０への人の接近を認知させることができる。なお、発報装置４００は、例えば、パトライト（登録商標）とスピーカーとを含んでもよい。この場合、周辺監視装置１００は、警告灯と警告音によって、警告を行うことができる。

【0023】

また、周辺監視装置１００は、表示装置５００を更に備えてもよい。ここで、表示装置５００は、撮影装置２００によって撮影された撮影画像データ又は／及び該撮影画像データに基づく処理により取得された所定のデータを表示可能に構成された装置である。このような表示装置５００は、例えば、作業機械１０の運転室内に設けられる。これにより、作業機械１０のオペレータは、該作業機械１０の車体の周辺に存在する障害物を、表示装置５００を介して視認できるようになる。

【0024】

以上に述べたように、本開示の作業機械の周辺監視装置１００は、撮影装置２００、画像処理装置３００、および発報装置４００といった簡易な構成によって実現され、これらを既存の作業機械１０に配置するだけで、作業機械１０に周辺監視装置１００を簡単に設置することができる。また、上述したように、撮影装置２００が半天球カメラ２２０によって構成されるため、低コスト及び可及的に少ないカメラ数で作業機械１０の周囲を広範囲に亘って監視することができる。

【0025】

次に、図１（ｃ）に基づいて、画像処理装置３００の構成要素の詳細な説明を行う。図１（ｃ）は、第１実施形態における、周辺監視装置１００に含まれる画像処理装置３００の構成要素をより詳細に示した図である。

【0026】

画像処理装置３００は、機能部として記憶部３０２、制御部３０３を有しており、補助記憶装置に格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各機能部等が制御されることによって、各機能部における所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。

【0027】

記憶部３０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部３０３によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部３０３において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。

【0028】

また、記憶部３０２は、後述する事前学習モデルを記憶してもよい。この事前学習モデルは、後述する抽出処理に用いることができる。ここで、画像処理装置３００の機能がＦＰＧＡのようなハードウェア回路によって実現される場合、事前学習モデルはＦＰＧＡに内蔵されたメモリに記憶されてもよい。

【0029】

制御部３０３は、画像処理装置３００が行う処理を司る機能部である。制御部３０３は、ＣＰＵなどの演算処理装置によって実現することができる。制御部３０３は、更に、取得部３０３１と、抽出処理部３０３２と、測距処理部３０３３と、発報制御処理部３０３４と、の４つの機能部を有して構成される。各機能部は、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。なお、制御部３０３が、取得部３０３１、抽出処理部３０３２、測距処理部３０３３、および発報制御処理部３０３４の処理を実行することで、本開示に係るプロセッサとして機能する。そして、このプロセッサが、画像処理装置３００を構成する集積回路に実装されることで、上記機能部の処理を実行するプロセッサが作業機械１０に設置されることになる。

【0030】

ここで、制御部３０３が行う処理フローについて、図２に基づいて説明する。図２は、本実施形態に係る周辺監視装置１００において、作業機械１０とその周囲の人物との接触を回避するために制御部３０３が行う処理フローを示すフローチャートである。本実施形態では、周辺監視装置１００の電源が入れられると本フローの実行が開始され、周辺監視装置１００の作動中に所定の演算周期で繰り返し実行される。

【0031】

本フローでは、先ず、Ｓ１０１において、取得部３０３１が、撮影装置２００によって撮影された作業機械１０の周囲画像を表す撮影画像データを取得する。ここで、撮影装置２００および画像処理装置３００は通信部を有しており、これらの通信部がネットワークを介して接続されることで、取得部３０３１が上記の撮影画像データを取得することが可能になる。なお、ネットワークは、無線であっても有線であっても無線と有線の組み合わせであってもよい。

【0032】

ここで、取得部３０３１は、撮影装置２００によって撮影される作業機械１０の周囲画像のうち、予め定められた或るエリアの画像を除外して撮影画像データを取得してもよい。図３は、撮影画像データから除外されるエリアを説明するための図である。図３に示すように、取得部３０３１は、作業機械１０が撮影され得る領域であるエリアαを除外して撮影画像データを取得することができる。これによれば、作業機械１０の運転室内のオペレータを含めることなく撮影画像データを取得することができ、後述する抽出処理において、作業機械１０の周囲人物のみを適切に抽出することが可能となる。また、図３に示すように、取得部３０３１は、作業機械１０の上方（周囲の空など）が撮影され得る領域であるエリアβを除外して撮影画像データを取得することができる。これによれば、作業機械１０の周囲に人物が存在し得ない領域を含めることなく撮影画像データを取得することができ、後述する抽出処理における処理負担を軽減することが可能となる。このように、取得部３０３１は、撮影装置２００によって撮影される作業機械１０の周囲画像のうち、所定のエリア（例えば、図３に示す取得エリア）の画像のみを撮影画像データとして取得してもよい。なお、上述したような除外エリアは、作業機械１０の機種と、各作業機械１０における撮影装置２００の設置パラメータと、に応じて予め調整され得る。例えば、図３（ａ）に示すように、半天球カメラ２２０の光軸Ｌ２が地面に対して略垂直に向けられる場合に対して、図３（ｂ）に示すように、半天球カメラ２２０の光軸Ｌ２が後方に傾けられる場合には、その傾きに応じてエリアαおよびエリアβが予め調整され得る。なお、図３では、作業機械１０がミニショベルである場合を例にして説明したが、作業機械１０がフォークリフト等である場合も同様にして除外エリアが設定され得る。

【0033】

次に、Ｓ１０２において、抽出処理部３０３２が、撮影画像データから人物画像を抽出する抽出処理を実行する。この抽出処理では、作業機械１０の周囲に人が存在して、その人が撮影装置２００によって撮影されている場合には、撮影画像データから人物画像を抽出することができる。ここで、抽出処理部３０３２は、作業機械１０の運転室内のオペレータを除外して人物画像を抽出する。例えば、上述したように、取得部３０３１が、作業機械１０が撮影され得る領域を除外して撮影画像データを取得する場合には、該撮影画像データに作業機械１０の運転室内のオペレータが含まれないので、抽出処理部３０３２は、作業機械１０の運転室内のオペレータを除外して人物画像を抽出することができる。一方、取得部３０３１が、撮影装置２００によって撮影される作業機械１０の周囲画像をそのまま撮影画像データとして取得する場合には、抽出処理部３０３２は、撮影画像データのうちの作業機械１０の運転室内のオペレータを除外して抽出処理を実行する。なお、この抽出処理の詳細については、後述する。そして、抽出処理部３０３２は、Ｓ１０３において、Ｓ１０２で実行した抽出処理の結果に基づいて、作業機械１０の周囲に人が存在するか否かを判別する。Ｓ１０３において肯定判定された場合、制御部３０３はＳ１０４の処理へ進み、Ｓ１０３において否定判定された場合、本フローの実行が終了される。

【0034】

Ｓ１０３において肯定判定された場合、次に、Ｓ１０４において、測距処理部３０３３が、作業機械１０とその周囲の人物との距離を測定する測距処理を実行する。この測距処理では、抽出処理によって抽出された人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。なお、この測距処理の詳細については、後述する。また、Ｓ１０４では、上記の測距処理と併せて、Ｓ１０２の抽出処理によって抽出された人物画像の画像データである抽出画像データの出力が実行される。このとき、表示装置５００には、後述するように、撮影装置２００によって撮影された撮影画像データに加えて、抽出処理によって抽出された人物画像が矩形とともに表示される。

【0035】

次に、Ｓ１０５において、発報制御処理部３０３４は、測距処理によって測定された上記の距離が所定値以下であるか否かを判別する。ここで、上記の所定値とは、作業機械１０の作動により該作業機械１０とその周囲人物との接触が懸念される距離の値であって、例えば、作業機械１０の大きさや作動範囲に基づいて、予め定められる。そして、Ｓ１０５において肯定判定された場合、制御部３０３はＳ１０６の処理へ進み、Ｓ１０５において否定判定された場合、本フローの実行が終了される。

【0036】

Ｓ１０５において肯定判定された場合、発報制御処理部３０３４は、次に、Ｓ１０６において、発報装置４００の出力を制御する。本実施形態では、発報制御処理部３０３４は、発報装置４００（例えば、パトライト（登録商標））から警告灯を出力させる。なお、発報装置４００が、例えば、パトライト（登録商標）およびスピーカーによって構成される場合には、発報制御処理部３０３４は、パトライト（登録商標）から警告灯を出力させ、スピーカーから警告音を出力させてもよい。そして、Ｓ１０６の処理の後、本フローの実行が終了される。

【0037】

以上に述べた処理によれば、抽出処理によって抽出された人物画像に基づいて、作業機械１０の周囲の人物との距離が測距され、その測距距離の結果に基づいて発報制御処理が実行される。そして、発報装置４００から所定の発報が出力されることで、作業機械１０の周囲の人物に対して、該作業機械１０との接触を回避するための警告を行うことができる。また、作業機械１０のオペレータは、発報装置４００からの発報の出力を認知すると、作業機械１０とその周囲の人物との接触を回避するための運転動作を行うことができる。これにより、作業機械１０とその周囲の人物との接触を抑制することができる。

【0038】

（抽出処理）
次に、抽出処理部３０３２が実行する抽出処理の詳細について説明する。本実施形態の抽出処理では、事前学習モデルに撮影画像データが入力されることで、人物画像が抽出される。そして、事前学習モデルは、人物を表す画像を含んだデータを用いて学習を行うことにより構築される。

【0039】

ここで、図４は、本実施形態における事前学習モデルに対する入力から得られる識別結果と、該事前学習モデルを構成するニューラルネットワークを説明するための図である。本実施形態では、事前学習モデルとして、ディープラーニングにより生成されるニューラルネットワークモデルを用いる。本実施形態における事前学習モデル３０は、所定の画像データの入力を受け付ける入力層３１と、入力層３１に入力された該画像データから人物を表す特徴量を抽出する中間層（隠れ層）３２と、特徴量に基づく識別結果を出力する出力層３３とを有する。なお、図４の例では、事前学習モデル３０は、１層の中間層３２を有しており、入力層３１の出力が中間層３２に入力され、中間層３２の出力が出力層３３に入力されている。ただし、中間層３２の数は、１層に限られなくてもよく、事前学習モデル３０は、２層以上の中間層３２を有してもよい。

【0040】

また、図４によると、各層３１〜３３は、１又は複数のニューロンを備えている。例えば、入力層３１のニューロンの数は、入力される画像データに応じて設定することができる。また、出力層３３のニューロンの数は、識別結果である人物画像に応じて設定することができる。

【0041】

そして、隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が機械学習の結果に基づいて設定される。図４の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、適宜設定することができる。

【0042】

このような事前学習モデル３０は、例えば、人物を表す画像を含んだ画像データと、人物を表す画像のラベルと、の組みである教師データを用いて教師あり学習を行うことで構築される。具体的には、特徴量とラベルとの組みをニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューロン同士の結合の重みがチューニングされる。このようにして、教師データの特徴を学習し、入力から結果を推定するための事前学習モデルが帰納的に獲得される。

【0043】

なお、上記の図１に示したように、半天球カメラ２２０が作業機械１０の上部旋回体１１の上面に配置される場合には、撮影装置２００によって撮影される作業機械１０の周囲画像は、該作業機械１０の上方からの俯瞰画像になる傾向がある。そこで、本実施形態では、事前学習モデルを構築するために学習される画像データに俯瞰画像が用いられてもよい。このように、事前学習モデルを構築するために学習される画像データに俯瞰画像が用いられることで、撮影画像データから人物画像をより精度よく抽出することが可能となる。

【0044】

また、事前学習モデル３０は、教師なし学習を行うことで構築されてもよい。教師なし学習には、例えば、転移学習の一種であるドメイン適応を用いることができる。これによれば、ラベルが付された教師データを大量に用意することなく、事前学習モデルを獲得することができる。

【0045】

そして、本実施形態では、上述した表示装置５００に、撮影装置２００によって撮影された撮影画像データに加えて、抽出処理によって抽出された人物画像が矩形とともに表示される。ここで、図５は、表示装置５００に表示される撮影画像データおよび人物画像を説明するための図である。作業機械１０のオペレータは、表示装置５００の画面ＳＣ１を介して、該作業機械１０の周囲を視認することができる。

【0046】

図５（ａ）は、表示装置５００に表示された撮影画像データを示す図である。図５（ａ）に示すように、表示装置５００の画面ＳＣ１には、撮影画像データＳＣ１１が表示される。そして、図５（ｂ）は、表示装置５００に、撮影画像データとともに、抽出処理によって抽出された人物画像が表示される例を示す図である。図５（ｂ）に示すように、表示装置５００の画面ＳＣ１には、撮影画像データＳＣ１１、および人物画像ＳＣ１２が表示される。このように、抽出処理によって抽出された人物画像ＳＣ１２は、矩形とともに表示される。これによれば、作業機械１０のオペレータは、表示装置５００の画面ＳＣ１に表示された人物画像ＳＣ１２を視認し易くなる。なお、上述した事前学習モデルを用いて人物画像が抽出されることで、撮影画像データからの人物画像の抽出精度、具体的には、撮影画像データＳＣ１１に含んで表示される人物画像ＳＣ１２を表す矩形の位置精度が向上する。

【0047】

ここで、本実施形態の画像処理装置３００では、半天球カメラ２２０のレンズの歪み補正値を用いて、撮影画像データの歪み補正が行われる。そして、表示装置５００の画面ＳＣ１には、歪み補正が行われた撮影画像データＳＣ１１が表示される。また、歪み補正が行われた撮影画像データから人物画像が抽出される。そのため、事前学習モデルを構成するにあたっては、学習に用いられる人物を表す画像を含んだ画像データとして、歪み補正が行われた画像が使用される。ただし、本開示をこれに限定する意図はなく、本開示の周辺監視装置では、上記の歪み補正が実行されなくてもよい。この場合、表示装置５００には、歪みを含んだ撮影画像データが表示されることになるが、この歪みを含んだ撮影画像データからも精度よく人物画像を抽出することができれば、作業機械１０のオペレータは、矩形とともに表示された人物画像を視認することができる。そこで、このような場合には、事前学習モデルを構成するにあたって、学習に用いられる人物を表す画像を含んだ画像データとして、歪みを含んだ画像が使用される。そうすると、歪みを含んだ撮影画像データからも精度よく人物画像を抽出することができる。これによれば、画像処理装置３００は、撮影装置２００から取得した撮影画像データを歪み補正する必要がなく、以て、周辺監視装置における画像処理の処理負担が軽減されるため、より迅速に作業機械１０の周辺を監視することができる。

【0048】

また、図５（ｃ）は、人物画像ＳＣ１２を表す矩形のバリエーションを示す図である。図５（ｃ）に示すように、人物画像ＳＣ１２を表す矩形は、人の全身を囲う矩形ＳＣ１２１であってもよいし、人の上半身を囲う矩形ＳＣ１２２であってもよいし、人の首上を囲う矩形ＳＣ１２３であってもよい。作業機械１０のオペレータは、いずれの矩形であっても人物画像を認知することができるが、例えば、人の全身を囲う矩形ＳＣ１２１の場合は、その人の大きさを認知し易くなる。また、例えば、撮影画像データに複数の人物画像が含まれる場合には、人の首上を囲う矩形ＳＣ１２３が用いられることで、人の数が認知され易くなる。つまり、撮影画像データに複数の人物画像が含まれる場合に、好ましくは人の首上を囲う矩形ＳＣ１２３が用いられ得る。

【0049】

なお、本実施形態では、上述したように、画像処理装置３００の機能をＦＰＧＡのようなハードウェア回路によって実現することができる。この場合、事前学習モデルはＦＰＧＡに内蔵されたメモリに記憶され得る。これによれば、事前学習モデルを用いた抽出処理を可及的速やかに実行することができ、以て、より迅速に作業機械１０の周辺を監視することができる。

【0050】

このように、本実施形態の抽出処理によれば、事前学習モデルを用いることで、撮影画像データから人物画像を精度よく抽出することができるとともに、抽出した人物画像を作業機械１０のオペレータに好適に視認させることができる。

【0051】

（測距処理）
次に、測距処理部３０３３が実行する測距処理の詳細について説明する。本実施形態の測距処理では、抽出処理によって抽出された人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。そして、このような測距処理について、本実施形態では、人物画像の足元の画像に基づいて測距する足元測距と、人物画像の頭の画像に基づいて測距する頭測距と、が用いられる。本実施形態では、これら測距方法のうちのいずれかの方法が用いられてもよいし、これら測距方法の両方が用いられてもよい。足元測距および頭測距について、以下に詳しく説明する。

【0052】

先ず、足元測距について説明する。足元測距では、測距処理部３０３３は、撮影画像データにおける人物画像の足元の二次元座標である足元座標を取得する。そして、足元座標に基づいて、作業機械１０の周囲の人物の足元と撮影装置２００との間の所定の角度である足元角度を算出する。そうすると、測距処理部３０３３は、算出された足元角度と、撮影装置２００の設置高さと、に基づいて、作業機械１０とその周囲の人物との距離を測定することができる。

【0053】

図６は、足元角度と、撮影装置２００の設置高さと、周囲人物との距離と、の関係を説明するための図である。ここで、周囲人物とは、作業機械１０の周囲の人物であって、この周囲人物と作業機械１０との距離である周囲人物との距離が、図６における距離Ｄとして表される。そして、地面からの撮影装置２００の設置高さが、図６における高さｈとして表される。また、上述した、周囲人物の足元と撮影装置２００との間の足元角度が、図６における角度θとして表される。そうすると、周囲人物との距離Ｄを下記式１で算出することができる。

【数1】

Ｄ：周囲人物との距離（ｍｍ）
ｈ：撮影装置２００の設置高さ（ｍｍ）
θ：足元角度（ｄｅｇｒｅｅ）

【0054】

そして、測距処理部３０３３は、上記式１に基づく周囲人物との距離Ｄを算出するために、図７に示す処理フローを実行する。図７は、本実施形態に係る測距処理の一つである足元測距において、測距処理部３０３３が行う処理フローを示すフローチャートである。本フローは、上記の図２に示したＳ１０４における測距処理の内部処理として実行される。

【0055】

本フローでは、先ず、Ｓ１０４１において、足元座標（撮影画像データにおける人物画像の足元の二次元座標）が取得される。これについて、図８に基づいて説明する。図８は、カメラの内部パラメータとともに、該カメラのセンサ上に投影される被写体を説明するための図である。図８に示す例では、周囲人物が、カメラの光軸Ｌ２からＹ軸方向にずれた位置に存在している。この場合、測距処理部３０３３は、センサ上に投影された周囲人物の足元の座標ｙを足元座標として取得する。なお、上述した抽出処理の説明で述べたように、人物画像は矩形とともに表示され得る。そこで、例えば、人の全身を囲う矩形の下端を足元座標として取得してもよい。また、足元座標が取得される撮影画像データが歪み補正されていない場合には、取得した足元座標に対して歪み補正処理を行うことができる。

【0056】

そして、図７に戻って、次に、Ｓ１０４２において、足元角度（作業機械１０の周囲の人物の足元と撮影装置２００との間の角度）が算出される。ここで、周囲人物が、カメラの光軸Ｌ２からＸ軸およびＹ軸方向にずれた位置に存在している場合を仮定すると、上記のＳ１０４１の処理において、測距処理部３０３３は、センサ上に投影された周囲人物の足元のｘ座標およびｙ座標を取得する。そして、Ｓ１０４２の処理では、先ず、これら座標の光軸Ｌ２からの距離が下記式２で算出される。

【数2】

ｄｉｓｔ：足元座標の光軸からの距離（ｐｉｘｅｌ）
ｘ：足元座標のｘ座標（ｐｉｘｅｌ）
ｙ：足元座標のｙ座標（ｐｉｘｅｌ）
ｘｃｅｎ：センサ上の光軸のｘ座標（ｐｉｘｅｌ）
ｙｃｅｎ：センサ上の光軸のｙ座標（ｐｉｘｅｌ）
なお、センサ上の光軸の座標（ｘｃｅｎ、ｙｃｅｎ）は、カメラの内部パラメータとして予め定められる。

【0057】

そして、足元角度θは、上記の図８に基づいて、下記式３で算出することができる。

【数3】

θ：足元角度（ｄｅｇｒｅｅ）
ｆ：レンズの焦点距離（ｍｍ）
ｄｉｓｔ：足元座標の光軸からの距離（ｐｉｘｅｌ）
Ｎ：カメラの画素サイズ（ｍｍ／ｐｉｘｅｌ）

【0058】

そして、図７に戻って、次に、Ｓ１０４３において、撮影装置２００の設置高さが取得される。撮影装置２００の設置高さは、周辺監視装置１００が設置される作業機械１０に応じて予め定められる。なお、測距処理部３０３３は、Ｓ１０４３の処理をＳ１０４１の処理の前に行ってもよい。

【0059】

次に、Ｓ１０４４において、Ｓ１０４２の処理で算出された足元角度と、Ｓ１０４３の処理で取得された撮影装置２００の設置高さと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。詳しくは、測距処理部３０３３は、上記式１に基づいて、作業機械１０とその周囲の人物との距離を算出する。そして、Ｓ１０４４の処理の後、制御部３０３はＳ１０５の処理へ進む。なお、上述したように、Ｓ１０４では、このような測距処理と併せて抽出画像データの出力が実行される。

【0060】

以上によれば、半天球カメラ２２０によって、低コスト及び可及的に少ないカメラ数ながら精度よく測距処理を行うことができる。なお、このような足元測距によれば、足元座標を比較的正確に取得することができるため、上述した距離の算出精度を可及的に高くすることができる。

【0061】

次に、頭測距について説明する。頭測距では、測距処理部３０３３は、撮影画像データにおける人物画像の頭の画像を取得するとともに、該頭の画像の大きさに基づいて、作業機械１０とその周囲の人物との距離を測定する。

【0062】

詳しくは、測距処理部３０３３は、撮影画像データにおける人物画像の頭の画像の縦画素数を取得する。ここで、頭の画像の縦画素数は、例えば、人の首上を囲う矩形の縦方向の画素数から取得することができる。そして、本開示人は、人の頭の大きさは個人差が少ないことを利用して、頭の大きさを表す上記の縦画素数に基づいて測距できることを見出した。そこで、測距処理部３０３３は、下記式４に基づいて、作業機械１０とその周囲の人物との距離を算出する。

【数4】

Ｄ´：周囲人物との距離（ｍｍ）
Ｄｒｅｆ：基準距離（ｍｍ）
Ｎｒｅｆ：基準距離での縦画素数（ｐｉｘｅｌ）
Ｎｈｅａｄ：頭の画像の縦画素数（ｐｉｘｅｌ）
なお、基準距離Ｄｒｅｆおよび該基準距離での縦画素数Ｎｒｅｆは、予め定められる。そして、このように予め定められた基準と、撮影画像データから取得したの頭の画像の縦画素数Ｎｈｅａｄと、を比較することで、周囲人物との距離Ｄ´が算出される。

【0063】

以上によれば、半天球カメラ２２０によって、低コスト及び可及的に少ないカメラ数ながら精度よく測距処理を行うことができる。なお、このような頭測距によれば、仮に、撮影画像データに周囲人物の足元が含まれていない場合であったり、高所に人が登っているなどして人物が地上にいない場合であっても、作業機械１０とその周囲の人物との距離を算出することができる。

【0064】

そして、以上に述べた足元測距と頭測距の両方が用いられて、作業機械１０とその周囲の人物との距離が算出されてもよい。例えば、上記式１に基づく周囲人物との距離Ｄが足元測距により算出され、上記式４に基づく周囲人物との距離Ｄ´が頭測距により算出された場合には、測距処理部３０３３は、下記式５に基づいて算出される周囲人物との距離Ｄｏｕｔを、作業機械１０とその周囲の人物との距離として出力する。

【数5】

Ｄｏｕｔ：出力される周囲人物との距離（ｍｍ）
Ｄ：足元測距により算出される周囲人物との距離（ｍｍ）
Ｄ´：頭測距により算出される周囲人物との距離（ｍｍ）
ｗ：ブレンド係数
ここで、ブレンド係数ｗは、下記式６および下記式７に基づいて算出される。

【数6】

【数7】

【0065】

これによれば、例えば、距離Ｄと距離Ｄ´とが５００ｍｍずれている場合には、ブレンド係数ｗが０．５となり、足元測距により算出される周囲人物との距離Ｄと頭測距により算出される周囲人物との距離Ｄ´の平均値が、作業機械１０とその周囲の人物との距離Ｄｏｕｔとして出力される。また、例えば、距離Ｄと距離Ｄ´とが１０００ｍｍ以上ずれている場合には、ブレンド係数ｗが１．０となり、頭測距により算出される周囲人物との距離Ｄ´が、作業機械１０とその周囲の人物との距離Ｄｏｕｔとして出力される。なお、距離Ｄと距離Ｄ´とが等しい場合には、ブレンド係数ｗが０となり、足元測距により算出される周囲人物との距離Ｄが、作業機械１０とその周囲の人物との距離Ｄｏｕｔとして出力される。

【0066】

以上に述べたように、本実施形態では、抽出処理によって撮影画像データから人物画像を精度よく抽出することができ、測距処理によって精度よく周囲人物との距離を測定することができる。そして、本実施形態によれば、低コスト及び可及的に少ないカメラ数で作業機械の周囲を広範囲に亘って監視できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供することができる。

【0067】

なお、本実施形態の周辺監視装置１００は、上述した撮影装置２００の設置パラメータ等を記憶した記憶装置を備えていてもよい。この場合、記憶装置には、作業機械１０の機種毎の撮影装置２００の設置パラメータが記憶され得る。そして、記憶装置に記憶された上記の設置パラメータは、作業機械１０の機種とともに表示装置５００に表示され得る。そうすると、ユーザは、作業機械１０の機種に応じて簡単に周辺監視装置１００を設置することができる。

【0068】

また、上記の実施形態では、周辺監視装置１００が表示装置５００を備える構成を例にして説明したが、本開示の周辺監視装置をこれに限定する意図はない。本開示の周辺監視装置は、上述した表示装置を備えていなくてもよく、この場合でも、抽出処理によって抽出された人物画像と、撮影装置の設置パラメータと、に基づいて測距処理が実行され、該測距処理の結果に基づいて発報制御処理が実行されることで、作業機械とその周囲の人物との接触を抑制することができる。

【0069】

＜第１実施形態の変形例１＞
上記第１実施形態の変形例１について説明する。上述した第１実施形態では、作業機械１０とその周囲の人物との距離が所定値以下となった場合に、発報装置４００から警告灯や警告音が出力される。これにより、作業機械１０の周囲の人物に対して、該作業機械１０との接触を回避するための警告を行うことができる。また、作業機械１０のオペレータは、発報装置４００からの発報の出力を認知すると、作業機械１０とその周囲の人物との接触を回避するための運転動作を行うことができる。ここで、オペレータによる運転動作によらずに作業機械１０の回避動作を行うことができれば、作業機械１０とその周囲の人物との接触をより好適に回避することができる。

【0070】

そこで、本変形例では、上記第１実施形態の説明で述べた発報制御処理部３０３４が、作業機械１０とその周囲の人物との距離が所定値以下となった場合に、発報装置４００から、該作業機械１０とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる。

【0071】

ここで、本変形例の発報装置４００は、所定の警報信号を出力可能に構成される。そして、所定の警報信号とは、例えば、上記の回避動作を指令する信号であって、該信号は、Controller Area Network（ＣＡＮ）等によって作業機械１０の制御コントローラに送信される。そうすると、作業機械１０は、オペレータの操作によらず自動で回避動作を行うことになる。ここで、回避動作とは、作業機械１０の作動が減速する動作や、作業機械１０の作動が停止する動作などである。これによれば、オペレータによる運転動作によらずに作業機械１０の回避動作を行うことができ、作業機械１０とその周囲の人物との接触をより好適に回避することができる。なお、発報装置４００は、電気的もしくは機械的な接点または入出力信号を出力可能に構成されてもよい。

【0072】

なお、発報装置４００は、このような回避動作を指令する信号を出力する機能のみを有していてもよいし、当該機能に加えて上記第１実施形態の説明で述べた警告灯や警告音を出力する機能を有していてもよい。また、警報信号として、作業機械１０とその周囲の人物との距離が所定値以下となった旨の情報が、所定の通信手段（例えば、イーサネット）を介して所定の端末に通知されてもよい。

【0073】

＜第１実施形態の変形例２＞
上記第１実施形態の変形例２について説明する。上述した第１実施形態では、周辺監視装置１００の電源が入れられると、上記図２に示したフローが実行される。これに対して、本変形例では、周辺監視装置１００の電源が入れられると、以下に説明する図９に示すフローが実行される。

【0074】

本変形例において、制御部３０３が行う処理フローについて、図９に基づいて説明する。図９は、本変形例に係る周辺監視装置１００において、作業機械１０とその周囲の人物との接触を回避するために制御部３０３が行う処理フローを示す第１のフローチャートである。なお、本変形例において、上述した第１実施形態の図２に示した処理と実質的に同一の処理については、同一の符号を付してその詳細な説明を省略する。

【0075】

図９に示すフローでは、Ｓ１０１の処理の後に、Ｓ２０１において、周辺監視装置１００の電源が入れられてから所定時間が経過したか否かが判別される。ここで、所定時間とは、例えば、抽出処理に用いられる事前学習モデルやプログラムが画像処理装置３００の作業領域にロードされるまでの時間であって、モデルの規模に応じて予め定められる。そして、Ｓ２０１において肯定判定された場合、この場合はすぐに抽出処理が実行され得る場合であって、制御部３０３はＳ１０２の処理へ進む。一方、Ｓ２０１において否定判定された場合、制御部３０３はＳ２０２の処理へ進む。

【0076】

Ｓ２０１において否定判定された場合、次に、Ｓ２０２において、Ｓ１０１の処理で取得された撮影画像データのみが表示装置５００に出力される。そして、Ｓ２０２の処理の後、本フローの実行が終了される。

【0077】

ここで、周辺監視装置１００の電源が入れられてから所定時間が経過するまでは、制御部３０３は抽出処理をすぐに実行することができない。このような場合、仮に、抽出処理が実行可能になるまで制御部３０３の処理が待機され、作業機械１０のオペレータが表示装置５００を介して周囲を視認することができないとすると、この間に作業機械１０とその周囲の人物との接触が生じ得る虞がある。これに対して、本フローによれば、周辺監視装置１００の電源が入れられてから所定時間が経過するまでは、抽出処理および測距処理により取得され得るデータは表示装置５００に出力されずに撮影画像データのみが表示装置５００に出力される。つまり、周辺監視装置１００の電源が入れられてから可及的速やかに作業機械１０の周囲画像が表示装置５００に出力されることになる。そのため、作業機械１０のオペレータは、周辺監視装置１００の電源が入れられてから可及的速やかに、表示装置５００を介して周囲を視認することができる。これによれば、作業機械１０とその周囲の人物との接触をより好適に回避することができる。

【0078】

なお、このように撮影画像データのみが表示装置５００に出力される場合には、撮影画像データに含まれる人物には矩形が表示されない。そうすると、作業機械１０のオペレータは、抽出処理および測距処理が未だ実行されていないことを認識できる。

【0079】

また、本変形例では、周辺監視装置１００の電源が入れられると、以下に説明する図１０に示すフローが実行されてもよい。図１０は、本変形例に係る周辺監視装置１００において、作業機械１０とその周囲の人物との接触を回避するために制御部３０３が行う処理フローを示す第２のフローチャートである。なお、上述した第１実施形態の図２に示した処理と実質的に同一の処理については、同一の符号を付してその詳細な説明を省略する。

【0080】

図１０に示すフローでは、Ｓ１０２の処理の後に、Ｓ２０３において、Ｓ１０２の処理における抽出処理の結果を取得可能か否かが判別される。ここで、抽出処理の結果を取得できない場合とは、例えば、抽出処理に用いられる事前学習モデルやプログラムが画像処理装置３００の作業領域に未だロードされていない（作業領域へのロードが完了していない）場合である。この場合、図１０に示すフローでは、上記のロードの完了の有無にかかわらずＳ１０２の処理が実行されている。なお、Ｓ１０２において、上記のロードが完了していないために周囲人物の抽出を行うことができない場合には、制御部３０３は、抽出処理を実行できないとして即座にＳ１０２の処理を終了させる。このとき、制御部３０３は、抽出処理を実行したか否かを判別するフラグを立ててもよい。そうすると、Ｓ２０３では、このフラグに基づいて上記を判定することができる。そして、Ｓ２０３において肯定判定された場合、制御部３０３はＳ１０３の処理へ進み、Ｓ２０３において否定判定された場合、制御部３０３はＳ２０４の処理へ進む。

【0081】

Ｓ２０３において否定判定された場合、次に、Ｓ２０４において、Ｓ１０１の処理で取得された撮影画像データのみが表示装置５００に出力される。そして、Ｓ２０４の処理の後、本フローの実行が終了される。

【0082】

以上に述べた処理によっても、作業機械１０のオペレータは、周辺監視装置１００の電源が入れられてから可及的速やかに、表示装置５００を介して周囲を視認することができ、以て、作業機械１０とその周囲の人物との接触をより好適に回避することができる。

【0083】

＜第２実施形態＞
第２実施形態について説明する。本実施形態では、制御部３０３が画像鮮明化処理を更に実行する。詳しくは、制御部３０３は、撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成する。そして、撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、撮影画像データと、を所定の比率で合成することで撮影画像データの鮮明化を行う。これについて、図１１に基づいて説明する。

【0084】

本実施形態の制御部３０３は、画像鮮明化処理を実行するために、図１１に示す処理フローを実行する。図１１は、本実施形態に係る画像鮮明化処理において、制御部３０３が行う処理フローを示すフローチャートである。本フローは、上記図２に示したフローのＳ１０１の処理の後に実行される。

【0085】

本フローでは、Ｓ１０１の処理の後に、Ｓ３０１において、撮影画像ヒストグラムが生成される。上述したように、撮影画像ヒストグラムは、撮影画像データに含まれる画素値の頻度を示すヒストグラムであって、周知の技術に基づいて生成される。

【0086】

次に、Ｓ３０２において、平滑化画像データが生成される。Ｓ３０２の処理において、制御部３０３は、先ず、撮影画像ヒストグラムを平滑化した平滑化ヒストグラムを生成し、該平滑化ヒストグラムに基づいて平滑化画像データを取得する。ここで、平滑化ヒストグラムは、撮影画像ヒストグラムを画素値の範囲全体（２５６階調）に亘って引き伸ばすことによって生成され、例えば、或る画素値の範囲に頻度が集中しているヒストグラムを画素値の範囲全体（２５６階調）に亘って引き伸ばすことによって、コントラストの高い画像を取得することができる。つまり、平滑化画像データは、撮影画像データのコントラストが高められた画像データである。

【0087】

このような平滑化画像データによれば、夜間や霧天時であっても画像のコントラストを確保することができる。しかしながら、作業機械１０は様々な環境下で使用されるため、その環境に応じてコントラストが調整される必要がある。

【0088】

そこで、本実施形態では、Ｓ３０３の処理において、鮮明化強度が取得される。そして、Ｓ３０４の処理において、撮影画像データに平滑化画像データが所定の比率で合成される。この比率が鮮明化強度に基づく比率であって、該強度の区分が、例えば、弱・中・強の３段階で設定され得る。例えば、鮮明化強度の区分が弱の場合に、平滑化画像データと撮影画像データとが１：３の比率で合成され、鮮明化強度の区分が中の場合に、平滑化画像データと撮影画像データとが１：１の比率で合成され、鮮明化強度の区分が強の場合に、平滑化画像データと撮影画像データとが３：１の比率で合成される。なお、Ｓ３０３の処理では、このような区分に応じた強度の値、例えば、強度区分が弱の場合は、強度の値が０．２５として取得されてもよいし（この場合、鮮明化された撮影画像データの２５％が平滑化画像データによるもので、７５％が元の撮影画像データによるものとなる。）、区分によらない任意の値（０よりも大きくて１よりも小さい値）が取得されてもよい。また、鮮明化強度は、作業機械１０のオペレータによって手動で設定されてもよいし、環境に応じて自動で設定されてもよい。そして、Ｓ３０４の処理の後、制御部３０３はＳ１０２の処理へ進む。

【0089】

このように、Ｓ３０１〜Ｓ３０４の処理によって撮影画像データの鮮明化が行われ、次のＳ１０２の処理によって抽出処理が実行される場合には、環境に応じて鮮明化された撮影画像データに基づいて人物画像が抽出されることになる。これによれば、撮影画像データからの人物画像の抽出精度を可及的に高くすることができる。また、作業機械１０のオペレータは、該作業機械１０の車体の周辺に存在する障害物を、表示装置５００を介して視認し易くなる。

【0090】

そして、以上に述べた周辺監視装置によっても、作業機械とその周囲の人物との接触を好適に抑制することができる。

【0091】

＜第３実施形態＞
第３実施形態について説明する。本実施形態の撮影装置２００は、被写体の輝度に応じて半天球カメラ２２０の露出を所定の基準値に自動制御する装置である。半天球カメラ２２０の露出を自動制御するに際しては、半天球カメラ２２０の周囲に空や街灯が写った場合、それらの明るさが、車体の周辺に存在する人物や障害物に影響しないような露出制御を行うことを目的とする。そして、このような撮影装置２００は、更に、作業機械１０の周囲の地面の輝度を取得し、その地面の輝度が所定の第１輝度以上の場合には、半天球カメラ２２０の露出が上記の基準値よりも大きくなるように補正する。一方で、地面の輝度が上記の第１輝度よりも低い所定の第２輝度以下の場合には、半天球カメラ２２０の露出が上記の基準値よりも小さくなるように補正する。

【0092】

ここで、露出が自動制御される撮影装置では、カメラの光軸付近を重点的に側光した露出にされる傾向がある。しかしながら、本実施形態の撮影装置２００では、上記第１実施形態の説明で述べたように、例えば、半天球カメラ２２０の光軸Ｌ２が地面に対して略垂直に向けられる。そうすると、半天球カメラ２２０の光軸Ｌ２付近には、作業機械１０が存在することになる。このような場合に、仮に、半天球カメラ２２０の光軸Ｌ２付近を重点的に側光した露出のままにされると、作業機械１０の周囲人物を適切な明るさで撮影できなくなる虞がある。また、このような作業機械１０が撮影され得る領域は、上述した取得部３０３１によって、撮影画像データから除外され得る。

【0093】

そこで、本開示人は、鋭意検討を行った結果、作業機械１０の周囲の地面の輝度に基づいて半天球カメラ２２０の露出を補正することで、作業機械１０の周囲人物を適切な明るさで撮影できることを新たに見出した。これについて、図１２に基づいて説明する。

【0094】

本実施形態の撮影装置２００では、図１２に示す処理フローに従って半天球カメラ２２０の露出が補正される。図１２は、本実施形態に係る半天球カメラ２２０の露出補正のフローを示すフローチャートである。本フローは、上記図２に示したフローのＳ１０１の処理の前に、例えば、撮影装置２００が備える所定のプロセッサによって実行される。

【0095】

本フローでは、先ず、Ｓ４０１において、半天球カメラ２２０の露出が所定の基準値に自動制御される。Ｓ４０１の処理では、周知の技術に基づいて、半天球カメラ２２０によって撮影される被写体の輝度に応じた露出に自動制御される。なお、被写体の輝度は、例えば、周知の側光センサによって取得することができる。ここで、上述したように、半天球カメラ２２０は概ね地面の方向に向けられるため、半天球カメラ２２０によって撮影される被写体の多くを地面が占めることになる。そうすると、本フローでは、先ず、Ｓ４０１の処理において、主に地面の輝度に応じた露出に自動制御される傾向にある。

【0096】

次に、Ｓ４０２において、作業機械１０の周囲の地面の輝度が取得される。Ｓ４０２の処理では、例えば、予め定められたルールに基づいて地面の領域が判別され、その領域の輝度が側光センサ等によって取得される。この場合、撮影装置２００の設置パラメータ等に基づいて予め定められる所定の撮影領域を地面の領域として判定してもよいし、半天球カメラ２２０によって撮影される被写体における輝度の占有率に基づいて地面の領域を判定してもよい。

【0097】

次に、Ｓ４０３において、Ｓ４０２の処理で取得した地面の輝度が所定の第１輝度以上であるか否かが判別される。ここで、上記の第１輝度は、地面の材質に基づいて定められる。詳しくは、本実施形態では、第１輝度は、地面の材質が白色のコンクリートである場合に相当する輝度として予め定められる。そして、Ｓ４０３において肯定判定された場合はＳ４０４の処理へ進み、Ｓ４０３において否定判定された場合はＳ４０５の処理へ進む。

【0098】

Ｓ４０３において肯定判定された場合、次に、Ｓ４０４において、半天球カメラ２２０の露出が上記の基準値よりも大きくなるように補正される。ここで、Ｓ４０３において肯定判定される場合、この場合は、地面が白色のコンクリートのように明るい材質で構成されている場合であって、Ｓ４０１の処理において、半天球カメラ２２０の露出の基準値として、カメラのシャッタースピードが速く又は絞り値が大きくされる傾向にある。このような場合に、仮に半天球カメラ２２０の露出が基準値のままにされると、作業機械１０の周囲人物が極端に暗く撮影されてしまう虞がある。一方で、Ｓ４０４の処理による補正が行われると、半天球カメラ２２０の露出が上記の基準値よりも大きくされるので、作業機械１０の周囲人物を適切な明るさで撮影することができる。そして、Ｓ４０４の処理の後、本フローの実行が終了される。

【0099】

一方、Ｓ４０３において否定判定された場合、次に、Ｓ４０５において、Ｓ４０２の処理で取得した地面の輝度が所定の第２輝度以下であるか否かが判別される。ここで、上記の第２輝度は、上記の第１輝度よりも低い輝度であって、地面の材質に基づいて定められる。詳しくは、本実施形態では、第２輝度は、地面の材質が黒色のアスファルトである場合に相当する輝度として予め定められる。そして、Ｓ４０５において肯定判定された場合はＳ４０６の処理へ進み、Ｓ４０５において否定判定された場合は本フローの実行が終了される。

【0100】

Ｓ４０５において肯定判定された場合、次に、Ｓ４０６において、半天球カメラ２２０の露出が上記の基準値よりも小さくなるように補正される。ここで、Ｓ４０５において肯定判定される場合、この場合は、地面が黒色のアスファルトのように暗い材質で構成されている場合であって、Ｓ４０１の処理において、半天球カメラ２２０の露出の基準値として、カメラのシャッタースピードが遅く又は絞り値が小さくされる傾向にある。このような場合に、仮に半天球カメラ２２０の露出が基準値のままにされると、作業機械１０の周囲人物が極端に明るく撮影されてしまう虞がある。一方で、Ｓ４０６の処理による補正が行われると、半天球カメラ２２０の露出が上記の基準値よりも小さくされるので、作業機械１０の周囲人物を適切な明るさで撮影することができる。そして、Ｓ４０６の処理の後、本フローの実行が終了される。

【0101】

なお、Ｓ４０５において否定判定される場合、この場合は、Ｓ４０２の処理で取得した地面の輝度が第２輝度よりも高くて第１輝度よりも低い場合であって、半天球カメラ２２０の露出は補正されない。つまり、半天球カメラ２２０の露出が基準値のままにされる。

【0102】

このような半天球カメラ２２０の露出の補正が行われる場合には、作業機械１０の周囲人物を適切な明るさで撮影することができるため、撮影画像データからの人物画像の抽出精度を可及的に高くすることができる。また、作業機械１０のオペレータは、該作業機械１０の周囲人物を、表示装置５００を介して視認し易くなる。

【0103】

そして、以上に述べた周辺監視装置によっても、作業機械とその周囲の人物との接触を好適に抑制することができる。

【0104】

＜その他の変形例＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【0105】

上記の実施形態では、撮影装置２００が１つの半天球カメラ２２０を含んで構成される例を説明したが、本開示の撮影装置はこれに限定されない。図１３は、本開示における作業機械の周辺監視装置の概略構成の変形例を示す図である。本開示の撮影装置は、図１３に示すように、２つの半天球カメラ２２０を含んで構成されてもよい。この場合、作業機械１０の前後に１つずつ半天球カメラ２２０が配置され得る。

【0106】

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、抽出処理部３０３２を画像処理装置３００とは別の集積回路に形成してもよい。このとき当該別の集積回路は画像処理装置３００と好適に協働可能に構成される。また、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。集積回路において、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。

【0107】

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

【符号の説明】

【0108】

１０・・・・作業機械
１００・・・周辺監視装置
２００・・・撮影装置
２２０・・・半天球カメラ
３００・・・画像処理装置
３０３・・・制御部
４００・・・発報装置

【要約】

【課題】低コスト及び可及的に少ないカメラ数で作業機械の周囲を広範囲に亘って監視できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供する。
【解決手段】本開示の作業機械の周辺監視装置１００は、１以上の半天球カメラ２２０を含んだ撮影装置２００と、撮影された作業機械１０の周囲画像を表す撮影画像データに基づいて所定の処理を実行するプロセッサ３０３と、所定の警報信号又は／及び所定の発報を出力する発報装置４００と、を備える。そして、プロセッサ３０３は、撮影画像データから人物画像を抽出し、該人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離を測定する。そして、測定された距離に基づいて、発報装置４００による警報信号又は／及び発報の出力を制御する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】