知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022152362
(43)【公開日】2022-10-12
(54)【発明の名称】作業機械の周辺監視装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221004BHJP
H04N 7/18 20060101ALI20221004BHJP
【ＦＩ】
G06T7/00 660B
G06T7/00 350C
H04N7/18 J
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021055104
(22)【出願日】2021-03-29
(11)【特許番号】
(45)【特許公報発行日】2021-09-29
(71)【出願人】
【識別番号】509122887
【氏名又は名称】株式会社レグラス
(74)【代理人】
【識別番号】100211719
【弁理士】
【氏名又は名称】伊藤 和真
(72)【発明者】
【氏名】酒井 将
(72)【発明者】
【氏名】佐々木 翔
(72)【発明者】
【氏名】森住 哲也
(72)【発明者】
【氏名】前田 隆志
(72)【発明者】
【氏名】長谷川 裕太
(72)【発明者】
【氏名】村上 大樹
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FC15
5C054FE14
5C054HA30
5L096AA06
5L096BA02
5L096BA04
5L096CA02
5L096DA02
5L096DA03
5L096EA06
5L096FA37
5L096FA59
5L096FA66
5L096FA67
5L096GA51
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】低コストで簡単に作業機械に設置できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供する。
【解決手段】本開示の作業機械の周辺監視装置１００は、１以上の単眼カメラ２１０を含んだ撮影装置２００と、撮影された作業機械１０の周囲画像を表す撮影画像データに基づいて所定の処理を実行するプロセッサ３０３と、所定の警報信号又は／及び所定の発報を出力する発報装置４００と、を備える。そして、プロセッサ３０３は、撮影画像データから人物画像を抽出し、該人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離を測定する。そして、測定された距離に基づいて、発報装置４００による警報信号又は／及び発報の出力を制御する。
【選択図】図１
【解決手段】本開示の作業機械の周辺監視装置１００は、１以上の単眼カメラ２１０を含んだ撮影装置２００と、撮影された作業機械１０の周囲画像を表す撮影画像データに基づいて所定の処理を実行するプロセッサ３０３と、所定の警報信号又は／及び所定の発報を出力する発報装置４００と、を備える。そして、プロセッサ３０３は、撮影画像データから人物画像を抽出し、該人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離を測定する。そして、測定された距離に基づいて、発報装置４００による警報信号又は／及び発報の出力を制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行する、
作業機械の周辺監視装置。
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行する、
作業機械の周辺監視装置。
【請求項2】
前記発報制御処理において、前記プロセッサは、
前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる、
請求項１に記載の作業機械の周辺監視装置。
前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる、
請求項１に記載の作業機械の周辺監視装置。
【請求項3】
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、
算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定する、
請求項１又は請求項２に記載の作業機械の周辺監視装置。
前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、
算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定する、
請求項１又は請求項２に記載の作業機械の周辺監視装置。
【請求項4】
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の大きさに基づいて、前記作業機械とその周囲の人物との距離を測定する、
請求項１又は請求項２に記載の作業機械の周辺監視装置。
前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の大きさに基づいて、前記作業機械とその周囲の人物との距離を測定する、
請求項１又は請求項２に記載の作業機械の周辺監視装置。
【請求項5】
前記抽出処理において、前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出する、
請求項１から請求項４の何れか１項に記載の作業機械の周辺監視装置。
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出する、
請求項１から請求項４の何れか１項に記載の作業機械の周辺監視装置。
【請求項6】
前記撮影装置によって撮影された前記撮影画像データ又は／及び該撮影画像データに基づく処理により取得された所定のデータを表示可能に構成された表示装置を、更に備える、
請求項１から請求項５の何れか１項に記載の作業機械の周辺監視装置。
請求項１から請求項５の何れか１項に記載の作業機械の周辺監視装置。
【請求項7】
前記プロセッサは、
前記周辺監視装置の電源が入れられてから所定時間経過するまでは、前記抽出処理及び前記測距処理により取得され得るデータを前記表示装置に出力せず、前記撮影画像データのみを前記表示装置に出力する処理を実行する、
請求項６に記載の作業機械の周辺監視装置。
前記周辺監視装置の電源が入れられてから所定時間経過するまでは、前記抽出処理及び前記測距処理により取得され得るデータを前記表示装置に出力せず、前記撮影画像データのみを前記表示装置に出力する処理を実行する、
請求項６に記載の作業機械の周辺監視装置。
【請求項8】
前記プロセッサは、
前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、
前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行する、
請求項１から請求項７の何れか１項に記載の作業機械の周辺監視装置。
前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、
前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行する、
請求項１から請求項７の何れか１項に記載の作業機械の周辺監視装置。
【請求項9】
前記プロセッサは、前記作業機械に設置された集積回路に実装される、
請求項１から請求項８の何れか１項に記載の作業機械の周辺監視装置。
請求項１から請求項８の何れか１項に記載の作業機械の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の周辺監視装置に関する。
【背景技術】
【0002】
ショベル、フォークリフト等の作業機械が用いられる現場では、作業機械とその周囲の人物との接触事故の防止が図られている。例えば、作業機械の車体の周辺に存在する障害物をオペレータが視認できるように、ミラーやカメラを設置した作業機械が実用化されている。そして、カメラが撮影した画像を作業機械の運転室内のディスプレイに表示するシステムが知られている。
【0003】
また、作業機械の周辺に存在する障害物を検出する技術として、レーザレーダやミリ波レーダ等の距離センサを用いて障害物を検知することが知られている。例えば、特許文献１には、移動体の移動方向軸に対する全周方向で距離検出を行うことができる移動体用周辺監視装置が開示されている。そして、この周辺監視装置では、距離センサとして、支持軸まわりに等角度で複数配置された撮像部等を有する３Ｄカメラが備えられている。
【0004】
一方、特許文献２には、下部走行体と上部旋回体とを有するショベルにおいて、上部旋回体に複数のステレオカメラを配置する技術が開示されている。当該技術では、ステレオカメラによって、ショベルの周囲に存在する物体の距離情報が取得される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１６－１８０６７４号公報
【特許文献2】特開２０２０－１２７２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
レーザレーダやミリ波レーダ等の距離センサは、所定の一方向にレーザ光や電波を照射し、その反射波からレーザ光等が照射された物体との距離を検出するものである。そのため、このような距離センサを用いて、ショベル、フォークリフト等の作業機械の周囲の物体を検出しようとする場合、複数の方向に距離センサを配置する必要があり、作業機械の周囲物体を検出するためのコストが高くなってしまう。ここで、特許文献１に記載の技術によれば、３Ｄカメラによって支持軸まわりの全周方向で距離検出を行うことができるものの、これは、あくまで支持軸に対する全周方向である。そのため、この場合にも、作業機械の周囲の物体を検出しようとすると、複数の方向に支持軸を配置する必要があり、作業機械の周囲物体を検出するためのコストが高くなってしまう。
【0007】
また、特許文献２に記載の技術によれば、カメラが撮影した画像に基づいて、ショベルの周囲に存在する物体の距離情報を取得することができるものの、ショベルに設置されるカメラはステレオカメラであって、設置のためのコストとスペースが問題となり得る。このように、作業機械の周囲物体を検出するための技術については、未だ改善の余地を残すものである。
【0008】
本開示の目的は、低コストで簡単に作業機械に設置できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供することにある。
【課題を解決するための手段】
【0009】
本開示の作業機械の周辺監視装置は、作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、所定の警報信号又は／及び所定の発報を出力する発報装置と、を備える。ここで、前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成される。そして、前記プロセッサは、前記撮影画像データから人物画像を抽出する抽出処理と、抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行する。
【0010】
ここで、上記の作業機械とは、ショベル等の建設機械や、作業機を備えた機械（フォークリフト等）である。そして、このような作業機械に設置される本開示の周辺監視装置では、該作業機械に撮影装置が配置される。この撮影装置は、単眼カメラの光軸が地面に対して所定の角度をなすように配置される。ここで、上記の所定の角度とは、撮影装置によって地面付近の人を撮影可能な角度として定義され、例えば、地面と略平行又は地面との平行線に対して下方に向いた角度である。そして、本開示の作業機械の周辺監視装置は、撮影装置、画像処理装置、および発報装置といった簡易な構成によって実現され、これらを既存の作業機械に配置するだけで、作業機械に周辺監視装置を簡単に設置することができる。また、撮影装置が単眼カメラによって構成されるため、例えば、撮影装置がステレオカメラによって構成される場合と比較して、作業機械の周辺を監視するためのコストを抑制することができる。更に、このような周辺監視装置では、抽出処理によって抽出された人物画像と、撮影装置の設置パラメータと、に基づいて測距処理が実行され、該測距処理の結果に基づいて、発報装置による警報信号又は／及び発報の出力が制御される。なお、発報装置が出力する発報は、例えば、警告灯や警告音である。これにより、作業機械とその周囲の人物との接触を抑制することができる。なお、前記発報制御処理において、前記プロセッサは、前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させてもよい。ここで、上記の回避動作とは、作業機械の作動が減速する動作や、作業機械の作動が停止する動作などである。このような発報制御処理では、発報装置からの上記信号が、作業機械の動作を制御する制御装置に入力されることで、作業機械は、オペレータの操作によらず自動で回避動作を行うことになる。これによれば、オペレータによる運転動作によらずに作業機械の回避動作を行うことができ、作業機械とその周囲の人物との接触をより好適に回避することができる。
【0011】
そして、上記の作業機械の周辺監視装置では、前記測距処理において、前記プロセッサは、前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定してもよい。これによれば、単眼カメラによって、低コストながら精度よく測距処理を行うことができる。なお、このような足元座標に基づく測距によれば、該足元座標を比較的正確に取得することができるため、上記距離の測定精度を可及的に高くすることができる。また、前記測距処理において、前記プロセッサは、前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の大きさに基づいて、前記作業機械とその周囲の人物との距離を測定してもよい。これによっても、単眼カメラによって、低コストながら精度よく測距処理を行うことができる。なお、このような頭の画像の大きさに基づく測距によれば、撮影画像データに周囲人物の足元が含まれていない場合であったり、高所に人が登っているなどして人物が地上にいない場合であっても、作業機械とその周囲の人物との距離を測定することができる。
【0012】
また、上記の作業機械の周辺監視装置では、前記抽出処理において、前記プロセッサは、所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出してもよい。これによれば、事前学習モデルを用いることで、撮影画像データから人物画像を精度よく抽出することができる。
【0013】
以上に述べた作業機械の周辺監視装置において、前記プロセッサは、前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行してもよい。これによれば、環境に応じて鮮明化された撮影画像データに基づいて人物画像を抽出することができる。したがって、撮影画像データからの人物画像の抽出精度を可及的に高くすることができる。
【発明の効果】
【0014】
本開示によれば、低コストで簡単に作業機械に設置できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供することができる。
【図面の簡単な説明】
【0015】
【図1】第１実施形態における作業機械の周辺監視装置の概略構成を示す図である。
【図2】第１実施形態に係る周辺監視装置において、作業機械とその周囲の人物との接触を回避するために制御部が行う処理フローを示すフローチャートである。
【図3】第１実施形態における事前学習モデルに対する入力から得られる識別結果と、該事前学習モデルを構成するニューラルネットワークを説明するための図である。
【図4】表示装置に表示される撮影画像データおよび人物画像を説明するための図である。
【図5】足元角度と、撮影装置の設置高さと、周囲人物との距離と、の関係を説明するための図である。
【図6】第１実施形態に係る測距処理の一つである足元測距において、測距処理部が行う処理フローを示すフローチャートである。
【図7】カメラの内部パラメータとともに、該カメラのセンサ上に投影される被写体を説明するための図である。
【図8】第１実施形態の変形例２に係る周辺監視装置において、作業機械とその周囲の人物との接触を回避するために制御部が行う処理フローを示す第１のフローチャートである。
【図9】第１実施形態の変形例２に係る周辺監視装置において、作業機械とその周囲の人物との接触を回避するために制御部が行う処理フローを示す第２のフローチャートである。
【図10】第２実施形態に係る画像鮮明化処理において、制御部が行う処理フローを示すフローチャートである。
【図11】本開示における作業機械の周辺監視装置の概略構成の変形例を示す図である。
【発明を実施するための形態】
【0016】
以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。
【0017】
＜第１実施形態＞
第１実施形態における作業機械の周辺監視装置の概要について、図１を参照しながら説明する。図１は、本実施形態における作業機械の周辺監視装置の概略構成を示す図である。本実施形態に係る作業機械の周辺監視装置１００は、作業機械１０に設置され、該作業機械１０の周辺を監視するための装置である。ここで、作業機械１０とは、ショベル等の建設機械や、作業機を備えた機械（フォークリフト等）である。そして、周辺監視装置１００は、撮影装置２００と、画像処理装置３００と、発報装置４００と、を備える。
第１実施形態における作業機械の周辺監視装置の概要について、図１を参照しながら説明する。図１は、本実施形態における作業機械の周辺監視装置の概略構成を示す図である。本実施形態に係る作業機械の周辺監視装置１００は、作業機械１０に設置され、該作業機械１０の周辺を監視するための装置である。ここで、作業機械１０とは、ショベル等の建設機械や、作業機を備えた機械（フォークリフト等）である。そして、周辺監視装置１００は、撮影装置２００と、画像処理装置３００と、発報装置４００と、を備える。
【0018】
撮影装置２００は、作業機械１０に設置され該作業機械１０の周囲を撮影する装置であって、静止画や動画等の画像の入力を受け付ける機能を有し、具体的には、Charged-Coupled Devices（ＣＣＤ）、Metal-oxide-semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイメージセンサを用いたカメラにより実現される。本開示の撮影装置２００は、１以上の単眼カメラ２１０を含み、該単眼カメラ２１０の光軸が地面に対して所定の角度で配置されるように構成される。ここで、本実施形態では、図１（ａ）に示すように、単眼カメラ２１０は、作業機械１０の上部旋回体１１の上面に配置され、該単眼カメラ２１０の光軸Ｌ２が、地面との平行線Ｌ１に対して所定の鋭角で下方に向けられている。なお、上記の鋭角は、撮影装置２００によって地面付近の人を撮影可能な角度として定義され、例えば、図１（ａ）に示すように、単眼カメラ２１０が上部旋回体１１の上面に配置される場合には、該上部旋回体１１の上面の高さに基づいて定められる。また、仮に単眼カメラ２１０が上部旋回体１１における下部領域（下部走行体１２付近の上部旋回体）に配置される場合には、該単眼カメラ２１０の光軸Ｌ２が地面と略平行に向けられてもよい。そして、本実施形態では、図１（ｂ）に示すように、４つの単眼カメラ２１０が、上部旋回体１１の側面から周囲４方向（９０°間隔の４方向）に向けられて配置されている。このように、４つの単眼カメラ２１０が配置されることで、作業機械１０の周囲を視野が欠けることなく撮影することができる。なお、本開示の撮影装置を４つの単眼カメラを含んだ構成に限定する意図はない。例えば、作業機械１０のオペレータが運転室内で正面を向いた方向は、オペレータが直接視認できる方向であるため、この方向に向けられた単眼カメラは省略され得る。
【0019】
画像処理装置３００は、撮影装置２００によって撮影された作業機械１０の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行する。
【0020】
ここで、画像処理装置３００は、データの取得、生成、更新等の演算処理及び加工処理のための処理能力のある機器であればどの様な電子機器でもよく、例えば、コンピュータである。すなわち、画像処理装置３００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、あるいは、ＣＤやＤＶＤのようなディスク記録媒体であってもよい。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納されている。
【0021】
発報装置４００は、所定の警報信号又は／及び所定の発報を出力する装置である。ここで、所定の発報とは、警告灯や警告音などである。本実施形態では、図１（ａ）および図１（ｂ）に示すように、発報装置４００として、例えば、パトライト（登録商標）が上部旋回体１１の上面に配置されてもよい。そうすると、周辺監視装置１００は、例えば、パトライト（登録商標）が発する警告灯によって、作業機械１０の周囲の人物に対して警告を行うことができる。また、作業機械１０のオペレータに対して、該作業機械１０への人の接近を認知させることができる。なお、発報装置４００は、例えば、パトライト（登録商標）とスピーカーとを含んでもよい。この場合、周辺監視装置１００は、警告灯と警告音によって、警告を行うことができる。
【0022】
また、周辺監視装置１００は、表示装置５００を更に備えてもよい。ここで、表示装置５００は、撮影装置２００によって撮影された撮影画像データ又は／及び該撮影画像データに基づく処理により取得された所定のデータを表示可能に構成された装置である。このような表示装置５００は、例えば、作業機械１０の運転室内に設けられる。これにより、作業機械１０のオペレータは、該作業機械１０の車体の周辺に存在する障害物を、表示装置５００を介して視認できるようになる。
【0023】
以上に述べたように、本開示の作業機械の周辺監視装置１００は、撮影装置２００、画像処理装置３００、および発報装置４００といった簡易な構成によって実現され、これらを既存の作業機械１０に配置するだけで、作業機械１０に周辺監視装置１００を簡単に設置することができる。また、上述したように、撮影装置２００が単眼カメラ２１０によって構成されるため、例えば、撮影装置がステレオカメラによって構成される場合と比較して、作業機械１０の周辺を監視するためのコストを抑制することができる。
【0024】
【0025】
画像処理装置３００は、機能部として記憶部３０２、制御部３０３を有しており、補助記憶装置に格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各機能部等が制御されることによって、各機能部における所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。
【0026】
記憶部３０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部３０３によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部３０３において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。
【0027】
また、記憶部３０２は、後述する事前学習モデルを記憶してもよい。この事前学習モデルは、後述する抽出処理に用いることができる。ここで、画像処理装置３００の機能がＦＰＧＡのようなハードウェア回路によって実現される場合、事前学習モデルはＦＰＧＡに内蔵されたメモリに記憶されてもよい。
【0028】
制御部３０３は、画像処理装置３００が行う処理を司る機能部である。制御部３０３は、ＣＰＵなどの演算処理装置によって実現することができる。制御部３０３は、更に、取得部３０３１と、抽出処理部３０３２と、測距処理部３０３３と、発報制御処理部３０３４と、の４つの機能部を有して構成される。各機能部は、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。なお、制御部３０３が、取得部３０３１、抽出処理部３０３２、測距処理部３０３３、および発報制御処理部３０３４の処理を実行することで、本開示に係るプロセッサとして機能する。そして、このプロセッサが、画像処理装置３００を構成する集積回路に実装されることで、上記機能部の処理を実行するプロセッサが作業機械１０に設置されることになる。
【0029】
ここで、制御部３０３が行う処理フローについて、図２に基づいて説明する。図２は、本実施形態に係る周辺監視装置１００において、作業機械１０とその周囲の人物との接触を回避するために制御部３０３が行う処理フローを示すフローチャートである。本実施形態では、周辺監視装置１００の電源が入れられると本フローの実行が開始され、周辺監視装置１００の作動中に所定の演算周期で繰り返し実行される。
【0030】
本フローでは、先ず、Ｓ１０１において、取得部３０３１が、撮影装置２００によって撮影された作業機械１０の周囲画像を表す撮影画像データを取得する。ここで、撮影装置２００および画像処理装置３００は通信部を有しており、これらの通信部がネットワークを介して接続されることで、取得部３０３１が上記の撮影画像データを取得することが可能になる。なお、ネットワークは、無線であっても有線であっても無線と有線の組み合わせであってもよい。
【0031】
次に、Ｓ１０２において、抽出処理部３０３２が、撮影画像データから人物画像を抽出する抽出処理を実行する。この抽出処理では、作業機械１０の周囲に人が存在して、その人が撮影装置２００によって撮影されている場合には、撮影画像データから人物画像を抽出することができる。なお、この抽出処理の詳細については、後述する。そして、抽出処理部３０３２は、Ｓ１０３において、Ｓ１０２で実行した抽出処理の結果に基づいて、作業機械１０の周囲に人が存在するか否かを判別する。Ｓ１０３において肯定判定された場合、制御部３０３はＳ１０４の処理へ進み、Ｓ１０３において否定判定された場合、本フローの実行が終了される。
【0032】
Ｓ１０３において肯定判定された場合、次に、Ｓ１０４において、測距処理部３０３３が、作業機械１０とその周囲の人物との距離を測定する測距処理を実行する。この測距処理では、抽出処理によって抽出された人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。なお、この測距処理の詳細については、後述する。また、Ｓ１０４では、上記の測距処理と併せて、Ｓ１０２の抽出処理によって抽出された人物画像の画像データである抽出画像データの出力が実行される。このとき、表示装置５００には、後述するように、撮影装置２００によって撮影された撮影画像データに加えて、抽出処理によって抽出された人物画像が矩形とともに表示される。
【0033】
次に、Ｓ１０５において、発報制御処理部３０３４は、測距処理によって測定された上記の距離が所定値以下であるか否かを判別する。ここで、上記の所定値とは、作業機械１０の作動により該作業機械１０とその周囲人物との接触が懸念される距離の値であって、例えば、作業機械１０の大きさや作動範囲に基づいて、予め定められる。そして、Ｓ１０５において肯定判定された場合、制御部３０３はＳ１０６の処理へ進み、Ｓ１０５において否定判定された場合、本フローの実行が終了される。
【0034】
Ｓ１０５において肯定判定された場合、発報制御処理部３０３４は、次に、Ｓ１０６において、発報装置４００の出力を制御する。本実施形態では、発報制御処理部３０３４は、発報装置４００（例えば、パトライト（登録商標））から警告灯を出力させる。なお、発報装置４００が、例えば、パトライト（登録商標）およびスピーカーによって構成される場合には、発報制御処理部３０３４は、パトライト（登録商標）から警告灯を出力させ、スピーカーから警告音を出力させてもよい。そして、Ｓ１０６の処理の後、本フローの実行が終了される。
【0035】
以上に述べた処理によれば、抽出処理によって抽出された人物画像に基づいて、作業機械１０の周囲の人物との距離が測距され、その測距距離の結果に基づいて発報制御処理が実行される。そして、発報装置４００から所定の発報が出力されることで、作業機械１０の周囲の人物に対して、該作業機械１０との接触を回避するための警告を行うことができる。また、作業機械１０のオペレータは、発報装置４００からの発報の出力を認知すると、作業機械１０とその周囲の人物との接触を回避するための運転動作を行うことができる。これにより、作業機械１０とその周囲の人物との接触を抑制することができる。
【0036】
（抽出処理）
次に、抽出処理部３０３２が実行する抽出処理の詳細について説明する。本実施形態の抽出処理では、事前学習モデルに撮影画像データが入力されることで、人物画像が抽出される。そして、事前学習モデルは、人物を表す画像を含んだデータを用いて学習を行うことにより構築される。
次に、抽出処理部３０３２が実行する抽出処理の詳細について説明する。本実施形態の抽出処理では、事前学習モデルに撮影画像データが入力されることで、人物画像が抽出される。そして、事前学習モデルは、人物を表す画像を含んだデータを用いて学習を行うことにより構築される。
【0037】
ここで、図３は、本実施形態における事前学習モデルに対する入力から得られる識別結果と、該事前学習モデルを構成するニューラルネットワークを説明するための図である。本実施形態では、事前学習モデルとして、ディープラーニングにより生成されるニューラルネットワークモデルを用いる。本実施形態における事前学習モデル３０は、所定の画像データの入力を受け付ける入力層３１と、入力層３１に入力された該画像データから人物を表す特徴量を抽出する中間層（隠れ層）３２と、特徴量に基づく識別結果を出力する出力層３３とを有する。なお、図３の例では、事前学習モデル３０は、１層の中間層３２を有しており、入力層３１の出力が中間層３２に入力され、中間層３２の出力が出力層３３に入力されている。ただし、中間層３２の数は、１層に限られなくてもよく、事前学習モデル３０は、２層以上の中間層３２を有してもよい。
【0038】
また、図３によると、各層３１～３３は、１又は複数のニューロンを備えている。例えば、入力層３１のニューロンの数は、入力される画像データに応じて設定することができる。また、出力層３３のニューロンの数は、識別結果である人物画像に応じて設定することができる。
【0039】
そして、隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が機械学習の結果に基づいて設定される。図３の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、適宜設定することができる。
【0040】
このような事前学習モデル３０は、例えば、人物を表す画像を含んだ画像データと、人物を表す画像のラベルと、の組みである教師データを用いて教師あり学習を行うことで構築される。具体的には、特徴量とラベルとの組みをニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューロン同士の結合の重みがチューニングされる。このようにして、教師データの特徴を学習し、入力から結果を推定するための事前学習モデルが帰納的に獲得される。
【0041】
なお、事前学習モデル３０は、教師なし学習を行うことで構築されてもよい。教師なし学習には、例えば、転移学習の一種であるドメイン適応を用いることができる。これによれば、ラベルが付された教師データを大量に用意することなく、事前学習モデルを獲得することができる。
【0042】
そして、本実施形態では、上述した表示装置５００に、撮影装置２００によって撮影された撮影画像データに加えて、抽出処理によって抽出された人物画像が矩形とともに表示される。ここで、図４は、表示装置５００に表示される撮影画像データおよび人物画像を説明するための図である。作業機械１０のオペレータは、表示装置５００の画面ＳＣ１を介して、該作業機械１０の周囲を視認することができる。
【0043】
図４（ａ）は、表示装置５００に表示された撮影画像データを示す図である。図４（ａ）に示すように、表示装置５００の画面ＳＣ１には、撮影画像データＳＣ１１が表示される。そして、図４（ｂ）は、表示装置５００に、撮影画像データとともに、抽出処理によって抽出された人物画像が表示される例を示す図である。図４（ｂ）に示すように、表示装置５００の画面ＳＣ１には、撮影画像データＳＣ１１、および人物画像ＳＣ１２が表示される。このように、抽出処理によって抽出された人物画像ＳＣ１２は、矩形とともに表示される。これによれば、作業機械１０のオペレータは、表示装置５００の画面ＳＣ１に表示された人物画像ＳＣ１２を視認し易くなる。なお、上述した事前学習モデルを用いて人物画像が抽出されることで、撮影画像データからの人物画像の抽出精度、具体的には、撮影画像データＳＣ１１に含んで表示される人物画像ＳＣ１２を表す矩形の位置精度が向上する。
【0044】
ここで、本実施形態の画像処理装置３００では、単眼カメラ２１０のレンズの歪み補正値を用いて、撮影画像データの歪み補正が行われる。そして、表示装置５００の画面ＳＣ１には、歪み補正が行われた撮影画像データＳＣ１１が表示される。また、歪み補正が行われた撮影画像データから人物画像が抽出される。そのため、事前学習モデルを構成するにあたっては、学習に用いられる人物を表す画像を含んだ画像データとして、歪み補正が行われた画像が使用される。ただし、本開示をこれに限定する意図はなく、本開示の周辺監視装置では、上記の歪み補正が実行されなくてもよい。この場合、表示装置５００には、歪みを含んだ撮影画像データが表示されることになるが、この歪みを含んだ撮影画像データからも精度よく人物画像を抽出することができれば、作業機械１０のオペレータは、矩形とともに表示された人物画像を視認することができる。そこで、このような場合には、事前学習モデルを構成するにあたって、学習に用いられる人物を表す画像を含んだ画像データとして、歪みを含んだ画像が使用される。そうすると、歪みを含んだ撮影画像データからも精度よく人物画像を抽出することができる。これによれば、画像処理装置３００は、撮影装置２００から取得した撮影画像データを歪み補正する必要がなく、以て、周辺監視装置における画像処理の処理負担が軽減されるため、より迅速に作業機械１０の周辺を監視することができる。
【0045】
また、図４（ｃ）は、人物画像ＳＣ１２を表す矩形のバリエーションを示す図である。図４（ｃ）に示すように、人物画像ＳＣ１２を表す矩形は、人の全身を囲う矩形ＳＣ１２１であってもよいし、人の上半身を囲う矩形ＳＣ１２２であってもよいし、人の首上を囲う矩形ＳＣ１２３であってもよい。作業機械１０のオペレータは、いずれの矩形であっても人物画像を認知することができるが、例えば、人の全身を囲う矩形ＳＣ１２１の場合は、その人の大きさを認知し易くなる。また、例えば、撮影画像データに複数の人物画像が含まれる場合には、人の首上を囲う矩形ＳＣ１２３が用いられることで、人の数が認知され易くなる。つまり、撮影画像データに複数の人物画像が含まれる場合に、好ましくは人の首上を囲う矩形ＳＣ１２３が用いられ得る。
【0046】
なお、本実施形態では、上述したように、画像処理装置３００の機能をＦＰＧＡのようなハードウェア回路によって実現することができる。この場合、事前学習モデルはＦＰＧＡに内蔵されたメモリに記憶され得る。これによれば、事前学習モデルを用いた抽出処理を可及的速やかに実行することができ、以て、より迅速に作業機械１０の周辺を監視することができる。
【0047】
このように、本実施形態の抽出処理によれば、事前学習モデルを用いることで、撮影画像データから人物画像を精度よく抽出することができるとともに、抽出した人物画像を作業機械１０のオペレータに好適に視認させることができる。
【0048】
（測距処理）
次に、測距処理部３０３３が実行する測距処理の詳細について説明する。本実施形態の測距処理では、抽出処理によって抽出された人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。そして、このような測距処理について、本実施形態では、人物画像の足元の画像に基づいて測距する足元測距と、人物画像の頭の画像に基づいて測距する頭測距と、が用いられる。本実施形態では、これら測距方法のうちのいずれかの方法が用いられてもよいし、これら測距方法の両方が用いられてもよい。足元測距および頭測距について、以下に詳しく説明する。
次に、測距処理部３０３３が実行する測距処理の詳細について説明する。本実施形態の測距処理では、抽出処理によって抽出された人物画像と、撮影装置２００の設置パラメータと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。そして、このような測距処理について、本実施形態では、人物画像の足元の画像に基づいて測距する足元測距と、人物画像の頭の画像に基づいて測距する頭測距と、が用いられる。本実施形態では、これら測距方法のうちのいずれかの方法が用いられてもよいし、これら測距方法の両方が用いられてもよい。足元測距および頭測距について、以下に詳しく説明する。
【0049】
先ず、足元測距について説明する。足元測距では、測距処理部３０３３は、撮影画像データにおける人物画像の足元の二次元座標である足元座標を取得する。そして、足元座標に基づいて、作業機械１０の周囲の人物の足元と撮影装置２００との間の所定の角度である足元角度を算出する。そうすると、測距処理部３０３３は、算出された足元角度と、撮影装置２００の設置高さと、に基づいて、作業機械１０とその周囲の人物との距離を測定することができる。
【0050】
図５は、足元角度と、撮影装置２００の設置高さと、周囲人物との距離と、の関係を説明するための図である。ここで、周囲人物とは、作業機械１０の周囲の人物であって、この周囲人物と作業機械１０との距離である周囲人物との距離が、図５における距離Ｄとして表される。そして、地面からの撮影装置２００の設置高さが、図５における高さｈとして表される。また、上述した、周囲人物の足元と撮影装置２００との間の足元角度が、図５における角度θとして表される。そうすると、周囲人物との距離Ｄを下記式１で算出することができる。
Ｄ：周囲人物との距離（ｍｍ）
ｈ：撮影装置２００の設置高さ（ｍｍ）
θ：足元角度（ｄｅｇｒｅｅ）
【数1】
ｈ：撮影装置２００の設置高さ（ｍｍ）
θ：足元角度（ｄｅｇｒｅｅ）
【0051】
そして、測距処理部３０３３は、上記式１に基づく周囲人物との距離Ｄを算出するために、図６に示す処理フローを実行する。図６は、本実施形態に係る測距処理の一つである足元測距において、測距処理部３０３３が行う処理フローを示すフローチャートである。本フローは、上記の図２に示したＳ１０４における測距処理の内部処理として実行される。
【0052】
本フローでは、先ず、Ｓ１０４１において、足元座標（撮影画像データにおける人物画像の足元の二次元座標）が取得される。これについて、図７に基づいて説明する。図７は、カメラの内部パラメータとともに、該カメラのセンサ上に投影される被写体を説明するための図である。図７に示す例では、周囲人物が、カメラの光軸Ｌ２からＹ軸方向にずれた位置に存在している。この場合、測距処理部３０３３は、センサ上に投影された周囲人物の足元の座標ｙを足元座標として取得する。なお、上述した抽出処理の説明で述べたように、人物画像は矩形とともに表示され得る。そこで、例えば、人の全身を囲う矩形の下端を足元座標として取得してもよい。また、足元座標が取得される撮影画像データが歪み補正されていない場合には、取得した足元座標に対して歪み補正処理を行うことができる。
【0053】
そして、図６に戻って、次に、Ｓ１０４２において、足元角度（作業機械１０の周囲の人物の足元と撮影装置２００との間の角度）が算出される。ここで、上記の図５によると、足元角度θは、下記式２で表される。
θ：足元角度（ｄｅｇｒｅｅ）
θ１：カメラ中心からの角度（ｄｅｇｒｅｅ）
θ２：撮影装置２００の設置角度（ｄｅｇｒｅｅ）
なお、カメラ中心からの角度θ１は後述する。また、撮影装置２００の設置角度θ２は、図５に示すように、地面との平行線Ｌ１とカメラの光軸Ｌ２との間の角度であって、周辺監視装置１００が設置される作業機械１０に応じて予め定められる。
【数2】
θ１：カメラ中心からの角度（ｄｅｇｒｅｅ）
θ２：撮影装置２００の設置角度（ｄｅｇｒｅｅ）
なお、カメラ中心からの角度θ１は後述する。また、撮影装置２００の設置角度θ２は、図５に示すように、地面との平行線Ｌ１とカメラの光軸Ｌ２との間の角度であって、周辺監視装置１００が設置される作業機械１０に応じて予め定められる。
【0054】
ここで、カメラ中心からの角度θ１は、上記の図７に基づいて、下記式３で算出することができる。
θ１：カメラ中心からの角度（ｄｅｇｒｅｅ）
ｆ：レンズの焦点距離（ｍｍ）
ｙ：足元座標（ｐｉｘｅｌ）
Ｎ：カメラの画素サイズ（ｍｍ／ｐｉｘｅｌ）
【数3】
ｆ：レンズの焦点距離（ｍｍ）
ｙ：足元座標（ｐｉｘｅｌ）
Ｎ：カメラの画素サイズ（ｍｍ／ｐｉｘｅｌ）
【0055】
そして、図６に戻って、次に、Ｓ１０４３において、撮影装置２００の設置高さが取得される。撮影装置２００の設置高さは、周辺監視装置１００が設置される作業機械１０に応じて予め定められる。なお、測距処理部３０３３は、Ｓ１０４３の処理をＳ１０４１の処理の前に行ってもよい。
【0056】
次に、Ｓ１０４４において、Ｓ１０４２の処理で算出された足元角度と、Ｓ１０４３の処理で取得された撮影装置２００の設置高さと、に基づいて、作業機械１０とその周囲の人物との距離が測定される。詳しくは、測距処理部３０３３は、上記式１に基づいて、作業機械１０とその周囲の人物との距離を算出する。そして、Ｓ１０４４の処理の後、制御部３０３はＳ１０５の処理へ進む。なお、上述したように、Ｓ１０４では、このような測距処理と併せて抽出画像データの出力が実行される。
【0057】
以上によれば、単眼カメラ２１０によって、低コストながら精度よく測距処理を行うことができる。なお、このような足元測距によれば、足元座標を比較的正確に取得することができるため、上述した距離の算出精度を可及的に高くすることができる。
【0058】
次に、頭測距について説明する。頭測距では、測距処理部３０３３は、撮影画像データにおける人物画像の頭の画像を取得するとともに、該頭の画像の大きさに基づいて、作業機械１０とその周囲の人物との距離を測定する。
【0059】
詳しくは、測距処理部３０３３は、撮影画像データにおける人物画像の頭の画像の縦画素数を取得する。ここで、頭の画像の縦画素数は、例えば、人の首上を囲う矩形の縦方向の画素数から取得することができる。そして、本開示人は、人の頭の大きさは個人差が少ないことを利用して、頭の大きさを表す上記の縦画素数に基づいて測距できることを見出した。そこで、測距処理部３０３３は、下記式４に基づいて、作業機械１０とその周囲の人物との距離を算出する。
Ｄ´：周囲人物との距離（ｍｍ）
Ｄｒｅｆ：基準距離（ｍｍ）
Ｎｒｅｆ：基準距離での縦画素数（ｐｉｘｅｌ）
Ｎｈｅａｄ：頭の画像の縦画素数（ｐｉｘｅｌ）
なお、基準距離Ｄｒｅｆおよび該基準距離での縦画素数Ｎｒｅｆは、予め定められる。そして、このように予め定められた基準と、撮影画像データから取得したの頭の画像の縦画素数Ｎｈｅａｄと、を比較することで、周囲人物との距離Ｄ´が算出される。
【数4】
Ｄｒｅｆ：基準距離（ｍｍ）
Ｎｒｅｆ：基準距離での縦画素数（ｐｉｘｅｌ）
Ｎｈｅａｄ：頭の画像の縦画素数（ｐｉｘｅｌ）
なお、基準距離Ｄｒｅｆおよび該基準距離での縦画素数Ｎｒｅｆは、予め定められる。そして、このように予め定められた基準と、撮影画像データから取得したの頭の画像の縦画素数Ｎｈｅａｄと、を比較することで、周囲人物との距離Ｄ´が算出される。
【0060】
以上によれば、単眼カメラ２１０によって、低コストながら精度よく測距処理を行うことができる。なお、このような頭測距によれば、仮に、撮影画像データに周囲人物の足元が含まれていない場合であったり、高所に人が登っているなどして人物が地上にいない場合であっても、作業機械１０とその周囲の人物との距離を算出することができる。
【0061】
そして、以上に述べた足元測距と頭測距の両方が用いられて、作業機械１０とその周囲の人物との距離が算出されてもよい。例えば、上記式１に基づく周囲人物との距離Ｄが足元測距により算出され、上記式４に基づく周囲人物との距離Ｄ´が頭測距により算出された場合には、測距処理部３０３３は、下記式５に基づいて算出される周囲人物との距離Ｄｏｕｔを、作業機械１０とその周囲の人物との距離として出力する。
Ｄｏｕｔ：出力される周囲人物との距離（ｍｍ）
Ｄ：足元測距により算出される周囲人物との距離（ｍｍ）
Ｄ´：頭測距により算出される周囲人物との距離（ｍｍ）
ｗ：ブレンド係数
ここで、ブレンド係数ｗは、下記式６および下記式７に基づいて算出される。
【数5】
Ｄ：足元測距により算出される周囲人物との距離（ｍｍ）
Ｄ´：頭測距により算出される周囲人物との距離（ｍｍ）
ｗ：ブレンド係数
ここで、ブレンド係数ｗは、下記式６および下記式７に基づいて算出される。
【数6】
【数7】
【0062】
これによれば、例えば、距離Ｄと距離Ｄ´とが５００ｍｍずれている場合には、ブレンド係数ｗが０．５となり、足元測距により算出される周囲人物との距離Ｄと頭測距により算出される周囲人物との距離Ｄ´の平均値が、作業機械１０とその周囲の人物との距離Ｄｏｕｔとして出力される。また、例えば、距離Ｄと距離Ｄ´とが１０００ｍｍ以上ずれている場合には、ブレンド係数ｗが１．０となり、頭測距により算出される周囲人物との距離Ｄ´が、作業機械１０とその周囲の人物との距離Ｄｏｕｔとして出力される。なお、距離Ｄと距離Ｄ´とが等しい場合には、ブレンド係数ｗが０となり、足元測距により算出される周囲人物との距離Ｄが、作業機械１０とその周囲の人物との距離Ｄｏｕｔとして出力される。
【0063】
以上に述べたように、本実施形態では、抽出処理によって撮影画像データから人物画像を精度よく抽出することができ、測距処理によって低コストながら精度よく周囲人物との距離を測定することができる。そして、本実施形態によれば、低コストで簡単に作業機械に設置できるとともに、作業機械とその周囲の人物との接触を抑制可能な周辺監視装置を提供することができる。
【0064】
なお、本実施形態の周辺監視装置１００は、上述した撮影装置２００の設置パラメータ等を記憶した記憶装置を備えていてもよい。この場合、記憶装置には、作業機械１０の機種毎の撮影装置２００の設置パラメータが記憶され得る。そして、記憶装置に記憶された上記の設置パラメータは、作業機械１０の機種とともに表示装置５００に表示され得る。そうすると、ユーザは、作業機械１０の機種に応じて簡単に周辺監視装置１００を設置することができる。
【0065】
また、上記の実施形態では、周辺監視装置１００が表示装置５００を備える構成を例にして説明したが、本開示の周辺監視装置をこれに限定する意図はない。本開示の周辺監視装置は、上述した表示装置を備えていなくてもよく、この場合でも、抽出処理によって抽出された人物画像と、撮影装置の設置パラメータと、に基づいて測距処理が実行され、該測距処理の結果に基づいて発報制御処理が実行されることで、作業機械とその周囲の人物との接触を抑制することができる。
【0066】
＜第１実施形態の変形例１＞
上記第１実施形態の変形例１について説明する。上述した第１実施形態では、作業機械１０とその周囲の人物との距離が所定値以下となった場合に、発報装置４００から警告灯や警告音が出力される。これにより、作業機械１０の周囲の人物に対して、該作業機械１０との接触を回避するための警告を行うことができる。また、作業機械１０のオペレータは、発報装置４００からの発報の出力を認知すると、作業機械１０とその周囲の人物との接触を回避するための運転動作を行うことができる。ここで、オペレータによる運転動作によらずに作業機械１０の回避動作を行うことができれば、作業機械１０とその周囲の人物との接触をより好適に回避することができる。
上記第１実施形態の変形例１について説明する。上述した第１実施形態では、作業機械１０とその周囲の人物との距離が所定値以下となった場合に、発報装置４００から警告灯や警告音が出力される。これにより、作業機械１０の周囲の人物に対して、該作業機械１０との接触を回避するための警告を行うことができる。また、作業機械１０のオペレータは、発報装置４００からの発報の出力を認知すると、作業機械１０とその周囲の人物との接触を回避するための運転動作を行うことができる。ここで、オペレータによる運転動作によらずに作業機械１０の回避動作を行うことができれば、作業機械１０とその周囲の人物との接触をより好適に回避することができる。
【0067】
そこで、本変形例では、上記第１実施形態の説明で述べた発報制御処理部３０３４が、作業機械１０とその周囲の人物との距離が所定値以下となった場合に、発報装置４００から、該作業機械１０とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる。
【0068】
ここで、本変形例の発報装置４００は、所定の警報信号を出力可能に構成される。そして、所定の警報信号とは、例えば、上記の回避動作を指令する信号であって、該信号は、Controller Area Network（ＣＡＮ）等によって作業機械１０の制御コントローラに送信される。そうすると、作業機械１０は、オペレータの操作によらず自動で回避動作を行うことになる。ここで、回避動作とは、作業機械１０の作動が減速する動作や、作業機械１０の作動が停止する動作などである。これによれば、オペレータによる運転動作によらずに作業機械１０の回避動作を行うことができ、作業機械１０とその周囲の人物との接触をより好適に回避することができる。なお、発報装置４００は、電気的もしくは機械的な接点または入出力信号を出力可能に構成されてもよい。
【0069】
また、発報装置４００は、このような回避動作を指令する信号を出力する機能のみを有していてもよいし、当該機能に加えて上記第１実施形態の説明で述べた警告灯や警告音を出力する機能を有していてもよい。また、警報信号として、作業機械１０とその周囲の人物との距離が所定値以下となった旨の情報が、所定の通信手段（例えば、イーサネット）を介して所定の端末に通知されてもよい。
【0070】
＜第１実施形態の変形例２＞
上記第１実施形態の変形例２について説明する。上述した第１実施形態では、周辺監視装置１００の電源が入れられると、上記図２に示したフローが実行される。これに対して、本変形例では、周辺監視装置１００の電源が入れられると、以下に説明する図８に示すフローが実行される。
上記第１実施形態の変形例２について説明する。上述した第１実施形態では、周辺監視装置１００の電源が入れられると、上記図２に示したフローが実行される。これに対して、本変形例では、周辺監視装置１００の電源が入れられると、以下に説明する図８に示すフローが実行される。
【0071】
本変形例において、制御部３０３が行う処理フローについて、図８に基づいて説明する。図８は、本変形例に係る周辺監視装置１００において、作業機械１０とその周囲の人物との接触を回避するために制御部３０３が行う処理フローを示す第１のフローチャートである。なお、本変形例において、上述した第１実施形態の図２に示した処理と実質的に同一の処理については、同一の符号を付してその詳細な説明を省略する。
【0072】
図８に示すフローでは、Ｓ１０１の処理の後に、Ｓ２０１において、周辺監視装置１００の電源が入れられてから所定時間が経過したか否かが判別される。ここで、所定時間とは、例えば、抽出処理に用いられる事前学習モデルやプログラムが画像処理装置３００の作業領域にロードされるまでの時間であって、モデルの規模に応じて予め定められる。そして、Ｓ２０１において肯定判定された場合、この場合はすぐに抽出処理が実行され得る場合であって、制御部３０３はＳ１０２の処理へ進む。一方、Ｓ２０１において否定判定された場合、制御部３０３はＳ２０２の処理へ進む。
【0073】
Ｓ２０１において否定判定された場合、次に、Ｓ２０２において、Ｓ１０１の処理で取得された撮影画像データのみが表示装置５００に出力される。そして、Ｓ２０２の処理の後、本フローの実行が終了される。
【0074】
ここで、周辺監視装置１００の電源が入れられてから所定時間が経過するまでは、制御部３０３は抽出処理をすぐに実行することができない。このような場合、仮に、抽出処理が実行可能になるまで制御部３０３の処理が待機され、作業機械１０のオペレータが表示装置５００を介して周囲を視認することができないとすると、この間に作業機械１０とその周囲の人物との接触が生じ得る虞がある。これに対して、本フローによれば、周辺監視装置１００の電源が入れられてから所定時間が経過するまでは、抽出処理および測距処理により取得され得るデータは表示装置５００に出力されずに撮影画像データのみが表示装置５００に出力される。つまり、周辺監視装置１００の電源が入れられてから可及的速やかに作業機械１０の周囲画像が表示装置５００に出力されることになる。そのため、作業機械１０のオペレータは、周辺監視装置１００の電源が入れられてから可及的速やかに、表示装置５００を介して周囲を視認することができる。これによれば、作業機械１０とその周囲の人物との接触をより好適に回避することができる。
【0075】
なお、このように撮影画像データのみが表示装置５００に出力される場合には、撮影画像データに含まれる人物には矩形が表示されない。そうすると、作業機械１０のオペレータは、抽出処理および測距処理が未だ実行されていないことを認識できる。
【0076】
また、本変形例では、周辺監視装置１００の電源が入れられると、以下に説明する図９に示すフローが実行されてもよい。図９は、本変形例に係る周辺監視装置１００において、作業機械１０とその周囲の人物との接触を回避するために制御部３０３が行う処理フローを示す第２のフローチャートである。なお、上述した第１実施形態の図２に示した処理と実質的に同一の処理については、同一の符号を付してその詳細な説明を省略する。
【0077】
図９に示すフローでは、Ｓ１０２の処理の後に、Ｓ２０３において、Ｓ１０２の処理における抽出処理の結果を取得可能か否かが判別される。ここで、抽出処理の結果を取得できない場合とは、例えば、抽出処理に用いられる事前学習モデルやプログラムが画像処理装置３００の作業領域に未だロードされていない（作業領域へのロードが完了していない）場合である。この場合、図９に示すフローでは、上記のロードの完了の有無にかかわらずＳ１０２の処理が実行されている。なお、Ｓ１０２において、上記のロードが完了していないために周囲人物の抽出を行うことができない場合には、制御部３０３は、抽出処理を実行できないとして即座にＳ１０２の処理を終了させる。このとき、制御部３０３は、抽出処理を実行したか否かを判別するフラグを立ててもよい。そうすると、Ｓ２０３では、このフラグに基づいて上記を判定することができる。そして、Ｓ２０３において肯定判定された場合、制御部３０３はＳ１０３の処理へ進み、Ｓ２０３において否定判定された場合、制御部３０３はＳ２０４の処理へ進む。
【0078】
Ｓ２０３において否定判定された場合、次に、Ｓ２０４において、Ｓ１０１の処理で取得された撮影画像データのみが表示装置５００に出力される。そして、Ｓ２０４の処理の後、本フローの実行が終了される。
【0079】
以上に述べた処理によっても、作業機械１０のオペレータは、周辺監視装置１００の電源が入れられてから可及的速やかに、表示装置５００を介して周囲を視認することができ、以て、作業機械１０とその周囲の人物との接触をより好適に回避することができる。
【0080】
＜第２実施形態＞
第２実施形態について説明する。本実施形態では、制御部３０３が画像鮮明化処理を更に実行する。詳しくは、制御部３０３は、撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成する。そして、撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、撮影画像データと、を所定の比率で合成することで撮影画像データの鮮明化を行う。これについて、図１０に基づいて説明する。
第２実施形態について説明する。本実施形態では、制御部３０３が画像鮮明化処理を更に実行する。詳しくは、制御部３０３は、撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成する。そして、撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、撮影画像データと、を所定の比率で合成することで撮影画像データの鮮明化を行う。これについて、図１０に基づいて説明する。
【0081】
本実施形態の制御部３０３は、画像鮮明化処理を実行するために、図１０に示す処理フローを実行する。図１０は、本実施形態に係る画像鮮明化処理において、制御部３０３が行う処理フローを示すフローチャートである。本フローは、上記図２に示したフローのＳ１０１の処理の後に実行される。
【0082】
本フローでは、Ｓ１０１の処理の後に、Ｓ３０１において、撮影画像ヒストグラムが生成される。上述したように、撮影画像ヒストグラムは、撮影画像データに含まれる画素値の頻度を示すヒストグラムであって、周知の技術に基づいて生成される。
【0083】
次に、Ｓ３０２において、平滑化画像データが生成される。Ｓ３０２の処理において、制御部３０３は、先ず、撮影画像ヒストグラムを平滑化した平滑化ヒストグラムを生成し、該平滑化ヒストグラムに基づいて平滑化画像データを取得する。ここで、平滑化ヒストグラムは、撮影画像ヒストグラムを画素値の範囲全体（２５６階調）に亘って引き伸ばすことによって生成され、例えば、或る画素値の範囲に頻度が集中しているヒストグラムを画素値の範囲全体（２５６階調）に亘って引き伸ばすことによって、コントラストの高い画像を取得することができる。つまり、平滑化画像データは、撮影画像データのコントラストが高められた画像データである。
【0084】
このような平滑化画像データによれば、夜間や霧天時であっても画像のコントラストを確保することができる。しかしながら、作業機械１０は様々な環境下で使用されるため、その環境に応じてコントラストが調整される必要がある。
【0085】
そこで、本実施形態では、Ｓ３０３の処理において、鮮明化強度が取得される。そして、Ｓ３０４の処理において、撮影画像データに平滑化画像データが所定の比率で合成される。この比率が鮮明化強度に基づく比率であって、該強度の区分が、例えば、弱・中・強の３段階で設定され得る。例えば、鮮明化強度の区分が弱の場合に、平滑化画像データと撮影画像データとが１：３の比率で合成され、鮮明化強度の区分が中の場合に、平滑化画像データと撮影画像データとが１：１の比率で合成され、鮮明化強度の区分が強の場合に、平滑化画像データと撮影画像データとが３：１の比率で合成される。なお、Ｓ３０３の処理では、このような区分に応じた強度の値、例えば、強度区分が弱の場合は、強度の値が０．２５として取得されてもよいし（この場合、鮮明化された撮影画像データの２５％が平滑化画像データによるもので、７５％が元の撮影画像データによるものとなる。）、区分によらない任意の値（０よりも大きくて１よりも小さい値）が取得されてもよい。また、鮮明化強度は、作業機械１０のオペレータによって手動で設定されてもよいし、環境に応じて自動で設定されてもよい。そして、Ｓ３０４の処理の後、制御部３０３はＳ１０２の処理へ進む。
【0086】
このように、Ｓ３０１～Ｓ３０４の処理によって撮影画像データの鮮明化が行われ、次のＳ１０２の処理によって抽出処理が実行される場合には、環境に応じて鮮明化された撮影画像データに基づいて人物画像が抽出されることになる。これによれば、撮影画像データからの人物画像の抽出精度を可及的に高くすることができる。また、作業機械１０のオペレータは、該作業機械１０の車体の周辺に存在する障害物を、表示装置５００を介して視認し易くなる。
【0087】
そして、以上に述べた周辺監視装置によっても、作業機械とその周囲の人物との接触を好適に抑制することができる。
【0088】
＜その他の変形例＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【0089】
上記の実施形態では、撮影装置２００が４つの単眼カメラ２１０を含んで構成される例を説明したが、本開示の撮影装置はこれに限定されない。図１１は、本開示における作業機械の周辺監視装置の概略構成の変形例を示す図である。本開示の撮影装置は、図１１に示すように、３つの単眼カメラ２１０と１つの半天球カメラ２２０とを含んで構成されてもよい。この場合、半天球カメラ２２０は、作業機械１０の所定の装備により死角が生じ易い領域を撮影可能な位置（例えば、作業機械１０の運転室の上面）に配置され得る。
【0090】
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、抽出処理部３０３２を画像処理装置３００とは別の集積回路に形成してもよい。このとき当該別の集積回路は画像処理装置３００と好適に協働可能に構成される。また、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。集積回路において、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。
【0091】
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
【符号の説明】
【0092】
１０・・・・作業機械
１００・・・周辺監視装置
２００・・・撮影装置
２１０・・・単眼カメラ
３００・・・画像処理装置
３０３・・・制御部
４００・・・発報装置
１００・・・周辺監視装置
２００・・・撮影装置
２１０・・・単眼カメラ
３００・・・画像処理装置
３０３・・・制御部
４００・・・発報装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2021-07-20
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行し、
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標と、前記作業機械の周囲の人物の足元と前記単眼カメラの光軸との間の角度と、前記撮影装置の設置角度と、に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、
算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定する、
作業機械の周辺監視装置。
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行し、
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の足元の二次元座標である足元座標を取得するとともに、該足元座標と、前記作業機械の周囲の人物の足元と前記単眼カメラの光軸との間の角度と、前記撮影装置の設置角度と、に基づいて、前記作業機械の周囲の人物の足元と前記撮影装置との間の所定の角度である足元角度を算出し、
算出された前記足元角度と、前記撮影装置の設置高さと、に基づいて、前記作業機械とその周囲の人物との距離を測定する、
作業機械の周辺監視装置。
【請求項2】
作業機械に設置され、該作業機械の周囲を撮影する撮影装置と、
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行し、
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の画素数に基づいて、前記作業機械とその周囲の人物との距離を測定する、
作業機械の周辺監視装置。
前記撮影装置によって撮影された前記作業機械の周囲画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記撮影装置は、１以上の単眼カメラを含み、該単眼カメラの光軸が地面に対して所定の角度で配置されるように構成され、
前記プロセッサは、
前記撮影画像データから人物画像を抽出する抽出処理と、
抽出された前記人物画像と、前記撮影装置の設置パラメータと、に基づいて、前記作業機械とその周囲の人物との距離を測定する測距処理と、
前記測距処理によって測定された前記作業機械とその周囲の人物との距離に基づいて、前記発報装置による前記警報信号又は／及び前記発報の出力を制御する発報制御処理と、を実行し、
前記測距処理において、前記プロセッサは、
前記撮影画像データにおける前記人物画像の頭の画像を取得するとともに、該頭の画像の画素数に基づいて、前記作業機械とその周囲の人物との距離を測定する、
作業機械の周辺監視装置。
【請求項3】
前記発報制御処理において、前記プロセッサは、
前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる、
請求項１又は請求項２に記載の作業機械の周辺監視装置。
前記作業機械とその周囲の人物との距離が所定値以下となった場合に、前記発報装置から、該作業機械とその周囲の人物との接触を回避するための所定の回避動作を指令する信号を出力させる、
請求項１又は請求項２に記載の作業機械の周辺監視装置。
【請求項4】
前記抽出処理において、前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出する、
請求項１から請求項３の何れか１項に記載の作業機械の周辺監視装置。
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記人物画像を抽出する、
請求項１から請求項３の何れか１項に記載の作業機械の周辺監視装置。
【請求項5】
前記撮影装置によって撮影された前記撮影画像データ又は／及び該撮影画像データに基づく処理により取得された所定のデータを表示可能に構成された表示装置を、更に備える、
請求項１から請求項４の何れか１項に記載の作業機械の周辺監視装置。
請求項１から請求項４の何れか１項に記載の作業機械の周辺監視装置。
【請求項6】
前記プロセッサは、
前記周辺監視装置の電源が入れられてから所定時間経過するまでは、前記抽出処理及び前記測距処理により取得され得るデータを前記表示装置に出力せず、前記撮影画像データのみを前記表示装置に出力する処理を実行する、
請求項５に記載の作業機械の周辺監視装置。
前記周辺監視装置の電源が入れられてから所定時間経過するまでは、前記抽出処理及び前記測距処理により取得され得るデータを前記表示装置に出力せず、前記撮影画像データのみを前記表示装置に出力する処理を実行する、
請求項５に記載の作業機械の周辺監視装置。
【請求項7】
前記プロセッサは、
前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、
前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行する、
請求項１から請求項６の何れか１項に記載の作業機械の周辺監視装置。
前記撮影画像データに含まれる画素値の頻度を示す撮影画像ヒストグラムを生成し、
前記撮影画像ヒストグラムを平滑化した平滑化ヒストグラムに基づいて取得される平滑化画像データと、前記撮影画像データと、を所定の比率で合成することで前記撮影画像データの鮮明化を行う、画像鮮明化処理を更に実行する、
請求項１から請求項６の何れか１項に記載の作業機械の周辺監視装置。
【請求項8】
前記プロセッサは、前記作業機械に設置された集積回路に実装される、
請求項１から請求項７の何れか１項に記載の作業機械の周辺監視装置。
請求項１から請求項７の何れか１項に記載の作業機械の周辺監視装置。