特開 2022-156045 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022156045

(43)【公開日】2022-10-14

(54)【発明の名称】作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム

(51)【国際特許分類】

   E02F 9/24 20060101AFI20221006BHJP

   G01B 11/00 20060101ALI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

【ＦＩ】

E02F9/24 Z

G01B11/00 H

G06T7/00 650B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021059543

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000002059

【氏名又は名称】シンフォニアテクノロジー株式会社

(74)【代理人】

【識別番号】100130498

【弁理士】

【氏名又は名称】佐野 禎哉

(72)【発明者】

【氏名】入江 成光

(72)【発明者】

【氏名】伊藤 丈生

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA04

2F065CC16

2F065DD03

2F065FF04

2F065JJ03

2F065JJ26

2F065QQ31

2F065RR06

2F065SS13

5L096BA02

5L096BA08

5L096CA04

5L096DA03

5L096EA13

5L096EA14

5L096EA17

5L096FA66

5L096FA69

5L096HA03

5L096HA13

5L096JA11

(57)【要約】

【課題】作業機械に適用可能な周辺検出対象物位置検出システムであって、距離を測定する専用のセンサやレーザーレーダを有しない作業機械においても、撮像装置に映った検出対象物の位置を高い精度で検出可能なシステムを提供する。
【解決手段】作業機械Ｈに取り付けられる撮像装置Ｉで撮像した映像に対して行う複数サイズの検出枠Ｆを用いた検出処理によって作業機械周辺の検出対象物Ｗの位置を検出する検出部Ｃ１と、検出部Ｃ１による検出結果に基づいて優先検出対象物に関する検知領域を映像中の所定領域内に限定する検出領域限定部Ｃ２と、検出領域限定部Ｃ２で限定した検出領域Ｅ内における検出部Ｃ１による検出結果に基づいて優先検出対象物の位置を検出座標として算出する検出座標算出部Ｃ３とを備えた構成にした。
【選択図】図２

【特許請求の範囲】

【請求項1】

作業機械周辺の検出対象物の位置を検出可能な作業機械周辺検出対象物位置検出システムであって、
作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて当該映像中における検出対象物の位置候補を検出する検出部と、
前記検出部による検出結果に基づいて優先して検出する優先検出対象物に関する検知領域を映像中の所定領域内に限定する検出領域限定部と、
前記検出領域限定部で限定した限定検出領域内における前記検出部による検出結果に基づいて前記優先検出対象物の位置を検出座標として算出する検出座標算出部とを備え、
前記検出領域限定部が、
前記検出部による検出結果に基づいて映像中における複数の前記検出枠のうち基準となる基準検出枠について前記限定検出領域の基準となる基準座標を算出する基準座標算出部と、
前記基準座標に基づいて前記限定検出領域を算出する限定検出領域算出部と、
前記検出部による検出結果に基づいて映像中における複数の前記検出枠のうち前記基準検出枠以外の検出枠である非基準検出枠についてそれぞれ比較座標を算出する比較座標算出部と、
前記非基準検出枠のうち前記比較座標算出部で算出した前記比較座標が前記限定検出領域内にある検出枠を優先検出枠として抽出する優先検出枠検出部とを備えたものであることを特徴とする作業機械周辺検出対象物位置検出システム。

【請求項2】

前記検出座標算出部が、前記映像中の検知対象画像を複数に分割した領域ごとに、前記基準検出枠及び前記限定検出領域内に前記比較座標を有する前記優先検出枠からそれぞれ前記優先検出対象物の位置を特定可能な検出対象物特定座標のカウント数に応じた重み付けを行った処理結果に基づいて、前記検知対象画像における前記優先検出対象物の位置を検出座標として算出するものである請求項１に記載の作業機械周辺検出対象物位置検出システム。

【請求項3】

前記基準座標が前記基準検出枠の中心Ｘ座標であり、前記比較座標が前記非基準検出枠の中心Ｘ座標である請求項１又は２に記載の作業機械周辺検出対象物位置検出システム。

【請求項4】

算出した前記検出座標に基づいて前記撮像装置から前記優先検出対象物までの距離を測定するように構成している請求項１乃至３の何れに記載の作業機械周辺検出対象物位置検出システム。

【請求項5】

コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、
作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて当該映像中における検出対象物の位置候補を検出する検出ステップと、
前記検出ステップによる検出結果に基づいて優先して検出する優先検出対象物に関する検知領域を映像中の所定領域内に限定する検出領域限定ステップと、
前記検出領域限定ステップで限定した限定検出領域内における前記検出ステップによる検出結果に基づいて映像中における優先検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、
前記検出領域限定ステップが、
前記検出部による検出結果に基づいて映像中における複数の前記検出枠のうち基準となる基準検出枠について前記限定検出領域の基準となる基準座標を算出する基準座標算出ステップと、
前記基準座標に基づいて前記限定検出領域を算出する限定検出領域ステップと、
前記検出ステップによる検出結果に基づいて映像中における複数の前記検出枠のうち前記基準検出枠以外の検出枠である非基準検出枠についてそれぞれ比較座標を算出する比較座標算出ステップと、
前記非基準検出枠のうち前記比較座標算出ステップで算出した前記比較座標が前記限定検出領域内にある検出枠を優先検出枠として抽出する優先検出枠検出ステップとを含むものであることを特徴とする作業機械周辺検出対象物位置検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、建設機械等の作業機械の周囲にいる検出対象物を検出するシステム、及び作業機械周辺検出対象物位置検出プログラムに関するものである。

【背景技術】

【0002】

例えば、下部走行体と、この下部走行体に旋回自在に装着される上部旋回体とを備えた油圧ショベル等、各種作業に特化した構造を有する作業機械（建設機械）では、操縦室に作業者（オペレータ）が乗り込んで操作レバー等の走行用操作部を操作することによって、車両を前進、後退、或いは旋回することができる。このような操作を行う場合、オペレータは、目視したり、車両の適宜箇所に設けた車載カメラによる映像を運転室内に設けたモニタで見ることで、車両周辺の状況を把握し、車両の動く方向に人や障害物が無いことを確認しているのが通常である。

【0003】

また、目視不能または目視し難い周辺状況をカメラ映像によるモニタ表示で確認し、モニタに表示された映像中のオブジェクト（検出対象物）の位置を正確に把握することも事故を未然に防ぐ上で重要なことである。そこで、カメラに映った検出対象物までの距離を測定するセンサを作業機械に設ける構成も考えられるが、測距専用のセンサの実装はコスト増に直結する。

【0004】

ところで、通常の乗用車等の車両では、交通事故予防のための装備（アクティブセーフティ）が搭載されている割合が多くなっている。アクティブセーフティの一例として、レーザーレーダなどの距離測定機器による認識や、車載カメラからの画像を解析することによる画像処理技術による認識を行うことにより、車両周辺に存在する障害物を運転者に警告する技術が知られている（例えば下記特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１－４８４８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述の通り、コスト面や作業機械に搭載されるコントローラの規模や性能等を考慮すると、このようなアクティブセーフティ技術は作業機械に適用され難いのが実情である。

【0007】

そこで、本出願人は、距離を測定する専用のセンサやレーザーレーダを有しない作業機械においても、撮像装置に映った検出対象物の位置を高い精度で検出可能なシステムの開発を進めている。具体的には、撮像装置に映った人物を画像認識した時の検出枠の座標を重みとする重み付け処理の処理結果に基づいて検出対象物位置を算出する機能を発揮し、画像認識結果がばらついたとしても、算出結果に画像認識結果のばらつきがそのまま反映される事態を回避することができ、高い精度で検出対象物位置を検出して、撮像装置から検出対象物までの距離を高い精度で算出可能な作業機械周辺検出対象物位置検出システムを開発し、実用化を進めている。

【0008】

ところが、画像中に二人の人物を検出した場合、例えば相対的に撮像装置に近い方の人物の位置を検出したい場合に、相対的に撮像装置から遠い方の人物の検出枠の座標も重み付け処理に用いられることによって、撮像装置に近い方の人物の位置の検出値に誤差が生じ、実際の距離よりも遠い位置を撮像装置に近い方の人物の検出位置として算出する事態が想定される。

【0009】

本発明は、このような課題に着目してなされたものであって、主たる目的は、作業機械に適用可能な周辺検出対象物位置検出システムであって、距離を測定する専用のセンサやレーザーレーダを有しない作業機械においても、撮像装置に映った検出対象物の位置を高い精度で検出可能なシステム、さらには撮像画像中に複数の検出対象物が検出された場合であっても何れか１つの検出対象物について、撮像装置から当該検出対象物までの距離を高い精度で算出可能なシステムを提供することである。

【課題を解決するための手段】

【0010】

すなわち、作業機械周辺の検出対象物の位置を検出可能な本発明に係る作業機械周辺監視システムは、作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて当該映像中における検出対象物の位置候補を検出する検出部と、検出部による検出結果に基づいて優先して検出する優先検出対象物に関する検知領域を映像中の所定領域内に限定する検出領域限定部と、検出領域限定部で限定した限定検出領域内における検出部による検出結果に基づいて優先検出対象物の位置を検出座標として算出する検出座標算出部とを備えたものである。そして、本発明に係る作業機械周辺監視システムは、検出領域限定部として、検出部による検出結果に基づいて映像中における複数の検出枠のうち基準となる基準検出枠について限定検出領域の基準となる基準座標を算出する基準座標算出部と、基準座標に基づいて限定検出領域を算出する限定検出領域算出部と、検出部による検出結果に基づいて映像中における複数の検出枠のうち基準検出枠以外の検出枠である非基準検出枠についてそれぞれ比較座標を算出する比較座標算出部と、非基準検出枠のうち比較座標算出部で算出した比較座標が限定検出領域内にある検出枠を優先検出枠として抽出する優先検出枠検出部とを備えたものを適用していることを特徴としている。

【0011】

このような、本発明に係る作業機械周辺検出対象物位置検出システムであれば、検出枠を用いて複数以上の検出対象物を検出した場合であっても何れかの検出対象物を優先対象物として設定し、当該優先検出対象物に関する検出枠を抽出することで、優先検出対象物の位置を検出座標として算出する際に優先検出対象物以外の検出対象物に関する検出枠を有効なデータとして扱わないようにすることができ、撮像装置に映った優先検出対象物の位置を高い精度で検出することが可能である。具体的には、本発明に係る作業機械周辺検出対象物位置検出システムであれば、映像中における複数の検出枠のうち基準となる基準検出枠を用いて限定検出領域の基準となる基準座標を算出し、基準座標に基づいて限定検出領域を算出する構成であるため、比較的単純な算出処理で限定検出領域を検知対象画像中に設定することができる。そして、本発明に係る作業機械周辺検出対象物位置検出システムでは、映像中における複数の検出枠のうち基準検出枠以外の検出枠である非基準検出枠についてそれぞれ比較座標を算出しておき、優先検出対象物の位置を算出する際に、限定検出領域内に比較座標を有する優先検出枠のみを基準検出枠とともに用いるため、優先検出対象物以外の検出対象物に関する非基準検出枠の座標値に影響を受けることなく、優先検出対象物の位置を検出することができる。

【0012】

本発明における「基準検出枠の基準座標」の好適な一例としては、基準検出枠の中心Ｘ座標を挙げることができる。また、「非基準検出枠の比較座標」は、「基準検出枠の基準座標」に準じたものであることが好ましく、好適な一例として、非基準検出枠の中心Ｘ座標を挙げることができる。

【0013】

また、本発明に係る作業機械周辺監視システムにおいて、検出座標算出部が、映像中の検知対象画像を複数に分割した領域ごとに、基準検出枠から優先検出対象物の位置を特定可能な検出対象物特定座標と、限定検出領域内に比較座標を有する優先検出枠から優先検出対象物の位置を特定可能な検出対象物特定座標、これらの検出対象物特定座標のカウント数（密度数）に応じた重み付けを行った処理結果に基づいて、検知対象画像における優先検出対象物の位置を検出座標として算出するものであれば、検出枠を用いた検出結果がばらついた場合であっても、カウント数が多いほど重みを大きくする重み付け処理によってばらつきを低減し、検知対象画像の優先検出対象物の位置を特定する検出座標を高い精度で算出することができる。なお、映像中に単一の検出対象物が検出部によって検出された場合、当該検出対象物が優先検出対象物になる。

【0014】

本発明における重み付け処理部の好適な構成として、検知対象画像全体を複数に分割した大領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う大領域重み付け処理部と、各大領域をさらに複数に分割した小領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う小領域重み付け処理部とを有するものを挙げることができる。この場合、大領域重み付け処理部及び小領域重み付け処理部による処理結果に基づいて検出座標を算出すれば、検知対象画像を細分化して検出対象物特定座標の密集度がより一層反映された高い精度で検出座標を算出することができる。

【0015】

重み付け処理部における重み付けの具体例としては、検出対象物特定座標のカウント数に基づく加重平均処理を挙げることができる。

【0016】

また、作業機械の周辺における検出対象物を検出する際、立った姿勢の検出対象物（人物）を検出対象とすれば十分であり、特に人物の足元の位置を特定すれば十分である。したがって、本発明では、矩形状をなす検出枠のうち下辺に相当する座標を優先検出対象物特定座標として設定すればよい。

【0017】

本発明は、リアルタイムの検出座標を速やかに優先検出座標として算出する構成も含むものであるが、検知対象画像中の同じ検出対象物に対して時系列の移動を考慮した検出座標を算出するには、リアルタイムの検出座標と直近の過去を含む複数回分の検出座標の移動平均を取ることで最終の検出座標を算出するように構成することが好ましい。特に、リアルタイムの検出座標が、作業機械から所定範囲内の近い位置である場合、つまり、作業機械の近傍に人がいる場合は即応性が必要となることから、リアルタイムの検出座標に応じて移動平均の重みを変更する（重みを動的に切り換える）構成を採用することで、作業機械から所定範囲内の近い位置に人がいる危険な状況を算出結果として即座に出力することが可能になる。

【0018】

本発明に係る作業機械周辺検出対象物位置検出システムが、算出した検出座標に基づいて撮像装置から優先検出対象物までの距離を測定するように構成したものであれば、検出枠を用いた画像認識結果（具体例として検出枠の下辺の位置）のばらつきを抑えた算出結果である対象画像中の優先検出対象物の位置に基づいて、当該優先検出対象物までの距離を高い精度で算出することが可能になる。

【0019】

また、本発明に係る作業機械周辺検出対象物位置検出プログラムは、コンピュータを、作業機械周辺の検出対象物の位置を検出する作業機械周辺検出対象物位置検出システムとして実行させるソフトウェアプログラムであって、作業機械に取り付けられる撮像装置で撮像した映像に対して複数サイズの検出枠を用いて映像中における検出対象物の位置候補を検出する検出ステップと、検出ステップによる検出結果に基づいて優先して検出する優先検出対象物に関する検知領域を映像中の所定領域内に限定する検出領域限定ステップと、検出領域限定ステップで限定した限定検出領域内における検出ステップによる検出結果に基づいて映像中における優先検出対象物の位置を検出座標として算出する検出座標算出ステップとを含み、検出領域限定ステップが、検出ステップによる検出結果に基づいて映像中における複数の検出枠のうち基準となる基準検出枠について限定検出領域の基準となる基準座標を算出する基準座標算出ステップと、基準座標に基づいて限定検出領域を算出する限定検出領域算出ステップと、検出部による検出結果に基づいて映像中における複数の検出枠のうち基準検出枠以外の検出枠である非基準検出枠についてそれぞれ比較座標を算出する比較座標算出ステップと、非基準検出枠のうち比較座標算出ステップで算出した比較座標が限定検出領域内にある検出枠を優先検出枠として抽出する優先検出枠検出ステップとを含むものであることを特徴としている。

【0020】

このような作業機械周辺検出対象物位置検出プログラムによれば、優先検出対象物の位置を算出する際に優先検出対象物以外の検出対象物に関する検出結果（検出枠の座標）を除外することができ、優先検出対象物の位置を高い精度で算出することができる。

【発明の効果】

【0021】

本発明によれば、画像中に複数の撮像画像中に２以上の検出対象物が検出された場合であっても優先検出対象物の検出に寄与した検出枠の座標値のみを有効データとして用いてことができ、高い精度で優先検出対象物の位置を検出可能な作業機械周辺検出対象物位置検出システムを提供することができる。このような本発明は、専用のセンサやレーザーレーダを有しない作業機械に適用することで、高コスト化を回避しつつ、作業機械周辺の検出対象物の位置を高精度で特定することができ、実用性に優れた技術である。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る作業機械周辺検出対象物位置検出システムの適用例を模式的に示す図。

【図2】同実施形態に係る作業機械周辺検出対象物位置検出システムの全体構成図。

【図3】同実施形態における検出座標算出処理実行直後の検知対象画像の一例を模式的に示す図。

【図4】同実施形態において検知対象画像に対する検出部の処理内容を模式的に示す図。

【図5】同実施形態に係る作業機械周辺検出対象物位置検出プログラムのフローチャート。

【図6】同実施形態において検知対象画像に対する基準座標算出部の処理内容を模式的に示す図。

【図7】同実施形態において検知対象画像に対する限定検出領域算出部の処理内容を模式的に示す図。

【図8】同実施形態において検知対象画像に対する比較座標算出部の処理内容を模式的に示す図。

【図9】同実施形態において正確な検出座標を算出できていない画像を図３に対応して示す図。

【図10】同実施形態における大領域重み付け部の処理内容を説明する図。

【図11】同実施形態における小領域重み付け部の処理内容を説明する図。

【図12】同実施形態における検出座標算出処理に使用する式を示す図。

【発明を実施するための形態】

【0023】

以下、本発明の一実施形態を、図面を参照して説明する。
本実施形態に係る作業機械周辺検出対象物位置検出システムＸは、図１に示すように、例えば油圧ショベル（バックホーとも称される）等の作業機械Ｈの周辺を監視する用途で利用可能なものである。作業機械周辺検出対象物位置検出システムＸは、作業機械Ｈに取り付けられた撮像装置Ｉの映像を取り込んで出力先に出力可能なコントローラＣを備えている。本実施形態に用いる撮像装置Ｉは、一般的な車載カメラである。撮像装置Ｉを作業機械Ｈに取り付ける位置は、操縦室Ｈ１に入室中のオペレータから見えない範囲（死角）や見えにくい範囲を撮像可能な位置であれば特に限定されず、本実施形態では、油圧ショベルＨの後方の所定範囲を撮像可能な位置に撮像装置Ｉを取り付けている。なお、オペレータ室の上空から作業機械周辺を３６０度鳥瞰可能な撮像装置を適用することもできる。図１では、作業機械周辺検出対象物位置検出システムＸの実施に用いる機器（撮像装置Ｉや後述する表示部Ｄ）をそれぞれ誇張して模式的に示している。

【0024】

コントローラＣは、図１及び図２に示すように、撮像装置Ｉで撮像した映像に対して検出枠Ｆ（図３参照）を用いて映像中における検出対象物の位置候補を検出する検出部Ｃ１と、検出部Ｃ１による検出結果に基づいて優先して検出する優先検出対象物に関する位置候補を限定する検出領域限定部Ｃ２と、検出領域限定部Ｃ２で限定（特定）した位置候補に基づいて優先検出対象物の位置を検出座標として算出する検出座標算出部Ｃ３とを備えている。

【0025】

本実施形態における検出対象物は作業機械周辺の人物Ｗである。また、撮像装置Ｉは、作業機械Ｈの周辺環境の検出対象物を含む映像（画像）を撮影し、それを画像データとして取り込むものである。検出部Ｃ１が検出枠Ｆを用いて検出する検知対象画像Ｖ（映像画面）は、画像データそのもの（加工されていない生データ）であってもよいが、処理用にデータサイズを小さくした画像データであってもよい。図３に、後述する検出座標算出ステップＳ３実行直後の検知対象画像Ｖの一例を示す。

【0026】

検出部Ｃ１は、例えば、図４に示すように、検知対象画像Ｖに対して、矩形の検出枠Ｆを用いて画像全体を漏れなく探索するように走査しながら、人物Ｗの存在する領域を検出するものである。また、検出部Ｃ１における検出枠Ｆは、検出対象とする人物Ｗの想定される身長や体型等に応じてサイズを変えるようにしてもよい。本実施形態では、検知対象画像中の人物Ｗの検出に用いる特徴量として例えばＨＯＧ（Histograms of Oriented Gradients）を適用し、検出の学習に用いる学習手法として例えばＳＶＭ（Support Vector Machine）を適用している。

【0027】

本実施形態における検出部Ｃ１の検出対象物検出ロジック（検出ステップＳ１；図５参照）は以下の通りである。なお、図５は、作業機械Ｈに搭載したコンピュータを作業機械周辺検出対象物位置検出システムＸとして実行させるソフトウェアプログラムである作業機械周辺検出対象物位置検出プログラムのフローチャートである。このコンピュータは、コントローラＣにその構成要素として備えられたもの又はコントローラＣ自体の何れかである。

【0028】

先ず、検出処理開始時の検知対象画像Ｖに対して検出枠Ｆでサーチし、検出対象物である人物Ｗの位置候補を検出する。次いで、検知対象画像Ｖを規定比率分縮小し、同じサイズの検出枠Ｆで再度サーチして人物Ｗの位置候補を検出する。そして、検知対象画像Ｖの縮小を所定回数実施するか、検知対象画像Ｖが検出枠Ｆよりも小さくなった時点で検出処理を終了する。以上の処理を行うことで、人物Ｗ一人あたりにつき複数の位置候補が検出され、しかも候補毎に検知対象画像Ｖにおける検出枠Ｆの位置やサイズが異なる。図４には、同じ人物Ｗに対して複数の位置候補が検出された（複数の検出枠Ｆが表示された）場合の検知対象画像Ｖを模式的に示す。同図に示すように、人物Ｗの位置候補を、人物Ｗに密着した検出枠Ｆ（人物Ｗの画像と同じサイズの検出枠Ｆ）で検出する場合もあれば、人物Ｗに密着する検出枠よりも一回り大きい枠で検出する場合もある。

【0029】

また、図４に示すように、検知対象画像Ｖ中に２名以上の人物（同図では２名の人物Ｗ１、Ｗ２）が映し出されている場合、それぞれの人物Ｗ１，Ｗ２に関して複数の位置候補が検出され、人物Ｗ１，Ｗ２毎に検知対象画像Ｖにおける検出枠Ｆの位置やサイズが異なる。同図では、各人物Ｗ１，Ｗ２についてそれぞれ４つの検出枠Ｆによる位置候補（合計８つの検出枠Ｆによる位置候補）が検出された状態を示している。

【0030】

本実施形態では、撮像装置Ｉに近い方の人物Ｗ１を遠い方の人物Ｗ２よりも優先して検出する対象（優先検出対象物）に設定している。したがって、撮像装置Ｉに遠い方の人物Ｗ２に関する４つの検出枠Ｆによる位置候補は、優先検出対象物である人物Ｗ１の座標を算出する際に影響を与えない（除外される）ことが望ましい。

【0031】

そこで、本実施形態に係る作業機械周辺検出対象物位置検出システムＸでは、検出部Ｃ１による検出結果に基づいて優先検出対象物に関する検知領域を検出領域限定部Ｃ２によって映像Ｖ中の所定領域内に限定する（検出領域限定ステップＳ２；図５参照）。

【0032】

検出領域限定部Ｃ２は、基準座標算出部Ｃ２１と、限定検出領域算出部Ｃ２２と、比較座標算出部Ｃ２３と、優先検出枠抽出部Ｃ２４とを備えている。

【0033】

基準座標算出部Ｃ２１は、図６に示すように、検出部Ｃ１による検出結果に基づいて映像Ｖ中における複数の検出枠Ｆのうち基準となる基準検出枠ＦＡを特定し、当該基準検出枠ＦＡについて限定検出領域の基準となる基準座標を算出するものである。撮像装置Ｉに一番近い人物Ｗ１を優先検出対象物に設定している本実施形態において、基準座標算出部Ｃ２１は、検知対象画像Ｖ中の複数の検出枠Ｆによる位置候補のうち、撮像装置Ｉに一番近い検出枠Ｆ（図６において相対的に太い線で示す検出枠Ｆであって、同図において一番手前の検出枠Ｆ（映像Ｖにおいて一番下にある検出枠Ｆ））を基準検出枠ＦＡとして設定し、基準検出枠ＦＡについて、限定検出領域の基準となる基準座標を算出する（基準座標算出ステップＳ２１）。基準座標算出部Ｃ２１における具体的な算出処理として、本実施形態では、以下の式(１１)よって基準検出枠ＦＡの中心Ｘ座標（図６において符号「ＦＳａ」を付した直線で示すＸ座標）を基準座標として算出する処理を適用している。
基準検出枠の中心Ｘ座標＝基準検出枠のＸ座標＋基準検出枠の検出枠幅×０．５ …式（１１）

【0034】

ここで、検知対象画像Ｖ内での検出枠Ｆの位置は、所定の計算によって座標値として求めることができる。したがって、検出部Ｃ１による検出結果から検出枠Ｆの座標上のサイズも特定することができ、基準検出枠ＦＡを含む全ての検出枠Ｆの位置座標（Ｘ座標）や検出枠幅（検出枠のＸ軸方向長さ）も特定することができる。本実施形態では、矩形の検出枠Ｆのうち向かって左下の角（左端下）の位置を検出枠ＦのＸ座標としている。また、映像画面（検知対象画像Ｖ）のうち向かって左下の角をＸＹ座標の原点としている。

【0035】

限定検出領域算出部Ｃ２２は、基準検出枠ＦＡの座標に基づいて限定検出領域を算出するものである。本実施形態では、基準検出枠ＦＡのＸ座標及び検出枠幅に基づいて、以下の式（１２）、式（１３）によって検知領域の最小Ｘ座標と最大Ｘ座標を算出し、図７に示すように、最小Ｘ座標と最大Ｘ座標との間の領域を限定検出領域Ｅとして算出する（限定検出領域算出ステップＳ２２）。
検知領域最小Ｘ座標＝基準検出枠のＸ座標＋基準検出枠の検出枠幅×０．２５ …式（１２）
検知領域最大Ｘ座標＝基準検出枠のＸ座標＋基準検出枠の検出枠幅×０．７５ …式（１３）

【0036】

図７では、検知領域最小Ｘ座標及び検知領域最大Ｘ座標をそれぞれ一点鎖線で示している。このような処理によって、図７に示すように、検知領域最小Ｘ座標以上であって且つ検知領域最大Ｘ座標以下の領域（グレーで塗った領域）、すなわち基準検出枠ＦＡの中心Ｘ座標ＦＳａからＸ軸正方向及びＸ軸負方向にそれぞれ所定寸法の範囲内の領域を限定検出領域Ｅとする。

【0037】

比較座標算出部Ｃ２３は、検出部Ｃ１による検出結果に基づいて映像Ｖ中における複数の検出枠Ｆのうち基準検出枠ＦＡ以外の検出枠Ｆである非基準検出枠Ｆについてそれぞれ比較座標を算出するものである。本実施形態では、検出枠Ｆのうち基準検出枠ＦＡ以外の検出枠Ｆ（計７つの検出枠Ｆ）について、それぞれの検出枠Ｆの中心Ｘ座標（図８において符号「ＦＳｂ」を付した破線で示すＸ座標）を比較座標として算出する処理（比較座標算出ステップＳ２３）であり、以下の式（１４）によって算出することができる。
非基準検出枠の中心Ｘ座標＝非基準検出枠のＸ座標＋非基準検出枠の検出枠幅×０．５ …式（１４）

【0038】

優先検出枠抽出部Ｃ２４は、比較座標算出部Ｃ２３で算出された比較座標に基づいて限定検出領域Ｅ内に有する検出枠Ｆである優先検出枠ＦＢを抽出するものである。つまり、本実施形態における検出領域限定部Ｃ２は、非基準検出枠Ｆのうち比較座標算出部Ｃ２３で算出された比較座標が限定検出領域Ｅ内にある検出枠Ｆを優先検出枠ＦＢとして抽出する優先検出枠抽出部Ｃ２４を有するものである。図８に示す例であれば、７つの非基準検出枠Ｆのうち画面Ｖに向かって左側の４つの非基準検出枠Ｆについては、比較座標である中心Ｘ座標ＦＳｂがそれぞれ限定検出領域Ｅの最小Ｘ座標値未満であり、画面Ｖ中央部分の３つの非基準検出枠Ｆについては、比較座標である中心Ｘ座標ＦＳｂがそれぞれ限定検出領域Ｅの最小Ｘ座標値以上であって且つ最大Ｘ座標値以下である。したがって、図８に示す例であれば、画面Ｖ中央部分の３つの非基準検出枠Ｆを優先検出枠ＦＢとして抽出する（優先検出枠抽出ステップＳ２４）。限定検出領域Ｅ内に比較座標を有する優先検出枠ＦＢは、何れも優先検出対象物である人物Ｗ１の検知に用いられた検出枠Ｆであることが同図から特定できる。

【0039】

以上が検出領域限定部Ｃ２における処理内容（検出領域限定ステップＳ２）であり、このような処理を行うことによって、優先検出対象物以外の検出対象物に関する検出枠Ｆが検出座標算出部Ｃ３による算出処理に影響を与えないように排除することができる。

【0040】

検出座標算出部Ｃ３は、基準検出枠ＦＡと優先検出枠ＦＢとを用いて、これら各検出枠ＦＡ，ＦＢからそれぞれ検知対象画像Ｖ中における優先検出対象物である人物Ｗの位置を特定可能な検出対象物特定座標ＦＬを設定する検出対象物特定座標設定部Ｃ３１を備えている（図２参照）。検出座標算出部Ｃ３では、限定検出領域Ｅ外に比較座標を有する非基準検出枠Ｆを用いない。したがって、検出対象物特定座標設定部Ｃ３１は、限定検出領域Ｅ外に比較座標を有する非基準検出枠Ｆに基づいて検出対象物特定座標ＦＬを設定することはない。

【0041】

検知対象画像Ｖ内での各検出枠Ｆの位置は、上述の通り所定の計算によって座標値として求めることができる。本実施形態では、検出部Ｃ１において矩形の検出枠Ｆを適用し、図３に示すように、検出対象物特定座標設定部Ｃ３１が、検出枠Ｆのうち下辺Ｆ１の位置を検出対象物特定座標ＦＬに設定するように構成している。すなわち、本実施形態の検出対象物特定座標設定部Ｃ３１は、検知対象画像Ｖにおける優先検出対象物である人物Ｗ１の足元の位置を検出対象物特定座標ＦＬとして算出するものである。

【0042】

限定検出領域Ｅ内に基準座標、比較座標がある基準検出枠ＦＡ及び優先検出枠ＦＢには、上述したように、優先検出対象物Ｗ１に密着する検出枠Ｆのみならず、優先検出対象物Ｗ１に密着しない検出枠Ｆも含まれる。このような場合に、検出座標算出部Ｃ３において優先検出対象物Ｗ１に密着しない検出枠Ｆで検出した検出結果を、前者のような優先検出対象物Ｗ１に密着する検出枠Ｆで検出した検出結果と同等に扱って算術平均を行い、検知対象画像Ｖにおける優先検出対象物Ｗ１の位置を検出座標として算出した場合、その算出結果による優先検出対象物Ｗ１の位置は、実際の優先検出対象物Ｗ１の位置から離れた不正確な位置になる。例えば、図９から把握できるように、検出対象物特定座標設定部Ｃ３１が算出・設定した検出対象物特定座標ＦＬ（検知対象画像Ｖ中における優先検出対象物Ｗ１の位置であり、本実施形態では検出枠Ｆの下辺Ｆ１）の位置にばらつきがある。このような複数の位置候補Ｆ１（検出枠Ｆの下辺Ｆ１の座標）から、検知対象画像Ｖ中の優先検出対象物Ｗ１の位置を検出座標（代表座標）として算出する場合に、複数の位置候補Ｆ１の算術平均を行い、検知対象画像Ｖの優先検出対象物Ｗ１の位置を検出座標として算出した場合、その算出結果による優先検出対象物Ｗ１の位置ＦＬ’は、同図に示すように、大きいサイズの検出枠Ｆの座標に影響されて、同図中１点鎖線で示す本来算出したい座標ＦＬ（実際の距離）よりも手前側（カメラＩに近い側）に算出されるという問題がある。また逆に、実際の検出対象よりも小さいサイズの検出枠Ｆで検出される場合があり、この場合は、実際の距離よりも奥方側（カメラＩから遠い側）に算出される。以上の通り、検知対象画像Ｖに対して検出枠Ｆでサーチして複数の検出対象の候補を検出する処理を採用する場合、算術平均であれば算出結果が安定しない。

【0043】

このような不具合を解消すべく、本実施形態では、優先検出対象物Ｗ１の位置を検出座標として算出する検出座標算出部Ｃ３において、重み付け処理部Ｃ３２による所定の重み付け処理を実施する。重み付け処理部Ｃ３２による所定の重み付け処理は、検出対象物特定座標設定部Ｃ３１によって検出対象物特定座標ＦＬを設定する処理に続いて行う処理である。

【0044】

本実施形態の重み付け処理部Ｃ３２は、図２に示すように、検知対象画像全体を複数に分割した大領域毎に、検出枠Ｆのうち優先検出対象物Ｗ１の位置を特定可能な検出対象物特定座標ＦＬ（検出枠Ｆの下辺Ｆ１）のカウント数(密集度)に応じた所定の重み付けを行う大領域重み付け処理部Ｃ３３と、各大領域をさらに複数に分割した小領域毎に、検出対象物特定座標ＦＬ（検出枠Ｆの下辺Ｆ１）のカウント数(密集度)に応じた所定の重み付けを行う小領域重み付け処理部Ｃ３４とを有している。このような大領域重み付け処理部Ｃ３３及び小領域重み付け処理部Ｃ３４を用いた検出座標算出部Ｃ３の処理内容を以下に説明する。

【0045】

図１０（ａ）に、幅７２０ピクセル、高さ４８０ピクセルの検知対象画像に対して検出対象物特定座標設定部Ｃ３１で算出・設定した検出対象物特定座標ＦＬ（検出枠Ｆのうち下辺Ｆ１の位置、人物Ｗ１の足元の座標位置）を水平線で表現した一例を示す。図１０（ａ）には、検知対象画像Ｖを高さ方向に１０等分した複数の領域である大領域毎に分けて、５つの検出対象物特定座標ＦＬが検出されたとして５本の水平線を記載している。また、図１０（ｂ）は、大領域毎に検出対象物特定座標ＦＬがいくつ属しているか（検出対象物特定座標ＦＬのカウント数）を表したヒストグラムであり、同図から、大領域１に１つの検出対象物特定座標ＦＬが属し、大領域３に４つの検出対象物特定座標ＦＬが属していることが把握できる。

【0046】

図１１（ａ）は、図１０（ａ）に示す複数の大領域のうち検出対象物特定座標ＦＬのカウント数が最大であった大領域３を更に高さ方向に８等分した小領域（高さ４８ピクセル）に分割した状態を示す図である。図１１（ｂ）は、小領域毎に検出対象物特定座標ＦＬがいくつ属しているか（検出対象物特定座標ＦＬのカウント数）を表したヒストグラムであり、同図から、小領域３に３つの検出対象物特定座標ＦＬが属し、小領域４に１つの検出対象物特定座標ＦＬが属していることが把握できる。なお、大領域の数及び小領域の数は、それぞれ１０、８に限らず適宜の値に変更してもよい。

【0047】

本実施形態の重み付け処理部Ｃ３２は、これらの情報を用いて、検出対象物特定座標ＦＬが密集している座標近辺の重みを大きくし、検出対象物特定座標ＦＬが密集している座標から離れていれば重みを小さくする加重平均を取る重み付け処理を行う。具体的には、ヒストグラムから把握可能な検出対象物特定座標ＦＬのカウント数を何乗倍（例えば３乗）する重み付け処理を行う。重みを何乗倍にするかは、演算コストとのトレードオフとなり、乗数が大きいほど特徴がより強くなる。

【0048】

検出対象物特定座標設定部Ｃ３１による検出対象物特定座標ＦＬの算出・設定処理、及び重み付け処理部Ｃ３２による重み付け処理を伴う検出座標算出部Ｃ３による検出座標算出処理（検出座標算出ステップＳ３；図５参照）は、図１２に示す式による演算処理にて実施される。

【0049】

先ず、同図に示す式（１）を用いて、各大領域の代表座標を算出する。具体的には、各大領域を小領域に分け、小領域毎に属する検出対象物特定座標ＦＬ（足元座標）の個数を何乗倍かし、それを重みとする。各小領域に属する検出対象物特定座標ＦＬ（足元座標）の算術平均を小領域の代表座標とし、これらから加重平均を算出する。算出結果が各大領域の代表座標である。このように、各大領域の代表座標を算出する際に小領域重み付け処理部Ｃ３４による小領域重み付け処理を行っている。

【0050】

次いで、図１２に示す式（２）を使用して今回の検知対象画像（現検知対象画像）の検出座標（検出対象物特定座標ＦＬ）を算出する。具体的には、各大領域に属する足元座標の個数を何乗倍かし、それを重みとする。式（１）で算出した各大領域の代表座標を用いて、これらから加重平均を算出する。算出結果が現検知対象画像の検出対象物特定座標ＦＬ（リアルタイムの検出座標）である。このように、現検知対象画像の検出対象物特定座標ＦＬを算出する際に大領域重み付け処理部Ｃ３３による大領域重み付け処理を行っている。

【0051】

ここで、撮像装置Ｉの取付位置及び取付角度と検知対象画像Ｖ上の座標との関係から、検知対象画像Ｖの検出対象物特定座標ＦＬ（足元座標）に基づいて撮像装置Ｉから優先検出対象物Ｗ１までの距離を算出することが可能である。本実施形態では、予め検知対象画像Ｖ上の座標毎に撮像装置Ｉから検出対象物Ｗまでの距離を対応付けたテーブルを用意しておき、テーブルを参照することで検知対象画像Ｖの検出対象物特定座標ＦＬから瞬時に撮像装置Ｉから検出対象物Ｗまでの距離を算出するように設定している。

【0052】

続いて、図１２に示す式（３）を使用して検出座標を算出する。具体的には、式（２）で算出した現検知対象画像の検出座標と過去の検出座標（直近の過去を含む複数回分の検出座標）を使い、移動平均を取ることで検出座標を算出する。ただし、作業機械Ｈの近傍に人がいる場合は、即応性が必要となることから、現検知対象画像の検出座標に応じて移動平均の重みを変更する（図１２の式（３）参照）。なお、式（３）の例では、撮像装置Ｉからの危険な距離を２ｍとしているが、この距離は適宜変更してもよい。さらに、式（３）の例では、今回画像とｎ回前画像の重みの値をそれぞれ明示しているが、重みの値はこの限りではない。また、式（３）の例では、移動平均の個数を５（リアルタイムの検出座標１つと、直近の過去を含む４回分の検出座標の５つを用いる式）としているが、移動平均の個数もこれに限定されない。このように、本実施形態では、検出座標を算出する際に、加重平均で算出した距離（検出座標）に応じて、検出座標が危険距離より大きい場合には移動平均の重み付けをしない処理と、検出座標が危険距離以下の場合には移動平均の処理が進むほど重み付けを徐々に小さくしていく処理とを選択して行う手法を採用し、早く警告をする必要がある場合には、精度よりも即応性を優先している。

【0053】

そして、本実施形態では、コントローラＣが備える測距部Ｃ４が、検出座標算出部Ｃ３による算出結果（検出座標）に基づき、上述のテーブルを参照することで作業機械Ｈ（具体的には撮像装置Ｉ）から優先検出対象物Ｗ１までの距離を測定（特定）する（測距ステップＳ４；図５参照）。本実施形態の測距部Ｃ４は、測定結果（優先検出対象物Ｗ１までの距離）をモニタＤに映像として出力する。本実施形態では、モニタＤへの測定結果の出力例として、図３に示すように、何れの検出枠Ｆよりも幅方向に長い水平線ＦＬによって測定結果（優先検出対象物Ｗ１までの距離）を表示する処理を採用している。特に、検出枠Ｆと異なる色で水平線ＦＬをモニタＤに表示することで、オペレータは優先検出対象物Ｗ１までの距離を直感的に把握することができる。なお、測距部Ｃ４が、適宜のスピーカや発光機を介して音または光を出力して、人が作業機械Ｈに近い位置にいることを報知・警告する機能を備えたものであってもよい。

【0054】

このように、本実施形態に係る作業機械周辺検出対象物位置検出システムＸによれば、検出座標を算出する際に、検出対象物特定座標ＦＬ（足元座標）の数が多い領域ほど重みを大きくする上述の重み付け処理を行うため、検知対象画像Ｖの優先検出対象物Ｗ１の位置を検出座標として算出したその算出結果には、検出枠Ｆの密集度で重み付けした処理内容が反映されることになる。その結果、検出枠Ｆを用いた画像認識で作業機械周辺における優先検出対象物Ｗ１の位置候補にばらつきがある場合でも、検知対象画像Ｖの優先検出対象物Ｗ１の位置を特定する検出座標のばらつきが小さくなり、検知対象画像Ｖ中の優先検出対象物Ｗ１に関する検出座標を高い精度で算出することができる。

【0055】

特に、本実施形態に係る作業機械周辺検出対象物位置検出システムＸによれば、検出枠Ｆを用いて２以上の検出対象物Ｗ１，Ｗ２を検出した場合であっても何れかの検出対象物を優先検出対象物Ｗ１として設定し、優先検出対象物Ｗ１に関する検出枠Ｆを抽出することで、優先検出対象物Ｗ１の位置を検出座標として算出する際に優先検出対象物Ｗ１以外の検出対象物に関する検出枠Ｆを有効なデータとして扱わないようにすることができ、撮像装置Ｉに映った優先検出対象物Ｗ１の位置を高い精度で検出することが可能である。具体的には、本実施形態に係る作業機械周辺検出対象物位置検出システムＸによれば、映像Ｖ中における複数の検出枠Ｆのうち基準となる基準検出枠ＦＡを用いて限定検出領域Ｅの基準となる基準座標ＦＳａを算出し、基準座標ＦＳａに基づいて限定検出領域Ｅを算出する構成であるため、比較的単純な算出処理で限定検出領域Ｅを検知対象画像Ｖ中に設定することができる。そして、本実施形態に係る作業機械周辺検出対象物位置検出システムＸでは、映像Ｖ中における複数の検出枠Ｆのうち非基準検出枠Ｆについてそれぞれ比較座標ＦＳｂを算出して、非基準検出枠Ｆのうち限定検出領域Ｅ内に比較座標ＦＳｂを有する検出枠Ｆを優先検出枠ＦＢとして抽出し、優先検出対象物Ｗ１の位置を算出する際に、基準検出枠ＦＡと抽出した優先検出枠ＦＢのみを用いるため、優先検出対象物Ｗ１以外の検出対象物に関する非基準検出枠Ｆの座標値に影響を受けることなく、優先検出対象物Ｗ１の位置を検出することができる。

【0056】

また、本実施形態に係る作業機械周辺検出対象物位置検出システムＸによれば、リアルタイムの検出座標と直近の過去を含む複数回分の検出座標の移動平均を取ることで最終の検出座標を算出するように構成しているため、リアルタイムの検出座標を最終の検出座標とする態様と比較して、検知対象画像Ｖ中の同じ優先検出対象物Ｗ１に対して時系列の移動を考慮した高い精度で最終の検出座標を算出することができる。特に、リアルタイムの検出座標に応じて移動平均の重みを変更する（重みを動的に切り換える）構成を採用し、最寄りの優先検出対象物Ｗ１である人物が作業機械Ｈから離れている場合には、移動平均の重みを相対的に大きく設定することで、最終の検出座標を精度良く検出することができる一方、リアルタイムの検出座標が作業機械Ｈから所定範囲内の近い位置である場合、作業機械Ｈから所定範囲内の近い位置に人がいる危険な状況を算出結果として即座に出力することが可能になり、即応性を優先した検出処理ができる。

【0057】

以上、本発明の実施形態について説明したが、本発明は上記実施形態の構成に限られるものではない。例えば、上述の実施形態では、作業機械として油圧ショベルを例示したが、油圧ショベル以外の作業機械（建設機械、農林作業機械等、特定の用途で特殊な性能を発揮する機械、あるいは船や飛行機以外の各種車両）にも本発明の周辺検出対象物位置検出システムを適用することができる。

【0058】

また、上述の実施形態では。検出枠による検出処理で検知対象画像中に複数の検出対象物を検出した場合、作業機械から最寄りの検出対象物を優先検出対象物として、当該優先検出対象物の位置のみを検出する構成を採用したが、作業機械から最寄りの検出対象物以外の検出対象物を優先検出対象物として、当該優先検出対象物の位置のみを検出する構成を採用したり、複数の検出対象物について優先度を決定し、それぞれの検出対象物（例えば、第１優先検出対象物、第２優先検出対象物、第３優先検出対象物・・・）について、上述の検出領域限定処理、検出座標算出処理を行う構成を採用することも可能である。この場合、まず、作業機械から最寄りの検出対象物を第１優先検出対象物として設定し、検出領域特定部Ｃ２の優先検出枠抽出部Ｃ２４により第１優先検出対象物に関する優先検出枠ＦＢを抽出する。次に、検出枠Ｆから第１優先検出対象物に関する優先検出枠ＦＢを除いて、作業機械から第１優先検出対象物の次に最寄りの検出対象物を第２優先検出対象物として設定し、同様に第２優先検出対象物に関する優先検出枠ＦＢを抽出する。検出対象物の数に応じてこの処理を繰り返すことにより、各々の検出対象物に関する優先検出枠を抽出することができる。そして、検出座標算出部による処理結果（算出結果）に基づいて全てまたは任意の検出対象物に関して、作業機械（具体的には撮像装置）からの距離を測定（特定）するように構成することもできる。

【0059】

また、複数の検出対象物を画像中に検出した場合に、各検出枠の所定の座標（例えばＸ座標）を元にグルーピング処理を行い、その処理結果に基づいて各検出対象物の座標をそれぞれ算出することも可能である。

【0060】

基準枠の基準座標や非基準枠の比較座標として中心Ｘ軸座標以外の座標（例えば、基準枠や非基準枠の中心座標、Ｘ座標、Ｙ座標、中心Ｙ座標等）を適用してもよい。また、基準枠の基準座標に基づいて限定検出領域を算出する際に、基準座標を利用した計算式に用いる係数の値（上述の実施形態であれば、（式１２）における「０．２５」、（式１３）における「０．７５」）は適宜変更しても構わない。これにより、限定検出領域の範囲を適宜選択・変更することができる。

【0061】

図４、図６乃至図８に示す処理内容（検知対象画像に対する検出部の処理内容、基準座標算出部の処理内容、限定検出領域算出部の処理内容、比較座標算出部の処理内容）は作業機械の表示部Ｄに実際に表示されるものではないが、敢えて表示部Ｄに表示する設定にしてもよい。

【0062】

また、上述の実施形態では、大領域重み付け処理部及び少領域重み付け処理部の両方を備えた態様を例示したが、何れか一方の重み付け処理部のみを備えた態様（例えば、精度は落ちるものの、大領域の代表座標は算術平均で求める態様）を採用したり、あるいは小領域をさらに複数に分割した領域ごとに、検出対象物特定座標のカウント数に応じた重み付けを行う態様を採用することもできる。

【0063】

１機（１台）の作業機械に複数の撮像装置を取り付け、各撮像装置の映像ごとに個別に検出領域限定処理を実施したり、重み付け処理を伴う検出座標算出処理を実施してもよいし、各撮像装置の現在の映像であって且つ同時刻の映像をまとめて検出領域限定処理を実施したり、重み付け処理を伴う検出座標算出処理を実施してもよい。オペレータが視認可能なモニタの数も複数設定しても構わない。

【0064】

上述の実施形態における大領域の区分数や小領域の区分数は適宜変更することができる。

【0065】

さらには、重み付け処理部における重み付けが、検出対象物特定座標のカウント数に基づく加重平均とは異なる重み付けであってもよい。

【0066】

本発明では、検出枠による検出処理で検知対象画像中に複数の検出対象物を検出した場合、それぞれの検出対象物について上述の重み付け処理を伴う検出座標算出処理で位置を検出するように構成することもできる。

【0067】

上述の実施形態では、検出対象物特定座標が矩形状をなす検出枠のうち下辺に相当する座標である態様を例示したが、検出枠の下辺以外の辺あるいは角に相当する座標を検出対象物特定座標としても構わない。

【0068】

検知対象画像中の検出対象物の検出に用いる特徴量として例えばＨＯＧ（Histograms of Oriented Gradients）以外の特徴量、例えばCoHOG、LBP、edgelet、Haar、Joint-Haar等を適用したり、検出の学習に用いる学習手法としてＳＶＭ（Support Vector Machine）以外の手法、例えば、boosting、random trees、k-NN、Perceptron、Passive Agressive、AROW、Confidence weighted等を適用することもできる。

【0069】

表示部として、モニタ以外に、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）を適用してもよい。

【0070】

また、本発明における検出対象物は人物に限らず、人以外の生物（動物等）、あるいは小型の建設機械、作業支援ロボット（例えば、災害支援ロボット、地上ドローン等）を検出対象物とする場合であっても本発明に係る作業機械周辺検出対象物位置検出システム及び作業機械周辺検出対象物位置検出プログラムによれば検出対象物の位置を検出することができる。

【0071】

その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。

【符号の説明】

【0072】

Ｃ１…検出部
Ｃ２…検出領域限定部
Ｃ２１…基準座標算出部
Ｃ２２…限定検出領域算出部
Ｃ２３…比較座標算出部
Ｃ２４…優先検出枠抽出部
Ｃ３…検出座標算出部
Ｃ３１…重み付け処理部
Ｃ３２…大領域重み付け処理部
Ｃ３３…小領域重み付け処理部
Ｅ…限定検出領域
ＦＡ…基準検出枠
ＦＢ…優先検出枠
ＦＳａ…基準座標
ＦＳｂ…比較座標
Ｈ…作業機械
Ｉ…撮像装置
Ｘ…作業機械周辺検出対象物位置検出システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】