特許 7314965 対象物検出装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-18

(45)【発行日】2023-07-26

(54)【発明の名称】対象物検出装置及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230719BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 7

(21)【出願番号】P 2021037735

(22)【出願日】2021-03-09

(65)【公開番号】P2022137981

(43)【公開日】2022-09-22

【審査請求日】2022-03-23

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】奥村 文洋

(72)【発明者】

【氏名】後藤 邦博

(72)【発明者】

【氏名】中村 亮裕

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－１５３１８８（ＪＰ，Ａ）

【文献】特開２０１９－９１２４９（ＪＰ，Ａ）

【文献】特開２０１４－１７８７３６（ＪＰ，Ａ）

【文献】特開２０１０－１９１９３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物との相対的な位置関係が一定であるセンサによって取得されたセンサデータに対し、前記センサ毎にデータを調整し、前記データを調整したセンサデータである調整データを生成するデータ調整部と、
前記調整データから前記対象物を検出する検出部と、
前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出するパラメータ算出部と、
を含み、
前記センサデータは、各要素からなり、
前記データ調整部は、前記センサデータに対し、前記要素毎にデータを調整し、
前記データ調整部は、前記要素毎にノイズを付与することにより前記データを調整し、
前記パラメータ算出部は、前記調整パラメータとして前記要素毎に付与するノイズを算出する対象物検出装置。

【請求項2】

対象物との相対的な位置関係が一定であるセンサによって取得されたセンサデータに対し、前記センサ毎にデータを調整し、前記データを調整したセンサデータである調整データを生成するデータ調整部と、
前記調整データから前記対象物を検出する検出部と、
前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出するパラメータ算出部と、
を含み、
前記パラメータ算出部は、前記センサデータの属性毎に、前記調整パラメータを算出し、
前記データ調整部は、前記センサデータの属性に対する前記調整パラメータを用いて、前記調整データを生成する対象物検出装置。

【請求項3】

前記検出部による検出結果と、前記センサデータに対して与えられた正しい検出結果とに基づいて、前記検出結果が誤っている前記センサデータである誤検出センサデータを収集する収集部を更に含み、
前記パラメータ算出部は、前記収集された誤検出センサデータについての、前記検出部による検出結果に基づいて、前記誤検出センサデータに対して正しい検出結果が得られるように前記調整パラメータを算出する請求項１記載の対象物検出装置。

【請求項4】

前記センサは、撮像装置であって、
前記センサデータは、画像である請求項１又は２記載の対象物検出装置。

【請求項5】

前記撮像装置の設置位置は、固定されている請求項４記載の対象物検出装置。

【請求項6】

コンピュータを、
対象物との相対的な位置関係が一定であるセンサによって取得されたセンサデータに対し、前記センサ毎にデータを調整し、前記データを調整したセンサデータである調整データを生成するデータ調整部、
前記調整データから前記対象物を検出する検出部、及び
前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出するパラメータ算出部
として機能させるためのプログラムであって、
前記センサデータは、各要素からなり、
前記データ調整部は、前記センサデータに対し、前記要素毎にデータを調整し、
前記データ調整部は、前記要素毎にノイズを付与することにより前記データを調整し、
前記パラメータ算出部は、前記調整パラメータとして前記要素毎に付与するノイズを算出するプログラム。

【請求項7】

コンピュータを、
対象物との相対的な位置関係が一定であるセンサによって取得されたセンサデータに対し、前記センサ毎にデータを調整し、前記データを調整したセンサデータである調整データを生成するデータ調整部、
前記調整データから前記対象物を検出する検出部、及び
前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出するパラメータ算出部
として機能させるためのプログラムであって、
前記パラメータ算出部は、前記センサデータの属性毎に、前記調整パラメータを算出し、
前記データ調整部は、前記センサデータの属性に対する前記調整パラメータを用いて、前記調整データを生成するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物検出装置及びプログラムに係り、特に、センサデータから対象物を検出するための対象物検出装置及びプログラムに関する。

【背景技術】

【0002】

従来より、不要な物体の検出が行われないようにするマスク設定を自動化するために、時間経過に対する画像の変化度合からマスク領域を更新する物体検出装置が知られている（特許文献１）。

【0003】

また、認識対象についての互いに異なる学習済の深層学習により画像認識処理を行い、認識結果統合処理は入力画像データに含まれる認識候補についての複数の認識結果が全て一致したときには、当該認識結果を認識対象の統合認識結果として出力し、複数の認識結果が全て一致しないときには、一致が最も多い認識結果を認識対象の統合認識結果として出力する画像認識システムが知られている（特許文献２）。

【0004】

また、背景画像と検出対象画像モデルによって生成された画像を結合させて機械学習訓練用画像を生成する画像生成装置が知られている（特許文献３）。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第４００４８４０号公報

【文献】特開２０２０－１１２９２６号公報

【文献】特許第６７１９４９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の特許文献１に記載の技術は、マスクの更新方法に関するものであるが、検出対象物がマスク領域に進入した場合は未検出を生じてしまう問題がある。このため、検出対象物（例えば車両）とマスクしたい物体（例えば樹木）が重なっている場合には適切なマスクを設定することは困難である。

【0007】

また、上記の特許文献２に記載の技術は、誤認識の抑制方法に関するものであるが、多数決のために複数の深層学習認識手段によって認識を行うことから、認識時の計算量が大きい。

【0008】

また、上記の特許文献３に記載の技術は、機械学習訓練用画像を容易に収集するための技術である。機械学習手法（ディープラーニング等のニューラルネットワーク）において、誤検出を抑制するためには再学習が必要であるが、機械学習手法の学習には時間を要してしまう。また、再学習の結果、性能向上（誤検出率を低下しつつ検出率が劣化しないこと）を保証することは困難であり、繰り返し再学習を行う可能性がある。

【0009】

以上のように、従来技術では、固定カメラで撮影された画像のような撮影対象が限定的な状況であっても、誤検出を抑制することは容易ではない。

【0010】

本発明は、上述した問題を解決するために成されたものであり、誤検出を抑制することができる対象物検出装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために本発明の対象物検出装置は、対象物との相対的な位置関係が一定であるセンサによって取得された、各要素からなるセンサデータに対し、前記要素毎にデータを調整し、前記データを調整したセンサデータである調整データを生成するデータ調整部と、前記調整データから前記対象物を検出する検出部と、前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出するパラメータ算出部と、を含んで構成されている。

【0012】

本発明のプログラムは、コンピュータを、対象物との相対的な位置関係が一定であるセンサによって取得された、各要素からなるセンサデータに対し、前記要素毎にデータを調整し、前記データを調整したセンサデータである調整データを生成するデータ調整部、前記調整データから前記対象物を検出する検出部、及び前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出するパラメータ算出部として機能させるためのプログラムである。

【0013】

本発明によれば、データ調整部によって、対象物との相対的な位置関係が一定であるセンサによって取得された、各要素からなるセンサデータに対し、前記要素毎にデータを調整し、前記データを調整したセンサデータである調整データを生成する。検出部によって、前記調整データから前記対象物を検出する。そして、パラメータ算出部によって、前記検出部による検出結果に基づいて、前記センサデータに対して正しい検出結果が得られるように調整パラメータを算出する。

【0014】

このように、センサデータに対して正しい検出結果が得られるように調整パラメータを算出することにより、誤検出を抑制することができる。

【0015】

本発明に係る対象物検出装置は、前記検出部による検出結果と、前記センサデータに対して与えられた正しい検出結果とに基づいて、前記検出結果が誤っている前記センサデータである誤検出センサデータを収集する収集部を更に含み、前記パラメータ算出部は、前記収集された誤検出センサデータについての、前記検出部による検出結果に基づいて、前記誤検出センサデータに対して正しい検出結果が得られるように前記調整パラメータを算出することができる。

【0016】

上記のセンサは、撮像装置であって、前記センサデータを、画像とすることができる。また、前記撮像装置を、固定的に設置されているものとすることができる。

【0017】

上記のデータ調整部は、前記要素毎にノイズを付与することにより前記データを調整し、前記パラメータ算出部は、前記調整パラメータとして前記要素毎に付与するノイズを算出することができる。

【0018】

上記のパラメータ算出部は、前記センサデータの属性毎に、前記調整パラメータを算出し、前記データ調整部は、前記センサデータの属性に対する前記調整パラメータを用いて、前記調整データを生成することができる。

【0019】

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ－ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

【発明の効果】

【0020】

以上説明したように、本発明によれば、センサデータに対して正しい検出結果が得られるように調整パラメータを算出することにより、誤検出を抑制することができる、という効果が得られる。

【図面の簡単な説明】

【0021】

【図1】第１の実施の形態に係る対象物検出装置の構成を示すブロック図である。

【図2】誤検出画像の一例を示す図である。

【図3】調整後の撮像画像に対する検出結果の例を示す図である。

【図4】各対象物検出装置から対象物の検出結果が交通管制システムに出力される様子を示す図である。

【図5】第１の実施の形態の対象物検出装置における誤検出画像収集処理ルーチンの内容を示すフローチャートである。

【図6】第１の実施の形態の対象物検出装置における調整パラメータ算出処理ルーチンの内容を示すフローチャートである。

【図7】第３の実施の形態に係る対象物検出装置の構成を示すブロック図である。

【図8】第３の実施の形態の対象物検出装置における誤検出画像収集処理ルーチンの内容を示すフローチャートである。

【図9】第３の実施の形態の対象物検出装置における調整パラメータ算出処理ルーチンの内容を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、固定カメラによって撮影された画像から対象物を検出する対象物検出装置に本発明を適用した場合について説明する。

【0023】

＜本発明の実施の形態の概要＞
本発明の実施の形態では、固定カメラで撮像された画像に対して、画像調整部によって画像を調整することで、誤検出を抑制（性能向上）する。調整を固定カメラごとに行うため、調整パラメータを高速に計算可能である。調整パラメータは、機械学習手法で構成された物体認識手段（ディープラーニングなどのニューラルネットワーク。以下ＤＮＮと称する）の出力が以下の特性１、２を満たすように決定される。

【0024】

特性１は、検出対象を含まない画像（物体なし画像）からの誤検出を抑制することである。

【0025】

特性２は、検出対象を含む画像（物体あり画像）からの正検出性能の低下を抑制することである。

【0026】

また、本発明の実施の形態では、固定カメラのような入力される画像のバリエーションが限定的である場合には様々な画像入力に対する性能向上ではなく、限定的な画像に対する性能向上が求められている点に着目する。

【0027】

また、深層学習によって構築された物体検出は画像に微小な変化を加えることで認識結果を調整可能である点（一例としてアドバーザリアルノイズと呼ばれる技術）を利用して性能向上を実現する。

【0028】

一方、認識結果を変更可能な微小な変化は、撮影された画像に強く依存しているため、アドバーザリアルノイズに類似する技術によって認識結果を調整する対象は、画像の中で特定の領域に特定の画像パターンから発生する誤検出の抑制に用いるとよい。さらに、他の物体（画像内に進入した対象物など）に対する影響は相対的に小さくなるため、誤検出を抑制しつつ検出性能の低下を軽減できる可能性がある。

【0029】

アドバーザリアルノイズに類似する技術は、学習が容易であるという特徴を備える。具体的には、ＤＮＮのパラメータ数は数百万から数千万である。一方、アドバーザリアルノイズなどの画像調整のパラメータ数は数万程度と、ＤＮＮのパラメータ数と比較すると少ない。このため，学習に用いる画像が少数であっても、安定して学習できる。

【0030】

＜本発明の第１の実施の形態の対象物検出装置の構成＞
図１に示すように、第１の実施の形態に係る対象物検出装置１００は、固定的に設置された撮像装置１０と、撮像装置１０から出力される撮像画像から、物体検出技術（例えば、ＤＮＮ）を用いて、対象物（例えば車両や歩行者）を検出し、対象物の監視や追跡を行う対象物検出処理ルーチンを実行するコンピュータ２０とを備えている。

【0031】

撮像装置１０は、例えば、路側に固定的に設置された監視カメラである。

【0032】

コンピュータ２０は、対象物検出装置１００全体の制御を司るＣＰＵ、後述する誤検出画像収集処理ルーチン及び調整パラメータ算出処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

【0033】

このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、画像取得部２２と、画像調整部２４と、検出部２６と、収集部２８と、画像データベース３０と、パラメータ算出部３２と、出力部３４と、を含んだ構成で表すことができる。

【0034】

画像取得部２２は、撮像装置１０で撮像されコンピュータ２０へ入力された撮像画像を取得する。

【0035】

画像調整部２４は、撮像画像の画素毎に画素値を調整し、調整画像を生成する。

【0036】

本実施の形態では、画像調整部２４は、画素毎にノイズを付与することにより撮像画像を調整する。

【0037】

具体的には、撮像装置１０で撮像された撮像画像をｘとし、画像調整手段ｇによる調整後の撮像画像^∨ｘを、調整パラメータφを用いて算出する。

【0038】

（１）

【0039】

なお、式中の

を、明細書中において^∨ｘと表現する。

【0040】

例えば、φ＝０の場合、

【0041】

（２）

【0042】

である。

【0043】

ｇ（）の例を式（３）に示す．

【0044】

（３）

【0045】

撮像画像ｘはカラー画像であれば３階のテンソルとして表現でき、テンソルの形状は幅×高さ×チャンネル数である。ａ、ｂはｘと同じ形状のテンソルであり、演算子

は要素ごとの掛け算を示す。特に、ａの全要素が１である時、ｇ（）はアドバーザリアルノイズを付加するような画像調整となる。

【0046】

異なるｇ（）の例を式（４）に示す。

【0047】

（４）

【0048】

演算子＊は畳み込み演算を示し、Ａは畳み込み演算を行うフィルタである。例えば、コンボリューショナルニューラルネットワークに用いられる１×１あるいは３×３のカーネルサイズを持つ畳み込み層である。ｈは線形もしくは非線形な変換を行うカーネル関数である。

【0049】

検出部２６は、調整後の撮像画像から対象物の位置や大きさを検出する。

【0050】

具体的には、調整後の撮像画像^∨ｘに対して、物体認識手段ｆで物体検出した結果をｙとする。

【0051】

（５）

【0052】

物体認識手段ｆはＤＮＮで構成され、ΦはＤＮＮのパラメータである。物体検出結果ｙは検出された複数の物体を含む。検出対象が車両と非車両（背景）の場合、物体検出結果を、

とする（Ｎは検出された物体の数である）。ｙ_iはｉ番目の物体の検出結果であり、検出された対象物の位置や大きさを省略したクラス確率分布とすると、

である。ここで、ｙ_ｉ ^ＢＧは背景である確率を示し、ｙ_ｉ ^ＣＡＲは車両である確率を示し、ｙ_ｉ ^ＢＧ＋ｙ_ｉ ^ＣＡＲ＝１である。ｙ_ｉ ^ＣＡＲがＰ_ｔｈを超えると対象物が車両として検出されたことを意味する。

【0053】

収集部２８は、検出部２６による検出結果と、撮像画像に対して与えられた正しい検出結果とに基づいて、検出結果が誤っている撮像画像である誤検出画像を収集する。

【0054】

具体的には、収集部２８は、撮像画像中に検出対象である対象物を含まないが、対象物が検出された画像（誤検出画像）ｘ^ＦＰを特定する。例えば、以下のようなケース１～ケース４の何れかに該当する誤検出画像を特定する。

【0055】

ケース１：対象物が検出された撮像画像を監視員が目視で確認して、誤検出であると確認できた場合。

【0056】

ケース２：対象物が存在しないことが保証できる状況（例えば、撮像対象領域が封鎖されている場合）で撮像された画像から、対象物が検出された場合。

【0057】

ケース３：事前に設定された、対象物が存在しないことがわかっている、撮像画像上の領域（例えば、道路外の領域）に対象物が検出された場合。

【0058】

ケース４：ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）やレーダなどの他のセンサを用いて対象物が検出できないにもかかわらず、撮像された画像から対象物が検出された場合。

【0059】

画像データベース３０には、図２に示すような誤検出画像ｘ^ＦＰが蓄積される。ここで、誤検出画像群をＸ^ＦＰとする。図２では、道路外の領域に一時的に置かれたコンテナが、対象物である車両として誤って検出された画像の例を示している。このように、一時的に置かれた物体や、道路工事などによって環境が変化した場合に誤検出が発生する場合がある。

【0060】

パラメータ算出部３２は、画像データベース３０に蓄積された誤検出画像についての、検出部２６による検出結果に基づいて、誤検出画像に対して正しい検出結果が得られるように調整パラメータを算出する。

【0061】

具体的には、パラメータ算出部３２は、誤検出画像群Ｘ^ＦＰを用いて調整パラメータφを算出する。

【0062】

画像調整は微小であるほうが望ましいため、例えば、調整パラメータφを以下の制約条件の下で最適化する。

【0063】

（６）

【0064】

ここで、ｐ^ＣＡＲは、誤検出画像群Ｘ^ＦＰに含まれる画像ｘで生じた物体検出結果のクラス確率ｙ_ｉ ^ＣＡＲの平均である。説明の簡略化のため、１枚の画像ｘから１つの物体が検出されたとすると、ｐ^ＣＡＲは、以下の式で算出される。

【0065】

（７）

（８）

【0066】

なお、誤検出画像を対象に損失関数を定義し誤差逆伝搬法を利用することで、誤検出力を抑制するアドバーザリアルノイズを計算するようにしてもよい。制約条件を満たすようにノイズ強度を決定することで、調整パラメータを決定できる。また、アドバーザリアルノイズ計算方法はこの例に限らない。

【0067】

【0068】

［参考文献］T Kutsuna, S Koide, K Kawano, “Discovering Potential False Positives in Object Detection using Adversarial Attacks”, AAAI 2019 workshop on Engineering Dependable and Secure Machine Learning Systems

【0069】

パラメータ算出部３２により最適化された調整パラメータφを用いて撮像画像が調整されると、検出部２６による検出結果が、例えば、図３（Ａ）、（Ｂ）に示すような検出結果となる。図３（Ａ）では、ノイズによってクラス確率が低下しているため誤検出が抑制されている例を示している。一方、図３（Ｂ）では、ノイズによる検出対象への影響が小さいため、背景の近傍に存在する対象物が正しく検出されている例を示している。

【0070】

出力部３４は、検出部２６によって対象物が検出された場合に、検出部２６の検出結果を、交通管制システム１５０へ送信する（図４参照）。図４では、各々撮像装置１０を有する複数の対象物検出装置１００において、それぞれ調整パラメータが算出され、検出部２６によって対象物が検出された場合に、検出部２６の検出結果が、交通管制システム１５０へ送信される例を示している。

【0071】

次に、図５を参照して、第１の実施の形態の対象物検出装置１００のコンピュータ２０で実行される誤検出画像収集処理ルーチンについて説明する。例えば、対象物が存在しないことが保証できる状況で、誤検出画像収集処理ルーチンが実行される。

【0072】

ステップＳ１００で、撮像装置１０で撮像された撮像画像を取得する。

【0073】

そして、ステップＳ１０２で、画像調整部２４は、現時点の調整パラメータを用いて、撮像画像の各画素の画素値を調整し、調整画像を生成する。

【0074】

次に、ステップＳ１０４で、検出部２６は、上記ステップＳ１０２で生成された調整画像から対象物を検出する。

【0075】

ステップＳ１０６において、収集部２８は、上記ステップＳ１０４での検出結果に基づいて、調整画像から対象物が検出されたか否かを判定する。調整画像から対象物が検出されていない場合には、検出結果が正しいと判断し、誤検出画像収集処理ルーチンを終了する。

【0076】

一方、調整画像から対象物が検出されている場合には、検出結果が誤っていると判断し、ステップＳ１０８へ移行する。

【0077】

ステップＳ１０８では、上記ステップＳ１００で取得した撮像画像を、検出結果が誤っている撮像画像である誤検出画像として収集し、画像データベース３０に格納し、誤検出画像収集処理ルーチンを終了する。

【0078】

また、図６を参照して、第１の実施の形態の対象物検出装置１００のコンピュータ２０で実行される調整パラメータ算出処理ルーチンについて説明する。例えば、誤検出画像が所定数蓄積される毎に、調整パラメータ算出処理ルーチンが実行される。

【0079】

まず、ステップＳ１１０において、画像データベース３０に格納された、誤検出画像を取得する。

【0080】

ステップＳ１１２においては、パラメータ算出部３２は、画像データベース３０に蓄積された誤検出画像についての、検出部２６による検出結果に基づいて、誤検出画像に対して正しい検出結果が得られるように調整パラメータを算出する。

【0081】

ステップＳ１１４において、上記ステップＳ１１２で算出された調整パラメータを、現時点の調整パラメータとして更新し、調整パラメータ算出処理ルーチンを終了する。

【0082】

そして、上記ステップＳ１００～Ｓ１０４と同様に、画像取得部２２は、撮像装置１０で撮像された撮像画像を取得する。そして、画像調整部２４は、現時点の調整パラメータを用いて、撮像画像の画素毎に画素値を調整し、調整画像を生成する。そして、検出部２６は、上記ステップＳ１０２で生成された調整画像から対象物を検出する。

【0083】

以上説明したように、第１の実施の形態の対象物検出装置によれば、誤検出画像に対して正しい検出結果が得られるように調整パラメータを算出することにより、誤検出を抑制することができる。

【0084】

また、誤検出画像に対して正しい検出結果が得られるように算出された調整パラメータを用いて、画像を調整することにより、物体検出性能を落とすことなく、対象物の誤検出を抑制できる。

【0085】

また、背景画像の誤検出を抑制するように調整されたアドバーザリアルノイズは背景画像から生じる誤検出に対して最も効果的に作用し、対象物が存在する画像に対する検出抑制効果は低い。

【0086】

［第２の実施の形態］
次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る対象物検出装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

【0087】

第２の実施の形態では、誤検出画像だけでなく、対象物を含む正検出画像を収集している点が、第１の実施の形態と異なっている。

【0088】

第２の実施の形態に係る収集部２８は、検出部２６による検出結果と、撮像画像に対して与えられた正しい検出結果とに基づいて、検出結果が誤っている撮像画像である誤検出画像、及び対象物を含む撮像画像である正検出画像を収集する。

【0089】

例えば、以下のようなケース１～ケース３の何れかに該当する正検出画像を特定する。

【0090】

ケース１：対象物が検出された撮像画像を監視員が目視で確認して、正検出であると確認できた場合。

【0091】

ケース２：対象物が存在することが保証できる状況で撮像された画像である場合。

【0092】

ケース３：ＬＩＤＡＲやレーダなどの他のセンサを用いて対象物が検出された場合。

【0093】

画像データベース３０には、誤検出画像ｘ^ＦＰ及び正検出画像ｘ^ＴＰが蓄積される。ここで、誤検出画像群をＸ^ＦＰとし、正検出画像群をＸ^ＴＰとする。

【0094】

パラメータ算出部３２は、画像データベース３０に蓄積された誤検出画像についての、検出部２６による検出結果と、画像データベース３０に蓄積された正検出画像についての、検出部２６による検出結果と、に基づいて、誤検出画像及び正検出画像に対して正しい検出結果が得られるように調整パラメータを算出する。

【0095】

具体的には、パラメータ算出部３２は、誤検出画像群Ｘ^ＦＰ及び正検出画像群Ｘ^ＴＰを用いて、以下の式に従って、調整パラメータφを算出する。

【0096】

（９）

【0097】

ここで、Ｌ_ＦＰは誤検出画像群Ｘ^ＦＰに含まれる画像ｘで生じた誤検出結果による損失関数であり、Ｌ_ＴＰは正検出画像群Ｘ^ＴＰに含まれる画像ｘで生じた正検出結果による損失関数であり、例えば以下の式で算出される。

【0098】

（１０）

（１１）

（１２）

【0099】

λ_１、λ_２はハイパーパラメータであり、画像調整の強さ、誤検出抑制の効果、検出性能の低下のバランスをとる。

【0100】

なお、第２の実施の形態に係る対象物検出装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

【0101】

このように、誤検出画像及び正検出画像に対して正しい検出結果が得られるように調整パラメータを算出することにより、誤検出を抑制することができる。

【0102】

［第３の実施の形態］
次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る対象物検出装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

【0103】

調整パラメータは任意の撮像画像に対して最適な効果を生むわけではないため、第３の実施の形態では、画像撮像時の画像属性毎に、調整パラメータを用意する点が、第１の実施の形態と異なっている。

【0104】

図７に示すように、第３の実施の形態に係る対象物検出装置２００のコンピュータ２２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、画像取得部２２２と、画像調整部２２４と、検出部２６と、収集部２２８と、画像データベース２３０と、パラメータ算出部２３２と、パラメータデータベース２３４と、パラメータ選択部２３６と、出力部３４と、を含んだ構成で表すことができる。

【0105】

画像取得部２２２は、撮像装置１０によって撮像された撮像画像を、画像撮像時の画像属性と共に取得する。ここで、画像属性として、カメラのゲイン、露光時間、絞り、撮像時刻など、カメラから得られる情報のいずれか１つ、もしくは複数の組合せによって表現されるものを用いてもよい。また、画像属性として、カメラ以外のセンサから得られる、撮像環境に関する情報を用いてもよい。例えば、時刻、降水量などの天候に関する情報、照明のＯＮ／ＯＦＦ状態、車両の検出頻度から計算される道路の交通密度、などのいずれか１つ、もしくは複数の組合せによって表現されるものを用いてもよい。

【0106】

パラメータデータベース２３４には、画像属性毎に調整パラメータが記憶されている。

【0107】

パラメータ選択部２３６は、パラメータデータベース２３４から、画像取得部２２によって取得した画像属性に対応する調整パラメータを選択する。

【0108】

画像調整部２２４は、パラメータ選択部２３６によって選択された調整パラメータを用いて、撮像画像の各画素の画素値を調整し、調整画像を生成する。

【0109】

収集部２２８は、検出部２６による検出結果と、撮像画像に対して与えられた正しい検出結果とに基づいて、検出結果が誤っている撮像画像である誤検出画像を収集し、誤検出画像を、当該撮像画像の画像属性と共に、画像データベース２３０に格納する。

【0110】

画像データベース２３０には、画像属性毎に、誤検出画像が蓄積される。

【0111】

パラメータ算出部２３２は、画像属性毎に、画像データベース３０に蓄積された当該画像属性の誤検出画像についての、検出部２６による検出結果に基づいて、誤検出画像に対して正しい検出結果が得られるように当該画像属性の調整パラメータを算出する。

【0112】

次に、図８を参照して、第３の実施の形態の対象物検出装置２００のコンピュータ２２０で実行される誤検出画像収集処理ルーチンについて説明する。例えば、対象物が存在しないことが保証できる状況で、誤検出画像収集処理ルーチンが実行される。

【0113】

ステップＳ２００で、画像取得部２２が、撮像装置１０で撮像された撮像画像、及び当該撮像画像の画像属性を取得する。

【0114】

そして、ステップＳ２０２で、パラメータ選択部２３６は、パラメータデータベース２３４から、画像取得部２２によって取得した画像属性に対応する調整パラメータを選択する。

【0115】

ステップＳ１０２で、画像調整部２２４は、パラメータ選択部２３６によって選択された調整パラメータを用いて、撮像画像の各画素の画素値を調整し、調整画像を生成する。

【0116】

次に、ステップＳ１０４で、検出部２６は、上記ステップＳ１０２で生成された調整画像から対象物を検出する。

【0117】

ステップＳ１０６において、収集部２８は、上記ステップＳ１０４での検出結果に基づいて、調整画像から対象物が検出されたか否かを判定する。調整画像から対象物が検出されていない場合には、検出結果が正しいと判断し、誤検出画像収集処理ルーチンを終了する。

【0118】

一方、調整画像から対象物が検出されている場合には、検出結果が誤っていると判断し、ステップＳ２０４へ移行する。

【0119】

ステップＳ２０４では、収集部２２８が、上記ステップＳ１００で取得した撮像画像を、取得した画像属性に対する誤検出画像として収集し、画像データベース２３０に格納し、誤検出画像収集処理ルーチンを終了する。

【0120】

また、図９を参照して、第３の実施の形態の対象物検出装置２００のコンピュータ２２０で実行される調整パラメータ算出処理ルーチンについて説明する。例えば、誤検出画像が所定数蓄積される毎に、調整パラメータ算出処理ルーチンが実行される。

【0121】

まず、ステップＳ１１０において、画像データベース２３０に格納された、画像属性毎の誤検出画像を取得する。

【0122】

ステップＳ２１０においては、パラメータ算出部２３２は、画像属性毎に、画像データベース２３０に蓄積された当該画像属性の誤検出画像についての、検出部２６による検出結果に基づいて、誤検出画像に対して正しい検出結果が得られるように当該画像属性の調整パラメータを算出する。

【0123】

ステップＳ２１２において、上記ステップＳ２１０で画像属性毎に算出された調整パラメータを、画像属性毎の現時点の調整パラメータとして更新し、調整パラメータ算出処理ルーチンを終了する。

【0124】

そして、上記ステップＳ２００、Ｓ２０２、Ｓ１０２、Ｓ１０４と同様に、画像取得部２２２は、撮像装置１０で撮像された撮像画像及び画像属性を取得する。そして、パラメータ選択部２３６が、取得した画像属性に対する調整パラメータを選択する。画像調整部２２４は、選択した画像属性に対する調整パラメータを用いて、撮像画像の各画素の画素値を調整し、調整画像を生成する。そして、検出部２６は、生成された調整画像から対象物を検出する。

【0125】

このように、調整パラメータを画像取得時の画像属性に応じて変更することで、画像を取得した状況に応じた調整パラメータを設定することができる。

【0126】

なお、固定カメラによって撮像された撮像画像を対象とする場合を例に説明したが、これに限定されるものではない。対象物との相対的な位置関係が一定であるセンサによって取得された、各要素からなるセンサデータに対し、各要素のデータを調整し、調整データを生成するようにすればよい。例えば、製品をカメラで撮影して製品の不良部分を対象物として検出する対象物検出装置に本発明を適用してもよい。カメラで撮像された画像が調整パラメータを用いて調整され、ＤＮＮで構成された検査アルゴリズムによって処理され、製品の良否判定や不良部分の特定が行われる。

【0127】

ここで、特定の検査装置に特有な変化（経年劣化による照明条件の変化、レンズの傷や汚れ）によって、良品の誤判定が生じる場合がある。検査員の目視確認などの手段によって、不良と判定された画像が誤検出画像であることが特定されると、画像データベースに登録される。パラメータ算出部は画像データベースの画像をもとに最適な調整パラメータを算出し、調整パラメータは画像調整部に設定される。なお、調整パラメータはカメラごとに特有であるため、他の対象物検出装置の性能に影響を与えない。

【0128】

また、上記の第１の実施の形態～第３の実施の形態では、撮像装置で撮影された２次元（もしくはカラー画像の場合、３次元）情報である狭義の画像を対象とする場合を例に説明したが、これに限定されるものでなく、センサで取得された情報を画像化したものを、対象のセンサデータとしてもよい。例えば、ＬＩＤＡＲで計測された点群から生成した距離画像、音響データを離散フーリエ変換して得られたスペクトル画像を、対象のセンサデータとしてもよい。

【0129】

また、対象物の検出により、対象物の位置や大きさを特定する場合を例に説明したが、これに限定されるものではなく、対象物の検出が、対象物の位置と属性を特定する物体認識、画像そのものの属性を判定する画像識別を含むものであってもよい。

【符号の説明】

【0130】

１０ 撮像装置
２０、２２０ コンピュータ
２２、２２２ 画像取得部
２４、２２４ 画像調整部
２６ 検出部
２８、２２８ 収集部
３０、２３０ 画像データベース
３２、２３２ パラメータ算出部
３４ 出力部
１００、２００ 対象物検出装置
２３４ パラメータデータベース
２３６ パラメータ選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】