(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022144895
(43)【公開日】2022-10-03
(54)【発明の名称】対象物検知装置、対象物検知方法及び対象物検知プログラム
(51)【国際特許分類】
G06T 7/246 20170101AFI20220926BHJP
H04N 7/18 20060101ALI20220926BHJP
【FI】
G06T7/246
H04N7/18 G
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021046090
(22)【出願日】2021-03-19
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中尾 健太
(72)【発明者】
【氏名】杉本 喜一
(72)【発明者】
【氏名】飯尾 聡
【テーマコード(参考)】
5C054
5L096
【Fターム(参考)】
5C054FC11
5C054FC12
5C054FE28
5C054FF06
5C054HA31
5L096BA02
5L096CA04
5L096DA02
5L096FA69
5L096HA05
5L096HA08
5L096JA03
5L096JA11
(57)【要約】
【課題】対象物を識別し、同一の対象物の関連付けを高い精度で行うことができることにある。
【解決手段】所定の時間間隔で画像を取得するカメラ部と、取得した画像から対象物を抽出する画像処理部と、画像から抽出した対象物と、画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、画像から抽出した対象物と、画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、比較部の比較結果を、重み付け条件に基づいて比較し、画像から抽出した対象物と一致する画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
所定の時間間隔で画像を取得するカメラ部と、
取得した画像から対象物を抽出する画像処理部と、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む対象物検知装置。
【請求項2】
前記比較部は、比較結果に基づいて、比較する対象物の関係性を算出し、
前記特定部は、関係性が高い対象物同士を同一対象物として特定する請求項1に記載の対象物検知装置。
【請求項3】
前記重み付け条件は、比較する対象物の距離が近いほど値が高くなる係数であり、
特定部は、比較結果に重み付け係数を乗算して、対象物が同一か否かを特定する請求項1または請求項2に記載の対象物検知装置。
【請求項4】
前記重み付け条件は、比較する対象物の距離の順番に対して固定値の係数が設定される請求項3に記載の対象物検知装置。
【請求項5】
前記重み付け条件は、比較部の比較結果の算出で使用した類似度の算出方法とは異なる類似度の算出方法で算出し、比較する対象物の類似度が近いほど値が高くなる係数であり、
特定部は、比較結果に重み付け係数を乗算して、対象物が同一か否かを特定する請求項1から請求項4のいずれか一項に記載の対象物検知装置。
【請求項6】
前記重み付け条件は、比較する対象物の距離が閾値以下の対象物に対して重み係数を算出する請求項5に記載の対象物検知装置。
【請求項7】
前記比較部は、前記画像よりも前のフレームの複数の画像で抽出した対象物を用いて比較を行う請求項1から請求項6のいずれか一項に記載の対象物検知装置。
【請求項8】
所定の時間間隔で画像を取得し、
取得した画像から対象物を抽出し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する対象物検知方法。
【請求項9】
所定の時間間隔で画像を取得し、
取得した画像から対象物を抽出し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する処理をコンピュータに実行させる対象物検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象物検知装置、対象物検知方法及び対象物検知プログラムに関する。
【背景技術】
【0002】
カメラ等で取得した画像を解析して、画像に含まれる対象物を検出する対象物検知装置がある。対象物検知装置では、複数の対象物を検出し、それぞれ対象物を追跡する装置がある。
【0003】
特許文献1には、撮像された画像から物体を検出し、検出結果を出力する複数の検出手段と、複数の検出手段の夫々によって出力された、複数の検出結果に基づいて、共通座標系で表現された物体の位置情報を算出する統合追跡手段と、を備え、統合追跡手段は、算出された共通座標系の物体の位置情報を出力し、検出手段は、共通座標系の物体の位置情報を、物体の検出対象となる画像を出力するカメラ固有の個別座標系で表現された位置情報に変換して、個別座標系で物体を追跡し、個別座標系で表現された位置情報に基づいて物体を検出し、個別座標系で表現された位置情報に基づいて検出された物体の位置情報を、共通座標系で表現された位置情報に変換する、物体追跡システムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、複数の対象物が似ている場合や、比較対象の前の画像から形状が大きく変化した場合、同一対象物を適切に判定できず、異なる対象物を同一対象物と検出したり、同一対象物を異なる対象物として検出したりする可能性がある。
【0006】
本開示の少なくとも一実施形態は、上記課題を解決するために、対象物を識別し、同一の対象物の関連付けを高い精度で行うことができる対象物検知装置、対象物検知方法及び対象物検知プログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
本開示は、所定の時間間隔で画像を取得するカメラ部と、取得した画像から対象物を抽出する画像処理部と、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む対象物検知装置を提供する。
【0008】
また、本開示は、所定の時間間隔で画像を取得し、取得した画像から対象物を抽出し、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する対象物検知方法を提供する。
【0009】
また、本開示は、所定の時間間隔で画像を取得し、取得した画像から対象物を抽出し、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する処理をコンピュータに実行させる対象物検知プログラムを提供する。
【発明の効果】
【0010】
上記構成とすることで、対象物を識別し、同一の対象物の関連付けを高い精度で行うことができるという効果を奏する。
【図面の簡単な説明】
【0011】
【
図1】
図1は、対象物検知装置の一例を示すブロック図である。
【
図2】
図2は、対象物検知装置の処理の一例を示すフローチャートである。
【
図3】
図3は、処理対象の画像の一例を模式的に示す説明図である。
【
図4】
図4は、比較部及び特定部の処理の一例を説明するための説明図である。
【
図5】
図5は、比較部及び特定部の処理の一例を説明するための説明図である。
【
図6】
図6は、比較部及び特定部の処理の一例を説明するための説明図である。
【
図7】
図7は、比較部及び特定部の処理の一例を説明するための説明図である。
【
図8】
図8は、比較部及び特定部の処理の一例を説明するための説明図である。
【発明を実施するための形態】
【0012】
以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。
【0013】
<対象物検知装置>
図1は、対象物検知装置の一例を示すブロック図である。本実施形態に係る対象物検知装置10は、画像を取得し、取得した画像から対象物を検知する。対象物検知装置10は、所定時間単位で取得した画像に対して、対象物の検知を繰り返し、異なる時刻(異なるフレーム)の画像に含まれる対象物のうち、異なる時刻(異なるフレーム)の画像に含まれる対象物のうち、同一の対象物を特定する。対象物検知装置10は、例えば、車両や飛行体等の移動体や、建造物に設置される。また、対象物は、特に限定されず、人間、機械、犬、猫、車両、植物等、種々の分類の物体を対象とすることができる。
【0014】
図1に示すように対象物検知装置10は、カメラ部12と、処理部14と、記憶部16と、を含む。対象物検知装置10は、さらに、入力部、出力部、通信部等を備えてもよい。ここで、出力部としては、画像の解析結果を表示させるディスプレイや、検出結果に基づいて、警告を出力するスピーカ、発光装置、ディスプレイ等である。
【0015】
カメラ部12は、撮影領域に含まれる画像を取得する。カメラ部12は、所定時間の間隔で画像をする。カメラ部12は、所定のフレームレートで連続して画像を取得しても、所定の操作をトリガーとして画像を取得してもよい。
【0016】
処理部14は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の集積回路(プロセッサ)と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて各種プログラムを実行することによって各種処理を実行する。具体的に、処理部14は、記憶部16に記憶されているプログラムを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をプロセッサに実行させることで、各種処理を実行する。処理部14は、画像処理部30と、比較部32と、特定部34と、を含む。処理部14の各部の説明の前に記憶部16について説明する。
【0017】
記憶部16は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置からなり、各種のプログラムおよびデータを記憶する。記憶部16は、検知プログラム36と、画像処理プログラム38と、比較プログラム40と、処理データ42と、を含む。
【0018】
また、記憶部16に記憶されるデータとしては、処理データ42が含まれる。処理データ42は、カメラ部12に取得した画像データ、画像データから抽出した対象物の位置、大きさ、比較結果等が含まれる。処理データ42には、対象物の位置毎に分類して保管してもよい。また、処理データ42は、一部を加工したデータを含めてもよい。また、記憶部16には、各プログラムの処理条件等が記憶される。
【0019】
記憶部16に記憶されるプログラムとしては、検知プログラム36と、画像処理プログラム38と、比較プログラム40と、がある。検知プログラム36は、画像処理プログラム38と、比較プログラム40の動作を統括し、対象物の検知処理を実行する。検知プログラム36は、画像から対象物を検知し、比較し、それぞれの対象物を特定する処理を実行する。
【0020】
画像処理プログラム38は、カメラ部12で取得した画像に対して画像処理を実行し、画像に含まれる対象物を抽出する。画像処理プログラム38としては、種々のプログラムを用いることができるが、深層学習モデルで対象物の抽出を学習した学習済みプログラムを用いることができる。深層学習モデルとしては、R-CNN(Regions with Convolutional Neural Networks)やYOLO(You Only Look Once)、SSD(Single Shot multibox Detector)等、いわゆるアンカーと言われるバウンディングボックスを画像に対して設定し、設定に基づいたアンカー内の特徴量を処理することで、画像に対象物が含まれているかを検出する深層学習モデルを用いることができる。画像処理プログラム38は、パターンマッチング等で、対象物を抽出してもよい。画像処理プログラム38は、対象物を抽出した位置を示す領域の情報と、領域内の特徴を示す情報を算出する。画像処理プログラム38は、抽出した情報を処理データ42に記憶させる。
【0021】
比較プログラム40は、対象物を抽出した結果をフレーム間で比較し、フレーム間で同じ対象物を抽出しているかを特定し、それぞれの対象物の同一性を特定する。
【0022】
記憶部16は、記録媒体に記録された検知プログラム36と、画像処理プログラム38と、比較プログラム40と、を読み込むことで、検知プログラム36と、画像処理プログラム38と、比較プログラム40と、がインストールされてもよいし、ネットワーク上で提供される検知プログラム36と、画像処理プログラム38と、比較プログラム40と、を読み込むことで、検知プログラム36と、画像処理プログラム38と、比較プログラム40と、がインストールされてもよい。
【0023】
演算部16の各部の機能について説明する。演算部16の各部は、記憶部16に記憶されるプログラムを処理することで機能を実行する。画像処理部30は、画像処理プログラム38を処理して実行される。画像処理部30は、上述したようにカメラ部12で撮影した画像から対象物を抽出する。
【0024】
比較部32は、比較プログラム38の処理を実行することで実現する。比較部32は、画像処理部30で処理した情報を画像のフレーム間で比較し、比較結果の情報を出力する。比較部32は、比較したフレーム間の関係性を算出する。関係性は、本実施形態では0から1の値で算出され、1に近いほど関係性が高い、つまり同一の対象物である可能性が高いと算出した結果となる。なお、関係性の値の範囲は一例であり、1以上となるようにしても、マイナスとなるようにしてもよい。ここで、比較部32は、領域内の画像のパターンマッチングや、領域の変化量、フィルタ処理によって得られる特徴量等の情報に基づいて関係性を算出する。
【0025】
特定部34は、比較プログラム38の処理を実行することで実現する。特定部34は、予め設定されている重み付け条件に基づいてフレーム間の対象物と対象物のそれぞれの組み合わせに対して、重み付け係数を算出する。特定部34は、比較部32で算出した比較対象のフレーム間の対象物の関係性を、重み付け係数で補正する。特定部34は、補正したフレーム間の対象物の関係性に基づいて、フレーム間で同じ対象物(同一被写体)を特定する。
【0026】
重み付け条件は、例えば、対象物の距離、つまり、前のフレームの対象物の位置と、後のフレームの対象物の位置との差に基づいて、重み付け係数を決定する方法がある。本実施形態の重み付け係数は、0から1の値である。なお、重み付け係数の範囲は一例であり、1以上となるようにしても、マイナスとなるようにしてもよい。
【0027】
次に、
図2から
図5を用いて、対象物検知装置10の処理の一例を説明する。
図2は、対象物検知装置の処理の一例を示すフローチャートである。
図3は、処理対象の画像の一例を模式的に示す説明図である。
図4は、比較部及び特定部の処理の一例を説明するための説明図である。
図5は、比較部及び特定部の処理の一例を説明するための説明図である。以下では、対象物を人間とした場合で説明する。
【0028】
対象物検知装置10は、画像データを取得する(ステップS12)。具体的には、
図3に示す画像100を取得する。画像100は、人物102、104、106の三人が含まれる画像である。
【0029】
対象物検知装置10は、対象物の抽出を行う(ステップS14)。具体的には、対象物検知装置10は、画像100の場合、画像100に対して処理を実行し、人物102が表示される領域112、人物104が表示される領域114、人物106が表示される領域116を抽出する。
【0030】
対象物検知装置10は、比較対象の画像データの対象物の情報を取得する(ステップS16)。対象物検知装置10は、対象物を抽出した画像よりも前に処理を行った画像、つまり該当画像のフレームよりも前のフレームの画像での対象物の抽出結果の情報を取得する。具体的には、
図4に示すように、フレームtの画像124の対象物126a、126b、126cを抽出している場合、画像124前のフレームt-1の画像120から抽出した画像120の対象物122a、122b、122cの情報を取得する。
【0031】
対象物検知装置10は、画像データ間の対象物の位置等を比較する(ステップS18)。対象物検知装置10は、画像データ間の対象物の位置や形状を比較することで、
図5示す関係性行列130を算出する。本実施形態の場合、画像内に3つの対象物を検出している。この場合、関係性行列130は、フレームt-1の対象物122a、122b、122cのそれぞれと、フレームtの対象物126a、126b、126cのそれぞれの関係値を算出する。関係値は、領域の大きさや位置、領域に含まれる画像の一致度等で算出される類似度である。
【0032】
対象物検知装置10は、比較結果に対して、重み付け処理を実行する(ステップS20)。
図5の処理は、対象物の距離に応じて重み付けを行う。重み付け処理を実行することで、関係性行列130を関係性行列(修正後の関係性行列)132に変換する。具体体には、フレームt-1の画像120の検知結果の位置に対し、フレームtの画像124の検知結果それぞれの画像中の位置(X1
t, Y1
t)・・・(XN
t, YN
t)との距離D1・・・DNを算出する。次に、距離D1・・・DNを小さい順(つまり距離が近い順)に並べて、予め設定した重み係数を順に割り付ける。重み付け係数は、最も近い距離の関係が1.0、遠い距離の関係が0.0となるよう比例で割り付ける。対象物検知装置10は、算出した重み係数を該当する組み合わせの関係値(類似度)に乗算する。
【0033】
対象物検知装置10は、算出結果に基づいて対象物の同一性を特定する(ステップS22)。対象物検知装置10は、算出した関係性行列132に基づいて、対象物の対応関係を特定する。
図4及び
図5に示す例の場合、算出後の関係値の和が最も高くなる組み合わせに基づいて同一の対象物を特定する。具体的には、関係値が0.7となる対象物同士を同一の対象物とする。
【0034】
対象物検知装置10は、画像から抽出した対象物同士を比較した関係値に対して、さらに重みづけ条件に基づいて、重み付け係数を算出し、関係値を補正することで、画像に含まれる対象物の同一性をより高い精度で特定することができる。また、対象物検知装置10は、画像中に複数の似た対象物が存在して関係値が高くなる場合でも、各フレームにおける位置情報を用いて関係値を修正することで、対応付けの精度を向上させることが可能になる。対象物検知装置10は、重み付け条件に基づいた処理を実行し、各フレームの検知結果を対応付けするための類似度算出をロバストにすることで、似通った対象物同士や距離が近く隠れや姿勢変化が発生する場合でも正確に対応付けることが可能となり、安定した対象物追跡が可能となる。
【0035】
また、本実施形態のように、対象物の距離に基づいて重み付け係数を算出することで、フレーム間の移動可能な範囲での類似性を評価することができる。これにより、上述したように対象物に類似性がある場合でも、同一対象物の特定の精度を高くすることができる。
【0036】
ここで、重み付け条件は、比較する対象物の距離の順番に対して固定値の係数を設定してもよい。例えば、一番近い対象物に1、次に近い対象物に0.5、それ以降の対象物は0を割り付けてもよい。これにより、重み付け係数の算出の演算負荷を低減することができる。また、重み付け条件は、あらかじめ定める距離のしきい値以上の距離を重み0にし、それ以外には重みの変化なしとしてもよい。これにより、フレーム間で想定される範囲に移動している対象物を評価対象とし、それ以上移動していないと生じない位置の対象物を同一と検出することを防止できる。
【0037】
また、重み付け条件は、前フレームの検知結果に対して、それまでの追跡結果からカルマンフィルタ等で現フレームでの位置を予測し、その予測位置と現フレームの各検知結果の位置から距離を算出して同様に重み付けしてもよい。このように、前のフレームの実際の位置ではなく、予測位置を起点として、距離を評価してもよい。
【0038】
図4及び
図5は、関係値が閾値以上であるので、2つの画像にそれぞれ含まれる対象物が1対1で対応し、同じ対象物が含まれる2つの画像と特定したが、画像に含まれる対象物が増減する場合や、前のフレームの画像に対して、1つの対象物が無くなり、別の対象物が追加される場合もある。
【0039】
また、距離に基づいて、重み付け係数を算出する場合、相対的な移動状況に基づいて、距離に対する重み付け係数の割り当てを調整することが好ましい。例えば、対象物検知装置が移動体に搭載されている場合、移動体の移動速度に基づいて重み付け条件を変更することが好ましい。例えば、移動体が高速移動している場合、画像上での距離が長くても、重み付け係数が高くなる条件とする。対象物の想定される移動速度に基づいても同様の設定とできる。これにより、対象物が同一かをより高い精度で特定でき、適切な追跡を行うことができる。
【0040】
ここで、重み付け条件を対象物の距離としたが、重み付け条件はこれに限定されない。重みづけ条件は、対象物の類似度に基づいて設定してもよい。
図6は、比較部及び特定部の処理の一例を説明するための説明図である。
図7は、比較部及び特定部の処理の一例を説明するための説明図である。
図6及び
図7は、一定範囲内の距離に対象物がある場合、距離が条件を満たす対象物に対して類似度に基づいた重みづけ係数を設定し、それ以外の対象物の関係の値には、重み付けを行わない(係数を1として補正しない)処理である。
【0041】
対象物検知装置10は、
図6に示すように、画像140で対象物142a、142b、142cの情報を取得した後、画像140より後のフレーム(現フレーム)の画像144の対象物146a、146b、146cを抽出している。
【0042】
次に、対象物検知装置10は、画像データ間の対象物の位置や形状を比較することで、
図7示す関係性行列148を算出する。本実施形態の場合、画像内に3つの対象物を検出している。この場合、関係性行列148は、前のフレームの対象物142a、142b、142cのそれぞれと、後のフレームの対象物146a、146b、146cのそれぞれの関係値を算出する。また、前のフレームの検知結果A
t-1に対して最大類似度となる後のフレームの検知結果A
tと、その最大類似度との差がしきい値以下となる類似度を持つ検知結果B
t・・・N
tを抽出する。
【0043】
次に、対象物検知装置10は、抽出された後フレームの検知結果に対し、A
t-1の画像中の位置(X1
t-1, Y1
t-1)との距離がしきい値以下となる検知結果のみを選択する。
図7に示す関係性行列148は、対象物142aと対象物146a、対象物142aと対象物146b、対象物142bと対象物146a、対象物142bと対象物146b、の4つの組み合わせを抽出する。
【0044】
次に、対象物検知装置10は、抽出した対象物の組み合わせに対して、後のフレームの各検知結果と、前のフレームの検知結果At-1で、新たに類似度算出処理を行い、類似度を更新する。ここで、選択した組み合わせに対して使用する専用の類似度算出処理は、例えば顔認証などで使用されるSiam RPN(*4)など一部特徴の隠れや変化にロバストな深層学習ネットワークを使用する。つまり、比較部で関係性行列の算出を行った関係値の算出とは異なる類似度の算出処理を用いる。対象物検知装置10は、算出した1以下の重み付け係数を対象の組み合わせに乗算して、関係性行列149を算出する。新たな類似度の算出方法は、比較部で関係性行列の算出を行った関係値の算出よりも処理負荷が高く、精度が高い方法である。
【0045】
次に、対象物検知装置10は、算出した関係性行列149に基づいて、前のフレームの対象物と後のフレームの対象物のうち、同一となる対象物の組み合わせを特定する。
【0046】
対象物検知装置10は、算出した関係性行列に対して、さらに類似度に基づいて重み付け処理を行うことで、検出精度を高くすることができる。
【0047】
対象物検知装置10は、本実施形態のように、距離が近い対象物を抽出し、抽出した対象物間に対してのみ類似度の算出を行うことで、処理負荷の増加も抑制できる。類似度の検出精度が高い処理は、一般的に、ロバスト性を向上させるために処理層を深くして多くの特徴量を用いて判定を行う。このため、処理負荷が高く多くの対象物同士の類似度算出全てに採用するとリアルタイム性が低下してしまう。つまり、最初の関係性行列に適用すると処理負荷が大きくなる。本実施形態の対象物検知装置10は、最初の類似度算出は対象物検知で使用される軽量な特徴量を用いて行い、特定の関係を満たす対象の組み合わせのみに、より正確な類似度算出処理を適用する。これにより、画像中の位置が近く似た対象物であっても正確な類似度算出が可能になる。
【0048】
対象物検知装置10は、2つのフレーム間の比較に限定されず、3つ以上のフレームの比較に基づいて、重み付け条件を設定してもよい。
図8は、比較部及び特定部の処理の一例を説明するための説明図である。
【0049】
図8は、フレームt-1の画像170、フレームtの画像150、フレームt+1の画像154、フレームt+2の画像158を時系列で取得した場合である。画像170、150、154、158は、それぞれ2つの対象物を検出する。画像170は、対象物172a、172bが抽出される。画像150は、対象物152a、152bが抽出される。画像154は、対象物156a、156bが抽出される。画像158は、対象物159a、159bが抽出される。
【0050】
対象物検知装置10は、フレームtの画像150とその前のフレームt-1の画像170に基づいて、関係性行列162を算出する。関係性行列162は、フレームt-1の画像170に含まれる対象物172a、172bと、フレームtの画像150に含まれる対象物152a、152bとの関係性を示す行列となる。対象物検知装置10は、フレームt-1の検知結果At-1に対して最大類似度となるフレームtの検知結果Atと、その最大類似度との差がしきい値以下となる類似度を持つ検知結果Bt・・・Ntが存在すれば、それらは一旦At-1に対して仮対応付けを行う。関係性行列162は、各項目の類似度が0.7または0.65となり、対象物152a、152bと対象物172a、172bとの組み合わせを確定できない。この場合、関係性行列162を仮対応付けとする。対象物検知装置10は、仮対応付けした結果At・・・Ntに、At-1の特徴量も記憶させる。
【0051】
フレームt+1とフレームtの画像に基づいて、関係性行列164を算出する。関係性行列164は、対象物156aと対象物152aの類似度が0.6、対象物156bと対象物152bの類似度が、0.5となり、他の欄の0.2、0.3に対して、有意な差があるため、対象物の同一性を判定できる。
【0052】
また、対象物検知装置10は、フレームt+1の画像の処理を行う場合、検知結果A
t+1・・・N
t+1との類似度を算出する際、A
t-1とも類似度を算出する。つまり、フレームt-1の画像とフレームt+1の画像の類似度も算出する。ここで、A
t+1・・・N
t+1のいずれか(例えばA
t+1)が、A
t・・・N
tとの類似度よりもA
t-1との類似度の方が高かった場合、A
t+1はA
t-1と同一対象物と判定し、A
t・・・N
tとA
t-1の仮対応付けを解消する。この際仮対応付けされているA
tの類似度を消去する。
図8に示すように、画像154の対象物156a、156bと、フレームt-1の画像170に含まれる対象物172a、172bとの比較を行う。
図8に示す例では、対象物172aと対象物156aの一致度が0.8となり、対象物172bと対象物156baの一致度が0.7となる。この結果と、対象物159aと対象物152aの類似度が0.6、対象物159bと対象物152bの類似度が、0.5との結果に基づいて、対象物172aと対象物152aが同一と判定し、対象物172bと対象物152bが同一と判定する。この結果を関係性行列164に反映させ、仮対応付けを解消する。
【0053】
対象物検知装置10は、次のフレームt+2とフレームt+1の画像の対応付けを行い、関係性行列166を算出する。関係性行列166は、対象物の距離が所定距離以上となるので、類似度の差が大きくなり精度が高くなる。
【0054】
このように、複数のフレーム間での類似度の算出処理を行うことで、フレーム間での同一の対象物の特定の精度を高くすることができる。例えば、似ている対象物が一時的に両方隠れ、あるいは姿勢変化が発生した場合でも、仮対応付けとし、直前の特徴量を記憶しておき、隠れや姿勢変化がなくなった時点のフレームとの類似度を用いて補正を行うことで、正しい対応付けが可能となる。
【符号の説明】
【0055】
10 対象物検知装置
12 カメラ部
14 処理部
16 記憶部
30 画像処理部
32 比較部
34 特定部
36 検出プログラム
38 画像処理プログラム
40 比較プログラム
42 処理データ