知財求人 - 知財ポータルサイト「IP Force」
特開2022-144895対象物検知装置、対象物検知方法及び対象物検知プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022144895
(43)【公開日】2022-10-03
(54)【発明の名称】対象物検知装置、対象物検知方法及び対象物検知プログラム
(51)【国際特許分類】
G06T 7/246 20170101AFI20220926BHJP
H04N 7/18 20060101ALI20220926BHJP
【ＦＩ】
G06T7/246
H04N7/18 G
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021046090
(22)【出願日】2021-03-19
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中尾 健太
(72)【発明者】
【氏名】杉本 喜一
(72)【発明者】
【氏名】飯尾 聡
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054FC11
5C054FC12
5C054FE28
5C054FF06
5C054HA31
5L096BA02
5L096CA04
5L096DA02
5L096FA69
5L096HA05
5L096HA08
5L096JA03
5L096JA11
(57)【要約】
【課題】対象物を識別し、同一の対象物の関連付けを高い精度で行うことができることにある。
【解決手段】所定の時間間隔で画像を取得するカメラ部と、取得した画像から対象物を抽出する画像処理部と、画像から抽出した対象物と、画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、画像から抽出した対象物と、画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、比較部の比較結果を、重み付け条件に基づいて比較し、画像から抽出した対象物と一致する画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む。
【選択図】図１
【解決手段】所定の時間間隔で画像を取得するカメラ部と、取得した画像から対象物を抽出する画像処理部と、画像から抽出した対象物と、画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、画像から抽出した対象物と、画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、比較部の比較結果を、重み付け条件に基づいて比較し、画像から抽出した対象物と一致する画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
所定の時間間隔で画像を取得するカメラ部と、
取得した画像から対象物を抽出する画像処理部と、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む対象物検知装置。
取得した画像から対象物を抽出する画像処理部と、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む対象物検知装置。
【請求項2】
前記比較部は、比較結果に基づいて、比較する対象物の関係性を算出し、
前記特定部は、関係性が高い対象物同士を同一対象物として特定する請求項１に記載の対象物検知装置。
前記特定部は、関係性が高い対象物同士を同一対象物として特定する請求項１に記載の対象物検知装置。
【請求項3】
前記重み付け条件は、比較する対象物の距離が近いほど値が高くなる係数であり、
特定部は、比較結果に重み付け係数を乗算して、対象物が同一か否かを特定する請求項１または請求項２に記載の対象物検知装置。
特定部は、比較結果に重み付け係数を乗算して、対象物が同一か否かを特定する請求項１または請求項２に記載の対象物検知装置。
【請求項4】
前記重み付け条件は、比較する対象物の距離の順番に対して固定値の係数が設定される請求項３に記載の対象物検知装置。
【請求項5】
前記重み付け条件は、比較部の比較結果の算出で使用した類似度の算出方法とは異なる類似度の算出方法で算出し、比較する対象物の類似度が近いほど値が高くなる係数であり、
特定部は、比較結果に重み付け係数を乗算して、対象物が同一か否かを特定する請求項１から請求項４のいずれか一項に記載の対象物検知装置。
特定部は、比較結果に重み付け係数を乗算して、対象物が同一か否かを特定する請求項１から請求項４のいずれか一項に記載の対象物検知装置。
【請求項6】
前記重み付け条件は、比較する対象物の距離が閾値以下の対象物に対して重み係数を算出する請求項５に記載の対象物検知装置。
【請求項7】
前記比較部は、前記画像よりも前のフレームの複数の画像で抽出した対象物を用いて比較を行う請求項１から請求項６のいずれか一項に記載の対象物検知装置。
【請求項8】
所定の時間間隔で画像を取得し、
取得した画像から対象物を抽出し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する対象物検知方法。
取得した画像から対象物を抽出し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する対象物検知方法。
【請求項9】
所定の時間間隔で画像を取得し、
取得した画像から対象物を抽出し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する処理をコンピュータに実行させる対象物検知プログラム。
取得した画像から対象物を抽出し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、
前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、
前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する処理をコンピュータに実行させる対象物検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象物検知装置、対象物検知方法及び対象物検知プログラムに関する。
【背景技術】
【0002】
カメラ等で取得した画像を解析して、画像に含まれる対象物を検出する対象物検知装置がある。対象物検知装置では、複数の対象物を検出し、それぞれ対象物を追跡する装置がある。
【0003】
特許文献１には、撮像された画像から物体を検出し、検出結果を出力する複数の検出手段と、複数の検出手段の夫々によって出力された、複数の検出結果に基づいて、共通座標系で表現された物体の位置情報を算出する統合追跡手段と、を備え、統合追跡手段は、算出された共通座標系の物体の位置情報を出力し、検出手段は、共通座標系の物体の位置情報を、物体の検出対象となる画像を出力するカメラ固有の個別座標系で表現された位置情報に変換して、個別座標系で物体を追跡し、個別座標系で表現された位置情報に基づいて物体を検出し、個別座標系で表現された位置情報に基づいて検出された物体の位置情報を、共通座標系で表現された位置情報に変換する、物体追跡システムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－１０７３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、複数の対象物が似ている場合や、比較対象の前の画像から形状が大きく変化した場合、同一対象物を適切に判定できず、異なる対象物を同一対象物と検出したり、同一対象物を異なる対象物として検出したりする可能性がある。
【0006】
本開示の少なくとも一実施形態は、上記課題を解決するために、対象物を識別し、同一の対象物の関連付けを高い精度で行うことができる対象物検知装置、対象物検知方法及び対象物検知プログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
本開示は、所定の時間間隔で画像を取得するカメラ部と、取得した画像から対象物を抽出する画像処理部と、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較する比較部と、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を記憶する記憶部と、前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する特定部と、を含む対象物検知装置を提供する。
【0008】
また、本開示は、所定の時間間隔で画像を取得し、取得した画像から対象物を抽出し、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する対象物検知方法を提供する。
【0009】
また、本開示は、所定の時間間隔で画像を取得し、取得した画像から対象物を抽出し、前記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物と、を比較し、記画像から抽出した対象物と、前記画像よりも前のフレームの画像で抽出した対象物との画像上の位置に基づいた重み付け条件を読み出し、前記比較部の比較結果を、前記重み付け条件に基づいて比較し、画像から抽出した対象物と一致する前記画像よりも前のフレームの画像で抽出した対象物を特定する処理をコンピュータに実行させる対象物検知プログラムを提供する。
【発明の効果】
【0010】
上記構成とすることで、対象物を識別し、同一の対象物の関連付けを高い精度で行うことができるという効果を奏する。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下に、本開示に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。
【0013】
＜対象物検知装置＞
図１は、対象物検知装置の一例を示すブロック図である。本実施形態に係る対象物検知装置１０は、画像を取得し、取得した画像から対象物を検知する。対象物検知装置１０は、所定時間単位で取得した画像に対して、対象物の検知を繰り返し、異なる時刻（異なるフレーム）の画像に含まれる対象物のうち、異なる時刻（異なるフレーム）の画像に含まれる対象物のうち、同一の対象物を特定する。対象物検知装置１０は、例えば、車両や飛行体等の移動体や、建造物に設置される。また、対象物は、特に限定されず、人間、機械、犬、猫、車両、植物等、種々の分類の物体を対象とすることができる。
図１は、対象物検知装置の一例を示すブロック図である。本実施形態に係る対象物検知装置１０は、画像を取得し、取得した画像から対象物を検知する。対象物検知装置１０は、所定時間単位で取得した画像に対して、対象物の検知を繰り返し、異なる時刻（異なるフレーム）の画像に含まれる対象物のうち、異なる時刻（異なるフレーム）の画像に含まれる対象物のうち、同一の対象物を特定する。対象物検知装置１０は、例えば、車両や飛行体等の移動体や、建造物に設置される。また、対象物は、特に限定されず、人間、機械、犬、猫、車両、植物等、種々の分類の物体を対象とすることができる。
【0014】
図１に示すように対象物検知装置１０は、カメラ部１２と、処理部１４と、記憶部１６と、を含む。対象物検知装置１０は、さらに、入力部、出力部、通信部等を備えてもよい。ここで、出力部としては、画像の解析結果を表示させるディスプレイや、検出結果に基づいて、警告を出力するスピーカ、発光装置、ディスプレイ等である。
【0015】
カメラ部１２は、撮影領域に含まれる画像を取得する。カメラ部１２は、所定時間の間隔で画像をする。カメラ部１２は、所定のフレームレートで連続して画像を取得しても、所定の操作をトリガーとして画像を取得してもよい。
【0016】
処理部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の集積回路（プロセッサ）と、作業領域となるメモリとを含み、これらのハードウェア資源を用いて各種プログラムを実行することによって各種処理を実行する。具体的に、処理部１４は、記憶部１６に記憶されているプログラムを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をプロセッサに実行させることで、各種処理を実行する。処理部１４は、画像処理部３０と、比較部３２と、特定部３４と、を含む。処理部１４の各部の説明の前に記憶部１６について説明する。
【0017】
記憶部１６は、磁気記憶装置や半導体記憶装置等の不揮発性を有する記憶装置からなり、各種のプログラムおよびデータを記憶する。記憶部１６は、検知プログラム３６と、画像処理プログラム３８と、比較プログラム４０と、処理データ４２と、を含む。
【0018】
また、記憶部１６に記憶されるデータとしては、処理データ４２が含まれる。処理データ４２は、カメラ部１２に取得した画像データ、画像データから抽出した対象物の位置、大きさ、比較結果等が含まれる。処理データ４２には、対象物の位置毎に分類して保管してもよい。また、処理データ４２は、一部を加工したデータを含めてもよい。また、記憶部１６には、各プログラムの処理条件等が記憶される。
【0019】
記憶部１６に記憶されるプログラムとしては、検知プログラム３６と、画像処理プログラム３８と、比較プログラム４０と、がある。検知プログラム３６は、画像処理プログラム３８と、比較プログラム４０の動作を統括し、対象物の検知処理を実行する。検知プログラム３６は、画像から対象物を検知し、比較し、それぞれの対象物を特定する処理を実行する。
【0020】
画像処理プログラム３８は、カメラ部１２で取得した画像に対して画像処理を実行し、画像に含まれる対象物を抽出する。画像処理プログラム３８としては、種々のプログラムを用いることができるが、深層学習モデルで対象物の抽出を学習した学習済みプログラムを用いることができる。深層学習モデルとしては、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）やＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）等、いわゆるアンカーと言われるバウンディングボックスを画像に対して設定し、設定に基づいたアンカー内の特徴量を処理することで、画像に対象物が含まれているかを検出する深層学習モデルを用いることができる。画像処理プログラム３８は、パターンマッチング等で、対象物を抽出してもよい。画像処理プログラム３８は、対象物を抽出した位置を示す領域の情報と、領域内の特徴を示す情報を算出する。画像処理プログラム３８は、抽出した情報を処理データ４２に記憶させる。
【0021】
比較プログラム４０は、対象物を抽出した結果をフレーム間で比較し、フレーム間で同じ対象物を抽出しているかを特定し、それぞれの対象物の同一性を特定する。
【0022】
記憶部１６は、記録媒体に記録された検知プログラム３６と、画像処理プログラム３８と、比較プログラム４０と、を読み込むことで、検知プログラム３６と、画像処理プログラム３８と、比較プログラム４０と、がインストールされてもよいし、ネットワーク上で提供される検知プログラム３６と、画像処理プログラム３８と、比較プログラム４０と、を読み込むことで、検知プログラム３６と、画像処理プログラム３８と、比較プログラム４０と、がインストールされてもよい。
【0023】
演算部１６の各部の機能について説明する。演算部１６の各部は、記憶部１６に記憶されるプログラムを処理することで機能を実行する。画像処理部３０は、画像処理プログラム３８を処理して実行される。画像処理部３０は、上述したようにカメラ部１２で撮影した画像から対象物を抽出する。
【0024】
比較部３２は、比較プログラム３８の処理を実行することで実現する。比較部３２は、画像処理部３０で処理した情報を画像のフレーム間で比較し、比較結果の情報を出力する。比較部３２は、比較したフレーム間の関係性を算出する。関係性は、本実施形態では０から１の値で算出され、１に近いほど関係性が高い、つまり同一の対象物である可能性が高いと算出した結果となる。なお、関係性の値の範囲は一例であり、１以上となるようにしても、マイナスとなるようにしてもよい。ここで、比較部３２は、領域内の画像のパターンマッチングや、領域の変化量、フィルタ処理によって得られる特徴量等の情報に基づいて関係性を算出する。
【0025】
特定部３４は、比較プログラム３８の処理を実行することで実現する。特定部３４は、予め設定されている重み付け条件に基づいてフレーム間の対象物と対象物のそれぞれの組み合わせに対して、重み付け係数を算出する。特定部３４は、比較部３２で算出した比較対象のフレーム間の対象物の関係性を、重み付け係数で補正する。特定部３４は、補正したフレーム間の対象物の関係性に基づいて、フレーム間で同じ対象物（同一被写体）を特定する。
【0026】
重み付け条件は、例えば、対象物の距離、つまり、前のフレームの対象物の位置と、後のフレームの対象物の位置との差に基づいて、重み付け係数を決定する方法がある。本実施形態の重み付け係数は、０から１の値である。なお、重み付け係数の範囲は一例であり、１以上となるようにしても、マイナスとなるようにしてもよい。
【0027】
次に、図２から図５を用いて、対象物検知装置１０の処理の一例を説明する。図２は、対象物検知装置の処理の一例を示すフローチャートである。図３は、処理対象の画像の一例を模式的に示す説明図である。図４は、比較部及び特定部の処理の一例を説明するための説明図である。図５は、比較部及び特定部の処理の一例を説明するための説明図である。以下では、対象物を人間とした場合で説明する。
【0028】
対象物検知装置１０は、画像データを取得する（ステップＳ１２）。具体的には、図３に示す画像１００を取得する。画像１００は、人物１０２、１０４、１０６の三人が含まれる画像である。
【0029】
対象物検知装置１０は、対象物の抽出を行う（ステップＳ１４）。具体的には、対象物検知装置１０は、画像１００の場合、画像１００に対して処理を実行し、人物１０２が表示される領域１１２、人物１０４が表示される領域１１４、人物１０６が表示される領域１１６を抽出する。
【0030】
対象物検知装置１０は、比較対象の画像データの対象物の情報を取得する（ステップＳ１６）。対象物検知装置１０は、対象物を抽出した画像よりも前に処理を行った画像、つまり該当画像のフレームよりも前のフレームの画像での対象物の抽出結果の情報を取得する。具体的には、図４に示すように、フレームｔの画像１２４の対象物１２６ａ、１２６ｂ、１２６ｃを抽出している場合、画像１２４前のフレームｔ－１の画像１２０から抽出した画像１２０の対象物１２２ａ、１２２ｂ、１２２ｃの情報を取得する。
【0031】
対象物検知装置１０は、画像データ間の対象物の位置等を比較する（ステップＳ１８）。対象物検知装置１０は、画像データ間の対象物の位置や形状を比較することで、図５示す関係性行列１３０を算出する。本実施形態の場合、画像内に３つの対象物を検出している。この場合、関係性行列１３０は、フレームｔ－１の対象物１２２ａ、１２２ｂ、１２２ｃのそれぞれと、フレームｔの対象物１２６ａ、１２６ｂ、１２６ｃのそれぞれの関係値を算出する。関係値は、領域の大きさや位置、領域に含まれる画像の一致度等で算出される類似度である。
【0032】
対象物検知装置１０は、比較結果に対して、重み付け処理を実行する（ステップＳ２０）。図５の処理は、対象物の距離に応じて重み付けを行う。重み付け処理を実行することで、関係性行列１３０を関係性行列（修正後の関係性行列）１３２に変換する。具体体には、フレームｔ－１の画像１２０の検知結果の位置に対し、フレームｔの画像１２４の検知結果それぞれの画像中の位置（X1t, Y1t）・・・（XNt, YNt）との距離D1・・・DNを算出する。次に、距離D1・・・DNを小さい順（つまり距離が近い順）に並べて、予め設定した重み係数を順に割り付ける。重み付け係数は、最も近い距離の関係が１．０、遠い距離の関係が０．０となるよう比例で割り付ける。対象物検知装置１０は、算出した重み係数を該当する組み合わせの関係値（類似度）に乗算する。
【0033】
対象物検知装置１０は、算出結果に基づいて対象物の同一性を特定する（ステップＳ２２）。対象物検知装置１０は、算出した関係性行列１３２に基づいて、対象物の対応関係を特定する。図４及び図５に示す例の場合、算出後の関係値の和が最も高くなる組み合わせに基づいて同一の対象物を特定する。具体的には、関係値が０．７となる対象物同士を同一の対象物とする。
【0034】
対象物検知装置１０は、画像から抽出した対象物同士を比較した関係値に対して、さらに重みづけ条件に基づいて、重み付け係数を算出し、関係値を補正することで、画像に含まれる対象物の同一性をより高い精度で特定することができる。また、対象物検知装置１０は、画像中に複数の似た対象物が存在して関係値が高くなる場合でも、各フレームにおける位置情報を用いて関係値を修正することで、対応付けの精度を向上させることが可能になる。対象物検知装置１０は、重み付け条件に基づいた処理を実行し、各フレームの検知結果を対応付けするための類似度算出をロバストにすることで、似通った対象物同士や距離が近く隠れや姿勢変化が発生する場合でも正確に対応付けることが可能となり、安定した対象物追跡が可能となる。
【0035】
また、本実施形態のように、対象物の距離に基づいて重み付け係数を算出することで、フレーム間の移動可能な範囲での類似性を評価することができる。これにより、上述したように対象物に類似性がある場合でも、同一対象物の特定の精度を高くすることができる。
【0036】
ここで、重み付け条件は、比較する対象物の距離の順番に対して固定値の係数を設定してもよい。例えば、一番近い対象物に１、次に近い対象物に０．５、それ以降の対象物は０を割り付けてもよい。これにより、重み付け係数の算出の演算負荷を低減することができる。また、重み付け条件は、あらかじめ定める距離のしきい値以上の距離を重み０にし、それ以外には重みの変化なしとしてもよい。これにより、フレーム間で想定される範囲に移動している対象物を評価対象とし、それ以上移動していないと生じない位置の対象物を同一と検出することを防止できる。
【0037】
また、重み付け条件は、前フレームの検知結果に対して、それまでの追跡結果からカルマンフィルタ等で現フレームでの位置を予測し、その予測位置と現フレームの各検知結果の位置から距離を算出して同様に重み付けしてもよい。このように、前のフレームの実際の位置ではなく、予測位置を起点として、距離を評価してもよい。
【0038】
図４及び図５は、関係値が閾値以上であるので、２つの画像にそれぞれ含まれる対象物が１対１で対応し、同じ対象物が含まれる２つの画像と特定したが、画像に含まれる対象物が増減する場合や、前のフレームの画像に対して、１つの対象物が無くなり、別の対象物が追加される場合もある。
【0039】
また、距離に基づいて、重み付け係数を算出する場合、相対的な移動状況に基づいて、距離に対する重み付け係数の割り当てを調整することが好ましい。例えば、対象物検知装置が移動体に搭載されている場合、移動体の移動速度に基づいて重み付け条件を変更することが好ましい。例えば、移動体が高速移動している場合、画像上での距離が長くても、重み付け係数が高くなる条件とする。対象物の想定される移動速度に基づいても同様の設定とできる。これにより、対象物が同一かをより高い精度で特定でき、適切な追跡を行うことができる。
【0040】
ここで、重み付け条件を対象物の距離としたが、重み付け条件はこれに限定されない。重みづけ条件は、対象物の類似度に基づいて設定してもよい。図６は、比較部及び特定部の処理の一例を説明するための説明図である。図７は、比較部及び特定部の処理の一例を説明するための説明図である。図６及び図７は、一定範囲内の距離に対象物がある場合、距離が条件を満たす対象物に対して類似度に基づいた重みづけ係数を設定し、それ以外の対象物の関係の値には、重み付けを行わない（係数を１として補正しない）処理である。
【0041】
対象物検知装置１０は、図６に示すように、画像１４０で対象物１４２ａ、１４２ｂ、１４２ｃの情報を取得した後、画像１４０より後のフレーム（現フレーム）の画像１４４の対象物１４６ａ、１４６ｂ、１４６ｃを抽出している。
【0042】
次に、対象物検知装置１０は、画像データ間の対象物の位置や形状を比較することで、図７示す関係性行列１４８を算出する。本実施形態の場合、画像内に３つの対象物を検出している。この場合、関係性行列１４８は、前のフレームの対象物１４２ａ、１４２ｂ、１４２ｃのそれぞれと、後のフレームの対象物１４６ａ、１４６ｂ、１４６ｃのそれぞれの関係値を算出する。また、前のフレームの検知結果At-1に対して最大類似度となる後のフレームの検知結果Atと、その最大類似度との差がしきい値以下となる類似度を持つ検知結果Bt・・・Ntを抽出する。
【0043】
次に、対象物検知装置１０は、抽出された後フレームの検知結果に対し、At-1の画像中の位置（X1t-1, Y1t-1）との距離がしきい値以下となる検知結果のみを選択する。図７に示す関係性行列１４８は、対象物１４２ａと対象物１４６ａ、対象物１４２ａと対象物１４６ｂ、対象物１４２ｂと対象物１４６ａ、対象物１４２ｂと対象物１４６ｂ、の４つの組み合わせを抽出する。
【0044】
次に、対象物検知装置１０は、抽出した対象物の組み合わせに対して、後のフレームの各検知結果と、前のフレームの検知結果At-1で、新たに類似度算出処理を行い、類似度を更新する。ここで、選択した組み合わせに対して使用する専用の類似度算出処理は、例えば顔認証などで使用されるＳｉａｍ ＲＰＮ（＊４）など一部特徴の隠れや変化にロバストな深層学習ネットワークを使用する。つまり、比較部で関係性行列の算出を行った関係値の算出とは異なる類似度の算出処理を用いる。対象物検知装置１０は、算出した１以下の重み付け係数を対象の組み合わせに乗算して、関係性行列１４９を算出する。新たな類似度の算出方法は、比較部で関係性行列の算出を行った関係値の算出よりも処理負荷が高く、精度が高い方法である。
【0045】
次に、対象物検知装置１０は、算出した関係性行列１４９に基づいて、前のフレームの対象物と後のフレームの対象物のうち、同一となる対象物の組み合わせを特定する。
【0046】
対象物検知装置１０は、算出した関係性行列に対して、さらに類似度に基づいて重み付け処理を行うことで、検出精度を高くすることができる。
【0047】
対象物検知装置１０は、本実施形態のように、距離が近い対象物を抽出し、抽出した対象物間に対してのみ類似度の算出を行うことで、処理負荷の増加も抑制できる。類似度の検出精度が高い処理は、一般的に、ロバスト性を向上させるために処理層を深くして多くの特徴量を用いて判定を行う。このため、処理負荷が高く多くの対象物同士の類似度算出全てに採用するとリアルタイム性が低下してしまう。つまり、最初の関係性行列に適用すると処理負荷が大きくなる。本実施形態の対象物検知装置１０は、最初の類似度算出は対象物検知で使用される軽量な特徴量を用いて行い、特定の関係を満たす対象の組み合わせのみに、より正確な類似度算出処理を適用する。これにより、画像中の位置が近く似た対象物であっても正確な類似度算出が可能になる。
【0048】
対象物検知装置１０は、２つのフレーム間の比較に限定されず、３つ以上のフレームの比較に基づいて、重み付け条件を設定してもよい。図８は、比較部及び特定部の処理の一例を説明するための説明図である。
【0049】
図８は、フレームｔ－１の画像１７０、フレームｔの画像１５０、フレームｔ＋１の画像１５４、フレームｔ＋２の画像１５８を時系列で取得した場合である。画像１７０、１５０、１５４、１５８は、それぞれ２つの対象物を検出する。画像１７０は、対象物１７２ａ、１７２ｂが抽出される。画像１５０は、対象物１５２ａ、１５２ｂが抽出される。画像１５４は、対象物１５６ａ、１５６ｂが抽出される。画像１５８は、対象物１５９ａ、１５９ｂが抽出される。
【0050】
対象物検知装置１０は、フレームｔの画像１５０とその前のフレームｔ－１の画像１７０に基づいて、関係性行列１６２を算出する。関係性行列１６２は、フレームｔ－１の画像１７０に含まれる対象物１７２ａ、１７２ｂと、フレームｔの画像１５０に含まれる対象物１５２ａ、１５２ｂとの関係性を示す行列となる。対象物検知装置１０は、フレームｔ－１の検知結果At-1に対して最大類似度となるフレームｔの検知結果Atと、その最大類似度との差がしきい値以下となる類似度を持つ検知結果Bt・・・Ntが存在すれば、それらは一旦At-1に対して仮対応付けを行う。関係性行列１６２は、各項目の類似度が０．７または０．６５となり、対象物１５２ａ、１５２ｂと対象物１７２ａ、１７２ｂとの組み合わせを確定できない。この場合、関係性行列１６２を仮対応付けとする。対象物検知装置１０は、仮対応付けした結果At・・・Ntに、At-1の特徴量も記憶させる。
【0051】
フレームｔ＋１とフレームｔの画像に基づいて、関係性行列１６４を算出する。関係性行列１６４は、対象物１５６ａと対象物１５２ａの類似度が０．６、対象物１５６ｂと対象物１５２ｂの類似度が、０．５となり、他の欄の０．２、０．３に対して、有意な差があるため、対象物の同一性を判定できる。
【0052】
また、対象物検知装置１０は、フレームｔ＋１の画像の処理を行う場合、検知結果At+1・・・Nt+1との類似度を算出する際、At-1とも類似度を算出する。つまり、フレームｔ－１の画像とフレームｔ＋１の画像の類似度も算出する。ここで、At+1・・・Nt+1のいずれか（例えばAt+1）が、At・・・Ntとの類似度よりもAt-1との類似度の方が高かった場合、At+1はAt-1と同一対象物と判定し、At・・・NtとAt-1の仮対応付けを解消する。この際仮対応付けされているAtの類似度を消去する。図８に示すように、画像１５４の対象物１５６ａ、１５６ｂと、フレームｔ－１の画像１７０に含まれる対象物１７２ａ、１７２ｂとの比較を行う。図８に示す例では、対象物１７２ａと対象物１５６ａの一致度が０．８となり、対象物１７２ｂと対象物１５６ｂａの一致度が０．７となる。この結果と、対象物１５９ａと対象物１５２ａの類似度が０．６、対象物１５９ｂと対象物１５２ｂの類似度が、０．５との結果に基づいて、対象物１７２ａと対象物１５２ａが同一と判定し、対象物１７２ｂと対象物１５２ｂが同一と判定する。この結果を関係性行列１６４に反映させ、仮対応付けを解消する。
【0053】
対象物検知装置１０は、次のフレームｔ＋２とフレームｔ＋１の画像の対応付けを行い、関係性行列１６６を算出する。関係性行列１６６は、対象物の距離が所定距離以上となるので、類似度の差が大きくなり精度が高くなる。
【0054】
このように、複数のフレーム間での類似度の算出処理を行うことで、フレーム間での同一の対象物の特定の精度を高くすることができる。例えば、似ている対象物が一時的に両方隠れ、あるいは姿勢変化が発生した場合でも、仮対応付けとし、直前の特徴量を記憶しておき、隠れや姿勢変化がなくなった時点のフレームとの類似度を用いて補正を行うことで、正しい対応付けが可能となる。
【符号の説明】
【0055】
１０ 対象物検知装置
１２ カメラ部
１４ 処理部
１６ 記憶部
３０ 画像処理部
３２ 比較部
３４ 特定部
３６ 検出プログラム
３８ 画像処理プログラム
４０ 比較プログラム
４２ 処理データ
１２ カメラ部
１４ 処理部
１６ 記憶部
３０ 画像処理部
３２ 比較部
３４ 特定部
３６ 検出プログラム
３８ 画像処理プログラム
４０ 比較プログラム
４２ 処理データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】