(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-09
(45)【発行日】2024-10-18
(54)【発明の名称】物体追跡システムおよび方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241010BHJP
G06T 7/20 20170101ALI20241010BHJP
H04N 7/18 20060101ALI20241010BHJP
【ＦＩ】
G06T7/00 300F
G06T7/20 300Z
H04N7/18 K
H04N7/18 D
【請求項の数】
10
(21)【出願番号】P 2021050629
(22)【出願日】2021-03-24
(65)【公開番号】P2022148811
(43)【公開日】2022-10-06
【審査請求日】2023-06-12
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】田村 雅人
(72)【発明者】
【氏名】吉永 智明
(72)【発明者】
【氏名】梁島 勇太
(72)【発明者】
【氏名】村田 幸弘
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０２０－０１３２９０（ＪＰ，Ａ）
【文献】特開２０１１－１９８２６１（ＪＰ，Ａ）
【文献】国際公開第２０２０／０８７８２０（ＷＯ，Ａ１）
【文献】国際公開第２０２１／０１５６７２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２０
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
撮影された物体を追跡する物体追跡システムであって、入力された画像データの各フレームから物体を検出する物体検出部と、
前記検出された各物体の画像特徴量を抽出する画像特徴抽出部と、
前記各フレーム内に存在する複数の物体間の関係を検出する関係抽出部と、
前記物体検出部による検出結果と前記画像特徴抽出部により抽出された各物体の画像特徴量と前記関係抽出部による検出結果とを、解析データとして保存する解析データ蓄積部と、
前記解析データ蓄積部に蓄積された解析データを検索して、選択された第１物体と同一物体であるとされる物体であるか否かを、前記フレームのそれぞれで検出された物体について判定する検索部を備え、
前記解析データ蓄積部は、
前記物体検出部による検出結果としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、当該物体の識別情報、及び、フレーム画像内での位置の情報と、
前記画像特徴抽出部により抽出された各物体の画像特徴量としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、画像特徴量ベクトルの情報と、
前記関係抽出部による検出結果としての、前記フレームのそれぞれにおいて検出された物体の組み合わせのそれぞれのうち、物体間の関係が検出された物体の組み合わせについての、当該組み合わせに含まれる物体のそれぞれの識別情報を、
前記解析データとして保存するものであり、
前記検索部は、
物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第１の距離(d1)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することと、
前記あるフレームにおいて検出された物体と、前記別のフレームにおいて検出された物体が前記第１の距離(d1)に基づいては同一物体とは判定されなかった場合であって、かつ、前記あるフレームにおいて検出された物体との関係が検出されている物体と、前記別のフレームにおいて検出された物体との関係が検出されている物体が同一物体とされる場合に、物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第２の距離(d2)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することであって、前記第２の距離(d2)のために用いる重要度においては、前記第１の距離(d1)のために用いる重要度におけるよりも、前記画像特徴量の重要度が上げられている、前記判断をすることを、実行するものである、
物体追跡システム。
【請求項2】
請求項１に記載の物体追跡システムであって、
前記物体追跡システムは、更に、出力部を備えるものであり、
前記出力部は、前記検索部が前記解析データを検索したことによる結果を表示するように制御するものである、
物体追跡システム。
【請求項3】
撮影された物体を追跡する物体追跡システムであって、入力された画像データの各フレームから物体を検出する物体検出部と、
前記検出された各物体の画像特徴量を抽出する画像特徴抽出部と、
前記各フレーム内に存在する複数の物体間の関係を検出する関係抽出部と、
前記物体検出部による検出結果と前記画像特徴抽出部により抽出された各物体の画像特徴量と前記関係抽出部による検出結果を用いて、前記フレームのそれぞれで検出された物体どうしが互いに同一物体であるとされるか否かを判定することにより、物体の移動経路を検出する移動経路検出部と、
前記移動経路検出部による検出結果である物体の移動経路に関する情報を保存する解析データ蓄積部を備え、
前記移動経路検出部が用いる情報には、
前記物体検出部による検出結果としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、当該物体の識別情報、及び、フレーム画像内での位置の情報と、
前記画像特徴抽出部により抽出された各物体の画像特徴量としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、画像特徴量ベクトルの情報と、
前記関係抽出部による検出結果としての、前記フレームのそれぞれにおいて検出された物体の組み合わせのそれぞれのうち、物体間の関係が検出された物体の組み合わせについての、当該組み合わせに含まれる物体のそれぞれの識別情報が含まれ、
前記移動経路検出部は、
物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第１の距離(d1)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することと、
前記あるフレームにおいて検出された物体と、前記別のフレームにおいて検出された物体が前記第１の距離(d1)に基づいては同一物体とは判定されなかった場合であって、かつ、前記あるフレームにおいて検出された物体との関係が検出されている物体と、前記別のフレームにおいて検出された物体との関係が検出されている物体が同一物体とされる場合に、物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第２の距離(d2)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することであって、前記第２の距離(d2)のために用いる重要度においては、前記第１の距離(d1)のために用いる重要度におけるよりも、前記画像特徴量の重要度が上げられている、前記判断をすることを、実行するものである、
物体追跡システム。
【請求項4】
撮影された物体を追跡する物体追跡システムであって、入力された画像データの各フレームから物体を検出する物体検出部と、
前記検出された各物体の画像特徴量を抽出する画像特徴抽出部と、
前記各フレーム内に存在する複数の物体間の関係を検出する関係抽出部と、
前記物体検出部による検出結果と前記画像特徴抽出部により抽出された各物体の画像特徴量と前記関係抽出部による検出結果とを、解析データとして保存する解析データ蓄積部と、
前記解析データ蓄積部に蓄積された解析データを検索して、選択された第１物体と同一物体であるとされる物体である尤もらしさの高い順に、前記フレームのそれぞれで検出された物体の追跡結果を並べる検索部を備え、
前記解析データ蓄積部は、
前記物体検出部による検出結果としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、当該物体の識別情報と、
前記画像特徴抽出部により抽出された各物体の画像特徴量としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、画像特徴量ベクトルの情報と、
前記関係抽出部による検出結果としての、前記フレームのそれぞれにおいて検出された物体の組み合わせのそれぞれのうち、物体間の関係が検出された物体の組み合わせについての、当該組み合わせに含まれる物体のそれぞれの識別情報を、
前記解析データとして保存するものであり、
前記検索部は、
前記第１物体と前記フレームのそれぞれにおいて検出された物体の間の画像特徴量ベクトルにおける距離に基づいて、前記フレームのそれぞれにおいて検出された物体が前記第１物体と同一物体である尤もらしさの高さを判断し、当該判断の結果に基づいて、尤もらしさの高さの順に、前記フレームのそれぞれで検出された物体の追跡結果を並べることにより、一次検索結果を形成することと、
前記第１物体との関係が検出された物体と、前記フレームのそれぞれにおいて検出された物体との関係が検出された物体の間の画像特徴量ベクトルにおける距離に基づいて、前記フレームのそれぞれにおいて検出された物体が前記第１物体と同一物体である尤もらしさの高さを判断し、当該判断の結果に基づいて、尤もらしさの高さの順に、前記一次検索結果に含まれる、前記フレームのそれぞれで検出された物体の追跡結果を並べ替えることにより、並び替えた後の検索結果を形成することと、を行うものである、
物体追跡システム。
【請求項5】
請求項４に記載の物体追跡システムであって、
前記物体追跡システムは、更に、出力部を備えるものであり、
前記出力部は、前記一次検索結果と、前記並べ替えた後の検索結果のうち、一方または両方を表示するように制御するものである、
物体追跡システム。
【請求項6】
請求項５に記載の物体追跡システムであって、
前記出力部は、前記並べ替えた後の検索結果を表示するように制御する際には、物体間の関係が検出された物体の画像どうしを対応付けて表示させるように制御するものである、
物体追跡システム。
【請求項7】
請求項４に記載の物体追跡システムであって、
前記物体追跡システムは、更に、検索難易度判定部と、出力部を備えるものであり、
前記検索難易度判定部は、
前記第１物体の画像または当該第１物体の画像の画像特徴量に基づいて、前記第１物体の画像の検索難易度を計算することと、
前記第１物体に関係する物体の画像または当該関係する物体の画像特徴量に基づいて、前記第１物体に関係する物体の検索難易度を計算することと、を行うものであり、
前記検索部は、
前記第１物体の画像の検索難易度のほうが、前記第１物体に関係する物体の画像の検索難易度よりも低い場合には、前記一次検索結果を、表示するものとして決定することと、
前記第１物体に関係する物体の画像の検索難易度のほうが、前記第１物体の画像の検索難易度よりも低い場合には、前記並べ替えた後の検索結果を、表示するものとして決定することと、を行うものであり、
前記出力部は、前記一次検索結果と、前記並べ替えた後の検索結果のうち、表示するものとして決定されたほうの検索結果を表示するように制御するものである、
物体追跡システム。
【請求項8】
計算機を用いて、撮影された物体を追跡する物体追跡方法であって、前記物体追跡方法は、前記計算機が、
入力された画像データの各フレームから物体を検出することと、
前記検出された各物体の画像特徴量を抽出することと、
前記各フレーム内にある複数の物体間の関係を検出することと、
前記各物体の検出結果と前記各物体の画像特徴量と前記検出された各関係とを、解析データとして保存することと、
前記解析データを検索して、選択された第１物体と同一物体であるとされる物体であるか否かを、前記フレームのそれぞれで検出された物体について判定することを含むものであり、
前記解析データは、
前記各物体の検出結果としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、当該物体の識別情報、及び、フレーム画像内での位置の情報と、
前記各物体の画像特徴量としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、画像特徴量ベクトルの情報と、
前記検出された各関係としての、前記フレームのそれぞれにおいて検出された物体の組み合わせのそれぞれのうち、物体間の関係が検出された物体の組み合わせについての、当該組み合わせに含まれる物体のそれぞれの識別情報を含むものであり、
前記解析データを検索して、前記判定することは、
物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第１の距離(d1)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することと、
前記あるフレームにおいて検出された物体と、前記別のフレームにおいて検出された物体が前記第１の距離(d1)に基づいては同一物体とは判定されなかった場合であって、かつ、前記あるフレームにおいて検出された物体との関係が検出されている物体と、前記別のフレームにおいて検出された物体との関係が検出されている物体が同一物体とされる場合に、物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第２の距離(d2)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することであって、前記第２の距離(d2)のために用いる重要度においては、前記第１の距離(d1)のために用いる重要度におけるよりも、前記画像特徴量の重要度が上げられている、前記判断をすることを、含むものである、
物体追跡方法。
【請求項9】
計算機を用いて、撮影された物体を追跡する物体追跡方法であって、前記物体追跡方法は、前記計算機が、
入力された画像データの各フレームから物体を検出することと、
前記検出された各物体の画像特徴量を抽出することと、
前記各フレーム内にある複数の物体間の関係を検出することと、
前記各物体の検出結果と前記各物体の画像特徴量と前記検出された各関係を用いて、前記フレームのそれぞれで検出された物体どうしが互いに同一物体であるとされるか否かを判定することにより、物体の移動経路を検出することと、
検出結果である物体の移動経路に関する情報を保存することを含むものであり、
前記物体の移動経路を検出することにおいて用いられる情報には、
前記各物体の検出結果としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、当該物体の識別情報、及び、フレーム画像内での位置の情報と、
前記各物体の画像特徴量としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、画像特徴量ベクトルの情報と、
前記検出された各関係としての、前記フレームのそれぞれにおいて検出された物体の組み合わせのそれぞれのうち、物体間の関係が検出された物体の組み合わせについての、当該組み合わせに含まれる物体のそれぞれの識別情報が含まれ、
前記物体の移動経路を検出することは、
物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第１の距離(d1)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することと、
前記あるフレームにおいて検出された物体と、前記別のフレームにおいて検出された物体が前記第１の距離(d1)に基づいては同一物体とは判定されなかった場合であって、かつ、前記あるフレームにおいて検出された物体との関係が検出されている物体と、前記別のフレームにおいて検出された物体との関係が検出されている物体が同一物体とされる場合に、物体間のフレーム画像内での位置における距離と、物体間の画像特徴量ベクトルにおける距離に基づいて、重要度による重みを付けて得る第２の距離(d2)を用いて、あるフレームにおいて検出された物体と、別のフレームにおいて検出された物体が同一物体であるか否かを判断することであって、前記第２の距離(d2)のために用いる重要度においては、前記第１の距離(d1)のために用いる重要度におけるよりも、前記画像特徴量の重要度が上げられている、前記判断をすることを、含むものである、
物体追跡方法。
【請求項10】
計算機を用いて、撮影された物体を追跡する物体追跡方法であって、前記物体追跡方法は、前記計算機が、
入力された画像データの各フレームから物体を検出することと、
前記検出された各物体の画像特徴量を抽出することと、
前記各フレーム内にある複数の物体間の関係を検出することと、
前記各物体の検出結果と前記各物体の画像特徴量と前記検出された各関係とを、解析データとして保存することと、
前記解析データを検索して、選択された第１物体と同一物体であるとされる物体である尤もらしさの高い順に、前記フレームのそれぞれで検出された物体の追跡結果を並べることを含むものであり、
前記解析データは、
前記各物体の検出結果としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、当該物体の識別情報と、
前記各物体の画像特徴量としての、前記フレームのそれぞれにおいて検出された物体のそれぞれについての、画像特徴量ベクトルの情報と、
前記検出された各関係としての、前記フレームのそれぞれにおいて検出された物体の組み合わせのそれぞれのうち、物体間の関係が検出された物体の組み合わせについての、当該組み合わせに含まれる物体のそれぞれの識別情報を含むものであり、
前記解析データを検索して、前記物体の追跡結果を並べることは、
前記第１物体と前記フレームのそれぞれにおいて検出された物体の間の画像特徴量ベクトルにおける距離に基づいて、前記フレームのそれぞれにおいて検出された物体が前記第１物体と同一物体である尤もらしさの高さを判断し、当該判断の結果に基づいて、尤もらしさの高さの順に、前記フレームのそれぞれで検出された物体の追跡結果を並べることにより、一次検索結果を形成することと、
前記第１物体との関係が検出された物体と、前記フレームのそれぞれにおいて検出された物体との関係が検出された物体の間の画像特徴量ベクトルにおける距離に基づいて、前記フレームのそれぞれにおいて検出された物体が前記第１物体と同一物体である尤もらしさの高さを判断し、当該判断の結果に基づいて、尤もらしさの高さの順に、前記一次検索結果に含まれる、前記フレームのそれぞれで検出された物体の追跡結果を並べ替えることにより、並び替えた後の検索結果を形成することを、含むものである、
物体追跡方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体追跡システムおよび方法に関する。
【背景技術】
【0002】
特許文献１には、「第１の場所で撮影された複数のフレームからなる第１の映像、および、第２の場所で撮影された複数のフレームからなる第２の映像のそれぞれから、一つ以上の移動体の移動経路を検出して記憶装置に格納し、第１の映像から検出された一つ以上の移動体のうち選択された移動体の、フレームごとの画像特徴量を抽出して記憶装置に格納し、第１の映像から検出された選択された移動体の移動経路、および、第２の映像から検出された一つ以上の移動体の移動経路に基づいて、抽出した画像特徴量のうち、検索クエリとして使用するクエリ画像特徴量を選択し、クエリ画像特徴量を用いて、第２の映像から抽出された一つ以上の移動体の画像特徴量を検索し、検索の結果を出力する映像検索装置。」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１１４６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
物体追跡システムの用途として、例えば不審荷物の追跡がある。不審荷物の追跡では、追跡実行者であるユーザが、入力装置を用いて、追跡したい荷物の写っている画像をクエリとして選択する。これにより、検索装置は、選択された画像に写っている荷物と一致する荷物の画像及び撮影位置などのメタ情報を記憶装置から抽出し、抽出した荷物の情報を追跡結果として表示装置に表示させる。この追跡の際、検索装置は、記憶装置に保存されている映像データ中の多種多様な荷物の中から、ユーザの選択した荷物を見つけて情報を抽出する必要がある。
【0005】
特許文献１には、一つの映像から追跡対象の物体の移動経路を検出し、その検出結果から得られる追跡対象の複数枚の画像を用いて検索することにより、検索精度を向上させる方法が記載されている。
【0006】
しかし、特許文献１に記載の技術には、以下の二つの課題がある。一つ目の課題は、物体の検出漏れや遮蔽などにより、物体の移動経路の検出精度が低下することである。移動経路を検出する場合、映像から取得される複数のフレームについて、各フレーム内で物体を検出して物体の位置を特定し、フレーム間でそれらの検出結果を連結する。しかし、物体の検出漏れや物体の遮蔽により、フレーム内で物体を検出できない場合、同一物体の各フレームの検出位置が乖離し、フレーム間での連結ができないことがある。このような場合、検索に利用できる画像枚数は少なくなり、検索精度の向上は見込めない。
【0007】
二つ目の課題は、追跡対象物体が例えば黒い荷物などのように、画像特徴が乏しい物体である場合、複数の画像を用いて検索しても検索精度が向上しないことである。画像を用いた検索では、画像を特徴量という数値ベクトルに変換して検索を実施する。この変換では、同一の物体の異なる画像でも類似するベクトルになるように、物体の特徴を捉えた変換方法を用いる。しかし、黒い荷物などの特徴が少ない物体の画像では、特徴量も凡庸なものになることが多いため、多量の画像の中から同一物体の画像を見つけ出すのは困難になる。したがって、画像特徴量の乏しい画像を複数利用したとしても検索精度の向上は見込めない。
【0008】
そこで、本発明は、検索精度を向上できるようにした物体追跡システムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決すべく、本発明の一つの観点に従う物体追跡システムは、撮影された物体を追跡する物体追跡システムであって、入力された画像データの各フレームから物体を検出する物体検出部と、検出された各物体の画像特徴量を抽出する画像特徴抽出部と、各フレーム内に存在する複数の物体間の関係を検出する関係抽出部と、物体検出部による検出結果と画像特徴抽出部により抽出された各物体の画像特徴量と関係抽出部による検出結果とを、解析データとして保存する解析データ蓄積部と、解析データ蓄積部に蓄積された解析データを検索する検索部であって、選択された第１物体についての第１検索結果を、第１物体に関係する第２物体についての第２検索結果に基づいて変更する検索部と、を備える。
【発明の効果】
【0010】
本発明によれば、画像データ中の第１物体を検索して追跡する際に、第１物体と関係のある第２物体についての検索結果を利用するため、第１物体の検索精度を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る物体追跡システムの概要図。
【図2】物体追跡システムのブロック図。
【図3】「画像解析処理」としての映像解析処理のフローチャート。
【図4】物体検出結果を示すテーブル。
【図5】物体間の関係を検出した結果のテーブル。
【図6】画像内の物体の位置と物体の画像特徴量とを用いて物体を追跡する処理のフローチャート。
【図7】物体追跡の結果を表示する画面例。
【図8】追跡処理のフローチャート。
【図9】物体追跡の結果を表示する画面例。
【図10】第２実施例に係り、物体追跡システムのブロック図。
【図11】画像解析処理のフローチャート。
【図12】物体の移動経路を検出した結果のテーブル。
【図13】第３実施例に係り、物体追跡システムのブロック図。
【図14】物体追跡処理のフローチャート。
【図15】物体追跡の結果を表示する画面例。
【発明を実施するための形態】
【0012】
以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、ユーザが高速かつ正確に追跡対象物体を追跡できるように、高精度な画像検索を行うことのできる物体追跡システムを開示する。本実施形態では、画像データのフレーム内で各物体を検出するするのに加えて、物体間の関係も検出する。本実施形態では、検出された関係を物体の移動経路の検出と画像検索の結果の並び替えとに利用することにより、物体の検索精度を向上させることができる。
【実施例1】
【0013】
図１～図９を用いて第１実施例を説明する。本実施例では、物体追跡システム１の一例として、「第１物体」として荷物を追跡する例を説明する。追跡対象物体である「第１物体」の荷物と関係を持つ「第２物体」として人を例に挙げる。以下、「第１物体」としての追跡対象物体を追跡対象と略記する場合がある。追跡対象物体と関係する「第２物体」を関係物体と呼ぶ。
【0014】
追跡対象物体は、荷物に限定されない。撮影可能であって、移動可能な物体であれば本システムで追跡することができる。本実施例では、可視光で撮影された画像データを例に挙げて説明するが、可視光に限らず、赤外線または紫外線などで撮影された画像データにも適用することができる。
【0015】
本実施例の物体追跡システム１は、例えば、「映像の入力を行う映像入力部と、映像の各フレームにある物体を検出する物体検出部と、前記物体検出部で検出された物体の画像特徴量を抽出する画像特徴抽出部と、映像の各フレームにある物体間の関係を検出する関係検出部と、前記物体検出部の検出結果、前記画像特徴抽出部で抽出された特徴量、及び前記関係検出部の検出結果を保存する解析データ蓄積部と、検索クエリの入力を行うクエリ入力部と、前記物体間の関係検出により得られた結果を用いて検索クエリにより得られた検索結果を変更する検索部と、前記検索部が検索した結果を表示する表示部を備えるシステム」と表現することもできる。
【0016】
図１は、物体追跡システム１の全体概要図である。物体追跡システム１は、物体追跡装置１００を有する。物体追跡装置１００は、図２で後述するように、物理的計算機または仮想的計算機を用いて生成することができる。一つの計算機から一つまたは複数の物体追跡装置１００を生成してもよいし、連携する複数の計算機から一つまたは複数の物体追跡装置１００を生成してもよい。
【0017】
物体追跡装置１００の詳細な構成例は図２で後述するが、例えば、物体追跡装置１００は、物体検出部１１０と、画像特徴抽出部１２０と、関係検出部１３０と、解析データ蓄積部１４０と、検索部１５０と、ユーザインターフェース部１６０を含む。図中、ユーザインターフェースをＵＩと略記する。
【0018】
物体検出部１１０は、一つまたは複数のカメラ１０１からの画像データ（動画像データであり、以下では映像とも呼ぶ）を解析することにより、フレームごとに物体を検出する機能を持つ。検出された物体の情報は、画像特徴抽出部１２０と関係検出部１３０とに送られる。
【0019】
カメラ１０１は、例えば、駅、空港、港、道路、オフィス、公共施設、商業施設などに設けられた監視カメラである。カメラ１０１は、特定の場所に固定されている必要はなく、いわゆるスマートフォンのようなカメラを内蔵する移動端末のように、移動可能であってもよい。図１では、カメラ１０１で撮影した画像データが物体検出部１１０に直接入力されるかのように示すが、図２で後述するように、物体検出部１１０は、画像記憶装置１０２から画像データを読み出して解析する。
【0020】
画像特徴抽出部１２０は、検出された物体の特徴を抽出し、画像特徴量を算出する機能を持つ。抽出された画像の特徴（特徴量）は、解析データ蓄積部１４０へ送られる。関係検出部１３０は、同一フレーム内で検出された複数の物体に関係があるか判定し、その判定結果（関係の検出結果）を解析データ蓄積部１４０へ送る。
【0021】
解析データ蓄積部１４０は、物体検出部１１０による物体の検出結果と、画像特徴抽出部１２０により抽出された各物体の画像特徴量と、関係抽出部１３０により検出された物体間の関係とを、解析データとして保存する。
【0022】
検索部１５０は、ユーザがユーザインターフェース部１６０を介して入力する検索クエリにしたがって解析データ蓄積部１４０に蓄積された解析データを検索し、その検索結果をユーザインターフェース部１６０からユーザへ提供する。さらに、検索部１５０は、追跡対象物体を検索した結果を、その追跡対象物体に関係する物体の検索結果に基づいて並べ替える検索結果変更部１５１を有する。
【0023】
図１の下側に、追跡対象物体ＴＯ１に関係する物体ＴＯ２を用いて、追跡対象物体ＴＯ１を追跡する方法を示す。この例では、追跡対象物体ＴＯ１は旅行鞄などの荷物である。追跡対象物体ＴＯ１に関係する物体ＴＯ２は、荷物を持っている人である。説明の便宜上、連続した４個のフレームの画像を例に挙げて説明する。
【0024】
第１フレームの画像では、追跡対象物体ＴＯ１（１）と関係物体ＴＯ２（１）とが検出されている。同様に第２フレームの画像では、追跡対象物体ＴＯ１（２）と関係物体ＴＯ２（２）とが検出されている。
【0025】
第３フレームの画像では、追跡対象物体ＴＯ１が歩行者などの障害物ＨＯによって隠されてしまっているため、関係物体ＴＯ２（３）だけが検出される。第４フレームの画像では、追跡対象物体ＴＯ１（４）と関係物体ＴＯ２（４）が検出されている。
【0026】
追跡対象物体ＴＯ１と関係物体ＴＯ２について、位置的な距離の差ΔＬと画像特徴量の差ΔＦとを算出することができる。位置的な距離の差ΔＬとは、画像内での物体の位置座標の差である。画像特徴量の差ΔＦとは、物体から抽出される特徴量の差である。
【0027】
変数ΔＬ１は、比較対象のフレーム間での追跡対象物体ＴＯ１の位置的な距離を示す。変数ΔＬ２は、比較対象のフレーム間での関係物体ＴＯ２の位置的な距離の差を示す。変数ΔＦ１は、比較対象のフレーム間での追跡対象物体ＴＯ１の画像特徴量の差を示す。変数ΔＦ２は、比較対象のフレーム間での関係物体ＴＯ２の画像特徴量の差を示す。
【0028】
第１フレームの画像と第２フレームの画像との間で追跡対象物体ＴＯ１の変化を比べると、追跡対象物体ＴＯ１（１）と追跡対象物体ＴＯ１（２）との位置的な距離の差ΔＬ１は「０．１」であり、画像特徴量の差ΔＦ１は「０．１」である。ここで説明する例では、比較される物体間の画像特徴量の差ΔＦが「０．１」より小さい場合、同一物体であると判定される。
【0029】
第１フレームの画像と第２フレームの画像との間で関係物体ＴＯ２の変化を比べると、関係物体ＴＯ２（１）と関係物体ＴＯ２（２）の位置的な距離の差ΔＬ２は「０．１」であり、画像特徴量の差ΔＦ２は「０．１」である。
【0030】
第３フレームの画像では、上述の通り、障害物ＨＯが追跡対象物体ＴＯ１の一部または全部を隠しているため、追跡対象物体ＴＯ１を検出することができない。関係物体ＴＯ２（３）は検出されている。
【0031】
第４フレームの画像では、追跡対象物体ＴＯ１（４）が再出現するが、直近で検出された追跡対象物体ＴＯ１（２）との位置的な距離の差ΔＬ１は「０．８」であり、画像特徴量の差ΔＦ１は「０．１」である。
【0032】
すなわち、第４フレームの画像では、第２フレームの画像まで検出されていた物体ＴＯ１に対する追跡がいったん途切れ、新たに物体ＴＯ１に対する追跡が開始される。この場合、追跡対象物体ＴＯ１（４）に関係する物体ＴＯ２（４）が検出されると、その関係物体ＴＯ２（４）に対応する物体ＴＯ１（２）の存在が画像データを遡って検査される。関係物体ＴＯ２（４）が過去に関係づけられていた物体ＴＯ１（２）（第２フレーム内の追跡対象物体ＴＯ１（２））と最新フレーム内の追跡対象物体ＴＯ１（４）との画像特徴量の差ΔＬ１は「０．１」と小さく、同一物であると判定される。
【0033】
第２フレームの画像と第４フレームの画像を比較すると、追跡対象物体ＴＯ１の位置的な距離の差ΔＬ１は「０．８」と大きいが、画像特徴量の差ΔＦ１は「０．１」と小さい。そこで、本実施例では、位置的な距離の差ΔＬの重みと画像特徴量の差ΔＦの重みとを、関係物体ＴＯ２の存在に応じて変更する。この例では、位置的な距離の差ΔＬ１の重みを小さくし、画像特徴量の差ΔＦ１の重みを大きくする。これにより、フレームの離れた画像間でも、追跡対象物体ＴＯ１を検出して追跡することができる。
【0034】
図２は、物体追跡システム１のブロック図である。物体追跡システム１は、例えば、物体追跡装置１００を含んで構成される。物体追跡システム１は、さらに、カメラ１０１を含んでもよい。物体追跡システム１は、通信ネットワークＣＮを介して、外部の計算機２と連携することもできる。外部の計算機２は、施設監視システムなどである。
【0035】
物体追跡装置１００は、例えば、マイクロプロセッサ（図中、ＣＰＵ）１０４と、メモリ１０５と、インターフェース１０６を備える計算機上に設けられる。マイクロプロセッサ１０４は、メモリ１０５に記憶された所定のコンピュータプログラムを実行することにより、後述する各機能１０２，１０３，１１０－１５０，１４１，１７１－１７４を実現させる。メモリ１０５は、主記憶装置および補助記憶装置を含む。
【0036】
インターフェース１０６は、例えば、入出力インターフェースおよび通信インターフェースを含む。
【0037】
外部の記憶媒体ＭＭは、例えば、フラッシュメモリ、ハードディスク、磁気テープ、光ディスクなどの不揮発性の書き換え可能な記憶媒体として構成されており、コンピュータプログラムを長時間保持することができる。記憶媒体ＭＭに記憶されたコンピュータプログラムをメモリ１０５へ転送して記憶させることもできるし、メモリ１０５に記憶されたコンピュータプログラムを記憶媒体ＭＭへ転送して記憶させることもできる。
【0038】
物体追跡装置１００は、例えば、画像記憶装置１０２、画像入力部１０３、物体検出部１１０、画像特徴抽出部１２０、関係検出部１３０、解析データ蓄積部１４０、解析データ記憶装置１４１、入力装置１７１、クエリ入力部１７２、検索部１５０、出力部１７３、出力装置１７４といった要素を含む。以下で各要素について説明する。
【0039】
画像記憶装置１０２は、屋内または屋外に設置されたカメラ１０１などの撮像装置から得られる映像（画像データ）を記憶する装置である。画像記憶装置１０２は、例えば、ハードディスクドライブまたはソリッドステートドライブなどの補助記憶装置、あるいは画像データを一時的に記憶するメモリなどの主記憶装置である。画像記憶装置１０２に記憶された画像データは、解析の要否に応じて、画像入力部１０３に読み出される。解析対象の画像データは、主に映像のような動画像データであるが、順番の明らかな複数の静止画像データであってもよい。
【0040】
画像入力部１０３は、画像記憶装置１０２に記憶された画像データを読み出して、物体検出部１１０及び関係検出部１３０へ送信する。画像入力部１０３が画像記憶装置１０２から画像データを読み出すタイミングは、ユーザが解析の実施を指示した時でもよいし、新しい画像データが画像記憶装置１０２に保存されたことを検知した時でもよい。
【0041】
物体検出部１１０は、画像入力部１０３から取得された画像データに対して、各フレーム内に存在する物体を検出し、その種類と画像内での位置とを特定する。検出により得られた情報は、各フレーム画像とともに画像特徴抽出部１２０へ送信される。フレームの画像データを、以下では、フレーム画像または画像と略記する場合がある。
【0042】
画像特徴抽出部１２０は、物体検出部１１０から取得されたフレーム画像と当該フレーム画像内の物体の位置の情報とを用いて、フレーム画像内の各物体の画像特徴量を抽出する。抽出された画像特徴量と、物体検出部１１０から得られたフレーム画像および物体の情報とは、解析データ蓄積部１４０へ送信される。
【0043】
関係検出部１３０は、画像入力部１０３から取得されたフレーム画像に対して、各フレーム内に存在する物体間の関係を検出し、関係の種別と、関係する物体の組み合わせとを特定する。関係検出部１３０は、物体検出部１１０により検出された各物体の中から２つの検出結果を選択することにより、組み合せを特定する。関係検出部１３０により得られた情報は、解析データ蓄積部１４０へ送信される。
【0044】
解析データ蓄積部１４０は、画像特徴抽出部１２０からの情報と、関係検出部１３０からの情報とを取得し、それらの情報を解析データ記憶装置１４１へ送信する。解析データ蓄積部１４０は、ユーザが物体追跡装置１００に追跡を実行させる場合、検索クエリのデータおよび検索対象のデータを解析データ記憶装置１４１から読み出して、検索部１５０へ送信する。
【0045】
解析データ記憶装置１４１は、解析された画像データデータおよび解析結果のデータを記憶する装置である。解析データ記憶装置１４１は、例えば、ハードディスクドライブまたはソリッドステートドライブなどの補助記憶装置、あるいはメモリなどの主記憶装置である。解析データ記憶装置１４１と画像記憶装置１０２とは、共通の記憶装置を用いて構成されてもよい。画像データの解析時または追跡対象の追跡時に、解析データ蓄積部１４０を介して、解析データ記憶装置１４１に対する解析データの読み出しおよび書き込みが行われる。
【0046】
入力装置１７１は、ユーザが物体追跡装置１００へ指示したり情報を与えたりする装置である。入力装置１７１は、例えば、マウスなどのポインティングデバイス、タッチパネル、キーボードなどである。ユーザの視線を検知することにより情報を入力する装置を用いてもよい。ユーザは、入力装置１７１を用いることにより、追跡対象物体を指定したり、追跡開始を指示したりする。
【0047】
クエリ入力部１７２は、入力装置１７１を介してユーザによる追跡対象の決定を受け付ける。クエリ入力部１７２は、追跡対象となる物体のクエリを、解析データ記憶装置１４１に蓄積されたデータの中から決定する。決定されたクエリの情報は、検索部１５０へ送信される。
【0048】
検索部１５０は、クエリ入力部１７２からクエリの情報を取得すると、クエリとなる物体の画像および画像特徴量などのデータと、検索対象となる物体の画像および画像特徴量などのデータとを、解析データ蓄積部１４０から取得する。検索部１５０は、取得されたこれらのデータを用いて、追跡対象の物体を検索対象の物体の中から見つけ出す。検索部１５０は、検索対象の中から見つかった追跡対象のデータを追跡結果として、出力部１７３へ送信する。
【0049】
出力部１７３は、検索部１５０から検索結果を取得し、ユーザに結果を表示するためのグラフィックユーザーインターフェース（ＧＵＩ）を作成する。作成したＧＵＩは表示するために出力装置１７４へ送信される。
【0050】
出力装置１７４は、出力部１７３から取得したＧＵＩを表示するためのモニタディスプレイなどの表示装置である。ユーザは出力装置１７４に表示された解析結果を見ることにより、追跡対象を決定したり、追跡対象の追跡結果を確認したりする。出力装置１７４は、モニタディスプレイに限らず、プリンタでもよい。
【0051】
図３は、画像解析処理を示すフローチャートである。本処理は、ユーザが解析開始を指示した場合、あるいは新しい画像データが画像記憶装置１０２に保存された場合に、開始される。
【0052】
最初に、画像入力部１０３は、画像記憶装置１０２から解析対象の画像データを取得する（Ｓ１０１）。上述の通り、画像データは、動画形式であってもよいし、時系列的に並べられた画像シーケンスであってもよい。各画像データは、メタ情報を含んでいる。メタ情報には、いつどのカメラで撮影されたデータであるかの情報と、ＦＰＳ（Frame Per Second）などが含まれる。
【0053】
物体検出部１１０は、画像入力部１０３から解析対象の画像データを取得し（Ｓ１０２）、取得された画像データに含まれる物体を検出する（Ｓ１０３）。画像内の物体を検出する処理は、画像データの各フレーム画像に対して個別に行われる。
【0054】
物体の検出方法としては、例えばＣＮＮ（Convolutional neural network）を用いることができる。ＣＮＮは、ニューラルネットワークの一種であり、ニューラルネットワーク内のパラメータを学習することにより、様々な推論を行えるようになる。本実施例では、ＣＮＮを物体検出部として利用し、画像を入力すると画像内の物体の位置および種類を出力できるように予め学習させておく。物体検出部１１０は、検出対象の物体が複数個写っている場合には、それら全ての物体の位置と種類を出力する。
【0055】
物体検出部１１０は、検出された物体の位置と種類と画像（フレーム画像）を画像特徴抽出部１２０へ送信する（Ｓ１０４）。
【0056】
画像特徴抽出部１２０は、物体検出部１１０から取得した物体の位置およびフレーム画像を使って物体の画像を切り出し、切り出された画像の特徴を抽出する（Ｓ１０５）。特徴抽出の方法として、例えばＣＮＮを用いて画像を数値ベクトルに変換する。ＣＮＮは予め、同一物体の画像に対しては、画像が異なっても類似するベクトルを出力し、異なる物体の画像に対しては差異の大きいベクトルを出力するように学習させておく。こうすることで、変換により得られた数値ベクトルは、画像内の物体の特徴を表すものとなり、画像検索の際には検索クエリ画像の数値ベクトルと検索対象画像の数値ベクトルの類似度を計算すればよくなる。
【0057】
画像を数値ベクトルに変換する特徴抽出器は、例えば荷物画像用の特徴抽出器と人画像用の特徴抽出器など、物体の種類ごとに複数個用意してもよいし、物体の種類に依らず画像に対して類似する数値ベクトルを出力する特徴抽出器を一個用意してもよい。特徴抽出器を複数個用意した場合には、数値ベクトルを用いた検索精度が向上する利点があり、一個用意した場合には、特徴抽出処理を簡略化し、かつパラメータ保存のための記憶装置の記憶領域を節約できる利点がある。
【0058】
画像特徴抽出部１２０は、ステップＳ１０３で検出された物体の位置と種類と切り出された画像と、ステップＳ１０５で抽出された画像特徴量とを、解析データ蓄積部１４０へ送信する（Ｓ１０６）。
【0059】
一方、関係検出部１３０は、画像入力部１０３から解析対象の画像データを取得し（Ｓ１０７）、取得された画像データに対して物体間の関係を検出する（Ｓ１０８）。物体間の関係を検出する処理は、画像データ内の各フレーム画像に対して個別に行う。
【0060】
物体間の関係を検出する方法として、例えばＣＮＮを用いる。ＣＮＮを物体間の関係検出器として利用し、画像を入力すると画像内の物体間に関係がある組み合わせを特定し、その組み合わせと関係の種類を出力できるように予め学習させておく。検出対象の物体間の関係が複数個ある場合には、全ての物体間の組み合わせとその種類を出力する。この検出器は、ステップＳ１０３で用いられた物体検出器と同一のＣＮＮを用いてもよい。その場合、ＣＮＮは画像内の物体を検出し、かつ物体間の関係も同時に検出するように学習させておく。このように一つのＣＮＮを類似する複数の用途のために学習させておくと、各用途の精度が上がる利点がある。また、パラメータ保存のための記憶装置の記憶領域を節約できる利点がある。
【0061】
関係検出部１３０は、ステップＳ１０８で検出された物体間の関係の組み合わせや種類を、解析データ蓄積部１４０へ送信する。
【0062】
解析データ蓄積部１４０は、物体検出部１１０から取得した物体の画像や位置、種類、および画像特徴量と、関係検出部１３０から取得した物体間の関係の組み合わせ、および種類とを、解析データ記憶装置１４１に保存し、本処理を終了する。
【0063】
図３に示す画像解析処理により、画像データの各フレーム画像内に映るそれぞれの物体単体の情報に加えて、物体間の関係の情報も解析データとして蓄積できる。従来技術では各物体単体の情報のみを利用して追跡対象を検索するが、本実施例では、物体間の関係の情報も利用することで、検索精度を上げることができる。
【0064】
図４は、物体の検出結果を保存するテーブルＴ１を示す。テーブルＴ１に示すように、検出された物体の情報が各行に保存されている。
【0065】
物体ＩＤ Ｃ１１は、テーブル内で検出結果をユニークに特定するＩＤである。物体クラスＣ１２は、物体検出部１１０により特定された物体の種類である。フレームＩＤ Ｃ１３は、物体が検出されたフレームをユニークに特定するＩＤであり、画像データの各フレームに割り当てられたＩＤに一致する。物体位置Ｃ１４は、フレーム画像内での物体の位置を表している。本実施例では、画像の左上を原点とし、右方向をｘ軸の正方向、下方向をｙ軸の正方向としたときの（ｘ，ｙ）座標と物体の幅および高さ（ｗ，ｈ）を用いて（ｘ，ｙ，ｗ，ｈ）の形で、物体位置を表す。画像特徴量Ｃ１５は、画像特徴抽出部１２０により画像から変換して得られた数値ベクトルを表している。
【0066】
図５は、物体間の関係の検出結果を保存するテーブルＴ２を示す。テーブルＴ２に示すように、検出された物体間の関係の情報が各行に保存されている。
【0067】
関係ＩＤ Ｃ２１は、テーブル内でユニークに検出結果を特定するＩＤである。関係クラスＣ２２は、関係検出部１３０により特定された物体間の関係の種類である。フレームＩＤ Ｃ２３は、物体間の関係が検出されたフレームをユニークに特定するＩＤであり、画像データの各フレームに割り当てられたＩＤ Ｃ１３に一致する。物体ＩＤ１および物体ＩＤ２は、関係している物体の組み合わせを示すためのＩＤであり、図４のテーブルＴ１の物体ＩＤ Ｃ１１を指すことでフレーム内の物体の組み合わせを示している。
【0068】
図６は、画像内の物体の位置および物体の画像特徴量を用いて、物体を追跡する処理を示すフローチャートである。追跡処理は、画像内の物体の位置を用いるため、同一カメラ内のフレーム間で追跡を行う場合に実施される。本処理は、ユーザが追跡開始を指示したときに実行される。
【0069】
ステップＳ１２１では、ユーザにより選択された追跡対象となる物体を取得する。追跡対象の物体を選択する方法として、例えば以下の方法がある。検索部１５０は、解析データ記憶装置１４１に記憶されている物体画像を、出力部１７３を介して出力装置１７４に表示させる。ユーザは、入力装置１７１を用いて、表示された物体の中から追跡対象の物体を一つ選択する。追跡対象の物体が選択された場合、画像記憶装置１０２に記憶されているの物体検出結果のものであるか特定できるように、検索部１５０は、画像とともに物体ＩＤを保持しておく。
【0070】
クエリ入力部１７２は、ユーザにより選択された追跡対象物体の画像の情報を検索部１５０へ送信する。クエリ入力部１７２は、例えば出力装置１７４に表示されている何番目の画像が選ばれたかを検索部１５０に送信する。これにより、検索部１５０は、表示された画像と選択された画像との対応関係を特定できる。
【0071】
検索部１５０は、追跡対象物体に紐づく情報を、物体検出結果を保存するテーブルＴ１、および物体間の関係の検出結果を保存するテーブルＴ２から抽出する。検索部１５０は、物体検出結果を保存するテーブルＴ１から、選択されたクエリの物体ＩＤと一致する物体ＩＤを持つ行のデータを抽出する。検索部１５０は、物体間の関係の検出結果を保存するテーブルＴ２から、物体ＩＤ１あるいは物体ＩＤ２が選択されたクエリの物体ＩＤと一致する行のデータを抽出する。
【0072】
検索部１５０は、検索対象となる物体の情報をテーブルＴ１およびテーブルＴ２から抽出する（Ｓ１２４）。すなわち、検索部１５０は、同一カメラ内の別フレームで検出された物体に紐づく情報を、物体検出結果テーブルＴ１と関係検出結果テーブルＴ２とから抽出する。
【0073】
画像記憶装置１０２に記憶されている解析データの量が膨大である場合、データの抽出に時間を要するため、例えば、クエリとなっている物体検出結果が得られたフレームの前後数フレームのデータに限定してデータを抽出するなどして、データ量を抑制する。
【0074】
検索部１５０は、ステップＳ１２３で取得した追跡対象の物体に紐づく情報と、ステップＳ１２４で取得した検索対象の物体に紐づく情報とを使って、検索対象の物体の中から追跡対象物体と同一の物体のデータを検索する（Ｓ１２５）。
【0075】
本実施例による追跡方法では、各フレームにおける物体の検出位置と画像特徴量とを用いて、同一物体であるかどうかの尤もらしさを計算する。前後する二つのフレームの中から同じ物体クラスを持つ物体検出結果を一つずつ選択する。これら二つの物体の画像内での物体位置の距離をｄｐ、画像特徴量ベクトルの距離をｄｖとすると、二つの物体検出結果の距離ｄ１は、式１から計算される。
【0076】
ｄ１＝αｄｐ＋βｄｖ・・・（式１）
【0077】
αは、物体位置の距離の重要度を決めるハイパーパラメータである。βは、画像特徴量の距離の重要度を決めるハイパーパラメータである。αとβは、静的に決まるパラメータである。ｄ１が小さければ小さいほど、同一物体であるかどうかの尤もらしさが大きくなり、ｄ１が閾値以下である場合には同一物体であるとする。この処理を取得した全てのデータに対して実施する。
【0078】
次に、前記の処理において追跡対象物体とは同一物体ではないと判定された検出結果に対して、追跡対象物体と関係がある物体を利用して追跡処理を行う。
【0079】
例えば、追跡対象の荷物と関係する人が存在する場合、その人を介して荷物の検出結果の紐づけを行う。追跡対象物体と関係している物体の検出結果が、追跡対象と同じ物体クラスで追跡対象の検出結果と紐づいていない検出結果とも関係している場合、その検出結果と追跡対象の検出結果の距離ｄ２を式２で計算する。
【0080】
ｄ２＝αｄｐ＋γｄｖ・・・（式２）
【0081】
ただし、γ＞βとし、ｄ１の計算と比較して画像特徴量の重要度を上げる。ｄ２が閾値以下である場合には同一物体であるとする。
【0082】
検索部１５０は、ステップＳ１２５で得られた追跡結果を出力部１７３へ送信する（Ｓ１２６）。追跡結果の視認性を向上させるために、追跡結果の他にクエリとなった画像や追跡対象と同一物体と判定された画像、検出されたフレームなどのメタ情報も出力部１７３へ送信する。
【0083】
出力部１７３は、検索部１５０から取得した追跡結果から、ユーザが確認しやすいようにＧＵＩを作成し、出力装置１７４に表示させ（Ｓ１２７）、本処理を終了する。
【0084】
本実施例の追跡処理では、画像内の物体の位置および物体の画像特徴量を用いて、物体を追跡する。この追跡処理によれば、物体検出部１１０の検出漏れまたは障害物による遮蔽などにより追跡対象物体が検出されず、フレーム間での物体位置が離れてしまった場合でも、距離ｄ１の計算では紐づかなかった追跡について、追跡対象物体に関係する物体を利用して紐づけることができる。
【0085】
追跡対象物体が荷物などのように比較的小さい場合、通行人などの障害物によって遮蔽されやすいため、フレーム画像から検出できない可能性がある。しかし、本実施例では、追跡対象物体に紐づく人（関係物体）を介して、画像内での位置の離れた物体同士をそれら物体の画像特徴量に基づいて紐付けることができるため、検索精度が向上する。すなわち、本実施例によれば、フレーム間で画像内の位置が離れた検出結果（あるフレーム画像内の荷物と別のフレーム画像内の荷物）に対して、それらの画像特徴量を重視して紐づける距離ｄ２を用いることにより、検索精度を向上させることができる。
【0086】
図７は、物体の追跡結果を表示する画面Ｇ１である。画面Ｇ１は、例えば、検索クエリとなった荷物画像ＧＰ１１と、クエリ画像を撮影したカメラおよびフレーム番号の情報ＧＰ１２と、追跡開始ボタンＧＰ１３と、追跡対象である荷物の追跡結果ＧＰ１４と、追跡対象に関係する人の追跡結果ＧＰ１５を含む。
【0087】
図７に示すように、追跡対象物体の荷物は、フレーム＃０およびフレーム＃１では検出されているものの、フレーム＃２，＃３では検出されていない。荷物は、フレーム＃４，＃５で再び検出される。
【0088】
荷物は一時見失われるが、その荷物に関係する人は、各フレーム＃０～＃５で検出されていることがわかる。このような場合に、従来技術では、フレーム１の荷物の検出結果とフレーム４の荷物の検出結果とを紐づけるのは難しい。しかし、本実施例によれば、荷物に関係する人の検出を介することによって、画像内の位置の離れた荷物同士を紐づけることができるため、検索精度を向上できる。
【0089】
さらに、本実施例によれば、図７に示す画面Ｇ１をユーザに提供するため、いったん途切れた追跡が、関係する人によって修復できているかどうかを確認することができ、検索結果の理解を容易にすることができる。
【0090】
図８は、画像特徴量のみを用いて追跡を実施した場合において、その追跡結果を関係検出結果を用いて並べ替える物体追跡処理を示すフローチャートである。この物体追跡処理は、画像特徴量のみを用いて追跡するため、同一カメラ内の追跡だけでなく、異なるカメラ間での追跡も可能である。
【0091】
ステップＳ１２１，Ｓ１２２，ステップＳ１２３，Ｓ１２６，Ｓ１２７は、図６で述べたと同様であるため、説明を省略する。
【0092】
検索部１５０は、検索対象となる物体に紐づく情報を、物体検出結果テーブルＴ１および関係検出結果テーブルＴ２から抽出する（Ｓ１３１）。画像記憶装置１０２に記憶される解析データの量が膨大になる場合、例えば抽出するデータを、クエリとなっている物体の検出結果が得られたフレームの前後数フレームのデータに限定したり、検索対象となる物体の画像データを撮影するカメラを指定したりすればよい。
【0093】
検索部１５０は、ステップＳ１２３で取得した追跡対象に紐づく情報とステップＳ１３１で取得した検索対象に紐づく情報とを使って、検索対象物体の中から追跡対象物体と同一の物体のデータを検索する（Ｓ１３２）。
【0094】
この追跡処理では、画像特徴量のみを用いて、同一物体であるかどうかの尤もらしさを計算する。追跡対象物体のクエリ画像の画像特徴量と検索対象物体の画像の画像特徴量との距離ｄｖが閾値以下の場合は、それらは同一物体であるとする。
【0095】
距離ｄｖが小さいほど同一物体である尤もらしさが高いので、距離ｄｖが小さいものから順に検索結果に表示する。次に、追跡対象物体と関係する物体の画像の画像特徴量と、前記の処理で同一物体と判定された画像に関係している物体の画像の画像特徴量との距離を計算し、この距離が小さい順に検索結果を並べ替える（Ｓ１３２）。そして、最初の処理で得られた検索結果と並べ替えた後の検索結果の両方を検索結果として表示する。
【0096】
本処理によれば、ありふれた黒色のビジネスバッグなどのように、追跡対象物体が特徴に乏しい物体であり、検索結果の上位に追跡対象物体とは異なる物体の画像が出現する場合であっても、関係物体の画像特徴量に基づいて、追跡対象物体の検索結果を並べ替えることができる。すなわち、本処理によれば、追跡対象物体の特徴が乏しい場合でも、その追跡対象物体に関係する物体の特徴が豊富であれば、検索結果の並べ替えにより、追跡対象と一致する物体を検索結果の上位に表示することができ、追跡精度を向上させることができる。
【0097】
図９は、追跡結果表示画面Ｇ２の具体例である。画面Ｇ２は、検索クエリとなった荷物画像ＧＰ２１と、検索クエリの物体に関係している人画像ＧＰ２２と、追跡開始ボタンＧＰ２３と、追跡対象物体のクエリ画像を用いた際の一次検索結果ＧＰ２４と、関係物体の画像を用いて一次検索結果を並べ替えた場合の検索結果ＧＰ２５とを含む。
【0098】
例えば旅行用スーツケースまたはビジネスバッグなどのように、黒い荷物Ｔ０１は画像特徴に乏しく、追跡対象と同一の荷物画像を検索結果の上位に表示させるのは難しい。しかし、追跡対象物体に関係する物体である人ＴＯ２が、鮮やかな色の服装をしていたり、背がとても高いなどの特徴を有する場合、その関係物体である人ＴＯ２の画像特徴量を用いた検索は容易である。したがって、追跡対象物体の検索結果を、関係物体の画像特徴量に基づいて並べ替えることにより、追跡対象物体と同一物体の画像を検索結果の上位に表示させることができる。
【0099】
図９の例では、追跡対象物体ＴＯ１と同一なのは物体ＴＯ１ｅである。しかし、追跡対象物体ＴＯ１はありふれた色彩のありふれた形状であり、画像の特徴が少ない。したがって、追跡物体ＴＯ１の画像特徴量に基づく一次検索結果ＧＰ２４では、追跡対象物体ＴＯ１と異なる物体ＴＯ１ａ，ＴＯ１ｂの方が上位に表示されている。
しかし、本実施例では、追跡対象物体ＴＯ１に関係する関係物体ＴＯ２の画像特徴量に基づく検索結果から、一次検索結果ＧＰ２４を並べ替えることができる。
しかし、本実施例では、追跡対象物体ＴＯ１に関係する関係物体ＴＯ２の画像特徴量に基づく検索結果から、一次検索結果ＧＰ２４を並べ替えることができる。
【0100】
さらに、本実施例では、検索結果の物体ＴＯ１ａ～ＴＯ１ｄと関係する物体ＴＯ２ａ～ＴＯ２ｄとの対応関係を関係線ＧＰ２６によって明示的に明らかにするため、ユーザは、一次検索結果ＧＰ２４が並び替えられた理由を容易に確認することができ、ユーザの使い勝手が向上する。
【0101】
なお、検出結果の物体と関係物体ＴＯ２との対応関係がユーザが見るときに明らかであれば、関係線ＧＰ２６以外の表示要素を用いてもよい。例えば、検出結果の物体と関係物体とを枠で囲んで表示してもよいし、検出結果の物体と関係物体とを近接して表示させてもよい。
【実施例2】
【0102】
図１０～図１２を用いて第２実施例を説明する。図１０は、本実施例の物体追跡装置１００Ａを含む物体追跡システム１Ａのブロック図である。本実施例の物体追跡装置１００Ａは、図２で述べた物体追跡装置１００に移動経路検出部１８０を追加している。
【0103】
移動経路検出部１８０は、物体検出部１１０で検出された物体の情報と、画像特徴抽出部１２０で抽出された画像特徴量と、関係検出部１３０で検出された物体間の関係とを用いて、同一カメラのフレーム間で物体を追跡し、物体の移動経路を検出する。検出された移動経路は、解析データ蓄積部１４０へ送信され、解析データ蓄積部１４０により解析データ記憶装置１４１へ保存される。
【0104】
【0105】
ステップＳ１０５の次に、画像特徴抽出部１２０は、ステップＳ１０３で検出された物体の位置と種類とその領域を切り出した画像と、ステップＳ１０５で抽出された画像特徴量とを、移動経路検出部１８０へ送信する（Ｓ１４１）。
【0106】
ステップＳ１０８の次に、関係検出部１３０は、ステップＳ１０８で検出された物体間の関係の組み合わせおよび種類を、移動経路検出部１８０へ送信する（Ｓ１４２）。
【0107】
そして、移動経路検出部１８０は、図６で説明した画像内の位置および画像特徴量を用いた追跡を、画像記憶装置１０２に保存する前に実施し、得られた追跡結果を移動経路として検出する（Ｓ１４３）。
【0108】
さらに、移動経路検出部１８０は、ステップＳ１０３で検出された物体の位置や種類とその領域を切り出した画像と、ステップＳ１０５で抽出された画像特徴量と、ステップＳ１０８で検出された物体間の関係の組み合わせや種類と、ステップＳ１４３で検出された物体の移動経路とを、解析データ蓄積部１４０へ送信する（Ｓ１４４）。
【0109】
最後に、解析データ蓄積部１４０は、移動経路検出部１８０から取得した各情報を、解析データ記憶装置１４１に保存する（Ｓ１４５）。
【0110】
本実施例の画像解析処理によれば、同一カメラの異なるフレームで検出された物体を同一物体として予め記憶装置に保存することができ、図８で説明した画像特徴量のみを用いて追跡を行う場合に、同一物体の複数の画像をクエリとして用いることができる。これにより、画像特徴量のみを用いた場合の検索精度を向上させることができる。
【0111】
さらに、本実施例の移動経路検出部１８０は、物体間の関係性を利用してカメラ内の物体追跡精度を向上させるため、特許文献１に記載されている複数の画像を検索クエリとして用いる場合よりも多くの画像を用いることができる。従って、本実施例では、特許文献１に記載されている画像特徴量のみの検索精度よりも検索精度を高くできる。
【0112】
【0113】
すなわち、物体ＩＤ Ｃ３１は、テーブルＴ１の物体ＩＤ Ｃ１１に対応する。物体クラスＣ３３は、テーブルＴ１の物体クラスＣ１２に対応する。以下同様に、テーブルＴ３の列Ｃ３４～Ｃ３６は、テーブルＴ１の列Ｃ１３～Ｃ１５に対応する。
【0114】
このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例で追加された追跡ＩＤでは、移動経路検出処理によって同一物体であると判定された場合に同一のＩＤが割り当てられる。したがって、追跡ＩＤによって、異なるフレーム間において同一物体を特定できる。画像特徴量のみを用いた検索では、検索クエリとして選ばれた物体と同じ追跡ＩＤを持つ検出結果の画像特徴量を全て用いて検索を行うことで、検索精度を向上させることができる。
【実施例3】
【0115】
図１３～図１５を用いて、第３実施例を説明する。図１３は、本実施例による物体追跡装置１００Ｂを含む物体追跡システム１Ｂのブロック図である。本実施例の物体追跡装置１００Ｂは、図１に示す物体追跡装置１００に対して、検索難易度判定部１９０を追加している。
【0116】
検索難易度判定部１９０は、検索部１５０から画像あるいは画像特徴量を取得し、それらに対して画像特徴量のみを用いて検索を行った場合の検索難易度を計算する。検索難易度判定部１９０は、計算された検索難易度を検索部１５０へ送信する。
【0117】
図１４は、画像特徴量のみを用いて追跡を実施した場合において、関係検出結果を用いて追跡結果を並べ替える物体追跡処理を示すフローチャートである。本処理は、画像特徴量のみを用いて追跡を行うので、同一カメラ内での追跡に限らず、異なる複数のカメラ間での追跡も可能である。ステップＳ１２１～Ｓ１２３，ｓ１２７は、図６で述べたステップと同様である。
【0118】
ステップＳ１２３に続くステップＳ１５１では、検索部１５０は、クエリ画像とは別のカメラで検出された物体の、画像、物体クラス、座標、画像特徴量、及び物体の関係を取得する。
【0119】
さらに、検索部１５０は、クエリ画像とは別のカメラで検出された物体とクエリ画像とを解析データ蓄積部１４０から取得した情報を使って紐づける（Ｓ１５２）
【0120】
ステップＳ１５３では、検索部１５０は、クエリ画像とそのクエリ画像の物体に関係する物体の画像あるいはそれらの画像特徴量を検索難易度判定部１９０へ送信する。
【0121】
ステップＳ１５４では、検索難易度判定部１９０は、ステップＳ１５１で取得された画像あるいは画像特徴量に対して、検索難易度を計算する。
【0122】
検索難易度の計算方法としては、画像の物体の属性を推定して、推定された属性によりルールベースで難易度を決定する方法がある。例えば黒い物体は検索難易度が高くなることが多いため、属性推定で黒と判定された物体に対して高い検索難易度を割り当てる。他には画像あるいは画像特徴量と検索難易度の関係をＣＮＮや回帰モデルなどの機械学習モデルを用いて予め学習させておき、それらのモデル用いて計算する方法もある。
【0123】
ステップＳ１５５では、ステップＳ１５４で計算された検索難易度を検索部１５０へ送信する。
【0124】
ステップＳ１５６では、検索部１５０は、クエリ画像の検索難易度とクエリ画像の物体に関係している物体の画像の検索難易度とを比較する。検索部１５０は、クエリ画像の検索難易度の方が関係物体の検索難易度よりも低い場合には、図９に示す一次検索結果ＧＰ２４を表示させることを決定する。これに対し、検索部１５０は、関係物体の画像の検索難易度の方がクエリ画像の検索難易度よりも低い場合には、図９に示す並び替えた後の検索結果ＧＰ２５を表示させることを決定する。
【0125】
ステップＳ１５７では、ステップＳ１５６で決定した追跡結果を、出力部１７３へ送信する。
【0126】
このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例によれば、より正確な追跡結果のみを表示することが可能となり、ユーザが追跡結果を確認する際の視認性を向上させることができる。これにより、より正確かつ高速な追跡が可能となる。
【0127】
図１５は、追跡結果表示画面Ｇ２ｂである。画面Ｇ２ｂは、クエリ画像と関係する物体の画像の検索難易度ＧＰ２７を表示する。そして、画面Ｇ２ｂは、関係物体に基づいて並べ替えた検索結果ＧＰ２５が表示され、一次検索結果ＧＰ２４は表示されない。したがって、本実施例によれば、正確な追跡結果のみをユーザへ提供することができ、図９と比較して視認性が向上することがわかる。
【0128】
なお、本発明は上記各実施例に限定されず、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0129】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
(付記1)
撮影された物体を追跡する物体追跡システムであって、
入力された画像データの各フレームから物体を検出する物体検出部と、
前記検出された各物体の画像特徴量を抽出する画像特徴抽出部と、
前記各フレーム内に存在する複数の物体間の関係を検出する関係抽出部と、
前記物体検出部による検出結果と前記画像特徴抽出部により抽出された各物体の画像特徴量と前記関係抽出部による検出結果とを、解析データとして保存する解析データ蓄積部と、
前記解析データ蓄積部に蓄積された解析データを検索する検索部であって、選択された第１物体についての第１検索結果を、前記第１物体に関係する第２物体についての第２検索結果に基づいて変更する検索部と、を備える物体追跡システム。
(付記2)
前記検索部の検索結果を表示させる出力部１７３をさらに備える(付記1)に記載の物体追跡システム。
(付記3)
前記検索部は、前記第１物体を検索して追跡する際に、前記第２物体を検索して追跡した結果を用いる、(付記1)に記載の物体追跡システム。
(付記4)
前記検索部は、前記第１物体を検索して追跡する際に、前記第１物体の位置の重要度と画像特徴量の重要度とを、前記第２物体に基づいて変更させる(付記3)に記載の物体追跡システム。
(付記5)
前記出力部１７３は、前記第１検索結果と前記第２検索結果のうち少なくともいずれか一方を表示させる(付記2)に記載の物体追跡システム。
(付記6)
前記出力部１７３は、前記第２検索結果を表示させる場合に、前記第１物体の画像と前記第２物体の画像とを対応付けて表示させる(付記2)に記載の物体追跡システム。
(付記7)
前記検索部は、前記第１物体の画像特徴量に基づいて前記解析データを検索した前記第１検索結果を、前記第２物体の画像特徴量に基づいて並べ替える(付記1)に記載の物体追跡システム。
(付記8)
前記第１物体の移動経路を検出する移動経路検出部をさらに備え、
前記移動経路検出部は、
前記第１物体の位置と前記第１物体の画像特徴量とを用いて前記解析データを検索することにより、前記第１物体の移動経路を検出するものであり、
前記第１物体の位置の重要度と画像特徴量の重要度とを、前記第２物体に基づいて変化させることにより、前記第１物体の移動経路を検出する(付記1)に記載の物体追跡システム。
(付記9)
前記第１物体の画像特徴量に基づく検索の難易度である第１検索難易度と、前記第２物体の画像特徴量に基づく検索の難易度である第２検索難易度とを比較して判定し、判定結果を前記検索部へ出力する検索難易度判定部をさらに備え、
前記検索部は、前記検索難易度判定部の判定結果に基づいて、前記第１検索結果または前記第２検索結果のうちいずれか難易度の低い方の検索結果を、前記出力部１７３により表示させる(付記2)に記載の物体追跡システム。
(付記10)
計算機を用いて、撮影された物体を追跡する物体追跡方法であって、
前記計算機は、
入力された画像データの各フレームから物体を検出し、
前記検出された各物体の画像特徴量を抽出し、
前記各フレーム内にある複数の物体間の関係を検出し、
前記各物体の検出結果と前記各物体の画像特徴量と前記検出された各関係とを、解析データとして保存し、
選択された第１物体について前記解析データを検索した結果である第１検索結果を、前記第１物体に関係する第２物体について前記解析データを検索した結果である第２検索結果に基づいて変更する、
物体追跡方法。
(付記1)
撮影された物体を追跡する物体追跡システムであって、
入力された画像データの各フレームから物体を検出する物体検出部と、
前記検出された各物体の画像特徴量を抽出する画像特徴抽出部と、
前記各フレーム内に存在する複数の物体間の関係を検出する関係抽出部と、
前記物体検出部による検出結果と前記画像特徴抽出部により抽出された各物体の画像特徴量と前記関係抽出部による検出結果とを、解析データとして保存する解析データ蓄積部と、
前記解析データ蓄積部に蓄積された解析データを検索する検索部であって、選択された第１物体についての第１検索結果を、前記第１物体に関係する第２物体についての第２検索結果に基づいて変更する検索部と、を備える物体追跡システム。
(付記2)
前記検索部の検索結果を表示させる出力部１７３をさらに備える(付記1)に記載の物体追跡システム。
(付記3)
前記検索部は、前記第１物体を検索して追跡する際に、前記第２物体を検索して追跡した結果を用いる、(付記1)に記載の物体追跡システム。
(付記4)
前記検索部は、前記第１物体を検索して追跡する際に、前記第１物体の位置の重要度と画像特徴量の重要度とを、前記第２物体に基づいて変更させる(付記3)に記載の物体追跡システム。
(付記5)
前記出力部１７３は、前記第１検索結果と前記第２検索結果のうち少なくともいずれか一方を表示させる(付記2)に記載の物体追跡システム。
(付記6)
前記出力部１７３は、前記第２検索結果を表示させる場合に、前記第１物体の画像と前記第２物体の画像とを対応付けて表示させる(付記2)に記載の物体追跡システム。
(付記7)
前記検索部は、前記第１物体の画像特徴量に基づいて前記解析データを検索した前記第１検索結果を、前記第２物体の画像特徴量に基づいて並べ替える(付記1)に記載の物体追跡システム。
(付記8)
前記第１物体の移動経路を検出する移動経路検出部をさらに備え、
前記移動経路検出部は、
前記第１物体の位置と前記第１物体の画像特徴量とを用いて前記解析データを検索することにより、前記第１物体の移動経路を検出するものであり、
前記第１物体の位置の重要度と画像特徴量の重要度とを、前記第２物体に基づいて変化させることにより、前記第１物体の移動経路を検出する(付記1)に記載の物体追跡システム。
(付記9)
前記第１物体の画像特徴量に基づく検索の難易度である第１検索難易度と、前記第２物体の画像特徴量に基づく検索の難易度である第２検索難易度とを比較して判定し、判定結果を前記検索部へ出力する検索難易度判定部をさらに備え、
前記検索部は、前記検索難易度判定部の判定結果に基づいて、前記第１検索結果または前記第２検索結果のうちいずれか難易度の低い方の検索結果を、前記出力部１７３により表示させる(付記2)に記載の物体追跡システム。
(付記10)
計算機を用いて、撮影された物体を追跡する物体追跡方法であって、
前記計算機は、
入力された画像データの各フレームから物体を検出し、
前記検出された各物体の画像特徴量を抽出し、
前記各フレーム内にある複数の物体間の関係を検出し、
前記各物体の検出結果と前記各物体の画像特徴量と前記検出された各関係とを、解析データとして保存し、
選択された第１物体について前記解析データを検索した結果である第１検索結果を、前記第１物体に関係する第２物体について前記解析データを検索した結果である第２検索結果に基づいて変更する、
物体追跡方法。
【符号の説明】
【0130】
１，１Ａ，１Ｂ：物体追跡システム、１００，１００Ａ，１００Ｂ：物体追跡装置、１０１：カメラ、１０２：画像記憶装置、１０３：画像入力部、１１０：物体検出部、１２０：画像特徴抽出部、１３０：関係検出部、１４０：解析データ蓄積部、１４１：解析データ記憶装置、１５０：検索部、１７１：入力装置、１７２：クエリ入力部、１７３：出力部、１７４：出力装置、１８０：移動経路検出部、１９０：検索難易度判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】