特開 2022-159694 物体追跡装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022159694

(43)【公開日】2022-10-18

(54)【発明の名称】物体追跡装置

(51)【国際特許分類】

   G06T 7/246 20170101AFI20221011BHJP

【ＦＩ】

G06T7/246

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021064048

(22)【出願日】2021-04-05

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】笹谷 聡

(72)【発明者】

【氏名】佐々木 剛志

(72)【発明者】

【氏名】銭 智定

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA04

5L096FA12

5L096FA16

5L096HA05

5L096HA08

5L096JA03

5L096JA11

(57)【要約】

【課題】計測範囲内の物体の軌跡を生成する物体追跡装置において、物体の検知枠情報を補正して高精度な軌跡を生成できる。
【解決手段】カメラ（２）の計測範囲内の物体の軌跡を生成する物体追跡装置（１００）であって、センサにより取得した複数のフレームに対してそれぞれ物体の検出を行う物体検出部（４）と、物体が検知された検知枠のフレーム間のフロー情報に基づいて検知枠の信頼度を算出する検知枠信頼度算出部（８）と、高信頼度検知枠の検知枠情報を用いて、低信頼度検知枠の検知枠情報を補正する検知枠位置補正部（９）と、補正後の検知枠情報を用いて物体の軌跡を生成する軌跡生成部（１０）を有することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

センサの計測範囲内の物体の軌跡を生成する物体追跡装置であって、
前記センサにより取得した複数のフレームに対してそれぞれ物体の検出を行う物体検出部と、
該検出された前記物体の検知枠内のフレーム間のフロー情報に基づいて前記検知枠の信頼度を算出する検知枠信頼度算出部と、
閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて、前記高信頼度検知枠よりも信頼度の低い低信頼度検知枠の検知枠情報を補正する検知枠位置補正部と、
該補正後の検知枠情報を用いて前記軌跡を生成する軌跡生成部と、
を有することを特徴とする物体追跡装置。

【請求項2】

前記検知枠信頼度算出部は、前記検知枠内の立体物特徴点と路面特徴点の情報に基づいて前記検知枠の信頼度を算出することを特徴とする請求項１に記載の物体追跡装置。

【請求項3】

前記検知枠位置補正部は、複数の前記高信頼度検知枠の位置と縦幅と横幅の情報を用いて、前記低信頼度検知枠の位置と縦幅と横幅の情報を補正することを特徴とする請求項１又は２に記載の物体追跡装置。

【請求項4】

前記複数のフレームにおいてそれぞれ前記物体の存在確率を示す存在確率マップを生成する存在確率マップ決定部と、
前記存在確率マップを用いて前記複数のフレームにおいてそれぞれ前記検知枠の追加または削除を決定する検知枠加減決定部と、
を備えることを特徴とする請求項１に記載の物体追跡装置。

【請求項5】

前記存在確率マップ決定部は、
前記物体検出部により出力される検知枠情報から各フレームにおける存在確率マップを作成する存在確率マップ作成部と、
前記複数のフレームに含まれる対象フレームの前後２枚以上のフレームが有する存在確率マップの情報を補間して、前記対象フレームの補間存在確率マップを生成する存在確率マップ補間部と、
前記存在確率マップと前記補間存在確率マップを比較して最終の存在確率マップを選定する存在確率マップ選定部と、
を備えることを特徴とする請求項４に記載の物体追跡装置。

【請求項6】

前記存在確率マップ作成部は、前記物体検出部により検知された物体の検知枠の位置情報と前記信頼度情報から正規分布によって算出した確率密度関数、および、複数の異なる辞書による物体検出結果のいずれか１つないし複数の情報を用いて、前記存在確率マップを作成することを特徴とする請求項５に記載の物体追跡装置。

【請求項7】

前記物体の動作を推定する物体動作推定部を備えることを特徴とする請求項６に記載の物体追跡装置。

【請求項8】

前記物体動作推定部は、前記軌跡生成部によって生成された軌跡情報、物体の移動領域候補情報、物体周辺の物体動作情報、および前記センサを設置した媒体情報のいずれか１つないし複数の情報から前記物体の動作を推定することを特徴とする請求項７に記載の物体追跡装置。

【請求項9】

前記物体動作推定部により求めた前記物体の動作情報を用いて、前記存在確率マップ、前記検知枠の信頼度、および前記検知枠の位置を再度補正することを特徴とする請求項８に記載の物体追跡装置。

【請求項10】

前記存在確率マップ決定部は、前記物体の複数の存在確率マップを生成し、
前記検知枠信頼度算出部は、前記物体の複数の信頼度を算出し、
前記検知枠位置補正部は、前記物体の複数の検知枠位置を補正し、
前記軌跡生成部は、前記複数の存在確率マップ、前記複数の信頼度、および前記複数の検知枠情報を用いて複数の軌跡を生成し、いずれか一つの軌跡を選定することを特徴とする請求項４に記載の物体追跡装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体追跡装置に関する。

【背景技術】

【0002】

近年、監視カメラや車載カメラなどが取得した映像を解析することで、検出対象を追跡して軌跡情報を生成する映像認識技術へのニーズが高まっている。特に、俯瞰的な視点から見た軌跡情報は、２次元マップ上に投影することで可視化が容易となるだけでなく、対象の作業行動管理や異常動作検出などに活用できる。前記軌跡の生成方法としては、カメラ画像の各フレームにおいて、カメラから検出対象までの距離を算出し、３次元の位置情報を取得し、フレーム毎の位置情報を統合する方法が挙げられる。距離算出の例としては、カメラ画像中から対象を検出して求めた対象の外接矩形情報とカメラパラメータを用いる方法が一般的である。この内、カメラパラメータは予め理想環境で撮影することで推定できるが、外接矩形情報は実際の撮影現場で取得したカメラ画像から推定する必要がある。そのため、高精度な軌跡を生成するには、多様な撮影現場においても正確な外接矩形(以降は検知枠と呼ぶ)の位置を推定する技術が求められる。前記技術としては、例えば、畳み込みニューラルネットワークなどの機械学習により作成した辞書情報を用いる方法がある。機械学習には事前に学習データを作成する必要があり、多様なシーンを学習できれば良いものの、現実的な工数を踏まえるとシーンのバリエーションは制限される。そのため、カメラ設置環境によっては、対象の未検出や誤検出が発生し正しい検知枠情報を得られないケースや、検知枠情報内に対象の背景を含み正確な矩形位置を推定できないケースがある。特許文献１では、物体追跡処理と物体認識処理を並行して実施することで検知枠情報を補正する方法が提案されており、特許文献２では、画像特徴点を抽出し移動ベクトルを推定することで障害物に検出対象が遮蔽された場合に矩形位置を補正する手法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開２０１９／１８０９１７

【特許文献2】特開２００６－３２３４３７

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、物体追跡処理により検出対象を追跡し同一対象の軌跡を生成しつつ、高精度な物体認識を所定のフレーム間隔で実施し矩形のＩＤ情報を補正することで、複数対象の軌跡を高精度に算出する技術が記載されているものの、矩形の大きさや位置情報を補正することはできない。また、特許文献２では、検出対象の外接矩形内の画像特徴から求めた移動ベクトル情報から、次フレーム以降の矩形位置を予測することで矩形位置を補正できるものの、矩形の大きさを補正することはできない。

【0005】

本発明は、前記の課題を解決するための発明であって、計測範囲内の物体の軌跡を生成する物体追跡装置において、フロー情報から算出した信頼度に応じて検知枠位置を補正することで、検出対象の高精度な軌跡を出力することを目的とする。

【課題を解決するための手段】

【0006】

前記目的を達成するため、本発明は、
センサの計測範囲内の物体の軌跡を生成する物体追跡装置であって、
前記センサにより取得した複数のフレームに対してそれぞれ物体の検出を行う物体検出部と、
該物体が検知された検知枠のフレーム間のフロー情報に基づいて前記検知枠の信頼度を算出する検知枠信頼度算出部と、
閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて、前記高信頼度検知枠よりも信頼度の低い低信頼度検知枠の検知枠情報を補正する検知枠位置補正部と、
該補正後の検知枠情報を用いて前記物体の軌跡を生成する軌跡生成部と、
を有することを特徴とする。

【発明の効果】

【0007】

以上述べた特徴により本発明の物体追跡装置を適用することで、検出対象の検知枠情報を補正して高精度な軌跡を生成できる。

【0008】

本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例１の機能ブロック図。

【図2】物体検出部４を説明する図。

【図3】存在確率マップ決定部５の構成図。

【図4】存在確率マップ作成部２１を説明する図。

【図5】存在確率マップの作成方法の一例。

【図6】存在確率マップ補間部２２を説明する図。

【図7】検知枠を追加するフローを説明する図。

【図8】フロー算出部７を説明する図。

【図9】検知枠信頼度算出部８を説明する図。

【図10】検知枠位置補正部９の構成図。

【図11】本発明の実施例２の機能ブロック図。

【図12】検出対象移動方向予測部９１の構成図。

【図13】本発明の実施例３の機能ブロック図。

【図14】数式１を示す図。

【図15】数式２を示す図。

【図16】数式３を示す図。

【図17】数式４を示す図。

【発明を実施するための形態】

【0010】

以下、本発明の具体的な実施形態について、図面を参照しながら説明する。

【0011】

＜実施例１＞
図１は本発明の実施例１のブロック構成図である。
本実施例では、計測装置をカメラとした場合の実施形態について説明するが、計測装置はこれに限定されるものではなく、ステレオカメラや距離センサなどの他のセンサに応用可能である。図１に示す物体追跡装置１は、カメラ２で撮影した全フレームの物体検出結果から生成した存在確率マップ情報と、フロー情報などから算出した検知枠の信頼度情報から検知枠位置を補正し、高精度な軌跡を生成する装置である。

【0012】

カメラ２は、例えば自動車の車体に取り付けられており、車両前方の路面および他車両を撮像する。物体追跡装置１は、カメラ２によって撮像された画像を取得して、解析処理を行うことにより検出対象である車両前方の物体の軌跡を解析する装置である。物体追跡装置１は、カメラ２とは別に用意した計算機ＰＣにおいて実現される。計算機ＰＣは、演算装置、主記憶装置、外部記憶装置を有しており、フレーム収集部３、物体検出部４、存在確率マップ決定部５、検知枠加減決定部６、フロー算出部７、検知枠信頼度算出部８、検知枠位置補正部９、軌跡生成部１０の各機能を実現する。なお、物体追跡装置１をカメラ２の内部に一体に設けてもよい。

【0013】

図１に示す各機能の概要をまず説明すると、フレーム収集部３はカメラ２の撮影画像（フレーム）を収集する機能、物体検出部４はフレーム収集部３により取得した全フレームにおいて検出対象を検知する機能、存在確率マップ決定部５は各フレームの物体検出結果から検出対象の存在確率マップを生成または補間する機能、検知枠加減決定部６は前記存在確率マップ情報を用いることで各フレームにおいて検知枠を加えるまたは減らすかを決定する機能、フロー算出部７はフレーム間のフロー情報を算出する機能、検知枠信頼度算出部８は検知枠加減決定部６から出力される最終的な検知枠内のフロー情報から検知枠の信頼度を算出する機能、検知枠位置補正部９は前記検知枠の信頼度に応じて検知枠位置や大きさを補正する機能、軌跡生成部１０は補正された検知枠情報から検出対象の軌跡を生成する機能を有する。以下、３、４、５、６、７、８、９、１０の各機能の詳細について説明する。

【0014】

フレーム収集部３は、カメラ２により撮像した撮像画像であるフレームを収集する。収集するフレームとしては、複数であり、検出対象が存在する全フレームとしても良く、また全フレームから自動または手動で選定したフレームとしても良い。選定方法としては、指定した撮影時間内のフレームを自動抽出する方法や、ユーザが指定した映像中の計測範囲内に検出対象が存在するフレームを自動抽出する方法や、ＧＵＩ（Graphical User Interface）などを通してユーザが手動で選定する方法などがあり、特に限定しない。

【0015】

図２を用いて物体検出部４について説明する。
物体検出部４は、フレーム収集部３により収集した複数のフレームに対してそれぞれ検出対象の検出を行う。図２において、１１は撮像画像（フレーム）、１２、１３は検出対象(本例では人物と車)、１４ａ、１４ｂは物体検出部４によって画像中から対象物を含む領域を推定した検知枠の一例、１５は検知枠情報の一例を示す。物体検出部４では、予め学習データから機械学習などにより生成した画像中から対象物を検出可能な事象を活用することで、撮像画像中に存在する検出対象を検出する。検出用の辞書を生成する際のアルゴリズムについては、畳み込みニューラルネットワークやＡｄａＢｏｏｓｔなど一般的なもので良く、特に限定しない。物体検出部４では、前記辞書によりフレーム収集部３によって取得した複数のフレームに対して対象物を検出し、図２の１５に示すような検知枠情報を保存する。検知枠情報としては、検出した対象ごとに、対象の種類を表すクラス情報、クラス情報の正確さを示す信頼度情報、検知枠１４ａ、１４ｂの左上の画像座標を示す始点(Ｘ、Ｙ)、検知枠の横幅と縦幅の情報などがある。なお、画像中における検出対象の位置を推定できる手段であれば本例以外の方法を使用しても良い。

【0016】

図３は、存在確率マップ決定部５のブロック構成を示している。
存在確率マップ決定部５は、複数のフレームにおいてそれぞれ検出対象の存在確率を示す存在確率マップを生成する処理を行う。存在確率マップ決定部５は、物体検出部４から出力される検知枠情報から各フレームにおける存在確率マップを作成する存在確率マップ作成部２１と、対象フレームの前後２枚以上のフレームが有する存在確率マップの情報を補間して、対象フレームの補間存在確率マップを生成する存在確率マップ補間部２２と、存在確率マップと補間存在確率マップを比較して最終的な存在確率マップをフレームごとに選定する存在確率マップ選定部２３を備える。以下、２１、２２、２３について詳細に説明する。

【0017】

図４を用いて存在確率マップ作成部２１について説明する。
存在確率マップ作成部２１は、複数のフレームにおいてそれぞれ物体の存在確率を示す存在確率マップを生成する。存在確率マップ作成部２１では、検知枠情報から検出対象のクラスごとの存在確率マップをフレームごとに算出する。

【0018】

存在確率マップ作成部２１は、物体検出部４により検知された物体の検知枠の位置情報と信頼度情報から正規分布によって算出した確率密度関数、および、複数の異なる辞書による物体検出結果のいずれか１つないし複数の情報を用いて、存在確率マップを生成する。

【0019】

存在確率マップの生成方法としては、例えば、３１ａ、３１ｂのように撮像画像１１を複数の小領域に分割し、各クラスの検知枠１４ａ、１４ｂと各小領域との重なり具合を割合で算出し、３２ａ、３２ｂのような存在確率マップを生成する方法がある。なお、小領域の分割数は特に限定せず、処理を実行する計算機ＰＣのスペックなどを考慮して決めて良く、また予めフレームの解像度を縮小した後、複数の領域に分割し存在確率マップを生成しても良い。

【0020】

また、存在確率マップの値としては、小領域内に各クラスの対象が存在する割合を示すものであれば、特に限定せず、検知枠との重なり具合を使用するのではなく、図５のような確率密度関数を活用する方法を使用しても良い。

【0021】

図５は、存在確率マップの作成方法の一例を説明する図である。
図５において、１１は撮像画像、４１は検知枠、４２は検知枠の中心座標(x_c、y_c )、４３、４４は存在確率マップを計算するために使用する画像座標軸のＸ方向、Ｙ方向ごとの確率密度関数f(x)、f(y)を示している。Ｘ方向の確率密度関数f(x)の作成方法としては、図１４の数式１に示す平均値を画像中心のx座標x_c、分散σ^2とした正規分布によって算出する。そして、同様にＹ方向の確率密度関数f(y)も図１５の数式２によって算出し、図１６の数式３により、f(x)とf(y)の積を求めることで存在確率マップf(x、y)を生成できる。なお、分散σ^2の値としては検知枠の横幅や縦幅の情報を元に決定する方法や、検出対象の実測情報が予め把握できている場合は横幅と縦幅のアスペクト比の情報などを元に決定する方法などを使用しても良い。また、検知枠の信頼度情報を存在確率マップf(x、y)に掛け合わせることで、検知対象物の存在確率の値を調整するなどの方法も採用しても良い。

【0022】

図６を用いて、存在確率マップ補間部２２について説明する。
存在確率マップ補間部２２は、フレームｔの前後のフレームｔ－１、ｔ＋１の存在確率マップ情報、または、複数の前フレームの存在確率マップ情報、または、複数の後フレームｔ＋１、ｔ＋２の存在確率マップ情報から、該当フレーム（対象フレーム）の存在確率マップを推定する処理を行う。存在確率マップ補間部２２による補間方法は、大きく分けて図６の５１と５２に示す２パターンの方法がある。

【0023】

図６の５１に示す方法では、ｔ枚目のフレーム５４に対応する補間存在確率マップを、その前後のフレーム、つまり、ｔ－１枚目のフレーム５３ａとｔ＋１枚目のフレーム５３ｂの存在確率マップから生成する。生成方法としては、例えば、ｔ－１枚目のフレーム５３ａとｔ＋１枚目のフレーム５３ｂの存在確率マップがそれぞれ有する存在確率の積や平均値を求めるなどの方法がある。図６の５１に示す例では、検知枠５３ａ１の検知枠情報に基づいてｔ－１枚目のフレーム５３ａにおける車の存在確率マップが生成され、検知枠５３ｂ１の検知枠情報に基づいてｔ＋１枚目のフレーム５３ｂにおける車の存在確率マップが生成されている。存在確率マップ補間部２２は、ｔ－１枚目のフレーム５３ａにおける車の存在確率マップと、ｔ＋１枚目のフレーム５３ｂにおける車の存在確率マップがそれぞれ有する存在確率の積、あるいは平均値を算出して、ｔ枚目のフレーム５４の補間存在確率マップを生成する。

【0024】

図６の５２に示す方法では、ｔ枚目のフレーム５４に対応する補間存在確率マップを、ｔ＋２枚目のフレーム５３ｃの存在確率マップからｔ＋１枚目のフレーム５３ｂの存在確率マップへの変化量に基づいて推定する。例えば、ｔ＋２、ｔ＋１枚目の検知枠５３ｃ１、５３ｂ１の中心位置、縦幅、および横幅の変化量からｔ枚目のフレーム５４における検知枠の大よその位置を推定した後、ｔ＋１枚目のフレーム５３ｂに対応する存在確率マップを検知枠の大きさの変化量に合わせて線形補間などにより拡大または縮小することで、ｔ枚目における検知枠５４ａ１の大きさと位置を求め、ｔ枚目のフレーム５４に対応する補間存在確率マップを算出するなどの方法がある。本例では、ｔ枚目の前後のフレームから、もしくは、ｔ＋１枚目とｔ＋２枚目のフレームからｔ枚目のフレームの補間存在確率マップを算出する方法について説明したが、前後にそれぞれ複数のフレームから該当フレームの補間存在確率マップを算出し、あるいは、該当フレームよりも前の複数のフレームであるｔ－１枚目のフレームと、ｔ－２枚目のフレームから該当フレームの補間存在確率マップを算出しても良い。

【0025】

なお、これ以外にも、前後のフレームの存在確率マップ情報から、該当フレーム（対象フレーム）の存在確率マップを推定する方法であれば、特に限定しない。本例では、フレーム収集部３により取得した全フレーム群において、先頭フレームは５２に示す方法により補間存在確率マップを生成し、最終フレームは５２に示す方法の逆フローにより補間存在確率マップを生成し、それ以外のフレームを５１に示す方法により補間存在確率マップを生成する。

【0026】

存在確率マップ選定部２３は、各フレームにおいて存在確率マップと補間存在確率マップの中から最終的な存在確率マップを選定する。選定方法としては、例えば、存在確率マップと補間存在確率マップの差分を算出して、差分が閾値以上である小領域のみ補間存在確率マップの値を採用する方法や、存在確率マップと補間存在確率マップの積や平均値を算出して、閾値未満の小領域の存在確率値を０とするなどの方法があり、特に限定しない。

【0027】

以上説明した方法により、存在確率マップ決定部５では各フレームにおける存在確率マップを決定する。なお、本例では、各フレームにおいて存在確率マップと補間存在確率マップの２つを生成した後、存在確率マップ選定部２３によって最終の値を決定するというフローを説明したが、フレームにおける補間存在確率マップは複数生成しても良い。例えば、フレーム群における先頭フレームと最終フレーム以外は、５１と５２及び５２の逆フローの手法によって３種類の補間存在確率マップを生成した後、存在確率マップ選定部２３により同様に最終の値を決定するという方法や、補間する際に使用する前後のフレーム数を増やし補間存在確率マップのパターンを増やす方法などを使用しても良い。

【0028】

また、本フローでは全てのフレームにおいて補間存在確率マップを作成したが、一部のフレームにのみ補間存在確率マップを生成することで該当フレームの存在確率マップを補正する方法を採用しても良い。例えば、検知枠情報の信頼度が閾値以下のフレームのみ存在確率マップを補正する方法や、各フレームにおける検出対象の検知枠数をカウントしその平均値を求めた後、平均以外の検知枠数であるフレームにのみ補正する方法や、ユーザがＧＵＩなどにより選定したフレームのみ補正する方法など、特に限定しない。また、各フレームにおいて、複数の異なる辞書により検出対象の検知枠情報を取得し生成した存在確率マップを補間存在確率マップとして扱い、存在確率マップ選定部２３により存在確率マップを補正する方法を使用しても良い。

【0029】

検知枠加減決定部６は、存在確率マップを用いて複数のフレームにおいてそれぞれ検知枠の追加または削除を決定する処理を行う。検知枠加減決定部６では、存在確率マップ決定部５により出力される存在確率マップ情報を用いて、各フレームにおいて検知枠を加えるか削減するかを決定する。決定方法としては、存在確率が閾値以上の領域付近に検知枠が存在しない場合は存在確率が閾値以上の領域の外接矩形を検知枠として加え、存在確率が閾値以下の領域に検知枠が存在している場合は該当の検知枠を削減する方法がある。存在確率マップに対して検知枠が存在するか否かを判定する基準としては、検知枠内における存在確率マップの閾値を満たす小領域の含有率や、検知枠の中心座標と存在確率マップの閾値を満たす小領域とのユークリッド距離が指定した範囲内であれば存在確率マップ付近に検知枠が存在する方法など、特に限定しない。また、検知枠加減決定部６にて、検知枠を追加する際に、後段の検知枠位置補正部９によって検知枠の位置が補正されることを見越して、検知枠の大きさを指定したマージン分大きくする処理を追加しても良い。

【0030】

図７を用いて、ｔ－１、ｔ＋１枚目のフレームの検知枠情報から、t枚目のフレームの存在確率マップを推定して、ｔ枚目のフレームに検知枠５７を追加するフローについて説明する。はじめに、存在確率マップ作成部２１によって、ｔ－１、ｔ＋１枚目のフレーム５３ａ、５３ｂを小領域５４ａ、５４ｂに分割し、検知枠５４ａ１、５４ｂ１との重なり率から存在確率マップ５５ａ、５５ｂを生成する。次に、存在確率マップ５５ａ、５５ｂの平均を算出することで、ｔ枚目のフレームの存在確率マップ５６を推定する。最後に、予め定めた閾値と存在確率マップの値を元に検知枠５７を決定する。図７に示す例では、存在確率マップの各小領域の値を０．５未満、０．５以上かつ０．９未満、０．９以上の３つのクラスに分類し、０．５未満の小領域は矩形に含まない、０．９以上の小領域は全て矩形に含まれる、０．５以上かつ０．９未満の小領域は矩形に含まれるが半分以上は含まれないという条件に基づいて検知枠５７を決定している。

【0031】

図８を用いてフロー算出部７について説明する。
図８は、フロー算出部７によりｔ枚目のフレーム１１ａとｔ＋１枚目のフレーム１１ｂの画像特徴量を解析することで、フレーム間のフロー情報を算出する例を示している。図８において、６１は路面、６２はフレーム１１ａにおける計測対象の車両、６３はフレーム１１ｂにおける計測対象の車両、６４ａ、６４ｂは車両６２における画像特徴点の一例、６５ａ、６５ｂは車両６３における画像特徴点の一例、６６は画像特徴点６４ａと６５ａ間のフロー情報、６７は画像特徴点６４ｂと６５ｂ間のフロー情報を示している。フロー情報とはフレーム間における同一画像特徴点の移動ベクトルであり、ベクトルの向きと大きさを示す。画像特徴点とフロー情報を取得する方法としては、Ｌｕｃａｓ－Ｋａｎａｄｅ法によるオプティカルフローを活用する方法や、ＳＨＩＦＴなどの画像特徴量を用いた追跡により求める方法など、前後フレーム間における同一の画像特徴点とそのフロー情報を算出可能な方法であれば特に限定しない。本例では先頭フレーム以外のフロー情報は該当フレーム（ｔ枚目）と前フレーム（ｔ－１枚目）から算出し、先頭フレームのフロー情報は該当フレームと次フレーム(ｔ＋１枚目)から算出した数値の符号を反転することで取得する。

【0032】

図９を用いて検知枠信頼度算出部８について説明する。
検知枠信頼度算出部８は、検出された検出対象の検知枠内のフレーム間のフロー情報に基づいて検知枠の信頼度を算出する。検知枠信頼度算出部８では、検知枠加減決定部６から出力された最終的な物体検出の検知枠情報内における、フロー算出部７により算出されたフロー情報を解析することで、検知枠の信頼度を算出する。

【0033】

図９に示す検出対象の車両６２が路面６１を走行している撮像画像１１において、検知枠加減決定部６から出力された最終的な検知枠７０、画像特徴点７１ａ～７１ｆは、車両におけるフロー情報をもった画像特徴点の一例であり、画像特徴点７２ａ、７２ｂは、路面におけるフロー情報をもった画像特徴点の一例を示している。オプティカルフローは、一般的にフレーム間における移動体のフロー情報を算出する。そのため、監視カメラのようにカメラが固定されている場合は、移動体の画像特徴点とフロー情報が算出されやすく、路面のような背景では画像特徴点とフロー情報はほとんど算出されない。また、車載カメラのような動的カメラの場合、移動体は同様に画像特徴点とフロー情報は算出でき、路面のような背景は固定カメラと比べて画像特徴点は算出されやすいもののフロー情報は小さくなりやすい。

【0034】

そこで、本例では、予め定めた閾値よりフロー情報が大きい画像特徴点を移動体特徴点（立体物特徴点）とし、閾値よりフロー情報が小さい画像特徴点を平面特徴点（路面特徴点）として、検知枠７０内における移動体特徴点と平面特徴点の含有率から検知枠７０の信頼度を算出する。つまり、検知枠信頼度算出部８は、検知枠内の立体物特徴点と路面特徴点の情報に基づいて検知枠の信頼度を算出する。算出方法としては、図１７の（数式４）のように、検知枠の大きさに対する移動体特徴点数と平面特徴点数の差の割合とする方法や、（数式４）の各特徴点に対してフロー情報の大きさを考慮することでフロー情報が大きい立体物特徴点がある程、信頼度を向上させ、フロー情報が小さい平面特徴点がある程、信頼度を低下させるなどの方法を採用しても良い。また、（数式４）にフロー情報の向きを考慮して信頼度を算出しても良い。例えば、同一移動体の画像特徴点であればフローの向きは類似することを利用し、類似したフローの向きを示す立体物特徴点数が検知枠内に多く存在するほど、検知枠の信頼度を高くするという方法などがある。

【0035】

なお、本例においてはフロー情報を用いて検知枠の信頼度を算出したが、移動体(立体物)と背景を区別できるような画像情報を用いて信頼度を算出しても良い。例えば、フレーム間差分を求めた後、検知枠内の差分領域が多いほど、移動体の領域である可能性が高いと判断し、検知枠の面積に対する差分領域の含有率によって信頼度を算出する方法や、検知枠内においてエッジ検出などを実行して検出対象の輪郭候補を推定し、輪郭の外接矩形と検知枠との領域の重なり率が高いものは信頼度の高い検知枠と判定するなどの方法を活用しても良い。

【0036】

図１０は検知枠位置補正部９のブロック構成図を示す。
検知枠位置補正部９は、閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて、前記高信頼度検知枠よりも信頼度の低い低信頼度検知枠の検知枠情報を補正する処理を行う。検知枠位置補正部９は、全フレームの検出結果から同一と考えられる検出対象を対応付ける検出対象対応付け部８０と、同一検出対象ごとに高信頼度の検知枠を選定する高信頼度検知枠選定部８１と、選定した高信頼度の検知枠情報を用いて、同一検出対象における残りの低信頼度の検知枠の位置情報を補正する低信頼度検知枠補正部８２を備える。以下は各機能について説明する。

【0037】

検出対象対応付け部８０は全フレームの検知枠情報を解析し、同一対象と考えられる検知枠に同一のＩＤ情報を付与する。同一対象と判定する手段としては、前後フレームにおいて、全検知枠間の中心座標のユークリッド距離を算出し、最も近接した検知枠同士を同一の検出対象と判定するといった処理を全フレームに対して実施するなどの方法がある。この方法以外にも、全フレームの検知結果を入力として組み合わせ最適化アルゴリズムなどにより同一対象か否かを判定する手法であれば、特に限定しない。

【0038】

高信頼度検知枠選定部８１は、検出対象対応付け部８０により同一のＩＤ情報を付与された検知枠の情報を収集し、信頼度の高い検知枠（高信頼度検知枠）の情報を複数選定する。選定方法としては、予め定めた閾値以上の信頼度の検知枠を全て選定する方法や、信頼度の高い順に指定した数の検知枠の情報を選定する方法など、特に限定しない。また、画像特徴量やＧＵＩなどを活用して信頼度の高い検知枠の情報を選定しても良い。例えば、画像特徴量によって白飛びなど異常な撮像画像を推定することによって、該当の画像の検知枠の情報は使用しないという方法や、ＧＵＩなどによってユーザが手動で高信頼度の検知枠を選択するといった方法を使用しても良い。

【0039】

低信頼度検知枠補正部８２は、高信頼度検知枠選定部８１によって選定した検知枠情報を用いて、同一のＩＤ情報を付与された選定されていない検知枠の位置情報を補正する。検知枠の位置情報とは、図２の１５に示したような撮像画像内における検知枠の位置とその大きさの情報である。補正方法としては、信頼度の高い検知枠の中心座標位置、横幅、縦幅の情報を収集し、スプライン補間法などの一般的な補間手法によって信頼度の低い検知枠の中心座標位置、横幅、縦幅をそれぞれ算出する方法など、複数の点から関数近似が可能な手法であれば特に限定しない。また、信頼度の値を重み情報として前記補間手法に活用するなどの方法を用いても良い。

【0040】

軌跡生成部１０では、検知枠位置補正部９から出力された検知枠情報を用いることでカメラ２と検出対象の距離を算出し、軌跡を生成する。検出対象までの距離算出手法としては、カメラパラメータを活用する一般的な方法を使用する。具体的には、カメラパラメータの中で、焦点距離や歪補正係数を含む内部パラメータを用いて、検出対象における検知枠の下端中心の画像座標をカメラ座標に変換する。そして、カメラの設置姿勢・角度を示す外部パラメータにより下端中心のカメラ座標から算出した３次元世界座標の点が、実世界において高さ０の地面に存在すると仮定することで、実世界座標での検出対象の位置を推定でき、カメラから検出対象までの距離を算出できる。なお、距離算出方法について、画像中の検知枠情報によってカメラから検出対象までの距離を推定可能な手法であれば特に限定しない。同一対象の全検知枠情報によってカメラから対象までの距離を算出し求めた３次元世界座標を繋ぎ、俯瞰することによって、軌跡を取得することが可能である。

【0041】

本発明の実施例１では以上説明した機能構成により、計測範囲内の物体の軌跡を生成するような物体追跡装置において、各フレームの物体検出結果から生成した存在確率マップ情報から検知枠の加減を調整し、フロー情報から算出した信頼度に応じて検知枠位置を補正することで、検出対象の高精度な軌跡を出力することができる。

【0042】

本実施形態の物体追跡装置１は、カメラ２により取得した複数のフレームに対してそれぞれ検出対象の検出を行い、検出した検出対象の検知枠内のフレーム間のフロー情報に基づいて検知枠の信頼度を算出する。そして、閾値よりも信頼度の高い高信頼度検知枠の検知枠情報を用いて信頼度の低い低信頼度検知枠の検知枠情報を補正し、補正後の検知枠情報を用いて軌跡を生成する。

【0043】

本実施形態の物体追跡装置１によれば、フレーム内における検出対象の検知漏れや、誤検知を削減し、検知枠の位置ずれを低減でき、同一の検出対象の高精度な軌跡を生成することができる。したがって、例えば、ＡＤＡＳ品質や交通事故発生時の状況分析のため、車載画像から先行車の軌跡を推定し、ＣＡＮデータと比較することで、緊急ブレーキ動作の保守点検や、正しい挙動か否かの評価などに活用するサービスを提供することができる。

【0044】

なお、本実施形態では、物体追跡装置１が、存在確率マップ決定部５と、検知枠加減決定部６とを有する場合を例に説明したが、これらを省略した構成とすることもできる。存在確率マップ決定部５と検知枠加減決定部６を省略しても、物体検出部４、検知枠信頼度算出部８、検知枠位置補正部９、軌跡生成部１０を有することにより、検知枠信頼度に基づいて検出対象の検知枠情報を補正することができ、補正後の検知枠情報を用いて高精度な軌跡を生成することができる。本実施形態では、物体追跡装置１が、存在確率マップ決定部５と、検知枠加減決定部６とを有するので、検知枠の検出精度を、更に向上させることができる。

【0045】

＜実施例２＞
図１１は本発明の実施例２のブロック構成図である。
本実施例において特徴的なことは、物体追跡装置９０が、物体の動作を推定する検出対象移動方向予測部（物体動作推定部）９１を有することである。図１１に示す物体追跡装置９０は、検出対象の移動方向を事前に予測し、その予測結果を活用して存在確率マップの生成や検知枠の信頼度算出や位置補正を実行することで、検出対象の高精度な軌跡を生成する装置である。図１１において、フレーム収集部３、物体検出部４、存在確率マップ決定部５’、検知枠加減決定部６、フロー算出部７、検知枠信頼度算出部８’、検知枠位置補正部９’、および軌跡生成部１０は、実施例１と同じまたはほぼ同等の機能である。

【0046】

検出対象移動方向予測部９１は、軌跡生成部１０によって生成された軌跡情報、検出対象の移動領域候補情報、検出対象周辺の物体動作情報、および計測装置であるカメラ２を設置した車両などの媒体情報のいずれか１つないし複数の情報から物体の動作を推定する。図１１に示す検出対象移動方向予測部９１は、フレーム収集部３により取得した全フレームにおいて画像処理を実行した結果と物体検出部４から取得した物体検出結果を元に、検出対象の移動方向を予測する機能を有する。以下、検出対象移動方向予測部９１と、取得した周辺環境情報によって、存在確率マップの生成、検知枠信頼度の算出、検知枠位置の補正する方法について説明する。

【0047】

図１２は、検出対象移動方向予測部９１のブロック構成図である。
図１２において、移動領域抽出部９５は、フレーム収集部３から取得したフレーム情報を解析して検出対象の移動領域を抽出する機能、周辺物体情報解析部９６は物体検出部４から取得した物体検出結果を用いて検出対象の周辺の物体の状態などを認識し周辺物体の移動方向などの情報を取得する機能、制御データ取得部９７はカメラ（計測装置）２が車両などに設置されている場合に該当車両の操舵角や走行速度などの制御データを取得する機能、検出対象移動方向出力部９８は移動領域抽出部９５、周辺物体情報解析部９６、制御データ取得部９７により取得した情報を解析することで、検出対象の移動方向を推定しその結果を後段の処理ブロックに出力する機能である。以降は、機能９５、９６、９８について説明する。

【0048】

移動領域抽出部９５は、フレームに対して画像処理を実行し、建物内の通路情報や屋外の歩道情報、白線情報などを検出し、検出対象の移動領域を抽出する。抽出方法としては、物体認識や直線検出などにより障害物や白線などを検知し、障害物や白線で囲まれた領域を検出対象の移動領域として抽出するなどの方法がある。

【0049】

周辺物体情報解析部９６は、物体検出結果を解析して、全フレームにおける検出対象以外に周囲に存在する物体の検出結果を解析し、物体の動作状態や移動方向などの情報を取得する。取得方法としては、実施例１にて説明したフローを検出対象以外の物体にも適用し、物体の軌跡を生成することで、物体が停止しているや移動しているといった情報、移動している場合はその移動方向の情報を取得するなどの方法がある。また、全ての物体の動作状態を出力するのではなく、選定した物体の動作状態を出力するといった方法を採用しても良く、高信頼な検知枠を多数持つ物体の動作状態のみ使用する方法などがある。

【0050】

検出対象移動方向出力部９８は取得した検出対象の移動領域、周辺物体の動作状態、制御データを用いて、検出対象の移動方向を推定して出力する。移動方向の推定手法としては、例えば、検出対象の移動領域を長方形状に近似して長辺方向を移動体が行き来すると仮定して検出対象の移動方向をその２方向に決定する方法や、周辺物体の動作状態や制御データを解析し、検出対象が周囲の対象と同様の移動をしていると仮定し、周囲の対象が停止している場合は、検出対象は停止していると判断し移動方向を０とし、動作している場合は、その移動方向を検出対象の移動方向として決定する方法などがある。

【0051】

検出対象移動方向予測部９１によって出力された検出対象の移動方向から存在確率マップや検知枠信頼度、検知枠位置などの情報を補正する方法について説明する。例えば、存在確率マップの補正方法として、存在確率マップ補間部２２において前後フレームの存在確率マップを使用して該当フレームの存在確率マップの位置を決定する際に、予測した検出対象の移動方向に沿って、マップの位置を微修正する方法が考えられる。また、検知枠信頼度の補正方法としては、フレーム間における検出対象の検知枠の中心座標の移動方向を求め、予測した検出対象の移動方向と類似している場合は該当フレームの検知枠の信頼度が高くなるように補正する方法が考えられる。また、検知枠位置の補正方法については、高信頼度検知枠選定部８１によって高信頼度の検知枠を選定する際に、フレーム間における検知枠の中心座標の移動方向と予測した検出対象の移動方向が類似するフレームを優先的に選定するなどの方法が考えらえる。上記説明した方法以外にも、予測した検出対象の移動方向と、実施例１に示したフローによって使用される検出対象の移動方向とを比較し、補正に活用できる方法であれば、特に限定しない。

【0052】

本発明の実施例２では以上説明した機能構成により、計測範囲内の物体の軌跡を生成するような物体追跡装置において、予め検出対象の移動方向を予測しておき、その移動方向の情報を活用しつつ各フレームの物体検出結果から生成した存在確率マップ情報から検知枠の加減を調整し、フロー情報から算出した信頼度に応じて検知枠位置を補正することで、検出対象の高精度な軌跡を出力することができる。

【0053】

＜実施例３＞
図１３は本発明の実施例３のブロック構成図である。
図１３に示す物体追跡装置１００は、各フレームの物体検出結果から生成した存在確率マップ情報から検知枠の加減を調整し、フロー情報から算出した信頼度に応じて検知枠位置を補正することで検出対象の複数の軌跡を生成し、その中から高精度な軌跡を選択することで、検出対象の高精度な軌跡を出力する装置である。図１３において、フレーム収集部３、物体検出部４、存在確率マップ決定部５、検知枠加減決定部６、フロー算出部７、検知枠信頼度算出部８、検知枠位置補正部９、軌跡生成部１０は実施例１と同じ機能である。存在確率マップ決定部５は、検出対象の複数の存在確率マップを生成し、検知枠信頼度算出部８は、検出対象の複数の信頼度を算出し、検知枠位置補正部９は、検出対象の複数の検知枠位置を生成する。

【0054】

軌跡生成部１０は、複数の存在確率マップ、複数の検知枠信頼度、および複数の検知枠位置の情報を用いて複数の軌跡を生成する。そして、軌跡保存部１０１は、生成した軌跡を保存する機能、軌跡選定部１０２は保存した軌跡の中からＧＵＩなどによりユーザが手動でいずれか一つの軌跡を選定する機能を有する。

【0055】

軌跡生成部１０は、本実施例では、同一フレームにおける検出対象の存在確率マップ、検知枠信頼度、および検知枠位置補正方法を複数パターン用意し、同一対象の複数の軌跡を生成する。例えば、存在確率マップ決定部５においては、存在確率マップの生成あるいは補間の手法をアルゴリズムが異なるものを使用することや、存在確率マップ選定部２３によって選定する領域のパターンを変化させることで複数の存在確率マップを生成できる。また、検知枠信頼度算出部８においては、信頼度の算出アルゴリズムを変化させることで複数の信頼度を所持することができ、検知枠位置補正部９においては、検出対象対応付け部８０の対応付け方法のパターンや高信頼度検知枠選定のパターンを変化させることで、複数の検知枠情報を生成できる。

【0056】

軌跡選定部１０２においては、検出対象に対して、位置補正後の検知枠を付与した全フレームの画像とその検知枠から生成した軌跡をセットとして、軌跡ごとにＧＵＩ画面に表示することで、ユーザが最適と考える軌跡を選択できる。

【0057】

本発明の実施例３では以上説明した機能構成により、計測範囲内の物体の軌跡を生成するような物体追跡装置において、各処理ブロックにおけるアルゴリズムなどを変更しつつ実施例１のフローにより生成した複数の軌跡を保存しつつ、ＧＵＩ画面などに可視化することで、ユーザが検出対象の高精度な軌跡を選定することができる。

【0058】

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0059】

１・・・物体追跡装置、２・・・カメラ（センサ）、３・・・フレーム収集部、４・・・物体検出部、５・・・存在確率マップ決定部、６・・・検知枠加減決定部、７・・・フロー算出部、８・・・検知枠信頼度算出部、９・・・検知枠位置補正部、１０・・・軌跡生成部、１１・・・撮像画像、１２、１３・・・検出対象、１４・・・検知枠、１５・・・検知枠情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】