特許 7435230 物体追跡装置、物体追跡方法、および物体追跡プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】物体追跡装置、物体追跡方法、および物体追跡プログラム

(51)【国際特許分類】

   G08G 1/04 20060101AFI20240214BHJP

   G06T 7/246 20170101ALI20240214BHJP

   G06T 7/00 20170101ALI20240214BHJP

   G08G 1/16 20060101ALI20240214BHJP

【ＦＩ】

G08G1/04 D

G06T7/246

G06T7/00 650B

G08G1/16 D

【請求項の数】 9

(21)【出願番号】P 2020084751

(22)【出願日】2020-05-13

(65)【公開番号】P2021179803

(43)【公開日】2021-11-18

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】七條 大樹

(72)【発明者】

【氏名】萩原 祥行

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１３－１６７５５４（ＪＰ，Ａ）

【文献】特開２０１１－０８１５３３（ＪＰ，Ａ）

【文献】特開２０２０－０１９３０１（ＪＰ，Ａ）

【文献】特開２００５－３２６２９６（ＪＰ，Ａ）

【文献】特開２００２－１４０７９０（ＪＰ，Ａ）

【文献】特開２０００－２９２５３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｇ０１Ｓ ７／００ － ７／４２

Ｇ０１Ｓ １３／００ － １３／９５

Ｇ０１Ｓ ７／４８ － ７／５１

Ｇ０１Ｓ １７／００ － １７／９５

Ｈ０４Ｎ ７／１８

Ｇ０１Ｖ １／００ － ９９／００

Ｇ０８Ｂ １９／００ － ２１／２４

Ｇ０１Ｃ ２１／００ － ２１／３６

Ｇ０１Ｃ ２３／００ － ２５／００

Ｂ６０Ｗ １０／００ － １０／３０

Ｂ６０Ｗ ３０／００ － ６０／００

Ｂ６０Ｒ ２１／００ － ２１／１３

Ｂ６０Ｒ ２１／３４ － ２１／３８

(57)【特許請求の範囲】

【請求項1】

対象エリア内を繰り返し探査波で走査して検出した物体の速度、および位置を含む物体検出データが入力される検出データ入力部と、
前記対象エリアを撮像した動画像が入力される画像入力部と、
前記検出データ入力部に入力された前記物体検出データに基づき、前記対象エリア内で移動状態から停止状態に状態変化した物体を観測対象物体として検出する検出部と、
前記画像入力部に入力された動画像にかかるフレーム画像を処理し、前記観測対象物体の停止状態を監視する停止状態監視部と、
前記対象エリア内における前記観測対象物体の追跡データを、前記検出データ入力部に入力された前記物体検出データ、および前記停止状態監視部による前記観測対象物体の監視結果を用いて生成する追跡データ生成部と、を備えた物体追跡装置。

【請求項2】

前記停止状態監視部は、前記画像入力部に入力された動画像にかかるフレーム画像を処理して抽出した前記観測対象物体の特徴量を用いて、この観測対象物体の停止状態を監視する、請求項１に記載の物体追跡装置。

【請求項3】

前記追跡データ生成部は、前記観測対象物体が前記対象エリア内で移動状態から停止状態に状態変化するまでの第１の期間における前記物体検出データと、前記観測対象物体が停止状態から移動状態に状態変化した後の第２の期間における前記物体検出データと、を前記停止状態監視部による前記観測対象物体の監視結果を用いて対応づける、請求項１、または２に記載の物体追跡装置。

【請求項4】

前記観測対象物体が停止状態から移動状態に状態変化したことを検出すると、その旨を出力する出力部を備えた、請求項１～３のいずれかに記載の物体追跡装置。

【請求項5】

前記観測対象物体は、人である、請求項１～４のいずれかに記載の物体追跡装置。

【請求項6】

前記停止状態監視部は、前記観測対象物体である人の姿勢を推定し、推定した姿勢に基づき危険度を判定する、請求項５に記載の物体追跡装置。

【請求項7】

前記対象エリアは、車両の走行路を横断する人が、この走行路の手前で立ち止まるエリアを含む、請求項５、または６に記載の物体追跡装置。

【請求項8】

検出データ入力部に入力された、対象エリア内を繰り返し探査波で走査して検出した物体の速度、および位置を含む物体検出データに基づき、前記対象エリア内で移動状態から停止状態に状態変化した物体を観測対象物体として検出する検出ステップと、
画像入力部に入力された、前記対象エリアを撮像した動画像にかかるフレーム画像を処理し、前記観測対象物体の停止状態を監視する停止状態監視ステップと、
前記対象エリア内における前記観測対象物体の追跡データを、前記検出データ入力部に入力された前記物体検出データ、および前記停止状態監視ステップにおける前記観測対象物体の監視結果を用いて生成する追跡データ生成ステップと、をコンピュータが実行する物体追跡方法。

【請求項9】

検出データ入力部に入力された、対象エリア内を繰り返し探査波で走査して検出した物体の速度、および位置を含む物体検出データに基づき、前記対象エリア内で移動状態から停止状態に状態変化した物体を観測対象物体として検出する検出ステップと、
画像入力部に入力された、前記対象エリアを撮像した動画像にかかるフレーム画像を処理し、前記観測対象物体の停止状態を監視する停止状態監視ステップと、
前記対象エリア内における前記観測対象物体の追跡データを、前記検出データ入力部に入力された前記物体検出データ、および前記停止状態監視ステップにおける前記観測対象物体の監視結果を用いて生成する追跡データ生成ステップと、をコンピュータに実行させる物体追跡プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、物体（特に、人）の移動を追跡する技術に関する。

【背景技術】

【0002】

従来、探査波としてミリ波、マイクロ波等の電波を放射し、その反射波を受信することによって移動体を検出する電波レーダ装置があった（特許文献１等参照）。また、電波レーダ装置は、放射した電波の周波数と、受信した電波の周波数との差に基づいて、検出した移動体（人や車両等）の速度を取得できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－３２９９１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、電波レーダ装置は、ドップラー効果を利用して移動体を検出する構成である。このため、電波レーダ装置は、移動体の移動速度が略０になると（すなわち、移動体が停止すると、）、建造物、設置物等と区別して検出することができない。

【0005】

例えば、電波レーダ装置は、対象エリア内で移動を追跡している移動体が停止すると、その移動体を建造物、設置物等と区別して検出することができず、見失うことがあった。その結果、対象エリア内で一時的に停止した移動体について、停止前後の追跡データを対応付けることができないことがあった。すなわち、移動体の停止前後の追跡データを、それぞれ異なる移動体の追跡データとして取得することがあった。

【0006】

この発明の目的は、対象エリア内で移動を追跡している移動体が停止したかどうかにかかわらず、この移動体の対象エリア内における追跡データを適正に取得できる技術を提供することにある。

【課題を解決するための手段】

【0007】

この発明の物体追跡装置は、上記目的を達成するため以下に示すように構成している。

【0008】

検出データ入力部には、対象エリア内を繰り返し探査波で走査して検出した物体の速度、および位置を含む物体検出データが入力される。また、画像入力部には、対象エリアを撮像した動画像が入力される。

【0009】

検出部が、検出データ入力部に入力された物体検出データに基づいて対象エリア内で移動状態から停止状態に状態変化した物体を観測対象物体として検出する。また、停止状態監視部が、画像入力部に入力された動画像にかかるフレーム画像を処理し、観測対象物体の停止状態を監視する。

【0010】

そして、追跡データ生成部が、対象エリア内における観測対象物体の追跡データを、検出データ入力部に入力された物体検出データ、および停止状態監視部による観測対象物体の監視結果を用いて生成する。

【0011】

この構成では、対象エリア内において、ミリ波、マイクロ波等の電波を用いて移動を追跡している移動体が停止すると、その移動体（停止している移動体）の監視を、画像入力部に入力された動画像にかかるフレーム画像を処理することによって行う。移動体は、例えば、人であってもよいし、自転車であってもよいし、車両であってもよい。移動体の種類は、大きさや、移動速度によって判定できる。これにより、監視している移動体が停止状態から移動状態に状態変化したとき、この状態変化を適正に検出できる。したがって、移動体が対象エリア内で、一時的に停止しても、この移動体の対象エリア内における追跡データを適正に取得できる。すなわち、対象エリア内で移動を追跡している移動体が停止したかどうかにかかわらず、この移動体の対象エリア内における追跡データを適正に取得できる。

【0012】

また、停止状態監視部は、例えば、画像入力部に入力された動画像にかかるフレーム画像を処理して抽出した観測対象物体の特徴量を用いて、この観測対象物体の停止状態を監視する構成にしてもよい。具体的には、観測対象物体の特徴量がフレーム画像上で変化したかどうかによって、この観測対象物体が停止状態から移動状態に状態変化したかどうかを検出すればよい。

【0013】

また、追跡データ生成部は、例えば観測対象物体が対象エリア内で移動状態から停止状態に状態変化するまでの第１の期間における物体検出データと、観測対象物体が停止状態から移動状態に状態変化した後の第２の期間における物体検出データと、を停止状態監視部による観測対象物体の監視結果を用いて対応づける構成にしてもよい。

【0014】

また、例えば、観測対象物体が停止状態から移動状態に状態変化したことを検出すると、その旨を出力する出力部を備える構成にしてもよい。

【0015】

また、停止状態監視部は、例えば、観測対象物体である人の姿勢を推定し、推定した姿勢に基づき危険度を判定する構成にしてもよい。

【0016】

このように構成すれば、停止した人が、立ち止まったのか、しゃがみこんだのか、転倒したのか等を推定し、その人の危険度を判定できる。

【0017】

対象エリアは、例えば、車両の走行路を横断する人が、この走行路の手前で立ち止まるエリアを含む。ここで言う車両の走行路は、自動車が走行する道路に限らず、列車が走行する線路等も含む。

【発明の効果】

【0018】

この発明によれば、対象エリア内で移動を追跡している移動体が停止したかどうかにかかわらず、この移動体の対象エリア内における追跡データを適正に取得できる。

【図面の簡単な説明】

【0019】

【図1】物体追跡装置によって移動体である人を追跡する対象エリアを示す概略図である。

【図2】物体追跡装置、電波レーダ装置、および撮像装置の接続を示す図である。

【図3】物体追跡装置の主要部の構成を示す図である。

【図4】対象エリア内で停止しなかった歩行者の追跡データを示す図である。

【図5】図５（Ａ）は、対象エリア内で停止する以前の歩行者の追跡データを示し、図５（Ｂ）は、対象エリア内での停止後に歩行を再開した以降の歩行者の追跡データを示す図である。

【図6】電波レーダ装置の動作を示すフローチャートである。

【図7】物体追跡装置の動作を示すフローチャートである。

【図8】監視処理を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、この発明の実施形態について説明する。

【0021】

＜１．適用例＞
図１は、この例にかかる物体追跡装置によって移動体である人を追跡する対象エリアを示す概略図である。図２は、この例にかかる物体追跡装置、電波レーダ装置、および撮像装置の接続を示す図である。

【0022】

図２に示すように、この例にかかる物体追跡装置１には、電波レーダ装置５、および撮像装置６が接続されている。物体追跡装置１は、電波レーダ装置５、および撮像装置６と、有線で接続される構成であってもよいし、無線で接続される構成であってもよい。また、後述するが、電波レーダ装置５は、対象エリア１００を探査波である電波で走査できる位置に設置されている。また、撮像装置６は、撮像エリアが対象エリアを含むように設置されている。電波レーダ装置５、および撮像装置６は、対象エリア１００付近に設置されることになるが、物体追跡装置１は、対象エリア１００付近に設置されてもよいし、対象エリア１００から離れた管制センタ、データ収集センタ等に設置されてもよい。

【0023】

図１に示すように、この例では、対象エリア１００には、車両１１０が走行する車道を、歩行者１１１が横断する横断歩道全体が含まれている。この例では、物体追跡装置１は、横断歩道を横断する歩行者１１１を追跡し、車道を走行している車両１１０を追跡しない。歩行者は、横断歩道を横断する際に、横断歩道手前の歩道側で立ち止まることがある。例えば、歩行者１１１は、車道における車両１１０の走行状態を確認するとき（安全に横断できるかどうかを確認するとき）、また信号機が設置されていれば、赤信号であるとき、断歩道手前の歩道側で立ち止まる。

【0024】

図１に示す車道は、片側１車線であるが、１車線の一方通行であってもよいし、片側複数車線（対向車線の車線数は、同じであってもよいし、異なっていてもよい。）であってもよい。

【0025】

電波レーダ装置５は、対象エリア１００内を探査波で走査できる位置に取り付けられている。また、撮像装置６は、対象エリア１００が撮像エリアに収まるアングルで取り付けられている。電波レーダ装置５、および撮像装置６は、例えば、車道の路側に設置されたポール（不図示）、またはこのポールに取り付けたアーム（不図示）に取り付けられている。

【0026】

電波レーダ装置５は、図１に示す対象エリア１００内を電波（この発明で言う探査波に相当する。）で走査し、歩行者１１１の位置、および速度を検出する。電波レーダ装置５は、電波による対象エリア１００内の走査を、設定された時間間隔（例えば、１００ｍｓｅｃ間隔）で繰り返す。

【0027】

また、電波レーダ装置５は、対象エリア１００内において、歩行者１１１を追跡した追跡データを生成する構成を備えていてもよい。この例では、電波レーダ装置５が、この追跡データを生成する構成を備えているものとして説明するが、この追跡データを生成する構成については、物体追跡装置１側に備えてもよい。追跡データを生成する構成とは、電波レーダ装置５による前回の対象エリア１００の走査において検出した歩行者１１１と、今回の対象エリア１００の走査において検出した歩行者１１１と、を対応づける構成である。電波レーダ装置５は、対象エリア１００を走査する毎に、今回の走査で検出した歩行者１１１のＩＤ、位置、および速度を対応づけた歩行者検出データを出力する。

【0028】

撮像装置６は、公知のビデオカメラである。撮像装置６のフレームレートは、数十フレーム／ｓｅｃ（例えば、３０フレーム／ｓｅｃ）である。この撮像装置６は、上記したように撮像エリアが対象エリア１００を含むように設置されている。

【0029】

図２に示すように、この例にかかる物体追跡装置１には、電波レーダ装置５から上記した歩行者検出データが入力されるとともに、撮像装置６から対象エリア１００を撮像した動画像が入力される。

【0030】

物体追跡装置１は、入力された歩行者検出データに基づき、対象エリア１００内を通行した歩行者１１１の追跡データを取得する。ここで言う追跡データは、時間経過に伴う、歩行者１１１の位置、および速度の変化を示すデータである。

【0031】

また、物体追跡装置１は、検出した速度が予め設定している閾値速度（例えば、１０Ｋｍ／ｈ）を超えている移動体を、歩行者１１１でないとして検出しない。また、物体追跡装置１は、検出した速度が、略０に近づいた歩行者１１１を（例えば、１ｋｍ／ｈ未満になった移動体を）、停止する歩行者１１１（この発明で言う、観測対象物体）として検出する。

【0032】

また、物体追跡装置１は、撮像装置６から入力された動画像にかかるフレーム画像を処理し、そのフレーム画像に撮像されている停止している歩行者１１１を検出し、当該歩行者１１１を監視する監視処理を行う。ここで言う、歩行者１１１の監視とは、停止した歩行者１１１が歩行（移動）を開始（再開）するのを監視することである。

【0033】

電波レーダ装置５は、歩行者１１１の速度成分が略０になると、この歩行者１１１を見失う可能性が高くなる。電波レーダ装置５が停止した歩行者を見失うと、物体追跡装置１おいて、停止した歩行者１１１についての歩行者検出データが電波レーダ装置５から入力されない。

【0034】

また、電波レーダ装置５は、停止した歩行者１１１が歩行を再開すると、この歩行者１１１がある程度の速度を超えた時点で、この歩行者１１１を再検出する。電波レーダ装置５は、再検出した歩行者１１１の歩行者検出データを物体追跡装置１に出力する。

【0035】

上記の説明からわかるように、電波レーダ装置５は、観測対象物体である停止した歩行者１１１を見失った位置と、歩行を再開した歩行者１１１を再検出する位置とにズレが生じる。したがって、電波レーダ装置５は、一時的に停止した歩行者１１１の歩行者検出データを、停止前後で対応づけることができない。具体的には、電波レーダ装置５は、一時的に停止した歩行者１１１に対して、停止以前の期間（この発明で言う、第１の期間に相当する。）と、歩行再開後の期間（この発明で言う、第２の期間に相当する。）とにおいて、異なるＩＤを割り当てる（歩行者検出データに含まれるＩＤが異なる。）。

【0036】

物体追跡装置１は、電波レーダ装置５が歩行を再開した歩行者１１１を検出する前に、撮像装置６から入力された動画像にかかるフレーム画像の処理で、監視している一時的に停止した歩行者１１１が歩行を再開したことを検出する。物体追跡装置１は、歩行者１１１の歩行の再開を検出すると、電波レーダ装置５から歩行を再開した歩行者１１１について入力された歩行者検出データのＩＤが、この歩行者１１１が停止する以前と異なっているかどうかを判定する（電波レーダ装置５が、停止した歩行者１１１を見失っていたかどうかを判定する。）。

【0037】

物体追跡装置１は、電波レーダ装置５から歩行者１１１について入力された歩行者検出データのＩＤが、この歩行者１１１が歩行を停止した前後で異なっていれば、これらのＩＤを対応づける。すなわち、物体追跡装置１は、一時的に停止した前後の歩行者検出データを対応付ける。したがって、物体追跡装置１は、歩行者１１１が対象エリア１００内で停止しても、その歩行者１１１の移動を追跡した追跡データ（歩行者検出データ）を適正に取得できる。

【0038】

＜２．構成例＞
図３は、この例にかかる物体追跡装置の主要部の構成を示す図である。この例にかかる物体追跡装置１は、制御ユニット１１と、検出データ入力部１２と、画像入力部１３と、出力部１４と、を備えている。

【0039】

制御ユニット１１は、物体追跡装置１本体各部の動作を制御する。また、制御ユニット１１は、検出部２１、画像処理部２２、および追跡データ生成部２３を有している。制御ユニット１１が有する検出部２１、画像処理部２２、および追跡データ生成部２３については後述する。

【0040】

検出データ入力部１２には、電波レーダ装置５が接続されている。検出データ入力部１２には、電波レーダ装置５から歩行者検出データが入力される。歩行者検出データは、検出した歩行者毎に、その歩行者１１１のＩＤ、位置、および速度を対応づけたデータである。電波レーダ装置５は、対象エリア１００を電波で走査する毎に、その走査において検出した各歩行者１１１の歩行者検出データを物体追跡装置１に出力する。

【0041】

画像入力部１３には、撮像装置６が接続されている。画像入力部１３には、撮像装置６によって撮像された対象エリア１００の動画像が入力される。

【0042】

出力部１４は、管制センタ等の上位装置（不図示）に対して、対象エリア１００における各歩行者の追跡データ等を出力する。

【0043】

次に、制御ユニット１１が有する検出部２１、画像処理部２２、および追跡データ生成部２３について説明する。

【0044】

検出部２１は、電波レーダ装置５から入力された歩行者検出データに基づき、速度が略０に近づいた歩行者１１１を（例えば、２ｋｍ／ｈ未満になった歩行者を）、停止する歩行者１１１（この発明で言う、観測対象物体）として検出する。

【0045】

画像処理部２２は、撮像装置６から入力された動画像にかかるフレーム画像の中から処理対象フレーム画像を選択する。画像処理部２２は、選択した処理対象フレーム画像を処理して、その処理対象フレーム画像に撮像されている観測対象の歩行者１１１の動きを監視する。観測対象の歩行者１１１とは、歩行者検出データに基づいて検出した、速度が略０に近づいた歩行者１１１である。

【0046】

制御ユニット１１は、撮像装置６によって撮像された動画像にかかるフレーム画像上の位置を、電波レーダ装置５によって検出された位置に対応付けるためのパラメータを、図示していないメモリに記憶している。例えば、このパラメータは、撮像装置６が撮像した動画像にかかるフレーム画像上の位置と、実空間上の位置とを対応づけるパラメータである。電波レーダ装置５は、設置されている実空間上の位置を基準にして歩行者１１１の実空間上の位置を検出する。

【0047】

画像処理部２２は、上記パラメータを用いて、検出部２１が検出した観測対象の歩行者１１１が撮像されているフレーム画像上の位置を特定する。画像処理部２２は、フレーム画像を処理して観測対象の歩行者１１１の特徴量を抽出する。画像処理部２２は、抽出した特徴量を用いて、観測対象の歩行者１１１が停止後に歩行を再開するのを監視する。具体的には、画像処理部２２は、フレーム画像上において、観測対象の歩行者１１１の特徴量が検出されるフレーム画像の位置の変化を監視する。画像処理部２２が、この発明で言う停止状態監視部に相当する。

【0048】

なお、画像処理部２２は、観測対象の歩行者１１１の監視において、入力された動画像にかかるフレーム画像を、時間的に並ぶ順番に１フレームずつ処理対象フレーム画像として選択してもよいし、時間的に並ぶ順番に数フレーム間隔（２～１０フレーム間隔）で処理対象フレーム画像として選択してもよい。

【0049】

追跡データ生成部２３は、電波レーダ装置５から入力された歩行者検出データを処理して、対象エリア１００内における歩行者１１１の移動を追跡した追跡データを生成する。図４は、対象エリア内で停止しなかった歩行者の追跡データを示す図である。図５は、対象エリア内で停止した歩行者の追跡データを示す図である。図５（Ａ）は、対象エリア内で停止する以前の歩行者の追跡データを示し、図５（Ｂ）は、対象エリア内での停止後に歩行を再開した以降の歩行者の追跡データを示している。図５に示す例は、電波レーダ装置５が、対象エリア内で一時的に停止した歩行者１１１を見失った例である。

【0050】

図４、および図５に示すように、歩行者１１１の追跡データは、歩行者１１１を識別するＩＤと、検出時刻毎に歩行者の速度、および位置を対応づけたデータである。歩行者１１１の位置は、この例では、歩行者が車道を横断する横断方向における第１基準位置からの距離と、横断歩道の幅方向における第２基準位置からの距離である。第１の基準位置は、例えば、横断方向における電波レーダ装置５の設置位置である。また、第２の基準位置は、例えば、横断歩道の幅方向の中心位置であって、右側が正値、左側が負値である。

【0051】

停止することなく対象エリア１００内を通行した歩行者１１１は、電波レーダ装置５から入力される歩行者検出データに含まれるＩＤが変化しない。したがって、追跡データ生成部２３は、入力された歩行者検出データを、ＩＤで分類して集計することによって、停止することなく対象エリア１００内を通行した歩行者１１１の追跡データを生成できる。

【0052】

また、歩行者１１１が対象エリア１００内で一時的に停止したことで、電波レーダ装置５がこの歩行者１１１を見失った場合、この歩行者１１１については、停止する以前の追跡データ（図５（Ａ）参照）と、停止後の歩行再開以降の歩行者の追跡データ（図５（Ｂ）参照）とでＩＤが異なっている。したがって、追跡データ生成部２３が、入力された歩行者検出データを、ＩＤで分類して集計するだけでは、停止する以前の追跡データと、停止以降の追跡データとを個別に生成できるだけである。追跡データ生成部２３は、画像処理部２２における観測対象の歩行者１１１の監視結果に基づき、停止前後の歩行者１１１の追跡データを対応づける。

【0053】

物体追跡装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかる物体追跡プログラムを実行したときに、検出部２１、画像処理部２２、および追跡データ生成部２３として動作する。また、メモリは、この発明にかかる物体追跡プログラムを展開する領域や、この物体追跡プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかる物体追跡方法を実行するコンピュータである。また、制御ユニット１１は、ハードウェアＣＰＵをハードウェアＧＰＵに置き換えた構成であってもよいし、ハードウェアＣＰＵおよびハードウェアＧＰＵを備える構成であってもよい（この場合、ハードウェアＧＰＵが、この発明にかかる物体追跡プログラムを実行し、また、ハードウェアＧＰＵが、この発明にかかる物体追跡方法を実行する。）。

【0054】

また、メモリには、フレーム画像上の位置を、電波レーダ装置５によって検出された位置に対応付けるためのパラメータを記憶している。例えば、このパラメータは、撮像装置６が撮像した動画像にかかるフレーム画像上の位置と、実空間上の位置とを対応づけるパラメータである。この場合、電波レーダ装置５は、設置されている実空間上の位置を基準にして歩行者１１１の実空間上の位置を検出する。

【0055】

なお、メモリに記憶している上記パラメータは、フレーム画像上の位置と、電波レーダ装置５によって検出された位置と、を対応付けることができるパラメータであれば、どのような形式であってもよい。

【0056】

また、電波レーダ装置５、および撮像装置６については、すでに実用化されている公知の装置であるので、ここでは詳細な構成の説明を省略する。

【0057】

＜３．動作例＞
図６は、電波レーダ装置の動作を示すフローチャートである。電波レーダ装置５は、対象エリア１００の走査タイミングになると（ｓ１）、対象エリア１００を探査波である電波で走査し、その反射波を検出することにより、対象エリア１００内に位置している歩行者１１１を検出する検出処理を行う（ｓ２）。ｓ２では、電波レーダ装置５は、電波の照射方向毎に、反射波を検出するまでの時間（電波の飛行時間）と、反射波の周波数を検出し、電波を反射した物体（歩行者１１１、車両１１０、路面等）の位置、およびこの物体の速度を検出する。

【0058】

なお、この例では、電波レーダ装置５は、検出した速度が閾値速度（例えば、１０Ｋｍ／ｈ）を超えている移動体を、歩行者１１１でない（車両１１０である。）として検出しない。

【0059】

電波レーダ装置５は、ｓ２にかかる検出処理が完了すると、前回の対象エリア１００の走査で検出した歩行者１１１と、今回の対象エリア１００の走査で検出した歩行者１１１と、を対応づける対応づけ処理を行う（ｓ３）。ｓ３にかかる対応づけ処理では、歩行者１１１の位置、速度を用いて行う。電波レーダ装置５は、前回の走査で検出した歩行者１１１に対応づけることができた歩行者１１１（今回の走査で検出した歩行者１１１）については、対応づけた歩行者１１１に割り当てられているＩＤを割り当てる。一方、電波レーダ装置５は、前回の走査で検出した歩行者１１１に対応づけることができなかった歩行者１１１（今回の走査で検出した歩行者１１１）については、新たなＩＤを生成し、これを割り当てる。

【0060】

電波レーダ装置５は、歩行者１１１が一時的に停止したことで、この歩行者１１１を見失うことがある。この場合、電波レーダ装置５は、一時的に停止した歩行者１１１について、停止した以前の歩行者検出データと、歩行再開以降に検出した歩行者検出データとを対応づけることができない。すなわち、一時的に停止した歩行者１１１については、停止以前の歩行者検出データのＩＤと、歩行再開以降に検出した歩行者検出データのＩＤとが異なる。

【0061】

電波レーダ装置５は、今回の走査で検出した歩行者１１１毎に、ＩＤ、速度、位置を対応づけた歩行者検出データを生成し、ここで生成した歩行者検出データを物体追跡装置１に出力し（ｓ４）、ｓ１に戻る。

【0062】

この例では、電波レーダ装置５は、１００ｍｓｅｃ間隔で、対象エリア１００を電波で走査し、検出した歩行者１１１にかかる歩行者検出データを物体追跡装置１に出力する。すなわち、物体追跡装置１には、歩行者検出データが１００ｍｓｅｃ間隔で入力される。

【0063】

また、電波レーダ装置５は、上記の処理を行うことによって、対象エリア１００を通行した歩行者１１１の追跡データ（図４、図５参照）を得ることができる。但し、電波レーダ装置５は、対象エリア１００内で、一時的に停止した歩行者１１１を見失うと、この歩行者１１１については、停止以前における追跡データと、歩行再開以降における追跡データとを対応づけることができない。

【0064】

次に、この例にかかる物体追跡装置１の動作について説明する。図７は、物体追跡装置の動作を示すフローチャートである。物体追跡装置１は、検出データ入力部１２に歩行者検出データが入力されると（ｓ１１）、入力された歩行者検出データに基づき、速度が略０に近づいた歩行者１１１を（例えば、２ｋｍ／ｈ未満になった歩行者を）観測対象の歩行者１１１であるとして検出する（ｓ１２）。検出部２１が、ｓ１２にかかる処理を実行する。

【0065】

物体追跡装置１は、ｓ１２で検出された観測対象の歩行者１１１の中に、今回初めて検出された歩行者１１１がいるかどうかを判定する（ｓ１３）。ｓ１３にかかる処理は、同じ歩行者１１１に対して後述する監視処理を複数実行するのを防止するために設けている。検出部２１が、ｓ１３にかかる処理を実行する。

【0066】

物体追跡装置１は、今回初めて抽出された観測対象の歩行者１１１がいれば、この歩行者１１１に対する監視処理を開始する（ｓ１４）。ｓ１４において開始される監視処理については、後述する。

【0067】

物体追跡装置１は、ｓ１３で今回初めて抽出された観測対象の歩行者１１１がいないと判定した場合、またはｓ１４で今回初めて抽出された観測対象の歩行者１１１に対する監視処理を開始すると、今回入力された歩行者検出データをＩＤで分類して集計し（ｓ１５）、ｓ１１に戻る。追跡データ生成部２３が、ｓ１５にかかる処理を実行する。

【0068】

物体追跡装置１は、この図７に示す処理を実行することにより、上記した図４、または図５に示した追跡データを生成する。

【0069】

次に、ｓ１４で開始する監視処理について説明する。図８は、この監視処理を示すフローチャートである。画像処理部２２は、画像入力部１３に入力された動画像にかかるフレーム画像の中から、今回入力された歩行者検出データ（観測対象の歩行者１１１を抽出した歩行者検出データ）の検出時刻に対して、撮像時刻が時間的に最も近いフレーム画像を選択する（ｓ２１）。画像処理部２２は、ｓ２１で選択したフレーム画像に撮像されている観測対象の歩行者１１１を検出し、この歩行者１１１の特徴量を抽出する（ｓ２２）。ｓ２２では、この歩行者１１１のＩＤと、抽出した特徴量とを対応づけて記憶する。

【0070】

画像処理部２２は、歩行者検出データから今回検出された観測対象の歩行者１１１の実空間上の位置を得ることができる。また、物体追跡装置１は、実空間上の位置と、フレーム画像上の位置と、を対応づけるパラメータを制御ユニット１１のメモリに記憶している。したがって、画像処理部２２は、観測対象の歩行者１１１が撮像されているフレーム画像上の位置を判断することができる。画像処理部２２は、ｓ２２で観測対象の歩行者１１１の外形形状にかかる特徴だけでなく、衣服の色等も特徴として抽出する。

【0071】

画像処理部２２は、観測対象の歩行者１１１の歩行再開を監視するための処理対象フレーム画像を選択し（ｓ２３）、この歩行者１１１の歩行再開を判定する（ｓ２４）。画像処理部２２は、観測対象の歩行者１１１の歩行再開を確認するまで、ｓ２３、およびｓ２４にかかる処理を繰り返す。ｓ２３では、ｓ２１で選択したフレーム画像よりも、撮像タイミングが時間的に遅いフレーム画像である。また、ｓ２３では、画像入力部１３に入力された動画像にかかるフレーム画像を、時間的に並ぶ順番に１フレームずつ処理対象フレーム画像として選択してもよいし、時間的に並ぶ順番に数フレーム間隔（２～１０フレーム間隔）で処理対象フレーム画像として選択してもよい。また、画像処理部２２は、ｓ２４では、フレーム画像上において、観測対象の歩行者１１１の特徴量が抽出できる位置の変化を監視している。

【0072】

画像処理部２２は、ｓ２４で観測対象の歩行者１１１の歩行再開を確認すると、検出データ入力部１２に歩行者検出データが入力されるのを待って（ｓ２５）、今回入力された歩行者検出データの中に、歩行再開を確認した観測対象の歩行者１１１の歩行者検出データが含まれているかどうかを判定する（ｓ２６）。ｓ２６では、観測対象の歩行者１１１の停止位置付近において、新たなＩＤが割り当てられた歩行者検出データがあるかどうかを判定している。観測対象の歩行者１１１の停止位置付近において、今回新たなＩＤが割り当てられた歩行者検出データが、歩行を再開した観測対象の歩行者１１１の歩行者検出データである。

【0073】

画像処理部２２は、ｓ２６で、歩行再開を確認した歩行者の歩行者検出データが含まれていると判定するまで、ｓ２５、およびｓ２６にかかる処理を繰り返す。画像処理部２２は、ｓ２６で、歩行再開を確認した歩行者１１１の歩行者検出データが含まれていると判定すると、この歩行者１１１の歩行者検出データに割り当てられているＩＤと、ｓ２２で抽出した観測対象の歩行者１１１の特徴量に対応付けたＩＤとを対応づけて記憶し（ｓ２７）、本処理を終了する。

【0074】

ｓ２７では、対象エリア１００内で一時的に停止した歩行者１１１に対して、電波レーダ装置５が停止以前に割り当てたＩＤと、歩行再開以降に割り当てたＩＤとを対応づけている。したがって、追跡データ生成部２３は、対象エリア１００内で停止したことによって、電波レーダ装置５が一時的に見失った歩行者１１１の追跡データが図５（Ａ）に示す停止以前と、図５（Ｂ）に示す歩行再開以降とに分かれても、対象エリア１００内における当該歩行者１１１の追跡データを適正に取得できる。

【0075】

なお、図７、および図８に示した処理は、一例であり、一部の処理ステップの順番を入れ替えたり、一部の処理ステップを同様の処理結果が得られる他の処理ステップに置き換えたりしてもよい。

【0076】

＜４．変形例＞
この変形例の物体追跡装置１も図２、図３に示した構成である。この変形例の物体追跡装置１は、画像処理部２２が観測対象の歩行者１１１の姿勢を推定し、推定した姿勢に基づき危険度を判定する、構成である。具体的には、画像処理部２２は、ｓ２３、ｓ２４で停止した歩行者１１１を監視しているときに、この歩行者１１１が、立ち止まっている、しゃがみこんでいる、転倒している等の姿勢を推定する。

【0077】

画像処理部２２は、推定した歩行者１１１の姿勢を基にして、この歩行者１１１の危険度を判定する。例えば、歩行者１１１が立ち止まっていれば危険度を小、しゃがみこんでいれば危険度を中、転倒していれば危険度を大、と判定する。

【0078】

また、物体追跡装置１は、判定した危険度が大であった場合に、その旨を出力部１４に接続されている上位装置に出力してもよい。

【0079】

また、画像処理部２２は、歩行者１１１の姿勢と、歩行者１１１の位置（例えば、車道の中間、横断歩道手前等）とを基にして、この歩行者１１１の危険度を判定してもよい。例えば、車道の中間で倒れた歩行者１１１がいれば、危険度が極めて高いと判定してもよい。

【0080】

また、物体追跡装置１は、歩行者１１１が車道を横断中であることを検出しているとき、車道を走行している車両１１０のドライバに対して、横断中の歩行者１１１がいることを通知する構成にしてもよい。例えば、物体追跡装置１は、車道を横断中である歩行者の有無を示す信号を出力部１４に接続されている上位装置に出力する。この上位装置が、物体追跡装置１からの車道を横断中である歩行者の有無を示す信号に応じて、走行している車両１１０のドライバに対する道路案内表示板（不図示）に横断中の歩行者の有無を示すメッセージを表示させる。これにより、車両１１０のドライバに対して、横断中の歩行者１１１の存在を知らせることができ、交通事故を抑制できる。特に、信号機が設置されていない横断歩道においては、交通事故を効果的に抑制できる。

【0081】

この場合、物体追跡装置１は、車道で転倒した歩行者１１１や、車道でしゃがみこんだ歩行者１１１等を検出したとき、その歩行者１１１の状態も含めて車両１１０のドライバに通知してもよい。

【0082】

また、上記の例で説明した電波レーダ装置５は、レーザ光を探査波として用いる、レーザレーダ装置に置き換えてもよい。

【0083】

また、物体追跡装置１は、横断歩道を横断する歩行者１１１に限らず、踏切等を横断する歩行者１１１を追跡してもよい（対象エリア１００を踏切にしてもよい。）
また、上記の説明では、物体追跡装置１は、歩行者１１１を追跡するとしたが、自転車、車両等の他の種類の移動体を追跡してもよい。

【0084】

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【0085】

さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
対象エリア（１００）内を繰り返し探査波で走査して検出した物体の速度、および位置を含む物体検出データが入力される検出データ入力部（１２）と、
前記対象エリア（１００）を撮像した動画像が入力される画像入力部（１３）と、
前記検出データ入力部（１２）に入力された前記物体検出データに基づき、前記対象エリア（１００）内で移動状態から停止状態に状態変化した物体を観測対象物体（１１１）として検出する検出部（２１）と、
前記画像入力部（１３）に入力された動画像にかかるフレーム画像を処理し、前記観測対象物体（１１１）の停止状態を監視する停止状態監視部（２２）と、
前記対象エリア（１００）内における前記観測対象物体（１１１）の追跡データを、前記検出データ入力部（１２）に入力された前記物体検出データ、および前記停止状態監視部（２２）による前記観測対象物体の監視結果を用いて生成する追跡データ生成部（２３）と、を備えた物体追跡装置（１）。

【符号の説明】

【0086】

１…物体追跡装置
５…電波レーダ装置
６…撮像装置
１１…制御ユニット
１２…検出データ入力部
１３…画像入力部
１４…出力部
２１…検出部
２２…画像処理部
２３…追跡データ生成部
１００…対象エリア
１１０…車両
１１１…歩行者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】