▶ アイシン精機株式会社の特許一覧 ▶ 国立大学法人九州工業大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022152202
(43)【公開日】2022-10-12
(54)【発明の名称】歩行追跡装置、及び歩行追跡プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20221004BHJP
H04N 7/18 20060101ALI20221004BHJP
【ＦＩ】
G06T7/20 300Z
H04N7/18 K
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021054885
(22)【出願日】2021-03-29
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(71)【出願人】
【識別番号】504174135
【氏名又は名称】国立大学法人九州工業大学
(74)【代理人】
【識別番号】100096655
【弁理士】
【氏名又は名称】川井 隆
(74)【代理人】
【識別番号】100091225
【弁理士】
【氏名又は名称】仲野 均
(72)【発明者】
【氏名】山田 英夫
(72)【発明者】
【氏名】柴田 雅聡
(72)【発明者】
【氏名】榎田 修一
(72)【発明者】
【氏名】本村 太一
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054EA07
5C054FC01
5C054FC12
5C054FC13
5C054FD07
5C054GB01
5C054GB05
5C054HA31
5L096AA06
5L096BA02
5L096CA04
5L096GA51
5L096JA03
(57)【要約】
【課題】歩行者を高精度で追跡する。
【解決手段】追跡対象である人物の歩行状態による類似度を加えた拡張ＤｅｅｐＳＯＲＴを構成し、これによって歩行状態推定を用いた頑健な複数人物追跡を行う。歩行状態はフレーム画像間の人物の姿勢変化が微小なことから対応付けに用いやすく、また、隠れなどによって一定時間の間、観測が不可能でもその時刻の姿勢を予測することが可能である。歩行状態は、矩形運動情報や外観情報とは異なった性質を有しているため、矩形運動情報や外観情報を補う新たな情報として適している。また、歩行状態は、歩行者の関節に基づく骨格情報から抽出するところ、必要な関節の未検出などによって歩行状態推定の精度が低下する場合があるため、関節の未検出の割合に基づく指標を設定する。当該指標によって歩行状態の有効性を判断し、これに基づいて歩行者対応付けの可否判断を行う。
【選択図】図２
【解決手段】追跡対象である人物の歩行状態による類似度を加えた拡張ＤｅｅｐＳＯＲＴを構成し、これによって歩行状態推定を用いた頑健な複数人物追跡を行う。歩行状態はフレーム画像間の人物の姿勢変化が微小なことから対応付けに用いやすく、また、隠れなどによって一定時間の間、観測が不可能でもその時刻の姿勢を予測することが可能である。歩行状態は、矩形運動情報や外観情報とは異なった性質を有しているため、矩形運動情報や外観情報を補う新たな情報として適している。また、歩行状態は、歩行者の関節に基づく骨格情報から抽出するところ、必要な関節の未検出などによって歩行状態推定の精度が低下する場合があるため、関節の未検出の割合に基づく指標を設定する。当該指標によって歩行状態の有効性を判断し、これに基づいて歩行者対応付けの可否判断を行う。
【選択図】図２
【特許請求の範囲】
【請求項1】
動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出手段と、
前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け手段と、
前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得手段と、
前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得手段と、
前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新手段と、
を具備したことを特徴とする歩行追跡装置。
前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け手段と、
前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得手段と、
前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得手段と、
前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新手段と、
を具備したことを特徴とする歩行追跡装置。
【請求項2】
前記取得した歩行状態が信頼できるか否かを判定する歩行状態判定手段を具備し、
前記更新手段は、更に、前記判定に基づいて前記更新を行う、
ことを特徴とする請求項１に記載の歩行追跡装置。
前記更新手段は、更に、前記判定に基づいて前記更新を行う、
ことを特徴とする請求項１に記載の歩行追跡装置。
【請求項3】
前記歩行状態取得手段は、前記検出歩行者と前記追跡歩行者の画像から、それぞれの関節を検出することにより前記歩行状態を取得し、
前記歩行状態判定手段は、前記関節の検出率に基づいて前記判定を行う、
ことを特徴とする請求項２に記載の歩行追跡装置。
前記歩行状態判定手段は、前記関節の検出率に基づいて前記判定を行う、
ことを特徴とする請求項２に記載の歩行追跡装置。
【請求項4】
前記歩行状態判定手段は、前記検出歩行者の関節の検出率に基づいて前記判定を行う、
ことを特徴とする請求項３に記載の歩行追跡装置。
ことを特徴とする請求項３に記載の歩行追跡装置。
【請求項5】
前記歩行状態判定手段は、前記検出歩行者と前記追跡歩行者で共通して検出した関節の検出率に基づいて前記判定を行う、
ことを特徴とする請求項３、又は請求項４に記載の歩行追跡装置。
ことを特徴とする請求項３、又は請求項４に記載の歩行追跡装置。
【請求項6】
前記歩行状態判定手段は、同一人である程度が所定値より低く、かつ、前期関節の検出率が所定値より高い場合に更新しないと判定し、これに該当しない場合は、更新すると判定することを特徴とする請求項３、請求項４、又は請求項５に記載の歩行追跡装置。
【請求項7】
前記検出歩行者と前記追跡歩行者の外観による外観対応度を取得する外観対応度取得手段を具備し、
前記歩行者対応付け手段は、前記取得した外観対応度を用いて前記対応付けを行う、
ことを特徴とする請求項１から請求項６までのうちの何れか１の請求項に記載の歩行追跡装置。
前記歩行者対応付け手段は、前記取得した外観対応度を用いて前記対応付けを行う、
ことを特徴とする請求項１から請求項６までのうちの何れか１の請求項に記載の歩行追跡装置。
【請求項8】
前記検出歩行者と前記追跡歩行者の歩行による運動状態の運動対応度を取得する運動対応度取得手段を更に具備し、
前記歩行者対応付け手段は、前記取得した運動対応度を更に用いて前記対応付けを行う、
ことを特徴とする請求項７に記載の歩行追跡装置。
前記歩行者対応付け手段は、前記取得した運動対応度を更に用いて前記対応付けを行う、
ことを特徴とする請求項７に記載の歩行追跡装置。
【請求項9】
前記歩行者対応付け手段は、更に、前記同一人程度取得手段で取得した同一人である程度を用いて前記対応付けを行う、
ことを特徴とする請求項７、又は請求項８に記載の歩行追跡装置。
ことを特徴とする請求項７、又は請求項８に記載の歩行追跡装置。
【請求項10】
動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出機能と、
前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け機能と、
前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得機能と、
前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得機能と、
前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新機能と、
をコンピュータで実現する歩行追跡プログラム。
前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け機能と、
前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得機能と、
前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得機能と、
前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新機能と、
をコンピュータで実現する歩行追跡プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歩行追跡装置、及び歩行追跡プログラムに関し、例えば、動画によって歩行者を追跡するものに関する。
【背景技術】
【0002】
近年、公共の場所、車両、ロボット、工場などに設置したカメラで動画撮影した人物を画像認識して追跡する技術が大いに求められている。
このような追跡技術では、カメラ画像に写る人物を一人一人見失わず追跡するための人物追跡技術の精度向上が重要である。
動画によるカメラ画像を基に複数物体を追跡する手法として、追跡対象の運動に基づいて追跡を行う非特許文献１の技術がある。
このような追跡技術では、カメラ画像に写る人物を一人一人見失わず追跡するための人物追跡技術の精度向上が重要である。
動画によるカメラ画像を基に複数物体を追跡する手法として、追跡対象の運動に基づいて追跡を行う非特許文献１の技術がある。
【0003】
このような追跡対象の運動に基づく追跡はＳＯＲＴと呼ばれており、ＳＯＲＴでは、検出器によってフレーム画像から追跡対象を矩形によって検出し、検出器によって得られた矩形運動情報を基に追跡する。
ところが、ＳＯＲＴでは、単純に矩形運動情報だけを頼りに追跡しているため、追跡対象の隠れ等は考慮しておらず、追跡の割り当てが失敗する問題があった。そこで、更に外観情報を考慮し、矩形運動情報に加えて矩形領域の見た目の類似度を測ることで誤追跡の確率を減らすＤｅｅｐＳＯＲＴという手法が開発された。
ところが、ＳＯＲＴでは、単純に矩形運動情報だけを頼りに追跡しているため、追跡対象の隠れ等は考慮しておらず、追跡の割り当てが失敗する問題があった。そこで、更に外観情報を考慮し、矩形運動情報に加えて矩形領域の見た目の類似度を測ることで誤追跡の確率を減らすＤｅｅｐＳＯＲＴという手法が開発された。
【0004】
しかし、複数人物追跡においては、歩行者の外観が似ている場合も多く、例えば、類似色の服（スーツなど）を着用した人々が交差するといった場面では、矩形運動情報と外観情報だけでは、追跡対象を見失うことがあるという問題があった。
また、照明変化や姿勢変化、あるいは隠れなどによっても外観情報は変化するため、これによる誤追跡が発生してしまう場合もあった。
また、照明変化や姿勢変化、あるいは隠れなどによっても外観情報は変化するため、これによる誤追跡が発生してしまう場合もあった。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Ａｌｅｘ Ｂｅｗｌｅｙ，Ｚｏｎｇｙｕａｎ Ｇｅ、Ｌｉｏｎｅｌ Ｏｔｔ、Ｆａｂｉｏ Ｒａｍｏｓ、Ｂｅｎ Ｕｐｃｒｏｆｔ、”Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ”、２０１６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）、 ｐｐ． ３４６４－３４６８、 ２０１６。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、歩行者を高精度で追跡することを目的とする。
【課題を解決するための手段】
【0007】
（１）請求項１に記載の発明では、動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出手段と、前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け手段と、前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得手段と、前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得手段と、前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新手段と、を具備したことを特徴とする歩行追跡装置を提供する。
（２）請求項２に記載の発明では、前記取得した歩行状態が信頼できるか否かを判定する歩行状態判定手段を具備し、前記更新手段は、更に、前記判定に基づいて前記更新を行うことを特徴とする請求項１に記載の歩行追跡装置を提供する。
（３）請求項３に記載の発明では、前記歩行状態取得手段が、前記検出歩行者と前記追跡歩行者の画像から、それぞれの関節を検出することにより前記歩行状態を取得し、前記歩行状態判定手段は、前記関節の検出率に基づいて前記判定を行うことを特徴とする請求項２に記載の歩行追跡装置を提供する。
（４）請求項４に記載の発明では、前記歩行状態判定手段が、前記検出歩行者の関節の検出率に基づいて前記判定を行うことを特徴とする請求項３に記載の歩行追跡装置を提供する。
（５）請求項５に記載の発明では、前記歩行状態判定手段が、前記検出歩行者と前記追跡歩行者で共通して検出した関節の検出率に基づいて前記判定を行うことを特徴とする請求項３、又は請求項４に記載の歩行追跡装置を提供する。
（６）請求項６に記載の発明では、前記歩行状態判定手段が、同一人である程度が所定値より低く、かつ、前期関節の検出率が所定値より高い場合に更新しないと判定し、これに該当しない場合は、更新すると判定することを特徴とする請求項３、請求項４、又は請求項５に記載の歩行追跡装置を提供する。
（７）請求項７に記載の発明では、前記検出歩行者と前記追跡歩行者の外観による外観対応度を取得する外観対応度取得手段を具備し、前記歩行者対応付け手段は、前記取得した外観対応度を用いて前記対応付けを行うことを特徴とする請求項１から請求項６までのうちの何れか１の請求項に記載の歩行追跡装置を提供する。
（８）請求項８に記載の発明では、前記検出歩行者と前記追跡歩行者の歩行による運動状態の運動対応度を取得する運動対応度取得手段を更に具備し、前記歩行者対応付け手段は、前記取得した運動対応度を更に用いて前記対応付けを行うことを特徴とする請求項７に記載の歩行追跡装置を提供する。
（９）請求項９に記載の発明では、前記歩行者対応付け手段が、更に、前記同一人程度取得手段で取得した同一人である程度を用いて前記対応付けを行うことを特徴とする請求項７、又は請求項８に記載の歩行追跡装置を提供する。
（１０）請求項１０に記載の発明では、動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出機能と、前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け機能と、前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得機能と、前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得機能と、前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新機能と、をコンピュータで実現する歩行追跡プログラムを提供する。
（２）請求項２に記載の発明では、前記取得した歩行状態が信頼できるか否かを判定する歩行状態判定手段を具備し、前記更新手段は、更に、前記判定に基づいて前記更新を行うことを特徴とする請求項１に記載の歩行追跡装置を提供する。
（３）請求項３に記載の発明では、前記歩行状態取得手段が、前記検出歩行者と前記追跡歩行者の画像から、それぞれの関節を検出することにより前記歩行状態を取得し、前記歩行状態判定手段は、前記関節の検出率に基づいて前記判定を行うことを特徴とする請求項２に記載の歩行追跡装置を提供する。
（４）請求項４に記載の発明では、前記歩行状態判定手段が、前記検出歩行者の関節の検出率に基づいて前記判定を行うことを特徴とする請求項３に記載の歩行追跡装置を提供する。
（５）請求項５に記載の発明では、前記歩行状態判定手段が、前記検出歩行者と前記追跡歩行者で共通して検出した関節の検出率に基づいて前記判定を行うことを特徴とする請求項３、又は請求項４に記載の歩行追跡装置を提供する。
（６）請求項６に記載の発明では、前記歩行状態判定手段が、同一人である程度が所定値より低く、かつ、前期関節の検出率が所定値より高い場合に更新しないと判定し、これに該当しない場合は、更新すると判定することを特徴とする請求項３、請求項４、又は請求項５に記載の歩行追跡装置を提供する。
（７）請求項７に記載の発明では、前記検出歩行者と前記追跡歩行者の外観による外観対応度を取得する外観対応度取得手段を具備し、前記歩行者対応付け手段は、前記取得した外観対応度を用いて前記対応付けを行うことを特徴とする請求項１から請求項６までのうちの何れか１の請求項に記載の歩行追跡装置を提供する。
（８）請求項８に記載の発明では、前記検出歩行者と前記追跡歩行者の歩行による運動状態の運動対応度を取得する運動対応度取得手段を更に具備し、前記歩行者対応付け手段は、前記取得した運動対応度を更に用いて前記対応付けを行うことを特徴とする請求項７に記載の歩行追跡装置を提供する。
（９）請求項９に記載の発明では、前記歩行者対応付け手段が、更に、前記同一人程度取得手段で取得した同一人である程度を用いて前記対応付けを行うことを特徴とする請求項７、又は請求項８に記載の歩行追跡装置を提供する。
（１０）請求項１０に記載の発明では、動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出機能と、前記検出した検出歩行者と、前記動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け機能と、前記検出歩行者と前記追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得機能と、前記取得した歩行状態によって、前記対応付けた検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得機能と、前記取得した同一人である程度に基づいて、前記対応付けた検出歩行者によって前記追跡歩行者を更新する更新機能と、をコンピュータで実現する歩行追跡プログラムを提供する。
【発明の効果】
【0008】
本発明によれば、歩行状態を用いることにより、歩行者を高精度で追跡することができる。
【図面の簡単な説明】
【0009】
【図1】歩行追跡装置１のハードウェア的な構成を示した図である。
【図2】歩行追跡処理の概要を説明するための図である。
【図3】矩形運動情報による距離を説明するための図である。
【図4】外観情報による距離を説明するための図である。
【図5】歩行状態の検出手順を説明するための図である。
【図6】骨格情報を説明するための図である。
【図7】歩行方向を説明するための図である。
【図8】歩行段階を説明するための図である。
【図9】歩行状態を説明するための図である。
【図10】ＭＬＰを説明するための図である。
【図11】歩行状態による距離を説明するための図である。
【図12】追跡歩行者と検出歩行者のマッチング方法を説明するための図である。
【図13】歩行追跡処理を説明するためのフローチャートである。
【図14】実験結果を説明するための図である。
【発明を実施するための形態】
【0010】
（１）実施形態の概要
従来のＤｅｅｐＳＯＲＴでは、人物の矩形運動情報と外観情報を用いて複数の歩行者を追跡していたが、外観の類似や、照明の変化、及び隠れなどの発生等によって外観の類似度が変化し、追跡対象の識別が困難となる場合がある。そこで、本実施形態では、追跡対象である人物の歩行状態による類似度を加えた拡張ＤｅｅｐＳＯＲＴを構成し、これによって歩行状態推定を用いた頑健な複数人物追跡を行う。
従来のＤｅｅｐＳＯＲＴでは、人物の矩形運動情報と外観情報を用いて複数の歩行者を追跡していたが、外観の類似や、照明の変化、及び隠れなどの発生等によって外観の類似度が変化し、追跡対象の識別が困難となる場合がある。そこで、本実施形態では、追跡対象である人物の歩行状態による類似度を加えた拡張ＤｅｅｐＳＯＲＴを構成し、これによって歩行状態推定を用いた頑健な複数人物追跡を行う。
【0011】
歩行状態はフレーム画像間の人物の姿勢変化が微小なことから対応付けに用いやすく、また、隠れなどによって一定時間の間、観測が不可能でもその時刻の姿勢を予測することが可能である。このように歩行状態は、矩形運動情報や外観情報とは異なった性質を有しているため、矩形運動情報や外観情報を補う新たな情報として適している。
また、歩行状態は、歩行者の関節に基づく骨格情報から抽出するところ、必要な関節の未検出などによって歩行状態推定の精度が低下する場合がある。そのため、関節の未検出の割合に基づく指標を設定する。そして、当該指標によって歩行状態の有効性を判断し、これに基づいて歩行者対応付けの可否判断を行う。
また、歩行状態は、歩行者の関節に基づく骨格情報から抽出するところ、必要な関節の未検出などによって歩行状態推定の精度が低下する場合がある。そのため、関節の未検出の割合に基づく指標を設定する。そして、当該指標によって歩行状態の有効性を判断し、これに基づいて歩行者対応付けの可否判断を行う。
【0012】
（２）実施形態の詳細
図１は、歩行追跡装置１のハードウェア的な構成を示した図である。
歩行追跡装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４、表示部５、入力部６、通信制御部７、カメラ８、記憶部１０などから構成されている。
図１は、歩行追跡装置１のハードウェア的な構成を示した図である。
歩行追跡装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４、表示部５、入力部６、通信制御部７、カメラ８、記憶部１０などから構成されている。
【0013】
歩行追跡装置１は、歩行者を動画撮影して、動画内で歩行者を追跡する。骨格を有する対象であれば、歩行状態を検出して歩行を追跡できるが、本実施形態では、追跡対象を人物とする。人物の他に、動物や歩行ロボットなど、骨格を有し、周期的な動作によって歩行する対象に対して適用することができる。
【0014】
図では、単一の歩行者を図示しているが、歩行追跡装置１は、集団で歩行している複数の歩行者を個別に追跡する。
ＣＰＵ２は、記憶部１０やＲＯＭ３などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施形態では、歩行追跡プログラムに従って情報処理することにより、動画データを構成する現フレーム画像の歩行者と、追跡中の他のフレーム画像の歩行者を対応付ける処理を繰り返すことによって歩行者を動画内で追跡する。
ＣＰＵ２は、記憶部１０やＲＯＭ３などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施形態では、歩行追跡プログラムに従って情報処理することにより、動画データを構成する現フレーム画像の歩行者と、追跡中の他のフレーム画像の歩行者を対応付ける処理を繰り返すことによって歩行者を動画内で追跡する。
【0015】
ＲＯＭ３は、読み取り専用メモリであって、歩行追跡装置１を動作させるための基本的なプログラムやパラメータなどを記憶している。
ＲＡＭ４は、読み書きが可能なメモリであって、ＣＰＵ２が動作する際のワーキングメモリを提供する。
本実施形態では、動画を構成するフレーム画像（１コマの静止画像）の画像データを展開して記憶したり、追跡対象候補として検出した歩行者の検出データや追跡中の歩行者の追跡データを記憶したりすることにより、ＣＰＵ２が、歩行者を追跡するのを支援する。
ＲＡＭ４は、読み書きが可能なメモリであって、ＣＰＵ２が動作する際のワーキングメモリを提供する。
本実施形態では、動画を構成するフレーム画像（１コマの静止画像）の画像データを展開して記憶したり、追跡対象候補として検出した歩行者の検出データや追跡中の歩行者の追跡データを記憶したりすることにより、ＣＰＵ２が、歩行者を追跡するのを支援する。
【0016】
表示部５は、液晶画面などの表示デバイスを用いて構成されており、歩行追跡装置１の操作画面や動画の表示などを行う。
入力部６は、キーボードやマウスなどの入力デバイスを用いて構成されており、操作画面への入力などを受け付ける。
入力部６は、キーボードやマウスなどの入力デバイスを用いて構成されており、操作画面への入力などを受け付ける。
【0017】
通信制御部７は、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信ネットワーク１１を介して、外部の装置との通信を行う。
本実施形態では、例えば、商店街の人通りを外部のカメラで撮影した動画データを通信ネットワーク１１経由で受信して、この動画について歩行追跡処理を行うことができる。
本実施形態では、例えば、商店街の人通りを外部のカメラで撮影した動画データを通信ネットワーク１１経由で受信して、この動画について歩行追跡処理を行うことができる。
【0018】
カメラ８は、汎用の動画撮影カメラであって、レンズで構成された光学系と、これによって結像した像を電気信号に変換する画像素子を用いて構成されている。
カメラ８は、歩行者が歩行している場所を所定のフレームレートで撮影し、これら連続するフレーム画像で構成された動画をＲＧＢ信号などの所定の画像信号によって出力する。
カメラ８は、歩行者が歩行している場所を所定のフレームレートで撮影し、これら連続するフレーム画像で構成された動画をＲＧＢ信号などの所定の画像信号によって出力する。
【0019】
記憶部１０は、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶媒体を用いて構成されており、歩行追跡プログラムやその他のプログラム、及びデータを記憶している。
【0020】
歩行追跡装置１は、ニューラルネットワークの一種であるＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）による深層学習を用いて歩行者の歩行状態などを解析するが、これを高速化するためにＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）を用いたり、あるいは、ＣＰＵ、ＧＰＵ、メモリなどを一体にモジュール化した小型コンピュータを用いて小型化することもできる。この小型コンピュータは、自律走行ロボットに搭載して人物を自動追尾するのに適している。
【0021】
図２は、歩行追跡装置１が行う歩行追跡処理の概要を説明するための図である。
歩行追跡装置１は、カメラ８で、例えば、商店街の通りを定点から動画撮影し、動画内の歩行者を画像内で追跡する。
まず、歩行追跡装置１は、動画から現時刻のフレーム画像３１を取得して、画像内の歩行者を、検出器を用いた画像認識によって検出し、それぞれを矩形３３、３３、・・・で囲んで抽出する。
そして、歩行追跡装置１は、抽出した矩形領域画像に含まれる歩行者に検出番号ｊ＝１、２、・・・を付与する。
このように、歩行追跡装置１は、動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出手段を備えている。
歩行追跡装置１は、カメラ８で、例えば、商店街の通りを定点から動画撮影し、動画内の歩行者を画像内で追跡する。
まず、歩行追跡装置１は、動画から現時刻のフレーム画像３１を取得して、画像内の歩行者を、検出器を用いた画像認識によって検出し、それぞれを矩形３３、３３、・・・で囲んで抽出する。
そして、歩行追跡装置１は、抽出した矩形領域画像に含まれる歩行者に検出番号ｊ＝１、２、・・・を付与する。
このように、歩行追跡装置１は、動画から追跡対象の候補となる１又は複数の歩行者を検出する歩行者検出手段を備えている。
【0022】
以下、矩形３３により検出した歩行者を検出歩行者と記し、検出番号ｊの検出歩行者を検出歩行者ｊと記す。
また、現時刻におけるフレーム画像を現フレーム画像と記す。現フレーム画像は、ライブ動画の場合は最新のフレーム画像であり、録画済みの動画の場合は、再生に係る最新のフレーム画像である。
以上により、歩行追跡装置１は、追跡中の歩行者とマッチングするための候補として現フレーム画像から検出した検出歩行者ｊからなる検出データ３７を得る。
また、現時刻におけるフレーム画像を現フレーム画像と記す。現フレーム画像は、ライブ動画の場合は最新のフレーム画像であり、録画済みの動画の場合は、再生に係る最新のフレーム画像である。
以上により、歩行追跡装置１は、追跡中の歩行者とマッチングするための候補として現フレーム画像から検出した検出歩行者ｊからなる検出データ３７を得る。
【0023】
一方、歩行追跡装置１は、現時刻まで追跡していた追跡中の歩行者のそれぞれに、追跡番号ｉ＝１、２、・・・を付与し、これらの歩行者の追跡データ３８を記憶している。
以下、追跡中の歩行者を追跡歩行者と記し、追跡番号ｉの追跡歩行者を追跡歩行者ｉと記す。
追跡データ３８には、検出歩行者ｊとの同一人物である程度を後で計算するための、追跡歩行者ｉごとの情報が含まれている。
以下、追跡中の歩行者を追跡歩行者と記し、追跡番号ｉの追跡歩行者を追跡歩行者ｉと記す。
追跡データ３８には、検出歩行者ｊとの同一人物である程度を後で計算するための、追跡歩行者ｉごとの情報が含まれている。
【0024】
歩行追跡装置１は、矩形運動情報、外観情報、及び歩行状態を用いて、同一人物と推測される追跡歩行者ｉと検出歩行者ｊをマッチング（対応付け）し、当該マッチングさせた検出歩行者ｊの情報に追跡番号ｉを付与してこれを追跡データ３８に追加することによって追跡データ３８を更新する。
【0025】
このように、歩行追跡装置１は、検出した検出歩行者と、動画で既に追跡している１又は複数の追跡歩行者と、を対応付ける歩行者対応付け手段と、対応付けた検出歩行者によって追跡歩行者を更新する更新手段を備えている。
歩行追跡装置１は、この処理を単位時間ごと（例えば、フレーム画像ごと）繰り返すことにより、各歩行者を追跡する。
歩行追跡装置１は、この処理を単位時間ごと（例えば、フレーム画像ごと）繰り返すことにより、各歩行者を追跡する。
【0026】
詳細は後述するが、矩形運動情報、外観情報、歩行状態による同一人程度（両者の、矩形運動情報、外観情報、歩行状態における類似性に基づく、両者が同一人である可能性）の計量は概略以下のように行う。
まず、矩形運動情報に関しては、歩行追跡装置１は、単位時間前の追跡歩行者ｉの矩形運動情報（後述する矩形の動的な変化に基づく情報）からカルマンフィルタによって現時刻での矩形運動情報を予想する。
一方、検出歩行者ｊについても矩形運動情報を計算する。そして、所定の式によって矩形運動情報の距離を計測する距離空間における両者の遠近によって追跡歩行者ｉと検出歩行者ｊの同一人程度を計量する。この距離が近いほど両者の同一人程度は高くなる。
まず、矩形運動情報に関しては、歩行追跡装置１は、単位時間前の追跡歩行者ｉの矩形運動情報（後述する矩形の動的な変化に基づく情報）からカルマンフィルタによって現時刻での矩形運動情報を予想する。
一方、検出歩行者ｊについても矩形運動情報を計算する。そして、所定の式によって矩形運動情報の距離を計測する距離空間における両者の遠近によって追跡歩行者ｉと検出歩行者ｊの同一人程度を計量する。この距離が近いほど両者の同一人程度は高くなる。
【0027】
より詳細に述べると、動画中で追跡歩行者ｉが歩行するとそれに伴って矩形が移動したり拡大縮小したり、アスペクト比が変化したりする。この変化と変化の早さを表すのが矩形運動情報である。そこで、単位時間前の矩形運動情報から現時刻での矩形運動情報をカルマンフィルタによって予想し、予想した矩形運動情報と、検出歩行者ｊの矩形運動情報が近いほど（矩形運動情報が類似しているほど）同一人程度が高い、即ち、同一人物である可能性が高いことになる。
【0028】
なお、ＳＯＲＴ（Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ）と呼ばれる手法では、矩形運動情報による同一人程度によって追跡歩行者ｉと検出歩行者ｊをマッチングする。
このように、歩行追跡装置１は、検出歩行者と追跡歩行者の歩行による運動状態の運動対応度を取得する運動対応度取得手段を備えており、歩行者対応付け手段は、当該取得した運動対応度を用いて対応付けを行う。
このように、歩行追跡装置１は、検出歩行者と追跡歩行者の歩行による運動状態の運動対応度を取得する運動対応度取得手段を備えており、歩行者対応付け手段は、当該取得した運動対応度を用いて対応付けを行う。
【0029】
一方、外観情報は、歩行者の見た目を表す情報であり、本実施形態では、矩形領域画像をＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）に入力して抽出した特徴ベクトルによって表す。なお、この他にも画像から抽出する特徴には、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量など各種のものが存在し、これらを用いることもできる。
【0030】
このようにして抽出した特徴ベクトルは、同じ方向を向くほど見た目が類似していることを意味する。そこで、本実施形態では、追跡歩行者ｉの特徴ベクトルと検出歩行者ｊの特徴ベクトルを計算し、これらのコサイン距離によって、両者の同一人程度（外観による類似度）を計量する。
このように、歩行追跡装置１は、検出歩行者と追跡歩行者の外観による外観対応度を取得する外観対応度取得手段を備えており、歩行者対応付け手段は、外観対応度を用いて対応付けを行う。
このように、歩行追跡装置１は、検出歩行者と追跡歩行者の外観による外観対応度を取得する外観対応度取得手段を備えており、歩行者対応付け手段は、外観対応度を用いて対応付けを行う。
【0031】
追跡歩行者ｉに関しては、過去１００単位時間前位までさかのぼって特徴ベクトルによる類似度を計算する。
これは、追跡歩行者ｉと検出歩行者ｊの外観類似度を計量するところ、歩行中に体が揺れたり隠れたりなど、歩行者の見え方が時間ごとに変わるので、１００単位時間位まで遡って計算するのである。
これは、追跡歩行者ｉと検出歩行者ｊの外観類似度を計量するところ、歩行中に体が揺れたり隠れたりなど、歩行者の見え方が時間ごとに変わるので、１００単位時間位まで遡って計算するのである。
【0032】
なお、ＳＯＲＴを発展させたＤｅｅｐＳＯＲＴと呼ばれる手法では、矩形運動情報による同一人程度と外観情報による同一人程度を相補的に組合せ、矩形運動情報による同一人程度と外観情報による同一人程度を用いたコスト（矩形運動情報による同一人程度と外観情報による同一人程度の和）が最低となるように追跡歩行者ｉと検出歩行者ｊを組合せて対応付けることにより両者をマッチングする。
【0033】
歩行状態は、歩行方向と歩行周期を組合せたベクトル量であって、当該ベクトルが同じ方向を向くほど、歩行動作が連続しており、同一人程度（歩行状態における類似度）が高くなる。
本実施形態では、追跡歩行者ｉの歩行状態と検出歩行者ｊの歩行状態とのコサイン距離によって、両者の同一人程度を計量する。
このように、歩行追跡装置１は、検出歩行者と追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得手段と、歩行状態によって検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得手段を備えている。
本実施形態では、追跡歩行者ｉの歩行状態と検出歩行者ｊの歩行状態とのコサイン距離によって、両者の同一人程度を計量する。
このように、歩行追跡装置１は、検出歩行者と追跡歩行者の連続する歩行動作に基づく歩行状態を取得する歩行状態取得手段と、歩行状態によって検出歩行者と追跡歩行者が同一人である程度を取得する同一人程度取得手段を備えている。
【0034】
歩行状態は、矩形領域画像から関節検出により抽出した追跡歩行者ｉや検出歩行者ｊの骨格情報を用いて計算するため、関節の検出率が歩行状態の質を左右する。
そこで、本実施形態では、関節の検出率に基づいて歩行状態の信頼度を定義し、当該信頼度と歩行状態による同一人程度に基づいて、ＤｅｅｐＳＯＲＴにおける矩形運動情報と外観情報を用いたマッチングの可否を判定する。
本実施形態では、上記のＤｅｅｐＳＯＲＴに、更に、歩行状態に基づく可否の判定を加えて頑健性を高める。この手法を拡張ＤｅｅｐＳＯＲＴと呼ぶことにする。
このように、歩行追跡装置１は、歩行状態が信頼できるか否かを判定する歩行状態判定手段を備えている。
そこで、本実施形態では、関節の検出率に基づいて歩行状態の信頼度を定義し、当該信頼度と歩行状態による同一人程度に基づいて、ＤｅｅｐＳＯＲＴにおける矩形運動情報と外観情報を用いたマッチングの可否を判定する。
本実施形態では、上記のＤｅｅｐＳＯＲＴに、更に、歩行状態に基づく可否の判定を加えて頑健性を高める。この手法を拡張ＤｅｅｐＳＯＲＴと呼ぶことにする。
このように、歩行追跡装置１は、歩行状態が信頼できるか否かを判定する歩行状態判定手段を備えている。
【0035】
図２の右側に示したように、拡張ＤｅｅｐＳＯＲＴによる追跡歩行者ｉに対する検出歩行者ｊの割り当てが成功した場合（即ち、コストが最低となる追跡歩行者ｉと検出歩行者ｊの組合せが探索できた場合）、歩行追跡装置１は、検出歩行者ｊに追跡番号ｉを付与して追跡データ３８に追加することにより追跡データ３８を更新する。
このように、更新手段は、歩行状態が信頼できるか否かの判定と同一人程度に基づいて追跡歩行者の更新を行う。
このように、更新手段は、歩行状態が信頼できるか否かの判定と同一人程度に基づいて追跡歩行者の更新を行う。
【0036】
一方、追跡歩行者ｉに対する検出歩行者ｊの割り当てが失敗して検出歩行者ｊが余った場合（１）、あるいは、検出歩行者ｊに対する追跡歩行者ｉの割り当てに失敗して追跡歩行者ｉが余った場合（２）、歩行追跡装置１は、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）マッチングを試みる。
【0037】
ＩＯＵマッチングは、検出歩行者ｊの矩形領域と追跡歩行者ｉの矩形領域の重なり率によってマッチングする手法であって、カルマンフィルタで予想した追跡歩行者ｉの現時刻における矩形領域の面積をＸ、検出歩行者ｊの矩形領域の面積をＹ、両者の重なった領域の面積をＺとした場合の重なり率Ｚ／（Ｘ＋Ｙ－Ｚ）×１００が所定の閾値以上の場合に両者を対応付ける。
【0038】
歩行追跡装置１は、ＩＯＵマッチングで割り当てに成功した場合、検出歩行者ｊに追跡番号ｉを付与して追跡データ３８に追加することにより追跡データ３８を更新する。
一方、追跡歩行者ｉに対する検出歩行者ｊの割り当てが失敗して検出歩行者ｊが余った場合（１）、歩行追跡装置１は、新規の歩行者が画面に入ってきたと判断し、当該検出歩行者ｊに追跡番号を新規に付与して追跡データ３８に追加することにより追跡データ３８を更新する。
また、検出歩行者ｊに対する追跡歩行者ｉの割り当てに失敗して追跡歩行者ｉが余った場合（２）、これは追跡歩行者ｉが画面から出て行ったか、あるいは一時的に隠れたためと考えられるため、当該追跡歩行者を追跡データ３８で保持するか、又は解除する。
一方、追跡歩行者ｉに対する検出歩行者ｊの割り当てが失敗して検出歩行者ｊが余った場合（１）、歩行追跡装置１は、新規の歩行者が画面に入ってきたと判断し、当該検出歩行者ｊに追跡番号を新規に付与して追跡データ３８に追加することにより追跡データ３８を更新する。
また、検出歩行者ｊに対する追跡歩行者ｉの割り当てに失敗して追跡歩行者ｉが余った場合（２）、これは追跡歩行者ｉが画面から出て行ったか、あるいは一時的に隠れたためと考えられるため、当該追跡歩行者を追跡データ３８で保持するか、又は解除する。
【0039】
図３は、矩形運動情報による距離を説明するための図である。
本実施形態では、フレーム画像で歩行者（追跡歩行者や検出歩行者）を、図３（ａ）に示したような、中心の座標が（ｕ、ｖ）で、高さがｈの矩形３３で囲み、矩形領域画像とする。
そして、図３（ｂ）の式（３－１）で示したように、矩形の中心座標（ｕ、ｖ）、アスペクト比γ、高さｈ、及び、それぞれの時間微分をパラメータとして有する８次元のベクトルｘで矩形運動情報を表す。
なお、ｘは、ベクトル量であるため、太文字で表すべきであるが、文字の誤変換を防ぐために、ベクトル量を通常の書体で記すことにする。また、数式中の上下付き文字や中抜き文字も通常の書体で記すことにする。
本実施形態では、フレーム画像で歩行者（追跡歩行者や検出歩行者）を、図３（ａ）に示したような、中心の座標が（ｕ、ｖ）で、高さがｈの矩形３３で囲み、矩形領域画像とする。
そして、図３（ｂ）の式（３－１）で示したように、矩形の中心座標（ｕ、ｖ）、アスペクト比γ、高さｈ、及び、それぞれの時間微分をパラメータとして有する８次元のベクトルｘで矩形運動情報を表す。
なお、ｘは、ベクトル量であるため、太文字で表すべきであるが、文字の誤変換を防ぐために、ベクトル量を通常の書体で記すことにする。また、数式中の上下付き文字や中抜き文字も通常の書体で記すことにする。
【0040】
そして、単位時間前の追跡歩行者ｉの矩形運動情報からカルマンフィルタによって予想した現時刻での矩形運動情報と現時刻の検出歩行者ｊの距離ｄ（１）（ｉ、ｊ）を式（３－２）のマハラノビス距離で計量する。マハラノビス距離は、相関を持つデータ間の、当該相関を考慮した距離である。
式中のｄｊは、検出歩行者ｊの矩形運動情報であり、ｙｉとｓ－１ｉは、カルマンフィルタによって予想した追跡歩行者ｉの矩形運動情報と共分散行列である。また、Ｔはベクトルの転置を表している。
ここでは、カルマンフィルタとして、等速直線運動を仮定した線形モデルを使用した。
このように計量が定義された距離空間で、追跡歩行者ｉの予想に係る矩形運動情報と検出歩行者ｊの矩形運動情報との距離ｄ（１）を計算すると、両者が近いほど、追跡歩行者ｉと検出歩行者ｊが類似しており、同一人程度が高いことになる。
式中のｄｊは、検出歩行者ｊの矩形運動情報であり、ｙｉとｓ－１ｉは、カルマンフィルタによって予想した追跡歩行者ｉの矩形運動情報と共分散行列である。また、Ｔはベクトルの転置を表している。
ここでは、カルマンフィルタとして、等速直線運動を仮定した線形モデルを使用した。
このように計量が定義された距離空間で、追跡歩行者ｉの予想に係る矩形運動情報と検出歩行者ｊの矩形運動情報との距離ｄ（１）を計算すると、両者が近いほど、追跡歩行者ｉと検出歩行者ｊが類似しており、同一人程度が高いことになる。
【0041】
更に、歩行追跡装置１は、追跡歩行者ｉと検出歩行者ｊの矩形運動情報による対応の不確定性を表す２値判定式ｂ（１）ｉ、ｊを式（３－３）で定義する。
ここで１［Ｑ］は、［ ］内の条件式Ｑが満たされたとき、１を返し、それ以外では０を返す関数であり（以下同じ）、ｄ（１）が閾値ｔ（１）以下の場合に１を返し、ｔ（１）より大きい場合に０を返す。
本実施形態では閾値ｔ（１）を自由度４の逆カイ二乗分布で、信頼度９５％区間の値であるｔ（１）＝９．４８８に設定した。
２値判定式ｂ（１）ｉ、ｊは、検出歩行者ｊの矩形運動情報が追跡歩行者ｉの矩形の予測に基づく矩形運動情報から大きく外れているときは、矩形の大きさや速度が両者で大きく異なるなどして別人である可能性が高いため０を返し、これらが大きく異ならない場合には１を返す。
ここで１［Ｑ］は、［ ］内の条件式Ｑが満たされたとき、１を返し、それ以外では０を返す関数であり（以下同じ）、ｄ（１）が閾値ｔ（１）以下の場合に１を返し、ｔ（１）より大きい場合に０を返す。
本実施形態では閾値ｔ（１）を自由度４の逆カイ二乗分布で、信頼度９５％区間の値であるｔ（１）＝９．４８８に設定した。
２値判定式ｂ（１）ｉ、ｊは、検出歩行者ｊの矩形運動情報が追跡歩行者ｉの矩形の予測に基づく矩形運動情報から大きく外れているときは、矩形の大きさや速度が両者で大きく異なるなどして別人である可能性が高いため０を返し、これらが大きく異ならない場合には１を返す。
【0042】
図４は、外観情報による距離を説明するための図である。
本実施形態では、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数による損失関数を用いてＣＮＮによる深層距離学習を行うことにより、外観情報による類似度を計量するための距離空間として当該ＣＮＮを用いた計量空間を用意した。
この計量空間は、図４の式（４－１）に示したＴｒｉｐｌｅｔの組（ｑＡ、ｑＰ、ｑＮ）を、ＣＮＮによって特徴空間に写像し、写像したｆ（ｑＡ）とｆ（ｑＰ）の間の距離が、ｆ（ｑＡ）とｆ（ｑＮ）の間の距離よりも小さくなるように、ＣＮＮを学習させることにより構築したものである。
本実施形態では、Ｔｒｉｐｌｅｔ Ｌｏｓｓ関数による損失関数を用いてＣＮＮによる深層距離学習を行うことにより、外観情報による類似度を計量するための距離空間として当該ＣＮＮを用いた計量空間を用意した。
この計量空間は、図４の式（４－１）に示したＴｒｉｐｌｅｔの組（ｑＡ、ｑＰ、ｑＮ）を、ＣＮＮによって特徴空間に写像し、写像したｆ（ｑＡ）とｆ（ｑＰ）の間の距離が、ｆ（ｑＡ）とｆ（ｑＮ）の間の距離よりも小さくなるように、ＣＮＮを学習させることにより構築したものである。
【0043】
ここで、ｑＡは、Ａｎｃｈｏｒとなる歩行者が写った画像であり、ｑＰは、ｑＡと同一歩行者が写った別の画像であり、ｑＮは、ｑＡと異なる歩行者が写った別の画像である。
この学習を多数の組（ｑＡｉ、ｑＰｉ、ｑＮｉ）で繰り返すと、図４（ａ）で示した学習前の計量空間４１と学習後の計量空間４２のように、同一人物間の距離はより小さく、異なる人物間の距離はより大きくなるように写像する計量空間が形成される。
この学習を多数の組（ｑＡｉ、ｑＰｉ、ｑＮｉ）で繰り返すと、図４（ａ）で示した学習前の計量空間４１と学習後の計量空間４２のように、同一人物間の距離はより小さく、異なる人物間の距離はより大きくなるように写像する計量空間が形成される。
【0044】
本実施形態では、追跡歩行者ｉの矩形領域画像と検出歩行者ｊの矩形領域画像をＣＮＮによって当該構成した計量空間に写像し、両者の外観類似による同一人程度を図４（ｃ）の式（４－２）に示したコサイン距離ｄ（２）（ｉ、ｊ）によって計量する。
ｒＴｊは、ＣＮＮによって写像した検出歩行者ｊの特徴ベクトルであって、ｒ（ｉ）ｋは、ＣＮＮによって写像した追跡歩行者ｉの特徴ベクトルであり、何れも正規化されている。
ここで、ｋは、過去時刻ｔ－１、ｔ－２、・・・をｋ＝１、２、・・・、Ｌｋに対応させたものであり、Ｌｋは、一例として、１００とした。
ｒＴｊは、ＣＮＮによって写像した検出歩行者ｊの特徴ベクトルであって、ｒ（ｉ）ｋは、ＣＮＮによって写像した追跡歩行者ｉの特徴ベクトルであり、何れも正規化されている。
ここで、ｋは、過去時刻ｔ－１、ｔ－２、・・・をｋ＝１、２、・・・、Ｌｋに対応させたものであり、Ｌｋは、一例として、１００とした。
【0045】
式（４－２）の意味するところは次の通りである。
例えば、検出歩行者ｊと追跡歩行者ｉの距離ｄ（２）（ｉ、ｊ）を求める場合、検出歩行者ｊの特徴ベクトルｉと、追跡歩行者ｉの過去１００単位時間（一例としてＬｋ＝１００とした）まで遡った各特徴ベクトルｒ（ｉ）ｋとの内積を計算し、１から当該内積を減算した値を比較する。そして、最も小さい距離をｄ（２）（ｉ、ｊ）として採用する。
内積は－１から１までの値を取るので、検出歩行者ｊと追跡歩行者ｉの特長ベクトルが同じ方向を向いているほど（即ち、外観が類似しているほど）ｄ（２）（ｉ、ｊ）は０に近い値を取る。
例えば、検出歩行者ｊと追跡歩行者ｉの距離ｄ（２）（ｉ、ｊ）を求める場合、検出歩行者ｊの特徴ベクトルｉと、追跡歩行者ｉの過去１００単位時間（一例としてＬｋ＝１００とした）まで遡った各特徴ベクトルｒ（ｉ）ｋとの内積を計算し、１から当該内積を減算した値を比較する。そして、最も小さい距離をｄ（２）（ｉ、ｊ）として採用する。
内積は－１から１までの値を取るので、検出歩行者ｊと追跡歩行者ｉの特長ベクトルが同じ方向を向いているほど（即ち、外観が類似しているほど）ｄ（２）（ｉ、ｊ）は０に近い値を取る。
【0046】
例えば、検出歩行者ｊと、追跡番号１の追跡歩行者１との距離ｄ（２）（１、ｊ）を求める場合、図４（ｂ）に示したように、ｒｊと、集合Ｒｋに含まれるｉ＝１の行の各ｒ（１）ｋとの内積から、（１－内積）の値を求め、その最小値を距離ｄ（２）（１、ｊ）とする。なお、集合Ｒｋは検出データ３７から取得する。
歩行追跡装置１は、この処理を各追跡歩行者ｉに対して行い、検出歩行者ｊと各追跡歩行者ｉ（ｉ＝１、２、・・・）とのそれぞれの距離ｄ（２）（ｉ、ｊ）を計量する。
歩行追跡装置１は、この処理を各追跡歩行者ｉに対して行い、検出歩行者ｊと各追跡歩行者ｉ（ｉ＝１、２、・・・）とのそれぞれの距離ｄ（２）（ｉ、ｊ）を計量する。
【0047】
更に、本実施形態では、外観情報による追跡歩行者ｉと検出歩行者ｊの同一人程度の不確定性を表す２値判定式ｂ（２）ｉ、ｊを式（４－３）で定義する。
ｂ（２）ｉ、ｊは、ｄ（２）（ｉ、ｊ）が閾値ｔ（２）以下の場合は１を返し、ｔ（２）より大きい場合は０を返す。これにより、ｂ（２）ｉ、ｊは、検出歩行者ｊの外観が、追跡歩行者ｉの外観から大きく異なるときに０を返す。
ｂ（２）ｉ、ｊは、ｄ（２）（ｉ、ｊ）が閾値ｔ（２）以下の場合は１を返し、ｔ（２）より大きい場合は０を返す。これにより、ｂ（２）ｉ、ｊは、検出歩行者ｊの外観が、追跡歩行者ｉの外観から大きく異なるときに０を返す。
【0048】
次に、歩行状態について説明する。
図５は、歩行状態の検出手順の全体像を説明するための図である。
まず、歩行追跡装置１は、フレーム画像から歩行者９（検出歩行者、追跡歩行者の何れでもよい）を矩形により人物検出する。そして、検出した歩行者９の関節を検出し、これに基づいて歩行者９の姿勢を推定するために骨格情報１５を抽出する。
図５は、歩行状態の検出手順の全体像を説明するための図である。
まず、歩行追跡装置１は、フレーム画像から歩行者９（検出歩行者、追跡歩行者の何れでもよい）を矩形により人物検出する。そして、検出した歩行者９の関節を検出し、これに基づいて歩行者９の姿勢を推定するために骨格情報１５を抽出する。
【0049】
骨格情報１５の抽出には、例えば、ＯｐｅｎＰｏｓｅやＰｏｓｅＮｅｔといったソフトウェアで一般的に利用されている技術を用いることができる。
次に、歩行追跡装置１は、抽出した骨格情報１５を、予め骨格情報に対応する歩行状態を学習しておいたＭＬＰ１６に入力して歩行状態ｓを推定する。
次に、歩行追跡装置１は、抽出した骨格情報１５を、予め骨格情報に対応する歩行状態を学習しておいたＭＬＰ１６に入力して歩行状態ｓを推定する。
【0050】
後述するように、本実施形態では、歩行者が歩行する際の周期的な歩行動作に基づいて歩行状態ｓを定義し、歩行方向の２次元と、歩行段階の２次元で張られた４次元の歩行状態空間１７における４次元ベクトルとして歩行状態ｓを表す。
【0051】
図６は、骨格情報を説明するための図である。
本実施形態では、骨格情報１５をジョイント番号０～２４の合計２５個のジョイントで定義した。以下、ジョイント番号０のジョイントをＪ０などと略記する。ジョイントは、骨格情報において関節として機能する部位であって、ジョイントを中心としてこれらを結ぶ線分を回転させることにより姿勢を変化させることができる。本実施形態で用いたジョイントと人体部位との対応関係は次の通りである。
本実施形態では、骨格情報１５をジョイント番号０～２４の合計２５個のジョイントで定義した。以下、ジョイント番号０のジョイントをＪ０などと略記する。ジョイントは、骨格情報において関節として機能する部位であって、ジョイントを中心としてこれらを結ぶ線分を回転させることにより姿勢を変化させることができる。本実施形態で用いたジョイントと人体部位との対応関係は次の通りである。
【0052】
Ｊ０：鼻、Ｊ１：首、Ｊ２：右肩、Ｊ３：右肘、Ｊ４：右手首、Ｊ８：腰部中心、Ｊ９：腰部右、Ｊ１０：右膝、Ｊ１１：右足首、Ｊ１５：右目、Ｊ１７：右耳、Ｊ２２：右足親指、Ｊ２３：右足小指、Ｊ２４：右かかと、以下、対応する左半身も同様である。
【0053】
歩行追跡装置１は、矩形で検出した人物の画像において、各ジョイントの画像上での２次元座標値を取得することにより、姿勢に応じた骨格情報を２次元データとして抽出する。
座標を取得する元となる画像は、フレーム画像から人物検出で切り出した矩形領域画像における座標でもよいし、フレーム画像上での座標でもよい。
座標を取得する元となる画像は、フレーム画像から人物検出で切り出した矩形領域画像における座標でもよいし、フレーム画像上での座標でもよい。
【0054】
図７は、歩行方向を説明するための図である。
図７（ａ）は、撮影エリアを上から見たところを示しており、歩行者の歩行方向ｄを、歩行面に平行な平面上の単位ベクトルで表す。
図の例では、撮影方向のＤ１軸と、これに垂直なＤ２軸で張られるＤ平面を設定し、歩行者を中心として回転する単位ベクトルによって歩行方向ｄを定義した。
図７（ａ）は、撮影エリアを上から見たところを示しており、歩行者の歩行方向ｄを、歩行面に平行な平面上の単位ベクトルで表す。
図の例では、撮影方向のＤ１軸と、これに垂直なＤ２軸で張られるＤ平面を設定し、歩行者を中心として回転する単位ベクトルによって歩行方向ｄを定義した。
【0055】
計測する角度の基点は、どこでもよいが、図の例のようにＤ１を基点とする反時計回りの角度θ（０°≦θ＜３６０°）で計測すると、歩行方向ｄの成分は、図７（ｂ）に示したように、ｄ＝（ｄ１、ｄ２）＝（ｃｏｓθ、ｓｉｎθ）となる。
【0056】
図８は、歩行段階を説明するための図である。
図８（ａ）に示したように、歩行動作（足や手を運動させて体の重心を移動させる全身の連続動作）を歩行方向に垂直な方向から観察すると、歩行者は、同じ周期的な動作を連続的に繰り返している。
図８（ａ）に示したように、歩行動作（足や手を運動させて体の重心を移動させる全身の連続動作）を歩行方向に垂直な方向から観察すると、歩行者は、同じ周期的な動作を連続的に繰り返している。
【0057】
１歩行周期は、例えば、右足を着地する（歩行者９ａ）→右足に重心を乗せる（歩行者９ｂ）→左足を振り出す（歩行者９ｃ）→左足を着地する（歩行者９ｄ）→右足を振り出す（歩行者９ｅ、図は省略）、の各歩行段階で構成されている。
このように歩行動作は周期的な動作であるため、歩行段階は１歩行周期の位相で表すことができる。
このように歩行動作は周期的な動作であるため、歩行段階は１歩行周期の位相で表すことができる。
【0058】
そこで、図８（ｂ）で示したように直交するＰ１、Ｐ２軸で張られるＰ平面を想定し、歩行の位相の位相角φ（０°≦φ＜３６０°）に対応してＰ平面上を回転する単位ベクトル（ｐ１，ｐ２）によって歩行段階ｐを定義した。
位相角の起点は、どこでもよいが、図の例では、歩行者９ａの段階を位相角φの起点とし、歩行者９ｂ～９ｅの段階に進むに従って反時計回りに増大するようにφを定義した。
なお、図８（ｂ）では、歩行者９ｅを省略し、Ｐ１、Ｐ２軸による単位円上に歩行者９ａ～９ｄを順に表示した概念図であって、Ｐ１、Ｐ２軸と、歩行者９ａ～９ｄの正確な対応関係を示すものではない。
位相角の起点は、どこでもよいが、図の例では、歩行者９ａの段階を位相角φの起点とし、歩行者９ｂ～９ｅの段階に進むに従って反時計回りに増大するようにφを定義した。
なお、図８（ｂ）では、歩行者９ｅを省略し、Ｐ１、Ｐ２軸による単位円上に歩行者９ａ～９ｄを順に表示した概念図であって、Ｐ１、Ｐ２軸と、歩行者９ａ～９ｄの正確な対応関係を示すものではない。
【0059】
このように歩行段階ｐを２次元ベクトルで表すと、その成分は、図８（ｃ）に示したように、ｐ＝（ｐ１、ｐ２）＝（ｃｏｓφ、ｓｉｎφ）となる。
【0060】
図９は、歩行状態を説明するための図である。
図９（ａ）に示したように、歩行方向ｄと歩行段階ｐを合わせた４次元ベクトルで歩行状態ｓ＝（ｄ１、ｄ２、ｐ１、ｐ２）を定義する。
図示すると、歩行状態ｓは、図９（ｂ）で示したようなＤ１、Ｄ２、Ｐ１、Ｐ２軸で張られる４次元の歩行状態空間１７内の正規化されたベクトルｓで表される。
４次元空間は図示することはできないため、図では、模式的にＤ１～Ｐ２軸を示してある。
図９（ａ）に示したように、歩行方向ｄと歩行段階ｐを合わせた４次元ベクトルで歩行状態ｓ＝（ｄ１、ｄ２、ｐ１、ｐ２）を定義する。
図示すると、歩行状態ｓは、図９（ｂ）で示したようなＤ１、Ｄ２、Ｐ１、Ｐ２軸で張られる４次元の歩行状態空間１７内の正規化されたベクトルｓで表される。
４次元空間は図示することはできないため、図では、模式的にＤ１～Ｐ２軸を示してある。
【0061】
このように歩行方向ｄと歩行段階ｐを組合せて歩行状態ｓを定義すると、歩行方向ｄや歩行段階ｐのばらつきによる歩行状態ｓのずれが小さくなるように、これらが相補的に機能するため、歩行状態検出の頑健性を高めることができる。
【0062】
ところで、歩行者が歩行する様子、即ち歩容によって歩行者を識別する技術は、従来各種のものが提案されているが、これらは何れも、歩行者がある時間歩いたシーケンスにおいて歩容を取得している。これに対し、本実施形態の歩行追跡装置１は、歩行者が歩いている一場面を切り取ったワンショットの画像から歩行状態を推定できるところが大きな特徴の１つである。
【0063】
そのため、単位時間前の追跡歩行者ｉの矩形領域画像１枚と検出歩行者ｊの矩形領域画像１枚から歩行状態の同一性を計量することができる。
このように、歩行追跡装置１が備える歩行状態取得手段は、検出歩行者と追跡歩行者の画像から、それぞれの関節を検出することにより歩行状態を取得する。
このように、歩行追跡装置１が備える歩行状態取得手段は、検出歩行者と追跡歩行者の画像から、それぞれの関節を検出することにより歩行状態を取得する。
【0064】
図１０は、ＭＬＰを説明するための図である。
歩行追跡装置１は、ＭＬＰ（多層パーセプトロン：ニューラルネットワークの一種）による深層学習によって歩行状態ｓを計算する。
ＭＬＰ１６は、入力層、中間層、及び出力層を備えている。中間層の層数は３、各中間層のノード数は６４とした。
歩行追跡装置１は、ＭＬＰ（多層パーセプトロン：ニューラルネットワークの一種）による深層学習によって歩行状態ｓを計算する。
ＭＬＰ１６は、入力層、中間層、及び出力層を備えている。中間層の層数は３、各中間層のノード数は６４とした。
【0065】
入力層は、フレーム画像上でのＪ０の座標値（ｘ０、ｙ０）、Ｊ１の座標値（ｘ１、ｙ１）、・・・、Ｊ２４の座標値（ｘ２４、ｙ２４）の、それぞれを入力する５０個のノードを備えている。
出力層は、歩行状態ｓ＝（ｄ１、ｄ２、ｐ１、ｐ２）の各成分を出力する４個のノードを備えている。
出力層は、歩行状態ｓ＝（ｄ１、ｄ２、ｐ１、ｐ２）の各成分を出力する４個のノードを備えている。
【0066】
活性化関数はＲｅＬＵを用い、エポック数を１００、バッチサイズを２５６とした。ＲｅＬＵは、ＭＬＰで一般的に使われる非線形の関数である。活性化関数の非線形性により、対象（ここでは歩行状態）を非線形分離することができる。
エポック数は、学習回数であり、バッチサイズは、学習データをバッチに分けて学習させる際の各バッチに含まれる学習データ数である。
エポック数は、学習回数であり、バッチサイズは、学習データをバッチに分けて学習させる際の各バッチに含まれる学習データ数である。
【0067】
学習については、様々な歩行状態の画像を用意し、これらのジョイント座標値ｊ＝［ｘ０、ｙ０、・・・、ｘ２４、ｙ２４］と歩行状態ｓ＝［ｄ１、ｄ２、ｐ１、ｐ２］からなる学習データ（ｊ、ｓ）を用いて教師あり学習を行った。
つまり、学習データ（ｊ、ｓ）のｊを入力すると、ＭＬＰ１６はｓを出力するが、これを正解であるところの学習データ（ｊ、ｓ）のｓと比較し、その誤差が小さくなるように中間層などのパラメータを調整した。
このようにパラメータが調整されたＭＬＰ１６を用いると、あるフレーム画像から抽出た骨格情報１５のジョイント座標値を入力するだけで、歩行状態ｓ、即ち、歩行方向ｄと歩行段階ｐを同時に算出することができる。
つまり、学習データ（ｊ、ｓ）のｊを入力すると、ＭＬＰ１６はｓを出力するが、これを正解であるところの学習データ（ｊ、ｓ）のｓと比較し、その誤差が小さくなるように中間層などのパラメータを調整した。
このようにパラメータが調整されたＭＬＰ１６を用いると、あるフレーム画像から抽出た骨格情報１５のジョイント座標値を入力するだけで、歩行状態ｓ、即ち、歩行方向ｄと歩行段階ｐを同時に算出することができる。
【0068】
図１１は、歩行状態による距離を説明するための図である。
本実施形態では、追跡歩行者ｉの歩行状態ｓｉと、検出歩行者ｊの歩行状態ｓｊとの距離を図１１（ａ）の式（１１－１）に示したコサイン距離ｄ（３）（ｉ、ｊ）によって計量する。
即ち、単位時間前の追跡歩行者ｉの歩行状態ｓｉと、検出歩行者ｊの歩行状態ｓｊの内積をとり、１から当該内積を減算してｄ（３）（ｉ、ｊ）を計算する。
本実施形態では、追跡歩行者ｉの歩行状態ｓｉと、検出歩行者ｊの歩行状態ｓｊとの距離を図１１（ａ）の式（１１－１）に示したコサイン距離ｄ（３）（ｉ、ｊ）によって計量する。
即ち、単位時間前の追跡歩行者ｉの歩行状態ｓｉと、検出歩行者ｊの歩行状態ｓｊの内積をとり、１から当該内積を減算してｄ（３）（ｉ、ｊ）を計算する。
【0069】
内積は－１から１までの値を取るので、検出歩行者ｊと追跡歩行者ｉの歩行状態によるベクトルが同じ方向を向いているほど（即ち、歩行状態が同じほど）ｄ（３）（ｉ、ｊ）は０に近い値を取る。
歩行は連続動作であるため、１フレーム間隔での単位時間では、歩行状態はほとんど変わらない。そのため、ｄ（３）（ｉ、ｊ）によって、追跡歩行者ｉと検出歩行者ｊの同一程度を式（１１－１）で距離が定義された距離空間で計量することができる。
歩行は連続動作であるため、１フレーム間隔での単位時間では、歩行状態はほとんど変わらない。そのため、ｄ（３）（ｉ、ｊ）によって、追跡歩行者ｉと検出歩行者ｊの同一程度を式（１１－１）で距離が定義された距離空間で計量することができる。
【0070】
次に、歩行状態による同一人程度の信頼度について説明する。
歩行者の骨格検出には関節の検出落ちが発生するため、骨格検出に基づいた歩行状態を追跡に直接用いると誤検出となる場合がある。
そこで、本実施形態では、検出率に基づく指標として、式（１１－２）の指標ｒ１（ｊ）と式（１１－３）の指標ｒ２（ｉ、ｊ）を設定した。
歩行者の骨格検出には関節の検出落ちが発生するため、骨格検出に基づいた歩行状態を追跡に直接用いると誤検出となる場合がある。
そこで、本実施形態では、検出率に基づく指標として、式（１１－２）の指標ｒ１（ｊ）と式（１１－３）の指標ｒ２（ｉ、ｊ）を設定した。
【0071】
指標ｒ１（ｊ）は、現時刻の検出歩行者ｊにおける関節点の検出率を表している。
ｎｊは、検出歩行者ｊの矩形領域画像で検出した関節数であり、ｍは、最大の関節数（総関節数であり、ここでは、ｍ＝２５）である。これにより、指標ｒ１（ｊ）は、０以上１以下の値となる。
ｎｊは、検出歩行者ｊの矩形領域画像で検出した関節数であり、ｍは、最大の関節数（総関節数であり、ここでは、ｍ＝２５）である。これにより、指標ｒ１（ｊ）は、０以上１以下の値となる。
【0072】
指標ｒ２（ｉ、ｊ）は、単位時刻前の追跡歩行者ｉと現時刻の検出歩行者ｊで共通して検出した関節点の割合を表している。
ここで、ｏｉ、ｏｊは、関節検出フラグであって、式（１１－４）で表され、それぞれ、追跡歩行者ｉと検出歩行者ｊにおける各関節の未検出／検出を０／１で表現したｍ次元ベクトルである。ｏｉとｏｊの内積によって、共通して検出した関節の数を得ることができる。
また、ｎｊは、検出歩行者ｊで検出した関節数である。これにより、指標ｒ２（ｉ、ｊ）は、０以上１以下の値となる。
ここで、ｏｉ、ｏｊは、関節検出フラグであって、式（１１－４）で表され、それぞれ、追跡歩行者ｉと検出歩行者ｊにおける各関節の未検出／検出を０／１で表現したｍ次元ベクトルである。ｏｉとｏｊの内積によって、共通して検出した関節の数を得ることができる。
また、ｎｊは、検出歩行者ｊで検出した関節数である。これにより、指標ｒ２（ｉ、ｊ）は、０以上１以下の値となる。
【0073】
そして、本実施形態では、指標ｒ１（ｊ）、指標ｒ２（ｉ、ｊ）を組合せて歩行状態の信頼度ω（ｉ、ｊ）を式（１１－５）で定義した。
第１項は、指標ｒ１（ｊ）が閾値τ１以下のときに１を返し、τ１より大きい場合は０を返す。
第２項は、指標ｒ２（ｉ、ｊ）が閾値τ２以下のときに１を返し、τ２より大きい場合は０を返す。τ１、τ２には、実験に基づく適当な値を設定する。
第１項は、指標ｒ１（ｊ）が閾値τ１以下のときに１を返し、τ１より大きい場合は０を返す。
第２項は、指標ｒ２（ｉ、ｊ）が閾値τ２以下のときに１を返し、τ２より大きい場合は０を返す。τ１、τ２には、実験に基づく適当な値を設定する。
【0074】
このため、指標ｒ１（ｊ）≦τ１、かつ、指標ｒ２（ｉ、ｊ）≦τ２のとき信頼度ωは１となり、少なくとも何れか一方が条件を満たさない場合は、０となる。
このように、歩行追跡装置１が有する歩行状態判定手段は、検出歩行者の関節の検出率、具体的には、検出歩行者の関節の検出率ｒ１（ｊ）と、検出歩行者と追跡歩行者で共通して検出した関節の検出率ｒ２（ｉ、ｊ）に基づいて判定する。
このように、歩行追跡装置１が有する歩行状態判定手段は、検出歩行者の関節の検出率、具体的には、検出歩行者の関節の検出率ｒ１（ｊ）と、検出歩行者と追跡歩行者で共通して検出した関節の検出率ｒ２（ｉ、ｊ）に基づいて判定する。
【0075】
更に、本実施形態では、信頼度ω（ｉ、ｊ）を用いて、歩行状態による追跡歩行者ｉと検出歩行者ｊの対応の不確定性を表す２値判定式ｂ（３）ｉ、ｊを式（１１－６）のとおり定義する。ｔ（３）は、実験に基づく適当な値に設定した閾値であり、式中の１［Ｑ］は、ｄ（３）がｔ（３）以下のときに１を返す。
【0076】
２値判定式ｂ（３）ｉ、ｊの値は、図１１（ｂ）の表に示したように、ω（ｉ、ｊ）が１で、１［Ｑ］のとき０となり、他の場合には１となる。
そして、本実施形態では、２値判定式ｂ（３）ｉ、ｊ＝１の場合は、不確定性無しとし、２値判定式ｂ（３）ｉ、ｊ＝０の場合は不確定性有りとする。
そして、本実施形態では、２値判定式ｂ（３）ｉ、ｊ＝１の場合は、不確定性無しとし、２値判定式ｂ（３）ｉ、ｊ＝０の場合は不確定性有りとする。
【0077】
即ち、追跡歩行者ｉと検出歩行者ｊの歩行状態が異なっており、かつ、関節の検出率が高い場合に不確定性有りとし、他の場合は不確定性無しとする。
これによって、表に示した上段２つのｂ（３）ｉ、ｊと最下段のｂ（３）ｉ、ｊが１となるが、これらの１は、意味合いが異なる。
上段２つのｂ（３）ｉ、ｊ＝１は、消極的な１であり「不確定性有りとは言えない」を意味し、最下段のｂ（３）ｉ、ｊ＝１は、積極的な１であり「不確定性無し」を意味する。
これによって、表に示した上段２つのｂ（３）ｉ、ｊと最下段のｂ（３）ｉ、ｊが１となるが、これらの１は、意味合いが異なる。
上段２つのｂ（３）ｉ、ｊ＝１は、消極的な１であり「不確定性有りとは言えない」を意味し、最下段のｂ（３）ｉ、ｊ＝１は、積極的な１であり「不確定性無し」を意味する。
【0078】
歩行追跡装置１は、後述するように２値判定式ｂ（３）ｉ、ｊを判定指標Ｂｉ、ｊに含め、２値判定式ｂ（３）ｉ、ｊ＝０の場合は、当該追跡歩行者ｉと検出歩行者ｊの組による追跡歩行者ｉの更新を行わない。
このように、歩行追跡装置１が備える歩行状態判定手段は、歩行状態による同一人である程度が所定値より低く（この場合、１［Ｑ］＝０）、かつ、関節の検出率が所定値より高い場合（この場合ω（ｉ、ｊ）＝１）に更新しないと判定し、これに該当しない場合は、更新すると判定する。
このように、歩行追跡装置１が備える歩行状態判定手段は、歩行状態による同一人である程度が所定値より低く（この場合、１［Ｑ］＝０）、かつ、関節の検出率が所定値より高い場合（この場合ω（ｉ、ｊ）＝１）に更新しないと判定し、これに該当しない場合は、更新すると判定する。
【0079】
なお、以上では、単位時間前の追跡歩行者ｉの歩行状態ｓｉを用いたが、歩行状態は、短時間では大きく変化しないため、更に、以前の追跡歩行者ｉの歩行状態ｓｉを単位時間前の予想値として用いることも可能である。
このため、例えば、隠れなどの影響により、単位時間前の追跡歩行者ｉで関節の未検出率が高かった場合、更に過去に遡って関節の検出率の高い追跡歩行者ｉを探索して、これを用いることも可能である。
このため、例えば、隠れなどの影響により、単位時間前の追跡歩行者ｉで関節の未検出率が高かった場合、更に過去に遡って関節の検出率の高い追跡歩行者ｉを探索して、これを用いることも可能である。
【0080】
図１２は、追跡歩行者ｉと検出歩行者ｊのマッチング方法を説明するための図である。
本実施形態では、図１２（ａ）の式（１２－１）に示したように、ｄ（１）（ｉ、ｊ）とｄ（２）（ｉ、ｊ）の線形結合により、コスト指標Ｃｉ、ｊを定義した。λは、０≦λ≦１を満たすパラメータであり、適当な値に設定する。特にカメラに動きがある場合には、経験的にλ＝０がよいとされている。この場合は、外観情報だけで計算する。
このように、歩行追跡装置１は、矩形運動情報と外観情報を相補的に組合せることによりコスト指標Ｃｉ、ｊを計算する。
本実施形態では、図１２（ａ）の式（１２－１）に示したように、ｄ（１）（ｉ、ｊ）とｄ（２）（ｉ、ｊ）の線形結合により、コスト指標Ｃｉ、ｊを定義した。λは、０≦λ≦１を満たすパラメータであり、適当な値に設定する。特にカメラに動きがある場合には、経験的にλ＝０がよいとされている。この場合は、外観情報だけで計算する。
このように、歩行追跡装置１は、矩形運動情報と外観情報を相補的に組合せることによりコスト指標Ｃｉ、ｊを計算する。
【0081】
また、本実施形態では、コスト指標Ｃｉ、ｊの信頼性を評価するために、式（１２－２）に示した判定指標Ｂｉ、ｊを定義した。
図１２（ｂ）に示したように、判定指標Ｂｉ、ｊは、追跡歩行者ｉと検出歩行者ｊの組合せにおいてｂ（１）×ｂ（２）×ｂ（３）（煩雑を避けるため下付きのｉ、ｊを略した）を計算するものであり、全てが１のとき１となり、少なくとも１つが０のときは、０となる。そして、ここでは、式（１２－３）で示したように、Ｂ＝０のときはＢ＝∞とおく。
図１２（ｂ）に示したように、判定指標Ｂｉ、ｊは、追跡歩行者ｉと検出歩行者ｊの組合せにおいてｂ（１）×ｂ（２）×ｂ（３）（煩雑を避けるため下付きのｉ、ｊを略した）を計算するものであり、全てが１のとき１となり、少なくとも１つが０のときは、０となる。そして、ここでは、式（１２－３）で示したように、Ｂ＝０のときはＢ＝∞とおく。
【0082】
本実施形態では、コスト指標Ｃｉ、ｊに判定指標Ｂｉ、ｊを乗じた値を追跡歩行者ｉと検出歩行者ｊの組合せのコストとし、追跡歩行者ｉと検出歩行者ｊを組合せた各組のコストの総和が最小となるような追跡歩行者ｉと検出歩行者ｊの組の組合せを探索する。
例えば、（追跡歩行者１、検出歩行者３）、（追跡歩行者２、検出歩行者５）、（追跡歩行者３、検出歩行者１）、・・・などと各組を組合せて、各組のコストの総和である、（Ｃ１、３×Ｂ１、３）＋（Ｃ２、５×Ｂ２、５）＋（Ｃ３、１×Ｂ３、１）＋・・・を計算する。この際に、総和の式に追跡歩行者ｉや検出歩行者ｊが重複して現れないようにする。
例えば、（追跡歩行者１、検出歩行者３）、（追跡歩行者２、検出歩行者５）、（追跡歩行者３、検出歩行者１）、・・・などと各組を組合せて、各組のコストの総和である、（Ｃ１、３×Ｂ１、３）＋（Ｃ２、５×Ｂ２、５）＋（Ｃ３、１×Ｂ３、１）＋・・・を計算する。この際に、総和の式に追跡歩行者ｉや検出歩行者ｊが重複して現れないようにする。
【0083】
そして、総コストが最小となる組の組合せを探索し、当該組合せに係る追跡歩行者ｉと検出歩行者ｊを対応付ける。
この際に、判定指標Ｂｉ、ｊが∞（無限大）となる項が含まれるものについては、総和が無限大に発散するため、追跡歩行者ｉと検出歩行者ｊの対応付けの対象外となる。
この際に、判定指標Ｂｉ、ｊが∞（無限大）となる項が含まれるものについては、総和が無限大に発散するため、追跡歩行者ｉと検出歩行者ｊの対応付けの対象外となる。
【0084】
図１２（ｂ）は、追跡歩行者ｉと検出歩行者ｊの各組合せに対するコストの一例を示している。行は追跡歩行者１、２、・・・、Ｎを表し、列は検出歩行者１、２、・・・、Ｍを表している。
コストは、判定指標Ｂｉ、ｊが１の場合はコスト指標Ｃｉ、ｊになり、判定指標Ｂｉ、ｊが無限大の場合は無限大になる。
図の例では、例えば、（追跡歩行者１、検出歩行者１）の組合せではコストが０．１となっており、（追跡歩行者１、検出歩行者２）の組合せではコストが∞となっている。
このため、追跡歩行者ｉと検出歩行者ｊを組合せるに際して、（追跡歩行者１、検出歩行者２）の組は、組合せ対象外となる。
コストは、判定指標Ｂｉ、ｊが１の場合はコスト指標Ｃｉ、ｊになり、判定指標Ｂｉ、ｊが無限大の場合は無限大になる。
図の例では、例えば、（追跡歩行者１、検出歩行者１）の組合せではコストが０．１となっており、（追跡歩行者１、検出歩行者２）の組合せではコストが∞となっている。
このため、追跡歩行者ｉと検出歩行者ｊを組合せるに際して、（追跡歩行者１、検出歩行者２）の組は、組合せ対象外となる。
【0085】
上にも述べたように、歩行追跡装置１は、この表から追跡歩行者ｉと検出歩行者ｊの重複が無いように選択し、総コストが最小となる追跡歩行者ｉと検出歩行者ｊの組の組合せによって、追跡歩行者ｉと検出歩行者ｊを対応付ける。
何れの選択によっても総コストが無限大となって最小コストが存在しない場合は、追跡歩行者ｉと検出歩行者ｊの割り当ては失敗したことになる。
何れの選択によっても総コストが無限大となって最小コストが存在しない場合は、追跡歩行者ｉと検出歩行者ｊの割り当ては失敗したことになる。
【0086】
以上に説明した実施形態では、矩形運動情報と外観情報を用いてコスト指標Ｃｉ、ｊを構成したが、図１２（ｃ）の式（１２－４）に示したように、更に、歩行情報を用いることもできる。
この例では、ｄ（１）（ｉ、ｊ）、ｄ（２）（ｉ、ｊ）、ｄ（３）（ｉ、ｊ）をα、β、γの割合で線形結合することによりＣｉ、ｊを構成する。ただし、式（１２－５）に示したように、α、β、γの総計を１とする。ただし、０≦α、β、γ≦１である。
この例は、拡張ＤｅｅｐＳＯＲＴでコスト計算部分に更に歩行状態による同一人度を含めるように、更に拡張するものである。
この例に係る歩行者対応付け手段は、同一人程度取得手段で取得した同一人である程度を用いて対応付けを行う。
この例では、ｄ（１）（ｉ、ｊ）、ｄ（２）（ｉ、ｊ）、ｄ（３）（ｉ、ｊ）をα、β、γの割合で線形結合することによりＣｉ、ｊを構成する。ただし、式（１２－５）に示したように、α、β、γの総計を１とする。ただし、０≦α、β、γ≦１である。
この例は、拡張ＤｅｅｐＳＯＲＴでコスト計算部分に更に歩行状態による同一人度を含めるように、更に拡張するものである。
この例に係る歩行者対応付け手段は、同一人程度取得手段で取得した同一人である程度を用いて対応付けを行う。
【0087】
図１３は、歩行追跡装置１が行う拡張ＤｅｅｐＳＯＲＴによる歩行追跡処理を説明するためのフローチャートである。
以下の処理は、記憶部１０が記憶する歩行追跡プログラムをＣＰＵ２が実行することにより行うものである。
既に追跡を開始しており、対応付けが済んだ追跡歩行者ｉの追跡データ３８をＲＡＭ４に記憶しているものとする。
まず、ＣＰＵ２は、現時刻において、カメラ８から現フレーム画像を取得してＲＡＭ４に記憶する（ステップ５）。
以下の処理は、記憶部１０が記憶する歩行追跡プログラムをＣＰＵ２が実行することにより行うものである。
既に追跡を開始しており、対応付けが済んだ追跡歩行者ｉの追跡データ３８をＲＡＭ４に記憶しているものとする。
まず、ＣＰＵ２は、現時刻において、カメラ８から現フレーム画像を取得してＲＡＭ４に記憶する（ステップ５）。
【0088】
次に、ＣＰＵ２は、記憶したフレーム画像で検出器による矩形を用いた人物検出を行い、検出歩行者ｊ（ｊ＝１、２、・・・）の矩形領域画像を検出データ３７（図２）としてＲＡＭ４に記憶する（ステップ１０）。
次に、ＣＰＵ２は、単位時間前の追跡歩行者ｉ（ｉ＝１、２、・・・）の矩形領域画像を追跡データ３８から取得し、これら追跡歩行者ｉの矩形運動情報ｘを式（３－１）に従って算出してＲＡＭ４に記憶する（ステップ１５）。
次に、ＣＰＵ２は、単位時間前の追跡歩行者ｉ（ｉ＝１、２、・・・）の矩形領域画像を追跡データ３８から取得し、これら追跡歩行者ｉの矩形運動情報ｘを式（３－１）に従って算出してＲＡＭ４に記憶する（ステップ１５）。
【0089】
次に、ＣＰＵ２は、各検出歩行者ｊの矩形領域画像から、それぞれの外観情報をＣＮＮによって計量空間４２（図４（ａ））に写像することにより算出してＲＡＭ４に記憶し、更に、追跡データ３８が有する集合Ｒｋ（図４（ｂ））に含まれる各追跡歩行者ｉについても同様にして内積計算用に外観情報を算出してＲＡＭ４に記憶する（ステップ２０）。
なお、集合Ｒｋについて外観情報を計算する場合、これまでの追跡で既に外観情報を計算済みの矩形領域画像については、それをＲＡＭ４から読み出して流用するように構成することもできる。
なお、集合Ｒｋについて外観情報を計算する場合、これまでの追跡で既に外観情報を計算済みの矩形領域画像については、それをＲＡＭ４から読み出して流用するように構成することもできる。
【0090】
次に、ＣＰＵ２は、各検出歩行者ｊの矩形領域画像において骨格情報１５（図６）を検出してＲＡＭ４に記憶すると共に、単位時間前の各追跡歩行者ｉの矩形領域画像をＲＡＭ４から読み出して骨格情報１５を検出し、ＲＡＭ４に記憶する（ステップ２５）。
なお、追跡歩行者ｉの骨格情報１５に関しては、これまでの追跡で既に抽出済みの骨格情報１５をＲＡＭ４から読み出して流用するように構成することもできる。
なお、追跡歩行者ｉの骨格情報１５に関しては、これまでの追跡で既に抽出済みの骨格情報１５をＲＡＭ４から読み出して流用するように構成することもできる。
【0091】
次に、ＣＰＵ２は、ＲＡＭ４に記憶した各検出歩行者ｊと各追跡歩行者ｉの骨格情報１５に基づいて、各検出歩行者ｊの歩行状態ｓｊと、各追跡歩行者ｉの歩行状態ｓｉを算出してＲＡＭ４に記憶する（ステップ３０）。
【0092】
次に、ＣＰＵ２は、追跡歩行者ｉと検出歩行者ｊの全ての組合せを生成し、各組について、ステップ１５でＲＡＭ４に記憶した矩形運動情報と、ステップ２０でＲＡＭ４に記憶した外観情報を用いて、式（３－２）のｄ（１）（ｉ、ｊ）と、式（４－２）のｄ（２）（ｉ、ｊ）の各距離を計算してＲＡＭ４に記憶する。更に、ＣＰＵ２は、当該記憶したｄ（１）、ｄ（２）を用いて各組のコスト指標Ｃｉ、ｊを式（１２－１）によって計算してＲＡＭ４に記憶する（ステップ３５）。
【0093】
次に、ＣＰＵ２は、追跡歩行者ｉと検出歩行者ｊの各組について式（１２－２）の判定指標Ｂｉ、ｊを計算してＲＡＭ４に記憶する（ステップ４０）。
ここで、ＣＰＵ２は、判定指標Ｂｉ、ｊを計算するのに用いる２値判定式ｂ（１）ｉ、ｊ、２値判定式ｂ（２）ｉ、ｊを、それぞれ式（３－３）、式（４－３）に従って計算する。
ここで、ＣＰＵ２は、判定指標Ｂｉ、ｊを計算するのに用いる２値判定式ｂ（１）ｉ、ｊ、２値判定式ｂ（２）ｉ、ｊを、それぞれ式（３－３）、式（４－３）に従って計算する。
【0094】
２値判定式ｂ（３）ｉ、ｊについては、次の通りである。
ＣＰＵ２は、ＲＡＭ４に記憶した各検出歩行者ｊの矩形領域画像について、検出した関節数ｎｊをカウントして式（１１－２）の指標ｒ１（ｊ）を計算し、これをＲＡＭ４に記憶する。
更に、ＣＰＵ２は、各追跡歩行者ｉの矩形領域画像から式（１１－４）の関節検出フラグｏｉを生成してＲＡＭ４に記憶すると共に、各検出歩行者ｊの矩形領域画像から式（１１－４）の関節フラグｏｊを生成してＲＡＭ４に記憶する。
そして、ＣＰＵ２は、各組についてのｏｉとｏｊの内積を用いて式（１１－３）の指標ｒ２（ｉ、ｊ）を算出してＲＡＭ４に記憶する。
ＣＰＵ２は、ＲＡＭ４に記憶した各検出歩行者ｊの矩形領域画像について、検出した関節数ｎｊをカウントして式（１１－２）の指標ｒ１（ｊ）を計算し、これをＲＡＭ４に記憶する。
更に、ＣＰＵ２は、各追跡歩行者ｉの矩形領域画像から式（１１－４）の関節検出フラグｏｉを生成してＲＡＭ４に記憶すると共に、各検出歩行者ｊの矩形領域画像から式（１１－４）の関節フラグｏｊを生成してＲＡＭ４に記憶する。
そして、ＣＰＵ２は、各組についてのｏｉとｏｊの内積を用いて式（１１－３）の指標ｒ２（ｉ、ｊ）を算出してＲＡＭ４に記憶する。
【0095】
次に、ＣＰＵ２は、ＲＡＭ４に記憶した指標ｒ１、指標ｒ２を用いて各組ごとに式（１１－５）の信頼度ω（ｉ、ｊ）を計算してＲＡＭ４に記憶し、更に、当該記憶した信頼度ω（ｉ、ｊ）を用いて式（１１－６）のｂ（３）ｉ、ｊを算出してＲＡＭ４に記憶する。
【0096】
次に、ＣＰＵ２、ステップ３５でＲＡＭ４に記憶したコスト指標Ｃｉ、ｊと、ステップ４０でＲＡＭ４に記憶した判定指標Ｂｉ、ｊを用いて、各組のコストを計算してＲＡＭ４に記憶する。
そして、ＣＰＵ２は、総コストが最低となる組の組合せを探索することにより追跡歩行者ｉと検出歩行者ｊのコストによる対応付けを行う。
そして、ＣＰＵ２は、総コストが最低となる組の組合せを探索することにより追跡歩行者ｉと検出歩行者ｊのコストによる対応付けを行う。
【0097】
当該対応付けが成功した場合（ステップ４５；Ｙ）、ＣＰＵ２は、当該対応付けに基づいて追跡データ３８を更新する（ステップ５０）。
コストによる対応付けが失敗した場合（ステップ４５；Ｎ）（図２の割り当て失敗（１）又は割り当て失敗（２））、ＣＰＵ２は、ＩＯＵマッチングによる対応付けを試みる。
ＩＯＵマッチングによる対応付けが成功した場合（ステップ５５；Ｙ）、ＣＰＵ２は、追跡データ３８を更新する（ステップ５０）。
コストによる対応付けが失敗した場合（ステップ４５；Ｎ）（図２の割り当て失敗（１）又は割り当て失敗（２））、ＣＰＵ２は、ＩＯＵマッチングによる対応付けを試みる。
ＩＯＵマッチングによる対応付けが成功した場合（ステップ５５；Ｙ）、ＣＰＵ２は、追跡データ３８を更新する（ステップ５０）。
【0098】
ＩＯＵマッチングによる対応付けが失敗した場合（ステップ５５；Ｎ）、ＣＰＵ２は、検出に成功したが追跡歩行者との対応付けに失敗した検出歩行者に関しては（ステップ６０；Ｙ）、新たに画面に入ってきた歩行者であると判断して追跡データ３８に追加する（ステップ６５）。
一方、追跡歩行者に対応する検出歩行者が検出されなかった場合（ステップ６０；Ｎ）、ＣＰＵ２は、画面から消えた歩行者であると判断し、当該追跡歩行者を、例えば、再度画面に現れる可能性を考慮して一定時間保持した後、追跡データ３８に対する登録を解除するなどの処理を行う（ステップ７０）。
一方、追跡歩行者に対応する検出歩行者が検出されなかった場合（ステップ６０；Ｎ）、ＣＰＵ２は、画面から消えた歩行者であると判断し、当該追跡歩行者を、例えば、再度画面に現れる可能性を考慮して一定時間保持した後、追跡データ３８に対する登録を解除するなどの処理を行う（ステップ７０）。
【0099】
図１４は、実験結果を説明するための図である。
本実験では、ＤｅｅｐＳＯＲＴと拡張ＤｅｅｐＳＯＲＴで歩行者を追跡し、ＩＤＦ１（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｆ１）を比較した。
ＩＤＦ１は、真の追跡対象をどれくらい長い間追跡できているかを表す評価指標であり、１に近いほど精度が高いことを示している。
本実験では、ＤｅｅｐＳＯＲＴと拡張ＤｅｅｐＳＯＲＴで歩行者を追跡し、ＩＤＦ１（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｆ１）を比較した。
ＩＤＦ１は、真の追跡対象をどれくらい長い間追跡できているかを表す評価指標であり、１に近いほど精度が高いことを示している。
【0100】
また、評価実験には、図１４（ａ）に示したＡ～Ｅの５種の動画データを用いた。何れも、追跡精度の評価用に公開されている動画であって、一般に使用されているものである。
例えば、Ａは、商店街の通りの人通りを撮影したものであり、Ｂは、キャンパスを行き交う人々を撮影したものである。
例えば、Ａは、商店街の通りの人通りを撮影したものであり、Ｂは、キャンパスを行き交う人々を撮影したものである。
【0101】
図１４（ｂ）は、評価を表した表であり、これをグラフ化したのが図１４（ａ）である。
図１４に示したように、Ａ～Ｅの何れにおいても、本実施形態の拡張ＤｅｅｐＳＯＲＴは、ＤｅｅｐＳＯＲＴよりも高い精度を示している。
ＩＤＦ１の平均値は、拡張ＤｅｅｐＳＯＲＴが０．７１２で、ＤｅｅｐＳＯＲＴが０．６８７であり、拡張ＤｅｅｐＳＯＲＴを採用することにより、精度が３．６％ほど向上した。
図１４に示したように、Ａ～Ｅの何れにおいても、本実施形態の拡張ＤｅｅｐＳＯＲＴは、ＤｅｅｐＳＯＲＴよりも高い精度を示している。
ＩＤＦ１の平均値は、拡張ＤｅｅｐＳＯＲＴが０．７１２で、ＤｅｅｐＳＯＲＴが０．６８７であり、拡張ＤｅｅｐＳＯＲＴを採用することにより、精度が３．６％ほど向上した。
【0102】
以上に説明した本実施形態により次のような効果を得ることができる。
（１）矩形運動情報（外接矩形の運動情報）と外観情報に加えて歩行状態を考慮することで頑健な複数人数の追跡を行うことができる。
（２）歩行状態はフレーム画像間の人物の姿勢変化が微小なことから対応付けに用いやすく、また、隠れなどによって一定時間の間観測が不可能であっても、その時刻の姿勢を予想することが可能である。
（３）骨格情報の未検出などによって歩行状態推定の精度が低下する場合があることを考慮し、歩行状態を有効に使用するための使用判断の指標として、骨格情報の未検出の割合を用いることができる。
（１）矩形運動情報（外接矩形の運動情報）と外観情報に加えて歩行状態を考慮することで頑健な複数人数の追跡を行うことができる。
（２）歩行状態はフレーム画像間の人物の姿勢変化が微小なことから対応付けに用いやすく、また、隠れなどによって一定時間の間観測が不可能であっても、その時刻の姿勢を予想することが可能である。
（３）骨格情報の未検出などによって歩行状態推定の精度が低下する場合があることを考慮し、歩行状態を有効に使用するための使用判断の指標として、骨格情報の未検出の割合を用いることができる。
【符号の説明】
【0103】
１ 歩行追跡装置
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ 表示部
６ 入力部
７ 通信制御部
８ カメラ
９ 歩行者
１０ 記憶部
１１ 通信ネットワーク
１５ 骨格情報
１６ ＭＬＰ
１７ 歩行状態空間
３１ フレーム画像
３３ 矩形
３７ 検出データ
３８ 追跡データ
４１、４２ 計量空間
２ ＣＰＵ
３ ＲＯＭ
４ ＲＡＭ
５ 表示部
６ 入力部
７ 通信制御部
８ カメラ
９ 歩行者
１０ 記憶部
１１ 通信ネットワーク
１５ 骨格情報
１６ ＭＬＰ
１７ 歩行状態空間
３１ フレーム画像
３３ 矩形
３７ 検出データ
３８ 追跡データ
４１、４２ 計量空間
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】