(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】複数物体追跡装置、方法及びプログラム
(51)【国際特許分類】
G06F 17/16 20060101AFI20231219BHJP
G01S 13/66 20060101ALI20231219BHJP
G06N 3/088 20230101ALI20231219BHJP
G06N 20/00 20190101ALI20231219BHJP
【ＦＩ】
G06F17/16 K
G01S13/66
G06N3/088
G06N20/00 160
【請求項の数】
12
(21)【出願番号】P 2019217296
(22)【出願日】2019-11-29
(65)【公開番号】P2020201927
(43)【公開日】2020-12-17
【審査請求日】2022-10-05
(31)【優先権主張番号】P 2019106258
(32)【優先日】2019-06-06
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】502324066
【氏名又は名称】株式会社デンソーアイティーラボラトリ
(74)【代理人】
【識別番号】100113549
【弁理士】
【氏名又は名称】鈴木 守
(74)【代理人】
【識別番号】100115808
【弁理士】
【氏名又は名称】加藤 真司
(74)【代理人】
【識別番号】230121430
【弁護士】
【氏名又は名称】安井 友章
(72)【発明者】
【氏名】河内 祐太
(72)【発明者】
【氏名】石川 康太
【審査官】坂東 博司
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０２３９９８２（ＵＳ，Ａ１）
【文献】加藤 直樹 Naoki KATO，追跡軌跡の再同定を用いたオンライン複数物体追跡 Online Multi-Object Tracking with Tracklet Re-Identification，画像電子学会誌 Ｖｏｌ．４７ Ｎｏ．４ ２０１８ ［ＣＤ－ＲＯＭ］ The Journal of the Institute of Image Electronics Engineers of Japan，日本，一般社団法人画像電子学会，2018年10月30日，第47巻 第4号，391～400，【ISSN】2186-716X
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １７／１６
Ｇ０１Ｓ １３／６６
Ｇ０６Ｎ ３／０８８
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
微分可能な関数により形成され観測値と複数のトラッカとを対応付ける連続緩和されたアサインメント行列を生成するアサインメントモデル及び微分可能な関数により形成され複数のトラッカの運動状態を示す運動モデルを有し、観測値から再構成値を生成するモデル部と、少なくとも再構成値と元の観測値との損失関数を回帰誤差関数として前記アサインメントモデル及び前記運動モデルの学習を行う学習部と、
を具備する複数物体追跡装置。
【請求項2】
前記モデル部は、前記アサインメントモデルにより生成されたアサインメント行列により観測値を並べ替えて前記運動モデルに入力する並替処理部をさらに有する、請求項１に記載の複数物体追跡装置。
【請求項3】
前記モデル部は、微分可能な関数により形成され複数のトラッカの活動及び休眠状態を示す連続緩和されたトラッカ活動状態を生成するトラッカ活動モデルをさらに有する、請求項１に記載の複数物体追跡装置。
【請求項4】
前記モデル部は、観測値について観測方向に拡張し、アサインメント行列について行方向に拡張して観測点の欠落を示す列を導入し又は列方向に拡張してクラッタの存在を示す行を導入する、請求項１に記載の複数物体追跡装置。
【請求項5】
前記アサインメントモデルは、アサインメント行列の生成において、アサインメント行列について置換行列への誘導処理を行う、請求項１乃至３のいずれか１項に記載の複数物体追跡装置。
【請求項6】
前記学習部は、アサインメント行列が置換行列から遠ざかるのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行う、請求項１乃至３のいずれか１項に記載の複数物体追跡装置。
【請求項7】
前記学習部は、アサインメント行列が離散変数に一定程度以上近づくのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行う、請求項１乃至４のいずれか１項に記載の複数物体追跡装置。
【請求項8】
前記アサインメントモデルは、アサインメント行列の生成において、各行について観測点の欠落を示す拡張された列の要素を除いた行ベクトルのＬｐノルムを単位値から減算した値を当該拡張された列の要素の値とする処理又は各列についてクラッタの存在を示す拡張された行の要素を除いた列ベクトルのＬｐノルムを単位値から減算した値を当該拡張された行の要素の値とする処理を行う、請求項４に記載の複数物体追跡装置。
【請求項9】
前記アサインメントモデルは、アサインメント行列の生成において、観測点の欠落を示す拡張された列を除く各列について列内の各要素を当該各要素の総和で除算する処理と、クラッタの存在を示す拡張された行を除く各行について行内の各要素を当該各要素の総和で除算する処理と、を繰り返す処理を行う、請求項４に記載の複数物体追跡装置。
【請求項10】
前記学習部は、正解アサインメント行列と生成されたアサインメント行列との内の一方の行列と、他方の行列において要素ベクトルを並べ替えた各並替行列と、の各損失関数の内、最小となる損失関数を全体の損失関数として回帰誤差関数に追加して学習を行う、請求項１に記載の複数物体追跡装置。
【請求項11】
微分可能な関数により形成され観測値と複数のトラッカとを対応付ける連続緩和されたアサインメント行列を生成するアサインメントモデル及び微分可能な関数により形成され複数のトラッカの運動状態を示す運動モデルを用い、観測値から再構成値を生成するステップと、少なくとも再構成値と元の観測値との損失関数を回帰誤差関数として前記アサインメントモデル及び前記運動モデルの学習を行うステップと、
を具備する複数物体追跡方法。
【請求項12】
コンピュータに、微分可能な関数により形成され観測値と複数のトラッカとを対応付ける連続緩和されたアサインメント行列を生成するアサインメントモデル及び微分可能な関数により形成され複数のトラッカの運動状態を示す運動モデルを有し、観測値から再構成値を生成するモデル機能と、
少なくとも再構成値と元の観測値との損失関数を回帰誤差関数として前記アサインメントモデル及び前記運動モデルの学習を行う学習機能と、
を実現させる複数物体追跡プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数物体についてのトラッカを推定する複数物体追跡装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、車載レーダ信号処理等において、複数物体の位置、速度等を示し、時刻方向及び観測方向に可変長であり、所定の時刻における観測順が不明な観測点群に対して、複数物体についての移動の軌跡であるトラッカを推定する複数物体追跡が行われている。
【0003】
このような複数物体追跡の解法として、確率的生成モデルに対して変分ベイズを適用する解法が用いられている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0004】
【文献】Turner, Ryan D., Steven Bottone, and Bhargav Avasarala. "A complete variational tracker." Advances in Neural Information Processing Systems. 2014.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、複数物体追跡の解法として、確率的生成モデルに対して変分ベイズを適用する解法を用いる場合には、変分事後同時分布を平均場近似により分解した後の分布形状については、事後分布解析解が容易に求まる指数型分布族等の分布形状に限定されるため、モデル記述力が制約されてしまう。このようなモデル記述力の制約により、特に物体が複雑な運動を行う場合や複数物体が複雑な交差を行う場合について、複数物体についての追跡性能が低下してしまう。
【0006】
本発明は上記課題に鑑みてなされたものであり、その目的は、複数物体についての追跡性能が向上された複数物体追跡装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の第１実施態様は、微分可能な関数により形成され観測値と複数のトラッカとを対応付ける連続緩和されたアサインメント行列を生成するアサインメントモデル及び微分可能な関数により形成され複数のトラッカの運動状態を示す運動モデルを有し、観測値から再構成値を生成するモデル部と、少なくとも再構成値と元の観測値との損失関数を回帰誤差関数として前記アサインメントモデル及び前記運動モデルの学習を行う学習部と、を具備する複数物体追跡装置である。
【0008】
本実施態様では、離散変数であるアサインメント行列が連続緩和されているため、アサインメントモデルにも勾配が通過し、アサインメントモデルと運動モデルとについて一括して学習を行うことが可能である。そして、アサインメントモデル及び運動モデルを定義することなく、観測値から適切なアサインメントモデル及び運動モデルを獲得することができ、物体が複雑な運動を行う場合や複数物体が複雑な交差を行う場合であっても、複数物体についての追跡を正確に行うことが可能となっている。
【0009】
本発明の第２実施態様は、前記モデル部は、前記アサインメントモデルにより生成されたアサインメント行列により観測値を並べ替えて前記運動モデルに入力する並替処理部をさらに有する、第１実施態様の複数物体追跡装置である。
【0010】
本実施態様では、アサインメントモデルにより生成されたアサインメント行列により観測値を並べ替えて運動モデルに入力しているため、運動モデルについての学習を単純化することが可能となっている。また、アサインメントモデル及び運動モデルの学習の途中において推定されるトラッカ運動状態については、真の複数のトラッカ運動状態を線形結合したものとなり、真の複数のトラッカの中間を通過するトラッカを推定することになるため、アサインメントモデル及び運動モデルについては合理的な挙動を示すことになる。
【0011】
本発明の第３実施態様は、前記モデル部は、微分可能な関数により形成され複数のトラッカの活動及び休眠状態を示す連続緩和されたトラッカ活動状態を生成するトラッカ活動モデルをさらに有する、第１実施態様の複数物体追跡装置である。
【0012】
本実施態様では、微分可能な関数により形成され複数のトラッカの活動及び休眠状態を示す連続緩和されたトラッカ活動状態を生成するトラッカ活動モデルを用いているため、観測点群が観測方向に可変長であり、観測点が欠落する場合であっても、複数物体についての追跡を正確に行うことが可能となっている。
【0013】
本発明の第４実施態様は、前記モデル部は、観測値について観測方向に拡張し、アサインメント行列について行方向に拡張して観測点の欠落を示す列を導入し又は列方向に拡張してクラッタの存在を示す行を導入する、第１実施態様の複数物体追跡装置である。
【0014】
本実施態様では、観測値について観測方向に拡張し、アサインメント行列について行方向に拡張して観測点の欠落を示す列を導入し又は列方向に拡張してクラッタの存在を示す行を導入しているため、観測点群が観測方向に可変長であり、観測点が欠落する又はクラッタが存在する場合であっても、複数物体についての追跡を正確に行うことが可能となっている。
【0015】
本発明の第５実施態様は、前記アサインメントモデルは、アサインメント行列の生成において、アサインメント行列について置換行列への誘導処理を行う、第１乃至第３のいずれか１実施態様の複数物体追跡装置である。
【0016】
本実施態様では、アサインメント行列については置換行列となるべきところ、アサインメント行列の生成において、アサインメント行列について置換行列への誘導処理を行っているため、アサイメントモデルの学習を簡易化することが可能となっている。
【0017】
本発明の第６実施態様は、前記学習部は、アサインメント行列が置換行列から遠ざかるのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行う、第１乃至第３のいずれか１実施態様の複数物体追跡装置である。
【0018】
本実施態様では、アサインメント行列については置換行列となるべきところ、アサインメント行列が置換行列から遠ざかるのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行っているため、アサイメントモデルの学習を高速に行うことが可能となっている。
【0019】
本発明の第７実施態様は、前記学習部は、アサインメント行列が離散変数に一定程度以上近づくのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行う、第１乃至第４のいずれか１実施態様の複数物体追跡装置である。
【0020】
本実施態様では、アサインメント行列の少なくとも一部が離散変数に近づくとアサインメント性能が向上するが、離散変数に近づきすぎると勾配が発生しにくくなってアサインメントモデルの学習が困難となるところ、アサインメント行列が離散変数に一定程度以上近づくのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行っているため、アサイメント性能の向上と学習の安定化を実現することが可能となっている。
【0021】
本発明の第８実施態様は、前記アサインメントモデルは、アサインメント行列の生成において、各行について観測点の欠落を示す拡張された列の要素を除いた行ベクトルのＬｐノルムを単位値から減算した値を当該拡張された列の要素の値とする処理又は各列についてクラッタの存在を示す拡張された行の要素を除いた列ベクトルのＬｐノルムを単位値から減算した値を当該拡張された行の要素の値とする処理を行う、第４実施態様の複数物体追跡装置である。
【0022】
本実施態様では、アサインメント行列については、観測点の欠落又はクラッタの存在には複数個数が許容されるものの、その他の観測点とトラッカとは一対一に対応するという一対一制約が存在するところ、アサインメント行列の生成において、各行について観測点の欠落を示す拡張された列の要素を除いた行ベクトルのＬｐノルムを単位値から減算した値を当該拡張された列の要素の値とする処理又は各列についてクラッタの存在を示す拡張された行の要素を除いた列ベクトルのＬｐノルムを単位値から減算した値を当該拡張された行の要素の値とする処理を行うことにより、一対一制約を満たすアサインメント行列を生成することが可能となっている。
【0023】
本発明の第９実施態様は、前記アサインメントモデルは、アサインメント行列の生成において、観測点の欠落を示す拡張された列を除く各列について列内の各要素を当該各要素の総和で除算する処理と、クラッタの存在を示す拡張された行を除く各行について行内の各要素を当該各要素の総和で除算する処理と、を繰り返す処理を行う、第４実施態様の複数物体追跡装置である。
【0024】
本実施態様では、アサインメント行列については、観測点の欠落又はクラッタの存在には複数個数が許容されるものの、その他の観測点とトラッカとは一対一に対応するという一対一制約が存在するところ、アサインメント行列の生成において、観測点の欠落を示す拡張された列を除く各列について列内の各要素を当該各要素の総和で除算する処理と、クラッタの存在を示す拡張された行を除く各行について行内の各要素を当該各要素の総和で除算する処理と、を繰り返す処理を行うことにより、一対一制約を満たすアサインメント行列を生成することが可能となっている。
【0025】
本発明の第１０実施態様は、前記学習部は、正解アサインメント行列と生成されたアサインメント行列との内の一方の行列と、他方の行列において要素ベクトルを並べ替えた各並替行列と、の各損失関数の内、最小となる損失関数を全体の損失関数として回帰誤差関数に追加して学習を行う、第１実施態様の複数物体追跡装置である。
【0026】
本実施態様では、所定の観測点系列を追跡するトラッカについて、複数のトラッカの内で何番目のトラッカに順番付けるかには不定性が存在し、正解アサインメント行列と生成されたアサインメント行列とではトラッカの順番付けは必ずしも一致しないところ、正解アサインメント行列と生成されたアサインメント行列との内の一方の行列と、他方の行列において要素ベクトルを並べ替えた各並替行列と、の各損失関数の内、最小となる損失関数を全体の損失関数として回帰誤差関数に追加して学習を行うことにより、適切な学習を行うことが可能となっている。
【0027】
本発明の第１１実施態様は、微分可能な関数により形成され観測値と複数のトラッカとを対応付ける連続緩和されたアサインメント行列を生成するアサインメントモデル及び微分可能な関数により形成され複数のトラッカの運動状態を示す運動モデルを用い、観測値から再構成値を生成するステップと、少なくとも再構成値と元の観測値との損失関数を回帰誤差関数として前記アサインメントモデル及び前記運動モデルの学習を行うステップと、を具備する複数物体追跡方法である。
本実施態様では、第１実施態様と同様の作用効果を奏する。
本実施態様では、第１実施態様と同様の作用効果を奏する。
【0028】
本発明の第１２実施態様は、コンピュータに、微分可能な関数により形成され観測値と複数のトラッカとを対応付ける連続緩和されたアサインメント行列を生成するアサインメントモデル及び微分可能な関数により形成され複数のトラッカの運動状態を示す運動モデルを有し、観測値から再構成値を生成するモデル機能と、少なくとも再構成値と元の観測値との損失関数を回帰誤差関数として前記アサインメントモデル及び前記運動モデルの学習を行う学習機能と、を実現させる複数物体追跡プログラムである。
本実施態様では、第１実施態様と同様の作用効果を奏する。
本実施態様では、第１実施態様と同様の作用効果を奏する。
【発明の効果】
【0029】
本発明では、複数物体についての追跡性能が向上されている。
【図面の簡単な説明】
【0030】
【図1】複数物体追跡を示す模式図。
【図2】本発明の第１実施形態の複数物体追跡確率的生成モデルのグラフィカルモデルを示す模式図。
【図3】本発明の第１実施形態の自己符号化器型複数物体追跡装置の概略構成を示すブロック図。
【図4】本発明の第１実施形態の自己符号化器型複数物体追跡装置の各構成を示すブロック図。
【図5】本発明の第１実施形態の回帰誤差算出手順を示すフロー図。
【図6】本発明の第２実施形態のアサインメント行列を示す模式図。
【図7】本発明の第２実施形態のアサインメントエンコーダを示す模式図。
【図8】本発明の第２実施形態の並替処理部を示す模式図。
【図9】本発明の第２実施形態の補完処理部を示す模式図。
【図10】本発明の第２実施形態の運動エンコーダを示す模式図。
【図11】本発明の第２実施形態の運動デコーダを示す模式図。
【図12】本発明の第２実施形態の再並替処理部を示す模式図。
【発明を実施するための形態】
【0031】
【0032】
図１を参照して、複数物体追跡について概説する。
【0033】
車載レーダ信号処理等における複数物体追跡については、複数物体の位置、速度等を示し、時間方向及び観測方向に可変長であり、所定の時刻における観測順が不明な観測点群から、複数の物体のトラッカを推定するものである。このためには、観測点群とトラッカとを対応付けるアサインメント処理を行う必要がある。このようなアサインメント処理においては、トラッカに対応して観測点が存在するはずであるのに欠落してしまう観測点の欠落や、トラッカが存在しないにもかかわらずノイズ等により観測点が存在してしまうクラッタの存在といった問題がある。
【0034】
例えば、図１では、５個の物体が等速直線運動をしている場合について、一定の時間間隔で観測を行った観測点群を示しており、直線が真のトラッカ、〇印及び＋印が観測点群を示している。ここで、物体は等速直線運動をしているのであるから、真のトラッカを示す直線に沿って観測点群は等間隔で並ぶはずであるが、存在するはずの観測点が欠落しているのが看取される。また、真のトラッカを示す直線が存在しないにもかかわらず、＋印で示される観測点群が存在していることが看取され、当該観測点群がクラッタである。
【0035】
図２を参照して、本実施形態における複数物体追跡確率的生成モデルについて説明する。
【0036】
図２に示されるように、複数物体追跡確率的生成モデルでは、以下の確率変数が用いられる。即ち、離散時刻をｔとし、複数物体の位置、速度等を示し、時刻方向及び観測方向に可変長であり、所定の時刻ｔにおける観測順がランダムな観測点群の観測値をＹ＝｛ｙｔ｝とする。複数のトラッカの活動及び休眠状態を示すトラッカ活動状態をＳ＝｛ｓｔ｝とする。複数のトラッカの位置、速度等の運動状態を示すカルマン状態をＸ＝｛ｘｔ｝とする。観測値Ｙ＝｛ｙｔ｝と複数のトラッカとを対応付けるアサインメント行列をＡ＝｛Ａｔ｝とする。
【0037】
そして、複数物体追跡確率的生成モデルでは、各確率変数は以下の依存性を有する。即ち、時刻ｔのトラッカ活動状態ｓｔは、前時刻ｔ－１のトラッカ活動状態ｓｔ－１及びトラッカ活動状態遷移確率πに依存する。時刻ｔのアサインメント行列Ａｔは、同時刻ｔのトラッカ活動状態ｓｔ、並びに、クラッタ発生確率λ及びトラッカ観測確率Ｐｄに依存する。時刻ｔのカルマン状態ｘｔは、前時刻ｔ－１のカルマン状態ｘｔ－１及びカルマン状態遷移確率θＴに依存する。時刻ｔの観測ｙｔは、同時刻ｔのカルマン状態ｘｔ、カルマン出力確率θＥ及び同時刻ｔのアサインメント行列Ａｔに依存する。
【0038】
以下、本実施形態における複数物体追跡確率的生成モデルの解法として、近似事後分布を入力変数で条件づける償却推論法（amortized inference）を適用し、自己符号化器型ニューラルネットワークを利用する解法について説明する。
【0039】
複数物体追跡確率的生成モデルを周辺尤度情報最小化問題として解くにあたり、上記償却推論法を適用することで、最小化対象である周辺尤度情報量を以下の式（１）のような３項に分解することが可能である。なお、自己符号化器型ニューラルネットワークでは、エンコーダ及びデコーダにより入力値を再構成し、再構成値と元の入力値との損失関数を回帰誤差関数としてパラメータ学習を行う。ここでは、確率的生成モデルに対応するデコーダｐの全パラメータをθ、エンコーダｑの全てのパラメータをφとする。また、全ての離散変数について、連続緩和がなされているものとする。
【数1】
【0040】
上式の第１項については、近似事後分布誤差項であり、学習には用いられない。第２項については、再構成誤差項であり、観測値Ｙについてのデコーダに対応する。第３項については、事前分布に由来する制約項であり、トラッカ活動状態Ｓ，アサインメント行列Ａ及びカルマン状態Ｘについてのデコーダに対応する。本実施形態では、パラメータ学習に第２項の再構成誤差項を用いるが、第３項の事前分布に由来する制約項を用いるようにしてもよい。
【0041】
第２項の再構成誤差項について、アサインメント行列Ａ、トラッカ活動状態Ｓ及びカルマン状態Ｘの同時近似事後分布については取り扱いが困難なため、構造化近似法により、全ての潜在変数Ａ、Ｓ及びＸについて任意の条件付近似事後分布に分解する。なお、平均場近似法により、全ての潜在変数Ａ，Ｓ及びＸについて独立な近似事後分布に分解してもよい。さらに、各潜在変数Ａ，Ｓ及びＸについて、各時刻ｔの近似事後分布の積に分解するようにしてもよい。このように各潜在変数Ａ、Ｓ及びＸについての近似事後分布に分解することは、各潜在変数Ａ，Ｓ及びＸについてのエンコーダに分解することに対応する。本実施形態では、アサインメント行列Ａ、トラッカ活動状態Ｓ及びカルマン状態Ｘについての各エンコーダから観測値Ｙについてのデコーダに入力を行って観測値Ｙを再構成し、再構成値Ｙ＾と元の観測値Ｙとの損失関数を回帰誤差関数とする。潜在変数Ａ，Ｓ及びＸのエンコードの順番については、構造化近似の順番に応じて任意に設定可能であるが、本実施形態では、アサインメント行列Ａ、トラッカ活動状態Ｓ、カルマン状態Ｘの順にエンコードする。また、各潜在変数Ａ，Ｓ及びＸについて再パラメータ化を実施する。代わって、再パラメータ化を実施せずに、離散変数についての分布パラメータについてはそれを実現値としてそのまま用い、連続変数についてのガウス分布パラメータについてはその平均値のみを用いるようにしてもよい。
【0042】
【0043】
観測点群については、観測方向に可変長であるため、時刻ｔにおける観測数は可変であるが、本実施形態では、全ての時刻ｔにおいて観測数がＪに固定されているものとする。なお、観測点群の観測時刻数をＴとする。
【0044】
観測数Ｊが固定されているため、時刻ｔにおける観測値ｙｔについては、Ｊ行のベクトルとなり、第ｊ行要素についてはｊ番目に観測された観測値を示す。時刻ｔにおけるカルマン状態ｘｔについては、Ｊ行のベクトルとなり、第ｊ行要素についてはｊ番目のトラッカの運動状態を示す。時刻ｔにおけるアサインメント行列Ａｔについては、Ｊ行Ｊ列の正方行列となり、第ｉ行第ｊ列要素についてはｉ番目のトラッカとｊ番目の観測値との対応関係を示し、ｉ番目のトラッカとｊ番目の観測値とが対応付けられる場合には１、対応付けられない場合には０となる。観測数Ｊが固定されている場合には、時刻ｔにおいてトラッカと観測値ｙｔとが全て対応付けられるため、アサインメント行列Ａｔについては置換行列となる。また、トラッカ活動状態Ｓ＝｛ｓｔ｝については考慮する必要が無いため、本実施形態では関連する説明を省略する。
【0045】
図３を参照して、本実施形態の自己符号化器型複数物体追跡装置について概説する。
【0046】
自己符号化器型複数物体追跡装置については、モデル部１０及び学習部１２によって形成されている。モデル部１０は、アサインメントモデル１６及び運動モデル１８を有する。アサインメントモデル１６は、ニューラルネットワークにより形成され、観測値Ｙと複数のトラッカとを対応付ける連続緩和されたアサインメント行列Ａを生成する。運動モデル１８は、ニューラルネットワークにより形成され、複数のトラッカの運動状態を示す。そして、モデル部１０は、観測値Ｙの再構成値Ｙ＾を生成する。学習部１２は、少なくとも再構成値Ｙ＾と元の観測値Ｙとの損失関数を回帰誤差関数として、確率的勾配降下法によりアサインメントモデル１６及び運動モデル１８のパラメータθ及びφを学習する。なお、アサインメントモデル１６及び運動モデル１８については、微分可能な関数により形成されればよく、ニューラルネットワークに代わって、主成分分析（Principal Component Analysis, PCA）、ガウス過程等のモジュールにより形成されてもよい。
【0047】
図４を参照して、自己符号化器型複数物体追跡装置における回帰誤差算出構成について説明する。
【0048】
図４に示されるように、モデル部１０において、アサインメントモデル１６をなすアサインメントエンコーダ３０については、多層パーセプトロン（ＭＬＰ）により形成され、各時刻ｔにおいて、時刻ｔにおける観測値ｙｔと、１時刻前の時刻ｔ－１におけるカルマン状態ｘｔ－１（後述するように、１時刻前の時刻ｔ－１における現時刻ｔ－１についての予測値ｙ~ｔ－１
（０））とに基づき、時刻ｔにおけるアサインメント行列Ａｔを生成する。アサインメントエンコーダ３０では、過去時刻における予測値Ｙ~に代えて、過去時刻のアサインメント行列Ａによって観測値Ｙを並べ替えたものを用いてもよく、その他、後述する運動モデル１８の運動エンコーダ３４の再帰型ニューラルネットワーク（ＲＮＮ）の隠れ層のベクトル等、トラッカの運動状態に関連する様々な値を用いることが可能である。
【0049】
並替処理部３２では、各時刻ｔにおいて、アサインメント行列Ａｔと観測値ｙｔとの内積をとることにより、アサインメント行列Ａｔによって観測値ｙｔを並べ替えて、並替観測値ｙ’ｔを生成する。ここで、アサインメント行列Ａｔと観測値ｙｔとの内積をとること自体をアサインメント行列Ａｔの連続緩和とみなすことができる。
【0050】
運動モデル１８をなす運動エンコーダ３４については、ＲＮＮにより形成されており、各時刻ｔにおいて、並替観測値ｙ’ｔと、前時刻ｔ－１におけるＲＮＮ隠れ層のベクトルｈｔ－１とに基づき、カルマン状態ｘｔを生成する。なお、並替処理部３２を用いずに、運動エンコーダ３４において、アサインメント行列Ａｔと観測値ｙｔとを直接用いてカルマン状態ｘｔを生成するようにしてもよい。
【0051】
運動モデル１８をなす運動デコーダ３６については、ＭＬＰにより形成されており、カルマン状態ｘｔに基づき，時刻ｔからｋ時刻先の時刻ｔ＋ｋまでについての予測値ｙ~ｔ
（ｔｐ）（ｔｐ＝０，…，ｋ）を生成する。なお、運動デコーダ３６においては、現時刻ｔについての予測値ｙ~ｔ
（０）のみを生成するようにしてもよい。
【0052】
ここで、並替処理部３２において、アサインメント行列Ａによって観測値Ｙを並べ替えるようにしているため、カルマン状態Ｘのエンコーダと観測値Ｙのデコーダとを同一視することができ、カルマン状態ｘｔと現時刻ｔについての予測値ｙ~ｔ
（０）とを同一視することが可能である。
【0053】
再並替処理部３８では、全てのｔｐ（＝０，…，ｋ）について、アサインメント行列Ａｔ＋ｔｐの転置行列と予測値ｙ~ｔ
（ｔｐ）との内積をとり、アサインメント行列Ａｔ＋ｔｐの転置行列によって予測値ｙ~ｔ
（ｔｐ）を並べ替えて、観測値ｙｔの再構成値ｙ＾ｔ
（ｔｐ）を生成する。
【0054】
学習部１２において、回帰誤差算出部４０では、全ての時刻ｔにおいて、再構成値ｙ＾ｔ
（ｔｐ）と観測値ｙｔ＋ｔｐとの二乗和損失Ｅｔ
（ｔｐ）の全てのｔｐ（＝０，…，ｋ）についての総和Ｅｔ＝ΣｔｐＥｔ
（ｔｐ）を算出し、さらに全ての時刻ｔ（１，…，Ｔ）についての二乗和損失Ｅｔの総和Ｅ＝ΣｔＥｔを算出し、回帰誤差関数とする。
【0055】
図５を参照して、自己符号化器型複数物体追跡方法における回帰誤差算出方法について説明する。なお、各ステップの詳細については、回帰誤差算出構成について説明したとおりである。
【0056】
図５に示されるように、全ての時刻ｔ（＝１，…，Ｔ）について（Ｓ１～Ｓ７）、観測値ｙｔ及び１時刻前のカルマン状態ｘｔ－１に基づくアサインメント行列Ａｔの生成（Ｓ３）、アサインメント行列Ａｔによる観測値ｙｔの並べ替えによる並替観測値ｙ’ｔの生成（Ｓ４）、並替観測値ｙ’ｔに基づくカルマン状態ｘｔの生成（Ｓ５）、カルマン状態ｘｔに基づく全てのｔｐ（＝０，…，ｋ）についての予測値ｙ~ｔ
（ｔｐ）の生成（Ｓ６）を行う。
【0057】
続いて、全ての時刻ｔ（＝１，…，Ｔ）について（Ｓ８～Ｓ１２）、全てのｔｐ（＝０，…，ｋ）について、アサインメント行列Ａｔ＋ｔｐの転置行列による予測値ｙ~ｔ
（ｔｐ）の並べ替えによる再構成値ｙ＾ｔ
（ｔｐ）の生成（Ｓ１０）、再構成値ｙ＾ｔ
（ｔｐ）と観測値ｙｔ＋ｔｐとの二乗和損失Ｅｔ
（ｔｐ）の全てのｔｐ（＝０，…，ｋ）についての総和Ｅｔ＝ΣｔｐＥｔ
（ｔｐ）の算出（Ｓ１１）を行う。
【0058】
続いて、全ての時刻ｔ（＝１，…，Ｔ）についての二乗和損失Ｅｔの総和Ｅ＝ΣｔＥｔの算出（Ｓ１３）を行う。
【0059】
以下、自己符号化器型複数物体追跡装置及び方法の各構成について詳説する。
【0060】
アサインメントエンコーダ３０におけるアサインメント行列Ａｔの生成について説明する。
アサインメント行列Ａｔについては置換行列となるべきであり、置換行列の連続緩和については二重確率行列であるから、アサインメントエンコーダ３０におけるアサインメント行列Ａｔの生成において、二重確率行列への誘導処理を行う。二重確率行列では、各要素については０乃至１の範囲内の値となり、各行の要素の総和及び各列の要素の総和は１となる。このため、アサインメント行列Ａｔの生成においては、各要素にシグモイド関数を掛けることで０乃至１の範囲内の値とし、各行又は各列毎にソフトマックス関数を掛けることで各行の要素の総和又は各列の要素の総和を１とする。
アサインメント行列Ａｔについては置換行列となるべきであり、置換行列の連続緩和については二重確率行列であるから、アサインメントエンコーダ３０におけるアサインメント行列Ａｔの生成において、二重確率行列への誘導処理を行う。二重確率行列では、各要素については０乃至１の範囲内の値となり、各行の要素の総和及び各列の要素の総和は１となる。このため、アサインメント行列Ａｔの生成においては、各要素にシグモイド関数を掛けることで０乃至１の範囲内の値とし、各行又は各列毎にソフトマックス関数を掛けることで各行の要素の総和又は各列の要素の総和を１とする。
【0061】
アサインメントエンコーダ３０のＭＬＰの学習について説明する。
【0062】
アサインメント行列Ａｔについては置換行列となるべきであり、置換行列については直交行列であるから、アサインメント行列Ａｔが直交行列から遠ざかるのに応じて損失が増大する損失関数を回帰誤差関数に追加して、直交性を誘導して学習を行う。本実施形態では、直交行列については自身の転置行列との内積が単位行列となるため、アサインメント行列Ａｔと自身の転置行列との内積から単位行列を引いたものの二乗和損失を損失関数として、線形結合等で回帰誤差関数に追加する。
【0063】
また、アサインメント行列を離散変数に近づけることで、推定されるトラッカの分散を低下させることができるため、アサインメント性能を向上させることができる。一方で、アサインメント行列を離散変数に近づけすぎると、勾配が発生しにくくなってアサインメントエンコーダ３０のＭＬＰの学習が困難となる。このため、アサインメント行列が離散変数に一定程度以上近づくのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行う。本実施形態では、各行又は各列毎の離散エントロピーの値が一定値以下となると損失が増大する損失関数を用いる。離散エントロピーについては、ワンホットベクトルの場合に最小値である０をとり、全ての要素が同一である場合に最大値であるｌｏｇ（次元数）をとるため、０乃至ｌｏｇ（次元数）の範囲内の所定値を閾値に設定し、離散エントロピーが当該閾値以下となった場合には、離散エントロピーと閾値との二乗和損失を損失関数として、線形結合等で回帰誤差関数に追加する。
【0064】
運動モデル１８のＲＮＮ及びＭＬＰの学習の安定化について説明する。
【0065】
運動モデル１８のパラメータについては、各トラッカ毎に個別のパラメータとしてもよいし、全てのトラッカについて共通のパラメータとしてもよい。
【0066】
運動モデル１８のＲＮＮ隠れ層のベクトル又は潜在変数Ｘの初期値については、乱数又は定数を用いる。代わって、ＲＮＮ隠れ層のベクトル又は潜在変数Ｘがトラッカ運動状態を保持することから、初期時刻の観測値からＲＮＮ隠れ層のベクトル又は潜在変数Ｘの初期値を生成するニューラルネットワークを用いるようにしてもよい。
【0067】
トラッカの滑らかさに制約を加えるため、複数の異なる時刻における予測値Ｙ~間の損失関数を回帰誤差関数に追加する。本実施形態では、１時刻前と現時刻とにおける予測値Ｙ~間の差分の二乗和損失を損失関数として、線形結合等で回帰誤差関数に追加する。同様に、ＲＮＮ隠れ層のベクトルのノルムの遷移の滑らかさに制約を加えるために、複数の異なる時刻におけるＲＮＮ隠れ層のベクトルのノルム間の損失関数を回帰誤差関数に追加してもよい。
【0068】
運動モデル１８においては、ＲＮＮに代えて、ＬＳＴＭ（Long short-term memory）を用いてもよく、ＬＳＴＭを用いる場合には、細胞その他の時刻に応じて変化する隠れ層の値について上記と同様な制約を加えてもよい。
【0069】
また、運動モデル１８ついては、ニューラルネットワークのみから形成するのに代えて、ＤＷＮＡ（Discrete White Noise Acceleration）モデルのような運動モデルを含めて構成するようにしてもよい。
【0070】
本実施形態の自己符号化器型複数物体追跡装置及び方法は以下の効果を奏する。
【0071】
本実施形態の自己符号化器型複数物体追跡装置及び方法では、離散変数であるアサインメント行列が連続緩和されているため、アサインメントエンコーダ３０のＭＬＰにも勾配が通過し、アサインメントエンコーダ３０のＭＬＰと運動エンコーダ３４のＲＮＮ及び運動デコーダ３６のＭＬＰとについて一括して学習を行うことが可能である。そして、アサインメントモデル１６及び運動モデル１８を定義することなく、観測値から適切なアサインメントエンコーダ３０のＭＬＰ並びに運動エンコーダ３４のＲＮＮ及び運動デコーダ３６のＭＬＰを獲得することができ、物体が複雑な運動を行う場合や複数物体が複雑な交差を行う場合であっても、複数物体についての追跡を正確に行うことが可能となっている。また、自己符号化器型ニューラルネットワークにより教師無し学習が可能となっているため、人手によるアサインメントという高スキルかつ高コストを要する作業が不要となっている。
【0072】
さらに、アサインメントエンコーダ３０により生成されたアサインメント行列Ａｔにより観測値ｙｔを並べ替えて運動モデル１８に入力しているため、運動モデル１８のＭＬＰ及びＲＮＮについての学習を単純化することが可能となっている。また、アサインメントエンコーダ３０のＭＬＰ並びに運動エンコーダ３４のＲＮＮ及び運動デコーダ３６のＭＬＰの学習の途中においては、推定されるトラッカ運動状態は真の複数のトラッカ運動状態を線形結合したものとなり、真の複数のトラッカの中間を通過するトラッカを推定することになるため、アサインメントエンコーダ３０のＭＬＰ並びに運動エンコーダ３４のＲＮＮ及び運動デコーダ３６のＭＬＰについては合理的な挙動を示すこととなる。
【0073】
加えて、アサインメント行列Ａｔについては置換行列となるべきであり、置換行列は二重確率行列であるところ、アサインメント行列Ａｔの生成において二重確率行列への誘導処理を行っているため、アサインメントエンコーダ３０のＭＬＰの学習を簡易化することが可能となっている。また、置換行列は直交行列でもあるところ、アサインメント行列Ａｔが直交行列から遠ざかるのに応じて損失が増大する損失関数を回帰誤差関数に追加して、直交性を誘導して学習を行っているため、アサインメントエンコーダ３０のＭＬＰの学習を高速に行うことが可能となっている。さらに、アサインメント行列Ａｔが離散変数に近づくとアサインメント性能が向上するが、離散変数に近づきすぎると勾配が発生しにくくなってアサインメントエンコーダ３０のＭＬＰの学習が困難となるところ、アサインメント行列Ａｔが離散変数に一定程度以上近づくのに応じて損失が増大する損失関数を回帰誤差関数に追加して学習を行っているため、アサイメント性能の向上と学習の安定化を実現することが可能となっている。
【0074】
【0075】
本実施形態では、第１実施形態と異なり、時刻ｔにおける観測値ｙｔの観測数が可変となっており、観測点の欠落及びクラッタの存在に対応している。以下では、第１実施形態と同様な構成については説明を省略する。
【0076】
図６を参照し、アサインメント行列Ａｔについて説明する。
【0077】
図６（ａ）に示されるように、観測点の欠落に対応するために、観測値ｙｔを観測方向に拡張し、第０行を導入して、第０行要素を０とする。そして、アサインメント行列Ａｔについて行方向に拡張し、観測点の欠落を示す第０列を導入する。即ち、第ｉ行第０列要素については、ｉ番目のトラッカに対応する観測点が欠落している場合には１となり、欠落していない場合には０となる。そして、第ｉ行第０列要素が１となる場合には、第ｉ行において第１列以降の要素は全て０となる。このため、ｉ番目のトラッカに対応する観測点が欠落しており、アサインメント行列Ａｔの第ｉ行の第０列の要素が１、第１列以降の要素が０となっている場合には、アサインメント行列Ａｔと観測値ｙｔとの内積をとり、アサインメント行列Ａｔにより観測値ｙｔを並べ替えた場合には、並替観測値ｙ’ｔにおいて、ｉ番目のトラッカに対応する第ｉ行要素については０となる。
【0078】
図６（ｂ）に示されるように、クラッタの存在に対応するために、観測値ｙｔを観測方向に拡張し、第０行を導入して、第０行要素を０とする。そして、アサインメント行列Ａｔについて列方向に拡張し、クラッタの存在を示す第０行を導入する。即ち、第０行第ｊ列要素については、観測値ｙｔの第ｊ行要素がクラッタに対応する場合には１となり、クラッタに対応しない場合には０となる。そして、第０行第ｊ列要素が１となる場合には、第ｊ列において第１行以降の要素は全て０となる。このため、アサインメント行列Ａｔと観測値ｙｔとの内積をとり、アサインメント行列Ａｔにより観測値ｙｔを並べ替えた場合には、並替観測値ｙ’ｔにおいて、第０行については、クラッタに対応する観測値の総和となり、第１行以降にはクラッタに対応する観測値は反映されない。
【0079】
なお、アサインメント行列Ａｔについて行方向及び列方向に拡張する場合には、第０行第０列要素を０とする。
【0080】
図７を参照して、アサインメントエンコーダ３０について説明する。
【0081】
図７に示されるように、アサインメントエンコーダ３０については、双方向ＲＮＮにより形成され、第１実施形態と同様に、各時刻ｔにおいて、時刻ｔにおける観測値ｙｔと、１時刻前の時刻ｔ－１におけるカルマン状態ｘｔ－１（１時刻前の時刻ｔ－１における現時刻ｔ－１についての予測値ｙ~ｔ－１
（０））とに基づき、時刻ｔにおけるアサインメント行列Ａｔを生成する。具体的には、カルマン状態ｘｔ－１に観測値ｙｔの各要素を夫々連結し、連結した各ベクトルを夫々双方向ＲＮＮに入力し、双方向ＲＮＮから出力された両ベクトルを加算又は連結により夫々合成し、合成された各ベクトルを連結することで、アサインメント行列Ａｔを生成する。
【0082】
本実施形態では、図７に示されるとおり、観測値ｙｔについては、第６、１、４、７行要素が第１、３、４、５番目のトラッカに対応し、２番目のトラッカに対応する観測点が欠落し、第２、３、５、８行要素がクラッタに対応する場合を想定している。このため、アサインメント行列Ａｔについては、観測点の欠落に対応する第０列については、第２行要素が１となり、第２行の第１列目以降の要素が０となる。クラッタの存在に対応する第０行については、第２、３、５、８列要素が１となり、第２、３、５、８列の第１行以降の要素が０となる。当該行及び列以外のトラッカと観測値ｙｔとの対応を示す部分については、第１行第６列、第３行第１列、第４行第４列、第５行第７列要素が１となり、その他の要素は０となる。
【0083】
アサインメントエンコーダ３０については、双方向ＲＮＮに代わって、ＬＳＴＭ、Transformer等の観測方向に可変長の観測点群に対応可能なその他のニューラルネットワークを用いて形成してもよい。
【0084】
また、アサインメント行列Ａｔについては、置換行列を拡張したものであり、アサインメント行列Ａｔと自身の転置行列との内積をとると、第０行及び第０列を除いた右下部分については単位行列となる。このため、第１実施形態と同様に、アサインメント行列Ａｔと自身の転置行列との内積の当該右下部分から単位行列を引いたものの二乗和損失を損失関数として、線形結合等で回帰誤差関数に追加して、直交性を誘導して学習を行うことが可能である。
【0085】
図８を参照し、並替処理部３２について説明する。
【0086】
図８に示されるように、並替処理部３２では、第１実施形態と同様に、各時刻ｔにおいて、アサインメント行列Ａｔと観測値ｙｔとの内積をとることにより、アサインメント行列Ａｔによって観測値ｙｔを並べ替えて、並替観測値ｙ’ｔを生成する。ここで、並替観測値ｙ’ｔにおいて、観測点が欠落しているトラッカに対応する行要素は０となる。また、並替観測値ｙ’ｔにおいて、第０行要素については、クラッタに対応することとなる。このため、並替観測値ｙ’ｔの第０行要素については、無意味な値となるため、削除ないし０でマスクする等の処理を行ってもよい。
【0087】
本実施形態では、図８に示されるとおり、並替観測値ｙ’ｔにおいて、第１、３、４、５行要素については、観測値ｙｔの１、３、４、５番目のトラッカに対応する第６、１、４、７行要素となる。第２行要素については、２番目のトラッカに対応する観測点の欠落に応じて０となる。第０行要素については、観測値ｙｔのクラッタに対応する第２、３、５、８行要素の総和となる。
【0088】
図９を参照して、補完処理部５０について説明する。
【0089】
図９に示されるように、補完処理部５０では、トラッカ活動状態ｓｔに基づき、並替観測値ｙ’ｔから、並替観測値ｙ’ｔの休眠状態のトラッカに対応する要素を削除し、さらに、並替観測値ｙ’ｔの当該要素として、１時刻前の時刻ｔ－１におけるカルマン状態ｘｔ－１の休眠状態のトラッカに対応する要素を補完して、補完観測値ｙ’’ｔを生成する。
【0090】
即ち、トラッカ活動状態ｓｔについては、トラッカ数を行数とするベクトルであり、ｉ番目のトラッカが活動状態にある場合には第ｉ行要素が１となり、休眠状態にある場合には０となる。このため、トラッカ活動状態ｓｔの転置ベクトルと並替観測値ｙｔとの内積をとることで、並替観測値ｙ’ｔから休眠状態のトラッカに対応する要素が削除される。
【0091】
本実施形態では、トラッカ活動状態ｓｔについて、トラッカに対応する観測点が欠落している場合に、そのトラッカが休眠状態にあるとみなす。アサインメント行列Ａｔの第０列については観測点の欠落を示しており、第ｉ行第０列要素については、ｉ番目のトラッカに対応する観測点が欠落している場合には１となり、欠落していない場合には０となるため、１ベクトルからアサインメント行列Ａｔの第０列を引くことでトラッカ活動状態ｓｔが生成される。
【0092】
このように、本実施形態では、アサインメントエンコーダ３０については、トラッカの活動及び休眠状態を示すトラッカ活動状態Ｓを生成するトラッカ活動モデルとしてのトラッカ活動エンコーダを兼ねている。代わって、トラッカ活動モデルとして、微分可能な関数により形成されトラッカ活動状態を生成するトラッカ活動エンコーダを用いてもよく、トラッカ活動エンコーダでは、アサインメント行列Ａｔの第０列からトラッカ活動状態Ｓを生成するようにしてもよい。
【0093】
なお、本実施形態では、上記並替処理部３２の説明で述べたように、アサインメント行列Ａｔによって観測値ｙｔを並べ替えた並替観測値ｙ’ｔにおいて、休眠状態のトラッカに対応する要素は既に０となっていることが期待される。
【0094】
さらに、１ベクトルからトラッカ活動状態ｓｔを引いたトラッカ休眠状態の転置ベクトルと、カルマン状態ｘｔ－１との内積を加算することで、並替観測値ｙ’ｔの休眠状態のトラッカに対応する要素として、１時刻前の時刻ｔ－１におけるカルマン状態ｘｔ－１の休眠状態のトラッカに対応する要素が補完される。
【0095】
本実施形態では、図９に示されるとおり、アサインメント行列Ａｔにおいて、観測点の欠落に対応する第０列については第２行要素が１となり、トラッカ活動状態ｓｔについては第２行要素が休眠状態０となり、それ以外の要素は活動状態１となる。並替観測値ｙ’ｔの第２行要素については、２番目のトラッカに対応する観測点の欠落に応じて既に０となっている。補完観測値ｙ’’ｔでは、第２行要素として、前時刻ｔ－１のカルマン状態ｘｔの第２行要素が補完されている。
【0096】
図１０を参照して、運動モデル１８をなす運動エンコーダ３４について説明する。
運動エンコーダ３４については、ＲＮＮにより形成されており、各時刻ｔにおいて、補完観測値ｙ’’ｔと、前時刻ｔ－１におけるＲＮＮ隠れ層のベクトルｈｔ－１とに基づき、カルマン状態ｘｔを生成する。カルマン状態ｘｔの第０行要素についてはクラッタの運動状態を示している。
運動エンコーダ３４については、ＲＮＮにより形成されており、各時刻ｔにおいて、補完観測値ｙ’’ｔと、前時刻ｔ－１におけるＲＮＮ隠れ層のベクトルｈｔ－１とに基づき、カルマン状態ｘｔを生成する。カルマン状態ｘｔの第０行要素についてはクラッタの運動状態を示している。
【0097】
図１１を参照して、運動モデル１８をなす運動デコーダ３６について説明する。
運動デコーダ３６については、ＭＬＰにより形成されており、第１実施形態と同様に、カルマン状態ｘｔに基づき，時刻ｔからｋ時刻先の時刻ｔ＋ｋまでについての予測値ｙ~ｔ （ｔｐ）（ｔｐ＝０，…，ｋ）を生成する。予測値ｙ~ｔ （ｔｐ）（ｔｐ＝０，…，ｋ）の第０行要素についてはクラッタの予測値を示している。
運動デコーダ３６については、ＭＬＰにより形成されており、第１実施形態と同様に、カルマン状態ｘｔに基づき，時刻ｔからｋ時刻先の時刻ｔ＋ｋまでについての予測値ｙ~ｔ （ｔｐ）（ｔｐ＝０，…，ｋ）を生成する。予測値ｙ~ｔ （ｔｐ）（ｔｐ＝０，…，ｋ）の第０行要素についてはクラッタの予測値を示している。
【0098】
図１２を参照して、再並替処理部３８について説明する。
再並替処理部３８では、第１実施形態と同様に、全てのｔｐ（＝０，…，ｋ）について、アサインメント行列Ａｔ＋ｔｐの転置行列と予測値ｙ~ｔ （ｔｐ）との内積をとり、アサインメント行列Ａｔ＋ｔｐの転置行列によって予測値ｙ~ｔ （ｔｐ）を並べ替えて、観測値ｙｔの再構成値ｙ＾ｔ （ｔｐ）を生成する。図１２についてはｔｐ＝０の場合について図示したものであり、本実施形態では、再構成値ｙ＾ｔ （０）の第６、１、４、７行要素については、１、３、４、５番目のトラッカに対応する予測値となっている。第０行要素については、観測点が欠落していた２番目のトラッカに対応する予測値となっており、第２、３、５、８行要素については、クラッタの予測値となっている。
再並替処理部３８では、第１実施形態と同様に、全てのｔｐ（＝０，…，ｋ）について、アサインメント行列Ａｔ＋ｔｐの転置行列と予測値ｙ~ｔ （ｔｐ）との内積をとり、アサインメント行列Ａｔ＋ｔｐの転置行列によって予測値ｙ~ｔ （ｔｐ）を並べ替えて、観測値ｙｔの再構成値ｙ＾ｔ （ｔｐ）を生成する。図１２についてはｔｐ＝０の場合について図示したものであり、本実施形態では、再構成値ｙ＾ｔ （０）の第６、１、４、７行要素については、１、３、４、５番目のトラッカに対応する予測値となっている。第０行要素については、観測点が欠落していた２番目のトラッカに対応する予測値となっており、第２、３、５、８行要素については、クラッタの予測値となっている。
【0099】
本実施形態の自己符号化器型複数物体追跡装置及び方法は以下の効果を奏する。
【0100】
本実施形態の自己符号化器型複数物体追跡装置及び方法では、アサインメントエンコーダ３０を用いて、複数のトラッカの活動及び休眠状態を示すトラッカ活動状態Ｓを生成するようにしているため、観測点群が観測方向に可変長であり、観測点が欠落する場合であっても、複数物体についての追跡を正確に行うことが可能となっている。
【0101】
さらに、観測値ｙｔについて観測方向に拡張して第０行を導入し、アサインメント行列Ａｔについて第０行及び第０列を拡張して、観測点の欠落を示す第０列及びクラッタの存在を示す第０行を導入しているため、観測点群が観測方向に可変長であり、観測点が欠落し又はクラッタが存在する場合であっても、複数物体についての追跡を正確に行うことが可能となっている。
【0102】
本実施形態の変形例として、アサインメントエンコーダ３０について、観測方向に可変長の観測点群に対応可能なニューラルネットワークを用いるのに代えて、最大観測数を設定し、実際の観測数が最大観測数以下である場合には不足する個数の観測値を適宜パティングするようにしてもよい。この場合には、アサインメントエンコーダ３０への入力側では、実際の観測数を入力するようにし、出力側では、パティングに対応する領域を０でマスクするマスク処理を行ってもよい。
【0103】
観測点の欠落に対応して、カルマン状態ｘｔについて、トラッカ数方向に拡張して第０行を導入するようにしてもよく、再構成値ｙ＾ｔの生成において第０行に発生する無意味な値について、削除又は０でマスクする処理を行ってもよい。
【0104】
クラッタの存在に対応して、クラッタ運動モデルとして、微分可能な関数により形成されクラッタ運動状態を生成するクラッタエンコーダを用いるようにしてもよく、クラッタエンコーダについても、クラッタについての損失を回帰誤差関数に追加する等して、一括して学習を行うようにしてもよい。
【0105】
クラッタの観測値については、トラッカに由来する観測値に対して広い分散を有する。これに対応するために、回帰誤差関数については、本来の定式化どおり観測値Ｙを確率変数とみなし、広義の回帰誤差関数としての正規分布等での尤度情報量に拡張してもよい。本変形例では、従来の予測値Ｙ~については平均値と解釈し、さらに分散σ~２を出力する分岐ネットワークを追加する。そして、平均値Ｙ~及び分散σ~２に同様に再並替処理を行って再構成値Ｙ＾及びσ＾２を得て、回帰誤差算出においては、ｎ番目の要素について、二乗和損失を次の式（２）で示される正規分布情報量から導出される項を含む形に差し替える。
【数2】
【0106】
以下、本発明の第３実施形態について説明する。
本実施形態については、第２実施形態と同様に、観測点の欠落を示す第０列及びクラッタの存在を示す第０行を拡張したアサインメント行列Ａｔを用い、アサインメントエンコーダ３０において、一対一制約を満たすアサインメント行列Ａｔを生成するようにしたものである。
本実施形態については、第２実施形態と同様に、観測点の欠落を示す第０列及びクラッタの存在を示す第０行を拡張したアサインメント行列Ａｔを用い、アサインメントエンコーダ３０において、一対一制約を満たすアサインメント行列Ａｔを生成するようにしたものである。
【0107】
アサインメント行列Ａｔについては、観測点の欠落及びクラッタの存在には複数個数が許容されるものの、その他の観測点とトラッカとは一対一に対応するという一対一制約が存在する。
【0108】
ここで、上述したとおり、アサインメント行列Ａｔでは、観測点の欠落を示す第０列において、第ｉ行第０列要素については、ｉ番目のトラッカに対応する観測点が欠落している場合には１となって、第ｉ行において第１列以降の要素は全て０となり、一方で観測点が欠落していない場合には０となる。また、クラッタの存在を示す第０行において、第０行第ｊ列要素については、観測値ｙｔの第ｊ行要素がクラッタに対応する場合には１となって、第ｊ列において第１行以降の要素は全て０となり、一方でクラッタに対応しない場合には０となる。そして、第０行及び第０列を除く第ｉ行第ｊ列要素についてはｉ番目のトラッカとｊ番目の観測値ｙｔｊとの対応関係を示し、ｉ番目のトラッカとｊ番目の観測値ｙｔｊとが対応付けられる場合には１、対応付けられない場合には０となる。
【0109】
このため、アサインメント行列Ａｔが一対一制約を満たすとは、第０行を除く各行ベクトルについて行内の各要素の総和が１となり、かつ、第０列を除く各列について列内の各要素の総和が１となることである。
【0110】
本実施形態では、一対一制約を満たすアサインメント行列Ａｔを生成するために、クラッタ又は欠落した観測点を自動決定する処理を行う。
【0111】
クラッタを自動決定する処理を行う場合には、まず、クラッタの存在を示す拡張された第０行を除く各行に、ソフトマックス関数を掛ける処理を行うことにより、第０行を除く各行について行内の各要素の総和を１とする。
【0112】
続いて、クラッタを自動決定する処理を行う。即ち、いずれのトラッカにも対応付けられなかった観測値ｙｔの第ｋ行要素を選択してクラッタに対応付ける。ここで、観測値ｙｔの第ｋ行要素がいずれのトラッカにも対応付けられなかったとは、アサインメント行列Ａｔの第ｋ列において第１行以降の最大値が０となったということであり、観測値ｙｔの第ｋ行要素をクラッタに対応付けるとは、アサインメント行列Ａｔの第ｋ列の第０行要素を１とすることである。一方、観測値ｙｔの第ｋ行要素がいずれかのトラッカに対応付けられたとは、アサインメント行列Ａｔの第ｋ列において第１行以降の最大値が１となったということであり、観測値ｙｔの第ｋ行要素をトラッカに対応付けるとは、アサインメント行列Ａｔの第ｋ列の第０行要素を０とすることである。このため、クラッタの対応付け処理については、アサインメント行列Ａｔの各列について、第１行以降の列ベクトルの各要素の最大値を１から減算した値を第０行要素の値とすることと等価である。さらに、列ベクトルの各要素の最大値関数については、列ベクトルのＬｐノルムにおいてｐ値を無限大としたものと等価である。このｐ値を有限値とすることで、クラッタの対応付け処理を微分可能な形式として、ニューラルネットワーク等に組み込むことが可能となる。
【0113】
以上述べたところにより、式（３）に示されるように、アサインメント行列Ａｔの各列について、第１行以降の列ベクトルのＬｐノルムを１から減算した算出値を第０行要素の値とする処理を行う。但し、Ｌｐノルムが１以上となり、算出値が負値となることがあるため、算出値に、ＲｅＬＵ関数等の負領域で０値を出力し、正領域で入力値をそのまま出力する関数を掛けたうえで、第０行要素の値とする。
【数3】
【0114】
欠落した観測点を自動決定する処理についても、クラッタの自動決定の処理と同様に実行することが可能である。即ち、観測点の欠落を示す拡張された第０列を除く各列に、ソフトマックス関数を掛ける処理を行うことにより、第０列を除く各列について列内の各要素の総和を１とする。そして、欠落した観測点の自動決定処理として、アサインメント行列Ａｔの各行について、第１列以降の行ベクトルのＬｐノルムを１から減算した算出値を第０列要素の値とする処理を行う。
【0115】
本実施形態の自己符号化器型複数物体追跡装置及び方法は以下の効果を奏する。
アサインメント行列については、観測点の欠落又はクラッタの存在には複数個数が許容されるものの、その他の観測点とトラッカとは一対一に対応するという一対一制約が存在する。本実施形態では、クラッタの存在を示す拡張された第０行を除く各行に、ソフトマックス関数を掛ける処理を行うことにより、第０行を除く各行について行内の各要素の総和を１とした後、クラッタの自動決定処理として、アサインメント行列Ａｔの各列について、第１行以降の列ベクトルのＬｐノルムを１から減算した算出値を第０行要素の値とする処理等を行っている。このため、一対一制約を満たすアサインメント行列を生成することが可能となっている。
アサインメント行列については、観測点の欠落又はクラッタの存在には複数個数が許容されるものの、その他の観測点とトラッカとは一対一に対応するという一対一制約が存在する。本実施形態では、クラッタの存在を示す拡張された第０行を除く各行に、ソフトマックス関数を掛ける処理を行うことにより、第０行を除く各行について行内の各要素の総和を１とした後、クラッタの自動決定処理として、アサインメント行列Ａｔの各列について、第１行以降の列ベクトルのＬｐノルムを１から減算した算出値を第０行要素の値とする処理等を行っている。このため、一対一制約を満たすアサインメント行列を生成することが可能となっている。
【0116】
以下、本発明の第３実施形態の変形例について説明する。
本変形例では、一対一制約を満たすアサインメント行列Ａｔを生成するために、次の（ｉ）の処理と（ｉｉ）の処理とを繰り返し実行する。即ち、（ｉ）アサインメント行列Ａｔにおいて、式（４）に示されるように、クラッタの存在を示す拡張された第０行を除いた各行について、行内の各要素を当該各要素の総和で除算する処理を実行し、当該各要素の総和を１とする。
（ｉｉ）アサインメント行列Ａｔにおいて、式（５）に示されるように、観測点の欠落を示す拡張された第０列を除いた各列について、列内の各要素を当該各要素の総和で除算する処理を実行し、当該各要素の総和を１とする。
上記（ｉ）の処理と（ｉｉ）の処理とを繰り返し実行することにより、アサインメント行列Ａｔが収束し、収束解が得られることが経験的に判明している。
本変形例では、一対一制約を満たすアサインメント行列Ａｔを生成するために、次の（ｉ）の処理と（ｉｉ）の処理とを繰り返し実行する。即ち、（ｉ）アサインメント行列Ａｔにおいて、式（４）に示されるように、クラッタの存在を示す拡張された第０行を除いた各行について、行内の各要素を当該各要素の総和で除算する処理を実行し、当該各要素の総和を１とする。
【数4】
【数5】
【0117】
以下、本発明の第４実施形態について説明する。
本実施態様の自己符号化器型複数物体追跡装置及び方法については、半教師有り学習を行うものである。即ち、正解アサインメント行列Ａｔを備える観測値については、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾ ｔとの損失関数を回帰誤差関数に追加して学習を行う。
本実施態様の自己符号化器型複数物体追跡装置及び方法については、半教師有り学習を行うものである。即ち、正解アサインメント行列Ａｔを備える観測値については、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾ ｔとの損失関数を回帰誤差関数に追加して学習を行う。
【0118】
本実施形態では、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾
ｔとの損失関数を次のように設定する。
【0119】
所定の観測点系列を追跡するトラッカについて、全てのトラッカの内で何番目のトラッカに順番付けるかには、不定性が存在する。当該トラッカの順番付けの不定性については、全トラッカの並替えの総数と同一となる。
【0120】
正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾
ｔとではトラッカの順番付けは必ずしも一致しておらず、学習においては、両行列の内の一方の行列と、他方の行列において行ベクトルを並べ替えて一方の行列とトラッカの順番付けを同一とした並替行列と、が一致するように学習を行うのが適切である。換言すれば、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾
ｔとの損失関数としては、両行列の内の一方の行列と、他方の行列において行ベクトルを並べ替えて一方の行列とトラッカの順番付けを同一とした並替行列と、の損失関数を用いるのが適切であるということになる。ここで、他方の行列においてその行ベクトルを並べ替えた全通りの並替行列の内、一方の行列とトラッカの順番付けを同一とした並替行列が最も一方の行列に近似しており、一方の行列との損失関数も最小となる。このため、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾
ｔとの損失関数としては、両行列の内の一方の行列と、他方の行列においてその行ベクトルを並べ替えた全通りの並替行列と、の全損失関数の内、最小の損失関数を全体の損失関数として用いる。
【0121】
本実施形態では、式（６）で示されるように、正解アサインメント行列Ａｔと、出力アサインメント行列Ａ＾
ｔにおいて、並替演算行列Ｒ（ＲはＳｋ（全並替演算行列）に属する。）により、クラッタの存在を示す拡張された第０行を除く各行を並べ替えた全通りの並替行列と、の全二乗和損失関数の内、最小の二乗和損失関数を全体の損失関数とする。ここで、Ｒ＋については、並替演算行列Ｒを第０行及び第０列に拡張したものであり、第０行及び第０列の各要素は０である。なお、二乗和損失関数に代えて、各行又は各列毎の交差エントロピー損失関数の総和等を用いてもよい。
【数6】
【0122】
本実施形態の自己符号化器型複数物体追跡装置及び方法は以下の効果を奏する。
所定の観測点系列を追跡するトラッカについて、全てのトラッカの内で何番目のトラッカに順番付けるかには不定性が存在し、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾ ｔとではトラッカの順番付けは必ずしも一致しない。本実施形態では、正解アサインメント行列Ａｔと、出力アサインメント行列Ａ＾ ｔにおいてクラッタの存在を示す拡張された第０行を除いた各行を並べ替えた全通りの並替行列と、の全損失関数の内、最小の損失関数を全体の損失関数としている。このため、適切な半教師有り学習を行うことが可能となっている。
所定の観測点系列を追跡するトラッカについて、全てのトラッカの内で何番目のトラッカに順番付けるかには不定性が存在し、正解アサインメント行列Ａｔと出力アサインメント行列Ａ＾ ｔとではトラッカの順番付けは必ずしも一致しない。本実施形態では、正解アサインメント行列Ａｔと、出力アサインメント行列Ａ＾ ｔにおいてクラッタの存在を示す拡張された第０行を除いた各行を並べ替えた全通りの並替行列と、の全損失関数の内、最小の損失関数を全体の損失関数としている。このため、適切な半教師有り学習を行うことが可能となっている。
【0123】
以上説明した学習済みの自己符号化器型複数物体追跡装置については、アサインメント自動付与装置として、また、人手を誤り訂正のみに限定したアサインメント付与支援装置として用いることができ、アサインメントコストの低減が可能となっている。
【0124】
以上の各実施形態では、自己符号化器型複数物体追跡装置及び方法について述べたが、コンピュータに当該装置の各機能を実現させるプログラム、又は、コンピュータに当該方法の各ステップを実行させるプログラムについても、本発明の範囲に含まれる。
【符号の説明】
【0125】
１０…モデル部
１２…学習部
１６…アサインメントモデル
１８…運動モデル
３０…アサインメントエンコーダ
３２…並替処理部
３４…運動エンコーダ
３６…運動デコーダ
３８…再並替処理部
４０…回帰誤差算出部
５０…補完処理部
１２…学習部
１６…アサインメントモデル
１８…運動モデル
３０…アサインメントエンコーダ
３２…並替処理部
３４…運動エンコーダ
３６…運動デコーダ
３８…再並替処理部
４０…回帰誤差算出部
５０…補完処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】