知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-19
(54)【発明の名称】行動位置特定装置、制御方法およびプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20241212BHJP
【ＦＩ】
G06T7/20 300Z
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024539387
(86)(22)【出願日】2022-01-06
(85)【翻訳文提出日】2024-06-27
(86)【国際出願番号】 JP2022000280
(87)【国際公開番号】W WO2023132040
(87)【国際公開日】2023-07-13
(81)【指定国・地域】
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ステファン カレン
(72)【発明者】
【氏名】劉 健全
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096BA18
5L096CA04
5L096DA01
5L096DA02
5L096EA13
5L096EA14
5L096EA35
5L096FA02
5L096FA64
5L096FA67
5L096FA69
5L096GA51
5L096GA59
5L096HA11
5L096JA11
5L096JA16
5L096JA22
5L096KA04
(57)【要約】
行動位置特定装置（２０００）は、対象クリップ（１０）を取得し、人物（４０）を対象クリップ（１０）から検出する。行動位置特定装置（２０００）は、対象クリップ（１０）から検出された人物（４０）ごとに、人物クリップ（６０）を対象クリップ（１０）から生成し、特徴マップを人物クリップ（６０）の各々から抽出する。行動位置特定装置（２０００）は、人物クリップ（６０）から抽出した特徴マップに基づいて、予め定義された行動クラスごとに、行動スコアを計算して、対象クリップ（１０）に含まれるその行動クラスの行動の信頼度を示す行動スコアを計算し、人物クリップ（６０）の各々に対してクラス活性化マッピングを行うことによって、行動クラスが閾値以上の行動スコアを有する各行動を位置特定する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
行動位置特定装置であって、命令を記憶するように構成された少なくとも１つのメモリと、
前記命令を実行して、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得し、
１人以上の人物を前記対象クリップから検出し、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成し、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出し、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算し、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定する、
ように構成される少なくとも１つのプロセッサと、を有する行動位置特定装置。
【請求項2】
前記行動の位置特定は、前記人物クリップごとに、前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、請求項１に記載の行動位置特定装置。
【請求項3】
前記行動スコアの計算は、前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、請求項１または２に記載の行動位置特定装置。
【請求項4】
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、請求項３に記載の行動位置特定装置。
【請求項5】
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、請求項３または４に記載の行動位置特定装置。
【請求項6】
少なくとも１つのプロセッサは、前記命令をさらに実行して、対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成し、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成し、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定する、ように構成され、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、請求項１から５のいずれか一項に記載の行動位置特定装置。
【請求項7】
コンピュータによって行われる制御方法であって、１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、
１人以上の人物を前記対象クリップから検出するステップと、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を含み、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出するステップと、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を含み、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを含む、制御方法。
【請求項8】
前記行動の位置特定は、前記人物クリップごとに、前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、請求項７に記載の制御方法。
【請求項9】
前記行動スコアの計算は、前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、請求項７または８に記載の制御方法。
【請求項10】
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、請求項９に記載の制御方法。
【請求項11】
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、請求項９または１０に記載の制御方法。
【請求項12】
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成するステップと、対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するステップと、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定するステップと、をさらに含み、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、請求項７から１１のいずれか一項に記載の制御方法。
【請求項13】
プログラムが格納されている非一時的コンピュータ可読記憶媒体であって、前記プログラムはコンピュータに、１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、
１人以上の人物を前記対象クリップから検出するステップと、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を実行させ、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出するステップと、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を実行させ、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを実行させる、非一時的コンピュータ可読記憶媒体。
【請求項14】
前記行動の位置特定は、前記人物クリップごとに、前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、請求項１３に記載の記憶媒体。
【請求項15】
前記行動スコアの計算は、前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、請求項１３または１４に記載の記憶媒体。
【請求項16】
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、請求項１５に記載の記憶媒体。
【請求項17】
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、請求項１５または１６に記載の記憶媒体。
【請求項18】
前記プログラムが、前記コンピュータに、対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成するステップと、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するステップと、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定するステップと、をさらに実行させ、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、請求項１３から１７のいずれか一項に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ビデオに撮像された行動の位置特定に関する。
【背景技術】
【0002】
行動位置特定は、画像に撮像された行動を位置特定する、すなわち、画像のどの位置でどの行動がとられるかを決定するプロセスである。特許文献１は、小売業界における損失防止のために、ニューラルネットワークを使用してビデオ内の行動を検出するシステムを開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許公開第２０２１／０２４８３７７号明細書
【非特許文献】
【0004】
【非特許文献1】Junnan Li、Jianquan Liu、Yongkang Wong、Shoji Nishimura、Mohan Kankanhalli、「Weakly-Supervised Multi-Person Action Recognition in 360° Videos」、[online]、２０２０年２月９日、[２０２１年１１月１０日検索]、<arXiv,https://arxiv.org/pdf/2002.03266.pdf>から検索
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の目的は、ビデオに撮像された行動を位置特定するための新規な技術を提供することである。
【課題を解決するための手段】
【0006】
本開示は、命令を記憶するように構成された少なくとも１つのメモリと、少なくとも１つのプロセッサとを有する行動位置特定装置を提供する。前記プロセッサは、前記命令を実行して、１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得し、１人以上の人物を前記対象クリップから検出し、前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成し、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、特徴マップを各前記人物クリップから抽出し、前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算し、前記行動クラスは行動の種類であり、各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定する、ように構成される。
【0007】
本開示は、さらに、コンピュータによって実行される制御方法を提供する。当該制御方法は、１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、１人以上の人物を前記対象クリップから検出するステップと、前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を含み、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、特徴マップを各前記人物クリップから抽出するステップと、前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を含み、前記行動クラスは行動の種類であり、各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを含む。
【0008】
本開示は、さらに、プログラムが格納されている非一時的コンピュータ可読記憶媒体を提供する。前記プログラムはコンピュータに、１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、１人以上の人物を前記対象クリップから検出するステップと、前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を実行させ、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、特徴マップを各前記人物クリップから抽出するステップと、前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を実行させ、前記行動クラスは行動の種類であり、各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを実行させる。
【発明の効果】
【0009】
本開示によれば、ビデオに撮像された行動を位置特定するための新規な技術が提供される。
【図面の簡単な説明】
【0010】
【図1】実施形態１の行動位置特定装置の概要を示す図である。
【図2】人物クリップの例を示す図である。
【図3】行動位置特定装置の機能構成の一例を示すブロック図である。
【図4】行動位置特定装置のハードウェア構成の一例を示すブロック図である。
【図5】行動位置特定装置によって行われる処理の例示的なフローを示すフローチャートである。
【図6】特徴マップが、対象人物およびその周辺の領域の時空間的特徴を表す場合を示す図である。
【図7】特徴マップに基づいて行動スコアを計算する方法の一例を示す図である。
【図8】クラス活性化マップの一例を示す図である。
【図9】位置特定部によって行われる処理の例示的なフローを示すフローチャートである。
【図10】対象クリップが行動位置特定の結果を示すように変更される第１の例を示す図である。
【図11】対象クリップが行動位置特定の結果を示すように変更される第２の例を示す図である。
【図12】実施形態２の行動位置特定装置の概要を示す図である。
【図13】実施形態２の行動位置特定装置の機能構成の一例を示すブロック図である。
【図14】実施形態２の行動位置特定装置によって行われる処理のフローを示すフローチャートである。
【発明を実施するための形態】
【0011】
本開示による実施の形態について、図面を参照して以下に説明する。図面全体を通して同じ要素には同じ符号が割り当てられており、冗長な説明は必要に応じて省略される。また、所定の情報（例えば、所定の値または所定の閾値）は、特に断らない限り、その情報を使用するコンピュータがアクセス可能な記憶装置に予め記憶されている。
【0012】
実施形態１
＜概要＞
図１は、実施形態１の行動位置特定装置２０００の概要を示す。なお、図１に示す概要は、行動位置特定装置２０００を理解しやすくするために、行動位置特定装置２０００の動作の一例を示したものであり、行動位置特定装置２０００が取り得る動作の範囲を限定したり、狭めたりするものではない。
＜概要＞
図１は、実施形態１の行動位置特定装置２０００の概要を示す。なお、図１に示す概要は、行動位置特定装置２０００を理解しやすくするために、行動位置特定装置２０００の動作の一例を示したものであり、行動位置特定装置２０００が取り得る動作の範囲を限定したり、狭めたりするものではない。
【0013】
行動位置特定装置２０００は、ビデオ２０の一部であり、ビデオフレーム２２のシーケンスで形成される対象クリップ１０を扱う。対象クリップ１０内の各ビデオフレーム２２は、「対象画像１２」と呼ばれる。ビデオ２０は、魚眼カメラ３０によって生成されたビデオフレーム２２のシーケンスである。
【0014】
魚眼カメラ３０は魚眼レンズを含み、対象場所を上方からの視点で撮像するトップビュー型カメラとして設置される。したがって、各ビデオフレーム２２（および各対象画像１２）は、対象場所が上方からの視点で撮像された魚眼トップビュー画像である。
【0015】
対象場所は、任意の場所でありうる。例えば、魚眼カメラ３０が監視カメラとして使用される場合、対象場所は、施設またはその周辺などの監視対象となる場所である。監視対象となる施設は、駅やスタジアムなどであってもよい。
【0016】
なお、魚眼カメラ３０の視野は、水平方向に３６０度に実質的に近いことが好ましい場合がある。しかし、魚眼カメラ３０の視野は、水平方向に正確に３６０度である必要はない。また、魚眼カメラ３０は、その魚眼レンズの光軸が垂直方向と略平行となるように設置されてもよい。しかし、魚眼カメラの魚眼レンズの光軸は垂直軸線と正確に平行である必要はない。
【0017】
行動位置特定装置２０００は、対象クリップ１０から１人以上の人物４０を検出し、検出した人物４０がとった１つ以上の行動を検出し、検出した行動を位置特定する（すなわち、対象クリップ１０のどの領域でどの種類の行動が起こったかを特定する）。「歩く」、「飲む」、「ジャケットを着る」、および「電話を操作する」など、様々な行動クラスが存在しうる。具体的には、行動位置特定装置２０００は、以下のように動作しうる。
【0018】
行動位置特定装置２０００は、対象クリップ１０を取得し、対象クリップ１０から１人以上の人物４０を検出する。次いで、行動位置特定装置２０００は、対象クリップ１０から検出された人物４０ごとに、人物クリップ６０を生成する。以降、人物クリップ６０に対応する人物を「対象人物」と呼ぶ。対象人物の人物クリップ６０は、各々が対象人物を含み、対応する対象画像１２から切り取られた人物画像６２のシーケンスである。切取り位置（人物画像６２が切り取られる対象画像１２内の位置）および単一の人物クリップ６０内の人物画像６２の寸法は、互いに同じである。
【0019】
図２は、人物クリップ６０の例を示す。この例では、対象クリップ１０は、３人の人物４０－１から４０－３を含む。したがって、人物４０－１から４０－３に対して、人物クリップ６０－１から６０－３がそれぞれ生成される。
【0020】
行動位置特定装置２０００は、各人物クリップ６０から特徴マップを抽出する。特徴マップは、人物クリップ６０の時空間的特徴を表す。そして、行動位置特定装置２０００は、人物クリップ６０から抽出した特徴マップに基づいて、予め定義された行動クラスごとに行動スコアを計算して、行動スコアベクトル５０を生成する。行動クラスの行動スコアは、対象クリップ１０に含まれている行動クラスの１つ以上の行動の信頼度（換言すれば、対象クリップ１０内の１人以上の人物４０が行動クラスの行動をとっているという信頼度）を表す。行動スコアベクトル５０は、予め定義された各行動クラスの行動スコアをその要素として有するベクトルである。
【0021】
３つの予め定義された行動クラス A1、A2 および A3 が存在すると仮定する。この場合、行動スコアベクトルは３次元ベクトル v=(c1,c2,c3) であり、c1 は、行動クラス A1 の行動スコア（すなわち、対象クリップ１０に含まれている行動クラス A1 の１つ以上の行動の信頼度）を表し、c2 は、行動クラス A2 の行動スコア（すなわち、対象クリップ１０に含まれている行動クラス A2 の１つ以上の行動の信頼度）を表し、c3 は、行動クラス A3 の行動スコア（すなわち、対象クリップ１０に含まれている行動クラス A3 の１つ以上の行動の信頼度）を表している。
【0022】
行動スコアベクトル５０は、対象クリップ１０のどの領域でどの種類の行動がとられるかを示していない。対象クリップ１０から得られた特徴マップおよび行動スコアベクトル５０に基づいて、行動位置特定装置２０００は、対象クリップ１０内の行動を位置特定する（すなわち、対象クリップ１０のどの領域でどの種類の行動が起こったかを特定する）。この種の位置特定は「行動位置特定」と呼ばれる。
【0023】
行動位置特定装置２０００は、クラス活性化マッピングを用いて、対象クリップ１０について行動位置特定を行う。具体的には、人物クリップ６０ごとに、および対象クリップ１０から検出された行動クラスごとに、行動位置特定装置２０００はクラス活性化マッピングを行って、その人物クリップ６０の人物画像６２内のどの領域がどの種類の行動を含むかを特定する。これにより、検出された人物４０の行動のそれぞれが位置特定される。
【0024】
＜作用効果の例＞
上述したように、行動位置特定装置２０００によれば、ビデオに撮像された行動を位置特定する新規な技術が提供される。具体的には、行動位置特定装置２０００は、対象クリップ１０から検出された人物４０ごとに人物クリップ６０を生成し、人物クリップ６０ごとに特徴マップを抽出し、予め定義された行動クラスの各々の行動スコアを示す行動スコアベクトルを計算する。そして、行動位置特定装置２０００は、人物クリップ６０ごとに、その人物クリップ６０に含まれる行動の行動クラスをクラス活性化マッピングを使用して特定することで、対象クリップ１０内の各行動を位置特定する。
上述したように、行動位置特定装置２０００によれば、ビデオに撮像された行動を位置特定する新規な技術が提供される。具体的には、行動位置特定装置２０００は、対象クリップ１０から検出された人物４０ごとに人物クリップ６０を生成し、人物クリップ６０ごとに特徴マップを抽出し、予め定義された行動クラスの各々の行動スコアを示す行動スコアベクトルを計算する。そして、行動位置特定装置２０００は、人物クリップ６０ごとに、その人物クリップ６０に含まれる行動の行動クラスをクラス活性化マッピングを使用して特定することで、対象クリップ１０内の各行動を位置特定する。
【0025】
以降、行動位置特定装置２０００の詳細な説明を述べる。
【0026】
＜機能構成の例＞
図３は、行動位置特定装置２０００の機能構成の一例を示すブロック図である。行動位置特定装置２０００は、取得部２０２０と、人物クリップ生成部２０４０と、特徴抽出部２０６０と、スコア計算部２０８０と、位置特定部２１００とを備える。
図３は、行動位置特定装置２０００の機能構成の一例を示すブロック図である。行動位置特定装置２０００は、取得部２０２０と、人物クリップ生成部２０４０と、特徴抽出部２０６０と、スコア計算部２０８０と、位置特定部２１００とを備える。
【0027】
取得部２０２０は対象クリップ１０を取得する。人物クリップ生成部２０４０は、対象クリップ１０から検出された人物４０ごとに人物クリップ６０を生成する。特徴抽出部２０６０は、人物クリップ６０の各々から特徴マップを抽出する。スコア計算部２０８０は、予め定義された行動クラスごとに行動スコアを計算して、特徴マップを使用して行動スコアベクトル５０を生成する。位置特定部２１００は、行動スコアベクトル５０および特徴マップに基づいてクラス活性化マッピングを行い、対象クリップ１０内の検出された行動を位置特定する。
【0028】
＜ハードウェア構成の例＞
行動位置特定装置２０００は、１つ以上のコンピュータによって実現されてもよい。１つ以上のコンピュータの各々は、行動位置特定装置２０００を実現するために製造された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: personal computer）、サーバマシン、又はモバイルデバイスといった汎用のコンピュータであってもよい。
行動位置特定装置２０００は、１つ以上のコンピュータによって実現されてもよい。１つ以上のコンピュータの各々は、行動位置特定装置２０００を実現するために製造された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: personal computer）、サーバマシン、又はモバイルデバイスといった汎用のコンピュータであってもよい。
【0029】
行動位置特定装置２０００は、コンピュータにアプリケーションをインストールすることで実現されてもよい。アプリケーションは、コンピュータを行動位置特定装置２０００として機能させるためのプログラムによって実現される。すなわち、プログラムは、行動位置特定装置２０００の機能部を実装するものである。
【0030】
図４は、行動位置特定装置２０００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である。図４では、コンピュータ１０００は、バス１０２０と、プロセッサ１０４０と、メモリ１０６０と、ストレージデバイス１０８０と、入出力（I/O: input/output）インタフェース１１００と、ネットワークインタフェース１１２０とを有する。
【0031】
バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００およびネットワークインタフェース１１２０が相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）や ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と、キーボード、マウスもしくはディスプレイデバイスなどの周辺機器との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。いくつかの実装形態では、コンピュータ５００は、このネットワークを介して魚眼カメラ３０に接続される。ストレージデバイス１０８０は、上述のプログラムを記憶してもよい。ＣＰＵ１０４０はプログラムを実行して、行動位置特定装置２０００の各機能部を実現する。
【0032】
コンピュータ１０００のハードウェア構成は、図４に示すものに限定されない。例えば上述したように、行動位置特定装置２０００は、複数のコンピュータによって実現されてもよい。この場合、それらのコンピュータは、ネットワークを介して互いに接続されていてもよい。
【0033】
行動位置特定装置２０００の機能構成の１つ以上は、魚眼カメラ３０に実装されてもよい。この場合、魚眼カメラ３０は、コンピュータ５００の全体または一部として機能する。例えば、行動位置特定装置２０００の機能構成の全てが魚眼カメラ３０に実装されている場合、魚眼カメラ３０は、自身が生成した対象クリップ１０を解析し、対象クリップ１０から行動を検出し、対象クリップ１０内の検出した行動を位置特定し、対象クリップ１０についての行動位置特定の結果を示す情報を出力してもよい。上述のように機能する魚眼カメラ３０は、ネットワークカメラ、IP（internet protocol camera）、またはインテリジェントカメラであってもよい。
【0034】
＜処理のフロー＞
図５は、行動位置特定装置２０００によって行われる処理の例示的なフローを示すフローチャートである。取得部２０２０は、対象クリップ１０を取得する（Ｓ１０２）。人物クリップ生成部２０４０は、対象クリップ１０から１人以上の人物４０を検出する（Ｓ１０４）。人物クリップ生成部２０４０は、検出された人物４０ごとに人物クリップ６０を生成する（Ｓ１０６）。特徴抽出部２０６０は、人物クリップ６０の各々から特徴マップを抽出する（Ｓ１０８）。スコア計算部２０８０は、特徴マップに基づいて行動スコアベクトル５０を生成する（Ｓ１１０）。位置特定部２１００は、対象クリップ１０から検出された行動を位置特定する（Ｓ１１２）。
図５は、行動位置特定装置２０００によって行われる処理の例示的なフローを示すフローチャートである。取得部２０２０は、対象クリップ１０を取得する（Ｓ１０２）。人物クリップ生成部２０４０は、対象クリップ１０から１人以上の人物４０を検出する（Ｓ１０４）。人物クリップ生成部２０４０は、検出された人物４０ごとに人物クリップ６０を生成する（Ｓ１０６）。特徴抽出部２０６０は、人物クリップ６０の各々から特徴マップを抽出する（Ｓ１０８）。スコア計算部２０８０は、特徴マップに基づいて行動スコアベクトル５０を生成する（Ｓ１１０）。位置特定部２１００は、対象クリップ１０から検出された行動を位置特定する（Ｓ１１２）。
【0035】
＜対象クリップ１０の取得：Ｓ１０２＞
取得部２０２０は、対象クリップ１０を取得する（Ｓ１０２）。上述したように、対象クリップ１０は、魚眼カメラ３０によって生成されるビデオ２０の一部である。対象クリップ１０内の対象画像１２の数は、予め定められていてもよい。所定数のビデオフレーム２２のシーケンスが複数、ビデオ２０の異なる部分から抽出されうるため、行動位置特定装置２０００は、それらのシーケンスの各々を対象クリップ１０として扱いうる。このようにすることにより、行動位置特定装置２０００は、ビデオ２０の異なる部分の各々に対して行動位置特定を行いうる。
取得部２０２０は、対象クリップ１０を取得する（Ｓ１０２）。上述したように、対象クリップ１０は、魚眼カメラ３０によって生成されるビデオ２０の一部である。対象クリップ１０内の対象画像１２の数は、予め定められていてもよい。所定数のビデオフレーム２２のシーケンスが複数、ビデオ２０の異なる部分から抽出されうるため、行動位置特定装置２０００は、それらのシーケンスの各々を対象クリップ１０として扱いうる。このようにすることにより、行動位置特定装置２０００は、ビデオ２０の異なる部分の各々に対して行動位置特定を行いうる。
【0036】
対象クリップ１０を取得する様々な方法がある。例えば、取得部２０２０は、ビデオ２０を取得し、それを所定数のビデオフレーム２２の複数のシーケンスに分割し、それによって複数の対象クリップ１０を取得しうる。ビデオ２０が記憶されている記憶部にアクセスすることによって、または魚眼カメラ３０などの別のコンピュータから送信されたビデオ２０を受信することによって、ビデオ２０を取得しうる。
【0037】
別の例では、取得部２０２０は、１つ以上のビデオフレーム２２を周期的に取得してもよい。次いで、取得部２０２０は、所定数の取得したビデオフレーム２２で対象クリップ１０を生成する。取得部２０２０は、上述のフローを繰り返すことにより、複数の対象クリップ１０を生成することができる。ビデオフレーム２２は、上述したビデオ２０を取得する方法と同様の方法で取得されうる。
【0038】
＜人物４０の検出：Ｓ１０４＞
人物クリップ生成部２０４０は、対象クリップ１０から１人以上の人物４０を検出する（Ｓ１０４）。なお、魚眼画像のシーケンスから人物を検出するための周知の様々な方法があり、人物クリップ生成部２０４０は、これらの方法のうちの１つを使用して、対象クリップ１０から人物４０を検出するように構成されてもよい。例えば、機械学習ベースのモデル（以下、「人物検出モデル」と呼ぶ）を使用して、対象クリップ１０から人物４０を検出する。人物検出モデルは、魚眼クリップを入力として取得するように構成され、魚眼クリップの入力に応じて、入力された魚眼クリップ内の人物および魚眼ビデオフレームごとに人物を含む領域（例えば、バウンディングボックス）を出力するように予め訓練されている。
人物クリップ生成部２０４０は、対象クリップ１０から１人以上の人物４０を検出する（Ｓ１０４）。なお、魚眼画像のシーケンスから人物を検出するための周知の様々な方法があり、人物クリップ生成部２０４０は、これらの方法のうちの１つを使用して、対象クリップ１０から人物４０を検出するように構成されてもよい。例えば、機械学習ベースのモデル（以下、「人物検出モデル」と呼ぶ）を使用して、対象クリップ１０から人物４０を検出する。人物検出モデルは、魚眼クリップを入力として取得するように構成され、魚眼クリップの入力に応じて、入力された魚眼クリップ内の人物および魚眼ビデオフレームごとに人物を含む領域（例えば、バウンディングボックス）を出力するように予め訓練されている。
【0039】
人物クリップ生成部２０４０は、人物４０を対象クリップ１０の全領域から検出してもよいし、対象クリップ１０の一部の領域から検出してもよい。後者の場合、例えば、人物４０は、対象クリップ１０の対象画像１２の各々における円形領域から検出される。この後者の場合の一例を、後に行動位置特定装置２０００の第２の実施形態として説明する。
【0040】
＜人物クリップ６０の生成：Ｓ１０６＞
人物クリップ生成部２０４０は、対象クリップ１０から検出された人物４０ごとに人物クリップ６０を生成する（Ｓ１０６）。対象人物の人物クリップ６０は、各々が対応する対象画像１２の一部の領域であって対象人物を含む、「人物画像６２」と呼ばれる画像のシーケンスである。以下、人物画像６２を生成するために対象画像１２から切り取られる領域を「切取り領域」と呼ぶ。なお、切取り領域の寸法（幅および高さ）は、予め定義されてもよい。
人物クリップ生成部２０４０は、対象クリップ１０から検出された人物４０ごとに人物クリップ６０を生成する（Ｓ１０６）。対象人物の人物クリップ６０は、各々が対応する対象画像１２の一部の領域であって対象人物を含む、「人物画像６２」と呼ばれる画像のシーケンスである。以下、人物画像６２を生成するために対象画像１２から切り取られる領域を「切取り領域」と呼ぶ。なお、切取り領域の寸法（幅および高さ）は、予め定義されてもよい。
【0041】
人物クリップ生成部２０４０は、対象人物（対象クリップ１０から検出された人物４０）ごとに、以下のように動作しうる。人物クリップ生成部２０４０は、対象画像１２の各々において対象人物が略直立して見えるように、対象画像１２を互いに同じ角度だけ回転させる。例えば、人物クリップ生成部２０４０が人物４０ごとにバウンディングボックスを検出した場合、対象画像１２の代表的な画像（例えば、最初の画像）における対象人物のバウンディングボックスの向きに基づいて、対象人物の対象画像１２の回転角度を特定してもよい。
【0042】
次に、人物クリップ生成部２０４０は、回転した対象画像１２の各々において対象人物が切取り領域に含まれる切取り位置（すなわち、切取り領域の位置）を特定する。次いで、人物クリップ生成部２０４０は、回転した対象画像１２の特定された切取り領域から画像を切り取って人物画像１２を生成し、それによって対象人物の人物クリップ６０を生成する。
【0043】
＜特徴の抽出：Ｓ１０８＞
特徴抽出部２０６０は、人物クリップ６０の各々から特徴マップを抽出する（Ｓ１０８）。特徴マップは、人物クリップ６０の時空間的特徴を表す。特徴マップは、3D CNN（convolutional neural network）などのニューラルネットワークを使用して抽出されうり、当該ニューラルネットワークは、クリップを取得するように構成され、クリップの入力に応じて、入力されたクリップの時空間的特徴を特徴マップとして出力するように予め訓練されている。
特徴抽出部２０６０は、人物クリップ６０の各々から特徴マップを抽出する（Ｓ１０８）。特徴マップは、人物クリップ６０の時空間的特徴を表す。特徴マップは、3D CNN（convolutional neural network）などのニューラルネットワークを使用して抽出されうり、当該ニューラルネットワークは、クリップを取得するように構成され、クリップの入力に応じて、入力されたクリップの時空間的特徴を特徴マップとして出力するように予め訓練されている。
【0044】
特徴マップは、人物クリップ６０の全領域の時空間的特徴を表してもよいし、人物クリップ６０の一部の領域の特徴を表してもよい。後者の場合、特徴マップは、対象人物およびその周辺の領域の時空間的特徴を表しうる。
【0045】
図６は、特徴マップが、対象人物およびその周辺の領域の時空間的特徴を表す場合を示す。図６では、人物クリップ６０を入力とし、かつ特徴マップ８０を出力するネットワーク７０が存在する。ネットワーク７０は、3D ResNet などの任意の種類の 3D CNN でありうる。また、特徴抽出部２０６０は、全ての人物画像６２にわたって、対象人物のバウンディングボックスに対して最大値プーリングなどのプーリングを行い、それによってバイナリマスクを取得する。特徴抽出部２０６０は、バイナリマスクを特徴マップ８０と同じ幅および高さにリサイズし、リサイズされたマスクに特徴マップ８０を乗算して特徴マップ９０を取得する。以降、特徴抽出部２０６０から出力される特徴マップは、バイナリマスクでマスクされているか否かに関わらず、「特徴マップ９０」と記載される。
【0046】
＜行動スコアの計算：Ｓ１１０＞
スコア計算部２０８０は、予め定義された行動クラスについて行動スコアを計算し、それによって行動スコアベクトル５０を計算する（Ｓ１１０）。人物クリップ６０から取得した特徴マップ９０は、行動スコアの計算に使用される。いくつかの実装において、スコア計算部２０８０は、図７に示すように動作してもよい。図７は、特徴マップ９０に基づいて行動スコアを計算する方法の一例を示す。この例では、対象クリップ１０から人物クリップ６０－１および６０－Ｎが取得され、人物クリップ６０－１から６０－Ｎのそれぞれから、特徴マップ９０－１から９０－Ｎが取得される。
スコア計算部２０８０は、予め定義された行動クラスについて行動スコアを計算し、それによって行動スコアベクトル５０を計算する（Ｓ１１０）。人物クリップ６０から取得した特徴マップ９０は、行動スコアの計算に使用される。いくつかの実装において、スコア計算部２０８０は、図７に示すように動作してもよい。図７は、特徴マップ９０に基づいて行動スコアを計算する方法の一例を示す。この例では、対象クリップ１０から人物クリップ６０－１および６０－Ｎが取得され、人物クリップ６０－１から６０－Ｎのそれぞれから、特徴マップ９０－１から９０－Ｎが取得される。
【0047】
まず、スコア計算部２０８０は、特徴マップ９０の各々に対してプーリング、例えば平均プーリングを行う。次いで、プーリング結果の各々は全結合層２００に入力される。全結合層２００は、特徴マップ９０上のプーリングの結果を取得するように構成され、予め定義された行動クラスごとに、特徴マップ９０に対応する人物クリップ６０に含まれるその行動クラスの行動の信頼度を表す「中間ベクトル２１０」と呼ばれるベクトルを出力するように予め訓練されている。
【0048】
全結合層２００を使用して、特徴マップ９０の全てについて中間ベクトル２１０が取得される。次いで、スコア計算部２０８０は、中間ベクトル２１０を行動スコアベクトル５０に集約する。中間ベクトル２１０は、非特許文献１によって開示されているような log-sum-exponential 関数を使用して集約されうる。なお、行動スコアベクトル５０は、各要素の最大範囲が [0,1] となるようにスケーリングされてもよい。
【0049】
＜クラス活性化マッピング：Ｓ１１２＞
位置特定部２１００は、対象クリップ１０から検出された行動を位置特定するために、CAM(class activation mapping)、Grad-CAM、及び SmoothGrad 等のクラス活性化マッピングを行う。クラス活性化マッピングは、予測の結果（行動位置特定装置２０００の場合、行動クラスの行動スコア）に関連する入力画像内の１つ以上の領域を見つける方法である。位置特定部２１００は、対象クリップ１０から検出された行動クラスごとに、および、人物クリップ６０ごとに、クラス活性化マッピングを行って、検出された行動クラスの行動が対象クリップ１０のどこで行われたかを特定する。
位置特定部２１００は、対象クリップ１０から検出された行動を位置特定するために、CAM(class activation mapping)、Grad-CAM、及び SmoothGrad 等のクラス活性化マッピングを行う。クラス活性化マッピングは、予測の結果（行動位置特定装置２０００の場合、行動クラスの行動スコア）に関連する入力画像内の１つ以上の領域を見つける方法である。位置特定部２１００は、対象クリップ１０から検出された行動クラスごとに、および、人物クリップ６０ごとに、クラス活性化マッピングを行って、検出された行動クラスの行動が対象クリップ１０のどこで行われたかを特定する。
【0050】
対象クリップ１０から検出される行動クラスは、各々が予め定義された閾値 Tc 以上の行動スコアを有する行動クラスである。３つの予め定義された行動クラス A1、A2 および A3 が存在し、それらの行動スコアがそれぞれ 0.8、0.3、及び 0.7 であると仮定する。また、閾値 Tc は 0.6 である。この場合、検出される行動クラスは行動クラス A1 および A3 であり、その理由は、それらの行動スコアが閾値 Tc よりも大きいことである。
【0051】
図８は、クラス活性化マップの一例を示す。この図は、人物クリップ P1 について生成されたクラス活性化マップを示す。人物クリップ P1 は、「電話を操作する」の行動を含む。検出された行動が「飲む」、「電話を操作する」および「歩く」であると仮定する。この場合、位置特定部２１００は、これらの３つの検出された行動の各々についてクラス活性化マップを生成する。クラス活性化マップ内の領域が暗いほど、その領域は、そのマップに対応する行動クラスの行動スコアの予測に対する関連が大きい。また、クラス活性化マップ内の位置が暗いほど、その位置に対応するマップのセルの値は大きくなる。
【0052】
図８では、「電話を操作する」についてのクラス活性化マップが暗く広い領域を有する一方で、他の２つのクラス活性化マップは、このような領域を有していない。したがって、人物クリップ P1 に含まれる行動が「電話を操作する」であることを予測することができる。また、「電話を操作する」についての行動クラスマップを人物クリップ P1 に重畳することで、「電話を操作する」の行動がとられる人物クリップ P1 の領域を予測することができる。
【0053】
図９は、位置特定部２１００によって行われる処理の例示的なフローを示すフローチャートである。ステップＳ２０２からＳ２１２は、人物クリップ６０ごとに行われるループ処理Ｌ１を形成する。ステップＳ２０２では、位置特定部２１００は、人物クリップ６０の全てに対してループ処理Ｌ１が行われたか否かを判定する。人物クリップ６０の全てに対してループ処理Ｌ１が行われた場合、図９に示す処理は終了する。一方、人物クリップ６０の全てに対してはループ処理Ｌ１が行われていない場合、位置特定部２１００は、ループ処理Ｌ１がまだ行われていない人物クリップ６０を選択する。ここで選択された人物クリップ６０を「人物クリップ Pi」として記載する。
【0054】
ステップＳ２０４からＳ２０８は、検出された行動クラスごとに行われるループ処理Ｌ２を形成する。ステップＳ２０４では、位置特定部２１００は、検出された行動クラスの全てに対してループ処理Ｌ２が行われたか否かを判定する。検出された行動クラスの全てに対してループ処理Ｌ２が行われた場合、次にＳ２１０が行われる。一方、検出された行動クラスの全てに対してはループ処理Ｌ２が行われていない場合、位置特定部２１００は、検出された行動クラスのうちループ処理Ｌ２がまだ行われていない行動クラスを選択する。ここで選択された行動クラスを「行動クラス Aj」として記載する。
【0055】
位置特定部２１００は、人物クリップ Pi から取得される、行動スコアベクトル８０によって示される Aj の行動スコアと、特徴マップ９０とを使用して、人物クリップ Pi に対してクラス活性化マッピングを行う（Ｓ２０６）。上述したように、クラス活性化マッピングには様々な種類があり、いずれを採用することもできる。
【0056】
例えば、Grad-CAM が採用される場合、非特許文献１に開示されているものと同様の方法でクラス活性化マップを生成することができる。具体的には、位置特定部２１００は、人物クリップ Pi から取得される特徴マップ９０のチャネルごとに、チャネルに対する行動スコアの勾配に基づいて、行動クラス Aj の行動スコアの予測のためのチャネルの重要度を計算する。これは、以下のように定式化することができる。
式中、w[j][k] は、行動クラス Aj の予測に関する特徴マップの k 番目のチャネルの重要度を表し、1/z*Σ は、グローバル平均プーリングを表し、x と y の組合せはチャネル内の位置を表し、S[j] は、行動クラス Aj の行動スコアを表し、B[k][x][y] は、位置 (x,y) における k 番目のチャネルのセルを表す。
【数1】
【0057】
そして、上記で計算した各チャネルの重要度を各チャネルの重みとして使用して、人物クリップ P1 の特徴マップ９０のチャネルの重み付き組合せとして、クラス活性化マップを生成する。これは、以下のように定式化することができる。
式中、H[j] は、行動クラス Aj について生成されたクラス活性化マップを表す。
【数2】
【0058】
ステップＳ２０８はループ処理Ｌ２の終端であり、したがって次にステップＳ２０４が行われる。
【0059】
人物クリップ Pi についてループ処理Ｌ２が終了した後、位置特定部２１００は、検出された行動クラスの全てについて、人物クリップ Pi から取得されるクラス活性化マップを有する。ステップＳ２１０では、位置特定部２１００は、人物クリップ Pi の対象人物がとった行動の行動クラスを特定し、取得したクラス活性化マップに基づいてその行動を位置特定する。そのために、位置特定部２１００は、人物クリップ Pi において対象人物がとった行動の行動クラスに対応するクラス活性化マップのうちの１つを特定する。
【0060】
行動クラス Aj について計算されたクラス活性化マップは、人物クリップ Pi の対象人物が行動クラス Aj の行動をとった場合にのみ、行動クラス Aj の行動スコアとの関連性が高い領域を含むと言える。したがって、対応する行動クラスの行動スコア（行動スコアの予測結果）との関連性が最も高いクラス活性化マップは、人物クリップ P1 において行われた行動の行動クラスに対応するものである。
【0061】
具体的には、例えば、位置特定部２１００は、クラス活性化マップごとにセルの合計値を計算し、どのクラス活性化マップが最も大きい合計値を有するかを特定する。次いで、位置特定部２１００は、合計値が最も大きいクラス活性化マップに対応する行動クラスを、人物クリップ６０でとられた行動の行動クラスとして特定する。これは、以下のように定式化することができる。
式中、c[i] は、人物クリップ Pi において行われた行動の行動クラスを表し、H[j][x][y] は、クラス活性化マップ H[j] の (x,y) におけるセルの値を表す。
【数3】
【0062】
＜行動位置特定装置２０００からの出力＞
行動位置特定装置２０００は、空間的かつ時間的な行動位置特定の結果、すなわち、どの期間に対象クリップ１０のどの領域においてどの種類の行動がとられるかを示す「出力情報」と呼ばれる情報を出力してもよい。出力情報によって示される情報には、様々な種類があってもよい。いくつかの実装において、出力情報は、検出された行動クラスの行動ごとに、その行動の行動クラス、その行動が行われた位置（例えば、その行動を行った人物４０のバウンディングボックスの位置）、およびその行動が行われた期間（例えば、対象クリップ１０のフレーム番号）のセットを含んでもよい。例えば、出力情報は、対象クリップ１０から検出された人物４０ごとに、その人物４０が行った行動の行動クラスを示す注釈を含むその人物４０のバウンディングボックスを示すように変更された、対象クリップ１０を含んでもよい。
行動位置特定装置２０００は、空間的かつ時間的な行動位置特定の結果、すなわち、どの期間に対象クリップ１０のどの領域においてどの種類の行動がとられるかを示す「出力情報」と呼ばれる情報を出力してもよい。出力情報によって示される情報には、様々な種類があってもよい。いくつかの実装において、出力情報は、検出された行動クラスの行動ごとに、その行動の行動クラス、その行動が行われた位置（例えば、その行動を行った人物４０のバウンディングボックスの位置）、およびその行動が行われた期間（例えば、対象クリップ１０のフレーム番号）のセットを含んでもよい。例えば、出力情報は、対象クリップ１０から検出された人物４０ごとに、その人物４０が行った行動の行動クラスを示す注釈を含むその人物４０のバウンディングボックスを示すように変更された、対象クリップ１０を含んでもよい。
【0063】
図１０は、対象クリップ１０が行動位置特定の結果を示すように変更される第１の例を示す。この例では、「飲む」、「電話を操作する」および「歩く」の行動クラスが検出され、それらの行動クラスが位置特定される。この結果を示すために、バウンディングボックス２２０および注釈２３０の組合せが対象クリップ１０に重畳される。バウンディングボックス２２０は検出された人物４０の位置を示し、対応する注釈２３０は、この人物４０が行った行動の行動クラスを示す。
【0064】
他の実装において、出力情報は、その上に重畳される検出された行動クラスのクラス活性化マップとして変更された、対象クリップ１０を含んでもよい。人物クリップ Pi の対象人物が行動クラス Aj の行動を行ったと特定されたと仮定する。この場合、人物クリップ Pi の人物画像６２に対応する対象画像１２は、人物クリップ Pi と行動クラス Aj の組合せについて生成されたクラス活性化マップが重畳されるように変更される。クラス活性化マップが重畳される対象画像１２内の位置は、対応する人物画像６２が切り取られる位置である。
【0065】
図１１は、対象クリップ１０が行動位置特定の結果を示すように変更される第２の例を示す。この図は、図１０と同じ状況を想定している。しかし、図１１では、バウンディングボックス２２０の代わりに、マップ２４０が対象クリップ１０に重畳されている。人物に重畳されるマップ２４０は、その人物の人物クリップ６０に対して生成され、かつ、その人物が行った行動の行動クラスに対応するクラス活性化マップである。
【0066】
＜訓練可能パラメータの最適化について＞
行動位置特定装置２０００は、ネットワーク７０および全結合層２００における重みなどの訓練可能パラメータを有する。これらの訓練可能パラメータは、複数の訓練データを使用してそれらを繰り返し更新することによって、予め最適化される（換言すれば、行動位置特定装置２０００は、予め訓練される）。訓練データは、行動スコアベクトル５０のテストクリップおよび正解データとの組合せを含んでもよい。テストクリップは、トップビュー型の魚眼カメラによって（好ましくは、魚眼カメラ３０によって）生成され、１人以上の人物を含む任意のクリップである。正解データは、テストクリップに含まれる行動クラスの各々の最大信頼度（例えば、行動スコアベクトル５０が [0,1] にスケーリングされる場合は１）を示す行動スコアベクトルである。
行動位置特定装置２０００は、ネットワーク７０および全結合層２００における重みなどの訓練可能パラメータを有する。これらの訓練可能パラメータは、複数の訓練データを使用してそれらを繰り返し更新することによって、予め最適化される（換言すれば、行動位置特定装置２０００は、予め訓練される）。訓練データは、行動スコアベクトル５０のテストクリップおよび正解データとの組合せを含んでもよい。テストクリップは、トップビュー型の魚眼カメラによって（好ましくは、魚眼カメラ３０によって）生成され、１人以上の人物を含む任意のクリップである。正解データは、テストクリップに含まれる行動クラスの各々の最大信頼度（例えば、行動スコアベクトル５０が [0,1] にスケーリングされる場合は１）を示す行動スコアベクトルである。
【0067】
訓練可能パラメータは、正解データと、テストクリップの入力に応答して行動位置特定装置２０００によって計算された行動スコアベクトル５０との間の差を表す損失に基づいて、更新される。損失は、交差エントロピー損失関数などの任意の種類の損失関数を使用して計算されうる。損失関数は、正則化項をさらに含んでもよい。例えば、対象人物は人物クリップ６０において単一の行動を行う可能性があるため、中間ベクトル（単一の特徴マップ８０から計算される行動スコアベクトル）が複数の行動クラスについて高い信頼度を示す場合にペナルティを加えることが好ましい。この種の正則化項は、非特許文献１に開示されている。
【0068】
実施形態２
図１２は、実施形態２の行動位置特定装置２０００の概要を示す。なお、図１２に示す概要は、実施形態２の行動位置特定装置２０００を理解しやすくするために、実施形態２の行動位置特定装置２０００の動作の一例を示したものであり、実施形態２の行動位置特定装置２０００が取り得る動作の範囲を限定したり、狭めたりするものではない。
図１２は、実施形態２の行動位置特定装置２０００の概要を示す。なお、図１２に示す概要は、実施形態２の行動位置特定装置２０００を理解しやすくするために、実施形態２の行動位置特定装置２０００の動作の一例を示したものであり、実施形態２の行動位置特定装置２０００が取り得る動作の範囲を限定したり、狭めたりするものではない。
【0069】
対象クリップ１０には、人物が異なる角度で現れる。非特許文献１は、魚眼カメラから取得されたビデオフレームをパノラマ画像に変換し、パノラマ画像を分析して行動を検出し、かつ位置特定することによって、この問題に対処する。
【0070】
しかし、このように、パノラマ画像への変換によって、中心付近に位置する人物（上方からの視点における魚眼レンズの光軸）が変形してしまうことがある。この問題に関して、魚眼レンズの光軸周辺で起こった行動を位置特定するためには、行動位置特定装置２０００によって行われる方法が非特許文献１に記載されている方法よりも有効であると考えられ、その理由は、中心付近に位置する人物が変形されないことである。
【0071】
そこで、実施形態２の行動位置特定装置２０００は、対象クリップ１０から異なる２種類のクリップを生成し、かつ異なる２種類の方法を行って、これら２つのクリップについて行動スコアを計算する。そうすることにより、対象クリップ１０内の行動をより正確に位置特定することができる。以下、これら２種類のクリップをそれぞれ「中央クリップ１００」および「パノラマクリップ１１０」と呼ぶ。また、中央クリップ１００に対して行う方法を「魚眼処理」と呼び、パノラマクリップ１１０に対して行う方法を「パノラマ処理」と呼ぶ。
【0072】
中央クリップ１００は、対象画像１２の中央領域のシーケンスである。中央クリップ１００を生成するために、行動位置特定装置２０００は、対象画像１２の各々から中央領域１４を取り出す。中央クリップ１００は、中央領域１４のシーケンスとして生成される。中央領域１４は、その中心が魚眼カメラ３０の光軸に対応する場所に位置し、予め定義された半径の円形領域である。魚眼カメラ３０の光軸に対応する位置は、非特許文献１に開示されている方法で検出されてもよい。以下、中央クリップ１００に含まれる各画像（すなわち、中央領域１４）を「中央画像１１２」と呼ぶ。
【0073】
パノラマクリップ１１０は、パノラマ画像に変換された、対象画像のシーケンスである。パノラマクリップ１１０を生成するために、行動位置特定装置２０００は、各対象画像１２をパノラマ画像に変換する。パノラマクリップ１１０は、それらのパノラマ画像のシーケンスとして生成される。対象画像１２は、非特許文献１に開示されている方法を使用してパノラマ画像に変換されてもよい。以下、パノラマクリップ１１０に含まれる各画像を「パノラマ画像１１２」と呼ぶ。
【0074】
魚眼処理は、実施形態１１の行動位置特定装置２０００が対象画像１０について行動スコアを計算する方法と同様に、中央クリップ１００から行動スコアを計算する方法である。具体的には、魚眼処理は、１人以上の人物４０を中央クリップ１００から検出することと、人物クリップ６０を中央クリップ１００から検出された人物４０ごとに生成することと、人物クリップ６０の各々から特徴マップ９０を抽出することと、行動スコアを特徴マップ９０に基づいて計算するステップことと、を含む。以下、中央クリップ１００について計算された行動スコアを示すベクトルを「行動スコアベクトル１３０」と呼ぶ。
【0075】
パノラマ処理は、非特許文献１に開示されている方法と同様の方法で、行動スコアを計算する方法である。具体的には、以下のようにパノラマ処理が行われうる。行動位置特定装置２０００は、例えば、時空間的特徴を画像のシーケンスから特徴マップとして抽出することができる 3D CNN などのニューラルネットワークに対してパノラマクリップ１１０を入力することによって、パノラマクリップ１１０の特徴マップ（時空間的特徴）を計算する。次いで、行動位置特定装置２０００は、パノラマクリップ１１０の人物検出によってバイナリマスクを計算し、バイナリマスクを特徴マップと同じ幅および高さにリサイズし、バイナリマスクに特徴マップを乗算して、マスクされた特徴マップを取得する。マスクされた特徴マップは、複数のブロックに分割される。行動位置特定装置２０００は、ブロックごとにプーリングを行った後に全結合層に入力し、それによってブロックごとの行動スコアを取得する。ブロックごとに取得された行動スコアは、パノラマクリップ１１０全体の行動スコアを示す単一のベクトルに集約される。以下、このベクトルを「行動スコアベクトル１４０」と呼ぶ。
【0076】
上述したように、行動位置特定装置２０００は、魚眼処理の結果としての行動スコアベクトル１３０と、パノラマ処理の結果としての行動スコアベクトル１４０とを取得する。行動位置特定装置２０００は、行動スコアベクトル１３０および行動スコアベクトル１４０を使用して、対象クリップ１００内の各行動を位置特定する。
【0077】
いくつかの実装において、行動位置特定装置２０００は、図１２に示すように行動スコアベクトル１３０と行動スコアベクトル１４０とを別々に使用する。この場合、行動位置特定装置２０００は、実施形態１１の行動位置特定装置２０００が行動スコアベクトル５０を使用して対象クリップ１０に対して行動位置特定を行う方法と同様の方法で、行動スコアベクトル１３０を使用して、中央クリップ１００に対して行動位置特定を行う。これにより、中央クリップ１１０から検出された行動が位置特定される。また、行動位置特定装置２０００は、非特許文献１で開示されている方法と同様の方法で、行動スコアベクトル１４０を使用してパノラマクリップ１１０の行動位置特定を行う。これにより、パノラマクリップ１１０から検出された行動が位置特定される。次いで、行動位置特定装置２０００は、中央クリップ１００に対して行われた行動位置特定の結果と、パノラマクリップ１１０に対して行われた行動位置特定の結果とを集約し、それによって、対象クリップ１０全体について検出された行動クラスの行動を位置特定する。
【0078】
他の実装において、行動位置特定装置２０００は、行動スコアベクトル１３０および行動スコアベクトル１４０を「集約行動スコアベクトル」と呼ばれる単一のベクトルに集約する。この場合、行動スコアが閾値 Tc 以上である行動クラスを検出対象として扱う。行動位置特定装置２０００は、行動スコアベクトル１３０および１４０を別々に使用する代わりに集約行動スコアベクトルを使用して、検出された行動クラスごとに、中央クリップ１００およびパノラマクリップ１１０に対して行動位置特定を別々に行い、行動位置特定の結果を集約する。
【0079】
集約行動スコアベクトルがクラス活性化マッピングに使用されることを除いて、この場合の中央クリップ１００に対して行われる行動位置特定は、行動スコアベクトル１３０および１４０が別々に使用される場合と同じである。同様に、集約行動スコアベクトルがクラス活性化マッピングに使用されることを除いて、この場合のパノラマクリップ１１０に対して行われる行動位置特定は、行動スコアベクトル１３０および１４０が別々に使用される場合と同じである。
【0080】
＜機能構成の例＞
図１３は、実施形態２の行動位置特定装置２０００の機能構成の一例を示すブロック図である。行動位置特定装置２０００は、取得部２０２０、中央クリップ生成部２１２０、パノラマクリップ生成部２１４０、魚眼処理部２１６０、パノラマ処理部２１８０および位置特定部２１００を有する。取得部２０２０は、実施形態１１で説明したように、対象クリップ１０を取得する。中央クリップ生成部２１２０は、対象クリップ１０から中央クリップ１００を生成する。パノラマクリップ生成部２１４０は、対象クリップ１０からパノラマクリップ１１０を生成する。魚眼処理部２１６０は、中央クリップ１００に対して魚眼処理を行って、行動スコアベクトル１３０を計算する。なお、図１３では図示していないが、人物クリップ生成部２０４０、特徴抽出部２０６０およびスコア計算部２０８０は、魚眼処理部２１６０に含まれる。パノラマ処理部２１８０は、パノラマクリップ１１０に対してパノラマ処理を行って、行動スコアベクトル１４０を計算する。位置特定部２１００は、行動スコアベクトル１３０および行動スコアベクトル１４０を使用して、対象クリップ１０について行動位置特定を行う。
図１３は、実施形態２の行動位置特定装置２０００の機能構成の一例を示すブロック図である。行動位置特定装置２０００は、取得部２０２０、中央クリップ生成部２１２０、パノラマクリップ生成部２１４０、魚眼処理部２１６０、パノラマ処理部２１８０および位置特定部２１００を有する。取得部２０２０は、実施形態１１で説明したように、対象クリップ１０を取得する。中央クリップ生成部２１２０は、対象クリップ１０から中央クリップ１００を生成する。パノラマクリップ生成部２１４０は、対象クリップ１０からパノラマクリップ１１０を生成する。魚眼処理部２１６０は、中央クリップ１００に対して魚眼処理を行って、行動スコアベクトル１３０を計算する。なお、図１３では図示していないが、人物クリップ生成部２０４０、特徴抽出部２０６０およびスコア計算部２０８０は、魚眼処理部２１６０に含まれる。パノラマ処理部２１８０は、パノラマクリップ１１０に対してパノラマ処理を行って、行動スコアベクトル１４０を計算する。位置特定部２１００は、行動スコアベクトル１３０および行動スコアベクトル１４０を使用して、対象クリップ１０について行動位置特定を行う。
【0081】
＜ハードウェア構成の例＞
実施形態１１の行動位置特定装置２０００と同様に、実施形態２の行動位置特定装置２０００は、図３に示すハードウェア構成を有しうる。しかし、実施形態２のストレージデバイス１０８０は、実施形態２の行動位置特定装置２０００の機能構成を実現するプログラムをさらに含みうる。
実施形態１１の行動位置特定装置２０００と同様に、実施形態２の行動位置特定装置２０００は、図３に示すハードウェア構成を有しうる。しかし、実施形態２のストレージデバイス１０８０は、実施形態２の行動位置特定装置２０００の機能構成を実現するプログラムをさらに含みうる。
【0082】
＜処理のフロー＞
図１４は、実施形態２の行動位置特定装置２０００によって行われる処理のフローを示すフローチャートである。取得部２０２０は、対象クリップ１０を取得する（Ｓ３０２）。ステップＳ３０２とＳ３１６との間には、並行して行われるものとして示されている処理のシーケンスが２つ存在する。処理の第１のシーケンスは、ステップＳ３０４～Ｓ３０８を含み、中央クリップ１００内の行動を位置特定するために行われる。一方、処理の第２のシーケンスは、パノラマクリップ１１０内の行動を位置特定するために行われるステップＳ３１０～Ｓ３１４を含む。なお、他の実装において、これらのシーケンスは、並列ではなく順次実行されてもよい。
図１４は、実施形態２の行動位置特定装置２０００によって行われる処理のフローを示すフローチャートである。取得部２０２０は、対象クリップ１０を取得する（Ｓ３０２）。ステップＳ３０２とＳ３１６との間には、並行して行われるものとして示されている処理のシーケンスが２つ存在する。処理の第１のシーケンスは、ステップＳ３０４～Ｓ３０８を含み、中央クリップ１００内の行動を位置特定するために行われる。一方、処理の第２のシーケンスは、パノラマクリップ１１０内の行動を位置特定するために行われるステップＳ３１０～Ｓ３１４を含む。なお、他の実装において、これらのシーケンスは、並列ではなく順次実行されてもよい。
【0083】
処理の第１のシーケンスは、以下のようにして行われる。中央クリップ生成部２１２０は、中央クリップ１００を生成する（Ｓ３０４）。魚眼処理部２１６０は、魚眼処理を中央クリップ１００に対して行って、行動スコアベクトル１３０を計算する（Ｓ３０６）。位置特定部２１００は、行動スコアベクトル１３０を使用して、中央クリップ１００について検出された行動クラスの行動を位置特定する（Ｓ３０８）。
【0084】
処理の第２のフローは、以下のようにして行われる。パノラマクリップ生成部２１４０は、中央クリップ１００を生成する（Ｓ３１０）。パノラマ処理部２１８０は、パノラマクリップ１１０に対してパノラマ処理を行って、行動スコアベクトル１４０を計算する（Ｓ３１２）。位置特定部２１００は、行動スコアベクトル１４０を使用して、パノラマクリップ１００について検出された行動クラスの行動を位置特定する（Ｓ３０８）。
【0085】
位置特定部２１００は、中央クリップ１００についての行動位置特定およびパノラマクリップ１１０についての行動位置特定の結果を集約する。
【0086】
なお、図１４のフローチャートでは、行動スコアベクトル１３０および１４０が別々に使用されて、行動が位置特定されると仮定する。しかし、上述したように、行動位置特定は、行動スコアベクトル１３０および１４０を別々に使用する代わりに、集約行動スコアベクトルを使用して行われてもよい。この場合、魚眼処理およびパノラマ処理が終了した後、集約行動スコアベクトルが計算され、次いで、集約行動スコアベクトルを使用して中央クリップ１００およびパノラマクリップ１１０についての行動位置特定が行われる。
【0087】
＜行動位置特定装置２０００からの出力＞
実施形態２の行動位置特定装置２０００は、実施形態１１の行動位置特定装置２０００による出力と同様の出力情報を出力してもよい。しかし、実施形態２の出力情報は、中央クリップ１００およびパノラマクリップ１１０についての行動位置特定の集約結果を示してもよい。例えば、図１０に示すように、出力情報がバウンディングボックス２２０および注釈２３０が重畳された対象クリップ１０を含む場合、行動位置特定装置２０００は、魚眼処理の結果に基づいて行動が特定された人物と、パノラマ処理の結果に基づいて行動が特定された人物との両方について、バウンディングボックス２２０および注釈２３０を生成する。図１１に示すように、マップ２４０および注釈２３０が対象クリップ１０に重畳される場合も同様である。
実施形態２の行動位置特定装置２０００は、実施形態１１の行動位置特定装置２０００による出力と同様の出力情報を出力してもよい。しかし、実施形態２の出力情報は、中央クリップ１００およびパノラマクリップ１１０についての行動位置特定の集約結果を示してもよい。例えば、図１０に示すように、出力情報がバウンディングボックス２２０および注釈２３０が重畳された対象クリップ１０を含む場合、行動位置特定装置２０００は、魚眼処理の結果に基づいて行動が特定された人物と、パノラマ処理の結果に基づいて行動が特定された人物との両方について、バウンディングボックス２２０および注釈２３０を生成する。図１１に示すように、マップ２４０および注釈２３０が対象クリップ１０に重畳される場合も同様である。
【0088】
場合によっては、中央クリップ１００およびパノラマクリップ１１０の両方に含まれる人物が存在してもよい。この場合、位置特定部２１００は、中央クリップ１００およびパノラマクリップ１１０の両方から人物についてのクラス活性化マップを取得してもよい。位置特定部２１００はこれらのクラス活性化マップを合成し、合成したクラス活性化マップに基づいて人物の行動を位置特定してもよい。クラス活性化マップは、交差点またはその中間点をとることによって合成されてもよい。
【0089】
＜訓練可能パラメータの最適化＞
実施形態２の行動位置特定装置２０００は、実施形態１１で言及された訓練可能パラメータに加えて、パノラマ処理に使用される訓練可能パラメータをさらに含む。実施形態１１で採用されたものと同様に、実施形態２の行動位置特定装置２０００の訓練可能パラメータは、複数の訓練データを使用して予め最適化されてもよい。しかし、この実施形態において、損失は、行動スコアベクトル５０の代わりに集約行動スコアベクトルを使用して計算されてもよい。具体的には、損失は、訓練データによって示される集約行動スコアの正解データと、テストクリップの入力に応じて実施形態２の行動位置特定装置２０００によって計算された集約行動スコアとの間の差を表すように、計算されうる。
実施形態２の行動位置特定装置２０００は、実施形態１１で言及された訓練可能パラメータに加えて、パノラマ処理に使用される訓練可能パラメータをさらに含む。実施形態１１で採用されたものと同様に、実施形態２の行動位置特定装置２０００の訓練可能パラメータは、複数の訓練データを使用して予め最適化されてもよい。しかし、この実施形態において、損失は、行動スコアベクトル５０の代わりに集約行動スコアベクトルを使用して計算されてもよい。具体的には、損失は、訓練データによって示される集約行動スコアの正解データと、テストクリップの入力に応じて実施形態２の行動位置特定装置２０００によって計算された集約行動スコアとの間の差を表すように、計算されうる。
【0090】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0091】
実施の形態を参照して本開示を上記で説明したが、本開示は上述の実施の形態に限定されるものではない。当業者が理解することができる様々な変更を、本発明の範囲内で本開示の構成および詳細に対して行うことができる。
【0092】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
行動位置特定装置であって、
命令を記憶するように構成された少なくとも１つのメモリと、
前記命令を実行して、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得し、
１人以上の人物を前記対象クリップから検出し、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成し、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出し、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算し、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定する、
ように構成される少なくとも１つのプロセッサと、を有する行動位置特定装置。
（付記２）
前記行動の位置特定は、前記人物クリップごとに、
前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、付記１に記載の行動位置特定装置。
（付記３）
前記行動スコアの計算は、
前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、付記１または２に記載の行動位置特定装置。
（付記４）
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、
前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、付記３に記載の行動位置特定装置。
（付記５）
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、付記３または４に記載の行動位置特定装置。
（付記６）
少なくとも１つのプロセッサは、前記命令をさらに実行して、
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成し、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成し、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定する、ように構成され、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、付記１から５のいずれか一項に記載の行動位置特定装置。
（付記７）
コンピュータによって行われる制御方法であって、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、
１人以上の人物を前記対象クリップから検出するステップと、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を含み、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出するステップと、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を含み、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを含む、制御方法。
（付記８）
前記行動の位置特定は、前記人物クリップごとに、
前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、付記７に記載の制御方法。
（付記９）
前記行動スコアの計算は、
前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、付記７または８に記載の制御方法。
（付記１０）
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、
前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、付記９に記載の制御方法。
（付記１１）
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、付記９または１０に記載の制御方法。
（付記１２）
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成するステップと、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するステップと、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定するステップと、をさらに含み、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、付記７から１１のいずれか一項に記載の制御方法。
（付記１３）
プログラムが格納されている非一時的コンピュータ可読記憶媒体であって、前記プログラムはコンピュータに、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、
１人以上の人物を前記対象クリップから検出するステップと、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を実行させ、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出するステップと、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を実行させ、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを実行させる、非一時的コンピュータ可読記憶媒体。
（付記１４）
前記行動の位置特定は、前記人物クリップごとに、
前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、付記１３に記載の記憶媒体。
（付記１５）
前記行動スコアの計算は、
前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、付記１３または１４に記載の記憶媒体。
（付記１６）
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、
前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、付記１５に記載の記憶媒体。
（付記１７）
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、付記１５または１６に記載の記憶媒体。
（付記１８）
前記プログラムが、前記コンピュータに、
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成するステップと、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するステップと、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定するステップと、をさらに実行させ、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、付記１３から１７のいずれか一項に記載の記憶媒体。
（付記１）
行動位置特定装置であって、
命令を記憶するように構成された少なくとも１つのメモリと、
前記命令を実行して、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得し、
１人以上の人物を前記対象クリップから検出し、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成し、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出し、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算し、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定する、
ように構成される少なくとも１つのプロセッサと、を有する行動位置特定装置。
（付記２）
前記行動の位置特定は、前記人物クリップごとに、
前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、付記１に記載の行動位置特定装置。
（付記３）
前記行動スコアの計算は、
前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、付記１または２に記載の行動位置特定装置。
（付記４）
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、
前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、付記３に記載の行動位置特定装置。
（付記５）
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、付記３または４に記載の行動位置特定装置。
（付記６）
少なくとも１つのプロセッサは、前記命令をさらに実行して、
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成し、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成し、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定する、ように構成され、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、付記１から５のいずれか一項に記載の行動位置特定装置。
（付記７）
コンピュータによって行われる制御方法であって、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、
１人以上の人物を前記対象クリップから検出するステップと、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を含み、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出するステップと、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を含み、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを含む、制御方法。
（付記８）
前記行動の位置特定は、前記人物クリップごとに、
前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、付記７に記載の制御方法。
（付記９）
前記行動スコアの計算は、
前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、付記７または８に記載の制御方法。
（付記１０）
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、
前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、付記９に記載の制御方法。
（付記１１）
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、付記９または１０に記載の制御方法。
（付記１２）
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成するステップと、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するステップと、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定するステップと、をさらに含み、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、付記７から１１のいずれか一項に記載の制御方法。
（付記１３）
プログラムが格納されている非一時的コンピュータ可読記憶媒体であって、前記プログラムはコンピュータに、
１人以上の人物が略上方視点で撮像された魚眼画像である対象画像のシーケンスである対象クリップを取得するステップと、
１人以上の人物を前記対象クリップから検出するステップと、
前記対象クリップから検出された各前記人物について、前記対象クリップから人物クリップを生成するステップと、を実行させ、前記人物クリップは、それぞれが前記対象画像の一部の領域である人物画像のシーケンスであり、かつ、その人物クリップに対応する前記検出された人物を含み、
特徴マップを各前記人物クリップから抽出するステップと、
前記人物クリップから抽出された前記特徴マップに基づいて、所定の行動クラスごとに、前記対象クリップに含まれるその行動クラスの行動の信頼度を示す行動スコアを計算するステップと、を実行させ、前記行動クラスは行動の種類であり、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定するステップを実行させる、非一時的コンピュータ可読記憶媒体。
（付記１４）
前記行動の位置特定は、前記人物クリップごとに、
前記行動スコアが前記閾値以上である前記行動クラスごとに、その行動クラスの前記行動スコアとその人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、付記１３に記載の記憶媒体。
（付記１５）
前記行動スコアの計算は、
前記人物クリップごとに、その人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算することと、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約することと、を含む、付記１３または１４に記載の記憶媒体。
（付記１６）
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、
前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、付記１５に記載の記憶媒体。
（付記１７）
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、付記１５または１６に記載の記憶媒体。
（付記１８）
前記プログラムが、前記コンピュータに、
対応する前記対象画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成するステップと、
対応する前記対象画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するステップと、
前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定するステップと、をさらに実行させ、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、付記１３から１７のいずれか一項に記載の記憶媒体。
【符号の説明】
【0093】
１０ 対象クリップ
１２ 対象画像
１４ 中央領域
２０ ビデオ
２２ ビデオフレーム
３０ 魚眼カメラ
４０ 人物
５０、１３０、１４０ 行動スコアベクトル５０
６０ 人物クリップ
６２ 人物画像
７０ ネットワーク
８０、９０ 特徴マップ
１００ 中央クリップ
１０２ 中央画像
１１０ パノラマクリップ
１１２ パノラマ画像
２００ 全結合層
２１０ 中間ベクトル
２２０ バウンディングボックス
２３０ 注釈
２４０ マップ
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 行動位置特定装置
２０２０ 取得部
２０４０ 人物クリップ生成部
２０６０ 特徴抽出部
２０８０ スコア計算部
２１００ 位置特定部
２１２０ 中央クリップ生成部
２１４０ パノラマクリップ生成部
２１６０ 魚眼処理部
２１８０ パノラマ処理部
１２ 対象画像
１４ 中央領域
２０ ビデオ
２２ ビデオフレーム
３０ 魚眼カメラ
４０ 人物
５０、１３０、１４０ 行動スコアベクトル５０
６０ 人物クリップ
６２ 人物画像
７０ ネットワーク
８０、９０ 特徴マップ
１００ 中央クリップ
１０２ 中央画像
１１０ パノラマクリップ
１１２ パノラマ画像
２００ 全結合層
２１０ 中間ベクトル
２２０ バウンディングボックス
２３０ 注釈
２４０ マップ
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 行動位置特定装置
２０２０ 取得部
２０４０ 人物クリップ生成部
２０６０ 特徴抽出部
２０８０ スコア計算部
２１００ 位置特定部
２１２０ 中央クリップ生成部
２１４０ パノラマクリップ生成部
２１６０ 魚眼処理部
２１８０ パノラマ処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2024-06-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
１人以上の人物が撮像された魚眼画像のシーケンスである対象クリップを取得する取得手段と、前記対象クリップから検出された各人物について、人物が含まれる領域であって前記魚眼画像の一部の領域のシーケンスを示す人物クリップを生成する人物クリップ生成手段と、
特徴マップを各前記人物クリップから抽出する特徴抽出手段と、
前記特徴マップに基づき、行動の種類を示す行動クラスごとに、前記対象クリップに含まれる前記行動クラスの行動の信頼度を示す行動スコアを計算するスコア計算手段と、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、前記行動スコアが閾値以上である前記行動クラスの各行動の位置を特定する位置特定手段と、を有する、行動位置特定装置。
【請求項2】
前記位置特定手段は、前記人物クリップごとに、前記行動スコアが前記閾値以上である前記行動クラスごとに、前記行動クラスの前記行動スコアと前記人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成し、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定し、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定する、請求項１に記載の行動位置特定装置。
【請求項3】
前記スコア計算手段は、前記人物クリップごとに、前記人物クリップに含まれる前記行動クラスの行動の信頼度を各前記所定の行動クラスについて示す中間ベクトルを計算し、
前記中間ベクトルを、前記所定の行動クラスの前記行動スコアを示す行動スコアベクトルに集約する、請求項１または２に記載の行動位置特定装置。
【請求項4】
前記特徴マップの抽出および前記行動スコアの計算は、予め訓練されたニューラルネットワークによって行われ、前記予め訓練されたニューラルネットワークは、テストクリップと、前記テストクリップに含まれる各前記行動クラスについて最大の信頼度を示すベクトルとを含む訓練データセットを使用して訓練され、前記テストクリップは、１人以上の人物が略上方視点で撮像された魚眼画像を含む、請求項３に記載の行動位置特定装置。
【請求項5】
前記中間ベクトルは、log-sum-exponential 関数を使用して前記行動スコアベクトルに集約される、請求項３または４に記載の行動位置特定装置。
【請求項6】
対応する前記魚眼画像から中心領域を切り取ることによってそれぞれが生成される中央画像のシーケンスである中央クリップを生成する中央クリップ生成手段と、対応する前記魚眼画像をパノラマ画像に変換することによってそれぞれが生成されるパノラマ画像のシーケンスであるパノラマクリップを生成するパノラマクリップ生成手段と、をさらに有し、
前記位置特定手段は、前記中央クリップに含まれる前記行動を位置特定し、前記パノラマクリップに含まれる前記行動を位置特定し、前記中央クリップに含まれる前記行動の位置特定および前記パノラマクリップに含まれる前記行動の位置特定の結果を集約することによって、前記対象クリップに含まれる前記行動を位置特定し、
前記中央クリップに含まれる前記行動の位置特定は、
前記中央クリップから１人以上の人物を検出することと、
前記人物クリップを、前記中央クリップから検出された前記人物ごとに前記中央クリップから生成することと、
前記特徴マップを各前記人物クリップから抽出することと、
前記所定の行動クラスごとに、前記人物クリップから抽出された前記特徴マップに基づいて、前記行動スコアを計算することと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、閾値以上の前記行動スコアを有する行動クラスの各行動を位置特定することと、を含む、請求項１から５のいずれか一項に記載の行動位置特定装置。
【請求項7】
１人以上の人物が撮像された魚眼画像のシーケンスである対象クリップを取得するステップと、前記対象クリップから検出された各人物について、人物が含まれる領域であって前記魚眼画像の一部の領域のシーケンスを示す人物クリップを生成するステップと、
特徴マップを各前記人物クリップから抽出するステップと、
前記特徴マップに基づき、行動の種類を示す行動クラスごとに、前記対象クリップに含まれる前記行動クラスの行動の信頼度を示す行動スコアを計算するステップと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、前記行動スコアが閾値以上である前記行動クラスの各行動の位置を特定するステップと、を含む、コンピュータによって実行される制御方法。
【請求項8】
前記行動の位置の特定は、前記人物クリップごとに、前記行動スコアが前記閾値以上である前記行動クラスごとに、前記行動クラスの前記行動スコアと前記人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、請求項７に記載の制御方法。
【請求項9】
１人以上の人物が撮像された魚眼画像のシーケンスである対象クリップを取得するステップと、前記対象クリップから検出された各人物について、人物が含まれる領域であって前記魚眼画像の一部の領域のシーケンスを示す人物クリップを生成するステップと、
前記特徴マップを各前記人物クリップから抽出するステップと、
前記特徴マップに基づき、行動の種類を示す行動クラスごとに、前記対象クリップに含まれる前記行動クラスの行動の信頼度を示す行動スコアを計算するステップと、
各前記人物クリップに対してクラス活性化マッピングを行うことによって、前記行動スコアが閾値以上である前記行動クラスの各行動の位置を特定するステップと、をコンピュータに実行させる、プログラム。
【請求項10】
前記行動の位置の特定は、前記人物クリップごとに、前記行動スコアが前記閾値以上である前記行動クラスごとに、前記行動クラスの前記行動スコアと前記人物クリップから抽出された前記特徴マップとを使用して、クラス活性化マップを生成することと、
対応する前記行動クラスの前記行動スコアと最も高い関連性を示す前記クラス活性化マップを特定することと、
前記特定されたクラス活性化マップに対応する前記行動クラスが前記人物クリップに含まれる前記行動の前記行動クラスであると特定することと、を含む、請求項９に記載のプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【0004】
【非特許文献1】Junnan Li、Jianquan Liu、Yongkang Wong、Shoji Nishimura、Mohan Kankanhalli、「Weakly-Supervised Multi-Person Action Recognition in 360° Videos」、[online]、２０２０年２月９日、[２０２１年１１月１０日検索]、インターネット<URL: https://arxiv.org/pdf/2002.03266.pdf>
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【0031】
バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００およびネットワークインタフェース１１２０が相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）や ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と、キーボード、マウスもしくはディスプレイデバイスなどの周辺機器との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。いくつかの実装形態では、コンピュータ１０００は、このネットワークを介して魚眼カメラ３０に接続される。ストレージデバイス１０８０は、上述のプログラムを記憶してもよい。プロセッサ１０４０はプログラムを実行して、行動位置特定装置２０００の各機能部を実現する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【0042】
次に、人物クリップ生成部２０４０は、回転した対象画像１２の各々において対象人物が切取り領域に含まれる切取り位置（すなわち、切取り領域の位置）を特定する。次いで、人物クリップ生成部２０４０は、回転した対象画像１２の特定された切取り領域から画像を切り取って人物画像６２を生成し、それによって対象人物の人物クリップ６０を生成する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【0046】
＜行動スコアの計算：Ｓ１１０＞
スコア計算部２０８０は、予め定義された行動クラスについて行動スコアを計算し、それによって行動スコアベクトル５０を計算する（Ｓ１１０）。人物クリップ６０から取得した特徴マップ９０は、行動スコアの計算に使用される。いくつかの実装において、スコア計算部２０８０は、図７に示すように動作してもよい。図７は、特徴マップ９０に基づいて行動スコアを計算する方法の一例を示す。この例では、対象クリップ１０から人物クリップ６０－１から６０－Ｎが取得され、人物クリップ６０－１から６０－Ｎのそれぞれから、特徴マップ９０－１から９０－Ｎが取得される。
スコア計算部２０８０は、予め定義された行動クラスについて行動スコアを計算し、それによって行動スコアベクトル５０を計算する（Ｓ１１０）。人物クリップ６０から取得した特徴マップ９０は、行動スコアの計算に使用される。いくつかの実装において、スコア計算部２０８０は、図７に示すように動作してもよい。図７は、特徴マップ９０に基づいて行動スコアを計算する方法の一例を示す。この例では、対象クリップ１０から人物クリップ６０－１から６０－Ｎが取得され、人物クリップ６０－１から６０－Ｎのそれぞれから、特徴マップ９０－１から９０－Ｎが取得される。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【0055】
位置特定部２１００は、人物クリップ Pi から取得される、行動スコアベクトル５０によって示される Aj の行動スコアと、特徴マップ９０とを使用して、人物クリップ Pi に対してクラス活性化マッピングを行う（Ｓ２０６）。上述したように、クラス活性化マッピングには様々な種類があり、いずれを採用することもできる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【0060】
行動クラス Aj について計算されたクラス活性化マップは、人物クリップ Pi の対象人物が行動クラス Aj の行動をとった場合にのみ、行動クラス Aj の行動スコアとの関連性が高い領域を含むと言える。したがって、対応する行動クラスの行動スコア（行動スコアの予測結果）との関連性が最も高いクラス活性化マップは、人物クリップ Pi において行われた行動の行動クラスに対応するものである。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【0072】
中央クリップ１００は、対象画像１２の中央領域のシーケンスである。中央クリップ１００を生成するために、行動位置特定装置２０００は、対象画像１２の各々から中央領域１４を取り出す。中央クリップ１００は、中央領域１４のシーケンスとして生成される。中央領域１４は、その中心が魚眼カメラ３０の光軸に対応する場所に位置し、予め定義された半径の円形領域である。魚眼カメラ３０の光軸に対応する位置は、非特許文献１に開示されている方法で検出されてもよい。以下、中央クリップ１００に含まれる各画像（すなわち、中央領域１４）を「中央画像１０２」と呼ぶ。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【0074】
魚眼処理は、実施形態１１の行動位置特定装置２０００が対象クリップ１０について行動スコアを計算する方法と同様に、中央クリップ１００から行動スコアを計算する方法である。具体的には、魚眼処理は、１人以上の人物４０を中央クリップ１００から検出することと、人物クリップ６０を中央クリップ１００から検出された人物４０ごとに生成することと、人物クリップ６０の各々から特徴マップ９０を抽出することと、行動スコアを特徴マップ９０に基づいて計算するステップことと、を含む。以下、中央クリップ１００について計算された行動スコアを示すベクトルを「行動スコアベクトル１３０」と呼ぶ。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【0076】
上述したように、行動位置特定装置２０００は、魚眼処理の結果としての行動スコアベクトル１３０と、パノラマ処理の結果としての行動スコアベクトル１４０とを取得する。行動位置特定装置２０００は、行動スコアベクトル１３０および行動スコアベクトル１４０を使用して、対象クリップ１０内の各行動を位置特定する。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【0077】
いくつかの実装において、行動位置特定装置２０００は、図１２に示すように行動スコアベクトル１３０と行動スコアベクトル１４０とを別々に使用する。この場合、行動位置特定装置２０００は、実施形態１１の行動位置特定装置２０００が行動スコアベクトル５０を使用して対象クリップ１０に対して行動位置特定を行う方法と同様の方法で、行動スコアベクトル１３０を使用して、中央クリップ１００に対して行動位置特定を行う。これにより、中央クリップ１００から検出された行動が位置特定される。また、行動位置特定装置２０００は、非特許文献１で開示されている方法と同様の方法で、行動スコアベクトル１４０を使用してパノラマクリップ１１０の行動位置特定を行う。これにより、パノラマクリップ１１０から検出された行動が位置特定される。次いで、行動位置特定装置２０００は、中央クリップ１００に対して行われた行動位置特定の結果と、パノラマクリップ１１０に対して行われた行動位置特定の結果とを集約し、それによって、対象クリップ１０全体について検出された行動クラスの行動を位置特定する。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【0084】
処理の第２のフローは、以下のようにして行われる。パノラマクリップ生成部２１４０は、中央クリップ１００を生成する（Ｓ３１０）。パノラマ処理部２１８０は、パノラマクリップ１１０に対してパノラマ処理を行って、行動スコアベクトル１４０を計算する（Ｓ３１２）。位置特定部２１００は、行動スコアベクトル１４０を使用して、パノラマクリップ１１０について検出された行動クラスの行動を位置特定する（Ｓ３０８）。
【国際調査報告】