特開 2023-48794 特徴量抽出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023048794

(43)【公開日】2023-04-07

(54)【発明の名称】特徴量抽出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230331BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 300F

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021158317

(22)【出願日】2021-09-28

(11)【特許番号】

(45)【特許公報発行日】2022-11-07

(71)【出願人】

【識別番号】513087677

【氏名又は名称】ＰＣＩソリューションズ株式会社

(74)【代理人】

【識別番号】100138519

【弁理士】

【氏名又は名称】奥谷 雅子

(74)【代理人】

【識別番号】100210675

【弁理士】

【氏名又は名称】下山 潤

(72)【発明者】

【氏名】古賀 淳也

(72)【発明者】

【氏名】澤戸 寛明

(72)【発明者】

【氏名】島山 求

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096EA03

5L096EA39

5L096GA08

5L096GA55

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】移動体の様々な動きを精度良く認識するため、入力データから特徴量を抽出する特徴量抽出装置を提供する。
【解決手段】特徴量抽出装置は、解像度別差分データを作成する時系列画像データ特徴量分配部２０と、３次元畳み込み演算を実行して画像サイズ特徴量を抽出する特徴量抽出部１０と、画像サイズ特徴量の各々に対して特徴量を分配し、連結して画像サイズ連結特徴量を生成する特徴量分配連結部３０と、画像サイズ特徴量の各々に対して、重要度の重み付けを行う重要度判断部４０と、を備えている。特徴量抽出部１０は、特徴量連結生成器１１ａ～１１ｄを複数接続することで、各解像度別画像サイズ特徴量を生成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

時系列画像データのフレーム間差分を計算し、前記時系列画像データを解像度別に分配して、解像度別差分データを作成する時系列画像データ特徴量分配部と、
前記時系列画像データ及び／又は前記解像度別差分データに対して３次元畳み込み演算を実行して、画像サイズ特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部から入力される複数の前記画像サイズ特徴量の各々に対して特徴量を分配し、連結した画像サイズ連結特徴量を生成する特徴量分配連結部と、
前記画像サイズ特徴量の各々に対して、機械学習で得られたパラメータにより決定される数値に応じた重み付けを行う重要度判断部と、を備え、
前記特徴量抽出部は、前記画像サイズ連結特徴量と前記解像度別差分データとを連結して新たな画像サイズ特徴量を生成する特徴量連結生成器を複数有し、前記特徴量連結生成器を複数接続して前記画像サイズ特徴量のそれぞれを生成することを特徴とする特徴量抽出装置。

【請求項2】

前記特徴量連結生成器は、前記画像サイズ特徴量を生成するとき、前記特徴量分配連結部で生成された前記画像サイズ連結特徴量をさらに連結することを特徴とする請求項１に記載の特徴量抽出装置。

【請求項3】

前記時系列画像データ特徴量分配部は、特定サイズのフィルタを用いた平均化プーリング処理により前記解像度別差分データを作成する特徴量分配器を複数有し、
前記特徴量分配器を複数接続して前記解像度別差分データを作成することを特徴とする請求項１又は２に記載の特徴量抽出装置。

【請求項4】

前記特徴量分配連結部は、前記特徴量抽出部から入力される前記画像サイズ特徴量を解像度別にダウンサンプリングする畳み込み演算を行い、
生成された前記画像サイズ特徴量を前記重要度判断部に伝達することを特徴とする請求項１～３の何れか１項に記載の特徴量抽出装置。

【請求項5】

前記特徴量分配連結部は、前記畳み込み演算により生成された、同じ画像サイズの前記画像サイズ特徴量を連結して前記画像サイズ連結特徴量を生成することを特徴とする請求項４に記載の特徴量抽出装置。

【請求項6】

前記重要度判断部は、
入力された前記画像サイズ特徴量を連結する特徴量連結器と、
前記特徴量連結器の出力データを変換し、解像度の種類数Ｒのｋ倍（ｋ：チャネル数）のＲ・ｋ長ベクトルを出力する特徴量集約器と、
前記特徴量集約器から出力された前記Ｒ・ｋ長ベクトルに対し、全結合層での処理により、その構成要素が各解像度の重要度を表すＲ長ベクトルを生成する解像度別重要度生成器と、
前記解像度別重要度生成器で生成された前記Ｒ長ベクトルの構成要素の数値を、前記特徴量連結器から出力された値と掛け合わせるスケール器と、を備え、
前記画像サイズ特徴量のそれぞれに対し、各解像度を示すチャネルｋ個を１単位として前記重要度を算出し、重み付けを行うことを特徴とする請求項１～５の何れか１項に記載の特徴量抽出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画等の入力データからその特徴量を抽出する特徴量抽出装置に関する。

【背景技術】

【0002】

従来、移動物体の動きを検知する方法として、動画データに含まれるフレームの画素値の差分を算出して二値化処理を行う方法や、フレーム内から検知対象の画像の特徴を抽出して時系列的にその特徴を追跡する方法等が知られている。

【0003】

また、近年は、ディープニューラルネットワークを利用した機械学習手法が確立されている。特に、静止画や動画等の入力データから特徴量を抽出する手法として、畳み込みニューラルネットワーク（ＣＮＮ:Convolutional Neural Network）が利用されることが多い。

【0004】

畳み込みニューラルネットワークは、一対の畳み込み層（Convolution Layer）とプーリング層（Pooling Layer）からなる多層構造をなしており、畳み込み処理とダウンサンプリング処理を繰り返すことで、入力データからその特徴量を抽出する。抽出された特徴量は、物体認識、物体検出、画像変換等の様々な目的で利用される。また、入力データからより良い特徴量を抽出するため、畳み込みニューラルネットワークの構造や内部の処理方法に様々な工夫がなされている。

【0005】

例えば、下記の特許文献１の画像情報変換器では、複数のマルチスケール変換器を連結している。そして、特徴量生成部及び画像情報生成部において、畳み込み演算によるスケールの異なる解像度の特徴量抽出と、異なるスケールへの振り分けとを繰り返し実行する。画像情報変換器は、異なるスケールの特徴を組み合わせることで、画像情報の複雑な特徴を抽出することができる（特許文献１／段落００１１、図１）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－１２８８８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の手法では、各解像度に応じた特徴量が最終的なデータに反映されていないため、移動物体の大まかな動きは認識できるが、細かな動きは正確に認識できない等の問題が生じる可能性があった。

【0008】

本発明は、このような事情に鑑みてなされたものであり、入力データからその特徴量を精度良く抽出する特徴量抽出装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の特徴量抽出装置は、時系列画像データのフレーム間差分を計算し、前記時系列画像データを解像度別に分配して、解像度別差分データを作成する時系列画像データ特徴量分配部と、前記時系列画像データ及び／又は前記解像度別差分データに対して３次元畳み込み演算を実行して、画像サイズ特徴量を抽出する特徴量抽出部と、前記特徴量抽出部から入力される複数の前記画像サイズ特徴量の各々に対して解像度別に特徴量を分配した画像サイズ特徴量と、前記画像サイズ特徴量を連結した画像サイズ連結特徴量とを生成する特徴量分配連結部と、前記画像サイズ特徴量の各々に対して、機械学習で得られたパラメータにより決定される数値に応じた重み付けを行う重要度判断部と、を備え、
前記特徴量抽出部は、前記画像サイズ連結特徴量と前記解像度別差分データとを連結して新たな画像サイズ特徴量を生成する特徴量連結生成器を複数有し、前記特徴量連結生成器を複数接続して前記画像サイズ特徴量のそれぞれを生成することを特徴とする。

【0010】

本発明において、特徴量抽出部は、特徴量連結生成器を複数連結した構造となっており、３次元畳み込み演算により複数の画像サイズ特徴量を抽出する。また、特徴量抽出部は、抽出した画像サイズ特徴量と、時系列画像データ特徴量分配部で作成された解像度別差分データとを画像サイズ別に連結することで、新たな画像サイズ特徴量を生成する。

【0011】

特徴量分配連結部は、特徴量抽出部からの画像サイズ特徴量を連結した画像サイズ連結特徴量を生成する。さらに、重要度判断部は、画像サイズ特徴量の各々に対して前記パラメータから決定される数値に応じて重み付けをする。これにより、解像度別に特徴量をまとめた画像サイズ特徴量が生成され、これらは機械学習に利用することができる。

【0012】

本発明の特徴量抽出装置において、前記特徴量連結生成器は、前記画像サイズ特徴量を生成するとき、前記特徴量分配連結部で生成された前記画像サイズ連結特徴量をさらに連結することが好ましい。

【0013】

特徴量抽出部の特徴量連結生成器は、新たな画像サイズ特徴量を生成するとき、特徴量分配連結部で生成された画像サイズ連結特徴量をさらに連結する。このため、より高解像度の情報を加えた画像サイズ特徴量を生成することができる。

【0014】

また、本発明の特徴量抽出装置において、前記時系列画像データ特徴量分配部は、特定サイズのフィルタを用いた平均化プーリング処理により前記解像度別差分データを作成する特徴量分配器を複数有し、前記特徴量分配器を複数接続して前記解像度別差分データを作成することが好ましい。

【0015】

時系列画像データ特徴量分配部は、特徴量分配器を複数連結した構造となっており、特定サイズのフィルタを用いて、時系列画像データの平均化プーリング処理を行う。これにより、大きさや移動量が異なる物体の認識のため、解像度別差分データを作成することができる。

【0016】

また、本発明の特徴量抽出装置において、前記特徴量分配連結部は、前記特徴量抽出部から入力される前記画像サイズ特徴量を解像度別にダウンサンプリングする畳み込み演算を行い、生成された前記画像サイズ特徴量を前記重要度判断部に伝達することが好ましい。

【0017】

特徴量分配連結部は、解像度別に分離独立した経路を通過し、畳み込み演算が行われるため、各解像度の情報が保持された画像サイズ特徴量が生成され、これを重要度判断部に伝達することができる。

【0018】

また、本発明の特徴量抽出装置において、前記特徴量分配連結部は、前記畳み込み演算により生成された、同じ画像サイズの前記画像サイズ特徴量を連結して前記画像サイズ連結特徴量を生成することが好ましい。

【0019】

畳み込み演算を行うと、出力される画像サイズ特徴量は入力された画像サイズ特徴量からサイズ変更される。特徴量分配連結部は、同じ画像サイズの画像サイズ特徴量を連結して、新たな画像サイズ連結特徴量を生成することができる。

【0020】

また、本発明の特徴量抽出装置において、前記重要度判断部は、入力された前記画像サイズ特徴量を連結する特徴量連結器と、前記特徴量連結器の出力データを変換し、解像度の種類数Ｒのｋ倍（ｋ：チャネル数）のＲ・ｋ長ベクトルを出力する特徴量集約器と、前記特徴量集約器から出力された前記Ｒ・ｋ長ベクトルに対し、全結合層での処理により、その構成要素が各解像度の重要度を表すＲ長ベクトルを生成する解像度別重要度生成器と、前記解像度別重要度生成器で生成された前記Ｒ長ベクトルの構成要素の数値を、前記特徴量連結器から出力された値と掛け合わせるスケール器と、を備え、
前記画像サイズ特徴量のそれぞれに対し、各解像度を示すチャネルｋ個を１単位として前記重要度を算出し、重み付けを行うことが好ましい。

【0021】

重要度判断部では、特徴量連結器が入力された画像サイズ特徴量を連結し、連結したデータを特徴量集約器に出力する。特徴量集約器は、当該出力データから解像度の種類数（Ｒ）とチャネル数（ｋ）に応じたＲ・ｋ長ベクトルを出力し、これを解像度別重要度生成器に出力する。

【0022】

また、解像度別重要度生成器は、当該Ｒ・ｋ長ベクトルを変換して、その構成要素が各解像度の重要度を表すＲ長ベクトルを生成し、これをスケール器に出力する。最後に、スケール器は、Ｒ長ベクトルの構成要素の数値と特徴量連結器から出力された数値と掛け合わせ、画像サイズ特徴量に対して重み付けを行う。これにより、重要度判断部は、解像度別の重要度によって重み付けがなされた最終的な特徴量データを抽出することができる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る特徴量抽出装置の概要を説明する図。

【図2】特徴量抽出部の概要を説明する図。

【図3】特徴量抽出部の詳細を説明する図。

【図4】時系列画像データ特徴量分配部の概要を説明する図。

【図5】時系列画像データ特徴量分配部での処理の詳細を説明する図。

【図6】特徴量分配連結部の概要を説明する図。

【図7】特徴量分配連結部の前後で行われる処理を説明する図。

【図8】重要度判断部の概要を説明する図。

【図9】重要度判断部の特徴量集約器を説明する図。

【図10】重要度判断部の解像度別重要度生成器を説明する図。

【図11】重要度判断部のスケール器を説明する図。

【発明を実施するための形態】

【0024】

以下では、図面を参照しながら、本発明の実施形態に係る特徴量抽出装置１００を説明する。

【0025】

図１は、特徴量抽出装置１００の概要を示している。特徴量抽出装置１００は、車両等の移動体の動きを精度良く認識するため、時系列画像データから特徴量を抽出する。最終的に生成された特徴量データは、移動体の動きを認識する情報として利用することができる。特徴量抽出装置１００は、特徴量抽出部１０と、時系列画像データ特徴量分配部２０と、特徴量分配連結部３０と、重要度判断部４０とから構成されている。

【0026】

（特徴量抽出部１０）
特徴量抽出部１０は、機械学習の１つである畳み込みニューラルネットワーク（以下、ＣＮＮという）により、入力データＤ及び１／１解像度差分データＤ１（詳細は後述する）に対して３次元の畳み込み演算を実行し、特徴量を抽出する。

【0027】

特徴量抽出部１０は、コンボリューション層における畳み込み演算により、入力画像の画像サイズを徐々に浅い層から深い層に向かって縮小していくことで特徴量を抽出する。

【0028】

ここで、図２及び図３を参照して、特徴量抽出部１０の詳細について説明する。

【0029】

図２に示すように、特徴量抽出部１０は特徴量連結生成器１１ａ～１１ｄを有し、これらを連結して構成されている。まず、特徴量連結生成器１１ａに、画像サイズが１（Ｔ，Ｈ，Ｗ，Ｃ）の差分データである１／１解像度差分データＤ１が入力される。ここで、「Ｔ」はＴｉｍｅ、「Ｈ」はＨｅｉｇｈｔ、「Ｗ」はＷｉｄｔｈ、「Ｃ」はＣｈａｎｎｅｌを意味し、それぞれ特徴量データの構成要素である。

【0030】

その後、特徴量連結生成器１１ａは、学習済みパラメータを用いた畳み込み演算により、画像サイズが１／２（Ｔ，Ｈ／２，Ｗ／２，Ｃ）の１／２画像サイズ特徴量Ｆ１を生成する。学習済みパラメータとは、出力精度を高めるため、ニューラルネットワークの各層が有する「重み」と「バイアス」のことである。

【0031】

特徴量連結生成器１１ａは、特徴量連結器１２ａと、特徴量抽出器１３ａとで構成されている。特徴量連結器１２ａでは、入力データＤと１／１解像度画像データＤ１とが連結される。これ以降、画像データの「連結」とは、チャネル方向への連結を意味する。また、特徴量抽出器１３ａが１／２画像サイズ特徴量Ｆ１を生成する。

【0032】

図３は、特徴量抽出器１３ａの詳細を示している。特徴量抽出器１３ａは、３次元畳み込み層と、空間ｄｓ（ダウンサンプリング）３次元畳み込み層とで構成されている。カッコ内は、それぞれフィルタサイズ、ストライド数、入力チャネル数、出力チャネル数を示す。なお、この３次元畳み込み層には、（フィルタサイズ×入力チャネル数×出力チャネル数）個の学習済みパラメータが存在する。

【0033】

また、「ＲｅＬＵ（Rectified Linear Unit）」は、活性化関数（層間をどのように電気信号を伝搬させるかを調整する関数）の１つである。必要に応じて、バッチ正規化層（Batch Normalization）を追加してもよい。

【0034】

入力データＤは、その形状が（Ｔ，Ｈ，Ｗ）、チャネル数が「１」のグレースケールの動画データである（shape=（Ｔ，Ｈ，Ｗ，１））。時系列画像データ特徴量分配部２０から特徴量連結器１２ａに延びる矢印の添え字はチャネル数を意味する（ここでは「１」）。入力データＤと時系列画像データ特徴量分配部２０からの差分データが特徴量連結器１２ａで連結され、特徴量抽出器１３ａの３次元畳み込み層に入力される（入力チャネル数「２」）。

【0035】

なお、３次元畳み込み層で用いる出力チャネル数を「３２」としているが、これは予め設定した任意の値である。特徴量連結器１２ａで連結された特徴量は、３次元畳み込み層により一度チャネル数が「３２」に拡張され、次段の空間ｄｓ３次元畳み込み層のフィルタ数を「ｋ（設定値）」に絞るため、特徴量抽出器１３ａの出力チャネル数は「ｋ」となる。ここでは、入力となる特徴量のＦ,Ｈ,Ｗ方向へゼロパディング処理を実行して、同方向軸への入力と出力のサイズが同じになるようしている。

【0036】

「ｋ」は４,８,１６等のより小さな値が好ましい。また、空間ｄｓ３次元畳み込み層では、stride=(１,２,２)（それぞれＴ,Ｈ,Ｗ）に設定されていることでＨ,Ｗ方向のみ縮小を行い、Ｔに関しては入力と出力とが同値になる。なお、後述する解像度別特徴量分配器３１ａ～３１ｃ,３２ａ～３２ｂ，３３ａも同様で、このストライド設定により特徴量抽出部１０、特徴量分配連結部３０で扱われる特徴量の時間軸がＴで維持される。

【0037】

図２に戻り、次段の特徴量連結生成器１１ｂに、特徴量連結生成器１１ａによって生成された１／２画像サイズ特徴量Ｆ１が入力される。そして、畳み込み演算により画像サイズが１／４（Ｔ，Ｈ／４，Ｗ／４，Ｃ）の１／４画像サイズ特徴量Ｆ２が生成される。

【0038】

特徴量連結生成器１１ｂは、特徴量連結器１２ｂと特徴量抽出器１３ｂとで構成されている。特徴量連結器１２ｂは、同じ画像サイズの１／２画像サイズ特徴量Ｆ１と、時系列画像データ特徴量分配部２０からの１／２解像度差分データＤ２を連結する。また、特徴量抽出器１３ｂが１／４画像サイズ特徴量Ｆ２を生成する。

【0039】

図３に示すように、特徴量抽出器１３ｂは、３次元畳み込み層と空間ｄｓ３次元畳み込み層とで構成されている。なお、特徴量抽出器１３ａからの１／２画像サイズ特徴量Ｆ１（チャネル数「ｋ」）と時系列画像データ特徴量分配部２０からの１／２解像度差分データＤ２（チャネル数「１」）が特徴量連結器１２ｂで連結され、特徴量抽出器１３ｂの３次元畳み込み層に入力される（入力チャネル数「ｋ＋１」）。

【0040】

さらに、次段の特徴量連結生成器１１ｃに、特徴量連結生成器１１ｂによって生成された１／４画像サイズ特徴量Ｆ２が入力される。そして、畳み込み演算により画像サイズが１／８（Ｔ，Ｈ／８，Ｗ／８，Ｃ）である１／８画像サイズ特徴量Ｆ３が生成される。

【0041】

特徴量連結生成器１１ｃは、特徴量連結器１２ｃと、特徴量抽出器１３ｃとで構成されている。特徴量連結器１２ｃは、同じ画像サイズの１／４画像サイズ特徴量Ｆ２と、時系列画像データ特徴量分配部２０からの１／４解像度差分データＤ３と、特徴量分配連結部３０からの１／４画像サイズ連結特徴量Ｇ１（詳細は後述する）とを連結する。また、特徴量抽出器１３ｃが１／８画像サイズ特徴量Ｆ３を生成する。

【0042】

図３に示すように、特徴量抽出器１３ｃは、３次元畳み込み層と空間ｄｓ３次元畳み込み層とで構成されている。なお、特徴量抽出器１３ｂからの１／４画像サイズ特徴量Ｆ２（チャネル数「ｋ」）と、時系列画像データ特徴量分配部２０からの１／４解像度差分データＤ２（チャネル数「１」）と、特徴量分配連結部３０からの１／４画像サイズ連結特徴量Ｇ１（チャネル数「ｋ」）が特徴量連結器１２ｃで連結され、特徴量抽出器１３ｃの３次元畳み込み層に入力される（入力チャネル数「２ｋ＋１」）。

【0043】

最終段の特徴量連結生成器１１ｄには、特徴量連結生成器１１ｃによって生成された１／８画像サイズ特徴量Ｆ３が入力される。そして、畳み込み演算により画像サイズが１／１６（Ｔ，Ｈ／１６，Ｗ／１６，Ｃ）の１／１６画像サイズ特徴量Ｆ４が生成される。

【0044】

特徴量連結生成器１１ｄは、特徴量連結器１２ｄと、特徴量抽出器１３ｄとで構成されている。特徴量連結器１２ｄは、同じ画像サイズの１／８画像サイズ特徴量Ｆ３と、時系列画像データ特徴量分配部２０からの１／８解像度差分データＤ４と、特徴量分配連結部３０からの１／８画像サイズ連結特徴量Ｇ２（詳細は後述する）とを連結する。そして、特徴量抽出器１３ｄが１／１６画像サイズ特徴量Ｆ４を生成し、重要度判断部４０に出力する。

【0045】

図３に示すように、特徴量抽出器１３ｄは、３次元畳み込み層と空間ｄｓ３次元畳み込み層とで構成されている。なお、特徴量抽出器１３ｃからの画像サイズ特徴量Ｆ３（チャネル数「ｋ」）と時系列画像データ特徴量分配部２０からの画像データＤ３（チャネル数「１」）と特徴量分配連結部３０からの画像データＧ２（チャネル数「２ｋ」）が特徴量連結器１２ｄで連結され、特徴量抽出器１３ｄの３次元畳み込み層に入力される（入力チャネル数「３ｋ＋１」）。

【0046】

（時系列画像データ特徴量分配部２０）
時系列画像データ特徴量分配部２０は、１／１解像度差分データＤ１に基づいて、特徴量抽出部１０の入力特徴量に応じた次元の画像情報に分配する装置である。

【0047】

１／１解像度画像データＤ１の画像サイズを縮小するためには、コンボリューション層による畳み込み演算ではなく、平均値を演算するプーリング層による平均化プーリング処理を実行することが好ましい。その際、プーリング実行時のストライドは、（Ｔ，Ｈ，Ｗ）＝（１，２，２）のように画像サイズのみが縮小されるように設定する。

【0048】

次に、図４及び図５を参照して、時系列画像データ特徴量分配部２０の詳細について説明する。

【0049】

図４に示すように、時系列画像データ特徴量分配部２０は、特徴量分配器２１ａ～２１ｃで構成されている。特徴量分配器２１ａは、例えば、時刻Ｔ１のときの画像フレームと、その後の時刻Ｔ２のときの画像フレームのフレーム間差分をとった１／１解像度差分データＤ１（Ｔ＝８であれば、８フレーム分）に対して、カーネルサイズが（１，２，２）、ストライドが（１，２，２）の平均化プーリング処理を実行する。これにより、特徴量分配器２１ａは、画像サイズが１／２の（Ｔ，Ｈ／２，Ｗ／２，Ｃ）の１／２解像度差分データＤ２を作成する。

【0050】

差分データは動画データのフレーム間差分であり、動作のない背景等の情報を除外し、フレーム間で変化のある移動体情報のみを残したものである。差分データは、移動体の形状、大きさ、その移動量等の変化パターンによって特徴的な空間情報を示す。平均化プーリング処理は段階的に実行されるため（図５参照）、作成される解像度別差分データのそれぞれは、物体の大きさや移動量に対して異なる挙動を示す。

【0051】

例えば、高解像度の差分データは、物体の移動の詳細（移動前後の位置情報等）や、複数の物体が同時に移動する場合にその特徴を捕らえることができる。なお、段階的な平均化プーリング処理を実行していく中で、その処理回数が少ないものほど高解像度の差分情報が残るため、「高解像度の差分データ」となる。また、平均化プーリング処理を繰り返すほど解像度が低下するため、「低解像度の差分データ」となる。

【0052】

低解像度の差分データは、物体な大まかな動きをより少ない情報で捕らえたり、逆に小さな動きを捕らえないようにしたりすることで移動量フィルタリングの役割を担うこともできる。また、低解像度の差分データは、撮影時の振動等によりフレーム間で小さなブレが生じる状況で、その位置ずれを吸収することができる。

【0053】

これらの情報によって物体（移動体）の判定を行うニューラルネットワークは、より高度な学習及び推論を行うことができる。

【0054】

ここで、図５に、時系列画像データ特徴量分配部２０の処理の詳細を示す。まず、入力データＤ（shape=（Ｔ，Ｈ，Ｗ，１））を用いて、隣接フレーム間差分（出力解像度：１／１（Ｆｕｌｌ））を計算する。その後、特徴量分配器２１ａにて上述の平均化プーリングが行われる。また、特徴量分配器２１ａで作成された１／２解像度差分データＤ２は、特徴量抽出部１０に出力される。

【0055】

次段の特徴量分配器２１ｂは、１／２解像度差分データＤ２に対して、平均化プーリング処理を実行することで、解像度が１／４（Ｔ，Ｈ／４，Ｗ／４，Ｃ）の１／４解像度差分データＤ３を作成する。また、特徴量分配器２１ｂで作成された１／４解像度差分データＤ３は、特徴量抽出部１０に出力される。

【0056】

最終段の特徴量分配器２１ｃは、１／４解像度差分データＤ３に対して、平均化プーリング処理を実行することで、解像度が１／８（Ｔ，Ｈ／８，Ｗ／８，Ｃ）の１／８解像度差分データＤ４を作成する。また、特徴量分配器２１ｃで作成された１／８解像度差分データＤ４は、特徴量抽出部１０に出力される。

【0057】

なお、図４では、特徴量分配器が３段で構成されているが、ｎ（ｎ≧４）段の構成としてもよい。この場合、ｎ段目の特徴量分配器で作成された１／ｎ解像度差分データＤｎ（出力解像度＝１／ｎ）が特徴量抽出部１０に出力される（図５参照）。

【0058】

（特徴量分配連結部３０）
特徴量分配連結部３０は、特徴量抽出部１０から入力された画像サイズ特徴量Ｆ１～Ｆ３の各々に対して解像度別に特徴量を分配し、さらに解像度別に特徴量を連結して新たな画像サイズ特徴量を生成する。

【0059】

また、特徴量分配連結部３０は、画像サイズ特徴量Ｆ１～Ｆ３の各々に対して、解像度別にダウンサンプリングする畳み込み演算を行う。特徴量分配連結部３０は、解像度別に分離独立した経路において処理することで、各解像度の情報を保持した画像サイズ特徴量を重要度判断部４０に伝達することができる。

【0060】

次に、図６及び図７を参照して、特徴量分配連結部３０の詳細について説明する。

【0061】

図６に示すように、特徴量分配連結部３０は、解像度別特徴量伝達器３（解像度別特徴量分配器３１ａ～３１ｃ）、解像度別特徴量伝達器３２（解像度別特徴量分配器３２ａ，３２ｂ）、解像度別特徴量伝達器３３（解像度別特徴量分配器３３ａ）と、特徴量連結器３５ａ，３５ｂとで構成されている。本実施形態の特徴量分配連結部３０において、解像度別特徴量分配器は、空間方向のストライドを２に設定した畳み込み演算（ストライド（Ｔ，Ｈ，Ｗ）＝（１，２，２））により特徴量を抽出しつつ、画像サイズのダウンサンプリングを実行する。

【0062】

解像度別特徴量伝達器３１に１／１解像度の情報を保持した１／２画像サイズ特徴量Ｆ１が入力されると、解像度別特徴量分配器３１ａは、画像サイズが１／４の１／４画像サイズ特徴量Ｆ１２を生成する。また、特徴量連結器３５ａは、画像サイズが１／４の１／４画像サイズ特徴量Ｇ１を生成し、特徴量抽出部１０（特徴量連結器１２ｃ）に出力する。なお、特徴量連結器３５ａは形式上存在しているものの、連結対象が１／４画像サイズ特徴量Ｆ１２のみであるため、ここでは特に処理を行わない。

【0063】

解像度別特徴量分配器３１ｂは、畳み込み演算を実行して１／４画像サイズ特徴量Ｆ１２から画像サイズが１／８の１／８画像サイズ特徴量Ｆ１３を生成する。

【0064】

また、解像度別特徴量伝達器３２に１／２解像度の情報を保持した１／４画像サイズ特徴量Ｆ２が入力されると、解像度別特徴量分配器３２ａは、畳み込み演算を実行して１／４画像サイズ特徴量Ｆ２から画像サイズが１／８の１／８画像サイズ特徴量Ｆ２３を生成する。

【0065】

そして、特徴量連結器３５ｂは、画像サイズが同じ１／８である１／８画像サイズ特徴量Ｆ１３と、１／８画像サイズ特徴量Ｆ２３とを連結して１／８画像サイズ連結特徴量Ｇ２を生成し、特徴量抽出部１０（特徴量連結器１２ｄ）に出力する。

【0066】

解像度別特徴量分配器３１ｃは、畳み込み演算を実行して画像サイズ特徴量Ｆ１３から画像サイズが１／１６である１／１６画像サイズ特徴量Ｆ１４を生成する。１／１６画像サイズ特徴量Ｆ１４は、１／１解像度の情報を保持している。

【0067】

また、解像度別特徴量分配器３２ｂは、畳み込み演算を実行して１／８画像サイズ特徴量Ｆ２３から画像サイズが１／１６である１／１６画像サイズ特徴量Ｆ２４を生成する。１／１６画像サイズ特徴量Ｆ１４及び１／１６画像サイズ特徴量Ｆ２４は、重要度判断部４０に出力される。１／１６画像サイズ特徴量Ｆ２４は、１／２解像度の情報を保持している。

【0068】

また、解像度別特徴量伝達器３３に１／４解像度の情報を保持した１／８画像サイズ特徴量Ｆ３が入力されると、解像度別特徴量分配器３３ａは、畳み込み演算を実行して１／８画像サイズ特徴量Ｆ３から画像サイズが１／１６である１／１６画像サイズ特徴量Ｆ３４を生成する。１／１６画像サイズ特徴量Ｆ３４は、１／４解像度の情報を保持している。

【0069】

ここで、図７に、特徴量分配連結部３０の前後で行われる処理を説明する。解像度別特徴量分配器３１ａ～３１ｃ，３２ａ，３２ｂ，３３ａは、それぞれ空間ｄｓ（ダウンサンプリング）３次元畳み込み層（フィルタサイズ（３×３×３）、ストライド数（１，２，２）、入力チャネル数＝ｋ、出力チャネル数＝ｋ、ＲｅＬＵ）である。ここでも、必要に応じてバッチ正規化層（Batch Normalization）を追加してもよい。

【0070】

解像度別特徴量分配器３１ａ～３１ｃを含む解像度別特徴量伝達器３１は、より高解像度の情報（１／１解像度の情報）を保持し、重要度判断部４０に伝達するため、撮像領域内の移動体の小さな動きを検出することができる。また、解像度別特徴量分配器３２ａ，３２ｂを含む解像度別特徴量伝達器３２は、中解像度の情報（１／２解像度の情報）を保持し、重要度判断部４０に伝達する。さらに、解像度別特徴量分配器３３ａを含む解像度別特徴量伝達器３３は、より低解像度の情報（１／４解像度の情報）を保持し、重要度判断部４０に伝達するため、撮像領域内の移動体の大きな動きを検出することができる。もちろん、ネットワークの長さによっては、解像度別特徴量伝達器がさらに必要となる。

【0071】

ネットワーク全体で解像度が高い方から低い方へのフィードフォワードが保たれている（解像度が低い方から高い方への接続なし）ため、解像度別特徴量伝達器３１～３３内の各パスでは、特徴量抽出部１０で与えられた解像度の移動体情報が保持される。

【0072】

（重要度判断部４０）
重要度判断部４０は、特徴量分配連結部３０から出力された１／１６画像サイズ特徴量Ｆ１４，Ｆ２４，Ｆ３４（図６参照）等に対して、学習済みパラメータにより決定される重要度に基づいて重み付けを行う。なお、学習済みパラメータは、解像度別に重要度を算出できるように学習されたパラメータである。

【0073】

ここで、図８～図１１を参照して、重要度判断部４０の詳細について説明する。

【0074】

図８に示すように、重要度判断部４０は、特徴量連結器４１と、特徴量集約器４２と、解像度別重要度生成器４３と、スケール器４４とで構成されている。重要度判断部４０には、特徴量分配連結部３０から１／１６画像サイズ特徴量Ｆ１４，Ｆ２４，Ｆ３４が入力され（図６参照）、特徴量抽出部１０から１／１６画像サイズ特徴量Ｆ４が入力される（図２参照）。これらは、全て１／１６の画像サイズ特徴量であり、重要度判断部４０は、１／１６画像サイズ特徴量Ｆ４，Ｆ１４，Ｆ２４，Ｆ３４の各々に重要度に基づいて重み付けを行い、最終的な特徴量データとする。

【0075】

特徴量連結器４１は、画像サイズ特徴量Ｆ４，Ｆ１４，Ｆ２４，Ｆ３４を連結し、生成した連結特徴量を特徴量集約器４２に出力する。ここで出力された連結特徴量は、特徴量集約器４２の重要度算出に用いられる。また、特徴量連結器４１は、連結特徴量をスケール器４４にも出力する。この連結特徴量は、スケール器４４において重み付けをされる対象となる。

【0076】

特徴量集約器４２は、特徴量連結器４１からの連結特徴量をＲ・ｋ長ベクトルに変換する。特徴量集約器４２が処理を行う際、深さ方向３次元畳み込み（入力チャネル同士の隔離が保たれる手法）を実行する。これは、異なる解像度の情報を持つ各チャネルが、特徴量集約器４２の処理によって混合又は結合されないようにするためである。

【0077】

図９は、特徴量集約器４２の詳細を示している。特徴量集約器４２は、深さ方向３次元畳み込み層と、グローバル平均化プーリング層とで構成されている。深さ方向３次元畳み込み層（depthwise 3D convolution layer）は、チャネル毎に畳み込み処理を行うため、フィルタ演算の結果がチャネル毎に独立し、交差しないという特性を有する。今回は、各々のチャネルが異なる解像度の情報を有しているため、解像度別に分離して処理する。なお、グローバル平均化プーリング層は、チャネル毎にチャネル内の数値の平均値をとり、チャネル順に並べることでチャネル数次元のベクトルを出力する層と定義することができる。

【0078】

また、特徴量集約器４２において、深さ方向３次元畳み込み層のフィルタサイズを(Ｔ×１×１)に設定することで、Ｔ方向の次元を「１」、すなわち奥行なしのデータに圧縮する（pointwise convolution）。具体的には、入力した連結特徴量へのゼロパディング（padding=None）を行わずに、(Ｔ×１×１)のフィルタで深さ方向３次元畳み込み演算を行う。これにより、続くグローバル平均化プーリング層での単純な平均化処理による情報欠落を抑えることができる。

【0079】

図１０は、解像度別重要度生成器４３の詳細を示している。解像度別重要度生成器４３は、特徴量集約器４２から入力したＲ・ｋ長ベクトルに対し、全結合層（ニューラルネットワークを構成する層の１つ）での処理により、Ｒ長ベクトルを生成する（図８参照）。解像度別重要度生成器４３は、最終的にシグモイド関数により０～１の数値に変換する処理を行うが、構成要素の数値は対応する解像度の重要度を表している。

【0080】

図１１は、スケール器４４の詳細を示している。スケール器４４は、特徴量拡張器４４ａと乗算器４４ｂとで構成されている。

【0081】

まず、特徴量拡張器４４ａは、Ｒ長ベクトルを特徴量連結器４１からの入力サイズへ一致させると同時に、Ｒ長ベクトルの各要素を対応する解像度の位置へ一致させる。そのために、例えば、Ｒ長ベクトルを１×１×１×Ｒとして各要素をチャネル方向へｋ個に拡張(１×１×１×Ｒ・ｋ)した後、拡張後の各要素を更に(Ｔ,Ｈ,Ｗ)の形状へサイズ拡張(Ｔ×Ｈ×Ｗ×Ｒ・ｋ)するといった手法を取ることができる。

【0082】

乗算器４４ｂは、Ｒ長ベクトルを特徴量連結器４１から出力された特徴量と同じ形状へ拡張変換後に掛け合わせることで重要度の重み付けを行い、重要度判断部４０の出力とする。以上の各処理により、各解像度における情報を保持した最終特徴量データを作成することができる。最終特徴量データを用いれば、入力データ（数フレームの動画データ）から所定の判定を行う際、今回の判定に必要な解像度を重み付けにより選択することができ、効率的な機械学習を行うことができる。

【0083】

本発明は上記実施形態及び変更形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

【符号の説明】

【0084】

１０…特徴量抽出部、１１ａ～１１ｄ…特徴量連結生成器、１２ａ～１２ｄ…特徴量連結器、１３ａ～１３ｄ…特徴量抽出器、２０…時系列画像データ特徴量分配部、２１ａ～２１ｃ…特徴量分配器、３０…特徴量分配連結部、３１～３３…解像度別特徴量伝達器、３１ａ～３１ｃ，３２ａ，３２ｂ，３３ａ…解像度別特徴量分配器、３５ａ，３５ｂ…特徴量連結器、４０…重要度判断部、４１…特徴量連結器、４２…特徴量集約器、４３…解像度別重要度生成器、４４…スケール器、１００…特徴量抽出装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】