特許 7216264 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-24

(45)【発行日】2023-02-01

(54)【発明の名称】平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230125BHJP

   G06F 17/10 20060101ALI20230125BHJP

   G06N 20/00 20190101ALI20230125BHJP

   G06N 3/02 20060101ALI20230125BHJP

   G06N 10/00 20220101ALI20230125BHJP

【ＦＩ】

G06T7/00 350C

G06F17/10 A

G06N20/00

G06N3/02

G06N10/00

【請求項の数】 15

(21)【出願番号】P 2020062483

(22)【出願日】2020-03-31

(65)【公開番号】P2021163038

(43)【公開日】2021-10-11

【審査請求日】2020-08-26

(73)【特許権者】

【識別番号】391016358

【氏名又は名称】東芝情報システム株式会社

(73)【特許権者】

【識別番号】593125104

【氏名又は名称】株式会社システム計画研究所

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100074147

【弁理士】

【氏名又は名称】本田 崇

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】富樫 政寛

(72)【発明者】

【氏名】小林 正太

(72)【発明者】

【氏名】久野 祐輔

(72)【発明者】

【氏名】森 洵平

【審査官】宮島 潤

(56)【参考文献】

【文献】特表２０１９－５０４６５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｆ １７／００ － １７／１８

Ｇ０６Ｎ ３／００ － ３／１２

Ｇ０６Ｎ ７／０８ － ９９／００

(57)【特許請求の範囲】

【請求項1】

入力される予測対象の物理的状態と位置を表す数値データを平面上に配置した平面データについて、その数値を所定範囲の数値に収める規格化を行う前処理部と、
規格化された前記平面データの空間解像度を低下させたデータである特徴量データを得るエンコーダと、
前記特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めるデコーダと、
前記デコーダの出力に対して、前記前処理部が行った規格化と逆の処理を行って前記前処理部の規格化前の数値の範囲に戻した平面データである予測平面データを作成する後処理部と
を具備し、
前記エンコーダは、時系列で現在と過去の平面データが入力されると、時間的に所定範囲の平面データを１枚の大きな平面データに連結してエンコードを行い、
前記デコーダは、前記特徴量データに基づき現在より未来の平面データの各値を有する前記予測データを求める機械学習を採用して前記予測データを求める
ことを特徴とする平面データ処理装置。

【請求項2】

前記エンコーダは、前記予測対象の物理的状態である形状特徴データと平面データを構成する各データの平面上の位置を特徴量データとした位置特徴データを含む特徴量データを抽出することを特徴とする請求項１に記載の平面データ処理装置。

【請求項3】

前記エンコーダは、平面データに対し、幅方向にＸ区画と、高さ方向にＹ区画とのＸ×Ｙの区画に値を有するフィルタを、奥行を示すチャネル方向にＺチャネル備えたフィルタを適用して畳み込みを行う畳み込みニューラルネットワークであって、時系列に並ぶ平面データを時系列方向に連結して各平面データ内を複数の区画に区分し、その１区画の数値を１つのフィルタに適用して１つの数値を出力するフィルタ処理を行うフィルタ処理部を含む畳み込みニューラルネットワークにより構成され、
前記フィルタ処理部は、時系列ｔ０、ｔ１、ｔ２、・・・に入力される平面データを処理するときには、最初の時刻ｔ０の平面データの端から矩形領域（１区画）のデータを取り出し、前記チャネル方向の先頭のフィルタを用いて処理を行い、１区画目の処理を完了し、
次に前記１区画目の幅方向に隣接する２区画目となる矩形領域（１区画）のデータを取り出し、前記チャネル方向の先頭のフィルタを用いて処理を行い、２区画目の処理を完了し、以下同様に幅方向に隣接する区画目のデータの処理を行い、幅方向の矩形領域を１つの高さ方向で終了すると次の高さ方向へ進みこの高さの矩形領域を幅方向に進んで処理し、以下同様に、最初の時刻ｔ０の平面データの全区画のデータに対して処理を行い、１枚の平面データの処理を完了し、この最初の時刻ｔ０の平面データは、前記チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下前記チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行い、
一方、時系列ｔ１に入力される平面データは、前記チャネル方向の先頭のフィルタを用いて処理を行い、全区画の処理が完了すると、時系列ｔ０に入力される平面データの処理に続いて前記チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下前記チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行うことにより、前記時系列に並ぶ平面データの全区画に対し前記フィルタ処理を行うことを
特徴とする請求項１または２に記載の平面データ処理装置。

【請求項4】

前記エンコーダは、複数の畳み込みニューラルネットワークにより構成され、
前記複数の畳み込みニューラルネットワークのそれぞれは、前記前処理部から異なる時の規格化された平面データを受けて、並列処理を行うことを特徴とする請求項１に記載の平面データ処理装置。

【請求項5】

前記複数の畳み込みニューラルネットワークの前記エンコーダにより並列処理された結果に係る複数の前記特徴量データを、１面上に１まとまりに並べて連結する連結部を備え、
前記デコーダは、前記連結部により連結されて出力される特徴量データを受けて、この連結された特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めることを特徴とする請求項４に記載の平面データ処理装置。

【請求項6】

入力される予測対象の物理的状態と位置を表す数値データを平面上に配置した平面データについて、その数値を所定範囲の数値に収める規格化を行う前処理ステップと、
規格化された前記平面データの空間解像度を低下させたデータである特徴量データを得るエンコードステップと、
特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めるデコーダステップと、
前記デコーダステップの出力に対して、前記前処理ステップにおいて行った規格化と逆の処理を行って前記前処理ステップの規格化前の数値の範囲に戻した平面データである予測平面データを作成する後処理ステップと
を具備し、
前記エンコードステップでは、時系列で現在と過去の平面データが入力されると、時間的に所定範囲の平面データを１枚の大きな平面データに連結してエンコードを行い、
前記デコーダステップでは、前記特徴量データに基づき現在より未来の平面データの各値を有する前記予測データを求める機械学習を採用して前記予測データを求める
ことを特徴とする平面データ処理方法。

【請求項7】

前記エンコードステップでは、前記予測対象の物理的状態である形状特徴データと平面データを構成する各データの平面上の位置を特徴量データとした位置特徴データを含む特徴量データを抽出することを特徴とする請求項６に記載の平面データ処理方法。

【請求項8】

前記エンコードステップは、平面データに対し、幅方向にＸ区画と、高さ方向にＹ区画とのＸ×Ｙの区画に値を有するフィルタを、奥行を示すチャネル方向にＺチャネル備えたフィルタを適用して畳み込みを行う畳み込みニューラルネットワークであって、時系列に並ぶ平面データを時系列方向に連結して各平面データ内を複数の区画に区分し、その１区画の数値を１つのフィルタに適用して１つの数値を出力するフィルタ処理を行うフィルタ処理ステップを含む畳み込みニューラルネットワークを用いて実行し、
前記フィルタ処理ステップは、時系列ｔ０、ｔ１、ｔ２、・・・に入力される平面データを処理するときには、最初の時刻ｔ０の平面データの端から矩形領域（１区画）のデータを取り出し、前記チャネル方向の先頭のフィルタを用いて処理を行い、１区画目の処理を完了し、
次に前記１区画目の幅方向に隣接する２区画目となる矩形領域（１区画）のデータを取り出し、前記チャネル方向の先頭のフィルタを用いて処理を行い、２区画目の処理を完了し、以下同様に幅方向に隣接する区画目のデータの処理を行い、幅方向の矩形領域を１つの高さ方向で終了すると次の高さ方向へ進みこの高さの矩形領域を幅方向に進んで処理し、以下同様に、最初の時刻ｔ０の平面データの全区画のデータに対して処理を行い、１枚の平面データの処理を完了し、この最初の時刻ｔ０の平面データは、前記チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下前記チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行い、
一方、時系列ｔ１に入力される平面データは、前記チャネル方向の先頭のフィルタを用いて処理を行い、全区画の処理が完了すると、時系列ｔ０に入力される平面データの処理に続いて前記チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下前記チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行うことにより、前記時系列に並ぶ平面データの全区画に対し前記フィルタ処理を行うことを特徴とする請求項６または７に記載の平面データ処理方法。

【請求項9】

前記エンコードステップでは、複数の畳み込みニューラルネットワークを用い、前記複数の畳み込みニューラルネットワークのそれぞれにおいて、前記前処理ステップから異なる時の規格化された平面データを受けて、並列処理を行うことを特徴とする請求項６に記載の平面データ処理方法。

【請求項10】

前記複数の畳み込みニューラルネットワークの前記エンコードステップにより並列処理された結果に係る複数の前記特徴量データを、１面上に１まとまりに並べて連結する連結ステップを備え、
前記デコーダステップでは、前記連結ステップにより連結されて出力される特徴量データを受けて、この連結された特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めることを特徴とする請求項９に記載の平面データ処理方法。

【請求項11】

コンピュータを、
入力される予測対象の物理的状態と位置を表す数値データを平面上に配置した平面データについて、その数値を所定範囲の数値に収める規格化を行う前処理手段、
規格化された前記平面データの空間解像度を低下させたデータである特徴量データを得るエンコーダ手段、
特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めるデコード手段、
前記デコード手段の出力に対して、前記前処理手段が行った規格化と逆の処理を行って前記前処理手段の規格化前の数値の範囲に戻した平面データである予測平面データを作成する後処理手段
として機能させ、
前記コンピュータを前記エンコーダ手段として、時系列で現在と過去の平面データが入力されると、時間的に所定範囲の平面データを１枚の大きな平面データに連結してエンコードを行うように機能させ、
前記コンピュータを前記デコード手段として、前記特徴量データに基づき現在より未来の平面データの各値を有する前記予測データを求める機械学習を採用して前記予測データを求めるように機能させることを特徴とする平面データ処理用プログラム。

【請求項12】

前記コンピュータを前記エンコーダ手段として、前記予測対象の物理的状態である形状特徴データと平面データを構成する各データの平面上の位置を特徴量データとした位置特徴データを含む特徴量データを抽出するように機能させることを特徴とする請求項１１に記載の平面データ処理用プログラム。

【請求項13】

前記エンコーダ手段は、平面データに対し、幅方向にＸ区画と、高さ方向にＹ区画とのＸ×Ｙの区画に値を有するフィルタを、奥行を示すチャネル方向にＺチャネル備えたフィルタを適用して畳み込みを行う畳み込みニューラルネットワークであって、時系列に並ぶ平面データを時系列方向に連結して各平面データ内を複数の区画に区分し、その１区画の数値を１つのフィルタに適用して１つの数値を出力するフィルタ処理を行うフィルタ処理手段を含む畳み込みニューラルネットワークにより構成され、
前記コンピュータを前記フィルタ処理手段として、時系列ｔ０、ｔ１、ｔ２、・・・に入力される平面データを処理するときには、最初の時刻ｔ０の平面データの端から矩形領域（１区画）のデータを取り出し、前記チャネル方向の先頭のフィルタを用いて処理を行い、１区画目の処理を完了し、
次に前記１区画目の幅方向に隣接する２区画目となる矩形領域（１区画）のデータを取り出し、前記チャネル方向の先頭のフィルタを用いて処理を行い、２区画目の処理を完了し、以下同様に幅方向に隣接する区画目のデータの処理を行い、幅方向の矩形領域を１つの高さ方向で終了すると次の高さ方向へ進みこの高さの矩形領域を幅方向に進んで処理し、以下同様に、最初の時刻ｔ０の平面データの全区画のデータに対して処理を行い、１枚の平面データの処理を完了し、この最初の時刻ｔ０の平面データは、前記チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下前記チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行い、
一方、時系列ｔ１に入力される平面データは、前記チャネル方向の先頭のフィルタを用いて処理を行い、全区画の処理が完了すると、時系列ｔ０に入力される平面データの処理に続いて前記チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下前記チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行うことにより、前記時系列に並ぶ平面データの全区画に対し前記フィルタ処理を行うように機能させることを特徴とする請求項１１または１２に記載の平面データ処理用プログラム。

【請求項14】

前記エンコーダ手段は、複数の畳み込みニューラルネットワークにより構成され、
前記コンピュータを、前記複数の畳み込みニューラルネットワークのそれぞれとして、前記前処理手段から異なる時の規格化された平面データを受けて、並列処理を行うように機能させることを特徴とする請求項１１に記載の平面データ処理用プログラム。

【請求項15】

前記コンピュータを更に、前記複数の畳み込みニューラルネットワークの前記エンコーダ手段により並列処理された結果に係る複数の前記特徴量データを、１面上に１まとまりに並べて連結する連結手段として機能させ、
前記コンピュータを前記デコード手段として、前記連結手段により連結されて出力される特徴量データを受けて、この連結された特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めるように機能させることを特徴とする請求項１４に記載の平面データ処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムに関するものである。

【背景技術】

【0002】

特許文献１には、平面データではなく、広く物に取り付けられたセンサのデータを用いて、物の異常や故障を事前に検知する技術が開示されており、この検知のために、潜在変数とニューラルネットワークを用いた機械学習によるＶＡＥ（Variational Auto Encoder）を用いることが記載されている。

【0003】

更に、特許文献２には、データの発生確率分布を推定するために、上記ＶＡＥを用いることが開示されている。

【0004】

また、特許文献３には、カメラ映像の処理により物体の移動を認識する装置が開示されており、この特許文献３の発明では、対象画像から部分テンプレートを切り出す際に入力画像をニューラルネットワークで学習して物体らしき領域を抽出することが開示されている。

【0005】

更に、特許文献４には、ニューラルネットワークを用いた推定技術が開示されている。この特許文献４の発明では、ニューラルネットワークを用いたエンコーダとデコーダとが備えられ、エンコーダの最終層にドロップアウト層と全結合層との組み合わせからなる少なくとも１つの一体化層を設けるというものである。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０１９／２４４９３０号公報

【文献】特開２０１９－２１９９１５号公報

【文献】特開平５－２９８５９１号公報

【文献】特開２０１９－１３９４８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

いずれの特許文献に記載の発明においても、構成を簡易にして軽量化を図りながら、予測を行うというものではない。

【0008】

本発明では、平面データの予測を簡易にして軽量化が可能な平面データ処理装置の提供を目的とする。

【課題を解決するための手段】

【0009】

本発明に係る平面データ処理装置は、入力される予測対象の物理的状態と位置を表す数値データを平面上に配置した平面データについて、その数値を所定範囲の数値に収める規格化を行う前処理部と、規格化された前記平面データの空間解像度を低下させたデータである特徴量データを得るエンコーダと、前記特徴量データを用いてその空間解像度を前記平面データと同じ空間解像度まで上昇させた平面データである予測データを求めるデコーダと、前記デコーダの出力に対して、前記前処理部が行った規格化と逆の処理を行って前記前処理部の規格化前の数値の範囲に戻した平面データである予測平面データを作成する後処理部とを具備し、前記エンコーダは、時系列で現在と過去の平面データが入力されると、時間的に所定範囲の平面データを１枚の大きな平面データに連結してエンコードを行い、前記デコーダは、前記特徴量データに基づき現在より未来の平面データの各値を有する前記予測データを求める機械学習を採用して前記予測データを求めることを特徴とする。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る平面データ処理装置１００を示すブロック図。

【図2】タッチパネル等により得られるデータに関する処理の説明図。

【図3】においセンサによる平面データを説明するための図。

【図4】サーモビューワによって得られるデータを示す図。

【図5】従来のビットの考え方と量子ビットの考え方を示す図。

【図6】パーティクルフィルタの対象物の位置データの予測処理を説明する図。

【図7】音圧の平面的変化を塗り潰しパターンを代えて示した図。

【図8】空気の流れを矢印で示した図。

【図9】圧力センサによる圧力検出値を塗り潰しパターンを代えて表現した図。

【図10】ある時点の二次元の統計データを示す図。

【図11】脳波トポグラフィを示す図である。

【図12】水が流れている、ある水路の断面における流量を示した図。

【図13】監視位置から前方の移動体或いは静止体の距離を、塗りつぶしパターンを変えて示した図。

【図14】第２の実施形態に係る平面データ処理装置１００Ａを示す図。

【図15】本発明の実施形態に係るコンピュータシステムの構成図。

【図16】コンピュータシステムのＣＰＵ２１０が、第１の実施形態または第２の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャート。

【図16A】本発明に係る第１の実施形態または第２の実施形態に用いられるフィルタの構成図。

【図16B】本発明に係る第１～第３の実施形態に用いられるフィルタによる当初の処理の説明図。

【図16C】本発明に係る第１～第３の実施形態に用いられるフィルタによる２区画目以降の処理の説明図。

【図17】第３の実施形態に係る平面データ処理装置１００Ｂを示すブロック図。

【図17A】第３の実施形態の連結部１７０による連結を示す図。

【図18】第３の実施形態に係る平面データ処理装置１００Ｂが備えるＣＮＮ１３６－０～１３６－ｎの層構造を示した図。

【図18A】第３の実施形態の効果を示す図。

【図19】コンピュータシステムのＣＰＵ２１０が、第３の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャート。

【図19A】本発明に係る第３の実施形態に用いられるフィルタに対し入力される時系列の平面データの処理を説明する図。

【図20】平面データの一例を示す図。

【図21】等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において得られた３つの平面データから、上記時間間隔ｔの後の時刻ｔ３の平面データを予測することを示した図。

【図22】等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの３倍の時間間隔後の時刻ｔ５における平面データを予測することを示した図。

【図23】予測をする場合に第１の検出対象が存在から消滅し、第２の検出対象が存在しなかったものが現れ、徐々に存在感を大きくする場合の予測経過を示す図。

【図24】複数の検出対象についての追跡予測であり、負の値の部分を有する場合の追跡予測を示す図。

【図25】本発明の実施形態で用いる平面データの構造を示す図。

【図26】第１の実施形態と第２の実施形態に係る平面データ処理におけるデータ構造の流れを示す図。

【図27】第３の実施形態に係る平面データ処理におけるデータ構造の流れを示す図。

【図28】第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムが採用する処理手法を示す図。

【図29】本実施形態に係る平面データの処理を用いたノイズ削減の効果を示す図。

【図30】本実施形態の平面データ処理を認証システムへの応用した場合における処理過程の平面データを示す図。

【発明を実施するための形態】

【0011】

以下添付図面を参照して本発明の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムを説明する。各図において、同一の構成要素には、同一の符号を付して重複する説明を省略する。

【0012】

図１は、第１の実施形態に係る平面データ処理装置１００を示すブロック図である。この平面データ処理装置１００では、センサなどにより得た平面データを、入力部１１０から入力し、処理を行い、処理結果を出力部１６０から出力することができる。平面データ処理装置１００には、上記の入力部１１０と出力部１６０との間に、前処理部１２０、エンコーダ１３０、デコーダ１４０、後処理部１５０が設けられる。

【0013】

前処理部１２０は、入力される平面データを所定範囲で規格化するものである。例えば、規格化によって平面データの各値を０から１０の範囲の値とすることができる。エンコーダ１３０は、規格化された平面データの空間解像度を低下させて特徴量データを抽出するものである。ここに、特徴量データとは、機械学習における学習対象データである平面データの特徴を数値化したものである。このエンコーダ１３０では、時系列で平面データが入力される場合に、時間的に所定範囲の平面データを連結してエンコードを行う。例えば、時系列の各時点の平面データを１枚の平面データと表現するならば、例えば、現在の平面データ（１枚）と、１時刻過去の平面データ（１枚）と２時刻過去の平面データ（１枚）を１枚の大きな平面データとしてエンコードし、形状特徴量と位置（移動）特徴量を共に抽出する。第１の実施形態では、ＣＮＮによって特徴量データを求めても良いし、他の機械学習において用いられている手法を用いて特徴量データを抽出するようにしても良い。

【0014】

デコーダ１４０は、時系列毎の特徴量データの空間解像度を上昇させて予測データを求めるものであり、機械学習を採用して現在より先の（未来の）平面データの各値についての予測データを求める。「特徴マップデータに対して空間解像度を上昇させる」とは、「空間解像度を特徴マップから上昇させて元の平面データの空間解像度と同一にする」ことを意味する。上記のように特徴量データには形状特徴量と位置（移動）特徴量が含まれるので、予測データでは、形状とその位置に関するデータが含まれる。機械学習の手法は問わない。後処理部１５０は、上記デコーダ１４０の出力に対して、上記前処理部１２０が行った規格化と逆の処理を行って予測平面データを作成するものである。出力部１６０は、予測平面データをディスプレイ画面に表示し、或いはプリントアウトし、または記憶部へ記憶するものである。

【0015】

本発明の実施形態において、平面データとは、複数のデータ（数値）を、例えばｘ－ｙ座標に従って平面的に並べて構成されたデータを言う。平面データ処理とは、上記平面データの時系列変化を予測する処理を指すものとする。

【0016】

上記平面データは、カメラにより得られる１フレーム分の画像データであっても良く、タッチパネル等により得られるデータ、においセンサのデータ、サーモビューワによって得られるデータ、視線検出データ、量子ビットの量子計測・センシングデータ、パーティクルフィルタの対象物の位置データ、音圧センサによる音圧マップのデータ、測定した温度や湿度その他の値を２次元的に並べたデータ、ドローンを含むロボットの時系列な制御データ、物体の温度や照度を平面的に配置したデータ、空間の気流を平面的に配置したデータ、指紋を平面的に捕らえるセンサのデータであっても良い。

【0017】

上記の例示した各種平面データについての平面データ処理は、カメラにより得られる１フレーム分の画像データに関する処理は、特に説明を要さないであろう。図２（Ａ）～（Ｅ）は、タッチパネル等により得られるデータに関する処理の説明図である。図２（Ａ）に示すように、タッチパネルＴ上で指の腹ＦＨを用いて矢印のように描画したとする。このとき、適当な時間間隔でタッチパネルＴ上において腹ＦＨの位置（座標）が、図２（Ｂ）～図２（Ｅ）の上側の図に示すように、（４００，６００）、（４６０，６２０）、（５００，６６０）、（５５０，６９０）と変位する場合、平面データが、図２（Ｂ）～図２（Ｅ）の下側の図に示すように変化する。この平面データは、タッチを指の腹ＦＨによる押圧の圧力で検出するセンサにおいて、大きな圧力を検出するほど大きな値となるものである。また、指の腹ＦＨによる静電容量の変化量で検出するタッチセンサにおいては、大きな静電容量を検出するほど大きな値となるものである。また、タッチペンによる静電容量及び磁界の変化量で検出するタッチセンサにおいては、大きな静電容量及び磁界を検出するほど大きな値となるものである。係る場合に、図２（Ｂ）～図２（Ｄ）の下側の図に示す平面データから図２（Ｅ）の下側の図に示す平面データを予測するような処理を、本実施形態では平面データ処理という。

【0018】

図３（Ａ）～（Ｃ）は、においセンサによる平面データを説明するための図である。このにおいセンサは、図３（Ａ）に示すように、マトリックス状に配置されたセンサ素子アレイにより構成されたものである。四角で示される各センサ素子は、それぞれが異なるにおい成分を吸着し、それぞれの出力周波数を変化させるものとすることができる。センサ素子としては、周波数変化からにおいを検出する方法を用いたセンサ素子以外に、誘電率の変化からにおいを検出する方法などを用いたセンサ素子を採用することができる。図３（Ｂ）は、４つのにおいセンサの断面図と共に、各においセンサがにおい成分を吸着する様子を、視覚的に示したものである。このセンサにおいて、におい成分を多く吸着したセンサ素子の出力が大きな値として現れる。図３（Ｃ）は、図３（Ａ）のセンサ素子の並びパターンで、各センサ素子が検出した強度を円の大きさにより示したものである。円の大きさのパターンによって、何のにおいであるかを特定することができ、図３（Ｃ）には、円の大きさのパターンに応じた「におい名」が「においＡ」、「においＢ」、・・・、「においＦ」として示されている。従って、円の大きさと位置によるパターンの時系列変化から「におい名」とそのにおいが強くなるか弱くなるかを予測することができる。この図３（Ａ）～（Ｃ）のように、味覚についても複数のセンサ素子により検出した値と配列で平面データを構成し、味覚変化の予測を行うことができ、例えば、所謂「食べごろ」や腐敗などを知ることに役立てることができる。

【0019】

図４（Ａ）および（Ｂ）は、サーモビューワによって得られるデータを示す図である。図４（Ａ）に示すようにある時刻の監視対象を二次元的な四角形状で示し、各部の温度を白－黒グラデーションにより表現して表示する。この温度を白－黒グラデーションにより表現したデータを数値に変換し、画面を格子状に分割し、格子内に温度を配置し、面データとする。図４（Ｂ）に示すよう時系列的な画面の予測を行って、各部の温度を監視することによって、危険状態になる前に回避することが可能である。

【0020】

視線検出データは、カメラにより目の動きを検出し、二次元平面座標に視線の中心付近の位置データをプロットしたものである。この位置データを時系列に収集し、過去及び現時点の時系列の位置データに基づき次の視線の中心位置を予測する。この予測位置に基づき、ＶＲ機器の表示画像として適切な画像を遅滞なく表示することが可能となる。

【0021】

図５（Ａ）および（Ｂ）は、従来のビットの考え方と量子ビットの考え方を示す図である。古典的なコンピュータでは、０と１の２通りの状態を基本としてビットを考えていたのに対し（図５（Ａ））、量子ビットは、量子においては任意の量子力学的重ね合わせ状態をとることができるため、球面上どの向きのベクトルについてもビットとして扱うことができ、多次元（３次元以上）とすることが可能である（図５（Ｂ））。数年後には、量子の状態（３次元ベクトルの値）を計測し、予測することによって物の移動等に関し３次元的な予測が可能となる。本実施形態では、平面データについて扱うが、平面データを３次元以上の多次元データと読み替えることで、３次元以上のデータ予測処理が可能である。更に、タッチパネルの平面データ、ｘ位置、ｙ位置、データ強度を量子のｘ、ｙ、ｚと置き換えることで平面移動予測を流用であり、３次元データにも対応できる。

【0022】

図６（Ａ）～（Ｃ）は、パーティクルフィルタの対象物の位置データの予測処理を説明する図である。図６（Ａ）は、ボールの移動位置を予測する場合の処理を示す。ボールの位置にパーティクルを集め、次にボールが移動する位置（複数）を予測してパーティクルを移動させておく。次に、ボールが移動したとき、パーティクルとボールの位置を比較しボールの位置に一致するパーティクルを集め、次にボールが移動する位置（複数）を予測してパーティクルを移動させておく。以下同様にしてボールの移動を予測してゆく。ボールが次に移動する予測位置に移動予測確率を算出する場合においては、図６（Ｂ）に示すパーティクルのうち、図６（Ｃ）に示すボールに近いパーティクルに基づきボールの移動位置の分布確率を計算して出力する。これにより不要な計算を削減し、システムの実用性を向上させることができる。ＳＳ秒後には××パーセントの確率で、この位置になるかを予測して報知するように使うことも可能である。

【0023】

図７は、音圧の平面的変化を塗り潰しパターンの変化として示した図である。この図７に示されるように、ある場所において音圧が変化するデータ（平面データ）が得られる場合に、このデータの時系列データを用いて音圧の時々刻々の変化を捕らえて、予測を行い、騒音測定などを行うことができる。図８は、空気の流れを矢印で示した図である。気流の流れを予測して浮遊物(障害物)の位置を推定することが可能である。カメラで捕らえることができない小さなものの検出や追尾を、暗闇でも実行することができる。

【0024】

図９（Ａ）および（Ｂ）は、圧力センサによる圧力検出値を塗り潰しパターンの変化として表現した図である。図９（Ａ）は、タッチパネルがタッチされた位置と強さ等を、塗り潰しパターンの変化として表示したものである。この圧力データを平面データとして時系列のデータを処理して予測を行うことで押圧発生位置やその移動などの把握に用いることができる。図９（Ｂ）は、例えば指の先端などの検出対象物に圧力センサを装着し、検出した圧力を塗り潰しパターンの変化として３次元的に表示したものである。この圧力データを平面データとして時系列的に検出を行い、予測を行うことで、圧力が加わる位置や圧力がどの方向から加えられるかを予想した画像を得ることができる。図９（Ｃ）は、平面上に敷かれた圧力センサ上を移動する物体の位置と強さ等を塗り潰しパターンの変化として表示した図である。平面上の圧力センサ上を移動するボールの例となる。この圧力データを平面データとして時系列のデータを処理して予測を行うことで、物体の位置やその移動などの把握に用いることができる。

【0025】

図１０は、ある時点の二次元の統計データを示す図である。横軸は曜日であり、縦軸は分であり、例えば、飲食店における席占有率の２４分間の変遷を示す。このような平面データを時系列に得て予測を行うことで、実際の統計データを先読み的に得ることができ、このデータから人員の配置など各種事態への備えなどに用いることができる。

【0026】

図１１は、脳波トポグラフィを示す図である。脳波トポグラフィは、頭皮表面の脳電位の等電位図を描いたものである。脳電位の大きさを塗り潰しパターンの変化として示しており、正常者の脳波トポグラフィは、概ね左右対称である。感情や行動によっても波形に変化があり、感情や心の動きの観察に用いることが期待される。測定した脳電位を頭部を上部から目視した場合の頭部輪郭線により形成される楕円状の領域の測定位置に該当する座標位置に並べて本実施形態の平面データとすることができる。この脳波トポグラフィによる平面データを測定間隔の時系列データとして、平面データ処理を行う。これによって、予測した時刻の脳波トポグラフィを見ることができるので、実際の測定時間を短縮化して被験者の負担を低減することができる。

【0027】

図１２は、水が流れている、ある水路の断面における流量を示した図である。この図においては、流量の大小について塗り潰しパターンの変化として示している。流量は流速×断面積であるから、所定位置に流速センサを設けて断面の所定位置の流速を求めて、各位置における単位面積当たりの流量を平面データとして本発明実施形態の平面データ処理を行うことが可能である。図１２のような流量対応の図を表示する場所を複数地点に設け、場所毎に流量を予測して図の如く、塗り潰しパターンの変化として表示を行い、図における水の部分が大きな流量を示す塗り潰しパターンが変化するほど流量が大きいものとして、危険を察知することが期待される。水路や排水溝を利用する農業や河川管理における防災、海の津波検出など漁業での利用を想定することができる。

【0028】

図１３は、監視位置から前方の移動体或いは静止体の距離を、塗り潰しパターンの変化として示した図である。距離の測定には光線の照射と反射によるセンサを用い、或いは監視カメラを用いた画像処理などを採用することができる。図のような画面の単位面積エリアの塗り潰しパターンを数値データへ変換して１画面毎に平面データを得る。平面データを時々刻々と得て本発明実施形態の平面データ処理を行うことが可能である。この処理によって、図１３（Ａ）の場合には、静止物体および移動物体の距離（位置）を予測して危険を検知することを目指すことができ、また、物体の移動先を推定する。また図１３（Ｂ）に示す場合には、人や移動している物の距離（位置）から歩いていることや走っているという行動を予測することも可能である。更に、混雑の度合いや人の動き（移動方向と移動速度）の監視なども可能である。センサによっては暗闇でも使用できるものがあり、画像処理（動画予測）システムよりも簡素な構成による構築が期待される。

【0029】

図１４は、第２の実施形態に係る平面データ処理装置１００Ａを示す図である。この第２の実施形態以降では、機械学習をＣＮＮ（Convolutional Neural Network）によって行うことを基本として説明を行うため、以下では、「特徴量データ」の語を、ＣＮＮにおいて用いる「特徴マップデータ」に代えて説明を行う。特徴マップデータは、平面データを畳み込みによって生成される。
特徴マップとは、「平面データのある位置近傍の矩形領域に含まれる値の分布の特徴を複数のフィルタによって数量化する処理を、平面データの各点について同様に実施し空間方向およびチャンネル方向に並べた３次元配列」である。フィルタとは、「ある矩形領域に特定のパターンが含まれる場合大きな値に変換し、そうでなければ小さな値へ変換する処理」である。また、チャンネルとは、「複数のフィルタ出力を並べたもの」である。
平面データ処理装置１００Ａでは、第１の実施形態のエンコーダ１３０は、畳み込みニューラルネットワーク（以下、ＣＮＮ）１３５により構成される。ＣＮＮ１３５は１層の構成とするが、２層以上であっても良い。また、第１の実施形態のデコーダ１４０は、トランスポーズド畳み込みニューラルネットワーク（Transposed ＣＮＮ．以下、ＴＣＮＮ）１４５により構成されている。ニューラルネットワークにおけるＴＣＮＮは、転置畳み込みとでも称すべき処理であり、元となる特徴マップデータを拡大（空間解像度を上昇）させてから畳み込む処理を行うものである。

【0030】

図１５は、本発明の実施形態に係るコンピュータシステムの構成図である。このコンピュータシステムによって、第１の実施形態または第２の実施形態に係る平面データ処理装置が実現される。このコンピュータシステムは、ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより平面データ処理装置が実現される。ＣＰＵ２１０には、バス２１２を介して外部記憶コントローラ２２１、入力部コントローラ２３１、出力部コントローラ２４１が接続されている。

【0031】

外部記憶コントローラ２２１には、外部記憶装置２２０が接続されている。外部記憶装置２２０には、平面データ処理用プログラムや平面データ処理に必要なデータ等が記憶されており、ＣＰＵ２１０は、平面データ処理用プログラムや平面データ処理に必要なデータ等を主メモリ２１１へ読み出してこのプログラムを実行し、平面データ処理を行う。入力部コントローラ２３１には、平面データやその他のデータ或いはコマンドなどを入力するための入力部が接続されている。出力部コントローラ２４１には、平面データ処理の結果やその他の情報をするための表示ディスプレイ装置やプリントアウトするためのプリンタや外部記憶装置等が接続されている。このコンピュータシステムに備えられている構成は、一例に過ぎず、他の構成が備えられる。

【0032】

上記コンピュータシステムにおいて、ＣＰＵ２１０が平面データ処理用プログラムを実行することにより、第１の実施形態の前処理部１２０、エンコーダ１３０（エンコーダ手段）、デコーダ１４０（デコーダ手段）、後処理部１５０を実現することができ、第２の実施形態の前処理部１２０、ＣＮＮ１３５、ＴＣＮＮ１４５、後処理部１５０を実現することができる。また、第２の実施形態のＣＮＮ１３５とＴＣＮＮ１４５については、それぞれハードウエアにより構成し、インタフェースを介してバス２１２に接続する構成を採用しても良い。

【0033】

図１６は、上記コンピュータシステムのＣＰＵ２１０が、第１の実施形態または第２の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャートである。予測処理は、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化が行われる（Ｓ１１）。次に、空間解像度の低下によるエンコーダとして動作するＣＰＵ２１０によってエンコードが行われ、特徴マップの抽出が行われる（Ｓ１２）。第２の実施形態では、ＣＮＮ１３５を用いて空間解像度の低下により特徴マップの抽出が行われる。この特徴マップの抽出では、形状特徴量と位置（移動）特徴量を共に抽出する。
第２の実施形態では、時刻ｔ０、ｔ１、ｔ２、…の平面データをチャンネル方向に連結し、Ｚ個の矩形領域（１区画）に含まれる全数値を１つのフィルタに適用し、１つの数値を出力する。
この処理が平面データの畳み込み処理の際の並列データの１区画分の処理である。この処理を行うフィルタ処理部（処理ステップ、処理手段）が、ＣＮＮ１３５に含まれている。この処理結果が１フィルタ分の出力となり、平面データの全区画分に同様の処理が行われる。全区画分の出力を平面上に並べ、全フィルタ分の出力をチャンネル方向に連結する

【0034】

次に、特徴マップはデコーダとして動作するＣＰＵ２１０に渡され、ＣＰＵ２１０はデコーダとして所定時刻先の平面データを予測し空間解像度の上昇処理により予測データ（予測した平面データ）を生成する（Ｓ１３）。第２の実施形態では図の左側に記載の通り、ＴＣＮＮ１４５を用いて機械学習によって所定時刻先の平面データを予測及び空間解像度の上昇処理を実行して、予測データ（逆規格化前のもの）を生成する。デコーダによる予測データの生成が行われると、この予測データに対してステップＳ１１の前処理において行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する（Ｓ１４）。最終的に、上記で作成した予測平面データを出力して（Ｓ１５）、終了となる。

【0035】

上記のエンコーダでは、各時刻での入力データを１つに連結させてからＣＮＮを行う。連結させてからＣＮＮを行うとは、前述したが、例えば、時系列の各時点の平面データを１枚の平面データと表現するならば、例えば、現在の平面データ（１枚）と、１時刻過去の平面データ（１枚）と２時刻過去の平面データ（１枚）を１枚の大きな平面データとしてエンコードし、形状的特徴量と位置（移動）特徴量を共に抽出する。これによって、形状と位置（移動）の２つの特徴を含んだ特徴マップの抽出が行われる。また、デコーダでは特徴マップからデータの予測データを生成する。上記のようにＣＮＮによるエンコードとＴＣＮＮによるデコードという手段で平面データについて移動している対象（形状）を的確に捕らえて次に移動する適切な位置予測の実現が期待される。

【0036】

図１７は、第３の実施形態に係る平面データ処理装置１００Ｂを示すブロック図である。本実施形態では、エンコーダ１３０Ｂは、複数のＣＮＮ１３６－０～１３６－ｎにより構成される。複数のＣＮＮ１３６－０～１３６－ｎのそれぞれは、前処理部１２０から異なる時の規格化された平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを受けて、並列処理を行う。複数のＣＮＮ１３６－０～１３６－ｎは、計算に利用するパラメータの値が互いに同一である複数の畳み込みニューラルネットワークである。

【0037】

前処理部１２０によるデータ規格化の後、時系列の入力データをチャネル方向へ１つずつに分割してＣＮＮ１３６－０～１３６－ｎへ送り、これらのＣＮＮ１３６－０～１３６－ｎにおいてＣＮＮによる形状特徴の抽出処理を実施し、形状特徴を含む特徴マップデータを出力する。図１８は、ＣＮＮ１３６－０～１３６－ｎの層構造を示した図である。ＣＮＮ１３６－０～１３６－ｎは１層であり、フィルタＦ０～Ｆｎにより構成され、各フィルタは（ｘ）×（ｙ）のフィルタをチャネル方向へｚ段設けた構造を有する。チャネル数がｚであり、チャネル数が増えると、例えば縦方向、横方向、斜め方向の特徴など、それぞれの特徴成分に対する特徴量の抽出精度の向上を図ることができる。これらのＣＮＮ１３６－０～１３６－ｎにおいては、第２の実施形態のＣＮＮ１３５において行っていた形状と位置（移動）の２つの特徴を含んだ特徴マップの抽出処理を改め、形状特徴のみの抽出に絞る。各時刻で入力される平面データを個別にＣＮＮによる畳み込みを実施して、形状特徴のみを含む特徴マップを得て、形状特徴のみを含む特徴マップに対して連結部１７０において連結処理を行い、連結された特徴マップをＴＣＮＮ１４６へ出力する。

【0038】

図１７Ａは、第３の実施形態の連結部１７０による連結を示す図である。ＣＮＮ１３６－０～１３６－ｎによって時系列な特徴マップｔ０、ｔ１、ｔ２、・・・、ｔｎが抽出され、出力される。そこで、連結部１７０は、特徴マップｔ０、ｔ１、ｔ２、・・・、ｔｎから位置（移動）特徴の抽出が可能となるように１まとまりの（概念的には全部で１枚の）特徴マップデータに連結される。この連結においては、１まとまりでありながら、特徴マップｔ０、ｔ１、ｔ２、・・・、ｔｎを区別可能なように、区分用データＤが含まれている。区分用データＤを境界線のように示しているが、区分可能であれば境界線でなくとも良い。

【0039】

本実施形態では、ＣＮＮ実行時に、位置（移動）特徴を特徴マップに含まなくなるが、学習を形状特徴のみに絞るため、学習効果を高めるメリットと、各時刻別に行うＣＮＮのニューラルネットワーク構成をシンプルにできるという、２つのメリットがある。学習効果を高めることで、データの予測精度が向上する。エンコーダで実施していた時系列性の位置（移動）特徴マップ抽出に代わる処理は、デコーダであるＴＣＮＮ１４６内で実施する。繰り返すが、エンコーダであるＣＮＮ１３６－０～１３６－ｎ内では、位置（移動）特徴の抽出は行わない。

【0040】

デコーダ１４０Ｂは、上記ＣＮＮ１３６－０～１３６－ｎにより並列処理された結果に係る特徴マップデータが連結されてから受け取って、連結された特徴マップデータに対して位置（移動）特徴の抽出を行って、形状特徴と位置（移動）特徴を含む特徴マップデータを得て、更に形状特徴と位置（移動）特徴を含む特徴マップデータの空間解像度を上昇させて予測データを求める。本実施形態の他の構成は、第２の実施形態の構成と変わらない。本実施形態によれば、高精度化と高速化の課題を解決することが期待できる。

【0041】

上記第３の実施形態についても、図１５に示したコンピュータシステムによって実現可能である。図１９は、上記コンピュータシステムのＣＰＵ２１０が、第３の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャートである。予測処理は、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化が行われる（Ｓ１１）。次に、ＣＮＮ１３６－０～１３６－ｎによるエンコードが行われ、特徴マップの抽出が行われる（Ｓ２２）。これらのＣＮＮ１３６－０～１３６－ｎにおいては、学習を形状特徴のみに絞る。各時刻で個別にＣＮＮを実施してから連結部１７０において連結処理を行い（Ｓ２３）、形状特徴が含まれる（位置（移動）特徴が含まれない）特徴マップをＴＣＮＮ１４６へ出力する。

【0042】

ＣＰＵ２１０はデコーダとしてＴＣＮＮ１４６内において、連結された特徴マップについて位置（移動）特徴抽出処理を実行し、形状特徴と位置（移動）特徴が含まれた特徴マップを得て空間解像度の上昇処理を行い、所定時刻先の平面データを予測し予測データ（予測した平面データ）を生成する（Ｓ２４）。

【0043】

デコーダによる予測データの生成が行われると、この予測データに対してステップＳ１１の前処理において行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する（Ｓ１４）。最終的に、上記で作成した予測平面データを出力して（Ｓ１５）、終了となる。
上記のエンコーダ１３０Ｂとして機能するＣＰＵ２１０は、各時刻での入力データを１つに連結させてからＣＮＮを行う。例えば、時系列の各時点の平面データを１枚の平面データと表現するならば、例えば、現在の平面データ（１枚）と、１時刻過去の平面データ（１枚）と２時刻過去の平面データ（１枚）を１枚の大きな平面データとしてエンコードし、形状特徴量と位置（移動）特徴量を共に抽出する。これによって、形状と位置（移動）の２つの特徴を含んだ特徴マップの抽出が行われる。
入力される時系列データの中での移動は、特徴抽出の対象である。次の平面データへの移動は予測する対象である。エンコーダとして機能するＣＰＵ２１０への入力は「移動する形状」のデータであるため、移動の特徴と形状の特徴を抽出する処理対象になる。
例えば、ＣＮＮ１３５は、図１６Ａに示すように、幅方向にＸ区画と、高さ方向にＹ区画とのＸ×Ｙの区画に値を有するフィルタを、Ｚチャネル備えたものであるとする。この場合に図１６Ｂに示すように、時系列ｔ０、ｔ１、ｔ２、・・・に入力される平面データを処理するときには、次のようである。最初の時刻ｔ０の平面データの端から矩形領域（１区画）のデータを取り出し、チャネル方向の先頭のフィルタを用いて処理を行い、１区画目の処理を完了する（図１６Ｂ）。次に、図１６Ｃに示すように上記１区画目の幅方向に隣接する２区画目となる矩形領域（１区画）のデータを取り出し、チャネル方向の先頭のフィルタを用いて処理を行い、２区画目の処理を完了する（図１６Ｃ）。以下同様に幅方向に隣接する区画目のデータの処理を行い、幅方向の矩形領域を１つの高さ方向で終了すると次の高さ方向へ進みこの高さの矩形領域を幅方向に進んで処理し、以下同様に、最初の時刻ｔ０の平面データの全区画のデータに対して処理を行い、１枚の平面データの処理を完了する。この最初の時刻ｔ０の平面データは、チャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行う。一方、時系列ｔ１に入力される平面データは、チャネル方向の先頭のフィルタを用いて処理を行い、全区画の処理が完了すると、時系列ｔ０に入力される平面データの処理に続いてチャネル方向の第２番目のフィルタを用いて上記と同じ処理を行い、以下チャネル方向の第３番目、第４番目、・・・のフィルタを用いて上記と同じ処理を行う。このように、エンコーダへの入力は、平面データは、チャンネル方向に時系列で並べた順でエンコーダへ入力される。このようにして複数のフィルタを経たエンコードの結果得られる特徴マップは、チャンネル方向に並べた順でデコーダに出力される。

【0044】

本第３の実施形態は、移動している対象（形状）を的確に捕らえて次に移動する適切な位置予測の実現を図った。つまり、本第３の実施形態は、移動対象の形状や移動速度などによって、平面データの性格が様々に異なっても、以下に説明するように２つの課題を解決し、十分な結果を得られる。

【0045】

解決された１つ目の課題は、予測精度である。時系列で変化する平面移動予測を高精度で実施するには、ＣＮＮで構成されるエンコーダにおいて抽出する特徴マップが重要となってくる。現在実用化されているＣＮＮを使った予測技術として、動画データの次フレームを予測する手法が知られているが、ニューラルネットワークモデルが複雑かつ大規模になるものであり、例えば、エッジデバイス等への実装を難しくする。本第３の実施形態の構成では、ＣＮＮ１３６－０～１３６－ｎを１層にして精度向上を図る手法を採用し、小型化を実現している。また、上記のＣＮＮ１３６－０～１３６－ｎによる特徴マップ抽出処理は、形状と位置（移動）の２つの特徴を抽出しているため、ＣＮＮ１３６－０～１３６－ｎより形状特徴のみの抽出を行いに絞り学習の難易度を低減させている。そのため、予測精度の向上を図ることができる。

【0046】

解決された課題の２つ目は、データの予測処理に要する処理時間の長さの短縮化である。時系列の平面データを遅延なく、リアルタイム性を確保しながら処理し、次の平面データを予測していくために、ニューラルネットワークモデルをシンプルにして、処理時間を低減させることに成功した。高精度化と高速化は相反するものであるが、本第３の実施形態によって、この相反する課題を解決したものである。
上記において述べた高精度化と高速化という第３の実施形態の効果を、第２の実施形態等と比較する測定を行ってみた。図１８Ａは、この第３の実施形態の効果を示す図である。ここでは、第２の実施形態を１．０とし、デコーダは最適設計とした。第３の実施形態によって予測精度は４０％向上した。ＣＮＮは、１層または複数層の構成により畳み込みを行うことが知られており、２層の構成により畳み込みＣＮＮをＣＮＮ２層化と称することにする。ＣＮＮ２層化と比較すると、第３の実施形態は、処理時間を２０％削減できることが判った。

【0047】

平面データについては、図２から図１３において様々説明した。図２０に、平面データの一例を示す。図２０（Ａ）は、例えば０から２５５の解像度で、データの値を示したもので、例えば、タッチパネルの押圧力等の操作入力値の平面分布を示すもので、値が大きくやや濃いメッシュの部分に入力があったことを示す。図２０（Ｂ）は、負の値を持つ物体の温度分布の値などであり、中央部が温度が高く、円形状の周辺部に温度が低い負の値の部分を有するものを示す。本実施形態では、図２０（Ａ）では、入力部が時間と共に移動するときのデータを予測することができ、図２０（Ｂ）では、上記の如き温度分布を有する物体の移動経路の追跡予測をすることができる。

【0048】

図２１は、等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの後の時刻ｔ３における平面データを予測することを示した図である。また、図２２は、等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの３回分後の時刻ｔ５における平面データを予測することを示した図である。これらは、本発明の実施形態において実現可能である。

【0049】

図２３は、図２１と同じ予測をする場合に第１の検出対象が存在から消滅し、第２の検出対象が存在しなかったものが現れ、徐々に存在感を大きくする場合の予測経過を示す図である。図２３においては、予測をする場合に平面データの右側にある第１の検出対象ＤＤ１が存在から消滅し、当初存在しなかった第２の検出対象ＤＤ２が平面データの右下側に現れ、徐々に存在感を大きくする場合の予測経過が示されている。図２４は、図２３と同じく複数の検出対象についての追跡予測であり、図２０（Ｂ）と同じく負の値の部分を有する場合の追跡予測を示す図である。図２４においては、時刻ｔ０、ｔ１、ｔ２の平面データのいずれにも正負の値が存在し、正の大きな値の部分Ｐが、平面上で領域が小さくなりながら移動している。また、負の絶対値が大きな値の部分Ｍが、平面上で領域が大きくなりながら移動している。時刻ｔ０、ｔ１、ｔ２の平面データから時刻ｔ３の平面データが予測されている。時刻ｔ３の平面データにおいては、正の大きな値の部分Ｐは消失し、負の絶対値が大きな値の部分Ｍが移動するであろう予測領域ＦＭ１と、新たに生じるであろう負の絶対値が大きな値の部分ＦＭ２が予測されている。これらは、本発明の実施形態において実現可能である。

【0050】

図２５から図２７は、平面データ処理におけるデータ構造を示したものである。図２５は、本発明の実施形態で用いる平面データの構造を示す図である。図２５は、平面データが時刻ｔ０、ｔ１、・・・、ｔｎにおいて発生することを示している。この図２５において、ＸとＹは平面データにおいて、Ｘ方向に並ぶデータ（数値）の数、Ｙ方向に並ぶデータ（数値）数であり、ＸとＹにより平面データのサイズを示し、本実施形態では、各時刻ｔ０、ｔ１、・・・、ｔｎにおいて得られたデータが時系列に並んでいる時系列の平面データを用いた処理を行うことを示している。図２６は、第１の実施形態と第２の実施形態に係る平面データ処理におけるデータ構造の流れを示す図である。この図２６に明らかな通り、第１の実施形態と第２の実施形態とにおいては、入力に係る時系列の平面データ（図１４に示されている時刻ｔ０、ｔ１、・・・、ｔｎにおいて発生する時系列データ）を１つに連結してＣＮＮ１３５へ入力して、ＣＮＮ１３５によるエンコーダの処理によって特徴マップを得る。上記の「連結」については、図１６のフローチャートを用いて説明した通りに、形状特徴量と位置（移動）特徴量を共に抽出するために行われる。次に、この特徴マップはＴＣＮＮ１４５へ送られて、ＴＣＮＮ１４５においてデコードされて予測データが生成され、出力される。

【0051】

図２７は、第３の実施形態に係る平面データ処理におけるデータ構造の流れを示す図である。この第３の実施形態では、入力に係る時系列の平面データを１つの時系列ずつ分割して、ＣＮＮ１３６－０～１３６－ｎに分配する。ＣＮＮ１３６－０～１３６－ｎでは並列にエンコードを行ってそれぞれが特徴マップを出力する。ＣＮＮ１３６－０～１３６－ｎによりそれぞれ出力された複数の特徴マップは連結部１７０により連結されてＴＣＮＮ１４６へ渡される。ＴＣＮＮ１４６は連結された特徴マップを用いてデコードによる予測を行い、結果を出力する。このように第３の実施形態が採用するデータ構造の流れは、高精度かつ高速化を狙った構成が採用されている。

【0052】

以上のように、第３の実施形態に係る平面データ処理装置では、ニューラルネットワークの層を極限まで浅くして省力化を図り、高精度かつ高速に平面データに対する予測などの処理を行う手法を実現したものである。各時刻で取得される平面データを並列処理するＣＮＮを実現するため、ＣＮＮの個数は増えるが、各ＣＮＮについては１層のニューラルネットワークのモデルで実現可能となる。即ち、ニューラルネットワークの層を深くすることなく、従って構成の複雑さと大型化を回避し、予測などの平面データ処理の高精度化と高速化が期待できる。

【0053】

図２８は、第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムが採用する処理手法を示す図である。本実施形態においては、平面データ処理装置１００（１００Ｂ）において予測などの処理を行った結果を、次の予測などの処理に用いるフィードバック経路を有するものである。例えば、Ｓｔｅｐ１として時刻ｔ０（２つ前過去）、ｔ１（１つ前過去）、ｔ２（現在）の３時点における平面データを用いて、時刻ｔ３（１つ先の未来）の平面データを予測する。次に、ｔ１（１つ前過去）、ｔ２（現在）の２時点における平面データに加えて、Ｓｔｅｐ１で求めた時刻ｔ３（１つ先の未来）の予測データである平面データを用いて、予測を行う。

【0054】

以下同様に処理を行う。３回目以降の予測等の処理においては、予想等の時点で２回前に予測した時刻における実際の平面データが得られていれば、これを用いて処理を行う。つまり、３枚の平面データを用いる場合には、実際の平面データ２枚と１回前に予測などの処理により得た平面データを利用する。本実施形態によれば、実際の平面データが得られていないときにも予測データを求めることができ、より高精度の予測処理を実現できるようになる。なお、上記実施形態では、２つ先の時刻でのデータを予測することを示したが、３つ先以降の時刻でのデータを予測する際に、得られていない時刻の平面データを代替するように予測結果を用いることができる。

【0055】

本実施形態に係る平面データの処理は、ノイズフィルタとしても活用できる。ＣＮＮによる特徴マップデータ抽出時の処理が、結果的にノイズ成分の除去を行うことになるためで、平面データの予測の場合に精度向上させるだけでなく、平面データを用いた識別や認証の処理に利用できる。図２９（Ａ）および（Ｂ）は、本実施形態に係る平面データの処理を用いたノイズ削減の効果を示す図である。数値の大きさが大きくなるにつれて暗い背景により示した入力平面データ（図２９（Ａ））は、数値がバラバラであり、特徴量を検出する際に特徴量としてまとめることができない。このために、平面データに対し畳み込みを行って特徴マップを抽出すると、抽出された特徴マップの各数値のバラツキがなくなるように処理されており、図２９（Ｂ）に示すように平滑化される。

【0056】

図３０は、本実施形態の平面データ処理を認証システムへの応用した場合における処理過程の平面データを示す図である。この図３０は、時刻ｔ１からｔ８において、時系列に変化する平面データから四角の形状を認証（識別）させる平面データの経時変化例である。

【0057】

図３０（Ａ）では、平面データが理想的に変化する場合を示すものであり、時間の経過につれて徐々に四角の形状が平面データに表出する場合を示している。図３０（Ｂ）は、実際にタッチパネル等のセンサからのセンシング処理によって得られた実データを想定する図である。図３０（Ａ）の理想時のケースでは、時刻ｔ８における平面データによって四角の形状を認証（識別）できたとする。図２９（Ｂ）に示す実データのケースは、データにノイズが定常的に混ざっているため、時刻ｔ８にあっても確実に認証（識別）できることは不定である。

【0058】

図３０（Ｃ）には、図３０（Ｂ）に示すケースを改善するために、本実施形態の平面データ処理を行ったケースにおける処理が示されている。図３０（Ｃ）のケースでは、まず時刻ｔ２～ｔ４においては、図３０（Ｂ）に示す実データにおいて発生していたノイズが平面データ処理のノイズフィルタ効果（図２９において説明した効果）により軽減されている。更に、予測に係る平面データ処理により時刻ｔ５の段階で、時刻ｔ８における予測データを得ることができる。そのため、図３０（Ｃ）のケースでは時刻ｔ５の時点で、図３０（Ａ）の理想時のケースにおける時刻ｔ８において実行された認証（識別）相当の認証（識別）が実現可能である。データ予測開始からデータ予測完了までのタームを短くすることで、時刻ｔ５や時刻ｔ４のような早い時刻から認証（識別）を実行することも可能である。このように、平面データを用いた認証（識別）開始までに要する実データを得るための時間を短縮できるばかりか、ノイズフィルタ効果によって認証（識別）精度向上も期待できるものである。

【0059】

本発明に係る複数の実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0060】

１００、１００Ａ、１００Ｂ・・・平面データ処理装置、１１０・・・入力部、１２０・・・前処理部、１３０、１３０Ｂ・・・エンコーダ、１４０、１４０Ｂ・・・デコーダ、１５０・・・後処理部、１６０・・・出力部、１７０・・・連結部、２１０・・・ＣＰＵ、２１１・・・主メモリ、２１２・・・バス、２２０・・・外部記憶装置、２２１・・・外部記憶コントローラ、２３１・・・入力部コントローラ、２４１・・・出力部コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図16A】

【図16B】

【図16C】

【図17】

【図17A】

【図18】

【図18A】

【図19】

【図19A】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】