特許 7092312 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-20

(45)【発行日】2022-06-28

(54)【発明の名称】平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220621BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 15

(21)【出願番号】P 2020062484

(22)【出願日】2020-03-31

(65)【公開番号】P2021163039

(43)【公開日】2021-10-11

【審査請求日】2020-08-26

(73)【特許権者】

【識別番号】391016358

【氏名又は名称】東芝情報システム株式会社

(73)【特許権者】

【識別番号】593125104

【氏名又は名称】株式会社システム計画研究所

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100074147

【弁理士】

【氏名又は名称】本田 崇

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(72)【発明者】

【氏名】富樫 政寛

(72)【発明者】

【氏名】小林 正太

(72)【発明者】

【氏名】久野 祐輔

(72)【発明者】

【氏名】森 洵平

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１９－１３９４８２（ＪＰ，Ａ）

【文献】特表２０１９－５０４６５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

入力される平面データを所定範囲で規格化する前処理部と、
前記平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコーダと、
前記特徴量データの空間解像度を上昇させて第１の予測データを求める第１のデコーダと、
前記第１のデコーダにより求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割手段と、
前記分割手段が分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコーダと、
前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理部と
を具備することを特徴とする平面データ処理装置。

【請求項2】

前記第１のエンコーダは、畳み込みニューラルネットワークにより構成され、
前記第１のデコーダは、トランスポーズド畳み込みニューラルネットワークにより構成され、
前記第２のデコーダは、畳み込みニューラルネットワークにより構成され、
ていること特徴とする請求項１に記載の平面データ処理装置。

【請求項3】

前記第２のデコーダは、前記分割手段による分割数に対応する数の畳み込みニューラルネットワークにより構成されていることを特徴とする請求項２に記載の平面データ処理装置。

【請求項4】

前記分割手段は、前記第１の予測データが正負の形態を採る場合に応じて、前記第１の予測データを正データにより構成される第１の分割予測データと、前記第１の予測データを負データにより構成される第２の分割予測データと、を生成する
ことを特徴とする請求項３に記載の平面データ処理装置。

【請求項5】

前記第２のデコーダによる前記第１の分割予測データのデコード結果から前記第２のデコーダによる前記第２の分割予測データのデコード結果を減算する減算手段を具備することを特徴とする請求項４に記載の平面データ処理装置。

【請求項6】

入力される平面データを所定範囲で規格化する前処理ステップと、
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコードステップと、
前記特徴量データに対して空間解像度を上昇させて第１の予測データを求める第１のデコードステップと、
前記第１のデコードステップにより求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割ステップと、
前記分割ステップにおいて分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコードステップと、
前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理ステップと
を具備することを特徴とする平面データの時系列変化を予測する平面データ処理方法。

【請求項7】

前記第１のエンコードステップは、畳み込みニューラルネットワークを用いて処理を実行し、
前記第１のデコードステップは、トランスポーズド畳み込みニューラルネットワークを用いて処理を実行し、
前記第２のデコードステップでは、畳み込みニューラルネットワークにより処理を実行する、
こと特徴とする請求項６に記載の平面データ処理方法。

【請求項8】

前記第２のデコードステップでは、前記分割ステップによる分割数に対応する数の畳み込みニューラルネットワークを用いて処理を実行することを特徴とする請求項７に記載の平面データ処理方法。

【請求項9】

前記分割ステップでは、前記第１の予測データが正負の形態を採る場合に応じて、前記第１の予測データを正データにより構成される第１の分割予測データと、前記第１の予測データを負データにより構成される第２の分割予測データと、を生成する
ことを特徴とする請求項８に記載の平面データ処理方法。

【請求項10】

前記第２のデコードステップによる前記第１の分割予測データのデコード結果から前記第２のデコードステップによる前記第２の分割予測データのデコード結果を減算する減算ステップを具備することを特徴とする請求項９に記載の平面データ処理方法。

【請求項11】

コンピュータを、
入力される平面データを所定範囲で規格化する前処理手段、
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコード手段、
前記特徴量データの空間解像度を上昇させて第１の予測データを求める第１のデコード手段、
前記第１のデコード手段により求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割手段、
前記分割手段が分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコード手段と、
前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理手段
として機能させることを特徴とする平面データの時系列変化を予測する平面データ処理用プログラム。

【請求項12】

前記第１のエンコード手段は、畳み込みニューラルネットワークにより構成され、
前記第１のデコード手段は、トランスポーズド畳み込みニューラルネットワークにより構成され、
前記第２のデコード手段は、畳み込みニューラルネットワークにより構成され、
ていること特徴とする請求項１１に記載の平面データ処理用プログラム。

【請求項13】

前記第２のデコード手段は、前記分割手段による分割数に対応する数の畳み込みニューラルネットワークにより構成されていることを特徴とする請求項１２に記載の平面データ処理用プログラム。

【請求項14】

前記コンピュータを前記分割手段として、前記第１の予測データが正負の形態を採る場合に応じて、前記第１の予測データを正データにより構成される第１の分割予測データと、前記第１の予測データを負データにより構成される第２の分割予測データと、を生成するように機能させる
ことを特徴とする請求項１３に記載の平面データ処理用プログラム。

【請求項15】

前記コンピュータを、
前記第２のデコード手段による前記第１の分割予測データのデコード結果から前記第２のデコード手段による前記第２の分割予測データのデコード結果を減算する減算手段として機能させることを特徴とする請求項１４に記載の平面データ処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムに関するものである。

【背景技術】

【0002】

特許文献１には、平面データではなく、広く物に取り付けられたセンサのデータを用いて、物の異常や故障を事前に検知する技術が開示されており、この検知のために、潜在変数とニューラルネットワークを用いた機械学習によるＶＡＥ（Variational Auto Encoder）を用いることが記載されている。

【0003】

更に、特許文献２には、データの発生確率分布を推定するために、上記ＶＡＥを用いることが開示されている。

【0004】

また、特許文献３には、カメラ映像の処理により物体の移動を認識する装置が開示されており、この特許文献３の発明では、対象画像から部分テンプレートを切り出す際に入力画像をニューラルネットワークで学習して物体らしき領域を抽出することが開示されている。

【0005】

更に、特許文献４には、ニューラルネットワークを用いた推定技術が開示されている。この特許文献４の発明では、ニューラルネットワークを用いたエンコーダとデコーダとが備えられ、エンコーダの最終層にドロップアウト層と全結合層との組み合わせからなる少なくとも１つの一体化層を設けるというものである。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開第２０１９／２４４９３０号公報

【文献】特開２０１９－２１９９１５号公報

【文献】特開平５－２９８５９１号公報

【文献】特開２０１９－１３９４８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

いずれの特許文献に記載の発明においても、構成を簡易にして軽量化を図りながら、予測を行うというものではない。

【0008】

本発明では、平面データの予測を簡易にして軽量化が可能な平面データ処理装置の提供を目的とする。

【課題を解決するための手段】

【0009】

本発明に係る平面データ処理装置は、入力される平面データを所定範囲で規格化する前処理部と、平面データの空間解像度を低下させて特徴量データを抽出する第１のエンコーダと、前記特徴量データの空間解像度を上昇させて第１の予測データを求める第１のデコーダと、前記第１のデコーダにより求められた第１の予測データを前記第１の予測データの形態に応じて複数の分割予測データに分割する分割手段と、前記分割手段が分割した異なる形態の前記分割予測データが入力され、当該分割予測データの空間解像度を維持したまま予測を行い第２の予測データを得る第２のデコーダと、前記第２の予測データに対して、前記規格化と逆の処理を行い予測平面データを作成する後処理部とを具備することを特徴とする。

【図面の簡単な説明】

【0010】

【図1】本発明の第１形態に係る平面データ処理装置１００を示すブロック図。

【図2】本発明の実施形態に用いられる平面データの一例を示す図。

【図3】本発明の第２の実施形態に係る平面データ処理装置１００Ａを示す図。

【図4】本発明の実施形態に係るコンピュータシステムの構成図。

【図5】本発明の実施形態に係るコンピュータシステムのＣＰＵ２１０が、第１の実施形態または第２の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャート。

【図6】本発明の第３の実施形態に係る平面データ処理装置１００Ｂを示すブロック図。

【図6A】本発明に係る第１乃至第３の実施形態に用いられるフィルタの構成図。

【図6B】本発明に係る第１乃至第３の実施形態に用いられるフィルタによる１区画目の処理の説明図。

【図6C】本発明に係る第１乃至第３の実施形態に用いられるフィルタによる２区画目以降の処理の説明図。

【図7】本発明の第３の実施形態に係る平面データ処理装置１００Ｂの分割手段１７０が行う処理を示す図。

【図8】本発明の実施形態に係る第３の実施形態の効果を示す図。

【図9】コンピュータシステムのＣＰＵ２１０が、第３の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャート。

【図10】等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの後の時刻ｔ３における平面データを予測することを示した図。

【図11】等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの３回分後の時刻ｔ５における平面データを予測することを示した図。

【図12】予測をする場合に第１の検出対象が存在から消滅し、当初存在しなかった第２の検出対象が現れ、徐々に存在感を大きくする場合の予測経過を示す図。

【図13】複数の検出対象についての追跡予測であり、負の値の部分を有する場合の追跡予測を示す図。

【図14】本発明の実施形態で用いる平面データの構造を示す図。

【図15】第１の実施形態と第２の実施形態に係る平面データ処理におけるデータ構造の流れを示す図。

【図16】第３の実施形態に係る平面データ処理におけるデータ構造の流れを示す図。

【図17】本発明の第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムが採用する処理手法を示す図。

【図18】脳波トポグラフィを示す図。

【図19】水が流れている、ある水路の断面における流量を示した図。

【図20】監視位置から前方の移動体或いは静止体の距離を、塗り潰しパターンにより示した図。

【図21】従来のタッチパネルに備えられたタッチセンサにより得られた時系列データ（実際の平面データ）の変遷と、従来のタッチパネルの画面上に実際には表示されないが、表示した場合の実際入力位置ＴＰと、実際入力位置ＴＰから作成しタッチパネルの画面上に表示される入力描画位置ＤＰを示す図。

【図22】本発明の第５の実施形態の構成を採用したタッチパネルに備えられたタッチセンサにより得られた時系列データ（実際の平面データ）の変遷と、本発明の第５の実施形態の構成を採用したタッチパネルの画面上に表示された描画予測位置の変遷を示す図。

【発明を実施するための形態】

【0011】

以下添付図面を参照して、本発明の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムを説明する。各図において、同一の構成要素には、同一の符号を付して重複する説明を省略する。

【0012】

図１は、第１の実施形態に係る平面データ処理装置１００を示すブロック図である。この平面データ処理装置１００は、センサなどにより得た平面データを、入力部１１０から入力し、処理を行い、処理結果を出力部１６０から出力することができる。平面データ処理装置１００には、入力部１１０と出力部１６０との間に、前処理部１２０、エンコーダ１３０、デコーダ１４０、後処理部１５０が設けられる。

【0013】

前処理部１２０は、入力部１１０にて入力される平面データを所定範囲に規制する規格化を行うものである。例えば、規格化によって平面データの各値を０から１０の範囲の値とすることができる。エンコーダ１３０は、規格化された平面データの空間解像度を低下させて特徴量データを生成するものである。ここに、特徴量データとは、機械学習における学習対象データである平面データの特徴を数値化したものである。このエンコーダ１３０では、時系列で平面データが入力される場合に、時間的に所定範囲の平面データを連結してエンコードを行う。第１の実施形態では、ＣＮＮによって特徴量データを求めても良いし、他の機械学習において用いられている手法を用いて特徴量データを抽出するようにしても良い。

【0014】

デコーダ１４０は、時系列毎の前記特徴量データの空間解像度を上昇させて予測データを求めるものであり、機械学習を採用して現在より先の（未来の）平面データの各値についての予測データを求める。上記のように特徴量データには形状特徴量と位置（移動）特徴量が含まれるので、予測データでは、形状とその位置に関するデータが含まれる。機械学習の手法は問わない。後処理部１５０は、上記デコーダ１４０の出力に対して、上記前処理部１２０が行った規格化と逆の処理を行って予測平面データを作成するものである。出力部１６０は、予測平面データをディスプレイ画面に表示し、或いはプリントアウトし、または記憶部へ記憶するものである。

【0015】

ここに、平面データとは、複数のデータ（数値）を平面的に並べて構成されたデータを言う。そして、平面データ処理とは、上記平面データの時系列変化を予測する処理を指すものとする。

【0016】

上記平面データは、カメラにより得られる１フレーム分の画像データであっても良く、タッチパネル等により得られるデータ、においセンサのデータ、サーモビューワによって得られるデータ、視線検出データ、量子ビットの量子計測・センシングデータ、パーティクルフィルタの対象物の位置データ、音圧センサによる音圧マップのデータ、測定した温度や湿度やその他の値を２次元的に並べたデータ、ドローンを含むロボットの時系列な制御データ、物体の温度や照度を平面的に配置したデータ、空間の気流を平面的に配置したデータ、指紋を平面的に捕らえるセンサのデータであっても良い。

【0017】

図２に、平面データの一例を示す。図２（Ａ）は、例えば０から２５５の解像度を用いて、例えばタッチパネルの押圧力等の入力検出値の平面分布を表したもので、値が大きくやや濃いメッシュの部分に、例えばユーザによる指のタッチ入力があったことを示す。図２（Ｂ）は、負の値を用いた、例えば物体の温度分布を示す。図示する分布図は、中央部において温度が高く、円形状の周辺部に温度が低い負の値の部分を有するものを示す。本実施形態では、図２（Ａ）に示す如き、タッチ入力部分（領域）や物体の温度分布が時間と共に移動するときのデータの遷移を予測可能とし、更に、図２（Ｂ）の如き温度分布を有する物体等の移動経路に係る平面データについても、追跡予測を可能にする。

【0018】

図３は、第２の実施形態に係る平面データ処理装置１００Ａを示す図である。平面データ処理装置１００Ａでは、第２の実施形態のエンコーダ１３０は、畳み込みニューラルネットワーク（以下、ＣＮＮ）１３５により構成される。この第２の実施形態以降では、機械学習をＣＮＮ（Convolutional Neural Network）によって行うことを基本として説明を行うため、以下では、「特徴量データ」の語を、ＣＮＮにおいて用いる「特徴マップデータ」に変えて説明を行う。特徴マップデータは、平面データを畳み込みによって生成される。
特徴マップとは、「平面データのある位置近傍の矩形領域に含まれる値の分布の特徴を複数のフィルタによって数量化する処理を、平面データの各点について同様に実施し空間方向およびチャンネル方向に並べた３次元配列」である。フィルタとは、「ある矩形領域に特定のパターンが含まれる場合大きな値に変換し、そうでなければ小さな値へ変換する処理」である。
また、第１の実施形態のデコーダ１４０は、トランスポーズド（Transposed）畳み込みニューラルネットワーク（以下、ＴＣＮＮ）１４５により構成されている。ニューラルネットワークにおけるＴＣＮＮは、転置畳み込みとでも称すべき処理であり、元となる特徴マップを拡大（空間解像度を上昇）させてから畳み込む処理を行うものである。

【0019】

図４は、本発明の実施形態に係るコンピュータシステムの構成図である。このコンピュータシステムによって、第１の実施形態または第２の実施形態に係る平面データ処理装置が実現される。このコンピュータシステムは、ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより平面データ処理装置が実現される。ＣＰＵ２１０には、バス２１２を介して外部記憶コントローラ２２１、入力部コントローラ２３１、出力部コントローラ２４１が接続されている。

【0020】

外部記憶コントローラ２２１には、外部記憶装置２２０が接続されている。外部記憶装置２２０には、平面データ処理用プログラムや平面データ処理に必要なデータ等が記憶されており、ＣＰＵ２１０は、平面データ処理用プログラムや平面データ処理に必要なデータ等を主メモリ２１１へ読み出してこのプログラムを実行し、平面データ処理を行う。入力部コントローラ２３１には、平面データおよびその他のデータ或いはコマンドなどを入力するための入力部２３０が接続されている。出力部コントローラ２４１には、平面データ処理の結果およびその他の情報を表示するための表示ディスプレイ装置或いはプリントアウトするためのプリンタや情報を記憶するための外部記憶装置等である出力部２４０が接続されている。このコンピュータシステムに備えられている構成は、一例に過ぎず、他の構成が備えられる。

【0021】

上記コンピュータシステムにおいて、ＣＰＵ２１０が平面データ処理用プログラムを実行することにより、当該ＣＰＵ２１０は、第１の実施形態の前処理部１２０、エンコーダ１３０、デコーダ１４０、後処理部１５０として機能し、また第２の実施形態の前処理部１２０、ＣＮＮ１３５、ＴＣＮＮ１４５、後処理部１５０としても機能する。また、第２の実施形態のＣＮＮ１３５とＴＣＮＮ１４５については、それぞれハードウエアにより構成し、インタフェースを介してバス２１２に接続する構成を採用しても良い。

【0022】

図５は、上記コンピュータシステムのＣＰＵ２１０が、第１の実施形態または第２の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャートである。予測処理では、ＣＰＵ２１０は、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化を行う（Ｓ１１）。次に、ＣＰＵ２１０は、空間解像度の低下によるエンコードを行い、特徴マップを生成する（Ｓ１２）。第２の実施形態では、ＣＰＵ２１０はＣＮＮ１３５として空間解像度の低下により特徴マップの生成を行う。この特徴マップの抽出では、形状特徴量と位置（移動）特徴量を共に抽出する。

【0023】

次に、特徴マップはデコーダ１４０として動作機能するＣＰＵ２１０に渡され、ＣＰＵ２１０はデコーダ１４０として、所定時刻先の平面データを予測し空間解像度を空間解像度低下前と同一まで上昇させ、予測データ（予測した平面データ）を生成する（Ｓ１３）。第２の実施形態では図５の左側に記載の通り、ＣＰＵ２１０はＴＣＮＮ１４５を用いた機械学習によって所定時刻先の平面データを予測及び空間解像度の上昇処理を実行し、予測データ（逆規格化前のもの）を生成する。デコーダ１４０として機能するＣＰＵ２１０は、予測データの生成を行うと、この予測データに対してステップＳ１１の前処理において行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する（Ｓ１４）。最終的に、ＣＰＵ２１０は上記で作成した予測平面データを出力して（Ｓ１５）、終了となる。

【0024】

例えば、ＣＮＮ１３５は、図６Ａに示すように、幅方向にＸ区画と、高さ方向にＹ区画とのＸ×Ｙの区画に値を有するフィルタを、Ｚチャネル備えたものであるとする。この場合に図６Ｂに示すように、時系列ｔ０、ｔ１、ｔ２、・・・に入力される平面データを処理するときには、次のようである。上記のエンコーダ１３０（ＣＮＮ１３５）として機能するＣＰＵ２１０は、各時刻での入力データを１つに連結させてからＣＮＮを行う。例えば、第２の実施形態では、時刻ｔ０、ｔ１、ｔ２、…の平面データをチャンネル方向に連結し、Ｚ個の矩形領域（１区画）に含まれる全数値を１つのフィルタに適用し、１つの数値を出力する（図６Ｂ）。
この処理が平面データの畳み込み処理の際の並列データの１区画分の処理である。この処理結果が１フィルタ分の出力となり、平面データの全区画分に同様の処理が行われる（図６Ｃ）。全区画分の出力は、平面上に並べられ、全フィルタ分の出力がチャンネル方向に連結される。
また、デコーダ１４０として機能するＣＰＵ２１０は、特徴マップからデータの予測データを生成する。上記のようにＣＮＮ１３５によるエンコードとＴＣＮＮ１４５によるデコードという手段で平面データについて移動している対象を的確に捕らえて次に移動する適切な位置予測を実現できる。図６は、第３の実施形態に係る平面データ処理装置１００Ｂを示すブロック図である。本実施形態では、入力部１１０に入力される平面データを所定範囲に規制する規格化を行う前処理部１２０と、規格化された平面データに対して空間解像度を低下させて特徴マップデータを生成する第１のエンコーダ１３０Ｂとを備える。この空間解像度の低下では、形状と位置（移動）の２つの特徴を含んだ特徴マップの抽出が行える程度まで空間解像度が低下される。前処理部１２０で行う規格化では、ニューラルネットワーク内で符号情報を保持させるため、ゼロ点を保持させて符号付きのまま規格化を実施する。更に、平面データ処理装置１００Ｂは、時系列の特徴マップデータに対して空間解像度を空間解像度低下前と同一まで上昇させて第１の予測データを求める第１のデコーダ１４０Ｂを備える。このように、「特徴マップデータに対して空間解像度を上昇させる」とは、「空間解像度を特徴マップから上昇させて平面データと同一にする」ことを意味する。

【0025】

第１のデコーダ１４０Ｂの出力側には、分割手段１７０が設けられている。分割手段１７０は、第１のデコーダ１４０Ｂの出力である上記予測データをデータの形態に応じて複数の分割予測データに分割する。ここでは、データ形態が正のデータと負のデータの２形態としているため、２つの分割予測データに分割する。図７は、本発明の第３の実施形態に係る平面データ処理装置１００Ｂの分割手段１７０が行う処理を示す図である。この分割に際して、データ形態が負のデータを正のデータとする処理を行うが、この場合には負の符号を取り去り、元から正であるデータを「０」に置換する。例えば、図７（Ａ）から図７（Ｂ）のデータを作り出す。また、データ形態が正であるデータは、そのまま残し、元が負であるデータを「０」に置換する。例えば、図７（Ａ）から図７（Ｃ）のデータを作り出す。

【0026】

分割手段１７０の出力側には、第２のデコーダ１８０が設けられている。第２のデコーダ１８０は、上記分割手段１７０が分割した異なる１つ１つの分割予測データを入力し、この分割予約データの空間解像度を低下させることなく、換言すれば空間解像度を維持した状態で、予測を行い第２の予測データを得る。上記第２のデコーダ１８０は、上記分割手段１７０による分割数に対応する数のＣＮＮ１８５ＡとＣＮＮ１８５Ｂとにより構成されている。このＣＮＮ１８５ＡとＣＮＮ１８５Ｂは、１層でのニューラルネットワークのモデル構築されたものを用いることが可能である。

【0027】

ＣＮＮ１８５Ａは、元から正の符号の数値により構成される第１の予測データを用いて正側の第２の予測データを得る。ＣＮＮ１８５Ｂは、元の負の符号から正の符号に変更された数値により構成される第１の予測データを用いて負側の第２の予測データを得る。正側の第２の予測データと負側の第２の予測データとは減算手段１９０へ送出される。減算手段１９０は、負側の第２の予測データの符号が正であるから、正側の第２の予測データから負側の第２の予測データの減算を行う。この結果正および負の符号付きの第２の予測データが得られる。

【0028】

減算手段１９０の出力（減算結果）は、後処理部１５０へ送られる。後処理部１５０は、上記減算手段１９０の出力に対して、上記前処理部１２０が行った規格化と逆の処理を行って予測平面データを作成するものである。出力部１６０は、予測平面データをディスプレイ画面に表示し、或いはプリントアウトし、または記憶部へ記憶するものである。本実施形態によれば、高精度化と高速化の課題を解決することが期待できる。図８は、この第３の実施形態の効果を示す図である。ここでは、第２の実施形態を１．０とし、エンコーダは最適設計とした。第３の実施形態によって予測精度は４０％向上した。ＣＮＮ２層化と比較すると、第３の実施形態によって予測精度は３．５倍に向上した。
上記第３の実施形態についても、図４のコンピュータシステムによって実現可能である。この場合に、ＣＮＮ１３５、ＣＮＮ１８５Ａ、ＣＮＮ１８５ＢとＴＣＮＮ１４５については、ソフトウエアにより構成することができるが、それぞれハードウエアにより構成し、インタフェースを介してバス２１２に接続する構成を採用しても良い。図９は、上記コンピュータシステムのＣＰＵ２１０が、第３の実施形態の平面データ処理装置として動作する場合の動作を示すフローチャートである。ＣＰＵ２１０は、前処理部１２０として、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化を行う（Ｓ１１）。次に、ＣＮＮ１３５として機能するＣＰＵ２１０によるエンコードが行われ、特徴マップの生成が行われる（Ｓ２２）。ＣＰＵ２１０が行うＣＮＮ１３５としての処理においては、形状特徴と位置（移動）特徴の２つの特徴を含んだ特徴マップの抽出が行われる。

【0029】

次に、第１のデコーダ１４０ＢであるＴＣＮＮ１４５内において、ＣＰＵ２１０は第１のデコーダ１４０Ｂとして予測し、予測した平面データの空間解像度を空間解像度低下前と同一まで上昇させることにより、所定時刻先の予測データである平面データ（予測した符号付き平面データ）を生成する（Ｓ２３）。

【0030】

予測した符号付き平面データは分割手段１７０へ渡される。ＣＰＵ２１０は分割手段１７０として、第１のデコーダ１４０Ｂの出力である上記予測データをデータの形態に応じて複数の分割予測データに分割する。ここでは、データ形態が正のデータと負のデータであるとしているため、正側分割予測データと負側分割データに分割する（Ｓ２４）。この分割に際して、正側予測データは正の値のデータをそのまま残し、負の値のデータを「０」に置換したものである。負側予測データは、負の値の符号を取り去った状態で残し、正の値のデータを「０」に置換したものである。

【0031】

次に、２つの分割予測データに分割された２つの分割予測データは、ＣＮＮ１８５ＡとＣＮＮ１８５Ｂへ送られる。ＣＰＵ２１０は、ＣＮＮ１８５ＡとＣＮＮ１８５Ｂして空間解像度を低下させることなく、換言すれば空間解像度を維持した状態で予測を行い第２の予測データを得る（Ｓ２５）。

【0032】

ＣＮＮ１８５ＡとＣＮＮ１８５Ｂとして動作するＣＰＵ２１０によって、予測データの生成が行われると、ＣＰＵ２１０は減算手段１９０として、負側の第２の予測データの符号が正であるから、正側の第２の予測データから負側の第２の予測データの減算を行う（Ｓ２６）。この結果、正および負の符号付きの第２の予測データが得られる。この予測データに対してＣＰＵ２１０は、ステップＳ１１の前処理において行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する（Ｓ１４）。最終的に、ＣＰＵ２１０は、上記で作成した予測平面データを出力して（Ｓ１５）、終了となる。

【0033】

図１０は、等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの後の時刻ｔ３における平面データを予測することを示した図である。また、図１１は、等時間間隔ｔの時刻ｔ０、ｔ１、ｔ２において、得られた３つの平面データから上記時間間隔ｔの３回分後の時刻ｔ５における平面データを予測することを示した図である。これら図１０および図１１に示した平面データに関する予測処理は、本発明の実施形態において実現可能であり、例えば、図６の構成において、ＣＰＵ２１０が図９に示すフローチャートを実行すると実現される平面移動である。

【0034】

図１２は、図１０と同じ予測をする場合に平面データの右側にある第１の検出対象ＤＤ１が存在していた状態から消滅し、当初の時刻ｔ０では存在しなかった第２の検出対象ＤＤ２が事項ｔ１で平面データの右下側に現れ、時刻ｔ２、ｔ３と時間と共に徐々に存在感を大きくする場合の予測経過を示す図である。図１３は、図１２と同じく複数の検出対象についての追跡予測であり、図１（Ｂ）と同じく正負の値の部分を有する場合の追跡予測を示す図である。時刻ｔ０、ｔ１、ｔ２の平面データのいずれにも正負の値が存在し、正の大きな値の部分Ｐが、平面上で領域が小さくなりながら移動している。また、負の絶対値が大きな値の部分Ｍが、平面上で領域が大きくなりながら移動している。時刻ｔ３の平面データは、時刻ｔ０、ｔ１、ｔ２の平面データから予測される。時刻ｔ３の平面データにおいては、正の大きな値の部分Ｐは消失し、負の絶対値が大きな値の部分Ｍが移動するであろう予測領域ＦＭ１と、新たに生じるであろう負の絶対値が大きな値の部分ＦＭ２が予測されている。これら図１２、図１３に示した平面データに関する予測処理は、本発明の第１乃至第３の実施形態において実現可能であり、例えば図６の構成において、ＣＰＵ２１０が図９に示すフローチャートを実行すると実現される平面移動である。

【0035】

図１４から図１６は、平面データ処理におけるデータ構造を示したものである。図１４は、平面データが時刻ｔ０、ｔ１、・・・、ｔｎにおいて発生することを示している。この図１４において、ＸとＹは平面データにおいて、Ｘ方向に並ぶデータ（数値）の数、Ｙ方向に並ぶデータ（数値）数であり、ＸとＹにより平面データのサイズを示し、本実施形態では、各時刻ｔ０、ｔ１、・・・、ｔｎにおいて得られたデータが時系列に並んでいる時系列の平面データを用いた処理を行うことを示している。図１５は、第１の実施形態と第２の実施形態に係る平面データ処理におけるデータ構造の流れを示す図である。この図１５に明らかな通り、第１の実施形態と第２の実施形態とにおいては、入力に係る時系列の平面データ（図１４に示されている時刻ｔ０、ｔ１、・・・、ｔｎにおいて発生する時系列データ）を１つに連結してＣＮＮ１３５へ入力して、ＣＮＮ１３５によるエンコーダの処理によって特徴マップを得る。上記の「連結」については、図５のフローチャートを用いて説明した通りに、形状特徴量と位置（移動）特徴量を共に抽出するために行われる。次に、この特徴マップはＴＣＮＮ１４５へ送られて、ＴＣＮＮ１４５においてデコードされて予測データが生成され、出力される。

【0036】

図１６は、第３の実施形態に係る平面データ処理におけるデータ構造の流れを示す図である。この第３の実施形態では、入力に係る時系列の平面データを時系列の順に１つの時系列ずつＣＮＮ１３５へ入力して、ＣＮＮ１３５において特徴マップを得る。この特徴マップは、ＴＣＮＮ１４５へ送られて、ＴＣＮＮ１４５においてデコードされる。ＴＣＮＮ１４５による処理結果である予測データ１は、正および負の予測データ１として分割して、正側の予測データ２をＣＮＮ１８５Ａへ与えられ、負側の予測データ２をＣＮＮ１８５Ｂへ与えられる。ＣＮＮ１８５ＡとＣＮＮ１８５Ｂは、データに対して空間解像度を維持したまま（低下させることなく）予測を行い第２の予測データ（予測データ２正側及び予測データ２負側）を得る。図６に示した減算手段１９０は、２つの第２の予測データに対する減算を行い、最終的な予測データを得て、結果を出力する。このように第３の実施形態が採用するデータ構造の流れは、高精度かつ高速化を狙った構成が採用されている。

【0037】

以上のように、第３の実施形態に係る平面データ処理装置では、ニューラルネットワークの層を極限まで浅くして省力化を図り、高精度かつ高速に平面データに対する予測などの処理を行う手法を実現したものである。各時刻で取得される平面データを並列処理するＣＮＮを実現するため、ＣＮＮとしてはＣＮＮ１３５、ＣＮＮ１８５Ａ、ＣＮＮ１８５Ｂを用いており、ＣＮＮの個数は増えるが、各ＣＮＮについては１層のニューラルネットワークのモデルで実現可能となる。即ち、ニューラルネットワークの層を深くすることなく、従って構成の複雑さと大型化を回避し、予測などの平面データ処理の高精度化と高速化が期待できる。また、正側の予測データ２をＣＮＮ１８５Ａへ与え、負側の予測データ２をＣＮＮ１８５Ｂへ与えて処理を行うため、処理する平面データの正負値の分布や分布の変化にもよるが、ＣＮＮ１８５Ａの構造とＣＮＮ１８５Ｂの構造を同じ構成とすることができ、開発期間の短縮化が可能性である。また、ＣＮＮ１８５ＡとＣＮＮ１８５Ｂにおける学習についても、ＣＮＮ１８５Ａが予測データの正側のみの分布、ＣＮＮ１８５Ｂが予測データの負側のみの分布を学習すればよいことから、収束までの時間短縮を図ることが可能である。

【0038】

図１７は、第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムが採用する処理手法を示す図である。本実施形態においては、平面データ処理装置１００（１００Ａ、１００Ｂ）において予測などの処理を行った結果を、次の予測などの処理に用いるフィードバック経路（或いは、フィードバック手段）を有するものである。例えば、Ｓｔｅｐ１として時刻ｔ０（２つ前過去）、ｔ１（１つ前過去）、ｔ２（現在）の３時点における平面データを用いて、時刻ｔ３（１つ先の未来）の平面データを予測する。次に、ｔ１（１つ前過去）、ｔ２（現在）の２時点における平面データに加えて、Ｓｔｅｐ１で求めた時刻ｔ３（１つ先の未来）の予測データである平面データを用いて、予測を行う。

【0039】

以下同様に処理を行う。３回目以降の予測等の処理においては、予想等の時点で２回前に予測した時刻における実際の平面データが得られていれば、これを用いて処理を行う。つまり、３枚の平面データを用いる場合には、実際の平面データ２枚と１回前に予測などの処理により得た平面データを利用する。本実施形態によれば、実際の平面データが得られていないときにも予測データを求めることができ、より高精度の予測処理を実現できるようになる。なお、上記実施形態では、２つ先の時刻でのデータを予測することを示したが、３つ先以降の時刻でのデータを予測する際に、得られていない時刻の平面データを代替するように予測結果を用いることができる。また、正負の符号を有するデータのようにデータの形態が異なるデータが存在している平面データを用いた場合にも高精度に予測することができる。また、デコーダとしてのＴＣＮＮやＣＮＮに関し、ニューラルネットワークの層を極限まで浅くでき、ネットワークモデルを省力化可能である。本発明の実施形態によってデコーダで正側と負側のデータ別にＣＮＮを２回追加することになるが、各ＣＮＮは１層でのニューラルネットワークのモデル構築が可能となる。本発明の実施形態では、予測精度を損なうことなくデータ予測処理時間の短縮を図ることが期待できる。

【0040】

上記において説明した第１乃至第４の実施形態に係る平面データ処理装置、平面データ処理方法及び平面データ処理用プログラムは、以下に示す平面データの処理に用いることができる。図１８は、脳波トポグラフィを示す図である。脳波トポグラフィは、頭皮表面の脳電位の等電位図を描いたものである。脳電位の大きさを塗り潰しパターンの変化として示しており、正常者の脳波トポグラフィは、概ね左右対称である。感情や行動によっても波形に変化があり、感情や心の動きの観察に用いることが期待される。測定した脳電位を頭部を上部から目視した場合の頭部輪郭線により形成される楕円状の領域の測定位置に該当する座標位置に並べて本実施形態の平面データとすることができる。この脳波トポグラフィによる平面データを測定間隔の時系列データとして、平面データ処理を行う。これによって、予測した時刻の脳波トポグラフィを見ることができるので、実際の測定時間を短縮化して被験者の負担を低減することができる。

【0041】

図１９は、水が流れている、ある水路の断面における流量を示した図である。この図においては、流量の大小について塗り潰しパターンの変化として示している。流量は流速×断面積であるから、所定位置に流速センサを設けて断面の所定位置の流速を求めて、各位置における単位面積当たりの流量を平面データとして本発明実施形態の平面データ処理を行うことが可能である。図１９のような流量対応の図を表示する場所を複数地点に設け、場所毎に流量を予測して図の如き表示を行い、図における水の部分が大流量の塗り潰しパターンに近づくほど流量が大きいものとして、危険を察知することが期待される。水路や排水溝を利用する農業や河川管理における防災、海の津波検出など漁業での利用を想定することができる。

【0042】

図２０は、監視位置から前方の移動体或いは静止体の距離を、塗り潰しパターンの変化として示した図である。距離の測定には光線の照射と反射によるセンサを用い、或いは監視カメラを用いた画像処理などを採用することができる。図のような画面の単位面積エリアの塗り潰しパターンを数値データとして１画面毎に平面データを得る。平面データを時々刻々と得て本発明実施形態の平面データ処理を行うことが可能である。この処理によって、図２０（Ａ）の場合には、静止物体および移動物体の距離（位置）を予測して危険を検知することを目指すことができ、また、物体の移動先を推定する。また、図２０（Ｂ）に示す場合には、人や移動している物の距離（位置）から歩いていることや走っているという行動を予測することも可能である。更に、混雑の度合いや人の動き（移動方向と移動速度）の監視なども可能である。センサによっては暗闇でも使用できるものがあり、画像処理（動画予測）システムよりも簡素な構成による構築が期待される。

【0043】

次に、第５の実施形態を説明する。この第５の実施形態は、図４のコンピュータシステムによって実現可能である。入力部２３０と出力部２４０によってタッチパネルが構成されている。図２１（Ａ）は、従来のエッジデバイスのタッチセンサにより得られた時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４の時系列データ（実際の平面データ）の変遷を示す図である。タッチによりセンサから大きな入力値が得られるエリアＥは、図２１（Ａ）に示すようにパネル上を移動して行く。

【0044】

図２１（Ｂ）は、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４におけるタッチパネルの画面上に実際には表示されないが、表示した場合の実際入力位置ＴＰと、実際入力位置ＴＰから作成しタッチパネルの画面上に表示される入力描画位置ＤＰを示す図である。入力描画位置ＤＰには描画軌跡が線分となって表示される様子が示されている。この図２１（Ｂ）によれば、タッチパネルの画面上には、実際入力位置ＴＰより遅延した位置に入力描画位置ＤＰが表示されていることが分かる。

【0045】

第５の実施形態に係る平面データ処理装置は、図４のコンピュータシステムにより、ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより実現される。この第５の実施形態の装置は、タッチパネルを構成する入力部１１０に入力される平面データを所定範囲に規制する規格化を行う前処理部１２０と、規格化された平面データに対して空間解像度を低下させて特徴マップデータを生成する第１のエンコーダ１３０Ｂとを備える。前処理部１２０で行う規格化では、ニューラルネットワーク内で符号情報を保持させるため、ゼロ点を保持させて符号付きのまま規格化を実施する。更に、平面データ処理装置１００Ｂは、時系列の特徴マップデータに対して空間解像度を上昇させて第１の予測データを求める第１のデコーダ１４０Ｂを備える。

【0046】

第５の実施形態の装置は、分割手段１７０とＣＮＮ１８５Ａ、ＣＮＮ１８５Ｂ、減算手段１９０、後処理部１５０を備える。以上のように第５の実施形態の構成は、第３の実施形態と基本的には同じであり、入力部２３０と出力部２４０によってタッチパネルが構成されている点で第３の実施形態と異なる。

【0047】

更に、第５の実施形態の装置は、第４の実施形態に示したフィードバック手段を有する。

【0048】

ＣＰＵ２１０が主メモリ２１１に格納されたプログラムを実行して各部を制御することにより第５の実施形態に係る平面データ処理装置が実現される場合の動作を説明する。ＣＰＵ２１０は、前処理部１２０として、時刻ｔ０、ｔ１、・・・、ｔｎ（ｎは正の整数）においてそれぞれ１セットの平面データである入力データｔ０、入力データｔ１、・・・、入力データｔｎを取り込み、これらの平面データに対して前処理であるデータの規格化を行う。

【0049】

次に、ＣＰＵ２１０は、ＣＮＮ１３５として機能し、エンコードにより形状特徴と位置（移動）特徴の２つの特徴を含んだ特徴マップを抽出する。次に、ＣＰＵ２１０は第１のデコーダ１４０ＢのＴＣＮＮ１４５として空間解像度の上昇処理により所定時刻先の予測データである平面データを予測した符号付き平面データを生成する。

【0050】

次にＣＰＵ２１０は分割手段１７０として、上記ＴＣＮＮ１４５により生成された予測データを、正のデータと負のデータにより構成される２つの分割予測データに分割する。この分割に際して、負の符号を取り去り、「０」に置換する。

【0051】

次にＣＰＵ２１０はＣＮＮ１８５ＡとＣＮＮ１８５Ｂとして、空間解像度を低下させることなく、換言すれば空間解像度を維持した状態で、分割手段１７０により分割された２つの分割予測データのそれぞれを用いて予測を行い第２の予測データを得る。次にＣＰＵ２１０は、減算手段１９０として、正側の第２の予測データから負側の第２の予測データの減算を行う。この結果正および負の符号付きの第２の予測データが得られる。この予測データに対してＣＰＵ２１０は、前処理部１２０として行った規格化と逆の処理である後処理（スケーリング）を行って予測平面データを作成する。最終的に、ＣＰＵ２１０は、上記で作成した予測平面データをタッチパネルにおいて表示出力する。

【0052】

この第５の実施形態では、上記において予測した平面データを最新に入力した平面データとして、予測に用いる。即ち、この第５の実施形態では、図１７を用いて説明した通り、ｎ（正の整数）枚の予測用平面データを用いて予測する場合に、予測した平面データが得られた以降は、予測された平面データをｎ枚の予測用平面データ入れて次の平面データを予測する。そして、予測処理を続ける間に最新の平面データ（実平面データという）の入力があると、この最新の実平面データを、予測処理に用いていた実平面データに対応する予測データに変えてｎ枚の予測用平面データとする。

【0053】

以上のように処理を行う第５の実施形態によって、図２２に示されるように、実際入力位置に一致する位置に（遅延を解消して）描画予測位置ＰＰが表示される。

【0054】

図２２（Ａ）は、第５の実施形態の構成を採用したエッジデバイスのタッチセンサにより得られた時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４の時系列データ（実際の平面データ）の変遷を示す図である。タッチによりセンサから大きな入力値が得られるエリアＥは、実際のタッチ入力位置であり、図２２（Ａ）に示すようにパネル上を移動して行く。

【0055】

図２２（Ｂ）は、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４におけるタッチパネルの画面上に表示された描画予測位置ＰＰを示す図である。この描画予測位置ＰＰはこの第５の実施形態による処理で予測された位置である。描画予測位置ＰＰには描画軌跡が線分となって表示される様子が示されている。描画軌跡に係る線分は、既に描画予測位置ＰＰより先に予測された位置データの集合を用いて作成され、表示されるものである。この図２２（Ｂ）と上記図２２（Ａ）とを比較すると、図２２（Ａ）の実際入力位置であるエリアＥの位置に対し、タッチパネルの画面上の概ね同じ位置に描画予測位置ＰＰが表示されていることが分かる。本実施形態によれば、実際の平面データが得られていないときにも予測データを求めることができ、より高精度で高速な予測処理及び表示処理を実現できるようになる。

【0056】

本発明に係る複数の実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0057】

１００、１００Ａ、１００Ｂ・・・平面データ処理装置、１１０・・・入力部、１２０・・・前処理部、１３０、・・・エンコーダ、１３０Ｂ・・・第１のエンコーダ、１３５、１８５Ａ、１８５Ｂ・・・ＣＮＮ、１４０・・・デコーダ、１４０Ｂ・・・第１のデコーダ、１４５・・・ＴＣＮＮ、１５０・・・後処理部、１６０・・・出力部、１７０・・・分割手段、１８０・・・第２デコーダ、２１０・・・ＣＰＵ、２１１・・・主メモリ、２１２・・・バス、２２０・・・外部記憶装置、２２１・・・外部記憶コントローラ、２３１・・・入力部コントローラ、２４１・・・出力部コントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】