特開 2023-40452 データ処理装置、データ処理方法及びデータ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023040452

(43)【公開日】2023-03-23

(54)【発明の名称】データ処理装置、データ処理方法及びデータ処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230315BHJP

   H04N 7/18 20060101ALI20230315BHJP

【ＦＩ】

G06T7/00 300F

H04N7/18 K

G06T7/00 350B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021147412

(22)【出願日】2021-09-10

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100108062

【弁理士】

【氏名又は名称】日向寺 雅彦

(74)【代理人】

【識別番号】100168332

【弁理士】

【氏名又は名称】小崎 純一

(74)【代理人】

【識別番号】100146592

【弁理士】

【氏名又は名称】市川 浩

(74)【代理人】

【識別番号】100157901

【弁理士】

【氏名又は名称】白井 達哲

(74)【代理人】

【識別番号】100172188

【弁理士】

【氏名又は名称】内田 敬人

(74)【代理人】

【識別番号】100197538

【弁理士】

【氏名又は名称】竹内 功

(72)【発明者】

【氏名】山際 正和

(72)【発明者】

【氏名】西田 靖孝

(72)【発明者】

【氏名】平尾 明子

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054FC07

5C054FC12

5C054FC14

5C054FD03

5L096FA33

5L096FA81

5L096GA41

5L096GA51

5L096JA11

(57)【要約】

【課題】精度を向上できるデータ処理装置、データ処理方法及びデータ処理プログラムを提供する。
【解決手段】実施形態によれば、データ処理装置は、取得部及び処理部を含む。前記取得部は、時系列画像データを含む第１データを取得可能である。前記処理部は、前記取得部が取得した前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出可能である。前記多次元配列の第１軸は、時間に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

時系列画像データを含む第１データを取得可能な取得部と、
前記取得部が取得した前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出可能な処理部であって、前記多次元配列の第１軸は、時間に関する、前記処理部と、を備えたデータ処理装置。

【請求項2】

前記多次元配列の第２軸は、空間における第１空間軸における第１座標値に関し、
前記多次元配列の第３軸は、前記空間における第２空間軸に関する第２座標値に関し、前記第２空間軸は前記第１空間軸と交差した、請求項１に記載のデータ処理装置。

【請求項3】

前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する位置における明るさに関する値を含む、請求項２に記載のデータ処理装置。

【請求項4】

前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する前記位置における色に関する値を含む、請求項２または３に記載のデータ処理装置。

【請求項5】

前記第１特徴情報は、前記第１データの少なくとも一部の分散状態に対応し前記多次元配列に基づいて導出されたパーシステント図におけるパーシステント特徴値を含む、請求項１～４のいずれか１つに記載のデータ処理装置。

【請求項6】

前記処理部は、前記パーシステント特徴値に関する第１基準値と、前記パーシステント特徴値と、を比較した結果に基づいて、前記第１データについての第１特徴情報を出力可能である、請求項１～５のいずれか１つに記載のデータ処理装置。

【請求項7】

前記処理部は、前記第１特徴情報を入力とする機械学習に基づいて、前記第１データのうちの特徴的な部分を抽出可能である、請求項１記載のデータ処理装置。

【請求項8】

前記データ処理装置は、前記第１特徴情報に基づいて、対象装置に制御信号を供給可能であり、
前記第１データは前記対象装置に関する、請求項１～７のいずれか１つに記載のデータ処理装置。

【請求項9】

時系列画像データを含む第１データを取得し、
前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出し、前記多次元配列の第１軸は、時間に関する、データ処理方法。

【請求項10】

前記第１特徴情報は、前記第１データの少なくとも一部の分散状態に対応し前記多次元配列に基づいて導出されたパーシステント図におけるパーシステント特徴値を含む、請求項９に記載のデータ処理方法。

【請求項11】

コンピュータに、
時系列画像データを含む第１データを取得させ、
前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出させ、前記多次元配列の第１軸は、時間に関する、データ処理プログラム。

【請求項12】

前記第１特徴情報は、前記第１データの少なくとも一部の分散状態に対応し前記多次元配列に基づいて導出されたパーシステント図におけるパーシステント特徴値を含む、請求項１１に記載のデータ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、データ処理装置、データ処理方法及びデータ処理プログラムに関する。

【背景技術】

【0002】

例えば、評価対象に関する対象画像データなどを処理することで評価対象の状態が評価される。より高い精度の評価が望まれる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－９１７５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の実施形態は、精度を向上できるデータ処理装置、データ処理方法及びデータ処理プログラムを提供する。

【課題を解決するための手段】

【0005】

本発明の実施形態によれば、データ処理装置は、取得部及び処理部を含む。前記取得部は、時系列画像データを含む第１データを取得可能である。前記処理部は、前記取得部が取得した前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出可能である。前記多次元配列の第１軸は、時間に関する。

【図面の簡単な説明】

【0006】

【図1】図１は、第１実施形態に係るデータ処理装置を例示する模式図である。

【図2】図２は、第１実施形態に係るデータ処理装置の動作を例示するフローチャート図である。

【図3】図３は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。

【図4】図４は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。

【図5】図５は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。

【図6】図６（ａ）～図６（ｅ）は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。

【発明を実施するための形態】

【0007】

以下に、本発明の各実施の形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の長さなどの関係は、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0008】

（第１実施形態）
図１は、第１実施形態に係るデータ処理装置を例示する模式図である。
図１に示すように、実施形態に係るデータ処理装置１１０は、取得部３１及び処理部３２を含む。取得部３１は、第１データＤａ１を取得可能である。第１データＤａ１は、例えば、時系列画像データを含む。取得部３１は、例えば入力ポートである。

【0009】

処理部３２は、取得部３１が取得した第１データＤａ１に基づいて、第１特徴情報Ｐａ１を導出可能である。処理部３２は、導出された第１特徴情報Ｐａ１を出力可能である。

【0010】

データ処理装置１１０は、例えば、出力部３５を含んでも良い。処理部３２は、第１特徴情報Ｐａ１を、出力部３５を介して出力しても良い。出力部３５は、例えば出力ポートである。

【0011】

取得部３１は、入力機能及び出力機能を有しても良い。この場合、出力部３５は省略されて良い。取得部３１は、例えば入力出力ポートである。

【0012】

処理部３２は、例えば、電気回路（電子回路）などを含む。処理部３２は、例えば、ＣＰＵ（Central Processing Unit）などを含んで良い。

【0013】

データ処理装置１１０は、記憶部３３を含んで良い。記憶部３３は、例えば、磁気記録装置及び半導体記憶装置の少なくともいずれかを含んで良い。記憶部３３は、例えば、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）の少なくともいずれかを含んで良い。データ処理装置１１０は、表示部３４などを含んで良い。表示部３４が入力機能を有しても良い。

【0014】

データ処理装置１１０は、対象装置４０に制御信号Ｓｉｇ１を供給しても良い。対象装置４０は、データ処理装置１１０による制御の対象である。

【0015】

データ処理装置１１０に含まれる複数の要素の間におけるデータ(情報）の送受信は、有線及び無線の少なくともいずれかにより行われて良い。

【0016】

処理部３２は、例えば、第１データＤａ１に基づいて、ｎ次元（ｎは３以上の整数）の多次元配列を導出可能である。第１特徴情報Ｐａ１は、導出されたｎ次元（ｎは３以上の整数）の多次元配列に基づく。ｎ次元（ｎは３以上の整数）の多次元配列の１つの軸（第１軸）は、時間に関する。

【0017】

時間に関する軸を含む多次元配列に基づいて第１特徴情報Ｐａ１が導出される。第１特徴情報Ｐａ１を用いて、時系列画像データを含む第１データＤａ１が評価される。これにより、例えば、時系列画像データを、高い精度で評価できる。例えば、時系列画像データについて、より小さい時間的変化を抽出できる。例えば、時系列画像データについて、より小さい空間的変化を抽出できる。

【0018】

１つの例において、取得部３１が取得する第１データＤａ１の時系列データは、対象装置４０の状態の動画データでも良い。対象装置４０の条件により、適正な動作が得られる場合と得られない場合がある。例えば、対象装置４０における適正な条件に関する情報を得るために、種々の条件における種々の動画データを取得して、種々の動画データを解析することで適正な条件を得ようとする試みがある。

【0019】

１つの例において、対象装置４０は、遮断器である。遮断器において、減圧容器の中に生成されるアークによりオン・オフが切り替えられる。アークの状態を撮像した動画データに基づいて、遮断器の状態が評価される。別の例において、対象装置４０は、流体形成装置でも良い。例えば、液体または気体などの流体の流れが複数の粒子により画像化される。時間的に変化する流体が評価される。別の例において、対象装置４０は、溶接装置でも良い。例えば、溶接の際の溶接部の動作データに基づいて、溶接の状態が評価される。別の例において、モノまたは人に流れが評価される。このような各種の例に、実施形態に係るデータ処理装置１１０が適用できる。

【0020】

以下、データ処理装置１１０における動作の例について説明する。
図２は、第１実施形態に係るデータ処理装置の動作を例示するフローチャート図である。
図２に示すように、データ処理装置１１０において、第１データＤａ１が取得される（ステップＳ１１）。ステップＳ１１は、取得部３１により実施される。

【0021】

第１データＤａ１は、例えば、１つの期間において、変化する。第１データＤａ１は、例えば、時系列画像データを含む。例えば、時系列画像データが取得部３１により読み込まれる。

【0022】

取得された第１データＤａ１（時系列画像データ）が処理部３２に供給される。処理部３２は、第１データＤａ１（時系列画像データ）に関して以下の処理を行う。

【0023】

処理部３２は、例えば、第１データＤａ１（時系列画像データ）を複数のデータに変換する（ステップＳ１２）。例えば、処理部３２は、時系列画像データを、単位時間あたりの画素データに変換する。画素データは、例えば、画素における明るさに関する値を含む。

【0024】

例えば、ｉ番目の時間について、第１データＤａ１（時系列画像データ）が、ｊ×ｋ画素のデータに変換される。「ｉ」は、１以上、「ｉｍ」以下の整数である。「ｊ」は、１以上、「ｊｍ」以下の整数である。「ｋ」は、１以上、「ｋｍ」以下の整数である。「ｉｍ」、「ｊｍ」及び「ｋｍ」は、２以上の整数であり、第１データＤａ１に基づいて定められて良い。

【0025】

処理部３２は、変換されて得られるデータに基づいて多次元配列を導出する（ステップＳ１３）。例えば、１～「ｉｍ」、１～「ｊｍ」、及び、１～「ｋｍ」の複数の値に基づいて多次元配列を導出する。１～「ｉｍ」、１～「ｊｍ」、及び、１～「ｋｍ」の複数の値は、例えば、画素データ（例えば、画素における明るさに関する複数の値）に対応する。画素データ（例えば、画素における明るさに関する複数の値）は、例えば、値Ｌ_{１，１，１}～値Ｌ_{ｉｍ，ｊｍ，ｋｍ}を含む。画素データの複数の値の１つは、値Ｌ_{ｉ，ｊ，ｋ}である。

【0026】

例えば、多次元配列の第１軸は、時間に関する。例えば、多次元配列の第２軸は、空間における第１空間軸における第１座標値に関する。例えば、多次元配列の第３軸は、空間における第２空間軸に関する第２座標値に関する。第２空間軸は、第１空間軸と交差する。第２空間軸は第１空間軸に対して垂直でよい。例えば、第２軸は、空間におけるＸ空間軸における座標値で良い。例えば、第２軸は、空間におけるＹ空間軸における座標で良い。空間は、時系列画像データに対応する空間の少なくとも一部で良い。

【0027】

例えば、時系列画像データは、第１座標値及び第２座標値に対応する位置における明るさに関する値を含む。

【0028】

実施形態において、例えば、時系列画像データは、第１座標値及び第２座標値に対応する位置における色に関する値を含んでも良い。色に関する値は、色度座標における刺激値を含んで良い。画素データ（画素における複数の値）は、例えば、値Ｌ_{１，１，１，１}～値Ｌ_{ｉｍ，ｊｍ，ｋｍ，ｐｍ}を含む。画素データの複数の値の１つは、値Ｌ_{ｉ，ｊ，ｋ，ｐ}である。「ｐ」は、１以上、「ｐｍ」以下の整数である。「ｐｍ」は、２以上の整数であり、第１データＤａ１に基づいて定められて良い。「ｐ」は、例えば、色度座標における複数の刺激値の軸の１つに対応して良い。色度座標における複数の刺激値の軸の１つについての値が、１～「ｐｍ」の複数の区分に分けられて良い。時系列画像データが色に関する値を含む場合、ｎ次元の多次元配列は、例えば４次元の多次元配列を含む。例えば、「ｐ」が１の場合は、ｘｙ色度図における色度座標ｘに対応する。「ｐ」が２の場合は、ｘｙ色度図における色度座標ｙに対応する。

【0029】

実施形態においては、例えば、ｎ次元（ｎは３以上の整数）の多次元配列に基づいて処理が行われる。ｎ次元（ｎは３以上の整数）の多次元配列は、複数の成分の１つとして、時間を含むことにより、時系列画像データにおける時間的な変化が効果的に抽出されて、第１特徴情報Ｐａ１が算出される。

【0030】

実施形態において、第１特徴情報Ｐａ１は、パーシステント図に基づいて導出されても良い。図２に示すように、処理部３２は、パーシステント図を導出しても良い（ステップＳ１４）。

【0031】

パーシステント図は、第１データＤａ１（例えば時系列画像データ）の少なくとも一部の分散状態に対応する。例えば、パーシステント図は、上記の多次元配列に基づいて導出される。第１特徴情報Ｐａ１は、パーシステント図におけるパーシステント特徴値を含んでも良い。パーシステント図の例については後述する。

【0032】

処理部３２は、例えば、パーシステント図におけるパーシステント特徴値が基準値（しきい値）を超えるかどうかを判断する（ステップＳ１５）。例えば、基準値を超えるパーシステント特徴値が存在する場合、「基準値を超えるパーシステント特徴値が存在すること」に対応する信号（データ）を出力する（ステップＳ１６）。例えば、この信号（データ）が、第１特徴情報Ｐａ１の少なくとも一部となる。第１特徴情報Ｐａ１は、例えば、特異状態を検知したことを示す情報を含んで良い。特異状態は、例えば、異常でも良い。

【0033】

例えば、基準値を超えるパーシステント特徴値が存在しない場合、ステップＳ１１に戻って良い。ステップＳ１１において、別のデータの取得が行われ、別のデータに関する処理が行われて良い。

【0034】

図３は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。
図３は、第１データＤａ１を例示する。第１データＤａ１は、時系列データ（データＤＡ１～ＤＡｉｍ）を含む。

【0035】

処理部３２は、このような第１データＤａ１を、１番目～ｉｍ番目のｊ×ｋ画素のデータＤＣ１に変換する。

【0036】

図４は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。
図４は、パーシステント図ＰＤを例示している。例えば、単体複体にフィルトレーションとよばれる数学的操作を施すことで、単体複体の増大列が得られる。パーシステント図ＰＤに含まれる情報は、例えば、ホモロジーの生成元の発生と、ホモロジーの生成元の消滅と、を含む「組」に関する。ホモロジーの生成元の発生は、例えば、第１パラメータＦ１に対応する。ホモロジーの生成元の消滅は、例えば、第２パラメータＦ２に対応する。パーシステント図ＰＤの横軸は、第１パラメータＦ１に対応する。パーシステント図ＰＤの縦軸は、第２パラメータＦ２に対応する。パーシステント図ＰＤは、図形の孔の存在に関する情報を含む。パーシステント図ＰＤは、孔のサイズ、及び、孔の形状を含むスケール情報も含む。

【0037】

例えば、入力が点列の場合、チェック複体のフィルトレーションによって、パーシステント図ＰＤが得られる。チェック複体の増大列は、例えば、入力点列を中心とする半径をパラメータとし、半径を増大させることで得られる。パーシステントホモロジーによって１次元のリング構造を解析する場合、第１パラメータＦ１は、複数の球で囲まれた空間が形成される最小の半径に対応する。第２パラメータＦ２は、複数の球で囲まれた空間が消える最小の半径に対応する。このときに得られるパーシステント図ＰＤは、１次のパーシステント図ＰＤに対応する。ｑ次元のリング構造を解析して得られるパーシステント図ＰＤを、ｑ次のパーシステント図ＰＤと呼ぶ。「ｑ」は、０以上の整数である。「ｑ」が０の場場合、リング構造は、連結構造である。「ｑ」が２の場合、リング構造は、空隙構造である。

【0038】

一方、入力が画像データの場合、入力は、ピクセル値やボクセルの集まりである。この場合、方体複体のフィルトレーションが適用される。方体複体の増大列は、例えば、２値化法またはレベルセット法によって得られる。

【0039】

例えば、ピクセルのデータの場合、２値化法では、０（黒）の領域をピクセル単位で徐々に広げていくことで、ピクセル画像の増大列が得られる。この際、２５５（白）の領域をピクセル単位で徐々に広げていくことで、ピクセル画像の増大列が得られても良い。

【0040】

レベルセット法では、例えば、ピクセル値に対するしきい値が定められる。例えば、しきい値を第１値から第２値まで変化させ、しきい値以上（またはしきい値以下）のピクセル値をもつ領域を増大させることによって、ピクセル画像の増大列が得られる。第１値は、例えば、０及び２５５の一方であり、第２値は、例えば０及び２５５の他方である。

【0041】

図４に示すように、パーシステント図ＰＤにおいて、取得された第１データＤａ１（時系列画像データ）の複数の値のそれぞれが、第１パラメータＦ１及び第２パラメータＦ２の組み合わせを有する。第１パラメータＦ１及び第２パラメータＦ２の組み合わせが、パーシステント図ＰＤ中にプロットされて良い。

【0042】

図４に示すように、パーシステント図ＰＤ中に１つのグループＧ１が認められる場合がある。一方、パーシステント図ＰＤ中にそのグループＧ１に属さない値Ｇ２が求められる場合がある。例えば、グループＧ１または値Ｇ２が抽出されて良い。

【0043】

例えば、図４に示すように、第１パラメータＦ１と第２パラメータＦ２との間の関係を示す特性関数Ｐ１が定められる。特性関数Ｐ１からのずれ量が基準値Ｒ１とされる。例えば、グループＧ１に含まれる値は、特性関数Ｐ１を基準にして、基準値Ｒ１の範囲内にある。例えば、値Ｇ２は、特性関数Ｐ１を基準にして、基準値Ｒ１の範囲を超える。値Ｇ２は、例えば、基準値Ｒ１を超えるパーシステント特徴値に対応する。

【0044】

図５は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。
これらの図は、第１データＤａ１（時系列画像データ）の多次元配列を例示している。図５は、第１～第５サンプルデータＳＰ１～ＳＰ５の多次元配列を例示している。これらのサンプルにおいて、時間ｔが異なる。この例では、第１データＤａ１（時系列画像データ）は、遮断器におけるアークの時間的な変化に対応する。

【0045】

図６（ａ）～図６（ｅ）は、第１実施形態に係るデータ処理装置の動作を例示する模式図である。
図６（ａ）～図６（ｅ）は、第１～第５サンプルデータＳＰ１～ＳＰ５にそれぞれ対応するパーシステント図ＰＤに対応する。これらの図は、０次のパーシステントを含む。

【0046】

図６（ａ）及び図６（ｅ）に示すように、第１サンプルデータＳＰ１及び第５サンプルデータＳＰ５において、グループＧ１に属さない値Ｇ２が存在する。

【0047】

この例では、第１サンプルデータＳＰ１及び第５サンプルデータＳＰ５において、遮断器の遮断が容易である。容易な遮断は、アークの挙動と関係していると考えられる。第２～第４サンプルデータＳＰ２～ＳＰ４において、遮断器の遮断が困難である。困難な遮断は、アークの挙動と関係していると考えられる。このように、例えば、値Ｇ２の有無により、複数のサンプルデータが評価されて良い。

【0048】

実施形態によれば、例えば、時系列画像データを、高い精度で評価できる。例えば、動画像データを効果的に評価できる。

【0049】

上記のように、パーシステント図ＰＤは、０次のパーシステンンスを含んで良い。パーシステント図ＰＤは、０次のパーシステンンス、１次のパーシステンンス及び２次のパーシステンンスの少なくともいずれかを含んでも良い。

【0050】

パーシステント図ＰＤは、複数の期間に分割された第１データＤａ１の１つに対応しても良い。例えば、処理部３２は、第１データＤａ１に含まれる時系列データを複数の期間に分割しても良い。複数の期間に分割された少なくも１つについてパーシステント図ＰＤが導出されても良い。

【0051】

実施形態において、第１特徴情報Ｐａ１は、上記のパーシステント特徴値（例えば値Ｇ２）が変換されて得られる特徴ベクトルを含んでも良い。特徴ベクトルは、例えば、パーシステント図ＰＤを複数のグリッドに分割し、複数のグリッド内の、第１パラメータＦ１と第１パラメータＦ２との差の値を並べたパーシステント・イメージに変換することで得られる。上記の例の場合、特徴ベクトルは、例えば、値Ｇ２近辺における、第１パラメータＦ１と第１パラメータＦ２との差である。

【0052】

パーシステント特徴値（例えば値Ｇ２）に関する第１基準値Ｒ１が定められても良い。処理部３２は、例えば、第１基準値Ｒ１と、パーシステント特徴値（例えば値Ｇ２）と、を比較した結果に基づいて、前記第１データについての第１特徴情報Ｐａ１を出力しても良い。

【0053】

実施形態において、処理部３２は、第１特徴情報を入力とする機械学習に基づいて、第１データＤａ１のうちの特徴的な部分を抽出可能でも良い。

【0054】

図１及び図２に示すように、データ処理装置１１０は、第１特徴情報Ｐａ１に基づいて、対象装置４０に制御信号Ｓｉｇ１を供給可能でも良い（ステップＳ１７）。上記の例では、対象装置４０は、遮断器である。この場合、第１データＤａ１は、その対象装置４０に関する。

【0055】

（第２実施形態）
第２実施形態は、データ処理方法に係る。実施形態に係るデータ処理方法は、時系列画像データを含む第１データＤａ１を取得することを含む（例えばステップＳ１１）。データ処理方法は、取得した第１データＤａ１に基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報Ｐａ１を導出する（例えばステップＳ１６）。多次元配列の第１軸は、時間に関する。

【0056】

多次元配列の第２軸は、空間における第１空間軸における第１座標値に関する。多次元配列の第３軸は、空間における第２空間軸に関する第２座標値に関する。第２空間軸は、第１空間軸と交差する。

【0057】

時系列画像データは、例えば、第１座標値及び第２座標値に対応する位置における明るさに関する値を含む。時系列画像データは、第１座標値及び第２座標値に対応する位置における色に関する値を含んでも良い。

【0058】

第１特徴情報Ｐａ１は、パーシステント図ＰＤにおけるパーシステント特徴値を含んで良い。パーシステント図ＰＤは、第１データＤａ１の少なくとも一部の分散状態に対応する。パーシステント図ＰＤは、多次元配列に基づいて導出される。

【0059】

（第３実施形態）
第３実施形態は、データ処理プログラムに関する。実施形態に係るデータ処理プログラムは、コンピュータに上記の方法を実施させる。

【0060】

例えば、実施形態に係るデータ処理プログラムは、コンピュータに、時系列画像データを含む第１データＤａを取得させる。データ処理プログラムは、コンピュータに、第１データＤａに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出させる。

【0061】

例えば、多次元配列の第１軸は、時間に関する。多次元配列の第２は、空間における第１空間軸における第１座標値に関する。多次元配列の第３軸は、空間における第２空間軸に関する第２座標値に関する。第２空間軸は前記第１空間軸と交差する。

【0062】

例えば、時系列画像データは、第１座標値及び第２座標値に対応する位置における明るさに関する値を含む。例えば、時系列画像データは、第１座標値及び第２座標値に対応する位置における色に関する値を含んでも良い。

【0063】

第１特徴情報Ｐａ１は、例えば、パーシステント図ＰＤにおけるパーシステント特徴値を含んで良い。パーシステント図ＰＤは、第１データＤａ１の少なくとも一部の分散状態に対応する。パーシステント図ＰＤは、多次元配列に基づいて導出される。

【0064】

実施形態は、以下の構成（例えば技術案）を含んで良い。
（構成１）
時系列画像データを含む第１データを取得可能な取得部と、
前記取得部が取得した前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出可能な処理部であって、前記多次元配列の第１軸は、時間に関する、前記処理部と、を備えたデータ処理装置。

【0065】

（構成２）
前記多次元配列の第２軸は、空間における第１空間軸における第１座標値に関し、
前記多次元配列の第３軸は、前記空間における第２空間軸に関する第２座標値に関し、前記第２空間軸は前記第１空間軸と交差した、構成１に記載のデータ処理装置。

【0066】

（構成３）
前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する位置における明るさに関する値を含む、構成２に記載のデータ処理装置。

【0067】

（構成４）
前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する前記位置における色に関する値を含む、構成２または３に記載のデータ処理装置。

【0068】

（構成５）
前記第１特徴情報は、前記第１データの少なくとも一部の分散状態に対応し前記多次元配列に基づいて導出されたパーシステント図におけるパーシステント特徴値を含む、構成１～４のいずれか１つに記載のデータ処理装置。

【0069】

（構成６）
前記パーシステント図は、複数の期間に分割された前記第１データの１つに対応する、構成５に記載のデータ処理装置。

【0070】

（構成７）
前記パーシステント図は、０次のパーシステンンスを含む、構成５または６に記載のデータ処理装置。

【0071】

（構成８）
前記第１特徴情報は、前記パーシステント特徴値が変換されて得られる特徴ベクトルを含む、構成５～７のいずれか１つに記載のデータ処理装置。

【0072】

（構成９）
前記処理部は、前記パーシステント特徴値に関する第１基準値と、前記パーシステント特徴値と、を比較した結果に基づいて、前記第１データについての第１特徴情報を出力可能である、構成１～８のいずれか１つに記載のデータ処理装置。

【0073】

（構成１０）
前記処理部は、前記第１特徴情報を入力とする機械学習に基づいて、前記第１データのうちの特徴的な部分を抽出可能である、構成１記載のデータ処理装置。

【0074】

（構成１１）
前記データ処理装置は、前記第１特徴情報に基づいて、対象装置に制御信号を供給可能であり、
前記第１データは前記対象装置に関する、構成１～１０のいずれか１つに記載のデータ処理装置。

【0075】

（構成１２）
時系列画像データを含む第１データを取得し、
前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出し、前記多次元配列の第１軸は、時間に関する、データ処理方法。

【0076】

（構成１３）
前記多次元配列の第２軸は、空間における第１空間軸における第１座標値に関し、
前記多次元配列の第３軸は、前記空間における第２空間軸に関する第２座標値に関し、前記第２空間軸は前記第１空間軸と交差した、構成１２に記載のデータ処理方法。

【0077】

（構成１４）
前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する位置における明るさに関する値を含む、構成１３に記載のデータ処理方法。

【0078】

（構成１５）
前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する前記位置における色に関する値を含む、構成１３または１４に記載のデータ処理方法。

【0079】

（構成１６）
前記第１特徴情報は、前記第１データの少なくとも一部の分散状態に対応し前記多次元配列に基づいて導出されたパーシステント図におけるパーシステント特徴値を含む、構成１２～１５のいずれか１つに記載のデータ処理方法。

【0080】

（構成１７）
コンピュータに、
時系列画像データを含む第１データを取得させ、
前記第１データに基づくｎ次元（ｎは３以上の整数）の多次元配列に基づく第１特徴情報を導出させ、前記多次元配列の第１軸は、時間に関する、データ処理プログラム。

【0081】

（構成１８）
前記多次元配列の第２軸は、空間における第１空間軸における第１座標値に関し、
前記多次元配列の第３軸は、前記空間における第２空間軸に関する第２座標値に関し、前記第２空間軸は前記第１空間軸と交差した、構成１７に記載のデータ処理プログラム。

【0082】

（構成１９）
前記時系列画像データは、前記第１座標値及び前記第２座標値に対応する位置における明るさに関する値を含む、構成１８に記載のデータ処理プログラム。

【0083】

（構成２０）
前記第１特徴情報は、前記第１データの少なくとも一部の分散状態に対応し前記多次元配列に基づいて導出されたパーシステント図におけるパーシステント特徴値を含む、構成１７～１９のいずれか１つに記載のデータ処理プログラム。

【0084】

実施形態によれば、精度を向上できるデータ処理装置、データ処理方法及びデータ処理プログラムが提供できる。

【0085】

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、データ処理装置に含まれる取得部及び処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

【0086】

また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

【0087】

その他、本発明の実施の形態として上述したデータ処理装置、データ処理方法及びデータ処理プログラムを基にして、当業者が適宜設計変更して実施し得る全てのデータ処理装置、データ処理方法及びデータ処理プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。

【0088】

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

【0089】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0090】

３１…取得部、 ３２…処理部、 ３３…記憶部、 ３４…表示部、 ３５…出力部、 ４０…対象装置、 １１０…データ処理装置、 ＤＡ１～ＤＡｉｍ…データ、 ＤＣ１…データ、 Ｄａ１…第１データ、 Ｆ１、Ｆ２…第１、第２パラメータ、 Ｇ１…グループ、 Ｇ２…値、 Ｐ１…特性関数、 Ｐａ１…第１特徴情報、 Ｒ１…基準値、 ＳＰ１～ＳＰ５…第１～第５サンプルデータ、 Ｓｉｇ１…制御信号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】