特許 7501703 データ処理方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】データ処理方法及び電子機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240611BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2023034220

(22)【出願日】2023-03-07

(65)【公開番号】P2023131139

(43)【公開日】2023-09-21

【審査請求日】2023-07-06

(31)【優先権主張番号】202210220827.8

(32)【優先日】2022-03-08

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】シー ジエン

(72)【発明者】

【氏名】ジャン ニー

【審査官】藤原 敬利

(56)【参考文献】

【文献】特開２０２２－０２９２６２（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７９２００（ＷＯ，Ａ１）

【文献】特許第６８８５５１７（ＪＰ，Ｂ１）

【文献】相澤 宏旭 他２名，Ｍｕｔｕａｌ Ｃｏｎｓｉｓｔｅｎｃｙ－Ｅｎｓｕｒｅｄ Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ＧＡＮによる異常検知，ＳＳＩＩ２０２０ ［ＵＳＢ］ ＳＳＩＩ２０２０ 第２６回 画像センシングシンポジウム 講演資料，日本，画像センシング技術研究会，2020年12月31日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

検知対象データを取得することと、
前記検知対象データが異常データであるか否かを示す前記検知対象データの属性を、学習済みの異常検知モデルを用いて決定することと、
を含み、
前記異常検知モデルは、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と前記再構成データ項目との間の差分に基づいて学習したものであり、学習プロセスにおいて、前記正常データ項目が前記異常検知モデルの生成サブモデルに入力されることで前記再構成データ項目が得られ、前記再構成データ項目が前記生成サブモデルに入力されることで前記第１出力データ項目が得られる、
データ処理方法。

【請求項2】

前記異常検知モデルは第１損失関数に基づいて学習し、
前記第１損失関数は、前記再構成データ項目と前記正常データ項目との間の差分、及び前記第１出力データ項目と前記再構成データ項目との間の差分に基づいて構築され、
前記第１損失関数は、第１サブ関数と第２サブ関数とを含み、
前記第１サブ関数は、前記再構成データ項目と前記正常データ項目との間の差分に基づいて得られ、
前記第２サブ関数は、前記第１出力データ項目と前記再構成データ項目との間の差分に基づいて得られ、
前記第１サブ関数と前記第２サブ関数との学習目的は相反する、
請求項１に記載の方法。

【請求項3】

前記異常検知モデルはさらに第２損失関数に基づいて学習し、
前記第２損失関数は第３サブ関数を含み、
前記第３サブ関数の学習目的は、前記第２サブ関数の学習目的と一致し、
前記第３サブ関数は、第２出力データ項目と学習セット内の異常データ項目との間の差分に基づいて得られ、
前記第２出力データ項目は、前記学習セット内の異常データ項目を前記生成サブモデルに入力することで得られたものである、
請求項２に記載の方法。

【請求項4】

前記学習済みの異常検知モデルは判別サブモデルをさらに含み、
前記判別サブモデルは、前記再構成データ項目が真であるか偽であるかを判定するために用いられる、
請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記学習済みの異常検知モデルは、前記生成サブモデルと前記判別サブモデルに敵対的に学習させることで得られたものである、
請求項４に記載の方法。

【請求項6】

前記検知対象データの属性を決定することは、
前記学習済みの異常検知モデルを用いて、前記検知対象データのスコア値を決定することと、
前記スコア値が所定の閾値より高くなければ、前記検知対象データの第１属性を決定することと、
前記スコア値が前記所定の閾値より高ければ、前記検知対象データの第２属性を決定することと、を含み、
前記スコア値は、前記異常検知モデルが前記検知対象データを再構成して得たデータと、前記検知対象データとの間の差分を表し、
前記第１属性は、前記検知対象データが正常データであることを示し、
前記第２属性は、前記検知対象データが異常データであることを示す、
請求項１～３のいずれか１項に記載の方法。

【請求項7】

前記検知対象データは、音声データ、心電図データ、脳電図データ、画像データ、ビデオデータ、点群データ、又はボリュームデータのいずれかのカテゴリに属する、
請求項１～３のいずれか１項に記載の方法。

【請求項8】

学習セット内の正常データ項目を異常検知モデルの生成サブモデルに入力し、再構成データ項目を得ることと、
前記再構成データ項目を前記生成サブモデルに入力し、第１出力データ項目を得ることと、
前記再構成データ項目と前記正常データ項目との間の差分、及び前記第１出力データ項目と前記再構成データ項目との間の差分に基づいて、前記異常検知モデルに学習させることと、
を含む、
異常検知モデルの学習方法。

【請求項9】

前記再構成データ項目と前記正常データ項目との間の差分、及び前記第１出力データ項目と前記再構成データ項目との間の差分に基づいて、前記異常検知モデルに学習させることは、
前記再構成データ項目と前記正常データ項目との間の差分、及び前記第１出力データ項目と前記再構成データ項目との間の差分に基づいて、第１損失関数を構築することと、
前記第１損失関数に基づいて前記異常検知モデルに学習させることと、
を含み、
前記第１損失関数は、第１サブ関数と第２サブ関数とを含み、
前記第１サブ関数は、前記再構成データ項目と前記正常データ項目との間の差分に基づいて得られ、
前記第２サブ関数は、前記第１出力データ項目と前記再構成データ項目との間の差分に基づいて得られ、
前記第１サブ関数と前記第２サブ関数との学習目的は相反する、
請求項８に記載の方法。

【請求項10】

前記再構成データ項目と前記正常データ項目との間の差分は、第１閾値より小さく、
前記第１出力データ項目と前記再構成データ項目との間の差分は、第２閾値より大きい、
請求項８又は９に記載の方法。

【請求項11】

前記学習セット内の異常データ項目を、前記生成サブモデルに入力し、第２出力データ項目を得ることと、
第２損失関数に基づいて前記異常検知モデルに学習させることと、
をさらに含み、
前記第２損失関数は第３サブ関数を含み、
前記第３サブ関数の学習目的は、前記第２サブ関数の学習目的と一致し、
前記第３サブ関数は、前記第２出力データ項目と前記異常データ項目との間の差分に基づいて得られる、
請求項９に記載の方法。

【請求項12】

前記異常検知モデルは判別サブモデルをさらに含み、
前記判別サブモデルは、前記再構成データ項目が真であるか偽であるかを判定するために用いられる、
請求項８又は９に記載の方法。

【請求項13】

請求項１～３のいずれか１項に記載の方法を実行するように設定されている処理回路装置を備える、
電子機器。

【請求項14】

請求項８又は９に記載の方法を実行するように設定されている処理回路装置を備える、
電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施形態は、主にコンピュータの分野に関し、より具体的には、データ処理方法、モデル学習方法、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

異常検知（Anomaly detection）は、正常なデータ分布から著しく逸脱した異常データのインスタンスを検知することを目的としている。異常検知は、医療診断、詐欺検知、構造欠陥等、様々な分野で広く利用されている。教師ありの異常検知モデルは大量のラベル付き学習データを必要とし、コスト高であるため、現在の一般的な異常検知モデルは、教師なし、半教師あり、弱教師ありの方法で得られている。

【0003】

しかしながら、現在の異常検知モデルは、多くの正常データを異常として検知する一方で、真であるが複雑な一部の異常データを正常として検知する。したがって、現在の異常検知モデルには再現率が低いという問題が存在する。特に、異常データのサンプルが極めて少ない場合、異常検知モデルの再現率はさらに低くなる可能性があり、これは望ましいことではない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の例示的な実施形態によれば、学習済みの異常検知モデルを用いて検知対象データが異常か否かを判定することができる、データ処理の解決手段が提供される。

【課題を解決するための手段】

【0005】

本開示の第１の態様では、データ処理方法が提供される。データ処理方法は、検知対象データを取得することと、検知対象データが異常データであるか否かを示す検知対象データの属性を、学習済みの異常検知モデルを用いて決定することと、を含む。異常検知モデルは、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて学習したものである。学習プロセスでは、正常データ項目が異常検知モデルの生成サブモデルに入力されることで再構成データ項目が得られ、再構成データ項目が生成サブモデルに入力されることで第１出力データ項目が得られる。

【0006】

本開示の第２の態様では、異常検知モデルの学習方法が提供される。モデル学習方法は、学習方法は、学習セット内の正常データ項目を異常検知モデルの生成サブモデルに入力し、再構成データ項目を得ることと、再構成データ項目を生成サブモデルに入力し、第１出力データ項目を得ることと、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて、異常検知モデルに学習させることと、を含む。

【0007】

本開示の第３の態様では、電子機器が提供される。電子機器は、少なくとも１つのプロセッサユニットと、少なくとも１つのプロセッサユニットに結合され、少なくとも１つのプロセッサユニットによって実行される命令が格納された少なくとも１つのメモリと、を備える。当該命令は、少なくとも１つのプロセッサユニットによって実行されると、電子機器に動作を実行させる。動作は、検知対象データを取得することと、検知対象データが異常データであるか否かを示す検知対象データの属性を、学習済みの異常検知モデルを用いて決定することと、を含む。異常検知モデルは、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて学習したものである。学習プロセスでは、正常データ項目が異常検知モデルの生成サブモデルに入力されることで再構成データ項目が得られ、再構成データ項目が生成サブモデルに入力されることで第１出力データ項目が得られる。

【0008】

本開示の第４の態様では、電子機器が提供される。電子機器は、少なくとも１つのプロセッサユニットと、少なくとも１つのプロセッサユニットに結合され、少なくとも１つのプロセッサユニットによって実行される命令が格納された少なくとも１つのメモリと、を備える。当該命令は、少なくとも１つのプロセッサユニットによって実行されると、電子機器に動作を実行させる。動作は、学習セット内の正常データ項目を異常検知モデルの生成サブモデルに入力し、再構成データ項目を得ることと、再構成データ項目を生成サブモデルに入力し、第１出力データ項目を得ることと、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて、異常検知モデルに学習させること、を含む。

【0009】

本開示の第５の態様では、電子機器が提供される。電子機器は、メモリとプロセッサを備える。メモリは、１つ又は複数のコンピュータ命令を格納するためのものであり、１つ又は複数のコンピュータ命令は、プロセッサによって実行されることで、本開示の第１の態様又は第２の態様に記載の方法を実施する。

【0010】

本開示の第６の態様では、コンピュータ可読記憶媒体が提供される。当該コンピュータ可読記憶媒体には、マシン可読命令が格納されており、当該マシン可読命令は、デバイスにより実行された場合に、当該デバイスに、本開示の第１の態様又は第２の態様に記載の方法を実行させる。

【0011】

本開示の第７の態様では、コンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータ可読命令を含み、コンピュータ可読命令は、プロセッサによって実行されると、本開示の第１の態様又は第２の態様に記載の方法を実施する。

【0012】

本開示の第８の態様では、電子機器が提供される。電子機器は、本開示の第１の態様又は第２の態様に記載の方法を実行するように設定された処理回路装置を備える。

【0013】

発明の概要部分は、一連の概念を簡略化して紹介するためのものである。これらについては、以下の実施形態においてさらに説明を行う。発明の概要部分の記述は、本開示の重要又は必要な特徴を標記することを意図したものではなく、本開示の範囲を限定することも意図していない。本開示のその他の特徴は、以下の説明により容易に理解できるはずである。

【図面の簡単な説明】

【0014】

図面と結び付けて以下の詳細な説明を参照することで、本開示の各実施形態の上述及びその他の特徴、利点及び態様がさらに明らかになるはずである。図中、同一又は類似の図面符号は、同一又は類似の要素を示す。

【0015】

【図1】本開示の実施形態にかかる例示的な環境のブロック図を示す。

【0016】

【図2】本開示の実施形態にかかる例示的な学習プロセスのフローチャートを示す。

【0017】

【図3】本開示の実施形態にかかる、正常データ項目に基づく学習プロセスの模式図を示す。

【0018】

【図4】本開示の実施形態にかかる、異常データ項目に基づく学習プロセスの模式図を示す。

【0019】

【図5】本開示の実施形態にかかる例示的な使用プロセスのフローチャートを示す。

【0020】

【図6】本開示の実施形態にかかる異常検知の結果の模式図を示す。

【0021】

【図7】本開示の実施形態にかかる異常検知の結果の模式図を示す。

【0022】

【図8】本開示の実施形態を実施可能な例示的デバイスのブロック図を示す。

【発明を実施するための形態】

【0023】

以下、図面を参照しつつ、本開示の実施形態についてより詳細に説明する。理解されるように、図には本開示のいくつかの実施形態が示されているが、本開示は様々な形式で実現することが可能であり、ここに記載された実施形態に限定されると解釈すべきではなく、これら実施形態はむしろ、本開示をより徹底的且つ完全に理解するために提供されるものである。また、理解されるように、本開示の図面及び実施形態は例示的なものにすぎず、本開示の保護範囲を限定するためのものではない。

【0024】

本開示の実施形態の説明において、「含む」及び類似の用語は開放的なもの、すなわち「…を含むが、これらに限定されない」と理解されるべきである。用語「…に基づいて」は、「少なくとも部分的に基づく」と理解されるべきである。用語「１つの実施形態」又は「当該実施形態」は、「少なくとも１つの実施形態」と理解されるべきである。用語「第１」、「第２」等は、異なるか又は同一の対象を示してもよい。以下の文中ではさらに、その他の明確な定義及び暗黙の定義が含まれる可能性がある。

【0025】

本開示の実施形態で説明する個々の方法及びプロセスは、端末装置、ネットワーク装置等の様々な電子機器に適用してもよい。また、本開示の実施形態は、信号発生器、シグナルアナライザ、スペクトラムアナライザ、ネットワークアナライザ、テスト端末装置、テストネットワーク装置、チャネルエミュレータ等のテスト装置において実行されてもよい。

【0026】

本開示の実施形態の説明において、「回路」という用語は、ハードウェア回路及び／又はハードウェア回路とソフトウェアとの組合せを指してもよい。例えば、回路は、アナログ及び／又はデジタルのハードウェア回路とソフトウェア／ファームウェアとの組合せであってもよい。別の例として回路は、ソフトウェアを備えたハードウェアプロセッサのいずれかの部分であってもよく、（複数の）デジタルシグナルプロセッサ、ソフトウェア、及び（複数の）メモリを含み、（複数の）デジタルシグナルプロセッサ、ソフトウェア、及び（複数の）メモリが協働することで、例えばコンピューティングデバイスのような装置が動作して様々な機能を実行することが可能になる。さらに別の例において、回路は、マイクロプロセッサ又はマイクロプロセッサの一部等のハードウェア回路及び／又はプロセッサであってもよく、操作のためにソフトウェア／ファームウェアを必要とするが、操作にソフトウェアが必要とされない場合にはソフトウェアはなくてもよい。文中で用いられるように、「回路」という用語には、ハードウェア回路若しくは（複数の）プロセッサのみの実装、又は、ハードウェア回路若しくは（複数の）プロセッサの一部にそれ（若しくはそれら）に付随するソフトウェア及び／若しくはファームウェアを加えた実装も含まれる。

【0027】

異常検知は、外れ値（outlier）検知、ノベルティ（novelty）検出、分布外（Out-of-distribution）検知、ノイズ検知、偏差検知、例外検知、又はその他の名称等で称されてもよく、機械学習の重要な技術分野であり、コンピュータビジョン、データマイニング、自然言語処理等、人工知能（ＡＩ：Artificial Intelligence）に関わる様々なアプリケーションで広く使用されている。異常検知は、正常ではない状況を識別し、非論理的なデータをマイニングする技術として理解することができ、その目的は、正常なデータ分布から著しく逸脱した異常データのインスタンスを検知することである。

【0028】

異常検知は、医療診断、詐欺検知、構造欠陥等、様々な分野で広く利用されている。例えば、医用画像が異常データか否かを検知することで、医師の診断や治療を補助することができる。例えば、銀行カードのカード読み取り行為に対応するデータが異常データか否かを検知することで、特殊詐欺の有無を判定することができる。例えば、交通監視ビデオに異常データが存在するか否かを検知することで、運転手の違反行為の有無を判定することができる。異常検知を行うアルゴリズムには通常、教師ありの異常検知方法と、教師なしの異常検知方法が含まれ得る。

【0029】

教師あり異常検知方法は、異なる分類方法とサンプリング方法によって、不均衡分類問題として策定することができる。教師あり異常検知方法が基づく学習セットには、ラベル付きデータ項目が含まれる。しかしながら、ラベル不足、又は一部のデータ項目の汚染を考慮し、ラベルが少ない場合又は汚染データの場合の異常検知を解決する半教師付き異常検知方法も存在する。例えば、Ｄｅｅｐ－ＳＡＤ（Deep Supervised Anomaly Detection）は、情報理論的な枠組みありの２段階学習を提案している。

【0030】

異常データの希少性と多様化から、教師なし異常検知方法が、徐々に異常検知の主流の方法になり始めている。例えば、敵対的生成ネットワークを有する教師なし異常検知（ＡｎｏＧＡＮ：Unsupervised Anomaly Detection with Generative Adversarial Networks）のアルゴリズムでは、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）を異常検知に用いている。このアルゴリズムは、ＧＡＮを使用して正常データの分布を学習し、最も類似した画像を再構成するために、潜在ノイズベクトルを反復によって最適化しようとするものである。

【0031】

しかしながら現在の異常検知方法には、再現率が低いという問題が存在し、多くの正常なデータを異常として検知する一方で、真であるが複雑な一部の異常データを正常として検知する。

【0032】

これに鑑み、本開示の実施形態は、上述の問題及び／又は他の潜在的な問題のうち１つ以上を解決するために、データ処理の解決手段を提供する。本解決手段では、正常データ又は異常データを用いて、再構成に基づいて学習によって、学習済みの異常検知モデルを得ることができる。当該モデルは、正常データに基づいてコンテキストが敵対的な（Contextual Adversarial）データを生成し、異常データに基づいて教師あり学習を行うことができる。したがって当該モデルは異常検知に用いることができ、再現率も高い。

【0033】

図１は、本開示の実施形態にかかる例示的環境１００のブロック図を示す。図１に示す環境１００は、本開示の実施形態を実施可能な１つの例示に過ぎず、本開示の範囲を限定することを意図していないことを理解されたい。本開示の実施形態は、他のシステム又はアーキテクチャにも同様に適用される。

【0034】

図１に示すように、環境１００は、コンピューティングデバイス１１０を備えてもよい。コンピューティングデバイス１１０は、計算能力を有する任意のデバイスであってよい。コンピューティングデバイス１１０は、パーソナルコンピュータ、サーバコンピュータ、携帯又はラップトップ型デバイス、モバイルデバイス（携帯電話、パーソナルデジタルアシスタントＰＤＡ、メディアプレーヤ等）、ウェアラブルデバイス、家庭用電気製品、ミニコンピュータ、メインフレームコンピュータ、分散コンピューティングシステム、クラウドコンピューティングリソース等を含み得るが、これらに限定されない。コンピューティングデバイス１１０は、コスト等の要素を考慮し、モデル学習用の十分な計算力のリソースを有してもよく、又は有しなくてもよいことを理解されたい。

【0035】

コンピューティングデバイス１１０は、検知対象データ１２０を取得し、検知結果１４０を出力するように設定されてもよい。検知結果１４０に関する決定は、学習済みの異常検知モデル１３０によって実施されてもよい。

【0036】

検知対象データ１２０は、ユーザによって入力されてもよく、又は記憶装置から取得されてもよく、本開示はこの点について限定しない。

【0037】

検知対象データ１２０は、実際の必要に基づいて決定されてもよく、検知対象データ１２０は様々な種類を有してもよく、本開示はこの点について限定しない。例示として、検知対象データ１２０は、音声データ、心電図（ＥＣＧ：Electro Cardio Graph）データ、脳電図（ＥＥＧ：Electro Encephalo Graph）データ、画像データ、ビデオデータ、点群データ、又はボリューム（volume又はvolumetric）データのいずれかのカテゴリに属してもよい。任意で、ボリュームデータは例えば、コンピュータ断層撮影（ＣＴ：Computer Tomography）データ、又は光干渉断層撮影（ＯＣＴ：Optical Computer Tomography）データであってもよい。

【0038】

別の理解として、検知対象データ１２０は、音声、ＥＣＧデータ、又はＥＥＧデータといった生体電気信号等の１次元データであってもよい。検知対象データ１２０は、画像（image）等の２次元データであってもよい。検知対象データ１２０は、ビデオ等の２．５次元データであってもよい。検知対象データ１２０は、ビデオ等の３次元データ、例えばＣＴ、ＯＣＴデータ等のボリュームデータ等であってもよい。理解できるように、本開示における検知対象データ１２０の種類の説明は、あくまで模式的なものであり、実際のシナリオでは他の種類であってもよく、本開示はこの点について限定しない。

【0039】

検知結果１４０は、検知対象データ１２０の属性を示すものであってもよく、具体的には、検知対象データ１２０が異常データであるか否かを示すものであってもよい。

【0040】

いくつかの例示において、本開示の実施形態は、様々な異なる分野に適用されてもよい。例を挙げると、本開示の実施形態は医療分野に適用されてもよく、検知対象データ１２０はＥＣＧデータ、ＥＧＧデータ、ＣＴデータ、ＯＣＴデータ等であってもよい。ここで挙げたシナリオは単に説明のためのものであり、本開示の範囲を何ら限定するものではないことを理解されたい。本開示の実施形態は、同様の問題が存在する様々な分野に適用してもよく、ここでは逐一列挙しない。また、本開示の実施形態における「検知」は、例えば「識別」等と称されてもよく、この点について本開示は限定しない。

【0041】

いくつかの実施形態において、上述のプロセスを実施する前に異常検知モデル１３０に学習させてもよい。コンピューティングデバイス１１０によって、又はコンピューティングデバイス１１０外部の任意の他の適切なデバイスによって、異常検知モデル１３０に学習させてもよいことを理解されたい。学習済みの異常検知モデル１３０は、コンピューティングデバイス１１０に配備されてもよく、又はコンピューティングデバイス１１０の外部に配備されてもよい。以下、コンピューティングデバイス１１０が異常検知モデル１３０に学習させる場合を例に、図３を参照しながら例示的な学習プロセスを説明する。

【0042】

図２は、本開示の実施形態にかかる例示的な学習プロセス２００のフローチャートを示す。例えば、方法２００は、図１に示すコンピューティングデバイス１１０によって実行されてもよい。理解すべき点として、方法２００はさらに、図示されていない付加的ブロックを含んでもよく、且つ／又は示されたいくつかのブロックを省略してもよい。本開示の範囲は、この点において限定されない。

【0043】

ブロック２１０において、学習セット内の正常データ項目を異常検知モデルの生成サブモデルに入力し、再構成データ項目を得る。

【0044】

ブロック２２０において、再構成データ項目を生成サブモデルに入力し、第１出力データ項目を得る。

【0045】

ブロック２３０において、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて、異常検知モデルに学習させる。

【0046】

理解できるように、図２に示すブロック２１０の前に、学習セットを取得することをさらに含んでもよく、学習セットは複数のデータ項目を含み、複数のデータ項目のうちの任意のデータが、正常データ項目又は異常データ項目であってもよい。したがって、これに対応して、図２に示すブロック２１０～２３０は、当該学習セットに基づいて学習済みの異常検知モデルを生成するものであると理解してもよい。

【0047】

例示として、学習セットをＸ、学習セット内の任意のデータ項目をｘと表してもよく、その場合、Ｘ＝｛ｘ：ｘ～ｐ_ｘ｝となる。任意で、いくつかの例示において、当該学習セット内の各データ項目は、全て正常データ項目である。任意で、いくつかの例示において、当該学習セット内の各データ項目は、全て異常データ項目である。任意で、いくつかの例示において、当該学習セット内のデータ項目の一部は正常データ項目であり、データ項目の他の一部は異常データ項目である。本開示の実施形態における「データ項目」という用語は、いくつかのシナリオにおいて「データ」と置き換えてもよいことに留意されたい。

【0048】

【0049】

【0050】

理解できるように、本開示の実施形態は、学習セット内のデータ項目の種類を限定しない。例を挙げると、異なる種類の学習セットを別々に学習させることで、異なる種類のデータに適用可能な異常検知モデルを得てもよい。

【0051】

一例として、学習セット内のデータ項目は、ＥＣＧデータであってもよい。その場合、この学習セットによって得られた異常検知モデルを用いては、モデルへの入力が正常なＥＣＧデータであるか否かを検知してもよい。

【0052】

例示として、本開示の実施形態において、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて、第１損失関数を構築してもよい。第１損失関数は、第１サブ関数と第２サブ関数を含む。第１サブ関数は、再構成データ項目と正常データ項目との間の差分に基づいて得られ、第２サブ関数は、第１出力データ項目と再構成データ項目との間の差分に基づいて得られる。そして、第１損失関数に基づいて異常検知モデルに学習させる。第１サブ関数と第２サブ関数の学習目的は相反する。

【0053】

本開示のいくつかの実施形態において、異常検知モデルは、生成サブモデルと判別サブモデルを備えてもよい。生成サブモデルは、入力データを再構成するために用いられてもよく、判別サブモデルは、生成サブモデルによって再構成されたデータが真であるか否かを判定するために用いられてもよい。すなわち、判別サブモデルは、ブロック２１０で生成サブモデルによって得られた再構成データ項目が、真であるか偽であるかを判定するために用いられてもよい。

【0054】

任意で、生成サブモデルは、例えばＧと表されるように、生成器と称されてもよい。任意で、判別サブモデルは、例えばＤと表されるように、判別器と称されてもよい。

【0055】

【0056】

【0057】

【0058】

図３は、本開示の実施形態にかかる、正常データ項目に基づく学習プロセス３００の模式図を示す。

【0059】

図３に示すように、正常データ項目３１０が生成サブモデルに投入され、再構成データ項目３２０が得られる。再構成データ項目３２０が生成サブモデルに入力され、出力データ項目３３０が得られる。模式的なものとして、図３に示す正常データ項目３１０の種類は画像であり、それに伴い再構成データ項目３２０と出力データ項目３３０も画像である。しかしながら図３に示した画像はあくまで模式的なものであり、本開示はこれに限定されないことを理解されたい。

【0060】

任意で、生成サブモデルは、エンコーダとデコーダを備えてもよい。図３に示すように、正常データ項目３１０がエンコーダに入力され、エンコーダの出力がデコーダの入力であり、デコーダの出力が再構成データ項目３２０である。図３に示すように、再構成データ項目３２０がエンコーダに入力され、エンコーダの出力がデコーダの入力であり、デコーダの出力が出力データ項目３３０である。しかしながら、データ再構成を行うことに基づいて、当該生成サブモデルは他の構造を有してもよく、本開示では生成サブモデルの構造を限定しないことを理解されたい。

【0061】

【0062】

【0063】

【0064】

【0065】

理解できるように、式（６）では、負の符号（すなわち、「－」）でその学習目的を表すが、図３を参照すると、当該学習目的は、再構成データ項目３２０に対する生成サブモデルＧの再構成が失敗である、すなわち、第１出力データ項目３３０が適切なコンテキスト情報を有していないことを期待するものである。

【0066】

別の例として、本開示の学習プロセスは、再構成データ項目３２０と正常データ項目３１０との間の差分ができるだけ小さくなることを期待し、第１出力データ項目３３０と再構成データ項目３２０との間の差分ができるだけ大きくなることを期待する。

【0067】

例を挙げると、再構成データ項目３２０と正常データ項目３１０との間の差分が、第１閾値より小さくてもよく、第１出力データ項目３３０と再構成データ項目３２０との間の差分が、第２閾値より大きくてもよい。例示として、差分は距離として表されてもよく、例えば、データ項目が画像タイプであり、差分が２つの画像間のユークリッド距離等であってもよい。任意で、第２閾値は第１閾値より大きく、例えば第２閾値は第１閾値の所定の倍数、例えば１０倍、１００倍又は他の値であってもよい。

【0068】

このように、図３と結び付けて説明したプロセスを参照すると、正常データ項目に基づいて、教師なし方式により異常検知モデルの学習を実施することができる。

【0069】

【0070】

【0071】

図４は、本開示の実施形態にかかる、異常データ項目に基づく学習プロセス４００の模式図を示す。

【0072】

図４に示すように、異常データ項目４１０が生成サブモデルに入力され、第２出力データ項目４２０が得られる。模式的なものとして、図４に示す異常データ項目４１０の種類は画像であり、それに伴い第２出力データ項目４２０も画像である。しかしながら図４に示した画像はあくまで模式的なものであり、本開示はこれに限定されないことを理解されたい。

【0073】

任意で、生成サブモデルは、エンコーダとデコーダを備えてもよい。図４に示すように、異常データ項目４１０がエンコーダに入力され、エンコーダの出力がデコーダの入力であり、デコーダの出力が第２出力データ項目４２０である。しかしながら、データ再構成を行うことに基づいて、当該生成サブモデルは他の構造を有してもよく、本開示では生成サブモデルの構造を限定しないことを理解されたい。

【0074】

【0075】

【0076】

【0077】

このように、図４と結び付けて説明したプロセスを参照すると、異常データ項目に基づいて、教師あり方式により異常検知モデルの学習を実施することができる。

【0078】

上記式（３）～（７）、（１０）で示した損失関数はあくまで模式的なものであり、実際の応用では損失関数の式に様々な変形を加えてもよいことに留意されたい。例えば、式（６）をＷ（ｄ（Ｘ））と表してもよい。Ｘは生成サブモデルＧの入力データを表し、ｄ（Ｘ）は生成サブモデルＧの出力と入力との距離を表し、ｄ（Ｘ）が大きいほどＷ（ｄ（Ｘ））が小さくなることを満たす。任意で、生成サブモデルＧの出力と入力との距離は、式（６）のようなＬ１距離として表されてもよく、又は、より高次の距離として表されてもよく、又は、構造類似度指数測定（ＳＳＩＭ：Structure Similarity Index Measure）として表されてもよく、この点について本開示は限定しない。

【0079】

【0080】

【0081】

【0082】

【0083】

【0084】

表１の擬似コードにおいて２～４行目は、入力されるデータ項目と、各段階でのデータ項目の定義を表す。５～８行目は正常データ項目の処理を表し、９～１２行目は正常データ項目の処理を表し、１２～１３行目はパラメータの反復を表す。このように、教師あり及び半教師あり異常検知手段を統一することで、より少ない異常データ項目で異常検知モデルの性能を向上させることができる。

【0085】

このようにして、本開示の実施形態は、正常データ項目及び／又は異常データ項目の集合に基づいて学習させて異常検知モデルを得ることができる。

【0086】

このように、本開示の実施形態では、学習で得られた学習済み異常検知モデルにより、また、学習プロセスにおいて、正常データ項目から生成された再構成データ項目を用いて、再構成データ項目の偽の異常の特徴を考慮して再度、再構成することで、再度の再構成をできるだけ失敗させることができる。この方法により、当該学習プロセスではコンテキストの敵対的情報を学習することができるため、得られた学習済みの異常検知モデルは、精度がより高く、再現率もより高くなる。

【0087】

【0088】

以上、図２～図４を参照して異常検知モデル１３０の例示的な学習プロセスについて説明した。この学習済みの異常検知モデル１３０により、当該モデルに入力されたデータが異常データであるか否かをより正確に検知することができる。以下、図５と結び付けて、異常検知モデル１３０の模式的な使用プロセスについて説明する。

【0089】

図５は、本開示の実施形態にかかる例示的な使用プロセス５００のフローチャートを示す。例えば、方法５００は、図１に示すコンピューティングデバイス１１０によって実行されてもよい。理解すべき点として、方法５００はさらに、示されていない付加的ブロックを含んでもよく、且つ／又は示されたいくつかのブロックを省略してもよい。本開示の範囲は、この点において限定されない。

【0090】

ブロック５１０において、検知対象データを取得する。

【0091】

ブロック５２０において、検知対象データが異常データであるか否かを示す検知対象データの属性を、学習済みの異常検知モデルを用いて決定する。

【0092】

任意で、図５に示すように、ブロック５３０において、検知対象データの属性を示す検知結果を出力することをさらに備えてもよい。

【0093】

本開示の実施形態において、検知対象データは、ユーザによって入力されてもよく、又は記憶装置から取得されてもよい。検知対象データは、音声データ、ＥＣＧデータ、ＥＥＧデータ、画像データ、ビデオデータ、点群データ、又はボリュームデータのいずれかのカテゴリに属してもよい。任意で、ボリュームデータは例えば、ＣＴデータ又はＯＣＴデータ等であってもよい。

【0094】

理解できるように、学習済みの異常検知モデルは、図２～図４に示すような学習プロセスを通じた学習で得られたものであってもよい。さらに理解できるように、当該異常検知モデルの学習に用いられる学習セットにおけるデータ項目の種類は、検知対象データの種類と同じである。

【0095】

例示として、ブロック５２０において、学習済みの異常検知モデルを用いて、検知対象データのスコア値を決定し、さらにスコア値に基づいて検知対象データの属性を決定してもよい。具体的には、当該スコア値は、異常検知モデルが検知対象データを再構成して得たデータと、検知対象データとの間の差分を表してもよい。そして、当該スコア値が所定の閾値より高くなければ（すなわち、以下であれば）、検知対象データの第１属性を決定する。第１属性は、検知対象データが正常データであることを示す。当該スコア値が所定の閾値より高ければ、検知対象データの第２属性を決定する。第２属性は、検知対象データが異常データであることを示す。

【0096】

所定の閾値は、検知精度、データの種類等の要素のうちの少なくとも１つに基づいて予め設定されてもよい。

【0097】

任意で、いくつかの例示において、検知結果は、当該スコア値を含むことで検知対象データの属性を間接的に示してもよい。いくつかの例示において、検知結果は、当該検知対象データが異常データであるか否かの指示情報を含んでもよい。

【0098】

図６は、本開示の実施形態にかかる異常検知の結果６００の模式図を示す。図６に示すように、学習済みの異常検知モデルに検知対象データ６１０を入力して、再構成されたデータ６２０を得ることができ、スコア値が０．８であると仮定する。所定の閾値が０．７に等しい場合、検知対象データ６１０が異常データであると決定してもよい。

【0099】

図７は、本開示の実施形態にかかる異常検知の結果７００の模式図を示す。図７に示すように、学習済みの異常検知モデルに検知対象データ７１０を入力して、再構成されたデータ７２０を得ることができ、スコア値が０．３であると仮定する。所定の閾値が０．７に等しい場合、検知対象データ７１０が正常データであると決定してもよい。

【0100】

また、本開示の実施形態が提供する解決手段は、既存の異常検知モデルと比べて著しい利点を有する。例を挙げると、公開データセットＭＮＩＳＴに基づいて、ＡｎｏＧＡＮと、本開示の実施形態によって提供される解決手段とを比較すると、曲線下面積（ＡＵＣ：Area Under the Curve）を比較の尺度とした場合、ＡｎｏＧＡＮで得られる平均ＡＵＣが９３．７％であるのに対し、本開示の実施形態が提供する解決手段で得られる平均ＡＵＣは９９．１％である。したがって、本開示の実施形態が提供する解決手段では、さらに優れた結果が得られることが分かる。

【0101】

いくつかの実施形態において、コンピューティングデバイスは、以下の操作を実行するように設定された回路を備える。当該操作とは、検知対象データを取得することと、検知対象データが異常データであるか否かを示す検知対象データの属性を、学習済みの異常検知モデルを用いて決定すること、である。異常検知モデルは、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて学習したものである。学習プロセスでは、正常データ項目が異常検知モデルの生成サブモデルに入力されることで再構成データ項目が得られ、再構成データ項目が生成サブモデルに入力されることで第１出力データ項目が得られる。

【0102】

いくつかの実施形態において、異常検知モデルは第１損失関数に基づいて学習する。第１損失関数は、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて構築される。第１損失関数は、第１サブ関数と第２サブ関数を含む。第１サブ関数は、再構成データ項目と正常データ項目との間の差分に基づいて得られ、第２サブ関数は、第１出力データ項目と再構成データ項目との間の差分に基づいて得られる。第１サブ関数と第２サブ関数の学習目的は相反する。

【0103】

いくつかの実施形態において、異常検知モデルはさらに第２損失関数に基づいて学習する。第２損失関数は第３サブ関数を含み、第３サブ関数の学習目的は、第２サブ関数の学習目的と一致する。第３サブ関数は、第２出力データ項目と、学習セット内の異常データ項目との間の差分に基づいて得られる。第２出力データ項目は、学習セット内の異常データ項目を生成サブモデルに入力することで得られたものである。

【0104】

いくつかの実施形態において、学習済みの異常検知モデルは判別サブモデルをさらに備える。判別サブモデルは、再構成データ項目が真であるか偽であるかを判定するために用いられる。

【0105】

いくつかの実施形態において、コンピューティングデバイスは、以下の操作を実行するように設定された回路を備える。当該操作とは、学習済みの異常検知モデルを用いて、検知対象データのスコア値を決定することである。スコア値は、異常検知モデルが検知対象データを再構成して得たデータと、検知対象データとの間の差分を表す。スコア値が所定の閾値より高くなければ、検知対象データの第１属性を決定する。第１属性は、検知対象データが正常データであることを示す。スコア値が所定の閾値より高ければ、検知対象データの第２属性を決定する。第２属性は、検知対象データが異常データであることを示す。

【0106】

いくつかの実施形態において、検知対象データは、音声データ、心電図データ、脳電図データ、画像データ、ビデオデータ、点群データ、又はボリュームデータのいずれかのカテゴリに属する。

【0107】

いくつかの実施形態において、コンピューティングデバイスは、以下の操作を実行するように設定された回路を備える。当該操作とは、学習セット内の正常データ項目を異常検知モデルの生成サブモデルに入力し、再構成データ項目を得ることと、再構成データ項目を生成サブモデルに入力し、第１出力データ項目を得ることと、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて、異常検知モデルに学習させること、である。

【0108】

いくつかの実施形態において、コンピューティングデバイスは、以下の操作を実行するように設定された回路を備える。当該操作とは、再構成データ項目と正常データ項目との間の差分、及び第１出力データ項目と再構成データ項目との間の差分に基づいて、第１損失関数を構築することと、第１損失関数に基づいて異常検知モデルに学習させること、である。第１損失関数は、第１サブ関数と第２サブ関数を含む。第１サブ関数は、再構成データ項目と正常データ項目との間の差分に基づいて得られ、第２サブ関数は、第１出力データ項目と再構成データ項目との間の差分に基づいて得られる。第１サブ関数と第２サブ関数の学習目的は相反する。

【0109】

いくつかの実施形態において、再構成データ項目と正常データ項目との間の差分は、第１閾値より小さく、第１出力データ項目と再構成データ項目との間の差分は、第２閾値より大きい。

【0110】

いくつかの実施形態において、コンピューティングデバイスは、以下の操作を実行するように設定された回路を備える。当該操作とは、学習セット内の異常データ項目を生成サブモデルに入力し第２出力データ項目を得ることと、第２損失関数に基づいて異常検知モデルに学習させること、である。第２損失関数は第３サブ関数を含み、第３サブ関数の学習目的は、第２サブ関数の学習目的と一致する。第３サブ関数は、第２出力データ項目と異常データ項目との間の差分に基づいて得られる。

【0111】

いくつかの実施形態において、異常検知モデルは判別サブモデルをさらに備える。判別サブモデルは、再構成データ項目が真であるか偽であるかを判定するために用いられる。

【0112】

いくつかの実施形態において、コンピューティングデバイスは、以下の操作を実行するように設定された回路を備える。当該操作とは、第１損失関数に基づいて、生成サブモデルと判別サブモデルに敵対的に学習させることである。

【0113】

図８は、本開示の実施形態を実施可能な例示的デバイス８００の模式的ブロック図を示す。例えば、図１に示すコンピューティングデバイス１１０は、デバイス８００によって実現することができる。図に示すように、デバイス８００は、中央プロセッサユニット（ＣＰＵ：Central Processing Unit）８０１を備える。ＣＰＵ８０１は、リードオンリーメモリ（ＲＯＭ：Read-Only Memory）８０２に格納されたコンピュータプログラムの命令、又は記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ：Random Access Memory）８０３にロードされたコンピュータプログラムの命令に基づき、各種の適切な動作及び処理を実行してもよい。ＲＡＭ８０３にはさらに、デバイス８００の操作に必要な各種プログラム及びデータを格納してもよい。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３はバス８０４を介して互いに接続されている。バス８０４には、入力／出力（Ｉ／Ｏ：Input/Output)インタフェース805も接続されている。

【0114】

デバイス８００における複数の部材は、Ｉ／Ｏインタフェース８０５に接続されている。複数の部材には、キーボード、マウス等の入力ユニット８０６、様々な種類のディスプレイ、スピーカ等の出力ユニット８０７、磁気ディスク、光ディスク等の記憶ユニット８０８、及びネットワーク・インタフェース・カード、モデム、無線通信送受信機等の通信ユニット８０９が含まれる。通信ユニット８０９によって、デバイス８００は、インターネットのようなコンピュータネットワーク及び／又は各種電信ネットワークを介して、他のデバイスと情報／データを交換することができる。理解すべき点として、本開示では、出力ユニット８０７を用いて、ユーザ満足度のリアルタイムの動的変化に関する情報、満足度に関するグループユーザ又は個別ユーザのキーファクター特定情報、最適化ポリシーに関する情報、及びポリシー実施効果の評価に関する情報等を表示してもよい。

【0115】

プロセッサユニット８０１は、１つ又は複数の処理回路によって実現することができる。プロセッサユニット８０１は、上述した各プロセス及び処理を実行するように設定されてもよい。例えば、いくつかの実施形態において、前述のプロセスは、コンピュータソフトウェアプログラムとして実現可能であり、記憶ユニット８０８のようなマシン可読媒体に有形記憶されている。いくつかの実施形態において、コンピュータプログラムの一部又は全部は、ＲＯＭ８０２及び／又は通信ユニット８０９を経由してデバイス８００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ８０３にロードされＣＰＵ８０１により実行されると、上述したプロセスのうち１つ又は複数のステップを実行することができる。

【0116】

本開示は、システム、方法、及び／又はコンピュータプログラム製品として実現してもよい。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータ可読プログラム命令が格納されたコンピュータ可読記憶媒体を備えてもよい。

【0117】

コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持し格納することができる有形デバイスであり得る。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁気記憶装置、半導体記憶装置又は上述の任意の適切な組合せであり得るが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例には（全てではない）、ポータブル・コンピュータ・ディスク、ハードディスク、ランダムアクセスメモリ、リードオンリーメモリ、消去・書き込み可能なリードオンリーメモリ（ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）又はフラッシュメモリ）、スタティックＲＡＭ（ＳＲＡＭ：Static Random Access Memory）、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ：Compact Disc Read-Only Memory）、デジタル多用途ディスク（ＤＶＤ：Digital Versatile Disc）、メモリースティック、フロッピーディスク、機械的エンコーダ、例えば命令が格納されているパンチカード又は溝内の突起構造、及び上述の任意の適切な組合せが含まれる。ここで使用されるコンピュータ可読記憶媒体は、例えば無線電波若しくは他の自由伝播する電磁波、導波若しくは他の送信媒体を介して伝播する電磁波（例えば、光ケーブルを介する光パルス）、又は電線で送信される電気信号のような、瞬時の信号そのものであるとは解釈されない。

【0118】

ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理デバイスにダウンロードしてもよく、又は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／若しくは無線ネットワークを介して外部のコンピュータ若しくは外部記憶装置にダウンロードしてもよい。ネットワークは、銅線送信ケーブル、光ケーブル送信、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各計算／処理デバイスにおけるネットワーク・インタフェース・カード又はネットワークインターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、当該コンピュータ可読プログラム命令を転送し、各計算／処理デバイスのコンピュータ可読記憶媒体に格納されるようにする。

【0119】

本開示の操作を実行するためのコンピュータプログラム命令は、アセンブラ指示文、命令セットアーキテクチャ（ＩＳＡ：Instruction Set Architecture）、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１種類若しくは複数種類のプログラミング言語の任意の組合せで記述されたソースコード若しくは対象コードであり得る。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向のプログラミング言語、及び、「Ｃ」言語又は類似のプログラミング語言のような一般的なプロセス式プログラミング言語を含む。コンピュータ可読プログラム命令は、全てユーザコンピュータ上で実行してもよいし、部分的にユーザコンピュータ上で実行してもよいし、１つの独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行するとともにリモートコンピュータ上で部分的に実行してもよいし、或いは、全てリモートコンピュータ又はサーバ上で実行してもよい。リモートコンピュータにかかる状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）又はワイドエリアネットワーク（ＷＡＮ：Wide Area Network）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続してもよく、又は、外部のコンピュータに接続してもよい（例えばインターネットサービスプロバイダを利用しインターネットを介して接続する）。いくつかの実施形態では、コンピュータ可読プログラム命令のステータス情報を利用して、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）又はプログラマブルロジックアレイ（ＰＬＡ：Programmable Logic Array）のような電子回路をパーソナライズしてもよい。当該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現してもよい。

【0120】

ここでは、本開示の実施形態にかかる方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本開示の各態様を説明した。理解すべき点として、フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図の各ブロックの組合せは、いずれも、コンピュータ可読プログラム命令により実現してもよい。

【0121】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットに提供されて、マシンを生成してもよく、これらの命令がコンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットにより実行された場合、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現する装置が生成される。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に格納されてもよい。これらの命令によって、コンピュータ、プログラミング可能なデータ処理装置及び／又はその他のデバイスは特定の方法で動作を行う。したがって、命令が格納されているコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現する各態様の命令が含まれている製品を含む。

【0122】

コンピュータ可読プログラム命令を、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイスにロードして、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイス上で一連の操作ステップを実行させ、コンピュータが実現するプロセスを生成してもよい。こうすることで、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイスで実行される命令に、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現させる。

【0123】

図中のフローチャート及びブロック図は、本開示の複数の実施形態にかかるシステム、方法、コンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を表している。この点において、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を示してもよく、前記モジュール、プログラムセグメント又は命令の一部は、規定されたロジック機能を実現するための１つ又は複数の実行可能な命令を含む。代替としてのいくつかの実現形態において、ブロック内に表記された機能は、図中の表記と異なる順序で発生してもよい。例えば、２つの連続するブロックは実際には基本的に並行して実行されてもよいし、場合によっては反対の順序で実行されてもよい。これは、関係する機能によって定められる。また、注意すべき点として、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートのブロックの組合せは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現してもよいし、或いは、専用のハードウェアとコンピュータ命令との組合せにより実現してもよい。

【0124】

以上、本開示の各実施形態を説明したが、上述した説明は、例示的なもので、全て網羅したものではなく、開示された各実施形態に限定されない。説明した各実施形態の範囲及び精神から逸脱しない状況において、当業者が複数の修正及び変更を行うことができることは明らかである。ここで使用した用語は、各実施形態の原理、実際の応用又は市場での技術改良について最適な説明を行うこと、又は当業者に本明細書で開示された各実施形態を理解させることを意図して、選択したものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】