知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-19
(45)【発行日】2023-07-27
(54)【発明の名称】処理システム、及び処理プログラム
(51)【国際特許分類】
G06N 20/20 20190101AFI20230720BHJP
【ＦＩ】
G06N20/20
【請求項の数】
5
(21)【出願番号】P 2019130901
(22)【出願日】2019-07-16
(65)【公開番号】P2021015535
(43)【公開日】2021-02-12
【審査請求日】2022-01-17
(73)【特許権者】
【識別番号】501299163
【氏名又は名称】株式会社ベリサーブ
(74)【代理人】
【識別番号】100107364
【弁理士】
【氏名又は名称】斉藤 達也
(72)【発明者】
【氏名】須原 秀敏
【審査官】多賀 実
(56)【参考文献】
【文献】国際公開第２０１９／１０２９１１（ＷＯ，Ａ１）
【文献】特開２０１７－１２６９７８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１２４０８０（ＵＳ，Ａ１）
【文献】辻 亮弥 外５名，「マルチモーダル入力に対応した重み付き多数決による識別器」，ＦＩＴ２０１１ 第１０回情報科学技術フォーラム 講演論文集 第３分冊，一般社団法人 情報処理学会，2011年08月22日，pp.123-124
【文献】Roberto Perdisci et al.，"Using an Ensemble of One-Class SVM Classifiers to Harden Payload-based Anomaly Detection Systems"，Sixth International Conference on Data Mining (ICDM'06) [online]，IEEE，2007年01月08日，[令和4年11月29日 検索], インターネット:<URL:https://ieeexplore.ieee.org/abstract/document/4053075>，DOI: 10.1109/ICDM.2006.165
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １１／０７
Ｇ０６Ｆ １１／２８－１１／３６
Ｇ０６Ｆ ２１／００－２１／８８
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
評価対象データの評価に用いられる複数の評価用モデルを用いて行われる前記評価対象データの評価に関連する処理である評価関連処理を行う処理システムであって、評価関連データを取得する取得手段と、
前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、を備え、
前記処理手段は、
所定の基準に基づいて、前記取得手段が取得した複数の前記評価関連データを相互に関連付ける第１処理と、
前記第１処理で関連付けられた複数の前記評価関連データに基づいて、前記評価関連処理を行う第２処理と、を実行し、
複数の前記評価関連データは、所定の規格の通信で用いられる第１属性の複数のデータと、前記所定の規格の通信で用いられる第２属性の複数のデータと、を含み、
前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々は、所定の通信順番で通信されるデータであり、
前記処理手段は、
前記第１処理において、前記評価関連データの通信順番に基づいて、前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々を相互に関連付け、
前記第２処理において、前記第１処理で関連付けた前記第１属性の複数のデータ各々と前記第２属性の複数のデータ各々とを含む複数の組み合わせに基づいて、前記評価関連処理を行い、
前記複数の組み合わせ各々に含まれるデータは、前記第１属性及び前記第２属性を含む２種類の属性のデータのみである、
処理システム。
【請求項2】
前記取得手段は、前記評価対象データを、前記評価関連データとして取得し、前記処理手段は、前記取得手段が取得した前記評価対象データと、前記複数の評価用モデルとに基づいて、前記評価対象データを評価する処理を前記評価関連処理として行う、
請求項１に記載の処理システム。
【請求項3】
前記処理手段は、前記取得手段が取得した前記評価対象データを、前記複数の評価用モデル各々を用いて評価し、前記複数の評価用モデル各々を用いて行われた各評価の結果を示す評価結果情報を生成する処理を前記評価関連処理として行う、請求項２に記載の処理システム。
【請求項4】
前記処理手段は、前記評価対象データに含まれているデータ値に関する評価を行う処理、又は、前記評価対象データに含まれている時間に関する評価を行う処理を前記評価関連処理として行う、請求項２又は３に記載の処理システム。
【請求項5】
評価対象データの評価に用いられる複数の評価用モデルを用いて行われる前記評価対象データの評価に関連する処理である評価関連処理を行う処理プログラムであって、コンピュータを、
評価関連データを取得する取得手段と、
前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、として機能させ、
前記処理手段は、
所定の基準に基づいて、前記取得手段が取得した複数の前記評価関連データを相互に関連付ける第１処理と、
前記第１処理で関連付けられた複数の前記評価関連データに基づいて、前記評価関連処理を行う第２処理と、を実行し、
複数の前記評価関連データは、所定の規格の通信で用いられる第１属性の複数のデータと、前記所定の規格の通信で用いられる第２属性の複数のデータと、を含み、
前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々は、所定の通信順番で通信されるデータであり、
前記処理手段は、
前記第１処理において、前記評価関連データの通信順番に基づいて、前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々を相互に関連付け、
前記第２処理において、前記第１処理で関連付けた前記第１属性の複数のデータ各々と前記第２属性の複数のデータ各々とを含む複数の組み合わせに基づいて、前記評価関連処理を行い、
前記複数の組み合わせ各々に含まれるデータは、前記第１属性及び前記第２属性を含む２種類の属性のデータのみである、
処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理システム、及び処理プログラムに関する。
【背景技術】
【0002】
従来、通信ログを解析して異常に関する評価を行う技術が知られていた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－１６００７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の技術においては、通信ログに対応する１個のモデルを用いて異常を評価していたので、通信ログに対する多面的な解析ができずに、評価精度が低下してしまう可能性があった。
【0005】
本発明は上記事実に鑑みなされたもので、評価対象データの評価の精度を向上させることが可能となる処理システム及び処理プログラムを提供する事を目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、請求項１に記載の処理システムは、評価対象データの評価に用いられる複数の評価用モデルを用いて行われる前記評価対象データの評価に関連する処理である評価関連処理を行う処理システムであって、評価関連データを取得する取得手段と、前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、を備え、前記処理手段は、所定の基準に基づいて、前記取得手段が取得した複数の前記評価関連データを相互に関連付ける第１処理と、前記第１処理で関連付けられた複数の前記評価関連データに基づいて、前記評価関連処理を行う第２処理と、を実行し、複数の前記評価関連データは、所定の規格の通信で用いられる第１属性の複数のデータと、前記所定の規格の通信で用いられる第２属性の複数のデータと、を含み、前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々は、所定の通信順番で通信されるデータであり、前記処理手段は、前記第１処理において、前記評価関連データの通信順番に基づいて、前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々を相互に関連付け、前記第２処理において、前記第１処理で関連付けた前記第１属性の複数のデータ各々と前記第２属性の複数のデータ各々とを含む複数の組み合わせに基づいて、前記評価関連処理を行い、前記複数の組み合わせ各々に含まれるデータは、前記第１属性及び前記第２属性を含む２種類の属性のデータのみである。
【0011】
請求項２に記載の処理システムは、請求項１に記載の処理システムにおいて、前記取得手段は、前記評価対象データを、前記評価関連データとして取得し、前記処理手段は、前記取得手段が取得した前記評価対象データと、前記複数の評価用モデルとに基づいて、前記評価対象データを評価する処理を前記評価関連処理として行う。
【0012】
請求項３に記載の処理システムは、請求項２に記載の処理システムにおいて、前記処理手段は、前記取得手段が取得した前記評価対象データを、前記複数の評価用モデル各々を用いて評価し、前記複数の評価用モデル各々を用いて行われた各評価の結果を示す評価結果情報を生成する処理を前記評価関連処理として行う。
【0013】
請求項４に記載の処理システムは、請求項２又は３に記載の処理システムにおいて、前記処理手段は、前記評価対象データに含まれているデータ値に関する評価を行う処理、又は、前記評価対象データに含まれている時間に関する評価を行う処理を前記評価関連処理として行う。
【0014】
請求項５に記載の処理プログラムは、評価対象データの評価に用いられる複数の評価用モデルを用いて行われる前記評価対象データの評価に関連する処理である評価関連処理を行う処理プログラムであって、コンピュータを、評価関連データを取得する取得手段と、前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、として機能させ、前記処理手段は、所定の基準に基づいて、前記取得手段が取得した複数の前記評価関連データを相互に関連付ける第１処理と、前記第１処理で関連付けられた複数の前記評価関連データに基づいて、前記評価関連処理を行う第２処理と、を実行し、複数の前記評価関連データは、所定の規格の通信で用いられる第１属性の複数のデータと、前記所定の規格の通信で用いられる第２属性の複数のデータと、を含み、前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々は、所定の通信順番で通信されるデータであり、前記処理手段は、前記第１処理において、前記評価関連データの通信順番に基づいて、前記第１属性の複数のデータ各々及び前記第２属性の複数のデータ各々を相互に関連付け、前記第２処理において、前記第１処理で関連付けた前記第１属性の複数のデータ各々と前記第２属性の複数のデータ各々とを含む複数の組み合わせに基づいて、前記評価関連処理を行い、前記複数の組み合わせ各々に含まれるデータは、前記第１属性及び前記第２属性を含む２種類の属性のデータのみである。
【発明の効果】
【0016】
請求項１に記載の処理システム、及び請求項５に記載の処理プログラムによれば、複数の評価用モデルを用いて行われる評価に関連する評価関連処理を行うことにより、例えば、複数の評価用モデルを用いて行われる評価対象データの評価を行うことができるので、評価対象データの評価の精度を向上させることが可能となる。
また、所定の基準に基づいて複数の評価関連データを相互に関連付け、関連付けられた複数の評価関連データに基づいて、評価関連処理を行うことにより、例えば、所定の基準として評価関連データの通信仕様等の実情に即した基準を採用した場合、当該実情に即して評価関連処理を適切に行うことが可能となる。
また、所定の基準に基づいて複数の評価関連データを相互に関連付け、関連付けられた複数の評価関連データに基づいて、評価関連処理を行うことにより、例えば、所定の基準として評価関連データの通信仕様等の実情に即した基準を採用した場合、当該実情に即して評価関連処理を適切に行うことが可能となる。
【0021】
請求項２に記載の処理システムによれば、評価対象データと複数の評価用モデルとに基づいて、評価対象データを評価する処理を行うことにより、例えば、評価対象データの評価精度を向上させることが可能となる。
【0022】
請求項３に記載の処理システムによれば、評価対象データを複数の評価用モデル各々を用いて評価し、複数の評価用モデル各々を用いて行われた各評価の結果を示す評価結果情報を生成する処理を行うことにより、例えば、複数の評価用モデル各々を用いて行った評価対象データの評価の結果を適切に示すことが可能となる。
【0023】
請求項４に記載の処理システムによれば、評価対象データに含まれているデータ値に関する評価を行う処理、又は、評価対象データに含まれている時間に関する評価を行う処理を行うことにより、例えば、データ値に関する評価、及び時間に関する評価を行うことができるので、評価対象データに対して様々な評価を行うことが可能となる。
【図面の簡単な説明】
【0025】
【図1】本実施の形態１に係る情報処理装置を機能概念的に示すブロック図である。
【図2】分析対象データ特定情報を例示した図である。
【図3】第１モデル特定情報を例示した図である。
【図4】モデル生成処理のフローチャートである。
【図5】分析処理のフローチャートである。
【図6】評価処理のフローチャートである。
【図7】本実施の形態２に係る情報処理装置を機能概念的に示すブロック図である。
【図8】第２モデル特定情報を例示した図である。
【図9】モデル生成処理のフローチャートである。
【図10】時間差分データ生成処理のフローチャートである。
【図11】分析処理のフローチャートである。
【図12】本実施の形態３に係る情報処理装置を機能概念的に示すブロック図である。
【図13】分析対象データ特定情報を例示した図である。
【図14】学習用データ特定情報を例示した図である。
【図15】第３モデル特定情報を例示した図である。
【図16】モデル生成処理のフローチャートである。
【図17】分析処理のフローチャートである。
【発明を実施するための形態】
【0026】
以下に添付図面を参照して、この発明に係る処理システムの実施の形態を詳細に説明する。まず、〔Ｉ〕実施の形態の基本的概念を説明した後、〔ＩＩ〕実施の形態の具体的内容について説明し、最後に、〔ＩＩＩ〕実施の形態に対する変形例について説明する。ただし、実施の形態によって本発明が限定されるものではない。
【0027】
〔Ｉ〕実施の形態の基本的概念
まず、実施の形態の基本的概念について説明する。実施の形態は、処理システム、及び処理プログラムに関する。本発明に係る処理システムは、評価関連処理を行うシステムであり、例えば、評価関連処理を行うための専用システム、あるいは、汎用的に用いられるシステム（例えば、サーバコンピュータ、パーソナルコンピュータ、タブレット端末、車載システム等）に対して評価関連処理を行うための機能を実装することにより実現されるシステム等を含む概念である。「処理システム」とは、例えば、取得手段、及び処理手段を備える。
まず、実施の形態の基本的概念について説明する。実施の形態は、処理システム、及び処理プログラムに関する。本発明に係る処理システムは、評価関連処理を行うシステムであり、例えば、評価関連処理を行うための専用システム、あるいは、汎用的に用いられるシステム（例えば、サーバコンピュータ、パーソナルコンピュータ、タブレット端末、車載システム等）に対して評価関連処理を行うための機能を実装することにより実現されるシステム等を含む概念である。「処理システム」とは、例えば、取得手段、及び処理手段を備える。
【0028】
また、「評価関連処理」とは、評価対象データの評価に用いられる複数の評価用モデルを用いて行われる評価対象データの評価に関連する処理であり、例えば、複数の評価用モデルを生成する処理、及び評価対象データを評価する処理等を含む概念である。
【0029】
また、「取得手段」とは、評価関連データを取得する手段であり、例えば、複数の評価用モデルを生成するための教師データを評価関連データとして取得する手段等を含む概念であり、また、評価対象データを評価関連データとして取得する手段等を含む概念である。
【0030】
また、「評価関連データ」とは、評価関連処理を行う基となるデータであり、例えば、評価対象データ、及び教師データ等を含む概念である。
【0031】
また、「評価対象データ」とは、複数の評価用モデルを用いて評価される対象となるデータであり、具体的には、任意の通信規格を想定した通信でのデータ、あるいは、当該通信規格を想定していない通信でのデータ等を含む概念であり、例えば、各データの属性が識別可能なデータ、あるいは、各データの属性が識別不可能なデータ等を含む概念であり、一例としては、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、イーサネット（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の通信規格の通信のデータ等を含む概念であり、また、これらの通信規格の通信を想定した機器での実際の通信のログデータ等を含む概念である。
【0032】
また、「教師データ」とは、複数の評価用モデルを生成するためのデータであり、例えば、複数のモデルを生成するために行われる機械学習で用いられるデータであり、具体的な種類やフォーマットは前述の評価対象データと同様であり、つまり、ＣＡＮ等の通信規格に準拠した通信のログデータ等を含む概念である。なお、この「教師データ」として用いられるデータについては、例えば、前述の任意の通信規格又は他の所定のルールを基準に判断して、正常であるか異常であるかが予め定められているデータを用いることができる。
【0033】
また、「評価用モデル」とは、評価対象データの評価に用いられるモデルであり、例えば、機械学習によって生成されるモデル、あるいは、機械学習以外の他の任意の手法（例えば、シミュレーション、又は、実験等を行う手法等）で生成されるモデル等を含む概念である。なお、「評価対象データの評価に用いられる複数の評価用モデル」とは、例えば、評価対象データを評価する場合の処理に用いられる複数個の評価用モデル等を含む概念であり、つまり、一例としては、処理システムでは、評価対象データを１個評価するために、評価用モデルが複数個用いられることになる。
【0034】
また、「処理手段」とは、取得手段が取得した評価関連データに基づいて、評価関連処理を行う手段であり、例えば、取得手段が取得した評価関連データの属性単位で評価関連処理を行う手段等を含む概念である。「評価関連データの属性」とは、例えば、評価関連データをグループに分ける基準として用いられる概念であり、一例としては、ＣＡＮ等の通信規格で定められているデータの任意の事項（例えば、データ内容や送信ノード等）を識別するための識別情報（つまり、「ＩＤ」）等を含む概念である。
【0035】
また、「処理手段」とは、例えば、所定の基準に基づいて、取得手段が取得した複数の評価関連データを相互に関連付け、関連付けられた複数の評価関連データに基づいて評価関連処理を行う手段等を含む概念である。「所定の基準」とは、予め定められている基準であり、例えば、通信規格又は通信の仕様等から定められている基準（つまり、通信の実情に即した基準）等を含む概念である。
【0036】
また、「処理手段」とは、例えば、予め定められている判定用モデルに基づいて、取得手段が取得した評価関連データを評価関連処理の対象とするか否かを判定し、評価関連処理の対象とするものと判定した評価関連データに基づいて、評価関連処理を行う手段等を含む概念である。「判定用モデル」とは、取得手段が取得した評価関連データを評価関連処理の対象とするか否かを判定するために用いられるモデルであり、例えば、機械学習によって生成されるモデル、あるいは、機械学習以外の他の任意の手法（例えば、シミュレーション、又は、実験等を行う手法等）で生成されるモデル等を含む概念である。
【0037】
また、「処理手段」とは、例えば、取得手段が取得した教師データと、複数の評価用モデルを生成するための機械学習用の所定のアルゴリズムとに基づいて、機械学習により複数の評価用モデルを生成する処理を評価関連処理として行う手段等を含む概念である。「所定のアルゴリズム」とは、複数の評価用モデルを生成するためのアルゴリズムであり、具体的には、外れ値を検出するためのモデルを生成するためのアルゴリズム、あるいは、その他の任意のアルゴリズム等を含む概念であり、例えば、機械学習における「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」等を含む概念である。
【0038】
また、「処理手段」とは、例えば、前述の所定のアルゴリズムにおける複数のパラメータの内の一部のパラメータの値を変更することにより、複数の評価用モデルを生成する手段等を含む概念であり、一例としては、前述の「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」が有する調整可能なパラメータである「カーネル」等を含む公知の複数のパラメータのうちの１個のパラメータの値を変更することにより、複数の評価用モデルを生成する手段等を含む概念である。
【0039】
また、「処理手段」とは、例えば、取得手段が取得した評価対象データを、複数の評価用モデル各々を用いて評価し、複数の評価用モデル各々を用いて行われた各評価の結果を示す評価結果情報を生成する処理を評価関連処理として行う手段等を含む概念であり、また、評価対象データに含まれているデータ値に関する評価を行う処理、又は、評価対象データに含まれている時間に関する評価を行う処理を評価関連処理として行う手段等を含む概念である。
【0040】
そして、以下に示す各実施の形態においては、「評価対象データ」及び「教師データ」がＣＡＮの通信規格の通信のログデータである場合について説明し、特に、実施の形態１では、評価対象データに含まれているデータ値に関する評価を行う場合について説明し、また、実施の形態２では、評価対象データに含まれている時間に関する評価を行う場合について説明し、また、実施の形態３では、評価対象データに含まれているデータ値に関する評価を行う場合であって、複数の評価関連データを相互に関連付けて評価する場合について説明する。
【0041】
〔ＩＩ〕各実施の形態の具体的内容
次に、各実施の形態の具体的内容について説明する。
次に、各実施の形態の具体的内容について説明する。
【0042】
（実施の形態１）
最初に、実施の形態１について説明する。この実施の形態は、評価対象データに含まれているデータ値に関する評価を行う形態である。
最初に、実施の形態１について説明する。この実施の形態は、評価対象データに含まれているデータ値に関する評価を行う形態である。
【0043】
（構成）
まず、本実施の形態に係る情報処理装置について説明する。図１は、本実施の形態に係る情報処理装置を機能概念的に示すブロック図である。情報処理装置１は、処理システムであり、例えば、パーソナルコンピュータであり、一例としては、入力部１１、出力部１２、記録部１３、及び制御部１４を備える。
まず、本実施の形態に係る情報処理装置について説明する。図１は、本実施の形態に係る情報処理装置を機能概念的に示すブロック図である。情報処理装置１は、処理システムであり、例えば、パーソナルコンピュータであり、一例としては、入力部１１、出力部１２、記録部１３、及び制御部１４を備える。
【0044】
（構成‐入力部）
入力部１１は、情報を入力する入力手段である。この入力部１１の具体的な構成は任意であるが、例えば、公知のマウスやキーボード等を用いて構成することができる。
入力部１１は、情報を入力する入力手段である。この入力部１１の具体的な構成は任意であるが、例えば、公知のマウスやキーボード等を用いて構成することができる。
【0045】
（構成‐出力部）
出力部１２は、情報を出力する出力手段である。この出力部１２の具体的な構成は任意であるが、例えば、公知のディスプレイ等を用いて構成することができる。
出力部１２は、情報を出力する出力手段である。この出力部１２の具体的な構成は任意であるが、例えば、公知のディスプレイ等を用いて構成することができる。
【0046】
（構成‐記録部）
記録部１３は、情報処理装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、フラッシュメモリ、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
記録部１３は、情報処理装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、フラッシュメモリ、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。
【0047】
この記録部１３には、例えば、分析対象データ特定情報、学習用データ特定情報、及び第１モデル特定情報が格納されている。
【0048】
（構成‐記録部‐分析対象データ特定情報）
記録部１３の「分析対象データ特定情報」とは、分析対象データを特定する情報である。「分析対象データ」とは、前述の評価関連データであり、具体的には、前述の評価対象データであり、例えば、ＣＡＮの通信規格の通信のログデータ（つまり、ＣＡＮ通信の通信を想定した機器での通信のログデータ）である。図２は、分析対象データ特定情報を例示した図である。「分析対象データ特定情報」は、例えば、図２に示すように、項目「行情報」、項目「時間情報」、項目「データＩＤ」、及び項目「ペイロード情報」と、各項目に対応する情報とが相互に関連付けられている情報である。項目「行情報」は、各情報（時間情報、データＩＤ、及びペイロード情報の組み合わせ）を一意に識別する行情報である（図２では、一意の数値であり「１」等）。項目「時間情報」に対応する情報は、各情報（データＩＤ、及びペイロード情報）に付されているタイムスタンプ（つまり、通信が行われた時間）を特定する時間情報である（図２では、「ｔ１」等）。なお、ここでの「ｔ１」等について便宜上の表記であり、実際には、任意のタイミングを基準にして、当該タイミングからの経過時間等が用いられ、つまり、ＣＡＮ通信で各データの送信または受信が行われたタイミングを特定する時間が用いられることとする。項目「データＩＤ」に対応する情報は、評価関連データの属性を特定する情報であり、例えば、ＣＡＮ通信のデータ内容や送信ノード等を識別するＩＤである（図２では、ＣＡＮ通信のデータフレームの中のＩＤに対応する情報であり、「ＩＤ１１」等）。なお、この「ＩＤ１１」等については、説明の便宜上の記載である。項目「ペイロード情報」とは、データ値であり、ＣＡＮ通信で送受信されるデータ本体を特定するペイロード情報である。なお、ペイロード情報は任意であり、ＣＡＮ通信のデータフレーム中のデータフィールドに対応する情報であり、８バイトの情報であって１６進数表記の「１０ ２０ ３０ ４０ ５０ ６０ ７０ ８０」等の情報であるが、図２では、説明の便宜上、この情報を「Ｄ１」等を表記して説明する。なお、ここので、行情報、時間情報、データＩＤ、及びペイロード情報が相互に対応付けられた情報が、「分析対象データ」に対応する。
記録部１３の「分析対象データ特定情報」とは、分析対象データを特定する情報である。「分析対象データ」とは、前述の評価関連データであり、具体的には、前述の評価対象データであり、例えば、ＣＡＮの通信規格の通信のログデータ（つまり、ＣＡＮ通信の通信を想定した機器での通信のログデータ）である。図２は、分析対象データ特定情報を例示した図である。「分析対象データ特定情報」は、例えば、図２に示すように、項目「行情報」、項目「時間情報」、項目「データＩＤ」、及び項目「ペイロード情報」と、各項目に対応する情報とが相互に関連付けられている情報である。項目「行情報」は、各情報（時間情報、データＩＤ、及びペイロード情報の組み合わせ）を一意に識別する行情報である（図２では、一意の数値であり「１」等）。項目「時間情報」に対応する情報は、各情報（データＩＤ、及びペイロード情報）に付されているタイムスタンプ（つまり、通信が行われた時間）を特定する時間情報である（図２では、「ｔ１」等）。なお、ここでの「ｔ１」等について便宜上の表記であり、実際には、任意のタイミングを基準にして、当該タイミングからの経過時間等が用いられ、つまり、ＣＡＮ通信で各データの送信または受信が行われたタイミングを特定する時間が用いられることとする。項目「データＩＤ」に対応する情報は、評価関連データの属性を特定する情報であり、例えば、ＣＡＮ通信のデータ内容や送信ノード等を識別するＩＤである（図２では、ＣＡＮ通信のデータフレームの中のＩＤに対応する情報であり、「ＩＤ１１」等）。なお、この「ＩＤ１１」等については、説明の便宜上の記載である。項目「ペイロード情報」とは、データ値であり、ＣＡＮ通信で送受信されるデータ本体を特定するペイロード情報である。なお、ペイロード情報は任意であり、ＣＡＮ通信のデータフレーム中のデータフィールドに対応する情報であり、８バイトの情報であって１６進数表記の「１０ ２０ ３０ ４０ ５０ ６０ ７０ ８０」等の情報であるが、図２では、説明の便宜上、この情報を「Ｄ１」等を表記して説明する。なお、ここので、行情報、時間情報、データＩＤ、及びペイロード情報が相互に対応付けられた情報が、「分析対象データ」に対応する。
【0049】
そして、このような分析対象データ特定情報における分析対象データの格納手法は任意であるが、例えば、公知の不図示のログ収集装置が、ＣＡＮ通信を行う車載システム（開発中又は実装済のシステム）における、ＣＡＮ通信の通信データ（少なくともデータＩＤ及びペイロード情報を含むデータ）を収集し、収集した通信データにタイムスタンプを付してログ収集装置の記録部に記録するように構成されていることとする。そして、このログ収集装置に記録されているタイムスタンプが付された通信データを、任意の手法（例えば、当該ログ収集装置との間で通信を行う手法、あるいは、メモリスティック等の記録媒体を用いる手法等）で情報処理装置１に入力することとし、制御部１４が、この入力されたタイムスタンプ付きの通信データに行情報を付して、当該付した行情報、タイムスタンプ、通信データのデータＩＤ、及び通信データのペイロード情報を記録することにより、図２の分析対象データとして格納する。あるいは、前述の公知の不図示のログ収集装置が、ＣＡＮ通信を行う車載システムにおける、ＣＡＮ通信の通信データを収集して、図２の分析対象データを生成して自己の記録部に記録するように構成されていることとし、このログ収集装置に記録されている分析対象データを任意の手法で情報処理装置１に入力することとし、制御部１４が、入力された分析対象データを格納することとしてもよい（他の実施の形態も同様とする）。
【0050】
このようにして格納することにより、図２の分析対象データについては、順次行われたＣＡＮ通信の各情報が、図面上側から下側に向かって示されていることとし、つまり、少なくとも、時間情報「ｔ１」～「ｔ９」については、「データＩＤ」＝「ＩＤ１１」の通信が順次行われ、この後、少なくとも、時間情報「ｔ１０１」～「ｔ１０４」については、「データＩＤ」＝「ＩＤ１３」の通信が順次行われていることが示されていることとして、以下説明する。
【0051】
（構成‐記録部‐学習用データ特定情報）
図１に戻って、記録部１３の「学習用データ特定情報」とは、学習用データを特定する情報である。「学習用データ」とは、前述の評価関連データであり、具体的には、前述の教師データであり、例えば、前述の分析対象データと同じ種類のデータであり、つまり、ＣＡＮの通信規格の通信のログデータ（つまり、ＣＡＮ通信の通信ログのデータ）である。「学習用データ特定情報」は、例えば、不図示であるが、図２の分析対象データ特定情報と同様に、項目「行情報」、項目「時間情報」、項目「データＩＤ」、及び項目「ペイロード情報」と、各項目に対応する情報とが相互に関連付けられている情報である。なお、これらの各項目に対応する情報が、「学習用データ」に対応し、分析対象データの同一名称の情報と同様であるので、詳細の説明を省略する。
図１に戻って、記録部１３の「学習用データ特定情報」とは、学習用データを特定する情報である。「学習用データ」とは、前述の評価関連データであり、具体的には、前述の教師データであり、例えば、前述の分析対象データと同じ種類のデータであり、つまり、ＣＡＮの通信規格の通信のログデータ（つまり、ＣＡＮ通信の通信ログのデータ）である。「学習用データ特定情報」は、例えば、不図示であるが、図２の分析対象データ特定情報と同様に、項目「行情報」、項目「時間情報」、項目「データＩＤ」、及び項目「ペイロード情報」と、各項目に対応する情報とが相互に関連付けられている情報である。なお、これらの各項目に対応する情報が、「学習用データ」に対応し、分析対象データの同一名称の情報と同様であるので、詳細の説明を省略する。
【0052】
そして、このような学習用データ特定情報における学習用データの格納手法は任意であるが、例えば、前述のように、公知の不図示のログ収集装置が、ＣＡＮ通信を行う車載システム（開発中又は実装済のシステム）における、ＣＡＮ通信の通信データ（少なくともデータＩＤ及びペイロード情報を含むデータ）を収集し、収集した通信データにタイムスタンプを付してログ収集装置の記録部に記録するように構成されていることとする。そして、これらの記録されているタイムスタンプが付された通信データについて、例えば、任意の手法で、正常であるか異常であるかを判定し、正常であるものと判定した場合にのみ、当該正常であるものと判定された通信データを、前述の任意の手法で情報処理装置１に入力することとし、制御部１４が、入力されたタイムスタンプ付きの通信データに行情報を付して、当該付した行情報、タイムスタンプ、通信データのデータＩＤ、及び通信データのペイロード情報を記録することにより、図１の学習用データ特定情報における学習用データとして格納する（他の実施の形態も同様とする）。
【0053】
なお、ここでの通信データの判定については、例えば、管理者が、通信データのペイロード情報に着目して、車載システムにおけるＣＡＮ通信の仕様を基準に目視確認して判定することとしてもよいし、あるいは、ＣＡＮ通信の仕様を基準に正常であるか異常であるかを判定する判定機能を任意の装置に実装し、当該判定機能を用いて判定することとしてもよい。このようにして格納することにより、正常であるものと定められている通信データ等が学習用データとして格納されることになる。
【0054】
また、この学習用データとしては、ＣＡＮ通信の仕様に基づく通信の通信データを含む、機械学習を行うために十分な量の正常であるものと定められている通信データ等が格納されていることとして、以下説明する。
【0055】
（構成‐記録部‐第１モデル特定情報）
図１に戻って、記録部１３の「第１モデル特定情報」とは、複数の評価用モデルを特定する情報であり、具体的には、分析対象データのデータＩＤ単位でペイロード情報（つまり、データ値）について評価するためのモデルを特定する情報である。図３は、第１モデル特定情報を例示した図である。「第１モデル特定情報」は、例えば、図３に示すように、項目「データＩＤ」、及び項目「モデル情報」と、各項目に対応する情報とが相互に関連付けられている情報である。項目「データＩＤ」に対応する情報は、図２の同一名称の情報と同様である。項目「モデル情報」に対応する情報は、評価用モデルを特定するモデル情報である。なお、モデル情報は任意であり、後述するモデル生成処理で生成されるモデルを特定する情報であって、例えば、説明の便宜上の記載としての図３の「ＭＬ１１－１」等である。また、本実施の形態では、「評価用モデル」が、分析対象データが入力され、当該入力された分析対象データにおいて、分析対象データのペイロード情報が、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該ペイロード情報が外れ値に該当する分析対象データを示す情報を出力するモデルである場合について説明する。そして、このような第１モデル特定情報の格納手法は任意であるが、例えば、後述するモデル生成処理を実行することにより格納される。
図１に戻って、記録部１３の「第１モデル特定情報」とは、複数の評価用モデルを特定する情報であり、具体的には、分析対象データのデータＩＤ単位でペイロード情報（つまり、データ値）について評価するためのモデルを特定する情報である。図３は、第１モデル特定情報を例示した図である。「第１モデル特定情報」は、例えば、図３に示すように、項目「データＩＤ」、及び項目「モデル情報」と、各項目に対応する情報とが相互に関連付けられている情報である。項目「データＩＤ」に対応する情報は、図２の同一名称の情報と同様である。項目「モデル情報」に対応する情報は、評価用モデルを特定するモデル情報である。なお、モデル情報は任意であり、後述するモデル生成処理で生成されるモデルを特定する情報であって、例えば、説明の便宜上の記載としての図３の「ＭＬ１１－１」等である。また、本実施の形態では、「評価用モデル」が、分析対象データが入力され、当該入力された分析対象データにおいて、分析対象データのペイロード情報が、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該ペイロード情報が外れ値に該当する分析対象データを示す情報を出力するモデルである場合について説明する。そして、このような第１モデル特定情報の格納手法は任意であるが、例えば、後述するモデル生成処理を実行することにより格納される。
【0056】
（構成‐制御部）
図１に戻って、制御部１４は、情報処理装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して情報処理装置１にインストールされることで、制御部１４の各部を実質的に構成する。
図１に戻って、制御部１４は、情報処理装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して情報処理装置１にインストールされることで、制御部１４の各部を実質的に構成する。
【0057】
この制御部１４は、例えば、機能概念的に、取得部１４１、及び処理部１４２を備える。取得部１４１とは、評価関連データを取得する取得手段である。処理部１４２とは、取得部１４１が取得した評価関連データに基づいて、評価関連処理を行う処理手段である。なお、この制御部１４の各部の処理については、後述する。
【0058】
（処理）
続いて、本実施の形態に係る情報処理装置１によって実行される処理について説明する。具体的には、モデル生成処理、及び分析処理について説明する。
続いて、本実施の形態に係る情報処理装置１によって実行される処理について説明する。具体的には、モデル生成処理、及び分析処理について説明する。
【0059】
（処理‐モデル生成処理）
まず、モデル生成処理について説明する。「モデル生成処理」とは、概略的には、学習用データを用いて評価用モデルを生成する処理であり、例えば、図３の第１モデル特定情報を生成して格納する処理である。図４は、モデル生成処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。このモデル生成処理を実行するタイミングは任意であるが、例えば、図１の記録部１３に十分な量の学習用データを特定する学習用データ特定情報が記録された後に、入力部１１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する（他の実施の形態のモデル生成処理も同様とする）。
まず、モデル生成処理について説明する。「モデル生成処理」とは、概略的には、学習用データを用いて評価用モデルを生成する処理であり、例えば、図３の第１モデル特定情報を生成して格納する処理である。図４は、モデル生成処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。このモデル生成処理を実行するタイミングは任意であるが、例えば、図１の記録部１３に十分な量の学習用データを特定する学習用データ特定情報が記録された後に、入力部１１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する（他の実施の形態のモデル生成処理も同様とする）。
【0060】
図４のＳＡ１において取得部１４１は、学習用データを取得する。具体的には任意であるが、例えば、図１の記録部１３の学習用データ特定情報が特定する学習用データを取得する。ここでは、例えば、正常であるものと定められているＣＡＮ通信の通信データ等を取得することになるが、具体的には、図２の分析対象データと同じ種類のデータであって、行情報、時間情報、データＩＤ、及びペイロード情報が相互に関連付けられている学習用データを取得する。
【0061】
図４のＳＡ２において処理部１４２は、学習用データをデータＩＤを基準に分類する。具体的には任意であるが、例えば、ＳＡ１で取得した学習用データを取得し、当該学習用データのデータＩＤを基準にして、同じデータＩＤが同じグループになるように分類する。ここでは、例えば、ＳＡ１で取得した学習用データに、図２の「データＩＤ」＝「ＩＤ１１」、「ＩＤ１３」、不図示の「ＩＤ１２」に対応する情報等が格納されていることとし、この場合、当該学習用データを、「データＩＤ」＝「ＩＤ１１」に対応するグループ、「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び「データＩＤ」＝「ＩＤ１３」に対応するグループ等に分類する。このように分類することにより、データＩＤ単位で以下の処理を行うことが可能となる。
【0062】
図４のＳＡ３において処理部１４２は、１つの処理単位のデータを取得する。具体的には任意であるが、例えば、ＳＡ２で分類した各グループにおけるの内の未だ取得されていない１つのデータＩＤに対応するグループの学習用データを取得する。ここでは、例えば、「データＩＤ」＝「ＩＤ１１」に対応するグループの学習用データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を取得する。
【0063】
図４のＳＡ４において処理部１４２は、評価用モデルを複数生成する。具体的には任意であるが、例えば、不図示のモデル生成用アルゴリズムが記録部１３に記録されていることとし、このモデル生成用アルゴリズムを用いて生成することとする。「モデル生成用アルゴリズム」とは、前述の所定のアルゴリズムであり、具体的には、外れ値を検出するためのモデルを生成するためのアルゴリズムであり、例えば、「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」である。そして、このモデル生成用アルゴリズムである「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」については、ユーザが値を設定可能な複数のパラメータとして「Ｐ１」、「Ｐ２」、及び「Ｐ３」の相互に異なる３個のパラメータを有しており、これらのパラメータに値を設定した上で、学習用データを当該モデル生成用アルゴリズムに適用することにより、モデルが生成されるように構成されており、当該生成されたモデルを評価用モデルとする。なお、ここでの複数のパラメータの名称としての「Ｐ１」、「Ｐ２」、及び「Ｐ３」は説明の便宜上の名称である。
【0064】
ＳＡ４の処理についてより具体的には、例えば、記録部１３のモデル生成用アルゴリズムを取得し、取得したモデル生成用アルゴリズムの３個のパラメータの内の２個のパラメータについては各々任意の固定値を１個ずつ設定し、また、当該３個のパラメータの内の残りの１個のパラメータについては、１０個の値を順次設定し、ＳＡ３で取得した学習用データのペイロード情報を当該モデル生成用アルゴリズムに順次適用して機械学習することにより、当該１０個の値各々に対応する評価用モデルを１個ずつ生成して、合計１０個の評価用モデルを生成する。
【0065】
なお、ここでのモデル生成用アルゴリズムの３個のパラメータの内の何れのパラメータを１０個の値を設定するパラメータにするか、及び各パラメータに設定する値（１個ずつの値、及び１０個の値）については、モデル生成用アルゴリズムの仕様に基づいてユーザが事前に定めてもよし、又は、実験又はシミュレーション等に基づいてユーザが事前に定めてもよいし、又は、ランダムに定めてもよいし、また、これらを定めるための任意のロジックを実装して、当該ロジックを実行することにより定めてもよく、これらの定められた内容に応じて処理が実行されることとしてもよい。なお、本実施の形態では、前述の「Ｐ１」、「Ｐ２」、及び「Ｐ３」の内の、「Ｐ１」を１０個の値を設定するパラメータとし「Ｐ２」、及び「Ｐ３」を１個ずつの値を設定するパラメータとする場合について説明する。
【0066】
ここでは、例えば、記録部１３の不図示のモデル生成用アルゴリズムである「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」を取得し、取得した「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」の３個のパラメータである「Ｐ１」、「Ｐ２」、及び「Ｐ３」の内の２個のパラメータである「Ｐ２」、及び「Ｐ３」については各々任意の固定値を１個ずつ設定し、また、当該３個のパラメータの内の残りの１個のパラメータである「Ｐ１」については、相互に異なる１０個の値である「第１の値～第１０の値」を順次設定し、ＳＡ３で取得した学習用データのペイロード情報を当該モデル生成用アルゴリズムに順次適用することにより、当該１０個の値各々に対応する評価用モデルを１個ずつ生成して、合計１０個の評価用モデルを生成する。より詳細には、例えば、「Ｐ１」に「第１の値」を設定した上で、前述の学習用データのペイロード情報である図２の「Ｄ１」～「Ｄ９」等を「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」に適用することにより機械学習を行って、「Ｐ１」が「第１の値」である場合の評価用モデルである図３の「ＭＬ１１－１」が特定する評価用モデルを生成し、また、「Ｐ１」に「第２の値」を設定した上で、前述の学習用データのペイロード情報である図２の「Ｄ１」～「Ｄ９」等を「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」に適用することにより機械学習を行って、「Ｐ１」が「第２の値」である場合の評価用モデルである図３の「ＭＬ１１－２」が特定する評価用モデルを生成する。そして、この後に、「Ｐ１」に「第３の値」～「第１０の値」を設定した上で、前述の学習用データのペイロード情報である図２の「Ｄ１」～「Ｄ９」等を「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」に適用することにより機械学習を行って、「Ｐ１」が「第３の値」～「第１０の値」である場合の評価用モデルである図３の「ＭＬ１１－３」～「ＭＬ１１－１０」が特定する評価用モデルを生成する。
【0067】
なお、ここでは、前述のように、正常であるものと定められている通信データ（つまり、ペイロード情報）が学習用データとして用いられ、また、「Ｐ１」に相互に異なる「第１の値」～「第１０の値」が設定されることにより、相互に異なる基準で外れ値を検出する評価用モデルである「ＭＬ１１－１」～「ＭＬ１１－１０」が特定する評価用モデルが生成されることになる。
【0068】
図４のＳＡ５において処理部１４２は、評価用モデルを格納する。具体的には任意であるが、例えば、ＳＡ３で取得した単位であるデータＩＤを特定し、また、ＳＡ４で生成した評価用モデルを取得した上で、この特定したデータＩＤ、取得した評価用モデルを特定する情報を相互に対応付けて、図３のデータＩＤ及びモデル情報として格納する。ここでは、例えば、ＳＡ３で取得した単位であるデータＩＤである「ＩＤ１１」を特定し、また、ＳＡ４で生成した評価用モデルであるが特定する評価用モデルを取得した上で、図３の「データＩＤ」＝「ＩＤ１１」、及び「モデル情報」＝「ＭＬ１１－１」～「ＭＬ１１－１０」を格納する。
【0069】
図４のＳＡ６において処理部１４２は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、ＳＡ２で分類した各グループの学習用データについて全て取得して対応する評価用モデルを生成したか否かを任意の手法（例えば、ＳＡ２で分類した各グループについて取得して評価用モデルを生成したか否かを示す情報が記録部１３に記録されていることとし、この情報に着目して判定する手法等）で判定し、判定結果に基づいて判定する。そして、ＳＡ２で分類した各グループの学習用データについて全て取得して対応する評価用モデルを生成したわけではないものと判定した場合（つまり、ＳＡ２で分類した各グループにおいて、対応する評価用モデルが生成されていないものが未だ存在する場合）、処理を終了しないものと判定し（ＳＡ６のＮＯ）、ＳＡ３に移行する。また、ＳＡ２で分類した各グループの学習用データについて全て取得して対応する評価用モデルを生成したものと判定した場合（つまり、ＳＡ２で分類した各グループにおいて、対応する評価用モデルが全て生成された場合）、処理を終了するものと判定し（ＳＡ６のＹＥＳ）、処理を終了する。ここでは、例えば、前述の各処理を繰り返し行うことにより、ＳＡ２で分類した「データＩＤ」＝「ＩＤ１１」に対応するグループ、「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び「データＩＤ」＝「ＩＤ１３」等に対応するグループ全てについて、対応する評価用モデルが生成された場合、処理を終了するものと判定する。そして、このようにして、図３の第１モデル特定情報が生成されて格納されることになる。これにて、モデル生成処理を終了する。
【0070】
（処理‐分析処理）
次に、分析処理について説明する。「分析処理」とは、概略的には、評価用モデルを用いて分析対象データを評価する処理である。図５は、分析処理のフローチャートである。この分析処理を実行するタイミングは任意であるが、例えば、記録部１３に分析対象データ及び第１モデル特定情報が記録された後に、入力部１１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する。
次に、分析処理について説明する。「分析処理」とは、概略的には、評価用モデルを用いて分析対象データを評価する処理である。図５は、分析処理のフローチャートである。この分析処理を実行するタイミングは任意であるが、例えば、記録部１３に分析対象データ及び第１モデル特定情報が記録された後に、入力部１１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する。
【0071】
図５のＳＢ１において取得部１４１は、分析対象データを取得する。具体的には任意であるが、例えば、図１の記録部１３の分析対象データ特定情報の分析対象データを取得する。ここでは、例えば、図２に示すように、行情報、時間情報、データＩＤ、及びペイロード情報が相互に関連付けられている分析対象データを取得する。
【0072】
図５のＳＢ２において処理部１４２は、分析対象データをデータＩＤを基準に分類する。具体的には任意であるが、例えば、図４のＳＡ２と同様な処理を行う。詳細には、ＳＢ１で取得した分析対象データを取得し、当該分析対象データのデータＩＤを基準にして、同じデータＩＤが同じグループになるように分類する。ここでは、例えば、ＳＢ１で取得した分析対象データを、図２の「データＩＤ」＝「ＩＤ１１」に対応するグループ、不図示の「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び図２の「データＩＤ」＝「ＩＤ１３」に対応するグループ等に分類する。このように分類することにより、データＩＤ単位で以下の処理を行うことが可能となる。
【0073】
図５のＳＢ３において処理部１４２は、１つの処理単位のデータを取得する。具体的には任意であるが、例えば、図４のＳＡ３と同様な処理を行う。詳細には、ＳＢ２で分類した各グループにおけるの内の未だ取得されていない１つのデータＩＤに対応するグループの分析対象データを取得する。ここでは、例えば、図２の「データＩＤ」＝「ＩＤ１１」に対応するグループの分析対象データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を取得する。
【0074】
【0075】
図６のＳＣ１において処理部１４２は、評価用モデルを選択する。具体的には任意であるが、例えば、図５のＳＢ３で取得した分析対象データに対応するデータＩＤを特定し、図３の第１モデル特定情報を参照して、当該特定したデータＩＤに対応するモデル情報を取得し、取得したモデル情報が特定する評価用モデルを選択する。ここでは、例えば、図５のＳＢ３で取得した分析対象データに対応するデータＩＤである「ＩＤ１１」を特定し、図３の第１モデル特定情報を参照して、当該特定したデータＩＤである「ＩＤ１１」に対応するモデル情報である「ＭＬ１１－１」～「ＭＬ１１－１０」を取得し、「ＭＬ１１－１」～「ＭＬ１１－１０」が特定する評価用モデルを選択する。
【0076】
図６のＳＣ２において処理部１４２は、分析対象データを評価する。具体的には任意であるが、例えば、前述したように、「評価用モデル」が、分析対象データが入力され、当該入力された分析対象データにおいて、分析対象データのペイロード情報が、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該ペイロード情報が外れ値に該当する分析対象データを示す情報を出力するモデルであることに着目して、以下の処理を行う。詳細には、図５のＳＢ３で取得した分析対象データを、図６のＳＣ１で選択した評価用モデル全てに入力し、各評価用モデルから出力される情報を取得し、取得した当該情報に基づいて、各分析対象データについて評価スコアを算出して生成する。なお、「評価スコア」とは、評価結果情報であり、例えば、分析対象データが異常である可能性の高低を示す情報であり、一例としては、テストエンジニアが異常である通信ログを見て感じる違和感に関連する指標の情報である。なお、ここでの評価スコアの算出手法は任意であるが、例えば、各分析対象データについて、当該各分析対象データが入力される評価用モデルの個数に対する、当該各分析対象データを外れ値として検出した評価用モデルの個数の割合を算出し、当該算出した割合を評価スコアとすることとする。
【0077】
ここでは、例えば、図５のＳＢ３で取得した分析対象データである図２の「データＩＤ」＝「ＩＤ１１」に対応するグループの分析対象データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を、図６のＳＣ１で選択した評価用モデルである図３の「ＭＬ１１－１」～「ＭＬ１１－１０」が特定する評価用モデル全てに入力し、各評価用モデルから出力される情報を取得し、取得した当該情報に基づいて、各分析対象データについて評価スコアを算出して生成する。ここでは、図２の「データＩＤ」＝「ＩＤ１１」の内の、「行情報」＝「１」の分析対象データに着目して詳細に説明する。具体的には、「行情報」＝「１」の分析対象データを、図３の「ＭＬ１１－１」～「ＭＬ１１－１０」が特定する１０個の評価用モデルに入力し、「ＭＬ１１－１」～「ＭＬ１１－９」が特定する９個の評価用モデルにおいて、「行情報」＝「１」に対応する「ペイロード情報」＝「Ｄ１」を外れ値と検出し、当該９個の評価用モデルが、「行情報」＝「１」の分析対象データが異常値であることを含む情報を出力した場合、当該各分析対象データが入力される評価用モデルの個数である「１０個」に対する、当該各分析対象データを外れ値として検出した評価用モデルの個数である「９個」の割合について「９÷１０」の演算を行って「９０％」を算出し、当該算出した割合である「９０％」を、「行情報」＝「１」の分析対象データの評価スコアとする。そして、ここで説明した各処理が、「行情報」＝「２」～「９」等の分析対象データについても行われるので、「行情報」＝「２」～「９」等の分析対象データについても、評価スコアが算出されることになる。
【0078】
図６のＳＣ３において処理部１４２は、分析対象データの評価結果を格納する。具体的には任意であるが、例えば、各分析対象データについて評価スコアを取得し、取得した評価スコアを当該評価スコアに対応する分析対象データと対応付けた状態で、記録部１３に記録する。ここでは、例えば、「行情報」＝「１」の分析対象データの評価スコアである「９０％」、及び「行情報」＝「２」～「９」等の分析対象データの評価スコアを取得し、取得した「９０％」と「行情報」＝「１」の分析対象データとが対応付けられた情報、及び「行情報」＝「２」～「９」等の評価スコアと「行情報」＝「２」～「９」等の分析対象データが対応付けられた情報を格納する。これにて、評価処理をリターンする。
【0079】
図５のＳＢ５において処理部１４２は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、図４のＳＡ６と同様な処理を行う。詳細には、図５のＳＢ２で分類した各グループの分析対象データについて全て取得して評価を行ったか否か任意の手法（例えば、ＳＢ２で分類した各グループについて取得して評価を行ったか否かを示す情報が記録部１３に記録されていることとし、この情報に着目して判定する手法等）で判定し、判定結果に基づいて判定する。そして、ＳＢ２で分類した各グループの分析対象データについて全て取得して評価を行ったわけではないものと判定した場合（つまり、ＳＢ２で分類した各グループにおいて、評価を行っていないものが未だ存在する場合）、処理を終了しないものと判定し（ＳＢ５のＮＯ）、ＳＢ３に移行する。また、ＳＢ２で分類した各グループの分析対象データについて全て取得して評価を行ったものと判定した場合（つまり、ＳＢ２で分類した各グループにおいて、評価を全て行った場合）、処理を終了するものと判定し（ＳＢ５のＹＥＳ）、ＳＢ６に移行する。ここでは、例えば、上述の処理を繰り返し行うことにより、ＳＢ２で分類した図２の「データＩＤ」＝「ＩＤ１１」に対応するグループ、不図示の「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び図２の「データＩＤ」＝「ＩＤ１３」に対応するグループ等に対応するグループ全てについて、評価を行った場合、ＳＢ６に移行する。
【0080】
図５のＳＢ６において処理部１４２は、評価結果を出力する。具体的には任意であるが、例えば、ユーザが入力部１１を介して表示閾値スコアを入力することとし、図６のＳＣ３で記録した評価結果である評価スコアの内の当該表示閾値スコア以上の評価スコアを選択して取得し、取得した評価スコアを当該評価スコアに対応する分析対象データに対応付けた情報を、出力部１２のディスプレイに表示して出力する。なお、「表示閾値スコア」とは、表示するべき評価スコアを選択する基準となる情報である。ここでは、例えば、ユーザが入力部１１を介して表示閾値スコアとして「８０％」を入力した場合、図６のＳＣ３で記録した評価結果である評価スコアの内の当該表示閾値スコア以上の評価スコアである前述の「９０％」等を選択して取得し、取得した評価スコアである「９０％」を当該評価スコアに対応する分析対象データである「行情報」＝「１」、「時間情報」＝「ｔ１」、「データＩＤ」＝「ＩＤ１１」、及び「ペイロード情報」＝「Ｄ１」に対応付けた情報を、出力部１２のディスプレイに表示して出力する。なお、実際には、「行情報」＝「１」の分析対象データ以外にも、表示閾値スコアとして「８０％」以上のデータが存在する場合、当該データに関する情報を表示されることになる。これにて、分析処理を終了する。
【0081】
（本実施の形態の効果）
本実施の形態によれば、複数の評価用モデルを用いて行われる評価に関連する評価関連処理を行うことにより、例えば、複数の評価用モデルを用いて行われる分析対象データ（評価対象データ）の評価を行うことができるので、評価対象データの評価の精度を向上させることが可能となる。
本実施の形態によれば、複数の評価用モデルを用いて行われる評価に関連する評価関連処理を行うことにより、例えば、複数の評価用モデルを用いて行われる分析対象データ（評価対象データ）の評価を行うことができるので、評価対象データの評価の精度を向上させることが可能となる。
【0082】
また、分析対象データ（評価関連データ）又は学習用データ（評価関連データ）の属性であるデータＩＤ単位でモデル生成処理（評価関連処理）及び分析処理（評価関連処理）を行うことにより、例えば、同様な属性を有する評価関連データ単位で評価関連処理を行うことができるので、評価関連処理を効率的且つ適切に行うことが可能となる。
【0083】
また、学習用データ（教師データ）とモデル生成用アルゴリズム（機械学習用の所定のアルゴリズム）とに基づいて、機械学習により複数の評価用モデルを生成する処理を行うことにより、例えば、複数の評価用モデルを適切に生成することが可能となる。
【0084】
また、「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」の複数のパラメータの内の一部のパラメータの値を変更することにより、複数の評価用モデルを生成することにより、例えば、複数の評価用モデルをより適切に生成することが可能となる。
【0085】
また、分析対象データ（評価関連データ）と複数の評価用モデルとに基づいて、評価対象データを評価する処理を行うことにより、例えば、評価対象データの評価精度を向上させることが可能となる。
【0086】
また、分析対象データ（評価関連データ）を複数の評価用モデル各々を用いて評価し、複数の評価用モデル各々を用いて行われた各評価の結果を示す評価スコア（評価結果情報）を生成する処理を行うことにより、例えば、複数の評価用モデル各々を用いて行った評価対象データの評価の結果を適切に示すことが可能となる。
【0087】
また、分析対象データ（評価関連データ）に含まれているデータ値に関する評価を行う処理を行うことにより、例えば、データ値に関する評価を行うことが可能となる。
【0088】
（実施の形態２）
次に、実施の形態２について説明する。この実施の形態は、評価対象データに含まれている時間に関する評価を行う形態である。なお、実施の形態１と同様な内容については、説明を適宜省略して、本実施の形態に特徴的な部分についてのみ詳細に説明する。
次に、実施の形態２について説明する。この実施の形態は、評価対象データに含まれている時間に関する評価を行う形態である。なお、実施の形態１と同様な内容については、説明を適宜省略して、本実施の形態に特徴的な部分についてのみ詳細に説明する。
【0089】
（構成）
まず、本実施の形態に係る情報処理装置について説明する。図７は、本実施の形態に係る情報処理装置を機能概念的に示すブロック図である。情報処理装置２は、処理システムであり、例えば、パーソナルコンピュータであり、一例としては、入力部２１、出力部２２、記録部２３、及び制御部２４を備える。なお、入力部２１、出力部２２は、実施の形態１の同一名称の構成と同様である。
まず、本実施の形態に係る情報処理装置について説明する。図７は、本実施の形態に係る情報処理装置を機能概念的に示すブロック図である。情報処理装置２は、処理システムであり、例えば、パーソナルコンピュータであり、一例としては、入力部２１、出力部２２、記録部２３、及び制御部２４を備える。なお、入力部２１、出力部２２は、実施の形態１の同一名称の構成と同様である。
【0090】
（構成‐記録部）
記録部２３は、情報処理装置２の動作に必要なプログラム及び各種のデータを記録する記録手段であり、実施の形態１の記録部１３と同様に構成されており、例えば、分析対象データ特定情報、学習用データ特定情報、第２モデル特定情報、及びタイミング判定用モデル特定情報が格納されている。なお、分析対象データ特定情報、及び学習用データ特定情報は、実施の形態１の同一名称の情報と同様である。
記録部２３は、情報処理装置２の動作に必要なプログラム及び各種のデータを記録する記録手段であり、実施の形態１の記録部１３と同様に構成されており、例えば、分析対象データ特定情報、学習用データ特定情報、第２モデル特定情報、及びタイミング判定用モデル特定情報が格納されている。なお、分析対象データ特定情報、及び学習用データ特定情報は、実施の形態１の同一名称の情報と同様である。
【0091】
（構成‐記録部‐第２モデル特定情報）
記録部２３の「第２モデル特定情報」とは、複数の評価用モデルを特定する情報であり、具体的には、データＩＤ単位で分析対象データの時間情報（つまり、時間）について評価するためのモデルを特定する情報である。図８は、第２モデル特定情報を例示した図である。「第２モデル特定情報」は、例えば、図８に示すように、項目「データＩＤ」、及び項目「モデル情報」と、各項目に対応する情報とが相互に関連付けられている情報である。なお、これらの各情報は、図３の同一名称の情報と同様である。なお、本実施の形態では、「評価用モデル」が、分析対象データの時間差分データが入力され、当該入力された時間差分データが、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該時間差分データが外れ値に該当する分析対象データを示す情報を出力するモデルである場合について説明する。なお、「時間差分データ」とは、分析対象データの連続する時間情報の相互間の差分に対応する情報であり、例えば、図２の「ｔ１」と「ｔ２」の相互間の差分、「ｔ２」と「ｔ３」の相互間の差分、及び「ｔ３」と「ｔ４」の相互間の差分等に対応する情報である。そして、このような第２モデル特定情報の格納手法は任意であるが、例えば、後述するモデル生成処理を実行することにより格納される。
記録部２３の「第２モデル特定情報」とは、複数の評価用モデルを特定する情報であり、具体的には、データＩＤ単位で分析対象データの時間情報（つまり、時間）について評価するためのモデルを特定する情報である。図８は、第２モデル特定情報を例示した図である。「第２モデル特定情報」は、例えば、図８に示すように、項目「データＩＤ」、及び項目「モデル情報」と、各項目に対応する情報とが相互に関連付けられている情報である。なお、これらの各情報は、図３の同一名称の情報と同様である。なお、本実施の形態では、「評価用モデル」が、分析対象データの時間差分データが入力され、当該入力された時間差分データが、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該時間差分データが外れ値に該当する分析対象データを示す情報を出力するモデルである場合について説明する。なお、「時間差分データ」とは、分析対象データの連続する時間情報の相互間の差分に対応する情報であり、例えば、図２の「ｔ１」と「ｔ２」の相互間の差分、「ｔ２」と「ｔ３」の相互間の差分、及び「ｔ３」と「ｔ４」の相互間の差分等に対応する情報である。そして、このような第２モデル特定情報の格納手法は任意であるが、例えば、後述するモデル生成処理を実行することにより格納される。
【0092】
（構成‐記録部‐タイミング判定用モデル特定情報）
記録部２３の「タイミング判定用モデル特定情報」とは、タイミング判定用モデルを特定する情報である。「タイミング判定用モデル」とは、前述の判定用モデルであり、例えば、ＣＡＮ通信での通信タイミングを基準に任意の単位（例えば、データＩＤ単位）の複数の時間差分データの種類を判定するためのモデルである。なお、ここで想定される種類については、ＣＡＮ通信の通信仕様等に基づいて様々想定されるが、例えば、所定時間間隔（例えば、１．０秒～１．５秒間隔等）で連続して通信を行う「通常通信」、前述の通常通信が一時途切れて一時停止が発生する「ポーズ付き通常通信」、及びランダムなタイミングで通信が行われる「イベント通信」の何れかの種類が想定される通信仕様となっていることとして、以下説明する。そして、ここで用いられる具体的なタイミング判定用モデル、及び当該モデルを特定するタイミング判定用モデル特定情報の格納手法については後述する。
記録部２３の「タイミング判定用モデル特定情報」とは、タイミング判定用モデルを特定する情報である。「タイミング判定用モデル」とは、前述の判定用モデルであり、例えば、ＣＡＮ通信での通信タイミングを基準に任意の単位（例えば、データＩＤ単位）の複数の時間差分データの種類を判定するためのモデルである。なお、ここで想定される種類については、ＣＡＮ通信の通信仕様等に基づいて様々想定されるが、例えば、所定時間間隔（例えば、１．０秒～１．５秒間隔等）で連続して通信を行う「通常通信」、前述の通常通信が一時途切れて一時停止が発生する「ポーズ付き通常通信」、及びランダムなタイミングで通信が行われる「イベント通信」の何れかの種類が想定される通信仕様となっていることとして、以下説明する。そして、ここで用いられる具体的なタイミング判定用モデル、及び当該モデルを特定するタイミング判定用モデル特定情報の格納手法については後述する。
【0093】
（構成‐制御部）
図７に戻って、制御部２４は、情報処理装置２を制御する制御手段であり、実施の形態１の制御部１４と同様に構成されており、例えば、機能概念的に、取得部２４１、及び処理部２４２を備える。取得部２４１、及び処理部２４２は、実施の形態１の同一名称の構成要素と同様である。なお、この制御部２４の各部の処理については、後述する。
図７に戻って、制御部２４は、情報処理装置２を制御する制御手段であり、実施の形態１の制御部１４と同様に構成されており、例えば、機能概念的に、取得部２４１、及び処理部２４２を備える。取得部２４１、及び処理部２４２は、実施の形態１の同一名称の構成要素と同様である。なお、この制御部２４の各部の処理については、後述する。
【0094】
（処理）
続いて、本実施の形態に係る情報処理装置２によって実行される処理について説明する。具体的には、モデル生成処理、及び分析処理について説明する。
続いて、本実施の形態に係る情報処理装置２によって実行される処理について説明する。具体的には、モデル生成処理、及び分析処理について説明する。
【0095】
（処理‐モデル生成処理）
まず、モデル生成処理について説明する。「モデル生成処理」とは、概略的には、学習用データを用いて評価用モデルを生成する処理であり、例えば、図８の第２モデル特定情報を生成して格納する処理である。図９は、モデル生成処理のフローチャートである。
まず、モデル生成処理について説明する。「モデル生成処理」とは、概略的には、学習用データを用いて評価用モデルを生成する処理であり、例えば、図８の第２モデル特定情報を生成して格納する処理である。図９は、モデル生成処理のフローチャートである。
【0096】
図９のＳＤ１において取得部２４１は、学習用データを取得する。具体的には任意であるが、例えば、図４のＳＡ１と同様な処理を行う。詳細には、例えば、図８の記録部２３の学習用データ特定情報が特定する学習用データを取得する。ここでは、例えば、図２の分析対象データと同じ種類のデータであって、行情報、時間情報、データＩＤ、及びペイロード情報が相互に関連付けられている学習用データを取得する。
【0097】
図９のＳＤ２において処理部２４２は、学習用データをデータＩＤを基準に分類する。具体的には任意であるが、例えば、図４のＳＡ２と同様な処理を行う。ＳＤ１で取得した学習用データを取得し、当該学習用データのデータＩＤを基準にして、同じデータＩＤが同じグループになるように分類する。ここでは、例えば、ＳＤ１で取得した学習用データに、図２の「データＩＤ」＝「ＩＤ１１」、「ＩＤ１３」、不図示の「ＩＤ１２」に対応する情報等が格納されていることとし、この場合、当該学習用データを、「データＩＤ」＝「ＩＤ１１」に対応するグループ、「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び「データＩＤ」＝「ＩＤ１３」に対応するグループ等に分類する。
【0098】
図９のＳＤ３において処理部２４２は、１つの処理単位のデータを取得する。具体的には任意であるが、例えば、図４のＳＡ３と同様な処理を行う。詳細には、例えば、ＳＤ２で分類した各グループにおけるの内の未だ取得されていない１つのデータＩＤに対応するグループの学習用データを取得する。ここでは、例えば、「データＩＤ」＝「ＩＤ１１」に対応するグループの学習用データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を取得する。
【0099】
図９のＳＤ４において処理部２４２は、時間差分データ生成処理を実行する。「時間差分データ生成処理」とは、時間差分データを生成して、当該生成した時間差分データを適宜除外等する処理である。図１０は、時間差分データ生成処理のフローチャートである。
【0100】
図１０のＳＥ１において処理部２４２は、時間差分データを複数生成する。具体的には任意であるが、例えば、図９のＳＤ３で取得した学習用データの連続する時間情報相互間の差分を算出することにより、時間差分データを生成する。ここでは、例えば、学習用データの連続する時間情報として、不図示であるが「ｔｇ１」、「ｔｇ２」、「ｔｇ３」、「ｔｇ４」等が格納されている場合、「ｔｇ２－ｔｇ１」、「ｔｇ３－ｔｇ２」、及び「ｔｇ４－ｔｇ３」等の演算結果を、時間差分データとする。
【0101】
なお、ここで生成される複数の時間差分データ（具体的には、相互に同じデータＩＤにおける複数の時間差分データ）としては、ＣＡＮ通信の通信仕様等に基づいて様々想定されるが、前述のように「通常通信」、「ポーズ付き通常通信」、及び「イベント通信」が想定されるので、これらのうちの何れかに対応する複数の時間差分データが生成されることになる。
【0102】
図１０のＳＥ２において処理部２４２は、統計値及び個数を取得する。具体的には任意であるが、例えば、ＳＥ１で生成した複数の時間差分データを取得し、取得した複数の時間差分データについて公知の統計処理を行って、当該複数の時間差分データの最大値、分散、標準偏差、平均値、及び中央値を統計値として求めて、当該求めた統計値を取得し、また、ＳＥ１で生成した時間差分データの個数を計数して、計数した個数を取得する。ここでは、例えば、「ｔｇ２－ｔｇ１」、「ｔｇ３－ｔｇ２」、及び「ｔｇ４－ｔｇ３」等の最大値、分散、標準偏差、平均値、及び中央値として、「Ｔｍ」、「Ｔｖ」、「Ｔｓ」、及び「Ｔｍ」を取得し、また、「ｔｇ２－ｔｇ１」、「ｔｇ３－ｔｇ２」、及び「ｔｇ４－ｔｇ３」等の個数として「Ｔｎｕｍ」を取得する（これらの「Ｔｍ」等の表記は説明の便宜上のものである）。
【0103】
図１０のＳＥ３において処理部２４２は、ＳＥ１で生成した時間差分データの種類を特定する。具体的には任意であるが、例えば、図７の記録部２３のタイミング判定用モデル特定情報が特定する「タイミング判定用モデル」が、時間差分データの任意の統計値（例えば、分散）、及び時間差分データの個数が入力され、これらの入力された情報に基づいて、当該入力された情報の時間差分データが「通常通信」、「ポーズ付き通常通信」、又は「イベント通信」に対応するかを出力するモデルである場合について説明する。そして、このようなタイミング判定用モデルについては、事前に行われる任意の機械学習（例えば、公知の教師あり学習等）を行って生成されており、当該生成されたタイミング判定用モデルを特定するタイミング判定用モデルが図７の記録部２３に格納されているものとして以下説明する。
【0104】
図１０のＳＥ３においてより具体的には、例えば、図７の記録部２３のタイミング判定用モデル特定情報が特定する「タイミング判定用モデル」を取得し、また、ＳＥ２で取得した統計値である分散、及び個数を取得し、当該取得したタイミング判定用モデルに対して、これらの取得した分散及び個数を入力し、タイミング判定用モデルから出力される情報が示す種類を特定する。詳細には、タイミング判定用モデルから「通常通信」が出力された場合、時間差分データの種類を「通常通信」と特定し、また、タイミング判定用モデルから「ポーズ付き通常通信」が出力された場合、時間差分データの種類を「ポーズ付き通常通信」と特定し、また、タイミング判定用モデルから「イベント通信」が出力された場合、時間差分データの種類を「イベント通信」と特定する。
【0105】
ここでは、例えば、図７の記録部２３のタイミング判定用モデル特定情報が特定する「タイミング判定用モデル」を取得し、また、ＳＥ２で取得した分散である「Ｔｖ」、及び個数である「Ｔｎｕｍ」を取得し、当該取得したタイミング判定用モデルに対して、これらの取得した「Ｔｖ」及び「Ｔｎｕｍ」を入力して、タイミング判定用モデルから出力される情報が示す種類を特定する。
【0106】
具体例について詳細には、例えば、ＳＥ１で生成した時間差分データが「通常通信」に対応している場合、当該時間差分データの一例としては、「１．０」、「１．３」、「１．２」、「１．２」、「１．２」、「１．１」・・・（単位である「秒」は省略、以下同様）等が含まれており、これらに対応する分散及び個数をタイミング判定用モデルに入力した場合、当該タイミング判定用モデルから「通常通信」が出力され、「通常通信」を特定することになる。また、例えば、ＳＥ１で生成した時間差分データが「ポーズ付き通常通信」に対応している場合、当該時間差分データの一例としては、「１．０」、「１．３」、「１．２」、「６．２」、「１．２」、「１．１」・・・等が含まれており、これらに対応する分散及び個数をタイミング判定用モデルに入力した場合、当該タイミング判定用モデルから「ポーズ付き通常通信」が出力され、「ポーズ付き通常通信」を特定することになる。また、例えば、ＳＥ１で生成した時間差分データが「通常通信」に対応している場合、当該時間差分データの一例としては、「５．０」、「１．３」、「１．２」、「４．２」、「１．２」、「２０．１」・・・等が含まれており、これらに対応する分散及び個数をタイミング判定用モデルに入力した場合、当該タイミング判定用モデルから「イベント通信」が出力され、「イベント通信」を特定することになる。
【0107】
図１０のＳＥ４において処理部２４２は、ＳＥ１で生成した時間差分データ（つまり、１つの処理単位のデータであって、１つのデータＩＤに対応する時間情報に基づく時間差分データ）を、全て処理の対象とするか否かを判定する。具体的には任意であるが、例えば、ＳＥ３で特定した時間差分データの種類に基づいて判定する。そして、特定した時間差分データの種類が「通常通信」である場合、生成した時間差分データを全て処理の対象とするものと判定し（ＳＥ４のＹＥＳ）、リターンする。また、特定した時間差分データの種類が「通常通信」でない場合（「ポーズ付き通常通信」又は「イベント通信」である場合）、生成した時間差分データを全て処理の対象とするわけではないものと判定し（つまり、少なくとも一部の時間差分データについては処理の対象とはしないものと判定し）（ＳＥ４のＮＯ）、ＳＥ５に移行する。ここでは、例えば、ＳＥ３において「通常通信」と特定したので、生成した時間差分データを全て処理の対象とするものと判定する。
【0108】
図１０のＳＥ５において処理部２４２は、ＳＥ１で生成した時間差分データ（つまり、１つの処理単位のデータであって、１つのデータＩＤに対応する時間情報に基づく時間差分データ）を、全て処理の対象から除外するか否かを判定する。具体的には任意であるが、例えば、ＳＥ３で特定した時間差分データの種類に基づいて判定する。そして、特定した時間差分データの種類が「イベント通信」である場合、生成した時間差分データを全て処理の対象から除外するものと判定し（ＳＥ５のＹＥＳ）、リターンする。また、特定した時間差分データの種類が「イベント通信」でない場合（「ポーズ付き通常通信」である場合）、生成した時間差分データを全て処理の対象から除外するわけではないものと判定し（つまり、一部のみの時間差分データについては処理の対象とするものと判定し）（ＳＥ５のＮＯ）、ＳＥ６に移行する。
【0109】
図１０のＳＥ６において処理部２４２は、ＳＥ１で生成した時間差分データ（つまり、１つの処理単位のデータであって、１つのデータＩＤに対応する時間情報に基づく時間差分データ）の内の一部のデータを除外する。具体的には任意であるが、例えば、ＳＥ１で生成した時間差分データを取得し、取得した時間差分データにおいて、ＣＡＮ通信における通常通信が一時途切れる一時停止に対応する時間差分データを特定する任意の手法（例えば、ＤＢＳＣＡＮ （Ｄｅｎｓｉｔｙ－ｂａｓｅｄ ｓｐａｔｉａｌ ｃｌｕｓｔｅｒｉｎｇ ｏｆ ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ ｎｏｉｓｅ）等のクラスタリングの技術を用いる公知の外れ値を特定する手法（なお、前述の「ＯｎｅＣｌａｓｓＳＶＭ」を用いる手法とは異なる手法）、あるいは、単に閾値と比較する手法（一例としては、１．５秒を閾値として当該閾値以上の時間差分データを一時停止に対応する時間差分データとして特定する手法等））を用いて、一時停止に対応する時間差分データを特定し、特定した時間差分データを除外する。なお、「時間差分データを除外する」とは、以降の処理において当該除外された時間差分データを用いないことに対応する概念である。ここでは、例えば、前述のように、ＳＥ１で生成した時間差分データに「１．０」、「１．３」、「１．２」、「６．２」、「１．２」、「１．１」・・・等が含まれている場合、「６．２」を除外することになる。この後、時間差分データ生成処理をリターンする。
【0110】
図９のＳＤ５において処理部２４２は、評価用モデルを生成するか否かを判定する。具体的には任意であるが、例えば、図１０の時間差分データ生成処理において、時間差分データを全て処理の対象から除外するものと判定したか否かに基づいて判定する。そして、図１０のＳＥ５において、時間差分データを全て処理の対象から除外するものと判定した場合、処理の対象となる時間差分データが存在しないことになるので、評価用モデルを生成しないものと判定し（ＳＤ５のＮＯ）、処理を終了する。また、図１０のＳＥ５において、時間差分データを全て処理の対象から除外するわけではないものと判定した場合、処理の対象となる時間差分データが存在することになるので、評価用モデルを生成するものと判定し（ＳＤ５のＹＥＳ）、ＳＤ６に移行する。ここでは、例えば、ＳＥ１で生成した時間差分データが「通常通信」又は「ポーズ付き通常通信」に対応している場合、評価用モデルを生成するものと判定し、一方、ＳＥ１で生成した時間差分データが「イベント通信」に対応している場合、評価用モデルを生成しないものと判定することになる。
【0111】
図９のＳＤ６において処理部２４２は、評価用モデルを複数生成する。具体的には任意であるが、例えば、概略的には図４のＳＡ４の処理と同様にして生成するが、特に、機械学習のために適用するデータとして、ＳＡ４では「学習用データのペイロード情報」が用いられていたが、この図９のＳＤ６では、ＳＡ４の場合とは異なり、図１０のＳＥ１で生成した時間差分データを用いる点以外については同様にして生成する。
【0112】
ＳＤ６の処理についてより具体的には、例えば、まず、図１０のＳＥ１で生成した時間差分データを取得する。なお、図１０のＳＥ６において一部の時間差分データが除外された場合、ＳＥ１で生成した時間差分データの内の、当該除外された時間差分データ以外のデータを取得する。次に、記録部２３の不図示のモデル生成用アルゴリズムを取得し、取得したモデル生成用アルゴリズムの３個のパラメータの内の２個のパラメータについては各々任意の固定値を１個ずつ設定し、また、当該３個のパラメータの内の残りの１個のパラメータについては、１０個の値を順次設定し、前述の取得した時間差分データ（つまり、図１０のＳＥ１で生成した時間差分データ、あるいは、当該ＳＥ１で生成した時間差分データにおいて一部が除外された残りのデータ）を当該モデル生成用アルゴリズムに順次適用することにより、当該１０個の値各々に対応する評価用モデルを１個ずつ生成して、合計１０個の評価用モデルを生成する。そして、ここでは、前述の時間差分データ生成処理の各判定及びデータの除外等により、例えば、ＣＡＮ通信の所定時間間隔（例えば、１．０秒～１．５秒間隔等）で連続して行われている通信を正常であるものとして、外れ値に該当するか否かを検出する評価用モデルを生成することが可能となる。
【0113】
ここでは、例えば、ＳＥ１で生成した時間差分データが「通常通信」に対応している場合、当該時間差分データの一例としては、「１．０」、「１．３」、「１．２」、「１．２」、「１．２」、「１．１」・・・等を取得し、また、別な例としてＳＥ１で生成した時間差分データが「ポーズ付き通常通信」に対応している場合、当該時間差分データの一例としては、「１．０」、「１．３」、「１．２」、「６．２」、「１．２」、「１．１」・・・等が含まれているが、前述のようにＳＥ６で「６．２」が除外されるので、「１．０」、「１．３」、「１．２」、「１．２」、「１．１」・・・等を取得する。次に、記録部２３のモデル生成用アルゴリズムである「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」を取得し、取得した「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」の３個のパラメータである「Ｐ１」、「Ｐ２」、及び「Ｐ３」の内の２個のパラメータである「Ｐ２」、及び「Ｐ３」については各々任意の固定値を１個ずつ設定し、また、当該３個のパラメータの内の残りの１個のパラメータである「Ｐ１」については、相互に異なる１０個の値である「第１の値～第１０の値」を順次設定し、前述の取得した時間差分データを当該モデル生成用アルゴリズムに順次適用することにより、当該１０個の値各々に対応する評価用モデルを１個ずつ生成して、合計１０個の評価用モデルを生成する。より詳細には、例えば、「Ｐ１」に「第１の値」を設定した上で、（一例としては「通常通信」に対応する）時間差分データである前述の「１．０」、「１．３」、「１．２」、「１．２」、「１．２」、「１．１」・・・等を「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」に適用することにより機械学習を行って、「Ｐ１」が「第１の値」である場合の評価用モデルである図８の「ＭＴ１１－１」が特定する評価用モデルを生成する。そして、この後、「Ｐ１」に「第２の値」～「第１０の値」を設定して同様な処理を行うことにより、図８の「ＭＴ１１－３」～「ＭＴ１１－１０」が特定する評価用モデルを生成する。
【0114】
図９のＳＤ７において処理部２４２は、評価用モデルを格納する。具体的には任意であるが、例えば、図４のＳＡ５と同様な処理を行う。詳細には、図９のＳＤ３で取得した単位であるデータＩＤを特定し、また、ＳＤ６で生成した評価用モデルを取得した上で、この特定したデータＩＤ、取得した評価用モデルを特定する情報を相互に対応付けて、図８のデータＩＤ及びモデル情報として格納する。ここでは、例えば、ＳＤ３で取得した単位であるデータＩＤである「ＩＤ１１」を特定し、また、ＳＤ６で生成した評価用モデルであるが特定する評価用モデルを取得した上で、図８の「データＩＤ」＝「ＩＤ１１」、及び「モデル情報」＝「ＭＴ１１－１」～「ＭＴ１１－１０」を格納する。
【0115】
図９のＳＤ８において処理部２４２は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、図４のＳＡ６と同様な処理を行う。詳細には、ＳＤ２で分類した各グループの学習用データについて全て取得して対応する評価用モデルを生成したか否かを任意の手法で判定し、判定結果に基づいて判定する。そして、ＳＤ２で分類した各グループの学習用データについて全て取得して対応する評価用モデルを生成したわけではないものと判定した場合、処理を終了しないものと判定し（ＳＤ８のＮＯ）、ＳＤ３に移行する。また、ＳＤ２で分類した各グループの学習用データについて全て取得して対応する評価用モデルを生成したものと判定した場合、処理を終了するものと判定し（ＳＤ８のＹＥＳ）、処理を終了する。ここでは、例えば、上述の処理を繰り返し行って、ＳＤ２で分類した「データＩＤ」＝「ＩＤ１１」に対応するグループ、「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び「データＩＤ」＝「ＩＤ１３」等に対応するグループ全てについて、対応する評価用モデルが生成された場合、処理を終了するものと判定する。そして、このようにして、図８の第２モデル特定情報が生成されて格納されることになる。これにて、モデル生成処理を終了する。
【0116】
（処理‐分析処理）
次に、分析処理について説明する。「分析処理」とは、概略的には、評価用モデルを用いて分析対象データを評価する処理である。図１１は、分析処理のフローチャートである。この分析処理を実行するタイミングは任意であるが、例えば、記録部２３に分析対象データ及び第２モデル特定情報が記録された後に、入力部２１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する。
次に、分析処理について説明する。「分析処理」とは、概略的には、評価用モデルを用いて分析対象データを評価する処理である。図１１は、分析処理のフローチャートである。この分析処理を実行するタイミングは任意であるが、例えば、記録部２３に分析対象データ及び第２モデル特定情報が記録された後に、入力部２１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する。
【0117】
図１１のＳＦ１において取得部２４１は、分析対象データを取得する。具体的には任意であるが、例えば、図５のＳＢ１と同様な処理を行う。詳細には、図７の記録部２３の分析対象データ特定情報の分析対象データを取得する。ここでは、例えば、図２に示すように、行情報、時間情報、データＩＤ、及びペイロード情報が相互に関連付けられている分析対象データを取得する。
【0118】
図１１のＳＦ２において処理部２４２は、分析対象データをデータＩＤを基準に分類する。具体的には任意であるが、例えば、図９のＳＤ２と同様な処理を行う。詳細には、ＳＦ１で取得した分析対象データを取得し、当該分析対象データのデータＩＤを基準にして、同じデータＩＤが同じグループになるように分類する。ここでは、例えば、ＳＤ１で取得した分析対象データを、図２の「データＩＤ」＝「ＩＤ１１」に対応するグループ、不図示の「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び図２の「データＩＤ」＝「ＩＤ１３」に対応するグループ等に分類する。
【0119】
図１１のＳＦ３において処理部２４２は、１つの処理単位のデータを取得する。具体的には任意であるが、例えば、図９のＳＤ３と同様な処理を行う。詳細には、ＳＦ２で分類した各グループにおけるの内の未だ取得されていない１つのデータＩＤに対応するグループの分析対象データを取得する。ここでは、例えば、図２の「データＩＤ」＝「ＩＤ１１」に対応するグループの分析対象データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を取得する。
【0120】
図１１のＳＦ４において処理部２４２は、時間差分データ生成処理を実行する。ここで実行する時間差分データ生成処理については、取り扱うデータが学習用データではなく分析対象データである点を除いて、前述の図９のＳＤ４で実行する時間差分データ生成処理と同様であるので、図１０の時間差分データ生成処理の各ステップに「Ｇ」という符号を付して、概要のみ説明する。
【0121】
図１０のＳＧ１において処理部２４２は、時間差分データを複数生成する。具体的には任意であるが、例えば、図１１のＳＦ３で取得した分析対象データの連続する時間情報相互間の差分を算出することにより、時間差分データを生成する。特に、ここで生成される時間差分データについては、何れの分析対象データ相互間の時間情報の差分に対応しているかを特定できるように、時間差分データの基となる２個の分析対象データの２個の行情報と対応付けて処理部２４２によって管理されていることとする。ここでは、例えば、図２の時間情報において「ｔ２－ｔ１」、「ｔ３－ｔ２」、及び「ｔ４－ｔ３」等の演算結果を、時間差分データとする。そして、これらの「ｔ２－ｔ１」、「ｔ３－ｔ２」、及び「ｔ４－ｔ３」等については「行情報」＝「２」及び「１」、「３」及び「２」、「４」及び「３」と対応付けられて管理されていることとする。
【0122】
図１０のＳＧ２において処理部２４２は、統計値及び個数を取得する。具体的には任意であるが、例えば、ＳＧ１で生成した複数の時間差分データを取得し、取得した複数の時間差分データについて公知の統計処理を行って、当該複数の時間差分データの最大値、分散、標準偏差、平均値、及び中央値を統計値として求めて、当該求めた統計値を取得し、また、ＳＧ１で生成した時間差分データの個数を計数して、計数した個数を取得する。ここでは、例えば、「ｔ２－ｔ１」、「ｔ３－ｔ２」、及び「ｔ４－ｔ３」等の最大値、分散、標準偏差、平均値、及び中央値として、「Ｔａｍ」、「Ｔａｖ」、「Ｔａｓ」、及び「Ｔａｍ」を取得し、また、「ｔ２－ｔ１」、「ｔ３－ｔ２」、及び「ｔ４－ｔ３」等の個数として「Ｔａｎｕｍ」を取得する。
【0123】
図１０のＳＧ３において処理部２４２は、ＳＧ１で生成した時間差分データの種類を特定する。具体的には任意であるが、例えば、図７の記録部２３のタイミング判定用モデル特定情報が特定する「タイミング判定用モデル」を取得し、また、ＳＧ２で取得した統計値である分散、及び個数を取得し、当該取得したタイミング判定用モデルに対して、これらの取得した分散及び個数を入力し、タイミング判定用モデルから出力される情報が示す種類を特定する。
【0124】
ここでは、例えば、図７の記録部２３のタイミング判定用モデル特定情報が特定する「タイミング判定用モデル」を取得し、また、ＳＧ２で取得した分散である「Ｔａｖ」、及び個数である「Ｔａｎｕｍ」を取得し、当該取得したタイミング判定用モデルに対して、これらの取得した「Ｔａｖ」及び「Ｔａｎｕｍ」を入力して、タイミング判定用モデルから出力される情報が示す種類を特定する。
【0125】
図１０のＳＧ４において処理部２４２は、ＳＧ１で生成した時間差分データ（つまり、１つの処理単位のデータであって、１つのデータＩＤに対応する時間情報に基づく時間差分データ）を、全て処理の対象とするか否かを判定する。
【0126】
図１０のＳＧ５において処理部２４２は、ＳＧ１で生成した時間差分データ（つまり、１つの処理単位のデータであって、１つのデータＩＤに対応する時間情報に基づく時間差分データ）を、全て処理の対象から除外するか否かを判定する。
【0127】
図１０のＳＧ６において処理部２４２は、ＳＧ１で生成した時間差分データ（つまり、１つの処理単位のデータであって、１つのデータＩＤに対応する時間情報に基づく時間差分データ）の内の一部のデータを除外する。この後、時間差分データ生成処理をリターンする。
【0128】
図１１のＳＦ５において処理部２４２は、評価処理を実行するか否かを判定する。具体的には任意であるが、例えば、図９のＳＤ５と同様な処理を行う。詳細には、図１０の時間差分データ生成処理において、時間差分データを全て処理の対象から除外するものと判定したか否かに基づいて判定する。そして、図１０のＳＧ５において、時間差分データを全て処理の対象から除外するものと判定した場合、処理の対象となる時間差分データが存在しないことになるので、評価処理を実行しないものと判定し（ＳＦ５のＮＯ）、処理を終了する。また、図１０のＳＧ５において、時間差分データを全て処理の対象から除外するわけではないものと判定した場合、処理の対象となる時間差分データが存在することになるので、評価処理を実行するものと判定し（ＳＦ５のＹＥＳ）、ＳＦ６に移行する。ここでは、例えば、ＳＧ１で生成した時間差分データが「通常通信」又は「ポーズ付き通常通信」に対応している場合、評価処理を実行するものと判定し、一方、ＳＧ１で生成した時間差分データが「イベント通信」に対応している場合、評価処理を実行しないものと判定することになる。
【0129】
図１１のＳＦ６において処理部２４２は、評価処理を実行する。ここで実行する評価処理については、取り扱うデータが分析対象の時間差分データである点を除いて、前述の図５のＳＢ４で実行する評価処理と同様であるので、図６の評価処理の各ステップに「Ｈ」という符号を付して、概要のみ説明する。
【0130】
図６のＳＨ１において処理部２４２は、評価用モデルを選択する。具体的には任意であるが、例えば、ＳＣ１と同様の処理を行う。詳細には、図１１のＳＦ３で取得した分析対象データに対応するデータＩＤを特定し、図８の第２モデル特定情報を参照して、当該特定したデータＩＤに対応するモデル情報を取得し、取得したモデル情報が特定する評価用モデルを選択する。ここでは、例えば、図１１のＳＦ３で取得した分析対象データに対応するデータＩＤである「ＩＤ１１」を特定し、図８の第２モデル特定情報を参照して、当該特定したデータＩＤである「ＩＤ１１」に対応するモデル情報である「ＭＴ１１－１」～「ＭＴ１１－１０」を取得し、「ＭＴ１１－１」～「ＭＴ１１－１０」が特定する評価用モデルを選択する。
【0131】
図６のＳＨ２において処理部２４２は、分析対象データを評価する。具体的には任意であるが、例えば、前述したように、「評価用モデル」が、分析対象データの時間差分データが入力され、当該入力された時間差分データが、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該時間差分データが外れ値に該当する分析対象データを示す情報を出力するモデルであることに着目して、以下の処理を行う。詳細には、図１０のＳＧ１で生成した時間差分データ（なお、図１０のＳＧ６において一部の時間差分データが除外された場合、ＳＧ１で生成した時間差分データの内の、当該除外された時間差分データ以外のデータ）と、当該時間差分データの基となる各２個の分析対象データの各２個の行情報とを相互に対応付けて、図６のＳＨ１で選択した評価用モデル全てに入力し、各評価用モデルから出力される情報を取得し、取得した当該情報に基づいて、各分析対象データについて評価スコアを算出して生成する。
【0132】
ここでは、例えば、図１０のＳＧ１で生成した時間差分データである「ｔ２－ｔ１」、「ｔ３－ｔ２」、及び「ｔ４－ｔ３」等と、当該時間差分データの基となる各２個の分析対象データの各２個の行情報との組み合わせの情報である（「ｔ２－ｔ１」に対応する）「行情報」＝「２」及び「１」、（「ｔ３－ｔ２」に対応する）「行情報」＝「３」及び「２」、（「ｔ４－ｔ３」に対応する）「行情報」＝「４」及び「３」とを相互に対応付けて、図６のＳＨ１で選択した評価用モデルである図８の「ＭＴ１１－１」～「ＭＴ１１－１０」が特定する評価用モデル全てに入力し、各評価用モデルから出力される情報を取得し、取得した当該情報に基づいて、各分析対象データについて評価スコアを算出して生成する。ここでは、「ｔ２－ｔ１」（つまり、図２の「行情報」＝「２」及び「１」の差分に対応する時間差分データ）に着目して詳細に説明する。具体的には、「ｔ２－ｔ１」の時間差分データを、図８の「ＭＴ１１－１」～「ＭＴ１１－１０」が特定する１０個の評価用モデルに入力し、「ＭＴ１１－１」～「ＭＴ１１－９」が特定する９個の評価用モデルにおいて、「ｔ２－ｔ１」の時間差分データを外れ値と検出し、当該９個の評価用モデルが、「ｔ２－ｔ１」の時間差分データを示す情報（例えば、「ｔ２－ｔ１」の基となる分析対象データを特定する情報である「行情報」＝「２」及び「１」の情報）を含む情報を出力した場合、当該各分析対象データの時間差分データが入力される評価用モデルの個数である「１０個」に対する、当該各分析対象データの時間差分データを外れ値として検出した評価用モデルの個数である「９個」の割合について「９÷１０」の演算を行って「９０％」を算出し、当該算出した割合である「９０％」を、「ｔ２－ｔ１」の評価スコアとする（つまり、「行情報」＝「２」及び「１」が特定する分析対象データの時間情報の時間差分データの評価スコアとする）。そして、ここで説明した各処理が、「ｔ３－ｔ２」、及び「ｔ４－ｔ３」等の分析対象データの時間差分データについても、評価スコアが算出されることになる。
【0133】
図６のＳＨ３において処理部２４２は、分析対象データの評価結果を格納する。具体的には任意であるが、例えば、各分析対象データの時間差分データについて評価スコアを取得し、取得した評価スコアを当該評価スコアに対応する分析対象データと対応付けた状態で、記録部１３に記録する。なお、ここでは、時間差分データについては、２個の分析対象データの時間情報の差分に相当するので、前述の評価スコアを対応付ける分析対象データの候補としては２個考えられるが、両方に対応付けて記録してもよいし、あるいは、一方に対応付けて格納してもよいが、ここでは、例えば、より時間が早い方（つまり、先に通信が行わた方）の一方の分析対象データに対応付ける場合を例示して説明する。ここでは、例えば、「ｔ２－ｔ１」の評価スコア（つまり、「行情報」＝「２」及び「１」が特定する分析対象データの時間情報の時間差分データの評価スコア）である「９０％」等を取得し、取得した「９０％」と「行情報」＝「１」の分析対象データ（つまり、「ｔ２－ｔ１」の基となる分析対象データを特定する情報である「行情報」＝「２」及び「１」の内のより時間が早い方の分析データを特定する「行情報」＝「１」）とが対応付けられた情報を格納する。これにて、評価処理をリターンする。
【0134】
図１１のＳＦ７において処理部２４２は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、図５のＳＢ５と同様な処理を行う。そして、上述の処理を繰り返し行って、図１１のＳＦ２で分類した図２の「データＩＤ」＝「ＩＤ１１」に対応するグループ、不図示の「データＩＤ」＝「ＩＤ１２」に対応するグループ、及び図２の「データＩＤ」＝「ＩＤ１３」に対応するグループ等に対応するグループ全てについて、評価を行った場合、ＳＦ８に移行する。
【0135】
図１１のＳＦ８において処理部２４２は、評価結果を出力する。具体的には任意であるが、例えば、図５のＳＢ６と同様な処理を行う。詳細には、ここでは、例えば、ユーザが入力部２１を介して表示閾値スコアとして「８０％」を入力した場合、図６のＳＨ３で記録した評価結果である評価スコアの内の当該表示閾値スコア以上の評価スコアである前述の「９０％」等を選択して取得し、取得した評価スコアである「９０％」を当該評価スコアに対応する分析対象データである「行情報」＝「１」に対応付けた情報を、出力部１２のディスプレイに表示して出力する。なお、ここでは、例えば、時間差分データの基となる２個の分析対象データである「行情報」＝「１」及び「２」と対応付けた状態で「９０％」を出力するように構成してもよい。また、図１０のＳＧ６にて除外した情報が存在する場合、当該除外した情報を任意の手法（例えば、除外した情報のリストを記録部２３に記録しておき、当該リストを参照して特定する手法等）で特定し、特定した除外した情報も出力するように構成してもよい。これにて、分析処理を終了する。
【0136】
（本実施の形態の効果）
本実施の形態によれば、予め定められているタイミング判定用モデル（判定用モデル）に基づいて解析対象データ（評価関連データ）又は学習用データ（評価関連データ）をモデル生成処理（評価関連処理）及び分析処理（評価関連処理）の対象とするか否かを判定し、評価関連処理の対象とするものと判定した評価関連データに基づいて、評価関連処理を行うことにより、例えば、適切な評価関連データを用いて評価関連処理を行うことが可能となる。
本実施の形態によれば、予め定められているタイミング判定用モデル（判定用モデル）に基づいて解析対象データ（評価関連データ）又は学習用データ（評価関連データ）をモデル生成処理（評価関連処理）及び分析処理（評価関連処理）の対象とするか否かを判定し、評価関連処理の対象とするものと判定した評価関連データに基づいて、評価関連処理を行うことにより、例えば、適切な評価関連データを用いて評価関連処理を行うことが可能となる。
【0137】
また、評価対象データに含まれている時間に関する評価を行う処理を行うことにより、例えば、時間に関する評価を行うことが可能となる。
【0138】
（実施の形態３）
次に、実施の形態３について説明する。この実施の形態は、評価対象データに含まれているデータ値に関する評価を行う形態であって、複数の評価関連データを相互に関連付けて形態するである。なお、実施の形態１と同様な内容については、説明を適宜省略して、本実施の形態に特徴的な部分についてのみ詳細に説明する。
次に、実施の形態３について説明する。この実施の形態は、評価対象データに含まれているデータ値に関する評価を行う形態であって、複数の評価関連データを相互に関連付けて形態するである。なお、実施の形態１と同様な内容については、説明を適宜省略して、本実施の形態に特徴的な部分についてのみ詳細に説明する。
【0139】
（構成）
まず、本実施の形態に係る情報処理装置について説明する。図１２は、本実施の形態に係る情報処理装置を機能概念的に示すブロック図である。情報処理装置３は、処理システムであり、例えば、パーソナルコンピュータであり、一例としては、入力部３１、出力部３２、記録部３３、及び制御部３４を備える。なお、入力部２１、出力部２２は、実施の形態１の同一名称の構成と同様である。
まず、本実施の形態に係る情報処理装置について説明する。図１２は、本実施の形態に係る情報処理装置を機能概念的に示すブロック図である。情報処理装置３は、処理システムであり、例えば、パーソナルコンピュータであり、一例としては、入力部３１、出力部３２、記録部３３、及び制御部３４を備える。なお、入力部２１、出力部２２は、実施の形態１の同一名称の構成と同様である。
【0140】
（構成‐記録部）
記録部３３は、情報処理装置３の動作に必要なプログラム及び各種のデータを記録する記録手段であり、実施の形態１の記録部１３と同様に構成されており、例えば、分析対象データ特定情報、学習用データ特定情報、及び第３モデル特定情報が格納されている。
記録部３３は、情報処理装置３の動作に必要なプログラム及び各種のデータを記録する記録手段であり、実施の形態１の記録部１３と同様に構成されており、例えば、分析対象データ特定情報、学習用データ特定情報、及び第３モデル特定情報が格納されている。
【0141】
（構成‐記録部‐分析対象データ特定情報、学習用データ特定情報）
図１３は、分析対象データ特定情報を例示した図であり、図１４は、学習用データ特定情報を例示した図である。図１２の記録部３３に記録されている分析対象データ特定情報、及び学習用データ特定情報は、基本的には、実施の形態１の同一名称の情報と同様であるが、ＣＡＮ通信の所定のシーケンス（例えば、２個のデータＩＤに対応するデータを交互に通信するシーケンス等）に従って送受信されているデータを特定する場合について説明する。具体的には、例えば、図１３及び図１４に示すように、所定のシーケンスに従って、「データＩＤ」＝「ＩＤ１１」に対応するデータと「データＩＤ」＝「ＩＤ２１」に対応するデータが交互に送受信されている場合を例示して説明する。なお、実際には、この「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２１」以外にも様々なデータＩＤのデータが送受信されているが、これらについては説明を省略する。
図１３は、分析対象データ特定情報を例示した図であり、図１４は、学習用データ特定情報を例示した図である。図１２の記録部３３に記録されている分析対象データ特定情報、及び学習用データ特定情報は、基本的には、実施の形態１の同一名称の情報と同様であるが、ＣＡＮ通信の所定のシーケンス（例えば、２個のデータＩＤに対応するデータを交互に通信するシーケンス等）に従って送受信されているデータを特定する場合について説明する。具体的には、例えば、図１３及び図１４に示すように、所定のシーケンスに従って、「データＩＤ」＝「ＩＤ１１」に対応するデータと「データＩＤ」＝「ＩＤ２１」に対応するデータが交互に送受信されている場合を例示して説明する。なお、実際には、この「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２１」以外にも様々なデータＩＤのデータが送受信されているが、これらについては説明を省略する。
【0142】
（構成‐記録部‐第３モデル特定情報）
記録部３３の「第３モデル特定情報」とは、複数の評価用モデルを特定する情報であり、具体的には、複数のデータＩＤ単位でペイロード情報（つまり、データ値）について評価するためのモデルを特定する情報である。図１５は、第３モデル特定情報を例示した図である。「第３モデル特定情報」は、例えば、図１５に示すように、項目「データＩＤ」、及び項目「モデル情報」と、各項目に対応する情報とが相互に関連付けられている情報である。なお、これらの各情報は、図３の同一名称の情報と同様である。なお、本実施の形態では、「評価用モデル」が、複数の関連付けられた分析対象データが入力され、当該入力された複数の関連付けられた分析対象データにおいて、分析対象データのペイロード情報が、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該ペイロード情報が外れ値に該当する複数の関連付けられた分析対象データを示す情報を出力するモデルである場合について説明する。なお、この図１５では、データＩＤとしては、１個のデータＩＤである「ＩＤ１１」及び１個のデータＩＤである「ＩＤ２１」が相互に関連付けられていることを示す「ＩＤ１１，ＩＤ２１」等が格納されている。そして、このような第３モデル特定情報の格納手法は任意であるが、例えば、後述するモデル生成処理を実行することにより格納される。
記録部３３の「第３モデル特定情報」とは、複数の評価用モデルを特定する情報であり、具体的には、複数のデータＩＤ単位でペイロード情報（つまり、データ値）について評価するためのモデルを特定する情報である。図１５は、第３モデル特定情報を例示した図である。「第３モデル特定情報」は、例えば、図１５に示すように、項目「データＩＤ」、及び項目「モデル情報」と、各項目に対応する情報とが相互に関連付けられている情報である。なお、これらの各情報は、図３の同一名称の情報と同様である。なお、本実施の形態では、「評価用モデル」が、複数の関連付けられた分析対象データが入力され、当該入力された複数の関連付けられた分析対象データにおいて、分析対象データのペイロード情報が、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであって、当該ペイロード情報が外れ値に該当する複数の関連付けられた分析対象データを示す情報を出力するモデルである場合について説明する。なお、この図１５では、データＩＤとしては、１個のデータＩＤである「ＩＤ１１」及び１個のデータＩＤである「ＩＤ２１」が相互に関連付けられていることを示す「ＩＤ１１，ＩＤ２１」等が格納されている。そして、このような第３モデル特定情報の格納手法は任意であるが、例えば、後述するモデル生成処理を実行することにより格納される。
【0143】
（構成‐制御部）
図１２に戻って、制御部３４は、情報処理装置３を制御する制御手段であり、実施の形態１の制御部１４と同様に構成されており、例えば、機能概念的に、取得部３４１、及び処理部３４２を備える。取得部３４１、及び処理部３４２は、実施の形態１の同一名称の構成要素と同様である。なお、この制御部３４の各部の処理については、後述する。
図１２に戻って、制御部３４は、情報処理装置３を制御する制御手段であり、実施の形態１の制御部１４と同様に構成されており、例えば、機能概念的に、取得部３４１、及び処理部３４２を備える。取得部３４１、及び処理部３４２は、実施の形態１の同一名称の構成要素と同様である。なお、この制御部３４の各部の処理については、後述する。
【0144】
（処理）
続いて、本実施の形態に係る情報処理装置３によって実行される処理について説明する。具体的には、モデル生成処理、及び分析処理について説明する。
続いて、本実施の形態に係る情報処理装置３によって実行される処理について説明する。具体的には、モデル生成処理、及び分析処理について説明する。
【0145】
（処理‐モデル生成処理）
まず、モデル生成処理について説明する。「モデル生成処理」とは、概略的には、学習用データを用いて評価用モデルを生成する処理であり、例えば、図１６の第３モデル特定情報を生成して格納する処理である。図１６は、モデル生成処理のフローチャートである。
まず、モデル生成処理について説明する。「モデル生成処理」とは、概略的には、学習用データを用いて評価用モデルを生成する処理であり、例えば、図１６の第３モデル特定情報を生成して格納する処理である。図１６は、モデル生成処理のフローチャートである。
【0146】
図１６のＳＩ１において取得部３４１は、学習用データを取得する。具体的には任意であるが、例えば、図４のＳＡ１と同様な処理を行う。ここでは、例えば、図１４の学習用データ特定情報が特定する学習用データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を取得する。
【0147】
【0148】
図１６のＳＩ３において処理部３４２は、学習用データを関連付ける。具体的には任意であるが、例えば、前述の所定のシーケンス（例えば、「データＩＤ」＝「ＩＤ１１」に対応するデータと「データＩＤ」＝「ＩＤ２１」に対応するデータが交互に送受信されているシーケンス等）を示す情報が記録部３３に記録されていることとし、この情報を参照して所定のシーケンスを特定し、特定した所定のシーケンスに従って、ＳＩ２で分類した学習用データを相互に異なるデータＩＤ間で関連付ける。なお、学習用データを関連付ける手法は任意であるが、例えば、送受信されるデータが要求及び応答に対応していることとし、相互に対応する要求及び応答のデータを関連付ける手法を用いることとし、具体的には、各データＩＤの学習用データの時間情報に着目して同じ通信順番（各データＩＤ内での順番）の学習用データ同士を関連付ける手法を用いる場合について説明する。ここでは、例えば、図１４の「データＩＤ」＝「ＩＤ１１」及び「ＩＤ１２」について、「ペイロード情報」＝「Ｄｇ１１」及び「Ｄｇ２１」が通信順番が各々の学習用データにおいて１番であるので、行番号「１」及び「２」の学習用データを相互に関連付け、同様にして、行番号「３」及び「４」の学習用データ、行番号「５」及び「６」の学習用データ、行番号「７」及び「８」の学習用データを相互に関連付ける。なお、図１４では不図示であるが、「データＩＤ」＝「ＩＤ１２」、「ＩＤ２２」等に対応する学習用データも格納されていることとし、所定のシーケンスに従ってこれらのデータも交互に送受信されるものとする。この場合、これらの「データＩＤ」＝「ＩＤ１２」及び「ＩＤ２２」の学習用データについても同様にして相互に関連付ける。
【0149】
図１６のＳＩ４において処理部３４２は、１つの処理単位のデータを取得する。具体的には任意であるが、例えば、ＳＩ３で関連付けたデータＩＤの組み合わせに対応する学習用データの内の未だ取得されていないデータＩＤの組み合わせに対応する学習用データを取得する。ここでは、例えば、ＳＩ３で関連付けた「データＩＤ」＝「ＩＤ１１」及び「ＩＤ１２」に対応する学習用データを取得する。
【0150】
図１６のＳＩ５において処理部３４２は、評価用モデルを複数生成する。具体的には任意であるが、例えば、図４のＳＡ４の処理と同様な処理を行う。詳細には、例えば、記録部３３の不図示のモデル生成用アルゴリズムを取得し、取得したモデル生成用アルゴリズムのパラメータに、図４のＳＡ４で説明した場合と同様にして値を設定した上で、ＳＩ４で取得した学習用データのペイロード情報を当該モデル生成用アルゴリズムに順次適用して機械学習することにより、合計１０個の評価用モデルを生成する。なお、ここでモデル生成用アルゴリズムに適用するペイロード情報については、ＳＩ４で取得した相互に関連付けられたペイロード情報を任意の手法（例えば、８バイトの１６進数表記の各ペイロード情報をつなげる１６バイトのペイロード情報にまとめる手法等）で１つにまとめて、１つにまとめたペイロード情報を適用することとする。ここでは、例えば、図１４の「Ｄｇ１１」及び「Ｄｇ２１」をまとめたペイロード情報、「Ｄｇ１２」及び「Ｄｇ２２」をまとめたペイロード情報、「Ｄｇ１３」及び「Ｄｇ２３」をまとめたペイロード情報、「Ｄｇ１４」及び「Ｄｇ２４」をまとめたペイロード情報等を、モデル生成用アルゴリズムである「ＯｎｅＣｌａｓｓＳＶＭのアルゴリズム」に適用することにより機械学習を行って、図１５の「ＭＭ１１－１」～「ＭＭ１１－１０」が特定する評価用モデルを生成する。
【0151】
図１６のＳＩ６において処理部３４２は、評価用モデルを格納する。具体的には任意であるが、例えば、図４のＳＡ５の処理と同様な処理を行う。ここでは、例えば、図１５の「データＩＤ」＝「ＩＤ１１，ＩＤ２１」、及び「モデル情報」＝「ＭＭ１１－１」～「ＭＭ１１－１０」を格納する。
【0152】
図１６のＳＩ７において処理部３４２は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、図４のＳＡ６と同様な処理を行う。そして、このようにして、図１５の第３モデル特定情報が生成されて格納されることになる。これにて、モデル生成処理を終了する。
【0153】
（処理‐分析処理）
次に、分析処理について説明する。「分析処理」とは、概略的には、評価用モデルを用いて分析対象データを評価する処理である。図１７は、分析処理のフローチャートである。この分析処理を実行するタイミングは任意であるが、例えば、記録部３３に分析対象データ及び第３モデル特定情報が記録された後に、入力部３１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する。
次に、分析処理について説明する。「分析処理」とは、概略的には、評価用モデルを用いて分析対象データを評価する処理である。図１７は、分析処理のフローチャートである。この分析処理を実行するタイミングは任意であるが、例えば、記録部３３に分析対象データ及び第３モデル特定情報が記録された後に、入力部３１を介してユーザが所定操作を行った場合に起動を開始することとし、起動を開始したところから説明する。
【0154】
図１７のＳＪ１において取得部３４１は、分析対象データを取得する。具体的には任意であるが、例えば、図５のＳＢ１と同様な処理を行う。ここでは、例えば、図１３の分析対象データ特定情報が特定する分析対象データ（つまり、行情報、時間情報、データＩＤ、及びペイロード情報）を取得する。
【0155】
【0156】
図１７のＳＪ３において処理部３４２は、分析対象データを関連付ける。具体的には任意であるが、例えば、図１６のＳＩ３と同様にして、所定のシーケンスに従って、ＳＪ２で分類した分析対象データを相互に異なるデータＩＤ間で関連付ける。ここでは、例えば、図１３の「データＩＤ」＝「ＩＤ１１」及び「ＩＤ１２」について、「ペイロード情報」＝「Ｄ１１」及び「Ｄ２１」が通信順番が各々の分析対象データにおいて１番であるので、行番号「１」及び「２」の分析対象データを相互に関連付け、同様にして、行番号「３」及び「４」の分析対象データ、行番号「５」及び「６」の分析対象データ、行番号「７」及び「８」の分析対象データを相互に関連付ける。なお、図１３では不図示であるが、「データＩＤ」＝「ＩＤ１２」、「ＩＤ２２」等に対応する分析対象データも格納されていることとし、これらの「データＩＤ」＝「ＩＤ１２」及び「ＩＤ２２」の分析対象データについても同様にして相互に関連付ける。
【0157】
図１７のＳＪ４において処理部３４２は、１つの処理単位のデータを取得する。具体的には任意であるが、例えば、図１６のＳＩ４と同様にして、ＳＪ３で関連付けたデータＩＤの組み合わせに対応する分析対象データの内の未だ取得されていないデータＩＤの組み合わせに対応する分析対象データを取得する。ここでは、例えば、ＳＪ３で関連付けた「データＩＤ」＝「ＩＤ１１」及び「ＩＤ１２」に対応する分析対象データを取得する。
【0158】
図１７のＳＪ５において処理部３４２は、評価処理を実行する。ここで実行する評価処理については、前述の図５のＳＢ４で実行する評価処理と同様であるので、図６の評価処理の各ステップに「Ｋ」という符号を付して、概要のみ説明する。
【0159】
図６のＳＫ１において処理部３４２は、評価用モデルを選択する。具体的には任意であるが、例えば、ＳＣ１と同様の処理を行う。詳細には、図１７のＳＪ４で取得した分析対象データに対応するデータＩＤを特定し、図１５の第３モデル特定情報を参照して、当該特定したデータＩＤに対応するモデル情報を取得し、取得したモデル情報が特定する評価用モデルを選択する。ここでは、例えば、図１７のＳＪ４で取得した分析対象データに対応するデータＩＤである「ＩＤ１１」及び「ＩＤ１２」を特定し、図１５の第３モデル特定情報を参照して、当該特定したデータＩＤである「ＩＤ１１」及び「ＩＤ１２」に対応するモデル情報である「ＭＭ１１－１」～「ＭＭ１１－１０」を取得し、「ＭＭ１１－１」～「ＭＭ１１－１０」が特定する評価用モデルを選択する。
【0160】
図６のＳＫ２において処理部３４２は、分析対象データを評価する。具体的には任意であるが、ＳＣ２と同様の処理を行う。例えば、前述したように、「評価用モデル」が、複数の関連付けられた分析対象データが入力され、当該入力された複数の関連付けられた分析対象データにおいて、分析対象データのペイロード情報が、学習用データを基準にして比較的大きく外れた値である、いわゆる外れ値に該当するか否かを検出するモデルであることに着目して、以下の処理を行う。詳細には、図１７のＳＪ４で取得した分析対象データを、図６のＳＫ１で選択した評価用モデル全てに入力し、各評価用モデルから出力される情報を取得し、取得した当該情報に基づいて、各分析対象データについて評価スコアを算出して生成する。なお、ここで評価用モデルに入力する対象データのペイロード情報については、図１６のＳＩ５の場合と同様な手法で１つにまとめて、１つにまとめたペイロード情報を入力することとする。
【0161】
ここでは、例えば、図１７のＳＪ４で取得した分析対象データである図３の「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２１」に対応する分析対象データを、図６のＳＫ１で選択した評価用モデルである図１５の「ＭＭ１１－１」～「ＭＭ１１－１０」が特定する評価用モデル全てに入力し、各評価用モデルから出力される情報を取得し、取得した当該情報に基づいて、各分析対象データについて評価スコアを算出して生成する。
【0162】
図６のＳＫ３において処理部３４２は、分析対象データの評価結果を格納する。具体的には任意であるが、例えば、ＳＣ３と同様の処理を行う。例えば、各分析対象データについて評価スコアを取得し、取得した評価スコアを当該評価スコアに対応する分析対象データと対応付けた状態で、記録部１３に記録する。ここでは、例えば、図１３の「行情報」＝「１」泳ぎ「２」の分析対象データの評価スコアである「９０％」等を取得し、取得した「９０％」と「行情報」＝「１」及び「２」の分析対象データとが対応付けられた情報等を格納する。なお、この場合のペイロード情報については、前述の１つにまとめた形態で格納してもよいし、あるいは、分離された形態で格納してもよい。これにて、評価処理をリターンする。
【0163】
図１７のＳＪ６において処理部３４２は、処理を終了するか否かを判定する。具体的には任意であるが、例えば、図５のＳＢ５と同様な処理を行う。そして、図１７のＳＪ３で関連付けた分析対象データについて全て取得して評価を行った場合、ＳＪ７に移行する。
【0164】
図１７のＳＪ７において処理部３４２は、評価結果を出力する。具体的には任意であるが、例えば、図５のＳＢ６と同様な処理を行う。詳細には、ここでは、例えば、ユーザが入力部３１を介して表示閾値スコアとして「８０％」を入力した場合、図６のＳＫ３で記録した評価結果である評価スコアの内の当該表示閾値スコア以上の評価スコアである前述の「９０％」等を選択して取得し、取得した評価スコアである「９０％」を当該評価スコアに対応する分析対象データである「行情報」＝「１」及び「２」に対応付けた情報を、出力部１２のディスプレイに表示して出力する。
【0165】
（本実施の形態の効果）
本実施の形態によれば、所定の基準（通信の仕様であり、前述の所定のシーケンス）に基づいて複数の解析対象データ（評価関連データ）又は複数の学習用データ（評価関連データ）を相互に関連付け、関連付けられた複数の評価関連データに基づいて、モデル生成処理（評価関連処理）及び分析処理（評価関連処理）を行うことにより、例えば、所定の基準として評価関連データの通信仕様等の実情に即した基準を採用した場合、当該実情に即して評価関連処理を適切に行うことが可能となる。
本実施の形態によれば、所定の基準（通信の仕様であり、前述の所定のシーケンス）に基づいて複数の解析対象データ（評価関連データ）又は複数の学習用データ（評価関連データ）を相互に関連付け、関連付けられた複数の評価関連データに基づいて、モデル生成処理（評価関連処理）及び分析処理（評価関連処理）を行うことにより、例えば、所定の基準として評価関連データの通信仕様等の実情に即した基準を採用した場合、当該実情に即して評価関連処理を適切に行うことが可能となる。
【0166】
〔ＩＩＩ〕実施の形態に対する変形例
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
【0167】
（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
【0168】
（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。
【0169】
（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
【0170】
（評価結果の出力について）
また、上記実施の形態の１の図５のＳＢ６では、評価スコアを当該評価スコアに対応する分析対象データに対応付けた情報を出力する場合について説明したが、これに限らない。例えば、これらの情報に加えてその他の任意の情報を出力するように構成してもよい。例えば、この出力される評価スコア（つまり、表示閾値スコア以上の評価スコア）に対応する分析対象データにおけるペイロード情報に着目し、図２の分析対象データを参照して、当該ペイロード情報と同じペイロード情報を有する分析対象データの個数を特定し、特定した個数も出力するように構成してもよい。
また、上記実施の形態の１の図５のＳＢ６では、評価スコアを当該評価スコアに対応する分析対象データに対応付けた情報を出力する場合について説明したが、これに限らない。例えば、これらの情報に加えてその他の任意の情報を出力するように構成してもよい。例えば、この出力される評価スコア（つまり、表示閾値スコア以上の評価スコア）に対応する分析対象データにおけるペイロード情報に着目し、図２の分析対象データを参照して、当該ペイロード情報と同じペイロード情報を有する分析対象データの個数を特定し、特定した個数も出力するように構成してもよい。
【0171】
（フィードバックについて）
また、上記各実施の形態の分析処理で評価スコアが「０％」となった分析対象データを表示し、表示された当該対象データをユーザがテストエンジニア等が視認して、「許可」等の命令を入力した場合に、当該分析対象データが学習用データとして記録されるように構成してもよい。
また、上記各実施の形態の分析処理で評価スコアが「０％」となった分析対象データを表示し、表示された当該対象データをユーザがテストエンジニア等が視認して、「許可」等の命令を入力した場合に、当該分析対象データが学習用データとして記録されるように構成してもよい。
【0172】
（所定のシーケンスについて）
また、上記実施の形態３の図１６のＳＩ３及び図１７のＳＪ３で説明したデータの関連付けについては、例えば、図１２の記録部３３に当該関連付ける基準となる基準情報として、相互に関連付けるべきデータＩＤの組み合わせを示す情報がユーザからの入力によって記録されていることとし、この基準情報を参照して当該基準情報に沿ってデータの関連付けを行うように構成してもよい。一例としては、「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２１」を関連付け、また、「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２２」を関連付ける等の基準情報が記録されており、この基準情報に基づいてデータの関連付けを行うように構成してもよい。なお、ここで相互に関連付けるデータＩＤの個数は２個に限らず、通信の使用に基づいて、１個の要求に対して２個機能からの応答が予測される場合等には、３個のデータＩＤを相互に関連付けるように構成してもよく、通信の実情等を考慮して任意に変更してもよい。
また、上記実施の形態３の図１６のＳＩ３及び図１７のＳＪ３で説明したデータの関連付けについては、例えば、図１２の記録部３３に当該関連付ける基準となる基準情報として、相互に関連付けるべきデータＩＤの組み合わせを示す情報がユーザからの入力によって記録されていることとし、この基準情報を参照して当該基準情報に沿ってデータの関連付けを行うように構成してもよい。一例としては、「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２１」を関連付け、また、「データＩＤ」＝「ＩＤ１１」及び「ＩＤ２２」を関連付ける等の基準情報が記録されており、この基準情報に基づいてデータの関連付けを行うように構成してもよい。なお、ここで相互に関連付けるデータＩＤの個数は２個に限らず、通信の使用に基づいて、１個の要求に対して２個機能からの応答が予測される場合等には、３個のデータＩＤを相互に関連付けるように構成してもよく、通信の実情等を考慮して任意に変更してもよい。
【0173】
（組み合わせについて）
また、各実施の形態及び変形例の技術を任意に組み合わせてもよい。例えば、１つの情報処理システムにおいて、実施の形態１～３の処理を全て、あるいは、ユーザからの命令を受け付けて選択的に実行するように構成してもよい。
また、各実施の形態及び変形例の技術を任意に組み合わせてもよい。例えば、１つの情報処理システムにおいて、実施の形態１～３の処理を全て、あるいは、ユーザからの命令を受け付けて選択的に実行するように構成してもよい。
【0174】
（付記）
付記１の処理システムは、評価対象データの評価に用いられる複数の評価用モデルを用いて行われる前記評価対象データの評価に関連する処理である評価関連処理を行う処理システムであって、評価関連データを取得する取得手段と、前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、を備える。
付記１の処理システムは、評価対象データの評価に用いられる複数の評価用モデルを用いて行われる前記評価対象データの評価に関連する処理である評価関連処理を行う処理システムであって、評価関連データを取得する取得手段と、前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、を備える。
【0175】
付記２の処理システムは、付記１に記載の処理システムにおいて、前記処理手段は、前記取得手段が取得した前記評価関連データの属性単位で、前記評価関連処理を行う。
【0176】
付記３の処理システムは、付記１又は２に記載の処理システムにおいて、前記処理手段は、所定の基準に基づいて、前記取得手段が取得した複数の前記評価関連データを相互に関連付け、関連付けられた複数の前記評価関連データに基づいて、前記評価関連処理を行う。
【0177】
付記４の処理システムは、付記１から３の何れか一項に記載の処理システムにおいて、前記処理手段は、予め定められている判定用モデルに基づいて、前記取得手段が取得した前記評価関連データを前記評価関連処理の対象とするか否かを判定し、前記評価関連処理の対象とするものと判定した前記評価関連データに基づいて、前記評価関連処理を行う。
【0178】
付記５の処理システムは、付記１から４の何れか一項に記載の処理システムにおいて、前記取得手段は、前記複数の評価用モデルを生成するための教師データを、前記評価関連データとして取得し、前記処理手段は、前記取得手段が取得した前記教師データと、前記複数の評価用モデルを生成するための機械学習用の所定のアルゴリズムとに基づいて、機械学習により前記複数の評価用モデルを生成する処理を前記評価関連処理として行う。
【0179】
付記６の処理システムは、付記５に記載の処理システムにおいて、前記所定のアルゴリズムは、複数のパラメータを有しており、前記処理手段は、前記複数のパラメータの内の一部のパラメータの値を変更することにより、前記複数の評価用モデルを生成する。
【0180】
付記７の処理システムは、付記１から４の何れか一項に記載の処理システムにおいて、前記取得手段は、前記評価対象データを、前記評価関連データとして取得し、
前記処理手段は、前記取得手段が取得した前記評価対象データと、前記複数の評価用モデルとに基づいて、前記評価対象データを評価する処理を前記評価関連処理として行う。
前記処理手段は、前記取得手段が取得した前記評価対象データと、前記複数の評価用モデルとに基づいて、前記評価対象データを評価する処理を前記評価関連処理として行う。
【0181】
付記８の処理システムは、付記７に記載の処理システムにおいて、前記処理手段は、前記取得手段が取得した前記評価対象データを、前記複数の評価用モデル各々を用いて評価し、前記複数の評価用モデル各々を用いて行われた各評価の結果を示す評価結果情報を生成する処理を前記評価関連処理として行う。
【0182】
付記９の処理システムは、付記７又は８に記載の処理システムにおいて、前記処理手段は、前記評価対象データに含まれているデータ値に関する評価を行う処理、又は、前記評価対象データに含まれている時間に関する評価を行う処理を前記評価関連処理として行う。
【0183】
付記１０の処理プログラムは、評価対象データに対応付けられている複数の評価用モデルを用いて前記評価対象データの評価に関連する処理である評価関連処理を行う処理プログラムであって、コンピュータを、評価関連データを取得する取得手段と、前記取得手段が取得した前記評価関連データに基づいて、前記評価関連処理を行う処理手段と、として機能させる。
【0184】
（付記の効果）
付記１に記載の処理システム、及び付記１０に記載の処理プログラムによれば、複数の評価用モデルを用いて行われる評価に関連する評価関連処理を行うことにより、例えば、複数の評価用モデルを用いて行われる評価対象データの評価を行うことができるので、評価対象データの評価の精度を向上させることが可能となる。
付記１に記載の処理システム、及び付記１０に記載の処理プログラムによれば、複数の評価用モデルを用いて行われる評価に関連する評価関連処理を行うことにより、例えば、複数の評価用モデルを用いて行われる評価対象データの評価を行うことができるので、評価対象データの評価の精度を向上させることが可能となる。
【0185】
付記２に記載の処理システムによれば、評価関連データの属性単位で評価関連処理を行うことにより、例えば、同様な属性を有する評価関連データ単位で評価関連処理を行うことができるので、評価関連処理を効率的且つ適切に行うことが可能となる。
【0186】
付記３に記載の処理システムによれば、所定の基準に基づいて複数の評価関連データを相互に関連付け、関連付けられた複数の評価関連データに基づいて、評価関連処理を行うことにより、例えば、所定の基準として評価関連データの通信仕様等の実情に即した基準を採用した場合、当該実情に即して評価関連処理を適切に行うことが可能となる。
【0187】
付記４に記載の処理システムによれば、予め定められている判定用モデルに基づいて評価関連データを評価関連処理の対象とするか否かを判定し、評価関連処理の対象とするものと判定した評価関連データに基づいて、評価関連処理を行うことにより、例えば、適切な評価関連データを用いて評価関連処理を行うことが可能となる。
【0188】
付記５に記載の処理システムによれば、教師データと機械学習用の所定のアルゴリズムとに基づいて、機械学習により複数の評価用モデルを生成する処理を行うことにより、例えば、複数の評価用モデルを適切に生成することが可能となる。
【0189】
付記６に記載の処理システムによれば、複数のパラメータの内の一部のパラメータの値を変更することにより、複数の評価用モデルを生成することにより、例えば、複数の評価用モデルをより適切に生成することが可能となる。
【0190】
付記７に記載の処理システムによれば、評価対象データと複数の評価用モデルとに基づいて、評価対象データを評価する処理を行うことにより、例えば、評価対象データの評価精度を向上させることが可能となる。
【0191】
付記８に記載の処理システムによれば、評価対象データを複数の評価用モデル各々を用いて評価し、複数の評価用モデル各々を用いて行われた各評価の結果を示す評価結果情報を生成する処理を行うことにより、例えば、複数の評価用モデル各々を用いて行った評価対象データの評価の結果を適切に示すことが可能となる。
【0192】
付記９に記載の処理システムによれば、評価対象データに含まれているデータ値に関する評価を行う処理、又は、評価対象データに含まれている時間に関する評価を行う処理を行うことにより、例えば、データ値に関する評価、及び時間に関する評価を行うことができるので、評価対象データに対して様々な評価を行うことが可能となる。
【符号の説明】
【0193】
１ 情報処理装置
２ 情報処理装置
３ 情報処理装置
１１ 入力部
１２ 出力部
１３ 記録部
１４ 制御部
２１ 入力部
２２ 出力部
２３ 記録部
２４ 制御部
３１ 入力部
３２ 出力部
３３ 記録部
３４ 制御部
１４１ 取得部
１４２ 処理部
２４１ 取得部
２４２ 処理部
３４１ 取得部
３４２ 処理部
２ 情報処理装置
３ 情報処理装置
１１ 入力部
１２ 出力部
１３ 記録部
１４ 制御部
２１ 入力部
２２ 出力部
２３ 記録部
２４ 制御部
３１ 入力部
３２ 出力部
３３ 記録部
３４ 制御部
１４１ 取得部
１４２ 処理部
２４１ 取得部
２４２ 処理部
３４１ 取得部
３４２ 処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】