ホーム > 特許ランキング > 株式会社Ｃｉｔａｄｅｌ ＡＩ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022138997
(43)【公開日】2022-09-26
(54)【発明の名称】ファイヤーウォール装置、プログラム及び情報処理方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20220915BHJP
【ＦＩ】
G06N20/00
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021039193
(22)【出願日】2021-03-11
(11)【特許番号】
(45)【特許公報発行日】2022-02-17
(71)【出願人】
【識別番号】521030168
【氏名又は名称】株式会社Ｃｉｔａｄｅｌ ＡＩ
(74)【代理人】
【識別番号】110001139
【氏名又は名称】ＳＫ弁理士法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】ソン ケニー イジョ
(57)【要約】
【課題】機械学習済みの情報処理装置に対して、外部から妥当性でないデータが入力されることを防ぐ。
【解決手段】機械学習サーバーのファイヤーウォールとして機能する情報処理装置であって、入力データ検査部と出力データ検査部を備え、前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、前記入力データ分析部は、前記機械学習サーバーに入力される入力データの分析を行い、前記入力データ選別部は、前記入力データから妥当性の低いデータを選別し、前記出力データ分析部は、前記機械学習サーバーから出力される出力データの分析を行い、前記出力データ選別部は、前記出力データから妥当性の低いデータを選別する、情報処理装置が提供される。
【選択図】図４
【解決手段】機械学習サーバーのファイヤーウォールとして機能する情報処理装置であって、入力データ検査部と出力データ検査部を備え、前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、前記入力データ分析部は、前記機械学習サーバーに入力される入力データの分析を行い、前記入力データ選別部は、前記入力データから妥当性の低いデータを選別し、前記出力データ分析部は、前記機械学習サーバーから出力される出力データの分析を行い、前記出力データ選別部は、前記出力データから妥当性の低いデータを選別する、情報処理装置が提供される。
【選択図】図４
【特許請求の範囲】
【請求項1】
機械学習サーバーのファイヤーウォールとして機能する情報処理装置であって、
入力データ検査部と出力データ検査部を備え、
前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、
前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、
前記入力データ分析部は、前記機械学習サーバーに入力される入力データの分析を行い、
前記入力データ選別部は、前記入力データから妥当性の低いデータを選別し、
前記出力データ分析部は、前記機械学習サーバーから出力される出力データの分析を行い、
前記出力データ選別部は、前記出力データから妥当性の低いデータを選別する、情報処理装置。
入力データ検査部と出力データ検査部を備え、
前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、
前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、
前記入力データ分析部は、前記機械学習サーバーに入力される入力データの分析を行い、
前記入力データ選別部は、前記入力データから妥当性の低いデータを選別し、
前記出力データ分析部は、前記機械学習サーバーから出力される出力データの分析を行い、
前記出力データ選別部は、前記出力データから妥当性の低いデータを選別する、情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
出力データ分析部は、前記入力データと前記出力データに基づいて、当該出力データの分析を行う、情報処理装置。
出力データ分析部は、前記入力データと前記出力データに基づいて、当該出力データの分析を行う、情報処理装置。
【請求項3】
請求項１または請求項２に記載の情報処理装置であって、
前記出力データ選別部は、前記入力データと前記出力データに基づいて、前記出力データから妥当性の低いデータを選別する、情報処理装置。
前記出力データ選別部は、前記入力データと前記出力データに基づいて、前記出力データから妥当性の低いデータを選別する、情報処理装置。
【請求項4】
請求項１～請求項３のいずれか１項に記載の情報処理装置であって、
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記入力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記入力データの選別を行う、情報処理装置。
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記入力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記入力データの選別を行う、情報処理装置。
【請求項5】
請求項１～請求項３のいずれか１項に記載の情報処理装置であって、
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記出力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記出力データの選別を行う、情報処理装置。
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記出力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記出力データの選別を行う、情報処理装置。
【請求項6】
請求項４または請求項５に記載の情報処理装置であって、
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記入力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とに基づいて、前記入力データの分析を行う、情報処理装置。
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記入力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とに基づいて、前記入力データの分析を行う、情報処理装置。
【請求項7】
請求項４または請求項５に記載の情報処理装置であって、
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記出力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とにさらに基づいて、前記出力データの分析を行う、情報処理装置。
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記出力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とにさらに基づいて、前記出力データの分析を行う、情報処理装置。
【請求項8】
コンピュータを、機械学習サーバーのファイヤーウォールとして機能させるプログラムであって、
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記機械学習サーバーから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記出力データから妥当性の低いデータを選別させる、プログラム。
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記機械学習サーバーから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記出力データから妥当性の低いデータを選別させる、プログラム。
【請求項9】
コンピュータを、機械学習サーバーのファイヤーウォールとして機能させる情報処理方法であって、
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記機械学習サーバーから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記出力データから妥当性の低いデータを選別させる、情報処理方法。
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記機械学習サーバーから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記出力データから妥当性の低いデータを選別させる、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
近年、機械学習を行う情報処理装置について、セキュリティを確保するための技術が開発されている。例えば、特許文献１には、機械学習済モデルを使用するロボットコントローラが機械学習済モデルを使用する使用権限を有しているか否かを問い合わせ、使用権限を有している場合に当該機械学習済モデルを使用可能な状態とする機械学習モデル管理システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１３８２９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、機械学習済みモデルを含む情報処理装置に対して、外部から妥当でないデータが入力されるおそれがある。妥当でないデータは、例えば、機械学習済みモデルを攻撃または抽出するための悪意のあるデータが考えられる。また、ユーザの誤操作によって混入したエラーデータが考えられる。また、機械学習時には入力データとしてふさわしかったが、社会情勢などの変化により、機械学習済みモデルを利用する際には、入力データに対して何らかの手当てが必要となったデータも考えられる。このような場合には、上記特許文献１の技術では対応することができない。
【0005】
本発明は、機械学習済みの情報処理装置に対して、外部から妥当でないデータが入力されることを防ぐことである。
【課題を解決するための手段】
【0006】
機械学習サーバーのファイヤーウォールとして機能する情報処理装置であって、入力データ検査部と出力データ検査部を備え、前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、前記入力データ分析部は、前記機械学習サーバーに入力される入力データの分析を行い、前記入力データ選別部は、前記入力データから妥当性の低いデータを選別し、前記出力データ分析部は、前記機械学習サーバーから出力される出力データの分析を行い、前記出力データ選別部は、前記出力データから妥当性の低いデータを選別する、情報処理装置が提供される。
【0007】
このような構成を備えることにより、機械学習済みの情報処理装置に対して、外部から妥当でないデータが入力されることを防ぐことができる。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る情報処理装置１００の概要を示す図である。
【図2】第１実施形態に係る情報処理装置１００のハードウェア構成を示すブロック図である。
【図3】第１実施形態に係る情報処理装置１００の機能構成を示すブロック図である。
【図4】学習フェーズにおける情報処理装置１００の処理の流れを説明するシーケンス図である。
【図5】提供フェーズにおける情報処理装置１００の処理の流れを説明するシーケンス図である。
【図6】入力データ分析処理（ステップＳ１３０）の流れを説明するフロー図である。
【図7】入力データ選別処理（ステップＳ１４０）の流れを説明するフロー図である。
【図8】出力データ分析処理（ステップＳ１９０）の流れを説明するフロー図である。
【図9】出力データ選別処理（ステップＳ２００）の流れを説明するフロー図である。
【図10】情報処理装置１００のトップ画面の一例を示す図である。
【図13】他の実施形態に係る情報処理装置１００の概要を示す図である。
【図14】他の実施形態に係る情報処理装置１００の機能構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明のいくつかの実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
【0010】
＜１．第１実施形態＞
（１－１．情報処理装置１００）
本発明の一実施形態に係る情報処理装置１００は、図１に示すような機械学習サーバーを提供する。情報処理装置１００は、ファイヤーウォール２０と機械学習サーバー３０を備える。
（１－１．情報処理装置１００）
本発明の一実施形態に係る情報処理装置１００は、図１に示すような機械学習サーバーを提供する。情報処理装置１００は、ファイヤーウォール２０と機械学習サーバー３０を備える。
【0011】
情報処理装置１００は、例えばインターネットなどのネットワークＮと接続され、外部端末Ｆと通信可能に構成されている。ユーザＵは、外部端末Ｆを操作することにより、機械学習サーバー３０に対して複数の学習データ（以下、学習データセットともいう）を送信して、機械学習を実行させる。
【0012】
さらに、ユーザＵは外部端末Ｆを操作して、機械学習を実行した後の機械学習サーバー３０に入力データを送信することにより、リクエスト（入力データ）に対するレスポンス（出力データ）を機械学習サーバー３０に生成させ、当該レスポンスを受信する。
【0013】
ファイヤーウォール２０は、外部端末Ｆから受信するリクエストおよび機械学習サーバー３０が生成するレスポンスが妥当性の低いデータであるか否かを検査する。妥当性の低いデータであると判断されたリクエストは、機械学習サーバー３０に入力されないか、あるいは何らかのアラートをあげてオペレータに確認させる。また、妥当性の低いデータであると判断されたレスポンスは、外部端末Ｆに送信されないか、あるいは何らかのアラートをあげてオペレータに確認させる。このように、ファイヤーウォール２０によって、機械学習サーバー３０のセキュリティが確保されている。以下、各構成の機能を詳細に説明する。
【0014】
（１－２．情報処理装置１００のハードウェア構成）
図２を参照し、情報処理装置１００のハードウェア構成を説明する。
図２を参照し、情報処理装置１００のハードウェア構成を説明する。
【0015】
（１ー２ー１．情報処理装置１００のハードウェア構成）
図２は、情報処理装置１００のハードウェア構成を示すブロック図の一例である。情報処理装置１００は、制御部１１、記憶部１２、通信部１３を備える。また、情報処理装置１００は、キーボード及びマウス等で構成されて各種操作の入力を受け付ける操作入力部１４、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ１５を備えていてもよい。
図２は、情報処理装置１００のハードウェア構成を示すブロック図の一例である。情報処理装置１００は、制御部１１、記憶部１２、通信部１３を備える。また、情報処理装置１００は、キーボード及びマウス等で構成されて各種操作の入力を受け付ける操作入力部１４、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ１５を備えていてもよい。
【0016】
制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、情報処理装置１００の全体の動作を制御する。
【0017】
記憶部１２の一部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されており、制御部１１による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。また、記憶部１２の一部は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種データ及び制御部１１の処理に利用されるプログラム等を保存する。
【0018】
記憶部１２に記憶されるプログラムは、例えば、情報処理装置１００の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、各種機能を実現するためのプログラム等であって、本実施形態に係るコンピュータプログラムを含む。
【0019】
通信部１３は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、ネットワークＮに接続する機能を有する。なお、通信部１３は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。情報処理装置１００は、ネットワークＮを介して外部端末Ｆ等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行うことができる。
【0020】
これら制御部１１、記憶部１２、通信部１３、操作入力部１４、及びモニタ１５は、システムバス１６を介して相互に電気的に接続されている。従って、制御部１１は、記憶部１２へのアクセス、モニタ１５に対する画像の表示、ユーザＵによる操作入力部１４に対する操作状態の把握、及び通信部１３を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。
【0021】
（１－３．情報処理装置１００の機能構成）
図３に示すように、情報処理装置１００の制御部１１は、ファイヤーウォール２０と、機械学習サーバー３０を備える。ファイヤーウォール２０は、入力データ検査部２１と、出力データ検査部２５を含む。
図３に示すように、情報処理装置１００の制御部１１は、ファイヤーウォール２０と、機械学習サーバー３０を備える。ファイヤーウォール２０は、入力データ検査部２１と、出力データ検査部２５を含む。
【0022】
入力データ検査部２１は、入力データ分析部２２と、入力データ選別部２３を有する。入力データ分析部２２は、機械学習サーバー３０に入力されるリクエストの分析を行う。入力データ選別部２３は、リクエストから妥当性の低いデータを選別する。
【0023】
出力データ検査部２５は、出力データ分析部２６と、出力データ選別部２７を有する。出力データ分析部２６は、機械学習サーバーから出力されるレスポンスの分析を行う。出力データ選別部２７は、レスポンスから妥当性の低いデータを選別する。各機能の詳細は後述する。
【0024】
上述した機能構成は、情報処理装置１００に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御部１１がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。
【0025】
当該プログラムは、情報処理装置１００が内蔵する記憶部１２に格納してもよく、コンピュータが読み取り可能な非一時的な記録媒体に格納してもよい。もしくは、外部の記憶装置に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。また、ハードウェアによって実現する場合、ＡＳＩＣ、ＳＯＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。
【0026】
（１－４．情報処理装置１００の処理の流れ）
図４および図５を参照し、情報処理装置１００の処理の流れを説明する。図４は、機械学習サーバー３０の学習時（以下、学習フェーズともいう）における処理の流れを示す。
図４および図５を参照し、情報処理装置１００の処理の流れを説明する。図４は、機械学習サーバー３０の学習時（以下、学習フェーズともいう）における処理の流れを示す。
【0027】
図４に示すように、ステップＳ０１０において、機械学習を実行するオペレータは端末Ｆ１から学習データセットを情報処理装置１００に送信する。ステップＳ０２０において、機械学習サーバー３０は、学習データセットを受信する。
【0028】
ステップＳ０３０において、機械学習サーバー３０は、受信した学習データセットを用いて機械学習を実行して学習済モデルを生成する。なお、本実施形態では、教師ありデータ学習を想定しているが、この形態に限定されることはない。ステップＳ０４０において、機械学習サーバー３０は、学習が完了した通知を端末Ｆ１へ送信する。ステップＳ０５０において、端末Ｆ１は、学習が完了した通知を受信する。なお、機械学習に用いた学習データセットの情報は、履歴情報として記憶部１２に記憶される。
【0029】
図５は、機械学習サーバー３０のサービス提供時（以下、提供フェーズともいう）における処理の流れを示す。
【0030】
図５に示すように、ステップＳ１１０において、機械学習サーバーを利用するユーザは端末Ｆ２からリクエストを情報処理装置１００に送信する。ステップＳ１２０において、ファイヤーウォール２０は、リクエストを受信する。なお、ファイヤーウォール２０が受信したリクエストの情報は、履歴情報として記憶部１２に記憶される。
【0031】
ステップＳ１３０において、ファイヤーウォール２０は、受信したリクエストに対して入力データ分析処理を行う。ステップＳ１４０において、ファイヤーウォール２０は、入力データ選別処理を行う。
【0032】
ステップＳ１５０において、機械学習サーバー３０は、妥当なリクエストを受け付ける。ステップＳ１６０において、機械学習サーバー３０は、リクエストに対するレスポンスを生成する。ステップＳ１７０において、機械学習サーバー３０は、レスポンスをファイヤーウォール２０へ出力する。
【0033】
ステップＳ１８０において、ファイヤーウォール２０は、レスポンスを受け付ける。ステップＳ１９０において、ファイヤーウォール２０は、受け付けたレスポンスに対して出力データ分析処理を行う。ステップＳ２００において、ファイヤーウォール２０は、出力データ選別処理を行う。ステップＳ２１０において、端末Ｆ２は、妥当なレスポンスを受信する。
【0034】
図６を参照し、入力データ分析処理（ステップＳ１３０）について説明する。入力データ分析処理では、入力データ分析部２２は、記憶部１２に記憶されているリクエストの履歴情報と、学習データセットの履歴情報とに基づいて、リクエストの分析を行う。また、入力データ分析部２２は、必要に応じて、リクエストおよび／または学習データセットの履歴についての統計データ（特許請求の範囲においける「履歴に関する情報」に含まれるデータ）を算出して、分析処理に用いてもよい。
【0035】
ステップＳ１３１において、入力データ分析部２２は、受信したリクエストの統計処理を行う。入力データ分析部２２は、リクエストの平均値または分散値などの統計値を算出する。
【0036】
ステップＳ１３２において、入力データ分析部２２は、通信量の分析処理を行う。入力データ分析部２２は、例えば、リクエストがどのぐらいの情報量で、どの地域から送信されているかを分析する。また、入力データ分析部２２は、リクエストを発信した端末の情報、リクエストを発信した端末のОＳ（Ｏｐｅｒａｔｉｏｎ Ｓｙｔｓｔｅｍ）に関する情報、リクエストを発信した端末におけるブラウザの情報を分析してもよい。
【0037】
図７を参照し、入力データ選別処理（ステップＳ１４０）について説明する。入力データ選別処理では、入力データ選別部２３は、記憶部１２に記憶されている学習データセットの履歴情報に基づいて、リクエストの選別を行う。また、入力データ選別部２３は、必要に応じて、学習データセットの履歴についての統計データを算出して、選別処理に用いてもよい。
【0038】
ステップＳ１４１において、入力データ選別部２３は、未知なリクエストの選別を行う。入力データ選別部２３は、学習フェーズにおける学習データセットの履歴情報と比較して、リクエストの学習データセットの分布からのずれを評価する。分布からのずれが所定の閾値を超えた場合に、当該リクエストを妥当性の低い入力データと判断してステップＳ１４５を行う。
【0039】
ステップＳ１４２において、入力データ選別部２３は、スキーマの評価を行う。入力データ選別部２３は、リクエストの属性値を学習データセットの履歴情報に基づいて評価する。属性値が所定の閾値を超えた場合に、当該リクエストを妥当性の低い入力データと判断してステップＳ１４５を行う。
【0040】
ステップＳ１４３において、入力データ選別部２３は、モデルエクストラクション攻撃の検出を行う。入力データ選別部は、データ入力の頻度、データの分布などに基づいて、当該リクエストがモデルエクストラクション攻撃だと判断した場合に、当該リクエストを妥当性の低い入力データと判断してステップＳ１４５を行う。
【0041】
ステップＳ１４４において、入力データ選別部２３は、リクエストが妥当であると判断して、当該リクエストを機械学習サーバー３０へ出力する。
【0042】
図８を参照し、出力データ分析処理（ステップＳ１９０）について説明する。出力データ分析処理では、出力データ分析部２６は、端末Ｆ２が送信したリクエストと機械学習サーバー３０が生成したレスポンスに基づいて、当該レスポンスの分析を行う。また、出力データ分析部２６は、必要に応じて、過去の学習データセット、リクエスト、あるいは新たにファイヤーウォールが生成したリクエストに対する機械学習サーバーからのレスポンス、並びにそれらの履歴についての情報を取得し、取得したデータから統計データを算出して、選別処理に用いてもよい。
【0043】
ステップＳ１９１において、出力データ分析部２６は、レスポンスの理由付けを行う。出力データ分析部２６は、当該レスポンスを生成した際の特徴量の貢献度を評価して、なぜそのレスポンスが生成されたかの理由付けを行う。
【0044】
ステップＳ１９２において、出力データ分析部２６は、レスポンスの統計を行う。出力データ分析部２６は、レスポンスの平均値または分散値などの統計値を算出する。
【0045】
図９を参照し、出力データ選別処理（ステップＳ２００）について説明する。出力データ選別処理では、出力データ選別部２７は、リクエストおよびレスポンスの選別を行う。また、出力データ選別部２７は、必要に応じて、リクエストおよび／または学習データセットの履歴についての統計データを算出して、選別処理に用いてもよい。
【0046】
ステップＳ２０１において、出力データ選別部２７は、アドバーサリアルインプットの検出を行う。アドバーサリアルインプットとは、機械学習済みモデルを意図的に錯乱させるために悪意のあるリクエストのことである。出力データ選別部２７は、アドバーサリアルインプットであると判断した場合に、当該レスポンスを妥当性の低い入力データと判断してステップＳ２０４を行う。
【0047】
ステップＳ２０２において、出力データ選別部２７は、未知なレスポンスの選別を行う。出力データ選別部２７は、学習フェーズにおける学習データセットの履歴情報と比較して、レスポンスの学習データセットの分布からのずれを評価する。分布からのずれが所定の閾値を超えた場合に、当該レスポンスを妥当性の低い入力データと判断してステップＳ２０４を行う。
【0048】
ステップＳ２０３において、出力データ選別部２７は、妥当なレスポンスを端末Ｆ２へ出力する。ステップＳ２０４において、出力データ選別部２７は、妥当性の低い入力データを摘出する。
【0049】
このような処理を行うことにより、本実施形態における情報処理装置１００では、械学習モデルの入出力の妥当性を検査することにより、機械学習サーバーに固有のリスクに備えることができるとともに、機械学習サーバーにおける入出力の過程を可視化することにつながり、学習して生成した機械学習モデル品質および信頼性を確保することが可能となる。合わせて、機械学習サーバーの入出力の判断基準を可視化することもできる。
【0050】
【0051】
図１０は、情報処理装置１００のトップ画面の一例を示す図である。図１０の状態確認エリアＤ１～Ｄ３には、情報処理装置１００に接続されている機械学習サーバーとして、サーバー１からサーバー３の状態が表示されている。ここで、ステータスアイコンＳ１～Ｓ３には、「正常」、「要確認」、「異常」の何れかの表示がされる。情報処理装置１００のオペレータは、「要確認」または「異常」となっている機械学習サーバーについて、入出力データの詳細を確認することができる。
【0052】
図１１Ａは、リクエストの統計処理（ステップＳ１３１）の画面の一例を示す図である。図１１Ａでは、領域Ｒ１として学習データの分布（すなわち、特徴量ごとのデータ数）が示され、領域Ｒ２としてリクエストの分布が示されている。オペレータは、領域Ｒ１およびＲ２を比較することにより、リクエストが学習データから乖離していないかを確認し、妥当性を評価することができる。
【0053】
図１１Ｂは、通信分析処理（ステップＳ１３２）の画面の一例を示す図である。図１１Ｂでは、日ごとのリクエスト数の変化が示されている。オペレータは、日ごとのリクエスト数の変化を確認することにより、極端にリクエスト数が増減するようなケースを検知して、当該リクエストの妥当性を判断することができる。
【0054】
図１２Ａは、スキーマの評価処理（ステップＳ１４２）の画面の一例を示す図である。図１２Ａには、リクエストに含まれる特徴量ごとの値を確認することができる。また、特徴量ごとに閾値を予め設定しておき、当該閾値を超える値の場合には、エラーメッセージ（またはアラート）を挙げる仕様としてもよい。例えば、「特徴量２の値－０．１は、期待される値の範囲である０～１から外れています」などのメッセージを挙げてもよい。
【0055】
図１２Ｂは、レスポンスの理由付け処理（ステップＳ１９１）の画面の一例を示す図である。図１２Ｂでは、レスポンスを算出した際の特徴量の重みづけ係数が表示されている。このような重みづけ係数を確認することにより、オペレータは、当該レスポンスの妥当性を評価することができる。
【0056】
＜２．その他の実施形態＞
以上、本発明における実施形態及びその変形例について説明したが、本開示の適用は上述の内容に限定されるものではない。
以上、本発明における実施形態及びその変形例について説明したが、本開示の適用は上述の内容に限定されるものではない。
【0057】
例えば、ファイヤーウォール２０が実施する入力データ分析処理（ステップＳ１３０）、入力データ選別処理（ステップＳ１４０）、出力データ分析処理（ステップＳ１９０）、出力データ選別処理（ステップＳ２００）の具体的な処理の内容は、上記実施形態に限定されるものではない。オペレータは必要に応じて、独自に開発したアルゴリズムや既存のアルゴリズムを用いて、リクエストおよびレスポンスの妥当性を確認するための処理を追加及び変更することができる。
【0058】
また、上記実施形態では、入力データ分析処理、入力データ選別処理、出力データ分析処理、出力データ選別処理は、時系列に沿って行われていたが、この形態に限定されるものではない。例えば、入力データ分析処理と入力データ選別処理を並行して行い、出力データ分析処理と出力データ選別処理を並行して行うような形態でもよい。ただし、この場合、入力データ分析処理の結果を、入力データ選別処理で用いたり、出力データ分析処理の結果を、出力データ選別処理で用いたりすることが好ましい。
【0059】
また、上記実施形態では、各機能を情報処理装置１００が備える態様について説明したが、一部の機能を他の情報処理装置に実装してもよい。例えば、図１３および図１４に示すように、ファイヤーウォール２０と機械学習サーバー３０を異なる情報処理装置に実装し、有線又は無線で通信可能に接続され、実質的に１つの情報処理装置として機能するものを含んでもよい。
【0060】
また、上記実施形態では、外部端末Ｆと情報処理装置１００は、ネットワークＮと接続されているが、当該ネットワークＮは、インターネット以外の任意のＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。例えば、外部端末Ｆと情報処理装置１００を直接ＬＡＮケーブルで接続する形態であってもよい。
【0061】
また、上記実施形態とは異なる実装方法で、本願発明を実現してもよい。例えば、シリコンチップを用いてスマートフォンやスマートウォッチなどのウェアラブル端末、カーナビ、自動車に搭載される自動運転システムなどに実装してもよい。
【0062】
さらに、本発明は、上述のファイヤーウォール２０の機能を実現させるためのプログラムとして実現してもよい。
【0063】
さらに、本発明は、当該プログラムを格納する、コンピュータ読み取り可能な非一時的な記録媒体として実現してもよい。
【0064】
以上、本発明に係る種々の実施形態を説明したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0065】
１１：制御部、１２：記憶部、１３：通信部、１４：操作入力部、１５：モニタ、１６：システムバス、２０：ファイヤーウォール、２１：入力データ検査部、２２：入力データ分析部、２３：入力データ選別部、２５：出力データ検査部、２６：出力データ分析部、２７：出力データ選別部、３０：機械学習サーバー、１００：情報処理装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2021-08-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
機械学習サーバーのファイヤーウォールとして機能するファイヤーウォール装置であって、
入力データ検査部と出力データ検査部を備え、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、
前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、
前記入力データ分析部は、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの分析を行い、
前記入力データ選別部は、前記提供フェーズにおいて、前記入力データから妥当性の低いデータを選別し、
前記出力データ分析部は、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの分析を行い、
前記出力データ選別部は、前記提供フェーズにおいて、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
入力データ検査部と出力データ検査部を備え、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、
前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、
前記入力データ分析部は、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの分析を行い、
前記入力データ選別部は、前記提供フェーズにおいて、前記入力データから妥当性の低いデータを選別し、
前記出力データ分析部は、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの分析を行い、
前記出力データ選別部は、前記提供フェーズにおいて、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
【請求項2】
請求項１に記載のファイヤーウォール装置であって、
前記出力データ分析部は、前記入力データと前記出力データに基づいて、当該出力データの分析を行う、ファイヤーウォール装置。
前記出力データ分析部は、前記入力データと前記出力データに基づいて、当該出力データの分析を行う、ファイヤーウォール装置。
【請求項3】
請求項１または請求項２に記載のファイヤーウォール装置であって、
前記出力データ選別部は、前記入力データと前記出力データに基づいて、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
前記出力データ選別部は、前記入力データと前記出力データに基づいて、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
【請求項4】
請求項１～請求項３のいずれか１項に記載のファイヤーウォール装置であって、
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記入力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記入力データの選別を行う、ファイヤーウォール装置。
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記入力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記入力データの選別を行う、ファイヤーウォール装置。
【請求項5】
請求項１～請求項３のいずれか１項に記載のファイヤーウォール装置であって、
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記出力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記出力データの選別を行う、ファイヤーウォール装置。
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記出力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記出力データの選別を行う、ファイヤーウォール装置。
【請求項6】
請求項４または請求項５に記載のファイヤーウォール装置であって、
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記入力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とに基づいて、前記入力データの分析を行う、ファイヤーウォール装置。
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記入力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とに基づいて、前記入力データの分析を行う、ファイヤーウォール装置。
【請求項7】
請求項４または請求項５に記載のファイヤーウォール装置であって、
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記出力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とにさらに基づいて、前記出力データの分析を行う、ファイヤーウォール装置。
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記出力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とにさらに基づいて、前記出力データの分析を行う、ファイヤーウォール装置。
【請求項8】
コンピュータを、機械学習サーバーのファイヤーウォールとして機能させるプログラムであって、
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記出力データから妥当性の低いデータを選別させる、プログラム。
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記出力データから妥当性の低いデータを選別させる、プログラム。
【請求項9】
コンピュータを、機械学習サーバーのファイヤーウォールとして機能させる情報処理方法であって、
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記出力データから妥当性の低いデータを選別させる、情報処理方法。
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記出力データから妥当性の低いデータを選別させる、情報処理方法。
【手続補正書】
【提出日】2021-11-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
機械学習サーバーのファイヤーウォールとして機能するファイヤーウォール装置であって、
入力データ検査部と出力データ検査部を備え、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、
前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、
前記入力データ分析部は、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの統計処理を行うことで、当該入力データの分析を行い、
前記入力データ選別部は、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記入力データの前記学習データセットの分布からのずれを評価することで、前記入力データから妥当性の低いデータを選別し、
前記出力データ分析部は、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの統計処理を行うことで、当該出力データの分析を行い、
前記出力データ選別部は、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記出力データの前記学習データセットの分布からのずれを評価することで、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
入力データ検査部と出力データ検査部を備え、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査部は、入力データ分析部と入力データ選別部を含み、
前記出力データ検査部は、出力データ分析部と出力データ選別部を含み、
前記入力データ分析部は、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの統計処理を行うことで、当該入力データの分析を行い、
前記入力データ選別部は、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記入力データの前記学習データセットの分布からのずれを評価することで、前記入力データから妥当性の低いデータを選別し、
前記出力データ分析部は、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの統計処理を行うことで、当該出力データの分析を行い、
前記出力データ選別部は、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記出力データの前記学習データセットの分布からのずれを評価することで、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
【請求項2】
請求項１に記載のファイヤーウォール装置であって、
前記出力データ分析部は、前記入力データと前記出力データに基づいて、当該出力データの分析を行う、ファイヤーウォール装置。
前記出力データ分析部は、前記入力データと前記出力データに基づいて、当該出力データの分析を行う、ファイヤーウォール装置。
【請求項3】
請求項１または請求項２に記載のファイヤーウォール装置であって、
前記出力データ選別部は、前記入力データと前記出力データに基づいて、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
前記出力データ選別部は、前記入力データと前記出力データに基づいて、前記出力データから妥当性の低いデータを選別する、ファイヤーウォール装置。
【請求項4】
請求項１～請求項３のいずれか１項に記載のファイヤーウォール装置であって、
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記入力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記入力データの選別を行う、ファイヤーウォール装置。
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記入力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記入力データの選別を行う、ファイヤーウォール装置。
【請求項5】
請求項１～請求項３のいずれか１項に記載のファイヤーウォール装置であって、
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記出力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記出力データの選別を行う、ファイヤーウォール装置。
記憶部をさらに備え、
前記記憶部は、前記機械学習サーバーの学習時における入力データである学習データの履歴に関する情報を記憶し、
前記出力データ選別部は、前記学習データの履歴に関する情報にさらに基づいて、前記出力データの選別を行う、ファイヤーウォール装置。
【請求項6】
請求項４または請求項５に記載のファイヤーウォール装置であって、
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記入力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とに基づいて、前記入力データの分析を行う、ファイヤーウォール装置。
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記入力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とに基づいて、前記入力データの分析を行う、ファイヤーウォール装置。
【請求項7】
請求項４または請求項５に記載のファイヤーウォール装置であって、
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記出力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とにさらに基づいて、前記出力データの分析を行う、ファイヤーウォール装置。
前記記憶部は、前記入力データの履歴に関する情報をさらに記憶し、
前記出力データ分析部は、前記入力データの履歴に関する情報と前記学習データの履歴に関する情報とにさらに基づいて、前記出力データの分析を行う、ファイヤーウォール装置。
【請求項8】
コンピュータを、機械学習サーバーのファイヤーウォールとして機能させるプログラムであって、
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの統計処理を行うことで、当該入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記入力データの前記学習データセットの分布からのずれを評価することで、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの統計処理を行うことで、当該出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記出力データの前記学習データセットの分布からのずれを評価することで、前記出力データから妥当性の低いデータを選別させる、プログラム。
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの統計処理を行うことで、当該入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記入力データの前記学習データセットの分布からのずれを評価することで、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの統計処理を行うことで、当該出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記出力データの前記学習データセットの分布からのずれを評価することで、前記出力データから妥当性の低いデータを選別させる、プログラム。
【請求項9】
コンピュータを、機械学習サーバーのファイヤーウォールとして機能させる情報処理方法であって、
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの統計処理を行うことで、当該入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記入力データの前記学習データセットの分布からのずれを評価することで、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの統計処理を行うことで、当該出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記出力データの前記学習データセットの分布からのずれを評価することで、前記出力データから妥当性の低いデータを選別させる、情報処理方法。
入力データ検査ステップと出力データ検査ステップを、前記コンピュータに実行させ、
前記機械学習サーバーは、学習データセットにより機械学習を実行して学習済みモデルを生成する学習フェーズにおいて予め生成された前記学習済みモデルを有し、
前記入力データ検査ステップは、入力データ分析ステップと入力データ選別ステップを含み、
前記出力データ検査ステップは、出力データ分析ステップと出力データ選別ステップを含み、
前記入力データ分析ステップでは、前記学習フェーズの後にユーザの入力による前記学習済みモデルの出力を前記ユーザに提供する提供フェーズにおいて、前記ユーザにより前記機械学習サーバーに入力される入力データの統計処理を行うことで、当該入力データの分析を行わせ、
前記入力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記入力データの前記学習データセットの分布からのずれを評価することで、前記入力データから妥当性の低いデータを選別させ、
前記出力データ分析ステップでは、前記提供フェーズにおいて、前記入力データにより前記学習済みモデルから出力される出力データの統計処理を行うことで、当該出力データの分析を行わせ、
前記出力データ選別ステップでは、前記提供フェーズにおいて、前記学習データセットの履歴情報と比較して前記出力データの前記学習データセットの分布からのずれを評価することで、前記出力データから妥当性の低いデータを選別させる、情報処理方法。