特開 2023-25861 モデル抽出攻撃検知装置、リモート認可制御システム、モデル抽出攻撃検知方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023025861

(43)【公開日】2023-02-24

(54)【発明の名称】モデル抽出攻撃検知装置、リモート認可制御システム、モデル抽出攻撃検知方法、及びプログラム

(51)【国際特許分類】

   G06F 21/62 20130101AFI20230216BHJP

   G06F 21/55 20130101ALI20230216BHJP

   G06N 20/00 20190101ALI20230216BHJP

   G06F 16/2458 20190101ALI20230216BHJP

【ＦＩ】

G06F21/62

G06F21/55

G06N20/00

G06F16/2458

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021131268

(22)【出願日】2021-08-11

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】奥田 哲矢

(72)【発明者】

【氏名】三浦 尭之

(72)【発明者】

【氏名】長谷川 聡

(72)【発明者】

【氏名】岩花 一輝

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175FB04

(57)【要約】

【課題】エッジＡＩ環境のようなメモリ量の少ない環境でもモデル抽出攻撃の検知を行うことを可能とする。
【解決手段】セキュア領域を有するモデル抽出攻撃検知装置であって、前記セキュア領域上に機械学習モデルと分析部を備え、前記分析部は、ユーザからのクエリと、当該クエリに対する前記機械学習モデルによる推論結果とに基づいて、前記クエリの情報量を算出し、前記情報量の分布に基づいて、モデル抽出攻撃の有無を判定する。
【選択図】図１７

【特許請求の範囲】

【請求項1】

セキュア領域を有するモデル抽出攻撃検知装置であって、
前記セキュア領域上に機械学習モデルと分析部を備え、
前記分析部は、ユーザからのクエリと、当該クエリに対する前記機械学習モデルによる推論結果とに基づいて、前記クエリの情報量を算出し、前記情報量の分布に基づいて、モデル抽出攻撃の有無を判定する
モデル抽出攻撃検知装置。

【請求項2】

前記分析部は、前記分布の平均が閾値よりも大きく、かつ、前記分布の分散が閾値よりも小さい場合に、モデル抽出攻撃有りであると判定する
請求項１に記載のモデル抽出攻撃検知装置。

【請求項3】

請求項１又は２に記載の前記モデル抽出攻撃検知装置と、リソース管理装置と、認証装置とを備えるリモート認可制御システムであって、
前記モデル抽出攻撃検知装置が、前記認証装置から、前記モデル抽出攻撃検知装置における前記セキュア領域上にアクセス制御リスト、及び、前記分析部に相当するプログラムをダウンロードし、
前記モデル抽出攻撃検知装置が、前記リソース管理装置から、前記セキュア領域上に前記機械学習モデルのステートをダウンロードし、
前記モデル抽出攻撃検知装置が、ユーザから前記機械学習モデルの利用要求を受信した場合に、前記アクセス制御リストに基づいて、前記ユーザによる前記機械学習モデルの利用可否を判断し、利用可であり、かつ、前記分析部によりモデル抽出攻撃をしていないと判定される場合に、前記機械学習モデルを前記ユーザに利用させる
リモート認可制御システム。

【請求項4】

前記認証装置は、初期登録時に、前記ユーザのユーザＩＤと、前記セキュア領域のＩＤとを紐付けて登録し、
前記ユーザによる前記機械学習モデルの要求時において、前記ユーザから送信されたユーザＩＤと、前記モデル抽出攻撃検知装置から取得した前記セキュア領域のＩＤとが登録情報として登録されているか否かを確認することにより、不正の有無を判断する
請求項３に記載のリモート認可制御システム。

【請求項5】

セキュア領域を有するモデル抽出攻撃検知装置が実行するモデル抽出攻撃検知方法であって、
前記セキュア領域上に機械学習モデルと分析部が備えられ、
前記分析部が、ユーザからのクエリと、当該クエリに対する前記機械学習モデルによる推論結果とに基づいて、前記クエリの情報量を算出し、前記情報量の分布に基づいて、モデル抽出攻撃の有無を判定する
モデル抽出攻撃検知方法。

【請求項6】

コンピュータを、請求項１又は２に記載の前記モデル抽出攻撃検知装置における分析部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＴＥＥ上で実行されるＤＮＮ（Deep Neural Network）に対するモデル抽出攻撃への対策に関連するものである。

【背景技術】

【0002】

近年、ＡＩ（特にＤＮＮ）のサービス活用が非常に活発である。各社は独自のＤＮＮを開発することでサービス競争を行っているため、ＤＮＮのステートやパラメータを改ざんや漏洩から守ることはビジネスの上で非常に重要である。

【0003】

そこで、ＤＮＮをＴＥＥ（Trusted Execution Environment）上で安全に実行する技術が知られている（非特許文献１）。ＴＥＥにより、データを外部に漏洩させないセキュア領域を実現でき、ＴＥＥ上でＤＮＮを実行することで、ＤＮＮの情報が直接的に外部に漏洩することを防止できる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】A. Gangal, M. Ye and S. Wei, "HybridTEE: Secure Mobile DNN Execution Using Hybrid Trusted Execution Environment," 2020 Asian Hardware Oriented Security and Trust Symposium (AsianHOST), Kolkata, India, 2020, pp. 1-6, doi: 10.1109/AsianHOST51057.2020.9358260.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記の従来技術では、ＤＮＮに対するクエリの制限は行っていないため、クエリとレスポンスのみから元モデルを復元するモデル抽出攻撃(Model Extraction/Stealing)によるモデルの詐取を防げないという課題があった。

【0006】

モデル抽出攻撃は、現状１０＾４程度と非常に多いクエリ数が必要であり、クラウドＡＩ等ではレート制限等によるアクセス制御で対策が可能である。しかし、エッジＡＩ等では、純粋なアクセス制御のみでは対策ができない。また、研究の進展によりモデル抽出攻撃に必要なクエリ数が減少することも予想されるため、今後大きな脅威になる可能性がある。特に、システム管理者の手を離れたエッジＡＩ環境においては、メモリ量が少ないこともあり、従来技術ではモデル抽出攻撃の検知及び対策が難しい。

【0007】

本発明は上記の点に鑑みてなされたものであり、エッジＡＩ環境のようなメモリ量の少ない環境でもモデル抽出攻撃の検知を行うことを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

開示の技術によれば、セキュア領域を有するモデル抽出攻撃検知装置であって、
前記セキュア領域上に機械学習モデルと分析部を備え、
前記分析部は、ユーザからのクエリと、当該クエリに対する前記機械学習モデルによる推論結果とに基づいて、前記クエリの情報量を算出し、前記情報量の分布に基づいて、モデル抽出攻撃の有無を判定する
モデル抽出攻撃検知装置が提供される。

【発明の効果】

【0009】

開示の技術によれば、エッジＡＩ環境のようなメモリ量の少ない環境でもモデル抽出攻撃の検知を行うことが可能となる。

【図面の簡単な説明】

【0010】

【図1】実施例１のシステム構成図である。

【図2】実施例１のシーケンス図である。

【図3】モデル抽出攻撃を説明するための図である。

【図4】モデル抽出攻撃の検知方法を説明するための図である。

【図5】モデル抽出攻撃の検知方法を説明するための図である。

【図6】モデル抽出攻撃の検知方法を説明するための図である。

【図7】モデル抽出攻撃の検知方法を説明するための図である。

【図8】モデルサービス提供装置１０の構成図である。

【図9】実施例２におけるシステム構成図である。

【図10】リソースアクセス装置の構成図である。

【図11】リソース管理装置の構成図である。

【図12】認証装置の構成図である。

【図13】実施例２における具体的なシステム構成図である。

【図14】実施例２におけるシーケンス図である。

【図15】実施例２におけるシーケンス図である。

【図16】実施例２におけるシーケンス図である。

【図17】実施例２におけるシーケンス図である。

【図18】装置のハードウェア構成図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0012】

（実施の形態の概要）
ＯＳとは独立してクリティカルな処理を安全に実行できる機能であるＴＥＥ(Trusted Execution Environment)が近年のマシンには含まれている。当該マシンには、サーバ等の他、スマートフォン等の端末も含まれている。

【0013】

ＴＥＥ機能を持つマシンは、データを外部に漏洩させないセキュア領域（これをＥｎｃｌａｖｅと呼んでもよい）を有する。特に、Ｉｎｔｅｌ（登録商標）のＳＧＸ等のＴＥＥにおいては、セキュア領域内で正しいプログラムが動作していることをセキュア領域外（例えば、マシンと通信する遠隔のユーザやサーバ等）に対して保証する仕組み（リモートアテステーション）が備えられている。なお、本実施の形態で使用する「リモートアテステーション」は、Ｉｎｔｅｌ（登録商標）のＳＧＸにおける仕組みを想定しているが、これに限定されるわけではなく、同様の機能を持つ仕組みであればどのようなものを使用してもよい。

【0014】

本実施の形態では、リモートアテステーションによる認証の後に、ＡＣＬ（各リソースに対するユーザのアクセス可否を記述したリスト）、モデル抽出攻撃検知のための分析を行うプログラム（「分析機能」と呼ぶ）、及びリソースがＴＥＥのセキュア領域内にダウンロードされる。

【0015】

本実施の形態では、上記リソースはＤＮＮのステート（パラメータと呼んでもよい）である。ＴＥＥ上のＡＣＬによりリソース利用可と判断され、かつ、モデル抽出攻撃をしていないと判断されれば、ユーザからのＤＮＮ利用が可能になる。

【0016】

モデル抽出攻撃検知のための分析機能に関しては、上記のＴＥＥ環境が、メモリ量の少ないエッジ環境（例：基地局の近くに設置されたＭＥＣサーバ等）に置かれる場合でも、モデル抽出攻撃を検知することが可能である。

【0017】

本実施の形態におけるモデル抽出攻撃検知のための分析機能に関しては、ＴＥＥ環境に限らずに使用することが可能である。以下、まず、モデル抽出攻撃検知のための分析機能を実施例１として説明し、その後に、上述したＴＥＥ環境のアクセス制御の下で、モデル抽出攻撃検知のための分析機能を用いる場合の例を実施例２として説明する。

【0018】

（実施例１：モデル抽出攻撃検知のための分析機能について）
図１に、実施例１におけるシステム構成例を示す。図１に示すように、本システムでは、モデルサービス提供装置１０、及び端末３０がネットワーク２０に説明されている。なお、モデルサービス提供装置１０を「モデル抽出攻撃検知装置」と呼んでもよい。モデルサービス提供装置１０は、例えばエッジ環境に備えられるサーバである。端末３０は、ＰＣやスマートフォン等のユーザが使用する一般的な端末である。

【0019】

モデルサービス提供装置１０は、ＤＮＮを備える。実施例１ではＴＥＥ環境に限定されないが、モデルサービス提供装置１０がＴＥＥ環境を備え、ＴＥＥ環境上でＤＮＮが動作することとしてもよい。また、ＤＮＮは機械学習モデルの一例である。

【0020】

図２に示すように、モデルサービス提供装置１０は、端末３０からクエリを受信し（Ｓ１０１）、クエリに対するＤＮＮによる推論結果（分類結果等）をレスポンスとして端末３０に返す（Ｓ１０２）。

【0021】

悪意のある端末３０は、上記のクエリとレスポンスを利用して、モデルサービス提供装置１０におけるＤＮＮ（モデル）の情報（パラメータ等）を抽出するモデル抽出攻撃を行う。

【0022】

図３を参照して、モデル抽出攻撃の例を説明する。「参考文献１：[HKT+2020] Yu, H., Yang, K., Zhang, T., Tsai, Y. Y., Ho, T. Y., & Jin, Y. Cloudleak: Large-scale deep learning models stealing through adversarial examples. NDSS 2020.」、「参考文献２： [JSD+2019] M. Juuti, S. Szyller, A. Dmitrenko, S. Marchal, and N. Asokan. PRADA: protecting against DNN model stealing attacks. IEEE Euro S&P, 2019」に記載のように、被害者モデル（攻撃対象のモデル）の境界付近（分類の境界付近）のデータを用いることにより、効率よくモデルの情報を盗むことが可能であることが知られている。分類の境界付近のデータは攻撃者によって意図的に作成可能である。

【0023】

図３に示すように、攻撃者は、予測したモデルから分類の境界付近のクエリを作成し、被害者モデルにクエリを送信することで推論結果をレスポンスとして得る（Ｓ２）。このクエリと推論結果に基づき学習を行って、モデルを更新する（Ｓ３）。これにより、被害者モデルを直接的に盗むことなく、被害者モデルと同等の海賊版モデルを作成することができる。

【0024】

＜モデル抽出攻撃検知の課題＞
上記のような攻撃のためのクエリのデータ分布は、正規のデータ分布から外れた異常なデータ分布となるため、クエリのデータ分布を基に攻撃を検知することが可能である（参考文献２：[JSD+2019]）。

【0025】

しかし、クエリのデータ分布を調べるためには、クエリ自体を一定数保存する必要があるため、ＴＥＥ環境やエッジ環境等のようにメモリ量が少ない環境で実現することが難しい。

【0026】

また、決定木モデルで攻撃者のクエリの情報量を計算し、一定の情報量を得た場合に攻撃であると判断する技術も知られている（参考文献３：[KMA+2018] M.Kesarwani, B.Mukhoty, V.Arya, and S.Mehta. 2018. Model Extraction Warning in MLaaS Paradigm. ACSAC 2018.）。

【0027】

上記の手法でも、クエリそのものを保存しており、ＴＥＥ環境やエッジ環境等のようにメモリ量が少ない環境で実現することが難しい。

【0028】

＜提案手法＞
本実施の形態におけるモデルサービス提供装置１０は、以下で説明する手法により、クエリ自身を保存することなく、モデル抽出攻撃を検知することが可能である。そのため、メモリ量が少ない環境でも実現可能である。

【0029】

モデルサービス提供装置１０は、モデルの出力結果である確信度を利用する。図４に示すように、攻撃に使用される分類の境界付近のクエリによる出力結果の確信度は低く、また、クラス間の確信度の差が小さい。確信度の低いクエリにより、攻撃者はより多くのモデルの情報を得ることができる。

【0030】

モデルサービス提供装置１０は、クエリとレスポンスから得られる確信度から、攻撃者が得るエントロピー（情報量と呼んでもよい）を計算する。より具体的には、一般的な方法で、クエリとレスポンスから検知用の決定木を学習して、決定木におけるエントロピー（情報量）を計算する。決定木からエントロピーを計算すること自体は参考文献３：[KMA+2018]に開示されている。すなわち、下記の式により、エントロピーを計算する。

【0031】

Ｅｎｔｒｏｐｙ（ｙ）＝‐Σ^ｋ _ｉ＝１ｙ_ｉｌｏｇ（ｙ_ｉ）
「Σ^ｋ _ｉ＝１ｙ_ｉｌｏｇ（ｙ_ｉ）」は、「ｙ_ｉｌｏｇ（ｙ_ｉ）」をｉ＝１～ｋだけ足し合わせる計算である。ｙ＝ｆ（ｘ）は確信度である。ｙ_ｉは、クエリｘがクラスｉである確信度（確率）である。

【0032】

ｘが分類の境界付近となるデータである場合、確信度は小さくなるため、Ｅｎｔｒｏｐｙ（ｙ）は大きくなる。

【0033】

本実施の形態では、モデルサービス提供装置１０は、多くのクエリ‐レスポンスのペアを用いてエントロピーの分布を得て、当該分布からモデル抽出攻撃の有無を判断する。そのため、既存手法（参考文献３：[KMA+2018]）のようにクエリそのものを保存する必要がないので、メモリ量を削減できる。

【0034】

つまり、Ｍ次元クエリを保存した場合にはＯ（ｍ）のオーダーの量になるのに対し、エントロピーを保存した場合にはＯ（１）のオーダーの量になり、メモリ量を大幅に削減することができる。

【0035】

具体的には、例えば、図５のＡに示すように、エントロピーの分布の平均が一定値より大きく、分散が一定値より小さい場合に、モデル抽出攻撃有であると判断する。また、正常なクエリ群（ａ）とモデル抽出攻撃（ｂ）とを比較した図６の例においては、（ｂ）における点線の○で囲んだ部分の分布が異常な分布に相当する。

【0036】

また、モデルサービス提供装置１０は、図７に示すような混合ガウス分布クラスタリングにより判定を行ってもよい。

【0037】

これは、あるデータがどのガウス分布に属するかを推定する手法であり、クラスタ数を指定し、クラスタ毎のガウス分布の平均μと標準偏差σを計算する。平均μと標準偏差σに閾値を設定し、例えば、平均が閾値より大きく、標準偏差が閾値より小さい分布のデータを異常なガウス分布としてクラスタリングされたデータであると判断し、そのデータをモデル抽出攻撃のデータであると判定する。

【0038】

＜モデルサービス提供装置１００の構成例＞
図８に、モデルサービス提供装置１０の構成例を示す。図７に示すように、モデルサービス提供装置１０は、モデル１１、クエリカウント部１２、クエリエントロピー分析部１３、判定部１４を有する。クエリエントロピー分析部を「分析部」と呼んでもよい。モデル１１は、クエリに対して推論結果（レスポンス）を返すＤＮＮである。

【0039】

クエリカウント部１２は、端末３０から受信するクエリの回数を計測し、回数が予め定めた閾値を超えた場合に、異常（モデル抽出攻撃）であると判定する。なお、閾値と比較するクエリの回数は、所定の時間内での回数であってもよい。

【0040】

クエリエントロピー分析部１３は、クエリと、ＤＮＮ１１による推論結果とに基づいて、前述したクエリエントロピーを算出し、クエリエントロピーの分布を計算し、分布に基づいて、モデル抽出攻撃の検知を行う。例えば、前述したように、分布の平均が閾値よりも大きく、分散が閾値よりも小さい場合に、異常（モデル抽出攻撃）であると判定する。

【0041】

なお、上記の閾値との比較判定は、判定部１４が行うこととしてもよい。また、判定部１９０が、クエリ回数が閾値を超え、かつ、「分布の平均が閾値よりも大きく、分散が閾値よりも小さい」ことを検知した場合に、異常（モデル抽出攻撃）であると判定してもよい。また、クエリ回数の条件を用いずに、「分布の平均が閾値よりも大きく、分散が閾値よりも小さい」ことを検知した場合に、異常（モデル抽出攻撃）であると判定してもよい。また、クエリエントロピーを用いずに、クエリ回数が閾値を超えた場合に、異常（モデル抽出攻撃）であると判定してもよい。

【0042】

上記の処理において、モデルサービス提供装置１０において保存しておく情報は、クエリ自体ではなく、クエリ回数やクエリエントロピー（情報量）の分布の情報であるので、消費されるメモリ量は小さい。

【0043】

上記の判定処理により、異常（モデル抽出攻撃）が検知された場合に、例えば判定部１４が、モデル抽出攻撃を行っている端末３０からのアクセスを遮断するなどの対策を実行する。

【0044】

（実施例２）
デジタルコンテンツの利用可否を制御する技術として、ＤＲＭ（Digital Rights Management）やアクセス制御リスト（ＡＣＬ（Access Control List））によるアクセス制御が知られている。

【0045】

従来のＡＣＬによるアクセス制御では、ユーザがリソースを使用する際にアクセス制御リストなどを用いてアクセス可否を判定し、許可されている場合、サーバからユーザ端末にリソースをダウンロードして利用する。そのため、ダウンロード待ち時間が長くなる問題があった。

【0046】

実施例２においては、上記の点に鑑みて、従来技術よりも安全でかつ利用時の待ち時間を短縮できるリソースの利用可否制御技術（リモート認可制御システム）を採用するとともに、その技術の中で、実施例１で説明したモデル抽出攻撃検知の技術を使用する。

【0047】

＜実施例２：システム構成＞
図９に、実施例２におけるリモート認可制御システムの構成例を示す。図９に示すように、実施例２におけるリモート認可制御システムは、リソースアクセス装置１００、リソース管理装置２００、認証装置３００、ユーザ端末４００を有し、それぞれネットワークに接続されている。リソースアクセス装置を「モデル抽出攻撃検知装置」と呼んでもよい。

【0048】

また、リソースアクセス装置１００、リソース管理装置２００、認証装置３００をそれぞれ、「Local Authorization & Resource Server」、「Central Resource Server」、「Central Authorization Server」と呼んでもよい。

【0049】

リソースアクセス装置１００、リソース管理装置２００、認証装置３００はそれぞれ、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。なお、リソースアクセス装置１００は、ネットワークのエッジ、あるいはユーザが存在するローカルのネットワーク上等に設置されることを想定している。つまり、リソースアクセス装置１００はエッジＡＩ環境に相当する。

【0050】

リソースアクセス装置１００はＴＥＥを有する装置であり、認証装置３００からＡＣＬ及び分析機能（例：クエリエントロピー分析部に相当するプログラム）をダウンロードし、ＴＥＥのセキュア領域上においてＡＣＬ、分析機能を管理するとともに、ＡＣＬ及びモデル抽出攻撃検知結果を用いたリソースアクセス制御を実行する。また、リソースアクセス装置１００は、ＴＥＥの環境において、ＤＮＮ（Deep Neural Network）等の任意のアプリケーションを実行することができる。

【0051】

リソース管理装置２００は、リソースの管理を行う。認証装置３００は、認証処理を行うとともに、ＡＣＬ、分析機能を管理し、ＡＣＬ、分析機能の発行制御等を行う。ユーザ端末４００は、ＰＣ、スマートフォン等のブラウザを備える一般的な端末である。

【0052】

（実施例２：装置の機能構成例）
図１０に、リソースアクセス装置１００の機能構成例を示す。図９に示すように、リソースアクセス装置１００は、セキュア領域１１０、通信部１２０、データ格納部１３０、データ処理部１４０を有する。

【0053】

セキュア領域１１０は、前述したＥｎｃｌａｖｅであり、機密性が保たれた保護領域である。この中のデータやプログラムについては、外部からその内容を知ることができない。セキュア領域１１０の外部では、通常のデータ格納、データ処理（プログラム実行）、送受信を行うことが可能である。

【0054】

セキュア領域１１０内では機密性を保ったままデータ格納、データ処理（プログラムの実行）が可能である。図１０には、セキュア領域１１０内でこれらを行う機能部として、セキュアデータ格納部１１１、セキュア処理部１１２が示されている。後述するように、セキュア領域１１０においてアプリケーション１６０、ＤＮＮ、分析機能等が実行される。また、セキュア領域１１０の外ではアプリケーション１５０が実行される。

【0055】

セキュア領域１１０自体は既存技術により実現可能である。セキュア領域１１０を実現する既存技術としてどのような技術を使用してもよい。例えば、メインのＣＰＵやメモリとはハードウェア的に独立した別チップとしてセキュア領域１１０を実現してもよいし、暗号技術・認証技術を活用してソフトウェア的にセキュア領域１１０を実現してもよい。ソフトウェア的にセキュア領域１１０を実現する技術として、例えば、前述したＳＧＸがあり、本実施の形態では一例としてＳＧＸを使用することを想定している。

【0056】

本実施の形態におけるセキュア領域１１０は、リソースアクセス装置１００において、ホストアプリケーション（セキュア領域外で動作するアプリケーション）からの命令により動的に起動（生成）される隔離された実行環境である。

【0057】

図１１に、リソース管理装置２００の機能構成図を示す。図１１に示すように、リソース管理装置２００は、認証処理部２１０、リソース制御部２２０、リソース格納部２３０を有する。認証処理部２１０は、セキュア領域１１０に対するリモートアテステーション、認証装置３００との間の相互認証等を行う。

【0058】

リソース格納部２３０にはリソース（本実施例２ではステート）が格納されている。なお、リソース格納部２３０は、リソース管理装置２００の外部にあってもよい。リソース制御部２２０は、リソースのダウンロード等を行う。

【0059】

図１２に、認証装置３００の機能構成図を示す。図１２に示すように、認証装置３００は、認証処理部３１０、データ格納部３２０、ＡＣＬ制御部３３０、ＡＣＬ格納部３４０を有する。認証処理部３１０は、セキュア領域１１０に対するリモートアテステーション、リソース管理装置２００との間の相互認証、ユーザＩＤとＴＥＥ ＩＤを用いた不正検知等を行う。データ格納部３２０には、登録情報等が格納される。なお、データ格納部３２０は、認証装置３００の外部にあってもよい。

【0060】

ＡＣＬ格納部３４０にはＡＣＬ、分析機能（プログラム）が格納されている。なお、ＡＣＬ格納部３４０は、認証装置３００の外部にあってもよい。ＡＣＬ制御部３３０は、ＡＣＬ、分析機能のダウンロード等を行う。

【0061】

以下、より具体的な構成と動作の例を説明する。

【0062】

＜実施例２の具体例＞
図１３は、実施例２の構成図である。セキュア領域１１０の外部（ＲＥＥ上）には、アプリケーション１５０（以降、ＡＰＰ（ＲＥＥ）１５０と記述する）が動作しており、ＡＰＰ（ＲＥＥ）１５０によりユーザ端末４００に対する要求／応答処理、セキュア領域１１０の生成、セキュア領域１１０との通信等が実行される。

【0063】

また、セキュア領域１１０では、ＤＮＮ（Deep Neural Network）が推論を実行する。ＤＮＮの重みパラメータが「リソース」に相当し、実施例２ではこれをステート（ｓｔａｔｅ）と呼ぶ。

【0064】

また、前述したクエリカウント部１２、クエリエントロピー分析部１３、判定部１４に相当するクエリカウント部１７０、クエリエントロピー分析部１８０、判定部１９０がセキュア領域１１０内で動作する。「クエリカウント部１７０、クエリエントロピー分析部１８０、判定部１９０」をまとめて「分析機能」と呼ぶ。

【0065】

セキュア領域１１０内ではＴＥＥ上のアプリケーション１６０（以降、ＡＰＰ（ＴＥＥ）１６０と記述する）が動作しており、ＡＰＰ（ＴＥＥ）１６０により、ＡＣＬ、分析機能、及びステートの取得、ＡＣＬによるアクセス制御等が実行される。

【0066】

認証装置３００から、リソースアクセス装置１００におけるセキュア領域１１０内にＡＣＬ、分析機能がダウンロードされる。また、リソース管理装置２００からセキュア領域１１０内にステートがダウンロードされる。ＡＣＬには、各ＤＮＮに対するユーザのアクセス可否が記述されている。

【0067】

ユーザ端末４００がＤＮＮ利用を要求すると、認証装置３００による認証に成功した場合にのみ、セキュア領域１１０のＡＰＰ（ＴＥＥ）１６０により、ＡＣＬを用いたアクセス制御及びモデル抽出攻撃検知が実行され、ＤＮＮ利用ＯＫである場合に、ＤＮＮによる推論結果がユーザ端末４００に提供される。

【0068】

なお、実施例２では推論の手法としてＤＮＮを使用しているが、ＤＮＮ以外の機械学習の手法を使用してもよい。ＤＮＮは機械学習モデルの一例である。

【0069】

以下、実施例２の詳細動作を図１４～図１６のシーケンスを参照して説明する。なお、実際の処理においては、リモートアテステーションの仲介を行う第三者検証機関や、公開鍵の正当性を証明する認証局等も使用されるが、これらは一般的な技術であるため、シーケンスには記載されていない。

【0070】

＜初期登録時の動作＞
図１４は、ユーザ（ユーザ端末４００）がＤＮＮを利用するために必要な初期登録時の動作を示している。

【0071】

Ｓ２０１において、ユーザ端末４００は、ＤＲＭ初期化要求をリソースアクセス装置１００に送信する。リソースアクセス装置１００のＡＰＰ（ＲＥＥ）１５０は、Ｓ２０２において、ＤＲＭ初期化要求を受信すると、セキュア領域１１０を生成する。セキュア領域１１０において、以降の処理を行うＡＰＰ（ＴＥＥ）１６０が起動される。ＡＰＰ（ＴＥＥ）１６０は、Ｓ２０３において、認証装置３００に対してＴＥＥ初期登録要求を送信する。

【0072】

なお、ＤＮＮの構造はセキュア領域１１０の生成時に固定されるが、重みパラメータ（ステート）は後から変更可能である。

【0073】

ＴＥＥ初期登録要求を受信した認証装置３００の認証処理部３１０は、Ｓ２０４において、セキュア領域１１０に対するリモートアテステーションを実行する。ここではリモートアテステーションに成功したとする。以降の処理においてもリモートアテステーションに成功したものとして説明を行う。

【0074】

認証処理部３１０は、リモートアテステーションにより、セキュア領域１１０のＩＤ（ＴＥＥ ＩＤと記載する）を取得し、セキュア領域１１０の署名鍵に対応する公開鍵（Attestation Public Key）とともにデータ格納部３２０に格納する。

【0075】

なお、上記の例の他、予めＴＥＥ ＩＤ及び公開鍵が認証装置３００に登録されている場合（あるいは所定のサーバに登録されている場合）において、Ｓ２０３で、リソースアクセス装置１００が、使用するＴＥＥ ＩＤを認証装置３００に送信し、認証装置３００において登録されているＴＥＥ ＩＤが使用されることを確認することとしてもよい。

【0076】

Ｓ２０５において、認証処理部３１０は、初期登録完了の通知をリソースアクセス装置１００に送信する。Ｓ２０６において、ＡＰＰ（ＴＥＥ）１６０は、ユーザ初期登録要求をＡＰＰ（ＲＥＥ）１５０に送信する。Ｓ２０７において、ＡＰＰ（ＲＥＥ）１５０は、ユーザ初期登録要求をユーザ端末４００に送信する。

【0077】

Ｓ２０８において、ユーザ端末４００は、ユーザＩＤ、パスワード、及び同意を示す情報（「ＩＤ／ＰＷ／同意」と記載）をリソースアクセス装置１００に送信する。同意を示す情報は、ＡＰＰ（ＲＥＥ）１５０とセキュア領域１１０のＡＰＰ（ＴＥＥ）１６０を紐付けて使用することに同意することを示す情報である。

【0078】

ＩＤ／ＰＷ／同意は、ＡＰＰ（ＲＥＥ）１５０からＡＰＰ（ＴＥＥ）１６０に渡され、ＡＰＰ（ＴＥＥ）１６０から認証装置３００に送信される（Ｓ２０９、Ｓ２１０）。

【0079】

ＩＤ／ＰＷ／同意を受信した認証装置３００の認証処理部３１０は、ユーザＩＤとパスワードのハッシュ値をデータ格納部３２０に格納する。データ格納部３２０では、ＴＥＥ ＩＤとユーザＩＤとが対応付けられており、ユーザＩＤとＴＥＥ ＩＤを結合する仮想的なテーブルが構成されている。なお、実際にユーザＩＤとＴＥＥ ＩＤを対応付けて保存するテーブルを使用してもよい。

【0080】

Ｓ２１１において、認証処理部３１０は、バックチャネルで初期登録完了の通知をリソースアクセス装置１００に送信する。ＡＰＰ（ＴＥＥ）１６０からＡＰＰ（ＲＥＥ）１５０を経由してユーザ端末４００に対してＤＲＭ初期化完了の通知が送信される（Ｓ２１２、Ｓ２１３）。

【0081】

＜ＤＮＮ利用前のステートＤＬ時の動作＞
図１５は、ユーザ（ユーザ端末４００）がＤＮＮを利用する前における、リソースアクセス装置１００にステートがダウンロードされるまでの動作を示している。

【0082】

Ｓ２２１において、ユーザ端末４００が、ＤＲＭ起動要求をリソースアクセス装置１００に送信する。Ｓ２２２において、ＡＰＰ（ＲＥＥ）１５０がセキュア領域１１０を生成する。また、セキュア領域１１０において以降の処理を実行するＡＰＰ（ＴＥＥ）１６０が読み込まれ、起動される。なお、セキュア領域１１０が起動中であれば、Ｓ２２２は不要である。

【0083】

Ｓ２２３において、ＡＰＰ（ＴＥＥ）１６０は、アクセス制御リスト（ＡＣＬ）要求を認証装置３００に送信する。

【0084】

認証装置３００のＡＣＬ格納部３４０には、各リソースに対するユーザのアクセス可否を記述したＡＣＬが格納されている。また、ＡＣＬ格納部３４０には、分析機能も格納されている。

【0085】

認証処理部３１０は、Ｓ２２４においてセキュア領域１１０に対するリモートアテステーションを実行し、Ｓ２２５において、ＡＣＬ及び分析機能をＡＣＬ格納部３４０から読み出し、それぞれ署名を付してＡＰＰ（ＴＥＥ）１６０に送信する。

【0086】

署名付きのＡＣＬ、署名付きの分析機能を受信したＡＰＰ（ＴＥＥ）１６０は、Ｓ２２６において、署名検証用公開鍵を認証装置３００に要求する。Ｓ２２７において、認証装置３００の認証処理部３１０は、公開鍵の情報をＡＰＰ（ＴＥＥ）１６０に送信する。

【0087】

Ｓ２２８において、ＡＰＰ（ＴＥＥ）１６０は、受信した公開鍵を用いて、ＡＣＬ及び分析機能の署名検証を行う。ここでは署名検証に成功したとする。以降の署名検証についても成功したものとして説明する。

【0088】

Ｓ２２９、Ｓ２３０において、ＡＰＰ（ＴＥＥ）１６０からＡＰＰ（ＲＥＥ）１５０、ユーザ端末４００に対してＤＲＭ起動完了が通知される。

【0089】

Ｓ２３１において、ユーザ端末４００は、リソースアクセス装置１００に対してステートＤＬ要求を送信する。リソースアクセス装置１００において、ステートＤＬ要求はＡＰＰ（ＲＥＥ）１５０からＡＰＰ（ＴＥＥ）１６０に通知される（Ｓ２３２）。

【0090】

Ｓ２３３において、ＡＰＰ（ＴＥＥ）１６０は、ステートＤＬ要求をリソース管理装置２００に送信する。Ｓ２３４において、リソース管理装置２００の認証処理部２１０は、セキュア領域１１０に対してリモートアテステーションを実行して、アテステーション情報を取得する。また、認証処理部３１０は、認証装置３００との間で相互ＴＬＳ認証を行う（Ｓ２３５）。

【0091】

アテステーション情報は、リソースアクセス装置１００においてセキュア領域１１０に対して使用しているハードウェア及びソフトウェアに関する情報に署名が付されたものである。

【0092】

Ｓ２３６において、認証処理部２１０は、アテステーション情報を認証装置３００に送信する。これは署名検証の依頼に相当する。認証装置３００の認証処理部３１０は、公開鍵（Attestation Public Key）を用いてアテステーション情報を検証し、検証結果（認証結果）をアテステーション結果としてリソース管理装置２００に送信する（Ｓ２３７）。

【0093】

リソース管理装置２００のリソース格納部２３０にはステートが格納されている。Ｓ２３７のアテステーション結果により、リソース管理装置２００の認証処理部２１０が、セキュア領域１１０の正当性（真正性）を確認すると、リソース制御部２２０は、リソース格納部２３０からステートを取得し、署名を付してＡＰＰ（ＴＥＥ）１６０に送信する（Ｓ２３８）。Ｓ２３９において、ＡＰＰ（ＴＥＥ）１６０は、ステートの署名検証を行う。

【0094】

Ｓ２４０において、ＡＰＰ（ＲＥＥ）１５０はユーザ端末４００に対してステートＤＬ完了通知を送信する。

【0095】

＜ＤＮＮ利用時の動作＞
図１６は、ユーザ（ユーザ端末４００）がＤＮＮを利用する前までの動作を示している。Ｓ２５１において、ユーザ端末４００は、ＤＮＮ利用要求をリソースアクセス装置１００に送信する。

【0096】

Ｓ２５２において、ＡＰＰ（ＲＥＥ）１５０がＡＰＰ（ＴＥＥ）１６０にＤＮＮ利用要求を送信する。ＤＮＮ利用要求を受信したＡＰＰ（ＴＥＥ）１６０は、認証／認可要求をＡＰＰ（ＲＥＥ）１５０に送信する（Ｓ２５３）。Ｓ２５４において、ＡＰＰ（ＲＥＥ）１５０がユーザ端末４００に対して認証／認可要求を送信する。

【0097】

Ｓ２５５において、ユーザ端末４００は、ＩＤ／ＰＷ／同意をリソースアクセス装置１００に送信する。Ｓ２５６において、ＡＰＰ（ＲＥＥ）１５０はＩＤ／ＰＷ／同意をＡＰＰ（ＴＥＥ）１６０に送信し、Ｓ２５７において、ＡＰＰ（ＴＥＥ）１６０がＩＤ／ＰＷ／同意を認証装置３００に送信する。

【0098】

認証装置３００の認証処理部３１０は、Ｓ２５８において、セキュア領域１１０に対してリモートアテステーションを実行し、セキュア領域１１０のＴＥＥ ＩＤを取得する。認証処理部３２０は、Ｓ２５７において取得したユーザＩＤとＳ２５８において取得したＴＥＥ ＩＤとが紐づけられてデータ格納部３２０に格納されているか否かを確認することで、ユーザからのＤＮＮ利用要求の正当性を検証する（不正の有無の判断を行う）。これにより、ユーザＩＤ（及びパスワード）とＴＥＥのいずれかが不正に利用された場合において不正を検知することができる。

【0099】

ここでは上記の検証（認証）に成功したものとし、認証処理部３１０は、Ｓ２５９において、認証結果をＡＰＰ（ＴＥＥ）１６０に送信する。認証結果を受信したＡＰＰ（ＴＥＥ）１６０は、Ｓ２６０において、セキュア領域１１０内に保持されているＡＣＬを用いて、ユーザから要求されたＤＮＮ利用の可否を判定する。

【0100】

なお、ここでのＡＣＬによる判定は、ＡＣＬの現時点の情報に基づく判定である。後述するモデル抽出攻撃の有無判定の結果、あるユーザに対するアクセス制御の内容が変更される場合がある（例：アクセス可―＞アクセス不可）。

【0101】

Ｓ２６０において、ＡＣＬに基づいてユーザによるＤＮＮ利用がＯＫであると判断されたとすると、ステートがＤＮＮに設定され、リソースアクセス装置１００は、ユーザ端末４００から送信されたクエリの受信を開始する。

【0102】

ユーザ端末４００から順次送信されるクエリは、セキュア領域１１０におけるＤＮＮ及び分析機能（クエリカウント部１７０、クエリエントロピー分析部１８０）が受信する。

【0103】

図１７に示すように、クエリカウント部１６０は、ユーザ端末４００から受信するクエリの回数を計測し、回数が予め定めた閾値を超えた場合に、異常（モデル抽出攻撃）であると判定する（Ｓ２６１）。なお、閾値と比較するクエリの回数は、所定の時間内での回数であってもよい。

【0104】

また、クエリエントロピー分析部１８０は、クエリとＤＮＮによる推論結果に基づいて、前述したクエリエントロピーを算出し、クエリエントロピーの分布を計算し、分布に基づいて、モデル抽出攻撃の検知を行う（Ｓ２６２）。例えば、前述したように、分布の平均が閾値よりも大きく、分散が閾値よりも小さい場合に、異常（モデル抽出攻撃）であると判定する。

【0105】

なお、上記の閾値との比較判定は、判定部１９０が行うこととしてもよい。また、判定部１９０が、クエリ回数が閾値を超え、かつ、「分布の平均が閾値よりも大きく、分散が閾値よりも小さい」ことを検知した場合に、異常（モデル抽出攻撃）であると判定してもよい。また、クエリ回数の条件を用いずに、「分布の平均が閾値よりも大きく、分散が閾値よりも小さい」ことを検知した場合に、異常（モデル抽出攻撃）であると判定してもよい。また、クエリエントロピーを用いずに、クエリ回数が閾値を超えた場合に、異常（モデル抽出攻撃）であると判定してもよい。

【0106】

上記の処理において、セキュア領域１１０のセキュアデータ格納部に保存される情報は、クエリ自体ではなく、クエリ回数、クエリエントロピー（情報量）の分布の情報であるので、消費されるメモリ量は小さい。

【0107】

上記の判定処理により、異常が検知された場合に、例えば判定部１９０が、ＡＣＬに、当該ユーザ（異常クエリを発出したユーザ端末４００のユーザ）のアクセス拒否を記録する。

【0108】

Ｓ２６４において、ＡＰＰ１６０から認証装置３００に対し、当該ユーザのアクセス許否について、アクセス制御ＤＢ及びＡＣＬの更新を要求し、認証装置３００において更新がなされる。

【0109】

Ｓ２６５において、ＤＮＮ実行結果がＡＰＰ（ＲＥＥ）１５０に送信される。Ｓ２６６において、ＡＰＰ（ＲＥＥ）１５０は、ＤＮＮ実行結果をユーザ端末４００に送信する。

【0110】

ユーザ端末４００におけるＤＮＮの利用が終了すると、Ｓ２６７おいて、ユーザ端末４００は、ＡＰＰ（ＲＥＥ）１５０に対して実行結果削除を要求する。これにより、リソースアクセス装置１００において、セキュア領域１１０の外側にある実行結果が削除される。Ｓ２６８において、削除完了通知がユーザ端末４００に送信される。

【0111】

実施例２では、ステートは、セキュア領域１１０内に保持され、使用されるときにはＤＮＮに設定されるので、ステートは外部から知ることができない。また、モデル抽出攻撃を防止できる。つまり、実施例２では、ＤＮＮ実行結果のみがユーザに知られるので守るべき知的財産（ステート等）が守られる。

【0112】

（ハードウェア構成例）
モデル抽出攻撃検知装置、モデルサービス提供装置１０、リソースアクセス装置１００、リソース管理装置２００、認証装置３００はいずれも、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。モデル抽出攻撃検知装置、モデルサービス提供装置１０、リソースアクセス装置１００、リソース管理装置２００、認証装置３００を総称して「装置」と呼ぶ。

【0113】

すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0114】

図１８は、上記コンピュータのハードウェア構成例を示す図である。図１８のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、これらのうち、一部の装置を備えないこととしてもよい。例えば、表示を行わない場合、表示装置１００６を備えなくてもよい。

【0115】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0116】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられ、送信部及び受信部として機能する。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

【0117】

（実施の形態のまとめ、効果）
以上説明したように、本実施の形態では、ＴＥＥによるアクセス制御に加えて、クエリ回数及びクエリに関する統計分布を、ＴＥＥ上で遠隔管理して、一定のクエリ回数及びクエリ分布の異常値判定基準を満たした場合には、当該ユーザによるクエリを遮断する。

【0118】

これにより、システム管理者の手を離れたエッジ環境においても、モデル抽出攻撃を検知することができ、対策が可能となる。

【0119】

また、クエリの特徴量分布ではなく、エントロピー（情報量）分布を利用することで、メモリ使用量を低減することが可能である。これにより、計算リソースの乏しいエッジ環境でも、モデル抽出攻撃検知を行うことができる。

【0120】

（付記）
本明細書には、少なくとも下記各項のモデル抽出攻撃検知装置、リモート認可制御システム、モデル抽出攻撃検知方法、及びプログラムが開示されている。
（第１項）
セキュア領域を有するモデル抽出攻撃検知装置であって、
前記セキュア領域上に機械学習モデルと分析部を備え、
前記分析部は、ユーザからのクエリと、当該クエリに対する前記機械学習モデルによる推論結果とに基づいて、前記クエリの情報量を算出し、前記情報量の分布に基づいて、モデル抽出攻撃の有無を判定する
モデル抽出攻撃検知装置。
（第２項）
前記分析部は、前記分布の平均が閾値よりも大きく、かつ、前記分布の分散が閾値よりも小さい場合に、モデル抽出攻撃有りであると判定する
第１項に記載のモデル抽出攻撃検知装置。
（第３項）
第１項又は第２項に記載の前記モデル抽出攻撃検知装置と、リソース管理装置と、認証装置とを備えるリモート認可制御システムであって、
前記モデル抽出攻撃検知装置が、前記認証装置から、前記モデル抽出攻撃検知装置における前記セキュア領域上にアクセス制御リスト、及び、前記分析部に相当するプログラムをダウンロードし、
前記モデル抽出攻撃検知装置が、前記リソース管理装置から、前記セキュア領域上に前記機械学習モデルのステートをダウンロードし、
前記モデル抽出攻撃検知装置が、ユーザから前記機械学習モデルの利用要求を受信した場合に、前記アクセス制御リストに基づいて、前記ユーザによる前記機械学習モデルの利用可否を判断し、利用可であり、かつ、前記分析部によりモデル抽出攻撃をしていないと判定される場合に、前記機械学習モデルを前記ユーザに利用させる
リモート認可制御システム。
（第４項）
前記認証装置は、初期登録時に、前記ユーザのユーザＩＤと、前記セキュア領域のＩＤとを紐付けて登録し、
前記ユーザによる前記機械学習モデルの要求時において、前記ユーザから送信されたユーザＩＤと、前記モデル抽出攻撃検知装置から取得した前記セキュア領域のＩＤとが登録情報として登録されているか否かを確認することにより、不正の有無を判断する
第３項に記載のリモート認可制御システム。
（第５項）
セキュア領域を有するモデル抽出攻撃検知装置が実行するモデル抽出攻撃検知方法であって、
前記セキュア領域上に機械学習モデルと分析部が備えられ、
前記分析部が、ユーザからのクエリと、当該クエリに対する前記機械学習モデルによる推論結果とに基づいて、前記クエリの情報量を算出し、前記情報量の分布に基づいて、モデル抽出攻撃の有無を判定する
モデル抽出攻撃検知方法。
（第６項）
コンピュータを、第１項又は第２項に記載の前記モデル抽出攻撃検知装置における分析部として機能させるためのプログラム。

【0121】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0122】

１０ モデルサービス提供装置
１１ モデル
１２ クエリカウント部
１３ クエリエントロピー分析部
１４ 判定部
２０ ネットワーク
１００ リソースアクセス装置
１１０ セキュア領域
１１１ セキュアデータ格納部
１１２ セキュア処理部
１２０ 通信部
１３０ データ格納部
１４０ データ処理部
１５０ ＡＰＰ（ＲＥＥ）
１６０ ＡＰＰ（ＴＥＥ）
１７０ クエリカウント部
１８０ クエリエントロピー分析部
１９０ 判定部
２００ リソース管理装置
２１０ 認証処理部
２２０ リソース制御部
２３０ リソース格納部
３００ 認証装置
３１０ 認証処理部
３２０ データ格納部
３３０ ＡＣＬ制御部
３４０ ＡＣＬ格納部
４００ ユーザ端末
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】