特開 2024-164476 情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024164476

(43)【公開日】2024-11-27

(54)【発明の名称】情報処理方法及び情報処理システム

(51)【国際特許分類】

   H04L 9/10 20060101AFI20241120BHJP

   G06F 21/60 20130101ALI20241120BHJP

   G06N 3/02 20060101ALI20241120BHJP

【ＦＩ】

H04L9/10 A

G06F21/60 320

G06N3/02

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023079973

(22)【出願日】2023-05-15

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】藤原 啓成

(72)【発明者】

【氏名】佐藤 尚宜

(57)【要約】

【課題】複数層の処理層による機械学習等の処理時に、機密情報である機械学習パラメータを保護する。
【解決手段】ニューラルネットワークによる情報処理方法では、信頼領域３８において、通常領域３１０において秘匿化機械学習パラメータ５１５に基づいて秘匿化入力データ５１６に対して実行された第ｉ層処理部３１２の実行結果を、パラメータ保護乱数５２８により除算するパラメータ秘匿化影響除去処理５３７を実行する。そして、パラメータ秘匿化影響除去処理５３７の実行結果から入力秘匿化影響除去パラメータ５２９を減算する入力秘匿化影響除去処理５３８を実行し、推論結果５３１を出力する。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の第ｉ層（ｉは１以上Ｎ以下の自然数）からなるニューラルネットワークによる情報処理を実行する情報処理システムが行う情報処理方法であって、
前記情報処理システムは、プロセッサと、メモリと、を有し、
前記メモリは、通常領域から隔離されたＴＥＥ（Trusted Execution Environment）である隔離領域を含み、
前記隔離領域は、
前記第ｉ層の処理に用いられる第ｉ層パラメータと、
前記第ｉ層パラメータを保護する乱数である第ｉ層パラメータ保護乱数と、
前記第ｉ層へ入力される第ｉ層入力データと、
前記第ｉ層入力データを保護する乱数である第ｉ層入力データ保護乱数と、を保持し、
前記プロセッサが、前記隔離領域において、
前記第ｉ層パラメータと前記第ｉ層パラメータ保護乱数とを乗算して該第ｉ層パラメータを秘匿化した第ｉ層秘匿化パラメータを生成するパラメータ秘匿化処理を前記第ｉ層毎に実行し、該第ｉ層秘匿化パラメータを前記通常領域へ出力し、
前記第ｉ層パラメータと前記第ｉ層入力データ保護乱数とを乗算して前記第ｉ層入力データに対して施された秘匿化を除去する第ｉ層入力データ秘匿化除去パラメータを生成して前記隔離領域に保持する入力秘匿化影響除去パラメータ生成処理を前記第ｉ層毎に実行し、
前記第ｉ層入力データ保護乱数を前記第ｉ層入力データに加算して該第ｉ層入力データに対して秘匿化を施した第ｉ層秘匿化入力データを生成する秘匿化入力データ生成処理を実行し、該第ｉ層秘匿化入力データを前記第ｉ層入力データとして前記通常領域へ出力し、
前記通常領域において前記第ｉ層秘匿化パラメータに基づいて前記第ｉ層秘匿化入力データに対して実行された前記第ｉ層の処理の実行結果を該通常領域から取得し、該実行結果を前記第ｉ層パラメータ保護乱数により除算するパラメータ秘匿化影響除去処理を実行し、
前記パラメータ秘匿化影響除去処理の実行結果から前記第ｉ層入力データ秘匿化除去パラメータを減算する入力秘匿化影響除去処理を実行し、該入力秘匿化影響除去処理の実行結果を前記第ｉ層から出力される第ｉ層出力データとする
各処理を含んだことを特徴とする情報処理方法。

【請求項2】

請求項１に記載の情報処理方法であって、
前記メモリは、前記通常領域を含み、
前記プロセッサが、前記通常領域において、
前記第ｉ層秘匿化パラメータに基づいて前記第ｉ層秘匿化入力データに対して前記第ｉ層の処理を実行し、該第ｉ層の処理の実行結果を前記隔離領域へ出力する
処理を含んだことを特徴とする情報処理方法。

【請求項3】

請求項１に記載の情報処理方法であって、
前記プロセッサが、前記隔離領域において、
前記第ｉ層入力データ毎に対する前記第ｉ層の処理毎に一時的な乱数を生成し、前記第ｉ層入力データ保護乱数と該一時的な乱数とを乗算した結果を前記第ｉ層入力データに加算して前記第ｉ層秘匿化入力データを生成する前記秘匿化入力データ生成処理を実行し、該第ｉ層秘匿化入力データを前記第ｉ層入力データとして前記通常領域へ出力し、
前記パラメータ秘匿化影響除去処理の実行結果から前記第ｉ層入力データ秘匿化除去パラメータと前記一時的な乱数とを乗算した結果を減算する前記入力秘匿化影響除去処理を実行し、該入力秘匿化影響除去処理の実行結果を前記第ｉ層から出力される第ｉ層出力データとする
処理を含んだことを特徴とする情報処理方法。

【請求項4】

請求項３に記載の情報処理方法であって、
前記プロセッサが、
前記第ｉ層入力データ保護乱数に代えて、該第ｉ層入力データ保護乱数と同一のサイズの全ての要素が１の行列を用いる
ことを特徴とする情報処理方法。

【請求項5】

請求項１に記載の情報処理方法であって、
前記隔離領域は、
前記第ｉ層の処理を前記通常領域及び前記隔離領域の何れにおいて実行するかを示す情報である各層処理秘匿化設定情報を保持し、
前記プロセッサが、
前記各層処理秘匿化設定情報に応じて前記通常領域及び前記隔離領域の何れかにおいて前記第ｉ層の処理を実行する
ことを特徴とする情報処理方法。

【請求項6】

請求項１に記載の情報処理方法であって、
前記ニューラルネットワークは、ＣＮＮ（Convolutional Neural Network）であり、
前記第ｉ層パラメータは、ＣＮＮの機械学習パラメータである
ことを特徴とする情報処理方法。

【請求項7】

複数の第ｉ層（ｉは１以上Ｎ以下の自然数）からなるニューラルネットワークによる情報処理を実行する情報処理システムであって、
プロセッサと、メモリと、を有し、
前記メモリは、通常領域から隔離されたＴＥＥ（Trusted Execution Environment）である隔離領域を含み、
前記隔離領域は、
前記第ｉ層の処理に用いられる第ｉ層パラメータと、
前記第ｉ層パラメータを保護する乱数である第ｉ層パラメータ保護乱数と、
前記第ｉ層へ入力される第ｉ層入力データと、
前記第ｉ層入力データを保護する乱数である第ｉ層入力データ保護乱数と、を保持し、
前記プロセッサは、前記隔離領域において、
前記第ｉ層パラメータと前記第ｉ層パラメータ保護乱数とを乗算して該第ｉ層パラメータを秘匿化した第ｉ層秘匿化パラメータを生成するパラメータ秘匿化処理を前記第ｉ層毎に実行し、該第ｉ層秘匿化パラメータを前記通常領域へ出力し、
前記第ｉ層パラメータと前記第ｉ層入力データ保護乱数とを乗算して前記第ｉ層入力データに対して施された秘匿化を除去する第ｉ層入力データ秘匿化除去パラメータを生成して前記隔離領域に保持する入力秘匿化影響除去パラメータ生成処理を前記第ｉ層毎に実行し、
前記第ｉ層入力データ保護乱数を前記第ｉ層入力データに加算して該第ｉ層入力データに対して秘匿化を施した第ｉ層秘匿化入力データを生成する秘匿化入力データ生成処理を実行し、該第ｉ層秘匿化入力データを前記第ｉ層入力データとして前記通常領域へ出力し、
前記通常領域において前記第ｉ層秘匿化パラメータに基づいて前記第ｉ層秘匿化入力データに対して実行された前記第ｉ層の処理の実行結果を該通常領域から取得し、該実行結果を前記第ｉ層パラメータ保護乱数により除算するパラメータ秘匿化影響除去処理を実行し、
前記パラメータ秘匿化影響除去処理の実行結果から前記第ｉ層入力データ秘匿化除去パラメータを減算する入力秘匿化影響除去処理を実行し、該入力秘匿化影響除去処理の実行結果を前記第ｉ層から出力される第ｉ層出力データとする
ことを特徴とする情報処理システム。

【請求項8】

請求項７に記載の情報処理システムであって、
前記メモリは、前記通常領域を含み、
前記プロセッサは、前記通常領域において、
前記第ｉ層秘匿化パラメータに基づいて前記第ｉ層秘匿化入力データに対して前記第ｉ層の処理を実行し、該第ｉ層の処理の実行結果を前記隔離領域へ出力する
ことを特徴とする情報処理システム。

【請求項9】

請求項７に記載の情報処理システムであって、
前記プロセッサは、前記隔離領域において、
前記第ｉ層入力データ毎に対する前記第ｉ層の処理毎に一時的な乱数を生成し、前記第ｉ層入力データ保護乱数と該一時的な乱数とを乗算した結果を前記第ｉ層入力データに加算して前記第ｉ層秘匿化入力データを生成する前記秘匿化入力データ生成処理を実行し、該第ｉ層秘匿化入力データを前記第ｉ層入力データとして前記通常領域へ出力し、
前記パラメータ秘匿化影響除去処理の実行結果から前記第ｉ層入力データ秘匿化除去パラメータと前記一時的な乱数とを乗算した結果を減算する前記入力秘匿化影響除去処理を実行し、該入力秘匿化影響除去処理の実行結果を前記第ｉ層から出力される第ｉ層出力データとする
ことを特徴とする情報処理システム。

【請求項10】

請求項９に記載の情報処理システムであって、
前記プロセッサは、
前記第ｉ層入力データ保護乱数に代えて、該第ｉ層入力データ保護乱数と同一のサイズの全ての要素が１の行列を用いる
ことを特徴とする情報処理システム。

【請求項11】

請求項７に記載の情報処理システムであって、
前記隔離領域は、
前記第ｉ層の処理を前記通常領域及び前記隔離領域の何れにおいて実行するかを示す情報である各層処理秘匿化設定情報を保持し、
前記プロセッサは、
前記各層処理秘匿化設定情報に応じて前記通常領域及び前記隔離領域の何れかにおいて前記第ｉ層の処理を実行する
ことを特徴とする情報処理システム。

【請求項12】

請求項７に記載の情報処理システムであって、
前記ニューラルネットワークは、ＣＮＮ（Convolutional Neural Network）であり、
前記第ｉ層パラメータは、ＣＮＮの機械学習パラメータである
ことを特徴とする情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、秘匿情報処理方法及び秘匿情報処理に関する。

【背景技術】

【0002】

近年、官民が連携した個人データ活用スキームが進展している。例えば、公共サービス及び民間サービスの連携等、多様な情報を連携した新たな価値の創出されている。多様な情報を連携した新たな価値を創出するためには、回帰分析等の統計解析及びＣＮＮ（Convolutional Neural Network）等の機械学習が有効とされる。統計解析及びの機械学習は、安価に利用可能なパブリッククラウド等を用いて、様々な企業が容易に実行できる基盤も提供されている。

【0003】

一方、プライバシーの保護を目的とした規制強化も進展している。したがって、病院及び銀行等のデータホルダが所有する機密情報を秘匿したまま活用する技術が求められる。

【0004】

こうした背景のもと、救急と警備会社等の官民が情報連携した公共サービスや、公共サービスとの相乗効果を生む製薬、保険、交通、及び情報銀行等の民間サービスの連携等、多様な情報を連携した新たな価値の創出が促進されている。多様なデータを分析して新たな価値を創出するためには、回帰分析等の統計解析や機械学習等の分析処理が有効とされる。さらに、これらのサービスが実現されるためには、病院や銀行等のデータホルダが所有する個人情報等の機密情報を、個人のプライバシーを保護したまま、公共サービスや民間サービスの提供者が分析し活用することを可能とする秘匿情報処理技術が求められる。

【0005】

従来技術では、データを暗号化したまま特定の処理を可能とすることで、機密情報を秘匿した状態の活用を実現している。しかし、従来技術で実行可能な処理は、検索及び順序比較等の基本的な処理に限定されており、処理の自由度に限界があった。そのため、処理の高い自由度が必要とされる高度な統計処理及びＣＮＮ等の機械学習を用いた画像処理に対応できる技術が求められている。

【0006】

近年、ＣＰＵ（Central Processing Unit）には、ＴＥＥ（Trusted Execution Environment）機能が搭載されている。ＴＥＥ機能は、秘匿情報の処理に有効であると考えられる。ＴＥＥ機能は、コンピュータ上で稼働するＯＳの管理者権限を奪われても情報を読み取られない信頼領域を提供する機能である。信頼領域内で暗号化データの復号及び処理の実行を行うことで、安全かつ高度な処理が可能となる。

【0007】

ＴＥＥ機能の信頼領域を利用する技術として、特許文献１に記載の技術がある。特許文献１は、推論パイプラインでの機密入力データの情報漏洩を軽減するプライバシー強化型Deep Learningシステムを開示している。

【0008】

特許文献１に記載の技術は、ニューラルネットワークの階層構造を利用して、各Deep Learningモデルを信頼領域で処理するFrontNetと通常領域で処理するBackNetに分割する。

【0009】

特許文献１に記載の技術において、エンドユーザが利用する端末は、暗号化された入力と暗号化されたFrontNetをシステムに送信する。特許文献１に記載の技術は、クラウドインフラストラクチャ上のＴＥＥ機能を利用して、FrontNetのエンクレーブ（ＴＥＥ機能における隔離実行プロセス）にてDeep Learningの処理を実施し、ユーザ入力の機密性と完全性を暗号で保護する。

【0010】

一方、特許文献１に記載の技術において、BackNetの推論計算では安全なエンクレーブが不足し、クラウドマシンにＧＰＵ（Graphical Processing Unit）等のDeep Learningアクセラレーションチップが搭載されている場合は、パフォーマンスの向上によるメリットが得られる。

【0011】

特許文献１に記載の技術は、プライバシー保護とパフォーマンス要件のバランスをとる、モデル固有の最適な分割ポイントを決定するために、ニューラルネットワークの階層構造を利用し、各Deep LearningモデルをFrontNet及びBackNetに仕切る。特許文献１に記載の技術は、Deep Learning推論システムが、各層の中間データのセットごとに類似性を測定し、入力情報に最も類似している中間データの選択されたサブセットを使用して、２つのパーティションに分割するために使用される分割ポイントを決定する。

【0012】

また、ＴＥＥ機能の信頼領域を利用する技術として、非特許文献１に記載の技術がある。非特許文献１は、Deep Learningの線形演算処理を高速化するＧＰＵを活用する推論パイプラインにおいて、ＧＰＵへ入力する機密入力データの情報漏えいを軽減する機密入力データの秘匿化方法を開示している。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】米国特許出願公開第２０２０／００８２２５９号明細書

【非特許文献】

【0014】

【非特許文献1】F. Tramer and D. Boneh, “Slalom: Fast, verifiable and private execution of neural networks intrusted hardware,” in International Conference on Learning Representations (ICLR),2019.

【発明の概要】

【発明が解決しようとする課題】

【0015】

しかし、特許文献１に記載のシステムは、未知の入力情報のDeep Leaning処理時に、未知の入力情報が学習段階で学習していない個人のプライバシー情報や企業秘密等の機密情報を含む場合、機密情報の漏出を防げない場合がある。具体的には、BackNetでは、Deep Learningモデルを構成する機械学習パラメータを通常領域で処理するため、機械学習パラメータが機密情報である場合にDeep Learningモデルの漏出を防げない。

【0016】

また、非特許文献１に記載の秘匿化方法は、Deep Learningモデルの一部である線形演算処理に使用する機械学習パラメータを通常領域のＧＰＵで秘匿化することなく処理するため、機械学習パラメータが機密情報である場合にその漏出を防げない。

【0017】

そこで、本発明の一態様は、複数層の処理層による機械学習等の処理時に、機密情報である機械学習パラメータを保護することを目的とする。

【課題を解決するための手段】

【0018】

上記課題を解決するために本発明の一態様は以下の構成を採用する。すなわち複数の第ｉ層（ｉは１以上Ｎ以下の自然数）からなるニューラルネットワークによる情報処理を実行する情報処理システムが行う情報処理方法であって、前記情報処理システムは、プロセッサと、メモリと、を有し、前記メモリは、通常領域から隔離されたＴＥＥ（Trusted Execution Environment）である隔離領域を含み、前記隔離領域は、前記第ｉ層の処理に用いられる第ｉ層パラメータと、前記第ｉ層パラメータを保護する乱数である第ｉ層パラメータ保護乱数と、前記第ｉ層へ入力される第ｉ層入力データと、前記第ｉ層入力データを保護する乱数である第ｉ層入力データ保護乱数と、を保持し、前記プロセッサが、前記隔離領域において、前記第ｉ層パラメータと前記第ｉ層パラメータ保護乱数とを乗算して該第ｉ層パラメータを秘匿化した第ｉ層秘匿化パラメータを生成するパラメータ秘匿化処理を前記第ｉ層毎に実行し、該第ｉ層秘匿化パラメータを前記通常領域へ出力し、前記第ｉ層パラメータと前記第ｉ層入力データ保護乱数とを乗算して前記第ｉ層入力データに対して施された秘匿化を除去する第ｉ層入力データ秘匿化除去パラメータを生成して前記隔離領域に保持する入力秘匿化影響除去パラメータ生成処理を前記第ｉ層毎に実行し、前記第ｉ層入力データ保護乱数を前記第ｉ層入力データに加算して該第ｉ層入力データに対して秘匿化を施した第ｉ層秘匿化入力データを生成する秘匿化入力データ生成処理を実行し、該第ｉ層秘匿化入力データを前記第ｉ層入力データとして前記通常領域へ出力し、前記通常領域において前記第ｉ層秘匿化パラメータに基づいて前記第ｉ層秘匿化入力データに対して実行された前記第ｉ層の処理の実行結果を該通常領域から取得し、該実行結果を前記第ｉ層パラメータ保護乱数により除算するパラメータ秘匿化影響除去処理を実行し、前記パラメータ秘匿化影響除去処理の実行結果から前記第ｉ層入力データ秘匿化除去パラメータを減算する入力秘匿化影響除去処理を実行し、該入力秘匿化影響除去処理の実行結果を前記第ｉ層から出力される第ｉ層出力データとする各処理を含んだことを特徴とする。

【発明の効果】

【0019】

本発明の一態様によれば、複数層の処理層による機械学習等の処理時に、機密情報である機械学習パラメータを保護することができる。

【0020】

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0021】

【図1】秘匿情報処理システムのシステム構成例を示すブロック図である。

【図2】秘匿情報処理システムのハードウェア構成例を示すブロック図である。

【図3】秘匿推論処理のための機能構成例及びデータ処理フローの一例を示す説明図である。

【図4】秘匿推論準備処理のデータ処理フローの一例を示すシーケンス図である。

【図5】秘匿推論実行処理のデータ処理フローの一例を示すシーケンス図である。

【図6】パラメータ秘匿化処理の一例を示すフローチャートである。

【図7】入力秘匿化影響除去パラメータ生成処理の一例を示すフローチャートである。

【図8】秘匿化入力データ生成処理の一例を示すフローチャートである。

【図9】パラメータ秘匿化影響除去処理の一例を示すフローチャートである。

【図10】入力秘匿化影響除去処理の一例を示すフローチャートである。

【図11】機械学習パラメータ秘匿化設定情報入力画面の一例を示すダイアログ図である。

【図12】各層処理秘匿化設定情報テーブルの一例を示す表である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

【0023】

（１）秘匿情報処理システム１の構成例
図１は、秘匿情報処理システム１のシステム構成例を示すブロック図である。秘匿情報処理システム１は、機械学習パラメータ等の企業秘密である機密情報を保持するパラメータホルダから暗号化した機械学習パラメータ等を預託される。また秘匿情報処理システム１は、個人情報等の機密情報を保持するデータホルダから暗号化したデータを預託される。秘匿情報処理システム１は、預託された機械学習パラメータ等とデータを、機密情報を秘匿化したまま処理結果利用者の処理要求に応じて処理し、当該処理結果を処理結果利用者に提供する。

【0024】

秘匿情報処理システム１は、例えば、パラメータホルダが機械学習パラメータ等を暗号化し預託するために用いられるパラメータホルダ端末５０を有する。また秘匿情報処理システム１は、データホルダがデータを暗号化し預託するために用いられるデータホルダ端末１０を有する。また秘匿情報処理システム１は、処理結果利用者が処理要求を生成して送信し、処理結果を参照する処理結果利用者端末２０を有する。また秘匿情報処理システム１は、パラメータホルダから預託された機械学習パラメータ等に基づきデータホルダから預託されたデータに対し処理結果利用者から受信した処理要求の処理を秘匿化したまま実行し処理結果を送信する秘匿情報処理サーバ３０を有する。パラメータホルダ端末５０、データホルダ端末１０、処理結果利用者端末２０、及び秘匿情報処理サーバ３０は、インターネット等のネットワーク４０で互いに接続されている。

【0025】

なお、秘匿情報処理システム１は、複数のパラメータホルダ端末５０を含んでもよいし、複数のデータホルダ端末１０を含んでもよいし、複数の処理結果利用者端末２０を含んでもよいし、複数の秘匿情報処理サーバを含んでもよい。なお、パラメータホルダ端末５０とデータホルダ端末１０が同一の端末であってもよいし、データホルダ端末１０と処理結果利用者端末２０が同一の端末であってもよい。

【0026】

図２は、秘匿情報処理システム１のハードウェア構成例を示すブロック図である。データホルダ端末１０は、例えば、パーソナルコンピュータ、スマートフォン、若しくはサーバ装置等の計算機、又は仮想計算機である。データホルダ端末１０は、例えば内部通信線で互いに接続された、ＣＰＵ（Control Processing Unit）１１、メモリ１２、補助記憶装置１３、ネットワークインタフェース１４、表示装置１５、及び入力装置１６を備える計算機によって構成される。

【0027】

ＣＰＵ１１は、プロセッサを含み、メモリ１２に格納されたプログラムを実行する。メモリ１２は、不揮発性の記憶素子であるＲＯＭ（Read Only Memory）及び揮発性の記憶素子であるＲＡＭ（Random Access Memory）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Basic Input／Output System））等を格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

【0028】

なおＣＰＵ１１は、ＴＥＥ（Trusted Execution Environment）機能を有するＴＥＥ対応のＣＰＵであり、メモリ１２は、ＴＥＥ対応のＣＰＵ２１がメモリ上に確保するハードウェア的な信頼領域であってメモリ上の他の領域と隔離されたＴＥＥ信頼領域１７を有する。第一の実施形態においては、ＣＰＵ１１はＴＥＥ機能を有していなくてもよいし、メモリ１２はＴＥＥ信頼領域１７を有していなくてもよい。なお、ＴＥＥ信頼領域１７で扱えるメモリ量が通常領域のメモリ量よりも小さく限られていてもよく（例えば１２８ＭＢ程度）、この場合、ＣＰＵ１１は、ＴＥＥ信頼領域１７上で処理を実行すると、通常領域上で処理を実行する場合と比較して処理速度が低下する。

【0029】

補助記憶装置１３は、例えば、磁気記憶装置（ＨＤＤ（Hard Disk Drive））、フラッシュメモリ（ＳＳＤ（Solid State Ｄrive））等の大容量かつ不揮発性の記憶装置であり、ＣＰＵ１１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１３から読み出されて、メモリ１２にロードされて、ＣＰＵ１１によって実行される。

【0030】

表示装置１５は、ディスプレイやプリンタ等の、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。入力装置１６は、キーボードやマウス等の、オペレータからの入力を受ける装置である。ネットワークインタフェース１４は、所定のプロトコルに従って、他の装置との通信を制御する。また、ネットワークインタフェース１４は、例えば、ＵＳＢ等のシリアルインターフェースを含んでもよい。

【0031】

ＣＰＵ１１が実行するプログラムは、予め、コンピュータ読み取り可能な非一時的記憶媒体である不揮発性の補助記憶装置１３に格納されていてもよいし、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリ等）でもよい。又は、他の装置の非一時的記憶装置からネットワークを介してデータホルダ端末１０に提供され、補助記憶装置１３に格納されてもよい。このため、データホルダ端末１０は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。これは、処理結果利用者端末２０及び秘匿情報処理サーバ３０においても同様である。

【0032】

なお、本実施形態においてＣＰＵ及びＧＰＵが実行する機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実現されてもよい。

【0033】

なお、本実施形態において、秘匿情報処理システム１が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよく、例えば、リスト、テーブル、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

【0034】

パラメータホルダ端末５０は、例えば、パーソナルコンピュータ、スマートフォン、若しくはサーバ装置等の計算機、又は仮想計算機である。パラメータホルダ端末５０は、例えば、内部通信線で互いに接続された、ＣＰＵ５１、メモリ５２、補助記憶装置５３、ネットワークインタフェース５４、表示装置５５、及び入力装置５６を備える計算機によって構成される。

【0035】

ＣＰＵ５１、メモリ５２、補助記憶装置５３、ネットワークインタフェース５４、表示装置５５、及び入力装置５６は、ＣＰＵ１１、メモリ１２、補助記憶装置１３、ネットワークインタフェース１４、表示装置１５、及び入力装置１６と同様のハードウェアである。但し、ＣＰＵ５１はＴＥＥ機能を有している必要はなく、メモリ５２には信頼領域を構築する必要はない。

【0036】

処理結果利用者端末２０は、例えば、パーソナルコンピュータ、スマートフォン、若しくはサーバ装置等の計算機、又は仮想計算機である。処理結果利用者端末２０は、例えば、内部通信線で互いに接続された、ＣＰＵ２１、メモリ２２、補助記憶装置２３、ネットワークインタフェース２４、表示装置２５、及び入力装置２６を備える計算機によって構成される。

【0037】

ＣＰＵ２１、メモリ２２、補助記憶装置２３、ネットワークインタフェース２４、表示装置２５、及び入力装置２６は、ＣＰＵ１１、メモリ１２、補助記憶装置１３、ネットワークインタフェース１４、表示装置１５、及び入力装置１６と同様のハードウェアである。但し、ＣＰＵ２１はＴＥＥ機能を有している必要はなく、メモリ２２には信頼領域を構築する必要はない。

【0038】

秘匿情報処理サーバ３０は、例えば、パーソナルコンピュータ、スマートフォン、若しくはサーバ装置等の計算機、又は仮想計算機である。秘匿情報処理サーバ３０は、例えば、バス等の内部通信線で互いに接続された、ＣＰＵ３１、メモリ３２、補助記憶装置３３、ネットワークインタフェース３４、表示装置３５、入力装置３６、及びＧＰＵ（Graphics Processing Unit）３９を備える計算機によって構成される。

【0039】

ＣＰＵ３１、メモリ３２、補助記憶装置３３、ネットワークインタフェース３４、表示装置３５、及び入力装置３６は、ＣＰＵ１１、メモリ１２、補助記憶装置１３、ネットワークインタフェース１４、表示装置１５、及び入力装置１６と同様のハードウェアである。但し、秘匿情報処理サーバ３０のＣＰＵ３１は、ＴＥＥ機能を有するＴＥＥ対応のＣＰＵである。秘匿情報処理サーバ３０のメモリ３２は、ＴＥＥ対応のＣＰＵ３１がメモリ上に確保するハードウェア的な信頼領域であり、メモリ上の他の領域と隔離された実行領域であるＴＥＥ信頼領域３８を有する。ＴＥＥ信頼領域３８は、通常領域から隔離された隔離領域ともいう。ＧＰＵ３９は、プロセッサを含み、メモリ３２に格納されたプログラムをメモリ３２のＴＥＥ信頼領域３８外の領域（通常領域）を用いて高速に実行する。なお、秘匿情報処理サーバ３０はＧＰＵ３９を有していなくてもよい。

【0040】

なお、本実施形態においてはパラメータホルダ端末５０、データホルダ端末１０及び秘匿情報処理サーバ３０がＴＥＥ機能を有しているが、メモリ上において通常領域と隔離された安全な実行領域での演算が可能な、ＴＥＥ機能とは異なる方式を採用してもよい。

【0041】

なお、ＣＰＵ１１、ＣＰＵ２１、ＣＰＵ３１、ＣＰＵ５１、及びＧＰＵ３９によって実行される処理の一部又は全部が、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアによって実行されてもよい。

【0042】

なお、パラメータホルダ端末５０、データホルダ端末１０、処理結果利用者端末２０、及び秘匿情報処理サーバ３０はいずれも、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムである。しかしパラメータホルダ端末５０、データホルダ端末１０、処理結果利用者端末２０、及び秘匿情報処理サーバ３０は、同一の計算機上で別個のスレッドで動作してもよく、また複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

【0043】

ネットワーク４０は、有線通信若しくは無線通信によるインターネット、社内ネットワーク等のイントラネット、又は衛星回線等の通信ネットワークである。

【0044】

（２）秘匿情報処理システム１の機能構成例及び秘匿推論処理のデータ処理例
図３は、秘匿推論処理のための機能構成例及びデータ処理フローの一例を示す説明図である。

【0045】

先ず、本実施形態に係る秘匿情報処理システム１が実行する秘匿推論処理の全体を説明する。秘匿情報処理システム１では、先ずパラメータホルダ端末５０が、各層処理秘匿化設定情報等の機密情報を含む機械学習パラメータ情報を暗号化して秘匿情報処理サーバ３０へ送信する。各層処理秘匿化設定情報は、ＣＮＮ（Convolutional Neural Network）といったニューラルネットワークの機械学習パラメータと各層の処理を秘匿化したまま実行する領域を指定する情報である。

【0046】

次に、秘匿情報処理サーバ３０は機械学習パラメータ情報をＴＥＥ信頼領域３８で復号して、パラメータ秘匿化設定情報をＴＥＥ信頼領域３８に保持する。そして、パラメータ秘匿化処理及び入力秘匿化影響除去パラメータ生成処理をＴＥＥ信頼領域３８で実行し、秘匿化機械学習パラメータ情報を通常領域に出力して保持し、入力秘匿化除去パラメータをＴＥＥ信頼領域３８に保持する。

【0047】

次に、秘匿情報処理システム１は、データホルダ端末１０が、個人情報等の機密情報を含む入力データを暗号化して秘匿情報処理サーバ３０に送信する。

【0048】

次に、秘匿情報処理サーバ３０は入力データをＴＥＥ信頼領域３８で復号して、複数の処理層を含むDeep Learningの推論処理の各層の処理を、パラメータ秘匿化設定情報に基づく秘匿化設定確認処理の結果に応じてＴＥＥ信頼領域３８又は通常領域で実行し、推論結果を暗号化して処理結果利用者端末２０へ送信する。そして、処理結果利用者端末２０は、受信した暗号化された推論結果を復号し、推論結果を取得する。

【0049】

以下、上述した各処理について、図３を参照しながら機能構成例とデータ処理フローの一例を詳しく説明する。

【0050】

秘匿情報処理サーバ３０は、例えば、通常のＣＰＵ及びメモリ並びにＧＰＵ等のアクセラレーションチップによる高速処理を行うためのメモリ３２上の通常領域３１０を有する。また秘匿情報処理サーバ３０は、ＣＰＵのＴＥＥ機能等が提供する高安全に隔離された処理実行領域であるメモリ３２上のＴＥＥ信頼領域３８を有する。

【0051】

通常領域３１０は、例えば、第ｉ層処理部３１２を含む。第ｉ層処理部３１２は、ＣＮＮ等の多層構造の機械学習（以下、ＣＮＮを例に説明をする）における各層の処理を実行する。なおＣＮＮは一例にすぎず、本実施形態はＲＮＮ（Recurrent Neural Network）等のその他のニューラルネットワークにも適用可能である。

【0052】

第ｉ層処理部３１２は、秘匿化機械学習パラメータ５１５に基づき、秘匿化入力データ５１６の層の処理を実行して秘匿化中間データ５１７を生成し、ＴＥＥ信頼領域３８のパラメータ秘匿化影響除去処理部５３３へ入力する。

【0053】

ＴＥＥ信頼領域３８は、例えば、第ｉ層処理部３２６、復号処理部５２２、復号処理部３２２、パラメータ秘匿化処理部５３４、入力秘匿化影響除去パラメータ生成処理部５３５、及び第ｉ層秘匿化設定確認処理部５３６を有する。またＴＥＥ信頼領域３８は、秘匿化入力データ生成処理部５２５、パラメータ秘匿化影響除去処理部５３３、入力秘匿化影響除去処理部５３８、乱数生成部５３９、及び暗号化処理部３２９を有する。

【0054】

第ｉ層処理部３２６は、ＣＮＮの層の処理を実行する。乱数生成部５３９は、各種の秘匿化処理に用いる乱数の生成を実行する。復号処理部５２２は、ＴＥＥ信頼領域３８に保存されている暗号鍵５３２を用いて暗号化された機械学習パラメータ情報５２１（機械学習パラメータ、各層処理秘匿化設定情報を含む）を復号する。復号処理部５２２は、復号した機械学習パラメータ情報５２１を、ＴＥＥ信頼領域３８に、機械学習パラメータ５２３、各層処理秘匿化設定情報５２４として保存する。復号処理部３２２は、ＴＥＥ信頼領域３８に保存されている暗号鍵３３１を用いて暗号化データ１０３を復号し、第ｉ層秘匿化設定確認処理部５３６へ入力する。

【0055】

パラメータ秘匿化処理部５３４は、機械学習パラメータ５２３が含む各層の機械学習パラメータ５２３と、乱数生成部５３９が生成する各層毎に異なるパラメータを保護するパラメータ保護乱数５２８を入力とし、秘匿化機械学習パラメータ５１５を生成する。パラメータ秘匿化処理部５３４は、生成した秘匿化機械学習パラメータ５１５を通常領域３１０へ保存する。

【0056】

入力秘匿化影響除去パラメータ生成処理部５３５は、各層の機械学習パラメータ５２３と、乱数生成部５３９が生成する各層毎に異なる各層の入力データを保護する入力データ保護乱数５２６を入力とし、入力秘匿化影響除去パラメータ５２９を生成する。入力秘匿化影響除去パラメータ生成処理部５３５は、生成した入力秘匿化影響除去パラメータ５２９をＴＥＥ信頼領域３８に保存する。

【0057】

第ｉ層秘匿化設定確認処理部５３６は、当該層の入力データ（入力データ３２３又は中間データ５３０）及び当該処理層の層番号ｉを入力とする。第ｉ層秘匿化設定確認処理部５３６は、各層処理秘匿化設定情報５２４における当該層番号の第ｉ層処理を実行する領域の情報を参照し、参照した結果が「信頼領域」を示す場合は入力データを第ｉ層処理部３２６へ入力する。一方第ｉ層秘匿化設定確認処理部５３６は、参照した結果が「通常領域」を示す場合は入力データを秘匿化入力データ生成処理部５２５へ入力する。

【0058】

第ｉ層処理部３２６は、ＴＥＥ信頼領域３８内にてＣＮＮ等の多層構造の機械学習における層の処理を実行し、最終層以外の場合は実行結果を中間データ３２７として出力し、最終層の場合は実行結果を推論結果３２８として出力する。

【0059】

秘匿化入力データ生成処理部５２５は、当該層の入力データを入力とし、入力データ保護乱数５２６における当該層の乱数を読出し、乱数生成部５３９が秘匿入力データ生成処理の度に生成する一時入力データ保護乱数５３７を読み出す。秘匿化入力データ生成処理部５２５は、これらの乱数に基づいて入力データを秘匿化する処理を実行し、秘匿化入力データ５１６を出力する。なお、秘匿化入力データ生成処理部５２５において、一時入力データ保護乱数５３７は使用せず秘匿化を行ってもよい。

【0060】

パラメータ秘匿化影響除去処理部５３３は、入力された秘匿化中間データ５１７に対し、各層のパラメータ保護乱数５２８に基づき、パラメータの秘匿化の影響を秘匿化中間データ５１７から取り除くパラメータ秘匿化影響除去処理を実行する。パラメータ秘匿化影響除去処理部５３３は、パラメータ秘匿化影響除去処理の実行結果を入力秘匿化影響除去処理部５３８へ入力する。

【0061】

入力秘匿化影響除去処理部５３８は、入力されたデータに対し、当該層の入力秘匿化影響除去パラメータ５２９と一時入力データ保護乱数５３７に基づいて、当該層への入力データの秘匿化の影響を取り除く入力秘匿化影響除去処理を実行する。入力秘匿化影響除去処理部５３８は、当該層が最終層以外の場合は推論結果５３１を出力し、当該層が最終層の場合は推論結果５３１を暗号化処理部３２９へ入力する。なお、当該層の秘匿化入力データ生成処理において、一時入力データ保護乱数５３７を使用せず秘匿化を行った場合、入力秘匿化影響除去処理において一時入力データ保護乱数５３７は用いない。また、一時入力データ保護乱数５３７は、秘匿推論準備処理の段階で事前に生成しておいてもよい。

【0062】

暗号化処理部２２９は、入力された推論結果３２８又は推論結果５３１に対し、ＴＥＥ信頼領域３８に保存されている暗号鍵３３２を用いた暗号化を実行し、暗号化推論結果３３０を通常領域３１０を経て出力する。

【0063】

また、パラメータホルダ端末５０は、メモリ５２、補助記憶装置５３、ＴＥＥ信頼領域５７に格納された暗号鍵５０４を用いて機械学習パラメータ情報５０１等を暗号化する暗号化処理部５０２を含む。データホルダ端末１０は、メモリ１２、補助記憶装置１３、又はＴＥＥ信頼領域１７に格納された暗号鍵１０４を用いてデータを暗号化する暗号化処理部１０２を含む。処理結果利用者端末２０は、メモリ２２又は補助記憶装置２３に格納された暗号鍵２０４を用いて暗号化推論結果等を復号する復号処理部２０２を備える。なお、パラメータホルダ端末５０、データホルダ端末１０及び処理結果利用者端末のいずれか２つ又は全てが同一端末でもよく、その場合、暗号化処理部５０２、暗号化処理部１０２、復号処理部２０２のいずれか２つ又は全てを同一端末が備える。

【0064】

また、ＧＰＵ３９は、メモリ３２の通常領域にロードされた第ｉ層処理プログラムに従って動作することで、第ｉ層処理部３１２としての処理を実行する。また、ＴＥＥ対応のＣＰＵ５１は、メモリ５２のＴＥＥ信頼領域５７にロードされた暗号化処理プログラムに従って動作することで、暗号化処理部５０２としての処理を実行する。また、ＴＥＥ対応のＣＰＵ１１は、メモリ１２のＴＥＥ信頼領域１７にロードされた暗号化処理プログラムに従って動作することで、暗号化処理部１０２としての処理を実行する。また、ＣＰＵ２１は、メモリ２２にロードされた推論結果表示プログラムに従って動作することで、メモリ２２にロードされた復号処理プログラムに従って動作することで、復号処理部２０２としての処理を実行する。

【0065】

以下、図３と図４とを用いて、第一の実施形態にかかる秘匿推論準備処理のデータ処理フローを説明する。図４は、秘匿推論準備処理のデータ処理フローの一例を示すシーケンス図である。先ずパラメータホルダ端末５０のＣＰＵ５１は、メモリ５２にロードされた機械学習パラメータ秘匿化設定情報入力画面表示プログラムに従って、図１１に示す機械学習パラメータ秘匿化設定情報入力画面を表示装置５５に表示する。そしてＣＰＵ５１は、利用者による対象とする機械学習パラメータの名称、対象の機械学習パラメータの層数、対象の機械学習パラメータの秘匿化要否及び対象の機械学習パラメータの各層処理秘匿化設定情報の入力を受付ける（ステップＳ４０１）。

【0066】

次に、パラメータホルダ端末５０の暗号化処理部５０２は、図１１に示す利用者の入力に基づく名称の機械学習パラメータを補助記憶装置５３から読出して暗号化する（ステップＳ４０２）。次に暗号化処理部５０２は、利用者の入力に基づく各層処理秘匿化設定情報をメモリ５２から読出して暗号化する（ステップＳ４０３）。次に暗号化処理部５０２は、これらの暗号化した機械学習パラメータ情報を秘匿情報処理サーバ３０へ送信することで機械学習パラメータ及び各層処理秘匿化設定情報を登録する（ステップＳ４０４）。秘匿情報処理サーバ３０は暗号化データ５０３を受信するとＴＥＥ信頼領域３８へ入力する。ＴＥＥ信頼領域３８の復号処理部５２２が、暗号化データ５０３を復号することで、機械学習パラメータ５２３及び図１２に示すデータ構造を備える各層処理秘匿化設定情報５２４を生成する（ステップＳ４０５）。

【0067】

次に、パラメータ秘匿化処理部５３４は、図６に示すパラメータ秘匿化処理を実行して実行結果を通常領域３１０へ出力し（ステップＳ４０６）、秘匿化機械学習パラメータ５１５として通常領域３１０へ保存する（ステップＳ４０７）。

【0068】

次に、入力秘匿化影響除去パラメータ生成処理部５３５は、図７に示す入力秘匿化影響除去パラメータ生成処理を実行し（ステップＳ４０８）、実行結果を入力秘匿化影響除去パラメータ５２９としてＴＥＥ信頼領域３８に保存し、パラメータホルダ端末５０へ登録完了の応答を送信する（ステップＳ４０９）。

【0069】

以下、図３と図５とを用いて、第一の実施形態にかかる秘匿推論実行処理のデータ処理フローを説明する。図５は、秘匿推論実行処理のデータ処理フローの一例を示すシーケンス図である。先ずデータホルダ端末１０の暗号化処理部１０２は、機密情報を含むデータ１０１を暗号化することで暗号化データ１０３を生成し（ステップＳ５０１）、暗号化データ１０３を秘匿情報処理サーバ３０へ送信することでデータ登録をする（ステップＳ５０２）。秘匿情報処理サーバ３０は暗号化データ１０３を受信するとＴＥＥ信頼領域３８へ入力する。ＴＥＥ信頼領域３８の復号処理部３２２が、暗号化データ１０３を復号することで、入力データ３２３を生成し（ステップＳ５０３）、当該処理の層番号を示す変数ｉの値を１として初期化する（ステップＳ５０４）。

【0070】

第ｉ層秘匿化設定確認処理部５３６は、各層処理秘匿化設定情報５２４における第ｉ層処理を実行する領域の情報を読出す（ステップＳ５０５）。その後第ｉ層秘匿化設定確認処理部５３６は、ステップＳ５０６に遷移し、読出した結果が「信頼領域」を示す（ステップＳ５０６Ｎｏ）場合、入力データを第ｉ層処理部３２６へ入力して第ｉ層の機械学習パラメータ情報を読出す（ステップＳ５０７）。そして第ｉ層秘匿化設定確認処理部５３６は、ＴＥＥ信頼領域３８内で第ｉ層処理を実行する（ステップＳ５０８）。

【0071】

一方第ｉ層秘匿化設定確認処理部５３６は、読出した結果が「通常領域」を示す場合（ステップＳ５０６Ｙｅｓ）、入力データを秘匿化入力データ生成処理部５２５へ入力して図８に示す秘匿化入力データ生成処理を実行する（ステップＳ５０９）。そして第ｉ層秘匿化設定確認処理部５３６は、実行結果の第ｉ層秘匿化入力データを通常領域３１０へ出力する（ステップＳ５１０）。

【0072】

また第ｉ層秘匿化設定確認処理部５３６は、ステップＳ５０８の後にステップＳ５１７へ遷移し、第ｉ層が最後の処理層でない場合（ステップＳ５１７Ｎｏ）、第ｉ層処理の出力データを次の層の入力データとしｉをインクリメントしてステップＳ５０５へ遷移する。一方第ｉ層秘匿化設定確認処理部５３６は、第ｉ層が最後の処理層である場合（ステップＳ５１７Ｙｅｓ）、暗号化処理部３２９が第ｉ層処理の出力データを推論結果として暗号化して処理結果利用者端末２０へ送信する（ステップＳ５１８）。

【0073】

次に、通常領域３１０の第ｉ層処理部３１２は、第ｉ層の秘匿化入力データ５１６を入力として読出す（ステップＳ５１１）。次に第ｉ層処理部３１２は、第ｉ層処理を実行し、実行結果を秘匿化中間データ５１７としてＴＥＥ信頼領域３８のパラメータ秘匿化影響除去処理部５３３へ入力する（ステップＳ５１２）。

【0074】

例えば、式（１）を用いて第ｉ層処理が実行される。式（１）は、第ｉ層秘匿化入力データｘ_ｉ´行列と第ｉ層の秘匿化機械学習パラメータＷ_ｉ´行列の積を実行し、実行結果ｙ_ｉ´を算出する演算を表す。

【0075】

【数1】

【0076】

次に、パラメータ秘匿化影響除去処理部５３３は、図９に示すパラメータ秘匿化影響除去処理を実行し、実行結果である第ｉ層のパラメータ秘匿化影響除去中間データを入力秘匿化影響除去処理部５３８へ入力する（ステップＳ５１３）。

【0077】

次に入力秘匿化影響除去処理部５３８は、図１０に示す入力秘匿化影響除去処理を実行し（ステップＳ５１４）、ステップＳ５１５へ遷移する。入力秘匿化影響除去処理部５３８は、第ｉ層が最後の処理層でない場合（ステップＳ５１５Ｎｏ）、実行結果である第ｉ層の出力データを次の層の入力データとしｉをインクリメントしてステップＳ５０５へ遷移する。一方入力秘匿化影響除去処理部５３８は、第ｉ層が最後の処理層である場合（ステップＳ５１５Ｙｅｓ）、実行結果である第ｉ層の出力データを推論結果として暗号化処理部３２９へ入力する。そして入力秘匿化影響除去処理部５３８は、暗号化した推論結果を処理結果利用者端末２０へ送信する（ステップＳ５１８）。

【0078】

図６は、パラメータ秘匿化処理の一例を示すフローチャートである。ＴＥＥ信頼領域３８のパラメータ秘匿化処理部５３４は、先ずｉの値を１として初期化する（ステップＳ６０１）。

【0079】

次に、パラメータ秘匿化処理部５３４は、各層処理秘匿化設定情報５２４から第ｉ層処理を実行する領域の情報を読出し（ステップＳ６０２）てステップＳ６０３へ遷移する。パラメータ秘匿化処理部５３４は、読出した結果が「信頼領域」を示す場合（ステップ６０３Ｎｏ）、ステップＳ６０７へ遷移する。一方パラメータ秘匿化処理部５３４は、読出した結果が「通常領域」を示す場合（ステップ６０３Ｙｅｓ）、ステップＳ６０４へ遷移する。

【0080】

次に、パラメータ秘匿化処理部５３４は、機械学習パラメータ５２３から第ｉ層の機械学習パラメータを読み出す（ステップＳ６０４）。そしてパラメータ秘匿化処理部５３４は、乱数生成部５３９が生成する第ｉ層のパラメータ保護用の乱数を取得してパラメータ保護乱数５２８に追加し保存する（ステップＳ６０５）。

【0081】

例えば、第ｉ層の機械学習パラメータは、式（２）を用いて表される。式（２）のＷ_ｉは、ｐ行ｑ列の行列を表す。また、例えば、第ｉ層のパラメータを保護するための第ｉ層パラメータ保護乱数は、式（３）を用いて表される。式（３）のβ_ｉはスカラーの乱数である。

【0082】

【数2】

【0083】

【数3】

【0084】

次に、パラメータ秘匿化処理部５３４は、第ｉ層の機械学習パラメータと第ｉ層の機械学習パラメータを乗算し、第ｉ層の秘匿化機械学習パラメータを算出する（ステップＳ６０６）。

【0085】

例えば、式（４）を用いて秘匿化機械学習パラメータが算出される。式（４）のＷ_ｉ´は、秘匿化された第ｉ層の機械学習パラメータである第ｉ層秘匿化パラメータの一例であり、ｐ行ｑ列の行列を表す。

【0086】

【数4】

【0087】

次にパラメータ秘匿化処理部５３４は、第ｉ層が最後の処理層ではない場合（ステップＳ６０７Ｎｏ）、ｉをインクリメント（ステップＳ６０８）してステップＳ６０２へ遷移する。一方パラメータ秘匿化処理部５３４は、第ｉ層が最後の処理層である場合（ステップＳ６０７Ｙｅｓ）、算出した秘匿機械学習パラメータ群を通常領域３１０へ出力し秘匿化機械学習パラメータ５１５として保存し、パラメータ秘匿化処理を終了する。

【0088】

図７は、入力秘匿化影響除去パラメータ生成処理の一例を示すフローチャートである。ＴＥＥ信頼領域３８の入力秘匿化影響除去パラメータ生成処理部５３５は、先ずｉの値を１として初期化する（ステップＳ７０１）。

【0089】

次に入力秘匿化影響除去パラメータ生成処理部５３５は、各層処理秘匿化設定情報５２４から第ｉ層処理を実行する領域の情報を読出し（ステップＳ７０２）てステップＳ７０３へ遷移する。入力秘匿化影響除去パラメータ生成処理部５３５は、読出した結果が「信頼領域」を示す（ステップ７０３Ｎｏ）場合、ステップＳ７０７へ遷移する。一方入力秘匿化影響除去パラメータ生成処理部５３５は、読出した結果が「通常領域」を示す場合（ステップ７０３Ｙｅｓ）、ステップＳ７０４へ遷移する。

【0090】

次に、入力秘匿化影響除去パラメータ生成処理部５３５は、乱数生成部５３９が生成する第ｉ層の入力データ保護用の入力データ保護乱数を取得してＴＥＥ信頼領域３８の入力データ保護乱数５２６に追加して保存する（ステップＳ７０４）。次に入力秘匿化影響除去パラメータ生成処理部５３５は、機械学習パラメータ５２３から第ｉ層の機械学習パラメータを読み出す（ステップＳ７０５）。

【0091】

例えば、式（５）を用いて第ｉ層の入力データ保護乱数が表される。式（５）のｒ_ｉは第ｉ層入力データ保護乱数の一例であり、ｍ行ｎ列の行列を表し、行列の各要素はそれぞれ異なる乱数である。

【0092】

【数5】

【0093】

また、例えば、式（６）を用いて第ｉ層の入力データ保護乱数が表される。式（６）のｒ_ｉ＾(j)は、第ｉ層の入力データ保護乱数の一例であり、１個のｍ行ｎ列の行列群を表し、行列の各要素はそれぞれ異なる乱数である。

【0094】

【数6】

【0095】

次に、入力秘匿化影響除去パラメータ生成処理部５３５は、第ｉ層の入力データ保護乱数と第ｉ層の機械学習パラメータを乗算して第ｉ層の入力秘匿化影響除去パラメータを算出する（ステップＳ７０６）。

【0096】

例えば、式（７）を用いて第ｉ層の入力秘匿化影響除去パラメータが算出される。式（７）のｕ_ｉは第ｉ層の入力データから秘匿化の影響を除去する第ｉ層入力データ秘匿化除去パラメータの一例であり、第ｉ層の入力データ保護乱数ｒ_ｉ行列と第ｉ層の機械学習パラメータＷ_ｉ行列の積により算出される。

【0097】

【数7】

【0098】

また例えば、式（８）を用いて第ｉ層の入力秘匿化影響除去パラメータが算出される。式（８）のｕ_ｉ＾（ｊ）は第ｉ層の入力秘匿化影響除去パラメータ群の一例であり、第ｉ層の入力データ保護乱数ｒ_ｉ＾（ｊ）行列と第ｉ層の機械学習パラメータＷ_ｉ行列の積により算出される。

【0099】

【数8】

【0100】

次に入力秘匿化影響除去パラメータ生成処理部５３５は、ステップＳ７０７において、第ｉ層が最後の処理層ではない場合（ステップＳ７０７Ｎｏ）、ｉをインクリメント（ステップＳ７０８）してステップＳ７０２へ遷移する。一方入力秘匿化影響除去パラメータ生成処理部５３５は、第ｉ層が最後の処理層である場合（ステップＳ７０７Ｙｅｓ）、算出した入力秘匿化影響除去パラメータ群をＴＥＥ信頼領域３８の入力秘匿化影響除去パラメータ５２９として保存する（ステップＳ７０７）。入力秘匿化影響除去パラメータ生成処理部５３５は、ステップＳ７０７が終了すると、入力秘匿化影響除去パラメータ生成処理を終了する。

【0101】

図８は、秘匿化入力データ生成処理の一例を示すフローチャートである。ＴＥＥ信頼領域３８の秘匿化入力データ生成処理部５２５は、先ず当該層である第ｉ層の入力データを読み出す（ステップＳ８０１）。

【0102】

例えば、式（９）を用いて第ｉ層の入力データが表される。式（９）のｘ_ｉは第ｉ層の入力データの一例であり、ｍ行ｎ列の行列を表し、行列の各要素はそれぞれ数値である。

【0103】

【数9】

【0104】

次に、秘匿化入力データ生成処理部５２５は、入力データ保護乱数５２６から第ｉ層の入力データ保護乱数を読出し（ステップＳ８０２）、乱数生成部５３９から新たな乱数を取得して一時入力データ保護乱数５３７として保存する（ステップＳ８０３）。

【0105】

例えば、式（１０）を用いて第ｉ層の一時入力データ保護乱数が表される。式（１０）のα_ｉは第ｉ層の一時入力データ保護乱数の一例であり、単一の乱数を表す。

【0106】

【数10】

【0107】

また、例えば、式（１１）を用いて第ｉ層の一時入力データ保護乱数が表される。式（１１）のα_ｉ^(j)は、ｌ個のそれぞれ異なる乱数である。

【0108】

【数11】

【0109】

次に、秘匿化入力データ生成処理部５２５は、一時入力データ保護乱数５３７を第ｉ層の入力データ保護乱数に乗算し第ｉ層の一時入力データ保護乱数を算出する（ステップＳ８０４）。

【0110】

次に、秘匿化入力データ生成処理部５２５は、第ｉ層の入力データと第ｉ層の一時入力データ保護乱数を加算し第ｉ層の秘匿化入力データを算出し、通常領域３１０へ出力して秘匿化入力データ５１６として保存し、処理を終了する（ステップＳ８０５）。

【0111】

例えば、式（１２）を用いて第ｉ層の秘匿化入力データが算出される。式（１２）のｘ_ｉ´は、秘匿化入力データの一例であり、ｍ行ｎ列の行列を表す。

【0112】

【数12】

【0113】

また例えば、式（１３）を用いて第ｉ層の秘匿化入力データが算出される。式（１３）のｘ_ｉ´は、秘匿化入力データの一例であり、ｍ行ｎ列の行列を表す。

【0114】

【数13】

【0115】

図９は、パラメータ秘匿化影響除去処理の一例を示すフローチャートである。ＴＥＥ信頼領域３８のパラメータ秘匿化影響除去処理部５３３は、先ず当該層である第ｉ層の秘匿化中間データ５１７を読み出す（ステップＳ９０１）。次にパラメータ秘匿化影響除去処理部５３３は、パラメータ保護乱数５２８から当該層である第ｉ層のパラメータ保護乱数を読み出す（ステップＳ９０２）。次にパラメータ秘匿化影響除去処理部５３３は、第ｉ層の秘匿化中間データ５１７を第ｉ層のパラメータ保護乱数で除算し、第ｉ層のパラメータ秘匿化影響除去中間データを算出してＴＥＥ信頼領域３８に保存する（ステップＳ９０３）。

【0116】

例えば、式（１４）を用いて第ｉ層のパラメータ秘匿化影響除去中間データが算出される。式（１４）のｙ_ｉ^～は、第ｉ層のパラメータ秘匿化影響除去中間データ秘匿化入力データの一例であり、行列を表す。

【0117】

【数14】

【0118】

図１０は、入力秘匿化影響除去処理の一例を示すフローチャートである。ＴＥＥ信頼領域３８の入力秘匿化影響除去処理部５３８は、先ず当該層である第ｉ層のパラメータ秘匿化影響除去中間データを読出す（ステップＳ１００１）。次に入力秘匿化影響除去処理部５３８は、一時入力データ保護乱数５３７を読出す（ステップＳ１００２）。次に入力秘匿化影響除去処理部５３８は、入力秘匿化影響除去パラメータ５２９から当該層である第ｉ層の入力秘匿化影響除去パラメータを読出す（ステップＳ１００３）。

【0119】

次に、入力秘匿化影響除去処理部５３８は、一時入力データ保護乱数５３７と第ｉ層の入力秘匿化影響除去パラメータを乗算し、第ｉ層の一時入力秘匿化影響除去パラメータを算出する（ステップＳ１００４）。

【0120】

次に、入力秘匿化影響除去処理部５３８は、第ｉ層の秘匿化パラメータ影響除去中間データから第ｉ層の一時入力秘匿化影響除去パラメータを減算した結果を第ｉ層の出力データとして出力し、処理を終了する（ステップＳ１００５）。

【0121】

例えば、式（１５）を用いて、第ｉ層の出力データが算出される。式（１５）は、入力秘匿化影響除去処理の実行結果である第ｉ層出力データの一例であり、ｙ_ｉは式（１６）の行列で表される。

【0122】

【数15】

【0123】

【数16】

【0124】

また、例えば、式（１７）を用いて、第ｉ層の出力データが算出される。式（１７）は、第ｉ層の出力データの一例であり、ｙ_ｉは式（１６）の行列で表される。

【0125】

【数17】

【0126】

図１１は、機械学習パラメータ秘匿化設定情報入力画面の一例を示すダイアログ図である。パラメータホルダ端末５０のＣＰＵ５１は、メモリ５２にロードされた機械学習パラメータ秘匿化設定情報入力画面表示プログラムに従って、機械学習パラメータ秘匿化設定情報入力画面１１００を表示装置５５に表示する。

【0127】

機械学習パラメータ秘匿化設定情報入力画面１１００の対象パラメータ入力部１１０１は、秘匿情報処理サーバ３０へ送信する対象とする機械学習パラメータの識別情報（ファイル名等）を利用者が入力する入力フォームである。処理層総数入力部１１０２は、対象とする機械学習パラメータの総数を利用者が入力する、又はＣＰＵ５１が機械学習パラメータから層数を読み取り入力する入力フォームである。パラメータ秘匿化要否入力部１１０３は、利用者が対象とする機械学習パラメータを秘匿情報処理サーバ３０に対して秘匿化することの要否を指定する、又はＣＰＵ５１が対象とする機械学習パラメータから秘匿化の要件を読み取り入力する入力フォームである。

【0128】

機械学習パラメータ秘匿化設定情報入力画面１１００の層処理タイプ入力部１１１１～１１１４は、利用者が各処理層の演算の種類を入力する、又はＣＰＵ５１が対象とする機械学習パラメータから各層の演算の種類を読み取り入力する入力フォームである。信頼領域秘匿処理可否入力部１１２１～１１２４は、利用者が当該層の演算がＴＥＥ信頼領域３８で処理可能であるか否かを入力する、又はＣＰＵ５１が対象とする機械学習パラメータから各層の演算の種類に基づき入力する入力フォームである。通常領域秘匿処理可否入力部１１３１～１１３４は、利用者が当該層の演算が通常領域３１０で秘匿化したまま演算可能であるか否かを入力する、又はＣＰＵ５１が対象とする機械学習パラメータから各層の演算の種類に基づき入力する入力フォームである。第ｉ層処理実行領域入力部１１４１～１１４４は、利用者が当該層の演算を通常領域３１０で実行するかＴＥＥ信頼領域３８で実行するかを入力する、又はＣＰＵ５１が対象とする機械学習パラメータから各層の演算の種類に基づき入力する入力フォームである。

【0129】

機械学習パラメータ秘匿化設定情報入力画面１１００の入力確定操作部１１０５は、利用者が各フォームへの入力内容を確定する際に、マウス等の入力装置５６を用いて押下する入力ボタンである。入力取消操作部１１０６は、利用者が各フォームへの入力内容を取消して入力を中止する際に、マウス等の入力装置５６を用いて押下する入力ボタンである。

【0130】

図１２は、各層処理秘匿化設定情報のデータ構造の一例を示す表である。図１２では、ＴＥＥ信頼領域３８の各層処理秘匿化設定情報５２４の一例として、パラメータホルダ端末５０が送信した機械学習パラメータの各層の処理の秘匿化設定の情報を格納した各層処理秘匿化設定情報５２４が示されている。

【0131】

図１２の各層処理秘匿化設定情報５２４は、層番号、層の処理タイプ、信頼領域での秘匿処理可否、通常領域での秘匿処理可否、及び第ｉ層処理を実行する領域のカラムを有して構成される。具体的に例えば、３行目のレコード５２４３は、複数の処理層の３層目の層の処理タイプがdenseという線形演算を実行する処理であることを示す。またレコード５２４３は、信頼領域での機密パラメータ・データを保護したまま処理する秘匿処理が可能であることを示す。またレコード５２４３は、通常領域での機密パラメータ・データを保護したまま処理する秘匿処理が可能であり、利用者が指定した第３層処理を実行する領域が通常領域であることを示す。なお、当然ながら、本実施形態に係る秘匿情報処理システム１で利用できる各層処理秘匿化設定情報５２４は、上記のような設定情報データに限定されるものではなく、データベース等のデータ構造全般を採用することができる。

【0132】

（３）実施形態の効果
上述の実施形態の秘匿情報処理サーバ３０は、機密情報である機械学習パラメータの預託を受けた際、ＧＰＵ等の高速な処理が可能な通常領域に機械学習パラメータを配置する前に、ＴＥＥ信頼領域において機械学習パラメータのパラメータ秘匿化処理を実行する。このため、秘匿情報処理サーバ３０の通常領域のデータにアクセスできるサーバ管理者や管理者の権限を奪ったサイバー攻撃者に対し、機密情報である機械学習パラメータの情報漏洩を防ぐことができる。

【0133】

また秘匿情報処理サーバ３０は、機密情報である入力情報に対してＣＮＮ等の複数層の処理からなる推論処理を通常領域で実行する際に、ＴＥＥ信頼領域において秘匿化入力データ生成処理を実行してから通常領域へ秘匿化入力データを出力する。そして、ＧＰＵ等の高速な処理が可能な通常領域にて秘匿化入力データと秘匿化機械学習パラメータに基づきＣＮＮ等の各層の処理を実行して秘匿化中間データを生成する。そして、生成した秘匿化中間データをＴＥＥ信頼領域に入力してからパラメータ秘匿化影響除去処理及び入力秘匿化影響除去処理を実行して推論処理結果を算出する。そして、ＴＥＥ信頼領域にて機密情報である推論処理結果を暗号化して、処理結果利用者端末２０又はデータホルダ端末１０へ送信する。よって、機密情報である入力データ、機械学習パラメータ及び推論結果をＧＰＵ等の高速な処理が可能な通常領域で保存又は処理する際に常に秘匿化又は暗号化した状態で取り扱うことができる。これにより、複数層の処理からなる推論処理をＧＰＵ等の高速な処理が可能な通常領域で実行する際に、秘匿情報処理サーバ３０の攻撃者に対し、機密情報である入力データ、機械学習パラメータ及び推論処理結果が情報漏洩することを防ぐことができる。

【0134】

また秘匿情報処理サーバ３０は、機密情報である入力情報に対してＣＮＮ等の複数層の処理からなる推論処理を通常領域で実行する際に、ＴＥＥ信頼領域においてその入力情報のみに使用する一時乱数を生成する。そして、入力情報毎に異なる乱数を含む秘匿化入力データ生成処理を実行してから通常領域へ秘匿化入力データを出力する。このため、入力情報毎に異なる一時乱数を使用しない場合に秘匿情報処理サーバ３０のサーバ管理者やサイバー攻撃者が入力情報を意図的に０として秘匿化入力データ生成処理を行う。よって入力データ保護乱数を特定し入力情報を暴露することによる情報漏洩を防ぐことができる。

【0135】

また、秘匿情報処理サーバ３０は、パラメータホルダ端末５０の利用者が指定した各層処理秘匿化設定情報に基づき、機械学習パラメータの各層毎に、通常領域で処理するかＴＥＥ信頼領域で処理するかを指定できる。このため、機械学習パラメータの各層の種類等の特徴毎に異なるＧＰＵによる処理の可否や高速化効果の有無等を考慮した各層毎の処理を実行する領域の指定ができ、ＣＮＮ等の複数層の処理からなる推論処理を効率化することができる。

【0136】

（４）その他の実施形態
（４－１）第ｉ層の処理の実行主体
上述の実施形態では、秘匿情報処理サーバ３０は、通常領域３１０において第ｉ層の処理を実行し、ＴＥＥ信頼領域３８において第ｉ層パラメータと第ｉ層入力データの秘匿化及び秘匿化の解除を行うとした。第ｉ層の処理は、必ずしも秘匿情報処理サーバ３０によって実行される必要はなく、秘匿情報処理サーバ３０と通信を介して接続される通常領域を有する外部装置で実行されてもよい。すなわち秘匿情報処理サーバ３０は、第ｉ層の処理の実行指示を外部装置に出力する。そして外部装置は、実行指示に応じて、通常領域において第ｉ層の処理を実行し、実行結果を秘匿情報処理サーバ３０に返す。そして秘匿情報処理サーバ３０は、外部装置から第ｉ層の処理の実行結果を取得するとしてもよい。

【0137】

（４－２）第ｉ層の入力データ保護のための一時乱数
上述の実施形態では、第ｉ層入力データ保護乱数（式（５））に第ｉ層の入力データを保護する一時乱数α_ｉ（式（１０））を乗算した第ｉ層一時入力データ保護乱数α_ｉ・ｒ_ｉを用いて（式（１２））、第ｉ層の入力データの秘匿化を行う。しかし必ずしも第ｉ層の一時乱数α_ｉを用いる必要はなく、第ｉ層の一時乱数α_ｉに代えて“１”を用いてもよい。

【0138】

（４－３）第ｉ層入力データ保護乱数
上述の実施形態では、第ｉ層入力データ保護乱数（式（５））に第ｉ層の入力データを保護する一時乱数α_ｉ（式（１０））を乗算した第ｉ層一時入力データ保護乱数α_ｉ・ｒ_ｉを用いて（式（１２））、第ｉ層の入力データの秘匿化を行う。しかし必ずしも第ｉ層入力データ保護乱数を用いる必要はなく、第ｉ層入力データ保護乱数に代えて、第ｉ層入力データ保護乱数とサイズが同一の行列であって要素が全て“１”の行列を用いてもよい。

【0139】

本発明は上述した実施形態に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施形態の構成の一部について、他の構成の追加・削除・置換をしてもよい。

【0140】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよい。また前述した各構成、機能、処理部、処理手段等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0141】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

【0142】

また、図面において制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【0143】

また、本発明は、個人情報に加えて営業機密等、機密性が高く社内規則等で社外への公開が制限されている機密情報を秘匿化して社外組織等に提供する場合にも、同様の効果を得ることができる。

【0144】

そして本発明は、顧客情報や医療情報等の個人情報、及び営業機密等の機密情報を扱う複数の組織において、個人情報や営業機密情報を秘匿したまま高度なDeep Learning等の処理効率を向上することができるため、多様な機密情報を連携する公共・民間サービス向けの情報処理システムに広く適用することができる。

【符号の説明】

【0145】

１：秘匿情報処理システム、３０：秘匿情報処理サーバ、３１：ＣＰＵ、３８：ＴＥＥ信頼領域、３１０：通常領域、３１２：第ｉ層処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】