知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-01
(45)【発行日】2024-07-09
(54)【発明の名称】勾配降下法のセキュアな連合方法、システム、プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240702BHJP
G06N 3/098 20230101ALI20240702BHJP
G09C 1/00 20060101ALI20240702BHJP
【ＦＩ】
G06N20/00
G06N3/098
G09C1/00 650Z
【請求項の数】
20
(21)【出願番号】P 2022525956
(86)(22)【出願日】2020-11-05
(65)【公表番号】
(43)【公表日】2023-01-18
(86)【国際出願番号】 IB2020060418
(87)【国際公開番号】W WO2021094879
(87)【国際公開日】2021-05-20
【審査請求日】2023-04-24
(31)【優先権主張番号】16/684,806
(32)【優先日】2019-11-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(72)【発明者】
【氏名】ラーダークリシュナン、ジャヤラム、カッラパラヤム
(72)【発明者】
【氏名】トーマス、ゲギ
(72)【発明者】
【氏名】ヴェルマ、アシシュ
【審査官】渡辺 一帆
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０３１２７７２（ＵＳ，Ａ１）
【文献】国際公開第２０１６／０６１６３５（ＷＯ，Ａ１）
【文献】特開２０１９－１２１２５６（ＪＰ，Ａ）
【文献】PHONG, LT et al.，"Privacy-Preserving Deep Learning via Additively Homomorphic Encryption"，IEEE Transactions on Information Forensics and Security [online]，IEEE，2017年，Vol. 13, No. 3，pp. 1333-1345，[retrieved on 2024.03.04], Retrieved from the Internet: <URL: https://ieeexplore.ieee.org/document/8241854>，<DOI: 10.1109/TIFS.2017.2787987>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００－２０／２０
Ｇ０６Ｎ ３／０２－３／１０
Ｇ０９Ｃ １／００
(57)【特許請求の範囲】
【請求項1】
メモリに動作的に結合された処理ユニットと、前記処理ユニットと通信する人工知能（ＡＩ）プラットフォームであって、機械学習モデルを訓練する、前記人工知能プラットフォームと、を備えたシステムであって、前記ＡＩプラットフォームが、
コラボラティブな関係で参加エンティティを登録し、登録済みエンティティをトポロジに配置し、トポロジ通信方向を確立する登録マネージャと、
公開加法準同型暗号化（ＡＨＥ）鍵を生成し、それを各登録済みエンティティに配布する暗号化マネージャと、
対応する配布ＡＨＥ鍵によるエンティティ局所機械学習モデル重みの暗号化を局所的に指示し、その暗号化局所機械学習モデル重みを選択的に集約し、その選択的集約暗号化重みを、前記トポロジ通信方向に応じて、前記トポロジにおける１つまたは複数のエンティティに配布するエンティティ・マネージャと、を備え、
前記暗号化マネージャが、前記暗号化局所機械学習モデル重みの集約和を、対応する秘密ＡＨＥ鍵による暗号解読の対象とし、その暗号解読集約和を前記トポロジにおける各エンティティに配布する、システム。
【請求項2】
１つの参加エンティティが２つ以上の内部エンティティから成り、前記エンティティ・マネージャが、前記２つ以上の内部エンティティに局所的に結合された１つまたは複数の機械学習モデルからの重みを集約することと、
その集約重みを前記ＡＨＥ鍵で局所的に暗号化することとを行うようにさらに構成され、前記集約重みが準同型データ型に相当する、請求項１に記載のシステム。
【請求項3】
前記エンティティ・マネージャが、前記暗号化マネージャから前記暗号解読集約和を受信し、前記集約和を前記２つ以上の局所結合機械学習モデルに伝えるようにさらに構成されている、請求項２に記載のシステム。
【請求項4】
前記トポロジがリングトポロジであり、前記登録マネージャが、前記トポロジにおける各参加エンティティにランクを割り当て、前記トポロジにおけるその割り当てランクに応じて、第１のトポロジ方向に機械学習モデル重みを徐々に暗号化し、集約するようにさらに構成されている、請求項１に記載のシステム。
【請求項5】
前記登録マネージャが、使用可能な通信帯域幅に応じて前記第１のトポロジ方向を修正するようにさらに構成されている、請求項４に記載のシステム。
【請求項6】
前記登録マネージャが、前記参加エンティティを完全連結型トポロジに配置するようにさらに構成され、前記エンティティ・マネージャが、各参加エンティティが前記暗号化局所機械学習モデル重みを前記トポロジにわたって一斉送信し、前記選択的集約には、各参加エンティティが、受信した一斉送信暗号化重みを局所的に集約することがさらに含まれる、というプロードキャスティングプロトコルを採用し、
前記暗号化マネージャが各局所集約を参加検証の対象とするようにさらに構成されている、請求項１に記載のシステム。
【請求項7】
前記エンティティ・マネージャが、重み配列として前記局所機械学習モデル重みを表すことと、その暗号化配列を複数の２つ以上のチャンクに分けることであって、チャンク数が前記登録済み参加者数に相当する整数である、前記分けることと、各チャンクを前記ＡＨＥ鍵で局所的に暗号化することと、並行してかつ前記トポロジに応じて、前記チャンクを同期して集約することと、を行うようにさらに構成されている、請求項１に記載のシステム。
【請求項8】
機械学習モデルを訓練するプログラム・コードを含むコンピュータ・プログラムであって、前記プログラム・コードが、プロセッサに、コラボラティブな関係で参加エンティティを登録し、その登録済みエンティティをトポロジに配置し、トポロジ通信方向を確立することと、
公開加法準同型暗号化（ＡＨＥ）鍵を生成し、それを各登録済みエンティティに配布することと、
対応する配布ＡＨＥ鍵によるエンティティ局所機械学習モデル重みの暗号化を局所的に指示し、その暗号化局所機械学習モデル重みを選択的に集約し、その選択的集約暗号化重みを前記トポロジ通信方向に応じて、前記トポロジにおける１つまたは複数のエンティティに配布することと、
前記暗号化局所機械学習モデル重みの集約和を、対応する秘密ＡＨＥ鍵による暗号解読の対象とし、その暗号解読集約和を前記トポロジにおける各エンティティに配布することと、を実行させる、コンピュータ・プログラム。
【請求項9】
１つの参加エンティティが２つ以上の内部エンティティから成り、プログラム・コードが、前記プロセッサに、
前記２つ以上の内部エンティティに局所的に結合された１つまたは複数の機械学習モデルからの重みを集約することと、
その集約重みを前記ＡＨＥ鍵で局所的に暗号化することとを実行させるようにさらに構成され、前記集約重みが準同型データ型に相当する、請求項８に記載のコンピュータ・プログラム。
【請求項10】
プログラム・コードが、前記プロセッサに、前記暗号解読集約和を受信し、前記集約和を前記２つ以上の内部エンティティに伝えることを実行させるようにさらに構成されている、請求項９に記載のコンピュータ・プログラム。
【請求項11】
前記トポロジがリングトポロジであり、プログラム・コードが、前記プロセッサに、前記トポロジにおける各参加エンティティにランクを割り当て、前記トポロジにおけるその割り当てランクに応じて、第１のトポロジ方向に機械学習モデル重みを徐々に暗号化し、集約することを実行させるようにさらに構成されている、請求項８に記載のコンピュータ・プログラム。
【請求項12】
前記プログラム・コードが、前記プロセッサに、使用可能な通信帯域幅に応じて前記第１のトポロジ方向を修正することを実行させるようにさらに構成されている、請求項１１に記載のコンピュータ・プログラム。
【請求項13】
プログラム・コードが、前記プロセッサに、重み配列として前記局所機械学習モデル重みを表すことと、その暗号化配列を複数の２つ以上のチャンクに分けることであって、チャンク数が前記登録済み参加者数に相当する整数である、前記分けることと、各チャンクを前記ＡＨＥ鍵で局所的に暗号化することと、並行してかつ前記トポロジに応じて、前記チャンクを同期して集約することと、を実行させるようにさらに構成されている、請求項８に記載のコンピュータ・プログラム。
【請求項14】
前記トポロジが完全連結型であり、プログラム・コードが、前記プロセッサに、
前記暗号化局所機械学習モデル重みを前記トポロジにわたって一斉送信することと、
受信した一斉送信暗号化重みを局所的に集約することと、
各局所集約をエンティティ参加検証の対象とすることと、を実行させるようにさらに構成されている、請求項８に記載のコンピュータ・プログラム。
【請求項15】
コンピュータの情報処理によって実行される方法であって、
参加エンティティを、機械学習モデルを訓練するコラボラティブな関係で登録することと、
その登録済み参加エンティティをトポロジに配置して、トポロジ通信方法を確立することと、
各登録済み参加エンティティが、公開加法準同型暗号化（ＡＨＥ）鍵を受信し、局所機械学習モデル重みをその受信した鍵で暗号化することと、
その暗号化局所機械学習モデル重みを選択的に集約して、その選択的集約暗号化重みを、前記トポロジ通信方向に応じて、前記トポロジにおける１つまたは複数の参加エンティティに配布することと、
前記暗号化局所機械学習モデル重みの集約和を、対応する秘密ＡＨＥ鍵による暗号解読の対象とし、その暗号解読集約和を前記登録済みエンティティに配布することと、を含む、方法。
【請求項16】
１つの参加エンティティが２つ以上の内部エンティティから成り、前記２つ以上の内部エンティティに局所的に結合された１つまたは複数の機械学習モデルからの重みを集約することと、
その集約重みを前記ＡＨＥ鍵で局所的に暗号化することであって、前記集約重みが準同型データ型に相当する、暗号化することと、
前記１つの参加エンティティが前記暗号解読集約和を受信し、その集約和を前記２つ以上の内部エンティティに伝えることと、をさらに含む、請求項１５に記載の方法。
【請求項17】
前記トポロジがリングトポロジであり、前記トポロジにおける各参加エンティティにランクを割り当て、前記トポロジにおけるその割り当てランクに応じて、第１のトポロジ方向に機械学習モデル重みを徐々に暗号化し、集約すること、をさらに含む、請求項１５に記載の方法。
【請求項18】
重み配列として前記局所機械学習モデル重みを表すことと、その暗号化配列を複数の２つ以上のチャンクに分けることであって、チャンク数が前記登録済み参加者数に相当する整数である、前記分けることと、各チャンクを前記ＡＨＥ鍵で局所的に暗号化することと、並行してかつ前記トポロジに応じて、前記チャンクを同期して集約することと、をさらに含む、請求項１５に記載の方法。
【請求項19】
各参加エンティティが１つの集約チャンクを受信すると同期集約を完結させることと、前記１つの集約チャンクを暗号解読エンティティに送信することと、その送信チャンクを対応するＡＨＥ秘密鍵による暗号解読の対象とすることと、その暗号解読チャンクを連結させることと、その連結暗号解読チャンクを前記登録済み参加エンティティに配布することと、をさらに含む、請求項１８に記載の方法。
【請求項20】
前記トポロジが完全連結型であり、前記方法が、各参加エンティティが前記暗号化局所機械学習モデル重みを前記トポロジにわたって一斉送信することであって、
前記選択的集約には、各参加エンティティが、受信した一斉送信暗号化重みを局所的に集約することがさらに含まれる、前記一斉送信することと、
各局所集約をエンティティ参加検証の対象とすることと、をさらに含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、深層ニューラル・ネットワークを含む機械学習モデルを勾配降下法に基づき訓練することに関するものである。より具体的には、本実施形態は、繰り返しアルゴリズムに基づき、分散型で、連合式に、非公開かつセキュアに、機械学習モデルを訓練するコラボレーションに関するものである。
【背景技術】
【0002】
人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、人間に関係するコンピュータおよびコンピュータ挙動を対象とするコンピュータ科学分野に関わっている。ＡＩは、マシンが、所与の主題において成功のチャンスを最大限にする情報に基づき判断を下すことができ知能のことである。より具体的には、ＡＩは、問題を解くように設定されたデータから学習し、該当する推奨事項を与えることができる。例えば、人工知能コンピュータ・システム分野では、自然言語システム（ＩＢＭ Ｗａｔｓｏｎ（Ｒ）人工知能コンピュータ・システムなどの自然言語質疑応答システムなど）は、システム取得知識に基づき自然言語を処理する。自然言語を処理する際、このシステムは、知識のデータベースすなわちコーパスから導出したデータで訓練されるが、その結果としての成果が、様々な理由で、不正確か不確かである場合がある。
【0003】
人工知能（ＡＩ）の一部である機械学習（ＭＬ：Ｍａｃｈｉｎｅ Ｌａｒｎｉｎｇ）は、データから学習し、このデータに基づいて先見を作成するアルゴリズムを利用する。ＭＬは、はっきりとはプログラムされていないタスクを行うことによって、学習挙動を実演することができるニューラル・ネットワークを含む、モデル作成を通したＡＩアプリケーションである。深層学習は、システムが、前の層の出力に基づき、複数の選択層によって複雑なタスクを果たし、結果を益々賢明に概念的にすることができる、類のＭＬである。深層学習では、本明細書では人工ニューラル・ネットワークとしているニューラル・ネットワークを採用して、入力と出力との複雑な関係をモデル化して、そこにあるパターンを特定する。
【0004】
ＡＩとその関連の論理的思考の核心には、類似性の概念がある。自然言語とその対象を理解する過程では、困難である場合がある関係の視点からの論理的思考が必要になる。静的構造および動的構造を含む構造は、判断入力が何であれ、判断出力すなわち判断行動を決定付ける。より具体的には、判断出力すなわち判断行動は、構造内の表現すなわち固有の関係に基づく。決まった場合や条件では、この仕組みで十分とすることができる。しかし、分かっていることであるが、動的構造が、本質的に変わりやすいものであり、出力すなわち行動もそれに従って変わりやすくなり得る。
【発明の概要】
【0005】
本発明のある態様において、機械学習モデルを訓練するのに人工知能（ＡＩ）プラットフォームを使用するシステムを提供する。処理ユニットが、メモリに動作的に結合され、登録マネージャ、暗号化マネージャ、およびエンティティ・マネージャの形態でツールが埋め込まれているＡＩプラットフォームと通信する。登録マネージャは、参加エンティティをコラボラティブな関係で登録し、トポロジに登録済みエンティティを配置し、トポロジ通信方向を確立するように機能する。暗号化マネージャは、公開加法準同型暗号化（ＡＨＥ：Ａｄｄｉｔｉｖｅ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ）鍵を生成し、それを各登録済みエンティティに配布するように機能する。エンティティ・マネージャは、エンティティ局所機械学習モデル重みの対応する配布ＡＨＥ鍵による暗号化を局所的に指示するように機能する。エンティティ・マネージャは、暗号化局所機械学習重みを選択的に集約し、その集約重みを、トポロジ通信方向に応じて、トポロジにおける１つまたは複数のエンティティに配布するように機能する。暗号化マネージャは、暗号化局所機械学習モデル重みの集約和を、対応する秘密ＡＨＥ鍵による暗号解読の対象とし、集約和をトポロジにおける各エンティティに配布する。暗号化マネージャはさらに、暗号化局所機械学習モデル重みの暗号解読集約和を、登録済み参加エンティティ同士で共有させるように機能する。
【0006】
別の態様において、機械学習モデルを訓練するコンピュータ・プログラム製品を提供する。コンピュータ・プログラム製品としては、プログラム・コードを具現化したコンピュータ可読記憶媒体が挙げられ、プログラム・コードは、コラボラティブな関係で参加エンティティを登録し、登録済みエンティティをトポロジに配置し、トポロジ通信方向を確立するようにプロセッサによって実行可能である。公開加法準同型暗号化（ＡＨＥ：Ａｄｄｉｔｉｖｅ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ）鍵を生成して、各登録済みエンティティに配布するプログラム・コードを提供する。プログラム・コードは、エンティティ局所機械学習モデル重みの対応する配布ＡＨＥ鍵による暗号化を局所的に指示する。局所機械学習モデル重みは、選択的に集約され、集約重みは、トポロジ通信方向に応じてトポロジにおける１つまたは複数のエンティティに配布される。さらに、暗号化局所機械学習モデル重みの集約和を対応する秘密ＡＨＥ鍵による暗号解読の対象とするプログラム・コードを提供する。暗号解読集約和は、トポロジにおける各エンティティに配布され、そこでは、暗号化局所機械学習モデル重みの暗号解読集約和が、登録済み参加エンティティ同士で共有される。
【0007】
また別の態様において、機械学習モデルを訓練する方法を提供する。参加エンティティがコラボラティブな関係で登録される。登録済み参加エンティティは、トロポジで配置され、トポロジ通信方向が確立される。各登録済み参加エンティティは、公開加法準同型暗号化（ＡＨＥ）鍵を受信し、局所機械学習モデル重みが受信した鍵で暗号化される。暗号化局所機械学習モデル重みは、選択的に集約され、選択的集約暗号化重みは、トポロジ通信方向に応じてトポロジにおける１つまたは複数の参加エンティティに配布される。暗号化局所機械学習モデル重みの集約和は、対応する秘密ＡＨＥ鍵による暗号解読の対象となる。暗号化局所機械学習モデル重みの暗号解読集約和は、登録済み参加エンティティ同士で共有される。
【0008】
添付図面と絡めて、以下の本開示の好ましい実施形態の詳細な説明から、これらなどの特徴および利点が分かってくるであろう。
【0009】
本明細書における図面参照は、本明細書の一部を成す。図面に示す特徴は、そうではないとはっきり示していない限り、すべての実施形態ではなく、いくつかの実施形態のみの理解を助けるものである。
【図面の簡単な説明】
【0010】
【図1】分散型確率的勾配降下法のセキュアな連合をサポートする、ネットワーク環境において接続されたシステムの良い例となるフローチャートの描写である。
【図3】管理ドメインおよびドメイン内集約の良い例となるブロック図の描写である。
【図4】管理ドメインへドメイン内集約を伝達する工程の良い例となるフローチャートの描写である。
【図5】ＭＬプログラムのドメイン間コラボレーションおよび訓練の工程の良い例と成るフローチャートの描写である。
【図7】完全連結型トポロジにエンティティを配置し、そのトポロジにわたってブロードキャスト通信プロトコルを採用する工程の良い例となるフローチャートの描写である。
【図8】そのメンバーシップが動的に変わる、チャネル・グループまたはブロードキャスト・グループにわたって重み暗号化および重み集約をサポートし、可能にする工程の良い例となるフローチャートの描写である。
【図9】局所重み配列を暗号化すると同時に、並行してその配列のチャンクを集約する工程の良い例となるフローチャートの描写である。
【図11】クラウド・コンピュータ環境の良い例となるブロック図の描写である。
【図12】クラウド・コンピューティング環境によって与えられた一連の機能抽象化モデル層の良い例となるブロック図の描写である。
【発明を実施するための形態】
【0011】
本明細書の図で大まかに説明し、示すように、本実施形態の構成要素が、多種多様な構成で配置、設計されてもよい、ということがすぐに分かるであろう。それ故、図に提示する、以下の本実施形態の装置、システム、およびコンピュータ・プログラム製品の実施形態の詳細な説明は、請求項に記載の本実施形態の範囲を限ることを目的とするものではなく、単に、選択した実施形態を表すものに過ぎない。
【0012】
本明細書全体を通して、「選択実施形態」、「ある実施形態」、または「一実施形態」と言うとき、それは、その実施形態との絡みで述べる特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれる、ということを意味する。それ故、本明細書全体を通して様々な個所で「選択実施形態において」、「ある実施形態において」、または「一実施形態において」と言った言い回しが出てきたときには、必ずしも、同じ実施形態のことを言っているわけではない。
【0013】
図示の実施形態は、全体を通して同じ部分が同じ番号で示されている図面を参照すると、一番良く分かるであろう。以下の説明は、単に例としてのものに過ぎず、本明細書において請求の対象となる実施形態と一致するデバイス、システム、および工程の特定の選択実施形態の良い例と成るものに過ぎない。
【0014】
深層学習は、繰り返し、データから学習するように連続する層にニューラル・ネットワークを組み込む機械学習法である。ニューラル・ネットワークは、人間の脳が情報を処理するやり方のモデルである。ニューラル・ネットワークの基本単位は、ニューロンと言われ、このニューロンは、通常、層にまとめられている。ニューラル・ネットワークは、抽象バージョンのニューロンに似ている多数の相互接続処理単位をシミュレートすることによって働く。ニューラル・ネットワークには、通常、単位が入力フィールドに相当する入力層、１つまたは複数の隠れ層、および１つまたは複数の単位がターゲット・フィールドに相当する出力層、の３つのパートがある。単位は、様々な接続強度または接続重みで接続されている。第１の層には入力データが提示され、値が各ニューロンから、次の層にあるあらゆるニューロンに伝えられる。最終的に、出力層から結果が導き出される。深層学習複合ニューラル・ネットワークは、人間の脳がどのように働くかをエミュレートするように考案されているので、コンピュータは、不完全定義の抽象化および問題に対応するように訓練され得る。ニューラル・ネットワークおよび深層学習は、画像認識、発話、およびコンピュータ・バージョン・アプリケーションに使用されることが多い。
【0015】
ニューラル・ネットワークは、相互接続層とその対応するアルゴリズム、さらに調整式重みで構成されている。重みを調整する最適化関数は、勾配降下法とも言われる。より具体的には、勾配降下法は、負の勾配によって定義される最も急な降下方向に繰り返し動くことによって関数を最小限に抑えるのに使用される最適化アルゴリズムである。ＭＬでは、勾配降下法を使用して、ニューラル・ネットワークとその対応するニューラル・モデルのパラメータを更新する。１つの物理マシンに対する訓練の際や１つのエンティティ内のコンピュータにわたる訓練の際、これは、簡単である。しかし、複数のエンティティが関わっている場合、通信限界が原因でも、法律上の理由でも（ＨＩＰＡＡのような規則など）データが共有できないことがあり得る。そのため、１つの解決策は、各参加エンティティからの重みおよび洞察を共有することである。当技術分野では分かっていることであるが、データからの洞察を共有することで、望ましいまたは向上したニューラル・モデルを作り出すことにつなげることができる。しかし、データ共有は、他の参加エンティティが共有洞察からデータをリバース・エンジニアリングする、例えば再構成するのに起因する守秘義務違反やプライバシ侵害などの他の問題につながる。したがって、本明細書において示し説明する通り、プレーン・テキスト、例えばクリア・テキストでデータまたは重みを共有することなく、暗号化モデルパラメータを共有することによって、暗号化重みをマージするシステム、コンピュータ・プログラム製品、および方法を提供する。
【0016】
本明細書において示し説明する通り、暗号化鍵とその対応する暗号化プラットフォームを用いて、共有する対象である重みを暗号化し、アルゴリズムまたは工程を用いて、暗号化重みの集約をサポートし、可能にする。暗号化プラットフォームでは、加法準同型暗号化（ＡＨＥ）、例えば、公開鍵とその対応する秘密鍵を用いる、ある類の鍵ペアベースの暗号法である、Ｐａｉｌｌｉｅｒ暗号化を活用する。あらゆるエンティティが同じ公開鍵を使用して、訓練ジョブごとに準同型をサポートし、可能にする。ＡＨＥは、メッセージまたは対応するデータが、暗号形態である間に加え合わされ、さらに対応する秘密鍵による加法暗号化形態の正しい暗号解読をサポートするのを可能にする加法準同型をもたらす。本明細書において示し説明する通り、ＡＨＥをＭＬに適用して、対応するニューラル・ネットワークの重みを暗号化し、対応するデータを暗号化することも共有することもなく、コラボラティブな環境の登録済み参加エンティティ同士で暗号化重みを共有する。
【0017】
図１では、分散型確率的勾配降下法のセキュアな連合の良い例となる概略図（１００）を提供する。見ての通り、複数のコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）と、ネットワーク接続（１０５）にわたって通信するサーバ（１１０）を提供する。サーバ（１１０）は、バス（１１４）にわたってメモリ（１１６）と通信する処理ユニット（１１２）で構成されている。サーバ（１１０）は、分散型で、連合式に、非公開のセキュアな環境で、繰り返し最適化アルゴリズムに基づき、機械学習モデルを訓練するコラボレーションをサポートする人工知能（ＡＩ）プラットフォーム（１５０）を備えて示されている。サーバ（１１０）は、コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）のうちの１つまたは複数とネットワーク（１０５）上で通信する。より具体的には、コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、互いに、また他のデバイスまたは構成要素と１つまたは複数の有線データ通信リンクまたは無線通信リンクあるいはその両方を介して通信し、各通信リンクは、電線、ルータ、スイッチ、送信機、受信機などのうちの１つまたは複数で構成され得る。このネットワーク化構成では、サーバ（１１０）およびネットワーク接続（１０５）が、通信方向、認識、および分解能を可能にする。サーバ（１１０）の他の実施形態では、本明細書で描写されているもの以外の構成要素、システム、サブシステム、またはデバイス、あるいはその組合せが使用されてもよい。
【0018】
本明細書では、様々な源から入力（１０２）を受信するように構成されたＡＩプラットフォーム（１５０）を示している。例えば、ＡＩプラットフォーム（１５０）は、ネットワーク（１０５）から入力を受信して、本明細書ではコーパスまたは知識ベースとも言われるデータ源（１６０）を活用して、出力または応答コンテンツを作成することができる。見ての通り、データ源（１６０）は、１つのライブラリ（１６２）で、ある実施形態では、複数のライブラリで、すなわち、モデルＡ（１６４Ａ）、モデルＢ（１６４Ｂ）、モデルＣ（１６４Ｃ）、およびモデルＤ（１６４Ｄ）を含む、本明細書ではニューラル・モデルとしている、１つまたは複数の深層ニューラル・ネットワークを含むライブラリ（１６２）で構成されている。ある実施形態において、ライプラリ（１６２）は、減らしたモデルや増やしたモデルを含み得る。同様に、ある実施形態において、データ源（１６０）におけるライブラリは、共通の主題すなわちテーマでまとめられてもよいが、これは、要件ではない。ライブラリにポピュレートされたモデルは、同様の源からのものでも似ていない源からのものであってもよい。
【0019】
ＡＩプラットフォーム（１５０）には、機械学習コラボレーションをサポートし、可能にするツールが与えられている。ネットワーク（１０５）と通信する様々なコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、（１９０）は、データ源（１６０）のモデルへのアクセス・ポイントを含み得る。ＡＩプラットフォーム（１５０）は、洞察またはデータを共有しないでも、コラボレーションを可能にし、サポートするプラットフォームとして機能する。本明細書において示し説明する通り、コラボレーションでは、重み暗号化および集約からＡＨＥ鍵生成を分ける公開鍵基盤（ＰＫＩ：Ｐｕｂｌｉｃ Ｋｅｙ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）を採用する。より具体的には、本明細書で詳しく述べる通り、加法準同型暗号化を活用して、特定されたまたは選択されたエンティティが、データを共有しないでも、暗号化形態でニューラル・モデル重みを共有することを可能にする。望ましい正確さを備えるニューラル・モデルの形態の応答出力（１３２）が、得られ、コラボレーションに及び、参加するエンティティ同士で共有される。ある実施形態において、ＡＩプラットフォーム（１５０）は、応答出力（１３２）を、ネットワーク（１０５）にわたってサーバ（１１０）またはコンピューティング・デバイス（１８０）～（１９０）のうちの１つまたは複数に動作的に結合された、図６および図７において示し説明するものなどのコラボラティブなトポロジのメンバーに伝える。
【0020】
ネットワーク（１０５）としては、ＡＩプラットフォーム（１５０）が局所および大域を含むどのような規模の環境でも働くことができるような、様々な実施形態のローカル・ネットワーク接続およびリモート接続、例えばインターネットを挙げることができる。ＡＩプラットフォーム（１５０）は、コラボレーションをサポートするバックエンド・システムとしての役割を果たす。このように、いくつかの工程では、ＡＩプラットフォーム（１５０）をポピュレートし、この場合、ＡＩプラットフォーム（１５０）は、リクエストを受信し、それに応じて応答する入力インターフェースも含む。
【0021】
本明細書では、登録マネージャ（１５２）、暗号化マネージャ（１５４）、およびエンティティ・マネージャ（１５６）を含む、ニューラル・モデルコラボレーションをサポートするいくつかのツールを備えるＡＩプラットフォーム（１５０）を示している。登録マネージャ（１５２）は、トポロジへの登録済みエンティティの配置、通信方向の確立、およびトポロジにおける登録済みエンティティ同士の通信プロトコルを含む、コラボラティブな関係に参加エンティティを登録するように機能する。例えば、ある実施形態において、また以下に示し説明する通り、登録済みエンティティは、リングトポロジに配置される。しかし、通信プロトコルが変わる可能性がある。プロトコルの例としては、線形方向プロトコル、ブロードキャスト・プロトコル、ＡＩＩ－Ｒｅｄｕｃｅプロトコルが挙げられるが、これらに限られるわけではない。本明細書においてさらに示し説明する通り、ニューラル・モデル重みの共有およびコラボレーションに加法準同型ＰＫＩ暗号化プラットフォームが採用される。本明細書では、登録マネージャ（１５２）に動作的に結合された暗号化マネージャ（１５４）は、登録済みエンティティに対する訓練ジョブのたびに、公開加法準同型暗号化（ＡＨＥ）鍵を生成し、配布するように機能する。配布は、通常、機械学習訓練ジョブのたびになされるが、繰り返しのたびになされてもよい。対応する秘密ＡＨＥ鍵が生成されるが、配布されることはない。公開鍵は、対応する受け手エンティティが保持する。配布公開ＡＨＥ鍵のそれぞれに対応している、これ以降秘密鍵としている秘密ＡＨＥ鍵は、受け手エンティティ、例えば参加エンティティのいずれでも共有されることはない。したがって、登録マネージャ（１５２）および暗号化マネージャ（１５４）は、コラボレーションで参加エンティティを登録し、通信方向を確立し、ＡＨＥ公開暗号化鍵を生成し、配布するように機能する。
【0022】
見ての通り、エンティティ・マネージャ（１５６）は、それぞれ、登録マネージャ（１５２）と暗号化マネージャ（１５４）とに動作的に結合さている。エンティティ・マネージャ（１５６）は、対応する配布ＡＨＥ鍵によるエンティティ局所機械学習モデル重みの暗号化を局所的に指示して、その後集約するように機能する。例えば、ある実施形態において、本明細書ではモデルＡ（１６４Ａ）、モデルＢ（１６４Ｂ）、モデルＣ（１６４Ｃ）、モデルＤ（１６４Ｄ）として示すモデルのそれぞれが、それぞれのエンティティ集合に対応している。ある実施形態において、エンティティとは、サーバ（１１０）に動作的に結合された計算機（１８０）～（１９０）のいずれであってもよい。各モデルには、コラボレーションの対象である１つまたは複数の対応する重みが付いている。例えば、ある実施形態において、モデルＡ（１６４Ａ）には対応する重み（１６６Ａ）が付いており、モデルＢ（１６４Ｂ）には対応する重み（１６６Ｂ）が付いており、モデルＣ（１６４Ｃ）には対応する重み（１６６Ｃ）が付いており、モデルＤ（１６４Ｄ）には対応する重み（１６６Ｄ）が付いている。エンティティ・マネージャ（１５６）は、暗号化局所機械学習モデル重みを対応する公開鍵で選択的に集約する。線形伝送、ブロードキャスト、およびＡＩＩ－Ｒｅｄｕｃｅを含むが、これらに限るわけではない様々な集約プロトコルおよびコラボレーション・プロトコルが採用され得る。コラボレーション・プロトコルに関わらず、各エンティティモデル重みは、対応する公開ＡＨＥ鍵によるコラボレーションおよび集約工程のある時点で暗号化される。本明細書で示す通り、重み（１６６Ａ）は、対応するＡＨＥ公開鍵（１６８Ａ）で暗号化され、重み（１６６Ｂ）は、対応するＡＨＥ公開鍵（１６８Ｂ）で暗号化され、重み（１６６Ｃ）は、対応するＡＨＥ公開鍵（１６８Ｃ）で暗号化され、重み（１６６Ｄ）は、対応するＡＨＥ公開鍵（１６８Ｄ）で暗号化される。したがって、重みのそれぞれは、同じ対応するＡＨＥ公開鍵（１６８Ａ）で、別々に暗号化される。
【0023】
当技術分野では分かっていることだが、ＡＨＥは、加法性をサポートする。これにより、対応するモデルの重みが暗号化形態である間に集約されることが可能になる。通信プロトコルおよびコラボラティブなプロトコルに応じて、暗号化重みは、様々な段階で集約の対象となる。例えば、線形リングトポロジでは、登録マネージャ（１５２）が、トポロジにおける各参加エンティティにランクを割り当てる。モデル重みのそれぞれは、それらの対応するランクと確立された通信方向に基づき、徐々に暗号化され、集約される。エンティティ・マネージャ（１５６）が、その重みを局所配布ＡＨＥ公開鍵、例えば公開鍵（１６８Ａ）で暗号化し、その暗号化重みを隣接して位置付けられたエンティティに集約に向けて伝える。より具体的には、エンティティ・マネージャ（１５６）が、暗号解読を促進することも可能にすることもなく、トポロジに沿ってＡＨＥ暗号化重みを集約する。登録マネージャ（１５２）が通信方向を確立し、ある実施形態では、通信方向を変更する。例えば、リングトポロジでは、登録マネージャが、時計回りの通信方向でも反時計回りの通信方向でも確立することができ、方向を変えることができる。例えば、ある実施形態において、登録マネージャ（１５２）は、使用可能な帯域幅に基づき、方向を変えることができる。ブロードキャスト・プロトコルでは、登録マネージャ（１５２）が、重みの局所暗号化と、各エンティティから他のエンティティおよびＡＩプラットフォームへの暗号化重みの伝達とを確立する。したがって、エンティティ・マネージャ（１５６）が、トポロジ方向および通信プロトコルに基づき、すなわちそれに応じて暗号化重みの集約および配布をサポートし、可能にする。
【0024】
公開ＡＨＥ鍵は、参加エンティティ同士で共有することのない対応する秘密鍵を有する。ある実施形態において、秘密鍵、例えばＫｅｙＰ（１６８Ｐ）は、ＡＩプラットフォーム（１５０）の暗号化マネージャ（１５４）に対してローカルに保持される。分かっていることだが、集約暗号化重みは、通信プロトコルに基づき暗号解読の対象となる。暗号解読が適切であるこのような時点では、暗号化マネージャ（１５４）が、暗号化重みの集約暗号化和（１６６Ｐ、Ｅ）を秘密鍵、例えばＫｅｙＰ（１６８Ｐ）による暗号解読の対象とすることによって、暗号解読重みの集約和（１６６Ｐ、ＵＥ）を生み出す。暗号化マネージャ（１５４）が、参加し関与するエンティティのそれぞれに局所重みの集約暗号解読和（１６６Ｐ、ＵＥ）を配布するか他の方法で共有する。したがって、集約に関与する各エンティティは、集約暗号解読和を受信する。
【0025】
分かっていることだが、参加エンティティは、１つのサブエンティティで成っていても、またはある実施形態では、複数の内部サブエンティティで成っていてもよい。ある実施形態において、各エンティティには、ネットワーク・ドメインに対する１セットのセキュリティおよび構成ポリシがある。複数の内部サブエンティティで成るエンティティ例の提示については、図３を参照のこと。エンティティ・マネージャ（１５６）は、１つのサブエンティティまたは複数のサブエンティティに基づき、重みのコラボラティブな集約をサポートし、可能にするように構成されている。より具体的には、エンティティ・マネージャ（１５６）は、各内部サブエンティティからの準同型データ型に相当する重みのエンティティ内集約を行い、そのエンティティ内集約をエンティティＡＨＥ公開鍵による暗号化の対象とする。したがって、集約をＡＨＥ暗号化の対象とする前に、エンティティ内集約が行われる。
【0026】
エンティティ・マネージャ（１５６）が、エンティティ内集約を局所公開ＡＨＥ暗号化鍵による暗号化の対象とする。その後、暗号化集約は、トロポジにわたるエンティティ間配布の対象となる。これまで述べた通り、エンティティ内配布には、暗号化重みの集約が含まれる。エンティティ間の重みの集約、および対応する秘密鍵による暗号解読に続いて、エンティティ・マネージャ（１５６）が、集約和を内部サブエンティティのそれぞれに伝える。したがって、各参加エンティティとその対応する内部サブエンティティは、コラボレーションから恩恵を受け、コラボレーションに参加する。
【0027】
登録マネージャ（１５２）が、トポロジおよび通信プロトコルを確立することを担っている。ある実施形態において、登録マネージャ（１５２）は、メッシュトポロジとしても知られている完全連結型トポロジと、各参加エンティティが、トポロジにわたって、またトポロジにおける他の参加エンティティごとに直にそれらの暗号化局所重みを送る、例えば一斉送信する、対応するプロードキャスト・プロトコルと、を確立する。エンティティ・マネージャ（１５６）はさらに、この実施形態では、各参加エンティティに及ぶ選択的集約をサポートし、可能にし、すべての受信した一斉送信暗号化重みを局所的に集約する。暗号化マネージャ（１５４）が、各局所集約を参加検証の対象とする。この集約の到達点は、参加エンティティごとに、他の参加エンティティの暗号化重みを受信し、それから恩恵を受けることである。しかし、トポロジにおけるエンティティのうちの１つまたは複数が重み集約に関与したかまたは関与しているかを特定するのには課題が多い。メッシュトポロジでは、各参加メンバー・エンティティは、暗号化マネージャ（１５４）と直に通信することができ、このように、暗号化マネージャ（１５４）は、それがトポロジのメンバーごとの異なる集約重み値の受信であるかどうかを見極めるように構成されている。例えば、４つの参加エンティティがある場合、そのエンティティのうちの３つの集約重み値が同じであり、そのエンティティのうちの１つの集約重み値がそれとは異なる場合、暗号化マネージャ（１５４）が非関与エンティティを特定することができる。ある実施形態において、暗号化マネージャ（１５４）は、関与エンティティ同士での暗号解読集約重み和の共有を制限するか、トポロジの参加メンバーのそれぞれにそれらの暗号化局所重みを一斉送信するよう特定した非関与エンティティに要求することがあり得る。したがって、本明細書において示し説明する通り、メッシュトポロジでは、連合機械学習をサポートするのにブロードキャスト・プロトコルを採用し、またある実施形態では、エンティティ参加検証を採用する。
【0028】
図１において示し説明した通り、登録マネージャ（１５２）は、コラボレーションに向けてＡＩＩ－Ｒｅｄｕｃｅアルゴリズムまたはプロトコルを実施することができる。この実施形態では、エンティティ・マネージャ（１５６）が、重み配列として各エンティティの重みを表す。エンティティ・マネージャ（１５６）が、この配列を対応するエンティティＡＨＥ公開鍵で暗号化し、暗号化配列を２つ以上のチャンクに分け、並行してかつトポロジに応じて、そのチャンクを同期して集約する。エンティティ・マネージャ（１５６）は、コラボレーション関係にある各参加エンティティが１つの集約チャンクを受信すると、同期集約を終了させる。各集約チャンクは、暗号化マネージャ（１５４）による対応する秘密鍵による暗号解読の対象となり、その後、暗号解読チャンクの連結、連結暗号解読チャンクの登録済み参加エンティティへの配布が続く。したがって、ＡＩＩ－Ｒｅｄｕｃｅプロトコルは、本明細書では、並行して、まとめて効率的に採用されるアルゴリズムである。
【0029】
いくつかの理解を助ける実施形態では、サーバ（１１０）は、以下に述べる理解を助ける実施形態の機構により増強されたニューヨーク州アーモンクのＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎから入手できるＩＢＭ Ｗａｔｓｏｎ（Ｒ）であってもよい。本明細書において示し説明するＩＢＭ Ｗａｔｓｏｎ（Ｒ）システムとしては、繰り返し最適化アルゴリズムに基づき連合機械学習を実施するツールが挙げられる。このツールにより、基礎となるデータを共有しなくても暗号化モデル重みの選択的集約が可能になり、それにより、データを内密にすなわち非公開のままにすることができる。
【0030】
これ以降、総じてＡＩツールまたはＡＩプラットフォーム・ツールとしている登録マネージャ（１５２）、暗号化マネージャ（１５４）、およびエンティティ・マネージャ（１５６）は、サーバ（１１０）のＡＩプラットフォーム（１５０）内に具体化されたまたは組み込まれたとして示している。ＡＩツールは、ネットワーク（１０５）にわたってサーバ（１１０）に接続されている別個のコンピューティング・システム（例えば、１９０）において具体化され得る。具体化されれば必ず、ＡＩツールは、基礎となるデータを共有しなくても開示しなくても、局所モデル重みの暗号化および参加エンティティ同士の暗号化局所モデル重みの共有を含む、繰り返して連合機械学習をサポートし、可能にするように機能する。出力コンテンツ（１３２）は、エンティティ間通信の対象である暗号解読フォーマットの集約重みの形態であってもよい。
【0031】
ＡＩプラットフォーム（１５０）を活かすことのできる類の情報取り扱いシステムは、ハンドヘルド・コンピュータ／携帯電話などの小型ハンドヘルドデバイス（１８０）からメインフレーム・コンピュータ（１８２）などの大型メインフレーム・システムに及ぶ。ハンドヘルド・コンピュータ（１８０）の例としては、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＭＰ４プレーヤなどのパーソナル・エンターテインメント・デバイス、ポータブル・テレビ、およびコンパクトディスク・プレーヤが挙げられる。情報取り扱いシステムの他の例としては、ペンまたはタブレット・コンピュータ（１８４）、ラップトップまたはノートブック・コンピュータ（１８６）、パーソナル・コンピュータ・システム（１８８）、およびサーバ（１９０）が挙げられる。見ての通り、様々な情報取り扱いシステムがコンピュータ・ネットワーク（１０５）を使用して互いにネットワーク化され得る。様々な情報取り扱いシステムを相互接続するのに使用される類のコンピュータ・ネットワーク（１０５）としては、ローカル・エリア・ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ローカル・エリア・ネットワーク（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、パブリック・スイッチド・テレフォン・ネットワーク（ＰＳＴＮ：Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）などの無線ネットワーク、また情報取り扱いシステムを相互接続するのに使用される他の如何なるネットワークト・ポロジも挙げられる。情報取り扱いシステムの多くは、ハードデデバイスまたは不揮発性メモリあるいはその両方などの不揮発性データ・ストアを含む。情報取り扱いシステムのうちのいくつかでは、別々の不揮発性データ・ストアを使用することができる（例えば、サーバ（１９０）が不揮発性データ・ストア（１９０Ａ）を利用し、メインフレーム・コンピュータ（１８２）が不揮発性データ・ストア（１８２Ａ）を利用する）。不揮発性データ・ストア（１８２Ａ）は、様々な情報取り扱いシステムの外部であるか、情報取り扱いシステムのうちの１つの内部であってもよい構成要素とすることができる。
【0032】
ＡＩプラットフォーム（１５０）をサポートするのに採用される情報取り扱いシステムは、多くの形態を取ってもよく、そのうちのいくつかを図１に示す。例えば、情報取り扱いシステムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブックなどのフォーム・ファクタ・コンピュータまたはデータ処理システムの形態を取ってもよい。さらに、情報取り扱いシステムは、携帯情報端末（ＰＤＡ）、ゲーム機、ＡＴＭ機、ポータブル電話機、通信デバイス、またはプロセッサおよびメモリを含む他のデバイスなどの他のフォームファクタを取ってもよい。また、情報取り扱いシステムは、当然のことながら他のアークテクチャも採用されるので、ノースブリッジ／サウスブリッジ・コントローラ・アーキテクチャを具体化することを必ずしも必要としない。
【0033】
アプリケーション・プログラム・インターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）は、当技術分野では、２つ以上のアプリケーション間のソフトウェア仲介役として理解されている。図１において示し説明したＡＩプラットフォーム（１５０）に関して、ツール（１５２）～（１５６）とそれらの対応する機能のうちの１つまたは複数をサポートするのに、１つまたは複数のＡＰＩが利用され得る。図２では、ツール（１５２）～（１５６）とそれらの対応するＡＰＩの良い例となるブロック図（２００）を提供する。見ての通り、複数のツールが、ＡＩプラットフォーム（２０５）内に埋め込まれ、この場合ツールとしては、ＡＰＩ０（２１２）に対応している登録マネージャ（２５２）、ＡＰＩ１（２２２）に対応している暗号化マネージャ（２５４）、およびＡＰＩ２（２３２）に対応しているエンティティ・マネージャ（２５６）が挙げられる。ＡＰＩのそれぞれは、１つまたは複数の言語およびインターフェース仕様で具体化され得る。ＡＰＩ０（２１２）は、参加エンティティを登録し、トポロジを構成し、通信プロトコルを確立する機能サポートを提供し、ＡＰＩ１（２２２）は、公開ＡＨＥ鍵を生成し、それを登録済みエンティティのそれぞれに配布し、対応する秘密鍵による集約重みの暗号解読を管理し、暗号解読重みの配布を管理する機能サポートを提供し、ＡＰＩ２（２３２）は、トポロジに応じて、エンティティ内集約およびエンティティ間集約を指示する機能サポートを提供する。見ての通り、ＡＰＩ（２１２）、（２２２）、および（２３２）のそれぞれは、別々のＡＰＩを互いに透過的にスレッド化させる抽象化層として機能することが当技術分野では分かっている、オーケストレーション層としても知られているＡＰＩオーケストレータ（２６０）に動作的に結合されている。ある実施形態において、別々のＡＰＩの機能がつなぎ合わされても組み合わされてもよい。したがって、本明細書で示すＡＰＩの構成は、限定として考えるべきではない。したがって、本明細書で示す通り、ツールの機能は、それらのそれぞれのＡＰＩによって具体化されても、それに対応していてもよい。
【0034】
図３では、管理ドメインおよびドメイン内集約の良い例となるブロック図（３００）を提供する。登録済み参加エンティティ（３１０）は、本明細書では、１つまたは複数のローカル・コンピューティング・エンティティに動作的に結合されているローカル・アグリゲータ（ＬＡ：Ｌｏｃａｌ Ａｇｇｒｅｇａｔｏｒ）と言われる。本明細書に示す例では、エンティティ０（３２０）、エンティティ１（３３０）、エンティティ２（３４０）、およびエンティティ３（３５０）を含む、４つのローカル・コンピューティング・エンティティがある。各コンピューティング・エンティティは、動作的に結合されたデータが対応している、本明細書ではラーナーとしている、１つまたは複数の機械学習プログラムを含むかそれを利用する。ここで示す通り、エンティティ０（３２０）は、ラーナー０（３２２）および動作的に結合されたデータ０（３２４）で示され、エンティティ１（３３０）は、ラーナー１（３３２）および動作的に結合されたデータ１（３３４）で示され、エンティティ２（３４０）は、ラーナー２（３４２）および動作的に結合されたデータ２（３４４）で示され、エンティティ３（３５０）は、ラーナー３（３５２）および動作的に結合されたデータ３（３５４）で示されている。各機械学習プログラム、例えば、ラーナーは、ローカルデータを引き出し、それを処理して、対応するローカルニューラル・モデルにする。
【0035】
同じ分類に由来するデータは、同じデータ分類をビルドしたまたは利用した様々なニューラル・モデルに適用され得る。本明細書に示す例では、ラーナー（３２２）、（３３２）、（３４２）、および（３５２）のそれぞれは、例えば準同型データ分類だがデータが異なる、データ型が同じであれば機械学習プログラムも同じであるという機械学習プログラムに相当する。ＬＡ（３１０）は、基礎となるデータを共有するしないに関わらず、ラーナーが重みを共有することをサポートし、可能にする。ＬＡ（３１０）は、受信した重みの集約を行い、ある実施形態では、ＡＨＥ暗号化を行わずに受信した重みを平均化する。したがって、本明細書において示し説明する管理ドメインは、ある実施形態では、重みの内部集約、例えば、ドメインの内部の処理からのエンティティ内集約をサポートするビジネス・エンティティまたはビジネス・ドメインであってもよいエンティティに相当する。
【0036】
図４では、管理ドメインに対してドメイン内集約を行う工程の良い例と成るフローチャート（４００）を提供する。変数ＸＴｏｔａｌは、ドメイン（４０２）内のコンピューティング・エンティティ数に相当する。このドメインは、１つのコンピューティング・エンティティで成っていても、複数のコンピューティング・エンティティで成っていてもよい。図３に示す通り、各コンピューティング・エンティティは、機械学習プログラムおよび局所結合データを備え、各機械学習プログラムは、準同型データ・クラスに相当する。変数ＹＴｏｔａｌは、局所結合データ（４０４）にある可能性があるデータ型数に相当する。ある実施形態において、データ型の値は、機械学習プログラム数と合わせられる。データ型カウンタ変数Ｙが初期化される（４０６）。コンピューティング・エンティティＸごとに、データ型Ｙに対応するＭＬプログラムＹにおける重み、例えば重みＹが特定され、集約される（４０８）。重みを集約する工程は、データ型によって異なるＭＬプログラムに適用され得る。見ての通り、続くステップ（４０８）では、データ型カウンタ変数Ｙをインクリメントして（４１０）、次のＭＬプログラムを説明し、データ型のそれぞれが重み集約に向けて処理されたかどうかが判断される（４１２）。この判断に対する負の応答に続いて、ステップ（４０８）に戻り、この判断に対する正の応答は、集約を終了させる。ある実施形態において、データ型が指定され、集約が指定のデータ型に限られ得る。したがって、重みのエンティティ内集約がＡＨＥ暗号化を何ら行うことも採用することもなく、指定のまたは規定のドメインに常駐する２つ以上のコンピューティング・エンティティにわたって行われ得る。
【0037】
複数のドメインが規定のトポロジに配置され得る。各ドメインは、１つまたは複数のエンティティとその対応するＭＬプログラムに動作的に結合された対応するＬＡを備える。ＭＬプログラムからの重みは、データを共有しなくてもドメイン間単位で共有され得る。より具体的には、重みは、暗号化を維持しながら集約をサポートするように暗号化される。重みのドメイン間共有は、ＭＬプログラムのコラボレーションと強化訓練をサポートし、可能にする。図５では、ＭＬプログラムのドメイン間コラボレーションおよび訓練の工程の良い例と成るフローチャート（５００）を提供する。変数ＮＴｏｔａｌは、コラボレーションの対象であるＬＡ数に割り当てられる（５０２）。分かっていることであるが、各ＬＡは、アドレス可能であり、対応するアドレス識別子を持っている。ＬＡのそれぞれは、トポロジに配置され、そのそれぞれのトポロジにおける位置に応じてランクが割り当てられる（５０４）。また、通信プロトコルが、トポロジ内のドメイン間通信に対して確立される。説明上、本明細書で採用するトポロジは、ＬＡがリング状に接続され、リング構造におけるそれらの隣接近接に応じて、指定の方向、例えば、時計回りまたは反時計回りに、互いに情報を通信する、という線形リングトポロジである。図６において示し説明し、ある実施形態では、中央サーバ（１１０）に対してローカルなＡＩプラットフォーム（１５０）である、第三者コーディネータとも言われる、中央サーバ（６２０）などのサーバを提供し、このサーバは、トポロジおよびトポロジに割り当てられたＬＡと通信し、暗号化鍵を生成し割り当てるように機能する。トポロジにおける各ＬＡには暗号化鍵が割り当てられる。見ての通り、ＡＩプラットフォーム（１５０）が、公開暗号化鍵を生成し、それをトポロジにおける各ＬＡに送る（５０６）。公開鍵には、中央サーバが保持する秘密鍵が対応している。中央サーバによって利用される暗号化プラットフォームでは、加法準同型暗号化（ＡＨＥ）、例えばＰａｉｌｌｉｅｒ暗号化を活用する。したがって、トポロジおよび通信プロトコルは、トポロジにポピュレートされた３つ以上のＬＡにより確立される。
【0038】
図３および図４において示し説明した通り、各ＭＬプログラムは、具体的なデータ型に相当するものである。各ＬＡは、１つまたは複数のＭＬプログラムを備えることができ、プログラムにより異なるデータ型が対応付けられるか割り当てられる。データ型数に相当する変数ＹＴＯＴＡＬが割り当てられ（５０８）、データ型カウンタ変数とＬＡカウンタ変数とは、個々に（５１０）、（５１２）において初期化される。その後、重み集約工程が開始される。見ての通り、ＬＡＮが特定され、データ型Ｙの場合のＬＡＮに対してローカルなＭＬプログラムに対する重みが集約され、公開暗号化鍵で暗号化される（５１４）。ある実施形態において、ＬＡＮが、データ型Ｙの場合、ＭＬプログラムが１つだけに限られる。続くステップ（５１４）では、ＬＡカウンタ変数がインクリメントされ（５１６）、続いて、重み集約の対象とならなかったＬＡがトポロジにあるかどうかを判断する（５１８）。ステップ（５１８）における判断に対する負の応答に続いて、ＬＡＮ－１がＭＬプログラムＹ、Ｎ－１に対する重みをＬＡＮに送る（５２０）。この重みの受信に続いて、データ型Ｙの場合のＬＡＮに対してローカルなＭＬプログラムに対する重みが局所的に集約され、公開暗号化鍵で暗号化される（５２２）。ＬＡＮ－１から受信した暗号化重みが、ＭＬプログラムＹ、Ｎに対する暗号化重みと集約される（５２４）。ＬＡＮにおける集約が完了したのを受けて、工程は、ステップ（５１６）に戻る。したがって、重みの集約は、ドメイン内、またドメイン間単位で行われる。
【0039】
ステップ（５１８）における判断に対する負の応答は、トポロジにおけるＬＡのそれぞれがリングの一巡を完了したという表れである。本明細書で示す通り、ＬＡのそれぞれの重みは、暗号化形態で完了し、各関与ＬＡの重みの公開暗号化鍵は同じである。集約暗号化重みは、ＬＡＮ Ｔｏｔａｌから中央サーバに送信される（５２６）。集約が完了しているエンティティだけがＬＡＮＴｏｔａｌである。中央サーバは、トポロジに配布された公開鍵に対応している秘密鍵を活用して、データ型Ｙに対する暗号化重みの集約を暗号解読する（５２８）。中央サーバがデータ型Ｙに対する暗号解読集約をトポロジにおける各ＬＡに配布する（５３０）。中央サーバからの暗号解読集約の受信を受けて、それぞれのＬＡがこの重みを下流の内部ラーナー工程に伝える（５３２）。その後、データ型計数係数がインクリメントされ（５３４）、データ型、例えば図４において示し説明したＭＬプログラムのそれぞれが重み集約に対して処理されているかどうかが判断される（５３６）。この判断に対する負の応答に続いて、ステップ（５１４）に戻り、正の応答により、集約工程が完結する。したがって、本明細書において示し説明する集約は、対応するＭＬプログラムにおける重みに限られ、対応しているデータには及ばない。
【0040】
図６では、図５において示し説明した工程をサポートするリングトポロジ例を示すブロック図（６００）を提供する。見ての通り、本明細書では第三者コーディネータとも言われる中央サーバ（６２０）が、配布対象の公開鍵とローカルに保持される秘密鍵（６８０）とを生成する鍵生成器（６２２）で構成されるか、鍵生成器（６２２）を備えている。この例では、ＬＡ０（６３０）、ＬＡ１（６４０）、ＬＡ２（６５０）、およびＬＡ３（６６０）を含む、トポロジ（６１０）で表される４つのＬＡがあるが、ＬＡ数は、説明上のもので、それに限ると考えるべきではない。それぞれ個々のＬＡは、図３に示す通り、１つのラーナーだけで成っていても複数のラーナーで成っていてもよく、内部ドメインを形成する。中央サーバ（６２０）が、トポロジ構造における各ＬＡに動作的に結合されている。より具体的には、中央サーバ（６２０）は、各ＬＡ（６３０）、（６４０）、（６５０）、および（６６０）用の公開鍵を作り出し、この公開鍵をそれぞれの通信チャネルをわたって伝える。本明細書で示す通り、サーバ（６２０）は、通信チャネル０（６３４）をわたって公開鍵（６３２）をＬＡ０（６３０）に伝える。同様に、サーバ（６２０）は、通信チャネル１（６４４）をわたって公開鍵（６４２）をＬＡ１（６４０）に伝え、通信チャネル２（６５４）をわたって公開鍵（６５２）をＬＡ２（６５０）に伝え、通信チャネル３（６６４）をわたって公開鍵（６６２）をＬＡ３（６６０）に伝える。公開鍵（６３２）、（６４２）、（６５２）、および（６６２）は、各ＬＡには同じ公開鍵であり、ＡＨＥ暗号化をサポートする。
【0041】
本明細書に示す通り、この例における重みの暗号化は、ＬＡ０（６３０）から始まる。具体的なデータ型またデータ分類に対するＬＡ０（６３０）における局所モデルの重みがコンピュータで計算され、鍵０（６３２）で暗号化され、通信チャネル０、１（６７０）をわたってＬＡ１（６４０）に伝えられる。ＬＡ０（６３０）に対する暗号化重みは、本明細書では重み０（６３６）とされる。ＬＡ０（６３０）からの重み０（６３６）の受信に続いて、同じ具体的なデータ型またはデータ分類に対するＬＡ１（６４０）における局所モデルの重みが、コンピュータで計算され、鍵１（６４２）で暗号化される。ＬＡ１（６４０）に対する暗号化重みは、本明細書では重み１（６４６）としている。局所モデルＬＡ１（６４０）の暗号化重みである重み１（６４６）は、局所モデルＬＡ０（６３０）の暗号化重みである重み０（６３６）と集約される。この集約は、本明細書では、１回目の集約、例えば、集約０（６４８）ともされる。暗号化および集約の工程は、確立方向でリングトポロジにわたって続く。見ての通り、集約０（６４８）は、通信チャネル１、２（６７２）をわたってＬＡ２（６５０）に伝えられる。ＬＡ１（６４０）からの集約０（６４８）の受信に続いて、同じ具体的なデータ型またはデータ分類に対するＬＡ２（６５０）における局所モデルの重みがコンピュータで計算され、鍵２（６５２）で暗号化される。ＬＡ２（６５０）に対する暗号化重みは、本明細書では重み２（６５６）とする。局所モデルＬＡ２（６５０）の暗号化重みである重み２（６５６）がＬＡ１（６４０）から受信した集約０（６４８）と集約される。この集約は、本明細書では、２回目の集約、例えば集約１（６５６）ともする。見ての通り、集約１（６５８）は、通信チャネル２、３（６７４）をわたってＬＡ３（６６０）に伝えられる。ＬＡ２（６５０）からの集約１（６５８）の受信に続き、同じ具体的なデータ型またはデータ分類に対するＬＡ３（６６０）における局所モデルの重みが、コンピュータで計算され、鍵３（６６２）で暗号化される。ＬＡ３（６６０）に対する暗号化重みは、本明細書では重み３（６６６）とする。局所モデルＬＡ３（６６０）の暗号化重みである重み３（６６６）は、ＬＡ２（６５０）から受信した集約１（６５８）と集約される。この集約は、明細書では、３回目の集約、例えば集約２（６６８）とする。したがって、重みが、暗号化され、指定の方向にトポロジにわたって集約される。
【0042】
ＬＡ３（６６０）における集約の完了に続いて、集約２（６６８）が中央サーバ（６２０）、例えば第三者コーディネータに、通信チャネル（６６４）をわたって伝えられる。中央サーバ（６２０）には集約重みやこの集約を構成している個々の重みに対応している基礎となるデータがない。中央サーバ（６２０）は、公開鍵に対応している秘密鍵（６８０）を所有している。中央サーバ（６２０）は、集約、例えば集約２（６６８）を秘密鍵（６８０）で暗号解読し、この暗号解読集約をトポロジのメンバーである各ＬＡに送る。本明細書に示す通り、暗号解読集約は、通信チャネル０（６３４）をわたってＬＡ０（６３０）に伝えられ、さらに、通信チャネル１（６４４）をわたってＬＡ１（６４０）に、通信チャネル２（６５４）をわたってＬＡ２（６５０）に、通信チャネル３（６６４）をわたってＬＡ３（６６０）に伝えられる。したがって、リングトポロジに関して本明細書において示し説明する準同型暗号化プラットフォームが、対応するデータのプライバシおよび機密性を維持しながら各ニューラル・モデルに対応している重みの加法暗号化をサポートする。
【0043】
図６において示し説明した暗号化プラットフォームは、準同型データ型、例えば、単一データ型に対するリングトポロジを対象とするものである。ある実施形態において、プラットフォームにおいてサポートされる集約および暗号化が、第２のすなわちそれとは異なるデータ型に活用され、各データ型に対する暗号化および集約は、順次または並行して行われる。
【0044】
図１において示し説明した通り、トポロジとその対応する通信プロトコルは、リングトポロジに限られるわけではない。図７では、完全連結型トポロジにエンティティを配置し、そのトポロジにわたってブロードキャスト通信プロトコルを採用する工程の良い例となるフローチャート（７００）を提供する。変数ＮＴｏｔａｌは、トポロジにおけるエンティティ数に相当する（７０２）。エンティティは、本明細書ではメッシュトポロジともしている完全連結型トポロジに配置されている（７０４）。ある実施形態において、各参加エンティティとしては、ＬＡが挙げられるか、各参加エンティティは、ＬＡの形態である。各参加エンティティには、局所暗号化重みが付いており、各参加エンティティは、それらの局所暗号化重み、例えばＡＨＥ暗号化重みをトポロジにおける各参加エンティティに直に送る（７０６）。ＡＨＥ暗号化重みの集約は、局所的に行われる。より具体的には、各参加エンティティは、受信した暗号化重みをすべて集約する。各参加エンティティは、暗号解読器、例えば第三者コーディネータに動作的に結合され、それらの集約重みを対応する秘密鍵による暗号解読に向けて暗号解読器に送る（７０８）。
【0045】
トポロジおよび確立通信プロトコルに基づき、暗号解読器は、各参加エンティティ同士で暗号解読を共有するように構成され、ある実施形態では、参加を検証することができる。ステップ（７０８）に続き、検証プロトコルが行われるべきかどうかが判断される（７１０）。この判断に対する負の応答に続いて、各参加エンティティが暗号解読集約を受信するように、暗号解読集約を参加エンティティに戻す（７１２）。当技術分野では分かっていることだが、帯域幅制約がある可能性がある。ある実施形態において、暗号化集約和の送信に向けて暗号解読器と通信するのに１つの参加エンティティしか指定されないことがあり得る。同様に、ある実施形態において、各参加エンティティは、暗号化集約和の送信および暗号解読集約和の受信に向けて暗号解読器と選択的に通信することができる。ある実施形態において、参加エンティティには、他の参加エンティティの知識も詳細もなく、それにより、暗号解読器が、重みの暗号解読集約の送信を担う。
【0046】
理論上、参加エンティティのそれぞれでは、同一の暗号化集約があるはずである。ステップ（７１０）における判断に対する正の応答に続いて、検証プロトコルが行われる。各参加エンティティから受信した暗号解読集約重みを比較し、非参加エンティティを特定する（７１４）。ある実施形態において、ステップ（７１４）では、受信した暗号化重み集約の回数が必要とされる暗号解読の回数と比較される。同様に、ある実施形態において、ステップ（７１４）では、受信した暗号化重み集約の値を比較し、外れ値があるかどうか確かめる。ステップ（７１６）において、非参加エンティティが特定されると、暗号解読集約の戻しは、参加エンティティに限られ得る（７１６）。同様に、ステップ（７１８）において、非参加として特定されたエンティティが何もなければ、暗号解読集約は、登録済み参加エンティティ（７２０）のそれぞれに伝えられる。したがって、本明細書において示し説明するトポロジは、非参加エンティティの特定をサポートし、可能にする。
【0047】
集約プロトコルは、トポロジ内のメンバーシップ、例えば、ローカル・アグリゲータのメンバーシップの動的修正をサポートするように、改正または修正され得る。図８では、そのメンバーシップが動的に変わるチャネル・グループまたはブロードキャスト・グループ上の重み暗号化および重み集約をサポートし、可能にする工程の良い例となるフローチャート（８００）を提供する。サーバすなわち第三者コーディネータは、Ｐａｉｌｌｉｅｒ公開鍵とそれに対応する秘密鍵を生成し、トポロジにおけるＬＡと公開鍵を共有する準備をする（８０２）。変数ＮＴｏｔａｌが、トポロジにおけるＬＡの数に、またはある実施形態ではその初期数に割り当てられる（８０４）。生成されたＰａｉｌｌｉｅｒ公開鍵は、トポロジにおける各ＬＡ同士で共有される（８０６）。ある実施形態において、ＬＡが、本明細書では内部連結型ＬＡグループともしているトポロジに加入すると、サーバすなわち第三者コーディネータが、Ｐａｉｌｌｉｅｒ公開鍵とそれに対応する秘密鍵を生成し、この公開鍵をそれぞれの加わるまたは加わったＬＡ同士で共有させるか、それまでに生成されたＰａｉｌｌｉｅｒ公開鍵をトポロジに加わるＬＡ同士で共有させる。したがって、トポロジのメンバーである各ＬＡは、重み暗号化に向けて、中央サーバと通信し、Ｐａｉｌｌｉｅｒ公開鍵を受信する。
【0048】
ＬＡは、あるグループから暗号化鍵を受信する。しかし、形成グループ内の各ＬＡは、他のＬＡについて知らなくても済む。本明細書において示す通り、本明細書ではＬＡＮとしているグループ内のＬＡは、その重みを公開鍵で暗号化し、次に、暗号化重みをグループ内の他のすべてのＬＡに一斉送信する（８０８）。ステップ（８０８）におけるＬＡＮからの暗号化重みの一斉送信に続いて、ＬＡＮがグループのメンバーである他のすべてのＬＡから暗号化重みを受信する（８１０）。ＬＡＮは、その暗号化重みを、これ以降集約暗号化重みとする、受信した暗号化重みのそれぞれに加え（８１２）、その集約暗号化重みを中央サーバ、例えば第三者コーディネータに送る（８１４）。中央サーバは、秘密鍵を採用して、集約暗号化重みを暗号解読し（８１６）、その暗号解読集約重みをメンバーＬＡのそれぞれに配布する（８１８）。したがって、本明細書において示す工程では、一斉送信の場合、暗号化鍵を活用する。
【0049】
ＡＩおよびＭＬの技術分野では分かっていることであるが、図６において示し説明したトポロジ、例えばリングトポロジのメンバーである１つまたは複数のＬＡには、局所集約の結果に対応する大きな重み配列が付いている可能性がある。図９では、局所重み配列を暗号化し、並行してその配列のチャンクを同期して集約する工程の良い例となるフローチャート（９００）を提供する。図６において示し説明した通り、複数のＬＡがリングトポロジに配置され、通信方向が確立される（９０２）。変数ＮＴｏｔａｌがトポロジのメンバーであるＬＡの数に割り当てられる（９０４）。各ＬＡ、例えばＬＡＮでは、Ｐａｉｌｌｉｅｒ公開鍵を使用して、その局所重み配列を暗号化する（９０６）。リング式でも一斉送信式でも、トポロジにわたってそれらのエンティティに重み配列を送る代わりに、各ＬＡは、暗号化配列を、各ＬＡ配列にあるチャンク数がトポロジのメンバーであるＬＡの数ＮＴｏｔａｌに等しい、本明細書ではチャンクとしている区画に分ける（９０８）。リングＡＩＩ－Ｒｅｄｕｃｅアルゴリズムが、ＬＡおよびチャンクカウンタ変数Ｎを初期化することによって呼び出される（９１０）。ＬＡＮがチャンクＮをリング内の次のＬＡ、例えばＬＡＮ＋１に送る一方、それは、例えばＬＡＮは、通信方向に応じて、トポロジにおける前のＬＡからチャンクＮ－１を同期して受信する（９１２）。次に、トポロジにおける各ＬＡがその受信したチャンクＮ－１とそれ自身の対応するチャンクＮ－１とを集約し、集約チャンクＮ－１をリング内の次のＬＡ、例えばＬＡＮ＋１に送る（９１４）。その後、カウンタ変数Ｎがインクリメントされ（９１６）、続いて、ＮがＮＴｏｔａｌより１つを超えて小さいかどうか判断される（９１８）。ステップ（９１８）における判断に対する負の応答に続いて、ステップ（９１２）に戻り、正の応答は、各ＬＡには重みの集約チャンクが付いているという表れである。チャンクは、リングトポロジにわたって並行して、同期に集約される。したがって、各ＬＡは、その局所チャンクを受信したチャンクに加え、それを通信方向に応じて次のＬＡに送る。
【0050】
ステップ（９１８）における判断に対する正の応答に続いて、トポロジにおける各ＬＡにはＰａｉｌｌｉｅｒ暗号化された集約重みチャンクが付く。４つのＬＡの場合の例では、ＬＡ１には集約チャンク２が付き、ＬＡ２には集約チャンク３が付き、ＬＡ３には集約チャンク４が付き、ＬＡ４には集約チャンク１が付く。各ＬＡは、その集約チャンクを第三者コーディネータに送り（９２０）、第三者コーディネータは、各ＬＡから来た集約暗号化重みを暗号解読するように機能する（９２２）。第三者コーディネータは、暗号解読重みを連結させ、それを、トポロジ内のＬＡのそれぞれに配布する（９２４）。したがって、本明細書において示し説明する工程では、トポロジに配置されたＬＡ間の重みの効率的でセキュアな集約にＡＩＩ－ｒｅｄｕｃｅアルゴリズムを適合させている。
【0051】
機能ツール（１５２）～（１５６）とそれらの対応する機能の態様が一か所にあるコンピュータ・システム／サーバにおいて具体化されてもよく、またはある実施形態において、クラウド・ベースのシステム共有コンピューティング・リソースにおいて構成されてもよい。図１０を参照すると、クラウド・ベースのサポート・システムと通信して、図１～９関してこれまで述べた工程を実施する、これ以降ホスト（１００２）とするコンピュータ・システム／サーバ（１００２）の例を示すブロック図（１０００）を提供している。ホスト（１００２）は、多くの他の汎用または特殊目的のコンピューティング・システム環境または構成で使用可能である。ホスト（１００２）で使用するのに適していると思われる、よく知られているコンピューティング・システム、環境、または構成、あるいはその組合せの例としては、これまで述べたシステム、デバイス、およびそれらの同等物のいずれも含む、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シンクライアント、ティッククライアント、ハンドヘルド・デバイスもしくはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラマブル家電製品、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、およびファイル・システム（例えば、分散型ストレージ環境および分散型クラウド・コンピューティング環境）が挙げられるが、これらに限るわけではない。
【0052】
ホスト（１００２）は、コンピューティング・システムによって実行される、プログラム・モジュールなどのコンピュータ実行式命令の一般的背景において描写することができる。通常、プログラム・モジュールとしては、特定のタスクを果たすか特定の抽象データ型を具体化する、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを挙げることができる。ホスト（１００２）は、タスクが、通信ネットワークを通してつなげられているリモート処理デバイスによって行われる、分散型クラウド・コンピューティング環境（１０８０）において実施され得る。分散型クラウド・コンピューティング環境では、プログラム・モジュールは、記憶素子デバイスを含むローカル・コンピュータ・システム記憶媒体にもリモート・コンピュータ・システム記憶媒体にも位置していてよい。
【0053】
図１０において示す通り、ホスト（１００２）は、汎用コンピューティング・デバイスの形態で示されている。ホスト（１００２）の構成要素としては、１つまたは複数のプロセッサすなわち処理ユニット（１００４）、例えばハードウェアプロセッサと、システムメモリ（１００６）と、システムメモリ（１００６）を含む様々なシステム構成要素をプロセッサ（１００４）につなげるバス（１００８）と、を挙げることができるが、これらに限られるわけではない。バス（１００８）は、様々なバス・アーキテクチャのいずれでも使用する、メモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッド・グラフィックス・ポート、およびプロセッサまたはローカル・バスを含む、様々な型式のバス構造のいずれでものうちの１つまたは複数に相当する。限定ではなく例として、このようなアーキテクチャとしては、業界標準アーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、マイクロチャネル・アーキテクチャ（ＭＣＡ：Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張ＩＳＡ（ＥＩＳＡ：Ｅｎｈａｎｃｅｄ ＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ：Ｖｉｄｅｉｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカル・バス、および周辺機器相互接続（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｓ）バスが挙げられる。ホスト（１００２）は、通常、様々なコンピュータ・システム可読媒体を含む。このような媒体は、ホスト（１００２）がアクセスすることができる使用可能などのような媒体であってもよく、媒体としては、揮発性媒体と不揮発性媒体の両方、リム―バブル媒体、および非リムーバブル媒体が挙げられる。
【0054】
メモリ（１００６）としては、ランダム・アクセス・メモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）（１０３０）またはキャッシュ・メモリ（１０３２）あるいはその両方をなど、揮発性メモリの形態のコンピュータ・システム可読媒体を挙げることができる。単に例として、非リムーバブル不揮発性磁気媒体から読み取り、それらに書き込むのにストレージ・システム（１０３４）が提供され得る（図示しないが、通常、「ハード・ドライブ」と呼ばれる）。図示していないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピディスク」）から読み取り、それらに書き込む磁気ディスク・ドライブと、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどの光媒体などのリムーバブル不揮発性光ディスクから読み取り、それらに書き込む光ディスク・ドライブと、を提供することができる。このような場合、それぞれが、１つまたは複数のデータ媒体インターフェースによってバス（１００８）に接続され得る。
【0055】
一連の（少なくとも１つの）プログラム・モジュール（１０４２）を有するプログラム／ユーティリティ（１０４０）だけではなく、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データも、限るわけではなく例としてメモリ（１００６）に格納され得る。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはその任意の組合せのそれぞれとしては、ネットワーク化環境の実装形態を挙げることができる。プログラム・モジュール（１０４２）は、通常、通信評価質疑を動的に特定し処理する、実施形態の機能または方法あるいはその両方を実施する。例えば、一連のプログラム・モジュール（１０４２）としては、図１において述べたツール（１５２）～（１５６）を挙げることができる。
【0056】
ホスト（１００２）は、キーボード、ポインティング・デバイスなどの１つまたは複数の外部デバイス（１０１４）、ディスプレイ（１０２４）、ユーザにホスト（１００２）と相互作用することを可能にさせる１つまたは複数のデバイス、またはホスト（１００２）に１つまたは複数の他のコンピューティング・デバイスと通信することを可能にさせる如何なるデバイスでも（例えば、ネットワーク・カード、モデムなど）、あるいはその組合せとも通信することができる。このような通信は、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース（１０２２）を介して行うことができる。またさらに、ホスト（１００２）は、ローカル・エリア・ネットワーク（ＬＡＮ）、汎用広域エリア・ネットワーク（ＷＡＮ）、または公衆網（例えば、インターネット）、あるいはその組合せなどの１つまたは複数のネットワークとネットワーク・アダプタ（１０２０）を介して通信することができる。描写の通り、ネットワーク・アダプタ（１０２０）は、ホスト（１００２）の他の構成要素とバス（１００８）を介して通信する。ある実施形態において、分散型ファイルシステム（図示せず）の複数のノードがホスト（１００２）とＩ／Ｏインターフェース（１０２２）を介して、またはネットワーク・アダプタ（１０２０）を介して通信している。理解すべきことは、図示していないが、他のハードウェア・コンポーネントまたはソフトウェア・コンポーネントあるいはその両方がホスト（１００２）と併用されてもよい、ということである。この例としては、マイクロコード、デバイス・デバイダ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・デバイス、およびデータ・アーカイブ記憶システムなどが挙げられるがこれらに限るわけではない。
【0057】
本明細書では、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」、および「コンピュータ可読媒体」と言った用語が、概して、ＲＡＭ（１０３０）を含むメイン・メモリ（１００６）、キャッシュ（１０３２）、またリムーバブル・ストレージ・ドライブおよびハードディスク・ドライブに取り付けられたハードディスクなどのストレージ・システム（１０３４）などの媒体のことを言うのに使用している。
【0058】
コンピュータ・プログラム（コンピュータ制御ロジックとも言われる）が、メモリ（１００６）に格納されている。コンピュータ・プログラムはまた、ネットワーク・アダプタ（１０２０）などの通信インターフェースを介して受信され得る。このようなコンピュータ・プログラムは、立ち上がると、コンピュータ・システムに、本明細書で述べる本実施形態の機能を果たすことを可能にさせる。具体的には、コンピュータ・プログラムは、立ち上がると、処理ユニット（１００４）に、コンピュータ・システムの機能を果たすことを可能にさせる。したがって、このようなコンピュータ・プログラムは、コンピュータ・システムのコントローラに相当する。
【0059】
コンピュータ可読記憶媒体は、命令実行デバイスが使用する命令を保持し、格納することができる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶素子、磁気記憶素子、光記憶素子、電磁記憶素子、半導体記憶素子、またはこれらの適切な如何なる組合せでもあり得るが、これらに限るわけではではない。コンピュータ可読記憶媒体のより具体的な例の非網羅例リストには、ポータブル・コンピュータ・ディスケット、ハードディスク、ダイナミックもしくはスタティックのランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＰＭまたはフラッシュメモリ）、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、パンチカードすなわち命令が記録されている溝内の隆起構造体などの機械式符号化デバイス、およびこれらの適切な如何なる組合せも含まれる。コンピュータ可読記憶媒体は、本明細書で使用する際、電波などの自由に伝播する電磁波、導波路などの透過媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または電線を通して伝送される電気信号など、本質的に一時的な信号であると捉えるべきではない。
【0060】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組合せを介して、外部コンピュータまたは外部記憶素子にダウンロードされ得る。ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せで構成され得る。各コンピューティング／処理デバイスにあるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、このコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体への格納に向けて、転送する。
【0061】
本実施形態の工程を行うよう求めるコンピュータ可読プログラム命令は、アセンブラ命令、命令－セット－アーキテクチャ（ＩＳＡ：Ｉｎｓｔｒｕｃｔｉｏｎ－Ｓｅｔ－Ａｒｃｈｉｔｅｃｔｕｒｅ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、ステート－設定データ、またはソースコードでもオブジェクトコードでもあってもよく、これらは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続プログラミング言語と、を含む、１つまたは複数のプログラミング言語の如何なる組合せにおいても書き込まれる。コンピュータ可読プログラム命令は、スタンドアローン・ソフトウェア・パッケージとしてユーザのコンピュータ上ですべて実行されても、ユーザのコンピュータ上で一部実行されても、また一部ユーザのコンピュータ上で、一部リモート・コンピュータ上で実行されても、すべてリモート・コンピュータもしくはサーバもしくはサーバ・クラスタ上で実行されてもよい。後者の場合、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む、如何なる類のネットワークでも通してユーザのコンピュータに接続され、または、外部コンピュータに接続することができる（例えば、インターネット・サービス・プロバイダを使用するインターネットを通して）。実施形態によっては、例えば、プログラマブル・ロジック回路機構、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）を含む電子回路機構が、本発明の態様を行うために、電子回路機構をパーソナライズするよう求めるコンピュータ可読プログララム命令の状態情報を活かすことにより、コンピュータ可読プログラム命令を実行することができる。
【0062】
ある実施形態において、ホスト（１００２）がクラウド・コンピューティング環境のノードである。当技術分野では知られていることであるが、クラウド・コンピューティングは、管理努力やサービスのプロバイダとのやり取りを最小限に抑えて、すぐに使えるように設定することができ、取り外すことができる構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶域、アプリケーション、仮想マシン、およびサービス）の共有プールへの都合の良いオンデマンド・ネットワーク・アクセスを可能にするサービス配信モデルである。このクラウド・モデルとしては、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルを挙げることができる。このような特性の例は、以下の通りである。
【0063】
オンデマンド・セルフサービス：クラウド消費者が、サービスのプロバイダとの人間のやり取りがなくても、必要に応じて自動的に、サーバタイムやネットワーク・ストレージなどのコンピューティング能力を一方的に使えるように設定することができる。
【0064】
広域ネットワークアクセス：能力が、ネットワーク上で使用可能であり、不均一なシンクライアント・プラットフォームまたはティッククライアント・フラットフォームによる使用を促進する標準機構（例えば、携帯電話、ラップトップ、およびＰＤＡ）を通してアクセスされる。
【0065】
リソースプーリング：マルチテナント・モデルを使用する複数の消費者を扱うようにプロバイダのコンピューティング・リソースがプールされ、要求に応じて、様々な物理リソースおよび仮想リソースが動的に割り当てられ、割り当てし直される。消費者は、通常、与えられたリソースの正確な場所を管理することもそれを知ることもないが、高次の抽象化層において場所（例えば、国、州、またはデータセンタ）を明らかにすることができるという、場所非依存の意味合いがある。
【0066】
素早い順応性：素早くスケールアウトし、また迅速に取り外して素早くスケールインするように、場合によっては自動的に、能力を素早く、順応して使用できるように設定することができる。消費者には、使用できるように設定するのに使用可能な能力が限られているように見えることが多いが、いつでも幾つでも能力を購入することができる。
【0067】
測定サービス：クラウド・システムは、そのサービスタイプ（例えば、ストレージ、処理、帯域幅、および有効なユーザアカウント）に相応しい何らかの抽象化層における計量能力を活かすことにより、リソース使用を自動的に制御し、最適化する。リソース使用量をモニタし、制御し、報告して、利用したサービスのプロバイダにも消費者にも透明性を与えることができる。
【0068】
サービスモデルは、以下の通りである。
【0069】
サービスとしてのソフトウェア（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）：消費者に与えられるこの能力は、クラウド基盤上で進行するプロバイダのアプリケーションを使用することである。このアプリケーションは、ｗｅｂブラウザ（例えば、ｗｅｂベースの電子メール）などのシンクライアント・インターフェースを通して、様々なクライアントデバイスからアクセス可能である。消費者は、場合によっては限られたユーザ特有のアプリケーション構成設定を除いて、ネットワーク、サーバ、オペレーティング・システム、記憶域、または個々のアプリケーション能力までも含む基礎となるクラウド基盤を管理することも制御することもない。
【0070】
サービスとしてのプラットフォーム（ＰａａＳ：Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）：消費者に与えられるこの能力は、プロバイダが対応しているプログラミング言語およびツールを使用して作り出された消費者作成のまたは消費者取得のアプリケーションをクラウド基盤上で展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、または記憶域を含む基礎となるクラウド基盤を管理することも制御することもないが、展開したアプリケーション、また場合によっては、アプリケーションホスト型環境構成を制御する。
【0071】
サービスとしてのインフラストラクチャ（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）：消費者に与えられるこの能力は、消費者が、オペレーティング・システムおよびアプリケーションを含んでもよい自由気ままなソフトウェアを展開し、進行させることができる、処理、記憶域、ネットワークなどの基本的なコンピューティング・リソースを使用できるように設定することである。消費者は、基礎となるクラウド基盤を管理することも制御することもないが、オペレーティング・システム、記憶域、展開したアプリケーションを制御し、また場合によっては、選択ネットワーキング・コンポーネント（例えば、ホスト・ファイアウォール）の制御を制限する。
【0072】
展開モデルは、以下の通りである。
【0073】
プライベート・クラウド：このクラウド基盤は、１つの組織のためにのみ運用される。クラウド基盤は、この組織や第三者によって管理されてもよく、構内にでも構外にでもあってもよい。
【0074】
コミュニティ・クラウド：このクラウド基盤は、いくつかの組織によって共有され、共通の懸念（例えば、任務、セキュリティ要件、方針、およびコンプライアンス配慮）を抱える具体的なコミュニティを支える。このクラウド基盤は、組織や第三者によって管理されてもよく、構内にでも構外にでもあってもよい。
【0075】
パブリック・クラウド：このクラウド基盤は、一般大衆や大規模産業グループが使用できるように作られ、クラウド・サービスを販売する組織が所有する。
【0076】
ハイブリッド・クラウド：このクラウド基盤は、２つ以上のクラウド（プライベート・クラウド、コミュニティ・クラウド、またはパブリック・クラウド）の複合体であり、唯一の実体を維持するが、データおよびアプリケーションの可搬性（例えば、クラウド間の負荷バランシングのためのクラウド・バースティング）を可能にする標準化技術または専有技術によって互いに結び付いている。
【0077】
クラウド・コンピューティング環境は、ステートレス化、低結合、モジュール化、および意味的相互運用性に的を絞るサービス指向型である。クラウド・コンピューティングの核心には、相互接続ノードネットワークを含む基盤がある。
【0078】
ここで図１１を参照すると、理解を助けるクラウド・コンピューティング・ネットワーク（１１００）が描かれている。見ての通り、クラウド・コンピューティング・ネットワーク（１１００）には、クラウド消費者が使用するローカル・コンピューティング・デバイスが通信することができる１つまたは複数のコンピューティング・ノード（１１１０）があるクラウド・コンピューティング環境（１１５０）が含まれる。これらのローカル・コンピューティング・デバイスの例としては、携帯情報端末（ＰＤＡ）すなわちセルラ電話（１１５４Ａ）、デスクトップコンピュータ（１１５４Ｂ）、ラップトップ・コンピュータ（１１５４Ｃ）、または自動車コンピュータ・システム（１１５４Ｎ）、あるいはその組合せなど、が挙げられるが、これらに限るわけではない。ノード（１１１０）内の個々のノードは、さらに互いに通信することができる。このノードは、これまで述べたプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、またはハイブリッド・クラウド、あるいはその組合せなど、１つまたは複数のネットワークにおいて、物理的にでも仮想上にでもグループ化されてもよい（図示せず）。これにより、クラウド・コンピューティング環境（１１００）が、クラウド消費者がローカル・コンピューティング・デバイス上でリソースを維持しなくても済むサービスとして、基盤、プラットフォーム、またはソフトウェア、あるいはその組合せを提供することができる。分かることだが、図１１に示すこの種のコンピューティング・デバイス（１１５４Ａ～Ｎ）は、単に理解を助けるためのものであり、クラウド・コンピューティング環境（１１５０）は、如何なる類のネットワークまたはネットワークアドレス可能な接続あるいはその両方の上で如何なる類のコンピュータ化デバイスとも通信することができる（例えば、ｗｅｂブラウザを使用して）。
【0079】
ここで図１２を参照すると、図１１のクラウド・コンピューティング・ネットワークによってもたらされた一連の機能抽象化層（１２００）が示されている。図１２に示す構成要素、層、および機能が単に理解を助けるためのもので、本発明の実施形態がそれに限られるわけではない、ということを前もって理解すべきである。描写の通り、ハードウェアおよびソフトウェア層（１２１０）、仮想化層（１２２０）、管理層（１２３０）、およびワークロード層（１２４０）の層とその対応する機能を提供する。
【0080】
ハードウェアおよびソフトウェア層（１２１０）としては、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントが挙げられる。ハードウェア・コンポーネントの例としては、メインフレーム、ある例ではＩＢＭ（Ｒ）ｚＳｅｒｉｅｓ（Ｒ）システム、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ（縮小命令セットコンピュータ））アーキテクチャベースのサーバ、ある例ではＩＢＭｐＳｅｒｉｅｓ（Ｒ）システム、ＩＢＭｘＳｅｒｉｅｓ（Ｒ）システム、ＩＢＭ ＢｌａｄｅＣｅｎｔｅｒ（Ｒ）システム、記憶素子、ネットワーク・ネットワーキングコンポーネントが挙げられる。ソフトウェア・コンポーネントの例としては、ネットワーク・アプリケーション・サーバ・ソフトウェア、ある例ではＩＢＭ ＷｅｂＳｐｈｅｒｅ（Ｒ）アプリケーション・サーバ・ソフトウェア、およびデータベース・ソフトウェア、ある例ではＩＢＭ ＤＢ２（Ｒ）データベース・ソフトウェア（ＩＢＭ、ｚＳｅｒｉｅｓ、ｐＳｅｒｉｅｓ、ｘＳｅｒｉｅｓ、ＢｌａｄｅＣｅｎｔｅｒ、ＷｅｂＳｐｈｅｒｅ、およびＤＢ２は、世界中の多くの管轄区域で登録されたＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎの商標である）が挙げられる。
【0081】
仮想化（１２２０）は、抽象化層をもたらし、この層から、仮想サーバ、仮想記憶域、仮想プライベートネットワークを含む仮想ネットワーク、仮想アプリケーション・オペレーティング・システム、および仮想クライアントと言った、仮想エンティティの例がもたらされ得る。
【0082】
ある例では、管理層（１２３０）は、リソース・プロビジョニング、メータリングおよびプライシング、ユーザ・ポータル、サービス層管理、およびＳＬＡプランニングおよびフルフィルメントと言った機能をもたらすことができる。リソース・プロビジョニングは、クラウド・コンピューティング環境内でタスクを行うのに利用されるコンピューティング・リソースなどのリソースのダイナミックプロキュアメントをもたらす。メータリングおよびプライシングは、リソースがクラウド・コンピューティング環境内で利用されるのに従った原価管理と、これらのリソースの消費に対する課金および請求書作成とをもたらす。ある例では、これらのリソースとしては、アプリケーション・ソフトウェア・ライセンスを挙げることができる。セキュリティにより、クラウド消費者およびタスクに対する同一性確認がもたらされ、データなどのリソースに対する保護も与えられる。ユーザ・ポータルによって、消費者およびシステム管理者がクラウド・コンピューティング環境にアクセスできるようになる。サービス層管理により、必要なサービス層が満たされるようなクラウド・コンピューティング・リソース割り当ておよび管理がもたらされる。サービス・レベル合意書（ＳＬＡ：Ｓｅｒｖｉｃｅ Ｌｅｖｅｌ Ａｇｒｅｅｍｅｎｔ）プランニングおよびフルフィルメントにより、今後の要件がＳＬＡに従って見込まれるクラウド・コンピューティング・リソースに対する事前合意がもたらされ、クラウド・コンピューティング・リソースのプロキュアメントがもたらされる。
【0083】
ワークロード層（１２４０）は、クラウド・コンピューティング環境が利用される機能の例をもたらす。この層からもたらされるワークロードおよび機能の例としては、マッピングおよびナビゲーション、ソフトウェア展開およびライフサイクル管理、仮想教室教育配信、データ解析処理、トランザクション処理、ならびに連合機械学習が挙げられるが、これらに限られるわけではない。
【0084】
分かってくるであろうが、本明細書には、自然言語入力を見極め、対応する通信時に質疑を検出し、検出した質疑を回答またはサポートするコンテンツあるいはその両方で解決するシステム、方法、装置、およびコンピュータ・プログラム製品を開示している。
【0085】
本発明の特定の実施形態を示し、説明してきたが、当業者であれば、本明細書の教示に基づき、本実施形態とそのより広い態様から外れない限り、変更や修正がなされることが明らかであろう。それ故、添付の特許請求の範囲は、このような変更や修正を実施形態の真の範囲にあるとして、その範囲に含めるものである。また、理解すべきことは、本実施形態が、添付の特許請求の範囲によってしか定義されない、ということである。当業者であれば、特定の数の導入請求項要素が意図されている場合、このような意図が請求項に明らかに挙げられ、このような列挙がないときには、このような制限が何もない、ということが分かるであろう。非限定例では、理解を助けるものとして、以下の添付の特許請求の範囲には、請求項要素を導入する「少なくとも１つ」や「１つまたは複数の」と言った前書き表現の使用が含まれる。しかし、このような表現の使用は、同じ請求項が前置き表現「１つまたは複数の」または「少なくとも１つの」、およびこのような「ａ」または「ａｎ」の不定冠詞を含むとしても、不定冠詞「ａ」または「ａｎ」による請求項要素の紹介が、このような導入請求項要素を含む特定の如何なる請求項もこのような要素を１つしか含まない実施形態に限る、ということを暗に示すと考えるべきではなく、同じことが、定冠詞の請求項での使用にも言える。
【0086】
本実施形態は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せである場合がある。また、本開示の選択態様は、全部ハードウェアの実施形態、全部ソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または、本明細書では、すべて、大抵、「回路」、「モジュール」、または「システム」としていることもある、ソフトウェア態様またはハードウェア態様あるいはその両方を組み合わせた実施形態の形態を取ることがあり得る。また、本実施形態の態様は、プロセッサに本実施形態の態様を行わせるコンピュータ可読プログラム命令を格納しているコンピュータ可読記憶媒体（複数可）において具体化されたコンピュータ・プログラム製品の形態を取ることがあり得る。このように具体化されると、本開示のシステム、方法、またはコンピュータ・プログラム製品、あるいはその組合せは、意思表示と表示した意思に関わる対応する応答により質疑を解決するように、人工知能プラットフォームの機能および働きを向上させるのに使用することができる。
【0087】
コンピュータ可読記憶媒体は、命令実行デバイスによる使用対象の命令を保持し、格納することができる有形デバイスである場合がある。コンピュータ可読記憶媒体は、例えば、電子記憶素子、磁気記憶素子、光記憶素子、電磁記憶素子、半導体記憶素子、またはそれらの適した如何なる組合せであってもよいが、これらに限られるわけではない。コンピュータ可読記憶媒体の非包括的なより具体的な例リストには、ポータブル・コンピュータ・ディスケット、ハードディスク、ダイナミックもしくはスタティックのランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、磁気記憶素子、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、またパンチカードすなわち命令が記録されている溝内の隆起構造体などの機械式符号化デバイス、およびその適切な如何なる組合せも含まれる。コンピュータ可読記憶媒体は、本明細書で使用する際、電波などの自由に伝播する電磁波、導波路などの伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、または電線を通して伝送される電気信号などの本質的に一時的な信号として捉えるべきではない。
【0088】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワークを介して、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくは無線ネットワーク、またはその組合せを介して外部コンピュータまたは外部記憶素子に、ダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せで構成され得る。各コンピューティング／処理デバイスにあるネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、このコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体への格納に向けて転送する。
【0089】
本実施形態の工程を行うよう求めるコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、ステート設定データであっても、ソースコードでもオブジェクトコードでもあってもよく、これらは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続プログラミング言語と、を含む、１つまたは複数のプログラミング言語の如何なる組合せにおいても書き込まれる。コンピュータ可読プログラム命令は、スタンドアローン・ソフトウェア・パッケージとしてユーザのコンピュータ上ですべて実行されても、ユーザのコンピュータ上で一部実行されても、また一部ユーザのコンピュータ上で、一部リモート・コンピュータ上で実行されても、すべてリモート・コンピュータもしくはサーバもしくはサーバ・クラスタ上で実行されてもよい。後者の場合、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）を含む如何なる類のネットワークでも通してユーザのコンピュータに接続され、または外部コンピュータに接続される（例えば、インターネット・サービス・プロバイダを使用してインターネットを通して）。実施形態によっては、例えば、プログラマブル・ロジック回路機構、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路機構は、本実施形態の態様を行うために、電子回路機構をパーソナライズするよう求めるコンピュータ可読プログラム命令の状態情報を活かすことにより、コンピュータ可読プログラム命令を実行することができる。
【0090】
本発明の態様については、実施形態による、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して述べている。フローチャート図またはブロック図あるいはその両方の各ブロック、またフローチャート図またはブロック図あるいはその両方のブロックの組合せがコンピュータ可読プログラム命令によって具体化される、ということが分かるであろう。
【0091】
コンピュータなどのプログラマブル・データ処理装置のプロセッサによって実行されると、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに明示された機能／作用を具体化する手段を生み出すように、コンピュータ可読プログラム命令が、汎用コンピュータ、特殊用途コンピュータなどのプログラマブル・データ処理装置のプロセッサに与えられてマシンを生み出し得る。命令を格納しているコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに明示される機能／作用の態様を具体化する命令を含む製造品を含むように、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはその組合せに、特定の方式で命令することができるこれらのコンピュータ可読プログラム命令はまた、コンピュータ可読記憶媒体に格納され得る。
【0092】
コンピュータ、他のプログラマブル装置、または他のデバイス上で実行されると、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに明示される機能／作用を具体化するような、コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスに読み込まれ、一連の操作段階をコンピュータ、他のプログラマブル装置、または他のデバイス上で行わせ、コンピュータ実施式工程をもたらすことができる。
【0093】
図中のフローチャートおよびブロック図は、本実施形態の様々な実施形態による、システム、方法、およびコンピュータ・プログラム製品のあり得る実装形態のアーキテクチャ、機能、および工程の良い例となるものである。この点では、フローチャートやブロック図の各ブロックは、モジュール、セグメント、または明示された論理機能を具体化するよう求める１つまたは複数の実行可能命令で構成されている命令部分に相当すると言える。代替の実装形態によっては、ブロックに示す機能は、図に示す順番以外で行われ得る。例えば、連続して示される２つのブロックは、関わる機能に依って、実際には、ほぼ同時に実行されてもよく、またはこれらのブロックが、逆の順番で実行される場合があり得る。ブロック図またはフローチャート図あるいはその両方の各ブロック、またブロック図またはフローチャート図あるいはその両方のブロック組合せが、明示された機能や作用を果たす、または特殊用途ハードウェア命令とコンピュータ命令との組合せを実施する、特殊用途ハードウェア・ベースのシステムによって具体化される、ということにも気付くであろう。
【0094】
分かってくるであろうが、本明細書では、理解を助けるために、具体的な実施形態について述べてきたが、本発明の範囲を外れない限り、様々な修正がなされてもよい。したがって、本実施形態の保護範囲は、以下の特許請求の範囲とその均等物にしか限られない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
