▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-25
(54)【発明の名称】自動応答に対する問題の敵対的難化
(51)【国際特許分類】
G06Q 50/20 20120101AFI20231218BHJP
【ＦＩ】
G06Q50/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023534095
(86)(22)【出願日】2021-11-19
(85)【翻訳文提出日】2023-06-05
(86)【国際出願番号】 CN2021131817
(87)【国際公開番号】W WO2022121663
(87)【国際公開日】2022-06-16
(31)【優先権主張番号】17/118,601
(32)【優先日】2020-12-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】110000420
【氏名又は名称】弁理士法人ＭＩＰ
(72)【発明者】
【氏名】ラワット、アンブリッシュ
(72)【発明者】
【氏名】エパーレイン、ジョナサン ピーター
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC34
(57)【要約】
自動応答に対する問題の敵対的難化を伴う試験を実施するためのシステム、コンピュータ・プログラム製品、および方法が提示される。この方法は、元の問題を電子的に受信することを含む。元の問題に対する応答は、人間によって電子的に提出されるべきものである。この方法は、元の問題を改変することによって改変された問題を生成することも含む。改変された問題は人間によって理解可能であり、かつ人間のサポートなしの電子的手段を通じて適切に応答されないように構成される。
【選択図】図５Ａ
【選択図】図５Ａ
【特許請求の範囲】
【請求項1】
コンピュータ・システムであって、１つまたは複数の処理デバイスと、前記１つまたは複数の処理デバイスに動作可能に結合された少なくとも１つのメモリ・デバイスとを含み、前記１つまたは複数の処理デバイスは、
元の問題を電子的に受信することであって、前記元の問題に対する応答は人間によって電子的に提出されるべきものである、前記受信することと、
前記元の問題を改変し、それによって改変された問題を生成することと
を行うように構成され、前記改変された問題は、
前記人間によって理解可能であるように、および
人間のサポートなしの電子的手段を通じて適切に応答されないように
構成される、システム。
【請求項2】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数のフィルタリング・コンポーネントをさらに含み、前記１つまたは複数の処理デバイスは、前記元の問題を前記１つまたは複数のフィルタリング・コンポーネントに送信し、それによって、前記元の問題に対する１つまたは複数の変換を実施すること
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項3】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数のセマンティック・サービスをさらに含み、前記１つまたは複数の処理デバイスは、前記改変された問題を前記１つまたは複数のセマンティック・サービスに送信することと、
前記元の問題を前記１つまたは複数のセマンティック・サービスに送信することと、
前記１つまたは複数のセマンティック・サービスを通じて、前記元の問題と前記改変された問題との類似性評価を実行することと
を行うようにさらに構成される、請求項２に記載のシステム。
【請求項4】
前記１つまたは複数の処理デバイスは、前記１つまたは複数のセマンティック・サービスを通じて、前記改変された問題が前記人間によって理解可能であることを決定することを行うようにさらに構成される、請求項３に記載のシステム。
【請求項5】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数の人工知能（ＡＩ）エージェントへのアクセスをさらに含み、前記１つまたは複数の処理デバイスは、前記改変された問題を前記１つまたは複数のＡＩエージェントに送信することと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する試行ラベル付け動作を実行することと
を行うようにさらに構成される、請求項３に記載のシステム。
【請求項6】
前記１つまたは複数の処理デバイスは、前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題にラベルを割り当てることと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に信頼値を割り当てることと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する応答を生成することと
のうちの１つまたは複数を行うようにさらに構成される、請求項５に記載のシステム。
【請求項7】
前記１つまたは複数の処理デバイスは、前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題にラベルを割り当てることに失敗することと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する応答を生成しないことと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する誤った応答を生成することと
のうちの１つまたは複数を行うようにさらに構成される、請求項５に記載のシステム。
【請求項8】
前記元の問題は、元のテキスト問題と、
元の画像問題と、
元の音声問題と
のうちの１つまたは複数のモダリティを含み、
前記１つまたは複数の処理デバイスは、前記元の問題の前記モダリティの改変を含む前記元の問題の改変を行うようにさらに構成され、前記改変は、前記元のテキスト問題を、
少なくとも何らかの敵対的ノイズを含む少なくとも部分的に改変された音声問題と、
少なくとも部分的に改変された画像問題と
のうちの１つまたは複数に変換することを含む、請求項１に記載のシステム。
【請求項9】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数のフィルタリング・コンポーネントと、前記１つまたは複数のフィルタリング・コンポーネントに通信的に結合された１つまたは複数のセマンティック・サービスと、
前記１つまたは複数のフィルタリング・コンポーネントに通信的に結合された１つまたは複数の人工知能（ＡＩ）エージェントへのアクセスと
をさらに含み、前記１つまたは複数の処理デバイスは、
前記１つまたは複数のフィルタリング・コンポーネントを通じて、前記元の問題を少なくとも部分的に改変された問題に変換することと、
前記元の問題および前記少なくとも部分的に改変された問題を前記１つまたは複数のセマンティック・サービスに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のＡＩエージェントに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のフィルタリング・コンポーネントに反復的に送信することと、
反復的に、
前記１つまたは複数のセマンティック・サービスを通じて、前記少なくとも部分的に改変された問題が前記人間によって理解可能であることを決定し、
前記１つまたは複数のＡＩエージェントを通じて、前記少なくとも部分的に改変された問題が前記人間のサポートなしの前記電子的手段を通じて適切に応答され得ないことを決定し、それによって前記少なくとも部分的に改変された問題が完全に改変された問題であることを確立することと、
前記完全に改変された問題を前記人間に送信することと
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項10】
コンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、１つまたは複数のコンピュータ可読記憶媒体と、
前記１つまたは複数のコンピュータ可読記憶媒体に共に記憶されたプログラム命令と
を含み、前記プログラム命令は、
元の問題を電子的に受信するためのプログラム命令であって、前記元の問題に対する応答は人間によって電子的に提出されるべきものである、前記受信するためのプログラム命令と、
前記元の問題を改変し、それによって改変された問題を生成するためのプログラム命令と
を含み、前記改変された問題は、
前記人間によって理解可能であるように、および
人間のサポートなしの電子的手段を通じて適切に応答されないように
構成される、コンピュータ・プログラム製品。
【請求項11】
前記１つまたは複数のフィルタリング・コンポーネントを通じて、前記元の問題を少なくとも部分的に改変された問題に変換するためのプログラム命令と、前記元の問題および前記少なくとも部分的に改変された問題を前記１つまたは複数のセマンティック・サービスに反復的に送信するためのプログラム命令と、
前記少なくとも部分的に改変された問題を前記１つまたは複数のＡＩエージェントに反復的に送信するためのプログラム命令と、
前記少なくとも部分的に改変された問題を前記１つまたは複数のフィルタリング・コンポーネントに反復的に送信するためのプログラム命令と、
反復的に、
前記１つまたは複数のセマンティック・サービスを通じて、前記少なくとも部分的に改変された問題が前記人間によって理解可能であることを決定し、
前記１つまたは複数のＡＩエージェントを通じて、前記少なくとも部分的に改変された問題が前記人間のサポートなしの前記電子的手段を通じて適切に応答され得ないことを決定し、それによって前記少なくとも部分的に改変された問題が完全に改変された問題であることを確立する
ためのプログラム命令と、
前記完全に改変された問題を前記人間に送信するためのプログラム命令と
をさらに含む、請求項１０に記載のコンピュータ・プログラム製品。
【請求項12】
元の問題を電子的に受信することであって、前記元の問題に対する応答は人間によって電子的に提出されるべきものである、前記受信することと、前記元の問題を改変し、それによって改変された問題を生成することと
を含み、前記改変された問題は、
前記人間によって理解可能であるように、および
人間のサポートなしの電子的手段を通じて適切に応答されないように
構成される、コンピュータ実装方法。
【請求項13】
前記改変された問題を生成することは、前記元の問題を１つまたは複数のフィルタリング・コンポーネントに送信し、それによって、前記元の問題に対する１つまたは複数の変換を実施することを含む、請求項１２に記載の方法。
【請求項14】
前記改変された問題を１つまたは複数のセマンティック・サービスに送信することと、前記元の問題を前記１つまたは複数のセマンティック・サービスに送信することと、
前記１つまたは複数のセマンティック・サービスを通じて、前記元の問題と前記改変された問題との類似性評価を実行することと
をさらに含む、請求項１３に記載の方法。
【請求項15】
前記類似性評価を前記実行することは、前記１つまたは複数のセマンティック・サービスを通じて、前記改変された問題が前記人間によって理解可能であることを決定することを含む、請求項１４に記載の方法。
【請求項16】
前記改変された問題を１つまたは複数の人工知能（ＡＩ）エージェントに送信することと、前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する試行ラベル付け動作を実行することと
をさらに含む、請求項１４に記載の方法。
【請求項17】
前記改変された問題に対する試行ラベル付け動作を実行することは、前記改変された問題にラベルを割り当てることと、
前記改変された問題に信頼値を割り当てることと、
前記改変された問題に対する応答を生成することと
のうちの１つまたは複数を含む、請求項１６に記載の方法。
【請求項18】
前記改変された問題に対する試行ラベル付け動作を実行することは、前記改変された問題にラベルを割り当てることに失敗することと、
前記改変された問題に対する応答を生成しないことと、
前記改変された問題に対する誤った応答を生成することと
のうちの１つまたは複数を含む、請求項１６に記載の方法。
【請求項19】
前記元の問題を電子的に前記受信することは、元のテキスト問題と、
元の画像問題と、
元の音声問題と
のうちの１つまたは複数のモダリティを有する前記元の問題を受信することを含み、
前記元の問題を前記改変することは、前記元の問題の前記モダリティを改変することを含み、前記モダリティを改変することは、前記元のテキスト問題を、
少なくとも何らかの敵対的ノイズを含む少なくとも部分的に改変された音声問題と、
少なくとも部分的に改変された画像問題と
のうちの１つまたは複数に変換することを含む、請求項１２に記載の方法。
【請求項20】
前記１つまたは複数のフィルタリング・コンポーネントを通じて、前記元の問題を少なくとも部分的に改変された問題に変換することと、前記元の問題および前記少なくとも部分的に改変された問題を前記１つまたは複数のセマンティック・サービスに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のＡＩエージェントに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のフィルタリング・コンポーネントに反復的に送信することと、
反復的に、
前記１つまたは複数のセマンティック・サービスを通じて、前記少なくとも部分的に改変された問題が前記人間によって理解可能であることを決定し、
前記少なくとも部分的に改変された問題が前記人間のサポートなしの前記電子的手段を通じて適切に応答され得ないことを決定し、それによって前記少なくとも部分的に改変された問題が完全に改変された問題であることを確立することと、
前記完全に改変された問題を前記人間に送信することと
をさらに含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は試験を実施することに関し、より具体的には、自動応答に対する問題の敵対的難化を改善することに関する。
【背景技術】
【0002】
多くの公知の試験イベントがオンライン手段を通じて行われているが、ここでは、受験者はリモートに位置しており、試験官による対面での監督は実際的ではない。インターネットが我々の社会において存在感を増し続けるにつれて、情報へのアクセスを得ることが容易になり、インターネットは問題への回答のために最初に行くべき目的地の役割を果たしている。たとえば、モバイル・デバイスを含むすべての形態のコンピュータ・デバイスを通じて容易にアクセスされる、デジタル・アシスタントやチャット・ボットなどの周知のほぼユビキタスな人工知能（ＡＩ）エージェントを通じて、問題に対する回答がかなり好都合に得られることがある。したがって、受験者が試験問題に対する自動応答を生成するためにこうした技術を利用する可能性があることから、試験プロセスの完全性を維持するために、何らかの形態のリモート試験監督が必要である。オンライン試験のリモートでの実施および監督の少なくともいくつかの公知の方法は、たとえば受験者の映像ベースの監視などの侵害的な監視、ならびに関連付けられたスクリーンおよびスクリーン共有を含む。どちらの方法も、人間の監督官の完全な集中的かつ連続的な注意を必要とする。加えて、どちらの方法も、試験ハードウェアおよびソフトウェアの性能に影響を及ぼすおそれのある付加的なコンピュータ・リソースを使用し、このことは時間制限のある試験にとって負荷となり得る。さらに、どちらの方法も、人間の監督官ならびに付加的なハードウェアおよびソフトウェアの使用によって、試験のコストを増加させる。
【発明の概要】
【0003】
自動応答に対する問題の敵対的難化を伴う試験を実施するためのシステム、コンピュータ・プログラム製品、および方法が提供される。
【0004】
一態様では、自動応答に対する問題の敵対的難化を伴う試験を実施するためのコンピュータ・システムが提供される。このシステムは、１つまたは複数の処理デバイスと、その１つまたは複数の処理デバイスに動作的に結合された少なくとも１つのメモリ・デバイスとを含む。１つまたは複数の処理デバイスは、元の問題を電子的に受信するように構成される。元の問題に対する応答は、人間によって電子的に提出されるべきものである。加えて１つまたは複数の処理デバイスは、元の問題を改変することによって改変された問題を生成するように構成される。改変された問題は人間によって理解可能であり、かつ人間のサポートなしの電子的手段を通じて適切に応答されないように構成される。
【0005】
別の態様では、自動応答に対する問題の敵対的難化を伴う試験を実施するためのコンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、１つまたは複数のコンピュータ可読記憶媒体と、その１つまたは複数のコンピュータ記憶媒体に共に記憶されるプログラム命令とを含む。この製品は、元の問題を電子的に受信するためのプログラム命令も含む。元の問題に対する応答は、人間によって電子的に提出されるべきものである。この製品は、元の問題を改変することによって改変された問題を生成するためのプログラム命令も含む。改変された問題は人間によって理解可能であり、かつ人間のサポートなしの電子的手段を通じて適切に応答されないように構成される。
【0006】
さらに別の態様では、自動応答に対する問題の敵対的難化を伴う試験を実施するためのコンピュータ実装方法が提供される。この方法は、元の問題を電子的に受信することを含む。元の問題に対する応答は、人間によって電子的に提出されるべきものである。この方法は、元の問題を改変することによって改変された問題を生成することも含む。改変された問題は人間によって理解可能であり、かつ人間のサポートなしの電子的手段を通じて適切に応答されないように構成される。
【0007】
本発明の概要は、本開示の各態様、すべての実装、もしくはすべての実施形態、またはその組み合わせを示すことは意図されていない。これらおよびその他の特徴および利点は、添付の図面と共に与えられる本実施形態（単数または複数）の以下の詳細な説明から明らかになるだろう。
【0008】
本出願に含まれる図面は、本明細書に組み込まれてその一部を形成する。それらの図面は本開示の実施形態を例示し、その記載と共に本開示の原理を説明する働きをする。図面は特定の実施形態を例示するものであり、本開示を限定するものではない。
【図面の簡単な説明】
【0009】
【図1】本開示のいくつかの実施形態による、クラウド・コンピューティング環境を示す概略図である。
【図2】本開示のいくつかの実施形態による、クラウド・コンピューティング環境によって提供される機能抽象化モデル・レイヤのセットを示すブロック図である。
【図3】本開示のいくつかの実施形態による、本明細書に記載されるプロセスを実装するためのクラウド・ベースのサポート・システムとして使用され得るコンピュータ・システム／サーバを示すブロック図である。
【図4】本開示のいくつかの実施形態による、自動応答に対する問題の敵対的難化を伴う試験を実施するために構成されたコンピュータ・システムを示すブロック図である。
【図5A】本開示のいくつかの実施形態による、自動応答に対する問題の敵対的難化を伴う試験を実施するためのプロセスを示すフローチャートである。
【発明を実施するための形態】
【0010】
本開示はさまざまな改変形および代替形が可能であるが、図面では例としてその特定のものが示されており、それが詳細に説明されることとなる。しかしその意図は、記載される特定の実施形態に本開示を限定することではないことが理解されるべきである。反対にその意図は、本開示の範囲内にあるすべての改変形、均等物、および代替形を包含することである。
【0011】
本明細書に概ね記載され、図面に示されている本実施形態の構成要素は、多様な異なる構成で配置および設計されてもよいことが容易に理解されるだろう。よって、図面に提示されるとおりの本実施形態の装置、システム、方法、およびコンピュータ・プログラム製品の実施形態の以下の詳細な説明は、請求される本実施形態の範囲を限定することは意図されておらず、単に選択された実施形態を表すものである。加えて当然のことながら、本明細書においては例示の目的のために特定の実施形態が記載されているが、それらの実施形態の範囲から逸脱することなくさまざまな改変が行われてもよい。
【0012】
この明細書全体にわたる「選択実施形態」、「少なくとも１つの実施形態」、「一実施形態」、「別の実施形態」、「他の実施形態」、または「ある実施形態」、および類似の言語への言及は、その実施形態に関連して記載される特定の特性、構造、または特徴が少なくとも１つの実施形態に含まれることを意味する。よって、この明細書全体にわたるさまざまな場所において出現する「選択実施形態」、「少なくとも１つの実施形態」、「一実施形態」、「別の実施形態」、「他の実施形態」、または「ある実施形態」という語句は、必ずしも同じ実施形態を示すものではない。
【0013】
例示される実施形態は図面を参照することによって最もよく理解されるだろう。図面全体にわたって、類似の部分は類似の番号によって示される。以下の記載は単なる例であることが意図されており、本明細書において請求される実施形態に適合するデバイス、システム、およびプロセスの特定の選択された実施形態を単に例示するものである。
【0014】
本開示はクラウド・コンピューティングの詳細な説明を含むが、本明細書に記述される教示の実装はクラウド・コンピューティング環境に限定されないことが理解されるべきである。むしろ、本開示の実施形態は、現在公知であるか、または後に開発される任意のその他のタイプのコンピューティング環境と共に実装され得る。
【0015】
クラウド・コンピューティングは、最小限の管理努力またはサービスのプロバイダとの対話によって迅速にプロビジョニングおよびリリースされ得る構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは少なくとも５つの特性と、少なくとも３つのサービス・モデルと、少なくとも４つの展開モデルとを含んでもよい。
【0016】
特性は次のとおりである。
【0017】
オンデマンド・セルフサービス。クラウド消費者は、たとえばサーバ時間およびネットワーク・ストレージなどのコンピューティング機能を、必要に応じて自動的に、サービスのプロバイダとの人的対話を必要とせずに一方的にプロビジョニングできる。
【0018】
広範なネットワーク・アクセス。機能はネットワークを通じて利用可能であり、さまざまなシンまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的な機構を通じてアクセスされる。
【0019】
リソース・プール。マルチテナント・モデルを用いて複数の消費者にサービスするために、プロバイダのコンピューティング・リソースがプールされ、要求に従って異なる物理および仮想リソースが動的に割り当ておよび再割り当てされる。消費者は概して、提供されるリソースの正確な場所に対する制御も知識も有さないが、より高い抽象化レベルにおける場所（例えば、国、州、またはデータセンタ）を特定することが可能であり得るという点で、場所独立性の意味がある。
【0020】
迅速な弾力性。機能は、素早くスケール・アウトするために場合によっては自動的に、迅速かつ弾力的にプロビジョニングされ、かつ素早くスケール・インするために迅速にリリースされ得る。消費者にとって、プロビジョニングのために利用可能な機能はしばしば無制限にみえ、任意のときに任意の量を購入できる。
【0021】
従量制サービス。クラウド・システムは、サービスのタイプ（例えば、ストレージ、処理、帯域幅、およびアクティブ・ユーザ・アカウント）に対して適切な何らかの抽象化レベルにおいて計測機能を利用することによって、リソースの使用を自動的に制御および最適化する。リソースの使用をモニタ、制御、および報告して、使用されるサービスのプロバイダおよび消費者の両方に対する透明性を提供できる。
【0022】
サービス・モデルは次のとおりである。
【0023】
サービスとしてのソフトウェア（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）。消費者に提供される機能は、クラウド・インフラストラクチャにおいて動作するプロバイダのアプリケーションの使用である。アプリケーションは、さまざまなクライアント・デバイスからたとえばウェブ・ブラウザ（例えば、ウェブ・ベースのｅメール）などのシン・クライアント・インターフェースを通じてアクセス可能である。消費者はネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能さえも含む基礎的なクラウド・インフラストラクチャを管理または制御することはなく、例外となり得るのは限られたユーザ特有のアプリケーション構成設定である。
【0024】
サービスとしてのプラットフォーム（ＰａａＳ：Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）。消費者に提供される機能は、プロバイダによってサポートされるプログラミング言語およびツールを用いて作成された、消費者が作成または取得したアプリケーションのクラウド・インフラストラクチャへの展開である。消費者はネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基礎的なクラウド・インフラストラクチャを管理または制御することはないが、展開されたアプリケーションおよび場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。
【0025】
サービスとしてのインフラストラクチャ（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）。消費者に提供される機能は、オペレーティング・システムおよびアプリケーションを含み得る、消費者が任意のソフトウェアを展開および実行することが可能な処理、ストレージ、ネットワーク、およびその他の基本的なコンピューティング・リソースのプロビジョニングである。消費者は基礎的なクラウド・インフラストラクチャを管理または制御することはないが、オペレーティング・システム、ストレージ、展開されたアプリケーションに対する制御、および場合によってはネットワーク形成コンポーネント（例えば、ホスト・ファイアウォール）の選択に対する限られた制御を有する。
【0026】
展開モデルは次のとおりである。
【0027】
プライベート・クラウド。このクラウド・インフラストラクチャは、ある組織に対してのみ操作される。これはその組織またはサード・パーティによって管理されてもよく、オンプレミスまたはオフプレミスに存在してもよい。
【0028】
コミュニティ・クラウド。このクラウド・インフラストラクチャは複数の組織によって共有され、共通する関心事項（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスの検討）を有する特定のコミュニティをサポートする。これはそれらの組織またはサード・パーティによって管理されてもよく、オンプレミスまたはオフプレミスに存在してもよい。
【0029】
パブリック・クラウド。このクラウド・インフラストラクチャは、一般人または大規模な産業グループに対して利用可能にされ、クラウド・サービスを販売する組織が所有している。
【0030】
ハイブリッド・クラウド。このクラウド・インフラストラクチャは２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合体であり、それらのクラウドは独自のエンティティに留まるが、データおよびアプリケーション・ポータビリティを可能にする標準または独自の技術（例えば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって共に結合される。
【0031】
クラウド・コンピューティング環境はサービス指向型であり、ステートレス性、低結合性、モジュラリティ、およびセマンティックな相互運用性に焦点を合わせている。クラウド・コンピューティングの中心には、相互接続されたノードのネットワークを含むインフラストラクチャがある。
【0032】
ここで図１を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。示されるとおり、クラウド・コンピューティング環境５０は１つまたは複数のクラウド・コンピューティング・ノード１０を含み、たとえばパーソナル・デジタル・アシスタント（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車のコンピュータ・システム５４Ｎ、またはそれらの組み合わせなどの、クラウド消費者によって用いられるローカル・コンピュータ・デバイスは、このクラウド・コンピューティング・ノード１０によって通信してもよい。ノード１０は互いに通信してもよい。これらのノードは、たとえば上述したプライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはその組み合わせなどの１つまたは複数のネットワークにおいて、物理的または仮想的にグループ化（図示せず）されてもよい。このことは、クラウド・コンピューティング環境５０がインフラストラクチャ、プラットフォーム、もしくはソフトウェア、またはその組み合わせを、クラウド消費者がそれに対するリソースをローカル・コンピュータ・デバイスにおいて維持する必要のないサービスとして提供することを可能にする。図１に示されるコンピュータ・デバイス５４Ａ～Ｎのタイプは単なる例示であることが意図されており、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、任意のタイプのネットワークもしくはネットワーク・アドレス可能接続（例えば、ウェブ・ブラウザを使用するもの）またはその両方を通じて、任意のタイプのコンピュータ・デバイスと通信できることが理解される。
【0033】
ここで図２を参照すると、クラウド・コンピューティング環境５０（図１）によって提供される機能的抽象化レイヤのセットが示されている。図２に示されるコンポーネント、レイヤ、および機能は単なる例示であることが意図されており、本開示の実施形態はそれらに限定されないことが予め理解されるべきである。示されるとおり、以下のレイヤおよび対応する機能が提供される。
【0034】
ハードウェアおよびソフトウェア・レイヤ６０は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例は、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバ６２、サーバ６３、ブレード・サーバ６４、ストレージ・デバイス６５、ならびにネットワークおよびネットワーク形成コンポーネント６６を含む。いくつかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。
【0035】
仮想化レイヤ７０は抽象化レイヤを提供し、この抽象化レイヤから仮想エンティティの以下の例が提供されてもよい。仮想サーバ７１、仮想ストレージ７２、仮想プライベート・ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびオペレーティング・システム７４、ならびに仮想クライアント７５。
【0036】
一例において、管理レイヤ８０は以下に記載される機能を提供してもよい。リソース・プロビジョニング８１は、クラウド・コンピューティング環境内でタスクを行うために使用されるコンピューティング・リソースおよびその他のリソースの動的調達を提供する。計測および価格決定８２は、クラウド・コンピューティング環境内でリソースが使用される際のコスト追跡と、これらのリソースの消費に対する課金またはインボイス作成を提供する。一例では、これらのリソースはアプリケーション・ソフトウェア・ライセンスを含んでもよい。セキュリティは、クラウド消費者およびタスクに対するアイデンティティ検証、ならびにデータおよびその他のリソースの保護を提供する。ユーザ・ポータル８３は、消費者およびシステム管理者に対するクラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理８４は、要求されるサービス・レベルが満たされるようにクラウド・コンピューティング・リソースの割り当ておよび管理を提供する。サービス・レベル・アグリーメント（ＳＬＡ）計画および実現８５は、ＳＬＡによって将来の要求が予測されるクラウド・コンピューティング・リソースに対する事前の取り決めおよびその調達を提供する。
【0037】
ワークロード・レイヤ９０は、クラウド・コンピューティング環境が使用され得る機能の例を提供する。このレイヤから提供され得るワークロードおよび機能の例は、マッピングおよびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室の教育配信９３、データ分析処理９４、トランザクション処理９５、および自動応答に対する問題の敵対的難化９６を含む。
【0038】
図３を参照すると、本明細書においてコンピュータ・システム１００と呼ばれるデータ処理システムの例のブロック図が提供される。システム１００は単一の場所のコンピュータ・システム／サーバにおいて具現化されてもよいし、少なくとも１つの実施形態では、コンピューティング・リソースを共有するクラウド・ベースのシステムとして構成されてもよい。たとえば、限定はないが、コンピュータ・システム１００はクラウド・コンピューティング・ノード１０として使用されてもよい。
【0039】
本明細書に記載されるシステム、ツール、およびプロセスを実装するために、コンピュータ・システム１００の態様は、単一の場所のコンピュータ・システム／サーバにおいて具現化されてもよいし、少なくとも１つの実施形態では、クラウド・ベースのサポート・システムとしてコンピューティング・リソースを共有するクラウド・ベースのシステムとして構成されてもよい。コンピュータ・システム１００は、多数の他の汎用目的または特定目的のコンピュータ・システム環境または構成と共に動作し得る。コンピュータ・システム１００と共に使用するために好適であり得る周知のコンピュータ・システム、環境、もしくは構成、またはその組み合わせの例は、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベースのシステム、セット・トップ・ボックス、プログラマブル家電機器、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、ならびに上記のシステム、デバイス、およびそれらの均等物のいずれかを含むファイル・システム（例えば、分散型ストレージ環境および分散型クラウド・コンピューティング環境）を含むが、それに限定されない。
【0040】
コンピュータ・システム１００は、コンピュータ・システム１００によって実行される、たとえばプログラム・モジュールなどのコンピュータ・システム実行可能命令の一般的な文脈で記載されてもよい。概して、プログラム・モジュールは、特定のタスクを実行するか、または特定の抽象データ・タイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、およびデータ構造などを含んでもよい。コンピュータ・システム１００は、通信ネットワークを通じてリンクされたリモート処理デバイスによってタスクが行われる分散型クラウド・コンピューティング環境において実施されてもよい。分散型クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカルおよびリモートのコンピュータ・システム記憶媒体の両方に位置してもよい。
【0041】
図３に示されるとおり、コンピュータ・システム１００は汎用目的のコンピュータ・デバイスの形態で示される。コンピュータ・システム１００のコンポーネントは、１つまたは複数のプロセッサまたは処理デバイス１０４（プロセッサおよび処理ユニットと呼ばれることもある）、たとえばハードウェア・プロセッサなどと、システム・メモリ１０６（メモリ・デバイスと呼ばれることもある）と、システム・メモリ１０６を含むさまざまなシステム・コンポーネントを処理デバイス１０４に結合する通信バス１０２とを含んでもよいが、それらに限定されない。通信バス１０２は、メモリ・バスまたはメモリ・コントローラ、ペリフェラル・バス、アクセラレーテッド・グラフィクス・ポート、およびさまざまなバス・アーキテクチャのいずれかを用いるプロセッサまたはローカル・バスを含むいくつかのタイプのバス構造のいずれか１つまたは複数を表す。限定ではなく例として、こうしたアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ）ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）バスを含む。コンピュータ・システム１００は通常、さまざまなコンピュータ・システム可読媒体を含む。こうした媒体は、コンピュータ・システム１００によるアクセスが可能な任意の利用可能な媒体であってもよく、それは揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体の両方を含む。加えて、コンピュータ・システム１００は１つまたは複数の永続ストレージ・デバイス１０８と、通信ユニット１１０と、入力／出力（Ｉ／Ｏ）ユニット１１２と、ディスプレイ１１４とを含んでもよい。
【0042】
処理デバイス１０４は、システム・メモリ１０６にロードされ得るソフトウェアに対する命令を実行する働きをする。特定の実装に依存して、処理デバイス１０４はいくつかのプロセッサ、マルチコア・プロセッサ、または何らかの他のタイプのプロセッサであってもよい。本明細書においてある事柄に言及して使用される「いくつかの」は、１つまたは複数の事柄を意味する。さらに、処理デバイス１０４はいくつかの異種プロセッサ・システムを用いて実装されてもよく、異種プロセッサ・システムにおいては単一チップの上にメイン・プロセッサが二次プロセッサと共に存在する。別の例示的な例として、処理デバイス１０４は、同じタイプの複数のプロセッサを含む対称型マルチプロセッサ・システムであってもよい。
【0043】
システム・メモリ１０６および永続ストレージ１０８は、ストレージ・デバイス１１６の例である。ストレージ・デバイスは、限定はないがたとえばデータ、機能的形態のプログラム・コード、もしくはその他の好適な情報、またはその組み合わせなどの情報を、一時的もしくは永続的に、またはその両方で記憶できる、任意のハードウェアであってもよい。これらの例におけるシステム・メモリ１０６は、たとえばランダム・アクセス・メモリ、または任意のその他の好適な揮発性もしくは不揮発性のストレージ・デバイスなどであってもよい。システム・メモリ１０６は、たとえばランダム・アクセス・メモリ（ＲＡＭ）もしくはキャッシュ・メモリまたはその両方などの、揮発性メモリの形態のコンピュータ・システム可読媒体を含み得る。
【0044】
永続ストレージ１０８は、特定の実装に依存してさまざまな形態を取ってもよい。たとえば、永続ストレージ１０８は１つまたは複数のコンポーネントまたはデバイスを含んでもよい。たとえば、限定はないが、永続ストレージ１０８は、取り外し不可能な不揮発性磁気媒体（図示せず、通常「ハード・ドライブ」と呼ばれる）からの読取りおよびそこへの書込みのために提供され得る。示されていないが、取り外し可能な不揮発性磁気ディスク（例えば、「フレキシブル・ディスク」）からの読取りおよびそこへの書込みのための磁気ディスク・ドライブ、およびたとえばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、またはその他の光媒体などの取り外し可能な不揮発性光ディスクからの読取りまたはそこへの書込みのための光ディスク・ドライブが提供され得る。こうした場合に、各々は１つまたは複数のデータ媒体インターフェースによって通信バス１０２に接続され得る。
【0045】
これらの例における通信ユニット１１０は、他のコンピュータ・システムまたはデバイスとの通信を提供してもよい。これらの例において、通信ユニット１１０はネットワーク・インターフェース・カードである。通信ユニット１１０は、物理およびワイヤレス通信リンクのいずれかまたは両方を用いて通信を提供してもよい。
【0046】
入力／出力ユニット１１２は、コンピュータ・システム１００に接続され得る他のデバイスとのデータの入力および出力を可能にしてもよい。たとえば入力／出力ユニット１１２は、キーボード、マウス、もしくは何らかのその他の好適な入力デバイス、またはその組み合わせを通じたユーザ入力のための接続を提供してもよい。さらに、入力／出力ユニット１１２はプリンタに出力を送信してもよい。ディスプレイ１１４は、ユーザに情報を表示するための機構を提供してもよい。コンピュータ・システム１００内のさまざまなデバイス間の通信の確立を促進する入力／出力ユニット１１２の例は、限定はないが、ネットワーク・カード、モデム、および入力／出力インターフェース・カードを含む。加えてコンピュータ・システム１００は、ネットワーク・アダプタ（図３には示さず）を介して、たとえばローカル・エリア・ネットワーク（ＬＡＮ）、一般的な広域ネットワーク（ＷＡＮ）、もしくはパブリック・ネットワーク（例えば、インターネット）、またはそれらの組み合わせなどの１つまたは複数のネットワークと通信できる。示されていないが、他のハードウェアもしくはソフトウェア・コンポーネントまたはその両方が、コンピュータ・システム１００と共に使用され得ることが理解されるべきである。こうしたコンポーネントの例は、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイバル・ストレージ・システムを含むが、それらに限定されない。
【0047】
オペレーティング・システム、アプリケーション、もしくはプログラム、またはその組み合わせに対する命令はストレージ・デバイス１１６に位置してもよく、ストレージ・デバイス１１６は通信バス１０２を通じて処理デバイス１０４と通信する。これらの例示的な例において、命令は永続ストレージ１０８において機能的形態である。これらの命令は、処理デバイス１０４による実行のためにシステム・メモリ１０６にロードされてもよい。異なる実施形態のプロセスは、たとえばシステム・メモリ１０６などのメモリに位置し得るコンピュータに実装される命令を用いて、処理デバイス１０４によって実行されてもよい。これらの命令は、プログラム・コード、コンピュータ使用可能プログラム・コード、またはコンピュータ可読プログラム・コードと呼ばれ、処理デバイス１０４のプロセッサによって読み取られて実行されてもよい。異なる実施形態におけるプログラム・コードは、たとえばシステム・メモリ１０６または永続ストレージ１０８などの、異なる物理または有形コンピュータ可読媒体において具現化されてもよい。
【0048】
プログラム・コード１１８は、選択的に取り外し可能なコンピュータ可読媒体１２０に機能的形態で位置してもよく、かつ処理デバイス１０４による実行のためにコンピュータ・システム１００にロードまたは伝達されてもよい。これらの例において、プログラム・コード１１８およびコンピュータ可読媒体１２０は、コンピュータ・プログラム製品１２２を形成してもよい。一例では、コンピュータ可読媒体１２０は、コンピュータ可読記憶媒体１２４またはコンピュータ可読信号媒体１２６であってもよい。コンピュータ可読記憶媒体１２４は、たとえば、永続ストレージ１０８の一部であるたとえばハード・ドライブなどのストレージ・デバイスに伝達するために、永続ストレージ１０８の一部であるドライブまたはその他のデバイスに挿入または配置される光ディスクまたは磁気ディスクなどを含んでもよい。加えてコンピュータ可読記憶媒体１２４は、コンピュータ・システム１００に接続されるたとえばハード・ドライブ、サム・ドライブ、またはフラッシュ・メモリなどの永続ストレージの形態を取ってもよい。場合によっては、コンピュータ可読記憶媒体１２４はコンピュータ・システム１００から取り外し可能でなくてもよい。
【0049】
代替的に、プログラム・コード１１８は、コンピュータ可読信号媒体１２６を用いてコンピュータ・システム１００に伝達されてもよい。コンピュータ可読信号媒体１２６は、たとえばプログラム・コード１１８を含む伝播データ信号などであってもよい。たとえば、コンピュータ可読信号媒体１２６は、電磁気信号、光信号、もしくは任意のその他の好適なタイプの信号、またはその組み合わせであってもよい。これらの信号は、たとえばワイヤレス通信リンク、光ファイバ・ケーブル、同軸ケーブル、ワイヤ、もしくは任意のその他の好適なタイプの通信リンク、またはそれらの組み合わせなどの通信リンクを通じて送信されてもよい。言い換えると、例示的な例において、通信リンクもしくは接続またはその両方は、物理的なものであってもワイヤレスであってもよい。
【0050】
いくつかの例示的な実施形態では、プログラム・コード１１８は、コンピュータ・システム１００内での使用のために、コンピュータ可読信号媒体１２６を通じて別のデバイスまたはコンピュータ・システムから永続ストレージ１０８に、ネットワークを通じてダウンロードされてもよい。たとえば、サーバ・コンピュータ・システムのコンピュータ可読記憶媒体に記憶されたプログラム・コードが、サーバからコンピュータ・システム１００にネットワークを通じてダウンロードされてもよい。プログラム・コード１１８を提供するコンピュータ・システムは、サーバ・コンピュータ、クライアント・コンピュータ、またはプログラム・コード１１８の記憶および送信が可能な何らかのその他のデバイスであってもよい。
【0051】
プログラム・コード１１８は、限定ではなく例としてシステム・メモリ１０６に記憶され得る１つまたは複数のプログラム・モジュール（図３には示さず）、ならびにオペレーティング・システム、１つまたは複数のアプリケーション・プログラム、その他のプログラム・モジュール、およびプログラム・データを含んでもよい。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、その他のプログラム・モジュール、およびプログラム・データの各々、またはその何らかの組み合わせは、ネットワーク形成環境の実装を含んでもよい。プログラム・コード１１８のプログラム・モジュールは、概して、本明細書に記載される実施形態の機能もしくは方法またはその両方を実行する。
【0052】
コンピュータ・システム１００に対して例示される異なるコンポーネントは、異なる実施形態が実装され得る方式にアーキテクチャの限定を与えることを意味しない。異なる例示的な実施形態は、コンピュータ・システム１００に対して例示されるコンポーネントに追加されるかまたは置き換えられるコンポーネントを含むコンピュータ・システムにおいて実装されてもよい。
【0053】
本開示は、任意の可能な技術的詳細レベルの統合におけるシステム、方法、もしくはコンピュータ・プログラム製品、またはその組み合わせであってもよい。コンピュータ・プログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。
【0054】
コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶できる有形デバイスであり得る。コンピュータ可読記憶媒体は、たとえば電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁気ストレージ・デバイス、半導体ストレージ・デバイス、または前述の任意の好適な組み合わせなどであってもよいが、それに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フレキシブル・ディスク、機械的にコード化されたデバイス、たとえばパンチ・カードまたは記録された命令を有する溝の中の隆起構造体など、および前述の任意の好適な組み合わせを含む。本明細書において用いられるコンピュータ可読記憶媒体は、たとえば電波もしくはその他の自由に伝播する電磁波、導波路もしくはその他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、またはワイヤを通じて伝送される電気信号など、それ自体が一時的な信号であると解釈されるべきではない。
【0055】
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされ得るか、またはたとえばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくはワイヤレス・ネットワーク、またはそれらの組み合わせなどのネットワークを介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードされ得る。ネットワークは銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、またはそれらの組み合わせを含んでもよい。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
【0056】
本明細書に記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスにダウンロードされ得るか、またはたとえばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくはワイヤレス・ネットワーク、またはそれらの組み合わせなどのネットワークを介して外部コンピュータまたは外部ストレージ・デバイスにダウンロードされ得る。ネットワークは銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、またはそれらの組み合わせを含んでもよい。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
【0057】
本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路に対する構成データ、または１つもしくは複数のプログラミング言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードであってもよく、このプログラミング言語は、オブジェクト指向プログラミング言語、たとえばＳｍａｌｌｔａｌｋ、またはＣ＋＋など、および手続き型プログラミング言語、たとえば「Ｃ」プログラミング言語または類似のプログラミング言語などを含む。コンピュータ可読プログラム命令は、すべてがユーザのコンピュータで実行されてもよいし、スタンドアロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータで実行されてもよいし、一部がユーザのコンピュータで、一部がリモート・コンピュータで実行されてもよいし、すべてがリモート・コンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよいし、（たとえば、インターネット・サービス・プロバイダを用いてインターネットを通じて）外部コンピュータへの接続が行われてもよい。いくつかの実施形態において、たとえばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）などを含む電子回路は、本開示の態様を行うために電子回路をパーソナライズするためのコンピュータ可読プログラム命令の状態情報を使用することによって、コンピュータ可読プログラム命令を実行してもよい。
【0058】
本明細書においては、本開示の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して、本開示の態様を説明している。フローチャート図もしくはブロック図またはその両方の各ブロック、およびフローチャート図もしくはブロック図またはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装され得ることが理解されるだろう。
【0059】
これらのコンピュータ可読プログラム命令は、コンピュータか、またはマシンを生成するためのその他のプログラマブル・データ処理装置のプロセッサに提供されることによって、そのコンピュータまたはその他のプログラマブル・データ処理装置のプロセッサを介して実行される命令が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作を実装するための手段を生じてもよい。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブル・データ処理装置、もしくはその他のデバイス、またはそれらの組み合わせに特定の方式で機能するように指示できるコンピュータ可読記憶媒体にも記憶されることによって、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作の態様を実装する命令を含む製造物を含んでもよい。
【0060】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにもロードされて、コンピュータに実装されるプロセスを生成するためにコンピュータ、他のプログラマブル装置、または他のデバイスにおいて一連の動作ステップを行わせることによって、そのコンピュータ、他のプログラマブル装置、または他のデバイスにおいて実行される命令が、フローチャートもしくはブロック図またはその両方の単数または複数のブロックにおいて指定される機能／動作を実装してもよい。
【0061】
図面におけるフローチャートおよびブロック図は、本開示のさまざまな実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示すものである。これに関して、フローチャートまたはブロック図の各ブロックは、命令のモジュール、セグメント、または一部分を表してもよく、これは指定される論理機能（単数または複数）を実装するための１つまたは複数の実行可能命令を含む。いくつかの代替的な実装において、ブロック内に示される機能は、図面に示されるものとは異なる順序で起こってもよい。たとえば、連続して示される２つのブロックは、実際には１つのステップとして達成されてもよいし、同時に実行されても、部分的もしくは全体的に時間が重複する方式で実質的に同時に実行されてもよいし、または関与する機能に依存して、これらのブロックがときには逆の順序で実行されてもよい。加えて、ブロック図もしくはフローチャート図またはその両方の各ブロック、およびブロック図もしくはフローチャート図またはその両方のブロックの組み合わせは、指定された機能もしくは動作を行うか、または特定の目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特定の目的のハードウェア・ベースのシステムによって実装され得ることに留意されたい。
【0062】
多くの公知の試験イベントがオンライン手段を通じて行われているが、ここでは、受験者はリモートに位置しており、試験官による対面での監督は実際的ではない。インターネットが我々の社会において存在感を増し続けるにつれて、情報へのアクセスを得ることが容易になり、インターネットは問題への回答のために最初に行くべき目的地の役割を果たしている。たとえば、モバイル・デバイスを含むすべての形態のコンピュータ・デバイスを通じて容易にアクセスされる、たとえばデジタル・アシスタントやチャット・ボットなどの周知のほぼユビキタスな人工知能（ＡＩ）エージェントを通じて、問題に対する回答がかなり好都合に得られることがある。一例は、画像ベースの試験問題に応答するために逆画像サーチ・エンジンを使用することである。したがって、受験者が試験問題に対する自動応答を生成するためにこうした技術を利用する可能性があることから、試験プロセスの完全性を維持するために、何らかの形態のリモート試験監督が必要である。オンライン試験のリモートでの実施および監督の少なくともいくつかの公知の方法は、たとえば受験者の映像ベースの監視などの侵害的な監視、ならびに関連付けられたスクリーンおよびスクリーン共有を含む。どちらの方法も、人間の監督官の完全な集中的かつ連続的な注意を必要とする。加えて、どちらの方法も、試験ハードウェアおよびソフトウェアの性能に影響を及ぼすおそれのある付加的なコンピュータ・リソースを使用し、このことは時間制限のある試験にとって重荷となり得る。さらに、どちらの方法も人間の監督官ならびに付加的なハードウェアおよびソフトウェアの使用によって、試験のコストを増加させる。ＡＩエージェントの使用に少なくとも部分的に対処するための内容操作の少なくともいくつかの公知の方法は、テキストおよび画像の内容に透かしを付けること、ならびに音声内容に古典的な敵対的ノイズを加えることを含むが、こうした方法は意味内容を保存することに重きを置くため、その改変は知覚不可能であるように制約があり、ＡＩエージェントによる認識はわずかしか妨げられない。加えて、試験のための問題が作成される際に、受験者がＡＩエージェントを使用する可能性があることによって、たとえば音楽、画像、またはテキスト語句の認識など、多くの問題形態が制限または除外されるおそれがある。
【0063】
本明細書では、敵対的機械学習を利用して、人工知能（ＡＩ）エージェントによって容易に解決され得ない試験問題をユーザが作成することを促進することによって、実際の人間の受験者を排他的にテストするためのテスト・シーケンスのパラメータを向上させることに向けられたシステム、コンピュータ・プログラム製品、および方法が開示および記載される。少なくともいくつかの実施形態では、問題の内容を操作することを含む、受験者への問題の配信の再構成によって、自動試験問題応答を生成するために任意のＡＩエージェントを使用することが、完全に阻止されなくとも実質的により困難になる。問題をどの程度まで操作できるかは、意味内容を保存するため、すなわち受験者が問題を完全に理解できるようにするために制限される。しかし、受験者に知覚不可能であるように改変が制限される必要がある、純粋な透かしの付与および古典的な敵対的ノイズの挿入とは異なり、本開示は、問題内容に対する明らかに知覚可能な改変を記載する。具体的には、情報を完全に隠すことを試みるとともにその内容が回復可能であることを確実にする純粋なステガノグラフィとは対照的に、本開示は、問題から少なくとも何らかの本質的でない情報を取り除くものの完全な難読化を可能にしないことを記載する。いくつかの実施形態では、内容操作はマルチモーダルであって、すなわち、問題に対する改変は、同じモードを維持することに制限されない。たとえば、テキスト記述を音声に変換し、続いて敵対的ノイズを加え得る。
【0064】
図４を参照すると、コンピュータ・システム、すなわち、自動応答に対する問題の敵対的難化を伴う試験を実施するように構成された試験問題自動応答敵対的難化システム４００（ここではシステム４００と呼ばれる）を示すブロック図が提示される。システム４００は、１つまたは複数のメモリ・デバイス４０６（１つのみ示される）に通信的および動作的に結合された１つまたは複数の処理デバイス４０４（１つのみ示される）を含む。加えてシステム４００は、通信バス４０２を通じて処理デバイス４０４およびメモリ・デバイス４０６に通信的に結合されたデータ・ストレージ・システム４０８を含む。１つまたは複数の実施形態では、通信バス４０２、処理デバイス４０４、メモリ・デバイス４０６、およびデータ・ストレージ・システム４０８は、図３に示されたそれらの対応物、すなわち通信バス１０２、処理デバイス１０４、システム・メモリ１０６、および永続ストレージ・デバイス１０８のそれぞれと類似のものである。システム４００はさらに、通信バス４０２に通信的に結合された１つまたは複数の入力デバイス４１０および１つまたは複数の出力デバイス４１２を含む。加えてシステム４００は、１つまたは複数の人工知能（ＡＩ）エージェント４１６（１つのみ示される）との１つまたは複数のインターネット接続４１４（１つのみ示される）を含む。
【0065】
１つまたは複数の実施形態では、敵対的自動応答難化エンジン４２０（ここではエンジン４２０と呼ばれる）は、メモリ・デバイス４０６内に存在する。エンジン４２０は、チェック・モジュール４２２と、フィルタリング／編集モジュール４２４と、セマンティック・サービス・モジュール４２６と、ＡＩエージェント通信モジュール４２８とを含む。これらのモジュールは、図４～７に関してさらに考察される。記憶データ４３０は、メモリ・デバイス４０６によるアクセスのためにデータ・ストレージ・システム４０８内に維持される。
【0066】
１つまたは複数の実施形態では、エンジン４２０を含むシステム４００の実際の実装は、本明細書の図１および図２に関して記載されるクラウド・サービスとしてのものである。クラウド・サービスとして、エンジン４２０は、本明細書に記載されるサービスを配信するためのクラウド・ベースのインフラストラクチャ内の任意のコンピュータ・デバイス内に存在してもよい。概して、エンジン４２０には受験者のデバイスに存在する部分がなく、すなわち受験者のデバイスは、（本明細書にさらに考察されるとおりの）改変された元の試験問題の最終バージョンを受信して、受験者からの非自動応答を提供するように構成される。したがって、このような実施形態では、クラウド・サービスは、入力デバイス４１０を通じて、元の問題と、より許容できる応答の１つとをその著者から受信する。クラウド・ベースのサービスは、エンジン４２０を用いて、元の問題を改変する。改変された問題は手動の調査のために出力デバイス４１２を通じて著者に戻されてもよく、もし著者が許容できるものであれば、その改変された問題は著者のコンピュータ・デバイスに記憶されるか、またはデータ・ストレージ・システム４０８内の記憶データ４３０の一部分として記憶されてもよい。いくつかの実施形態では、改変された問題は、出力デバイス４１２を通じて１人または複数の受験者に直接送信されてもよい。いくつかの実施形態では、エンジン４２０は静的アルゴリズムであり、ここでのカスタマイズはあっても最小限である。いくつかの実施形態では、エンジン４２０は著者によってより柔軟にカスタマイズされ得る。したがって、改変された問題および受験者の応答の配信のために必要な帯域幅のみ必要とされる。
【0067】
少なくとも１つの実施形態では、エンジン４２０を含むシステム４００の実際の実装は、著者が直接アクセス可能なコンピュータ・システム内に埋め込まれたスタンドアロン・システムとしてのものであり、それはたとえば、限定はないが、デスクトップ・コンピュータ５４Ｂおよびラップトップ・コンピュータ５４Ｃ（どちらも図１に示される）ならびにサーバ６３（図２に示される）を含む、著者個人のものまたは雇用主が提供するコンピュータ・システムなどである。このような実施形態では、上述のクラウド・ベースの実装と同様に、受験者のデバイスは、最終形態の改変された問題以外のものを受信または記憶するべきではない。
【0068】
図５Ａを参照すると、自動応答に対する問題の敵対的難化を通じて試験を実施するためのプロセス５００を示すフローチャートが提供される。図４も参照すると、実施形態では、エンジン４２０は元の問題を電子的に受信し（５０２）、ここで受験者はリモート試験プロセスの一部として電子的に応答を提出することが予期される。元の試験問題は、試験の管理者によって著されたものであり、画像、１つまたは複数のテキスト語句、および音声クリップのうちの１つまたは複数のモダリティによって構成される。元の問題の著者は、受験者がＡＩエージェントを使用して自動応答を生成するかもしれないという懸念を有することがある。たとえば、画像サーチ・エンジンまたはデジタル・アシスタントなどの商業的に入手可能なＡＩエージェントは、こうした問題に応答して、たとえば画像の説明文か、または試験問題において求められる情報を説明する文などを提供し得る。したがって実施形態では、著者は、入力デバイス４１０を通じてエンジン４２０に元の問題および応答を送信することによって、１人以上の受験者に配信する前に元の問題を改変するためにエンジン４２０を利用してもよい。
【0069】
元の問題は、エンジン４２０のチェック・モジュール４２２に送信される。チェック・モジュール４２２は、元の問題の受信動作５０２と、本明細書にさらに記載される反復サイクルの一部分としてその後改変された問題の受信動作とを実行するように構成される。チェック・モジュール４２２はさらに、受信動作の一部分として、入来する問題について本明細書に記載されるとおりに提供された任意の敵対的特徴を調査するように構成され、次いで元の問題にそれが見出されなかったときに反復サイクルを開始する。加えて、現在の試験問題に関して少なくともいくつかの敵対的機構が決定されるとき、チェック・モジュール４２２は、元の問題における敵対的特徴が完全に満足できるものか、または完全に満足できないものかをさらに決定する。さらに、元の問題を最終的な改変された問題に変換する反復サイクルを実行する際に、チェック・モジュール４２２は、改変された問題を受験者に送るための基準が満たされるまで反復サイクルを継続することを促進する。
【0070】
このように、実施形態では、元の問題が改変され（５０４）、それによって少なくとも部分的に改変された問題が生成される。改変された問題を受験者に送信するために、この少なくとも部分的に改変された問題は、次の２つの要件を満たすように構成されることとなる。すなわち、最終的な改変された問題は人間の受験者によって理解可能である必要があり、かつ最終的な改変された問題は直接の人間のサポートなしに電子的手段を通じて応答できない必要があり、すなわち受験者はＡＩエージェントの助けなしに、改変された問題に直接的に応答する必要がある。したがって、元の問題は少なくとも部分的に改変された問題に変換される（５０６）。より具体的には、元の問題は１つまたは複数のフィルタリング・コンポーネントに送信され、すなわち、問題変換動作５０６を含む元の問題から最終的な改変された問題への反復サイクルの少なくとも一部分であるフィルタリング／編集モジュール４２４に送信される。
【0071】
１つまたは複数の実施形態では、フィルタリング／編集モジュール４２４は元の問題を電子的に受信し、元の問題は元のテキスト問題、元の画像問題、および元の音声問題のうちの１つまたは組み合わせのモダリティを含む。元の問題は、予め定められたパラメータによる１つまたは複数の演算を通じて変換（５０６）されてもよい。たとえば、画像が不鮮明にされてもよく、不鮮明化の程度は確立されたガイドラインおよびパラメータによって管理される。加えて、画像の１つまたは複数の態様が１つまたは複数の摂動または操作を受けてもよい。さらに、たとえば画像の１つまたは複数の特徴を少なくとも部分的に曖昧にするための敵対的ノイズを加えることによって、画像が操作されてもよい。図６（Ａ）から図６（Ｄ）に関して、画像改変をさらに考察している。音声の改変は、限定はないが、それぞれの音声ファイルを逆に再生すること、エコーを加えること、特定の周波数範囲を除去すること、バックグラウンド・ノイズを加えること、小さい断片に分割して再配置すること、および歌詞を逆にすることを含む、影響を伴う摂動または変調を含んでもよい。図７（Ａ）から図７（Ｄ）に関して、音声改変をさらに考察している。テキスト問題は、テキストから音声への変換（図７（Ａ）～７（Ｄ）にも示される）またはテキストから画像への変換を受けることによって、元の問題の本質は維持しながら、問題のモダリティを変換することによって問題が変換されてもよい。テキストから音声への変換に対して、前述した音声の摂動および変調が用いられてもよい。加えて、テキストは１つまたは複数の画像に変換されてもよく、ここでテキストはコピー不可能かつペースト不可能な画像に変換されてもよい。テキストを摂動することに加えて、いくつかの実施形態では、１つおきの文にランダムな単語を加えるか、またはそこから取り除いてもよい。したがって、変換動作５０６は、元の試験問題のモダリティの機能として少なくとも部分的に実行される。
【0072】
少なくともいくつかの実施形態では、少なくとも部分的に改変された問題と、元の問題とがセマンティック・サービス・モジュール４２６に送信される（５１０）。セマンティック・サービス・モジュール４２６は、元の問題と、少なくとも部分的に改変された問題との類似性評価を実行して（５１２）、意味類似性を決定するように構成される。図５Ｂを参照すると、プロセス５００の図５Ａからの続きが提供される。図４の参照も続けると、より具体的には、セマンティック・サービス・モジュール４２６は、これまでの変換が人間の受験者に理解可能となるために十分な情報を保存しているかどうかを決定するための決定動作５１４を実行するように構成される。たとえば、変換動作５０６は音声問題を変調して、音声ファイルの少なくとも一部分を除去してもよい。しかし、もしその問題が特定の個人に対する音声認識および割り当てを含んでいれば、バックグラウンド・ノイズの付加が実装されてもよく、セマンティック・サービス・モジュール４２６は、バックグラウンド・ノイズ周波数の振幅が受験者によって分析されるべき音声問題の部分をかき消しているかどうかを決定する（５１４）こととなる。いくつかの実施形態では、記憶データ４３０は、人間が理解可能な改変された問題および人間が理解不可能な改変された問題の例を含んでもよい。いくつかの実施形態では、セマンティック・サービス・モジュール４２６は、編集された問題に含まれる情報が、人間の認識を促進するために十分に不変のままであることを確実にする。こうしたサービスは、人間の注釈者から大きいデータベースを通じて問題をトレーニングすることまで、さまざまな形態を取り得る。決定動作５１４に対する「Ｙｅｓ」の応答については、以下でさらに考察される。決定動作５１４に対する「Ｎｏ」の応答の結果として、少なくとも部分的に改変された問題がフィルタリング／編集モジュール４２４に送信され（５１６）、ここで少なくとも部分的に改変された問題はさらに変換される（５１８）。プロセス５００は類似性評価実行動作５１２に戻り、さらに変換された問題は、決定動作５１４で「Ｙｅｓ」の結果が達成されるまで動作５１２～５１８の反復サイクルを受ける。加えて、元の問題と少なくとも部分的に改変された問題との意味類似性を決定するための類似性評価動作５１２と、決定動作５１４とからのフィードバックが、さらなる変換動作５１８に送信される。
【0073】
さらに、少なくともいくつかの実施形態では、少なくとも部分的に改変された問題は、ＡＩエージェント通信モジュール４２８およびインターネット接続４１４を通じて予め定められたＡＩエージェント４１６に送信される（５２０）。いくつかの実施形態では、ＡＩエージェント４１６はエンジン４２０の外部にある。いくつかの実施形態では、１つまたは複数のＡＩエージェント４１６は、エンジン４２０内に含まれるか、またはメモリ・デバイス４０６およびデータ・ストレージ・システム４０８の１つまたは複数の中に存在する。エンジン４２０は、ＡＩエージェント４１６の性質に依存しない。ＡＩエージェント４１６は、それぞれのＡＩエージェント内に存在する１つまたは複数の機械学習モデルを通じて、少なくとも部分的に改変された問題に対する試行ラベル付け動作を実行する（５２２）ように構成される。ＡＩエージェント４１６は試行ラベル付け動作５２２の結果をＡＩエージェント通信モジュール４２８に戻し、ＡＩエージェント通信モジュール４２８は、その少なくとも部分的に改変された問題が、人間のサポートすなわち人間の応答なしに電子的手段を通じて応答され得るかどうかを決定するための決定動作５２４を実行するようにさらに構成される。少なくとも部分的に改変された問題がラベル付けされないとき、すなわちＡＩエージェント４１６が少なくとも部分的に改変された問題にラベルを割り当てることに失敗するとき、決定動作５２４の結果は「Ｎｏ」であり、決定動作５２４に対する「Ｎｏ」の応答については、以下でさらに考察される。少なくとも部分的に改変された問題がラベル付けされるとき、決定動作５２４の結果は「Ｙｅｓ」である。決定動作５２４に対する「Ｙｅｓ」の応答の結果として、少なくとも部分的に改変された問題がフィルタリング／編集モジュール４２４に送信され（５２６）、ここで少なくとも部分的に改変された問題はさらに変換される（５１８）。
【0074】
加えて、いくつかの実施形態におけるＡＩエージェント４１６、またはいくつかの実施形態におけるＡＩエージェント通信モジュール４２８は、ＡＩエージェント４１６からの応答に信頼スコアを割り当てる。いくつかの実施形態において、信頼スコアは０％～１００％のスケールに沿った数値であり、ここで信頼スコアはＡＩエージェント４１６が少なくとも部分的に改変された問題を正しく識別してラベル付けしたことの信頼性を少なくとも部分的に示すものである。
【0075】
さらに、いくつかの実施形態では、ＡＩエージェント４１６は、問題に対する応答を提供するように促されてもよい。加えて、ＡＩエージェントが提供した応答が、受信動作５０２において著者が提供した試験問題の解答（応答）に十分近いかどうかを決定するための決定動作５２４が実行されてもよい。ＡＩエージェント４１６が十分に正確な応答を提供できるとき、決定動作５２４の結果は「Ｙｅｓ」である。ＡＩエージェント４１６が誤った応答をすることを含み、十分に正確な応答を提供できないとき、決定動作の結果は「Ｎｏ」である。プロセス５００は、試行ラベル付け実行動作５２２に戻り、さらに変換された問題は、決定動作５２４で「Ｎｏ」の結果が達成されるまで動作５２０－５２４－５１８の反復サイクルを受ける。加えて、試行ラベル付け動作５２２および決定動作５２４からのフィードバックがさらなる変換動作５１８に送信される。
【0076】
考察されるように、２つの反復サイクルまたはループが処理される。第１の反復サイクルは、人間の受験者が理解しやすい最終的な改変された試験問題を生成するためにセマンティック・サービス・モジュール４２６を通じて実行される動作５１２－５１４－５１６を含む。第２の反復サイクルは、ＡＩエージェント４１６が応答できない最終的な改変された試験問題を生成するためにＡＩエージェント通信モジュール４２８およびＡＩエージェント４１６を通じて実行される動作５２２－５２４－５２６を含む。いくつかの実施形態では、２つの反復サイクルは並行して実行されてもよい。いくつかの実施形態では、２つの反復サイクルは、決定動作５１４および５２４の両方の要件が達成されるまで、第１のサイクル－第２のサイクル－第１のサイクルなどを含むサイクルにおいて順次実行されてもよい。いくつかの実施形態では、２つの反復サイクルは、２つのサイクルのうちの一方が満足できる改変された問題を生成してから、その改変された問題を他方のサイクルに提供する方式で実行されてもよい。
【0077】
図５Ｃを参照すると、プロセス５００の図５Ｂからの続きが提示される。図４、図５Ａ、および図５Ｂの参照も続けると、これらの実施形態では、決定動作５１４の結果が「Ｙｅｓ」であり、かつ決定動作５２４の結果が「Ｎｏ」であるとき、最終的な改変された問題およびその結果は、チェック・モジュール４２２に関連するマージ動作５３０に送信される。マージ動作５３０の結果として、チェック・モジュール４２２および出力デバイス４１２を通じて、完全に改変された問題が人間の受験者に送信され（５３２）、プロセス５００は終了する。他の実施形態では、決定動作５１４の「Ｎｏ」の結果または決定動作５２４の「Ｙｅｓ」の結果のいずれかであるときは、チェック・モジュール４２２が改変された問題を人間の受験者に送ることを妨げることが促され、上述のとおりに問題のさらなる改変が実行される。
【0078】
改変の例として、画像ベースの試験問題が提示される。図６（Ａ）を参照すると、元の試験問題に関連するカメの元の画像６００の例を示す画像図が提示される。カメの画像６００は白黒で示されているが、元の問題としてカラー画像も提示されてもよい。図６（Ｂ）を参照すると、図６（Ａ）の元の画像６００が提供されており、これは少なくとも部分的に改変された試験問題に関連する少なくとも部分的に改変された画像６１０の例を示す。図４、図５Ａ、図５Ｂ、および図５Ｃも参照すると、セマンティック・サービス・モジュール４２６は、画像６１０を分析して、画像６１０の特徴のエッジが保存されており、人間にカメを認識させるのに十分な情報が画像６１０に保持されていることから、決定動作５１４の結果が「Ｙｅｓ」であると決定する。しかし、決定動作５２４の結果は「Ｙｅｓ」であって、その際に、ＡＩエージェント４１６は、画像６１０を９９％の信頼レベルでカメとして正しく識別（ラベル付け）している。したがって上述のとおり、決定動作５１４の「Ｙｅｓ」の結果および決定動作５２４の「Ｙｅｓ」の結果によって、チェック・モジュール４２２が改変された問題を人間の受験者に送ることが禁じられることとなり、上述のとおりに問題のさらなる改変が実行される。
【0079】
図６（Ｃ）を参照すると、図６（Ａ）のカメの画像図が提示されており、これはさらに改変された試験問題に関連するさらに改変された画像６２０の例を示す。図４、図５Ａ、図５Ｂ、および図５Ｃも参照すると、セマンティック・サービス・モジュール４２６は、画像６２０を分析し、画像６００中のほとんどの特徴が画像６２０には実質的に存在せず、人間がカメを認識することがほぼ不可能であることから、決定動作５１４の結果が「Ｎｏ」であると決定する。しかし、決定動作５２４の結果は「Ｎｏ」であって、その際に、ＡＩエージェント４１６は、画像６２０をカメとして識別（ラベル付け）できず、したがって信頼レベルが提供されない。したがって上述のとおり、決定動作５１４の「Ｎｏ」の結果および決定動作５２４の「Ｎｏ」の結果によって、チェック・モジュール４２２を通じて改変された問題を人間の受験者に送ることが禁じられることとなり、上述のとおりに問題のさらなる改変が実行される。
【0080】
図６（Ｄ）を参照すると、図６（Ａ）のカメの画像図が提示されており、これは改変された試験問題に関連する最終的な改変画像６３０の例を示す。セマンティック・サービス・モジュール４２６は、画像６３０を分析し、画像６３０の特徴のほとんどのエッジが保存されており、人間にカメを認識させるのに十分な情報が画像６３０に保存されていることから、決定動作５１４の結果は「Ｙｅｓ」であると決定する。決定動作５２４の結果は「Ｎｏ」であって、その際に、ＡＩエージェント４１６は、画像６３０をカメとして識別（ラベル付け）できず、したがって信頼レベルが提供されない。上述のとおり、決定動作５１４の「Ｙｅｓ」の結果および決定動作５２４の「Ｎｏ」の結果によって、マージ動作５３０に送信された最終的な改変された問題および結果がチェック・モジュール４２２を通じて人間の受験者に送信される（５３２）ことが可能となり、プロセス５００は終了する。
【0081】
したがって、チェック・モジュール４２２は、マージ動作５３０を通じて単純なＡＮＤ条件をチェックし、すなわち、セマンティック・サービス・モジュール４２６が、改変された問題の意味特徴を人間に理解可能であり続けるのに十分に保存されているものと捉えたか、ならびにＡＩエージェント４１６が誤った回答もしくは実質的に曖昧な回答を与えたか、または回答しなかった（完全に無効化された）かをチェックする。両方の条件が満たされるとき、チェック・モジュール４２２はループ・サイクルを中断して完全に改変された問題を受験者に送信し（５３２）、そうでないときはループ・サイクルを継続する。
【0082】
テキストからの音声ベースの試験問題の改変の例が提示される。図７（Ａ）を参照すると、テキスト試験問題および解答／応答７００の例を示すテキスト表現が提供される。図７（Ｂ）を参照すると、図７（Ａ）のテキスト試験問題７００に基づく音声試験問題７１０の例を示すブロック図が提供される。セマンティック・サービス・モジュール４２６は、音声試験問題７１０が人間の受験者によって理解可能であることを決定するものとなる。加えて、ＡＩエージェント４１６は音声試験問題７１０を処理して、９９％の信頼値を有する正しい応答を提供するものとなる。したがって、改変された試験問題を受験者に送信できるようにするためのチェック・モジュール４２２に対する２つの要件は満たされない。図７（Ｃ）を参照すると、図７（Ａ）のテキスト試験問題７００の例から導出された少なくとも部分的に改変されたテキスト試験問題７２２に基づく、編集変換された音声問題７２０の例を示すブロック図が提供される。編集変換された音声問題７２０は、人間およびＡＩエージェント４１６の両方にとって実質的に理解不可能であるため、編集変換された音声問題７２０はチェック・モジュール４２２によって人間の受験者に送信できないものとされる。図７（Ｄ）を参照すると、特定の周波数および振幅の音声ノイズ信号７３２が加えられた、図７（Ａ）のテキスト試験問題７００に基づく音声試験問題７３０の例を示すブロック図が提供される。セマンティック・サービス・モジュール４２６はノイズ７３２から変換音声を判別できず、ＡＩエージェント４１６はノイズ付きの変換された音声問題７３０をラベル付けできず、その結果、チェック・モジュール４２２の２つの要件が満たされ、ノイズ付きの変換された音声問題７３０は人間の受験者に送信され（５３２）得る。
【0083】
いくつかの実施形態では、セマンティック・サービス・モジュール４２６およびＡＩエージェント４１６の両方の結果を一致させることができない可能性があることがあり、すなわち、反復の回数にかかわらず、決定動作５１４および５２４の２つの結果のうちの一方のみがチェック・モジュール４２２の要件を満たすように一致することがある。こうした条件のために、エンジン４２０は、予め定められた回数の反復で反復動作を中止するように、反復カウンタおよび十分なロジックを含む。ループ反復が中止されると、著者に通知が提供されることがあり、ここで著者はどのように進行させるかについての決定を行うこととなり、そのようなものとしては、試験バンクからその試験問題を除去すること、手動で試行錯誤しながら問題を変更すること、またはそれぞれの問題についてＡＩエージェント４１６を使用する可能性を完全に排除することが実現不可能であると予期して、改変された問題の直近の反復を使用することが挙げられるが、これらに限定されない。
【0084】
さらに、いくつかの実施形態では、元の問題は任意の改変を必要とせずにチェック・モジュール４２２の２つの要件を満たすように構成されてもよい。このような実施形態では、フィルタリング／編集モジュール４２４は、「何もしない」コマンドによって第１の反復を実行するように構成されてもよく、それによって、未改変の試験問題が決定動作５１４から「Ｙｅｓ」の結果をもたらし、かつ決定動作５２４から「Ｎｏ」の結果をもたらし、反復ループを終了させ、マージ動作５３０を引き起こして、未改変の試験問題を受験者に送信させる（５３２）こととなる。
【0085】
本明細書に開示されるシステム、コンピュータ・プログラム製品、および方法は、受験者にインターネットへのアクセスを要求するリモート試験を個人に対して実施するための公知のシステムおよび方法の不利益および制限の克服を促進する。具体的には、本開示は、人間の受験者の認識力はテストするがＡＩエージェントの現在の力は避けるようなやり方で曖昧にされた問題を通常の問題から生成するための自動のプロセスおよびシステムを記載する。本明細書に記載されるテスト機構は、広範囲のリモート監督の必要性を低減させることを促進することによって、安定な高帯域幅通信リンクの確立および維持を確立させることを含む、侵入的かつリソース集約的なコンピューティング環境の必要性を低減させる。さらに、音楽、画像、およびテキスト語句の使用を含む、テストのモダリティに対する多くの以前の制限が解除されてもよい。したがって、本開示を通じて、公知のリモート試験システムの実施および完全性に対する顕著な改善が実現される。
【0086】
本開示のさまざまな実施形態の説明は、例示の目的のために提示されているが、網羅的であること、または開示された実施形態に限定されることは意図されていない。記載された実施形態の範囲から逸脱することなく、多くの修正および変形が当業者に明らかになるだろう。本明細書で使用される用語は、実施形態の原理、実際の適用、または市場で見出される技術に対する技術的改善を最もよく説明するため、または他の当業者が本明細書で開示される実施形態を理解できるようにするために選択されたものである。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【手続補正書】
【提出日】2023-06-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
１つまたは複数の処理デバイスを含み、前記１つまたは複数の処理デバイスは、元の問題を電子的に受信することであって、前記元の問題に対する応答は人間によって電子的に提出されるべきものである、前記受信することと、
前記元の問題を改変し、それによって改変された問題を生成することと
を行うように構成され、前記改変された問題は、
前記人間によって理解可能であるように、および
人間のサポートなしの電子的手段を通じて適切に応答されないように
構成される、システム。
【請求項2】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数のフィルタリング・コンポーネントをさらに含み、前記１つまたは複数の処理デバイスは、前記元の問題を前記１つまたは複数のフィルタリング・コンポーネントに送信し、それによって、前記元の問題に対する１つまたは複数の変換を実施すること
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項3】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数のセマンティック・サービスをさらに含み、前記１つまたは複数の処理デバイスは、前記改変された問題を前記１つまたは複数のセマンティック・サービスに送信することと、
前記元の問題を前記１つまたは複数のセマンティック・サービスに送信することと、
前記１つまたは複数のセマンティック・サービスを通じて、前記元の問題と前記改変された問題との類似性評価を実行することと
を行うようにさらに構成される、請求項１または２に記載のシステム。
【請求項4】
前記１つまたは複数の処理デバイスは、前記１つまたは複数のセマンティック・サービスを通じて、前記改変された問題が前記人間によって理解可能であることを決定することを行うようにさらに構成される、請求項３に記載のシステム。
【請求項5】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数の人工知能（ＡＩ）エージェントへのアクセスをさらに含み、前記１つまたは複数の処理デバイスは、前記改変された問題を前記１つまたは複数のＡＩエージェントに送信することと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する試行ラベル付け動作を実行することと
を行うようにさらに構成される、請求項３または４に記載のシステム。
【請求項6】
前記１つまたは複数の処理デバイスは、前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題にラベルを割り当てることと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に信頼値を割り当てることと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する応答を生成することと
のうちの１つまたは複数を行うようにさらに構成される、請求項５に記載のシステム。
【請求項7】
前記１つまたは複数の処理デバイスは、前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題にラベルを割り当てることに失敗することと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する応答を生成しないことと、
前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する誤った応答を生成することと
のうちの１つまたは複数を行うようにさらに構成される、請求項５または６に記載のシステム。
【請求項8】
前記元の問題は、元のテキスト問題と、
元の画像問題と、
元の音声問題と
のうちの１つまたは複数のモダリティを含み、
前記１つまたは複数の処理デバイスは、前記元の問題の前記モダリティの改変を含む前記元の問題の改変を行うようにさらに構成され、前記改変は、前記元のテキスト問題を、
少なくとも何らかの敵対的ノイズを含む少なくとも部分的に改変された音声問題と、
少なくとも部分的に改変された画像問題と
のうちの１つまたは複数に変換することを含む、請求項１～７のいずれか１項に記載のシステム。
【請求項9】
前記１つまたは複数の処理デバイスに通信的に結合された１つまたは複数のフィルタリング・コンポーネントと、前記１つまたは複数のフィルタリング・コンポーネントに通信的に結合された１つまたは複数のセマンティック・サービスと、
前記１つまたは複数のフィルタリング・コンポーネントに通信的に結合された１つまたは複数の人工知能（ＡＩ）エージェントへのアクセスと
をさらに含み、前記１つまたは複数の処理デバイスは、
前記１つまたは複数のフィルタリング・コンポーネントを通じて、前記元の問題を少なくとも部分的に改変された問題に変換することと、
前記元の問題および前記少なくとも部分的に改変された問題を前記１つまたは複数のセマンティック・サービスに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のＡＩエージェントに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のフィルタリング・コンポーネントに反復的に送信することと、
反復的に、
前記１つまたは複数のセマンティック・サービスを通じて、前記少なくとも部分的に改変された問題が前記人間によって理解可能であることを決定し、
前記１つまたは複数のＡＩエージェントを通じて、前記少なくとも部分的に改変された問題が前記人間のサポートなしの前記電子的手段を通じて適切に応答され得ないことを決定し、それによって前記少なくとも部分的に改変された問題が完全に改変された問題であることを確立することと、
前記完全に改変された問題を前記人間に送信することと
を行うようにさらに構成される、請求項１～８のいずれか１項に記載のシステム。
【請求項10】
コンピュータにより実行される方法であって、
元の問題を電子的に受信することであって、前記元の問題に対する応答は人間によって電子的に提出されるべきものである、前記受信することと、
前記元の問題を改変し、それによって改変された問題を生成することと
を含み、前記改変された問題は、
前記人間によって理解可能であるように、および
人間のサポートなしの電子的手段を通じて適切に応答されないように
構成される、方法。
【請求項11】
前記改変された問題を生成することは、前記元の問題を１つまたは複数のフィルタリング・コンポーネントに送信し、それによって、前記元の問題に対する１つまたは複数の変換を実施することを含む、請求項１０に記載の方法。
【請求項12】
前記改変された問題を１つまたは複数のセマンティック・サービスに送信することと、前記元の問題を前記１つまたは複数のセマンティック・サービスに送信することと、
前記１つまたは複数のセマンティック・サービスを通じて、前記元の問題と前記改変された問題との類似性評価を実行することと
をさらに含む、請求項１１に記載の方法。
【請求項13】
前記類似性評価を前記実行することは、前記１つまたは複数のセマンティック・サービスを通じて、前記改変された問題が前記人間によって理解可能であることを決定することを含む、請求項１２に記載の方法。
【請求項14】
前記改変された問題を１つまたは複数の人工知能（ＡＩ）エージェントに送信することと、前記１つまたは複数のＡＩエージェントを通じて、前記改変された問題に対する試行ラベル付け動作を実行することと
をさらに含む、請求項１２に記載の方法。
【請求項15】
前記改変された問題に対する試行ラベル付け動作を実行することは、前記改変された問題にラベルを割り当てることと、
前記改変された問題に信頼値を割り当てることと、
前記改変された問題に対する応答を生成することと
のうちの１つまたは複数を含む、請求項１４に記載の方法。
【請求項16】
前記改変された問題に対する試行ラベル付け動作を実行することは、前記改変された問題にラベルを割り当てることに失敗することと、
前記改変された問題に対する応答を生成しないことと、
前記改変された問題に対する誤った応答を生成することと
のうちの１つまたは複数を含む、請求項１４に記載の方法。
【請求項17】
前記元の問題を電子的に前記受信することは、元のテキスト問題と、
元の画像問題と、
元の音声問題と
のうちの１つまたは複数のモダリティを有する前記元の問題を受信することを含み、
前記元の問題を前記改変することは、前記元の問題の前記モダリティを改変することを含み、前記モダリティを改変することは、前記元のテキスト問題を、
少なくとも何らかの敵対的ノイズを含む少なくとも部分的に改変された音声問題と、
少なくとも部分的に改変された画像問題と
のうちの１つまたは複数に変換することを含む、請求項１０～１６のいずれか１項に記載の方法。
【請求項18】
前記１つまたは複数のフィルタリング・コンポーネントを通じて、前記元の問題を少なくとも部分的に改変された問題に変換することと、前記元の問題および前記少なくとも部分的に改変された問題を前記１つまたは複数のセマンティック・サービスに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のＡＩエージェントに反復的に送信することと、
前記少なくとも部分的に改変された問題を前記１つまたは複数のフィルタリング・コンポーネントに反復的に送信することと、
反復的に、
前記１つまたは複数のセマンティック・サービスを通じて、前記少なくとも部分的に改変された問題が前記人間によって理解可能であることを決定し、
前記少なくとも部分的に改変された問題が前記人間のサポートなしの前記電子的手段を通じて適切に応答され得ないことを決定し、それによって前記少なくとも部分的に改変された問題が完全に改変された問題であることを確立することと、
前記完全に改変された問題を前記人間に送信することと
をさらに含む、請求項１０～１７のいずれか１項に記載の方法。
【請求項19】
請求項１～１８のいずれか１項に記載の方法をコンピュータ・システムに実行させるためのコンピュータ実行可能なプログラム。
【請求項20】
請求項１９に記載のコンピュータ実行可能なプログラムを格納した、コンピュータ可読な記憶媒体。
【国際調査報告】