特開 2024-125268 オンライン試験監督における異常動作の回帰ベースの予測のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125268

(43)【公開日】2024-09-18

(54)【発明の名称】オンライン試験監督における異常動作の回帰ベースの予測のための方法及びシステム

(51)【国際特許分類】

   G06N 5/04 20230101AFI20240910BHJP

   G06Q 50/10 20120101ALI20240910BHJP

【ＦＩ】

G06N5/04

G06Q50/10

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024018383

(22)【出願日】2024-02-09

(31)【優先権主張番号】202321008607

(32)【優先日】2023-02-10

(33)【優先権主張国・地域又は機関】IN

(71)【出願人】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】ヴィラル プラカシュ シャー

(72)【発明者】

【氏名】マニッシュ ラワット

(72)【発明者】

【氏名】ファルディーン カーン

(72)【発明者】

【氏名】リシ セティヤ

(72)【発明者】

【氏名】ナヴィーン ヴァイシュナフ

(57)【要約】      （修正有）

【課題】オンライン試験監督における異常動作の回帰ベースの予測方法及びシステムを提供する。
【解決手段】方法は、複数のローカルインスタンスからユーザに関連する試験監督データを受け取り、試験監督データに関連付けられる情報の種類に基づいて試験監督データを分類し、ユーザに対応する重み付けインシデントツリーを生成し、重み付けインシデントツリーに関連付けられた複数の重みを加算することによって重み付け合計を計算し、重み付けインシデントツリーの長さ、確認割合及び評価定数に基づいて動的経路スコアを計算し、記憶される複数の重み付けインシデントツリーとの比較に基づいてインシデント経路の一致する値を計算し、インシデントツリーベースの回帰技法を使用して重み付け合計、動的経路スコア、評価種類値及びインシデント経路の一致する値に基づいてユーザの最終的ななスコアを予測し、閾値との比較に基づいてユーザの異常動作を予測する。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサ実装される方法（４００）であって、前記方法は、
中央評価サーバの１又は複数のハードウェアプロセッサによって、複数のローカルインスタンスから複数のユーザの各々に関連する試験監督データを受け取ること（４０２）と、
中央評価サーバの前記１又は複数のハードウェアプロセッサによって、分類技法を使用して、前記試験監督データに関連付けられた種類の情報に基づいて前記複数のユーザの各々に関連する前記試験監督データを分類すること（４０４）と、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、ツリー構造技法を使用して、対応する分類された試験監督データに基づいて前記複数のユーザの各々に対応する重み付けインシデントツリーを生成すること（４０６）であって、前記重み付けインシデントツリーの各ノードはインシデント及び関連付けられた動的な重みを表し、２つの近接するノードを接続するエッジは前記２つの近接するノードの間の関係を示す、前記生成すること（４０６）と、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、前記重み付けインシデントツリーに関連付けられた複数の重みを加算することによって、重み付け合計（Ｘ）を計算すること（４０８）と、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、前記重み付けインシデントツリーの長さ、確認割合及び評価定数に基づいて、動的経路スコア（Ｙ）を計算すること（４１０）と、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、前記重み付けインシデントツリーと、前記コマンドセンターに記憶される複数の歴史的な重み付けインシデントツリーとの比較に基づいて、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算される、インシデント経路の一致する値（ｂ）を計算することと（４１２）、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、インシデントツリーベースの回帰技法を使用して、前記重み付け合計（Ｘ）、前記動的経路スコア（Ｙ）、評価種類値（ａ）及びインシデント経路の一致する値（ｂ）に基づいて前記複数のユーザの各々に対する最終的なスコアを予測すること（４１４）と、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、関連付けられた最終的なスコアと複数の予め定められた閾値との比較に基づいて、前記複数のユーザの各々に対する異常動作を予測すること（４１６）とを含む、
方法。

【請求項2】

前記試験監督データは、ビデオ映像に基づいて獲得される複数のインシデント、無線周波数及びBluetooth（登録商標）を含む複数の信号情報、前記複数の受験者の応答行動、キーボードをさらに含む複数の外部デバイス上の情報、スクリーン動作、及び普通でないシステム再配置を含む、請求項１に記載の方法。

【請求項3】

前記複数のユーザの各々の前記異常動作は、前記複数の閾値のうちの対応する閾値に基づいて、高度の重大度、低度の重大度及び中度の重大度のうちの１つとして分類される、請求項１に記載の方法。

【請求項4】

前記中央評価サーバによる前記予測は前記コマンドセンターによって検証され、
前記複数のユーザの各々の異常行動の重大度は、前記コマンドセンサーによって、対応する色分けを使用してオンライン警告メッセージとして関連付けられたオンライン試験監督者へ与えられる、請求項１に記載の方法。

【請求項5】

前記確認割合は、前記重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）、インシデント経路偏差値（ｂ）及び予め定められた閾値に基づいて計算される、請求項１に記載の方法。

【請求項6】

前記評価種類値は、ａ）利害関係の大きい試験、及びｂ）利害関係の小さい試験のうちの１つを示し、前記評価定数は各評価種類へ与えられる値である、請求項１に記載の方法。

【請求項7】

前記動的な重みは異常動作の正確さに比例しており、定期的に更新される、請求項１に記載の方法。

【請求項8】

中央サーバ（１０４）及びコマンドセンター（１０８）へ接続された複数のローカルインスタンスを含むシステム（１００）であって、前記中央サーバ（１０４）は、プログラムされた命令を記憶する少なくとも１つのメモリ（２０４）と、１又は複数の入力／出力（Ｉ／Ｏ）インターフェイス（２１２）と、前記少なくとも１つのメモリ（２０４）へ動作可能に接続される１又は複数のハードウェアプロセッサ（２０２）とを含み、前記中央サーバ（１０４）の前記１又は複数のハードウェアプロセッサ（２０２）は、
複数のローカルインスタンスから、複数のユーザの各々に関連する試験監督データを受け取り、
分類技法を使用して、前記試験監督データに関連付けられた種類の情報に基づいて、前記複数のユーザの各々に関連する前記試験監督データを分類し、
ツリー構造技法を使用して、対応する分類された試験監督データに基づいて前記複数のユーザの各々に対応する重み付けインシデントツリーを生成し、前記重み付けインシデントツリーの各ノードはインシデント及び関連付けられた動的重みを含み、２つの近接するノードを接続するエッジは、前記２つの近接するノードの関係を示しており、
前記重み付けインシデントツリーに関連付けられた複数の重みを加算することによって重み付け合計（Ｘ）を計算し、
前記重み付けインシデントツリー、確認割合及び評価定数に基づいて、動的経路スコア（Ｙ）を計算し、
前記重み付けインシデントツリーと、前記コマンドセンターに記憶された複数の歴史的な重み付けインシデントツリーとの間の比較に基づいて、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算されるインシデント経路の一致する値（ｂ）を計算する、
インシデントツリーベースの回帰技法を使用して、前記重み付け合計（Ｘ）、前記動的経路スコア（Ｙ）、評価種類値（ａ）及びインシデント経路の一致する値（ｂ）に基づいて前記複数のユーザの各々に対する最終的なスコアを予測し、
関連付けられた最終的なスコアとあらかじめ定められた複数の閾値との間の比較に基づいて、前記複数のユーザの各々の異常動作を予測する
ようにプログラムされた命令によって構成される、システム。

【請求項9】

前記試験監督データは、ビデオ映像、無線周波数及びBluetooth（登録商標）を含む複数の信号情報、前記複数の受験者の応答行動、キーボードをさらに含む複数の外部デバイス上の情報、スクリーン動作、及び普通でないシステム再配置に基づいて獲得された複数のインシデントを含む、請求項８に記載のシステム。

【請求項10】

前記複数のユーザの各々の前記異常動作は、前記複数の閾値の対応する閾値に基づいて、高度の重大度、低度の重大度、及び中度の重大度として分類される、請求項８に記載のシステム。

【請求項11】

前記中央評価サーバによる前記予測は前記コマンドセンターによって検証され、
前記複数のユーザの各々の異常行動の重大度は、前記コマンドセンサーによって、対応する色分けを使用してオンライン警告メッセージとして関連付けられたオンライン試験監督官へ与えられる、請求項８に記載のシステム。

【請求項12】

前記確認割合は、前記重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）、インシデント経路偏差値（ｂ）及び予め定められた閾値に基づいて計算される、請求項８に記載のシステム。

【請求項13】

前記評価種類値は、ａ）利害関係の大きい試験、及びｂ）利害関係の小さい試験のうちの１つを示し、前記評価定数は各評価種類へ与えられる値である、請求項８に記載のシステム。

【請求項14】

前記動的な重みは異常動作の正確さに比例しており、定期的に更新される、請求項８に記載のシステム。

【請求項15】

１又は複数の命令を含む１又は複数の非一時的の機械可読の情報記憶媒体であって、前記命令は実行されるときに、
中央評価サーバの１又は複数のハードウェアプロセッサによって、複数のローカルインスタンスから複数のユーザの各々に関連する試験監督データを受け取るステップと、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、分類技法を使用して、前記試験監督データに関連付けられた種類の情報に基づいて前記複数のユーザの各々に関連する前記試験監督データを分類するステップと、
前記中央評価サーバの前期１又は複数のハードウェアプロセッサによって、ツリー構造技法を使用して、対応する分類された試験監督データに基づいて前記複数のユーザの各々に対応する重み付けインシデントツリーを生成するステップであって、前記重み付けインシデントツリーの各ノードはインシデント及び関連付けられた動的重みを含み、２つの近接するノードを接続するエッジは、前記２つの近接するノードの関係を示す、重み付けインシデントツリーを生成するステップと、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、前記重み付けインシデントツリーに関連付けられた複数の重みを加算することによって重み付け合計（Ｘ）を計算するステップと、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、前記重み付けインシデントツリー、確認割合及び評価定数に基づいて、動的経路スコア（Ｙ）を計算するステップと、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、前記重み付けインシデントツリーと、前記コマンドセンターに記憶された複数の歴史的な重み付けインシデントツリーとの間の比較に基づいて、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算されるインシデント経路の一致する値（ｂ）を計算するステップと、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、インシデントツリーベースの回帰技法を使用して、前記重み付け合計（Ｘ）、前記動的経路スコア（Ｙ）、評価種類値（ａ）及びインシデント経路の一致する値（ｂ）に基づいて前記複数のユーザの各々に対する最終的なスコアを予測するステップと、
前記中央評価サーバの前記１又は複数のハードウェアプロセッサによって、関連付けられた最終的なスコアとあらかじめ定められた複数の閾値との間の比較に基づいて、前記複数のユーザの各々の異常動作を予測するステップとを発生させる、１又は複数の非一時的の機械可読の情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、試験監督される試験の分野、より具体的には、オンライン試験監督における移乗動作の回帰ベースの予測のための方法及びシステムに関する。

【0002】

［関連する出願の相互参照］
本出願は、２０２３年２月１０日に出願された、インド特許出願第２０２３２１００８６０７号への優先権を主張する。

【背景技術】

【0003】

試験は、受験者が特定の科目又はスキルセットにおいて十分な熟練度を有しているかどうかを識別するために使用される。多くの標準化された試験は現在、紙とペンの形式よりもコンピュータを介して施行されている。オンライン試験を試験監督することは、試験監督者と受験者との間で直接顔を合わせてつながることが無いために不正行為を行う可能性が増したために、挑戦的である。その故に、オンライン試験の価値がそれによって疑わしくなっている。上記の課題を克服するための１つの解決策は、機械学習（ＭＬ）アプローチを使用して、受験者の行動を予測することである。ＭＬベースのシステムは、明確にプログラムされることなく、経験から自動的に学習して改善する。さらに、データ分析技法は、入力データをローデータと継続的に比較し、未来のインシデントの分析は、それに基づいて決定する。

【0004】

ほとんどの従来のＭＬベースの方法は、予め定められたパラメータを抽出されたユーザパラメータと比較し、それが評価基準に違反するかどうか決定する。いくつかの他のＭＬモデルは、比較のためのいくつかの限られたパラメータに集中し、オンライン試験監督の間に受験者の異常行動を予測する全ての可能なパラメータを考慮する全体論的な分析を提供しない。

【0005】

（簡単な説明）
本開示の実施形態は、縦覧のシステムの発明者によって認識される１又は複数の上記の技術的な問題への解決策としての技術上の改善を示す。例えば、ある実施形態において、オンラインの試験監督における異常行動の回帰ベースの予測の方法が提供される。方法は、１又は複数のハードウェアプロセッサによって、複数のローカルインスタンスから、複数のユーザの各々に関連する試験監督データを受け取ることを含む。さらに、方法は、１又は複数のハードウェアプロセッサによって、分類技法を使用して、試験監督データに関連付けられる情報の種類に基づいて複数のユーザの各々に関連する試験監督データを分類することを含む。その上、方法は、１又は複数のハードウェアプロセッサによって、ツリー構造技法を使用して対応する分類された試験監督データに基づいて、複数のユーザの各々に対応する重み付けインシデントツリーを生成することを含み、重み付けインシデントツリーの各ノードは、インシデント及び関連付けられた動的な重みを表し、２つの近接するノードを接続するエッジは、２つの近接するノードの間の関係を示す。さらに、方法は、１又は複数のハードウェアプロセッサによって、重み付けインシデントツリーに関連付けられた複数の重みを加算することによって、重み付け合計（Ｘ）を計算することを含む。さらに、方法は、１又は複数のハードウェアプロセッサによって、重み付けインシデントツリーの長さ、確認割合及び評価定数に基づいて、動的経路スコア（Ｙ）を計算することを含む。さらに、方法は、１又は複数のハードウェアプロセッサによって、重み付けインシデントツリーとコマンドセンサーに記憶される複数の歴史的に重み付けインシデントツリーとの間の比較に基づいて、インシデント経路の一致する値（ｂ）を計算することを含み、インシデント経路の一致する値は、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算される。さらに、方法は、１又は複数のハードウェアプロセッサによって、インシデントツリーベースの回帰技法を使用して、重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）、及びインシデント経路の一致する値（ｂ）に基づいて、複数のユーザの各々の最終的なスコアを予測することを含む。最後に、方法は、１又は複数のハードウェアプロセッサによって、関連付けられる最終的なスコアと複数の予め定められた閾値との比較に基づいて、複数のユーザの各々の異常動作を予測することを含む。

【0006】

別の様態において、オンライン試験監督における移乗動作の回帰ベースの予測のためのシステムが提供される。システムは、プログラムされた命令を記憶する少なくとも１つのメモリ、１又は複数の入力／出力（Ｉ／Ｏ）インターフェイス、及び少なくとも１つのメモリに動作可能に接続された１又は複数のハードウェアプロセッサを含み、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、複数のローカルインスタンスから複数のユーザの各々に関連する試験監督データを受け取るように構成される。さらに、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、分類技法を使用して、試験監督データに関連付けられた情報の種類に基づいて複数のユーザの各々に関連する試験監督データを分類するように構成される。そのうえ、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、ツリー構造技法を使用して対応する分類された試験監督データに基づいて複数のユーザの各々に対応する重み付けインシデントツリーを生成するように構成され、重み付けインシデントツリーの各ノードは、インシデント及び関連付けられる動的な重みを表し、２つの近接するノードを接続するエッジは、２つの近接するノードの関係を示す。そのうえ、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、重み付けインシデントツリーに関連付けられた複数の重みを加算することによって、重み付け合計（Ｘ）を計算するように構成される。その上、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、重み付けインシデントツリーの長さ、確認割合、評価定数に基づいて、動的経路スコア（Ｙ）を計算するように構成される。その上、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、重み付けインシデントツリーと、コマンドセンターに記憶される複数の歴史的に重み付けインシデントツリーとの比較に基づいて、インシデント経路の一致する値（ｂ）を計算するように構成され、インシデント経路の一致する値は、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算される。そのうえ、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、インシデントツリーベースの回帰技法を使用して、重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）及びインシデント経路の一致する値（ｂ）に基づいて複数のユーザの各々に対して最終的なスコアを予測するように構成される。最後に、１又は複数のハードウェアプロセッサは、プログラムされた命令によって、関連付けられた最終的なスコア及び複数の予め定められた閾値の比較に基づいて複数のユーザの各々の異常動作を予測するように構成される。

【0007】

さらに別の様態において、本明細書で具体化される、オンライン試験監督における異常動作の回帰ベースの予測のためのコンピュータプログラムを有する非一時的でコンピュータ可読な媒体を含むコンピュータプログラム製品が提供される。コンピュータ可読プログラムは、計算機器で実行されるとき、計算機器に、複数のユーザの各々に関連する試験監督データを複数のローカルインスタンスから受け取らせる。さらに、コンピュータ可読プログラムは、計算機器で実行されるとき、計算機器に、試験監督データに関連付けられた情報の種類に基づいて、分類技法を使用して、複数のユーザの各々に関連する試験監督データを分類させる。そのうえ、コンピュータ可読プログラムは、計算機器で実行されるとき、計算機器に、対応する分類された試験監督データに基づき、ツリー構造技法を使用して、複数のユーザに各々に対応する重み付けインシデントツリーを生成させ、重み付けインシデントツリーの各ノードは、インシデント及び関連付けられた動的な重みを表し、２つの近接するノードを接続するエッジは、２つの近接するノードの関係を示す。その上、コンピュータ可読プログラムは、計算機器で実行されるとき、重み付けインシデントツリーに関連付けられた複数の重みを加算することによって、計算機器に重み付け合計（Ｘ）を計算させる。そのうえ、コンピュータ可読プログラムは、計算機器で実行されるとき、重み付けインシデントツリーの長さ、確認割合、及び評価定数に基づいて、計算機器に動的経路スコア（Ｙ）を計算させる。その上、コンピュータ可読プログラムは、計算機器で実行されるとき、重み付けインシデントツリー及びコマンドセンターに記憶される複数の歴史的に重み付けインシデントツリーの比較に基づいて、計算機器にインシデント経路の一致する値（ｂ）を計算させ、インシデント経路の一致する値は、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算される。その上、コンピュータ可読プログラムは、計算機器で実行されるとき、インシデントツリーベースの回帰技法を使用して、重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）、及びインシデント経路の一致する値（ｂ）に基づいて、計算機器に複数のユーザの各々に対して最終的なスコアを予測させる。最後に、コンピュータ可読プログラムは、計算機器で実行されるとき、関連付けられた最終的なスコアと複数の予め定められた閾値との比較に基づいて、計算機器に複数のユーザの各々の異常動作を予測させる。

【0008】

先述の概要及び以降の詳細な説明の両方は、例示的及び説明的であるのみで、主張されるように発明の範囲を制限するものではないことが理解されるべきである。

【0009】

本開示の一部に組み込まれて構成する添付する図面は、例示的な実施形態を図示し、説明とともに開示された原則を説明するために効果する。

【図面の簡単な説明】

【0010】

【図1】本開示のいくつかの実施形態による、オンライン試験監督環境の機能ブロック図である。

【図2】本開示のいくつかの実施形態による、オンライン試験監督における異常動作の回帰ベースの予測のための、図１の中央サーバの機能ブロック図である。

【図3】本開示のいくつかの実施形態による、オンライン試験監督における異常動作の回帰ベースの予測のための、図１のシステムの機能体系である。

【図4A】本開示のいくつかの実施形態による、図３の中央サーバによって実装される、オンライン試験監督における異常動作の回帰ベースの予測のための方法４００を実装されたプロセッサを図示する例示的なフロー図である。

【図4B】本開示のいくつかの実施形態による、図３の中央サーバによって実装される、オンライン試験監督における異常動作の回帰ベースの予測のための方法４００を実装されたプロセッサを図示する例示的なフロー図である。

【図5】本開示のいくつかの実施形態による、図１のシステムによって実装される、オンライン試験監督における異常動作の回帰ベースの予測のための方法を実装されたプロセッサのための例示的に重み付けインシデントツリーである。

【発明を実施するための形態】

【0011】

例示的な実施形態は、添付の図面を参照しながら説明される。図において、参照番号の左端の数字（ｓ）は参照番号の先頭で、図を識別する。都合が良ければ、同じ又は類似の部分を参照するために、同じ参照番号が図面を通して使用される。開示された原則の例と特徴が本明細書で説明されるが、開示される実施形態の範囲から脱することなく変更、適用及び他の実装が可能である。

【0012】

試験は、特定の科目又はスキルセットの熟練度に関連するような、学生又は有望な実務家などの受験者の能力を決定するために使用される。例えば、学生は学位又は証明書を受け取ることに関することがある特定の科目において、学生が必要な知識を備えているかどうかを決定するためにテストを受けることがある。多くの標準化されたテストは現在オンラインで施行され、オンライン試験は集団不正、受験者の部屋の変更又は質問を中継して知識のある第三者から答えを受け取るために電子機器の使用など、受験者が不正行為を行っていることがある際に試験監督をすることが困難である。さらに、試験監督者が不正を行うために受験者を助けることがある。上記の課題を克服する１つの解決策は、機械学習（ＭＬ）を使用して受験者の動作を予測することである。しかしながら、従来のＭＬベースの方法のほとんどは、予め定められたパラメータを、抽出されたユーザパラメータと比較し、それが評価基準に違反するかどうかを決定する。しかしながら、受験者の動作を評価するオンライン試験監督の間に、受験者に関連するインシデントの順序を考慮している先行技術は無い。

【0013】

上記の課題を克服するために、本明細書の実施形態は、オンライン試験監督における異常動作の回帰ベースの予測のための方法及びシステムを提供する。本開示は概して試験を試験監督することに関わり、より具体的には、インシデントツリーベースの回帰分析を使用して受験者に関連する複数のインシデントを分析することによって、試験の間に異常動作をあらかじめ検出することに焦点を当てる。例えば、本開示は、過去の試験において不正を行うことにつながる人間の目で見ることができない受験者体系の行動／疑わしい動作を検出し、同様の試験センター又は異なる試験センターで同様の行動が観測された場合、試験官へ又は応じられるグラウンドチームへ即時の警告を生成し、よって、試験における不正行為を防ぐことができる。

【0014】

図面、より具体的には図１から５を参照すると、類似の参照文字が図を通して対応する特徴を表示するところに、好まれる実施形態が示され、これらの実施形態は、次の例示的なシステム及び／又は方法の文脈において説明される。

【0015】

図１は、本開示の実施形態による、オンライン試験監督環境の機能ブロック図である。ある実施形態において、オンライン試験監督環境１００は、複数のローカルインスタンス１０２Ａ、１０２Ｂ…１０２Ｎ、中央サーバ１０４、コマンドセンター１０８、及び１０６Ａ、１０６Ｂなどの複数のネットワーク接続を含む。ネットワーク接続１０６Ａは、対応する複数のローカルインスタンスの各々を、中央サーバ１０４へ接続する。同様に、ネットワーク接続１０６Ｂは、中央サーバ１０４とコマンドセンター１０８を接続する。ある実施形態において、コマンドセンター１０８は、閉回路テレビ（ＣＣＴＶ）などの画像取り込みデバイスを介して中央サーバから受け取ったフィードバックを検証する。ある実施形態において、複数のネットワーク接続１０６Ａから１０６Ｎの各々は、有線通信ネットワーク又は無線通信ネットワークとする。

【0016】

図２は、本開示の実施形態による、オンライン試験監督における異常動作の回帰ベースの予測のための、図１の中央サーバの機能ブロック図である。ある実施形態において、コマンドセンターの機能ブロック図、及び複数のローカルインスタンスは、機能ブロック図１０４に類似する。中央サーバ１０４は、メモリ２０４、Ｉ／Ｏインターフェイス２１２などの少なくとも１つのメモリを、ハードウェアプロセッサ２０２との通信に含む又は別の状態にする。ハードウェアプロセッサ２０２、メモリ２０４及び入力／出力（Ｉ／Ｏ）インターフェイス２１２は、システムバス２０８又は類似の機構などのシステムバスによって結合されることがある。ある実施形態において、ハードウェアプロセッサ２０２は、１又は複数のハードウェアプロセッサとすることができる。

【0017】

Ｉ／Ｏインターフェイス２１２は、例えば、ウェブインターフェイス、グラフィカルユーザインターフェイスなどの、多様なソフトウェアおよびハードウェアインターフェイスを含むことがある。Ｉ／Ｏインターフェイス２１２は、キーボード、マウス、外部メモリ、プリンタ等の周辺機器などの、多様なソフトウェアおよびハードウェアインターフェイスを含むことがある。さらに、Ｉ／Ｏインターフェイス２１２は、システム２００を、ウェブサーバ及び外部のデータベースなどの、他のデバイスと通信させることができる。

【0018】

Ｉ／Ｏインターフェイス２１２は、ローカルエリアネットワーク（ＬＡＮ）、ケーブルなどの有線ネットワーク、及び無線ＬＡＮ（ＷＬＡＮ）、セル方式又は衛星などの無線ネットワークを含む、多種多様なネットワーク及びプロトコルの種類との複数の通信を容易にすることができる。このために、Ｉ／Ｏインターフェイス２１２は、いくつかのコンピューティングシステムを互いに、又は別のサーバコンピュータへ接続するために、１又は複数のポートを含むことができる。Ｉ／Ｏインターフェイス２１２は、複数のデバイスを互いに又は別のサーバへ接続するための１又は複数のポートを含むことができる。

【0019】

１又は複数のハードウェアプロセッサ２０２は、１又は複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラー、デジタル信号プロセッサ、中央処理装置、ノードマシン、論理回路、及び又は操作可能な命令に基づいて信号を操作する任意のデバイスとして実装されることがある。機能の中でもとりわけ、１又は複数のハードウェアプロセッサ２０２は、メモリ２０４に記憶されたコンピュータ可読命令を取り出して実行するように構成される。

【0020】

メモリ２０４は、静的ランダムアクセスメモリ（ＳＲＡＭ）及び動的ランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、及び／又はリードオンリーメモリ（ＲＯＭ）、erasable programmable ＲＯＭ、フラッシュメモリ、ハードディスク、光学ディスク及び磁気テープなどの不揮発性メモリなど、技術分野において知られる任意のコンピュータ可読媒体を含むことがある。ある実施形態において、メモリ２０４は、複数のモジュール２０６を含む。メモリ２０４は、複数のモジュール２０６によって処理され、受け取られ、及び生成されたデータを記憶するために、データリポジトリ又はリポジトリ）２１０をまた含む。

【0021】

複数のモジュール２０６は、オンライン試験監督における移乗動作の回帰ベースの予測のための、システム２００によって実施されるアプリケーション又は機能を補うプログラム及びコード化された命令を含む。複数のモジュール２０６はとりわけ、ルーチン、プログラム、オブジェクト、コンポーネント及びデータ構造を含む、又は特定の抽出データの種類を実装することができる。複数のモジュール２０６はまた、信号プロセッサ、ノードマシン、論理回路、及び／又は操作可能な命令に基づいて信号を操作する任意の他のデバイス又は構成要素として使用されることがある。さらに、複数のモジュール２０６は、ハードウェアによって、１又は複数のハードウェアプロセッサ２０２によって実行されるコンピュータ可読命令によって、又はそれらの組み合わせによって使用されることがある。複数のモジュール２０６は、種々のサブモジュール（示されていない）を含むことがある。複数のモジュール２０６は、オンライン試験監督における移乗動作の回帰ベースの予測のために、システム２００によって実施されるアプリケーション又は機能を補うコンピュータ可読命令を含むことができる。ある実施形態において、複数のモジュール２０６は、試験監督データ分類モジュール（図３に示される）、重み付けインシデントツリー生成モジュール（図３に示される）、重み付け合計計算（図３に示す）、動的経路スコア計算モジュール（図３に示される）、インシデント経路の一致する値計算モジュール（図３に示される）、最終的なスコア予測モジュール（図３に示す）、及び異常行動予測モジュール（図３に示す）を含む。

【0022】

データリポジトリ（又はリポジトリ）２１０は、複数の抽出されたコード、及びモジュール２０６の複数のモジュールの実行の結果として処理され、受け取られ、又は生成されたデータを含むことがある。

【0023】

データリポジトリ２１０は、システム２００の内部に示されるが、別の実施形態においては、データリポジトリ２１０は、システム２００に通信可能に結合されるデータベース内（リポジトリ２１０）にデータリポジトリ２１０が記憶され得るシステム２００の外部にも実装され得ることに留意されたい。このような外部のデータベースに包含されるデータは、定期的に更新されることがある。例えば、新しいデータがデータベース（図２には示されない）に加えられることがある、及び／又は現存するデータが変更されることがある、及び／又は有益でないデータがデータベースから削除されることがある。ある例において、データがライトウェイト・ディレクトリ・アクセス・プロトコル（ＬＤＡＰ）ディレクトリ、及びリレーショナルデータベースマネージメントシステム（ＲＤＢＭＳ）などの外部システムに記憶されることがある。システム１００の構成要素の働きは、図４Ａ及び図４Ｂに描かれる方法ステップを参照しながら説明される。

【0024】

図４Ａ及び図４Ｂ（まとめて図４として参照する）は、本開示の実施形態による、図２の中央サーバによって実装されるオンライン試験監督における、異常行動の回帰ベースの予測のための方法４００を図示する例示的なフロー図である。

【0025】

ある実施形態において、システム２００（中央サーバ）は、１又は複数のハードウェアプロセッサ２０２に動作可能に結合される１又は複数のデータ記憶デバイス又はメモリ２０４を含み、１又は複数のハードウェアプロセッサ２０２によってメソッド４００のステップを実行するための命令を記憶するように構成される。本開示のメソッド４００のステップはここで、図１及び２並びに図４に描かれるフロー図のステップに描くように、システム１００及びシステム２００の構成要素又はブロックを参照して説明される。方法４００は、コンピュータ実行可能命令の一般的な文脈において説明することができる。一般的に、コンピュータ実行可能命令は、特定の機能を実施する又は特定の抽出データの種類を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造、プロシージャ、モジュール、機能などを含むことができる。方法４００はまた、通信ネットワークを介して連係されたリモート処理デバイスによって機能が実行される分散されるコンピューティング環境で実践されることがある。方法４００を説明する順序は、制限として解釈されることを意図せず、説明する方法ブロックの任意の数は、方法４００又は代替の方法を実装するために任意の順序で組み合わせることができる。そのうえ、方法４００は、任意の適するハードウェア、ソフトウェア又はそれらの組み合わせで実装することができる。

【0026】

方法４００のステップ４０２において、中央サーバの１又は複数のハードウェアプロセッサ２０２は、プログラムされた命令によって、複数のローカルインスタンス１０２Ａ…１０２Ｎから、複数のユーザの各々に関連する試験監督データを受け取るように構成され、試験監督データは特定の時間間隔（予め定められる又は動的に構成される）又はリアルタイムで受け取られる。試験監督データは、ビデオ映像に基づいて獲得される複数のインシデントと、無線周波数及びBluetooth （登録商標）を含む複数の信号情報と、複数の受験者の応答行動と、キーボードなどの外部デバイスと、スクリーン動作と、いずれの有効な理由の無いシステムの再配置とを含む。例えば、何かのシステム障害又はネットワーク障害がある場合に、システムが受験者に再配置される場合、そのときは有効であるとして、それ以外は無効であるとして考慮される。種々のこのようなアクションは、有効又は無効であるとして分類されることがあり、参照データとしてシステムとともに構成されることがある。

【0027】

ある実施形態において、試験の問題データは、オンライン試験センターに存在する複数のローカルインスタンス１０２Ａ…１０２Ｎへ通信される。受験者は、ローカルインスタンスのディスプレイスクリーンに表示された質問データに応答して入力することによって、試験を試みることができる。一度、対応するローカルインスタンスのスクリーン上の質問データの表示に応じて受験者が始めると、顔の不一致、ＲＦデバイスの検出、規定時間区間に検出されるＷｉ-Ｆｉを含む試験監督データ又は受験者の取り込みが、ローカルインスタンス１０２Ａ…１０２Ｎで始まる。

【0028】

本開示で使用される複数のインシデント例及び省略形を、テーブル１に図示する。直ちにテーブル１を参照すると、「Ｗｉ-Ｆｉデバイスが検出された」は、受験者がＷｉ-Ｆｉデバイスを使用していることを意味し、これは受験者がインターネットを参照していることを意味する。「ランチャーによって無線周波数（ＲＦ）データが検出された」インシデントは、不正行為につながり得る受験者体系のランチャーによって検出されるＲＦデータ信号のときに発生する。「ランチャーによってインターネットが検出された」は、受験者のマシンは試験センターにおいてインターネットが利用可能ではなく、彼らはＬＡＮを介してのみ対応する中央サーバへ接続されることを意味する。このインシデントは、インターネット接続性が受験者システムにおいてランチャーによって検出されたときに発生し、これは潜在的な不正行為の恐れとなり得る。「多数の試験において部屋が変更された」は、受験者の部屋が多数の試験で割り当てと異なるときに発生する。「部屋の変更が検出された」は、評価の間に割り当てと異なる受験者の部屋が検出されたときに発生する。「ＣＣＴＶ干渉が検出された」は、犯罪行為が起きていることを示し得る。カメラ干渉の一般的な例は、カメラのレンズが異なる向きへ向くように（すなわち、カメラのモーション）位置を変えること、及び不透明なオブジェクト又は塗料でカメラのレンズを覆うこととする。テーブルIで挙げられる他のインシデントは自明である。

【表1】

【0029】

図４を参照すると、方法４００のステップ４０４において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行される試験監督データ分類モジュール３０２は、分類技法を使用して、試験監督データに関連付けられた情報の種類に基づいて、プログラムされた命令によって複数のユーザの各々に関連する試験監督データを分類するように構成される。

【0030】

例えば、受け取られた試験監督データは、「ハードウェア」、「ＲＦ」などの種類情報に基づいて分類される。例えば、受験者の終了時にハードウェアの任意の機能不全がある場合、中央サーバ１０４はデータの種類、インシデントが起こったレベルによってこれを整え、テーブルＩＩに与えるようにインシデントの種類ｉｄ及びインシデントの説明を生成する。

【表2】

【0031】

方法４００のステップ４０６において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行される重み付けインシデントツリー生成モジュールは、プログラムされた命令によって、ツリー構造技法を使用して、対応する分類された試験監督データに基づいて複数のユーザの各々に対応する重み付けインシデントツリーを生成するように構成される。重み付けインシデントツリーの各ノードは、インシデント及び関連付けられた動的な重みを表す。動的な重みは、異常動作の正確さに比例し、定期的に更新される。２つの近接するノードを接続する各エッジは、２つの近接するノード間の関係を示す。

【0032】

ある実施形態において、オンライン試験を行っている受験者に関連する重み付けインシデントツリーの例が、図４に示すように記録される。図５を参照すると、ノード「ＡＶ」は、動的な重み１０があり、ノード「ＭＨＤ」は動的な重み５を有し、ノードＷＦＤは動的な重み６を有し、ノード「ＲＣ」は動的な重み８を有し、ノードＩＤＬは動的な重み４を有する。重み付けインシデントツリーは、「受験者のアーダール検証が回避された－複数のキーボード／マウスが検出された－Ｗｉ-Ｆｉデバイスが検出された－多数の試験において部屋が変更された－ランチャーによってインターネットが検出された」のように受験者に関連するインシデントの順序を記録する。

【0033】

方法４００のステップ４０８において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行される、重み付け合計計算モジュール３０６は、プログラムされた命令によって、重み付けインシデントツリーに関連付けられた複数の動的な重みを加算することによって合計（Ｘ）を計算するように構成される。例えば、図５で与えられる重み付けインシデントツリーを考慮すると、重み付け合計は、１０＋５＋６＋８＋４＝３３である。

【0034】

方法４００のステップ４１０において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行される動的経路スコア計算モジュール３０８は、重み付けインシデントツリーの長さ、確認割合、及び評価定数（各評価種類に与えられる値）に基づいて、評価プログラムされた命令によって動的経路スコア（Ｙ）を計算するように構成される。例えば、図５で与えられる重み付けインシデントツリーの長さは４（エッジの数）である。確認割合は、式（１）で与えられるように、重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）、インシデント経路偏差値（ｂ）及び予め定められた閾値（例えば、１４６）に基づいて計算される。ここで、「ａ」値は、利害関係の大きい又は利害関係の小さい試験などの評価の種類に依存し、最初に、その値は最初に発生した発生の前にあらかじめ定められ、試験センター中に存在する使用可能なチームからのフィードバックに依存する機械学習技法を介してその値を調節することを続ける。「ｂ」値（インシデント経路が一致する値）は、発生の経路／順序に依存し、この値もまた、合計スコアのバランスを維持するために使用可能な発生の、固定されたセットと比較することを必要とされる発生の存在／欠落によって、ＭＬを介して調整することを続ける。

【0035】

方法４００のステップ４１２において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行されるインシデント経路の一致する値計算モジュール３１０は、重み付けインシデントツリーと、コマンドセンターに記憶される複数の歴史的に重み付けインシデントツリーとの比較に基づいて、プログラムされた命令によってインシデント経路の一致する値（ｂ）を計算するように構成され、インシデント経路の一致する値は、ａ）完全な経路の一致、及びｂ）部分的な経路の一致のうちの１つに基づいて計算される。例えば、経路の一致する値は、部分的な一致又は完全な一致とすることができる。図５で与えられる発生の順序（ＡＶ－ＭＨＤ－ＷＦＤ－ＲＣ－ＩＤＬ）、及びコマンドセンターに記憶される歴史的な異常動作の経路は「ＡＶ－ＭＨＤ－ＷＦＤ－ＲＣ－ＲＦＤ」であることを考慮すると、部分的に経路の一致する値は「３」である。例えば、入力の発生の順序が「ＤＣＦ－ＭＨＤ－ＷＦＤ－ＲＣ－ＩＤＬ」であり、及び歴史的な異常動作の順序が、「ＤＦＣ－ＭＨＤ－ＷＦＤ－ＲＣ－ＩＤＬ」である場合、完全な一致が観測され、この場合のインシデント経路の一致する値は４である。

【0036】

方法４００のステップ４１４において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行される最終的なスコア予測モジュール３１２は、プログラムされた命令によって、重み付け合計（Ｘ）、動的経路スコア（Ｙ）、評価種類値（ａ）及びインシデント経路の一致する値（ｂ）に基づいて、式（２）で与えられる公式を使用するインシデントツリーベースの回帰技法を使用して複数のユーザの各々に対する最終的なスコア（Ｓ）を予測するように構成される。例えば、ａ＝１．２６、ｂ＝０．８５の場合、生成される最終的なスコアは、１．２６×３３＋０．８５×５０＝４１．５８＋４２．５＝８４．０８である。
Ｓ ＝ａＸ＋ｂＹ ………(2)

【0037】

方法４００のステップ４１６において、中央サーバの１又は複数のハードウェアプロセッサ２０２によって実行される異常動作予測モジュール３１４は、関連付けられた最終的なスコアと、複数のあらかじめ定められた閾値との比較に基づいて、プログラムされた命令によって複数のユーザの各々の異常動作を予測するように構成される。例えば、最終的なスコアが、高度の重大度の閾値（例えば、１４６）よりも大きい場合、異常動作は高度に重大なものである。最終的なスコア値が、低度の重大度の閾値（例えば、９８）と高度の重大度の閾値の間にある場合、異常行動は中度の重大さとして考慮される。最終的なスコアが低度の重大度よりも低い場合、重大度は、低度に重大だとして考慮される。ある実施形態において、ユーザインターフェイスにおいて高度の重大度は赤色で警告され、中度の重大度はオレンジで警告され、低度の重大度はグレーの色で警告される。ある実施形態において、中央評価サーバによる予測はコマンドセンターのユーザによって検証され、重大度の警告が生成される。ある実施形態において、コマンドセンター１０８は、ＣＣＴＶなどの画像取り込みデバイスを介して中央サーバ１０４から受け取られた予測を検証し、それによって警告を生成する。

【0038】

記述する説明は、当業者が実施形態を作成して、使用できるようにするために本書で内容を説明する。内容の実施形態の範囲は特許請求の範囲によって定められ、当業者が見出す他の変更を含み得る。彼らが、特許請求の範囲の文字的な言葉と変わらない類似の要素を有する場合、又は彼らが、特許請求の範囲の文字的な言葉からわずかに異なる同等の要素を含む場合は、このような他の変更は、特許請求の範囲の内にあると意図する。

【0039】

本書の本開示の実施形態は、オンライン試験監督における異常動作の回帰ベースの予測の未解決の問題に取り組む。本開示は、オンライン試験監督の間、異常動作の予測に基づいてインシデントの順序を提供する。本開示は、少ない時間消費かつ効率的である予測のためのインシデントツリーベースの回帰技法を使用し、よって全体論的で、安全で、信頼性の高いオンライン試験監督環境を提供する。

【0040】

保護の範囲は、このようなプログラム、加えてコンピュータ可読記憶手段が、プログラムがサーバ、モバイルデバイス又は任意の適するプログラム可能なデバイス上で動作するときに、方法の１又は複数のステップの実装のためのプログラムコード手段を含有するようなメッセージをその中に有するコンピュータ可読手段まで及びことが理解されるべきである。ハードウェアデバイスは、例えば、サーバ又はパーソナルコンピュータなど又は任意のそれらの組み合わせなどの任意の種類のコンピュータなどを含む、プログラムされ得る任意の種類のデバイスとすることができる。デバイスは、アプリケーション特化集積回路（ＡＳＩＣ）、field-programmable gate array（ＦＰＧＡ）、若しくはＡＣＳＩとＦＰＧＡ、又はソフトウェアモジュールが配置される少なくとも１つのマイクロプロセッサと少なくとも１つのメモリなどのハードウェア手段とソフトウェア手段との組み合わせなどのハードウェア手段などとし得る手段を含むこともある。よって、手段は、ハードウェア手段ソフトウェア手段の両方を含むことができる。本明細書で説明する方法の実施形態は、ハードウェア又はソフトウェアに実装することができる。デバイスはまた、ソフトウェア手段を含む。また、実施形態は、複数のＣＰＵ、ＧＰＵ及びエッジコンピューティングデバイスなどの異なるハードウェアデバイスへ実装されることがある。

【0041】

本明細書の実施形態は、ハードウェア及びソフトウェア要素を備えることができる。ソフトウェアに実装される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限らない。本明細書で説明する種々のモジュールによって実施される機能は、他のモジュール又は他のモジュールの組み合わせに実装されることがある。この説明を目的として、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、機器又はデバイスによる使用、又は接続のためのプログラムを備える、記憶する、通信する、任意の機器、伝搬する、又は移動することができる。図示されたステップは示される例示的な実施形態の説明を始め、技術上の発展は手段を変えて、特定の機能が実施されるであろうことが良きされるべきである。これらの例は、解説を目的に本明細書提示され、制限をしない。さらに、機能のビルディングブロックの境界は、説明の都合のために本明細書において自由裁量で定義されている。代替の境界は、その特定化された機能及び関係が適切に実施される限りは定めることができる。代替（本明細書で説明するそれらの同等、拡張、変化、逸脱などを含む）は、本明細書に包含する教えに基づいて当業者に認められるであろう。このような代替は、開示する実施形態の範囲内である。また、「備えている」、「有している」、「包含している」及び「含んでいる」及び他の築地の形態の語は、意味が同等であり、任意のこれらの語に続く項目が、このような項目又の網羅的なリスト化を意味せず、又リスト化された項目のみ制限されることを意味しないように、制限の無いように意図する。本明細書で使用されるように、又添付の特許請求の範囲において、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈上明確に別に命じない限りは、複数の参照を含むことにも留意されたい。そのうえ、１又は複数のコンピュータ可読記憶メディアは、本開示と矛盾しない実施形態の実装において使用されることがある。コンピュータ可読記憶媒体は、プロセッサによって可読の情報又はデータが記憶される、任意の種類の物理的なメモリを指す。よって、コンピュータ可読記憶媒体は、本明細書に記載の実施形態に含まれるステップ又はステージをプロセッサに実施させる命令を含む、１又は複数のプロセッサによる実行のための命令を記憶することができる。「コンピュータ可読媒体」の用語は、実体項目を含み、搬送波及び一時的な信号を除き、すなわち、非一時的と理解されるべきである。例は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュメモリ、ディスク及び任意の他の既知の物理的な記憶メディアを含む。

【0042】

開示及び例は例示的であるのみとして考慮され、開示する実施形態の本質は次の特許請求の範囲によって示される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【外国語明細書】