知財求人 - 知財ポータルサイト「IP Force」
▶ タタ コンサルタンシー サービシズ リミテッドの特許一覧
特開2023-174457回答スクリプトを採点者にルールベースでマッピングするシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023174457
(43)【公開日】2023-12-07
(54)【発明の名称】回答スクリプトを採点者にルールベースでマッピングするシステム及び方法
(51)【国際特許分類】
G06N 5/04 20230101AFI20231130BHJP
G06F 16/906 20190101ALI20231130BHJP
【ＦＩ】
G06N5/04
G06F16/906
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022170345
(22)【出願日】2022-10-25
(31)【優先権主張番号】202221030632
(32)【優先日】2022-05-27
(33)【優先権主張国・地域又は機関】IN
(71)【出願人】
【識別番号】510337621
【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド
【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ
【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】ヴィラル プラカシュ シャー
(72)【発明者】
【氏名】ジャヤラクシュミ カランチェティ
(72)【発明者】
【氏名】ロヒット レディー リッカ
(72)【発明者】
【氏名】ディヴィア カナムッラ
(72)【発明者】
【氏名】マヘーシュ パトナール
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175FA03
(57)【要約】 （修正有）
【課題】採点者への回答スクリプトの割り当てルール、採点品質、スケジュールを考慮したデジタル採点システムを提供する。
【解決手段】回答スクリプトを採点者にルールベースでマッピングするための方法は、セグメント化された採点の場合、回答スクリプトの一部が最も適格なドメイン採点者に割り当てられるようにして、回答スクリプトを最も適格な採点者に割り当てることにより、高い採点基準を達成する。割り当てルールの一部を形成する採点者属性及び回答スクリプト属性が取り込まれ、従って、条件の作成が可能になる。採点者プロファイルは、専門知識及び可用性に基づいて生成される。採点者の提出物及び過去のパフォーマンスが分析され、回答修正に最適な採点者が評価されてランク付けされることで、規定時間フレーム内で最高レベルの採点品質及び精度が確保される。
【選択図】図２
【解決手段】回答スクリプトを採点者にルールベースでマッピングするための方法は、セグメント化された採点の場合、回答スクリプトの一部が最も適格なドメイン採点者に割り当てられるようにして、回答スクリプトを最も適格な採点者に割り当てることにより、高い採点基準を達成する。割り当てルールの一部を形成する採点者属性及び回答スクリプト属性が取り込まれ、従って、条件の作成が可能になる。採点者プロファイルは、専門知識及び可用性に基づいて生成される。採点者の提出物及び過去のパフォーマンスが分析され、回答修正に最適な採点者が評価されてランク付けされることで、規定時間フレーム内で最高レベルの採点品質及び精度が確保される。
【選択図】図２
【特許請求の範囲】
【請求項1】
プロセッサ実装方法であって、
１又は２以上のハードウェアプロセッサを介して、少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサを介して、前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップ（２０６）と、
前記１又は２以上のハードウェアプロセッサを介して、データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の回答スクリプト属性値に基づいて前記１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップ（２１０）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の回答スクリプトの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップ（２１２）と、
前記１又は２以上のハードウェアプロセッサを介して、複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、前記現在の日の生産性メトリックに基づいて、前記複数の採点者からの各採点者の総合ランキングを調整するステップ（２１４）と、
前記１又は２以上のハードウェアプロセッサを介して、現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップ（２１６）と、
前記１又は２以上のハードウェアプロセッサを介して、前記マージされた生産性メトリックに基づいて、前記複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップ（２１８）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者の可用性及び採点制限に基づいて、前記マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された前記生産性メトリックを取得するステップ（２２０）と、
前記データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、前記１又は２以上のハードウェアプロセッサを介して、前記変換された生産性メトリック内に含まれる各採点者に適用可能な前記事前定義されたルールのセットを分析するステップ（２２２）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者属性値に基づいて前記１又は２以上の採点者の１又は２以上のインスタンスを生成するステップ（２２４）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者の前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップ（２２６）と、
前記１又は２以上のハードウェアプロセッサを介して、（ｉ）前記１又は２以上のフォーマットベースの回答スクリプト属性の前記回答スクリプト属性値と、（ｉｉ）前記１又は２以上のフォーマットベースの採点者属性の前記採点者属性値との比較を実行して、前記総合ランキングに基づいて前記１又は２以上の回答スクリプトからの各回答スクリプトに対して前記１又は２以上の採点者からの関連採点者のマッピングを更に含むマッピングされたデータを取得するステップ（２２８）と、
前記１又は２以上のハードウェアプロセッサを介して、（ｉ）値「１」を更に含むステータス属性を有する前記マッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記マッピングされたデータを第２のテストデータとして分類するステップ（２３０）と、
前記１又は２以上のハードウェアプロセッサを介してロジスティック回帰モデルを用いることにより、事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップ（２３２）と、
前記１又は２以上のハードウェアプロセッサを介して、前記正当性スコア及び対応する採点者の採点制限に基づいて、前記ステータス属性及び前記第１のテストデータを更新するステップ（２３４）と、
を含む、プロセッサ実装方法。
１又は２以上のハードウェアプロセッサを介して、少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサを介して、前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップ（２０６）と、
前記１又は２以上のハードウェアプロセッサを介して、データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の回答スクリプト属性値に基づいて前記１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップ（２１０）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の回答スクリプトの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップ（２１２）と、
前記１又は２以上のハードウェアプロセッサを介して、複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、前記現在の日の生産性メトリックに基づいて、前記複数の採点者からの各採点者の総合ランキングを調整するステップ（２１４）と、
前記１又は２以上のハードウェアプロセッサを介して、現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップ（２１６）と、
前記１又は２以上のハードウェアプロセッサを介して、前記マージされた生産性メトリックに基づいて、前記複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップ（２１８）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者の可用性及び採点制限に基づいて、前記マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された前記生産性メトリックを取得するステップ（２２０）と、
前記データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、前記１又は２以上のハードウェアプロセッサを介して、前記変換された生産性メトリック内に含まれる各採点者に適用可能な前記事前定義されたルールのセットを分析するステップ（２２２）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者属性値に基づいて前記１又は２以上の採点者の１又は２以上のインスタンスを生成するステップ（２２４）と、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者の前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップ（２２６）と、
前記１又は２以上のハードウェアプロセッサを介して、（ｉ）前記１又は２以上のフォーマットベースの回答スクリプト属性の前記回答スクリプト属性値と、（ｉｉ）前記１又は２以上のフォーマットベースの採点者属性の前記採点者属性値との比較を実行して、前記総合ランキングに基づいて前記１又は２以上の回答スクリプトからの各回答スクリプトに対して前記１又は２以上の採点者からの関連採点者のマッピングを更に含むマッピングされたデータを取得するステップ（２２８）と、
前記１又は２以上のハードウェアプロセッサを介して、（ｉ）値「１」を更に含むステータス属性を有する前記マッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記マッピングされたデータを第２のテストデータとして分類するステップ（２３０）と、
前記１又は２以上のハードウェアプロセッサを介してロジスティック回帰モデルを用いることにより、事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップ（２３２）と、
前記１又は２以上のハードウェアプロセッサを介して、前記正当性スコア及び対応する採点者の採点制限に基づいて、前記ステータス属性及び前記第１のテストデータを更新するステップ（２３４）と、
を含む、プロセッサ実装方法。
【請求項2】
前記１又は２以上のハードウェアプロセッサを介して、前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップは、
前記１又は２以上の回答スクリプトを走査して複数の文字を識別し、前記複数の文字をデジタルフォーマットに変換するステップ、
前記１又は２以上の回答スクリプトの転写物を生成するステップ、及び
前記１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するステップ、
の１又は２以上を含む、請求項１に記載のプロセッサ実装方法。
前記１又は２以上の回答スクリプトを走査して複数の文字を識別し、前記複数の文字をデジタルフォーマットに変換するステップ、
前記１又は２以上の回答スクリプトの転写物を生成するステップ、及び
前記１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するステップ、
の１又は２以上を含む、請求項１に記載のプロセッサ実装方法。
【請求項3】
前記スコアは、前記１又は２以上の回答スクリプトにおけるレスポンスの文法的及び発音的正当性に関係し、前記１又は２以上の回答スクリプトがオーディオを含む場合に前記発音的正当性が実行される、請求項２に記載のプロセッサ実装方法。
【請求項4】
前記１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する前記１又は２以上の回答スクリプトにおけるレスポンスを決定し、前記２又は３以上のドメインに基づいて前記１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得するステップと、
前記セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の回答スクリプト属性値に基づいて、前記セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
前記セグメント化された回答スクリプトのセットの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、
を更に含む、請求項１に記載のプロセッサ実装方法。
前記セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の回答スクリプト属性値に基づいて、前記セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
前記セグメント化された回答スクリプトのセットの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、
を更に含む、請求項１に記載のプロセッサ実装方法。
【請求項5】
（ｉ）前記セグメント化されたフォーマットベースの回答スクリプトのセットのセグメント化されたフォーマットベースの回答スクリプト属性のセットと、（ｉｉ）前記１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、前記セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する前記１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを更に含む一時的にマッピングされたデータを取得するステップであって、前記一時的にマッピングされたデータがテストマッピングされたデータとして機能する、ステップと、
（ｉ）値「１」を更に含むステータス属性を有する前記テストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記テストマッピングされたデータを第２のテストデータとして分類するステップと、
前記ロジスティック回帰モデルを介して、前記事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップと、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記第１のテストデータの前記ステータス属性を更新するステップと、
を更に含む、請求項４に記載のプロセッサ実装方法。
（ｉ）値「１」を更に含むステータス属性を有する前記テストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記テストマッピングされたデータを第２のテストデータとして分類するステップと、
前記ロジスティック回帰モデルを介して、前記事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップと、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記第１のテストデータの前記ステータス属性を更新するステップと、
を更に含む、請求項４に記載のプロセッサ実装方法。
【請求項6】
システム（１００）であって、
命令を格納するメモリ（１０２）と、
１又は２以上の通信インタフェース（１０６）と、
前記１又は２以上の通信インタフェース（１０６）を介して前記メモリ（１０２）に結合された１又は２以上のハードウェアプロセッサ（１０４）と、
を備え、
前記１又は２以上のハードウェアプロセッサ（１０４）は、命令によって、
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取り、
前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得し、
前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアに基づいて、回答スクリプトメタデータを生成し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析し、
前記１又は２以上の回答スクリプト属性値に基づいて前記１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成し、
前記１又は２以上の回答スクリプトの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得し、
複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、前記現在の日の生産性メトリックに基づいて、前記複数の採点者からの各採点者の総合ランキングを調整し、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得し、
前記マージされた生産性メトリックに基づいて、前記複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定し、
前記１又は２以上の採点者の可用性及び採点制限に基づいて、前記マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された前記生産性メトリックを取得し、
前記データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、前記変換された生産性メトリック内に含まれる各採点者に適用可能な前記事前定義されたルールのセットを分析し、
前記１又は２以上の採点者属性値に基づいて前記１又は２以上の採点者の１又は２以上のインスタンスを生成し、
前記１又は２以上の採点者の前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得し、
（ｉ）前記１又は２以上のフォーマットベースの回答スクリプト属性の前記回答スクリプト属性値と、（ｉｉ）前記１又は２以上のフォーマットベースの採点者属性の前記採点者属性値との比較を実行して、前記総合ランキングに基づいて前記１又は２以上の回答スクリプトからの各回答スクリプトに対して前記１又は２以上の採点者からの関連採点者のマッピングを更に含むマッピングされたデータを取得し、
（ｉ）値「１」を更に含むステータス属性を有する前記マッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記マッピングされたデータを第２のテストデータとして分類し、
前記１又は２以上のハードウェアプロセッサを介してロジスティック回帰モデルを用いることにより、事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算し、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記ステータス属性及び前記第１のテストデータを更新する、
ように構成される、システム（１００）。
命令を格納するメモリ（１０２）と、
１又は２以上の通信インタフェース（１０６）と、
前記１又は２以上の通信インタフェース（１０６）を介して前記メモリ（１０２）に結合された１又は２以上のハードウェアプロセッサ（１０４）と、
を備え、
前記１又は２以上のハードウェアプロセッサ（１０４）は、命令によって、
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取り、
前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得し、
前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアに基づいて、回答スクリプトメタデータを生成し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析し、
前記１又は２以上の回答スクリプト属性値に基づいて前記１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成し、
前記１又は２以上の回答スクリプトの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得し、
複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、前記現在の日の生産性メトリックに基づいて、前記複数の採点者からの各採点者の総合ランキングを調整し、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得し、
前記マージされた生産性メトリックに基づいて、前記複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定し、
前記１又は２以上の採点者の可用性及び採点制限に基づいて、前記マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された前記生産性メトリックを取得し、
前記データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、前記変換された生産性メトリック内に含まれる各採点者に適用可能な前記事前定義されたルールのセットを分析し、
前記１又は２以上の採点者属性値に基づいて前記１又は２以上の採点者の１又は２以上のインスタンスを生成し、
前記１又は２以上の採点者の前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得し、
（ｉ）前記１又は２以上のフォーマットベースの回答スクリプト属性の前記回答スクリプト属性値と、（ｉｉ）前記１又は２以上のフォーマットベースの採点者属性の前記採点者属性値との比較を実行して、前記総合ランキングに基づいて前記１又は２以上の回答スクリプトからの各回答スクリプトに対して前記１又は２以上の採点者からの関連採点者のマッピングを更に含むマッピングされたデータを取得し、
（ｉ）値「１」を更に含むステータス属性を有する前記マッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記マッピングされたデータを第２のテストデータとして分類し、
前記１又は２以上のハードウェアプロセッサを介してロジスティック回帰モデルを用いることにより、事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算し、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記ステータス属性及び前記第１のテストデータを更新する、
ように構成される、システム（１００）。
【請求項7】
前記１又は２以上の回答スクリプトは、
前記１又は２以上の回答スクリプトを走査して複数の文字を識別し、前記複数の文字をデジタルフォーマットに変換するステップ、
前記１又は２以上の回答スクリプトの転写物を生成するステップ、及び
前記１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するステップ、
の１又は２以上を実行することにより、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するように前処理される、請求項６に記載のシステム。
前記１又は２以上の回答スクリプトを走査して複数の文字を識別し、前記複数の文字をデジタルフォーマットに変換するステップ、
前記１又は２以上の回答スクリプトの転写物を生成するステップ、及び
前記１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するステップ、
の１又は２以上を実行することにより、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するように前処理される、請求項６に記載のシステム。
【請求項8】
前記スコアは、前記１又は２以上の回答スクリプトにおけるレスポンスの文法的及び発音的正当性に関係し、前記１又は２以上の回答スクリプトがオーディオを含む場合に前記発音的正当性が実行される、請求項７に記載のシステム。
【請求項9】
前記１又は２以上のハードウェアプロセッサは、前記命令によって、
前記１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する前記１又は２以上の回答スクリプトにおけるレスポンスを決定し、前記２又は３以上のドメインに基づいて前記１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得し、
前記セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成し、
データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析し、
前記１又は２以上の回答スクリプト属性値に基づいて、前記セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成し、
前記セグメント化された回答スクリプトのセットの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得する、
ように構成される、請求項６に記載のシステム。
前記１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する前記１又は２以上の回答スクリプトにおけるレスポンスを決定し、前記２又は３以上のドメインに基づいて前記１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得し、
前記セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成し、
データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析し、
前記１又は２以上の回答スクリプト属性値に基づいて、前記セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成し、
前記セグメント化された回答スクリプトのセットの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得する、
ように構成される、請求項６に記載のシステム。
【請求項10】
前記１又は２以上のハードウェアプロセッサは、前記命令によって、
（ｉ）前記セグメント化されたフォーマットベースの回答スクリプトのセットのセグメント化されたフォーマットベースの回答スクリプト属性のセットと、（ｉｉ）前記１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性との比較を実行し、前記セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する前記１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを更に含む一時的にマッピングされたデータを取得し、前記一時的にマッピングされたデータがテストマッピングされたデータとして機能し、
（ｉ）値「１」を更に含むステータス属性を有する前記テストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記テストマッピングされたデータを第２のテストデータとして分類し、
前記ロジスティック回帰モデルを介して、前記事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算し、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記第１のテストデータの第１のステータス属性及び第２のステータス属性を更新する、
ように構成されている、請求項８に記載のシステム。
（ｉ）前記セグメント化されたフォーマットベースの回答スクリプトのセットのセグメント化されたフォーマットベースの回答スクリプト属性のセットと、（ｉｉ）前記１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性との比較を実行し、前記セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する前記１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを更に含む一時的にマッピングされたデータを取得し、前記一時的にマッピングされたデータがテストマッピングされたデータとして機能し、
（ｉ）値「１」を更に含むステータス属性を有する前記テストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記テストマッピングされたデータを第２のテストデータとして分類し、
前記ロジスティック回帰モデルを介して、前記事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算し、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記第１のテストデータの第１のステータス属性及び第２のステータス属性を更新する、
ように構成されている、請求項８に記載のシステム。
【請求項11】
１又は２以上の命令を含む、１又は２以上の非一時的な機械可読情報記憶媒体であって、前記１又は２以上の命令は、１又は２以上のハードウェアプロセッサによって実行されたときに、
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップと、
前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップと、
前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の回答スクリプト属性値に基づいて前記１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップと、
前記１又は２以上の回答スクリプトの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップと、
複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、前記現在の日の生産性メトリックに基づいて、前記複数の採点者からの各採点者の総合ランキングを調整するステップと、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップと、
前記マージされた生産性メトリックに基づいて、前記複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップと、
前記１又は２以上の採点者の可用性及び採点制限に基づいて、前記マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された前記生産性メトリックを取得するステップと、
前記データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、前記１又は２以上のハードウェアプロセッサを介して、前記変換された生産性メトリック内に含まれる各採点者に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の採点者属性値に基づいて前記１又は２以上の採点者の１又は２以上のインスタンスを生成するステップと、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者の前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップと、
（ｉ）前記１又は２以上のフォーマットベースの回答スクリプト属性の前記回答スクリプト属性値と、（ｉｉ）前記１又は２以上のフォーマットベースの採点者属性の前記採点者属性値との比較を実行して、前記総合ランキングに基づいて前記１又は２以上の回答スクリプトからの各回答スクリプトに対して前記１又は２以上の採点者からの関連採点者のマッピングを更に含むマッピングされたデータを取得するステップと、
（ｉ）値「１」を更に含むステータス属性を有する前記マッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記マッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを用いることにより、事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップと、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記ステータス属性及び前記第１のテストデータを更新するステップと、
を引き起こす、１又は２以上の非一時的な機械可読情報記憶媒体。
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップと、
前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップと、
前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の回答スクリプト属性値に基づいて前記１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップと、
前記１又は２以上の回答スクリプトの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップと、
複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、前記現在の日の生産性メトリックに基づいて、前記複数の採点者からの各採点者の総合ランキングを調整するステップと、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップと、
前記マージされた生産性メトリックに基づいて、前記複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップと、
前記１又は２以上の採点者の可用性及び採点制限に基づいて、前記マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された前記生産性メトリックを取得するステップと、
前記データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、前記１又は２以上のハードウェアプロセッサを介して、前記変換された生産性メトリック内に含まれる各採点者に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の採点者属性値に基づいて前記１又は２以上の採点者の１又は２以上のインスタンスを生成するステップと、
前記１又は２以上のハードウェアプロセッサを介して、前記１又は２以上の採点者の前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップと、
（ｉ）前記１又は２以上のフォーマットベースの回答スクリプト属性の前記回答スクリプト属性値と、（ｉｉ）前記１又は２以上のフォーマットベースの採点者属性の前記採点者属性値との比較を実行して、前記総合ランキングに基づいて前記１又は２以上の回答スクリプトからの各回答スクリプトに対して前記１又は２以上の採点者からの関連採点者のマッピングを更に含むマッピングされたデータを取得するステップと、
（ｉ）値「１」を更に含むステータス属性を有する前記マッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記マッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを用いることにより、事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップと、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記ステータス属性及び前記第１のテストデータを更新するステップと、
を引き起こす、１又は２以上の非一時的な機械可読情報記憶媒体。
【請求項12】
前記１又は２以上のハードウェアプロセッサを介して、前記少なくとも１つの媒体フォーマットに基づいて前記１又は２以上の回答スクリプトを前処理して、前記１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップは、
前記１又は２以上の回答スクリプトを走査して複数の文字を識別し、前記複数の文字をデジタルフォーマットに変換するステップ、
前記１又は２以上の回答スクリプトの転写物を生成するステップ、及び
前記１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するステップ、
の１又は２以上を含む、
請求項１１に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
前記１又は２以上の回答スクリプトを走査して複数の文字を識別し、前記複数の文字をデジタルフォーマットに変換するステップ、
前記１又は２以上の回答スクリプトの転写物を生成するステップ、及び
前記１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、前記１又は２以上の回答スクリプトにおける前記レスポンスのスコアを取得するステップ、
の１又は２以上を含む、
請求項１１に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
【請求項13】
前記スコアは、前記１又は２以上の回答スクリプトにおけるレスポンスの文法的及び発音的正当性に関係し、前記１又は２以上の回答スクリプトがオーディオを含む場合に前記発音的正当性が実行される、請求項１２に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
【請求項14】
前記１又は２以上の命令は、前記１又は２以上のハードウェアプロセッサによって実行されたときに、
前記１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する前記１又は２以上の回答スクリプトにおけるレスポンスを決定し、前記２又は３以上のドメインに基づいて前記１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得するステップと、
前記セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の回答スクリプト属性値に基づいて、前記セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
前記セグメント化された回答スクリプトのセットの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、
を更に引き起こす、請求項１１に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
前記１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する前記１又は２以上の回答スクリプトにおけるレスポンスを決定し、前記２又は３以上のドメインに基づいて前記１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得するステップと、
前記セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる前記事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、前記回答スクリプトメタデータに関連付けられた前記１又は２以上の回答スクリプトの各々に適用可能な前記事前定義されたルールのセットを分析するステップと、
前記１又は２以上の回答スクリプト属性値に基づいて、前記セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
前記セグメント化された回答スクリプトのセットの前記１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、
を更に引き起こす、請求項１１に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
【請求項15】
前記１又は２以上の命令は、前記１又は２以上のハードウェアプロセッサによって実行されたときに、
（ｉ）前記セグメント化されたフォーマットベースの回答スクリプトのセットのセグメント化されたフォーマットベースの回答スクリプト属性のセットと、（ｉｉ）前記１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、前記セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する前記１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを更に含む一時的にマッピングされたデータを取得するステップであって、前記一時的にマッピングされたデータがテストマッピングされたデータとして機能する、ステップと、
（ｉ）値「１」を更に含むステータス属性を有する前記テストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記テストマッピングされたデータを第２のテストデータとして分類するステップと、
前記ロジスティック回帰モデルを介して、前記事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップと、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記第１のテストデータの前記ステータス属性を更新するステップと、
を更に引き起こす、請求項１４に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
（ｉ）前記セグメント化されたフォーマットベースの回答スクリプトのセットのセグメント化されたフォーマットベースの回答スクリプト属性のセットと、（ｉｉ）前記１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、前記セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する前記１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを更に含む一時的にマッピングされたデータを取得するステップであって、前記一時的にマッピングされたデータがテストマッピングされたデータとして機能する、ステップと、
（ｉ）値「１」を更に含むステータス属性を有する前記テストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有する前記テストマッピングされたデータを第２のテストデータとして分類するステップと、
前記ロジスティック回帰モデルを介して、前記事前構成されたトレーニングマッピングされたデータを用いて、前記第２のテストデータの前記１又は２以上の残りの属性の値に対してシグモイド関数を実行し、前記フォーマットベースの回答スクリプト毎に前記第１のテストデータに対する正当性スコアを計算するステップと、
前記正当性スコア及び対応する採点者の採点制限に基づいて、前記第１のテストデータの前記ステータス属性を更新するステップと、
を更に引き起こす、請求項１４に記載の１又は２以上の非一時的な機械可読情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照及び優先権）
本出願は、２０２２年５月２７日に出願されたインド特許出願番号第２０２２２１０３０６３２号に対する優先権を主張する。
本出願は、２０２２年５月２７日に出願されたインド特許出願番号第２０２２２１０３０６３２号に対する優先権を主張する。
【0002】
（技術分野）
本明細書での開示は、一般に、マッピング技術に関し、より詳細には、回答スクリプトを採点者にルールベースでマッピングするためのシステム及び方法に関する。
本明細書での開示は、一般に、マッピング技術に関し、より詳細には、回答スクリプトを採点者にルールベースでマッピングするためのシステム及び方法に関する。
【背景技術】
【0003】
デジタル採点システムは、集計エラー、採点進捗の監視、物流コスト及び輸送に起因して引き起こされる損傷、結果処理及び共有のための延長されたタイムラインなどの手動採点とは対照的に、幾つかの課題を克服するので、評価プロセスを大幅に緩和している。既存のデジタル採点システムは、対象者のレスポンス（回答スクリプトと呼ばれ、以下同義的に使用される）を修正のために教職員（採点者と呼ばれ、以下同義的に使用される）に割り当てるラウンドロビン機構を採用している。これらのうち幾つかは、運営管理者が手動でルーティングデータを供給することを必要とする可能性がある。これらの機構は、採点者への回答スクリプトの割り当てに適用される必要があるルールが存在する場合には、特定の仕様要件に対応していない。また、これらの手法は、採点品質及びスケジュールに影響を与える可能性のある他の要因を考慮に入れていない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示の実施形態は、従来のシステムにおいて発明者らが認識した上述の技術的課題のうちの１又は２以上に対する解決策として、技術的改善を提示する。
【課題を解決するための手段】
【0005】
例えば、１つの態様において、回答スクリプトを採点者にルールベースでマッピングするためのプロセッサ実装方法が提供される。本方法は、１又は２以上のハードウェアプロセッサを介して、少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップと、
１又は２以上のハードウェアプロセッサを介して、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップと、
１又は２以上のハードウェアプロセッサを介して、１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップと、
１又は２以上のハードウェアプロセッサを介して、データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップと、
１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップと、
１又は２以上のハードウェアプロセッサを介して、複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて、複数の採点者からの各採点者の総合ランキングを調整するステップと、
１又は２以上のハードウェアプロセッサを介して、現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップと、
１又は２以上のハードウェアプロセッサを介して、マージされた生産性メトリックに基づいて、複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップと、
１又は２以上のハードウェアプロセッサを介して、１又は２以上の採点者の可用性及び採点制限に基づいて、マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、１又は２以上のハードウェアプロセッサを介して、変換された生産性メトリック内に含まれる各採点者に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の採点者属性値に基づいて１又は２以上の採点者の１又は２以上のインスタンスを生成するステップと、
１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップと、
（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、複数の採点者からの各採点者の総合ランキングに基づいて１又は２以上の回答スクリプトからの各回答スクリプトに対して１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得するステップと、
１又は２以上のハードウェアプロセッサを介して、（ｉ）値「１」を更に含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、
を含む。
１又は２以上のハードウェアプロセッサを介して、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップと、
１又は２以上のハードウェアプロセッサを介して、１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップと、
１又は２以上のハードウェアプロセッサを介して、データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップと、
１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップと、
１又は２以上のハードウェアプロセッサを介して、複数の採点者による採点中の１又は２以上の観察に基づいて現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて、複数の採点者からの各採点者の総合ランキングを調整するステップと、
１又は２以上のハードウェアプロセッサを介して、現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップと、
１又は２以上のハードウェアプロセッサを介して、マージされた生産性メトリックに基づいて、複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップと、
１又は２以上のハードウェアプロセッサを介して、１又は２以上の採点者の可用性及び採点制限に基づいて、マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、１又は２以上のハードウェアプロセッサを介して、変換された生産性メトリック内に含まれる各採点者に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の採点者属性値に基づいて１又は２以上の採点者の１又は２以上のインスタンスを生成するステップと、
１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップと、
（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、複数の採点者からの各採点者の総合ランキングに基づいて１又は２以上の回答スクリプトからの各回答スクリプトに対して１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得するステップと、
１又は２以上のハードウェアプロセッサを介して、（ｉ）値「１」を更に含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、
を含む。
【0006】
一実施形態において、１又は２以上のハードウェアプロセッサを介して、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップは、
１又は２以上の回答スクリプトを走査して複数の文字を識別し、複数の文字をデジタルフォーマットに変換するステップ、
１又は２以上の回答スクリプトの転写物を生成するステップ、及び
１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ、
の１又は２以上を含む。
１又は２以上の回答スクリプトを走査して複数の文字を識別し、複数の文字をデジタルフォーマットに変換するステップ、
１又は２以上の回答スクリプトの転写物を生成するステップ、及び
１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ、
の１又は２以上を含む。
【0007】
一実施形態において、スコアは、１又は２以上の回答スクリプトにおけるレスポンスの文法的及び発音的正当性に関係し、１又は２以上の回答スクリプトがオーディオを含む場合に発音的正当性が実行される。
【0008】
一実施形態において、本方法は、１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する１又は２以上の回答スクリプトにおけるレスポンスを決定し、２又は３以上のドメインに基づいて１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得するステップと、
セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、
を含む。
セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、
を含む。
【0009】
一実施形態において、本方法は、（ｉ）セグメント化されたフォーマットベースの回答スクリプトのセットのセグメント化されたフォーマットベースの１又は２以上の回答スクリプト属性と、（ｉｉ）１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを含む一時的にマッピングされたデータを取得するステップであって、一時的にマッピングされたデータがテストマッピングされたデータとして機能する、ステップと、
（ｉ）値「１」を含むステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、
を含む。
（ｉ）値「１」を含むステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、
を含む。
【0010】
別の態様では、回答スクリプトを採点者にルールベースでマッピングするためのプロセッサ実装システムが提供される。本システムは、命令を格納するメモリと、１又は２以上の通信インタフェースと、１又は２以上の通信インタフェースを介してメモリに結合された１又は２以上のハードウェアプロセッサと、
を備え、
１又は２以上のハードウェアプロセッサは、命令によって、
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取り、
少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得し、
１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析し、
１又は２以上の回答スクリプト属性値に基づいて１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成し、
１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得し、
複数の採点者からの各採点者の総合ランキング及びパフォーマンスをコンピュータ計算し、
複数の採点者による採点中の１又は２以上の観察に基づいて複数の採点者に対する現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて、複数の採点者からの各採点者の総合ランキングを調整し、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得し、
マージされた生産性メトリックに基づいて、複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定し、
１又は２以上の採点者の可用性及び採点制限に基づいて、マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、変換された生産性メトリック内に含まれる各採点者に適用可能な事前定義されたルールのセットを分析し、
１又は２以上の採点者属性値に基づいて１又は２以上の採点者の１又は２以上のインスタンスを生成し、
１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得し、
（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、１又は２以上の回答スクリプトからの各回答スクリプトに対して１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得し、
（ｉ）値「１」を含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類し、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算し、
正当性スコア及び対応する採点者の採点制限に基づいて、ステータス属性及び第１のテストデータを更新する、
ように構成される。
を備え、
１又は２以上のハードウェアプロセッサは、命令によって、
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取り、
少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得し、
１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析し、
１又は２以上の回答スクリプト属性値に基づいて１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成し、
１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得し、
複数の採点者からの各採点者の総合ランキング及びパフォーマンスをコンピュータ計算し、
複数の採点者による採点中の１又は２以上の観察に基づいて複数の採点者に対する現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて、複数の採点者からの各採点者の総合ランキングを調整し、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得し、
マージされた生産性メトリックに基づいて、複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定し、
１又は２以上の採点者の可用性及び採点制限に基づいて、マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、変換された生産性メトリック内に含まれる各採点者に適用可能な事前定義されたルールのセットを分析し、
１又は２以上の採点者属性値に基づいて１又は２以上の採点者の１又は２以上のインスタンスを生成し、
１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得し、
（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、１又は２以上の回答スクリプトからの各回答スクリプトに対して１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得し、
（ｉ）値「１」を含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類し、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算し、
正当性スコア及び対応する採点者の採点制限に基づいて、ステータス属性及び第１のテストデータを更新する、
ように構成される。
【0011】
一実施形態において、１又は２以上の回答スクリプトは、
１又は２以上の回答スクリプトを走査して複数の文字を識別し、複数の文字をデジタルフォーマットに変換するステップ、
１又は２以上の回答スクリプトの転写物を生成するステップ、及び
１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ、
の１又は２以上を実行することにより、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するように、少なくとも１つの媒体フォーマットに基づいて前処理される。
１又は２以上の回答スクリプトを走査して複数の文字を識別し、複数の文字をデジタルフォーマットに変換するステップ、
１又は２以上の回答スクリプトの転写物を生成するステップ、及び
１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ、
の１又は２以上を実行することにより、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するように、少なくとも１つの媒体フォーマットに基づいて前処理される。
【0012】
一実施形態において、スコアは、１又は２以上の回答スクリプトにおけるレスポンスの文法的及び発音的正当性に関係し、１又は２以上の回答スクリプトがオーディオを含む場合に発音的正当性が実行される。
【0013】
一実施形態において、１又は２以上のハードウェアプロセッサは、命令によって、
１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する１又は２以上の回答スクリプトにおけるレスポンスを決定し、２又は３以上のドメインに基づいて１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得し、
セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析し、
１又は２以上の回答スクリプト属性値に基づいて、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成し、
セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得する、
ように構成される。
１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する１又は２以上の回答スクリプトにおけるレスポンスを決定し、２又は３以上のドメインに基づいて１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得し、
セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成し、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析し、
１又は２以上の回答スクリプト属性値に基づいて、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成し、
セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得する、
ように構成される。
【0014】
一実施形態において、１又は２以上のハードウェアプロセッサは、命令によって、
（ｉ）セグメント化されたフォーマットベースの回答スクリプトのセットの１又は２以上の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを含む一時的にマッピングされたデータを取得し、一時的にマッピングされたデータがテストマッピングされたデータとして機能し、
（ｉ）値「１」を含むステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２のテストデータとして分類し、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算し、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新する、
ように構成されている。
（ｉ）セグメント化されたフォーマットベースの回答スクリプトのセットの１又は２以上の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを含む一時的にマッピングされたデータを取得し、一時的にマッピングされたデータがテストマッピングされたデータとして機能し、
（ｉ）値「１」を含むステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２のテストデータとして分類し、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算し、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新する、
ように構成されている。
【0015】
更に別の態様では、１又は２以上の命令を含む、１又は２以上の非一時的な機械可読情報記憶媒体であって、１又は２以上の命令は、１又は２以上のハードウェアプロセッサによって実行されたときに、
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップと、
少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップと、
１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップと、
１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップと、
複数の採点者による採点中の１又は２以上の観察に基づいて複数の採点者に対する現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて、複数の採点者からの各採点者の総合ランキングを調整するステップと、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップと、
マージされた生産性メトリックに基づいて、複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップと、
１又は２以上の採点者の可用性に基づいて、マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、１又は２以上のハードウェアプロセッサを介して、変換された生産性メトリック内に含まれる各採点者に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の採点者属性値に基づいて１又は２以上の採点者の１又は２以上のインスタンスを生成するステップと、
１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップと、
（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、複数の採点者からの各採点者に対する総合ランキングに基づいて１又は２以上の回答スクリプトからの各回答スクリプトに対して１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得するステップと、
（ｉ）値「１」を含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、
によって回答スクリプトのルールベースのマッピングを引き起こす、１又は２以上の非一時的な機械可読情報記憶媒体が提供される。
少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連付けられた情報とを受け取るステップと、
少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップと、
１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成するステップと、
１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの回答スクリプト属性を取得するステップと、
複数の採点者による採点中の１又は２以上の観察に基づいて複数の採点者に対する現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて、複数の採点者からの各採点者の総合ランキングを調整するステップと、
現在の日の計算された生産性メトリックを現在までの複数の生産性メトリックとマージして、マージされた生産性メトリックを取得するステップと、
マージされた生産性メトリックに基づいて、複数の採点者から１又は２以上の採点者の可用性及び採点制限を決定するステップと、
１又は２以上の採点者の可用性に基づいて、マージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の採点者属性値に基づいて、１又は２以上のハードウェアプロセッサを介して、変換された生産性メトリック内に含まれる各採点者に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の採点者属性値に基づいて１又は２以上の採点者の１又は２以上のインスタンスを生成するステップと、
１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得するステップと、
（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、複数の採点者からの各採点者に対する総合ランキングに基づいて１又は２以上の回答スクリプトからの各回答スクリプトに対して１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得するステップと、
（ｉ）値「１」を含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、
によって回答スクリプトのルールベースのマッピングを引き起こす、１又は２以上の非一時的な機械可読情報記憶媒体が提供される。
【0016】
一実施形態において、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップは、
１又は２以上の回答スクリプトを走査して複数の文字を識別し、複数の文字をデジタルフォーマットに変換するステップ、
１又は２以上の回答スクリプトの転写物を生成するステップ、及び
１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ、
の１又は２以上を含む。
１又は２以上の回答スクリプトを走査して複数の文字を識別し、複数の文字をデジタルフォーマットに変換するステップ、
１又は２以上の回答スクリプトの転写物を生成するステップ、及び
１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップ、
の１又は２以上を含む。
【0017】
一実施形態において、スコアは、１又は２以上の回答スクリプトにおけるレスポンスの文法的及び発音的正当性に関係し、１又は２以上の回答スクリプトがオーディオを含む場合に発音的正当性が実行される。
【0018】
一実施形態において、本方法は、１又は２以上の回答スクリプトを分析して、２又は３以上のドメインに対応する１又は２以上の回答スクリプトにおけるレスポンスを決定し、２又は３以上のドメインに基づいて１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得するステップと、
セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、を含む。
セグメント化された回答スクリプトのセットに対する回答スクリプトメタデータを生成するステップと、
データベース内に含まれる事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能な事前定義されたルールのセットを分析するステップと、
１又は２以上の回答スクリプト属性値に基づいて、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスを生成するステップと、
セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得するステップと、を含む。
【0019】
一実施形態において、本方法は、（ｉ）セグメント化されたフォーマットベースの回答スクリプトのセットの１又は２以上の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を実行し、セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する１又は２以上のフォーマットベースの採点者からのフォーマットベースの採点者の一時的マッピングを更に含む一時的にマッピングされたデータを取得するステップであって、一時的にマッピングされたデータがテストマッピングされたデータとして機能する、ステップと、
（ｉ）値「１」を更に含むステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、を含む。
（ｉ）値「１」を更に含むステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２のテストデータとして分類するステップと、
ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータに対する正当性スコアを計算するステップと、
正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性を更新するステップと、を含む。
【0020】
前述の概要及び以下の詳細な説明は共に例証で説明のためのものであり、請求項に記載された本発明を限定するものではないことを理解されたい。
【0021】
本明細書に組み込まれ且つその一部を構成する添付図面は、本開示の実施形態を例証しており、本明細書と共に本開示の原理を説明する役割を果たす。
【図面の簡単な説明】
【0022】
【図1】本開示の一実施形態による、回答スクリプトを採点者にルールベースでマッピングするための例示的なシステムを示す図である。
【図4】本開示の実施形態による、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得する方法を示すフローチャートである。
【図5】本開示の実施形態による、事前定義されたフォーマットに変換された生産性メトリックを得るために複数の採点者を処理する方法を示すフローチャートである。
【図6】本開示の実施形態による、１又は２以上のフォーマットベースの採点者属性及び１又は２以上の採点者属性を取得するために、各採点者及び各回答スクリプトに適用可能な、データベース内に含まれる事前定義されたルールのセットを分析する方法を示すフローチャートである。
【図7】本開示の実施形態による、１又は２以上の回答スクリプト及び複数の採点者のマッピングを実行する方法を示すフローチャートである。
【図8】本開示の実施形態による、２又は３以上のドメインにおける１又は２以上の回答スクリプト及び複数の採点者のマッピングを実行するための方法を示すフローチャートである。
【発明を実施するための形態】
【0023】
例示的な実施形態について、添付図面を参照しながら説明する。図において、参照番号の最も左の桁は、参照番号が最初に現れる図を表している。好都合な場合、図面全体を通して同じ参照番号は、同一又は類似の要素を参照するために使用される。開示された原理の例及び特徴が本明細書に記載されているが、開示された実施形態の範囲から逸脱することなく、修正、適応、及び他の実施が可能である。
【0024】
既存のデジタル採点システムは、修正のために対象者レスポンスを教職員に割り当てるためのラウンドロビン機構を採用しており、これはルーティングデータを手動で供給することを必要とする可能性がある。これらの機構は、採点者（例えば、教職員）への回答スクリプトの割り当てにルールが適用される場合の特定の要件に対応せず、また、採点品質及びスケジュールを考慮していない。本開示は、セグメント化された採点の場合、回答スクリプトの一部が最も適格なドメイン採点者に割り当てられるようにして、回答スクリプトを最も適格な採点者に割り当てることにより、高い採点基準を達成するシステム及び方法を提供する。割り当てルールの一部を形成する採点者属性及び回答スクリプト属性が取り込まれ、従って、条件の作成が可能になる。採点者プロファイルは、専門知識及び可用性に基づいて生成される。採点者の提出物及び過去のパフォーマンスが分析され、回答修正に最適な採点者が評価されてランク付けされることで、規定時間フレーム内で最高レベルの採点品質及び精度が確保される。より具体的には、本開示のシステム及び方法は、（ｉ）回答スクリプトの正規化を実施し、ここで、システムは、回答スクリプトに適用可能なルールをチェックする。何れかのルールが反転を必要とする場合、システムは、それぞれの回答スクリプトデータの否定を生成し、生成された否定をマッピングのための特定のフォーマットに変換し、；（ｉｉ）採点者データの検索を実施し、ここで採点者情報がフェッチされ、現在の日の生産性メトリック計算が実施されて、今日までの複数の生産性メトリックとマージされ；（ｉｉｉ）採点者の正規化を実施し、ここでシステムは、採点者に適用されるルールをチェックする。何れかのルールが反転を必要とする場合、システムは、それぞれの採点者データに対して否定を生成する。例えば、システムは、性別、国籍、州政府及び同様のものなどの一般的な情報に対して定数（１、２、３、その他）を作成し、生成された否定を特定のフォーマットに変換し；（ｉｖ）採点者及び回答スクリプトのマッピングを実施し、ここでシステムは、ルールに基づいて採点者を回答スクリプト（適応に応じてドメイン）にマッピングし、；（ｖ）採点者ランキング及び確定を実施し、ここでシステムは、提供されたテストデータに基づいて計算を行い、その結果に対してロジスティック回帰モデルを介して回帰テストを行い、正当性及び偏差を確認する。上記の情報に基づいて、最も適格且つ適切な採点者が、効果的で正確な評価のために回答スクリプト（適応に応じてドメイン）に割り当てられる。
【0025】
ここで図面、より詳細には、同様の参照文字が図全体を通じて一貫して対応する特徴を示す図１～図８を参照すると、好ましい実施形態が示されており、これらの実施形態は、以下の例示的なシステム及び／又は方法との関連において記載されている。
【0026】
図１は、本開示の一実施形態による、回答スクリプトを採点者にルールベースでマッピングするための例示的なシステム１００を示している。一実施形態において、システム１００は、マッピングシステムとも呼ばれ、本明細書において同義的に使用することができる。一実施形態において、システム１００は、１又は２以上のハードウェアプロセッサ１０４と、通信インタフェースデバイス又は入力／出力（Ｉ／Ｏ）インタフェース１０６（インタフェースとも呼ばれる）と、１又は２以上のハードウェアプロセッサ１０４に動作可能に結合された１又は２以上のデータストレージデバイス又はメモリ１０２と、を含む。１又は２以上のプロセッサ１０４は、１又は２以上のソフトウェア処理コンポーネント及び／又はハードウェアプロセッサとすることができる。一実施形態において、ハードウェアプロセッサは、１又は２以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態機械、論理回路、及び／又は操作命令に基づいて信号を操作する何れかのデバイスとして実装することができる。他の機能の中でもとりわけ、プロセッサは、メモリに格納されたコンピュータ可読命令をフェッチして実行するように構成される。一実施形態において、システム１００は、ラップトップコンピュータ、ノートブック、ハンドヘルドデバイス（例えば、スマートフォン、タブレット電話、モバイル通信デバイス及び同様のもの）、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなど、様々なコンピュータシステムにおいて実装することが可能である。
【0027】
Ｉ／Ｏインタフェースデバイス１０６は、例えば、ウェブインタフェース、グラフィカルユーザインタフェース及び同様のものなどの様々なソフトウェア及びハードウェアインタフェースを含むことができ、例えば、ＬＡＮ、ケーブル、その他などの有線ネットワーク、及びＷＬＡＮ、セルラー、又は衛星などの無線ネットワークを含む、多種多様なネットワークＮ／Ｗ及びプロトコルタイプ内の複数の通信を容易にすることができる。一実施形態において、Ｉ／Ｏインタフェースデバイスは、複数のデバイスを互いに、又は別のサーバに接続するための１つ又は複数のポートを含むことができる。
【0028】
メモリ１０２は、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）及び動的ランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、及び／又はリードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、及び磁気テープなどの不揮発性メモリなど当技術分野で既知の何れかのコンピュータ可読媒体を含むことができる。一実施形態では、データベース１０８がメモリ１０２内に含まれ、ここでデータベース１０８は、複数の回答スクリプト、複数の採点者、複数の回答スクリプト、複数の採点者及び同様のものに関連するメタデータに関連する情報を含む。データベース１０８は更に、当該技術分野において公知の様々な前処理技術を含む。メモリ１０２は更に、本開示のシステム及び方法によって実行される各ステップの入力／出力に関する情報を含む（又は更に含むことができる）。言い換えれば、各ステップで供給される入力及び各ステップで生成される出力は、メモリ１０２に含まれ、更なる処理及び分析において利用することができる。
【0029】
図２は、本開示の一実施形態による、図１のシステム１００を使用した、回答スクリプトの採点者へのルールベースのマッピングのための方法を示す例示的な高レベルフローチャートである。より具体的には、フローチャートは、システム１００内に含まれるスケジューラ（図１には示されていない）を示しており、スケジューラは、呼び出されて、回答スクリプトのメタデータ前処理及び採点者のメタデータ前処理を開始し、ここで回答スクリプト及び採点者は、当技術分野で既知の正規化技法を介して正規化される。スケジューラは、メモリ１０２（図２には示されていない）内に含まれ、実行のために呼び出されて、本明細書で説明されるようなステップを実行する。回答スクリプトのメタデータ前処理の前処理において、システム１００は、図２に示すような様々な技法を呼び出すことができる。例えば、英語フレームワーク（ＥＬＥＦ）、光学式文字認識（ＯＣＲ）技術、転写器、ＧＯＰ（Ｇｏｏｄｎｅｓｓ ｏｆ Ｐｒｏｎｕｎｃｉａｔｉｏｎ）技法及び同様のものを呼び出して、回答スクリプトを正規化し、１又は２以上の回答スクリプトにおけるレスポンスの（又はレスポンスのための）スコアを生成することができる。発音的正当性は、１又は２以上の回答スクリプトがオーディオを含む場合に行われ、１又は２以上の回答スクリプトにおけるレスポンスの文法的正当性は、スキャンした回答スクリプトなどのデジタルフォーマットのレスポンスに対して行われる（文法的正当性（８９）及び発音的正当性（６７）に係るスコアについては表１を参照されたい）。回答スクリプトと採点者の両方についてメタデータが生成されると、スケジューラは、回答スクリプトのレスポンスが１又は２以上のドメインに対応する場合に、回答スクリプトのセグメンテーションをチェックする。セグメンテーションの要件に基づいて、回答スクリプトは、ドメインを含むそれぞれの採点者にマッピングされ、同じマッピングが、確定に有効であることが認められる。
【0030】
図３Ａ－３Ｂ－３Ｃは、図１～２を参照して、本開示の一実施形態による、図１のシステム１００を使用した、回答スクリプトを採点者にルールベースでマッピングする方法を示す例示的なフローチャートを示す。一実施形態において、システム１００は、１又は２以上のデータストレージデバイス又は１又は２以上のハードウェアプロセッサ１０４に動作可能に結合されたメモリ１０２を備え、１又は２以上のプロセッサ１０４による方法のステップの実行のための命令を格納するよう構成される。本開示の方法のステップは、ここで、図１のシステム１００の構成要素、図２に描かれた例示的な高レベルフローチャート、及び図３Ａ～３Ｂ～３Ｃに描かれたような流れ図を参照して説明される。
【0031】
本開示の方法のステップ２０２において、１又は２以上のハードウェアプロセッサ１０４は、少なくとも１つの媒体フォーマットにおける１又は２以上の回答スクリプトと、複数の採点者に関連する情報とを受け取る。一実施形態において、「１又は２以上の回答スクリプト」という表現は、回答スクリプト、又はレスポンス用紙、及び同様のものとも呼ぶことができ、本明細書において同義的に使用することができる。一実施形態において、１又は２以上の回答スクリプトは、１又は２以上のフォーマットによる複数のソース（例えば、テストセンターからの対象者、対象者の評価、問題用紙及び同様のもの）から収集することができる。例示的な一実施形態では、回答スクリプトは、スキャンされてシステム１００にアップロードすることができ、回答スクリプトは手書きフォーマットとすることができる。別の例示的な実施形態では、回答スクリプトは、オーディオファイル、ビデオ、タイプされたテキスト記述、スキャンされたテキスト、又はこれらの組み合わせとすることができる。更に別の実施形態では、回答スクリプトは、インターネットベースの評価（ＩＢＡ－オンライン評価など、レスポンスは、現状のままのフォーマットでシステム１００に直接供給することができる）とすることができる。回答スクリプトの実施例としては、子供の絵的描写及び子供によって行われている活動を示す画像が対象者に与えられることを含むことができる。回答スクリプトは、例示的な一実施形態において、絵的描写のストーリーラインを含むことができる。以下は、回答スクリプトの例示的な例である。「２人の子供が公園で遊んでいます。太陽は明るく輝き、空には鳥が飛んでいます。女の子はペーパークラフトを作り、男の子は紙ロケットを飛ばして、犬は彼を見ている」
【0032】
本開示の方法のステップ２０４において、１又は２以上のハードウェアプロセッサ１０４は、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得する。すなわち、回答スクリプトにおけるレスポンスのスコアが取得される。例えば、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップは、１又は２以上の回答スクリプトをスキャンして複数の文字を識別して、複数の文字をデジタルフォーマットに変換するステップ、１又は２以上の回答スクリプトの転写物を生成するステップ、及び１又は２以上の回答スクリプトの文法的及び発音的正当性を実行して、１又は２以上の回答スクリプトにおけるレスポンスのスコアを取得するステップのうちの１又は２以上を含む。スコアは、１又は２以上の回答スクリプトにおけるレスポンスの文法的正当性及び発音的正当性に関係する。発音的正当性は、１又は２以上の回答スクリプトがオーディオを含む場合に実行される。より具体的には、回答スクリプトがスキャンされたフォーマットで受け取られる場合、システム１００によってＯＣＲ（光学的文字認識）技術が呼び出され、手書きテキストがスキャンされて文字が識別され、これがデジタルフォーマットに変換される。回答スクリプトが音声、ビデオ、又はこれらの組み合わせの形態で受け取られる場合、システム１００は、レスポンスの転写物を生成する転写器を呼び出す。文字長は、中間出力から生成される。オーディオ又はビデオレスポンスの場合、転写器から生成された転写物は、ＥＬＥＦに転送又は送信される。タイプされたテキスト又はデジタル化された手書きテキストの場合は、入力は、ＥＬＥＦに直接転送される。両方の場合において、ＥＬＥＦは、文法的正当性及びスペリング正当性のスコアを生成し、ここで、システム１００は、発音的正当性をチェックするＧＯＰ技術を呼び出す。１又は２以上の回答スクリプトの発音的正当性は、１又は２以上の回答スクリプトがオーディオを有する場合に実行される。スコアは、単語毎に、並びに全体の文毎に生成される。システム１００によって実行される上記の様々な前処理技術は、図４によってよりよく理解することができる。より具体的には、図４は、図１～図３を参照して、本開示の一実施形態による、少なくとも１つの媒体フォーマットに基づいて１又は２以上の回答スクリプトを前処理して１又は２以上の回答スクリプトにおけるレスポンスの（又はレスポンスに対する）文法的正当性及び発音的正当性に関係するスコアを取得する方法を例示するフローチャートを示している。
【0033】
以下は、所与の回答スクリプトに対するＧＯＰ技術からの例示的な出力である。
[{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8657,"word":"MY"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.1825,"word":"SEVERITY"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.7842,"word":"OF"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8249,"word":"THE"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.2907,"word":"LEG"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.2679,"word":"IS"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.0015,"word":"SAID"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.9469,"word":"I"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8361,"word":"LEARN"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8756,"word":"HOW"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8974,"word":"TO"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8531,"word":"PLAY"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.342,"word":"IT"},{"gradingSystem":"AlmostPerfect","roundedValue":0.5,"absoluteValue":0.4803,"word":"AT"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.1925,"word":"AN"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.0855,"word":"ARIAN"}]
[{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8657,"word":"MY"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.1825,"word":"SEVERITY"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.7842,"word":"OF"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8249,"word":"THE"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.2907,"word":"LEG"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.2679,"word":"IS"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.0015,"word":"SAID"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.9469,"word":"I"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8361,"word":"LEARN"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8756,"word":"HOW"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8974,"word":"TO"},{"gradingSystem":"Perfect","roundedValue":1,"absoluteValue":0.8531,"word":"PLAY"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.342,"word":"IT"},{"gradingSystem":"AlmostPerfect","roundedValue":0.5,"absoluteValue":0.4803,"word":"AT"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.1925,"word":"AN"},{"gradingSystem":"ImprovementNeeded","roundedValue":0,"absoluteValue":0.0855,"word":"ARIAN"}]
【0034】
以下は、所与の回答スクリプトに対するＥＬＥＦからの例示的な出力である。
入力：テニスは好きなスポーツで私はこれを楽しむ
出力：{"Message": "Success","Result": [{"Result_For_GrammarCheck": [{"Error_String": "['tennis']","Suggestive_Sentence": "N/A","Error_Message": "This sentence does not start with an uppercase letter","Error_Position": "[(0, 5)]","Sentence": "tennis favorite sport i enjoy it."}],"Spelling_error": ["No Spelling Error Detected"]}]}
入力：テニスは好きなスポーツで私はこれを楽しむ
出力：{"Message": "Success","Result": [{"Result_For_GrammarCheck": [{"Error_String": "['tennis']","Suggestive_Sentence": "N/A","Error_Message": "This sentence does not start with an uppercase letter","Error_Position": "[(0, 5)]","Sentence": "tennis favorite sport i enjoy it."}],"Spelling_error": ["No Spelling Error Detected"]}]}
【0035】
図３のステップを参照すると、本開示の方法のステップ２０６において、１又は２以上のハードウェアプロセッサ１０４は、１又は２以上の回答スクリプトにおけるレスポンスのスコアに基づいて、回答スクリプトメタデータを生成する。以下は、例示的な回答スクリプトメタデータである。
{
Answer script_id: xxxxxxxx,
Subject: xxxx,
Domains: [xxxx,xxxx],
Domain_Pagemapping: [{xx:yy},{xx:yy}]
Medium: xxxx,
Set: xxxx,
Region: xxxx,
Institute: xxxx,
Size_ answer（回答）script: xxxxx,
Grammar: xxx (out of 100), //Score generated from integrated framework - English Language Evaluation Framework (ELEF)
Pronunciation_goodness: xxx (out of 100),//Score generated from integrated framework - Goodness of Pronunciation (GOP)
Voice_activity: available voice seconds in the full video/audio,
File_path: storage location in Data center,
Format: jpg, mp3, mp4 etc.
…
}
{
Answer script_id: xxxxxxxx,
Subject: xxxx,
Domains: [xxxx,xxxx],
Domain_Pagemapping: [{xx:yy},{xx:yy}]
Medium: xxxx,
Set: xxxx,
Region: xxxx,
Institute: xxxx,
Size_ answer（回答）script: xxxxx,
Grammar: xxx (out of 100), //Score generated from integrated framework - English Language Evaluation Framework (ELEF)
Pronunciation_goodness: xxx (out of 100),//Score generated from integrated framework - Goodness of Pronunciation (GOP)
Voice_activity: available voice seconds in the full video/audio,
File_path: storage location in Data center,
Format: jpg, mp3, mp4 etc.
…
}
【0036】
例示的な回答スクリプトメタデータが以下の表１に示される。
表１
表１
【0037】
本明細書に記載された実施例は、英語の主題に関連し、英語のテキストコンテンツを含むが、当該実施例は、本開示の範囲を限定するものと解釈すべきではないことは、当業者には理解されるはずである。言い換えれば、本明細書に記載されたシステム及び方法はまた、他の言語（例えば、ヒンディー語、特定の地域／国の母国語）及び数学、芸術などの他の科目を含む回答スクリプトにおいて実装及び使用することが可能である。このようなシナリオにおけるスコアは、文法的及び発音的正当性を伴わない可能性があるが、システム１００は、指定問題に対する回答スクリプトにおいて従った手法のスコアを生成することができる。このようなスコアリング機構は、本開示の範囲を限定するものと解釈すべきではない。
【0038】
本開示の一実施形態では、ステップ２０８において、１又は２以上のハードウェアプロセッサ１０４は、回答スクリプトメタデータに関連付けられた１又は２以上の回答スクリプトの各々に適用可能なデータベース内に含まれる事前定義されたルールのセットを事前定義されたルールのセットにおける１又は２以上の回答スクリプト属性値に基づいて分析する。ルール分析段階において、システム１００は、採点のためにエンティティ（例えば、組織とする）によって構成された全てのマッピングルール（例えば、事前定義されたルールのセット）をフェッチする。一実施形態において、システム１００は、ルール内の回答スクリプト属性値を置換することにより、全ての回答スクリプトに適用可能な各ルールを分析する。例えば、ルールを構築する際に、採点者及び回答スクリプトの属性として「学校」を考慮すると、Ａｎｓｗｅｒｓｃｒｉｐｔ．ＳＣＨＯＯＬ≠Ｍａｒｋｅｒ．ＳＣＨＯＯＬとすることができる。
【0039】
本開示の実施形態では、ステップ２１０において、１又は２以上のハードウェアプロセッサ１０４は、１又は２以上の回答スクリプトの属性値に基づいて、１又は２以上の回答スクリプトの１又は２以上のインスタンスを生成する。本開示の一実施形態では、ステップ２１２において、１又は２以上のハードウェアプロセッサ１０４は、１又は２以上の回答スクリプトの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換し、１又は２以上のフォーマットベースの回答スクリプト属性を取得する。
【0040】
本開示の方法のステップ２１４において、１又は２以上のハードウェアプロセッサ１０４は、複数の採点者による採点中の１又は２以上の観察に基づいて、現在の日の生産性メトリックを計算し、現在の日の生産性メトリックに基づいて複数の採点者から各採点者に対する総合ランキングを調整する。複数の採点者からの各採点者の総合ランキングは、現在の日の生産性メトリック（例えば、生産性メトリックは、回答スクリプトの採点の品質、速度、及び回答スクリプトの評価に要する時間、評価された総回答スクリプトなどを含むが、これらに限定されない）に基づいていた。１又は２以上の観察結果は、以下の例示的な採点者情報に示されており、ここで１又は２以上の観察結果は、合計回答スクリプト：ｘｘｘｘ、再開回答スクリプト：ｘｘｘｘ、モード採点まで：音声／マウス及びキーボード、並びに選好セット：ｘｘｘｘｘｘｘを含む。性別：Ｍ／Ｆ、地域：ｘｘｘｘｘｘｘ、研究所：ｘｘｘｘｘｘｘ、年齢：ｘｘｘｘｘｘｘ、職歴：ｘｘｘｘ、テーマ：ｘｘｘｘｘｘｘ、媒体：ｘｘｘｘｘｘｘ、ドメイン：［ｘｘｘ，ｘｘｘ，ｘｘｘ］などの情報は、運営管理者構成メタデータと呼ばれる。従って、システムは、採点者メタデータを生成する際には、システム生成の採点者データと運営管理者構成メタデータとを含む。
【0041】
本開示の方法のステップ２１６において、１又は２以上のハードウェアプロセッサ１０４は、現在の日の計算された生産性メトリックを、現在までの複数の生産性メトリック（例えば、前日又は日／週などの生産性メトリックを含む）とマージして、マージされた生産性メトリックを取得する。本開示の方法のステップ２１８において、１又は２以上のハードウェアプロセッサ１０４は、マージされた生産性メトリックに基づいて複数の採点者から１又は２以上の採点者の可用性及び採点限界（例えば、特定の採点者が答案作成を評価するために利用可能であるか、又は特定の採点者が既にその日、その週などの評価見積に達したか）を決定し、ステップ２２０において、１又は２以上の採点者の可用性及び採点限界に基づきマージされた生産性メトリックを変換し、事前定義されたフォーマットに変換された生産性メトリックを取得する。ステップ２１４から２２０は、図５に描かれたフローチャートによってよりよく理解される。より具体的には、図５は、図１から図４を参照して、本開示の一実施形態による、事前定義されたフォーマットに変換された生産性メトリックを取得するために複数の採点者を処理する方法を示すフローチャートである。
【0042】
以下は、複数の採点者に対する現在の日の採点者情報及び統計値の計算（生産性メトリックとも呼ばれ、本明細書では同義的に使用することができる）の例である。
{
User_id: xxxxxxxxx,
Total_answerscripts: xxxx,
Reopened_answerscripts: xxxx, // Number of submitted answer scripts that have been reopened by reviewer due to incorrectness
Total_time: xxxxx,
Attendance: present/absent,
Actual_marking_marks: xxxx,
Double_marking_marks: xxxx,
Total_seeds_marked: xxxx,
Total_seed_passed: xxxx,
Total_submits: xxxx,
Total_as_marked_review: xxxx, //Number of answer scripts for which the marker was unsure of marks assignment
Total_drafts: xxxx,
Total_remarking_as: xxxx, //Number of answer scripts that were picked for remarking as student was not satisfied with the score allotted
Total_rejects: xxxx, //Number of answer scripts that were skipped and left unmarked by the marker
Total_annotation: xxxx,
Total_comments: xxxx,
Total_feedbacks: xxxx,
Mode_marking: voice/ mouse and keyboard,
Gender: M/F,
Region: xxxxxxxxxx,
Institute: xxxxxxx,
Age: xxxxxxxxx,
Work_experience: xxxx,
Subject: xxxxxxxx,
Medium: xxxxxxxx,
Domains: [xxx, xxx, xxx],
Preferred_Set: xxxxxxxx, //In case multiple question papers are tagged to the same subject
...
}
{
User_id: xxxxxxxxx,
Total_answerscripts: xxxx,
Reopened_answerscripts: xxxx, // Number of submitted answer scripts that have been reopened by reviewer due to incorrectness
Total_time: xxxxx,
Attendance: present/absent,
Actual_marking_marks: xxxx,
Double_marking_marks: xxxx,
Total_seeds_marked: xxxx,
Total_seed_passed: xxxx,
Total_submits: xxxx,
Total_as_marked_review: xxxx, //Number of answer scripts for which the marker was unsure of marks assignment
Total_drafts: xxxx,
Total_remarking_as: xxxx, //Number of answer scripts that were picked for remarking as student was not satisfied with the score allotted
Total_rejects: xxxx, //Number of answer scripts that were skipped and left unmarked by the marker
Total_annotation: xxxx,
Total_comments: xxxx,
Total_feedbacks: xxxx,
Mode_marking: voice/ mouse and keyboard,
Gender: M/F,
Region: xxxxxxxxxx,
Institute: xxxxxxx,
Age: xxxxxxxxx,
Work_experience: xxxx,
Subject: xxxxxxxx,
Medium: xxxxxxxx,
Domains: [xxx, xxx, xxx],
Preferred_Set: xxxxxxxx, //In case multiple question papers are tagged to the same subject
...
}
【0043】
以下の表２は、現在の日について計算された生産性メトリックを表している。
表２
表２
【0044】
各採点者の前日のパフォーマンス計算は、事前定義された計算式に基づいて計算される。各採点者データは、各パフォーマンス属性の計算後、レーティングと平均値の計算を行い、採点者全体のランキング及びパフォーマンスを提示する。
【0045】
以下の表は、採点者のパフォーマンス属性計算のサンプル例証を示す。
表３
表３
【0046】
上記の表３において、左の列は生産性メトリックを表している。上記に加えて、より高度な計算を行い、採点者全体のランキング（総合ランキングとも呼ばれ、本明細書では同義的に使用される）を提供する。セグメント化された採点の場合、ランキングはドメイン毎に計算される。出力属性の例は以下の通りである。
{
User_id: xxxxx,
Gender: M/F/O,
Region: xxxxxxxxxx,
Institute: xxxxxxx,
Age: xxxxxxxxx,
Work_experience: xxxx, //Stream and number of years
Subject: xxxxxxxx,
Medium: xxxxxxxx,
Domains: [xxx, xxx, xxx],
Preferred_Set: xxxxxxxx, //Set that was picked most frequently for valuation
Marking _rate: xxxxx, //Number of submissions per day
Avg_marking_time: xxxx,
Total_working_hrs: xxxx,
Attendance: xxxx,
Variance: xxxx,
Seed_performance: xxxx, //Number of seeds attempted and number of seeds passed
Target_submission_rate: xxxx, //Boolean - complete required number of scripts valuation
Reopens: xxxx, //Number of answer scripts submissions that were nullified due to incorrectness
Mark_reviews: xxxx, //Number of answer scripts for which the marker was unsure about the marks’ allotment
App_usage_rate: xxxx,
Rejects: xxxx, //Number of answer scripts that were skipped without evaluation
Leave_for_current_day: Yes/No,
...
}
{
User_id: xxxxx,
Gender: M/F/O,
Region: xxxxxxxxxx,
Institute: xxxxxxx,
Age: xxxxxxxxx,
Work_experience: xxxx, //Stream and number of years
Subject: xxxxxxxx,
Medium: xxxxxxxx,
Domains: [xxx, xxx, xxx],
Preferred_Set: xxxxxxxx, //Set that was picked most frequently for valuation
Marking _rate: xxxxx, //Number of submissions per day
Avg_marking_time: xxxx,
Total_working_hrs: xxxx,
Attendance: xxxx,
Variance: xxxx,
Seed_performance: xxxx, //Number of seeds attempted and number of seeds passed
Target_submission_rate: xxxx, //Boolean - complete required number of scripts valuation
Reopens: xxxx, //Number of answer scripts submissions that were nullified due to incorrectness
Mark_reviews: xxxx, //Number of answer scripts for which the marker was unsure about the marks’ allotment
App_usage_rate: xxxx,
Rejects: xxxx, //Number of answer scripts that were skipped without evaluation
Leave_for_current_day: Yes/No,
...
}
【0047】
図３のステップを参照すると、本開示の方法のステップ２２２において、１又は２以上のハードウェアプロセッサ１０４は、事前定義されたルールのセット内の１又は２以上の採点者属性値に基づいて変換された生産性メトリック内に含まれる各採点者に適用可能な、データベース内に含まれる事前定義されたルールのセットを分析する。本開示の方法のステップ２２４において、１又は２以上のハードウェアプロセッサ１０４は、１又は２以上の採点者属性値に基づいて、１又は２以上の採点者の１又は２以上のインスタンスを生成する。本開示の方法のステップ２２６において、１又は２以上のハードウェアプロセッサ１０４は、１又は２以上の採点者の１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換して、１又は２以上のフォーマットベースの採点者属性を取得する。図６は、図１～図５を参照して、本開示の一実施形態による、各採点者及び各回答スクリプトに適用可能な、データベース内に含まれる事前定義されたルールのセットを分析して、１又は２以上のフォーマットベースの採点者属性及び１又は２以上の採点者属性を取得する方法を示すフローチャートを示している。
【0048】
本開示のステップ２２８において、１又は２以上のハードウェアプロセッサ１０４は、（ｉ）１又は２以上のフォーマットベースの回答スクリプト属性の回答スクリプト属性値と（ｉｉ）１又は２以上のフォーマットベースの採点者属性の採点者属性値との比較を実行して、総合ランキングに基づいて１又は２以上の回答スクリプトからの各回答スクリプトに対する１又は２以上の採点者からの関連採点者のマッピングを含むマッピングされたデータを取得する。より具体的には、１又は２以上の回答スクリプトに関係するルールと、１又は２以上の採点者のルールとを比較して、属性値の一致を判定する。すなわち、特定の採点者（例えば、採点者Ａ）のルールが、回答スクリプト（Ａ）のルールと一致する場合、採点者Ａは、回答スクリプトＡにマッピングされる。例えば、採点者Ａと回答スクリプトＡに関係するルールからの条件が互いに満足する場合、採点者Ａは、回答スクリプトＡにマッピングされる。本開示の方法のステップ２３０において、１又は２以上のハードウェアプロセッサ１０４は、（ｉ）値「１」を含むステータス属性を有するマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するマッピングされたデータを第２のテストデータとして分類する。本開示の方法のステップ２３２において、１又は２以上のハードウェアプロセッサ１０４は、ロジスティック回帰モデルを介して、事前構成されたトレーニングマッピングされたデータを用いて、第２のテストデータの１又は２以上の残りの属性の値に対してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータの正当性を計算する。本開示のステップ２３４において、１又は２以上のハードウェアプロセッサ１０４は、正当性スコア及び対応する採点者の採点制限に基づいて、第１のテストデータのステータス属性（値「１」からなる）を更新する。
【0049】
更に、ルールに適合するように修正した属性値で回答スクリプトの複数のインスタンスを生成することができる。回答スクリプトが複数のドメインでセグメント化されている場合、ドメイン毎に複数のインスタンスが生成される。例えば、あるルールに対して「Ｍ」個のインスタンスが導出され、回答スクリプトに採点が必要な「Ｎ」個のドメインを有する場合、システムは、「Ｍ×Ｎ」個のインスタンスを生成する。言い換えれば、システム１００は、１又は２以上の回答スクリプトを分析して、１又は２以上の回答スクリプトにおけるレスポンスが２又は３以上のドメインに対応するかどうかを決定し、２又は３以上のドメインに基づいて１又は２以上の回答スクリプトのサブセットを識別して、セグメント化された回答スクリプトのセットを取得する。システム１００は更に、セグメント化された回答スクリプトのセットについて、回答スクリプトメタデータ（例えば、かかるメタデータは、採点者メタデータについて説明したように、運営管理者設定された回答メタデータを更に含む）を生成する。回答スクリプトメタデータに関連付けられたセグメント化された回答スクリプトのセットの各々に適用可能な、データベース内に含まれる事前定義ルールのセットは、事前定義ルールのセット内の１又は２以上の回答スクリプト属性値に基づいて分析され、１又は２以上の回答スクリプト属性値に基づきセグメント化された回答スクリプトのセットの１又は２以上のインスタンスが生成される。次に、システム１００は、セグメント化された回答スクリプトのセットの１又は２以上のインスタンスの１又は２以上のテキスト値を１又は２以上の数値定数に変換し、セグメント化されたフォーマットベースの回答スクリプト属性のセットを取得する。システム１００は更に、（ｉ）セグメント化されたフォーマットベースの回答スクリプトのセットの１又は２以上の回答スクリプト属性値と、（ｉｉ）１又は２以上のフォーマットベースの採点者の１又は２以上の採点者属性値との比較を行い、一時的なマッピングされたデータを取得する。一時的なマッピングされたデータは、セグメント化されたフォーマットベースの回答スクリプトのセットからの各セグメント化されたフォーマットベースの回答スクリプトに対する１又は２以上のフォーマットベース採点者からのフォーマットベース採点者の一時的なマッピングを含む。一時的なマッピングされたデータは、上述したように、テストマッピングされたデータとして機能する。
【0050】
テストマッピングされたデータは、本開示の例示的な一実施形態において、第１ステータス属性、第２ステータス属性、及び第３ステータス属性を含む。また、（ｉ）値「１」からなるステータス属性を有するテストマッピングされたデータを第１のテストデータとして分類し、（ｉｉ）１又は２以上の残りの属性を有するテストマッピングされたデータを第２テストデータとして分類し、事前構成された学習マッピングされたデータを用いて、第２テストデータの１又は２以上の残りの属性の値に対してロジスティック回帰モデルを介してシグモイド関数を実行し、フォーマットベースの回答スクリプト毎に第１のテストデータの正当性スコアを計算する。更に、前記正当性スコアと対応する採点者の採点制限値とに基づいて、前記第１のテストデータの値「１」を含むステータス属性を更新する。以上のステップは、ステップ２２４から２３０までと同様に実行される。上記のステップ２２４から２３０までと、ドメインベースの回答スクリプトについて説明したステップは、以下の説明によってよりよく理解される。
【0051】
回答スクリプトマッピング段階において、システム１００は、変換された回答スクリプトと、以前の出力から策定された採点者データ属性をフェッチし、関連する属性を比較する。満足度の割合に基づいて、システム１００は全ての採点者を一時的に回答スクリプトにマッピングする。ドメインベースのセグメント化された回答スクリプトの場合、システム１００は、ステータス属性を０又は１として全ての採点者を一時的に対応する回答スクリプトのドメイン（以下、テストデータと呼ぶ）にマッピングし、ここで、０は一致が失敗したこと（例えば、第２のステータス属性）、１は一致に成功したこと（例えば、第１のステータス属性）を示す。ステータス１を有するテストデータである成功したマッチは、データフレームにロードされる。システム１００は、第１及び第２のステータス属性と残りの属性（例えば、第３のステータス属性）をそれぞれｙ＿ｔｅｓｔ及びｘ＿ｔｅｓｔとして分類する。次に、システムは、既に利用可能になっているトレーニングデータ（以下、トレーニングデータと呼ぶ）をフェッチし（例えば、事前構成されたトレーニングマッピングされたデータ又は事前定義されたトレーニングマッピングされたデータとも呼ばれ、本明細書では同義的に用いられる）、データフレームにロードする。システム１００は、テストデータ及びトレーニングデータを機械学習におけるロジスティック回帰モデルにロードする。システム１００は、既にある学習データを用いてｘ＿テストデータに対してシグモイド関数を実行し、ユーザへの回答スクリプト毎に０と１の間にある一時的なマッピングステータス属性ｙ＿テストの正当性（例：０．５、０．９など）（以下マッピングスコアと称する）を計算する。セグメント化採点の場合は、プロセスは、ドメインレベルまでドリルダウンされ、回答スクリプト内の全てのドメインに対してマッピングスコアが生成されるまで、このプロセスを繰り返す。つまり、回答スクリプトと採点者のマッピングの際に生成されたスコアは、事前構成されたトレーニングマッピングされたデータを用いて回帰テストを行い、スコアの正当性を再確認する。その偏差に基づいて、ロジスティック回帰モデルが更に学習され、マッピング効率を向上させる。マッピング中に生成されたマッピングスコアは、少なくとも１つの順序（例えば、降順と言うが、かかる順序は、本開示の範囲を限定するものと解釈してはならない）でソートされ、最良のスコア採点者は、それぞれの回答スクリプトに割り当てられる。図７は、図１～図６を参照して、本開示の一実施形態による、１又は２以上の回答スクリプト及び複数の採点者のマッピングを実行する方法を示すフローチャートを示す図である。図８は、図１から図７を参照して、本開示の一実施形態による、２又は３以上のドメインにおける１又は２以上の回答スクリプト及び複数の採点者のマッピングを実行するための方法を示すフローチャートを示す図である。
【0052】
本明細書では、当業者であれば実施形態を実施及び使用できるように主題を説明している。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者に想起する他の修正を含むことができる。このような他の修正は、これらが特許請求の範囲の文言と異ならない類似の要素を有する場合、又はこれらが特許請求の範囲の文言と実質的でない差異を有する同等の要素を含む場合、特許請求の範囲内にあることを意図している。
【0053】
保護範囲は、ここでメッセージを有するコンピュータ可読手段に加えて、このようなプログラムにも及ぶことが理解され；このようなコンピュータ可読記憶手段は、プログラムがサーバ又はモバイルデバイス又は何れかの適切なプログラム可能なデバイス上で実行されるとき、方法の１又は２以上のステップの実施のためのプログラム－コード手段を含む。ハードウェアデバイスは、例えば、サーバ又はパーソナルコンピュータなどのような何れかの種類のコンピュータ、又はこれらの何れかの組み合わせを含むプログラム可能な何れかの種類のデバイスとすることができる。デバイスはまた、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなハードウェア手段、又はハードウェアとソフトウェア手段の組み合わせ、例えばＡＳＩＣとＦＰＧＡ、又はソフトウェア処理コンポーネントが配置された少なくとも１つのマイクロプロセッサと少なくとも１つのメモリとすることができる手段を含むことができる。従って、手段は、ハードウェア手段及びソフトウェア手段の両方を含むことができる。本明細書に記載された方法の実施形態は、ハードウェア及びソフトウェアで実施することができる。また、デバイスは、ソフトウェア手段を含むことができる。或いは、実施形態は、異なるハードウェアデバイス、例えば、複数のＣＰＵを使用して実施することができる。
【0054】
本明細書における実施形態は、ハードウェア要素及びソフトウェア要素を含むことができる。ソフトウェアで実装される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されるものではない。本明細書で説明する様々な構成要素によって実行される機能は、他の構成要素又は他の構成要素の組み合わせで実施することができる。本明細書において、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって又はこれに関連して使用するためのプログラムを構成、格納、通信、伝播、又は搬送することができる何れかのデバイスとすることができる。
【0055】
例示のステップは、図示の例示的な実施形態を説明するために記載され、進行中の技術開発によって特定の機能が実行される方法が変更されることを予期すべきである。これらの例は、説明の目的で本明細書に提示されており、限定ではない。更に、機能的な構成単位の境界は、説明の便宜のために本明細書で任意に定義されている。指定された機能及びその関係が適切に実行される限り、代替の境界を定義することができる。代替策（本明細書に記載されたものの等価物、拡張、変形、逸脱などを含む）は、本明細書に含まれる教示に基づいて関連する技術の当業者には明らかであろう。このような代替策は、開示された実施形態の範囲に含まれる。また、単語「ｃｏｍｐｒｉｓｉｎｇ」、「ｈａｖｉｎｇ」、「ｃｏｎｔａｉｎｉｎｇ」、及び「ｉｎｃｌｕｄｉｎｇ」、並びに他の同様の形態は、これらの単語の何れか１つに続く項目又は項目が、当該項目又は項目を網羅的にリストすることを意味しない、又はリストした項目又は項目のみに限定することを意味しない点において、同等の意味でオープンエンドであることを意図している。また、本明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかにそうでないことを指示しない限り、複数形の照応を含む点に留意されたい。
【0056】
更に、１又は２以上のコンピュータ可読記憶媒体は、本開示と一致する実施形態を実施する際に利用することができる。コンピュータ可読記憶媒体は、プロセッサによって可読な情報又はデータを格納できる何れかのタイプの物理メモリを指す。従って、コンピュータ可読記憶媒体は、プロセッサに本明細書に記載の実施形態と一致するステップ又は段階を実行させるための命令を含む、１又は２以上のプロセッサによる実行のための命令を格納することができる。「コンピュータ可読媒体」という用語は、有形のものを含み、搬送波及び過渡信号を除外する、すなわち、非一時的であると理解されるべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び他の何れかの既知の物理的記憶媒体が挙げられる。
【0057】
開示された実施形態の真の範囲は添付の請求項によって示され、開示及び実施例は例示的なものであるとみなされることが意図される。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【外国語明細書】