特表 2021-521568 適応コンピテンシーアセスメントモデルのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2021-521568(P2021-521568A)

(43)【公表日】2021年8月26日

(54)【発明の名称】適応コンピテンシーアセスメントモデルのためのシステム及び方法

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20210730BHJP

   G09B 19/00 20060101ALI20210730BHJP

【ＦＩ】

   G06Q10/06 332

   G09B19/00 H

【審査請求】有

【予備審査請求】未請求

【全頁数】16

(21)【出願番号】特願2020-573487(P2020-573487)

(86)(22)【出願日】2019年5月31日

(85)【翻訳文提出日】2020年12月25日

(86)【国際出願番号】US2019034947

(87)【国際公開番号】WO2019232401

(87)【国際公開日】20191205

(31)【優先権主張番号】62/678,627

(32)【優先日】2018年5月31日

(33)【優先権主張国】US

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】520513532

【氏名又は名称】コンプティア

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】ティボドー、トッド

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

(57)【要約】

適応コンピテンシーアセスメントモデルを生成するためのシステム、方法、及びコンピュータ可読記憶媒体。本明細書に説明されるように構成されたシステムは、１回目に、主題専門家に質問の階層セットを提供し、主題専門家がどのように質問に回答するかに基づいて、質問に回答するための最もよく知られた経路を特定する。２回目に、システムは、候補者に質問の階層セットを提供し、候補者がどのように質問に回答するかをキャプチャし、その情報を最もよく知られた経路と比較し、その比較に基づいて、候補者が質問に回答したときにライブスコアを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

方法であって、
１回目に、
プロセッサを介して、主題専門家に質問の階層セットを提供することと、
前記主題専門家が質問の前記階層セットに回答すると前記プロセッサを介して、質問の前記階層セットに回答した際の前記主題専門家の第１のスコアリングファクタをキャプチャすることと、
前記主題専門家の前記第１のスコアリングファクタに基づいて、質問の前記階層セットに回答するための最もよく知られた経路を生成することと、
２回目に、
前記プロセッサを介して、候補者に質問の前記階層セットを提供することと、
前記候補者が質問の前記階層セットのうちの少なくとも一部分に回答すると前記プロセッサを介して、質問の前記階層セットのうちの前記少なくとも一部分に回答した際の前記候補者の第２のスコアリングファクタをキャプチャすることと、
前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、前記第２のスコアリングファクタを前記最もよく知られた経路と比較し、比較をもたらすことと、
前記プロセッサを介して、前記比較に基づいて、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答したときにライブスコアを生成することと
を備える、方法。

【請求項2】

前記第１のスコアリングファクタ及び前記第２のスコアリングファクタは、各質問に費やされた時間を備える、請求項１に記載の方法。

【請求項3】

前記第１のスコアリングファクタ及び前記第２のスコアリングファクタは、正しい回答を見出す際の間違いを更に備える、請求項２に記載の方法。

【請求項4】

質問の前記階層セットにおける次の階層に進むために、前記候補者は、所与の階層における前記質問の全てに正しく回答しなければならない、請求項１に記載の方法。

【請求項5】

前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、ディスプレイ上に前記ライブスコアを表示することを更に備える、請求項１に記載の方法。

【請求項6】

前記候補者が質問の前記階層セット内の質問の階層を正しく終了することができない場合、前記比較及び前記第２のスコアリングファクタに基づいて前記候補者のためのカスタム学習ガイドを生成すること
を更に備える、請求項１に記載の方法。

【請求項7】

質問の前記階層セットにおける各質問は、関連する回答のリストを有し、前記回答のリストにおける各回答は、複数の職務における少なくとも１つの仕事に関連付けられた重み付けコアコンピテンシーを有する、請求項１に記載の方法。

【請求項8】

システムであって、
プロセッサと、
命令を記憶した非一時的コンピュータ可読記憶媒体と
を備え、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
１回目に、
主題専門家に質問の階層セットを提供することと、
前記主題専門家が質問の前記階層セットに回答すると、質問の前記階層セットに回答した際の前記主題専門家の第１のスコアリングファクタをキャプチャすることと、
前記主題専門家の前記第１のスコアリングファクタに基づいて、質問の前記階層セットに回答するための最もよく知られた経路を生成することと、
２回目に、
候補者に質問の前記階層セットを提供することと、
前記候補者が質問の前記階層セットのうちの少なくとも一部分に回答すると、質問の前記階層セットのうちの前記少なくとも一部分に回答した際の前記候補者の第２のスコアリングファクタをキャプチャすることと、
前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、前記第２のスコアリングファクタを前記最もよく知られた経路と比較し、比較をもたらすことと、
前記比較に基づいて、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答したときにライブスコアを生成することと
を備える動作を実行させる、システム。

【請求項9】

前記第１のスコアリングファクタ及び前記第２のスコアリングファクタは、各質問に費やされた時間を備える、請求項８に記載のシステム。

【請求項10】

前記第１のスコアリングファクタ及び前記第２のスコアリングファクタは、正しい回答を見出す際の間違いを更に備える、請求項９に記載のシステム。

【請求項11】

質問の前記階層セットにおける次の階層に進むために、前記候補者は、所与の階層における前記質問の全てに正しく回答しなければならない、請求項８に記載のシステム。

【請求項12】

前記非一時的コンピュータ可読記憶媒体は、追加の命令を記憶し、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、ディスプレイ上に前記ライブスコアを表示することを備える動作を実行させる、請求項８に記載のシステム。

【請求項13】

前記非一時的コンピュータ可読記憶媒体は、追加の命令を記憶し、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
前記候補者が質問の前記階層セット内の質問の階層を正しく終了することができない場合、前記比較及び前記第２のスコアリングファクタに基づいて前記候補者のためのカスタム学習ガイドを生成することを備える動作を実行させる、請求項８に記載のシステム。

【請求項14】

質問の前記階層セットにおける各質問は、関連する回答のリストを有し、前記回答のリストにおける各回答は、複数の職務における少なくとも１つの仕事に関連付けられた重み付けコアコンピテンシーを有する、請求項８に記載のシステム。

【請求項15】

命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記命令は、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
１回目に、
主題専門家に質問の階層セットを提供することと、
前記主題専門家が質問の前記階層セットに回答すると、質問の前記階層セットに回答した際の前記主題専門家の第１のスコアリングファクタをキャプチャすることと、
前記主題専門家の前記第１のスコアリングファクタに基づいて、質問の前記階層セットに回答するための最もよく知られた経路を生成することと、
２回目に、
候補者に質問の前記階層セットを提供することと、
前記候補者が質問の前記階層セットのうちの少なくとも一部分に回答すると、質問の前記階層セットのうちの前記少なくとも一部分に回答した際の前記候補者の第２のスコアリングファクタをキャプチャすることと、
前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、前記第２のスコアリングファクタを前記最もよく知られた経路と比較し、比較をもたらすことと、
前記比較に基づいて、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答したときにライブスコアを生成することと
を備える動作を実行させる、非一時的コンピュータ可読記憶媒体。

【請求項16】

前記第１のスコアリングファクタ及び前記第２のスコアリングファクタは、各質問に費やされた時間を備える、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記第１のスコアリングファクタ及び前記第２のスコアリングファクタは、正しい回答を見出す際の間違いを更に備える、請求項１６に記載の非一時的コンピュータ可読記憶媒体。

【請求項18】

質問の前記階層セットにおける次の階層に進むために、前記候補者は、所与の階層における前記質問の全てに正しく回答しなければならない、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項19】

追加の命令を記憶し、前記命令は、前記コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、前記候補者が質問の前記階層セットのうちの前記少なくとも一部分に回答すると、ディスプレイ上に前記ライブスコアを表示することを備える動作を実行させる、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【請求項20】

追加の命令を記憶し、前記命令は、前記コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに、
前記候補者が質問の前記階層セット内の質問の階層を正しく終了することができない場合、前記比較及び前記第２のスコアリングファクタに基づいて前記候補者のためのカスタム学習ガイドを生成することを備える動作を実行させる、請求項１５に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

[0001]本願は、２０１８年５月３１日に出願された米国仮特許出願第６２／６７８，６２７号の優先権を主張し、その内容は、その全体が本明細書に組み込まれる。

【技術分野】

【0002】

[0002]本開示は、ユーザにおけるコンピテンシーを特定することに関し、より具体的には、ユーザにおけるコンピテンシーを特定するための適応コンピテンシーアセスメントモデル（adaptive competency assessment model）に関する。

【背景技術】

【0003】

[0003]雇用者は、あらゆる所与の職務（job role）における有望な候補者又は現職の従業員の任意の所与のセットについてのコンピテンシーの真のレベルを評価及び決定することを求められる。同時に、求職者は、彼らの最大能力を実証するための、業界基準の「ハイステークス（high stakes）」な認定を超える、包括的で心理測定的に有効な方法を有していない。最良の認定試験でさえ、コンピテンシーを測定する意味のある構成要素である完全に重要な行動特性を軽視するか又は見逃す。例えば、誰がどれくらい早く回答を見出したか？どれくらい効率的又は独創的に？彼らは正しい回答に行き当たる前に多くの間違いをしたか？ソフトスキルも考慮に入れる。彼らの意思伝達は良好か？彼らは良好な質問を尋ねるか？これらの測定のいずれも、今日のハイステークスな認定によって効果的にキャプチャされない。

【0004】

[0004]現在の試験は、各受験者（候補者）に同じ経験を与えるように設計されている。例えば、質問は、セットグループ又はフォームに編成されることが多く、各フォームは、別のフォームに等しく、そのため、候補者間の「公平な」比較が行われることができる。これは、２人の個人が試験で同じスコアを取るが、彼らの真のコンピテンシーは実質的に相違する、という結果をもたらす可能性がある。テストを形成するための代替である適応テストは、ユーザパフォーマンスに基づいて質問の難易度を変化させることを可能にする。しかしながら、適応テストの解答も同様に、上述されたのと同じ行動測定を考慮に入れることができない。

【0005】

[0005]現在のコンピテンシー評価はまた、能力ではなく知識のみをテストするという認識に苦しんでいる。これを改善するために、テスト開発組織は、彼らの試験に「パフォーマンスベースの」質問タイプを含めた。これらのシミュレーションは、現実世界のシナリオ、インターフェース、及び課題に取り組むことによって問題を解くことを個人に要求とする。しかし、最良のシミュレーションでさえ、望み得る最良の解答への経路の数には限りがあり、それらは、シミュレーションの最終状態のみを測定する形で実装されることが多い。言い換えれば、これらの試験は、候補者がどのように彼らの解答に至ったかの効率性ではなく、候補者が所望される結果を取得したかどうかのみを測定する。

【発明の概要】

【0006】

[0006]本明細書に開示される概念を実行するための方法は、１回目に、プロセッサを介して、主題専門家（subject matter expert）に質問の階層セット（tiered set）を提供することと、主題専門家が質問の階層セットに回答するとプロセッサを介して、質問の階層セットに回答した際の主題専門家の第１のスコアリングファクタ（scoring factors）をキャプチャすることと、主題専門家の第１のスコアリングファクタに基づいて、質問の階層セットに回答するための最もよく知られた経路を生成することと、２回目に、プロセッサを介して、候補者に質問の階層セットを提供することと、候補者が質問の階層セットのうちの少なくとも一部分に回答するとプロセッサを介して、質問の階層セットのうちの少なくとも一部分に回答した際の候補者の第２のスコアリングファクタをキャプチャすることと、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、第２のスコアリングファクタを最もよく知られた経路と比較し、比較をもたらすことと、プロセッサを介して、比較に基づいて、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、候補者が質問の階層セットのうちの少なくとも一部分に回答したときにライブスコアを生成することとを含むことができる。

【0007】

[0007]本明細書に開示される概念を実行するように構成されたシステムは、プロセッサと、命令を記憶したコンピュータ可読記憶媒体とを含むことができ、命令は、プロセッサによって実行されると、プロセッサに、１回目に、主題専門家に質問の階層セットを提供することと、主題専門家が質問の階層セットに回答すると、質問の階層セットに回答した際の主題専門家の第１のスコアリングファクタをキャプチャすることと、主題専門家の第１のスコアリングファクタに基づいて、質問の階層セットに回答するための最もよく知られた経路を生成することと、２回目に、候補者に質問の階層セットを提供することと、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、質問の階層セットのうちの少なくとも一部分に回答した際の候補者の第２のスコアリングファクタをキャプチャすることと、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、第２のスコアリングファクタを最もよく知られた経路と比較し、比較をもたらすことと、比較に基づいて、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、候補者が質問の階層セットのうちの少なくとも一部分に回答したときにライブスコアを生成することとを含む動作を実行させる。

【0008】

[0008]本明細書に開示される概念に従って構成された非一時的コンピュータ可読記憶媒体は、命令を包含することができ、その命令は、プロセッサによって実行されると、プロセッサに、１回目に、主題専門家に質問の階層セットを提供することと、主題専門家が質問の階層セットに回答すると、質問の階層セットに回答した際の主題専門家の第１のスコアリングファクタをキャプチャすることと、主題専門家の第１のスコアリングファクタに基づいて、質問の階層セットに回答するための最もよく知られた経路を生成することと、２回目に、候補者に質問の階層セットを提供することと、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、質問の階層セットのうちの少なくとも一部分に回答した際の候補者の第２のスコアリングファクタをキャプチャすることと、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、第２のスコアリングファクタを最もよく知られた経路と比較し、比較をもたらすことと、比較に基づいて、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、候補者が質問の階層セットのうちの少なくとも一部分に回答したときにライブスコアを生成することとを含むことができる動作を実行させる。

【0009】

[0009]本開示の追加の特徴及び利点が、以下の説明に記載され、部分的に説明から明らかとなるか、又は本明細書に開示される原理の実践によって習得されることができる。本開示の特徴及び利点は、添付された特許請求の範囲で特に指摘された命令及び組み合わせによって実現及び取得されることができる。本開示のこれら及び他の特徴は、以下の説明及び添付された特許請求の範囲からより十分に明らかとなるか、又は本明細書に記載された原理の実践によって習得されることができる。

【図面の簡単な説明】

【0010】

【図1】[0010]適応コンピテンシーアセスメントモデルを展開するための例証的なプロセスを例示する。

【図2】[0011]適応コンピテンシーアセスメントモデルを通る例証的な候補者フローを例示する。

【図3】[0012]質問の難易度を上げる例を例示する。

【図4】[0013]実例的な方法の実施形態。

【図5】[0014]例証的なコンピュータシステムを例示する。

【発明を実施するための形態】

【0011】

[0015]本開示の様々な実施形態が以下に詳細に説明される。特定の実装形態が説明されるが、これは、例示の目的のみで行われることが理解されるべきである。他のコンポーネント及び構成が、本開示の趣旨及び範囲から逸脱することなく使用され得る。

【0012】

[0016]本明細書に開示されるのは、より正確なコンピテンシーアセスメント、予測、及び改善されたコンピテンシーへの経路を候補者に提供することができる適応コンピテンシーアセスメントシステムである。本明細書に開示されるような適応コンピテンシーアセスメントモデルは、（１）現実世界の特定の職務において候補者が直面するであろう問題及び障害を模倣する質問、（２）バイアスを低減するための、タイプ及びスタイルが有意に異なる質問（例えば、個人の中には、多肢選択（multiple choice）タイプでは芳しくないが、長文応答（long form responses）ではより良好な結果を残すもの、又はその逆があり得る）、（３）最大コンピテンシーレベルに達するまで候補者が作業し続けるための機会、（４）コンピテンシーを採点するための、行動特性を含む全ての利用可能なデータを考慮に入れる能力、（５）質問に回答するための、キュレーションされたリソース（curated resources）のライブラリへのアクセス、（６）（質問に対する彼らの回答だけでなく）適応コンピテンシーアセスメントモデルとの候補者の対話の全ての態様を分析する機械学習／人工知能、及び（７）状況に対して適切に職務目的を重み付けするための相対スコアリングスキーマ（relative scoring schema）を有することができる。

【0013】

[0017]ＡＣＡ（適応コンピテンシーアセスメント）モデルを展開するには、仕事タスク（job task）分析から始める。１つのケースでは、主題専門家（ＳＭＥ）の代表グループが、任意の所与の職務の最も重要な態様を実行するために個人が必要とする知識及びスキルの詳細な分析を展開するプロセスに取り組む。分析から、学習目的のセット（知識の構成単位（building blocks））が特定され、次いで、候補者が目的によって必要とされる知識及びスキルを獲得したかどうかを決定する質問が展開される。これらの質問は、複数の仕事及び複数のコンピテンシーカテゴリにわたる各質問のランキングを用いて、質問バンク（question bank）内で編成されることができる。例えば、質問のセットは、ある特定の仕事又はコンピテンシーに特有であり得、その質問のセット内で、質問が難易度に従って編成され得る。質問のセット内で、質問は、関連する難易度に基づいて、それぞれの階層に更に編成され得る。例えば、質問のセットのうちの一部分がレベル「１」の質問として、別の一部分がレベル「２」の質問として、といった具合にカテゴリ化されることができ、ここで、レベルの各それぞれの増大は、質問に回答する際の難易度の増大を意味する。いくつかのケースでは、単一の質問が、第１の仕事又は仕事タイプについては困難としてランク付けされるが、第２の仕事タイプについては容易としてランク付けされることができる。質問バンクはまた、質問のセットに含まれていない他の質問を、それらが他の仕事又はコンピテンシーに関連付けられるので、包含し得る。

【0014】

[0018]質問を所与の仕事についての階層に編成すると、その仕事についてのＳＭＥは、その仕事についての階層質問セットを提供されることができる。ＳＭＥが質問を完了すると、システムは、ＳＭＥがどのように質問に回答したかについての様々なファクタを記録することができる。例えば、各質問についての正しい回答を収集するだけでなく、システムは、ＳＭＥがどのように質問に回答するかについての情報を記録することができる。その収集されたデータの例は、各質問にどれだけの時間が費やされたか、それぞれの質問の相対的難易度毎に質問の全てに費やされた時間、質問に回答する際にされた間違い、ライブラリ／データベースからのリソースを使用して質問に回答するための能力、及び／又はＳＭＥの経験年数を含むことができる。

【0015】

[0019]１人以上のＳＭＥからの収集されたデータを使用して、システムは、質問に回答するための「最良の経路」を生成することができる。この最良の経路は、例えば、最良の結果をどのように取得するかについての多変数ガイドライン（multi-variable guideline）であることができる。最良の経路を計算するために、システムは、平均化、回帰、及び／又は他の計算を使用して、収集及び分析された多変数の重みを特定することができる。

【0016】

[0020]候補者が特定の仕事についての面接を開始すると、どの質問がその特定の仕事についてのコンピテンシーを最も良く特定することになるかを決定するために、質問が評価されることができる。同様に、候補者が一般的に（即ち、特定の仕事についてではなく）面接されている場合、広スペクトルにわたってコンピテンシーを予測するための彼らの能力に基づいて選択される広範囲の質問が選択され得る。質問の選択／評価は、以前のユーザの履歴データの比較に基づくことができる（仕事パフォーマンス、表示されたコンピテンシー、及び／又は検討中の特定の質問に対するそれらの以前のユーザの回答）。

【0017】

[0021]多くの現在のコンピテンシー試験とは異なり、ＡＣＡモデルは、展開される質問の多様性を包含することができる。例えば、多くの現在のコンピテンシー試験では、質問は典型的に、単一応答及び多肢選択など、ほんの数タイプのみである。ＡＣＡでは、質問タイプは、フリーフォーム応答（free-form response）、シミュレーション（simulations）、チャットボット対話（chatbot interactive）、読解力（reading comprehension）、空欄埋め（fill in the blank）、中埋め（fill in the middle）、ステップバイステップ（step-by-step）、等を含み得る。ＳＭＥはまた、「既知の最良の回答」（ＫＢＡ：known best answer）を決定する際に重要な役割を果たす。これは、単一応答又は多肢選択タイプの質問については直ちに明らかとなるが、シミュレーション又はフリーフォーム応答についてはＫＢＡを決定することはより複雑となる可能性がある。

【0018】

[0022]本明細書に開示されるように構成されたＡＣＡモデルは、候補者が１つ以上のカテゴリにおいてベンチマークレベルのコンピテンシーに達したかどうかを特定することができる。例えば、ＡＣＡモデルによって特定可能なコンピテンシーの各レベルは、その特定のレベルにおける特定の職務についての最も重要な目的をカバーする質問の代表的なセットを有することができる。即ち、「レベル１」のコンピテンシーを求める候補者に対しては質問の事前定義されたセットが、及び「レベル２」又は「レベル３」のコンピテンシーを求める候補者に対しては質問の事前定義されたセットの異なるセットが存在することができる。各後続するレベルは、同じ目的を参照し得るが、各レベルは、前のレベルよりも明らかに困難な質問を包含する。より高い又は後続のレベルに進むために、候補者は、事前定義されたコンピテンシーを実証する必要があり得る。いくつかのシナリオでは、彼らのコンピテンシーを実証するために、候補者は、次のレベルに移行するために閾値スコア（例えば、８０％又は１００％）を取得する必要があり得る。他のシナリオでは、スコアは、ファクタであり得るが、候補者がどのように質問に回答するかもまた、コンピテンシーの決定を考慮し得る。例えば、ユーザが１００％を取得したが、ＳＭＥの２倍長く掛かった場合、候補者は、所与の仕事又は職務に必要な能力があるとは見なされないことがある。

【0019】

[0023]開示されるシステムを使用するコンピテンシーの決定は、「資料持ち込み可（open book）」であることができる。より具体的には、システムは、候補者に、彼らが質問に回答するために参照することができるキュレーションされたリソースの「ライブラリ」を提供することができる。候補者がどのようにこのライブラリを利用するかは、次いで、コンピテンシーを評価するために使用されることができる。例えば、多くの競合する、そして時として矛盾する情報の断片を選り分ける際に、候補者はどのように行うか。彼らは何の参照物を最初に見るか？彼らは参照物を通じてどの順序で進むか？参照に対して質問を見るのにどれだけの時間が費やされたか？他の状況では、コンピテンシーのテストは、資料持ち込み不可（closed book）であることができ、ここで、ユーザが他の参照物及びリソースを調べるための能力は制限される。

【0020】

[0024]以下の評価の例を検討する。１回目、候補者は、セッションを開始し、彼らは、レベル１から始めることになる。そのレベルで彼らのために定義された全ての質問に回答した後、結果は、機械学習／人工知能アルゴリズムによって分析されることになる。中でもとりわけ、アルゴリズムは、以下を考慮に入れるであろう：１）彼らが各質問又は質問のセグメントに回答した速さ、２）彼らが質問に回答した効率性、３）ＫＢＡに対して判断された彼らの応答の質、４）どれほど効率的に彼らはライブラリを利用し、彼らは最も質の高いリソースを選んだか、５）彼らの文章の明確性、６）個人の人口統計的特性。これらのファクタの各々は、重み付け及び採点されることになり、次いで、候補者についてのコンピテンシースコアを決定するために使用されることができる。例えば、スケール全体は、０〜１００であり得る。例えば、スケールが４レベルＡＣＡにおいて線形様式で適用された場合、レベル１での最大習得（maximum mastery）は、２５のスコアをもたらし、次いで、レベル２での習得では５０をもたらし、といった具合である。各レベルは、個人が次のレベルに移行することができるかどうかを決定するカットスコア（cut score）を有することになる。同じ例では、候補者は、レベル２に移行するために、レベル１では少なくとも２０のスコアを達成しなければならないことがある。候補者が彼らの最大レベルに達したとき、それが彼らのスコアである。

【0021】

[0025]候補者が最後のレベル（即ち、完全な習得（full mastery））に達することができない場合、候補者が戻る（又は再評価される）と、候補者は、彼らが完了しなかった最後のレベルに割り当てられることができる。また、各レベルの終了時に、及び彼らが完了することができなかった各レベルの終了時に、候補者は、以下を含む、彼らのスコアについての情報を含むスコアレポートを提示されることができる：１）彼らが各目的に関してどのように行ったか、２）彼らの応答の質、３）彼らの応答の速さ、４）彼らが追加のトレーニングを求めるべきエリア。このレポートは、ＳＭＥによって作成された最もよく知られた経路と比較して、彼らがどのように質問に応答するか及び彼らの応答のプロセスに基づいて、候補者にカスタマイズされることができる。言い換えれば、この生成されたレポートは、候補者が更に勉強する必要がある主題、並びに候補者が更に改善する必要がある受験時の行動を特定することができる。

【0022】

[0026]各ＡＣＡモデルは、各職務について、それが配備される前に較正されることができる。プロセスは、異なる所定のコンピテンシーレベルにわたる個人のサンプルを必要とし得る。例えば、３レベルシステムについて、以下の等しいサイズの３つのグループが必要とされ得る：一般に職務に必要な能力が不十分なもの、一般に職務に必要な能力があるグループ、及び必要な能力が過剰なグループ。これらのグループは、機械学習／人工知能アルゴリズムが特定の配備のためにＡＣＡモデルを修正することを可能にするのに十分なデータを提供することができる。各グループは、彼らの最大コンピテンシーレベルに達することを試みるであろう。

【0023】

[0027]本開示はここで、図によって例示された特定の例に目を向ける。提供される例の特徴又は態様は、組み合わされるか、取り除かれるか、又はそうでない場合は他の例に組み込まれることができる。

【0024】

[0028]図１は、適応コンピテンシーアセスメントモデルを展開するための例証的なプロセスを例示する。まず、コンピテンシーがテストされることになる各仕事又は職務が定義される必要がある（１０２）。具体的には、システムは、仕事を行うための資質（qualities）、属性、又は要件に関して人間の専門家に尋ねる。例えば、その仕事は１日に１２時間以上コンピュータの前に座ることを必要とするか？その仕事は外国語に流ちょうであることを必要とするか？その仕事はコーディングスキルを必要とするか？パズルスキル（Puzzle skills）は？スプレッドシートの能力は？これらの質問に対する回答は、仕事タスク分析の一部として分析され（１０４）、その仕事でコンピテンシーを提供するためにどの候補者も達成する必要があるであろう学習目的を定義するために使用される（１０６）。これらの学習目的は次いで、質問を展開するために使用される（１０８）。いくつかのケースでは、質問を展開することは、その仕事の要件と質問の属性との比較に基づく、既知の属性を有する事前生成された質問の選択を意味する可能性がある。他のケースでは、質問を展開することは、プロセッサが選択された仕事についてのコンピテンシーを評価するために特に設計された新しい質問を作成する（言い換えれば、意味論的規則、仕事の要件、及び語彙データベースを使用して一から質問を生成する）ように、語彙データベースと組み合わされた（言語規則を有する）意味論的モデルを必要とする可能性がある。

【0025】

[0029]各質問について、システムは、既知の最良の回答を定義する（１１０）。加えて、システムは、他の回答に値を割り当て得る（即ち、回答をランク付けし得る）か、又は質問を回答するのに費やされた時間、使用されたリソース、等に値を割り当て得る。システムは、レベルによって質問を編成し（１１２）、質問についてのアルゴリズムを作成する（１１４）。この時点で、予備のＡＣＡモデルが定義され、予備のＡＣＡモデルをテストするためにテストグループが作成される（１１６）。テストグループは、テストグループの特性を特定するために事前にアセスメントされ（１１８）、次いで、ＡＣＡモデルは、テストグループに提示される（１２０）。これらの結果に基づいて、システムは、コンピテンシーを特定する際に改善された精度を提供するために、ＡＣＡアルゴリズムを微調整／修正し（１２２）、次いで、ＡＣＡモデルを配備する（１２４）。

【0026】

[0030]図２は、適応コンピテンシーアセスメントモデルを通る例証的な候補者フローを例示する。例示されるように、候補者は、ＡＣＡモデルから質問を提示されると開始する（２０２）。候補者は、レベル１で作業し（２０４）、レベル１を完了し（２０６）、ＡＣＡアルゴリズムは、レベル１での候補者のパフォーマンスを採点する（２０８）。システムは、スコアレポートを提示し（２１０）、レベル１の場合の候補者のスコアが事前定義されたカットスコアを上回る場合（２１２）、候補者は、レベル２で作業を開始する（２１４）。候補者は、レベル２を完了し（２１６）、ＡＣＡアルゴリズムは、レベル２での候補者のパフォーマンスを採点し（２１８）、システムは再び、スコアレポートを提示する（２２０）。今回は、レベル２の場合のスコアは、レベル２のカットスコアに満たず（２２２）、候補者は、レベル３に移行していない。システムは、最終スコアを表示し（２２４）、コンピテンシー評価は終了する。

【0027】

[0031]図３は、各階層で難易度が増大する質問の難易度の例を例示する。例示されるように、質問の第１０の階層は、質問の第１の階層よりも１０倍（１０×）難しい。実例的な構成では、候補者は、より高い難易度の後続の質問に移行する前に、前の／より低いレベルについて満点を取得しなければならない。

【0028】

[0032]図４は、実例的な方法の実施形態を例示する。本明細書に概説されるステップは例証的であり、ある特定のステップを除外するか、追加するか、又は修正する組み合わせを含むその任意の組み合わせで実装されることができる。例示されたような方法を実行するシステムは、１回目に（４０２）、プロセッサを介して、主題専門家に質問の階層セットを提供することと（４０４）、主題専門家が質問の階層セットに回答するとプロセッサを介して、質問の階層セットに回答した際の主題専門家の第１のスコアリングファクタをキャプチャすることと（４０６）、主題専門家の第１のスコアリングファクタに基づいて、質問の階層セットに回答するための最もよく知られた経路を生成することと（４０８）を行うことができる。２回目に（４１０）、システムは、プロセッサを介して、候補者に質問の階層セットを提供することと（４１２）、候補者が質問の階層セットのうちの少なくとも一部分に回答するとプロセッサを介して、質問の階層セットのうちの少なくとも一部分に回答した際の候補者の第２のスコアリングファクタをキャプチャすることと（４１４）、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、第２のスコアリングファクタを最もよく知られた経路と比較し、比較をもたらすことと（４１６）、プロセッサを介して、比較に基づいて、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、候補者が質問の階層セットのうちの少なくとも一部分に回答したときにライブスコアを生成することと（４１８）を行うことができる。

【0029】

[0033]いくつかの構成では、第１のスコアリングファクタと第２のスコアリングファクタとは、各質問に費やされた時間及び／又は正しい回答を見出す際の間違いを含むことができる。

【0030】

[0034]いくつかの構成では、質問の階層セットにおける次の階層に進むために、候補者は、所与の階層における質問の全てに正しく回答しなければならない。

【0031】

[0035]いくつかの構成では、方法は、候補者が質問の階層セットのうちの少なくとも一部分に回答すると、ディスプレイ上にライブスコアを表示することを更に含むことができる。同様に、いくつかの構成では、方法は、候補者が質問の階層セット内の質問の階層を正しく終了することができない場合、比較及び第２のスコアリングファクタに基づいて候補者のためのカスタム学習ガイド（custom study guide）を生成することを更に含むことができる。

【0032】

[0036]いくつかの構成では、質問の階層セットにおける各質問は、関連する回答のリストを有することができ、回答のリストにおける各回答は、複数の職務における少なくとも１つの仕事に関連付けられた重み付けコアコンピテンシー（weighted core competency）を有する。

【0033】

[0037]図５を参照すると、例証的なシステムは、処理ユニット（ＣＰＵ又はプロセッサ）５２０と、読取専用メモリ（ＲＯＭ）５４０及びランダムアクセスメモリ（ＲＡＭ）５５０などのシステムメモリ５３０を含む様々なシステムコンポーネントをプロセッサ５２０に結合するシステムバス５１０とを含む、汎用コンピューティングデバイス５００を含む。システム５００は、プロセッサ５２０に直接接続されるか、それに近接しているか、又はその一部として統合された高速メモリのキャッシュを含むことができる。システム５００は、プロセッサ５２０による素早いアクセスのために、メモリ５３０及び／又はストレージデバイス５６０からキャッシュにデータをコピーする。このようにして、キャッシュは、データを待っている間にプロセッサ５２０が遅延することを回避するパフォーマンスブースト（performance boost）提供する。これら及び他のモジュールは、様々なアクションを実行するために、プロセッサ５２０を制御することができるか、制御するように構成されることができる。他のシステムメモリ５３０も、使用のために利用可能であり得る。メモリ５３０は、異なるパフォーマンス特性を有する複数の異なるタイプのメモリを含むことができる。本開示は、より優れた処理能力を提供するために、１つよりも多くのプロセッサ５２０を有するコンピューティングデバイス５００上で、又は共にネットワーク化されたコンピューティングデバイスのグループ若しくはクラスタ上で動作し得ることが認識されることができる。プロセッサ５２０は、任意の汎用プロセッサ、及びストレージデバイス５６０中に記憶され、プロセッサ５２０を制御するように構成されたモジュール１ ５６２、モジュール２ ５６４、及びモジュール３ ５６６などのハードウェアモジュール又はソフトウェアモジュール、並びにソフトウェア命令が実際のプロセッサ設計に組み込まれる専用プロセッサを含むことができる。プロセッサ５２０は本質的には、完全に自己完結型のコンピューティングシステムであり得、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュ、等を包含し得る。マルチコアプロセッサは、対称的又は非対称的であり得る。

【0034】

[0038]システムバス５１０は、メモリバス又はメモリコントローラ、ペリフェラルバス、及び多様なバスアーキテクチャのうちの任意のものを使用するローカルバスを含む、いくつかのタイプのバス構造のうちの任意のものであり得る。ＲＯＭ５４０又は同様のものの中に記憶された基本入力／出力（ＢＩＯＳ）は、起動中などにコンピューティングデバイス５００内の素子間で情報を転送するのを助ける基本ルーチンを提供し得る。コンピューティングデバイス５００は、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、又は同様のものなどのストレージデバイス５６０を更に含む。ストレージデバイス５６０は、プロセッサ５２０を制御するためのソフトウェアモジュール５６２、５６４、５６６を含むことができる。他のハードウェア又はソフトウェアモジュールが企図される。ストレージデバイス５６０は、ドライブインターフェースによってシステムバス５１０に接続される。ドライブ及び関連するコンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピューティングデバイス５００についての他のデータの不揮発性記憶を提供する。一態様では、特定の機能を実行するハードウェアモジュールは、その機能を実行するために、プロセッサ５２０、バス５１０、ディスプレイ５７０、等などの必要なハードウェアコンポーネントに関連して有形コンピュータ可読記憶媒体中に記憶されたソフトウェアコンポーネントを含む。別の態様では、システムは、プロセッサ及びコンピュータ可読記憶媒体を使用して、プロセッサによって実行されると、プロセッサに方法又は他の特定のアクションを実行させる命令を記憶することができる。基本コンポーネント及び適切な変形が、デバイス５００が小さいハンドヘルドコンピューティングデバイス、デスクトップコンピュータ、又はコンピュータサーバであるかなど、デバイスのタイプに応じて企図される。

【0035】

[0039]本明細書に説明された例証的な実施形態は、ハードディスク５６０を用いるが、コンピュータによってアクセス可能なデータを記憶することができる、磁気カセット、フラッシュメモリカード、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）５５０、及び読取専用メモリ（ＲＯＭ）５４０などの他のタイプのコンピュータ可読媒体もまた、例証的な動作環境において使用され得る。有形コンピュータ可読記憶媒体、コンピュータ可読記憶デバイス、又はコンピュータ可読メモリデバイスは、一時的な波、エネルギー、キャリア信号、電磁波、及び信号それ自体などの媒体を明確に除外する。

【0036】

[0040]コンピューティングデバイス５００とのユーザ対話を可能にするために、入力デバイス５９０は、発話用のマイクロフォン、ジェスチャ又はグラフィック入力用のタッチ感応スクリーン、キーボード、マウス、動作入力、発話、等などの任意の数の入力メカニズムを表す。出力デバイス５７０もまた、当業者に知られたいくつかの出力メカニズムのうちの１つ以上であることができる。いくつかの事例では、マルチモーダルシステムが、ユーザがコンピューティングデバイス５００と通信するための複数のタイプの入力を提供することを可能にする。通信インターフェース５８０は一般に、ユーザ入力及びシステム出力を統制及び管理する。どの特定のハードウェア構成上で動作することについても制限がなく、従って、ここでの基本的な特徴は、それらが開発されたときに改善されたハードウェア又はファームウェア構成の代わりに容易に用いられ得る。

【0037】

[0041]「Ｘ、Ｙ、及びＺのうちの少なくとも１つ」又は「Ｘ、Ｙ、又はＺのうちの少なくとも１つ以上」などの文言の使用は、単一の項目（Ｘだけ、若しくはＹだけ、若しくはＺだけ）又は複数の項目（即ち、｛ＸとＹ｝、｛ＹとＺ｝、若しくは｛ＸとＹとＺ｝）を伝えることを意図される。「のうちの少なくとも１つ」は、各可能な項目が存在しなければならないという要件を伝えることを意図されない。

【0038】

[0042]上述された様々な実施形態は、例示のみを目的として提供され、本開示の範囲を限定すると解釈されるべきではない。本明細書に説明された原理に対して、本明細書に例示及び説明された実例的な実施形態及び用途に従うことなく、並びに本開示の趣旨及び範囲から逸脱することなく、様々な修正及び変更が行われ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】