(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】インタラクティブアバタトレーニングシステム
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20240214BHJP
G09B 19/00 20060101ALI20240214BHJP
G06Q 50/20 20120101ALI20240214BHJP
【FI】
G06Q10/0639
G09B19/00 Z
G06Q50/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023552080
(86)(22)【出願日】2022-02-24
(85)【翻訳文提出日】2023-10-23
(86)【国際出願番号】 US2022017677
(87)【国際公開番号】W WO2022182856
(87)【国際公開日】2022-09-01
(32)【優先日】2021-02-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523323099
【氏名又は名称】インタラクティブ・ビデオ・イメージズ,インコーポレイテッド
【氏名又は名称原語表記】INTERACTIVE VIDEO IMAGES, INC.
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(74)【代理人】
【氏名又は名称】池本 理絵
(72)【発明者】
【氏名】カーマイケル,デイヴィッド,パトリック
(72)【発明者】
【氏名】ネルソン,ロジャー
(72)【発明者】
【氏名】マーレイ,ジョン,ジェイ.
(72)【発明者】
【氏名】シャピーロ,ジェフリー
(57)【要約】
本技術は、包括的には、インタラクティブアバタトレーニングシステムに関する。このインタラクティブアバタトレーニングシステムは、トレーナ及びトレーニ等の少なくとも2人のユーザがトレーニングプログラムにおいてインタラクティブ通信することを可能にするインタラクティブプラットフォームを利用する。このインタラクティブアバタトレーニングシステムは、トレーニに提示される回答が高い精度レベルを有するように、トレーナからトレーニへの処理された回答又は応答の生成を援助することができる。したがって、トレーニング効率及び精度を向上させ、改善することができる。
【選択図】
図4
【特許請求の範囲】
【請求項1】
サーバコンピューティングデバイスを備え、
前記サーバコンピューティングデバイスは、
1つ以上のメモリと、
前記1つ以上のメモリと通信する1つ以上のプロセッサと、
を備え、
前記1つ以上のプロセッサは、
第1のコンピューティングデバイスの第1のユーザに関連付けられた第1のアバタを作成する第1の入力を受信することと、
第2のコンピューティングデバイスの第2のユーザに関連付けられた第2のアバタを作成する第2の入力を受信することと、
仮想従業員トレーニング環境において前記第1のアバタ及び前記第2のアバタを提示することと、
前記仮想従業員トレーニング環境において前記第1のコンピューティングデバイスから質問を受信することと、
前記仮想従業員トレーニング環境において前記質問に応答して回答を出力することと、
を行うように構成される、インタラクティブアバタトレーニングシステム。
【請求項2】
前記回答を出力する前に、前記1つ以上のプロセッサは、前記第2のコンピューティングデバイスから前記回答を受信するように更に構成される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項3】
前記1つ以上のプロセッサは、
前記受信された回答を処理して、処理された回答を生成することであって、前記処理された回答は、前記出力される回答であること
を行うように更に構成される、請求項2に記載のインタラクティブアバタトレーニングシステム。
【請求項4】
前記回答を処理することは、
前記第2のコンピューティングデバイスからの前記回答からキーワードを特定することと、
前記特定されたキーワードに基づいて前記処理された回答を生成することと、
を更に含む、請求項3に記載のインタラクティブアバタトレーニングシステム。
【請求項5】
前記回答を出力する前に、前記1つ以上のプロセッサは、
事前に記憶された回答のデータベースに前記1つ以上のメモリからアクセスすることと、
前記事前に記憶されたデータベースから回答を選択することとであって、前記選択された回答は前記出力される回答であることと、
を行うように更に構成される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項6】
前記第1のコンピューティングデバイスから前記質問を受信することは、
前記質問からキーワードを特定すること
を更に含む、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項7】
前記回答は、機械学習アルゴリズムによって生成される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項8】
前記1つ以上のプロセッサは、
前記回答とともに推薦スコアを生成すること
を行うように更に構成される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項9】
前記回答を出力することは、
前記仮想従業員トレーニング環境において1つ以上の回答を出力することと、
前記回答のそれぞれへの推薦スコアを生成することと、
を更に含む、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項10】
前記1つ以上のプロセッサは、
前記仮想従業員トレーニング環境において生成される前記質問及び前記回答を記録すること
を行うように更に構成される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項11】
前記1つ以上のプロセッサは、
前記仮想従業員トレーニング環境において前記質問及び前記回答を再生すること
を行うように更に構成される、請求項10に記載のインタラクティブアバタトレーニングシステム。
【請求項12】
前記第1のコンピューティングデバイス及び前記第2のコンピューティングデバイスは、ネットワークを介して前記サーバコンピューティングデバイスと通信する、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項13】
前記回答は、前記仮想従業員トレーニング環境においてリアルタイムで生成されるか、又は、所定の回答から選択される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項14】
前記第1のアバタはトレーニを表し、前記第2のアバタはトレーナを表す、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項15】
前記1つ以上のプロセッサは、
前記仮想従業員トレーニング環境においてトレーニングコンテンツを前記第1のアバタに表示すること
を行うように更に構成される、請求項1に記載のインタラクティブアバタトレーニングシステム。
【請求項16】
前記1つ以上のプロセッサは、
前記仮想従業員トレーニング環境において前記第1のアバタに対する複数のテストを生成すること
を行うように更に構成される、請求項15に記載のインタラクティブアバタトレーニングシステム。
【請求項17】
サーバコンピューティングデバイスと、
前記サーバコンピューティングデバイスと通信する第1のコンピューティングデバイスと、
前記サーバコンピューティングデバイスと通信する第2のコンピューティングデバイスと、
を備え、
前記サーバコンピューティングデバイスは、
第1のアバタを作成する第1のプロファイル入力を前記第1のコンピューティングデバイスから受信することと、
第2のアバタを作成する第2のプロファイル入力を前記第2のコンピューティングデバイスから受信することと、
前記第1のアバタと前記第2のアバタとの間のインタラクションを可能にする前記第1のアバタ及び前記第2のアバタを含むシミュレーションされた学習環境を生成することと、
前記インタラクション中に前記第1のアバタから質問を受信することと、
機械学習アルゴリズムを使用して、前記質問に応答して回答を生成することと、
前記シミュレーションされた学習環境において前記回答を出力することと、
を行うように構成される、インタラクティブアバタトレーニングシステム。
【請求項18】
前記1つ以上のプロセッサは、前記質問からキーワードを特定して、前記回答の範囲を精緻化するように構成される、請求項17に記載のインタラクティブアバタトレーニングシステム。
【請求項19】
前記1つ以上のプロセッサは、前記回答とともに推薦スコアを生成するように構成される、請求項18に記載のインタラクティブアバタトレーニングシステム。
【請求項20】
1つ以上のメモリと、
前記1つ以上のメモリと通信する1つ以上のプロセッサと、
を備えるサーバコンピューティングデバイスを備え、
前記1つ以上のプロセッサは、
第1のアバタを作成する第1のプロファイル入力を受信することと、
シミュレーションされた環境において前記第1のアバタの第1の画像を提示することと、
第2のアバタを作成する第2のプロファイル入力を受信することと、
前記シミュレーションされた環境において前記第2のアバタの第2の画像を提示することと、
前記第1のアバタから照会入力を受信することと、
前記シミュレーションされた環境において前記照会入力を前記第2のアバタに送信することと、
前記第2のアバタから初期応答入力を生成することと、
前記シミュレーションされた環境において前記初期応答入力を処理することと、
前記初期応答入力に基づいて処理された応答を生成することと、
前記シミュレーションされた環境において前記処理された応答を前記第1のアバタに出力することと、
を行うように構成される、インタラクティブアバタトレーニングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2021年2月24日に出願された米国特許出願第17/183,797号の継続出願であり、その開示内容は引用することにより本明細書の一部をなすものとする。
【背景技術】
【0002】
多くの会社が、それらの従業員に専門的トレーニングプログラムを提供している。例えば、トレーニングプログラムは、専門的能力の維持及び改善、キャリアアップの促進、総合的な職場環境の改善、並びに専門的規制及びコンプライアンスの遵守を行うために提供される。そのようなトレーニングプログラムは、多くの場合、従業員が仕事を学習し、雇用主の基準及び期待どおりに仕事を有能に行うことができるように様々なポリシ、ルール、又は手続き等のかなりの量の情報を従業員に提供する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
従来、トレーニングプログラムは、トレーナ(trainer)と従業員との間においてライブで又は電話会議を通じて行われてきた。しかしながら、そのような従来のプログラムは、それらの配信及びコンテンツが一貫していないことに起因した有効性に関する問題に直面していた。これらの問題に加えて、従来のトレーニングプログラムは、通常は労働集約的であり、したがって、多くの費用を要する。
【課題を解決するための手段】
【0004】
本開示は、インタラクティブアバタトレーニングシステムを提供する。このインタラクティブアバタトレーニングシステムは、トレーナ及びトレーニ(trainee)等の少なくとも2人のユーザがトレーニングプログラムにおいてインタラクティブに通信し、トレーニング中にトレーニング効率及び精度を促進することを可能にするインタラクティブ仮想プラットフォームを提供する。1つの例では、インタラクティブアバタトレーニングシステムは、サーバコンピューティングデバイスを含む。このサーバコンピューティングデバイスは、1つ以上のメモリを含む。1つ以上のメモリは、インタラクティブアバタトレーニングシステムの動作を容易にすることができるキーワード及び/又は質問を記憶することができるデータベースを含むことができる。1つ以上のプロセッサが、1つ以上のメモリと通信する。1つ以上のプロセッサは、第1のコンピューティングデバイスの第1のユーザに関連付けられた第1のアバタを作成する第1の入力を受信することと、第2のコンピューティングデバイスの第2のユーザに関連付けられた第2のアバタを作成する第2の入力を受信することと、仮想従業員トレーニング環境において第1のアバタ及び第2のアバタを提示することと、仮想従業員トレーニング環境において第1のコンピューティングデバイスから質問を受信することと、仮想従業員トレーニング環境において質問に応答して回答を出力することとを行うように構成される。
【0005】
1つの例では、回答を出力する前に、1つ以上のプロセッサは、第2のコンピューティングデバイスから回答を受信するように更に構成される。1つ以上のプロセッサは、受信された回答を処理して、処理された回答を生成するように更に構成され、処理された回答は、出力される回答である。1つの例では、1つ以上のプロセッサは、第2のコンピューティングデバイスからの回答からキーワードを特定し、特定されたキーワードに基づいて処理された回答を生成するように更に構成される。
【0006】
1つの例では、回答を出力する前に、1つ以上のプロセッサは、事前に記憶された回答のデータベースに1つ以上のメモリからアクセスすることと、事前に記憶されたデータベースから回答を選択することとを行うように更に構成され、選択された回答は出力される回答である。1つ以上のプロセッサは、質問からキーワードを特定するように更に構成される。回答は、機械学習アルゴリズムによって生成される。
【0007】
1つの例では、1つ以上のプロセッサは、回答とともに推薦スコアを生成するように更に構成される。1つ以上のプロセッサは、仮想従業員トレーニング環境において1つ以上の回答を出力し、回答のそれぞれへの推薦スコアを生成するように更に構成される。1つ以上のプロセッサは、仮想従業員トレーニング環境において生成される質問及び回答を記録するように更に構成される。1つ以上のプロセッサは、仮想従業員トレーニング環境において質問及び回答を再生するように更に構成される。第1のコンピューティングデバイス及び第2のコンピューティングデバイスは、ネットワークを介してサーバコンピューティングデバイスと通信する。回答は、仮想従業員トレーニング環境においてリアルタイムで生成されるか、又は、所定の回答から選択される。
【0008】
1つの例では、第1のアバタはトレーニを表し、第2のアバタはトレーナを表す。1つ以上のプロセッサは、仮想従業員トレーニング環境においてトレーニングコンテンツを第1のアバタに表示するように更に構成される。1つ以上のプロセッサは、仮想従業員トレーニング環境において第1のアバタに対する複数のテストを生成するように更に構成される。
【0009】
本開示は、サーバコンピューティングデバイスと、サーバコンピューティングデバイスと通信する第1のコンピューティングデバイスと、サーバコンピューティングデバイスと通信する第2のコンピューティングデバイスとを備え、サーバコンピューティングデバイスは、第1のアバタを作成する第1のプロファイル入力を第1のコンピューティングデバイスから受信することと、第2のアバタを作成する第2のプロファイル入力を第2のコンピューティングデバイスから受信することと、第1のアバタと第2のアバタとの間のインタラクションを可能にする第1のアバタ及び第2のアバタを含むシミュレーションされた学習環境を生成することと、インタラクション中に第1のアバタから質問を受信することと、機械学習アルゴリズムを使用して、質問に応答して回答を生成することと、シミュレーションされた学習環境において回答を出力することとを行うように構成される、インタラクティブアバタトレーニングシステムを更に提供する。
【0010】
1つの例では、1つ以上のプロセッサは、質問からキーワードを特定して、回答の範囲を精緻化するように構成される。1つ以上のプロセッサは、回答とともに推薦スコアを生成するように構成される。
【0011】
本開示は、1つ以上のメモリと、1つ以上のメモリと通信する1つ以上のプロセッサとを備えるサーバコンピューティングデバイスを備え、1つ以上のプロセッサは、第1のアバタを作成する第1のプロファイル入力を受信することと、シミュレーションされた環境において第1のアバタの第1の画像を提示することと、第2のアバタを作成する第2のプロファイル入力を受信することと、シミュレーションされた環境において第2のアバタの第2の画像を提示することと、第1のアバタから照会入力を受信することと、シミュレーションされた環境において照会入力を第2のアバタに送信することと、第2のアバタから初期応答入力を生成することと、シミュレーションされた環境において初期応答入力を処理することと、初期応答入力に基づいて処理された応答を生成することと、シミュレーションされた環境において処理された応答を第1のアバタに出力することとを行うように構成される、インタラクティブアバタトレーニングシステムを更に提供する。
【図面の簡単な説明】
【0012】
【
図1】本開示の態様によるインタラクティブアバタトレーニングシステムの機能図である。
【
図2】本開示の態様によるインタラクティブアバタトレーニングシステムの別の機能図である。
【
図3】本開示の態様によるネットワーク接続されたインタラクティブアバタトレーニングシステムの絵図である。
【
図4】本開示の態様によるネットワーク接続されたインタラクティブアバタトレーニングシステムの更なる絵図である。
【
図5】本開示の態様によるネットワーク接続されたインタラクティブアバタトレーニングシステムの更なるブロック図である。
【
図6】本開示の態様による複数のユーザを有するインタラクティブアバタトレーニングシステムの動作のフロー図である。
【
図7】本開示の態様によるインタラクティブアバタトレーニングシステムを動作させる方法のフロー図である。
【発明を実施するための形態】
【0013】
本技術は、包括的には、インタラクティブアバタトレーニングシステムに関する。このインタラクティブアバタトレーニングシステムは、トレーナ及びトレーニ等の少なくとも2人のユーザがトレーニングプログラムにおいてインタラクティブ通信することを可能にするインタラクティブ仮想プラットフォームを利用する。1つの例では、トレーナ等の第1のユーザが、トレーニングプログラム用にインタラクティブアバタトレーニングシステムに定義される仮想環境において自身を表す第1のアバタを作成することができる。トレーニ等の第2のユーザが、インタラクティブアバタトレーニングシステムにおける仮想環境において自身を表す第2のアバタを作成することができる。第1のユーザ及び第2のユーザは、仮想環境における環境シミュレーションにおいてそれらのそれぞれのアバタを通じて通信することができる。この点に関して、第1のユーザ及び第2のユーザは、互いにリモートに位置する場合があるが、仮想環境を利用して互いにリアルタイムで通信することができる。
【0014】
キーターム特定エンジンが、第1のユーザ及び第2のユーザからの問い合わせ及び/又は応答を分析するのに利用される。例えば、入力及び/又は問い合わせから特定された識別子に基づいて適切なフィードバック、回答又は応答を生成することができるように、ユーザからの入力及び/又は問い合わせを分析して、パラメータ、識別子、又はキー用語(key terminologies)を特定することができる。いくつかの例では、問い合わせから特定されたパラメータ、識別子、又はキー用語に基づいて、インタラクティブアバタトレーニングシステムに実装された回答エンジンが、問い合わせに応答して、更新、変更、処理、及び/又は完成された回答の提供を援助することができる。トレーナによってトレーニに提供される回答は、リアルタイムで作成することもできるし、インタラクティブアバタトレーニングシステムに記憶された事前記録回答から取り出すこともできる。
【0015】
図1~
図5は、例示のインタラクティブアバタトレーニングシステムを示している。
図1に示すように、インタラクティブアバタトレーニングシステム100は、サーバコンピュータ160と、本明細書においてコンピューティングデバイス200と総称されるコンピューティングデバイス200a、200bと、記憶デバイス180とを含むことができる。コンピューティングデバイス200が、ネットワーク190を介してサーバコンピュータ160及び/又は他のコンピューティングデバイスと通信することができるように、コンピューティングデバイス200及びサーバコンピュータ160は、ネットワーク190を介して通信可能に結合される。同様に、サーバコンピュータ160は、ネットワーク190を介してコンピューティングデバイス200、他のコンピューティングデバイス、又は他のサーバコンピュータ160と通信することができる。
【0016】
サーバコンピュータ160は、通常は汎用コンピュータ内に存在する1つ以上のプロセッサ112と、メモリ114と、他の構成要素とを含むことができる。メモリ114は、プロセッサ112によって実行することができる命令116を含む、プロセッサ112によってアクセス可能な情報を記憶することができる。メモリ114は、プロセッサ112による取り出し、操作、又は記憶を行うことができるデータ118も含むことができる。1つの例では、メモリ114内のデータ118は、インタラクティブアバタトレーニングシステムを動作させると利用することができるキーワード及び/又は質問を含むことができる。メモリ114は、ハードドライブ、ソリッドステートドライブ、テープドライブ、光学記憶装置、メモリカード、ROM、RAM、DVD、CD-ROM、書き込み可能メモリ、及びリードオンリメモリ等の、プロセッサ112によってアクセス可能な情報を記憶することが可能な非一時的コンピュータ可読媒体のタイプとすることができる。プロセッサ112は、任意の従来のプロセッサ及び/又は市販のプロセッサとすることができる。代替又は追加として、プロセッサ112は、GPU又はASIC等の、特定の機能を実行するように構成される専用コントローラとすることができる。
【0017】
命令116は、プロセッサ112によって実行される一組の命令とすることができる。命令116は、オブジェクトコード、又はJava、Python、Ruby等の任意のコンピュータ言語による他のコンピュータコード等の、プロセッサ112による処理用の任意のフォーマットで記憶することができる。命令は、上記例及び以下の例示の方法においてより詳細に説明される。命令116は、本明細書において説明される例示の特徴のうちの任意のものを含むことができる。
【0018】
データ118は、命令116に従ってプロセッサ112によって作成、取り出し、記憶、又はそれ以外の変更を行うことができる。例えば、本明細書に記載の主題は、特定のデータ構造の使用に限定されるものではなく、データ118は、コンピュータレジスタに記憶することもできるし、複数の異なるフィールド及びレコードを有するテーブルとしてリレーショナルデータベース又は非リレーショナルデータベースに記憶することもできるし、JSON文書、YAML、プロト(proto)文書、又はXML文書として記憶することもできる。データ118は、限定されるものではないが2進値、ASCII又はユニコード等のコンピュータ可読フォーマットにフォーマットすることもできる。その上、データ118は、番号、説明テキスト、独自コード、ポインタ、他のネットワークロケーションを含む他のメモリに記憶されたデータの参照子、又は関係のあるデータを計算するために関数によって使用される情報等の関係のある情報を特定するのに十分な情報を含むことができる。サーバコンピュータ110における命令116、データ118、及び他のアプリケーションについての詳細は、以下でより詳細に説明される。
【0019】
図1は、サーバコンピュータ110における同じ場所に配置されたプロセッサ112及びメモリ114を示しているが、プロセッサ112及びメモリ114は、同じ物理デバイス内に格納される場合もあるし、格納されない場合もある、複数のプロセッサ及びメモリを含むことができる。
【0020】
コンピューティングデバイス200のそれぞれは、1つ以上のプロセッサ、メモリ、及び命令を用いて、サーバコンピュータ110と同様に構成することができる。コンピューティングデバイス200は、サーバコンピュータ160について説明したように、プロセッサ216と、メモリ214と、命令230と、データ228とを含むことができる。コンピューティングデバイス200は、中央処理ユニット(CPU:central processing unit)、メモリ(例えば、RAM及び内部ハードドライブ)、入力デバイス及び/又は出力デバイス、センサ、クロック、ネットワークインタフェースコントローラ等の、パーソナルコンピューティングデバイスに関して一般に使用される構成要素の全てを有することができる。
【0021】
図1に更に示すように、コンピューティングデバイス200は、入力構成要素及び出力構成要素等のユーザインタフェースデバイス232を含むことができる。例えば、ユーザインタフェースデバイス232は、キーボード、マウス、機械的アクチュエータ、ソフトアクチュエータ、タッチスクリーン、マイクロホン、センサ、ユーザディスプレイ、タッチスクリーン、1つ以上のスピーカ、トランスデューサ若しくは他のオーディオ出力、非可視且つ非可聴の情報をユーザに提供する触覚インタフェース若しくは他の触知フィードバック、及び/又は他の構成要素のうちの1つ以上を含むことができ、これについては、本明細書において更に説明される。
【0022】
サーバコンピュータ160及びコンピューティングデバイス200は、直接通信と、ネットワーク190等を介した間接通信とに対応することができる。この点に関して、ネットワーク190は、コンピューティングデバイス200の間及び/又はサーバコンピュータ160とコンピューティングデバイス200との間の接続性を提供する。ネットワーク190は、インターネット、イーサネット、WiFi、人工衛星通信、HTTP、及び/又は1つ以上の会社の独自開発のプロトコル、並びにこれらの様々な組み合わせ等の通信プロトコル及びシステムを利用することができる。例えば、ネットワーク190は、有線若しくは無線のローカルエリアネットワーク(LAN:local area network)、ワイドエリアネットワーク(WAN:wide area network)、イントラネット、セルラ通信ネットワーク、インターネット、及び/又はプロトコル及びシステムの任意の組み合わせとすることができる。ネットワーク190を介した通信は、コンピューティングデバイス200及びサーバ190に接続されるか又はそうでない場合にはそれらに統合されるネットワークインタフェースコントローラ等を通じた他のコンピュータへのデータの送信及び他のコンピュータからのデータの送信が可能なデバイスによって容易にすることができる。
【0023】
図2は、一例示のコンピューティングデバイス200aの詳細なブロック図を示している。コンピューティングデバイス200aは、計算動作又は計算分析を行うことができる任意のデバイスとすることができる。
【0024】
コンピューティングデバイス200aには、複数の構成要素が組み込まれている。各構成要素は、互いに直接通信又は間接通信することができる。
図2に示す例では、コンピューティングデバイス200aは、ユーザインタフェースデバイス232、メモリ214、送信機回路類206、及び受信機回路類208と電気通信するように構成される1つ以上のプロセッサ216を含む。
図2に更に示すように、メモリ214は、ソフトウェアアプリケーション227、例えば、本明細書において説明されるような仮想トレーニング環境を実行するのに利用することができる仮想シミュレーションアプリケーションを記憶しておくこともできる。
【0025】
アンテナ202は、コンピューティングデバイス200a内に配置することもできるし、それ以外にコンピューティングデバイス200aに接続することもできる。このアンテナは、無線周波数(RF:Radio Frequency)信号、WiFi信号、Bluetooth信号、又は任意の適した電気信号を受信及び送信するように構成することができる。受信/送信(Rx/Tx)スイッチ204が、アンテナ202を送信機回路類206及び受信機回路類208に選択的に結合することができる。受信機回路類208は、ネットワーク190から受信された電気信号をプロセッサ216による処理のために復調及び復号する。
【0026】
ユーザインタフェースデバイス232は、ユーザがコンピューティングデバイス200aにインストールされたソフトウェアアプリケーション227及び命令230とインタラクトし、それらを制御することを可能にするように構成される入力デバイス234、出力デバイス236又は他のユーザインタフェース構成要素(
図2に図示せず)を含む。入力デバイス234は、ユーザがデータをコンピューティングデバイス200aに提供する際に利用するデバイスを含むことができ、このデバイスは、非限定的な例として、キーパッド、キーボード、マウス、コントローラ、マイクロホン、カメラ、タッチスクリーン等である。出力デバイス236は、ユーザがコンピューティングデバイス200aからデータを提供される際に利用するデバイスを含むことができ、これらのデバイスは、非限定的な例として、ディスプレイスクリーン、スピーカ、タッチスクリーン、触覚出力、仮想現実ヘッドセット等である。タッチスクリーン等の或る特定のデバイスは、入力デバイス及び出力デバイスの双方として動作することができる。例えば、タッチスクリーンは、コンテンツを表示することができるだけでなく、ユーザがコマンドの入力及び積極的なインタラクトを行うことを可能にするタッチ起動インタフェースも提供する。入力デバイス234及び出力デバイス236の更なる例は、方向パッド、方向ノブ、アクセラレータ、プッシュツートーク(「PTT」:Push-To-Talk)ボタン、センサ、カメラ、無線周波数識別(「RFID」:Radio Frequency Identification)/近接場通信(「NFC」:Near Field Communication)リーダ、サウンド/オーディオ認識デバイス、モーション検出器、加速度計、アクティビティモニタ等を含むことができる。本明細書において更に説明するように、ユーザは、情報、入力又は問い合わせをコンピューティングデバイス200a上のユーザインタフェースデバイス232に直接入力によって直接提供することができる。同様に、コンピューティングデバイス200aの動作又は構成を確立する他の方法を用いることができる。
【0027】
メモリ214に記憶されるアプリケーション227は、本明細書において説明される様々な方法、特徴、及び機能を実行するように動作するソフトウェアアプリケーションを含むことができるが、これらに限定されるものではない。さらに、命令230は、ユーザが、インタラクティブアバタトレーニングシステムを実行するように構成される仮想シミュレーションアプリケーションとインタラクトするときに、これらの命令230を、ユーザがカスタマイズした好みに繰り返し使用することを可能にする、メモリ214に構成又は記憶することができるアプリケーション及び他のソフトウェアプログラムを含むことができる。
【0028】
インタラクティブアバタトレーニングシステムの仮想環境にアバタを確立するモジュール、エンジン、要素等は、サーバコンピュータ160内に構成することができることに留意されたい。いくつかの場合には、これらのモジュール、エンジン、又は要素等は、コンピューティングデバイス200a内にローカルに構成することができる。
【0029】
1つの例では、仮想シミュレーションアプリケーションは、メモリ214に保存され、プロセッサ216によって実行可能なシミュレーション(SIM:simulation)エンジン224を利用することができる。例えば、ユーザは、シミュレーション(SIM)エンジン224における設定をカスタマイズするために、自身のプロファイルを設定し、入力プロファイル情報をメモリ214に保存することができる。したがって、そのような情報は、必要なときの繰り返し使用のために保存することができる。メモリ214内の命令230は、プロセッサ216によって実行されるとき、命令230の動作がプロセッサ216によってシミュレーション(SIM)エンジン224又は他の関連したエンジンにおいて実行されることを可能にするために、シミュレーション(SIM)エンジン224と通信することができることに留意されたい。例えば、シミュレーション(SIM)エンジン224、回答エンジン226、及び1つ以上の対応するキーワードを含むことができるキーターム特定エンジン223をロードし、プロセッサ216において実行することができる。他のエンジン又はモジュールもロードし、プロセッサ216によって実行することができることに留意されたい。
【0030】
シミュレーション(SIM)エンジン224は、コンピューティングデバイス200aからのプロセッサ216又はサーバコンピュータ160からのプロセッサ267のいずれによっても実行することができる。シミュレーション(SIM)エンジン224は、コンピューティングデバイス200aからのメモリ214又はサーバコンピュータ160におけるメモリ265及び/又はアプリケーションモジュール270において構成することもできるし、シミュレーション(SIM)エンジン224の実行を可能にすることができるコンピューティングデバイス200a又はサーバコンピュータ160と通信することができる他の適したメモリデバイスにおいて構成することもできることに留意されたい。この点に関して、ユーザは、ネットワーク190を介してサーバコンピュータ160におけるSIMエンジンにアクセスすることができる。シミュレーション(SIM)エンジン224は、ユーザのアバタを生成することができる。1つの例では、作成される各アバタは、コンピューティングデバイス200a等のコンピューティングデバイスを動作させるユーザを表現したものとすることができる。アバタの外観は、カメラ等の入力デバイス234によってキャプチャされたユーザの画像フィード及び/又はビデオフィードに基づいて構築された3Dモデルとすることができる。例えば、ユーザ入力に応答して、シミュレーション(SIM)エンジン224は、コンピューティングデバイス200aにおけるカメラを始動し、ユーザの顔及び/又は身体/衣服を含むビデオ又は画像をキャプチャすることができる。シミュレーション(SIM)エンジン224は、ユーザの画像/ビデオを処理する。この画像/ビデオは、その後、ユーザの顔の表情及び/又は身体表現をアバタの顔の表情及び/又は身体表現として仮想空間にリアルタイムで示すことができるように、ユーザの顔及び/又は身体/衣服をキャプチャして対応するアバタを作成するためにマッピングされる。
【0031】
シミュレーション(SIM)エンジン224は、コンピューティングデバイス200a、又は他のリモートデバイス若しくは仮想空間等における表示及び提示用のアバタを確立する入力コマンドを受信することができる。ユーザからの入力コマンドは、コンピューティングデバイス200aのユーザインタフェースデバイス232によってキャプチャ及び検出することができ、シミュレーション(SIM)エンジン224によって処理することができる。ユーザからの入力コマンドは、入力デバイス234からタッチスクリーンによってキャプチャされたタッチイベントを含むことができる。ジェスチャ、音声、又は他のバイオメトリック特性をカメラによってキャプチャし、ユーザの外観及び個人の振る舞いと高い類似度を有するアバタを作成することができる。例えば、顔の検出、頭の動きの検出、顔の表情/身体表現の検出、又は他の検出若しくはキャプチャを行って、仮想空間におけるアバタのルックアンドフィールを指定することができる。さらに、服装一式の色又はスタイルの変更等のアニメーションコマンドも、ユーザがユーザの好みに基づいてアバタを確立するために入力することができる。これらのアニメーションコマンドは、タップ、ピンチ、ドラッグ又は他のコマンドによって行うことができる。
【0032】
さらに、オーディオ通信もキャプチャすることができる。シミュレーション(SIM)エンジン224は、入力デバイス234からのマイクロホンを起動して、ユーザからのオーディオ入力(音、音声)、例えばユーザの発話をキャプチャし、キャプチャされた音を対応するオーディオ信号に変換することができる。1つの例では、オーディオ信号は、アバタ発話信号に変換することができ、この信号は、その後、提示のために送信及び出力することができる。受信されたアバタ発話信号は、その後、スピーカ等の出力デバイス236によって変換されて音に戻すことができる。受信されたアバタ発話信号は、回答エンジン226によって更に処理又は分析することができる。これについては、以下で詳細に説明される。アバタの発話は、ユーザの発話に基づくことができる。例えば、変換は、ピッチシフト、ストレッチ及び/又は再生速度の変更を含むが、これらに限定されるものではない。
【0033】
上述のように、コンピューティングデバイス200aにおけるシミュレーション(SIM)エンジン224は、ユーザによる入力、又はユーザインタフェースデバイス232によってキャプチャされた信号情報に基づいてアバタを作成することができる。オーディオは、変換することができ、ビデオは、検出されたユーザ入力及び特定されたアニメーションコマンドに基づいてアニメーション化することができ、アバタ通信を用いてユーザエクスペリエンスが高められる。
【0034】
アンリアルエンジン229は、シミュレーション(SIM)エンジン224と通信して、生成されたアバタを仮想環境に投入し提示することができる。アンリアルエンジン229は、シミュレーション(SIM)エンジン224と通信して仮想環境データをコンピューティングデバイス200aに提供する仮想現実エンジンとすることができる。仮想環境にはリモートからアクセスすることができ、仮想環境におけるアバタは、仮想環境において通信することができるか又は別の方法でインタラクトすることができる。
【0035】
回答エンジン226は、ユーザからのオーディオ信号を処理するように構成される。回答エンジン226は、オーディオ信号を分析用のテキストデータに変換することができる。テキストデータからの識別子、キーワード、キー用語(本明細書では「識別子」と総称する)をキーターム特定エンジン223によって特定及び分析することができる。識別子は、コンピューティングデバイス200aのデータ228、又はサーバコンピュータ160の回答データベース264等に事前に記憶しておくことができる。
【0036】
データ228又は回答データベース264は、回答エンジン226においてリンクされた対応する事前記憶された応答/回答を有することができる。したがって、オーディオ信号からの識別子が、キーターム特定エンジン223によって特定、検出又は認識されると、検出された識別子をその後利用して、回答又は応答を得るためにデータ228又は回答データベース264を検索することができる。さらに、検出された識別子は、適切な回答又は応答をデータベースから探すために、ユーザからの入力に合致する適したルール、原理、状況、イベント又はアクティビティを特定することを援助することができる。検出された識別子及び特定されたキーワードは、回答の範囲を精緻化することも援助することができる。
【0037】
回答及び/又は応答がマッピング及び選択されると、回答エンジン226は、回答及び/又は応答を発話信号に更に変換して、シミュレーション(SIM)エンジン224を通じてアバタ発話信号として出力することができる。回答エンジン226は、アバタ発話信号を出力するときに、アバタに紐付けされたリップシンクを援助することができる。
【0038】
1つの例では、データベースからの対応する回答又は応答が回答エンジン226において特定されるとき、回答エンジン226は、アバタ発話信号を出力する前に、回答及び/又は応答を更に最適化し、処理し、完成させることができる。例えば、回答エンジン226においてプログラミングされたアルゴリズムが、十分に説明されたエリートレベルの回答又は応答等の専門家レベルの回答又は応答の提供を援助することができる。したがって、専門家レベルの回答又は応答は、いくつかの状況において、少数の識別子しかキーターム特定エンジン223によって特定されていなくても生成することができる。回答エンジン226においてプログラミングされたアルゴリズムは、機械学習技法、人工知能システム、深層学習技法、又は他の同様の技法を利用して、ユーザによって制御されたアバタからの入力に基づいて回答又は応答を生成することを援助することができる。したがって、ユーザからの入力が、シンプルであるがそれほど明瞭でない回答等の十分な詳細又は説明を含まない例では、回答エンジン226においてプログラミングされたアルゴリズムは、欠けている情報のギャップを埋めることを援助することができるとともに、専門家レベルの情報及び知識を有する十分な詳細を用いて回答又は応答を生成することができる。回答エンジン226においてプログラミングされたアルゴリズムは、アバタからの繰り返し入力によって又は他の適したビッグデータ分析技法によってトレーニングすることができる。1つの例では、回答エンジン226は、自然言語の形態でアバタ発話信号を出力することができる。
【0039】
図2に示すように、サーバコンピュータ160は、メモリ265からの命令及び設定269を実行するように構成される、プロセッサ216と同様の少なくとも1つのプロセッサ267を含むことができる。ユーザは、コンピューティングデバイス200a等のコンピューティングデバイスのうちの1つ以上を通じてサーバコンピュータ160へのアクセス及びサーバコンピュータ160とのインタラクトを行うことができる。1つの例では、メモリ265は、ユーザプロファイル記憶部266、回答データベース264、アクティビティデータベース268、設定269、又はサーバコンピュータ160におけるインタラクティブアバタトレーニングシステムの動作を容易にするためにメモリ265に記憶される他のデータを含むことができる。ユーザプロファイル記憶部266は、ユーザによって認可されると、カスタマイズされた情報をユーザによって設定されたアバタに提供するために、衣服の好み、音声トーン選択、ジェスチャ、癖等のアバタを作成するためのユーザに固有の情報を記憶することができる。任意の個人識別可能情報が、必要なときにユーザの個人情報及びプライバシを保護するために、スクラブ若しくは暗号化又は別の方法で保護される。ユーザに関連付けられたデータへのアクセスにも、ユーザからの認可が必要とされる。
【0040】
メモリ265内の回答データベース264及びアクティビティデータベース268は、インタラクティブアバタトレーニングシステムの動作を容易にする情報を記憶することができる。例えば、上述したように、回答データベース264及び/又はアクティビティデータベース268は、トレーニに関するインタラクティブアバタトレーニングシステムの様々な状況に対するアクティビティ、応答又は回答を含むデータを記憶することができる。このデータは、企業に極めて重要であるか又は重要とみなされる企業の専門知識の分野に関する情報も含むことができる。ユーザが、問題を解く自身の能力、又は、状況及び企業等によって所望される他の任意のタイプのトレーニング状況に対処する自身の能力を評価することができるように、記憶されるデータは、話題、状況、一連の実生活又は虚構の例に対する応答又は回答を伝達するテキストベースの情報及び/又はグラフィックベースの情報を含むことができる。一連の実生活又は虚構の例は、状況、アクティビティ、イベントに適用される話題、指定された話題を対象とするインタラクティブなピアツーピア又はトレーナ対トレーニの練習セッションを提供する或る特定のシミュレーション材料を示す。回答データベース264及びアクティビティデータベース268に記憶されるデータは、インタラクティブアバタトレーニングシステムを利用する企業によって生成することもできるし、他のエンティティから市販されているものとすることもできる。さらに、アクティビティデータベース268は、トレーニがいくつかの状況下における正直さ、潔白さ、及び公平さ等のトレーニの挙動を更に定義することを助けるトレーニングコンテンツ等の情報も記憶することができる。さらに、アクティビティデータベース268は、トレーニングコンテンツがトレーニに配信された後にトレーナがトレーニの技量にアクセスするために利用することができるように、テスト質問のリストも記憶することができる。プロセッサ267は、設定269からのコマンドを実行して、インタラクティブアバタトレーニングシステムにおいて動作を実行するように構成することができる。
【0041】
1つの例では、いくつかのエンジン又はモジュールを含むアプリケーションモジュール270をサーバコンピュータ160に含めることができる。アプリケーションモジュール270は、設定269、又はメモリ265内の他の適したデータベースに基づくようにプログラミング又は構成することができることに留意されたい。アプリケーションモジュール270において構成されるエンジン271、272、273、274、275、276、277、278は、実行可能な構成要素である。
図2に示す例では、アプリケーションモジュール270は、SIMエンジン271と、回答エンジン272と、オーディオエンジン273と、グラフィックエンジン274と、キーターム特定エンジン275と、記録/再生エンジン276と、推薦エンジン277と、アンリアルエンジン278とを含む。1つの例では、1つ以上のキーターム特定エンジン275はそれぞれ、問い合わせからキーワードの特定を容易にするために、キーワード1、キーワード2、キーワード3等の1つ以上の対応するキーワードを含むことができる。これらは単なる例にすぎず、インタラクティブアバタトレーニングシステムは、これよりも少ないエンジン若しくは異なるエンジン又は追加のエンジンを用いて実行することができることを理解すべきである。サーバコンピュータ160のプロセッサ267が、サーバコンピュータ160におけるメモリ265若しくは他の構成要素、又はコンピューティングデバイス200aにおけるメモリ214から情報を直接又はネットワーク190を通じて間接的に取り出すことができるように、アプリケーションモジュール270は、それらのメモリ等と電気通信することができることに留意されたい。
【0042】
いくつかの例では、SIMエンジン271は、プロセッサ(複数の場合もある)によって実行されると、ユーザからの入力を処理してアバタを作成することができる。SIMエンジン271は、上述したコンピューティングデバイス200aにおけるSIMエンジン224と同様に機能する。SIMエンジン271は、ユーザからの設定、入力、及び好みに基づいて仮想空間にアバタを作成することができる。
【0043】
回答エンジン272は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267によって又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、ユーザ又はインタラクティブアバタトレーニングシステムにおいて作成されたアバタへの回答又は応答を処理及び生成することができる。回答エンジン272は、専門家レベルの応答又は回答をトレーニ、又はアバタトレーニに提供することができる上述したような回答エンジン226と同様に機能する。
【0044】
オーディオエンジン273は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267によって又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、ユーザからのオーディオ入力を処理することができる。オーディオエンジン273は、キャプチャされたオーディオ入力を処理してユーザからの音又は音声をシミュレーションすることができ、シミュレーションされた音又は音声を、アバタ発話信号として出力される対応するオーディオ信号に変換することができる。オーディオエンジン273からの生成されたオーディオ信号は、アバタ発話信号を、SIMエンジン271によって作成されたアバタの唇の動き、ジェスチャ、又は身体の動きと同期させるためにSIMエンジン271に送信することができる。オーディオエンジン273は、所望の音声出力を有するアバタの作成を援助するために、SIMエンジン271と通信して、オーディオエンジン273からSIMエンジン271への又はその逆方向へのオーディオ信号の送信を容易にすることができる。或いは、オーディオエンジン273からの生成されたオーディオ信号は、任意の適した方法で出力することもできる。
【0045】
グラフィックエンジン274は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267によって又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、コンピューティングデバイス200aにおけるディスプレイスクリーン等の出力デバイス236又はユーザがインタラクトするヘッドマウントディスプレイ上に、アバタが登場する仮想環境設定において3次元フォーマット又は2次元フォーマットでアバタに対して出力される身体の動き、ジェスチャ、挙動反応等の関連したグラフィック信号を生成するように、カメラ245によってキャプチャされた画像、写真、ビデオ、又は他の情報を処理することができる。グラフィックエンジン274からの生成されたグラフィック信号は、ユーザの外観をシミュレーションした所望の画像を有するアバタの作成を援助するために、SIMエンジン271と通信され、グラフィックエンジン274からSIMエンジン271への又はその逆方向へのグラフィック信号の送信を容易にすることができる。SIMエンジン271は、グラフィックエンジン274からのグラフィック信号と、オーディオエンジン273からのオーディオ信号とを統合して、所望のリップシンク、フォトリアリスティックな皮膚、顔の表情等を有するアバタを作成し完成させることができる。
【0046】
キーターム特定エンジン275は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267によって又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、ユーザからの入力を分析又は処理して、キーセマンティックフレーズ、識別子、キーワード、及び/又はキー用語(本明細書では「識別子」と総称する)をキャプチャし、そのようなキャプチャされた識別子を更に処理及び分析して対応する回答又は応答を生成するために回答エンジン272に送信することができる。例えば、プロセッサ(複数の場合もある)267、216は、ユーザ固有のアクティビティ、イベント、トレーニングプログラム等を参照する識別子を検索することができる。そのような識別子は、例えば、ハラスメント、消防訓練、不公正な行為、差別、義務等を含むことができる。したがって、そのような識別子が検出又は特定されると、これらの識別子に関連した検索を回答エンジン272によって行い、適切な回答又は応答を調べることができる。キーターム特定エンジン275は、上述したキーターム特定エンジン223と同様である。
【0047】
記録又は再生エンジン276は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267によって又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、ユーザによってトリガされたときに、生成又は処理された応答及び/又は回答を記録及び再生することを可能にするために、回答エンジン272、226からの応答及び/又は回答を処理及び保存することができる。したがって、ユーザ、すなわちトレーニは、繰り返し練習のために再生機能を利用してトレーニングプログラムを再訪し、学習経験を向上させるとともにユーザの学習及びニューラル埋め込み(neural embedding)を補強することができる。
【0048】
推薦エンジン277は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、回答エンジン272から提供される検索結果に基づいて推薦スコアを生成することができる。いくつかの例では、回答エンジン272は、ユーザが自身の選択に基づいて自身の意図する問い合わせ/入力に最もよく合致する回答又は応答を決定することができるように、ユーザからの入力に応答して複数の回答又は応答を提供することができる。例えば、回答エンジン272によって入力又は生成される検索結果は、各検索結果の推薦スコア又は他の関連した情報とともにディスプレイスクリーン250に表示することができる。トレーニング状況及び検出された識別子の相関及びファクタを計算的に分析することによって、回答又は応答に対する検索結果の全体的な高信頼レベルを生成することができる。さらに、推薦スコアは、検出された1つ以上の識別子及び選択されたトレーニングコンテンツの相関を含む全体的な信頼レベルの評価にも基づいて生成される。したがって、比較的高い信頼レベルを有する推薦スコアを得ることができる。したがって、ユーザからの入力に応答して生成される高い精度レベルを有する回答若しくは応答に基づいて、又は、ユーザが自身の意図する問い合わせに最もよく合致する回答若しくは応答を選択することを可能にする複数の可能な回答又は応答に基づいて、快適なユーザエクスペリエンスを得ることができる。
【0049】
アンリアルエンジン278は、サーバコンピュータ160におけるプロセッサ(複数の場合もある)267又はコンピューティングデバイス200aにおけるプロセッサ216によって実行されると、アバタを提示することができる仮想空間又は仮想環境を処理及び生成することができる。アンリアルエンジン278は、アバタが存在することができる仮想環境を容易にする仮想環境データをSIMエンジン271に提供することができる仮想現実エンジンとすることができる。SIMエンジン271は、仮想環境を、ユーザがこの仮想環境においてトレーニングプログラムとインタラクトし、トレーニングプログラムに参加することを可能にする作成されたアバタと統合することを援助することができる。ユーザは、ネットワークを介してリモートで仮想環境にアクセスすることができるとともに、仮想環境において相互通信及びインタラクションを行うようにアバタを作成することができる。
【0050】
図1及び
図2は、2つのコンピューティングデバイス200a、200bしか示していないが、インタラクティブアバタトレーニングシステム100は、任意の数のコンピューティングデバイスを含むことができる。サーバ又はコンピューティングデバイスのプロセッサ、メモリ、又は他の要素への言及は、連携して動作する場合もあるし、そうでない場合もあるプロセッサ、メモリ、又は要素の集合体への言及を含むと理解される。メモリは、インタラクティブアバタトレーニングシステムの動作を容易にすることができるキーワード及び/又は質問を記憶するデータベースを含むことができる。その上、各サーバ及び各コンピューティングデバイスは、複数のサーバ及び/又はコンピューティングデバイスから構成することができる。例えば、各サーバコンピューティングデバイス110は、本明細書において説明されるようなアプリケーション又は他の命令を実行するために連携して動作する複数のサーバコンピューティングデバイスを含むことができる。またさらに、本明細書において説明されるいくつかの機能は、単一のコンピューティングデバイス又はサーバ上で行われるものとして示されているが、本明細書に記載の主題の様々な態様は、本明細書において説明するように、例えば、ネットワーク160を介して情報を通信する複数のコンピューティングデバイス又はサーバによって実施することができる。
【0051】
図3は、ユーザ302がインタラクトすることができる
図1及び
図2に示すようなコンピューティングデバイス200a及び200bと、コンピューティングデバイス200c、200dとを含む4つのコンピューティングデバイスを有する一例示のアバタトレーニングシステム300を示している。コンピューティングデバイス200a~200dは、ネットワーク190を介してサーバコンピュータ160と通信することができるように構成される。これらのコンピューティングデバイスは、ネットワークを介した通信が可能であるとともにインタラクティブアバタトレーニングシステムにおける計算動作の実行が可能なデスクトップコンピュータ200a、ラップトップ200b、ポータブルデバイス200c、タブレット200d、又は他の任意のデバイスとすることができる。例えば、コンピューティングデバイス200a~200dはそれぞれ、ネットワークを介して通信することが可能なデスクトップ、ラップトップコンピュータ、モバイルフォン、若しくはタブレットPC等のデバイス等のフルサイズパーソナルコンピュータ、ゲーミングシステム、ウェアラブルコンピューティングデバイス、ネットブック、又は他の任意のデバイスのうちの任意のものとすることができる。
【0052】
図4は、
図2に示すコンピューティングデバイス200aと同様に構成されるそれぞれのコンピューティングデバイス402a、402bを利用して、トレーナ406及びトレーニ404等の少なくとも2人のユーザ404、406によってインタラクティブアバタトレーニングシステムを動作させる一例を示している。作業環境におけるトレーナ、コーチ又はメンタ(mentor)等の第1のユーザ406と、トレーニ、生徒又はメンティ(mentee)等の第2のユーザ404とは、それぞれコンピューティングデバイス402a、402bを利用して、インタラクティブアバタトレーニングシステムを動作させることができる。インタラクティブアバタトレーニングシステムは、SIMエンジン271(又はコンピューティングデバイス402a、402bにプログラミング又は組み込まれたSIMエンジン224)を利用して、インタラクティブアバタトレーニングシステムを動作させることができる仮想シミュレーションアプリケーションを起動し、少なくとも2人のユーザ406、404の間のインタラクションのための仮想空間/環境を作成することができる。動作中、インタラクティブアバタトレーニングシステムの動作を可能にするために、サーバコンピュータ160及び/又はコンピューティングデバイス200aにおける回答エンジン272、226、キーターム特定エンジン275、223等の他のモジュール、並びに他の適したエンジン及びアプリケーションも利用することができる。
【0053】
1つの例では、第1のユーザ406は、インタラクティブアバタトレーニングシステムにトレーナとして登録することができる一方、第2のユーザ404は、インタラクティブアバタトレーニングシステムにトレーニとして登録することができる。インタラクティブアバタトレーニングシステムは、第1のユーザ406及び第2のユーザ404を、トレーナ-トレーニ、メンタ-メンティ、又はコーチ-生徒のインタラクションの関係で登録することを可能にする。インタラクティブアバタトレーニングシステムにおいて作成された仮想空間における第1のユーザ406と第2のユーザ404との間のインタラクションは、リアルタイムで行われるものとすることもできるし、事前にプログラミング又は事前に記録されたものとすることもできる。第1のユーザ406及び第2のユーザ404は、ヘッドマウントディスプレイ(HMD:head-mounted display)410、408及び/又はモーション若しくはジェスチャ検出器420、422及び/又は他の関連した検出器/センサを利用することによって、仮想空間におけるイベント、アクティビティ、トレーニングプログラムに参加及び関与することができる。ヘッドマウントディスプレイ(HMD)410、408、モーション若しくはジェスチャ検出器420、422、又は他の関連したセンサは、インタラクティブ経験を向上させるために、ユーザが仮想環境におけるアバタ、生物、及び他の要素を視認し、それらとインタラクトすることを可能にして、トレーニング状況のより良好な理解、関与又はシミュレーションを援助することができる。
図4に示すモーション又はジェスチャ検出器420、422は、ハンドヘルド/ハンドグリップデバイスであるが、ウェアラブルデバイス又は他の適したセンサ等の他のタイプのモーション検出器も、ユーザ406、404の動き、ジェスチャ、及び反応の検出及び検知を援助するのに利用することができることに留意されたい。或いは、ヘッドマウントディスプレイ(HMD)410、408及び/又はモーション若しくはジェスチャ検出器420、422がユーザ406、408に利用可能でないときは、ユーザ406、404は、ディスプレイスクリーン416、414に投入されたコンテンツを直接視認し、ディスプレイスクリーンに定義されたユーザインタフェースデバイス232を使用してコマンドをコンピューティングデバイス402a、402bに直接入力することによって、仮想環境におけるイベント、アクティビティ、トレーニングプログラムに参加することができる。
【0054】
図5は、コンピューティングデバイス402a、402bを介してインタラクティブアバタトレーニングシステムを実行しているときの信号処理図を示している。インタラクティブアバタトレーニングシステムは、コンピューティングデバイス402a、402b又はネットワーク190を介して電気通信するサーバコンピュータ160において構成されるSIMエンジン、回答エンジン、キーターム特定エンジン又は他の関連したエンジン等の複数のエンジンを利用するコンピューティングデバイス402a、402bにおいてプログラミングされた仮想シミュレーションアプリケーション等のソフトウェアアプリケーションとすることができる。
【0055】
図5に示す例では、第1のユーザ406は、トレーナ、コーチ、又はメンタとすることができ、第2のユーザ404は、トレーニ、生徒又はメンティとすることができる。第1のユーザ406及び第2のユーザ404の双方が、コンピューティングデバイス402a、402bにおいて仮想シミュレーションアプリケーションを実行して、インタラクティブアバタトレーニングシステムを起動することができる。仮想シミュレーションアプリケーションは、SIMエンジン及び他の関連したエンジンを実行してインタラクティブアバタトレーニングシステムを動作させるように構成される。仮想シミュレーションアプリケーションが起動されると、ユーザを表すアバタのモデルを選択又は作成するようにユーザ406、404に要求することができる。コンピューティングデバイスにおけるオーディオエンジン、グラフィックエンジン等の他のエンジンをアバタ作成のためにSIMエンジンとともに実行することができることに留意されたい。アバタ作成は、ビデオアバタ選択及びオーディオ変換選択を含むことができる。複数のアバタを表示することができ、これらの複数のアバタから、ユーザは所望のアバタを選択することができる。或いは、ユーザは、自身のアバタを作成する必要に応じて、所望のバイオメトリック詳細、次元、番号又は他の情報を入力することができる。アバタが選択又は作成されると、関連したオーディオ変換も選択することができる。或いは、ユーザは、アバタにマッピングされるオーディオ作成用の自身の音声/音を入力することができる。上述したように、アバタは、コンピューティングデバイス402a、402bにそれぞれ作成及び表示されるアバタ504、506等の2つの次元(2D)、又は仮想環境に現れる3つの次元(3D)のいずれかにおけるユーザのグラフィック表現として定義される。選択又は作成されたアバタは、ユーザの容姿に似ていなければならない場合もあるし、似ている必要がない場合もある。アバタは、コンピューティングデバイスにおけるカメラによって撮影された画像又はビデオの形態を取るユーザの表現とすることができる。
【0056】
アバタ504、506がユーザ404、406をそれぞれ表すように作成されると、ユーザ404、406は、インタラクティブアバタトレーニングシステムを実行して、アバタ504、506の間の通信を可能にすることができる。アバタ504、506の間の通信は、コンピューティングデバイス402、402bの双方がネットワーク190に接続されて接続を確立すると、起動することができる。通信構成は、インタラクティブアバタトレーニングシステムを起動するか又はこれに参加する少なくとも1つのコンピューティングデバイスの特定を含む。例えば、第1のアバタ506によって表される第1のユーザ406は、同じくインタラクティブアバタトレーニングシステムに参加するコンピューティングデバイス402aを実行している第2のユーザ404を表す第2のアバタ504等のアバタをアバタのリストから選択して、トレーニングプログラムの実行を容易にして開始することができる。
図5に示す例では、2つのアバタ506、504を利用する2人のユーザ406、404しか示されていないが、複数のユーザがインタラクティブアバタトレーニングシステムにおいて複数のアバタを同時に、非同時に、又は他の適した方法で利用することができることに留意されたい。
【0057】
アバタ504、506が選択及び作成された後、トレーニ又は生徒等の第2のユーザ404は、アクティビティデータベース268、又はインタラクティブアバタトレーニングシステムとインタフェースされた他の適したデータベース、モジュール、若しくはエンジンから提供及び生成されるトレーニングコンテンツを含む一連のトレーニングプログラムを受信することができる。トレーニングプログラム又は材料は、トレーニ又は生徒等の第2のユーザ404に与えられる適切なトレーニングコンテンツ又はプログラムを決定するトレーナ又はコーチ等の第1のユーザ406によって割り当てることもできる。コンピューティングデバイス402、402bからのディスプレイスクリーンは、トレーニングコンテンツを再生することができ、これによって、仮想環境においてトレーニングコンテンツを再生しているときに、第1のユーザ406及び第2のユーザ404は、アバタ504、506が互いにインタラクトしているのを観察することが可能になる。
【0058】
トレーニングプロセスの実行前、実行中、又は実行後に、第1のユーザ406及び第2のユーザ404は、問い合わせ、質問、状況シミュレーション又は他の関連したアクティビティを得るためにインタラクティブに参加及び通信して、トレーニングプログラムのトレーニングコンテンツがトレーニ又は生徒等の第2のユーザ404に適切に正しく配信されることを確保することができる。
【0059】
1つの例では、第1のユーザ406と第2のユーザ404との間のインタラクションは、第1のユーザ406又は第2のユーザ404のいずれかからの照会入力等の問い合わせを入力することによって開始することができる。1つの例では、問い合わせは、トレーニ又は生徒等の第2のユーザ404から入力することができる。問い合わせは、第2のユーザ404からの問い合わせ入力から識別子を特定する
図5に示すトレーニキーターム特定エンジン275a等のキーターム特定エンジンを通じて処理又は送信することができる。そのような識別子は、その後、更なる処理のためにコーチキーターム特定エンジン275bに送信することができる。コーチキーターム特定エンジン275bは、その後、問い合わせを適切な識別子とともにトレーナ又はコーチ等の第1のユーザ406に出力することができる。
図5に示す例では、コーチキーターム特定エンジン275b及びトレーニキーターム特定エンジン275aを含むキーターム特定エンジンが示されているが、いくつかの例では、1つのキーターム特定エンジンのみを利用して、第1のユーザ406及び第2のユーザ404の双方からの問い合わせ又は入力からキータームを処理、分析、又は検出することができることに留意されたい。
【0060】
適切な識別子を有する問い合わせが、トレーナ又はコーチ等の第1のユーザ406に出力された後、第1のユーザ406は、その後、トレーニ又は生徒等の第2のユーザ404からの問い合わせに応答する回答又は応答を生成することができる。第1のユーザ406から入力された回答又は応答は、その後、回答又は応答から識別子を特定するコーチキーターム特定エンジン275bを通じて送信することもできる。回答又は応答からの識別子が、コーチキーターム特定エンジン275bによって特定及び検出されると、そのような識別子は、その後、回答エンジン272に送信することができる。上述したように、回答エンジン272は、そのような識別子を更に処理して変更し、処理又は最適化されたエリートレベルの回答又は応答を生成することができる。したがって、回答エンジン272からの計算分析及び処理を利用することによって、トレーナ又はコーチ等の第1のユーザ406は、通常の方法、簡単な方法又はカジュアルな方法で回答又は応答を生成又は提供し、回答エンジン272に依拠して、高い精度、高い専門家技術、又は企業によって設定されたより新しいルール、規制若しくはコンプライアンス等の最新情報によって回答又は応答を処理し、完成させ、最適化することができる。
【0061】
或いは、回答エンジン272は、いくつかの事前に記憶された回答又は応答を含むことができる。したがって、適切な識別子が特定された後の状況では、トレーニキーターム特定エンジン275a及び/又はコーチキーターム特定エンジン275bは、その後、回答エンジン272と最初に通信して、回答エンジン272に事前に記憶された利用可能な回答又は応答を調べることができる。回答エンジン272が、トレーニ又は生徒等の第2のユーザ404からの問い合わせに応答する事前に記憶された回答又は応答を有する状況では、第1のユーザ406が問い合わせに回答又は応答する必要なく、回答又は応答をトレーニ又は生徒等の第2のユーザ404に出力することができる。したがって、トレーニングプログラムに必要とされるスタッフの動作及び人力を節約することができ、トレーニングプログラムに必要とされるトレーニング時間を短縮し、より効率的に管理することができる。
【0062】
1つの例では、回答エンジン272は、機械学習技法、人工知能システム、深層学習技法、又は他の同様の技法を利用して、トレーニ又は生徒等の第2のユーザ404からの問い合わせに対して十分に考え抜いた応答を、トレーナ又はコーチ等の第1のユーザ406が頻繁に関与することなく生成することができる。第1のユーザ406と第2のユーザ404との間のインタラクションは、種々のトレーニング要件及び状況に基づいて、リアルタイムで行うこともできるし、事前にプログラミング又は事前に記憶されたシミュレーションで行うこともできることに留意されたい。
【0063】
さらに、トレーニ又は生徒等の第2のユーザ404に出力される回答又は応答は、推薦スコアを伴うことができる。推薦スコアを有する回答又は応答は、トレーニ又は生徒等の第2のユーザ404が、自身の意図する問い合わせに最もよく合致する推薦結果を選択、受理又は拒否することを可能にするために出力することができる。
【0064】
図6は、トレーナ及びトレーニ等の少なくとも第1のユーザ及び第2のユーザによってインタラクティブアバタトレーニングシステムを利用してトレーニングプログラムを実行する一例示の方法600を示すフロー図を示している。そのような方法は、少なくとも第1のユーザ及び第2のユーザによって動作される上記に記載のコンピューティングデバイス200a、200b、200c、200d、402a、402bのうちの1つ以上、それらの変更形態、又は異なる構成を有する様々な他のコンピューティングデバイスのうちの任意のもの等のコンピューティングデバイスを利用する動作によって実行することができる。トレーニングプログラムに応答した、ユーザに関連付けられたデータへのアクセス又はこのデータの収集には、ユーザからの認可及び入力が必要とされる。
【0065】
以下の方法に関与する動作は、記載された正確な順序で行われなくてもよい。むしろ、様々な動作を異なる順序で又は同時にハンドリングすることができ、動作を追加することもできるし、省くこともできる。
【0066】
動作は、ブロック602a及び602bにおいて開始する。第1のユーザは、第1のコンピューティングデバイスを利用して、ブロック602a、604a、606a、608、610、612、614、616を含む方法600を利用するインタラクティブアバタトレーニングシステムを動作させることができる一方、第2のユーザは、第2のコンピューティングデバイスを利用して、ブロック602b、604b、606b、608、610、612、614、616を含む方法600を利用するインタラクティブアバタトレーニングシステムを動作させることができることに留意されたい。第1のユーザと第2のユーザとの間の通信がネットワークを介して起動されると、第1のユーザ及び第2のユーザは、インタラクティブアバタトレーニングシステムを通じてインタラクティブに通信することができる。
【0067】
ブロック602aにおいて、第1のユーザは、第1のコンピューティングデバイスにおいてインタラクティブアバタトレーニングシステムを動作させるアプリケーションに自身のプロファイルを入力することができる。同様に、ブロック602bにおいて、第2のユーザは、第2のコンピューティングデバイスにおいてインタラクティブアバタトレーニングシステムを動作させるアプリケーションに自身のプロファイルを入力することができる。
【0068】
ユーザプロファイルが入力された後、ブロック604aにおいて、第1のコンピューティングデバイスによって第1のユーザの画像及び音をキャプチャ及び収集することができる。同様に、ブロック604bにおいて、第2のコンピューティングデバイスによって第2のユーザの画像及び音をキャプチャ及び収集することができる。
【0069】
ブロック606aにおいて、プロファイル及びキャプチャされた情報に基づいて、第1のユーザは、インタラクティブアバタトレーニングシステムにおいて第1のアバタを作成することができる。ブロック606bにおいて、第2のユーザは、インタラクティブアバタトレーニングシステムにおいて第2のアバタを作成することができる。
【0070】
アバタが作成されると、ブロック608において、これらのアバタ間の通信を第1のユーザ及び/又は第2のユーザによる相互選択によって起動することもできるし、インタラクティブアバタトレーニングシステムによって自動的に開始することもできる。例えば、トレーナ等の第1のユーザが、インタラクティブアバタトレーニングシステムを介してトレーニ等の第2のユーザを選択してトレーニングプログラムを進めることができる。或いは、トレーニ等の第2のユーザが、トレーナ等の第1のユーザを選択してトレーニングプログラムを進めることができる。いくつかの例では、インタラクティブアバタトレーニングシステムは、個々のユーザによって必要とされるトレーニングコンテンツのタイプに基づいて第1のユーザ及び第2のユーザを自動的にペアリングする計算マッチングプロセスを実行することができる。
【0071】
トレーナ及びトレーニ等のユーザのペアが決定されると、ブロック610において、トレーニングプログラムのトレーニングコンテンツを選択して、トレーニ等の第2のユーザをトレーニングするのに必要とされる情報を提供することができる。1つの例では、トレーニングコンテンツは、差別トレーニング材料及びハラスメントトレーニング材料、並びに確立された所定の手続き及び会社ポリシに従って生成されたコンテンツを含むことができる。これらの手続きは、確立された人事ガイドラインに従うことができ、キーターム特定エンジンにおいて適用されるキーワードを確立するのに使用することができる。トレーニングプログラムは、企業における新参又は古参の従業員等のトレーニが、何がハラスメント又は差別であり、何がハラスメント又は差別でないのか、及び組織において設定されたルール、コンプライアンス、規制、又は関連した法に違反することなくその状況にうまく対処する方法について学習することを助けることができる。
【0072】
トレーニングプログラムの間又はその後、ブロック612において、第1のユーザ及び第2のユーザは、インタラクティブに双方向通信して、質問、問い合わせ、又は任意のシミュレーションされた状況がある場合にそれに対する応答、回答又はフィードバックを提供することができる。例えば、第2のユーザによって制御されるトレーニアバタは、インタラクティブアバタトレーニングシステムにおける照会入力の生成等の質問をトレーナアバタに尋ねることができる。第1のユーザによって制御されるトレーナアバタは、システムにおける初期応答入力の生成等の質問に回答することができる。インタラクティブトレーニングシステムにおける回答エンジンは、システムにおける処理又は最適化された応答入力を生成すること等の、トレーナアバタからの回答又は応答を処理し、最適化し、完成させ、回答又は応答の精度を向上させ、通信効率を促進することを援助することができる。別の例では、第1のユーザによって制御されるトレーナアバタは、トレーニングコンテンツが第2のユーザによって制御されるトレーニアバタに誤解も誤伝達もなく正しく且つ適切に配信されることを確保するために、トレーニアバタに質問を尋ねる(又はテストを行う)ことができる。
【0073】
トレーナアバタ及びトレーニアバタのインタラクション及び通信の間、ブロック614において、インタラクティブコンテンツをコンピューティングデバイスにおけるデータベース、又はネットワークを介してサーバコンピュータにおけるデータベースに記憶することができる。上述したように、回答エンジンは、回答エンジンに生成される各回答又は各応答を記憶し、計算分析を経由させることができるように、機械学習技法を利用することができる。これを行うことによって、同様の質問又は問い合わせが、その後のトレーニアバタから再度なされたとき、インタラクティブアバタトレーニングシステムにおける回答エンジンは、第1のユーザである実際の人間が同様の質問に繰り返し対処する必要なく、トレーナアバタの提示下で、質問に対する適切な回答又は応答を自動的に生成することができる。したがって、トレーニング効率を改善することができ、トレーニングプログラムが実行されるときの企業における人力を節約することができる。さらに、保存されたインタラクティブコンテンツは、トレーニアバタが繰り返し見直して再学習して、学習経験の向上又は学習者のニューラル埋め込みの補強を行うことができる。
【0074】
トレーニングコンテンツが配信され、質問が回答された後、ブロック616において、インタラクティブアバタトレーニングシステムは、トレーナアバタ、トレーニアバタ、又はそれらの双方からの確認を探索することができる。双方の側がトレーニングプログラムの完了によって確認されると、ブロック618に示すように、トレーニングプログラムは、その後、終了することができる。対照的に、トレーナアバタ又はトレーニアバタのいずれかの側が、追加の説明又は議論を必要とする何らかの未解決の質問又は状況が存在すると考えている場合には、トレーニングプログラムをループしてブロック612に戻し、更なるインタラクション及び通信を行うことができる。例えば、トレーナアバタは、テスト質問又は状況シミュレーションのリストを、応答する及び参加するトレーニアバタに提供することができる。トレーニアバタが、質問に正しく回答したとき、又は、適切な正しい方法で状況シミュレーションに対して応答を行ったとき、トレーナアバタは、トレーニングプロセスを完了とマークすることを承認及び承諾することができる。対照的に、トレーニアバタが、実行されたテスト又は状況シミュレーションからの或る正答レベルに合格していないとき、ブロック610において選択されたトレーニングコンテンツのやり直し又は再学習を行うようにトレーニアバタに要求することもできるし、トレーナアバタは、トレーニアバタがトレーニングテストを理解し、これに合格することを助ける追加のトレーニングコンテンツを割り当てることもできる。
【0075】
図7は、インタラクティブアバタトレーニングシステムを利用してトレーニングプログラムを実行する一例示の方法700を示すフロー図を示している。以下の方法に関与する動作は、記載された正確な順序で行われなくてもよい。むしろ、様々な動作を異なる順序で又は同時にハンドリングすることができ、動作を追加することもできるし、省くこともできる。
【0076】
動作はブロック702において開始する。第1のアバタを作成する第1のプロファイル入力が、インタラクティブアバタトレーニングシステム等のシステムにおける1つ以上のプロセッサによって受信される。
【0077】
ブロック704において、第1のアバタの第1の画像が、システムにおける1つ以上のプロセッサによってシステムにおいて提示される。
【0078】
ブロック706において、第2のアバタを作成する第2のプロファイル入力が、システムにおける1つ以上のプロセッサによって受信される。
【0079】
ブロック708において、第2のアバタの第2の画像が、システムにおける1つ以上のプロセッサによって提示される。
【0080】
ブロック710において、第2のアバタからの照会入力が、システムにおける1つ以上のプロセッサによって受信される。
【0081】
ブロック712において、照会入力が、システムにおける1つ以上のプロセッサによってシステムにおける第1のアバタに送信される。
【0082】
ブロック714において、第1のアバタからの初期応答入力が、システムにおける1つ以上のプロセッサによって生成される。
【0083】
ブロック716において、初期応答入力が、システムにおける1つ以上のプロセッサによって処理される。
【0084】
ブロック718において、処理された応答が、システムにおける1つ以上のプロセッサによって初期応答入力に基づいて生成される。
【0085】
ブロック720において、処理された応答が、システムにおける1つ以上のプロセッサによって第2のアバタに出力される。
【0086】
本開示は、インタラクティブアバタトレーニングシステムを提供する。このインタラクティブアバタトレーニングシステムは、トレーナが、仮想環境において、トレーニからの質問に対して単純化されたフォーマットで回答/応答を入力することを可能にする。インタラクティブアバタトレーニングシステムにおける回答エンジンは、トレーニングプロセスを簡潔に維持して全体的なトレーニング時間を節約することができるように、その後、回答又は応答を処理し、専門家レベルに最適化することができる。さらに、最適化又は処理された回答は、トレーニに与えられるトレーニング精度も促進することができる。回答又は応答は、トレーニが、自身の意図する問い合わせに最もよく合致する回答を選択することができるように、推薦スコアとともに更に出力することができる。
【0087】
別段の指示がない限り、上述の代替的な例は、互いに排他的ではなく、固有の利点を達成するために様々な組み合わせで実施することができる。上述したこれらの機能及び他の変形形態並びに組み合わせを、特許請求の範囲によって規定される主題から逸脱することなく利用することができ、上述の実施形態の記載は、特許請求の範囲によって規定される主題を限定するのではなく、例示するものとして解釈されるべきである。加えて、本明細書に記載した例の提供、及び「等」、「を含む」等という言い回しの節は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、こうした例は、多くのあり得る実施形態のうちの1つのみを例示することが意図されている。さらに、様々な図における同じ参照符号は、同じ又は類似の要素を識別することができる。
【国際調査報告】