特許 6382490 シンビオティックヘルパー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6382490

(24)【登録日】2018年8月10日

(45)【発行日】2018年8月29日

(54)【発明の名称】シンビオティックヘルパー

(51)【国際特許分類】

   G09B 9/00 20060101AFI20180820BHJP

   A61H 3/06 20060101ALI20180820BHJP

   G06Q 50/20 20120101ALI20180820BHJP

【ＦＩ】

   G09B9/00 Z

   A61H3/06 A

   G06Q50/20

【請求項の数】27

【外国語出願】

【全頁数】24

(21)【出願番号】特願2013-122847(P2013-122847)

(22)【出願日】2013年6月11日

(65)【公開番号】特開2013-257565(P2013-257565A)

(43)【公開日】2013年12月26日

【審査請求日】2016年6月10日

(31)【優先権主張番号】13/494,223

(32)【優先日】2012年6月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500102435

【氏名又は名称】ダッソー システムズ

【氏名又は名称原語表記】ＤＡＳＳＡＵＬＴ ＳＹＳＴＥＭＥＳ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ジャン−ジャック グリモー

(72)【発明者】

【氏名】ガース エドワード コールマン

【審査官】 比嘉 翔一

(56)【参考文献】

【文献】 米国特許出願公開第２００４／０１４５４９６（ＵＳ，Ａ１）

【文献】 特開２００２−３６６０２１（ＪＰ，Ａ）

【文献】 特開２００１−１１７０４６（ＪＰ，Ａ）

【文献】 特開平１１−２７２６４７（ＪＰ，Ａ）

【文献】 特開２００３−１７８１３１（ＪＰ，Ａ）

【文献】 特開２０１０−１９７１５３（ＪＰ，Ａ）

【文献】 特開２００５−３１５８０２（ＪＰ，Ａ）

【文献】 特開２００１−３４４３５２（ＪＰ，Ａ）

【文献】 特開２００１−３３１２１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００２／００４４１５２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００−９／５６

Ｇ０９Ｂ１７／００−１９／２６

Ｇ０６Ｑ５０／２０

Ａ６１Ｈ ３／０６

(57)【特許請求の範囲】

【請求項1】

１つまたは複数のコンピュータのプロセッサが実行するコンピュータベースの方法であって、
少なくとも１つのセンサにより、ユーザの環境における刺激を検出するステップであって、前記刺激は、視覚的刺激、聴覚的刺激、嗅覚的刺激、温度刺激、電磁的刺激、生物学的刺激、および位置の刺激のうちの少なくとも１つを含む、検出するステップと、
生物学的センサから前記ユーザの生命兆候のうちの１つまたは複数を、データベースから前記ユーザの訓練のレベルを、電磁センサから前記環境における前記刺激に対する前記ユーザの視線を、または全地球測位（ＧＰＳ）センサから前記刺激に関連する前記環境内の前記ユーザの位置を検出し、前記検出されたものを前記ユーザの状態として定義するステップと、
前記検出された刺激に応答して、メモリに記憶された訓練データベースから、前記検出された前記ユーザの状態、前記ユーザの能力の判断されたレベルおよび前記環境において前記検出された刺激に基づく可変レベルの支援に対応する訓練技法をロードすることにより、前記ユーザが身につけた前記少なくとも１つのセンサを収容するヘッドマウント・ディスプレイ上に、前記検出された前記ユーザの状態および前記環境において前記検出された刺激に基づく前記ユーザに対する可変レベルの支援を提供するステップであって、前記可変レベルの支援の提供は、より低いレベルの支援を必要とさせるように前記ユーザを訓練することと、さらに訓練に費やされた時間、前記ユーザによる間違い、前記ユーザが閲覧したヒント、経路上でのユーザの躊躇、前記ユーザによる事象の性質またはオブジェクトの状態の誤認、前記ユーザによる正しい応答、および前記ユーザが問題を成功裏に回答または解決するのに費やされた時間のうちの少なくとも１つを含むログを捕捉し、ならびに前記捕捉されたログに基づいて、支援の前記レベルを判断することとを含む、ステップと
を含むことを特徴とするコンピュータベースの方法。

【請求項2】

前記ユーザの前記環境内の前記刺激を検出するステップは、視覚的刺激、聴覚的刺激、身体的刺激、振動性刺激、電磁的刺激、嗅覚的刺激、温度刺激、および運動刺激のうちの少なくとも１つを検出するステップを含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項3】

前記ユーザの前記状態を検出するステップは、前記ユーザが話す自然言語を検出するステップを含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項4】

前記ユーザの能力のレベルを判断するステップと、
能力の前記判断されたレベルに基づいて、前記可変レベルの支援を調整するステップと
をさらに含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項5】

可変レベルの支援を提供するステップは、
第１のレベルの支援に関して、没入型仮想現実をディスプレイに提供するステップと、
第２のレベルの支援に関して、拡張された仮想現実を提供するステップと、
第３のレベルの支援に関して、わずかに拡張された現実を提供するステップと
を含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項6】

前記没入型仮想現実、拡張された仮想現実、またはわずかに拡張された現実の前記環境内の前記検出された刺激を前記ユーザに警告するステップをさらに含むことを特徴とする請求項５に記載のコンピュータベースの方法。

【請求項7】

前記没入型仮想現実内にコンテンツを執筆するステップをさらに含み、可変レベルの支援を提供するステップは、前記執筆されたコンテンツをさらに提供することを特徴とする請求項５に記載のコンピュータベースの方法。

【請求項8】

前記可変レベルの支援を提供するステップは、前記ユーザを訓練して、より低いレベルの支援を必要とさせるステップを含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項9】

可変レベルの支援を前記ユーザに提供するステップは、個人的な安全訓練またはチームの安全訓練を提供するステップを含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項10】

可変レベルの支援を前記ユーザに提供するステップは、前記ユーザのデジタルフットプリントを解析して、技能のレベルを判断し、技能の前記判断されたレベルに基づいて、提供された可変レベルの支援を修正するステップを含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項11】

前記検出された刺激から判断された肯定的な推論および否定的な推論を前記ユーザに警告するステップをさらに含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項12】

前記検出された環境のリスク評価に基づいて、指示を前記ユーザに提供するステップをさらに含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項13】

前記検出された刺激内の異常を識別するステップと、
前記異常に関する補足情報を判断するステップと、
前記異常の存在および前記判断された補足情報を前記ユーザに警告するステップと
をさらに含むことを特徴とする請求項１に記載のコンピュータベースの方法。

【請求項14】

プロセッサと、
記憶されたコンピュータ命令を有するメモリであって、前記コンピュータ命令が、
少なくとも１つのセンサにより、ユーザの環境における刺激を検出するように構成された環境刺激検出モジュールであって、前記刺激は、視覚的刺激、聴覚的刺激、嗅覚的刺激、温度刺激、電磁的刺激、生物学的刺激、および位置の刺激のうちの少なくとも１つを含む、環境刺激検出モジュールと、
生物学的センサから前記ユーザの生命兆候のうちの１つまたは複数を、データベースから前記ユーザの訓練のレベルを、電磁センサから前記環境における前記刺激に対する前記ユーザの視線を、または全地球測位（ＧＰＳ）センサから前記刺激に関連する前記環境内の前記ユーザの位置を検出し、前記検出されたものを前記ユーザの状態として定義するように構成されたユーザ状態検出モジュールと、
前記検出された刺激に応答して、メモリに記憶された訓練データベースから、前記検出された前記ユーザの状態、前記ユーザの能力の判断されたレベルおよび前記環境において前記検出された刺激に基づく可変レベルの支援に対応する訓練技法をロードすることにより、前記ユーザが身につけた前記少なくとも１つのセンサを収容するヘッドマウント・ディスプレイ上に、前記検出された前記ユーザの状態および前記環境において前記検出された刺激に基づく前記ユーザに対する可変レベルの支援を提供するように構成された支援モジュールであって、前記支援モジュールは、より低いレベルの支援を必要とさせるように前記ユーザを訓練し、ならびにさらに訓練に費やされた時間、前記ユーザによる間違い、前記ユーザが閲覧したヒント、経路上でのユーザの躊躇、前記ユーザによる事象の性質またはオブジェクトの状態の誤認、前記ユーザによる正しい応答、および前記ユーザが問題を成功裏に回答または解決するのに費やされた時間のうちの少なくとも１つを含むログを捕捉し、前記捕捉されたログに基づいて、支援の前記レベルを判断するようにさらに構成された、支援モジュールと
を実装するために前記プロセッサを構成するように、前記プロセッサに動作可能に結合されたメモリと
を備えることを特徴とするシステム。

【請求項15】

前記環境刺激検出モジュールは、視覚的刺激、聴覚的刺激、身体的刺激、振動性刺激、電磁的刺激、嗅覚的刺激、温度刺激、および運動刺激のうちの少なくとも１つを検出するようにさらに構成されることを特徴とする請求項１４に記載のシステム。

【請求項16】

前記ユーザ状態検出モジュールは、前記ユーザが話す自然言語を検出するようにさらに構成されることを特徴とする請求項１４に記載のシステム。

【請求項17】

前記ユーザの能力のレベルを判断するように構成された能力判断モジュールと、
能力の前記判断されたレベルに基づいて、前記可変レベルの支援を調整するように構成された調整モジュールと
をさらに備えることを特徴とする請求項１４に記載のシステム。

【請求項18】

前記支援モジュールは、
第１のレベルの支援に関して、没入型仮想現実をディスプレイに提供し、
第２のレベルの支援に関して、拡張された仮想現実を提供し、
第３のレベルの支援に関して、わずかに拡張された現実を提供する
ようにさらに構成されることを特徴とする請求項１４に記載のシステム。

【請求項19】

前記没入型仮想現実、拡張された仮想現実、またはわずかに拡張された現実の前記環境内の前記検出された刺激を前記ユーザに警告するように構成された警告モジュールをさらに備えることを特徴とする請求項１８に記載のシステム。

【請求項20】

前記支援モジュールは、前記没入型仮想現実内のコンテンツを執筆するようにさらに構成され、前記支援モジュールは、前記執筆されたコンテンツを提供するようにさらに構成されることを特徴とする請求項１８に記載のシステム。

【請求項21】

前記支援モジュールは、前記ユーザを訓練して、より低いレベルの支援を必要とさせるようにさらに構成されることを特徴とする請求項１４に記載のシステム。

【請求項22】

前記支援モジュールは、個人的な安全訓練またはチームの安全訓練を提供するようにさらに構成されることを特徴とする請求項１４に記載のシステム。

【請求項23】

可変レベルの支援を前記ユーザに提供することは、前記ユーザのデジタルフットプリントを解析して、技能のレベルを判断し、技能の前記判断されたレベルに基づいて、提供された可変レベルの支援を修正することを含むことを特徴とする請求項１４に記載のシステム。

【請求項24】

前記検出された刺激から判断された肯定的な推論および否定的な推論を前記ユーザに警告するように構成された警告モジュールをさらに備えることを特徴とする請求項１４に記載のシステム。

【請求項25】

前記検出された環境のリスク評価に基づいて、指示を前記ユーザに提供するように構成されたリスクベースの指示モジュールをさらに備えることを特徴とする請求項１４に記載のシステム。

【請求項26】

前記検出された刺激内の異常を識別するように構成された異常識別モジュールと、
前記異常に関する補足情報を判断するように構成された補足情報判断モジュールと、
前記異常の存在および前記判断された補足情報を前記ユーザに警告するように構成された警告モジュールと
をさらに備えることを特徴とする請求項１４に記載のシステム。

【請求項27】

ユーザに対する所定レベルの支援を記憶するように構成されたメモリ領域と、
前記メモリ領域に結合されたプロセッサと
を備え、前記プロセッサは、
少なくとも１つのセンサにより、ユーザの環境における刺激を検出するように構成され、前記刺激は、視覚的刺激、聴覚的刺激、嗅覚的刺激、温度刺激、電磁的刺激、生物学的刺激、および位置の刺激のうちの少なくとも１つを含み、
前記プロセッサは、
生物学的センサから前記ユーザの生命兆候のうちの１つまたは複数を、データベースから前記ユーザの訓練のレベルを、電磁センサから前記環境における前記刺激に対する前記ユーザの視線を、または全地球測位（ＧＰＳ）センサから前記刺激に関連する前記環境内の前記ユーザの位置を検出し、前記検出されたものを前記ユーザの状態として定義し、
前記検出された刺激に応答して、メモリに記憶された訓練データベースから、前記検出された前記ユーザの状態、前記ユーザの能力の判断されたレベルおよび前記環境において前記検出された刺激に基づく可変レベルの支援に対応する訓練技法をロードすることにより、前記ユーザが身につけた前記少なくとも１つのセンサを収容するヘッドマウント・ディスプレイ上に、前記検出された前記ユーザの状態および前記環境において前記検出された刺激に基づく前記ユーザに対する可変レベルの支援を提供するようにさらに構成され、前記可変レベルの支援の提供は、より低いレベルの支援を必要とさせるように前記ユーザを訓練し、ならびにさらに訓練に費やされた時間、前記ユーザによる間違い、前記ユーザが閲覧したヒント、経路上でのユーザの躊躇、前記ユーザによる事象の性質またはオブジェクトの状態の誤認、前記ユーザによる正しい応答、および前記ユーザが問題を成功裏に回答または解決するのに費やされた時間のうちの少なくとも１つを含むログを捕捉し、前記捕捉されたログに基づいて、支援の前記レベルを判断することを含む
ように構成されることを特徴とする装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザを訓練するための機械または訓練環境を設計するコンピュータベースの方法およびシステムに関する。

【背景技術】

【0002】

機械を使用できるように、または活動を実行できるようにユーザを訓練することは、通常、実際の機械または訓練環境を使用することによって実行される。特定の状況に関して訓練するためだけに使用するための特定の機械を設計することも可能である。さらに、活動の際にユーザを訓練するための特定の環境を設計することが可能である。

【発明の概要】

【課題を解決するための手段】

【0003】

一実施形態では、コンピュータベースの方法は、ユーザの状態を検出するステップと、ユーザの環境内の刺激を検出するステップとを含む。コンピュータベースの方法は、次いで、ユーザの検出された状態およびその環境内の検出された刺激に基づいて、可変レベルの支援をユーザに提供する。

【0004】

別の実施形態では、ユーザの環境内の刺激を検出するステップは、視覚的刺激、聴覚的刺激、身体的刺激、振動性刺激、電磁的刺激、嗅覚的刺激、温度刺激、または運動刺激を検出するステップを含むことが可能である。ユーザの状態を検出するステップは、ユーザが話す自然言語を検出するステップを含むことが可能である。

【0005】

一実施形態では、コンピュータベースの方法は、ユーザの能力のレベルを判断するステップを含む。コンピュータベースの方法は、（例えば、ユーザの）能力の判断されたレベルに基づいて、可変レベルの支援を調整するステップも含む。

【0006】

別の実施形態では、可変レベルの支援を提供するステップは、第１のレベルの支援に関して、没入型仮想現実（ｉｍｍｅｒｓｉｖｅ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）をディスプレイに提供するステップと、第２のレベルの支援に関して、拡張された仮想現実を提供するステップと、第３のレベルの支援に関して、わずかに拡張された現実を提供するステップとを含む。コンピュータベースの方法は、没入型仮想現実、拡張された仮想現実、わずかに拡張された現実の環境内の検出された刺激をユーザにさらに警告することが可能である。

【0007】

一実施形態では、コンピュータベースの方法は、ユーザを訓練して、より低いレベルの支援を必要とさせることによって、可変レベルの支援をさらに提供することが可能である。可変レベルの支援をユーザに提供するステップは、個人的な安全訓練またはチームの安全訓練を提供するステップを含むことが可能である。

【0008】

一実施形態では、コンピュータベースの方法は、検出された刺激から判断された肯定的な推論および否定的な推論をユーザに警告するステップを含むことが可能である。肯定的な推論は、例えば、環境的刺激もしくは環境状況またはユーザ刺激もしくはユーザ状況の変化からの事象または状態の推論である。否定的な推論は、例えば、環境的刺激もしくは環境状況またはユーザ刺激もしくはユーザ状況の変化の欠如からの事象または状態の推論である。

【0009】

一実施形態では、コンピュータベースの方法は、検出された環境のリスク評価に基づいて、指示をユーザ提供することが可能である。

【0010】

一実施形態では、コンピュータベースの方法は、検出された刺激内の異常を識別することも可能である。コンピュータベースの方法は、その異常に関する補足情報を判断することも可能である。コンピュータベースの方法は、次いで、その異常の存在および判断された補足情報をユーザに警告することが可能である。

【0011】

別の実施形態では、システムは、ユーザの状態を検出するように構成されたユーザ状態検出モジュールを含むことが可能である。システムは、ユーザの環境内の刺激を検出するように構成された環境刺激検出モジュールを含むことも可能である。システムは、ユーザの検出された状態および環境内の検出された刺激に基づいて、可変レベルの支援をユーザに提供するように構成された支援モジュールをさらに含むことが可能である。

【0012】

別の実施形態では、装置は、ユーザに対する事前に設定された支援のレベルを記憶するように構成されたメモリ領域を含むことが可能である。この装置は、前記メモリ領域に結合されたプロセッサをさらに含むことが可能である。このプロセッサは、ユーザの状態を検出し、ユーザの環境内の刺激を検出するように構成可能である。このプロセッサは、ユーザの検出された状態および環境内の検出された刺激に基づいて、事前に設定された支援のレベルのうちの少なくとも１つをユーザに提供するようにさらに構成可能である。この装置は、事前に設定された支援のレベルのうちの少なくとも１つをユーザに提供するように構成されたディスプレイおよびスピーカのうちの少なくとも１つを含む装着可能モジュールをさらに含むことが可能である。

【図面の簡単な説明】

【0013】

前述の説明は、異なる図を通して類似の参照符号が同じ部分を指す添付の図面で例示される、本発明の例示的な実施形態の以下のより特定の記述から明らかになるであろう。これらの図面は、必ずしも原寸に比例しているとは限らず、代わりに、本発明の実施形態を例示することに重点が置かれている。

【図1】本発明の原理による、環境内でシンビオティックヘルパー（ｓｙｍｂｉｏｔｉｃ ｈｅｌｐｅｒ）を使用しているユーザの図である。

【図2】中央システムと通信するために用いられるシンビオティックヘルパーのある例示的な実施形態のブロック図である。

【図3】シンビオティックパートナーシステムおよびネットワークと共に環境内で用いられるシンビオティックヘルパーのある例示的な実施形態のブロック図である。

【図4】シンビオティックヘルパーシステムによって用いられる訓練プロセスのある例示的な実施形態の流れ図である。

【図5】シンビオティックヘルパーによって用いられるプロセスのある例示的な実施形態の流れ図である。

【図6】シンビオティックヘルパーによって用いられるプロセスのある例示的な実施形態の流れ図である。

【図7】シンビオティックヘルパーシステムによって用いられるプロセスのある例示的な実施形態を示す流れ図である。

【図8】本発明の一実施形態において、ユーザと対話するように構成されたシンビオティックヘルパーのブロック図である。

【図9】没入型仮想現実から拡張された実世界へまた実世界へのメンタルモデル（ｍｅｎｔａｌ ｍｏｄｅｌ）の転送のプロセスのある例示的な実施形態の流れ図である。

【図10】シンビオティックヘルパーによって用いられる訓練生からの対話前操作のある例示的なプロセスの流れ図である。

【図11】シンビオティックヘルパーによって用いられる訓練生からの対話後操作のある例示的なプロセスの流れ図である。

【発明を実施するための形態】

【0014】

以下、本発明の例示的な実施形態を記述する。

【0015】

図１は、環境１１０内でシンビオティックヘルパー１０４を使用しているユーザ１０２の図１００である。シンビオティックヘルパー１０４は、仮想現実環境をユーザ１０２に提供することによってユーザ１０２を支援する。シンビオティックヘルパー１０４は、異なるレベルの仮想現実をユーザ１０２に提供することができる。シンビオティックヘルパー１０４は、没入型仮想現実（または、没入型現実）をユーザ１０２に提供することができる。没入型仮想現実は、実世界環境１１０と無関係の完全な仮想現実環境をユーザに提供する。例えば、没入型仮想現実は、ユーザの安全性を危険にさらさずに重要な訓練経験をユーザに提供する訓練シミュレーションであってよい。シンビオティックヘルパーは、没入型仮想現実を用いることによって、実世界環境１１０に関連する従来のリスク（例えば、身体的傷害、器物破損など）からユーザを守る。

【0016】

シンビオティックヘルパー１０４は、拡張された現実（または、拡張された仮想現実）をユーザ１０２に提供することもできる。拡張された現実は、重要な情報をオーバレイすることが可能な環境１１０の表現をユーザ１０２に提供することができる。例えば、シンビオティックヘルパー１０４は、特定の機械または機械装置のセットをどのように使用するかに関してオーバレイされた指示と共に、環境１１０の表現を表示することができる。別の例として、シンビオティックヘルパー１０４は、ユーザに方向を示すためのＧＰＳロケータに基づいてオーバレイされた指示と共に、環境１１０の表現を表示することができる。シンビオティックヘルパー１０４は、ユーザの能力のレベルを判断して、能力のレベルにふさわしい指示を表示することができる。例えば、シンビオティックヘルパー１０４は、低い訓練レベルのユーザ１０２に、基本的な、またはより詳細な指示を表示することができ、かつより高い訓練レベルのユーザ１０２に、より高度な、もしくはより複合的なタスクに関するより高度な、またはより高いレベルの指示を表示することができる。加えて、シンビオティックヘルパー１０４は、詳細な段階的な指示を提供することによって、低いレベルの訓練から複合的なタスクまでユーザ１０２を案内することができる。シンビオティックヘルパー１０４は、そのプロセスの侵入性がより低く、あまり詳細でないリマインダーを提供することによって、高い訓練レベルのユーザ１０２が同じタスクを経験するのを支援することができる。

【0017】

シンビオティックヘルパー１０４は、ユーザ１０２が後でより少ない訓練を必要とするように、ユーザ１０２に訓練を提供する。例えば、シンビオティックヘルパー１０４は、シンビオティックヘルパー１０４が次の訓練セッションで、より低いレベルの支援（例えば、指示性がより低いレベルの訓練）を提供できるような訓練をユーザ１０２に提供することができる。これは、シンビオティックヘルパー１０４の支援から独立するようにユーザを訓練することが可能である。

【0018】

シンビオティックヘルパー１０４は、わずかに拡張された現実（または、わずかに拡張された仮想現実）をユーザ１０２に提供することもできる。わずかに拡張された現実は、ユーザ１０２の注意（例えば、即時の注意）を必要とする刺激の通知または警告の表現と共に環境１１０の表現を表示する。例えば、環境１１０内で、ユーザ１０２は、視覚的刺激１０８および／または聴覚的刺激１０６のいずれかを認知できるほど近接している場合がある。図１は、自動車として視覚的刺激１０８を、自動車から発せられた音として聴覚的刺激１０６を例示するが、視覚的刺激１０８および聴覚的刺激１０６は環境１１０内で生み出される何らかの刺激であってよい点を当業者は認識されよう。ユーザ１０２は、人の知覚のしきい値に満たないが、シンビオティックヘルパー１０４などの機械の知覚のしきい値を超える視覚的刺激１０８または聴覚的刺激１０６のいずれかに近接している場合がある。シンビオティックヘルパー１０４は、視覚的刺激および音響刺激を検出するように構成されたプロセッサに結合されたカメラならびにマイクロフォンを利用することによって、視覚的刺激１０８および聴覚的刺激１０６を検出することができる。シンビオティックヘルパー１０４は、運動センサ、熱センサ、光センサなどを同じように用いることができる。

【0019】

シンビオティックヘルパー１０４は、視覚的刺激１０８および聴覚的刺激１０６の通知をユーザに対して生成することができる。ある例示的な通知は、シンビオティックヘルパー１０４が、自然言語もしくはコードを使用して、その刺激をユーザ１０２に知らせるためにユーザ１０２に話しかける音響通知、または環境１１０の表現上でオーバレイされた視覚的通知など、警告であってよい。例えば、視覚的通知は、ユーザが読み取る言語メッセージか、例えば、その刺激を明るい色もしくは注意を引く枠もしくは形状で囲むことによって、またはその刺激を比較的明るい状態に残しながら、環境１１０の残りの部分を不鮮明にすることによって特定の刺激が強調表示された、環境１１０の表現であってもよい。シンビオティックヘルパー１０４は、これらの方法のうちのいずれか１つもしくはそれらの組合せを用いて、視覚的手段によって、または聴覚的手段によってのいずれかで、ユーザの注意を特定の刺激に向けさせることができる点を当業者は認識されたい。

【0020】

図２は、中央システム２０２と通信するために用いられるシンビオティックヘルパー２０４のある例示的な実施形態２００のブロック図である。中央システム２０２は、知識ベース２０８、１つまたは複数のマスタリポジトリ２１０、他のチームメンバモジュール２１２、および追加の入力モジュール２１４からの情報を交換することによって、シンビオティックヘルパー２０４と通信するために結合されたワイヤレス通信モジュール２０６を含む。さらに、ワイヤレス通信モジュール２０６は、視覚情報、聴覚情報、嗅覚情報、またはシンビオティックヘルパー２０４が記録もしくは収集するように構成された何らかのその他の情報など、環境から検出された情報をシンビオティックヘルパー２０４から受信するように構成される。

【0021】

知識ベース２０８は、シンビオティックヘルパー２０４がそれを用いてそのユーザを支援するように構成された様々な活動の知識を含む。例えば、知識ベース２０８は、様々な刺激に対応するデータを含むことが可能である。知識ベース２０８は、シンビオティックヘルパー２０４がその環境内で検出して、その刺激の存在をユーザに通知できる様々な聴覚情報または視覚情報のモデルを含むことが可能である。

【0022】

（１つもしくは複数の）マスタリポジトリ２１０は、言語または文化に特定の（１つもしくは複数の）知識ベースである。一実施形態では、マスタリポジトリ２１０は、言語および文化の知識を橋渡しすることができる。マスタリポジトリ２１０は、コンテンツと関係とを含む。

【0023】

本明細書で説明される場合、概念は、（製品、コンピュータ、疾病、企業、およびツールなど）オブジェクトのタイプ、ならびに（足の爪を切る、旅行に出る、診断手順を実行する、および医薬品を製造するなど）活動のタイプを含む。

【0024】

本明細書で説明される場合、関係は、概念を一緒に結合させる。関係は、分類関係（例えば、概念のサブタイプ、サブクラス、もしくはインスタンス）、パートノミック（ｐａｒｔｏｎｏｍｉｃ）関係（例えば、デバイスの、組織の、もしくは事象の一部である概念）、地理空間関係（例えば、概念の近接性、概念のインスタンスの接触、概念の隣接性、もしくは概念の相対的位置）、ツール関係および／またはリソース関係（例えば、２．５インチ（６．３５ｃｍ）から３．５インチ（８．８９ｃｍ）用のボールベアリング抽出器を備えた、スライドハンマーに結合された３インチ（７．６２ｃｍ）のボールベアリング）、ならびに時間関係（例えば、前、後、同時、共存）であってよい。

【0025】

マスタリポジトリ２１０は、多くの基本的および複合的な概念ならびに関係の集約である。これらの概念および関係は、それぞれの領域特定の指示的意図（ｉｎｓｔｒｕｃｔｉｏｎａｌ ｉｎｔｅｎｔ）で強化される。マスタリポジトリ２１０は２つの目標を有する。第１に、マスタリポジトリ２１０は、特定の文化および言語で「常識」と一般に見なされるものに対処する。第２に、マスタリポジトリ２１０は、特定の領域の新しい訓練３Ｄ経験の指示的意図に特定の新しい関連する概念および関係を追加する。

【0026】

マスタリポジトリ２１０に領域特定の訓練を追加するとすぐに、その領域特定の訓練の概念に関連する３Ｄ（および、２Ｄ）表現がマスタリポジトリ２１０に追加される。並行して、領域特定の訓練が執筆されている（ａｕｔｈｏｒｅｄ）環境（および、その成分特徴）がマスタリポジトリ２１０に追加される。（ウィキペディアなど）追加の事実および定義を含む外部のリポジトリを処理、検索、ならびに／または索引付することによってマスタリポジトリ２１０を拡張することが可能である。

【0027】

シンビオティックヘルパー１０４は、多数のアサーション（事実および規則）のうちのいずれかに関するブール結論を判断するための形式論理学と共に、概念および関係に基づいて構築されたマスタリポジトリを使用する。マスタリポジトリ２１０を用いるシンビオティックヘルパー１０４は、状況に依存しないアサーション、または状況に依存するアサーションのいずれかを解決することができる。例えば、特定のユーザ、Ｔｏｍによって理解されるフラストラム（錐台）では、マスタリポジトリを使用するシンビオティックヘルパー１０４は、「およそ２時の方向に、オレンジ色の生成器の左側の第１の赤色の垂直管」を判断することができる。

【0028】

シンビオティックヘルパー１０４は、その訓練環境が設計されているように訓練環境にアクセスすること、および訓練生によって認知されて、対話されるように、その訓練環境にアクセスすることが可能であるため、シンビオティックヘルパー１０４は、そのようなアサーションを解決することができる。シンビオティックヘルパー１０４は、いくつかの実施形態では、画像認識技法を用いることができる。シンビオティックヘルパー１０４は、訓練環境のモデルから対応する量を抽出して、そのモデルのその部分内に含まれた生成器を選択することによって、Ｔｏｍによって認知されたフラストラム内に含まれた生成器の収集物を選択し、オレンジ色の生成器をフィルタリングし、垂直の２時方向の面を仮想的に追跡し、適切な生成器（例えば、２時方向の面内のオレンジ色の生成器）を選択し、第１の赤色の垂直管と交差するまで、その適切な生成器の位置（例えば、その現在の位置）の左側にその環境を増分的に処理し、その赤色の管を選択および／または強調表示することができる。

【0029】

シンビオティックヘルパー１０４は、マスタリポジトリ２１０を使用して、特定の領域に関する訓練の間に、行動的な観点から肯定的な推論および否定的な推論も行う。すなわち、マスタリポジトリを用いるシンビオティックヘルパー１０４は、入力および条件の所与のセットからのある行動が実際の行動であるか、または観測された行動であるかを判断する。特定の領域に関連する、より複合的なモデルまたは多変量のルックアップテーブルをマスタリポジトリ２１０に追加して、その行動を生み出す本質的な変数および方程式をモデル形成する必要なしに、特定の複合的な行動関係を表すことが可能である。

【0030】

他のチームメンバモジュール２１２は、他のチームメンバの位置、他のチームメンバの状態、他のチームメンバに割り当てられた（１つもしくは複数の）タスク、またはチームメンバもしくはチームリーダによって割り当てられた他の情報など、他のシンビオティックヘルパーを用いるチームメンバに関する情報を記憶するように構成される。

【0031】

マスタリポジトリ２１０は、そのチーム内のそれぞれの個人の個々のリポジトリ（またはその複製）を抽出および記憶することができる。他のチームメンバモジュール２１０は、チームメンバの個々のリポジトリを全部または一部含むことが可能である。

【0032】

追加の入力モジュール２１４は、ワイヤレス通信モジュール２０６を経由して、シンビオティックヘルパー２０４から任意のその他の追加の入力を受信し、必要に応じて、ワイヤレス通信モジュール２０６を経由して、解析をシンビオティックヘルパー２０４に戻すように構成される。

【0033】

シンビオティックヘルパー２０４は、解析モジュール２１６および入出力モジュール２１８を含む。解析モジュールは、中央システム２０２のワイヤレス通信モジュール２０６と通信するように構成されたワイヤレス通信モジュール２２０を含む。解析モジュール２１６は、視覚解析モジュール２２２をさらに含む。視覚解析モジュール２２２は、例えば、カメラ、撮像デバイス、またはその他の写真捕捉デバイスもしくは写真捕捉モジュールから視覚情報を受信して、獲得されたデータの特徴（例えば、刺激、異常、環境）を解析するように構成される。視覚解析モジュール２２２は、知識ベース２０８内の情報を獲得するためのワイヤレス通信モジュール２２０、中央システム２０２内のマスタリポジトリ２１０、他のチームメンバモジュール２１２、および／または追加の入力モジュール２１４を利用することによって、これを達成する。同様に、音解析モジュール２２４は、マイクロフォン、デジタル音受信モジュールから、またはネットワークを介してデジタルで音を受信し、受信された音響（例えば、音響情報）を解析する。音解析モジュール２２４は、ワイヤレス通信モジュール２２０を介して、知識ベース２０８、マスタリポジトリ２１０、他のチームメンバモジュール２１２、および／または追加の入力モジュール２１４から獲得された情報を利用する。

【0034】

解析モジュール２１６は、音声合成モジュール２２６をさらに含む。音声合成モジュール２２６は、例えば、ワイヤレス通信モジュール２２０から情報を受信して、その情報をシンビオティックヘルパー２０４のユーザに話すことができるスピーチに合成するように構成される。

【0035】

追跡および事象捕捉モジュール２２８は、シンビオティックヘルパー２０４によって解析および認識されている事象を追跡するように構成される。シンビオティックヘルパー２０４は、事象を追跡することによって、それらの事象内のパターンを認識することができる。事象を継続的に追跡し続けることによって、シンビオティックヘルパー２０４の追跡および事象捕捉モジュール２２８は、その活動に関する肯定的な推論および否定的な推論を認識して、それらの推論をユーザに警告することができる。例えば、圧力計と結合されたタイヤポンプを操作するユーザは、そのユーザがタイヤにポンプで空気を入れるとき、（タイヤの圧力が上がるべきときに）タイヤの圧力が上がっていないことに気付かない場合がある。シンビオティックヘルパー２０４は（追跡および事象捕捉モジュール２２８を経由して）圧力計の示度数が上がっていないという否定的な推論を検出することができる。次に、シンビオティックヘルパー２０４は、タイヤにポンプで空気を入れているユーザに、圧力が変わらず、圧力は上がるべきであることを通知する。

【0036】

個々のリポジトリモジュール２３０は、そのユーザが訓練するにつれて、特定の領域に関する１つまたは複数の学習方法に基づく、ユーザ（すなわち、個人）の過去の対話経験の結果を含む。個々のリポジトリモジュール２３０をその訓練経験内の口頭表現、表情、およびジェスチャに関する特定の言語ならびに／または文化と結び付けることが可能である。

【0037】

訓練３Ｄ表現および関連する３Ｄ表現は、領域特定であり、訓練生が学習すべき知識および経験と一致する指示的意図を反映する。領域特定の経験の例は、（ｉ）石油台上およびガス台上のガスに関する安全性、（ｉｉ）Ｗｉｎｄｏｗｓ（登録商標）７に関するコンピュータセキュリティ、（ｉｉｉ）操作環境におけるコマンドおよび制御、（ｉｖ）鉱業環境における方向性、または（ｖ）ディーゼルエンジン修理である。

【0038】

訓練は、通常、３つのステップ、すなわち、（１）実演説明、（２）対話式学習、および（３）試験を使用して実行される。

【0039】

（１）実演説明段階の間、シンビオティックヘルパー１０４は、通常、ビデオおよび／または音響を使用して、訓練生に概念を提示する。訓練生は、実演説明を再開／再生するか、または、その訓練生がその特定の実演説明内に提示された概念を理解する場合、訓練の次の項目に進むかを決定することができる。

【0040】

（２）訓練の対話式学習段階の間、シンビオティックヘルパーは、実演説明内で提示された（１つもしくは複数の）問題と同一かまたは類似の解決すべき問題を訓練生に提示する。訓練のレベルおよび／もしくはユーザ能力に応じて、学習のためのヒントは利用可能であってもよく、または利用可能でなくてもよい。

【0041】

（３）訓練の試験段階の間、シンビオティックヘルパーは、対話式学習段階および実演説明段階からの（１つまたは複数の）問題と類似の解決すべき問題を提示する。

【0042】

一実施形態では、シンビオティックヘルパー１０４は、３段階の訓練に指導を追加する。この場合、シンビオティックヘルパー１０４は、伝統的な指導を補完または置換することができる。

【0043】

シンビオティックヘルパー１０４は、訓練の全ての段階の間、訓練生のデジタルフットプリントを捕捉する。例えば、実演説明段階において、デジタルフットプリントは、費やされた時間、訓練生が実演説明を閲覧した回数、または訓練生がどの実演説明を閲覧したかであってよい。

【0044】

別の例として、対話式学習段階のデジタルフットプリントは、学習に費やされた時間、訓練生の初期の間違え、訓練生が閲覧したヒントの使用、経路上での訓練生の躊躇、訓練生による事象の性質またはオブジェクトの状態の誤認、訓練生による正しい応答、または訓練生がその問題を成功裏に回答または解決するのに費やされた時間であってよい。

【0045】

さらに別の例として、試験段階におけるデジタルフットプリントは、正しい回答、応答ごとに費やされた時間、または誤りのタイプであってよい。

【0046】

シンビオティックヘルパー１０４は、特定の訓練の間、異なる学習方法を用いることができる。これらの方法は、互いを除外せず、組合せ可能である。５つのタイプの学習方法が一般に用いられる。すなわち、（１）刷り込み、文化適応、および習慣化（受け身モード）、（２）試行錯誤、および行動、（３）シミュレーション、およびミラー反応、（４）模擬、および観察、ならびに／または（４）機械的反復（Ｒｏｔｅ）、音響的入力もしくは視覚的入力、口頭応答もしくは指示応答、および組合せ、である。個々のリポジトリモジュール２３０は、領域特定経験に関する訓練に関連する方法またはグループを識別する。

【0047】

入出力モジュール２１８は、視覚補完モジュール２４０、音響補完モジュール２４２、音声モジュール２４４、およびユーザモデルモジュール２４６を含む。

【0048】

視覚補完モジュール２４０は、ユーザの視覚を環境の仮想現実の表現、拡張された現実の表現、またはわずかに拡張された現実の表現で補完するように構成される。同様に、音響補完モジュール２４２は、視覚補完モジュール２４０と同じ仮想現実の表現、拡張された現実の表現、またはわずかに拡張された現実の表現をユーザに提供するように構成される。しかし、音響補完モジュール２４２は、ビデオの代わりに、音響をユーザに提供することによって、仮想現実の表現、拡張された現実の表現、またはわずかに拡張された現実の表現をユーザに提供する。音響補完モジュール２４２は、ユーザに再生される音警告２３４を解析モジュール２１６から受信する。同様に、視覚補完モジュール２４０は、ユーザに表示するためのディスプレイ画像２３２を解析モジュール２１６から受信する。

【0049】

音声モジュール２４４は、ユーザから音声コマンドを受信する。音声モジュール２４４は、音声コマンド２３６を解析モジュール２１６に送信する。解析モジュール２１６は、音解析モジュール２２４を使用して、音声コマンドを解析する。

【0050】

ユーザモデルモジュール２４６は、解析モジュール２１６からユーザモデル情報２３８を受信する。ユーザモデルモジュール２４６は、シンビオティックヘルパー２０４を使用している間のユーザの動作に基づいて、ユーザモデル情報２３８を改正し、ユーザモデル情報２３８を解析モジュール２１６に戻すようにさらに構成される。

【0051】

図３は、シンビオティックパートナーシステム３０４およびネットワーク３０６と共に環境１１０内で用いられるシンビオティックヘルパー１０４のある例示的な実施形態のブロック図３００である。シンビオティックヘルパー１０４は、カメラ３０８、マイクロフォン３１０、嗅覚検出器３１２、および他のセンサ３１４を含む。カメラ３０８は、環境１１０の視覚的刺激３２４を検出するように構成される。マイクロフォン３１０は、環境１１０の聴覚的刺激３２６を検出するように構成される。嗅覚検出器３１２は、環境１１０から、嗅覚的刺激３２８、例えば、香りを検出するように構成される。他のセンサ３１４は、環境１１０から他の刺激３３０を検出するように構成される。他のセンサ３１４は、例えば、温度、電磁刺激、生命兆候などの生物学的刺激、または全地球的測位システム刺激など、任意の他のタイプの刺激を検出するように構成される。他のセンサは当技術分野で知られているいずれかの刺激を検出できることを当業者は認識されよう。

【0052】

プロセッサ３１６は、カメラ３０８、マイクロフォン３１０、嗅覚検出器３１２、および他のセンサ３１４からの視覚的刺激３２４、音響刺激３２６、嗅覚的刺激３２８ならびに他の刺激３３０を示すデータ３２５、３２７、３２９、３３１を受信するように構成される。プロセッサ３１６は、図２を参照して説明されたように、それぞれの検出モジュール３０８、３１０、３１２、３１４によって生成されたそれぞれの刺激データ３２５、３２７、３２９、３３１を解析して、ディスプレイモジュール３１８内でレンダリングされることになる仮想現実の画像データ３３２、およびスピーカ３２０を介してレンダリングされることになる音３３４を生成するように構成される。プロセッサ３１６は、ネットワーク３０６、例えば、インターネット、に結合された接続インターフェース３２２、およびシンビオティックパートナーシステム３０４を用いることも可能である。プロセッサ３１６は、ネットワーク３１６を使用して、解析処理のうちのいくつかを外部委託すること、または環境１１０の刺激３２４、３２６、３２８、３３０の解析（処理）を支援するための追加の情報（データ）をダウンロードすることができる。

【0053】

さらにプロセッサ３１６は、シンビオティックパートナーシステム３０４と通信するように構成される。例えば、シンビオティックパートナーシステム３０４は、プロセッサ３１６にその独自の状態について知らせることができる。例えば、シンビオティックパートナーシステム３０４が自動車である場合、シンビオティックパートナーシステムはその状態に関する追加の情報をプロセッサ３１６に通信することができる。追加の情報のある例は、その自動車またはいずれかの特定のシンビオティックパートナーシステム３０４が検出する燃料状態、タイヤ圧状態、付近のオブジェクト検出、燃料状態、もしくは任意のその他の情報を含むことが可能である。

【0054】

図４は、シンビオティックヘルパー１０４によって用いられ、プロセッサ３１６によって実行される訓練プロセスのある例示的な実施形態４００の流れ図である。シンビオティックヘルパーシステム１０４は訓練を開始する（４０２）。次いで、シンビオティックヘルパー１０４は、その訓練生をシンビオティックヘルパーに向けさせる（４０４）。シンビオティックヘルパー１０４は、次いで、個人的な安全訓練を訓練生に提供する（４０６）。例えば、シンビオティックヘルパー１０４は、ユーザが実世界でそれらのリスクを回避できるように、特定の訓練活動における個人的な安全リスクについてユーザに知らせて、活動を提供する。ユーザは、例えば、知識しきい値を超えるまで、必要に応じて、安全訓練を繰り返すことが可能である。これは、ユーザによって回答された問題に関するポイントによって、または任意のその他の適切な測定方法によって測定可能である。さらに、安全訓練の反復は、自動的であってよく、またはユーザの自由裁量であってもよい。次に、シンビオティックヘルパーは、状況特定の訓練を訓練生に提供する（４０８）。例えば、シンビオティックヘルパー１０４は、特定のタスクに関する訓練を提供することができる。安全訓練のように、ユーザは、知識しきい値を超えるまで、必要に応じて、状況特定の訓練を繰り返すことが可能である。状況特定の訓練の反復は、自動的であってよく、またはユーザの自由裁量であってもよい。

【0055】

シンビオティックヘルパー１０４は、次に、サービス提供訓練をユーザに提供することができる（４１０）。例えば、シンビオティックヘルパー１０４は、特定の機械またはシステムをどのように使用するかに関する訓練だけでなく、システムの設置、システム内の問題の診断、システムの修理、またはシステムの保守に関する訓練もユーザに提供することができる。ユーザは、必要に応じて、かつ上で説明されたように、自動的にまたはユーザの自由裁量で、サービス提供訓練を繰り返すことが可能である。

【0056】

シンビオティックヘルパー１０４は、次いで、チーム訓練をユーザに提供することができる（４１２）。チーム訓練は、訓練生をシンビオティックヘルパーおよび訓練の対象物を使用するそのチームの他のメンバーとの作業に順応させる。シンビオティックヘルパー１０４は、次いで、遠隔操作サポートまたはサポート機能訓練を提供する（４１４）。遠隔操作サポートは、特定の状況でどのように進めるかに関する指示をユーザに提供する遠隔の人物または機械の例である。次に、シンビオティックヘルパー１０４は、不確実訓練（ｃｏｎｔｉｎｇｅｎｃｙ ｔｒａｉｎｉｎｇ）を訓練生に提供することができる（４１６）。不確実訓練は、計画されていない状況に関する訓練を提供することを含む。この場合も、ユーザは、必要に応じて、一人で、またはグループ設定のいずれかで、チーム訓練、遠隔操作サポートもしくはサポート機能訓練、および／または不確実訓練を繰り返すことができる。次に、シンビオティックヘルパー１０４は、操作状況で訓練生がシンビオティックヘルパー１０４を使用するのを可能にすることによって訓練を終了する（４１８）。操作状況は、上で要点が述べられた訓練方法によって、ユーザが訓練を受ける主題でユーザが訓練した状況である。

【0057】

図５は、シンビオティックヘルパー１０４によって用いられて、プロセッサ３１６によって実行されるプロセス５００の流れ図である。プロセス５００は、訓練を始めることによって開始する（５０２）。次いで、シンビオティックヘルパー１０４は、ビデオ画像データ３３２の視覚ディスプレイ３１８およびスピーカ３２０を介して生成された音／音響３３４（図３）によって訓練生を仮想環境内に没入させる（５０４）。仮想環境は、訓練生が、通常、特定の活動を学習することができる環境であってよい。例えば、訓練生は、特定の車両を運転できる、特定の車両の仮想環境内に配置されることによってその車両をどのように運転するかを学習することができる。その他の訓練状況および仮想環境をシンビオティックヘルパー内で実施することが可能であることを当業者は認識されよう。

【0058】

このシステムは、次に、訓練活動を訓練生に提供する（５０６）。訓練活動は、例えば、仮想環境内の特定の活動に関する場合がある。例えば、特定の車両を運転できるように訓練生を訓練する場合、訓練活動は、車両を仮想的に作動させること、車両を仮想的に停止させること、または車両を仮想的に運転することを含むことが可能である。

【0059】

シンビオティックヘルパー１０４は、次いで、訓練活動を実行する際の訓練生の動作のデジタルフットプリントを捕捉する（５０８）。例えば、デジタルフットプリントは、特定の動作を実行する際の訓練生の活動のログを含むことが可能である。デジタルフットプリントは、仮想環境内で実行されるデジタル動作、例えば、仮想環境内の車両内のボタンを押下することを含むことが可能である。デジタルフットプリントは、訓練生が話す言葉、または訓練生による動きなど、より広い範疇を含むことも可能である。一実施形態では、ユーザプロファイルは、デジタルフットプリント（例えば、累積デジタルフットステップ）および仮想環境とのユーザの対話（例えば、３Ｄ経験）から記録されたその他のユーザ特性を記憶する。

【0060】

訓練生の動作のデジタルフットプリントを捕捉した（５０８）後で、シンビオティックヘルパーは、捕捉されたデジタルフットプリントを審査する（５１０）。シンビオティックヘルパー１０４は、デジタルフットプリントを審査して、訓練活動で訓練生が得た技能のレベルを判断することができる。例えば、デジタルフットプリントが、訓練生が（仮想的な意味で）車両を非常に迅速に正確に作動させたことを示す場合、シンビオティックヘルパーは、ユーザは訓練活動において熟練であると判断することができる。他方で、デジタルフットプリントが、訓練活動を正確に実行する前に、ユーザが多くの間違ったボタンを押下し、車両を作動させるなど、様々な誤りを犯したことを示す場合、システム１０４は、ユーザが訓練活動において低い技能を有すると判断することができる。

【0061】

同様に、シンビオティックヘルパー１０４は、訓練生の技能のレベルによってさらなる訓練が必要とされるかどうかを判断することができる（５１２）。訓練生がいかなるさらなる訓練も必要としない場合、訓練活動は終了する（５１４）。さらなる訓練が必要とされる場合、シンビオティックヘルパーは、デジタルフットプリントに基づいて訓練が修正されるべきであるかどうかを判断する（５１６）。

【0062】

システムは、デジタルフットプリントを介して、訓練生が訓練活動に困難を感じ始めた訓練地点を判断することによって、デジタルフットプリントに基づいて訓練が修正されるべきであるかどうかを判断する（５１６）。訓練活動の困難は、ユーザが通常の訓練ステップのコースから脱線したことを判断することによって、または所望される結果もしくはチェックポイントの結果を達成しなかったことによって、システムによって判定可能である。シンビオティックヘルパー１０４が、デジタルフットプリントに基づいて、訓練が修正されるべきであることを判断した場合、システムは、デジタルフットプリントに基づいて訓練を修正する（５１８）。システムは、異なる訓練技法のデータベースを使用することによって、または訓練ステップを動的に再経路指定して、デジタルフットプリント経路内でユーザの不安を回避するか、もしくはそうでない場合、防止する、訓練活動用の異なる経路を提供することによって、デジタルフットプリントに基づいて訓練を修正する。他方で、訓練がデジタルフットプリントに基づいて修正されない場合、シンビオティックヘルパー１０４は、訓練活動を訓練生に提供する（５０６）。加えて、デジタルフットプリントに基づいて訓練を修正した（５１８）後で、システムは、訓練活動を訓練生にやはり提供する（５０６）。

【0063】

図６は、シンビオティックヘルパー１０４によって用いられ、プロセッサ３１６によって実行されるプロセス６００のある例示的な実施形態の流れ図である。プロセス６００は、シンビオティックヘルパーを始めることによって開始する（６０２）。シンビオティックヘルパーは、次いで、他のセンサ３１４などを使用して、ユーザ状態を検出する（６０４）。ユーザ状態は、シンビオティックヘルパーが使用しているユーザの何らかの属性であってよい。例えば、ユーザ状態は、ユーザが見ている方向、ユーザのＧＰＳ位置、ユーザの生命兆候、またはユーザの訓練レベルであってよい。シンビオティックヘルパーは、次いで、カメラ３０８、マイクロフォン３１０、検出器３１２／センサ３１４を使用して、環境的刺激を検出する（６０６）。環境的刺激は、ユーザの環境の何らかの刺激であってよい。環境的刺激の例は、視覚的刺激３２４、聴覚的刺激３２６、もしくは嗅覚的刺激３２８、電磁刺激、身体的刺激、またはデジタル通信刺激（一般に、他の刺激３３０）であってよい。

【0064】

オプションで、システム１０４またはプロセス６００は、ユーザの能力のレベルを判断する（６０８）。やはりオプションで、シンビオティックヘルパー１０４は、ユーザに提供するために可変レベルの支援を調整することができる（６１０）。シンビオティックヘルパー１０４は、このオプションの実施形態では、判断されたユーザの能力のレベルに基づいて、ユーザに提供するための支援のレベルを調整する。

【0065】

次に、シンビオティックヘルパー１０４は、可変レベルの支援をユーザに提供する（６１２）。オプションで、システム１０４またはプロセス６００は、どのレベルの可変支援をユーザに提供するかを判断する（６１４）。システムが可変支援のレベルが没入型であることを判断した場合、システムは、ディスプレイ３１８およびスピーカ３２０（図３）を介して没入型仮想現実ディスプレイをユーザに提供する（６１６）。没入型仮想現実ディスプレイは、環境的刺激を明らかにしないが、ユーザまたは訓練生が活動を安全かつ効率的に学習できる、制御された訓練環境を提供する仮想現実である。没入型仮想現実ディスプレイは、プロセッサ３１６によって生成された訓練環境の（画像データ３３２における）３Ｄモデルを含むことが可能である。一般的な３Ｄモデル形成技法が利用される。

【0066】

システム１０４またはプロセス６００が可変支援のレベルが拡張されると判断した場合、システムは、ディスプレイ３１８およびスピーカ３２０を介して、拡張された現実をユーザに提供する（６１８）。拡張された現実は、環境的刺激を入力して、それらをユーザに表示するが、やはり、目前のタスクに関してユーザを支援するために必要とされる支援のレベルに基づいて仮想現実を環境上にオーバレイする。例えば、拡張された現実は、特定の機械およびボタンの機能（例えば、説明）をそれぞれの機械上およびボタン上にオーバレイすることができる。

【0067】

仮想支援のレベルがわずかである場合、シンビオティックヘルパー１０４は、ディスプレイ３１８およびスピーカ３２０を介して、わずかに拡張された現実を提供する（６２０）。わずかに拡張された現実は、開始点として、その環境を単に示すことによってディスプレイを提供する。シンビオティックヘルパーは、検出された刺激を知っておくべきことベースで（ｎｅｅｄ ｔｏ ｋｎｏｗ ｂａｓｉｓ）オーバレイすることによって、環境の観点に基づいて構築する。例えば、わずかに拡張された現実は、ユーザおよび環境を示すことができるが、発砲、または助けを呼ぶなど、危険な状況をユーザに警告する。わずかに拡張された現実は、仮想現実および拡張された仮想現実と共に、その環境内で見出された推論も同様にユーザに警告することができる。例えば、画像解析を使用して、わずかに拡張された現実モードのシンビオティックヘルパー１０４は、誤った方向に移動しているか、または移動すべきときに移動していない機械の特定の計測器にユーザの注意を向けることができる。

【0068】

次に、シンビオティックヘルパー１０４は、支援を提供し続けるべきかどうかを判断する（６２２）。シンビオティックヘルパーが支援を提供し続けるべきでないことを判断した場合、例えば、ユーザがシンビオティックヘルパーを停止することを望む場合、シンビオティックヘルパーは終了する（６２４）。しかし、システムがシンビオティックヘルパーは支援を提供し続けるべきであると判断した場合、システムは、ユーザ状態を検出して（６０４）、ステップ６０６〜６２２を繰り返す。

【0069】

図７は、シンビオティックヘルパーシステム１０４およびプロセッサ３１６によって用いられるプロセスのある例示的な実施形態を示す流れ図７００である。プロセス７００は、シンビオティックヘルパーシステムを始めることによって開始する（７０２）。シンビオティックヘルパーは、刺激を解析するための規則の１つまたは複数のセットをロードする（７０４）。例えば、規則の１つまたは複数のセットは、シンビオティックヘルパー１０４のカメラ３０８、マイクロフォン３１０、その他の検出器３１２／センサ３１４によって検出された刺激の画像処理、もしくは音響処理、またはその他の処理に関する規則を含むことが可能である。シンビオティックヘルパーは、次いで、検出された刺激内の異常に関して検出された環境を解析する（７０６）。例えば、シンビオティックヘルパーは、カメラ３０８を使用して連続写真を撮ることによって、ユーザを取り囲んでいる視覚的風景を容易に検出することができるが、ユーザは、一般に、視覚的環境からの特定の刺激を警告されることを所望する場合がある。したがって、シンビオティックヘルパー１０４は、この例では、視覚的風景の検出された刺激３２４、３２６、３２８、３３０（図３）からの異常を検出し、（スピーカ３２０およびディスプレイ３１８の出力を介して）特定の異常をユーザに警告する。そうでなければ、ユーザは、シンビオティックヘルパーなしに自らが判断することができる、自らの環境について不要な情報に圧倒される可能性がある。したがって、シンビオティックヘルパーは、爆発またはその他の異常など、異常に関して視覚的風景が解析されるとき最大効用のものであり、異常だけがユーザの注意に向けられる。異常および視覚的風景の概念を、聴覚的刺激、嗅覚的刺激、電磁的刺激、またはその他の刺激など、その他のタイプの刺激に適用することが可能である点を当業者は認識されよう。

【0070】

シンビオティックヘルパー１０４は、次いで、異常に関する補足情報を判断する（７０８）。例えば、環境内に異常が存在することを判断するとすぐに、シンビオティックヘルパーは、その異常に関する補足情報を計算することができる。補足情報の例は、その異常は何か、その異常の距離、その異常（例えば、爆発）の温度、またはその異常を処理することによって判断できる何らかのその他の情報を含む。次いで、シンビオティックヘルパーは、オプションで、その異常がユーザに対して警告を生成されることを必要とするかどうかを判断する（７１０）。その異常がユーザに対して警告を生成されることを必要とする場合、シンビオティックヘルパーは、警告を生成して、ユーザに出力する（７１２）。その異常がユーザに対して警告が生成されることを必要としない場合、シンビオティックヘルパーは、検出された刺激内のその異常に関する保護環境を再度解析し（７０６）、プロセスのステップ７０８、７１０を繰り返す。同様に、ユーザに対して警告を生成した後で、シンビオティックヘルパーは、検出された刺激内の異常に関して検出された環境も解析し（７０６）、プロセスのステップ７０８、７１０を繰り返す。シンビオティックヘルパーが新しい刺激を検出するとすぐに、シンビオティックヘルパーは異常に関して検出された刺激を解析すること（７０６）ができる点を当業者は認識されよう。同様に、シンビオティックヘルパーシステムが停止されるか、または動作不能にされるまで、シンビオティックヘルパーシステムは、検出された刺激内の何らかの異常に関して検出された環境を継続的に解析する。

【0071】

図８は、ユーザ１０２と対話するように構成されたシンビオティックヘルパー１０４のブロック図８００である。シンビオティックヘルパー１０４は、ユーザ状態検出モジュール８０２、環境刺激検出モジュール８０４、および支援モジュール８０６を含む。ユーザ状態検出モジュールは、ユーザ１０２からユーザの状態８０８を検出するように構成される。例えば、ユーザが話す自然言語によってユーザの状態８０８を通信することが可能である。ユーザ状態検出８０２モジュールは、ユーザの状態８０８の表示を支援モジュール８０６に戻す。

【0072】

環境的刺激検出モジュール８０４は、環境１１０から環境示度数８１２を検出するように構成される。環境的刺激検出モジュール８０４は、環境示度数８１２を解析して、検出された刺激８１０を支援モジュール８０６に戻す。

【0073】

支援モジュール８０６は、ユーザ状態検出モジュール８０２からユーザの状態表示８０９を受信し、環境刺激検出モジュール８０４から検出された刺激８１０を受信するように構成される。支援モジュール８０６は、ユーザの状態表示８０９および検出された刺激８１０の両方を解析する。支援モジュールは、視覚的ディスプレイ３１８およびスピーカ３２０（図３）を介して可変レベルの支援８１４をユーザ１０２に出力する。一実施形態では、支援モジュール８０６は、可変レベルの支援８１４をシンビオティックヘルパー１０４のオプションの装着可能デバイス８１６に出力し、装着可能デバイス８１６は、次いで、可変レベルの支援８１４をユーザ１０２に提供する。可変レベルの支援８１４は、プロセッサ３１６によって生成されたユーザ対話式３Ｄモデルの画像データ３３２を含むことが可能である。一般的な３Ｄモデル生成技法および／または３Ｄモデル生成技術が用いられる。

【0074】

図９は、没入型仮想現実から拡張された実世界へまた実世界へのメンタルモデルの転送のプロセスのある例示的な実施形態の流れ図９００である。

【0075】

メンタルモデルは、実世界で何かがどのように働くかの思考プロセスを説明する。メンタルモデルは、機械工が、車を構成している原理ならびに実際の部品およびシステムを理解することになるような、車をどのように運転するかの理解、または車がどのように動くかの理解など、その行動（または、準拠規則のセット）の理解であってよい。多くの活動は、開発される必要がある活動に関連する複合的かつ精神的なモデルである。没入型仮想現実環境および拡張された現実環境は、悪影響を伴わずに、この開発を円滑にする。これらの活動は、一般に、活動を適切に実行することができるまで、メンタルモデルの連続的調整を必要とする。ダブルループ学習（ｄｏｕｂｌｅ−ｌｏｏｐ ｌｅａｒｎｉｎｇ）プロセスは、没入型仮想現実および拡張された実世界のフィードバックからメンタルモデルの調整を可能にする。

【0076】

一実施形態では、メンタルモデル９０２は、没入型仮想現実９００内で使用するためにまず開発される。（試験環境など）異なる環境の連続的なさらなる開発および精緻化の後で、メンタルモデル９０２を実世界９３０内で使用することが可能である。メンタルモデル９０２は、それぞれの連続的な環境から次の環境へ（例えば、没入型仮想現実９１０から拡張された実世界９２０へまた実世界９３０へ）転送される。

【0077】

シンビオティックヘルパー１０４は、メンタルモデル９０２に基づいて、意思決定規則９０４を作成、明確化、更新、または強化する。シンビオティックヘルパー１０４は、次いで、意思決定規則９０４に基づいて、決定９０６を没入型仮想現実９１０に送信する。没入型仮想現実９１０は、没入型仮想現実９１０内およびメンタルモデル９０２内の決定９０６の効果に基づいて、情報フィードバック９０８を作成する。将来の決定９０６は、その場合、意思決定規則９０４に加えて、情報フィードバック９０８に基づく。さらに、情報フィードバック９０８は、没入型仮想現実９１０内の決定９０６の効果に基づいて、メンタルモデル９０２を調整する。

【0078】

シンビオティックヘルパー１０４は、例えば、メンタルモデル訓練期間が完了した後で、拡張された実世界９２０と共に使用するために、メンタルモデル９０２をメンタルモデル９１２に複写することができる。シンビオティックヘルパー１０４は、メンタルモデル９１２に基づいて、意思決定規則９１４を作成、明確化、更新、または強化する。シンビオティックヘルパー１０４は、次いで、意思決定規則９１４に基づいて、決定９１６を拡張された実世界９２０に送信する。拡張された実世界９２０は、拡張された実世界９２０内およびメンタルモデル９１２内の決定９１６の効果に基づいて、情報フィードバック９１８を作成する。将来の決定９１６は、その場合、意思決定規則９１４に加えて、情報フィードバック９１８に基づく。さらに、情報フィードバック９１８は、拡張された実世界９２０内の決定９１６の効果に基づいて、メンタルモデル９１２を調整する。

【0079】

シンビオティックヘルパー１０４は、例えば、メンタルモデル訓練期間が完了した後で、実世界９３０と共に使用するために、メンタルモデル９１２をメンタルモデル９２２に複写することができる。シンビオティックヘルパー１０４は、メンタルモデル９２２に基づいて、意思決定規則９２４を作成、明確化、更新、または強化する。シンビオティックヘルパー１０４は、次いで、意思決定規則９２４に基づいて、決定９２６を実世界９３０に送信する。実世界９３０は、実世界９３０内およびメンタルモデル９２２内の決定９２６の効果に基づいて、情報フィードバック９２８を作成する。将来の決定９２６は、その場合、意思決定規則９２４に加えて、情報フィードバック９２８に基づく。さらに、情報フィードバック９２８は、実世界９３０内の決定９２６の効果に基づいて、メンタルモデル９２２を調整する。

【0080】

別の実施形態では、シンビオティックヘルパー１０４は、没入型仮想現実内でコンテンツを作成することができる。シンビオティックヘルパー１０４は、次いで、作成または執筆されたコンテンツを少なくとも没入型仮想現実９１０内または拡張された実世界９２０内に提供することができる。

【0081】

図１０は、シンビオティックヘルパーによって用いられる訓練生からの対話前操作のある例示的なプロセスの流れ図１０００である。対話前任務で、シンビオティックヘルパー１０４は、「警告またはオーバライド」１０２０を生成して、決定１００６に影響を与え、メンタルモデル１００２を用いて、作成、明確化、更新、または強化するために使用される情報フィードバック１００８を提供するために利用される。例えば、メンタルモデル１００２は、意思決定規則１００４に基づいて、決定１００６を生成することができる。この決定はシンビオティックヘルパー１０４によって解釈される。警告しきい値またはオーバライドしきい値が満たされるとすぐに、シンビオティックヘルパー１０４は、警告またはオーバライド１０２０を生成する。ユーザに対する警告を生成するか、または決定１００６をオーバライドするために、警告またはオーバライド１０２０は世界対話（ｗｏｒｌｄ ｉｎｔｅｒａｃｔｉｏｎ）１０１０（例えば、没入型仮想現実９１０、拡張された実世界９２０、および実世界９３０）に送信される。警告またはオーバライド１０２０は、情報フィードバック１００８をやはり修正し、情報フィードバック１００８はメンタルモデル１００２および決定１００６をさらに修正する。

【0082】

しかし、シンビオティックヘルパー１０４が警告しきい値またはオーバライドしきい値が満たされると判断しない場合、決定１００６は、いかなる警告またはオーバライド１０２０も伴わずに、世界対話１０１０に直接的に送信される。

【0083】

図１１は、シンビオティックヘルパーによって用いられる訓練生からの対話後操作のある例示的なプロセスの流れ図１１００である。対話後任務で、シンビオティックヘルパー１０４は、警告またはオーバライド（例えば、警告またはオーバライド１０２０）を発行しない。代わりに、訓練生との対話に基づいて、シンビオティックヘルパー１０４はメンタルモデル１１０２を修正する。例えば、メンタルモデル１１０２は、意思決定規則１１０４に基づいて、決定１１０６を生成することができる。決定１１０６は世界対話１１１０（例えば、没入型仮想現実９１０、拡張された実世界９２０、および実世界９３０）に送信される。次いで、世界対話は、情報フィードバック１１０８およびシンビオティックヘルパー１０４を更新する。情報フィードバック１１０８は、それによって、メンタルモデル１１０２を更新し、シンビオティックヘルパー１０４はその次の決定の基礎を更新された世界対話１１１０に置く。

【0084】

仮想世界内の誤りの悪影響はより小さいため、対話後フィードバックは、通常、実世界状況で使用される。対話後モードで、シンビオティックヘルパー１０４は、訓練生が補正するための考えられる改善および間違えに関する説明を含めて、追加のフィードバックを訓練生に提供する。

【0085】

シンビオティックヘルパー１０４は、訓練生に関するデータを蓄積することによって経時的に展開する訓練生のユーザメンタルモデル（例えば、９０２、９１２、９２２、１００２、１１０２）を作成、明確化、更新、または強化する。ユーザメンタルモデル（例えば、９０２、９１２、９２２、１００２、１１０２）は、物理的特性および精神的特性を有する。精神的特性は、訓練生が仮想環境で実行したか、または実行している領域特定の訓練の間のその訓練生の行動から導出される。物理的特性は、ユーザ入力、ユーザの動きの検出、または自動化された物理的特性検出プロセスから導出される。

【0086】

個人は同じ間違えを繰り返し犯す場合がある。例えば、個人は、自らの環境を完全に観察する前に、または解決すべき問題の性質を明瞭に理解する前に動作する場合がある。この傾向は、実演説明段階でより短い時間が費やされること、対話式学習段階でより長い時間が費やされること、および／または試験段階の平均より低い得点によって検出可能である。そのような傾向は、領域特定の訓練に関して、知的な個人または経験を積んだ個人が実演説明段階および対話式学習段階の両方で少ない時間を費やして高い得点で合格することを妨げない。学習段階の間に補正される、その段階の間に補正される間違いは、その訓練生に非常に、永続的に記憶される傾向がある。異なる学習方法の試験得点は、訓練生がどの学習方法に最も効果的に応答するかをさらに判断することができ、訓練プロセスにおいて言語性刺激、視覚的刺激、およびその他の刺激の効果をさらに追跡することができる。

【0087】

本発明の実施形態または態様は、ハードウェア、ソフトウェア、もしくはファームウェアの形で実施可能である。ソフトウェアの形で実施される場合、ソフトウェアは、本明細書で開示された例示的な実施形態と一致する動作を実行することが可能な任意の形のソフトウェアであってよい。ソフトウェアは、ＲＡＭ、ＲＯＭ、磁気ディスク、または光ディスクなど、任意の非一時的なコンピュータ可読媒体内に記憶可能である。（１つまたは複数の）プロセッサによってロードおよび実行されるとき、（１つまたは複数の）プロセッサは本明細書で開示された例示的な実施形態に一致する動作を実行するように構成される。（１つまたは複数の）プロセッサは、本明細書で開示された動作を実行するように構成されていることが可能な任意の形の（１つまたは複数の）プロセッサであってよい。モジュールは、他のハードウェア要素と結合された（１つまたは複数の）プロセッサを備えたハードウェアの形で実施可能である。

【0088】

本発明は、その例示的な実施形態を参照して特に示され、説明されているが、添付の請求項によって包含される本発明の範囲から逸脱せずに、形および詳細の点で様々な変更をそれらの実施形態内で行うことが可能である点を当業者は理解されよう。

【符号の説明】

【0089】

１０２ ユーザ
１０４、２０４ シンビオティックヘルパー
１０６、３２６ 聴覚的刺激
１０８、３２４ 視覚的刺激
１１０ 環境
２０２ 中央システム
２０６ ワイヤレス通信
２０８ 知識ベース
２１０ マスタリポジトリ
２１２ 他のチームメンバ
２１４ 追加の入力
２１６ 解析モジュール
２１８ 入出力モジュール
２２０ ワイヤレス通信
２２２ 視覚解析
２２４ 音解析モジュール
２２６ 音声合成
２２８ 追跡および事象捕捉
２３０ 個々のリポジトリ
２３２ ディスプレイ画像
２３４ 音警告
２３６ 音声コマンド
２３８ ユーザモデル情報
２４０ 視覚補完
２４２ 音響（音）補完
２４４ 音声
２４６ ユーザモデル
３０４ シンビオティックパートナーシステム
３０６ ネットワーク
３０８ カメラ
３１０ マイクロフォン
３１２ 嗅覚検出器
３１４ 他のセンサ
３１６ プロセッサ
３１８ ディスプレイ
３２０ スピーカ
３２２ 接続インターフェース
３２５、３２７、３２９、３３１ データ
３２８ 嗅覚的刺激
３３０ 他の刺激
３３２ 画像データ
８０２ ユーザ状態検出モジュール
８０４ 環境刺激検出モジュール
８０６ 支援モジュール
８０８、８０９ ユーザの状態
８１０ 検出された刺激
８１２ 環境示度数
８１４ 可変レベルの支援
８１６ 装着可能デバイス
９０２、９１２、９２２、１００２、１１０２ メンタルモデル
９０４、９１４、９２４、１００４、１１０４ 意思決定規則
９０６、９１６、９２６、１００６、１１０６ 決定
９０８、９１８、９２８、１００８、１１０８ 情報フィードバック
９１０ 没入型仮想現実
９２０ 拡張された実世界
９３０ 実世界
１０１０、１１１０ 世界対話
１０２０ 警告またはオーバライド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】