特表 2025-503436 ナラティブなテキスト及びナラティブな音声のゲームユーザインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-04

(54)【発明の名称】ナラティブなテキスト及びナラティブな音声のゲームユーザインターフェース

(51)【国際特許分類】

   A63F 13/50 20140101AFI20250128BHJP

   G06F 3/01 20060101ALI20250128BHJP

   G06F 3/16 20060101ALI20250128BHJP

   G09B 21/00 20060101ALI20250128BHJP

   A63F 13/53 20140101ALI20250128BHJP

   A63F 13/54 20140101ALI20250128BHJP

   A63F 13/42 20140101ALI20250128BHJP

【ＦＩ】

A63F13/50

G06F3/01 510

G06F3/16 690

G09B21/00 F

G09B21/00 D

A63F13/53

A63F13/54

A63F13/42

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024535791

(86)(22)【出願日】2022-12-16

(85)【翻訳文提出日】2024-08-06

(86)【国際出願番号】 US2022053094

(87)【国際公開番号】W WO2023114444

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/265,697

(32)【優先日】2021-12-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ウィンドウズ

３．ＪＡＶＡ

４．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】524225109

【氏名又は名称】インフィニット リアリティ インコーポレイテッド

(74)【代理人】

【識別番号】100121441

【弁理士】

【氏名又は名称】西村 竜平

(74)【代理人】

【識別番号】100154704

【弁理士】

【氏名又は名称】齊藤 真大

(74)【代理人】

【識別番号】100206151

【弁理士】

【氏名又は名称】中村 惇志

(74)【代理人】

【識別番号】100218187

【弁理士】

【氏名又は名称】前田 治子

(74)【代理人】

【識別番号】100227673

【弁理士】

【氏名又は名称】福田 光起

(74)【代理人】

【識別番号】100231038

【弁理士】

【氏名又は名称】正村 智彦

(72)【発明者】

【氏名】バーナード ヴィクター カーチス

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA25

5E555AA33

5E555AA46

5E555BA02

5E555BA05

5E555BA06

5E555BA82

5E555BA86

5E555BB02

5E555BB05

5E555BB06

5E555BC04

5E555BD01

5E555BE08

5E555DA23

5E555DB44

5E555DC09

5E555DD07

5E555EA07

5E555EA14

5E555EA27

5E555FA00

(57)【要約】

コンピュータデバイスの入出力デバイスを介して、ユーザインターフェースを提供するユーザアプリケーションから、ユーザインターフェースのコンテンツを記述するオブジェクトメタデータをナラティブエンジンが受信する。ユーザインターフェースの拡張記述が生成され、当該拡張記述は、前記ユーザインターフェースの周囲の説明と、前記ユーザインターフェースに対して実行されるアクションのリストを含む。前記拡張記述は、出力デバイスを用いて提示される。前記アクションの１つを要求するユーザ入力が処理される。前記拡張記述は、ユーザ入力に基づいて更新される。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力デバイス及び出力デバイスを含むコンピュータデバイスを含み、
当該コンピュータデバイスが、ナラティブエンジンを実行して、
ユーザインターフェースを提供するユーザアプリケーションから前記入力デバイス及び前記出力デバイスを介して、前記ユーザインターフェースのコンテンツを記述するオブジェクトメタデータを受信し、
前記ユーザインターフェースの拡張記述を生成し、ここで当該拡張記述が、前記ユーザインターフェースの環境の記述と、前記ユーザインターフェースに対して実行されるアクションのリストとを含んでおり、
前記出力デバイスを用いて前記拡張記述を提示し、
前記アクションの１つを要求するユーザ入力を処理し、かつ
前記ユーザ入力に基づいて拡張記述を更新する、
ようにプログラムされているシステム。

【請求項2】

前記コンピュータデバイスがさらに、
アプリケーションプログラミングインターフェース（ＡＰＩ）を用いて前記ユーザアプリケーションから前記オブジェクトメタデータを受け取り、当該ＡＰＩが、サポートされる前記ユーザインターフェースのタイプ毎に拡張機能を含んでおり、前記ナラティブエンジンが特定のユーザインターフェースのタイプの前記オブジェクトメタデータにアクセスできるようにプログラムされている請求項１に記載のシステム。

【請求項3】

前記ユーザインターフェースが３Ｄエンジンによってレンダリングされる３Ｄユーザインターフェースであり、当該３Ｄユーザインターフェースの要素が前記オブジェクトメタデータに従ってレンダリングされ、当該オブジェクトメタデータが前記ＡＰＩを介してナラティブエンジンによってアクセスされる請求項２に記載のシステム。

【請求項4】

前記ユーザインターフェースが、ウェブブラウザによってレンダリングされるウェブユーザインターフェースであり、
当該ウェブユーザインターフェースの要素が、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）マークアップに含まれる前記オブジェクトメタデータに従ってレンダリングされ、
前記オブジェクトメタデータは、前記ＡＰＩを介して前記ナラティブエンジンによって前記ＨＴＴＰマークアップからアクセスされる、請求項２に記載のシステム。

【請求項5】

前記ユーザインターフェースが、コンソールアプリケーションユーザインターフェースであり、
前記オブジェクトメタデータが、前記コンソールアプリケーションのコンソールテキストバッファからＡＰＩを介して前記ナラティブエンジンによりアクセスされる請求項２に記載のシステム。

【請求項6】

前記拡張記述が前記ユーザインターフェース上に重ねられたオーバーレイとして提示される請求項１に記載のシステム。

【請求項7】

前記拡張記述が、コンピュータ生成音声として聴覚的に提示される請求項１に記載のシステム。

【請求項8】

前記ナラティブエンジンが、前記ナラティブエンジンのユーザの障害のレベル又はタイプに基づいて前記拡張記述を提示する方法を定義するユーザ設定を含む請求項１に記載のシステム。

【請求項9】

前記ナラティブエンジンがさらに、
注意フィルタにより、前記オブジェクトメタデータのプロパティを用いて前記オブジェクトメタデータをフィルタリングし、前記オブジェクトメタデータ内の関連オブジェクトを決定し、
前記オブジェクトメタデータを、ユーザのアバターから所定の距離内にある前記ユーザインターフェースの要素に限定する、
前記オブジェクトメタデータを、前記ユーザの視野内にある前記ユーザインターフェースの前記要素に限定する、又は
前記オブジェクトメタデータを、マウスカーソルから所定の２Ｄ距離内にある前記ユーザインターフェースの要素に限定し、前記オブジェクトメタデータを、有効になっている前記ユーザインターフェースの要素に限定する、の１つ以上を含むようにプログラムされている請求項１に記載のシステム。

【請求項10】

前記ナラティブエンジンがさらに、
前記関連オブジェクトの前記プロパティと利用可能なアクションを記述するインターフェースモデルを構築し、
記述生成部を用いて、前記関連オブジェクトの前記プロパティに基づいて前記環境の記述を生成し、前記関連オブジェクトの前記利用可能なアクションに基づいて当該アクションのリストを生成するようにプログラムされている、請求項９に記載のシステム。

【請求項11】

前記記述作成部が、自然言語テキストと、記述される前記関連オブジェクトの前記プロパティ又は前記利用可能なアクションの値のプレースホルダとを含むテンプレートを用いて、前記拡張記述を生成するように構成されている請求項１０に記載のシステム。

【請求項12】

前記ナラティブエンジンがさらに、
音声テキスト化エンジンを用いて、前記ユーザ入力を認識テキストに変換し、
前記インターフェースモデル内における前記利用可能なアクションの名前について前記認識テキストをスキャンし、
発話された前記利用可能なアクションを実行するよう前記ユーザアプリケーションに指示するようプログラムされている請求項１０に記載のシステム。

【請求項13】

前記ユーザインターフェースを提供するユーザアプリケーションからコンピュータデバイスの入力デバイス及び出力デバイスを介して、前記ユーザインターフェースのコンテンツを記述するオブジェクトメタデータを受信するステップと、
前記ユーザインターフェースの拡張記述を生成するステップであり、当該拡張記述が、前記ユーザインターフェースにおける環境の記述と、前記ユーザインターフェースに対して実行されるアクションのリストを含むステップと、
前記出力デバイスを用いて前記拡張記述を提示するステップと、
前記アクションの１つを要求するユーザ入力を処理するステップと、
前記ユーザ入力に基づいて前記拡張記述を更新するステップと、を含む方法。

【請求項14】

アプリケーションプログラミングインターフェース（ＡＰＩ）を用いて、前記ユーザアプリケーションから前記オブジェクトメタデータを受信するステップをさらに含み、前記ＡＰＩが、サポートされるユーザインターフェースのタイプごとの拡張機能を含んでおり、特定のユーザインターフェースのタイプ毎の前記オブジェクトメタデータへのアクセスを可能にする請求項１３に記載の方法。

【請求項15】

前記拡張記述が、前記ユーザインターフェースに重ね合わされたオーバーレイとして提示される請求項１３に記載の方法。

【請求項16】

前記拡張記述が、コンピュータ生成音声として聴覚的に提示される請求項１３に記載の方法。

【請求項17】

ユーザの障害のレベル又はタイプを示すユーザ設定に従って、前記拡張記述を提示するステップをさらに含む請求項１３に記載の方法。

【請求項18】

前記オブジェクトメタデータのプロパティを用いて前記オブジェクトメタデータをフィルタリングし、前記オブジェクトメタデータ内の関連オブジェクトを決定するステップをさらに含み、
当該ステップが、
前記オブジェクトメタデータを、ユーザのアバターから所定の距離内にある前記ユーザインターフェースの要素に限定するステップ、
前記オブジェクトメタデータを、前記ユーザの視野内にある前記ユーザインターフェースの要素に限定するステップ、又は
前記オブジェクトメタデータを、マウスカーソルから所定の２Ｄ距離内にある前記ユーザインターフェースの要素に限定し、前記オブジェクトメタデータを、有効になっている前記ユーザインターフェースの要素に限定するステップ、
の一つ以上を含む請求項１３に記載の方法。

【請求項19】

前記関連オブジェクトの前記プロパティと利用可能なアクションを記述するインターフェースモデルを構築するステップと、
記述生成部を用いて、前記関連オブジェクトの前記プロパティに基づいて前記環境の記述を生成し、前記関連オブジェクトの前記利用可能なアクションに基づいて前記アクションのリストを生成するステップと、をさらに含む請求項１８に記載の方法。

【請求項20】

自然言語テキストと、記述される関連オブジェクトの前記プロパティ又は前記利用可能なアクションの値のプレースホルダと、を含むテンプレートを用いて、前記拡張記述を生成するステップをさらに含む請求項１９に記載の方法。

【請求項21】

音声テキスト化エンジンを用いて、前記ユーザ入力を認識テキストに変換するステップと、
前記インターフェースモデル内における前記利用可能なアクションの名前について前記認識テキストをスキャンするステップと、
発話された前記利用可能なアクションを実行するよう前記ユーザアプリケーションに指示するステップと、をさらに含む請求項１９に記載の方法。

【請求項22】

コンピュータデバイスの１又は複数のプロセッサにより実行されると、前記コンピュータデバイスに動作を実行させるナラティブエンジンの命令を含む非一時的なコンピュータ可読媒体であって、当該動作が、
前記コンピュータデバイスの入力デバイス及び出力デバイスを介して、ユーザインターフェースを提供するユーザアプリケーションから、前記ユーザインターフェースのコンテンツを記述するオブジェクトメタデータを受信するステップであって、前記ナラティブエンジンのＡＰＩを用いて、前記ユーザアプリケーションから前記オブジェクトメタデータを受信することを含み、前記ＡＰＩが、サポートされる前記ユーザインターフェースのタイプ毎の拡張機能を含んでおり、特定のユーザインターフェースのタイプの前記オブジェクトメタデータへのアクセスを可能にすることを含むステップと、
前記オブジェクトメタデータのプロパティを用いて前記オブジェクトメタデータをフィルタリングし、前記オブジェクトメタデータ内の関連オブジェクトを決定するステップと、
前記関連オブジェクトを用いて前記ユーザインターフェースの拡張記述を生成するステップであって、当該拡張記述が、前記ユーザインターフェースの環境の記述と、前記ユーザインターフェースに対して実行されるアクションのリストとを含むステップと、
前記出力デバイスを用いて、前記拡張記述を、前記ユーザインターフェースに重ね合わされたオーバーレイとして、又はコンピュータ生成音声として聴覚的に、１つ以上提示するステップと、
前記アクションの一つを要求するユーザ入力を処理するステップと、
前記ユーザ入力に基づいて前記拡張記述を更新するステップと、
前記出力デバイスを用いて、前記更新された拡張記述を提示するステップと、
を含む、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

・関連出願の相互参照
本出願は、２０２１年１２月１９日に出願された米国仮出願第６３／２６５，６９７号の利益を主張するものであり、その開示内容は参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

本開示の態様は、表示又は保存されたコンピュータデータをナラティブな散文（narrative prose）として解釈するユーザインターフェースに関する。さらなる態様は、テキスト又は音声テキスト入力からインターフェースを通じて収集されるコンピュータ入力に関する。さらなる態様は、身体障害のある又は盲目のプレーヤーが利用可能なコンピュータインターフェースに関する。

【発明の概要】

【0003】

１つ又は複数の例示的な実施例において、システムは、入力デバイス及び出力デバイスを備えるコンピュータデバイスを含む。コンピュータデバイスは、ナラティブエンジン（narrative engine）を実行するようにプログラムされており、ユーザインターフェースを提供するユーザアプリケーションから入力デバイス及び出力デバイスを介して、ユーザインターフェースのコンテンツを記述するオブジェクトメタデータを受信し、拡張された記述は、ユーザインターフェース内の状況の記述及びユーザインターフェースに対して実行されるアクションのリストを含んでおり、そしてユーザインターフェースの拡張された記述を生成し、出力デバイスを用いて拡張された記述を提示し、アクションの１つを要求するユーザ入力を処理し、拡張された記述（又は説明）をユーザ入力に基づいて更新する。

【0004】

１つ又は複数の例示的な実施例において、方法は、コンピュータデバイスの入力デバイス及び出力デバイスを介して、ユーザインターフェースを提供するユーザアプリケーションから、ユーザインターフェースのコンテンツを記述するオブジェクトメタデータを受信するステップと、ユーザインターフェースの拡張記述を生成するステップであって、拡張記述は、ユーザインターフェースの環境の記述及びユーザインターフェースに対して実行されるアクションのリストを含むステップと、出力デバイスを用いて拡張記述を提示するステップと、アクションの１つを要求するユーザ入力を処理するステップと、ユーザ入力に基づいて拡張記述を更新するステップとを含む。

【0005】

１つ又は複数の例示的な実施例において、非一過性のコンピュータ可読媒体は、コンピュータデバイスの１つ又は複数のプロセッサによって実行されたとき、コンピュータデバイスに動作を実行させるナラティブエンジンの命令を含み、当該動作が、コンピュータデバイスに、ユーザインターフェースを提供するユーザアプリケーションからコンピュータデバイスの入力及び出力デバイスを介して、ユーザインターフェースのコンテンツを記述するオブジェクトメタデータ受信し、ナラティブエンジンのアプリケーションプログラミングインターフェース（ＡＰＩ）を用いてユーザアプリケーションからオブジェクトメタデータを受信し、ＡＰＩが、特定のユーザインターフェースのタイプのオブジェクトメタデータへのアクセスを可能にするためにサポートされるユーザインターフェースのタイプ毎の拡張機能を含み、オブジェクトメタデータのプロパティを用いてオブジェクトメタデータをフィルタリングし、オブジェクトメタデータ内の関連オブジェクトを決定し、関連オブジェクトを用いてユーザインターフェースの拡張記述を生成し、拡張記述が、ユーザインターフェースの環境の記述と、ユーザインターフェースに対して実行されるアクションのリストを含み、入力デバイス及び出力デバイスを用いて、拡張記述を、ユーザインターフェースにインターポーズされたオーバーレイとして、又はコンピュータが生成した音声として、１つ又は複数で提示し、アクションの１つを要求するユーザ入力を処理し、ユーザ入力に基づいて拡張記述を更新し、出力デバイスを用いて更新された拡張記述を提示することを含む。

【図面の簡単な説明】

【0006】

【図1】図１は、ユーザアプリケーションを操作するためのナラティブインターフェースを実装するコンピュータデバイスを含むシステムの一例を示している。

【図2】図２は、ナラティブインターフェースの実装例のさらなる詳細を示す図である。

【図3】図３は、２Ｄゲームのユーザインターフェースにおけるナラティブエンジンの使用例を示す図である。

【図4】図４は、２Ｄアプリケーションのユーザインターフェースにおけるナラティブエンジンの使用例を示す図である。

【図5】図５は、３Ｄゲームのユーザインターフェースにおけるナラティブエンジンの使用例を示す図である。

【図6】図６は、ストアアプリケーションのユーザインターフェースにおけるナラティブエンジンの使用例を示す図である。

【図7】図７は、図６のストアユーザインターフェースに示される財布アイテムのオブジェクトメタデータの一例を示す図である。

【図8】図８は、ナラティブエンジンの操作のためのメインインターフェースループを示すプロセス例である。

【図9】図９は、ユーザ入力に応答するナラティブエンジンのプロセス例を示す図である。

【発明を実施するための形態】

【0007】

本開示の実施形態を本明細書で説明する。しかしながら、開示された実施形態は単なる例示であり、他の実施形態は様々な代替形態を取り得ることを理解されたい。図は必ずしも縮尺通りではなく、一部の特徴は、特定の構成要素の詳細を示すために誇張又は最小化され得る。したがって、本明細書に開示された特定の構造的及び機能的な詳細は、限定的なものとして解釈されるものではなく、単に、当業者が実施形態を様々に採用することを教示するための代表的な基礎として解釈されるものである。当業者であれば理解できるように、いずれか１つの図を参照して図示及び説明した様々な特徴を、１つ又は複数の他の図に図示した特徴と組み合わせて、明示的に図示又は説明されていない実施形態を作り出すことができる。図示された特徴の組み合わせは、典型的な用途のための代表的な実施形態を提供する。しかしながら、本開示の教示と一致する特徴の様々な組み合わせ及び改変が、特定の用途のために所望され得る。

【0008】

本開示の態様は、コンピュータユーザインターフェース情報を解釈し、ナラティブな説明的な散文として伝えるためのアプローチに関し、このナラティブな説明的な散文は、テキスト読み上げエンジンによって、表示されかつ音声で発話される。一例として、ビデオゲームのプレーヤーは、自然な音声入力又はテキスト入力を通して、コンピュータゲーム内のイベントを制御又はトリガすることができる。全盲のプレーヤーは、音声出力と、テキスト又は音声入力とで、インターフェースを使用することができる。耳の不自由なプレーヤーは、テキスト及び／又はグラフィック出力と、テキスト入力又は音声入力でインターフェースを使用することができる。利用される音声－テキスト変換やテキスト読み上げは、最新のスマートフォンやパーソナルコンピュータで利用することができる。

【0009】

一例として、ナラティブインターフェースは、ターンベースのコンピュータゲームで使用されると効果的である。他の例では、ナラティブインターフェースは、例えばワープロ又はウェブサイト等の、２Ｄアプリケーションで使用されると効果的である。さらに別の例では、ナラティブインターフェースは、例えばメタバース又は３Ｄビデオゲーム等の、３Ｄアプリケーションとともに使用されると効果的である。

【0010】

図１は、ユーザアプリケーション１１８の操作のためのナラティブエンジン１２２を実装するためのコンピュータデバイス１０２を含む例示的なシステム１００を示す。コンピュータデバイス１０２は、例えばスマートフォン、タブレット、デスクトップコンピュータ、スマートウォッチ、ビデオゲームコンソール、スマートテレビ（ＴＶ）、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）メガネ等、様々なタイプのデバイスであってよい。形態にかかわらず、コンピュータデバイス１０２は、ストレージ１０６、ネットワークデバイス１０８、出力デバイス１１４及び入力デバイス１１６に動作可能に接続されたプロセッサ１０４を含む。これは単なる例示であり、より多くの、より少ない、又は異なる構成要素を有するコンピュータデバイス１０２が使用されてもよいことに留意すべきである。

【0011】

プロセッサ１０４は、中央処理装置（ＣＰＵ）及び／又はグラフィックス処理装置（ＧＰＵ）の機能を実装する１つ又は複数の集積回路を含み得る。いくつかの例では、プロセッサ１０４は、ＣＰＵ及びＧＰＵの機能を統合したシステムオンチップ（ＳｏＣ）である。ＳｏＣは、オプションとして、例えば、ストレージ１０６及びネットワークデバイス１０８等の他のコンポーネントを、単一の統合デバイスに含めることができる。他の例では、ＣＰＵとＧＰＵは、ＰＣＩ（Peripheral Component Interconnect）エクスプレス又は他の適切な周辺データ接続等の周辺接続デバイスを介して、互いに接続される。一実施例では、ＣＰＵは、例えばｘ８６、ＡＲＭ、Ｐｏｗｅｒ、又はＭＩＰＳ（microprocessor without interlocked pipeline stage）の命令セットファミリのうちの１つの命令セットを実装する、市販の中央処理装置である。１つのプロセッサ１０４のみが示されているが、多くの検討において、コンピュータデバイス１０２は、様々な相互接続された機能を有する複数のプロセッサ１０４を含み得ることに留意すべきである。

【0012】

ストレージ１０６は、不揮発性メモリと揮発性メモリデバイスの両方を含んでもよい。不揮発性メモリは、例えばＮＡＮＤ型フラッシュメモリ等、磁気及び光学記憶媒体、又はシステムが非活性化されるか電力を失ったときにデータを保持する任意の他の適切なデータ記憶装置等の固体メモリを含む。揮発性メモリには、システム１００の動作中にプログラム命令及びデータを格納する静的及び動的ランダムアクセスメモリ（ＲＡＭ）が含まれる。

【0013】

ネットワークデバイス１０８のそれぞれは、コンピュータデバイス１０２が外部デバイスからデータを送信及び／又は受信することを可能にする、様々なデバイスのいずれかを含み得る。適切なネットワークデバイス１０８の例には、イーサネットインターフェース、Ｗｉ－Ｆｉトランシーバ、セルラトランシーバ、ＢＬＵＥＴＯＯＴＨ若しくはＢＬＵＥＴＯＯＴＨ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）トランシーバ、又は他のコンピュータもしくは外部データストレージデバイスからデータを受信する他のネットワークアダプタもしくは周辺相互接続デバイスが含まれる。

【0014】

一例において、ネットワークデバイス１０８は、通信ネットワーク１１２を介して、コンピュータデバイス１０２が１つ以上のリモートサーバ１１０又は他のデバイスにアクセスすることを可能にし得る。通信ネットワーク１１２は、いくつかの非限定的な例として、例えばインターネット、ケーブルテレビ配信ネットワーク、衛星リンクネットワーク、ローカルエリアネットワーク、及び電話ネットワークのような、１つ又は複数の相互接続された通信ネットワークを含んでもよい。リモートサーバ１１０は、音声テキスト変換、データベースアクセス、アプリケーション及び／又はデータファイルのダウンロード、インターネット検索等、様々なクラウドサービスをコンピュータデバイス１０２に提供するように構成されたデバイスを含んでよい。

【0015】

出力デバイス１１４は、電子ディスプレイスクリーン、プロジェクター、プリンター又はグラフィカル表示を再現する他の適切な装置等の、グラフィカル又はビジュアル表示装置を含んでよい。別の例として、出力デバイス１１４は、例えばラウドスピーカー又はヘッドフォン等のオーディオデバイスを含んでもよい。さらに別の例として、出力デバイス１１４は、点字キーボード等の触覚デバイスや、点字や他の物理的出力を表示するように構成された、ユーザが触れて近くできる機械的なデバイスを含んでもよい。ＧＰＵを含むシステムの場合、ＧＰＵプロセッサ１０４は、少なくとも２次元（２Ｄ）の、必要に応じて３次元（３Ｄ）グラフィックスを出力デバイス１１４に表示するためのハードウェア及びソフトウェアを含んでもよい。

【0016】

入力デバイス１１６は、ユーザからの制御入力をコンピュータデバイス１０２が受け取ることを可能にする様々なデバイスのいずれかを含み得る。ヒューマンインターフェース入力を受け取る適切な入力デバイス１１６の例は、キーボード、マウス、トラックボール、タッチスクリーン、マイクロフォン、ヘッドセット及びグラフィックタブレット等を含み得る。

【0017】

動作中、プロセッサ１０４は、ストレージ１０６から取り出された記憶されたプログラム命令を実行する。したがって、記憶されたプログラム命令は、プロセッサ１０４の動作を制御し、本明細書で説明する動作を実行するためのソフトウェアを含む。このソフトウェアは、例えば、１つ以上のユーザアプリケーション１１８及びナラティブエンジン１２２を含み得る。

【0018】

ユーザアプリケーション１１８は、定義されたユーザインターフェース１２０を有する、プロセッサ１０４によって実行可能な様々なタイプのソフトウェアアプリケーションを含んでよい。いくつかの例として、ユーザアプリケーション１１８は、ビデオゲーム、ウェブサイト、ストア、生産性アプリケーション、メタバースコンポーネント等であってもよい。

【0019】

ユーザインターフェース１２０は、入力デバイス１１６及び出力デバイス１１４の使用を通じてユーザとシステム１００が相互作用する態様を指す。いくつかの例では、ユーザアプリケーション１１８は、ウェブサイト又はワードプロセッサのような２Ｄインターフェースを規定することができる。他の例では、ユーザアプリケーション１１８は、一人称視点のビデオゲーム又はメタバースアプリケーションのような、３Ｄインターフェースを規定することができる。さらに別の例では、ユーザアプリケーション１１８は、コマンドラインアプリケーション又はテキストアドベンチャー等のテキストインターフェースを規定することができる。さらに、いくつかの例では、ユーザインターフェース１２０は、２Ｄディスプレイスクリーン等の２方式で、出力デバイス１１４を介して提示されてもよい。他の例では、ユーザインターフェース１２０は、ＶＲ又はＡＲヘッドセットを使用する等、３Ｄ方式で、出力デバイス１１４を介して提示されてもよい。さらに別の例では、ユーザインターフェース１２０は、オーディオインターフェースを用いて、出力デバイス１１４を介して、提示されてもよい。

【0020】

ナラティブエンジン１２２は、ユーザインターフェース１２０のバインドソフトウェアアクション又はアクションのシーケンスを、ＡＰＩ１２４を通じて自然言語で使用できるように構成され、これによりユーザはユーザアプリケーション１１８に対する制御レベルを高めることができる。

【0021】

図２は、ナラティブエンジン１２２のさらなる態様を示す。示されるように、ナラティブエンジン１２２は、ＡＰＩ１２４を介して、ユーザインターフェース１２０からオブジェクトメタデータ２０２を受信することができる。ナラティブエンジン１２２は、注意フィルタ２０４を用いて、オブジェクトメタデータ２０２を、ユーザに関連する一連の関連オブジェクト２０６にフィルタリングすることができる。関連オブジェクト２０６は、オブジェクトインタプリタ２０８に提供され、インターフェースモデル２１０が生成される。インターフェースモデル２１０は、関連オブジェクト２０６のプロパティ２１２と利用可能なアクション２１４を説明することができる。記述生成部（Description creator）２１６は、インターフェースモデル２１０、テキストテンプレート２１７、及びユーザ設定２２０を用いて、拡張記述（augmented description）２１８を生成し、ＡＰＩ１２４を介してユーザインターフェース１２０に提供する。これには、たとえば、オーバーレイ生成部２２２を用いて、拡張記述２１８をユーザインターフェース１２０にテキストとして提供すること、及び／又はテキスト読み上げエンジン２２４を用いて、拡張記述２１８をユーザインターフェース１２０に音声で提供することが含まれる。さらに、ナラティブエンジン１２２は、ＡＰＩ１２４を介してユーザインターフェース１２０からユーザ入力２２６を受け取るように構成されてもよい。このユーザ入力２２６は、コマンド実行部２２８に提供され、ユーザアプリケーション１１８によって処理されてよい。ユーザ入力２２６はまた、音声テキスト化エンジン２３０に提供されてよく、これはコマンド認識部２３４を用いて、インターフェースモデル２１０内のアクションを識別し、コマンド実行部２２８に処理のために与えられてよい（例えば、ＡＰＩ１２４又はその他の方法で）。

【0022】

本明細書では、ナラティブエンジン１２２の例示的なモジュール化について説明するが、ナラティブエンジン１２２の構成要素は、より少ない構成要素に組み込まれてもよいし、より少ない構成要素に組み合わされてもよいし、単一の構成要素に組み合わされてもよいことに留意されたい。例えば、オブジェクトインタプリタ２０８、記述生成部２１６、オーバーレイ生成部２２２、テキスト読み上げエンジン２２４、コマンド実行部２２８、音声テキスト化エンジン２３０、コマンド認識部２３４及びコマンド実行部２２８の各々が別々に記載されているが、これらのコンポーネントは、ハードウェア、及び／又はソフトウェアとハードウェアとの組み合わせにおいて、１つ又は複数のコントローラにより、別々に又は組み合わせて実装されてもよい。

【0023】

オブジェクトメタデータ２０２は、ユーザインターフェース１２０内のインターフェース要素の態様を規定する、公開された、又はその他の方法で入手可能な情報を参照してもよい。２Ｄインターフェースの場合、これらのインターフェース要素は、例えばウィンドウ、ダイアログボックス、ボタン、スライダ、テキストボックス、ウェブページリンク等の２Ｄ要素を指してよい。３Ｄインターフェースの場合、これらのインターフェース要素は、例えば、木、家、アバター、車両のモデル等の、３Ｄシーン内の３Ｄメッシュオブジェクトを指してよい。テキストベースのインターフェースの場合、インターフェース要素は、ユーザプロンプト等のテキストブロックや、利用可能なテキストコマンドを表示するために使用されるヘルプコマンドへの応答等の他のテキストベースの情報を指してもよい。

【0024】

ＡＰＩ１２４は、ナラティブエンジン１２２がユーザインターフェース１２０からオブジェクトメタデータ２０２を受信できるようにするために使用されるコンピュータコードを含んでもよい。一例として、Ｕｎｉｔｙ又は他の３Ｄエンジンでレンダリングされるような３Ｄシーンの場合、レンダリングされる各オブジェクトは、オブジェクトメタデータ２０２を有してもよい。このオブジェクトメタデータ２０２は、ＡＰＩ１２４を介して、ナラティブエンジン１２２によってアクセスされてよい。別の例では、２Ｄウェブページの場合、ウェブページのハイパーテキスト転送プロトコル（ＨＴＴＰ）マークアップは、ＡＰＩ１２４を介してナラティブエンジン１２２によって読み取られ得るオブジェクトメタデータ２０２を含むか、又は他の方法でオブジェクトメタデータ２０２を規定してよい。さらに別の例では、ウィンドウズアプリケーションの場合、ウィンドウの位置、テキスト及びその他の属性は、デスクトップ上のウィンドウのエニュメレーションを介して、及び／又は他のオペレーティングシステム（ＯＳ）レベルのインターフェース機能を介して、ＡＰＩ１２４によってキャプチャされてもよい。さらに別の例では、コンソールアプリケーションの場合、コンソールバッファテキストは、ＡＰＩ１２４を介してナラティブエンジン１２２によって読み取られてもよい。いくつかの例では、ＡＰＩ１２４は、サポートされる新しいユーザインターフェース１２０のタイプ毎に作成されるシム又は拡張機能を要求し、ナラティブエンジン１２２がその特定のユーザインターフェース１２０のタイプのオブジェクトメタデータ２０２にアクセスできるようにしてもよい。例えば、レンダリングされたＪａｖａアプリケーションがサポートされる場合、ＡＰＩ１２４にシム又は拡張機能を追加して、レンダリングされたＪａｖａ制御情報がナラティブエンジン１２２に公開されるようにしてよい。

【0025】

注意フィルタ２０４は、オブジェクトメタデータ２０２を関連オブジェクト２０６にフィルタリングするように構成されてもよい。例えば、注意フィルタ２０４は、単に、すべてのオブジェクトメタデータ２０２の処理を可能にしてもよい。しかし、これは、複雑なインターフェース又は混雑した３Ｄシーンでは実用的でない場合がある。さらに、例えば、３Ｄシーン内のユーザの位置、２Ｄインターフェース内のマウスポインタの位置、ユーザによって実行されている現在のタスク等、ユーザの注意に関連する基準に基づいて考慮されるインターフェース要素の範囲を制限することが望ましい場合がある。一例では、注意フィルタ２０４は、オブジェクトメタデータ２０２のプロパティに基づいて、オブジェクトメタデータ２０２をフィルタリングしてもよい。３Ｄロケーションの例を続けると、注意フィルタ２０４は、オブジェクトメタデータ２０２を、ユーザ又はユーザのアバターから予め定義された距離内にあるオブジェクト、及び／又はユーザの視野内にあるオブジェクトに制限してもよい。２Ｄの例では、注意フィルタ２０４は、オブジェクトメタデータ２０２を、マウスカーソルから予め定義された２Ｄの距離内にあるコントロール、及び／又は有効になっているインターフェース要素に制限してもよい。

【0026】

オブジェクトインタプリタ２０８は、関連オブジェクト２０６を受信し、この受信した関連オブジェクト２０６に基づいてインターフェースモデル２１０をコンパイルするように構成される。一例として、オブジェクトインタプリタ２０８は、注意フィルタ２０４によってフィルタリングされた関連オブジェクト２０６のプロパティ２１２及び利用可能なアクション２１４を含むものとして、インターフェースモデル２１０を生成してもよい。そうすることでオブジェクトインタプリタ２０８は、ユーザインターフェース１２０内のコンテンツを増大させるためと、ユーザのコマンド選択を改善するためとの両方に使用され得る、一連の情報を作成してもよい。

【0027】

２Ｄインターフェースの例では、オブジェクトメタデータ２０２は、コントロールプロパティ２１２（例えば、名前、所有者、画面位置、テキスト、ボタン識別子（ＩＤ）、リンク参照ＩＤ等）等のプロパティ２１２情報を含んでもよい。また、オブジェクトメタデータ２０２は、ボタンを押す又はアクティブにする、場所にスクロールする、テキストを受信する、テキストを削除する等の、利用可能なアクション２１４を含んでもよい。３Ｄインターフェースの例では、オブジェクトメタデータ２０２は、プロパティ２１２情報（例えば、メッシュ名、クリエータＩＤ、モデルＩＤ、色、シェーディング、テクスチャ、サイズ、位置等）を含んでもよい。利用可能なアクション２１４は、オブジェクトを移動させる、ドアを開ける、車を発進させる、車の速度又は方向を調整する等の態様を含んでもよい。テキストインターフェースの例では、オブジェクトメタデータ２０２は、プロンプトのテキスト等のプロパティ２１２情報を含んでもよい。利用可能なアクション２１４は、コマンドラインによって公開されるテキストコマンドを含んでもよい。例えば、ヘルプコマンドを発行して、利用可能なテキストコマンドを表示してもよい。

【0028】

記述生成部２１６は、ユーザインターフェース１２０を拡張するために、インターフェースモデル２１０の拡張記述（augmented description）２１８を生成するように構成されてもよい。一例において、記述生成部２１６は、関連オブジェクト２０６のプロパティ２１２を記述する自然言語を生成してもよい。別の例では、記述生成部２１６は、関連オブジェクト２０６の利用可能なアクション２１４を記述する自然言語を生成してもよい。

【0029】

一例では、記述生成部２１６は、テキストテンプレート２１７を用いて、関連オブジェクト２０６のメタデータに基づいて自然言語の記述を提供してもよい。各テンプレート２１７は、記述される関連オブジェクト２０６のプロパティ２１２又は利用可能なアクション２１４の値のための、１つ又は複数のプレースホルダとともに、自然言語テキストを含んでもよい。値のプレースホルダが関連オブジェクト２０６のメタデータによって指定される場合、テンプレート２１７は、関連オブジェクト２０６又は一連の関連オブジェクト２０６に適用されてよい。本明細書の例に示すように、プロパティ２１２及び使用可能なアクション２１４の名前は、テンプレート２１７において角括弧内で指定されるが、これは単なる例であり、パラメータ化テキストのための他のアプローチが使用されてもよい（例えば、プロンプト情報から自然言語テキストを生成するためのＡＩ技術の使用等）。

【0030】

一例では、環境を記述する情報を生成するために、記述生成部２１６は、“あなたは［アプリケーション名］を用いています”、又は“［オブジェクト名］の近くにいます”、又は“あなたは［方向］を向いています”、又は“［属性］である［オブジェクト名］が近くにあります”等のテンプレート２１７を利用することができる。例えば、インターフェースモデル２１０内の関連オブジェクト２０６の１つにアプリケーション名のプロパティ２１２が指定されている場合、テンプレート２１７“［アプリケーション名］を用いています”が使用されてもよい。

【0031】

別の例では、利用可能なアクション２１４のリストを生成するために、記述生成部２１６は、例えば、“ここから、あなたは、［コンマで区切られたリストにフォーマットされた利用可能なアクション２１４のリスト］ができます”のようなテンプレート２１７を利用することができ、ここで利用可能なアクション２１４の各々は、コマンド名、ツールチップテキスト、属性名等のメタデータに基づいてリストされてよい。拡張記述２１８の作成の態様はまた、ユーザ設定２２０に基づいてもよい。例えば、ユーザ設定２２０は、拡張記述２１８の生成のための冗長性のレベルを示してもよい（例えば、属性の簡潔なリストに対して完全な文であるテンプレート２１７を使用する）。

【0032】

オーバーレイ生成部２２２は、ユーザインターフェース１２０の出力デバイス（複数可）１１４を介して、拡張記述２１８をユーザに視覚的に提供するように構成されてもよい。一例において、オーバーレイ生成部２２２は、拡張記述２１８を、テキスト情報として（例えば、高コントラストの色及び／又はフォントで）既存のディスプレイの上に提供してもよい。

【0033】

テキスト読み上げエンジン２２４は、ユーザインターフェース１２０の出力デバイス１１４を介して、拡張記述２１８をユーザに音声で提供するように構成される場合がある。一例として、テキスト読み上げエンジン２２４は、様々な音声合成技術のいずれかを用いて、通常の言語テキストを音声に変換し、これをスピーカ、ヘッドフォン、又は他の音声出力デバイス１１４を介して再生してもよい。

【0034】

いくつかの例では、ユーザ設定２２０はさらに、記述生成部２１６がどのように拡張記述２１８をユーザに提供すべきかを示してもよい。これらのユーザ設定２２０は、ユーザの障害のレベル又はタイプに基づいてもよい。例えば、ユーザが視覚障害者である場合、ユーザ設定２２０は、テキスト読み上げエンジン２２４を介して拡張記述２１８がユーザに話されることを示してもよい。あるいは、ユーザが聴覚障害者である場合、ユーザ設定２２０は、オーバーレイ生成部２２２を介して拡張記述２１８がユーザに表示されることを示してもよい。これらの設定は、ユーザに障害がある場合以外の状況で使用されてもよいことに留意されたい。たとえば、騒音レベルのために聞き取れない可能性のある情報を説明するためにオーバーレイ生成部２２２を使用することによって、大音量の部屋でのアプリケーションの使用を可能にするために、これらの設定が使用されてもよい。

【0035】

コマンド実行部２２８は、ユーザによって要求された利用可能なアクション２１４をナラティブエンジン１２２に実行させるように構成されてもよい。コマンド実行部２２８は、ユーザインターフェース１２０の１つ以上の入力デバイス１１６からユーザ入力２２６を受け取ってよい。いくつかの例では、ユーザ入力２２６は、ナラティブエンジン１２２による処理なしにユーザアプリケーション１１８が理解し得るアクションを含んでよい。たとえば、ユーザ入力２２６は、利用可能なアクション２１４の１つにマッピングされたコントロールを押すことを含んでもよい。このような例では、ナラティブエンジン１２２のコマンド実行部２２８は、処理のためにユーザ入力２２６をユーザアプリケーション１１８に渡すだけでもよい。

【0036】

他の例では、ユーザ入力２２６は、拡張記述２１８によって示されるコマンドを実行する指示であってもよいが、ユーザアプリケーション１１８が処理できない可能性がある方法で実行されてよい。例えば、拡張記述２１８は、ユーザが特定のコマンドを口に出して実行させることを示してよい。しかし、ユーザアプリケーション１１８は音声サポートを欠いていてもよい。したがって、ユーザ入力２２６は、ナラティブエンジン１２２の音声テキスト化エンジン２３０にさらに提供されて、この音声テキスト化エンジン２３０が、ユーザ入力２２６を、本明細書では認識テキスト２３２と呼ばれるテキスト表現に処理してもよい。

【0037】

コマンド認識部２３４は、認識テキスト２３２を受信し、認識テキスト２３２を処理して、利用可能なアクション２１４のうち何らかの実行するものがあれば、それを特定してもよい。例えば、コマンド認識部２３４は、認識テキスト２３２をスキャンして、アクションワード（例えば、インターフェースモデル２１０内の利用可能なアクション２１４の名前）を探してもよい。別の例では、コマンド認識部２３４は、“ｈｅｌｐ”等の予め定義された動詞又は他のアクションをスキャンしてもよい。そのような利用可能なアクション２１４が見つかった場合、コマンド認識部２３４は、話された利用可能なアクション２１４を実行するようにコマンド実行部２２８に指示してよい。

【0038】

図３は、２Ｄゲームのユーザインターフェース１２０に対するナラティブエンジン１２２の使用例を示す。この例は動的に作成されたテキストブロック（動的テキストブロックともいう）３０２を示しており、これは拡張記述２１８を含んでおり、２Ｄゲームのユーザアプリケーション１１８とともにユーザインターフェース１２０に表示される。

【0039】

示されるように、ユーザインターフェース１２０は、ゲームユーザアプリケーション１１８によってスクリーン出力デバイス１１４に提示されるさまざまなオブジェクトを含む。各オブジェクトは、ＡＰＩ１２４を介してナラティブエンジン１２２によってアクセスされ得る様々なオブジェクトメタデータ２０２を公開してよい。たとえば、ＡＰＩ１２４は、ユーザインターフェース１２０のゲームオブジェクトをナラティブエンジン１２２が列挙できるように構成されてもよい。この受け取ったデータに基づいて、ナラティブエンジン１２２は、拡張記述２１８を構築してもよい。拡張記述２１８は、動的テキストブロック３０２に表示され、ディスプレイ出力デバイス１１４に表示されてよい。

【0040】

多くの例では、動的テキストブロック３０２は、最初にユーザの環境（surroundings）の記述を含み、それから利用可能なアクション２１４が続いてよい。動的テキストブロック３０２の各要素は、プレーヤアバター３１０の位置、プレーヤアバター３１０の視線３０８内にあるゲームオブジェクト３１２、又はオーディオイベントの説明を参照する。例えば、動的テキストブロック３０２は、フレーズ３０３「あなたは、脱出不可能な部屋に立っている。」で始まる。このフレーズ３０３のテキストは、ユーザがいる場所で発生するオーディオイベントの説明から取得されてよい。動的テキストブロック３０２内のフレーズ３０４「近くに鍵がある。」は、プレーヤアバター３１０の視線３０８としてマークされた領域内にあるキーゲームオブジェクト３１６を指している。動的テキストブロック３０２内のフレーズ３０６「北に出口がある。」は、プレーヤアバター３１０の視線３０８としてマークされた領域内にあるドアゲームオブジェクト３１４を直接指している。

【0041】

注意フィルタ２０４は、プレーヤアバター３１０の位置を受信し、プレーヤアバター３１０及び／又は視線３０８を用いて、オブジェクトメタデータ２０２から関連オブジェクト２０６を決定してもよい。一例において、注意フィルタ２０４は、関連オブジェクト２０６として、任意のインターフェース要素を含むように視線３０８を定義してもよく、この任意のインターフェース要素は、プレーヤアバター３１０の現在の部屋の位置と同じ部屋に要素があることを示すオブジェクトメタデータ２０２を有してよい（例えば、ドアゲームオブジェクト３１４、キーゲームオブジェクト３１６）。これらの関連オブジェクト２０６は、オブジェクトインタプリタ２０８によってインターフェースモデル２１０に含められてよい。例えば他の部屋の鍵や他の部屋の出入り口等の他のオブジェクトは、関連性がなく、拡張記述２１８に含まれない。

【0042】

拡張記述２１８のテキストは、インターフェースモデル２１０の関連オブジェクト２０６のプロパティ２１２が適合するテキストテンプレート２１７を用いてコンパイルされてよい。例えば、テンプレート２１７「近くに、［オブジェクト名］があります」は、そのオブジェクトが、オブジェクト名のプロパティ２１２を有し、かつプレーヤアバター３１０の視線３０８内にあるときに、キーゲームオブジェクト３１６のために利用されてよい。

【0043】

動的テキストブロック３０２には示されていないが、インターフェースモデル２１０は、１つ以上の利用可能なアクション２１４をさらに含んでもよい。これらは、ユーザによって呼び出され得るコマンドとして利用可能であってもよい。例えば、キーゲームオブジェクト３１６はピックアップ方法を指定することができ、この方法は、インターフェースモデル２１０の利用可能なアクション２１４に追加されてよく、ユーザがキーとピックアップアクションを含むコマンドを言うと、コマンド認識部２３４が要求されたコマンドを識別し、処理のためにコマンド実行部２２８に送信するようにしてよい。

【0044】

図４は、２Ｄアプリケーションのユーザインターフェース１２０に対するナラティブエンジン１２２の使用例を示す。この例では、拡張記述２１８を含む動的テキストブロック４０２を示しており、これは２Ｄユーザアプリケーション１１８とともに、ユーザインターフェース１２０に表示される。

【0045】

示されるように、動的テキストブロック４０２は、２Ｄユーザアプリケーション１１８を説明する様々な情報を含む。例えば、動的テキストブロック４０２は、アプリケーション名を示すフレーズ４０４を含んでもよい。これは、関連オブジェクト２０６から取得されたインフォーカスアプリケーションの名前を用いて生成されてよく、例えば「あなたは［アプリケーション名］を用いています。」のようなアプリケーション名を受け取るテンプレート２１７に適用されてよい。

【0046】

動的テキストブロック４０２の追加要素は、ソフトウェア内の関連オブジェクト２０６（例えばフレーズ４０４に示されるような）や、頻繁に使用されるメニュー項目又は機能（例えば、フレーズ４０６に示されるような）によって表される潜在的なユーザのアクションを参照してもよい。動的テキストブロック４０２のフレーズ４０８「あなたの“ピン留め”したメモは、“買い物”と“Ｔｏ－Ｄｏ”です。」は、ユーザが要素４１０によってユーザインターフェース１２０に示されるようにそれらの項目をピン留めしており、それらのノートが比較的重要であることを示しているため、動的テキストブロック４０２で優先されて早い位置に配置されてもよい。

【0047】

多くの例では、動的テキストブロック４０２は、ユーザの状況の説明を最初に含み、その後に利用可能なアクション２１４が続いてよい。ここで、利用可能なアクション２１４は、例えば、新しいメモを作成する、メモを検索する、タイトルによりメモを選択する等、ユーザインターフェース１２０で利用可能なメニューコマンドを含んでよい。この順序は単なる一例であり、プロパティ２１２と利用可能なアクション２１４の他の順序が用いられてもよい。

【0048】

図５は、３Ｄゲームのユーザインターフェース１２０に対するナラティブエンジン１２２の使用例を示す。この例では、拡張記述２１８を含む動的テキストブロック５０２を示しており、これは、３Ｄアプリケーションのユーザアプリケーション１１８とともにユーザインターフェース１２０に表示される。

【0049】

示されるように、動的テキストブロック５０２は、３Ｄユーザアプリケーション１１８を説明する様々な情報を含む。例えば、動的テキストブロック５０２は、３Ｄアプリケーション内のユーザの位置を示すフレーズ５０３を含んでもよい。これは、ユーザの位置に最も近い関連オブジェクト２０６に基づいて選択されてよい。ここでは、家のオブジェクト５１０がユーザに最も近い。いくつかの例では、ユーザが位置するマップのセクションはマップエリア等のプロパティ２１２でマークされてもよく、選択されたオブジェクトはランドマークオブジェクト等のプロパティ２１２でマークされてもよく、ナラティブエンジン１２２は、「あなたは、［マップエリア］の［ランドマークオブジェクト］の近くにいます。」等のテンプレート２１７を用いてもよい。

【0050】

別の例では、動的テキストブロック５０２は、インターフェースモデル２１０に含まれる他のユーザの数を説明するフレーズ５０８を含んでもよい。例えば、テンプレート２１７は、「［数］［オブジェクトタイプ］がここにいる（ある）」のように使用されてよい。ここで、“オブジェクトタイプ”は、インターフェースモデル２１０内の関連オブジェクト２０６の１つ又は複数のタイプのプロパティ２１２であり、“数”は、その同じタイプを有するそれらの関連オブジェクト２０６の数である。

【0051】

動的テキストブロック５０２は、ユーザがユーザアプリケーション１１８とともに行っている進行中のインタラクションに関するコンテキスト認識情報を含んでもよい。この例では、ユーザの１人（ダニー）が選択されており、そのユーザに関連するコマンドのメニューがユーザインターフェース１２０で利用可能である。したがって、動的テキストブロック５０２には、ユーザであるダニーとのやりとりが調整されているコンテキストを説明するフレーズ５０４が含まれてもよい。さらに、例えば、「ここから、［カンマで区切られたリストにフォーマットされた利用可能なアクション２１４のリスト］ができます」等、利用可能なアクション２１４のリストを含むフレーズ５０６が提供されてもよい。ここで、利用可能なアクション２１４の各々は、選択されたダニーの関連オブジェクト２０６のメソッドメタデータに基づいてリストアップされてもよい。したがって、ここでもまた、拡張記述２１８は、最初にユーザのコンテキストの説明を含み、続いて利用可能なアクション２１４を含むが、他の順序であってもよい。

【0052】

図６は、ストアアプリケーションのユーザインターフェース１２０のためのナラティブエンジン１２２の使用例を示す。このストアは、ユーザが、例に示すような財布等のアイテムを買い物できるようにしてもよい。いくつかの例として、ストアのユーザインターフェース１２０は、ウェブアプリケーション又はモバイルアプリを介してユーザに提示されてもよい。別の例では、ストアユーザインターフェース１２０は、メタバースストアのような３Ｄユーザインターフェース１２０の一部として提示されてもよい。メタバースの例では、ユーザは、例えば、仮想アシスタントへの音声コマンドを用いて目的地として店舗を設定することにより、店舗レベルに入り、商品店舗に移動してもよい。

【0053】

ユーザは、特定のブランドの財布を求めるようなコマンドを、自然な話し言葉又はテキストで提供することができる。ユーザインターフェース１２０は、そのコマンドに応答して提供されてよい。示されるように、財布の名前６０２は、財布のメッシュ６０４、財布の記述６０６、及び様々なスタイル６０８のリストと共に提示される。スタイル６０８の各々は、そのスタイル６０８に対応するテクスチャ６１０及び価格６１２を含んでもよい。ユーザインターフェース１２０はまた、高さ、奥行き、幅、重さ、ショルダーストラップの長さ等のアイテムのサイズ６１４の情報を含んでもよい。

【0054】

図７は、図６のストアのユーザインターフェース１２０に示された財布アイテムのオブジェクトメタデータ２０２の例を示す。例えば、オブジェクトメタデータ２０２は、財布の名前６０２、財布に対応するメッシュ６０４、財布の記述６０６、及び財布のスタイル６０８のセットを指定することができ、各スタイル６０８は、それぞれのテクスチャ６１０及び価格６１２を含んでもよい。さらに、現在選択されているテクスチャ６１０は、メッシュ６０４がどのようにテクスチャされるかを記述するために、選択されたテクスチャタグで指定されてもよい。

【0055】

オブジェクトメタデータ２０２は、ユーザインターフェース１２０自体をレンダリングするのに使用されてもよい。さらに、オブジェクトメタデータ２０２は、ＡＰＩ１２４を介してユーザインターフェース１２０から受信され、注意フィルタ２０４及びオブジェクトインタプリタ２０８によってインターフェースモデル２１０にコンパイルされ、ナラティブエンジン１２２がストアユーザインターフェース１２０のプレゼンテーションに追加のアクセス可能な機能を提供できるようにしてもよい。オブジェクトメタデータ２０２がＪａｖａＳｃｒｉｐｔオブジェクト記法（ＪＳＯＮ）で示されているが、これは単に一例であり、オブジェクトメタデータ２０２の様々なフォーマットが使用されてもよいことに留意されたい。

【0056】

たとえば、ナラティブエンジン１２２を受け付けるナラティブエンジン１２２は、注意フィルタ２０４を用いて、ストアの財布の部分で利用可能な関連オブジェクト２０６までオブジェクトメタデータ２０２をフィルタリングし、その一方で、オブジェクトインタプリタ２０８を用いて、関連オブジェクト２０６のインターフェースモデル２１０を生成してもよい。ユーザインターフェース１２０が表示されることに応答して、ナラティブエンジン１２２は、拡張記述２１８を構築してもよい。一例では、拡張記述２１８は、自然言語で、財布の名前６０２、財布の記述６０６、及び様々なスタイルのリスト６０８を示す拡張記述２１８を含んでもよい。ナラティブエンジン１２２は、テキスト読み上げエンジン２２４を用いて、拡張記述２１８を話し始めてもよい。

【0057】

対話例では、ユーザは、完全な拡張記述２１８がナラティブエンジン１２２によって読まれる前に中断し、「茶色の革はありますか？」と言うことができる。ナラティブエンジン１２２は、ユーザ入力２２６の受信に応答して、音声テキスト化エンジン２３０を用いて、ユーザ入力２２６を認識テキスト２３２に変換してもよい。コマンド認識部２３４は、認識テキスト２３２を用いて、利用可能なアクション２１４を識別してよい。一例では、スタイル６０８のリストは、スタイル６０８からの選択をサポートするインターフェースモデル２１０の利用可能なアクション２１４にコンパイルされてもよい。利用可能なアクション２１４は、“茶色の革”という単語を含む単一のスタイル６０８を含んでもよい。ナラティブエンジン１２２は、「スタイルは、“ブラウンレザーのエクステリア、タンラムスキンのインテリア”を含む。このスタイルの価格は５２００ドルです。」という応答を構築してもよい。

【0058】

さらなる対話例では、ユーザは「サイズは？」と尋ねてもよい。ここでも、ナラティブエンジン１２２は、音声テキスト化エンジン２３０を用いて、ユーザ入力２２６を認識テキスト２３２に変換してもよい。コマンド認識部２３４は、認識テキスト２３２を用いて、インターフェースモデル２１０にサイズのプロパティ２１２があることを認識し、例えば、「財布は、２１ｃｍの高さ、１１ｃｍの深さ、２７ｃｍの幅、０．６ｋｇの重さ、及び５４．５ｃｍのショルダーストラップの落差を有する」等、財布のサイズ６１４を言うフェーズを構築してもよい。重要なことは、ナラティブエンジン１２２による財布オブジェクトの追加の知識なしに、質問に対する答えがインターフェースモデル２１０から得られてもよい。

【0059】

図８は、ナラティブエンジン１２２の操作のためのメインインターフェースループを示す例示的なプロセス８００を示す。一例では、本明細書で詳細に説明するように、プロセス８００は、ナラティブエンジン１２２及びユーザアプリケーション１１８を実行するコンピュータデバイス１０２によって実行されてよい。

【0060】

操作８０２において、ナラティブエンジン１２２はオブジェクトメタデータ２０２を受け取る。一例では、ナラティブエンジン１２２は、ＡＰＩ１２４を用いて、ユーザインターフェース１２０からオブジェクトメタデータ２０２をキャプチャするか又は他の方法で受信する。一例では、Ｕｎｉｔｙ又は他の３Ｄエンジンでレンダリングされるような３Ｄシーンの場合、レンダリングされる各オブジェクトは、ＡＰＩ１２４によってキャプチャされ得るオブジェクトメタデータ２０２を有していてもよい。別の例では、２Ｄウェブページの場合、ウェブページのＨＴＴＰマークアップは、ＡＰＩ１２４を介してナラティブエンジン１２２によって読み取られ得るオブジェクトメタデータ２０２を含むか又は他の方法で定義してもよい。さらに別の例では、ウィンドウの位置、テキスト及び他の属性は、デスクトップ上のウィンドウの列挙を介して、及び／又は他のＯＳレベルのインターフェース機能を用いて、ＡＰＩ１２４によってキャプチャされてもよい。さらに別の例では、コンソールアプリケーションの場合、コンソールバッファテキストは、ＡＰＩ１２４を介してナラティブエンジン１２２によって読み取られてよい。

【0061】

操作８０４において、ナラティブエンジン１２２は、ユーザの周辺環境を記述する。これには、注意フィルタ２０４を用いてオブジェクトメタデータ２０２をフィルタリングして関連オブジェクト２０６を決定するステップと、オブジェクトインタプリタ２０８を用いてインターフェースモデル２１０を構築するステップと、記述生成部２１６を用いて関連オブジェクト２０６のプロパティ２１２に基づいて拡張記述２１８を生成するステップとが含まれてよい。

【0062】

一例では、ナラティブエンジン１２２の注意フィルタ２０４は、操作８０２で受信したオブジェクトメタデータ２０２を、関連オブジェクト２０６にフィルタリングしてもよい。ビデオゲームの場合、このオブジェクトメタデータ２０２は、どのように定義されるにせよ、視線３０８内、又は他の方法でユーザの近くにあるゲームオブジェクト３１２を含んでもよい。２Ｄアプリケーション（例えば、ワードプロセッサ、他の生産性アプリケーション、ウェブページ等）の場合、オブジェクトメタデータ２０２は、ユーザインターフェース１２０を構成するウィンドウ、ダイアログボックス、ボタン、スライダ、テキストボックス、ウェブページリンク等を参照してもよい。コンソールアプリケーションの場合、オブジェクトメタデータ２０２は、コンソールに表示されるテキストを含んでもよい。いくつかの例では、注意フィルタ２０４は、単に、すべてのオブジェクトメタデータ２０２の処理を可能にしてもよい。他の例では、コンテキストをより関連性の高い環境に絞り込むために、注意フィルタ２０４は、オブジェクトメタデータ２０２を、オブジェクトメタデータ２０２のプロパティ２１２に基づいてフィルタリングしてもよく、例えば、オブジェクトメタデータ２０２を、ユーザから予め定義された距離内にあるオブジェクト、及び／又はユーザの視野内にあるオブジェクトに限定してもよく、オブジェクトメタデータ２０２をマウスカーソルから予め定義された２Ｄ距離内にあるコントロールに限定してもよく、及び／又はオブジェクトメタデータ２０２を、有効化されているインターフェース要素に限定してもよい。

【0063】

記述生成部２１６は、関連オブジェクト２０６のプロパティ２１２を記述する自然言語を生成してもよい。別の例では、記述生成部２１６は、関連オブジェクト２０６の利用可能なアクション２１４を記述する自然言語を生成してもよい。記述生成部２１６は、テキストテンプレート２１７を用いて、関連オブジェクト２０６のメタデータに基づいて自然言語の記述を提供してもよい。各テンプレート２１７は、記述される関連オブジェクト２０６のプロパティ２１２又は利用可能なアクション２１４の値のための１つ又は複数のプレースホルダとともに、自然言語テキストを含んでもよい。例えば、環境を記述する情報を生成するために、記述生成部２１６は、「あなたは［アプリケーション名］を用いています」、又は「あなたは［オブジェクト名］の近くに位置しています」、又は「あなたは［方向］を向いています」、又は「近くに［属性］である［オブジェクト名］があります」等のテンプレート２１７を用いてもよい。

【0064】

操作８０６において、ナラティブエンジン１２２は、ユーザインターフェース１２０内の対話型オブジェクトを一覧表示する。操作８０４と同様に、ナラティブエンジン１２２は、再び記述生成部２１６を用いて、関連オブジェクト２０６のプロパティ２１２に基づいて拡張記述２１８を生成してよい。しかしながら、この例では、利用可能なアクション２１４は、ユーザによってユーザインターフェース１２０で実行され得る利用可能なコマンドのリストを構築するために使用されてよい。例えば、「ここから、［カンマ区切りのリストにフォーマットされた利用可能なアクション２１４のリスト］ができます」のように、利用可能なアクション２１４のリストを含むフレーズが提供されてもよく、ここで、利用可能なアクション２１４の各々は、選択された関連オブジェクト２０６のメソッドメタデータに基づいてリストアップされてもよい。例えば、キーゲームオブジェクト３１６が、インターフェースモデル２１０にピックアップ可能アクション２１４を有する場合、記述生成部２１６は、キーをピックアップするコマンドが利用可能であることを示す文又はフレーズを拡張記述２１８に追加してもよい。

【0065】

操作８１０において、ナラティブエンジン１２２は、拡張記述２１８をユーザインターフェース１２０に提示する。一例では、ナラティブエンジン１２２は、テキスト読み上げエンジン２２４を用いて、拡張記述２１８をシミュレートされた人間の音声に変換し、その音声をスピーカ又はヘッドフォン等の音声出力デバイス１１４に提供してよい。別の例では、ナラティブエンジン１２２は、オーバーレイ生成部２２２を用いて、拡張記述２１８の視覚的テキスト表現を作成し、ディスプレイ出力デバイス１１４を介してユーザインターフェース１２０の既存のコンテキストの上に提供してもよい。ユーザ設定２２０は、拡張記述２１８を視覚的に提示するか、聴覚的に提示するか、両方提示するか、又は何らかの他の方法で提示するかを決定するために利用されてよい。例えば、ユーザ設定２２０は、ユーザの障害のレベル又はタイプに基づいて、拡張記述２１８をどのように提示するかを決めてよい。

【0066】

操作８１２において、ナラティブエンジン１２２はユーザ入力２２６を処理する。この処理は、ＡＰＩ１２４を介してユーザインターフェース１２０からユーザ入力２２６を受信すること、ユーザ入力２２６を音声テキスト化エンジン２３０に提供して認識テキスト２３２を生成すること、及びコマンド認識部２３４によって使用されて、（例えば、ＡＰＩ１２４を介して又はその他の方法で）処理のためにコマンド実行部２２８に与えられるインターフェースモデル２１０内のアクションを識別することを含んでもよい。ユーザ入力２２６の処理のさらなる態様については、プロセス９００に関して詳細に説明する。

【0067】

操作８１４において、ナラティブエンジン１２２はユーザ入力２２６に基づいてアップデートする。一例では、操作８１２におけるユーザ入力２２６は、ユーザインターフェース１２０の状態を変更し得る１つ又は複数のコマンドの実行を含んでもよい。これにより、ナラティブエンジン１２２は、操作８０２に戻って、オブジェクトメタデータ２０２を再び受付け、インターフェースモデル２１０を更新し、新しい拡張記述２１８を生成する等の動作を行ってよい。いくつかの例では、ナラティブエンジン１２２がユーザ入力２２６の結果ではないユーザインターフェース１２０の変化を検出する、又はナラティブエンジン１２２が更新を実行する周期的タイムアウトの満了に基づく等、他の条件に基づいて制御が操作８０２に渡されてもよい。

【0068】

図９は、ナラティブエンジン１２２がユーザ入力２２６に応答するためのプロセス９００の例を示す。プロセス８００と同様に、プロセス９００は、本明細書で詳細に論じるように、ナラティブエンジン１２２及びユーザアプリケーション１１８を実行するコンピュータデバイス１０２によって実行されてよい。

【0069】

操作９０２で、ナラティブエンジン１２２はユーザ入力２２６を受け取る。ユーザ入力２２６は、１つ又は複数の入力デバイス１１６を介してコンピュータデバイス１０２に受信されてよい。ユーザ入力２２６は、コンピュータデバイス１０２によってユーザアプリケーション１１８に提供されてもよい。ユーザ入力２２６はまた、ナラティブインターフェースの操作を容易にするための追加処理のために、ナラティブエンジン１２２に提供されてよい。

【0070】

操作９０４において、ナラティブエンジン１２２は、ユーザ入力２２６が音声を含むかテキストを含むかを決定する。ユーザ入力２２６が音声入力、たとえばマイクから受信されたものである場合、制御は操作９０６に進む。そうでない場合、制御は操作９０８に進む。

【0071】

操作９０６で、ナラティブエンジン１２２は音声を認識テキスト２３２に変換する。一例では、ナラティブエンジン１２２は、音声テキスト化エンジン２３０を用いて、ユーザ入力２２６を、認識テキスト２３２としてのテキスト表現に解析する。操作９０６の後、制御は操作９０８に進む。

【0072】

操作９０８において、ナラティブエンジン１２２は、認識テキスト２３２を解析する。一例では、コマンド認識部２３４は、認識テキスト２３２を受信し、認識テキスト２３２を処理して、利用可能なアクション２１４のうちどれを実行するかを特定してよい。例えば、コマンド認識部２３４は、認識テキスト２３２をスキャンして、アクションワード、例えば、インターフェースモデル２１０内の利用可能なアクション２１４の名前を検索することができる。別の例では、コマンド認識部２３４は、例えば「ヘルプ」等の予め決められた動詞又は他のアクションをスキャンしてもよい。

【0073】

操作９１０で、ナラティブエンジン１２２は、アクションが存在するかどうかを判定する。そのような利用可能なアクション２１４が見つかった場合、制御は操作９１２に移る。そうでない場合、制御は操作９１４に移る。操作９１２において、ナラティブエンジン１２２は、アクションが実行可能かどうかを決定する。一例では、ナラティブエンジン１２２は、アクションがユーザアプリケーション１１８のアーキテクチャ内で起こり得ることを確認してよい。そうでない場合、制御は操作９１４に移る。

【0074】

操作９１４で、ナラティブエンジン１２２は、発生したエラーを記述する。一例では、エラーは、認識テキスト２３２においてアクションが検出されなかったことを示してもよい。そのような例では、エラーは、認識テキスト２３２に利用可能なアクション２１４が見つからなかったことを示してもよい。別の例では、エラーは、指示された関連オブジェクト２０６に対して利用可能なアクション２１４を実行できないことを示してもよい。一例として、認識テキスト２３２「車を拾う」は、「拾う」というアクションが鍵等の他のオブジェクトに対して利用可能であるにもかかわらず、実行できなくてもよい。このような例では、「車は、拾うというアクションをサポートしていない」というエラーが表示されてよい。いくつかの例では、このエラーは、テキスト読み上げエンジン２２４を介して、又はオーバーレイ生成部２２２を介して、ユーザに返されてよい。

【0075】

操作９１６で、ナラティブエンジン１２２はアクションを実行する。たとえば、ナラティブエンジン１２２は、コマンド認識部２３４に指示して、話された利用可能なアクション２１４をコマンド実行部２２８に実行するように指示することができる。操作９１６の後、制御は操作９０２に戻る。

【0076】

プロセス８００～９００はループ状のシーケンスで示されているが、多くの実施例において、プロセス８００～９００は連続的に実行されてもよい。またプロセス８００～９００に示されるように、、プロセス８００～９００の１つ又は複数の動作が、同時に実行されてよく、及び／又は順序から外れて実行されてもよい。

【0077】

したがって、ナラティブエンジン１２２は、ユーザアプリケーション１１８の情報を評価し、それをテキストとして、及び／又は音声としてユーザに提示してもよい。次に、ナラティブエンジン１２２は、ユーザからのテキスト又は音声等のユーザ入力２２６を処理する。この入力は、アプリケーション機能をトリガするために使用されてよい。

【0078】

本明細書で開示されるプロセス、方法、又はアルゴリズムは、処理装置、コントローラ、又はコンピュータに配信可能であり、処理装置、コントローラ、又はコンピュータによって実施可能であり、既存の任意のプログラマブル電子制御ユニット又は専用電子制御ユニットを含むことができる。同様に、プロセス、方法、又はアルゴリズムは、コントローラ又はコンピュータによって実行可能なデータ及び命令として、読み取り専用メモリ（ＲＯＭ）デバイス等の書き込み不可能な記憶媒体に永久的に記憶された情報、及びフロッピーディスク、磁気テープ、コンパクトディスク（ＣＤ）、ＲＡＭデバイス、及び他の磁気媒体及び光学媒体等の書き込み可能な記憶媒体に変更可能に記憶された情報を含むが、これらに限定されない多くの形態で記憶することができる。プロセス、方法、又はアルゴリズムは、ソフトウェア実行可能オブジェクトに実装することもできる。あるいは、プロセス、方法、又はアルゴリズムは、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ステートマシン、コントローラ、又は他のハードウェアコンポーネントもしくはデバイス等の適切なハードウェアコンポーネント、又はハードウェア、ソフトウェア、及びファームウェアコンポーネントの組み合わせを用いて、全体又は一部を具体化することができる。

【0079】

例示的な実施形態を上述したが、これらの実施形態が特許請求の範囲に包含される全ての可能な形態を説明することを意図するものではない。本明細書で使用される言葉は、限定ではなく説明の言葉であり、本開示の精神及び範囲から逸脱することなく様々な変更が可能であることが理解される。先に説明したように、様々な実施形態の特徴を組み合わせて、明示的に記載又は図示されていない可能性のある本発明のさらなる実施形態を形成することができる。様々な実施形態は、１つ又は複数の所望の特性に関して、他の実施形態又は先行技術の実施形態よりも利点を提供するか、又は好ましいものとして説明され得るが、当業者は、特定の用途及び実施形態に依存する所望の全体的なシステム属性を達成するために、１つ又は複数の特徴又は特性が妥協され得ることを認識する。これらの属性には、強度、耐久性、ライフサイクル、市場性、外観、パッケージング、サイズ、サービス性、重量、製造可能性、組立容易性等が含まれ得るが、これらに限定されない。このように、任意の実施形態が、１つ又は複数の特性に関して他の実施形態又は従来技術の実施形態よりも望ましくないと記載されている限りにおいて、これらの実施形態は、本開示の範囲外ではなく、特定の用途にとって望ましくあり得る。

【0080】

本明細書に記載されたプロセス、システム、方法、ヒューリスティックス等に関して、そのようなプロセス等のステップは、ある順序に従って発生するものとして記載されてきたが、そのようなプロセスは、記載されたステップが本明細書に記載された順序以外の順序で実行されても実施され得ることが理解されるべきである。さらに、特定のステップが同時に実行され得ること、他のステップが追加され得ること、又は本明細書に記載される特定のステップが省略され得ることが理解されるべきである。換言すれば、本明細書における工程の説明は、特定の実施形態を例示する目的で提供され、決して特許請求の範囲を限定するように解釈されるべきではない。

【0081】

したがって、上記の説明は例示であって制限的なものではないことを理解されたい。提供された例以外の多くの実施形態及び適用は、上記の説明を読めば明らかであろう。範囲は、上記の説明を参照して決定されるべきではなく、代わりに、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を有する等価物の全範囲と共に決定されるべきである。本明細書で議論される技術において将来の発展が起こり、開示されるシステム及び方法がそのような将来の実施形態に組み込まれることが予期され、意図される。まとめると、本出願は修正及び変形が可能であることを理解されたい。

【0082】

特許請求の範囲において使用される全ての用語は、本明細書において反対の明示的な指示がなされない限り、本明細書に記載される技術に精通する者によって理解されるように、最も広く合理的な解釈及び通常の意味を与えられることが意図される。特に、“ａ”、“ｔｈｅ”、“ｓａｉｄ”等の単数冠詞の使用は、特許請求の範囲に反対の明示的な限定が記載されていない限り、示された要素の１つ以上を記載するものと読み取るべきである。

【0083】

本開示の要約は、読者が本技術開示の性質を迅速に把握できるようにするために提供されるものである。本開示の要約は、特許請求の範囲の範囲又は意味を解釈又は制限するために使用されないことを理解した上で提出される。さらに、前述の詳細な説明では、開示を合理化する目的で、様々な実施形態において様々な特徴がグループ化されていることが分かる。この開示方法は、特許請求される実施形態が、各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、以下の請求項が反映するように、発明的主題は、単一の開示された実施形態の全ての特徴よりも少ない特徴にある。従って、以下の特許請求の範囲は、各請求項が別個に特許請求される主題としてそれ自体で成り立つ状態で、本明細書に組み込まれる。

【0084】

例示的な実施形態が上述されているが、これらの実施形態が本発明の全ての可能な形態を説明することを意図するものではない。むしろ、本明細書で使用される言葉は、限定ではなく説明の言葉であり、本発明の精神及び範囲から逸脱することなく様々な変更がなされ得ることが理解される。さらに、様々な実施形態の特徴を組み合わせて、本発明のさらなる実施形態を形成することもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】