知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-13
(54)【発明の名称】身体化動作主におけるイベント表現
(51)【国際特許分類】
G06F 40/279 20200101AFI20231005BHJP
G06F 40/30 20200101ALI20231005BHJP
【ＦＩ】
G06F40/279
G06F40/30
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023518721
(86)(22)【出願日】2021-09-24
(85)【翻訳文提出日】2023-03-23
(86)【国際出願番号】 IB2021058708
(87)【国際公開番号】W WO2022064431
(87)【国際公開日】2022-03-31
(31)【優先権主張番号】768405
(32)【優先日】2020-09-25
(33)【優先権主張国・地域又は機関】NZ
(31)【優先権主張番号】63/109,336
(32)【優先日】2020-11-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519327490
【氏名又は名称】ソウル マシーンズ リミティド
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】サガー、マーク
(72)【発明者】
【氏名】ノット、アリスター
(72)【発明者】
【氏名】タカク、マーティン
(57)【要約】
身体化動作主によって経験された感覚運動イベントを、イベントを定義する文にマッピングするＷＭイベント表現の記号フィールドに解析するためのコンピュータ実装方法であって、参与者目的語に注目するステップと、参与者目的語を分類するステップと、イベントに関する一連のカスケーディング判定を行うステップと、を含み、いくつかの判定が、以前の判定の結果を条件とし、各判定が、ＷＭイベント表現内のフィールドを設定する、方法が説明される。
【選択図】図４
【選択図】図４
【特許請求の範囲】
【請求項1】
身体化動作主によって経験された感覚運動イベントを、前記イベントを定義する文にマッピングするＷＭイベント表現の記号フィールドに解析するためのコンピュータ実装方法であって、ａ．参与者目的語に注目するステップと、
ｂ．前記参与者目的語を分類するステップと、
ｃ．前記イベントに関する一連のカスケーディング判定を行うステップであって、いくつかの判定が、以前の判定の結果を条件とする、ステップと、を含み、
各判定が、前記ＷＭイベント表現内のフィールドを設定する、コンピュータ実装方法。
【請求項2】
少なくともいくつかの判定が、前記身体化動作主における認知処理の代替モードをトリガする、請求項１に記載の方法。
【請求項3】
前記身体化動作主における認知処理の前記代替モード間で選択するための前記判定が、ａ．任意の量だけ前記選択が行われる時間より前のある期間にわたって各モードについての証拠を別々に蓄積する証拠収集プロセスを定義するステップと、
ｂ．各モードについて、蓄積された証拠を、そのモードについて前記蓄積された証拠の量を示す連続変数に記憶するステップと、
ｃ．認知処理のモードを判定するステップが、各モードについての証拠アキュムレータ変数を調べることによって行われる、ステップと、を含む、請求項２に記載の方法。
【請求項4】
判定が、ａ．第２の目的語が存在するかどうかを判定すること、
ｂ．作成動作についての証拠が存在するかどうかを判定すること、
ｃ．目的語が状態変化を受けているかどうかを判定すること、及び
ｄ．目的語が使役的影響を及ぼしているかどうか、かつ／又は他動的動作を実行しているかどうかを判定することからなる群から選択される、請求項１～３のいずれか一項に記載の方法。
【請求項5】
身体化動作主によって経験された感覚運動イベントを、ＷＭイベント表現の記号フィールドに解析するためのデータ構造であって、ＷＭイベント表現データ構造であって、
ａ．使役主／注目者目的語及び変化者／被注目者目的語を記憶するように構成された、使役／変化領域と、
ｂ．第１に注目された目的語及び第２に注目された目的語を記憶するように構成され、使役／変化領域内の目的語の再表現を保持する、記憶されたシーケンス領域と、
ｃ．動作と、
ｄ．使役フラグと、
ｅ．状態変化が進行中であることをシグナリングするフィールドと、
ｆ．結果状態と、を含む、ＷＭイベント表現データ構造を含む、データ構造。
【請求項6】
前記使役変化領域及び前記記憶されたシーケンス領域の両方に同時にマッピングするように構成された現在の目的語を含む直示表現データ構造を更に含む、請求項５に記載のデータ構造。
【請求項7】
身体化動作主によって目的語に注目するための方法であって、ａ．使役主／注目者トラッカ及び変化者／被注目者トラッカを、身体化動作主によって注目された第１の目的語に同時に割り当てるステップと、
ｂ．前記第１の目的語が、使役主／注目者であるか、又は変化者／注目者であるかを判定するステップと、
ｃ．前記第１の目的語が使役主／注目者である場合、前記変化者／被注目者トラッカを前記注目されている目的語に再度割り当てるステップと、を含む、方法。
【請求項8】
前記目的語に注目することが、前記目的語に使役的に影響を与えることである、請求項７に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、自然言語処理及び認知モデリングに関する。より具体的には、排他的ではないが、本発明の実施形態は、イベント表現及びイベント処理の認知モデルに関する。
【背景技術】
【0002】
人間は、世界での自分たちの経験を、イベントと呼ばれるユニットに解析する（例えば、Ｒａｄｖａｎｓｋｙ ａｎｄ Ｚａｃｋｓ，２０１４を参照）。イベントは、例えば、「マリーがカップを掴んだ」、「カップが壊れた」、「ジョンがため息をついた」などの文で自然に伝えることができる種類の出来事である。人間の認知プロセスの計算モデリングにおいて、イベント表現問題は、作業記憶（working memory、ＷＭ）及び長期記憶（long term memory、ＬＴＭ）においてイベントをどのように符号化するかを指す。イベント処理問題は、世界で発生するイベントを処理し、ＷＭイベント表現を構築するために、どの感覚機構が用いられるか、及びどの感覚運動機構が、身体化動作主が運動動作の形態で世界のイベントを生成することを可能にするかを指す。
【0003】
テーマ的役割の既存モデル
言語学的文献において、主題的役割のモデルは、名詞句（noun phrase、ＮＰ）が文中で果たすことができる異なる意味的役割を定義しようと試みる。これらのモデルは、イベントタイプのシステムを暗黙的に定義することが多く、イベントのタイプは、その参与者の主題的役割によって部分的に判定される。
言語学的文献において、主題的役割のモデルは、名詞句（noun phrase、ＮＰ）が文中で果たすことができる異なる意味的役割を定義しようと試みる。これらのモデルは、イベントタイプのシステムを暗黙的に定義することが多く、イベントのタイプは、その参与者の主題的役割によって部分的に判定される。
【0004】
Ｄｏｗｔｙ（Ｄ Ｄｏｗｔｙ．Ｔｈｅｍａｔｉｃ ｐｒｏｔｏ－ｒｏｌｅｓ ａｎｄ ａｒｇｕｍｅｎｔ ｓｅｌｅｃｔｉｏｎ．Ｌａｎｇｕａｇｅ，６７（３）：５４７－６１９，１９９１）は、２つの基本的な主題的役割を指す：「プロト動作主」及び「プロト被動者」。Ｄｏｗｔｙにとって、「動作主」及び「被動者」の概念はプロトタイプであり、メンバーシップの程度を認める：重要なことは、イベントの参与者が動作主様及び被動者様の特性を有する程度である。項連結のモデルにおいて、Ｄｏｗｔｙは主題的役割を語法的位置（特に主語及び目的語）と関連付ける。ほとんどの動作主様特性（例えば、移動、独立存在性、有情性、及び使役動作主体性）を有する参与者は、文の主語として表現される。プロト被動者は、ほとんどの被動者様特徴を有する参与者である：これらは、移動の欠如、状態の変化、及び引き起こされたプロセスの経験を含む。「マリーがカップを掴んだ」では、「マリー」の指示対象が最も動作主様特性を有し、このため、「マリー」が文の主題であり、「カップが掴まれた」では、「カップ」の指示対象が最も動作主様特性を有し（必然的に、唯一のＮＰであるため）、したがって、「カップ」が文の主題である。
【0005】
「動作主様」目的語特性は注目を引く（視覚的注目の結果については、例えば、Ｋｏｃｈ ａｎｄ Ｕｌｌｍａｎ，１９８５、Ｒｏ ｅｔ ａｌ．，２００７を参照）。注目は競合的であり、最初に注目される項目は、注目を引く最も多くの特性を有する項目である。
【0006】
状態変化イベントと関連付けられた役割。影響力のある提案は、「マリーがグラスを壊した」のような他動詞文が、「マリーが［グラスを壊れ］させた」と言い表すことができる使役的なプロセスを暗黙的に伝え、「グラスが壊れた」のような他動詞文が、構造的に類似した「何かが［グラスを壊れ］させた」を伝えるというものである。この分析では、「グラス」の指示対象は、これらの２つの文の意味において同じ構造的位置を占め、状態変化を受けるのはこの位置の項目であり、したがって、「グラス」の語法的位置は自由に変化する。＼
【0007】
長期記憶におけるイベント記憶部の既存モデル
認知モデルでは、イベントは通常、ＬＴＭに記憶される前にＷＭに表される。Ｔａｋａｅ ａｎｄ Ｋｎｏｔｔ（２０１６）は、ある部分的に指定されたイベントテンプレートに一致する記憶されたイベントを取得する、ＬＴＭへのクエリの表現を可能にするイベントのＷＭ表現を提供する。例えば、ＷＭ媒体は、取得された回答（「マリーがカップを掴んだ」）だけでなく、「マリーは何を掴んだか？」のようなクエリを保持する。ＷＭイベント表現は、意味的役割のために「場所符号化」される。目的語表現を保持する一次媒体は、「現在の目的語」媒体において、一度に１つの目的語を表現するだけである。
認知モデルでは、イベントは通常、ＬＴＭに記憶される前にＷＭに表される。Ｔａｋａｅ ａｎｄ Ｋｎｏｔｔ（２０１６）は、ある部分的に指定されたイベントテンプレートに一致する記憶されたイベントを取得する、ＬＴＭへのクエリの表現を可能にするイベントのＷＭ表現を提供する。例えば、ＷＭ媒体は、取得された回答（「マリーがカップを掴んだ」）だけでなく、「マリーは何を掴んだか？」のようなクエリを保持する。ＷＭイベント表現は、意味的役割のために「場所符号化」される。目的語表現を保持する一次媒体は、「現在の目的語」媒体において、一度に１つの目的語を表現するだけである。
【0008】
経験されているイベントのＷＭ表現は、Ｍ Ｔａｋａｅ ａｎｄ Ａ Ｋｎｏｔｔ．Ｗｏｒｋｉｎｇ ｍｅｍｏｒｙ ｅｎｃｏｄｉｎｇ ｏｆ ｅｖｅｎｔｓ ａｎｄ ｔｈｅｉｒ ｐａｒｔｉｃｉｐａｎｔｓ．Ｉｎ ＣｏｇＳｃｉ，ｐａｇｅｓ ２３４５－２３５０，２０１６ａに説明されるように、体験が進むにつれて漸進的に作成される。イベントを経験するプロセスが終了するとき（通常はイベント自体が終了するときであるが）、イベントのＷＭ表現は完了し、完全なイベント表現は、Ｍ Ｔａｋａｅ ａｎｄ Ａ Ｋｎｏｔｔ．Ｍｅｃｈａｎｉｓｍｓ ｆｏｒ ｓｔｏｒｉｎｇ ａｎｄ ａｃｃｅｓｓｉｎｇ ｅｖｅｎｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｉｎ ｅｐｉｓｏｄｉｃ ｍｅｍｏｒｙ，ａｎｄ ｔｈｅｉｒ ｅｘｐｒｅｓｓｉｏｎ ｉｎ ｌａｎｇｕａｇｅ：ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｍｏｄｅｌ．Ｉｎ ＣｏｇＳｃｉ，ｐａｇｅｓ ５３２－５３７，２０１６ｂに説明されるように、長期記憶に記憶されることができる。
【0009】
しかしながら、従来のモデルはいくつかの欠点を有する：イベントにおける意味的参与者が統語的にどのように実現されるかを考慮していない。意味的／主題的役割は、統語的位置にマッピングされない。例えば、能動態の文では、主語位置はイベントの動作主を報告し、目的語は被動者を報告するが、受動態の文では、主語位置は被動者を報告する。同様に、主格及び対格を読み出す方法はない。また、従来のモデルは、状態イベント又は使役イベントの変化をサポートすることができない。
【0010】
イベント知覚の既存モデル：追跡プロセス、直示ルーチン及び認知モード
イベントを「知覚する」身体化動作主は、その参与者目的語に注目し、それらを分類することを伴い、視覚的注目及び視覚的目的語分類は、両方とも、十分に研究されたプロセスである。他動的動作を見るとき、観察者はまた、動作が進行中である間に対象目的語に注目するために特別な機構を使用し、視線追従及び軌道外挿は、ここでは重要なサブプロセスである。場所又は固有特性の変化を検出することに特化した脳機構（例えば、Ｓｎｏｗｄｅｎ ａｎｄ Ｆｒｅｅｍａｎ，２００４を参照）、及び有生動作主の移動を分類するための更に特化した機構（例えば、Ｏｒａｍ ａｎｄ Ｐｅｒｒｅｔｔ，１９９４を参照）も存在する。注目された目的語における変化又は移動の検出は、変化を登録するのに時間がかかるので、この目的語が連続的な期間にわたって追跡されることを必要とする（この原理への良好な導入については、Ｋａｈｎｅｍａｎ ｅｔ ａｌ．，１９９２を参照）。監視されるべきいくつかの移動物体がしばしば存在するので、数名の理論家は、イベント知覚中の複数の目的語追跡プロセスのための役割を想定している（例えば、Ｃａｖａｎａｇｈ，２０１４を参照）。
イベントを「知覚する」身体化動作主は、その参与者目的語に注目し、それらを分類することを伴い、視覚的注目及び視覚的目的語分類は、両方とも、十分に研究されたプロセスである。他動的動作を見るとき、観察者はまた、動作が進行中である間に対象目的語に注目するために特別な機構を使用し、視線追従及び軌道外挿は、ここでは重要なサブプロセスである。場所又は固有特性の変化を検出することに特化した脳機構（例えば、Ｓｎｏｗｄｅｎ ａｎｄ Ｆｒｅｅｍａｎ，２００４を参照）、及び有生動作主の移動を分類するための更に特化した機構（例えば、Ｏｒａｍ ａｎｄ Ｐｅｒｒｅｔｔ，１９９４を参照）も存在する。注目された目的語における変化又は移動の検出は、変化を登録するのに時間がかかるので、この目的語が連続的な期間にわたって追跡されることを必要とする（この原理への良好な導入については、Ｋａｈｎｅｍａｎ ｅｔ ａｌ．，１９９２を参照）。監視されるべきいくつかの移動物体がしばしば存在するので、数名の理論家は、イベント知覚中の複数の目的語追跡プロセスのための役割を想定している（例えば、Ｃａｖａｎａｇｈ，２０１４を参照）。
【0011】
Ｂａｌｌａｒｄ（１９９７）、Ｋｎｏｔｔ（２０１２）、Ｋｎｏｔｔ ａｎｄ Ｔａｋａｅ（２０２０）は、イベント知覚が、直示ルーチンと呼ばれる離散的な順次プロセスとして構造化されることを提案している。直示ルーチンは、身体化動作主の現在の注目の焦点に対して動作し、潜在的にこの焦点を更新する、比較的離散的な認知動作のシーケンスである。直示ルーチンは、他動的動作を伴うイベントに焦点を当てて、イベントのある特定のサブタイプを把握する。身体化動作主は、まず、動作の動作主に注目（及び分類）し、次に、動作の被動者に注目（及び分類）し、次に、動作自体を分類する。
【0012】
国際出願第ＰＣＴ／ＩＢ２０２０／０５６４３８号は、動作の実行並びにそれらの知覚を対象とした。これらの動作を区別するために、身体化動作主は、別個の認知モード、すなわち、別個の神経接続パターンに配置される。本発明者らの直示ルーチンにおける第１の動作（動作主への注目）は、外部個人への注目又は身体化動作主への注目のいずれかを伴う。これらの動作は、異なる／代替の認知モードをトリガする。前者の場合は「動作知覚モード」であり、後者の場合は「動作実行モード」である。
発明の目的
発明の目的
【0013】
本発明の目的は、身体化動作主におけるイベント表現を改善すること、又は少なくとも公衆若しくは業界に有用な選択肢を提供することである。
【発明の概要】
【0014】
一実施形態では、本発明は、身体化動作主によって経験された感覚運動イベントを、イベントを定義する文にマッピングするＷＭイベント表現の記号フィールドに解析するためのコンピュータ実装方法であって、
ａ．参与者目的語に注目するステップと、
ｂ．参与者目的語を分類するステップと、
ｃ．イベントに関する一連のカスケーディング判定を行うステップであって、いくつかの判定が、以前の判定の結果を条件とする、ステップと、を含み、
ｄ．各判定が、ＷＭイベント表現内のフィールドを設定する、方法からなる。
ａ．参与者目的語に注目するステップと、
ｂ．参与者目的語を分類するステップと、
ｃ．イベントに関する一連のカスケーディング判定を行うステップであって、いくつかの判定が、以前の判定の結果を条件とする、ステップと、を含み、
ｄ．各判定が、ＷＭイベント表現内のフィールドを設定する、方法からなる。
【0015】
更なる実施形態では、少なくとも、いくつかの判定は、身体化動作主における認知処理の代替モードをトリガし得る。
【0016】
更なる実施形態では、身体化動作主における認知処理の代替モードの判定は、
ａ．任意の量だけ選択が行われる時間より前のある期間にわたって各モードについての証拠を別々に蓄積する証拠収集プロセスを定義するステップと、
ｂ．各モードについて、蓄積された証拠を、そのモードについて蓄積された証拠の量を示す連続変数に記憶するステップと、
ｃ．認知処理のモードを判定するステップが、各モードについての証拠アキュムレータ変数を調べることによって行われる、ステップと、を含み得る。
ａ．任意の量だけ選択が行われる時間より前のある期間にわたって各モードについての証拠を別々に蓄積する証拠収集プロセスを定義するステップと、
ｂ．各モードについて、蓄積された証拠を、そのモードについて蓄積された証拠の量を示す連続変数に記憶するステップと、
ｃ．認知処理のモードを判定するステップが、各モードについての証拠アキュムレータ変数を調べることによって行われる、ステップと、を含み得る。
【0017】
更なる実施形態において、判定は、
ａ．第２の目的語が存在するかどうかを判定すること、
ｂ．作成動作についての証拠が存在するかどうかを判定すること、
ｃ．目的語が状態変化を受けているかどうかを判定すること、及び
ｄ．目的語が使役的影響を及ぼしているかどうか、かつ／又は他動的動作を実行しているかどうかを判定することからなる群から選択され得る。
ａ．第２の目的語が存在するかどうかを判定すること、
ｂ．作成動作についての証拠が存在するかどうかを判定すること、
ｃ．目的語が状態変化を受けているかどうかを判定すること、及び
ｄ．目的語が使役的影響を及ぼしているかどうか、かつ／又は他動的動作を実行しているかどうかを判定することからなる群から選択され得る。
【0018】
第２の実施形態では、本発明は、身体化動作主によって経験された感覚運動イベントを、ＷＭイベント表現の記号フィールドに解析するためのデータ構造であって、
ａ．ＷＭイベント表現データ構造であって、
ｂ．使役主／注目者目的語及び変化者／被注目者目的語を記憶するように構成された、使役／変化領域と、
ｃ．第１に注目された目的語及び第２に注目された目的語を記憶するように構成され、使役／変化領域内の目的語の再表現を保持する、記憶されたシーケンス領域と、
ｄ．動作と、
ｅ．使役フラグと、
ｆ．状態変化が進行中であることをシグナリングするフィールドと、
ｇ．結果状態と、を含む、ＷＭイベント表現データ構造を含む、データ構造からなる。
ａ．ＷＭイベント表現データ構造であって、
ｂ．使役主／注目者目的語及び変化者／被注目者目的語を記憶するように構成された、使役／変化領域と、
ｃ．第１に注目された目的語及び第２に注目された目的語を記憶するように構成され、使役／変化領域内の目的語の再表現を保持する、記憶されたシーケンス領域と、
ｄ．動作と、
ｅ．使役フラグと、
ｆ．状態変化が進行中であることをシグナリングするフィールドと、
ｇ．結果状態と、を含む、ＷＭイベント表現データ構造を含む、データ構造からなる。
【0019】
更なる実施形態では、判定データ構造は、使役変化領域及び記憶されたシーケンス領域の両方に同時にマッピングするように構成された現在の目的語を含む直示表現データ構造を含み得る。
【0020】
第３の実施形態では、本発明は、身体化動作主によって目的語に注目するための方法であって、
ａ．使役主／注目者トラッカ及び変化者／被注目者トラッカを、身体化動作主によって注目された第１の目的語に同時に割り当てるステップと、
ｂ．第１の目的語が、使役主／注目者であるか、又は変化者／注目者であるかを判定するステップと、
ｃ．第１の目的語が使役主／注目者である場合、変化者／被注目者トラッカを注目されている目的語に再度割り当てるステップと、を含む、方法からなる。
ａ．使役主／注目者トラッカ及び変化者／被注目者トラッカを、身体化動作主によって注目された第１の目的語に同時に割り当てるステップと、
ｂ．第１の目的語が、使役主／注目者であるか、又は変化者／注目者であるかを判定するステップと、
ｃ．第１の目的語が使役主／注目者である場合、変化者／被注目者トラッカを注目されている目的語に再度割り当てるステップと、を含む、方法からなる。
【0021】
更なる実施形態では、目的語に注目することは、目的語に使役的に影響を及ぼすことである。
【図面の簡単な説明】
【0022】
【図1】ＷＭイベント表現システムの図を示す。
【図2】身体化動作主によるイベント把握プロセスにおける判定のシーケンスを示すフローチャートを示す。
【図3】ＷＭイベント媒体のカバレッジを示す例を示す。
【図4】身体化動作主によるイベント把握プロセスにおける判定のシーケンスを示す更なるフローチャートを示す。
【発明を実施するための形態】
【0023】
本明細書に記載の実施形態では、認知システムは、感覚運動経験をイベントに解析するイベント処理装置を含む。イベント処理装置は、動作主によって経験されたイベントを文にマッピングし得る。
【0024】
イベントのＷＭ表現は、記憶された直示ルーチンの形態をとる。直示ルーチンは、複雑なリアルタイム感覚運動経験がメモリ内で効率的に符号化されることを可能にする圧縮の原理を提供する。イベントのＷＭ符号化は、直示ルーチンの再生及び記憶されたイベントのシミュレーションを可能にする。シミュレートされた再生は、文生成のプロセスの基礎となる。イベントのＷＭ表現は、イベント処理中にアクティブ化された直示目的語表現のコピーを記憶する。これは、ＷＭイベント表現における役割結合の場所コード化モデルを可能にし、ＬＴＭとのインターフェースの単純なモデルをサポートする。ＬＴＭイベント符号化は、部分的なＷＭイベント表現を用いて問い合わせることができるＷＭイベントフィールド間の記憶された関連付けである。
【0025】
イベント知覚モデルでは、目的語参与者が注目されるときに、視覚トラッカが参与者に配置される。複数の目的語トラッカが用いられ、動作分類子は、特定の目的のために動作主トラッカ及び被動者トラッカを調べる。
【0026】
一実施形態では、動作主は常に第１に注目された目的語であり、被動者は常に第２に注目された目的語である。動作主及び被動者はプロトタイプカテゴリであり、その参与者は本質的に動作主になるために競争する。プロトタイプの動作主品質は、注目を引くものである。
【0027】
変化動作タイプは、状態イベントの変化を表す。これらのイベントの結果状態を保持するフィールドを追加することができ、これは特性又は場所とすることができる。使役フラグは、状態の変化の識別された使役が存在するイベントに対して使用される。
【0028】
ＷＭイベント表現の拡張モデル。
一実施形態では、認知システムは、注目プロミネンスのＤｏｗｔｙスタイルモデルを状態変化イベントのＬ＆ＲＨスタイルモデルと組み合わせる。
一実施形態では、認知システムは、注目プロミネンスのＤｏｗｔｙスタイルモデルを状態変化イベントのＬ＆ＲＨスタイルモデルと組み合わせる。
【0029】
イベント表現のモデルは、ＷＭにおけるイベントの重要な参与者を、連続的な注目プロセス（第１に注目された目的語及び［任意選択で］第２に注目された目的語として）に関しても、使役／変化プロセス（変化目的語及び［任意選択で］使役目的語として）に関しても表す。主題的役割は、主に直交する２つの次元で表される。
【0030】
これは、言語へのマッピングのより明確なステートメントを可能にする。「記憶されたシーケンス」領域は、どの参与者が語法的主語及び目的語として表現され、どの参与者が（英語のような言語で）主格及び対格を受けるかについての規則を表現する。「使役／変化」領域は、使役代替をモデル化し、どの参与者が能格及び絶対格を受けるかについての規則を（能格言語で）表現する。モデルはまた、両方の格システムの混合を使用する、いわゆる「分裂能格」言語の良好な説明を可能にする。
【0031】
図１は、目的語参与者の二重表現を含む、ＬＴＭイベント記憶システムとのインターフェースを示す。本発明者らのモデルにおけるＬＴＭイベント表現は、ＷＭイベント媒体の全てのフィールド間の記憶された関連付けであり、ここで、主要な参与者は２回特徴付けられる。
【0032】
「使役／変化」領域内のフィールドは、動作主／被動者プロトタイプとして定義され、「使役主」の概念は、「注目者」の概念と組み合わせられ、「変化目的語」の概念は、「被注目者」の概念と組み合わせられ、これらのフィールドは、他動的動作の動作主及び被動者を保持する役割を果たすことができる。これらの組み合わせの原理は、ほとんどの他動的動作が対象目的語に対する使役効果も達成するということである。望ましくは、プロトタイプの定義は、この一般化に注意を払うが、それでも、対象に対して（「スーがカップに触れた」などの）使役的影響を有さない他動的動作、及び（「風が葉をかさかさと鳴らした」などの）非意思性使役主を伴う使役的なイベントを可能にする。
【0033】
使役／変化領域
使役／変化領域は、目的語が変化するイベント（グラスが壊れた及びスプーンが曲がったのような文で報告されるように）、及びこれらの変化をもたらす使役的なプロセス（ジョンがグラスを壊した、又は火がスプーンを曲げたのような文で報告されるように）を表す。この領域は２つのフィールドを含み、各フィールドは関連概念のクラスタとして定義される。
使役／変化領域は、目的語が変化するイベント（グラスが壊れた及びスプーンが曲がったのような文で報告されるように）、及びこれらの変化をもたらす使役的なプロセス（ジョンがグラスを壊した、又は火がスプーンを曲げたのような文で報告されるように）を表す。この領域は２つのフィールドを含み、各フィールドは関連概念のクラスタとして定義される。
【0034】
変化者／被注目者フィールド
変化者／被注目者フィールドは、場所（例えば、移動する目的語）又は固有特性（例えば、曲がるか又は壊れる目的語）のいずれかにおいて変化を経験する目的語を表す。このフィールドを使用して、肩をすくめる又は微笑むなどの自動的意思性動作の動作主を表すこともできる。そのような動作は、動作主の身体の構成に変化をもたらし、この意味で、動作主は、ちょうどスプーンが曲がるように「変化を経験する」。（かがむ（bend）は、ジョンがかがんだ場合のように、意思性自動的動作であり得ることに留意されたい。
変化者／被注目者フィールドは、場所（例えば、移動する目的語）又は固有特性（例えば、曲がるか又は壊れる目的語）のいずれかにおいて変化を経験する目的語を表す。このフィールドを使用して、肩をすくめる又は微笑むなどの自動的意思性動作の動作主を表すこともできる。そのような動作は、動作主の身体の構成に変化をもたらし、この意味で、動作主は、ちょうどスプーンが曲がるように「変化を経験する」。（かがむ（bend）は、ジョンがかがんだ場合のように、意思性自動的動作であり得ることに留意されたい。
【0035】
変化者／被注目者フィールドはまた、他動的動作の被動者を表す。この被動者は常に変化されるわけではなく、例えば、私はカップに影響を与えることなくカップに触れることができる。しかし、他動的動作は典型的には対象を変化させるので、「被動者」及び「変化経験者」の役割はしばしば一致する。変化者／被注目者フィールドの選言的定義は、この規則性を捉える。
【0036】
使役主／注目者フィールド
使役主／注目者フィールドは、変化者／被注目者に変化をもたらす目的語を表す。例えば、ジョンがスプーンを曲げたでは、それはジョンを表し、火がスプーンを曲げたでは、それは火を表す。同様の選言的定義によって、このフィールドはまた、他動的動作の動作主を表す。他動的動作は、対象目的語に変化をもたらす必要はないが、それらはしばしばもたらすので、動作主はしばしば使役主でもある。
使役主／注目者フィールドは、変化者／被注目者に変化をもたらす目的語を表す。例えば、ジョンがスプーンを曲げたでは、それはジョンを表し、火がスプーンを曲げたでは、それは火を表す。同様の選言的定義によって、このフィールドはまた、他動的動作の動作主を表す。他動的動作は、対象目的語に変化をもたらす必要はないが、それらはしばしばもたらすので、動作主はしばしば使役主でもある。
【0037】
観察動作主は、使役主／注目者として自身に注目することができることに留意されたい。「自身への注目」動作は、観察者が、受動的に動作を観察するのではなく、動作を実行することをもたらす。観察者が自身を使役主／注目者にする場合、何をすべきかの彼女の選択は、ＬＴＭイベント媒体からの「所望の」動作イベントの再構築によって再び導かれる。フィールドの再構成は並行して行うことができるが、それでも厳密に順次直示ルーチンを通知する。このルーチンの連続的な順序は、受動的に知覚されたイベント及び能動的に「実行された」イベントに対して同じである。
【0038】
使役主／注目者の選択性
使役主／注目者フィールドは記入される必要はない。この情報は、「記憶されたシーケンス」領域において別個に捉えられる。使役主／注目者フィールドを空白にすることを可能にすることは、使役主を参照しないグラスが壊れたのような「純粋な状態変化イベント」の表現を可能にする。それはまた、動作主を参照しないジョンがキスをされたのような受動イベントの表現をサポートする。
使役主／注目者フィールドは記入される必要はない。この情報は、「記憶されたシーケンス」領域において別個に捉えられる。使役主／注目者フィールドを空白にすることを可能にすることは、使役主を参照しないグラスが壊れたのような「純粋な状態変化イベント」の表現を可能にする。それはまた、動作主を参照しないジョンがキスをされたのような受動イベントの表現をサポートする。
【0039】
ＬＴＭイベントネットワークにおける一般化のサポート
使役／変化領域は、状態変化イベントに対する有用な一般化を行う。グラスが壊れるイベント、及び何らかの動作主体性（ジョン又は火）がグラスを壊れさせる別のイベントを考える。望ましくは、ＬＴＭイベント符号化媒体は、これらの間の類似性を表し、特に、生じる変化のその表現は同じである。使役／変化領域は、これを達成する：ジョンがグラスを壊すイベントが記憶され、次いで、本発明者らは、質問「グラスが壊れたか？」を用いてＬＴＭ媒体に問い合わせ、回答は（正しく）肯定的である。
使役／変化領域は、状態変化イベントに対する有用な一般化を行う。グラスが壊れるイベント、及び何らかの動作主体性（ジョン又は火）がグラスを壊れさせる別のイベントを考える。望ましくは、ＬＴＭイベント符号化媒体は、これらの間の類似性を表し、特に、生じる変化のその表現は同じである。使役／変化領域は、これを達成する：ジョンがグラスを壊すイベントが記憶され、次いで、本発明者らは、質問「グラスが壊れたか？」を用いてＬＴＭ媒体に問い合わせ、回答は（正しく）肯定的である。
【0040】
能格及び絶対格の説明のためのサポート
使役／変化領域はまた、能格及び絶対格の説明の基礎を提供する。変化者／被注目者フィールドは、自動詞イベント文の動作主を保持し、他動詞イベント文の被動者も保持し、一方、使役主／注目者フィールドは、他動詞文の動作主を保持する。イベント参与者が、変化者／被注目者として特徴付けられる場合、それは、したがって、能格に適格であり、イベント参与者が、使役主／注目者として特徴付けられる場合、それは、絶対格に適格である。
使役／変化領域はまた、能格及び絶対格の説明の基礎を提供する。変化者／被注目者フィールドは、自動詞イベント文の動作主を保持し、他動詞イベント文の被動者も保持し、一方、使役主／注目者フィールドは、他動詞文の動作主を保持する。イベント参与者が、変化者／被注目者として特徴付けられる場合、それは、したがって、能格に適格であり、イベント参与者が、使役主／注目者として特徴付けられる場合、それは、絶対格に適格である。
【0041】
「使役（cause）」、「～になる（go/become）」、「結果状態」及び「～にする（make）」フィールド
図３に示される新しいＷＭイベント方式はまた、状態変化イベントを表すためのいくつかの追加のフィールドを含む。ここで、「動作」フィールドは、変化と呼ばれる動作のカテゴリを含む。観察者が状態変化イベントを登録する場合、このカテゴリの動作が示される。（動詞ｇｏは、固有特性の変化（ジョンが赤くなった）及び場所の変化（ジョンが公園に行った）を示すことができることに留意されたい。
図３に示される新しいＷＭイベント方式はまた、状態変化イベントを表すためのいくつかの追加のフィールドを含む。ここで、「動作」フィールドは、変化と呼ばれる動作のカテゴリを含む。観察者が状態変化イベントを登録する場合、このカテゴリの動作が示される。（動詞ｇｏは、固有特性の変化（ジョンが赤くなった）及び場所の変化（ジョンが公園に行った）を示すことができることに留意されたい。
【0042】
結果状態フィールドは、状態変化イベント中に到達されている状態を保持する。このフィールドは、目的語特性（「赤」など）及び場所／軌道（「公園へ」など）を指定するためのサブフィールドを有する。
【0043】
新しいＷＭ方式はまた、状態変化イベントについて、状態変化を引き起こす使役プロセスが識別されるかどうかを示す「使役」フラグを特徴とする。このフラグは、ジョンがスプーンを曲げた又は火がスプーンを曲げたのようなイベントで設定されるが、スプーンが曲がったでは設定されない。使役プロセスは、使役者目的語が注目されなくても識別することができる。これは、「何かがスプーンを曲げさせた」ということを伝えるスプーンが曲げられたなどの受動使役の表現を、そのものを識別することなく可能にする。
【0044】
最後に、新しいＷＭ方式は、目的語が単に代替されるのではなく、作成される動作を表すために使用される「作成」と呼ばれる特別な他動的動作を特徴とする。「作成動作」は、物質を新しい形態に再度組み立てること、又は既存の目的語の形態を操作することを伴うことができる。しかし、それらは、音のような一時的に存在するものの生成（雑音を立てること、歌を作ること）、又は例えば、描画する又は描く（線を描くこと、三角形を描くこと）による記号アーチファクトの生成を伴うこともできる。「作成」動作は、様々な異なる単語によって実現することができ、例えば、英語では、動詞ｄｏが、動詞ｍａｋｅと同様に、しばしば使用されることがある（特に、児童語で）。作成の特定のサブタイプは、異なる動詞で表現され、例えば、動作主は、歌を歌う又は演奏することができ、絵を描画する又は描くことができる。多くの言語では、動詞ｍａｋｅの代わりに一般的な動詞ｃａｕｓｅを使用することもできる。（例えば、英語では、Ｍａｒｙ ｃａｕｓｅｄ ｔｈｅ ｃｕｐ ｔｏ ｂｒｅａｋ（マリーがカップを壊れさせた）と言うことができるが、Ｍａｒｙ ｍａｄｅ ｔｈｅ ｃｕｐ ｂｒｅａｋ（マリーがカップを壊れさせた）とも言うことができる。）
【0045】
記憶されたシーケンス領域
緑色で示される記憶されたシーケンス領域は、イベント参与者を、それらが注目された順序で保持する。情報は、因果関係及び変化の符号化とは別々に記憶される。第１の目的語及び第２の目的語と呼ばれる２つのフィールドは、注目される第１及び第２の目的語のコピーを取る。受動態（マリーがキスされた、スプーンが曲げられた）及び純粋な状態変化文（スプーンが曲がった）には、第２の目的語は存在しない。
緑色で示される記憶されたシーケンス領域は、イベント参与者を、それらが注目された順序で保持する。情報は、因果関係及び変化の符号化とは別々に記憶される。第１の目的語及び第２の目的語と呼ばれる２つのフィールドは、注目される第１及び第２の目的語のコピーを取る。受動態（マリーがキスされた、スプーンが曲げられた）及び純粋な状態変化文（スプーンが曲がった）には、第２の目的語は存在しない。
【0046】
「第１の目的語」フィールド及び「第２の目的語」フィールドを占有する目的語は、「使役主／注目者」フィールド及び「変化者／被注目者」フィールドを占有する目的語と同様に、意味的に異種である。しかし、ここでも、有用な一般化がこれらのカテゴリにわたって捉えられる。特に、動作の意思性動作主は、動作が他動的であるか自動的であるかにかかわらず、また、それが使役であるかどうかにかかわらず、常に第１の目的語フィールドを占有する。一実施形態では、ＬＴＭイベント符号化媒体は、動作の意思性動作主を同じ方法で符号化し、したがって、「ジョンは何をしたか？」などのクエリが、他動的又は自動的、使役的又は非使役的にかかわらず、全てのイベントを取得することを可能にする。
【0047】
また、「第１の目的語」及び「第２の目的語」フィールドは、主格及び対格の説明のための良好な基礎を提供することに留意されたい。セクション１から、能動態の他動詞文及び自動詞文の動作主は、受動態文の被動者と同様に、主格を受けることを想起されたい：能動態の他動詞文の被動者は、対格を受ける際の例外である。本発明者らのモデルでは、イベント参与者が第１の目的語として特徴付けられる場合、それは、主格に適格であり、第２の目的語として特徴付けられる場合、それは、対格に適格である。これらの特徴はまた、文の（表面的な）主語及び目的語を識別する：主格及び対格を受ける参与者は、それぞれ、文の主題及び目的語として現れる。
【0048】
第１の目的語と第２の目的語の区別はまた、イベント参与者の役割の周知の分類、すなわち、Ｄｏｗｔｙ（１９９１）によって提案された分類にも対応する。Ｄｏｗｄｙの関心は、イベント参与者の意味的特徴が、それらが文（主語及び目的語）内で保持する統語的位置をどのように判定するかについての一般的提案を正確に述べることにある。Ｄｏｗｔｙは、「プロト動作主」及び「プロト被動者」を定義する。プロト動作主は、有生性、意思性、有情性、使役的影響などを含む、動作主様特徴のクラスタを介して定義される。プロト被動者は、相対的な移動の欠如、及び状態変化を経験することを含む、被動者様特徴のクラスタを介して定義される。重要なことに、主語になる参与者は、最も動作主様の特徴を有する参与者であり、Ｄｏｗｔｙにとっては、参与者は、本質的に主語の位置を占有するために競争する。本発明者らのモデルでは、この競争は注目競争であり、最初に注目された参与者が、「第１の目的語」フィールドを占有し、これを通じて語法的主語として選択される。
【0049】
図３は、本明細書で説明されるシステムでモデル化することができる文タイプの範囲を図示する。各文タイプについて、ＷＭイベント媒体の各フィールドの内容が示される。
【0050】
イベント処理
一実施形態では、イベント表現の宣言型モデルは、より広い範囲のイベントタイプをカバーするイベント処理の新しいモデルに通知する。直示ルーチンとして構造化されたイベント処理のモデルにおいて、このルーチンにおけるいくつかの動作は、代替認知モード間の選択を行うことを伴う。
一実施形態では、イベント表現の宣言型モデルは、より広い範囲のイベントタイプをカバーするイベント処理の新しいモデルに通知する。直示ルーチンとして構造化されたイベント処理のモデルにおいて、このルーチンにおけるいくつかの動作は、代替認知モード間の選択を行うことを伴う。
【0051】
図２及び図４は、イベント把握プロセスにおける判定のシーケンスを行う身体化動作主を示す。身体化動作主は、イベントの主要な参与者に順次注目することによってルーチンを開始する。身体化動作主が参与者に注目するとき、身体化動作主は、動作主が知覚しているイベントのタイプを分類する。具体的には、動作主が第１の目的語に注目するとき、動作主は、この目的語が「使役主／注目者」として使役／変化領域に記録されるべきか、「変化者／被注目者」として記録されるべきかを判定する。すなわち、目的語が状態変化（又は他動的動作）を経験しているか、又は近くの何かに対して使役的影響を及ぼしている（又は他動的動作を実行している）か？
【0052】
目的語が状態変化（他動的動作）を経験している場合、イベントは、純粋な状態変化イベント（「カップが壊れた」又は「粘土が柔らかくなった」又は「ボールが窓を通り抜けた」など）、又は受動イベント（「カップが掴まれた」など）として分類される。目的語が使役的影響を及ぼしている場合、イベントは、使役的な状態変化イベント（「サリーがカップを壊した」など）、又は純粋な他動的イベント（「ジョンがカップに触れた」など）、又はこれら２つの混合（「フレッドが粘土をたたいて柔らかくした」、又は「マリーが窓を通してボールを蹴った」など）として分類される。
【0053】
この初期判定は、身体化動作主の認知モードを確立する。「使役主／注目者モード」又は「変化者／被注目者モード」。これらの異なる／代替モードは、識別されたイベントタイプに好適な異なる知覚プロセスをアクティブ化する。このモデルでは、イベントを把握することを伴う直示ルーチンは、一連の離散的な選択を含み、より早い選択がより遅い選択を設定する。
【0054】
図２に示されるアルゴリズムは、以下に詳細に説明されるように、異なる種類の完全なイベントを把握するために、イベント処理を伴う視覚及び認知機構を展開する。
【0055】
長方形のボックスは、直示動作を示す。丸みを帯びたボックスは、ルーチンにおいて先に行われた処理の結果に依存する選択点を示す。主な動作は、目的語トラッカを展開し、分類子を関与させ、処理の結果をＷＭイベント媒体に「登録する」登録することである。
【0056】
ステップ１：第１の目的語に注目すること
拡張された直示ルーチンのステップ１は、シーン内の最も顕著な目的語に注目し、この目的語に両方のトラッカを割り当てることである。変化者トラッカを割り当てることは、目的語分類子が「現在の目的語」表現を生成することを可能にする。
拡張された直示ルーチンのステップ１は、シーン内の最も顕著な目的語に注目し、この目的語に両方のトラッカを割り当てることである。変化者トラッカを割り当てることは、目的語分類子が「現在の目的語」表現を生成することを可能にする。
【0057】
ステップ２：第１の目的語の役割を決定すること
ステップ２で、動作主は、注目された目的語がどの種類のイベントに注目しているかを判定する。第１の決定は、目的語表現を使役主／被注目者フィールドにコピーするか、又は変化者／被注目者フィールドにコピーするかである。変化者／被注目者フィールドについての証拠は、変化検出器によって組み立てられ、変化検出器は、変化者トラッカによって注目された目的語を参照される。使役主／注目者フィールドについての証拠は、有向注目及び使役的影響分類子によって一緒に組み立てられ、これらは両方とも使役主トラッカによって注目された目的語に参照される。目的語が使役主／注目者として確立される場合、アルゴリズムはステップ２ａに進み、目的語が変化者／被注目者として確立される場合、アルゴリズムはステップ２ｂに進む。いずれの場合も、目的語表現は、ＷＭイベントの「第１の目的語」フィールドにもコピーされる。
ステップ２で、動作主は、注目された目的語がどの種類のイベントに注目しているかを判定する。第１の決定は、目的語表現を使役主／被注目者フィールドにコピーするか、又は変化者／被注目者フィールドにコピーするかである。変化者／被注目者フィールドについての証拠は、変化検出器によって組み立てられ、変化検出器は、変化者トラッカによって注目された目的語を参照される。使役主／注目者フィールドについての証拠は、有向注目及び使役的影響分類子によって一緒に組み立てられ、これらは両方とも使役主トラッカによって注目された目的語に参照される。目的語が使役主／注目者として確立される場合、アルゴリズムはステップ２ａに進み、目的語が変化者／被注目者として確立される場合、アルゴリズムはステップ２ｂに進む。いずれの場合も、目的語表現は、ＷＭイベントの「第１の目的語」フィールドにもコピーされる。
【0058】
ステップ２ａ：第２の目的語を伴うイベントを処理すること
ステップ２ａにおいて、使役主トラッカは現在の目的語上に保持され、変化者トラッカを新しい場所に再度割り当てる試みがなされる。これを行うために、有向注目及び使役動作主体性分類子を使用して、共同注目、又は指示された移動、又は使役的影響の焦点である位置を探す。次に、身体化動作主は、選択された場所に注目し、変化者トラッカをこの目的語に再度割り当てる。次に、目的語分類子は、「現在の目的語」媒体においてこの新しい目的語の表現を生成しようと試みる。目的語分類子は、変化者領域上で動作する。
ステップ２ａにおいて、使役主トラッカは現在の目的語上に保持され、変化者トラッカを新しい場所に再度割り当てる試みがなされる。これを行うために、有向注目及び使役動作主体性分類子を使用して、共同注目、又は指示された移動、又は使役的影響の焦点である位置を探す。次に、身体化動作主は、選択された場所に注目し、変化者トラッカをこの目的語に再度割り当てる。次に、目的語分類子は、「現在の目的語」媒体においてこの新しい目的語の表現を生成しようと試みる。目的語分類子は、変化者領域上で動作する。
【0059】
この時点で、「作成動作」に関して、観察された動作主が、すでに存在する目的語に作用しているか、それともまだ存在しない目的語を作成するように作用しているかという別の選択肢が生じる。因果関係についての決定と同様に、この選択は、観察者が、自分自身とは別の動作主を見る「動作知覚モード」にあるか、又は動作主自身の役割を果たす「動作実行モード」にあるかに応じて、異なって実行される。動作知覚モードでは、様々な信号が作成動作を診断する。これらは全て、変化者領域に向けられた目的語分類子の出力に関連する。この分類子が、この領域内に目的語が全く存在しないことを示す場合、これは、作成動作が進行中であり、この領域が動作主の選択された「ワークスペース」であることの良好な指示である。（これは、領域に対する動作主の注目を説明する）分類子が目的語を識別するが、目的語のタイプが不安定であるように見えるか、又は流動的に見える場合、これは、動作主が何かを行っていることの別の良好な指示である。一方、分類子が変化しないタイプを有する目的語を明確に識別する場合、観察者は、イベントが既存の目的語を伴うと結論付けることができる。この後者の場合、彼女は、他動的イベント及び／又は使役イベントを処理するために、ステップ３ａ（Ｉ）を実施する。前者の場合、彼女は作成動作を処理するために、ステップ３ａ（ｉｉ）を実施する。
【0060】
動作実行モードでは、重要な問題は、トップダウンで再構成された所望のイベントが「作成」動作を伴うかどうかである。作成以外の動詞が強く再構築される場合、観察者はステップ３ａ（ｉ）を実施し、再構築において「作成」が支配的である場合、観察者はステップ３ａ（ｉｉ）を実施する。
【0061】
ステップ３ａ（ｉ）：他動的イベント及び／又は使役イベントを処理すること
ステップ３ａ（ｉ）において、観察者は、観察された動作主が、タイプが変化していない既存の目的語に作用していることを決定している。観察者は、識別された目的語表現を、ＷＭイベントの変化者／被注目者フィールド、及び「第２の目的語」フィールドにコピーすることによって開始する。
ステップ３ａ（ｉ）において、観察者は、観察された動作主が、タイプが変化していない既存の目的語に作用していることを決定している。観察者は、識別された目的語表現を、ＷＭイベントの変化者／被注目者フィールド、及び「第２の目的語」フィールドにコピーすることによって開始する。
【0062】
この時点で、彼女は、使役主領域及び変化者領域に対して一緒に動作する２つの分類子：他動的動作分類子（「マリーがボールをたたいた」など、使役主によって変化者に対して行われた動作を探す）、及び使役的プロセス分類子（「マリーがボールを下ろした」など、使役主の変化者に対する使役的影響を探す）を展開することができる。これらの分類子は両方とも、使役的なプロセスが「マリーがボールをたたきつけた」におけるような他動的動作である場合に起動することができることに留意されたい。使役プロセスが識別される場合、観察者は、ＷＭイベント内の「使役」フラグを設定し、「変化」フラグも設定する（使役されることが変化であるため）。そうでない場合、彼女はそうしない。
【0063】
変化が引き起こされている場合、身体化動作主は、変化を完了まで監視し、最終ステップにおいて、到達された「結果状態」がＷＭイベントに書き込まれる。この結果状態は、変化している固有の目的語特性の最終値（例えば、「平坦な」、「赤い」）、又は移動している目的語の最終場所（例えば、「ドアへ」）、又は移動する目的語の完全な軌道（例えば、「ドアを通る」）を伴うことができる。
【0064】
ステップ３ａ（ｉｉ）：作成動作を処理すること
ステップ３ａ（ｉｉ）において、観察者は、観察された動作主が作成動作を実行していることを決定している。
ステップ３ａ（ｉｉ）において、観察者は、観察された動作主が作成動作を実行していることを決定している。
【0065】
観察された動作主が観察者自身である場合、観察者は、任意の運動動作をプログラムすることができる前に、まず何を作成するか決定しなければならない。再び、この判定において、ユーザは、ＷＭイベント媒体において再構成される所望のイベントによって駆動される。ここで再構築された目的語の混合が存在する可能性があり、動作主がこれらのうちの１つを選択することが重要である。重要なことに、彼女がこれを行うとき、彼女は、知覚を通して世界の目的語を識別しておらず、むしろ、彼女は、ある目的語を能動的に想像している。それを想像すると、彼女はそれを作成することができる。（既存の目的語に対する通常の他動的動作及び作成動作の両方について、観察者は、運動動作を実行する前に対象目的語の表現を事前にアクティブ化しなければならないことに留意されたい）
【0066】
動作主が、作成される目的語として「正方形」を選択したとする（異なる種類の形状が生成され得る描画媒体を仮定する）。ここで、動作主は、想像された目的語を一連の運動移動にマッピングする「目的語作成運動回路」に関与しなければならない。本発明者らのモデルでは、「作成」動作を実行することは、実際には、一次運動動作ではなく、モード設定動作として実施され、「作成」を実行することは、基本的に、目的語作成運動回路に関与し、その結果、一次運動動作のシーケンスは、作成されるべき選択された（想像された）目的語によって駆動される。
【0067】
目的語を想像して「作成」を実行すると、動作主は移動の特定のシーケンスを実行する。彼女がこれを行うとき、彼女はまた、これらの動作の効果を知覚的に監視する：これらが計画又は予想通りであることは保証されない。これらのプロセスの全ては、別の論文（Ｔａｋａｅ ｅｔ ａｌ．，２０２０）により詳細に記載されている。
【0068】
動作知覚モードで作成動作を監視するとき、観察者は、いくつかの外部動作主が、特定のタイプの新しい目的語を作成する動作のシーケンスを実行するのを見る。このプロセスはまた、目的語作成運動回路に関与し、作成される目的語に関する期待を生成するために使用される。これらの期待が十分に強く、観察された動作主が動作途中で停止するか又は困難に遭遇する場合、観察者は期待通りに動作を完了し得る。
【0069】
ステップ２ｂ：変化者／被注目者目的語をそれ自体によって処理すること
上記の処理は全てステップ２ａに関するものであり、ここでは使役主目的語及び変化者目的語が独立して識別されている。ステップ２ｂでは、変化者目的語が存在するが、使役主目的語は存在しないので、変化者目的語はそれ自体によって処理される。
上記の処理は全てステップ２ａに関するものであり、ここでは使役主目的語及び変化者目的語が独立して識別されている。ステップ２ｂでは、変化者目的語が存在するが、使役主目的語は存在しないので、変化者目的語はそれ自体によって処理される。
【0070】
ステップ２ａにおいて、使役主トラッカは停止されるが、変化者トラッカは現在注目されている目的語上に維持される。３つの別個の動的ルーチンが実行される。
【0071】
１つのルーチンは、ステップ２ａで動作する同じ変化検出ルーチンである。再び、変化が検出される場合、「変化」フラグが設定され、到達された最終結果状態が記録される。このシナリオでは、グラスが壊れた、ビルが赤くなった、又はドアが大きく開いたのような非対格文が生成される。
【0072】
他の２つのルーチンは、受動を与えるために変化者目的語に対してのみ動作するように構成された他動的動作分類子及び使役プロセス分類子である。使役プロセス分類子は、変化も検出される場合にのみ実行され、グラスが壊されたのような文を与える。また、他動的動作分類子は、変化又は使役がいずれも検出されない場合（例えば、カップが掴まれた）又は両方が検出される場合（例えば、カップが平らにたたかれた）にのみ実行される。
【0073】
２つの視覚トラッカ
一実施形態では、注目されている各参与者は、専用の視覚トラッカによって追跡されている。２つの別個の「視覚的目的語トラッカ」が提供され、１つは、使役主／注目者目的語のために構成され、１つは、変化者／被注目者目的語のために構成される。
一実施形態では、注目されている各参与者は、専用の視覚トラッカによって追跡されている。２つの別個の「視覚的目的語トラッカ」が提供され、１つは、使役主／注目者目的語のために構成され、１つは、変化者／被注目者目的語のために構成される。
【0074】
２つのトラッカは、異なる視覚機能への入力として視覚領域を配信する。変化者／被注目者トラッカは、目的語分類子、並びに変化検出器及び変化分類子に入力を提供する。使役／注目者トラッカは、有生動作主分類子（発見することができる場合、頭部及び運動エフェクタにサブトラッカを配置する）、注目方向分類子（存在する場合、これらのサブトラッカを使用して、視線追従及び移動外挿ルーチンを実施する）、及び使役影響検出器（使役効果を発揮しているように見える追跡された目的語の環境内の領域を探す）のための入力を提供する。
【0075】
イベント知覚の開始時に、第１の目的語が注目されるとき、両方のトラッカがこの単一の目的語に割り当てられる。次に、２つのトラッカによって通知された分類子を競合的に使用して、目的語が使役主／注目者（使役主／注目者モードをトリガする）として識別されるべきか、それとも変化者／被注目者（変化者／被注目者モードをトリガする）として識別されるべきかを決定する。
【0076】
目的語が使役主／注目者として識別される場合、これは、注目されている、かつ／又は使役的に影響を受けている第２の目的語について何らかの証拠が見つかっているためであるに違いない。使役主／被注目者モードでは、観察者の次の動作は、この第２の目的語に注目することである。変化者／被注目者トラッカは、この第２の目的語に再度割り当てられる。これは、第２の目的語が分類されることを可能にする（目的語分類子は、変化者／被注目者トラッカによって識別された視覚領域からその入力を取る）。それはまた、この第２の目的語において変化が検出され分類されることを可能にする。
【0077】
変化者／被注目者トラッカが最初に第１に注目された目的語に割り当てられ、使役主／注目者モードにおいて第２の目的語に再度割り当てられるという事実は、使役代替を説明する際に重要な役割を果たす。「カップが壊れた」では、システムは、最初に変化者／被注目者トラッカをカップに割り当て、次いで変化者／被注目者モードを確立する。このモードでは、システムは、この第１に注目された目的語で発生する変化を登録し、分類する。「サリーがカップを壊した」では、システムは最初に両方のトラッカをサリーに割り当てるが、次に使役主／注目者モードを確立し、したがって変化者／被注目者トラッカをカップに再度割り当てる。このモードでは、システムは、第２に注目された目的語で発生する変化を記録し、分類する。
【0078】
要約すると、２つの独立した視覚トラッカが提供され、異なる意味的対象に対して動作するように構成される。使役主トラッカは使役主／注目者を追跡するように設定され、変化者トラッカは変化者／被注目者を追跡するように設定される。次いで、いくつかの異なる機構が、これらのトラッカによって返された視覚領域（それぞれ使役主領域及び変化者領域と称される）に対して動作する。
【0079】
変化者領域上で動作する機構
３つの機構が、変化者トラッカによって返された「変化者領域」上で動作する。
３つの機構が、変化者トラッカによって返された「変化者領域」上で動作する。
【0080】
目的語分類子／認識器、及び関連付けられた特性分類子
１つの機構は、通常の目的語分類子／認識器である。これは、追跡された目的語のタイプ及びトークン識別に関する情報を「現在の目的語」媒体に配信する。この機構と並行して、特性分類子セットが、注目された目的語の顕著な特性を個々に識別する。これらは、特性を保持する「現在の目的語」媒体の別個の部分に配信される。特性分類子が分離されるのは、注目された目的語におけるいくつかの変化が、色又は形状などの特定の特性であるからである。
１つの機構は、通常の目的語分類子／認識器である。これは、追跡された目的語のタイプ及びトークン識別に関する情報を「現在の目的語」媒体に配信する。この機構と並行して、特性分類子セットが、注目された目的語の顕著な特性を個々に識別する。これらは、特性を保持する「現在の目的語」媒体の別個の部分に配信される。特性分類子が分離されるのは、注目された目的語におけるいくつかの変化が、色又は形状などの特定の特性であるからである。
【0081】
変化検出器
変化領域上で動作する第２の機構は、変化検出器である。この検出器は、追跡された目的語の何らかの変化が識別されるときに起動する。変化検出器は、２つの別個の構成要素：物理的場所の変化を識別する移動検出器、及び特性分類子によって識別された特性の変化を識別する特性変化検出器を有する。特性の変化は、身体構成の変化を含む。自動的動作は、この種類の頻繁に発生する変化である。
変化領域上で動作する第２の機構は、変化検出器である。この検出器は、追跡された目的語の何らかの変化が識別されるときに起動する。変化検出器は、２つの別個の構成要素：物理的場所の変化を識別する移動検出器、及び特性分類子によって識別された特性の変化を識別する特性変化検出器を有する。特性の変化は、身体構成の変化を含む。自動的動作は、この種類の頻繁に発生する変化である。
【0082】
変化分類子
変化者領域上で動作する第３の機構は、変化分類子である。この分類子は、物理スペース及び特性スペースにおける変化者目的語のダイナミクスを監視する。変化者目的語が有生である場合、いくつかの動的パターンは、肩をすくめること及び微笑みのような自発的に開始され得る変化として、自動的動作分類子によって識別される。変化者目的語は観察者自身であり得る。この場合、知覚された変化を分類するための機構ではなく、システムは、観察者の運動システムを介して、注目された目的語の変化を生成するための機構を含む。自動的動作を実行することができる運動システムが関与する。
変化者領域上で動作する第３の機構は、変化分類子である。この分類子は、物理スペース及び特性スペースにおける変化者目的語のダイナミクスを監視する。変化者目的語が有生である場合、いくつかの動的パターンは、肩をすくめること及び微笑みのような自発的に開始され得る変化として、自動的動作分類子によって識別される。変化者目的語は観察者自身であり得る。この場合、知覚された変化を分類するための機構ではなく、システムは、観察者の運動システムを介して、注目された目的語の変化を生成するための機構を含む。自動的動作を実行することができる運動システムが関与する。
【0083】
使役主領域上で動作する機構
２つの別個の機構が、使役主トラッカによって返された「使役主領域」上で動作する。
２つの別個の機構が、使役主トラッカによって返された「使役主領域」上で動作する。
【0084】
有生動作主分類子
使役主領域上で動作する第１の機構は、有生動作主分類子である。この機構は、追跡された領域内で頭部及び運動エフェクタ（例えば、腕／手）を位置特定しようと試みる。これらが見出された場合、頭部トラッカ及びエフェクタトラッカがこれらのサブ領域に割り当てられる。
使役主領域上で動作する第１の機構は、有生動作主分類子である。この機構は、追跡された領域内で頭部及び運動エフェクタ（例えば、腕／手）を位置特定しようと試みる。これらが見出された場合、頭部トラッカ及びエフェクタトラッカがこれらのサブ領域に割り当てられる。
【0085】
観察動作主は、使役主目的語としても自分自身に注目することができる。この場合、頭部及びエフェクタトラッカの役割は、観察者自身の自己受容系によって果たされ、この自己受容系は、観察者の頭部、眼、及び運動エフェクタの位置を追跡する。
【0086】
有向注目分類子
有生動作主分類子が頭部トラッカ及び／又はエフェクタトラッカを割り当てる場合、有向注目分類子と呼ばれる二次分類子がこれらに対して動作する。有向注目分類子は、動作主の視線及び／又は外挿されたエフェクタ軌道に基づいて、追跡された動作主の近くの顕著な目的語を識別する。観察動作主が使役主として自分自身に注目している場合、有向注目分類子は、観察者自身の身体近傍スペースにおける顕著な潜在的対象の設定を配信する。
有生動作主分類子が頭部トラッカ及び／又はエフェクタトラッカを割り当てる場合、有向注目分類子と呼ばれる二次分類子がこれらに対して動作する。有向注目分類子は、動作主の視線及び／又は外挿されたエフェクタ軌道に基づいて、追跡された動作主の近くの顕著な目的語を識別する。観察動作主が使役主として自分自身に注目している場合、有向注目分類子は、観察者自身の身体近傍スペースにおける顕著な潜在的対象の設定を配信する。
【0087】
使役影響分類子
使役領域上で動作する最終機構は、使役影響分類子である。この分類子は、追跡された目的語が、これらの周囲内で何らかの状態変化を引き起こすことによってその周囲に使役的に影響を及ぼしているという証拠を組み立てる。
使役領域上で動作する最終機構は、使役影響分類子である。この分類子は、追跡された目的語が、これらの周囲内で何らかの状態変化を引き起こすことによってその周囲に使役的に影響を及ぼしているという証拠を組み立てる。
【0088】
動作主は、特定の種類の目的語が、特定のコンテキストにおいて、特定の場所で特定の効果を使役的に達成することができることを学習する。このような場合、使役影響分類子は、これらの領域に観察者の注目を引く。したがって、機能的には、それは有向注目分類子のように挙動し、追跡された目的語の近くの顕著な領域に注目を引く。
【0089】
観察動作主自身が使役主である場合、問題は、観察者が作業時に使役プロセスを知覚するかどうかではなく、観察者の周囲のどの目的語に使役的影響を及ぼすことが可能であるか、及びこれらのうちのどれに使役的影響を及ぼすことを所望する可能性があるかである。この機構は、動作主の注目を近くの目的語に引くように機能する。
【0090】
使役影響分類子は、使役目的語の周辺の場所に注目を引くが、使役主目的語の形態、及びおそらく動きも分析する。特定の形態及び動きは、特定の方向又は特定の周辺場所における使役的影響を示し、例えば、特定の経路に沿って移動するハンマーの形態及び動きは、その経路にある目的語に対する使役的影響を示す。これらの形態及び動作は、有生動作主によって実行された他動的動作の形態及び動作と確実に一致し得るが、それらはまた、ハンマーの場合のように、無生使役的目的語を伴い得る。
【0091】
２つの追跡された領域上で一緒に動作する機構
機構の最終設定は、２つのトラッカによって返された使役主領域及び変化者領域上で一緒に動作する。
機構の最終設定は、２つのトラッカによって返された使役主領域及び変化者領域上で一緒に動作する。
【0092】
他動的動作分類子
使役主領域及び変化者領域の両方に作用する第１の機構は、他動的動作分類子である。動作知覚モードでは、他動的動作分類子は、目的語の運動エフェクタが識別された場合に、目的語の運動エフェクタに特に注目して、使役主領域内で追跡されている目的語における動作主様移動のパターンを分類する。有生動作主分類子は、運動エフェクタを識別しようと試み、これらにサブトラッカを割り当てる。動作実行モードでは、他動的動作分類子は、動作主のエンドエフェクタ場所及び選択された対象目的語によってパラメータ化される運動移動を生成する。
使役主領域及び変化者領域の両方に作用する第１の機構は、他動的動作分類子である。動作知覚モードでは、他動的動作分類子は、目的語の運動エフェクタが識別された場合に、目的語の運動エフェクタに特に注目して、使役主領域内で追跡されている目的語における動作主様移動のパターンを分類する。有生動作主分類子は、運動エフェクタを識別しようと試み、これらにサブトラッカを割り当てる。動作実行モードでは、他動的動作分類子は、動作主のエンドエフェクタ場所及び選択された対象目的語によってパラメータ化される運動移動を生成する。
【0093】
両方のモードにおいて、動作主の追跡されたエンドエフェクタは、他動的動作分類子の動作において２回特徴付けられる。第１に、分類子は、この動作主によって注目された場所であると理解される変化者領域に向かうエフェクタの移動を監視する。他動的動作カテゴリは、対象目的語上への動作主のエフェクタの特定の軌道によって部分的に定義され、例えば、ひったくること、平手打ちすること及びパンチすることの全ては、特徴的な軌道を伴う。第２に、分類子は、追跡された運動エフェクタの形状及び姿勢を監視する。このエフェクタは、例えば、手などの、しかしこれに限定されない任意の好適なエフェクタであってもよい。動作主の手の形状及び姿勢もまた、他動的動作を識別するのに役立つ。時には、手の絶対的な形状が考慮すべき重要な要因であり、例えば、平手打ちでは、手のひらは開いていなければならず、パンチでは、手のひらは閉じていなければならない。しかし、他の場合には、対象目的語の形状に対する手の形状が重要な要素である（例えば、把持動作）。
【0094】
動作主は、目的語内のいくつかの対向軸、及び手内の適合する対向軸を選択し、次いで、手を回転させ、選択された軸上で手を十分に開いて目的語が手内に入ることを可能にすることによって、これらの２つの軸を整列させる。Ｍ Ｒａｂｂｉ，Ｊ Ｂｏｎａｉｕｔｏ，Ｓ Ｊａｃｏｂｓ，ａｎｄ Ｓ Ｆｒｅｙ．Ｔｏｏｌ ｕｓｅ ａｎｄ ｔｈｅ ｄｉｓｔａｌｉｚａｔｉｏｎ ｏｆ ｔｈｅ ｅｎｄ－ｅｆｆｅｃｔｏｒ．Ｐｓｙｃｈｏｌｏｇｉｃａｌ Ｒｅｓｅａｒｃｈ，７３：４４１－４６２，２００９に記載されているような、この任意の好適なモデルを実装することができる。
【0095】
エフェクタを対象目的語に移動させることと、エフェクタ及び対象目的語の対向軸を整列させることの両方に関連して、他動的動作分類は、２つの追跡動作を含む：１．動作主全体のサブ領域として移動されるエフェクタ（本発明者らのモデルではまた、独立して追跡される）及び２．対象目的語。したがって、他動的動作分類子は、「２つの追跡された領域」：「使役主」領域（動作主及びそのエフェクタを追跡する）及び「変化者」領域（対象目的語を追跡する）上で一緒に動作する視覚機構である。
【0096】
動作主及び追跡される目的語と関連付けられた専用のトラッカが存在するが、観察者は、単一の追跡された領域内の動作主及び目的語の混合を表すことがある。手が対象目的語に接近すると、追跡された対象目的語と関連付けられた領域内（「変化者」領域内）に現れる。この時点で、他動的動作分類子は、対象の位置及び姿勢に対する手の位置及び姿勢を特徴付けるパターンを直接計算し、この相対的な位置及び姿勢の変化を監視することもできる。動作の観察者がそれを実行する者である場合、これらの直接信号は、手の移動を微調整するのに有用である。観察された動作主が他の誰かである場合、これらの信号は、観察者が、動作のクラス又はその様式（「強い」、「穏やか」、「粗野な」など）のような他のパラメータについてきめの細かい判定を行うのを助けることができる。
【0097】
使役プロセス分類子
両方の追跡された領域上で動作する第２の機構は、使役プロセス分類子である。このシステムは、（使役動作主体性分類子によって配信された）使役主目的語のダイナミクスを（変化分類子によって配信された）変化者目的語のダイナミクスと結合しようと試みる。
両方の追跡された領域上で動作する第２の機構は、使役プロセス分類子である。このシステムは、（使役動作主体性分類子によって配信された）使役主目的語のダイナミクスを（変化分類子によって配信された）変化者目的語のダイナミクスと結合しようと試みる。
【0098】
考慮すべき最も簡単な場合は、観察者が外部使役主目的語を監視し、外部変化者目的語に対するその関係を考慮する場合である。この場合、分類子は、単に、使役目的語のダイナミクスが変化者目的語のダイナミクスを引き起こしているかどうかに関する二分決定を行う。これを行うために、使役主目的語のダイナミクスから変化者目的語のダイナミクスを予測しようと試みる。予測されたダイナミクスが使役プロセスを与えられるようなものである場合、分類子は、ＷＭイベント媒体内の「使役」フラグを設定する。そうでない場合、このフラグは設定されないままにされる。
【0099】
使役プロセス分類子は、候補使役主及び変化者目的語の大きな設定に対して任意の好適な様式で訓練され得る。
【0100】
使役プロセス分類子はまた、観察者が動作主として自分自身を選択したシナリオにおいて、すなわち「動作実行モード」で動作する。この場合、「使役」フラグの役割は異なる。実行された動作は、動作主のＬＴＭから再構築されるイベント表現から生成され、これは、現在のコンテキストにおいて望ましいイベントを示す。いくつかのそのようなイベントは、いくつかの対象目的語において有益な状態変化をもたらす使役プロセスを伴う。これらのイベントは、「使役」フラグ設定を有する。そのような場合、使役プロセス分類子は異なって機能する：それは、所望の状態変化を生成する可能な運動動作の設定を配信する。動作主は、これらのうちの１つを選択して実行する。動作を監視するとき、動作主（観察者でもある）は、意図された使役プロセスが実際に来ているかどうかを依然として判断しなければならない。そうである場合、「使役」フラグは、外部使役プロセスの観察においてそうであるように、ボトムアップに設定され得る。
【0101】
ある目的語において状態変化を引き起こす全ての動作は、その目的語に向けられた他動的動作でなければならない。
【0102】
観察者が動作主として自分自身を選択する場合、推定の「使役主目的語」が自分自身であり、この目的語のダイナミクスを直接制御するので、使役的プロセス分類子を訓練する実験を特に方向付けることができる。このシナリオでは、観察者は、どのパラメータが所与の効果を達成するのに不可欠であるかを識別するために、運動動作の複数の変形形態を試すことによって、使役プロセスに関する仮説を能動的に試験することができる。同じ学習は、「使役主目的語」が観察者にとって外部の何かであり、観察者が直接制御できない場合にも行うことができる。この外部目的語は、別の動作主であり得るが、火、移動する車、又は重い重量などの無生物であってもよい。
【0103】
発展的用語では、使役影響分類子は、使役プロセス分類子よりも後に取得される。使役影響分類子は、使役プロセス分類子によって識別された使役プロセスの正のインスタンスに対して訓練される。すなわち、使役影響分類子は、現在選択されている使役目的語によって使役的に影響を受ける可能性がある目的語又は場所の事前注目シグネチャであって、観察者の注目をこれらの目的語又は場所に引くことができる種類の目的語又は場所の事前注目シグネチャを学習しなければならない。成熟イベント処理中、使役影響分類子は、使役イベント分類子の前に動作する。それは基本的に、使役プロセス分類子を展開する根拠があるかどうかを確立し、もしそうであれば、どの目的語が使役的に影響を受ける変化目的語として選択されるべきかを確立する。
【0104】
目的語生成運動回路
両方の追跡された領域上で動作する最終機構は、「作成動作」中に関与され、動作主の運動移動は、既存の目的語を単に操作するのではなく、あるタイプの目的語を作成する。作成動作は、動作主によって遂行されている運動目標が目的語表現の形態をとる（すなわち、目的語が作成される）ことを除いて、他動的動作に類似している。通常の他動的動作は、対象目的語に注目することによって実行されるが、作成動作は、基本的に、作成される目的語を想像して、次いでこの想像された目的語に運動システムを駆動させることを伴う。
両方の追跡された領域上で動作する最終機構は、「作成動作」中に関与され、動作主の運動移動は、既存の目的語を単に操作するのではなく、あるタイプの目的語を作成する。作成動作は、動作主によって遂行されている運動目標が目的語表現の形態をとる（すなわち、目的語が作成される）ことを除いて、他動的動作に類似している。通常の他動的動作は、対象目的語に注目することによって実行されるが、作成動作は、基本的に、作成される目的語を想像して、次いでこの想像された目的語に運動システムを駆動させることを伴う。
【0105】
この駆動は、目的語生成運動回路を介して行われる。使役プロセス分類子と同様に、この回路は訓練される必要がある。使役プロセス分類子は、運動動作から状態変化へのマッピングを学習するが、目的語作成回路は、運動動作から新しい目的語タイプの出現へのマッピングを学習する。動作主が描画することを学習しているとき、例えば、動作主は、変化者分類子によって追跡された（したがって、視覚目的語分類子への入力として渡された）場所で、空白の背景上でランダムな描画移動のシーケンスを反復的に実行する。頻繁に、これらの移動は、視覚目的語分類子が知っている目的語タイプのうちの１つとして視覚目的語分類子が識別する形態、例えば、正方形又は円を生成する。そのような場合、目的語作成運動回路は、その特定の移動シーケンスから問題の目的語タイプへのマッピングを学習する。
【0106】
他動的動作分類子及び使役プロセス分類子の「単項」動作
今説明した他動的動作分類子及び使役プロセス分類子は、使役主目的語及び変化者目的語に対して一緒に動作するように構成され、これらは、この構成で訓練され、訓練後、変化者目的語に対して単独で動作することもできる。この文によって主張されたイベントは、知覚を通して直接的にもっともらしく識別され得るものである。すなわち、観察者は、他動的動作「ひったくる」を、ひったくりを行う動作主を識別することなく分類することができる。他動的動作のいくつかの態様は、対象目的語に割り当てられたトラッカによって純粋に監視されるプロセスを伴う。
今説明した他動的動作分類子及び使役プロセス分類子は、使役主目的語及び変化者目的語に対して一緒に動作するように構成され、これらは、この構成で訓練され、訓練後、変化者目的語に対して単独で動作することもできる。この文によって主張されたイベントは、知覚を通して直接的にもっともらしく識別され得るものである。すなわち、観察者は、他動的動作「ひったくる」を、ひったくりを行う動作主を識別することなく分類することができる。他動的動作のいくつかの態様は、対象目的語に割り当てられたトラッカによって純粋に監視されるプロセスを伴う。
【0107】
例えば、グラスが壊されたなど、使役的な文を受動態で提示することもできる。この文によって説明されるイベントは、能動的状態変化文グラスが壊れたによって説明されるイベントとは微妙に異なる。前者の文は、グラス内で起こる変化状態プロセスを報告するだけでなく、このプロセスが他のプロセスによって引き起こされたことも主張している。使役プロセス分類子は、変化者目的語のみに対して有意に動作することができる。すなわち、分類子は、状態変化を経験する目的語を監視するだけのときに、使役プロセスについて何かを検出することができる。より推測的には、分類子のこの特性は、受動使役の存在の原因である。
【0108】
クエリパターン
システムは、ＷＭ媒体のクエリをサポートしてもよい。「Ｘが何をしたか？」という形態のクエリ［ここで、Ｘは何らかの動作主である］は、自動的動作及び他動的動作（使役動作を含む）の両方を取得することができる。このクエリを指定するために、ＷＭイベントの「第１の目的語」フィールドに「Ｘ」が提示される。
システムは、ＷＭ媒体のクエリをサポートしてもよい。「Ｘが何をしたか？」という形態のクエリ［ここで、Ｘは何らかの動作主である］は、自動的動作及び他動的動作（使役動作を含む）の両方を取得することができる。このクエリを指定するために、ＷＭイベントの「第１の目的語」フィールドに「Ｘ」が提示される。
【0109】
もう１つは、「Ｙに何が起こったか？」［ここで、Ｙは任意の目的語である］という形態のクエリである。単一のクエリは、Ｙが状態変化を経験したイベント、及びＹが他動的動作の被動者であったイベントを取得する。このクエリを指定するために、ＷＭイベントの「変化者／被注目者」フィールドに「Ｙ」が提示される。
【0110】
利点
イベントの意味的モデルは、標準的に、各引数位置における参与者のただ１つの表現を含む。本明細書に開示される実施形態では、各主要な参与者は、１回だけではなく２回表される。モデルは、主要な参与者の２つの表現を特徴とする。これは、意味から構文へのクリーンなマッピングをサポートする。
イベントの意味的モデルは、標準的に、各引数位置における参与者のただ１つの表現を含む。本明細書に開示される実施形態では、各主要な参与者は、１回だけではなく２回表される。モデルは、主要な参与者の２つの表現を特徴とする。これは、意味から構文へのクリーンなマッピングをサポートする。
【0111】
このモデルは、まさに概説された直示ルーチンをサポートする構成要素知覚プロセスに関する新規な提案を含む。
【0112】
監視されているイベントのタイプの分類は、離散的な決定のシーケンス（及び付随するモード設定動作）を伴う、時間的に延長された「増分」プロセスである。イベント類型学は、リアルタイムの感覚運動処理の観点から考慮される。これは、イベント間の変動の特定の次元を、イベントの感覚運動経験における特定の段階に結び付ける。重要な考え方は、イベント体験中に、参与者が特定の意味的役割を果たすものとして登録されるか、又は第２の参与者がイベントに伴われることが登録される特定の時間が存在することである。これらの判断は、ＷＭイベント表現の特定のフィールドを更新する際に局所化された影響を有するが、イベント処理の残りに耐える認知モードの確立を通じて、全ての後続のイベント処理にも影響を及ぼす。
【0113】
イベント処理中に注目された各参与者は、その後追跡され、これらのトラッカのうちのいくつかは、イベントにおいて特定の役割を果たす目的語のために特化されている（本発明者らの「使役主／注目者」及び「変化者／被注目者」トラッカ）。これらのトラッカは両方とも、最初に同じ目的語に割り当てられ、それらのうちの１つは、イベント処理の過程で新しい目的語に再度割り当てられ得る。
【0114】
身体化動作主
一実施形態では、身体化動作主は、コンピュータグラフィックス／アニメーション及びニューラルネットワークモデリングを組み合わせる。動作主は、コンピュータグラフィックスモデルの大きなセットとして実装されたシミュレートされた身体、及び相互接続されたニューラルネットワークの大きなシステムとして実装された、シミュレートされた脳を有し得る。シミュレートされた視覚システムは、世界から入力を取得するカメラ（人間のユーザに向けられてもよい）から、並びに／又は自身及びユーザが一緒に対話することができるウェブブラウザページの画面から入力を取得する。シミュレートされた運動システムは、動作主の視線が動作主の視覚フィード内の異なる領域に向けられることができるように、身体化動作主の頭部及び眼を制御し、動作主の手及び腕を制御する。一実施形態では、動作主は、（動作主の身体近傍スペース内のタッチスクリーンとして提示される）ブラウザウィンドウ内の目的語をクリック及びドラッグすることができる。動作主はまた、ユーザがブラウザウィンドウ内で目的語を移動させるイベント、及びこれらの目的語がそれら自体のストリームの下で移動するイベントを知覚することができる。
一実施形態では、身体化動作主は、コンピュータグラフィックス／アニメーション及びニューラルネットワークモデリングを組み合わせる。動作主は、コンピュータグラフィックスモデルの大きなセットとして実装されたシミュレートされた身体、及び相互接続されたニューラルネットワークの大きなシステムとして実装された、シミュレートされた脳を有し得る。シミュレートされた視覚システムは、世界から入力を取得するカメラ（人間のユーザに向けられてもよい）から、並びに／又は自身及びユーザが一緒に対話することができるウェブブラウザページの画面から入力を取得する。シミュレートされた運動システムは、動作主の視線が動作主の視覚フィード内の異なる領域に向けられることができるように、身体化動作主の頭部及び眼を制御し、動作主の手及び腕を制御する。一実施形態では、動作主は、（動作主の身体近傍スペース内のタッチスクリーンとして提示される）ブラウザウィンドウ内の目的語をクリック及びドラッグすることができる。動作主はまた、ユーザがブラウザウィンドウ内で目的語を移動させるイベント、及びこれらの目的語がそれら自体のストリームの下で移動するイベントを知覚することができる。
【0115】
本明細書で説明される実施形態は、身体化動作主が、動作主によって知覚されたイベント、及び動作主が参加するイベントの両方の、言語における経験されたイベントを説明することを可能にする。一実施形態では、動作主は、一度に一構成要素ずつ、イベントの表現を増分的に生成する。イベントを増分的に表現することは、言語インターフェースに必要とされる豊富で正確なイベント表現を可能にする。
【0116】
モデルは、身体化動作主において、（例えば、ビデオ入力からの）異なるタイプのイベントを認識するか、又は（例えば、それら自体のシミュレートされた環境において、かつ／又はそれらがユーザと共有するブラウザウィンドウの世界において）異なるタイプの動作を実行する広範囲の能力をそれらに提供することを特徴とすることができる。例えば、身体化動作主は、イベントを経験し、そのイベントをＷＭに記憶することができる。次いで、動作主がイベントを説明する発話を聞くと、動作主は、イベント構造と発話構造との間の関連付けを学習する。
【0117】
利点
新しいモデルは、身体化動作主が、世界との対話を通じて多種多様なイベントタイプを把握するための方法を提供する。ビデオからイベントを識別するための従来の方法は、単一のタイプのイベント（例えば、Ｂａｌａｊｉ ａｎｄ Ｋａｒｔｈｉｋｅｙａｎ，２０１７を参照）、若しくはイベントタイプの小さなセット（例えば、Ｙｕ ｅｔ ａｌ．，２０１５を参照）に焦点を当てる傾向があるか、又はイベントタイプをモデル化し、ビデオフレームのシーケンスをワードのシーケンスに直接マッピングすることを全く控える傾向がある（例えば、Ｘｕ ｅｔ ａｌ．，２０１９を参照）。
新しいモデルは、身体化動作主が、世界との対話を通じて多種多様なイベントタイプを把握するための方法を提供する。ビデオからイベントを識別するための従来の方法は、単一のタイプのイベント（例えば、Ｂａｌａｊｉ ａｎｄ Ｋａｒｔｈｉｋｅｙａｎ，２０１７を参照）、若しくはイベントタイプの小さなセット（例えば、Ｙｕ ｅｔ ａｌ．，２０１５を参照）に焦点を当てる傾向があるか、又はイベントタイプをモデル化し、ビデオフレームのシーケンスをワードのシーケンスに直接マッピングすることを全く控える傾向がある（例えば、Ｘｕ ｅｔ ａｌ．，２０１９を参照）。
【0118】
本明細書で説明される実施形態は、いくつかの問題を解決する。
・ 使役代替をモデル化する方法：状態変化を示すいくつかの動詞が、変化目的語を、自動詞文（「グラスが壊れた」）の主語としてだけでなく、他動詞文（「マリーがグラスを壊した」）の目的語としても見えることを可能にするという事実。（言語学者は、通常、意味のレベルで、変化目的語がこれらの２つの場合において同じ表現を有すると仮定する：問題は、なぜこの表現が、時に主語にマッピングされるか、及び時に目的語にマッピングされるかを説明することである）
・ 統語格をモデル化する方法。格は、英語では、主格の名詞句（例えば、「ｓｈｅ」、「ｈｅ」）と同義の名詞句（例えば、「ｈｅｒ」、「ｈｉｍ」）との間の区別で明示される。英語では、主語は常に主格を受け、目的語は常に対格を受ける。しかし、いわゆる「能格」言語では、別のパターンが見出される：自動詞の主語は、他動詞文の目的語と同じ格（能格と呼ばれる）を受け、他動詞文の主語は、異なる格（絶対格と呼ばれる）を受ける。本発明者らの新しいモデルは、これらの別個の格システムの起源を説明する格の新しい説明を提供する。
・ 「カップが盗まれた」又は「カップが壊された」などの受動文をモデル化する方法。ここでの新規性は、イベントが理解される知覚機構を説明したものである。
・ 使役代替をモデル化する方法：状態変化を示すいくつかの動詞が、変化目的語を、自動詞文（「グラスが壊れた」）の主語としてだけでなく、他動詞文（「マリーがグラスを壊した」）の目的語としても見えることを可能にするという事実。（言語学者は、通常、意味のレベルで、変化目的語がこれらの２つの場合において同じ表現を有すると仮定する：問題は、なぜこの表現が、時に主語にマッピングされるか、及び時に目的語にマッピングされるかを説明することである）
・ 統語格をモデル化する方法。格は、英語では、主格の名詞句（例えば、「ｓｈｅ」、「ｈｅ」）と同義の名詞句（例えば、「ｈｅｒ」、「ｈｉｍ」）との間の区別で明示される。英語では、主語は常に主格を受け、目的語は常に対格を受ける。しかし、いわゆる「能格」言語では、別のパターンが見出される：自動詞の主語は、他動詞文の目的語と同じ格（能格と呼ばれる）を受け、他動詞文の主語は、異なる格（絶対格と呼ばれる）を受ける。本発明者らの新しいモデルは、これらの別個の格システムの起源を説明する格の新しい説明を提供する。
・ 「カップが盗まれた」又は「カップが壊された」などの受動文をモデル化する方法。ここでの新規性は、イベントが理解される知覚機構を説明したものである。
【0119】
本明細書で説明される認知システムは、構成要素知覚機構が知覚システム全体においてどのように組み合わされるかに対処する。他動的動作処理での以前の試みは、はるかに広い範囲のイベントタイプをカバーするように拡張される。ＷＭイベント表現は、「現在の目的語」媒体が異なる目的語表現を保持するときに、イベント処理中の異なる時点で取得されたこの媒体のコピーを保持する。認知モデルは、ＷＭイベント表現に「変化者」目的語及び（任意選択で）「使役主」目的語を記録させることによって、状態変化イベントを組み込む。
【0120】
これにより、身体化動作主は、言語でそれらの感覚運動経験を報告し、言語によって感覚運動タスクを実行するように命令されることを可能にする。
【0121】
参与者目的語を２回（記憶されたシーケンス領域に１回、使役／変化領域に１回）表現することは、
（ａ）どの参与者がイベントを報告する文の統語主語になり、どれが統語的目的語になるかを判定し、（ｂ）受動文、純粋な状態変化文、及び使役代替のモデルをサポートするイベント参与者の意味的態様を符号化することを助ける。
（ａ）どの参与者がイベントを報告する文の統語主語になり、どれが統語的目的語になるかを判定し、（ｂ）受動文、純粋な状態変化文、及び使役代替のモデルをサポートするイベント参与者の意味的態様を符号化することを助ける。
【0122】
再割り当て動作は、「使役代替」の説明を与える際に重要である。使役代替は、目的語が状態を変化させて、時には文の語法的主語（例えば、「カップが壊れた」）として現れ、時には語法的目的語（「スーがカップを壊した」）として現れる現象である。このモデルでは、語法的主語は常に第１に注目された参与者であり、語法的目的語は常に第２に注目された参与者である。状態変化を識別（及び監視／分類）する知覚機構は、第１の参与者が「カップが壊れた」を認識し、第２の参与者が「Ｘがカップを壊した」を認識するように動作しなければならない。変化検出器／分類子に入力を配信する視覚トラッカは、第１の参与者に最初に割り当てられ、次いで、必要であれば、第２の参与者に再度割り当てられる。
【0123】
解釈
記載の方法及びシステムは、任意の好適な電子コンピューティングシステム上で利用されてもよい。以下に記載される実施形態によれば、電子コンピューティングシステムは、様々なモジュール及びエンジンを使用して本発明の方法論を利用する。電子コンピューティングシステムは、少なくとも１つの処理装置、１つ以上のメモリデバイス、又は１つ以上のメモリデバイスに接続するためのインターフェースと、システムが１人以上のユーザ又は１つ以上の外部システムからの命令を受信し操作することを可能にするために外部デバイスに接続するための入力及び出力インターフェースと、様々な構成要素間の内部及び外部通信用のデータバスと、好適な電源と、を含んでもよい。更に、電子コンピューティングシステムは、外部及び内部デバイスと通信するための１つ以上の通信デバイス（有線又は無線）と、ディスプレイ、ポインティングデバイス、キーボード、又は印刷デバイスなどの１つ以上の入出力デバイスと、を含んでもよい。処理装置は、メモリデバイス内のプログラム命令として記憶されたプログラムのステップを実行するように構成される。プログラム命令は、本明細書に記載されるような本発明を実行する様々な方法が実行されることを可能にする。プログラム命令は、例えば、Ｃベースの言語及びコンパイラなどの任意の好適なソフトウェアプログラミング言語及びツールキットを使用して開発又は実装されてもよい。更に、プログラム命令は、例えば、コンピュータ可読媒体上に記憶されるなど、メモリデバイスに転送される又は処理装置によって読み取られることが可能であるように、任意の好適な様式で記憶されてもよい。コンピュータ可読媒体は、例えば、ソリッドステートメモリ、磁気テープ、コンパクトディスク（ＣＤ－ＲＯＭ又はＣＤ－Ｒ／Ｗ）、メモリカード、フラッシュメモリ、光ディスク、磁気ディスク、又は任意の他の好適なコンピュータ可読媒体などのプログラム命令を有形に記憶するための任意の好適な媒体であってもよい。電子コンピューティングシステムは、関連データを取得するために、データ記憶システム又はデバイス（例えば、外部データ記憶システム又はデバイス）と通信するように構成される。本明細書に記載されるシステムは、本明細書に記載される様々な機能及び方法を実行するように構成された１つ以上の要素を含むことが理解されよう。本明細書に記載される実施形態は、システムの要素を構成する様々なモジュール及び／又はエンジンが、機能の実装を可能にするためにどのように相互接続され得るかを示す例を読者に提供することを目的とする。更に、記載される実施形態は、システム関連詳細において、本明細書に記載される方法のステップがどのように実行され得るかを説明する。概念図は、様々な異なるモジュール及び／又はエンジンによって様々なデータ要素が異なる段階でどのように処理されるかを読者に示すために提供される。したがって、モジュール又はエンジンの配置及び構成は、様々な機能が本明細書に記載されるものとは異なるモジュール又はエンジンによって実行され得るように、かつ、特定のモジュール又はエンジンが単一のモジュール又はエンジンに組み合わされ得るように、システム及びユーザ要件に応じて適合され得ることが理解されよう。記載されるモジュール及び／又はエンジンは、任意の好適な形態の技術を使用して実装され、命令を提供され得ることが理解されよう。例えば、モジュール又はエンジンは、任意の好適な言語で書かれた任意の好適なソフトウェアコードを使用して実装又は作成されてもよく、コードはその後、任意の好適なコンピューティングシステム上で実行され得る実行可能プログラムを生成するようにコンパイルされる。代替的に、又は実行可能プログラムと併せて、モジュール又はエンジンは、ハードウェア、ファームウェア、及びソフトウェアの任意の好適な組み合わせを使用して実装されてもよい。例えば、モジュールの一部分は、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、システムオンチップ（system-on-a-chip、ＳｏＣ）、フィールドプログラマブルゲートアレイ（field programmable gate arrays、ＦＰＧＡ）、又は任意の他の好適な適応可能若しくはプログラム可能な処理デバイスを使用して実装されてもよい。本明細書に記載される方法は、記載されたステップを実行するように具体的にプログラムされた汎用コンピューティングシステムを使用して実装されてもよい。代替的に、本明細書に記載される方法は、データソート及び可視化コンピュータ、データベースクエリコンピュータ、グラフィック分析コンピュータ、データ分析コンピュータ、製造データ分析コンピュータ、ビジネスインテリジェンスコンピュータ、人工知能コンピュータシステムなど、特定の分野と関連付けられた環境からキャプチャされた特異的なデータに対して、記載されたステップを実行するように具体的に適合されている、特定の電子コンピュータシステムを使用して実装されてもよい。
記載の方法及びシステムは、任意の好適な電子コンピューティングシステム上で利用されてもよい。以下に記載される実施形態によれば、電子コンピューティングシステムは、様々なモジュール及びエンジンを使用して本発明の方法論を利用する。電子コンピューティングシステムは、少なくとも１つの処理装置、１つ以上のメモリデバイス、又は１つ以上のメモリデバイスに接続するためのインターフェースと、システムが１人以上のユーザ又は１つ以上の外部システムからの命令を受信し操作することを可能にするために外部デバイスに接続するための入力及び出力インターフェースと、様々な構成要素間の内部及び外部通信用のデータバスと、好適な電源と、を含んでもよい。更に、電子コンピューティングシステムは、外部及び内部デバイスと通信するための１つ以上の通信デバイス（有線又は無線）と、ディスプレイ、ポインティングデバイス、キーボード、又は印刷デバイスなどの１つ以上の入出力デバイスと、を含んでもよい。処理装置は、メモリデバイス内のプログラム命令として記憶されたプログラムのステップを実行するように構成される。プログラム命令は、本明細書に記載されるような本発明を実行する様々な方法が実行されることを可能にする。プログラム命令は、例えば、Ｃベースの言語及びコンパイラなどの任意の好適なソフトウェアプログラミング言語及びツールキットを使用して開発又は実装されてもよい。更に、プログラム命令は、例えば、コンピュータ可読媒体上に記憶されるなど、メモリデバイスに転送される又は処理装置によって読み取られることが可能であるように、任意の好適な様式で記憶されてもよい。コンピュータ可読媒体は、例えば、ソリッドステートメモリ、磁気テープ、コンパクトディスク（ＣＤ－ＲＯＭ又はＣＤ－Ｒ／Ｗ）、メモリカード、フラッシュメモリ、光ディスク、磁気ディスク、又は任意の他の好適なコンピュータ可読媒体などのプログラム命令を有形に記憶するための任意の好適な媒体であってもよい。電子コンピューティングシステムは、関連データを取得するために、データ記憶システム又はデバイス（例えば、外部データ記憶システム又はデバイス）と通信するように構成される。本明細書に記載されるシステムは、本明細書に記載される様々な機能及び方法を実行するように構成された１つ以上の要素を含むことが理解されよう。本明細書に記載される実施形態は、システムの要素を構成する様々なモジュール及び／又はエンジンが、機能の実装を可能にするためにどのように相互接続され得るかを示す例を読者に提供することを目的とする。更に、記載される実施形態は、システム関連詳細において、本明細書に記載される方法のステップがどのように実行され得るかを説明する。概念図は、様々な異なるモジュール及び／又はエンジンによって様々なデータ要素が異なる段階でどのように処理されるかを読者に示すために提供される。したがって、モジュール又はエンジンの配置及び構成は、様々な機能が本明細書に記載されるものとは異なるモジュール又はエンジンによって実行され得るように、かつ、特定のモジュール又はエンジンが単一のモジュール又はエンジンに組み合わされ得るように、システム及びユーザ要件に応じて適合され得ることが理解されよう。記載されるモジュール及び／又はエンジンは、任意の好適な形態の技術を使用して実装され、命令を提供され得ることが理解されよう。例えば、モジュール又はエンジンは、任意の好適な言語で書かれた任意の好適なソフトウェアコードを使用して実装又は作成されてもよく、コードはその後、任意の好適なコンピューティングシステム上で実行され得る実行可能プログラムを生成するようにコンパイルされる。代替的に、又は実行可能プログラムと併せて、モジュール又はエンジンは、ハードウェア、ファームウェア、及びソフトウェアの任意の好適な組み合わせを使用して実装されてもよい。例えば、モジュールの一部分は、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、システムオンチップ（system-on-a-chip、ＳｏＣ）、フィールドプログラマブルゲートアレイ（field programmable gate arrays、ＦＰＧＡ）、又は任意の他の好適な適応可能若しくはプログラム可能な処理デバイスを使用して実装されてもよい。本明細書に記載される方法は、記載されたステップを実行するように具体的にプログラムされた汎用コンピューティングシステムを使用して実装されてもよい。代替的に、本明細書に記載される方法は、データソート及び可視化コンピュータ、データベースクエリコンピュータ、グラフィック分析コンピュータ、データ分析コンピュータ、製造データ分析コンピュータ、ビジネスインテリジェンスコンピュータ、人工知能コンピュータシステムなど、特定の分野と関連付けられた環境からキャプチャされた特異的なデータに対して、記載されたステップを実行するように具体的に適合されている、特定の電子コンピュータシステムを使用して実装されてもよい。
【符号の説明】
【0124】
１ 動作主
２ 参与者（目的語？）
３ イベント処理装置
４ イベント
５ トラッカ
６ 変化者／被注目者
７ 使役主／注目者
８ 動作分類子
２ 参与者（目的語？）
３ イベント処理装置
４ イベント
５ トラッカ
６ 変化者／被注目者
７ 使役主／注目者
８ 動作分類子
【図1】
【図2】
【図3】
【図4】
【国際調査報告】