(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-23
(45)【発行日】2023-01-31
(54)【発明の名称】スクリプト作成及びコンテンツ生成ツール及びこれら製品の改善された動作
(51)【国際特許分類】
G06F 40/56 20200101AFI20230124BHJP
G06F 40/44 20200101ALI20230124BHJP
【FI】
G06F40/56
G06F40/44
(21)【出願番号】P 2020538712
(86)(22)【出願日】2019-01-10
(86)【国際出願番号】 US2019013095
(87)【国際公開番号】W WO2019140120
(87)【国際公開日】2019-07-18
【審査請求日】2020-08-11
(32)【優先日】2018-01-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520250165
【氏名又は名称】エンド キュー,エルエルシー
【氏名又は名称原語表記】END CUE, LLC
【住所又は居所原語表記】8520 Washington Blvd., Culver City, California 90232, USA
(74)【代理人】
【識別番号】100105131
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】レイ,デバジョティ
(72)【発明者】
【氏名】コルツチャク,アンドリュー
(72)【発明者】
【氏名】コルツチャク,ウォルター
【審査官】成瀬 博之
(56)【参考文献】
【文献】特開2008-112432(JP,A)
【文献】米国特許出願公開第2016/0117311(US,A1)
【文献】小田淳一,物語内世界の人物間における二項的関係性のネットワーク構造,2011年 度人工知能学会全国大会(第25回)論文集[CD-ROM],日本,社団法人 人工知能学会,2011年06月01日,ISSN 1347-9881
(58)【調査した分野】(Int.Cl.,DB名)
G06F 40/20-40/58
(57)【特許請求の範囲】
【請求項1】
スクリプト化された物語について動作する計算システムにおける動作方法であって、
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部について、アノテーションを付されたスクリプトマテリアルのコーパス上で事前に訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語から前記物語に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップであって、前記少なくとも1つの自然言語プロセッサ
が事前に訓練された前記アノテーションを付されたスクリプトマテリアルのコーパスは、前記少なくとも1つの自然言語プロセッサが処理中の前記物語とは別の少なくとも1つの物語または物語の一部を含む、該ステップと、
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップであって、それぞれの前記いくつかのキーエンティティはそれぞれのノードによって表され、それぞれのいくつかの前記エッジは前記ノードのそれぞれのペアのそれぞれのノードによってそれぞれ表される前記キーエンティティのそれぞれのペアの間のそれぞれの関係をそれぞれ表す、該ステップと、
人工ニューラルネットワークへの入力として、前記抽出されたキーエンティティ及び前記抽出されたキー関係の表現を提供することにより、前記少なくとも1つのデータ構造
の前記ノード及び前記エッジにより表される前記抽出されたキーエンティティ及び前記抽出されたキー関係に少なくとも部分的に基づいて、前記アノテーションを付されたスクリプトマテリアルのコーパス上で事前に訓練された少なくとも1つの自然言語プロセッサにより新しいスクリプトコンテンツを生成するステップを含
み、前記新しいスクリプトコンテンツは、1つ又は複数の新しいダイアログ又は新しいステージング指示を含む、
前記少なくとも1つの自然言語プロセッサが処理中の前記物語とは別の物語である動作方法。
【請求項2】
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップは、前記抽出されたキーエンティティおよび前記抽出されたキー関係をベイズネットワークとして表す少なくとも1つのデータ構造を生成するステップを含む、請求項1に記載の方法。
【請求項3】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、複数のnグラムを使用する自然言語プロセッサによって物語の少なくとも一部を処理するステップを含み、nグラムのうちの少なくともいくつかは1つよりも多い単語を含む、請求項1に記載の方法。
【請求項4】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記物語のシーンのうちの少なくとも2つのシーンのそれぞれを抽出することを含む、請求項1に記載の方法。
【請求項5】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに現れる少なくとも2つのキャラクタのそれぞれを抽出するステップを含む、請求項1に記載の方法。
【請求項6】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに現れる少なくとも1つの非キャラクタオブジェクトを抽出するステップを含む、請求項1に記載の方法。
【請求項7】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおいて生じる視覚効果、オーディオ効果、またはオーディオビジュアル効果のうちの1つまたは複数のうちの少なくとも1つを抽出するステップを含む、請求項1に記載の方法。
【請求項8】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかが行われる少なくとも1つの場所を抽出するステップを含む、請求項1に記載の方法。
【請求項9】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに出現する少なくとも2つのキャラクタ間のキャラクタの相互関係を抽出することを含む、請求項1に記載の方法。
【請求項10】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンの相互作用のペアの間のいくつかの関係を抽出するステップを含む、請求項1に記載の方法。
【請求項11】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかで発生するいくつかのアクションを抽出するステップを含む、請求項1に記載の方法。
【請求項12】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおける1つまたは複数のキャラクタによって表示されるいくつかの気持ちを抽出するステップを含む、請求項1に記載の方法。
【請求項13】
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおける1つまたは複数のキャラクタのいくつかの感情を抽出するステップを含む、請求項1に記載の方法。
【請求項14】
請求項2~13のいずれかの組み合わせの方法。
【請求項15】
動作中に少なくとも1つの自然言語プロセッサによる教師なし学習を実行するステップをさらに含む、請求項1に記載の方法。
【請求項16】
動作中に少なくとも1つの自然言語プロセッサによる教師付き学習を実行するステップをさらに含む、請求項1に記載の方法。
【請求項17】
各ノードに対してそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
【請求項18】
各ノードに対してそれぞれの疎ベクトル表現を生成するステップをさらに含み、疎ベクトル表現は複数のバイナリ値を含む、請求項1に記載の方法。
【請求項19】
前記キーエンティティの各々に対してそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
【請求項20】
前記キー関係の各々に対してそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
【請求項21】
各キーエンティティおよび1つまたは複数のキャラクタのいくつかの感情のそれぞれについてそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
【請求項22】
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップは、抽出された前記キーエンティティと抽出された前記キー関係とをベイズネットワークとして表す少なくとも1つのデータ構造を生成するステップを含み、物語の少なくとも一部について、アノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記スクリプトマテリアルのいずれかのシーン内の1つ以上のキャラクタのいくつかの感情を抽出するステップを含む、請求項1に記載の方法。
【請求項23】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップをさらに含む、請求項1に記載の方法。
【請求項24】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有する前記グラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項23に記載の方法。
【請求項25】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを用いて、グラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項24に記載の方法。
【請求項26】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、それぞれの境界領域によって識別される前記物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有する前記グラフの少なくとも一部の視覚的提示を発生させるステップ、及び、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードの視覚的提示を発生させるステップを含み、提示された前記少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードは、前記少なくとも2つのキャラクタが両方とも現れるシーンを表す少なくとも1つのノードの前記それぞれの境界領域によって取り囲まれる、請求項23に記載の方法。
【請求項27】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、前記物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項23に記載の方法。
【請求項28】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続する少なくとも1つのエッジを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項22から27のいずれかに記載の方法。
【請求項29】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続するエッジとして視覚的に表されるアクションを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項28に記載の方法。
【請求項30】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、少なくとも1つのキャラクタについて視覚的に表された感情を有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項28に記載の方法。
【請求項31】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、視覚的に表される2つのキャラクタ間の相互作用の特徴付けを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項28に記載の方法。
【請求項32】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、各ノードがシーン、イベント、アクションシーケンス、ダイアログ、または物語のキャラクタの相互作用のうちの少なくとも1つを表し、それぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタの相互作用のそれぞれの1つに関連する感情の視覚的提示を含む、グラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項1から27のいずれかに記載の方法。
【請求項33】
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、各エッジがそれぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタの相互作用のそれぞれの重要性のレベルの視覚的提示を含むグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項32に記載の方法。
【請求項34】
少なくとも1つの自然言語プロセッサを、前記アノテーションを付されたスクリプトマテリアルのコーパス上で訓練するステップを含み、アノテーションを付されたスクリプトマテリアルは、ダイアログおよび指示を含む、請求項1に記載の方法。
【請求項35】
スクリプト化された物語上で動作するための計算システムであって、
アノテーションを付されたスクリプトマテリアルのコーパス上で訓練され、複数のシーンと前記シーンのうちの1つ以上に現れるいくつかのキャラクタとを含む物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出する少なくとも1つの自然言語プロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つの自然言語プロセッサ上で実行されたときに前記1つの自然言語プロセッサに、
前記物語の少なくとも一部を処理して前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出されたキーエンティティおよび抽出されたキー関係を複数のノードおよび複数のエッジを有するグラフとして表す少なくとも1つのデータ構造を生成するステップであって、複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表す、該ステップと、
前記少なくとも1つのデータ構造
の前記ノード及び前記エッジにより表される抽出された前記キーエンティティ及び抽出されたキー前記関係に少なくとも部分的に基づいて、前記アノテーションを付されたスクリプトマテリアルのコーパス上で事前に訓練された少なくとも1つの自然言語プロセッサにより前記物語のための新しいスクリプトコンテンツを生成するステップ
であって、人工ニューラルネットワークへの入力として、前記抽出されたキーエンティティ及び前記抽出されたキー関係の表現が提供され、前記新しいスクリプトコンテンツは、1つ又は複数の新しいダイアログ又は新しいステージング指示を含む、該ステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有するシステム。
【請求項36】
前記少なくとも1つの自然言語プロセッサによって実行されるとき、前記少なくとも1つのプロセッサ実行可能命令またはデータは前記少なくとも1つの自然言語プロセッサに、請求項2から27の方法のいずれかを実行させる、請求項35に記載のシステム。
【請求項37】
スクリプト化された物語上で動作するための計算システムであって、
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部のいくつかのキーエンティティおよびいくつかのキー関係を抽出するようにアノテーションを付されたスクリプトマテリアルのコーパス上で訓練された少なくとも1つの自然言語プロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つの自然言語プロセッサ上で実行されたときに前記1つの自然言語プロセッサに、
前記物語の少なくとも一部を処理して前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出されたキーエンティティおよび抽出されたキー関係を複数のノードおよび複数のエッジを有するグラフとして表す少なくとも1つのデータ構造を生成するステップであって、複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表す、該ステップと、
前記少なくとも1つのデータ構造
の前記ノード及び前記エッジにより表される抽出された前記キーエンティティ及び抽出された前記キー関係に少なくとも部分的に基づいて、前記アノテーションを付されたスクリプトマテリアルのコーパス上で事前に訓練された少なくとも1つの自然言語プロセッサにより前記物語のための新しいスクリプトコンテンツを生成するステップ
であって、人工ニューラルネットワークへの入力として、前記抽出されたキーエンティティ及び前記抽出されたキー関係の表現が提供され、前記新しいスクリプトコンテンツは、1つ又は複数の新しいダイアログ又は新しいステージング指示を含む、該ステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有することを特徴とするシステム。
【請求項38】
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムの動作方法であって、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップであって、前記サンプルスクリプトまたはサンプルスクリプトの一部は物語またはその一部を構成し、前記少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部の1つ以上のコーパス上で訓練されている、当該ステップと、
前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理することにより、前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出し、抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノードおよび複数のエッジを有するグラフとして表す
少なくとも1つのデータ構造として生成するステップであって、複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表す、該ステップと、
前記人工ニューラルネットワークへの入力として、前記抽出されたキーエンティティ及び前記抽出されたキー関係の表現を提供することにより、前記少なくとも1つのデータ構造の前記ノード及び前記エッジにより表される抽出された前記キーエンティティ及び抽出された前記キー関係に少なくとも部分的に基づいて、少なくとも1つの人工ニューラルネットワークにより、前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップであって、前記サンプルスクリプトのための新しいコンテンツは、1つ又は複数の新しいダイアログ又は新しいステージング指示を含む、前記少なくとも1つの自然言語プロセッサが処理中の前記物語とは別の物語である該ステップと、
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンス
を提示させるステップ
を有する方法。
【請求項39】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップをさらに有する、請求項38記載の方法。
【請求項40】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、ダイアログ及びステージング指示の両方を有するアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項41】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかのキーエンティティ間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項42】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかのキー関係間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項43】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかの感情間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項44】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかのプロップ間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項45】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかのアクション間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうち以上の1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項46】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかのイフェクト間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項47】
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパスに現れるいくつかのダイアログのインスタンス及びステージング指示のインスタンスの間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つ以上のコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項39に記載の方法。
【請求項48】
前記計算システムの少なくとも1つの要素を介して前記サンプルスクリプトまたはサンプルスクリプトの一部に対して自然言語処理を実行して前記サンプルスクリプトまたはサンプルスクリプトの一部のダイアログ及びステージング指示の間の区別をするステップをさらに有する、
請求項38~47のいずれかの方法。
【請求項49】
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスを生成するステップを有する、請求項38または39に記載の方法。
【請求項50】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えることなく、前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項49に記載の方法。
【請求項51】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログの置き換えとして前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項49に記載の方法。
【請求項52】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースのそれぞれの選択可能なユーザ選択可能要素として前記新しいダイアログの複数のインスタンスの提示を発生させるステップを有する、請求項48に記載の方法。
【請求項53】
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、新しいステージング指示のいくつかのインスタンスを生成するために、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理するステップを有する、請求項38または40記載の方法。
【請求項54】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のステージング指示を置き換えることなく、前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいダイアログまたは前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項53に記載の方法。
【請求項55】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のステージング指示の置き換えとして前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項53に記載の方法。
【請求項56】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として、前記新しいステージング指示の複数のインスタンスの提示を発生させるステップを有する、請求項53に記載の方法。
【請求項57】
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスおよび新しいステージング指示のいくつかのインスタンスを生成するステップを有する、請求項38または39に記載の方法。
【請求項58】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログまたは既存のステージング指示を置き換えることなく、前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのそれぞれのユーザ選択可能要素として、前記少なくとも1つの新しいダイアログまたは前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項57に記載の方法。
【請求項59】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログまたは既存のステージング指示の置き換えとして前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいダイアログまたは前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのそれぞれのユーザ選択可能要素として、前記少なくとも1つの新しいダイアログまたは前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項57に記載の方法。
【請求項60】
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として前記新しいダイアログの複数のインスタンスまたは前記新しいステージング指示の複数のインスタンスの提示を発生させるステップを有する、請求項57に記載の方法。
【請求項61】
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記少なくとも1つの人工ニューラルネットワークを介して、前記サンプルスクリプトまたはサンプルスクリプトの一部を教師なしで処理するステップ
を有する、請求項38または39に記載の方法。
【請求項62】
前記少なくとも1つの人工ニューラルネットワークがオートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、オートエンコーダを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項38または39に記載の方法。
【請求項63】
前記少なくとも1つの人工ニューラルネットワークは変分オートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記変分オートエンコーダを介して、いくつかの潜在的(観察されず、推測されない)変数の分布に関する仮定のセットを用いて、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項38または39に記載の方法。
【請求項64】
前記少なくとも1つの人工ニューラルネットワークはリカレントエンコーダ人工ニューラルネットワークと、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの部分のコーパスの対数尤度上の変分上限である損失関数を有するリカレントデコーダ人工ニューラルネットワークとを備える階層的変分オートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記階層的変分オートエンコーダを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項38または39に記載の方法。
【請求項65】
前記少なくとも1つの人工ニューラルネットワークはリカレント人工ニューラルネットワークであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記リカレント人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項38または39に記載の方法。
【請求項66】
前記少なくとも1つの人工ニューラルネットワークは長期短期記憶リカレント人工ニューラルネットワークであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記長期短期記憶リカレント人工ニューラルネットワークを介して処理するステップを有する、請求項38または39に記載の方法。
【請求項67】
前記長期短期記憶リカレント人工ニューラルネットワークは、いくつかの反復中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークのうちの2つ以上を備える、請求項66に記載の方法。
【請求項68】
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有する、請求項67に記載の方法。
【請求項69】
前記計算システムを介して予測にいくつかの制約を適用するステップをさらに有し、前記制約は、1つ以上の現実世界の物理的制約、または1つ以上の現実世界の因果拘束を表す、請求項38または39に記載の方法。
【請求項70】
少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理して前記新しいコンテンツの各インスタンスに関連する意外性尺度を決定するステップをさらに有する、請求項38または39に記載の方法。
【請求項71】
前記新しいコンテンツの追加に関連する決定された前記意外性尺度の表現の提示を発生させるステップをさらに有する、請求項70に記載の方法。
【請求項72】
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムであって、
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部の1つ以上のコーパス上で訓練された少なくとも1つのプロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つのプロセッサ上で実行されたときに前記1つのプロセッサに、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップであって、前記サンプルスクリプトまたはサンプルスクリプトの一部は物語またはその一部を構成する、該ステップと、
前記サンプルスクリプトまたは前記サンプルスクリプトの一部
の少なくとも1つを前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して、前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出し、抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノードおよび複数のエッジを有するグラフとして表
す少なくとも1つのデータ構造を生成し、前記人工ニューラルネットワークへの入力として、前記抽出されたキーエンティティ及び前記抽出されたキー関係の表現を提供することにより、前記少なくとも1つのデータ構造の前記ノード及び前記エッジにより表される抽出された前記キーエンティティ及び抽出された前記キー関係に少なくとも部分的に基づいて、少なくとも1つの人工ニューラルネットワークにより、前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップであって、複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表
し、前記サンプルスクリプトのための新しいコンテンツは、1つ又は複数の新しいダイアログ又は新しいステージング指示を含む、
前記少なくとも1つの自然言語プロセッサが処理中の前記物語とは別の物語である該ステップと、
前記サンプルスクリプトのための新しいコンテンツのインスタンスのうちの少なくとも1つのいくつかを提示するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有するシステム。
【請求項73】
前記プロセッサ実行可能命令またはデータの少なくとも1つは、前記少なくとも1つのプロセッサによって実行されるとき、前記少なくとも1つのプロセッサに、請求項39から70の方法のいずれかを実行させる、請求項72に記載の計算システム。
【請求項74】
前記少なくとも1つの人工ニューラルネットワークは、オートエンコーダである、請求項72に記載の計算システム。
【請求項75】
前記
少なくとも1つの人工ニューラルネットワークは、変分オートエンコーダである、請求項72に記載の計算システム。
【請求項76】
前記少なくとも1つの人工ニューラルネットワークは、階層的変分オートエンコーダである、請求項72に記載の計算システム。
【請求項77】
前記少なくとも1つの人工ニューラルネットワークは、リカレント人工ニューラルネットワークである、請求項72に記載の計算システム。
【請求項78】
前記少なくとも1つの前記人工ニューラルネットワークは、長期短期記憶リカレント人工ニューラルネットワークである、請求項72に記載の計算システム。
【請求項79】
前記長期短期記憶リカレント人工ニューラルネットワークは、複数回の反復中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークとのうちの2つ以上を備える、請求項78に記載の計算システム。
【請求項80】
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有する、請求項79に記載の計算システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は一般に、人工知能に関し、特に、スクリプト記述(又は、スクリプト作成)、コンテンツ生成、および制作前動作における人工知能システムに関する。
【発明の開示】
【発明が解決しようとする課題】
【0002】
映画制作およびテレビ制作環境などのメディア生成(又は、メディア制作)では、最終製品に影響を及ぼす最高のレバレッジ決定が書く段階および制作前の段階で行われる。制作の最も単調で時間のかかる部分は、スクリプト(又は、脚本、原稿)のブレークダウン(又は、分析、分解)、ストーリーボードおよびショットリストの生成、スケジュールの最適化、および予算の作成を実行することである。したがって、これらのプロセスのオートマトンは、映画制作者がよりクリエイティブで人間中心の側面に時間を集中させ、これらの部分を生成することによって、製作前の時間を自動的に短縮するのに役立とう。また、これらの分野における自動化によって提供される機敏さは、これらの生産段階における予期しないイベントに適応し、対応するのに役立つ。
【概要】
【0003】
スクリプト化された物語(又は、作品/narrative)について動作する計算システムにおける動作方法は、
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部について、アノテーション(又は、注釈)を付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップを含み、
それぞれの前記複数のキーエンティティはそれぞれのノードによって表され、それぞれのいくつかの前記エッジは前記ノードのそれぞれのペアのそれぞれのノードによってそれぞれ表される前記キーエンティティのそれぞれのペアの間のそれぞれの関係をそれぞれ表す、動作方法と要約し得る。
【0004】
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップは、前記抽出されたキーエンティティおよび前記抽出されたキー関係をベイズネットワークとして表す少なくとも1つのデータ構造を生成するステップを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、複数のnグラムを使用する自然言語プロセッサによって物語の少なくとも一部を処理するステップを含み、nグラムのうちの少なくともいくつかは1つよりも多い単語を含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記物語のシーンのうちの少なくとも2つのシーンのそれぞれを抽出することを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに現れる少なくとも2つのキャラクタのそれぞれを抽出するステップを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに現れる少なくとも1つの非キャラクタオブジェクトを抽出するステップを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおいて生じる視覚効果、オーディオ効果、またはオーディオビジュアル効果のうちの1つまたは複数のうちの少なくとも1つを抽出するステップを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかが行われる少なくとも1つの位置を抽出するステップを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに出現する少なくとも2つのキャラクタ間のキャラクタの相互関係を抽出することを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンの間のいくつかの関係を抽出するステップを含み得る。
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかで発生するいくつかのアクションを抽出するステップを含み得る。
前記物語の少なくとも一部を、アノテーションを付されたデータセット上で訓練された自然言語プロセッサによって処理して、前記物語内のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおける1つまたは複数のキャラクタによって表示されるいくつかの気持ち(emotion)を抽出するステップを含み得る。
前記物語の少なくとも一部を、アノテーションを付されたデータセット上で訓練された自然言語プロセッサによって処理して、前記物語内のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおける1つまたは複数のキャラクタのいくつかの感情(sentiment)を抽出するステップを含み得る。
前記方法は、動作中に少なくとも1つの自然言語プロセッサによる教師なし学習(unsupervised learning)を実行するステップをさらに含み得る。
前記方法は、動作中に少なくとも1つの自然言語プロセッサによる教師付き学習(supervised learning)を実行するステップをさらに含み得る。
前記方法は、各ノードに対してそれぞれの疎ベクトル表現を生成するステップをさらに含み得る。
前記方法は、各ノードに対してそれぞれの疎ベクトル表現を生成するステップをさらに含み、疎ベクトル表現は複数のバイナリ値を含み得る。
前記キーエンティティの各々に対してそれぞれの疎ベクトル表現を生成するステップをさらに含み得る。
前記方法は、前記キー関係の各々に対してそれぞれの疎ベクトル表現を生成するステップをさらに含み得る。
前記方法は、各キーエンティティおよび1つまたは複数のキャラクタのいくつかの感情のそれぞれについてそれぞれの疎ベクトル表現を生成するステップをさらに含み得る。
前記方法は、それぞれのキーエンティティを表す複数の前記ノードとそれぞれのキー関係を表す複数の前記エッジを有するグラフの少なくとも一部の提示を発生させる(又は、の提示を引き起こす、を提示させる)。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを用いて、グラフの少なくとも一部の視覚的提示を発生させるステップ(又は、を視覚的に提示するステップ)を含み得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、それぞれの境界領域によって識別される前記物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有する前記グラフの少なくとも一部の視覚的提示を発生させるステップを含み、提示された少なくとも2つのキャラクタのそれぞれを表す前記少なくとも2つのノードは、前記少なくとも2つのキャラクタが両方とも現れるシーンを表す少なくとも1つのノードのそれぞれの境界領域によって取り囲まれ得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、前記物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含み得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続する少なくとも1つのエッジを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含み得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、少なくとも1つのキャラクタについて視覚的に表される感情を有するグラフの少なくとも一部の視覚的提示を発生させるステップを含み得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、視覚的に表される2つのキャラクタ間の相互作用の特徴付けを伴うグラフの少なくとも一部の視覚的提示を発生させるステップを含み得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、各ノードがシーン、イベント、アクションシーケンス、ダイアログ(又は、対話)、または物語からのキャラクタの相互作用のうちの少なくとも1つを表し、それぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタの相互作用のそれぞれの1つに関連する感情の視覚的な表示を含んでいるグラフの少なくとも一部の視覚的提示を発生させるステップを含み得る。
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、各エッジがそれぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタの相互作用のそれぞれの重要性のレベルの視覚的な表現を含んでいるグラフの少なくとも一部の視覚的提示を発生させるステップを含み得る。
前記方法は、少なくとも1つの自然言語プロセッサを、アノテーションを付されたスクリプトマテリアルのコーパス上で訓練するステップを含み、アノテーションを付されたスクリプトマテリアルは、ダイアログおよび指示を含み得る。
【0005】
スクリプト化された物語上で動作するための計算システムは、
アノテーションを付されたデータセット上で訓練され、複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出する少なくとも1つの自然言語プロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つの自然言語プロセッサに、
前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出されたキーエンティティおよび抽出されたキー関係を複数のノードおよび複数のエッジを有するグラフとして表す少なくとも1つのデータ構造を生成するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有し、
複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表す、システムと要約し得る。
【0006】
アノテーションを付された訓練コーパスを生成する方法は、
スクリプトの一部における他のタームとの対比で視覚的に識別された前記スクリプトの提示された一部の複数のターム(用語)を有するスクリプトの少なくとも一部の提示を発生させるステップと、
視覚的に識別された前記タームの1つに対して規定の空間関係にあるカーソルの位置に応答して、視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップと、
それぞれの提示された前記規定メニューの前記ユーザ選択可能なアノテーションの1つの選択に応答して、選択された前記アノテーションと視覚的に識別された前記タームの1つとの間の関連付けを記憶するステップを有する方法。
【0007】
スクリプトの一部における他のタームとの対比で視覚的に識別された前記スクリプトの提示された一部の複数のタームを有するスクリプトの少なくとも一部の提示を発生させるステップは、それぞれの強調表示によって視覚的に識別された複数のタームを有するスクリプトの一部を提示するステップを含み得る。
視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップはユーザ選択可能なアノテーションのセットを有するコンテキスト依存メニューの提示を発生させるステップを含み、前記セットの前記ユーザ選択可能なアノテーションは視覚的に識別された前記タームの各1つが属するクラスに基づき得る。
視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップは、第1の複数のユーザ選択可能なアノテーションを有するドロップダウンメニューの提示を発生させるステップを含み得る。
選択された前記アノテーションと視覚的に識別された前記タームの1つとの間の関連付けを記憶するステップは、視覚的に識別された前記タームの1つと選択された前記アノテーションを表す値の間の論理関係を記憶するステップを含み得る。
前記方法は、複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部について、アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティ又はいくつかのキー関係の形態でいくつかのタームを抽出するステップをさらに含み得る。
前記方法は、抽出された前記タームのうちの少なくとも1つについて、そのタームが属するカテゴリを決定するステップをさらに含み得る。
前記方法は、抽出された前記タームのうちの少なくとも1つについて、そのタームが属すると決定された前記カテゴリに基づいてそれぞれの前記メニューを介して人による選択が可能なアノテーションのセットを決定するステップをさらに有し得る。
第1のタイプの抽出された前記タームの少なくとも第1のものについて、視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップは、第1の複数のユーザ選択可能なアノテーションの第1の規定メニューの提示を発生させるステップを有し、
第2のタイプの抽出された前記タームの少なくとも第2のものについて、視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップは、第2の複数のユーザ選択可能なアノテーションの第2の規定メニューの提示を発生させるステップを有し、
前記第2の複数のユーザ選択可能なアノテーションは前記第2の複数のユーザ選択可能なアノテーションと相違し得る。
前記方法は、スクリプトを複数の個別部分に分割するステップと、
多数のアノテーターの各々に対して、前記個別部分のサブセットへのアクセスを提供し、前記個別部分の少なくとも1つの他のサブセットへのアクセスを否定するステップをさらに有し得る。
前記個別部分のサブセットへのアクセスを提供するステップは、前記物語の流れにおいて互いに非連続である複数の個別部分へのアクセスを提供することを有し得る。
み得る。
【0008】
スクリプト化された物語上で動作するための計算システムは、
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部のいくつかのキーエンティティおよびいくつかのキー関係を抽出するようにアノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つの自然言語プロセッサ上で実行されたときに前記1つの自然言語プロセッサに、
前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出されたキーエンティティおよび抽出されたキー関係を複数のノードおよび複数のエッジを有するグラフとして表す少なくとも1つのデータ構造を生成するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有し、
複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表すことを特徴とするシステムと要約し得る。
【0009】
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する(又は、実装する、実施する)計算システムの動作方法は、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップであって、前記少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練されている、当該ステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンス(instance)を生成するステップと、
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップ
を有する方法と要約し得る。
【0010】
前記方法は、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップをさらに有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、ダイアログ及びステージング指示(又は、照明・演出などの舞台構成に関する指示/staging direction)の両方を有するアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのキーエンティティ間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのキー関係間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかの感情間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのプロップ(又は、小道具)間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのアクション間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのイフェクト間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのインスタンス間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有し得る。
前記計算システムの少なくとも1つの要素を介して前記サンプルスクリプトまたはサンプルスクリプトの一部に対して自然言語処理を実行して前記サンプルスクリプトまたはサンプルスクリプトの一部のダイアログ及びステージング指示の間の区別をするステップをさらに有し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスを生成するステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えることなく、前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログの置き換えとして前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースのそれぞれの選択可能なユーザ選択可能要素として前記新しいダイアログの複数のインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップは、新しいステージング指示のいくつかのインスタンスを生成するために、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理するステップし得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のステージング指示を置き換えることなく、前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のステージング指示の置き換えとして前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として、前記新しいステージング指示の複数のインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスおよび新しいステージング指示のいくつかのインスタンスを生成するステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のダイアログ又は既存のステージング指示を置き換えることなく、前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのそれぞれのユーザ選択可能要素として、前記少なくとも1つの新しいダイアログ又は前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のダイアログ又は既存のステージング指示の置き換えとして前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいダイアログ又は前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのそれぞれのユーザ選択可能要素として、前記少なくとも1つの新しいダイアログ又は前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として前記新しいダイアログの複数のインスタンス又は前記新しいステージング指示の複数のインスタンスの提示を発生させるステップを有し得る。
し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップは、前記少なくとも1つの人工ニューラルネットワークを介して、前記サンプルスクリプトまたはサンプルスクリプトの一部を教師なしで処理するステップ有し得る。
少なくとも1つの人工ニューラルネットワークがオートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、オートエンコーダを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有し得る。
前記オートエンコーダは変分オートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記変分オートエンコーダを介して、潜在的(観察されず、推測されない)変数の分布に関する仮定のセットを用いて、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有し得る。
前記少なくとも1つの人工ニューラルネットワークはリカレントエンコーダ人工ニューラルネットワークと、アノテーションを付されたスクリプトのコーパスまたはアノテーションを付されたスクリプトの部分の対数尤度上の変分上限である損失関数を有するリカレントデコーダ人工ニューラルネットワークとを備える階層変分オートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記階層変分オートエンコーダを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有し得る。
し得る。
前記少なくとも1つの人工ニューラルネットワークはリカレント人工ニューラルネットワークであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記リカレント人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有し得る。
前記少なくとも1つの人工ニューラルネットワークは長期短期記憶リカレント人工ニューラルネットワークであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記長期短期記憶リカレント人工ニューラルネットワークを介して処理するステップを有し得る。
前記長期短期メモリリカレント人工ニューラルネットワークは、いくつかのリカレント中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークのうちの2つ以上を備え得る。
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有し得る。
し得る。
前記計算システムを介して予測にいくつかの制約を適用するステップをさらに有し、前記制約は、1つ以上の現実世界の物理的制約、または1つ以上の現実世界の因果拘束(又は、因果制約、カジュアル制約/causal constraints/casual constraints)を表し得る。
少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理して前記新しいコンテンツの各インスタンスに関連する意外性尺度を決定するステップをさらに有し得る。
前記新しいコンテンツの追加に関連する決定された前記意外性尺度の表現の提示を発生させるステップをさらに有し得る。
【0011】
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムは、
アノテーションを付されたスクリプト又はアノテーションを付されたスクリプトの一部の1つ以上のコーパス上で訓練された少なくとも1つのプロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つのプロセッサ上で実行されたときに前記1つのプロセッサに、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップと、
前記サンプルスクリプトまたは前記サンプルスクリプトの一部を前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップと、
前記サンプルスクリプトのための新しいコンテンツのインスタンスのうちの少なくとも1つのいくつかを提示するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体
を有する、システムと要約し得る。
【0012】
前記少なくとも1つの人工ニューラルネットワークは、オートエンコーダであり得る。
前記オートエンコーダは、変分オートエンコーダであり得る。
前記少なくとも1つの人工ニューラルネットワークは、階層変分オートエンコーダであり得る。
前記少なくとも1つの人工ニューラルネットワークは、リカレント人工ニューラルネットワークあり得る。
前記少なくとも1つの前記人工ニューラルネットワークは、長期短期記憶リカレント人工ニューラルネットワークであり得る。
前記長期短期メモリリカレント人工ニューラルネットワークは、複数回の反復中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークとのうちの2つ以上を備え得る。
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有し得る。
【0013】
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムの動作方法は、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップであって、前記少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練されている、当該ステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップと、
前記決定された影響の提示を発生させるステップ
を有する方法と要約し得る。
【0014】
前記方法は、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で少なくとも1つの人工ニューラルネットワークを訓練するステップをさらに有し得る。
前記方法は、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理してサンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップをさらに有し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部のへの少なくとも1つのインスタンスの追加がi)キャラクタのペア間の関係、またはii)前記サンプルスクリプトまたはサンプルスクリプトの一部に表される少なくとも1つのキャラクタの少なくとも1つの感情のうちの少なくとも1つに及ぼす影響を決定するステップを有し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部のへの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部に表されるイベントの少なくとも1つの因果関係に及ぼす影響を決定するステップを有し得る。
前記決定された影響の提示を発生させるステップは、それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示と、前記決定された影響の提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップし得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、それぞれの境界領域によって識別される物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップと、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードの視覚的提示を発生させるステップとを含み、提示された少なくとも2つのキャラクタのそれぞれを表す前記少なくとも2つのノードは、少なくとも2つのキャラクタが両方とも現れるシーンを表す少なくとも1つのノードのそれぞれの前記境界領域によって取り囲まれ得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続する少なくとも1つのエッジを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続するエッジとして視覚的に表されるアクションを用いて、グラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、少なくとも1つのキャラクタについて視覚的に表現された感情を用いて、グラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、視覚的に表される2つのキャラクタ間の相互作用の特徴付けを伴うグラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、各ノードがシーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、または物語からのキャラクタの相互作用の少なくとも1つを表し、かつ、シーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、またはそれぞれのノードによって表されるキャラクタの相互作用のそれぞれの1つに関連する感情の視覚的な表現を含む、グラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、各エッジがシーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、またはそれぞれのノードによって表されるキャラクタの相互作用のそれぞれの1つの重要性のレベルの視覚的な表現を有するグラフの少なくとも一部の視覚的提示を発生させるステップを有し得る。
前記サンプルスクリプトまたは前記サンプルスクリプトの一部を前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップは、前記サンプルスクリプトまたは前記サンプルスクリプトの一部を前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスを生成するステップを有し、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいダイアログの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップを有し得る。
前記サンプルスクリプトに対する新しいコンテンツの少なくとも1つの前記コンテンツのうちのいくつかのインスタンスの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えることなく、前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトに対する新しいコンテンツの少なくとも1つの前記コンテンツのうちのいくつかのインスタンスの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えとして前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有し得る。
前記サンプルスクリプトに対する新しいコンテンツの前記インスタンスのうちの少なくとも1つのうちのいくつかのインスタンスの提示を発生させるステップは、前記新しいダイアログの複数のインスタンスを、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として提示するステップを有し得る。
ユーザインターフェースを介して選択するために、サンプルスクリプトの新しいコンテンツのインスタンスのうちの少なくとも1つのいくつかを提示するステップをさらに有し得る。
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記新しいコンテンツの追加に関連する意外性尺度を判定するステップを有し得る。
前記決定された効果の表現の提示を引き起こすことは、前記新しいコンテンツの追加に関連する予期せぬもの決定された尺度の表現の提示を引き起こすことを有し得る。
【0015】
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムは、
アノテーションを付されたスクリプト又はアノテーションを付されたスクリプトの一部の1つ以上のコーパス上で訓練された少なくとも1つのプロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つのプロセッサ上で実行されたときに前記1つのプロセッサに、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトの新しいコンテンツのいくつかのインスタンスを生成するステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップと、
決定された前記影響の提示を発生させるステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体
を有する、システムと要約し得る。
【0016】
前記プロセッサ実行可能命令またはデータの少なくとも1つは、前記少なくとも1つのプロセッサによって実行されるとき、前記少なくとも1つのプロセッサに、請求項94から112の方法のいずれかを実行させ得る。
前記少なくとも1つの人工ニューラルネットワークは、オートエンコーダであり得る。
前記オートエンコーダは、変分オートエンコーダであり得る。
前記少なくとも1つの人工ニューラルネットワークは、階層変分オートエンコーダであり得る。
前記少なくとも1つの人工ニューラルネットワークは、リカレント人工ニューラルネットワークであり得る。
前記少なくとも1つの前記人工ニューラルネットワークは、長期短期記憶リカレント人工ニューラルネットワークであり得る。
前記長期短期メモリリカレント人工ニューラルネットワークは、複数回の反復中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークとのうちの2つ以上を備え得る。
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有し得る。
【図面の簡単な説明】
【0017】
図面において、同一の参照番号は、同様の要素または作用を示す。図面における要素のサイズおよび相対位置は、必ずしも一定の縮尺で描かれてはいない。例えば、種々の要素および角度の形状は必ずしも縮尺通りに描かれるとは限らず、これらの要素の幾つかは任意に拡大され、図面の読みやすさを向上させるように配置される。さらに、描かれた要素の特定の形状は、必ずしも特定の要素の実際の形状に関する情報を伝えることを意図しておらず、図面における認識を容易にするために単に選択されたものである。
図1は例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム、デバイス、および方法が一部であってもよく、またはそれらが実装されてもよい、メディア制作環境のブロック図である。
図2は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム、デバイス、および方法を実施(又は、実現、実装)するのに適した、
図1の自動スクリプトコンテンツジェネレータおよび自動プロデューサの例示的なコンピュータシステムの概略図である。
図3は、図示された一実施形態による、スクリプトのキーエンティティと、それらのエンティティ間のそれぞれのキー関係を表すエッジとを表すグラフを提示する、自動化されたスクリプト生成およびメディア制作のためのシステムのユーザインターフェース画面の例である。
図4は、スクリプトのそれぞれが表す感情に応じて色付けされたキーエンティティを表すノードと、それらのエンティティ間のそれぞれのキー関係を表すエッジを有する図示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムのユーザインターフェース画面上に提示され得るグラフの一例の部分である。
図5は、例示された一実施形態による、キーエンティティの検出された態様と、ノードによって表されるエンティティ間の関係とを表す点線を有する自動化されたスクリプト生成およびメディア制作のためのシステムのユーザインターフェース画面上に提示され得る
図4のグラフの例示的な拡張部分を示す。
図6は例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムのユーザインターフェース画面上に提示され得る、
図4のグラフの例示的な拡張部分であり、ユーザが変更したいと思う、グラフ内に表されるスクリプト内のエンティティの指示を含む。
図7は、スクリプトに対する
図6に示された変化がスクリプトに示されるエンティティおよび関係に与える影響のグラフ上の表示を含む、自動化されたスクリプト生成およびメディア制作のためのシステムのユーザインターフェース画面上に提示され得る
図6の拡張グラフ部分の例修正版を含むグラフである。
図8は、例示された一実施形態による、スクリプトで表されるストーリーの次のステップとして生成される新しいコンテンツのインスタンスを表す3つの追加のパスのグラフ上の指示を含む、自動化されたスクリプト生成およびメディア制作のためのシステムのユーザインターフェース画面上に提示され得る、
図6の拡張グラフ部分の例示的な修正バージョンを含むグラフである。
図9は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおいてサンプルスクリプトを処理するための自動エンコーダである人工ニューラルネットワークのグラフィカル表現である。
図10Aは、例示的な再帰的(又は、繰り返し、反復、リカレント)人工ニューラルネットワークブロックの概略図である。
図10Bは、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおいてサンプルスクリプトを処理するための、例示的な長期メモリ反復人工ニューラルネットワークブロックの概略図である。
図11Aは、フィードフォワード人工ニューラルネットワークのグラフ表示である。
図11Bは、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおいてサンプルスクリプトを処理するための反復人工ニューラルネットワークのグラフィカル表現である。
図12は、長期短期メモリを有する自動エンコーダである人工ニューラルネットワークを使用して、例示的な文を符号化および復号化するグラフ表現である。
図13は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおいてサンプルスクリプトを処理するための長期短期メモリを有する階層的変分オートエンコーダである人工ニューラルネットワークを使用して、例示的なセンテンスを符号化および復号するグラフ表現である。
図14は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおいてスクリプトコンテンツを生成するように訓練された、制限されたボルツマンマシン(RBM)に基づく人工的なディープニューラルネットワークのグラフィカル表現である。
図15Aは、図示された一実施形態による、スクリプト内の視覚的に識別された用語(ターム)の1つに関する定義された空間関係内にカーソルがあることを示す、自動化スクリプト生成およびメディア制作のための、システム内にアノテーションがなされたトレーニングコーパスを生成するための、一例のユーザインターフェース画面である。
図15Bは、スクリプト内の視覚的に識別された用語のための一組のユーザ選択可能なアノテーションを有するコンテキスト依存メニューを示す、自動化されたスクリプト生成およびメディア制作のためのシステム内のアノテーション付けされたトレーニングコーパスを生成するための、
図15Aの例のユーザインターフェース画面である。
図16Aは、例示された一実施形態による、スクリプト内の視覚的に識別された用語のうちの1つに関して規定の空間関係内にあるカーソルを示す、自動化されたスクリプト生成およびメディア制作のためのシステム内のアノテーション付けされたトレーニングコーパスを生成するための、
図15Aおよび
図15Bの例示的なユーザインターフェース画面の別の例である。
図16Bはスクリプト内の視覚的に識別された用語のための一組のユーザ選択可能な注釈を有する別のコンテキスト依存メニューを示す、自動化されたスクリプト生成およびメディア制作のために、システム内にアノテーション付けされたトレーニングコーパスを生成するための、
図16Aの例のユーザインターフェース画面である。
図17は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおける強化学習およびフィードバックを組み合わせる生成アクティブラーニング(能動学習)プロセスを示すブロック図である。
図18は図示された一実施形態による、現在書かれているシーンを示し、キャラクタ間の相互作用の性質に基づいてキャラクタ間の対話を生成する、自動化されたスクリプト生成およびメディア制作のためのシステムにおけるテキストエディタのユーザインターフェース画面の例である。
図19は、例示された一実施形態による、自動化されたメディア制作のためのスクリプトを分解(又は分析)するプロセス中に識別され抽出されたサンプルスクリプトおよび様々なスクリプト要素を示す、自動化されたスクリプト生成およびメディア制作のためのシステムの例示的なユーザインターフェース画面である。
図20は、例示された一実施形態による、システムによって処理されたサンプルスクリプトから自動的に生成された例示的なストーリーボードを示す、自動化されたスクリプト生成およびメディア制作のためのシステムの例示的なユーザインターフェース画面である。
図21は、例示された一実施形態による、取り込まれたパラメータに基づく自動化されたスクリプト生成およびメディア制作のためのシステムによって自動的に生成された様々なシーンを撮影する例示的な順序を示す、自動化されたスクリプト生成およびメディア制作のためのシステムの例示的なユーザインターフェース画面である。
図22は、例示された一実施形態による、取り込まれたパラメータに基づく自動化されたスクリプト生成およびメディア制作のためのシステムによって自動的に生成された様々なシーンを撮影するための例示的なカレンダーを示す、自動化されたスクリプト生成およびメディア制作のためのシステムの例示的なユーザインターフェース画面である。
図23は、例示される一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムによって生成されるツリー構造で表される例示的なメディア制作バジェットの図である。
図24は、自動化されたスクリプト生成およびメディア制作のためのシステムが制作承認前のスクリプトの複数の反復のためのスクリプトの生成のための推定予算およびスケジュールを提供する、メディア制作プロセスのブロック図である。
図25は、例示された一実施形態による、スクリプトの物語のグラフへのマッピングを実行する方法を示すフロー図である。
図26は、例示された一実施形態による、機械学習のためのアノテーション付けされたトレーニングコーパスを生成するためにスクリプトのアノテーション付けを実行する方法を示す流れ図である。
図27は、例示された一実施形態による、新しいスクリプトコンテンツを生成するために人工ニューラルネットワークを実施する方法を示すフロー図である。
図28は、例示された一実施形態による、スクリプト変更の効果を決定するために人工ニューラルネットワークを実施する方法を示すフロー図である。
図29は例示された一実施形態による、新しいスクリプトコンテンツを生成し、スクリプト変更の効果を判定するために人工ニューラルネットワークを実施する方法を示す流れ図である。
図30は、例示された一実施形態による、スクリプト分解(分析)を含む制作前動作を実行するために人工ニューラルネットワークを実施する方法を示す流れ図である。
図31は、例示された一実施形態による、ストーリーボード生成を含む制作オペレーションを実行するために人工ニューラルネットワークを実施する方法を示すフロー図である。
図32は、1つの例示としての実施形態による、制作動作のための共通カレンダーを生成するための最適化を実行する方法を示すフロー図である。
図33は、例示された一実施形態による、スクリプト分解を含む制作前動作を実行するために人工ニューラルネットワークを実施する別の方法を示す流れ図である。
図34は、1つの例示された実施形態による、修正されたスクリプトのためのスクリプト分析を含む制作オペレーションを実行するために人工ニューラルネットワークを実施する方法を示すフロー図である。
【発明を実施するための形態】
【0018】
種々の実施態様が正しく理解されるように、開示内容の詳細を以下に説明する。但し、当業者ならば、これら特定の細部の1つまたは2つ以上を欠いても、または他の方法、他の構成部材、他の材料でも実施が可能であることは容易に理解するところであろう。他の例では、クライアントおよびサーバーコンピューティングシステム、ニューラルネットワーク、機械学習、ならびに様々なタイプの電気通信ネットワークを含むネットワークを含むコンピューティング・システムに関連する周知の構造は実施形態の説明を不必要に曖昧にすることを回避するために、詳細に図示または説明されていない。
【0019】
文脈が他の解釈を要求しない限り、以下の明細書および特許請求の範囲を通して、「含む」という語および「含む」および「含む」などのその変形は開いた包括的な意味で、すなわち「含むが、これに限定されない」として解釈されるべきである
【0020】
本明細書全体を通して、「一実施形態」または「一実施形態」とは実施形態に関連して説明された特定の特徴、構成または特徴が少なくとも一実施形態に含まれることを手段し、したがって、本明細書全体を通して様々な場所に「一実施形態において」または「一実施形態において」という語句が現れることは必ずしもすべてが同じ実施形態を指すわけではない。さらに、特別な特徴、構造又は特質は1以上の実施形態において任意の適当な方法で組み合わせられ得る。
【0021】
本明細書および添付の特許請求の範囲で使用されるように、単数形「a」、「an」、および「the」は内容が別段の明確な指示をしない限り、複数の指示対象を含む。また、用語「または」は内容が別段の明確な指示をしない限り、「および/または」を含む意味で一般に使用されることにも留意されたい。
【0022】
冒頭の説明および要約は便宜上のものであり、本発明の範囲を表すものではなく、又は実施形態を意味するものでもない。
【0023】
図1は例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200、デバイス、および方法が一部であってもよく、またはそれらが実装されてもよい、メディア制作環境100のブロック図である。図示されているのは、メディア制作プロセスの様々なアイテムおよび動作を表すブロックである。自動化されたスクリプト生成およびメディア制作のためのシステム200はメディア制作プロセスをより効率的に、柔軟に、かつより高速にするために、メディア制作環境100の多くの態様の一部であってもよく、かつ/またはそのような態様に影響を及ぼしてもよい。メディア制作環境100には、メディア制作の異なる段階を表すことが多いメディア制作の動作が示されている。メディア制作プロセスはスクリプト104から始まり、次に、グリーンライティング(実行承認/greenlighting)動作106に移動し、そこで、スクリプトの生成が承認されるかどうかが決定される。これはフィルム(又は、映画)、ショートフィルム、テレビ番組またはシリーズ、ウェブシリーズ、ビデオゲーム、またはインタラクティブゲーム、バーチャルリアリティメディア、または拡張リアリティメディアの制作を含むが、これらに限定されない様々なタイプのメディアへのスクリプトの制作を含むことができる。本実施例では、フィルムの制作を用いる。資金調達動作108は多くの場合、実行承認動作108に入力を提供し、スクリプト生成(スクリプト制作)のために十分な金額が存在するかどうかを判定するために実行されるコスト分析がしばしばあるので、スクリプト制作のために承認されるかどうかに影響を及ぼす。
【0024】
台本が制作のために承認されると(すなわち、「グリーンライト」されると)、プロセスは制作前操作112に移動し、次いで、フィルムの様々なシーンの撮影を含む主撮影操作114に移動する。主撮影が終了した後、このプロセスは、フィルムのために撮影されたシーンを最終製品に編集することを含むポストプロダクション(制作後)操作116に進む。次いで、フィルムは配信オペレーション118に移動することができ、そこで、フィルムは、様々なフォーマットおよび会場において、および様々なプラットフォーム上で、公衆に公開される。予測動作108はしばしば、配信オペレーション108に入力を提供し、フィルムが配信(又は、配給)されるかどうか、およびどのように配信されるかに影響を及ぼす。予測操作108は、映画の配信が制作費を回収して利益を生み出すのに十分な収益を生み出すかどうか、および制作費を回収して利益を生み出すのに十分な収益を生み出すために映画を配信する方法かどうかといった要因を決定する。
【0025】
自動化されたスクリプト生成およびメディア制作のシステム200はメディア制作環境100への入力を提供し、種々の操作を容易にする。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200の自動スクリプトコンテンツジェネレータ102はスクリプト104のためのスクリプトコンテンツを生成および提案し、スクリプト104へのエフェクト変更がスクリプトのシーン、キャラクタ、インタラクションおよび他のエンティティに与えるのであろうことを示すことができる。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、メディア制作環境100の制作前動作112への入力を提供し、その様々な動作を容易にする。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200の自動プロデューサ110はストーリーボード、カレンダー、スケジュール、および予算を自動的に生成するためにスクリプトを分解(又は、分析)し、これをメディア制作環境100内の制作前動作112への入力として提供することができる。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、
図24に示すように、反復スクリプトレビューおよびリビジョンプロセスにおいて、メディア制作環境100における実行承認動作106および他の動作に影響を与え、容易にするための情報を提供することができる。
【0026】
図2は
図1の自動スクリプトコンテンツジェネレータ102および自動プロデューサ110を実装する自動化されたスクリプト生成およびメディア制作のためのシステム200の例示的なコンピュータシステムの概略図であり、自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは、本明細書で説明する様々な例示的な実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム、デバイス、および方法を実装するのに適している。自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは本明細書では単数形で参照されることがあるが、これは典型的な実施形態では2つ以上のコンピュータシステムまたは複数のコンピュータデバイスが関与し得るので、実施形態を単一のデバイスに限定することを意図するものではない。別途記載されない限り、
図2に示される種々のブロックの構成および動作は、従来の設計のものである。その結果、そのようなブロックは当業者によって理解されるように、本明細書でさらに詳細に説明される必要はない。
【0027】
コンピュータシステム200は、1つまたは複数の処理ユニット212a、212b(まとめて212)、システムメモリ214、およびシステムメモリ214を含む様々なシステム・コンポーネントを処理ユニット212に結合するシステムバス216を含むことができる。処理ユニット212は、1つまたは複数の中央処理ユニット(CPU)212a、デジタル信号プロセッサ(DSP)212b、特定用途向け集積回路(ASIC)、フィールドプログラマブル・ゲートアレイ(FPGA)などの任意の論理処理ユニットとすることができる。システムバス216は、メモリコントローラを備えたメモリバス、周辺バス、およびローカルバスを含む、任意の既知のバス構造またはアーキテクチャを採用することができる。システムメモリ214は読み出し専用メモリ218およびランダムアクセスメモリ220を含み、ROM 218の一部を形成することができる基本入出力システム222は起動時のような、自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステム内の要素間で情報を転送するのに役立つ基本ルーチンを含む。
【0028】
自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは、モデム262または他の任意の無線/有線インターフェースをサポートするネットワークインターフェース260、インターフェース250などの複数のインターフェースを含むこともできる。
【0029】
自動スクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは、ハードディスク226から読み取り・書込み用のハードディスクドライブ224、取外可能光ディスク232から読み取り・書込み用の光ディスクドライブ228、および/又は磁気記録媒体234から読み取り・書込み用の磁気ディスクドライブ230を備えることができる。光ディスク232はCD-ROMまたはDVD-ROMとすることができ、磁気ディスク234は、任意の磁気記憶媒体とすることができる。ハードディスクドライブ224、光ディスクドライブ228、および磁気ディスクドライブ230は、システムバス216を介して処理ユニット212と通信することができる。ハードディスクドライブ224、光ディスクドライブ228、および磁気ディスクドライブ230は当業者に知られているように、そのようなドライブとシステムバス216との間に結合されたインターフェースまたはコントローラ(図示せず)を含むことができる。ドライブ224、228および230、ならびにそれらに関連するコンピュータ可読記憶媒体226、232、234は自動化されたスクリプト生成およびメディア制作200のために、コンピュータ可読命令、データ構造、プログラムモジュール、およびシステムのコンピュータシステムのための他のデータの不揮発性および一時的でない記憶装置を提供することができる。自動化されたスクリプト生成およびメディア制作のためのシステム200の図示されたコンピュータシステムはハードディスク224、光ディスク228、および磁気ディスク230を使用して示されているが、当業者であれば、フラッシュメモリ、デジタルビデオディスク(「DVD」)、ベルヌーイカートリッジ、RAM、ROM、スマートカード、様々なソリッドステートドライブなど、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読記憶媒体を使用することができることを理解されよう。例えば、コンピュータ可読記憶媒体はランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリ、コンパクトディスクROM(CD-ROM)、デジタル多用途ディスク(DVD)または他の光ディスク記憶装置、磁気記憶デバイス、ソリッドステートメモリ、または所望の情報を記憶するために使用され得、処理ユニット212aによってアクセスされ得る任意の他の媒体を含み得るが、これらに限定されない。
【0030】
プログラムモジュールは、オペレーティングシステム236、1つまたは複数のアプリケーションプログラム238、他のプログラムまたはモジュール240、プログラムデータ、生成データ、および人工ニューラルネットワークトレーニングデータ242、および人工ニューラルネットワークプログラム244などのシステムメモリ214に格納することができる。アプリケーションプログラム238はプログラムデータ、生成データおよび人工ニューラルネットワークトレーニングデータ242、および人工ニューラルネットワークプログラム244と共に、プロセッサ212にスクリプトのスクリプトコンテンツを自動的に生成および提案させる命令を含むことができ、スクリプトの変更がスクリプトのシーン、キャラクタ、インタラクションおよび他のエンティティに与えるであろうエフェクト(影響/効果)を示し、スクリプトを分析して、スクリプトの制作のためのストーリーボード、カレンダー、スケジュールおよび予算を生成する。他のプログラムモジュール240は、パスワード又は他のアクセス保護および通信暗号化のようなセキュリティを扱うための命令を含んでもよい。システムメモリ214はまた、例えば、アプリケーションプログラム238の一部としてウェブクライアント又はブラウザを含み、
図1および
図24に示されているメディア制作動作におけるような本明細書に記載されているようなインターネット、企業イントラネット、エクストラネット、又は他のネットワークおよび装置のようなソース、並びにサーバーコンピューティングシステム上の他のサーバーアプリケーションのようなソースへのアクセスおよびデータ交換をコンピュータシステム200に許可する。
【0031】
図2ではシステムメモリ214に格納されているものとして示されているが、オペレーティングシステム236、アプリケーションプログラム238、他のプログラム/モジュール240、プログラムデータ、生成されたデータおよび人工ニューラルネットワークトレーニングデータ242、および人工ニューラルネットワークプログラム244はハードディスクドライブ224のハードディスク226、光ディスクドライブ228の光ディスク232、および/または磁気ディスクドライブ230の磁気ディスク234、またはソリッドステートドライブなどの他のメモリ記憶装置に格納することができる。
【0032】
ユーザなどのオペレータは、タッチスクリーンまたはキーボード246、イメージャ266、マウス248などのポインティングデバイスなどの入力デバイスを介して、および/またはグラフィカルユーザインターフェースを介して、自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムにコマンドおよび情報を入力することができる。他の入力デバイスは、タッチパッド、マイクロフォン、ジョイスティック、ゲームパッド、タブレット、スキャナなどを含むことができる。これらおよび他の入力装置はシステムバス216に結合するシリアルポートインターフェースなどのインターフェース250を介して処理ユニット212の1つ以上に接続されるが、パラレルポート、ゲームポート、無線インターフェース、またはユニバーサルシリアルバス(「USB」)などの他のインターフェースを使用することもできる。モニタ252または他の表示装置は、ビデオ・アダプタなどのビデオ・インターフェース254を介してシステムバス216に結合される。コンピュータシステム200は、スピーカ、プリンタなどの他の出力装置を含むことができる。
【0033】
自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは
図1を参照して上述したように、生成動作に関連する1つまたは複数のリモートコンピュータおよび/またはデバイスへの論理接続を使用して、ネットワーク環境で動作することができる。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは
図1を参照して上述したように、生成動作に関連する1つまたは複数のモバイルデバイス、陸線電話、および他のサービスプロバイダ、または情報サーバへの論理接続を使用して、ネットワーク環境で動作することができる。通信は有線および/または無線ネットワークアーキテクチャ、例えば、有線および無線企業規模のコンピュータネットワーク、イントラネット、エクストラネット、電気通信ネットワーク、セルラーネットワーク、ページングネットワーク、および他のモバイルネットワークを介して行うことができる。自動化されたスクリプト生成およびメディア制作のためのシステム200のコンピュータシステムは、ワイヤレスデバイス、モバイルデバイス、タブレット、またはスマートフォンのコンピュータシステムであってもよく、それに応じて、
図2に示される実施形態に様々な構成要素が追加または除去される。
【0034】
図3は、例示された一実施形態による、スクリプトのキーエンティティと、それらのエンティティ間のそれぞれのキー関係を表すエッジとを表すグラフ302を提示する、自動化されたスクリプト生成およびメディア制作のためのシステム200の例示的なユーザインターフェース画面300である。自動化されたスクリプト生成およびメディア制作のためのシステム200は、人工知能を使用して、スクリプト書込みを増強(又は、拡張/augment)する。特に、自動化されたスクリプト生成およびメディア制作のためのシステム200の自動スクリプト生成機能は、ディープニューラルネットワークを使用する学習データ表現に基づく機械学習方法のより広いファミリーの一部で深層学習(深層構造化学習または階層学習としても知られる)を使用して、ライターがより優れたストーリーを書くのを助ける。ディープニューラルネットワークは入力層と出力層との間に複数の隠れ層を有する人工ニューラルネットワークであり、複雑な非線形関係をモデル化することができる。ディープニューラルネットワークアーキテクチャは、オブジェクトがプリミティブの階層化された構成として表現される構成モデルを生成する。追加の層は下位層からの特徴の構成を可能にし、同様に実行する浅いネットワークよりも少ないユニットで複雑なデータをモデリングする可能性がある。ライターは自動化されたスクリプト生成およびメディア制作のためのシステム200を使用して、深層学習に基づいてグラフ302を生成し、自分のストーリーを視覚化して、プロットホール(又は、物語等の矛盾点/plot holes)があるかどうかを確認し、変化するキャラクタの相互作用(又は、対話)の効果を見て、異なるスタイルのダイアログを生成する。また、自動化されたスクリプト生成およびメディア制作のためのシステム200はより複雑で、インパクトがあり、よりパフォーマンスが高い(ボックスオフィスまたは賞の成功の確率が高い)ストーリーを作成するライターの能力を増強する。
【0035】
グラフ302を生成するために、自動化されたスクリプト生成およびメディア制作のためのシステム200はテキストを取り込み、キー要素を抽出し、ストーリーを視覚化し、データに関して訓練された自然言語処理方法を使用して、説明(又は、表現/exposition)の改善を示唆するプロセスを実行する。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、ストーリーの全体的な品質に対するスクリプトまたはテキストの変化の影響を推論し、また、後の時間的段階におけるキャラクタまたはイベントに対する影響を推論し得る。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、ストーリー内の所与の点から複数の経路を生成し、深層学習を使用して適切なダイアログ(又は、対話)または相互作用を生成する。自動化されたスクリプト生成およびメディア制作のためのシステム200はスクリプトまたはストーリー(例えば、フィルム、TV、対話型ゲーム)のトレーニングコーパスまたはデータベースを使用することによって学習する。これらは、データベースダンプ、インターネットのスクラッピング、および/またはアプリケーションプログラミングインターフェース(API)を介して、自動化されたスクリプト生成およびメディア制作のためのシステム200によって取得されてもよい。
【0036】
SYS20 0によって処理されるスクリプトは、複数のシーンと、1つまたは複数のシーンに現れる複数のキャラクタとを含む物語を含む。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200によって処理されるスクリプトは、フィルムスクリプト、TVスクリプト、対話型ゲームスクリプト、又は任意の他のメディアスクリプトとすることができる。スクリプトは、完成状態または中間(不完全、または完全に開発されていない)状態であってもよい。自動化されたスクリプト生成およびメディア制作のためのシステム200はアノテーションを付された(又は、アノテーション付きの/注釈付きの)データセット上で訓練された自然言語プロセッサによって、多数のキーエンティティおよびその物語に現れる多数のキー関係を抽出するために、その物語を処理する。
【0037】
自然言語プロセッサは、教師あり学習または教師なし学習を使用して訓練されていてもよく、または動作中に教師あり学習または教師なし学習を実行してもよい。教師付き学習はラベル付きトレーニングデータから関数を推論する機械学習タスクであり、教師なし学習は、ラベル付き応答のない入力データからなるデータセットから推論を引き出すために使用される一種の機械学習アルゴリズムである。自動化されたスクリプト生成およびメディア制作のためのシステム200の自然言語プロセッサは、訓練のために使用されるデータセットが訓練例として使用されるラベル付きまたはアノテーションを付されたスクリプトのセットであり得るという点で、教師あり学習を使用し得る。自動化されたスクリプト生成およびメディア制作のためのシステム200の自然言語プロセッサは、訓練のために使用されるデータセットがラベル付けされていないスクリプトであってもよいという点で、教師なし学習も使用してもよいし、代わりに使用してもよい。例えば、教師なし学習を実行する場合、自動化されたスクリプト生成およびメディア制作のためのシステム200は、探索的データ分析のために使用されるクラスタ分析を使用して、スクリプトまたは自然言語プロセッサを訓練するために使用される他のデータから抽出されたキーエンティティおよび関係の中の隠れたパターンまたはグループ化を見つけることができる。
【0038】
一実施形態ではスクリプトの処理の前に、可能な抽出項目のカテゴリが存在し、各カテゴリはそのカテゴリに属する単語およびその変形のリストに関連付けられる。その後、プロセスは、カテゴリ内の単語をスクリプト内の単語に一致させる(又は、マッチングする)ことができる。しかしながら、これは偽陽性を生じることがある。例えば、テキスト「Drones buzzed like bees in sky(ドローンが空で蜂のようにうなる)」では、単語「bees(蜂)」がメタファーで使用されているため、「bees」は誤って分類され、エンティティの特定のカテゴリとして(例えば、プロペラとして)抽出されることがある。したがって、自動化されたスクリプト生成およびメディア制作のためのシステム200は複数のnグラムを使用して、文脈を理解するために物語を処理することができ、nグラムのうちの少なくともいくつかは、2つ以上の単語を含む。nグラムを使用する際に、自動化されたスクリプト生成およびメディア制作のためのシステム200は、エンティティが特定のカテゴリに属する確率がそれが近くの単語によって囲まれている場合、どのような確率であるかを決定する。上の例では“Drones buzzed like bees in the sky”を使用して、これをP(entity = “bees” | “drones”, “bees”, “sky”)と表すことができる。自動化されたスクリプト生成およびメディア制作のためのシステム200はスクリプトのエンティティ間の相互作用を特徴付けることもできる。1つまたは複数のキャラクタを含むシーンでは自動化されたスクリプト生成およびメディア制作のためのシステム200がキャラクタの相互作用の「感情」が何であるかを決定する。これは、nグラムを使用して言語を文脈内に置き、キャラクタが皮肉または風刺を使用しているときなど、文脈から文を取り出すときに起こり得る誤った解釈を回避することによっても達成され得る。
【0039】
自動化されたスクリプト生成およびメディア制作のためのシステム200は、抽出されたキーエンティティと抽出されたキー関係とを複数のノードと、ノードのペア間の論理的な関連性を定義する複数のエッジとして表すデータ構造を生成する。そのような構造の一例は
図3に示されるグラフ302であり、キーエンティティはそれぞれ、それぞれのノードによって表される。キーエンティティおよび関係は物語によって表されるシーン、シーンのいずれかに現れるキャラクタ、シーンのいずれかに現れる非キャラクタオブジェクト、視覚効果、シーンのいずれかに生じるオーディオ効果またはオーディオビジュアル効果、シーンのいずれかが生じる位置、シーンのいずれかに現れる少なくとも2つのキャラクタ間のキャラクタ相互作用、シーンの対の相互作用間の関係、シーンのいずれかにおいて生じるアクション、シーンのいずれかにおいて1つまたは複数のキャラクタによって表示される感情、およびシーンのいずれかにおける1つまたは複数のキャラクタの感情のうちの1つまたは複数の抽出に基づくことができ、またはそれらのうちの1つまたは複数とすることができる。
【0040】
それぞれのキーエンティティを表すデータ構造のノードは、スクリプトの記述(又は、物語)に関する様々な要素を表すことができる。例えば、ノードは、キャラクタ、シーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、または物語からのキャラクタインタラクションのうちの1つ以上を表すことができる。ノードはまた、それぞれのノードによって表されるキャラクタインタラクション、ダイアログ、アクションシーケンス、イベント、および/またはシーンに関連する感情の視覚的表現を含むことができる。
【0041】
エッジはそれぞれ、それぞれ、各ノードによって表されるキーエンティティのそれぞれのペア間のそれぞれの関係を表す。各エッジは、それぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタ相互作用の重要性のレベルの視覚的表現を含むことができる。いくつかの実施形態では、自動化されたスクリプト生成およびメディア制作のためのシステム200が抽出されたキーエンティティおよび抽出されたキー関係をベイズネットワークとして表すデータ構造を生成する。
【0042】
自動化されたスクリプト生成およびメディア制作のためのシステム200は、物語に関する様々な要素のためのそれぞれのスパースベクトル表現を生成することができる。スパースベクトル(又は、疎ベクトル)は、要素の大部分がゼロである複数の2進値を含む要素の1次元アレイである。自動化されたスクリプト生成およびメディア制作のためのシステム200は、このようなスパースベクトルを使用して、機械学習で使用される人工ニューラルネットワークのノードに入力される、またはノードから出力される様々なタイプのデータを表すことができる。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200はスクリプトに関する様々な要素を表すために、このような疎なベクトルを使用することができ、これにはスクリプトの抽出されたキーエンティティを表すデータ構造のノード、スクリプトの各キーエンティティ、スクリプトのキー関係のそれぞれ、およびスクリプト内の1つ以上のキャラクタの多数のセンチメント(又は、感情)のそれぞれが含まれるが、これらに限定されない。
【0043】
図3は、一実施形態による、上述のプロセスを使用して自動化されたスクリプト生成およびメディア制作のためのシステム200によって生成することができる1つの例示的なグラフ302を示す。特に、自動化されたスクリプト生成およびメディア制作のためのシステム200はスクリプトを、例えば、pdfまたはFinal Draftフォーマットで取り込み、スクリプトのシーンごとの視覚表現をグラフ302として自動的に生成する。グラフ302は、キーキャラクタ(又は、主要キャラクタ)の相互作用を示す。
図3に示す実施形態では、ノードの周りの複数の同心円がノードによって表されるそれぞれのシーンにおける異なるキャラクタを表す。例えば、ノード312によって表される、自動化されたスクリプト生成およびメディア制作のためのシステム200によって処理されるスクリプト内の1つのシーンについて、同心円304はそのシーン内の第1のキャラクタを表し、同心円306はそのシーン内の第2のキャラクタを表し、同心円308はそのシーン内の第3のキャラクタを表し、同心円310は、そのシーン内の第4のキャラクタを表す。異なるノードを囲む同じ色の同心円は、それらの異なるノードによって表される他のシーンに同じキャラクタが存在することを表す。
【0044】
各ノードの異なるイメージは、シーンのタイプまたはシーンのセンチメントのいずれかを表す。例えば、ノード314に示されるニュートラル表現を有する顔は、自動化されたスクリプト生成およびメディア制作のためのシステム200がノード314によって表されるシーンがニュートラルセンチメントを有することを決定したことを表してもよい。ノード316に示される笑顔は自動化されたスクリプト生成およびメディア制作のためのシステム200がノード316によって表されるシーン内のキャラクタがフレンドリーな相互作用を有していることを決定したことを表すことができ、ノード312に示されるフレームは自動化されたスクリプト生成およびメディア制作のためのシステム200がノード312によって表されるシーン内のキャラクタが競合(コンフリクト)を示す相互作用を有していることを決定したことを表すことができる。
図3に示す実施形態では、ノード間のグラフ302のエッジがどのシーンが他のシーンにおける対話に影響を及ぼす対話を有するかを表す。例えば、ノード318によって表されるシーンとノード322によって表されるシーンとを接続するエッジ320は、ノード318によって表されるシーン内のキャラクタ間の競合がノード322によって表されるシーン内の相互作用に影響を与え得ることを表す。ノード310によって表されるシーンとノード322によって表されるシーンとを接続するエッジ324は、ノード310によって表されるシーン内のキャラクタ間の競合がノード322によって表されるシーン内の相互作用にも影響し得ることを表す。
【0045】
スクリプトの異なる態様を表す
図3の画像および様々な視覚的インジケータは例であり、任意の数の異なる画像および視覚的インジケータを使用して、例えば、
図4~
図8に示すような他の実施形態における同じタイプのエンティティ、関係、および他の態様を示すことができる。
【0046】
スクリプトのキーエンティティを表すグラフ302と、それらのエンティティ間のそれぞれのキー関係を表すエッジとは、インタラクティブである(又は、相互作用を有する)。例えば、ユーザは、マウスまたは他の入力機構を使用して、ノード、キャラクタ、およびエッジを変更または除去することができる。次いで、自動スクリプト生成およびメディア作成システム200は、そのような変更がシーン、関係、および物語の他の態様などの様々なエンティティにどのような可能な影響を及ぼし得るかをグラフ302上に示す。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、行われた変更に基づいて、含める新しいまたは修正されたコンテンツを提案することができる。そのような動作の様々な例が、以下の
図4~
図8に提供される。
【0047】
図4はスクリプトのキーエンティティを表し、それらが表す感情に従って色付けされたノード402、404、406、408と、それらのエンティティ間のそれぞれのキー関係を表すエッジ410、412、414とを有する、自動化されたスクリプト生成およびメディア制作のためのシステム200のユーザインターフェース画面上に提示され得るグラフ400の例示的な部分である。
図4に示す例では青色が自動化されたスクリプト生成およびメディア制作のためのシステム200がフレンドリーな感情がシーンに関連付けられていると判定したことを示し、黄色は自動化されたスクリプト生成およびメディア制作のためのシステム200がシーン内で競合が発生したと判定したことを示し、赤色は自動化されたスクリプト生成およびメディア制作のためのシステム200がシーン内で戦いが発生したと判定したことを示す。特に、スクリプトの自然言語処理と、自動化されたスクリプト生成およびメディア制作のためのシステム200によるキーエンティティの抽出とに基づいて、自動化されたスクリプト生成およびメディア制作のためのシステム200は、スクリプトの物語から抽出されたキャラクタAおよびBが最初の2つのシーンにそれぞれ1つずつ、2つのフレンドリーな相互作用を有することを決定した。特に、最初の2つのシーンはそれぞれノード402および404によって表され、これらのシーンの感情はこれらのノードの青色によって示される。これに続いて、ノード406によって表され、これらの2つのキャラクタ間で競合が発生したと判断されたシーンが続く。したがって、ノード406によって表されるシーンの感情は、ノード406の黄色によって示される。ノード406によって表されるシーンの後にはノード408によって表されるシーンが続き、自動化されたスクリプト生成およびメディア制作のためのシステム200はキャラクタAおよびBがキャラクタCと争ったと判定し、したがって、ノード408によって表されるシーンの感情はノード408の赤色によって示される。
【0048】
図5は
図4のグラフ400の例示的な拡張部分500を示し、これは、例示された一実施形態による、ノードによって表されるエンティティ間のキーエンティティおよび関係の検出された態様を表す点線を用いて、自動化されたスクリプト生成およびメディア制作のためのシステム200のユーザインターフェース画面上に提示され得る。グラフ500のエッジの幅または他の特性は、イベントの重要性を表す。特に、より大きな幅を有するノード504と508との間のエッジ506はノード504と508とによって表されるシーン間の大きな変化、例えば、グラフ500が表すスクリプト内のストーリーのピボットモーメントを表す。同様に、より大きな幅を有するノード510と514との間のエッジ512は、ノード510と514とによって表されるシーン間の大きな変化を表す。
【0049】
スクリプトの自然言語処理、および自動化されたスクリプト生成およびメディア制作のためのシステム200によるキーエンティティの抽出に基づいて、自動化されたスクリプト生成およびメディア制作のためのシステム200はプロットホールおよびキャラクタ露出(又は、人物提示/character exposition)の欠如を含むがこれらに限定されない、スクリプトの様々な態様を自動的に検出することができる。特に、ノード406と504との間の点線のエッジ502は、ノード406と504とによって表されるシーン間の遷移が完全には展開されていないことを表す。同様に、ノード514と518との間の点線のエッジ516、およびノード518と522との間の点線のエッジ520は、ノード514、518、および522によって表されるシーン間の遷移も完全には展開されていないことを表す。ノード518の周りの境界領域を定義する点線は、キャラクタの関係の遷移をより完全にするためのシーンがあるべきであるという点で、ノード518によって表されるシーンにおけるキャラクタ露出の欠如を表す。例えば、入力としてグラフ400内のシーン、キャラクタ、および相互作用を表す変数の疎ベクトル表現を使用して、自動化されたスクリプト生成およびメディア制作のためのシステム200は、これまでに表されたすべてのイベントの履歴が与えられて、どのようなイベント、相互作用、シーン、またはキーアクティビティが発生する可能性があるかを予測することができる。
【0050】
自動化されたスクリプト生成およびメディア制作のためのシステム200によるこのような予測は、ベイズ推論を使用して実行することができる。そのような実施形態では、自動化されたスクリプト生成およびメディア制作のためのシステム200が抽出されたキーエンティティと、ベイズネットワークとしてのサンプルスクリプトの抽出されたキー関係とを表すデータ構造を生成することができる。Et={E1、E2、...Et}が時刻tまでのすべてのイベント(インタラクション、感情、アクション)の履歴である場合、Etまでのすべてのイベントの履歴が与えられた場合、自動化されたスクリプト生成およびメディア制作のためのシステム200は、ベイズ推論を使用して、“Joe and Steve start a fight”のイベントをP(Et+1=“Joe and Steve start a fight” | Et)の確率で予測し得る。これは、P(Et+1| Et)P(Et+1)によるベイズ驚異(Bayesian surprise)を用いて再帰的に解くことができ、ここで、P(Et+1)はイベントEt+1の事前確率であり、P(Et+1| Et)はサンプルスクリプトの物語で表現されたストーリーにおける以前のイベントに基づく証拠である。自動化されたスクリプト生成およびメディア制作のためのシステム200は、P(ET+1| ET)P(ET+1)>t(しきい値)の場合、このようなイベントは驚くべきものであると決定する。このような情報はスクリプト・ライターにとって有用であり、イベントが驚くべきものであるか、さもなければ、プロットホールを埋めるために、またはキャラクタ露出の欠如を埋めるために、おそらくより多くの説明が必要であることを示すことができる。閾値Tは、サンプルスクリプトで表されるストーリーまたはジャンルのタイプに正規化されてもよい。Tは、アニメーションスクリプトについてはより高く、ドラマスクリプトについてはより低く設定されてもよい。
【0051】
図6は
図4のグラフ400の例示的な拡張部分600であり、これは、自動化されたスクリプト生成およびメディア制作のためのシステム200のユーザインターフェース画面上に提示することができ、例示された一実施形態による、ユーザが変更したいと思う、グラフ内に表されたスクリプト内のエンティティの指示を含む。自動化されたスクリプト生成およびメディア制作のためのシステム200は、人工ニューラルネットワークを介して、サンプルスクリプト、またはサンプルスクリプトの一部を処理して、スクリプトの様々な態様を決定することができる。いくつかの実施形態では、自動化されたスクリプト生成およびメディア制作のためのシステム200がサンプルスクリプトへの新しいコンテンツのインスタンスの追加がサンプルスクリプトで表されるキャラクタ関係の態様に及ぼす影響を判定することができる。そのような効果は、物語の様々な異なる態様に関するものであってもよい。例えば、これは、キャラクタのペア、サンプルスクリプト中に表されるキャラクタの感情、サンプルスクリプト中に表されるイベントの因果関係、サンプルスクリプト中に表されるイベント、サンプルスクリプト中に表されるアクション、サンプルスクリプト中に表されるキャラクタ、サンプルスクリプト中のシーン、およびサンプルスクリプト中に表される2つ以上のキャラクタ間の相互作用の特性化のうちの1つ以上に関するものであり得る。
【0052】
図6に示すように、ユーザは、ユーザが修正したいサンプルスクリプトで表現されたストーリーの1つ以上のセクションを識別することができる。そのような修正の例にはキャラクタの除去、キャラクタの追加、イベントの変更、またはイベントまたはキャラクタ間の相互作用の性質の変更が含まれるが、これらに限定されない。
図6に示すように、自動化されたスクリプト生成およびメディア制作のためのシステム200は、ノード404を空のノードとして表示させることによって、ノード404によって表されるシーンに対するそのような変更を識別することができる。このような所望の変更が自動化されたスクリプト生成およびメディア制作のためのシステム200に対してユーザによって示される前に、ノード404は
図4に示されるように、青色であり、フレンドリーな感情が、ノード404によって表されるシーンに以前に関連付けられていたことを示すことに留意されたい。したがって、ノード404の色の変化は今や、ユーザがキャラクタの相互作用を変更することを望むことを示すことができ、これは、シーンを表すノードに関連付けられた感情、すなわち色を変更することができる。この例ではこのような所望の変化を示すためにノードの色の変化が示されているが、他の実施形態では太字、強調、マーキング、または他の記号または視覚マーカなどの他の指示を使用することができる。いくつかの実施形態では、異なるタイプの指示が異なるタイプの所望の変更を表すことができる。
【0053】
図7は、自動化されたスクリプト生成およびメディア制作のためのシステム200のユーザインターフェース画面上に提示され得る、
図6の拡張グラフ部分600の例示的な修正バージョンを備えるグラフ700である。これは、図示された一実施形態による、スクリプトに対する
図6で示された変更がスクリプトで表されたエンティティおよび関係に与える影響のグラフ700上の指示を含む。グラフ700は、ノード404によって表されるシーンの変化によって相互作用の性質が変化したノードを示す。特に、ユーザはノード404によって表されるシーンの変化を示し、ノード404の色が
図4に前に示したように青から、
図7に現在示したように赤に変化し、キャラクタ間の相互作用の変化が、シーンに関連する感情を、シーン内のキャラクタ間で起こるフレンドリーから争いに変化させることを示す。
【0054】
自動化されたスクリプト生成およびメディア制作のためのシステム200はこの新たなコンテンツの追加のインスタンスがキャラクタ間の相互作用の性質の変化など、
図6に示されたグラフ600に描かれた他のエンティティおよび関係に与える効果を決定し、その後、グラフ600に描かれた他のエンティティおよび関係にこの新たなコンテンツの追加のインスタンスが与える効果を示すために、拡張グラフ部分600の修正されたバージョンを含むグラフ700に示されるように、グラフ600の部分を変化させる。具体的には、自動化されたスクリプト生成およびメディア制作のためのシステム200がノード406、504、および514によって表されるシーンがノード406、504、および514を定義する実線をそれぞれの点線に変更することによって、そのような変更によって変化することを示している。
【0055】
自動化されたスクリプト生成およびメディア制作のためのシステム200はノード504の色をノード504に関連するシーン内のキャラクタ間のニュートラルな相互作用を示す緑から競合または敵意を示す赤に変更することによって、ノード504によって表されるシーンへの変更の性質も示している。本例ではユーザがノード404によって表されるシーンを、フレンドリーなインタラクションを有するキャラクタ(ノード404の以前の青色によって表される)からコンフリクトを有するキャラクタ(ノード404の現在の赤色によって表される)に変更することにより、自動化されたスクリプト生成およびメディア制作のためのシステム200は、キャラクタのインタラクションの性質が変更され、ノード504によって表される次のシーンの1つのセンチメントがニュートラル(
図6のノード504の以前の緑色によって表される)から、そのシーンにおけるコンフリクトまたは敵意を有するキャラクタ(
図7のノード504の現在の黄色によって表される)に変更することを決定させる。本例ではユーザが、ノード404によって表されるシーンを、フレンドリーな相互作用を有するキャラクタ(ノード404の以前の青色によって表される)から戦いを有するキャラクタ(ノード404の現在の赤色によって表される)に変更することにより、自動化されたスクリプト生成およびメディア制作のためのシステム200はノード514によって表される以下のシーンの1つの感情がニュートラル(
図6のノード514の以前の緑色によって表される)から、そのシーンにおける戦いを有するキャラクタ(
図7のノード514の現在の赤色によって表される)に変更されることを決定する。
【0056】
さらに、自動化されたスクリプト生成およびメディア制作のためのシステム200は
図7に示すように、エッジ602および604を修正して、どのノードまたは相互作用がユーザによって示される変更のために、より重要になるかも反映させる。例えば、エッジ602および604は、このような変化が生じることを示すために点線であるように修正される。
図7に示されるエッジ602および604の太い線は、変更がエッジ602および604が接続するノードによって表されるシーンがユーザによって示される変更の結果としてサンプルスクリプトに追加される新しいコンテンツのインスタンスのために、より重要になることを示す。
【0057】
自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、ベイズ推論を使用して、
図6に示されるグラフ600に示される他のエンティティおよび関係に対する新しいコンテンツのこの追加のインスタンスが有する影響のこの決定を実行することができる。自動化されたスクリプト生成およびメディア制作のためのシステム200によって実行されるイベント予測に関する上記の表記(notation)を使用して、自動化されたスクリプト生成およびメディア制作のためのシステム200は、ユーザがグラフ600内のノードでイベント(Et)を変更するときに起こり得る影響を予測することができる。P(Et+1)はイベントの種類に基づく。例えば、Et+1が身体的行動である場合、P(Et+1)によって表現される可能性は、物理モデルに基づく可能性がある。Et+1が人物間の相互作用である場合、P(Et+1)によって表現される可能性は社会的モデルに基づく可能性がある。Et+1が別の種類の汎用イベントである場合、P(Et+1)で表される確率は因果モデルに基づく可能性がある。自動化されたスクリプト生成およびメディア制作のためのシステム200は、論理的述語(又は、論理的断定)として符号化されたイベントのタイプのデータセットと、この分析を実行する確率とを収集する。自動化されたスクリプト生成およびメディア制作のためのシステム200は様々なエンジン、例えば、カリフォルニア州サンフランシスコに本社を置くUnity Technologiesから入手可能な物理エンジン、因果モデル、および人間のアノテーション付け者からの社会的行動に問い合わせることによって、そのようなデータを収集することができる。
【0058】
図8は、例示された一実施形態による、スクリプトで表されるストーリーの次のステップとして生成される新しいコンテンツのインスタンスを表すノード802、804、および806によって表される3つの追加の経路のグラフ800上の指示を含む、自動化されたスクリプト生成およびメディア制作のためのシステム200のユーザインターフェース画面上に提示され得る、
図6の拡張グラフ部分600の例示的な修正バージョンを備えるグラフ800である。自動化されたスクリプト生成およびメディア制作のためのシステム200は、ベイズ推論を使用して、提案された次のステップと、提案された各次のステップのそれぞれの尤度(又は、可能性)とを生成することができる。グラフ800内の任意のノードにおいて、ユーザは、物語にサンプルスクリプトを追加するための示唆されたパス(経路)を提供することを自動化されたスクリプト生成およびメディア制作のためのシステム200に要求することができる。例えば、一番右の青いノード522において、ユーザは、ユーザが自動化されたスクリプト生成およびメディア制作のためのシステム200がノード522によって表されるシーンから分岐する異なるパスを生成することを望んでいることを示す。一例として、ベイズ推論に基づいて、ノード802、804、および806によって表される3つの追加の経路が、グラフ800のノードおよびエッジによって表される物語のストーリーの次のステップとして、自動化されたスクリプト生成およびメディア制作のためのシステム200によって生成される。ノード802は、ノード802の青色によって示される、平和を作るキャラクタを有することのできるストーリー内のパスを表す。ノード804はノード804の緑で示されるように、キャラクタがニュートラルな相互作用を有するストーリー内のパスを表す。ノード806は、キャラクタが赤色ノード806によって示される敵意(又は、アニモシティ)によって特徴付けられる相互作用を有するストーリー内の経路を表す。
【0059】
さらに、自動化されたスクリプト生成およびメディア制作のためのシステム200は自動化されたスクリプト生成およびメディア制作のためのシステム200がストーリーまたはスクリプトのコーパスを分析し、そのようなストーリーまたはスクリプトがそのような示されたパスと類似のパスまたは構造をどこに有しているかを判定することに基づいて、各パスの対応する発生可能性を示すことができる。例えば、TV番組のスクリプトと、それらの物語において類似の経路を有するストーリーまたはスクリプトのコーパスとを分析することに基づいて、自動化されたスクリプト生成およびメディア制作のためのシステム200は、これまでグラフ800によって表された物語の経路に基づいて、キャラクタが63%の場合に平和を作ることを示す。これは、対応する青ノード802に隣接するグラフ800上に「63%」808の指示によって示される。
【0060】
同様に、自動化されたスクリプト生成およびメディア制作のためのシステム200はこれまでの物語のパスに基づいて、キャラクタが対応する緑ノード804に隣接する「13%」810の表示によって示されるケースの13%において中立的な対話を有することを示し、自動化されたスクリプト生成およびメディア制作のためのシステム200はこれまでの物語のパスに基づいて、キャラクタが対応する赤ノード806に隣接する「24%」812の表示によって示されるケースの24%においてアニモシティによって特徴付けられる相互作用を有することを示す。このような表示は、自動化されたスクリプト生成およびメディア制作のためのシステム200によって生成されたユーザインターフェース画面上で、別個のレポートまたはリストまたは画面の隅など、さまざまな方法および位置で行うことができる。いくつかの実施形態では、自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、そのような変更が物語にどのような影響を及ぼすかを、例えば、
図7に示すものと同様の方法で示すことができる。
【0061】
次いで、ユーザは、ノード802、804、および806のうちの1つによって表されるパスのうちのどれをユーザが物語に含めたいかを選択することができる。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200は、それに応答して、ユーザによってどのパスが選択されたかに従って物語に包含させるための対応するコンテンツおよび/またはステージング指示(又は、ト書き)を生成することができる。いくつかの実施形態では、このような新しいダイアログおよび/またはステージング指示がサンプルスクリプト内の既存のダイアログまたはステージング指示に取って代わることができる。自動化されたスクリプト生成およびメディア制作のためのシステム200は、自動化されたスクリプト生成およびメディア制作のためのシステム200によって実現される(又は、実装される)人工ニューラルネットワークを介して、サンプルスクリプトまたはその一部を処理することによって、サンプルスクリプトのための新しいコンテンツおよび/またはステージング指示のいくつかのインスタンスを生成することができる。人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練されてもよい。このようなアノテーションを付されたスクリプトはトレーニングプロセスで使用されるダイアログとステージング指示の両方を含むことができ、したがって、自動化されたスクリプト生成およびメディア制作のためのシステム200がサンプルスクリプトにおけるダイアログとステージング指示を区別するために、サンプルスクリプト上で自然言語処理を実行することを容易にする。トレーニング目的のためにアノテーションを付されたスクリプトのコーパスは、スクリプトのコーパスに現れる可能性がある次の項目の1つ以上を区別するアノテーション(又は、注釈)を含むことがある:いくつかのキーエンティティ、いくつかのキー関係、いくつかの感情、いくつかのアクション、いくつかの効果、ダイアログのいくつかのインスタンス、およびステージング指示のいくつかのインスタンス。このようなアノテーションは、自動化されたスクリプト生成およびメディア制作のためのシステム200がこのような項目を区別するためにサンプルスクリプト上で自然言語処理を実行するのを容易にする。
【0062】
図9は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200においてサンプルスクリプトを処理するためのオートエンコーダである人工ニューラルネットワークのグラフィカル表現である。いくつかの実施形態ではサンプルスクリプトを処理するための人工ニューラルネットワークが
図9によって表されるようなオートエンコーダ900であり、そのような実施形態では自動化されたスクリプト生成およびメディア制作のためのシステム200がオートエンコーダ900を介してサンプルスクリプトを処理する。オートエンコーダ900はデータの生成モデルを学習するために使用され、サンプルスクリプトの物語における提案された次のステップと、それぞれの提案された次のステップのそれぞれの尤度とを生成し、サンプルスクリプトの物語に含めるための新しいコンテンツの追加のインスタンスを生成し、新しいコンテンツの追加のインスタンスが、サンプルスクリプトの物語において表されるエンティティおよび関係に及ぼす影響を判定する。
【0063】
一実施形態では自動エンコーダ900は変分自動エンコーダであってもよく、それにより、自動化されたスクリプト生成およびメディア制作200のためのシステムは多数の潜在的(観察されず、推測されない)変数の分布に関する一組の仮定で、変分自動エンコーダを介して、サンプルスクリプトを処理する。
図9に表わすように、変分オートエンコーダ900は、入力層902と、出力層906と、それらを接続する1つまたは複数の隠れ層904とを含む。出力層は入力層と同じ数のノードを有し、入力xが与えられた場合の目標値を予測する代わりに、それ自体の入力を再構成する目的を有する。この再構成(又は、リコンストラクション/reconstruction)は、x~によって表される。
【0064】
変分オートエンコーダ900は、その入力、隠れ表現、および再構成された出力を、有向グラフモデル(又は、方向性グラフモデル/directed graphical model)内の確率的確率変数(probabilistic random variables)として扱う。このようにして、エンコーダ部分は変分推論ネットワークになり、xで表される観測された入力を、zで表される潜在空間にわたる(近似)事後分布(又は、事後確率)にマッピングし、デコーダ部分は、任意の潜在座標を元のデータ空間にわたる分布にマッピングして戻すことができる生成ネットワークになる。グローバルエンコーダおよびデコーダパラメータ(すなわち、ニューラルネットワーク重みおよびバイアス)は、それぞれ、Φおよびθとして表される。観測されたインプットの潜在空間上の(近似)事後分布への写像はqΦ(z|x)で表される。次に、標本化(又は、サンプル化)されたz'は復号器/生成網に渡され、これは、対称的にビルドアウトして、再構成x~~pθ(x|z)として表現される入力空間上の条件付き分布を生成する。入力変数と潜在変数の結合分布はpθ(x, z)=∫P(z) pθ(x|z)で表され、入力変数の限界分布(marginal distribution)はpθ(x)= pθ(x,z)dzで表される。限界分布(上記)を計算することは難しいので、自動化されたスクリプト生成およびメディア制作のためのシステム200は、Logpθ(x)≧Logpθ(x)-KL(qθ(z|x)||pθ(z|x))で表される変分下限を使用する。ここで、KLはKullback-Leiblerダイバージェンスを表し、1つの確率分布が2番目の期待確率分布からどのようにダイバージェンス(又は、発散)するかの尺度である。KL-ダイバージェンスは変分後qθ(z|x)である。事後分布は、
図14に示すような人工的なディープニューラルネットワーク1400によってパラメータ化された正規分布である。
【0065】
図10Aは、ブロック1002a、1002b、および1002cを含む、反復人工ニューラルネットワーク1002の例示的な部分の概略図である。例示的な再帰的人工ニューラルネットワークブロック1002a、1002b、および1002cは、長期依存性を学習することができる再帰的ニューラルネットワークのブロックを表す。全ての再帰的ニューラルネットワークは、ニューラルネットワークの反復モジュールのチェーンの形態を有する。標準的な再帰的ニューラルネットワークでは、この反復モジュールが
図10Aに示すような単一のtanh1004のような単純な構造を有する。このような標準的な再帰的ニューラルネットワークを使用することは連続的な入力空間を有する画像および音声を処理するのに有効であることが多いが、このような標準的な再帰的ニューラルネットワークを使用することは入力空間が離散的であるため(例えば、「Catsは良好なペットである」および「Batsは良好なペットである」)、言語モデルを学習するのに問題があることがある。したがって、より多くのコンテキストおよび長期依存性がスクリプト内の以前の情報を現在のタスクに接続するのに有用である言語モデルをより効率的かつ正確に処理するために、自動化されたスクリプト生成およびメディア制作のためのシステム200は、反復人工ニューラルネットワークの一種である長期短期メモリ(LSTM)ネットワークを使用することができる。
【0066】
図10Bは、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200においてサンプルスクリプトを処理するためのブロック1006a、1006b、および1006cを含む、LSTM反復人工ニューラルネットワーク1006の例示的な部分の概略
図1006である。LSTMは、長期依存性を学習することができる一種の再帰的人工ニューラルネットワークである。LSTMも鎖状構造を有するが、反復モジュールは
図10Aのより基本的な再帰的ニューラルネットワークブロック1002a、1002b、および1002cとは異なる構造を有する。特に、LSTM反復人工ニューラルネットワークブロック1006a、1006bおよび1006cは、ブロック1006bの上部を通る水平線によって表される「セル状態」1008を含む。セル状態はブロック1006a、1006b、および1006cのチェーン全体をまっすぐ下に走るコンベヤーベルトに類似することができ、わずかな線形相互作用しかない。これは、情報が変化せずに容易にそれに沿って流れることを可能にする。単一のニューラルネットワーク層を有する代わりに、長期依存性を可能にするために特定の方法で相互作用する複数の層が存在する。
【0067】
特に、「忘却ゲート層」1010と呼ばれるシグモイド層があり、このシグモイド層はセル状態1008からどの情報が廃棄されるかを決定し、これは一実施形態では自動化されたスクリプト生成およびメディア制作のためのシステム200のLSTM 1006の以前に生成された予測のうちのどれが、予測の後続の反復においてLSTM 1006によって再導入されるかを決定する「忘却人工ニューラルネットワーク」とも呼ばれ得る。
【0068】
LSTMブロック1006bは、セル状態1008に追加することができる新しい候補値のベクトルを作成するtanh層1014も含む。これは、一実施形態では自動化されたスクリプト生成およびメディア制作のためのシステム200のLSTM 1006の多数の反復中に予測を生成する「世代人工ニューラルネットワーク」とも呼ばれ得る。
【0069】
また、LSTMブロック1006bは、セル状態1008に記憶される新しい情報を決定する。これはどの値が更新されるかを決定する「入力ゲート層」1012と呼ばれるシグモイド層によって実行され、これは一実施形態では関連性に基づいて自動化されたスクリプト生成およびメディア制作のためのシステム200のLSTMの生成された予測をフィルタリングする「無視人工ニューラルネットワーク」とも呼ばれ得る。メモリ構造1020はこのレイヤから以前に生成されたこれらの予測を再導入(追加)し、予測の後続の反復に使用される。
【0070】
セル状態1008のどの部分が出力されるかを決定する別のS字形ゲート1016も存在する。次に、セル状態はtanh層1018に出力され(-1と1の間になるように値をプッシュするために)、次に、S字形ゲート1016の出力によって乗算され、その結果、前の層によって決定された部分のみがブロック1006bから出力される。これは「選択人工ニューラルネットワーク」とも呼ばれ、一実施形態では自動化されたスクリプト生成およびメディア制作のためのシステム200のLSTMの生成された予測のうちのどれを出力システムに公開するか、および予測のうちのどれを、予測の後続の反復で使用するためにのみ人工ニューラルネットワーク内に内部的に保持するかを決定する。
図10Bに示されるLSTM人工ニューラルネットワークアーキテクチャは一実施形態例であり、長期依存性の学習を可能にする他のLSTMアーキテクチャも、自動化されたスクリプト生成およびメディア制作のためのシステム200によって使用され得る。
【0071】
図11Aはフィードフォワード人工ニューラルネットワーク1100のグラフィカル表現であり、
図11Bは、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステムにおいてサンプルスクリプトを処理するための再帰性人工ニューラルネットワーク1102のグラフィカル表現である。
図11Aのフィードフォワード人工ニューラルネットワーク1100などのフィードフォワード人工ニューラルネットワークは、ユニット間の接続がサイクルを形成しない人工ニューラルネットワークである。フィードフォワード人工ニューラルネットワーク1100では、情報が入力ノードから、隠れ層1106および1104内の隠れノードを通って、出力ノードへと、一方向、順方向にのみ移動する。フィードフォワード人工ニューラルネットワーク1100にはサイクルまたはループは存在せず、したがってステートレスである。このように、ステートレスであることは、自然言語の文を処理する際に有用な条件付き確率を学習する能力と文脈を提供する情報を保持する能力を欠いているため、自然言語処理にはうまく役立たない。
【0072】
しかしながら、
図11Bの再帰性人工ニューラルネットワーク1102は例示的な隠れ層1108を介して状態を維持し、したがって、自然言語の文を処理する際に有用な条件付き確率を学習するためのコンテキストおよび能力を提供するための情報を保持することができる。例えば、文「the quick brown fox」を含むトレーニングデータが与えられると、自動化されたスクリプト生成およびメディア制作のためのシステム200は
図10BのLSTM 1006などのLSTMを使用して、P(fox |「the quick brown」)などの条件付き確率を学習することができる再帰性人工ニューラルネットワーク1102を使用することができ、これは、単語「fox」を取り囲むテキストコンテキストを保持することができるためである 自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトのためのテキストを生成するために、単語および文についてのそのような学習された条件付き確率を使用することができる。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200は、サンプルスクリプトからの自動化されたスクリプト生成およびメディア制作のためのシステム200によってこれまでに読み取られたトレーニングデータおよび単語および文のコーパスに基づいて、次に出現する可能性が高いと予測される単語および文を実行することによって、このような反復人工ニューラルネットワーク1102を使用して、テキストを生成することができる。
【0073】
図12は、
図10BのLSTM 1006のような、LSTMを備えた自動エンコーダである人工ニューラルネットワークを使用した、例えば文などの符号化および復号化プロセス1200のグラフィカル表現である。例文の各単語および句読点は入力ノード1202に提供され、これらはエンコード層1204に提供され、次にデコード層1206に提供されて、出力ノード1208でデコードされた出力を提供する。エンコードレイヤ1204およびデコードレイヤ1206は各単語および句読点を個別に来たとおりに受け取り、単語と文との間のいかなる階層関係にも関係なく、それをエンコードおよびデコードする。
【0074】
図13は
図12の同じ例文に対する符号化および復号化プロセス1300のグラフィカル表現であるが、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200においてサンプルスクリプトを処理するための、LSTMを有する階層的変分自動符号器である人工ニューラルネットワークを使用する。
図12の符号化および復号プロセス1200とは対照的に、
図13の符号化および復号プロセス1300は、単語と文との間の階層関係に従って符号化および復号する階層変分オートエンコーダを使用する。特に、例文の各単語および句読点は入力ノード1302に提供されるが、示されているのは最初に文の単語だけを符号化し、次に、単語が文を分離するピリオドの句読点に従って符号化された後に文を符号化する符号化文層1306である符号化単語層1304である。これは、「リカレントエンコーダ人工ニューラルネットワーク」とも呼ばれる
【0075】
復号プロセスは同じであるが、逆に働き、最初に、文を分離するピリオドの句読点に従って復号-文レイヤ1308で文を復号し、次に、復号-語レイヤ1310で各文の語を復号して、出力ノード1312で復号された出力を提供する。これは「反復デコーダ人工ニューラルネットワーク」とも呼ばれ、自動化されたスクリプト生成およびメディア制作のためのシステム200がアノテーションを付されたスクリプトのコーパスを処理する実施形態ではアノテーションを付されたスクリプトのコーパスの対数尤度に対する変分上限である損失関数を有することができる。符号化および復号化プロセス1300によって示される、長期短期メモリを有する階層的変分オートエンコーダのこの階層的性質は単語ごとではなく、文ごとに別々の個別のエンティティとして文を扱い、文ごとに条件付き確率を学習するための、自動化されたスクリプト生成およびメディア制作のためのシステム200にとって有用である。
【0076】
図14は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200においてスクリプトコンテンツを生成するように訓練された制限付きボルツマンマシン(RBM)に基づく人工深部ニューラルネットワーク1400のグラフィカル表現である。
図14に示すように、人工深部ニューラルネットワーク1400は、入力層1402と、1つ以上の隠れ層1404と、出力層1406とを備える。RBMは、入力のセットにわたる確率分布を学習することができる生成確率論的(又は、generative stochastic)人工ニューラルネットワークである。特に、
図14のRBMはスクリプトコンテンツを生成するために、P(x、y、θ)として表される、入力レイヤ1402における入力と出力レイヤ1402における出力との結合確率をモデル化することができる。具体的には人工深部ニューラルネットワーク1400がスクリプトから抽出されたエンティティを表すxおよびyのそれぞれが、θによって表される値の任意の特定の範囲または離散セットに入る確率を与える確率分布を決定するために、自動化されたスクリプト生成およびメディア制作のためのシステム200によって使用され得る。自動化されたスクリプト生成およびメディア制作のためのシステム200の人工深部ニューラルネットワーク1400はまた、アノテーションを付されたデータセット上で訓練されて、物語に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出することができる。具体的には人工深部ニューラルネットワーク1400が機械学習を使用することができ、訓練に使用されるデータセットは訓練例として使用されるラベル付きスクリプトまたはアノテーションを付されたスクリプトのセットとすることができる。自動化されたスクリプト生成およびメディア制作のためのシステム200は機械学習における訓練目的のために、このようなスクリプトにアノテーションを付けるための機能性を提供し得る。
【0077】
図15Aは、例示された一実施形態による、スクリプト内の視覚的に識別された用語のうちの1つに関して規定の空間関係内にあるカーソル1504を示す、自動化されたスクリプト生成およびメディア制作のためのシステム200内でアノテーションを付されたトレーニングコーパスを生成するための例示的なユーザインターフェース画面1500である。自動化されたスクリプト生成およびメディア制作のためのシステム200は、対話型ユーザインターフェース画面1500においてアノテーション付けされるべき訓練コーパスからのスクリプトを提示する。スクリプトは、スクリプトの提示された部分における他の用語(ターム)と比較して視覚的に識別されたスクリプトの提示された部分における複数の用語で提示される。例えば、「roll his eyes(目を回転させる)」という用語は、その用語を囲むボックス1502によって視覚的に識別される。ボックス1502が示されているが、強調表示、太字、着色、および他のマーキングなどを含むが、これらに限定されない、他の視覚的識別を使用することができる。次いで、ユーザは、ボックス1502によって識別される用語に関して、カーソル1504を、別の規定の空間関係の隣、上、または内に配置することができる。これは、対応して、規定のメニュー1506の表示を生じさせる。メニュー1506は、用語「roll his eyes」のための複数のユーザ選択可能なアノテーションを有する。メニュー1506はコンテキスト依存メニューであってもよく、視覚的に識別された用語が属するクラスに基づいて示されるセット内のユーザ選択可能なアノテーションを有する。具体的には、自動化されたスクリプト生成およびメディア制作のためのシステム200が用語が属するカテゴリを決定し、用語が属する決定されたカテゴリに基づいて、それぞれのメニュー1506を介して提示する人間が選択可能なアノテーションのセットを決定することができる。
図15Aに示す例示的な実施形態では視覚的に識別された用語「roll his eyes」が感情に関連付けられた用語のクラスに属し、したがって、メニュー1506内の選択可能な注釈は視覚的に識別された用語「roll his eyes」に関連付けるためにユーザが選択することができる異なる感情である。
【0078】
メニュー1506がドロップダウンメニュー、ポップアップウィンドウ、および静的メニューを含むが、これらに限定されない、様々な異なる実施形態における異なるタイプのメニューであってもよい。メニュー1506はまた、異なる実施形態では、ユーザインターフェース画面1500上の様々な異なる位置に現れてもよい。また、ユーザインターフェース画面1500は、カーソルを使用する必要はなく、ユーザが視覚的に識別された用語を選択して、視覚的に識別された用語1502に関してユーザインターフェース画面1500上でタッチ、押下、保持、または他のタッチジェスチャを実行することによってメニュー1506を表示させることを可能にするタッチ画面であってもよい。
【0079】
図15Bは、スクリプト内の視覚的に識別された用語1502のためのユーザ選択可能なアノテーションのセットを有するコンテキストセンシティブメニュー1506を示す、自動化されたスクリプト生成およびメディア制作のためのシステム200内のアノテーションを付されたトレーニングコーパスを生成するための
図15Aの例示的なユーザインターフェース画面1500である。ユーザは、コンテキスト依存メニュー1506内のユーザが選択可能なアノテーションの1つの上にカーソル1504を移動して、コンテキスト依存メニュー1506内のユーザが選択可能なアノテーションの1つを選択することができる。
図15Bに示す例示的な実施形態では、ユーザがアノテーション「Frustration(落胆)」1508の上にカーソル1504を移動させて、そのアノテーションを、視覚的に識別された用語「roll his eyes」に関連付けられた感情となるように選択し、自動化されたスクリプト生成およびメディア制作のためのシステム200が人工深部ニューラルネットワーク1400または本明細書で説明する他の人工ネットワークを訓練することを容易にする。選択可能なアノテーション1508はカーソル1504がその上に移動されたとき、それがクリックされたとき、および/または選択可能なアノテーション1508が選択されたときに、ハイライトされるか、または別の方法でマークされることもある。
【0080】
ユーザが選択可能なアノテーション1508を選択すると、自動化されたスクリプト生成およびメディア制作のためのシステム200は、視覚的に識別された用語と、選択されたアノテーション1508を表す値との間の論理的関係を記憶する。したがって、訓練中に、人工深部ニューラルネットワーク1400が
図15Bに示すスクリプトの文脈内で「roll his eyes」という用語に関連付けられる感情「Frustration」を選択すると、それは、訓練プロセス中の将来の参照および訓練目的のために、正しい分類として示され、記憶されることになる。ユーザインターフェース画面1500は、カーソルを使用する必要はなく、ユーザがアノテーション1508に対してユーザインターフェース画面1500上でタッチ、押下、保持、または他のタッチジェスチャを実行することによって、アノテーション1508を選択することを可能にするタッチスクリーンであってもよい。
【0081】
図16Aは
図15Aおよび
図15Bの例示的なユーザインターフェース画面1500の別の例であり、自動化されたスクリプト生成およびメディア制作のためのシステム200においてアノテーションを付されたトレーニングコーパスを生成し、図示された一実施形態による、スクリプト内の視覚的に識別された用語のうちの1つに関して定義された空間関係内にあるカーソル1504を示す。
図16Aの例では用語「The woman grabs(女性がつかむ)」がその用語を囲むボックス1602によって視覚的に識別される。次いで、ユーザはボックス1602によって識別される用語に対して、カーソル1504を隣接して、その上に、または別の定義された空間関係内に配置することができる。これに応答して、規定のメニュー1604の提示を生じさせる。メニュー1604は用語「The woman grabs」のための複数のユーザ選択可能なアノテーションを有する。メニュー1604がその用語が属するカテゴリを選択するためのカテゴリをユーザに提供するユーザ選択可能なアノテーションのメニューとすることができる。特に、自動化されたスクリプト生成およびメディア制作のためのシステム200はその用語が現れるコンテキストに基づいて、それぞれのメニュー1604を介して提示する人が選択可能なアノテーションのセットを決定することができる。
図16Aに示される例示的な実施形態ではメニュー1506内の選択可能なアノテーションが視覚的に識別される用語「The woman grabs」に関連付けるためにユーザが選択することができる異なるカテゴリである。メニュー1604はドロップダウンメニュー、ポップアップウィンドウ、および静的メニューを含むが、これらに限定されない、様々な異なる実施形態における異なるタイプのメニューであってもよい。メニュー1604はまた、異なる実施形態では、ユーザインターフェース画面1500上の様々な異なる位置に現れてもよい。また、ユーザインターフェース画面1500はカーソルを使用する必要はなく、ユーザが視覚的に識別された用語を選択して、視覚的に識別された用語に関してユーザインターフェース画面1500上で他のタッチジェスチャをタッチし、押下し、保持し、または実行することによってメニュー1604を出現させることを可能にするタッチスクリーンであってもよい。
【0082】
図16Bはスクリプト内の視覚的に識別された用語のための一組のユーザ選択可能なアノテーションを有するコンテキスト依存メニュー1604を示す、自動化されたスクリプト生成およびメディア制作のためのシステム200内にアノテーションを付されたトレーニングコーパスを生成するための、
図16Aの例のユーザインターフェース画面1500である。ユーザは、コンテキスト依存メニュー1604内のユーザが選択可能なアノテーションの1つの上にカーソル1504を移動して、コンテキスト依存メニュー1604内のユーザが選択可能なアノテーションの1つを選択することができる。
図16Bに示す例示的な実施形態では、ユーザがアノテーション「staging direction(ステージング指示/ト書き)」1606の上にカーソル1504を移動させて、そのアノテーションを、視覚的に識別された用語「The woman grabs」に関連する感情となるように選択し、自動化されたスクリプト生成およびメディア制作のためのシステム200が人工深部ニューラルネットワーク1400または本明細書で説明する他の人工ネットワークを訓練することを容易にする。選択可能なアノテーション1606はカーソル1504がその上に移動されたとき、それがクリックされたとき、および/または選択可能なアノテーション1606が選択されたときに、ハイライトされるか、または別の方法でマークされることもある。
【0083】
ユーザが選択可能なアノテーション1606を選択すると、自動化されたスクリプト生成およびメディア制作のためのシステム200は、視覚的に識別された用語と、選択されたアノテーション1606を表す値との間の論理的関係を記憶する。したがって、訓練中に、人工深部ニューラルネットワーク1400が
図16Bに示されるスクリプトの文脈内で、用語「The woman grabs」に関連付けられるカテゴリ「staging direction」を選択すると、それは、訓練プロセス中の将来の参照および訓練目的のために、正しいカテゴリ化として示され、記憶される。
【0084】
図17は、例示された一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200において強化学習およびフィードバックを組み合わせる生成的アクティブラーニングプロセス1700を示すブロック図である。訓練データは例えば、
図15A~
図16Bに関して本明細書で説明されるような自動化されたスクリプト生成およびメディア制作のためのシステム200を介してラベル付けされ、ラベル付けされた訓練データ記憶装置1702に記憶されてもよい。このトレーニングデータは、アノテーションを付されたスクリプトマテリアルのコーパスを含むことができる。人工ニューラルネットワーク1704が示されており、これは、本明細書で説明されるようなLSTMを有する階層的オートエンコーダとすることができる。ラベル付けされたトレーニングデータはアノテーションを付されたスクリプトマテリアルのコーパス上などで、人工ニューラルネットワーク1704をトレーニングするために、人工ニューラルネットワーク1704への入力として提供されてもよい。記憶装置1702からトレーニングデータを受信した結果として、人工ニューラルネットワーク1704はトレーニングデータを処理し、ラベルなしトレーニングデータ記憶装置1706に記憶されるラベルなし生成データを出力する。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200は1708において、ラベル付けまたはランク付けするために、このようなラベル付けされていないトレーニングデータの例を選択し、これは、例えば、情報利得または不確定性サンプリングなどのデータポイントを選択するための基準に基づいてもよい。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200はラベルなしトレーニングデータ記憶装置1706からのラベルなしトレーニングデータのこの新しい選択されたセットをユーザに提供して、例えば、
図15A~
図16Bに関して本明細書で説明する自動化されたスクリプト生成およびメディア制作のためのシステム200を介して、ラベル付けする。次に、このラベル付けされたトレーニングデータは、ラベル付けされたトレーニングデータ記憶装置1702にラベル付けされたトレーニングデータの新しいインスタンスとして記憶され、トレーニングプロセスで使用され、したがって、自動化されたスクリプト生成およびメディア制作のためのシステム200において強化学習およびフィードバックを提供する。
【0085】
図18は図示された一実施形態による、現在書かれているシーンを示し、それらの相互作用の性質に基づいてキャラクタ間のダイアログ(又は、対話)を生成する、自動化されたスクリプト生成およびメディア制作のためのシステム200におけるテキストエディタ1800のユーザインターフェース画面の例である。上述のように、自動化されたスクリプト生成およびメディア制作のためのシステム200の人工ニューラルネットワークは、アノテーションを付されたスクリプトの一部または1つまたは複数のアノテーションを付されたスクリプトのコーパス上でトレーニングすることができる。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトを受信し、サンプルスクリプトを処理し、例えば、
図3~8のいずれかに示されるように、物語のグラフを生成する。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200は、人工ニューラルネットワークを介して、サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成することができる。例えば、
図3~
図8のいずれかに示されるグラフの任意のノードにおいて、自動化されたスクリプト生成およびメディア制作のためのシステム200は、ユーザがダイアログを生成するか、またはグラフの選択されたノードによって表されるシーンの詳細を記入するように、自動化されたスクリプト生成およびメディア制作のためのシステム200に要求することを可能にし得る。
図18に示すように、これにより、自動化されたスクリプト生成およびメディア制作のためのシステム200はグラフの選択されたノードによって表される現在書かれているシーンを示すテキストエディタ1800を開き、ダイアログの提案を行うか、またはアクションシーケンスの詳細などのシーンの詳細を埋める。
図18に示す実施形態では、自動化されたスクリプト生成およびメディア制作のためのシステム200が対話の性質に基づいてキャラクタ間のダイアログ1802を生成する。次いで、ユーザは、カーソル1804を使用して、スクリプトエディタ1800内のスクリプトに挿入されるダイアログ1802を選択することができる。ダイアログ1802はまた、生成されたダイアログ1802に関して、テキストエディタ1800のユーザインターフェース画面上でユーザがタッチし、押下し、保持し、または他のタッチジェスチャを実行することによって選択されてもよい。
【0086】
図19は、例示された一実施形態による、自動化されたメディア制作のためのスクリプトを分解するプロセス中に識別され抽出されたサンプルスクリプトおよび様々なスクリプト要素を示す、自動化されたスクリプト生成およびメディア制作のためのシステム200の例示的なユーザインターフェース画面1900である。自動化されたスクリプト生成およびメディア制作のためのシステム200は例えば、
図9~
図14に関して説明した少なくとも1つの人工ニューラルネットワークなどの少なくとも1つの人工ニューラルネットワークを実装して、制作前動作を実行することができる。これは、最初に、自動化されたスクリプト生成およびメディア制作のためのシステム200が入力として受け取るサンプルスクリプトを分解(又は、分析)することを含むことができる。
【0087】
他の要素の中で、受信されたサンプルスクリプトは、複数のシーン、1つ以上のシーンに現れる多数のキャラクタ、およびシーンの間に発生するダイアログを含むことができる。自動化されたスクリプト生成およびメディア制作のためのシステム200は、アノテーションを付されたスクリプトのコーパス上で訓練された人工ニューラルネットワークを介してサンプルスクリプトを処理して、様々なスクリプト要素を識別することができる。一実施形態では、自動化されたスクリプト生成およびメディア制作のためのシステム200がそのような要素を表すスクリプトブレークダウン(又は、スクリプト分析/スクリプト内訳分析/script breakdown)を生成することができる。これらの要素は以下のうちの1つ以上を含むことができるが、これらに限定されない。シーン、各シーンに現れる1つ以上のメインキャラクタのいずれか、ミザンセーヌ(演出)、キャラクタの各々のためのダイアログ、シーンタイプ、シーンの長さ、シーンの各々のためのショットの数、1つ以上のシーンのためのキャラクタ間のインタラクション、1つ以上のシーンに現れる2つ以上のキャラクタ間のインタラクション、どのキャラクタがシーン、プロップ、ビジュアルエフェクト、およびオーディオビジュアルエフェクトにおいて互いに相互作用するか。
【0088】
自動化されたスクリプト生成およびメディア制作のためのシステム200は、識別された情報を複数のノードおよび複数のエッジとして表す少なくとも1つのデータ構造を記憶することができる。エッジは、それぞれ、ノードのそれぞれの対の間の論理的関連付けを定義することができる。このような複数のノードおよび複数のエッジの例は、
図3~
図8のグラフのいずれか1つによって表される。
【0089】
インタラクティブユーザインターフェース画面1900は、このようなサンプルスクリプトの一部と、スクリプトを分解するプロセスの間に識別され抽出された様々なスクリプト要素の例を示す。特に、ユーザインターフェース1900は、サンプルスクリプトがいくつかのシーン1902に分割されたことを示す。ユーザによって現在選択されているように示されているシーン1904は自動化されたスクリプト生成およびメディア制作のためのシステム200によって「Small City/Large Town-Street(小さな町/大きな通り)」シーンとして識別されている。シーン1904のスクリプトテキストがユーザインターフェース1900の右側に示されており、抽出された異なるタイプの要素は対応する異なる色によって識別されている。例えば、シーン1904内のプロップ(又は、小道具)は自動化されたスクリプト生成およびメディア制作のためのシステム200によって識別され、プロップを識別するスクリプト内のテキストを赤色に着色する。これらの識別されたプロップの例が「pastries(ペーストリー)」1908、「display case(展示ケース)」1912、「chocolate croissant(チョコレートクロワッサン)」1910、「register(レジ)」1916および「empty mugs(空のコップ)」1914である。
【0090】
自動化されたスクリプト生成およびメディア制作のためのシステム200によってシーン1904内で識別されるキャラクタは、キャラクタを識別する紫色のスクリプト内のテキストに色を付けることによって識別される。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200はスクリプト「UNASSUMING MAN(気取らない男)」1906内のテキストをシーン内のキャラクタとして識別し、したがって、そのテキストを紫色にしてイタリック体にした。他のタイプのアイテムは別のタイプの要素を示すように異なる色(例えば、青色)であってもよく、および/またはイタリック体であってもよい。特定のタイプのスクリプト要素を識別する様々な他の方法を様々な実施形態で使用することができ、これには、ハイライトボックスにすること、または他の特有のマーキングを含めて、自動化されたスクリプト生成およびメディア制作のためのシステム200によって抽出された特定のタイプの要素を識別することが含まれる。
【0091】
図20は、例示された一実施形態による、システムによって処理されたサンプルスクリプトから自動的に生成された例示的なストーリーボード2000を示す、自動化されたスクリプト生成およびメディア制作のためのシステム200の例示的なユーザインターフェース画面2000である。
図20に示す例では、自動化されたスクリプト生成およびメディア制作のためのシステム200が少なくとも1つの人工ニューラルネットワークを介してサンプルスクリプトを処理している。上述したように、自動化されたスクリプト生成およびメディア制作のためのシステム200の人工ニューラルネットワークは、アノテーションを付されたスクリプトのコーパス又はアノテーションを付されたスクリプトの部分について訓練されてもよい。アノテーションを付されたスクリプトのコーパスは、ショットサイズ(SHOT SIZE)、ショットタイプ(SHOT TYPE)、カメラの移動(MOVEMENT)のタイプ、機器のタイプ、または視覚効果のタイプのうちの1つまたは複数によって各フレームを識別するフレームごとのアノテーションを含むことができる。次に、自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトを受け取り、サンプルスクリプトを処理して、サンプルスクリプト内の各シーンを識別する。
【0092】
いくつかのシーンのそれぞれについて、自動化されたスクリプト生成およびメディア制作のためのシステム200は、シーン内のいくつかのショットのそれぞれを識別する。識別されたショット(SHOT)のそれぞれについて、自動化されたスクリプト生成およびメディア制作のためのシステム200は、それぞれのショットを複数のショットクラスのうちの1つとして分類する。
図20に示す例では、ユーザがストーリーボードを見るシーン(SCENE)を選択できるように識別されたシーン2002がリストされている。
図20に示すように、ユーザは、ユーザ選択可能なインターフェース要素2004を選択することによって、シーン2(SCENE 2)を選択した。これに応答して、その選択されたシーンについて識別された各ショットが、ストーリーボードとして順番にリストされる。テキスト-画像分類器を使用して、自動化されたスクリプト生成およびメディア制作のためのシステムは識別された各ショットおよび/またはシーンに最も一致する画像のアーカイブから画像を選択し、その画像と対応するショットおよび/またはシーンとの関連付けを記憶し、対応するショットに関する情報2010に関連付けてストーリーボード2000にその画像を表示する。例えば、イメージ2006は自動化された台本生成システムとメディア制作200によって選ばれた、「walking to car(車に歩く)」という表現を用いた、シーン2(SCENE 2)でのショット1(SHOT 1)に対応するものとして選択された、彼の車に歩く男性のイメージであり、同様に、イメージ2008は、自動化されたスクリプト生成およびメディア制作のためのシステム200によって選ばれた、シーン2(SCENE 2)でのショット2(SHOT 2)に対応するものとして、「flyer on windshield(ウィンドシールド上のチラシ)」という表現を用いた、カーウィンドシールド上のチラシのイメージである
【0093】
自動化されたスクリプト生成およびメディア制作のためのシステムはまた、シーン番号、ショット番号、ショット記述、ショットサイズ、ショットタイプ(またはクラス)、およびショットに関連する動きを含む、選択されたシーン内の各ショットについてのショット情報2010を識別し、提示する。そのようなショット情報2010はストーリーボード2000でショットされた画像に対応する画像に隣接して、近くに、または関連して提示されてもよい。様々な実施形態では、より多くの又はより少ないショット情報2010がストーリーボード2000において識別および/又は提示されてもよい。また、ある実施形態では、ユーザがインタラクティブストーリーボード2000内で、それぞれのシーン又はショットをドラッグ、ドロップすることによってシーン又はショットを再注文することができる。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200はこの変更がサンプルスクリプトのシーン、キャラクタ、対話、および他のエンティティの影響を有することを示すために、
図3から
図8に関して上述したように、対応するグラフを修正することができる。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、そのような変更に基づいて、ダイアログの新しいインスタンスを生成し、提案することができる。
【0094】
図21は、例示された一実施形態による、取り込まれたパラメータに基づいて自動化されたスクリプト生成およびメディア制作のためのシステム200によって自動的に生成された様々なシーンを撮影(シュート/ショット)する例示的な順序を示す、自動化されたスクリプト生成およびメディア制作のためのシステム200の例示的なユーザインターフェース画面2100である。自動化されたスクリプト生成およびメディア制作のためのシステム200は、サンプルスクリプトのキャストメンバーのそれぞれのスケジュールまたはカレンダーと、それぞれのシュートロケーションがいつ利用可能であるかを表す日付とを取り込むことができる。ユーザはこのようなパラメータを入力するために、対話型ユーザインターフェース要素2108を選択することができる。
【0095】
次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200は、それぞれのシュートロケーションが利用可能であるときを表す日付と、キャストメンバーの採取されたスケジュールまたはカレンダーとの組み合わせに対して最適化を実行する。この最適化に基づいて、自動化されたスクリプト生成およびメディア制作のためのシステム200はユーザインターフェース画面2100に示される提案された順序を生成し、この順序では、キャストメンバーの取り込まれたスケジュールまたはカレンダーに適合するシーンをシュートすることができ、それぞれのシュートロケーションが利用可能である。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、機器または小道具がいつ利用可能であるかを表す日付、シュートロケーション(撮影場所)(単数または複数)の予測気象条件、およびコスト制約を含むが、これらに限定されない、様々な他のパラメータに基づいて最適化を行うことができる。
【0096】
図21に示される例示的な順序では、シーン13、49、30、および104はユーザインターフェース画面2100の上部セクション2102に示されるように、1日目にリストされた順序で撮影されるように提案される。シーン89、2、62、および106はユーザインターフェース画面2100の下部セクション2104に示されるように、2日目にリストされた順序で撮影されるように提案される。1日目と2日目は、「End of Day 1 of 22(22日の1日目の終わり)」とラベルを付した2106という見出しにより区別され、ユーザはユーザインターフェース要素2108を選択してこのパラメータを入力することにより、サンプルスクリプトのキャストメンバーのそれぞれのスケジュールまたはカレンダー及びそれぞれのショットロケーションが利用可能であることを表す日付に関するパラメータを再入力することができる。次に、提案された順序は、入力される異なるパラメータに基づいて、それに応じて変更することができる。
【0097】
また、ユーザインターフェーススクリーン2100には、自動化されたスクリプト生成およびメディア制作の異なる側面に関する情報を表示または入力するために選択可能なユーザ選択可能メニュー項目が示されている。例えば、選択可能な「screenplay」ユーザインターフェース要素2110は、自動化されたスクリプト生成およびメディア制作のためのシステム200のためにユーザによって選択されて、
図18に示されるテキストエディタ1800のユーザインターフェース画面または
図19に示されるユーザインターフェース画面1900のような、スクリーンプレイに関する1つ以上のユーザインターフェース画面をもたらすことができる。選択可能な「shot list」ユーザインターフェース要素2112はユーザによって選択されて、例えば、ストーリーボード2000の例を示す自動化されたスクリプト生成およびメディア制作のためのシステム200のユーザインターフェース画面2000のような、ショットリストに関する1つ以上のユーザインターフェース画面をもたらすことができる。選択可能な「schedule」ユーザインターフェース要素2114はユーザによって選択されて、例えば、シーンがショットされ得る順序を示すユーザインターフェース画面2100のような、プロダクションスケジュールに関する1つ以上のユーザインターフェース画面をもたらすことができる。選択可能な「calendar」ユーザインターフェース要素2116はユーザによって選択されて、例えば、様々なシーンを撮影するための例示的なカレンダーを示す、
図22のユーザインターフェース画面2200などのプロダクションカレンダーに関する1つ以上のユーザインターフェース画面をもたらすことができる。選択可能な「budget」ユーザインターフェース要素2118は例えば、
図23のメディア制作予算2300などのプロダクション予算に関する1つまたは複数のユーザインターフェース画面を表示するために、ユーザによって選択されてもよい。
【0098】
図22は、例示された一実施形態による、取り込まれたパラメータに基づいて自動化されたスクリプト生成およびメディア制作のためのシステム200によって自動的に生成された様々なシーンを撮影するための例示的なカレンダーを示す、自動化されたスクリプト生成およびメディア制作のためのシステム200の例示的なユーザインターフェース画面2200である。自動化されたスクリプト生成およびメディア制作のためのシステム200は、サンプルスクリプトのキャストメンバーのそれぞれのスケジュールまたはカレンダーと、それぞれのシュートロケーションがいつ利用可能であるかを表す日付とを取り込むことができる。ユーザはこのようなパラメータを入力するために、対話型ユーザインターフェース要素2108を選択することができる。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200は、それぞれのシュートロケーションが利用可能であるときを表す日付と、キャストメンバーの取り込まれたスケジュールまたはカレンダーとの組み合わせに対して最適化を実行する。この最適化に基づいて、自動化されたスクリプト生成およびメディア制作のためのシステム200は、提案されたカレンダーを生成する。この最適化は自動化されたスクリプト生成およびメディア制作のためのシステム200が最適化を実行する前に問題を分析(又は、分解)することを含むことができ、自動化されたスクリプト生成およびメディア制作のためのシステム200は取り込まれた情報を混合整数線形計画問題(mixed integer linear programming problem)としてキャストし、少なくとも1つの混合整数線形計画解決機(mixed integer linear programming solver)を介して最適化を実行することもできる。
【0099】
一実施形態によるこのようなカレンダーの一例が、ユーザインターフェース画面2200に示されている。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、機器または小道具がいつ利用可能であるかを表す日付、シュートロケーション(単数または複数)の予測気象条件、およびコスト制約を含むが、これらに限定されない、様々な他のパラメータに基づいて最適化を行うことができる。
図22に示す例示的なカレンダーでは、2017年10月の現在の月が選択されているものとして示されている。選択された月の各日に、その日にスケジュールされたシーンおよび対応する位置が示される。例えば、10月20日には、シーン「1 bakery」2206、「44 bakery」2208および「60 bakery」2210がその日のパン屋(bakery)のロケーション(撮影場所)で撮影されるようにスケジュールされている。個々のショットはまた、カレンダーの各日に項目化され、示されてもよい。また、他のプロダクション活動が示されてもよい。例えば、10月5日~10月13日は、カレンダー項目2202に従って、ロケーション探索(location scouting)のためにスケジュールされているものとして、ユーザインターフェース2200内のカレンダー上に示される。また、10月14日から10月18日までは、カレンダー項目2204に従って、キャスティング(casting)のためにスケジュールされているものとして、ユーザインターフェース2200内のカレンダー上に示されている。カレンダー上のアイテムはまた、ユーザが任意のカレンダー日に示されたアイテムを選択することができ、自動化されたスクリプト生成およびメディア制作のためのシステム200がそのアイテムに関連するユーザインターフェース画面を立ち上げるように、インタラクティブであってもよい。例えば、ユーザが「1 bakery」2206を選択した場合、自動化されたスクリプト生成およびメディア制作のためのシステム200はそのシーンのための自動化されたスクリプト生成およびメディア制作のためのシステムによって生成された対話型ストーリーボードを提示することができる。カレンダーを生成するために使用されるパラメータの一部またはすべてを使用して、自動化されたスクリプト生成およびメディア制作のためのシステム200はそれぞれの日に発生するアクティビティを指定する1つまたは複数のコールシートを自動的に生成することもできる。例えば、ユーザが「1 bakery」2206を選択した場合、自動化されたスクリプト生成およびメディア制作のためのシステム200はそのシーンの撮影に関連して生成された1つまたは複数のコールシートを提示することができる。
【0100】
図23は、例示される一実施形態による、自動化されたスクリプト生成およびメディア制作のためのシステム200によって生成されるツリー構造で表される例示的なメディア制作バジェット2300の図である。
図23に示す例では、自動化されたスクリプト生成およびメディア制作のためのシステム200が1つまたは複数のアノテーションを付されたスクリプトのコーパス上で訓練された少なくとも1つの人工ニューラルネットワークを介してサンプルスクリプトを処理している。自動化されたスクリプト生成およびメディア制作のためのシステム200の人工ニューラルネットワークは、アノテーションを付されたスクリプトのうちの1つまたは複数のそれぞれのプロダクションに関連するバジェット(又は、予算/budget)のコーパス上でトレーニングされ得る。いくつかの実施形態では、アノテーションを付されたスクリプトのコーパスがショットサイズ、ショットタイプ、カメラ移動のタイプ、機器のタイプ、または視覚効果のタイプのうちの1つまたは複数によって各フレームを識別するフレームごとのアノテーションを含むことができる。
【0101】
次に、自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトを受け取り、サンプルスクリプトを処理して、サンプルスクリプト内の各シーンを識別する。自動化されたスクリプト生成およびメディア制作のためのシステム200は異なるカテゴリまたは要素のスクリプト要素を識別するために、例えば、
図19に関して上述したプロセスに従って、スクリプトを分解することによって、スクリプトを処理することができる。スクリプト要素のカテゴリには1つ以上のシーン、1つ以上のシーンに現れるキャラクタ、ミザンセーヌ・エレメント、キャラクタごとのダイアログ、およびそのようなエレメント間のインタラクションなどが含まれるが、これらに限定されない。自動化されたスクリプト生成およびメディア制作のためのシステム200は、シーンおよび少なくとも各シーンに現れるメインキャラクタを表すスクリプトブレークダウン(又は、内訳/分解)を生成する。次いで、自動化されたスクリプト生成およびメディア制作のためのシステム200は生成されたスクリプトブレークダウンおよびバジェットのコーパスに少なくとも部分的に基づいて、スクリプトの生成のための、例えば、
図23に示されるバジェット2300などの推定バジェットを生成する。
【0102】
図23に示されるように、バジェット2300はツリー構造のエンドノードとして複数のラインアイテムを有するツリー構造の形態で生成および/または提示されてもよく、このツリー構造は最低レベルのラインアイテムのセットをそれぞれの次に高いカテゴリにグループ化することを含んでもよい。例えば、「Transportation」とラベル付けされたラインアイテム2308はラインアイテム2302の最上位グループの一部であり、選択されると、ラインアイテム2308に該当するラインアイテム2304を提示するようにツリー構造でバジェットを拡張する拡張可能エンドノードであり、さらに、ラインアイテム2308に該当する「Transportation Captain/Drivers」とラベル付けされたラインアイテム2310は、選択されると、ラインアイテム2310に該当するラインアイテム2306を提示するようにツリー構造でバジェット2300を拡張する拡張可能エンドノードでもある。自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトから、ラインの下にある複数のラインアイテムのそれぞれについて、コストのそれぞれの推定値を自動的に生成することができる。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、手動で入力された、ラインより上にあるラインアイテムのコストの見積もりを受け取ることができる。バジェット2300はまた、自動化されたスクリプト生成およびメディア制作のためのシステム200が改訂されたスクリプトの分析に基づいてサンプルスクリプトに対する改訂を受信または生成するときに、自動的に改訂されてもよい。自動化されたスクリプト生成およびメディア制作のためのシステム200はまた、スクリプトの生成のために生成された推定予算を、スクリプトの生成のための実際の予算と比較し、それに応じて、生成された推定予算とスクリプトの生成のための実際の予算との間のコストの差を提示することができる。
【0103】
図24は、自動化されたスクリプト生成およびメディア制作のためのシステム200がプロダクションが承認される前のスクリプトの複数の反復のためのスクリプトのプロダクションのための推定予算およびスケジュールを提供するメディア制作プロセス2400のブロック図である。図示されているのは、メディア制作プロセスの様々なアイテムおよび動作を表すブロックである。メディア制作プロセスはスクリプト2402から始まり、これは何度も改訂される可能性があり、その都度、他のすべての制作業務に影響を与える可能性がある。
図24は、他の制作操作を、制作前操作112(スケジューリングおよび予算の生成を含む)、予測操作120、ファイナンス操作108、実行承認決定2406、および分布予測2408として示す。本明細書に記載される自動化されたスクリプト生成およびメディア制作のためのシステム200の自動化されたプロセスは、ユーザが各スクリプト反復についてスクリプトからプロダクション推定値を直ちに取得することを可能にする。それが最終制作スケジュールまたは予算ではない場合であっても、これらは、グリーンライティング決定2406に影響を及ぼす可能性がある新しいデータである。スクリプトの反復ごとに、自動化されたスクリプト生成およびメディア制作のためのシステム200は予測動作120の予測モデルを実行する(又は、ざっと調べる)ためのスクリプト推定値および制作推定値を提供し、そのようなスクリプトおよび制作推定値は、グリーンライティング決定動作2406にも通知する。
【0104】
メディア制作プロセス2400はまた、予測動作120および配信予測動作2408からフィードバックを受信し、それに応じてスクリプトに調整を行う。修正されたスクリプトに基づいて、自動化されたスクリプト生成およびメディア制作のためのシステム200は次いで、制作前動作112においてスクリプトおよび制作推定値を自動的に生成し、これらは、次いで、予測動作120およびグリーンライティング決定動作2406に提供されて、制作物をグリーンライティングする(又は、実行承認する)ことに関する決定を行う。これはスクリプトの書き換えおよび制作前の計画のための時間を大きく圧縮するので、ユーザは自動化されたスクリプト生成およびメディア制作のためのシステム200を使用して、データ駆動型の方法で「What if...」シナリオ(又は、「仮定」のシナリオ)を探索することができる。特に、ユーザは、自動化されたスクリプト生成およびメディア制作のためのシステム200を介して修正されたスクリプトを実行して、プロダクションデータを生成することができる。予測動作120で使用される予測モデルと、配信予測動作2408からの配信予測に関するデータとを組み合わせて、自動化されたスクリプト生成およびメディア制作のためのシステム200を使用して、ストーリーの異なるバージョンを繰り返し、最もインパクトのあるものを見つけることができる。自動化されたスクリプト生成およびメディア制作のためのシステム200は、プロダクションスタジオが、ある高額予算のスペクタクルを削除することの効果をより効率的に見て、それが予測された結果にどのように影響するかを見ることを可能にすることによって、自動化メディア制作の技術を改善する。例えば、自動化されたスクリプト生成およびメディア制作のためのシステム200は、独立した映画制作者が主演女性をストーリーに追加することの効果、およびそれがどのようにディストリビュータ(又は、分配会社)の契約の機会に影響を及ぼすかをより効率的に見ることを可能にする。
【0105】
図25は、例示された一実施形態による、スクリプトの物語のグラフへのマッピングを実行する方法2500を示す流れ図である。物語は、複数のシーンと、シーンのうちの1つまたは複数に現れる複数のキャラクタとを含むことができる。スクリプトの記述をグラフにマッピングする方法2500は、2502から始まる。
【0106】
2504において、物語の少なくとも一部について、自動化されたスクリプト生成およびメディア制作のためのシステム200は、物語の少なくとも一部を、アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって処理して、物語内に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出する。
【0107】
2506において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、抽出されたキーエンティティおよび抽出されたキー関係を複数のノードとノードのペア間の論理的関連付けを定義する複数のエッジとして表す少なくとも1つのデータ構造を生成する。複数のキーエンティティは、それぞれ、それぞれのノードによって表される。エッジの数は、それぞれ、ノードのそれぞれの対のそれぞれのノードによって表されるキーエンティティのそれぞれの対の間のそれぞれの関係を表す。スクリプトの記述をグラフにマッピングする方法2500は、2508で終了する。
【0108】
図26は、例示された一実施形態による、機械学習のためのアノテーションを付されたトレーニングコーパスを生成するためにスクリプトアノテーションを実行する方法2600を示す流れ図である。機械学習のためのアノテーションを付されたトレーニングコーパスを生成するためにスクリプトアノテーションを実行する方法2600は、2602で開始する。
【0109】
2604において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、スクリプトの一部における他の用語と比較して視覚的に識別されたスクリプトの提示された部分における複数の用語を有するスクリプトの少なくとも一部の提示を発生させる(又は、の提示を引き起こす、を提示させる)。
【0110】
2606において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、視覚的に識別された用語の1つに関する定義された空間関係内のカーソルの位置に応答して、視覚的に識別された用語のそれぞれの1つについて、複数のユーザ選択可能なアノテーションの規定のメニューの提示を生じさせる。
【0111】
2608において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、提示されたそれぞれの規定のメニューのユーザ選択可能なアノテーションの1つの選択に応答して、選択されたアノテーションと視覚的に識別された用語の1つとの間の関連を記憶する。機械学習のためのアノテーションを付されたトレーニングコーパスを生成するためにスクリプト注釈付けを実行する方法2600は、2610で終了する。
【0112】
図27は、例示された一実施形態による、新しいスクリプトコンテンツを生成するために人工ニューラルネットワークを実装する方法2700を示すフロー図である。新しいスクリプトコンテンツを生成するために人工ニューラルネットワークを実装する方法2700は、2702で開始する。
【0113】
2704において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、計算システムによって、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信する。少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練される。
【0114】
2706において、自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために、計算システムによって実装される少なくとも1つの人工ニューラルネットワークを介して、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理する。
【0115】
2708において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、サンプルスクリプトのための新しいコンテンツのインスタンスのうちの少なくとも1つのいくつかの提示を発生させる。新しいスクリプトコンテンツを生成するために人工ニューラルネットワークを実装する方法2700は、2710で終了する。
【0116】
図28は、例示された一実施形態による、スクリプト変更の効果を決定するために人工ニューラルネットワークを実装する方法2800を示すフロー図である。スクリプト変更の効果を判定するために人工ニューラルネットワークを実装する方法2800は、2802で開始する。
【0117】
2804において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、計算システムによって、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信する。少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練される。計算システムは、自動化されたスクリプト生成およびメディア制作のためのシステム200であってもよく、またはその一部であってもよく、または自動化されたスクリプト生成およびメディア制作のためのシステム200から離れた別個のシステムであってもよい。
【0118】
2806において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加がサンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するために、計算システムによって実施される少なくとも1つの人工ニューラルネットワークを介して、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理する。
【0119】
2808において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、決定された効果の表現の提示を発生させる。スクリプト変更の効果を判定するために人工ニューラルネットワークを実装する方法2800は、2810で終了する。
【0120】
図29は例示された一実施形態による、新しいスクリプトコンテンツを生成し、スクリプト変更の効果を判定するために人工ニューラルネットワークを実施する方法2900を示す流れ図である。新しいスクリプトコンテンツを生成し、スクリプト変更の効果を判定するために人工ニューラルネットワークを実装する方法2900は、2902で開始する。
【0121】
2904において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、計算システムによって、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信する。計算システムは、自動化されたスクリプト生成およびメディア制作のためのシステム200であってもよく、またはその一部であってもよく、または自動化されたスクリプト生成およびメディア制作のためのシステム200から離れた別個のシステムであってもよい。
【0122】
2906において、自動化されたスクリプト生成およびメディア制作のためのシステム200はサンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために、計算システムによって実施される少なくとも1つの人工ニューラルネットワークを介して、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理する。
【0123】
2908において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加がサンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するために、計算システムによって実装(又は、実施、実現)される少なくとも1つの人工ニューラルネットワークを介して、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理する。
【0124】
2910において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、決定された効果の表現の提示を発生させる。スクリプト変更の効果を判定するために人工ニューラルネットワークを実装する方法2800は、2912で終了する。
【0125】
図30は、例示された一実施形態による、スクリプトの分析(又は、分解、ブレークダウン)を含む制作前動作を実行するために人工ニューラルネットワークを実装する方法3000を示す流れ図である。スクリプトの分析を含む制作オペレーションを実行するために人工ニューラルネットワークを実装する方法3000は、3002で開始する。
【0126】
3004において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、計算システムによって、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信する。少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練される。受信されたスクリプトまたはスクリプトの部分は、複数のシーン、1つ以上のシーンに現れる多数のキャラクタ、およびシーンの間に発生するダイアログを含むことができる。
【0127】
3006において、自動化されたスクリプト生成およびメディア制作のためのシステム200は2つ以上の異なるカテゴリまたは要素の複数のスクリプト要素のそれぞれを識別するために、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの部分の少なくとも1つのコーパス上で少なくとも訓練された少なくとも1つの人工ニューラルネットワークを介して、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理する。スクリプト要素のカテゴリは、少なくとも、i)シーン、ii)1つまたは複数のシーンに現れるキャラクタ、iii)ミザンセーヌ要素(mise en scene element)、およびiv)キャラクタのそれぞれについてのダイアログを含むことができる。
【0128】
3008において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、少なくとも、i)シーン、およびii)シーンのそれぞれに現れる1つまたは複数の主キャラクタのいずれかを表すスクリプトブレークダウン(又は、スクリプト分析)を生成する。スクリプトブレークダウンを含む制作オペレーションを実行するための人工ニューラルネットワークを実装する方法3000は、3010で終了する。
【0129】
図31は、例示された一実施形態による、ストーリーボード生成を含む制作前オペレーションを実行するために人工ニューラルネットワークを実施する方法3100を示すフロー図である。ストーリーボード生成を含む制作前オペレーションを実行するために人工ニューラルネットワークを実装する方法3100は、3102で開始する。
【0130】
3104において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、ストーリーボード生成を含む制作前オペレーションを実行するために少なくとも1つの人工ニューラルネットワークを実装する計算システムによって、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信する。計算システムは、自動化されたスクリプト生成およびメディア制作のためのシステム200であってもよく、またはその一部であってもよく、または自動化されたスクリプト生成およびメディア制作のためのシステム200から離れた別個のシステムであってもよい。少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練される。受信されたスクリプトまたはスクリプトの部分は、複数のシーン、1つ以上のシーンに現れる多数のキャラクタ、およびシーンの間に発生するダイアログを含む。
【0131】
3106において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの部分の少なくとも1つのコーパス上で訓練された少なくとも1つの人工ニューラルネットワークを介して、サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理して、サンプルスクリプトまたはサンプルスクリプトの一部の各シーンを識別する。いくつかのシーンのそれぞれについて、自動化されたスクリプト生成およびメディア制作のためのシステム200はシーン内のいくつかのショットのそれぞれを識別し、識別されたいくつかのショットのそれぞれについて、それぞれのショットを複数のショットクラスのうちの1つとして分類する。
【0132】
3108において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、識別されたショットのうちの1つまたは複数のそれぞれについて、それぞれのショットクラスに基づいて代表画像を見つける。
【0133】
3110で、自動スクリプト生成およびメディア作成システム200は、識別された代表画像を使用してストーリーボードを生成する。ストーリーボード生成を含む制作オペレーションを実行するために人工ニューラルネットワークを実装する方法3100は、3112で終了する。
【0134】
図32は、1つの例示としての実施形態による、制作動作のための共通カレンダーを生成するための最適化を実行する方法3200を示すフロー図である。制作動作のための共通カレンダーを生成するための最適化を実行する方法3200は、3202で開始する。
【0135】
3204において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、複数のキャストメンバーのそれぞれについて、キャストメンバーのそれぞれのスケジュールまたはカレンダーを取り込む。システム200はまた、ワンライナー(one-liner)、デイアウトオブデイ(DOOD/キャストへの支払日数集計チャート)およびストリップボードスケジュール情報を取り込んでもよい。
【0136】
3206において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、複数のシュートロケーション(又は、撮影場所)のそれぞれについて、それぞれのシュートロケーションがいつ利用可能であるかを表す複数の日付を取り込む。
【0137】
3208において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、キャストメンバーの取り込まれたスケジュールまたはカレンダーと、それぞれのシュートロケーションがいつ利用可能であるかを表す日付との少なくとも組み合わせに対して最適化を実行する。
【0138】
3210で、自動化されたスクリプト生成およびメディア制作のためのシステム200は、最適化に基づいて1つまたは複数の共通カレンダーを生成する。制作動作のための共通カレンダーを生成するための最適化を実行する方法3200は、3212で終了する。
【0139】
図33は、例示された一実施形態による、スクリプトブレークダウンを含む制作前動作を実行するための人工ニューラルネットワークを実装する別の方法3300を示す流れ図である。スクリプトブレークダウンを含む制作前オペレーションを実行するための人工ニューラルネットワークを実装する方法3300は、3302で開始する。
【0140】
3304において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、スクリプトブレークダウンを含む制作前オペレーションを実行するために少なくとも1つの人工ニューラルネットワークを実装する計算システムによってサンプルスクリプトを受信する。計算システムは、自動化されたスクリプト生成およびメディア制作のためのシステム200であってもよく、またはその一部であってもよく、または自動化されたスクリプト生成およびメディア制作のためのシステム200から離れた別個のシステムであってもよい。少なくとも1つの人工ニューラルネットワークは、1つまたは複数のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス、および1つまたは複数のアノテーションを付されたスクリプトのそれぞれのプロダクションに関連する予算のコーパス上で訓練される。受信されたスクリプトは、複数のシーン、1つ以上のシーンに現れる多数のキャラクタ、およびシーンの間に発生するダイアログを含む。
【0141】
3306において、自動化されたスクリプト生成およびメディア制作のためのシステム200は2つ以上の異なるカテゴリまたは要素の複数のスクリプト要素のそれぞれを識別するために、スクリプトのアノテーションを付されたスクリプトまたはアノテーションを付された部分のうちの少なくとも1つのコーパス上で訓練された少なくとも1つの人工ニューラルネットワークを介してサンプルスクリプトを処理する。スクリプト要素のカテゴリには、少なくともシーン、1つ以上のシーンに登場するキャラクタ、ミザンセーヌ要素、および各キャラクタのダイアログを含めることができる。
【0142】
3308において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、少なくとも、i)シーン、およびii)シーンのそれぞれに現れる1つまたは複数の主キャラクタのいずれかを表すスクリプトブレークダウンを生成する。
【0143】
3310において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、生成されたスクリプトブレークダウンおよび予算のコーパスに少なくとも部分的に基づいて、スクリプトの生成のための推定バジェットを生成する。スクリプトブレークダウンを含む制作オペレーションを実行するために人工ニューラルネットワークを実装する方法3300は、3312で終了する。
【0144】
図34は、例示された一実施形態による、修正されたスクリプトのためのスクリプトブレークダウンを含む制作前オペレーションを実行するために人工ニューラルネットワークを実施する方法3400を示すフロー図である。人工ニューラルネットワークを実施して、修正されたスクリプトのためのスクリプトブレークダウンを含む制作前オペレーションを実行する方法3400は、3402で開始する。
【0145】
3404において、少なくとも1つの人工ニューラルネットワークを介して修正されたサンプルスクリプトを処理する自動化されたスクリプト生成およびメディア制作のためのシステム200は2つ以上の異なるカテゴリまたは要素の複数のスクリプト要素のそれぞれを識別するために、少なくとも1つのアノテーションを付されたスクリプトまたはスクリプトのアノテーションを付された部分のうちの少なくとも1つのコーパス上で訓練される。スクリプト要素のカテゴリは、少なくともシーン、1つ以上のシーンに登場するキャラクタ、ミザンセーヌ要素、および各キャラクタの対話を含めることができる。
【0146】
3406で、自動化されたスクリプト生成およびメディア制作のためのシステム200は、少なくとも、i)シーン、およびii)シーンのそれぞれに現れる1つまたは複数の主キャラクタのいずれかを表す修正スクリプトブレークダウンを生成する。
【0147】
3408において、自動化されたスクリプト生成およびメディア制作のためのシステム200は、生成されたスクリプトブレークダウンおよび予算のコーパスに少なくとも部分的に基づいて、スクリプトの生成のための修正された推定予算を生成する。人工ニューラルネットワークを実行して、改訂されたスクリプトに対するスクリプトブレークダウンを含む制作オペレーションを実行する方法3400は、3410で終了する。
【0148】
要約に記載しているものを含む、例示された実施形態についての上の説明は、網羅的であるとも、又はそれらの実施形態を開示されている形態そのままに限定するようにも意図されていない。特定の実施形態および実施例が例示の目的で本明細書に記載されているが、当業者によって認識されるように、本開示の精神および範囲から逸脱することなく、様々な同等の修正を行うことができる。本明細書で提供される様々な実施形態の教示は他のシステムに適用することができ、必ずしも、上記で一般的に説明された例示的なメディア制作システムに適用する必要はない。
【0149】
例えば、上記詳細な説明では、ブロックダイヤグラム、接続図および実施例を介して装置および/または方法の種々の態様を説明した。これらのブロックダイヤグラム、概略図および実施例は1つまたは2つ以上の機能および/または動作を含んでいるが、当業者には明らかなように、これらのブロックダイヤグラム、流れ図および実施例におけるそれぞれの機能および/または動作は個々におよび/または一括して、多様なハードウェア、ソフトウェア、ファームウェア、または事実上任意のこれらの組み合わせによって実施することができる。一実施形態では、本主題が特定用途向け集積回路(ASIC)を介して実施することができる。しかしながら、本明細書に開示される実施形態は全体的にまたは部分的に、標準的な集積回路において、1つまたは複数のコンピュータ上で実行される1つまたは複数のコンピュータプログラムとして(例えば、1つまたは複数のコンピュータシステム上で実行される1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ(例えば、マイクロプロセッサ)上で実行される1つまたは複数のプログラムとして、ファームウェアとして、またはそれらの事実上任意の組合せとして、同等に実装されることが可能であり、回路を設計すること、および/またはソフトウェアおよび/またはファームウェアのためのコードを書き込むことは、本開示に照らして、当業者の技術の範囲内で十分にあることを、当業者は認識するのであろう。
【0150】
さらに、当業者は、本明細書で教示されるメカニズムが様々な形態でプログラム製品として配布されることが可能であり、例示的な実施形態が配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず、等しく適用されることを理解するのであろう。非一時的信号担持媒体の例にはハードディスクドライブ、DVD-ROM、フラッシュメモリ、およびコンピュータメモリなどの記録可能タイプの媒体、ならびに他の非一時的コンピュータ可読記憶媒体が含まれるが、これらに限定されない。
【0151】
上述の様々な実施態様は、さらなる実施態様を提供するために組み合わせることができる。本明細書および/または出願データシートに記載されている米国特許出願公開公報、米国特許出願、外国特許、および外国特許出願の全てが、これらに限定されるものではないが、米国仮出願特許第62/616,354号および米国仮出願特許第62/616,364号を含むそれらの全体を参照により本明細書に組み込まれている。
【0152】
上記の詳細説明に照らして、上記のおよび他の変形がそれらの実施形態に対して行われることが可能である。一般に、以下の特許請求の範囲において、使用される用語は特許請求の範囲を、明細書および特許請求の範囲に開示される特定の実施形態に限定するように解釈されるべきではなく、そのような特許請求の範囲が権利を有する均等物の全範囲とともに、すべての可能な実施形態を含むように解釈されるべきである。したがって、特許請求の範囲は、本開示によって限定されない。
下記は、本願の出願当初の特許請求の範囲に記載の内容である。
<請求項1>
スクリプト化された物語について動作する計算システムにおける動作方法であって、
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部について、アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップを含み、
それぞれの前記いくつかのキーエンティティはそれぞれのノードによって表され、それぞれのいくつかの前記エッジは前記ノードのそれぞれのペアのそれぞれのノードによってそれぞれ表される前記キーエンティティのそれぞれのペアの間のそれぞれの関係をそれぞれ表す、動作方法。
<請求項2>
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップは、前記抽出されたキーエンティティおよび前記抽出されたキー関係をベイズネットワークとして表す少なくとも1つのデータ構造を生成するステップを含む、請求項1に記載の方法。
<請求項3>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、複数のnグラムを使用する自然言語プロセッサによって物語の少なくとも一部を処理するステップを含み、nグラムのうちの少なくともいくつかは1つよりも多い単語を含む、請求項1に記載の方法。
<請求項4>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記物語のシーンのうちの少なくとも2つのシーンのそれぞれを抽出することを含む、請求項1に記載の方法。
<請求項5>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに現れる少なくとも2つのキャラクタのそれぞれを抽出するステップを含む、請求項1に記載の方法。
<請求項6>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに現れる少なくとも1つの非キャラクタオブジェクトを抽出するステップを含む、請求項1に記載の方法。
<請求項7>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおいて生じる視覚効果、オーディオ効果、またはオーディオビジュアル効果のうちの1つまたは複数のうちの少なくとも1つを抽出するステップを含む、請求項1に記載の方法。
<請求項8>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかが行われる少なくとも1つの場所を抽出するステップを含む、請求項1に記載の方法。
<請求項9>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかに出現する少なくとも2つのキャラクタ間のキャラクタの相互関係を抽出することを含む、請求項1に記載の方法。
<請求項10>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンの間のいくつかの関係を抽出するステップを含む、請求項1に記載の方法。
<請求項11>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、シーンのいずれかで発生するいくつかのアクションを抽出するステップを含む、請求項1に記載の方法。
<請求項12>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおける1つまたは複数のキャラクタによって表示されるいくつかの気持ちを抽出するステップを含む、請求項1に記載の方法。
<請求項13>
アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、前記シーンのいずれかにおける1つまたは複数のキャラクタのいくつかの感情を抽出するステップを含む、請求項1に記載の方法。
<請求項14>
請求項2~13のいずれかの組み合わせの方法。
<請求項15>
動作中に少なくとも1つの自然言語プロセッサによる教師なし学習を実行するステップをさらに含む、請求項1に記載の方法。
<請求項16>
動作中に少なくとも1つの自然言語プロセッサによる教師付き学習を実行するステップをさらに含む、請求項1に記載の方法。
<請求項17>
各ノードに対してそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
<請求項18>
各ノードに対してそれぞれの疎ベクトル表現を生成するステップをさらに含み、疎ベクトル表現は複数のバイナリ値を含む、請求項1に記載の方法。
<請求項19>
前記キーエンティティの各々に対してそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
<請求項20>
前記キー関係の各々に対してそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
<請求項21>
各キーエンティティおよび1つまたは複数のキャラクタのいくつかの感情のそれぞれについてそれぞれの疎ベクトル表現を生成するステップをさらに含む、請求項1に記載の方法。
<請求項22>
抽出された前記キーエンティティおよび抽出された前記キー関係を複数のノード及び前記ノードのペアの間の論理的関係を定義する複数のエッジとして表す少なくとも1つのデータ構造を生成するステップは、抽出された前記キーエンティティと抽出された前記キー関係とをベイズネットワークとして表す少なくとも1つのデータ構造を生成するステップを含み、物語の少なくとも一部について、アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップは、いずれかのシーン内の1つ以上のキャラクタのいくつかの感情を抽出するステップを含む、請求項1に記載の方法。
<請求項23>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップをさらに含む、請求項1に記載の方法。
<請求項24>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有する前記グラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項23に記載の方法。
<請求項25>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを用いて、グラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項24に記載の方法。
<請求項26>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、それぞれの境界領域によって識別される前記物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有する前記グラフの少なくとも一部の視覚的提示を発生させるステップ、及び、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードの視覚的提示を発生させるステップを含み、提示された前記少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードは、前記少なくとも2つのキャラクタが両方とも現れるシーンを表す少なくとも1つのノードの前記それぞれの境界領域によって取り囲まれる、請求項23に記載の方法。
<請求項27>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、前記物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項23に記載の方法。
<請求項28>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続する少なくとも1つのエッジを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項22から27のいずれかに記載の方法。
<請求項29>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続するエッジとして視覚的に表されるアクションを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項28に記載の方法。
<請求項30>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、少なくとも1つのキャラクタについて視覚的に表された感情を有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項28に記載の方法。
<請求項31>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、視覚的に表される2つのキャラクタ間の相互作用の特徴付けを有するグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項28に記載の方法。
<請求項32>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、各ノードがシーン、イベント、アクションシーケンス、ダイアログ、または物語のキャラクタの相互作用のうちの少なくとも1つを表し、それぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタの相互作用のそれぞれの1つに関連する感情の視覚的な表示を含む、グラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項1から27のいずれかに記載の方法。
<請求項33>
それぞれのキーエンティティを表すいくつかの前記ノードとそれぞれのキー関係を表すいくつかの前記エッジを有するグラフの少なくとも一部の提示を発生させるステップは、各エッジがそれぞれのノードによって表されるシーン、イベント、アクションシーケンス、ダイアログ、またはキャラクタの相互作用のそれぞれの重要性のレベルの視覚的な表現を含むグラフの少なくとも一部の視覚的提示を発生させるステップを含む、請求項32に記載の方法。
<請求項34>
少なくとも1つの自然言語プロセッサを、アノテーションを付されたスクリプトマテリアルのコーパス上で訓練するステップを含み、アノテーションを付されたスクリプトマテリアルは、ダイアログおよび指示を含む、請求項1に記載の方法。
<請求項35>
スクリプト化された物語上で動作するための計算システムであって、
アノテーションを付されたデータセット上で訓練され、複数のシーンと前記シーンのうちの1つ以上に現れるいくつかのキャラクタとを含む物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出する少なくとも1つの自然言語プロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つの自然言語プロセッサ上で実行されたときに前記1つの自然言語プロセッサに、
前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出されたキーエンティティおよび抽出されたキー関係を複数のノードおよび複数のエッジを有するグラフとして表す少なくとも1つのデータ構造を生成するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有し、
複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表す、システム。
<請求項36>
前記少なくとも1つの自然言語プロセッサによって実行されるとき、前記少なくとも1つのプロセッサ実行可能命令またはデータは前記少なくとも1つの自然言語プロセッサに、請求項2から27の方法のいずれかを実行させる、請求項35に記載のシステム。
<請求項37>
アノテーションを付された訓練コーパスを生成する方法であって、
スクリプトの一部における他のタームとの対比で視覚的に識別された前記スクリプトの提示された一部の複数のタームを有するスクリプトの少なくとも一部の提示を発生させるステップと、
視覚的に識別された前記タームの1つに対して規定の空間関係にあるカーソルの位置に応答して、視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップと、
それぞれの提示された前記規定メニューの前記ユーザ選択可能なアノテーションの1つの選択に応答して、選択された前記アノテーションと視覚的に識別された前記タームの1つとの間の関連付けを記憶するステップを有する方法。
<請求項38>
スクリプトの一部における他のタームとの対比で視覚的に識別された前記スクリプトの提示された一部の複数のタームを有するスクリプトの少なくとも一部の提示を発生させるステップは、それぞれの強調表示によって視覚的に識別された複数のタームを有するスクリプトの一部を提示するステップを含む、請求項37に記載の方法。
<請求項39>
視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップはユーザ選択可能なアノテーションのセットを有するコンテキスト依存メニューの提示を発生させるステップを含み、前記セットの前記ユーザ選択可能なアノテーションは視覚的に識別された前記タームの各1つが属するクラスに基づく、請求項37に記載の方法。
<請求項40>
視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップは、第1の複数のユーザ選択可能なアノテーションを有するドロップダウンメニューの提示を発生させるステップを含む、請求項37に記載の方法。
<請求項41>
選択された前記アノテーションと視覚的に識別された前記タームの1つとの間の関連付けを記憶するステップは、視覚的に識別された前記タームの1つと選択された前記アノテーションを表す値の間の論理関係を記憶するステップを含む、請求項37に記載の方法。
<請求項42>
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部について、アノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサによって物語の少なくとも一部を処理し、前記物語のいくつかのキーエンティティ又はいくつかのキー関係の形態でいくつかのタームを抽出するステップをさらに含む、請求項37記載の方法。
<請求項43>
抽出された前記タームのうちの少なくとも1つについて、そのタームが属するカテゴリを決定するステップをさらに含む、請求項42記載の方法。
<請求項44>
抽出された前記タームのうちの少なくとも1つについて、そのタームが属すると決定された前記カテゴリに基づいてそれぞれの前記メニューを介して人による選択が可能なアノテーションのセットを決定するステップをさらに有する、請求項43記載の方法。
<請求項45>
第1のタイプの抽出された前記タームの少なくとも第1のものについての視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップは、第1の複数のユーザ選択可能なアノテーションの第1の規定メニューの提示を発生させるステップを有し、
第2のタイプの抽出された前記タームの少なくとも第2のものについての視覚的に識別された前記タームの各1つについて複数のユーザ選択可能なアノテーションの規定メニューの提示を発生させるステップは、第2の複数のユーザ選択可能なアノテーションの第2の規定メニューの提示を発生させるステップを有し、
前記第2の複数のユーザ選択可能なアノテーションは前記第1の複数のユーザ選択可能なアノテーションと相違する、請求項43に記載の方法。
<請求項46>
スクリプトを複数の個別部分に分割するステップと、
いくつかのアノテーターの各々に対して、前記個別部分のサブセットへのアクセスを提供し、前記個別部分の少なくとも1つの他のサブセットへのアクセスを否定するステップをさらに有する、請求項37に記載の方法。
<請求項47>
前記個別部分のサブセットへのアクセスを提供するステップは、前記物語の流れにおいて互いに非連続である複数の個別部分へのアクセスを提供することを有する、請求項46に記載の方法。
<請求項48>
スクリプト化された物語上で動作するための計算システムであって、
複数のシーンと前記シーンのうちの1つ以上に現れる複数のキャラクタとを含む物語の少なくとも一部のいくつかのキーエンティティおよびいくつかのキー関係を抽出するようにアノテーションを付されたデータセット上で訓練された少なくとも1つの自然言語プロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つの自然言語プロセッサ上で実行されたときに前記1つの自然言語プロセッサに、
前記物語の少なくとも一部に現れるいくつかのキーエンティティおよびいくつかのキー関係を抽出するステップと、
抽出されたキーエンティティおよび抽出されたキー関係を複数のノードおよび複数のエッジを有するグラフとして表す少なくとも1つのデータ構造を生成するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体を有し、
複数の前記キーエンティティはそれぞれ各ノードによって表され、複数の前記エッジはそれぞれ前記ノードの各ペアの各ノードによってそれぞれ表されるキーエンティティのそれぞれのペア間の関係を表すことを特徴とするシステム。
<請求項49>
前記少なくとも1つの自然言語プロセッサによって実行されるとき、前記プロセッサ実行可能命令またはデータの少なくとも1つは前記少なくとも1つの自然言語プロセッサに、請求項38から47の方法のいずれかを実行させる、請求項48に記載のシステム。
<請求項50>
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムの動作方法であって、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップであって、前記少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練されている、当該ステップと、
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップと、
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップ
を有する方法。
<請求項51>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップをさらに有する、請求項50記載の方法。
<請求項52>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、ダイアログ及びステージング指示の両方を有するアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項53>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのキーエンティティ間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項54>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのキー関係間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項55>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかの感情間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項56>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのプロップ間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項57>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのアクション間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項58>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのイフェクト間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項59>
アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップは、アノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパスに現れるいくつかのインスタンス間の区別をするアノテーションを含むアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のうちの1つのコーパス上で前記少なくとも1つの人工ニューラルネットワークを訓練するステップを有する、請求項51に記載の方法。
<請求項60>
前記計算システムの少なくとも1つの要素を介して前記サンプルスクリプトまたはサンプルスクリプトの一部に対して自然言語処理を実行して前記サンプルスクリプトまたはサンプルスクリプトの一部のダイアログ及びステージング指示の間の区別をするステップをさらに有する、請求権50~59のいずれかの方法。
<請求項61>
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスを生成するステップを有する、請求項50または51に記載の方法。
<請求項62>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えることなく、前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項61に記載の方法。
<請求項63>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログの置き換えとして前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項61に記載の方法。
<請求項64>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースのそれぞれの選択可能なユーザ選択可能要素として前記新しいダイアログの複数のインスタンスの提示を発生させるステップを有する、請求項60に記載の方法。
<請求項65>
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、新しいステージング指示のいくつかのインスタンスを生成するために、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理するステップを有する、請求項50または52のいずれかに記載の方法。
<請求項66>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のステージング指示を置き換えることなく、前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項65に記載の方法。
<請求項67>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のステージング指示の置き換えとして前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項65に記載の方法。
<請求項68>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として、前記新しいステージング指示の複数のインスタンスの提示を発生させるステップを有する、請求項65に記載の方法。
<請求項69>
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスおよび新しいステージング指示のいくつかのインスタンスを生成するステップを有する、請求項50または51に記載の方法。
<請求項70>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のダイアログ又は既存のステージング指示を置き換えることなく、前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのそれぞれのユーザ選択可能要素として、前記少なくとも1つの新しいダイアログ又は前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項69に記載の方法。
<請求項71>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、前記サンプルスクリプト又はサンプルスクリプトの一部内の既存のダイアログ又は既存のステージング指示の置き換えとして前記サンプルスクリプトまたは前記サンプルスクリプトの部分に前記新しいダイアログ又は前記新しいステージング指示を追加するようにユーザ選択可能なユーザインターフェースのそれぞれのユーザ選択可能要素として、前記少なくとも1つの新しいダイアログ又は前記新しいステージング指示の少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項69に記載の方法。
<請求項72>
前記サンプルスクリプトのための新しいコンテンツの少なくとも1つのインスタンスのいくつかの提示を発生させるステップは、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として前記新しいダイアログの複数のインスタンス又は前記新しいステージング指示の複数のインスタンスの提示を発生させるステップを有する、請求項69に記載の方法。
<請求項73>
前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するために前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記少なくとも1つの人工ニューラルネットワークを介して、前記サンプルスクリプトまたはサンプルスクリプトの一部を教師なしで処理するステップ有する、請求項50または51に記載の方法。
<請求項74>
少なくとも1つの人工ニューラルネットワークがオートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、オートエンコーダを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項50または51のいずれかに記載の方法。
<請求項75>
前記オートエンコーダは変分オートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記変分オートエンコーダを介して、潜在的(観察されず、推測されない)変数の分布に関する仮定のセットを用いて、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項50または51のいずれかに記載の方法。
<請求項76>
前記少なくとも1つの人工ニューラルネットワークはリカレントエンコーダ人工ニューラルネットワークと、アノテーションを付されたスクリプトのコーパスまたはアノテーションを付されたスクリプトの部分の対数尤度上の変分上限である損失関数を有するリカレントデコーダ人工ニューラルネットワークとを備える階層変分オートエンコーダであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記階層変分オートエンコーダを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項50または51に記載の方法。
<請求項77>
前記少なくとも1つの人工ニューラルネットワークはリカレント人工ニューラルネットワークであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記リカレント人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップを有する、請求項50または51に記載の方法。
<請求項78>
前記少なくとも1つの人工ニューラルネットワークは長期短期記憶リカレント人工ニューラルネットワークであり、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記長期短期記憶リカレント人工ニューラルネットワークを介して処理するステップを有する、請求項50または51に記載の方法。
<請求項79>
前記長期短期メモリリカレント人工ニューラルネットワークは、いくつかのリカレント中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークのうちの2つ以上を備える、請求項78に記載の方法。
<請求項80>
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有する、請求項79に記載の方法。
<請求項81>
前記計算システムを介して予測にいくつかの制約を適用するステップをさらに有し、前記制約は、1つ以上の現実世界の物理的制約、または1つ以上の現実世界の因果拘束を表す、請求項50または51のいずれかに記載の方法。
<請求項82>
少なくとも1つの人工ニューラルネットワークを介して前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを処理して前記新しいコンテンツの各インスタンスに関連する意外性尺度を決定するステップをさらに有する、請求項50または51のいずれかに記載の方法。
<請求項83>
前記新しいコンテンツの追加に関連する決定された前記意外性尺度の表現の提示を発生させるステップをさらに有する、請求項82記載の方法。
<請求項84>
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムであって、
アノテーションを付されたスクリプト又はアノテーションを付されたスクリプトの一部の1つ以上のコーパス上で訓練された少なくとも1つのプロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つのプロセッサ上で実行されたときに前記1つのプロセッサに、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップと、
前記サンプルスクリプトまたは前記サンプルスクリプトの一部を前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップと、
前記サンプルスクリプトのための新しいコンテンツのインスタンスのうちの少なくとも1つのいくつかを提示するステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体
を有する、システム。
<請求項85>
前記プロセッサ実行可能命令またはデータの少なくとも1つは、前記少なくとも1つのプロセッサによって実行されるとき、前記少なくとも1つのプロセッサに、請求項51から82の方法のいずれかを実行させる、請求項84に記載の計算システム。
<請求項86>
前記少なくとも1つの人工ニューラルネットワークは、オートエンコーダである、請求項84に記載の計算システム。
<請求項87>
前記オートエンコーダは、変分オートエンコーダである、請求項84に記載の計算システム。
<請求項88>
前記少なくとも1つの人工ニューラルネットワークは、階層変分オートエンコーダである、請求項84に記載の計算システム。
<請求項89>
前記少なくとも1つの人工ニューラルネットワークは、リカレント人工ニューラルネットワークである、請求項84に記載の計算システム。
<請求項90>
前記少なくとも1つの前記人工ニューラルネットワークは、長期短期記憶リカレント人工ニューラルネットワークである、請求項84に記載の計算システム。
<請求項91>
前記長期短期メモリリカレント人工ニューラルネットワークは、複数回の反復中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークとのうちの2つ以上を備える、請求項90に記載の計算システム。
<請求項92>
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有する、請求項91に記載の計算システム。
<請求項93>
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムの動作方法であって、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップであって、前記少なくとも1つの人工ニューラルネットワークは、1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で訓練されている、当該ステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップと、
前記決定された影響の提示を発生させるステップ
を有する方法。
<請求項94>
1つ以上のアノテーションを付されたスクリプトまたはアノテーションを付されたスクリプトの一部のコーパス上で少なくとも1つの人工ニューラルネットワークを訓練するステップをさらに有する、請求項93記載の方法。
<請求項95>
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理してサンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップをさらに有する、請求項93または94のいずれかに記載の方法。
<請求項96>
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部のへの少なくとも1つのインスタンスの追加がi)キャラクタのペア間の関係、またはii)前記サンプルスクリプトまたはサンプルスクリプトの一部に表される少なくとも1つのキャラクタの少なくとも1つの感情のうちの少なくとも1つに及ぼす影響を決定するステップを有する、請求項93または94に記載の方法。
<請求項97>
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部のへの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部に表されるイベントの少なくとも1つの因果関係に及ぼす影響を決定するステップを有する、請求項93または94に記載の方法。
<請求項98>
前記決定された影響の提示を発生させるステップは、それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示と、前記決定された影響の提示を発生させるステップを有する、請求項93または94に記載の方法。
<請求項99>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項98に記載の方法。
<請求項100>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項99に記載の方法。
<請求項101>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、それぞれの境界領域によって識別される物語の少なくとも2つのシーンのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップと、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードの視覚的提示を発生させるステップとを含み、提示された少なくとも2つのキャラクタのそれぞれを表す前記少なくとも2つのノードは、少なくとも2つのキャラクタが両方とも現れるシーンを表す少なくとも1つのノードのそれぞれの前記境界領域によって取り囲まれる、請求項98に記載の方法。
<請求項102>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、物語の少なくとも2つのキャラクタのそれぞれを表す少なくとも2つのノードを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項98に記載の方法。
<請求項103>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続する少なくとも1つのエッジを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項98に記載の方法。
<請求項104>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、ノードのペアの各ノードを接続するエッジとして視覚的に表されるアクションを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項103に記載の方法。
<請求項105>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、少なくとも1つのキャラクタについて視覚的に表現された感情を有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項103に記載の方法。
<請求項106>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、視覚的に表される2つのキャラクタ間の相互作用の特徴付けを有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項102に記載の方法。
<請求項107>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、各ノードがシーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、または物語のキャラクタの相互作用の少なくとも1つを表し、かつ、シーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、またはそれぞれのノードによって表されるキャラクタの相互作用のそれぞれの1つに関連する感情の視覚的な表現を含む、グラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項98に記載の方法。
<請求項108>
それぞれのキーエンティティを表すいくつかのノードとそれぞれのキー関係を表すいくつかのエッジとを有するグラフの少なくとも一部の提示を発生させるステップは、各エッジがシーン、イベント、アクションシーケンス、セットピース、プロット、ダイアログ、またはそれぞれのノードによって表されるキャラクタの相互作用のそれぞれの1つの重要性のレベルの視覚的な表現を有するグラフの少なくとも一部の視覚的提示を発生させるステップを有する、請求項107に記載の方法。
<請求項109>
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理してサンプルスクリプトのための新しいコンテンツのいくつかのインスタンスを生成するステップは、前記サンプルスクリプトまたは前記サンプルスクリプトの一部を前記計算システムによって実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して新しいダイアログのいくつかのインスタンスを生成するステップを有し、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいダイアログの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップを有する、請求項96に記載の方法。
<請求項110>
前記サンプルスクリプトに対する新しいコンテンツの少なくとも1つのインスタンスのうちのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えることなく、前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項109に記載の方法。
<請求項111>
前記サンプルスクリプトに対する新しいコンテンツの少なくとも1つのインスタンスのうちのいくつかの提示を発生させるステップは、前記サンプルスクリプトまたはサンプルスクリプトの一部内の既存のダイアログを置き換えとして前記サンプルスクリプトまたはサンプルスクリプトの一部に前記新しいダイアログを追加するようにユーザ選択可能なユーザインターフェースのユーザ選択可能要素として、前記新しいダイアログの少なくとも1つのインスタンスの提示を発生させるステップを有する、請求項109に記載の方法。
<請求項112>
前記サンプルスクリプトに対する新しいコンテンツの少なくとも1つのインスタンスのうちのいくつかの提示を発生させるステップは、前記新しいダイアログの複数のインスタンスを、ユーザインターフェースの選択可能なそれぞれのユーザ選択可能要素として提示するステップを有する、請求項109に記載の方法。
<請求項113>
ユーザインターフェースを介して選択するために、サンプルスクリプトの新しいコンテンツのインスタンスのうちの少なくとも1つのいくつかを提示するステップをさらに有する、請求項93記載の方法。
<請求項114>
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップは、前記新しいコンテンツの追加に関連する意外性尺度を判定するステップを有する、請求項93に記載の方法。
<請求項115>
前記決定された影響の提示を発生させるステップは、前記新しいコンテンツの追加に関連する予期せぬもの決定された尺度の表現の提示を引き起こすことを有する、請求項114に記載の方法。
<請求項116>
スクリプト生成のための少なくとも1つの人工ニューラルネットワークを実現する計算システムであって、
アノテーションを付されたスクリプト又はアノテーションを付されたスクリプトの一部の1つ以上のコーパス上で訓練された少なくとも1つのプロセッサと、
少なくとも1つの非一時的プロセッサ読み取り可能媒体であって、前記1つのプロセッサ上で実行されたときに前記1つのプロセッサに、
前記計算システムによってサンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを受信するステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトの新しいコンテンツのいくつかのインスタンスを生成するステップと、
前記サンプルスクリプトまたはサンプルスクリプトの一部のうちの少なくとも1つを前記計算システムにより実現される前記少なくとも1つの人工ニューラルネットワークを介して処理して前記サンプルスクリプトまたはサンプルスクリプトの一部への新しいコンテンツの少なくとも1つのインスタンスの追加が前記サンプルスクリプトまたはサンプルスクリプトの一部において表される少なくとも1つのキャラクタまたは1つの関係の少なくとも1つの態様に及ぼす影響を決定するステップと、
決定された前記影響の提示を発生させるステップ
を実行させるプロセッサ実行可能命令またはデータの少なくとも1つを記憶する、該非一時的プロセッサ読み取り可能媒体
を有する、システム。
<請求項117>
前記プロセッサ実行可能命令またはデータの少なくとも1つは、前記少なくとも1つのプロセッサによって実行されるとき、前記少なくとも1つのプロセッサに、請求項94から112の方法のいずれかを実行させる、請求項116に記載の計算システム。
<請求項118>
前記少なくとも1つの人工ニューラルネットワークは、オートエンコーダである、請求項116に記載の計算システム。
<請求項119>
前記オートエンコーダは、変分オートエンコーダである、請求項116に記載の計算システム。
<請求項120>
前記少なくとも1つの人工ニューラルネットワークは、階層変分オートエンコーダである、請求項116に記載の計算システム。
<請求項121>
前記少なくとも1つの人工ニューラルネットワークは、リカレント人工ニューラルネットワークである、請求項116に記載の計算システム。
<請求項122>
前記少なくとも1つの前記人工ニューラルネットワークは、長期短期記憶リカレント人工ニューラルネットワークである、請求項116に記載の計算システム。
<請求項123>
前記長期短期メモリリカレント人工ニューラルネットワークは、複数回の反復中に予測を生成するジェネレーション人工ニューラルネットワークと、以前に生成された予測を以後の予測の反復において再導入(追加)するメモリ構造と、以前に生成された予測のうちのどれが以後の予測の反復においてメモリ構造によって再導入されるかを決定する忘却人工ニューラルネットワークとのうちの2つ以上を備える、請求項122に記載の計算システム。
<請求項124>
前記長期短期記憶リカレント人工ニューラルネットワークは、関連性に基づいて前記生成された予測をフィルタリングする無視人工ニューラルネットワークと、前記生成された予測のうちのどれを出力システムに解放すべきか、および前記予測のうちのどれを後続の予測の反復で使用するためにのみ前記人工ニューラルネットワーク内に内部的に保持すべきかを決定する選択人工ニューラルネットワークのうちの1つまたは複数を有する、請求項123に記載の計算システム。