特表 2023-546754 テキストの動的映像物への変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-07

(54)【発明の名称】テキストの動的映像物への変換

(51)【国際特許分類】

   G06T 13/20 20110101AFI20231030BHJP

【ＦＩ】

G06T13/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023549809

(86)(22)【出願日】2021-10-20

(85)【翻訳文提出日】2023-06-12

(86)【国際出願番号】 US2021055924

(87)【国際公開番号】W WO2022087186

(87)【国際公開日】2022-04-28

(31)【優先権主張番号】63/104,184

(32)【優先日】2020-10-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523151942

【氏名又は名称】コリアー，ジェフリー，ジェイ

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】コリアー，ジェフリー，ジェイ

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA09

5B050BA08

5B050BA09

5B050BA18

5B050BA20

5B050CA07

5B050EA24

5B050EA26

5B050FA02

5B050FA05

(57)【要約】

ここで開示する、テキスト（絵文字含め）を自動的に動的映像物に変換する方法は、１人以上のユーザが台本（映像物を説明するテキスト）を書き、ソフトウエアシステムに送信することから始まる。その後、一般的には、編集・変換・構築・レンダリング・配給という主要な５つの段階を経て、映像物が生成及び／又配給される（図１）。これらのプロセスは、映像物の制作又は表示を可能にするにあたり、異なる順序で、異なるタイミングで実行され得る。全てのプロセスにおいて、映像物のレンダリングが必要となるわけではなく、場合によっては、プロセスを組み合わせたり、サブプロセスを独自の個別のプロセスに拡張したりし得る。
【選択図】図１

【特許請求の範囲】

【請求項1】

テキスト（絵文字含め）を自動的に動的映像物に変換する方法であって、
注釈付き台本へのアクセスと、
前記注釈付き台本のシーケンサへの変換と、
前記シーケンサからの仮想空間の構築と、
前記仮想空間の映像物へのレンダリングと、
を含む、
ことを特徴とする、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ソフトウエアを用いた映像制作の分野に関する。具体的には、本開示は、テキスト（絵文字含め）を変換するソフトウエア方法論に関する。

【背景技術】

【0002】

現在、映像物を生成又は制作する際、一般的な第１の工程は、アクションシーケンス、ダイアログ、カメラの向きといった、映像物内で起こる事象を説明する「台本」を書くことである。続いで、アニメーションソフトウエア、実際のカメラ、俳優などを組合せて使用して手動で制作する準備が整うまで、台本には様々な手が加えられる。一つの映像物を完成させるにあたり、こうしたプロセスには、数日から数年がかかる。

【0003】

さらに、映像物が一度配給されると、広告、言語、ダイアログなどに変更を加えることは困難である。

【0004】

したがって、映像物制作プロセスを合理化する技術、好ましくは、長時間かつ人の手による映像物制作プロセスを経ることなく、映像物の内容を動的に変更する機能を備えた技術が必要とされている。

【図面の簡単な説明】

【0005】

本開示の実施形態は、添付の図面中の実施例と併せて実現された場合、その他の利点及び特徴を有する。これらの利点及び特徴は、以下の詳細な説明及び添付の特許請求の範囲から、より容易に明らかにされる。添付の図面は以下の通りである。

【図1】テキストから映像物に変換する際に、システムが実施するハイレベルな工程を示す。

【図2】編集工程の例を示す。

【図3】変換工程の例を示す。

【図4】構築工程の例を示す。

【図5】レンダリング工程の例を示す。

【図6】配給工程の例を示す。

【図7】レンダープレイヤーサイドカーを示す。

【図8】システムにおける、想定される使用ケースを示す。

【図9】映像物にレンダリング可能な、コンピュータ可読フォーマットにテキストを変換するための、ハイレベルな機械学習アプローチを示す。

【図10】は、リソース、ネットワーキング、通信における、想定されるハイレベルな使用ケースを示す。

【図11A】一般的な注釈付き「台本」フォーマットを示す。

【図11B】略式注釈付き「台本」フォーマットを示す。

【図11C】広告やインタラクティブを含む動的コンテンツを含む、動的「台本」を示す。

【発明を実施するための形態】

【0006】

図面及び以下の説明は、あくまで例示としての、好ましい実施形態に関する。なお、以下の説明から、本明細書に開示される構造及び方法の代替実施形態は、特許請求の範囲における原則から逸脱することなく採用され得る、実行可能な代替として容易に認識されるであろう。

【0007】

ここで開示する、テキスト（絵文字含め）を自動的に動的映像物に変換する方法は、１人以上のユーザが台本（映像物を説明するテキスト）を書き、ソフトウエアシステムに送信することから始まる。その後、一般的には、編集・変換・構築・レンダリング・配給という主要な５つの段階を経て、映像物が生成及び／又は配給される（図１）。これらのプロセスは、映像物の制作又は表示を可能にするにあたり、異なる順序で、異なるタイミングで実行され得る。全てのプロセスにおいて、映像物のレンダリングが必要となるわけではなく、場合によっては、プロセスを組み合わせたり、サブプロセスを独自の個別のプロセスに拡張したりし得る。

【0008】

以下の例では、編集・変換・構築・レンダリング・配給という主要な５つの段階を経て、映像物が生成及びレンダリングされる。これらのプロセスは、映像物の制作又は表示を可能にするにあたり、異なる順序で、異なるタイミングで実行され得る。

【0009】

編集プロセス
「編集プロセス」により、ユーザが１つ以上のファイルを備える映像物プロジェクトを生成することができる。そのうち、少なくとも１つのファイルが台本を含み、他のファイルは、映像物生成において使用されるその他のアセットを含む。好ましくは、ファイルは、システム専用のフォーマット、又は、映画・ＴＶ業界の作家が一般的に使用するフォーマットを有する。ユーザは、カメラの動き、音声、３Ｄモデルを含むその他のアセットを非限定的に含むオプションのライブラリから、標準化されていない情報によりテキストに注釈を加えることができるため、厳密なフォーマットは異なる場合がある。

【0010】

事前に構築されたオプション及びアセットのライブラリから選択することに加え、ユーザは、独自のアセットを生成したり、アセットをインポートしたり、マーケットプレイスからアセットを購入したり、プラットフォーム上のベンダーのマーケットプレイスからカスタムビルドアセットを採用することができる。こうしたオプション及びアセットは、非制限的に、音声、表情、動き、２Ｄモデル、３Ｄモデル、ＶＲフォーマット、ＡＲフォーマット、画像、映像物、マップ、カメラ、照明、スタイリング、及び、特殊効果を含む。

【0011】

システムにより、ユーザに生成サービスを提供できる。該サービスには、システムによって台本用に生成されたテキスト、３Ｄモデル、マップ、音声、照明、カメラアングル、又は、映像物に使用されるその他の構成要素が含まれる。

【0012】

ユーザの判断により、スクリプトに基づいて映像物を生成することができる。システムにより、ユーザに様々なレンダリングオプションが提供され、そこから、レンダリング時間、品質、プレビューを含むオプションを選択することができる。

【0013】

ビデオクリップ、画像、音声、音声、アセット、又は、エンティティを含む、映像物の一部をエクスポートすることができる。

【0014】

プロジェクト及び関連ファイルの自動及び手動バージョン管理は、ユーザによって実行され得る。ユーザは、インライン又は個別にバージョンを確認する。

【0015】

システムには、スクリプトがどのように処理されるか、及び、任意の時点でのサブプロセスを含む処理の状態について、ユーザにフィードバックを提供する機能が搭載されている。これには、スクリプトの解析方法、レンダリングステータス、エラー、生成作業、プレビュー、及びスクリプトに変更を加える他のユーザが含まれる。

【0016】

他のユーザとの協働は、ユーザの裁量により、可能になる。これには、スクリプト全体又は一部の表示、コメント、編集、及び削除が含まれる。スクリプトの特定の部分は、異なるユーザにより編集ができる。さらに、コメントやアンケートなどの形式のフィードバックは、登録済又は特定のユーザに送信することができる。

【0017】

変換プロセス
変換プロセスは、入力テキスト（プレーン又はリッチ／注釈付き／脚色）を、映像物の生成を通知するために使用されるエンティティに変換する。これらのエンティティは、非制限的に、キャラクター、ダイアログ、カメラの向き、アクション、シーン、照明、音声、時間、環状、オブジェクトのプロパティ、動き、特殊効果、スタイリング、及び、タイトルを含む。

【0018】

トランスフォーマは、一連の機械学習モデルと、依存関係の解析、構成要素の解析、共参照分析、意味的役割のラベル付け、品詞のタグ付け、名前付きエンティティ認識、文法規則の解析、単語の埋め込み、単語の一致、フレーズの一致、ジャンルのヒューリスティックマッチング等を非制限的に含むその他の手法と、を使用して、テキストを識別・抽出し、意味のある情報及びコンポーネントに変換する。

【0019】

ユーザ及びシステムプロセスからのフィードバックに基づき、トランスフォーマは、テキストの処理及び生成の能力を向上させることが望ましい。

【0020】

以前に実行されたシステムプロセスに基づいて、トランスフォーマは、入力テキストを編集し、テキストのロジックを解析して、新しいデータを生成し得る。それにより、入力データの変更や、プログラムにより新しいスクリプトを生成する。

【0021】

構築プロセス
「空間構築」プロセスで入力データを使用することで、映像物に必要とされるすべてのアセット、設定、ロジック、タイムライン、及び、イベントをまとめ、映像物の仮想表現を生成する。

【0022】

入力データとともに、専用のモデリングを使用して、映像物のアセット及びエンティティの位置づけ、動き、及び、タイミングを決定する。映像物の一部又はすべての要素が、ロジック又は入力に基づいて、動的となる。

【0023】

仮想空間における、映像物アセットの任意のコンピュータ生成は、ユーザ設定、プロジェクト設定に基づいて、又は、システムがその必要を検知した際に自動的に、実行され得る。アセットは、非制限的に、マップ、景色、キャラクター、音声、照明、エンティティ配置、動き、カメラ、及び、美術的なスタイルを含む。エンティティとは、ファイル、データ、又は、キャラクターやオブジェクトを含む映像物に表示されるその他のアイテムを指す。ユーザ設定、習得モデル、ストーリーコンテクスト、スクリプトプロジェクトファイル、ユーザフィードバック、映像物、テキスト、画像、音声、及びシステムプロセスからの出力を含む、１つ以上のソースによって、生成が通知される。

【0024】

レンダリングプロセス
「レンダリング」プロセスにおいて入力データを使用し、２Ｄ、３Ｄ、ＡＲ、ＶＲを含む種々のフォーマットの、１つ以上の出力映像物を生成する。

【0025】

映像物のレンダリングプロセスは、コンピュータシステムや、ユーザのコンピュータ、ウェブブラウザ、又は、携帯電話を含む、アプリケーション等、内部又は外部のシステム上の１つ以上のデバイスで実施され得る。映像物のレンダリングは、種々の入力に基づいて、ユーザが映像物を視聴する前、途中、又は後など、１回以上のタイミングで実施されてもよい。映像物のレンダリングプロセスは、他のプロセスを活用することで、レンダリングを完了させてもよい。

【0026】

レンダリングプロセスにおいて、映像物の所望の効果又はスタイリングを生成するため、１つ以上のレンダリング技術を使用してもよい。

【0027】

セキュリティ及びコピーのメカニズムは、システム要件へのコンプライアンスを確実にするため、処理のさまざまな段階で適用される。これらのメカニズムには、電子透かしを含み得る。

【0028】

映像物を作成したユーザは、シーンのカット、アセットのオーバーレイ、動的コンテンツの追加、コマース設定、広告設定、プライバシー設定、配布設定、バージョン管理といった変更を映像物に加えることができるようになる。

【0029】

映像物は、静的又は動的であり得り、アセット、エンティティ、方向、広告、商取引メカニズム、又はイベントを、ユーザが映像物を視聴する前、途中、後に変更できるようになっている。これらの変更入力は、映像物の設定、システムロジック、ユーザフィードバック、地理、又はアクティビティに基づいて行うことができる。

【0030】

「レンダープレイヤーサイドカー」により、配給前、途中、又は後に、動的映像物を生成することが可能になる。

【0031】

プロジェクト設定、ユーザ設定、及びシステムロジックは、映像物がユーザによっていつどのように表示されるかを決定する。

【0032】

配給プロセス
入力データは、「レンダリング」プロセス中に生成された動的映像物を表示するため、「配布」プロセスで使用される。

【0033】

「レンダリング」プロセスにおいて生成される一部の映像物は、静的であるため、ソフトウエアシステム外でも視聴することができる。

【0034】

それ以外の映像物に関しては、特に、動的映像物は、ソフトウエアシステム上でのみ再生可能である。システムで映像物を再生すると、現時点での形式で表示したり、リアルタイムで生成したりすることで、ユーザの設定や広告設定などのさまざまな設定に基づいて、映像物を変更することができる。こうして生成された映像物のバリエーションに関しては、その後の使用のために、保存しておくことができる。

【0035】

「レンダープレイヤーサイドカー」により、種々の入力に基づいて映像物が変更される。「レンダープレイヤーサイドカー」は、映像物や再生機に内蔵されてもよく、映像物が介入なしに変更されない場合に、「レンダリング」プロセスと連携して映像物を変更する中継的な機能を果たす。

【0036】

図面に関するさらなる説明
図１は、テキストを映像物に変換する際に、システムが実施するハイレベルな工程を示す。

【0037】

５つのハイレベルな工程システムを実行することで、テキスト（絵文字を含む）を映像物に変換する。各主要な段階において、ユーザにステータスの更新が提供されることで、ユーザは、エラー又は未知の状況が発生した場合、継続方法についてのフィードバックを行うことができる。

【0038】

図２は、「編集」工程２００の例を示す。

【0039】

「編集」工程により、ユーザは、台本を書き込み、非テキスト注釈を台本に適用することができる。１人以上のユーザによって台本が執筆されてもよく、１人以上のユーザからフィードバックを受け取るようにしてもよい。

【0040】

２２０．ユーザは、キーボード、マイク、スキャン画像、手書き、又は手話などのジェスチャーを含む、任意の入力デバイスからの注釈付き台本を、プレーンテキスト又はリッチテキストで書き込む。

【0041】

２３０．ユーザはオプションで、（ユーザの）カスタムメイドのアセット、（システムソフトウェアの又は）その他のライブラリのアセット、他のマーケットプレイスの有料アセット、システムが動的に生成するアセット、ユーザによってアップロードされたアセットなど、さまざまなソースから台本に静的又は動的アセットを適用する。アセットには、３Ｄオブジェクト、音声、音声録音、画像、アニメーション、映像物、カメラ、テキスト、特殊効果など、あらゆるものを含めることができる。

【0042】

２４０．ユーザはオプションで、ユーザとのやり取り（質問、クリックゾーン、音声応答など）、動的コンテンツ（色付け、シーンの場所、登場人物の年齢など）、広告などを含むダイナミクスを、台本に適用することができる。このシステムでは、一度生成され、映像物の内容が変更されない、従来の「静的」映像物を生成できる。あるいは、このシステムでは、例えば、映像物の視聴者に基づいて映像物の内容が変更される、動的映像物を生成できる。「ダイナミクス」は、インタラクティブ又は動的なコンテンツの全てをカバーする意図で使用される。動的なコンテンツの例としては、エンティティ、イベント、広告、対話形式、オブジェクトの色、シーンの場所、ダイアログ、言語、シーンの順番、音声などにおける変更が含まれる。使用例には、ターゲット広告の挿入、ユーザのグループごとに映像物の異なるバリエーションをテストすること、（ペアレンタルガイドやＲ指定、ユーザの好み、国、調査結果など）ユーザに応じて、内容、ダイアログ、又はキャラクターを変更すること、ユーザがカメラアングルを変更できるようにすること、「自身の選択で冒険を進める」タイプの映像物、ユーザが質問に答えるような研修／教育的映像物、ユーザのフィードバック又はアクションに応じて映像物を調整すること、ユーザが、自身のダイアログ、顔、アニメーション、又はキャラクターを、視聴中に挿入できることなどが含まれる。

【0043】

対話形式により、映像物の視聴者（複数も可）は映像物と対話することができる。例として、質問への回答、画面上の領域の選択、キーボードの押下、マウスの動きなどが含まれる。

【0044】

２５０．ユーザはオプションで、アセットの細かい位置決めや任意のシーンの作成を、例えばテキストやＧＵＩツールなどを用いて適用することができる。

【0045】

２６０．ユーザはオプションで、例えばテキストやＧＵＩツールなどを用いて、台本に特殊効果を適用することができる。

【0046】

２７０．ユーザはオプションで、他のユーザと協働して書き込みを行ったり、コメント、匿名のレビュー、調査、およびその他のフィードバックメカニズムの形で、他のユーザからフィードバックを受け取ったりすることができる。

【0047】

出力．台本テキスト、台本テキストフォーマット、注釈、アセット、ダイナミクス、設定、バージョンなどを含む、映像物のテキスト表現に関する情報を含むドキュメント。ソフトウエアシステム上のドキュメントに関するデータは、１台以上のコンピュータデバイス上で、１つ以上のフォーマットで保存される。例えば、文書データは、全体又は一部、単一のファイル、又は複数のファイル、又は単一のデータベース、又は複数のデータベース、又は単一のデータベーステーブル、又は複数のデータベーステーブルに格納することができる。「ライブストリーム」又は「コラボレーション」の場合、データはリアルタイムで他のユーザ又はコンピュータデバイスに送信され得る。こうした出力は、注釈付き台本とも称される。

【0048】

図３は、「変換」工程３００の例を示す。

【0049】

「変換」工程により、テキストをコンピュータ可読フォーマットに変換する。コンピュータ可読フォーマットは、映像物内の主なイベント及びエンティティ（キャラクター、オブジェクト等）について既述したものである。

【0050】

３３０．機会学習自然言語プロセッサ（ＮＬＰ）を用いて、映像物内でレンダリングするエンティティである言葉を、テキスト中で決定する。

【0051】

３４０．ＮＬＰを用いて、映像物内でレンダリングする、例えば、歩く、走る、食べる、運転するなどの、テキスト中のイベントのタイムラインを抽出する。

【0052】

３５０．ＮＬＰを用いて、映像物内のエンティティ及びイベントの位置づけのタイムラインを決定する。

【0053】

３６０．ＮＬＰを用いて、音声を含む、映像物内でレンダリングする任意のアセットを決定する。

【0054】

３７０．ＮＬＰを用いて、カメラの動き、特殊効果などの任意のシネマティクスを決定する。

【0055】

出力．台本から解析され、映像物内でレンダリングされるイベントのシーケンス内で順序付けられた、イベント、エンティティ、その他の抽出データとともに、入力データの一部又は全てを含むドキュメント。ドキュメント保存オプションは、上記工程と同様である。この出力は、シーケンサとも称される。

【0056】

図４は、「構築」工程４００の例を示す。

【0057】

「構築」工程では、「変換」工程の出力を、コンピュータ可読フォーマットを有する映像物の仮想表現へ変換する。

【0058】

４３０．入力に基づいて、映像物のレンダリングに必要なアセットを生成する。アセットには、ダイアログ音声、ＢＧＭ、景色、キャラクターデザインなどが含まれる。

【0059】

４４０．入力に基づいて、レンダリング時にパーティクルエフェクト、霧、物理効果などの、任意の特殊効果を追加する。

【0060】

４５０．入力に基づいて、「レンダリング」プロセスが映像物のレンダリング時に解釈可能な、映像物の仮想表現を生成する。こうした表現には、カメラ位置、照明、キャラクターの動き、アニメーションなどが含まれる。

【0061】

４６０．入力に基づいて、動的なコンテンツロジックを出力に適用する。

【0062】

４７０．入力に基づいて、映像物の正常なレンダリングに必要な、任意の特殊効果又は後処理効果を適用する。

【0063】

出力．入力データの一部又はすべてを、映像物をレンダリングする際に必要とされる詳細なインストラクションの「仮想空間」とともに含むドキュメント。ここでは、その空間、その空間のエンティティ（音声、特殊効果、ダイナミクスなどを含む）、そしてその空間で起こる一連のアクション／イベントの既述が含まれる。ここには、非制限的に、キャラクター位置、キャラクターメッシュ、ダイナミクス、アニメーション、音声、特殊効果、切り替え、ショット順序などが含まれる。ドキュメント保存オプションは、上記工程と同様である。この出力は、仮想空間とも称される。

【0064】

図５は、「レンダリング」工程５００の例を示す。

【0065】

「レンダリング」工程では、「構築」工程での出力を変換し、２Ｄ、３Ｄ、ＡＲ、ＶＲを含む種々のフォーマットで、１つ以上の動的映像物を生成する。レンダリングプロセスは、ユーザが映像物を視聴する前、途中、及び／又は後に実施するサブレンダリングプロセスを含み得る。

【0066】

５３０．映像物のシーン及び空間に特殊効果をつける。

【0067】

５４０．仮想表現、動的なコンテンツ及び広告に基づいて、映像物をレンダリングする。

【0068】

５５０．後処理特殊効果及び編集を実施して、所望の映像物を得る。

【0069】

１つ以上のフォーマットでレンダリングされた映像物のドキュメントを出力する。想定されるフォーマットには、２Ｄ、３Ｄ、ＡＲ、ＶＲ、又はその阿多のモーション又は対話形式フォーマットが含まれる。ドキュメント格納オプションについては、上記工程と同様である。

【0070】

図６は、「配給」工程６００の例を示す。

【0071】

「配給」工程では、任意の動的対話、コンテンツ、及び広告を有する映像物を表示する。

【0072】

６３０．任意のフォーマットを有する広告を、０回又はそれ以上、映像物に適用する。

【0073】

６４０．動的なコンテンツを、０回又はそれ以上、映像物に適用する。

【0074】

６６０．ビデオ再生機により、映像物とユーザとの任意のやり取りとともに、映像物を表示させる。

【0075】

図７は、「レンダープレイヤーサイドカー」を示す。

【0076】

映像物の静的又はリアルタイムレンダリングを実行する「レンダープレイヤーサイドカー」について説明する。これにより、任意に、映像物を視聴している人が、受動的に視聴する映像物というよりは、ビデオゲームとしての映像物を含む映像物と、相互的にやり取りを行う。

【0077】

映像物自体、ビデオ再生機、又はヘルパーライブラリにサイドカーが存在していてもよい。

【0078】

７１０．ライブストリームコントロールにより、台本の作成者がリアルタイムで書き込みをして映像物を配給できるようにする。

【0079】

７２０．広告を静的に、又は、プレロール、コマーシャル、プロダクトプレイスメント、映像物内購入など、さまざまな形式で表示するよう、映像物に適用する。

【0080】

７３０．動的なコンテンツを映像物に静的に、又は、対話形式を含む視聴時に適用し、ユーザの好み、挙動、及び一般的な分析に基づいて、内容を変更する。

【0081】

７４０．映像物の視聴又は映像物とのやり取りの中で、ユーザの挙動を記録する。

【0082】

図８は、システムにおける、想定される使用ケースを示す。

【0083】

図９は、工程３３０乃至３７０において、映像物にレンダリング可能な、コンピュータ可読フォーマットにテキストを変換するための、ハイレベルな機械学習アプローチを示す。

【0084】

１つ以上のＮＬＰモデリングツールによって入力テキストを分析することで、テキストにおけるエンティティ及びアクションを抽出及び識別する。次に、システムはロジックのレイヤーを適用して、位置、色、サイズ、速度、方向、アクションなどのさまざまなプロパティを決定する。標準ロジックに加えて、より良い結果を得るために、ユーザごと又はプロジェクトごとのカスタム設定が適用される。

【0085】

図１０は、リソース、ネットワーキング、通信における、想定されるハイレベルな使用ケースを示す。

【0086】

図１１Ａは、一般的な注釈付き「台本」フォーマットを示す。

【0087】

図１１Ｂは、略式注釈付き「台本」フォーマットを示す。

【0088】

図１１Ｃは、広告やインタラクティブを含む動的コンテンツを含む、動的「台本」を示す。

【0089】

詳細な説明には多くの具定例が含まれているが、これらは本発明の範囲を限定するものと解釈されるべきではなく、単に異なる例を説明するものとして解釈される。本開示の範囲には、上記で詳細に論じられていない、他の実施形態が含まれることは理解されよう。当業者に明らかな様々な他の修正、変更及び変形は、添付の特許請求の範囲に定義される主旨から逸脱しない限りにおいて、本明細書に開示される方法及び装置の配置、操作及び詳細においてなされ得る。したがって、本発明の範囲は、添付の特許請求の範囲及びそれらの法的同等物によって決定される。

【0090】

その他の実施形態は、コンピュータハードウエア、ファームウエア、ソフトウエア、及び／又は、それらの組み合わせにおいて実施される。コンピュータ可読記憶装置に具体化されたコンピュータプログラム製品に実装することができ、プログラマブルプロセッサにより実行可能となる。方法工程は、入力データに対して動作し、出力を生成することによって機能を実行する命令プログラムを実行するプログラマブルプロセッサによって、実行可能となる。実施形態は、データ記憶システムからデータ及び命令を受信し、１つ以上のコンピュータプログラムにおいて有利に実装することができる。該コンピュータプログラムは、データ及び命令を送信するために接続された少なくとも１つのプログラマブルプロセッサを含む、プログラマブルコンピュータシステム上で実行可能である。各コンピュータプログラムは、ハイレベルな処理型又はオブジェクト指向型のプログラミング言語で、あるいは、必要に応じてアセンブリ又は機械言語で実装可能である。いずれの場合も、言語はコンパイルされた言語、又は、解釈された言語とすることができる。適切なプロセッサには、例えば、汎用及び特殊用途のマイクロプロセッサの両方が含まれる。一般的に、プロセッサは、読み取り専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。一般に、コンピュータには、データファイルを格納するための１つ以上の大容量記憶装置が含まれる。このようなデバイスには、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、光ディスクが含まれる。コンピュータプログラムの命令及びデータを具体化するのに適した記憶装置には、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭディスクなどを含む、あらゆる形態の不揮発性メモリが含まれる。上記のいずれも、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ、及びその他の形式のハードウェアによって補完又は組み込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【国際調査報告】