(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-14
(45)【発行日】2022-12-22
(54)【発明の名称】自動メディア出版
(51)【国際特許分類】
H04N 21/854 20110101AFI20221215BHJP
H04N 5/262 20060101ALI20221215BHJP
H04N 21/4402 20110101ALI20221215BHJP
H04N 5/91 20060101ALI20221215BHJP
【ＦＩ】
H04N21/854
H04N5/262 080
H04N21/4402
H04N5/91
【請求項の数】
20
【外国語出願】
(21)【出願番号】P 2019120940
(22)【出願日】2019-06-28
(65)【公開番号】P2020017945
(43)【公開日】2020-01-30
【審査請求日】2019-08-09
(31)【優先権主張番号】16/025,043
(32)【優先日】2018-07-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/041,970
(32)【優先日】2018-07-23
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】500035823
【氏名又は名称】アビッド テクノロジー インコーポレイテッド
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100173565
【弁理士】
【氏名又は名称】末松 亮太
(72)【発明者】
【氏名】シャイレンドラ・マートル
【審査官】鈴木 順三
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２７５３１２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００７／０２３９７８７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０１６５１１２（ＵＳ，Ａ１）
【文献】特表２０１２－５０１０９９（ＪＰ，Ａ）
【文献】特表２００９－５２４２９４（ＪＰ，Ａ）
【文献】特表２００５－５１３８３１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０２１６２０６（ＵＳ，Ａ１）
【文献】もと たかし，ノンリニア編集アプリケーション Ａｖｉｄ Ｍｅｄｉａ Ｃｏｍｐｏｓｅｒ７ テストレポート，ビデオα，２０１３年９月号，2013年09月01日，p28-36
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ － ２１／８５８
Ｈ０４Ｎ ５／２６２ － ５／２８
Ｈ０４Ｎ ５／７６ － ５／９５６
(57)【特許請求の範囲】
【請求項1】
メディア・コンポジションを編集する方法であって、メディア合成ホスト・システムにおいて実行するメディア合成アプリケーションを使用して、編集者が、
前記メディア・コンポジションを編集し、前記メディア・コンポジションが合成オブジェクトを含み、前記合成オブジェクトがソース・メディア・アセットを参照し、
前記合成オブジェクトに対して編集レンディション規則を指定し、前記編集レンディション規則が、メディア・エッセンス・エンコーディング・パラメータの複数の値のそれぞれの値毎に、前記合成オブジェクトがどのようにレンダリングされるかを指定し、
前記編集レンディション規則を前記メディア・コンポジションの前記合成オブジェクトと関連付ける、
ことを可能にするステップと、
所与のメディア・コンポジションのレンディションが生成されるとき、レンディション・エンジンが、
前記所与のメディア・コンポジションを受け、前記所与のメディア・コンポジションが、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた編集レンディション規則を含み、
前記所与のメディア・コンポジションのレンディションに対して、前記メディア・エッセンス・エンコーディング・パラメータの所与の値を指定するレンディション・プロファイルを受け、
前記所与のメディア・コンポジションのソース・メディア・アセットを入力し、
前記メディア・エッセンス・エンコーディング・パラメータの所与の値が前記合成オブジェクトに適用されるときに、前記所与のメディア・コンポジションの前記編集レンディション規則にしたがって、前記所与のメディア・コンポジションのソース・メディア・アセットから、前記所与のメディア・コンポジションのレンディションを生成する、
ステップとを含む、方法。
【請求項2】
請求項１記載の方法において、前記メディア合成アプリケーションが、前記レンディション・エンジンを含む、方法。
【請求項3】
請求項１記載の方法において、前記レンディション・エンジンが、前記メディア合成ホスト・システムの外部にあるプラットフォーム上にホストされる、方法。
【請求項4】
請求項１記載の方法において、前記レンディション・プロファイルが、前記所与のメディア・コンポジションのレンディションを生成するために使用されるべき前記所与のメディア・コンポジションのバージョンを指定する、方法。
【請求項5】
請求項１記載の方法において、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた前記編集レンディション規則が、空間編集レンディション規則であり、前記レンディション・プロファイルによって指定された前記メディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、空間レンディション・パラメータである、方法。
【請求項6】
請求項５記載の方法において、前記空間レンディション・パラメータが、前記所与のメディア・コンポジションの前記合成オブジェクトのビデオ・フレームの一部分を定めるフレーミング・ボックスであり、前記レンディション・エンジンが、前記フレーミング・ボックス内に存在する前記所与のメディア・コンポジションの前記ソース・メディア・アセットの第１部分を、優先して前記レンディションに含ませる、方法。
【請求項7】
請求項６記載の方法において、前記レンディションに対するターゲット・ディスプレイのアスペクト比が、前記フレーミング・ボックスのアスペクト比よりも大きく、前記レンディション・エンジンが、更に、前記フレーミング・ボックスの外側にある前記所与のメディア・コンポジションの前記ソース・メディア・アセットの第２部分を、優先して前記レンディションに含ませ、前記所与のメディア・コンポジションの前記ソース・メディア・アセットの前記第２部分が、メディア・エッセンス・データを含む、方法。
【請求項8】
請求項１記載の方法において、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた前記編集レンディション規則が、時間編集レンディション規則であり、前記レンディション・プロファイルによって指定された前記メディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、時間レンディション・パラメータである、方法。
【請求項9】
請求項８記載の方法において、前記時間レンディション・パラメータが、前記所与のメディア・コンポジションの前記ソース・メディア・アセット内に時間範囲を定める時間フレーミング・レンジを含み、前記レンディション・エンジンのロジックが、前記時間フレーミング・レンジ内に存在する前記所与のメディア・コンポジションの前記ソース・メディア・アセットの時間部分を、優先して前記レンディションに含ませる、方法。
【請求項10】
請求項１記載の方法において、前記編集者が指定し前記所与のメディア・コンポジションの前記合成オブジェクトと関連付けた前記編集レンディション規則が、ダイナミック・レンジ編集レンディション規則であり、前記レンディション・プロファイルによって指定された前記メディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、ダイナミック・レンジ・レンディション・パラメータである、方法。
【請求項11】
請求項１０記載の方法において、前記所与のメディア・コンポジションの前記ソース・メディア・アセットがビデオ・アセットであり、前記ダイナミック・レンジ・レンディション・パラメータが、前記所与のメディア・コンポジションの前記ソース・メディア・アセット内に画素輝度値の範囲を定めるリーガル・ダイナミック・レンジであり、前記レンディション・エンジンが、前記リーガル・ダイナミック・レンジ内に存在する輝度値を有する前記所与のメディア・コンポジションの前記ソース・メディア・アセットの画素を、優先して前記レンディションに含ませる、方法。
【請求項12】
請求項１０記載の方法において、前記所与のメディア・コンポジションの前記ソース・メディア・アセットがオーディオ・アセットであり、前記ダイナミック・レンジ・レンディション・パラメータが、前記所与のメディア・コンポジションの前記ソース・メディア・アセット内のオーディオ・サンプル強度値の範囲を定めるリーガル・ダイナミック・レンジであり、前記レンディション・エンジンが、前記リーガル・ダイナミック・レンジ内に存在する強度値を有する前記所与のメディア・コンポジションの前記ソース・メディア・アセットのオーディオ・サンプルを、優先して前記レンディションに含ませる、方法。
【請求項13】
請求項１記載の方法において、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた前記編集レンディション規則が、色編集レンディション規則であり、前記レンディション・プロファイルによって指定された前記メディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、色域レンディション・パラメータである、方法。
【請求項14】
請求項１３記載の方法において、前記所与のメディア・コンポジションの前記ソース・メディア・アセットが、グラフィクス・アセットおよびビデオ・アセットの内の１つであり、
前記色域レンディション・パラメータが、多次元色空間内に多次元領域を定めるリーガル・カラー・レンジを含み、
前記レンディション・エンジンが、前記リーガル・カラー・レンジ内に存在する色値を有する前記所与のメディア・コンポジションの前記ソース・メディア・アセットの画素を、優先して前記レンディションに含ませる、方法。
【請求項15】
請求項１記載の方法において、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた前記編集レンディション規則が、前記レンディションのフレーム上におけるタイトル・テキストのレイアウトのための空間編集レンディション規則であり、
少なくとも１つのメディア・エッセンス・エンコーディング・パラメータが、空間フレーミング・ボックスであり、
前記所与のメディア・コンポジションの前記ソース・メディア・アセットが、テキスト・タイトリング・エフェクトであり、
前記レンディション・エンジンが、前記レンディションのフレーム上の前記空間フレーミング・ボックス内に、前記テキスト・タイトリング・エフェクトのテキストをレンダリングする、方法。
【請求項16】
請求項１記載の方法において、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた前記編集レンディション規則が、コンポジション編集レンディション規則であり、
少なくとも１つのメディア・エッセンス・エンコーディング・パラメータが、空間フレーミング・ボックスであり、
前記所与のメディア・コンポジションの前記ソース・メディア・アセットが、合成エフェクトであり、
前記レンディション・エンジンが、合成画像を有する前記レンディションのフレームを前記空間フレーミング・ボックス内にレンダリングする、方法。
【請求項17】
請求項１記載の方法において、前記レンディション・プロファイル、および前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた前記編集レンディション規則は、前記レンディション・エンジンが標準化された形態で受け取り、前記レンディション・エンジンが、規則を実行するための包括的ロジックを含む、方法。
【請求項18】
請求項１記載の方法において、前記レンディション・エンジンが、深層学習方法を使用して、広範囲のメディア・コンテンツ、ソース・メディア・タイプ、およびレンディション要件を扱う作業をする編集者の集団から取り込んだ編集レンディション判断から学習させるロジックを含む、方法。
【請求項19】
コンピュータ・プログラムであって、コンピュータ・プログラム命令が格納された非一時的コンピュータ読み取り可能ストレージを含み、前記コンピュータ・プログラム命令がコンピュータによって処理されると、前記コンピュータに、メディア・コンポジションを編集する方法を実行するように命令し、前記方法が、
メディア合成ホスト・システムにおいて実行するメディア合成アプリケーションを使用して、編集者が、
前記メディア・コンポジションを編集し、前記メディア・コンポジションが合成オブジェクトを含み、前記合成オブジェクトがソース・メディア・アセットを参照し、
前記合成オブジェクトに対して編集レンディション規則を指定し、前記編集レンディション規則が、メディア・エッセンス・エンコーディング・パラメータの複数の値のそれぞれの値毎に、前記合成オブジェクトがどのようにレンダリングされるかを指定し、
前記編集レンディション規則を前記メディア・コンポジションの前記合成オブジェクトと関連付ける、
ことを可能にするステップと、
所与のメディア・コンポジションのレンディションが生成されるとき、レンディション・エンジンが、
前記所与のメディア・コンポジションを受け、前記所与のメディア・コンポジションが、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた編集レンディション規則を含み、
前記所与のメディア・コンポジションのレンディションに対して、前記メディア・エッセンス・エンコーディング・パラメータの所与の値を指定するレンディション・プロファイルを受け、
前記所与のメディア・コンポジションのソース・メディア・アセットを入力し、
前記メディア・エッセンス・エンコーディング・パラメータの所与の値が前記合成オブジェクトに適用されるときに、前記所与のメディア・コンポジションの前記編集レンディション規則にしたがって、前記所与のメディア・コンポジションのソース・メディア・アセットから、前記所与のメディア・コンポジションのレンディションを生成する、
ステップとを含む、コンピュータ・プログラム。
【請求項20】
メディア・コンポジション編集システムであって、コンピュータ読み取り可能命令を格納するためのメモリと、
前記メモリに接続されたプロセッサと、
を含み、前記プロセッサが、前記コンピュータ読み取り可能命令を実行すると、前記メディア・コンポジション編集システムに、
メディア合成アプリケーションを使用して、編集者が、
メディア・コンポジションを編集し、前記メディア・コンポジションが合成オブジェクトを含み、前記合成オブジェクトがソース・メディア・アセットを参照し、
前記合成オブジェクトに対して編集レンディション規則を指定し、前記編集レンディション規則が、メディア・エッセンス・エンコーディング・パラメータの複数の値のそれぞれの値毎に、前記合成オブジェクトがどのようにレンダリングされるかを指定し、
前記編集レンディション規則を前記メディア・コンポジションの前記合成オブジェクトと関連付ける、
ことを可能にさせ、
所与のメディア・コンポジションのレンディションが生成されるとき、レンディション・エンジンが、
前記所与のメディア・コンポジションを受け、前記所与のメディア・コンポジションが、前記編集者が指定し前記所与のメディア・コンポジションの合成オブジェクトと関連付けた編集レンディション規則を含み、
前記所与のメディア・コンポジションのレンディションに対して、前記メディア・エッセンス・エンコーディング・パラメータの所与の値を指定するレンディション・プロファイルを受け、
前記所与のメディア・コンポジションのソース・メディア・アセットを入力し、
前記メディア・エッセンス・エンコーディング・パラメータの所与の値が前記合成オブジェクトに適用されるときに、前記所与のメディア・コンポジションの前記編集レンディション規則にしたがって、前記所与のメディア・コンポジションの前記ソース・メディア・アセットから、前記所与のメディア・コンポジションのレンディションを生成する、
メディア・コンポジション編集システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願に対する相互引用
[001] 本願は、３５Ｕ．Ｓ．Ｃ．§１２０に基づく優先権および権利を主張し、２０１８年７月２日に出願された係属中の米国特許出願第１０／０２５，０４３号の継続出願である。この特許出願をここで引用したことにより、その内容は本願にも含まれるものとする。
[001] 本願は、３５Ｕ．Ｓ．Ｃ．§１２０に基づく優先権および権利を主張し、２０１８年７月２日に出願された係属中の米国特許出願第１０／０２５，０４３号の継続出願である。この特許出願をここで引用したことにより、その内容は本願にも含まれるものとする。
【従来技術】
【0002】
[002] メディアは、劇場、事務所、家庭、および多くの他の会場において世界中で消費されている。メディアは、大型の固定画面上、ハンドヘルド移動体デバイス上、および広範囲にわたる中間プラットフォーム上で視聴される。メディア消費設定値およびプラットフォームの数が増えるに連れて、メディアがコンシューマに配信されることが意図された会場やプラットフォームの各々に適したバージョンおよびフォーマットで、メディア・コンテンツの所与の品目が配信されることに対する要望が増えつつある。更に、出版および流通の手段も多様になっている。その結果、所与のメディア・プロジェクトが、数十、または百を超える異なる成果物(deliverable)を求めることもある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
[003] 今日のメディア出版ワークフローは、時間がかかり、複雑であり、誤りが発生しやすく、その場しのぎである。メディアの作成に関与するものは、少量のバージョン、レンディッション(rendition)、および消費媒体(vehicle)しか要求されないときには、このような非効率性に対処することができたが、このような方法は、所与のメディア・プロジェクトに対する成果物が多様になるに連れて、扱い難くなりそして費用がかかり過ぎるようになった。加えて、メディア作成のストーリテリング(story-telling)段階に関与する創作編集者(creative editor)は、彼らの創作的選択を下流のレンダリング・プロセスにおいて表現する能力を有していない。したがって、メディア作成および出版パイプラインは、コンテンツを広げメディア成果物の技術的品質を高め、更に生産性を押し上げてコストを制御する新たな手法を必要としている。
【課題を解決するための手段】
【0004】
[0004] 概略的に、本明細書において説明する方法、システム、およびコンピュータ・プログラム製品は、メディア作成および出版ワークフローの部分の正当化(rationalization)および自動化を可能にする。編集プロセスの任意の段階において、編集者には、合成オブジェクトを規則とタグ付けする手段が提供される。規則は、レンディション・プロファイルによって指定された通りの出力レンダリングを可能な限り最良の品質で生成しつつ、編集者のレンディション関連選択を忠実に守るようにするには、どのようなレンダリングの判断を行い、どのように入力ソースを扱うべきか指定する。これらのタグは、コンポジションをレンダリングするときに、レンディション・エンジンによって下流において解釈される規則を規定する(provide)。これらの規則は、レンディション要件を指定する１組のプロファイルに応答して、どのようにレンディションを生成すべきか指定する。
【0005】
[0005] 概略的に、１つの態様において、メディア・コンポジションを編集する方法は、メディア合成ホスト・システムにおいて実行するメディア合成アプリケーションを使用して、編集者が、メディア・コンポジションを編集し、メディア・コンポジションが合成オブジェクトを含み、合成オブジェクトがソース・メディア・アセットを参照し、合成オブジェクトに対して編集レンディション規則を指定し、編集レンディション規則をメディア・コンポジションの合成オブジェクトと関連付けることを可能にするステップと、所与のメディア・コンポジションのレンディションが生成されるとき、レンディション・エンジンが、所与のメディア・コンポジションと、編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則とを受け、所与のメディア・コンポジションのレンディションに対して、メディア・エッセンス・エンコーディング・パラメータを指定するレンディション・プロファイルを受け、所与のコンポジションのソース・メディア・アセットを入力し、所与のコンポジションの編集レンディション規則、および所与のコンポジションのレンディションに対するメディア・エッセンス・エンコーディング・パラメータにしたがって、所与のメディア・コンポジションのソース・メディア・アセットから、所与のメディア・コンポジションのレンディションを生成するステップとを含む。
【0006】
[0006] 種々の実施形態は、以下の特徴の内１つ以上を含む。メディア合成アプリケーションが、レンディション・エンジンを含む。レンディション・エンジンが、メディア合成ホストの外部にあるプラットフォーム上にホストされる。レンディション・プロファイルが、所与のコンポジションのレンディションを生成するために使用されるべき所与のメディア・コンポジションのバージョンを指定する。編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、空間編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、空間レンディション・パラメータである。空間レンディション・パラメータが、所与のメディア・コンポジションの合成オブジェクトのビデオ・フレームの一部分を定めるフレーミング・ボックスであり、レンディション・エンジンが、フレーミング・ボックス内に存在する所与のコンポジションのソース・メディア・アセットの第１部分を、優先してレンディションに含ませる。レンディションに対するターゲット・ディスプレイのアスペクト比が、フレーミング・ボックスのアスペクト比よりも大きく、レンディション・エンジンが、更に、フレーミング・ボックスの外側にある所与のコンポジションのソース・メディア・アセットの第２部分を、優先してレンディションに含ませ、所与のメディア・コンポジションのソース・メディア・アセットの第２部分が、メディア・エッセンス・データを含む。編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、時間編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、時間レンディション・パラメータである。時間レンディション・パラメータが、所与のコンポジションのソース・メディア・アセット内に時間範囲を定める時間フレーミング・レンジを含み、レンディション・エンジンのロジックが、時間フレーミング・レンジ内に存在する所与のメディア・コンポジションのソース・メディア・アセットの時間部分を、優先してレンディションに含ませる。編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、ダイナミック・レンジ編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、ダイナミック・レンジレンディション・パラメータである。所与のコンポジションのソース・メディア・アセットがビデオ・アセットであり、ダイナミック・レンジ・レンディション・パラメータが、所与のコンポジションのソース・メディア・アセット内に画素輝度(brightness)値の範囲を定めるリーガル・ダイナミック・レンジであり、レンディション・エンジンが、リーガル・レンジ内に存在する輝度値を有する所与のコンポジションのソース・メディア・アセットの画素を、優先してレンディションに含ませる。所与のコンポジションのソース・メディア・アセットがオーディオ・アセットであり、ダイナミック・レンジ・レンディション・パラメータが、所与のコンポジションのソース・メディア・アセット内のオーディオ・サンプル強度値の範囲を定めるリーガル・ダイナミック・レンジであり、レンディション・エンジンが、リーガル・レンジ内に存在する強度値を有する所与のコンポジションのソース・メディア・アセットのオーディオ・サンプルを、優先してレンディションに含ませる。編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、色編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、色域レンディション・パラメータである。所与のコンポジションのソース・メディア・アセットが、グラフィクス・アセットおよびビデオ・アセットの内の１つであり、色域レンディション・パラメータが、多次元色空間内に多次元領域を定めるリーガル・カラー・レンジを含み、レンディション・エンジンが、リーガル・カラー・レンジ内に存在する色値を有する所与のコンポジションのソース・メディア・アセットの画素を、優先してレンディションに含ませる。編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、レンディションのフレーム上におけるタイトル・テキストのレイアウトのための空間編集レンディション規則であり、少なくとも１つのメディア・エッセンス・エンコーディング・パラメータが、空間フレーミング・ボックスであり、所与のコンポジションのソース・メディア・アセットが、テキスト・タイトリング・エフェクト(text titling effect)であり、レンディション・エンジンが、レンディションのフレーム上のフレーミング・ボックス内に、テキスト・タイトリング・エフェクトのテキストをレンダリングする。編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、コンポジション編集レンディション規則であり、少なくとも１つのメディア・エッセンス・エンコーディング・パラメータが、空間フレーミング・ボックスであり、所与のコンポジションのソース・メディア・アセットが、合成エフェクト(compositing effect)であり、レンディション・エンジンが、合成画像を有するレンディションのフレームをフレーミング・ボックス内にレンダリングする。レンディション・プロファイル、および編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則が、レンディション・エンジンによって、標準化された形態で受け取られ、レンディション・エンジンが、規則を実行するための包括的ロジックを含む。レンディション・エンジンが、深層学習方法を使用して、広範囲のメディア・コンテンツ、ソース・メディア・タイプ、およびレンディション要件を扱う作業をする編集者の集団(cohort)から取り込んだ編集レンディション判断から学習されるロジックを含む。
【0007】
[0007] 概略的に、他の態様において、 コンピュータ・プログラム製品は、コンピュータ・プログラム命令が格納された非一時的コンピュータ読み取り可能ストレージを含み、コンピュータ・プログラム命令がコンピュータによって実行されると、コンピュータに、メディア・コンポジションを編集する方法を実行するように命令する。この方法は、メディア合成ホスト・システムにおいて実行するメディア合成アプリケーションを使用して、編集者が、メディア・コンポジションを編集し、メディア・コンポジションが合成オブジェクトを含み、合成オブジェクトがソース・メディア・アセットを参照し、合成オブジェクトに対して編集レンディション規則を指定し、編集レンディション規則をメディア・コンポジションの合成オブジェクトと関連付けることを可能にするステップと、所与のメディア・コンポジションのレンディションが生成されるとき、レンディション・エンジンが、所与のメディア・コンポジションと、編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則とを受け、所与のメディア・コンポジションのレンディションに対して、メディア・エッセンス・エンコーディング・パラメータを指定するレンディション・プロファイルを受け、所与のコンポジションのソース・メディア・アセットを入力し、所与のコンポジションの編集レンディション規則、および所与のコンポジションのレンディションに対するメディア・エッセンス・エンコーディング・パラメータにしたがって、所与のメディア・コンポジションのソース・メディア・アセットから、所与のメディア・コンポジションのレンディションを生成するステップとを含む。
【0008】
[0008] 概略的に、他の態様において、メディア・コンポジション編集システムは、コンピュータ読み取り可能命令を格納するためのメモリと、このメモリに接続されたプロセッサとを含み、このプロセッサが、コンピュータ読み取り可能命令を実行すると、システムに、システムにおいて実行するメディア合成アプリケーションを使用して、編集者が、メディア・コンポジションを編集し、メディア・コンポジションが合成オブジェクトを含み、合成オブジェクトがソース・メディア・アセットを参照し、合成オブジェクトに対して編集レンディション規則を指定し、編集レンディション規則をメディア・コンポジションの合成オブジェクトと関連付けることを可能にさせ、所与のメディア・コンポジションのレンディションが生成されるとき、レンディション・エンジンが、所与のメディア・コンポジションと、編集者が指定し所与のメディア・コンポジションの合成オブジェクトと関連付けられた編集レンディション規則とを受け、所与のメディア・コンポジションのレンディションに対して、メディア・エッセンス・エンコーディング・パラメータを指定するレンディション・プロファイルを受け、所与のコンポジションのソース・メディア・アセットを入力し、所与のコンポジションの編集レンディション規則、および所与のコンポジションのレンディションに対するメディア・エッセンス・エンコーディング・パラメータにしたがって、所与のメディア・コンポジションのソース・メディア・アセットから、所与のメディア・コンポジションのレンディションを生成する。
【0009】
[0009] 概略的に、他の態様において、メディア・コンポジションのレンディションを生成する方法は、メディア・コンポジションを受けるステップであって、メディア・コンポジションが、ソース・メディア・アセットを参照する合成オブジェクトを含み、合成オブジェクトが、メディア・コンポジションの編集者によって、メディア合成アプリケーションを使用して、指定された編集レンディション規則と関連付けられる、ステップと、メディア・コンポジションのレンディションに対してメディア・エッセンス・エンコーディング・パラメータを指定するレンディション・プロファイルを受けるステップと、編集レンディション規則と、メディア・コンポジションのレンディションに対するメディア・エッセンス・エンコーディング・パラメータとにしたがって、ソース・メディア・アセットから、メディア・コンポジションのレンディションを生成するステップとを含む。
【0010】
[0010] 種々の実施形態は、以下の特徴の内１つ以上を含む。メディア・コンポジションが複数のバージョンを有し、レンディション・プロファイルが、更に、メディア・コンポジションの複数のバージョンの内、コンポジションのレンディションを生成するために使用されるべきバージョンを指定する。 編集レンディション規則が、空間編集レンディション規則であり、レンディション・プロファイルによって指定されるメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが空間レンディション・パラメータである。空間レンディション・パラメータが、メディア・コンポジションの合成オブジェクトのビデオ・フレームの一部分を定めるフレーミング・ボックスであり、コンポジションのソース・メディア・アセットの内、フレーミング・ボックス内に存在する第１部分が、優先してレンディションに含まれる。レンディションに対するターゲット・ディスプレイのアスペクト比が、フレーミング・ボックスのアスペクト比よりも大きく、コンポジションのソース・メディア・アセットの内、フレーミング・ボックスの外側にある第２部分も、優先してレンディションに含まれ、メディア・コンポジションのソース・メディア・アセットの第２部分が、メディア・エッセンス・データを含む。編集レンディション規則が、時間編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが時間レンディション・パラメータである。時間レンディション・パラメータが、コンポジションのソース・メディア・アセット内における時間範囲を定める時間フレーミング・レンジを含み、メディア・コンポジションのソース・メディア・アセットの内、時間フレーミング・レンジ内に存在する時間部分が、優先してレンディションに含まれる。編集レンディション規則が、ダイナミック・レンジ編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、ダイナミック・レンジ・レンディション・パラメータである。コンポジションのソース・メディア・アセットが、ビデオ・アセットであり、ダイナミック・レンジ・レンディション・パラメータが、コンポジションのソース・メディア・アセット内における画素輝度値の範囲を定めるリーガル・ダイナミック・レンジであり、リーガル・レンジ内に存在する輝度値を有するコンポジションのソース・メディア・アセットの画素が、優先してレンディションに含まれる。コンポジションのソース・メディア・アセットが、オーディオ・アセットであり、ダイナミック・レンジ・レンディション・パラメータが、コンポジションのソース・メディア・アセット内におけるオーディオ・サンプル強度値の範囲を定めるリーガル・ダイナミック・レンジであり、リーガル・レンジ内に存在する強度値を有するコンポジションのソース・メディア・アセットのオーディオ・サンプルが、優先してレンディションに含まれる。編集レンディション規則が、色編集レンディション規則であり、レンディション・プロファイルによって指定されたメディア・エッセンス・エンコーディング・パラメータの少なくとも１つが、色域レンディション・パラメータである。コンポジションが、グラフィクス・アセットおよびビデオ・アセットの内の１つであり、色域レンディション・パラメータが、多次元色空間内における多次元領域を定めるリーガル・カラー・レンジを含み、リーガル・カラー・レンジ内に存在する色値を有するコンポジションのソース・メディア・アセットの画素が、優先してレンディションに含まれる。編集レンディション規則が、レンディションのフレーム上におけるタイトル・テキストのレイアウトに対する空間編集レンディション規則であり、少なくとも１つのメディア・エッセンス・エンコーディング・パラメータが、空間フレーミング・ボックスであり、コンポジションのソース・メディア・アセットがテキスト・タイトリング・エフェクトであり、テキスト・タイトリング・エフェクトのテキストが、レンディションのフレーム上においてフレーミング・ボックス内にレンダリングされる。編集レンディション規則が、コンポジション編集レンディション規則であり、少なくとも１つのメディア・エッセンス・エンコーディング・パラメータが、空間フレーミング・ボックスであり、コンポジションのソース・メディア・アセットが、合成エフェクトであり、フレーミング・ボックス内に合成画像を有するレンディションのフレームがレンダリングされる。生成するステップが、規則を実行するために包括的ロジックを使用して、編集レンディション規則を解釈するステップを含む。生成するステップが、深層学習方法を使用して、広範囲のメディア・コンテンツ、ソース・メディア・タイプ、およびレンディション要件を扱う作業をする編集者の集団から取り込んだ編集レンディション判断から学習されるロジックを実行するステップを含む。
【0011】
[0011] 概略的に、他の態様において、コンピュータ・プログラム製品は、コンピュータ・プログラム命令が格納された非一時的コンピュータ読み取り可能ストレージを含み、コンピュータ・プログラム命令がコンピューティング・システムによって処理されると、コンピューティング・システムに、メディア・コンポジションのレンディションを生成する方法を実行するように命令する。この方法は、メディア・コンポジションを受けるステップであって、メディア・コンポジションが、ソース・メディア・アセットを参照する合成オブジェクトを含み、合成オブジェクトが、メディア・コンポジションの編集者によって、メディア合成アプリケーションを使用して、指定された編集レンディション規則と関連付けられる、ステップと、メディア・コンポジションのレンディションに対してメディア・エッセンス・エンコーディング・パラメータを指定するレンディション・プロファイルを受けるステップと、編集レンディション規則と、メディア・コンポジションのレンディションに対するメディア・エッセンス・エンコーディング・パラメータとにしたがって、ソース・メディア・アセットから、メディア・コンポジションのレンディションを生成するステップとを含む。
【0012】
[0012] 種々の実施形態は、以下の特徴の内１つ以上を含む。コンピューティング・システムは、メディア・コンポジションが受け取られる場所から離れている。コンピューティング・システムはクラウド内に実装される。
【0013】
[0013] 概略的に、他の態様において、メディア合成レンディション・エンジンは、コンピュータ読み取り可能命令を格納するためのメモリと、メモリに接続されたプロセッサとを含む。プロセッサがコンピュータ読み取り可能命令を実行すると、メディア合成レンディション・エンジンに、メディア・コンポジションを受けさせ、メディア・コンポジションが、ソース・メディア・アセットを参照する合成オブジェクトを含み、合成オブジェクトが、メディア・コンポジションの編集者によって、メディア合成アプリケーションを使用して、指定された編集レンディション規則と関連付けられ、メディア・コンポジションのレンディションに対してメディア・エッセンス・エンコーディング・パラメータを指定するレンディション・プロファイルを受けさせ、編集レンディション規則と、メディア・コンポジションのレンディションに対するメディア・エッセンス・エンコーディング・パラメータとにしたがって、ソース・メディア・アセットから、メディア・コンポジションのレンディションを生成させる。
【0014】
[0014] 種々の実施形態は、以下の特徴の内１つ以上を含む。メディア合成レンディション・エンジンは、メディア・コンポジションが受け取られる場所から離れて位置する。メディア合成レンディション・エンジンは、クラウド内に実装される。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
[0028] 本明細書において説明するシステムおよび方法は、所与のコンポジション(composition)または１組の関連コンポジションに由来する１組のメディア成果物(deliverable)を生成するための新たな枠組みを提供する。編集段階において挿入されるレンダリング規則と、コンポジションがタグ付けされるワークフローについて説明する。規則は、引き渡し可能な(deliverable)メディア・ベース製品がレンダリングされるときに、下流において自動または半自動的に解釈される。典型的な全体的(end-to-end)メディア・ワークフローは、（ｉ）コンポジションを作成する段階、（ｉｉ）随意に、種々のターゲット地域、コンシューマの年齢層(gemographics)、および消費会場に対するコンテンツ・ケータリング(content catering)に多様性がある１つ以上のコンポジションに基づくバージョンのファミリを作成する段階、（ｉｉｉ）バージョンのファミリから、またはバージョンが生成されない場合、コンポジションから直接、レンディションを生成する段階、および（ｉｖ）引き渡し可能なメディア・パッケージをレンディションから生成し配布する段階とを含む。ここで中心となるのは、出版されるメディア製品のレンダリングの最適化および自動化、即ち、ワークフローにおける段階（ｉｉｉ）のレンディションの生成である。本明細書において使用する場合、レンディション(rendition)とは、ターゲット・プラットフォームによって消費、即ち、再生することができる形態におけるメディア・コンポジションの「平坦化」レンダリング(flattened rendering)である。共通レンディション・フォーマットには、オーディオ相互交換ファイル・フィーマット（．ＡＩＦＦ）、ＷＡＶＥオーディオ・ファイル（．ＷＡＶ）、ＭＰ３オーディオ・ファイル（．ＭＰ３）、ＭＰＥＧムービー（.ＭＰＧ）、Ａｐｐｌｅ ＱｕｉｃｋＴｉｍｅ Ｍｏｖｉｅ（．ＭＯＶ）、ウィンドウズ、メディア・ビデオ・ファイル（．ＷＭＶ）、マテリアル交換フォーマット（ＭＸＦ），相互動作可能マスタリング・フォーマット（ＩＭＦ）、およびディジタル・シネマ・パッケージ（ＤＣＰ）が含まれる。
【0017】
[0029] 一般に、所与のメディア・コンポジションを、それが消費されようとしている複数のコンテキストに対して適合化および最適化する必要がある。従前では、これはトランスコーディング・プロセス(transcoding proess)によって行われていた。トランスコーディング・プロセスは、高品質平坦化ファイル(flattened file)、通例「マスタ」と呼ばれるものの空間、時間、および色の再フォーマッティングおよび圧縮を伴う。マスタは、複数のトラックおよびエフェクトが混合され１つのメディア・ストリームになった最終ミックスを表す。マスタからトランスコードするとき、結果的に得られるプログラムの品質は、マスタの品質に制限される。何故なら、どんなに良くても、トランスコーディング処理はマスタの品質を保存するだけであり、多くの場合、劣化させるからである。
【0018】
[0030] また、「マスタ」という用語は、流通マスタ(distribution master)に言及するときにも使用される。流通マスタとは、種々のメディア発信地および業務への流通のために組み立てられるパッケージである。パッケージは、言語、プログラム長、およびターゲット・ディスプレイ・パラメータというような面に対して、複数の代わりの選択肢を含む。流通マスタ内に含まれるメディア（即ち、ビデオおよびオーディオ）選択肢は、元のマスタを要求されたフォーマットにトランスコードすることによって生成されたミックス・ダウン・ファイル(mixed-down file)である。つまり、このような流通マスタが複数の代わりのトラックを含むことができるが、これらの各々は、元のソース・アセットに関して定められたプログラムのコンポジション・エレメントとしてではなく、「平坦化された」代用物として含まれる。実際、ソース・アセットは流通パッケージ内に含まれもしない。一例として、東カナダのために作成される流通マスタであれば、英語およびフランス語双方のダイアログ・トラックと、スマートフォンおよびHＤテレビジョン用にフォーマットされたビデオ・ファイルとを含む。ディジタル・シネマ・パッケージ（ＤＣＰ）および相互動作可能マスタリング・フォーマット（ＩＭＦ）は、流通マスタ・タイプの２つの例である。
【0019】
[0031] 対照的に、本明細書において説明する方法およびシステムは、メディア成果物の発行に関する編集判断の非可逆的な適用を、成果物の具体的な要件が分かり、成果物が生成されるまで延期する。元の編集されたコンポジションおよび元のソース・アセットが利用可能にされるので、トラック・ミキシング、複合(compositing)、およびエフェクトというようなレンディション選択肢の適用を、ミックス・ダウン・バージョンではなく、元のメディアのソースに対して実行することを可能にする。例えば、ＨＤメザニン・フォーマットで４Ｋソース・メディアを編集した後に４Ｋ解像度の成果物を生成するためには、従前からの方法は、編集されたＨＤマスタを再サンプリングして４Ｋ成果物を生成するので、その結果品質が元のものよりも低くなる。対照的に、本明細書において説明する方法を使用すると、編集が完了した後に、４Ｋソース材料から成果物が直接生成される。タイトルまたはクローズド・キャプションのようなテキストのレイアウトは、他の例を示す(provide)。既存の方法では、要求された宛先の画面サイズにテキストが収まらない場合、利用可能な唯一の選択肢は、画像全体をスケールするまたはクロップすることであるが、こうすると、テキストが判読できなくなる、または成果物から削除される(cropped out of)おそれがある。本明細書において説明する手法では、宛先画面サイズが指定されたときでも、元のメディアおよび文字入れエフェクト(titling effect)はなおも利用可能であるので、おそらくは宛先画面のアスペクト比のためにテキストが収まらない場合、文字入れエフェクトを再度実行し、それが宛先画面に最適に収まるように、テキストが配置される(lay out)。更に他の例は、色補正を伴う。高ダイナミック・レンジ（ＨＤＲ）可能モニタ(capable monitor)への最終出力が指定される場合、８ビットまたは１０ビット・マスタは、表示するために利用可能な全輝度範囲を供給できない。しかし、元のメディア・コンポジションおよびソース・メディア・アセットが未だ利用可能であるので、元のメディア(original)の全ダイナミック・レンジを、流通用レンディション(distributed rendition)に含ませることができる。
【0020】
[0032] このようなワークフローを実現するために、追加機能を編集環境に追加し、編集者が、レンディションをどのように生成すべきか定める規則および対応するパラメータを指定すること、ならびにこれらの規則をメディア・コンポジションと関連付けること、更に特定すれば、メディア・コンポジションのコンポジション・オブジェクト(compositional object)と関連付けることを可能にする。規則は、レンディションがコンポジションから生成されるときに、自動レンダリング・ソフトウェアに露出される。本明細書において説明する方法は、編集者がメディアにおいて語りたいストーリーを具体化する彼らの能力を確認するためのメカニズムを、編集者に提供する。即ち、骨の折れる手作業での副編集によって再度作成するのではなく、彼らの全創作意図(full creative intent)は、レンディションが生成されるときに、自動的に下流側で把握される。このような規則のことを「編集レンディション規則」(editorial rendition rules)と呼ぶ。何故なら、これらは本質的に事実上編集に関わり、メディア・フォーマット・レンディション規則とは区別されなければならないからである。後者は、レンディションを生成するときに種々のコデック・パラメータが適用される条件を指定することによって、メディア・ファイルの構造およびフォーマット、ならびに技術的なメディア品質を最適化する機能を果たす。既存のワークフローでは、共通フォーマットの決定は、創作的編集および組み立て仕上げプロセスの下流側にいる要員によって指定される。場合によっては、フォーマットの決定およびエンコーディングは手作業で行われることもある。本明細書において説明する方法は、ワークフローのこの段階の自動化も同様にサポートする。しかしながら、メディア・フォーマット規則およびパラメータは、レンディション指定の一部として供給され、メディア・コンポジション内ではなく、レンディション・プロファイル（以下で説明する）内で提供される。
【0021】
[0033] 本明細書において説明する方法は、メディア発行者および流通者が彼らのアセットを収益化する能力を、保管されているアセットを再利用する能力を提供することによって、高める役割を果たす。創作的判断は元のソース・メディア・アセットに対して行われ、これらのアセットと関連付けてメタデータとしてアーカイブに格納されるので、メディア作用域(media scope)および品質のフル・レンジが、任意の時点においてレンディションを生成するために利用可能であり続ける。これは、空間ドメイン（元の大きなラスタ）、時間ドメイン（元のフレーム・レート）、および色ドメイン（元のダイナミック・レンジ）に適用される。
【0022】
[0034] 図１は、説明するメディア出版ワークフロー、およびこのプロセスに関与するデータ・オブジェクトを示す上位図である。ビデオ・クリップ、オーディオ・クリップ、コンピュータ生成画像のようなソース・メディア・アセット１０２、および特殊エフェクトは、素材のソースを提供し、この素材はメディア編集アプリケーション１０６を使用する編集者１０４によって使用される。メディア編集アプリケーション１０６は、非線形ビデオ・エディタ、デジタル・オーディオ・ワークステーション（ＤＡＷ）、またはコンポジション１０８を作成するための特殊エフェクト・アプリケーションであってもよい。このようなアプリケーションの例には、双方共マサチューセッツ州、ＢｕｒｌｉｎｇｔｏｎのＡｖｉｄ（登録商標） Ｔｅｃｈｎｏｌｏｇｙ, Ｉｎｃ．，からのＭＥＤＩＡ ＣＯＭＰＯＳＥＲ（登録商標）、非線形ビデオ・エディタ、およびＰＲＯ ＴＯＯＬＳ（登録商標）、ＤＡＷ、ならびにＡｄｏｂｅ（登録商標） Ｓｙｓｔｅｍｓ，ＩｎｃからのＡＦＴＥＲ－ＥＦＦＥＣＴＳ（登録商標）視覚エフェクト、モーション・グラフィクス、および合成アプリケーションが含まれる。コンポジション１０８は、一列に配列されたソース・メディア・アセット１０２のクリップを、編集判断、パラメータ、および設定値を指定する豊富なメタデータと共に含む複数のトラックによって表される。このコンポジションは、全てのソース・メディア・アセット、エフェクトに対する参照、およびこのコンポジションを再生またはレンダリングするために必要とされるメタデータを含む。このような「非平坦化」コンポジション(unflattened composition)は、更なる編集を許容する形態であり、先に引用した従前からの平坦化ファイル「マスタ」や、ＤＣＰおよびＩＭＦのような流通マスタとは区別されなければならない。コンポジションの構造は、アプリケーション毎に異なる。例えば、ＭＥＤＩＡ ＣＯＭＰＯＳＥＲはビデオ・コンポジションを「シーケンス」と呼び、設定値、ビン・ファイル、およびクリップを含み、シーケンス・メタデータはソースへの参照を含む。ＰＲＯ ＴＯＯＬＳは、オーディオ・コンポジションを「セッション」と呼び、セッションは、オーディオ編集およびミキシングの決定および設定値、ならびにオーディオ・ファイルおよびエフェクトのようなソース・アセットへの参照を指定するメタデータを含む。グラフィクスおよび合成コンポジション(compositing composition)は、シーン・グラフ(scene graph)として表され、グラフィクス・ソース・アセットに適用される編集判断を指定する。
【0023】
[0035] 前述のように、編集フェーズは、編集者が編集レンディション規則１１０を指定することを可能にすることによって、その従前からの作用域を超えて広げられる。編集者が編集レンディション規則を指定するとき、メディア合成アプリケーションは、この規則を、それが要求するかもしれない任意のパラメータの値と共に、コンポジションにおける該当する合成オブジェクト(compositional object)に添付する。図２は、３つのトラックを含み、各トラックが１つ以上のクリップを含むコンポジション２０２に対する合成データ・モデルを示す。トラックおよびクリップは、合成オブジェクトの例である。トラック１ ２０４は編集レンディション規則Ａ２０６と関連付けられ、クリップ１ ２０８は編集レンディション規則２１０と関連付けられる。編集レンディション規則を合成オブジェクトと関連付けるステップは、本明細書では、合成オブジェクトを規則とタグ付けするとも呼ぶ。メディア合成アプリケーションは、ユーザ・インターフェースを供給する。このユーザ・インターフェースは、編集者が、メディア・コンポジションの選択された合成オブジェクトに対して編集レンディション規則およびパラメータを作成し入力することを可能にする。一旦編集者によって指定されると、編集者は合成オブジェクトを編集レンディション規則とタグ付けすることができ、規則は、図２に示すように、メディア・コンポジションの一部となる。編集レンディション規則の例については、以下で説明する。
【0024】
[0036] コンポジションの１つ以上のレンディションが生成されようとするとき、編集レンディション規則１１０は、レンディション１１６を生成するために、レンディション・プロファイル１１４によって指定されるメディア引き渡し要件(media deliverable requirement)にしたがって、レンディション・エンジン１１２によって解釈される。レンディション・エンジン・ロジックは、その対応するレンディション・プロファイルに見合った品質で各レンディションを生成しようとする。レンディション・エンジンは、中間ファイルに頼らずに、元のソース・アセットから開始するので、この品質は、これらのアセットの品質以下になるおそれがある。また、ソース・エフェクトおよびソース・メディアへのアクセスは、指定されたパラメータを考慮してエフェクトがどのように適用されるかに関して、高い柔軟度を提供する。
【0025】
[0037] レンディション・プロファイル１１４は、１つ以上の個別レンディション・プロファイルを、生成されるレンディション毎に１つずつ含む。各レンディション・プロファイルは、以下のことを指定する。（ｉ）バージョン指定段階(version stage)を含むワークフローに対して、使用すべきバージョン、（ｉｉ）そのバージョンから生成されるべきメディア・パッケージの構造的記述、例えば、相互動作可能マスタ・フォーマット（ＩＭＦ）、素材交換フォーマット（ＭＸＦ）ＯＰ－ＡｔｏｍおよびＯＰ１ａ、（ｉｉｉ）空間フレーミング・ボックス(framing box)のような空間パラメータ、時間フレーミング・レンジのような時間パラメータ、ならびにダイナミック・レンジおよびカラー・リーガル・レンジ(color legal ranges)のような色パラメータを含むが、これらに限定されない、エッセンス・エンコーディング・パラメータ(essence encoding parameter)、（ｉｖ）デプロイすべき流通方法。加えて、レンディション・プロファイルは、おそらくは、レンディション要件が最初に定められたときに編集者によって既に指定されている、１つ以上の編集レンディション規則も含むことができる。これらは、コンポジション内に埋め込まれた編集レンディション規則を補足することができる。更に、有効なボックスまたはフレーミング・ボックス（以下を参照）のような、特定のレンディション・パラメータが、ソース・メディア・アセット１０２内部に存在してもよく、編集レンディション規則１１０にしたがって、レンディション・プロファイル内に存在する対応するパラメータよりも優先度が与えられてもよい。しかしながら、パラメータを解釈しレンディションを生成するためにレンディション・エンジンによって使用されるロジックは、レンディション・パラメータのソースがたとえ何であっても、同一である。図３は、所与のコンポジションに対する１組のレンディション・プロファイルの例示的な図である。
【0026】
[0038] あるワークフローでは、１つ以上の部分的にミックス・ダウンされたメディア・ファイルを含むメディア・アセットからレンディションが生成される場合がある。このような中間ファイルは、次に、レンディション・フェーズ中に他の元のメディアおよび／またはエフェクトと組み合わせられる。他の例では、背景トラックは平坦化されるが、タイトル・トラックはレンディション・フェーズの間手を付けずに残されるか、またはミックス・ダウンされたモノ・オーディオ・トラックが、レンディションの直前に指定された言語でダイアログに混合するために、レンディション・フェーズにおいて使用される。つまり、レンディション決定(renditioning decision)の中には、延期されたままのものもあり、最終レンディション(final renditioning)における柔軟性を保持し、一方他の決定は、ワークフローの早いフェーズにおいてコミットされる。
【0027】
[00391 ワークフローの最終フェーズにおいて、１つ以上のレンディションが流通マスタ内にパッケージングされ、次いで、流通マスタは、これらが消費されようとしている場所に流通される。
【0028】
[0040] 図４Ａは、１つのコンポジション４０２からの複数のレンディション４０６の生成を示す。各レンディションは、１組のレンディション・プロファイル４０４の内対応するメンバによって指定される。図４Ｂは、コンポジションの複数のバージョンが生成されるワークフローにおけるレンディションの生成を示す。各バージョンは、次に、１組のレンディションの基礎として使用することができる。バージョンとは、コンテンツおよび／または特定のエレメントのタイミングの変動(variation)を含むコンポジションの変形(variation)を指す。サブマスタまたはカプセル化クリップまたは部分的ミックス・ダウンの形態とした他のソースまたはコンポジションも、種々のバージョンに対するコンテンツを提供することができる。例えば、連続プログラムの１回分の作品を著す１組のバージョンが、その１回分の作品の個々のコンテンツを表すコンポジションからのコンテンツ、および各１回分の作品において再生(reproduce)されるオープニング・シーン(opening sequence)を含む第２マスタからのコンテンツを含むことができる。コンポジションの複数のバージョンは、各々、異なる言語のダイアログ・トラックを含むことができる。ダイアログ・トラックに加えて、異なる言語バージョンを実現するために必要とされる変形は、表題(titling)、字幕(subtitling)、および場面選択も含む(involve)ことができる。他のバージョン・タイプには、１つ以上の場面が、意図される消費会場に基づいて追加または除去されているものがある。例えば、航空機事故を含む場面は、機内航空会社バージョン(in-flight airline version)から除去される。一般聴衆に示されるバージョンは、成人聴衆に意図されたものとは異なる場面を含むことができる。他のタイプのバージョニング(versioning)では、プログラム内における広告の挿入、または流通時点において追加される広告のためのある範囲のプレースホルダ長が含まれる。生成される１組のバージョンは、１組のバージョン・プロファイルによって指定することができ、１組のバージョン・プロファイルは、コンポジションの編集が行われている間または完了した後に供給することができる。図４Ｂを参照すると、コンポジション４０８は、バージョンＡ４１０およびバージョンＢ４１２の基礎として使用されている。レンディション・プロファイルＡ４１４にしたがって、バージョンＡは、合成の基礎として使用され、これから、レンディションＡ１、Ａ２、Ａ３、およびＡ４ ４１６が生成され、更にレンディション・プロファイルＢ４１８にしたがって、バージョンＢは合成の基礎として使用され、これから、レンディションＢ１およびＢ２ ４２０が生成される。
【0029】
[0041] １組の供給されたレンディション・プロファイルの所与のメンバにしたがってレンディションを生成するとき、レンディション・エンジンは、メディア・コンポジションおよびその合成オブジェクト（またはバージョンが存在する場合は、そのコンポジションのどのバージョンか）を読み出すのに必要とされるロジックを実行し、それを使用して、空間、時間、または色に関係するレンディション・ロジックの内１つ以上が所与のレンディション・プロファイルによって供給されるエッセンス・エンコーディング・パラメータに適用されるときに、編集レンディション規則にしたがってこれらを呼び出ながら、ソース・メディア・アセット、エフェクトを、指定されたレンディションに変換する。加えて、レンディション規則は、複数の代替アセットが利用可能なときに、編集者がソース・メディア・アセットの選択を最適化するために規則を指定することを可能にすることもできる。代替アセットは、それらの空間、時間、または色解像度あるいは範囲の内１つ以上において、互いに異なってもよい。レンディション・エンジンは、編集レンディション規則を、タグ付けされたコンポジション自体から受け、更に規則の対応するパラメータを、合成規則自体、レンディション・プロファイル、およびソース・メディア・アセットの内１つ以上から受ける。
【0030】
[0042] これより、レンディション規則の３つのカテゴリ、ならびにそれらのパラメータ、空間、色、および時間パラメータについて説明する。空間パラメータは、ビデオ・フレーム内部におけるｘ、ｙ範囲に関する。図５に示すように、３つのボックスが空間パラメータを定める。ビデオ・フレーム５０２について、エッセンス・ボックス５０４はサンプルが存在する画像の範囲(extent)を定める。これは、以前にパディングとして導入された黒いサンプルを含むことができる。有効ボックス５０６は、パディングのために以前に導入された画素とは対照的に、画像コンテンツを含む画素の範囲を定める。編集者によって定められる１つ以上のフレーミング・ボックスが、画像の最も重要な部分がどこに位置するかに関する編集者の評価を構成する。編集者は、フレーミング・ボックスを使用して安全アクション領域、安全タイトル領域を定めるか、または画像のどこにアクター(actor)がいるかシステムに伝える。フレーミング・ボックスは、フレームのどの部分に、レンディションに含める優先度を与えるべきか決定するために、 空間型編集レンディション規則(spatial type editorial rendition rule)にしたがって呼び出される。例えば、レンディション・プロファイルによって指定されるターゲット・プレイアウト・ディスプレイのアスペクト比に依存して、使用されるべきフレーミング・ボックスの外形を,他の規則が制約する。図５は、フレーミング・ボックス５０８を示す。これは、フレーミング・ボックス５０８およびターゲット・スクリーン５１０のアスペクト比が同一であり、フレーミング・ボックスによって定められる全範囲がレンディション・フレーム５１２内に含まれる例を示す。ソース・メディア・アセット内部で定められるエッセンス・ボックスおよび有効ボックスとは異なり、フレーミング・ボックスは性質上編集用(editorial)である。編集者によって使用されているメディア合成アプリケーションは、ユーザ・インターフェースを供給する。このユーザ・インターフェースは、編集者が、コンポジションの個々のフレーム、クリップ、または他の部分に対してフレーミング・ボックスを指定することを可能にする。例示的なユーザ・インターフェースでは、このアプリケーションは、編集者が、アプリケーションのユーザ・インターフェース内部にある再生ウィンドウに表示されているビデオ・フレームの表示上にフレーミング・ボックスを描くことを可能にする。
【0031】
[0043] 空間レンディション・パラメータは解像度とは無関係である。つまり、フレーミング・ボックスは、編集者が画素のｘ、ｙ範囲に関して呼び出す(call out)ことを望む画像の部分を定める。図６は、２つの異なる空間レンディション規則が、異なるレンディションを、同じ空間パラメータ（この場合、解像度パラメータ）をそれらの(レンディション・プロファイルに有する２つのレンディションに対して、どのように生成させるかを示す。ソース画像５０２は、３８４０×２１６０の解像度を有する。フレーミング・ボックス６０４は、（１０００～２９２０）、（５４０～１６２０）のｘ、ｙ範囲を定め、その結果、解像度を変化させることなく、フレーミング・ボックスによって定められる範囲に広がる、ソース画像６０２のクロップ部分(cropped portion)を示す画像６０６が、ＨＤ解像度で得られる。対照的に、ソース画像６０２のフル・レンジは、範囲を変化させることなく、単に解像度を変化させることによって、ＨＤ解像度の画像６０８にスケールすることができる。１９２０×１０８０ＨＤ画像を生成するためにスケールするかまたはクロップするか（または、更に一般的には、クロッピングおよびスケーリングの組み合わせを選択する）についての決定は、本質的に、性質上編集に関することである。何故なら、レンダリングされた画像の全体的な品質の方が重要でありソース画像をスケールすべきか、あるいは画像の極めて重要なコンテンツにコンシューマの注意を集中させるために画像をクロップするよりも、可能な品質の損失の方が重要でないかに関する定性的評価に依存する可能性があるからである。この例は、副編集者(sub-editor)または自動化されたレンダラ(renderer)が、不用意にフレームの最も重要な部分を切り抜くというような、拙い選択を行ったときに、空間編集レンディション規則の案内がないと起こる可能性がある曖昧さを示す。
【0032】
[0044] ヒンジング(hinging)規則は、他のタイプの空間レンディション規則である。ヒンジング規則は、インタラクティブ・エレメント、典型的にはグラフィカル・オブジェクトを、レンダリングされた表示上にどのように配置する(lay out)か指定する。これらの規則は、蝶番位置パラメータを含む。例えば、テレビジョン司会者(television presenter)によって調節することができる棒グラフは、底辺を蝶番として動かすことができ、その垂直方向の範囲が、固定された蝶番位置に関して変化する。他の空間規則およびパラメータは、ビデオ・ウォールのような１組の表示内における表示の配置、および、例えば、ピクチャ合成(picture compositing)内部のピクチャに対する合成規則を定める。
【0033】
[0045] 以下は、空間フレーミング・ボックスを使用するためのレンディション・エンジン・ロジックの例である。レンディション・ターゲット・ディスプレイが、フレーミング・ボックスと同じアスペクト比を有する場合、以下の規則が適用される。ターゲット・ディスプレイの解像度がフレーミング・ボックス内部の解像度と同じである場合、レンディション・エンジンは、単に、ソース・メディア・アセット内におけるフレーミング・ボックスの範囲をレンディションのために抽出するだけである。ターゲット・ディスプレイがフレーミング・ボックスよりも低い解像度を有する場合、フレーミング・ボックス内の画素の範囲を、ターゲット解像度までダウンサンプリングする。ターゲット・ディスプレイがフレーミング・ボックス内の解像度よりも高い解像度を有する場合、レンディションにおいて含まれる画素の範囲は、ソース・メディア・アセットにおけるフレーミング・ボックスを中心として対称的に広げられる。このような拡張の結果、レンディション・ボックスが有効ボックスに達した場合、有効ボックスに達する点を超えて必要とされる追加の解像度が、有効ボックスで制限される範囲のアップサンプリングによって得られ、またはターゲット・ディスプレイが、有効ボックスの外側であるがエッセンス・ボックスの内部にある非エッセンス部分を含むことが許される。後者の場合、ターゲット解像度に達する前に、エッセンス・ボックスの限度にも達した場合、エッセンス・ボックスで制限される範囲をアップサンプリングすることによって、残りの必要な解像度が得られる。
【0034】
[0046] レンディション・ターゲット・ディスプレイがフレーミング・ボックスのアスペクト比よりも高いアスペクト比（即ち、ｘ解像度のｙ解像度に対する比率が高い）を有する場合、以下の規則を適用する。レンディション・ボックスのｘ範囲を、ターゲット・アスペクト比に達するまで、ｙ解像度を変化させずに、フレーミング・ボックスの各側で対称的に広げる。結果的に得られた解像度がターゲット・ディスプレイのそれと一致した場合、これがレンディション・ボックスになる。ターゲット・ディスプレイの方が解像度が低い場合、ターゲットと一致するようにボックスをダウンサンプリングする。ターゲット・アスペクト比が得られる前に有効ボックスに達した場合、次いで、この範囲の一端のみにおいて有効ボックスに達した場合、この範囲の他端において有効ボックス以内で、範囲を広げる。ターゲットｘ解像度が得られる前に、ｘ範囲の両端が有効ボックスに達した場合、有効ボックスの外側であるがエッセンス・ボックスの内側にある画素を含ませることによって、未だ必要とされるアスペクト比の追加増大を得る。所望のアスペクト比を受け入れる(accommodate)ためにはエッセンス・ボックスにおいてもメディア・サンプルが不十分である場合、ｘ範囲の底辺および上辺において追加のパディングを挿入するか、またはｙ範囲をクロップする。一旦所望のアスペクト比に達したなら、解像度が要件を満たすならば、結果的に得られたボックスはレンディション・ボックスになり、またターゲット解像度を超える場合、ダウンサンプリングする。ターゲット・アスペクト比がフレーミング・ボックスのそれよりも低い場合、類似のロジックを適用する。
【0035】
[0047] ターゲット・アスペクト比を考慮するために、レンディション・エンジン・ロジックを使用してテキストを配列する(lay out)ことができる。クローズド・キャプションまたは字幕を配列するために、テキストのライン長を百分率で、例えば、ターゲット・ディスプレイの水平範囲の７５％に指定することができる。同様に、ターゲット・ディスプレイ上で入手可能な解像度に見合う解像度にフォント・サイズをスケールすることができる。テキストは、これらが重なり合う画像と干渉する可能性があるので、レンディション・エンジン・ロジックは、ターゲット・ディスプレイ上のフレーミング・ボックスの範囲外に範囲が利用可能であれば、フレーミング・ボックスによって定められる範囲を超える字幕の配置を回避する、または極力抑えようとすることができる。次いで、レンディション・エンジン(renditioning engine)は、読みやすさを阻害するおそれがあるテキスト・スケーリング・アーチファクトを導入する必要なく、レンディション毎に新たにテキストを配列する。また、テキストの審美的レイアウトに対する同様の規則は、ビデオ・コンポジションの先頭および後端において表示されるタイトル、または個々の場面の境界を定めるタイトル等のタイトルにも適用される。
【0036】
[0048] 時間レンディション・パラメータは、先に説明した空間パラメータに類似している。水平軸に沿って時間を表す図７の理想化したタイムラインにおいて示すように、時間エッセンス・レンジ(temporal essence range)７０２に対応する１つのクリップ全体(full clip)は、元の映像の一部ではないカウントダウン・クロックおよびカラー・バーのような、ヘッダ７０４およびフッタ７０６を含むことがある。エッセンス・レンジ全体に及ぶクリップ全体は、先に定めたエッセンス・ボックスと等価である。有効レンジ７０８は、元々なかったヘッダおよびフッタを除外するが、クリップのヘッド７１０およびテール７１２を含む。これらは、通例、移行の中で、例えば、直前のクリップまたは連続するクリップへのクロスフェードにおける使用のために設計される。通例、このようなヘッドおよびテールは、５２０個のビデオ・フレームを含む。フレーミング・レンジ７１４は、エッセンス・レンジの内部にあるクリップの内、元々はなかったヘッダ７０４およびフッタ７０６の双方、ならびにヘッダ７１０よびテール７１２を除外した部分である。フレーミング・レンジは、最も重要なコンテンツが存在する時間範囲を示す。クリップ内部におけるコンテンツの階層に対する指針を与えるために、追加の時間フレーミング・レンジを挿入することもできる。例えば、 第２フレーミング・レンジ７１６は、編集者によってクリップの中から指定され、下流における編集の進行中(on-the-fly editing)に元のクリップ長を約５０％に落とすために使用される時間的部分を示す。これによって、最も重要なコンテンツを失う危険を冒すことなく、コンポジションを異なる長さにする、自動下流編集(automated downstream editing)が可能になる。空間レンディション・パラメータと同様に、時間エッセンス・レンジおよび有効レンジは、ソース・メディア・アセットのプロパティであるが、フレーミング・レンジは編集者によって指定することができる。メディア合成アプリケーションのユーザ・インターフェースは、編集者が、例えば、マーカ７１８および７２０を、クリップの表示されたタイムライン表現上に挿入して、フレーミング・レンジの開始および終了を示すことによって、フレーミング・レンジを指定することを可能にする。
【0037】
[0049] 時間レンディション・パラメータに対するレンディション・エンジン・ロジックは、空間フレーミング・ボックスのそれと同様である。レンディション・プロファイルにおいて指定されたクリップのターゲット期間が、フレーミング・レンジによって指定されたそれと同一である場合、クリップのその部分がレンディション内に含まれる。フレーミング・ボックスの期間よりも長い期間が、レンディションにおいて要求される場合、フレーミング・レンジを超えるが有効レンジ内の追加コンテンツが追加される。具体的な使用事例では、ブロードキャスト・レンディションの期間は、放送される広告のようなインサートの数に依存する場合がある。何故なら、レンディションおよびインサートを組み合わせた期間は、所定の全割り当て時間内に収まらなければならないからである。これは放映時刻の直前に決定することができ、既に作成されている編集レンディション規則による自動レンダリングを特別に価値あるものにする。補足フレーミング・レンジ（例えば、図７の７１６）は、レンディション・エンジンが、３０秒、１分、または２分の短縮というような、編集で指定されたフレーミング・レンジの長さ短縮によって表される、種々の予測されたインサート期間にしたがって、コンテンツをカットすることを可能にする。他の使用事例では、最終編集の一部として、フェード移行におけるように、期間延長を必要とする新たなエフェクトが適用される。すると、この状況では、追加のコンテンツがフレーミング・ボックスを超えて、有効レンジ内に広がる。期間の延長が有効レンジによって完全に供給することができず、ソース・メディアには追加の素材が存在しない場合、フレーム複製、クリップのテールにグラフィクスまたは黒いフレームをパディングするというような、期間を広げるための他の技法を使用することもできる。
【0038】
[0050] 時間範囲(temporal range)と時間解像度(temporal resolution)との間の区別、即ち、１秒当たりのビデオ・フレーム数（ＦＰＳ）または１秒当たりのオーディオ・サンプル数を図８に示す。図８は、同じ時間範囲を有するが、異なる時間解像度を有する２つのビデオ・クリップ８０２および８０４を示す。クリップ８０２は、クリップ８０４の２倍の時間解像度を有する。例えば、５０ＦＰＳ対２５ＦＰＳである。
【0039】
[0051] レンディションの中には、要求フレーム・レートがソース・メディア・アセットのそれから逸脱するものもある。例えば、毎秒２４フレーム（ＦＰＳ）のフィルム・フレーム・レートを、２５ＦＰＳのビデオ・フレーム・レート（ＰＡＬエンコーディングの場合）または毎秒２９．９７フレーム（ＮＴＳＣエンコーディングの場合）でレンダリングする必要がある場合もある。このような変換を実行するとき、編集レンディション規則が、クリップの期間を保存するか否か、またはクリップ期間を変更することを許可するか否か決定する。より高いフレーム・レートに変換するときにクリップの期間を保存しようとする場合、内挿補間方法によって、例えば、３：２プルダウンによって、または余分なコンテンツをクリップに追加することによってのいずれかで、追加のフレームが得られる。より低いフレーム・レートに変換するときにクリップの期間を保存しようとする場合、クリップからフレームを除去することによって、随意に、除去されるフレームを使用して、保持されるフレームを調節／配合することによって、クリップをより少ないフレームにスケールする。クリップの期間が変動することが許される場合、ビデオの速度を変更する、即ち、多少遅くするまたは速くしつつ、クリップ・コンテンツにおけるフレーム数を保持ことができる。２４ＦＰＳのスースを２５ＦＰＳのレンディションにレンダリングするとき、通常では、単純なテンポ・スケーリング(tempo scaling)が容認可能であると見なされ、クリップ期間に対応するわずかな短縮が生ずるが、２４ＦＰＳのソースを２９．９７ＦＰＳレンディションにレンダリングするとき、単純なスケーリングを行うと、過剰な高速化が生ずる結果となる。したがって、この状況では、テンポおよび期間を保存するために、新たな内挿補間フレームを挿入する。
【0040】
[0052] 色レンディション規則およびそれらの関連パラメータは、白黒ダイナミック・レンジの内ターゲット・ディスプレイにマッピングされなければならない部分、またはビデオ・エンコーディング内のターゲット・ディスプレイにマッピングされなければならない多次元カラー・レンジの部分を選択するように、レンディション・エンジンに指令する。例えば、編集によって指定されるリーガル・レンジが、ＳＤまたはＨＤテレビジョン受像機上に表示することができるカラー・レンジに対応するのでもよい。他の編集によって指定されるリーガル・レンジが、ＨＤＲディスプレイ上に表示することができるもっと広いカラー・レンジに対応するのでもよい。
【0041】
[0053] 第１組の色パラメータは、ダイナミック・レンジを定める。エッセンス・レンジは、画像の画素値のエンコーディングが取ることができる値の範囲に対応する。これは、ビット長、即ち、各画素を表すために割り当てられたビットの数の関数である。有効レンジは、メディア・サンプルが存在する値の範囲に対応する。画像において実際のエンコード値(encoded value)の範囲は、通例エッセンス・レンジの部分集合であるリーガル・レンジに及ぶ。以上で定めたフレーミング・レンジに対応するリーガル・レンジは、編集者が基準黒点および白点間の範囲にマッピングするエンコード値の範囲であり、多くの場合０から１００％ＲＥで示される。
【0042】
[0054] 図９は、所与のビデオ・フレームの画素値のヒストグラム・プロット９０２上におけるダイナミック・レンジ・パラメータを示す。エッセンス・レンジ９０４は、フレームが表されるエンコーディング方式によって表すことができる範囲全体に及ぶ。有効レンジ９０６は、フレームの画素値によってエッセンス・レンジが埋められる(populate)広さ(extent)に及び、一方リーガル・レンジ９０８は、基準黒点および基準白点、即ち、０から１００％までのＩＲＥレンジに及ぶ範囲にマッピングされる画素値の範囲を示す。リーガル・レンジは、ブロードキャスト安全範囲(broadcast safe range)、即ち、リーガル・レンジ９０８のテレビジョン・モニタ９１０へのブロードキャストによって図９において示されるように、標準品位（ＳＤ）または高品位（ＨＤ）テレビジョン・モニタ上において表すことができる範囲に対応することができる。色編集レンディション規則を作成するとき、編集者は、ソース・ダイナミック・レンジのどの部分が示されようとするのか示すために、リーガル・レンジを指定することができる。例えば、ビデオ・コンポジションについて、編集者が微妙な詳細を示すことを望むのが、フレームの影においてであって、もっと明るく照明されたエリアではない場合、編集者はリーガル・レンジを有効レンジの下端に向けてスライドする。高ダイナミック・レンジ・モニタに対応する追加のリーガル・レンジも指定することができる。このようなモニタは、４,０００％ＩＲＥまたは１０，０００％ＩＲＥまでものダイナミック・レンジで画像(magery)を表示することができる場合もある。このようなディスプレイ上に何をマッピングすべきか指定するために、対応してもっと広いリーガル・レンジが、編集者によって有効レンジ内から指定される。メディア合成アプリケーションのユーザ・インターフェースは、編集者がリーガル・レンジを指定することを、例えば、ライン９１２および９１４をスライドさせることによって可能にし、リーガル・レンジの下限および上限を、それぞれ、画素値ヒストグラム・プロット９０２上の左または右に指定する(denote)。ディスプレイ・デバイス規格に対応する標準ダイナミック・レンジを選択してもよく、つまり、ライン９１２および９１４の分離を、このような規格に対応するように、例えば、０～１００％ＩＲＥ（ＳＤ、ＨＤ）または０～４，０００％ＩＲＥ（ＨＤＲ）に対応するように制約することができる。
【0043】
[0055] 第２組のレンディション関係色パラメータは、多次元空間における色域を定める。ダイナミック・レンジと同様、エッセンス・レンジは、画像データを表すために使用されたエンコーディングによって表すことができる値の範囲に対応するが、この場合、ＲＧＢまたはＹＣＢＣＲのような多次元色空間である。有効レンジは、表される色画像におけるメディア・サンプルが存在する色空間値の範囲に対応する。つまり、エッセンス・レンジは、元の場面からサンプリングされなかった値を含むことができる。例えば、１６ビット・エンコーディングが使用される場合、可能な１６ビット・コード・ワードの全てがカメラによってキャプチャされる訳ではない。
【0044】
[0056] リーガル・レンジは、編集によって決定される範囲であり、有効レンジの部分集合であり、有効レンジ全体を表示できないときに、色空間のどの部分をレンディションにおける表現のために選択すべきかについての編集者の選択を反映する。図１０は、色編集レンディション規則によって使用される色空間パラメータ選択の例を示す、照明委員会（ＣＩＥ：Commission on Illumination）の色度図である。エッセンス・レンジは、外側エンベロープ１００２内に含まれる。外側エンベロープ１００２は、画像エンコーディング方式によって表される全ての色値に及び、画素表現の多次元ビット深さに依存する。有効レンジ１００４は、エッセンス・レンジの部分集合であり、国際電気通信連合（ＩＴＵ）－Ｒ ＢＴ２０２０色域１００４に対応し、編集者指定リーガル・レンジはＩＴＵ－７０９色域１００６に対応する。メディア合成アプリケーションのユーザ・インターフェースは、例えば、編集者が、図１０におけるＣＩＥ色度図のような二次元色空間プロット上または透視三次元色空間プロット上で標準的色域（ＩＴＵ－７０９（１００６）のような）を選択することまたはこの色域のエンベロープを描画することを可能にすることによって、編集者がリーガル色域レンジ(legal color gamut range)を指定することを可能にする。このように、編集者は、ＢＴ２０２０色域全体を忠実に表示することができない出力ディスプレイ上で色解像度をどこに集中させるべきか指定することができる。
【0045】
[0057] 空間および時間編集レンディション規則について以上で説明したのと類似した方法で、色レンディション規則およびそれらのパラメータは、自動化レンディション・エンジンがどのようにしてレンディション・プロファイルにしたがってレンディションを生成するか決定する。例えば、レンディションのために指定されたターゲット色空間リーガル・レンジが、ソース・メディア・エッセンス・レンジよりも小さな色空間ボリューム(color space volume)を占めるとき、編集レンディション規則は、エッセンス・レンジ・ボリュームをリーガル・レンジ・ボリュームまでクロップするか否か、またはリーガル・レンジ・ボリューム内に収まるように、ソース・メディア内にある画素値を縮小するか否か決定する。逆に、ターゲット色空間リーガル・レンジが、ソース・メディア・エッセンス・レンジよりも大きなボリュームを占めるとき、レンディション規則は、エッセンス・レンジ・ボリュームを拡大し、エリアシング・アーチファクトを回避するために内挿補間値を使用するか否か、または値範囲を使用すべきか否か指定する。
【0046】
[0058] 空間、時間、および色パラメータを指定することに加えて、レンディション・プロファイルは、レンディションを完全に指定するために必要とされる補助パラメータも含むことができる。補助パラメータは、使用されるコデック、ストリーミング流通を目的とする帯域幅、ファイル・ラッパ・タイプ(file wrapper type)、ディジタル権利管理情報、およびスレートを含む。例えば、１つのレンディションを、ＭＸＦファイル・ラッパにおける１０８０Ｐ、および流通権利を米国のみとして指定することができる。一般に、このような補助レンディション・パラメータは、生成されるレンディションの完全な指定のために必要とされるが、性質上編集には関係なく、したがって、これらのパラメータに対して編集によって指定される値とメディアをタグ付けするための上流編集インターフェースを提供する必要はない。
【0047】
[0059] 本明細書において説明したレンディションの消費のための流通チャネルには、映画館、放映、ケーブル、衛星テレビジョンおよびラジオ、コンピュータ、タブレット、ならびにスマートフォンにストリーミングされるネット配信番組(over-the-top programming)、更にはライブ・ストリームが含まれるが、これらに限定されるのではない。消費環境には、娯楽および教育シーン(setting)、公の空間または私的組織および企業シーンが含まれる。これらの環境は、１つ以上の地理的領域に配置されてもよい。各チャネル、環境、および地理は、メディア消費に対する特定の要件を生み出すことができ、対応して特別に作られるレンディション・プロファイルにカプセル化される。
【0048】
[0060] 再度図１を参照すると、レンディション・エンジン１１２は、カスタム・ソフトウェアと、随意に、メディア合成アプリケーション１０６の一部であるハードウェア・ロジックとを含むことができる。他の実施形態では、レンディション・エンジンは、包括的な論理エンジンを含む。この包括的な論理エンジンは、編集レンディション規則１１０を入力し、レンディション・プロファイル１１４にしたがって、規則を実行してソース・メディア・アセット１０２からレンディションおよびエフェクトを生成する（図１には示されていない）。種々の実施形態において、レンディション・エンジンは、人工知能技法を含む。人工知能技法は、広範囲の合成コンテンツ、ソース・メディア・タイプ、およびレンディション要件についての編集者の集団による編集レンディション判断から学習することを伴う。深層学習方法が、多レベル・ニューラル・ネットワークをデプロイして、どのように規則およびパラメータを選択するか、そして利用可能なソース・メディアに関して、レンダリングされる出力を最適化するソースをどのように選択するか判定することができる。
【0049】
[0061] 図１１は、自動化メディア出版のためのシステムを示す上位ブロック図である。メディア合成ホスト・システム１１０２は、コンポジション１１０６およびレンディション・エンジン１１０８を含むメディア合成アプリケーション１１０４をホストする。１人以上の編集者１１１０がコンポジションを編集する。コンポジションは、編集レンディション規則１１１２を指定し、コンポジション１１０６の１つ以上の合成オブジェクトを規則とタグ付けすることを含む。レンディション・プロファイル１１１４がメディア合成ホスト・システムに供給される。レンディション・プロファイル１１１４によって指定されたレンディションが生成されようとするとき、レンディション・エンジン１１０８はストレージ１１１８からソース・メディア・アセット１１１６にアクセスし、出力レンディション１１２０を生成しストレージ１１２２に出力する。図示する実施形態では、レンディション・エンジン１１０８は、メディア合成アプリケーションの一部として実装され、メディア合成アプリケーションのメディア・プレーヤ・ソフトウェアにアクセスすることができる。メディア合成アプリケーションは、コンポジションをその元の平坦化されていない形態で読み出すことができる。
【0050】
[0062] 図１２に示す他の実施形態では、レンディション・エンジンは、メディア合成ホスト・システムの外部にある１つ以上のプラットフォームにおいて実装される。これらの実施形態では、レンディション・エンジンは、メディア合成アプリケーションによって使用されるメディア・プレーヤ・ソフトウェアと同様の機能を含むので、豊富なコンポジションをその元の平坦化されていない形態で読み出すことができる。メディア合成ホスト・システムの外部にある２つのレンディション・エンジンの使用を示す図１２を参照すると、メディア合成ホスト・システム１２０２は、編集レンディション規則１２０８とタグ付けされたコンポジション１２０６を含む、メディア合成アプリケーション１２０４をホストする。レンディションが生成されようとするとき、レンディション・エンジン１ １２１０およびレンディション・エンジン２ １２１２はレンディション・プロファイル１２１４およびコンポジション１２０６を受け、ソース・メディア・アセット１２１８から開始して、レンディション・プロファイルおよび編集レンディション規則１２０８によって指定されるレンディション１２１６を生成する。レンディション・エンジンは、ストレージ１２２０における格納のために、レンディションを出力する。レンディション・エンジンが実装される外部プラットフォームは、ホスト１２０２と同じ場所にあってもよく、例えば、ローカル・エリア・ネットワークによって接続されるか、あるいは１つ以上のリモート・サーバによって、またはプライベート・クラウドもしくはパブリック・クラウドによってホストされてもよい。
【0051】
[0063] 本明細書において説明したシステムの種々のコンポーネントは、汎用コンピュータ・システムを使用するコンピュータ・プログラムとして実装することができる。このようなコンピュータ・システムは、通例、情報をユーザに表示する出力デバイスと、ユーザから入力を受ける入力デバイスとの双方に接続された主ユニットを含む。主ユニットは、一般に、相互接続メカニズムを介してメモリ・システムに接続されたプロセッサを含む。また、入力デバイスおよび出力デバイスは、プロセッサおよびメモリ・システムにも、相互接続メカニズムを介して接続される。
【0052】
[0064] １つ以上の出力デバイスをコンピュータ・システムに接続することができる。出力デバイスの例には、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、ビューア用めがねを必要とするディスプレイおよびめがねが不要のディスプレイを含む種々の立体視ディスプレイ、陰極線管、ビデオ投影システム、ならびに他のビデオ出力デバイス、プリンタ、ネットワーク・インターフェース・デバイス、ケーブル・モデムを含む、低または高帯域幅ネットワークを介して通信するためのデバイス、ならびにディスクまたはテープのような記憶デバイスが含まれるが、これらに限定されるのではない。１つ以上の入力デバイスをコンピュータ・システムに接続することができる。入力デバイスの例には、キーボード、キーパッド、トラック・ボール、マウス、ペンおよびタブレット、タッチスクリーン、カメラ、通信デバイス、ならびにデータ入力デバイスが含まれるが、これらに限定されるのではない。本発明は、コンピュータ・システムと組み合わせて使用される特定の入力または出力デバイスにも、本明細書において説明したものにも限定されない。
【0053】
[0065] コンピュータ・システムは、汎用コンピュータ・システムであってもよく、コンピュータ・プログラミング言語、スクリプト言語、またはアセンブリ言語でさえも使用してプログラミング可能である。また、コンピュータ・システムは、特別にプログラミングされた特殊目的ハードウェアであってもよい。汎用コンピュータ・システムでは、プロセッサは、通例、市販のプロセッサである。また、汎用コンピュータは、通例、オペレーティング・システムを有する。オペレーティング・システムは、他のコンピュータ・プログラムの実行を制御し、スケジューリング、デバッギング、入力／出力制御、アカウント管理、編集、ストレージ割り当て、データ管理およびメモリ管理、ならびに通信制御および通信関連サービスに対応する(provide)。コンピュータ・システムは、ローカル・ネットワークに、および／またはインターネットのような、ワイド・エリア・ネットワークに接続することもできる。接続されたネットワークは、コンピュータ・システムに、およびコンピュータ・システムから、コンピュータにおける実行のためのプログラム命令、ビデオ・データ、静止画像データ、またはオーディオ・データのようなメディア・データ、メタデータ、メディア・コンポジションに対する意見および承認情報、メディア注釈(media annotation)、ならびに他のデータを転送することができる。
【0054】
[0066] メモリ・システムは、通例、コンピュータ読み取り可能媒体を含む。この媒体は、揮発性または不揮発性、書き込み可能または書き込み不可能、および／または上書き可能もしくは上書き不可能であってもよい。メモリ・システムは、通例、データを二進形態で格納する。このようなデータは、マイクロプロセッサによって実行されるアプリケーション・プログラム、またはアプリケーション・プログラムによって処理されるためにディスクに格納されている情報を定めることができる。本発明は、特定のメモリ・システムには限定されない。磁気、光、またはソリッド・ステート・デバイスに時間ベース媒体を格納し、これらから入力することができる。これらのドライブは、ローカルまたはネットワーク・アタッチト・ディスクのアレイを含んでもよい。
【0055】
[0067] 本明細書において説明したようなシステムは、ソフトウェア、ハードウェア、ファームウェア、またはこれら３つの組み合わせで実装することができる。このシステムの種々のエレメントは、個別でもまたは組み合わせでも、１つ以上のコンピュータ・プログラム製品として実現することができ、コンピュータ・プログラム製品において、コンピュータ・プログラム命令は、コンピュータによる実行のために非一時的コンピュータ読み取り可能媒体に格納され、または接続されているローカル・エリアまたはワイド・エリア・ネットワークを介してコンピュータ・システムに転送される。プロセスの種々のステップは、このようなコンピュータ・プログラム命令を実行するコンピュータによって実行することができる。コンピュータ・システムは、マルチプロセッサ・コンピュータ・システムであってもよく、またはコンピュータ・ネットワークを介して接続された複数のコンピュータを含んでもよく、あるいはクラウドに実装されてもよい。本明細書において説明したコンポーネントは、コンピュータ・プログラムの別々のモジュールであってもよく、または別々のコンピュータ・プログラムでもよく、別々のコンピュータにおいて動作可能であってもよい。これらのコンポーネントによって生成されるデータは、メモリ・システムに格納することができ、またはコンピュータ・システム間で、搬送波信号のような種々の通信媒体によって送信することもできる。
【0056】
[0068] 以上、実施形態例について説明したが、以上のことは単なる例示であって限定ではなく、一例として紹介されたに過ぎないことは、当業者には明白なはずである。数多くの変更および他の実施形態も当業者の範囲内に入り、本発明の範囲に該当するものとして考えることとする。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】