(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-16
(45)【発行日】2025-01-24
(54)【発明の名称】コンテンツの正確に的を絞ったマイクロエンコーディング
(51)【国際特許分類】
H04N 21/2343 20110101AFI20250117BHJP
H04N 21/236 20110101ALI20250117BHJP
【FI】
H04N21/2343
H04N21/236
【外国語出願】
(21)【出願番号】P 2023099111
(22)【出願日】2023-06-16
【審査請求日】2023-10-16
(32)【優先日】2022-07-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504399716
【氏名又は名称】ディズニー エンタープライゼス インコーポレイテッド
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【氏名又は名称】吉澤 雄郎
(72)【発明者】
【氏名】スコット ラブロージー
(72)【発明者】
【氏名】ウィリアム ビー メイ ジュニア
【審査官】鈴木 順三
(56)【参考文献】
【文献】米国特許出願公開第2018/0332320(US,A1)
【文献】特開2021-064943(JP,A)
【文献】米国特許出願公開第2014/0025835(US,A1)
【文献】"Digital program insertion cueing message for cable television systems",J.181(2014) Amendment 1,スイス,ITU-T,2014年09月12日,Amendment 1 (09/2014),pp.6-16,インターネット:< https://1f8a81b9b0707b63-19211.webchannel-proxy.scarabresearch.com/rec/T-REC-J.181-201409-I!Amd1/en>
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
(57)【特許請求の範囲】
【請求項1】
処理ハードウェア、及びソフトウェアコードを記憶するシステムメモリを有する計算プラットフォームを具えたシステムであって、
前記処理ハードウェアは、前記ソフトウェアコードを実行して、
コンテンツ・セグメントの列を含むコンテンツ、及び該コンテンツ用のマーカーデータを受信し、該マーカーデータは前記列内の位置を識別し、
前記コンテンツ及び前記マーカーデータを用いて、前記識別される位置を含む前記コンテンツ・セグメントのセグメント境界を識別し、
前記位置及び前記セグメント境界を用いて、前記位置が、前記セグメント境界のうちの1つから所定間隔内に位置するか否かを判定し、
前記判定に基づいて、前記列内のサブセクションを再符号化して、新たなセグメント境界を前記位置に生成するように構成され、
前記位置が、前記セグメント境界のうちの1つから前記所定間隔内に位置しないものと判定された際に、前記列内の前記サブセクションが、前記位置を含む前記コンテンツ・セグメントを含み、前記位置が、前記セグメント境界のうちの1つから前記所定間隔内に位置するものと判定された際に、前記列内の前記サブセクションが、前記位置を含む前記コンテンツ・セグメント、及び前記位置を含む前記コンテンツ・セグメントに隣接する前記コンテンツ・セグメントを含むシステム。
【請求項2】
前記処理ハードウェアが、前記ソフトウェアコードを実行して、
前記列内の前記再符号化されたサブセクションを、前記位置を含む前記コンテンツ・セグメントを含む前記列内の前記サブセクションの置き換えとしてパッケージ化するように更に構成されている、請求項1に記載のシステム。
【請求項3】
前記処理ハードウェアが、前記ソフトウェアコードを実行して、
前記再符号化の前に、前記コンテンツに基づいて、前記再符号化用に最適な前記列内の前記サブセクションを決定するように更に構成され、前記最適なサブセクションは、前記位置を含む前記コンテンツ・セグメントに加えて複数の前記コンテンツ・セグメントを含む、請求項1に記載のシステム。
【請求項4】
前記複数のコンテンツ・セグメントの少なくとも1つが、前記位置を含む前記コンテンツ・セグメントに先行し、あるいは前記位置を含む前記コンテンツ・セグメントに後続する、請求項3に記載のシステム。
【請求項5】
前記位置を含む前記コンテンツ・セグメントが、コンテンツ・メタデータを含み、前記処理ハードウェアが、前記ソフトウェアコードを実行して、
前記新たなセグメント境界の位置に基づいて、前記コンテンツ・メタデータを、前記新たなセグメント境界を境界とする前記コンテンツ・セグメント間で区分するように更に構成されている、請求項1に記載のシステム。
【請求項6】
前記処理ハードウェアが、前記ソフトウェアコードを実行して、前記列内の前記再符号化されたサブセクション、及び前記区分したコンテンツ・メタデータを、前記位置を含む前記コンテンツ・セグメントを含む前記列内の前記サブセクションの置き換えとしてパッケージ化するように更に構成されている、請求項5に記載のシステム。
【請求項7】
前記処理ハードウェアが、前記ソフトウェアコードを実行して、
前記再符号化に基づいて、前記コンテンツ用のプレイリストを更新するように更に構成されている、請求項1に記載のシステム。
【請求項8】
前記コンテンツが適応ビットレート(ABR)のコンテンツを含む、請求項1に記載のシステム。
【請求項9】
前記マーカーデータによって識別される前記列内の前記位置が、インタースティシャル・コンテンツを前記コンテンツ・セグメントの列内に挿入するための挿入ポイントを含む、請求項1に記載のシステム。
【請求項10】
前記位置を含む前記コンテンツ・セグメントを含む、前記列内の前記サブセクションが、前記列内の前記再符号化されたサブセクションに含まれる前記コンテンツ・セグメントよりも少数の、少なくとも1つの前記コンテンツ・セグメントを含む、請求項1に記載のシステム。
【請求項11】
処理ハードウェア、及びソフトウェアコードを記憶するシステムメモリを有する計算プラットフォームを具えたシステムが使用する方法であって、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、コンテンツ・セグメントの列を含むコンテンツ、及び該コンテンツ用のマーカーデータを受信するステップであって、該マーカーデータは前記列内の位置を識別するステップと、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記コンテンツ及び前記マーカーデータを用いて、前記識別される位置を含む前記コンテンツ・セグメントのセグメント境界を識別するステップと、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記位置及び前記セグメント境界を用いて、前記位置が、前記セグメント境界のうちの1つから所定間隔内に位置するか否かを判定するステップと、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記判定に基づいて、前記列内のサブセクションを再符号化して、新たなセグメント境界を前記位置に生成するステップとを含み、
前記位置が、前記セグメント境界のうちの1つから前記所定間隔内に位置しないものと判定された際に、前記列内の前記サブセクションが、前記位置を含む前記コンテンツ・セグメントを含み、前記位置が、前記セグメント境界のうちの1つから前記所定間隔内に位置するものと判定された際に、前記列内の前記サブセクションが、前記位置を含む前記コンテンツ・セグメント、及び前記位置を含む前記コンテンツ・セグメントに隣接する前記コンテンツ・セグメントを含む方法。
【請求項12】
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記列内の前記再符号化されたサブセクションを、前記位置を含む前記コンテンツ・セグメントを含む前記列内の前記サブセクションの置き換えとしてパッケージ化するステップを更に含む、請求項11に記載の方法。
【請求項13】
前記再符号化の前に、前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記コンテンツに基づいて、前記再符号化用に最適な前記列内の前記サブセクションを決定するステップを更に含み、前記最適なサブセクションは、前記位置を含む前記コンテンツ・セグメントに加えて複数の前記コンテンツ・セグメントを含む、請求項11に記載の方法。
【請求項14】
前記複数のコンテンツ・セグメントの少なくとも1つが、前記位置を含む前記コンテンツ・セグメントに先行し、あるいは前記位置を含む前記コンテンツ・セグメントに後続する、請求項13に記載の方法。
【請求項15】
前記位置を含む前記コンテンツ・セグメントが、コンテンツ・メタデータを含み、前記方法が、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記新たなセグメント境界の位置に基づいて、前記コンテンツ・メタデータを、前記新たなセグメント境界を境界とする前記コンテンツ・セグメント間で区分するステップを更に含む、請求項11に記載の方法。
【請求項16】
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記列内の前記再符号化されたサブセクション、及び前記区分したコンテンツ・メタデータを、前記位置を含む前記コンテンツ・セグメントを含む前記列内の前記サブセクションの置き換えとしてパッケージ化する、請求項15に記載の方法。
【請求項17】
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記再符号化に基づいて、前記コンテンツ用のプレイリストを更新するステップを更に含む、請求項11に記載の方法。
【請求項18】
前記コンテンツが適応ビットレート(ABR)のコンテンツを含む、請求項11に記載の方法。
【請求項19】
前記マーカーデータによって識別される前記列内の前記位置が、インタースティシャル・コンテンツを前記コンテンツ・セグメントの列内に挿入するための挿入ポイントを含む、請求項11に記載の方法。
【請求項20】
前記位置を含む前記コンテンツ・セグメントを含む、前記列内の前記サブセクションが、前記列内の前記再符号化されたサブセクションに含まれる前記コンテンツ・セグメントよりも少数の、少なくとも1つの前記コンテンツ・セグメントを含む、請求項11に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
背景
コンテンツ媒体としてのそのほぼ普遍的な人気により、これまで以上のオーディオ-ビデオ(AV:audio-video:音響映像)コンテンツが制作されており、消費者にとって利用可能になっている。更に、ストリーミング(ストリーム配信)プラットフォームがAVコンテンツ用のますます重要な配信ハブになっているので、変化しやすいネットワーク状態、及びストリーミング・コンテンツを受信する多種多様な消費者の装置間のデータ処理能力の差に起因して、調整可能ビットレート(ABR:adjustable bit-rate)のAVコンテンツも、ますます重要になっている。その結果、ABRコンテンツを含むAVコンテンツを追加することができる効率、あるいは強化されたポストプロダクション(撮影後の作業、追加制作物)が、そのコンテンツのプロデューサ(制作者)、所有者、または配信者にとってますます重要になっている。
【背景技術】
【0002】
例として、一部の使用事例では、例えば広告のようなインタースティシャル(すき間)コンテンツの追加により、AVコンテンツ、ポストプロダクションを補充することが有利であるか望ましいことがある。AVコンテンツが元々インタースティシャル・コンテンツ用に事前に定められた挿入ポイントなしに制作された場合、そのコンテンツにポストプロダクションを導入することは、そのコンテンツを再生中に視聴する消費者にとって不快な、あるいは混乱する体験を生じさせ得る。例えば、AVコンテンツ中に深く考えずに挿入されている広告は、途中のシーン、更には途中のショット(場面)に見え、これにより消費者の視聴体験を目障り耳障りな感じでぶち壊しにすることがある。視聴者のぶち壊し感及び美的な意味での不快感を回避してインタースティシャル・コンテンツを追加する従来の方法は、コンテンツを丸ごと再符号化することであり、今度は、広告または他のインタースティシャル・コンテンツ用のセグメント境界を調整するに当たり用いる接合ポイントを考慮に入れる。しかし、こうした従来の方法は、コンテンツを再符号化するのに必要な計算時間及び品質管理(QC:quality control)審査の両方の意味で、不所望なほど、一部の例では非実用的なほど高価である。
【図面の簡単な説明】
【0003】
【
図1】1つの実現による、正確に的を絞ってコンテンツをマイクロエンコーディングする例示的システムの図である。
【
図2A】1つの実現による、インタースティシャル・コンテンツ用の挿入ポイントが占有することができるコンテンツ・セグメントの4つの代替領域を表す例示的な図である。
【
図2B】1つの実現による、
図2Aに示す代替領域のうちの3つの各々について、正確に的を絞ってコンテンツをマイクロエンコーディングするためのそれぞれの方策を表す図である。
【
図2C】1つの実現による、代案の使用事例用に、正確に的を絞ってコンテンツをマイクロエンコーディングするための方策を示す例示的な図である。
【
図3】1つの実現による、正確に的を絞ってコンテンツをマイクロエンコーディングするより詳細な例を示す図である。
【
図4A】1つの実現による、正確に的を絞ってコンテンツをマイクロエンコーディングする例示的方法の概略を示すフローチャートである。
【
図4B】1つの実現による、
図4Aに概略を示す方法を拡張するための例示的動作を記述するフローチャートである。
【発明を実施するための形態】
【0004】
詳細な説明
以下の説明は、本発明の実現に関連する具体的情報を含む。本発明は、本明細書中に具体的に説明する方法とは異なる方法で実現することができることは、当業者の認識する所である。本願中の図面、及びこれらの図面に伴う詳細な説明は、好適な実現に指向したものに過ぎない。特に断りのない限り、図面間で同様の、または対応する要素は、同様の、または対応する参照番号で示すことがある。更に、本願中の図面及び図示は一般に原寸に比例せず、実際の相対的寸法に対応することを意図していない。
【0005】
上述したように、オーディオ-ビデオ(AV)コンテンツが元々インタースティシャル・コンテンツ用に事前に定められた挿入ポイントなしに制作された場合、そのコンテンツにポストプロダクションを導入することは、そのコンテンツを再生中に視聴する諸費者にとって不快な、あるいは混乱する体験を生じさせ得る。例えば、AVコンテンツ中に深く考えずに挿入されている広告の形態のインタースティシャル・コンテンツは、途中のシーン、更には途中のショット(場面)に見え、これにより消費者の視聴体験を目障り耳障りな感じでぶち壊しにすることがある。視聴者のぶち壊し感及び美的な意味での不快感を回避してインタースティシャル・コンテンツを追加する従来の方法は、コンテンツを丸ごと再符号化することであり、今度は、広告または他のインタースティシャル・コンテンツ用のセグメント境界を調整するに当たり用いる接合ポイントを考慮に入れる。しかし、これも上述したように、こうした従来の方法は、コンテンツを再符号化するのに必要な計算時間及び品質管理(QC)審査の両方の意味で、不所望なほど、一部の場合には非実用的なほど高価である。
【0006】
本願は、正確に的を絞ってコンテンツをマイクロエンコーディングするシステム及び方法を開示する。なお、本願中に定義するように、「マイクロエンコーディング」という表現は、元のコンテンツの創作意図の美的意味での完全性に悪影響を与えずに、例えば広告のような新たなインタースティシャル・コンテンツの導入を可能にするための、以前にトランスコードされているコンテンツの1つ以上のセクション、但しコンテンツの全体よりは小さいセクションの選択的再符号化を参照する。本願中に開示する正確に的を絞ったマイクロエンコーディングの解決策は、新たなコンテンツ・セグメントの境界位置、既存のコンテンツ・セグメント境界、最小及び最大のコンテンツ・セグメント継続時間に対する制約、オーディオまたはビデオの主観的不規則性が再符号化によって生成される可能性、及び元のメタデータの保存、並びにコンテンツ・プレイリストを入れ替える変更の必要性を有利に考慮することによって、以前にはセグメント境界が存在しなかった所への新たなセグメント境界の作成を可能にする。それに加えて、本発明の解決策は、再符号化するために必要な時間、並びに検証に当たり必要なQC時間を大幅に低減しつつ、上述した最新技術を進歩させる、というのは正確に的を絞った微小領域のみを再符号化するからである。更に、本発明の正確に的を絞ったマイクロエンコーディングの解決策は、自動化された、あるいは実質的に自動化されたシステム及び方法を用いて実現することができる。
【0007】
本願中に定義するように、「自動化」、「自動化された」、及び「自動化する」は、システム管理者のようなユーザの関与を必要としないシステム及びプロセスを参照する。例えば、一部の実現では、人間の編集者またはQC技術者が、本明細書中に開示するシステム及び方法の性能を再検討することがあるが、こうした人間の関与は任意である。従って、一部の実現では、本願中に記載するプロセスを、開示するシステムのハードウェア処理構成要素の制御下で実行することができる。
【0008】
また、本願中に定義するように、「コンテンツ」は、AVコンテンツの多様な異なる種類及びジャンル、並びにオーディオ(音声)を伴わないビデオ(映像)、またはビデオを伴わないオーディオを参照し得る。AVコンテンツの具体例は、映画の形態の調整可能ビットレート(ABR)コンテンツ、TV(television:テレビジョン)のエピソードまたはシリーズ(連続物)、ビデオゲーム、及びスポーツイベントを含む。それに加えて、あるいはその代わりに、一部の実現では、「コンテンツ」を、例えば、人物、架空のキャラクター、場所、物体、及びブランド及びロゴのような識別子のデジタル表現とすること、あるいは「コンテンツ」がこうしたデジタル表現を含むことができ、こうしたデジタル表現は、仮想現実感(VR:virtual reality)、拡張現実感(AR:augmented reality)、または複合現実感(MR:mixed reality)環境に存在する。更に、このコンテンツは、人物の身元、ユーザの履歴、資格、所有権、支払い、等のようなデータの連続性を提供しつつ、任意数のユーザが同期して持続的に体験することができる仮想世界を表すことができる。なお、本願が開示する概念は、従来型のAVと、対話型ビデオのような完全没入型のVR/AR/MR体験との混成であるコンテンツに適用することもできる。
【0009】
図1に、1つの実現による、正確に的を絞ってコンテンツをマイクロエンコーディングする例示的システムの図を示す。システム100は、処理ハードウェア104、及びコンピュータ可読の非一時的記憶媒体として実現されるシステムメモリ106を有する計算プラットフォーム102を含む。
図1に示すように、一部の実現によれば、システムメモリ106は、マイクロエンコーディング・ソフトウェアコード110を記憶し、コンテンツ・データベース108を任意で記憶する。
【0010】
図1に更に示すように、システム100は、トランスコードされたコンテンツ130(以下「コンテンツ130」)及びコンテンツ130用のマーカーデータ126を提供するコンテンツ源116、通信ネットワーク112、及びディスプレイ122を含むユーザシステム120を利用するユーザ124を含む使用環境内で実現することができる。それに加えて、
図1は、コンテンツ源116及びユーザシステム120を、通信ネットワーク112経由でシステム100と通信結合する通信リンク114を示す。また
図1には、コンテンツ130に対応し、マイクロエンコーディング・ソフトウェアコード110によって提供される再符号化されたコンテンツ150も示す。
【0011】
なお、システム100は、コンテンツ130を、コンテンツ源116から通信ネットワーク112及びネットワーク通信リンク114経由で受信し、一部の実現では、コンテンツ源116が、計算プラットフォーム102と統合されたコンテンツ源の形をとることができ、あるいは、破線の通信リンク118で示すようにシステム100と直接通信することができる。
【0012】
なお、
図1に示すシステム100の表現に関しては、マイクロエンコーディング・ソフトウェアコード110及び任意のコンテンツ・データベース108を、概念的明確性のためにシステムメモリ106に記憶されるものとして表しているが、より一般的には、システムメモリ106は、あらゆるコンピュータ可読の非一時的記憶媒体の形をとることができる。本願中に用いる「コンピュータ可読の非一時的記憶媒体」という表現は、計算プラットフォーム102の処理ハードウェア104のような計算プラットフォームの処理ハードウェアに命令を提供する、搬送波または他の一時的信号を除いたあらゆる媒体を参照する。従って、コンピュータ可読の非一時的記憶媒体は、例えば揮発性媒体及び不揮発性媒体のような各種の媒体に相当することができる。揮発性媒体は、ダイナミック・ランダムアクセスメモリ(ダイナミックRAM:dynamic random access memory)のようなダイナミックメモリを含むことができるのに対し、不揮発性メモリは、光、磁気、または静電記憶デバイスを含むことができる。コンピュータ可読の非一時的記憶媒体に共通の形態は、例えば、光ディスク、RAM、プログラマブル・リードオンリー(読出し専用)メモリ(PROM:programmable read-only memory)、消去可能PROM(EPROM:erasable PROM)、及びフラッシュメモリを含む。
【0013】
更に、
図1は、マイクロエンコーディング・ソフトウェアコード110及び任意のコンテンツ・データベース108を、システムメモリ106内に互いに共同設置(同一場所に設置)されているように表しているが、この表現も概念的明確性の一助として提供するに過ぎない。より一般的には、システム100は、例えばコンピュータ・サーバーのような1つ以上の計算プラットフォームを含むことができ、これらの計算プラットフォームは、共同設置することができ、あるいは、例えばクラウドベースのシステムのような相互作用可能なようにリンクされた、但し分散型のシステムを形成することができる。その結果、処理ハードウェア104及びシステムメモリ106は、システム100内の分散プロセッサ及びメモリリソースに相当することができる。従って、マイクロエンコーディング・ソフトウェアコード110及び任意のコンテンツ・データベース108は、システム100の分散メモリリソース内に、互いに対してリモート(遠隔的)に記憶することができることは明らかである。
【0014】
処理ハードウェア104は、例えば1つ以上の中央演算処理装置、1つ以上のグラフィックス・プロセシング・ユニット、1つ以上のテンソル処理装置、1つ以上のフィールド・プログラマブル・ゲートアレイ(FPGA:field programmable gate array)、及びアプリケーション・プログラミング・インタフェース(API:application programming interface)サーバーのような複数の処理装置を含むことができる。定義のために、本願中に用いる「中央演算処理装置(CPU:central processing unit)」、「グラフィックス・プロセシング・ユニット(GPU:graphics processing unit)」、及び「テンソル処理装置(TPU:tensor processing unit)」とは、それぞれが最新技術において慣用されている意味を有する。換言すれば、CPUは、計算プラットフォーム102の算術及び論理演算を実行するための演算装置(ALU:arithmetic logic unit:算術論理演算器)、並びにマイクロエンコーディング・ソフトウェアコード110のようなプログラムをシステムメモリ106から読み出すための制御装置(CU:control unit)を含むのに対し、GPUは、計算が集約的なグラフィックスまたは他の処理タスクを実行することによってCPUの処理オーバーヘッドを低減するように実現することができる。TPUは、特に、機械学習モデル化のような人工知能(AI:artificial intelligence)用途向けに構成された特定用途向け集積回路(ASIC:application specific integrated circuit)である。
【0015】
更に、本願中に定義するように、「機械学習モデル」または「ML(machine learning)モデル」という表現は、データのサンプルまたは「学習データ」から学習したパターンに基づいて将来予測を行うための数学モデルを参照することがある。種々の学習アルゴリズムを用いて、入力データと出力データとの相互関係を対応付けることができる。これらの相互関係は、新たな入力データに対して将来予測を行うために用いることができる数学モデルを形成する。こうした予測モデルは、1つ以上のロジスティック回帰モデル、ベイズモデル、またはニューラルネットワーク(NN:neural network:神経回路網)を含むことができる。更に、「ディープ・ニューラルネットワーク(深層神経回路網)」は、ディープラーニング(深層学習)との関連で、入力層と出力層との間の複数の隠れ層を利用するNNを参照することがあり、このことは、生データ中に明示的に定義されていない特徴に基づく学習を可能にすることができる。種々の実現では、NNを分類器として学習させることができ、NNを利用して画像処理または自然言語処理を実行することができる。
【0016】
一部の実現では、計算プラットフォーム102が、例えばインターネットのようなパケット交換ネットワーク越しにアクセス可能な1つ以上のウェブ・サーバーに相当することができる。その代わりに、計算プラットフォーム102は、プライベート・ワイドエリア・ネットワーク(WAN:wide area network)、ローカルエリア・ネットワーク(LAN:local area network)をサポートする、あるいは他の種類の配信制限ネットワークまたはプライベート・ネットワーク内に含まれる1つ以上のコンピュータ・サーバーに相当することができる。更に他の代案として、一部の実現では、システム100を、データセンターにおけるように仮想的に実現することができる。例えば、一部の実現では、システム100をソフトウェアで、あるいは仮想マシンとして実現することができる。
【0017】
図1では、ユーザシステム120をデスクトップ・コンピュータとして示しているが、この表現も一例として提供するに過ぎない。より一般的には、ユーザシステム120は、ユーザ・インタフェースを提供し、通信ネットワーク112への接続をサポートし、そして本明細書中のユーザシステム120に属する機能を実現するのに十分なデータ処理能力を実現するあらゆる適切なモバイル(携帯)または定置のコンピュータ装置またはシステムとすることができる。例えば、他の実現では、ユーザシステム120がラップトップ・コンピュータ、タブレット・コンピュータ、またはスマートホンの形態をとることができる。
【0018】
ユーザシステム120のディスプレイ122に関しては、ディスプレイ122は、ユーザシステム120と物理的に統合することができ、あるいはそれぞれのユーザシステム120と通信結合し、但し物理的に分離することができる。例えば、ユーザシステム120がスマートホン、ラップトップ・コンピュータ、またはタブレット・コンピュータとして実現される場合、ディスプレイ122は一般にユーザシステム120と統合することができる。これとは対照的に、ユーザシステム120がデスクトップ・コンピュータとして実現される場合、ディスプレイ122は、コンピュータタワーの形態のユーザシステム120から分離されたモニターの形をとることができる。更に、ユーザシステム120のディスプレイ122は、液晶ディスプレイ(LCD:liquid crystal display)、発光ダイオード(LED:light emitting diode)ディスプレイ、有機発光ダイオード(OLED:organic LED)ディスプレイ、量子ドット(QD:quantum dot)ディスプレイ、または信号から光への物理変換を実行する他のあらゆる適切な表示スクリーンとすることができる。
【0019】
図2Aに、1つの実現による、インタースティシャル・コンテンツ用の挿入ポイントが占有することができるコンテンツ・セグメントの4つの代替領域を表す例示的な図を示す。
図2Aに示すように、コンテンツ230は、各々がセグメント境界234によって規定されるコンテンツ・セグメント232の列を含む。また、
図2Aには、マーカー238a、238b、238c、及び238d、及び最小のコンテンツ・セグメント継続時間233も示し、これらのマーカーは、インタースティシャル・コンテンツの挿入用のそれぞれの所望位置を識別する。それに加えて、
図2Aは、例示的な陰影付きボックス236によって代表される複数の陰影付きボックスを示し、これらの陰影付きボックスの各々は単にスラグ、即ち1つ以上の遷移フレームを表し、スラグでは、最先端技術において既知であるように、ビデオ/オーディオが2、3秒間暗黒/無音に遷移する。スラグは、番組中のコマーシャル時間または他のインタースティシャル・コンテンツ用の箇所の枠をとるために用いられることが多い。スラグは、例えば、コンテンツから広告に遷移して再度コンテンツに戻る際に、快適な主観的視聴体験を可能にする。
図2Aに示すように、マーカー238a、238b、238c、及び238dの各々を、それぞれのスラグの中点に配置することが望ましくあり得る。なお、本願は暗黒スラグの存在を参照しているが、アドレス指定されているものは、マーカー238a、238b、238c、及び238dの位置である。
【0020】
コンテンツ230は、概ね
図1中のコンテンツ130に相当する。従って、コンテンツ130は、本発明によりコンテンツ230に帰する特性のいずれをも共有することができ、その逆も成り立つ。換言すれば、コンテンツ230のように、コンテンツ130は、最小のコンテンツ・セグメント継続時間233によって特徴付けられるコンテンツ・セグメント232の列を含むことができる。
【0021】
なお、最小のコンテンツ・セグメント継続時間233に関しては、種々の理由で、最小及び最大のコンテンツ・セグメント継続時間に制限が課せられることがある。実際上の意味では、例えば、単一のフレームしか含まないコンテンツを有することは不所望である。その結果、ストリーミングサービスが最小のコンテンツ・セグメント継続時間233を有すること、あるいは配信されるコンテンツに最小のコンテンツ・セグメント継続時間233を課すことが現実であり得る。更に、一部のABRプロトコルについては、最大のコンテンツ・セグメント継続時間233を予め定めることができ、その値をコンテンツの記述に含めることができる。例えば、ハイパーテキスト・トランスファー(転送)プロトコル(HTTP:Hypertext Transfer Protocol)ライブ・ストリーミング(HLS:HTTP Live Streaming)では、コンテンツ・プレイリスト・タグEXT-X-TARGETDURATIONが要求され、最大のコンテンツ・セグメント継続時間233を指定する。
【0022】
従って、既存のセグメント境界234に対するマーカーの位置は、
図2A中にケース0、ケース1、ケース2、及びケース3として識別される4つの相対位置にうちの1つにあるものとして記述することができる。ケース0では、マーカー238aが既存のセグメント境界と既に完全に位置合わせされている。その結果、ケース0については、更なる処理または再符号化を必要としない、というのは、インタースティシャル・コンテンツをマーカー238aの位置に挿入することを可能にするセグメント境界234が既に存在するからである。
【0023】
ケース1では、これとは対照的に、マーカー238bの位置が、コンテンツ・セグメントの先頭にあるセグメント境界234から最小のコンテンツ・セグメント継続時間233内にある。従って、マーカー238bの位置に単に新たなセグメント境界を作成することは、最小のコンテンツ・セグメント継続時間233に反する。同様に、マーカー238dの位置は、コンテンツ・セグメントの終端にあるセグメント境界234から最小のコンテンツ・セグメント継続時間233内にある。従って、マーカー238dの位置に単に新たなセグメント境界を作成することも、最小のコンテンツ・セグメント継続時間233に反する。
【0024】
ケース2では、ケース0、ケース1、及びケース3とは対照的に、マーカー238cの位置は、コンテンツ・セグメントの先頭または終端にあるセグメント境界234から最小のコンテンツ・セグメント継続時間233内に位置しない。その結果、マーカー238cの位置に新たなセグメント境界を作成することは、最小のコンテンツ・セグメント継続時間233に反しない。
【0025】
図2Bに、1つの実現による、
図2Aに示す代替領域のうちの3つの各々について、即ち、ケース1、ケース2、及びケース3について、正確に的を絞ってコンテンツをマイクロエンコーディングするためのそれぞれの方策を表す図を示す。なお、
図2A中で特徴を識別するために用いている参照番号と同一の参照番号によって
図2B中で識別されるあらゆる特徴は、
図2A中のそれぞれの特徴に相当し、これらの相当する特徴に帰する上記の特性のいずれをも共有することができる。
【0026】
図2Bに示すように、コンテンツ230は、コンテンツ・セグメント232a、232b、232c、232d、232e、232f、及び232gの列(以下「コンテンツ・セグメント232a~232g」)、及び例示的なセグメント境界234a及び234bによって表されるセグメント境界を含む。また、
図2Bには、マーカー238b、238c、及び238d、並びにこれらのマーカーのそれぞれのスラグも示す。
【0027】
ケース1については、マーカー238bを含むコンテンツ・セグメント232dの先頭で再符号化を開始することはできない、というのは、コンテンツ・セグメント232dの先頭で再符号化を開始して、新たなセグメント境界をマーカー238bの所に生成したとすれば、
図2Aを参照することにより上述した最小のコンテンツ・セグメント継続時間の要件に反するからである。従って、再符号化は、先行するコンテンツ・セグメントの始端の開始時刻、即ち隣接して先行するコンテンツ・セグメント232cの開始時刻以前に開始しなければならない。ケース1については、再符号化は、マーカー238bを含むコンテンツ・セグメント232dの終端で終了することができる。
【0028】
なお、新たなセグメント境界をマーカー238bの位置に生成するために再符号化しなければならないコンテンツ230の最小のサブセクションは、マーカー238bの位置を含むコンテンツ・セグメント232dの終端で終了し、コンテンツ・セグメント232dに隣接して先行するコンテンツ・セグメント232cの先頭で始まるが、他の再符号化継続時間も可能である。例えば、ケース1用の再符号化は、例えばコンテンツ・セグメント232bの先頭で、あるいはコンテンツ・セグメント232bに先行するあらゆるコンテンツ・セグメントの先頭で、のようにコンテンツ・セグメント232cよりも前に開始することができる。それに加えて、あるいはその代わりに、ケース1用の再符号化は、例えばコンテンツ・セグメント232eの終端、あるいは後続するコンテンツ・セグメントの終端のような、より後のコンテンツ・セグメントの終端で終了することができる。
【0029】
ケース2については、マーカー238cを含むコンテンツ・セグメント232dの先頭で再符号化を開始することができ、コンテンツ・セグメント232dの終端で再符号化を終了することができる、というのは、マーカー238cは、コンテンツ・セグメント232dのセグメント境界234aまたは234bのいずれからの最小のコンテンツ・セグメント継続時間内にも位置しないからである。なお、新たなセグメント境界をマーカー238cの位置に生成するために再符号化しなければならないコンテンツ230の最小のサブセクションは、マーカー238cの位置を含むコンテンツ・セグメント232dのセグメント境界で始まり終了するが、他の再符号化継続時間も可能である。例えば、ケース2用の再符号化は、例えばコンテンツ・セグメント232cの先頭で、あるいはコンテンツ・セグメント232cに先行するあらゆるコンテンツ・セグメントの先頭で、のようにコンテンツ・セグメント232dよりも前に開始することができる。それに加えて、あるいはその代わりに、ケース2用の再符号化は、例えばコンテンツ・セグメント232eの終端、あるいは後続するコンテンツ・セグメント232eの終端のような、より後のコンテンツ・セグメントの終端で終了することができる。
【0030】
ケース3については、マーカー238dを含むコンテンツ・セグメント232dの先頭で再符号化を開始することができるが、コンテンツ・セグメント232dの終端で再符号化を終了することはできない、というのは、コンテンツ・セグメント232dの終端で再符号化を終了し、新たなセグメント境界をマーカー238dの所に生成したとすれば、
図2Aを参照することにより上述した最小のコンテンツ・セグメント継続時間の要件に反するからである。従って、再符号化は、後続するコンテンツ・セグメントの終端の終了時刻、即ち隣接して後続するコンテンツ・セグメント232eの終了時刻以後に終了しなければならない。ケース3については、上述したように、マーカー238dを含むコンテンツ・セグメント232dの先頭で再符号化を開始することができる。
【0031】
マーカー238dの位置に新たなセグメント境界を生成するために再符号化しなければならないコンテンツ230の最小のサブセクションは、マーカー238dの位置を含むコンテンツ・セグメント232dの先頭で始まり、コンテンツ・セグメント232dに隣接して後続するコンテンツ・セグメント232eの終端で終了するが、他の再符号化継続時間も可能である。例えば、ケース3用の再符号化は、例えばコンテンツ・セグメント232cの先頭で、あるいはコンテンツ・セグメント232cに先行するあらゆるコンテンツ・セグメントの先頭で、のようにコンテンツ・セグメント232dよりも前に開始することができる。それに加えて、あるいはその代わりに、ケース3用の再符号化は、例えばコンテンツ・セグメント232fの終端、あるいは後続するコンテンツ・セグメントの終端のような、より後のコンテンツ・セグメントの終端で終了することができる。
【0032】
図2Cに、1つの実現による、代案の使用事例、即ちケース4用に、正確に的を絞ってコンテンツをマイクロエンコーディングするための方策を表す例示的な図を示す。なお、
図2B中に出現する参照番号と同一の参照番号によって識別される
図2C中のあらゆる特徴は、
図2B中のそれぞれの特徴に相当し、本開示によればこれらの相当する特徴に帰する上記の特性のいずれをも共有することができる。
図2Cに示すように、ケース4では、マーカー238eが、コンテンツ・セグメント232dのセグメント境界234a及び234bの各々の間の最小のコンテンツ・セグメント継続時間233内に位置する。
【0033】
上述したケース1と同様に、ケース4については、マーカー238eを含むコンテンツ・セグメント232dの先頭で再符号化を開始することができない、というのは、コンテンツ・セグメント232dの先頭で再符号化を開始して、新たなセグメント境界をマーカー238eの所に生成したとすれば、
図2Aを参照することにより上述した最小のコンテンツ・セグメント継続時間の要件に反するからである。従って、再符号化は、先行するコンテンツ・セグメントの始端の開始時刻、即ち隣接して先行するコンテンツ・セグメント232cの開始時刻以前に開始しなければならない。しかし、ケース3と同様に、ケース4については、コンテンツ・セグメント232dの終端で再符号化を終了することはできない、というのは、コンテンツ・セグメント232dの終端で再符号化を終了して、新たなセグメント境界をマーカー238eの所に生成したとすれば、この場合も
図2Aを参照することにより上述した最小のコンテンツ・セグメント継続時間の要件に反するからである。従って、再符号化は、後続するコンテンツ・セグメントの終了時刻、即ち隣接して後続するコンテンツ・セグメント232eの終了時刻以後に終了しなければならない。従って、ケース4については、コンテンツ・セグメント232cの先頭で再符号化を開始し、コンテンツ・セグメント232eの終端で再符号化を終了することができる。
【0034】
マーカー238eの位置に新たなセグメント境界を生成するために再符号化しなければならないコンテンツ230の最小のサブセクションは、マーカー238eの位置を含むコンテンツ・セグメント232dに隣接して先行するコンテンツ・セグメント232cの先頭で始まり、コンテンツ・セグメント232dに隣接して後続するコンテンツ・セグメント232eの終端で終了するが、他の再符号化継続時間も可能である。例えば、ケース4用の再符号化は、例えばコンテンツ・セグメント232bの先頭で、あるいはコンテンツ・セグメント232bに先行するあらゆるコンテンツ・セグメントの先頭で、のようにコンテンツ・セグメント232cよりも前に開始することができる。それに加えて、あるいはその代わりに、ケース4用の再符号化は、例えばコンテンツ・セグメント232fの終端、あるいは後続するコンテンツ・セグメントの終端のような、より後のコンテンツ・セグメントの終端で終了することができる。
【0035】
なお、ケース1、ケース2、ケース3、及びケース4の各ケース用の再符号化方策は、最小のサブセクションの開始時刻、最小のサブセクションの終了時刻、及びマーカー位置を含む三つ組のデータによって特徴付けられる、再符号化すべきコンテンツ230の最小のサブセクションを識別する。更に、ケース1、ケース3、及びケース4に適用される再符号化方策は、追加のコンテンツ・セグメントをコンテンツ230に追加せずに、1つ以上の既存のセグメント境界を新たな位置へシフトすることによって、マーカー238b、238d、及び238eのそれぞれの位置に新たなセグメント境界を生成するが、ケース2に適用される方策は、単一のコンテンツ・セグメント232dを2つのコンテンツ・セグメントに区分する。
【0036】
従って、本発明の新規性及び進歩性のある正確に的を絞ったマイクロエンコーディングによる再符号化を施されるコンテンツ230のあらゆるサブセクションは、最初は整数「N」個のコンテンツ・セグメントを含み、再符号化後には、この再符号化されたサブセクションは、N個のコンテンツ・セグメントまたはN+1個のコンテンツ・セグメントを含むことができる。更に、ケース2については、再符号化に課せられる唯一の要件が、コンテンツ・セグメント232dの始端及び終端、及びマーカー238cの位置が尊重される、ということであるので、一部の実施形態では、再符号化を施され、最初はN個のコンテンツ・セグメントを含むコンテンツ・セグメント230のサブセクションを、N個のコンテンツ・セグメント、N+1個のコンテンツ・セグメント、またはN+2個以上のコンテンツ・セグメントに再符号化することができる。換言すれば、コンテンツ230の元のサブセクションは、再符号化された後の当該サブセクションよりも少数の、少なくとも1つのコンテンツ・セグメントを含むことができる。
【0037】
上述したコンテンツ230の最小の再符号化サブセクションの開始及び終了時刻は、再符号化を最適でなくする開始及び終了時刻の一方または両方を生じさせ得る、基になるコンテンツの特性を考慮しない。例えば、最小の再符号化サブセクションの始端位置、その終端、または両方にあるコンテンツは、再符号化がそこで開始されるか終了するものとすれば、コンテンツ230の再生時に耳や目につくオーディオ・アーティファクト(音声ノイズ)、ビデオ・アーティファクト(映像ノイズ)、またはオーディオ・アーティファクト及びビデオ・アーティファクトの両方を生じさせ得る特定の属性を有し得る。ケース1、ケース2、ケース3、及びケース4を参照することにより上述した最小の再符号化サブセクションを含むコンテンツ230の最適な再符号化サブシーケンス(副次的順序)を識別するためのプロセスは、こうした問題を軽減または解消するための多様な方法を含むことができる。例えば、再符号化用の最適な開始時刻及び終了時刻を決定するプロセスは、ドルビービジョン(Dolby Vision:登録商標)ショット・メタデータ、シーン変化検出、チャンク(chunk)の境目の複雑性解析、等のようなコンテンツ・メタデータのうちの1つ以上を考慮することができる。最終結果は同様であり、再符号化サブセクション用の開始時刻、再符号化サブセクション用の終了時刻、及び再符号化サブセクション内に含まれるマーカーの位置を識別する三つ組のデータである。コンテンツ230の再符号化用の最適なサブセクションの決定は、元のコンテンツを再符号化されたコンテンツに置き換える際のオーディオ及びビデオの影響を最小にすることを追求する。
【0038】
上述したコンテンツ230の最小のサブセクション、またはこの最小のサブセクションを含むコンテンツ230の最適なサブセクションが再符号化されるか否かにかかわらず、本願中に開示するコンテンツ・サブセクションの正確に的を絞ったマイクロエンコーディングは、次の特徴を生じさせる:1)N個のコンテンツ・セグメントを有するコンテンツ・サブセクションの再符号化がN個またはN+1個以上のコンテンツ・セグメントを有する再符号化されたサブセクションを生じさせる、2)再符号化されたコンテンツ・サブセクションの始端にある最初のコンテンツ・セグメントのみが、元のコンテンツ・サブセクションの開始時刻に位置合わせされる、3)あるマーカーの位置に位置合わせされた新たなセグメント境界が生成される、及び4)再符号化されたコンテンツ・サブセクションの最後のコンテンツ・セグメントの(表示順序における)最終フレームは、元のコンテンツ・サブセクションの最後のコンテンツ・セグメントの最終フレームと同じである。
【0039】
図3に、1つの1つの実現による、正確に的を絞ってコンテンツをマイクロエンコーディングするより詳細な例の図を示す。なお、
図3に示す例は、
図2A及び2B中のケース1に相当する。
図3に示すように、マーカー338bの位置を含むコンテンツ330-1のコンテンツ・セグメント332d-1、及びこれに先行するコンテンツ・セグメント332c-1のみが正確に的を絞って再符号化されて、新たなセグメント境界340をマーカー338bの位置に有する再符号化されたコンテンツ350が生成される。
【0040】
マーカー338b、コンテンツ330、コンテンツ・セグメント332c-1、コンテンツ・セグメント332d-1、及び再符号化されたコンテンツ350は、概ね、
図1、2A、及び2B中に個別に示す、それぞれマーカー238b、コンテンツ130/230、コンテンツ・セグメント232c、コンテンツ・セグメント232d、及び再符号化されたコンテンツ150に相当する。従って、マーカー238b、コンテンツ120/230、コンテンツ・セグメント232c、コンテンツ・セグメント232d、及び再符号化されたコンテンツ150は、本発明によりマーカー338b、コンテンツ330、コンテンツ・セグメント332c-1、コンテンツ・セグメント332d-1、及び再符号化されたコンテンツ350に帰する特性のいずれをも共有することができ、その逆も成り立つ。
【0041】
コンテンツ・セグメント332c-1及び332d-1を含むコンテンツ330のサブセクションを再符号化する原理は、
図2B及びケース1を参照することにより上述した通りであり、繰り返さない。しかし、
図3に示す例によれば、コンテンツ・セグメント332c-1及び332d-1の再符号化は、元のコンテンツ・セグメント332c-1の全体及び元のコンテンツ・セグメント332d-1の一部分を含む再符号化されたコンテンツ・セグメント332c-2を生じさせるのに対し、再符号化されたコンテンツ・セグメント332d-2は、元のコンテンツ・セグメント332d-1の全体までは含まない。
【0042】
なお、例えばドルビービジョン(登録商標)のような一部のメディア・フォーマットは、フレーム毎のコンテンツ・メタデータを含み、このフレーム毎のコンテンツ・メタデータは、基になるビデオフレームに関連し、あるいは基になるビデオフレームと統合される。こうしたメタデータは、コンテンツ130/230/330の先頭で始まり、このコンテンツの終端までずっと継続される線形処理の結果とすることができる。これらの使用事例では、本発明の正確に的を絞ったマイクロエンコーディングの解決策は、既存のコンテンツ・セグメントからこうしたメタデータを抽出すること、及びこのメタデータを再符号化されたコンテンツ・セグメント内に適切に配置することを含むことができる。
図3に示す例示的な使用事例を参照すれば、コンテンツ・セグメント332d-1に関連する、あるいはコンテンツ・セグメント332d-1に含まれるコンテンツ・メタデータを、新たなセグメント境界340の位置に基づいて、新たなセグメント境界340を境界とする再符号化されたコンテンツ・セグメント332c-2と332d-2との間で区分することができる。
【0043】
システム100の機能を、
図4Aを参照することにより更に説明する。
図4Aに、1つの実現による、正確に的を絞ってコンテンツをマイクロエンコーディングする例示的方法を提示するフローチャート460Aを示す。
図4Aに概略を示す方法に関しては、本願発明の特徴の説明を曖昧にしないために、特定の細部及び特徴はフローチャート460Aから除外している。
【0044】
ここで
図4Aを、
図1及び2Aと組み合わせて参照すれば、フローチャート460Aは、コンテンツ・セグメント232の列を含むコンテンツ130/230、及びこのコンテンツ用のマーカーデータ126を受信することから始まり、マーカーデータ126は上記列内の位置を識別する(動作461)。なお、マーカーデータ126によって識別される、コンテンツ130/230に含まれるコンテンツ・セグメント232の列内の位置は、インタースティシャル・コンテンツをコンテンツ・セグメント232の列内に挿入するための挿入ポイントとすることができる。コンテンツ130/230及びマーカーデータ126は、動作461において、システム100の処理ハードウェア104によって実行されるマイクロエンコーディング・ソフトウェアコード110によって受信することができる。例えば、
図1に示すように、一部の実現では、コンテンツ130/230及びマーカーデータ126を、システム100が、コンテンツ源116から、通信ネットワーク112及びネットワーク通信リンク114経由で、あるいは通信リンク経由118経由で直接、のいずれでも受信することができる。
【0045】
上述したように、コンテンツ130/230は、様々な異なる種類及びジャンルのAVコンテンツ、並びにオーディオを伴わないビデオ、またはビデオを伴わないオーディオのいずれをも含むことができる。AVコンテンツの具体例は、映画の形態のABRコンテンツ、TVのエピソードまたはシリーズ、ビデオゲーム、及びスポーツイベントを含む。それに加えて、あるいはその代わりに、一部の実現では、コンテンツ130/230を、人物、架空のキャラクター、場所、物体、及びブランド及びロゴのような識別子のデジタル表現とすること、あるいはコンテンツ130/230がこうしたデジタル表現を含むことができ、こうしたデジタル表現は、例えばVR、AR、またはMR環境に存在する。更に、コンテンツ130/230は、人物の身元、ユーザの履歴、資格、所有権、支払い、等のようなデータの連続性を提供しつつ、任意数のユーザが同期して持続的に体験することができる仮想世界を表すことができる。その代わりに、あるいはそれに加えて、コンテンツ130/230は、従来型のAVと、対話型ビデオのような完全没入型のVR/AR/MR体験との混成とすることができ、あるいはこうした混成を含むことができる。
【0046】
フローチャート460Aは、コンテンツ130/230及びマーカーデータ126を用いて、マーカーデータ126によって識別される位置を含むコンテンツ・セグメントのセグメント境界を識別するステップを更に含むことができる(動作462)。マーカーデータ126によって識別される位置を含むコンテンツ・セグメントのセグメント境界の識別は、動作462において、計算プラットフォーム102の処理ハードウェア104がマイクロエンコーディング・ソフトウェアコード110を実行することによって、最先端技術において既知であるあらゆる適切な技術を用いて実行することができる。
【0047】
フローチャート460Aは、マーカーデータ126によって識別される位置、及び動作462において識別したセグメント境界を用いて、マーカーデータ126によって識別される位置が、これらのセグメント境界のうちの1つから所定間隔内に位置するか否かを判定するステップを更に含む(動作463)。例として、
図2A及び2Bに示すように、一部の実現では、こうした所定間隔は、
図2A中の最小のコンテンツ・セグメント継続時間233とすることができ、動作463は、マーカーデータ126によって識別される位置が、
図2B及び2C中のコンテンツ・セグメント232dに対して、
図2A、2B、及び2Cに例示するケース1、ケース2、ケース3、またはケース4のいずれに相当するかを判定することに相当することができる。
【0048】
図2B及び2Cを参照することにより説明したように、コンテンツ230を再符号化して新たなセグメント境界を正セするための最小のサブセクションは、動作463において実行した判定に基づいて識別することができる。しかし、そして更に上述したように、一部の実現では、コンテンツ230の最適なサブセクションを再符号化することが有利であるか望ましいことがあり、この最適なサブセクションは、最小のサブセクションよりも長く、かつ最小のサブセクションを含む。
【0049】
従って、一部の実現では、フローチャート460Aが、コンテンツ130/230に基づいて、再符号化用に最適な、上記列内のサブセクションを決定するステップを更に含むことができ、最適なサブセクションは、上記位置を含むコンテンツ・セグメント232dに加えて複数のコンテンツ・セグメントを含む(動作464)。なお、動作464は任意であり、一部の実現では、フローチャート460Aによって概略を示す方法から除外することができる。しかし、フローチャート460Aによって概略を示す方法に動作464が含まれる実現では、
図2Bを参照することにより上述したように、動作464は、計算プラットフォーム102の処理ハードウェア104によって実行されるマイクロエンコーディング・ソフトウェアコード110によって実行することができる。なお、
図2Bを参照することにより上述したように、種々の使用事例では、コンテンツ・セグメント232dに加えて最適なサブセクションに含まれる複数のコンテンツ・セグメントのうちの1つ以上が、コンテンツ・セグメント232dに先行することができ、または232dに後続することができ、あるいは、これらのコンテンツ・セグメントのうちの1つ以上がコンテンツ・セグメント232dに先行することができ、かつ、これらのコンテンツ・セグメントのうちの1つ以上がコンテンツ・セグメント232dに後続することができる。
【0050】
図3を、
図1、2A、2B、2C、及び4Aと組み合わせて参照すれば、フローチャート460Aは、上記列内のサブセクションを再符号化して、新たなセグメント境界340を、マーカーデータ126によって識別される位置に生成するステップを更に含む。動作463において、この位置が、コンテンツ・セグメント232dのセグメント境界のうちの1つから上記所定間隔内に位置しないものと判定されると、再符号化されるサブセクションは、マーカーデータ126によって識別される位置を含むコンテンツ・セグメント232dを少なくとも含み、かつ高々コンテンツ・セグメント232dしか含むことができない(動作465-1)。しかし、マーカーデータ126によって識別される位置が、コンテンツ・セグメント232dのセグメント境界のうちの1つから上記所定間隔内に位置するものと判定されると、再符号化されるサブセクションは、この位置を含むコンテンツ・セグメント、及びこの位置を含むコンテンツ・セグメント232dに隣接するコンテンツ・セグメント、即ち、コンテンツ・セグメント232dに先行するコンテンツ・セグメント232cまたはコンテンツ・セグメント232dに後続するコンテンツ・セグメント232eのいずれかを少なくとも含み、かつ高々コンテンツ・セグメント232d、及びコンテンツ・セグメント232cまたは232eの一方しか含むことができない(動作465-2)。上述したように、一部の実現では、動作464及び465をフローチャート460Aから除外することができる。これらの実現では、動作463に動作466を直接後続させることができる。
【0051】
コンテンツ・セグメント232dを含むコンテンツ230のサブセクションの再符号化を、動作465-1により実行するか動作465-2により実行するかにかかわらず、この再符号化は、計算プラットフォーム102の処理ハードウェア104によって実行されるマイクロエンコーディング・ソフトウェアコードによって実行することができる。なお、一部の使用事例では、コンテンツ130/230が、予めトランスコードされ、セグメント化され、潜在的に暗号化され、ABRメディア・プレイリストが生成されていることがあり、結果的なコンテンツ130/230が元の所に記憶されているに過ぎない。換言すれば、コンテンツ130/230の元のトランスコードされたバージョンは存在しないことがあり、あるいは入手不可能であることがある。これらの使用事例では、動作465-1または動作465-2が、元のものを取得するステップと、元のもののサブセクションを再符号化するステップとを含むことができる。しかし、コンテンツ130/230の元のトランスコードされたバージョンが入手可能である使用事例では、動作465-1または動作465-2が、再符号化されるコンテンツ230のサブセクションをまず復号化し、次にこのサブセクションを再符号化するステップを含むことができる。
【0052】
一部の実現では、フローチャート460Aによって概略を示した方法が、動作465-1または動作465-2で終了するが、他の実現では、この方法を拡張して追加的動作を含めることができる。ここで
図4Bを参照すれば、
図4Bは、1つの実現による、
図4Aに概略を示す方法を拡張するための例示的動作を記述するフローチャート460Bを示す。なお、
図4Bに記述する動作に関しては、本願発明の特徴の説明を曖昧にしないために、特定の細部及び特徴はフローチャート460Bから除外している。
【0053】
一部の使用事例では、
図3を参照し更に
図1を参照して上述したように、マーカーデータ126によって識別される位置を含むコンテンツ・セグメント332d-1が、コンテンツ・セグメント332d-1に関連する、あるいはコンテンツ・セグメント332d-1に含まれるコンテンツ・メタデータに更に対応することができる。これらの使用事例では、フローチャート460A及び460Bによって概略を示す方法が、このコンテンツ・メタデータを、新たなセグメント境界340に基づいて、新たなセグメント境界340を境界とする再符号化されたコンテンツ・セグメント332c-2と332d-2との間で区分するステップを更に含むことができる(動作466)。なお、動作466は任意であり、一部の実現では、フローチャート460Bによって拡張される方法から除外することができる。しかし、フローチャート460Bによって拡張される方法に動作466が含まれる実現では、
図3を参照することにより上述したように、動作466を、計算プラットフォーム102の処理ハードウェア104によって実行されるマイクロエンコーディング・ソフトウェアコード110によって実行することができる。
【0054】
フローチャート460Bは、動作465-1または465-2において再符号化した上記列内のサブセクション、あるいは動作465-1または465-2において再符号化した上記列内のサブセクション及び動作466において区分したコンテンツ・メタデータを、マーカーデータ126によって識別される位置を含むコンテンツ・セグメント232dを含む上記列内のサブセクションの置き換えとしてパッケージ化するステップを更に含むことができる(動作467)。例として、動作465-1または465-2において再符号化した上記列内のサブセクション、あるいは動作465-1または465-2において再符号化した上記列内のサブセクション及び動作466において区分したコンテンツ・メタデータを、パッケージ化して、あるいはパッケージ化し暗号化して、例えばコモン・メタデータ・アプリケーション・フォーマット(CMAF:Common Metadata Application Format)のような、あらゆる所望のパッケージ化フォーマットにすることができる。しかし、動作467は任意であり、一部の実現では、フローチャート460Bによって拡張される方法から除外することができる。フローチャート460Bによって拡張される方法に動作467が含まれる実現では、動作467を、計算プラットフォーム102の処理ハードウェア104によって実行されるマイクロエンコーディング・ソフトウェアコード110によって実行することができる。
【0055】
フローチャート460Bは、動作465-1または465-2において実行した再符号化に基づいて、コンテンツ130/230用のプレイリストを更新するステップを更に含むことができる(動作468)。多数のABRプロトコル仕様は、離散したセグメントファイル用の例えばユニフォーム・リソース・ロケータ(URL:Uniform Resource Locator:統一資源位置指定子)のようなユニフォーム・リソース・アイデンティファイア(URI:Uniform Resource Identifier:統一資源識別子)を使用するプレイリストの形式を用いる。これらの使用事例では、コンテンツ130/230用の既存のプレイリストが動作465-1または465-2に基づくことができる。その代わりに、動作465-1または465-2において再符号化したサブセクションは、所定のABRプロトコル仕様により表現する必要があり得る。例えば、HLSでは、符号化パラメータまたは符号化順序が元のものと異なる場合、#EXT-X-DISCONTINUITYタグを用いる。なお、動作468は任意であり、一部の実現では、フローチャート460Bによって拡張される方法から除外することができる。しかし、フローチャート460Bによって拡張される方法に動作468が含まれる実現では、動作468を、計算プラットフォーム102の処理ハードウェア104によって実行されるマイクロエンコーディング・ソフトウェアコード110によって実行することができる。
【0056】
なお、フローチャート460A及び460Bによって記述される動作に関しては、動作461、462、及び463(以下「動作461~463」)、動作461~463及び465-1、動作461~463及び465-2、動作461~463、464及び465-1、動作461~463、464及び465-2、または上述した動作の順序のいずれも、動作466、467、及び468のうちの1つ以上と組み合わせて、人間の関与を除くことができる自動化されたプロセスとして実行することができる。
【0057】
従って、本願は、正確に的を絞ってコンテンツをマイクロエンコーディングするためのシステム及び方法を開示する。本願中に開示する正確に的を絞ったマイクロエンコーディングの解決策は、新たなコンテンツ・セグメント境界位置、既存のコンテンツ・セグメント境界、最小及び最大のコンテンツ・セグメント継続時間に対する制約、再符号化によって生成される主観的なオーディオ及びビデオの不規則性、及び元のメタデータの保存、並びにコンテンツ・プレイリストを入れ替える変更の必要性を有利に考慮することによって、以前にセグメント境界が存在しなかった所への新たなセグメント境界の生成を可能にする。更に、本発明の解決策は、再符号化するために必要な時間、並びに検証において必要なQC時間を大幅に低減しつつ、上述した最先端技術を前進させる、というのは正確に的を絞った微小領域のみを再符号化するからである。
【0058】
以上の説明より、本願中に記載した概念の範囲から逸脱することなしに、これらの概念を実現するために種々の技術を用いることができることは明らかである。更に、特定の実現を参照しながらこれらの概念を説明してきたがこれらの概念の範囲から逸脱することなしに、形態及び細部に変更を加えることができることは、通常の当業者の認識する所である。このため、説明した実現は、あらゆる点で、限定的ではなく例示的なものとして考えるべきである。本願は、本明細書中に記載した特定の実現に限定されず、本発明の範囲から逸脱することなしに、多数の再構成、修正、及び代替が可能であることも明らかである。