特開 2024-16803 デジタル・コンテンツの的を絞った再処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024016803

(43)【公開日】2024-02-07

(54)【発明の名称】デジタル・コンテンツの的を絞った再処理

(51)【国際特許分類】

   H04N 5/91 20060101AFI20240131BHJP

   H04N 21/234 20110101ALI20240131BHJP

   H04N 21/845 20110101ALI20240131BHJP

   H04N 5/765 20060101ALI20240131BHJP

   G11B 27/02 20060101ALI20240131BHJP

【ＦＩ】

H04N5/91

H04N21/234

H04N21/845

H04N5/765

G11B27/02 Z

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023099104

(22)【出願日】2023-06-16

(31)【優先権主張番号】17/873,511

(32)【優先日】2022-07-26

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】504399716

【氏名又は名称】ディズニー エンタープライゼス インコーポレイテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100169823

【弁理士】

【氏名又は名称】吉澤 雄郎

(72)【発明者】

【氏名】スコット ラブロージー

【テーマコード（参考）】

5C164

5D110

【Ｆターム（参考）】

5C164FA29

5C164MB44P

5C164SB01P

5C164SB26S

5C164TA08S

5D110AA27

5D110AA29

5D110CA09

5D110CC03

(57)【要約】      （修正有）

【課題】デジタル・コンテンツの的を絞った再処理用システム及び方法を提供する。
【解決手段】方法は、タイムライン上にインデックスを付けられたコンテンツを受信し、タイムライン上のタイムコードを識別する挿入データを受信し、挿入データを用いてコンテンツを符号化して、セグメント化されたコンテンツを提供する。コンテンツは、セグメント境界をタイムコードの所に有し、セグメント境界に接する第１セグメントは、セグメント境界に先行し、第２セグメントはセグメント境界に後続する。方法はまた、セグメント化されたコンテンツに基づいて、再処理用に最適なセグメント化されたコンテンツのシーケンスを決定し、第１、第２セグメントを処理して、フェードアウトを第１セグメント内又は第１セグメントに適用し、第２セグメント内又は第２セグメントにフェードインを適用し、フェードインを、第２セグメント内又は第２セグメントに適用する。
【選択図】図４

【特許請求の範囲】

【請求項1】

処理ハードウェア、及びソフトウェアコードを記憶するシステムメモリを有する計算プラットフォームを具えたシステムであって、
前記処理ハードウェアは、前記ソフトウェアコードを実行して、
タイムライン上にインデックスを付けられたデジタル・コンテンツを受信し、
前記タイムライン上のタイムコードを識別する挿入データを受信し、
前記挿入データを用いて前記デジタル・コンテンツを符号化して、セグメント化されたコンテンツを提供し、該セグメント化されたコンテンツは、前記タイムコードの所にセグメント境界を有し、かつ前記セグメント境界に接する第１セグメント及び第２セグメントを有し、前記第１セグメントは前記セグメント境界に先行し、前記第２セグメントは前記セグメント境界に後続し、
前記第１セグメント及び前記第２セグメントを再処理して、フェードアウトを前記第１セグメント内または前記第１セグメントに適用し、フェードインを前記第２セグメント内または前記第２セグメントに適用するように構成され、
前記第１セグメント及び前記第２セグメントを再処理することにより、追加的コンテンツの挿入ポイントとして設定された前記セグメント境界を有する符号化されたセグメントを提供するシステム。

【請求項2】

前記処理ハードウェアが、前記ソフトウェアコードを実行して、更に、
前記再処理の前に、前記セグメント化されたコンテンツに基づいて、前記再処理用に最適な前記セグメント化されたコンテンツのシーケンスを決定するように構成され、前記最適なシーケンスは、前記第１セグメント及び前記第２セグメントに加えて、少なくとも１つのコンテンツ・セグメントを含む、請求項１に記載のシステム。

【請求項3】

前記最適なシーケンスが、前記第１セグメント及び前記第２セグメントに加えて、複数のコンテンツ・セグメントを含み、該複数のコンテンツ・セグメントのうちの少なくとも１つが、前記第１セグメントに先行し、または前記第２セグメントに後続する、請求項２に記載のシステム。

【請求項4】

前記追加的コンテンツが新たなコンテンツである、請求項１に記載のシステム。

【請求項5】

前記追加的コンテンツが少なくとも１つの広告を含む、請求項４に記載のシステム。

【請求項6】

前記追加的コンテンツが、新たなコンテンツ、及び該新たなコンテンツに先行または該新たなコンテンツに後続するブラック・セグメントを含む、請求項１に記載のシステム。

【請求項7】

前記追加的コンテンツが、新たなコンテンツ、及び該新たなコンテンツに先行する第１ブラック・セグメント、及び該新たなコンテンツに後続する第２ブラック・セグメントを含む、請求項１に記載のシステム。

【請求項8】

前記再処理の前の前記セグメント化されたコンテンツの再生用のプレイリストと同じプレイリストを、前記再処理後の前記セグメント化されたコンテンツの再生用に使用することができる、請求項１に記載のシステム。

【請求項9】

前記再処理後の前記セグメント化されたコンテンツのタイムラインが、前記デジタル・コンテンツのタイムラインと一致する、請求項１に記載のシステム。

【請求項10】

前記セグメント化されたコンテンツが、調整可能ビットレート（ＡＢＲ）コンテンツを含む、請求項１に記載のシステム。

【請求項11】

処理ハードウェア、及びソフトウェアコードを記憶するシステムメモリを有する計算プラットフォームを具えたシステムが用いる方法であって、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、タイムライン上にインデックスを付けられたデジタル・コンテンツを受信するステップと、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記タイムライン上のタイムコードを識別する挿入データを受信するステップと、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記挿入データを用いて前記デジタル・コンテンツを符号化して、セグメント化されたコンテンツを提供するステップであって、該セグメント化されたコンテンツは、前記タイムコードの所にセグメント境界を有し、かつ前記セグメント境界に接する第１セグメント及び第２セグメントを有し、前記第１セグメントは前記セグメント境界に先行し、前記第２セグメントは前記セグメント境界に後続するステップと、
前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記第１セグメント及び前記第２セグメントを再処理して、フェードアウトを前記第１セグメント内または前記第１セグメントに適用し、フェードインを前記第２セグメント内または前記第２セグメントに適用するステップとを含み、
前記第１セグメント及び前記第２セグメントを再処理することにより、追加的コンテンツの挿入ポイントとして設定された前記セグメント境界を有する符号化されたセグメントを提供する方法。

【請求項12】

前記再処理の前に、前記処理ハードウェアが前記ソフトウェアコードを実行することによって、前記セグメント化されたコンテンツに基づいて、前記再処理用に最適な前記セグメント化されたコンテンツのシーケンスを決定するステップを更に含み、前記最適なシーケンスは、前記第１セグメント及び前記第２セグメントに加えて、少なくとも１つのコンテンツ・セグメントを含む、請求項１１に記載の方法。

【請求項13】

前記最適なシーケンスが、前記第１セグメント及び前記第２セグメントに加えて、複数のコンテンツ・セグメントを含み、該複数のコンテンツ・セグメントのうちの少なくとも１つが、前記第１セグメントに先行し、または前記第２セグメントに後続する、請求項１２に記載の方法。

【請求項14】

前記追加的コンテンツが新たなコンテンツである、請求項１１に記載の方法。

【請求項15】

前記追加的コンテンツが少なくとも１つの広告を含む、請求項１４に記載の方法。

【請求項16】

前記追加的コンテンツが、新たなコンテンツ、及び該新たなコンテンツに先行または該新たなコンテンツに後続するブラック・セグメントを含む、請求項１１に記載の方法。

【請求項17】

前記追加的コンテンツが、新たなコンテンツ、及び該新たなコンテンツに先行する第１ブラック・セグメント、及び該新たなコンテンツに後続する第２ブラック・セグメントを含む、請求項１１に記載の方法。

【請求項18】

前記再処理の前の前記セグメント化されたコンテンツの再生用のプレイリストと同じプレイリストを、前記再処理後の前記セグメント化されたコンテンツの再生用に使用することができる、請求項１１に記載の方法。

【請求項19】

前記再処理後の前記セグメント化されたコンテンツのタイムラインが、前記デジタル・コンテンツのタイムラインと一致する、請求項１１に記載の方法。

【請求項20】

前記セグメント化されたコンテンツが、調整可能ビットレート（ＡＢＲ）コンテンツを含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

背景
コンテンツ媒体としてのそのほぼ普遍的な人気により、これまで以上のオーディオ－ビデオ（ＡＶ：audio-video：音響映像）コンテンツが制作されており、顧客にとって利用可能になっている。更に、ストリーミング（ストリーム配信）プラットフォームがＡＶコンテンツ用のますます重要な配信ハブになっているので、変化しやすいネットワーク状態、及びストリーミング・コンテンツを受信する多種多様な顧客の装置間のデータ処理能力の差に起因して、調整可能ビットレート（ＡＢＲ：adjustable bit-rate）のＡＶコンテンツも、ますます重要になっている。その結果、ＡＢＲコンテンツを含むＡＶコンテンツを追加することができる効率、あるいは強化されたポストプロダクション（撮影後の作業、追加制作物）が、そのコンテンツのプロデューサ（制作者）、所有者、または配信者にとってますます重要になっている。

【背景技術】

【0002】

例として、一部の使用事例では、例えば広告のような追加的コンテンツを既存のＡＶコンテンツ、ポストプロダクションに追加することが有利であるか望ましいことがある。ＡＶコンテンツが元々追加的コンテンツ用に事前に定められた挿入ポイントなしに制作された場合、そのコンテンツにポストプロダクションを導入することは、そのコンテンツを再生中に視聴する顧客にとって不快な、あるいは混乱する体験を生じさせ得る。例えば、ＡＶコンテンツ中に深く考えずに挿入されている広告は、途中のシーン、更には途中のショット（場面）に見え、これにより顧客の視聴体験を目障り耳障りな感じでぶち壊しにすることがある。視聴者のぶち壊し感及び美的な意味での不快感を回避して追加的コンテンツを追加する従来の方法は、コンテンツを丸ごと再符号化することであり、今度は、広告または他の追加的コンテンツ用のセグメント境界を調整するに当たり用いる接合ポイントを考慮に入れる。しかし、こうした従来の方法は、コンテンツを再符号化するために必要な計算時間及び品質管理（ＱＣ：quality control）審査の両方の意味で、不所望なほど、一部の例では非実用的なほど高価である。

【図面の簡単な説明】

【0003】

【図1】１つの実現による、デジタル・コンテンツの的を絞った再処理用の例示的システムの図である。

【図2A】１つの実現による、既存のデジタル・コンテンツへの追加的コンテンツの挿入用のタイムコードを識別するマーカーを示す例示的な図である。

【図2B】１つの実現による、セグメント境界を生成するための符号化後の、図２Ａのデジタル・コンテンツを示す例示的な図である。

【図2C】１つの実現による、図２Ａのマーカーによって識別されるタイムコードの所にあるセグメント境界に接するそれぞれのセグメント内に、またはそれぞれのセグメントにフェードイン及びフェードアウトを適用するための的を絞った再処理後の、図２Ａ及び２Ｂのデジタル・コンテンツを示す例示的な図である。

【図3】１つの実現による、図２Ｃのフェードアウト及びフェードインを適用するための再処理後に、追加的コンテンツを挿入ポイントに導入する例示的な図である。

【図4】１つの実現による、デジタル・コンテンツの的を絞った再処理用の例示的方法の概要を示すフローチャートである。

【発明を実施するための形態】

【0004】

詳細な説明
以下の説明は、本発明の実現に関連する具体的情報を含む。本発明は、本明細書中に具体的に説明する方法とは異なる方法で実現することができることは、当業者の認識する所である。本願中の図面、及びこれらの図面に伴う詳細な説明は、好適な実現に指向したものに過ぎない。特に断りのない限り、図面間で同様の、または対応する要素は、同様の、または対応する参照番号で示すことがある。更に、本願中の図面及び図示は一般に原寸に比例せず、実際の相対的寸法に対応することを意図していない。

【0005】

上述したように、オーディオ－ビデオ（ＡＶ）コンテンツが元々追加的コンテンツ用に事前に定められた挿入ポイントなしに制作された場合、そのコンテンツにポストプロダクションを導入することは、そのコンテンツを再生中に視聴する顧客にとって不快な、あるいは混乱する体験を生じさせ得る。例えば、ＡＶコンテンツ中に深く考えずに挿入されている広告の形態の追加的コンテンツは、途中のシーン、更には途中のショット（場面）に見え、これにより顧客の視聴体験を目障り耳障りな感じでぶち壊しにすることがある。視聴者のぶち壊し感及び美的な意味での不快感を回避して追加的コンテンツを追加する従来の方法は、コンテンツを丸ごと再処理することであり、今度は、広告または他の追加的コンテンツ用のセグメント境界を調整するに当たり用いる接合ポイントを考慮に入れる。しかし、これも上述したように、こうした従来の方法は、コンテンツを再処理するのに必要な計算時間及び品質管理（ＱＣ）審査の両方の意味で、不所望なほど、一部の場合には非実用的なほど高価である。

【0006】

本願は、デジタル・コンテンツの的を絞った再処理用のシステム及び方法を開示する。なお、本願中に定義するように、「的を絞った再処理」という表現は、元のコンテンツの創作意図の美的意味での完全性に悪影響を与えずに、例えば広告のような新たな追加的コンテンツの導入を可能にするための、以前にトランスコードされているコンテンツの１つ以上のセクション、但しコンテンツの全体よりは小さいセクションの選択的再処理、あるいは、現在技術において既知であるブラック・スラグ（black slug）のようなブラック・セグメントを導入するための、メディア・プレイリストに対する的を絞った選択的修正、の一方または両方を参照し得る。本願中に開示する的を絞った再処理の解決策は、追加的コンテンツを上記挿入ポイントに導入することによって生成されるオーディオまたはビデオの主観的不規則性を回避するために必要であるものと考えられるセグメントのみを有利に再処理することによって、符号化されたデジタル・コンテンツのセグメント境界に追加的コンテンツをほぼシームレスに挿入することを可能にする。その結果、本発明の解決策は、再処理するために必要な時間、並びに検証に当たり必要なＱＣ時間を大幅に低減しつつ、上述した最新技術を進歩させる、というのは、以前に符号化されたデジタル・コンテンツの的を絞ったシーケンス（列）のみを再処理するからである。

【0007】

なお、本願中に定義するように、「フェードアウト」という特徴は、十分に照明されたコンテンツからブラック（暗黒）への遷移を参照するのに対し、「フェードイン」という特徴は、ブラックから十分に照明されたコンテンツへの遷移を参照する。フェードアウト及びフェードインの各々は、例えば半秒間（０．５s）のような比較的短い継続時間、あるいは有利であるか望ましいと考えられる他のあらゆる時間間隔を有することができ、そして、デジタル・コンテンツから、例えば１つ以上の広告の形態の追加的コンテンツへ遷移し、そして元に戻る際に、主観的に快適な体験を視聴者に提供するために用いられる。

【0008】

具体例として、ストリーミング・プラットフォームは、広告支援または無広告の二者択一的であるサブスクリプション（加入）サービスを提供することができる。デジタル・コンテンツの的を絞った再処理用の本発明の解決策は、コンテンツを、フェードアウトまたはフェードインなしの無広告ティアの一部として、かつこうしたフェードアウト及びフェードインのある広告支援ティアの一部として配信することを可能にすることが有利である。換言すれば、本願中に開示する的を絞った再処理の解決策は、無広告のティア（即ち、フェードアウトまたはフェードインなし）には、クリーンで（邪魔物がなく）ぶち壊しでない体験を提供し、広告支援のティアには、ストリーム配信されるコンテンツと広告との間の（即ち、フェードイン及びフェードアウトを用いた）快適な遷移を提供する。更に、デジタル・コンテンツの的を絞った再処理のための本発明の解決策は、自動化された、あるいは実質的に自動化されたシステム及び方法を用いて実現することができることが有利である。

【0009】

本願中に定義するように、「自動化」、「自動化された」、及び「自動化する」は、システム管理者のようなユーザの関与を必要としないシステム及びプロセスを参照する。例えば、一部の実現では、人間の編集者またはＱＣ技術者が、本明細書中に開示するシステム及び方法の性能を再検討することがあるが、こうした人間の関与は任意である。従って、一部の実現では、本願中に記載するプロセスを、開示するシステムのハードウェア処理構成要素の制御下で実行することができる。

【0010】

更に、本願中に定義するように、「デジタル・コンテンツ」は、ＡＶコンテンツの多様な異なる種類及びジャンル、並びにオーディオ（音声）を伴わないビデオ（映像）、またはビデオを伴わないオーディオを参照し得る。デジタルＡＶコンテンツの具体例は、映画の形態の調整可能ビットレート（ＡＢＲ）コンテンツ、ＴＶ（television：テレビジョン）のエピソードまたはシリーズ（連続物）、ビデオゲーム、及びスポーツイベントを含む。それに加えて、あるいはその代わりに、一部の実現では、「デジタル・コンテンツ」を、例えば、人物、架空のキャラクター、場所、物体、及びブランド及びロゴのような識別子のデジタル表現とすること、あるいは「デジタル・コンテンツ」がこうしたデジタル表現を含むことができ、こうしたデジタル表現は、例えば、仮想現実感（ＶＲ：virtual reality）、拡張現実感（ＡＲ：augmented reality）、または複合現実感（ＭＲ：mixed reality）環境に存在する。更に、このデジタル・コンテンツは、人物の身元、ユーザの履歴、資格、所有権、支払い、等のようなデータの連続性を提供しつつ、任意数のユーザが同期して持続的に体験することができる仮想世界を表すことができる。なお、本願が開示する概念は、従来型のＡＶと、対話型ビデオのような完全没入型のＶＲ／ＡＲ／ＭＲ体験との混成であるデジタル・コンテンツに適用することもできる。

【0011】

図１に、１つの実現による、デジタル・コンテンツの的を絞った再処理用の例示的システムの図を示す。システム１００は、処理ハードウェア１０４、及びコンピュータ可読の非一時的記憶媒体として実現されるシステムメモリ１０６を有する計算プラットフォーム１０２を含む。図１に示すように、一部の実現によれば、システムメモリ１０６は、的を絞った再処理のソフトウェアコード１１０を記憶し、コンテンツ・データベース１０８を任意で記憶する。

【0012】

図１に更に示すように、システム１００は、トランスコードされていないデジタル・コンテンツ１３０（以下「デジタル・コンテンツ１３０」）及びデジタル・コンテンツ１３０用の挿入データ１２６を提供するコンテンツ源１１６、通信ネットワーク１１２、及びディスプレイ１２２を含むユーザシステム１２０を利用するユーザ１２４を含む使用環境内で実現することができる。それに加えて、図１は、コンテンツ源１１６及びユーザシステム１２０を、通信ネットワーク１１２経由でシステム１００と通信結合する通信リンク１１４を示す。また図１には、デジタル・コンテンツ１３０に対応し、的を絞った再処理のソフトウェアコード１１０によって提供される再処理されたコンテンツ１５０も示す。

【0013】

なお、システム１００は、コンテンツ１３０を、コンテンツ源１１６から通信ネットワーク１１２及びネットワーク通信リンク１１４経由で受信し、一部の実現では、コンテンツ源１１６が、計算プラットフォーム１０２と統合されたコンテンツ源の形をとることができ、あるいは、破線の通信リンク１１８で示すようにシステム１００と直接通信することができる。更に、一部の実現では、システム１００が、コンテンツ・データベース１０８の一方または両方を除外することができる。従って、一部の実現では、システムメモリ１０６が、的を絞った再処理のソフトウェアコード１１０は記憶するが、コンテンツ・データベース１０８は記憶しないことができる。

【0014】

なお、図１に示すシステム１００の表現に関しては、的を絞った再処理のソフトウェアコード１１０及び任意のコンテンツ・データベース１０８を、概念的明確性のためにシステムメモリ１０６に記憶されるものとして表しているが、より一般的には、システムメモリ１０６は、あらゆるコンピュータ可読の非一時的記憶媒体の形をとることができる。本願中に用いる「コンピュータ可読の非一時的記憶媒体」という表現は、計算プラットフォーム１０２の処理ハードウェア１０４のような計算プラットフォームの処理ハードウェアに命令を提供する、搬送波または他の一時的信号を除いたあらゆる媒体を参照する。従って、コンピュータ可読の非一時的記憶媒体は、例えば揮発性媒体及び不揮発性媒体のような各種の媒体に相当することができる。揮発性媒体は、ダイナミック・ランダムアクセスメモリ（ダイナミックＲＡＭ：dynamic random access memory）のようなダイナミックメモリを含むことができるのに対し、不揮発性メモリは、光、磁気、または静電記憶デバイスを含むことができる。コンピュータ可読の非一時的記憶媒体に共通の形態は、例えば、光ディスク、ＲＡＭ、プログラマブル・リードオンリー（読出し専用）メモリ（ＰＲＯＭ：programmable read-only memory）、消去可能ＰＲＯＭ（ＥＰＲＯＭ：erasable PROM）、及びフラッシュメモリを含む。

【0015】

更に、図１は、的を絞った再処理のソフトウェアコード１１０及び任意のコンテンツ・データベース１０８を、システムメモリ１０６内に互いに共同設置（同一場所に設置）されているように表しているが、この表現も概念的明確性の一助として提供するに過ぎない。より一般的には、システム１００は、例えばコンピュータ・サーバーのような１つ以上の計算プラットフォームを含むことができ、これらの計算プラットフォームは、共同設置することができ、あるいは、例えばクラウドベースのシステムのような相互作用可能なようにリンクされた、但し分散型のシステムを形成することができる。その結果、処理ハードウェア１０４及びシステムメモリ１０６は、システム１００内の分散プロセッサ及びメモリリソースに相当することができる。従って、的を絞った再処理のソフトウェアコード１１０及び任意のコンテンツ・データベース１０８は、システム１００の分散メモリリソース内に、互いに対してリモート（遠隔的）に記憶することができることは明らかである。

【0016】

処理ハードウェア１０４は、例えば１つ以上の中央演算処理装置、１つ以上のグラフィックス・プロセシング・ユニット、１つ以上のテンソル処理装置、１つ以上のフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ：field programmable gate array）、及びアプリケーション・プログラミング・インタフェース（ＡＰＩ：application programming interface）サーバーのような複数の処理装置を含むことができる。定義のために、本願中に用いる「中央演算処理装置（ＣＰＵ：central processing unit）」、「グラフィックス・プロセシング・ユニット（ＧＰＵ：graphics processing unit）」、及び「テンソル処理装置（ＴＰＵ：tensor processing unit）」とは、それぞれが最新技術において慣用されている意味を有する。換言すれば、ＣＰＵは、計算プラットフォーム１０２の算術及び論理演算を実行するための演算装置（ＡＬＵ：arithmetic logic unit：算術論理演算器）、並びに的を絞った再処理のソフトウェアコード１１０のようなプログラムをシステムメモリ１０６から読み出すための制御装置（ＣＵ：control unit）を含むのに対し、ＧＰＵは、計算が集約的なグラフィックスまたは他の処理タスクを実行することによってＣＰＵの処理オーバーヘッドを低減するように実現することができる。ＴＰＵは、特に、機械学習モデル化のような人工知能（ＡＩ：artificial intelligence）用途向けに構成された特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）である。

【0017】

更に、本願中に定義するように、「機械学習モデル」または「ＭＬ（machine learning）モデル」という表現は、データのサンプルまたは「学習データ」から学習したパターンに基づいて将来予測を行うための数学モデルを参照することがある。種々の学習アルゴリズムを用いて、入力データと出力データとの相互関係を対応付けることができる。これらの相互関係は、新たな入力データに対して将来予測を行うために用いることができる数学モデルを形成する。こうした予測モデルは、１つ以上のロジスティック回帰モデル、ベイズモデル、またはニューラルネットワーク（ＮＮ：neural network：神経回路網）を含むことができる。更に、「ディープ・ニューラルネットワーク（深層神経回路網）」は、ディープラーニング（深層学習）との関連で、入力層と出力層との間の複数の隠れ層を利用するＮＮを参照することがあり、このことは、生データ中に明示的に定義されていない特徴に基づく学習を可能にすることができる。種々の実現では、ＮＮを分類器として学習させることができ、ＮＮを利用して画像処理または自然言語処理を実行することができる。

【0018】

一部の実現では、計算プラットフォーム１０２が、例えばインターネットのようなパケット交換ネットワーク越しにアクセス可能な１つ以上のウェブ・サーバーに相当することができる。その代わりに、計算プラットフォーム１０２は、プライベート・ワイドエリア・ネットワーク（ＷＡＮ：wide area network）、ローカルエリア・ネットワーク（ＬＡＮ：local area network）をサポートする、あるいは他の種類の配信制限ネットワークまたはプライベート・ネットワーク内に含まれる１つ以上のコンピュータ・サーバーに相当することができる。更に他の代案として、一部の実現では、システム１００を、データセンターにおけるように仮想的に実現することができる。例えば、一部の実現では、システム１００をソフトウェアで、あるいは仮想マシンとして実現することができる。

【0019】

図１には、ユーザシステム１２０をデスクトップ・コンピュータとして示しているが、この表現も一例として提供するに過ぎない。より一般的には、ユーザシステム１２０は、ユーザ・インタフェースを提供し、通信ネットワーク１１２への接続をサポートし、そして本明細書中のユーザシステム１２０に属する機能を実現するのに十分なデータ処理能力を実現するあらゆる適切なモバイル（携帯）または定置のコンピュータ装置またはシステムとすることができる。例えば、他の実現では、ユーザシステム１２０が、ラップトップ・コンピュータ、タブレット・コンピュータ、またはスマートホンの形態をとることができる。

【0020】

ユーザシステム１２０のディスプレイ１２２に関しては、ディスプレイ１２２は、ユーザシステム１２０と物理的に統合することができ、あるいはユーザシステム１２０と通信結合し、但し物理的に分離することができる。例えば、ユーザシステム１２０がスマートホン、ラップトップ・コンピュータ、またはタブレット・コンピュータとして実現される場合、ディスプレイ１２２は一般にユーザシステム１２０と統合することができる。これとは対照的に、ユーザシステム１２０がデスクトップ・コンピュータとして実現される場合、ディスプレイ１２２は、コンピュータタワーの形態のユーザシステム１２０から分離されたモニターの形をとることができる。更に、ユーザシステム１２０のディスプレイ１２２は、液晶ディスプレイ（ＬＣＤ：liquid crystal display）、発光ダイオード（ＬＥＤ：light emitting diode）ディスプレイ、有機発光ダイオード（ＯＬＥＤ：organic LED）ディスプレイ、量子ドット（ＱＤ：quantum dot）ディスプレイ、または信号から光への物理変換を実行する他のあらゆる適切な表示スクリーンとすることができる。

【0021】

図２Ａに、１つの実現による、デジタル・コンテンツ２３０Ａに追加的コンテンツを挿入するための、タイムライン（時系列）２２８上にインデックスを付けたタイムコード２３６を識別するマーカー２３８を表す例示的な図を示す。デジタル・コンテンツ２３０Ａは、概ね、図１中のデジタル・コンテンツ１３０に相当する。従って、デジタル・コンテンツ１３０は、本発明によりデジタル・コンテンツ２３０Ａに帰する特性のいずれをも共有することができ、その逆も成り立つ。換言すれば、デジタル・コンテンツ２３０Ａのように、デジタル・コンテンツ１３０はタイムライン２２８上にインデックスを付けることができる。なお、一部の実現では、マーカー２３８が、例えば、現在技術において既知である固定点の候補挿入時刻（ＦＰＣＩ：fixed point insertion time）の形をとることができる。

【0022】

図２Ｂに、セグメント境界２３４ａ、２３４ｂ、２３４ｃ、２３４ｄ、及び２３４ｅ、及びセグメント２３２ａ、２３２ｂ、２３２ｃ、２３２ｄ、２３２ｅ、及び２３２ｆ（以下「セグメント２３２ａ～２３２ｆ」）を生成するための符号化後の、セグメント化されたコンテンツ２３０Ｂを表す例示的な図を示し、コンテンツ２３０Ｂは図２Ａ中のデジタル・コンテンツ２３０Ａに相当する。なお、図２Ｂ中のセグメント境界２３４ｃは、マーカー２３８によって識別される、タイムライン２２８上のタイムコード２３６と一致する。

【0023】

なお、セグメント２３２ａ～２３２ｆのサイズまたは継続時間に関しては、種々の理由で、セグメント２３２ａ～２３２ｆの最小及び最大のセグメント継続時間に制限が課せられることがある。実際的意味では、例えば、単一のフレームしか含まないセグメントを有することは不所望である。その結果、ストリーミング・サービスが、配信するコンテンツ上で最小のセグメント継続時間を有するか、配信するコンテンツに最小のセグメント継続時間を課す、ということが実情であり得る。更に、一部のＡＢＲプロトコルについては、最小及び最大のセグメント継続時間を予め定めることができ、それらの値をコンテンツの記述中に含めることができる。例えば、ハイパーテキスト・トランスファー・プロトコル（ＨＴＴＰ：hypertext Transfer Protocol）ライブ・ストリーミング（ＨＬＳ：HTTP Live Streaming）では、コンテンツ・プレイリスト・タグEXT-X-TARGETDURATIONを必要とし、この配信するコンテンツには最大のセグメント継続時間を指定する。

【0024】

図２Ｃに、１つの実現による、フェードアウト２５２をセグメント２３２ｃに適用し、フェードイン２５４をセグメント２３２ｄ内またはセグメント２３２ｄに適用するための、セグメント境界２３４ｃに接するセグメント２３２ｃ及び２３２ｄの再処理後の、図２Ｂ中のセグメント化されたコンテンツ２３０Ｂの一部分を表す図を示す。上述したように、フェードアウトまたはフェードインは、およそ０．５s、あるいは有利であるか望ましいと考えられる他のあらゆる時間間隔のタイムライン継続時間を有することができる。

【0025】

なお、図２Ｃに示す例示的実現によれば、セグメント２３２ｃのセグメント継続時間は、セグメント２３２ｃに適用されるフェードアウト２５２のタイムライン継続時間に一致するように予め定めることができるのに対し、セグメント２３２ｄのセグメント継続時間は、セグメント２３２ｄに適用されるフェードイン２５４のタイムライン継続時間に一致するように予め定めることができる。しかし、他の実現では、セグメント２３２ｃのセグメント継続時間をフェードアウト２５２のタイムライン継続時間よりも大きくすることができるのに対し、セグメント２３２ｄのセグメント継続時間をフェードイン２５４のタイムライン継続時間よりも大きくすることができる。従って、一部の実現では、フェードイン２５２を、セグメント２３２ｃの全体に適用するのではなくセグメント２３２ｃ内に適用することができ、フェードイン２５４を、セグメント２３２ｄの全体に適用するのではなくセグメント２３２ｄ内に適用することができる。換言すれば、種々の実現では、フェードアウト２５２及びフェードイン２５４を、それぞれのセグメント２３２ｃ及び２３２ｄ内に、またはそれぞれのセグメント２３２ｃ及び２３２ｄに適用することができる。

【0026】

図３に、１つの実現による、図２Ｃに示すように、それぞれフェードアウト２５２及びフェードイン２５４を適用するための、セグメント２３２ｃ及び２３２ｄの再処理によって提供される挿入ポイントに追加的コンテンツを導入する例示的な図を示す。図３に示すように、コンテンツを追加されたデジタル・コンテンツ３５６は、元々符号化されているセグメント３３２ｂと３３２ｅ、再処理されたセグメント３３２ｃと３３２ｄ、及び追加的コンテンツ３４０を含み、追加的コンテンツ３４０は、セグメント３３２ｃと３３２ｄとの間に提供される挿入ポイントに位置する。図３に更に示すように、追加的コンテンツ３４０は、少なくとも新たなコンテンツ３４２を含み、種々の実現では、新たなコンテンツ３４２に先行するブラック・セグメント３４４ａまたは新たなセグメント３４２に後続するブラック・セグメント３４４ｂの一方または両方を含むこともできる。

【0027】

セグメント３３２ｂ及び３３２ｅは、それぞれ、図２Ｂ中のセグメント２３２ｂ及び２３２ｅに概ね相当する。更に、フェードアウト３５２を適用されているセグメント３３２ｃ、及びフェードイン３５４を適用されているセグメント３３２ｄは、それぞれ、図２Ｃ中の、フェードアウト２５２を適用されているセグメント２３２ｃ及びフェードイン２５４を適用されているセグメント２３２ｄに概ね相当する。従って、セグメント２３２ｂ、２３２ｃ、２３２ｄ、２３２ｅ、フェードアウト２５２、及びフェードイン２５４は、本発明により、それぞれセグメント３３２ｂ、３３２ｃ、３３２ｄ、３３２ｅ、フェードアウト３５２、及びフェードイン３５４に帰する特性のいずれをも共有することができ、その逆も成り立つ。

【0028】

システム１００及び的を絞った再処理のソフトウェアコード１１０の機能を、図４を参照することによって更に説明する。図４に、１つの実現による、デジタル・コンテンツの的を絞った再処理用の例示的方法を提示するフローチャート４６０を示す。なお、図４に概略を示す方法に関しては、本願中の本発明の特徴の説明を曖昧にしないために、特定の細部及び特徴をフローチャート４６０から除外している。

【0029】

ここで図４を、図１及び１Ａと組み合わせて参照すれば、フローチャート４６０は、タイムライン２２８上にインデックスを付けられたデジタル・コンテンツ１３０／２３０Ａを受信するステップから始まる（動作４６１）。デジタル・コンテンツ１３０／２３０Ａは、動作４６１において、システム１００の処理ハードウェア１０４が、的を絞った再処理のソフトウェアコード１１０を実行することによって受信することができる。例えば、図１に示すように、一部の実現では、デジタル・コンテンツ１３０／２３０Ａを、システム１００がコンテンツ源１１６から、通信ネットワーク１１２及びネットワーク通信リンク１１４経由で、または通信リンク１１８経由で直接、のいずれかで受信することができる。しかし、図１に更に示すように、他の実現では、デジタル・コンテンツ１３０／２３０Ａを、システム１００がユーザシステム１２０から、通信ネットワーク１１２及びネットワーク通信リンク１１４経由で受信することができる。

【0030】

上述したように、デジタル・コンテンツ１３０／２３０Ａは、ＡＶコンテンツの多様な異なる種類及びジャンル、並びにオーディオを伴わないビデオ、またはビデオを伴わないオーディオのいずれをも含むことができる。デジタルＡＶコンテンツの具体例は、映画の形態のＡＢＲコンテンツ、ＴＶのエピソードまたはシリーズ、ビデオゲーム、及びスポーツイベントを含む。それに加えて、あるいはその代わりに、一部の実現では、デジタル・コンテンツ１３０／２３０Ａを、例えば、人物、架空のキャラクター、場所、物体、及びブランド及びロゴのような識別子のデジタル表現とすること、あるいはデジタル・コンテンツ１３０／２３０Ａがこうしたデジタル表現を含むことができ、こうしたデジタル表現は、例えば、ＶＲ、ＡＲ、またはＭＲ環境に存在する。更に、デジタル・コンテンツ１３０／２３０Ａは、人物の身元、ユーザの履歴、資格、所有権、支払い、等のようなデータの連続性を提供しつつ、任意数のユーザが同期して持続的に体験することができる仮想世界を表すことができる。それに加えて、あるいはその代わりに、デジタル・コンテンツ１３０／２３０Ａは、従来型のＡＶと、対話型ビデオのような完全没入型のＶＲ／ＡＲ／ＭＲ体験との混成とすること、あるいはこうした混成を含むことができる。

【0031】

フローチャートは、タイムライン２２８上のタイムコード２３６を識別する挿入データ１２６を受信するステップを更に含む（動作４６２）。なお、挿入データ１２６に含まれるタイムコード２３６によって指定される、デジタル・コンテンツ１３０／２３０Ａ内の位置は、例えば１つ以上の広告のような追加的コンテンツをデジタル・コンテンツ１３０／２３０Ａ内に挿入するための挿入ポイントとすることができる。挿入データ１２６は、動作４６２において、システム１００の処理ハードウェア１０４が、的を絞った再処理のソフトウェアコード１１０を実行することによって受信することができる。例えば、図１に示すように、一部の実現では、挿入データ１２６を、システム１００がコンテンツ源１１６から、通信ネットワーク１１２及びネットワーク通信リンク１１４経由で、または通信リンク１１８経由で直接、のいずれかで受信することができる。しかし、図１に更に示すように、他の実現では、挿入データ１２６を、システム１００がユーザシステム１２０から、通信ネットワーク１１２及びネットワーク通信リンク１１４経由で受信することができる。

【0032】

図２Ｂを図１、２Ａ、及び４と組み合わせて参照すれば、フローチャート４６０は、挿入データ１２６を用いてデジタル・コンテンツ１３０／２３０Ａを符号化して、セグメント化されたコンテンツ２３０Ｂを提供するステップを更に含み、セグメント化されたコンテンツ２３０Ｂは、セグメント境界２３４ｃをタイムコード２３６の所に有すると共に、セグメント境界２３４ｃに接する第１セグメント２３２ｃ及び第２セグメント２３２ｄを有し、タイムライン２２８上で、第１セグメント２３２ｃはセグメント境界２３４ｃに先行し、第２セグメント２３２ｄはセグメント境界２３４ｃに後続する（動作４６３）。なお、一部の実現では、セグメント化されたコンテンツ２３０Ｂは、ＡＢＲコンテンツとすることができ、あるいはＡＢＲコンテンツを含むことができる。動作４６３における、挿入データ１２６を用いてデジタル・コンテンツ１３０／２３０Ａを符号化して、セグメント化されたコンテンツ２３０Ｂを提供することは、計算プラットフォーム１０２の処理ハードウェア１０４が、的を絞った再処理のソフトウェアコード１１０を実行することによって実行することができる。

【0033】

一部の実現では、フローチャート４６０が、セグメント化されたコンテンツ２３０Ｂに基づいて、再処理用に最適なセグメント化されたコンテンツのシーケンス（セグメントの列）を決定するステップを更に含むことができ、この最適なシーケンスは、第１セグメント２３２ｃ及び第２セグメント２３２ｄに加えて、少なくとも１つのコンテンツ・セグメントを含む（動作４６４）。例えば、第１セグメント２３２ｃの先頭にあるコンテンツ、第２セグメント２３２ｄの終端にあるコンテンツ、またはその両方にあるコンテンツは、再処理がそこで開始されるか終了するものとすれば、再処理されたコンテンツ１５０の再生時に耳や目につくオーディオ・アーティファクト（音声ノイズ）、ビデオ・アーティファクト（映像ノイズ）、またはオーディオ・アーティファクト及びビデオ・アーティファクトの両方を生じさせ得る特定の属性を有し得る。少なくとも第１セグメント２３２ｃ及び第２セグメント２３２ｄを含むセグメント化されたコンテンツ２３２Ｂの最適な再処理のシーケンスを識別するプロセスは、こうした問題を軽減または解消するための多様な方法を含むことができる。例えば、再処理用の最適な開始時刻及び終了時刻を決定するプロセスは、ドルビービジョン（Dolby Vision：登録商標）ショット・メタデータ、シーン変化検出、チャンク（chunk）の境目の複雑性解析、等のようなコンテンツ・メタデータのうちの１つ以上を考慮することができる。

【0034】

なお、動作４６４は任意であり、一部の実現では、フローチャート４６０によって概要を示す方法から除外することができる。しかし、フローチャート４６０によって概要を示す方法に動作４６４を含める実現では、動作４６４を、計算プラットフォーム１０２の処理ハードウェア１０４が、的を絞った再処理のソフトウェアコード１１０を実行することによって実行することができる。なお、種々の使用事例では、セグメント化されたコンテンツ２３０Ｂのセグメントのうち、第１セグメント２３２ｃ及び第２セグメント２３２ｄに加えて、最適な再処理のシーケンスに含まれる１つ以上のセグメントが、第１セグメント２３２ｃに先行することができ、第２セグメント２３２ｄに後続することができ、あるいは、これらのセグメントのうちの１つ以上が、第１セグメント２３２ｃに先行することができ、これらのセグメントのうちの１つ以上が第２セグメント２３２ｄに後続することができる。

【0035】

図２Ｃ及び３を図１、２Ａ、２Ｂ、及び４と組み合わせて参照すれば、フローチャート４６０は、第１セグメント２３２ｃ／３３２ｃ、第２セグメント２３２ｄ／３３２ｄ、または動作４６４において決定した最適なシーケンスを再処理して、フェードアウト２５２／３５２を第１セグメント２３２ｃ／３３２ｃ内または第１セグメント２３２ｃ／３３２ｃに適用し、フェードイン２５４／３５４を第２セグメント２３２ｄ／３３２ｄ内または第２セグメント２３２ｄ／３３２ｄに適用する（動作４６５）。なお、第１セグメント２３２ｃ／３３２ｃ及び第２セグメント２３２ｄ／３３２ｄを再処理することにより、追加的コンテンツ３４０の挿入ポイントとして設定されたセグメント境界２３４ｃを有する符号化されたセグメントを提供する。

【0036】

上述したように、そして図３に示すように、一部の実現では、追加的コンテンツ３４０が、新たなコンテンツ３４２、新たなコンテンツ３４２に先行するブラック・コンテンツ３４４ａ、及び新たなコンテンツ３４２に後続するブラック・セグメント３４４ｂを含むことができる。しかし、他の実現では、追加的コンテンツ３４０が、新たなコンテンツ３４２、及び新たなコンテンツ３４２に先行するブラック・コンテンツ３４４ａまたは新たなコンテンツ３４２に後続するブラック・セグメント３４４ｂのいずれかを含むが、両方は含まないことができる。更に他の実現では、追加的コンテンツ３４０が新たなコンテンツ３４２を含むことができるが、ブラック・セグメント３４４ａ及び３４４ｂの両方を除外することができる。換言すれば、一部の実現では、追加的コンテンツ３４０が新たなコンテンツ３４２である。更に、一部の実現では、第１セグメント２３２ｃ／３３２ｃ及び第２セグメント２３２ｄ／３３２ｄの一方または両方を除外することができ、ブラック・セグメント３４４ａ及びブラック・セグメント３４４ｂの一方または両方を含む追加的コンテンツ３４０を、元から符号化されているセグメント３３２ｂと３３２ｅとの間に挿入することができる。なお、種々の実現では、追加的コンテンツ３４０を、単一の広告または現在技術において既知であるアドポッド（as pod：連続する複数の広告を１まとまりとして扱う規格）のような１つ以上の広告の形態の新たなコンテンツ３４２とすることができ、あるいは、追加的コンテンツ３４０がこうした新たなコンテンツ３４２を含むことができる。

【0037】

動作４６５において実行される再処理は、計算プラットフォーム１０２の処理ハードウェア１０４が、的を絞った再処理のソフトウェアコード１１０を実行することによって実行することができる。例えば、第１セグメント２３２ｃ／３３２ｃ及び第２セグメント２３２ｄ／３３２ｄを再処理して、追加的コンテンツ３４０の挿入ポイントとして設定されたセグメント境界２３４ｃを有する符号化されたセグメントを提供した後にも、セグメント化されたコンテンツ２３０Ｂのタイムラインはまだデジタル・コンテンツ１３０／２３０Ａのタイムライン２２８と一致する。

【0038】

それに加えて、再処理前の、セグメント化されたコンテンツ２３０Ｂの再生用と同じプレイリストを、フェードアウト２５２／３５２をセグメント２３２ｃ／３３２ｃ内またはセグメント２３２ｃ／３３２ｃに適用し、フェードイン２５４／３５４をセグメント２３２ｄ／３３２ｄ内またはセグメント２３２ｄ／３３２ｄに適用する再処理後のセグメント化されたコンテンツ２３０Ｂの再生用に用いることができることが有利である。例えば、セグメント化されたコンテンツ２３０ＢがＡＢＲコンテンツの形をとる実現では、セグメント化されたコンテンツ２３０Ｂ用のＡＢＲプロトコル仕様が、離散したセグメントファイル用の例えばユニフォーム・リソース・ロケータ（ＵＲＬ：Uniform Resource Locator：統一資源位置指定子）のようなユニフォーム・リソース・アイデンティファイア（ＵＲＩ：Uniform Resource Identifier：統一資源識別子）を利用するプレイリストの形式を用いることができる。これらの使用事例では、セグメント化されたコンテンツ２３０Ｂ用の既存のプレイリストを、動作４６５におけるセグメント２３２ｃ／３３２ｃ及びセグメント２３２ｄ／３３２ｄの再処理後に用いることができる。

【0039】

なお、フローチャート４６０によって説明した動作に関しては、動作４６１、４６２、４６３、及び４６５、あるいは動作４６１、４６２、４６３、４６４、及び４６５を、人間の関与を補該することができる自動化されたプロセスとして実行することができる。

【0040】

従って、本願は、デジタル・コンテンツの的を絞った再処理用のシステム及び方法を開示する。本願中に開示する的を絞った再処理の解決策は、追加的コンテンツを上記挿入ポイントに導入することによって生成されるオーディオまたはビデオの主観的不規則性を回避するために必要であるものと考えられるセグメントのみを有利に再処理することによって、符号化されたデジタル・コンテンツのセグメント境界に追加的コンテンツをほぼシームレスに挿入することを可能にする。その結果、本発明の解決策は、再処理するために必要な時間、並びに検証に当たり必要なＱＣ時間を大幅に低減しつつ、上述した最新技術を進歩させる、というのは、以前に符号化されたデジタル・コンテンツの的を絞ったシーケンスのみを再処理するからである。

【0041】

以上の説明より、本願中に記載した概念の範囲から逸脱することなしに、これらの概念を実現するために種々の技術を用いることができることは明らかである。更に、特定の実現を参照しながらこれらの概念を説明してきたが、これらの概念の範囲から逸脱することなしに、形態及び細部に変更を加えることができることは、通常の当業者の認識する所である。このため、説明した実現は、あらゆる点で、限定的ではなく例示的なものとして考えるべきである。本願は、本明細書中に記載した特定の実現に限定されず、本発明の範囲から逸脱することなしに、多数の再構成、修正、及び代替が可能であることも明らかである。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【外国語明細書】