特許 7442211 オーディオを含むコンテンツに対する補助データの同期化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-22

(45)【発行日】2024-03-04

(54)【発明の名称】オーディオを含むコンテンツに対する補助データの同期化

(51)【国際特許分類】

   G10K 15/02 20060101AFI20240226BHJP

【ＦＩ】

G10K15/02

【請求項の数】 25

(21)【出願番号】P 2022069192

(22)【出願日】2022-04-20

(62)【分割の表示】P 2019503809の分割

【原出願日】2017-04-07

(65)【公開番号】P2022095945

(43)【公開日】2022-06-28

【審査請求日】2022-05-17

(31)【優先権主張番号】15/094,538

(32)【優先日】2016-04-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518355179

【氏名又は名称】ソース ディジタル インコーポレイテッド

(74)【代理人】

【識別番号】110002343

【氏名又は名称】弁理士法人 東和国際特許事務所

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】キャロル ティモシー

(72)【発明者】

【氏名】フレコン サード ヘンリー

(72)【発明者】

【氏名】グリーン パトリック

(72)【発明者】

【氏名】フィリップス マイケル

【審査官】堀 洋介

(56)【参考文献】

【文献】特開２０１３－１８３３２７（ＪＰ，Ａ）

【文献】国際公開第２０１６／００９９４４（ＷＯ，Ａ１）

【文献】特開２０１２－２５７２２１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／００６３５０３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０１８９３４７（ＵＳ，Ａ１）

【文献】特表２００７－５２８１４４（ＪＰ，Ａ）

【文献】特表２００８－５１１８４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／０２

Ｈ０４Ｎ ７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ１０Ｌ １９／０１８

(57)【特許請求の範囲】

【請求項1】

オーディオを含むコンテンツに補助データを同期させるシステムであって、
前記補助データ及び前記コンテンツのオーディオの表現を得て、前記補助データを前記コンテンツ中の瞬間に対応する前記コンテンツのオーディオの表現中の瞬間に関連付けるように構成されたプリシンクロナイザ、及び
前記コンテンツのオーディオの前記表現と前記コンテンツのオーディオの表現中の瞬間に関連付けられた前記補助データとを前記コンテンツの消費者によってアクセス可能なストレージロケーションに通信するよう構成されたトランシーバ
を備え、
前記プリシンクロナイザは、前記コンテンツの消費者によってアクセス可能な前記ストレージロケーションへのリンクを作るよう構成され、
前記コンテンツのオーディオの表現の前記コンテンツのオーディオへののちのアラインメントが、コンテンツのオーディオの表現中の瞬間に関連付けられた補助データを前記コンテンツに同期させる、
システム。

【請求項2】

前記プリシンクロナイザは、
前記オーディオ中の音楽についてのデータ、
前記コンテンツで演じられている台本に関するデータ、
前記コンテンツで登場人物が着ている衣装に関するデータ、
前記コンテンツを記述するデータ、
前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
前記コンテンツの視聴者からのコメントを含むデータ、
前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、又は
広告データ
の形をとる補助データを受け取るよう構成された
請求項１に記載のシステム。

【請求項3】

前記トランシーバは、前記コンテンツのオーディオの表現及び前記コンテンツのオーディオの表現中の瞬間に関連付けられた補助データを、前記コンテンツの消費者によってアクセス可能なデータベースに通信するよう構成された
請求項１に記載のシステム。

【請求項4】

前記コンテンツのオーディオの表現を作るよう構成されたオーディオプロセッサを備え、
前記オーディオプロセッサは、前記ストレージロケーションへの前記リンクを、前記コンテンツのオーディオのメタデータに挿入するよう構成された
請求項１に記載のシステム。

【請求項5】

プリシンクロナイザは、前記コンテンツの以前の再生又は実演の間に前記補助データを収集し、前記補助データを、前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの表現中の瞬間に関連付けるよう構成される
請求項１に記載のシステム。

【請求項6】

前記コンテンツのオーディオの表現を作り、前記コンテンツのオーディオの前記表現を前記プリシンクロナイザに送るよう構成されたオーディオプロセッサ
を備える請求項１に記載のシステム。

【請求項7】

前記コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、前記コンテンツのオーディオの表現を作るよう構成されたオーディオプロセッサ
を備える請求項１に記載のシステム。

【請求項8】

前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの表現中の瞬間に前記補助データを関連付けるために、前記コンテンツの再生又は実演の間に補助データを収集するよう構成されたオーサリングツール
を備える請求項１に記載のシステム。

【請求項9】

消費者の有する、オーディオを含むコンテンツに補助データを同期させる機械又は一群の機械を含むシステムであって、
前記消費者の有する機械又は一群の機械が、
前記コンテンツ、前記コンテンツのオーディオの波形シグネチャ、及び前記コンテンツ中の瞬間に対応する前記コンテンツのオーディオの波形シグネチャ中の瞬間に関連付けられた補助データを得るよう構成されたトランシーバ、
前記コンテンツのオーディオを前記トランシーバから受け取り、前記トランシーバから受け取った前記コンテンツのオーディオから、前記コンテンツのオーディオの前記波形シグネチャ及び前記コンテンツのオーディオの波形シグネチャ中の瞬間に関連付けられた前記補助データが記憶されて前記コンテンツの消費者によってアクセス可能なストレージロケーションへのリンクを抽出するよう構成されたオーディオプロセッサ、及び
前記コンテンツのオーディオの波形シグネチャを前記コンテンツのオーディオにアラインすることによって、前記コンテンツのオーディオの波形シグネチャ中の瞬間に関連付けられた前記補助データを前記コンテンツに同期させるよう構成されたポストシンクロナイザ
を備えるシステム。

【請求項10】

前記トランシーバは、
前記オーディオ中の音楽についてのデータ、
前記コンテンツで演じられている台本に関するデータ、
前記コンテンツで登場人物が着ている衣装に関するデータ、
前記コンテンツを記述するデータ、
前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
前記コンテンツの視聴者からのコメントを含むデータ、
前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、又は
広告データ
の形をとる補助データを受け取るよう構成された
請求項９に記載のシステム。

【請求項11】

前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの波形シグネチャ中の瞬間に前記補助データを関連付けるために、前記コンテンツの再生又は実演の間に補助データを収集するよう構成されたインタラクションツールを備える
請求項９に記載のシステム。

【請求項12】

前記オーディオプロセッサは、前記コンテンツのオーディオのメタデータから、前記コンテンツの消費者によってアクセス可能であるストレージロケーションへのリンクを抽出するよう構成され、
前記トランシーバは、前記コンテンツのオーディオの前記波形シグネチャ、及び前記コンテンツのオーディオの前記波形シグネチャ中の前記瞬間に関連付けられた前記補助データを前記ストレージロケーションから得るよう構成された
請求項９に記載のシステム。

【請求項13】

前記コンテンツのオーディオを前記コンテンツのオーディオの前記波形シグネチャと比較することによって前記コンテンツを特定するよう構成されたオーディオプロセッサを備える
請求項９に記載のシステム。

【請求項14】

前記コンテンツのオーディオの前記波形シグネチャ中の瞬間に関連付けられた前記補助データを前記コンテンツのオーディオに同期させるために、前記コンテンツのオーディオの前記波形シグネチャが前記コンテンツのオーディオにアラインしていることに依拠して、前記コンテンツの提示と同時に前記補助データを表示するよう構成されたインタラクションツールを備える
請求項９に記載のシステム。

【請求項15】

オーディオを含むコンテンツに補助データを同期させるブロードキャスタまたは消費者の機械もしくは一群の機械と通信するストレージロケーションを含むシステムであって、
前記ストレージロケーションが、
前記コンテンツのオーディオの波形シグネチャと前記コンテンツのオーディオの前記波形シグネチャ中の瞬間に関連付けられた補助データとを記憶するよう構成されたデータベース、及び
前記コンテンツのオーディオの前記波形シグネチャ及び前記コンテンツのオーディオの前記波形シグネチャ中の瞬間に関連付けられた前記補助データを通信するよう構成されたトランシーバ
を備え、
前記データベースは、リンクによって前記コンテンツの消費者によってアクセス可能であり、
前記コンテンツのオーディオの波形シグネチャの前記コンテンツのオーディオへののちのアラインメントが、前記コンテンツのオーディオの波形シグネチャ中の瞬間に固定された前記補助データを前記コンテンツに同期させる、
システム。

【請求項16】

前記データベースは、前記コンテンツののちの再生又は実演の間に、前記補助データを受け取り、記憶し続け、前記補助データは、前記のちの再生又は実演の間に、前記コンテンツのオーディオ中の瞬間に対応するコンテンツのオーディオの波形シグネチャ中の瞬間に関連付けられる
請求項１５に記載のシステム。

【請求項17】

オーディオを含むコンテンツに補助データを同期させる方法であって、
前記コンテンツのオーディオの波形シグネチャと前記コンテンツのオーディオの波形シグネチャ中の瞬間に関連付けられた補助データとを消費者の機械もしくは一群の機械が得ること、
前記コンテンツのオーディオの前記波形シグネチャと前記コンテンツのオーディオの前記波形シグネチャ中の瞬間に関連付けられた前記補助データとが、前記コンテンツの消費者によってアクセス可能なストレージロケーションに記憶されること、
前記コンテンツのオーディオの波形シグネチャの、前記コンテンツのオーディオへののちのアラインメントが、コンテンツのオーディオの波形シグネチャの中の瞬間に関連付けられた補助データを前記コンテンツに同期すること、及び
前記コンテンツの消費者によってアクセス可能な前記ストレージロケーションへのリンクを作ること
を含む方法。

【請求項18】

前記補助データを収集すること、記憶すること、取り出すこと、又は表示することのうちの少なくとも１つを含み、前記補助データは、
前記オーディオ中の音楽についてのデータ、
前記コンテンツで演じられている台本に関するデータ、
前記コンテンツで登場人物が着ている衣装に関するデータ、
前記コンテンツを記述するデータ、
前記コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、
前記コンテンツの視聴者からのコメントを含むデータ、
前記コンテンツについての情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）を含むデータ、又は
広告データ
を含む
請求項１７に記載の方法。

【請求項19】

前記補助データを前記コンテンツのオーディオの前記波形シグネチャ中の前記瞬間に関連付けること、及び
前記コンテンツのオーディオの前記波形シグネチャ及び前記コンテンツのオーディオの前記波形シグネチャ中の前記瞬間に関連付けられた前記補助データをデータベースに記憶すること
を含む
請求項１７に記載の方法。

【請求項20】

前記コンテンツの再生又は実演の間に前記補助データを収集すること
を含み、
前記コンテンツのオーディオの前記波形シグネチャは、前記再生又は実演の間に前記コンテンツのオーディオから導き出され、
前記補助データは、前記再生又は実演の間に、前記コンテンツのオーディオ中の瞬間に対応する前記コンテンツのオーディオの前記波形シグネチャ中の前記瞬間に関連付けられる
請求項１７に記載の方法。

【請求項21】

前記コンテンツのオーディオのオーディオ波形シグネチャを作ることによって、前記コンテンツのオーディオの波形シグネチャを作ること、及び
前記コンテンツのオーディオの前記波形シグネチャ及び前記コンテンツのオーディオの前記波形シグネチャ中の前記瞬間に関連付けられた前記補助データを記憶すること
を含む
請求項１７に記載の方法。

【請求項22】

前記コンテンツのオーディオの波形シグネチャを作り、前記補助データを前記コンテンツのオーディオの波形シグネチャ中の瞬間に関連付けることをさらに含む
請求項１７に記載の方法。

【請求項23】

前記リンクを前記コンテンツのオーディオのメタデータ中に挿入すること
をさらに含む
請求項１７に記載の方法。

【請求項24】

前記コンテンツのオーディオを前記コンテンツのオーディオの前記波形シグネチャと比較することによって前記コンテンツを特定すること
を含む
請求項１７に記載の方法。

【請求項25】

前記コンテンツのオーディオの前記波形シグネチャ中の瞬間に関連付けられた前記補助データを前記コンテンツのオーディオに同期させるために、前記コンテンツのオーディオの前記波形シグネチャが前記コンテンツのオーディオにアラインしていることに依拠して、前記コンテンツの提示と同時に前記補助データを表示すること
を含む
請求項１７に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

メディアコンテンツは、制作され、処理され、それから消費者へ伝送される。伝統的なメディアコンテンツに加えて、電子通信技術の発展おかげで、コンテンツに関連した、又はコンテンツを向上させる補助データの大量伝達が可能になった。例えば、インスタントメッセージングのような技術は、大人数の人に電子情報を非常に速く伝達する媒体を提供する。例えばパーソナルコンピュータ、携帯電話、パーソナルデジタルアシスタント、スマートフォン、及びテレビセットトップボックス（例えばケーブルセットトップボックス、サテライトセットトップボックス等）を含む電子デバイスは、情報の消費者に即時のアクセスを提供する。現代の通信技術を介して伝達され得る補助データのタイプ及びコンテンツは、さまざまであり、個人情報から広告まで全てを含む。補助データは、単純なテキストからグラフィックスや動画や多数のデータレイヤーを包含するコンテンツまで、さまざまな形態をとり得る。

【0002】

現在の技術は、後の処理のために、そのような補助データを抽出することについては不完全である。コンテンツ及び補助データの同期化の現在の方法は、例えば、ソースとターゲット又は消費者との明示的なデータ関係を要求し得て、しばしば一方向である。同期化の他の現在の方法は、信号チェーンを通してずっと存在するわけではない、メタデータに依存し得るが、これは、異なる施設がメタデータをサポートするとは限らないさまざまなワークフローを使うからである。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示は、これらの問題に対応する方法及びシステムを提供する。本開示は、オーディオ、メタデータフィンガープリンティング及び制作から消費者までコンテンツを伝達するパイプラインにおいてアクションをトリガする明示的メタデータの動的な組み合わせを記載する。これらのアクションは、選択的にオリジナルのコンテンツ及び品質を保存し、未知のコンテンツのコンプライアンス及び許容できる統合を確実にし、リターンパスと共に、アップストリームのデータベースへの従来のアクセスのためのパスを提供する。ここで開示された発明は、補助データ同期化のためのデュアルパスを利用し、間接的な接続及びロードブロックに対するデータのバイパスを可能にする。ライブイベント及びデータベースに記憶されたイベントを比較するローカルフィンガープリンティングを追加することは、もしメタデータが利用可能ではないときには、当該チェーンがバイパスされることを可能にし、データベースに対してアップデート及び追加の新しい情報を提供するのと共に同期化を示すためのデータのフィードバックのためのメカニズムを提供する。それは、
品質保持、電子取引、及びきめ細やかな視聴者の測定のために用いられ得る、コンテンツに関しての時間でアラインされた特徴が豊富なデータを記憶したり、取り出したりする方法を提供する。

【0004】

添付の図面は、明細書に組み込まれて、その一部を構成するが、本発明の局面のさまざまな例示的実施形態を示す、さまざまな例示的システム、方法等を示す。図面中の図示された要素の境界（例えば四角形、四角形のグループ、又は他の形状）は、境界の１つの例を表すことが理解されよう。当業者は、１つの要素が複数の要素として設計されたり、複数の要素が１つの要素として設計されたりし得ることを理解するだろう。他の要素の内部要素として示される要素が、外部要素として実現されてもよく、その逆も可能である。さらに要素は、正しい縮尺では図示されていない。

【図面の簡単な説明】

【0005】

【図1】図１は、オーディオを含むコンテンツに補助データを同期させる例示的方法の概略図を示す。

【図2】図２は、オーディオを含むコンテンツに補助データを同期させる例示的システムのブロック図である。

【図3】図３は、ブロードキャスタにおける詳細を含む例示的システムのブロック図を示す。

【図4】図４は、消費者における詳細を含む例示的システムのブロック図を示す。

【図5】図５は、ストレージロケーションにおける詳細を含む例示的システムのブロック図を示す。

【図6】図６は、オーディオを含むコンテンツに補助データを同期させる例示的方法のフロー図を示す。

【図7】図７は、オーディオを含むコンテンツに補助データを同期させる例示的方法のフロー図を示す。

【図8】図８は、オーディオを含むコンテンツに補助データを同期させる例示的装置のブロック図を示す。

【発明を実施するための形態】

【0006】

図１は、オーディオを含むコンテンツに補助データを同期させる例示的方法の概略図を示す。図１は、コンテンツ１を示し、図示された実施形態において、コンテンツ１は、ビデオ３及びオーディオ５を含む。コンテンツ１は、映画、テレビ番組、スポーツイベント（例えばバスケットボールの試合）、インターネット動画等であり得る。

【0007】

図１は、補助データ７も示す。補助データ７は、コンテンツとなんらかのかたちで関連したデータであり、コンテンツ名又はコンテンツ識別データのようなコンテンツを記述するデータ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等を含み得る。補助データ７は、広告データのような営業用データを含み得る。補助データ７は、コンテンツの視聴者からのコメント（例えばツイッターメッセージ等）のようなユーザデータも含み得る。補助データ７は、例えばコンテンツオーディオのラウドネス又はダイナミックレンジスケーリングを含む、コンテンツのオーディオの統計のようなプロフェショナルな又はテクニカルなデータも含み得る。

【0008】

上の例からわかるように、補助データ７を構成するものは、さまざまであり、多くの異なるソースから集められ得る。しかしこの開示の目的について言えば、補助データ７の性質は、コンテンツ１に対する補助データ７のタイミングに比べれば、おそらくそれほどは重要ではない。

【0009】

図１の図示された実施形態において、補助データ７ａは、コンテンツ１の時刻t_xにアラインさせられる（すなわちこの時刻において現れるか、又はこの時刻に関連する）。補助データ７ｂ及び７ｃは、コンテンツ１の時刻t_x+1に現れるか又は関連する。補助データ７ｄ及び７ｅは、時刻t_x+2に現れるか又は関連する。補助データ７ｆは、コンテンツ１の時刻t_x+3に現れるか又は関連し、補助データ７ｇは、時刻t_x+4に現れるか又は関連する。

【0010】

例えば、t_xにおける補助データ７ａは、コンテンツ名True Blood、シーズン２、エピソード２を示し得る。時刻t_x+1において（例えば１２分２秒において）補助データ７ｂは、Anna Paquinによって演じられるSookie StackhouseがManolo Blahnik Hangisi 105サテンポンプシューズを履いていることを記述し、一方で、補助データ７ｃは、音楽がロンドン交響楽団によって演奏されたベートーベンの月光ソナタであることを示す。補助データ７
ｄ及び７ｅは、時刻t_x+2において受け取られたツイッターメッセージであり得て、これらメッセージの中でユーザは、コンテンツ１又はコンテンツ１中の特定のシーンに対する彼らの反応を表現している。補助データ７ｆは、コマーシャルのための中断によるコンテンツオーディオの指定されたラウドネス又はダイナミックレンジスケーリングのt_x+3における変化を示し得る。補助データ７ｇは、コマーシャルのための中断からコンテンツ１への復帰によるコンテンツオーディオの指定されたラウドネス又はダイナミックレンジスケーリングのt_x+4における変化を示し得る。

【0011】

よって補助データ７は、コンテンツ１に時間軸上で位置合わせされている（time-aligned）。

【0012】

著作者（authorship）又はコレクション（collection）について、補助データ７は、コンテンツ１の再生、放送、配信、又は実演の前に獲得又は収集され得る。例えば、補助データ７は、コンテンツ１の制作、編集、クオリティコントロール、又はマスタリングの間に獲得又は収集され得る。補助データ７は、コンテンツ１の再生、放送、配信、又は実演の間にも獲得又は収集され得る。例えば、もしコンテンツ１がテレビ番組であるなら、補助データ７は、テレビ番組の第１回目の又はそれ以降の放送の間に獲得又は収集され得る。

【0013】

記憶及び配信について、収集された補助データ７は、コンテンツ１の将来のユーザ又は視聴者にアクセス可能にされ得るデータベース中に記憶され得る。このようにして、コンテンツ１がそれらのユーザ又は視聴者に後に配信されるとき、補助データ７は、コンテンツ１と同じ時刻において消費のために、それらのユーザ又は視聴者に利用可能であり得る。補助データ７は、コンテンツ１と時間軸上で位置合わせされているように見え、又はそのように明示する。

【0014】

発生する大きな問題は、同期化であり、実際問題としては、どのくらい正確に補助データ７がコンテンツ１に時間軸上で位置合わせされているかが問題である。コンテンツ及び補助データの同期化の現在の方法は、コンテンツのソースとターゲット又は消費者との間の明示的データ関連性（explicit data connection）を必要とする。この明示的データ関連性は、タイミングを消費者の敷地にある機器に伝える。この方法もふつうは、ソース又はコンテンツプロバイダからターゲット又は消費者への一方向であり、これは１つの限界である。同期化の他の現在の方法は、コンテンツに添付されたメタデータに依存するが、このメタデータは、信号チェーンを通してソース又はコンテンツプロバイダからターゲット又は消費者までずっと存在する保証はなく、それは、異なる施設は、メタデータを必ずサポートするという保証はない、さまざまなワークフローを用いるからである。

【0015】

図１に示されるように、コンテンツ１は、ビデオ３及びオーディオ５を含む。図１は、オーディオ波形シグネチャの形態におけるコンテンツ１のオーディオ５の表現（representation）９も図示する。表現９は、少なくともオーディオ５が時間ｔに沿って表現９から特定可能である程度において、コンテンツ１のオーディオ５と一致する。図１の実施形態において、補助データ７は、補助データ７が位置合わせされているオーディオ５の瞬間に対応する、表現９の瞬間において、それぞれ表現９に固定されている（pegged）。

【0016】

図１の例では、補助データＡは、コンテンツ１の時刻t_xに対応する表現９の瞬間に固定されている。補助データ７ｂ及び７ｃは、コンテンツ１の時刻t_x+1に対応する表現９の瞬間に固定されている。補助データ７ｄ及び７ｅは、時刻t_x+2に対応する表現９の瞬間に固定されている。補助データ７ｆは、コンテンツ１の時刻t_x+3に対応する表現９の瞬間に固定され、補助データ７ｇは、コンテンツ１の時刻t_x+4に対応する表現９の瞬間に固定されている。

【0017】

補助データ７のそれぞれ及び表現９は、コンテンツ１の将来のユーザ又は視聴者にアクセス可能にされ得るデータベースにそれから記憶され得る。このようにして、コンテンツ１がそれらのユーザ又は視聴者に配信されるとき、表現９に固定された補助データ７と共に、表現９は、それらユーザ又は視聴者に利用可能であり得る。

【0018】

ユーザの敷地において、受け取られるコンテンツ１のオーディオ５は、オーディオ５を同期させるために、表現９とリアルタイムで比較され得て、したがってコンテンツ１は表現９と比較され得る。さらに、補助データ７は、コンテンツ１のそれぞれの時刻に対応する表現９の瞬間に関連付けられているので、補助データ７は、明示的タイミングデータがないにもかかわらず、コンテンツ１に同期され得る。

【0019】

図２は、オーディオを含むコンテンツに補助データを同期させる例示的システム１０のブロック図を示す。システム１０は、３つの主要な要素を含み、すなわちブロードキャスタ２０、消費者３０、及びストレージロケーション４０である。図２は、ブロードキャスタ２０、消費者３０、及びストレージロケーション４０が互いに通信する媒体Ｍも示す。

【0020】

説明の容易さのために、本開示は、要素２０をブロードキャスタ２０として参照するが、要素２０は、ブロードキャスタ又はブロードキャスティングする施設又は機器には限定されない。実際には、ブロードキャスタ２０は、送信又は放送のための再生の前に、又はその間にコンテンツ１を加工する制作、編集、クオリティコントロール、又はマスタリングの機器のような任意の施設又は機器を表し得る。

【0021】

同様に、説明の容易さのために、本開示は、要素３０を消費者３０として参照するが、消費者３０は、消費者又は消費者の敷地又は機器に限定されない。実際には、消費者３０は、送信又は放送のための再生の前に、又はその間にコンテンツ１を加工する任意の敷地又は機器を表し得る。

【0022】

また媒体Ｍは、例えば、インターネット、衛星通信、ラジオ通信、テレビジョン通信（放送又はケーブル）等のような、コンテンツ１又はデータを送信するのに一般に用いられる任意の媒体であり得る。図では媒体Ｍは、ブロードキャスタ２０、消費者３０、及びストレージロケーション４０によって共有されているように示されているが、これら要素の間の通信は、同じ媒体内で行われなければならないことはない。よって例えば、ブロードキャスタ２０は、消費者３０と衛星を介して通信し得て、一方、ブロードキャスタ２０は、ストレージロケーション４０とインターネットを介して通信し得る。

【0023】

図２の例では、ブロードキャスタ２０は、コンテンツ１を消費者３０に送信し、保存のために補助データ７及び表現９をストレージロケーション４０に送信する。消費者３０は、コンテンツ１をブロードキャスタ２０から受け取り、補助データ７及び表現９をストレージロケーション４０から受け取る。興味深いことに、消費者３０は、補助データ７及び／又は表現９もストレージロケーション４０に送信する。よって、システム１０は、消費者３０による双方向通信を提供し、消費者３０は、補助データ７の創作に参加し得て、補助データ７、システムの機能、及び究極的にはカスタマーエクスペリエンスの向上につながる。

【0024】

図３は、ブロードキャスタ２０における詳細を含む例示的システム１０のブロック図を示す。ブロードキャスタ２０は、オーディオを含むコンテンツに補助データを同期させる機械又は一群の機械を含む。図示された実施形態において、ブロードキャスタ２０は、補助データ７を表現９（すなわち図１のコンテンツ１のオーディオ５の表現）の瞬間に固定するプリシンクロナイザ２２を含む。

【0025】

ブロードキャスタ２０は、コンテンツ１を消費者３０に、表現９及び表現９中の瞬間に固定された補助データ７をストレージロケーション４０に、媒体Ｍを介して通信するトランシーバ２４も含み得る。上述のように、ストレージロケーション４０は、消費者３０によってアクセス可能である。あとに起こるコンテンツ１の再生、放送、配信、実演等がなされると、表現９のコンテンツのオーディオ５へのアラインメントは、表現９中の瞬間へ固定された補助データ７をコンテンツ１に同期させる。

【0026】

ブロードキャスタ２０は、オーディオプロセッサ２６も含み得て、オーディオプロセッサ２６は、コンテンツ１のオーディオ５を処理することによって、例えば図１のオーディオ波形シグネチャのようなコンテンツのオーディオ５の表現を作り得る。トランシーバ２４は、コンテンツのオーディオ５の表現９（例えばシグネチャ）及びコンテンツのオーディオの表現中の瞬間に固定された補助データ７をストレージロケーション４０にそれから通信し得る。

【0027】

ある実施形態において、プリシンクロナイザ２２は、ストレージロケーション４０へのリンクを作る。このリンクは、ユニフォームリソースアイデンティファイア（例えばＵＲＬ）又は同様のロケーションアイデンティファイア又はロケータであり得る。オーディオプロセッサ２６は、ストレージロケーション４０へのリンクをコンテンツ１のメタデータ、つまり具体的には、コンテンツのオーディオ５のメタデータに挿入し得る。オーディオ５は、ドルビーAC-4、AC-3、又はE-AC-3、又はMPEG-Hとしてエンコードされ得るが、これら全てはメタデータを運び得る。消費者３０は、コンテンツ１の又はコンテンツのオーディオ５のメタデータから、ストレージロケーション４０へのリンクを抽出し得る。ストレージロケーション４０へのリンクを有することで、消費者３０は、それからストレージロケーション４０と通信して、ストレージロケーション４０に記憶された情報を得たり、その中に情報を記憶したりできる。

【0028】

ある実施形態において、オーディオプロセッサ２６は、コンテンツのオーディオ５を分析することによって、例えば、オーディオ５のラウドネス又はダイナミックレンジスケーリングを含むオーディオ５の統計を収集する。オーディオプロセッサ２６は、コンテンツのオーディオ５の統計をコンテンツ１の又はコンテンツのオーディオ５のメタデータに挿入し得る。消費者３０は、コンテンツのオーディオ５の統計をメタデータから抽出し得る。

【0029】

ある実施形態において、トランシーバ２４は、コンテンツのオーディオの表現９、及びコンテンツのオーディオの表現９中の瞬間に固定された補助データ７に加えて、コンテンツのオーディオ５の統計をストレージロケーション４０に通信する。消費者３０は、ストレージロケーション４０からコンテンツのオーディオ５の統計を獲得し得る。

【0030】

コンテンツのオーディオ５の統計を有することで、消費者３０は、消費者３０の敷地で再生されるべき又は消費者３０の敷地から配信されるべきオーディオを、メタデータから抽出されたコンテンツのオーディオ５の統計に基づいてそれから調節する。

【0031】

上述のように、プリシンクロナイザ２２は、コンテンツ１の以前の再生又は実演の間に補助データ７を収集し得る。例えば、コンテンツ１は、もともとはライブで放送されたバスケットボールの試合であり得る。補助データ７は、最新の試合統計（例えば得点、リバウンド、アシスト等）を含み得る。この補助データ７及びその対応するタイミングにアクセスできることで、プリシンクロナイザ２２は、この統計が正確であるとき、補助データ７を、試合のオーディオ５の表現９（例えば波形シグネチャ）中の、試合中の適切なタイミングに対応する瞬間に固定し得る。トランシーバ２４は、上述のように消費者３０が情
報にアクセスして利用できるように、補助データ７及び表現９をストレージロケーション４０に送信し得る。

【0032】

ブロードキャスタ２０は、補助データ７を収集するオーサリングツール２８も含み得る。オーサリングツール２８は、例えば、統計専門家が上述のバスケットボールの試合の統計を入手することを可能にし得る。一般に、オーサリングツール２８は、補助データ７のエントリを可能にし得る。オーサリングツール２８は、コンテンツ名又はコンテンツ識別データ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等のようなコンテンツを記述する補助データをエンターするために用いられ得る。オーサリングツール２８は、コンテンツに関する、又はコンテンツに関連する、広告データのような営業用データ、又はプロフェショナル又はテクニカルデータの形態である補助データ７をエンターするためにも用いられ得る。

【0033】

図４は、消費者３０における詳細を含む例示的システム１０のブロック図を示す。消費者３０は、オーディオ５を含むコンテンツ１に補助データ７を同期させる機械又は一群の機械を含み得る。

【0034】

図示された実施形態において、消費者３０は、コンテンツ１をブロードキャスタ２０から、コンテンツのオーディオ５の表現９及びコンテンツのオーディオ５の表現９中の瞬間に固定された補助データ７をストレージロケーション４０から受け取るトランシーバ３２を含む。

【0035】

消費者３０は、上述のように、コンテンツのオーディオの表現９をコンテンツのオーディオ５にアラインさせることによって、補助データ７をコンテンツ１に同期させるポストシンクロナイザ３４も含み得る。ポストシンクロナイザ３４がコンテンツのオーディオの表現９をコンテンツのオーディオ５にアラインさせる具体的な方法論は、本発明に重大ではない。そのようなアラインメントが達成され得る機構には、自動コンテンツ認識（ＡＣＲ）として知られるもののバリエーションが含まれ、特にフィンガープリンティングとして知られるもののバリエーションが含まれる。ＡＣＲは、メディアデバイス上で再生される又はメディアファイル内に存在するコンテンツを特定又は認識するのに用いられる技術である。音響フィンガープリンティングは、コンテンツ自身からユニークな指紋を生成する。フィンガープリンティング技術は、コンテンツフォーマット、コーデック、ビットレート、及び圧縮技術によらず動作する。これは、ネットワーク及びチャネルにわたって用いることを可能にする。コンテンツ１の進行中のリアルタイムの指紋を表現９と連続的に比較することは、補助データ７をコンテンツ１のタイムラインに同期させるために用いられ得る。

【0036】

消費者３０は、コンテンツのオーディオ５をトランシーバ３２から受け取るオーディオプロセッサ３６も含み得る。ある実施形態では、オーディオプロセッサ３６は、メタデータをコンテンツ１から、又はコンテンツのオーディオ５から、及びメタデータから抽出し得て、オーディオプロセッサは、上述のようなストレージロケーション４０へのリンクを抽出し得る。ストレージロケーション４０へのリンクを得て、トランシーバ３２は、それからストレージロケーション４０と通信をして、ストレージロケーション４０に記憶された情報を得たり、又はそこに情報を記憶したりすることができる。

【0037】

代替として又は加えて、ストレージロケーション４０へのリンクは、サブスクリプションベースで消費者３０に配信され得て、又は他のやり方で消費者３０に提供される。この
ようにして、もし消費者３０によって受け取られたコンテンツ１がメタデータを含まない、又はそのメタデータがストレージロケーション４０へのリンクを含まないとしても、消費者３０は、依然としてストレージロケーション４０にアクセスし得る。

【0038】

ある実施形態において、オーディオプロセッサ３６は、ストレージロケーション４０へのリンクを抽出する代わりに、又はそれに加えて、上述のようにメタデータに記憶されたコンテンツのオーディオ５の統計（例えばラウドネス又はダイナミックレンジスケーリング）を抽出する。ある実施形態では、トランシーバ３２は、コンテンツのオーディオの表現９及び補助データ７に加えて、ストレージロケーション４０からコンテンツのオーディオ５の統計を受け取る。コンテンツのオーディオ５の統計を得て、オーディオプロセッサ３６は、ストレージロケーション４０から得られたコンテンツのオーディオ５の統計に基づいて消費者３０において再生される又は消費者３０から配信されるオーディオをそれから処理し得る。

【0039】

ある実施形態において、コンテンツ１又はコンテンツのオーディオ５がメタデータを含むとき、オーディオプロセッサは、消費者３０の敷地において再生されるべき、又は消費者３０の敷地から配信されるべきオーディオを、メタデータに記憶されたコンテンツのオーディオの統計（例えばラウドネス又はダイナミックレンジスケーリング）を用いて処理する。反対に、コンテンツ１又はコンテンツのオーディオ５がメタデータを含まないとき、オーディオプロセッサ３６は、消費者３０の敷地において再生されるべき、又は消費者３０の敷地から配信されるべきオーディオを、ストレージロケーション４０に記憶されたコンテンツのオーディオ５の統計を用いて処理する。

【0040】

ある実施形態において、オーディオプロセッサ３６は、コンテンツのオーディオ５を、ストレージロケーション４０から得られたコンテンツのオーディオ５の表現９と比較する。この比較に基づいて、コンテンツ１は、特定され得る。すなわち、もしコンテンツのオーディオ５及びコンテンツのオーディオの表現９が、パラメータ群のセット内で一致するなら、コンテンツ１は、表現９に対応するものと特定され得て、逆もまたそうである。同様に、もしコンテンツのオーディオ５及びコンテンツのオーディオの表現９が、パラメータ群のセット内で一致しないなら、コンテンツ１は、表現９に対応しないものということが可能であり得て、逆もまたそうである。ここで参照によって援用される２０１５年４月２９日に出願された米国特許出願番号１４／６９９，６５８は、ラウドネスシグネチャを介してコンテンツを認証する（authenticating）システム及び方法を開示する。そこで開示されているシステム及び方法は、コンテンツ１の特定のために用いられ得る。’６５８出願で開示されたものとは異なる他のシステム及び方法もコンテンツ１の特定のために用いられ得る。

【0041】

消費者３０は、コンテンツ１の提示と同時に補助データ７を提示する（例えば表示する）インタラクションツール３８も含み得る。インタラクションツール３８は、コンテンツのオーディオの表現９をコンテンツのオーディオ５にアラインさせることに依拠することによって、コンテンツ１の提示と同時に、補助データ７を提示する。このアラインさせることは、コンテンツのオーディオの表現９中の瞬間に固定されている補助データ７をコンテンツ１に同期させる。上述のバスケットボールの試合の例では、インタラクションツール３８は、試合が最初にライブで放送されてから何年も後に試合が再生される場合であっても、試合の提示と同時に、バスケットボールの最新の統計を表示し得る。

【0042】

ストレージロケーション４０は、補助データ７及びコンテンツのオーディオ５の表現９を記憶するので、アクセスのための情報がいつでも利用可能であり得る。例えば、消費者３０は、バスケットボールの試合（すなわちコンテンツ１）をデジタルビデオレコーダー（ＤＶＲ）中に記録したかもしれず、試合の録画を他のやり方で入手したかもしれない。
二三日後に消費者が試合を見るかもしれない。トランシーバ３２は、試合（すなわちコンテンツ１）をＤＶＲから（又は消費者３０がコンテンツを入手した任意の他のやり方で）入手し、ストレージロケーション４０から表現９及び補助データ７を入手したかもしれない。インタラクションツール３０は、試合がライブで最初に放送された時から後で当該試合が再生されるとしても、試合の提示と同時に、それからバスケットボールの試合の最新の統計を表示し得る。

【0043】

ある実施形態において、インタラクションツール３８は、補助データ７を収集するためにも用いられ得る。例えば、コンテンツ１の再生、放送、配信、又は実演の間、消費者は、インタラクションツール３８を介して、コンテンツ１又はコンテンツ１の特定のシーン又は部分に関するメモ又はコメントのような補助データ７を入力し得る。ポストシンクロナイザ３４は、インタラクションツール３８を介して入力された補助データ７を、コンテンツ１中の瞬間に対応するコンテンツのオーディオの表現９の瞬間にそれから固定し得て、補助データ７をストレージロケーション４０に保存し得る。この場合、表現９は、ａ）ストレージロケーション４０から得られた表現、又はｂ）オーディオプロセッサ３６によって消費者３０においてローカルに作られて、補助データ７と共にストレージロケーション４０に記憶される表現であり得る。

【0044】

図５は、ストレージロケーション４０における詳細を含む例示的システム１０のブロック図を示す。ストレージロケーション４０は、オーディオを含むコンテンツに補助データを同期させる機械又は一群の機械を含み得る。ストレージロケーション４０は、コンテンツのオーディオの表現９及び補助データ７を通信する（すなわち送信し受信する）トランシーバ４２を含み得る。ストレージロケーション４０は、コンテンツのオーディオの表現９及びコンテンツのオーディオの表現９中の瞬間に固定された補助データ７を記憶するデータベース４４も含み得る。

【0045】

ある実施形態において、トランシーバ４２は、コンテンツのオーディオ５の統計を通信し、データベース４４は、コンテンツのオーディオ５の統計（例えばラウドネス又はダイナミックレンジスケーリング）を上述のように補助データ７として又は補助データ７に加えて記憶する。ある実施形態において、その後のコンテンツ１の再生、放送、配信、及び実演の間、上述のように、トランシーバ４２は、補助データ７を通信し続け、データベース４４は、補助データ７を記憶し続ける。

【0046】

ストレージロケーション４０は、サブスクリプション、パスワード等によって制御され得る一般的なアクセス可能性を持つ（例えば上述のようなリンクを介して）クラウド又はローカルアーカイブのような、ブロードキャスタ２０及び消費者３０にアクセス可能であるロケーションであり得る。

【0047】

システム１０は、ソフトウェア、ハードウェア、アナログ又はデジタル技術を用いて実現され得る。

【0048】

例示的方法は、図６及び７のフロー図を参照してよりよく理解され得る。説明の簡単のために、図示された方法論は、一連のブロックとして示され説明されるが、この方法論は、ブロックの順序によっては限定されず、いくつかのブロックは、図示及び説明されるものとは異なる順序で、又は他のブロックと同時に起こり得る。さらに、例示的方法論を実現するためには、図示されたブロックの全てよりも少ないものしか必要ではないかもしれない。さらに追加の方法論、代替の方法論、又はそれらの両方が、図示しない追加のブロックを採用するかもしれない。

【0049】

フロー図において、ブロックは、論理で実現され得る「処理ブロック」を表す。処理ブ
ロックは、方法ステップ又は方法ステップを実行する装置要素を表し得る。フロー図は、特定のプログラミング言語、方法、又はスタイル（例えば手続き的、オブジェクト指向）について何らの構文も示さない。むしろ、フロー図は、図示された処理を実行するロジックを開発するために当業者が採用し得る機能情報を図示する。ある例では、一時変数、ルーチンループ等のようなプログラム要素が示されていないことがわかるだろう。電子的及びソフトウェアアプリケーションは、ダイナミックかつ柔軟性がある処理を伴い得ることによって、図示されたブロックが図示されたものとは異なる、他の順序で実行されたり、ブロックが組み合わせられ、又は複数の要素に分解されたりし得ることがさらにわかるだろう。処理は、機械語、手続き的、オブジェクト指向又は人工知能の手法のような、さまざまなプログラミングアプローチを用いて実現され得ることが理解されよう。

【0050】

図６は、オーディオを含むコンテンツに補助データを同期させる例示的方法６００のためのフロー図を図示する。

【0051】

方法６００は、６１０において補助データ７を収集することを含む。収集は、上述のように、コンテンツの再生、放送、配信、又は実演の前に、最中に、又は後に行われ得る。補助データ７は、コンテンツとなんらかのかたちで関連したデータであり、コンテンツ名又はコンテンツ識別データのようなコンテンツを記述するデータ、コンテンツで演じられている台本に関するデータ、コンテンツで登場人物が着ている衣装に関するデータ、コンテンツの実演家、プロデューサー、又はディレクターからのコメントを含むデータ、コンテンツに関する情報を含むリソースのユニフォームリソースロケーター（ＵＲＬ）、コンテンツのオーディオ中の音楽に関するデータ等を含み得る。補助データ７は、広告データのような営業用データを含み得る。補助データ７は、コンテンツの視聴者からのコメント（例えばツイッターメッセージ等）のようなユーザデータも含み得る。補助データ７は、例えばコンテンツオーディオのラウドネス又はダイナミックレンジスケーリング等を含む、コンテンツのオーディオの統計のようなプロフェショナルな又はテクニカルなデータも含み得る。

【0052】

６２０において、方法６００は、コンテンツのオーディオ５を分析することによって、コンテンツのオーディオ５の表現９を作ることをさらに含む。表現９は、上述のように、コンテンツのオーディオのオーディオ波形シグネチャを作ることによって作られ得る。

【0053】

コンテンツのオーディオの表現９（例えばオーディオ波形シグネチャ）の創造は、オーディオ５の分析の一部として達成され得る。コンテンツ１についてのオーディオ５が分析され、オーディオ統計が同じタイムラインで収集され得る。これは、典型的なクオリティコントロール又はマスタリングセッションの間に起こり得る。収集され得る統計は、コンテンツマッチが仕様を伝達するための、コンテンツ名又はＩＤ、オーディオ波形シグネチャ、ラウドネス及び／又はダイナミックレンジスケーリング、及び他のコンテンツに固有の（content-specific）非リアルタイムの統計を含む。

【0054】

６３０において、補助データ７は、コンテンツ１中の瞬間に対応するコンテンツのオーディオ５の表現９中の瞬間に固定される。補助データ７を表現９中の瞬間に固定すること（pegging）は、補助データ７がコンテンツ１に時間でアラインされる（time-aligned）
ことを意味する。この固定することは、補助データ７を特定のコンテンツ１の表現９に関連付けること、及び補助データ７に、表現９中の瞬間の時刻でタイムスタンプを付すこと又は他の時間アラインメント方法によって達成され得る。

【0055】

６４０において、表現９及び表現９中の瞬間に固定された補助データ７は、ストレージロケーション４０に記憶され得る。

【0056】

６５０において、ストレージロケーション４０へのリンクも作られる。

【0057】

６６０において、エンコードされた又はPCM+MDオーディオのために、及び／又はＰＣＭオンリーのオーディオのためにＬＦＥチャネルのために、オーディオ統計データの一部又は全部と共に、ストレージロケーション４０へのリンクがオーディオメタデータ（すなわちＥＭＤＦ）に挿入され得る。ここで参照によって援用される２０１３年２月１９日に発行された米国特許第８，３８０，３３４号は、オーディオ信号にメタデータを挿入するのに用いられ得る、オーディオ信号の中で補助データを運ぶ方法及びシステムを開示する。’３３４特許で開示されたものとは異なる他のシステム及び方法も、メタデータをオーディオ信号に挿入するのに用いられ得る。

【0058】

６７０において、コンテンツ１が配信される。コンテンツ１は、最近ではそうであるように、エンコードされたＰＣＭ又はベースバンドＰＣＭであって、メタデータが付く又は付かないオーディオで伝達され得る。

【0059】

図７は、オーディオを含むコンテンツに補助データを同期させる例示的方法７００のためのフロー図を図示する。

【0060】

７１０において、方法７００は、コンテンツのオーディオ５の表現９及び表現９中の瞬間に固定された補助データ７を受け取ることを含む。表現９及び補助データ７のこの組み合わせは、少なくとも２つのコンテキストにおいて用いられ得る。すなわち１）送信のための再生中、及び２）消費者の敷地におけるコンテンツ１の受信と共にである。

【0061】

送信のための再生の間、オーディオプロセッサは、メタデータを持つか又は持たない、コンテンツ１のエンコードされた又はベースバンドのＰＣＭオーディオを受け入れ得て、ストレージロケーション４０が存在するクラウド又は他のロケーションに接続され得る。このコンテキストにおいて、方法７００は、コンテンツのオーディオの統計を使用することによって、コンテンツのオーディオを処理するオーディオプロセッサをバイパス又は調節することを含み得る。

【0062】

７２０において、もしＥＭＤＦメタデータが存在するなら、又はもしメタデータがＬＦＥチャネル内で検出され、コンテンツのオーディオの統計がメタデータに記憶されているなら、７２５において、コンテンツのオーディオ５の統計（例えばラウドネス及び他のコンテンツに固有のデータ）は、オーディオプロセッサをバイパス又は調節することによって、既に正しいコンテンツが最小限の改変又は改変なしでパスして、元の品質及びコンプライアンスを維持するために用いられ得る。

【0063】

７３０において、もしメタデータ又はＬＦＥデータが存在していないか、又はもしコンテンツのオーディオの統計がメタデータに記憶されていないなら、オーディオ５のリアルタイムオーディオシグネチャは、ストレージロケーション４０から受け取られた表現９と比較されることによって、コンテンツ１を特定し得る。もしそれらが選択可能な範囲内で一致するなら、コンテンツ１は特定され、７３５において、ストレージロケーション４０に記憶されているかもしれないコンテンツのオーディオ５の統計は、オーディオプロセッサをバイパス又は調節することによって、既に正しいコンテンツが最小限の改変又は改変なしでパスして、元の品質及びコンプライアンス（compliance）を維持するために用いられ得る。

【0064】

７４０において、もしａ）特定のコンテンツ又はセグメントについて、メタデータが存在しない、又はメタデータがコンテンツのオーディオ５の統計を含まず、かつｂ）オーディオ５のリアルタイムオーディオシグネチャ及び表現９が、ある量の時間内で一致しない
なら、リアルタイムラウドネス及びダイナミックレンジ制御が実行されることによってオーディオ５がコンプライアント（compliant）であることを確実にする。

【0065】

コンテンツ１を受領すると、方法７００は、補助データ７をコンテンツ１に同期させることを含み得る。７５０において、もしメタデータ（例えばＥＭＤＦ）が存在し、メタデータがタイムスタンプを含むなら、７６０において、補助データ７は、タイムスタンプに基づいてコンテンツ１に同期される。もしメタデータが存在せず、又はメタデータがタイムスタンプを含まないなら、７７０において、方法７００は、上述のように、表現９をコンテンツのオーディオ５にアラインさせることによって、補助データ７をコンテンツ１に同期させる。

【0066】

ここでコンテンツ１に同期されている消費者のアプリケーション又はインタラクションツール３８は、７８０において、表現９がコンテンツのオーディオ５にアラインすることに依拠して、コンテンツ１の提示と同時に補助データ７を表示し得る。

【0067】

７９０において、方法７００は、他の消費者、番組プロデューサー、又は場合によっては広告主によって閲覧又はアクセスされ得る追加の補助データ７をさらに通信し得る。このデータは、ダウンストリームのプロフェッショナル又は消費者広告挿入メカニズムによっても用いられ得て、存在し、そのデータへのリアルタイムアップデート又は追加によって潜在的に増強される詳細が豊富なデータのおかげで、これら挿入は、以前の静的方法よりもより精密な正確さで目標にされ得る。方法７００は、コンテンツ１の後続の再生、放送、配信、又は実演の間、新しい補助データ７を受け取り、保存し続け得る。新しい補助データ７は、後続の再生、放送、配信、又は実演の間、コンテンツ１中の瞬間に対応するコンテンツのオーディオ５の表現９中の瞬間に固定される。

【0068】

図は、さまざまなアクションが順次、起こるものとして示すが、図示されたさまざまなアクションは、実質的に並列に起こり得ることを理解されたく、アクションは、並列に起こるように示され得るが、これらアクションは、実質的に順次、起こり得ることを理解されたい。図示された方法に関連していくつかの処理が記載されているが、より多くの又はより少ない数の処理が採用され得て、ライトウェイトプロセス、レギュラープロセス、スレッド、及び他のアプローチも採用され得ることを理解されたい。他の例示的方法は、場合によっては、実質的に並列に起こるアクションも含み得る。図示された例示的方法及び他の方法は、リアルタイムで、ソフトウェア又はハードウェア又はハイブリッドソフトウェア／ハードウェア実現例においてリアルタイムよりも速く、又はソフトウェア又はハードウェア又はハイブリッドソフトウェア／ハードウェア実現例においてリアルタイムよりも遅く動作し得る。

【0069】

図８は、オーディオを含むコンテンツに補助データを同期させるための例示的装置８００のブロック図を図示する。装置８００は、バス８０８によって動作可能に接続されたプロセッサ８０２、メモリ８０４、及びＩ／Ｏポート８１０を含む。

【0070】

ある例では、装置８００は、コンテンツ１、ビデオ３、オーディオ５、補助データ７、表現９等を含む入力信号を、例えばＩ／Ｏポート８１０又はＩ／Ｏインタフェース８１８を介して受け取り得る。装置８００は、ブロードキャスタ２０のプリシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、及びオーサリングツール２８も含み得る。装置８００は、消費者３０のトランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、及びインタラクションツール３８も含み得る。装置８００は、ストレージロケーション４０のトランシーバ４２及びデータベース４４も含み得る。よってブロードキャスタ２０、消費者３０、又はストレージロケーション４０は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせとして装置８００内で実現され
得て、よって装置８００及びその要素は、プリシンクロナイザ２２、トランシーバ２４、オーディオプロセッサ２６、オーサリングツール２８、トランシーバ３２、ポストシンクロナイザ３４、オーディオプロセッサ３６、インタラクションツール３８、トランシーバ４２、及びデータベース４４によって実行されるとここで説明された機能を実現する手段を提供し得る。

【0071】

プロセッサ８０２は、デュアルマイクロプロセッサ及び他のマルチプロセッサアーキテクチャを含む多様なさまざまなプロセッサであり得る。メモリ８０４は、揮発性メモリ又は不揮発性メモリを含み得る。不揮発性メモリは、これらには限定されないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等を含み得る。揮発性メモリは、例えばＲＡＭ、シンクロナスＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（ＤＲＲＡＭ）を含み得る。

【0072】

ディスク８０６は、例えばＩ／Ｏインタフェース（例えばカード、デバイス）８１８及びＩ／Ｏポート８１０を介して装置５００に動作可能に接続され得る。ディスク８０６は、これらに限定されないが、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、又はメモリスティックのようなデバイスを含み得る。さらにディスク８０６は、ＣＤ－ＲＯＭ、ＣＤレコーダブルドライブ（ＣＤ－Ｒドライブ）、ＣＤリライタブルドライブ（ＣＤ－ＲＷドライブ）、又はディジタルビデオＲＯＭドライブ（ＤＶＤ ＲＯＭドライブ）のような光学ドライブを含み得る。メモリ８０４は、例えばプロセス８１４又はデータ８１６を記憶し得る。ディスク８０６又はメモリ８０４は、装置８００のリソースを制御し、アロケートするオペレーティングシステムを記憶し得る。

【0073】

バス８０８は、単一の内部バス相互接続アーキテクチャ又は他のバス又はメッシュアーキテクチャであり得る。単一のバスが図示されているが、装置８００は、図示されていない他のバス（例えばＰＣＩＥ、ＳＡＴＡ、インフィニバンド、１３９４、ＵＳＢ、イーサネット（登録商標））を用いて、さまざまな装置、ロジック、及び周辺機器と通信し得る。バス５０８は、これらには限定されないが、メモリバス又はメモリコントローラ、周辺バス又は外部バス、クロスバースイッチ、又はローカルバスを含むさまざまなタイプであり得る。ローカルバスは、これらには限定されないが、産業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、周辺要素相互接続（ＰＣＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、及びスモールコンピュータシステムインタフェース（ＳＣＳＩ）バスを含む、さまざまなものであり得る。

【0074】

装置８００は、Ｉ／Ｏインタフェース８１８及びＩ／Ｏポート８１０を介して入力／出力機器と相互作用し得る。入力／出力機器は、これらに限定されないが、キーボード、マイク、ポインティング及び選択デバイス、カメラ、ビデオカード、ディスプレイ、ディスク８０６、ネットワークデバイス８２０等を含み得る。Ｉ／Ｏポート８１０は、これらには限定されないが、シリアルポート、パラレルポート、及びＵＳＢポートを含み得る。

【0075】

装置８００は、ネットワーク環境において動作し得て、よってＩ／Ｏインタフェース８１８又はＩ／Ｏポート８１０を介してネットワーク機器８２０と接続され得る。ネットワーク機器８２０を通して、装置８００は、ネットワークと相互作用をし得る。ネットワークを通して、装置８００は、リモートコンピュータに論理的に接続され得る。装置８００が相互作用するネットワークは、これらに限定されないが、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び他のネットワークを含み得る。ネットワークデバイス８２０は、これらに限定されないが、光ファイバ分散データインタ
フェース（ＦＤＤＩ）、銅線配線分散データインタフェース（ＣＤＤＩ）、イーサネット（登録商標）（IEEE 802.3）、トークンリング（IEEE 802.5）、無線コンピュータ通信（IEEE 802.11）、ブルートゥース（IEEE 802.15.1）、ZigBee（IEEE 802.15.4）等を含む
ＬＡＮ技術に接続し得る。同様に、ネットワークデバイス８２０は、これらに限定されないが、ポイントツーポイントリンク、サービス総合デジタル網（ＩＳＤＮ）のような回路スイッチングネットワーク、パケットスイッチングネットワーク、及びデジタル加入者線（ＤＳＬ）を含むＷＡＮ技術に接続し得る。個々のネットワークのタイプが記載されているが、ネットワークを経由する、ネットワーク上での、又はネットワークを通じた通信は、通信の組み合わせ及び混合を含み得る。

【0076】

定義
以下は、ここで採用された語のうちから精選されたものについての定義を含む。定義には、語の範囲に入り、実現のために用いられ得る要素のさまざまな例及び形態を含む。これら例は、限定的であるとは意図されていない。語の単数形及び複数形の両方が定義の中に含まれ得る。

【0077】

「コンテンツ」は、静止画、オーディオメディア、ビデオメディア、又はオーディオ／ビジュアル（ＡＶ）メディアのセグメントに対応し、少なくとも１つの媒体と共に、具体化され、記憶され、伝送され、受け取られ、処理され、又はその他の方法で用いられる情報を含む。よくあるメディアコンテンツフォーマットには、ＦＬＶフォーマット（フラッシュビデオ）、ウィンドウズメディアビデオ、リアルメディア、クイックタイム、ＭＰＥＧ、ＭＰ３、ＤｉｖＸ、ＪＰＥＧ、及びBitmapsが含まれる。ここで用いられるように、
「メディアクリップ」、「メディアコンテンツ」、「情報コンテンツ」、及び「コンテンツ」という語は、交換可能に用いられ得る。

【0078】

ここで使われる「データストア」又は「データベース」は、データを記憶し得る物理的又は論理的なエンティティをいう。データストアは、例えば、データベース、テーブル、ファイル、リスト、キュー、ヒープ、メモリ、レジスタ等であり得る。データストアは、１つの論理的又は物理的エンティティに常駐し得て、２以上の論理的又は物理的エンティティの間で分散され得る。

【0079】

ここで用いられる「ロジック」は、これらに限定されないが、機能（群）又は動作（群）を実行するための、又は他のロジック、方法、又はシステムから機能又は動作を起動するためのハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含む。例えば、所望のアプリケーション又はニーズに基づいて、ロジックは、ソフトウェアで制御されるマイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）のような個別ロジック、プログラムされたロジックデバイス、命令等を含むメモリデバイスを含み得る。ロジックは、１つ以上のゲート、ゲートの組み合わせ、又は他の回路要素を含み得る。ロジックは、ソフトウェアとして完全に実現されてもよい。複数の論理ロジックが記載されるとき、その複数の論理ロジックを単一の物理的ロジックに組み込むことが可能であり得る。同様に、単一の論理ロジックが記載されるとき、その単一の論理ロジックを複数の物理的ロジックに分散させることが可能であり得る。

【0080】

「動作可能な接続」、つまりエンティティが「動作可能に接続される」接続とは、信号、物理的通信、又は論理的通信が送られ、又は受け取られ得る接続である。典型的には、動作可能な接続は、物理的インタフェース、電気的インタフェース、又はデータインタフェースを含むが、動作可能な接続は、動作可能な制御を可能にするのに十分な接続のこれらの、又は他のタイプの異なる組み合わせを含み得る。例えば、２つのエンティティは、互いに直接に、又はプロセッサ、オペレーティングシステム、ロジック、ソフトウェア、又は他のエンティティのような１つ以上の中間エンティティを通して、信号をやりとりす
ることができることによって、動作可能に接続され得る。論理的又は物理的通信チャネルは、動作可能な接続を作るために用いられ得る。

【0081】

放送において、「プレイアウト」は、ラジオ又はＴＶチャンネルの送信が放送者から、視聴者へコンテンツを運ぶ放送ネットワークに入り送信することを指す語である。

【0082】

ここで使われる「信号」は、これらには限定されないが、１つ以上の電気的又は光学的信号、アナログ又はデジタルの信号、データ、１つ以上のコンピュータ又はプロセッサ命令、メッセージ、ビット又はビットストリーム、又は受信、送信、又は検出され得る他の手段を含む。

【0083】

ここで使われる「ソフトウェア」は、これらには限定されないが、読み取られ、解釈され、コンパイルされ、又は実行され得て、コンピュータ、プロセッサ、又は他の電子デバイスに所望のやり方で機能、行為を実行させ、又は動作させる、１つ以上のコンピュータ又はプロセッサ命令を含む。命令は、動的又は静的にリンクされたライブラリからの別個のアプリケーション又はコードを含む、ルーチン、アルゴリズム、モジュール、方法、スレッド、又はプログラムのようなさまざまな形態で実現され得る。またソフトウェアは、これらには限定されないが、スタンドアローンプログラム、ファンクションコール（ローカル又はリモート）、サーブレット、アプレット、メモリに記憶された命令、オペレーティングシステムの一部、又は他のタイプの実行可能な命令を含む、さまざまな実行可能な又はロード可能な形態で実現され得る。当業者には、ソフトウェアの形態は、例えば、所望のアプリケーションの要件、それが走る環境、又は設計者／プログラマー等の要求に依存し得ることが理解されよう。またコンピュータで読み取り可能な又は実行可能な命令は、１つのロジックに存在し得て、又は２つ以上の通信し、同時に動作する、又は並列処理するロジックの間に分散され得て、よってシリアルで、パラレルで、超並列で、及び他の方法でロードされ、又は実行され得ることが理解されよう。

【0084】

ここで記載された例示的システム及び方法のさまざまな要素を実現する適切なソフトウェアは、Java、Pascal、C#、C++、C、CGI、Perl、SQL、API、SDK、アセンブリ、ファームウェア、マイクロコード、又は他の言語及びツールのようなプログラミング言語及びツールを用いて作成され得る。ソフトウェアは、システム全体であれシステムの一要素であれ、製造物として実現され得て、前に規定されたようにコンピュータで読み取り可能な媒体の一部として保持又は提供され得る。ソフトウェアの他の形態は、ソフトウェアのプログラムコードをネットワーク又は他の通信媒体を介して受け手に送信する信号を含み得る。よってある例では、コンピュータで読み取り可能な媒体は、ウェブサーバからユーザへとダウンロードされるソフトウェア／ファームウェアを表す信号の形態をとる。他の例では、コンピュータで読み取り可能な媒体は、ウェブサーバ上に保持されたソフトウェア／ファームウェアの形態を有する。他の形態も用いられ得る。

【0085】

ここで用いられる「ユーザ」又は「消費者」は、これらには限定されないが、１人以上の人、ソフトウェア、コンピュータ又は他のデバイス、又はこれらの組み合わせを含む。

【0086】

以下の詳細な説明のある部分は、アルゴリズム及びメモリ内のデータビットに対する操作の記号的表現によって提示されている。これらアルゴリズムの記載及び表現は、当業者の仕事の本質を他人に伝えるために用いられる彼らによって用いられる手段である。アルゴリズムは、ここで、また一般的に、結果を作る操作の一連の流れであると理解されている。操作は、物理量の物理的操作を含み得る。必ずしもそうではないが、通常は、物理量は、記憶され、転送され、組み合わされ、比較され、及びロジック等で他の方法で操作され得る、電気的又は磁気的信号の形態をとる。

【0087】

主に通常の用法の理由から、これら信号をビット、値、要素、シンボル、キャラクタ、語、数等として呼ぶことが時には便利であるとわかっている。しかし、これらの及び同様の語は、適切な物理量と関連付けられ、これらの量に適用される便利なラベルに過ぎないことに注意されたい。そうではないと具体的に述べられていない限り、記載を通して、処理、コンピューティング、計算、決定、表示等は、物理的（電子的）量として表現されるデータを操作及び変形する、コンピュータシステム、ロジック、プロセッサ、又は同様の電子的装置の行為及び処理を指すことが理解されよう。

【0088】

説明が容易なので、本開示は、例えば、それが埋め込まれるオーディオ信号についての情報及び制御データを伝達するのに用いられる拡張可能なメタデータフォーマット（ＥＭＤＦ）のようなETSI TS 102 366 (Annex H)で記述される命名法のコンテキストで例を説
明している。しかし本開示の原則は、そのようなコンテキストには限定されず、ATSC A52:2012及びA/85:2013又はSMPTE 337M規格において記述されるメタデータを含むETSI TS 103 190 (セクション4.3.15)又はベースバンドＰＣＭオーディオシステムを含む任意の圧縮されたオーディオと含まれる任意のそのような埋め込まれたメタデータのスキームを含むさまざまな他のコンテキストにおいても実施され得る。

【0089】

「含む」又は「含んでいる」という語が詳細な説明又は特許請求の範囲で採用されている限りにおいて、特許請求の範囲で遷移的語として採用されるときに解釈されるように、「備える」という語と同様に、包含的であると意図されている。さらに、「又は」という語が詳細な説明又は特許請求の範囲で採用されている（例えばＡ又はＢ）限りにおいて、「Ａ又はＢ又はその両方」を意味するよう意図されている。出願人が「Ａ又はＢであるが、両方ではない」と表現したい場合には、「Ａ又はＢであるが、両方ではない」が用いられる。よって「又は」という語の使用は、包含的であり、排他的な用法ではない。Bryan A. Garner, A Dictionary of Modern Legal Usage 624 (2d. Ed. 1995)を参照のこと。

【0090】

例示的システム、方法等が例を記載することによって説明され、これら例は、相当な詳細さで記載されてきたが、そのような詳細に範囲を限定すること、又はいかなるやり方においても制限することは、出願人の意図ではない。もちろん、ここで記載されるシステム、方法等を記載する目的のためには、構成要素又は方法論の、あらゆる想定可能な組み合わせを記載することは不可能である。さらなる優位性及び改変は、当業者には明らかであろう。したがって本発明は、図示され、説明された、具体的な詳細、代表的な装置、及び例示的な例には限定されない。よって本願は、添付の特許請求の範囲の範囲に入る変更、改変、及びバリエーションを包含するように意図される。さらに、上の記載は、本発明の範囲を限定するようには意図されない。むしろ本発明の範囲は、添付の特許請求の範囲及びそれらの等価物によって決定されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】