特表 2024-528388 最適化された時間スケールと正確な提示タイムスタンプを提供するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】最適化された時間スケールと正確な提示タイムスタンプを提供するためのシステム及び方法

(51)【国際特許分類】

   H04N 21/242 20110101AFI20240723BHJP

   H04N 21/2343 20110101ALI20240723BHJP

   H04N 19/587 20140101ALI20240723BHJP

   H04N 19/115 20140101ALI20240723BHJP

【ＦＩ】

H04N21/242

H04N21/2343

H04N19/587

H04N19/115

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023575576

(86)(22)【出願日】2022-06-24

(85)【翻訳文提出日】2024-02-06

(86)【国際出願番号】 US2022035002

(87)【国際公開番号】W WO2022272135

(87)【国際公開日】2022-12-29

(31)【優先権主張番号】17/359,468

(32)【優先日】2021-06-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】506267178

【氏名又は名称】ネットフリックス・インコーポレイテッド

【氏名又は名称原語表記】ＮＥＴＦＬＩＸ， ＩＮＣ．

【住所又は居所原語表記】１２１ Ａｌｂｒｉｇｈｔ Ｗａｙ Ｌｏｓ Ｇａｔｏｓ， Ｃａｌｉｆｏｒｎｉａ ９５０３２ ＵＮＩＴＥＤ ＳＴＡＴＥＳ ＯＦ ＡＭＥＲＩＣＡ

(74)【代理人】

【識別番号】100073184

【弁理士】

【氏名又は名称】柳田 征史

(74)【代理人】

【識別番号】100175042

【弁理士】

【氏名又は名称】高橋 秀明

(74)【代理人】

【識別番号】100224775

【弁理士】

【氏名又は名称】南 毅

(72)【発明者】

【氏名】ジォン，ウェイグオ

(72)【発明者】

【氏名】チン，レックス イク チュン

(72)【発明者】

【氏名】チョン，ヨンジュン

(72)【発明者】

【氏名】カシ，チャンドリカ

【テーマコード（参考）】

5C159

5C164

【Ｆターム（参考）】

5C159LB07

5C159LB13

5C159TA60

5C164MC06S

5C164PA31

5C164SB02P

5C164SB10P

(57)【要約】

本開示のコンピュータで実装される方法は、複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップを含む。そして、本方法は、複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップも含む。また、本方法は、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後のメディアアイテムのフレーム間隔を一定とするステップも含む。本開示では、その他にも、様々な方法、システム、コンピュータ可読媒体が開示される。

【特許請求の範囲】

【請求項1】

複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、
前記複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更し、これにより、変更後の前記少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、
を含むコンピュータで実装される方法。

【請求項2】

前記メディアアイテムが映像メディアアイテムを含む、請求項１に記載のコンピュータで実装される方法。

【請求項3】

前記映像メディアアイテムが、２３．９７フレーム／秒、２４フレーム／秒、２５フレーム／秒、２９．９７フレーム／秒、３０フレーム／秒、５９．９４フレーム／秒、６０フレーム／秒、１２０フレーム／秒、２４０フレーム／秒、又は３００フレーム／秒のフレームレートで符号化される、請求項２に記載のコンピュータで実装される方法。

【請求項4】

前記メディアアイテムが音声メディアアイテムを含む、請求項１に記載のコンピュータで実装される方法。

【請求項5】

前記音声メディアアイテムが、１フレーム当たり１０２４サンプル、１５３６サンプル、又は２０４８サンプルのフレームレートを有している、請求項４に記載のコンピュータで実装される方法。

【請求項6】

前記複数のメディアアイテムのうち、指定されたメディアアイテム群内にある各メディアアイテムが、指定された映像フレームレート及び音声フレームレートを有しており、
前記一元的時間スケールが、前記メディアアイテム群内の前記メディアアイテムの指定された映像フレームレート及び指定された音声フレームレートを最適化するように計算される、請求項１に記載のコンピュータで実装される方法。

【請求項7】

前記一元的時間スケールは、前記複数のメディアアイテムに対して１つ以上の提示タイムスタンプを生成するように実装される、請求項１に記載のコンピュータで実装される方法。

【請求項8】

前記１つ以上の提示タイムスタンプが単調増加し、
前記一元的時間スケールに使用される単位が、前記複数のメディアアイテムのラップアラウンド時間を最大化するように選択される、請求項６に記載のコンピュータで実装される方法。

【請求項9】

前記複数のメディアアイテムのラップアラウンド時間を最大化するように選択される前記単位が、映像フレームレートに基づいて選択される、請求項８に記載のコンピュータで実装される方法。

【請求項10】

同定された前記一元的時間スケールが、提示タイムスタンプ間隔を含んでおり、
該提示タイムスタンプ間隔が、最小フレーム間隔又は最小フレーム間隔の倍数で構成される、請求項１に記載のコンピュータで実装される方法。

【請求項11】

前記提示タイムスタンプ間隔を指定された分解能に復元するステップをさらに含む、請求項１０に記載のコンピュータで実装される方法。

【請求項12】

少なくとも１つの物理プロセッサと、
コンピュータ実行可能命令を含む物理メモリと、
を備えるシステムであって、
前記コンピュータ実行可能命令は、前記物理プロセッサによって実行された場合に、
複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、
前記複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更し、これにより、変更後の前記少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、
を前記物理プロセッサに実行させる、システム。

【請求項13】

同定された前記一元的時間スケールが、前記一定のフレーム間隔を維持しながら、前記複数のメディアアイテムを可変フレームレートでストリーミングすることを可能にする、請求項１２に記載のシステム。

【請求項14】

フレームレートの異なるメディアアイテムが、前記一元的時間スケールを使用して各フレームレートに対して前記一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる、請求項１３に記載のシステム。

【請求項15】

可変リフレッシュレートを使用してキャプチャされた映像コンテンツを有するメディアアイテムが、前記一元的時間スケールを使用して前記一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる、請求項１２に記載のシステム。

【請求項16】

前記一元的時間スケールを同定するステップが、時間スケールの異なる前記複数の異なるメディアアイテムから得られる、１つ以上の入力された提示タイムスタンプを、前記一元的時間スケールに基づいた提示タイムスタンプに変換するステップを含む、請求項１２に記載のシステム。

【請求項17】

前記入力された提示タイムスタンプから得られる変換後の前記提示タイムスタンプを実装することにより、提示タイムスタンプカウンタのラップアラウンドが回避される、請求項１６に記載のシステム。

【請求項18】

前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更するステップにより、前記複数のメディアアイテムの再生中に単一の固定垂直同期割り込みを実装することが可能となる、請求項１２に記載のシステム。

【請求項19】

スケーリング後の提示タイムスタンプが、丸め誤差を含まないネイティブ提示タイムスタンプと一致するように、前記複数のメディアアイテムの提示タイムスタンプを最適化するステップをさらに含む、請求項１２に記載のシステム。

【請求項20】

１つ以上のコンピュータ実行可能命令を含む非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行された場合に、
複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、
前記複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更し、これにより、変更後の前記少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、
を前記コンピューティングデバイスに実行させる、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【相互参照】

【0001】

本出願は、２０２１年６月２５日を出願日とする米国仮特許出願第１７／３５９４６８号（発明の名称「SYSTEMS AND METHODS FOR PROVIDING OPTIMIZED TIME SCALES AND ACCURATE PRESENTATION TIME STAMPS」）の優先権の利益を主張するものであり、この仮出願のすべての開示内容は、参照により本明細書に援用するものとする。

【背景技術】

【0002】

音声及び映像メディアアイテムを含むメディアアイテムは、通常、提示タイムスタンプ（presentation time stamp：ＰＴＳ）を付けて生成される。提示タイムスタンプ（ＰＴＳ）は、メディアアイテムの様々なエレメンタリストリーム（例えば、音声、映像、字幕など）の同期を保つためにメディアアイテムに適用されるメタデータフィールドである。このメタデータは、同様にメディアアイテムの一部として伝送される基準クロックにより定義される特定の時点を示している。これらの時点が、基本となるエレメンタリストリームを同期させる位置を定義する基準となる。提示タイムスタンプそのものは、Ｘヘルツ（Ｈｚ）の時間スケールを持つクロックで駆動されるカウンタの値を表すＮビットの数値である。例えば、ＭＰＥＧ（Moving Pictures Expert Group）１形式又はＭＰＥＧ２形式で符号化を行う場合、提示タイムスタンプのＮ値は３３ビット、時間スケールのＸ値は９００００Ｈｚである。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、提示タイムスタンプが付与されていても、再生時に様々な音声フレームや映像フレームを提示する時間長が近似的に求められることやかかる時間長の変動が原因で、シームレスな同期が妨げられる場合があった。

【課題を解決するための手段】

【0004】

以下に、より詳細に説明するように、本開示では、最適化された時間スケールと正確な提示タイムスタンプとをメディアアイテムに対して提供するための方法及びシステムについて記載する。

【0005】

一例では、最適化された時間スケールと正確な提示タイムスタンプを提供するための、コンピュータで実装される方法は、複数の異なるメディアアイテムであって、当該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に当該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップを含む。また、本方法は、複数のメディアアイテムについて、当該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップをさらに含む。さらに、本方法は、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後のメディアアイテムのフレーム間隔を一定とするステップも含む。

【0006】

いくつかの実施形態では、メディアアイテムは映像メディアアイテムである。いくつかの場合において、映像メディアアイテムは、２３．９７フレーム／秒、２４フレーム／秒、２５フレーム／秒、２９．９７フレーム／秒、３０フレーム／秒、５９．９４フレーム／秒、６０フレーム／秒、１２０フレーム／秒、２４０フレーム／秒、又は３００フレーム／秒のフレームレートで符号化される。

【0007】

他の実施形態では、メディアアイテムは音声メディアアイテムである。いくつかの例では、音声メディアアイテムが、１フレーム当たり１０２４サンプル、１５３６サンプル、又は２０４８サンプルのフレームサイズを有している。

【0008】

いくつかの場合において、複数のメディアアイテムのうち、指定されたメディアアイテム群内にある各メディアアイテムは、指定された映像フレームレート及び音声フレームレートを有している。かかる場合、一元的時間スケールは、メディアアイテム群内のメディアアイテムの指定された映像フレームレート及び指定された音声フレームレートを最適化するように計算される。

【0009】

いくつかの実施形態では、一元的時間スケールは、複数のメディアアイテムに対して１つ以上の提示タイムスタンプを生成するように実装される。いくつかの場合において、提示タイムスタンプは単調増加し、一元的時間スケールに使用される単位は、複数のメディアアイテムのラップアラウンド時間を最大化するように選択される。

【0010】

いくつかの場合において、複数のメディアアイテムのラップアラウンド時間を最大化するように選択される単位は、映像フレームレートに基づいて選択される。いくつかの例では、同定された一元的時間スケールは、提示タイムスタンプ間隔を含んでいる。かかる場合、提示タイムスタンプ間隔は、最小フレーム間隔又は最小フレーム間隔の倍数で構成することができる。いくつかの実施形態では、本方法は、提示タイムスタンプ間隔を指定された分解能に復元するステップをさらに含む。いくつかの場合において、同定された一元的時間スケールは、各フレームレートに対して一定のフレーム間隔を維持しながら、複数のメディアアイテムを可変フレームレートでストリーミングすることを可能にする。いくつかの実施形態では、フレームレートの異なるメディアアイテムが、一元的時間スケールを使用して各フレームレートに対して一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる。いくつかの例では、可変リフレッシュレートを使用してキャプチャされた映像コンテンツを有するメディアアイテムが、一元的時間スケールを使用して一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる。

【0011】

いくつかの実施形態では、一元的時間スケールを同定するステップが、時間スケールの異なる複数の異なるメディアアイテムから得られる、１つ以上の入力された提示タイムスタンプを、一元的時間スケールに基づいた提示タイムスタンプに変換するステップを含む。いくつかの場合において、入力された提示タイムスタンプから得られる変換後の提示タイムスタンプを実装することにより、提示タイムスタンプカウンタのラップアラウンドが回避される。いくつかの例では、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更するステップにより、複数のメディアアイテムの再生中に単一の固定垂直同期割り込みを実装することが可能となる。いくつかの場合において、本方法は、スケーリング後の提示タイムスタンプが、丸め誤差を含まないネイティブ提示タイムスタンプと一致するように、複数のメディアアイテムの提示タイムスタンプを最適化するステップをさらに含む。

【0012】

これに加えて、これに対応するシステムは、少なくとも１つの物理プロセッサと、コンピュータ実行可能命令を含む物理メモリと、を備え、コンピュータ実行可能命令は、物理プロセッサによって実行された場合に、以下のステップ：複数の異なるメディアアイテムであって、当該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に当該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、当該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、を物理プロセッサに実行させる。

【0013】

いくつかの例では、上述の方法を、コンピュータ可読媒体上のコンピュータ可読命令として符号化することもできる。例えば、コンピュータ可読媒体は、１つ以上のコンピュータ実行可能命令を含むことができ、コンピュータ実行可能命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行された場合に、コンピューティングデバイスに、以下のステップ：複数の異なるメディアアイテムであって、当該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に当該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、当該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、を実行させることができる。

【0014】

本明細書に記載の複数の実施形態の特徴は、そのいずれの実施形態の特徴であっても、本明細書に記載の一般原則に従って、互いに組み合わせて使用することができる。上記及び上記以外の実施形態、特徴、及び利点については、添付の図面及び特許請求の範囲と併せて、以下の詳細な説明を読むことにより、さらに深く理解されるであろう。

【0015】

添付の図面は、数多くの例示的な実施形態を例示的に示すものであり、本明細書の一部をなす。これらの図面は、以下の説明と合わせることにより、本開示の種々の原理を明示、説明するものである。

【図面の簡単な説明】

【0016】

【図1】最適化された時間スケールと正確な提示タイムスタンプが提供されるコンピューティング環境を示す図

【図2】最適化された時間スケールと正確な提示タイムスタンプをメディアアイテムに対して提供するための例示的な方法を示すフロー図

【図3】様々な層におけるメディアアイテムの時間スケール情報を示すフロー図

【図4】様々なフレームレートで符号化されたメディアアイテムに対する、複数の異なるフレーム間隔を示すテーブル

【図5】提示タイムスタンプに丸め誤差が生じることによりフレーム間隔の長さが変化してしまうことをわかりやすく示すテーブル

【図6】丸めありの提示タイムスタンプや丸めなしの提示タイムスタンプが垂直同期にどのように関係するかを示すテーブル

【図7】異なるフレームレートで符号化されたメディアアイテムの映像フレーム間隔を示すテーブル

【図8】異なるフレームレートで符号化されたメディアアイテムの音声フレーム間隔を示すテーブル

【図9】異なるフレームレートで符号化されたメディアアイテムの音声フレーム間隔を示す他のテーブル

【図10】９６ｋＨｚまでのサンプリングレートにおける音声／映像のフレーム間隔を示すテーブル

【図11】２３．９７６ｆｐｓで符号化された映像についてのスケーリング後のフレームレートを示すテーブル

【図12】４８ｋＨｚの音声での時間スケール例を示すテーブル

【図13】４４．１ｋＨｚの音声に対する時間スケール例を示すテーブル

【図14】４８ｋＨｚの音声での時間スケール例とラップアラウンド時間を示すテーブル

【図15】提示タイムスタンプのスケーリング例を示すテーブル

【図16】最小の間隔の計算と実装が行われる実施形態を示す図

【図17】初期値をゼロとする最適化された提示タイムスタンプを示すテーブル

【図18】フレームレートが、異なる映像セグメント間で変化する実施形態を示す図

【図19】例示的なコンテンツ配信エコシステムを示すブロック図

【図20】図１９に示すコンテンツ配信エコシステム内の例示的な配信インフラを示すブロック図

【図21】図１９に示すコンテンツ配信エコシステム内の例示的なコンテンツプレーヤを示すブロック図

【発明を実施するための形態】

【0017】

図面全体を通して、同一の参照記号及び説明は、類似の要素を示すものであり、必ずしも同一の要素を示しているわけではない。本明細書に記載の例示的な実施形態には様々な変形や形態変更が可能であるが、一例として、そのうちの特定的な実施形態を図面に示し、本明細書において詳細に説明している。しかしながら、本明細書に記載の例示的な実施形態は、開示された特定の形態に限定されることを意図するものではない。むしろ、本開示は、添付の特許請求の範囲の範囲に含まれるすべての変形物、等価物、変更物も対象に含むものである。

【0018】

本開示は、概して、最適化された時間スケールと正確な提示タイムスタンプをメディアアイテムに対して提供することに向けられている。以下により詳細に説明するように、本開示の実施形態は、メディアアイテムが異なるフレームレートで符号化されている場合であっても、メディアアイテムの再生中のフレーム間隔を一定とする一元的時間スケールを生成するものである。

【0019】

上述したように、メディアアイテムは、通常、提示タイムスタンプ（ＰＴＳ）を用いて符号化されている。提示タイムスタンプは、異なるエレメンタリストリームをどの位置に同期させることができるかを示すものである。かかるエレメンタリストリームには、音声ストリーム、映像ストリーム、字幕が含まれる。メディアアイテムの再生中に、これらのエレメンタリストリームが互いに対して先行したり遅れたりすると、同期がずれていることにユーザが気づく場合が多く、質の低い再生体験にユーザが悩まされてしまう可能性がある。

【0020】

提示タイムスタンプ自体は、ヘルツ（Ｈｚ）単位で計測される特定の（Ｘヘルツの）時間スケールを持つクロックで駆動されるカウンタの値を表すＮビットの数値である。ＭＰＥＧ１形式及びＭＰＥＧ２形式の場合、Ｎ＝３３ビット、Ｘ＝９００００ヘルツである。異なるフレームレートで符号化されたメディアアイテムには、異なる時間スケールが使用される。例えば、映像は、２４フレーム／秒（ｆｐｓ）、２９．９７ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、５９．９４ｆｐｓ、６０ｆｐｓなどのフレームレートで符号化することができる。各フレームの表示時間を示す目盛り量は、時間スケールによって異なる。例えば、フレームレートが２４ｆｐｓ、時間スケールが１０００目盛り／秒の場合、各フレームの表示時間（すなわち「フレーム間隔（frame interval）」）は１０００／２４＝４１．６６６６７ミリ秒となる。したがって、この例では、２４ｆｐｓで符号化された映像のフレーム間隔は、４１ミリ秒又は４２ミリ秒となる。時間スケールを、例えば９００００Ｈｚに変更すると、フレーム間隔は、（９００００／２４）目盛り、つまり３７５０目盛りとなり、より正確になる。また、例えば、時間スケールを１００００００目盛り／秒まで上げた場合のフレーム間隔は、４１６６６マイクロ秒又は４１６６７マイクロ秒（１００００００／２４）となる。

【0021】

提示タイムスタンプの値は整数で提示されるため、このような小数の値（例えば、４１．６６６６７ミリ秒、４１６６６．６６６７マイクロ秒など）は、切り上げ又は切り捨てにより、最も近い整数に丸める必要がある。この最も近い整数に丸める処理の結果、提示タイムスタンプに丸め誤差が含まれることになる。そして、この丸め誤差により、フレーム間隔（各フレームの表示時間）が上下に変動する。例えば、２４ｆｐｓで符号化された、１０００単位の時間スケールを持つ映像の場合、フレーム間隔は４１．６６６６７ミリ秒となるが、同期を維持するため４１．６６６６７を切り上げたり切り下げたりすることが行われるため、実際のフレーム間隔は４１ミリ秒と４２ミリ秒の間で度々切り替わることになる。しかし、異なるフレーム間隔間での切り替えが度々行われると、メディアアイテムの再生に悪影響が生じる恐れがある。例えば、フレーム間隔の切り替えは、ユーザの目の疲れの原因となる可能性がある。さらに、少なくともいくつかの場合において、このように異なるフレーム間隔の間を切り替えることにより、フレーム落ち、フレームのフリーズ、フレームの重複、空白フレームなどの他の問題も生じるほか、この他にも、ユーザの目につきやすく、ユーザの視聴体験を損なうような他の再生問題又は同期問題の原因となる恐れがあった。

【0022】

一方、本明細書に記載の実施形態は、様々な異なるフレームレートに適用される普遍的な時間スケールを提供するように設計されている。普遍的な時間スケールにより、メディアアイテムの各フレームを確実に一定のフレーム間隔で再生することができる。本明細書に記載のシステムは、メディアアイテムセット（例えば、音声又は映像メディアアイテム）を符号化する際に用いた現在の時間スケールを同定する。また、本システムは、これらのメディアアイテムを符号化する際に用いたフレームレートも特定する。そして、本システムは、これらのメディアアイテムで使用されている種々のフレームレートの最小公倍数を求める。例えば、或るメディアアイテム群のスケーリング後のフレームレートの最小公倍数を同定することにより特定した一元的時間スケールを用いれば、各メディアアイテムを、等しい目盛り数に分割することができる。このように目盛り数を一元化することにより、メディアアイテムを符号化する際に用いたフレームレートに関係なく、メディアアイテムのフレーム間隔を一定化することができる。メディアアイテム群で使用されるスケーリング後のフレームレートの最小公倍数を同定することにより、各フレーム間隔を整数値で表すことができる。各メディアアイテムのフレーム間隔を整数値とすることで、フレーム間隔に生じていた異なる値の間の変動（例えば、上記の例における４１ミリ秒と４２ミリ秒の間の変動）が解消する。また、一元的時間スケールによりフレーム間隔が一定となることから、フレーム間隔の変動に伴う問題も低減又は完全に解消される。

【0023】

いくつかの場合において、本明細書に記載の実施形態は、特定の音声又は映像形式の組み合わせに対して一元的時間スケールを最適化することもできる。例えば、本明細書のシステムは、異なるフレームレートで符号化された、広範囲の異なるメディアアイテムに対して最小公倍数を見つけるのではなく、選択された音声／映像形式の組み合わせに対して最小公倍数を見つけ、その組み合わせに対して特異的に時間スケールの変更を行う。これにより、提示タイムスタンプ値を格納するように構成されたメモリバッファのオーバフローが生じる可能性が低減される。実際、上述したように、提示タイムスタンプは単調増加する整数値であり、したがって、いずれかの時点で非常に大きな数値に達することになる。提示タイムスタンプを格納するためのビットフィールドが小さすぎると、提示タイムスタンプの単調増加の結果、メディアアイテム再生の非常に早い段階で、提示タイムスタンプがバッファから溢れる可能性もある。そこで、特定の音声／映像形式の組み合わせに対して時間スケールを最適化することにより、より小さな時間スケールを使用することが可能となり、これにより、フレーム間隔を長くして、その分、提示タイムスタンプカウンタの増分数も抑えることができる。本明細書の実施形態は、各メディアアイテム又は特定のメディアアイテム群ごとに時間スケールを最適化することにより、メモリオーバーランエラーが発生しにくい、よりスムーズで信頼性の高い再生体験を視聴ユーザに提供することができる。

【0024】

以下、図１～図２１を参照しながら、種々のテーブル、図、フロー図に関する詳細な説明を行う。図１は、例として、一元的時間スケールが同定され、これがメディアアイテムに適用されるコンピューティング環境１００を示している。図１には、コンピュータシステム１０１を含む、各種電子コンポーネント及び要素が含まれている。コンピュータシステム１０１は、デジタルコンテンツの格納に関連付けられたタスクを実行するために、単独又は他のコンピュータシステムと組み合わせて使用される。コンピュータシステム１０１は、ローカルコンピュータシステム又は分散型（例えば、クラウド）コンピュータシステムを含む、実質的に任意の種類のコンピュータシステムとすることができる。コンピュータシステム１０１は、少なくとも１つのプロセッサ１０２と、少なくともいくつかのシステムメモリ１０３とを備えている。コンピュータシステム１０１は、様々な異なる機能を実行するためのプログラムモジュールを備えている。プログラムモジュールは、ハードウェアベース又はソフトウェアベースとすることができるほか、ハードウェアとソフトウェアの組み合わせを備えることもできる。各プログラムモジュールは、コンピューティングハードウェア、コンピューティングソフトウェア、又はその両方を利用することにより、以下に説明する機能を含む特定の機能を実行する。

【0025】

いくつかの場合において、通信モジュール１０４は、他のコンピュータシステムと通信するように構成される。通信モジュール１０４は、他のコンピュータシステムとの間でデータを受信、送信、又は送受信することが可能な、実質的に任意の有線通信手段又は無線通信手段を備えている。これらの通信手段には、例えば、ハードウェアベースの受信器１０５、ハードウェアベースの送信器１０６、又はデータの受信と送信の両方が可能なハードウェアベースの複合送受信器などのハードウェア無線器が含まれる。無線器は、Ｗｉ－Ｆｉ無線器、セルラー無線器、Bluetooth（登録商標）無線器、又は全地球測位システム（ＧＰＳ）無線器などの種類の無線器とすることができる。通信モジュール１０４は、データベース、モバイルコンピューティングデバイス（携帯電話やタブレット端末など）、又は組み込みコンピューティングシステムなどの種類のコンピューティングシステムと相互作用するように構成されている。

【0026】

また、コンピュータシステム１０１は、確認モジュール１０７をさらに備えている。確認モジュール１０７は、種々のメディアアイテム１２２の現在のフレームレート１２３を特定するように構成される。いくつかの場合において、これらのメディアアイテム１２２は、データストア１２０に保持されている種々の格納済みメディアアイテム１２１から選択される。データストア１２０は、ローカルのデータストアであってもリモートのデータストアであってもよく、分散型（例えばクラウドベース）のデータストアとすることもできる。メディアアイテム１２２は、音声アイテム又は映像アイテムなどの、ユーザデバイス（例えば、ユーザ１１５のデバイス１１６）上で再生を行うための、符号化された任意の種類のメディアアイテムを含むものである。確認モジュール１０７は、これらのメディアアイテム１２２にアクセスして、メディアアイテム１２２の符号化に用いたフレームレート１２３を特定するように構成される。フレームレートは、再生デバイス上に提示するように設計されている１秒当たりのフレーム数を定義するものである。いくつかの場合において、例えば、映像メディアアイテムは、２３．９７フレーム／秒（ｆｐｓ）、２４ｆｐｓ、２５ｆｐｓ、２９．９７ｆｐｓ、３０ｆｐｓ、５９．９４ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、又は３００ｆｐｓのフレームレートで符号化される。音声フレームレートとしては、２３．４３７５ｆｐｓ、３１．２５ｆｐｓなどの符号化フレームレートを挙げることができる。

【0027】

また、確認モジュール１０７は、メディアアイテム１２２と組み合わせて使用する現在の時間スケール１０８も特定する。時間スケールは、１秒当たりの目盛り数（１秒当たりの単位数）で計測される。例えば、時間スケールが１０００の場合、この時間スケールをフレームレート（例えば２４ｆｐｓ）で割った値（１０００／２４＝４１．６６６７ミリ秒）が、フレーム間隔、つまり各フレームが再生デバイス上に表示される時間の長さとなる。多くの異なる時間スケールが、異なる種類のメディアアイテムと組み合わせて使用されることが考えられる。したがって、確認モジュール１０７は、メディアアイテムの符号化フレームレート１２３と、当該メディアアイテムで使用される現在の時間スケール１０８の両方を特定して、各メディアアイテムのフレーム間隔（［時間スケール］／［フレームレート］）を求める。

【0028】

次に、コンピュータシステム１０１の同定モジュール１０９が、メディアアイテム１２２の一元的時間スケール１１０を同定又は計算する。一元的時間スケール１１０は、符号化フレームレート１２３が異なるメディアアイテムにこれを適用することにより、フレーム間隔を一定にするものである。上述したように、非整数値（例えば、４１．６６６７ミリ秒）を整数に丸め続けると、いずれ、フレーム余り、フレーム落ち、空白フレームなどの再生エラーが発生する。このようなエラーは、ユーザの目につきやすく、目の疲れや緊張の原因となるとともに、スムーズでシームレスな再生体験を損なうものである。時間スケール変更モジュール１１１は、識別された一元的時間スケール１１０を受け取って、メディアアイテム１２２うちの１つ以上を変更する。これにより、一元的時間スケール１１０を用いて再生できる状態とされた変更後のメディアアイテム１１２が得られる。よって、ユーザ（例えば、ユーザ１１５）が入力１１７により、ストリーミング又はダウンロードを行うメディアアイテムを（例えば、データストア１２０から）選択すると、選択されたメディアアイテムは、フレーム間隔を一定にする一元的時間スケールに合わせて変更されることになる。フレーム間隔を一定とすることにより、スムーズで信頼性の高い再生が可能となり、空白フレーム、フレーム落ち、フレーム余りなどの目立つ欠陥が解消される。これらの実施形態については、以下の図２の方法２００に関する説明、及び図３～図２１に示す実施形態に関する説明において詳述する。

【0029】

図２は、最適化された時間スケールと正確な提示タイムスタンプをメディアアイテムに対して提供するための、コンピュータで実装される例示的な方法２００を示すフロー図である。図２に示す各ステップは、任意の適切なコンピュータ実行可能コード、図１に示すシステムを含むコンピューティングシステム、又はその両方により実行することができる。一例では、図２に示すステップのそれぞれがアルゴリズムを表しており、このアルゴリズムが、複数のサブステップを含む、及び／又は複数のサブステップによって表される構造を有している。なお、かかるサブステップの例については、下記にて詳述する。

【0030】

図２に示すように、ステップ２１０で、本明細書に記載のシステムのうちの１つ以上が、複数の異なるメディアアイテム（例えば、図１のメディアアイテム１２２）のそれぞれについて、配信用にメディアアイテムを符号化する際に用いた現在の時間スケール１０８を特定することができる。これらのメディアアイテム１２２のうち少なくとも２つは、異なるフレームレートで符号化されている。次に、ステップ２２０で、本明細書に記載のシステムは、これらのメディアアイテム１２２について、メディアアイテム１２２のそれぞれのフレーム間隔を一定にする一元的時間スケール１１０を同定する。次に、ステップ２３０で、システムは、これらのメディアアイテムのうちの少なくとも１つを、現在の時間スケール１０８から同定された一元的時間スケール１１０へと変更し、これにより、変更後のメディアアイテムのフレーム間隔を一定とする。

【0031】

図３及び上述の説明に示すように、音声と映像の再生を同期（例えば、音声と口の動きを同期）するために、映像フレーム及び音声フレームのそれぞれに対して一定の時間間隔でタイムスタンプが付与される。上述したように、タイムスタンプは、Ｘヘルツ（Ｈｚ）の時間スケールを持つクロックで駆動されるカウンタの値を表すＮビットの数値である。なお、復号器（例えば、復号器３０３）は、時間スケール情報や提示タイムスタンプを必ずしも符号化／ストリーミングコンテナ３０１から直接取得する必要があるわけではない。これに代えて、少なくともいくつかの場合において、かかるタイミング情報は、メディア再生／多重分離デバイスにより提供されるか、又はメディア再生／多重分離デバイスにおいて特定される。再生／多重分離器３０２は、実装や制御を容易に行えるようにする一元的時間スケールを求めるためのスケーリング処理を実行することができる。映像復号器３０３、音声復号器３０４、又はその両方は、再生／多重分離器３０２からの時間情報が利用できる場合には、この時間情報を利用する。この時間情報が利用できない場合、音声復号器又は映像復号器は、エレメンタリストリームの時間情報を利用する。そして、いずれの時間情報も利用できない場合に、ハードウェアベースの復号器が、時間情報なしでメディアアイテムの再生を試みる。このように、少なくともいくつかの場合において、再生／多重分離器３０２の時間情報が最優先され、エレメンタリストリームの時間情報は、比較的低い優先順位とされる。

【0032】

提示タイムスタンプは、特定のアクセスユニット（access unit：ＡＵ）が時間的にどこに含まれるかを示すものである。復号器（例えば、復号器３０３又は３０４）は、映像アクセスユニット及び音声アクセスユニットを受信すると、これをそれぞれ復号して、メモリバッファに格納する。そして、基準クロックがタイムスタンプの値に達すると、復号されたアクセスユニットが再生デバイス（例えば、図１の再生デバイス１１６）上にレンダリングされる。アクセスユニットのレンダリングをどのように行うかは、提示タイムスタンプにより制御される。映像のフレームレートは、２３．９７６ｆｐｓ、２４ｆｐｓ、２９．９７ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、５９．９４ｆｐｓ、６０ｆｐｓなど様々に異なる。垂直同期割り込みハンドラ（V-Sync interrupt handler）は、提示タイムスタンプを利用して、対応する音声／映像フレームをレンダリングすべきかどうかを判断する。ここで、アクセスユニットをレンダリングするためのルールとして、Ｔｉを提示デバイスの垂直同期割り込み又は音声シリアル出力割り込みのシステム時間、ＰＴＳ’＝ＰＴＳ＋Δ、Δを許容誤差（Δ≧０）とすると、Ｔｉを下回る提示タイムスタンプ（ＰＴＳ）値を持つ最も近いアクセスユニットを選択することが挙げられる（ＰＴＳ’＜Ｔｉ）。ＰＴＳ’＞Ｔｉの場合には、現在レンダリング中のアクセスユニットが繰り返される。なお、説明を簡略化するため、本明細書における少なくともいくつかの実施形態では、Δ＝０と仮定している。

【0033】

提示タイムスタンプは、シリアル出力割り込みハンドラを使用する音声信号でも同様の役割を果たす。音声周波数は、少なくともいくつかの例では、３２０００Ｈｚ、４８０００Ｈｚ、又は９６０００Ｈｚである。主に高音質の音楽配信の用途では、４４．１ｋＨｚの領域が使用される。しかし、少なくともいくつかの場合において、レンダリング時に映像の垂直同期割り込みと音声のシリアル出力割り込みの位置が揃わない場合がある。したがって、音声と映像を適切に同期させるために、映像の提示タイムスタンプと音声の提示タイムスタンプが共に、同一の時間スケールを持つ共通のクロック（例えば、システム時間）を参照する。一部の実施態様では、音声クロックをシステム時間として利用する場合もある。この方式は、音声マスタＡ／Ｖ同期（audio master A/V sync）方式と呼ばれる場合もある。

【0034】

提示タイムスタンプの精度は、時間スケール（例えば、現在の時間スケール１０８）により規定される。提示タイムスタンプの精度は、(number_of_ticks，time_scale)（［目盛り数］，［時間スケール］）の形式で表示することができる。時間スケールは、１秒当たりの合計目盛り数である。フレーム間隔（すなわち、各フレームが再生デバイス上に提示される持続時間（時間長））は、time_scale/frame_rate（［時間スケール］／［フレームレート］）を計算することにより求められる。図４のテーブル４００は、様々なフレームレート（４０２）で符号化されたメディアアイテムを様々な時間スケール（４０１）で提示した場合の、複数の異なるフレーム間隔を示している。図からわかるように、１０００、９００００、１００００００の時間スケールでは、特にフレームレートが２３．９７ｆｐｓや５９．９４ｆｐｓなどの場合に、フレーム間隔は小数値となる。一方、提示タイムスタンプは整数で示されるため、実際の提示タイムスタンプには、少数部分による丸め誤差が含まれることになる。図５のテーブル５００は、時間スケール値を１０００（１０００ミリ秒に相当）とした場合の、２３．９７ｆｐｓの映像の最初の１０フレームの提示タイムスタンプ値を示している。各フレーム番号０～９（列５０１）には、０から始まるソースタイムスタンプ（列５０２）が対応している。ソースタイムスタンプは、（列５０３に示すように）４１ミリ秒又は４２ミリ秒ごとに進むため、４２～４１ミリ秒の間で変化し続ける不均一なフレーム間隔（列５０４）が得られる。

【0035】

テーブル５００からわかる問題は、最大０．５ミリ秒の丸め誤差の存在がフレームレート変換の正確さ（例えば、フレームレンダリング条件：Ｔｉ＞ＰＴＳ）に影響するという点である。図６のテーブル６００は、レンダリング条件（Ｔｉ＞ＰＴＳ）に従えば、フレーム＃３５（列６０２）を、１４６０ミリ秒から１５００ミリ秒までの３つの垂直同期（V-Sync）スロット（列６０１）に表示する必要があることを示している。しかし、丸め誤差のため、実際には、フレーム＃３４が、１４２０ミリ秒から１４６０ミリ秒までの間に３回表示される（列６０５）。提示タイムスタンプ値を最も近い整数に丸める際には、これと同様の不規則性が生じることから、かかる不規則性は、メディアアイテム全体を再生している間を通じて発生することになる（丸めなしの提示タイムスタンプ値（列６０３）と丸めありの提示タイムスタンプ値（列６０４）との差を確認されたい）。

【0036】

テーブル５００は、フレーム間隔が４１ミリ秒から４２ミリ秒の間でどのように変化するかを示している。この不規則なフレーム間隔により、メディアアイテムのフレームレートに示されている規則性が損なわれてしまう。また、連続タイマーを利用してウェイクアップを行うハードウェア又はソフトウェアを実装することにより、十分な正確さでメディアアイテムのフレームレートでレンダリングを行って、スムーズで信頼性の高い再生を提供することも、この不規則なフレーム間隔のために難しくなる。このように提示タイムスタンプの時間スケールが不正確な場合、フレーム間隔が小数の値となり、（上述のような）多くの問題が生じてしまうが、一元的時間スケールを用いることにより、かかる問題の少なくともいくつかを克服することができる。

【0037】

本明細書に記載の実施形態は、異なる映像フレームレート（例えば、２３．９７ｆｐｓ、２４ｆｐｓ、２５ｆｐｓ、２９．９７ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、５９．９４ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、又は３００ｆｐｓ）に対して一定のフレーム間隔が得られるソリューションを提供するものである（なお、［フレーム間隔］＝［時間スケール］／［フレームレート］である）。少なくともいくつかの実施形態では、これは、メディアアイテムセット内のすべてのフレームレートの最小公倍数（least common multiplier：ＬＣＭ）（例えば、ＬＣＭ（２４，２５，３０，６０，１２０，２４０，２４０００，３００００，６００００））を計算することに相当し得る。この例を計算すると、ＬＣＭ（２４０００，６００００）＝１２００００となる。いくつかの場合において、様々なフレームレートの組み合わせに対するＬＣＭ値を事前に計算しておいた参照テーブル（lookup table）を用意し、この参照テーブルからＬＣＭを取得することもできる。したがって、図７のテーブル７００に示すように、時間スケールを、１０００目盛り／秒、９００００目盛り／秒、又は１００００００目盛り／秒から、１２００００目盛り／秒へと変更する（「時間スケール」行７０１に示す）と、各フレームレートのフレーム間隔（「フレームレート」列に示す）がいずれも整数となる。例えば、２４ｆｐｓで符号化された映像のフレーム間隔は５０００ミリ秒となり、５９．９４ｆｐｓで符号化された映像のフレーム間隔は２００２ミリ秒となり、１２０ｆｐｓで符号化された映像のフレーム間隔は１０００ミリ秒となる。これらのフレーム間隔はいずれも整数値であり、よってフレーム持続時間は一定となる。このようにフレーム継続時間を一定とすることにより、空白フレーム、フレーム落ち、フレームダブり、再生エラーや再生異常などの、再生中にフレーム継続時間が変化する場合に生じる異常が回避される。

【0038】

音声メディアアイテムの場合、ＨＥ－ＡＡＣ符号化方式（HEAAC）のフレームレートは、１フレーム当たり２０４８サンプル又は１０２４サンプルであり、音声サンプリングレートが４８ｋＨｚの場合のフレームレートは、それぞれ２３．４３７５ｆｐｓ、４６．８７５ｆｐｓのとなる。また、ドルビーデジタルアトモス（Dolby Digital Atmos：DDP/Atomos）の場合、１フレーム当たり１５３６サンプルで符号化されるため、３１．２５ｆｐｓで符号化が行われる。図８のテーブル８００は、音声アイテムである点を除けば、図７と同様のテーブルを示している。テーブル８００では、フレームレート（列８０２）が２３．４２７３の場合に、１０００及び１００００００の時間スケール（行８０１）においてフレーム間隔が小数値となっている。しかし、１２００００目盛り／秒の一元的時間スケールを使用すると、フレームレート２３．４２７３ｆｐｓに対するフレーム間隔は５１２０目盛りとなり、フレームレート３１．２５ｆｐｓに対するフレーム間隔は３８４０目盛りとなる。図９のテーブル９００に示すように、３２ｋＨｚの音声サンプリングレートでは、図示のフレームレート（列９０２）及び時間スケール（列９０１）の場合、１０００、９００００、１２００００の時間スケールで、フレーム間隔が一定となる。

【0039】

いくつかの実施形態では、映像アクセスユニットに合わせて４４１００Ｈｚの音声が使用される。この場合、考えられるすべての状況に対応できる時間スケールは、非常に大きな値（１７６４００００）となる。図１０のテーブル１０００には、様々なサンプリングレート（列１００１）を、フレームのサイズ（列１００２）、フレーム間隔（列１００３）、及び様々な時間スケール（列１００４～１００８）とともに示している。テーブル１０００からわかるように、図示の映像／音声形式のうち４４１００Ｈｚの音声を除く形式では、時間スケールを１２００００とするとフレーム間隔が一定となる。一方、音声が４４１００Ｈｚで提供される場合には、テーブル１０００に示すアクセスユニット形式のいずれに対しても一定のフレーム間隔を生成する万能な時間スケールの値は、１７６４００００となる。

【0040】

いくつかの実施形態では、本明細書のシステムは、1組の映像周波数と音声サンプリングレートに重点的に対処する。かかる場合には、以下（１）～（４）を含むアルゴリズムを実装することにより、音声及び映像用に一定のフレーム間隔を生成することができる最小時間スケールを決定することができる。（１）（［音声サンプリングレート］，［フレームのサイズ］）の最大公約数（greatest common divisor：ＧＣＤ）（Ｄ）を求める。例えば、サンプリングレートが４８０００Ｈｚの場合、フレームのサイズは１５３６（ＤＤＰ）及び２０４８（ＨＥ－ＡＡＣ）となるため、Ｄ＝ＧＣＤ（４８０００，１５３６，２０４８）＝１２８となる。（２）Ａ＝［音声サンプリングレート］／Ｄを求める。上記の例ではサンプリングレートが４８０００Ｈｚであるため、Ａ＝４８０００／１２８＝３７５となる。（３）図１１のテーブル１１００から、スケーリング後の映像フレームレートＶを取得する。テーブル１１００には、列１１０１にメディアアイテムの様々なフレームレートを、列１１０２にスケーリング後のフレームレートを示している。（４）［時間スケール］＝ＬＣＭ（Ｖ，Ａ）を求める。例えば、音声周波数を４８０００Ｈｚとすると、図１２のテーブル１２００に示すように、フレームレート（列１２０１）とスケーリング後のフレームレート（列１２０２）を用いて時間スケールを計算することができる。この実施形態では、利用可能なメディアアイテム形式のそれぞれに対して１つの一元的時間スケールを使用している。

【0041】

３３ビットの提示タイムスタンプ（例えば、ＭＰＥＧ１形式又はＭＰＥＧ２形式の場合）には３３ビットが割り当てられているため、少なくともいくつかの実施形態では、時間スケール値が大きくなるほど、３３ビットの符号なし整数にラップアラウンド（桁溢れ）が発生しやすくなると考えらえる。例えば、時間スケールが９００００目盛り／秒の場合、提示タイムスタンプのラップアラウンドが発生する（つまり、メモリバッファをオーバフローする）までに約２６時間かかることになる。また、１２００００目盛り／秒の時間スケールを用いた場合には、提示タイムスタンプのラップアラウンドが発生するまでに約１９時間かかることになる。しかし、時間スケールが１７６４００００目盛り／秒の場合には、約８分しかかからない。よって、少なくともいくつかの実施形態では、４４．１ｋＨｚの音声と組み合わせる特定の映像フレームレートごとに、時間スケールを計算することが好ましい場合がある。４４．１ｋＨｚの音声の場合、図１３のテーブル１３００の列１３０３に示されているように、Ａ＝１１０２５となる。テーブル１３００には、他のフレームレート（列１３０１）、スケーリング後のフレームレート（列１３０２）、時間スケール値（列１３０３）も示している。

【0042】

提示タイムスタンプは、整数値の固定ビット数で示される。そのため、上述したように、提示タイムスタンプが単調増加すると、いずれ、提示タイムスタンプの（例えば、３３ビットの）メモリバッファから提示タイムスタンプの値が溢れるラップアラウンドが発生する。一実施形態では、３２ビットのフィールドで定義されるＡＶ１により、オプションのタイミング情報コンテナを提供する。４８ｋＨｚの音声では、上述のアルゴリズムを実装することにより、テーブル１２００に示す時間スケール値（列１２０３）と、これに対応する３２ビットの符号なし値に対するラップアラウンド発生までの時間（以下、ラップアラウンド時間）とが求められる。因みに、時間スケールが９００００目盛り／秒で３２ビットを使用する場合のラップアラウンド時間は約１３時間となる。ラップアラウンド時間の最適化を目的とする実施形態では、映像フレームレートに基づいて最適化された時間スケールが選択される。よって、図１４のテーブル１４００に示す時間スケール（列１４０３）を使用することにより、選択した各フレームレート１４０１とそのスケーリング後のフレームレート１４０２に対するラップアラウンド時間１４０４が示される。

【0043】

いくつかの実施形態では、フレーム落ちや再生中のフリーズを避けるために、より分解能の高い提示タイムスタンプを用いることもできる。復号器又はシステムに入力される提示タイムスタンプの分解能が低い場合には、式ＰＴＳ’＝ＰＴＳ＊ＴＳ’／ＴＳを用いたスケーリング手法により、提示タイムスタンプを或る時間スケール（ＴＳ）から別の時間スケール（ＴＳ’）に変換することができる。しかし、少なくともいくつかの場合において、提示タイムスタンプの精度を回復するのが難しい場合もある。例えば、図１５のテーブル１５００に示すように、ＴＳ＝１０００とし、ＴＳ’＝１００００００とする。図１５から分かるように、各フレーム＃（列１５０１）に対して、ＰＴＳ（列１５０２）が、スケーリング後の提示タイムスタンプ（列１５０３）、ネイティブ提示タイムスタンプ（列１５０４）と併せて示されている。これらの各フレームには、結果として丸め誤差（列１５０５）が生じている。フレームレートに基づいた最小フレーム間隔が一定となることをシステムは知っているため、提示タイムスタンプのフレーム間隔は、最小フレーム間隔（Ｄ）又は最小フレーム間隔の倍数（Ｎ×Ｄ）となる。例えば、時間スケールが１２００００の場合、２３．９７ｆｐｓのフレームレートに対する最小フレーム間隔Ｄは、目盛り５００５個分となる。そして、図１６の実施形態１６００に示すように、実際のフレーム間隔は目盛り５００５個分又は目盛り（５００５の倍数）個分となるはずである。図１６には、最小の間隔（Ｄ）をフレーム１６０１とフレーム１６０２の間隔として示すとともに、ＤのＮ倍の間隔（フレーム１６０２とフレーム１６０３の間に示す「１００１０」の間隔）も示している。

【0044】

いくつかの実施形態では、提示タイムスタンプを最適化（リマスタリング）するアルゴリズムを実装することもできる。この例では、１フレーム目の提示タイムスタンプをＰＴＳ_ｉｎ０とし、第１のＰＴＳ_ｏｕｔ０に対してスケーリングを行う。なお、ＰＴＳ_ｏｕｔ０＝ＰＴＳ_ｉｎ０＊ＴＳ_ｏｕｔ／ＴＳ_ｉｎである。

【0045】

このアルゴリズムは、以下の（１）～（３）のステップを含むことができる。（１）フレームレート（Ｆ）と入力時間スケール（ＴＳ_ｉｎ）及び出力時間スケール（ＴＳ_ｏｕｔ）とに基づいてフレーム間隔（Ｄ_ｉｎ／Ｄ_ｏｕｔ）を求める。なお、Ｄ_ｉｎ＝ＴＳ_ｉｎ／Ｆ、Ｄ_ｏｕｔ＝ＴＳ_ｏｕｔ／Ｆである。（２）現在のＰＴＳ_ｉｎに基づき、丸め関数Ｉ＝ｒｏｕｎｄ（（ＰＴＳ_ｉｎ－ＰＴＳ_ｉｎ０）／Ｄ_ｉｎ）を用いてフレームインデックス（Ｉ）を取得する。（３）最適化（リマスタリング）後の提示タイムスタンプを、ＰＴＳ_ｏｕｔ＝Ｉ＊Ｄ_ｏｕｔ＋ＰＴＳ_ｏｕｔ０とする。

【0046】

ＰＴＳ_ｉｎが０から始まる場合には、上記のアルゴリズムにより（少なくともいくつかの場合において完璧に）実質的にどのような分解能の提示タイムスタンプも復元することができる。一方、ＰＴＳ_ｉｎが０から始まらない場合には、定数の初期オフセット値が存在し、これがＰＴＳ_ｏｕｔ０からすべてのＰＴＳ_ｏｕｔに伝播している可能性がある。図１７のテーブル１７００には、各フレーム＃（列１７０１）と、提示タイムスタンプ値（列１７０２）と、リマスタリング後の提示タイムスタンプ値（列１７０３）と、ネイティブ提示タイムスタンプ値（列１７０４）とが示されており、図示のとおり、各フレーム＃のリマスタリング後の提示タイムスタンプの丸め誤差（列１７０５）はゼロである。リマスタリング後の提示タイムスタンプ値の丸め誤差がゼロであるということは、各リマスタリング後の提示タイムスタンプ値により得られるフレーム間隔が、与えられた適切な出力時間スケールで一定となることを示しているため、フレーム間隔が変動してしまうという問題が確認されているメディアアイテムの問題を軽減することができる。

【0047】

他の実施形態では、一元的時間スケールを基礎にして可変フレームレートストリーミングを行う。可変フレームレートストリーミングの使用が考えられる状況は複数ある。例えば、映像セグメント間でフレームレートが異なっているケースが考えられる。この場合、一元的時間スケールを用いることにより、シームレスにフレームレートを切り替えて、黒い画面などの空白画面が表示されるのを回避することができる。このケースでは、ラップアラウンド時間を最適化するなどのために、映像セグメント間で時間スケールが異なっている。他の実施形態は、可変リフレッシュレート（variable refresh rate：ＶＲＲ）コンテンツのキャプチャ及びストリーミングを行う場合である。このケースは、符号化を行うソース側の利用事例であり、様々なフレームレート間で時間スケールを統一させる必要がある。このケースでは、ＶＲＲコンテンツのキャプチャ及びストリーミングの時間スケールとしてテーブル７００の１２００００目盛り／秒の時間スケールを実装する。これは、時間スケールを１２００００目盛り／秒とすることにより、テーブル７００に示す各フレームレートに対するフレーム間隔が整数値となるためである。

【0048】

１つ目のケースでは、提示タイムスタンプは、（［目盛り値］，［時間スケール］）の組で与えられる。したがって、フレームレートがＦ_０からＦ_１に変化する状況下でクライアント再生デバイス上でのレンダリングを行うために、一元的時間スケール（ＴＳ_ｏｕｔ）に基づいた提示タイムスタンプ情報を提供するアルゴリズムとして、本明細書の実施形態では、以下のアルゴリズムを規定する。この例では、まず、１フレーム目の提示タイムスタンプをｔｉｃｋ_ｉｎ０、ＴＳ_ｉｎ＝ＴＳ_ｉｎ０、Ｆ＝Ｆ_０とし、第１のｔｉｃｋ_ｏｕｔ０に対してスケーリングを行う。なお、ｔｉｃｋ_ｏｕｔ０＝ｔｉｃｋ_ｉｎ０＊ＴＳ_ｏｕｔ／ＴＳ_ｉｎである。次に、システムは以下の（１）～（４）のルーチンを利用して、（［目盛り値］，［時間スケール］）を一元的時間スケールの新たな目盛り値へと変換する。（１）フレームレート（Ｆ）と入力時間スケール（ＴＳ_ｉｎ）及び出力時間スケール（ＴＳ_ｏｕｔ）とに基づいてフレーム間隔（Ｄ_ｉｎ／Ｄ_ｏｕｔ）を求める。なお、Ｄ_ｉｎ＝ＴＳ_ｉｎ／Ｆ、Ｄ_ｏｕｔ＝ＴＳ_ｏｕｔ／Ｆである。（２）現在のｔｉｃｋ_ｉｎに基づき、丸め関数Ｉ＝ｒｏｕｎｄ（（ｔｉｃｋ_ｉｎ－ｔｉｃｋ_ｉｎ０）／Ｄ_ｉｎ）を用いてフレームインデックス（Ｉ）を取得する。（３）リマスタリング後の目盛り値を、ｔｉｃｋ_ｏｕｔ＝Ｉ＊Ｄ_ｏｕｔ＋ｔｉｃｋ_ｏｕｔ０とする。（４）フレームレートが変化して（Ｆ≠Ｆ_１）、新たな時間スケール（ＴＳ_ｉｎ１）に更新（ＴＳ_ｉｎ≠ＴＳ_ｉｎ）されると、ＴＳ_ｉｎ＝ＴＳ_ｉｎ１、ｔｉｃｋ_ｉｎ０＝ｔｉｃｋ_ｏｕｔ＊ＴＳ_ｉｎ／ＴＳ_ｏｕｔ、ｔｉｃｋ_ｏｕｔ０＝ｔｉｃｋ_ｏｕｔ、Ｆ＝Ｆ_１と設定する。

【0049】

このように、上述のアルゴリズムによれば、映像セグメント間で時間スケールが異なっている場合でも、入力された提示タイムスタンプが、より正確な一元的時間スケールの提示タイムスタンプへと変換される。上記のプロセスは、少なくともいくつかの実施形態では、クライアント再生デバイス上で符号化を行った後に実行されるため、当該プロセスでは、ラップアラウンドを監視する必要なしに、より精度の高い（例えば、６４ビットの精度の）時間スケールを一元的時間スケールに使用することができる。このため、少なくともいくつかの実施形態では、１２００００目盛り／秒の時間スケールが最適な選択となる。

【0050】

上述の図１及び図２を参照した説明で述べたように、様々な異なるメディアアイテム（例えば、メディアアイテム１２２）のそれぞれについて、配信用にメディアアイテムを符号化する際に用いた現在の時間スケール１０８を特定するように構成された方法及びシステムを提供することができる。また、これらの方法及びシステムは、当該異なるメディアアイテムについて、メディアアイテムのそれぞれのフレーム間隔を一定とする一元的時間スケール１１０を同定又は計算し、当該異なるメディアアイテムのうちの少なくとも１つを、現在の時間スケール１０８から同定された一元的時間スケール１１０へと変更し、これにより、変更後のメディアアイテム１１２のフレーム間隔を一定とするようにも構成される。いくつかの場合では、当該異なるメディアアイテムは、異なるフレームレート（例えば、２３．９７フレーム／秒、２４フレーム／秒、２５フレーム／秒、２９．９７フレーム／秒、３０フレーム／秒、５９．９４フレーム／秒、６０フレーム／秒、１２０フレーム／秒、２４０フレーム／秒、又は３００フレーム／秒）で符号化された映像メディアアイテムであり、他の場合には、当該異なるメディアアイテムは、異なるフレームレート（例えば、１フレーム当たり１０２４サンプル、１５３６サンプル、又は２０４８サンプルのフレームレート）を有する音声メディアアイテムである。いくつかの例では、当該異なるメディアアイテムは、再生中にシーンの順序に影響を与えるような決定をユーザ側で行うことが可能なインタラクティブなメディアアイテムである。

【0051】

いくつかの実施形態では、特定のメディアアイテム群が選択される。このメディアアイテム群には、映像アイテム、音声アイテム、又はそれらの組み合わせを含めることができる。メディアアイテム群内の少なくともいくつかのメディアアイテムは、少なくとも本例では、指定された様々な映像フレームレート及び／又は音声フレームレートを有している。かかる場合には、当該メディアアイテム群のフレームレートの最大範囲が既知（例えば、２４ｆｐｓ～６０ｆｐｓの範囲）とされる。よって、図１に示す同定モジュール１０９が、計算などによって一元的時間スケール１１０を同定する場合に、多くのフレームレート候補（この場合、６０ｆｐｓを上回るフレームレートや２４ｆｐｓを下回るフレームレート）を検討する必要がなくなり、２４～６０ｆｐｓのフレームレートだけに集中することができる。したがって、同定モジュール１０９は、音声アイテム及び／又は映像アイテムからなる当該メディアアイテム群専用に最適化された一元的時間スケール１１０を、計算などにより同定することができる。かかる場合、音声アイテム及び／又は映像アイテムからなる他のメディアアイテム群に比べて最小公倍数を格段に小さくすることができるため、１秒当たりの目盛り数の少ない一元的時間スケール１１０でも、様々なフレームレート（本例では２４～６０ｆｐｓのフレームレート）に対するフレーム間隔を一定にすることができる。１秒あたりの目盛り数を減らすことで、単調増加する提示タイムスタンプ値のラップアラウンド時間が短くなり、提示タイムスタンプがメモリバッファから溢れてしまう可能性を低減することができる。そして、選択されたメディアアイテム群の一元的時間スケール１１０が特定されると、時間スケール変更モジュール１１１が、メディアアイテム群内のメディアアイテムに対して新たな提示タイムスタンプを生成することにより、これらのメディアアイテムを一元的時間スケール１１０に合わせて変更する。

【0052】

いくつかの実施形態では、提示タイムスタンプが単調増加する場合、一元的時間スケールで使用する単位数（すなわち、１秒当たりの目盛りの数）は、メディアアイテムのラップアラウンド時間を最大化するように選択される。少なくともいくつかの場合において、ラップアラウンド時間を最大化するには、一元的時間スケール１１０の単位数として、各メディアアイテムのフレーム間隔を一定にすることが可能な最小の単位数を選択する必要がある。単位数が小さくなるほど、単調増加する提示タイムスタンプ値の増加速度を下げることができる。このように単調増加の速度を下げることにより、ラップアラウンド時間に到達するまでに要する時間を最大化することができる。いくつかの場合では、メディアアイテム群内のメディアアイテムのラップアラウンド時間を最大化するために選択される単位数は、群内の映像アイテムの映像フレームレートに基づいて選択され、他の場合には、メディアアイテム群内のメディアアイテムのラップアラウンド時間を最大化するために選択される単位数は、群内の音声アイテムの音声フレームレートに基づいて選択される。

【0053】

いくつかの場合において、同定された一元的時間スケール１１０は、提示タイムスタンプ間隔を含んでいる。提示タイムスタンプ間隔は、一定である最小フレーム間隔とは異なる場合がある。提示タイムスタンプ間隔は、最小フレーム間隔又は最小フレーム間隔の倍数で構成される。図１６に示すように、例えば、フレーム１６０１とフレーム１６０２の間隔は５００５ミリ秒であり、これはフレーム１６０１とフレーム１６０２の間の最小フレーム間隔を表している。一方、フレーム１６０２と１６０３の間のフレーム間隔は５００５の倍数（この場合、５００５×２ミリ秒、つまり１００１０ミリ秒）である。いくつかの場合において、提示タイムスタンプ間隔を、指定された分解能に復元（リマスタリング）することもできる。かかる場合には、一定である最小フレーム間隔又は最小フレーム間隔の倍数を提示タイムスタンプ間隔として求め、これをメディアアイテムに適用する。したがって、リマスタリング処理は、一定のフレーム間隔を特定するステップと、特定した一定のフレーム間隔を利用して、入力された時間分解能（例えば、ミリ秒、マイクロ秒、ナノ秒など）を、スケーリング後の提示タイムスタンプ間隔と丸め誤差のないネイティブ提示タイムスタンプ間隔とが一致するように変更することにより、他の時間分解能を出力するステップとを含む。そして、リマスタリング後の提示タイムスタンプ間隔が、メディアアイテムの各フレームに適用される。したがって、図１７に示すように、リマスタリング後の提示タイムスタンプ（列１７０３）は、ネイティブ提示タイムスタンプ（列１７０４）と等しい提示タイムスタンプ間隔を有しており、したがって、フレーム飛び、フレーム余り、空白フレームなどの再生エラーにつながる恐れのある丸め誤差（列１７０５）が解消されている。

【0054】

いくつかの実施形態では、一定のフレーム間隔を維持しながら、複数のメディアアイテムを可変フレームレートでストリーミングすることを可能にする一元的時間スケール１１０を同定することもできる。いくつかの場合において、同一メディアアイテム内でフレームレートが切り替えられる場合がある。例えば、メディアアイテムがインタラクティブな映像である場合、サーバ（配信）側で、映像の一部に対して異なるフレームレートで符号化を施している可能性がある。かかる場合には、サーバが、ユーザの再生デバイス（例えば、再生デバイス１１６）上で再生を行うためにインタラクティブメディアアイテムを提供する際には、これらの異なるフレームレートで提供が行なわれることになる。この場合、再生デバイス１１６は、可変フレームレートでメディアアイテムをストリーミングすることができる一元的時間スケール１１０の計算、適用、又はその両方を行う。この一元的時間スケールにより、インタラクティブメディアアイテムなどの異なるフレームレートで符号化されたメディアアイテムのフレーム間隔も含めて、提供されたメディアアイテムのフレーム間隔が一定となる。したがって、かかる実施形態では、一元的時間スケールを使用して一定のフレーム間隔を維持しながら、フレームレートの異なるメディアアイテムを可変フレームレートでストリーミングすることができる。また同様に、少なくともいくつかの実施形態では、可変リフレッシュレートを使用してキャプチャされた映像コンテンツを有するメディアアイテムについても、（サーバからの）ストリーミングを可変フレームレートで行いながら、再生は一元的時間スケール１１０を使用して一定のフレーム間隔で行うことができる。

【0055】

いくつかの場合において、一元的時間スケール１１０を同定又は計算するステップは、時間スケールの異なる様々なメディアアイテムから得られる、入力された提示タイムスタンプを、一元的時間スケールに基づいた提示タイムスタンプに変換するステップを含んでいる。この点については、上述の図１７において、リマスタリング後の提示タイムスタンプ値が、元々はあった丸め誤差が解消されるように工夫されているため、ネイティブ提示タイムスタンプ値と等しくなることが示されているが、この図１７に概ね示されている。いくつかの例では、入力された提示タイムスタンプから得られる、これら変換後の提示タイムスタンプを使用することにより、提示タイムスタンプカウンタのラップアラウンドの回避、又は少なくともラップアラウンドが発生するまでの時間の延長を行うことができる。ラップアラウンドの発生を抑えることは、ひいては、再生エラーの追加発生を起こさずにラップアラウンドをスムーズに処理するために講じる必要のある様々な措置を削減することにもつながる。したがって、このようにして、一元的時間スケールを提供することにより、メディアアイテムの再生時に各フレームのフレーム間隔が同一となるようにすることができる。しかも、ソース側の符号化がメディアアイテム内において同一のフレームレートで行われる場合、ソース側の符号化フレームレートがメディアアイテム内において変化している場合のいずれの場合にも行うことができる。時間間隔を一定とすることにより、再生に伴う一般的な問題の多くを避けることができるため、よりスムーズで信頼性の高い（つまり、より楽しい）メディア再生体験をユーザに提供することができる。

【0056】

いくつかの実施形態では、これに対応するシステムが提供される。当該システムは、少なくとも１つの物理プロセッサと、コンピュータ実行可能命令を含む物理メモリと、を備える。コンピュータ実行可能命令は、物理プロセッサによって実行された場合に、以下のステップ：複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、を物理プロセッサに実行させる。

【0057】

他の実施形態では、非一時的なコンピュータ可読媒体が提供される。当該コンピュータ可読媒体は、１つ以上のコンピュータ実行可能命令を含み、コンピュータ実行可能命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行された場合に、以下のステップ：複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、をコンピューティングデバイスに実行させる。

【0058】

以下では、図１９を参照して、エンドノードにコンテンツの提供が行われ、コンテンツ要求リクエストが特定のエンドノードに案内される例示的なエコシステムについて、詳細に説明する。図２０及び図２１に関する説明は、再生セッション中に使用される例示的な配信インフラと例示的なコンテンツプレーヤの概要をそれぞれ示している。これらの例示的なエコシステム及び配信インフラは、上述の図１～図１８を参照した説明で述べた実施形態のうちのいずれかで実装される。

【0059】

図１９は、コンテンツプレーヤ１９２０と通信を行う配信インフラ１９１０を備えるコンテンツ配信エコシステム１９００のブロック図である。いくつかの実施形態では、配信インフラ１９１０は、特定のデータレートでデータを符号化して、符号化を施したデータをコンテンツプレーヤ１９２０に伝送するように構成されている。コンテンツプレーヤ１９２０は、符号化を施したデータを、配信インフラ１９１０を介して受信し、このデータを復号してユーザに向けて再生するように構成されている。配信インフラ１９１０が提供するデータには、例えば、音声、映像、テキスト、画像、アニメーション、インタラクティブコンテンツ、触覚データ、仮想（拡張）現実データ、位置データ、ゲームデータなどの、ストリーミングにより提供が行われるような種類のデータが含まれる。

【0060】

配信インフラ１９１０は、コンテンツをエンドユーザに配信するように構成された、任意のサービス、ハードウェア、ソフトウェアなどの、インフラコンポーネントを広く表している。例えば、配信インフラ１９１０は、コンテンツ集約（content aggregation）システム、メディアの符号化変換・パッケージ化（media transcoding and packaging）サービス、ネットワークコンポーネントなどの様々な種類のハードウェア及びソフトウェアのうちの少なくとも１つ以上を備えている。いくつかの場合において、配信インフラ１９１０は、非常に複雑な配信システム、又はメディアサーバ若しくはメディアデバイス単体、又はその中間の態様で実装される。いくつかの例では、サイズや複雑さに関係なく、配信インフラ１９１０は、少なくとも１つの物理プロセッサ１９１２と、少なくとも１つのメモリデバイス１９１４とを備えている。メモリ１９１４には、１つ以上のモジュール１９１６の格納又はロードが行われ、これにより、本明細書において説明するような適応ストリーミングが可能となる。

【0061】

コンテンツプレーヤ１９２０は、配信インフラ１９１０を介して提供された音声及び／又は映像コンテンツを再生する機能を有する任意の種類又は形態のデバイス又はシステムを広く表している。コンテンツプレーヤ１９２０の例としては、携帯電話、タブレット端末、ノート型コンピュータ、デスクトップ型コンピュータ、テレビ、セットトップボックス、デジタルメディアプレーヤ、仮想現実ヘッドセット、拡張現実メガネなどの、デジタルコンテンツのレンダリング機能を有する任意の種類又は形態のデバイスが挙げられるが、これらに限定されるものではない。配信インフラ１９１０と同様に、コンテンツプレーヤ１９２０も、物理プロセッサ１９２２と、メモリ１９２４と、１つ以上のモジュール１９２６とを備えている。本明細書に記載の適応ストリーミング処理の一部又はすべての実行又は有効化は、モジュール１９２６が行うとともに、いくつかの例では、配信インフラ１９１０のモジュール１９１６がコンテンツプレーヤ１９２０のモジュール１９２６と連携して、デジタルコンテンツの適応ストリーミングを行う。

【0062】

特定の実施形態では、図１９に示すモジュール１９１６、１９２６のうちの１つ以上が、１つ以上のソフトウェアアプリケーション又はプログラムを表している。かかるソフトウェアアプリケーション又はプログラムは、コンピューティングデバイスによって実行された場合に、コンピューティングデバイスに１つ以上のタスクを実行させるものである。例えば、以下でさらに詳述するように、モジュール１９１６、１９２６のうちの１つ以上が、１つ以上の汎用コンピューティングデバイス上で実行されるように格納及び構成されたモジュールを表している。また、図１９に示すモジュール１９１６、１９２６のうちの１つ以上は、１つ以上のタスクを実行するように構成された１つ以上の専用コンピュータ全体又はその一部も表している。

【0063】

さらに、本明細書に記載のモジュール、プロセス、アルゴリズム、又はステップのうちの１つ以上が、データ、物理デバイス、物理デバイスの表現、又はそのいずれかの組み合わせについて、その形態を変換するものである。例えば、本明細書に記載のモジュールのうちの１つ以上は、符号化すべき音声データを受信し、音声データを符号化することにより変換し、符号化結果を適応音声ビットレートシステム用に出力し、コンテンツプレーヤに変換結果を送信し、変換されたデータをレンダリングしてエンドユーザの視聴に供する。これに加えて又は代えて、本明細書に記載のモジュールのうちの１つ以上は、物理コンピューティングデバイス上で実行される、物理コンピューティングデバイス上にデータを格納するなどの方法により、物理コンピューティングデバイスと相互作用することによって、当該物理コンピューティングデバイスの、プロセッサ、揮発性メモリ、不揮発性メモリなどの任意の部分の形態を変換する。

【0064】

物理プロセッサ１９１２、１９２２は、コンピュータ可読命令の解釈、実行、又はその両方を行う機能を有する任意の種類又は形態のハードウェア実装処理ユニットを広く表している。一例では、物理プロセッサ１９１２が、モジュール１９１６のうちの１つ以上に対するアクセス、変更、又はその両方を行い、物理プロセッサ１９２２が、モジュール１９２６のうちの１つ以上に対するアクセス、変更、又はその両方を行う。これに加えて又は代えて、物理プロセッサ１９１２、１９２２は、モジュール１９１６、１９２６のうちの１つ以上を実行して、デジタルコンテンツの適応ストリーミングの支援を行う。物理プロセッサ１９１２、１９２２の例としては、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、これらのうちの１つ以上の一部、これらのうちの１つ以上の変化形又は組み合わせなどの任意の適切な物理プロセッサが挙げられるが、これらに限定されるものではない。

【0065】

メモリ１９１４、１９２４は、データ、コンピュータ可読命令、又はその両方を記憶する機能を有する、任意の種類又は形態の揮発性又は不揮発性の記憶デバイス又は記憶媒体を広く表している。一例では、メモリ１９１４、１９２４は、モジュール１９１６、１９２６のうちの１つ以上の格納、ロード、保持、又はそのいずれかの組み合わせを行う。メモリ１９１４、１９２４の例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、これらのうちの１つ以上の変化形又は組み合わせなどの任意の適切なメモリデバイス又はメモリシステムが挙げられるが、これらに限定されるものではない。

【0066】

図２０は、特定の実施形態に係るコンテンツ配信インフラ１９１０の例示的なコンポーネントを示すブロック図である。配信インフラ１９１０は、記憶装置２０１０と、サービス２０２０と、ネットワーク２０３０とを含む。記憶装置２０１０は、エンドユーザに配信するためのコンテンツを格納する機能を有する任意のデバイス、デバイスセット、システム、又はそのいずれかの組み合わせを広く表している。記憶装置２０１０は、テラバイト又はペタバイトのデータを格納する機能を有するデバイスを備えた中央リポジトリを備える。また、これに代えて又は加えて、記憶装置２０１０は、分散記憶システム（例えば、インターネットで相互接続された場所においてコンテンツのミラーリング（キャッシュ格納）を行うことにより、特定の地域内においてミラーリングにより複製されたコンテンツに対する高速アクセスを提供する機器）を備える。また、記憶装置２０１０を、任意の他の適切な方法で構成することもできる。

【0067】

図示しているように、記憶装置２０１０は、コンテンツ２０１２、ユーザデータ２０１４、ログデータ２０１６、又はそのいずれかの組み合わせを含む、様々な互いに異なるアイテムを格納することができる。コンテンツ２０１２は、テレビ番組、映画、ビデオゲーム、ユーザが作成したコンテンツなどの任意の適切な種類又は形態のコンテンツ、又はそのいずれかの組み合わせを含む。ユーザデータ２０１４は、個人情報（personally identifiable information：ＰＩＩ）、支払い情報、お気に入り設定（preference settingｓ）、言語及びアクセシビリティの設定などの、特定のユーザ又はコンテンツプレーヤに関連付けられた情報、又はそのいずれかの組み合わせを含む。ログデータ２０１６は、閲覧履歴情報、ネットワークスループット情報などの、ユーザによる配信インフラ１９１０への接続又は相互作用に関連付けられた指標、又はそのいずれかの組み合わせを含む。

【0068】

サービス２０２０は、個人向けカスタマイズ（personalization）サービス２０２２、符号化変換サービス２０２４、パッケージ化サービス２０２６、又はそのいずれかの組み合わせを含む。個人向けカスタマイズサービス２０２２は、お勧め情報（recommendation）、コンテンツストリームなどの、配信インフラ１９１０を利用するユーザのユーザ体験要素の個人向けカスタマイズを行う。符号化変換サービス２０２４は、複数の異なるビットレートでメディアの圧縮を行う。以下でより詳細に説明するように、これにより、異なる符号化方式の間をリアルタイムに切り替えることが可能となる。パッケージ化サービス２０２６は、符号化を施した映像のパッケージ化を行う。パッケージ化を終えると、ネットワーク２０３０などの配信ネットワーク上にストリーミング用の映像が展開される。

【0069】

ネットワーク２０３０は、通信又はデータ転送を支援する機能を有する任意の媒体やアーキテクチャを広く表している。ネットワーク２０３０は、無線接続、有線接続、又はその両方を利用して通信又はデータ転送の支援を行う。ネットワーク２０３０の例としては、イントラネット、広域ネットワーク（wide area network：ＷＡＮ）、ローカルエリアネットワーク（local area network：ＬＡＮ）、パーソナルエリアネットワーク（personal area network：ＰＡＮ）、インターネット、電力線通信（power line communications：ＰＬＣ）、セルラーネットワーク（例えば、ＧＳＭ（Global System for Mobile Communications）規格のネットワーク）、これらのうちの１つ以上の一部、これらのうちの１つ以上の変化形又は組み合わせなどの任意の適切なネットワークが挙げられるが、これらに限定されるものではない。例えば、図２０に示すように、ネットワーク２０３０は、インターネット基幹回線網（Internet backbone）２０３２、インターネットサービスプロバイダ網２０３４、ローカルネットワーク網２０３６、又はそのいずれかの組み合わせを含む。詳細は後述するが、これらのネットワークセグメントのうちの１つ以上に、帯域幅の制限やボトルネックが発生すると、これが引き金となり、映像及び／又は音声のビットレート調整が行われる。

【0070】

図２１は、図１９に示すコンテンツプレーヤ１９２０の例示的な実装態様のブロック図である。コンテンツプレーヤ１９２０は、コンピュータ実行可能命令の読み取り機能を有する任意の種類又は形態のコンピューティングデバイスを広く表している。コンテンツプレーヤ１９２０としては、ノート型コンピュータ、タブレット端末、デスクトップ型コンピュータ、サーバ、携帯電話、マルチメディアプレーヤ、組み込みシステム、ウェアラブルデバイス（例えば、スマートウォッチ、スマートグラスなど）、スマートビークル、ゲーム機、スマート家電などのＩｏＴ（Internet of Things）デバイス、これらのうちの１つ以上の変化形又は組み合わせなどの任意の適切なコンピューティングデバイスが挙げられるが、これらに限定されるものではない。

【0071】

図２１に示すように、コンテンツプレーヤ１９２０は、プロセッサ１９２２とメモリ１９２４に加え、通信インフラ２１０２とネットワーク接続２１２４に結合された通信インタフェース２１２２とをさらに備えている。また、コンテンツプレーヤ１９２０は、グラフィックスデバイス２１２８に結合されたグラフィックスインタフェース２１２６と、入力デバイス２１３６に結合された入力インタフェース２１３４と、記憶デバイス２１４０に結合された記憶装置インタフェース２１３８とをさらに備えている。

【0072】

通信インフラ２１０２は、コンピューティングデバイスの１つ以上のコンポーネント間における通信を支援する機能を有する任意の種類又は形態のインフラを広く表している。通信インフラ２１０２の例としては、任意の種類又は形態の通信バス（例えば、周辺機器相互接続（peripheral component interconnect：ＰＣＩ）バス、ＰＣＩエクスプレス（PCI Express：ＰＣＩｅ）バス、メモリバス、フロントサイドバス、ＩＤＥ（Integrated Drive Electronics）バス、制御バス又はレジスタバス、ホストバスなど）が挙げられるが、これらに限定されるものではない。

【0073】

上述したように、メモリ１９２４は、データ、他のコンピュータ可読命令、又はその両方を記憶する機能を有する、任意の種類又は形態の揮発性又は不揮発性の記憶デバイス又は記憶媒体を広く表している。いくつかの例では、メモリ１９２４は、プロセッサ１９２２により実行されるオペレーティングシステム２１０８の格納、ロード、又はその両方を行う。一例では、オペレーティングシステム２１０８は、コンピュータのハードウェア及びソフトウェアリソースの管理、コンテンツプレーヤ１９２０上のコンピュータプログラム及び／若しくはアプリケーションへの共通サービスの提供、又はその両方を行うソフトウェアを含み、並びに／又は表すものである。

【0074】

オペレーティングシステム２１０８は、ハードウェアコンポーネント（例えば、グラフィックスインタフェース２１２６、音声インタフェース２１３０、入力インタフェース２１３４、及び／又は記憶装置インタフェース２１３８）の管理などの様々なシステム管理機能を実行する。また、オペレーティングシステム２１０８は、再生アプリケーション２１１０のプロセス及びメモリの管理モデルの提供も行う。再生アプリケーション２１１０のモジュールには、例えば、コンテンツバッファ２１１２と、音声復号器２１１８と、映像復号器２１２０とが含まれる。

【0075】

再生アプリケーション２１１０は、通信インタフェース２１２２を介してデジタルコンテンツを取得し、グラフィックスインタフェース２１２６を介してデジタルコンテンツを再生するように構成されている。グラフィックスインタフェース２１２６は、レンダリングされた映像信号をグラフィックスデバイス２１２８に送信するように構成されている。通常動作では、まず、特定のタイトル又は特定のコンテンツの再生を要求するユーザからのリクエストを、再生アプリケーション２１１０が受信する。すると、再生アプリケーション２１１０は、リクエストで要求されたタイトル（以下、リクエストタイトル）に関連付けられた１つ以上の符号化された映像ストリーム及び音声ストリームを同定する。再生アプリケーション２１１０が、リクエストタイトルに関連付けられた符号化ストリームの場所を特定すると、次に、再生アプリケーション２１１０は、リクエストタイトルに関連付けられた符号化ストリームのそれぞれに関連付けられたシーケンスヘッダインデックスを、配信インフラ１９１０からダウンロードする。符号化コンテンツに関連付けられたシーケンスヘッダインデックスには、当該符号化コンテンツに含まれるデータの符号化シーケンスに関連する情報が含まれている。

【0076】

一実施形態では、再生アプリケーション２１１０は、リクエストタイトルに関連付けられたコンテンツのシーケンスデータをダウンロードすることから当該コンテンツのダウンロードを開始する。なお、再生の立ち上がり時間を最小限に抑えるため、シーケンスデータは、最低の音声及び／又は映像再生ビットレートで符号化されている。そして、リクエストで要求されたデジタルコンテンツファイルを、コンテンツバッファ２１１２にダウンロードする。コンテンツバッファ２１１２は、先入れ先出しキューとして機能するように構成される。一実施形態では、データは、映像データの１単位又は音声データの１単位を含むデータ単位ごとにダウンロードされる。リクエストで要求されたデジタルコンテンツファイルに関連付けられた映像データについて、数単位の映像データ単位がコンテンツプレーヤ１９２０にダウンロードされると、これらの映像データ単位がコンテンツバッファ２１１２にプッシュされる。同様に、リクエストで要求されたデジタルコンテンツファイルに関連付けられた音声データについて、数単位の音声データ単位がコンテンツプレーヤ１９２０にダウンロードされると、これらの音声データ単位がコンテンツバッファ２１１２にプッシュされる。一実施形態では、映像データ単位はコンテンツバッファ２１１２内の映像バッファ２１１６に格納され、音声データ単位はコンテンツバッファ２１１２の音声バッファ２１１４に格納される。

【0077】

映像復号器２１２０は、映像バッファ２１１６から映像データ単位を読み出し、読み出した映像データ単位を、一定の再生時間長に対応する持続時間を有する映像フレームのシーケンスとして出力する。映像バッファ２１１６から１つの映像データ単位を読み出すと、当該映像データ単位が、映像バッファ２１１６から有効にデキューされる。そして、映像フレームのシーケンスが、グラフィックスインタフェース２１２６によりレンダリングを施されて、グラフィックスデバイス２１２８に送信されることにより、ユーザに対して表示される。

【0078】

音声復号器２１１８は、音声バッファ２１１４から音声データ単位を読み出し、読み出した音声データ単位を、復号された映像フレームのシーケンスと時間的に概ね同期がとれた音声サンプルのシーケンスとして出力する。一実施形態では、音声サンプルのシーケンスは音声インタフェース２１３０に送信され、音声インタフェース２１３０により音声サンプルのシーケンスが電気音声信号に変換される。そして、この電気音声信号が音声デバイス２１３２のスピーカに送信され、音声デバイス２１３２は、電気音声信号に応答した音響出力を生成する。

【0079】

配信インフラ１９１０の帯域幅の制限や変化が生じている状況では、再生アプリケーション２１１０は、様々な要因（例えば、シーンの複雑さ、音声の複雑さ、ネットワークの帯域幅、デバイスの性能など）に基づいて、ビットレートの異なる映像符号化方式の間を切り替えながら、映像データや音声データの連続部分のダウンロードとバッファリングを行う。いくつかの実施形態では、音声再生品質よりも映像再生品質が優先される。また、音声再生品質と映像再生品質のバランスとることもできるほか、いくつかの実施形態では、映像再生品質よりも音声再生品質を優先することもできる。

【0080】

グラフィックスインタフェース２１２６は、映像データのフレームの生成と、映像データのフレームのグラフィックスデバイス２１２８への送信とを行うように構成されている。一実施形態では、グラフィックスインタフェース２１２６は、プロセッサ１９２２と一緒に集積回路の一部として含まれる。また、これに代えて、グラフィックスインタフェース２１２６を、プロセッサ１９２２を含むチップセットとは別体の（すなわち、これに一体化されない）ハードウェアアクセラレータとして構成することもできる。

【0081】

グラフィックスインタフェース２１２６は、グラフィックスデバイス２１２８に表示するために画像の転送を行うように構成された、任意の種類又は形態のデバイスを広く表している。例えば、グラフィックスデバイス２１２８は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）技術、ブラウン管（cathode-ray）技術、発光ダイオード（light-emitting diode：ＬＥＤ）ディスプレイ技術（有機でも無機でもよい）を利用して作製される。いくつかの実施形態では、グラフィックスデバイス２１２８は、仮想現実ディスプレイ、拡張現実ディスプレイ、又はその両方をさらに備えることもできる。グラフィックスデバイス２１２８は、技術的に可能な任意の表示用画像生成手段を備える。換言すれば、グラフィックスデバイス２１２８は、グラフィックスインタフェース２１２６により転送された情報を視覚的に表示する機能を有する任意の種類又は形態のデバイスを広く表している。

【0082】

図２１に示すように、コンテンツプレーヤ１９２０は、入力インタフェース２１３４を介して通信インフラ２１０２に結合された少なくとも１つの入力デバイス２１３６をさらに備えている。入力デバイス２１３６は、コンピュータ又は人間が生成した入力をコンテンツプレーヤ１９２０に提供する機能を有する任意の種類又は形態のコンピューティングデバイスを広く表している。入力デバイス２１３６の例としては、キーボード、ポインティングデバイス、音声認識デバイス、タッチパネル、ウェアラブルデバイス（例えば、グローブ型、ウォッチ型など）、コントローラ、これらのうちの１つ以上の変化形又は組み合わせなどの、任意の種類又は形態の電子入力機構が挙げられるが、これらに限定されるものではない。

【0083】

コンテンツプレーヤ１９２０は、記憶装置インタフェース２１３８を介して通信インフラ２１０２に結合された記憶デバイス２１４０をさらに備えている。記憶デバイス２１４０は、データ、他のコンピュータ可読命令、又はその両方を記憶する機能を有する、任意の種類又は形態の記憶デバイス又は記憶媒体を広く表している。例えば、記憶デバイス２１４０は、磁気ディスクドライブ、ソリッドステートドライブ、光ディスクドライブ、フラッシュドライブなどとされる。記憶装置インタフェース２１３８は、記憶デバイス２１４０とコンテンツプレーヤ１９２０の他のコンポーネントとの間でデータ伝送を行うための任意の種類又は形態のインタフェース又はデバイスを広く表している。

【0084】

例示的な実施形態
１．以下のステップ：複数の異なるメディアアイテムであって、当該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に当該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、当該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、を含むコンピュータで実装される方法。

【0085】

２．メディアアイテムが映像メディアアイテムを含む、実施形態１に記載のコンピュータで実装される方法。

【0086】

３．映像メディアアイテムが、２３．９７フレーム／秒、２４フレーム／秒、２５フレーム／秒、２９．９７フレーム／秒、３０フレーム／秒、５９．９４フレーム／秒、６０フレーム／秒、１２０フレーム／秒、２４０フレーム／秒、又は３００フレーム／秒のフレームレートで符号化される、実施形態２に記載のコンピュータで実装される方法。

【0087】

４．メディアアイテムが音声メディアアイテムを含む、実施形態１に記載のコンピュータで実装される方法。

【0088】

５．音声メディアアイテムが、１フレーム当たり１０２４サンプル、１５３６サンプル、又は２０４８サンプルのフレームレートを有している、実施形態４に記載のコンピュータで実装される方法。

【0089】

６．複数のメディアアイテムのうち、指定されたメディアアイテム群内にある各メディアアイテムが、指定された映像フレームレート及び音声フレームレートを有しており、一元的時間スケールが、メディアアイテム群内のメディアアイテムの指定された映像フレームレート及び指定された音声フレームレートを最適化するように計算される、実施形態１に記載のコンピュータで実装される方法。

【0090】

７．一元的時間スケールは、複数のメディアアイテムに対して１つ以上の提示タイムスタンプを生成するように実装される、実施形態１に記載のコンピュータで実装される方法。

【0091】

８．１つ以上の提示タイムスタンプが単調増加し、一元的時間スケールに使用される単位が、複数のメディアアイテムのラップアラウンド時間を最大化するように選択される、実施形態６に記載のコンピュータで実装される方法。

【0092】

９．複数のメディアアイテムのラップアラウンド時間を最大化するように選択される単位が、映像フレームレートに基づいて選択される、実施形態８に記載のコンピュータで実装される方法。

【0093】

１０．同定された一元的時間スケールが、提示タイムスタンプ（ＰＴＳ）間隔を有しており、提示タイムスタンプ間隔が、最小フレーム間隔又は最小フレーム間隔の倍数で構成される、実施形態１に記載のコンピュータで実装される方法。

【0094】

１１．提示タイムスタンプ間隔を指定された分解能に復元するステップをさらに含む、実施形態１０に記載のコンピュータで実装される方法。

【0095】

１２．少なくとも１つの物理プロセッサと、コンピュータ実行可能命令を含む物理メモリと、を備えるシステムであって、コンピュータ実行可能命令は、物理プロセッサによって実行された場合に、以下のステップ：複数の異なるメディアアイテムであって、当該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に当該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、当該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、を物理プロセッサに実行させる、システム。

【0096】

１３．同定された一元的時間スケールが、一定のフレーム間隔を維持しながら、複数のメディアアイテムを可変フレームレートでストリーミングすることを可能にする、実施形態１２に記載のシステム。

【0097】

１４．フレームレートの異なるメディアアイテムが、一元的時間スケールを使用して各フレームレートに対して一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる、実施形態１３に記載のシステム。

【0098】

１５．可変リフレッシュレートを使用してキャプチャされた映像コンテンツを有するメディアアイテムが、一元的時間スケールを使用して各フレームレートに対する一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる、実施形態１２に記載のシステム。

【0099】

１６．一元的時間スケールを同定するステップが、時間スケールの異なる複数の異なるメディアアイテムから得られる、１つ以上の入力された提示タイムスタンプ（ＰＴＳ）を、一元的時間スケールに基づいた提示タイムスタンプに変換するステップを含む、実施形態１２に記載のシステム。

【0100】

１７．入力された提示タイムスタンプから得られる変換後の提示タイムスタンプを実装することにより、提示タイムスタンプカウンタのラップアラウンドが回避される、実施形態１６に記載のシステム。

【0101】

１８．複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更するステップにより、複数のメディアアイテムの再生中に単一の固定垂直同期割り込みを実装することが可能となる、実施形態１２に記載のシステム。

【0102】

１９．スケーリング後の提示タイムスタンプが、丸め誤差を含まないネイティブ提示タイムスタンプと一致するように、複数のメディアアイテムの提示タイムスタンプを適切な時間スケールで最適化するステップをさらに含む、実施形態１２に記載のシステム。

【0103】

２０．１つ以上のコンピュータ実行可能命令を含む非一時的なコンピュータ可読媒体であって、コンピュータ実行可能命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行された場合に、以下のステップ：複数の異なるメディアアイテムであって、当該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に当該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、複数のメディアアイテムについて、当該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、複数のメディアアイテムのうちの少なくとも１つを、現在の時間スケールから、同定された一元的時間スケールへと変更し、これにより、変更後の少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、をコンピューティングデバイスに実行させる、非一時的なコンピュータ可読媒体。

【0104】

以上、詳しく説明したように、本明細書において図示、説明するコンピューティングデバイス及びシステムは、本明細書に記載のモジュール内に含まれるコンピュータ可読命令などのコンピュータ可読命令を実行する機能を有する、任意の種類又は形態のコンピューティングデバイス又はシステムを広く表している。最も基本的な構成では、これらのコンピューティングデバイスのそれぞれが、少なくとも１つのメモリデバイスと少なくとも１つの物理プロセッサとを備えることができる。

【0105】

いくつかの例では、「メモリデバイス（memory device）」という用語は、データ、コンピュータ可読命令、又はその両方を記憶する機能を有する、任意の種類又は形態の揮発性又は不揮発性の記憶デバイス又は記憶媒体一般を指している。一例では、メモリデバイスは、本明細書に記載のモジュールのうちの１つ以上の格納、ロード、保持、又はそのいずれかの組み合わせを行うことができる。メモリデバイスの例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、これらのうちの１つ以上の変化形又は組み合わせなどの任意の適切な記憶メモリが挙げられるが、これらに限定されるものではない。

【0106】

いくつかの例では、「物理プロセッサ（physical processor）いう用語は、コンピュータ可読命令の解釈、実行、又はその両方を行う機能を有する任意の種類又は形態のハードウェア実装処理ユニット一般を指している。一例では、物理プロセッサは、上述のメモリデバイスに格納された１つ以上のモジュールに対するアクセス、変更、又はその両方を行うことができる。物理プロセッサの例としては、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、これらのうちの１つ以上の一部、これらのうちの１つ以上の変化形又は組み合わせなどの任意の適切な物理プロセッサが挙げられるが、これらに限定されるものではない。

【0107】

本明細書において図示、説明するモジュールは、別体の要素として図示されているが、１つモジュール又はアプリケーションの一部を表すこともできる。さらに、特定の実施形態では、これらのモジュールのうちの１つ以上が、１つ以上のソフトウェアアプリケーション又はプログラムを表すこともできる。かかるソフトウェアアプリケーション又はプログラムは、コンピューティングデバイスによって実行された場合に、コンピューティングデバイスに１つ以上のタスクを実行させることができる。例えば、本明細書において図示、説明するモジュールのうちの１つ以上が、本明細書において図示、説明するコンピューティングデバイス又はシステムのうちの１つ以上で実行されるように格納及び構成されたモジュールを表すこともできる。これらのモジュールのうちの１つ以上は、１つ以上のタスクを実行するように構成された１つ以上の専用コンピュータ全体又はその一部を表すこともできる。

【0108】

さらに、本明細書に記載のモジュールのうちの１つ以上が、データ、物理デバイス、物理デバイスの表現、又はそのいずれかの組み合わせについて、その形態を変換することができる。例えば、本明細書に記載のモジュールのうちの１つ以上は、変換すべきデータを受信し、データを変換し、変換結果を出力することにより最適化された時間スケールを特定し、変換結果を使用して正確な提示タイムスタンプを生成し、変換結果を格納することができる。これに加えて又は代えて、本明細書に記載のモジュールのうちの１つ以上は、物理コンピューティングデバイス上で実行される、物理コンピューティングデバイス上にデータを格納するなどの方法により、物理コンピューティングデバイスと相互作用することによって、当該物理コンピューティングデバイスの、プロセッサ、揮発性メモリ、不揮発性メモリなどの任意の部分の形態を変換することもできる。

【0109】

いくつかの実施形態では、「コンピュータ可読媒体（computer-readable medium）」という用語は、コンピュータ可読命令を格納又は担持する機能を有する任意の形態のデバイス、キャリア、又は媒体一般を指している。コンピュータ可読媒体の例としては、搬送波などの伝送型の媒体、磁気記憶媒体（例えば、ハードディスクドライブ、テープドライブ、フロッピーディスク）、光学記憶媒体（例えば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、ＢＬＵ－ＲＡＹディスク）、電子記憶媒体（例えば、ソリッドステートドライブ、フラッシュメディア）などの非一時型の媒体、及びその他の配信システムが挙げられるが、これらに限定されるものではない。

【0110】

本明細書において図示、説明するステップのプロセスパラメータ及び順序は、単に例示として示したものに過ぎず、必要に応じて変更することができる。例えば、本明細書において図示、説明するステップを、特定の順序で図示、説明している場合があるが、図示、説明している順序でこれらのステップを実行する必要は必ずしもない。また、本明細書において様々な例示的な方法を図示、説明しているが、かかる方法においても、本明細書において説明、図示するステップのうちの１つ以上のステップを省略することや、開示しているステップに加えて追加のステップを含めることもできる。

【0111】

以上の説明は、本明細書に開示している例示的な実施形態の様々な態様を当業者が最適に利用できるよう行ったものである。この例示的な説明は、網羅的であることを意図したものでも、開示している形態に厳密に限定されることを意図したものでもない。本開示の趣旨及び範囲から逸脱しない範囲で、多くの修正や変形が可能である。したがって、本明細書に開示の実施形態は、あらゆる点で例示的なものであり、限定を意図したものではないと考えるべきである。本開示の範囲を特定する際には、添付の特許請求の範囲及びその均等物を参照する必要がある。

【0112】

特に断りのない限り、本明細書及び特許請求の範囲で使用する「～に接続される（connected to）」及び「～に結合される（coupled to）」という用語（及びそれらの派生語）は、直接接続と間接的（すなわち、他の要素又は構成要素を介した）接続の両方を許容するものと解釈されるべきものである。さらに、本明細書及び特許請求の範囲で使用する「a」又は「an」という用語は、「少なくとも１つ（at least one of）」を意味するものと解釈されるべきものである。最後に、本明細書及び特許請求の範囲において、便宜上「含む（including）」、「有する（having）」という用語（及びそれらの派生語）が使用されているが、これらは、「備える（comprising）」と言い換えることができ、同じ意味を有するものである。

【符号の説明】

【0113】

１００ コンピューティング環境
１０１ コンピュータシステム
１０２ プロセッサ
１０３ システムメモリ
１０４ 通信モジュール
１０５ 受信器
１０６ 送信器
１０７ 確認モジュール
１０８ 現在の時間スケール
１０９ 同定モジュール
１１０ 一元的時間スケール
１１１ 時間スケール変更モジュール
１１２ 変更後のメディアアイテム
１１５ ユーザ
１１６ 再生デバイス
１１７ 入力
１２０ データストア
１２１ 格納済みメディアアイテム
１２２ メディアアイテム
１２３ 符号化フレームレート
３０１ 符号化／ストリーミングコンテナ
３０２ 再生／多重分離器
３０３、２１２０ 映像復号器
３０４、２１１８ 音声復号器
１９００ コンテンツ配信エコシステム
１９１０ コンテンツ配信インフラ
１９１２、１９２２ 物理プロセッサ
１９１４、１９２４ メモリ
１９１６、１９２６ モジュール
１９２０ コンテンツプレーヤ
２０１０ 記憶装置
２０１２ コンテンツ
２０１４ ユーザデータ
２０１６ ログデータ
２０２０ サービス
２０２２ 個人向けカスタマイズサービス
２０２４ 符号化変換サービス
２０２６ パッケージ化サービス
２０３０ ネットワーク
２０３２ インターネット基幹回線網
２０３４ インターネットサービスプロバイダ網
２０３６ ローカルネットワーク網
２１０２ 通信インフラ
２１０８ オペレーティングシステム
２１１０ 再生アプリケーション
２１１２ コンテンツバッファ
２１１４ 音声バッファ
２１１６ 映像バッファ
２１２２ 通信インタフェース
２１２４ ネットワーク接続
２１２６ グラフィックスインタフェース
２１２８ グラフィックスデバイス
２１３０ 音声インタフェース
２１３２ 音声デバイス
２１３４ 入力インタフェース
２１３６ 入力デバイス
２１３８ 記憶装置インタフェース
２１４０ 記憶デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【手続補正書】

【提出日】2024-02-09

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０１１２

【補正方法】変更

【補正の内容】

【0112】

特に断りのない限り、本明細書及び特許請求の範囲で使用する「～に接続される（connected to）」及び「～に結合される（coupled to）」という用語（及びそれらの派生語）は、直接接続と間接的（すなわち、他の要素又は構成要素を介した）接続の両方を許容するものと解釈されるべきものである。さらに、本明細書及び特許請求の範囲で使用する「a」又は「an」という用語は、「少なくとも１つ（at least one of）」を意味するものと解釈されるべきものである。最後に、本明細書及び特許請求の範囲において、便宜上「含む（including）」、「有する（having）」という用語（及びそれらの派生語）が使用されているが、これらは、「備える（comprising）」と言い換えることができ、同じ意味を有するものである。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、
前記複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更し、これにより、変更後の前記少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、
を含むコンピュータで実装される方法。
実施形態２
前記メディアアイテムが映像メディアアイテムを含む、実施形態１に記載のコンピュータで実装される方法。
実施形態３
前記映像メディアアイテムが、２３．９７フレーム／秒、２４フレーム／秒、２５フレーム／秒、２９．９７フレーム／秒、３０フレーム／秒、５９．９４フレーム／秒、６０フレーム／秒、１２０フレーム／秒、２４０フレーム／秒、又は３００フレーム／秒のフレームレートで符号化される、実施形態２に記載のコンピュータで実装される方法。
実施形態４
前記メディアアイテムが音声メディアアイテムを含む、実施形態１に記載のコンピュータで実装される方法。
実施形態５
前記音声メディアアイテムが、１フレーム当たり１０２４サンプル、１５３６サンプル、又は２０４８サンプルのフレームレートを有している、実施形態４に記載のコンピュータで実装される方法。
実施形態６
前記複数のメディアアイテムのうち、指定されたメディアアイテム群内にある各メディアアイテムが、指定された映像フレームレート及び音声フレームレートを有しており、
前記一元的時間スケールが、前記メディアアイテム群内の前記メディアアイテムの指定された映像フレームレート及び指定された音声フレームレートを最適化するように計算される、実施形態１に記載のコンピュータで実装される方法。
実施形態７
前記一元的時間スケールは、前記複数のメディアアイテムに対して１つ以上の提示タイムスタンプを生成するように実装される、実施形態１に記載のコンピュータで実装される方法。
実施形態８
前記１つ以上の提示タイムスタンプが単調増加し、
前記一元的時間スケールに使用される単位が、前記複数のメディアアイテムのラップアラウンド時間を最大化するように選択される、実施形態６に記載のコンピュータで実装される方法。
実施形態９
前記複数のメディアアイテムのラップアラウンド時間を最大化するように選択される前記単位が、映像フレームレートに基づいて選択される、実施形態８に記載のコンピュータで実装される方法。
実施形態１０
同定された前記一元的時間スケールが、提示タイムスタンプ間隔を含んでおり、
該提示タイムスタンプ間隔が、最小フレーム間隔又は最小フレーム間隔の倍数で構成される、実施形態１に記載のコンピュータで実装される方法。
実施形態１１
前記提示タイムスタンプ間隔を指定された分解能に復元するステップをさらに含む、実施形態１０に記載のコンピュータで実装される方法。
実施形態１２
少なくとも１つの物理プロセッサと、
コンピュータ実行可能命令を含む物理メモリと、
を備えるシステムであって、
前記コンピュータ実行可能命令は、前記物理プロセッサによって実行された場合に、
複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、
前記複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更し、これにより、変更後の前記少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、
を前記物理プロセッサに実行させる、システム。
実施形態１３
同定された前記一元的時間スケールが、前記一定のフレーム間隔を維持しながら、前記複数のメディアアイテムを可変フレームレートでストリーミングすることを可能にする、実施形態１２に記載のシステム。
実施形態１４
フレームレートの異なるメディアアイテムが、前記一元的時間スケールを使用して各フレームレートに対して前記一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる、実施形態１３に記載のシステム。
実施形態１５
可変リフレッシュレートを使用してキャプチャされた映像コンテンツを有するメディアアイテムが、前記一元的時間スケールを使用して前記一定のフレーム間隔を維持しながら、可変フレームレートでストリーミングされる、実施形態１２に記載のシステム。
実施形態１６
前記一元的時間スケールを同定するステップが、時間スケールの異なる前記複数の異なるメディアアイテムから得られる、１つ以上の入力された提示タイムスタンプを、前記一元的時間スケールに基づいた提示タイムスタンプに変換するステップを含む、実施形態１２に記載のシステム。
実施形態１７
前記入力された提示タイムスタンプから得られる変換後の前記提示タイムスタンプを実装することにより、提示タイムスタンプカウンタのラップアラウンドが回避される、実施形態１６に記載のシステム。
実施形態１８
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更するステップにより、前記複数のメディアアイテムの再生中に単一の固定垂直同期割り込みを実装することが可能となる、実施形態１２に記載のシステム。
実施形態１９
スケーリング後の提示タイムスタンプが、丸め誤差を含まないネイティブ提示タイムスタンプと一致するように、前記複数のメディアアイテムの提示タイムスタンプを最適化するステップをさらに含む、実施形態１２に記載のシステム。
実施形態２０
１つ以上のコンピュータ実行可能命令を含む非一時的なコンピュータ可読媒体であって、前記コンピュータ実行可能命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行された場合に、
複数の異なるメディアアイテムであって、該複数のメディアアイテムのうちの少なくとも２つは、異なるフレームレートで符号化されているメディアアイテムのそれぞれについて、配信用に該メディアアイテムを符号化する際に用いた現在の時間スケールを特定するステップと、
前記複数のメディアアイテムについて、該複数のメディアアイテムのそれぞれのフレーム間隔を一定にする一元的時間スケールを同定するステップと、
前記複数のメディアアイテムのうちの少なくとも１つを、前記現在の時間スケールから、同定された前記一元的時間スケールへと変更し、これにより、変更後の前記少なくとも１つのメディアアイテムのフレーム間隔を一定とするステップと、
を前記コンピューティングデバイスに実行させる、非一時的なコンピュータ可読媒体。

【国際調査報告】