特表 2022-543609 フレームレート変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-13

(54)【発明の名称】フレームレート変換

(51)【国際特許分類】

   H04N 21/431 20110101AFI20221005BHJP

   H04N 21/442 20110101ALI20221005BHJP

【ＦＩ】

H04N21/431

H04N21/442

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022506972

(86)(22)【出願日】2020-08-06

(85)【翻訳文提出日】2022-02-03

(86)【国際出願番号】 US2020045290

(87)【国際公開番号】W WO2021026396

(87)【国際公開日】2021-02-11

(31)【優先権主張番号】16/536,302

(32)【優先日】2019-08-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】517349234

【氏名又は名称】ネットフリックス，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(72)【発明者】

【氏名】ウェイクオ チョン

(72)【発明者】

【氏名】レックス イク チュン チン

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164PA32

5C164UB41P

5C164UB82P

5C164YA18

(57)【要約】

開示される方法は、特定のフレームレートで符号化されたビデオコンテンツへのアクセスと、前記ビデオコンテンツが提示される電子ディスプレイのリフレッシュレートの決定を含む。本方法は次に、前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔の特定を含む。この方法はまた、前記電子ディスプレイに、前記間隔の第１部分の再生速度が調整された前記ビデオコンテンツを表示することを含む。この調整された速度で、元のビデオフレームと複数の複製フレームとを用いて前記間隔が再生される。前記提示はまた、前記間隔の第２部分の再生速度も調整する。前記調整された速度にて、前記元のビデオフレームと複製フレームの異なる部分とを用いて前記間隔が再生される。他の様々な方法、システム、及びコンピュータ読み取り可能な媒体も開示される。
【選択図】図４

【特許請求の範囲】

【請求項1】

特定のフレームレートで符号化されたビデオコンテンツの一部分にアクセスし、
前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートを決定し、
前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔を特定し、
前記電子ディスプレイに、ビデオコンテンツの前記特定された時間間隔を提示するコンピュータ実行方法であって、前記提示は、
ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、
ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにする、コンピュータ実行方法。

【請求項2】

前記複製フレームの異なるシーケンスである第２シーケンスは、少なくとも最小しきい値の数の複製フレームを含む、請求項１に記載のコンピュータ実行方法。

【請求項3】

ビデオコンテンツの前記特定された間隔の前記第１部分の前記再生速度を調整することは、ビデオコンテンツの前記特定された間隔の前記第１部分の前記再生速度を上げることを含む、請求項１に記載のコンピュータ実行方法。

【請求項4】

ビデオコンテンツの前記特定された間隔の前記第２部分の前記再生速度を調整することは、ビデオコンテンツの前記特定された間隔の前記第２部分の前記再生速度を下げることを含む、請求項１に記載のコンピュータ実行方法。

【請求項5】

前記再生速度は、前記再生速度の特定された最大速度又は最遅速度の範囲内で調整される、請求項１に記載のコンピュータ実行方法。

【請求項6】

再生速度の調整は、前記ビデオコンテンツに関連付けられたプレゼンテーションタイムスタンプの変更を含む、請求項１に記載のコンピュータ実行方法。

【請求項7】

前記特定された時間間隔は１秒より長い、請求項１に記載のコンピュータ実行方法。

【請求項8】

前記特定された時間間隔は少なくとも３秒である、請求項１に記載のコンピュータ実行方法。

【請求項9】

前記再生速度は提示されているビデオフレームの種類に基づいて調整される、請求項１に記載のコンピュータ実行方法。

【請求項10】

１つ以上の１次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される、請求項９に記載のコンピュータ実行方法。

【請求項11】

１つ以上の２次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される、請求項９に記載のコンピュータ実行方法。

【請求項12】

複数の前記複製フレームは特定された間隔で繰り返される、請求項１に記載のコンピュータ実行方法。

【請求項13】

少なくとも１つの物理プロセッサと、
コンピュータ実行可能命令を含む物理メモリと、を備えるシステムであって、前記物理プロセッサによって実行されたとき、前記物理プロセッサに対して、
特定のフレームレートで符号化されたビデオコンテンツの一部分へのアクセスと、
前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートの決定と、
前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔の特定と、
前記電子ディスプレイへの、ビデオコンテンツの前記特定された時間間隔の提示と、を行わせるシステムであって、前記提示は、
ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、
ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにする、システム。

【請求項14】

ビデオコンテンツの前記特定された間隔の各部分の前記再生速度は、参照用テーブルに格納される、請求項１３に記載のシステム。

【請求項15】

ビデオコンテンツの前記特定された間隔は、前記参照用テーブルに示された再生情報に従って、前記電子ディスプレイで再生される、請求項１４に記載のシステム。

【請求項16】

前記参照用テーブルには、ビデオコンテンツの前記特定された時間間隔が前記電子ディスプレイに提示されている間に適用されて、ビデオコンテンツの前記特定された時間間隔内での各フレームのプレゼンテーションタイムスタンプを調整する、１つ以上のデルタ値を含む、請求項１５に記載のシステム。

【請求項17】

ビデオコンテンツの前記特定された時間間隔の前記電子ディスプレイでの提示をテストして、前記ビデオコンテンツの再生に関する１つ以上の特定の品質メトリックを検証することをさらに含む、請求項１３に記載のシステム。

【請求項18】

前記ビデオコンテンツの前記フレームレートは毎秒２４フレームで、前記電子ディスプレイの前記リフレッシュレートは５０Ｈｚである、請求項１３に記載のシステム。

【請求項19】

前記ビデオコンテンツの前記フレームレートは毎秒２４フレームで、前記電子ディスプレイの前記リフレッシュレートは６０Ｈｚである、請求項１３に記載のシステム。

【請求項20】

一つ以上のコンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたときに、前記コンピューティングデバイスに対して、
特定のフレームレートで符号化されたビデオコンテンツの一部分へのアクセスと、
前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートの決定と、
前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔の特定と、
前記電子ディスプレイへの、ビデオコンテンツの前記特定された時間間隔の提示と、を実行させるシステムであって、前記提示は、
ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、
ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにする、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本明細書は、２０１９年８月８日に出願された「ＦＲＡＭＥ ＲＡＴＥ ＣＯＮＶＥＲＳＩＯＮ」と題する米国特許出願第１６／５３６３０２号明細書の優先権を主張し、当該米国特許出願に記載された全ての記載内容が参照により本明細書に援用される。

【背景技術】

【0002】

映画、テレビ、オンラインストリーミング映像、及びその他のコンテンツを含むデジタルビデオコンテンツは、通常、様々な符号化フォーマットを用いて符号化される。最も一般的には、ビデオコンテンツはＭＰＥＧ－４などの、ＭＰＥＧ規格のうちの一つを用いて符号化される。符号化では、ビデオを表示するためのフレームレートが特定される。例えば、映画は一般的に、毎秒２４フレームで符号化される。そしてこのビデオコンテンツは電子ディスプレイに送信され、ユーザ又はユーザのグループに提示される。電子ディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は幾つかの他のタイプのディスプレイ）は、通常、特定のリフレッシュレートでコンテンツを表示する。

【0003】

例えば、多くのディスプレイは５０Ｈｚ、６０Ｈｚ、１２０Ｈｚ、さらには２４０Ｈｚでコンテンツを表示する。そのため、電子ディスプレイは、ディスプレイ上に毎秒５０回、６０回、１２０回、又は２４０回新しい画像を生成している。ディスプレイに送信されるビデオコンテンツは大幅に低いフレームレート（例えば、毎秒２４フレーム）で符号化されるため、ディスプレイは毎秒複数回、同じフレームを再描画する場合がある。これらのフレームを毎秒複数回にわたり再描画する際、毎秒のフレーム数（例えば、２４）は、多くの場合、ディスプレイのリフレッシュレートである５０Ｈｚや６０Ｈｚなどで完全に分割できない。そのため、追加のためのビデオフレーム又はフレームの一部が再生中に複製され、ビデオコンテンツのフレームレートが電子ディスプレイのリフレッシュレートに合わせられる。しかし、現状での複製及び同期の手法は、多くの場合に映像の乱れを伴い、ユーザの視聴体験を低下させる目立った加工に終わっている。

【発明の概要】

【0004】

以下でより詳細に説明するように、本開示は、ビデオのフレームレートを電子ディスプレイのリフレッシュレートと整合させるためのシステム及び方法を説明する。本方法は、特定のフレームレートで符号化されたビデオコンテンツにアクセスすることを含む。本方法はまた、前記ビデオコンテンツが提示される電子ディスプレイのリフレッシュレートを決定することを含む。本方法はさらに、前記ビデオコンテンツの前記フレームレートを電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔を特定することを含む。本方法はまた、前記電子ディスプレイに、ビデオコンテンツの前記特定された時間間隔を提示することを含む。前記提示は、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、そして、ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにすることを含む。

【0005】

いくつかの例では、複製フレームの異なるシーケンスである第２シーケンスは、少なくとも最小しきい値の数の複製フレームを含む。いくつかの例では、ビデオコンテンツの前記特定された間隔の第１部分の前記再生速度を調整することは、ビデオコンテンツの前記特定された間隔の前記第１部分の前記再生速度を上げることを含む。いくつかの例では、ビデオコンテンツの前記特定された間隔の第２部分の前記再生速度を調整することは、ビデオコンテンツの前記特定された間隔の第２部分の再生速度を下げることを含む。

【0006】

いくつかの例では、前記再生速度は、前記再生速度の特定された最大速度又は最遅速度の範囲内で調整される。いくつかの例では、再生速度の調整には、前記ビデオコンテンツに関連付けられたプレゼンテーションタイムスタンプの変更が含まれる。いくつかの例では、前記特定された時間間隔は１秒より長い。いくつかの例では、前記特定された時間間隔は少なくとも３秒である。

【0007】

いくつかの例では、前記再生速度は提示されているビデオフレームの種類に基づいて調整される。いくつかの例では、１次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される。いくつかの例では、２次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される。いくつかの例では、複数の前記複製フレームは特定された間隔で繰り返される。

【0008】

対応するシステムは、少なくとも１つの物理プロセッサと、コンピュータ実行可能命令を含む物理メモリとを備えるシステムであって、前記物理プロセッサによって実行されたとき、前記物理プロセッサに対して、特定のフレームレートで符号化されたビデオコンテンツの一部分へのアクセスを実行させる。次に、前記物理プロセッサは、前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートを決定する。前記物理プロセッサはさらに、前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔を特定する。前記物理プロセッサはまた、前記電子ディスプレイへ、ビデオコンテンツの前記特定された時間間隔を提示する。前記提示には、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにすること、及びビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定され間間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにすることを含む。

【0009】

いくつかの例では、ビデオコンテンツの前記特定された間隔の各部分の再生速度は参照用テーブルに格納される。いくつかの例では、ビデオコンテンツの前記特定された間隔は、前記参照用テーブルに示された再生情報に従って、前記電子ディスプレイで再生される。いくつかの例では、前記参照用テーブルには、ビデオコンテンツの前記特定された時間間隔が前記電子ディスプレイに提示されている間に適用されて、ビデオコンテンツの前記時間間隔内での各フレームのプレゼンテーションタイムスタンプを調整するデルタ値を含む。

【0010】

いくつかの例では、前記システムは、前記ビデオコンテンツの再生に関する特定の品質メトリックを検証するために、前記電子ディスプレイ上で、ビデオコンテンツの前記特定された時間間隔の提示をさらにテストする。いくつかの例では、前記ビデオコンテンツの前記フレームレートは毎秒２４フレームであり、前記電子ディスプレイの前記リフレッシュレートは５０Ｈｚである。いくつかの例では、前記ビデオコンテンツの前記フレームレートは毎秒２４フレームであり、前記電子ディスプレイの前記リフレッシュレートは６０Ｈｚである。

【0011】

いくつかの例では、上記の方法は、コンピュータ可読媒体上でコンピュータ可読命令として符号化される。例えば、コンピュータ可読媒体は、一つ以上のコンピュータ実行可能命令を有し、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたときに、前記コンピューティングデバイスに対して、特定のフレームレートで符号化されたビデオコンテンツの一部分へのアクセスと、前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートの決定と、前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔の特定と、前記電子ディスプレイへの、ビデオコンテンツの前記特定された時間間隔の提示と、を行わせ、前記提示は、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにすることを含む。

【0012】

本明細書に記載の実施形態のいずれかから得られる特徴は、本明細書に記載の一般原理に従って、互いに組み合わせて使用することができる。これら及び他の実施形態、特徴、及び利点は、添付の図面及び特許請求の範囲と併せて以下の詳細な説明を読むことにより、より充分に理解される。

【0013】

添付の図面は、いくつかの好ましい実施形態を示しており、本明細書の一部である。以下の説明とともに、これらの図面は、本開示の様々な原理を実証及び説明するものである。

【図面の簡単な説明】

【0014】

【図1】図１は、好ましいコンテンツ配信エコシステムのブロック図である。

【図2】図２は、図１に示されるコンテンツ配信エコシステム内の好ましい配信インフラストラクチャのブロック図である。

【図3】図３は、図１に示されるコンテンツ配信エコシステム内の好ましいコンテンツプレーヤのブロック図である。

【図4】図４は、本明細書で説明される実施形態が動作するコンピューティングアーキテクチャを示す。

【図5】図５は、ビデオのフレームレートを電子ディスプレイのリフレッシュレートと同期させるための好ましい方法のフロー図を示す。

【図6】図６は、ビデオコンテンツの２つの異なる部分を有する時間間隔の実施形態を示す。

【図7】図７は、異なるフレームレートのビデオフレームが異なる表示レートに変換される実施形態を示す。

【図8】図８は、フレームレート変換品質メトリックとともに、異なるフレームレート変換及び異なる種類の複製フレームを備えたチャートを示す。

【図9】図９は、元のビデオフレーム及び複製ビデオフレームを有する実施形態を示す。

【図10A】図１０Ａは、フレームレート変換が毎秒２４フレームから毎秒６０フレームに適用される実施形態を示す。

【図10B】図１０Ｂは、フレームレート変換が毎秒２４フレームから毎秒５０フレームに適用される実施形態を示す。

【図10C】図１０Ｃは、フレームレート変換が３秒ウィンドウにわたって毎秒２４フレームから毎秒５０フレームに適用される実施形態を示す。

【図11A】図１１Ａは、異なる時間間隔、複製フレーム番号、順序、及び再生速度を有するチャートを示す。

【図11B】図１１Ｂは、複数の複製ビデオフレームが特定の再生速度で再生される実施形態を示す。

【図11C】図１１Ｃは、表示タイムスタンプがフレームレート変換と併せて調整される実施形態を示す。

【図12】図１２は、オーディオ及びビデオの同期が修正されて、所望のオーディオ／ビデオ出力を生成する実施形態を示す。

【発明を実施するための形態】

【0015】

図面全体を通して、同一の参照文字及び説明は、類似しているが同一である必要は無い要素を示している。本明細書に記載の好ましい実施形態は、様々な変形及び代替形態を許容するものであるが、特定の実施形態が例として図面に示されるとともに本明細書で詳細に説明される。しかしながら、本明細書に記載される好ましい実施形態は、開示される特定の形態に限定されることを意図するものではない。むしろ、本開示は、添付の特許請求の範囲に含まれるすべての変形、同等物、及び代替物を対象とする。

【0016】

本開示は、全般的に、ビデオのフレームレートを電子ディスプレイのリフレッシュレートに合わせることに向けられている。上述のように、従来のシステムは、単に複製フレーム又は複製フレームの一部を追加することによって、ビデオのフレームレートをディスプレイのリフレッシュレートに合わせようとしている。例えば、２４フレーム／秒（ｆｐｓ）から６０Ｈｚ（米国と日本のディスプレイで多く使用されている）に変換する場合、従来のシステムでは２４フレームすべてが１回複製され、合計４８フレームとなる。これらの従来のシステムは、次に、２度目の複製となる追加の１２フレームを作成し、合計６０フレームとなる。そして、これら６０フレームは、それぞれ１／６０秒の間電子ディスプレイに表示される。後続のフレームも同様に、映画長に対してこの方法で複製され表示される。

【0017】

２４ｆｐｓで撮影された映画を５０Ｈｚに変換する場合（ヨーロッパと南アメリカのディスプレイでは一般的である）、元の２４フレームが複製されて４８フレームが作成され、２つのフレームが２回目の複製に供されて合計５０フレームとなる。これら５０フレームは、それぞれ１／５０秒の間ディスプレイに表示される。他の実装では、元の２４フレームが１回複製され、一方で１つのフレームが再度複製され、別のフレームも２回目の複製に供される。これは通常、ユーザに視認される顕著なジッターやその他の表示アーティファクトにつながる。さらに注意すべきは、これらの従来のシステムでは、各フレームが同じレートで再生されることである。複製フレームがどのように生成されるかに関係なく、ビデオコンテンツは、映画やテレビ番組全体で一定した同一速度で再生される。

【0018】

他の従来の実装としては、直接複製せずにフレームを生成しようとする試みがある。例えば、動画補間システムは、選択されたフレームとその後続のフレームに着目し、動画予測／補間（МＥМＣ）アルゴリズムを使用してこれらの各フレームの違いを分析する。そのようなシステムは、次に、最初のフレーム内のピクセルの初期位置を用い、それに続くフレームの最終位置に前記ピクセルを遷移させる中間フレームを計算する。したがって、前記中間フレームは、前記選択されたフレームと前記後続フレームの「平均」ピクセル値を表す。しかし、これらの計算は比較的大量の計算能力を必要とし、ユーザが気付くような目立つ痕跡を画像内に残す傾向がある。そのため、ユーザはたびたび、テレビやモニターでこういった動画予測システムをオフにしている。

【0019】

ビデオコンテンツのさらに他のプロバイダーは、さまざまな市場向けにライブラリ全体を単純に再符号化することを選択している。例えば、視聴用（例えば、ストリーミングプラットフォーム上）に提供されたビデオＡ、Ｂ、及びＣは、６０Ｈｚディスプレイに容易に変換できるように、２４ｆｐｓで符号化される。ただし、２４ｆｐｓは明確に５０Ｈｚに変換されないため、ヨーロッパでの視聴用に提供されるこれらの同じビデオＡ、Ｂ、及びＣは、５０Ｈｚに容易に変換できるように、２５ｆｐｓで符号化される。このような場合、フレーム変換は、元の各フレームを１回複製するだけで合計５０ｆｐｓとなり、５０Ｈｚディスプレイに１：１の比率で表示される。ただし、非常に大きなライブラリを持つビデオコンテンツプロバイダーの場合、表示のリフレッシュレートが異なるさまざまな地域のためにライブラリ全体を再符号化することは現実的ではない。

【0020】

したがって、本明細書に記載の実施形態は、ビデオストリーミングプロバイダがライブラリを再符号化する必要がなく、動画予測を導入することなく、ユーザに滑らかで鮮明な画像を提供する速度でビデオコンテンツを電子ディスプレイに提供することができる。本明細書に記載の実施形態では、特定のフレーム又はフレームのグループの再生速度は、変化する表示間隔にわたってより多い又はより少ないフレームに対応するために、数分の１秒だけ高速化又は減速される。これらの再生速度の違いはユーザにとって僅かなものであり、元のフレームレートや、コンテンツが表示されるディスプレイのリフレッシュレートに関係なく、ビデオコンテンツをスムーズに再生する。

【0021】

ビデオのフレームレートを電子ディスプレイのリフレッシュレートに合わせるシステムは、特定のフレームレートで符号化されたビデオコンテンツにアクセスする場合もある。前記システムは、ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートも決定する。次に、前記システムは、ビデオコンテンツのフレームレートを電子ディスプレイのリフレッシュレートと同期させるために、フレームレート変換が適用されるビデオコンテンツの時間間隔を特定する。前記システムはさらに、ビデオコンテンツの時間間隔を電子ディスプレイに提示する。前記提示は、ビデオコンテンツの前記特定された間隔の再生速度を調整することで、前記特定された間隔の一部分が、元のビデオフレームと複製フレームのシーケンスとを用いて再生されることを伴う。前記提示はまた、ビデオコンテンツの前記特定された間隔の異なる部分の再生速度を調整することで、前記間隔のこの一部分が、元のビデオフレームと複製フレームの異なるシーケンスとを用いて再生されることを伴う。

【0022】

複製フレームの他のシーケンスには、最小数の複製フレームが含まれる。ビデオコンテンツの前記特定された間隔の再生速度を調整することは、ビデオコンテンツの前記特定された間隔の最初の部分の再生速度を上げることを含む場合もある。ビデオコンテンツの前記特定された間隔の他の部分の再生速度を調整することは、ビデオコンテンツの前記特定された間隔の前記他の部分の再生速度を下げることを含む。前記再生速度は、前記再生速度の特定された最大速度又は最遅速度の範囲内で調整される。再生速度の調整は、ビデオコンテンツに関連付けられたプレゼンテーションタイムスタンプの変更を含む場合もある。前記特定された時間間隔は１秒より長く、場合によっては少なくとも３秒である。

【0023】

前記再生速度は表示されているビデオフレームの種類に基づいて調整される場合もある。１次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される。２次複製フレームを含むビデオコンテンツの間隔は、指定された再生速度で自動的に再生される。複数の複製フレームは、特定された間隔で繰り返される。ビデオコンテンツの前記間隔の各部分の再生速度が、参照用テーブルに格納されている。ビデオコンテンツの前記間隔は、前記参照用テーブルに示された再生情報に従って、前記電子ディスプレイで再生される。前記参照用テーブルには、ビデオコンテンツの前記時間間隔が電子ディスプレイに提示されている間に適用されて、ビデオコンテンツの前記時間間隔の各フレームのプレゼンテーションタイムスタンプを調整するデルタ値が含まれる。

【0024】

ビデオコンテンツの前記時間間隔の提示が電子ディスプレイでテストされ、ビデオコンテンツの再生に関する品質メトリックが検証される場合もある。ビデオコンテンツのフレームレートは、実装によって異なる。ビデオコンテンツのフレームレートは毎秒２４フレームで、電子ディスプレイのリフレッシュレートは５０Ｈｚの場合もある。その他、ビデオコンテンツのフレームレートは毎秒２４フレームで、電子ディスプレイのリフレッシュレートは６０Ｈｚの場合もある。これらの実施形態は、ストリーミングメディアプレーヤ及びストリーミングメディア環境を紹介する図１～３、フレーム変換を計算するためのコンピューティングアーキテクチャ及び方法を説明する図４及び５、フレーム変換を実行するための異なる実装及び代替の実施形態を説明する図６～１２を参照して、以下でより詳細に説明される。

【0025】

以下、図１を参照して、マルチメディアコンテンツの適応ストリーミングのための好ましいエコシステムを詳細に説明する。図２及び３に対応する議論は、それぞれ、好ましい配信インフラストラクチャ及び好ましいコンテンツプレーヤの概要を提供する。マルチメディアコンテンツの適応ストリーミングのためのコンピュータ実行方法に対応する詳細な説明は、図４に関連して提供される。

【0026】

図１は、コンテンツプレーヤ１２０と通信する配信インフラストラクチャ１１０を含むコンテンツ配信エコシステム１００のブロック図である。いくつかの実施形態では、配信インフラストラクチャ１１０は、特定のデータレートでデータを符号化し、前記符号化されたデータをコンテンツプレーヤ１２０に転送するように構成されていてもよい。コンテンツプレーヤ１２０は、配信インフラストラクチャ１１０を介して前記符号化されたデータを受信し、前記データを複合化してユーザに向け再生するように構成されていてもよい。配信インフラストラクチャ１１０によって提供される前記データは、オーディオ、ビデオ、テキスト、画像、アニメーション、インタラクティブコンテンツ、触覚データ、仮想又は拡張現実データ、位置データ、ゲームデータ、又はストリーミングを介して提供され得る他のタイプのデータを含んでいてもよい。

【0027】

配信インフラストラクチャ１１０は、一般に、コンテンツをエンドユーザに配信するように構成された任意のサービス、ハードウェア、ソフトウェア、又は他のインフラストラクチャコンポーネントを表す。例えば、配信インフラストラクチャ１１０は、コンテンツ集計システム、メディアトランスコーディング及びパッケージングサービス、ネットワークコンポーネント、及び／又は他の様々なタイプのハードウェア及びソフトウェアを含んでいてもよい。配信インフラストラクチャ１１０は、非常に複雑な配信システム、単一のメディアサーバー又はデバイス、あるいはそれらの中間のものとして実装されていてもよい。いくつかの例では、サイズ又は複雑さに関係なく、配信インフラストラクチャ１１０は、少なくとも１つの物理プロセッサ１１２及び少なくとも１つのメモリデバイス１１４を含んでいてもよい。本明細書で論じられるように、１つ以上のモジュール１１６は、適応ストリーミングを可能にするためにメモリ１１４に格納又は搭載されていてもよい。

【0028】

コンテンツプレーヤ１２０は、一般に、配信インフラストラクチャ１１０を介して提供されたオーディオ及び／又はビデオコンテンツを再生することができる任意の種類又は形態のデバイス又はシステムを表す。コンテンツプレーヤ１２０の例としては、携帯電話、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、テレビ、セットトップボックス、デジタルメディアプレーヤ、仮想現実ヘッドセット、拡張現実メガネ、及び／又はデジタルコンテンツをレンダリングできるその他の任意の種類又は形式のデバイスが含まれるが、これらに限定されない。配信インフラストラクチャ１１０と同様に、コンテンツプレーヤ１２０は、物理プロセッサ１２２、メモリ１２４、及び１つ又は複数のモジュール１２６を含んでいてもよい。本明細書に記載の適応ストリーミングプロセスのいくつか又はすべては、モジュール１２６によって実行又は有効化されることができ、いくつかの例では、配信インフラストラクチャ１１０のモジュール１１６は、マルチメディアコンテンツの適応ストリーミングを提供するために、コンテンツプレーヤ１２０のモジュール１２６と連携するものであってもよい。

【0029】

特定の実施形態では、図１のモジュール１１６及び／又は１２６のうちの１つ又は複数は、コンピューティングデバイスによって実行されると、前記コンピューティングデバイスに１つ又は複数のタスクを実行させることができる１つ又は複数のソフトウェアアプリケーション又はプログラムを表すものであってもよい。例えば、以下でより詳細に説明するように、モジュール１１６及び１２６のうちの１つ又は複数は、１つ又は複数の汎用コンピューティングデバイス上で実行するように格納及び構成されたモジュールを表すものであってもよい。図１のモジュール１１６及び１２６のうちの１つ又は複数は、１つ又は複数のタスクを実行するように構成された１つ又は複数の専用コンピュータの全部又は一部を表すものであってもよい。

【0030】

さらに、本明細書で説明されるモジュール、プロセス、アルゴリズム、又はステップの１つ又は複数は、データ、物理デバイス、及び／又は物理デバイスの提示をある形式から別の形式に変換するものであってもよい。例えば、本明細書にて詳述される１つ又は複数のモジュールは、符号化される音声データを受信し、その音声データを符号化することによって変換し、適応型音声ビットレートシステムで使用するために符号化の結果を出力し、変換の結果をコンテンツプレーヤに送信し、変換されたデータをレンダリングしてエンドユーザの視聴用に供するものであってもよい。追加的又は代替的に、本明細書にて詳述されるモジュールの１つ又は複数は、コンピューティングデバイス上で実行し、コンピューティングデバイス上でデータを格納し、及び／又はコンピューティングデバイスと相互作用することによって、プロセッサ、揮発性メモリ、不揮発性メモリ、及び／又は物理コンピューティングデバイスの他の部分を、ある形態から別の形態に変換するものであってもよい。

【0031】

物理プロセッサ１１２及び１２２は、一般に、コンピュータ可読命令を解釈及び／又は実行することができる任意の種類又は形態のハードウェア実装処理ユニットを表す。一例としては、物理プロセッサ１１２及び１２２は、それぞれ、モジュール１１６及び１２６のうちの１つ又は複数へのアクセス及び／又は変更ができるものであってもよい。追加的又は代替的に、物理プロセッサ１１２及び１２２は、マルチメディアコンテンツの適応ストリーミングを容易にするために、モジュール１１６及び１２６のうちの１つ又は複数を実行するものであってもよい。物理プロセッサ１１２及び１２２の例としては、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、これらの１つ又は複数の一部、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の適切な物理プロセッサが含まれるが、これらに限定されない。

【0032】

メモリ１１４及び１２４は、一般に、データ及び／又はコンピュータ可読命令を格納することができる任意の種類又は形態の揮発性又は不揮発性ストレージデバイス又は媒体を表す。一例としては、メモリ１１４及び／又は１２４は、モジュール１１６及び１２６のうちの１つ又は複数を格納、搭載、及び／又は保持するものであってもよい。メモリ１１４及び／又は１２４の例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の適切なメモリデバイス又はシステムが含まれるが、これらに限定されない。

【0033】

図２は、特定の実施形態によるコンテンツ配信インフラストラクチャ１１０の好ましいコンポーネントのブロック図である。配信インフラストラクチャ１１０は、ストレージ２１０、サービス２２０、及びネットワーク２３０を含むものであってよい。ストレージ２１０は、一般に、エンドユーザに配信するためのコンテンツを格納することができる任意のデバイス、デバイスのセット、及び／又はシステムを表す。ストレージ２１０は、テラバイト又はペタバイトのデータを格納できるデバイスを備えた中央リポジトリを含むものであってもよく、及び／又は、分散ストレージシステム（例えば、インターネット相互接続場所でコンテンツをミラーリング又はキャッシュして、特定の領域内のミラーリングされたコンテンツへのより高速なアクセスを提供する機器）を含むものであってもよい。ストレージ２１０はまた、他の任意の適切な方法で構成されるものであってもよい。

【0034】

図示されるように、ストレージ２１０は、とりわけ、コンテンツ２１２、ユーザデータ２１４、及び／又はログデータ２１６を格納するものであってもよい。コンテンツ２１２は、テレビ番組、映画、ビデオゲーム、ユーザ作成コンテンツ、及び／又は他の任意の適切な種類又は形式のコンテンツを含むものであってもよい。ユーザデータ２１４は、個人識別情報（ＰＩＩ）、支払い情報、好みの設定、言語及びアクセシビリティの設定、及び／又は特定のユーザ又はコンテンツプレーヤに関連する他の任意の情報を含むものであってもよい。ログデータ２１６は、閲覧履歴情報、ネットワークスループット情報、及び／又は配信インフラストラクチャ１１０へのユーザの接続又は相互作用に関連する他の任意のメトリックを含むものであってもよい。

【0035】

サービス２２０は、パーソナライズサービス２２２、エンコーディングサービス２２４、及び／又はパッケージングサービス２２６を含むものであってもよい。パーソナライズサービス２２２は、推奨、コンテンツストリーム、及び／又は配信インフラストラクチャ１１０に関するユーザ体験の他の側面をパーソナライズするものであってもよい。エンコーディングサービス２２４は、以下でより詳細に説明するように、異なる符号化間でのリアルタイム切り替えを可能にする異なるビットレートでメディアを圧縮するものであってもよい。パッケージングサービス２２６は、ストリーミングのために、ネットワーク２３０などの配信ネットワークに符号化された動画を展開する前に、符号化された動画をパッケージ化するものであってもよい。

【0036】

ネットワーク２３０は、一般に、通信又はデータ転送を容易にすることができる任意の媒体又はアーキテクチャを表す。ネットワーク２３０は、無線及び／又は有線での接続を使用する通信又はデータ転送を容易にするものであってもよい。ネットワーク２３０の例としては、イントラネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、インターネット、電力線通信（ＰＬＣ）、セルラーネットワーク（例えば、モバイル通信（ＧＳＭ（登録商標））ネットワークのためのグローバルシステム）、これらの１つ又は複数の一部、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の任意の適切なネットワークを含むものであってもよいが、これらに限定されない。例えば、図２に示されるように、ネットワーク２３０は、インターネットバックボーン２３２、インターネットサービスプロバイダネットワーク２３４、及び／又はローカルネットワーク２３６を含むものであってもよい。以下でより詳細に論じられるように、これらのネットワークセグメントの１つ又は複数内の帯域幅制限及びボトルネックは、ビデオ及び／又はオーディオのビットレート調整のきっかけとなるものであってもよい。

【0037】

図３は、図１のコンテンツプレーヤ１２０の好ましい実装のブロック図である。コンテンツプレーヤ１２０は、一般に、コンピュータで実行可能命令を読み取ることができる任意の種類又は形式のコンピューティングデバイスを表す。コンテンツプレーヤ１２０は、ラップトップ、タブレット、デスクトップ、サーバー、携帯電話、マルチメディアプレーヤ、組み込みシステム、ウェアラブルデバイス（例えば、スマートウォッチ、スマートグラスなど）、スマートビークル、ゲームコンソール、スマートアプライアンスなどのモノのインターネット（ＩоＴ）デバイス、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の任意の適切なコンピューティングデバイスを含むものであってもよいが、これらに限定されない。

【0038】

図３に示されるように、プロセッサ１２２及びメモリ１２４に加えて、コンテンツプレーヤ１２０は、通信インフラストラクチャ３０２、及びネットワーク接続３２４に結合した通信インタフェース３２２を含むものであってもよい。コンテンツプレーヤ１２０はまた、グラフィックデバイス３２８に結合したグラフィックインタフェース３２６、入力デバイス３３６に結合した入力インタフェース３３４、及びストレージデバイス３４０に結合したストレージインタフェース３３８を含むものであってもよい。

【0039】

通信インフラストラクチャ３０２は、一般に、コンピューティングデバイスの１つ又は複数のコンポーネント間の通信を容易にすることができる任意の種類又は形態のインフラストラクチャを表す。通信インフラストラクチャ３０２の例としては、任意の種類又は形式の通信バス（例えば、周辺機器相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、メモリバス、フロントサイドバス、インテグレーテッドドライブエレクトロニクス（ＩＤＥ）バス、制御バス又はレジスタバス、ホストバスなど）が含まれるが、これらに限定されない。

【0040】

前述のように、メモリ１２４は、一般に、データ及び／又は他のコンピュータ可読命令を格納することができる任意の種類又は形態の揮発性又は不揮発性ストレージデバイス又は媒体を表す。いくつかの例では、メモリ１２４は、プロセッサ１２２による実行のためにオペレーティングシステム３０８を格納及び／又は搭載するものであってもよい。一例としては、オペレーティングシステム３０８は、コンピュータハードウェア及びソフトウェアリのソースを管理し、及び／又はコンテンツプレーヤ１２０上のコンピュータプログラム及び／又はアプリケーションに共通のサービスを提供するソフトウェアを含み、及び／又は表すものであってもよい。

【0041】

オペレーティングシステム３０８は、ハードウェアコンポーネント（例えば、グラフィックインタフェース３２６、オーディオインタフェース３３０、入力インタフェース３３４、及び／又はストレージインタフェース３３８）の管理などの様々なシステム管理機能を実行するものであってもよい。オペレーティングシステム３０８はまた、再生アプリケーション３１０のためのプロセス及びメモリ管理モデルを提供するものであってもよい。再生アプリケーション３１０のモジュールは、例えば、コンテンツバッファ３１２、オーディオデコーダ３１８、及びビデオデコーダ３２０を含んでいてもよい。

【0042】

再生アプリケーション３１０は、通信インタフェース３２２を介してデジタルコンテンツを検索し、グラフィックインタフェース３２６を介して前記デジタルコンテンツを再生するように構成するものであってもよい。グラフィックインタフェース３２６は、レンダリングされたビデオ信号をグラフィックデバイス３２８に送信するものであってもよい。通常動作時には、特定のタイトル又は特定のコンテンツを再生するためにユーザからのリクエストを受付けるものであってもよい。次に、再生アプリケーション３１０は、前記リクエストされたタイトルに関連付けられた１つ又は複数の符号化されたビデオ及びオーディオストリームを特定するものであってもよい。再生アプリケーション３１０が、前記リクエストされたタイトルに関連付けられた前記符号化されたストリームを見つけた後、再生アプリケーション３１０は、配信インフラストラクチャ１１０から、要求されたタイトルに関連付けられた符号化された各ストリームに関連付けられたシーケンスヘッダインデックスをダウンロードするものであってもよい。符号化されたコンテンツに関連付けられたシーケンスヘッダインデックスは、前記符号化されたコンテンツに含まれる符号化されたシーケンスのデータに関連する情報を含むものであってもよい。

【0043】

一実施形態では、再生アプリケーション３１０は、再生のための起動時間を最小化するために、オーディオ及び／又はビデオの最低再生ビットレートに符号化されたシーケンスデータをダウンロードすることによって、リクエストされたタイトルに関連するコンテンツのダウンロードを開始するものであってもよい。次に、リクエストされたデジタルコンテンツファイルは、先入れ先出しキューとして機能するように構成され得るコンテンツバッファ３１２にダウンロードされるものであってもよい。一実施形態では、ダウンロードされたデータの各ユニットは、ビデオデータのユニット又はオーディオデータのユニットを含むものであってもよい。リクエストされたデジタルコンテンツファイルに関連付けられたビデオデータのユニットがコンテンツプレーヤ１２０にダウンロードされると、前記ビデオデータのユニットはコンテンツバッファ３１２に送り出されるものであってもよい。同様に、リクエストされたデジタルコンテンツファイルに関連付けられたオーディオデータのユニットがコンテンツプレーヤ１２０にダウンロードされると、前記オーディオデータのユニットはコンテンツバッファ３１２に送り出されるものであってもよい。一実施形態では、前記ビデオデータのユニットは、コンテンツバッファ３１２内のビデオバッファ３１６に格納されるものであってもよく、前記オーディオデータのユニットは、コンテンツバッファ３１２内のオーディオバッファ３１４に格納されるものであってもよい。

【0044】

ビデオデコーダ３２０は、ビデオバッファ３１６からビデオデータのユニットを読み取るものであってもよく、再生時間の継続時間において固定スパンに対応するビデオフレームのシーケンスで前記ビデオデータのユニットを出力するものであってもよい。ビデオバッファ３１６からビデオデータのユニットを読み取ることで、ビデオバッファ３１６からビデオデータのユニットを効果的にデキューするものであってもよい。次に、前記ビデオフレームのシーケンスは、グラフィックインタフェース３２６によってレンダリングされ、グラフィックデバイス３２８に送信されて、ユーザに表示されるものであってもよい。

【0045】

オーディオデコーダ３１８は、オーディオバッファ３１４からオーディオデータのユニットを読み取り、前記オーディオデータのユニットを、一般に、デコードされたビデオフレームのシーケンスと時間的に同期する、オーディオサンプルのシーケンスとして出力するものであってもよい。一実施形態では、前記オーディオサンプルのシーケンスは、前記オーディオサンプルのシーケンスを電気オーディオ信号に変換することができるオーディオインタフェース３３０に送信するものであってもよい。次に、前記電気オーディオ信号は、オーディオデバイス３３２のスピーカーに送信されて、これによって、音響出力を生成するものであってもよい。

【0046】

配信インフラストラクチャ１１０の帯域幅が制限され、及び／又は可変である状況では、再生アプリケーション３１０は、様々な要因（例えば、シーンの複雑度、オーディオの複雑度、ネットワーク帯域幅、デバイス機能など）に基づいて、異なるビットレートを有するビデオ符号化からビデオデータ及び／又はオーディオデータの連続した部分をダウンロード及びバッファリングするものであってもよい。いくつかの実施形態では、ビデオの再生品質は、オーディオの再生品質よりも優先されるものであってもよい。オーディオ再生及びビデオ再生の品質はまた、互いにバランスが取られるものであってもよく、いくつかの実施形態では、オーディオの再生品質は、ビデオの再生品質よりも優先されるものであってもよい。

【0047】

グラフィックインタフェース３２６は、ビデオデータのフレームを生成し、前記ビデオデータのフレームをグラフィックデバイス３２８に送信するように構成されるものであってもよい。一実施形態では、グラフィックインタフェース３２６は、プロセッサ１２２とともに、集積回路の一部として含まれるものであってもよい。あるいは、グラフィックインタフェース３２６は、プロセッサ１２２を含むチップセットとは異なる（すなわち、内部に統合されていない）ハードウェアアクセラレータとして構成されるものであってもよい。

【0048】

グラフィックインタフェース３２６は、一般に、グラフィックデバイス３２８上に表示するために画像を転送するように構成された任意の種類又は形態のデバイスを表すものであってもよい。例えば、グラフィックデバイス３２８は、液晶ディスプレイ（ＬＣＤ）技術、陰極線技術、及び発光ダイオード（ＬＥＤ）ディスプレイ技術（有機又は無機）を使用して製造されるものであってもよい。いくつかの実施形態では、グラフィックデバイス３２８はまた、仮想現実ディスプレイ及び／又は拡張現実ディスプレイを含むものであってもよい。グラフィックデバイス３２８は、表示用の画像を生成するための任意の技術的実行可能な手段を含むものであってもよい。言い換えれば、グラフィックデバイス３２８は、一般に、グラフィックインタフェース３２６によって転送された情報を視覚的に表示することができる任意の種類又は形態のデバイスを表すものであってもよい。

【0049】

図３に示されるように、コンテンツプレーヤ１２０はまた、入力インタフェース３３４を介して通信インフラストラクチャ３０２に結合された少なくとも１つの入力デバイス３３６を含むものであってもよい。入力デバイス３３６は、一般に、コンピュータ又は人間が生成した入力をコンテンツプレーヤ１２０に提供することができる任意の種類又は形式のコンピューティングデバイスを表すのであってもよい。入力デバイス３３６の例としては、キーボード、ポインティングデバイス、音声認識デバイス、タッチスクリーン、ウェアラブルデバイス（例えば、グローブ、時計など）、コントローラ、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の任意の種類又は形式の電子入力メカニズムを含むものであってもよいが、これらに限定されない。

【0050】

コンテンツプレーヤ１２０はまた、ストレージインタフェース３３８を介して通信インフラストラクチャ３０２に結合されたストレージデバイス３４０を含むものであってもよい。ストレージデバイス３４０は、一般に、データ及び／又は他のコンピュータ可読命令を記憶することができる任意の種類又は形態のストレージデバイス又は媒体を表すものであってもよい。例えば、ストレージデバイス３４０は、磁気ディスクドライブ、ソリッドステートドライブ、光ディスクドライブ、フラッシュドライブ又は同種のものであってもよい。ストレージインタフェース３３８は、一般に、ストレージデバイス３４０とコンテンツプレーヤ１２０の他のコンポーネントとの間でデータを転送するための任意の種類又は形態のインタフェース又はデバイスを表すものであってもよい。

【0051】

他の多くのデバイス又はサブシステムが、コンテンツプレーヤ１２０に含まれるか、又は接続されるものであってもよい。逆に、図３に示されるコンポーネント及びデバイスのうちの１つ又は複数が、本明細書に記載及び／又は図示された実施形態を実施するために必ずしも存在する必要はない。上記で参照されたデバイス及びサブシステムはまた、図３に示されるものとは異なる方法で相互接続されるものであってもよい。コンテンツプレーヤ１２０はまた、任意の数のソフトウェア、ファームウェア、及び／又はハードウェアの構成を用いるものであってもよい。例えば、本明細書に開示される例示的な実施形態の１つ又は複数は、コンピュータ可読媒体上でコンピュータプログラム（コンピュータソフトウェア、ソフトウェアアプリケーション、コンピュータ可読命令、又はコンピュータ制御ロジックとも呼ばれる）として符号化されるものであってもよい。本明細書で使用される「コンピュータ可読媒体」という用語は、コンピュータ可読命令を格納又は持ち運ぶことができる任意の形態のデバイス、キャリア、又は媒体を指すものであってもよい。コンピュータ可読媒体の例としては、キャリア波などの透過型媒体、及び磁気記憶媒体（例えば、ハードディスクドライブ、テープドライブなど）、光学式記憶媒体（例えば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、及びブルーレイディスク）、電子記憶媒体（例えば、ソリッドステートドライブ及びフラッシュメディア）、及びその他のデジタル記憶システムなどの非一時的型媒体が含まれるが、これらに限定されない。

【0052】

コンピュータプログラムを含むコンピュータ可読媒体は、コンテンツプレーヤ１２０にロードされるものであってもよい。コンピュータ可読媒体に記憶されたコンピュータプログラムの全部又は一部は、次いで、メモリ１２４及び／又はストレージデバイス３４０に記憶されるものであってもよい。プロセッサ１２２により実行されると、メモリ１２４にロードされたコンピュータプログラムは、プロセッサ１２２に、本明細書で説明及び／又は図示された例示的な実施形態の１つ又は複数の機能を実行及び／又は実行するための手段とさせることができるものであってもよい。追加的又は代替的に、本明細書に記載及び／又は図示された例示的な実施形態の１つ又は複数は、ファームウェア及び／又はハードウェアに実装されるものであってもよい。例えば、コンテンツプレーヤ１２０は、本明細書に開示される例示的な実施形態のうちの１つ又は複数を実装するように適合された特定用途向け集積回路（ＡＳＩＣ）として構成されるものであってもよい。

【0053】

図４は、コンピュータシステム４０１を含むコンピューティング環境４００を示している。コンピュータシステム４０１は、ローカルコンピュータシステム又は分散型（例えば、クラウド）コンピュータシステムを含む実質的に任意の種類のコンピュータシステムであってもよい。コンピュータシステム４０１は、少なくとも１つのプロセッサ４０２及び少なくともいくつかのシステムメモリ４０３を含む。コンピュータシステム４０１はまた、様々な異なる機能を実行するためのプログラムモジュールを含む。前記プログラムモジュールは、ハードウェアベース、ソフトウェアベース、又はハードウェアとソフトウェアの組み合わせを含む。各プログラムモジュールは、コンピューティングハードウェア及び／又はソフトウェアを使用して、以下に説明するものを含めた特定の機能を実行する。

【0054】

例えば、通信モジュール４０４は、他のコンピュータシステムと通信する。通信モジュール４０４は、他のコンピュータシステムとの間でデータを受信及び／又は送信する有線又は無線通信手段を含む。これらの通信手段は、例えば、ハードウェアベースの受信機４０５、ハードウェアベースの送信機４０６、又はデータの受信と送信の両方が可能なハードウェアベースの複合トランシーバを含むハードウェア無線機を含むものであってもよい。前記無線機は、ＷＩＦＩ無線機、セルラー無線機、ブルートゥース（登録商標）無線機、全地球測位システム（ＧＰＳ）無線機、又はその他の種類の無線機であってもよい。通信モジュール４０４は、データベース、モバイルコンピューティングデバイス（携帯電話又はタブレットなど）、組み込み型又は他の種類のコンピューティングシステムと相互作用する。

【0055】

コンピュータシステム４０１はまた、ビデオコンテンツアクセスモジュール４０９を含む。ビデオコンテンツアクセスモジュール４０９は、コンテンツソースからビデオコンテンツ４０７を受信する。前記ビデオコンテンツソースは、ビデオ（例えば、映画又はテレビ番組）の制作者、ビデオ（例えば、ストリーミングビデオコンテンツプロバイダー）の配信者、又はビデオコンテンツを電子デバイスに提供する他の主体であってもよい。上記のように、コンピュータシステム４０１は、セットトップボックス、携帯電話、ラップトップ、ＰＣ、又はビデオストリーミングクライアントアプリケーションを含むソフトウェアアプリケーションを実行する他のコンピュータシステムを含む任意の種類のコンピュータシステムであってもよい。これらのアプリケーションの少なくとも１つは、ビデオコンテンツ４０７を受信し、そのビデオコンテンツをディスプレイ（例えば、ディスプレイ４２０）に提示する。

【0056】

ビデオコンテンツ４０７は、指定されたフレームレートで符号化される。フレームレートは、２４ｆｐｓ、２５ｆｐｓ、３０ｆｐｓ、又はその他のフレームレートであってもよい。ビデオコンテンツアクセスモジュール４０９は、このビデオコンテンツ４０７にアクセスし、コンピュータシステム４０１での後続の動作のためにビデオコンテンツを準備する。ビデオコンテンツ４０７を受信する前又は後に、リフレッシュレート決定モジュール４１０は、電子ディスプレイ４２０がコンテンツを更新するように設定されるレートを決定する。例えば、ディスプレイ４２０は、５０Ｈｚ、６０Ｈｚ、１００Ｈｚ、１２０Ｈｚ、又は他の何らかのリフレッシュレートで提示するためにコンテンツをリフレッシュするものであってもよい。そのため、ディスプレイは、特定のビデオフレームを１秒間に５０回、６０回、１００回、又は１２０回再描画又は再表現する。上述のように、ディスプレイのリフレッシュレートは世界中で異なる。最適な視聴体験のために、ディスプレイ４２０のリフレッシュレート４２１は、ビデオコンテンツ４０７の符号化されたフレームレート４０８と同期され、その結果、ディスプレイに表示されるビデオフレームは安定したものとなる。つまり、ビデオフレームは、視聴者が気付かない方法で複製される。

【0057】

この複製を完了するために、時間間隔決定モジュール４１２は、ビデオコンテンツの時間間隔４１３を識別又は特定する。少なくともいくつかの実施形態では、この時間間隔４１３は１秒より長く、したがって、１秒の時間間隔のみに着目する従来のシステムとは対照的に、フレームレート変換が適用される前記時間間隔は、２秒、３秒、又はそれ以上をカバーする。フレームレート変換モジュール４１４は、ビデオコンテンツのフレームレート４０８及びディスプレイのリフレッシュレート４２１に基づいてフレームレート変換を実行する。

【0058】

フレームレート変換プロセスの一部として、フレームレート変換モジュール４１４は、ビデオコンテンツの比較的長い間隔（例えば３秒）に着目し、その時間間隔の元のビデオフレーム４１６Ａに続けて再生するための、複製フレーム４１７の第１のシーケンスを生成し、また、その時間間隔の元のビデオフレーム４１６Ｂに続けて再生するための、複製フレーム４１８の第２のシーケンスも生成する。次に、この時間間隔４１３は、その元のフレーム及び複製フレームのそれぞれのシーケンスとともに、ディスプレイ４２０上で再生される。しかしながら、ビデオコンテンツ４０７の前記時間間隔の特定の部分は、異なる速度で再生される。再生速度調整モジュール４１５は、視聴者の目にシームレスなビデオ再生を生成するために、元のフレーム及び／又は複製フレームの様々なシーケンスの再生速度を増減する。これらの概念は、以下の図５中の方法５００に関してさらに説明される。

【0059】

図５は、ビデオのフレームレートを電子ディスプレイのリフレッシュレートと整合させるための好ましいコンピュータ実行方法５００のフロー図である。図５に示されるステップは、図１～４に示されるシステムを含む、任意の適切なコンピュータ実行可能コード及び／又はコンピューティングシステムによって実行されるものであってもよい。一例では、図５に示されるステップのそれぞれは、図５は、その構造が複数のサブステップを含み、及び／又は複数のサブステップによって表されるアルゴリズムを表すものであってもよく、その例は、以下により詳細に提供される。

【0060】

図５に示されるように、ステップ５１０において、本明細書に記載されるシステム又はモジュールの１つ又は複数は、特定されたフレームレートで符号化されるビデオコンテンツの一部にアクセスする。例えば、図４のモジュール４０９にアクセスするビデオコンテンツは、フレームレート４０８で符号化されたビデオコンテンツ４０７にアクセスする。いくつかの例では、前記フレームレートは２４ｆｐｓである。ステップ５２０で、コンピュータシステム４０１のリフレッシュレート決定モジュール４１０は、ビデオコンテンツが提示される電子ディスプレイ４２０のリフレッシュレートを決定する。いくつかの例では、ディスプレイ４２０のリフレッシュレート４２１は５０Ｈｚであり、他の例では、リフレッシュレートは６０Ｈｚである。時間間隔決定モジュール４１２は、ステップ５３０で、フレームレート変換を適用する時間間隔４１３を決定する。いくつかの例では、この時間間隔は３秒である。したがって、この例では、フレームレート変換が３秒のビデオコンテンツにわたって適用されて、ビデオコンテンツ４０７のフレームレート４０８を電子ディスプレイ４２０のリフレッシュレート４２１と同期させる。

【0061】

ステップ５４０において、フレームレート変換モジュール４１４は、時間間隔４１３にわたってフレームレート変換を実行し、ビデオコンテンツの時間間隔を電子ディスプレイ４２０に提示する。このフレームレート変換及び前記電子ディスプレイ４２０での提示のプロセスは、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにすることを含む。ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度もまた、前記特定された間隔の前記第２部分が、元のビデオフレームと複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるように調整される。

【0062】

例えば、図６に示すように、時間間隔６０１（図４の時間間隔４１３と同じであっても異なっていてもよい）は、異なる部分に分割される。２つより多い又は少ない数の部分が使用されるが、図６の実施形態は２つの部分を含むものである。図６中の点線は、時間間隔６０１が、ビデオコンテンツの開始部、中間部、又は終了部を含む任意の箇所から選択されてよいことを示す。場合によっては、時間間隔６０１は、ディスプレイ４２０の複数のリフレッシュにまたがり、また場合によっては、時間間隔６０１は、ディスプレイ４２０の単一のリフレッシュにまたがる。

【0063】

時間間隔６０１の第１部分６０２は、元のビデオフレームのシーケンス６０３Ａ及び複製フレームのシーケンス６０４を含む。時間間隔６０１の第２部分６０６は、元のビデオフレームのシーケンス６０３Ｂ及び複製フレームの異なるシーケンス６０５を含む。時間間隔の第１部分及び第２部分は、５０／５０、６０／４０、７０／３０、８０／２０、９０／１０、又はその他の比率を含む、実質的に任意の比率に分割されていてよい。したがって、第１部分６０２は、第２部分６０６よりも時間間隔が多い場合や少ない場合があってもよい。各部分は、元のフレーム及び／又は複製フレームを含む。これらの元のフレーム及び複製フレームの再生速度は、再生速度調整モジュール４１５によって調整可能である。

【0064】

少なくともいくつかの実施形態では、前記元のフレームの再生速度又は前記第１又は第２の複製６０４／６０５の再生速度は、特定の数のフレームが時間間隔６０１内にちょうど収まようにするために、増加又は減少されこともある。例えば、図４のビデオコンテンツ４０７が２４ｆｐｓのフレームレート４０８を有する場合、時間間隔６０１は、２４枚の元のフレーム、複製の前記第１シーケンス６０４中の２４枚の複製フレーム、及び複製の第２シーケンス６０５中の２枚の複製フレームを含むこともできる。他の実施形態では、前記時間間隔６０１は、２２枚の元のフレーム、複製の第１シーケンス６０４中の２２枚の複製フレーム、及び複製の第２シーケンス６０５中の６枚の複製フレームを含むこともできる。これらの元のフレーム及び複製フレームの再生速度は、ビデオコンテンツがユーザに対してスムーズに再生されるようにするために、増加又は減少されることもある。この再生速度の増加又は減少は、オーディオ速度を調整せずに行われてもよい。

【0065】

特定の制限を超えると、オーディオの再生速度を調整することなくビデオコンテンツの再生速度を調整することが、ユーザに音声が伝わる前に話している場面が見えたり、口が動いていないのに会話が聞こえたりするといった、顕著なＡ／Ｖ同期の問題を導く。ただし、特定の制限内（例えば－１２５ｍｓから＋４５ｍｓの間）では、オーディオとビデオは完全に整合が取れていなくても同期していると認識される。ビデオコンテンツは通常、プレゼンテーションタイムスタンプ（ＰＴＳ）を用いて再生される。いくつかの実施形態では、このプレゼンテーションタイムスタンプは、ビデオコンテンツの再生速度を増減するために変更される。他の実施形態では、参照用テーブルは前記ＰＴＳと組み合わせて実装され、参照用テーブルは、ＰＴＳから時間値を加算又は減算し、ビデオコンテンツを再生するときに前記変更された値を使用する。したがって、前記ディスプレイのリフレッシュレートに整合するために複製フレームが作成される時間間隔を長くし、特定の制限内でビデオ再生を高速化又は低速化することにより、本明細書の実施形態は、前記時間間隔にわたって、偶数の数の複製フレームを追加することを可能にする。これにより、ビデオ再生の滑らかさが大幅に向上し、他のフレームレート変換解決法によって導かれるジャダーが減少又は排除される。

【0066】

上記のように、そして図７に示されるように、ビデオコンテンツのソースフレームレート７０１は、通常、２４ｆｐｓ（又は２４Ｈｚ）、２４Ｈｚ、３０Ｈｚ、５０Ｈｚ、又は６０Ｈｚである。図４のフレームレート変換モジュール４１４は、フレームレート変換７０２を適用して、ディスプレイのリフレッシュレート７０３と整合させる。図８に示されるように、いくつかのビデオコンテンツのフレームレートのフレームレート変換は、より滑らかに見えるものであってもよく、視聴者に気付かれるアーティファクトがより少ないものであってもよい。例えば、事例１（列８０１）の場合、フレームソースレートは５０Ｈｚであり、６０Ｈｚのディスプレイに変換される（列８０２）。元のフレームと複製フレームの比率は１．２（列８０３）、又は５０枚の元のフレームと１０枚の複製（１次）フレーム（列８０４）となる。事例２の場合、フレームソースレートは３０Ｈｚであり、比率１．６７で５０Ｈｚに変換され、元のフレームが３０枚、１次複製フレームが２０枚の、合計５０フレームとなる。事例５の場合、フレームソースレートは２４Ｈｚであり、比率２．５で６０Ｈｚに変換され、元のフレームが２４枚、１次複製フレームが２４枚、２次複製フレームが１２枚（列８０５）の、合計６０フレームとなる。

【0067】

図８の事例番号１～６のほとんどは再生をスムーズに行い、視聴者は画像中の深刻なジャダーには気付かない。しかし、フレームレート変換が２４Ｈｚから２５Ｈｚ又は２４Ｈｚから５０Ｈｚとなる事例番号７～９では、比率として１．０４２と２．０８３が発生する（列８０３）。このような比率は、１次複製された単一のフレームのみが表示される場合（例えば事例番号７）、又は１次複製された２４枚のフレームが、２次複製された２枚のフレーム（列８０５）とともに表示される場合（例えば事例番号８）、又は１次複製された２４枚のフレームが、２次複製された１枚のフレーム及び３次複製された１枚のフレーム（列８０６）とともに表示される場合（事例番号９）を導く。高次の複製フレームは、フレームの複製数が少なく、フレームの表示間隔が長くなることを意味するため、通常はあまり望ましくない。

【0068】

例えば、１次フレームは、自分自身を１回複製するフレームである。２次フレームは自分自身を２回複製するフレームであり、３次フレームは自分自身を３回複製するフレームである。フレームの次数が大きいことは、元のフレームが複製される回数が多くなり、そのため、滑らかさが低下し、ジャダーが発生しやすくなることを示す。したがって、本明細書に記載の実施形態では、システムは、再生時の滑らかさを高めるために、固定された複製間隔を生成する。複製フレームは、ジャダーやその他の再生の問題を回避するために、最小数（例えば、２枚の複製、２次の次数）未満に保たれる。

【0069】

図９は、複製フレームの例に関する実施形態を示している。３枚の元のフレーム９０１は、３：２のプルダウンレートで９０２に複製される。図１０Ａはさらに、この３：２プルダウンレートを示している。この例では、フレーム１０００Ａが２４ｆｐｓから６０ｆｐｓに変換されている。フレームは、１秒の時間ウィンドウ１００１Ａにわたって間隔を置いて配置される。各フレームは１回又は２回複製される。したがって、元のフレームに追加すると、元のフレーム＋単一の複製＝２となり、また元のフレーム＋二重の複製＝３となる。したがって、図９に示される３：２のパターンは、１秒の長さにわたって繰り返される。元のフレーム＋単一の複製のそれぞれは３３ｍｓ（１００２Ａ）で表示され、元のフレーム＋二重複製のそれぞれは４８ｍｓで表示される。これらの時間は、テレビ１００５Ａの６０Ｈｚのリフレッシュレートに起因する２つ又は３つの１６ｍｓセグメント１００４Ａと一致する。３：２：２や３：２：２：２など、他の複製パターンや間隔を使用するものであってもよい。一部のパターンは５０Ｈｚで動作するディスプレイに適しているが、他のパターンは６０Ｈｚで動作するディスプレイに適している。

【0070】

図１０Ｂは、フレーム１０００Ｂが２４ｆｐｓから５０ｆｐｓに変換される代替例を示している。フレームは、１秒の時間ウィンドウ１００１Ｂにわたって間隔を置いて配置され、ここで、各フレームは１回又は２回複製される。元のフレーム＋単一の複製のそれぞれは４０ｍｓ（１００２Ｂ）で表示され、元のフレーム＋二重複製は６０ｍｓで表示される。これらの時間は、テレビ１００５Ｂの５０Ｈｚのリフレッシュレートに起因する２つ又は３つの２０ｍｓセグメント１００４Ｂと一致する。他の複製パターン又は間隔も、上記のように使用されるものであってもよい。

【0071】

図１０Ａ及び１０Ｂに示される例が１秒のコンテンツを示す一方で、本明細書の実施形態では、フレームの時分割が異なる時間間隔にわたって分散され得ることが認識される。例えば、図１０Ｃに示すように、２４ｆｐｓで符号化された映画に対して３秒の時間間隔が選択された場合、その映画は、３秒の時間間隔にわたって７２フレームを有することになる。これら７２フレームは、３秒間で１５０の表示サイクルを持つ５０Ｈｚのディスプレイに提示されるものであってもよい。これらの７２フレームは、図４のフレームレート変換モジュール４１４によって、元のフレーム４１６Ａ及び複製フレーム４１７の第１シーケンス、並びに対応する独自の異なるセットである複製フレーム４１８を持つ他の元のフレーム４１６Ｂと共に、一定の速度で変換されるものであってもよい。コンテンツ１００１Ｃの１秒目は、（フレームと複製）毎に４０ミリ秒の安定したスライスで再生される元のフレームと複製フレームを含む。コンテンツの２秒目も、フレーム毎に４０ミリ秒の安定したスライスで再生される元のフレームと複製フレームを含む。ただし、３秒ウィンドウ内のコンテンツの３秒目は、（元のフレームと２つの複製フレーム）が再生される複数の６０ミリ秒のスライスを含む。以下の図１１Ｂに記載されているように、これらの６つの６０ミリ秒のスライスは、オーディオ及びビデオを再整合するために異なる速度で変調されるものであってもよい。

【0072】

例えば、図１１Ａは、前記ウィンドウの時間間隔が３秒であるフレームレート変換（ＦＲＣ）ウィンドウ１１００を示している。この３秒の時間ウィンドウは、それぞれ１秒ずつの３つの異なるセグメント（０から１、１から２、及び２から３）に分割される。この例では、図１０Ａと同様に、ビデオコンテンツの符号化されたフレームレートは２４ｆｐｓである。そのため、７２フレームが３秒の時間ウィンドウで表示される。一定の速度でフレームを再生する従来の再生アプリケーション又はセットトップボックスとは対照的に、本明細書の実施形態は、コンテンツの最初の１秒で最初の２４フレームを再生することができる。したがって、チャート１１００に示すように、２４個の元のフレームが最初の１秒間に、０から１まで、２４個の１次複製フレームとともに表示される。電子ディスプレイの各フレームがこれに対応する元のフレーム又は１次複製フレームを持つため、この１：１の一致は、５０Ｈｚのディスプレイでスムーズな再生体験を提供する。これらのフレームは、電子ディスプレイの０．９６秒の持続時間で表示される。

【0073】

この例の説明を続けると、第２の２４個の元のフレームが、２４個の１次複製フレームとともに、フレームレート変換モジュール（例えば、図４の４１４）によって再びディスプレイに提供される。これらの４８フレームは、コンテンツの０秒から１秒までに相当する先の４８フレームとともに、より高速で再生され、２４ｆｐｓで符号化されたビデオコンテンツで０．９６秒の持続時間に４８フレームの表示を許容する。図４の再生速度調整モジュール４１５は、再生速度を上げるように調整して、２秒のコンテンツのこれら９６フレームを１．９２秒で再生できるようにし、５０Ｈｚのディスプレイと正確に同期する。ただし、ビデオの再生を高速化しても、必ずしもオーディオの再生が高速化されるとは限らず、視聴者がこれに気付くことがある。これに対して、ビデオ速度の増加は、オーディオに関しては前述の範囲内（例えば、－１２５ｍｓから＋４５ｍｓの範囲内）に保たれる。

【0074】

図１１Ｂは、ビデオの再生速度が増加したときに、オーディオとビデオがどのように分離されるか（Ｖ－Ａ）を示している。例えば、時間０で、Ａ／Ｖ同期１１５１が発生する。この時点で、オーディオとビデオは完全に同期している。３秒の時間ウィンドウの最初の２秒間（例えば、１１５３で表される期間）にわたり、他の２つのＡ／Ｖ同期が発生する。ただし、元のフレームと重複フレームの表示を表す線１１５２は、これらのフレームの表示がオーディオとゆっくりと同期ずれしていることを示している（例えば、１秒で４０ミリ秒の同期ずれや、２秒で８０ミリ秒の同期ずれ）。理想的には、Ａ／Ｖ同期は新しいフレームごとに０地点で発生する。しかしながら、図１１Ａに示されるように、３秒のウィンドウの３秒目は、２４個の元のフレーム及び２４個の１次複製フレーム、並びに２．０８秒の持続時間で示される６個の２次フレームのみを示す。これらのフレームは、図１１Ｂの期間１１５４で示されるように、よりゆっくりと再生される。再生を遅くすると、オーディオとビデオの同期が徐々に戻り、３秒のウィンドウの終わりまでに、Ａ／Ｖ同期が０地点で再び発生する。この３秒の時間ウィンドウ全体で１５０フレームが表示され（２４＋２４＋２４＋２４＋２４＋２４＋６）、これは５０Ｈｚのディスプレイに提示される１５０サイクルと正確に同期する。

【0075】

したがって、図４のフレームレート変換モジュール４１５の再生速度調整モジュール４１５は、特定の間隔にわたって一部のビデオコンテンツの再生速度を調整及び増加させ、同じ間隔にわたって他のビデオコンテンツの再生速度を低下させることができる。そのため、前記間隔の終わりまでに、オーディオとビデオは同期状態に戻る。このプロセス全体を通して、再生速度が特定の最大速度又は減最遅速度の範囲内で調整されるように、特定の制限が確立及び維持され得る。これらの最遅速度又は最大速度の境界内を維持することにより、視聴しているユーザはビデオ速度の変化に気付くことは無い。むしろ、視聴者の目は単に画像を滑らかな動きとして補間することとなる。

【0076】

場合によっては、再生速度調整モジュール４１５がビデオコンテンツの一部の再生速度を調整するとき、前記調整モジュールは、ビデオコンテンツ及び複製フレームの間隔に関連するプレゼンテーションタイムスタンプ（ＰＴＳ）を各順序で変更する。このような実施形態では、図１１Ｃのチャート１１００Ｃに示されるように、ウィンドウの最後のセクション内の２次複製フレームが固定された間隔を持つことを可能にするために、そのシーケンスは２４：２４：２４である。ＰＴＳは７２フレームにわたって調整される。最初の４８フレームでは、ＰＴＳが下方に調整され、再生が高速化される。次に、フレーム４８の後、ＰＴＳが上方に調整され、再生速度が遅くなり、整合点に戻る。場合によっては、再生速度調整モジュール４１５は、各ＰＴＳのエントリーから時間を加算又は減算する参照用テーブルを作成し、次いで、ビデオコンテンツを再生するときに参照用テーブルを使用する。場合によっては、参照用テーブルに、前記電子ディスプレイでのビデオコンテンツの前記時間間隔の提示されている間に適用されるデルタ値が含まれる。デルタ値は、ビデオコンテンツの前記時間間隔内での各フレームのプレゼンテーションタイムスタンプを調整するために使用される。したがって、参照用テーブルは、ビデオコンテンツ１つの各間隔の再生速度を示すために使用されるデルタ値を格納するものであってもよい。

【0077】

図１１Ａ及び図１１Ｂの例示的な実施形態では、実質的に任意の長さの時間ウィンドウを使用することができ、任意の数の１次又は２次の複製を使用することができることが理解される。場合によっては、２次フレーム（又は重複フレームの２番目のシーケンス）には、少なくとも最小しきい値数の重複フレームが含まれる。この最小しきい値数は、実質的に任意の数であってよく、方針に応じて設定される。最小しきい値数は、例えば、符号化されたフレームレートが異なる場合、ディスプレイのリフレッシュレートが異なる場合、又は他の状況設定や好みに基づいて異なる場合があってもよい。

【0078】

場合によっては、特定のビデオコンテンツの再生速度は、提示されるビデオフレームの種類に基づいて調整される。例えば、一部のビデオコンテンツは、高速モーションビデオ又はその他の効果のために高速でエンコードされる場合があってもよい。時間ウィンドウの異なるセグメントの再生速度は、この種類のビデオコンテンツに対応するように調整することができる。場合によっては、１次複製フレームのみを含むビデオコンテンツの間隔が特定の再生速度で自動的に再生され、２次複製フレームを含むビデオコンテンツの間隔が異なる再生速度で自動的に再生される。したがって、ビデオコンテンツをディスプレイに再生するアプリケーション又はセットトップボックスは、特定の種類の重複フレームタが検出されたときに、再生速度を自動的に調整するものであってもよい。

【0079】

図１２は、ビデオコンテンツの時間間隔が、設定されたＡ／Ｖ同期境界内にあることを確認するためにテストされる実施形態を示す。例えば、図１２のチャート１２００は、ｘ軸に時間を示し、ｙ軸にオーディオ／ビデオ同期の時間値を示している。このテストの実施形態では、ｙ軸は、Ａ／Ｖ同期が最大＋３５ミリ秒進んでいて、最大－１６５ミリ秒遅れている可能性があることを示している。ポイント１２０１で、Ａ／Ｖ同期はしきい値に＋３５ｍｓ近いかそれを超えているため、この時点で同期され、元のビデオフレームをスキップして同期を０に近づける（ビデオは２４フレーム毎秒にて、フレームあたり４２ｍｓ進む）。ポイント１２０２及び１２０３では、Ａ／Ｖ同期もそれぞれの最大しきい値に向かってドリフトする。これらの時点で、ビデオはより速く又はより遅く再生され、元のフレームを繰り返すことによって、オーディオとビデオを所望の同期レベル１２０４に再調整する（ビデオは２４ｆｐｓにて、フレームあたり４２ｍｓ遅れる）。ビデオコンテンツの一部のプレゼンテーションにわたり（例えば、図４の４０７）、コンピュータシステム４０１は、各時間間隔又は特定の時間間隔の提示をテストして、Ａ／Ｖ同期が指定された境界内にあることを確認するものであってもよい。使用された１次複製フレームの数、使用された２次又は３次複製フレームの数、オーディオとビデオ間の同期レベル、又はその他のメトリックを含む様々な品質メトリックが、ビデオコンテンツの再生に関して測定されるのであってもよい。これらのメトリックは、視聴者が、目立ったビデオのフリーズや高速モーション効果のない積極的な視聴体験を可能にするためのフィードバックとして使用されてもよい。

【0080】

いくつかの実施形態では、対応するシステムは、物理プロセッサ及び物理メモリを含む。物理メモリには、物理プロセッサによって実行されると、物理プロセッサに以下を行わせるコンピュータ実行可能命令が含まれる。特定のフレームレートで符号化されているビデオコンテンツの一部にアクセスし、ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートを決定し、ビデオコンテンツのフレームレートを電子ディスプレイのリフレッシュレートと同期させるためにフレームレート変換が適用されるビデオコンテンツの時間間隔を特定し、電子ディスプレイへのビデオコンテンツの特定された時間間隔を提示し、ここで、前記提示は、ビデオコンテンツの特定された時間間隔の最初の第１部分の再生速度の調整が含まれ、特定された間隔の第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、ビデオコンテンツの特定された時間間隔の後続部分である第２部分の再生速度を調整することで、特定された時間間隔の第２部分が、元のビデオフレームと複製フレームの異なるシーケンスである第２シーケンスを用いて再生されるようにする。

【0081】

対応する非一時的なコンピュータ可読媒体は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されると、コンピューティングデバイスにビデオコンテンツの一部にアクセスさせるコンピュータ実行可能命令を含み、ビデオコンテンツは特定のフレームレートで符号化され、ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートが決定され、ビデオコンテンツのフレームレートを電子ディスプレイのリフレッシュレートと同期させるためにフレームレート変換が適用されるビデオコンテンツの時間間隔が特定され、電子ディスプレイへのビデオコンテンツの特定された時間間隔が提示される。前記提示は、ビデオコンテンツの特定された間隔の第１部分の再生速度を調整することで、特定された間隔の第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、ビデオコンテンツの特定された間隔の後続部分である第２部分の再生速度を調整することで、特定された間隔の第２部分が、元のビデオフレームと複製フレームの異なるシーケンスである第２シーケンスを用いて再生されるようにする。

【0082】

したがって、このようにして、ビデオコンテンツは、より長い長さの間隔に配分される。これらのより長い間隔により、元のフレームと複製フレームの異なるバリエーションを可能とする。さらに、再生速度をこれらの間隔で変化させることで、電子ディスプレイでの再生が全体にわたってスムーズで均一になる。本明細書に記載の実施形態は、実質的に任意のソース材料を任意のディスプレイフレームレートに変換するために、実質的にあらゆる国で使用することができる。そのため、これらの実装は、その国でどのようなフレームレートエンコーディングやディスプレイリフレッシュレートが使われているかに関係なく、どの市場のビデオストリーミングプロバイダによっても使用できる。

【0083】

実施例
１．特定のフレームレートで符号化されたビデオコンテンツの一部分にアクセスし、前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートを決定し、前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔を特定し、前記電子ディスプレイに、ビデオコンテンツの前記特定された時間間隔を提示するコンピュータ実行方法であって、前記提示は、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにする、コンピュータ実行方法。

【0084】

２．前記複製フレームの異なるシーケンスである第２シーケンスは、少なくとも最小しきい値の数の複製フレームを含む、請求項１に記載のコンピュータ実行方法。

【0085】

３．ビデオコンテンツの前記特定された間隔の前記第１部分の前記再生速度を調整することは、ビデオコンテンツの前記特定された間隔の前記第１部分の前記再生速度を上げることを含む、請求項１に記載のコンピュータ実行方法。

【0086】

４．ビデオコンテンツの前記特定された間隔の前記第２部分の前記再生速度を調整することは、ビデオコンテンツの前記特定された間隔の前記第２部分の前記再生速度を下げることを含む、請求項１に記載のコンピュータ実行方法。

【0087】

５．前記再生速度は、前記再生速度の特定された最大速度又は最遅速度の範囲内で調整される、請求項１に記載のコンピュータ実行方法。

【0088】

６．再生速度の調整は、前記ビデオコンテンツに関連付けられたプレゼンテーションタイムスタンプの変更を含む、請求項１に記載のコンピュータ実行方法。

【0089】

７．前記特定された時間間隔は１秒より長い、請求項１に記載のコンピュータ実行方法。

【0090】

８．前記特定された時間間隔は少なくとも３秒である、請求項１に記載のコンピュータ実行方法。

【0091】

９．前記再生速度は提示されているビデオフレームの種類に基づいて調整される、請求項１に記載のコンピュータ実行方法。

【0092】

１０．１つ以上の１次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される、請求項９に記載のコンピュータ実行方法。

【0093】

１１．１つ以上の２次複製フレームを含むビデオコンテンツの間隔は、特定された再生速度で自動的に再生される、請求項９に記載のコンピュータ実行方法。

【0094】

１２．複数の前記複製フレームは特定された間隔で繰り返される、請求項１に記載のコンピュータ実行方法。

【0095】

１３．少なくとも１つの物理プロセッサと、コンピュータ実行可能命令を含む物理メモリと、を備えるシステムであって、前記物理プロセッサによって実行されたとき、前記物理プロセッサに対して、特定のフレームレートで符号化されたビデオコンテンツの一部分へのアクセスと、前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートの決定と、前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔の特定と、前記電子ディスプレイへの、ビデオコンテンツの前記特定された時間間隔の提示と、を行わせるシステムであって、前記提示は、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにするシステム。

【0096】

１４．ビデオコンテンツの前記特定された間隔の各部分の前記再生速度は、参照用テーブルに格納される、請求項１３に記載のシステム。

【0097】

１５．ビデオコンテンツの前記特定された間隔は、前記参照用テーブルに示された再生情報に従って、前記電子ディスプレイで再生される、請求項１４に記載のシステム。

【0098】

１６．前記参照用テーブルには、ビデオコンテンツの前記特定された時間間隔が前記電子ディスプレイに提示されている間に適用されて、ビデオコンテンツの前記特定された時間間隔内での各フレームのプレゼンテーションタイムスタンプを調整する、１つ以上のデルタ値を含む、請求項１５に記載のシステム。

【0099】

１７．ビデオコンテンツの前記特定された時間間隔の前記電子ディスプレイでの提示をテストして、前記ビデオコンテンツの再生に関する１つ以上の特定の品質メトリックを検証することをさらに含む、請求項１３に記載のシステム。

【0100】

１８．前記ビデオコンテンツの前記フレームレートは毎秒２４フレームで、前記電子ディスプレイの前記リフレッシュレートは５０Ｈｚである、請求項１２に記載のシステム。

【0101】

１９．前記ビデオコンテンツの前記フレームレートは毎秒２４フレームで、前記電子ディスプレイの前記リフレッシュレートは６０Ｈｚである、請求項１２に記載のシステム。

【0102】

２０．一つ以上のコンピュータ実行可能命令を備える非一時的なコンピュータ可読媒体であって、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたときに、前記コンピューティングデバイスに対して、特定のフレームレートで符号化されたビデオコンテンツの一部分へのアクセスと、前記ビデオコンテンツが表示される電子ディスプレイのリフレッシュレートの決定と、前記ビデオコンテンツの前記フレームレートを前記電子ディスプレイの前記リフレッシュレートと同期させるためにフレームレート変換が適用される前記ビデオコンテンツの時間間隔の特定と、前記電子ディスプレイへの、ビデオコンテンツの前記特定された時間間隔の提示と、を実行させるシステムであって、前記提示は、ビデオコンテンツの前記特定された間隔の第１部分の再生速度を調整することで、前記特定された間隔の前記第１部分が、元のビデオフレームと複製フレームの第１シーケンスとを用いて再生されるようにし、ビデオコンテンツの前記特定された間隔の後続部分である第２部分の再生速度を調整することで、前記特定された間隔の前記第２部分が、前記元のビデオフレームと前記複製フレームの異なるシーケンスである第２シーケンスとを用いて再生されるようにする、非一時的なコンピュータ可読媒体。

【0103】

上記で詳述したように、本明細書で説明及び／又は図示されたコンピューティングデバイス及びシステムは、本明細書で説明されたモジュール内に含まれるものなど、コンピュータ可読命令を実行できる任意の種類又は形態のコンピューティングデバイス又はシステムを広く表す。それらの最も基本的な構成では、これらのコンピューティングデバイスはそれぞれ、少なくとも１つのメモリデバイス及び少なくとも１つの物理プロセッサを含む。

【0104】

いくつかの例では、「メモリデバイス」という用語は、一般に、データ及び／又はコンピュータ可読命令を格納することができる任意の種類又は形態の揮発性又は不揮発性ストレージデバイス又は媒体を指す。一例では、メモリデバイスは、本明細書で説明されるモジュールの１つ又は複数を格納、搭載、及び／又は保持することができる。メモリデバイスの例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の適切なメモリデバイス又はシステムが含まれるが、これらに限定されない。

【0105】

いくつかの例では、「物理プロセッサ」という用語は、一般に、コンピュータ可読命令を解釈及び／又は実行することができる任意の種類又は形態のハードウェア実装処理ユニットを指す。一例では、物理プロセッサは、上記のメモリデバイスに格納された１つ又は複数のモジュールへのアクセス及び／又は変更ができるものであってもよい。物理プロセッサの例としては、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、これらの１つ又は複数の一部、これらの１つ又は複数の変形物又は組み合わせ、及び／又は他の適切な物理プロセッサが含まれるが、これらに限定されない。

【0106】

別個の要素として示されているが、本明細書で説明及び／又は図示されているモジュールは、単一のモジュール又はアプリケーションの一部を表すものであってもよい。さらに、特定の実施形態では、これらのモジュールの１つ又は複数は、コンピューティングデバイスによって実行されると、コンピューティングデバイスに１つ又は複数のタスクを実行させることができる１つ又は複数のソフトウェアアプリケーション又はプログラムを表すものであってもよい。例えば、本明細書に記載及び／又は図示されたモジュールの１つ又は複数は、本明細書に記載及び／又は図示されたコンピューティングデバイス又はシステムの１つ又は複数で実行するように格納及び構成されたモジュールを表すものであってもよい。これらのモジュールの１つ又は複数は、１つ又は複数のタスクを実行するように構成された１つ又は複数の専用コンピュータの全部又は一部を表すものであってもよい。

【0107】

さらに、本明細書で説明される１つ又は複数のモジュールは、データ、物理デバイス、及び／又は物理デバイスの提示をある形式から別の形式に変換するものであってもよい。例えば、本明細書で詳述される１つ又は複数のモジュールは、変換されるデータを受信し、データを変換し、ビデオコンテンツがどのように提示されるかを決定するために変換の結果を出力し、ビデオコンテンツを提示するために変換の結果を使用し、変換の結果を保存して、ビデオコンテンツがどのように提示されたかを示すものであってもよい。追加的又は代替的に、本明細書にて詳述されるモジュールの１つ又は複数は、コンピューティングデバイス上で実行し、コンピューティングデバイス上でデータを格納し、及び／又はコンピューティングデバイスと相互作用することによって、プロセッサ、揮発性メモリ、不揮発性メモリ、及び／又は物理コンピューティングデバイスの他の部分を、ある形態から別の形態に変換するものであってもよい。

【0108】

いくつかの実施形態では、「コンピュータ可読媒体」という用語は、一般に、コンピュータ可読命令を格納又は持ち運ぶことができる任意の形態のデバイス、キャリア、又は媒体を指す。コンピュータ可読媒体の例としては、キャリア波などの透過型媒体、及び磁気記憶媒体（例えば、ハードディスクドライブ、テープドライブ、及びフロッピー（登録商標）ディスク）、光学式記憶媒体（例えば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、及びブルーレイディスク）、電子記憶媒体（例えば、ソリッドステートドライブ及びフラッシュメディア）、及びその他の配信システムが含まれるが、これらに限定されない。

【0109】

本明細書に記載及び／又は図示されているプロセスパラメータ及びステップのシーケンスは、例としてのみ与えられており、必要に応じて変更することができる。例えば、本明細書に図示及び／又は記載されているステップは、特定の順序で示され、又は説明されているが、これらのステップは、必ずしも図示又は説明された順序で実行される必要はない。本明細書に記載及び／又は図示された様々な好ましい方法はまた、本明細書に記載又は図示されたステップの１つ又は複数を省略することができ、又は開示されたものに加えて追加のステップを含めることができる。

【0110】

前述の説明は、当業者が本明細書に開示される好ましい実施形態の様々な態様を最もよく利用できるようにするために提供されたものである。この好ましい説明は、網羅的であること、又は開示された正確な形式に限定されることを意図するものではない。本開示の精神及び範囲から逸脱することなく、多くの修正及び変形が可能である。本明細書に開示される実施形態は、すべての点で例示的であり、限定的ではないと見なされるべきである。本開示の範囲を決定する際には、添付の特許請求の範囲及びそれらの同等物が参照されるべきである。

【0111】

特に断りのない限り、本明細書及び特許請求の範囲で使用される「接続される」及び「結合される」（及びそれらの派生語）という用語は、直接及び間接の両方（すなわち、他の要素又は構成を介して）の接続を可能にするものとして解釈されるべきである。さらに、本明細書及び特許請求の範囲で使用される「ａ」又は「ａｎ」という用語は、「少なくとも１つ」を意味すると解釈されるべきである。そして、使いやすさのために、本明細書及び特許請求の範囲で使用される「含む」及び「持つ」（及びそれらの派生語）という用語は、「備える」という言葉と言い換えが可能であり、同じ意味を有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図11C】

【図12】

【国際調査報告】