特許 7665592 適応的で且つパーソナル化されたメディア符号化及び配信のためのパーソナル化された感度測定及び再生要因

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-11

(45)【発行日】2025-04-21

(54)【発明の名称】適応的で且つパーソナル化されたメディア符号化及び配信のためのパーソナル化された感度測定及び再生要因

(51)【国際特許分類】

   H04N 21/475 20110101AFI20250414BHJP

   H04N 21/462 20110101ALI20250414BHJP

【ＦＩ】

H04N21/475

H04N21/462

【請求項の数】 13

(21)【出願番号】P 2022506701

(86)(22)【出願日】2020-07-30

(65)【公表番号】

(43)【公表日】2022-11-02

(86)【国際出願番号】 US2020044241

(87)【国際公開番号】W WO2021025946

(87)【国際公開日】2021-02-11

【審査請求日】2023-07-26

(31)【優先権主張番号】62/882,068

(32)【優先日】2019-08-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/056,942

(32)【優先日】2020-07-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】キム，ドー－スク

(72)【発明者】

【氏名】マッカーシー，ショーン トーマス

(72)【発明者】

【氏名】ダリー，スコット

(72)【発明者】

【氏名】リードミラー，ジェフリー

(72)【発明者】

【氏名】マルフェ，リュドヴィチ クリストーフ

(72)【発明者】

【氏名】ウルマン，ラファエル マルク

(72)【発明者】

【氏名】クラウド，ジェイソン マイケル

【審査官】富樫 明

(56)【参考文献】

【文献】国際公開第２０１６／２０５６９７（ＷＯ，Ａ１）

【文献】特開２０１１－０６５６５２（ＪＰ，Ａ）

【文献】大島 正太、秋吉 政徳，２視点用ハイブリッド画像生成の検討，電気学会研究会資料，日本，一般社団法人電気学会，2018年11月10日，IS-18-058，41-44

【文献】Aude Olivia,外２名，Hybrid images，ACM Transactions on Graphics，Issue 3, Volume 25，Association for Computing Machinery，2006年07月01日，527－532，https://doi.org/10.1145/1141911.1141919

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

再生装置にメディアを配信するための方法であって、当該方法は、
第１の再生装置により、第１のテスト測定セッションの間に、第１のユーザによって視聴される第１のテストメディアを出力することと、
前記第１のユーザから第１のユーザ入力を受信することであって、該第１のユーザ入力は前記第１のユーザによる前記第１のテストメディアの第１の知覚に関連し、前記第１のテストメディアに関する前記第１のユーザの第１のパーソナル化された体感品質を示す、ことと、
１つ以上の電子プロセッサを用いて、前記第１のユーザ入力に基づいて、前記第１のユーザの及び／又は前記第１のユーザが前記第１の再生装置を視聴している環境の１つ以上の視聴特性を含む第１のパーソナル化された感度プロファイルを生成することと、
前記１つ以上の電子プロセッサを用いて、前記第１のパーソナル化された感度プロファイルに少なくとも部分的に基づいて、前記第１のユーザの第１のパーソナル化された体感品質を保ちながら、ネットワークを介した前記第１の再生装置へのメディア配信の効率を高めるための第１のメディアパラメータを決定することと、
メディアサーバにより、前記ネットワークを介して、前記第１のメディアパラメータに従って、前記第１の再生装置に第１の出力メディアを提供することであって、該第１の出力メディアは前記第１の再生装置を用いて出力されるように構成されている、ことと、
を含み、
前記第１のテストメディアは複数のハイブリッド画像を含み、前記第１のユーザ入力は複数のユーザ入力を含み、前記第１のユーザ入力のそれぞれは前記複数のハイブリッド画像のそれぞれのハイブリッド画像に応答して受信され、前記複数のハイブリッド画像のそれぞれは、前記第１のユーザの視聴能力及び環境要因に依存して異なる解釈を有する傾向がある静止画像又は空間周波数範囲及び／又は視聴距離の関数として変化する、前記第１のユーザに対して２つ以上の異なる解釈をもたらす静止画像であり、
前記第１のメディアパラメータを決定することは、
前記１つ以上の電子プロセッサを用いて、メモリから、前記ネットワークのリソース可用性及び再生システムパラメータのうちの少なくとも１つに基づいて、メディアストリーミングを制御するように構成された一般的オブジェクティブモデルを読み出すことと、
前記１つ以上の電子プロセッサを用いて、前記一般的オブジェクティブモデルを、前記第１のパーソナル化された感度プロファイルを用いてパーソナル化されたオブジェクティブモデルに変換することと、
前記メディアサーバにより、前記ネットワークを介して、前記パーソナル化されたオブジェクティブモデルに従って、前記第１の再生装置に前記第１の出力メディアを提供することと、
を含む、方法。

【請求項2】

前記第１のメディアパラメータに従って、前記第１の再生装置に前記第１の出力メディアを提供することは、前記第１のユーザの第１のパーソナル化された体感品質を低下させることなく、前記第１の出力メディアを前記第１の再生装置に提供するために前記ネットワークが低減された帯域幅を用いることをもたらす、請求項１に記載の方法。

【請求項3】

第２の再生装置により、第２のテスト測定セッションの間に、第２のユーザによって視聴される第２のテストメディアを出力することと、
前記第２のユーザから第２のユーザ入力を受信することであって、該第２のユーザ入力は前記第２のユーザによる前記第２のテストメディアの第２の知覚に関連し、前記第２のテストメディアに関する前記第２のユーザの第２のパーソナル化された体感品質を示し、該第２のパーソナル化された体感品質は、前記第２のユーザが、前記第１の再生装置の前記第１のユーザよりもメディアの品質の低下に敏感であることを示す、ことと、
前記１つ以上の電子プロセッサを用いて、前記第２のユーザ入力に基づいて、前記第２のユーザの及び／又は前記第２のユーザが前記第２の再生装置を視聴している環境の１つ以上の視聴特性を含む第２のパーソナル化された感度プロファイルを生成することと、
前記１つ以上の電子プロセッサを用いて、前記第２のパーソナル化された感度プロファイルに少なくとも部分的に基づいて、前記第２の再生装置のための第２のメディアパラメータを特定することと、
前記１つ以上の電子プロセッサを用いて、前記ネットワークを介して、前記第２のメディアパラメータに従って、前記第２の再生装置に第２の出力メディアを提供することと、
をさらに含み、
前記第１のメディアパラメータ及び前記第２のメディアパラメータは、前記第１の再生装置への前記第１の出力メディアの提供が、前記ネットワークのリソースの第１の使用量が前記第２の再生装置への前記第２の出力メディアの提供に関する前記ネットワークのリソースの第２の使用量よりも低くなるように決定され、
前記第１のユーザの第１のパーソナル化された体感品質の第１のパーセンテージは、前記第２のユーザの第２のパーソナル化された体感品質の第２のパーセンテージと略同じレベルで維持される、請求項１又は２に記載の方法。

【請求項4】

前記１つ以上の電子プロセッサは、前記第１の再生装置の第１の電子プロセッサ、前記第２の再生装置の第２の電子プロセッサ及び前記ネットワーク又は前記メディアサーバに関連する第３の電子プロセッサのうちの少なくとも１つを含む、請求項３に記載の方法。

【請求項5】

前記１つ以上の電子プロセッサを用いて、
第１のソース画像をローパスフィルタ処理してローパスフィルタ処理されたソース画像を作成することと、
第２のソース画像をハイパスフィルタ処理してハイパスフィルタ処理されたソース画像を作成することと、
前記ローパスフィルタ処理されたソース画像と、前記ハイパスフィルタ処理されたソース画像とを互いに重ね合わせて前記ハイブリッド画像を作成することと、
により、各ハイブリッド画像を生成すること、をさらに含み、
前記ローパスフィルタ処理されたソース画像又は前記ハイパスフィルタ処理されたソース画像のいずれかが、前記第１のユーザの及び／又は前記環境の前記１つ以上の視聴特性に依存して、前記第１のユーザによって優勢であると知覚される、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

前記第１のテストメディアを出力することは、
前記第１の再生装置により、前記第１のユーザによって視聴される第１のハイブリッド画像を出力することと、
前記第１のユーザからの前記第１のユーザ入力を受信することであって、前記第１のユーザ入力は前記第１のユーザによる前記第１のハイブリッド画像の第１の知覚に関する、ことと、
前記第１の再生装置により、前記第１のユーザによって視聴される第２のハイブリッド画像を出力することであって、前記第２のハイブリッド画像を作成するために用いられる前記ローパスフィルタ処理及び前記ハイパスフィルタ処理のうちの少なくとも一方の遮断周波数は、前記第１のユーザによる前記第１のハイブリッド画像の前記第１の知覚に関連する前記第１のユーザ入力に基づく、ことと、
を含む、請求項５に記載の方法。

【請求項7】

前記第１のテストメディアを出力することは、
前記１つ以上の電子プロセッサを用いて、メモリから、前に記憶されたパーソナル化された感度プロファイルを読み出すことと、
前記１つ以上の電子プロセッサを用いて、前記前に記憶されたパーソナル化された感度プロファイルに含まれる１つ以上の視聴特性に基づいて、前記第１のテストメディアを生成することと、
を含む、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

前記前に記憶されたパーソナル化された感度プロファイルを読み出すことは、
前記１つ以上の電子プロセッサを用いて、前記第１のユーザの特性、前記第１の再生装置の特性及び前記第１のユーザが前記第１の再生装置を見ている環境の特性のうちの少なくとも１つを含む前記第１のテスト測定セッションの特性を特定することと、
前記１つ以上の電子プロセッサを用いて、複数の前に記憶されたパーソナル化された感度プロファイルから、前記前に記憶されたパーソナル化された感度プロファイルを、前記第１のテスト測定セッションの特性と同じ特性のうちの１つ以上を含む、前記前に記憶されたパーソナル化された感度プロファイルに基づいて識別することと、
を含む、請求項７に記載の方法。

【請求項9】

前記一般的オブジェクティブモデルを前記パーソナル化されたオブジェクティブモデルに変換することは、前記第１のパーソナル化された感度プロファイルに基づいてパーソナル化されたコントラスト感度関数（ＣＳＦ）を作成するために、前記一般的オブジェクティブモデルによって用いられる理想的なＣＳＦを変換すること及びスケーリングすることのうちの少なくとも一方を含む、請求項１乃至８のいずれか一項に記載の方法。

【請求項10】

前記第１のユーザの及び／又は前記環境の前記１つ以上の視聴特性は、前記第１のユーザと前記第１の再生装置のディスプレイとの間の視聴距離、前記第１のユーザが前記ディスプレイを見ている環境における照明及び前記第１のユーザの眼の視覚感度のうちの少なくとも１つを含む、請求項１乃至９のいずれか一項に記載の方法。

【請求項11】

前記再生装置が位置する前記環境内の環境センサを用いて、環境条件を特定すること、をさらに含み、
前記第１のユーザの及び／又は前記環境の前記１つ以上の視聴特性を含む前記第１のパーソナル化された感度プロファイルを生成することは、前記１つ以上の電子プロセッサを用いて、前記第１のパーソナル化された感度プロファイルが前記環境条件を含むように前記第１のパーソナル化された感度プロファイルを生成することを含む、請求項１乃至１０のいずれか一項に記載の方法。

【請求項12】

電子コンピュータ装置であって、
ディスプレイを含む第１の再生装置であって、該ディスプレイは第１のユーザにメディアを出力するように構成されている、第１の再生装置と、
前記ディスプレイに通信可能に連結された１つ以上の電子プロセッサと、
を含み、
前記１つ以上の電子プロセッサは、
前記第１の再生装置により、第１のテスト測定セッションの間に、前記第１のユーザによって視聴される第１のテストメディアを出力することと、
前記第１のユーザから第１のユーザ入力を受信することであって、該第１のユーザ入力は前記第１のユーザによる前記第１のテストメディアの第１の知覚に関連し、前記第１のテストメディアに関する前記第１のユーザの第１のパーソナル化された体感品質を示す、ことと、
前記第１のユーザ入力に基づいて、前記第１のユーザの及び／又は前記第１のユーザが前記第１の再生装置を視聴している環境の１つ以上の視聴特性を含む第１のパーソナル化された感度プロファイルを生成することと、
前記第１のパーソナル化された感度プロファイルに少なくとも部分的に基づいて、前記第１のユーザの第１のパーソナル化された体感品質を保ちながら、ネットワークを介した前記第１の再生装置へのメディア配信の効率を高めるための第１のメディアパラメータを決定することと、
メディアサーバにより、前記ネットワークを介して、前記第１のメディアパラメータに従って、前記第１の再生装置に第１の出力メディアを提供することであって、該第１の出力メディアは前記第１の再生装置を用いて出力されるように構成されている、ことと、
を行うように構成され、
前記第１のテストメディアは複数のハイブリッド画像を含み、前記第１のユーザ入力は複数のユーザ入力を含み、前記第１のユーザ入力のそれぞれは前記複数のハイブリッド画像のそれぞれのハイブリッド画像に応答して受信され、前記複数のハイブリッド画像のそれぞれは、前記第１のユーザの視聴能力及び環境要因に依存して異なる解釈を有する傾向がある静止画像又は空間周波数範囲及び／又は視聴距離の関数として変化する、前記第１のユーザに対して２つ以上の異なる解釈をもたらす静止画像であり、
前記第１のメディアパラメータを決定することは、
前記１つ以上の電子プロセッサを用いて、メモリから、前記ネットワークのリソース可用性及び再生システムパラメータのうちの少なくとも１つに基づいて、メディアストリーミングを制御するように構成された一般的オブジェクティブモデルを読み出すことと、
前記１つ以上の電子プロセッサを用いて、前記一般的オブジェクティブモデルを、前記第１のパーソナル化された感度プロファイルを用いてパーソナル化されたオブジェクティブモデルに変換することと、
前記メディアサーバにより、前記ネットワークを介して、前記パーソナル化されたオブジェクティブモデルに従って、前記第１の再生装置に前記第１の出力メディアを提供することと、
を含む、電子コンピュータ装置。

【請求項13】

前記１つ以上の電子プロセッサは、前記第１の再生装置の第１の電子プロセッサ及び前記ネットワーク又は前記メディアサーバに関連する第２の電子プロセッサのうちの少なくとも１つを含む、請求項１２に記載の電子コンピュータ装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２０年７月２７日に出願された米国仮特許出願第６３／０５６９４２号及び２０１９年８月２日に出願された米国仮特許出願第６２／８８２０６８号の利益を主張し、双方の出願はその全体が参照により本願に組み込まれる。

【0002】

本願は、概して、ユーザによる視聴のためにユーザ装置によってビジュアルメディアを表示するために、該ユーザ装置にネットワークを介してビジュアルメディアを配信することに関する。

【発明の概要】

【課題を解決するための手段】

【0003】

本開示の様々な態様は、個別のセンサなしで多くの場合収集される再生側の情報に基づいて、パーソナル化されたアダプティブなメディア符号化及び配信を提供する装置、システム及び方法に関する。

【0004】

本開示の一態様では、再生装置にメディアを配信するための方法が提供される。当該方法は、第１の再生装置を用いて、第１のテスト測定セッションの間に、第１のユーザによって視聴される第１のテストメディアを出力することを含み得る。当該方法は、前記第１のユーザから第１のユーザ入力を受信することをさらに含み得る。該第１のユーザ入力は前記第１のユーザによる前記第１のテストメディアの第１の知覚に関連し、前記第１のテストメディアに関する前記第１のユーザの第１のパーソナル化された体感品質を示し得る。当該方法は、１つ以上の電子プロセッサを用いて、前記第１のユーザ入力に基づいて、前記第１のユーザの１つ以上の視聴特性を含む第１のパーソナル化された感度プロファイルを生成することをさらに含み得る。当該方法は、前記１つ以上の電子プロセッサを用いて、前記第１のパーソナル化された感度プロファイルに少なくとも部分的に基づいて、第１のメディアパラメータを決定することをさらに含み得る。該第１のメディアパラメータは、前記第１のユーザの第１のパーソナル化された体感品質を保ちながら、ネットワークを介した前記第１の再生装置へのメディア配信の効率を高めるために決定され得る。当該方法は、前記ネットワークを介して、前記第１のメディアパラメータに従って、前記第１の再生装置に第１の出力メディアを提供することをさらに含み得る。該第１の出力メディアは前記第１の再生装置を用いて出力されるように構成され得る。

【0005】

本開示の別の態様では、ディスプレイを含む第１の再生装置を含み得る電子コンピュータ装置が提供される。該ディスプレイは第１のユーザにメディアを出力するように構成され得る。当該電子コンピュータ装置は前記ディスプレイに通信可能に連結された１つ以上の電子プロセッサも含み得る。前記１つ以上の電子プロセッサは、前記第１の再生装置を用いて、第１のテスト測定セッションの間に、前記第１のユーザによって視聴される第１のテストメディアを出力するように構成されうる。前記１つ以上の電子プロセッサは、前記第１のユーザから第１のユーザ入力を受信するようにさらに構成され得る。該第１のユーザ入力は前記第１のユーザによる前記第１のテストメディアの第１の知覚に関連し、前記第１のテストメディアに関する前記第１のユーザの第１のパーソナル化された体感品質を示し得る。前記１つ以上の電子プロセッサは、前記第１のユーザ入力に基づいて、前記第１のユーザの１つ以上の視聴特性を含む第１のパーソナル化された感度プロファイルを生成するようにさらに構成され得る。前記１つ以上の電子プロセッサは、前記第１のパーソナル化された感度プロファイルに少なくとも部分的に基づいて、第１のメディアパラメータを決定するようにさらに構成され得る。該第１のメディアパラメータは、前記第１のユーザの第１のパーソナル化された体感品質を保ちながら、ネットワークを介した前記第１の再生装置へのメディア配信の効率を高めるために決定され得る。前記１つ以上の電子プロセッサは、前記ネットワークを介して、前記第１のメディアパラメータに従って、前記第１の再生装置に第１の出力メディアを提供するようさらに構成され得る。該第１の出力メディアは前記第１の再生装置を用いて出力されるように構成され得る。

【0006】

本開示の別の態様では、再生装置にハイブリッド画像を表示するための方法が提供される。当該方法は、電子コンピュータ装置の１つ以上の電子プロセッサを用いて、メディアをストリーミングするように構成されたメディアサーバ及びネットワークによってサポートされるメディアパラメータの第１の値を決定することを含み得る。当該方法は、前記１つ以上の電子プロセッサを用いて、前記メディアサーバ及び前記ネットワークによってサポートされる前記メディアパラメータの第２の値を決定することをさらに含み得る。当該方法は、前記１つ以上の電子プロセッサを用いて、前記メディアパラメータの第１の値及び前記メディアパラメータの第２の値に基づいて、前記ハイブリッド画像が前記メディアパラメータの第１の値に対応する第１の解釈及び前記メディアパラメータの第２の値に対応する第２の解釈を含むように前記ハイブリッド画像を生成すること及び選択することの少なくとも一方をさらに含み得る。当該方法は、前記再生装置のディスプレイに前記ハイブリッド画像を表示することをさらに含み得る。

【0007】

実施形態の他の態様は、詳細な説明及び添付の図面を考慮することにより明らかになる。

【図面の簡単な説明】

【0008】

【図1】図１は、本明細書で説明する実施形態に係る、例示のアダプティブビットレート（ＡＢＲ）ベースのメディア符号化及び配信システムを示す。

【図2】図２は、本明細書で説明する一部の実施形態に係る、テスト測定セッションの間に個別化／パーソナル化された視聴特性を特定するように構成された、アダプティブビットレート（ＡＢＲ）ベースのメディア符号化及び配信システムの一部を示す。

【図3】図３は、本明細書で説明する一部の実施形態に係る、テスト測定セッションの間に個別化／パーソナル化された視聴特性を特定するように構成された、アダプティブビットレート（ＡＢＲ）ベースのメディア符号化及び配信システムの一部を示す。

【図4】図４は、本明細書で説明する実施形態に係る、モデル変換を介してパーソナル化されたオブジェクティブモデルに変換されている一般的オブジェクティブモデルのブロック図を示す。

【図5】図５は、本明細書で説明する実施形態に係る、コントラスト感度と空間周波数との例示の関係を示す、２つの異なるコントラスト感度関数（ＣＳＦ）を含むグラフを示す。

【図6】図６は、本明細書で説明する実施形態による、変更されたアダプティブビットレート（ＡＢＲ）ベースのメディア符号化及び配信システムを示す。

【図7】図７は、本明細書で説明する実施形態に係る、図６の再生システムのハードウェアブロック図である。

【図8】図８は、本明細書で説明する実施形態に係る、図６のメディアサーバのブロック図である。

【図9】図９は、本明細書で説明する実施形態に係る、図６の再生システムにメディアを配信するための方法のフローチャートを示す。

【図10ABC】図１０Ａ～図１０Ｃは、本明細書で説明する実施形態に係る、３つの異なるサイズの例示のハイブリッド画像を示す。

【図10DE】図１０Ｄ～図１０Ｅは、本明細書で説明する実施形態に係る、３つの異なるサイズの例示のハイブリッド画像を示す。

【図11】図１１Ａ及び図１１Ｂは、本明細書で説明する実施形態に係るテスト測定セッションの間の多段階バイナリツリー探索におけるハイブリッド画像をテストメディアとして用いる例示の最適ＡＢＲラダー推定のグラフを示す。

【図12】図１２Ａ及び図１２Ｂは、本明細書で説明する実施形態に係る、メディアをストリーミングするために既存のストリーミング方法を用いる場合対図９の方法を用いる場合のネットワークの例示の帯域幅を示す。

【図13A】図１３Ａは、本明細書で説明する実施形態に係る、図９の方法がＱｏＥに悪影響を及ぼすことなくどのように固定容量ネットワーク上でより多くのユーザ／加入者がメディアをストリーミングできるようにするかの別の例を示す。

【図13B】図１３Ｂは、本明細書で説明する実施形態に係る、図９の方法がＱｏＥに悪影響を及ぼすことなくどのように固定容量ネットワーク上でより多くのユーザ／加入者がメディアをストリーミングできるようにするかの別の例を示す。

【発明を実施するための形態】

【0009】

ビジュアルメディア（例えば、画像、ビデオなど）は、ユーザによって視聴されるために、１つ以上の通信ネットワークを介して多くの異なる種類の再生システム／装置（例えば、テレビ、コンピュータ、タブレット、スマートフォン等）に配信可能である。ビジュアルメディア配信チェーンにおいて、アダプティブビットレート（ＡＢＲ）ストリーミングは、ネットワーク条件、再生バッファ状態、共有ネットワーク容量及びネットワークの影響を受ける他の要因に基づくメディアラダー上のビットレート及び解像度を適応的に選択することを通して、改善されたネットワークリソース管理を可能にする。ＡＢＲストリーミングの他に、ビットレート、フレームレート、解像度等の上流のビデオエンコーダ／トランスコーダ／トランスレータの１つ以上のメディアパラメータを制御するために、（符号化方法又はソース符号化方法も含み得る）他のメディア配信方法も同様に用いられ得る。

【0010】

しかしながら、これまで、ＡＢＲストリーミング等のメディア配信方法は、ネットワークリソース管理をさらに改善するために、再生システム／装置に関連する要因、ユーザの視聴能力に関連する要因及びユーザがビジュアルメディアを視聴する環境に関連する要因等の追加の要因を考慮してこなかった。むしろ、視聴者の実際の体感品質（ＱｏＥ）に大きく影響を及ぼす多様な視聴条件及び人間の視覚性能の変動が存在するにもかかわらず、コンテンツ処理、符号化、配信、復号化及び後処理を行う場合に、これらの要因は、異なるユーザ／環境にわたって理想的で且つ一様であると通常仮定されている。

【0011】

例えば、短距離視聴は、低解像度と高解像度のビデオコンテンツを区別することにおいて、ユーザをより敏感にすることがある。また、異なる視聴者は、限定されないが、屈折異常（矯正用レンズを装着している場合であっても）、硝子体液中の浮遊物の蓄積、加齢に関連する水晶体による色吸収の変化、白内障又は黄斑変性等を含む要因のために、異なる視覚感度を有し得る。例えば、ユーザ／視聴者のコントラスト感度は、屈折誤差の増加、疾患の増加及び／又は加齢によって低下し得る。加えて、個人の個人的なＱｏＥは、特にモバイル環境において、場所によって、また時によって変化し得る。

【0012】

各ユーザ／視聴者に対するこれらの視覚感度要因の検出は、実世界のエンドツーエンドシステムにおけるパーソナル化されたＱｏＥを推定するのに役立ち、ＱｏＥを改善し且つメディア配信効率をさらに改善する機会を提供する。例えば、メディア配信システムは、各ユーザ／視聴者のパーソナル化されたＱｏＥを維持しながら、ユーザ／視聴者の視力又はテレビからの視聴距離にマッチするように、同じビデオのカスタムフィルタ処理されたバージョンを送信することによって帯域幅を節約できる。

【0013】

いくつかの研究では、メディアストリーミングにおける最適なビットレート及び解像度を選択すること又はメディア前処理、コード化及び後処理に情報をフィードバックすることを目的として、様々なセンサを用いて再生側の要因を収集することが提案されている。しかしながら、再生側の情報を収集するために様々なセンサを用いるアプローチは、多くの再生システム（例えば、テレビ）では不十分で且つ非現実的である。そのようなセンサは、ユーザの固有の視力又は感度を測定しないため不十分である。これは、必要なセンサ及びメタデータプロトコルをテレビに備えるために、消費者ディスプレイ業界全体にわたってテレビ製造業者を動機付け、協調することは過度な負担であるため非現実的である。既に多くの利用可能なセンサを有するモバイル装置の場合、この負担は少ないが、特にセンサがユーザについてのビジュアル情報を収集する場合にユーザのプライバシーが依然懸念となる。再生側の情報を収集するのにセンサを利用する既存のアプローチの別の問題は、異なるモデル／ブランドのテレビは、それら独自のアップスケーリング及び後処理アルゴリズムを有し、ユーザは、自分の好みに合わせて、輝度、コントラスト又は動きの平滑化等の様々なテレビ設定を調整し得ることである。

【0014】

上記の技術的課題に対処するために、本明細書で説明する方法、装置及びシステムは、再生装置の特性及びパーソナル化された視覚感度要因に関連するパラメータを、再生装置へのビジュアルメディアの送信を制御するように構成された上流装置と共有するための新たなメカニズム又はプロトコルを含む。本明細書で説明する方法、装置及びシステムは、多くの場合個別のセンサを用いることなく収集された再生側の情報に基づく、パーソナル化された適応的なメディア配信を提供する。加えて、収集された再生側の情報は、異なるユーザ及び／又は異なる視聴環境のためのパーソナル化されたＱｏＥを示し得る。本明細書で説明する方法、装置及びシステムは、各ユーザのためのパーソナル化されたＱｏＥを維持しながら、ネットワークリソース管理／メディア配信効率をさらに改善する。

【0015】

図１は、例示のアダプティブビットレート（ＡＢＲ）ベースのメディア符号化及び配信システム１００を示す。システム１００は、ネットワーク１１５を介して再生システム１１０（すなわち、再生装置）にメディアを提供するメディアサーバ１０５を含む。図１は単一の再生システム１１０を示しているが、メディアサーバ１０５は、追加の再生システム１１０に同じ又は異なるメディアを同時にストリーミングするように構成され得る。

【0016】

再生システム１１０は、テレビ、タブレット、スマートフォン、コンピュータ等の多くの異なる種類の再生システムを含み得る。一部の実施形態では、再生システム１１０は、バッファ／デコーダ１２０及び再生レンダラ１２５を含む。バッファ／デコーダ１２０は、ネットワーク１１５を介してサーバ１０５からメディアを受信し得る。バッファ／デコーダ１２０は受信したメディアをバッファし、受信したメディアが再生レンダラ１２５によって出力されるように復号化し得る。バッファ／デコーダ１２０は、図７に関して以下でさらに詳細に説明するように、再生システム１１０の電子プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ又は他の好適な処理装置）を含み得る。再生レンダラ１２５は、画像及び／又はビデオを表示するように構成された出力装置を含み得る。例えば、再生レンダラ１２５は、図７に関して以下でさらに詳細に説明するように、発光ダイオード（ＬＥＤ）ディスプレイ及び／又はタッチスクリーンディスプレイを含む。再生システム１１０は環境１３０内に位置する。ユーザ１３５も環境１３０内に位置し、再生システム１１０によって出力されるメディアを視聴し得る。

【0017】

図１に示すように、一部の実施形態では、メディアサーバ１０５は、メディアサーバ１０５の電子プロセッサによって実施されるＡＢＲラダー１３７を含む。一部の実施形態では、メディアサーバ１０５は、再生システム１１０から１つ以上のＡＢＲ要求１４０を受信し、ネットワーク１１５を介したメディアサーバ１０５から再生システム１１０へのメディアのＡＢＲストリーミングのビットレート／品質決定を調整する。例えば、再生システム１１０は、記憶された一般的オブジェクティブモデル（generic objective model）１４５（例えば、装置種類、表示解像度、ＧＥＯベースのスタートアップ解像度又はＩＴＵ－Ｔ Ｐ.１２０３等のより包括的なモデル）をメモリから読み出し及び／又は利用して、一般的オブジェクティブモデル１４５を用い、ネットワーク接続性メトリック、メディアプレーヤバッファ状態、コーデック、ビットレート、初期ロード遅延及び失速イベント等のストリーミングセッション及び再生に関連する性能情報を、ディスプレイ解像度、スクリーンサイズ、再生装置の種類等の再生装置１１０の情報と共に観察／測定する。一部の実施形態では、ストリーミングセッション及び再生関連性能情報を収集するために、パケットヘッダ情報及び部分的／完全なビットストリーム構文解析も用いられ得る。ストリーミング及び再生情報は、メディアストリーミング及びメディアの再生の一般的体感品質（ＱｏＥ）推定を生成するために用いられる。このＱｏＥ推定は、ＡＢＲ要求１４０に影響を与えるために再生システム１１０によって用いられ得る。例えば、再生システム１１０は、シームレスな再生を維持することを目的として、ローカルに生成された帯域幅推定、バッファサイズ、ラウンドトリップ時間等に基づいて、メディアセグメントに対する各ＡＢＲ要求１４０を周期的に決定する。つまり、一般的オブジェクティブモデル１４５は、再生システム２１０が、ネットワーク１１５のリソースの利用可能性及び再生システムパラメータのうちの少なくとも１つに基づいてメディアストリーミングを制御できるようにするように構成され得る。

【0018】

一部の場合では、再生システム１１０は、メディア内の同じ期間を表すが、ＡＢＲラダー１３７の異なるビットレートで符号化された２つ以上のセグメントを同時に要求する。そのような戦略は非効率的な場合があり、再生システム１１０がシームレスな再生のために必要とする以上のデータを要求することをしばしばもたらす。そのような戦略は、ユーザ１３５によって知覚することができない高品質なメディアを提供する解像度／ビットレート／フレームレートの組み合わせを再生システム１１０がＡＢＲラダー１３７に要求することにもつながる。つまり、配信される解像度／ビットレート／フレームレートをユーザ１３５の感度閾値を超えて増やすことを試みる既存のＡＢＲ選択ロジックは、ユーザ１３５のＱｏＥの増大に変換されない。ユーザ１３５のためのＱｏＥ増大に変換されないことに加えて、要求された解像度／ビットレート／フレームレートの組み合わせは、より多くのネットワークリソース（例えば、より多くの帯域幅）を使うことがあり、及び／又は追加の費用をユーザ１３５が負担することになり得る（例えば、再生システム１１０に提供されるデータ量に基づいてメディアサーバ１０５のサービスプロバイダが課金する場合)。

【0019】

既存のＡＢＲ選択ロジックの上述の問題は、ＡＢＲ要求１４０を決定する際に一般的オブジェクティブモデル１４５がパーソナル化されたＱｏＥを考慮しないことによってもたらされる。例えば、一般的オブジェクティブモデル１４５は、環境１３０内の照明、ユーザ１３５の視聴距離（すなわち、ユーザ１３５と再生レンダラ１２５との間の距離）、例えば空間周波数に基づくユーザ１３５の目の視覚感度及び能力等の個別化／パーソナル化された視覚特性を考慮しないことがある。むしろ、既存のＡＢＲ選択技術は、これらの特性が、実際には、環境及び／又はユーザ間で大きく変化し、再生システム１１０によって表示されているメディアを知覚するためにユーザ１３５のＱｏＥに影響を与え得る場合、各環境１３０及び各ユーザ１３５に対して同じであると仮定する。

【0020】

図１及びその対応する説明は、ＡＢＲラダー１３７及びＡＢＲ選択技術を参照するが、ＡＢＲ関連メディア配信は、メディアサーバ１０５及びネットワーク１１５等の上流装置によって実施され得る一般的なメディア配信方法を表すことを意図した例にすぎない。ＡＢＲラダー１３７及びＡＢＲ選択技術も、本願全体を通して、追加の図に関して例示のメディア配信方法として用いられる（例えば、図２、図３及び図１１Ａ～図１１Ｂ参照）。しかしながら、本明細書で開示する特徴は、ＡＢＲラダー１３７又はＡＢＲ選択技術に基づかない多数の異なるメディア配信方法（符号化方法又はソース符号化方法も含み得る）のいずれか１つに適用され得る。つまり、本明細書で説明する特徴は、ビットレート、フレームレート、解像度等の上流のビデオエンコーダ／トランスコーダ／トランスレータの任意のメディアパラメータを制御するために同様に用いられ得るＡＢＲストリーミング以外の他のメディア配信方法と共に用いられ得る。さらに又は代替的に、本明細書で説明する特徴は、メディアがストリーミングされる前にメディアを符号化／処理するために用いられる符号化方法又はソース符号化方法と共に用いられ得る。本明細書では、これらの符号化方法及びソース符号化方法を概してメディア配信方法と呼び得る。一部の実施形態では、メディアパラメータは、ネットワーク１１５を介したメディアサーバ１０５から再生システム２１０へのメディア配信に影響するパラメータ（すなわち、上流メディアパラメータ）を含む（図２、図３及び図６参照）。一部の実施形態では、メディアパラメータは、再生システム２１０の輝度設定及び／又はコントラスト設定等の再生システムパラメータ（すなわち、下流パラメータ）をさらに又は代替的に含む。

【0021】

図２及び図３は、一部の実施形態に係る、テスト測定セッションの間に個別化／パーソナ化された視聴特性を特定するように構成された、アダプティブビットレート(ＡＢＲ)ベースのメディア符号化及び配信システム２００及び３００の一部を示す。テスト測定セッションは、追加の情報を収集するために別個のセンサを用いて（図３参照）または用いることなしに（図２参照）パーソナル化された視聴特性をさらに考慮することによりＡＢＲ選択ロジック（及び／又は他のメディア配信方法）の上記の課題に対処するために用いられ得る。

【0022】

図２は、図１の再生システム１１０と同様のいくつかのコンポーネントを含む再生システム２１０を含む。例えば、再生システム２１０は、バッファ／デコーダ１２０及び再生レンダラ１２５を含む。図２に示していないが、再生システム２１０は、図１に示すメディアサーバ１０５及びネットワーク１１５と同様に、ネットワークを介してメディアサーバに通信可能に連結され得る。しかしながら、図１に示す一般的オブジェクティブモデル１４５を含む代わりに、再生システム２１０は、多数の異なるユーザ１３５及び／又は環境１３０のためにパーソナル化された（すなわち、個別化された）感度プロファイル（ＰＳＰ）２１５を生成し得る。これらのパーソナル化された感度プロファイル２１５は、再生システム２１０にメディアをストリーミングするメディアサーバにＡＢＲ要求（又は他のメディア配信方法に関する他の要求）を提供するために用いられ得る。以下では、パーソナル化された感度プロファイル２１５は再生システム２１０（例えば、再生システム２１０の電子プロセッサ）によって生成されるものとして説明するが、一部の実施形態では、パーソナル化された感度プロファイル２１５の生成及び記憶は、本明細書でさらに詳細に説明するように、メディアサーバにおける電子プロセッサ、遠隔クラウドコンピューティングクラスタの電子プロセッサ又はそれらの組み合わせによってさらに又は代替的に行われ得る。

【0023】

パーソナル化された感度プロファイル２１５を生成するために、再生システム２１０は、テストメディア２２５に対するユーザ応答２２０がユーザ１３５から収集されるテスト測定セッションを実施する。テスト測定セッションの間、ユーザ１３５の感度は、それらの典型的な視聴条件及び環境を前提として測定される。一例として、ユーザ１３５は、典型的な視聴位置（例えば、リビングルーム内のソファー（これは、視聴距離、視聴角度、周囲の輝度及び再生システムの特性及び設定の点で典型的な視聴条件を表す。））に座り得る。次に、再生システム２１０は、再生システム２１０によって提供される命令に従うことで環境１３０内でのユーザ１３５のオーディオビジュアル感度を測定するテスト測定セッションを通じてユーザ１３５を案内する。セッションでは、ユーザ１３５は、再生システム２１０によって提示される一連の画像及び／又はビデオに従って、リモコン装置を用いて１つ以上の選択を行うように要求され得る。例えば、再生システム２１０は複数の画像を表示し、ユーザ１３５にとって最も鮮明な／最もピントが合った画像を選択するようユーザに要求し得る。別の例として、再生システム２１０は、ユーザ１３５の視覚能力及びユーザの視覚距離に依存する複数の解釈を有する画像を表示し、ユーザにとって最も優勢な／明白な解釈を選択するようにユーザに要求し得る。

【0024】

テスト測定セッションから、再生システム２１０及び／又はメディアサーバ１０５は、ユーザ１３５及び／又は環境１３０のパーソナル化された視聴特性を特定し得る。例えば、テスト測定セッションの間に受信されたユーザ応答２２０は、再生システムの特性、再生パラメータの設定、（通常、デバイスメーカが所有する）再生システム２１０の後処理アルゴリズム等のシステム要因を示し得る。別の例として、テスト測定セッションの間に受信されるユーザ応答２２０は、視聴距離、視聴角度、周囲輝度、周囲ノイズ、ユーザの期待等の環境要因を示し得る。一部の実施形態では、ユーザの期待は、ユーザの知覚されるＱｏＥに影響を与え得るユーザ１３５の意識的な又は潜在的な心理学的側面を意味する。例えば、ユーザ１３５の期待レベルは、有料サブスクリプションに関連するメディアの方が無料のビデオオンデマンドサービス等の他のメディアよりも高い場合がある。ユーザ１３５及び/又は環境１３０のパーソナル化された視聴特性のさらに別の例として、テスト測定セッションの間に受信されるユーザ応答２２０は、ユーザ１３５の感覚／視覚感受性及び能力、年齢、性別等の人的要因を示し得る。図２に示すように、一部の実施形態では、再生システム２１０は、図１のシステム１００に関して上述したのと同様な形で、再生システム情報２３０（例えば、装置種類、表示解像度等）をさらに提供し得る。再生システム２１０は、特定のユーザ１３５及び／又は環境１３０についてのパーソナル化された感度プロファイル２１５を特定するために、再生システム情報２３０と、テストメディア２２５に対するユーザ応答２２０とを含む集約された情報２３５を用いり得る。

【0025】

図２に示すように、パーソナル化された感度プロファイル２１５は、ユーザ識別、他の個人情報（すなわち、ユーザ応答２２０によって特定されるユーザ１３５の個別化された視聴特性）、再生システム情報２３０及び１つ以上の測定セッションの間にテストメディア２２５がユーザ１３５に表示された地理的位置、天気情報、日付及び時間のうちの１つ以上を含み得る。図２に示す例示のパーソナル化された感度プロファイル２１５では、パーソナル化された感度プロファイル２１５のそれぞれはユーザと関連し、ユーザ１３５がテスト測定セッションに参加した異なる環境（例えば、ユーザの自宅の異なる部屋、異なる時間帯、異なる天気情報（例えば、晴れ対曇り）等）についての複数のサブプロファイルを含み得る。他の実施形態では、パーソナル化された感度プロファイル２１５のそれぞれは、ユーザ１３５がテスト測定セッションに参加した異なる環境にそれぞれ対応する複数のパーソナル化された感度プロファイル２１５を各ユーザが有し得るように、ユーザ及び特定の環境に関連し得る。

【0026】

上述のパーソナル化された視聴特性は、別個のセンサ（例えば、再生装置２１０とユーザ１３５との間の距離を測定するセンサ）によって明示的には収集されないが、システム２００は、テスト測定セッションの間に、テストメディア２２５に対するユーザ応答２２０に基づいて、これらの特性のうちの１つ以上を特定／推定することができる。そのため、一部の実施形態では、別個の明示的センサを用いることなく、ユーザ１３５及び環境１３０からパーソナル化された視聴特性情報を収集できる。他の実施形態では、追加情報を提供するために別個の明示的なセンサが用いられ得る（例えば、図３を参照）。

【0027】

図３は、図２のシステム２００の一部と同様な、アダプティブビットレート（ＡＢＲ）ベースのメディア符号化及び配信システム３００の一部を示す。しかしながら、システム３００は１つ以上の環境センサ３０５をさらに含む。例えば、再生システム２１０は、環境１３０内の周囲光を測定する明るさ／輝度センサ（例えば、統合センサ、再生システム２１０に通信可能に連結されたスマートホームセンサ等）を含み得るか又は通信可能に連結され得る。環境センサ３０５は、例えば、照明がオン／オフかどうか、窓を覆うカーテンが開けられている／閉められているかどうか等を示す、環境１３０内に位置する他のスマートホームセンサを含み得る。環境センサ３０５は、例えば、昼間時間を特定する目的で、時刻及び再生システム２１０の地理的位置を特定するように構成され得る。環境センサ３０５からの環境感知データ３１０は集約された情報２３５に含まれてもいいし、図３に示すように、パーソナル化された感度プロファイル２１５に含まれてもよい。一部の実施形態では、集約された情報２３５に含まれる環境感知データ３１０は、環境１３０における社会活動のレベル及び／又は視聴距離等のユーザ提供情報を含む。

【0028】

テスト測定セッションの間にテストメディア２２５に対するユーザ応答２２０を収集することは、さもなければセンサを用いて明示的に収集するのが困難、非現実的及び／又は押し付けがましくなり得る多くのパーソナル化された視聴特性を暗黙的に考慮する。加えて、一部の状況では、センサを用いて明示的に収集されたデータは、ユーザ１３５のＱｏＥの正確な特定を可能にしないことがある。したがって、システム２００及び３００は、数多くの潜在的な利点及び恩恵を提供する。

【0029】

１つの例示の恩恵はユーザの多様性に関するものである。２人の異なるユーザは環境特性（例えば、視聴距離、輝度、スクリーンサイズ等）が同一であり得る。しかしながら、これらの２人の異なるユーザは、例えば、屈折異常、年齢及び／又は眼疾患による差異により、視聴能力が大きく異なり得る。そのため、ＡＢＲ要求（又は他のメディア配信方法に関する要求）を決定するために物理的な文脈／環境特性のみを用いることで、これらの異なるユーザにとって異なるレベルのＱｏＥがもたらされ得る。一部の実施形態では、システム２００、３００のパーソナル化された感度プロファイル２１５は、各ユーザのパーソナル化されたＱｏＥの低下を防止及び／又は軽減するために、ＡＢＲ要求を決定する際にパーソナル化された視聴能力におけるこれらの差異を考慮する。

【0030】

別の例示の恩恵は、システム２００及び３００の実施の容易さであり得る。一部の実施形態では、再生システム２１０に追加のセンサを加える必要がない。同様に、一部の実施形態では、ユーザの環境の特定の詳細が明示的に測定されず且つ記録されないことがあるため、ユーザのプライバシーが保護される。むしろ、一部の実施形態では、（ユーザの視聴距離及び視聴能力等の）より詳細な要因のみを暗黙に含むユーザ応答２２０の全体的な評価が、メディアサーバ１０５に対するＡＢＲ要求を生成するために用いられる。つまり、ＡＢＲ要求は、別個のセンサからの独立した属性測定値の収集に基づくものではない複合測定に基づく。むしろ、システム２００及び３００におけるＡＢＲ要求は、明示的に収集するのが困難であるか又は不可能ですらある多くの要因の複合効果を反映するユーザのＱｏＥの全体的且つ暗黙の測定である。

【0031】

さらに別の例示の恩恵は、ユーザ１３５のためのパーソナル化されたコンテンツの強化に関する。エンドユーザのＱｏＥのより全体的で正確な推定を可能にすることに加えて、システム２００及び３００は、ユーザ１３５に再生されるメディア／コンテンツの改善を可能にする。具体的には、ユーザによって知覚されるにはコントラストが小さすぎるか又は低すぎる（すなわち、ユーザの測定したコントラスト感度関数（ＣＳＦ）を越える空間周波数又はコントラストの）ビデオフレームの部分は、再生システム２１０によって高めることができる。そのような改善の例としては、フレームのクロッピング及び拡大及び／又は局所コントラスト調整を適用して、シーンの顕著な部分が確実にユーザ１３５に見えるようにする（すなわち、ユーザの測定したＣＳＦ内になる）ことを含み得る。そのような改善は、ユーザ１３５がメディア／コンテンツを追って、視聴されているメディア／コンテンツとの関わりを維持するのを助けることにより、ユーザの視聴体験を向上し得る。

【0032】

再度図１を参照して、ＡＢＲ要求１４０を生成するための一般的オブジェクティブモデル１４５は、ＱｏＥを推定するために多数のモデルのうちのいずれか１つを含み得る。例えば、ＡＢＲラダー１３７（又は別のメディア配信方法）を構築するために、典型的には、オーディオ／ビデオ信号を分析し、符号化効率を最適化することによる、参照ソースメディアのメディアセグメントのビットレート／品質の複数のバージョンを含む１つの一般的モデルが用いられる。別のモデルは、ネットワーク状態及び再生装置のローディングに基づいて、ＡＢＲストリーミングの適切なビットレート／品質決定を選択するために用いられる。しかしながら、例示の種類のモデルのいずれも、ユーザのパーソナル化された視聴特性を考慮しない。パーソナル化された感度プロファイル２１５は、一般的オブジェクティブモデル１４５からパーソナル化されたオブジェクティブモデル４０５を構築するために、任意の種類の一般的モデル１４５に適用され得る。

【0033】

図４は、モデル変換４１０を介してパーソナル化されたオブジェクティブモデル４０５に変換されている一般的オブジェクティブモデル１４５のブロック図を示す。変換は、メディア配送の制御及び管理において実現することが望ましい１つ以上の目標に従って起こり得る。例えば、各ユーザ１３５のためのパーソナル化されたＱｏＥを劣化させることなく、ＡＢＲラダー１３７における最小ビットレートを選択することによりメディアストリーミングの帯域幅を節約することが目標である場合、システム２００、３００は、解像度-ビットレートグリッド空間内の画像／ビデオのＪＮＤ（丁度可知差異）を特定し得る。次に、システム２００、３００は、一般的オブジェクティブモデル１４５を、ユーザ１３５が再生システム２１０を用いている環境１３０内でのユーザ１３５のパーソナル化された感度プロファイル２１５に基づいて特定されたユーザ１３５のパーソナル化されたＪＮＤに基づいて、各ユーザ１３５／再生システム２１０のためのパーソナル化されたオブジェクティブモデル４０５に変換し得る。

【0034】

別の例として、ループにおけるリアルタイム又は非リアルタイムの前処理、復号化、トランスコーディング又はトランスレーティングを包含するより洗練されたストリーミング管理のために、システム２００、３００は、パーソナル化されたオブジェクティブモデル４０５を構築するために、無彩色及び色対立刺激のための空間コントラスト感度、時間コントラスト感度及び空間時間コントラスト感度等のパーソナル化された精神測定関数を推定し得る。例えば、図５は、コントラスト感度５０５と空間周波数５１０との例示の関係を示す２つの異なるコントラスト感度関数（ＣＦＳ）を含むグラフを示す。実線の曲線は理想的なＣＳＦ５１５を示す。破線の曲線は、所与のテスト測定セッションの間のテストメディア２２５に対するユーザ応答２２０に基づいて特定された、ユーザ１３５の例示のユーザＣＳＦ５２０を示す。図５に示すように、ユーザＣＳＦ５２０は、例えば、理想的な視聴環境よりも環境１３０内の視聴距離が長いこと、理想的な視聴環境よりもテレビの画面の輝度が低いこと及びユーザ１３５が近視／近眼であることにより、理想的なＣＳＦ５１５と比べて変換及びスケーリングされている。また、図５に示すように、理想的なＣＳＦ５１５と比べて、ユーザ１３５は、空間周波数５１０に対するコントラスト感度５０５の知覚可能な差異の範囲が小さい。つまり、ユーザ１３５の視覚能力は、例えば、上述の環境及び個人的な条件により、理想的なユーザのものほどには敏感ではない。例えば、ユーザ１３５は、空間周波数５１０が第２の値５３０を上回る場合にコントラストの差を区別できないことがある。

【0035】

したがって、理想的なコントラスト感度を有する理想的なユーザが理想的な環境において向上されたＱｏＥを経験することを可能にし得るより高い品質のメディアのストリーミングを提供することは、実際には、図５に示すユーザＣＳＦ５２０を有する例示のユーザ１３５のＱｏＥの向上をもたらさないことがある。そのため、このより高品質のストリーミングを提供することは、システム２００、３００に犠牲を強いることになり（例えば、メディアはより高いビットレートを用いてストリーミングされるため、より多くの帯域幅が用いられる）、ストリーミングされたメディアを視聴するユーザ１３５にとってＱｏＥの改善がもたらされないため、システム２００、３００が経験するこの犠牲は本質的に無駄になる。

【0036】

システム２００、３００がメディアサーバ１０５からのメディアのストリーミングを制御するのを支援するために、ユーザＣＳＦ５２０は、一般的オブジェクティブモデル１４５をパーソナル化されたオブジェクティブモデル４０５に変換するために用いられるパーソナル化された感度プロファイル２１５に含まれるデータの一例である（図４参照）。例えば、一般的オブジェクティブモデル１４５は、理想的なＣＳＦ５１５に対応するデータ又はユーザの視覚環境及び個人的な視覚能力にパーソナル化されていない別の一般的ＣＳＦに対応するデータを用いり得る。他方、パーソナル化されたオブジェクティブモデル４０５は、ユーザの視聴環境及び個人視覚能力にパーソナル化されるようにスケーリング及び変換されたユーザＣＳＦ５２０を用いり得る。ユーザＣＳＦ５２０は、パーソナル化されたオブジェクティブモデル４０５を作成するために、一般的オブジェクティブモデル１４５に含まれる他の要因及び／又はアルゴリズムとの組み合わせで用いられ得る。ユーザ１３５が知覚できるよりも高い品質のメディアをストリーミングする上記の例で指摘したように、ユーザ１３５のパーソナル化されたＱｏＥに影響を与えることなく、パーソナル化されたオブジェクティブモデル４０５が符号化効率を改善し、ネットワーク効率を改善するために（例えば、帯域幅を減らすことにより）ビデオ符号化、トランスコーディング及び／又はトランスレーティングの間に利用され得る。例えば、より高品質のメディアは、より高品質のメディアを知覚することができるより敏感なユーザ１３５にストリーミングされ得る一方で、より低品質のメディアとより高品質のメディアとの間の品質の差を知覚することができないあまり敏感でないユーザ１３５に対してはより低品質なメディアがストリーミングされ得る。

【0037】

図５に示す例示のグラフは、ユーザ１３５のコントラスト感度を参照するが、一般的オブジェクティブモデル１４５は、テストメディア２２５に対するユーザ応答２２０に基づいてパーソナル化され得る、他の種類の視聴特性に関する値及び／又は関数（例えば、ビデオフレームレートに関連する時間的な劣化、量子化劣化等）を含み得る。例えば、一般的な時間的劣化モデルを特徴付ける一般的なメディアパラメータ値及び/又は関数は、パーソナル化されたオブジェクティブモデル４０５においてパーソナル化された値及び／又は関数を生成するために置き換えられ得るか又は再訓練され得る。さらに又は代替的に、ＡＢＲ要求１４０（又は他のメディア配信方法に関する要求）等のメディアパラメータを特定するために用いられる汎用アルゴリズムは、パーソナル化されたオブジェクティブモデル（ＰＯＭ）４０５を生成するように調整された係数を有し得る。

【0038】

図６は、変更されたアダプティブビットレート（ＡＢＲ）ベースのメディアコーディング及び配信システム６００を示す。システム６００は図１のシステム１００と同様であるが、一般的オブジェクティブモデル１４５の代わりに、ＡＢＲ要求１４０（又は他のメディア配信方法に関する要求）を生成するために用いられるパーソナル化されたオブジェクティブモデル（ＰＯＭ）４０５を含む。一部の実施形態では、システム６００は、図２及び図３に示すシステム２００、３００の部分のうちの少なくとも１つを含む。例えば、図６に示すように、パーソナル化されたオブジェクティブモデル４０５は、上述したようにテストメディア２２５に対するユーザ応答２２０に基づいて特定される、再生システム情報２３０、環境感知情報３１０及びＰＳＰ２１５からのパーソナル化された視聴特性情報を考慮する。

【0039】

ＡＢＲ要求１４０（又は他のメディア配信方法に関する要求）を生成するためにＰＯＭ４０５によって用いられ得る追加のデータソースは、限定されないが、バッファサイズ、再生状態、プレーヤパフォーマンス特性等を含むリアルタイムメディアプレーヤ状態情報を含む。ＰＯＭ４０５によって用いられ得る別のデータソースは、再生システム２１０によって測定されるスループット、ネットワーク１１５内に位置するセンサから測定されるスループット、輻輳通知、遅延、パケット損失率等のリアルタイムネットワーク性能推定を含む。ＰＯＭ４０５によって用いられ得る別のデータソースは、ビットレート、解像度、フレームレート、サンプル当たりのビット深度、クロマサンプリング、（レベル及びプロファイルを含む）ソース符号化方法、色空間、補足エンハンスメントメッセージ（ＳＥＩ）、組成プレイリスト、ピクチャ群（ＧＯＰ）サイズ、瞬間復号化リフレッシュ（ＩＤＲ）フレーム、最大フレーム平均光レベル（ＭａｘＦＡＬＬ）、最大コンテンツ光レベル（ＭａｘＣＬＬ）、電子光学伝達関数（ＥＯＴＦ）、言語、サービスタイプ、シーン記述（境界情報を含む）、オーディオチャネルの数、オーディオサンプルレート、オーディオサンプルビット深度、オーディオサービスタイプ、デジタル署名方法、ＳＣＴＥ３５メッセージ、キャプションデータ、プログラム音量、規制情報、レーティング情報等を含むコンテンツメタデータを含む。一部の実施形態では、本明細書で説明する追加のデータソースは、メディアパラメータと呼ばれ得る。

【0040】

ＰＯＭ４０５によって用いられ得る別のデータソースは、下流及び／又は上流チャネル又はチャネル等価物毎の最大許容ビットレート、空間解像度、フレームレート等を含むネットワークオペレータポリシーパラメータを含む。この例示のデータソースは、ネットワーク全体及びセッション間の最適化を可能にし得る。ＰＯＭ４０５によって用いられ得る別のデータソースは、上述したように再生環境センサ情報３１０を含む（例えば、周囲の輝度レベル、周囲のオーディオノイズレベル、ストリーミングされたコンテンツを視聴する人の数、各視聴者のスクリーンからの距離等）。ＰＯＭ４０５によって用いられ得る別のデータソースは、主再生システム２１０からの距離、モバイル装置センサ情報等の補助的なモバイル装置情報を含む。ＰＯＭ４０５によって用いられ得る別のデータソースは、ユーザ１３５によって入力され、システム６００に含まれる装置のうちの１つのメモリによって記憶され得るリアルタイムユーザ／視聴者アプリファレンスを含む。

【0041】

図７は、１つの例示の実施形態に係る再生システム２１０（すなわち、再生装置）のハードウェアブロック図である。上述したように、再生システム２１０は、テレビ、タブレット、スマートフォン、コンピュータ等の多くの異なる種類の再生システムを含み得る。図示の実施形態では、再生システム２１０は、第１の電子プロセッサ７０５（例えば、マイクロプロセッサ又は他の電子装置）を含む。第１の電子プロセッサ７０５は入出力インターフェイス（図示せず）を含み、第１のメモリ７１０、第１のネットワークインターフェイス７１５、任意のマイクロホン７２０、スピーカ７２５及びディスプレイ７３０に電気的に連結されている。一部の実施形態では、再生システム２１０は、図７に示すものとは異なって、構成においてより少ないか又は追加のコンポーネントを含む。例えば、再生システム２１０はマイクロホン７２０を含まなくてもよい。別の例として、再生システム２１０は、再生システム２１０のユーザからの入力を受け取るコンピュータマウス及び／又はキーボード等の１つ以上の追加の入力装置を含み得る。さらに別の例として、再生システム２１０は、周囲光センサ及び／又は位置追跡装置（例えば、全地球測位システム（ＧＰＳ）受信器）等の環境センサを含み得る。一部の実施形態では、再生システム２１０は、以下で説明する機能以外の機能を行う。

【0042】

第１のメモリ７１０は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、他の非一時的コンピュータ読み取り可能媒体又はそれらの組み合わせを含み得る。第１の電子プロセッサ７０５は、第１のメモリ７１０から命令及びデータを受信し、とりわけ命令を実行するように構成されている。特に、第１の電子プロセッサ７０５は、本明細書で説明する方法を行うために、第１のメモリ７１０に記憶された命令を実行する。

【0043】

第１のネットワークインターフェイス７１５は、ネットワーク１１５を介してメディアサーバ１０５との間でデータを送受信する。一部の実施形態では、第１のネットワークインターフェイス７１５は、メディアサーバ１０５及び／又はネットワーク１１５と無線通信するために１つ以上のトランシーバを含む。あるいは又はそれに加えて、第１のネットワークインターフェイス７１５は、イーサネットケーブル等のメディアサーバ１０５及び／又はネットワーク１１５への有線接続を受信するためのコネクタ又はポートを含み得る。第１の電子プロセッサ７０５は、第１のネットワークインターフェイス７１５を通じて、ネットワーク１１５を介して１つ以上のデータストリーム（例えば、ビデオストリーム、オーディオストリーム、イメージストリーム等）を受信し得る。第１の電子プロセッサ７０５は、第１のネットワークインターフェイス７１５を介してメディアサーバ１０５から受信した１つ以上のデータストリームを、スピーカ７２５、ディスプレイ７３０又はそれらの組み合わせを介して出力し得る。加えて、第１の電子プロセッサ７０５は、第１のネットワークインターフェイス７１５を介して、再生システム２１０によって生成されたデータをネットワーク１１５を介してメディアサーバ１０５に戻し得る。例えば、第１の電子プロセッサ７０５は、本明細書において前に言及したＡＢＲ要求１４０を特定し、メディアサーバ１０５に送信し得る。次いで、メディアサーバ１０５は、再生システム２１０からのＡＢＲ要求１４０に従って、１つ以上のメディアストリームを再生システム２１０に送信し得る。

【0044】

ディスプレイ７３０は、画像、ビデオ、テキスト及び／又はデータをユーザ１３５に表示するように構成されている。ディスプレイ７３０は液晶ディスプレイ（ＬＣＤ）スクリーン又は有機発光ディスプレイ（ＯＬＥＤ）スクリーンであり得る。一部の実施形態では、タッチセンシティブ入力インターフェイスをディスプレイ７３０に組み込んでもよく、ユーザ１３５はディスプレイ７３０上に提供されたコンテンツと関わることができる。一部の実施形態では、ディスプレイ７３０は、プロジェクタ又は将来開発されるディスプレイ技術を含む。一部の実施形態では、スピーカ７２５及びディスプレイ７３０は、再生システム２１０のユーザ１３５にメディアストリーム及び他の情報を提供する出力装置と呼ばれる。一部の実施形態では、マイクロホン７２０、コンピュータマウス及び／又はキーボード又はタッチセンシティブディスプレイは、再生システム２１０のユーザ１３５からの入力を受信する入力装置と呼ばれる。

【0045】

図８は、１つの例示の実施形態に係るメディアサーバ１０５のブロック図である。図示の例では、メディアサーバ１０５は、第２のメモリ８１０及び第２のネットワークインターフェイス８１５に電気的に接続された第２の電子プロセッサ８０５を含む。これらのコンポーネントは、図７に関して上記で説明した再生システム２１０の同じような名称のコンポーネントと同様であり、上述したものと同様に機能する。一部の実施形態では、第２のネットワークインターフェイス８１５は、ネットワーク１１５を介して再生システム２１０との間でデータを送受信する。一部の実施形態では、メディアサーバ１０５は、図８に示すものとは異なって、構成においてより少ないか又は追加のコンポーネントを含む。例えば、メディアサーバ１０５は、バックエンドユーザがメディアサーバ１０５の設定又はルールを再プログラムできるように、タッチスクリーン等のディスプレイを追加で含み得る。一部の実施形態では、メディアサーバ１０５は以下で説明する機能以外の機能を行う。

【0046】

図７及び図８は、再生システム２１０及びメディアサーバ１０５の別々のブロック図を示すが、一部の実施形態では、メディアサーバ１０５、１つ以上の再生システム２１０、ネットワーク１１５を介して通信するか又はネットワーク１１５の一部を形成する遠隔クラウドコンピューティングクラスタ又はそれらの組み合わせが、本明細書で説明する機能を行う電子コンピュータ装置と呼ばれる。例えば、電子コンピュータ装置は単一の電子プロセッサ（例えば、メディアサーバ１０５の第２の電子プロセッサ８０５）又はメディアサーバ１０５内に位置する複数の電子プロセッサであり得る。他の実施形態では、電子コンピュータ装置は、異なる装置に分散された複数の電子プロセッサを含む。例えば、電子コンピュータ装置は、再生システム２１０の第１の電子プロセッサ７０５、メディアサーバ１０５の第２の電子プロセッサ８０５及びネットワーク１１５を介して通信するか又はネットワーク１１５の一部を形成する遠隔クラウドコンピューティングクラスタに又は遠隔地に位置する１つ以上の他の装置内に位置する１つ以上の電子プロセッサのうちの１つ以上で実施される。一部の実施形態では、リモートクラウドコンピューティングクラスタは、ソフトウェア定義ネットワーク（ＳＤＮ）／ネットワーク機能仮想化（ＮＦＶ）対応アクセスネットワークを含む。

【0047】

一部の実施形態では、ＰＯＭ４０５を実施する装置は、ＰＯＭ４０５の目標及び機能を決定し得る。例えば、再生システム２１０内のＰＯＭ４０５の実施は、ネットワークオペレータ又は他の制御信号がない場合に分散動作を可能にする。他方、メディアサーバ１０５及び／又はネットワーク１１５内のＰＯＭ４０５の実施（例えば、ソフトウェア定義ネットワーク（ＳＤＮ）ノード上に位置するネットワーク仮想化機能（ＮＶＦ）として）は、ネットワーク全体のＱｏＥ最適化及び他のネットワークオペレータポリシー（例えば、所望の加入者ＱｏＥ、エッジ／アクセスネットワーク容量目標又は両方の組み合わせへのネットワークサービスの最適化）の配備を簡素化し得る。

【0048】

図７に示す再生システム２１０のハードウェアコンポーネントのうちの１つ以上は、図２、図３及び図６に示す再生システム２１０の機能コンポーネントを実施する及び／又は構成する。例えば、第１の電子プロセッサ７０５（又は再生システム２１０の複数の第１の電子プロセッサ７０５）は、バッファ／デコーダ１２０及び再生レンダラ１２５のうちの１つ以上として機能し得る。第１の電子プロセッサ７０５は、また、パーソナル化された感度プロファイル２１５、パーソナル化されたオブジェクティブモデル４０５及びＡＢＲ要求１４０も決定し得る。

【0049】

一部の実施形態では、１人以上のユーザ及び環境の１つ以上のパーソナル化された感度プロファイル（ＰＳＰ）２１５が再生システム２１０の第１のメモリ７１０に記憶される。第１のメモリ７１０は、再生システム２１０の一般的な再生システム情報２３０等の追加情報（例えば、スクリーンサイズ、製品識別番号等）を記憶し得る。一部の実施形態では、さらに又は代替的に、１人以上のユーザ及び環境の１つ以上のパーソナル化された感度プロファイル（ＰＳＰ）２１５がメディアサーバ１０５の第２のメモリ８１０及び／又はネットワーク１１５を介して通信するか又はネットワーク１１５の一部を形成する遠隔クラウドコンピューティングクラスタのメモリに記憶される。一部の実施形態では、ユーザのＰＳＰ２１５のクラウド記憶装置は、ユーザの有線／無線インターネットサービスプロバイダ（ＩＳＰ）又はネットワーク配信メディアアカウント（例えば、ケーブルテレビ）への安全なリンクを可能にする。このようなリンクは、ネットワークオペレータが、本明細書でより詳細に説明するように、それらのアカウントに関連するＰＳＰ２１５でそれらの加入者ベースの一部にわたってより効率的なメディア配信を生成するために、個々のＰＳＰ２１５を利用するのに有用であり得る。

【0050】

図９は、１つの例示の実施形態に係る、再生システム２１０にメディアを配信するための方法９００のフローチャートを示す。方法９００は、本明細書で先に説明した電子プロセッサのうちの１つ以上を含む電子コンピュータ装置によって行われるものとして説明される。特定の動作は、特定の装置の電子プロセッサによって行われるものとして説明されるが、他の実施形態では、他の装置の電子プロセッサが同じ動作を行い得る。処理ステップ、メッセージ受信及び／又はメッセージ送信の特定の順序を図９に例として示しているが、このようなステップ、受信及び送信のタイミング及び順序は、本開示の残りの部分の全体を通して詳細に説明される例の目的及び利点を否定することなく、適宜変化し得る。

【0051】

ブロック９０５で、メディア配信方法９００が開始される。一部の実施形態では、メディア配信方法９００は、ユーザ１３５が再生システム２１０をオンにする及び／又は再生システム２１０によりデータストリームが出力されるべきことを要求するのに応答して、再生システム２１０の第１の電子プロセッサ７０５によって開始される。

【0052】

メディア配信方法９００が開始されることに応答して、ブロック９１０で、電子コンピュータ装置の１つ以上の電子プロセッサが、ユーザ１３５、再生システム２１０及び再生システム２１０が位置する環境１３０のうちの少なくとも１つに関連する、記憶されたパーソナル化された感度プロファイル（ＰＳＰ）２１５を読み出す。例えば、記憶されたＰＳＰ２１５は、再生システム２１０の以前のテスト測定セッションに基づいて生成されていてもよい。一部の実施形態では、記憶されたＰＳＰ２１５は、新たなテスト測定セッションを行うことなく、再生システム２１０に出力メディアを提供するために電子コンピュータ装置によって用いられ得る。例えば、再生システム２１０が、同じユーザ１３５によってテスト測定セッションを既に受けている環境１３０で用いられている場合、電子コンピュータ装置は、環境１３０及びユーザ１３５に対応する記憶されたＰＳＰ２１５を用いり得る。一部の実施形態では、電子コンピュータ装置は、再生システム情報、環境情報及び／又はユーザ情報（例えば、再生システム２１０によって受信されたユーザログイン情報）をＰＳＰ２１５の記憶された情報と比較することにより、現在の環境及びユーザは既にテスト測定セッションを受けていると判定する。例えば、電子コンピュータ装置は、再生システム２１０の識別番号、環境１３０の１つ以上の特性（例えば、時刻、周囲光の量、再生システム２１０の位置等）及びユーザ１３５の身元を特定し得る。この識別情報が、電子コンピュータ装置のメモリのうちの１つに既に記憶されているＰＳＰ２１５と一致する場合、電子コンピュータ装置は、新たなテスト測定セッションを行うためにブロック９１５に進むことなく、対応する前に記憶されたＰＳＰ２１５に従って、再生システム２１０への出力メディアの提供及び出力メディアの表示を制御し得る。

【0053】

他方、方法９００は、再生システム２１０が新たなテスト測定セッションを行うように制御されるブロック９１５に続き得る。ここでは、新たなテスト測定セッションは完全版のセッションであり得るか又は１つ以上の記憶されたＰＳＰ２１５の事前知識に基づく短縮版のセッションであり得る。例えば、上述した種類の識別情報のうちの１つ以上が記憶されたＰＳＰ２１５と一致しない場合、電子コンピュータ装置は、以下でさらに詳細に説明するように、新たなテスト測定セッションを行い、新たなＰＳＰ２１５を生成し得る。一部の実施形態では、新たなテスト測定セッションはユーザ１３５によって（例えば、再生システム２１０の入力装置に対するユーザ入力を介して）開始される。一部の実施形態では、電子コンピュータ装置は、前に記憶されたＰＳＰ２１５の少なくとも１つの特性が変化したと判定し得る（例えば、停電、インターネットプロトコル（ＩＰ）アドレスの変化、ＷｉＦｉ信号強度の変化、再生システム２１０に新たに検出された周辺装置が連結されること、検出された周辺光の変化、再生システム２１０の検出された位置の変化等)。これに応答して、電子コンピュータ装置は、ユーザ１３５が新たなテスト測定セッションに参加することを推奨するよう再生システム２１０に指示し得る。例えば、再生システム２１０は、（例えば、環境センサ３０５から受信したデータに基づく時刻測定等に基づいて）ユーザ１３５が昼間ではなく夜間に再生システム２１０を見ていると判定し得る。別の例として、メディアサーバ１０５は、前に記憶されたＰＳＰ２１５に関連していない新たな再生システム２１０がネットワーク１１５に接続されていると判定し得る。これに応答して、メディアサーバ１０５は、ＰＳＰ２１５を生成するためにユーザ１３５がテスト測定セッションに参加することを推奨するよう再生システム２１０に要求を送信し得る。

【0054】

テスト測定セッションを実施する方法は、セットトップボックス（ＳＴＢ）、デジタルメディアアダプタ（ＤＭＡ）、モバイル装置又は他の再生システム２１０の初期セットアップステップ、再生システム２１０上で実行されるサードパーティアプリケーションとして又はテストメディア２２５及び／又はＰＳＰ２１５の両方をホストするクラウドサービスとしての統合を含み得る。本明細書で前述したように、テスト測定セッションの結果は再生システム２１０上でローカルに及び／又は、クロスプラットフォーム及びクロスサービス互換性を可能にするクラウドサービスの一部として遠隔的に保存され得る。

【0055】

ブロック９１５で、電子コンピュータ装置は、ユーザ１３５によって視聴されるテストメディア２２５を出力する。テストメディア２２５は、再生システム２１０の第１の電子プロセッサ７０５によって生成され得るか又はメディアサーバ１０５によって生成された後に再生システム２１０によって受信され得る。一部の実施形態では、テストメディア２２５は、ユーザの感度／体感品質（ＱｏＥ）を測定するために生成される。例えば、ブロック９２０で、電子コンピュータ装置は、ユーザ１３５からユーザ入力（すなわち、ユーザ応答２２０）を受信する。ユーザ入力は、ユーザ１３５によるテストメディア２２５の知覚に関連し、テストメディア２２５に関するユーザ１３５の第１のパーソナル化されたＱｏＥを示す。

【0056】

一部の実施形態では、電子コンピュータ装置は、スネレンチャート又はオープンリングパターンを含むテストメディア２２５を用いてオプトタイプ視力測定を生成することにより、ユーザ１３５のユーザ感度／ＱｏＥを特定する。一部の実施形態では、さらに又は代替的に、電子コンピュータ装置は、異なる向きの正弦波格子（例えば、図５参照）を用いてコントラスト感度関数（ＣＳＦ）測定を生成することにより、ユーザ１３５のユーザ感度／ＱｏＥを特定する。一部の実施形態では、ＣＳＦ測定は、バンドパスフィルタ処理されたスローン文字を含むテストメディア２２５を用いる迅速ＣＳＦ法を含み得る。一部の実施形態では、さらに又は代替的に、電子コンピュータ装置は、ユーザ１３５によってプレイされる対話型ゲームの形態でテストメディア２２５を表示することにより、ユーザ１３５のユーザ感度／ＱｏＥを特定する。一部の実施形態では、さらに又は代替的に、電子コンピュータ装置は、テストメディア２２５として表示される一連の画像又はビデオ材料に基づいてユーザ感度測定を行うことによって、ユーザ１３５のユーザ感度／ＱｏＥを特定する。

【0057】

一部の実施形態では、電子コンピュータ装置は、ハイブリッド画像の形態でテストメディア２２５を表示し得る。一部の実施形態では、ハイブリッド画像は、ユーザの視聴能力及び環境要因に依存して異なる解釈を有する傾向がある静止画像である。例えば、人間の視聴者は、視聴距離が長くなるにつれて画像の細部を見る能力を失い、その結果、高解像度ビデオと低解像度ビデオとを区別できなくなる。一部の実施形態では、ハイブリッド画像は、空間周波数範囲及び／又は視聴距離の関数として変化する、人間のユーザに対して２つ以上の異なる解釈をもたらす静止画像である。表示されたハイブリッド画像に対するユーザ応答２２０に基づいて、電子コンピュータ装置は、明示的センサを用いることなく、メディア視聴環境１３０内のユーザ１３５の優勢な及び非優勢な空間周波数範囲を推定し得る。

【0058】

ハイブリッド画像を作成するために、２つの異なるソース画像は、各画像に関して特定の空間周波数範囲が優勢になるように異なる形で処理され得る。例えば、第１のソース画像はローパスフィルタ処理され、第２のソース画像はハイパスフィルタ処理され得る。次に、ローパスフィルタ処理されたソース画像がハイパスフィルタ処理されたソース画像と組み合わせられて（即ち、その上に重ね合わせて）、ハイブリッド画像が作成され得る。空間周波数における所与の画像の感知領域は、ユーザ１３５の視聴距離が減少するにつれて、より低い周波数からより高い周波数に移動するため、人間のユーザは、ハイパスフィルタ処理されたソース画像をより長い視聴距離よりもより短い視聴距離でより容易に知覚する。反対に、人間のユーザは、ローパスフィルタ処理されたソース画像をより短い視聴距離よりもより長い視聴距離でより容易に知覚する。つまり、ローパスフィルタ処理されたソース画像又はハイパスフィルタ処理されたソース画像のいずれかが、ユーザ１３５の１つ以上の視聴特性に応じてユーザ１３５によって支配的として知覚される。

【0059】

図１０Ａ～図１０Ｃは、３つの異なるサイズのハイブリッド画像１０００の例を示し、図１０Ａは、最もサイズが大きい画像１０００を示し、図１０Ｃは、最もサイズが小さい画像１０００を示す。図示の例では、犬の顔１００５を含む第１のソース画像はローパスフィルタ処理されており（図１０Ｄのローパスフィルタ処理されたソース画像１０５０参照）、猫の顔１０１０を含む、ハイパスフィルタ処理された第２のソース画像１０１０（図１０Ｅのハイパスフィルタ処理されたソース画像１０６０を参照）と組み合わされている。図１０Ａ～図１０Ｃに示すように、第２のソース画像のハイパスフィルタ処理により、人間のユーザにとって猫の顔１０１０は図１０Ｂ及び図１０Ｃのより小さいものよりも図１０Ａのより大きいものの方が知覚するのが容易である。つまり、ハイパスフィルタ処理（図１０Ｅ参照）により、ハイブリッド画像１０００は、画像１０００が大きい場合に（すなわち、視聴距離が近い／短い）知覚するのが容易な、ネコ１０１０の顔を含む第２のソース画像の微細な細部のみを含む。反対に、人間のユーザにとって犬の顔１００５は図１０Ｃよりも図１０Ａ及び図１０Ｂの方が知覚するのが容易である。つまり、ローパスフィルタ処理（図１０Ｄ参照）により、ハイブリッド画像１０００は、画像１０００が小さい場合に（すなわち、視聴距離が長い）知覚するのが容易な、犬１００５の顔を含む第１のソース画像の粗い細部のみを含む。視聴者の図１０Ａ～図１０Ｃの視覚的解釈を支援するために、図１０Ａ～図１０Ｅは、各図で猫１０１０の鼻１０１５がラベル付けされ、各図で犬１００５の鼻１０２０がラベル付けされている。

【0060】

ハイブリッド画像の生成は、ローパスフィルタ処理及びハイパスフィルタ処理された異なるソース画像を含むものとして上記で説明したが、一部の実施形態では、さらに又は代替的に、ハイブリッド画像は異なるバンドパスフィルタを用いて生成される。一部の実施形態では、ソース画像のサイズを変化させることで、空間周波数ドメインにおける拡大又は縮小がもたらされる。したがって、フィルタ処理と組み合わせて、ソース画像のサイズを変化させることはハイブリッド画像を生成するための別の方法である。

【0061】

ブロック９１５で、テスト測定セッションの間に一連の／複数のハイブリッド画像をテストメディア２２５として表示することにより、電子コンピュータ装置は、ユーザ１３５の視聴特性及び再生システム２１０に関連する環境要因を特定することができ得る。一部の実施形態では、電子コンピュータ装置は、再生システム２１０によって表示されたハイブリッド画像のサイズを変更し得る。例えば、ハイブリッド画像のユーザの知覚が第１のソース画像の第１の知覚から第２のソース画像の第２の知覚に変化したことをユーザ応答２２０が示すまで、電子コンピュータ装置はハイブリッド画像のサイズを変化させ得る。ユーザ応答２２０が受信された時点に表示されていたハイブリッド画像のサイズに基づいて及び再生システム２１０の解像度及びスクリーンサイズに基づいて、電子コンピュータ装置は、ユーザ１３５の推定視聴距離、ユーザ１３５の推定ＣＳＦ等を特定することができ得る。

【0062】

一部の実施形態では、電子コンピュータ装置は、ハイブリッド画像を作成するために用いられている各ソース画像のローパスフィルタ及びハイパスフィルタ（又はバンドパスフィルタ）の遮断周波数を変化させ得る。例えば、電子コンピュータ装置は、ユーザによる第１のハイブリッド画像の第１の知覚に関連する第１のユーザ入力を受信し得る。これに応答して、電子コンピュータ装置は、少なくとも１つのフィルタの遮断周波数が、第１のハイブリッド画像の第１の知覚に関連する第１のユーザ入力に基づくフィルタを用いて第２のハイブリッド画像を生成し得る（例えば、図１１Ａ及び図１１Ｂを参照）。次いで、電子コンピュータ装置は、ユーザ１３５によって見られる第２のハイブリッド画像を出力するよう再生システム２１０を制御する。

【0063】

一部の実施形態では、電子コンピュータ装置は、メディアサーバ及びネットワーク１１５によってサポートされるメディアパラメータ及び／又は再生システムパラメータに基づいて、空間フィルタの遮断周波数（及び／又は表示されているハイブリッド画像のサイズ等のハイブリッド画像を生成するために用いられる他の特性)を決定し得る。例えば、電子コンピュータ装置は、メディアサーバ１０５のＡＢＲラダー１３７における利用可能なビデオ解像度と共に（又は、メディアサーバ１０５によって利用されている別のメディア配信方法に基づく他のメディアパラメータの利用可能な値と共に)、空間フィルタの遮断周波数を決定し得る。別の例として、電子コンピュータ装置は、メディアサーバ１０５／ネットワーク１１５の利用可能なビットレート、メディアサーバ１０５／ネットワーク１１５の利用可能なフレームレート、再生システム２１０の装置種類、再生システム２１０のディスプレイ７３０のスクリーンサイズ及び／又は本明細書で前述した他のパラメータ／属性に基づいてカットオフ周波数を決定し得る。

【0064】

一部の実施形態では、電子コンピュータ装置は、メディアサーバ１０５及びネットワーク１１５によってサポートされるメディアパラメータの第１の値を特定する。電子コンピュータ装置は、メディアサーバ１０５及びネットワーク１１５によってサポートされるメディアパラメータの第２の値も特定し得る。次いで、電子コンピュータ装置は、ハイブリッド画像が、メディアパラメータの第１の値に対応する第１の解釈及びメディアパラメータの第２の値に対応する第２の解釈（例えば、図１１Ａ及び図１１Ｂ参照）を含むように、メディアパラメータの第１の値及びメディアパラメータの第２の値に基づいて、ハイブリッド画像の生成及び選択のうちの少なくとも一方を行い得る。次いで、電子コンピュータ装置は、ハイブリッド画像をディスプレイ７３０に表示するよう再生システム２１０を制御し得る。

【0065】

一部の実施形態では、電子コンピュータ装置は、本明細書で前述したように、前に表示されたハイブリッド画像に対するユーザ応答２２０に基づいて、追加のハイブリッド画像を表示する。例えば、電子コンピュータ装置は、第２のハイブリッド画像が、メディアパラメータの第３の値に対応する第３の解釈及びメディアパラメータの第１の値に対応する第４の解釈を含むように、（メディアサーバ１０５及びネットワーク１１５によってサポートされていると判定された）メディアパラメータの第１の値及びメディアパラメータの第３の値に基づいて、第２のハイブリッド画像の生成及び選択のうちの少なくとも一方を行い得る。

【0066】

一部の実施形態では、上述の例で説明したハイブリッド画像は、本明細書で上述したようにソース画像を重ね合わせることにより、電子コンピュータ装置によって生成される。他の実施形態では、電子コンピュータ装置は、メディアサーバ１０５及びネットワーク１１５によってサポートされると判定されたメディアパラメータの値に対応する特性を有する、前に生成され記憶されたハイブリッド画像を読み出し得る。

【0067】

テスト測定セッションの間に、電子コンピュータ装置は、再生装置の入力装置を用いて、ユーザ１３５からのユーザ入力を受信し得る。ユーザ入力は、ハイブリッド画像がディスプレイ７３０に表示される場合に、ハイブリッド画像の第１の解釈がユーザ１３５によって知覚されていることを示す。ユーザ入力に基づいて、電子コンピュータ装置は、ユーザ１３５が、メディアパラメータの第２の値（例えば、第２の空間周波数範囲、視聴距離、解像度及び／又は等）よりも、メディアパラメータの第１の値（例えば、第１の空間周波数範囲、視聴距離、解像度及び／又は等）により敏感であると判定し得る。一部の実施形態では、電子コンピュータ装置は、ユーザ１３５がメディアパラメータの第１の値により敏感であるとの判定に基づいて、ユーザ１３５の視聴特性のパーソナル化された感度プロファイル２１５を生成する。パーソナル化された感度プロファイル２１５は、メディアパラメータの第１の値を含み得る。一部の実施形態では、メディアサーバ１０５は、ネットワーク１１５を介して、本明細書で前述したように、パーソナル化された感度プロファイル２１５に従って、ユーザ１３５の再生システムに出力メディアを提供し得る。

【0068】

直ぐ上の例の続きで、電子コンピュータ装置は、ユーザ入力に基づいて、ユーザ１３５が最も敏感なハイブリッド画像の空間周波数のサブセット（すなわち、ハイブリッド画像のコントラスト）及びユーザ１３５が最も敏感なハイブリッド画像のサイジングのうちの少なくとも１つを決定し得る。一部の実施形態では、電子コンピュータ装置によって生成されたパーソナル化された感度プロファイル２１５の視聴特性は、ユーザが最も敏感なハイブリッド画像の空間周波数のサブセットと、ユーザが最も敏感なハイブリッド画像のサイジングのうちの少なくとも１つを含む。

【0069】

上記の例で示したように、テスト測定セッションの間に、メディアパラメータ及び／又は再生システムパラメータに基づいて生成又は選択されたハイブリッド画像を用いることで、電子コンピュータ装置は、例えば、異なるメディア中心のパラメータがユーザのパーソナル化されたＱｏＥにどのように影響するかを特定できる。例えば、電子コンピュータ装置は、ＡＢＲラダー１３７の異なるビデオ解像度が、ユーザのパーソナル化されたＱｏＥにどのように影響するかを特定し得る。つまり、テストメディア２２５に対するユーザ応答２２０に基づいて、電子コンピュータ装置は、ユーザの知覚及び不可視の空間周波数に影響を与える優勢な空間周波数の範囲を推定する。この知覚情報は、本明細書で説明するように、メディアコーディング及び配信の効率を改善するために用いることができる。例えば、ＡＢＲラダー１３７における最も低いビデオ解像度は、ユーザ１３５がフル解像度のビデオと比べて品質劣化を経験し始めるものよりも下であると識別できる。

【0070】

図１１Ａ及び図１１Ｂは、テスト測定セッションの間に多段階２分木探索においてテストメディア２２５としてハイブリッド画像を用いた、最適ＡＢＲラダー推定の例のグラフを示す。一部の実施形態では、電子コンピュータ装置は、マニフェストファイルから、メディアサーバ１０５及びネットワーク１１５のメディアストリーミングの利用可能なビデオ解像度（例えば、３６０ｐ、５４０ｐ、７２０ｐ及び１０８０ｐ）を得る。ビデオ解像度にしたがって、電子コンピュータ装置は、ハイブリッド画像を作成するためにソース画像Ａ及びＢに適用されるローパスフィルタ及びハイパスフィルタの遮断周波数を決定する。行に沿って描かれた図１１Ａ及び図１１Ｂに示す垂直の点線は、ＡＢＲラダー１３７における対応するビデオ解像度の周波数の上限を表す。例えば、５４０ｐのビデオのスペクトルコンテンツは、左から２番目の垂直な点線までしか使用できない。図１１Ａ及び図１１Ｂのそれぞれの上のグラフ１１０５、１１５５は、特定の視聴距離にあるユーザ１３５のための空間周波数［ピクセル毎のサイクル］の関数として、推定されるコントラスト感度関数（ＣＳＦ）を示す。図１１Ａに示すように、ユーザ１３５の感度のピーク１１１０は、５４０ｐの点と７２０ｐの点との間にある。

【0071】

図１１Ａの真ん中のグラフ１１１５は、フィルタリングされたソース画像Ａ及びＢから作成された第１のハイブリッド画像の感度を示す。グラフ１１１５によって示されるように、電子コンピュータ装置は、先ず、第１のハイブリッド画像のソース画像Ａ及びＢの人の知覚の変化が起こり得る空間周波数を５４０ｐに設定し得る。第１のハイブリッド画像（すなわち、テストメディア２２５）に対するユーザ応答２２０に基づいて、電子コンピュータ装置は、ソース画像Ａ又はＢのどちらがユーザ１３５にとって知覚的により優勢かを特定する。ソース画像Ｂがより優勢であることをユーザ応答２２０が示す場合、電子コンピュータ装置は、図１１Ａの下のグラフ１１２０によって表される第２のハイブリッド画像を生成し得る。下のグラフ１１２０によって示されるように、電子コンピュータ装置は、真ん中のグラフ１１１５によって表される第１のハイブリッド画像の表示からソース画像Ｂを選択するユーザ応答２２０に基づいて、第２のハイブリッド画像の第２のソース画像Ａ及びＢの人間の知覚の変化が起こり得る空間周波数を７２０ｐに設定し得る。ユーザ応答２２０に基づいて動的／適応的に調整された複数のハイブリッド画像の表示を通じて、電子コンピュータ装置は、ユーザ１３５が知覚可能な優勢な周波数範囲を狭めるように構成されている。電子コンピュータ装置は、テスト測定セッションの全体を通して受信したユーザ応答２２０に基づいて、図１１Ａの上のグラフ１１０５に示すように、推定ＣＳＦ１１２５を特定するように構成され得る。図１１Ａには、表示されたハイブリッド画像を表すグラフの２つの反復のみが示されているが、一部の実施形態では、電子コンピュータ装置は、テスト測定セッションの間に、追加のハイブリッド画像（即ち、テストメディア２２５）を表示し、対応する追加のユーザ応答２２０を受信する。

【0072】

図１１Ｂは、図１１Ａと同様の例であるが、異なるユーザ１３５、環境１３０及び／又は再生システム２１０（例えば、同じユーザ１３５及び再生装置２１０であるが、図１１Ａの例よりも遠い視聴距離）に対応する。グラフ１１５５、１１６０及び１１６５は、概して、図１１Ａのそれぞれのグラフ１１０５、１１１５及び１１２０に対応し、上述したように異なる視聴状況に応じて値が調整されている。グラフ１１６０によって示されるように、電子コンピュータ装置は、先ず、第１のハイブリッド画像のソース画像Ａ及びＢの人の知覚の変化が起こり得る空間周波数を５４０ｐに設定し得る。第１のハイブリッド画像（すなわち、テストメディア２２５）に対するユーザ応答２２０に基づいて、電子コンピュータ装置は、ソース画像Ａ又はＢのどちらがユーザ１３５にとって知覚的により優勢かを特定する。図１１Ａに示す例とは異なり、ソース画像Ａがより優勢であることをユーザ応答２２０が示す場合、電子コンピュータ装置は、図１１Ｂの下のグラフ１１６５によって表される第２のハイブリッド画像を生成し得る。下のグラフ１１６５によって示されるように、電子コンピュータ装置は、真ん中のグラフ１１６０によって表される第１のハイブリッド画像の表示からソース画像Ａを選択するユーザ応答２２０に基づいて、第２のハイブリッド画像の第２のソース画像Ａ及びＢの人間の知覚の変化が起こり得る空間周波数を３６０ｐに設定し得る。図１１Ａに関して上述したように、電子コンピュータ装置は、図１１Ｂの上のグラフ１１５５に示すように、推定ＣＳＦ１１７０を特定するために、ハイブリッド画像の表示及びユーザ応答２２０の受信を続け得る。

【0073】

図１１Ａ及び図１１Ｂに示すように、ＣＳＦ１１２５及び１１７０は、ユーザ１３５、環境１３０及び／又は再生システム２１０のうちの１つ以上の差異により、互いに異なる。例えば、図１１ＢのＣＳＦ１１７０は、図１１ＡのＣＳＦ１１２５の感度ピーク１１１０よりも低い解像度で感度ピーク１１７５を有する。別の例として、図１１ＢのＣＳＦ１１７０の全体的な範囲は図１１ＡのＣＳＦ１１２５のものよりも小さいため、図１１Ａのユーザは、約５４０ｐより大きい異なる解像度を区別できる一方で、図１１Ｂのユーザは、約５４０ｐより大きい異なる解像度を区別することができない。

【0074】

上述の説明から明らかなように、ＣＳＦ１１２５及び１１７０は、表示されたハイブリッド画像及び／又は他のテストメディア２２５に応答して電子コンピュータ装置によって受信されたユーザ応答２２０に基づくパーソナル化されたＣＳＦである。電子コンピュータ装置によって特定されるパーソナル化されたＣＳＦは、図５に示し、本明細書で前に説明したＣＳＦ５２０と同様である。つまり、メディアサーバ１０５から再生システム２１０へのメディアストリーミングを制御するために一般的なＡＢＲロジック（例えば、図５の理想的なＣＳＦ５１５）を用いる代わりに、電子コンピュータ装置は、そうするために、パーソナル化されたビットレート／解像度決定ルールを用いり得る。一部の実施形態では、電子コンピュータ装置は、テスト測定セッションの間のテストメディア２２５に対するユーザ応答２２０に基づいて、新たなパーソナル化されたＡＢＲラダーを生成する。

【0075】

一部の実施形態では、１つ以上の記憶されたＰＳＰ２１５は、テスト測定セッションの間に再生システム２１０によって出力されるテストメディア２２５の特性に影響を与え得る。一部の実施形態では、電子コンピュータ装置は、前に記憶されたパーソナル化された感度プロファイル（ＰＳＰ）２１５を読み出し、前に記憶されたＰＳＰ２１５に含まれる１つ以上の視聴特性に基づいてテストメディア２２５を生成する。一部の実施形態では、前に記憶されたＰＳＰ２１５を読み出すために、電子コンピュータ装置は、ユーザ１３５の特性、第１の再生システム２１０の特性及びユーザ１３５が第１の再生システム２１０を視聴している環境１３０の特性のうちの少なくとも１つを含む現在の／進行中のテスト測定セッションの特性を特定する。次に、電子コンピュータ装置は、現在の／進行中のテスト測定セッションの特性と同じ特性のうちの１つ以上を含む前に記憶されたＰＳＰ２１５に基づいて、前に記憶された複数のＰＳＰ２１５から前に記憶されたＰＳＰ２１５を特定し得る。

【0076】

例えば、電子コンピュータ装置は、記憶されたＰＳＰ２１５が、同じユーザ１３５に関する情報を含むが、現在の再生システム２１０及び／又は現在の環境１３０は、記憶された再生システム２１０及び／又は環境１３０とは異なると判定し得る（例えば、同じユーザが、自宅の別の部屋の別のテレビでテレビを見ている）。記憶されたＰＳＰ２１５の特性が現在の状況に正確にマッチしていないにもかかわらず、電子コンピュータ装置は、それでもなお、記憶されたＰＳＰ２１５の１つ以上のメディアパラメータをベースラインとして用いて、テスト測定セッションの間にテストメディア２２５を出力し始め得る。つまり、電子コンピュータ装置は、テストメディア２２５をランダムに又は一般的モデルに従って出力するのではなく、記憶されたＰＳＰ２１５に従ってフィルタリングされるか又はさもなくば変更されたテストメディア２２５（ハイブリッド画像等）を出力し得る。一部の状況では、記憶されたＰＳＰ２１５に含まれるメディアパラメータに基づいてテストメディア２２５を出力することにより、テスト測定セッションの期間が短縮され及び／又は現在の状況に最も適した測定精度が改善され得る。例えば、コントラスト感度関数（ＣＳＦ）が、パーソナル化された感度情報を規定するために電子コンピュータ装置によって生成される場合、典型的には、１つのテスト測定セッションにおいてＣＳＦのメディアパラメータを正確に推定するために数十の測定が必要になる。しかしながら、電子コンピュータ装置が、異なる環境１３０においてユーザ１３５について及び／又は異なる再生システム２１０によって（又は共通ユーザ１３５を有すること以外の別の共通属性について）既に測定された開始点からテスト測定セッションを開始する場合、現在の状況におけるメディアパラメータを正確に推定するのに必要な測定の数は、典型的な量と比べて低減され得る。つまり、現在のテスト測定セッションにおけるＣＳＦ測定のための現在の刺激の空間周波数及びコントラストは、前のテストメディア２２５のユーザ応答２２０及び前に保存されたＰＳＰ２１５からのＣＳＦの推定に従って調整され得る。

【0077】

同様に、一部の実施形態では、ＱｏＥを推定及び最適化するためにＰＳＰ２１５を生成する場合、単一のＰＳＰ２１５は、複数の記憶されたＰＳＰ２１５から推定され得るか又は他の特定された属性（例えば、場所、人口学的、視聴装置のメーカー／モデル、スクリーンサイズ等）に密に一致するものが選択され得る。例えば、電子コンピュータ装置がユーザ１３５、環境１３０及び／又は再生装置２１０の変化を検出し、ユーザ１３５が新たなテスト測定セッションに参加しないことを選択する場合、電子コンピュータ装置は、ユーザ１３５、環境１３０及び／又は再生装置２１０が同様の複数の記憶されたＰＳＰ２１５に基づいて、推定ＰＳＰ２１５を生成し得る。

【0078】

単一の再生システム２１０に対して（それぞれが一意的な又は未知のＰＳＰを有する）複数の視聴者が存在する場合（例えば、複数のユーザ／視聴者がいる家庭にあるテレビ）、電子コンピュータ装置は、多くの異なる基準に基づいて単一のＰＳＰ２１５を選択し得る。例えば、システム６００の目標が任意のユーザに対する知覚されるＱｏＥ劣化のリスクを最小限に抑えることである場合、電子コンピュータ装置は、複数の視聴者のそれぞれに対応するＰＳＰ２１５のグループの中から最も感度の高いＰＳＰ２１５を選択し得る。この例では、電子コンピュータ装置は、ディスプレイ７３０を見る最も敏感なユーザであっても、ＱｏＥの低下を経験することがないよう確実にすることを試みる。最も敏感なユーザがＱｏＥの低下を経験しないと仮定すると、同じディスプレイ７３０を見ているより敏感でないユーザもＱｏＥの低下を経験することはない。何故なら、最も敏感なユーザよりも画像／ビデオ品質の変化に敏感でないからである。一部の実施形態では、システム６００は、例えば、他のアプリケーション（例えば、スマートホームアプリケーション）又はパーソナルモバイル装置のＧＰＳ情報から取り出されたユーザ存在情報に基づいて、所与の再生システム２１０（例えば、複数のユーザ／視聴者を有する家庭のテレビ）のＰＳＰ候補の数を減らし得る。

【0079】

ブロック９２５で、電子コンピュータ装置は、パーソナル化された感度プロファイル２１５を完成するのに十分な情報を収集したかどうか判定する。上述のように、この情報は、（ブロック９２０での）現在のテストメディア２２５に対する現在のユーザ応答２２０から収集され得る及び／又は（ブロック９１０で）前に記憶されたＰＳＰ２１５から読み出され得る。図９では、ブロック９１０が任意であり、方法９００の一部の実施では行われないことがあることを示すためにブロック９１０を破線で示している。つまり、一部の状況では、電子コンピュータ装置は、前に記憶されたＰＳＰ２１５を読み出すことなく、テストメディア２２５に対する受信したユーザ応答２２０に基づいてＰＳＰ２１５を（ブロック９３０で）生成し得る。

【0080】

逆に、図９ではブロック９１５、９２０及び９２５を破線で示していないが、一部の状況では、ブロック９１５、９２０及び９２５は、電子コンピュータ装置によって行われないことがある。つまり、電子コンピュータ装置は、ある状況ではテスト測定セッションを行わず、代わりに、現在のメディアセッションに用いられるＰＳＰ２１５を生成するために、１つ以上の記憶されたＰＳＰ２１５にのみに依存し得る。例えば、（ブロック９１０で）ユーザ１３５及び／又は環境１３０の記憶されたＰＳＰ２１５を読み出す際に、電子コンピュータ装置は、記憶されたＰＳＰ２１５のうちの１つがユーザ１３５、環境１３０及び再生装置２１０に対応すると判定し得る。したがって、ブロック９３０で、電子コンピュータ装置は、環境１３０内の再生装置２１０上のユーザ１３５の現在のメディアセッションのためのＰＳＰ２１５として、対応する前に記憶されたＰＳＰ２１５を利用し得る。この状況では、電子コンピュータ装置がテスト測定セッションを行う必要はない。なぜなら、現在のメディア配信セッションの表示特性は、前のテスト測定セッションの間にＰＳＰ２１５に予め記憶されていたからである。

【0081】

電子コンピュータ装置がテスト測定セッションを行わない（すなわち、図９のブロック９１５、９２０及び９２５を行わない）別の例として、上述したように、電子コンピュータ装置がユーザ１３５、環境１３０、及び／又は再生装置２１０の変化を検出し、ユーザ１３５が新たなテスト測定セッションに参加しないことを選択した場合、電子コンピュータ装置は、ユーザ１３５、環境１３０及び／又は再生装置２１０が同様の複数の記憶されたＰＳＰ２１５に基づいて推定ＰＳＰ２１５を生成し得る。例えば、記憶されたＰＳＰ２１５が同じユーザに関連している場合、電子コンピュータ装置は、記憶されたＰＳＰ２１５に関連する再生システム２１０と、ユーザ１３５によって現在使われている再生システム２１０との間の、表示サイズ又は他の表示特性の既知の変化に基づいて、記憶されたＰＳＰ２１５の１つ以上の特性を調整し得る。同様に、電子コンピュータ装置は、ユーザ１３５の環境における既知の変化に基づいて、記憶されたＰＳＰ２１５の１つ以上の特性を調整し得る。例えば、環境センサ３０５からのセンサデータに基づいて、電子コンピュータ装置は、現在の環境１３０が、記憶されたＰＳＰ２１５に関連する環境１３０よりも暗いと判定し得る。他の実施形態では、推定ＰＳＰ２１５を生成する代わりに、電子コンピュータ装置は、ユーザ１３５、環境１３０及び／又は再生装置２１０の特定された及び／又は既知の特徴と同様の特性を含む記憶されたＰＳＰ２１５を読み出し、使用し得る。例えば、電子コンピュータ装置は、記憶されたＰＳＰ２１５が異なる環境１３０及び／又は異なる再生システム２１０のためのものであっても、ユーザ１３５の記憶されたＰＳＰ２１５を読み出し得る。

【0082】

ブロック９２５の説明に戻って、電子コンピュータ装置が、（例えば、図５、図１１Ａ及び図１１Ｂに示すように、ＣＳＦをより正確に完成させるために）ＰＳＰ２１５を完成するのにより多くの情報が望ましいと判定した場合、方法９００はブロック９１５に戻り、テストメディア２２５の出力及びテストメディア２２５に応答するユーザ入力（すなわち、ユーザ応答２２０）の受信を続ける。ＰＳＰ２１５を完成させるのに十分な情報を収集したと電子コンピュータ装置が判定した場合、本方法はブロック９３０に進む。

【0083】

ブロック９３０で、電子コンピュータ装置は、ユーザ入力に基づいてユーザの１つ以上の視聴特性のパーソナル化された感度プロファイル（ＰＳＰ）を生成する。例えば、電子コンピュータ装置は、図５に示すように、理想的なＣＳＦ５１５から変換及び／又はスケーリングされたパーソナル化されたＣＳＦ５２０を生成する。さらに又は代替的に、ＡＢＲリクエスト１４０（又は別のメディア配信方法に関する要求）等のストリーミングパラメータを特定するために用いられるアルゴリズムは、調整され、ＰＳＰ２１５に記憶される係数を有し得る。一部の実施形態では、電子コンピュータ装置は、ＰＳＰ２１５に含まれるべきパーソナル化されたＡＢＲラダー（又は別のパーソナル化されたメディア配信方法）を生成する。

【0084】

ブロック９３５で、電子コンピュータ装置は、少なくとも部分的にＰＳＰ２１５に基づいて、メディアパラメータを特定する。例えば、電子コンピュータ装置は、メディアパラメータの値（例えば、セグメントサイズ、ビットレート、解像度、フレームレート、メディアサーバ―１０５及び／又はネットワーク１１５に関連するビデオエンコーダ／トランスコーダ／トランスレータの動作に影響を与える別のメディアパラメータのうちの１つ以上の値）を決定する。ブロック９４０で、メディアサーバ１０５は、メディアパラメータに従って、ネットワーク１１５を介して、出力メディアを再生システム２１０に提供する。出力メディアは、再生システム２１０に出力されるように構成されている（例えば、再生システム２１０のディスプレイ７３０上に出力されるように構成された画像／ビデオ）。

【0085】

ブロック９３５でメディアパラメータ（すなわち、メディアパラメータの値）を決定するために、電子コンピュータ装置は、図４に示し、図４に関して本明細書で先に説明したように、一般的オブジェクティブＡＢＲロジックモデルのパーソナル化されたオブジェクティブＡＢＲロジックモデル（ＰＯＭ４０５）への変換を行い得る。一部の実施形態では、ＰＯＭ４０５は、図６に示すように、テレビ、セットトップボックス、デジタルメディアアダプタ又はモバイル装置等の、アダプティブビットレート配信をサポートするストリーミングシステム内で実施され得る。この例では、ＰＯＭ４０５は、再生システム２１０のＡＢＲ要求ロジック１４０によって利用され、限定されないが、セグメントサイズ、ビットレート、解像度、フレームレート、コーデック等に基づいて、エンコードされたビデオ及び／又はオーディオセグメントの選択を改善し、ユーザ１３５のＰＳＰ２１５に利用可能なコード化セグメント間で最も近い一致と一致するか又は提供する。例えば、ＡＢＲ要求１４０（又は別のメディア配信方法に関する要求）等のストリーミングパラメータを決定するために用いられる一般的オブジェクティブＡＢＲロジックモデル（又は別の一般的メディア配信方法）を定義するアルゴリズムは、ＰＳＰ２１５に記憶された情報に従ってそれらの係数が調整／パーソナル化され得る。

【0086】

本明細書で前に説明したように、図６のＡＢＲラダー１３７は、ビットレート、解像度、フレームレート等の範囲にわたって利用可能なオーディオ及びビデオセグメントの集合を表す。また、本明細書で前に説明したように、既存のメディア配信システム／方法は（ＡＢＲが有効であるかどうかに関わらず）非効率であり、再生システム２１０は、シームレスな再生のために必要とされる以上のデータを要求する及び／又はユーザ１３５のＰＳＰ２１５を超えるメディアパラメータの値（例えば、解像度／ビットレート／フレームレートの組み合わせ）を要求することに多くの場合つながる。つまり、ユーザ１３５の感度閾値を超えて、配信解像度／ビットレート／フレームレートを高めることを試みる既存のメディア配信ロジックは、ユーザ１３５にとってＱｏＥの向上に変換されない。開示するＰＯＭベースのメディア配信方法はより効率的な配信に変換されるため、これらのサービスは、それらのコンテンツ配信ネットワーク（ＣＤＮ）ベンダから引き出されたギガバイト当たりで支払うため、オーバーザトップ（ＯＴＴ）サービスの配信コストの低減に変換される。

【0087】

一部の実施形態では、ブロック９３５で、電子コンピュータ装置は、ユーザ１３５の感度知覚の範囲内にあるストリームメディアをもたらす１つ以上のメディアパラメータ（例えば、解像度／ビットレート／フレームレートの組み合わせ）の値を選択する。例えば、電子コンピュータ装置は、ストリームメディアの解像度を約７２０ｐに要求するためメディアサーバ１０５へのＡＢＲ要求１４０を制御するために図１１ＡのＣＳＦ１１２５を用いり得る。なぜなら、ＣＳＦ１１２５は、第１のユーザの感度ピーク１１１０が約７２０ｐであることを示すからである。他方で、電子コンピュータ装置は、ストリームメディアの解像度を低解像度である約５４０ｐに要求するためメディアサーバ１０５へのＡＢＲ要求１４０を制御するために図１１ＢのＣＳＦ１１７０を用いり得る。なぜなら、ＣＳＦ１１７０は、第２のユーザの感度ピーク１１７５が約５４０ｐであることを示すからである。直ぐ上の２つの例では、第１のメディアパラメータ（すなわち、５４０ｐの解像度）及び第２のメディアパラメータ（すなわち、７２０ｐの解像度）は、第２のユーザの第１の再生装置２１０に第１の出力メディアを提供することがネットワーク１１５のリソースの第１の使用を、第１のユーザの第２の再生装置２１０に第２の出力メディアを提供することに関するネットワーク１１５のリソースの第２の使用よりも少なくなるように減少させるように決定される。しかしながら、２つの再生装置２１０に出力メディアをストリーミングする際のリソースの使用の差異にもかかわらず、第１のユーザの第１のパーソナル化されたＱｏＥの第１のパーセンテージは、第２のユーザの第２のパーソナル化されたＱｏＥの第２のパーセンテージとほぼ同じレベルで維持される（図１２Ｂ及び表１Ｂ参照）。

【0088】

単一の再生システム２１０又は２つの再生システム２１０のメディアセッションに関して方法９００を上述したが、一部の実施形態では、方法９００は追加の再生システム２１０に関して行われ得る。例えば、ネットワーク１１５上の特定のノードからメディアストリームを受信する複数の再生システム２１０のそれぞれについてＰＳＰ２１５を決定するために方法９００が用いられ得る。電子コンピュータ装置は、複数の再生システム２１０のそれぞれに提供される各メディアストリームの１つ以上のメディアパラメータ（例えば、符号化及び配信パラメータ）を改善／最適化して、ネットワーク１１５からのメディアストリームを全体で／全体として改善／最適化し得る。

【0089】

例えば、モバイル無線及びブロードバンドネットワークオペレータの場合、エンドユーザ／視聴者のＱｏＥをトレードオフすることなく、開示のＰＯＭベースのメディア配信及び符号化方法９００を利用して、既存のアクセスネットワークに追加の容量を加えることができる。一部の実施形態では、方法９００は、ネットワークの容量を増やすのに必要な資本投資の速度を減らすための新たな方法をネットワークオペレータに提供する。図１２Ａ及び図１２Ｂ並びに表１Ａ及び表１
Ｂは、既存のストリーミング方法を用いてメディアをストリーミングする場合と、方法９００を用いてメディアをストリーミングする場合のネットワーク１１５の例示の帯域幅及びＱｏＥの統計を示す。既存の方法を用いるサーバは既存のサーバと呼ぶのに対して、方法９００を用いるサーバをｘＣＤサーバと呼ぶ（すなわち、エクスペリエンスコーディング及び配信サーバ）。

【0090】

図１２Ａは、帯域幅の上限がないネットワークについてのチャート１２０５を示す。上側の曲線１２１０は既存のサーバによってストリーミングされるメディアによって用いられる帯域幅を表す。下側の曲線１２１５は、方法９００を用いてｘＣＤサーバによってストリーミングされるメディアによって用いられる帯域幅を表す。図１２Ａに示すように、方法９００を用いてｘＣＤサーバによってストリーミングされるメディアによって用いられる帯域幅は、既存のサーバによってストリーミングされる同じメディアによって用いられる帯域幅よりも約２０％少ない。加えて、図１２Ａに対応する下記の表１Ａに示すように、全ての視聴者（例えば、高感度のユーザ（すなわち、近い視聴者）及び低感度のユーザ（すなわち、離れた視聴者）の両方は１００％で留まる（すなわち、完全なＱｏＥ）。

【0091】

【表1A】

【0092】

図１２Ａ及び表１Ａに示すように、方法９００は、それぞれのＰＳＰ２１５に基づいてユニキャストセッションをそれぞれが受信するユーザの集団について、ユーザＱｏＥを低下させることなくより効率的なメディア配信をもたらす。この、ユーザＱｏＥを低下させることなく、効率を高め、帯域幅を低下されることは、ビットレート、解像度等がある点を超えて増加した場合に、ＱｏＥの向上を経験しないユーザ１３５のＰＳＰ２１５に基づいてストリームメディアのビットレート、解像度等をシステム６００が減らす結果である。つまり、一部の実施形態では、方法９００は、特定のユーザが知覚できるよりも高い品質のメディアを特定のユーザに配信することなく、各ユーザに最も高い知覚可能な品質のメディアを配信すること（すなわち、パーソナル化されたメディアコンテンツ配信）を目的とし得る。

【0093】

図１２Ｂは、帯域幅に上限が設けられた／ネットワーク容量が固定された（例えば、約６０Ｍｂｐｓ）ネットワークについてのチャート１２５０を示す。曲線１２５５は、既存のサーバによってストリームされたメディアによって用いられる帯域幅を表す。曲線１２６０は、方法９００を用いるｘＣＤサーバによってストリームされるメディアによって用いられる帯域幅を表す。図１２Ａの曲線とは異なり、図１２Ｂの曲線１２５５及び１２６０は、経時的にほぼ同じ帯域幅を用いる。一部の実施形態では、方法９００を用いるｘＣＤサーバによってストリーミングされるメディアによって用いられる帯域幅は、既存のサーバによってストリーミングされる同じメディアによって用いられる帯域幅よりも約１％小さくてもよい。しかしながら、図１２Ｂに対応する以下の表１Ｂによって示されるように、容量が固定されたネットワークリンクを介したｘＣＤサーバによる方法９００の使用は、従来のＡＢＲセグメント選択アプローチを実施する既存のサーバと比べて、高感度及び低感度ユーザにわたってよりＱｏＥのより均一な低下をもたらす。

【0094】

【表1B】

【0095】

例えば、表１Ｂは、既存のサーバによってメディアがストリーミングされる場合に、上限が設けられた帯域幅ネットワークでは、高感度ユーザ（すなわち、それぞれの再生システム２１０に最も近いユーザ）は約４０％のＱｏＥの低下を経験することを示す。これに対して、既存のサーバによってメディアがストリーミングされる場合に、上限が設けられた帯域幅ネットワークでは、低感度ユーザ（すなわち、それぞれの再生システム２１０から最も遠いユーザ）は約２０％のＱｏＥの低下しか経験しない。このＱｏＥの低下の差は、ストリーミング品質の変化が異なるユーザに異なる影響を与えるにもかかわらず、既存のサーバは全てのユーザに対してストリーミング品質を等しく低下させるに起因する。

【0096】

他方で、ユーザＰＳＰ２１５は、異なるユーザに対して異なる方法でストリーミング品質をよりインテリジェントに低減するためにｘＣＤサーバによって用いられるため、同じ上限が設けられた帯域幅ネットワークは、システム６００の全ユーザ間でより均一なＱｏＥの低減を提供することができる。一部の実施形態では、ＱｏＥのより均一な低減は、システム６００のユーザに対して全体的により高いＱｏＥをもたらす。例えば、表１Ｂは、メディアがｘＣＤサーバによってストリーミングされる場合に、キャップされた帯域幅ネットワークにおいて、高感度ユーザ（すなわち、それぞれの再生システム２１０に最も近いユーザ）は約２０％のＱｏＥの低下しか経験しないことを示す。同様に、メディアがｘＣＤサーバによってストリーミングされる場合に、上限が設けられた帯域幅ネットワークにおいて、低感度ユーザ（すなわち、それぞれの再生システム２１０から最も遠いユーザ）は約２０％のＱｏＥの低下しか経験しない。つまり、表１Ｂによって示されるように、方法９００を実施するｘＣＤサーバは、高感度ユーザのＱｏＥを有意に改善する一方で、低感度ユーザのＱｏＥを適度に低下させるか又は維持する。

【0097】

図１３Ａ及び図１３Ｂは、方法９００が、ＱｏＥに悪影響を及ぼすことなく、どのようにより多くのユーザ／加入者が固定容量ネットワーク上でのメディアのストリーミングできるようにするかの別の例を示す。図１３Ａ及び図１３Ｂは、オーバーヘッドを考慮した後に有効スループットが８８％の１.８９Ｇｂｉｔ／ｓ（４０９６－ＱＡＭ）の固定容量ネットワークを用いた場合の、サービスが提供される加入者の数（ｘ軸）に対するＱｏＥの低下を経験する加入者の割合（ｙ軸）の例示のグラフ１３０５及び１３５０を示す。図１３Ａ及び図１３Ｂのグラフ１３０５、１３５０は、高感度（例えば、それぞれの再生システム２１０から離れた３つの画像高さ（３Ｈ））及び低感度（例えば、それぞれの再生システム２１０から離れた６つの画像高さ（６Ｈ））の視聴者が５０％で分かれていると仮定している。

【0098】

グラフ１３０５、１３５０は、ユーザ/加入者が固定容量ネットワークに追加されるにつれて、ユーザ／加入者の数がある閾値１３１０、１３５５に達すると、（一例として）ビデオ解像度を低下させなければならないことを示す。しかしながら、図１２Ａ及び図１２Ｂならびに表１Ａ及び表１Ｂに関する上記の例と同様に、（図１３Ａに示すように）全てのユーザ／加入者の解像度を均一に下げることにより、ユーザ／加入者が３Ｈで又は６Ｈで視聴していることに依存して、不均一なＱｏＥがもたらされる。例えば、全てのメディアストリームで同じ解像度の低減が実施された場合、３Ｈで視聴しているユーザは概して、６Ｈで視聴しているユーザよりもＱｏＥの低下が大きいと認識する。異なるタイプのユーザ間のＱｏＥの低下におけるこの違いは、図１３Ａ及び図１３Ｂに示す３Ｈ曲線１３１５及び６Ｈ曲線１３２０によって示される。３Ｈ曲線１３１５と６Ｈ曲線１３２０との間の網掛け領域１３２５は、高感度ユーザ／加入者と低感度ユーザ／加入者との間でのＱｏＥの低下の不均一を示す。例えば、ネットワークが１２００人のユーザにサービスを提供するためには、３Ｈにおけるユーザ（すなわち、高感度のユーザ）の６０％にとってビデオ品質の低下が見られるものの、６Ｈにおけるユーザ（すなわち、低感度のユーザ）では約２％にすぎない。

【0099】

図１３Ａは、全ユーザ／加入者の視聴距離に基づいてビデオコード化ビットレート及び解像度を同じように適合するストリーミング管理方法を用いた場合に、異なるユーザ／加入者が経験するＱｏＥを示す第１のＱｏＥ曲線１３３０を示す。他方、図１３Ｂは、追加のユーザがネットワークに加えられるにつれて、異なるユーザに対して解像度の劣化をパーソナル化するために図９の方法９００が用いられる場合に、異なるユーザ／加入者が経験するＱｏＥを示す第２のＱｏＥ曲線１３６０を示す。上述したように、図１３Ａ及び図１３Ｂの双方は、ユーザ／加入者間で３Ｈ及び６Ｈの視聴距離が５０％で分かれていると仮定する。

【0100】

方法９００を用いることで、メディアパラメータを制御する電子コンピュータ装置は、（例えば、各ユーザのＰＳＰ２１５に記憶された情報に基づいて）どのユーザがどの距離でどのように各ユーザのＱｏＥが解像度の低下によって影響を受けるかを理解する。したがって、方法９００を実行する電子コンピュータ装置は、両グループのユーザ（すなわち、高感度ユーザ及び低感度ユーザ）において等しい平均的なＱｏＥを実現するために、ビットレート／解像度の組み合わせを割り当てることができる。この改善は、図１３ＡのＱｏＥ曲線１３３０と図１３ＢのＱｏＥ曲線１３６０との間の違いによって示される。例えば、任意のユーザがＱｏＥの低下を経験する図１３Ａの閾値１３１０は、ネットワークが約６００のユーザにサービスを提供する場合のものである。これに対して、図１３Ｂの閾値１３５５は、約１２００人のユーザと約２倍になっている。つまり、方法９００を実行するネットワークは、いずれのユーザもＱｏＥの低下を経験することなく、既存のネットワークの約２倍のユーザにサービスを提供することができる。

【0101】

図９に戻って、図の破線矢印で示されるように、一部の実施形態では、電子コンピュータ装置は、ブロック９３５及び９４０を繰り返す。これらのブロックの繰り返しは、メディア配信サービスの間に再生環境１３０（例えば、環境センサ３０５）及び／又はネットワーク１１５におけるセンサ出力のリアルタイム追跡を可能にし、それに対応し、多様な用途のケースのためにパーソナル化されたオブジェクティブモデル４０５の動的／アダプティブな調整を可能にする。例えば、システム６００は、(例えば、日が沈んだことにより、ユーザ１３５が部屋のカーテンを閉めることにより等)再生システム２１０が位置する部屋がユーザ１３５がテレビを見始めてから暗くなったと判定し得る。この判定に応答して、システム６００は、例えば、現在より暗い部屋の特性により類似した環境光特性を含む別の記憶されたＰＳＰ２１５を選択することにより、パーソナル化されたオブジェクティブモデル４０５を調整し得る。

【0102】

本明細書で前で説明したように、本明細書で言及するＡＢＲラダー１３７及びＡＢＲ選択方法は、ネットワーク１１５を介してメディアサーバ１０５から再生システム２１０へのメディア配信を制御するためにシステム６００によって用いることができる一例の方法に過ぎない。他の実施形態では、ストリーミングされているコード化されたメディアのビットレート及び／又は解像度等のビデオエンコーダ／トランスコーダ／トランスレータのパラメータ（すなわち、メディアパラメータ）を動的に調整するために他の方法が用いられ得る。多くの例に含まれるＡＢＲ関連方法と同様に、これらの他のメディア配信方法は、本明細書で説明したように、メディア配信を最適化するために、１つ以上のＰＳＰ２１５に基づいて調整されたそれらのメディアパラメータを有する。一部の実施形態では、メディア配信方法は、メディアサーバ１０５及び／又はネットワーク１１５（すなわち、再生システム２１０の上流）によって実施される上流のメディア配信方法である。

【0103】

本実施形態のその用途は、本明細書で説明した又は添付の図面に示すコンポーネントの詳細な構成及び配置に限定されないことを理解すべきである。実施形態は、様々な方法で実施又は行うことができる。また、本明細書で用いる表現及び用語は説明を目的としたものであり、限定的とみなすべきではないことを理解すべきである。「含む」又は「有する」及びそれらの変形の使用は、その後に列挙されるアイテム及びそれらの等価物に加えて追加のアイテムを含むことを意味する。特段規定又は限定されない限り、「取り付けられた」、「接続された」、「支持された」及び「連結された」という用語及びそれらの変形は広い意味で用いられ、直接的及び間接的な取り付け、接続、支持及び連結の両方を包含する。

【0104】

加えて、実施形態は、説明を目的として、コンポーネントの大部分があたかもハードウェアでのみ実施されているかのように図示及び説明され得るハードウェア、ソフトウェア及び電子コンポーネント又はモジュールを含み得ることが理解すべきである。しかしながら、当業者であれば、この詳細な説明の解釈に基づいて、少なくとも１つの実施形態で、電子ベースの態様は、マイクロプロセッサ及び／又は特定用途向け集積回路（「ＡＳＩＣ」）等の１つ以上の電子プロセッサによって実行可能な（例えば、非一時的コンピュータ読み取り可能媒体に記憶される）ソフトウェアで実施され得ることを認識するであろう。そのため、実施形態を実施するために複数のハードウェア及びソフトウェアベースのデバイス並びに複数の異なる構造コンポーネントが利用され得る。例えば、本明細書に記載の「サーバ」及び「コンピュータ装置」は、１つ以上の電子プロセッサ、１つ以上のコンピュータ読み取り可能媒体モジュール、１つ以上の入出力インターフェイス及び様々なコンポーネントを接続する様々な接続（例えば、システムバス）を含むことができる。

【0105】

様々な特徴及び利点は、以下の特許請求の範囲に記載されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10ABC】

【図10DE】

【図11】

【図12】

【図13A】

【図13B】