特許 7062608 ビットレート最適化システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-22

(45)【発行日】2022-05-06

(54)【発明の名称】ビットレート最適化システム及び方法

(51)【国際特許分類】

   H04N 19/115 20140101AFI20220425BHJP

   H04N 19/139 20140101ALI20220425BHJP

   H04N 19/14 20140101ALI20220425BHJP

【ＦＩ】

H04N19/115

H04N19/139

H04N19/14

【請求項の数】 6

(21)【出願番号】P 2019055500

(22)【出願日】2019-03-22

(65)【公開番号】P2019186919

(43)【公開日】2019-10-24

【審査請求日】2019-03-22

【審判番号】

【審判請求日】2021-03-03

(31)【優先権主張番号】107111933

(32)【優先日】2018-04-03

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】519100147

【氏名又は名称】香港商科科串流股▲フン▼有限公司

【氏名又は名称原語表記】ＫＫＳｔｒｅａｍ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】８Ｆ．，Ｎｏ．１９－１１，Ｓａｎｃｈｏｎｇ Ｒｄ．，Ｎａｎｇａｎｇ Ｄｉｓｔ．，Ｔａｉｐｅｉ Ｃｉｔｙ，Ｔａｉｗａｎ

(74)【代理人】

【識別番号】110003018

【氏名又は名称】弁理士法人プロテクトスタンス

(72)【発明者】

【氏名】官順暉

(72)【発明者】

【氏名】蔡豐旭

【合議体】

【審判長】千葉 輝久

【審判官】清水 正一

【審判官】川崎 優

(56)【参考文献】

【文献】特表２００８－５３３８４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 19/00 - 19/98

(57)【特許請求の範囲】

【請求項1】

ビデオを保存する保存装置と、
前記保存装置に電気的に接続され、前記ビデオの空間複雑性及び時間複雑性を分析することで、人眼の感度を評価して、前記ビデオのビットレートを決める依拠とするプロセッサと、
を含み、
前記プロセッサは、視覚評価公式によって前記空間複雑性と前記時間複雑性との組み合わせが人眼に敏感であるかを判断して、前記ビデオにおける各々の画面の人眼敏感情報を取得し、前記ビデオにおける各々の画面の前記人眼敏感情報を正規化して、更に所定の加重方程式に代入して前記ビットレートを取得し、
前記所定の加重方程式は、
（前記ビデオにおける全ての画面の第１の平均複雑性）＋（高複雑性閾値に該当する画面の第２の平均複雑性）×（高複雑性閾値に該当する画面数の全部の画面数に占める比例）×２であり、
前記高複雑性閾値は前記第１の平均複雑性×２であるビットレート最適化システム。

【請求項2】

前記空間複雑性は、前記ビデオにおける各々の画面の空間領域での情報数である請求項１に記載のビットレート最適化システム。

【請求項3】

前記時間複雑性は、前記ビデオの時間軸における物体の移動量の大きさである請求項１又は２に記載のビットレート最適化システム。

【請求項4】

ビデオを提供する工程と、
前記ビデオの空間複雑性及び時間複雑性を分析することで、人眼の感度を評価して、前記ビデオのビットレートを決める依拠とする工程と、
を備え、
前記人眼の感度を評価する工程は、視覚評価公式によって前記空間複雑性と前記時間複雑性との組み合わせが人眼に敏感であるかを判断して、前記ビデオにおける各々の画面の人眼敏感情報を取得することを含み、
前記ビデオの前記ビットレートの依拠を決める工程は、前記ビデオにおける各々の画面の前記人眼敏感情報を正規化して、更に所定の加重方程式に代入して前記ビットレートを取得することを含み、
前記所定の加重方程式は、
（前記ビデオにおける全ての画面の第１の平均複雑性）＋（高複雑性閾値に該当する画面の第２の平均複雑性）×（高複雑性閾値に該当する画面数の全部の画面数に占める比例）×２であり、
前記高複雑性閾値は前記第１の平均複雑性×２であるビットレート最適化方法。

【請求項5】

前記空間複雑性は、前記ビデオにおける各々の画面の空間領域での情報数である請求項４に記載のビットレート最適化方法。

【請求項6】

前記時間複雑性は、前記ビデオの時間軸における物体の移動量の大きさである請求項４又は５に記載のビットレート最適化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システムと方法に関し、特に、ビットレート最適化システム及びビットレート最適化方法に関する。

【背景技術】

【0002】

ストリーミングメディア（Ｓｔｒｅａｍｉｎｇ ｍｅｄｉａ）とは、一連のメディアデータを圧縮した後で、ネットワークによってデータを区切って送り、ネットワークで影音をリアルタイムに伝送して、鑑賞させる技術と過程である。この技術により、データパケットが流れる水のように転送される。

【0003】

一般的には、最初のメディアデータが膨大であるため、予め圧縮されてからネットワークで伝送される。しかしながら、圧縮の倍数が高いほど、メディアデータへの破壊も厳しくなるので、如何に好適なビットレートを選択するかは、重要な問題になる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、先行技術の問題を改善するために、ビットレート最適化システム及び方法を提出する。

【課題を解決するための手段】

【0005】

本発明の一実施例において、本発明は、ビデオを保存する保存装置と、保存装置に電気的に接続され、ビデオの空間複雑性及び時間複雑性を分析することで、人眼の感度を評価して、ビデオのビットレートを決める依拠とするプロセッサと、を含み、プロセッサは、視覚評価公式によって空間複雑性と時間複雑性との組み合わせが人眼に敏感であるかを判断して、ビデオにおける各々の画面の人眼敏感情報を取得し、ビデオにおける各々の画面の人眼敏感情報を正規化して、更に所定の加重方程式に代入してビットレートを取得するビットレートを取得し、前記所定の加重方程式は、（前記ビデオにおける全ての画面の第１の平均複雑性）＋（高複雑性閾値に該当する画面の第２の平均複雑性）×（高複雑性閾値に該当する画面数の全部の画面数に占める比例）×２であり、前記高複雑性閾値は前記第１の平均複雑性×２であるビットレート最適化システムを提出する。

【0006】

本発明の一実施例において、空間複雑性は、ビデオにおける各々の画面の空間領域での情報数である。

【0007】

本発明の一実施例において、時間複雑性は、ビデオの時間軸における物体の移動量の大きさである。

【0008】

本発明の一実施例において、本発明は、ビデオを提供する工程と、ビデオの空間複雑性及び時間複雑性を分析することで、人眼の感度を評価して、ビデオのビットレートを決める依拠とする工程と、を備え、人眼の感度を評価する工程は、視覚評価公式によって空間複雑性と時間複雑性との組み合わせが人眼に敏感であるかを判断して、ビデオにおける各々の画面の人眼敏感情報を取得することを含み、ビデオのビットレートの依拠を決める工程は、ビデオにおける各々の画面の人眼敏感情報を正規化して、更に所定の加重方程式に代入してビットレートを取得することを含み、前記所定の加重方程式は、（前記ビデオにおける全ての画面の第１の平均複雑性）＋（高複雑性閾値に該当する画面の第２の平均複雑性）×（高複雑性閾値に該当する画面数の全部の画面数に占める比例）×２であり、前記高複雑性閾値は前記第１の平均複雑性×２であるビットレート最適化方法を提出する。

【0009】

本発明の一実施例において、空間複雑性は、ビデオにおける各々の画面の空間領域での情報数である。

【0010】

本発明の一実施例において、時間複雑性は、ビデオの時間軸における物体の移動量の大きさである。

【発明の効果】

【0011】

以上をまとめると、本発明の技術案は、従来技術に比べると、明確なメリット及び有益効果を有する。本発明の技術案によると、システムが好適なビットレートを自動的に選択し、ネットワーク伝送の周波数帯域幅を配慮し、且つ人眼で快適に観覧できるようにする。

【0012】

以下、実施形態によって上記内容をより詳しく説明し、また本発明の技術案を更に解釈する。

【図面の簡単な説明】

【0013】

下記添付図面の説明は、本発明の上記及び他の目的、特徴、メリット及び実施例をより分かりやすくするためのものである。

【図1】本発明の一実施例によるビットレート最適化システムのブロック図である。

【図2】本発明の一実施例によるビットレート最適化方法の流れ図である。

【発明を実施するための形態】

【0014】

本発明の記述をより詳しく完備にするために、添付図面及び下記の各種の実施例を参照されたい。図面において、同じ番号は同一又は同様な素子を表す。一方、本発明に必要以上の制限を加えないように、周知の素子と工程は実施例で説明されていない。

【0015】

実施形態と特許請求の範囲において、「接続」に関わる記述は、一般的に、素子が他の素子によって別の素子に間接的に結合され、又はある素子が他の素子によらずに直接別の素子に連結されることを指すことができる。

【0016】

実施形態と特許請求の範囲において、「リンク」、「接続」に関わる記述は、一般的に、ある素子が他の素子によって間接的に別の素子と有線及び／又は無線通信を行い、又はある素子が他の素子によらずに別の素子に実体的に接続されることを指すことができる。

【0017】

実施形態と特許請求の範囲において、本文において冠詞に対して特に限定しない限り、「一」と「前記」は、一般的に、単一又は複数のものを指してよい。

【0018】

本文に用いられる「約」、「およそ」又は「大体」は、如何なる僅かに変化可能な数を修飾することに用いられてよいが、このような僅かな変化をその本質を変えることはない。実施形態において、特に説明しなければ、「約」、「およそ」又は「大体」で修飾される数値としては一般的に２０％以内、好ましくは１０％以内、より好ましくは５％以内の誤差範囲が許容されることを表す。

【0019】

図１は、本発明の一実施例によるビットレート最適化システム１００のブロック図である。図１に示すように、ビットレート最適化システム１００は、保存装置１１０と、プロセッサ１２０と、伝送装置１５０と、を含む。構造的に、プロセッサ１１０が保存装置１２０及び伝送装置１５０に電気的に接続され、伝送装置１５０がユーザ装置１９０にリンクされる。

【0020】

例として、ビットレート最適化システム１００はサーバ又はコンピュータのホストであってよい。保存装置１１０はハードウェア、フラッシュメモリ又は他の保存メディアであってよい。プロセッサ１２０は中央処理装置、コントローラ又は他の処理回路であってよい。伝送装置１５０はネットワークカード又は他のネットワーク設備であってよい。ユーザ装置１９０はデスクトップパソコン、ノートパソコン、パネルコンピュータ、携帯電話又は他のユーザ装置であってよい。

【0021】

作動時、保存装置１１０がビデオを保存する。プロセッサ１２０がビデオの空間複雑性及び時間複雑性を分析することで、人眼の感度を分析して、ビデオのビットレートを決める依拠とする。次に、プロセッサ１２０が前記ビットレートに基づいてビデオを圧縮し、圧縮されたビデオを伝送装置１５０によってユーザ装置１９０に伝送する。

【0022】

本発明の一実施例において、プロセッサ１２０がビデオを分析して各々の画面（画面内の各々の領域を含む）の空間複雑性及び時間複雑性を取得する。

【0023】

本発明の一実施例において、上記空間複雑性は、ビデオにおける各々の画面の空間領域での細部の多さである。具体的には、空間複雑性は、一枚の画面における細部、コントラスト、シャープネス及びトーンでの情報の多さである。例えば、ある画面に森の葉、水波を含むはっきりした風景があれば、その空間複雑性は高い。ある画面がアニメーションにおける１つのシーンであり、大部分の画面が大きい色塊からなり、その空間複雑性は低い。

【0024】

本発明の一実施例において、上記時間複雑性は、ビデオの時間軸における物体の移動量の大きさである。具体的には、ビデオが大量の影格から構成され、影格の前後の間もほとんど連続した動作であるため、ここでの時間複雑性とは、前後の影格の間の動作幅である。アクション映画を例として、刺激である場合、連続した数秒間でもビデオが激しく震動し、この場合に激しく震動する動作幅は時間複雑性が高いことを表す。

【0025】

本発明の一実施例において、プロセッサ１２０は、視覚評価公式によって空間複雑性と時間複雑性との組み合わせが人眼に対して敏感であるかを判断して、ビデオにおける各々の画面の人眼敏感情報を取得する。

【0026】

具体的には、視覚評価公式は下記の通りである。領域（画面をＮ×Ｎの領域に切る）の移動ベクトル、輝度や彩度及び空間複雑性によって、視覚感度を判断し、Ｎは１６又は他の正整数であってよい。

【0027】

例として、予め複数の受験者の人眼の感受から取得した統計データによって、高移動ベクトル（ｈｉｇｈｔ_ｍｖ）、低移動ベクトル（ｌｏｗ_ｍｖ）、高敏感輝度（ｈｉｇｈ_ｌｕｍａ）、低敏感輝度（ｌｏｗ_ｌｕｍａ）、高空間複雑性（ｈｉｇｈ_ｓｐａｔｉａｌ_ｃｏｍｌ）、低空間複雑性（ｌｏｗ_ｓｐａｔｉａｌ_ｃｏｍｌ）を定義する。

【0028】

上記によると、高敏感：移動ベクトル（ｍｖ）>ｈｉｇｈ_ｍｖ、輝度>ｈｉｇｈ_ｌｕｍａ、空間複雑性>ｈｉｇｈ_ｓｐａｔｉａｌ_ｃｏｍｐｌである。低敏感：移動ベクトル（ｍｖ）<ｌｏｗ_ｍｖ、輝度<ｌｏｗ_ｌｕｍａ、空間複雑性<ｌｏｗ_ｓｐａｔｉａｌ_ｃｏｍｐｌである。

【0029】

本発明の一実施例において、プロセッサ１２０がビデオにおける各々の画面の人眼敏感情報を正規化して、更に所定の加重方程式に代入してビットレートを取得する。

【0030】

所定の加重方程式に関しては、例として、「平均複雑性」を全ての画面の複雑性の平均に定義し、「高複雑性閾値」を平均複雑性×２に定義すると、所定の加重方程式＝平均複雑性＋（高複雑性閾値に該当する画面の複雑性の平均）×（高複雑性閾値に該当する画面数の全部の画面数に占める比例）×２になる。

【0031】

その後、プロセッサ１２０は、保存装置１１０に保存される複雑性とビットレートとの関係の内蔵表に基づいて、所定の加重方程式から取得した複雑性数値を代入して、対応するビットレートを探し出す。

【0032】

例として、上記複雑性とビットレートとの関係は、複数の受験者の人眼の感受から得られた統計データによりまとめられてよい。複雑性が高いほど、ビットレートは高いが、複雑性が低いほど、ビットレートは低い。表定された複雑性の対応するビットレートは、大部分の受験者の受け取られる画質によって決められ、ビットレートが表定された複雑性に対応するビットレートよりも低く設定されると、受験者は画質が不良であると思うことが多い。或いは、上記複雑性とビットレートとの関係は、ソフトウェアによって模擬して得られることができ、当業者であれば当時の必要に応じて柔軟的に選択してよい。

【0033】

上記ビットレート最適化システムの作動方法を更に説明するために、図１～図２を同時に参照されたい。図２は、本発明の一実施例によるビットレート最適化方法２００の流れ図である。図２に示すように、ビットレート最適化方法２００は、工程Ｓ２０１～Ｓ２０２を備える（理解すべきなのは、本実施例で言及された工程は、その順序が特に明記されない限り、何れも実際の要求に応じてその前後の順序を調整し、更に同時に又は部分的に同時に実行してよい）。

【0034】

工程Ｓ２０１において、ビデオを提供する。工程Ｓ２０２において、ビデオの空間複雑性及び時間複雑性を分析することで、人眼の感度を分析して、ビデオのビットレートを決める依拠とする。

【0035】

ビットレート最適化方法２００において、空間複雑性は、ビデオにおける各々の画面の空間領域での細部の多さである。

【0036】

ビットレート最適化方法２００において、時間複雑性は、ビデオの時間軸における物体の移動量の大きさである。

【0037】

本発明の一実施例において、人眼の感度を分析する工程Ｓ２０２は、視覚評価公式によって空間複雑性と時間複雑性との組み合わせが人眼に対して敏感であるかを判断して、ビデオにおける各々の画面の人眼敏感情報を取得することを含む。

【0038】

本発明の一実施例において、ビデオのビットレートの依拠を決める工程Ｓ２０２は、ビデオにおける各々の画面の人眼敏感情報を正規化して、更に所定の加重方程式に代入してビットレートを取得することを含む。

【0039】

以上をまとめると、本発明の技術案は、従来技術に比べると、明確なメリット及び有益効果を有する。本発明の技術案によると、システムが好適なビットレートを自動的に選択し、ネットワーク伝送の周波数帯域幅を配慮し、且つ人眼で快適に観覧できるようにする。

【0040】

本発明の実施形態を前述の通りに開示したが、これは、本発明を限定するものではなく、当業者なら誰でも、本発明の精神と範囲から逸脱しない限り、多様の変更や修正を加えることができるので、本発明の保護範囲は、下記添付の特許請求の範囲で指定した内容を基準とする。

【符号の説明】

【0041】

下記の符号の説明は、本発明の上記及び他の目的、特徴、メリットと実施例をより分かりやすくするためのものである。
１００ ビットレート最適化システム
１１０ 保存装置
１２０ プロセッサ
１５０ 伝送装置
１９０ ユーザ装置
２００ ビットレート最適化方法
Ｓ２０１、Ｓ２０２ 工程

【図1】

【図2】