(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6343451
(24)【登録日】2018年5月25日
(45)【発行日】2018年6月13日
(54)【発明の名称】動画再生装置、動画再生方法、及び動画再生プログラム
(51)【国際特許分類】
H04N 21/431 20110101AFI20180604BHJP
H04N 21/4782 20110101ALI20180604BHJP
【FI】
H04N21/431
H04N21/4782
【請求項の数】8
【全頁数】11
(21)【出願番号】特願2014-579(P2014-579)
(22)【出願日】2014年1月6日
(65)【公開番号】特開2015-130564(P2015-130564A)
(43)【公開日】2015年7月16日
【審査請求日】2016年9月5日
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(73)【特許権者】
【識別番号】514005593
【氏名又は名称】ターボシステムズ株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】場田 隼也
(72)【発明者】
【氏名】深田 聡
(72)【発明者】
【氏名】谷口 剛
【審査官】
古川 哲也
(56)【参考文献】
【文献】
特表2009−504002(JP,A)
【文献】
特開2009−077115(JP,A)
【文献】
特開2009−071579(JP,A)
【文献】
特開2010−074363(JP,A)
【文献】
特開2010−098483(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 − 21/858
G06F 13/00
(57)【特許請求の範囲】
【請求項1】
動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と、
前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段と
を備えることを特徴とする動画再生装置。
【請求項2】
前記合成手段は、前記動画復号手段から前記動画像のフレームレートに対応する同期クロックを受信し、当該同期クロックに基づいて、前記合成により得られた画面データを画面表示手段に出力する
ことを特徴とする請求項1に記載の動画再生装置。
【請求項3】
前記合成手段は、前記画面表示手段の設定表示タイミングと、前記同期クロックに対応する表示タイミングとの差分に基づいて、前記合成により得られた画面データを前記画面表示手段に出力するタイミングを調整する
ことを特徴とする請求項2に記載の動画再生装置。
【請求項4】
前記動画再生装置における機能付加手段から出力される動画データの描画処理を行い、当該描画処理により得られた画像データを前記合成手段に送信する機能付加手段用描画手段
を備えることを特徴とする請求項1ないし3のうちいずれか1項に記載の動画再生装置。
【請求項5】
動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に1つの動画データとすることにより得られた当該動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と
を備えることを特徴とする動画再生装置。
【請求項6】
動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
前記動画像に対応する符号化動画データを復号して動画データを生成するとともに、ダミーデータとして、透明度設定値を透明を示す値とした動画データを生成する動画復号ステップと、
前記コンテンツにおける動画像部分を前記ダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
を備えることを特徴とする動画再生方法。
【請求項7】
動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に1つの動画データとすることにより得られた当該動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
を備えることを特徴とする動画再生方法。
【請求項8】
コンピュータを、請求項1ないし5のうちいずれか1項に記載の動画再生装置の各手段として機能させるための動画再生プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、Webページ等のコンテンツの表示を行うための技術に関するものであり、特に、動画像を含むコンテンツの表示を行う技術に関連するものである。
【背景技術】
【0002】
近年、Webブラウザを備える装置が一般に普及している。また、HTML5の制定等で、近年のWebブラウザでは、動画データを扱うことが非常に多くなってきている。
【0003】
一般にWebブラウザは、ネットワークからコンテンツ(HTMLデータ、画像データ、動画像データ等)を取得し、当該コンテンツを解析し、その解析結果に基づき描画処理を行って、ディスプレイへの表示を行う。
【0004】
動画像を含むコンテンツの場合、Webブラウザは、符号化動画データを復号することにより得られた動画データを1つの構成要素(オブジェクト)として扱い、描画処理において当該動画データをその他の構成要素と合成し、出力する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2013−214800号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上記のような従来のWebブラウザにおける描画処理においては、動画像の時間軸の情報を廃棄しているため、各フレームを動画像のソース側で意図したタイミングで正確に表示することができないという問題がある。特に、高精細な動画像の場合には、例えば動画像にカクつき等の乱れが生じ、表示が不安定になるという問題がある。
【0007】
本発明は上記の点に鑑みてなされたものであり、Webブラウザで取得するコンテンツにおける動画像の表示を安定化させる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の実施の形態によれば、動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と
、
前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段と
を備えることを特徴とする動画再生装置が提供される。
【0009】
また、本発明の実施の形態によれば、動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
前記動画像に対応する符号化動画データを復号して動画データを生成するとともに、ダミーデータとして、透明度設定値を透明を示す値とした動画データを生成する動画復号ステップと、
前記コンテンツにおける動画像部分を
前記ダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
を備えることを特徴とする動画再生方法が提供される。
【発明の効果】
【0010】
本発明の実施の形態によれば、Webブラウザで取得するコンテンツにおける動画像の表示を安定化させる技術が提供される。
【図面の簡単な説明】
【0011】
【
図1】本発明の実施の形態に係る動画再生装置10の機能構成図である。
【
図2】動画再生装置10における動画データに関する処理の概要を説明する図である。
【
図3】画像再合成部14の機能を説明するための図である。
【
図4】動画再生装置10の変形例1を示す図である。
【
図5】動画再生装置10の変形例2を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【0013】
なお、本明細書において、「動画データ」は「符号化動画データ」が復号されることにより得られるデータである。また、「動画データ」には音声が含まれていてもよいが、本実施の形態では、動画像に着目した処理について説明している。
【0014】
(装置構成、動作)
図1に、本発明の実施の形態に係る動画再生装置10の機能構成図を示す。
図1に示すように、本実施の形態に係る動画再生装置10は、コンテンツ解析部11、描画部12、動画復号部13、画像再合成部14を有する。なお、
図1は、動画再生装置10の中で本実施の形態に係る機能のみを示すものである。また、動画復号部13は、動画DeMuxer等の動画復号の前段で必要な機能も含むものである。
【0015】
本実施の形態において、動画再生装置10は、インターネット等のネットワークから動画像(ストリーミング等)を含むコンテンツを取得するWebブラウザを搭載したPCやモバイル端末、セットトップボックス等を想定しているが、これらに限定されるわけではない。コンテンツを取得して再生を行うような端末であればどのような端末も動画再生装置10に該当する。各機能部の機能概要は以下のとおりである。
【0016】
動画再生装置10のコンテンツ解析部11は、一般的なWebブラウザのパーサーに相当する機能部であり、HTMLデータ等のコンテンツを解析して、解析結果として描画用データを出力する。また、解析により符号化動画データを検出した場合はそれを取得して動画復号部13に出力する。
【0017】
上記の描画用データは、描画のための各構成要素(形状、位置、レイアウト等)をオブジェクトとして含むものであり、一例としてツリー状のデータ構造を有している。
【0018】
動画再生装置10の描画部12は、コンテンツ解析部11から出力された描画用データに基づき描画処理(レンダリング)を行うことで、画面データ(表示データ)を作成する。また、描画部12は、動画復号部13から出力される動画データ(これもオブジェクトの1つである)を取得し、当該動画データと他のデータとを含めて描画を行い、画面データを生成する。従来技術においては当該画面データがディスプレイに出力されることでディスプレイ上にWeb画面が表示されることになるが、本実施の形態では、当該画面データは後述する画像再合成部14に出力される。また、本実施の形態では、動画復号部13から出力される動画データはアルファー値(透明度設定値)が0の動画データ(透明な画像)である。
【0019】
動画復号部13は、コンテンツ解析部11から受け取った符号化動画データを復号し、アルファー値を0に設定した動画データを描画部12に出力する。アルファー値は画像の透明度を示す値でありそれが0である場合、画像は透明になる。従って、アルファー値が0の画像が描画されたとしても画面上には何も現われない。
【0020】
また、動画復号部13は、通常の動画データと同期クロックを画像再合成部14に送る。ここでの同期クロックは、例えば符号化動画データに含まれているタイムスタンプから生成されるものであり、動画データのソース(生成側)で期待するフレーム(画面)毎の表示タイミングを示すクロックである。つまり、この同期クロックに従って各フレームを表示すれば動画データのソースのフレームレートに合致した正確できれいな表示を行うことができる。このフレームレートは、例えばTV放送の動画データであれば29.97FPS(Hzと表記してもよい)であったり、映画やアニメの動画データであれば24FPSであったりする。
【0021】
画像再合成部14は、描画部12から受信する画面データ(アルファー値0の動画データとその他のデータが合成され、描画されたもの)におけるアルファー値0の動画データの位置に、動画復号部13から受信する動画データを合成することで、動画像が表示される画面データを生成し、当該画面データをディスプレイ等の画面表示機器に出力する。また、画像再合成部14は、後述するように表示タイミング調整機能を備える。
【0022】
次に、
図1に加えて
図2も参照して動画再生装置10の動作の流れを説明する。コンテンツ解析部11がコンテンツを取得し、当該コンテンツを解析し、描画用データを描画部12に出力するとともに、符号化動画データを動画復号部13に出力する。
【0023】
動画復号部13は符号化動画データを復号処理して動画データを取得し、アルファー値を0とした動画データを描画部12に出力するとともに、同期クロックと通常の動画データを画像再合成部14に出力する。
【0024】
描画用データとアルファー値0の動画データを受信した描画部12は、これらの描画処理を行う。
図2のAにこの時点で描画される画面(表示されたとした場合のWeb表示画面)のイメージを示している。
図2のAの中のBは、アルファー値0の動画データが仮に表示されたとした場合の位置を点線枠で示しているが、アルファー値0であるので、動画像は何も表示されない。描画部12は解析結果(描画用データ)から動画データが存在することを把握しており、動画データを動画復号部13から受け取らない場合には、正常に描画処理を実行することができないため、上記のようにアルファー値0の動画データを用いることとしている。
【0025】
そして、描画部12は、
図2のAに示す画面データを画像再合成部14に出力する。また、
図2のCで示す動画データが動画復号部13から画像再合成部14に入力されて、画像再合成部14において、
図2のDに示すように、動画データが合成された画面データが生成され、出力が行われる。
【0026】
次に、
図3を参照して、画像再合成部14についてより詳細に説明する。
図3に示すように、画像再合成部14は、合成処理部141と表示タイミング調整部142を有する。
【0027】
合成処理部141は、
図2に示したように、描画用データ+(アルファー値0の動画データ)に基づき描画された画面データを描画部12から受信するとともに、動画復号部13から動画データを受信し、これらを合成して画面データを作成する処理を行う。
【0028】
表示タイミング調整部142は、動画復号部13から受信する同期クロックに基づいて、画面データを表示するタイミングを調整し、当該タイミングで画面データ(映像信号と呼んでもよい)を出力する。
【0029】
通常、画面データの表示を行う画像表示機器においては画面の表示タイミング(フレームレート)は所定値に設定され、当該所定値と、動画復号部13から受信する同期クロックに基づくフレームレートとが異なる場合がある。一例として、動画復号部13から受信する同期クロックに基づくフレームレートが30FPSであり、画像表示機器のフレームレートが29.97FPSであるような場合では、同期クロックに基づくフレームレートのほうが単位時間当たりのフレーム枚数が多いことから、例えば、所定時間毎にフレームをドロップさせることで29.97FPSに合わせることが考えられる。しかし、このような調整法はフレームの欠落が生じて、高精細な画像においてはカクつきなどが生じる可能性があり好ましくない。また、例えば、同期クロックに基づくフレームレートが24FPSで、画像表示機器のフレームレートが30FPSであるような場合では、補間フレームを挿入することで調整することが考えられるが、この場合も画質の点から好ましくない。
【0030】
そこで、本実施の形態では、表示タイミング調整部142は、例えば画像再合成部14が持つ画像表示機器のフレームレート設定値、もしくは画像表示機器との通信で取得したフレームレート設定値と、同期クロックに基づくフレームレートとの差分を検出し、その差分に応じて画面データの出力タイミングを調整することとしている。
【0031】
調整方法の例としては、例えば30FPSから29.97FPSにような小さな調整であれば、表示タイミング調整部142が有するPLLへの入力値を変更することで出力周波数を変更することにより調整を行う。また、24FPSから30FPSへの調整のようなある程度大きな調整であれば、例えば、水平方向非表示エリア及び垂直方法非表示エリアでの時間幅を調整することで、タイミングの調整を行う。
【0032】
表示タイミング調整部142は上記のような調整を、入力される同期クロックに応じて、動的に行うことが可能である。このように、表示タイミング調整部142により、動画ソースに合わせた滑らかな映像を表示することができる。
【0033】
(動画再生装置10の変形例1)
動画再生装置10は、
図4に示す構成とすることも可能である。
図4に示す構成では、複数の動画復号部13−1〜13−Nを備える。本変形例1では、コンテンツ解析部11(他の機能部であってもよい)が、符号化動画データを分割し、動画復号部13−1〜13−Nに出力する。動画復号部13−1〜13−Nはそれぞれ、分割された符号化動画データの復号処理を並列に行い、例えば特定の動画復号部あるいは、図示しない合成機能部が、得られた複数の動画データを1つの動画データとする。同期クロックについては、例えば動画復号部13−1が、マスター同期クロックを出力する。
【0034】
また、例えば、動画復号部13がハードウェア回路で構成される場合において、動画復号部13を時分割で使用することにより
図4に示す構成を実現してもよい。本変形例1により、効率的に処理を行うことができ、例えば、複数の動画データを同時に再生することが可能となる。
【0035】
(動画再生装置10の変形例2)
動画再生装置10は、
図5に示す構成とすることも可能である。
図5に示す構成は、
図1に示す構成に対して、機能付加部15及び仮想描画部16が追加されたものである。
【0036】
機能付加部15は、例えばWebブラウザに対して追加されるWebプラグインに相当する。当該機能付加部15は、動画復号機能を含むものである。機能付加部15の例であるWebプラグインは、Webブラウザ拡張のために用意された機能であるが、その出力は、各Webプラグインに委ねられ、一般的なWebプラグイン出力は描画部12に戻ることなく、描画部12とは独立に描画が行われる。
【0037】
本実施の形態においては画像再合成部14を含むが、Webプラグインをそのまま追加した場合、当該Webプラグインからの出力に基づく動画データは、画像再合成部14が生成する画面データに含まれなくなる。
【0038】
そこで、本実施の形態では、機能付加部15(Webプラグイン)からの出力に基づく動画データを仮想的に描画する(つまり、外部に出力するのでなく、メモリ等に描画する)仮想描画部16を備えている。
【0039】
機能付加部15から出力された描画用データ(例:動画データとその他のデータを含む)に基づいて、仮想描画部16により描画を実施する。仮想描画部16は、描画して得た画像データを画像再合成部14に出力する。画像再合成部14は当該画像データを画面データに含める。このような構成を備えることにより、Webプラグイン出力を表示することが可能となる。
【0040】
これまでに説明した本実施の形態に係る動画再生装置10は、1つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、動画再生装置10が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、動画再生装置10で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【0041】
また、動画再生装置10における一部の機能をハードウェア回路で実現してもよい。一実施形態において、動画復号部13と画像再合成部14がハードウェア回路により実現される。
【0042】
(実施の形態のまとめ、効果等)
以上、説明したように、本実施の形態において、動画像を含むコンテンツの画面表示を行うための動画再生装置であって、前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段とを備える動画再生装置が提供される。
【0043】
前記動画再生装置は、前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段を備えてもよい。
【0044】
前記合成手段は、前記動画復号手段から前記動画像のフレームレートに対応する同期クロックを受信し、当該同期クロックに基づいて、前記合成により得られた画面データを画面表示手段に出力するように構成してもよい。
【0045】
また、前記合成手段は、前記画面表示手段の設定表示タイミングと、前記同期クロックに対応する表示タイミングとの差分に基づいて、前記合成により得られた画面データを前記画面表示手段に出力するタイミングを調整するように構成してもよい。
【0046】
また、前記動画再生装置は、当該動画再生装置における機能付加手段から出力される動画データの描画処理を行い、当該描画処理により得られた画像データを前記合成手段に送信する機能付加手段用描画手段を備えてもよい。
【0047】
また、前記動画再生装置を、前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に1つの動画データとし、当該動画データを前記描画手段により得られた画面データと合成するように構成してもよい。
【0048】
本実施の形態によれば、動画データの処理と従来のWebブラウザの描画(レンダリング)までの機能とを分離し、最終的な同期と出力を司る画像再合成部14を備えることした。
【0049】
このように、動画処理を独立させることで専用動画再生装置と同等レベルのなめらかで高品質な動画再生を実現することができる。また、動画オブジェクト以外のWebオブジェクトと動画オブジェクトを切り離して処理し再合成することで、レンダリング部分の負荷を低減し、動画像をなめらかに再生しつつ一般的なWebブラウザと同品質同性能のWebコンテンツ出力を実現することが可能となる。
【0050】
また、変形例2で説明したように、Webプライグインの処理結果を画像再合成部14へ渡すための仮想描画部16を備えることで、例えば、動画像上に動画像を表示する機能をプラグインとして提供し、且つ同期をとることが可能となる。
【0051】
(第1項)
動画像を含むコンテンツの画面表示を行うための動画再生装置であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画手段と、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画手段により得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成手段と
を備えることを特徴とする動画再生装置。
(第2項)
前記符号化動画データを復号して前記動画データを生成するとともに、前記ダミーデータとして、透明度設定値を透明を示す値とした前記動画データを生成し、当該ダミーデータを前記描画手段に送信する動画復号手段
を備えることを特徴とする第1項に記載の動画再生装置。
(第3項)
前記合成手段は、前記動画復号手段から前記動画像のフレームレートに対応する同期クロックを受信し、当該同期クロックに基づいて、前記合成により得られた画面データを画面表示手段に出力する
ことを特徴とする第2項に記載の動画再生装置。
(第4項)
前記合成手段は、前記画面表示手段の設定表示タイミングと、前記同期クロックに対応する表示タイミングとの差分に基づいて、前記合成により得られた画面データを前記画面表示手段に出力するタイミングを調整する
ことを特徴とする第3項に記載の動画再生装置。
(第5項)
前記動画再生装置における機能付加手段から出力される動画データの描画処理を行い、当該描画処理により得られた画像データを前記合成手段に送信する機能付加手段用描画手段
を備えることを特徴とする第1項ないし第4項のうちいずれか1項に記載の動画再生装置。
(第6項)
前記動画像に対応する符号化動画データを分割し、分割した符号化動画データをそれぞれ復号した後に1つの動画データとし、当該動画データを前記描画手段により得られた画面データと合成する
ことを特徴とする第1項ないし第5項のうちいずれか1項に記載の動画再生装置。
(第7項)
動画像を含むコンテンツの画面表示を行うための動画再生装置が実行する動画再生方法であって、
前記コンテンツにおける動画像部分をダミーデータに置き換えて当該コンテンツの描画処理を行う描画ステップと、
前記動画像に対応する符号化動画データを復号することにより得られた動画データと、前記描画ステップにより得られた画面データとを合成することにより、前記コンテンツの画面データを生成する合成ステップと
を備えることを特徴とする動画再生方法。
(第8項)
コンピュータを、第1項ないし第6項のうちいずれか1項に記載の動画再生装置の各手段として機能させるための動画再生プログラム。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【0052】
10 動画再生装置
11 コンテンツ解析部
12 描画部
13 動画復号部
14 画像再合成部
141 合成処理部
142 表示タイミング調整部
15 機能付加部
16 仮想描画部