【文献】
市ヶ谷敦郎,「符号化処理の階層構造」,映像情報メディア学会誌,2013年,Vol.67, No.5,第392〜396頁,[online], [令和3年3月10日検索], インターネット, <URL: https://www.jstage.jst.go.jp/article/itej/67/5/67_392/_article/-char/ja/>,Online ISSN: 1881-6908,<DOI: 10.3169/itej.67.392>.
【文献】
青木秀一(外4名),「放送・通信連携のためのMMTの運用方法の検討」,情報処理学会研究報告,2014年02月21日,Vol.2014-AVM-84, No.2,第1〜6頁,[online], [令和3年3月10日検索], インターネット, <URL: http://id.nii.ac.jp/1001/00098537/>.
【文献】
"Recommendation H.265 (04/2015)",ITU-T, [online],2015年04月29日,Pages 11,341-349,[令和3年3月12日検索], インターネット, <URL: https://www.itu.int/rec/T-REC-H.265-201504-S/en>.
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
(本発明の基礎となった知見)
映像信号のOETF(Optical−Electro Transfer Function:光電伝達関数)又はEOTF(Electro−Optical Transfer Function:電光伝達関数)は、例えば、映像符号化標準のITU−T H.265|ISO/IEC 23008−2 HEVCでは、Sequence Parameter Set(SPS)中のVideo Usability Information(VUI)において、transfer characteristics(伝達特性)というシンタクスにより通知される。このSPSの伝達特性を用いると、フレーム精度で伝達特性(伝達関数)の切り替わりを通知することができる。映像受信装置は伝達特性に基づいて、映像表示部の制御方法を決定する。
【0012】
テレビ放送など映像信号と音響信号とを多重化して伝送する際に用いられるMPEG−2 TS(トランスポートストリーム)標準では、上記SPSに含まれるパラメータ及びパラメータに関連する情報を、Program−specific information(PSI)のDescriptor(記述子)に記載し、より上位の層で映像受信装置の動作に関係する情報を通知する方法が知られている。伝達特性についても、PSIの記述子を利用することで、映像受信装置はより簡単に映像表示部の制御方法を決定できる。一般的に、PSIは一定周期で多重化ストリームに挿入されるため、映像信号のフレームとは同期していない。なお、MPEG−H MMT標準では、PSIと同様の仕組みがMMT−SIとして規定されている。
【0013】
伝達特性は、ITU−R BT.2020(以下、BT.2020)、ARIB STD−B67(以下、STD−B67)、及びSMPTE ST2084(以下、ST2084)などで規定されている。STD−B67及びST2084は、高ダイナミックレンジ(HDR)と呼ばれる、従来のBT.2020より10倍から100倍の高輝度を含む映像信号を扱うことができる。HDRに対し、従来のBT.2020などは標準ダイナミックレンジ(SDR)と呼ばれる。
【0014】
HDRに対応したテレビ放送では、番組毎又はコマーシャル毎にHDRとSDRとが混在する可能性がある。このため映像受信装置は、HDRかSDRかに応じて表示部の制御を切り替えて動作する必要がある。
【0015】
本発明の一態様に係る映像受信方法は、表示部を備える映像受信装置における映像受信方法であって、映像データと、前記映像データの輝度ダイナミックレンジに対応する伝達関数をフレーム精度で特定するための伝達特性情報とを含む受信信号を受信する受信ステップと、前記伝達特性情報に応じてフレーム精度で前記表示部の輝度ダイナミックレンジを制御しながら前記映像データを表示する表示ステップとを含む。
【0016】
これにより、フレーム精度で表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。
【0017】
例えば、前記映像受信方法は、さらに、映像信号と音声信号とが多重化された前記受信信号を逆多重化する逆多重化ステップと、逆多重化により得られた前記映像信号を復号することで、前記映像データと前記伝達特性情報とを取得する復号ステップとを含んでもよい。
【0018】
例えば、前記伝達特性情報は、前記映像信号に含まれるシーケンス単位の制御情報に含まれてもよい。
【0019】
例えば、前記伝達特性情報は、第1輝度ダイナミックレンジに対応した第1伝達関数、又は、第1輝度ダイナミックレンジより広い第2ダイナミックレンジに対応した第2伝達関数をフレーム精度で特定するための情報であり、前記表示ステップでは、前記表示部の輝度ダイナミックレンジを前記第1輝度ダイナミックレンジと前記第2輝度ダイナミックレンジとで切り替えてもよい。
【0020】
例えば、前記映像受信方法は、さらに、前記受信ステップにおいて、映像データを正しく取得できたかを判定する判定ステップを含み、前記表示ステップでは、前記判定ステップにおいて映像データを正しく取得できなかったと判定された場合、前記表示部の輝度ダイナミックレンジを前記第1輝度ダイナミックレンジに設定してもよい。
【0021】
これにより、エラー発生時に過度に明るい映像が表示されることを抑制できる。
【0022】
例えば、前記判定ステップでは、前記判定として、イントラ符号化フレームを正しく復号できたかを判定してもよい。
【0023】
また、本発明の一態様に係る映像送信方法は、映像データと、前記映像データの輝度ダイナミックレンジに対応する伝達関数をフレーム精度で特定するための伝達特性情報とを含む送信信号を生成する生成ステップと、前記送信信号を送信する送信ステップとを含む。
【0024】
これにより、当該映像送信方法により生成された信号を受信する映像受信装置は、フレーム精度で表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。
【0025】
例えば、前記生成ステップは、前記映像データと前記伝達特性情報とを符号化することで映像信号を生成する符号化ステップと、生成された前記映像信号と音声信号とを多重化することで前記送信信号を生成する多重化ステップとを含んでもよい。
【0026】
例えば、前記伝達特性情報は、前記映像信号に含まれるシーケンス単位の制御情報に含まれてもよい。
【0027】
例えば、前記伝達特性情報は、第1輝度ダイナミックレンジに対応した第1伝達関数、又は、第1輝度ダイナミックレンジより広い第2ダイナミックレンジに対応した第2伝達関数をフレーム精度で特定するための情報であってもよい。
【0028】
また、本発明の一態様に係る映像受信装置は、映像データと、前記映像データの輝度ダイナミックレンジに対応する伝達関数をフレーム精度で特定するための伝達特性情報とを含む受信信号を受信する受信部と、前記伝達特性情報に応じてフレーム精度で輝度ダイナミックレンジを制御しながら前記映像データを表示する表示部とを備える。
【0029】
これにより、映像受信装置は、フレーム精度で表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。
【0030】
また、本発明の一態様に係る映像送信装置は、映像データと、前記映像データの輝度ダイナミックレンジに対応する伝達関数をフレーム精度で特定するための伝達特性情報とを含む送信信号を生成する生成部と、前記送信信号を送信する送信部とを備える。
【0031】
これにより、当該映像送信装置により生成された信号を受信する映像受信装置は、フレーム精度で表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。
【0032】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0033】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0034】
(実施の形態1)
本実施の形態に係る映像受信装置は、フレーム精度で伝達特性を示す伝達特性情報を用いて、フレーム精度で表示部の輝度ダイナミックレンジの制御を行う。これにより、当該映像受信装置は、より適切な映像を表示できる。
【0035】
まず、本実施の形態に係る映像受信装置の構成を説明する。
図1は、本実施の形態に係る映像受信装置100のブロック図である。映像受信装置100は、例えば、テレビ等であり、放送波により送信された受信信号111を受信し、受信した受信信号111に基づく映像を表示する。映像受信装置100は、受信部101と、逆多重化部102と、映像復号部103と、表示制御部104と、表示部105とを備える。
【0036】
受信部101は、受信信号111を受信する。受信信号111は、映像信号と音声信号とが多重化されたシステムストリームである。
【0037】
逆多重化部102は、受信信号111を逆多重化(システム復号)することで、映像ストリームである映像信号112を生成する。また、逆多重化部102は、受信信号111に含まれるデスクリプタ等から取得した伝達特性を、第1伝達特性情報113として出力する。つまり、第1伝達特性情報113は、多重化レイヤ(Multiplexing Layer)に含まれる。
【0038】
映像復号部103は、映像信号112を復号することで映像データ114を生成する。また、映像復号部103は、SPSから取得した伝達特性を、第2伝達特性情報115として出力する。つまり、第2伝達特性情報115は、映像符号化レイヤ(Video Coding Layer)に含まれる。
【0039】
この第2伝達特性情報115は、映像データ114の輝度ダイナミックレンジに対応するフレーム精度での伝達関数(OETF又はEOTF)を特定するための情報である。例えば、この第2伝達特性情報115は、第1輝度ダイナミックレンジ(SDR)に対応した第1伝達関数、又は、第1輝度ダイナミックレンジより広い第2ダイナミックレンジ(HDR)に対応した第2伝達関数をフレーム精度で特定するための情報である。つまり、第2伝達特性情報115は、映像データ114がSDRであるかHDRであるかを示す。また、HDRに複数の形式が存在する場合には、第2伝達特性情報115は、どの形式のHDRであるかを示してもよい。つまり、第2伝達特性情報115は、映像データ114の輝度ダイナミックレンジを示し、例えば、予め定められた複数の輝度ダイナミックレンジのうちのいずれかを示す。
【0040】
また、SPSとは、映像信号112に含まれる、シーケンス単位(複数フレーム単位)の制御情報である。
【0041】
表示制御部104は、第1伝達特性情報113及び第2伝達特性情報115に応じて、表示部105を制御する制御情報116を生成する。
【0042】
表示部105は、制御情報116(つまり第1伝達特性情報113及び第2伝達特性情報115)に応じてフレーム精度で輝度ダイナミックレンジを制御しながら映像データ114を表示する。この表示部105は、映像特性変換部106と、表示デバイス107とを備える。
【0043】
映像特性変換部106は、制御情報116に応じて、映像データ114を変換することで入力信号117を生成する。具体的には、映像特性変換部106は、第1伝達特性情報113又は第2伝達特性情報115で示される伝達関数を用いて、映像データ114を入力信号117に変換する。
【0044】
表示デバイス107は、例えば、液晶パネルであり、制御情報116に応じて、表示する映像の輝度ダイナミックレンジを変更する。例えば、表示デバイス107が液晶パネルの場合には、表示デバイス107は、バックライトの最高輝度を変更する。
【0045】
次に、映像受信装置100の動作を説明する。なお、
図1では、第1伝達特性情報113及び第2伝達特性情報115の両方を用いる構成を記載しているが、少なくとも第2伝達特性情報115が用いられればよい。以下、第2伝達特性情報115を用いた制御について詳細に説明する。
【0046】
図2は、表示制御部104による表示制御処理のフローチャートである。なお、
図2に示す処理は、フレーム単位、又は第2伝達特性情報115が変更される毎に行われる。
【0047】
まず、表示制御部104は、第2伝達特性情報115によりSDR及びHDRのいずれか示されるかを判定する(S101)。
【0048】
第2伝達特性情報115によりHDRが示される場合(S101でYes)、表示制御部104は、HDR表示用の制御情報116を出力する(S102)。これにより、表示部105は、HDRに対応する輝度ダイナミックレンジで映像を表示する。
【0049】
一方、第2伝達特性情報115によりSDRが示される場合(S101でNo)、表示制御部104は、SDR表示用の制御情報116を出力する(S103)。これにより、表示部105は、SDRに対応する輝度ダイナミックレンジで映像を表示する。
【0050】
このように、フレーム精度で通知される第2伝達特性情報115に応じて制御情報116を切り替えることで、伝達特性の切り替わりと表示部105の制御とをフレーム精度で同期できる。
【0051】
なお、複数のHDR方式(例えば、STD−B67及びST2084)が存在する場合には、HDR表示用の制御情報116に、HDR方式の識別情報が含まれてもよい。これにより、表示部105は、対応する方式の輝度ダイナミックレンジで映像を表示できる。
【0052】
図3は、映像受信装置100による映像受信処理のフローチャートである。まず、受信部101は、受信信号111を受信する(S111)。次に、逆多重化部102は、受信信号111を逆多重化することで、映像信号112を生成する(S112)。次に、映像復号部103は、映像信号112を復号することで映像データ114を生成するとともに、第2伝達特性情報115を取得する(S113)。
【0053】
次に、表示制御部104は、第2伝達特性情報115に応じて表示部105の輝度ダイナミックレンジを制御する。具体的には、表示制御部104は、第2伝達特性情報115に基づき、各フレームがHDRであるかSDRであるかをフレーム精度で判定する(S114)。HDRである場合には(S114でYes)、表示部105はHDRの輝度ダイナミックレンジで映像を表示する(S115)。SDRである場合には(S114でNo)、表示部105はSDRの輝度ダイナミックレンジで映像を表示する(S116)。
【0054】
図4は、SDR番組からHDR番組への切り替え時の様子を示す図である。
図5は、HDR番組からSDR番組への切り替え時の様子を示す図である。
図4及び
図5に示すように、上記処理により、フレーム精度でSDRとHDRとの切り替えを適切に行うことができる。
【0055】
以下、上述した受信信号111に対応する送信信号212を生成する映像送信装置200について説明する。
図6は、本実施の形態に係る映像送信装置200のブロック図である。
図6に示す映像送信装置200は、生成部201と、送信部202とを備える。
【0056】
生成部201は、映像データと、当該映像データの輝度ダイナミックレンジに対応する伝達関数をフレーム精度で特定するための第2伝達特性情報とを含む送信信号212を生成する。生成部201は、映像符号化部203と、多重化部204とを含む。
【0057】
図7は、映像送信装置200による映像送信処理のフローチャートである。まず、映像符号化部203は、映像データと第2伝達特性情報とを符号化することで映像信号211を生成する(S201)。この第2伝達特性情報は、上述した第2伝達特性情報115に対応し、第1輝度ダイナミックレンジ(例えばSDR)に対応した第1伝達関数、又は、第1輝度ダイナミックレンジより広い第2ダイナミックレンジ(例えばHDR)に対応した第2伝達関数をフレーム精度で特定するための情報である。また、第2伝達特性情報は、映像信号211に含まれるSPS内に格納される。
【0058】
次に、多重化部204は、符号化された映像信号211と音声信号とを多重化することで送信信号212を生成する(S202)。次に、送信部202は、生成された送信信号212を送信する(S203)。
【0059】
以上により、映像送信装置200は、フレーム精度で伝達関数を特定するための第2伝達特性情報を含む送信信号212を生成する。これにより、送信信号212を受信する映像受信装置は、フレーム精度で表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。
【0060】
(実施の形態2)
TV放送では、地上波又は衛星などの電波状況によってエラーが発生する場合がある。
図8は、電波障害等のより受信エラーが発生した場合の様子を示す図である。
図8に示すように、SDRからHDRへの切り替わり時において、映像受信装置がSPS内の第2伝達特性情報115を取得後に、電波障害等により、映像ストリームが欠落し、HDRの最初のフレームが取得できない場合を想定する。この場合、映像復号部103は、エラー隠蔽のために直前のフレームを引き続き表示する。つまり、SDR番組のフレームが繰り返し表示される。
【0061】
この場合、このフレームが後続のフレームから参照されることで、後続の映像として、過去の番組の映像が混じった異常な映像が表示されてしまう。
【0062】
また、切り替え直後においては、表示部の輝度ダイナミックレンジがHDRに設定されるため、SDR番組のフレームがHDRの輝度ダイナミックレンジで表示されてしまう。これにより、本来の意図よりも高輝度の映像が表示されるという問題がある。
【0063】
本実施の形態ではこの問題に対応した映像受信装置について説明する。
図9は、本実施の形態に係る映像受信装置100Aのブロック図である。
図9に示す映像受信装置100Aは、
図1に示す映像受信装置100に対して、さらに、異常検知部108と、表示部105A内のメッセージ重畳部109とを備える。また、表示制御部104Aに機能が追加されている。
【0064】
異常検知部108は、映像データ114(映像信号112)を正しく取得できたかを判定する。具体的には、異常検知部108は、パケットのシーケンス番号に基づいてパケットロスを検出するとともに、パケットのペイロードを解析してフレームデータの開始位置を取得することで、フレームデータを全て取得したか(正常)、フレームデータの一部のみを取得したか(異常)を判定する。また、異常検知部108は、判定結果を示す異常通知情報118を表示制御部104Aに出力する。つまり、異常が発生したこと、又は、異常が発生したフレームを特定するための情報が表示制御部104Aに通知される。
【0065】
表示制御部104Aは、第1伝達特性情報113及び第2伝達特性情報115に加え、異常通知情報118に応じて、制御情報116及びメッセージ119を生成する。具体的には、表示制御部104Aは、異常がある場合に、異常があることを示すメッセージ119を生成するとともに、SDR表示用の制御情報116を生成する。
【0066】
メッセージ重畳部109は、制御情報116及びメッセージ119に応じて、映像データ(入力信号117)にメッセージ119を重畳することで入力信号120を生成し、生成した入力信号120を表示デバイス107に出力する。これにより、例えば、「エラーが発生しました」などのメッセージが表示デバイス107に表示されることで、機器の故障でないことを視聴者に伝えることができる。
【0067】
図10は、表示制御部104Aのよる表示制御処理のフローチャートである。まず、表示制御部104Aは、第2伝達特性情報115が更新されたかを判定する(S121)。第2伝達特性情報115が更新された場合(S121でYes)、表示制御部104Aは、表示制御の切り替えの判断を開始する。
【0068】
まず、表示制御部104Aは、映像データを正しく取得できたかを判定する。具体的には、表示制御部104Aは、異常通知情報118に基づきイントラ符号化フレームが正常に復号されたかを判定する(S122)。イントラ符号化フレームが正常に復号されていない場合(S122でNo)、表示制御部104Aは、表示制御部104は、SDR表示用の制御情報116を出力する(S123)。これにより、表示部105は、SDRに対応する輝度ダイナミックレンジで映像を表示する。つまり、表示制御部104Aは、映像データを正しく取得できなかったと判定された場合、表示部105の輝度ダイナミックレンジをSDR(第1輝度ダイナミックレンジ)に設定する。
【0069】
切り替え時においてエラーが発生した場合には、表示されるフレームに切替え前のフレームの画素が含まれる可能性がある。これに対して、本実施の形態では、このような場合に、表示制御をSDR表示用に設定することで、SDR番組のフレームがHDRの高輝度設定で表示されることを抑制できる。
【0070】
また、HEVCのIDR又はCRAなど、飛び込み再生を保証しているイントラ符号化フレームが正常に復号された場合(S122でYes)、実施の形態1と同様に表示制御を切り替える。つまり、表示制御部104Aは、更新後の第2伝達特性情報115によりSDR及びHDRのいずれか示されるかを判定する(S124)。第2伝達特性情報115によりHDRが示される場合(S124でYes)、表示制御部104Aは、HDR表示用の制御情報116を出力する(S125)。一方、第2伝達特性情報115によりSDRが示される場合(S124でNo)、表示制御部104Aは、SDR表示用の制御情報116を出力する(S126)。
【0071】
このように、本実施の形態に係る映像受信装置100Aは、エラー発生時にSDRの輝度ダイナミックレンジで映像を表示することで、エラー発生時に過度に明るい映像が表示されることを抑制できる。
【0072】
以上、本発明の実施の形態に係る映像受信装置及び映像送信装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0073】
また、上記実施の形態に係る映像受信装置及び映像送信装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
【0074】
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0075】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0076】
また、本発明は、映像受信装置又は映像送信装置により実行される映像受信方法又は映像送信方法として実現されてもよい。
【0077】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0078】
また、フローチャートにおける各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
【0079】
以上、一つまたは複数の態様に係る映像受信装置及び映像送信装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。