(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
以下、実施例について説明する。以下の実施例において、3Dとは3次元を、2Dとは2次元を意味する。例えば3D映像とは、左右の眼に視差のある映像を提示することにより、観察者があるオブジェクトを立体的に、自分と同じ空間に存在するかのように知覚することを可能とする映像を意味する。また、例えば3D表示装置とは、3D映像を表示することが可能な表示装置である。また、例えば3Dコンテンツとは、3D表示装置による処理で3D映像の表示が可能となる映像信号を含むコンテンツである。
【実施例1】
【0011】
図1に本実施例の概念を示す。本実施例では、複数機器にわたって画像を伝送して、表示する場合に、必要以上に高画質化の為の画像処理を施さない手段を提供する。
図1では、機器A101から画像を転送して、ディスプレイ装置102のディスプレイ部105に表示する場合に、機器Aと、ディスプレイ装置で重複して画像処理部(103と104)を有するが、重複して画像処理を施すと画質の劣化を招く恐れがあるので、片方の画像処理装置のみ、または、双方を適切な配分で画像処理を実施することで高画質化を図る。
【0012】
図2に、機器Aのブロック図を示す。機器Aは、地デジやデジタル放送を受信し、復調する放送I/F201と、DVD(「Digital Versatile Disc」の略。)やBD(「Blu-ray Disc」の略。「Blu-ray」は登録商標。)などのディスク記録媒体からのデータ読み出しを行うディスクI/F部202と、SDカードなどのメモリからデータを読み出すメモリI/F部203と、インターネットやLANなどからデータを読み出すLAN I/F204と、入力されたAVストリームをトランスコードしてHDDなどの記録媒体部206(リムーバブル記録媒体にデータを記録するドライブであってもよい)に記憶するトランスコード部205と、AVストリームに含まれる圧縮された映像情報を伸張する画像伸張部207と、HDMI(「High Definition Multimedia Interface」の略。登録商標。)などの画像伝送を受信するHDMI RX部208と、その伝送データを解析するHDMI RX I/F部209と、全体制御部210からの指示により高画質化処理を行う画像処理部211と、画像処理部から受け取った画像と全体制御部からの制御情報を元に、その画像をHDMIなどの画像伝送の規格に準拠したデータ作成を行うHDMI TX I/F部212と、実際に伝送を行うHDMI TX部213を有する。
【0013】
図3に、ディスプレイ装置のブロック図を示す。ディスプレイ装置は、HDMIなどの画像伝送で転送されて来た情報を受信するHDMI RX部301と、内部データの読み出しを行い全体制御部303に通知するHDMI RX I/F部302と、全体制御部からの指示により高画質化のための画像処理を行う画像処理部304と、画像表示を行うディスプレイ部105を有する。
【0014】
図4に、画像処理部211、304の例を示す。高画質化の画像処理としては、画像圧縮により発生するモスキートノイズやブロックノイズを、またランダムに発生するランダムノイズ等の撮像系のノイズを除去する除去するノイズ除去部401、エッジ成分の強調や解像感の向上を行う超解像処理402と、画像のコントラストを調整するコントラスト調整部403と、映像のフレームレートを向上させるフレームレート変換部404を有する。
【0015】
これらの処理は、機器の機能や値段設定によって適切な処理のみを備えればよく、全ての機能を備えなくてもよい。また、2Dの映像を3Dに信号処理で変換する処理を、フレームレート変換部の前段部か又は後段部に配置することで3Dの信号を生成することも可能である。
【0016】
これらの画像処理は、複数の機器で重複して必要以上に処理を施してしまうと画質劣化を引き起こすという課題がある。これらに対応するために、HDMI規格で定義されているAVI InfoFrame(「Auxiliary Video information InfoFrame」の略。伝送する映像に関する情報が記載される領域。)の情報に画像処理を施したか否かの情報を付加し、それぞれの機器では、この情報を元に、処理が施されていない処理について処理を行うようにする。これにより、必要以上に画像処理を施すことを防止し、画質の劣化を抑える事ができる。この手法について具体的に説明する。
【0017】
図5は、HDMI規格で定義されているAVI InfoFrameのビット定義に対して、画像処理の実行を示すフラグを付加する領域を加えたビット定義の一例(501)である。PB14(503)にVideo Image Enhancement Flags (lower 8bit)を定義する。PB15(504)にVideo Image Enhancement Flags (upper 8bit)を定義する。これらの定義については後述する。また、本ビットが有効化どうかのフラグをPB1(502)の7bit目にVとして定義する。本ビットが‘1’の場合には、PB14, PB15のフラグが有効であることを示す。本フラグ非対応の従来機器は、PB1(502)の7bit目は予約領域の為“0”が記述されているので本フラグ有効で無いと判断されるので、後方互換性に優れた記述方法である。
【0018】
図6にPB14, 15に定義した‘Video Image Enhancement Flags(VIE)’の定義の一例を示す。それぞれの処理について、2bitずつの領域を設けて、処理の実行の有無とそれぞれの処理のレベルを設定できるようにしている。
【0019】
超解像実行フラグとは、超解像処理が実行されたか否か、またその実行のレベルを示すフラグである。この際、超解像処理としては、1つのカテゴリとしているが、超解像処理としては、そのフレームのみの情報から作成する1枚型超解像や、周辺数フレームを用いて解像度を向上させる複数枚型の超解像がある。超解像の処理方法の違い毎に、実行有無や処理レベルを定義しても良い。この処理ごとのカテゴリ分けについては、他の名前の欄に定義されている処理についても同様である。
【0020】
デジタル圧縮ノイズ除去フラグとは、画像圧縮で発生するノイズであるブロックノイズとモスキートノイズが除去されたから否か、またその実行のレベルを示すフラグである。除去方法として、フィルタリングで除去する方法や、画像圧縮前の現画像を予測し補間する方式や、対象画面1面で実行する方法や、複数フレームを用いて実行する方法があるが、それらの方法ごとにカテゴリを分けてもよい。
【0021】
画像ノイズ除去フラグとは、撮像系で発生したランダムのノイズの除去を行ったか否か、またその実行のレベルを示すフラグである。画像ノイズ除去の処理としては、1枚の画面内で処理するやり方、複数枚を用いて除去する方法等があるが、それらの方法ごとにカテゴリを分けてもよい。
【0022】
コントラスト補正フラグとは、画像のコントラストや、カラーマネージメント、γの調整等の画像の見栄えを調整する処理を行ったか否か、またその実行のレベルを示すフラグであり、それらの処理ごとにカテゴリを分けてもよい。
【0023】
フレームレート変換実行フラグとは、フレームレート変換が実行されたか否か、または実行のレベルを示すフラグである。フレームレート変換の方法でカテゴリを分けてもよい。また、フレームレート向上のために補間したフレームの枚数をレベル情報に記載するようにしても良い。
【0024】
デジタル画像圧縮実行フラグとは、機器間の画像転送の際に、ある機器で、トランスコード等の画像圧縮伸張が施されたか否か、またその実行のレベルを示すフラグである。これは、例えば画像転送においてトランスコード等が行われた場合、再度の画像圧縮ノイズ除去や、超解像処理を適用する必要があるため規定されている。トランスコードの種類等によってカテゴリを分けてもよい。
【0025】
2D−3D変換フラグは、信号処理により2D映像信号から3D映像信号に変換したか否かまたその実行のレベルを示すフラグである。このフラグは、例えば複数機器での多重の変換を防ぐことに用いられる。
【0026】
また、これらの画像処理に必要な画像の情報として、例えば、転送されている画像の圧縮規格や、ビットレート、量子化値(GOPやフレームやフレームの数分割の平均や最大、最小)、動き情報、I/P/B-pictureなどのフレーム情報、圧縮時の画像サイズやフレームレート、出力画像の拡大率、コンテンツ情報(地デジやBDなどのソース元や、具体的な番組内容)、OSDが付加されているか等の情報についても加えることで、後段機器で画像処理を行う場合に有益情報となるので、それらをこのVIEに追加しても良い。
【0027】
次に、このAVI InfoFrame情報の検出方法と、付加方法について説明する。外部からのビデオストリームを受信した機器からHDMIを用いて画像伝送する場合には、HDMI TX I/F部でAVI InfoFrameを付加し、画像を受信した機器では、HDMI RX I/F部でこのAVI InfoFrameを読み出し全体制御部に通知する。全体制御部では、必要な画像処理を選定して、画像処理部に通知して画像処理を施す。画像処理後の画像を、更にHDMIを用いて別機器に転送する場合には、HDMI TX I/F部でAVI InfoFrameの情報を、画像処理を行ったフラグは有効にして、作成してHDMIから伝送する。 これにより、接続機器間で過度の画像処理実行を防止することができ、高画質化を実現できる。
【0028】
各画像処理のON/OFFについては、ユーザがその機器毎に機能のON/OFF、強弱を選択するようにしてもよい。この際、接続した機器で重複した画像処理がある場合には、ユーザにテロップで画像処理機能の実行やレベルの変更を行う旨を通知し、OKを選択してもらった上で、画像処理の実行を変更してもよい。
【0029】
なお、本実施例ではAVI InfoFrameを用いた例を説明したが、これに限定されない。他のInfoFrameや他の付加情報を用いて画像処理に関する情報を伝送してもよい。例えば、HDMI Vendor Specific InfoFrameのPB6の後続領域に定義してもよい。
【実施例2】
【0030】
実施例1では、HDMIのAVI InfoFrameの領域を用いて画像処理の有無を通知したが、本実施例では、ディスプレイ基本情報や、最大解像度やなどの情報を含むVESA標準規格であるEDID(Extended Display IdentI/Fication Data)を用いて同様のフラグを転送する例について説明する。なお、AVI InfoFrameを用いる機能とEDIDを用いる機能はいずれか一方を有していてもよいし、両方の機能を有していてもよい。両方の機能に対応している場合は、接続相手がどちらか一方しか対応していない場合でも、本実施例の重複画像処理を避ける事ができる利点がある。
【0031】
図7にEDIDを用いた機器Aの構成の一例を示す。
図1では、機器Aとディスプレイ装置の画像伝送はHDMIであったが、本例では、HDMIに限らずDVIなどの他の画像伝送であってもよい。
図7は、画像の出力が画像転送部701となり、また、ディスプレイ装置からEDIDを読み出し、制御部に信号を送信するEDID読出702を有する点で
図2に示す構成と異なる。
【0032】
図8にEDIDを用いたディスプレイ装置の構成の一例を示す。
図8の構成は、画像の受信部を行う画像受信部801と、ディプレイの情報と画像処理の有無を追加したEDID信号を記憶し、EDID読出に転送するEDID記録802を有する点で
図3の構成と異なる。
【0033】
図9にEDID情報のビット定義に、
図6の画像処理の適用フラグを追加した際のビット定義901を示す。Byte6の2bit目にVideo Image Enhancement Flagsが存在するかのフラグ‘VIE’902を追加する。このフラグは、1の場合には、本ビット定義の後段にVideo Image Enhancement Flagsが存在することを示す。そして、定義の後段にVideo Image Enhancement Flags903を定義する。なお、VIEの定義は、実施例1と同様にすればよい。
【0034】
この情報を元に、例えば機器Aがディスプレイ装置のEDIDを読み出し、読み出したEDIDに基づいてディプレイ装置で行われる画像処理の内容を確認し、ディスプレイ装置で行われる画像処理を機器Aでは行わないように構成する。また、例えばディスプレイ装置での実行レベルが低か中の場合には、ユーザ選択によって機器Aで画像処理を行うか選択してもらっても良い。
【0035】
これにより、EDIDの機構を用いて接続機器間で過度の画像処理実行を防止することができ、高画質化を実現できる。特に、既存でEDIDでの情報のやり取りを行っているシステムでは、新規なやり取りを追加することなく、高画質化を実現できる。
【0036】
なお、本実施例ではEDIDのVIEを用いた処理を説明したが、これに限定されない。EDIDの他の領域や、ディスプレイ装置の能力を伝送する他の情報を用いて画像処理に関する情報を伝送してもよい。
【実施例3】
【0037】
本実施例では、HDMIが有する双方向通信制御機能であるCEC(Consumer Electronics Control)の情報を用いて、情報のやり取りを行う方法の一例を説明する。
図11は、CEC通信の機構を追加した機器Aの構成の一例を示す図である。HDMIで接続された他機器と通信を行うCEC通信部1101を追加する。
【0038】
図12は、CEC通信の機構を追加したディスプレイ装置の構成の一例を示す図である。HDMIで接続された他機器と通信を行うCEC通信部1201と、ユーザからのリモコン操作を受信し、制御部に通知するリモコン受信部1202を追加する。
【0039】
図13にCEC通信の一例を示すフローチャートを示す。電源立ち上げ時や、ユーザがリモコンを解して、ディスプレイ装置の入力切替えを行い(S1301)、機器Aと接続との接続となる場合に、機器Aに対して画像処理機能の設置値を通知する要求(S1302)を発行し、機器Aから設定値を取得して(S1303、1304)、機器Aで行っていない画像処理機能をディスプレイ装置で行う。また、例えば機器Aでの実行レベルが低か中の場合には、ユーザ選択によってディスプレイ装置で画像処理を行うか選択してもらっても良い。
【0040】
図13の下部にそれぞれの要求信号の定義を示す。Mode value reqは、1bitで画像処理設定値の転送要求を示し、Mode valueは、実際の画像処理機能設定値の値となる。Mode valueの具体的なビット定義は
図6と同様である。
【0041】
この画像処理設定値は、機器Aで再生中に、ユーザが機器Aを操作して、設定値を変更することが考えられる。その場合には、機器Aから設定変更結果通知を行い、設定値の変更を行うようにしてもよい。
【0042】
図14に、その場合のフローについて示す。ディスプレイ装置は、機器Aからモードが変わったことが通知(S1401)された場合には、上記同様に機器Aに設定値通知要求を出し、設定値を取得して実際に画像処理機能の設定値とする。
【0043】
これにより、CECの機構を用いて接続機器間で過度の画像処理実行を防止することができ、高画質化を実現できる。特に、既存でCECでの情報のやり取りを行っているシステムでは、新規なやり取りを追加することなく、高画質化を実現できる。なお、CECを用いた実施例に、さらに実施例1のAVI InfoFrameの領域や、実施例2のEDIDの活用を併用してもよい。併用することにより、いずれかの実施例で説明した機能を有する機器と接続して、重複した画像処理機能を避けることができる。また、いずれの機能にも対応している場合は、双方向でリアルタイムに情報交換できる本実施例のCECの機構を優先して使うようにしてもよい。CECを用いた処理を優先させることで、より確実な動作が期待できる。
【実施例4】
【0044】
実施例1から3では、VIE情報の転送方法について示した。本実施例では、それらが転送できる環境において、ユーザが自由に複数機器間での画像処理実行の決定をできる仕組みについて説明する。近年、レコーダやテレビなどでは同機能の画像処理機能を有している場合が多いが、これらのON/OFFはそれぞれの機器で行う必要があり面倒であるという課題がある。
【0045】
この課題を解決するために、ひとつの機器で複数の機器の画像処理機能を選択できる仕組みを提供する。これにより、ユーザが所望な機能を簡単に選択でき、使い勝手が向上するとともに、高画質化を実現する事ができる。
図10に、ディスプレイ装置の表示画面の一例を示す。ディスプレイ1001上に、本映像を視聴しているディスプレイ機器1002を示す画像と、接続されている機器1003を示す画像とを表示する。この際に、両者の機器名、メーカ名と型番を情報が取得できた場合には表示するようにしてもよい。
【0046】
そして、両者がどのI/Fを介して接続されているかを図示する。そして、それぞれの機器の横に、それぞれが有している画像処理の機能を表示し(1004、1005)、それらの機能のON/OFFや、レベル情報を示す。また、視聴の有無や再生ソースがどの媒体から読み出されているかを示してもよい。ユーザは、例えばリモコンなどを介して、カーソル1005を動かして、画像処理のON/OFFやレベルを選択する。
【0047】
図15に、CEC通信を用いた処理の一例を示す。ユーザがリモコンで、画像処理の機能や設定値を変更するためのボタンを押すと処理開始(1500、1501)し、まずは、ディスプレイ装置と接続している機器のそれぞれ有している画像処理機能の調査を行う(S1502)。そして、次に、その画像処理機能の設定値を調査する(S1503)。そして、その調査結果を基に、ディスプレイに画像処理機能とその設定値を表示する(S1504)。
【0048】
そして、ユーザがリモコンを解して、その設定値を変更した場合(S1505の「値の修正」の場合)には、その修正値を機器Aに通知し(S1507)、機器Aでの画像処理設定値を変更し(S1508)、再度、機器Aの設定値を確認して画面に反映する。
【0049】
ユーザがリモコンで終了を選択(S1505で「終了」の場合)すると、本処理は終了(S1506)となる。
【0050】
この処理について、
図16を用いてさらに説明する。ユーザがリモコンで設定ボタンを押すと(S1601)、ディスプレイ装置は、接続している機器の画像処理機能と設定値の調査を行い(S1602)、接続している機器から画像処理機能と設定値に関する情報を取得し(S1603、1604)画面に表示する。そして、ユーザが値を変更した場合には、機器に通知(S1605)し、変更後の設定値を機器から取得(S1606,1607)するとともに、画面の値も変更(S1608)する。
【0051】
その後、ユーザが設定画面で設定値を変更した場合(S1609)には、ディスプレイ装置から対象の装置に‘change mode’ のコマンドが発行され(S1610)、設定の変更値が通知される。対象の機器では、設定の変更を行う。ディスプレイ装置は、再度設定値の調査を行い(S1611)、調査の結果をディスプレイ装置に転送し(S1612,S1613)、ディスプレイ装置で画像処理所有機能、設定状況表示(S1614)を行う。
【0052】
なお、change modeのコマンドの設定値変更については、設定変更のOK、NGを受け取るI/Fを追加しても良い。
【0053】
図17にこの操作に必要な機器間通信のビット定義について示す。”has mode”と”mode change”については、
図6に示す定義に従う。”has mode”は、例えば、所有している機能を実行レベル3として通知することで所有モードの提示を行う。
【0054】
これにより、ユーザが所望な機能を簡単に選択でき、使い勝手が向上するとともに、高画質化を実現する事ができる。