(58)【調査した分野】(Int.Cl.,DB名)
前記遅延量印加手段が、取得された前記第1の遅延量インジケータと前記第2の遅延量インジケータとの差に等しいプログラマブル遅延量を前記ディジタルサービスの前記第2パートを形成する前記出力された第2のデータに印加する、請求項2に記載のディジタルサービスソース装置。
【背景技術】
【0002】
多年にわたってスクリーン関連技術はCRTスクリーンを基礎としてきた。これは純粋にアナログの技術である。1990年代から、画像システムにおいて、カメラで画像信号を記録し、これを例えば動き補償を用いた100Hzのスクリーンで表示するなど、ディジタル技術が広汎に用いられるようになった。最初、これらの新技術においてビデオ画像に有意な遅延量を導入したものはなかった。オーディオ/ビジュアル同期(以下ではA/V同期と略す)は、デコーダから供給されたオーディオストリームおよびビデオストリームがオーディオビジュアル再生装置で即時に再生されるものとの仮定に基づいてデコーダによって行われていた。デコーダでは、A/V同期の原理は、MPEGエンコーダに包含されている"プログラムクロックリファレンス"および"プレゼンテーションタイムスタンプ"などのパケット内のタイムマーカを用いて、共通の時間参照子に対してビデオおよびオーディオを提示するものである。ISO/IEC13818-1規格のAppendixDには"LIPSYNC"と称されるこうしたA/V同期の詳細が説明されている。こんにちのデコーダのA/V同期モジュールのチューニングプロシージャは、テストMPEGストリームから導出されたオーディオビデオパケットを復号化し、応答時間を即時であると見なして、これを再生装置、例えばCRTTVで提示するものである。同様にDVDプレーヤにおいても、A/V同期はプレーヤそのものにおいて処理され、プレーヤ出力のオーディオストリームとビデオストリームとの同期が保証されている。
【0003】
最近のスクリーン技術の進歩により、市販されている新たなスクリーンおよび多少とも複雑なオーディオビジュアル再生装置は次のようなものになっている。a)オーディオ信号が復号化形式(例えばPCMフォーマット)または符号化形式(例えばドルビーディジタル)で供給されるオーディオビジュアル再生装置、例えば"ホームシネマ"装置。b)幾つかの国々で主流となりつつある高解像度TV(以下ではHDTVと略す)。これは例えばコスト低減のためのMPEG4技術とともに消費者市場に現れた。複数の高解像度フォーマット(以下ではHDフォーマットと略す)が標準解像度フォーマット(以下ではSDフォーマットと略す)と共存している。HDフォーマットはスクリーンでのビデオ画像の表示前に膨大なビデオ処理を要求するので、遅延が発生する。c)多数のスクリーン技術、例えばLCD,LCOS,DLP,プラズマなどのスクリーンがHDフォーマットおよびSDフォーマットの双方に対して利用可能である。これらの種々のスクリーンは自身のビデオプロセッサに最適なレンダリングを要求するので、遅延が発生する。
【0004】
これまでのオーディオビジュアルシステムについての研究から、人間はA/Vの位相ずれに敏感であることがわかっている。ベル研究所で1940年に行われた研究によれば、100msより大きいオーディオ遅れまたは35msより大きいオーディオ進みは視聴に困難を生ずることが判明した。実生活においても人間はふつうオーディオ進みに対するよりオーディオ遅れに対するほうが寛容である。なぜならスクリーンに表示されるものを見ないうちに音を聞くのは不自然だからである。したがって、ITU規格では、オーディオビジュアルシステム全般にわたって許容可能なA/V同期エラーと許容不能なA/V同期エラーとが共通のルールとして定められている。1993年のITU規格[DOC11/59]によれば、感知可能域は100msより大きい遅れおよび20msより大きい進みと定義された。また抵抗発生域は160msより大きい遅れおよび40msより大きい進みと定義された。しかし1998年のITU規格では、特別な理由もないのに、感知可能域の定義が125msより大きい遅れおよび45msより大きい進みと緩められた。また抵抗発生域の定義は185msより大きい遅れおよび90msより大きい進みとされた。これらの範囲はITU-R BT 1359-1規格に定義されている。
【0005】
ディジタルTV規格開発のための国際機関であるATSC("Advanced Television System Committee")は、変更された規格が不適切であり、ベル研究所での研究に沿っていないと指摘している。ここでは同期エラーは[−90ms,+30ms]内にとどめ、しかもオーディオビジュアルシステムにおいて、取得側で[−45ms,+15ms]、エンコーダ・デコーダ・TV側で[−45ms,+15ms]となるように分散すべきであることが提案されている。
【0006】
こんにち、ビデオ再生装置、例えばLCDスクリーンでは、ビデオ処理装置で数10ミリ秒、しばしば100ミリ秒近くになる遅延が測定されている。発生する遅延は装置ごとに、画像フォーマットにしたがって、例えばインタレース画像(例えばSDで576i25,HDで1080i25)であるかプログレッシブ画像(例えばSDで576p25,HDで720p50)であるかによって、大きく変化する。特にスクリーンがデインタレース機能に対して適合化される場合にはそれが顕著である。当該の処理には画像メモリ、例えばFIFO、SDRAMなどが要求されるが、これによりオーディオ信号の遅延に比べてビデオ信号の遅延が増大する。このことはオーディオ信号が対応するビデオ信号にしばしば先行するということを意味する。実用上、オーディオ再生装置は通常の使用状況では大きな遅延を発生しない。遅延が発生するのはサウンドエフェクトが加えられるときである。この場合の遅延はユーザに許容可能な範囲にとどまる。
【0007】
CRTスクリーンとは異なり、現在用いられている新しいフラットパネルスクリーンでは応答は即時には行われない。種々のコンポーネントまたは種々のモジュールが遅延を発生するからである。
図1には従来技術のオーディオビジュアル再生装置1、例えばフラットパネルTVが示されており、そこにはブロック10,11,12として種々のモジュールが存在している。この再生装置はスクリーン12としてのビデオ再生装置および外部スピーカまたはビルトインスピーカ13としてのオーディオ再生装置を含んでいる。ビデオ再生装置の従来のモジュール、例えばチューナ、PALデコーダ、A/Dコンバータなどについては周知であるので詳細には説明しない。モジュール10,11,12は固定またはフレームごとに可変のビデオ遅延を発生する。こうした遅延は処理の態様およびスクリーンタイプにしたがって変化する。これらの遅延が補償されないと、定義された許容可能域を超えるA/V同期エラーが発生し、ユーザに認知されてしまう。
【0008】
最初のデインタレーサ/フォーマットコントローラ10はインタレース画像をプログレッシブ画像へ変換し、入力信号の解像度をスクリーンの解像度へ、例えば1920×1080iから1280×720pへ適合させる。このブロックではフレームメモリSDRAMまたはDDRAMが用いられており、インタレース50Hzまたはプログレッシブ60Hzのビデオフォーマットにしたがって可変の遅延D
dが生じる。
【0009】
次のスクリーンコントローラ11はプログレッシブ画像をスクリーンに対して互換性を有するフォーマットへ変換する。このコントローラはスクリーンをアドレシングし、画像品質の増大処理を行う。ここではスクリーンタイプに依存する遅延D
eがしばしば発生する。つまり、LCD(Liquid Crytal Display)‐LCOS(Liquid Crystal on Silicon)スクリーンでは、次のようなプロセスで遅延が発生すると考えられる。
・グレーレベルごとの切り換えが必要とされるとき液晶の応答時間を高めるためのオーバードライブ。この演算にはフレームメモリが使用され、固定の遅延Rc_lcd_overdrivingが生じる。
・大面積のフリッカ効果を低減するために3バルブLCOSで常用されるフレームコピー。この演算にもフレームメモリが使用され、固定の遅延Rc_lcos_doubleが生じる。
【0010】
DLP
TM(Digital Light Processing)‐LCOSでは、次のようなプロセスで遅延が発生すると考えられる。
・連続色への変換。この演算にはフレームメモリが使用され、固定の遅延Rc_dlp‐lcos_sequentialが生じる。
・連続ビット平面で行われるDLPスクリーンアドレシング。この演算は固定の遅延RC_dlp_bitplaneを生じる。
【0011】
プラズマスクリーンでは、次のようなプロセスで遅延が発生すると考えられる。
・連続サブスキャニング演算によるスクリーンアドレシング。これにより遅延Rc_plasma_bitplaneが生じる。
・偽輪郭効果およびぼやけ効果を低減するための動き補償。この演算にはフレームメモリが使用され、固定の遅延Rc_plasma_artefactが生じる。
有機発光ダイオードOLEDのスクリーンでも同様の遅延が発生する。
【0012】
さらにスクリーン12そのものも遅延を有する。LCD‐LCOSスクリーンの発光は液晶に印加される電圧を変調することにより得られる。DMD
TM(Digital Micromirror Device)では、光はマイクロミラーのピボット制御によってバイナリ変調される。プラズマパネルでは、光はガス励起によってバイナリ変調される。したがって光は変調に対して遅延をともなって応答する。この遅延は主としてスクリーンのコンポーネントの物理特性、例えば液晶特性、ガス特性などに依存する。さらに、シーケンシャルメモリを備えたDLP‐LCOSのように、付加的な遅延を誘発する内部メモリを組み込んだスクリーンも存在する。したがってスクリーンそのものもタイプに直接に関連した遅延D
eを有することになる。
【0013】
LCD‐LCOSスクリーンは特に次のような遅延を有する。
・スクリーンが行ごとにアドレシングされるので、最後の行は第1の行から1フレーム期間後にリフレッシュされることになる。このアドレシング演算は固定の遅延Re_lcd_addressingを生じる。
・液晶は変調電圧を印加してからセットアップまでに所定の時間を要する。この必要時間は遅延とセットアップ時間とに区別される。この2つの時間は先行フレームと現在フレームとのあいだのグレーレベル遷移に依存する。この2つの時間は可変の遅延Re_lcd_liquid−crystalとなる。
【0014】
他のタイプのスクリーン、例えばプラズマパネル,DLP,OLEDは他のタイプの遅延を有する。
【0015】
プラズマパネルは特に次のような遅延を有する。
・パネル内に封入されているガスがビデオコンテンツに応じた応答時間を有するため、可変の遅延Re_plasma_gasが生じる。
【0016】
DLP
TMスクリーンは特に次のような遅延を有する。
・このディスプレイは内部メモリを含み、これに対してサブスキャニング形式でアドレシングする。これにより固定の遅延Re_dlp_addressingが生じる。
【0017】
DMD
TMはきわめて迅速な応答時間を有する。このデバイスは特に遅延を有さない。
【0018】
下に掲げた表には種々のタイプのスクリーンでの種々の遅延の例がまとめてある。表において、Tはフレーム期間(20ms/50Hz,16.7ms/60Hz)を表している。
【0019】
【表1】
【0020】
スクリーンに使用されている技術に応じて、画像の遅延は、画像の重要性にかかわらずコンテンツ例えばグレーレベルにしたがって変化し、固定またはフレームごとに可変となる。こうした遅延はビデオフォーマットに依存しても変化する。TVまたはDVDでは、4つのフォーマット、すなわち、50Hzインタレース入力、50Hzプログレッシブ入力、60Hzインタレース入力、60Hzプログレッシブ入力が存在する。
【0021】
オーディオストリームとビデオストリームとのあいだの遅延は使用されるオーディオフォーマット、例えばMPEG1,MPEG2レイヤ1,MPEG2レイヤ2,DOLBYAC−3に依存する。この遅延はユーザに大きな抵抗感を与えるトレランス外A/V同期エラー、言い換えれば許容域を超えるA/V同期エラーを引き起こす。
【0022】
上述した分析は、ユーザの認識の快適性を高め、ビデオストリームおよびオーディオストリームを再生する際の遅れまたは進みを定義された許容域内にとどめるために、オーディオストリームとビデオストリームとを同期させる必要があることを示している。より一般的に云えば、ユーザに抵抗感を与えないよう、遅れまたは進みの許容域を超えずにサービスの各パートを再生するには、ディジタルサービスの各パートを同期させなければならない。
【発明の概要】
【0023】
本発明の課題は従来技術の欠点を克服することである。このために、本発明では、種々の処理および装置そのものによって引き起こされた遅延を考慮に入れ、これをディジタルサービスの少なくとも一部に適用してディジタルサービスの各パートを同期させる装置および方法を提供する。そのねらいは、ユーザに抵抗感を与える許容域からの逸脱を回避することにある。
【0024】
本発明は第1に、ディジタルサービスソース装置から到来したディジタルサービスの少なくとも一部を形成するデータを受信する受信手段と、受信データの少なくとも一部を処理する処理手段と、ディジタルサービスの少なくとも一部の出力を再生する再生手段とを有しており、ここで、データの処理および再生にかかる時間が再生データの出力に遅延を発生する、データ再生装置に関する。本発明によれば、データ再生装置はさらに、発生した遅延量をディジタルサービスソース装置に知らせる通信手段を有する。
【0025】
本発明の有利な実施形態によれば、再生装置はTVであり、ディジタルサービスはオーディオビジュアルサービスであり、処理データは複数のフレームとして編成されたビデオデータである。さらに、ディジタルサービスの少なくとも一部を出力する再生手段の1つはスクリーンであり、有利にはLCDスクリーン、OLEDスクリーンまたはDLPスクリーンなどのフラットパネルスクリーンである。
【0026】
本発明の有利な別の実施形態によれば、受信データの少なくとも一部を処理する処理手段の1つはデインタレーサである。
【0027】
有利には、再生装置は遅延の値を記憶する不揮発性メモリを含む。特に有利には、不揮発性メモリはEPROMである。
【0028】
本発明の別の有利な実施形態によれば、遅延の値はEDIDデスクリプタの形式で提示される。
【0029】
有利には、発生した遅延量をディジタルサービスソース装置へ知らせる通信手段はDDCプロトコルまたはCECプロトコルを用いたリンクを含む。デコーダはDDCリンクを介してEDIDデスクリプタの形式で記憶された遅延の値を取得する。
【0030】
本発明は、第2に、ディジタルサービスの第1パートを形成するデータを出力する第1の出力手段と、ディジタルサービスの第2パートを形成するデータを出力する第2の出力手段と、ディジタルサービスの第1パートを形成するデータを再生するデータ再生装置と通信する通信手段とを有する、ディジタルサービスソース装置に関する。本発明によれば、ディジタルサービスソース装置にはさらに、ディジタルサービスの第2パートを形成する出力データにプログラマブル遅延量を加える印加手段と、ディジタルサービスの第1パートを形成するデータを再生するデータ再生装置から遅延量インジケータを受信する受信手段と、受信された遅延量インジケータにしたがってプログラマブル遅延量を加えるプログラミング手段とが設けられている。
【0031】
本発明の有利な実施形態によれば、ディジタルサービスソース装置はディジタルデコーダである。本発明の別の有利な実施形態によれば、ディジタルサービスソース装置はDVDプレーヤである。
【0032】
本発明の1つの実施形態によれば、ディジタルサービスの第1パートを形成するデータはビデオデータであり、ディジタルサービスの第2パートを形成するデータはオーディオデータである。
【0033】
本発明の別の実施形態によれば、ディジタルサービスの第1パートを形成するデータもディジタルサービスの第2パートを形成するデータもビデオデータである。
【0034】
有利には、プログラマブル遅延量の印加手段により、再生手段の要素、すなわちビデオデータのデインタレーサ、フォーマットコントローラ、スクリーンコントローラおよびスクリーンのうち1つまたは複数のものに起因する遅延量が補償される。
【0035】
本発明の有利な別の実施形態によれば、プログラマブル遅延量の印加手段は、ディジタルサービスの第2パートを形成するデータを受信された遅延量インジケータにしたがって再記憶するまで一時記憶するメモリを含む。
【0036】
本発明は第3に、ディジタルサービスの第1パートを形成するデータを出力する第1の出力手段、ディジタルサービスの第2パートを形成するデータを出力する第2の出力手段、ディジタルサービスの第1パートを形成するデータを再生するデータ再生装置と通信する通信手段、および、ディジタルサービスの第2パートを形成する出力データにプログラマブル遅延量を加える印加手段を有するディジタルサービスソース装置と、ディジタルサービスソース装置から到来したディジタルサービスの少なくとも一部を形成するデータを受信する受信手段、および、ディジタルサービスの少なくとも一部を再生するために受信データの少なくとも一部を処理する処理手段を有する少なくとも1つのデータ再生装置とを含むシステムでディジタルサービスの2つのパートを同期させる方法に関する。本発明の方法は、データ再生装置からディジタルサービスの少なくとも第1パートを形成する受信データを処理および再生する際に発生した合計遅延量をソース装置へ送信するステップと、および、受信された遅延量インジケータを用いてディジタルサービスの第2パートを形成するデータの出力を遅延させるためにソース装置側でプログラマブル遅延量をプログラミングするステップとを有する。
【0037】
本発明の有利な実施形態によれば、遅延の一部はスクリーン特性に起因しており、液晶スクリーンの場合、連続する2つのフレーム間のピクセルごとのグレーレベル差を計算するステップ、ピクセルごとに計算されたグレーレベル差から連続する2つのフレーム間のピクセルごとの応答時間を予測するステップ、全ピクセルについての遅延のヒストグラムを形成するステップ、および、このヒストグラムから平均遅延を計算するステップにしたがって、スクリーン特性に起因する遅延量がフレームごとに予測される。
【0038】
本発明の実施形態によれば、ディジタルサービスの第1パートを形成するデータはビデオデータであり、ディジタルサービスの第2パートを形成するデータはオーディオデータである。
【0039】
本発明の別の実施形態によれば、ディジタルサービスの第1パートを形成するデータもディジタルサービスの第2パートを形成するデータもビデオデータである。
【発明を実施するための形態】
【0041】
以下に本発明を図示の有利な実施例に則して詳細に説明する。ただし本発明はこれらの実施例に限定されるものではない。
図1には従来技術によるフラットパネルTVの概略図が示されており、これについては既に説明した。
図2には内部オーディオ再生装置を用いた本発明のオーディオビジュアルサービスの受信再生装置が示されている。
図3には外部オーディオ再生装置を用いた本発明のオーディオビジュアルサービスの受信再生装置が示されている。
図4にはソース側で補償された遅延を予測する本発明のオーディオビジュアルサービスの受信再生装置が示されている。
図5には遅延を予測および補償する受信装置を備えた本発明のオーディオビジュアルサービスの受信再生装置が示されている。
図6には遅延を予測および補償する再生装置を備えた本発明のオーディオビジュアルサービスの受信再生装置が示されている。
図7には本発明により液晶スクリーンの遅延を予測する方法が示されている。
図8には種々のグレーレベル遷移に対する液晶の応答時間を表すチャートが示されている。
図9には本発明によるマニュアル式遅延量選択方法が示されている。
図10には種々のビデオフォーマットに対する遅延量の選択方法が示されている。
図11には本発明によるマニュアル式遅延量予測装置が示されている。
図12には本発明によるセミオートマティック式遅延量予測装置が示されている。
図13には本発明によるセミオートマティック式遅延量予測方法が示されている。
図14には外部オーディオ再生装置および2つの遅延モジュールを含む受信装置を用いた本発明のオーディオビジュアルサービスの受信再生装置が示されている。
図15には2つのビデオ再生装置に接続された受信装置を用いた本発明のオーディオビジュアルサービスの受信再生装置が示されている。
【0042】
本発明の実施例をオーディオビジュアルディジタルサービスに則して説明する。A/Vソースはここではデコーダとするが、他のタイプのA/Vソース、例えばDVDプレーヤであってもよい。オーディオビジュアル再生装置はここではスクリーンおよび音声出力部すなわちビルトインスピーカを備えたTVとするが、これも他のタイプのオーディオビジュアル再生装置、例えばコンピュータであってよい。オーディオ再生装置はここでは1つまたは複数のスピーカに接続されたアンプ、例えばホームシネマ装置のオーディオアンプを含み、TVに外付け可能な装置とするが、これも他のタイプのオーディオ再生装置であってよい。
【0043】
デインタレーサ回路は同相を保つためにビデオ入力と同じ遅延を加えられた補償用オーディオ入力を有する。しかしユーザが外部のオーディオ再生装置、例えばホームシネマ装置からの音声の利用を選択した場合、遅延補償は行われない。したがってA/V信号のソースであるディジタルデコーダにA/V同期モジュールを配置するのが自然であると思われるが、そのためには市販されているA/V機器と互換性を有するようにしなければならない。本発明の基本方式の1つとして、TVの入力側のビデオ信号とスクリーンで表示されるビデオ信号とのあいだの遅延の値をデコーダへ知らせる自動手段がTVに設けられる。
【0044】
図2,
図3にはオーディオビジュアルディジタルサービスを受信して表示する装置の2つの実施例が示されている。装置の主要要素だけを図示してある。
図2にはディジタルデコーダ20を含んだオーディオビジュアルサービス装置が示されており、このディジタルデコーダはリンク220,221,222を介してTV21に接続されている。デコーダ20は入力側で符号化オーディオビジュアルストリーム22、例えばMPEG符号化ストリームを受信する。このA/Vストリーム22はデマルチプレクサ204によりデマルチプレクスされ、少なくとも1つのオーディオ信号および少なくとも1つのビデオ信号となる。ビデオ信号はビデオデコーダ200によって復号化される。オーディオ信号はオーディオデコーダ201によって復号化される。2つのストリームは2つのデコーダ200,201と通信するA/V同期モジュール202により同期される。A/V同期モジュール202はさらに処理ユニット203に接続されている。ビデオデコーダ200はDVI/HDMIリンク(Digital Video Interface/High Definition Multimedia Interface link)220を介してTV21へリンクされている。より詳細に云えば、ビデオデコーダ200はTV21のスクリーン処理モジュール210にリンクされている。このスクリーン処理モジュール210はスクリーン211に接続されている。またオーディオデコーダはリンク222を介してTV21のオーディオ再生装置212へリンクされている。A/V同期モジュール202は処理ユニット203に接続されており、この処理ユニットは例えばスクリーン関連データを取得するためのDDC(Display Data Channel)通信プロトコルを用いたI2Cバス221を介して不揮発性メモリ、例えばTV21のEPROMであるEDID(Extended Display Identification Data)メモリ213にリンクされている。
【0045】
図3には、外部のオーディオ再生装置31(例えばホームシネマ装置のアンプ)によってオーディオストリームを再生する同様の装置が示されている。このオーディオ再生装置31はスピーカ33にリンクされたオーディオアンプ310を含む。デコーダ30は
図2のデコーダ20と同様の要素、例えばオーディオデコーダ、ビデオデコーダ、デマルチプレクサ、A/V同期モジュールなどを有し、これらには
図2と同様の参照番号を付してある。デコーダ30はプログラマブルオーディオ遅延モジュール300,ビデオフォーマットマネージャ301およびHDMIインタフェース302を含む。このデコーダはTV32にリンクされている。TVはビデオ処理モジュール320およびこれに接続されたスクリーン321を有する。デコーダはリンク340、例えばSPDIFインタフェース(Sony/Philips Digital Interface)を介して外部のオーディオ再生装置31にリンクされており、DVI/HDMIリンク341を介してTV32にリンクされている。
図2,
図3の2つの手段の目的は、モジュール210,320でのビデオ処理、例えばデインタレーシング、フォーマット変換、画像品質増大などに起因する遅延D
dc(ここでD
dc=D
d+D
c)、および/または、スクリーン211,321、例えば液晶の応答時間に起因する遅延D
eを補償することである。遅延D
eはそれ自体が上掲の表に定義された複数の遅延の和である。以下の説明では、合計遅延をD、つまりD=D
dc+D
eとする。D
dcおよびD
eは時間的に固定または可変である。例えば液晶スクリーンでは遅延D
eが応答時間に応じてフレームごとに変化する。スクリーンが遅延を発生しない場合、D=D
dcである。同様にD
dcもゼロとなりうる。
【0046】
本発明によれば、少なくとも1つのプログラマブル遅延量Dがオーディオ信号に印加される。これは圧縮形式で記憶されても復号化形式で記憶されてもよい。遅延量Dはプログラマブルオーディオ遅延モジュール300においてオーディオ信号に印加される。本発明の変形例によれば、遅延量は直接にデコーダ内のA/V同期モジュール202においてオーディオ信号に印加される。デコーダはプログラマブルオーディオ遅延モジュール300またはA/V同期モジュール202において適切な遅延量Dを用いて、ビデオ処理および/またはスクリーン210,320で生じた遅延を補償する。
【0047】
本発明によれば、TV21,32で生じる遅延Dは、ビデオフォーマットマネージャ301によって管理されているビデオ入力のフォーマットに依存して変化しうる。したがって、遅延がビデオフォーマットに依存する場合、プログラマブルオーディオ遅延モジュール300またはA/V同期モジュール202において、ビデオフォーマットが変化するたびに新たな遅延量Dがプログラミングされる。この遅延はビデオフォーマットXに関連するので、遅延D
Xとする。プログラマブル遅延量は入力ビデオフォーマットから独立に演算された合計値Dであってもよい。
【0048】
本発明の手段の特徴は、例えば種々のビデオフォーマットに起因する遅延D
Xを表すパラメータ、または入力ビデオフォーマットから独立した合計遅延Dによって、DVI/HDMI制御プロトコルを高めることにある。こうしたDVI/HDMI制御プロトコルにより、デコーダの特性および機能に関する情報をスクリーンで共有することができる。このプロトコルにしたがって、ビデオソースはDDCチャネル221を用いてTV21,32内の不揮発性メモリ213から、例えば同期信号の解像度、極性、比色分析データなどを読み出す。これらのデータはEIA/CEA-861Bに定義されたEDIDデスクリプタを用いて表される。EDIDデスクリプタとしてスクリーンメーカがEPROMであるEDIDメモリ213内にプログラミングしたものを取得して利用してもよい。
【0049】
本発明では、TV情報の遅延特性、すなわちTVのディジタルビデオ処理による遅延D
dc,スクリーンの応答時間による遅延D
e,またはその双方による遅延DまたはD
Xを記憶するために、既に標準化された情報のほか、EDIDデスクリプタを用いる。本発明によって得られる各TV21,32の遅延情報はTVの不揮発性メモリ213に記憶される。この情報は前述した4つのビデオフォーマット、すなわち50Hzインタレース入力、50Hzプログレッシブ入力、60Hzインタレース入力および60Hzプログレッシブ入力に相応する4つの遅延D
Xを含む。また他のビデオフォーマットに関する遅延を記憶することもできる。
【0050】
本発明によれば、デコーダはA/V同期モジュール202またはプログラマブルオーディオ遅延モジュール300でオーディオストリームとビデオストリームとを同期するためにこれらの値を取得する。遅延D
dcおよび遅延D
eに関する情報はTV21,32のメーカから供給され、電子情報としてTV21,32からデコーダ20へ送信されてもよい。合計遅延情報DまたはD
Xはデコーダのスイッチオン時に移し替えられなければならない。この情報の移し替えは、付加的に、必要に応じてまたはデコーダへの要求に応じてチャネル変更の際に行うこともできる。
【0051】
DDCチャネルを利用する手段に代えて、HDMIのCEC(Consumer Electronics Control)インタラクティブインターチェンジプロトコルを利用してもよい。
【0052】
図4には本発明の1つの実施例が示されている。デコーダ20は
図2に則して説明したものと同じであるから、ここで再度の説明はしない。TV41でも
図2のTV21と同様の要素には相応の参照番号を付してあるので、これらについても詳細には説明しない。TV41は遅延D
eを予測する遅延予測モジュール410を含む。実際に、スクリーンのタイプに応じて時間的に可変の遅延を発生するTVに対して、当該の遅延を予測しなければならない。予測される遅延D
eは種々のビデオ処理、例えばデインタレーシングに起因する遅延D
dcに加算される。合計遅延Dの値はEPROMであるEDIDメモリ411に記憶され、デコーダ20内のA/V同期モジュール202またはプログラマブルオーディオ遅延モジュール300によって使用される。したがってデコーダはDDCリンク221を介してこの遅延の値を取得し、これを用いてオーディオストリームとビデオストリームとを同期する。種々の遅延D
dc,D
eを個別にEDIDメモリに記憶すれば、デコーダはDDCリンク221を介してこれらの遅延を取得することができる。スクリーンタイプに起因する可変の遅延D
eを予測するための遅延予測方法については後に液晶スクリーンに則して説明する。
【0053】
図5に示されている別の実施例では、スクリーンに起因する遅延D
eがデコーダ50の処理ユニット内に配置された遅延予測モジュール500において予測される。相応の参照番号の付された要素は前出の要素と同様であるので、詳細には説明しない。本発明によれば、スクリーンのEPROMであるEDIDメモリに記憶すべきデスクリプタが定義される。このデータは遅延予測に必要なものであり、例えば液晶スクリーンのメーカから提供された
図8のようなチャートである。デコーダはDDCリンク221を介して当該のデータを取得し、遅延予測モジュール500において平均遅延を予測する。この予測方法については後述する。
【0054】
前述した手段の利点は、TVと外部のオーディオ再生装置31(例えばHiFiシステム、ホームシネマ装置など)とが利用される場合に、オーディオストリームおよびビデオストリームが同期されるということである。
【0055】
図6に示されている別の実施例では、スクリーンに起因する遅延D
eが前述の場合と同様にTV61の遅延予測モジュール410において予測される。ただし同期は直接にTVにおいて実行される。このとき、TV内のメモリ610はオーディオデータのバッファリングに用いられ、平均遅延にしたがってユーザに対してオーディオデータを再生する。平均遅延の予測方法については後述する。
【0056】
図7には、液晶スクリーンに起因する遅延D
eの予測装置7が示されている。この予測装置はフレームメモリ71および遅延計算モジュール70を含む。フレームメモリ71は入力画像video
tNを1フレームvideo
tN−1ずつ遅延させるために用いられる。予測装置7はエンハンスメント回路のフレームメモリ71を使用することができる。遅延計算モジュール70は、ピクセルごとに、連続する2つのフレーム間のグレーレベル差を計算する。計算の際に、このモジュールは、液晶スクリーンのメーカから提供された
図8のようなチャートを用いる。このチャートは種々のグレーレベル遷移に対する応答時間を表している。これによりピクセルごとに2つのフレーム間の応答時間が予測される。全ピクセルについてヒストグラムが形成され、例えば所定の応答時間を有するピクセルの数を考慮して加重平均を計算することにより平均遅延D
eが予測され、この値がA/V同期モジュールによって用いられる。遅延D
eの予測が
図5のようにデコーダ内で行われる場合、前述したチャートはEPROMであるEDIDメモリに記憶され、DDCリンク221を介してデコーダに受け取られる。このとき、遅延予測装置7はリンク72を介してEDIDデータを取得する。
【0057】
以下に示す手段は、ビデオ処理およびスクリーンによって生じる遅延パラメータDをビデオソースへ知らせるマニュアル式またはセミオートマティック式手段の実施例である。これらの手段は特にA/Vソースとビデオ再生装置とのあいだにHDMIリンクが存在しない場合に利用される。
【0058】
図9にはユーザがメニューを用いて遅延パラメータを選択できるようにしたマニュアル式チューニング方法が示されている。相応の選択装置は
図11に示されている。当該の選択方法はメーカから遅延情報が得られない場合に有効である。この場合、デコーダ110はユーザが手動で精細に遅延を同期できるA/Vシーケンスを形成する。本発明によれば、ステップ91で、デコーダ110は適切なビデオフォーマットX、例えば50Hzインタレースビデオフォーマットへの切り換えを行う。ステップ92で、ユーザ115は当該のフォーマットに対する遅延量D
Xの値をメニューから選択する。この値はデコーダ内のプログラマブルオーディオ遅延モジュール300またはA/V同期モジュール202にプログラミングされている。ステップ93で、デコーダは選択された遅延の値を用いて同期されたA/Vシーケンス111を送信する。こうしてビデオ画像がスクリーン112に表示される。同期されたオーディオ信号はオーディオアンプ113によって増幅され、スピーカ114を介して音声が再生される。ユーザはスクリーン112での画像再生およびスピーカ114での音声再生を視聴して同期の品質を判断することができる。ステップ94でユーザはメニューを用いて行われた同期が充分であるか否かをデコーダに伝える。充分でない場合には、新たな遅延の値D
Xが得られるまで上述のステップが反復される。同期が充分であった場合には、選択は終了され、この遅延の値D
Xがデコーダ内のプログラマブルオーディオ遅延モジュール300またはA/V同期モジュール202に記憶される。
【0059】
この演算は全てのビデオフォーマットに対して反復され、オーディオストリームに印加すべきそれぞれの遅延量が求められる。そのための方法が
図10に示されている。50Hzインタレースビデオフォーマットに関する遅延D
25i,50Hzプログレッシブビデオフォーマットに関する遅延D
50p,60Hzインタレースビデオフォーマットに関する遅延D
30i,60Hzプログレッシブビデオフォーマットに関する遅延D
60pがそれぞれステップ101,102,103,104で求められ、
図9の方法にしたがって選択される。
【0060】
別の実施例として、例えばメーカから遅延データが供給されていて既知となっている場合、ユーザはメニューを用い、デコーダのプログラマブルオーディオ遅延モジュール300またはA/V同期モジュール202において種々のビデオフォーマットに対する遅延D
Xの値を手動で印加することができる。例えば種々の値をディジタルサービスソース装置のインストールの際に入力してもよい。
【0061】
図12に示されている装置によれば、スクリーンに固定されたプローブ122が用いられ、スクリーンに表示されている画像の特性が検出され、その情報がデコーダへ返送される。このような遅延Dのセミオートマティック式予測方法が
図13に示されている。
【0062】
図13の方法によれば、デコーダ120がまず一連のブラック画像(グレーレベルの低い画像)130を形成し、次に1つのホワイト画像(グレーレベルの高い画像)131を形成し、さらに再び一連のブラック画像132を形成して、これらをTV121へ送信する。このとき、フェーズ133で第1のブラック画像のシリーズがスクリーンに表示され、次いでフェーズ134でホワイト画像134が表示され、さらにフェーズ135で第2のブラック画像のシリーズが表示される。プローブ122はスクリーン上のホワイト画像を検出し、デコーダ120へ瞬時メッセージを送信して、フェーズ134でホワイト画像が表示されていることを知らせる。デコーダ120はホワイト画像がデコーダから送信された時点138からホワイト画像がTV121のスクリーンに表示された時点139までの時間を計算する。プローブ122は典型的には光強度に感応するデバイスであり、例えばスクリーンの左上角またはスクリーンの中央に配置される。このデバイスはさらにスクリーンの限定された領域の光強度を瞬時に評価することもできる。プローブ122は2つの論理ステータスを有する。第1のステータス136は光強度のレベルが所定の閾値よりも低い状態、すなわち、ブラック画像のシリーズが表示されている状態である。第2のステータス137は光強度のレベルが所定の閾値よりも高い状態、すなわち、ホワイト画像のシリーズが表示されている状態である。当該の閾値は、ブラック画像が表示されたときにプローブが第1のステータスを検出し、ホワイト画像が表示されたときにプローブが第2のステータスを検出するように定められている。ブラック画像は低い光強度の画像によって置換することができ、ホワイト画像は高い光強度の画像によって置換することができる。プローブに必要とされるのは一方から他方への遷移を検出する能力のみである。論理ステータスは2値の電気信号へ翻訳される。この電気信号はデコーダによって取得される。デコーダはホワイト画像のスクリーンへの送信が開始された時点138およびプローブが第1のステータスから第2のステータスへの遷移を検出した時点139を記憶する。2つのタイムマーカのあいだの時間D140がビデオ処理およびスクリーンによって生じた遅延を表している。この演算は全ビデオフォーマットに対する遅延量D
Xのセットが得られるようにビデオフォーマットごとに反復される。この方法は、メニューが使用されず、ユーザはプローブをデコーダに接続してスクリーンに適用し、プロセスを手動で開始するのみであるので、セミオートマティック式と云える。
【0063】
またスクリーンのいずれかの位置に黒四角領域を有するブルースクリーンを用いることもできる。プローブ122はこの黒四角領域の上に配置され、光強度の変化を検出するためにホワイト画像が当該の黒四角領域へ送信される。この場合、スクリーン上のプローブの位置が既知であるので、全ピクセルを同時に再生しないスクリーンの遅延、例えばスクリーンのスキャニング時の遅延がいっそう正確に測定される。
【0064】
本発明の別の実施例が
図14に示されている。
図2,
図3と共通する要素には相応の参照番号を付してあるので、詳細には説明しない。デコーダ140は付加的なプログラマブルオーディオ遅延モジュール141を含む。この第2のプログラマブルオーディオ遅延モジュール141は同じ再生装置142、例えばTVで再生されるオーディオストリームとビデオストリームとを同期させるために用いられる。TV142はビデオ遅延D
dcを発生するビデオ処理モジュール320を含む。またTV142はオーディオストリームにオーディオ遅延D
taを発生するオーディオ処理モジュール144を含む。このオーディオ処理モジュール144はTVのビルトインスピーカ151に接続されている。ビルトインスピーカ151で再生されるオーディオストリームとスクリーン321で再生されるビデオストリームとを同期させるために、第2のプログラマブルオーディオ遅延モジュール141はデコーダのオーディオストリーム出力に遅延量D
dc‐D
taを加える。この実施例では、EDIDテーブルに、再生装置でビデオフォーマットすなわち50Hzインタレース入力、50Hzプログレッシブ入力、60Hzインタレース入力および60Hzプログレッシブ入力に依存して生じたビデオ遅延D
dcに関連する4つのパラメータと、4つのビデオフォーマットに対するオーディオ処理で生じたオーディオ遅延D
taに関連する4つのパラメータとが加算される。遅延の値は0ms〜255msで変化する値を表すために1byteで符号化される。したがって、オーディオストリームが外部装置31、例えばSPDIFで再生される場合、ソース側ではプログラマブルオーディオ遅延モジュール300で遅延量D
dcがデコーダ201の出力に加えられる。オーディオストリームがHDMI再生装置、例えばTV142で再生される場合、ソース側でプログラマブルオーディオ遅延モジュール141を介して遅延量D
dc‐D
taをオーディオストリームに加える。この遅延量はHDMI装置142の種々の処理によって生じるビデオ遅延およびオーディオ遅延を考慮している。
【0065】
別の実施例が
図15に示されている。
図2,
図3と共通する要素には相応の参照番号を付してあるので、詳細には説明しない。デコーダ150は2つの異なる部屋に置かれた2つのTV152,155に接続されている。TV152はオーディオ出力に対し、例えばSPDIFインタフェースを介して、ホームシネマ装置31にリンクされている。別の部屋に置かれたTV155は主としてスクリーン157を有し、例えばスカートまたはアナログRFのリンク162を介して、オーディオストリームおよびビデオストリームを受信する。TV152はビデオ遅延D
dcを発生するビデオ処理モジュール153とスクリーン154とを含む。TV155は一緒に送信されてくるオーディオストリームおよびビデオストリームの同期を保持する。本発明によれば、ビデオ出力に同期された単独のオーディオ出力を有する装置が提案される。本発明のこの手段では、デコーダ内で、
図3に則して説明したように、補償のための遅延量をオーディオストリームに加えることにより、オーディオストリームと第1のビデオ出力158とが同期される。ここでは、オーディオ出力に加えられるのと同じ遅延量D=D
dcを第2のビデオ出力159に加える第2のプログラマブルビデオ遅延モジュール161が設けられている。これにより第2のビデオ出力159とオーディオ出力160とが同期される。この手段により、特に、第2のTV155が別の部屋に置かれていても、2つのビデオ出力158,159に対して同一のオーディオ出力160を用いることができる。
【0066】
本発明をDVIおよびHDMIの通信プロトコルに利用する例を説明したが、デコーダ内の遅延データまたは遅延を計算するためのデータ(例えば遅延チャート)をやり取りするものであれば、将来開発される制御プロトコルにおいても利用可能である。
【0067】
スクリーンで遅延が生じており、一方オーディオパートは瞬時処理に関連しているディジタルサービスのケースにおいて、本発明をオーディオストリームおよびビデオストリームの同期の実施例に則して説明した。本発明は一般に、サービスの各パートが種々の再生装置によって個別に処理され、それぞれ固有の遅延を発生するディジタルサービス再生装置であれば、いずれのタイプのものにも適用可能である。ここで、再生装置の固有の遅延をソース装置へ送信する機能により、サービス全体の良好な再生のために、ディジタルサービスの全てのパートを同期させることができる。