(54)【発明の名称】3D映像の提供方法、3D映像の変換方法、GUI提供方法及びこれを適用した3Dディスプレイ装置、そして3D映像の提供システム{Methodforproviding3Dimage、methodforconverting3Dimage、GUIprovidingmethodrelatedto3Dimageand3Ddisplayapparatusandsystemforproviding3Dimage}
(58)【調査した分野】(Int.Cl.,DB名)
ディスプレイモードを2D映像をディスプレイするための2Dモード及び3D映像をディスプレイするための3Dモードで動作できるディスプレイ装置の3D映像の提供方法において、
前記2Dモードの状態でユーザによって特定操作が入力されると、前記ディスプレイモードを3Dモードに切り替えるステップと、
入力される映像が3D映像である場合、前記3D映像のフォーマットを認識するステップと、
前記認識されたフォーマットの3D映像を前記ディスプレイ装置が支援可能なフォーマットの3D映像に変換し、前記変換した3D映像をディスプレイするステップと、
前記3Dモードの状態でユーザによって前記特定操作が入力されると、前記ディスプレイモードを2Dモードに切り替えるステップと、
前記入力される映像が3D映像である場合、前記3D映像を3D実現過程なしでそのままディスプレイするステップと、を含む
ことを特徴とする3D映像の提供方法。
前記ボタンが選択された場合、前記設定操作をガイドするためのGUIを、前記フォーマットの変更、前記2D映像への変換、前記出力順番の変更及び前記出力状態の変換のうち、前記選択されたボタンに対応される設定のためのGUIに変換するステップと、を更に含む
ことを特徴とする請求項4に記載の3D映像の提供方法。
【発明を実施するための形態】
【0051】
以下に添付図面を参照しながら、本発明をより詳細に説明する。特に、
図1乃至
図4を参照しながら、3D(3−Dimension)映像の提供システムの動作原理と構成について説明する。そして、
図5A乃至
図5Cを参照しながら、3D映像に対する処理過程について説明する。なお、
図6乃至
図9Bを参照しながら、3Dモード及び2Dモードを行う過程による3D映像の提供方法について説明する。なお、
図10乃至
図13を参照しながら、自動でフォーマットを判断して3D映像を提供する方法について説明する。なお、
図14乃至
図16Bを参照しながら、2D映像モードから3D映像モードへの切替方法について説明する。なお、
図17乃至
図20を参照しながら、3Dモードへの切替によるGUI提供方法について説明する。
【0052】
<3D映像の提供システムの動作原理及び構成>
以下では、
図1は本発明の一実施例に係る3D映像の提供システムを示した図である。
図1に示されたように、3D映像の提供システムは、3D映像を生成するためのカメラ100、3D映像を画面に表示するためのTV200、TV200を制御するためのリモコン290及び3D映像を視聴するためのシャッターグラス300で構成される。
【0053】
カメラ100は、3D映像を生成するための撮影装置の一種として、ユーザの左眼に提供することを目的として撮影された左眼映像と、ユーザの右眼に提供することを目的として撮影された右眼映像とを生成する。即ち、3D映像は左眼映像と右眼映像とで構成され、このような左眼映像と右眼映像とがユーザの左眼と右眼にそれぞれ交互に提供され、両眼時差による立体感が生じるようになる。
【0054】
これのために、カメラ100は左眼映像を生成するための左眼カメラと、右眼映像を生成するための右眼カメラとで構成され、左眼カメラと右眼カメラとの間隔は、人間の両目間の離隔間隔から考慮されるようになる。
【0055】
カメラ100は、撮影された左眼映像と右眼映像とをTV200に伝達する。特に、カメラ100がTV200に伝達する左眼映像と右眼映像は、一つのフレームに左眼映像及び右眼映像のうちの一つの映像のみで構成されたフォーマットで伝達されたり、一つのフレームに左眼映像と右眼映像とが両方含まれるように構成されたフォーマットで伝達されることができる。
【0056】
以下では、TV200に伝達される3D映像のフォーマットについて具体的に説明するために、
図2A乃至
図2Fを参照しながら説明する。
【0057】
図2A乃至
図2Fは、3D映像のフォーマットを説明するための図である。
図2A乃至
図2Fでは説明の便宜上、左眼映像部分を白色で表示し、右眼映像部分を黒色で表示する。
【0058】
まず、
図2Aは一般的なフレームシーケンス方式による3D映像のフォーマットを示した図である。フレームシーケンス方式による場合、3D映像のフォーマットは一つのフレームに一つの左眼映像又は一つの右眼映像が挿入されたフォーマットになる。
【0059】
このようなフォーマットによる場合、1920*1080の解像度を持つ3D映像は、「左眼カメラによって撮影された左眼映像L1が含まれたフレーム→右眼カメラによって撮影された右眼映像R1が含まれたフレーム→左眼カメラによって撮影された左眼映像L2が含まれたフレーム→右眼カメラによって撮影された右眼映像R2が含まれたフレーム→…」というように構成されるようになる。
【0060】
図2Bは、トップ&ボトム(top&bottom)方式による3D映像のフォーマットを示した図である。トップ&ボトム方式は上下分割方式とも呼ばれ、これによる場合、3D映像のフォーマットは一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、トップ&ボトム方式による3D映像のフォーマットは、左眼映像と右眼映像とが上下に分けられ、左眼映像が上側に設けられて右眼映像が下側に設けられたフォーマットになる。
【0061】
これのために、カメラ100で撮影された左眼映像と右眼映像は上下方向に縮小スケーリングされてそれぞれ1920*540の解像度に変換され、その後1920*1080の解像度を持つように、一つのフレームで統合されてTV200に伝達されるようになる。
【0062】
このようなフォーマットによる場合、1920*1080の解像度を持つ3D映像は、「左眼カメラによって撮影された左眼映像L1(上)と右眼カメラによって撮影された右眼映像R1(下)が含まれたフレーム→左眼カメラによって撮影された左眼映像L2(上)と右眼カメラによって撮影された右眼映像R2(下)が含まれたフレーム→…」というように構成されるようになる。
【0063】
図2Cは、サイドバイサイド(side by side)方式による3D映像のフォーマットを示した図である。サイドバイサイド方式による場合、3D映像のフォーマットは一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、サイドバイサイド方式による3D映像のフォーマットは、左眼映像と右眼映像とが左右に分けられて、左眼映像が左側に設けられて右眼映像が右側に設けられたフォーマットになる。
【0064】
これのために、カメラ100で撮影された左眼映像と右眼映像は左右方向に縮小スケーリングされてそれぞれ960*1080の解像度に変換され、その後1920*1080の解像度を持つように、一つのフレームで統合されてTV200に伝達されるようになる。
【0065】
このようなフォーマットによる場合、1920*1080の解像度を持つ3D映像は、「左眼カメラによって撮影された左眼映像L1(左)と右眼カメラによって撮影された右眼映像R1(右)を含むフレーム→左眼カメラによって撮影された左眼映像L2(左)と右眼カメラによって撮影された右眼映像R2(右)を含むフレーム→…」というように構成されるようになる。
【0066】
図2Dは、水平インターリーブ方式による3D映像のフォーマットを示した図である。水平インターリーブ方式による場合、3D映像のフォーマットは一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、水平インターリーブ方式による3D映像のフォーマットは、左眼映像と右眼映像とが行単位で交互に配置されたフォーマットになる。
【0067】
これのために、カメラ100で撮影された左眼映像と右眼映像は、(1)上下方向に縮小スケーリングされてそれぞれ1920*540の解像度に変換された後、変換された左眼映像と変換された右眼映像とが行単位でそれぞれ奇数行又は偶数行に交互に配置されることで一つのフレームを構成することもでき、(2)左眼映像中の奇数行の映像のみが抽出されて右眼映像中の偶数行の映像のみが抽出され、奇数行の映像と偶数行の映像が統合されて一つのフレームを構成することもできる。
【0068】
例えば、前記(1)によるフォーマットによる場合、3D映像は、「左眼カメラによって撮影された左眼映像(L1)中の第1行、右眼カメラによって撮影された右眼映像(R1)中の第1行、左眼カメラによって撮影された左眼映像(L1)中の第2行、右眼カメラによって撮影された右眼映像(R1)中の第2行…」が一つのフレームを構成するようになる。
【0069】
なお、その次のフレームでは、「左眼カメラによって撮影された左眼映像(L2)中の第1行、右眼カメラによって撮影された右眼映像(R2)中の第1行、左眼カメラによって撮影された左眼映像(L2)中の第2行、右眼カメラによって撮影された右眼映像(R2)中の第2行…」で構成されるようになる。
【0070】
図2Eは、垂直インターリーブ方式による3D映像のフォーマットを示した図である。垂直インターリーブ方式による場合、3D映像のフォーマットは一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、垂直インターリーブ方式による3D映像のフォーマットは、左眼映像と右眼映像とが列単位で交互に配置されたフォーマットになる。
【0071】
これのために、カメラ100で撮影された左眼映像と右眼映像は、(1)左右方向に縮小スケーリングされてそれぞれ960*1080の解像度に変換された後、変換された左眼映像と変換された右眼映像とが列単位でそれぞれ奇数列又は偶数列に交互に配置されることで一つのフレームを構成することもでき、(2)左眼映像中の奇数列の映像のみが抽出されて右眼映像中の偶数列の映像のみが抽出され、奇数列の映像と偶数列の映像が統合されて一つのフレームを構成することもできる。
【0072】
例えば、前記(1)によるフォーマットによる場合、3D映像は、「左眼カメラによって撮影された左眼映像(L1)中の第1列、右眼カメラによって撮影された右眼映像(R1)中の第1列、左眼カメラによって撮影された左眼映像(L1)中の第2列、右眼カメラによって撮影された右眼映像(R1)中の第2列…」が一つのフレームを構成するようになる。
【0073】
なお、その次のフレームでは、「左眼カメラによって撮影された左眼映像(L2)中の第1列、右眼カメラによって撮影された右眼映像(R2)中の第1列、左眼カメラによって撮影された左眼映像(L2)中の第2列、右眼カメラによって撮影された右眼映像(R2)中の第2列…」で構成されるようになる。
【0074】
図2Fは、チェッカーボード方式による3D映像のフォーマットを示した図である。チェッカーボード方式による場合、3D映像のフォーマットは一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、チェッカーボード方式による3D映像のフォーマットは、左眼映像と右眼映像とがピクセル単位又はピクセル群単位で交互に配置されたフォーマットになる。
【0075】
これのために、カメラ100で撮影された左眼映像と右眼映像は、ピクセル単位又はピクセル群単位で抽出されて各フレームを構成する複数のピクセル又はピクセル群に交互に配置されるようになる。
【0076】
例えば、チェッカーボード方式による3D映像のフォーマットによる場合、3D映像は、「左眼カメラによって撮影された左眼映像(L1)中の第1行第1列、右眼カメラによって撮影された右眼映像(R1)中の第1行第2列、左眼カメラによって撮影された左眼映像(L1)中の第1行第3列、右眼カメラによって撮影された右眼映像(R1)中の第1行第4列…」が一つのフレームを構成するようになる。
【0077】
なお、その次のフレームでは、「左眼カメラによって撮影された左眼映像(L2)中の第1行第1列、右眼カメラによって撮影された右眼映像(R2)中の第1行第2列、左眼カメラによって撮影された左眼映像(L2)中の第1行第3列、右眼カメラによって撮影された右眼映像(R2)中の第1行第4列…」で構成されるようになる。
【0078】
再び
図1について説明すると、このように、カメラ100は上述のフォーマットのうちの一つのフォーマットを予め決定し、決定されたフォーマットに従って3D映像をTV200に伝達するようになる。
【0079】
TV200は、ディスプレイ装置の一種として、カメラ100などの撮影装置から受信された3D映像又はカメラ100によって撮影されて放送局で編集/加工された後、放送局で送出された3D映像を受信し、受信された3D映像を処理した後にそれを画面に表示する。特に、TV200は3D映像のフォーマットを参照し、左眼映像と右眼映像を加工し、加工された左眼映像と右眼映像とが時分割されて交互にディスプレイされるようにする。
【0080】
更に、TV200は左眼映像と右眼映像とが時分割されてディスプレイされるタイミングと同期された同期信号を生成してシャッターグラス300に伝達する。
このようなTV200の具体的な構成についての説明のために、
図3を参照する。
図3は、本発明の一実施例に係るTV200のブロック図を示した図である。
【0081】
図3に示されたように、本実施例に係るTV200は、映像受信部210、映像処理部220、映像出力部230、制御部240、GUI(Graphic User Interface)生成部250、保存部260、操作部270及びIR伝送部280を備える。
【0082】
映像受信部210は、放送局又は衛星から有線又は無線で受信される放送を受信して復調する。なお、映像受信部210には、カメラ100などの外部機器に接続されて外部機器から3D映像が入力される。外部機器は無線で接続されたりS−Video、コンポーネント、コンポジット、D−Sub、DVI、HDMIなどのインターフェースを介して有線で接続されることができる。
【0083】
上述したように、3D映像は少なくとも一つフレームで構成された映像として、一つの映像フレームに左眼映像と右眼映像とが含まれたり、各フレームが左眼映像又は右眼映像で構成された映像を意味する。即ち、3D映像は、上述の
図2による複数のフォーマットのうちの一つによって生成された映像である。
【0084】
従って、映像受信部210に受信される3D映像は多様なフォーマットによることができ、特に、一般的なフレームシーケンス方式、トップ&ボトム方式、サイドバイサイド方式、水平インターリーブ方式、垂直インターリーブ方式及びチェッカーボード方式のうちの一つによるフォーマットでなされることができる。
【0085】
映像受信部210は、受信された3D映像を映像処理部220に伝達する。
映像処理部220は、映像受信部210に受信された3D映像に対してビデオデコーディング、フォーマット分析、ビデオスケーリングなどの信号処理及びGUI付加などの作業を行う。
【0086】
特に、映像処理部220は、映像受信部210に入力された3D映像のフォーマットを用いて、一つの画面の大きさ(1920*1080)に該当する左眼映像と右眼映像とを生成する。
【0087】
即ち、3D映像のフォーマットが、トップ&ボトム方式、サイドバイサイド方式、水平インターリーブ方式、垂直インターリーブ方式又はチェッカーボード方式によるフォーマットである場合、映像処理部220は各映像フレームで左眼映像部分と右眼映像部分をそれぞれ抽出し、抽出された左眼映像と右眼映像とを拡大スケーリング又は補間することで、ユーザに提供するための左眼映像と右眼映像とをそれぞれ生成するようになる。
【0088】
なお、3D映像のフォーマットが一般的なフレームシーケンス方式である場合、映像処理部220は各フレームから左眼映像又は右眼映像を抽出してユーザに提供するための準備をする。
【0089】
3D映像のフォーマットによる左眼映像及び右眼映像の生成過程については、後述する。
一方、入力された3D映像のフォーマットに対する情報は、3D映像信号に含まれていることも、含まれていないこともありうる。
【0090】
例えば、入力された3D映像のフォーマットに対する情報が、3D映像信号に含まれている場合、映像処理部220は3D映像を分析してフォーマットに対する情報を抽出し、抽出された情報によって受信された3D映像を処理するようになる。一方、入力された3D映像のフォーマットに対する情報が3D映像信号に含まれていない場合、映像処理部220はユーザにより入力されたフォーマットに従って受信された3D映像を処理したり、予め設定されたフォーマットに従って受信された3D映像を処理するようになる。
【0091】
更に、映像処理部220は後述のGUI生成部250から受信されたGUIが左眼映像、右眼映像、又は両方共に付加されるようにする。
映像処理部220は抽出された左眼映像と右眼映像とを時分割して交互に映像出力部230に伝達する。即ち、映像処理部220は「左眼映像(L1)→右眼映像(R1)→左眼映像(L2)→右眼映像(R2)→…」の時間的順番で左眼映像と右眼映像を映像出力部230に伝達する。
【0092】
映像出力部230は、映像処理部220から出力される左眼映像と右眼映像とを交互に出力してユーザに提供する。
【0093】
GUI生成部250は、ディスプレイに表示されるGUIを生成する。GUI生成部250で生成されたGUIは映像処理部220に印加され、ディスプレイに表示される左眼映像、右眼映像、又は両方共に付加されるようになる。
【0094】
保存部260は、TV200を動作させるために必要な各種プログラムなどが保存される保存媒体として、メモリー、HDD(Hard Disk Drive)などで実現可能である。
【0095】
操作部270にはユーザの操作が入力される。具体的に、操作部270はリモコン290などの操作手段から受信されるユーザ命令をユーザ命令受信部275を介して受信する。なお、操作部270には、TV200に配置されたボタン(図示せず)を介してユーザの操作が入力されることができることは言うまでもない。そして、操作部270は、受信されたユーザの操作を制御部240に伝達する。
【0096】
IR伝送部280は、交互に出力される左眼映像及び右眼映像と同期された同期信号を生成し、生成された同期信号を赤外線の形でシャッターグラス300に伝送する。これは、シャッターグラス300が交互に開閉され、シャッターグラス300の左眼のオープンタイミングで映像出力部230で左眼映像が表示され、シャッターグラス300の右眼のオープンタイミングで映像出力部230で右眼映像が表示されるようにするためである。
【0097】
制御部240は、操作部270から伝達されたユーザの操作に従ってTV200の全般の動作を制御する。
特に、制御部240は映像受信部210及び映像処理部220を制御し、3D映像が受信され、受信された3D映像が左眼映像と右眼映像とに分離され、分離された左眼映像と右眼映像とのそれぞれが、一つの画面でディスプレイされることのできる大きさでスケーリング又は補間されるようにする。
【0098】
なお、制御部240はGUI生成部250を制御して、操作部270から伝達されたユーザの操作に対応されるGUIが生成されるようにし、IR伝送部280を制御して、左眼映像及び右眼映像の出力タイミングと同期された同期信号が生成及び伝送されるようにする。
【0099】
一方、シャッターグラス300はTV200から受信された同期信号に従って左眼映像と右眼映像とを交互に開閉し、ユーザが左眼と右眼を通して左眼映像及び右眼映像をそれぞれ視聴できるようにする。以下では、
図4を参照しながら、シャッターグラス300の具体的な構成について説明する。
【0100】
図4は、本発明の一実施例に係るシャッターグラス300のブロック図を示した図である。
図4に示されたように、シャッターグラス300は、IR受信部310、制御部320、グラス駆動部330及びグラス部340を備える。
【0101】
IR受信部310は、有線又は無線で接続されたTV200のIR伝送部280から3D映像に対する同期信号を受信する。特に、IR伝送部280は直進性を持つ赤外線を用いて同期信号を放射し、IR受信部310は放射された赤外線から同期信号を受信する。
【0102】
例えば、IR伝送部280からIR受信部310に伝達される同期信号は、予め設定された時間間隔でハイレベル(high level)とローレベル(low level)とが交互になった信号でも良く、ハイレベルである時間では左眼映像が伝送され、ローレベルである時間では右眼映像が伝送されるように実現することができる。
【0103】
IR受信部310は、IR伝送部280から受信された同期信号を制御部320に伝達する。
制御部320はシャッターグラス300の全般に対する動作を制御する。特に、制御部320は、IR受信部310で受信された同期信号に基づいて制御信号を生成し、生成された制御信号をグラス駆動部330に伝達してグラス駆動部330を制御する。特に、制御部320は同期信号に基づいて、グラス部340を駆動させるための駆動信号がグラス駆動部330で生成されるようにグラス駆動部330を制御する。
【0104】
グラス駆動部330は、制御部320から受信された制御信号に基づいて駆動信号を生成する。特に、後述のグラス部340は、左眼グラス350及び右眼グラス360で構成されているため、グラス駆動部330は左眼グラス350を駆動させるための左眼駆動信号と、右眼グラス360を駆動させるための右眼駆動信号とをそれぞれ生成し、生成された左眼駆動信号を左眼グラス350に伝達して右眼駆動信号を右眼グラス360に伝達する。
【0105】
グラス部340は上述のように、左眼グラス350及び右眼グラス360で構成され、グラス駆動部330から受信された駆動信号に従ってそれぞれのクラスを開閉する。
【0106】
<3D映像の処理過程>
以下では、
図5A乃至
図5Cを参照しながら、3D映像のフォーマットに従って3D映像を処理して左眼映像及び右眼映像を生成する過程について説明する。
【0107】
図5A乃至
図5Cは、3D映像のフォーマットによる処理方法を説明するための図である。まず、
図5Aは、一般的なフレームシーケンス方式によって3D映像が受信された場合、それを画面に表示する方法を示している。
【0108】
図5Aに示されたように、フレームシーケンス方式による3D映像のフォーマットは、一つのフレームに一つの左眼映像又は一つの右眼映像が挿入されたフォーマットである。
従って、3D映像は、「左眼カメラによって撮影された左眼映像L1が含まれたフレーム→右眼カメラによって撮影された右眼映像R1が含まれたフレーム→左眼カメラによって撮影された左眼映像L2が含まれたフレーム→右眼カメラによって撮影された右眼映像R2が含まれたフレーム→…」の順番で入力され、入力された順番で画面に表示されるようになる。
【0109】
図5Bはサイドバイサイド方式によって3D映像が受信された場合、それを画面に表示する方法を示している。
【0110】
図5Bに示されたように、サイドバイサイド方式による3D映像のフォーマットは、一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、サイドバイサイド方式による3D映像のフォーマットは、左眼映像と右眼映像とが左右に分けられ、左眼映像が左側に設けられ右眼映像が右側に設けられたフォーマットになる。
【0111】
このようなフォーマットによる場合、TV200は受信された3D映像の各フレームを、左右に二等分して左眼映像と右眼映像とに分離し、分離された左眼映像と右眼映像とを左右に2倍拡大スケーリングして交互に画面にディスプレイする。
【0112】
従って、3D映像は、「第1フレームに含まれた映像中の左側部分(L1)を2倍拡大した左眼映像→第1フレームに含まれた映像中の右側部分(R1)を2倍拡大した右眼映像→第2フレームに含まれた映像中の左側部分(L2)を2倍拡大した左眼映像→第2フレームに含まれた映像中の右側部分(R2)を2倍拡大した右眼映像…」の順番で画面に表示されるようになる。
【0113】
一方、以上ではサイドバイサイド方式による3D映像のフォーマットを処理する過程について例を挙げて説明したが、トップ&ボトム方式による3D映像のフォーマットに対する処理過程も、そこから類推可能であることは言うまでもない。即ち、トップ&ボトム方式による3D映像のフォーマットについては、左右拡大スケーリングでない上下拡大スケーリングを適用して左眼映像と右眼映像とにそれぞれ分離し、分離された左眼映像と右眼映像を交互に出力し、3D映像をユーザに提供することができる。
【0114】
図5Cは、水平インターリーブ方式で3D映像が受信された場合、それを画面に表示する方法を示している。
図5Cに示されたように、水平インターリーブ方式による3D映像のフォーマットは、一つのフレームに左眼映像と右眼映像とが両方含まれたフォーマットになる。特に、水平インターリーブ方式による3D映像のフォーマットは、左眼映像と右眼映像とが行単位で交互に配置されたフォーマットになる。
【0115】
このようなフォーマットによる場合、TV200は受信された3D映像の各フレームを奇数行別及び偶数行別に分け、左眼映像と右眼映像とに分離し、分離された左眼映像と右眼映像とを上下に2倍拡大スケーリングして交互に画面にディスプレイするようになる。
【0116】
従って、3D映像は、「第1フレームに含まれた映像中の左側部分(L1−1、L1−2)をそれぞれ2倍拡大した左眼映像→第1フレームに含まれた映像中の右側部分(R1−1、R1−2)をそれぞれ2倍拡大した右眼映像→第2フレームに含まれた映像中の左側部分(L2−1、L2−2)をそれぞれ2倍拡大した左眼映像→第2フレームに含まれた映像中の右側部分(R2−1、R2−2)をそれぞれ2倍拡大した右眼映像→…」の順番で画面に表示されるようになる。
【0117】
無論、水平インターリーブ方式による3D映像のフォーマットに対しては、上述の拡大スケーリング方式を使わずに、一つのフレームに含まれた映像中の奇数行の部分を用いて偶数行の部分を補間して左眼映像を生成し、偶数行の部分を用いて奇数行の部分を補間して右眼映像を生成する方式を使うこともできる。
【0118】
それだけでなく、拡大スケーリング方式や補間方式を使わずに、奇数行のみに対して映像を出力して左眼映像を生成し、偶数行のみに対して映像を出力して右眼映像を生成する方式でも実現可能である。
【0119】
一方、以上では、水平インターリーブ方式による3D映像のフォーマットを処理する過程について例を挙げて説明したが、垂直インターリーブ方式やチェッカーボード方式による3D映像のフォーマットに対する処理過程も、そこから類推可能であることは言うまでもない。
【0120】
即ち、垂直インターリーブ方式による3D映像のフォーマットに対しては、行別スケーリングや補間でない、列別スケーリングや補間を適用して左眼映像と右眼映像とにそれぞれ分離し、分離された左眼映像と右眼映像を交互に出力し、3D映像をユーザに提供することができる。
【0121】
なお、チェッカーボード方式による3D映像のフォーマットに対しては、ピクセル別スケーリングや補間又はピクセル群別スケーリングや補間を用いることができる。
【0122】
<3Dモード及び2Dモードを行う過程による3D映像の提供方法>
以下では、
図3、
図6乃至
図9Bを参照しながら、3Dモード及び2Dモードを行う過程について説明する。まず、
図3を参照しながら、本実施例に係るTV200の構成の動作を詳細に説明する。
【0123】
TV200は、ディスプレイモードを2Dモード及び3Dモードで動作することができる。ここで2Dモードとは、2次元映像をディスプレイするためのモードである。TV200が2Dモードで動作する場合、TV200の映像処理部220は入力される映像を一般的な映像処理過程のみを行って映像出力部230に出力するようになる。
【0124】
3D映像は3次元映像をディスプレイするためのモードである。TV200が3Dモードで動作する場合、TV200の映像処理部220は入力される映像を
図5A乃至
図5Cに示されたように処理し、左眼映像及び右眼映像を生成するようになる。この場合、映像処理部220は多様な種類の3次元映像のフォーマットのうちのいずれか一つを適用して左眼映像及び右眼映像を生成するようになる。そして、映像処理部220は左眼映像と右眼映像とを交互に映像出力部230に出力するようになる。このように、3Dモードである場合、TV200は3次元映像が実現されるように入力された映像をディスプレイするようになる。
【0125】
TV200の制御部240は、2Dモードの状態で操作部270を介して特定操作が入力されると、入力される映像が2D映像か又は3D映像かを検出する。ここで、特定操作はディスプレイモードを2Dモードと3Dモードのうちのいずれか一つに切り替えるための操作である。即ち、現在のディスプレイモードが2Dモードの状態である場合、特定操作はディスプレイモードを3Dモードに切り替えるための操作になる。そして、現在のディスプレイモードが3Dモードの状態である場合、特定操作はディスプレイモードを2Dモードに切り替えるための操作になる。
【0126】
具体的に、特定操作はTV200を制御するリモコン290の特定ボタン(例えば、ディスプレイモード切替ボタン)を押す操作になることもできる。なお、特定操作は、TV200に配置された特定ボタン(例えば、ディスプレイモード切替ボタン)を押す操作になることもできる。そして、特定操作は画面に表示されたメニューで特定項目(例えば、ディスプレイモード切替項目)を選択する操作になることもできる。
【0127】
制御部240は入力される映像のヘッダ情報を用いて入力される映像が2D映像か又は3D映像かを検出することができる。例えば、入力される映像のヘッダ情報に入力される映像が2D映像か又は3D映像かに対するタグが含まれていることもできる。
【0128】
なお、制御部240は入力される映像の上下左右領域を相互に比較して、領域毎に類似した映像が存在するか否かを判断して入力される映像が2D映像か又は3D映像かを検出することもできる。例えば、入力される映像がトップ&ボトム方式の3D映像である場合、制御部240は入力される映像の上領域と下領域を比較して、上領域と下領域とが相互に類似しているため、入力された映像が3次元映像であるものとして検出するようになる。このように、制御部240は入力される映像が2次元映像か又は3次元映像かを検出できるようになる。
【0129】
そして、制御部240は入力される映像が3D映像である場合、ディスプレイモードを3Dモードに切り替え、3D映像がディスプレイされるように制御する。即ち、制御部240は入力された3D映像が
図5A乃至
図5Cに示された処理過程を経て、左眼映像及び右眼映像でディスプレイされるように制御する。
【0130】
なお、制御部240は入力される映像が2D映像である場合、入力される2D映像を3D映像に変換する。制御部240は2D映像を二つに複製して立体感が表現されるように処理して左眼映像と右眼映像とを生成することで、3D映像に変換するようになる。なお、制御部240は、その他にも多様な方式を用いて入力された2D映像に基づいて、2D映像を左眼映像と右眼映像とを含む3D映像に変換するようになる。この時、制御部240は2D映像をTV200が支援可能なフォーマットの3D映像に変換する。
【0131】
そして、制御部240はディスプレイモードを3Dモードに切り替えて変換された3D映像がディスプレイされるように制御する。
【0132】
なお、制御部240は3Dモードの状態で操作部270を介して特定操作が再び入力されると、ディスプレイモードを2Dモードに切り替える。即ち、特定操作は3Dモードと2Dモードとを相互に切り替えるトグル機能を行うということが分かる。
【0133】
このように、TV200は一つの特定操作を通して、入力される映像が2D映像か3D映像かに関係なく、入力される映像を3Dモードでディスプレイすることができるようになる。従って、ユーザは入力される映像の種類が2D映像か3D映像かを知る必要がなく、一つの特定操作を入力して3Dモードを実行させて3D映像を視聴できるようになる。
【0134】
図6は、本発明の一実施例に係る3D映像の提供方法に関して説明するために提供されるフローチャートである。
【0135】
まず、TV200は2Dモードを行い(S610)、TV200に映像が入力される(S620)。そうすると、TV200は2Dモードで入力される映像をディスプレイするようになる。
【0136】
この状態で、TV200は特定操作が入力されるか否かを検出する(S630)。特定操作が入力されると(S630−Y)、TV200は入力映像の種類を検出するようになる(S640)。即ち、TV200は入力される映像が2D映像か又は3D映像かを検出する。ここで、特定操作はディスプレイモードを2Dモードと3Dモードのうちのいずれか一つに切り替えるための操作である。即ち、現在のディスプレイモードが2Dモードの状態である場合、特定操作はディスプレイモードを3Dモードに切り替えるための操作になる。そして、現在のディスプレイモードが3Dモードの状態である場合、特定操作はディスプレイモードを2Dモードに切り替えるための操作になる。
【0137】
具体的に、特定操作はTV200を制御するリモコン290の特定ボタン(例えば、ディスプレイモード切替ボタン)を押す操作になることもできる。なお、特定操作は、TV200に配置された特定ボタン(例えば、ディスプレイモード切替ボタン)を押す操作になることもできる。そして、特定操作は画面に表示されたメニューで特定項目(例えば、ディスプレイモード切替項目)を選択する操作になることもできる。
【0138】
TV200は入力される映像のヘッダ情報を用いて入力される映像が2D映像か又は3D映像かを検出することができる。例えば、入力される映像のヘッダ情報に入力される映像が2D映像か又は3D映像かに対するタグが含まれていることもできる。
【0139】
なお、TV200は入力される映像の上下左右領域を相互に比較して、領域毎に類似した映像が存在するか否かを判断して入力される映像が2D映像か又は3D映像かを検出することもできる。例えば、入力される映像がトップ&ボトム方式の3D映像である場合、TV200は入力される映像の上領域と下領域を比較して、上領域と下領域とが相互に類似しているため、入力された映像が3次元映像であるものとして検出するようになる。このように、TV200は入力される映像が2次元映像か又は3次元映像かを検出できるようになる。
【0140】
入力される映像が3D映像である場合(S650−Y)、TV200はディスプレイモードを3Dモードに切り替えるようになる(S660)。
【0141】
一方、入力される映像が2D映像である場合(S650−N)、TV200は入力される2D映像を3D映像に変換する(S655)。例えば、TV200は2D映像を二つに複製して立体感が表現されるように処理して左眼映像と右眼映像とを生成することで、3D映像に変換するようになる。なお、TV200は、その他にも多様な方式を用いて入力された2D映像に基づいて、2D映像を左眼映像と右眼映像とを含む3D映像に変換するようになる。この時、TV200は2D映像を支援可能なフォーマットの3D映像に変換する。
【0142】
そして、TV200はディスプレイモードを3Dモードに切り替え(S660)、変換された映像を3Dモードでディスプレイするようになる(S670)。即ち、TV200は入力された3D映像を
図5A乃至
図5Cに示された処理過程を経て、左眼映像及び右眼映像でディスプレイするようになる。
【0143】
その後に、TV200は3Dモードの状態で操作部270を介して特定操作が再び入力されるか否かを検出する(S680)。もし、特定操作が入力されない場合(S680−N)、TV200は引き続き3Dモードで入力された映像をディスプレイするようになる(S670)。
【0144】
一方、特定操作が入力された場合(S680−Y)、TV200はディスプレイモードを2Dモードに切り替える(S690)。即ち、特定操作は3Dモードと2Dモードとを相互に切り替えるトグル機能を行うということが分かる。そして、TV200は2Dモードで入力される映像をディスプレイするようになる(S695)。
【0145】
このように、TV200は一つの特定操作を通して、入力される映像が2D映像か3D映像かに関係なく、入力される映像を3Dモードでディスプレイすることができるようになる。従って、ユーザは入力される映像の種類が2D映像か3D映像かを知る必要がなく、一つの特定操作を入力して3Dモードを実行させて3D映像を視聴できるようになる。
【0146】
図7は、本発明の一実施例に係る3D映像及び2D映像が入力され、画面に3Dモードで表示される過程を示した図である。
図7に示されたように、TV200は入力される映像が3D映像である場合、特定操作が入力されると3Dモードに切り替えられ、入力された3D映像が3Dモードでディスプレイされることが確認できる。なお、TV200は入力される映像が2D映像である場合でも、同一の特定操作が入力されると3Dモードに切り替えられ、入力された2D映像が3Dモードでディスプレイされることが確認できる。
【0147】
従来では、入力される映像が2D映像である場合と3D映像である場合とは、3Dモードに切り替えるための操作が相違しているため、ユーザは入力される映像が2D映像か3D映像かを認識したうえで、それに合った操作を入力しなければならなかった。ところが、本実施例によると、入力される映像が2D映像である場合と3D映像である場合の両方が、一つの特定操作で3Dモードを実行させることができるようになるため、ユーザは入力される映像が2D映像か3D映像かを確認することなく3Dモードを実行させることができるようになる。
【0148】
図8A及び
図8Bは、本発明の一実施例に係る入力された3D映像が、2Dモード及び3Dモードで表示されるように操作する過程を示した図である。
図8Aは、入力される映像が3D映像800で、TV200のディスプレイモードは2Dモードである場合を示している。
図8Aに示されたように、2Dモードで3D映像800が入力されると、TV200は3D映像を3Dの実現過程を経ずに、そのまま画面に表示するようになる。従って、トップ&ボトム方式の3D映像800がそのまま画面に表示されることが確認できる。
【0149】
この状態で、ユーザがリモコン290のディスプレイモード切替ボタン295を押すと、TV200はディスプレイモードを3Dモードに切り替えるようになる。この時、TV200は入力される映像が3D映像であることを検出して別途の変換過程を経ずに、3Dモードで入力される3D映像800をディスプレイするようになる。
【0150】
図8Bは入力される映像が3D映像800で、TV200のディスプレイモードが3Dモードである場合を示している。
図8Bに示されたように、3D映像800が入力されると、TV200は3Dモードで3D映像800をディスプレイするようになる。
【0151】
この状態で、ユーザがリモコン290のディスプレイモード切替ボタン295を押すと、TV200はディスプレイモードを再び2Dモードに切り替えるようになる。即ち、ディスプレイモード切替ボタン295は、2Dモードと3Dモードとをトグルする機能のボタンであることが分かる。
【0152】
このように、3次元映像800が入力される場合、ディスプレイモード切替ボタン295を用いてディスプレイモードを2Dモードと3Dモードとに切り替えることができるようになる。
【0153】
図9A及び
図9Bは、本発明の一実施例に係る入力された2D映像900が、2Dモード及び3Dモードで表示されるように操作する過程を示した図である。
【0154】
図9Aは、入力される映像が2D映像900で、TV200のディスプレイモードは2Dモードである場合を示している。
図9Aに示されたように、2Dモードで2D映像900が入力されると、TV200は2D映像900を、そのまま画面に表示するようになる。従って、2D映像900がそのまま画面に表示されることが確認できる。
【0155】
この状態で、ユーザがリモコン290のディスプレイモード切替ボタン295を押すと、TV200はディスプレイモードを3Dモードに切り替えるようになる。この時、
図9Bに示されたように、TV200は入力される映像が2D映像900であることを検出し、入力される2D映像900を3D映像910に変換するようになる。
図9Bに示されたように、TV200は入力される2D映像900をトップ&ボトムのフォーマットの3D映像910に変換されたことが確認できる。
【0156】
そして、
図9Bに示されたように、変換された3D映像910を3Dモードでディスプレイするようになる。
【0157】
この状態で、ユーザがリモコン290のディスプレイモード切替ボタン295を押すと、TV200はディスプレイモードを再び2Dモードに切り替えるようになる。即ち、ディスプレイモード切替ボタン295は、2Dモードと3Dモードとをトグルする機能のボタンであることが分かる。
【0158】
このように、2D映像900が入力される場合にも、同一のボタンであるディスプレイモード切替ボタン295を用いてディスプレイモードを2Dモードと3Dモードとに切り替えることができるようになる。
【0159】
このように、TV200は一つのディスプレイモード切替ボタン295を介して、入力される映像が2D映像か3D映像かに関係なく、入力される映像を3Dモードでディスプレイできるようになる。従って、ユーザは入力される映像の種類が2D映像か3D映像かを認識することなく、一つのディスプレイモード切替ボタン295を押して3Dモードを実行させて3D映像を視聴することができるようになる。
【0160】
一方、本実施例では、リモコン290に配置されたディスプレイモード切替ボタン295を操作して3Dモードを実行させるものとして説明したが、これは一実施例に過ぎず、3Dモードに切り替える操作なら、如何なるものでも可能であることは言うまでもない。
例えば、特定操作はTV200に配置された特定ボタンを押す操作でも良く、TV200に表示されたメニューの特定項目を選択する操作でも良い。
【0161】
一方、本実施例で、ディスプレイ装置はTVであるとして説明したが、これは一実施例に過ぎず、3次元映像をディスプレイできる機器なら、如何なるものでも可能であることは言うまでもない。例えば、ディスプレイ装置は3次元モニター、3次元映像プロジェクターなどでも良いことは言うまでもない。
【0162】
<自動でフォーマットを判断して3D映像を提供する方法>
以下では、
図10乃至
図13を参照しながら、自動でフォーマットを判断して3D映像を提供する方法について説明する。
【0163】
図10は、本発明の一実施例に係る3DTV1000の詳細な構成を示したブロック図である。
図10に示されたように、3DTV1000は放送受信部1010、映像入力部1020、A/V処理部1030、音声出力部1040、映像出力部1050、制御部1060、保存部1070、操作部1080、3Dメガネ1090、メガネ信号送受信部1095を含む。
【0164】
放送受信部1010は、放送局又は衛星から有線又は無線で放送を受信して復調する。なお、放送受信部1010は、3D映像データを含む3D映像信号を受信する。
【0165】
映像入力部1020は、外部機器に接続されて映像が入力される。特に、映像入力部1020には3D映像データを外部機器から入力されることができる。映像入力部1020は一例として、S−Video、コンポーネント、コンポジット、D−Sub、DVI、HDMIなどをインターフェースすることができる。
【0166】
ここで3D映像データとは、3D映像の情報を含めているデータのことを意味する。3D映像データは一つのデータフレーム領域に左眼映像データと右眼映像データとを含めている。そして、左眼映像データと右眼映像データとを含む形態に応じて、3D映像データの種類が分類される。
【0167】
A/V処理部1030は放送受信部1010及び映像入力部1020で入力される映像信号及び音声信号に対してビデオデコーディング、ビデオスケーリング、オーディオデコーディングなどの信号処理及びGUI生成を行う。
【0168】
一方、入力された映像及び音声信号を保存部1070に保存する場合、A/V処理部1030は入力された音声と映像とを圧縮した形で保存するために入力された映像と音声を圧縮するようになる。
【0169】
図10に示されたように、A/V処理部1030は音声処理部1032、映像処理部1034、3D映像実現部1036及びGUI生成部1038を含む。
【0170】
音声処理部1032は、入力された音声信号に対してオーディオデコーディングなどの信号処理を行う。そして、音声処理部1032は処理された音声信号を音声出力部1040に出力する。
【0171】
映像処理部1034は、入力された映像信号に対してビデオデコーディング及びビデオスケーリングなどの信号処理を行う。そして、映像処理部1034は3D映像データが入力された場合、入力された3D映像データを3D映像実現部1036に出力する。
【0172】
3D映像実現部1036は、入力された3D映像データを用いて一つの画面の大きさで補間された左眼映像及び右眼映像を生成する。即ち、3D映像実現部1036は3D立体映像を実現するため、画面にディスプレイされる左眼映像と右眼映像とを生成するようになる。
【0173】
具体的に、3D映像実現部1036は入力された3D映像データから左眼映像データと右眼映像データとを分離する。一つのフレームデータに左眼映像データと右眼映像データとが共に含まれているため、分離された左眼映像データと右眼映像データとは、それぞれ全体画面の大きさの半分に該当される映像データを持つようになる。従って、3D映像実現部1036は、分離された左眼映像データと右眼映像データとを2倍に拡大した補間し、一つの画面の大きさを持つ画面に表示される左眼映像と右眼映像とを生成する。そして、3D映像実現部1036は、生成された左眼映像と右眼映像とが交互に表示されるように映像出力部1050に出力する。
【0174】
GUI(Graphic User Interface)生成部1038は、3DTV1000の環境設定のためのGUIを生成することができる。生成されたGUIには、3Dモードか2Dモードかを表示するアイコン、3Dモードと2Dモードの切替アイコン及び入力された3D映像のデータ情報などを含むことができる。
【0175】
具体的に、GUI生成部1038は、入力された3D映像のディスプレイ設定に関するメニューと現在ディスプレイされている3D映像に関する情報などが含まれたGUIを生成する。3D映像のディスプレイ設定に関するメニューは、入力された3D映像を3Dモードでディスプレイするか、2Dモードでディスプレイするかに関する設定及び入力された3D映像のフォーマットの設定などに関するメニューを含む。ここで、3Dモードとは、左眼映像及び右眼映像を含む3D映像を当該フォーマットに合うように左眼映像及び右眼映像を交互にディスプレイして立体感のある映像を提供するモードのことをいう。2Dモードとは、立体感のない2D映像でディスプレイされるように、立体感のない映像を提供するモードのことをいう。
【0176】
音声出力部1040はA/V処理部1030から伝送された音声をスピーカーなどで出力する。
【0177】
映像出力部1050はA/V処理部1030から伝送された映像を画面にディスプレイされるように出力する。特に、3D映像の場合、映像出力部1050は左眼映像及び右眼映像を交互に出力する。
【0178】
保存部1070は放送受信部1010又は映像入力部1020から受信された映像を保存する。保存部1070はハードディスク、非揮発性メモリーなどで実現されることができる。
【0179】
操作部1080はユーザの操作が入力されて制御部1060に伝送する。操作部1080はリモコン、ポインティングデバイス、タッチパッド及びタッチスクリーンなどで実現されることができる。
【0180】
メガネ信号送受信部1095は、3Dメガネ1090の左眼グラスと右眼グラスとを交互にオープンするためのクロック信号を送信する。そして、3Dメガネ1090は受信されたクロック信号に従って、左眼グラスと右眼グラスとを交互にオープンするようになる。なお、メガネ信号送受信部1095は3Dメガネ1090から状態の情報などを受信する。
【0181】
制御部1060は操作部1080から伝達されるユーザの操作内容に基づいてユーザ命令を把握し、把握したユーザ命令に従ってTVの全般の動作を制御する。
【0182】
なお、制御部1060は映像入力部1020を介して3D映像が入力されると、入力された3D映像を3DモードでディスプレイできるようにA/V処理部を制御する。入力された3D映像のディスプレイモードに関しては、3D映像が入力される場合、自動で3Dモードでディスプレイする場合のみならず、操作部1080を介して入力されたユーザの操作によることもできる。
【0183】
なお、3D映像のフォーマットに関して、制御部1060は操作部1080から伝達されたユーザの操作に従って3D映像のフォーマットを決定して3D映像がディスプレイされるように制御する。無論、3D映像のフォーマットの決定も自動で行われることができるだけでなく、操作部1080を介して入力されたユーザの操作によって行われることもできる。
【0184】
なお、制御部1060は入力された3D映像が2D映像でディスプレイされるようにA/V処理部1030を制御する。同様に、A/V処理部1030の制御は、自動で行われることができるだけでなく、操作部1080を介したユーザの操作によって行われることもできる。
【0185】
以下では、
図11を参照しながら、本発明の一実施例に係る3D映像の提供方法について詳細に説明する。
【0186】
図11は本発明の一実施例に係る3D映像の提供方法を説明するためのフローチャートである。
【0187】
まず、3DTV1000は3D映像が入力されたか否かを判断する(S1110)。3D映像が未入力である場合(S1110−N)には、3DTV1000は3D映像が入力されるまで待つ。
【0188】
3D映像が入力された場合(S1110−Y)、入力された3D映像が3Dモードでディスプレイされるように、3Dモードに切り替え、入力された3D映像のフォーマットを判断する(S1120)。ここで3Dモードとは、左眼映像及び右眼映像とを含む3D映像を当該フォーマットに合わせて、左眼映像及び右眼映像を交互にディスプレイして立体感のある映像を提供できるモードのことをいう。
【0189】
続いて、3DTV1000は判断されたフォーマットに従って3D映像の左眼映像及び右眼映像を生成し(S1130)、映像出力部1050を介して生成された左眼映像及び右眼映像を交互に出力する(S1140)。これで、3DTV1000はユーザに立体感のある映像を提供するようになる。
【0190】
以下、
図12を参照しながら、本発明の一実施例に係る3D映像から2D映像への変換過程を説明する。
【0191】
左眼映像及び右眼映像を含む3D映像は、左眼映像と右眼映像とを交互に出力することで、ユーザに立体感のある映像を提供する。このように3D映像が出力される途中(S1210)に、2D映像に変換せよという命令が入力されると(S1220−Y)、3DTV1000は出力される左眼映像及び右眼映像のうちの一つの映像のみを出力する(S1230)。その結果、ユーザは左眼映像及び右眼映像のうち、出力されている一つの映像のみを左眼及び右眼で認識するようになるため、立体感のない2D映像で視聴することが可能となる。
【0192】
無論、2D映像への変換命令が入力されていない(S1220−N)には、現在の状態そのままで3D映像を出力するようになる。
【0193】
本実施例を説明するうえで、入力された3D映像を2D映像で入力する方法において、左眼映像又は右眼映像のうちの一つのみを出力するものとして想定して説明したが、必ずしもそれに限られたものではなく、他の実施例においては左眼映像及び右眼映像を一致させてディスプレイしたり、出力される映像の領域を分けて左眼映像及び右眼映像に含めて交互にディスプレイすることで2D映像を実現することもできるだろう。
【0194】
なお、本実施例において、2D映像への変換は、操作部1080を介したユーザの命令によることもでき、3Dメガネ1090の操作又は状態によることもできる。例えば、3Dメガネ1090を外した場合には、2D映像への変換が自動で行われるように設定されていることができる。しかし別の実施例においては、それに限らない。
【0195】
以下では、
図13を参照にしながら、本発明の別の実施例に係る3D映像の提供方法について説明する。
【0196】
図13は、入力された3D映像を2D映像でディスプレイするための方法を説明するための図である。
【0197】
上述のように、3D映像データは左眼映像及び右眼映像で構成され、左眼映像及び右眼映像が含まれる形態に応じて、サイドバイサイド方式、トップ&ボトム方式、2D+DEPTH方式、水平インターリーブ(interleave)方式、垂直インターリーブ方式及びチェッカーボード方式になり得る。本実施例を説明するうえで説明の便宜上、トップ&ボトム方式に限って説明する。
入力された3D映像は左眼映像及び右眼映像で構成されており、フレームの上側には左眼映像、そしてフレームの下側には右眼映像が含まれている(1310)。無論、フレームの上側には右眼映像、そしてフレームの下側には左眼映像が含まれていることができる。
【0198】
3D映像が入力されると、当該フォーマットが決定されて自動で3Dモードでディスプレイする(1320)。ディスプレイウィンドウには、現在ディスプレイされる映像が3Dモードか2Dモードかに対する情報が表示される。現在ディスプレイされている映像が3Dモードでディスプレイされている場合には、
図13に示されたように3Dという表示(1325)がディスプレイされる。
【0199】
続いて、ユーザによって当該映像を2D映像に変換せよという命令が入力された場合、3DTV1000は入力された3D映像を2D映像でディスプレイする(1330)。具体的に、3DTV1000は左眼映像又は右眼映像のうちのいずれか一つのみを出力し、入力された3D映像を2D映像でディスプレイするようになる。
【0200】
本実施例を説明するうえで、ディスプレイ情報を3Dモードであるか否かに対する情報に限って説明したが、それに限らず、2D映像に変換するメニューを含めているものでも良い。
【0201】
これまで、
図10乃至
図13を参照しながら、入力された3D映像を自動で3Dモードでディスプレイする方法及び3D映像を2D映像に変換して出力する方法について説明した。本発明の技術的な思想を用いた上述の実施例によると、ユーザがより簡易かつ迅速に3D映像が視聴できるようにするだけでなく、2D映像で視聴するか否かまでもユーザの選択によって提供することができる。
【0202】
<自動でフォーマットを判断して3D映像を提供する方法>
以下では、
図14乃至
図16Bを参照しながら、2D映像モードから3D映像モードへの切替方法について説明する。
【0203】
図14は、本発明の一実施例に係る3DTV1400の詳細な構成を示したブロック図である。
図14に示されたように、3DTV1400は放送受信部1410、映像入力部1420、A/V処理部1430、音声出力部1440、映像出力部1450、制御部1460、保存部1470、操作部1480、3Dメガネ1490、メガネ信号送受信部1495を含む。
【0204】
制御部1460を除く
図14に示された各構成は、
図10に示された構成と同様の役割を果たすため、
図14では制御部1460についてのみ説明する。
制御部1460は、操作部1480から伝達されるユーザの操作内容に基づいてユーザ命令を把握し、把握したユーザ命令に従ってTVの全般の動作を制御する。
【0205】
なお、制御部1460は操作部1480から伝達されたユーザの操作に従って、3D映像のフォーマットが自動で判断されるか否かを設定する。即ち、ユーザが操作部1480を介して入力される3D映像のフォーマットが自動で判断されるものとして設定した場合には、制御部1460は入力される3D映像のフォーマットが自動で判断されるように制御する。ユーザが操作部1480を介して入力される3D映像のフォーマットが自動で判断されないものとして設定された場合には、制御部1460は操作部1480を介して入力される3D映像のフォーマットが選択されるように制御する。
【0206】
なお、入力される3D映像のフォーマットが自動で判断されるものとして設定された場合には、制御部1460は入力される3D映像のフォーマットを分析する。前記分析した結果に基づいて、制御部1460は入力される3D映像のフォーマットに合った3D映像のフォーマットを自動で判断する。なお、制御部1460は映像出力部1450に3D映像フォーマット自動判断メッセージがディスプレイされるように制御する。ここで、3D映像フォーマット自動判断メッセージとは、画面に3D映像が自動で判断されているとの情報を報知するメッセージのことである。
【0207】
なお、入力される3D映像のフォーマットが自動で判断されないものとして設定された場合には、制御部1460は映像出力部1450に3D映像フォーマット手動選択メニューがディスプレイされるように制御する。ここで、3D映像フォーマット手動選択メニューとは、ユーザが3D映像のフォーマットを選択するためのメニューのことをいう。ユーザが操作部1480を介して3D映像フォーマット手動選択メニューから一つのフォーマットを選択した場合には、制御部1460は選択されたフォーマットの3D映像がディスプレイされるように制御する。
【0208】
なお、3D映像のフォーマットの自動判断が設定された状態で、操作部1480を介して3D映像フォーマット手動選択メニューの実行命令が入力された場合、制御部1460は3D映像フォーマット手動選択メニューがディスプレイされるように制御する。自動判断の設定後にも3D映像フォーマット手動選択メニューを実行させる場合は、ユーザが自動判断されたフォーマットの3D映像が正常に映らないため、新たなフォーマットの選択が必要な場合である。
【0209】
以下では、
図15乃至
図16Bを参照しながら、本発明の一実施例に係る3DTV1400における3D映像の変換方法について説明する。
図15は、本発明の一実施例に係る3D映像の変換方法を説明するためのフローチャートである。
【0210】
まず、3DTV1400はユーザの操作に従って入力される3D映像のフォーマットを自動で判断するか否かを設定する(S1510)。そして、3DTV1400には3D映像が入力される(S1520)。
【0211】
3DTV1400はS1510ステップの設定結果に応じて入力される3D映像のフォーマットを自動で判断するか否かについて判断する(S1530)。入力される3D映像のフォーマットを自動で判断するものとして設定されている場合には(S1530−Y)、3DTV1400は3D映像フォーマット自動判断メッセージをディスプレイする(S1540)。
【0212】
そして、3DTV1400は入力される3D映像のフォーマットを自動で判断し、判断されたフォーマットで入力される3D映像をディスプレイする(S1550)。具体的に、3DTV1400は入力される3D映像のフォーマットを分析する。この時、3DTV1400は入力される3D映像に含まれたタグ情報を用いたり、入力される3D映像の左右上下映像を比較して3D映像のフォーマットを分析することができる。分析の結果に基づいて、3D映像実現部1436は入力された3D映像のフォーマットに対応される左眼映像と右眼映像とを生成する。生成された左眼映像と右眼映像とが映像出力部1450を介して交互に出力されることで、3D映像がディスプレイされる。
【0213】
入力される3D映像のフォーマットを自動で判断するものとして設定されていない場合には(S1530−N)、3DTV1400は3D映像のフォーマットを手動で選択するために、3D映像フォーマット手動選択メニューをディスプレイする(S1570)。ユーザの操作に従って、入力される3D映像のフォーマットは手動で選択される(S1580)。選択の結果に基づいて、3D映像実現部1436は入力された3D映像のフォーマットに対応される左眼映像と右眼映像とを生成する。生成された左眼映像と右眼映像とが映像出力部1450を介して交互に出力されることで、3DTV1400に3D映像がディスプレイされる(S1590)。
【0214】
なお、3D映像のフォーマットを自動で判断した場合、3D映像フォーマット手動選択メニューを実行させるか否かを判断する(S1560)。ユーザの操作がないため、3D映像フォーマット手動選択メニューが実行されていない場合(S1560−N)、3DTV1400は3D映像フォーマット手動選択メニューを実行させずに、現在自動判断されたフォーマットの3D映像を引き続きディスプレイする(S1590)。ここで、3D映像フォーマット手動選択メニューが実行されていない場合は、ユーザが自動判断されたフォーマットの3D映像が正常に映るため別途の操作を必要としない場合をいう。
【0215】
しかし、3D映像フォーマットを自動判断した後にも、ユーザの操作を介して3D映像フォーマット手動選択メニューが実行された場合、3DTV1400は3D映像フォーマット手動選択メニューを実行し、再び入力された3D映像のフォーマットを手動で選択する(S1560−Y)。ここで。3D映像フォーマット手動選択メニューは実行された場合は、ユーザが自動判断されたフォーマットの3D映像が正常に映らないため、ユーザが新たなフォーマットの選択を必要とする場合のことをいう。
【0216】
上述の過程を通して、ユーザは入力される3D映像のフォーマットを自動で判断したり手動で選択することができるため、より簡単かつ正確に3D映像のフォーマットを探し当てることができるようになる。
【0217】
以下では、
図16A及び
図16Bを参照しながら、本発明の一実施例に係る3DTV1400における3D映像の変換方法について詳細に説明する。
【0218】
図16Aは、3D映像のフォーマットの自動判断を設定した場合、フォーマットが自動で判断される過程を示した図である。
【0219】
図16Aに示されたように、上下分割方式の3D映像が入力される(1610)。制御部1460はまず入力された3D映像のフォーマットがどのようなフォーマットかを分析する。制御部1460が3D映像のフォーマットを分析している途中、3DTV1400は映像出力部1450を介して自動判断中というメッセージをディスプレイする(1620)。
【0220】
制御部1460が入力された映像が上下分割方式であると分析されると、3D映像実現部1436は上下分割方式の3D映像に対応される左眼映像と右眼映像とを生成する。そして、映像出力部1450は生成された左眼映像と右眼映像とを交互にディスプレイすることで、3D映像を出力する(1630)。
【0221】
図16Bは、3D映像のフォーマットの手動選択を設定した場合、フォーマットが手動で選択される過程を示した図である。
図16Bに示されたように、上下分割方式の3D映像が入力される(1640)。3DTV1400はユーザが入力された3D映像のフォーマットを選択するようにするために、3D映像フォーマット手動選択メニューを生成する(1650)。
【0222】
ユーザの操作により、入力された3D映像のフォーマットが手動で選択されると、3D映像実現部1436はユーザの選択に対応される左眼映像と右眼映像とを生成する。例えば、ユーザが上下分割方式を選択すると、3D映像実現部1436は上下分割方式の3D映像に対応される左眼映像と右眼映像とを生成する。そして、映像出力部1450は生成された左眼映像と右眼映像とを交互にディスプレイすることで、3D映像を出力する(1660)。
【0223】
これにより、3D映像が入力された時、自動で3D映像のフォーマットを判断するか否かに対して設定することができ、ユーザはより簡単かつ正確に、入力される3D映像のフォーマットを探し当てることができるようになる。
【0224】
<3Dモード切替によるGUI提供方法>
以下では、
図17乃至
図20を参照しながら、3Dモード切替によるGUI提供方法を説明する。
【0225】
本実施例に対する3D提供システムは、
図17乃至
図20を参照しながら説明する。
図17は3D映像が受信された場合の画面を示した図である。
3D映像が受信されると、TV200は自動で、受信された3D映像に適用されるべきフォーマットを分析し、分析されたフォーマットに従って3D映像を処理して画面にディスプレイされるようにする。例えば、受信された3D映像がトップ&ボトム方式によるフォーマットで生成されたものなら、TV200は受信された3D映像に付加されたフォーマット情報などを用いて、受信された映像に適用されるべきフォーマットが認識できるようになる。
【0226】
このように、受信された3D映像に適用されるべきフォーマットが認識されると、TV200はこのようなフォーマットを受信された3D映像に適用し、3D映像から左眼映像部分と右眼映像部分を抽出し、抽出された左眼映像部分と右眼映像部分とを上下方向に拡大スケーリングして左眼映像と右眼映像とを生成し、生成された左眼映像と右眼映像とが時分割されて交互にディスプレイされるようにする。
【0227】
図17では時分割されて交互にディスプレイされる3D映像に対するグラフィック的な表現のために、円形の左眼映像と円形の右眼映像とが重なった形となった3Dオブジェクト1710を示した。
【0228】
なお、画面には、3Dオブジェクト1710と共に3D映像に対する各種の設定変更をガイドするためのGUI1720が自動で付加される。
このようなGUI1720は、各種の設定事項の変更のためのアイテムセット1730を含み、アイテムセット1730は、フォーマットの変更操作のためのアイテム、2D映像への変換操作のためのアイテム、3D映像を構成する左眼映像と右眼映像の出力順番の変更のためのアイテム及び3D映像に対する出力状態の変換のためのアイテムで構成される。
【0229】
これにより、ユーザは、フォーマットの変更操作のためのアイテム、2D映像への変換操作のためのアイテム、3D映像を構成する左眼映像と右眼映像の出力順番の変更のためのアイテム及び3D映像に対する出力状態の変換のためのアイテムのうちの一つを選択し、3D映像のフォーマットを変更したり、3D映像を2D方式の映像に変換したり、3D映像の出力順番を変更したり、3D映像の出力状態を変換することができるようになる。
【0230】
フォーマット変更とは、上述のように、フレームシーケンス方式、トップ&ボトム方式、サイドバイサイド方式、水平インターリーブ方式、垂直インターリーブ方式及びチェッカーボード方式のうちの一つによるフォーマットへの変更を意味する。
【0231】
2D方式とは、受信された3D映像が2D形態でディスプレイされるようにする方式を意味する。2D方式によって3D映像がディスプレイされるようにするためには、左眼映像と右眼映像とが時分割された交互にディスプレイされず、左眼映像のみがディスプレイされたり右眼映像のみがディスプレイされるようにする。これにより、立体感のない2D映像がディスプレイされるようになる。
【0232】
出力順番とは、一つの映像フレームに含まれた左眼映像と右眼映像とを、左眼映像→右眼映像の順に出力したり、右眼映像→左眼映像の順に出力することを意味する。
出力状態とは、3DモードがONになった状態で3D映像が出力されている状態か、3DモードがOFFになった状態で3D映像が出力されている状態であるか否かを意味する。
【0233】
3DモードがONの状態になったということは、入力された3D映像に含まれた各映像フレームを、適用されたフォーマットに従って左眼映像部分と右眼映像部分とに分離し、分離された左眼映像部分と右眼映像部分とに対して拡大スケーリングして左眼映像と右眼映像とを生成し、左眼映像と右眼映像とを時分割して交互にディスプレイすることを意味する。
【0234】
一方、3DモードはOFF状態になったということは、入力された3D映像に含まれた各映像フレームを、そのままディスプレイすることを意味する。従って、この場合、3D映像がフレームシーケンス方式でない別の方式によるフォーマットとなった場合には、左眼映像と右眼映像とが同時にディスプレイされるようになる。
【0235】
一方、アイテムセット1730に含まれた各アイテムの周辺には、各アイテムを選択するために必要なボタンに対する情報として、各アイテムに対する選択をガイドするための色相情報が付加される。色相情報は、
図17に示されたように、R、G、Y、Bのテキストで表示されて提供されたり、実際の色相で表示されて提供されることができる。
【0236】
従って、ユーザは、TV200のフロントパネルに設けられたR−ボタン又はリモコン290に設けられたR−ボタンを押し、フォーマット変更のための命令をTV200に伝達できるようになる。フォーマット変更のための命令が受信されると、各種設定をガイドするためのGUI1720は、フォーマット変更のためのGUIに変換されるようになる。
【0237】
更に、ユーザは、TV200のフロントパネルに設けられたリモコン290に設けられたG−ボタンを押し、2Dモードに切り替えられるようにすることもでき、Y−ボタンを押して出力順番を変更させることもでき、B−ボタンを押して3DモードをOFFにさせることもできる。
【0238】
なお、
図17に示されたように、3D映像が提供されているとの情報及びGUI1720に対するディスプレイを中断するためのアイテムがアイテムセット1730の上段又は下段に設けられることができる。
【0239】
このように、3D映像が受信されると、自動で3D映像に適用されるべきフォーマットを分析してそれを適用し、3D映像に対する各種設定ができるようにガイドするGUI1720がディスプレイされることで、ユーザは、3D映像の各種設定に対する変更をより簡単かつ手軽にすることができるようになる。
【0240】
図18A乃至
図18Dは、GUIに含まれたアイテムが選択されてGUIが変更された画面を示した図である。
ユーザがTV200又はリモコン290に設けられたR−ボタンを押す場合、
図17の画面から
図18Aの画面に変換される。即ち、R−ボタンを押すと、3Dオブジェクト1710はそのまま画面に表示され、3D映像に適用するためのフォーマットを示すアイテムに関連したGUI1740が表示されるようになる。
【0241】
フォーマットを示すアイテム1740は、上述のフレームシーケンス方式、トップ&ボトム方式、サイドバイサイド方式、水平インターリーブ方式、垂直インターリーブ方式及びチェッカーボード方式のうちの一つによるフォーマットを示す。図示の例でフォーマットを示すアイテム1740は、左側から右側で、それぞれ、トップ&ボトム方式、サイドバイサイド方式、水平インターリーブ方式、垂直インターリーブ方式、チェッカーボード方式及びフレームシーケンス方式によるフォーマットを示す。
【0242】
従って、ユーザがTV200のフロントパネルに設けられた左右操作ボタン又はリモコン290に設けられた左右操作ボタンを操作する場合、受信された3D映像に対して処理するためのフォーマットが、トップ&ボトム方式→サイドバイサイド方式→水平インターリーブ方式→垂直インターリーブ方式→チェッカーボード方式→フレームシーケンス方式によるフォーマットに、又はその逆に変更されるようになる。
【0243】
即ち、フォーマットを示すアイテム1740は、3D映像に対して現在適用されたフォーマットであるだけでなく、3D映像に対してフォーマットを切り替えるためのアイテムとして捉えることができる。
【0244】
一方、GUI1740には、
図18Aに示されたように、フォーマットを示すアイテム1740の上段又は下段にフォーマット変更の状態であることを示す情報及びユーザの上下操作、選択操作、戻る操作などをガイドするためのアイテムが付加されることができ、現在の3D映像に適用されたフォーマットがハイライトされることができる。
【0245】
なお、ユーザがTV200又はリモコン290に設けられたG−ボタンを押す場合、
図17の画面から
図18Bの画面に変換される。即ち、G−ボタンを押すと、3Dオブジェクト1710は画面から消え、2D方式の映像による2Dオブジェクト1750のみが画面に表示されるようになる。
【0246】
上述のように、2Dオブジェクト1750は左眼映像に含まれたオブジェクトか右眼映像に含まれたオブジェクトのうちの一つに該当する。
なお、2Dオブジェクト1750の下段には、現在の画面が2D方式による画面であり、3D方式に再び切り替えたい場合には、G−ボタンを押して下さいという情報が表示される。即ち、このような情報はユーザがG−ボタンを押して3D方式による映像が視聴できるようにガイドする。
【0247】
そして、ユーザがTV200又はリモコン290に設けられたY−ボタンを押す場合、
図17の画面から
図18Cの画面に変換される。即ち、Y−ボタンを押すと、3Dオブジェクト1710は画面から消え、3D映像に対する出力順番が変更された画面がディスプレイされるようになる。これにより、3Dオブジェクト1770は出力順番が変更される前のオブジェクトとは相違した形態を持つことができるようになる。
【0248】
なお、3Dオブジェクト1770の下段には、現在の画面が右眼映像→左眼映像の順にディスプレイされる画面で、左眼映像→右眼映像の順に再び変換したい場合には、Y−ボタンを押して下さいという情報が表示される。即ち、このような情報は、ユーザがY−ボタンを押して左眼映像→右眼映像の順にディスプレイされる映像が視聴できるようにガイドする。
【0249】
更に、ユーザがTV200又はリモコン290に設けられたB−ボタンを押す場合、
図17の画面から
図18Dの画面に変換される。即ち、B−ボタンを押すと、3Dオブジェクト1710は画面から消え、2Dオブジェクト1790が代りに画面にディスプレイされるようになる。このような2Dオブジェクト1790は2D方式によって画面に表示されるオブジェクトとは違って、3DモードがOFF状態になって画面に表示されるオブジェクトである。
【0250】
即ち、左眼映像に含まれたオブジェクトと右眼映像に含まれたオブジェクトのうちの一つがディスプレイされるのではなく、入力された3D映像に含まれた各映像フレームがそのままディスプレイされ、3D映像がフレームシーケンス方式でない別の方式によるフォーマットでなされる場合、左眼映像に含まれたオブジェクトと右眼映像に含まれたオブジェクトとが両方ともディスプレイされることを意味する。
【0251】
なお、2Dオブジェクト1790の下段には、現在の3D機能がOFFになっており、3D機能をONにしたい場合には、B−ボタンを押して下さいという情報が表示される。
即ち、このような情報は、ユーザがB−ボタンを押して3DモードOFFを3DモードONの状態に変更させることができるようにガイドする。
【0252】
これにより、3D映像の各種設定に対する変更をより簡単かつ手軽にできるようになる。
図19はユーザの操作がない場合の画面の変換を説明するための図である。
図19に示されたように、3D映像が受信され、3Dオブジェクト1710と共に3D映像に対する各種設定の変更をガイドするためのGUI1720が自動で付加された後、ユーザにより如何なる命令も入力されなければ、視聴に邪魔になるGUI1720は自動で消えるようになる。
【0253】
さらに、ユーザはENTER−ボタンのような特定ボタンを押して、GUI1720は手動で消えるようにすることもできることは言うまでもない。
以下では、
図20を参照しながら、各種設定の変更のための動作フローについて説明する。
図20は本発明の一実施例に係るGUI提供方法を説明するための図である。
【0254】
3D映像が受信されると(S2010−Y)、TV200は3D映像に対する各種設定の操作をガイドするためのGUIを生成する(S2020)。なお、TV200は受信された3D映像に関連したフォーマット情報があるか否かを判断する(S2030)。
【0255】
TV200は3D映像に対するフォーマット情報がある場合(S2030−Y)、フォーマット情報を抽出し、抽出されたフォーマット情報に基づいたフォーマットに従って3D映像を処理してディスプレイする(S2040)。
【0256】
なお、TV200はディスプレイされる3D映像にGUIを付加する(S2050)。上述のように、GUIは、R−ボタンに対応されるアイテム、G−ボタンに対応されるアイテム、Y−ボタンに対応されるアイテム及びB−ボタンに対応されるアイテムを含む。
【0257】
従って、ユーザによりR−ボタンに対応されるアイテムが選択されると(S2060−Y)、TV200は既存のGUIをフォーマット変更のためのGUIに変換する(S2070)。なお、フォーマット変更のためのGUIを介して、ユーザによりフォーマット変更命令が入力されると(S2080−Y)、TV200は変更されたフォーマットに従って、3D映像を処理して画面にディスプレイし(S2090)、ユーザによって選択されたフォーマットに対応されるアイテムへとハイライトを移動させる(S2100)。
【0258】
なお、ユーザによりG−ボタンに対応されるアイテムが選択されると(S2110−Y)、TV200は2D方式によって3D映像を処理して画面にディスプレイし(S2120)、既存のGUIを2D方式であることを報知するための情報が含まれたGUIに変換される(S2130)。
【0259】
そして、ユーザによりY−ボタンに対応されるアイテムが選択されると(S2140−Y)、TV200は現在の3D映像が出力される順番とは逆になるように、左眼映像と右眼映像の順番を変更して画面にディスプレイし(S2150)、既存のGUIを、順番の変更されたことを報知する情報が含まれたGUIに変換する(S2160)。
【0260】
更に、ユーザによりB−ボタンに対応されるアイテムが選択されると(S2170−Y)、TV200は入力された3D映像を画面にそのまま出力し(S2180)、既存のGUIを、3DモードがOFFとなったことを報知する情報が含まれたGUIに変換する(S2190)。
【0261】
これによっても、3D映像に対する各種の設定事項をより簡単かつ手軽に変更することができるようになる。
【0262】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。