特許第6113142号(P6113142)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トムソン ライセンシングの特許一覧

特許6113142立体的なグラフィックオブジェクトを定義するためのシーングラフ
<>
  • 特許6113142-立体的なグラフィックオブジェクトを定義するためのシーングラフ 図000002
  • 特許6113142-立体的なグラフィックオブジェクトを定義するためのシーングラフ 図000003
  • 特許6113142-立体的なグラフィックオブジェクトを定義するためのシーングラフ 図000004
  • 特許6113142-立体的なグラフィックオブジェクトを定義するためのシーングラフ 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6113142
(24)【登録日】2017年3月24日
(45)【発行日】2017年4月12日
(54)【発明の名称】立体的なグラフィックオブジェクトを定義するためのシーングラフ
(51)【国際特許分類】
   G06T 19/00 20110101AFI20170403BHJP
   G06T 15/00 20110101ALI20170403BHJP
   G11B 27/10 20060101ALI20170403BHJP
   G11B 20/10 20060101ALI20170403BHJP
   H04N 13/00 20060101ALI20170403BHJP
【FI】
   G06T19/00 F
   G06T15/00 501
   G11B27/10 A
   G11B20/10 321Z
   H04N13/00
【請求項の数】11
【全頁数】16
(21)【出願番号】特願2014-501528(P2014-501528)
(86)(22)【出願日】2012年3月19日
(65)【公表番号】特表2014-516432(P2014-516432A)
(43)【公表日】2014年7月10日
(86)【国際出願番号】EP2012054761
(87)【国際公開番号】WO2012130650
(87)【国際公開日】20121004
【審査請求日】2015年3月11日
(31)【優先権主張番号】11305373.0
(32)【優先日】2011年3月31日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】501263810
【氏名又は名称】トムソン ライセンシング
【氏名又は名称原語表記】Thomson Licensing
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】ジョブスト ホーレントラップ
【審査官】 千葉 久博
(56)【参考文献】
【文献】 特開2011−4411(JP,A)
【文献】 特開2004−334833(JP,A)
【文献】 特開2004−102526(JP,A)
【文献】 特表2004−537930(JP,A)
【文献】 国際公開第2010/064472(WO,A1)
【文献】 小川智輝, 外3名,”フルHD 3Dを実現するBlu−ray 3D規格”,パナソニック技報,パナソニック株式会社,2011年 1月15日,第56巻, 第4号,p.14-19
【文献】 松本昌幸,”FahrenheitとOpenGLに見る3D 3次元グラフィックスを加速するシーングラフ”,TransTECH,日本,株式会社翔泳社,1999年 7月 1日,第8巻, 第6号,p.56-65
【文献】 三木俊雄,”MPEG−4の位置付けと規格への要求”,映像情報メディア学会誌,日本,社団法人映像情報メディア学会,1997年12月20日,第51巻, 第12号,p.1958-1965
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00−19/20
G06T 15/00−15/87
G11B 20/10−20/16
G11B 27/10−27/34
H04N 13/00−17/06
(57)【特許請求の範囲】
【請求項1】
立体的なグラフィックオブジェクトのシーングラフを作成する方法であって、前記シーングラフは、前記立体的なグラフィックオブジェクトの少なくとも1つのグラフィック要素の空間的および/または時間的な配置を記述し、前記方法は、
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の基礎画像および従属画像を指定することと、
前記基礎画像および前記従属画像の空間的および/または時間的な配置を指定することと、
前記基礎画像の画像データ、前記従属画像の画像データ、ならびに前記基礎画像および前記従属画像の前記空間的および/または時間的な配置に関する情報をシーングラフに配置することと、
を含み、
前記基礎画像および前記従属画像が、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の立体バージョンのレンダリングを可能にし、前記基礎画像は、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンのレンダリングのみを可能にする、前記方法。
【請求項2】
前記基礎画像の前記画像データを基礎画像モザイクに配置すること、および/または前記従属画像の前記画像データを従属画像モザイクに配置することをさらに含む、請求項1に記載の方法。
【請求項3】
立体的なグラフィックオブジェクトのシーングラフを作成するよう構成された装置であって、前記シーングラフは、前記立体的なグラフィックオブジェクトの少なくとも1つのグラフィック要素の空間的および/または時間的な配置を記述し、前記装置は、
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の基礎画像および従属画像を指定するための手段と、
前記基礎画像および前記従属画像の空間的および/または時間的な配置を指定するための手段と、
前記基礎画像の画像データ、前記従属画像の画像データ、ならびに前記基礎画像および前記従属画像の前記空間的および/または時間的な配置に関する情報をシーングラフに配置するための手段と、
を備え
前記基礎画像および前記従属画像が、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の立体バージョンのレンダリングを可能にし、前記基礎画像は、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンのレンダリングのみを可能にする、前記装置。
【請求項4】
前記基礎画像の前記画像データを基礎画像モザイクに配置し、および/または前記従属画像の前記画像データを従属画像モザイクに配置するための手段をさらに有する、請求項に記載の装置。
【請求項5】
立体的なグラフィックオブジェクトのシーングラフを備えたコンピュータ可読記憶媒体であって、前記シーングラフは、前記立体的なグラフィックオブジェクトの少なくとも1つのグラフィック要素の空間的および/または時間的な配置を記述し、前記シーングラフは、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の基礎画像の画像データ、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の従属画像の画像データ、ならびに前記基礎画像および前記従属画像の前記空間的および/または時間的な配置に関する情報を含み、
前記基礎画像および前記従属画像が、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の立体バージョンのレンダリングを可能にし、前記基礎画像は、前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンのレンダリングのみを可能にする、前記コンピュータ可読記憶媒体。
【請求項6】
前記グラフィックオブジェクトの前記少なくとも1つのグラフィック要素の前記基礎画像の前記画像データおよび前記従属画像の前記画像データをさらに含む、請求項に記載のコンピュータ可読記憶媒体。
【請求項7】
前記基礎画像の前記画像データが基礎画像モザイクに含まれ、および/または前記従属画像の前記画像データが従属画像モザイクに含まれる、請求項に記載のコンピュータ可読記憶媒体。
【請求項8】
立体的なグラフィックオブジェクトをレンダリングする方法であって、
前記立体的なグラフィックオブジェクトの少なくとも1つのグラフィック要素の基礎画像の画像データおよび従属画像の画像データ、ならびに前記基礎画像および前記従属画像の空間的および/または時間的な配置に関する情報を含むシーングラフを取得することと、
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の立体バージョンをレンダリングするために、前記取得した前記基礎画像の前記画像データおよび前記従属画像の前記画像データを用いて、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像および前記従属画像の前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素を構成することと、
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンをレンダリングするために、前記取得した前記基礎画像の前記画像データを用いて、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像の前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の前記平面バージョンのみを構成することと、
を含む、前記方法。
【請求項9】
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンをレンダリングする場合、前記従属画像の前記画像データも取得する、請求項に記載の方法。
【請求項10】
立体的なグラフィックオブジェクトをレンダリングするための装置であって、
前記立体的なグラフィックオブジェクトの少なくとも1つのグラフィック要素の基礎画像の画像データおよび従属画像の画像データ、ならびに前記基礎画像および前記従属画像の空間的および/または時間的な配置に関する情報を含むシーングラフを取得するための手段と、
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の立体バージョンをレンダリングするために、前記取得した前記基礎画像の前記画像データおよび前記従属画像の前記画像データを用いて、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像および前記従属画像の前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素を構成するための手段と、
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンをレンダリングするために、前記取得した前記基礎画像の前記画像データを用いて、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像の前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の前記平面バージョンのみを構成するための手段と、
を備えた、前記装置。
【請求項11】
前記立体的なグラフィックオブジェクトの前記少なくとも1つのグラフィック要素の平面バージョンをレンダリングする場合、前記従属画像の前記画像データも取得する、請求項10に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体的なグラフィックオブジェクトを定義するのに適切なシーングラフと、このようなシーングラフを作成するための方法および装置と、このようなシーングラフに基づいてグラフィックオブジェクトをレンダリングするための方法および装置とに関する。さらに、本発明は、立体的なグラフィックオブジェクトを定義するためのシーングラフを備える記憶媒体に関する。最後に、本発明は、方法を実施するように適合されたアプリケーションを備えるレンダリングモジュールおよび記憶媒体を初期化する方法に関する。
【背景技術】
【0002】
ユーザインターフェースまたは他のグラフィックオブジェクトは、しばしばシーングラフによって記述される。一般に、このようなシーングラフは、グラフィック要素が空間および時間においてどのように配置されてシーンを構成するかを(通常は、例えば、ツリー構造などの階層的に)記述する。シーングラフの顕著な例は、インターネットのウェブページに用いられるハイパーテキストマークアップ言語:HTMLである。シーングラフを、ビジュアルデザインソフトウェアの支援により作成することができる。ランタイムにおいて、シーングラフを解釈することができるソフトウェアは、それを画面上にレンダリングする。例えば、HTMLの場合には、レンダリングはインターネットブラウザによって実施される。
【0003】
このようなシステムの基本的な利点の1つは、ビジュアルデザインソフトウェアツールの助けにより、シーングラフまたはユーザインターフェースを比較的容易に作成することができることである。別の利点は、シーングラフが、通常、プラットフォームに依存しないことである。プラットフォームに左右されるのは、レンダリングソフトウェアのみである。
【0004】
今日のシーングラフベースのシステムは、平面の世界のみ、または、より複雑なシステムの場合には、例えばコンピュータゲームで既知の幾何学的な3次元の世界を記述する。
【0005】
最近、Bブルーレイディスクアソシエーションは、事前記録フォーマットに対する立体的な3D拡張機能を公開している。このフォーマットは、ブルーレイディスクに立体的な3D映像を記憶することを可能にするばかりでなく、例えば3Dポップアップメニューといった立体的な3Dユーザインターフェースの作成もサポートする。ブルーレイの3Dフォーマットは、後方互換性を可能にするように設計されている。目標は、適切に作られたとき、同一のブルーレイディスクが、3Dのブルーレイプレーヤでは3Dモードで再生可能であり、標準的な2Dのプレーヤでは2Dモードで再生可能であるべきであるということである。
【0006】
このような立体的な3Dユーザインターフェースに関して、主として2つの問題が生じる。第1の問題は、このような立体的なユーザインターフェースをいかに効率的に作成するかである。第2の問題は、立体的な3Dモードならびに2Dモードの双方に対して、ユーザインターフェースをいかに効率的に作成するかである。
【0007】
簡単な選択肢は、オーサリングプロセスにおいて平面の2Dバージョンだけでなく、ユーザインターフェースの立体的な3Dバージョンも作成することであろう。この手法には、付加的な努力が必要とされる不都合がある、すなわち、むしろ非効率である。
【0008】
さらなる選択肢は、コンピュータゲームで既知の、本格的な3次元シーングラフの形式の仮想3D世界のモデルを利用することであろう。このような手法は、シーンの立体バージョンも2Dバージョンもレンダリングすることもできる。しかし、このような手法の計算コストはかなり高く、例えば最新のコンピュータグラフィックスアダプタの3Dグラフィックの加速性など、なんらかのハードウェアの加速化のサポートを通常必要とする。このような処理能力は、典型的に家庭用電子機器では利用可能ではない。
【発明の概要】
【0009】
本発明の目的は、低い処理コストで3Dおよび2Dでレンダリングすることができるユーザインターフェースの効率的作成のための解決策を提案することである。
【0010】
本発明によれば、この目的は、立体的なグラフィックオブジェクトのシーングラフを作成する方法によって達成され、このシーングラフは、立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、この方法は、
− 立体的なグラフィックオブジェクトの基礎画像および従属画像を指定するステップと、
− 基礎画像および従属画像の空間的および/または時間的な配置を指定するステップと、
− 基礎画像に対する画像データ、従属画像に対する画像データ、ならびに基礎画像および従属画像の空間的および/または時間的な配置に関する情報を、シーングラフに配置するステップと、
を含む。
【0011】
同様に、立体的なグラフィックオブジェクトのシーングラフを作成するための装置において、シーングラフは、立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、当該装置は、
− 立体的なグラフィックオブジェクトの基礎画像および従属画像を指定する手段と、
− 基礎画像および従属画像の空間的および/または時間的な配置を指定する手段と、
− 基礎画像の画像データ、従属画像の画像データ、ならびに基礎画像および従属画像の空間的および/または時間的な配置に関する情報をシーングラフに配置するための手段と、
を備える。
【0012】
同様に、立体的なグラフィックオブジェクトのシーングラフにおいて、当該シーングラフは、立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、当該シーングラフは、立体的なグラフィックオブジェクトの基礎画像に対する画像データ、グラフィックオブジェクトの従属画像に対する画像データ、ならびに基礎画像および従属画像の空間的および/または時間的な配置に関する情報を含む。
【0013】
したがって、記憶媒体は、立体的なグラフィックオブジェクトのシーングラフを備え、当該シーングラフは、立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、当該シーングラフは、立体的なグラフィックオブジェクトの基礎画像に対する画像データ、立体的なグラフィックオブジェクトの従属画像に対する画像データ、ならびに基礎画像および従属画像の空間的および/または時間的な配置に関する情報を含む。
【0014】
立体的なグラフィックオブジェクトを3Dでレンダリングするために、グラフィックオブジェクトは基礎画像および従属画像から成る。立体的なグラフィックオブジェクトを2Dでレンダリングするために、グラフィックオブジェクトは基礎画像のみから成る。
【0015】
本発明の第1の態様は、「立体的な」シーングラフ、すなわち、例えば立体的なユーザインターフェースなどの立体的なグラフィックオブジェクトを記述するように特に適合されたシーングラフの定義である。このような立体的なグラフィックオブジェクトを、例えばブルーレイ3Dディスクに提供することができる。提案されるシーングラフは、指定された基礎画像のみを用いることにより、2D表現を立体的なグラフィックオブジェクトから自動的に導出するのに特に適している。これによって、シーングラフは、異種の3D/2D再生装置に対して有効になる。例えば3Dブルーレイディスクなどの3D/2Dに適合しているコンテンツを作成するとき、コンテンツ作者は、立体的な3Dモード用のグラフィックオブジェクトと、平面の2Dモード用の別のグラフィックオブジェクトとを作成することから解放される。典型的に、オーサリングシステムは、基礎画像および従属画像を定義または生成するためのグラフィカルユーザインターフェースを提供することになる。
【0016】
有利には、基礎画像の画像データは基礎画像モザイクに含まれ、および/または従属画像の画像データは従属画像モザイクに含まれる。メニューなどを生成するのに必要とされる複数の画像が単一のリソースで参照されるので、画像モザイクは、ローディング時間を短縮し、プレーヤ性能を改善することを可能にする。画像モザイクが、基礎画像の画像データと従属画像の画像データのみを含むことを確実にすることによって、現行のレンダリングモードにとって必要でない画像を含むリソースがロードされないことが、少なくともある程度まで保証される。画像モザイクは、一般に、選択された画像の別の画像モザイクへの分配を最適化する専用ソフトウェアによって生成されることになる。
【0017】
本発明のさらなる態様によれば、立体的なグラフィックオブジェクトをレンダリングする方法は、
− 立体的なグラフィックオブジェクトのための基礎画像の画像データおよび従属画像の画像データと、基礎画像および従属画像の空間的および/または時間的な配置とに関する情報を含む、シーングラフを取得するステップと、
− 立体的なグラフィックオブジェクトの立体バージョンをレンダリングするために、基礎画像の画像データおよび従属画像の画像データを取得し、シーングラフで指定された空間的および/または時間的な配置に従って、基礎画像および従属画像の立体的なグラフィックオブジェクトを構成するステップと、
− 立体的なグラフィックオブジェクトの平面バージョンをレンダリングするために、基礎画像の画像データを取得し、シーングラフで指定された空間的および/または時間的な配置に従って、基礎画像の立体的なグラフィックオブジェクトのみを構成するステップと、
を含む。
【0018】
同様に、立体的なグラフィックオブジェクトをレンダリングするための装置は、
− 立体的なグラフィックオブジェクトのための基礎画像の画像データおよび従属画像の画像データと、基礎画像および従属画像の空間的および/または時間的な配置とに関する情報を含む、シーングラフを取得するための手段と、
− 立体的なグラフィックオブジェクトの立体バージョンをレンダリングするために、基礎画像の画像データおよび従属画像の画像データを取得し、シーングラフで指定された空間的および/または時間的な配置に従って、基礎画像および従属画像の立体的なグラフィックオブジェクトを構成するための手段と、
− 立体的なグラフィックオブジェクトの平面バージョンをレンダリングするために、基礎画像の画像データを取得し、シーングラフで指定された空間的および/または時間的な配置に従って、基礎画像の立体的なグラフィックオブジェクトのみを構成するための手段と、
を備える。
【0019】
本発明の第2の態様は、シーングラフ、基礎画像、および従属画像を利用するレンダリングの方法および装置に関する。この方法および装置は、シーングラフによって指定される立体的なグラフィックオブジェクトを、3Dモードならびに2Dモードでレンダリングすることができる。提案されるシーングラフの重要な利点は、立体の3Dモードまたは平面の2Dモードで効率的にレンダリングできることである。これにより、シーングラフは、例えば、3Dプレーヤで実行するときには立体の3Dユーザインターフェースを立体の3Dモードで生成する必要があり、2Dにしか対応していないシステムで動作するときには平面のユーザインターフェースを生成する必要があるブルーレイ3Dディスクのようなシステムに対して非常に有用なものとなる。2Dのレンダリングモードの場合は、基礎画像の画像データを取得してレンダリングする必要があるだけであるが、3Dのレンダリングモードでは、基礎画像の画像データだけでなく従属画像の画像データも取得してレンダリングする。このように、不必要なデータをロードしないことが保証される。典型的に、変換器は、例えば光学式記憶媒体の場合には光ピックアップ、ハードディスクの場合には読取りヘッドなどの記憶媒体から、必要な画像を取得する。
【0020】
しかし、有利には、立体的なグラフィックオブジェクトの平面バージョンをレンダリングする場合には、従属画像の画像データも取得される。この点において、好ましくは、3Dのレンダリングモードが可能か否か、すなわちレンダリング装置が3Dのレンダリングモードに対応しているかどうかが判断され、3Dのレンダリングモードが可能であれば、実際のレンダリングモードに関係なく、シーングラフによって指定された基礎画像の画像データおよび従属画像の画像データが取得される。
【0021】
換言すれば、2Dのレンダリングモードの場合、3Dのレンダリングモードが実際に可能であるかどうかを確認する。例えば、3Dのレンダリングモードが可能であっても、3D表示装置に接続された3Dプレーヤが2Dのレンダリングモードに設定されることがある。この場合、現行のレンダリングモードには不要であっても、従属画像の画像データがロードされるのが好ましい。一方、ユーザが3Dのレンダリングモードに切り換えるようと決めた場合は、必要な画像のすべてが既に利用可能である。したがって、2Dのレンダリングモードから3Dのレンダリングモードへの切換えは、非常に高速に達成される。
【0022】
利用可能な従属画像が必ずしも取得されていない場合には、2Dのレンダリングモードから3Dのレンダリングモードへの移行に際して、従属画像について指定された画像データが既に取得されているかどうか判断される。従属画像の画像データを未だ取得していなければ、次いで、3Dのレンダリングモードのグラフィックオブジェクトのレンダリングを可能にするために取得される。このようにして、基礎画像に加えて、必要な従属画像のすべてがレンダリングに利用可能であることが保証される。
【0023】
本発明のさらなる態様によれば、3Dのレンダリングモードと2Dのレンダリングモードの間で切換え可能で、出力がグラフィックサブシステムに供給されるレンダリングモジュールを初期化する方法は、
− 立体的なコンテンツをレンダリングするべきかどうか判断するステップと、
− グラフィックサブシステムが立体的なモードでレンダリングすることができるかどうか判断するステップと、
− グラフィックサブシステムが立体的なモードでレンダリングすることが可能な場合、現行のレンダリングモードとは独立にグラフィックサブシステムのレンダリングモジュールを初期化するステップと、
を含む。
【0024】
上記の方法を実施するために、必要なステップを実施するように適合されたアプリケーションが、記憶媒体に有利に記憶される。このアプリケーションは、3Dのレンダリングモードと2Dのレンダリングモードの間で切換え可能なレンダリングモジュールも含む。
【0025】
通常、切換え可能なレンダリングモジュールに加えて、2Dのレンダリングモジュールが使用可能である。現行のレンダリングモードが従来技術による2Dモードである場合、2Dのレンダリングモジュールが初期化される。それと対照的に、本発明によれば、グラフィックサブシステムが立体的なモードでレンダリングすることが可能な場合、実際の現行のレンダリングモードに関係なく、切換え可能なレンダリングモジュールが初期化される。このようにして、2Dモードから3Dモードへ切り換える場合に、最初に2Dのレンダリングモジュールを終結して切換え可能なレンダリングモジュールを初期化する必要なく、確実に3Dのレンダリングを直ちに開始することができる。
【0026】
より良い理解のために、本発明は、以下において、図面を参照しながら下記説明でより詳細に説明される。本発明は、この例示的実施形態に限定されるものではなく、また、特定の特徴が、添付の特許請求の範囲で定義される本発明の範囲から逸脱することなく、適切に結合および/または変更され得ることが理解される。
【図面の簡単な説明】
【0027】
図1】シーングラフのグラフィック要素を異なる出力モードでレンダリングするプロセスを示す図である。
図2】画像モザイクを概略的に示す図である。
図3】通常の動作中の画像ローディングのプロセスを示す図である。
図4】レンダリングモードを切換える際の画像ローディングの例示的プロセスを示す図である。
【発明を実施するための形態】
【0028】
立体の3Dモードおよび2Dモードで効率的にレンダリングすることができるグラフィックオブジェクトを定義するために、「立体的な」シーングラフが定義される。提案されるシーングラフは、画像のステレオペアを指定して用いる。類似のステレオペアが、立体的な3Dの基礎を形成する。一方の画像が左眼用であり、もう一方の画像が右眼用である。ステレオペアの一方の画像が「基礎画像」(BI:base image)を表す。他方の画像が「従属画像」(DI:dependent image)を表す。基礎画像は必須であるが、従属画像は任意選択である。
【0029】
このようなステレオペアを定義する多くの可能性がある。以下では、3つの実施例を説明する。当然、本発明はこれらの実施例に限定されない。実施例1は、宣言型言語としてXMLを用いるステレオペアの第1の例示的定義を示す。
【0030】
実施例1:
<img id="ibgd" stereo_idref="ibgd_r">
<file src="bgd_l.jpg"/>
</img>
<img id="ibgd_r">
<file src="bgd_r.jpg"/>
</img>
【0031】
<img>要素は、画像要素を定義する。それぞれのこのような画像要素が、<img>要素の「id」属性で指定される一意の識別子を保持する。この実施例では、<file>要素は、画像データのソースを定義する。とりわけ、これは、あるローカルファイルシステム上のファイルを簡単に識別することができる。上記の実施例は、「ibgd」および「ibgd_r」という名前の2つの画像を定義する。さらに、「ibgd」は、「stereo_idref」属性を保持する。この属性は、2つの画像をリンクさせてステレオペアを形成する。
【0032】
このようなステレオペアは、以下のように好都合に用いることができる。
<layer id="lb" clipWidth="500" clipHeight="200" z="0">
<graphic id="gback" idref="ibgd" x="20" y="20" z="10"/>
</layer>
【0033】
ここで、グラフィックは、層の内部にx=20、y=20、z=10の位置に配置される。使用すべき画像リソースは、「idref」属性を通じて識別される。この実施例において、これは、実施例1において上記で定義されたステレオペアを指す。
【0034】
実施例2は、これも宣言型言語としてXMLを用いるステレオペアの第2の例示的定義を示す。
【0035】
実施例2:
<img id="ibgd" src="bgd_l.jpg" src_r="bgd_r.jpg"/>
【0036】
<img>要素は、画像要素を定義する。<img>要素は「id」属性で指定される一意の識別子を保持する。この実施例において、「scr」属性は、ステレオペアの一方の画像のソース画像データを定義する。「src_r」属性は、ステレオペアの他方の画像のソース画像データを定義する。
【0037】
実施例3は、ステレオペアの第3の例示的定義を示す。この実施例は、宣言型言語としてHTMLを用いる。
【0038】
実施例3:
<img src="bgdl.jpg" src_r="bgdr.jpg">
【0039】
HTMLでは、<img>要素の「src」属性は、画像のデータソースを定義する。新規の属性「src_r」は、関連する第2の画像のデータソースを定義してステレオペアを形成する。
【0040】
シーングラフのグラフィック要素を異なる出力モードでどのようにレンダリングするかを指定するために、ルールが定義される。これは、図1に概略的に図示されている。第1の判定ステップ1において、2Dの出力を生成すべきか、立体の3Dの出力を生成するべきかが検出される。2Dの出力モードでは、必須の基礎画像BIを用いて、グラフィックオブジェクトを合成する(2)。立体の3Dの出力モードでは、第2の判定ステップ3において、レンダリングすべき画像が立体画像であるかどうか、すなわち必須の基礎画像BIに加えて従属画像DIも宣言されているかどうかを検出する。画像が平面画像のみである場合、基礎画像BIを用いて左チャネル出力ならびに右チャネル出力を合成する(4)。立体画像の場合、基礎画像BIを用いて左チャネル出力を合成し(5)、従属画像DIを用いて右チャネル出力を合成する。合成するステップ2、4、5において合成された立体的なグラフィックオブジェクトは、次いで、表示用に出力される(6)。
【0041】
例えばブルーレイプレーヤといった、家庭用電子機器などのリソースに制約のあるシステムには、Java(登録商標)アプリケーションなどによって使用される画像リソースは、通常、「画像モザイク」(IM:image mosaics)に記憶される。このような画像モザイクIMは、複数の基礎画像を結合して、より大きな画像にする。これは、図2に例示的に図示されている。この技法では、それぞれの画像復号プロセスが、画像デコーダを設定するのに何らかのランタイムオーバーヘッドを含むため、実行時に画像をすべて復号するのに必要な時間が短縮される。基礎画像を画像モザイクIMに結合することにより、画像デコーダの頻繁な設定および関連する余分な時間が回避される。
【0042】
ステレオペアを使用する、提案される手法の効率を高めるために、1つの特定の画像モザイクIMが、1つまたは複数の基礎画像BIを1つまたは複数の従属画像DIと結合しなければ有利である。これは、基礎画像BIのセットが、好ましくは1つまたは複数の画像モザイクIM、いわゆる基礎画像モザイク(BI−IM)に結合され、一方、従属画像DIのセットが、1つまたは複数の別の画像モザイクIM、いわゆる従属画像モザイク(DI−IM)に別個に結合されることを意味する。
【0043】
画像を、基礎画像BIと従属画像DIに、または基礎画像モザイクBI−IMと従属画像モザイクDI−IMに分離することにより、立体の3Dモードまたは2Dモードのいずれかでシーングラフをレンダリングすることができるアプリケーションに対して有利なルールを実装することができる。アプリケーションが、実行時に、3Dモードでのレンダリングがその実行環境において可能ではないことを検出したとき、例えばそのアプリケーションが2Dのブルーレイプレーヤで作動しているか、または3Dのブルーレイプレーヤで作動しているが3Dでない画面のみがプレーヤに接続されているときなど、画像がロードされると、いずれの従属画像DIまたは従属画像モザイクDI−IMも無視され、定められたように、基礎画像BIまたは基礎画像モザイクBI−IMのみがメモリにロードされる。
【0044】
しかし、アプリケーションが、立体の3Dモードが可能であることを検出した場合、画像リソースをロードする以下の2つのモードがサポートされるのが好ましい。
【0045】
第1のモードでは、画像をロードすべきとき、基礎画像BIまたは基礎画像モザイクBI−IM、ならびに従属画像DIまたは従属画像モザイクDI−IMが、定められたようにメモリにロードされる。特に、これには、3Dモードが実行環境において可能な場合が含まれるが、アプリケーションは、現在、2Dモードでレンダリングするように構成されているか、または信号伝達されている。このモードは、2Dのレンダリングモードから3Dのレンダリングモードへ移行するときに、従属画像DIまたは従属画像モザイクDI−IMをロードする必要がなく、したがって、移行が同程度に高速であるという利点がある。このモードを、「イーガー(eager)ローディング」モードとして規定することができる。
【0046】
第2のモードでは、画像をロードすべきとき、アプリケーションは、現行のレンダリングモードが3Dであるか、2Dであるかを検出する。3Dレンダリングモードの場合には、基礎画像BIまたは基礎画像モザイクBI−IM、ならびに従属画像DIまたは従属画像モザイクDI−IMが、メモリにロードされる。2Dモードの場合には、基礎画像BIまたは基礎画像モザイクBI−IMのみがロードされる。さらに、このモードでは、2Dのレンダリングモードから3Dのレンダリングモードへ移行するときに、必要な従属画像DIまたは従属画像モザイクDI−IMが、必要に応じてロードされる。このモードを、「レイジー(lazy)ローディング」モードとして規定することができる。
【0047】
通常の動作中の画像ローディングの例示的プロセス、すなわち、いかなるモード変更に起因するものでもない画像ローディングの例示的プロセスが、図3に示されている。画像をロードする要求を受け取ると(7)、3Dのレンダリングモードが可能かどうか判断される(8)。可能でない場合、基礎画像BIまたは基礎画像モザイクBI−IMのみがロードされ(9)、いずれの従属画像DIまたは従属画像モザイクDI−IMも無視される。しかし、3Dのレンダリングモードが可能であれば、さらなる処理はローディングモードに依拠する。したがって、さらなる決定ステップ10において、ローディングモードが決定される。当然、特定の実装形態に対してローディングモードが固定されているときには、さらなる決定ステップ10を省略することができる。イーガーローディングモードの場合、基礎画像BIまたは基礎画像モザイクBI−IMならびに従属画像DIまたは従属画像モザイクDI−IMがロードされる(11)。レイジーローディングモードの場合、3Dのレンダリングモードがアクティブかどうか判断される(12)。アクティブでない場合、基礎画像BIまたは基礎画像モザイクBI−IMのみがロードされ(9)、いずれの従属画像DIまたは従属画像モザイクDI−IMも無視される。しかし、3Dのレンダリングモードがアクティブであれば、基礎画像BIまたは基礎画像モザイクBI−IMならびに従属画像DIまたは従属画像モザイクDI−IMがロードされる(11)。
【0048】
レンダリングモードの切換えの際の画像ローディングの例示的プロセスが、図4に示されている。モード変更の要求を受け取ると(13)、現在3Dのレンダリングモードが可能かどうか判断される(14)。可能でない場合、さらなるステップを実行する必要はない。しかし、3Dのレンダリングモードが可能であれば、さらなる処理は移行タイプに依拠する。したがって、さらなる判定ステップ15において、移行タイプが決定される。3Dのレンダリングモードから2Dのレンダリングモードに移行する場合、必要な基礎画像BIまたは基礎画像モザイクBI−IMはすべて、3Dレンダリングのために既に前もってロードされているので、さらなるステップを実行する必要はない。2Dのレンダリングモードから3Dのレンダリングモードに移行する場合、さらなる処理は、図3の画像ロード要求7に応答して前に使用されたローディングモードに依拠する。したがって、さらなる決定ステップ16において、以前に使用されたローディングモードが決定される。当然、特定の実装形態に対してローディングモードが固定されているときは、さらなる決定ステップ16を省略することができる。イーガーローディングモードが用いられている場合、必要な従属画像DIまたは従属画像モザイクDI−IMはすべて、既に前もってロードされているので、さらなるステップを実行する必要はない。レイジーローディングモードが用いられている場合、必要な従属画像DIまたは従属画像モザイクDI−IMがロードされる(17)。
【0049】
アプリケーションの、シーングラフをレンダリングすることができる部分は、グラフィックレンダリングモジュールである。このようなアプリケーションは、典型的に、再生されるコンテンツと一緒に記憶媒体で提供される。グラフィックレンダリングモジュールの一般的なタスクは、「ダブルバッファリング」、すなわちアプリケーションが、次の構成を非可視のバックバッファ(back buffer)の中に描き、一方、現行の構成が、表示装置に接続されたフロントバッファ(front buffer)に記憶されるという技法である。要求されたとき、グラフィックレンダリングモジュールは、バックバッファのコンテンツをフロントバッファにコピーする。ダブルバッファリング技法は、フリッカをもたらす可能性がある中間の構成が表示装置上で可視となるのを回避する。
【0050】
立体的な3Dに関して、このようなグラフィックレンダリングモジュールは、それぞれが1つのバックバッファに接続される2つのパイプラインを必要とする。一方のバックバッファが左チャネルの出力を合成するのに必要とされ、他方のバックバッファは右チャネルの出力を合成するのに必要とされる。
【0051】
このような立体のグラフィックレンダリングモジュールは、立体的な3Dレンダリングだけでなく2Dレンダリングをサポートするように設計することができる。後者の場合には、2つのパイプラインの一方が2Dの出力を生成するのに用いられ、他方のパイプラインは未使用のままである。さらに、立体の3Dグラフィックレンダリングモジュールは、立体の3Dレンダリングと平面の2Dレンダリングとの間の動的モード切換えをサポートするように設計することができる。これは、上記で概説された立体の3Dグラフィックレンダラは非常に柔軟性があることを意味する。
【0052】
しかし、立体の3Dレンダリングモジュールは、2つのバックバッファを割り当て、そのそれぞれがかなりの量の画像メモリを割り当てる。ブルーレイプレーヤの場合には、このようなバックバッファは、1920×1080ピクセルの解像度に対してほぼ8MBの画像メモリを割り当てる。家庭用電子機器では、画像メモリは通常限られているので、好ましくは、以下の有利なルールが、立体の3Dモードまたは2Dモードのいずれかで立体的なシーングラフをレンダリングすることができるアプリケーションに対して実装される。
【0053】
アプリケーションが、実行時に、例えばアプリケーションが2Dのブルーレイプレーヤで作動しているか、またはアプリケーションは3Dのブルーレイプレーヤで作動しているが非3Dの画面のみしかプレーヤに接続されていないために、その実行環境において3Dモードのレンダリングが不可能であると検出したとき、アプリケーションは、2Dモードのみでレンダリングすることが可能なグラフィックレンダラ実装を作成してアクティブにする。このような実装は、単一のパイプラインのみを組み込み、したがって、単一のバックバッファを保持するメモリのみを割り当てる。
【0054】
アプリケーションが、その実行環境において立体の3Dモードが可能であると検出したとき、アプリケーションは、3Dモードおよび2Dモードでレンダリングすることが可能なグラフィックレンダラ実装を作成してアクティブにする。特に、アプリケーションは、3Dモードが技術的に可能であることを検出するのみである。これは、3Dモードをアクティブにすることを意味するわけではない。
【0055】
立体的なシーングラフから、画面上にグラフィックオブジェクトを配置するための有効な「x」、「y」および「z」パラメータを導出することができる。平面の2Dのレンダリングについては、「x」が水平方向の位置を決定し、「y」が垂直方向の位置を決定し、「z」は、通常、個々の要素間の前/後関係(すなわち構成の順序)を指定するのみである。立体的なレンダリングについては、平面の2Dのレンダリングモードと同様であるが「z」は、シーングラフの個々の要素の構成の順番を決定するのに用いられる。
(付記1)
立体的なグラフィックオブジェクトのシーングラフを作成する方法であって、前記シーングラフは、前記立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、前記方法は、
前記立体的なグラフィックオブジェクトの基礎画像(BI)および従属画像(DI)を指定するステップと、
前記基礎画像(BI)および前記従属画像(DI)の空間的および/または時間的な配置を指定するステップと、
前記基礎画像(BI)の画像データ、前記従属画像(DI)の画像データ、ならびに前記基礎画像(BI)および前記従属画像(DI)の前記空間的および/または時間的な配置に関する情報をシーングラフに配置するステップと、
を含む、前記方法。
(付記2)
前記基礎画像(BI)の前記画像データを基礎画像モザイク(BI−IM)に配置するステップ、および/または前記従属画像(DI)の前記画像データを従属画像モザイク(DI−IM)に配置するステップをさらに含む、付記1に記載の方法。
(付記3)
前記基礎画像(BI)および前記従属画像(DI)が、前記立体的なグラフィックオブジェクトの立体バージョンのレンダリングを可能にし、前記基礎画像(BI)は、前記立体的なグラフィックオブジェクトの平面バージョンのレンダリングのみを可能にする、付記1または2に記載の方法。
(付記4)
立体的なグラフィックオブジェクトのシーングラフを作成するための装置であって、前記シーングラフは、前記立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、前記装置は、
前記立体的なグラフィックオブジェクトの基礎画像(BI)および従属画像(DI)を指定するための手段と、
前記基礎画像(BI)および前記従属画像(DI)の空間的および/または時間的な配置を指定するための手段と、
前記基礎画像(BI)の画像データ、前記従属画像(DI)の画像データ、ならびに前記基礎画像(BI)および前記従属画像(DI)の前記空間的および/または時間的な配置に関する情報をシーングラフに配置するための手段と、
を備えた、前記装置。
(付記5)
前記基礎画像(BI)の前記画像データを基礎画像モザイク(BI−IM)に配置し、および/または前記従属画像(DI)の前記画像データを従属画像モザイク(DI−IM)に配置するための手段をさらに有する、付記4に記載の装置。
(付記6)
前記基礎画像(BI)および前記従属画像(DI)が、前記立体的なグラフィックオブジェクトの立体バージョンのレンダリングを可能にし、前記基礎画像(BI)は、前記立体的なグラフィックオブジェクトの平面バージョンのレンダリングのみを可能にする、付記4または5に記載の装置。
(付記7)
立体的なグラフィックオブジェクトのシーングラフを備えた記憶媒体であって、前記シーングラフは、前記立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、前記シーングラフは、前記立体的なグラフィックオブジェクトの基礎画像(BI)の画像データ、前記立体的なグラフィックオブジェクトの従属画像(DI)の画像データ、ならびに前記基礎画像(BI)および前記従属画像(DI)の前記空間的および/または時間的な配置に関する情報を含む、前記記憶媒体。
(付記8)
前記グラフィックオブジェクトの前記基礎画像(BI)の前記画像データおよび前記従属画像(DI)の前記画像データをさらに含む、付記7に記載の記憶媒体。
(付記9)
前記基礎画像(BI)の前記画像データが基礎画像モザイク(BI−IM)に含まれ、および/または前記従属画像(DI)の前記画像データが従属画像モザイク(DI−IM)に含まれる、付記8に記載の記憶媒体。
(付記10)
前記基礎画像(BI)および前記従属画像(DI)が、前記立体的なグラフィックオブジェクトの立体バージョンのレンダリングを可能にし、前記基礎画像(BI)は、前記立体的なグラフィックオブジェクトの平面バージョンのレンダリングのみを可能にする、付記8または9に記載の記憶媒体。
(付記11)
立体的なグラフィックオブジェクトをレンダリングする方法であって、
前記立体的なグラフィックオブジェクトの基礎画像(BI)の画像データおよび従属画像(DI)の画像データ、ならびに前記基礎画像(BI)および前記従属画像(DI)の空間的および/または時間的な配置に関する情報を含むシーングラフを取得するステップと、
前記立体的なグラフィックオブジェクトの立体バージョンをレンダリングするために、前記基礎画像(BI)の画像データおよび前記従属画像(DI)の画像データを取得し、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像(BI)および前記従属画像(DI)の前記立体的なグラフィックオブジェクトを構成するステップと、
前記立体的なグラフィックオブジェクトの平面バージョンをレンダリングするために、前記基礎画像(BI)の前記画像データを取得し、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像(BI)の前記立体的なグラフィックオブジェクトのみを構成するステップと、
を含む、前記方法。
(付記12)
前記立体的なグラフィックオブジェクトの平面バージョンをレンダリングする場合、前記従属画像(DI)の前記画像データも取得する、付記11に記載の方法。
(付記13)
立体的なグラフィックオブジェクトをレンダリングするための装置であって、
前記立体的なグラフィックオブジェクトの基礎画像(BI)の画像データおよび従属画像(DI)の画像データ、ならびに前記基礎画像(BI)および前記従属画像(DI)の空間的および/または時間的な配置に関する情報を含むシーングラフを取得するための手段と、
前記立体的なグラフィックオブジェクトの立体バージョンをレンダリングするために、前記基礎画像(BI)の前記画像データおよび前記従属画像(DI)の前記画像データを取得し、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像(BI)および前記従属画像(DI)の前記立体的なグラフィックオブジェクトを構成するための手段と、
前記立体的なグラフィックオブジェクトの平面バージョンをレンダリングするために、前記基礎画像(BI)の前記画像データを取得し、前記シーングラフで指定された前記空間的および/または時間的な配置に従って、前記基礎画像(BI)の前記立体的なグラフィックオブジェクトのみを構成するための手段と、
を備えた、前記装置。
(付記14)
前記立体的なグラフィックオブジェクトの平面バージョンをレンダリングする場合、前記従属画像(DI)の前記画像データも取得する、付記13に記載の装置。
(付記15)
立体的なグラフィックオブジェクトのシーングラフであって、前記立体的なグラフィックオブジェクトの空間的および/または時間的な配置を記述し、前記立体的なグラフィックオブジェクトの基礎画像(BI)の画像データ、前記グラフィックオブジェクトの従属画像(DI)の画像データ、ならびに前記基礎画像(BI)および前記従属画像(DI)の前記空間的および/または時間的な配置に関する情報を備えた、前記シーングラフ。
(付記16)
前記基礎画像(BI)および前記従属画像(DI)が、前記立体的なグラフィックオブジェクトの立体バージョンのレンダリングを可能にし、前記基礎画像(BI)は、前記立体的なグラフィックオブジェクトの平面バージョンのレンダリングのみを可能にする、付記15に記載のシーングラフ。
(付記17)
3Dレンダリングモードと2Dレンダリングモードとの間で切換え可能であり、出力がグラフィックサブシステムに供給される、レンダリングモジュールを初期化する方法であって、
立体的なコンテンツをレンダリングすべきかどうかを判断するステップと、
前記グラフィックサブシステムが立体的なモードでレンダリングすることができるかどうかを判断するステップと、
前記グラフィックサブシステムが立体的なモードでレンダリングすることができる場合には、前記グラフィックサブシステムの現行のレンダリングモードとは独立に前記レンダリングモジュールを初期化するステップと、
を含む、前記方法。
(付記18)
3Dレンダリングモードと2Dレンダリングモードとの間で切換え可能であり、出力がグラフィックサブシステムに供給されるレンダリングモジュールを含む、アプリケーションを備えた記憶媒体であって、前記アプリケーションは、
立体的なコンテンツをレンダリングすべきかどうかを判断するステップと、
前記グラフィックサブシステムが立体的なモードでレンダリングすることができるかどうかを判断するステップと、
前記グラフィックサブシステムが立体的なモードでレンダリングすることができる場合、前記グラフィックサブシステムの現行のレンダリングモードとは独立に前記レンダリングモジュールを初期化するステップと、
を実行するように適合される、前記記憶媒体。
図1
図2
図3
図4