特許 6384940 ３Ｄ画像の表示方法及びヘッドマウント機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6384940

(24)【登録日】2018年8月17日

(45)【発行日】2018年9月5日

(54)【発明の名称】３Ｄ画像の表示方法及びヘッドマウント機器

(51)【国際特許分類】

   H04N 13/275 20180101AFI20180827BHJP

   H04N 13/344 20180101ALI20180827BHJP

   H04N 13/327 20180101ALI20180827BHJP

   H04N 13/122 20180101ALI20180827BHJP

【ＦＩ】

   H04N13/275

   H04N13/344

   H04N13/327

   H04N13/122

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2017-530067(P2017-530067)

(86)(22)【出願日】2015年12月28日

(65)【公表番号】特表2018-505580(P2018-505580A)

(43)【公表日】2018年2月22日

(86)【国際出願番号】CN2015099194

(87)【国際公開番号】WO2016107519

(87)【国際公開日】20160707

【審査請求日】2017年6月27日

(31)【優先権主張番号】201410854774.0

(32)【優先日】2014年12月31日

(33)【優先権主張国】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】515132700

【氏名又は名称】チンタオ ゴーアテック テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＱＩＮＧＤＡＯ ＧＯＥＲＴＥＫ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100129425

【弁理士】

【氏名又は名称】小川 護晃

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100087505

【弁理士】

【氏名又は名称】西山 春之

(74)【代理人】

【識別番号】100168642

【弁理士】

【氏名又は名称】関谷 充司

(74)【代理人】

【識別番号】100096769

【弁理士】

【氏名又は名称】有原 幸一

(74)【代理人】

【識別番号】100107319

【弁理士】

【氏名又は名称】松島 鉄男

(72)【発明者】

【氏名】イン，チー

(72)【発明者】

【氏名】チョウ，ホンウェイ

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開平０７−１１４０００（ＪＰ，Ａ）

【文献】 特開２０１２−０４４４０７（ＪＰ，Ａ）

【文献】 特開２０１２−１８６６５９（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０１３０９３８９（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

３Ｄ背景モデルを確立して、前記３Ｄ背景モデルにビデオ画像表示領域を設けるステップと、
ビデオ画像データを取得し、前記ビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影するステップと、
ヘッドマウント機器の表示パラメータを取得して、前記表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成するステップと、
前記ビデオ画像表示領域において、前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ２つのレンズで屈折させて表示するステップと、
眼部観察位置マトリックスを設け、ユーザーの観察角度を取得し、前記ユーザーの観察角度に応じて、前記眼部観察位置マトリックスを修正するステップと、
前記眼部観察位置マトリックスに基づいて、３Ｄ背景モデルの頂点に対するマトリックス演算を行って、新しい頂点を得て、該新しい頂点に対して着色処理を行って、視角に対応する３Ｄ背景モデルを生成するステップと、
を含むことを特徴とする３Ｄ画像の表示方法。

【請求項2】

前記左眼に対応する第１の３Ｄビデオ画像及び前記右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成した後に、
前記左眼に対応する前記第１の３Ｄビデオ画像のエッジ部分及び前記右眼に対応する前記第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行うステップと、
前記ビデオ画像表示領域において、前記画像平滑化処理後の前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ表示するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する前記第１の３Ｄビデオ画像及び右眼に対応する前記第２の３Ｄビデオ画像をそれぞれ生成するステップは、
前記ヘッドマウント機器の表示領域の長さと幅の値に応じて、第１の枠体及び第２の枠体を生成するステップと、
前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１のビデオデータ及び右眼に対応する第２のビデオデータをそれぞれ生成するステップと、
前記第１のビデオデータを前記第１の枠体に配置し、左眼に対応する前記第１の３Ｄビデオ画像を生成するとともに、前記第２のビデオデータを前記第２の枠体に配置し、右眼に対応する前記第２の３Ｄビデオ画像を生成するステップと、
を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記左眼に対応する第１の３Ｄビデオ画像のエッジ部分及び前記右眼に対応する第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行うステップは、
前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対して、畳み込み平滑化アルゴリズムにより、画像平滑化処理を行うステップを含み、
そのうち、前記第１の３Ｄビデオ画像のエッジ部分とは、前記第１の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指し、前記第２の３Ｄビデオ画像のエッジ部分とは、前記第２の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指す、
ことを特徴とする請求項２に記載の方法。

【請求項5】

前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対して、畳み込み平滑化アルゴリズムにより、画像平滑化処理を行うステップは、
前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分における各画素点のそれぞれに対して、前記画素点の周囲の画素点を採集して、画素近傍マトリックスを構成するステップと、
前記画素近傍マトリックスと予め設定された畳み込み重みマトリックスに対して重み付け演算を行って、新しい値を得て、当該新しい値で当該画素点の元の値を置き換えるステップと、
を含むことを特徴とする請求項４に記載の方法。

【請求項6】

視角平行移動パラメータを取得し、前記視角平行移動パラメータに基づいて、前記３Ｄ背景モデルに対して平行移動演算を行って、新しい３Ｄ背景モデルを得るステップをさらに含むことを特徴とする請求項１〜５のいずれか１項に記載の方法。

【請求項7】

前記３Ｄ背景モデルは、３Ｄシアターモデルであり、
そのうち、前記３Ｄシアターモデルにおけるスクリーンモデルは、対応するビデオ画像表示領域であることを特徴とする請求項１〜５のいずれか１項に記載の方法。

【請求項8】

３Ｄ背景モデルを確立して、前記３Ｄ背景モデルにビデオ画像表示領域を設けるための背景処理モジュールと、
前記背景処理モジュールに接続され、ビデオ画像データを取得して該ビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影するとともに、ヘッドマウント機器の表示パラメータを採集して、該ヘッドマウント機器の表示パラメータを画像処理モジュールに送信するための採集処理モジュールと、
前記採集処理モジュールに接続され、前記表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成するための画像処理モジュールと、
前記採集処理モジュール及び前記画像処理モジュールにそれぞれ接続され、前記ビデオ画像表示領域において、前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ２つのレンズで屈折させて表示するための表示モジュールと、
前記画像処理モジュールに接続され、眼部観察位置マトリックスを設けるとともに、ユーザーの観察角度を取得した後に、該ユーザーの観察角度に応じて前記眼部観察位置マトリックスを修正するための視角調整モジュールを含み、
前記画像処理モジュールは、前記眼部観察位置マトリックスに基づいて、前記３Ｄ背景モデルの頂点に対するマトリックス演算を行って、新しい頂点を得ることと、該新しい頂点に対して着色処理を行って、視角に対応する３Ｄ背景モデルを生成することと、に用いられる、
ことを特徴とするヘッドマウント機器。

【請求項9】

前記画像処理モジュールは、さらに、前記ヘッドマウント機器の表示領域の長さと幅の値に応じて、第１の枠体及び第２の枠体を生成することと、前記ビデオ画像データが投影された前記３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１のビデオデータ及び右眼に対応する第２のビデオデータをそれぞれ生成することと、前記第１のビデオデータを前記第１の枠体に配置し、左眼に対応する第１の３Ｄビデオ画像を生成することと、前記第２のビデオデータを前記第２の枠体に配置し、右眼に対応する第２の３Ｄビデオ画像を生成することと、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行うことと、に用いられることを特徴とする請求項８に記載のヘッドマウント機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄ画像の表示技術分野に関し、特に、３Ｄ画像の表示方法及びヘッドマウント機器に関する。

【背景技術】

【0002】

近年、ヘッドマウント機器がますます普及してきており、より多くのユーザーがホームシアターを体験する手段になりつつある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかし、従来のヘッドマウント機器は、映画コンテンツ自体の表示に重点を置いており、ユーザーにとって、映画館で映画を鑑賞するような効果がなかった。

【0004】

特に、従来のヘッドマウント機器による３Ｄビデオの処理は、いずれも画像の各フレームのエッジ部分に対するファジィ処理に基づくものであるが、３Ｄビデオ画像のエッジ部分が不明瞭になる問題が生じるとともに、３Ｄ画像の表示角度が狭くなるという問題も生じてしまう。

【0005】

このように、従来のヘッドマウント機器においては、３Ｄ画像の表示角度が狭いという問題が存在している。

【0006】

そこで、本発明は、従来のヘッドマウント機器における３Ｄ画像の表示角度が狭いという問題を解決しようとする３Ｄ画像の表示方法及びヘッドマウント機器を提供する。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明による３Ｄ画像の表示方法は、３Ｄ背景モデルを確立して、前記３Ｄ背景モデルにビデオ画像表示領域を設けるステップと、ビデオ画像データを取得し、前記ビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影するステップと、ヘッドマウント機器の表示パラメータを取得して、前記表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成するステップと、前記ビデオ画像表示領域において、前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ２つのレンズで屈折させて表示するステップと、眼部観察位置マトリックスを設け、ユーザーの観察角度を取得し、前記ユーザーの観察角度に応じて、前記眼部観察位置マトリックスを修正するステップと、前記眼部観察位置マトリックスに基づいて、３Ｄ背景モデルの頂点に対するマトリックス演算を行って、新しい頂点を得て、該新しい頂点に対して着色処理を行って、視角に対応する３Ｄ背景モデルを生成するステップと、を含む。

【0008】

好ましくは、前記左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成した後に、前記左眼に対応する第１の３Ｄビデオ画像のエッジ部分及び前記右眼に対応する第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行うステップと、前記画像平滑化処理後の前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ表示するステップと、をさらに含むとよい。

【0009】

好ましくは、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成するステップは、前記ヘッドマウント機器の表示領域の長さと幅の値に応じて、第１の枠体及び第２の枠体を生成するステップと、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１のビデオデータ及び右眼に対応する第２のビデオデータをそれぞれ生成するステップと、前記第１のビデオデータを前記第１の枠体に配置して左眼に対応する第１の３Ｄビデオ画像を生成するとともに、前記第２のビデオデータを前記第２の枠体に配置して右眼に対応する第２の３Ｄビデオ画像を生成するステップと、を含むとよい。

【0010】

好ましくは、前記左眼に対応する第１の３Ｄビデオ画像のエッジ部分及び前記右眼に対応する第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行うステップは、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対して、畳み込み平滑化アルゴリズムにより、画像平滑化処理を行うステップを含み、そのうち、前記第１の３Ｄビデオ画像のエッジ部分とは、前記第１の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指し、前記第２の３Ｄビデオ画像のエッジ部分とは、前記第２の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指す。

【0011】

好ましくは、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対して、畳み込み平滑化アルゴリズムにより、画像平滑化処理を行うステップは、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分における各画素点のそれぞれに対して、該画素点の周囲の画素点を採集して、画素近傍マトリックスを構成するステップと、前記画素近傍マトリックスと予め設定された畳み込み重みマトリックスに対して重み付け演算を行って、新しい値を得て、当該新しい値で当該画素点の元の値を置き換えるステップと、を含むとよい。

【0013】

好ましくは、視角平行移動パラメータを取得し、該視角平行移動パラメータに基づいて、前記３Ｄ背景モデルに対して平行移動演算を行って、新しい３Ｄ背景モデルを得るステップをさらに含むとよい。

【0014】

好ましくは、前記３Ｄ背景モデルは、３Ｄシアターモデルであり、そのうち、３Ｄシアターモデルにおけるスクリーンモデルは、対応するビデオ画像表示領域であるとよい。

【0015】

本発明によるヘッドマウント機器は、３Ｄ背景モデルを確立して、該３Ｄ背景モデルにビデオ画像表示領域を設けるための背景処理モジュールと、前記背景処理モジュールに接続され、ビデオ画像データを取得し、前記ビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影するとともに、ヘッドマウント機器の表示パラメータを採集して、前記ヘッドマウント機器の表示パラメータを画像処理モジュールに送信するための採集処理モジュールと、前記採集処理モジュールに接続され、前記表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成するための画像処理モジュールと、前記採集処理モジュール及び前記画像処理モジュールにそれぞれ接続され、前記ビデオ画像表示領域において、前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ２つのレンズで屈折させて表示するための表示モジュールと、前記画像処理モジュールに接続され、眼部観察位置マトリックスを設けるとともに、ユーザーの観察角度を取得した後に、該ユーザーの観察角度に応じて前記眼部観察位置マトリックスを修正するための視角調整モジュールを含み、前記画像処理モジュールは、前記眼部観察位置マトリックスに基づいて、前記３Ｄ背景モデルの頂点に対するマトリックス演算を行って、新しい頂点を得ることと、該新しい頂点に対して着色処理を行って、視角に対応する３Ｄ背景モデルを生成することと、に用いられるものである。

【0016】

好ましくは、前記画像処理モジュールは、さらに、前記ヘッドマウント機器の表示領域の長さと幅の値に応じて、第１の枠体及び第２の枠体を生成することと、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１のビデオデータ及び右眼に対応する第２のビデオデータをそれぞれ生成することと、前記第１のビデオデータを前記第１の枠体に配置し、左眼に対応する第１の３Ｄビデオ画像を生成することと、前記第２のビデオデータを前記第２の枠体に配置し、右眼に対応する第２の３Ｄビデオ画像を生成することと、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行うことと、に用いられるとよい。

【発明の効果】

【0019】

本発明によれば、３Ｄ背景モデルを設けるとともに、ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ生成することで、ユーザーがヘッドマウント機器におけるレンズを通して視聴するときに、より大きな視野角で視聴することができ、ユーザーの体験が向上する。したがって、従来のヘッドマウント機器における３Ｄビデオ視聴時の視野角が狭く、エッジが不明瞭という問題を解決することができる。

【図面の簡単な説明】

【0020】

図面は、本発明に対する更なる理解のために提供されるものであり、明細書の一部とされ、本発明の実施例とともに本発明を解釈するために用いられるが、本発明を制限するものではない。

【図1】本発明における３Ｄ画像の表示方法のフローチャートである。

【図2】本発明における３Ｄ画像の表示方法の詳細フローチャートである。

【図3】本発明における３Ｄビデオ画像の平滑化処理のフローチャートである。

【図4】本発明における３Ｄ画像表示の視角変換フローチャートである。

【図5】本発明における他の３Ｄ画像表示の視角変換フローチャートである。

【図6】本発明におけるヘッドマウント機器の構造模式図である。

【図7】本発明におけるヘッドマウント機器の詳細構造模式図である。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本発明の実施形態について詳細に説明する。
図１は本発明における３Ｄ画像の表示方法のフローチャートである。図１に示すように、当該方法は以下のステップを含む。

【0022】

ステップ１０１においては、３Ｄ背景モデルを確立して、この３Ｄ背景モデルにビデオ画像表示領域を設ける。

【0023】

ステップ１０２においては、ビデオ画像データを取得し、このビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影する。

【0024】

ステップ１０３においては、ヘッドマウント機器の表示パラメータを取得して、この表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成する。

【0025】

ステップ１０４においては、前記ビデオ画像表示領域において、前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ２つのレンズで屈折させて表示する。

【0026】

このように、本発明による３Ｄ画像の表示方法は、ヘッドマウント機器に適用され、人の目の視点の相違によって、３Ｄ背景モデルにビデオ画像表示領域を設け、取得したビデオ画像データを当該３Ｄ背景モデルのビデオ画像表示領域に投影して、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像をそれぞれ生成することにより、ユーザーは、ヘッドマウント機器におけるレンズを通して視聴するときに、より大きな視野角で視聴することができる。そして、３Ｄ背景モデルを設けることで、ユーザーは、ビデオを視聴すると同時に臨場感を楽しむことができ、ユーザーの体験が向上する。

【0027】

図２は、本発明による３Ｄ画像の表示方法の詳細フローチャートである。図２に示すように、当該方法は、以下のステップを含む。

【0028】

ステップ２０１においては、３Ｄ背景モデルを確立して、この３Ｄ背景モデルにビデオ画像表示領域を設ける。

【0029】

本発明の一実施例において、３Ｄ背景モデルは、シアター３Ｄモデルでも良く、即ち、スクリーン、座席などの３Ｄモデルを含む。そのうち、３Ｄ背景モデルにおいて設けられたビデオ画像表示領域は、シアター３Ｄモデルのスクリーンモデルに対応する。

【0030】

また、ステップ２０２では、ビデオ画像データを取得し、このビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影する。

【0031】

さらに、ステップ２０２では、再生するためのビデオ画像データを取得し、当該ビデオ画像データをシアター３Ｄモデルのスクリーンモデルに投影する。即ち、ユーザーは、ヘッドマウント機器を介してビデオを視聴するときに、シアター３Ｄモデルのスクリーンが見えており、対応するビデオをこのスクリーンに再生することで、その場にいるようなビデオ視聴効果が実現される。

【0032】

ステップ２０３においては、ヘッドマウント機器の表示パラメータを取得して、この表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成する。

【0033】

本発明の一実施例において、ヘッドマウント機器の表示パラメータは、ヘッドマウント機器の表示領域の長さと幅の値である。

【0034】

また、ステップ２０３では、ヘッドマウント機器の表示領域の長さと幅の値に応じて、第１の枠体及び第２の枠体を生成して、前記ビデオ画像が表示された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１のビデオデータ及び右眼に対応する第２のビデオデータをそれぞれ生成して、前記第１のビデオデータを前記第１の枠体に配置して左眼に対応する第１の３Ｄビデオ画像を生成するとともに、前記第２のビデオデータを前記第２の枠体に配置して右眼に対応する第２の３Ｄビデオ画像を生成する。

【0035】

本発明の上記実施例において、ヘッドマウント機器の表示スクリーンに第１の枠体及び第２の枠体を生成して、第１の枠体及び第２の枠体内に、それぞれ第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像を表示することで、人の目は、光学レンズを通して第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像にそれぞれ表示されるシアター３Ｄモデルを視聴するとき、より大きな視角が得られる。即ち、ＩＭＡＸの鑑賞効果を実現することができる。

【0036】

ステップ２０４においては、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行う。

【0037】

また、ステップ２０４では、スクリーンにおけるビデオ画像データが表示されたシアター３Ｄモデルに対する画像変形処理を行った後に、生成した第１の３Ｄビデオ画像のエッジ部分及び第２の３Ｄビデオ画像のエッジ部分に鋸歯が生じることに起因して、人の目が光学レンズを通して見えた３Ｄ映像が歪んでしまうという問題を避けるために、第１の３Ｄビデオ画像のエッジ部分及び第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行う。

【0038】

本発明の一実施例において、畳み込み平滑化アルゴリズムを用いて、前記第１の３Ｄビデオ画像のエッジ部分及び第２の３Ｄビデオ画像のエッジ部分に対して画像平滑化処理を行っても良い。

【0039】

ステップ２０５においては、前記画像平滑化処理後の前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像を表示する。

【0040】

また、ステップ２０５では、前記ビデオ画像表示領域における画像平滑化処理後の第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像をヘッドマウント機器の表示スクリーンに表示する。

【0041】

本発明の１つの具体的実施例において、ステップ２０３においては、ヘッドマウント機器の表示スクリーンの大きさに応じて、スクリーンにおけるビデオ画像データが表示されたシアター３Ｄモデルに対して画像変形処理を行う。そして、ヘッドマウント機器の表示スクリーンに第１の３Ｄビデオ画像を配置するための第１の枠体（Ｍｅｓｈ）、及び第２の３Ｄビデオ画像を配置するための第２の枠体（Ｍｅｓｈ）を生成して、それぞれ左眼及び右眼に対応させる。人体の左眼及び右眼の視点が異なるため、左眼と右眼に表示されるシアター３Ｄモデルも異なる。これにより、人の目が光学レンズを通して、第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像にそれぞれ表示されるシアター３Ｄモデルを視聴するときに、人の脳が第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像にそれぞれ表示される内容を識別することができる。これにより、真実なシアター３Ｄモデル効果が生じる。

【0042】

本発明による３Ｄ画像の表示方法によれば、ユーザーがヘッドマウント機器を装着することにより、まるで映画館にいるように体感でき、映画が視聴できるだけではなく、異なる観察視角を選択することで、視聴される映画の大きさと角度も異なり、それに、３Ｄビデオのコンテンツが３Ｄ背景モデルに表示され、現実感が高まる。

【0043】

図３は本発明における３Ｄビデオ画像の平滑化処理のフローチャートである。本発明の１つの具体的実施例において、図３に示すように、第１の３Ｄビデオ画像のエッジ部分及び第２の３Ｄビデオ画像のエッジ部分に対する画像平滑化処理をより好適に行うために、当該方法は、以下のステップを含む。

【0044】

ステップ３０１においては、第１の３Ｄビデオ画像のエッジ部分の画素点を取得する。ステップ３０１において、第１の３Ｄビデオ画像のエッジ部分とは、この第１の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指す。

【0045】

ステップ３０２においては、第２の３Ｄビデオ画像のエッジ部分の画素点を取得する。ステップ３０２において、第２の３Ｄビデオ画像のエッジ部分とは、この第２の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指す。

【0046】

本発明の１つの好ましい実施例において、ステップ３０１及びステップ３０２における前記予め設定された値は、最遠画素点から中心点までの距離の半分としても良い。

【0047】

ステップ３０３においては、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分における各画素点のそれぞれに対して、この画素点の周囲の画素点を採集して、画素近傍マトリックスを構成する。

【0048】

ステップ３０３において、対象画素点の周囲の８つの画素点を採集して、３×３の画素近傍マトリックスを構成しても良い。本発明の他の実施例において、より良い画像平滑化効果を生じさせるために、より多くの画素点を採集して、より大きな画素近傍マトリックスを構成しても良い。

【0049】

ステップ３０４においては、前記画素近傍マトリックスと予め設定された畳み込み重みマトリックスに対して重み付け演算を行って、新しい値を得る。

【0050】

ステップ３０４において、予め設定された畳み込み重みマトリックスは、採集した画素近傍マトリックスに対応しており、前記畳み込み重みマトリックスは、採集した画素近傍マトリックスにおける各画素点のそれぞれに対して、異なる重みを設定し、そのうち、対象画素点の重みは、最大となる。

【0051】

ステップ３０５においては、当該新しい値で当該画素点の元の値を置き換える。

【0052】

本発明の一実施例において、ステップ３０１とステップ３０２は、前後の順番を問わずに、同時に行うことが可能である。そして、中心点から離れる距離が最遠画素点から中心点までの距離の半分を上回る画素点のみに対して畳みこみ平滑化演算を行い、中心点から離れる距離がその半分を下回る画素点に対して当該演算を行わないことで、ＧＰＵ処理の効率を向上させ、３Ｄビデオをより円滑に視聴することができる。

【0053】

本発明の一実施例において、異なる角度から３Ｄ映像を視聴する効果を実現するために、眼部観察位置マトリックスを確立する方式により、視角の変更を実現することが可能である。図４は、本発明における３Ｄ画像表示の視角変換フローチャートである。図４に示すように、当該方法は、以下のステップを含む。

【0054】

ステップ４０１においては、眼部観察位置マトリックスを設ける。
ステップ４０２においては、視角オフセット角度を取得し、前記視角オフセット角度に応じて、眼部観察位置マトリックスを修正する。

【0055】

ステップ４０３においては、前記眼部観察位置マトリックスに基づいて、３Ｄ背景モデルの頂点に対するマトリックス演算を行って、新しい頂点を得る。

【0056】

ステップ４０４においては、前記新しい頂点に対して着色処理を行って、当該視角に対応する３Ｄ背景モデルを生成する。

【0057】

本発明の一実施例において、視角オフセット角度を取得した後に、Ｍａｔｒｉｘ．ｓｅｔＬｏｏｋＡｅｍを呼び出して眼部観察位置マトリックスを修正することで、３Ｄ背景モデルに対するユーザーの観察角度を変えることができる。具体的に、眼部観察位置マトリックスＭにより、３Ｄ背景モデルの頂点Ｖ（三次元ベクトル）に対してマトリックス演算を行って、新しい頂点Ｖ’（Ｖ’＝Ｍ＊Ｖ）を得て、頂点シェーダーによって新しい頂点Ｖ’を処理する。例えば、ｇｌ＿Ｐｏｓｉｔｉｏｎ＝Ｍ＊（Ｖ，１．０）。

【0058】

本発明の一実施例において、異なる角度から３Ｄ映像を視聴する効果を実現するために、３Ｄ背景モデル移動マトリックスを設ける方式により、視角の変更を実現することが可能である。図５は、本発明における他の３Ｄ画像表示の視角変換フローチャートである。図５に示すように、当該方法は、以下のステップを含む。

【0059】

ステップ５０１においては、視角平行移動パラメータを取得する。
ステップ５０２においては、前記視角平行移動パラメータに基づいて、前記３Ｄ背景モデルに対して平行移動演算を行って、新しい３Ｄ背景モデルを得る。

【0060】

本発明の一実施例において、３Ｄ背景モデルの元の頂点をＶ＝［ｘ，ｙ，ｚ］とし、視角平行移動パラメータを［ｘ’，ｙ’，ｚ’］として、それぞれ世界座標系に沿って、ｘ’，ｙ’，ｚ’で移動すると表現する。前記視角平行移動パラメータに基づいて、前記３Ｄ背景モデルに対して平行移動演算を実行すると、Ｖ’＝［ｘ＋ｘ’，ｙ＋ｙ’，ｚ＋ｚ’］となる。

【0061】

本発明の他の実施例において、３Ｄ映像視聴視角の変換は、実現の観点からすると、上記の技術に限られず、変換の双対性のため、その他の方式により、３Ｄ映像視聴視角の変換を実現しても良い。例えば、スクリーンの位置を世界座標系のＺ軸の正方向へ移動するのは、眼部の観察位置をＺ軸の負方向へ移動することに等しい。

【0062】

図６は本発明におけるヘッドマウント機器の構造模式図である。図６に示すように、当該ヘッドマウント機器は、３Ｄ背景モデルを確立して、この３Ｄ背景モデルにビデオ画像表示領域を設けるための背景処理モジュール６０１と、前記背景処理モジュール６０１に接続され、ビデオ画像データを取得し、前記ビデオ画像データを前記３Ｄ背景モデルのビデオ画像表示領域に投影するとともに、ヘッドマウント機器の表示パラメータを採集して、前記ヘッドマウント機器の表示パラメータを画像処理モジュール６０３に送信するための採集処理モジュール６０２と、前記採集処理モジュール６０２に接続され、前記表示パラメータに基づいて、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１の３Ｄビデオ画像及び右眼に対応する第２の３Ｄビデオ画像をそれぞれ生成して、後述の表示モジュール６０４に送信するための画像処理モジュール６０３と、前記採集処理モジュール６０２及び前記画像処理モジュール６０３にそれぞれ接続され、前記ビデオ画像表示領域において、前記第１の３Ｄビデオ画像及び前記第２の３Ｄビデオ画像をそれぞれ２つのレンズで屈折させて表示するための表示モジュール６０４と、を含む。

【0063】

図７は本発明におけるヘッドマウント機器の詳細構造模式図である。図７に示すように、本発明の一実施例において、画像処理モジュール６０３は、ヘッドマウント機器の表示領域の長さと幅の値に応じて、第１の枠体及び第２の枠体を生成して、前記ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、左眼に対応する第１のビデオデータ及び右眼に対応する第２のビデオデータをそれぞれ生成し、前記第１のビデオデータを前記第１の枠体に配置して左眼に対応する第１の３Ｄビデオ画像を生成するとともに、前記第２のビデオデータを前記第２の枠体に配置して右眼に対応する第２の３Ｄビデオ画像を生成する。

【0064】

人の目が光学レンズを通して第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像を視聴するときに、より優れる視聴効果を達成するために、本発明の一実施例において、画像処理モジュール６０３は、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対してそれぞれ画像平滑化処理を行う。

【0065】

本発明の他の実施例において、画像処理モジュール６０３は、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分に対して、畳み込み平滑化アルゴリズムにより、画像平滑化処理を行う。

【0066】

そのうち、前記第１の３Ｄビデオ画像のエッジ部分とは、前記第１の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指し、前記第２の３Ｄビデオ画像のエッジ部分とは、前記第２の３Ｄビデオ画像の中心との距離が予め設定された値より大きい領域を指す。

【0067】

本発明の一実施例において、画像処理モジュール６０３は、前記第１の３Ｄビデオ画像のエッジ部分及び前記第２の３Ｄビデオ画像のエッジ部分における各画素点のそれぞれに対して、この画素点の周囲の画素点を採集して、画素近傍マトリックスを構成し、この画素近傍マトリックスと予め設定された畳み込み重みマトリックスに対して重み付け演算を行って、新しい値を得て、この新しい値で当該画素点の元の値を置き換える。

【0068】

異なる角度から３Ｄ映像を視聴する効果を実現するために、本発明の一実施例において、当該ヘッドマウント機器は、前記画像処理モジュール６０３に接続され、眼部観察位置マトリックスを設け、並びに、ユーザーの観察角度を取得した後に、前記ユーザーの観察角度に応じて、眼部観察位置マトリックスを修正するための視角調整モジュール６０５をさらに含む。

【0069】

画像処理モジュール６０３は、さらに、前記眼部観察位置マトリックスに基づいて、３Ｄ背景モデルの頂点に対するマトリックス演算を行って、新しい頂点を得ることと、この新しい頂点に対して着色処理を行って、視角に対応する３Ｄ背景モデルを生成することと、に用いられる。

【0070】

本発明の他の実施例において、視角調整モジュール６０５は、視角平行移動パラメータを取得し、取得した視角平行移動パラメータを画像処理モジュール６０３に送信するために用いられる。

【0071】

画像処理モジュール６０３は、視角平行移動パラメータに基づいて、前記３Ｄ背景モデルに対して平行移動演算を行って、新しい３Ｄ背景モデルを得る。

【0072】

このように、本発明によれば、３Ｄ背景モデルを設けるとともに、ビデオ画像データが投影された３Ｄ背景モデルに対して画像変形処理を行い、第１の３Ｄビデオ画像及び第２の３Ｄビデオ画像をそれぞれ生成することで、ユーザーがヘッドマウント機器におけるレンズを通して視聴するときに、より大きな視野角で視聴することができ、ユーザーの体験が向上する。したがって、従来のヘッドマウント機器における３Ｄビデオ視聴時の視野角が狭いという問題を解決することができる。また、第１の３Ｄビデオ画像のエッジ部分及び第２の３Ｄビデオ画像のエッジ部分に対して平滑化処理を行うことで、ユーザーが３Ｄビデオ画像を視聴するときに、３Ｄビデオ画像のエッジに鋸歯が生じることがなく、３Ｄビデオ画像のエッジ部分の画像が鮮明になる。また、本発明において、さらに眼部観察位置マトリックスを設けることで、３Ｄビデオ画像の観察角度の変換を実現して、ユーザーが異なる角度を選択して３Ｄビデオ画像を視聴可能となり、ユーザーの体験が向上する。

【0073】

以上は、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するものではない。本発明の精神及び原則内になされたいかなる補正、均等的置換、改善等は、いずれも本発明の保護範囲内に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】