特開 2023-93406 仮想現実機器のための画像処理方法、装置及び仮想現実機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023093406

(43)【公開日】2023-07-04

(54)【発明の名称】仮想現実機器のための画像処理方法、装置及び仮想現実機器

(51)【国際特許分類】

   H04N 21/436 20110101AFI20230627BHJP

   H04N 21/4402 20110101ALI20230627BHJP

【ＦＩ】

H04N21/436

H04N21/4402

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022204770

(22)【出願日】2022-12-21

(31)【優先権主張番号】202111582600.X

(32)【優先日】2021-12-22

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】520027176

【氏名又は名称】小派科技（上海）有限責任公司

【氏名又は名称原語表記】Ｐｉｍａｘ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈａｎｇｈａｉ） ＣＯ．， ＬＴＤ

【住所又は居所原語表記】Ｒｏｏｍ ４０６－Ｃ， Ｂｕｉｌｄｉｎｇ Ａ， Ｂｌｏｃｋ １， Ｎｏ．３０００ Ｌｏｎｇｄｏｎｇ Ａｖｅｎｕｅ， Ｐｉｌｏｔ Ｆｒｅｅ Ｔｒａｄｅ Ｚｏｎｅ， Ｓｈａｎｇｈａｉ， ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】翁 志彬

(72)【発明者】

【氏名】周 克

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164PA32

5C164PA33

5C164UA01S

5C164UB02P

5C164UB71P

(57)【要約】      （修正有）

【課題】仮想現実機器のための画像処理方法、装置及び仮想現実機器を提供する。
【解決手段】仮想現実機器のための画像処理方法は、ＨＤＭＩ（登録商標）を介してビデオ信号を受信するステップと、ＨＤＭＩで受信したビデオ信号を、ＣＳＩで受信したビデオ信号に変換するステップと、ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩで受信したビデオ信号を生成するステップと、を含む。
【効果】画像処理方法は、仮想現実機器は比較的高い表示フレームレートを有し、ＨＤＭＩを使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器のデータ伝送時の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

仮想現実機器のための画像処理方法であって、
ＨＤＭＩ（登録商標）を介してビデオ信号を受信するステップと、
前記ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するステップと、
前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩで受信したビデオ信号を生成するステップと、を含む、ことを特徴とする仮想現実機器のための画像処理方法。

【請求項2】

前記ＣＳＩで受信したビデオ信号に対して非同期タイムワープ処理を行う前記ステップは、
レンダリングフレームにおけるシーンの画像内容情報を取得するステップと、
前記レンダリングフレームにおけるシーンの画像内容情報の画素値に対して、単一深度近似処理を行い、タイムワープしたレンダリングフレームを取得するステップと、を含む、ことを特徴とする請求項１に記載の仮想現実機器のための画像処理方法。

【請求項3】

前記レンダリングフレームにおけるシーンの画像内容情報の画素値に対して、単一深度近似処理を行い、タイムワープしたレンダリングフレームを取得する前記ステップの後、
前記タイムワープしたレンダリングフレームに基づいて、前記ＤＳＩで受信したビデオ信号を生成するステップをさらに含む、ことを特徴とする請求項２に記載の仮想現実機器のための画像処理方法。

【請求項4】

前記ＣＳＩで受信したビデオ信号に対して非同期スペースワープ処理を行う前記ステップは、
現在の画像フレームを取得するステップと、
前の画像フレームのタイムワープフレームを取得するステップと、
前記現在の画像フレームに対して、前記前の画像フレームの前記タイムワープフレームを挿入し、前記現在の画像フレーム及び前記前の画像フレームの前記タイムワープフレームに基づいて、混合シングルフレームを取得するステップと、を含む、ことを特徴とする請求項１に記載の仮想現実機器のための画像処理方法。

【請求項5】

前記現在の画像フレームに対して、前記前の画像フレームの前記タイムワープフレームを挿入し、前記現在の画像フレーム及び前記前の画像フレームの前記タイムワープフレームに基づいて、混合シングルフレームを取得する前記ステップの後、
前記混合シングルフレームに基づいて、前記ＤＳＩで受信したビデオ信号を生成するステップをさらに含む、ことを特徴とする請求項４に記載の仮想現実機器のための画像処理方法。

【請求項6】

前記ＤＳＩで受信したビデオ信号を仮想現実機器の表示ユニットに伝送して表示するステップをさらに含む、ことを特徴とする請求項１に記載の仮想現実機器のための画像処理方法。

【請求項7】

仮想現実機器のための画像処理装置であって、
ビデオ信号を受信するためのＨＤＭＩ（３０１）と、
前記ＨＤＭＩ（３０１）で受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するための信号変換ユニット（３０２）と、
前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行った後、ＤＳＩ（１０１）で受信したビデオ信号を生成するための主制御ユニット（３０３）と、を含む、ことを特徴とする仮想現実機器のための画像処理装置。

【請求項8】

前記信号変換ユニット（３０２）は、前記ＨＤＭＩ（３０１）で受信したビデオ信号を前記ＣＳＩで受信したビデオ信号に変換するデータ変換チップを含む、ことを特徴とする請求項７に記載の仮想現実機器のための画像処理装置。

【請求項9】

前記主制御ユニット（３０３）は、
前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、前記ＤＳＩ（１０１）で受信したビデオ信号を生成するための画像処理モジュール（３０３１）を含む、ことを特徴とする請求項７に記載の仮想現実機器のための画像処理装置。

【請求項10】

仮想現実機器であって、
請求項７～９のいずれか一項に記載の仮想現実機器のための像処理装置（３００）を含み、
前記画像処理装置（３００）は、いずれかのコンピュータ端末（２００）に通信接続される、ことを特徴とする仮想現実機器。

【請求項11】

前記仮想現実機器は、
仮想頭部装着ディスプレイ複合機機器である、ことを特徴とする請求項１０に記載の仮想現実機器。

【請求項12】

前記仮想現実機器は、ＤＳＩ（１０１）と、表示ユニット（１０２）と、をさらに含み、
前記仮想現実機器は、前記ＤＳＩ（１０１）を介してビデオ信号を受信し、
前記表示ユニット（１０２）は、前記ＤＳＩ（１０１）に通信接続され、前記ＤＳＩ（１０１）で受信したビデオ信号に基づいて、表示内容を生成するために使用される、ことを特徴とする請求項１０に記載の仮想現実機器。

【請求項13】

前記仮想現実機器は、無線伝送機器（４００）をさらに含み、
前記無線伝送機器（４００）は、前記画像処理装置（３００）に無線接続され、
前記無線伝送機器（４００）は、送信装置（４０１）と、受信装置（４０２）と、を含み
前記送信装置（４０１）は、データソースに通信接続され、前記送信装置（４０１）は、前記データソースから送信された前記ＨＤＭＩ（３０１）で受信したビデオ信号を受信し、前記ＨＤＭＩ（３０１）で受信したビデオ信号をミリ波信号に変換して、前記ミリ波信号を送信するために使用され、
前記受信装置（４０２）は、前記送信装置（４０１）及び前記画像処理装置（３００）に無線接続され、前記受信装置（４０２）は、前記送信装置（４０１）によって伝送された前記ミリ波信号を受信し、前記ミリ波信号を、前記ＨＤＭＩ（３０１）で受信したビデオ信号に変換してから前記画像処理装置（３００）に伝送するために使用される、ことを特徴とする請求項１０に記載の仮想現実機器。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、データ伝送技術の分野に関し、具体的には、仮想現実機器のための画像処理方法、装置及び仮想現実機器に関する。

【背景技術】

【0002】

現在、仮想現実製品とＰＣ端末との間でデータ伝送を行うアプリケーションでは、ビデオやオーディオデータを圧縮してから仮想現実製品の表示ユニットに出力して表示する必要がある場合が多い。これにより、ＰＣ端末で伝送信号が失われ、データが不完全で、画像の鮮明度が低く、遅延問題が深刻で、ユーザの体験が低下する。

【発明の概要】

【0003】

これに鑑みて、本出願は、従来技術における仮想現実製品がデータ伝送を実行するとき、ＰＣ端末の伝送信号が失われやすく、データが不完全で、画像の鮮明度が低く、遅延問題が深刻であるという技術的問題を解決又は改善する仮想現実機器のための画像処理方法、装置及び仮想現実機器を提供する。

【0004】

本出願は、仮想現実機器のための画像処理方法を提供する。この仮想現実機器のための画像処理方法は、ＨＤＭＩ(登録商標)を介してビデオ信号を受信するステップと、前記ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するステップと、前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩで受信したビデオ信号を生成するステップと、を含む。

【0005】

一実施例では、前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理を行う前記ステップは、レンダリングフレームにおけるシーンの画像内容情報を取得するステップと、前記レンダリングフレームにおけるシーンの画像内容情報の画素値に対して、単一深度近似処理を行い、タイムワープしたレンダリングフレームを取得するステップと、を含む。

【0006】

一実施例では、前記レンダリングフレームにおけるシーンの画像内容情報の画素値に対して、単一深度近似処理を行い、タイムワープしたレンダリングフレームを取得する前記ステップの後、前記タイムワープしたレンダリングフレームに基づいて、前記ＤＳＩで受信したビデオ信号を生成するステップをさらに含む。

【0007】

一実施例では、前記ＣＳＩで受信したビデオ信号に対して非同期スペースワープ処理を行う前記ステップは、現在の画像フレームを取得するステップと、前の画像フレームのタイムワープフレームを取得するステップと、前記現在の画像フレームに対して、前記前の画像フレームの前記タイムワープフレームを挿入し、前記現在の画像フレーム及び前記前の画像フレームの前記タイムワープフレームに基づいて、混合シングルフレームを取得するステップと、を含む。

【0008】

一実施例では、前記現在の画像フレームに対して、前記前の画像フレームの前記タイムワープフレームを挿入し、前記現在の画像フレーム及び前記前の画像フレームの前記タイムワープフレームに基づいて、混合シングルフレームを取得する前記ステップの後、前記混合シングルフレームに基づいて、前記ＤＳＩで受信したビデオ信号を生成するステップをさらに含む。

【0009】

一実施例では、前記仮想現実機器のための画像処理方法は、前記ＤＳＩで受信したビデオ信号を仮想現実機器の表示ユニットに伝送して表示するステップをさらに含む。

【0010】

本出願は、仮想現実機器のための画像処理装置を同時に提供する。前記仮想現実機器のための画像処理装置は、ビデオ信号を受信するためのＨＤＭＩと、前記ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するための信号変換ユニットと、前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行った後、ＤＳＩで受信したビデオ信号を生成するための主制御ユニットと、を含む。

【0011】

一実施例では、前記主制御ユニットは、前記ＣＳＩ信号に対して非同期タイムワープ処理及び非同期スペースワープ処理を行うための画像処理モジュールを含む。

【0012】

一実施例では、前記信号変換ユニットは、前記ＨＤＭＩで受信したビデオ信号を前記ＣＳＩで受信したビデオ信号に変換するデータ変換チップを含む。

【0013】

一実施例では、前記主制御ユニットは、前記ＣＳＩで受信したビデオ信号に対して非同期タイムワープ処理及び非同期スペースワープ処理を行い、前記ＤＳＩで受信したビデオ信号を生成するための画像処理モジュールを含む。

【0014】

本出願は、仮想現実機器を同時に提供する。前記仮想現実機器は、上記の実施例に記載の仮想現実機器のための画像処理装置を含み、前記画像処理装置は、任意のコンピュータ端末に通信接続される。

【0015】

一実施例では、前記仮想現実機器は、仮想頭部装着ディスプレイ複合機機器である。

【0016】

一実施例では、前記仮想現実機器はＤＳＩと表示ユニットをさらに含む。前記仮想現実機器は前記ＤＳＩを介して前記ＤＳＩ信号を受信する。前記表示ユニットは前記ＤＳＩに通信接続され、前記ＤＳＩで受信したビデオ信号に基づいて、表示内容を生成する。

【0017】

一実施例では、前記仮想現実機器は無線伝送機器をさらに含む。前記無線伝送機器は、前記画像処理装置に無線接続される。前記無線伝送機器は、送信装置と受信装置を含む。前記送信装置は、データソースに通信接続される。前記送信装置は、前記データソースから送信された前記ＨＤＭＩで受信したビデオ信号を受信し、前記ＨＤＭＩで受信したビデオ信号をミリ波信号に変換して、前記ミリ波信号を送信するために使用される。前記受信装置は、前記送信装置及び前記画像処理装置に無線接続される。前記受信装置は、前記送信装置によって伝送された前記ミリ波信号を受信し、前記ミリ波信号を、前記ＨＤＭＩで受信したビデオ信号に変換してから前記画像処理装置に伝送するために使用される。

【0018】

本出願によって提供されるこの仮想現実機器のための画像処理方法は、ＨＤＭＩを介してビデオ信号を受信するステップと、前記ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するステップと、前記ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩで受信したビデオ信号を生成するステップと、を含む。このような画像処理方法により、それが適用された仮想現実機器の表示画面は比較的高い表示フレームレートを有し、同時に該仮想現実機器は、ＨＤＭＩを使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器のデータ伝送時の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保する。

【図面の簡単な説明】

【0019】

【図1】本出願の一実施例によって提供される仮想現実機器のための画像処理方法の概略フローチャートを示す。

【図2】本出願の別の実施例によって提供される仮想現実機器のための画像処理方法の概略フローチャートを示す。

【図3】本出願の別の実施例によって提供される仮想現実機器のための画像処理方法の概略フローチャートを示す。

【図4】本出願の別の実施例によって提供される仮想現実機器のための画像処理装置の構造模式図を示す。

【図5】本出願の別の実施例によって提供される仮想現実機器の構造模式図を示す。

【図6】本出願の別の実施例によって提供される仮想現実機器の構造模式図を示す。

【図7】出願の別の実施例によって提供される電子機器の構造模式図を示す。

【発明を実施するための形態】

【0020】

本願の説明において、「複数の」は、他に特に定義されない限り、少なくとも２つ、例えば、３つなどを意味する。本出願の実施例におけるすべての方向指示（上、下、左、右、前、後、頂、底、……など）は、ある特定の姿勢（図に示すように）での各部材間の相対的な位置関係、運動状況などを説明するためにのみ使用される。前記特定の姿勢が変化する場合、前記方向指示もそれに応じて変化する。また、「含む」や「有する」という用語及びそれらの任意の変形は、非排他的な包含をカーバすることを意図する。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、挙げられたステップ又はユニットに限定されず、任意選択で、挙げられていないステップ又はユニットを更に含み、又はこれらのプロセス、方法、製品又は機器に固有の他のステップ又はユニットを更に含む。

【0021】

また、本明細書における「実施例」への言及は、実施例に関して説明される特定の特徴、構造又は特性が、本願の少なくとも１つの実施例に含まれ得ることを意味する。明細書の様々なところで出現する該用語は、必ずしも同じ実施例を指すわけではなく、他の実施例と相互に排他的な独立した又は代替の実施例でもない。当業者は、本明細書に記載の実施例が他の実施例と組み合わせることができることを明確かつ暗黙的に理解している。

【0022】

以下では、本出願の実施例の添付図面を参照しながら、本出願の実施例の技術的解決手段を明確かつ完全に説明する。当然のことながら、ここで説明する実施例は本出願の実施例の全てではなく一部にすぎない。当業者が創造的な作業なしに本願の実施例に基づいて得られる全ての他の実施例は、本願の保護範囲に含まれるべきである。

【0023】

図１は、本出願の一実施例によって提供される仮想現実機器のための画像処理方法の概略フローチャートを示す。図１に示すように、本出願によって提供される仮想現実機器のための画像処理方法は、具体的には、以下のステップ１００～ステップ３００を含む。

【0024】

ステップ１００では、ＨＤＭＩを介してビデオ信号を受信する。

【0025】

ＨＤＭＩ、つまり、高解像度マルチメディアインターフェイス（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）は、完全にデジタル化されたビデオ及び音声伝送インターフェイスであり、圧縮されていないオーディオ及びビデオ信号を送信することができる。ＨＤＭＩは、オーディオ及びビデオ信号を同時に送信することができる。デジタルビデオ信号は、ＨＤＭＩで受信できる、ビデオデータ情報を有する信号である。仮想現実製品の画像及び音声を表示するために、ＨＤＭＩを介してデータソースから送信されたビデオ信号を受信して、ビデオ、オーディオデータを受信する。

【0026】

ステップ２００では、ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換する。

【0027】

ＣＳＩは、ＭＩＰＩ規格に基づくインターフェースアプリケーションである。ビデオ及びオーディオデータをさらに処理するために、ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換する。

【0028】

ステップ３００では、ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩで受信したビデオ信号を生成する。

【0029】

非同期タイムワープ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｉｍｅｗａｒｐ、ＡＴＷと略称）は、中間フレームを生成する技術である。ゲームが十分なフレームレートを維持できない場合、非同期タイムワープは、中間フレームを生成し、ゲーム画面の揺れを効果的に減少することができる。非同期スペースワープ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｓｐａｃｅｗａｒｐ、ＡＳＰと略称）は、現在のフレームに対して前のフレームのワープフレームを挿入することで、ＰＣフレームレートを高める処理方式である。ＤＳＩは、ＭＩＰＩ規格に基づくインターフェースアプリケーションであり、表示インターフェイスである。非同期タイムワープと非同期スペースワープとの同期処理により、生成されたＤＳＩで受信したビデオ信号は、比較的高い表示フレームレートを有し、同時に、この方法が適用される仮想現実機器は、ＨＤＭＩを使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器の無線伝送時の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保する。

【0030】

本出願によって提供されるこの仮想現実機器のための画像処理方法は、ＨＤＭＩを介してビデオ信号を受信するステップと、ＨＤＭＩで受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するステップと、ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩで受信したビデオ信号を生成するステップと、を含む。このような画像処理方法により、それが適用された仮想現実機器が無線伝送を実行するとき、仮想現実機器の表示画面は比較的高い表示フレームレートを有し、同時に該仮想現実機器は、ＨＤＭＩを使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器のデータ伝送時の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保する。

【0031】

１つの可能な実施形態では、図２は、本出願の別の実施例によって提供される仮想現実機器のための画像処理方法の概略フローチャートを示す。図２に示すように、ステップ３００の非同期タイムワープ処理方法は、以下のステップ３１０～ステップ３１１をさらに含んでもよい。

【0032】

ステップ３１０では：レンダリングフレームにおけるシーンの画像内容情報を取得する。

【0033】

レンダリングは、ポストプロダクション以外のコンピュータアニメーションの最終段階で、最終的に画像を３Ｄシーンに適合させる段階である。レンダリングフレームは、表示装置上に表される画面フレームである。レンダリングフレームにおけるシーンの画像内容情報を取得することは、それを処理するための前提条件である。

【0034】

ステップ３１１では、レンダリングフレームにおけるシーンの画像内容情報の画素値に対して、単一深度近似処理を行い、タイムワープしたレンダリングフレームを取得する。

【0035】

単一深度近似を用いてレンダリングフレーム内の１つ又は複数の画素値を修正し、タイムワープしたレンダリングフレームを生成する。ユーザが仮想現実機器を使用する際に、揺れの存在が避けられない。上記のプロセスにより、表示画面への揺れの影響を改善することができる。

【0036】

具体的には、図２に示すように、ステップ３１１の後、以下のステップ３１２をさらに含む。
ステップ３１２では、タイムワープしたレンダリングフレームに基づいて、ＤＳＩで受信したビデオ信号を生成する。

【0037】

上記のタイムワープしたレンダリングフレームに基づいて、ＤＳＩで受信したビデオ信号を生成した後、該ＤＳＩで受信したビデオ信号は、表示ユニットによって受信可能になり、さらに表示ユニットに、このビデオ信号に対して表示処理を行わせる。

【0038】

具体的には、図２に示すように、ステップ３００の非同期スペースワープ処理方法は、以下のステップ３２０～ステップ３２３をさらに含んでもよい。
ステップ３２０では、現在の画像フレームを取得する。

【0039】

現在の画像フレームは、現在の画面フレームである。

【0040】

ステップ３２１では、前の画像フレームのタイムワープフレームを取得する。

【0041】

前の画像フレームは、現在の画面フレームの前の画面フレームであり、タイムワープフレームは、ワープ非同期タイムワープ処理を経たワープフレームである。

【0042】

ステップ３２３では、現在の画像フレームに対して、前の画像フレームのタイムワープフレームを挿入し、混合シングルフレームを取得する。

【0043】

現在の画像フレームに対して前の画像フレームのタイムワープフレームを挿入することによって、受信したＰＣ端末の画面フレームレートが約２倍になり、仮想現実機器の表示端の鮮明度及びリフレッシュレートが大幅に向上するとともに、無線伝送によるＰＣと仮想現実機器との低遅延を確保することができる。

【0044】

具体的には、図２に示すように、ステップ３２３の後、以下のステップ３２４をさらに含んでもよい。
ステップ３２４では、混合シングルフレームに基づいて、ＤＳＩで受信したビデオ信号を生成する。

【0045】

混合シングルフレームに基づいてＤＳＩで受信したビデオ信号を生成した後、表示ユニットはこのビデオ信号を受信できるようになり、さらに、表示ユニットはこのビデオ信号に対して表示処理を実行できるようになる。

【0046】

さらに、図３は、本出願の別の実施例によって提供される仮想現実機器のための画像処理方法の概略フローチャートを示す。図３に示すように、ステップ３００の後、この画像処理方法は、ステップ４００をさらに含んでもよい。
ステップ４００では、ＤＳＩで受信したビデオ信号を仮想現実機器の表示ユニットに伝送して表示する。

【0047】

表示ユニット、つまり、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵと略称）は、ディスプレイコア、視覚プロセッサ、ディスプレイチップとも呼ばれ、パーソナルコンピュータ、ワークステーション、ゲーム機、一部のモバイル機器（タブレットコンピュータ、スマートフォンなど）で画像演算のために特別に動作するマイクロプロセッサである。表示ユニットの表示技術を利用して、データ信号に基づいて表示内容を生成することができる。

【0048】

以下、図４を参照しながら、本出願によって提供される仮想現実機器の無線伝送のための画像処理装置（以下、画像処理装置と略称）を説明する。

【0049】

図４は、本出願の別の実施例によって提供される仮想現実機器の無線伝送のための画像処理装置の構造模式図を示す。図４に示すように、本出願によって提供されるこの画像処理装置３００は、ＨＤＭＩ３０１、信号変換ユニット３０２及び主制御ユニット３０３を含む。ＨＤＭＩ３０１はビデオ信号を受信するために使用される。信号変換ユニット３０２は、ＨＤＭＩ３０１で受信したビデオ信号をＣＳＩで受信したビデオ信号に変換するために使用される。主制御ユニット３０３は、ＣＳＩで受信したビデオ信号に対して非同期タイムワープ処理及び非同期スペースワープ処理を行うために使用される。

【0050】

本出願によって提供されるこの画像処理装置３００は、ＨＤＭＩ３０１、信号変換ユニット３０２及び主制御ユニット３０３を含み、ビデオ信号を受信し、ＨＤＭＩ３０１で受信したビデオ信号をＣＳＩで受信したビデオ信号に変換し、ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩ１０１で受信したビデオ信号を生成することができる。このような画像処理装置３００により、それが適用された仮想現実機器がデータを伝送するとき、仮想現実機器の表示画面は比較的高い表示フレームレートを有し、同時に該仮想現実機器は、ＨＤＭＩ３０１を使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保する。

【0051】

具体的には、図４に示すように、この画像処理装置３００の主制御ユニット３０３は、具体的には、画像処理モジュール３０３１を含み得る。この画像処理モジュール３０３１は、最終的な表示画面のフレームレートを向上させるために、ＣＳＩで受信したビデオ信号に対して非同期タイムワープ処理及び非同期スペースワープ処理を行うために使用される。

【0052】

なお、信号変換ユニット３０２は、信号変換機能を有するデータ変換チップ又はマイクロプロセッサなどであってもよい。本出願は、データ変換チップであることが好ましく、同じ理由で、主制御ユニット３０３は、主制御チップであってもよい。上記のユニットの具体的な実施装置は、具体的な応用シーンによって決定されるべきである。本出願は、信号変換ユニット３０２及び主制御ユニット３０３の具体的な実施装置をさらに限定しない。

【0053】

以下、図５を参照しながら、本出願の別の実施例によって提供される仮想現実機器を説明する。

【0054】

図５は、本出願の別の実施例によって提供される仮想現実機器の構造模式図を示す。図５に示すように、この無線伝送の仮想現実機器は、具体的には、上記の実施例における画像処理装置３００を含む。画像処理装置３００は、任意のコンピュータ端末２００に通信接続される。

【0055】

本出願によって提供されるこの仮想現実機器は、それに通信接続された画像処理装置３００を含む。この画像処理装置３００は、ＨＤＭＩ３０１、信号変換ユニット３０２及び主制御ユニット３０３を含み、ビデオ信号を受信し、ＨＤＭＩ３０１で受信したビデオ信号をＣＳＩで受信したビデオ信号に変換し、ＣＳＩで受信したビデオ信号に対して、非同期タイムワープ処理及び非同期スペースワープ処理を行い、ＤＳＩ１０１で受信したビデオ信号を生成することができる。この画像処理装置３００により、それが適用された仮想現実機器の表示画面は比較的高い表示フレームレートを有し、同時に該仮想現実機器は、ＨＤＭＩ３０１を使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器の無線伝送時の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保する。

【0056】

また、この仮想現実機器は、任意のコンピュータ端末２００を含み得る。このコンピュータ端末２００は、コンピュータであっても、そこにコンピュータ機能が設けられた集積チップであってもよい。本出願は、コンピュータ端末２００の具体的な実施形態を限定しない。

【0057】

具体的には、本出願の一実施例では、この仮想現実機器は、仮想頭部装着ディスプレイ複合機機器であってもよい。仮想頭部装着ディスプレイ複合機機器は、統合の特徴を有し、仮想現実体験に必要な無線伝送機器４００とコンピュータ端末２００を１つの機器に統合し、データ線が不要になるだけでなく、機器の数が少なくなり、体積が小さくなり、ユーザの体験をさらに向上させ、製品の競争力を向上させることができる。

【0058】

１つの可能な実施形態では、図５に示すように、仮想現実機器はＤＳＩ１０１をさらに含む。機器は、ＤＳＩ１０１を介してビデオ信号を受信し、データの伝送をさらに実現する。図に示すようなものは、表示ユニット１０２と画像処理装置３００における主制御ユニット３０３をさらに含む。表示ユニット１０２は、処理ＤＳＩ１０１によって受信されたビデオ信号を表示して、音声及び画像を表示する目的を実現するために使用される。表示ユニット１０２によりデータ信号をビデオオーディオ信号に変換することによって、仮想現実の目的が実現されるので、伝送されたデータは、ユーザに見えるようになる。該主制御ユニット３０３は、仮想現実機器の主制御ユニット３０３である。

【0059】

具体的には、一実施例では、図６は、本出願の別の実施例によって提供される仮想現実機器の構造模式図を示す。図６に示すように、この仮想現実機器は、無線伝送機器４００をさらに含んでもよい。該無線伝送機器４００はそれぞれ画像処理装置３００に通信接続される。この無線伝送機器４００は、従来の有線の伝送方式を無線伝送に置き換え、コンピュータと仮想現実機器を接続するためにデータ線を使用する必要がなく、使用中のユーザの体験を効果的に向上させ、製品の市場競争力をさらに向上させる。

【0060】

さらに、図６に示すように、この無線伝送機器４００は、送信装置４０１及び受信装置４０２を含んでもよい。ここで、送信装置４０１はデータソースに通信接続され、データソースから送信されたビデオ信号を受信し、ビデオ信号をミリ波信号に変換し、次にミリ波信号を送信することによって、データソース信号の受信と送信を完了させるために使用される。受信装置４０２は送信装置４０１に無線接続され、送信装置４０１によって伝送されたミリ波信号を受信し、ミリ波信号をＨＤＭＩ３０１で受信したビデオ信号に変換し、次にＨＤＭＩ３０１で受信したビデオ信号を画像処理装置３００に伝送するために使用される。画像処理装置３００は、受信装置４０２に通信接続される。画像処理装置３００は、ＨＤＭＩ３０１、信号変換ユニット３０２及び主制御ユニット３０３をさらに含む。ＨＤＭＩ３０１は、受信装置４０２によって伝送されたビデオ信号を受信し、受信したＨＤＭＩ３０１で受信したビデオ信号をその他のユニットによって変換し処理する。この無線伝送機器４００は、従来の有線の伝送方式をミリ波信号の無線伝送来に置き換え、コンピュータと仮想現実機器を接続するためにデータ線を使用する必要がなく、使用中のユーザの体験を効果的に向上させ、製品の市場競争力をさらに向上させる。同時に画像処理装置３００を利用することによって、それが適用された仮想現実機器の表示画面は比較的高い表示フレームレートを有し、同時に該仮想現実機器は、ＨＤＭＩ３０１を使用せずにビデオ信号を受信して処理し、その中のビデオ及びオーディオデータを最大限に保存することができ、データ紛失の可能性を低減し、仮想現実機器の無線伝送時の低遅延性及びリフレッシュレートを効果的に改善し、高解像度の画質を確保する。

【0061】

１つの可能な実現方式では、仮想現実機器に使用されるこの無線伝送機器１００の無線伝送プロセス中のミリ波信号の周波数帯域は６０ＧＨＺである。６０ＧＨＺの周波数帯域のミリ波は、遅延が少なく帯域幅が広いという特徴を有するため、無線伝送機器４００の伝送信号周波数帯域として使用することで、無線伝送のプロセスをより高速且つ確実にすることができる。

【0062】

以下、図７を参照しながら、本出願の実施例による電子機器を説明する。図７は、本出願の一実施例によって提供される電子機器の構造模式図を示す。

【0063】

図７に示すように、電子機器６００は、１つ又は複数のプロセッサ６０１及びメモリ６０２を含む。

【0064】

プロセッサ６０１は、中央処理装置（ＣＰＵ）、あるいはデータ処理能力及び／又は情報実行能力を有する他の形式の処理装置であってもよく、電子機器６００における他の構成要素を制御して所望の機能を実行することができる。

【0065】

メモリ６０１は、１つ又は複数のコンピュータプログラム製品を含んでもよい。前記コンピュータプログラム製品は、例えば、揮発性メモリ及び／又は不揮発性メモリなど、様々な形式のコンピュータ読取可能な記憶媒体を含んでもよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。前記不揮発性メモリは、例えば、読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。前記コンピュータ読取可能な記憶媒体には、１つ又は複数のコンピュータプログラム情報が記憶されてもよい。プロセッサ６０１は、前記プログラム情報を実行して、上述した本出願の各実施例の仮想現実機器のための画像処理方法又は他の所望の機能を実現することができる。

【0066】

一例では、電子機器６００はまた、入力装置６０３と出力装置６０４を含んでもよい。これらの構成要素は、バスシステム及び／又は他の形式の接続機構（図示せず）を介して互いに接続される。

【0067】

この入力装置６０３は、例えば、キーボード、マウスなどを含んでもよい。

【0068】

この出力装置６０４は、外部に様々な情報を出力することができる。この出力装置６０４は、例えば、ディスプレイスクリーン、通信ネットワーク及びそれが接続される遠隔出力機器などを含んでもよい。

【0069】

当然のことながら、簡単化のために、図７は、電子機器６００における本出願に関連する構成要素の一部のみを示し、バス、入力／出力インターフェイスなどの構成要素を省略している。これに加えて、具体的な応用状況に応じて、電子機器６００は、任意の他の適切な構成要素を含んでもよい。

【0070】

上記の方法及び機器に加えて、本出願の実施例は、コンピュータプログラム情報を含むコンピュータプログラム製品であってもよい。前記コンピュータプログラム情報は、プロセッサによって実行されると、本明細書に記載の本出願の様々な実施例による仮想現実機器のための画像処理方法のステップを前記プロセッサに実行させる。

【0071】

前記コンピュータプログラム製品は、１種又は多種のプログラムプログラミング言語の任意の組み合わせで、本出願の実施例の操作を実行するためのプログラムコードを編集することができる。前記プログラミング言語は、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、また、「Ｃ」言語又は類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、ユーザ計算機器で完全に実行することができ、ユーザ機器で部分的に実行することができ、独立したソフトウェアパッケージとして実行することができ、一部はユーザ計算機器で一部は遠隔計算機器で実行することができ、あるいは遠隔計算機器又はサーバーで完全に実行することができる。

【0072】

さらに、本出願の実施例は、コンピュータプログラム情報が格納されたコンピュータ読取可能な記憶媒体であってもよい。前記コンピュータプログラム情報は、プロセッサによって実行されると、前記プロセッサに、本明細書における本出願の様々な実施例による仮想現実機器のための画像処理方法のステップを実行させる。

【0073】

前記コンピュータ読取可能な記憶媒体は、１つ又は複数の読取可能な媒体の任意の組み合わせを採用してもよい。読取可能な媒体は、読取可能な信号媒体又は読取可能な記憶媒体であってもよい。読取可能な記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置若しくはデバイス、又は上記の任意の組み合わせを含んでもよいが、これらに限定されない。読取可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つ又は複数のリード線を有する電気的な接続、携帯型ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記の任意の組み合わせを含む。

【0074】

以上、本出願の基本原理を具体的な実施例と併せて説明したが、本発明で述べた利点、長所、効果などは例示に過ぎず、限定的なものではなく、これらの利点、長所、効果などは、本出願の各実施例に必要なものと考えるべきではないことに留意されたい。また、上記に開示された具体的な詳細は、例示的な目的及び理解を容易にする目的のためのものであって限定するものではなく、上記の詳細は、上記の具体的な詳細を用いて本出願を実施しなければならないことを限定するものではない。

【0075】

本出願に関わるデバイス、装置、機器、システムのブロック図は、例示的な例に過ぎず、ブロック図に示されるように接続、布置、配置されなければならないことを要求又は暗示することを意図するものではない。当業者が理解するように、これらのデバイス、装置、機器、システムは、任意の方式で接続、布置、配置することができる。「含む」、「包含する」、「有する」などの用語は、「含むが、これに限定されない」という意味の開放式の用語であり、それと互換的に使用することができる。ここで使用される「又は」と「及び」という用語は、文脈上明らかにそうではないことが示されない限り、「及び／又は」という用語を意味し、それと互換的に使用することができる。ここで使用される「など」という用語は、「などであるがそれに限定されない」という語句を意味し、それと互換的に使用することができる。

【0076】

なお、本出願の装置、機器及び方法では、各部材又は各ステップは、分解及び／又は再結合することができる。これらの分解及び／又は再結合は、本出願の等価物とみなされるべきである。

【0077】

当業者が本出願を作成又は使用できるように、開示される態様の以上の説明は提供される。これらの態様に対する様々な修正は、当業者には非常に明らかであり、ここで定義された一般的な原理は、本出願の範囲から逸脱することなく他の側面に適用することができる。従って、本出願は、ここで示される態様に限定されることを意図するものではなく、本発明の原理と新規な特徴と一致する最も広い範囲に従うものである。

【0078】

上述は本出願の創造の好適な実施例に過ぎず、本出願の創造を限定するものでなく、本出願の創造の精神及び原則内に属する限り、行われるすべての修正、同等の置き換えなどは、いずれも本出願の創造の保護範囲内に含まれるべきである。

【符号の説明】

【0079】

１０１、ＤＳＩ；１０２、表示ユニット；２００、コンピュータ端末；３００、画像処理装置；３０１、ＨＤＭＩ；３０２、信号変換ユニット；３０３、主制御ユニット；３０３１、画像処理モジュール；４００、無線伝送機器；４０１、送信装置；４０２、受信装置；６００、電子機器；６０１、プロセッサ；６０２、メモリ；６０３、入力装置；６０４、出力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】