特許 7557442 ３ＤＣＧレンダリング装置、システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】３ＤＣＧレンダリング装置、システム、方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240919BHJP

   H04N 13/268 20180101ALI20240919BHJP

【ＦＩ】

G06T19/00 300B

H04N13/268

【請求項の数】 15

(21)【出願番号】P 2021138111

(22)【出願日】2021-08-26

(65)【公開番号】P2023032162

(43)【公開日】2023-03-09

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小林 達也

【審査官】渡部 幸和

(56)【参考文献】

【文献】特開２０２１－０１５３７２（ＪＰ，Ａ）

【文献】特開２０１９－０９５９１６（ＪＰ，Ａ）

【文献】特開２０１０－０３９５５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００ － １５／８７

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ １３／００ － １３／３９８

(57)【特許請求の範囲】

【請求項1】

3DCGをユーザ視点でレンダリングして生成したレンダリング画像を出力する3DCGレンダリング装置において、
ユーザの各時刻における視点を、基準時刻tでは基準視点として推定し、基準時刻から遅延時間τだけ経過した最新時刻t+τでは最新視点として推定する視点推定手段と、
前記遅延時間τの予測時間τ'および基準視点に基づいて、前記基準時刻tから予測時間τ'が経過した予測時刻t+τ'におけるユーザの視点を予測視点として計算する視点予測手段と、
前記予測視点のレンダリング画像を生成してその深度画像と共に出力するレンダリング手段と、
最新時刻において、前記予測視点のレンダリング画像をその深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正する画像補正手段とを具備し、
前記最新視点のレンダリング画像を出力することを特徴とする3DCGレンダリング装置。

【請求項2】

前記視点予測手段は予測時刻におけるユーザの左右の眼の予測視点を計算し、
前記レンダリング手段は各予測視点のレンダリング画像および各予測視点の中間視点に対応する深度画像を出力し、
前記画像補正手段は、予測視点の各レンダリング画像を、前記中間視点の深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正することを特徴とする請求項１に記載の3DCGレンダリング装置。

【請求項3】

前記視点予測手段は予測時刻におけるユーザの予測視点およびその周辺視点である予測周辺視点を計算し、
前記レンダリング手段は予測視点のレンダリング画像およびその予測周辺視点の周辺レンダリング画像のうち少なくとも周辺レンダリング画像およびその深度画像を出力し、
前記画像補正手段は、前記予測視点のレンダリング画像およびその予測周辺視点の周辺レンダリング画像のうち少なくとも周辺レンダリング画像を最新視点のレンダリング画像に補正することを特徴とする請求項１に記載の3DCGレンダリング装置。

【請求項4】

前記視点予測手段は予測時刻におけるユーザの左右の眼の予測視点を計算し、
3DCGモデルの中心を通る、頭部運動の回転軸を中心として、前記左右の眼の予測視点の一方を順方向に、他方を逆方向に、それぞれ所定の角度だけ回転させた位置を予測周辺視点として算出することを特徴とする請求項３に記載の3DCGレンダリング装置。

【請求項5】

前記所定の角度が前記回転軸を中心とする頭部運動の速度に応じて、当該速度が速いほど大きな角度に設定されることを特徴とする請求項４に記載の3DCGレンダリング装置。

【請求項6】

前記画像補正手段は、最新時刻と予測時刻との差分に基づいて前記予測時間τ'の最適値を計算して前記視点予測手段へフィードバックし、前記視点予測手段は基準時刻tから前記最適値が経過した時刻を予測時刻として予測視点を計算することを特徴とする請求項１ないし５のいずれかに記載の3DCGレンダリング装置。

【請求項7】

ユーザ視点でレンダリング画像を表示するローカル端末と3DCGをユーザ視点でレンダリングしてローカル端末へ伝送するレンダリングサーバとをネットワークで接続して構成される3DCGレンダリングシステムにおいて、
前記ローカル端末が、
ユーザの各時刻における視点を、基準時刻tでは基準視点として推定し、基準時刻から遅延時間τだけ経過した最新時刻t+τでは最新視点として推定する視点推定手段を具備し、
前記レンダリングサーバが、
前記遅延時間τの予測時間τ'および基準視点に基づいて、前記基準時刻tから予測時間τ'が経過した予測時刻t+τ'におけるユーザの視点を予測視点として計算する視点予測手段と、
前記予測視点のレンダリング画像を生成してその深度画像と共に出力するレンダリング手段を具備し、
前記ローカル端末が更に、
最新時刻において、前記予測視点のレンダリング画像をその深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正する画像補正手段を具備し、
前記最新視点のレンダリング画像を出力することを特徴とする3DCGレンダリングシステム。

【請求項8】

前記視点予測手段は予測時刻におけるユーザの左右の眼の予測視点を計算し、
前記レンダリング手段は各予測視点のレンダリング画像および各予測視点の中間視点に対応する深度画像を出力し、
前記画像補正手段は、予測視点の各レンダリング画像を、前記中間視点の深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正することを特徴とする請求項７に記載の3DCGレンダリングシステム。

【請求項9】

前記視点予測手段は予測時刻におけるユーザの予測視点およびその周辺視点である予測周辺視点を計算し、
前記レンダリング手段は予測視点のレンダリング画像およびその予測周辺視点の周辺レンダリング画像のうち少なくとも周辺レンダリング画像およびその深度画像を出力し、
前記画像補正手段は、前記予測視点のレンダリング画像およびその予測周辺視点の周辺レンダリング画像のうち少なくとも周辺レンダリング画像を最新視点のレンダリング画像に補正することを特徴とする請求項７に記載の3DCGレンダリングシステム。

【請求項10】

前記視点予測手段は予測時刻におけるユーザの左右の眼の予測視点を計算し、
3DCGモデルの中心を通る、頭部運動の回転軸を中心として、前記左右の眼の予測視点の一方を順方向に、他方を逆方向に、それぞれ所定の角度だけ回転させた位置を予測周辺視点として算出することを特徴とする請求項９に記載の3DCGレンダリングシステム。

【請求項11】

前記所定の角度が前記回転軸を中心とする頭部運動の速度に応じて、当該速度が速いほど大きな角度に設定されることを特徴とする請求項１０に記載の3DCGレンダリングシステム。

【請求項12】

前記画像補正手段は、最新時刻と予測時刻との差分に基づいて前記予測時間τ'の最適値を計算して前記視点予測手段へフィードバックし、前記視点予測手段は基準時刻tから前記最適値が経過した時刻を予測時刻として予測視点を計算することを特徴とする請求項７ないし１１のいずれかに記載の3DCGレンダリングシステム。

【請求項13】

前記レンダリングサーバからローカル端末への伝送ビットレートが、前記最新視点と予測視点との差分に応じて可変であることを特徴とする請求項７ないし１２のいずれかに記載の3DCGレンダリングシステム。

【請求項14】

コンピュータが、3DCGをユーザ視点でレンダリングして生成したレンダリング画像を出力する3DCGレンダリング方法において、
ユーザの各時刻における視点を、基準時刻tでは基準視点として推定し、基準時刻から遅延時間τだけ経過した最新時刻t+τでは最新視点として推定し、
前記遅延時間τの予測時間τ'および基準視点に基づいて、前記基準時刻tから予測時間τ'が経過した予測時刻t+τ'におけるユーザの視点を予測視点として計算し、
前記予測視点のレンダリング画像を生成してその深度画像と共に出力し、
最新時刻において、前記予測視点のレンダリング画像をその深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正し、
前記最新視点のレンダリング画像を出力することを特徴とする3DCGレンダリング方法。

【請求項15】

3DCGをユーザ視点でレンダリングして生成したレンダリング画像を出力する3DCGレンダリングプログラムにおいて、
ユーザの各時刻における視点を、基準時刻tでは基準視点として推定し、基準時刻から遅延時間τだけ経過した最新時刻t+τでは最新視点として推定する手順と、
前記遅延時間τの予測時間τ'および基準視点に基づいて、前記基準時刻tから予測時間τ'が経過した予測時刻t+τ'におけるユーザの視点を予測視点として計算する手順と、
前記予測視点のレンダリング画像を生成してその深度画像と共に出力する手順と、
最新時刻において、前記予測視点のレンダリング画像をその深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正する手順とを含み、
前記最新視点のレンダリング画像を出力すること、をコンピュータに実行させることを特徴とする3DCGレンダリングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、3DCGをユーザの視点でレンダリングしてレンダリング画像を出力する3DCGレンダリング装置、システム、方法およびプログラムに係り、特に、ユーザの視点が高速に変化する場合でも高品質な運動視差表現を伴う画像を出力できる3DCGレンダリング装置、システム、方法およびプログラムに関する。

【背景技術】

【0002】

3DCGを用いた立体的な映像表現方式として、ヘッドマウントディスプレイ（HMD）等の頭部装着型のディスプレイを用いる方式と、ライトフィールドディスプレイ等の据え置き型の3Dディスプレイを用いる方式とが存在する。

【0003】

いずれの方式でもユーザの頭部姿勢（両眼の位置）を正確に推定し、ユーザの左右の眼に対応した視点で3DCGをレンダリングし、得られた2視点の映像をユーザの両眼に提示する必要がある。これにより、あたかも3DCGが眼の前に存在するかのような立体的な映像をユーザに提示することが可能になる。

【0004】

このとき、実際とは異なる視点でレンダリングされた映像が提示されると、サイバーシックネス（VR酔い）と呼ばれる現象が生じて体感品質が著しく損なわれる。また、システムが3DCGをレンダリングしてディスプレイに表示するまでの間もユーザの頭部姿勢は絶えず変化するため、特にユーザが頭部を意識的に動かすような場合には、表示遅延（Motion-to-Photon Latency）が頭部姿勢の大きな誤差に繋がり、現実と映像の頭部姿勢との不一致（3DCG表示の幾何学的な不整合）により体感品質が大きく損なわれる恐れがある。

【0005】

非特許文献１には、ディスプレイ表示までの遅延時間に基づき、ユーザの両眼の位置の予測を行うことで誤差を低減し、映像品質を向上する技術が開示されている。

【0006】

一方、近年のモバイルネットワークの技術向上に伴い、高画質映像を低遅延で伝送することが可能になり、3DCGのレンダリングをクラウドサーバで行い、HMDは映像を受信して再生する形式の3DCGレンダリングシステムが登場している。

【0007】

このようなシステムでは、上述の表示処理遅延に加えて、ネットワークの伝送に必要な時間分の遅延が生じるため、レンダリング時に想定していた頭部姿勢と実際に映像を表示した瞬間の頭部姿勢との誤差が大きくなり、体感品質が大きく劣化する恐れがある。

【0008】

特許文献１には、サーバ側でのユーザの頭部姿勢の予測に加えて、HMD側で映像受信後に最新の頭部姿勢を推定し、最新の頭部姿勢に合うように映像の表示位置補正を行う技術が開示されている。

【0009】

特許文献２には、HMDにおいてレンダリング映像の生成後に最新の頭部姿勢を推定した後、頭部姿勢の再予測を行い、再予測結果に合うように映像の表示位置補正を行う技術が開示されている。

【0010】

特許文献３には、映像の表示補正の具体的方法として、画像全体または物体領域ごとのアフィン変換（平行移動、回転、およびスケーリング）を用いる方法が開示されている。

【先行技術文献】

【特許文献】

【0011】

【文献】特開2021-56783号公報

【文献】特開2017-76119号公報

【文献】特表2019-532395号公報

【非特許文献】

【0012】

【文献】S. Lee, B. Kang and D. Nam, "Position Prediction for Eye-tracking based 3D Display", Digital Holography and 3-D Imaging, 2019

【発明の概要】

【発明が解決しようとする課題】

【0013】

上記のいずれの先行技術であっても、頭部姿勢の予測誤差に起因するモデルの運動視差表現に関する幾何学的な不整合を解消することは困難であり、特に、ユーザに近い奥行き距離で表示される3DCGの表示について体感品質が損なわれるという課題があった。

【0014】

非特許文献1では、ユーザの両眼位置の予測誤差がモデル表示の幾何学的不整合に直結する。両眼位置の予測は線形予測で行われるため、ユーザの頭部が急に動き出したり、急に止まったりすると不整合が拡大してしまう。

【0015】

特許文献1，2では、最新の頭部姿勢の情報を用いて映像表示位置が補正されるものの、補正は平行移動に限定される。したがって、ユーザの頭部姿勢（両眼の位置）が並進運動を伴わない回転運動のみであれば正確な補正が可能であるものの、並進運動に起因する見え方の変化については補正ができず、幾何学的不整合が発生する。

【0016】

並進運動に起因する見え方の変化（運動視差表現）は複数のオブジェクト同士の前後の位置関係に応じて生じる。例えば、ユーザ頭部の並進運動に伴う各オブジェクトの表示位置の移動速度の違いや、オブジェクト同士が重なり合うことによる遮蔽（オクルージョン）状態の変化、単一のオブジェクトにおける見え方の変化（例：頭部が右に動くと新しく右側の面が見えたり、左に動くと新しく左側の面が見えたりする）などがある。

【0017】

特許文献3では、複数のオブジェクト同士の位置関係に伴う運動視差表現については比較的正しく補正されるが、単一のオブジェクトにおける見え方の変化については補正することができない。そのため、特に3DCGがユーザに近い奥行に表示される際に幾何学的不整合が発生するという課題があった。

【0018】

本発明の目的は、上記の技術課題を解決し、レンダリング映像と深度画像とを合わせてディスプレイデバイスへ伝送し、ディスプレイデバイスでの画像補正の際に、最新の頭部姿勢と深度画像を用いた三次元的な画像補正を行うことにより、頭部姿勢の予測誤差が大きい場合でも正確な運動視差表現を実現できる3DCGレンダリング装置、システム、方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0019】

上記の目的を達成するために、本発明は、ユーザ視点でレンダリング画像を表示するローカル端末と3DCGをユーザ視点でレンダリングしてローカル端末へ伝送するレンダリングサーバとをネットワークで接続して構成される3DCGレンダリングシステムにおいて、以下の構成を具備した点に特徴がある。

【0020】

(1) ローカル端末が、ユーザの各時刻における視点を、基準時刻では基準視点として推定し、基準時刻から遅延時間だけ経過した最新時刻では最新視点として推定する視点推定手段を具備し、レンダリングサーバが、基準視点のレンダリング画像を生成してその深度画像と共に出力するレンダリング手段を具備し、ローカル端末が更に、最新時刻において、前記基準視点のレンダリング画像をその深度画像、基準視点および最新視点に基づいて最新視点のレンダリング画像に補正する画像補正手段を具備した。

【0021】

(2) レンダリングサーバが、遅延時間τの予測時間および基準視点に基づいて、前記基準時刻から予測時間が経過した予測時刻におけるユーザの視点を予測視点として計算する視点予測手段を更に具備し、レンダリング手段は、前記予測視点のレンダリング画像およびその深度画像を出力し、画像補正手段は、前記予測視点のレンダリング画像をその深度画像、予測視点および最新視点に基づいて最新視点のレンダリング画像に補正するようにした。

【0022】

(3) 予測視点のレンダリング画像を最新視点のレンダリング画像に補正する際、予測視点のレンダリング画像の代わりに、あるいは予測視点のレンダリング画像と共に、周辺レンダリング画像を用いるようにした。

【0023】

(4) 画像補正手段は、最新時刻と予測時刻との差分に基づいて予測時間の最適値を計算して前記視点予測手段へフィードバックし、視点予測手段は基準時刻から前記最適値が経過した時刻を予測時刻として予測視点を計算するようにした。

【0024】

(5) レンダリングサーバからローカル端末への伝送ビットレートを前記最新視点と予測視点との差分に応じて可変とした。

【発明の効果】

【0025】

(1) 基準視点のレンダリング画像を、その深度画像および最新視点に基づいて最新視点のレンダリング画像に補正するので、深度画像を用いずに補正する場合よりも画像補正に立体的な変化を反映することができる。したがって、ユーザの視点がレンダリング中に大きく変化する場合でも精度の高い画像補正が可能となり、高品質な運動視差表現を伴う映像をユーザに提示できるようになる。

【0026】

(2) 基準視点に基づいて予測視点を計算し、予測視点のレンダリング画像を、その深度画像および最新視点に基づいて最新視点のレンダリング画像に補正するので、基準視点のレンダリング画像を補正する場合よりも補正量を少なくできる。したがって、精度の高い画像補正が可能となってレンダリング画像の品質を更に向上させることができる。

【0027】

(3) 予測視点のレンダリング画像の代わりに、あるいは予測視点のレンダリング画像と共に周辺レンダリング画像を用いることで、レンダリング手段と画像補正手段との間での通信量を削減しつつディスオクルージョンの問題を軽減できるようになる。

【0028】

(4) 最新視点と予測視点との差分に基づいて予測時間の最適値を計算して視点予測手段へフィードバックするので最新視点と予測視点との誤差を小さくできる。その結果、予測視点のレンダリング画像を補正する場合の補正量を少なくできるので、精度の高い画像補正が可能となってレンダリング画像の品質を更に向上させることができる。

【0029】

(5) 予測視点と最新視点との差分に応じてレンダリング画像や深度画像の伝送ビットレートを可変としたので、伝送遅延量の低減および体感品質の向上を両立させることができる。

【図面の簡単な説明】

【0030】

【図1】本発明の第1実施形態に係る3DCGレンダリングシステムの機能ブロック図である。

【図2】画像補正部の機能ブロック図である。

【図3】レンダリング結果の見え方を比較した図である。

【図4】本発明の第2実施形態に係る3DCGレンダリング装置の機能ブロック図である。

【図5】予測周辺視点を利用したレンダリング方法を示した図（その1）である。

【図6】予測周辺視点を利用したレンダリング方法を示した図（その2）である。

【図7】予測周辺視点を利用したレンダリング方法を示した図（その3）である。

【図8】本発明の第3実施形態に係る3DCGレンダリングシステムの機能ブロック図である。

【図9】本発明の第4実施形態に係る3DCGレンダリング装置の機能ブロック図である。

【発明を実施するための形態】

【0031】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第1実施形態に係る3DCGレンダリングシステムの主要部の構成を示したブロック図であり、ユーザによる3DCGの鑑賞に供されるローカル端末（本実施形態では、ディスプレイデバイス）1と3DCGのレンダリングに供されるレンダリングサーバ2とをネットワークNWで接続して構成される。

【0032】

ディスプレイデバイス1は通信部10，視点推定部11，画像補正部12およびディスプレイ部13を備える。ディスプレイ部13に代えて映像出力用のインタフェースを設け、汎用のディスプレイ装置が接続されるようにしても良い。レンダリングサーバ2は通信部20，視点予測部21およびレンダリング部22を備える。

【0033】

ディスプレイデバイス1において、視点推定部11は3Dモデルを鑑賞するユーザのグローバル座標系での視点情報Pを推定する。本実施形態では、基準時刻tにおいて左右の眼の各視点情報Pt（以下、基準視点Ptと表現する場合もある）を推定し、更に当該基準時刻tから所定の遅延時間τだけ経過した最新時刻t+τにおいて各視点情報Pt+τ（以下、最新視点Pt+τと表現する場合もある）を推定する。

【0034】

ここで、基準時刻tは視点情報を推定した瞬間の時刻を意味し、遅延時間τは基準視点Ptに基づいて生成したレンダリング画像を、後に詳述する画像補正部12が最新視点Pt+τのレンダリング画像に補正するまでの経過時間である。前記基準視点Ptは通信インタフェース10およびネットワーク経由でレンダリングサーバ2へ送信される。前記最新視点Pt+τは画像補正部12へ提供される。

【0035】

前記視点推定部11は、表示するディスプレイ部13の形式に応じて任意の視点推定技術を用いてユーザの視点情報Pを推定する。例えば、ディスプレイがHMDであれば当該HMDに搭載されたトラッカー（一般にカメラや加速度センサ、ジャイロスコープ等のセンサを用いて6自由度の頭部姿勢を推定）を用いることが可能であるし、ライトフィールドディスプレイであれば、ディスプレイに搭載されたアイトラッカー（一般にハイスピードカメラや深度センサを用いて両眼の三次元位置を推定）を用いることが可能である。

【0036】

本実施形態では視点情報Pの形式を特に限定しない。一般に、3Dモデルの各頂点をディスプレイ面に表示するための幾何変換には4×4のモデルビュープロジェクション（MVP）行列の情報が必要である。MVP行列の算出は、例えばグローバル座標系における両眼の三次元位置と視点方向（片眼につき6自由度）、あるいはグローバル座標系における頭部の三次元位置と方向（合計6自由度）等で可能であるため、視点情報をこれらの形式で扱うことが望ましい。なお、MVP行列そのものを視点情報として扱っても良い。

【0037】

レンダリングサーバ2において、通信部20はネットワーク経由で視点推定部11から基準視点Ptを取得する。視点予測部21は前記遅延時間τの予測時間τ'に基づいて、ユーザの予測時刻t+τ'における視点情報P't+τ'（以下、予測視点P't+τ'と表現する場合もある）を計算する。

【0038】

このような遅延時間τの予測時間τ'は、一般にMotion-to-Photon Latencyと呼ばれ、3DCGのレンダリング処理やディスプレイ表示処理、各処理間のデータ通信処理の時間等、諸々の処理時間を合算したものである。予測時間τ'は前記遅延時間τと一致することが望ましいが、遅延時間τは様々な要因で変動し、当該時点で正確に予測することは難しい。したがって、予測時間τ'は固定値であっても良いし、ユーザが動的に調整できるようにしても良い。

【0039】

前記視点予測部21は、任意の視点予測技術を用いて予測時刻t+τ'におけるユーザの予測視点P't+τ'を計算する。例えば、一般的な時系列フィルタであるカルマンフィルタ等を用いることで、過去の視点情報の時系列データから未来の視点情報を推定できる。非特許文献1には、視点情報の時系列データに対して2種類の平滑化フィルタ（移動平均法とSavitzky-Golay法）を適用してジッタノイズを取り除いた後、時系列フィルタで予測視点を推定する手法が開示されている。

【0040】

レンダリング部22は、視点予測部21から提供される予測視点P't+τ'を用いて3DCGをレンダリングすることで予測視点P't+τ'のレンダリング画像およびその深度画像を生成する。本実施形態では、利用する3Dモデルの形式を特に限定しないが、頂点座標／法線／色／テクスチャ座標等を含んだ一般的な3Dモデルの利用を想定している。

【0041】

ここで、レンダリング画像とは一般的な3DCGのレンダリング結果であるRGBのカラー画像を指し、予測視点P't+τ'からモデルビュープロジェクション行列M't+τ'を算出し、3DCGのレンダリングを行うことで生成できる。

【0042】

なお、両眼立体視を行う場合は左右の眼に対応した異なる2枚のRGBカラー画像を生成する。その際、左右の眼に対応した異なる二つのモデルビュープロジェクション行列ML't+τ'およびMR't+τ'を算出し、それぞれレンダリングを行う。

【0043】

前記レンダリング部22は、入力された視点情報から3DCGのレンダリングを行う際に、一般にZバッファと呼ばれるメモリ領域から左右の眼の深度画像D（D^L，D^R）を取得し、レンダリング画像と合わせてネットワーク経由で画像補正部12へ提供する。

【0044】

ディスプレイデバイス1において、画像補正部12は、レンダリングサーバ2のレンダリング部22からは前記予測視点P't+τ'，レンダリング画像およびその深度画像D（D^L，D^R）を取得すると、視点推定部11から最新時刻t+τにおける最新視点Pt+τを取得する。そして、予測視点P't+τ'でレンダリングされているレンダリング画像を最新視点Pt+τでレンダリングされた画像に近似的に変換する画像補正を行う。

【0045】

両眼立体視を行う場合、画像補正部12は両眼の各レンダリング画像I^L，I^Rに対して補正処理を行うことで補正レンダリング画像I^L"，I^R"を生成し、これを出力用のレンダリング画像としてディスプレイ部13へ出力する。

【0046】

図2は、前記画像補正部12の構成を示した機能ブロック図であり、補正深度画像生成部121および補正画像生成部122を主要な構成としている。ここでは両眼立体視を例にして画像補正部12の動作を説明する。

【0047】

補正深度画像生成部121は、前記予測視点P't+τ'、最新視点Pt+τおよび深度画像D^L，D^R に基づいて、最新視点Pt+τに対応する補正深度画像D^L"，D^R"を生成する。補正画像生成部122は、前記予測視点P't+τ'、最新視点Pt+τ、レンダリング画像I^L，I^Rおよび補正深度画像D^L",D^R"に基づいて、最新視点Pt+τに対応する補正画像（補正レンダリング画像）I^L"，I^R"を生成する。

【0048】

前記補正深度画像生成部121は、深度画像D^L，D^R のピクセル座標を視点変換することで補正深度画像D^L"，D^R"を生成する。本実施形態では、予測視点P't+τ'および最新視点Pt+τに基づいて、グローバル座標系における深度画像D^Lの三次元座標X_dを補正深度画像D^L"の三次元座標X_dL"に変換する回転行列R_dLおよび並進ベクトルt_dLを算出する。

【0049】

更に深度画像Dの各ピクセル座標(u_d, v_d)およびその深度値d(u_d, v_d)を次式(1)に適用することで三次元座標(X_d ^L",Y_d ^L",Z_d ^L")に変換（逆投影）する。この三次元座標に次式(2)を適用することで補正深度画像D^L"の対応する二次元ピクセル座標(u_d ^L",v_d ^L")を算出する。次式(3)に示す通り、その深度値d^L"(u_d ^L",v_d ^L")は三次元座標のZ_d ^L"の値となる。

【0050】

【数1】

【0051】

ここで、Kはカメラの内部パラメータ行列であり、使用するディスプレイデバイス1に適合する値が予め設定されているものとする。あるいはディスプレイ部13から適切なパラメータ行列を所定のAPI経由で取得しても良いし、本システムの初回起動時に所定のHMDキャリブレーション手法を適用して自動的に求めても良い。

【0052】

本実施形態では、上記の各処理を深度画像D^Lの全てのピクセル座標に対して行うことで深度画像D^Lを補正深度画像D^L"に変換できる。また、上記の各手順を右眼に関しても繰り返すことで右眼用の補正深度画像D^R''を生成できる。

【0053】

なお、深度画像Dの代わりに当該深度画像Dを縮小（低解像度化）した縮小深度画像Dsを用いて縮小補正深度画像Ds^L"，Ds^R"を生成し、当該縮小補正深度画像Ds^L"，Ds^R"を拡大処理することでD^L"，D^Rを生成しても良い。これにより画素の変換回数を削減できるので処理負荷の低減が期待できる。

【0054】

また、生成された補正深度画像D^Lは一般にノイズや欠損を含むため、メジアンフィルタやバイラテラルフィルタを適用することによってノイズ除去や平滑化を行っても良い。

【0055】

また、複数の深度画像Dが提供されている場合は全ての深度画像Dに上記の各処理を行い、深度画像Dごとに得られる補正深度画像を統合する。これにより、ディスオクルージョン領域の欠損が補正された補正深度画像が得られる。

【0056】

補正画像生成部122は、予測視点P't+τ'のレンダリング画像I（I^L,I^R）を入力として、そのピクセル座標の視点変換により最新視点Pt+τのレンダリング画像（補正画像）I^L'',I^R''を生成する。具体的には、予測視点P't+τ'および基準視点Pt+τに基づいて、グローバル座標系におけるレンダリング画像I^Lの三次元座標X_iLを補正画像I^L''の三次元座標X_iL''に変換する回転行列R_iLおよび並進ベクトルt_iLを算出し、補正画像I^L''のピクセル座標（u_iL'',v_iL''）に対応するレンダリング画像I^Lのピクセル座標（u_iL,v_iL）を次式(4)で算出する。

【0057】

【数2】

【0058】

ここで、レンダリング画像I^Lのピクセル座標（u_iL,v_iL）のカラー値を参照することで補正画像I^L''のカラー値が取得できる。上記の各処理を補正画像I^L''の全てのピクセル座標に対して繰り返すことで左眼用の補正画像I^L''を生成できる。更に回転行列および並進ベクトルを右眼用に切り替えて同様の処理を繰り返すことで右眼用の補正画像I^R''も生成できる。

【0059】

なお、一般に特定の視点で撮影またはレンダリングされた映像から新しい視点の映像を生成する技術はNovel View Synthesis（NVS）として知られており、数多くの手法が存在する。したがって、本実施形態の画像補正部12も図2の構成に限定されるものではなく、任意のNVS手法を適用できる。

【0060】

また、本実施形態ではレンダリングサーバ2からディスプレイデバイス1へ伝送されるレンダリング画像およびその深度画像はH.264等の任意の映像符号化手法により符号化圧縮される。このとき、画像補正部12が予測視点P't+τ'と最新視点Pt+τとの差分を算出し、当該差分が所定の閾値以上であればレンダリングサーバ2へビットレート制御情報を提供し、通信部20はレンダリング画像のビットレート（画質・解像度）を下げるようにしても良い。

【0061】

このように、予測視点P't+τ'と最新視点Pt+τとの差分が大きく、視点予測の精度が低下すると画像補正の精度も低下するところ、本実施形態では当該差分に応じてレンダリング画像のビットレートを下げることで伝送の遅延量を低減させるので、視点推定の精度が高まるので画像補正の精度向上が期待できる。これにより、視点予測の精度が悪い場合でも効果的に画像補正の精度を向上させることができ、体感品質を向上させることができる。

【0062】

あるいは、画像補正部12が予測視点P't+τ'と最新視点Pt+τとの差分が所定の閾値以上の場合にレンダリングサーバ2へビットレート制御情報を提供し、通信部20は深度画像のビットレート（画質・解像度）を上げるようにしても良い。前記差分が大きいと視点予測の精度が低下し、画像補正の精度も低下するところ、本実施形態では当該差分に応じて深度画像のビットレートが上がり、精度が向上するので、画像補正の精度向上が期待できる。これにより、視点予測の精度が悪い場合でも効果的に画像補正の精度を向上させることができ、体感品質を向上させることができる。

【0063】

ここで、画像補正部12は予測視点P't+τ'と最新視点Pt+τとの差分を算出する際に、視点変換（三次元座標変換）の際の並進ベクトルt_iLのノルムが所定の閾値以上の場合にレンダリング画像のビットレートを下げる、あるいは深度画像のビットレートを上げるようにしても良い。これにより立体的な画像補正量が大きい場合にのみ、効果的に遅延量を削減あるいは深度画像の精度を向上させることができるので、画像補正の精度を向上させることができる。

【0064】

なお、通信部10，20間の通信路は一般的なインターネット、WAN、LAN等のネットワークに限定されるものではなく、Bluetoothに代表されるp2pネットワークでも良いし、USBに代表されるシリアル通信でも良い。

【0065】

ディスプレイ部13は、画像補正部12が出力する補正画像をディスプレイに表示する。本実施形態では、ディスプレイ部13として片眼／両眼HMD、スマートフォン、タブレット、ライトフィールドディスプレイ等、様々なディスプレイデバイスを用いることが可能であり、特にディスプレイの種類を限定するものではない。一方、ディスプレイ部13が使用する補正画像の枚数に応じて、レンダリング部22や画像補正部12は適切な枚数（視点数）のレンダリング画像を生成する必要がある。

【0066】

例えば、片眼HMD、スマートフォンまたはタブレットの場合、レンダリング画像や補正画像の枚数は1枚である。これに対して、両眼HMDや視点追跡型のライトフィールドディスプレイの場合はレンダリング画像や補正画像が2枚必要となる。更に、3視点以上の画像の入力が必要なライトフィールドディスプレイ（多眼ディスプレイや超多眼ディスプレイ）の場合は、レンダリング部22や画像補正部12はディスプレイに必要な枚数（視点数）のレンダリング画像および補正画像を生成する。

【0067】

図3は、実際の両眼位置でのレンダリング画像の見え方を正解画像として、本実施形態による見え方と他の手法による見え方とを比較した図である。

【0068】

予測視点P't+τ'でのレンダリング画像は遅延時間τの影響により正解画像との乖離が大きくなる。また、予測視点P't+τ'でのレンダリング画像を最新視点Pt+τで補正する従来手法では、補正に立体的な変化を反映できないことが原因で中程度の乖離が生じる。これに対して、本実施形態のように予測視点P't+τ'でのレンダリング画像を最新視点Pt+τおよび深度画像で補正すれば、補正に立体的な変化を反映できるので乖離を少なくできる。

【0069】

図4は、本発明の第2実施形態に係る3DCGレンダリング装置3の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

【0070】

上記の第1実施形態では、本発明を実現する構成がディスプレイデバイス1とレンダリングサーバ2とに分散配置され、ディスプレイデバイス1およびレンダリングサーバ2がネットワーク経由で協調動作するシステムにより本発明の機能を実現するものとして説明した。

【0071】

これに対して、本実施形態では各機能が1台の3DCGレンダリング装置3で実現されている。このような3DCGレンダリング装置3は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0072】

本実施形態では、第1実施形態において考慮したネットワーク遅延を考慮する必要が無いので、前記視点予測部21は遅延時間τの予測時間τ'からネットワーク遅延相当分を除去できる。その結果、遅延時間τと予測時間τ'と差分が小さくなるので、画像補正部12による補正後の視点の精度を向上させることができる。

【0073】

また、上記の各実施形態では視点予測部21が予測視点P't+τ'の計算に用いる遅延時間τが固定的であるものとして説明したが、本発明はこれのみに限定されるものではなく、遅延時間τの予測時間τ'との差分に基づいて適応的に制御されても良い。

【0074】

すなわち、画像補正部12が最新時刻t+τと予測時刻t+τ'との差分を最小化する予測時間τ'の最適値を計算して視点予測部21へフィードバックし、視点予測部21が当該最適値を予測時間τ'として予測視点P't+τ'を計算するようにしても良い。これにより最新視点Pt+τに対する予測視点P't+τ'の誤差が小さくなり、画像補正部12による補正量が少なくなって精度の高い画像補正が可能となるので、レンダリング画像の品質を更に向上させることができる。

【0075】

ここで、第1および第2実施形態では、両眼立体視を行う場合にレンダリング部22が両眼用に2枚（左右）のレンダリング画像I^L，I^Rに対応した2枚の深度画像D^L，D^Rを取得し、レンダリング画像I^L，I^Rおよびその深度画像D^L，D^Rを画像補正部12へ提供するものとして説明したが、本発明はこれのみに限定されるものではない。

【0076】

例えば、予測視点P't+τ'から両眼の中心位置の視点（中心視点）に相当するMVP行列MC't+τ'を算出してレンダリングを行うことで1枚の共通深度画像D^LRを取得するようにしても良い。これにより、レンダリング部22と画像補正部12の間の通信量を、2枚の深度画像D^L，D^Rを送信する場合よりも削減できるので、特に第1実施形態では伝送遅延を低減できるようになる。画像補正部12は、2枚のレンダリング画像I^L，I^Rを一枚の共通深度画像D^LRで最新視点Pt+τに対応した2枚のレンダリング画像I^L''，I^R''に補正する。

【0077】

あるいは図5に示すように、視点予測部21が左右の眼の予測視点P't+τ'（P^L'，P^R'）に加えて、その周辺の視点（予測周辺視点）P^L'2，P^R'2として例えば予測視点P^L'，P^R'の外側の視点を予測し、レンダリング部22は、予測視点P^L'，P^R'に対応したレンダリング画像I^L，I^Rに加えて予測周辺視点P^L'2，P^R'2に対応した周辺レンダリング画像I^L2，I^R2を生成しても良い。

【0078】

レンダリング画像I^L，I^Rおよび周辺レンダリング画像I^L2，I^R2は、それぞれの深度画像と共に画像補正部22に提供される。ただし、周辺レンダリング画像I^L2，I^R2の深度画像は別視点である予測視点P^L'，P^R'のレンダリング画像I^L，I^Rに基づいて生成できるので、レンダリング画像I^L，I^Rの深度画像のみを提供するようにしても良い。なお、予測周辺視点P^L'2，P^R'2は予測視点P^L'，P^R'の外側に限定されるものではなく、予測視点P^L'，P^R'の上側や下側などを予測周辺視点としても良い。

【0079】

また、図6に示すように、視点予測部21はユーザの頭部運動の方向に応じて予測周辺視点の配置を調整しても良い。ここで、同図(a)はユーザの頭部運動の方向が鉛直方向の例を、同図(b)はユーザの頭部運動の方向が水平方向の例を示している。なお、ユーザの頭部運動の方向は同図(a)，(b)の鉛直方向や水平方向に限定されるものではなく、斜めの方向など、任意の方向を取ることが可能である。

【0080】

例えば、視点予測部21は表示している3DCGモデルの中心、基準視点Ptおよび予測視点P't+τ'の3点の外積により、3DCGモデルの中心を通る、頭部運動の回転軸を算出する。そして、頭部運動の回転軸を中心として、予測視点P^L'，P^R'の一方を順方向に、他方を逆方向に、それぞれ回転角θだけ回転させた位置を予測周辺視点P^L'2，P^R'2として算出できる。ここで、回転角θは例えば5度とする等、固定値として指定しても良いし、ユーザの頭部運動の速度に応じて、当該速度が速いほど回転角θを大きくするなどの調整をしても良い。ユーザの頭部運動の方向を考慮して予測周辺視点の配置を調整することで、より高精度な補正画像を生成することが可能になる。

【0081】

画像補正部22は、レンダリング画像I^L，I^R、周辺レンダリング画像I^L2，I^R2および深度画像を用いて上記の各処理を繰り返し、立体的な画像補正を行うことで、ディスオクルージョンと呼ばれる、運動視差によってレンダリング画像に含まれない3Dモデルの新しい面が欠損して表示される問題を解消することができる。

【0082】

あるいは、図7に示すように視点予測部21が予測周辺視点P^L'2，P^R'2のみを予測し、レンダリング部22は予測周辺視点P^L'2，P^R'2に対応するMVP行列M^L2，M^R2に基づいて周辺レンダリング画像I^L2，I^R2のみを生成してもよい。このとき、周辺レンダリング画像I^L2，I^R2と同じMVP行列でレンダリングして生成した当該周辺レンダリング画像I^L2，I^R2の深度画像が取得される。画像補正部12へは、予測周辺視点P^'2t+τ'（P^L'2，P^R'2）およびその深度画像が、前記予測視点P't+τ'およびその深度画像の代わりに提供される。

【0083】

画像補正部22は、予測周辺視点P^'2t+τ'およびその深度画像を、それぞれ前記予測視点P't+τ'およびその深度画像として、最新視点Pt+τに対応した補正画像を生成し、これをレンダリング画像として出力する。

【0084】

なお、レンダリング部22から周辺レンダリング画像およびその深度画像が入力されている場合には、補正画像I^L''のピクセル座標u_iL'',v_iL''に対応するレンダリング画像I^Lのピクセル座標u_iL,v_iLを算出する際に、変換後の深度値d^ILと対応する深度画像の深度値とが一致するか否かをチェックしても良い。

【0085】

その結果、一致しない（差分が所定の閾値以上）場合に当該ピクセルがレンダリング画像I^Lに映っていない（遮蔽されている）と判定し、別の画像（I^Rや周辺レンダリング画像）を代わりに用いて同様の座標変換を行い、深度値が一致（差分が所定の閾値以下）した場合に当該レンダリング画像のピクセル座標のカラー値を参照するようにしても良い。

【0086】

一般に、オクルージョンが発生して正しい対応関係にある個所が変換先の画像上で遮蔽されていることが起こり得るが、上記のチェックによってそれを検出可能である。また、同様の処理を右眼用の補正画像I^R''に対しても行う。これにより、左眼用の補正画像I^L''のピクセル座標u_iL'',v_iL''に対応する複数のレンダリング画像のピクセル座標の候補が得られた際に、正しい対応点からカラー値を参照することが可能になり、欠損が少なくなるだけでなく、高精度な補正画像を生成することが可能になる。

【0087】

なお、上式(4)では補正画像I^L''のカラー値の取得にレンダリング画像I^L中のピクセル座標（u_iL,v_iL）のカラー値を参照しているが、右眼用のレンダリング画像I^Rや周辺レンダリング画像I^L2,I^R2が存在する場合は、そのピクセル座標のカラー値も参照可能である。これにより欠損の少ない補正画像I^L''を生成できる。

【0088】

このように、レンダリング画像I^L，I^Rの代わりに周辺レンダリング画像I^L2，I^R2を用いることで、レンダリング部22と画像補正12の間の通信量を削減しつつディスオクルージョンの問題を軽減できるようになる。

【0089】

なお、ここまでは両眼立体視を行う前提で、レンダリング部22が固定的に左右の眼に対応するレンダリング画像を生成して画像補正部12へ提供する場合について説明してきたが、視点推定部11からレンダリングが必要な視点数Npの入力を受けてレンダリングを行う視点数を調整しても良い。これにより不必要なレンダリングを抑え、計算機リソースを節約することが可能になる。

【0090】

更に、上記の各実施形態ではレンダリングサーバ2に視点予測部21を設け、レンダリング画像がユーザに提供されると予測される時刻t+τ'における視点情報P't+τ'を予測し、当該予測視点P't+τ'に基づいてレンダリング画像が生成されるものとして説明した。

【0091】

しかしながら、本発明はこれのみに限定されるものではなく、図8に示した第3実施形態に係る3DCGレンダリングシステム、図9に示した第4実施形態に係る3DCGレンダリング装置のように視点予測部21を省略し、レンダリング部22が基準視点Ptに基づいてレンダリング画像Iおよびその深度画像Dを生成するようにしても良い。

【0092】

このような構成によれば、遅延時間τが大きいほど画像補正部12が深度画像Dに基づいてレンダリング画像を補正する際の補正量が増えるので、補正画像の品質が視点予測部21を設けた各実施形態との比較で劣化する可能性がある。

【0093】

しかしながら、第4実施形態のようにネットワーク遅延を考慮する必要のない3DCGレンダリング装置3への適用、あるいは第3実施形態のようにネットワーク遅延を考慮する必要がある3DCGレンダリングシステムへの適用であっても低遅延が約束されている環境での使用が前提であれば遅延時間τが小さくなる。加えて、視点予測部21が視点予測に費やしていた時間も短縮できるので、視点予測部21を省略しても十分に高品位なレンダリング画像を提供できるようになる。

【0094】

そして、本発明によれば高品質なレンダリング画像を短時間で生成することができ、通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0095】

1…ディスプレイデバイス，2…レンダリングサーバ，10…通信部，11…視点推定部，12…画像補正部，13…ディスプレイ部，20…通信部，21…視点予測部，22…レンダリング部，121…補正深度画像生成部，122…補正画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】