IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特許-三次元画像処理装置及びプログラム 図1
  • 特許-三次元画像処理装置及びプログラム 図2
  • 特許-三次元画像処理装置及びプログラム 図3
  • 特許-三次元画像処理装置及びプログラム 図4
  • 特許-三次元画像処理装置及びプログラム 図5
  • 特許-三次元画像処理装置及びプログラム 図6
  • 特許-三次元画像処理装置及びプログラム 図7
  • 特許-三次元画像処理装置及びプログラム 図8
  • 特許-三次元画像処理装置及びプログラム 図9
  • 特許-三次元画像処理装置及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-28
(45)【発行日】2024-06-05
(54)【発明の名称】三次元画像処理装置及びプログラム
(51)【国際特許分類】
   H04N 19/85 20140101AFI20240529BHJP
   H04N 19/463 20140101ALI20240529BHJP
   H04N 19/597 20140101ALI20240529BHJP
   G06T 11/80 20060101ALI20240529BHJP
【FI】
H04N19/85
H04N19/463
H04N19/597
G06T11/80 A
【請求項の数】 12
(21)【出願番号】P 2020098045
(22)【出願日】2020-06-04
(65)【公開番号】P2021190970
(43)【公開日】2021-12-13
【審査請求日】2023-05-01
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】盛岡 寛史
(72)【発明者】
【氏名】三ツ峰 秀樹
(72)【発明者】
【氏名】洗井 淳
【審査官】田中 純一
(56)【参考文献】
【文献】国際公開第2019/082958(WO,A1)
【文献】国際公開第2019/107180(WO,A1)
【文献】特開2008-300983(JP,A)
【文献】国際公開第2020/075252(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/12
H04N 19/00 - 19/98
H04N 13/00 - 17/06
G06T 1/00
G06T 11/60 - 13/80
G06T 17/05
G06T 19/00 - 19/20
(57)【特許請求の範囲】
【請求項1】
三次元画像を表現した三次元モデルをレンダリングし、二次元画像を生成する三次元画像処理装置において、
予め設定されたレンダリング用パラメータを用いて、前記三次元モデルをレンダリングして前記二次元画像を生成するレンダリング部と、
予め設定された復元パラメータを用いて、前記レンダリング部により生成された前記二次元画像に対し劣化を復元するための復元処理を施し、復元二次元画像を生成する二次元画像復元部と、
を備えたことを特徴とする三次元画像処理装置。
【請求項2】
請求項1に記載の三次元画像処理装置において、
前記二次元画像復元部は、
前記三次元モデルを出力する外部装置により生成された前記復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成する、ことを特徴とする三次元画像処理装置。
【請求項3】
請求項2に記載の三次元画像処理装置において、
さらに復号部を備え、
前記復号部は、
前記外部装置により前記三次元モデルの符号化にて符号化三次元モデルが生成された場合、前記符号化三次元モデルを復号して復号三次元モデルを生成し、
前記外部装置により前記復元パラメータの符号化にて符号化復元パラメータが生成された場合、前記符号化復元パラメータを復号して復号復元パラメータを生成し、
前記レンダリング部は、
予め設定されたレンダリング用パラメータを用いて、前記三次元モデルまたは前記復号部により生成された前記復号三次元モデルをレンダリングして前記二次元画像を生成し、
前記二次元画像復元部は、
前記復元パラメータまたは前記復号部により生成された前記復号復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成する、ことを特徴とする三次元画像処理装置。
【請求項4】
請求項3に記載の三次元画像処理装置において、
前記二次元画像復元部は、
当該三次元画像処理装置が前記復元パラメータまたは前記符号化復元パラメータを入力する際に入力エラーが発生した場合、
以前に入力した前記復元パラメータ、または前記復号部により以前に生成された前記復号復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成し、
前記復号部が前記符号化復元パラメータを復号する際に復号エラーが発生した場合、
前記復号部により以前に生成された前記復号復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成する、ことを特徴とする三次元画像処理装置。
【請求項5】
三次元画像を表現した三次元モデルのレンダリングにより生成される二次元画像に対し、その劣化を復元するための復元パラメータを生成する三次元画像処理装置において、
前記三次元モデルを入力し、予め設定されたレンダリング用パラメータを用いて、前記三次元モデルをレンダリングして前記二次元画像を生成するレンダリング部と、
仮の復元パラメータを用いて、前記レンダリング部により生成された前記二次元画像の劣化を復元するための復元処理を行い、復元二次元画像を生成し、前記復元二次元画像と所定の学習用画像との間の誤差が小さくなるように、前記仮の復元パラメータを更新し、所定の終了条件を満たす場合に、更新された前記仮の復元パラメータを前記復元パラメータとして生成する復元パラメータ生成部と、を備え、
前記三次元モデル、及び前記復元パラメータ生成部により生成された前記復元パラメータを出力する、ことを特徴とする三次元画像処理装置。
【請求項6】
請求項5に記載の三次元画像処理装置において、
さらに、前記三次元モデルを入力し、前記三次元モデルに対し情報源符号化、通信路符号化、または前記情報源符号化及び前記通信路符号化を施し、符号化三次元モデルを生成する三次元モデル符号化部と、
前記復元パラメータ生成部により生成された前記復元パラメータに対し前記情報源符号化、前記通信路符号化、または前記情報源符号化及び前記通信路符号化を施し、符号化復元パラメータを生成する復元パラメータ符号化部と、を備え、
前記三次元モデル符号化部により生成された前記符号化三次元モデル、及び前記復元パラメータ符号化部により生成された前記符号化復元パラメータを出力する、ことを特徴とする三次元画像処理装置。
【請求項7】
請求項6に記載の三次元画像処理装置において、
さらに、前記三次元モデル符号化部により生成された前記符号化三次元モデルを復号し、復号三次元モデルを生成する三次元モデル復号部を備え、
前記レンダリング部は、
予め設定されたレンダリング用パラメータを用いて、前記三次元モデル復号部により生成された前記復号三次元モデルをレンダリングし、前記二次元画像を生成する、ことを特徴とする三次元画像処理装置。
【請求項8】
請求項5に記載の三次元画像処理装置において、
前記復元パラメータを出力する頻度を、前記三次元モデルを入力する頻度よりも低くする、ことを特徴とする三次元画像処理装置。
【請求項9】
請求項6または7に記載の三次元画像処理装置において、
前記符号化復元パラメータを出力する頻度を、前記三次元モデルを入力する頻度よりも低くする、ことを特徴とする三次元画像処理装置。
【請求項10】
請求項5から9までのいずれか一項に記載の三次元画像処理装置において、
前記復元パラメータ生成部は、
前記レンダリング部により生成された前記二次元画像を入力すると共に、前記学習用画像を入力し、
前記仮の復元パラメータを用いて、前記二次元画像の劣化を復元するための前記復元処理を行い、第一復元二次元画像を生成し、劣化パラメータを用いて、前記第一復元二次元画像を劣化するための劣化処理を行い、第一劣化二次元画像を生成し、
前記劣化パラメータを用いて、前記学習用画像を劣化するための前記劣化処理を行い、第二劣化二次元画像を生成し、前記仮の復元パラメータを用いて、前記第二劣化二次元画像の劣化を復元するための前記復元処理を行い、第二復元二次元画像を生成し、
前記二次元画像と前記第一劣化二次元画像との間の誤差、及び前記学習用画像と前記第二復元二次元画像との間の誤差が小さくなるように、前記仮の復元パラメータ及び前記劣化パラメータを更新し、所定の終了条件を満たす場合に、更新された前記仮の復元パラメータを前記復元パラメータとして生成する、ことを特徴とする三次元画像処理装置。
【請求項11】
コンピュータを、請求項1から4までのいずれか一項に記載の三次元画像処理装置として機能させるためのプログラム。
【請求項12】
コンピュータを、請求項5から10までのいずれか一項に記載の三次元画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元画像を表現した三次元モデルを処理する三次元画像処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、三次元画像の表現方法として、異なる複数の視点における画像を用いる多視点画像を用いる方法、1以上の視点における画像と1以上の視点からの距離画像(デプスマップ)を用いる方法、三次元形状データとその質感情報とを組み合わせて用いる方法(以下、前記の組み合わせを「三次元モデル」という。)等がある。
【0003】
三次元形状データとしては、楕円体、多面体、円柱、円錐、トーラス等の代表的な幾何形状を組み合わせて表現するプリミティブモデル、ボクセルデータ等のボリュームモデル、三角形メッシュデータ等のサーフェスモデル、ポイントクラウド等の点群モデル、3次元空間上における球体状の濃度分布を組み合わせてその等濃度曲面を表面形状と定義するメタボールモデル、ある視点からの距離画像を用いるデプスマップ、ある2次元平面上の各点に高さ値を定義する高度地図(DEM:Digital Elevation Map)、またはこれらの複数のモデルを組み合わせたもの等が用いられる。
【0004】
質感情報としては、表面色、透過色、テクスチャ(テクスチャマップ)、表面の反射特性、表面上の法線分布(バンプマップ)、表面の粗さ、屈折率、透過率、内部拡散及び偏光特性のうちのいずれかの情報、またはこれらを組み合わせた情報が用いられる。
【0005】
三次元モデルは、人工的に数値データを作成することで生成するほか、画像または距離センサ、投光器、偏光フィルタ、カラーフィルタ、分光光度計、コンピュータトモグラフィー等のセンサ、または他の手法を用いて、実在物体の形状を計測して生成することも行われている。
【0006】
三次元画像の伝送または蓄積は、前記三次元モデルを適当な形式にフォーマット化し、さらに必要に応じて情報源符号化、通信路符号化またはその両符号化を適用したもの(以下、「符号化三次元モデル」という。)が用いられる。
【0007】
このほか、多視点画像の符号化方式により異なる視点の画像を符号化する方法を用いることもある。この場合、異なる視点の画像間において予測を行い、前記符号化方式による符号化及び類似の処理を行う。また、これにデプスマップを併用して符号化を行うものもある。
【0008】
伝送または蓄積された符号化三次元モデルを、所望の視点からの二次元画像として鑑賞するには、符号化三次元モデルに通信路復号及び情報源復号を必要に応じて適用して三次元モデルを生成した後、所望の視点において三次元モデルをレンダリングする。これにより、所望の視点からの二次元画像を得ることができる。
【0009】
画像(映像を含む。以下同じ。)の符号化方式には、変換、変換係数の量子化、エントロピー符号化、及び必要に応じて予測を組み合わせた方式がある。この例として、静止画用のJPEG、JPEG2000、動画用のMPEG-1、MPEG-2、H.263、MPEG-4、MPEG-4 Part 10 AVC|H.264、MPEG-H HEVC|H.265、MPEG-I VVC、VC-1、VC-2(Dirac)、VC-3、VC-5、VP3、VP6、VP7、VP9等がある。
【0010】
前記の各種符号化方式は、ビットレートを低くするほど(圧縮率を高くするほど)、復号画像の画質劣化が大きくなる性質を有する。低ビットレート時の画像劣化を抑制するため、受信機側に画像復元を行う手段を設け、画質向上を図る技術がある。この画質向上を図る技術としては、雑音除去、エッジ強調、超解像画像復元等が知られている。
【0011】
例えば、送信機側において、画像縮小等の画質劣化を伴う手段を符号化に併用し、受信機側において、復号画像に対して超解像画像復元を適用する手法が提案されている(例えば特許文献1を参照)。
【0012】
また、送信機側において、符号化前の高画質画像または受信機側の画像復元手段よりも高性能な画像復元手段を用いた高画質化画像のいずれかを参照することで、画像復元方法及びパラメータのうち最適なものを算出し、最適な方法またはパラメータを補助情報として送信機側から受信機側へ伝送し、受信機側において、最適な方法またはパラメータを用いて画像復元を行う手法が提案されている(例えば特許文献1及び特許文献2を参照)。
【先行技術文献】
【特許文献】
【0013】
【文献】特許第5419795号公報
【文献】特許第6614935号公報
【発明の概要】
【発明が解決しようとする課題】
【0014】
ここで、送信機側が、実在物体(以下、「被写体」という。)の形状を計測し、三次元モデルを生成して送信し、受信機側が、受信した三次元モデルを用いて、所望の視点から被写体を鑑賞するシステムを想定する。
【0015】
このようなシステムでは、被写体の形状を計測して三次元モデルを生成する際に、三次元モデルに誤差、欠落、雑音等が生じることがある。
【0016】
例えば、計測のために、複数のカメラ画像によるステレオマッチングを採用した場合には、模様の少ない(またはコントラストの低い)被写体では、ステレオマッチングにおいて誤対応を生じ、形状の誤差となることがある。
【0017】
また、特に被写体が複数ある場合、または被写体に凹部がある場合には、被写体間(または同一被写体の部位間)で隠蔽を生じ、ステレオマッチングにおいて正しい対応付けがなされないことがあり、形状に穴が開いてしまうことがある。
【0018】
また、被写体が紛らわしい模様を有する場合、またはその付近に紛らわしい模様の物体が存在する場合には、ステレオマッチングにおいて偽の対応付けがなされてしまい、形状が破綻する可能性がある。
【0019】
また、計測のために、赤外光のTOF(Time Of Flight)型の距離センサを用いる場合には、赤外光に対する被写体の反射率が低いときに、計測に失敗し、形状に誤差または穴が生じる可能性がある。
【0020】
このような誤差、穴、欠落、雑音または破綻(以下、「誤差等」という)を有する三次元モデルを伝送した場合、三次元モデルの誤差等は、鑑賞時の二次元画像に劣化として表出する。特に、計測時とは異なる視点から被写体を鑑賞した場合に、その劣化が顕著となる傾向がある。
【0021】
3次元モデルの誤差等は、自動処理または手動処理によって事前に修正することが好ましいが、いずれも十分な品質の三次元モデルにまで修正するには、膨大な演算コストまたは手作業が必要となる。このため、3次元モデルは、生放送(ライブ)での映像伝送として用いることができない。
【0022】
一方で、前述の特許文献1または特許文献2の技術では、画像の符号化及び復号時に生じる劣化を、補助情報によって制御される画像復元手段によって補正し、高画質な復号画像を得ることができる。
【0023】
しかしながら、この技術は、平面的な(二次元の)動画像を対象としているため、3次元モデルの誤差等を補正する処理に、そのまま適用することができない。また、この技術は、映像符号化に起因する劣化を補正するものであるため、3次元モデルの誤差等に起因する二次元画像の劣化を補正する処理に適用することもできない。
【0024】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正可能な三次元画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0025】
前記課題を解決するために、請求項1の三次元画像処理装置は、三次元画像を表現した三次元モデルをレンダリングし、二次元画像を生成する三次元画像処理装置において、予め設定されたレンダリング用パラメータを用いて、前記三次元モデルをレンダリングして前記二次元画像を生成するレンダリング部と、予め設定された復元パラメータを用いて、前記レンダリング部により生成された前記二次元画像に対し劣化を復元するための復元処理を施し、復元二次元画像を生成する二次元画像復元部と、を備えたことを特徴とする。
【0026】
請求項1の三次元画像処理装置によれば、三次元モデルに誤差等がある場合であっても、その誤差を補正した復元二次元画像を生成することができる。
【0027】
また、請求項2の三次元画像処理装置は、請求項1に記載の三次元画像処理装置において、前記二次元画像復元部が、前記三次元モデルを出力する外部装置により生成された前記復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成する、ことを特徴とする。
【0028】
請求項2の三次元画像処理装置によれば、三次元モデルに誤差等がある場合であっても、外部装置から伝送または蓄積された復元パラメータを用いて、その誤差を補正した復元二次元画像を生成することができる。
【0029】
また、請求項3の三次元画像処理装置は、請求項2に記載の三次元画像処理装置において、さらに復号部を備え、前記復号部が、前記外部装置により前記三次元モデルの符号化にて符号化三次元モデルが生成された場合、前記符号化三次元モデルを復号して復号三次元モデルを生成し、前記外部装置により前記復元パラメータの符号化にて符号化復元パラメータが生成された場合、前記符号化復元パラメータを復号して復号復元パラメータを生成し、前記レンダリング部が、予め設定されたレンダリング用パラメータを用いて、前記三次元モデルまたは前記復号部により生成された前記復号三次元モデルをレンダリングして前記二次元画像を生成し、前記二次元画像復元部が、前記復元パラメータまたは前記復号部により生成された前記復号復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成する、ことを特徴とする。
【0030】
請求項3の三次元画像処理装置によれば、外部装置から伝送または蓄積された符号化三次元モデル及び/または符号化復元パラメータが復号され、三次元モデルに誤差等がある場合であっても、その誤差を補正した二次元画像を生成することができる。また、符号化三次元モデルが非可逆符号化により生成されている場合、当該非可逆符号化に起因する三次元モデルの劣化をも補正した二次元画像を生成することができる。
【0031】
また、請求項4の三次元画像処理装置は、請求項3に記載の三次元画像処理装置において、前記二次元画像復元部が、当該三次元画像処理装置が前記復元パラメータまたは前記符号化復元パラメータを入力する際に入力エラーが発生した場合、以前に入力した前記復元パラメータ、または前記復号部により以前に生成された前記復号復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成し、前記復号部が前記符号化復元パラメータを復号する際に復号エラーが発生した場合、前記復号部により以前に生成された前記復号復元パラメータを用いて、前記二次元画像に対し前記復元処理を施し、前記復元二次元画像を生成する、ことを特徴とする。
【0032】
請求項4の三次元画像処理装置によれば、復元パラメータまたは符号化復元パラメータが伝送または蓄積の不具合によって欠落した場合に、以前の復元パラメータまたは符号化復元パラメータを用いて二次元画像を生成することができ、伝送または蓄積の不具合に対する耐性を向上することができる。特に、復元パラメータに関する符号の誤り耐性が三次元モデルに関する符号の誤り耐性よりも低く設定されている場合には、伝送または蓄積の容量を抑えつつ、三次元モデルを入力する確率を向上することができ、伝送帯域(または蓄積容量)の節約が可能となる。
【0033】
さらに、請求項5の三次元画像処理装置は、三次元画像を表現した三次元モデルのレンダリングにより生成される二次元画像に対し、その劣化を復元するための復元パラメータを生成する三次元画像処理装置において、前記三次元モデルを入力し、予め設定されたレンダリング用パラメータを用いて、前記三次元モデルをレンダリングして前記二次元画像を生成するレンダリング部と、仮の復元パラメータを用いて、前記レンダリング部により生成された前記二次元画像の劣化を復元するための復元処理を行い、復元二次元画像を生成し、前記復元二次元画像と所定の学習用画像との間の誤差が小さくなるように、前記仮の復元パラメータを更新し、所定の終了条件を満たす場合に、更新された前記仮の復元パラメータを前記復元パラメータとして生成する復元パラメータ生成部と、を備え、前記三次元モデル、及び前記復元パラメータ生成部により生成された前記復元パラメータを出力する、ことを特徴とする。
【0034】
請求項5の三次元画像処理装置によれば、三次元モデルに誤差等があるため、そのレンダリング結果たる二次元画像が劣化した場合に、当該劣化を復号側で事後に補正するための復元パラメータを生成することができる。
【0035】
また、請求項6の三次元画像処理装置は、請求項5に記載の三次元画像処理装置において、さらに、前記三次元モデルを入力し、前記三次元モデルに対し情報源符号化、通信路符号化、または前記情報源符号化及び前記通信路符号化を施し、符号化三次元モデルを生成する三次元モデル符号化部と、前記復元パラメータ生成部により生成された前記復元パラメータに対し前記情報源符号化、前記通信路符号化、または前記情報源符号化及び前記通信路符号化を施し、符号化復元パラメータを生成する復元パラメータ符号化部と、を備え、前記三次元モデル符号化部により生成された前記符号化三次元モデル、及び前記復元パラメータ符号化部により生成された前記符号化復元パラメータを出力する、ことを特徴とする。
【0036】
請求項6の三次元画像処理装置によれば、情報を圧縮することで、伝送容量(または蓄積容量)を節約することができ、情報に冗長な情報を付加することで、伝送誤り(または蓄積誤り)を補正することができる。
【0037】
また、請求項7の三次元画像処理装置は、請求項6に記載の三次元画像処理装置において、さらに、前記三次元モデル符号化部により生成された前記符号化三次元モデルを復号し、復号三次元モデルを生成する三次元モデル復号部を備え、前記レンダリング部が、予め設定されたレンダリング用パラメータを用いて、前記三次元モデル復号部により生成された前記復号三次元モデルをレンダリングし、前記二次元画像を生成する、ことを特徴とする。
【0038】
請求項7の三次元画像処理装置によれば、三次元モデルに誤差等があり、さらに符号化に起因する三次元モデルの劣化があるため、そのレンダリング結果たる二次元画像が劣化した場合に、当該劣化を復号側で事後に補正するための復元パラメータを生成することができる。
【0039】
また、請求項8の三次元画像処理装置は、請求項5に記載の三次元画像処理装置において、前記復元パラメータを出力する頻度を、前記三次元モデルを入力する頻度よりも低くする、ことを特徴とする。
【0040】
請求項8の三次元画像処理装置によれば、出力される復元パラメータのデータ量が減少するため、三次元モデル及び復元パラメータの伝送または蓄積に必要なビットレートまたは記録容量が少なくて済むようになる。
【0041】
また、請求項9の三次元画像処理装置は、請求項6または7に記載の三次元画像処理装置において、前記符号化復元パラメータを出力する頻度を、前記三次元モデルを入力する頻度よりも低くする、ことを特徴とする。
【0042】
請求項9の三次元画像処理装置によれば、出力される符号化復元パラメータのデータ量が減少するため、符号化三次元モデル及び符号化復元パラメータの伝送または蓄積に必要なビットレートまたは記録容量が少なくて済むようになる。
【0043】
また、請求項10の三次元画像処理装置は、請求項5から9までのいずれか一項に記載の三次元画像処理装置において、前記復元パラメータ生成部が、前記レンダリング部により生成された前記二次元画像を入力すると共に、前記学習用画像を入力し、前記仮の復元パラメータを用いて、前記二次元画像の劣化を復元するための前記復元処理を行い、第一復元二次元画像を生成し、劣化パラメータを用いて、前記第一復元二次元画像を劣化するための劣化処理を行い、第一劣化二次元画像を生成し、前記劣化パラメータを用いて、前記学習用画像を劣化するための前記劣化処理を行い、第二劣化二次元画像を生成し、前記仮の復元パラメータを用いて、前記第二劣化二次元画像の劣化を復元するための前記復元処理を行い、第二復元二次元画像を生成し、前記二次元画像と前記第一劣化二次元画像との間の誤差、及び前記学習用画像と前記第二復元二次元画像との間の誤差が小さくなるように、前記仮の復元パラメータ及び前記劣化パラメータを更新し、所定の終了条件を満たす場合に、更新された前記仮の復元パラメータを前記復元パラメータとして生成する、ことを特徴とする。
【0044】
請求項10の三次元画像処理装置によれば、入力した三次元モデルと入力した学習用画像とが、必ずしも同じ被写体または条件において取得したものでなくとも、三次元モデルの誤差等に起因する劣化を補正するための復元パラメータを有効に学習することができる。
【0045】
さらに、請求項11のプログラムは、コンピュータを、請求項1から4までのいずれか一項に記載の三次元画像処理装置として機能させることを特徴とする。
【0046】
また、請求項12のプログラムは、コンピュータを、請求項5から10までのいずれか一項に記載の三次元画像処理装置として機能させることを特徴とする。
【発明の効果】
【0047】
以上のように、本発明によれば、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正することができる。
【図面の簡単な説明】
【0048】
図1】実施例1の復号側の三次元画像処理装置における構成の一例を示すブロック図である。
図2】実施例1の復号側の三次元画像処理装置における処理の一例を示すフローチャートである。
図3】実施例2の復号側の三次元画像処理装置における構成の一例を示すブロック図である。
図4】実施例1の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。
図5】実施例2-1の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。
図6】実施例2-1の符号化側の三次元画像処理装置における処理の一例を示すフローチャートである。
図7】実施例2-2の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。
図8】実施例2-3の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。
図9】実施例2-3における復元パラメータ生成部の構成の一例を示すブロック図である。
図10】実施例2-3における復元パラメータ生成部の処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0049】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルのレンダリングにより得られた二次元画像の劣化を抑制するために、三次元モデルに対してその誤差等を直接除外する処理を行うのではなく、レンダリング後の二次元画像に対して処理を行うものである。
【0050】
〔復号側の三次元画像処理装置:実施例1〕
まず、実施例1の復号側の三次元画像処理装置(三次元画像復号装置)について説明する。実施例1の復号側の三次元画像処理装置は、三次元モデルをレンダリングすることで生成した二次元画像に対し、予め設定された(事前に調整された)復元パラメータを用いて復元処理を施し、復元二次元画像を生成する例である。
【0051】
図1は、実施例1の復号側の三次元画像処理装置における構成の一例を示すブロック図であり、図2は、実施例1の復号側の三次元画像処理装置における処理の一例を示すフローチャートである。
【0052】
三次元画像処理装置1-1は、三次元モデルに符号化を適用した符号化三次元モデルを、対応する符号化側の三次元画像処理装置(外部装置)から直接入力するか、または図示しないメモリから読み出す。また、三次元画像処理装置1-1は、レンダリングのためのパラメータ(以下、「レンダリング用パラメータ」という。)を入力する。そして、三次元画像処理装置1-1は、符号化三次元モデルを復号し、レンダリング用パラメータを用いて、三次元モデルから二次元画像を復元して出力する。
【0053】
レンダリング用パラメータとしては、例えば、仮想カメラの視点位置、姿勢角、画角、投影法、露出及び照明(種類、配置及び姿勢)を示すパラメータのうち1以上のパラメータが含まれる。後述する図3に示す実施例2の三次元画像処理装置1-2についても同様である。
【0054】
この三次元画像処理装置1-1は、三次元モデル復号部11、レンダリング部12、復元パラメータ記憶部13及び二次元画像復元部14を備えている。
【0055】
三次元画像処理装置1-1は、符号化三次元モデル及びレンダリング用パラメータを入力する(ステップS201)。三次元モデル復号部11は、符号化三次元モデルを入力し、符号化三次元モデルを復号することで復号三次元モデルを生成し(ステップS202)、復号三次元モデルをレンダリング部12に出力する。
【0056】
三次元モデル復号部11は、後述する図4図5図7または図8に示す三次元モデル符号化部31と対をなし、互いに逆の処理または所定の誤差内における近似的な逆の処理を行う。
【0057】
三次元モデル復号部11及び後述する三次元モデル符号化部31が用いる符号化方式は如何なるものであってもよい。例えば、符号化方式として可逆圧縮方式を用いてもよいし、非可逆圧縮方式を用いてもよい。
【0058】
可逆圧縮方式としては、ランレングス符号化、差分パルス符号変調(DPCM)、ハフマン符号化、算術符号化、またはこれらの組み合わせ等の情報源符号化方式を用いることができる。また、例えば、三次元モデルがデプス画像または高度地図のように、二次元のマップとして表現される場合には、それを画像と見なし、JPEG、JPEG2000等の画像符号化方式による情報源符号化方式にて符号化するようにしてもよい。また、三次元モデルが時々刻々変化する場合には、MPEG-1、MPEG-2、MPEG-4、MPEG-4 Part 10 AVC|H.264、MPEG-H HEVC|H.265、MPEG-I VVC等の映像符号化方式による情報源符号化方式にて符号化するようにしてもよい。
【0059】
また、符号化方式は、誤り検出符号化、誤り訂正符号化、暗号符号化等の通信路符号化であってもよいし、情報源符号化と通信路符号化とを併用したものであってもよい。
【0060】
符号化方式として情報源符号化、通信路符号化またはその両方を用いることで、情報を圧縮し、伝送容量(蓄積容量)を節約することができる。また、情報に冗長な情報を付加することで、伝送誤り(蓄積誤り)を補正することができる。
【0061】
レンダリング部12は、ユーザにより設定されたレンダリング用パラメータを入力すると共に、三次元モデル復号部11から復号三次元モデルを入力する。レンダリング部12は、レンダリング用パラメータを用いて復号三次元モデルをレンダリングすることで、CG(コンピュータグラフィックス)の二次元画像を生成する(ステップS203)。そして、レンダリング部12は、二次元画像を二次元画像復元部14に出力する。
【0062】
復元パラメータ記憶部13には、二次元画像復元部14の動作を規定するパラメータ(以下、「復元パラメータ」という。)を保持している。復元パラメータは予め設定され、復元パラメータ記憶部13に格納される。復元パラメータは、例えばニューラルネットワークの結合重み係数値及びバイアス値である。
【0063】
二次元画像復元部14は、レンダリング部12から二次元画像を入力すると共に、復元パラメータ記憶部13から復元パラメータを読み出し、復元パラメータを用いて二次元画像に対し、当該二次元画像の劣化を復元するための復元処理を施し、復元二次元画像を生成する(ステップS204)。そして、二次元画像復元部14は、復元二次元画像を出力する(ステップS205)。
【0064】
二次元画像復元部14は、例えば、ニューラルネットワークによって構成することができる。この場合、復元パラメータ記憶部13に保持された復元パラメータは、ニューラルネットワークの各素子に設定される結合重み係数値(及び必要に応じてバイアス値)である。
【0065】
例えば、復元パラメータの具体的な値は、3次元モデルの誤差等に起因する劣化、欠落等を有する二次元画像から、これらの劣化等を補正または補完できるように、事前に調整されているものとする。
【0066】
二次元画像復元部14がニューラルネットワークにより構成される場合、そのネットワーク構成の一部または全部として、畳み込みニューラルネットワークを用いることができる。このような構成とすることにより、画像の局所的な特徴を考慮した画像復元が可能となり、被写体の輪郭形状等を忠実に復元することが可能となる。また、ネットワークの結合が局所的であるため、全結合のネットワークに比べて演算コスト及びハードウェア規模を削減することが可能となる。
【0067】
また、二次元画像復元部14がニューラルネットワークにより構成される場合、その構造としてオートエンコーダを用いることができる。このような構成とすることにより、画像に含まれる本質的な情報を抜き出し、当該本質的な情報から画像を再構成することで、雑音または劣化のみを除去した画像復元が可能となる。
【0068】
また、二次元画像復元部14がニューラルネットワークにより構成される場合、その構造として、サイクルガン(CycleGAN)等の敵対的生成ネットワーク(GAN:Generative Adversarial Network)を用いることができる。これにより、復元された画像の写実性を増すことができる。
【0069】
以上のように、実施例1の復号側の三次元画像処理装置1-1によれば、レンダリング部12は、レンダリング用パラメータを用いて、符号化三次元モデルが復号された復号三次元モデルをレンダリングすることで、二次元画像を生成する。
【0070】
二次元画像復元部14は、予め設定された復元パラメータを用いて、二次元画像に対して復元処理を施し、復元二次元画像を生成する。
【0071】
これにより、三次元モデルに誤差等があり、符号化による劣化があるため、そのレンダリングにより得られた二次元画像が劣化した場合であっても、その劣化を補正した復元二次元画像を得ることができる。したがって、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正することができる。
【0072】
尚、図1に示した実施例1の復号側の三次元画像処理装置1-1は、三次元モデル復号部11を備えているが、三次元モデル復号部11を備えていなくてもよい。この場合、三次元画像処理装置1-1は、レンダリング部12、復元パラメータ記憶部13及び二次元画像復元部14を備え、符号化されていない三次元モデルを直接入力する。つまり、レンダリング部12は、レンダリング用パラメータを用いて、入力した三次元モデルをレンダリングする。
【0073】
これにより、三次元モデルに誤差等があるため、三次元モデルのレンダリングにより得られた二次元画像が劣化した場合であっても、その劣化を補正した復元二次元画像を得ることができる。
【0074】
また、図1に示した実施例1の復号側の三次元画像処理装置1-1が三次元モデル復号部11を備えていない場合、これに対応する符号化側の三次元画像処理装置は、三次元モデルを符号化する必要がない。この場合、符号化側の三次元画像処理装置は、三次元モデルを符号化することなく、そのまま出力する。
【0075】
〔復号側の三次元画像処理装置:実施例2〕
次に、実施例2の復号側の三次元画像処理装置(三次元画像復号装置)について説明する。実施例2の復号側の三次元画像処理装置は、三次元モデルをレンダリングすることで二次元画像を生成する。そして、三次元画像処理装置は、二次元画像に対し、後述する図5図7または図8に示す符号化側の三次元画像処理装置3-2a,3-2b,3-2cにより生成され出力された復元パラメータを用いて復元処理を施し、復元二次元画像を生成する例である。
【0076】
図3は、実施例2の復号側の三次元画像処理装置における構成の一例を示すブロック図である。
【0077】
この三次元画像処理装置1-2は、三次元モデル復号部11、レンダリング部12、復元パラメータ記憶部13、二次元画像復元部14及び復元パラメータ復号部15を備えている。
【0078】
図1に示した実施例1の復号側の三次元画像処理装置1-1とこの実施例2の復号側の三次元画像処理装置1-2とを比較すると、両三次元画像処理装置1-1,1-2は、三次元モデル復号部11、レンダリング部12、復元パラメータ記憶部13及び二次元画像復元部14を備えている点で共通する。一方、三次元画像処理装置1-2は、三次元画像処理装置1-1の構成に加えて復元パラメータ復号部15を備えている点で、三次元画像処理装置1-1と相違する。図3において、図1と共通する部分には図1と同一の符号を付し、その詳しい説明は省略する。
【0079】
三次元画像処理装置1-2は、符号化三次元モデル及び符号化復元パラメータを、対応する符号化側の三次元画像処理装置(外部装置)から直接入力するか、または図示しないメモリから読み出す。また、三次元画像処理装置1-2は、レンダリング用パラメータを入力する。
【0080】
復元パラメータ復号部15は、後述する図5図7または図8に示す符号化側の三次元画像処理装置3-2a,3-2b,3-2cにより生成され出力された符号化復元パラメータを入力する。そして、復元パラメータ復号部15は、符号化復元パラメータを復号することで復号復元パラメータを生成し、復元パラメータとして復元パラメータ記憶部13に格納する。
【0081】
復元パラメータ復号部15が入力する符号化復元パラメータは、例えば後述する図5図7または図8に示す符号化側の三次元画像処理装置3-2a,3-2b,3-2cにおいて、情報源符号化、通信路符号化、またはその両者を適用された形で出力されたパラメータである。
【0082】
復元パラメータ復号部15は、後述する図5図7または図8に示す復元パラメータ符号化部34と対をなし、互いに逆の処理または所定の誤差内における近似的な逆の処理を行う。
【0083】
復元パラメータ復号部15及び後述する復元パラメータ符号化部34が用いる符号化方式は如何なるものであってもよいが、好ましくは可逆の方式とする。
【0084】
符号化方式として、例えばランレングス符号化、差分パルス符号変調(DPCM)、ハフマン符号化、算術符号化、またはこれらの組み合わせ等の情報源符号化方式を用いることができる。また、符号化方式として、例えば誤り検出符号化、誤り訂正符号化、暗号符号化等の通信路符号化方式であってもよいし、また、情報源符号化方式と通信路符号化方式とを併用したものであってもよい。
【0085】
符号化方式として情報源符号化、通信路符号化またはその両方を用いることで、情報を圧縮することができる。また、情報に冗長な情報を付加することで、伝送容量(蓄積容量)を節約すると共に、伝送誤り(蓄積誤り)を補正することが可能となる。
【0086】
以上のように、実施例2の復号側の三次元画像処理装置1-2によれば、レンダリング部12は、レンダリング用パラメータを用いて、符号化三次元モデルが復号された復号三次元モデルをレンダリングすることで、二次元画像を生成する。
【0087】
二次元画像復元部14は、符号化復元パラメータが復号された復号復元パラメータを用いて、二次元画像に対して復元処理を施し、復元二次元画像を生成する。
【0088】
つまり、三次元画像処理装置1-2は、後述する図5図7または図8に示す符号化側の三次元画像処理装置3-2a,3-2b,3-2cにより生成され出力(伝送または蓄積)された復元パラメータを用いて、二次元画像から復元二次元画像を生成する。
【0089】
これにより、実施例1の復号側の三次元画像処理装置1-1と同様に、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正することができる。
【0090】
尚、図3に示した実施例2の復号側の三次元画像処理装置1-2は、三次元モデル復号部11及び復元パラメータ復号部15を備えているが、三次元モデル復号部11及び復元パラメータ復号部15を備えていなくてもよい。
【0091】
この場合、三次元画像処理装置1-2は、レンダリング部12、復元パラメータ記憶部13及び二次元画像復元部14を備え、符号化されていない三次元モデル及び符号化されていない復元パラメータを直接入力する。つまり、レンダリング部12は、レンダリング用パラメータを用いて、入力した三次元モデルをレンダリングし、三次元画像処理装置1-2は、入力した復元パラメータを復元パラメータ記憶部13に格納する。
【0092】
これにより、三次元モデルに誤差等があるため、三次元モデルのレンダリングにより得られた二次元画像が劣化した場合であっても、その劣化を補正した復元二次元画像を得ることができる。
【0093】
三次元画像処理装置1-2が三次元モデル復号部11及び復元パラメータ復号部15を備えていない場合には、これに対応する符号化側の三次元画像処理装置は、三次元モデル及び復元パラメータを符号化する必要がない。この場合、符号化側の三次元画像処理装置は、三次元モデル及び復元パラメータを符号化することなく、そのまま出力する。
【0094】
また、三次元画像処理装置1-2は、レンダリング部12、復元パラメータ記憶部13、二次元画像復元部14及び復元パラメータ復号部15を備え、三次元モデル復号部11を備えていなくてもよい。
【0095】
また、三次元画像処理装置1-2は、三次元モデル復号部11、レンダリング部12、復元パラメータ記憶部13及び二次元画像復元部14を備え、復元パラメータ復号部15を備えていなくてもよい。
【0096】
ところで、三次元画像処理装置1-2の復元パラメータ復号部15は、符号化復元パラメータを入力できない場合があり、また、符号化復元パラメータを入力したとしても、これを復号できない場合もあり得る。このような入力エラーまたは復号エラーが発生した場合、二次元画像復元部14は、復元パラメータ記憶部13から、復元パラメータ復号部15が以前に入力して格納した復元パラメータを読み出し、復元二次元画像を生成する。
【0097】
また、三次元画像処理装置1-2が復元パラメータ復号部15を備えておらず、復元パラメータを直接入力する構成において、復元パラメータを入力できない場合(入力エラーが発生した場合)もあり得る。この場合、二次元画像復元部14は、復元パラメータ記憶部13から、当該三次元画像処理装置1-2が以前に入力して格納した復元パラメータを読み出し、復元二次元画像を生成する。
【0098】
これは、対応する符号化側の三次元画像処理装置が符号化復元パラメータまたは復元パラメータを出力しなかった場合(第一のケース)が想定される。また、対応する符号化側の三次元画像処理装置が符号化復元パラメータまたは復元パラメータを出力したが、エラーにより欠落した場合(第二のケース)も想定される。
【0099】
例えば、符号化三次元モデル及び符号化復元パラメータが多重化され伝送される場合に、第一のケースが想定される。この場合、復号側の三次元画像処理装置1-2は、受信したストリーム(例えばトランスポートストリーム(Transport Stream))に符号化復元パラメータに関するストリーム(Elementary Stream)が存在しないことを示す識別子等を用いて、符号化復元パラメータまたは復元パラメータが出力されなかったとして、入力エラーを判断する。
【0100】
また、符号化三次元モデル及び符号化復元パラメータが別回線で伝送される場合、またはエラー耐性が異なる伝送路符号化方式で伝送される場合に、第一のケースまたは第二のケースが想定される。この場合、例えば対応する符号化側の三次元画像処理装置が符号化復元パラメータを出力していないときに、空のパケット(ヌルパケット)を出力することとし、復号側の三次元画像処理装置1-2は、空のパケットを入力することで、入力エラーを判断する。
【0101】
第二のケースにおいては、復号側の三次元画像処理装置1-2は、誤り検出符号等を用いることで、誤りが検出されたときに欠落エラーを判断する。また、復号側の三次元画像処理装置1-2は、符号化三次元モデルを入力してから一定時間以内に符号化復元パラメータを入力しないときにタイムアウトとして、入力エラーを判断するようにしてもよい。
【0102】
これにより、復元パラメータが伝送または蓄積の不具合によって欠落した場合に、以前の復元パラメータにより二次元画像を復元することが可能となり、伝送または蓄積の不具合に対する耐性を向上することができる。
【0103】
特に、復元パラメータに関する符号の誤り耐性が三次元モデルに関する符号の誤り耐性よりも低く設定されている場合には、伝送または蓄積の容量を抑えつつ、三次元モデルを入力する確率を向上することができ、伝送帯域(または蓄積容量)の節約が可能となる。
【0104】
〔符号化側の三次元画像処理装置:実施例1〕
次に、実施例1の符号化側の三次元画像処理装置(三次元画像符号化装置)について説明する。実施例1の符号化側の三次元画像処理装置は、三次元モデルを符号化することで符号化三次元モデルを生成し、符号化三次元モデルを出力する例である。
【0105】
図4は、実施例1の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。この三次元画像処理装置3-1は、三次元モデル符号化部31を備えている。三次元画像処理装置3-1は、図1に示した実施例1の復号側の三次元画像処理装置1-1が三次元モデル復号部11を備えている場合に対応する符号化側の装置である。
【0106】
三次元モデル符号化部31は、図1に示した三次元モデル復号部11と対をなし、互いに同一の符号化方式によって動作するものとする。三次元モデル符号化部31は、後述する三次元モデル化部2から三次元モデルを入力し、三次元モデルを符号化することで符号化三次元モデルを生成し、符号化三次元モデルを出力する。
【0107】
三次元モデル符号化部31により出力された符号化三次元モデルは、対応する図1に示した三次元画像処理装置1-1へ伝送されるか、または図示しないメモリに蓄積される。メモリに蓄積された符号化三次元モデルは、対応する図1に示した三次元画像処理装置1-1により読み出される。
【0108】
三次元モデル化部2は、例えば図示しないカメラから複数の視点の計測データ(画像)を入力し、複数の視点の画像から三次元モデルを生成し、三次元モデルを三次元画像処理装置3-1へ出力する。
【0109】
三次元モデル化部2は、例えば、カメラから複数の画像を入力し、複数の視点の画像から三次元モデルを生成する。この生成には、例えば、一方の視点の画像を複数のブロック(部分画像)に分割し、当該ブロックとの相互相関が最大(または誤差が最小)となる他方の視点の画像上の領域を求めることで視差を算出し、当該視差から奥行き情報を推定するステレオマッチング法を適用することができる。このようにして得られた奥行き情報を前記一方の画像座標に対応付けて画像化することで、デプス画像による三次元モデルが得られる。
【0110】
また、三次元モデル化部2は、前記複数の視点の画像からそれぞれ特徴点を抽出し、類似した特徴点同士を対応付け、その画像座標対から三次元座標を得るものであってもよい。この場合、得られた画像対の数の点で構成される点群として、三次元モデルが得られる。尚、前記特徴点の抽出及び対応付けには、例えば、SIFT(Scale-Invariant Feature Transform)を用いることができる。
【0111】
さらに、前記点群のうち、近傍にある3個以上(例えば3個)の点を組み合わせて多角形(例えば三角形)群を構成することで、ポリゴンモデルによる三次元モデルを得るようにしてもよい。
【0112】
〔符号化側の三次元画像処理装置:実施例2-1〕
次に、実施例2-1の符号化側の三次元画像処理装置(三次元画像符号化装置)について説明する。実施例2-1の符号化側の三次元画像処理装置は、三次元モデルを符号化することで符号化三次元モデルを生成して出力すると共に、三次元モデルをレンダリングすることで二次元画像を生成し、学習用画像及び二次元画像を用いて復元パラメータを生成して出力する例である。
【0113】
図5は、実施例2-1の符号化側の三次元画像処理装置における構成の一例を示すブロック図であり、図6は、実施例2-1の符号化側の三次元画像処理装置における処理の一例を示すフローチャートである。
【0114】
この三次元画像処理装置3-2aは、三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部33及び復元パラメータ符号化部34を備えている。復元パラメータ生成部33は、復元パラメータ記憶部41、二次元画像復元部42、誤差評価部43及び復元パラメータ更新部44を備えている。
【0115】
三次元画像処理装置3-2aは、図3に示した実施例2の復号側の三次元画像処理装置1-2が三次元モデル復号部11及び復元パラメータ復号部15を備えている場合に対応する符号化側の装置である。
【0116】
三次元画像処理装置3-2aは、三次元モデル化部2から三次元モデルを入力すると共に、予め設定されたレンダリング用パラメータを入力し、さらに学習用画像を入力する(ステップS601)。三次元モデル化部2については、図4にて説明済みであるため、ここでは説明を省略する。
【0117】
レンダリング部32は、三次元モデルを入力すると共に、予め設定されたレンダリング用パラメータを入力し、レンダリング用パラメータを用いて三次元モデルをレンダリングすることで、CGの二次元画像を生成する(ステップS602)。そして、レンダリング部32は、二次元画像を復元パラメータ生成部33に出力する。
【0118】
レンダリング用パラメータは、学習用画像の撮影条件に一致することが好ましい。また、レンダリング部32の動作は、図3に示したレンダリング部12と同様のアルゴリズムによって動作することが好ましいが、必ずしも完全に一致するアルゴリズムである必要はない。
【0119】
復元パラメータ生成部33は、学習用画像を入力すると共に、レンダリング部32から二次元画像を入力する。そして、復元パラメータ生成部33は、仮の復元パラメータを用いて二次元画像から復元二次元画像を求め、学習用画像と復元二次元画像との間の誤差が小さくなるように、仮の復元パラメータを更新する。
【0120】
復元パラメータ生成部33は、所定の終了条件を満たす場合に、更新した仮の復元パラメータを復元パラメータとして、復元パラメータ符号化部34に出力する。
【0121】
具体的には、復元パラメータ生成部33の復元パラメータ記憶部41には、二次元画像復元部42の動作を規定する仮のパラメータを保持している。仮の復元パラメータは、例えばニューラルネットワークの結合重み係数値及びバイアス値である。
【0122】
二次元画像復元部42は、レンダリング部32から二次元画像を入力すると共に、復元パラメータ記憶部41から仮の復元パラメータを読み出し、仮の復元パラメータを用いて二次元画像に対して復元処理を施し、復元二次元画像を生成する(ステップS603)。そして、二次元画像復元部42は、復元二次元画像を誤差評価部43に出力する。
【0123】
二次元画像復元部42は、図3に示した二次元画像復元部14と同様の方式によって実装されるが、それらの具体的な挙動は復元パラメータによって変化するため、挙動まで一致するとは限らない。ただし、同一の復元パラメータを、二次元画像復元部42及び図3に示した二次元画像復元部14に与えた場合には、両二次元画像復元部42,14は、同一の動作をするものとする。
【0124】
例えば、二次元画像復元部42及び二次元画像復元部14がニューラルネットワークにより構成される場合、素子間のネットワークの接続形態(及び活性化関数)が互いに同一の挙動となるものとする。
【0125】
誤差評価部43は、学習用画像を入力すると共に、二次元画像復元部42から復元二次元画像を入力し、学習用画像と復元二次元画像との間の差異を定量化することで誤差を評価し、誤差値を算出する(ステップS604)。そして、誤差評価部43は、誤差値を復元パラメータ更新部44に出力する。
【0126】
例えば、誤差評価部43は、画素位置毎に、復元二次元画像の画素値から学習用画像の画素値を減算し、減算結果である誤差画像を誤差値として出力するようにしてもよい。また、誤差評価部43は、誤差画像を画像全体に渡って総和した値を、誤差値として出力するようにしてもよい。
【0127】
さらに、誤差評価部43は、誤差画像を画像の部分領域毎に総和して、当該部分領域毎の総和値を誤差値として出力するようにしてもよい。この場合、各部分領域は、互いに重なりを有しても有していなくても構わない。
【0128】
誤差評価部43が算出する誤差値は、例えば絶対値誤差によるものであってもよいし、二乗誤差によるものであってもよい。また、誤差評価部43が誤差値を算出する際に総和演算を行う場合には、誤差値は、絶対値誤差和(SAE:Sum of Absolute Errors)、二乗誤差和(SSE:Sum of Squared Errors)、絶対値誤差の平均値(MAE:Mean Absolute Error)、二乗誤差の平均値の正の平方根(RMSE:Root Mean Squared Error)等によるものであってもよい。
【0129】
さらに、誤差評価部43は、学習用画像と復元二次元画像との間の構造類似性指標(SSIM:Structural SIMilarity)に基づいて、誤差値を算出するようにしてもよい。例えば、1からSSIM値を減じた値を誤差値とする。
【0130】
また、誤差評価部43は、学習用画像と復元二次元画像との間の交差エントロピーまたは相互相関値に基づいて、誤差値を算出するようにしてもよい。また、誤差評価部43は、算出した複数の誤差値及び前記構造類似性指標等を結合(例えば、線形結合)することで、出力すべき誤差値を求めるようにしてもよい。
【0131】
学習用画像としては、三次元画像処理装置3-2aが入力する三次元モデルが三次元モデル化部2により生成される際に使用した画像を用いるようにしてもよい。例えば、三次元モデルが複数の視点の画像から生成される場合、当該複数の視点の画像のいずれかを学習用画像として用いるようにしてもよい。この場合、視点の画像を撮影した際のカメラ位置及び画角情報は、レンダリング用パラメータとして用いることができる。
【0132】
また、三次元モデル化部2において使用するセンサまたはカメラとは別に、学習用画像取得用のカメラを設置しておき、当該学習画像取得用カメラにより取得された画像を、学習用画像として用いるようにしてもよい。
【0133】
復元パラメータ更新部44は、誤差評価部43から誤差値を入力し、当該誤差値が小さくなるように、復元パラメータ記憶部41に一時的に格納されている仮の復元パラメータの値を更新する(ステップS605)。そして、復元パラメータ更新部44は、所定の終了条件を満たした場合、仮の復元パラメータを復元パラメータとして復元パラメータ符号化部34に出力する。
【0134】
例えば、復元パラメータ更新部44は、復元パラメータ記憶部41に格納されている仮の復元パラメータを所定量または乱数値(疑似乱数値を含む)だけ変化させることで、誤差値が小さくなる場合には変化後の仮の復元パラメータを採用し、小さくならない場合には変化前の仮の復元パラメータを維持する操作を1回以上実施してもよい。
【0135】
また、復元パラメータ更新部44は、二次元画像復元部42の入出力関係の関数を仮の復元パラメータの各々において偏微分した値(ヤコビアン値)に基づいて、例えば勾配降下法により仮の復元パラメータを更新してもよい。
【0136】
偏微分に基づく手法として二次元画像復元部42にニューラルネットワークを用いた場合には、復元パラメータ更新部44は、誤差値逆伝播法(バックプロパゲーション法)によって仮の復元パラメータを更新してもよい。
【0137】
復元パラメータ更新部44は、仮の復元パラメータを更新する繰り返し回数、誤差評価部43から入力する誤差値、またはその両方に基づいて規定される終了条件を満たした場合に、その繰り返し動作を停止し、最後に更新(または最後の直前に更新)した仮の復元パラメータを復元パラメータとして、復元パラメータ符号化部34に出力する。
【0138】
例えば終了条件は、誤差値が所定の値を下回った場合に満たしたと判定され、復元パラメータ更新部44は、最後に更新した仮の復元パラメータを復元パラメータとして出力するようにしてもよい。また、終了条件は、現在の誤差値が以前の誤差値を上回った場合に満たしたと判定され、復元パラメータ更新部44は、最後の直前に更新した仮の復元パラメータを復元パラメータとして出力するようにしてもよい。
【0139】
また、終了条件は、現在の誤差値と以前の誤差値との間の差分が所定値以下となった場合に満たしたと判定され、復元パラメータ更新部44は、最後に更新した仮の復元パラメータまたは最後の直前に更新した仮の復元パラメータを復元パラメータとして出力するようにしてもよい。
【0140】
また、終了条件は、復元パラメータ更新部44の更新回数が所定の繰り返し回数に達したときに満たしたと判定され、復元パラメータ更新部44は、最後に更新した仮の復元パラメータを復元パラメータとして出力するようにしてもよい。
【0141】
また、終了条件は、復元パラメータ更新部44の更新回数の条件と、誤差値に基づく条件との間の論理演算(例えば、論理和または論理積)によって判定されるようにしてもよい。
【0142】
さらに、誤差評価部43は、学習用画像とは異なる検証用画像を学習用画像の代わりに入力し、レンダリング部32は、当該検証用画像に呼応する(対応する)レンダリング用パラメータを使用し、レンダリング部32、二次元画像復元部42及び誤差評価部43を動作させたときの誤差評価部43により出力される誤差値に基づいて、復元パラメータ更新部44が終了条件を判定するようにしてもよい。
【0143】
この場合、検証用画像は終了条件の判定のみに用いられ、仮の復元パラメータの更新には用いない。また、検証用画像の入力に伴う終了条件の判定は、学習用画像による仮の復元パラメータの更新の都度行うようにしてもよいし、学習用画像による復元パラメータの更新を複数回行った場合の複数回の更新毎に行うようにしてもよい。
【0144】
三次元モデル符号化部31は、図3に示した三次元モデル復号部11と対をなし、互いに同一の符号化方式によって動作するものとする。三次元モデル符号化部31は、三次元モデルを符号化することで符号化三次元モデルを生成し、符号化三次元モデルを出力する(ステップS606)。
【0145】
復元パラメータ符号化部34は、図3に示した復元パラメータ復号部15と対をなし、互いに同一の符号化方式によって動作するものとする。復元パラメータ符号化部34は、復元パラメータ更新部44から復元パラメータを入力し、復元パラメータを符号化することで符号化復元パラメータを生成し、符号化復元パラメータを出力する(ステップS607)。
【0146】
三次元モデル符号化部31により出力された符号化三次元モデル及び復元パラメータ符号化部34により出力された符号化復元パラメータは、対応する図3に示した三次元画像処理装置1-2へ伝送されるか、または図示しないメモリに蓄積される。メモリに蓄積された符号化三次元モデル及び符号化復元パラメータは、対応する図3に示した三次元画像処理装置1-2により読み出される。
【0147】
以上のように、実施例2-1の符号化側の三次元画像処理装置3-2aによれば、レンダリング部32は、レンダリング用パラメータを用いて三次元モデルをレンダリングすることで、二次元画像を生成する。
【0148】
復元パラメータ生成部33は、仮の復元パラメータを用いて二次元画像から復元二次元画像を求め、学習用画像と復元二次元画像との間の誤差が小さくなるように、仮の復元パラメータを更新する。そして、復元パラメータ生成部33は、所定の終了条件を満たす場合に、更新した仮の復元パラメータを復元パラメータとして出力する。
【0149】
そして、三次元モデル及び復元パラメータは符号化され、符号化三次元モデル及び符号化復元パラメータとして出力(伝送または蓄積)される。三次元画像処理装置3-2aにより出力された符号化三次元モデル及び符号化復元パラメータを入力する図3に示した実施例2の復号側の三次元画像処理装置1-2は、前述のとおり、復元二次元画像を生成する。
【0150】
これにより、三次元モデルに誤差等があり、符号化による劣化があるため、三次元モデルのレンダリングにより得られた二次元画像が劣化した場合であっても、その劣化を補正した復元二次元画像を得ることができる。つまり、事後的に復号側が二次元画像の劣化を補正するために、符号化側の三次元画像処理装置3-2aにおいて復元パラメータを生成することができる。
【0151】
したがって、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正することができる。
【0152】
尚、図5に示した三次元画像処理装置3-2aは、三次元モデル符号化部31及び復元パラメータ符号化部34を備えているが、三次元モデル符号化部31及び復元パラメータ符号化部34を備えていなくてもよい。この場合、三次元画像処理装置3-2aは、レンダリング部32及び復元パラメータ生成部33を備え、符号化されていない三次元モデル及び符号化されていない復元パラメータを直接出力する。つまり、三次元画像処理装置3-2aは、入力した三次元モデルをそのまま出力し、復元パラメータ生成部33の復元パラメータ更新部44は、復元パラメータを出力する。
【0153】
また、三次元画像処理装置3-2aは、レンダリング部32、復元パラメータ生成部33及び復元パラメータ符号化部34を備え、三次元モデル符号化部31を備えていなくてもよい。
【0154】
また、三次元画像処理装置3-2aは、三次元モデル符号化部31、レンダリング部32及び復元パラメータ生成部33を備え、復元パラメータ符号化部34を備えていなくてもよい。
【0155】
〔符号化側の三次元画像処理装置:実施例2-2〕
次に、実施例2-2の符号化側の三次元画像処理装置(三次元画像符号化装置)について説明する。実施例2-2の符号化側の三次元画像処理装置は、三次元モデルを符号化することで符号化三次元モデルを生成して出力すると共に、符号化三次元モデルを復号し、復号三次元モデルをレンダリングすることで二次元画像を生成し、学習用画像及び二次元画像を用いて復元パラメータを生成して出力する例である。
【0156】
図7は、実施例2-2の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。
【0157】
この三次元画像処理装置3-2bは、三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部33、復元パラメータ符号化部34及び三次元モデル復号部35を備えている。復元パラメータ生成部33は、復元パラメータ記憶部41、二次元画像復元部42、誤差評価部43及び復元パラメータ更新部44を備えている。
【0158】
図5に示した実施例2-1の符号化側の三次元画像処理装置3-2aと図7に示す実施例2-2の符号化側の三次元画像処理装置3-2bとを比較すると、両三次元画像処理装置3-2a,3-2bは、三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部33及び復元パラメータ符号化部34を備えている点で共通する。
【0159】
一方、三次元画像処理装置3-2bは、三次元モデル復号部35を備えている点で、三次元モデル復号部35を備えていない三次元画像処理装置3-2aと相違する。図7において、図5と共通する部分には図5と同一の符号を付し、その詳しい説明は省略する。
【0160】
三次元画像処理装置3-2bは、図5に示した三次元画像処理装置3-2aと同様に、図3に示した実施例2の復号側の三次元画像処理装置1-2が三次元モデル復号部11及び復元パラメータ復号部15を備えている場合に対応する符号化側の装置である。
【0161】
三次元モデル符号化部31は、符号化三次元モデルを外部へ出力すると共に、三次元モデル復号部35に出力する。
【0162】
三次元モデル復号部35は、三次元モデル符号化部31から符号化三次元モデルを入力し、符号化三次元モデルを復号することで復号三次元モデルを生成し、復号三次元モデルをレンダリング部32に出力する。
【0163】
三次元モデル復号部35は、図3に示した三次元モデル復号部11と同じ符号化方式を用いて処理を行い、互いに同一の入出力関係を有するものとする。
【0164】
尚、三次元モデル符号化部31が局部復号(ローカルデコード)出力を有する場合には、当該出力を三次元モデル復号部35の出力に代えて使用することで、三次元モデル復号部35を省略することができる。すなわち、三次元モデル符号化部31は、局部復号機能を有する場合、局部復号により生成した復号三次元モデルをレンダリング部32に出力する。
【0165】
また、図5に示した実施例2-1におけるレンダリング部32の動作と、図7に示した実施例2-2におけるレンダリング部32の動作とを比較すると、前者は、原データである三次元モデルを入力するのに対し、後者は、符号化及び復号処理により生成された復号三次元モデルを入力する点で相違し、それ以外は同様である。
【0166】
以上のように、実施例2-2の符号化側の三次元画像処理装置3-2bによれば、三次元モデル復号部35は、三次元モデルが符号化された符号化三次元モデルを復号し、復号三次元モデルを生成する。レンダリング部32は、レンダリング用パラメータを用いて復号三次元モデルをレンダリングすることで、二次元画像を生成する。
【0167】
復元パラメータ生成部33は、仮の復元パラメータを用いて二次元画像から復元二次元画像を求め、学習用画像と復元二次元画像との間の誤差が小さくなるように、仮の復元パラメータを更新する。そして、復元パラメータ生成部33は、所定の終了条件を満たす場合に、更新した仮の復元パラメータを復元パラメータとして出力する。
【0168】
そして、三次元モデル及び復元パラメータは符号化され、符号化三次元モデル及び符号化復元パラメータとして出力(伝送または蓄積)される。三次元画像処理装置3-2bにより出力された符号化三次元モデル及び符号化復元パラメータを入力する図3に示した実施例2の復号側の三次元画像処理装置1-2は、前述のとおり、復元二次元画像を生成する。
【0169】
これにより、実施例2-1の符号化側の三次元画像処理装置3-2aと同様に、事後的に復号側が二次元画像の劣化を補正するために、符号化側の三次元画像処理装置3-2bにおいて復元パラメータを生成することができる。
【0170】
したがって、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正することができる。
【0171】
また、三次元画像処理装置3-2bによれば、三次元モデル符号化部31により三次元モデルに符号化劣化が生じる場合であっても、復元パラメータ生成部33において、当該符号化劣化も含めて復元パラメータの最適化が行われる。このため、特に三次元モデル符号化部31に用いる符号化方式が非可逆(ロッシー)である場合に有効となる。尚、三次元モデル符号化部31に用いる符号化方式が可逆(ロスレス)である場合であっても、復元パラメータに対する悪影響はない。
【0172】
したがって、三次元モデルの符号化方式が如何なる方式であっても、好適な復元パラメータを得ることができる。三次元モデル符号化部31に用いる符号化方式が非可逆である場合には、三次元モデルに誤差等があり、さらに、非可逆符号化に起因する三次元モデルに劣化があるため、当該三次元モデルをレンダリングすることで得られた二次元画像が劣化している場合であっても、事後的に復号側にてその劣化を補正した復元二次元画像を得るための復元パラメータを生成することができる。
【0173】
また、三次元モデル符号化部31が局部復号の機能を有する場合には、三次元モデル復号部35が不要となるため、演算コストが増加することはない。
【0174】
尚、図7に示した三次元画像処理装置3-2bは、復元パラメータ符号化部34を備えているが、復元パラメータ符号化部34を備えていなくてもよい。この場合、三次元画像処理装置3-2bは、三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部33及び三次元モデル復号部35を備え、符号化されていない復元パラメータを直接出力する。つまり、復元パラメータ生成部33の復元パラメータ更新部44は、復元パラメータを出力する。
【0175】
また、三次元画像処理装置3-2bは、三次元モデル符号化部31が符号化三次元モデルを出力するようにしたが、当該三次元画像処理装置3-2bが入力した三次元モデルをそのまま出力するようにしてもよい。
【0176】
さらに、図5に示した実施例2-1の符号化側の三次元画像処理装置3-2a及び図7に示した実施例2-2の符号化側の三次元画像処理装置3-2bにおいて、三次元画像処理装置3-2aに備えたレンダリング部32、復元パラメータ生成部33及び復元パラメータ符号化部34の処理、及び、三次元画像処理装置3-2bに備えた三次元モデル復号部35、レンダリング部32、復元パラメータ生成部33及び復元パラメータ符号化部34の処理(以下、「復元パラメータ更新等」という。)に伴う動作は、三次元モデルが入力される都度実行されるものであってもよいし、間欠的に実行されるものであってもよい。
【0177】
また、当該動作は、三次元画像処理装置3-2a,3-2bに対するユーザの操作に従い、不特定のタイミングで実行されるものであってもよいし、特定または不特定のタイミング(例えば、初回の三次元モデルが入力されたタイミング)において1回のみ実行されるものであってもよい。
【0178】
また、入力される三次元モデルが時系列的なものであり、三次元モデル符号化部31がGOP(Group Of Pictures)構造を有する映像符号化方式に準拠する場合には、当該GOPの間隔(例えば、イントラピクチャまたはイントラスライスのタイミング)において、前記復元パラメータ更新等の動作が実行されるようにしてもよい。後述する図8に示す三次元画像処理装置3-2cについても同様である。
【0179】
また、三次元画像処理装置3-2a,3-2bにおいて、復元パラメータ生成部33に備えた復元パラメータ更新部44により復元パラメータが出力され、復元パラメータ符号化部34により符号化が行われて符号化復元パラメータが出力される実行頻度(すなわち、符号化復元パラメータの出力頻度)は、これ以外の復元パラメータ更新等の実行頻度または三次元モデルの入力頻度(以下、総称して「三次元モデルの入力頻度」という。)と同じであってもよい。また、符号化復元パラメータの出力頻度は、三次元モデルの入力頻度よりも低くてもよい。
【0180】
符号化復元パラメータが出力される実行頻度を低くすることにより、学習量の増加によって復元パラメータを一層精度高く更新することができる一方で、符号化復元パラメータのデータ量が減少するため、総合的な符号量を削減することができる。つまり、三次元モデル及び復元パラメータの伝送または蓄積に必要なビットレートまたは記録容量が少なくて済む。後述する図8に示す三次元画像処理装置3-2cについても同様である。
【0181】
また、三次元画像処理装置3-2a,3-2bの復元パラメータ生成部33に備えた復元パラメータ更新部44は、仮の復元パラメータを更新する際に、事前または最初の学習用画像が入力されるタイミングにおいて、所定の数値系列または乱数値系列(疑似乱数値系列を含む)により初期化を行う。後述する図8に示す三次元画像処理装置3-2cについても同様である。
【0182】
この場合、復元パラメータ更新部44は、学習用画像が入力される都度、または所定数の学習用画像が入力される都度、前記初期化を行うようにしてもよい。また、復元パラメータ更新部44は、三次元画像処理装置3-2a,3-2bに対するユーザの操作に従い、不特定のタイミングで前記初期化を行うようにしてもよい。
【0183】
また、復元パラメータ更新部44は、事前に入力された学習用画像、三次元モデル及びレンダリング用パラメータを用いて三次元モデル符号化部31等の処理が行われたときの誤差値が小さくなるように復元パラメータを求めておく。そして、復元パラメータ更新部44は、事前に求めておいた復元パラメータを、前記初期化の際の所定の数値系列等として用いるようにしてもよい。この場合、事前に求めた復元パラメータを用いて転移学習を実現することができる。
【0184】
〔符号化側の三次元画像処理装置:実施例2-3〕
次に、実施例2-3の符号化側の三次元画像処理装置(三次元画像符号化装置)について説明する。実施例2-3の符号化側の三次元画像処理装置は、三次元モデルを符号化することで符号化三次元モデルを生成して出力すると共に、符号化三次元モデルを復号し、復号三次元モデルをレンダリングすることで二次元画像を生成し、サイクルガン(CycleGAN)用いて、学習用画像及び二次元画像から復元パラメータを生成して出力する例である。
【0185】
図8は、実施例2-3の符号化側の三次元画像処理装置における構成の一例を示すブロック図である。
【0186】
この三次元画像処理装置3-2cは、三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部37、復元パラメータ符号化部34及び三次元モデル復号部35を備えている。
【0187】
図7に示した実施例2-2の符号化側の三次元画像処理装置3-2bと図8に示す実施例2-3の符号化側の三次元画像処理装置3-2cとを比較すると、両三次元画像処理装置3-2b,3-2cは、三次元モデル符号化部31、レンダリング部32、復元パラメータ符号化部34及び三次元モデル復号部35を備えている点で共通する。
【0188】
一方、三次元画像処理装置3-2cは、復元パラメータ生成部33とは異なる復元パラメータ生成部37を備えている点で、復元パラメータ生成部33を備えている三次元画像処理装置3-2bと相違する。図8において、図7と共通する部分には図7と同一の符号を付し、その詳しい説明は省略する。
【0189】
三次元画像処理装置3-2cは、図5に示した三次元画像処理装置3-2a及び図7に示した三次元画像処理装置3-2bと同様に、図3に示した実施例2の復号側の三次元画像処理装置1-2が三次元モデル復号部11及び復元パラメータ復号部15を備えている場合に対応する符号化側の装置である。
【0190】
復元パラメータ生成部37は、学習用画像を入力すると共に、レンダリング部32から二次元画像を入力する。復元パラメータ生成部37は、サイクルガンのニューラルネットワークを用いて、仮の復元パラメータを更新し、所定の終了条件を満たす場合に、更新した仮の復元パラメータを復元パラメータとして復元パラメータ符号化部34に出力する。
【0191】
図9は、実施例2-3における復元パラメータ生成部37の構成の一例を示すブロック図であり、図10は、復元パラメータ生成部37の処理の一例を示すフローチャートである。
【0192】
図5及び図7に示した復元パラメータ生成部33とこの復元パラメータ生成部37とを比較すると、両復元パラメータ生成部33,37は、仮の復元パラメータを更新する点で共通する。一方、復元パラメータ生成部37は、サイクルガンのニューラルネットワークを備え、仮の復元パラメータに加えて劣化パラメータを更新する点で、仮の復元パラメータのみを更新する復元パラメータ生成部33と相違する。
【0193】
復元パラメータ生成部37は、復元パラメータ記憶部51、劣化パラメータ記憶部52、二次元画像復元部53、二次元画像劣化部54、誤差評価部55,56、復元パラメータ更新部57及び劣化パラメータ更新部58を備えている。二次元画像復元部53及び二次元画像劣化部54は、共に敵対的生成ネットワークを備えている。
【0194】
復元パラメータ記憶部51には、二次元画像復元部53の動作を規定する仮の復元パラメータFPを保持しており、劣化パラメータ記憶部52には、二次元画像劣化部54の動作を規定する劣化パラメータRPを保持している。これらのパラメータは、ニューラルネットワークの結合重み係数値及びバイアス値である。
【0195】
二次元画像復元部53は、レンダリング部32から二次元画像Aを入力すると共に、復元パラメータ記憶部51から仮の復元パラメータFPを読み出す。そして、二次元画像復元部53は、仮の復元パラメータFPを用いて二次元画像Aに対して復元処理を施し、第一の復元二次元画像F1を生成する(ステップS1001)。二次元画像復元部53は、第一の復元二次元画像F1を二次元画像劣化部54に出力する。
【0196】
二次元画像劣化部54は、二次元画像復元部53から第一の復元二次元画像F1を入力すると共に、劣化パラメータ記憶部52から劣化パラメータRPを読み出す。そして、二次元画像劣化部54は、劣化パラメータRPを用いて第一の復元二次元画像F1に対して劣化処理を施し、第一の劣化二次元画像R1を生成する(ステップS1002)。二次元画像劣化部54は、第一の劣化二次元画像R1を誤差評価部55に出力する。
【0197】
この場合の劣化処理は、第一の復元二次元画像F1に対して、三次元モデルにおけるデータの誤差等及び三次元モデル符号化部31による符号化に起因する劣化を模擬し、その結果を第一の劣化二次元画像R1として生成する処理である。
【0198】
誤差評価部55は、レンダリング部32から二次元画像Aを入力すると共に、二次元画像劣化部54から第一の劣化二次元画像R1を入力する。そして、誤差評価部55は、二次元画像Aと第一の劣化二次元画像R1との間の差異を定量化することで誤差を評価し、誤差値e1を算出する(ステップS1003)。誤差評価部55は、誤差値e1を復元パラメータ更新部57及び劣化パラメータ更新部58に出力する。
【0199】
二次元画像劣化部54は、学習用画像Gを入力すると共に、劣化パラメータ記憶部52から劣化パラメータRPを読み出す。そして、二次元画像劣化部54は、劣化パラメータRPを用いて学習用画像Gに対して劣化処理を施し、第二の劣化二次元画像R2を生成する(ステップS1004)。二次元画像劣化部54は、第二の劣化二次元画像R2を二次元画像復元部53に出力する。
【0200】
この場合の劣化処理は、学習用画像Gに対して、三次元モデルにおけるデータの誤差等及び三次元モデル符号化部31の符号化に起因する劣化を模擬し、その結果を第二の劣化二次元画像R2として生成する処理である。
【0201】
二次元画像復元部53は、二次元画像劣化部54から第二の劣化二次元画像R2を入力すると共に、復元パラメータ記憶部51から仮の復元パラメータFPを読み出す。そして、二次元画像復元部53は、仮の復元パラメータFPを用いて第二の劣化二次元画像R2に対して復元処理を施し、第二の復元二次元画像F2を生成する(ステップS1005)。二次元画像復元部53は、第二の復元二次元画像F2を誤差評価部56に出力する。
【0202】
誤差評価部56は、学習用画像Gを入力すると共に、二次元画像復元部53から第二の復元二次元画像F2を入力する。そして、誤差評価部56は、学習用画像Gと第二の復元二次元画像F2との間の差異を定量化することで誤差を評価し、誤差値e2を算出する(ステップS1006)。誤差評価部56は、誤差値e2を復元パラメータ更新部57及び劣化パラメータ更新部58に出力する。
【0203】
復元パラメータ更新部57は、誤差評価部55から誤差値e1を入力すると共に、誤差評価部56から誤差値e2を入力する。そして、復元パラメータ更新部57は、誤差値e1,e2が小さくなるように、復元パラメータ記憶部51に一時的に格納されている仮の復元パラメータFPの値を、例えば誤差値逆伝播法により更新する(ステップS1007)。例えば、復元パラメータ更新部57は、誤差値e1が小さくなるように仮の復元パラメータFPを更新する処理と、誤差値e2が小さくなるように仮の復元パラメータFPを更新する処理とを交互に繰り返す。
【0204】
劣化パラメータ更新部58は、誤差評価部55から誤差値e1を入力すると共に、誤差評価部56から誤差値e2を入力する。そして、劣化パラメータ更新部58は、誤差値e1,e2が小さくなるように、劣化パラメータ記憶部52に一時的に格納されている劣化パラメータRPの値を、例えば誤差値逆伝播法により更新する(ステップS1008)。例えば、劣化パラメータ更新部58は、誤差値e1が小さくなるように劣化パラメータRPを更新する処理と、誤差値e2が小さくなるように劣化パラメータRPを更新する処理とを交互に繰り返す。
【0205】
復元パラメータ更新部57及び劣化パラメータ更新部58は、図5及び図7に示した復元パラメータ更新部44と同様に、所定の終了条件を満たす場合に、更新処理を停止する。復元パラメータ更新部57は、更新した仮の復元パラメータFPを復元パラメータPとして復元パラメータ符号化部34に出力する(ステップS1009)。
【0206】
所定の終了条件は、復元パラメータ更新部57及び劣化パラメータ更新部58において同じであってもよいし、異なっていてもよい。所定の終了条件は、例えば誤差値e1,e2の両方またはいずれか一方に基づいて定義してもよいし、所定のしきい値を下回った場合に成立するようにしてもよい。
【0207】
以上のように、実施例2-3の符号化側の三次元画像処理装置3-2cによれば、三次元モデル復号部35は、三次元モデルが符号化された符号化三次元モデルを復号し、復号三次元モデルを生成する。レンダリング部32は、レンダリング用パラメータを用いて復号三次元モデルをレンダリングすることで、二次元画像を生成する。
【0208】
復元パラメータ生成部37は、サイクルガンのニューラルネットワークを用いて、仮の復元パラメータを更新し、所定の終了条件を満たす場合に、更新した仮の復元パラメータを復元パラメータとして出力する。
【0209】
そして、三次元モデル及び復元パラメータは符号化され、符号化三次元モデル及び符号化復元パラメータとして出力(伝送または蓄積)される。三次元画像処理装置3-2cにより出力された符号化三次元モデル及び符号化復元パラメータを入力する図3に示した実施例2の復号側の三次元画像処理装置1-2は、前述のとおり、復元二次元画像を生成する。
【0210】
これにより、実施例2-1,2-2の符号化側の三次元画像処理装置3-2a,3-2bと同様に、三次元画像を伝送または蓄積するシステムにおいて、三次元モデルを所望の視点でレンダリングする際に、レンダリングにより得られる二次元画像の劣化を補正することができる。
【0211】
また、三次元画像処理装置3-2cによれば、復元パラメータ生成部37は、サイクルガンのニューラルネットワークを用いるようにした。
【0212】
これにより、入力した三次元モデル及び学習用画像が、必ずしも同じ被写体または撮影条件において取得したものでなくとも、三次元モデルにおけるデータの誤差等及び三次元モデル符号化部31に起因する劣化を補正するための復元パラメータを求めることができる。
【0213】
すなわち、図5及び図7に示した三次元画像処理装置3-2a,3-2bでは、三次元モデル及び学習用画像は、同じ被写体及び撮影条件において取得したものである必要があるが、三次元画像処理装置3-2cでは、このような制約はない。つまり、三次元画像処理装置3-2cでは、使い勝手の良い復元パラメータの生成処理を実現することができる。
【0214】
尚、図8に示した三次元画像処理装置3-2cは、復元パラメータ符号化部34を備えているが、復元パラメータ符号化部34を備えていなくてもよい。この場合、三次元画像処理装置3-2cは、三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部37及び三次元モデル復号部35を備え、符号化されていない復元パラメータを直接出力する。つまり、復元パラメータ生成部37の復元パラメータ更新部57は、復元パラメータを出力する。
【0215】
また、三次元画像処理装置3-2cは、三次元モデル符号化部31が符号化三次元モデルを出力するようにしたが、当該三次元画像処理装置3-2cが入力した三次元モデルをそのまま出力するようにしてもよい。
【0216】
また、三次元画像処理装置3-2cは、三次元モデル復号部35を備えているが、三次元モデル復号部35を備えていなくてもよい。この場合、レンダリング部32は、三次元モデルを直接入力する。
【0217】
以上、実施例1,2,2-1~2-3を挙げて本発明を説明したが、本発明は前記実施例1,2等に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0218】
尚、本発明の実施例1による復号側の三次元画像処理装置1-1及び符号化側の三次元画像処理装置3-1のハードウェア構成としては、通常のコンピュータを使用することができる。本発明の実施例2による復号側の三次元画像処理装置1-2、及び実施例2-1~2-3による符号化側の三次元画像処理装置3-2a~3-2cについても同様である。
【0219】
三次元画像処理装置1-1,1-2,3-1,3-2a~3-2cは、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0220】
三次元画像処理装置1-1に備えた三次元モデル復号部11、レンダリング部12、復元パラメータ記憶部13及び二次元画像復元部14の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、三次元画像処理装置1-2に備えた三次元モデル復号部11、レンダリング部12、復元パラメータ記憶部13、二次元画像復元部14及び復元パラメータ復号部15の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0221】
さらに、三次元画像処理装置3-1に備えた三次元モデル符号化部31の機能は、当該機能を記述したプログラムをCPUに実行させることにより実現される。また、三次元画像処理装置3-2aに備えた三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部33及び復元パラメータ符号化部34の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0222】
また、三次元画像処理装置3-2bに備えた三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部33、復元パラメータ符号化部34及び三次元モデル復号部35の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0223】
また、三次元画像処理装置3-2cに備えた三次元モデル符号化部31、レンダリング部32、復元パラメータ生成部37、復元パラメータ符号化部34及び三次元モデル復号部35の各機能も、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0224】
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0225】
1-1,1-2,3-1,3-2a,3-2b,3-2c 三次元画像処理装置
2 三次元モデル化部
11,35 三次元モデル復号部
12,32 レンダリング部
13,41,51 復元パラメータ記憶部
14,42,53 二次元画像復元部
15 復元パラメータ復号部
31 三次元モデル符号化部
33,36,37 復元パラメータ生成部
34 復元パラメータ符号化部
43,55,56 誤差評価部
44,57 復元パラメータ更新部
52 劣化パラメータ記憶部
54 二次元画像劣化部
58 劣化パラメータ更新部
A 二次元画像
F1 第一の復元二次元画像
F2 第二の復元二次元画像
R1 第一の劣化二次元画像
R2 第二の劣化二次元画像
FP 仮の復元パラメータ
P 復元パラメータ
RP 劣化パラメータ
e1,e2 誤差値
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10