特許 7600162 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20241209BHJP

【ＦＩ】

G06T15/20 500

【請求項の数】 14

(21)【出願番号】P 2022013580

(22)【出願日】2022-01-31

(65)【公開番号】P2023111638

(43)【公開日】2023-08-10

【審査請求日】2023-09-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】阿達 大地

【審査官】益戸 宏

(56)【参考文献】

【文献】特許第６４１５６７５（ＪＰ，Ｂ２）

【文献】国際公開第２０１９／２４４９４４（ＷＯ，Ａ１）

【文献】特開２０２１－１２８５９２（ＪＰ，Ａ）

【文献】特開２０２０－１３５２９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

撮像エリア内の被写体を複数の位置から撮像することによって得られた前記被写体の三次元モデルと、前記撮像エリアに対する前記被写体の位置を示す情報と、を取得する取得手段と、
前記被写体の三次元モデルに基づいて、前記被写体を含む仮想視点画像を生成する生成手段であって、前記被写体の位置に応じた補正を前記仮想視点画像における前記被写体に対して行う、生成手段と、
を有し、
前記生成手段は、前記被写体と前記撮像エリアの境界との距離に応じて前記補正の強さを変更することを特徴とする情報処理装置。

【請求項2】

前記生成手段は、前記被写体の三次元モデルの各構成要素に対応する前記被写体の部分と前記撮像エリアの境界との距離に基づいて、前記被写体の三次元モデルの欠損部分を補間することを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記取得手段は、前記撮像エリアに対する前記被写体の各部分の位置を示す情報を取得し、
前記生成手段は、前記被写体の各部分の位置に応じて選択された前記仮想視点画像における前記被写体の一部を補正することを特徴とする、請求項１又は２に記載の情報処理装置。

【請求項4】

前記取得手段は、前記撮像エリアに対する前記被写体の各部分の位置を示す情報を取得し、
前記生成手段は、前記仮想視点画像における前記被写体の各部分に対して前記被写体の各部分の位置に応じた強さの補正を行うことを特徴とする、請求項１又は２に記載の情報処理装置。

【請求項5】

撮像エリア内の被写体を複数の位置から撮像することによって得られた前記被写体の三次元モデルと、前記撮像エリアに対する前記被写体の位置を示す情報と、を取得する取得手段と、
前記被写体の三次元モデルに基づいて、前記被写体を含む仮想視点画像を生成する生成手段であって、前記被写体の位置に応じた補正を前記仮想視点画像における前記被写体に対して行う、生成手段と、
を有し、
前記生成手段は、前記撮像エリアに対する複数の撮像装置の配置に基づいて予め前記撮像エリア内の各位置に設定された評価値と、前記被写体の位置とに基づいて、前記補正の強さを変更することを特徴とする情報処理装置。

【請求項6】

前記評価値は、前記撮像エリア内の各位置に存在する前記被写体の、前記撮像装置のいずれかが撮像した画像における大きさ又は位置に応じて決定されていることを特徴とする、請求項５に記載の情報処理装置。

【請求項7】

前記生成手段は、前記被写体の影を前記仮想視点画像に描画し、前記被写体の位置に応じた強さの補正を前記仮想視点画像における前記被写体の影に対しても行う、請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記生成手段が行う前記補正は色補正であることを特徴とする、請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記生成手段が行う前記補正は、網かけ処理、色ブレンド処理、ぼかし処理、又は前記被写体の透明化処理であることを特徴とする、請求項１から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記生成手段は、前記三次元モデルの欠損部分に相当する、前記仮想視点画像上の部分の輪郭を強調することを特徴とする、請求項１から９のいずれか１項に記載の情報処理装置。

【請求項11】

前記生成手段は、前記被写体の視認性を低下させるように前記補正を行うことを特徴とする、請求項１から１０のいずれか１項に記載の情報処理装置。

【請求項12】

情報処理装置が行う情報処理方法であって、
撮像エリア内の被写体を複数の位置から撮像することによって得られた前記被写体の三次元モデルと、前記撮像エリアに対する前記被写体の位置を示す情報と、を取得する工程と、
前記被写体の三次元モデルに基づいて、前記被写体を含む仮想視点画像を生成する工程であって、前記被写体の位置に応じた補正を前記仮想視点画像における前記被写体に対して行う、工程と、
を有し、
前記生成する工程では、前記被写体と前記撮像エリアの境界との距離に応じて前記補正の強さを変更することを特徴とする情報処理方法。

【請求項13】

情報処理装置が行う情報処理方法であって、
撮像エリア内の被写体を複数の位置から撮像することによって得られた前記被写体の三次元モデルと、前記撮像エリアに対する前記被写体の位置を示す情報と、を取得する工程と、
前記被写体の三次元モデルに基づいて、前記被写体を含む仮想視点画像を生成する工程であって、前記被写体の位置に応じた補正を前記仮想視点画像における前記被写体に対して行う、工程と、
を有し、
前記生成する工程では、前記撮像エリアに対する複数の撮像装置の配置に基づいて予め前記撮像エリア内の各位置に設定された評価値と、前記被写体の位置とに基づいて、前記補正の強さを変更することを特徴とする情報処理方法。

【請求項14】

コンピュータを、請求項１から１１のいずれか１項に記載の情報処理装置のとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は情報処理装置、情報処理方法、及びプログラムに関し、特に、仮想視点からの見た場合の被写体の仮想視点画像を生成するシステムに関する。

【背景技術】

【0002】

複数の撮像装置を異なる位置に設置し、同期撮像を行い、この撮像により得られた複数の画像を用いて仮想視点画像を生成する技術が注目されている。例えば、このような技術を用いて、前景被写体の三次元モデルを複数フレームにわたって生成することにより、被写体の動き及び軌跡を解析するための仮想視点画像を生成することができる。

【0003】

特許文献１は、仮想視点画像を生成する際に、仮想視点と被写体の三次元モデルとの距離が近すぎる場合に解像度が低下するという課題を解決するために、仮想視点画像において仮想視点に近い被写体の透明度を高くすることを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１４４６３８号公報

【文献】特開２０２１－３３５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

被写体の三次元モデルを作成する際に、三次元モデルを生成するエリアをあらかじめ決めておき、このエリアに向けて複数の撮像装置を設置する構成が考えられる。しかし、このような構成を採用した場合、エリアの境界付近のような、高精度の撮像が困難な位置に存在する被写体の、仮想視点画像における像の品質が低下する可能性がある。また、このエリアの外側に位置する被写体の三次元モデルを生成しない構成を採用することにより、生成される三次元モデルのデータ量を削減することができるが、このような構成を採用すると、三次元モデルの形状が部分的に欠けてしまう可能性がある。これにより、例えば、人物の被写体において顔の一部が欠けている場合、顔を通り抜けて、後頭部の裏側が仮想視点画像に表示されてしまう可能性がある。

【0006】

本開示は、ユーザに与える違和感が軽減された仮想視点画像の生成技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一実施形態に係る情報処理装置は以下の構成を有する。すなわち、
撮像エリア内の被写体を複数の位置から撮像することによって得られた前記被写体の三次元モデルと、前記撮像エリアに対する前記被写体の位置を示す情報と、を取得する取得手段と、
前記被写体の三次元モデルに基づいて、前記被写体を含む仮想視点画像を生成する生成手段であって、前記被写体の位置に応じた補正を前記仮想視点画像における前記被写体に対して行う、生成手段と、
を有し、
前記生成手段は、前記被写体と前記撮像エリアの境界との距離に応じて前記補正の強さを変更する。

【発明の効果】

【0008】

本開示によれば、ユーザに与える違和感が軽減された想視点画像を生成することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係るシステム構成の例を示す図。

【図2】一実施形態に係る情報処理装置のハードウェア構成の例を示す図。

【図3】一実施形態に係る情報処理方法のフローチャート。

【図4】被写体、撮像エリア、及び仮想視点の関係を示す図。

【図5】品質評価値及び網掛け処理量の算出方法の例を示すグラフ。

【図6】仮想視点画像の例を示す図。

【図7】仮想視点画像の例を示す図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

本開示の一実施形態に係る情報処理装置は、撮像エリア内の被写体を複数の位置から撮像することによって得られた被写体の三次元モデルに基づいて、仮想視点からの被写体の仮想視点画像を生成する。以下、このような情報処理装置と複数の撮像装置とを備える画像処理システムについて説明する。この画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成する。なお、本明細書において、画像は静止画に限られず、連続時刻にわたって撮像又は再生される映像であってもよい。また、このような映像において、仮想視点は固定されていてもよいし、動いていてもよい。このように動きながら被写体を観察する仮想視点は、カメラワークと呼ぶこともできる。

【0012】

図１は本開示の一実施形態に係る画像処理システムの構成例を示す。画像処理システム１は、以下の構成要素を有する。

【0013】

複数の撮像装置１００は撮像エリアを複数の方向から撮像する。撮像エリアは、例えば屋内の撮像スタジオ又は演劇が行われる舞台などである。複数の撮像装置１００は、このような撮像エリアを取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置１００は撮像エリアの全周にわたって設置されていなくてもよい。例えば、設置場所の制限等の理由により、撮像エリアに対して特定の方向に離れた位置にのみ設置されていてもよい。また、撮像装置の数は特に限定されない。例えば撮像エリアがサッカーの競技場である場合に、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、互いに機能が異なる撮像装置が設置されていてもよく、例えば望遠カメラと広角カメラとが設置されていてもよい。

【0014】

撮像装置情報１１１は、複数の撮像装置１００のそれぞれについての位置及び撮像範囲を示すデータである。例えば、撮像装置情報１１１は、複数の撮像装置１００のそれぞれの三次元位置を表すパラメータと、パン、チルト、及びロール方向における撮像装置の撮像方向を表すパラメータとを含むことができる。また撮像装置情報１１１は、撮像装置の視野の大きさ（画角）及び解像度を表すパラメータを含むことができる。撮像装置情報１１１は、特に限定されない方法によりカメラキャリブレーションを行うことにより予め算出することができる。例えば、複数の撮像装置１００での撮像によって得られた複数の画像中の点を互いに対応付け、幾何計算を行うことにより撮像装置情報１１１を算出することができる。なお、撮像装置情報の内容は上記の内容に限定されない。撮像装置情報１１１は複数のパラメータセットを有していてもよい。例えば、撮像装置情報１１１が、撮像装置での撮像によって得られた動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有していてもよい。このような撮像装置情報１１１は、連続する複数の時点それぞれにおける撮像装置の位置及び方向を示すことができる。

【0015】

オブジェクト生成装置１１０は、複数の撮像装置１００から受信したそれぞれの画像、すなわち複数視点からの画像と、撮像装置情報１１１とに基づき、被写体の三次元モデル（三次元オブジェクト）を生成する。もっとも、情報処理装置２００がオブジェクト生成装置１１０の機能を有していてもよい。

【0016】

被写体の種類は特に限定されないが、前景被写体である、舞台演者などの人物でありうる。三次元モデルを生成する方法は特に限定されないが、例えば特許文献１に記載の方法を用いることができる。オブジェクト生成装置１１０が生成した前景被写体の三次元モデルは、前景オブジェクト１０１として記録され、情報処理装置２００へ送信される。

【0017】

三次元モデルとは形状と色とを示す情報が記述されたデータである。例えば、三次元モデルは、テクスチャ付きメッシュモデル、又は各点に色のついた三次元点群で構成されていてもよい。また、三次元モデルは、後述するイメージベースドレンダリングに用いられる、被写体の形状を示すデータ（例えばメッシュモデル又は三次元点群）と撮像画像とのセットで構成されていてもよい。なお、三次元モデルは、形状を示す情報が記述されたデータでもよく、色を示す情報が記述されていなくてもよい。

【0018】

背景オブジェクト１１２は、被写体の三次元モデルが配置される環境を表す三次元モデルである。背景オブジェクト１１２は、例えば、広いコンサートホール、サッカースタジアム、又は小規模な屋内の部屋のような、前景とは異なる環境の三次元モデルであってもよい。背景オブジェクト１１２は、ＣＡＤなどの設計データであってもよいし、レーザースキャナ等を用いたスキャンされた背景の形状及び色を示すデータであってもよい。さらには、背景オブジェクト１１２は、複数視点からの画像群を用いて、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎなどのコンピュータビジョン技術を用いて生成されてもよい。このような背景オブジェクト１１２は、あらかじめ画像処理システム１に読み込まれていてもよい。

【0019】

本開示の一実施形態に係る情報処理装置２００は、オブジェクト取得部２０１、エリア取得部２０２、及び表示制御部２０３を有する。

【0020】

オブジェクト取得部２０１は、撮像エリア内の被写体を複数の位置から撮像することによって得られた被写体の三次元モデルを取得する。オブジェクト取得部２０１は、前述のように、オブジェクト生成装置１１０が生成した前景オブジェクト１０１を取得することができる。ここで、前景オブジェクト１０１は、複数の時刻における被写体の形状及び色に対応する、複数の時刻における被写体の三次元モデルを含むことができる。オブジェクト取得部２０１は、さらに、背景オブジェクト１１２を取得することができる。

【0021】

エリア取得部２０２は、撮像エリアに対する被写体の位置を示す情報を取得する。本実施形態において、エリア取得部２０２は、複数の撮像装置１００が取り囲む撮像エリアの幾何情報を記述するエリア情報１０２を取得する。エリア情報１０２は、三次元空間におけるエリアの位置及び大きさを示すことができ、例えば中心座標及びＸ，Ｙ，Ｚ軸それぞれの長さを記述する直方体の幾何情報であってもよい。このような幾何情報は、撮像装置情報１１１に記述されている撮像装置１００の位置を示すために用いられる座標系により規定することができる。

【0022】

本実施形態の場合、前景オブジェクト１０１は三次元空間における被写体の位置を、例えば撮像装置情報１１１に記述されている撮像装置１００の位置を示すために用いられる座標系により規定している。したがって、このようなエリア情報１０２により、被写体の撮像エリアに対する位置を知ることができる。とりわけ、本実施形態の場合、前景オブジェクト１０１は三次元空間における被写体の各部分の位置を規定している。したがって、このようなエリア情報１０２により、被写体の各部分の撮像エリアに対する位置を知ることができる。エリア情報１０２は、三次元空間を２つ以上に分割するものであり、球又は円柱等の任意の形状を示すことができる。また、エリア情報１０２は複数のエリアを示していてもよい。なお、このようなエリア情報１０２は、前景オブジェクト１０１に含まれていてもよい。また、前景オブジェクト１０１が、被写体の三次元モデルに加えて、エリア情報１０２とは異なる形式の、被写体の撮像エリアに対する位置を示す情報を含んでいてもよい。なお、被写体の撮像エリアに対する位置を示す情報が、撮像エリアに対する被写体の位置を１箇所に特定する情報である必要はない。この情報は、撮像エリアの境界からの被写体の距離を示す情報であってもよい。

【0023】

表示制御部２０３は、被写体の三次元モデルに基づいて、仮想視点からの、被写体を含む仮想視点画像を生成する。例えば、表示制御部２０３は、前景オブジェクト１０１、エリア情報１０２、及び仮想視点１０３に基づき、仮想視点１０３から見た前景オブジェクトを示す仮想視点画像をレンダリングすることができる。また、表示制御部２０３は、背景オブジェクト１１２に基づき、仮想視点１０３から見た背景オブジェクトを仮想視点画像にレンダリングすることができる。

【0024】

ここで、表示制御部２０３は、被写体の撮像エリアに対する位置に応じた補正を仮想視点画像における被写体に対して行う。例えば、表示制御部２０３は、被写体の撮像エリアに対する位置に応じて設定された強さの補正を仮想視点画像における被写体に対して行うことができる。本実施形態の場合、表示制御部２０３は、被写体の各部分の撮像エリアに対する位置に応じて選択された仮想視点画像における被写体の一部を補正する。言い換えれば、表示制御部２０３は、被写体の一部に対してはある程度の強さの補正を行う一方で、被写体の他の一部に対しては強さ０の補正を行う。また、表示制御部２０３は、仮想視点画像における被写体の各部分に対して、撮像エリアに対する位置に応じた強さの補正を行ってもよい。

【0025】

表示制御部２０３は、被写体と撮像エリアの境界との距離に応じて、補正を行う部分を選択し、又は補正の強さを変更することができる。以下に説明する実施形態において、表示制御部２０３は、前景オブジェクトのうちのエリア境界部分に対して網掛け処理を行うことにより、被写体のエリア境界部分の補正を行う。また、網掛け処理の強さは、エリア境界部分に近いほど高くなる。このような構成により、被写体がエリア境界に位置する際における、被写体の三次元モデルの欠損箇所に対して網掛け処理を行うことができる。

【0026】

表示制御部２０３はまた、仮想視点画像のデータを表示装置３００へ送信することができる。表示装置３００は受信した仮想視点画像を表示できる装置であり、例えば液晶ディスプレイ、プロジェクタ、又はヘッドマウントディスプレイなどでありうる。

【0027】

仮想視点１０３は、仮想視点の位置及び撮像範囲を示すデータである。仮想視点１０３は、例えば、仮想視点に仮想的に存在する仮想カメラの三次元位置、方向、画角、及び解像度を記述することができる。仮想視点１０３は、撮像装置情報１１１と同様のフォーマットでこれらの情報を記述していてもよい。仮想視点１０３は、図示しない外部のコントローラなどの操作インターフェースから受信されてもよい。

【0028】

図２は、情報処理装置２００のハードウェア構成例を示す。なお、オブジェクト生成装置１１０及び表示装置３００も、以下で説明する情報処理装置２００と同様のハードウェア構成により実現することができる。

【0029】

情報処理装置２００は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、及びバス２１８を有する。ＣＰＵ２１１は、ＲＯＭ２１２又はＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて情報処理装置２００の全体を制御することで、図１に示す情報処理装置２００の各機能を実現する。なお、情報処理装置２００は、ＣＰＵ２１１とは異なる１又は複数の専用ハードウェアを有していてもよく、この場合ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行できる。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などが挙げられる。

【0030】

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラム又はデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等のストレージで構成され、画像データ又は音声データなどの種々のデータを記憶する。表示部２１５は、例えば液晶ディスプレイ又はＬＥＤ等の表示装置で構成され、ユーザが情報処理装置２００を操作するために用いるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボード、マウス、ジョイスティック、又はタッチパネル等で構成され、ユーザによる操作に従って各種の指示をＣＰＵ２１１に入力する。

【0031】

ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。通信Ｉ／Ｆ２１７は、情報処理装置２００の外部の装置との通信に用いられる。例えば、情報処理装置２００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。情報処理装置２００が外部の装置と無線通信する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、情報処理装置２００の各部をつないで情報を伝達する。図２の例では表示部２１５と操作部２１６とが情報処理装置２００の内部に存在しているが、表示部２１５と操作部２１６との少なくとも一方が情報処理装置２００の外部に別の装置として存在していてもよい。また、情報処理装置２００は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

【0032】

次に情報処理装置２００が行う処理を図３を参照して説明する。Ｓ３１０では、エリア取得部２０２がエリア情報１０２を取得する。この例においてエリア情報１０２は、撮像装置情報１１１と同じ座標系において、原点（０，０，０）に対する中心が（０，０，２）であり、Ｘ，Ｙ軸方向に１０ｍ、Ｚ軸方向に４ｍに広がる直方体をエリアとして示す。エリア取得部２０２はエリア情報１０２を補助記憶装置２１４から取得し、ＲＡＭ２１３に一時記憶する。

【0033】

Ｓ３２０では、オブジェクト取得部２０１が前景オブジェクト１０１及び背景オブジェクト１１２を取得し、ＲＡＭ２１３に一時記憶する。この例において、これらのオブジェクトは例えばスタンフォードＰＬＹ又はウェーブフロントＯＢＪ等の汎用フォーマットで記録された三次元メッシュポリゴンデータである。オブジェクト取得部２０１は、三次元メッシュに代えて三次元ポイントクラウドデータを取得してもよい。また、同時にＳ３２０では、表示制御部２０３が仮想視点１０３を取得し、ＲＡＭ２１３に一時記憶する。

【0034】

図４は、エリア情報１０２の示すエリア、前景オブジェクト１０１、及び仮想視点１０３に仮想的に置かれる仮想カメラの俯瞰図である。前景オブジェクト１０１は２人の人物を示すオブジェクト１０１０，１０１１を含む。オブジェクト１０１１が示す人物の顔と胴体の一部はエリア外に出ているため、オブジェクト１０１１はこの部分１０１１０の形状を示さない。オブジェクト１０１１のこの部分１０１１０には穴が空いており、オブジェクト１０１１の内側は空洞となっている。

【0035】

Ｓ３３０では、表示制御部２０３が、被写体の撮像エリアに対する位置を評価する。この例において、表示制御部２０３は、エリア情報１０２に示されるエリアと前景オブジェクト１０１との距離に基づき、前景オブジェクト１０１の品質評価値を算出する。図４に示すように、エリアの境界部においては三次元モデルの形状が欠ける。また、エリアの境界部に向けられたカメラは少ない可能性があり、被写体の像の品質が低下する可能性がある。このように、表示制御部２０３は、被写体の各部分の撮像エリアに対する位置に応じて、より具体的には被写体の各部分のエリアの境界部までの距離に応じて、仮想視点画像におけるこの部分の像の品質を推定又は評価することができる。

【0036】

品質評価値は前景オブジェクト１０１の構成要素、つまりメッシュの頂点又は三次元点ごとに算出される。この品質評価値は、例えば０～１．０の値域の実数値であってもよく、構成要素からエリアの境界部までの最短距離（垂線の長さ）が短いほど小さく、長いほど大きい値をとることができる。図５（Ａ）は、距離と品質評価値との関係の一例を表すグラフである。図５（Ａ）においては、横軸がエリア情報１０２が示すエリアの境界部と前景オブジェクト１０１の構成要素との最短距離を、縦軸が品質評価値を示す。なお、この例において、前景オブジェクト１０１の各構成要素の位置は、エリア情報１０２及び撮像装置情報１１１と同じ三次元座標系で示されている。したがって、前景オブジェクト１０１の各構成要素の位置は、この構成要素に対応する被写体の部分の位置に相当する。前景オブジェクトの構成要素がエリアの境界部に接している、つまり距離が０の時は、前景オブジェクト１０１のこの構成要素の品質評価値は０である。また、距離が５ｃｍの時は品質評価値が１．０であり、距離がそれよりも長いときも品質評価値は１．０である。この処理により、オブジェクト１０１０の各構成要素は品質評価値１．０となり、オブジェクト１０１１の構成要素のうちエリア外に出ている部分１０１１０の周辺の品質評価値は、０に近い値となる。

【0037】

この際に、表示制御部２０３は、被写体の三次元モデルの欠損部分を補間することができる。例えば、表示制御部２０３は、被写体の三次元モデルの各構成要素に対応する被写体の部分と撮像エリアの境界との距離に基づいて、被写体の三次元モデルの欠損部分を補間することができる。具体的には、表示制御部２０３は、オブジェクト１０１１のうち、品質評価値が同一となる等高線に囲まれる面を補間により生成することができる。この際には、補間された部分には、輪郭部分と同じ品質評価値を適用することができる。このような構成により、オブジェクト１０１１のうち形状がない部分１０１１０を補間し、オブジェクト１０１１の穴を埋めることができる。

【0038】

Ｓ３４０では、表示制御部２０３が、品質評価値に基づいて網掛け処理量を決定する。図５（Ｂ）は品質評価値と網掛け処理量との関係を表すグラフの一例である。図５（Ｂ）において、横軸は品質評価値を、縦軸が網掛け処理量を示す。品質評価値が０である境界部では網掛け処理量が１．０となる。また、品質評価値が１．０以上の箇所では網掛け処理量が０であり、つまりこの箇所には網掛け処理が行われない。

【0039】

Ｓ３５０で表示制御部２０３は、被写体の三次元モデルに基づいて、仮想視点からの被写体の仮想視点画像を生成する。この例において、表示制御部２０３は、前景オブジェクト１０１及び背景オブジェクト１１２を仮想視点１０３に投影することでこれらのオブジェクトのレンダリングを行う。投影の方法としては、特許文献１で述べられているモデルベースドレンダリング又はイメージベースドレンダリングを用いることができる。例えば、前景オブジェクト１０１が色のついた三次元モデルである場合、各点の色を仮想視点画像に投影することができる。また、前景オブジェクト１０１が三次元形状データに加えて前景を写す複数の画像により構成されている場合、レンダリング時に画像を参照して各点の色を決定することができる。

【0040】

さらに、表示制御部２０３は、被写体の撮像エリアに対する位置に応じた補正を仮想視点画像における被写体に対して行う。この例では、品質評価値が１．０未満である前景オブジェクト１０１の構成要素に対して網掛け処理が行われる。より具体的には、仮想視点画像のうち、品質評価値が１．０未満である前景オブジェクト１０１の構成要素が映っている領域に対し、網掛け画像を重畳することができる。このような手法により、表示制御部２０３は、撮像エリアに対する位置に応じて選択された仮想視点画像における被写体の一部を補正することができる。

【0041】

網掛け処理の処理例について以下に説明する。まず、網掛け画像を生成するためのレイヤー画像を用意する。次に、網の色は予めユーザ入力により設定することができ、この例ではシアンに設定されている。そして、網の模様をレイヤー画像に描画する。網の模様は例えば、１ピクセルおきの間隔で描画された１ピクセルの太さの線によって構成されていてもよい。さらに、輪郭部を表す２ピクセルの太さの線をレイヤー画像に描画する。輪郭部の位置は、例えば、品質評価値が０である前景オブジェクト１０１の構成要素、又は最も低い品質評価値に従って上記のように補間された面の輪郭部分の構成要素を、仮想視点画像に投影することにより決定できる。このように、表示制御部２０３は、三次元モデルの欠損部分に相当する、仮想視点画像上の部分の輪郭を強調することができる。このような構成によれば、仮想視点画像に映っている品質劣化部分が三次元モデルの欠損によるものであると容易に理解することができる。

【0042】

このように生成されたレイヤー画像と、オブジェクトのレンダリング画像とは、網掛け処理量を係数としてアルファ合成される。すなわち、前景オブジェクト１０１及び背景オブジェクト１１２が投影された仮想視点画像の各画素の輝度値を（Ｒ，Ｇ，Ｂ）、レイヤー画像の各画素の輝度値を（Ｌｒ，Ｌｇ，Ｌｂ）、網掛け処理量をａとする。この場合、網掛け処理後の各画素の輝度値（Ｒｏ，Ｇｏ，Ｂｏ）は、（Ｒｏ，Ｇｏ，Ｂｏ）＝ａ×（Ｌｒ，Ｌｇ，Ｌｂ）＋（１－ａ）×（Ｒ，Ｇ，Ｂ）として算出される。

【0043】

図６は、レンダリング結果の例である仮想視点画像１０３０を示す。オブジェクト１０１０はエリアの境界部から５ｃｍ以上離れているため網掛け処理の影響を受けない。オブジェクト１０１１のうち形状がない部分１０１１０に対しては１．０の網掛け処理量で網掛け処理が行われる。また、その周辺部１０１１１に対しては、形状がない部分１０１１０から離れるほど小さい網掛け処理量で網掛け処理が行われる。このような手法により、仮想視点画像における被写体の各部分に対して撮像エリアに対する位置に応じた強度の補正を行うことができる。一方で、オブジェクト１０１１のうち、エリアの境界部から５ｃｍ以上離れている箇所には網掛け処理が行われない。なお、前景オブジェクト同士が仮想視点画像上で重なる場合には、形状に基づいて各オブジェクトの距離画像を作成し、この距離画像に基づいて遮蔽判定を行うことにより、被写体の像が重なるようにレンダリングを行うことができる。

【0044】

Ｓ３６０では、表示装置３００が、仮想視点画像１０３０を用いてディスプレイの表示を更新する。

【0045】

Ｓ３７０では、オブジェクト取得部２０１及び表示制御部２０３が補助記憶装置２１４の内部を探索し、次のフレームの前景オブジェクト１０１及び仮想視点１０３が存在するかどうかを確認す。これらが存在する場合、Ｓ３８０においてフレームが更新され、処理はＳ３２０へと進む。これらが存在しない場合、プロセスは終了する。

【0046】

以上のように、本実施形態においては、被写体の撮像エリアに対する位置関係に応じた補正が、仮想視点画像における被写体に対して行われる。具体的には、前景オブジェクトのうち撮像エリアの境界に近い部分に対して網掛け処理が行われた。このように、仮想視点画像において被写体の像の品質が劣化する部分に対して網掛け処理を行うことにより、不自然に写る箇所が目立たなくなり、ユーザに与える違和感を軽減することができる。また、このような構成によれば、三次元モデルのうち、被写体がエリアの境界に位置しているために欠損している部分を通り抜けて、三次元モデルの内側がレンダリングされる可能性が低減されるため、画質の劣化を軽減できる。

【0047】

もっとも、網掛け処理の方法は上記の方法に限られない。例えば、網の色、並びに線の太さ及び間隔を変えてもよい。また、あらかじめ網掛け模様を有するレイヤー画像を用意しておいてもよい。また、仮想視点画像における被写体の補正方法は、網掛け処理に限られない。例えば、表示制御部２０３は、被写体に対して色補正を行うことができる。具体的には、表示制御部２０３は、網かけ処理、色ブレンド処理、ぼかし処理、又は被写体の透明化処理を行うことができる。色ブレンド処理を行う場合、例えば、網掛け模様を有するレイヤー画像の代わりに、一面が塗りつぶされたレイヤー画像を用いることができる。さらには、品質評価値が低い前景オブジェクト１０１の構成要素が映っている部分に対して網掛け処理を行う代わりに、この部分に対してガウシアンフィルタ等を用いたぼかし処理を行ってもよい。このように表示制御部２０３は、様々な手法を用いて、被写体の視認性を低下させるように補正を行うことができる。このような構成によっても、仮想視点画像のうち品質が低い部分において被写体の色を変更することでこの部分が目立ちにくくなるため、ユーザに与える違和感を軽減することができる。

【0048】

このような別の例として、網掛け処理を行う代わりに、エリアの境界に近い前景オブジェクトを透明化する方法について説明する。この例では、Ｓ３３０で表示制御部２０３が、前景オブジェクトのうちエリア境界に最も近い構成要素とエリア境界との距離に基づいて、前景オブジェクトごとに品質評価値を算出する。また、Ｓ３４０で表示制御部２０３は、品質評価値に基づいてアルファ値を決定する。例えば、品質評価値が０である境界部ではアルファ値を０とすることができる。また、品質評価値が０から１．０のときはアルファ値を線形に増加させ、品質評価値が１．０のときはアルファ値を１．０にすることができる。

【0049】

そして、Ｓ３５０で表示制御部２０３は、前景オブジェクト１０１と背景オブジェクト１１２とをアルファブレンディングする。すなわち、各画素における、仮想視点画像に投影された前景オブジェクト１０１の輝度値を（Ｒ＿ｆｇ，Ｇ＿ｆｇ，Ｂ＿ｆｇ）、背景オブジェクト１１２の輝度値を（Ｒ＿ｂｇ，Ｇ＿ｂｇ，Ｂ＿ｂｇ）、アルファ値をαとする。この場合、透明化処理後の各画素の輝度値（Ｒｏ，Ｇｏ，Ｂｏ）は、（Ｒｏ，Ｇｏ，Ｂｏ）＝α×（Ｒ＿ｆｇ，Ｇ＿ｆｇ，Ｂ＿ｆｇ）＋（１－α）×（Ｒ＿ｂｇ，Ｇ＿ｂｇ，Ｂ＿ｂｇ）とすることができる。

【0050】

このような方法によれば、仮想視点画像において品質が劣化する被写体の像に対して透明化処理が行われる。図７は、このようにしてレンダリングされた仮想視点画像１０３０の例を示す。オブジェクト１０１０はエリアの境界部から５ｃｍ以上離れているため透明化処理の影響を受けない。一方で、オブジェクト１０１１はエリア境界と接しており距離が０のため、透明度が最大となる。すなわち、オブジェクト１０１１が仮想視点画像１０３０上に現れないように補正が行われる。この手法によれば、エリアの境界に前景オブジェクトが近づくほど透明になるように、前景オブジェクトに対する透明化処理が行われる。このような透明化処理によっても、品質が低い部分、例えば形状が欠けている箇所を含むオブジェクトが透明化されるため、ユーザに与える違和感を軽減することができ、また画質の劣化を軽減できる。

【0051】

上述の実施例では、被写体の撮像エリアに対する位置関係を示す情報として、エリア境界と前景オブジェクトとの距離が用いられた。一方で、被写体の撮像エリアに対する位置関係を示す情報はこのような距離に限定されない。以下では、撮像エリアに対する複数の撮像装置の配置に基づいて予め撮像エリア内の各位置に設定された評価値と、被写体の位置とに基づいて、補正の強さを変更する場合について説明する。以下の例では、撮像エリアの各地点について事前に品質評価値が規定され、撮像エリアにおける被写体の位置の品質評価値に基づく補正が仮想視点画像における被写体に対して行われる。

【0052】

撮像エリアの各地点の品質評価値は、その地点における画像品質又は撮像装置までの距離等に応じて定めることができる。具体例としては、特許文献２に記載された方法を用いることができる。つまり、エリア内の格子点上に評価指標となる座標を設定する。そして、撮像エリア内の各位置に存在する物体の、撮像装置のいずれかが撮像した画像における大きさ又は位置に応じて品質評価値を決定することができる。より具体的には、各座標を例えば８方向のそれぞれから見る際に、視点、座標、及び視点と最も近い角度で撮像する撮像装置がなす角度、及びその撮像装置による座標の撮像解像度に応じて評価値を算出することができる。ここで、視点と最も近い角度で撮像する撮像装置とは、複数の撮像装置のうち、視点、座標、及び撮像装置がなす角度が最も小さくなる撮像装置のことである。

【0053】

この場合、評価値は次のように算出することができる。上記の角度をθ、解像度をδ（ｐｘ／ｍｍ）としたとき、評価値ｑはｑ＝ｃｏｓ（θ）×（δ－δ＿ｍｉｎ）／（δ＿ｍａｘ－δ＿ｍｉｎ）とすることができる。なる。ここでδ＿ｍｉｎ及びδ＿ｍａｘは、それぞれエリア内の全格子点及び全方向におけるδの最小値及び最大値であり、この式における第２項はｑの値域が０～１．０になるように正規化するためのものである。このような評価値は、各格子点について、８方向のそれぞれについて算出することができる。そして、前景オブジェクト又は前景オブジェクトの各構成要素と最も近い評価指標を、８方向のうち仮想視点からの方向と最も近い方向から見る際の評価値を、品質評価値として用いることができる。このように予め算出された評価値は、Ｓ３１０で表示制御部２０３が補助記憶装置２１４から取得し、ＲＡＭ２１３に一時記憶することができる。

【0054】

このような構成によっても、仮想視点画像のうち品質が低い部分に対して網掛け処理又は透明化処理のような補正処理をより強く行うことにより、ユーザに与える違和感を軽減することができる。とりわけ、エリア内の各地点を撮像するカメラの台数、角度、又は解像度に起因する品質の低下に基づいて網掛け処理量を決定することにより、画質の劣化を軽減することができる。

【0055】

これらの品質の評価方法は組み合わせて用いることもできる。例えば、エリア境界からの距離に基づいて算出した品質評価値と、エリア内の各地点について予め規定された上記の品質評価値とを統合し、統合された品質値に基づいて補正処理の強さを決定してもよい。統合方法としては、平均、最小、又は最大などの統計量を算出する方法が挙げられる。また、３種類以上の品質評価値を統合して用いてもよい。

【0056】

ここまで、被写体の撮像エリアに対する位置に応じた補正を仮想視点画像における被写体に対して行う方法について説明した。以下では、仮想視点画像のうち三次元モデルの裏側が映っている部分に対して補正を行う方法について説明する。以下の例では、エリアの情報を用いずに、前景オブジェクトの形状を用いて表裏の解析が行われる。

【0057】

この実施形態に係る情報処理装置２００は、エリア取得部２０２の代わりに形状解析部２２１を有する。形状解析部２２１は、被写体の三次元モデルの各部分の裏側を判定する。ここで、三次元モデルの表側とは、三次元モデルに対応する被写体の表面側を指し、三次元モデルの裏側とは、三次元モデルに対応する被写体の内部側を指す。具体的には、被写体の三次元形状がメッシュデータで表される場合、メッシュデータを構成し、被写体の表面を表すポリゴンの裏側の面のことである。このようなポリゴンは法線方向が決められており、その法線方向に対して表の面と裏の面がポリゴンには存在する。このように、形状解析部２２１は、オブジェクトの形状に基づいて表裏を解析し、解析結果を表示制御部２０３へ送信する。そして、表示制御部２０３は、仮想視点画像のうち三次元モデルの裏側が映っている部分を判定し、裏側が映っている部分に対する補正を行う。

【0058】

このような実施形態も、図３に示すフローチャートに沿って行うことができ、以下では上記の実施形態とは異なる部分について説明する。Ｓ３１０は省略される。Ｓ３３０で形状解析部２２１は、三次元モデルの各部分における裏側の向きを判定する。例えば、形状解析部２２１は、面又は点のような三次元モデルの構成要素の表裏を判定することができる。形状解析部２２１、前景オブジェクトの三次元モデルに、表裏を示す法線情報が含まれていれば、この法線情報を使用することができる。一方で、このような法線情報が含まれていない場合、形状解析部２２１は新たに法線情報を算出することができる。

【0059】

面（ポリゴン）の法線は次のように算出することができる。すなわち、面を構成する頂点を順につなぐようにベクトルを２つ定め、その外積の向く方向が法線の方向である。さらに、前景オブジェクトの外側に一つの点を定め、その点からオブジェクト上の面又は点に向かうベクトルと、先に求めた法線のベクトルとの内積の正負に基づいて、オブジェクトの外側に法線が向かう方の面を決めることができ、この面が表面となる。また、その反対の面は裏面となる。なお、オブジェクトの着目部分から、同じオブジェクトの他の様々な部分へと向かうベクトルの平均を算出し、着目部分のうちベクトルの終点に面している側を裏面と判定してもよい。また、点の法線は次のように算出できる。オブジェクト上の頂点の１つに注目したとき、隣接する複数の面の法線ベクトルの平均を求め、これを頂点の法線として用いることができる。

【0060】

また、形状解析部２２１は、前景オブジェクトの表面の品質評価値を高く、裏面の品質評価値をこれよりも低く設定する。例えば、表面の品質評価値を１．０に、裏面の品質評価値を０に設定することができる。

【0061】

その後、Ｓ３４０で表示制御部２０３は、品質評価値に基づいて網掛け処理又は透明処理等の補正の強さを決定する。この例で表示制御部２０３は、前景オブジェクトを仮想視点へと投影するとともに、前景オブジェクトの裏面が投影される画素については網掛け処理量を１．０に、前景オブジェクトの表面が投影される画素については網掛け処理量を０にすることができる。裏面が投影される画素の網掛け処理量は、ユーザ入力に従って設定されてもよい。さらに、仮想視点とオブジェクトとの間の距離、又は裏面が投影される領域の面積等に応じて、品質評価値又は補正の強さが決定されてもよい。

【0062】

以上のように、前景オブジェクトの形状解析に基づいて補正を行うことにより、エリアの情報がなくても、品質が低い部分、例えばオブジェクトの裏側が表示される部分がユーザに与える違和感を軽減することができる。もちろん、前景オブジェクトの形状解析に基づく補正と、被写体の撮像エリアに対する位置関係に基づく補正と、を組み合わせ用いてもよい。

【0063】

以上の実施形態では、主に前景オブジェクトのレンダリングについて説明した。一方で、前景オブジェクトが他の前景オブジェクト又は背景オブジェクトに落とす影のレンダリングにおいても、上記のような補正を行うことができる。すなわち、このような前景オブジェクトの影のレンダリングも、本明細書における前景オブジェクトのレンダリングに含まれる。この場合、前景オブジェクトの像に対する補正を、前景オブジェクトの影に対しても適用することができる。すなわち、表示制御部２０３は、被写体の影を仮想視点画像に描画し、位置に応じた強さの補正を仮想視点画像における被写体の影に対しても行うことができる。

【0064】

例として、透明化処理を影に対して行う場合について説明する。この場合、通常のコンピュータグラフィックス技術における影のレンダリング方法に従って、光源の設定を行った上で、レイトレーシングにより影のみをレンダリングしたレイヤー画像を作成することができる。さらに、背景オブジェクトがレンダリングされた仮想視点画像に対して、前景オブジェクトと同様のアルファ値を用いて掛けのレイヤー画像をアルファブレンディングすることにより、透明化された影を描画することができる。このような構成によれば、エリアに対する位置関係に基づいて被写体が透明になるのに合わせて、その被写体の影も透明になるように、仮想視点画像を補正することができ、ユーザに与える違和感を軽減することができる。

【0065】

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0066】

１：画像処理システム、１００：撮像装置、１１０：オブジェクト生成装置、２００：情報処理装置、２０１：オブジェクト取得部、２０２：エリア取得部、２０３：表示制御部、２２１：形状解析部、３００：表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】