特許 7532314 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-02

(45)【発行日】2024-08-13

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 11/00 20060101AFI20240805BHJP

   G06T 19/00 20110101ALI20240805BHJP

   H04N 5/262 20060101ALI20240805BHJP

   H04N 7/18 20060101ALI20240805BHJP

【ＦＩ】

G06T11/00 110

G06T19/00 A

H04N5/262

H04N7/18 K

【請求項の数】 17

(21)【出願番号】P 2021092146

(22)【出願日】2021-06-01

(65)【公開番号】P2022184354

(43)【公開日】2022-12-13

【審査請求日】2023-05-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 裕尚

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０２０－０１４１５９（ＪＰ，Ａ）

【文献】特開２０１０－０２９３９７（ＪＰ，Ａ）

【文献】特開２０１８－２０５７８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／００

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得手段と、
取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定手段と、
前記決定手段が決定した色付け方法に従って、前記形状データの構成要素に対して色付けを行う色付け手段と、
を備え、
前記取得手段は、仮想視点画像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を含む仮想視点データを取得し、
前記決定手段は、
前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分に対しては、前記仮想視点データに基づき決定される前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする第１の色付け方法に決定し、
前記形状データの構成要素のうち前記オブジェクトの形状に対応しない第２の部分に対しては、前記第１の色付け方法とは異なる第２の色付け方法に決定し、
前記第２の部分は、前記形状データの構成要素のうち前記撮像を行った三次元空間における指定領域に属する構成要素であって、一定の条件に合致する構成要素である、
ことを特徴とする画像処理装置。

【請求項2】

前記形状データには、前記撮像を行った三次元空間における前記構成要素の位置を示す座標情報が含まれ、
前記決定手段は、前記構成要素それぞれについて、前記三次元空間における位置を前記座標情報に基づき解析し、当該解析によって特定された位置が前記第２の部分を規定する位置条件に合致する場合、合致した構成要素に対する色付け方法を前記第２の色付け方法に決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記決定手段は、前記構成要素それぞれについて、前記第１の色付け方法を適用した場合の色を解析し、当該解析によって特定された色が前記第２の部分を規定する色条件に合致する場合、合致した構成要素に対する色付け方法を前記第２の色付け方法に決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記決定手段は、前記形状データについて、前記三次元空間の指定領域における形状を解析し、当該解析によって特定された形状が前記第２の部分を規定する形状条件に合致する場合、合致した形状に対応する前記構成要素に対する色付け方法を前記第２の色付け方法に決定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記第２の色付け方法は、色を付けないことであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項6】

前記第２の色付け方法は、無色にすることであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項7】

前記第２の色付け方法は、予め定めた固定色にすることであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項8】

前記第２の色付け方法は、前記第１の色付け方法を適用した場合の色を変換した色にすることであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。

【請求項9】

オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得手段と、
取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定手段と、
前記決定手段が決定した色付け方法に従って、前記形状データの構成要素に対して色付けを行う色付け手段と、
を備え、
前記取得手段は、仮想視点画像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を含む仮想視点データを取得し、
前記決定手段は、
前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分に対しては、前記仮想視点データに基づき決定される前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする第１の色付け方法に決定し、
前記形状データの構成要素のうち前記オブジェクトの形状に対応しない第２の部分に対しては、前記仮想視点画像における背景の色と同じ色にする第２の色付け方法に決定し、
前記色付け手段は、前記第１の色付け方法又は前記第２の色付け方法を用いて前記形状データの構成要素に対して色付けする、
ことを特徴とする画像処理装置。

【請求項10】

前記第２の色付け方法は、前記背景の色を変換した色にすることであることを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記変換は、色輝度を一定量下げることであることを特徴とする請求項８又は１０に記載の画像処理装置。

【請求項12】

前記色付け手段による色付けの結果と、予め色が付与された背景データとを合成することにより、前記仮想視点画像を生成する合成手段をさらに備えたことを特徴とする請求項１乃至１１のいずれかに記載の画像処理装置。

【請求項13】

オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得手段と、
取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定手段であって、前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分と対応しない第２の部分とで、異なる色付け方法を決定する決定手段と、
前記決定手段が決定した色付け方法に従って、前記形状データの構成要素に対して色付けを行う色付け手段と、
前記決定手段の動作モードを設定する設定手段と、
を備え、
前記決定手段は、前記設定手段にて前記動作モードがオンに設定された場合に前記決定を行い、
前記色付け手段は、前記設定手段にて前記動作モードがオフに設定された場合、前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする方法を用いて前記形状データの構成要素に対して色付けする、
ことを特徴とする画像処理装置。

【請求項14】

オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得ステップと、
取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定ステップと、
前記決定ステップにて決定した色付け方法に従って、前記形状データの構成要素に対して色付けを行う色付けステップと、
を含み、
前記取得ステップでは、仮想視点画像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を含む仮想視点データを取得し、
前記決定ステップでは、
前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分に対しては、前記仮想視点データに基づき決定される前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする第１の色付け方法に決定し、
前記形状データの構成要素のうち前記オブジェクトの形状に対応しない第２の部分に対しては、前記第１の色付け方法とは異なる色付け方法に決定し、
前記第２の部分は、前記形状データの構成要素のうち前記撮像を行った三次元空間における指定領域に属する構成要素であって、一定の条件に合致する構成要素である、
ことを特徴とする画像処理方法。

【請求項15】

オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得ステップと、
取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定ステップと、
前記決定ステップにて決定した色付け方法に従って、前記形状データの構成要素に対して色付けを行う色付けステップと、
を含み、
前記取得ステップでは、仮想視点画像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を含む仮想視点データを取得し、
前記決定ステップでは、
前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分に対しては、前記仮想視点データに基づき決定される前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする第１の色付け方法に決定し、
前記形状データの構成要素のうち前記オブジェクトの形状に対応しない第２の部分に対しては、前記仮想視点画像における背景の色と同じ色にする第２の色付け方法に決定し、
前記色付けステップでは、前記第１の色付け方法又は前記第２の色付け方法を用いて前記形状データの構成要素に対して色付けする、
ことを特徴とする画像処理方法。

【請求項16】

オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得ステップと、
取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定ステップであって、前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分と対応しない第２の部分とで、異なる色付け方法を決定する決定ステップと、
前記決定ステップを実行するか否かの動作モードを設定する設定ステップと、
前記設定ステップにて前記動作モードがオンに設定された場合、前記決定ステップにて決定した色付け方法に従って前記形状データの構成要素に対して色付けを行い、前記設定ステップにて前記動作モードがオフに設定された場合、前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする方法を用いて前記形状データの構成要素に対して色付けする、色付けステップと、
を含むことを特徴とする画像処理方法。

【請求項17】

コンピュータを、請求項１乃至１３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、オブジェクトの三次元モデルへの色付け技術に関する。

【背景技術】

【0002】

昨今、複数の撮像装置をそれぞれ異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数の撮像画像を用いて、指定された視点（仮想視点）からの見えを表す仮想視点画像を生成する技術が注目されている。仮想視点画像を生成する際は、複数の撮像画像から、撮像対象空間に存在するオブジェクトの三次元モデルを計算で求め、撮像対象空間における任意の仮想視点から見た場合の色を三次元モデルに付与するのが一般的である（特許文献１を参照）。

【0003】

例えばテレビＣＭやミュージックビデオ向けの仮想視点画像を、演者の三次元モデルを、屋内スタジオにてグリーンバックで撮像して得られた複数の撮像画像から生成することがある。この場合、演者の三次元モデル（以下、「前景モデル」と呼ぶ。）に対して仮想視点から見たときの色を付与した後、それを予めＣＧ等の背景と合成することで、例えば演者が空に浮かんでいるような仮想視点画像を得ることができる。しかしながら、屋内スタジオで撮像した画像から前景モデルを生成する際、例えば演者自身の影などが演者の形状の一部として誤認識され、出来上がった前景モデルに本来はオブジェクトの形状ではない部分がノイズとして含まれてしまうことがある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７‐２１１８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

前景モデルに上記のようなノイズが含まれる場合、その色付け処理において、当該ノイズに対応する部分には、撮像対象空間の壁や床の色（例えばグリーンバックの撮像環境であればグリーン）或いは他のオブジェクトの色が付与されてしまう。

【課題を解決するための手段】

【0006】

本開示に係る画像処理装置は、オブジェクトを複数の撮像装置で撮像した複数の撮像画像から生成された三次元形状を示す形状データを取得する取得手段と、取得された前記形状データの解析結果に基づき、前記形状データの構成要素に対する色付け方法を決定する決定手段と、前記決定手段が決定した色付け方法に従って、前記形状データの構成要素に対して色付けを行う色付け手段と、を備え、前記取得手段は、仮想視点画像を生成するための仮想視点の位置及び前記仮想視点からの視線方向を含む仮想視点データを取得し、前記決定手段は、前記形状データの構成要素のうち前記オブジェクトの形状に対応する第１の部分に対しては、前記仮想視点データに基づき決定される前記複数の撮像画像のうちのいずれかの撮像画像の色を用いて色付けする第１の色付け方法に決定し、前記形状データの構成要素のうち前記オブジェクトの形状に対応しない第２の部分に対しては、前記第１の色付け方法とは異なる第２の色付け方法に決定し、前記第２の部分は、前記形状データの構成要素のうち前記撮像を行った三次元空間における指定領域に属する構成要素であって、一定の条件に合致する構成要素である、ことを特徴とする画像処理装置。

【発明の効果】

【0007】

本開示の技術によれば、オブジェクトの三次元モデルの色を適切に決めることができる。

【図面の簡単な説明】

【0008】

【図1】仮想視点映像を生成するための画像処理システムの構成の一例を示す図。

【図2】画像処理装置のハードウェア構成を示す図。

【図3】画像処理装置のソフトウェア構成を示す図。

【図4】色付け処理部の内部構成を示すブロック図。

【図5】指定領域の一例を示す図。

【図6】（ａ）～（ｄ）は、条件テーブルの一例を示す図。

【図7】（ａ）～（ｌ）は、単位形状の一例を示す図。

【図8】仮想視点映像を生成する処理の流れを示すフローチャート。

【図9】（ａ）は従来手法で色付けを行った場合の仮想視点画像の一例を示す図、（ｂ）は本実施形態の手法で色付けを行った場合の仮想視点画像の一例を示す図。

【発明を実施するための形態】

【0009】

以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。

【0010】

［実施形態１］
はじめに、仮想視点画像の概要を簡単に説明する。仮想視点画像は、実際のカメラ視点とは異なる、仮想的なカメラ視点（仮想視点）からの見えを表す画像であり、自由視点画像とも呼ばれる。仮想視点は、ユーザがコントローラを操作して直接指定したり、例えば予め設定された複数の仮想視点候補の中から選択したりするといった方法により設定される。なお、仮想視点画像には、動画と静止画の両方が含まれるが、以下の実施形態では、動画を前提として説明を行い、動画による仮想視点画像を「仮想視点映像」と表現するものとする。

【0011】

＜システム構成について＞
図１は、本実施形態に係る、仮想視点映像を生成するための画像処理システムの構成の一例を示す図である。画像処理システム１００は、複数の撮像装置（カメラ）１０１、画像処理装置１０２、コントローラ１０３及び表示装置１０４を有する。画像処理システム１００では、複数のカメラ１０１の同期撮像による複数の撮像画像（本実施形態では動画像。以下、「カメラ画像」と呼ぶ。）に基づいて、画像処理装置１０２が仮想視点映像を生成し、表示装置１０４に表示する。例えばスタジアムで行われるスポーツの試合を対象に仮想視点映像を生成する場合には、スタジアム内のフィールドを取り囲むようにそれぞれ異なる位置にカメラ１０１が設置され、各カメラ１０１が時刻同期してフィールド上を撮像する。ただし、スタジオやコンサートホールなど設置場所に制限がある場合には、複数のカメラ１０１は撮像対象領域の一部の方向にのみ設置されることになる。各カメラ１０１は、例えば、シリアルデジタルインターフェイス（ＳＤＩ）に代表される映像信号インターフェイスを備えたデジタル方式のビデオカメラにより実現される。各カメラ１０１は、出力する映像信号に対しタイムコードに代表される時刻情報を付加して、画像処理装置１０２に送信する。

【0012】

画像処理装置１０２は、複数のカメラ１０１が同期撮像して得た複数のカメラ画像に基づき、仮想視点映像を生成する。画像処理装置１０２は、ネットワークケーブル等を介して取得した複数のカメラ画像を用いて、前景となる人物等のオブジェクトの三次元形状を示す形状データ（以下、「前景モデル」と呼ぶ。）の生成、前景モデルへの色付け処理を行って仮想視点映像を生成する。画像処理装置１０２の機能の詳細は後述する。なお、色付け処理とは、前景モデルを構成する構成要素に対して、色を決定する処理である。

【0013】

コントローラ１０３は、ユーザが仮想視点を指定したり各種設定を行ったりするための制御装置である。オペレータは、コントローラ１０３が有するジョイスティックやキーボード等の入力装置を介して、仮想視点映像を生成するために必要な各種の設定やデータ入力等を行う。具体的には、仮想視点の位置・視線方向の指定、キーフレームの指定、前景モデルへの色付けに関する動作モードの設定、当該動作モードがオンの場合に使用する条件テーブルの選択などを行う。

【0014】

表示装置１０４は、画像処理装置１０２から送られてくる画像データ（グラフィカルユーザインタフェースのためのＵＩ画面のデータや仮想視点映像のデータ）を取得して表示する。表示装置１０４は、例えば、液晶ディスプレイやＬＥＤ等で実現される。

【0015】

＜ハードウェア構成について＞
図２は、画像処理装置１０２のハードウェア構成を示す図である。情報処理装置である画像処理装置１０２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、操作部２１５、通信Ｉ／Ｆ２１６、及びバス２１７を有する。

【0016】

ＣＰＵ２１１は、ＲＯＭ２１２またはＲＡＭ２１３に格納されているコンピュータプログラムおよびデータを用いて画像処理装置１０２の全体を制御することで、画像処理装置１０２の各機能を実現する。なお、画像処理装置１０２は、ＣＰＵ２１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Graphics Processing Unit）を有していてもよい。そして、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0017】

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音量データなどの種々のデータを記憶する。

【0018】

操作部２１５は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示装置１０４を制御する表示制御部、及び操作部２１５を制御する操作制御部として動作する。通信Ｉ／Ｆ２１６は、画像処理装置１０２の外部の装置との通信に用いられる。例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１６に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１６はアンテナを備える。

【0019】

バス２１７は、画像処理装置１０２の各部を繋いで情報を伝達する。なお、本実施形態では、コントローラ１０３及び表示装置１０４を外部装置として設けているが、いずれも画像処理装置１０２の機能部の１つとして内在する形で設けてもよい。

【0020】

＜ソフトウェア構成について＞
図３は、画像処理装置１０２のソフトウェア構成を示す図である。同期撮像によって得られた複数の映像から仮想視点映像を生成する画像処理装置１０２は、準備処理部３０１、前景モデル生成部３０２、仮想視点映像生成部３０３を有する。そして、仮想視点映像生成部３０３は、色付け処理部３０４と合成部３０５とで構成される。以下、各部の機能について説明する。

【0021】

準備処理部３０１は、仮想視点映像を生成するために必要な準備処理を行う。準備処理には、同期撮像された複数のカメラ画像の取得、色付け方法の変更制御に関する動作モード及び指定領域の設定、動作モードがオンの場合に使用する条件テーブルの読み出し、仮想視点の位置や視線方向を規定する仮想視点データの取得などが含まれる。

【0022】

前景モデル生成部３０２は、取得された複数のカメラ画像に基づいて、例えば視体積交差法によって前景モデルを生成する。前景モデルの生成においては、まず、演者などの前景となる特定のオブジェクトをフレーム単位で抽出する前景背景分離処理が行われる。オブジェクトを抽出する方法は特に限定されないが、例えば背景差分法を用いる。背景差分法は、各フレーム（静止画）とその背景部分を示す背景画像との画素値を比較して、フレーム内のオブジェクトのシルエットを抽出する方法である。背景画像は、例えばスタジオ内での演劇や演奏を対象に仮想視点映像を生成する場合であれば、演者が存在しない状態のスタジオを撮像するなどして予め得ておく。前景背景分離部３０１によって得られたオブジェクトのシルエットを示す画像（「前景画像」或いは「前景マスク」と呼ばれる。）は、カメラ１０１の三次元位置を示す撮像位置情報と共に補助記憶装置２１４に一旦保存される。なお、三次元位置は、撮像対象の三次元空間（以下、「撮像対象空間」と表記）における高さ、幅、奥行きに対応する３軸（ｘ軸、ｙ軸、ｚ軸）の位置によって規定される。そして、前景画像に基づき、視体積交差法によって前景モデルが生成される。視体積交差法は、撮像対象空間を細かい直方体（ボクセル）に分け、各ボクセルが複数のカメラ画像に映る場合の画素位置を算出し、各ボクセルがオブジェクトのシルエットに対応する画素に該当するか否かを判断する手法である。複数のカメラ画像においてオブジェクトのシルエットに対応する画素である判断されたボクセルが、オブジェクトの三次元形状を構成するボクセルであると特定される。そして、撮像対象空間において、特定されたボクセルを残し、他のボクセルを削除していって最終的に残ったボクセルの集合（“ボクセル塊”）が、オブジェクトの三次元形状を表す形状データとなる。前景モデルを構成する一つ一つのボクセルは、上記（ｘ，ｙ，ｚ）で規定される三次元の座標値（単位はｍｍ）を持つ。本実施形態においては、前景モデルはボクセルで表現されるものとするが、さらに細かい点の集合（点群）で表現してもよい。また、例えば隣接する複数のボクセルの頂点同士を接続した平面（ポリゴンメッシュ）によってオブジェクトの三次元形状を表現したものを前景モデルとしてもよい。

【0023】

仮想視点映像生成部３０３は、カメラ１０１それぞれのカメラ画像及びユーザが指定した仮想視点に基づいて前景モデルに色付けし、色付けされた前景モデルを予め用意した背景データに合成して仮想視点映像を生成する。仮想視点映像生成部３０３は、前景モデルへの色付けに関する処理を行う色付け処理部３０４及び色付けされた前景モデルと背景データとを合成する合成部３０５を有する。色付け処理部３０４は、まず、入力された前景モデルの解析処理を行い、ボクセル単位で色付け方法を決定する。ここで、標準的な色付けは、仮想視点（仮想カメラ）から前景モデルを見た場合に、そのカメラ画角にどのように前景モデルが表示されるかを三次元計算し、当該仮想カメラに最も近い実カメラ１０１０のカメラ画像の色を用いて行う。本実施形態では、さらに、前景モデルを構成するボクセルのうちオブジェクトの形状を表していないと判断される部分のボクセルについては、上記標準的な色付け方法とは異なる色付け方法によって色付けを行う。色付け処理部３０４の詳細については後述する。合成部３０５は、色付け処理部３０４から出力される色付けされた前景モデルを予め用意した背景データに合成して仮想視点画像を生成する。ここで、背景データは、例えばＣＧ等で作成したテクスチャ情報付きの背景モデルであり、補助記憶装置２１４に保存しておいたものを読み出して使用する。

【0024】

なお、図３に示した画像処理装置１０２の機能構成は一例であり、複数のカメラ画像から前景画像を抽出する機能、前景モデルを生成する機能、前景モデルに色付けを行なう機能は、それぞれ異なる画像処理装置で分担してもよい。例えば、前景モデル生成部３０２の機能を他の画像処理装置が担う構成とし、画像処理装置１０２は仮想視点映像生成部３０３の機能だけを担うような構成でもよい。

【0025】

＜色付け処理部の詳細＞
図４は、色付け処理部３０４の内部構成を示すブロック図である。色付け処理部３０４は、位置解析部４０１、色解析部４０２、形状解析部４０３、色付け方法決定部４０４、条件テーブル４０５、色付け部４０６を有する。色付け処理部３０４は、前述の動作モードがオンに設定された場合に色付け方法の変更制御を行う。以下、図４を参照して、色付け処理部３０４が行う処理について詳しく説明する。

【0026】

位置解析部４０１は、入力された前景モデルを構成する各ボクセルの三次元位置を特定する。前述のとおり前景モデルを構成する各ボクセルには、撮像対象空間における位置を示す座標情報が付されている。位置解析部４０１は前景モデルの一つ一つのボクセルについてこの座標情報を読み出して、その三次元位置を特定する。特定されたボクセル毎の座標情報は、色付け方法決定部４０４に送られる。

【0027】

色解析部４０２は、入力された前景モデルを構成する各ボクセルについて、コントローラ１０３を介して設定された仮想視点の位置、視線方向、画角といった情報に基づき、仮想視点から見た場合の色を特定する。特定されたボクセル毎の色情報は、色付け方法決定部４０４に送られる。

【0028】

形状解析部４０３は、前景モデルが示す三次元形状を特定する。ここで、指定領域は、予めユーザ等が指定した撮像対象空間内の領域であって、前景モデルのノイズに相当する部分が属することが見込まれる領域を意味する。ユーザは、撮像対象空間の例えば地上から１５ｃｍ程の高さの一定の範囲５０２を指定領域として設定する。この際、例えば生成された仮想視点画像を表示装置１０４に表示し、ユーザがマウス等を用いて仮想視点画像内の所望の領域を指定することで設定可能としてもよい。形状解析部４０３は、撮像対象空間において生成された前景モデルのうち指定領域に含まれている部分のボクセル塊の形状をパターンマッチング等によって特定する。こうして特定された指定領域に含まれるボクセル塊の形状情報は、色付け方法決定部４０４に送られる。

【0029】

色付け方法決定部４０４は、位置解析部４０１、色解析部４０２、形状解析部４０３の解析結果に基づき、条件テーブル４０５を参照して、入力された前景モデルを構成するボボクセルへの色付け方法を決定する。そして、撮像対象空間について色付け方法の変更制御を行う領域が指定されている場合は、当該指定領域を対象に、ボクセル毎の色付け方法の決定が行われる。図５（ａ）に指定領域の一例を示す。いま、スタジオ内に立っている人物について生成した前景モデル５００において、左足つま先が異常に長く伸びてしまっている。このようなノイズを含んだ前景モデル５００に従来手法で色付けを行うと、図５（ｂ）に示すように、ノイズ部分にはスタジオの床の色が付与されてしまう。このようなノイズ発生が予想される場合、ユーザはコントローラ１０３を介して、撮像対象空間の例えば地上から１５ｃｍ程の高さの一定の範囲５０１を指定領域に設定する。この際、例えば生成された仮想視点画像を表示装置１０４に表示し、ユーザがマウス等を用いて仮想視点画像内の所望の領域を指定することで設定可能としてもよい。

【0030】

図６の（ａ）～（ｄ）は、条件テーブル４０５の一例を示している。条件テーブルは、前景モデルへの色付け方法を決定する際の基準となる条件を保持するテーブルである。前述のとおり標準的な色付けは、対象の前景モデルに色を付けることのできる位置にあるカメラ画像を、実カメラと当該前景モデルとの成す角度及び実カメラと当該前景モデルとの距離等に基づいて決定し、決定したカメラ画像の色を前景モデルに付与することで実現される。しかしながら、入力された前景モデルにノイズが発生している場合、上記標準的な色付け手法に依る場合はノイズに対応する部分に床等の色が誤って付与されてしまう。そこで、色付け方法決定部４０４は、入力された前景モデルのうちノイズに対応する部分について背景と違和感のない自然な色付けがなされるように、解析結果と条件テーブルとに基づいて、前景モデルを構成するボクセル毎に色付け方法を決定する。以下、場合を分けて具体的な決定方法について説明する。

【0031】

≪座標情報のみで決定≫
図６（ａ）は、ボクセルの座標情報のみに基づき色付け方法を決定する場合に参照する位置条件テーブルの一例である。解決すべき課題で述べた通り、人物などの影が前景として誤認識されて前景モデルにノイズとして取り込まれ、当該ノイズに対応するボクセルに床の色が偽色として付与されるケースが多い。そこで、図６（ａ）のような位置条件テーブルを用いて、床に近い位置にあるボクセルについては無色となるように（色を付けないように）、それ以外のボクセルについては標準的な色付けを行うように、色付け方法を決定する。具体的には、ボクセルの座標情報において地面からの高さを示すｚ軸の値が閾値以上のボクセルについては標準的な色付けを行うことを示す情報（例えばフラグ値など）を付与し、閾値未満のボクセルについては無色にすることを示す情報を付与する。なお、図６（ａ）の位置条件テーブルは、ｚ軸の閾値として“１０ｍｍ”を設定した場合の例であり、閾値としての数値等は、例えばコントローラ１０３を介してユーザが予め設定しておけばよい。

【0032】

≪色情報のみで決定≫
図６（ｂ）は、ボクセルの色情報のみに基づき色付け方法を決定する場合に参照する色条件テーブルの一例である。スタジオ内でクロマキー撮像を行って演者の前景モデルを生成する場合、グリーンバックやブルーバックと呼ばれる特定の色に囲まれた空間での撮像となる。そこで、図６（ｂ）のような色条件テーブルを用いて、仮想視点から導出される色（前述の標準的な色付け手法を適用した場合に決まる色）が、上記特定の色に近い色になるボクセルについては固定色となるように、色付け方法を決定する。具体的には、ボクセルの色情報においてＲＧＢの色輝度が所定の範囲に含まれるボクセルについては固定色にすることを示す情報を付与し、所定の範囲に含まれないボクセルについてはカメラ画像の色を使用することを示す情報を付与する。なお、図６（ｂ）の色条件テーブルは、特定の色を“グリーン”とし、ＲＧＢの色輝度の最大値が４０９６(１２ｂｉｔ)の場合の上記所定の範囲として、Ｒが“０～１０００”、Ｇが“２９００～４０９５”、Ｂが“０～１０００”としている。そして、上記固定色として、（Ｒ，Ｇ，Ｂ）＝（１００，１００，１００）のグレイを設定している。

【0033】

≪位置情報と色情報との組み合わせで決定≫
図６（ｃ）は、ボクセルの位置情報と色情報との組合せに基づき色付け方法を決定する場合に参照する組合せ条件テーブルの一例である。図６（ｃ）の組合せ条件テーブルの場合、z軸の値が小さく（すなわち、その位置が床に近く）、かつ、仮想視点から導出される色が特定の色に近いボクセルについては、カメラ画像の色に対して一定の加工を施した色となるように、色付け方法を決定する。いま、図６（ｃ）の条件テーブルにおいては、上記条件に合致するボクセルについては、仮想視点から導出されるカメラ画像の色を基準として、色輝度の値を“３００”減算した色にすることが規定されている。

【0034】

≪位置情報と形状情報との組み合わせで決定≫
図６（ｄ）は、ボクセルの位置情報とボクセル塊の形状情報との組合せに基づき色付け方法を決定する場合に参照する組合せ条件テーブルの一例である。図６（ｄ）の組合せ条件テーブルの場合、z軸の値が小さく（すなわち、その位置が床に近く）、かつ、前景モデルのうち厚さが薄い一定の形状に該当する部分のボクセルについては、無色となるように（色を付けないように）、色付け方法を決定する。いま、図６（ｄ）の条件テーブルにおいては、特定領域に含まれる前景モデルの形状が図７の（ａ）～（ｌ）に示す単位形状のうち（ｃ）、（ｆ）、（ｋ）のいずれかに合致することが、形状条件として規定されている。

【0035】

上述のようにして、前景モデルのうちノイズに対応する部分のボクセルに対しては、違和感のない色が付与されるような、標準とは異なる色付け方法が割り当てられる。標準とは異なる色付け方法としては、例えば以下のようなものが挙げられる。
・色をつけない（無色にする）
・予め定めた固定色にする
・カメラ画像から導出される色を所定の方法で変換した色にする
・背景データの色と同じ色にする

【0036】

なお、本実施形態では、“色を付けない”ことと“無色にする”こととは同義のものとして説明している。これはレンダリング処理を行う装置の仕様によっていずれとも表現し得るためであり、技術的な効果は同じである。そして、“無色にする”には、いわゆるアルファブレンディングによって完全透過にする場合も含まれる。また、背景データの色と同じ色にする際は、背景データにおいて最も近い位置の色を使用する他、仮想視点と対象ボクセルとを結んだ直線上の色を使用してもよい。また、“所定の方法で変換”については、図６（ｃ）で示した輝度を一定量下げる手法に代えて、例えばＬＵＴ（ルックアップテーブル）等を使って非線形な変換を行ってもよい。また、背景データの色と同じ色にする場合も同様に、背景データの色の輝度を落として一定レベルだけ暗くした色にしたり、ＬＵＴ等を使った変換を行ってもよい。また、図６（ｃ）や（ｄ）の条件テーブルの説明においては２つの条件のＡＮＤ（論理積）を取っているがこれに限定されるものではなく、例えばＯＲ（論理和）等でもよい。さらに条件に合致するかどうかの判定においては、比較対象となる値が「以上」、「以下」、「より大きい」、「より小さい」、「差がｘｘ以内」、「差がｘｘ以上」等、一般的な比較方法を使用することができる。

【0037】

上記のようにしてボクセル毎に色付け方法が指定された前景モデルのデータが、色付け部４０６に送られる。なお、本実施形態では、前景モデルの構成要素である一つ一つのボクセルについて色付け方法を決定しているが、複数のボクセル単位で色付け方法を決定してもよい。

【0038】

色付け部４０６は、入力された前景モデルの各ボクセルに対し、ボクセル毎に決定された色付け方法にて色付けする処理を行う。この際、色付け方法を示す情報が、標準的な色付けを行うことを表している場合には仮想視点に最も近い実カメラのカメラ画像を使って色が付与され、無色にすることを表している場合には色付けが行われないことになる。

【0039】

＜仮想視点映像の生成処理＞
図８は、本実施形態に係る、画像処理装置１０２において仮想視点映像が生成されるまでの流れを示すフローチャートである。図８のフローチャートが示す一連の処理は、ＣＰＵ２１１が、ＲＯＭ２１２又は補助記憶装置２１４等に格納された制御プログラムを読み出してＲＡＭ２１３に展開し、これを実行することで実現される。なお、以下の説明において記号「Ｓ」はステップを意味する。

【0040】

Ｓ８０１では、準備処理部３０１が、コントローラ１０３を介したユーザ指示に基づき、仮想視点映像を生成するための前述した準備処理を実行する。次のＳ８０２では、Ｓ８０１の準備処理で取得された複数のカメラ画像のフレーム群のうち仮想視点映像の対象となる注目するフレームが決定される。注目フレームは、例えば仮想視点データにおいてキーフレームがタイムコードによって指定されている場合は、タイムコードに基づいて決定する。或いは、入力されたカメラ画像のフレーム群の先頭フレームから順に注目フレームとして決定してもよい。次のＳ８０３では、前景モデル生成部３０２が、８０２で決定した注目フレームに含まれるオブジェクトの前景モデルを生成する。

【0041】

Ｓ８０４では、Ｓ８０１の準備処理で設定された、色付け方法変更制御の動作モードの設定がオンであるかオフであるかによって処理の振り分けが行われる。当該動作モードの設定がオンであればＳ８０５に進み、オフであればＳ８０８に進む。以降のＳ８０５～Ｓ８０９の各処理は、仮想視点映像生成部３０３が実行する。

【0042】

Ｓ８０５では、色付け処理部３０４内において、色付け処理の対象となる前景モデルの解析が行われる。その際、Ｓ８０１の準備処理で読み出された条件テーブルが規定する条件に対応した解析部によって、必要な解析処理が実行されることになる。例えば、準備処理にて、座標情報のみに基づき決定する位置条件テーブル（図６（ａ）を参照）が読み出されていた場合には、位置解析部４０１によって、Ｓ８０３で生成された前景モデルについて、ボクセル単位の座標情報が取得されることになる。

【0043】

次のＳ８０６では、色付け方法決定部４０４が、Ｓ８０５の解析結果に基づき、Ｓ８０１の準備処理で読み出された条件テーブルを用いて色付け方法を決定する。前述のとおりこの色付け方法の決定処理はボクセル単位で行われる。

【0044】

動作モードがオンの場合のＳ８０７では、色付け部４０６が、Ｓ８０６で決定された色付け方法に従って、ボクセル毎に色付けする処理を実行する。この際、前景モデルのうちノイズ部分に対応するボクセルに対しては標準とは異なる色付け方法が用いられる。そして、ノイズ以外の部分に対応するボクセルに対しては標準的な色付け方法が用いられることになる。このような色付け処理により、Ｓ８０３で生成された前景モデルに対し、仮想視点から見た場合に背景と馴染んだ違和感のない色が前景モデルに対して付与されることになる。

【0045】

一方、動作モードがオフの場合のＳ８０８では、色付け部４０６が、標準的な色付け方法を用いて、前景モデルの各ボクセルに対して色付けする処理を実行する。図５（ｂ）は、図５（ａ）に示すノイズ５０１を含んだ前景モデル５００を従来手法によって色付けした場合の結果を示しており、ノイズ５０１に対応する部分に不自然な色（例えばグリーンバックの場合のグリーン）が付与されている。

【0046】

Ｓ８０９では、合成部３０５が、色付けされた前景モデルを、予め用意された背景データに合成して、注目フレームについての仮想視点画像を生成する。図９（ａ）は、前述の図５（ｂ）に示すノイズを含んだ前景モデル５００に対し従来手法で色付けを行い、さらに空の背景モデルと合成して得た仮想視点画像の一例である。従来手法の場合、人物の左足つま先から異常に伸びたノイズ部分にスタジオの床の色が付与される結果、背景モデルと上手く融合しない画像となっている。図９（ｂ）は、本実施形態の手法で色付けを行って、図９（ａ）と同じ空の背景モデルと合成して得られた仮想視点画像の一例である。図９（ａ）と比較すると、左足つま先から異常に伸びたノイズ部分に背景モデルの色と同等の色が付与され、背景モデルと上手く融合した画像となっている。生成された仮想視点画像のデータは通信Ｉ／Ｆ２１６を介して表示装置１０４に送られ、表示装置１０４にて表示される。

【0047】

Ｓ８１０では、入力された仮想視点データに対応する仮想視点画像の生成が完了したか否かが判定される。生成が完了していれば本処理を終了し、完了していなければＳ８０２に戻って次の注目フレームを決定して処理を続行する。

【0048】

以上が、本実施形態に係る、仮想視点映像の生成処理の流れである。

【0049】

なお、本実施形態では簡単のため、処理開始前に色付け方法の変更制御に関する動作モードの設定や条件テーブルの選択等を行っているが、仮想視点映像を生成している最中に設定内容を変更できるようにし、設定変更がなされた後は変更後の内容を反映して処理を継続することも可能である。

【0050】

以上のとおり、本実施形態によれば、前景モデルを構成するボクセル毎に一定の条件に従って色付け方法を決定する。これにより、前景モデルにノイズが含まれていても、当該ノイズ部分に対して背景と馴染んだ違和感のない色を付与することができる。

【0051】

（その他の実施例）
本開示の技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0052】

１０２ 画像処理装置
３０１ 準備処理部
３０２ 前景モデル生成部
３０３ 仮想視点映像生成部
３０４ 色付け処理部
３０５ 合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】