特許 7458735 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240325BHJP

   G09G 5/00 20060101ALI20240325BHJP

【ＦＩ】

G06T19/00 A

G09G5/00 550H

G09G5/00 550C

【請求項の数】 10

(21)【出願番号】P 2019181435

(22)【出願日】2019-10-01

(65)【公開番号】P2021056929

(43)【公開日】2021-04-08

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】伊藤 裕尚

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１２－１２００３１（ＪＰ，Ａ）

【文献】特開２００７－１９５０９１（ＪＰ，Ａ）

【文献】特開２０１８－１８２４２８（ＪＰ，Ａ）

【文献】特開２０１８－０８５５７１（ＪＰ，Ａ）

【文献】特開平１０－１３４２１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／００

Ｇ０９Ｇ ５／００

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ５／６６

Ｈ０４Ｎ ９／１２

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２１／００

(57)【特許請求の範囲】

【請求項1】

複数視点の画像に基づいて仮想視点画像を生成する画像処理装置であって、
前記仮想視点画像における仮想視点の情報を入力する視点入力部と、
前記仮想視点の情報によって指定された視点が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する表示判断部と、
前記表示判断部が、前記指定された視点が前記禁止条件を満たすと判断した場合、当該視点の指定より前に指定された視点に応じた画像を出力するよう制御する出力制御部と、
を具え、
前記禁止条件は、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定されることを特徴とする画像処理装置。

【請求項2】

複数視点の画像に基づいて仮想視点画像を生成する画像処理装置であって、
前記仮想視点画像における仮想視点の情報を入力する視点入力部と、
前記視点入力部が入力した仮想視点の情報が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する表示判断部と、
前記表示判断部が、前記仮想視点の情報が前記禁止条件を満たすと判断した場合、当該仮想視点に応じた画像における前記表示すべきでない対象の画像を加工して当該画像を出力するよう制御する出力制御部と、
を具え、
前記禁止条件は、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定されることを特徴とする画像処理装置。

【請求項3】

前記加工は、前記仮想視点に応じた画像から前記表示すべきでない対象を除くことであることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記表示判断部が、前記仮想視点の情報が前記禁止条件を満たすと判断した場合、前記出力制御部は、前景または背景から前記表示すべきでない対象の画像を除くことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記加工は、前記仮想視点に応じた画像から前記表示すべきでない対象の画像の解像度を低下させることであることを特徴とする請求項２に記載の画像処理装置。

【請求項6】

複数視点の画像に基づいて仮想視点画像を生成する画像処理装置であって、
前記仮想視点画像における仮想視点の情報を入力する視点入力部と、
前記仮想視点の情報によって指定された視点が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する表示判断部であって、前記禁止条件が、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定される、表示判断部と、
前記表示判断部が、前記指定された視点が、前記表示すべきでない対象を見る、前記視点の位置および視点の方向の範囲内にあると判断した場合、当該視点に応じた画像の出力を停止する出力制御部と、
を具えることを特徴とする画像処理装置。

【請求項7】

複数視点の画像に基づいて仮想視点画像を生成するための画像処理方法であって、
仮想視点画像における仮想視点の情報によって指定された視点が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する画像表示判断工程と、
前記画像表示判断工程が、前記指定された視点が前記禁止条件を満たすと判断した場合、当該視点の指定より前に指定された視点に応じた画像を出力するよう制御する出力制御工程と、
を有し、
前記禁止条件は、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定されることを特徴とする画像処理方法。

【請求項8】

複数視点の画像に基づいて仮想視点画像を生成するための画像処理方法であって、
仮想視点画像における仮想視点の情報が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する画像表示判断工程と、
前記画像表示判断工程において、前記仮想視点の情報が前記禁止条件を満たすと判断した場合、当該仮想視点に応じた画像における前記表示すべきでない対象の画像を加工して当該画像を出力するよう制御する出力制御工程と、
を有し、
前記禁止条件は、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定されることを特徴とする画像処理方法。

【請求項9】

複数視点の画像に基づいて仮想視点画像を生成するための画像処理方法であって、
前記仮想視点画像における仮想視点の情報によって指定された視点が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する画像表示判断工程であって、前記禁止条件が、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定される、画像表示判断工程と、
前記画像表示判断工程が、前記指定された視点が、前記表示すべきでない対象を見る、前記視点の位置および視点の方向の範囲内にあると判断した場合、当該視点に応じた画像の出力を停止する出力制御工程と、
を有することを特徴とする画像処理方法。

【請求項10】

コンピュータを請求項１ないし６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、詳しくは、複数の画像に基づいて生成される仮想視点画像の表示制御に関する。

【背景技術】

【0002】

特許文献１には、多視点の画像コンテンツ視聴システムにおいて、画像コンテンツに、視聴者に対して表示すべきでない「非表示エリア」の画像が含まれるか否かを判断することが記載されている。そして、画像コンテンツに「非表示エリア」が含まれると判断した場合、その非表示エリアの画像を含む画像を、非表示エリアを含まない別の視点からの画像に変更する処理を行う。これにより、画像コンテンツの視聴において非表示エリアが視聴者に対して表示されることを防いでいる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２―１２００３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示の技術を、ユーザが視点を任意に指定できる仮想視点画像生成システムに適用した場合、視点の変更がユーザに違和感を与えることがある。すなわち、特許文献１では、非表示エリアが表示されないように視点を変更する際に、視点を変更する前に表示されていた画像とは大きく異なる、所定の画像に切り替わる。このため、ユーザによる視点操作とは無関係に画像が切り替わることが、その内容によってはユーザに違和感を与え、結果として視点操作のユーザビリティーを低下させることとなる。

【0005】

本発明の目的は、複数の画像に基づいて生成される仮想視点画像の表示制御に関して、特定の領域を表示させないようにしつつユーザに与える違和感を低減することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために本発明の一形態は、複数視点の画像に基づいて仮想視点画像を生成する画像処理装置であって、前記仮想視点画像における仮想視点の情報を入力する視点入力部と、前記仮想視点の情報によって指定された視点が、表示すべきでない対象に関する禁止条件を満たすか否かを判断する表示判断部と、前記表示判断部が、前記指定された視点が前記禁止条件を満たすと判断した場合、当該視点の指定より前に指定された視点に応じた画像を出力するよう制御する出力制御部と、を具え、前記禁止条件は、仮想視点画像を生成するための対象となる空間を複数の領域に分割した、分割領域それぞれについて規定され、前記表示すべきでない対象を見る、視点の位置および視点の方向として規定されることを特徴とする。

【発明の効果】

【0007】

以上の形態によれば、複数の画像に基づいて生成される仮想視点画像の表示制御に関して、特定の領域を表示させないようにしつつユーザに与える違和感を低減することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の第１実施形態に係る仮想視点画像生成装置を示すブロック図である。

【図2】図１に示した仮想視点画像生成装置のハードウェア構成を示すブロック図である。

【図3】本実施形態の仮想視点画像生成装置に入力される画像を撮像するシステム構成を示す図である。

【図4】本発明の実施形態に係り、対象三次元空間を分割して得られ、また禁止視点情報が規定されている分割領域を説明する図である。

【図5】本発明の実施形態に係る禁止視点情報設定の一例を説明する図である。

【図6】本発明の実施形態に係る、分割領域における禁止視点情報設定の他の例を説明する図である。

【図7】本発明の実施形態に係る、仮想視点に基づく画像出力判定処理を示すフローチャートである。

【図8】本発明の第２実施形態に係る仮想視点画像生成装置を示すブロック図である。

【図9】本発明の実施形態に係る仮想視点に基づく画像出力判定処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付の図面を参照して本発明の実施形態を詳細に説明する。

【0010】

（第１実施形態）
本発明に係る画像処理装置の第１実施形態は、仮想視点画像生成装置に関する。詳しくは、仮想視点画像生成装置において、予め設定された、仮想カメラの視点（以下、仮想視点とも言う）に関連付けられた条件（以下、「禁止条件」とも言う）に基づいて、画像の一部の非表示を制御するものである。

【0011】

図１は、本発明の第１実施形態に係る仮想視点画像生成装置を示すブロック図である。仮想視点画像生成装置１０は、画像入力部１００、仮想カメラ視点入力部１０１、仮想視点画像生成部１０２、画像出力部１０３、画像表示禁止条件設定部１０４、画像表示判断部１０５、および画像出力制御部１０６を有して構成される。

【0012】

画像入力部１００は、複数のカメラで撮像した画像（複数視点の画像）をそれぞれのカメラから受信し、受信した画像を仮想視点画像生成部１０２に出力する。仮想カメラ視点入力部（視点入力部）１０１は、不図示の操作部を介して、ユーザの操作等による仮想カメラの視点の情報を入力し、入力した情報を仮想視点画像生成部１０２および画像表示判断部１０５に出力する。ここで、仮想カメラの視点の情報とは仮想カメラの姿勢、位置、画角等を表すが、これに限定されない。

【0013】

仮想視点画像生成部１０２は、上述した複数のカメラによって得られる画像と、仮想カメラの視点の情報に基づき、仮想カメラの視点から見た画像を生成し、画像出力部１０３に出力する。画像生成の手法については、特に限定されないが、例えば下記のような方法で画像を生成することができる。先ず、複数カメラからの画像それぞれを前景と背景に分離する。この分離は、予め撮像して得られる背景のみの画像との比較によって行うことができる。また、複数カメラで得られる前景画像と、各カメラの位置および向きの情報に基づき、視体積交差法を用いて、対象空間に存在するオブジェクトの三次元モデルを算出する。そして、仮想カメラの視点の情報に基づいて、オブジェクトの三次元モデルの見え方を三次元計算によって求め、前景画像の色を三次元モデルに適用することにより、前景画像を生成する。背景については、予め算出された背景画像を適用する背景モデルを用いて、背景画像を各カメラの位置および向きに基づいて三次元モデルに適用する。さらに、仮想カメラの視点から見える画像を三次元計算によって求めることで背景画像が生成される。そして、背景画像と前景画像を合成することによって、最終的な仮想視点画像を生成する。ここで、仮想カメラの視点（仮想視点）は、この生成された仮想視点画像において任意の位置、すなわち用いる複数のカメラの位置にかかわらない位置として設定されるものである。

【0014】

画像出力部１０３は、仮想視点画像生成部１０２から入力した仮想視点画像を、例えば画像の視聴装置へ出力する。出力方式は限定されないが、例えばＨＤＭＩ（登録商標）方式（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などを使用することができる。また、画像出力部１０３は、画像出力制御部１０６の制御に基づき、画像出力の停止または開始をする。

【0015】

画像表示禁止条件設定部１０４は、仮想視点画像生成の対象空間において、画像出力が禁止される条件を設定する。この設定方法の詳細は図３以降を参照して後述する。画像表示判断部１０５は、画像表示禁止条件設定部１０４によって設定された画像表示禁止条件に基づいて、画像出力を停止するか否かを判断し、その判断結果を画像出力制御部１０６に出力する。この判断の詳細は図７などを参照して後述する。

【0016】

画像出力制御部１０６は、画像表示判断部１０５の判断結果に基づいて、画像出力部１０３の画像出力を制御する。なお、画像出力を停止する場合、画像出力部１０３は、画像信号自体を停止するとともに、黒画面、あるいはその仮想視点の直前のフレームを出力するようにしてもよい。本実施形態では、直前のフレームを出力する。これより、そのときの仮想視点で見るべき画像に最も内容が近い画像とすることができ、表示する画像の変更が見る者に与える違和感を最小眼とすることができる。また、画像信号が途切れることや、黒画面に切り替わることなどによる、見る者に対する違和感をも低減することができる。

【0017】

図２は、図１に示した仮想視点画像生成装置１０のハードウェア構成を示すブロック図である。仮想視点画像生成装置１０は、ハードウェア構成として、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、表示部２１５、操作部２１６、通信Ｉ／Ｆ２１７、およびバス２１８を有して構成される。

【0018】

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて仮想視点画像生成装置１０の全体を制御する。これにより、図１に示す仮想視点画像生成装置１０の要素１００～１０６それぞれの機能を実現する。なお、仮想視点画像生成装置１０がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、および通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時的に記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0019】

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが仮想視点画像生成装置１０に関する操作を実行するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示部２１５を制御する表示制御部、及び操作部２１６を制御する操作制御部として動作する。これら操作部２１６および表示部２１５は、図１に示した仮想カメラ視点入力部１０１による仮想カメラの視点情報の入力に関する機能の一部を実現する。

【0020】

通信Ｉ／Ｆ２１７は、仮想視点画像生成装置１０の外部の装置との通信に用いられる。例えば、仮想視点画像生成装置１０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。仮想視点画像生成装置１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、仮想視点画像生成装置１０の各部をつないで情報を伝達する。この通信Ｉ／Ｆ２１７は、図１に示した画像入力部１００や画像出力部１０３による画像の入出力の機能の一部を実現している。

【0021】

なお、本実施形態では、表示部２１５と操作部２１６が仮想視点画像生成装置１０の内部に存在するものとするが、表示部２１５と操作部２１６との少なくとも一方が仮想視点画像生成装置１０の外部に別の装置として存在していてもよい。

【0022】

また、仮想視点画像生成装置１０がＣＰＵ２１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、少なくとも一部の処理をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

【0023】

図３は、本実施形態の仮想視点画像生成装置１０に入力される画像を撮像するためのシステムを示す図である。図３に示す例は、８つのカメラ１１～１８によって対象三次元空間３００をそれぞれ撮影することを示している。撮影対象は、サッカーなどの競技が想定され、その場合、対象三次元空間３００には選手が競技を行うサッカースタジアムが含まれる。なお、撮影対象や対象三次元空間はこれに限定されないことはもちろんであり、例えば、スタジオでの数人でのコンサートであったり、屋外のゴルフ場のような場所を含むものであったりしてもよい。

【0024】

図３に示すように、対象三次元空間３００は、ｚｙｚ座標系のｘ軸に沿って－１００ｍ～１００ｍ、ｙ軸に沿ってー５０ｍ～５０ｍ、ｚ軸に沿って０ｍ～１０ｍの空間として規定されている。この規定した空間において、図４以降の図を参照して後述される、仮想視点画像の一部を非表示とするための制御が行われる。

【0025】

本実施形態は、ユーザなどによって指定される仮想視点に関連付けられた、画像表示の禁止条件を予め設定し、この禁止条件に基づいて画像の一部（禁止領域）の非表示制御を行う。画像表示禁止条件設定部１０４（図１）は、この禁止条件の設定を行う。本実施形態では、二通りの設定方法を用いて設定を行うことができる。１つ目の方法（以下、「第１方法」とも言う）は、指定される仮想視点に対して、禁止される視点を設定する方法である。２つ目の方法（以下、「第２方法」とも言う）は、対象三次元空間の一部の領域を禁止領域として設定し、この禁止領域を仮想視点との関係で非表示とする方法である。

【0026】

第１方法は、図３に示した対象三次元空間３００を複数の領域に分割し、その分割した領域（以下、「分割領域」とも言う）それぞれについて、画像の一部を非表示とする視点の位置および方向（以下、「禁止視点情報」とも言う）を予め規定する。そして、ユーザなどによって指定された仮想視点が、その仮想視点の位置を含む分割領域に規定される禁止視点情報を満たす場合、つまり禁止条件を満たす場合、その仮想視点から見る画像を非表示とする制御を行う。

【0027】

図４は、対象三次元空間３００を分割して得られ、また、禁止視点情報が規定される分割領域を説明する図である。本実施形態では、対象三次元空間３００を、分割領域が１０ｍ×１０ｍ×１０ｍの直方体となるように分割する。この結果、対象三次元空間３００は２００個の領域（分割領域）に分割される。そして、このように分割して得られる分割領域それぞれに禁止視点情報を予め設定する。

【0028】

図５は、本実施形態の第１方法に係る、分割領域における禁止視点情報設定を説明する図であり、対象三次元空間３００における任意の１つの分割領域３００ｋを示している。分割領域３００ｋではその直方体の中心Ｉ０を通る、ｘ、ｙ、ｚ軸にそれぞれ平行な仮想軸Ｉｘ、Ｉｙ、Ｉｚを規定する。そして、この３つの仮想軸によって、分割領域３００ｋは８分儀である第１象限～第８象限の８つの領域に分割できる。これら８つの領域は、例えば、分割領域３００ｋの頂点の座標（ｘｋ、ｙｋ、ｚｋ）、・・・、（ｘｋ+1、ｙｋ+1、ｚｋ+1）に対応させてそれぞれ特定することができる。あるいは、１つの領域が、Ｉｘ軸とＩｙ軸の成す角９０°で規定される面と、Ｉｘ軸とＩｚ軸の成す角９０°で規定される面と、Ｉｙ軸とＩｚ軸の成す角９０°で規定される面と、で囲まれる領域として特定することができる。

【0029】

分割領域３００ｋにおいて、禁止視点情報は以下のように規定する。禁止視点情報のうち、視点の位置は上記８つの座標で規定できる。すなわち、視点の位置は、上記８つの座標それぞれのｘ、ｙ、ｚの値との大小関係によって定まる領域で、その領域の内部の位置として規定される。また、視点の方向（向き）は、上記直方体の中心Ｉ０から第１象限～第８象限の領域のいずれを向いているかによって規定できる。

【0030】

具体的には、先ず、対象三次元空間３００において表示すべきでない対象の領域（以下、「禁止領域」；図５において不図示）を特定する。例えば、ユーザが、スタジアムの三次元空間を示すＵＩなどを使用して、表示をすべきでない対象を囲み禁止領域を設定する。そして、この設定された禁止領域に対し、それぞれの分割領域３００ｋから禁止領域がその分割領域の中心ＩＯから見えるか否かを判断する。見える場合は、その分割領域の内部の位置を禁止視点情報の位置と規定する。また、上記第１象限～第８象限のうち見える方向を含む象限を視点の方向と規定する。なお、分割領域によっては、禁止領域が見えないこともあり得、その場合にはその分割領域に禁止視点情報が規定ないし設定されないことはもちろんである。

【0031】

以上のように禁止視点情報が規定された分割領域のいずれかに仮想視点Ｉｅが指定されると、図７にて後述するように、その分割領域における仮想視点Ｉｅの方向が、禁止条件を基準に判断される。すなわち、仮想視点Ｉｅの方向がその分割領域に規定されている視点の方向（中心ＩＯから第１象限～第８象限のいずれかの領域内に向かう方向）と同じ（平行な）ベクトルを持つか否かが判断される。そして、同じベクトルを持つとき、その仮想視点Ｉｅは、その分割領域の禁止視点情報が示す範囲内、すなわち、禁止条件を満たすと判断する（図７のＳ１００１）。

【0032】

本実施形態では、上述したように、禁止視点情報の設定は、ユーザが不図示のＧＵＩなどを介して予め行うことができる。例えば、ＧＵＩに表示される対象三次元空間３００で禁止領域とすべき領域を選択、指定するとともに、対象三次元空間３００の分割領域３００ｋごとに上述したように禁止視点情報を設定する。

【0033】

なお、対象三次元空間３００における、複数の分割領域を選択し、一括で禁止される向き（禁止視点情報）を設定するようにしてもよい。また、例えば、禁止視点情報が設定されない分割領域については、図７にて後述される禁止条件を満たすか否かの判断をせずに次の処理を行うようにしてもよい。

【0034】

また、上述の例では、分割領域である直方体のサイズを１辺１０ｍ、および向きの分割数を８としたが、これに限定されないことはもちろんである。分割領域の直方体サイズおよび向きの分割数の増減により、設定する視点の分解能を増減させることが可能である。

【0035】

また、上例では、直方体を単位の分割領域として禁止視点情報を設定したが、形状はこれに限定されない。例えば、球体や円筒形であってもよい。また、対象三次元空間３００を一定の大きさで均等に分割し分割領域を規定したが、この形態に限定されず、例えば、サッカーであればフィールド内に該当する直方体のサイズをそれ以外の領域より小さく設定することもできる。これはフィールド外の看板などはフィールド内の選手に比べて大きいことが多いことに基づくものである。

【0036】

以上説明した禁止条件設定の第１方法によれば、仮想視点を指定する際に、その該当する分割領域に規定されている禁止視点情報を参照するだけで、指定される仮想視点に関して禁止領域が存在するか否かを判断できる。これにより、特許文献１に記載のように、仮想視点画像を生成するときにその画像において禁止領域が存在するか否かを判断する必要がなく、処理負荷を低減することができる。

【0037】

次に、禁止条件を設定するための第２方法について説明する。本方法は、対象三次元空間３００に仮想視点画像の生成を禁止する領域（禁止領域）を設定することにより、禁止条件を設定するものである。本方法は、上述した第１方法と同様、仮想視点画像を生成する前に予め設定する処理である。

【0038】

例えば、第１方法と同様、ユーザは、スタジアムの三次元空間を示すＵＩなどを使用して、仮想視点画像生成を禁止したい領域を囲むように設定する。この囲むことによって形成される領域が禁止領域として規定される。そして、規定された禁止領域の情報は、対象三次元空間３００（図３）における座標で表すことができる。

【0039】

図６は、本実施形態に係る禁止領域の設定を説明する図であり、図３に示した対象三次元空間３００において規定される禁止領域を示している。図６では、３つの禁止領域６０１、６０２、６０３が規定される例が示されている。

【0040】

以上のように禁止領域が設定された対象三次元空間３００において、仮想視点Ｉｅが指定された場合、画像表示判断部１０５は、図７にて後述される仮想視点が禁止条件を満たすか否かについて次のように判断する。

【0041】

画像表示判断部１０５は、仮想視点の位置および向きに基づいて、設定された禁止領域６０１～６０３それぞれの頂点を、座標変換を用いて仮想カメラで撮像される（仮想視点から見る）画像内に投影する。なお、以下では、説明を簡潔にするため、１つの禁止領域の禁止条件の判断について説明する。先ず、禁止領域の頂点の座標値を、仮想カメラのカメラ座標系の座標値に変換する。回転行列Ｒは対象三次元空間３００の座標系における仮想カメラの姿勢（向き）によって定まり、並進ベクトルｔはカメラの位置によって定まる。なお、回転行列Ｒは、３×３の行列である。世界座標系の座標値Ｘｗ、Ｙｗ、Ｚｗを用いて、カメラ座標系の座標値Ｘｃ、Ｙｃ、Ｚｃは下記（１）式で算出される。

【0042】

【数1】

【0043】

次に、カメラ座標系の三次元座標を、透視投影変換によりカメラ画像の二次元座標に変換する。

【0044】

カメラ画像上の座標を（ｕ、ｖ）とすると、カメラ座標系の三次元座標Ｘｃ、Ｙｃ、Ｚｃから下記（２）式で算出される。

【0045】

【数2】

【0046】

これにより、禁止領域の各頂点が仮想カメラで撮像される画像上に投影されたときの座標を得ることができる。そして、これらの座標に基づき、仮想カメラの画像に禁止領域が存在するか否かを判定する。画像表示判断部１０５は、禁止領域が存在する場合、すなわち、禁止条件を満たすと判断する（図７のＳ１００１）。

【0047】

以上説明した第２方法によれば、この方法が、対象三次元空間３００において禁止領域を設定するものであることから、特許文献１に開示されるような平面的な領域の設定と比較して、より詳細に領域を設定することが可能となる。

【0048】

なお、上記判断において、画像に禁止領域が存在するか否かだけで判断するのではなく、禁止領域が映るサイズや位置に応じて、判断を変えても良い。例えば、禁止領域が存在する範囲が所定の閾値より大きい場合に限りその画像の生成を停止するようにしてもよい。

【0049】

本実施形態では、以上説明した２つの設定方法によって設定される禁止条件のいずれか１つを用いる。例えば、対象三次元空間３００における禁止領域の数が所定値より多い場合は、第１方法による禁止条件を用いるようにしてもよい。他の例として、表示する画像のコンテンツに応じていずれかの禁止条件を設定してもよい。また、例えば、コンテンツ画像の所定時間ごとに禁止条件を変更してもよい。その場合はコンテンツに紐づいた撮影時間などに応じて、禁止条件が変わるようにしてもよい。

【0050】

図７は、本実施形態に係る、仮想視点に基づく画像出力判定処理を示すフローチャートである。なお、フローチャートで示される一連の処理は、仮想視点画像生成装置１０のＣＰＵ２１１がＲＯＭ２１２または補助記憶装置２１４に格納されている制御プログラムをＲＡＭ２１３に展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。また、フローチャートの説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

【0051】

仮想カメラ視点入力部１０１は、仮想カメラの視点情報（仮想視点の情報）を受信し、画像表示判断部１０５に仮想カメラの視点の情報を出力する（Ｓ１０００）。画像表示判断部１０５は、仮想カメラの視点の情報と上述した禁止条件の情報に基づいて、仮想視点が禁止条件を満たすか否かを判断する（Ｓ１００１）。

【0052】

仮想視点が禁止条件を満たす場合、画像表示判断部１０５は、画像出力制御部１０６に対し画像表示禁止の判断を通知する。画像出力制御部１０６は、これに応じて、画像出力部１０３を制御し、その視点の画像の出力を停止するとともに、前フレームを出力するように画像出力部１０３を制御する（Ｓ１００２）。すなわち、画像出力制御部１０６は、その仮想視点に移る前の視点で生成、出力した、フレームを出力するようにする。これにより、画像を見る者は、視点を切り替えようとする前に見た画像を再び見ることになり、視点を切り替える場合と比較して、見る者に与える違和感を小さくすることができる。

【0053】

一方、指定された仮想視点が禁止条件を満たさない場合、画像表示判断部１０５は、画像出力制御部１０６に対し画像出力許可の判断を通知する。画像出力制御部１０６は、これに応じて、画像出力部１０３に対し、特に制御を行わず、画像出力部１０３は仮想視点画像生成部１０２で生成されたフレームをそのまま出力する。（Ｓ１００３）。

【0054】

なお、上述した実施形態では、画像出力部１０３が１つである構成について説明したが、複数の画像出力部を持つ場合、上述の判断に基づく処理に関し、それぞれ独立して制御しても良い。例えば、外部に公開する画像のみを対象に、禁止条件に該当するオブジェクトの表示をしないように制御することも可能である。

【0055】

以上説明した第１実施形態によれば、ユーザがあらかじめ設定した、仮想カメラの視点に基づく禁止条件によって、仮想視点の画像出力を制御することができる。その結果、例えば、画像コンテンツを提供する側が表示したくないオブジェクトを表示しないように制御することが可能となる。

【0056】

（第２実施形態）
本発明の第２実施形態に係る仮想視点画像生成システムは、仮想視点の画像生成において、仮想視点からの画像における禁止領域の対象（オブジェクト）の画像を、除くなどの加工をして当該画像を出力する。

【0057】

図８は、本発明の第２実施形態に係る仮想視点画像生成装置２０を示すブロック図である。第一の実施形態と同様の機能を果たす要素については、同じ番号を付してその説明を省略する。

【0058】

本実施形態の仮想視点画像生成部１１０は、第１実施形態で説明した機能に加え、画像表示禁止条件設定部１０４で設定された禁止条件と仮想カメラ視点入力部１０１から入力された仮想カメラ視点に基づいて、画像生成を制御する。具体的には、前景を生成する際に、禁止条件で設定されている領域に存在するオブジェクトを除去した上で生成し、オブジェクトが最終的に生成される仮想視点画像に表示されないようにする。このオブジェクトは、上述したとおり、表示すべきでないオブジェクトであり、ユーザの設定によってこのオブジェクトを囲むように禁止領域が設定されたものである。

【0059】

以下、前景からオブジェクトを除去する処理を具体的に説明する。第１実施形態で上述した通り、画像表示禁止条件の設定方法として、対象三次元空間３００において禁止領域を設定する。また、前景画像の生成方法は、仮想カメラの視点の情報に基づいて、対象空間の三次元モデルの見え方を三次元計算によって求め、前景画像の色を三次元モデルに適用することで前景画像を生成する。そして、前景画像として生成する対象となる三次元モデルが禁止領域に存在することは、それぞれの三次元座標を比較することによって判断することができる。そして、三次元座標の比較の結果、禁止領域内にある三次元モデルを、前景生成の対象としないこと、すなわち仮想カメラ視点からの前景画像に投影しないことにより、前景画像からその三次元モデルを除去することができる。なお、三次元モデルとしての１つのオブジェクトの総てを除外する方法だけでなく、例えば点群で構成された三次元モデルの場合、禁止領域に含まれる点のみを除外するということもできる。これにより、禁止領域内のオブジェクトのみが表示されない仮想視点画像をユーザに表示することができ、禁止領域が設定されていても、通常と変わりなくユーザ操作および仮想視点画像の閲覧が可能となる。

【0060】

上例では、前景から禁止領域に含まれるオブジェクトを除去する方法について説明したが、例えば背景から除去する、または、前景、背景の両方から除去するなどの方法であってもよい。また、禁止領域にあるオブジェクトが表示されないように、背景のみを表示する、または前景のみを表示するといったことも可能である。

【0061】

さらに、完全に除去するのではなく、三次元オブジェクトの点を間引いて仮想視点画像に表示されるオブジェクトの解像度を低下させるなどの加工を施した上で表示することもできる。

【0062】

図９は、本実施形態に係る仮想視点に基づく画像出力判定処理を示すフローチャートである。

【0063】

仮想視点画像生成部１１０は、画像入力部１００から複数カメラの画像を受信し、前景と背景の分離、三次元モデルの生成を行う。また、仮想カメラ視点入力部１０１から仮想カメラ視点を受信する（Ｓ２０００）。次に、仮想視点画像生成部１１０は、画像表示禁止条件設定部１０４で予め設定された禁止領域と三次元モデルとを、三次元座標によって比較する（Ｓ２００１）。そして、比較の結果、禁止領域に存在する三次元モデルを前景生成対象から除外する（Ｓ２００２）。

【0064】

さらに、除外したもの以外の三次元モデルに基づいて前景画像を生成し、さらに背景画像を生成する。前景画像と背景画像を合成し、仮想視点画像を生成し、画像出力部１０３に出力する（Ｓ２００３）。画像出力部１０３は、生成された仮想視点画像を出力する（Ｓ２００４）。

【0065】

以上説明した本発明の第２実施形態によれば、指定した仮想視点が禁止条件を満たす場合、表示すべきでないオブジェクトを除外した画像が表示される。これにより、視点を切り替えてオブジェクトが表示されないようにする形態と比較して、ユーザに与える違和感を小さくすることができる。また、通常の仮想視点画像の閲覧と、操作性や表示画像の観点でユーザに同等の印象を与えつつ、禁止された領域のオブジェクトは非表示にすることができる。

【0066】

（第３実施形態）
本発明の第３実施形態では、ユーザが予め設定した仮想カメラの視点に基づく禁止条件によって、仮想視点の操作を制御し、画像出力が禁止される視点を入力できないようにする処理について説明する。

【0067】

本実施形態に係る仮想視点画像生成装置の構成は、図８に示す構成とほぼ同じであり、仮想視点画像生成部１１０の機能のみが異なる。以下では、仮想視点画像生成部１１０の機能についてのみ説明する。

【0068】

仮想視点画像生成部１１０は、仮想カメラ視点入力部１０１から受信した仮想カメラの視点が、画像表示禁止条件設定部１０４で設定された禁止条件を満たすか否かを判断する。禁止条件を満たさず、出力許可の場合は、そのまま指定された仮想カメラ視点における仮想視点画像を生成する。禁止条件を満たすと判断したときは、それ以前に出力許可とされた仮想カメラ視点を保持したまま、その仮想カメラ視点における仮想視点画像を生成する。これにより、操作するユーザが禁止条件を満たす視点を指示した場合でも、その視点に移動することができない。つまり、禁止条件を満たす視点への移動を制限することができる。

【0069】

なお、上例では、上述の第１の方法で設定された禁止条件に対し、仮想視点がそれを満たすか否かを判断基準としたが、上述した第２方法で設定された禁止条件に関し、仮想視点が禁止条件を満たすか否かを判断してもよいことはもちろんである。

【0070】

以上、本発明の第３実施形態によれば、ユーザが予め設定した仮想視点に基づく禁止条件によって、仮想視点の操作を制御し、画像出力が禁止される視点を入力不可とすることができる。

【0071】

（他の実施形態）
上述した実施形態では、ユーザが禁止条件を設定する方法について述べたが、これに限定されず、自動で設定しても構わない。例えば、文字等の認識によって、スポンサーと異なる看板等や応援に不適切な掲示物を認識したり、裸でいるなどの異常行動を検知したりして、それらに基づいて禁止条件を設定してもよい。

【0072】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0073】

１０、２０ 仮想視点画像生成装置
１１～１８ カメラ
１００ 画像入力部
１０１ 仮想カメラ視点入力部
１０２、１１０ 仮想視点画像生成部
１０３ 画像出力部
１０４ 画像表示禁止条件設定部
１０５ 画像表示判断部
１０６ 画像出力制御部
３００ 対象三次元空間
６０１、６０２、６０３ 禁止領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】