特許 7182915 画像生成装置、画像生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-25

(45)【発行日】2022-12-05

(54)【発明の名称】画像生成装置、画像生成方法、及びプログラム

(51)【国際特許分類】

   G06T 15/20 20110101AFI20221128BHJP

   G06T 19/00 20110101ALI20221128BHJP

   H04N 5/232 20060101ALI20221128BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

H04N5/232 290

【請求項の数】 13

(21)【出願番号】P 2018120187

(22)【出願日】2018-06-25

(65)【公開番号】P2020003884

(43)【公開日】2020-01-09

【審査請求日】2021-06-23

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】川原 拓人

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１４－０４１２５９（ＪＰ，Ａ）

【文献】特開２０１８－０４９５９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００－１９／２０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得手段と、
仮想視点を示す視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成手段であって、前記撮影対象領域に位置する略平面状の特定オブジェクトを立体的な仮想オブジェクトに置換して前記仮想視点画像を生成する生成手段とを有し、
前記特定オブジェクトは、所定の方向から見た場合に立体的に見える略平面状のオブジェクトであり、前記特定オブジェクトに対して前記所定の方向に位置する仮想視点に応じた仮想視点画像における前記仮想オブジェクトの画像は、前記特定のオブジェクトに対して前記所定の方向に位置するカメラにより撮影された撮影画像内の前記特定オブジェクトの画像と略一致する
ことを特徴とする画像生成装置。

【請求項2】

前記画像取得手段により取得される画像データに基づく画像内の前記特定オブジェクトに対応する領域を特定する特定手段を有し、
前記生成手段は、前記画像取得手段により取得される画像データと、前記情報取得手段により取得される視点情報と、前記特定手段による特定の結果とに基づいて、前記仮想視点画像を生成することを特徴とする請求項１に記載の画像生成装置。

【請求項3】

前記生成手段は、前記特定手段による特定の結果に基づいて前記仮想オブジェクトの３次元形状データを生成し、生成された前記仮想オブジェクトの３次元形状データを用いて前記仮想視点画像を生成することを特徴とする請求項２に記載の画像生成装置。

【請求項4】

前記特定手段は、前記撮影対象領域に前記特定オブジェクトが存在しない状況における前記複数のカメラによる撮影に基づく画像データと、前記撮影対象領域に前記特定オブジェクトが存在する状況における前記複数のカメラによる撮影に基づく画像データとに基づいて、前記特定のオブジェクトに対応する領域を特定することを特徴とする請求項２又は３に記載の画像生成装置。

【請求項5】

前記特定手段は、前記画像取得手段により取得される画像データに対して行われる画像解析の結果に基づいて、前記特定のオブジェクトに対応する領域を特定することを特徴とする請求項２又は３に記載の画像生成装置。

【請求項6】

前記特定手段は、前記画像取得手段により取得される画像データに基づく画像内の領域を指定するユーザ操作に基づいて、前記特定のオブジェクトに対応する領域を特定することを特徴とする請求項２又は３に記載の画像生成装置。

【請求項7】

前記特定手段は、前記複数のカメラにより撮影された撮影画像から所定の移動する被写体を除いた画像に対して、前記特定オブジェクトに対応する領域を特定する処理を行うことを特徴とする請求項２乃至６の何れか１項に記載の画像生成装置。

【請求項8】

前記撮影対象領域は競技場の一部又は全部であり、前記特定オブジェクトは広告が表示されるオブジェクトであることを特徴とする請求項１乃至７の何れか１項に記載の画像生成装置。

【請求項9】

前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記特定オブジェクトを前記仮想オブジェクトに置換せずに仮想視点画像を生成する第２生成手段と、
前記生成手段により生成される仮想視点画像と前記第２生成手段により生成される仮想視点画像とを含む複数の仮想視点画像のうち選択された仮想視点画像を出力する出力手段とを有することを特徴とする請求項１乃至８の何れか１項に記載の画像生成装置。

【請求項10】

撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得工程と、
仮想視点を示す視点情報を取得する情報取得工程と、
前記画像取得工程において取得される画像データと前記情報取得工程において取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成工程であって、前記撮影対象領域に位置する略平面状の特定オブジェクトを立体的な仮想オブジェクトに置換して前記仮想視点画像を生成する生成工程とを有し、
前記特定オブジェクトは、所定の方向から見た場合に立体的に見える略平面状のオブジェクトであり、前記特定オブジェクトに対して前記所定の方向に位置する仮想視点に応じた仮想視点画像における前記仮想オブジェクトの画像は、前記特定のオブジェクトに対して前記所定の方向に位置するカメラにより撮影された撮影画像内の前記特定オブジェクトの画像と略一致する
ことを特徴とする画像生成方法。

【請求項11】

前記画像取得工程において取得される画像データに基づく画像内の前記特定オブジェクトに対応する領域を特定する特定工程を有し、
前記生成工程においては、前記画像取得工程において取得される画像データと、前記情報取得工程において取得される視点情報と、前記特定工程における特定の結果とに基づいて、前記仮想視点画像が生成されることを特徴とする請求項１０に記載の画像生成方法。

【請求項12】

前記生成工程においては、前記特定工程における特定の結果に基づいて前記仮想オブジェクトの３次元形状データが生成され、生成された前記仮想オブジェクトの３次元形状データを用いて前記仮想視点画像が生成されることを特徴とする請求項１１に記載の画像生成方法。

【請求項13】

コンピュータを、請求項１乃至９の何れか１項に記載の画像生成装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の方向から撮影した画像に基づいて仮想視点画像を生成する技術に関するものである。

【背景技術】

【0002】

近年、異なる位置に設置された複数の撮像装置（カメラ）で同期して被写体を撮像し、当該撮像により得られた複数の視点からの画像（複数視点画像）を用いて、撮像装置の設置位置だけでなく任意の仮想視点に対応する仮想視点画像を生成する技術がある。例えば、サッカーやバスケットボールの試合を撮像した画像を用いて、ユーザにより指定された仮想視点に応じた仮想視点画像を生成することにより、迫力のある視点やユーザの好みに合った視点の画像コンテンツを生成することができる。従って、仮想視点画像を用いることで、視点を任意に変更できない従来の撮像画像と比較して、ユーザに高い臨場感を与えることができる。特許文献１には、仮想視点画像に広告を表示する方法が開示されている。

【0003】

一方、従来サッカーの試合などにおいて、広告が印刷されたシートを地面に設置することがある。この広告は、テレビ放送の主たるカメラの視点から見ると錯視により立体的に見えるようになっている。物理的に立体形状の広告ではなくシート状の広告を用いることで、選手がプレイする領域に近接する箇所においても選手の邪魔にならないように広告を設置可能であり、テレビ放送の視聴者に対して効果的に広告を見せることができる。このような広告は例えば９０°システム広告などと呼ばれるが、本明細書では、広告に限らず略平面状の物体に形成されている画像であって錯視を利用してあたかも立体物が存在するかのように見せる画像を、立体錯視画像と称する。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５５６７９４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

立体錯視画像などの特定オブジェクトを含む領域を撮影することで得られる画像に基づいて従来の方法で仮想視点画像を生成すると、生成された仮想視点画像において当該特定オブジェクトが効果的な形態で表示されない場合がある。例えば、立体錯視画像は所定の方向から見た場合にのみ立体的に見える画像であるため、仮想視点が当該所定の方向とは異なる方向に設定された場合には、立体錯視画像が立体的に見えず且つその内容も認識しづらい形態で表示されてしまう。

【0006】

本発明は上記の課題に鑑みて、立体錯視画像などの特定オブジェクトを含む領域を撮影することで得られる画像に基づいて生成される仮想視点画像において、当該特定オブジェクトをその内容が認識されやすい形態で表示させることを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するため、本発明に係る画像生成装置は、撮影対象領域を撮影する複数のカメラによる複数の方向からの撮影に基づく画像データを取得する画像取得手段と、仮想視点を示す視点情報を取得する情報取得手段と、前記画像取得手段により取得される画像データと前記情報取得手段により取得される視点情報とに基づいて、前記視点情報により示される仮想視点に応じた仮想視点画像を生成する生成手段であって、前記撮影対象領域に位置する略平面状の特定オブジェクトを立体的な仮想オブジェクトに置換して前記仮想視点画像を生成する生成手段とを有し、前記特定オブジェクトは、所定の方向から見た場合に立体的に見える略平面状のオブジェクトであり、前記特定オブジェクトに対して前記所定の方向に位置する仮想視点に応じた仮想視点画像における前記仮想オブジェクトの画像は、前記特定のオブジェクトに対して前記所定の方向に位置するカメラにより撮影された撮影画像内の前記特定オブジェクトの画像と略一致する。

【発明の効果】

【0008】

本発明によれば、立体錯視画像などの特定オブジェクトを含む領域を撮影することで得られる画像に基づいて生成される仮想視点画像において、当該特定オブジェクトをその内容が認識されやすい形態で表示させることができる。

【図面の簡単な説明】

【0009】

【図1】実施形態における立体錯視画像について説明するための図である。

【図2】実施形態における画像処理システムの機能構成について説明するための図である。

【図3】実施形態における画像生成装置のハードウェア構成について説明するための図である。

【図4】実施形態における画像処理システムの動作について説明するためのフローチャートである。

【図5】実施形態における参照画像の画像取得処理について説明するためのフローチャートである。

【図6】実施形態における立体錯視画像を特定する処理について説明するためのフローチャートである。

【図7】実施形態における立体錯視画像の領域の検出について説明するための図である。

【図8】実施形態におけるマスクの生成について説明するための図である。

【図9】実施形態における仮想視点画像を生成する処理について説明するためのフローチャートである。

【図10】実施形態の構成により生成される仮想視点画像について説明するための図である。

【図11】実施形態の構成により生成される仮想視点画像について説明するための図である。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0011】

まず、本実施形態における立体錯視画像について図１を用いて説明する。立体錯視画像は、所定の方向からみた場合に立体的に見える略平面状の特定オブジェクトである。図１（ａ）は、立体錯視画像が印刷されたシート１が設置されたサッカーのフィールドを、立体錯視画像が立体に見える特定の視点から見た様子を示している。一方、図１（ｂ）は同じシート１を上方向から見た様子を示している。さらに、図１（ｃ）は立体錯視画像により表示される内容の例を示している。

【0012】

立体錯視画像が用いられる状況としては、例えばテレビ中継されるサッカーの試合が挙げられる。この場合、立体錯視画像の内容はスポンサーの広告などである。立体錯視画像は略平面状のシートなどに形成され、サッカーゴール付近の地面上に設置される。このようなシートは立体的な看板などと比べて選手の邪魔になりにくいため、競技領域の近接位置に設置することができる。そのため、テレビ放送の画面に表示される頻度が多くなり、広告効果が高い。立体錯視画像が立体的に見えるのは特定の方向から見た場合のみであるため、テレビ放送を行うメインのカメラ位置からみて立体的に見えるようにシートが設置される。これにより、テレビ放送の視聴者には、あたかも広告が表示された立体的な看板が競技領域のすぐ近くに設置されているように見える。なお、立体錯視画像が立体的に見える特定の視点のことを、本実施形態では立体錯視視点と称する。

【0013】

立体錯視視点から立体錯視画像を見た場合には、立体的な看板が地面に立っているように見えるが、実際に設置されているのは平面的なシートであり、そのシートに印刷された画像は図１（ｂ）に示すような傾いた画像である。したがって、立体錯視視点ではない視点から見た場合には、立体錯視画像は立体的に見えず、その内容も認識しづらい。従来のテレビ放送では視点が固定的であるが、複数のカメラでそれぞれ異なる方向から撮影した画像を用いて仮想視点画像を生成する場合、ユーザが任意の仮想視点を指定することができる。そのため、立体錯視視点ではない仮想視点が指定された場合には、生成される仮想視点画像において立体錯視画像が効果的な形態で表示されず、その仮想視点画像を見る視聴者に違和感を与えてしまう。また、立体錯視画像の内容が広告である場合には、その広告効果が低くなってしまう。

【0014】

そこで本実施形態では、立体錯視視点以外の仮想視点が指定された場合でも立体錯視画像の内容が認識されやすい形態で表示されるように、シートなどに形成された立体錯視画像を変換して仮想視点画像を生成する。

【0015】

［画像処理システムの構成］
図２は、本実施形態に係る画像処理システム１０の全体構成図である。画像処理システム１０は、複数のカメラ１００による撮影に基づく画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて画像処理システム１０により自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、画像処理システム１０により処理される仮想視点画像は静止画であってもよい。

【0016】

画像処理システム１０は、カメラ１００－１からカメラ１００－ｎまでのｎ台のカメラと、各カメラに接続する画像処理装置２００－１から画像処理装置２００－ｎまでのｎ台の画像処理装置と、画像生成装置３００とを有する。以降では、各カメラ及び各画像処理装置を区別しない場合には、単にカメラ１００及び画像処理装置２００と記載する。なお、カメラ１００の台数や画像処理装置２００の台数は本実施形態に限定されるものではない。また、１つの画像処理装置２００に複数のカメラ１００が接続されていてもよい。

【0017】

カメラ１００は、例えばデジタルビデオカメラ等の撮像装置であり、シリアルデジタルインタフェース（ＳＤＩ）などの映像信号出力のためのインターフェイスを有する。複数のカメラ１００は、撮影対象領域を複数の異なる方向から撮影することで複数視点画像を取得する。本実施形態において撮影対象領域は競技場の一部又は全部である。撮影対象領域には、選手やボールなどの所定のオブジェクト（前景オブジェクト）と、広告を表示する立体錯視画像が形成されたシートが含まれ、複数のカメラ１００は撮影対象領域を取り囲むように設置されて同期撮影する。なお、撮影対象はスポーツ競技に限らず、例えば歌手、奏者および役者などが位置するステージを撮影対象としてもよい。また、立体錯視画像により表示される内容は広告に限定されない。カメラ１００により取得された撮影画像は、そのカメラ１００に接続された画像処理装置２００へ出力される。

【0018】

画像処理装置２００は、例えばカメラ１００から出力された映像信号を入力するためのＳＤＩを有し、カメラ１００により取得された撮影画像に対して画像処理を行う。具体的には、画像処理装置２００は、撮影画像を所定のオブジェクトの領域（前景）とそれ以外の領域（背景）に分離する処理や、背景の画像からさらに立体錯視画像の領域を分離する処理などを行う。これらの処理の詳細については後述する。画像処理装置２００により処理された画像は、画像生成装置３００へ出力される。

【0019】

画像生成装置３００は、通信部３０１、検出部３０２、マスク生成部３０３、保持部３０４、変換部３０５、視点取得部３０６、及びレンダリング部３０７を有する。通信部３０１は、例えばＰＣＩＥｘｐｒｅｓｓなどの高速シリアルインターフェイスを備えたＬＡＮカードを有し、画像処理装置２００との間で情報の送受信を行う。検出部３０２は、通信部３０１を介して画像処理装置２００から取得した画像に対して、立体錯視画像を検出する処理を行う。マスク生成部３０３は、検出部３０２により検出された立体錯視画像の領域を示すマスクを生成し、通信部３０１を介して画像処理装置２００へマスクを提供する。保持部３０４は、画像処理装置２００から通信部３０１を介して取得した画像、例えば前景の画像、背景の画像、及び立体錯視画像を保持する。変換部３０５は、保持部３０４により保持された立体錯視画像を変換する。

【0020】

視点取得部３０６は、ユーザによる仮想視点を指定するための操作を受け付け、受け付けた操作に基づいて仮想視点の位置及び向きを示す視点情報を取得する。なお、視点情報には、仮想視点の画角や焦点位置に関する情報が含まれていてもよい。また、視点取得部３０６はユーザ操作を直接受け付けるのではなく、外部の装置により生成された視点情報を受信してもよい。レンダリング部３０７は、保持部３０４に保持された前景の画像、背景の画像、変換部３０５により変換された立体錯視画像、及び視点取得部３０６により取得された視点情報に基づいて、仮想視点画像を生成する。仮想視点画像の生成方法としては、例えば、前景の画像から生成した前景のオブジェクトの３次元モデルと、予め取得した背景の３次元モデルに対し、視点情報に応じたテクスチャ画像をマッピングし、レンダリングを行う方法がある。ただし、仮想視点画像の生成方法はこれに限定されない。生成された仮想視点画像は、指定された仮想視点に対応する仮想視点画像であり、画像生成装置３００の外部の表示装置や記憶装置（不図示）へ出力される。

【0021】

なお、画像処理システム１０の構成は図２に示したものに限定されない。例えば、画像処理装置２００の機能が画像生成装置３００に実装されていてもよい。また、通信部３０１、検出部３０２、マスク生成部３０３、及び保持部３０４が画像生成装置３００とは別の装置に実装されていてもよい。この場合、画像生成装置３００は、その別の装置から受信した前景の画像や背景の画像を用いて仮想視点画像を生成する。

【0022】

次に、画像生成装置３００のハードウェア構成について、図３を用いて説明する。画像生成装置３００は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、補助記憶装置３１４、表示部３１５、操作部３１６、通信Ｉ／Ｆ３１７、及びバス３１８を有する。

【0023】

ＣＰＵ３１１は、ＲＯＭ３１２やＲＡＭ３１３に格納されているコンピュータプログラムやデータを用いて画像生成装置３００の全体を制御する。なお、画像生成装置３００がＣＰＵ３１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３１２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ３１３は、補助記憶装置３１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

【0024】

表示部３１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像生成装置３００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部３１６は、例えばキーボードやマウス、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３１１に入力する。通信Ｉ／Ｆ３１７は、画像処理装置２００などの外部の装置との通信に用いられる。例えば、画像生成装置３００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３１７に接続される。なお、画像生成装置３００が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ３１７はアンテナを備える。バス３１８は、画像生成装置３００の各部を繋いで情報を伝達する。

【0025】

本実施形態では表示部３１５と操作部３１６が画像生成装置３００の内部に存在するものとするが、画像生成装置３００は表示部３１５と操作部３１６との少なくとも一方を備えていなくてもよい。また、表示部３１５と操作部３１６との少なくとも一方が画像生成装置３００の外部に別の装置として存在していて、ＣＰＵ３１１が、表示部３１５を制御する表示制御部、及び操作部３１６を制御する操作制御部として動作してもよい。

【0026】

［画像処理システムの動作フロー］
画像処理システム１０の動作フローについて、図４を用いて説明する。図４に示す処理は、仮想視点画像の生成対象となる競技の開始前において、システムの初期設定が完了し、カメラ１００による撮影が行われるタイミングで開始される。システムの初期設定には、例えば、撮影対象領域に向けた複数のカメラ１００の設置や、画像処理装置２００及び画像生成装置３００のケーブル等による接続や、複数のカメラ１００の同期及びキャリブレーションなどが含まれる。ただし、図４に示す処理の開始タイミングはこれに限定されない。図４に示す処理はカメラ１００による撮影中に行われてもよいし、カメラ１００による撮影に基づく記憶されたデータを用いて、撮影後の任意のタイミングで行われてもよい。

【0027】

図４に示す処理は、ＣＰＵ３１１がＲＯＭ３１２に格納されたプログラムをＲＡＭ３１３に展開して実行することで実現される。なお、図４に示す処理の少なくとも一部を、ＣＰＵ３１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。後に説明する図５、図６、及び図９のフローチャートに示す処理についても同様である。

【0028】

まずＳ４０１では、画像処理システム１０は、立体錯視画像が印刷されたシートが撮影対象領域に設置される前に撮影された画像に基づく参照画像を取得する。次にＳ４０２では、画像処理システム１０は、シートが撮影対象領域に設置された後に撮影された画像に基づいて、撮影対象領域に位置する立体錯視画像を特定する。そしてＳ４０３では、競技が行われている撮影対象領域が撮影された画像に基づいて、仮想視点画像を生成する。ここで生成される仮想視点画像においては、立体錯視画像を効果的に表示させるための変換が行われる。仮想視点画像の生成を停止する指示が行われると、図４に示す処理は終了する。

【0029】

［参照画像の取得処理］
次に、図４に示す処理フローにおける各処理の詳細について説明する。図５に示す処理は、Ｓ４０１における参照画像の画像取得に関する処理であり、立体錯視画像が印刷されたシートが撮影対象領域に設置される前に撮影された画像に基づいて画像処理装置２００それぞれにより実行される。後のＳ４０３の処理において立体錯視画像が変換された仮想視点画像を生成する場合、立体錯視画像が印刷されたシートで隠されている地面の画像を補完することになる。そこで、図５に示す処理では、画像処理装置２００がその補完を行うための参照画像を取得する。

【0030】

Ｓ５０１において、画像処理装置２００は、カメラ１００から１フレーム分の撮影画像を取得する。Ｓ５０２において、画像処理装置２００は、取得した撮影画像を前景と背景に分離する。前景は例えば選手やボールなどの所定のオブジェクトの領域であり、背景はフィールドや観客席などの領域である。前景と背景の分離の方法としては、例えば撮影画像と事前に取得した画像とを比較した差分領域を前景として抽出する方法や、時間経過に伴って変化する領域を前景として抽出する方法などがあるが、どの方法を用いるかは限定されない。

【0031】

Ｓ５０３において、画像処理装置２００は、分離した背景の画像に撮影対象領域内の所定領域の画像が含まれるか否かを判定する。この所定領域とは、例えば立体錯視画像が印刷されたシートが設置される予定の領域や、競技領域の周辺などのシートが設置される可能性が高い領域である。なお、この所定領域はユーザ操作により指定されてもよい。また、カメラ１００の撮影範囲全体を所定領域としてもよい。この場合、Ｓ５０３では、前景が含まれない撮影画像が取得されたか否かが判定されることになる。

【0032】

Ｓ５０３において、背景の画像に所定領域の画像が含まれないと判定された場合、補完のための適切な参照画像を取得できていないため、画像処理装置２００はＳ５０１に戻って次のフレームの撮影画像を取得する。一方、背景の画像に所定領域の画像が含まれると判定された場合、画像処理装置２００はＳ５０４に進んでその背景の画像を参照画像として画像生成装置３００へ出力し、図５の処理を終了する。画像生成装置に入力された参照画像は、保持部３０４により保持される。なお、画像処理システム１０は、Ｓ４０３における仮想視点画像の生成において、シートで隠された地面の画像を周辺の地面の画像などを用いて補完してもよく、その場合には図５に示す処理、すなわちＳ４０１における参照画像の取得は必須ではない。

【0033】

［立体錯視画像の特定処理］
図６に示す処理は、Ｓ４０２における立体錯視画像の特定に関する処理であり、立体錯視画像が印刷されたシートが撮影対象領域に設置された後に各カメラ１００により撮影された画像に基づいて画像生成装置３００により実行される。カメラ１００がｎ台存在する場合には、ｎ台のカメラそれぞれについて少なくとも１回ずつ図６の処理が実行される。後のＳ４０３の処理において立体錯視画像が変換された仮想視点画像を生成するためには、変換された立体錯視画像と、立体錯視画像が除かれた背景画像とが用いられる。そこで、図６に示す処理では、画像生成装置３００が撮影画像における立体錯視画像の領域を特定するマスクを生成する。

【0034】

Ｓ６０１において、検出部３０２は通信部３０１を介して、画像処理装置２００から背景の画像を取得する。Ｓ６０２において、検出部３０２は、取得した背景の画像に含まれる立体錯視画像を検出し、その立体錯視画像に対応する領域を特定する。特定の方法は限定されず、例えば、検出部３０２は立体錯視画像の内容や特徴を示すデータを予め外部から取得して記憶しておき、そのデータを用いて背景の画像に対して画像解析を実行した結果に基づいて、立体錯視画像の領域を特定してもよい。また例えば、検出部３０２は、撮影対象領域内に立体錯視画像が存在しない状況における撮影に基づく上述の参照画像と、撮影対象領域内に立体錯視画像が存在する状況における撮影に基づく背景の画像とを比較することで、立体錯視画像の領域を特定してもよい。また例えば、画像生成装置３００は、取得した背景の画像を表示部に表示させ、表示された画像内の立体錯視画像の領域を指定するユーザ操作に基づいて、その領域を特定してもよい。

【0035】

なお、画像生成装置３００はＳ６０１において画像処理装置２００からカメラ１００による撮影画像を取得し、取得した撮影画像に含まれる立体錯視画像を検出してもよい。ただし、撮影画像から選手などの所定の移動する被写体を除いた背景の画像に対して検出処理を行うことで、より容易に立体錯視画像の領域を特定することができる。図７は、あるカメラ１００の撮影画像内における立体錯視画像の領域７００の例を示している。Ｓ６０３において、検出部３０２は、特定した領域に含まれる立体錯視画像を保持部３０４に記憶する。

【0036】

Ｓ６０４において、マスク生成部３０３は、検出部３０２による立体錯視画像の領域の特定結果に基づいて、各カメラ１００の撮影画像における特定された領域を示すマスクを生成する。例えば、マスク生成部３０３により生成されるマスクは、立体錯視画像の領域の画素値が（Ｒ，Ｇ，Ｂ）＝（０，０，０）であり、それ以外の領域の画素値が（Ｒ，Ｇ，Ｂ）＝（１，１，１）である２値のマスク画像であってもよい。また例えば、マスク生成部３０３は立体錯視画像の領域の座標値を示す情報を生成してもよい。図８は、図７における立体錯視画像の領域７００を示すマスク画像８００の例を示している。Ｓ６０５において、マスク生成部３０３は生成したマスクを、通信部３０１を介して画像処理装置２００へ出力し、図６の処理を終了する。

【0037】

画像処理装置２００はマスク生成部３０３により生成されたマスクを用いることで、立体錯視画像の領域が除かれた背景の画像を取得することができる。例えば画像処理装置２００は、撮影画像から分離した背景の画像の画素値とマスク画像の画素値とを画素ごとに掛け合わせる。マスク画像における立体錯視画像の領域の画素値は（Ｒ，Ｇ，Ｂ）＝（０，０，０）であるため、掛け合わされた画像における立体錯視画像の領域の画素値も（Ｒ，Ｇ，Ｂ）＝（０，０，０）となる。一方、マスク画像におけるそれ以外の領域の画素値は（Ｒ，Ｇ，Ｂ）＝（１，１，１）であるため、掛け合わされた画像において背景の画像の画素値がそのまま残る。その結果、背景の画像から立体錯視画像の領域が除かれた画像が生成される。また、マスク画像の画素値を反転（各画素の画素値の０と１を入れ替える）させて同様の処理を行えば、背景の画像から立体錯視画像のみを抽出することもできる。なお、背景の画像から立体錯視画像の領域を除く処理は、画像生成装置３００により行われてもよい。その場合には上記と同様の処理が画像生成装置３００により実行されるため、画像処理装置２００へマスクを出力することは必須ではない。

【0038】

［立体錯視画像を仮想オブジェクトに置換した仮想視点画像の生成処理］
図９に示す処理は、Ｓ４０３における仮想視点画像の生成に関する処理であり、仮想視点画像の生成の対象となる競技が行われている撮影対象領域が撮影された画像に基づいて、画像生成装置３００により実行される。生成される仮想視点画像が動画である場合には、動画のフレームごとに図９の処理が実行される。図９に示す処理においては、指定された仮想視点から見て立体錯視画像が効果的に表示されるように、立体錯視画像が実際には撮影対象域に存在しない立体的な仮想オブジェクトに置換される。

【0039】

Ｓ９０１において、保持部３０４は、通信部３０１を介して複数の画像処理装置２００から画像を取得する。ここで取得される画像は、撮影対象領域を撮影する複数のカメラ１００による複数の方向からの撮影に基づく画像データであり、具体的には、前景の画像や、上述したマスクを用いた処理により立体錯視画像の領域が除かれた背景の画像が含まれる。なお、保持部３０４は、複数のカメラ１００による撮影画像そのものを上記の撮影に基づく画像データとして取得し、その撮影画像から前景の画像や背景の画像を生成して保持してもよい。あるいは、保持部３０４は、前景の画像や背景の画像に代えて、もしくはそれらとともに、撮影画像に基づいて他の装置により生成された被写体の３次元形状データやそのテクスチャのデータを、上記の撮影に基づく画像データとして取得し保持してもよい。

【0040】

本実施形態において、３次元形状データは、オブジェクトの３次元形状を表すデータであり、例えば、撮影対象領域に対応する３次元空間におけるｘｙｚ座標で表される位置情報を持った点群で表現されるものである。また、３次元形状データは、点群で表現されるものに限定されず、他のデータ形式で表現されてもよく、例えば、三角形や四角形などの多角形の集まりで構成されるポリゴンメッシュや、ボクセルなどで表現されてもよい。

【0041】

Ｓ９０２において、視点取得部３０６は、仮想視点の位置及び方向を示す視点情報を取得する。Ｓ９０３において、変換部３０５は、Ｓ６０３において保持部３０４に記憶された立体錯視画像を変換する。なお、保持部３０４に記憶されている変換対象となる立体錯視画像は、画像処理装置２００から画像生成装置３００へ入力される画像に基づいて適宜更新されてもよい。

【0042】

ここで、立体錯視画像を変換する処理の具体例について説明する。本実施形態において変換部３０５は、保持部３０４に記憶されている立体錯視画像に対応する３次元モデル（３次元形状データ）を生成する。以降ではこの３次元モデルを立体錯視モデルと記載する。立体錯視画像を立体錯視視点から見た場合に立体的に見える原理としては、人間の脳が画像を解釈するときに辺（図１（ｂ）の辺１１、辺１２、及び辺１３など）や面が直角になっていることを優先的に認識するという性質が利用されている。そのため、変換部３０５は、立体錯視画像を構成する辺を特徴として計算することで、立体錯視視点から見た場合に認識される立体形状に合致する立体錯視モデルを生成することができる。また、保持部３０４はシステムの初期設定時のカメラキャリブレーションにより得られた各カメラ１００の位置や向きに関するパラメータを保持しておく。そして変換部３０５は、そのパラメータと、検出部３０２により立体錯視画像の領域を特定した結果とを用いて、立体錯視モデルの位置やサイズを実際の立体錯視画像に適合させることができる。なお、立体錯視画像の設計情報の情報取得が可能な場合には、変換部３０５はその情報を用いて立体錯視モデルを生成してもよい。

【0043】

変換部３０５はさらに、保持部３０４に記憶された立体錯視画像を用いて、立体錯視モデルに表示させる画像（テクスチャ）を生成し、立体錯視モデルに貼り付ける。立体錯視画像は、前景とは異なり基本的に競技中には動かないものであるため、Ｓ６０３において取得された立体錯視画像に基づく同じテクスチャを使い続けることができる。ただし、撮影対象領域における光の当たり方などは変化し得るため、競技中に撮影された画像から抽出された立体錯視画像を用いて立体錯視モデルのテクスチャを更新してもよい。また、立体錯視画像の内容を示す情報を取得できる場合には、変換部３０５はその情報を用いてテクスチャを生成してもよい。立体錯視モデルとそのテクスチャが生成されると、変換部３０５はそれらをレンダリング部３０７へ出力する。

【0044】

なお、画像生成装置３００が立体錯視モデルの設計情報やテクスチャの情報を予め記憶済みである場合や外部から取得できる場合には、変換部３０５はそれらの情報を取得して、レンダリング部３０７へ出力すればよい。ここで、立体錯視モデルの設計情報とは、立体錯視画像により表現される仮想的な立体物の幅・奥行・高さなどの外形情報や、その位置を示す情報である。また、変換部３０５は、立体錯視モデルにテクスチャを貼り付けた上でレンダリング部３０７へ出力してもよい。

【0045】

図９の説明に戻る。Ｓ９０４において、変換部３０５は、Ｓ４０１において取得した参照画像を用いて、Ｓ９０１において取得した背景の画像のうち、立体錯視画像の領域が除かれた部分を補完する。これにより、立体錯視画像を立体錯視モデルに置換した場合に、背景に色情報が欠落した領域が発生することを防ぐことができる。

【0046】

Ｓ９０５においてレンダリング部３０７は、保持部３０４から取得した前景の画像と、変換部３０５により補完された背景の画像と、変換部３０５が生成した立体錯視モデルと、視点取得部３０６が取得した視点情報とに基づいて、仮想視点画像を生成する。具体的には、レンダリング部３０７は、予め取得された背景の３次元モデルと、前景の画像に基づいて生成された前景の３次元モデルと、変換部３０５により生成された立体錯視モデルとを、３次元空間に配置する。そしてレンダリング部３０７は、前景の画像と背景の画像を用いて、前景の３次元モデルと背景の３次元モデルにテクスチャを貼り付ける。また、レンダリング部３０７は、変換部３０５により生成されたテクスチャを立体錯視モデルに貼り付ける。そしてレンダリング部３０７は、視点情報に基づいてレンダリングを行い、仮想視点画像を生成する。このようにして生成される仮想視点画像は、視点情報により示される仮想視点に応じた仮想視点画像であり、撮影対象領域に位置する略平面状の立体錯視画像が立体錯視モデルで表現される立体的な仮想オブジェクトに置換されている。そしてＳ９０７において、レンダリング部３０７は、生成された仮想視点画像を所定の画像フォーマットで外部の表示装置や記憶装置へ出力する。以上で図９の処理が終了する。

【0047】

［生成される仮想視点画像の例］
上述した処理によって本実施形態における画像処理システム１０により生成される仮想視点画像と、従来の方法により生成された仮想視点画像との違いを、図１０を用いて説明する。図１０（ａ）は、立体錯視視点と一致する位置に仮想視点を指定し、従来の方法により生成された仮想視点画像の例を示している。また図１０（ｂ）は、立体錯視視点と一致する位置に仮想視点を指定し、本実施形態の方法により生成された仮想視点画像の例を示している。これらの場合、仮想視点と立体錯視視点が一致するため、何れにおいても立体錯視画像は立体的に見えるように表示されている。なお、この立体錯視視点の方向に何れかのカメラ１００がある場合、そのカメラ１００による撮影画像も図１０（ａ）や図１０（ｂ）と同様の画像になる。すなわち、本実施形態の方法で生成される、立体錯視視点の方向に位置する仮想視点に応じた仮想視点画像内の立体錯視モデルの画像は、立体錯視視点の方向に位置するカメラにより撮影された撮影画像内の立体錯視画像と略一致する。

【0048】

一方、図１０（ｃ）は、立体錯視視点とは異なる位置に仮想視点を指定し、従来の方法により生成された仮想視点画像の例を示している。また図１０（ｄ）は、立体錯視視点とは異なる位置に仮想視点を指定し、本実施形態の方法により生成された仮想視点画像の例を示している。図１０（ｃ）では、仮想視点と立体錯視視点とが一致しないため、立体錯視画像は立体的に見えず、その内容も認識しづらくなってしまっている。それに対し、図１０（ｄ）では、略平面状の立体錯視画像を立体的な仮想オブジェクトに置換して仮想視点画像を生成しているため、図１０（ｂ）の場合と同様に立体錯視画像が立体的に見えるように表示されている。このように、本実施形態によれば、仮想視点の位置が変化しても立体錯視画像の内容を効果的に表示させることができ、例えば立体錯視画像の内容が広告である場合には、その広告効果を増大させることができる。

【0049】

以上説明したように、本実施形態に係る画像生成装置３００は、撮影対象領域を撮影する複数のカメラ１００による複数の方向からの撮影に基づく画像データを取得し、仮想視点を示す視点情報を取得する。そして画像生成装置３００は、取得した画像データと視点情報とに基づいて、その視点情報により示される仮想視点に応じた仮想視点画像を生成する。このとき画像生成装置３００は、撮影対象領域内の略平面状の立体錯視画像を立体的な仮想オブジェクトに置換して仮想視点画像を生成する。このような構成によれば、立体錯視画像などの特定オブジェクトを含む領域を撮影することで得られる画像に基づいて生成される仮想視点画像において、当該特定オブジェクトをその内容が認識されやすい形態で表示させることができる
［その他の実施形態］
ここで図１１を用いて、立体錯視画像をより効果的に表示させる方法を説明する。立体錯視画像には、立体錯視視点から見た場合に存在するように見える立体物のうち、立体錯視視点側の面の情報しか含まれていない。そのため、保持部３０４に記憶された立体錯視画像に基づくテクスチャを単純に立体錯視モデルに貼り付けると、テクスチャが貼り付けられない面ができてしまう。その結果、仮想視点が立体錯視画像に対して立体錯視視点とは反対側の位置に指定された場合には、テクスチャのない立体錯視モデルの裏側が表示され、不自然な見え方になってしまう虞がある。例えば、広告を表示する立体的な看板があるかのように見せるための立体錯視画像が印刷されたシートが設置される場合を考える。看板の立体錯視視点から見える広告表示面の情報は立体錯視画像内に含まれているが、看板の裏側に相当する面の情報は立体錯視画像には含まれていない。

【0050】

そこで画像生成装置３００は、その裏側の面に対応する画像情報を取得し、立体錯視モデルの裏側の面に貼り付けるテクスチャを生成してもよい。裏側の面に対応する画像情報は、画像生成装置３００が外部から取得してもよいし、表側の面に対応する画像情報（保持部３０４に記憶された立体錯視画像）に基づいて生成してもよい。例えば、図１に示す表側の面の画像情報「ＡＢＣＤＥＦ」を、図１１に示すように立体錯視モデルの裏側にもそのまま用いてもよい。このような処理により、立体錯視画像の内容を効果的に表示可能な仮想視点の範囲を広げることができる。

【0051】

なお、画像生成装置３００は、略平面状の立体錯視画像を立体の仮想オブジェクトに置換して生成される仮想視点画像と、立体錯視画像を置換せずに生成される従来の仮想視点画像のうち、選択された仮想視点画像を出力してもよい。例えば、画像生成装置の処理負荷や前景のオブジェクトの位置、及び仮想視点の位置などに基づいて何れかの生成方法が自動で選択されてもよいし、ユーザ操作に基づいて選択されてもよい。さらに、画像生成装置３００は、これらの方法を含む３つ以上の方法の中から選択された方法により生成された仮想視点画像を出力してもよい。このように、仮想視点画像の生成方法を選択可能にすることで、例えば短い時間で仮想視点画像を生成する必要がある場合には処理量を減らしてその要求に応えつつ、長い時間をかけられる場合には立体錯視画像の変換を行って広告効果を高めることができる。

【0052】

なお、上述の実施形態では略平面状の物体に形成された立体錯視画像を仮想視点画像において効果的に見せるための方法について説明した。一方、特定の方向から見た場合にのみ特別な見え方をする立体物が配置された撮影対象領域の仮想視点画像を生成する場合にも、上述の実施形態を適用してその立体物を立体錯視画像と同様に処理することで、その立体物を効果的に見せることができる。また、上述の実施形態では、立体錯視画像により表現される仮想的な立体物に適合するように立体錯視モデルを生成する場合を中心に説明したが、これに限定されない。例えば、画像生成装置３００は、立体錯視モデルのサイズを任意に変化させてもよいし、立体錯視画像とは異なる内容の画像をテクスチャとして立体錯視モデルに貼り付けてもよい。

【0053】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0054】

１０ 画像処理システム
１００ カメラ
２００ 画像処理装置
３００ 画像生成装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】