特許 7396202 生成プログラム、生成方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】生成プログラム、生成方法、および情報処理装置

(51)【国際特許分類】

   G06T 3/00 20060101AFI20231205BHJP

【ＦＩ】

G06T3/00 720

【請求項の数】 8

(21)【出願番号】P 2020092813

(22)【出願日】2020-05-28

(65)【公開番号】P2021189629

(43)【公開日】2021-12-13

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】江刺 広之

(72)【発明者】

【氏名】俣野 哲也

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１７－０７３７１０（ＪＰ，Ａ）

【文献】特開２０１４－１５５０６９（ＪＰ，Ａ）

【文献】国際公開第２０１９／１９３６９６（ＷＯ，Ａ１）

【文献】特開２００９－１１６５３２（ＪＰ，Ａ）

【文献】視点位置に依存して変形する三次元メッシュモデルを利用した自由視点画像生成における違和感の低減 Reduction of Unnatural Feeling in Free-viewpoint Rendering Using View-Dependent Deformable 3-D Mesh Model，電子情報通信学会技術研究報告 Ｖｏｌ．１０９ Ｎｏ．４７１ IEICE Technical Report，2010年03月08日，p.437-442

【文献】複数の奥行マップを用いた仮想視点画像の生成 View Generation for a Virtual Camera Using the Multiple Depth Maps，電子情報通信学会論文誌 （Ｊ８４－Ｄ－ＩＩ） 第５号 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS D-II，2001年05月01日，p.805-811

【文献】フレーム間のテクスチャの整合性を考慮した視点依存テクスチャマッピング，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１７－ＣＶＩＭ－２０６ ［ｏｎｌｉｎｅ］，2017年03月02日，p.1-8

【文献】視点位置に応じて変形する３次元メッシュモデルを用いた全方位動画像からの自由視点画像生成 Novel View Genetation from Omni-Directional Videos Using Viewpoint-Dependent Deformable 3-D Mesh Model，情報処理学会研究報告 Ｖｏｌ．２００９ Ｎｏ．２９ IPSJ SIG Technical Reports，2009年03月06日，p.127-132

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

各画素が被写体の深度を示す深度情報と対応づけられている撮影画像の撮影に用いられた撮影装置の光学中心と、前記撮影画像が投影される撮影投影面と、視点と、前記視点から前記被写体を写した視点画像が投影される視点投影面とを、仮想空間上に配置し、
前記視点から前記視点投影面上に配置した前記視点画像の処理対象画素に向けて延ばした視線と、前記光学中心から前記撮影投影面上に配置した前記撮影画像の画素に向けて延ばした投射線との交差位置と、前記撮影画像の画素と対応する前記深度情報が示す前記被写体の深度とに基づいて、前記視点画像の前記処理対象画素と対応する画素値を、前記撮影画像の画素のうちから取得し、
前記処理対象画素に対して取得した画素値を用いて前記視点画像を生成する、
処理をコンピュータに実行させる生成プログラム。

【請求項2】

前記取得する処理は、前記撮影投影面上に配置した前記撮影画像の複数の画素のうち、画素に向けて前記光学中心から延ばした投射線と前記視線との前記交差位置が示す深度と、画素の前記深度情報に基づく前記被写体の深度との深度差が最小となる画素から、前記処理対象画素の画素値を取得する、ことを特徴とする請求項１に記載の生成プログラム。

【請求項3】

前記取得する処理は、前記深度差が最小となる画素に向けて前記光学中心から延ばした投射線と前記視線との前記交差位置と、前記深度差が最小となる画素の前記深度情報に基づく前記被写体の位置との距離が所定の条件を満たして大きい場合、前記視点画像の前記処理対象画素を死角領域に設定する、ことを特徴とする請求項２に記載の生成プログラム。

【請求項4】

前記取得する処理は、前記視線が前記被写体上で複数の投射線と交差する場合、前記複数の投射線と前記視線との交差位置のうちで最も交差位置が浅い投射線と対応する前記撮影画像の画素から、前記処理対象画素の画素値を取得する、ことを特徴とする請求項２または３に記載の生成プログラム。

【請求項5】

前記生成する処理は更に、
各画素が前記被写体の深度を示す前記深度情報と対応づけられている第２の撮影画像に基づいて、前記視点から前記被写体を写した第２の視点画像を生成し、
前記視点画像と前記第２の視点画像とのいずれか一方の視点画像で前記処理対象画素が前記死角領域に設定されている場合、他方の視点画像の画素値を前記処理対象画素の画素値として用いる、処理を含む請求項３に記載の生成プログラム。

【請求項6】

前記生成する処理は更に、
各画素が前記被写体の深度を示す前記深度情報と対応づけられている第２の撮影画像に基づいて、前記視点から前記被写体を写した第２の視点画像を生成し、
前記視点画像と前記第２の視点画像との両方の視点画像が前記処理対象画素で画素値を有する場合、前記両方の視点画像の前記処理対象画素での画素値のうち、前記視点から前記処理対象画素に向けて延ばした前記視線との成す角がより小さい投射線と対応する画素から取得された画素値を、前記処理対象画素の画素値に設定する、処理を含む請求項１から４のいずれか１項に記載の生成プログラム。

【請求項7】

各画素が被写体の深度を示す深度情報と対応づけられている撮影画像の撮影に用いられた撮影装置の光学中心と、前記撮影画像が投影される撮影投影面と、視点と、前記視点から前記被写体を写した視点画像が投影される視点投影面とを、仮想空間上に配置し、
前記視点から前記視点投影面上に配置した前記視点画像の処理対象画素に向けて延ばした視線と、前記光学中心から前記撮影投影面上に配置した前記撮影画像の画素に向けて延ばした投射線との交差位置と、前記撮影画像の画素と対応する前記深度情報が示す前記被写体の深度とに基づいて、前記視点画像の前記処理対象画素と対応する画素値を、前記撮影画像の画素のうちから取得し、
前記処理対象画素に対して取得した画素値を用いて前記視点画像を生成する、
ことを含む、コンピュータが実行する生成方法。

【請求項8】

各画素が被写体の深度を示す深度情報と対応づけられている撮影画像の撮影に用いられた撮影装置の光学中心と、前記撮影画像が投影される撮影投影面と、視点と、前記視点から前記被写体を写した視点画像が投影される視点投影面とを、仮想空間上に配置する配置部と、
前記視点から前記視点投影面上に配置した前記視点画像の処理対象画素に向けて延ばした視線と、前記光学中心から前記撮影投影面上に配置した前記撮影画像の画素に向けて延ばした投射線との交差位置と、前記撮影画像の画素と対応する前記深度情報が示す前記被写体の深度とに基づいて、前記視点画像の前記処理対象画素と対応する画素値を、前記撮影画像の画素のうちから取得する取得部と、
前記処理対象画素に対して取得した画素値を用いて前記視点画像を生成する生成部と、
を含む、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成プログラム、生成方法、および情報処理装置に関する。

【背景技術】

【0002】

例えば、製造、仕分け、およびその他の分野において部品および製品などを検査したり、形状を判定したりすることが行われている。こうした検査および判定などの処理は、処理対象の数や種類が膨大となることがあり、人手で行うことが難しいことがある。そのため、画像解析により処理する試みが成されている。

【0003】

また、撮影装置で被写体を撮影する際に、例えば、障害物などに起因して被写体を好ましい向きから撮影できないことがある。例えば、この様な場合に、撮影装置で撮影した被写体が写る画像を、利用において好ましい向きから見た被写体が写る画像に変換する画像再投影の技術が利用されている。画像再投影の技術として、例えば、テクスチャマッピングおよび投影テクスチャマッピングなどの技術が知られている。

【0004】

また、画像変換に関連する技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１１－０２５２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、例えば、テクスチャマッピングおよび投影テクスチャマッピングなどの技術を用いて画像再投影を行う場合、被写体の３次元形状モデルを生成するため、計算負荷が高くなることがある。そのため、例えば、部品および製品の検査および判定などの現場のように、大量の撮影画像を処理する場合、これらの技術で処理することが難しいことがある。

【0007】

１つの側面では、本発明は、被写体が写る撮影画像から、その被写体が別の向きで写る画像を生成する処理にかかる負荷を低減することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一つの態様の生成プログラムは、各画素が被写体の深度を示す深度情報と対応づけられている撮影画像の撮影に用いられた撮影装置の光学中心と、撮影画像が投影される撮影投影面と、視点と、視点から被写体を写した視点画像が投影される視点投影面とを、仮想空間上に配置し、視点から視点投影面上に配置した視点画像の処理対象画素に向けて延ばした視線と、光学中心から撮影投影面上に配置した撮影画像の画素に向けて延ばした投射線との交差位置と、撮影画像の画素と対応する深度情報が示す被写体の深度とに基づいて、視点画像の処理対象画素と対応する画素値を、撮影画像の画素のうちから取得し、処理対象画素に対して取得した画素値を用いて視点画像を生成する、処理をコンピュータに実行させる。

【発明の効果】

【0009】

被写体が写る撮影画像から、その被写体が別の向きで写る画像を生成する処理にかかる負荷を低減できる。

【図面の簡単な説明】

【0010】

【図1】実施形態が利用される例示的な撮影システムを示す図である。

【図2】実施形態に係る情報処理装置のブロック構成を例示する図である。

【図3】実施形態に係る撮影画像からの視点画像の生成の流れを例示する図である。

【図4】実施形態に係る撮影画像からの視点画像の生成の流れを例示する図である。

【図5】実施形態に係る撮影画像からの視点画像の生成の流れを例示する図である。

【図6】実施形態に係る死角領域について例示する図である。

【図7】実施形態に係る遮蔽領域について例示する図である。

【図8】実施形態に係る視点画像の生成処理の動作フローを例示する図である。

【図9】実施形態に係る視線と対応する投射線の特定処理の動作フローを例示する図である。

【図10】実施形態に係る視線と対応する投射線の特定処理の流れを例示する図である。

【図11】実施形態に係る撮影画像と視点画像とを例示する図である。

【図12】実施形態に係る複数の位置から撮影された撮影画像を用いた視点画像の生成について例示する図である。

【図13】実施形態に係る複数の位置から撮影された撮影画像を用いた視点画像の生成について例示する図である。

【図14】実施形態に係る異なる２つの位置から撮影された撮影画像に基づく視点画像の生成処理の動作フローを例示する図である。

【図15】実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、本発明のいくつかの実施形態について説明する。なお、複数の図面において対応する要素には同一の符号を付す。

【0012】

図１は、実施形態が利用される例示的な撮影システム１００を示す図である。撮影システム１００は、例えば、情報処理装置１０１、撮影装置１０２、設置台１０５などを含む。設置台１０５は、例えば、被写体１１０が設置される台であり、一例ではベルトコンベアなどの製造ラインであってよい。設置台１０５には、例えば、部品、製品、製造物、および成形物などの撮影対象物１０６が設置される。撮影装置１０２は、設置台１０５に設置された撮影対象物１０６を撮影する。

【0013】

情報処理装置１０１は、例えば、撮影装置１０２と有線または無線で通信接続されている。情報処理装置１０１は、例えば、パーソナルコンピュータ（ＰＣ）、モバイルＰＣ、タブレット端末、または、ネットワークを介して撮影装置１０２と接続されるサーバコンピュータなどの画像処理機能を備えるコンピュータであってよい。

【0014】

撮影装置１０２は、例えば、ＲＧＢ－Ｄカメラおよびステレオカメラなどの撮影画像と、その撮影画像の画素と対応する深度の情報を取得可能な撮影装置であってよい。一例では、撮影装置１０２は、深度画像を撮影する。撮影装置１０２は、例えば、被写体１１０が写る画像を撮影する。被写体１１０は、例えば、画像に写り込む物体であってよい。図１の例では、設置台１０５および撮影対象物１０６が撮影画像に被写体１１０として写っていてよい。撮影対象物１０６は、例えば、部品、製品、製造物、および成形物などである。撮影装置１０２は、例えば、撮影した被写体１１０が写る撮影画像および深度画像を情報処理装置１０１に送信する。

【0015】

なお、図１では、例えば、製造、仕分け、およびその他の分野における部品および製品の検査および判定などの現場での実施形態の利用を例示しているが、実施形態はこれに限定されるものではない。実施形態は、被写体１１０が写る撮影画像を、その被写体１１０を別の向きから見た画像に変換する処理が行われる様々な状況で利用することが可能である。

【0016】

なお、図１に示すように、例えば、ＲＧＢ－Ｄカメラなどの撮影装置１０２で撮影を行う場合、その撮影画像と対応する深度画像も得られる。そのため、深度画像の深度の情報を用いて３次元形状モデルを生成することができる。そして、生成した３次元形状モデルに撮影画像のテクスチャを貼り付けて回転させることで、様々な視点から被写体１１０を撮影した撮影画像を得ることができる。しかしながら、３次元形状モデルは、大量のポリゴンを処理して生成されるため処理負荷が高く、高速に処理を行ったり、大量の撮影画像を処理したりする用途では利用が難しいことがある。そのため、被写体が写る撮影画像から、その被写体が別の向きで写る画像を生成する画像変換にかかる処理負荷を低減できる更なる技術の提供が望まれている。

【0017】

以下で述べる実施形態では、撮影画像の画素と、撮影画像に基づいて生成を行う別の視点から被写体１１０を写した画像の画素とを、投射線および視線の光線追跡により特定する。なお、撮影画像に基づいて生成を行う別の視点から被写体１１０を写した画像を、以下では、視点画像と呼ぶことがある。また、投射線は、例えば、撮影画像の撮影に用いられた撮影装置の光学中心から撮影画像の画素に向かう直線で表される。視線は、例えば、視点から視点画像の画素に向かう直線で表される。実施形態によれば、被写体１１０の３次元形状モデルを生成しなくても、視点画像を生成することができるため、視点画像の生成にかかる処理負荷を低減することができる。

【0018】

なお、実施形態において視点画像の生成に用いる撮影画像は、予め前処理を実行して鏡面反射光の成分が除去された拡散反射光の画像であってよい。撮影画像の鏡面反射光の成分は、光源の影響を受ける成分であるため、視点が変わると変化し得る。そのため、例えば、視点画像における被写体１１０の色味などをその後の処理で用いる場合には、視点画像の生成に用いる撮影画像から予め除去しておくことは好ましい。しかしながら、実施形態はこれに限定されるものではない。例えば、視点画像を被写体１１０の輪郭や形状の外観検査に用いる場合には、鏡面反射光の成分が含まれていてもエッジの形状を抽出することが可能であるため、鏡面反射光の成分の除去は実行されなくてもよい。以下、実施形態を更に詳細に説明する。

【0019】

図２は、実施形態に係る情報処理装置１０１のブロック構成を例示する図である。情報処理装置１０１は、例えば、制御部２０１、記憶部２０２、通信部２０３、および表示装置２０４を含む。制御部２０１は、情報処理装置１０１の各部を制御してよい。制御部２０１は、例えば、配置部２１１、取得部２１２、および生成部２１３などを含み、またその他の機能部を含んでもよい。記憶部２０２は、例えば、後述する動作フローを実行するためのプログラム、およびプログラムの実行で参照する情報などを記憶している。通信部２０３は、例えば、制御部２０１の指示に従って他の装置と通信する。通信部２０３は、例えば、制御部２０１の指示に従って撮影装置１０２と通信し、撮影装置１０２から被写体１１０の写る撮影画像を取得してよい。表示装置２０４は、例えば、制御部２０１の指示に従って、表示画面に情報を表示する。これらの各部の詳細および記憶部２０２に格納されている情報の詳細については後述する。

【0020】

図３から図５は、実施形態に係る撮影画像からの視点画像の生成の流れを例示する図である。なお、以下の説明において、図面が３次元の仮想空間内での物体の配置を示している場合、軸の方向を表す矢印を付している。例えば、図３では、図面の縦方向にＺ軸、図面の横方向にＸ軸、および図面の奥行方向にＹ軸がとられている。なお、実施形態に係る仮想空間の軸の方向はこれに限定されるものではなく、空間内の座標を指定することができれば、軸は任意の方向にとられてよい。

【0021】

図３に示すように、撮影画像からの視点画像の生成処理において、制御部２０１は、仮想空間に撮影装置１０２の光学中心３０１を配置する。また、制御部２０１は、光学中心３０１から光軸３０２の前方の焦点距離の位置に、光軸に対して垂直に撮影画像の投影面として撮影投影面３０３を配置する。なお、撮影投影面３０３に投影される投影像に重ね合わせて撮影装置１０２で撮影した撮影画像および深度画像を配置することができる。この場合、撮影画像および深度画像の画像中心は、例えば、光軸３０２上にある。更に、制御部２０１は、撮影投影面３０３に対して平行に３次元平面３０５を配置する。なお、図３において、光学中心３０１から延びる破線は撮影視野を表している。

【0022】

また、撮影投影面３０３に配置した深度画像の深度の情報は、被写体１１０の位置を表している。図３には、深度画像の画素ごとの深度の情報に基づいて、被写体１１０として設置台１０５および撮影対象物１０６の位置が破線で示されている。被写体１１０は、例えば、光学中心３０１から撮影投影面３０３上に配置した深度画像の画素３０７に向かって延ばした直線上の画素３０７の深度情報で示される深度の位置にある。なお、撮影投影面３０３上に配置した撮影画像および深度画像の画素に向かう直線を、画素の深度情報で示される深度まで延ばした矢印を、以下では、例えば、投射線３０８と呼ぶ。

【0023】

続いて、制御部２０１は、３次元平面３０５に対して光学中心３０１のある側の半空間の任意の位置に視点３１０を配置する。制御部２０１は、視点３１０の前方に、視点３１０に透視投影する際の投影面として視点投影面３１１を配置する。なお、図３において視点３１０から延びる破線は視点視野を表している。

【0024】

この場合に、実施形態では制御部２０１は、視点３１０の位置から視点投影面３１１上に投影される被写体１１０の視点画像を生成する処理を実行する。なお、以下では、視点３１０から視点投影面３１１上に配置された視点画像の或る画素３１２に向かって延びる直線を、例えば、視線３１３と呼ぶ。

【0025】

続いて、制御部２０１は、視線３１３と交わる投射線３０８のうちから、視線３１３と投射線３０８との交差位置の深度と、投射線３０８が撮影投影面３０３上で通る画素の深度情報が示す被写体１１０の深度との深度差が最小となる投射線３０８を特定する。例えば、図４には、投射線３０８ａから投射線３０８ｃの３つの投射線３０８が示されている。ここで、投射線３０８ｃは、視線３１３と交差していないため排除される。一方、投射線３０８ａおよび投射線３０８ｂは、視線３１３と交差している。また、投射線３０８ａは、視線３１３と点４０１の位置で交差しており、投射線３０８ａが撮影投影面３０３上で通る深度画像の画素４１２の深度情報は点４０２の位置における被写体１１０の深度を示している。投射線３０８ａでは、視線３１３との交差位置（図４の点４０１）の深度と、投射線３０８ａが撮影投影面３０３上で通る画素４１２の深度情報が示す被写体（図４の点４０２）までの深度との深度差は大きい。一方、投射線３０８ｂでは、視線３１３との交差位置（図４の点４０３）の深度と、投射線３０８ｂが撮影投影面３０３上で通る画素４１３の深度情報が示す被写体１１０の深度とがほぼ同じ深度であり、深度差が小さい。そのため、制御部２０１は、深度差が最小となる投射線３０８として投射線３０８ｂを特定してよい。

【0026】

なお、例えば、投射線３０８が通る撮影投影面３０３上の撮影画像の画素と、視線３１３が通る視点投影面３１１上の視点画像の画素とが被写体の同じ領域を写しているとする。この場合、投射線３０８と視線３１３との交差位置の深度と、投射線３０８が通る撮影投影面３０３上の深度画像の画素の深度情報が示す被写体１１０の深度とはおおよそ一致する。そのため、深度差が最小となり、所定の誤差範囲（例えば、５ｍｍ以下）内に小さくなる投射線３０８を特定することで、制御部２０１は、視線３１３が通る視点投影面３１１上の画素と同じ被写体１１０を写す撮影投影面３０３上の画素を特定することができる。

【0027】

なお、深度差は、一例では、撮影投影面３０３と並行な３次元平面３０５からの視線３１３と投射線３０８との交差位置までの深度と、３次元平面３０５からの被写体１１０までの深度との差分から求めることができる。３次元平面３０５からの被写体１１０までの深度は、例えば、３次元平面３０５を撮影投影面３０３上に配置した場合、撮影投影面３０３上の深度画像の画素の深度情報が示す深度から焦点距離を差し引くことで求めることができる。

【0028】

そして、制御部２０１は、例えば、図５に示すように、特定した投射線３０８が通る撮影投影面３０３上の画素４１３の画素値を、視線３１３が通る視点投影面３１１上の画素３１２の画素値として用いることができる。

【0029】

更に、制御部２０１は、視点投影面３１１上の視点画像の全ての画素について、同様に撮影投影面３０３上の撮影画像に対応する画素があれば、その画素から画素値を取得することができる。それによって、制御部２０１は、視点３１０の位置から見た視点画像を生成することができる。

【0030】

また、以上で述べた撮影画像からの視点画像の生成処理では、例えば、被写体１１０の３次元形状モデルを生成しなくても、視点画像を生成することが可能である。そのため、処理負荷を抑えて視点画像を生成することができ、高速な処理が求められる状況、および大量の画像を処理する状況で、視点画像を得ることが可能になる。

【0031】

続いて、実施形態に係る視点画像における死角領域の識別について説明する。

【0032】

（死角領域の識別）
例えば、撮影画像において、手前にある別の被写体１１０により隠されて見えなかった領域が、視点を動かした結果、見えるようになることがある。この場合に、撮影画像において見えていない視点画像上の領域を、例えば、死角領域と呼ぶ。死角領域は、撮影画像においてその領域が死角となっており、画像情報が撮れていないため、描画できない視点画像の領域を表わしている。

【0033】

図６は、実施形態に係る死角領域の特定について例示する図である。例えば、図６（ａ）に示すように、投射線３０８が通る撮影投影面３０３上の画素の深度情報が示す深度よりも深い位置で、投射線３０８と視線３１３とが交差することがある。この場合、視線３１３が通る画素に写るはずの被写体１１０の領域が、撮影画像においては死角となっており、その部分の画像情報が取得できていないことを表している。

【0034】

例えば、図６（ａ）の例では、視線３１３ａは被写体１１０の点６０３の位置を指しており、視点３１０から撮影を行った場合に得られる視点画像には、点６０３の位置の被写体１１０が写る。しかしながら、この点６０３の部分は光学中心３０１から撮影した撮影画像では被写体１１０の裏に隠れて死角となっている。そのため、撮影画像には点６０３の位置の画像情報が含まれていない。この場合、視点画像においては点６０３の位置などの死角領域の画像は生成されなくてよい。また、この場合に、制御部２０１は、視点画像において死角領域に所定の無効を表す色を設定するなど、死角領域が識別可能に表示されるようにしてよい。それにより、視点画像を見たユーザは、死角領域には撮影画像には写っていない何かが写っていることを知ることができる。

【0035】

なお、死角領域の識別では、制御部２０１は、まず、視線３１３と投射線３０８との交差位置の深度と、投射線３０８が通る撮影投影面３０３上の画素の深度情報が示す被写体１１０の深度との深度差が最小になる投射線３０８を特定する。図６の例では、点６０１を指す投射線３０８が特定されたとする。この場合、制御部２０１は、視線３１３と投射線３０８との交差位置（例えば、点６０２）と、投射線３０８が撮影投影面３０３上で通る画素の深度情報が示す被写体１１０の位置（例えば、点６０１）とが所定の条件を満たして離れているか否かを判定する。そして、交差位置（例えば、点６０２）と、深度情報が示す被写体１１０の位置（例えば、点６０１）とが所定の条件を満たして離れている場合に、視線３１３が視点投影面３１１上で通る視点画像の画素を死角領域と判定してよい。

【0036】

所定の条件は、例えば、視線３１３と投射線３０８との交差位置（例えば、点６０２）と、投射線３０８が撮影投影面３０３上で通る画素の深度情報が示す被写体１１０の位置（例えば、点６０１）との距離が所定の距離以上であることである。別な例では、所定の条件は、視線３１３と投射線３０８との交差位置（例えば、点６０２）の深度と、投射線３０８が撮影投影面３０３上で通る画素の深度情報が示す深度（例えば、点６０１の深度）との差が所定の長さ以上であることであってよい。なお、図６（ｂ）は、図６（ａ）の一部を拡大した図である。図６（ｂ）に示すように、深度差は、距離差の深度方向の成分を表している。投射線３０８が、撮影投影面３０３と平行な面となす角度θが鋭角に近づくと、深度差は小さくなってしまう。そのため、より高精度に死角領域を判定する場合、距離差を用いることが好ましい。

【0037】

続いて、実施形態に係る視点画像における遮蔽領域の識別について説明する。

【0038】

（遮蔽領域の識別）
例えば、撮影画像において見えている領域が、視点を動かした結果、手前に別の被写体１１０が被り見えなくなることがある。このように、撮影画像において見えているのに視点画像において見えなくなる視点画像の領域を、例えば、遮蔽領域と呼ぶ。

【0039】

図７は、実施形態に係る遮蔽領域について例示する図である。例えば、図７に示すように、１つの視線３１３が、複数の投射線３０８と被写体１１０上で交差することがある。図７では、視線３１３は、投射線３０８ａと被写体１１０上の点７０１の位置で交差しており、投射線３０８ｂと被写体１１０上の点７０２の位置で交差している。

【0040】

しかしながら、点７０１の位置は、視点３１０からは被写体１１０の裏に隠れて見えない。そのため、視線３１３が通る視点投影面３１１上の視点画像の画素の値には、投射線３０８ｂが通る撮影投影面３０３上の撮影画像の画素の画素値を用いることが正しい。このように視線３１３が、複数の投射線３０８と被写体１１０上で交差することがある。この場合に、制御部２０１は、例えば、より視点３１０に近い側で交差する投射線３０８が選択されるように、視線３１３と対応する投射線３０８を特定してよい。それにより、視点３１０の位置から見た視点画像を正しく生成することができる。

【0041】

例えば、以上で述べたように、撮影画像から視点画像を生成することができる。以下、実施形態に係る視点画像の生成処理の動作フローを説明する。

【0042】

図８は、実施形態に係る視点画像の生成処理の動作フローを例示する図である。例えば、制御部２０１は、深度情報を有する撮影画像に対する視点変換の実行指示が入力されると、図８の動作フローを開始してよい。深度情報を有する撮影画像は、例えば、ＲＧＢ－Ｄカメラで撮影された一組の撮影画像と深度画像であってよい。別の例では、深度情報を有する撮影画像は、ステレオカメラで撮影された画像であってもよい。以下、深度情報を有する撮影画像が、一組の撮影画像と深度画像である場合を例に説明を行う。

【0043】

ステップ８０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ８０１と表記する）において制御部２０１は、仮想空間上に撮影装置１０２の透視投影モデルを配置する。例えば、制御部２０１は、図３で述べたように、深度情報を有する撮影画像の撮影に用いられた撮影装置１０２のカメラパラメータを取得し、仮想空間上に光学中心３０１、光軸３０２、撮影投影面３０３などの透視投影モデルを配置してよい。カメラパラメータは、例えば、予め記憶部２０２に記憶されていてよい。

【0044】

Ｓ８０２において制御部２０１は、例えば、撮影投影面３０３上に撮影画像および深度画像を配置する。

【0045】

Ｓ８０３において制御部２０１は、例えば、仮想空間上に視点３１０と視点画像を投影する視点投影面３１１を配置し、また、撮影投影面３０３に平行に３次元平面３０５を配置する。３次元平面３０５は、一例では、撮影投影面３０３と重なるように配置されてよい。

【0046】

Ｓ８０４において制御部２０１は、視点投影面３１１上に生成する視点画像の画素のうちから１つの画素を処理対象画素として選択する。

【0047】

Ｓ８０５において制御部２０１は、視点３１０から視点画像の選択した処理対象画素を通る視線３１３と対応する投射線３０８を特定する。制御部２０１は、例えば、図４および図５を参照して述べたように、投射線３０８が通る画素の深度情報が示す被写体１１０の深度と、投射線３０８と視線３１３との交差位置の深度との深度差が最小となる投射線３０８を特定してよい。なお、例示的な投射線３０８の特定処理の動作フローを、図９を参照して後述する。

【0048】

Ｓ８０６において制御部２０１は、図６を参照して述べたように、視点画像の処理対象画素が死角領域であるか否かを判定する。例えば、制御部２０１は、深度差が最小となる投射線３０８と対応する撮影画像の画素の深度が示す位置と、深度差が最小となる投射線３０８と視線３１３との交差位置とが所定の条件を満たして離れている場合に、処理対象画素が死角領域であると判定してよい。

【0049】

Ｓ８０６において処理対象画素が死角領域である場合（Ｓ８０６がＹＥＳ）、フローはＳ８０９に進む。Ｓ８０９において制御部２０１は、視点画像において処理対象画素を死角領域に設定し、フローはＳ８１０に進む。

【0050】

一方、Ｓ８０６において処理対象画素が死角領域でない場合（Ｓ８０６がＮＯ）、フローはＳ８０７に進む。Ｓ８０７において制御部２０１は、特定した深度差が最小となる投射線３０８が通る撮影投影面３０３上の撮影画像の画素から画素値を取得する。

【0051】

Ｓ８０８において制御部２０１は、取得した画素値を、視点画像の処理対象画素に設定し、フローはＳ８１０に進む。

【0052】

Ｓ８１０において制御部２０１は、視点画像の全ての画素を処理したか否かを判定する。未処理の画素が視点画像にまだ含まれている場合、フローはＳ８０４に戻り、未処理の画素を処理対象画素として選択して処理を繰り返す。一方、Ｓ８１０において視点画像の全ての画素の処理が完了している場合、フローはＳ８１１に進む。

【0053】

Ｓ８１１において制御部２０１は、視点画像の画素に対して設定した画素値および死角領域の情報に基づいて、視点画像を生成する。

【0054】

Ｓ８１２において制御部２０１は、視点画像を出力し、本動作フローは終了する。制御部２０１は、例えば、視点画像の画像データを記憶部２０２に保存してもよいし、別な例では、ディスプレイなどの表示装置２０４に視点画像を表示させてもよい。

【0055】

また、例えば、表示装置２０４に視点画像を表示させる場合に、制御部２０１は、視点画像のうちの死角領域を所定の表示形式で表示させることで、識別可能に表示させてよい。それにより、視点画像を見たユーザは、死角領域には視点の位置から見た場合に見えるようになった、撮影画像には写っていない何かが写っていることを知ることができる。

【0056】

以上で述べたように、図８の動作フローによれば、深度情報を有する撮影画像に写る被写体１１０を任意の視点から見た視点画像を生成することができる。

【0057】

また、図８の動作フローで述べたように、実施形態では、撮影画像と視点画像の透視投影モデルを仮想空間上に配置し、光線追跡により視点画像の画素と対応する撮影画像の画素を特定している。そのため、例えば、被写体の３次元形状モデルを生成しなくても、視点画像を生成することができる。

【0058】

例えば、イメージベーストレンダリングの技術としてテクスチャマッピングおよび投影テクスチャマッピングなどの技術が知られている。これらのテクスチャマッピングおよび投影テクスチャマッピングでは、被写体の３次元形状モデルを生成するため、メモリの使用量が多く、また、計算量も多くなる。上述の実施形態では、３次元形状モデルを生成しなくても視点画像を生成できるため、視点画像の生成にかかるメモリ使用量を低減することができる。また、視点画像を高速に生成することが可能である。

【0059】

また、上述の実施形態では、仮想空間上で撮影時の実際の空間と同じスケールで演算を行っており、例えば、投影座標系での計算や正規化を行わなくてもよいため、実空間の長さの単位で厳密に視点を変換した視点画像を生成することができる。

【0060】

また、例えば、画像変換の技術としてホモグラフィ変換が知られている。ホモグラフィ変換では、変換後に別の被写体１１０で遮蔽されて見えなくなるはずの領域が、変換後の画像に表示されてしまうことがある。上述の実施形態によれば、例えば図７を参照して例示したように、視点の変換後に別の被写体で遮蔽されて見えなくなる遮蔽領域を指す投射線３０８は選択されないため、遮蔽領域の遮蔽を視点画像で正しく表現することができる。

【0061】

なお、上述の実施形態では、光学中心３０１、光軸３０２、撮影投影面３０３、視点３１０、視点投影面３１１などの立体配置を規定し、これらが規定した立体配置に配置されているものとして演算を行っている。換言すると、これらの光学中心３０１、光軸３０２、撮影投影面３０３、視点３１０、視点投影面３１１は、実際にポリゴンなどとして仮想空間上に配置しなくても演算を行うことができる。また、上述の実施形態では、３次元平面３０５をポリゴンとして仮想空間上に配置している。３次元平面３０５をポリゴンとして仮想空間に配置することで、ＧＰＵ（Graphics Processing Unit）のピクセルシェーダに透視投影結果のピクセルを渡して高速に処理することが可能になる。しかしながら、３次元平面３０５のポリゴンは、一例では、仮想空間上に配置されなくてもよい。

【0062】

従って、実施形態によれば被写体が写る撮影画像から、その被写体が別の向きで写る視点画像を生成する処理の負荷を低減することができる。

【0063】

続いて、実施形態に係る視線３１３と対応する投射線３０８の特定処理を例示する。図９は、実施形態に係る視線３１３と対応する投射線３０８の特定処理の動作フローを例示する図である。また、図１０は、実施形態に係る視線３１３と対応する投射線３０８の特定処理の流れを例示する図である。例えば、制御部２０１は、図８のＳ８０５に進むと、図９の動作フローを開始してよい。

【0064】

Ｓ９０１において制御部２０１は、例えば、視点投影面３１１上に配置した視点画像から選択した処理対象画素３１２を通る視点３１０からの３次元平面３０５へのベクトル１００１を求める（図１０（ａ）の（１））。なお、以下、このベクトルを視線ベクトル１００１と呼ぶことがある。

【0065】

Ｓ９０２において制御部２０１は、例えば、視線ベクトル１００１と３次元平面３０５との交点を求める。

【0066】

Ｓ９０３において制御部２０１は、例えば、３次元平面３０５と平行に所定の深度に層１００２を配置する（図１０（ａ）の（２））。なお、所定の深度は、例えば、撮影画像に写る最前面の被写体１１０よりも浅い深度に層１００２が配置されるように設定されてよい。

【0067】

Ｓ９０４において制御部２０１は、例えば、視線３１３と層１００２との交点１００３を求める（図１０（ａ）の（３））。

【0068】

Ｓ９０５において制御部２０１は、例えば、交点１００３へと向かう光学中心３０１からの投射線ベクトル１００４を求める（図１０（ａ）の（４））。

【0069】

Ｓ９０６において制御部２０１は、例えば、投射線ベクトル１００４と撮影投影面３０３との交点を求め、交点の位置にある深度画像の画素３０７を特定する（図１０（ａ）の（５））。例えば、制御部２０１は、光学中心３０１、焦点距離、および投射線ベクトル１００４に基づいて撮影投影面３０３との交点を求め、交点の位置にある深度画像の画素３０７を特定してよい。

【0070】

Ｓ９０７において制御部２０１は、例えば、深度画像から特定した画素３０７の深度情報から被写体１１０の深度を特定する（図１０（ａ）の（６））。なお、図１０（ａ）の（６）の例では、画素３０７の深度情報から特定した被写体１１０の深度として、３次元平面３０５からの被写体１１０の深度が示されている。３次元平面３０５からの被写体１１０の深度は、例えば、画素３０７の深度情報が示す深度から焦点距離を引くことで求めることができる。

【0071】

Ｓ９０８において制御部２０１は、例えば、画素３０７の深度情報から特定した被写体１１０の深度と、視線ベクトル１００１と投射線ベクトル１００４との交差位置となる層１００２の深度との深度方向の配置が反転したか否かを判定する。

【0072】

例えば、図１０（ａ）では、層１００２の初期の配置において、画素３０７の深度情報から特定した被写体１１０の深度よりも、視線ベクトル１００１と投射線ベクトル１００４との交差位置となる層１００２の深度の方が浅くなっている。この場合、Ｓ９０８の処理では、画素３０７の深度情報から特定した被写体１１０の深度よりも、層１００２の深度の方が深くなった場合に、被写体１１０の深度と、層１００２の深度方向の配置が反転したと判定してよい。被写体１１０の深度と、層１００２の深度方向の配置が反転していない場合、制御部２０１は、Ｓ９０８においてＮＯと判定し、フローはＳ９０９に進む。

【0073】

Ｓ９０９において制御部２０１は、画素３０７の深度情報が示す被写体１１０の深度のある方向に、層１００２を所定の移動量で移動させてフローはＳ９０４に戻り、処理を繰り返す。例えば、制御部２０１は、図１０（ｂ）の（７）に示すように、層１００２の位置を移動させて、画素３０７が示す被写体１１０の深度の或る方向に層１００２を近づけてよい。これにより、制御部２０１は、層１００２の位置を徐々に変更して、画素３０７の深度情報が示す被写体１１０の深度と近い深度で、視線ベクトル１００１と投射線ベクトル１００４とが交差する層１００２を探索することができる。

【0074】

また、Ｓ９０８において、例えば、被写体１１０の深度と、層１００２の深度方向の配置が反転した場合、制御部２０１は、ＹＥＳと判定し、フローはＳ９１０に進む。Ｓ９１０において制御部２０１は、層１００２の移動量と移動方向を所定回数変更済みであるか否かを判定する。

【0075】

Ｓ９１０において層１００２の移動量と移動方向を所定回数変更済みでない場合（Ｓ９１０がＮＯ）、フローはＳ９１１に進む。Ｓ９１１において制御部２０１は、層１００２の移動方向を逆方向に反転させて、かつ、移動量を１／２～１／１０など所定の割合で小さく変更し、フローはＳ９０９に戻る。例えば、制御部２０１は、図１０（ｃ）の（８）に示すように、層１００２の移動方向を逆方向に反転させて、移動量を小さくし、探索を継続してよい。それにより、画素３０７の深度情報が示す被写体１１０の深度と近い深度で、視線ベクトル１００１と投射線ベクトル１００４とが交差する層１００２を更に細かく探索することができる。

【0076】

また、Ｓ９１０において層１００２の移動量と移動方向を所定回数変更済みである場合（Ｓ９１０がＹＥＳ）、フローはＳ９１２に進む。Ｓ９１２において制御部２０１は、最終的な層１００２と視線ベクトル１００１との交点に向けて延ばした投射線ベクトル１００４を視線３１３と対応する投射線３０８として特定し、本動作フローは終了し、フローはＳ８０６に進む。

【0077】

以上で述べたように、図９の動作フローによれば、投射線３０８が通る深度画像の画素が示す被写体１１０の深度と、投射線３０８と視線３１３との交差位置の深度との深度差が最小となる投射線３０８を特定することができる。なお、深度差が最小となる投射線３０８とは、一例では、光学中心３０１から撮影画像の画素に下した投射線のうちで深度差が最小となる投射線３０８であってよい。別の例では、深度差が最小となる投射線３０８とは、探索された投射線３０８の中で深度差が最小となる投射線３０８であってもよい。

【0078】

なお、Ｓ９１０における所定回数は、回数が多ければ、画素３０７の深度情報が示す被写体１１０の深度と近い深度で、視線ベクトル１００１と投射線ベクトル１００４とが交差する層１００２の探索精度が向上する。一方で、回数が多くなると、計算量が多くなり、処理速度の低下を招く。そのため、所定回数は、実施形態を適用する状況に応じて好ましい値に設定されてよい。例えば、所定回数は、２回～５回に設定されていてよく、一例では、３回に設定されていてよい。

【0079】

また、図９の動作フローでは、３次元平面３０５との平行に配置される層１００２の初期の深度は、被写体１１０よりも浅い深度となるように設定されていてよい。それにより、例えば、図７を参照して述べたように、視線３１３と被写体１１０上で交差する複数の投射線３０８が存在する場合にも、より浅い深度で視線３１３と交差する投射線３０８を特定することができる。それにより、撮影画像において見えていた領域が視点を移動した視点画像において、手前に別の被写体１１０が被さり見えなくなる場合にも、その遮蔽を視点画像において正しく表現することができる。

【0080】

また、図９の処理に示すように、視点３１０から光学中心３０１に向けて光輸送経路を逆追跡することで、最小限の光線のみを対象に計算を行うことができる。例えば、視点画像において用いられていない撮影画像上の画素については処理対象から省くことができる。また、視線３１３と交差する投射線３０８のみを対象として探索を行うことができる。そのため、計算量を削減することができる。

【0081】

図１１は、実施形態に係る撮影画像と視点画像とを例示する図である。図１１では、中央に撮影画像１１０１が示されている。また、撮影画像１１０１の上下左右には、それぞれ光軸上に注視点を固定した上で光学中心を原点とするカメラ座標系のｘ軸またはｙ軸の方向に視点を移動させた場合の視点画像１１０２が示されている。視点画像１１０２には、死角領域１１０５が含まれており、撮影画像１１０１には写っていない被写体１１０の領域が死角領域１１０５として表示されている。

【0082】

また、実施形態によれば、図１１に示すように、様々な視点３１０から見た視点画像１１０２を生成することができる。そして、様々な視点３１０から見た視点画像１１０２を、被写体１１０として写る部品、製品、製造物、および成形物などの形状並びに色味の検査、判定、および識別に利用することができる。

【0083】

また、例えば、障害物などの存在により、撮影装置１０２の設置位置に制約があり、被写体１１０の位置認識および形状認識などの処理に入力するのに適した角度から被写体１１０を撮影できないことがある。実施形態によれば、撮影画像を様々な視点３１０から見た視点画像に変換できるため、撮影装置１０２の設置位置に制約がある場合にも、例えば、位置認識および形状認識などの処理に入力するのに適した視点画像を生成することができる。

【0084】

なお、図１１に示すように、１か所から撮影された深度情報を有する撮影画像１１０１を用いて視点の移動を行い視点画像１１０２の生成を行うと、被写体１１０の凹凸などに起因して視点画像１１０２に死角領域が含まれてしまうことがある。この様な死角領域は、別の方向から撮影された死角領域が写る撮影画像を用いて被写体１１０を写した画素に置き換えることができる。以下、複数の位置から撮影された撮影画像を用いた視点画像の生成について説明する。

【0085】

図１２は、実施形態に係る複数の位置から撮影された撮影画像を用いた視点画像の生成について例示する図である。図１２において、第１の光学中心３０１ａから撮影投影面３０３ａの像を撮影した画像を第１の撮影画像とする。また、第２の光学中心３０１ｂから撮影投影面３０３ｂ上の像を撮影した画像を第２の撮影画像とする。なお、第１の撮影画像および第２の撮影画像は、いずれも画素が深度情報と対応づけられている。そして、第１の撮影画像と第２の撮影画像とを用いて視点３１０から被写体１１０を見た場合の視点画像を生成する例を以下に述べる。

【0086】

図１２において、例えば、点１２１１は、第１の光学中心３０１ａからは手前にある被写体１１０で隠されて死角となっており、見ることができない。そのため、第１の光学中心３０１ａから撮影した第１の撮影画像には、点１２１１における被写体１１０の画素値を表す情報は含まれていない。一方、第２の光学中心３０１ｂからは点１２１１は見えており、第２の光学中心３０１ｂから撮影した第２の撮影画像には、点１２１１における被写体１１０の画素値を表す情報が含まれている。そのため、視点３１０から見た視点画像を生成する際に、第１の撮影画像だけを用いた場合には死角領域となってしまう画素の画素値を、第２の撮影画像から補うことが可能である。

【0087】

例えば、制御部２０１は、異なる２つの位置から撮影された２つの撮影画像のそれぞれから視点画像を得る。そして、得られた２つの視点画像のうちの一方で死角領域となっている画素が、他方の視点画像で画素値を有するとする。この場合、制御部２０１は、その画素の画素値として他方の視点画像から得た画素値を用いるように２つの視点画像を合成して視点画像を生成してよい。それにより、死角領域を減らした視点画像を生成することができる。なお、このように複数の視点画像を合成して得られる視点画像を、以下では、合成視点画像と呼ぶことがある。

【0088】

また、例えば、異なる２つの位置から撮影された２つの撮影画像のそれぞれから得た視点画像の両方が、或る画素に対して画素値を有することもある。図１３は、この場合を例示しており、被写体１１０の点１３１１の位置は、第１の光学中心３０１ａと第２の光学中心３０１ｂの双方から見えている。この場合、制御部２０１は、投射線３０８と、視線３１３との成す角がより小さい角度で撮影された撮影画像から画素値を取得してよい。例えば、図１３の例では、投射線３０８ａと、視線３１３との成す角度θ１よりも、投射線３０８ｂと、視線３１３との成す角度θ２の方が小さい。そのため、制御部２０１は、投射線３０８ｂが通る第２の撮影画像上の画素１３０１から、視線が通る視点画像上の画素１３０３の画素値を取得して、合成視点画像において用いてよい。それにより、視線３１３と近しい方向から視点画像を撮影している撮影画像から画素値を取得することができる。そのため、生成される合成視点画像の色味などの精度の向上を図ることができる。

【0089】

また、制御部２０１は、例えば、異なる２つの位置から撮影された２つの撮影画像のそれぞれから得たいずれの視点画像においても死角領域に設定されている画素については、合成視点画像においてその画素を死角領域に設定してよい。

【0090】

以上で述べたように、異なる位置から撮影された複数の撮影画像を用いることで、死角領域の画素値を補って合成視点画像を生成することができる。なお、図１３の例では、２つの撮影位置から撮影した撮影画像を用いる例が示されているが、実施形態はこれに限定されるものではなく、３以上の撮影位置から撮影された撮影画像を用いて１つの視点画像が生成されてもよい。

【0091】

また、或る撮影位置から撮影した際に死角となってしまう領域が写るように別の撮影位置から撮影することで、死角領域の画素の画素値を効率的に補うことのできる撮影画像を得ることができる。

【0092】

図１４は、実施形態に係る異なる２つの位置から撮影された撮影画像に基づく視点画像の生成処理の動作フローを例示する図である。例えば、制御部２０１は、視点画像の生成指示が入力されると、図１４の動作フローを開始してよい。

【0093】

Ｓ１４０１において制御部２０１は、例えば、複数の撮影位置から撮影された深度情報を有する撮影画像のそれぞれから視点画像を生成する。なお、制御部２０１は、例えば、図８および図９の動作フローで例示した処理により、深度情報を有する撮影画像から視点画像を生成してよい。

【0094】

Ｓ１４０２において制御部２０１は、撮影位置ごとに生成された複数の視点画像を重ね合わせる。

【0095】

Ｓ１４０３において制御部２０１は、重ね合わせた視点画像内の各画素について、画素値が１つの視点画像のみで得られている画素については、得られている画素値を設定してよい。例えば、２つの撮影位置で撮影した２つの撮影画像のそれぞれから生成された視点画像において、一方の視点画像においては死角領域と設定されている画素が、他方の視点画像において画素値を有するとする。この場合、制御部２０１は、その画素の画素値として、他方の視点画像における画素値を用いるように合成視点画像を生成してよい。

【0096】

Ｓ１４０４において制御部２０１は、重ね合わせた視点画像内の各画素について、画素値が複数の視点画像で得られている画素については、視線３１３との成す角が最小の投射線３０８と対応する画素から得られた画素値を、合成視点画像の画素に設定する。それにより、視線３１３と近しい方向から撮影された撮影画像から画素値を取得することができる。

【0097】

Ｓ１４０５において制御部２０１は、死角領域を設定する。例えば、制御部２０１は、重ね合わせた複数の視点画像の全てにおいて死角領域と設定されている画素については、合成視点画像においても死角領域に設定してよい。

【0098】

Ｓ１４０６において制御部２０１は、Ｓ１４０３からＳ１４０５の処理で設定した画素の値に基づいて、複数の視点画像を合成し、複数の撮影画像に基づく合成視点画像を生成する。

【0099】

Ｓ１４０７において制御部２０１は、複数の撮影画像に基づく視点画像を出力し、本動作フローは終了する。制御部２０１は、例えば、視点画像の画像データを記憶部２０２に保存してもよいし、別な例では、ディスプレイなどの表示装置２０４に視点画像を表示させてもよい。

【0100】

以上で述べたように、図１４の動作フローによれば、複数の撮影画像に基づいて視点画像を生成することで、死角領域を補って視点画像を生成することができる。

【0101】

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。

【0102】

また、上述の実施形態では、視線３１３と対応する投射線３０８を、深度画像の画素が示す被写体１１０の深度と、投射線３０８と視線３１３との交差位置の深度との深度差に基づいて特定する例を述べている。しかしながら、実施形態はこれに限定されるものではない。別の実施形態では、制御部２０１は、深度画像の画素が示す被写体１１０の深度に基づく位置と、投射線３０８と視線３１３との交差位置との距離が最小になるように投射線３０８を特定してもよい。

【0103】

また、上述の実施形態では、情報処理装置１０１が、視点画像の生成を行う例を述べているが実施形態はこれに限定されるものではない。例えば、別の実施形態では、クライアント‐サーバシステムなどを用いて、上述の処理を複数の装置で分担して実行してもよい。

【0104】

なお、上述の実施形態において制御部２０１は、例えば、Ｓ８０１～Ｓ８０３の処理では配置部２１１として動作する。また、制御部２０１は、例えば、Ｓ８０７の処理では取得部２１２として動作する。制御部２０１は、例えば、Ｓ８１１の処理では生成部２１３として動作する。

【0105】

図１５は、実施形態に係る情報処理装置１０１を実現するためのコンピュータ１５００のハードウェア構成を例示する図である。図１５の情報処理装置１０１を実現するためのハードウェア構成は、例えば、プロセッサ１５０１、メモリ１５０２、記憶装置１５０３、読取装置１５０４、通信インタフェース１５０６、および入出力インタフェース１５０７を備える。なお、プロセッサ１５０１、メモリ１５０２、記憶装置１５０３、読取装置１５０４、通信インタフェース１５０６、入出力インタフェース１５０７は、例えば、バス１５０８を介して互いに接続されている。

【0106】

プロセッサ１５０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１５０１は、メモリ１５０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部２０１の一部または全部の機能を提供する。例えば、情報処理装置１０１のプロセッサ１５０１は、記憶装置１５０３に格納されているプログラムを読み出して実行することで、配置部２１１、取得部２１２、および生成部２１３として動作する。

【0107】

メモリ１５０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１５０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

【0108】

読取装置１５０４は、プロセッサ１５０１の指示に従って着脱可能記憶媒体１５０５にアクセスする。着脱可能記憶媒体１５０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

【0109】

記憶部２０２は、例えばメモリ１５０２、記憶装置１５０３、および着脱可能記憶媒体１５０５を含んでいる。例えば、情報処理装置１０１の記憶装置１５０３には、例えば、上述の動作フローの処理を記述したプログラムおよび処理の実行で参照する情報が格納されていてよい。

【0110】

通信インタフェース１５０６は、プロセッサ１５０１の指示に従って、他の装置と通信する。例えば、通信インタフェース１５０６は、有線または無線通信で撮影装置１０２から撮影画像および深度画像などの撮影データを受信してよい。通信インタフェース１５０６は、例えば、上述の通信部２０３の一例である。

【0111】

入出力インタフェース１５０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばスピーカなどの音声装置である。また、入出力インタフェース１５０７は、例えば、上述の表示装置２０４と接続されていてよい。

【0112】

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置１０１に提供される。
（１）記憶装置１５０３に予めインストールされている。
（２）着脱可能記憶媒体１５０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

【0113】

なお、図１５を参照して述べた情報処理装置１０１を実現するためのコンピュータ１５００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の情報処理装置１０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。例えば、上述の視点画像の生成処理が、ハードウェアとして実装されてもよい。また、この視点画像の生成処理を実行するハードウェアは、例えば、撮影装置１０２に搭載されるなど、撮影装置１０２と統合されていてもよい。

【0114】

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

【符号の説明】

【0115】

１００ 撮影システム
１０１ 情報処理装置
１０２ 撮影装置
１０５ 設置台
１０６ 撮影対象物
１１０ 被写体
２０１ 制御部
２０２ 記憶部
２０３ 通信部
２０４ 表示装置
２１１ 配置部
２１２ 取得部
２１３ 生成部
３０１ 光学中心
３０２ 光軸
３０３ 撮影投影面
３０５ ３次元平面
３０８ 投射線
３１０ 視点
３１１ 視点投影面
３１３ 視線
１５００ コンピュータ
１５０１ プロセッサ
１５０２ メモリ
１５０３ 記憶装置
１５０４ 読取装置
１５０５ 着脱可能記憶媒体
１５０６ 通信インタフェース
１５０７ 入出力インタフェース
１５０８ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】