特許 7285834 三次元再構成方法および三次元再構成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-25

(45)【発行日】2023-06-02

(54)【発明の名称】三次元再構成方法および三次元再構成装置

(51)【国際特許分類】

   G06T 7/55 20170101AFI20230526BHJP

   G06T 1/00 20060101ALI20230526BHJP

   G06T 19/00 20110101ALI20230526BHJP

【ＦＩ】

G06T7/55

G06T1/00 315

G06T19/00 A

【請求項の数】 9

(21)【出願番号】P 2020525776

(86)(22)【出願日】2019-06-19

(86)【国際出願番号】 JP2019024341

(87)【国際公開番号】W WO2019244944

(87)【国際公開日】2019-12-26

【審査請求日】2022-02-18

(31)【優先権主張番号】62/686,867

(32)【優先日】2018-06-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】吉川 哲史

(72)【発明者】

【氏名】杉尾 敏康

(72)【発明者】

【氏名】松延 徹

(72)【発明者】

【氏名】小山 達也

(72)【発明者】

【氏名】福田 将貴

(72)【発明者】

【氏名】安木 俊介

【審査官】岡本 俊威

(56)【参考文献】

【文献】柚木玲士 他，手持ち撮影したＲＧＢ－Ｄ映像中の動的領域の切り出し，ＦＩＴ２０１４ 第１３回情報科学技術フォーラム 講演論文集 第３分冊 査読付き論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション＆インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2014，日本，社団法人電子情報通信学会 一般社団法人情報処理学会，2014年08月19日，p67～68

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５０－ ７／５９３

Ｇ０６Ｔ １７／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、
前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、
前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、
前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、
前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、
前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する
三次元再構成方法。

【請求項2】

前記前景画像の生成では、予め撮影されたオブジェクトが映っていない背景画像を、前記一のカメラ画像から減算することで前記前景画像を生成する
請求項１に記載の三次元再構成方法。

【請求項3】

前記前景画像の生成では、画素単位での意味づけを行う手法であるＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎを用いて、前記一のカメラ画像からオブジェクトを抽出することで前記前景画像を生成する
請求項１に記載の三次元再構成方法。

【請求項4】

前記判定では、前記デプス画像および前記前景画像を二値化し、二値化された前記デプス画像と、二値化された前記前景画像とを比較することにより、前記三次元モデルに三次元点の欠落があるか否かを判定する
請求項１から３のいずれか１項に記載の三次元再構成方法。

【請求項5】

前記出力では、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルの欠落部を、前記複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された前記三次元点を含む三次元モデルを出力する
請求項１から４のいずれか１項に記載の三次元再構成方法。

【請求項6】

前記出力では、補填された前記三次元点に、当該三次元点が補填された三次元点であることを示す属性情報を付与し、
前記欠落情報は、前記属性情報により示される情報である
請求項５に記載の三次元再構成方法。

【請求項7】

さらに、
出力された前記三次元モデルへの視点の位置および方向の少なくとも一方を示す視点情報を取得し、
前記三次元モデル、前記視点情報、前記カメラパラメータおよび前記複数のカメラ画像を用いて、前記視点情報で示される前記視点から前記三次元モデルを見たときの自由視点映像を生成し、
前記三次元モデルに対応する前記欠落情報を取得した場合、生成された前記自由視点映像と、前記欠落情報で示される欠落を有する三次元モデルを用いて前記自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する
請求項１から６のいずれか１項に記載の三次元再構成方法。

【請求項8】

前記識別情報は、前記合成映像の前記自由視点映像上において、前記三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される
請求項７に記載の三次元再構成方法。

【請求項9】

互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成装置であって、
プロセッサと、
メモリとを備え、
前記プロセッサは、前記メモリを用いて、
前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、
前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、
前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、
前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、
前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する
三次元再構成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、三次元再構成方法および三次元再構成装置に関する。

【背景技術】

【0002】

多視点映像の配信方法として、特許文献１には、複数の視点から撮影された映像を視点移動に連動して配信する技術が開示されている。

【0003】

また、特定シーンを複数の校正済みカメラにより撮影した映像群を用いてそのシーンの三次元モデルを生成し、当該三次元モデルを用いて、そのシーンを自由な視点から見た自由視点画像（自由視点映像）を生成する技術が知られている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１６５２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような、自由視点画像を配信するシステムにおいて、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することが望まれている。

【0006】

本開示は、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することができる三次元再構成方法または三次元再構成装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る三次元再構成方法は、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。

【0008】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本開示は、提供している情報が欠落した三次元モデルから生成されたことをユーザにすることができる三次元再構成方法または三次元再構成装置を提供できる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る自由視点画像生成システムの概要を示す図である。

【図2】図２は、実施の形態に係る自由視点画像生成システムの構成を示す図である。

【図3】図３は、実施の形態に係る自由視点画像生成装置のブロック図である。

【図4】図４は、実施の形態に係る表示装置のブロック図である。

【図5】図５は、実施の形態に係る自由視点画像生成システムの動作を示す図である。

【図6】図６は、実施の形態に係る三次元モデルの生成処理のフローチャートである。

【図7】図７は、実施の形態に係る欠落の判定処理のフローチャートである。

【図8】図８は、実施の形態に係る欠落の判定処理について説明するための模式図である。

【図9】図９は、実施の形態に係る欠落部の補填処理について説明するための模式図である。

【図10】図１０は、実施の形態に係る自由視点映像の生成処理のフローチャートである。

【図11】図１１は、実施の形態に係る自由視点映像の生成処理について説明するための模式図である。

【図12】図１２は、変形例に係る三次元モデルの生成処理のフローチャートである。

【図13】図１３は、変形例に係る自由視点映像の生成処理のフローチャートである。

【発明を実施するための形態】

【0011】

本開示の一態様に係る三次元再構成方法は、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。

【0012】

このため、提供している情報が、欠落した三次元モデルから生成されたことをユーザに通知することができる。

【0013】

また、前記判定では、前記デプス画像および前記前景画像を二値化し、二値化された前記デプス画像と、二値化された前記前景画像とを比較することにより、前記三次元モデルに三次元点の欠落があるか否かを判定してもよい。

【0014】

このため、三次元モデルの欠落の判定を容易に行うことができる。

【0015】

また、前記出力では、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルの欠落部を、前記複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された前記三次元点を含む三次元モデルを出力してもよい。

【0016】

このため、欠落が補填された三次元モデルから生成された情報をユーザに提供することができる。

【0017】

また、前記出力では、補填された前記三次元点に、当該三次元点が補填された三次元点であることを示す属性情報を付与し、前記欠落情報は、前記属性情報により示される情報であってもよい。

【0018】

このため、三次元モデルの欠落部に欠落情報を容易に付与することができる。

【0019】

また、さらに、出力された前記三次元モデルへの視点の位置および方向の少なくとも一方を示す視点情報を取得し、前記三次元モデル、前記視点情報、前記カメラパラメータおよび前記複数のカメラ画像を用いて、前記視点情報で示される前記視点から前記三次元モデルを見たときの自由視点映像を生成し、前記三次元モデルに対応する前記欠落情報を取得した場合、生成された前記自由視点映像と、前記欠落情報で示される欠落を有する三次元モデルを用いて前記自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力してもよい。

【0020】

これによれば、自由視点映像および識別情報を合成することで得られた合成映像を出力することで、ユーザに、自由視点映像が欠落した三次元モデルから生成されたことをユーザに通知することができる。

【0021】

また、前記識別情報は、前記合成映像の前記自由視点映像上において、前記三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示されてもよい。

【0022】

このため、自由視点映像のうちの欠落部をユーザに提示することができる。

【0023】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0024】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0025】

本実施の形態では、多視点カメラ及びその映像を利用しての自由視点画像の生成を容易に実現することを可能とする自由視点画像生成システムについて説明する。

【0026】

複数のカメラ映像及び自由視点画像を利用することで様々な方向からの映像を取得及び生成することが可能となり、多様な視聴者のニーズに応えた映像（例えば、選手Ａをアップにした映像、又は俯瞰映像等）を提供できる。

【0027】

図１は、自由視点画像生成システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ）を用いて同一空間を多視点から撮影することにより撮影する空間を三次元再構成できる（三次元空間再構成）。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た映像を生成できる。これにより、次世代広域監視システム、及び自由視点画像生成システムを実現できる。

【0028】

このような自由視点画像生成システムでは、少なくとも一つのカメラにおいて撮像された画像の一部の領域を用いることで、指定された任意の視点から見えるであろう被写体のテクスチャ等の見え方を精度よく再現することができる。しかし、多数の被写体が映り込んでいたり、被写体が密集していたりすることでオクルージョンが発生している場合では、どのカメラからも写っていない死角等が存在する可能性がある。どのカメラからの写っていない領域がある場合、三次元モデルに欠落が発生するため、ユーザに対して正確な情報を提供することが困難な場合がある。

【0029】

本開示の一形態に係る自由視点画像生成システムでは、三次元モデルを利用した自由視点映像生成において、三次元モデルのうち、死角になること、または、三次元モデルを精度よく生成できないことで発生した欠落した部分を判別し、判別した欠落した部分を自由視点映像上に明示する。これにより、三次元モデルのうちの欠落した部分を、ユーザに正確に伝えることができるシステムを実現できる。

【0030】

これにより、提供している情報が欠落した三次元モデルから生成されたことをユーザに通知することができる。よって、ユーザは、死角領域、または、三次元モデルが上手く作れずに不確かな領域があることを判断することが可能となり、自由視点映像などの提供された情報から誤った情報をユーザが取得することを低減することが可能となる。

【0031】

以下、本実施の形態に係る自由視点画像生成システム１００の構成を説明する。図２は、本実施の形態に係る自由視点画像生成システム１００の構成例を示す図である。この自由視点画像生成システム１００は、複数のカメラ１０１と、自由視点画像生成装置１０２と、複数の表示装置１０３とを含む。

【0032】

複数のカメラ１０１は、同一シーンを異なる視点から撮影することで複数のカメラ映像（カメラ画像）を生成する。つまり、複数のカメラ１０１は、互いに異なる位置に配置されており、共通する三次元空間を撮像する。例えば、複数のカメラ１０１は同期撮影を行ってもよい。または、複数のカメラ１０１は、映像に時刻情報を埋め込む、又は映像にフレーム順序を示すインデックス情報を付与してもよい。複数のカメラは、複数の撮像装置の一例である。

【0033】

自由視点画像生成装置１０２は、自由視点画像を生成するサーバであり、複数のカメラ１０１で撮影された複数のカメラ映像を取得し、当該複数のカメラ映像を用いて、三次元モデル及び自由視点画像を生成する。また、自由視点画像生成装置１０２は、ネットワーク１０４を介して複数の表示装置１０３に接続されている。自由視点画像生成装置１０２は、カメラ映像、三次元モデル及び自由視点画像を表示装置１０３に送信する。具体的には、自由視点画像生成装置１０２は、表示装置１０３から送信された時刻及び視点の情報に基づき、それぞれ三次元モデル及び自由視点画像を生成し、生成した三次元モデル及び自由視点画像を表示装置１０３へ送信する。この際、自由視点画像生成装置１０２は、三次元モデルを利用して自由視点画像を生成してもよいし、２枚以上の画像から映像を補間することで自由視点映像を生成してもよい。

【0034】

表示装置１０３は、自由視点画像生成装置１０２から送信されたカメラ映像、三次元モデル、及び自由視点画像を、表示することでユーザに提示する端末である。また、表示装置１０３は、カメラ映像から時刻を選択し、三次元モデルから視点を選択し、それぞれの情報を自由視点画像生成装置１０２に送信する。

【0035】

なお、自由視点画像生成装置１０２と表示装置１０３との間ではデータのやり取りができればよく、通信方式は特に限定されない。例えば、遠隔地間では、インターネットを介して通信が行われてもよいし、実験室などにおいてＬＡＮ内で通信が行われてもよい。

【0036】

自由視点画像生成装置１０２において自由視点映像を生成するための時刻および視点は、自由視点画像生成装置１０２上で決定されてもよいし、表示装置１０３により指定されることで決定されてもよい。

【0037】

図３は、本実施の形態に係る自由視点画像生成装置１０２のブロック図である。自由視点画像生成装置１０２は、カメラ映像受信部２０１と、三次元モデル生成部２０２と、自由視点映像生成部２０３と、自由視点映像配信部２０４と、カメラ映像保存部２０５と、カメラパラメータ保存部２０６と、三次元モデル保存部２０７と、自由視点画像保存部２０８とを備える。

【0038】

カメラ映像受信部２０１は、１以上のカメラ１０１からカメラ映像を取得し、取得したカメラ映像保存部２０５に保存する。

【0039】

三次元モデル生成部２０２は、表示装置１０３により指定された時刻に基づいて、カメラ映像保存部２０５の該当時刻のカメラ映像、および、カメラパラメータ保存部２０６のカメラパラメータを用いて、該当時刻の三次元モデルを生成する。三次元モデル生成部２０２は、生成した三次元モデルを三次元モデル保存部２０７０保存する。例えば、三次元モデル生成部２０２は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などの画像処理技術を用いて三次元再構成を行うことで三次元モデルを生成する。または、三次元モデル生成部２０２は、カメラ映像に深度情報が含まれる場合には、当該深度情報を用いて三次元モデルを生成する。

【0040】

自由視点映像生成部２０３は、表示装置１０３により指定された視点に基づいて、その視点から見た自由視点画像を生成する。自由視点映像生成部２０３は、生成した自由視点画像を自由視点画像保存部２０８に保存する。例えば、自由視点映像生成部２０３は、三次元モデル生成部２０２により生成された三次元モデルを用いて自由視点画像を生成する。自由視点画像の生成に用いられる三次元モデルは、三次元モデル保存部２０７に保存されている三次元モデルであってもよい。または、自由視点映像生成部２０３は、モーフィング処理のようにカメラ間の画像を二次元上で補間することで自由視点画像を生成する。なお、自由視点画像（自由視点映像）は、静止画像であってもよし、動画像であってもよい。また、動画像とは、ある視点から見た特定シーンの時系列変化を示す動画像であってもよいし、指定の時刻において、視点位置を連続的に変更した動画像であってもよいし、これらの組み合わせであってもよい。

【0041】

自由視点映像配信部２０４は、自由視点映像生成部２０３で生成された自由視点画像（自由視点映像）、または、自由視点画像保存部２０８に保存されている自由視点画像（自由視点映像を１以上の表示装置１０３に送信する。

【0042】

カメラ映像保存部２０５は、カメラ１０１で撮影されたカメラ映像を格納する。具体的には、カメラ１０１から直接取得したカメラ映像を保存する。または、カメラ映像保存部２０５は、他の装置を介して間接的に取得したカメラ映像を保存していてもよい。

【0043】

カメラパラメータ保存部２０６は、カメラ映像保存部２０５に格納されたカメラ映像を撮影したカメラ１０１の三次元位置及び姿勢情報（カメラポーズ）を含むカメラパラメータを格納する。この三次元位置及び姿勢情報は、例えば、カメラ１０１が備えるＧＰＳ又はジャイロセンサーなどで取得された情報である。または、自由視点画像生成装置１０２は、カメラ映像を元にＳｆＭなどの画像処理技術を用いてこの三次元位置及び姿勢情報を推定してもよく、カメラパラメータ保存部２０６は、推定された三次元位置及び姿勢情報を格納してもよい。

【0044】

三次元モデル保存部２０７は、三次元モデル生成部２０２で生成された三次元モデルを格納する。

【0045】

自由視点画像保存部２０８は、自由視点映像生成部２０３で生成された自由視点画像を格納する。

【0046】

なお、カメラ映像保存部２０５、カメラパラメータ保存部２０６、三次元モデル保存部２０７、及び自由視点画像保存部２０８は、一時的及び長期間各々のデータを保存できればよく、メモリのような短期的なストレージでもＨＤＤ（ハードディスクドライブ）のような長期間データを保持できるものでもよい。

【0047】

図４は、本実施の形態に係る表示装置１０３のブロック図である。表示装置１０３は、自由視点映像受信部３０１と、画面生成部３０２と、画面表示部３０３と、自由視点画像保存部３０４とを備える。

【0048】

自由視点映像受信部３０１は、自由視点画像生成装置１０２で生成された自由視点映像を受信し、受信した自由視点映像を自由視点画像保存部３０４に保存する。

【0049】

画面生成部３０２は、受信された自由視点画像を画面表示部３０３に表示するための表示画面を生成する。また、画面生成部３０２は、ユーザによる操作を受け付けた結果である操作情報を取得し、取得した操作情報に応じて、表示画面を生成するために用いる自由視点画像を変更してもよい。なお、ユーザによる操作は、例えば、キーボード、タッチパネルなどの入力デバイスへの入力により示される。

【0050】

画面表示部３０３は、画面生成部３０２で生成された表示画面を、表示することでユーザに提示する。

【0051】

自由視点画像保存部３０４は、自由視点画像生成装置１０２から送信された自由視点画像を保存しておくストレージである。

【0052】

なお、自由視点画像保存部３０４は、一時的及び長期間各々のデータを保存できればよく、メモリのような短期的なストレージでもＨＤＤ（ハードディスクドライブ）のような長期間データを保持できるものでもよい。

【0053】

次に、本実施の形態に係る自由視点画像生成システム１００の動作を説明する。図５は、本実施の形態に係る自由視点画像生成システム１００の動作を示すシーケンス図である。

【0054】

まず、１以上のカメラ１０１のそれぞれは、撮像されたカメラ映像を自由視点画像生成装置１０２に送信する（Ｓ１０１）。なお、図５では、１以上のカメラ１０１をカメラ群１０１と表記している。１以上のカメラ１０１は、自由視点画像生成装置１０２にカメラ映像を送信できればよく、１以上のカメラ１０１の録画開始などの映像の撮像に関する制御は、自由視点画像生成装置１０２により行われてもよいし、別の制御装置により行われてもよい。

【0055】

次に、自由視点画像生成装置１０２では、カメラ映像受信部２０１が１以上のカメラ１０１から取得されたカメラ映像を三次元モデル生成部２０２に出力する（Ｓ１０２）。

【0056】

次に、三次元モデル生成部２０２は、時刻情報を取得する（Ｓ１０３）。なお、時刻情報は、例えば、表示装置１０３または他の端末から指定された時刻を示す情報である。この場合、時刻情報は、表示装置１０３または他の端末から送信された情報である。また、時刻情報は、例えば、自由視点画像生成装置１０２の図示しない入力受付部によりユーザから受け付けられた情報であってもよい。

【0057】

次に、三次元モデル生成部２０２は、時刻情報により示される時刻に基づいて、該当時刻の三次元モデルを生成する（Ｓ１０４）。三次元モデル生成部２０２は、生成した三次元モデルを自由視点映像生成部２０３に出力する。三次元モデルの生成処理の詳細は、図６を用いて後述する。

【0058】

次に、自由視点映像生成部２０３は、カメラ映像受信部２０１からカメラ映像を取得し（Ｓ１０５）、視点情報を取得する（Ｓ１０６）。なお、自由視点映像生成部２０３は、カメラ映像を、カメラ映像保存部２０５から取得してもよい。また、視点情報は、例えば、表示装置１０３または他の端末から指定された視点を示す情報である。この場合、視点情報は、表示装置１０３または他の端末から送信された情報である。また、視点情報は、例えば、自由視点画像生成装置１０２の図示しない入力受付部によりユーザから受け付けられた情報であってもよい。

【0059】

次に、自由視点映像生成部２０３は、取得した視点情報により示される視点に基づいて、取得した三次元モデル及びカメラ映像を用いて、その視点から見た自由視点映像を生成する（Ｓ１０７）。自由視点映像生成部２０３は、生成した自由視点映像を表示装置１０３に送信する。自由視点映像の生成処理の詳細は、図１０を用いて後述する。

【0060】

次に、三次元モデルの生成処理（Ｓ１０４）について説明する。図６は、三次元モデルの生成処理（Ｓ１０４）のフローチャートである。

【0061】

まず、三次元モデル生成部２０２は、カメラ１０１の三次元位置や向きやレンズ情報などを含むカメラパラメータに関して、２以上のカメラ１０１のカメラパラメータを取得する（Ｓ１１１）。三次元モデル生成部２０２は、カメラパラメータ保存部２０６からカメラパラメータを取得する。

【0062】

次に、三次元モデル生成部２０２は、２以上のカメラ１０１のカメラ映像を取得する（Ｓ１１２）。この時に取得されるカメラ映像は、ステップＳ１１１で取得したカメラパラメータに対応する２以上のカメラ１０１のカメラ映像を含む。

【0063】

なお、ステップＳ１１１及びステップＳ１１２が実行される順番は、上記に限らずに、ステップＳ１１２をステップＳ１１１の前に行ってもよい。同一カメラから取得したカメラパラメータ及びカメラ映像の組み合わせを、２以上のカメラ１０１から取得できればよい。

【0064】

続いて、三次元モデル生成部２０２は、ステップＳ１１１で取得したカメラパラメータ、および、ステップＳ１１２で取得したカメラ映像を用いて三次元再構成を行い、三次元モデルを生成する（Ｓ１１３）。三次元再構成では、例えば、視体積交差法、ＳｆＭ （Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などの処理が行われる。

【0065】

次に、三次元モデル生成部２０２は、ステップＳ１１３で生成した三次元モデルにおいて、欠落があるか否かを判定する（Ｓ１１４）。なお、欠落の判定処理の詳細は、図７及び図８を用いて後述する。

【0066】

次に、三次元モデル生成部２０２は、ステップＳ１１４における欠落の判定により、欠落があると判定された場合（Ｓ１１５でＹｅｓ）、欠落した部分である欠落部を補填する（Ｓ１１６）。欠落部の補填処理では、ステップＳ１１３で生成された三次元モデルに含まれる欠落部に関して、カメラ映像を用いて推定処理などを行うことで新たに三次元点を生成して三次元点を補う補填処理を行う。これにより、三次元モデル生成部２０２は、三次元点が補填された三次元モデルを再生成し、再生成した三次元モデルを出力する。

【0067】

三次元モデル生成部２０２は、ステップＳ１１４における欠落の判定により、欠落がないと判定された場合（Ｓ１１５でＮｏ）、ステップＳ１１３で生成された三次元モデルを出力する。

【0068】

次に、欠落の判定処理（Ｓ１１４）について説明する。図７は、欠落の判定処理（Ｓ１１４）のフローチャートである。図８は、欠落の判定処理について説明するための模式図である。

【0069】

最初に、三次元モデル生成部２０２は、ステップＳ１１３の三次元再構成処理に用いたカメラパラメータを取得する（Ｓ１２１）。

【0070】

次に、三次元モデル生成部２０２は、ステップＳ１１３で生成された三次元モデルを取得する（Ｓ１２２）。例えば、図８に示されるように、一のカメラ１０１を含む複数のカメラ１０１で被写体４００を撮像した結果、三次元モデルが生成される。

【0071】

続いて、三次元モデル生成部２０２は、ステップＳ１２１及びＳ１２２で取得したカメラパラメータ及び三次元モデルに基づいて、一のカメラ１０１から三次元モデルまでの距離を示すデプス画像を生成する（Ｓ１２３）。デプス画像は、一のカメラ１０１について、一のカメラ１０１のカメラパラメータに基づいて一のカメラ１０１の姿勢を特定し、特定した姿勢と三次元モデルとを用いることで、一のカメラ１０１から被写体４００を見たときの一のカメラ１０１から三次元モデル（被写体４００）までの距離を示す深度情報からなるデプス画像を生成する。デプス画像は、深度情報を画素値として有する複数の画素により構成され、当該複数の画素の配列は、例えば、一のカメラ１０１により得られるカメラ画像と同様の構成である。例えば、デプス画像の各画素が有する画素値は、一のカメラ１０１から、一のカメラ１０１により得られるカメラ画像の対応する画素で特定される三次元モデル（被写体４００）の表面の点までの距離を示す。デプス画像は、例えば、距離が大きいほど大きな値の画素値を有する。

【0072】

次に、三次元モデル生成部２０２は、ステップＳ１１３の三次元再構成処理に用いたカメラ画像を取得する（Ｓ１２４）。

【0073】

続いて、三次元モデル生成部２０２は、ステップＳ１２４で取得したカメラ画像から画像上で注目しているオブジェクトが映り込んでいる領域を抽出することで、当該領域が抽出された前景画像を生成する（Ｓ１２５）。前景画像とは、例えば、道路を撮影して得られたカメラ画像において、道路上を走っている車、トラックなどの動いているオブジェクトが抽出された画像を示す。前景画像は、例えば、オブジェクトが映っていない背景画像を予め背景画像として撮影しておき、オブジェクトが映っているカメラ画像から背景画像を減算することで得られる画像である。つまり、前景画像は、カメラ画像から背景画像が削除されることでオブジェクトが抽出された画像である。また、前景画像は、Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎと呼ばれる画素単位での意味づけを行う手法を用いて、オブジェクトを抽出することで生成されてもよい。

【0074】

次に、三次元モデル生成部２０２は、ステップＳ１２３で生成したデプス画像と、ステップＳ１２５で生成した前景画像とを比較することにより、ステップＳ１２２で取得した三次元モデルに三次元点の欠落があるか否かを判定する（Ｓ１２６）。例えば、三次元モデル生成部２０２は、図８に示されるように、デプス画像及び前景画像を二値化し、二値化されたデプス画像４０１と、二値化された前景画像４０２とを比較することにより、三次元モデルに三次元点の欠落があるか否かを判定する。

【0075】

なお、三次元モデル生成部２０２は、例えば、所定の閾値より大きい画素値を有する画素の画素値を「１」とし、所定の閾値以下の画素値を有する画素の画素値を「０」とすることで、デプス画像を二値化する。また、三次元モデル生成部２０２は、例えば、画素値を有しない画素の画素値を「１」とし、画素値を有する画素の画素値を「０」とすることで、前景画像を二値化する。なお、デプス画像の二値化、及び、前景画像の二値化において、設定する数値の「１」と「０」とは、上記とは反対であってもよい。

【0076】

三次元モデル生成部２０２は、具体的には、二値化された前景画像４０２から二値化されたデプス画像４０１を減算することで、減算結果を得る。三次元モデル生成部２０２は、減算結果として、画素値を有する画素が所定数以上ある欠落部画像４０３が得られた場合、三次元モデルに三次元点の欠落があると判定する。三次元モデル生成部２０２は、減算結果として得られた画像が、画素値を有する画素が所定数未満である場合、三次元モデルに三次元点の欠落がないと判定する。

【0077】

なお、三次元モデル生成部２０２は、デプス画像及び前景画像を二値化して、二値化されたデプス画像及び前景画像を比較することにより、三次元モデルに三次元点の欠落があるか否かを判定するとしたが、二値化されたデプス画像及び前景画像を用いることに限らない。例えば、三次元モデル生成部２０２は、前景画像をデプス画像の画素値の範囲に合わせてグレースケール化または二値化して、デプス画像とグレースケール化または二値化された前景画像とを比較することにより、三次元モデルに三次元点の欠落があるか否かを判定してもよい。この場合、三次元モデル生成部２０２は、減算結果として、所定の画素値より大きい画素値を有する画素が所定数以上ある欠落部画像が得られた場合、三次元モデルに三次元点の欠落があると判定する。三次元モデル生成部２０２は、所定の画素値より大きい画素値を有する画素が所定数未満である場合、三次元モデルに三次元点の欠落がないと判定する。

【0078】

次に、欠落部の補填処理（Ｓ１１６）の詳細について説明する。図９は、欠落部の補填処理について説明するための模式図である。

【0079】

三次元モデル生成部２０２は、例えば、図９に示されるように、ステップＳ１１３の三次元再構成処理を実行することで、複数のカメラ１０１で被写体４００を撮像したカメラ映像と、複数のカメラ１０１のカメラパラメータとを用いて、三次元モデル４１０を生成する。三次元モデル生成部２０２は、ステップＳ１１４の欠落の判定処理によって、生成した三次元モデル４１０が欠落部４１１を有すると判定された場合、欠落部４１１の周辺領域の三次元情報を用いて、推定処理により欠落部４１１を補填する。三次元モデル生成部２０２は、複数のカメラ１０１で撮像したカメラ映像を用いる場合、三次元点を生成するときの特徴点のマッチング（例えば、ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）の制約を弱めることで三次元点を新たに生成し、新たに生成した三次元点で欠落部４１１を補填してもよい。これにより、三次元モデル生成部２０２は、欠落部４１１を補填された補填部４２１を有する三次元モデル４２０を新たに生成し、新たに生成した三次元モデル４２０を出力する。補填部４２１は、複数のカメラ画像を用いて新たに推定することにより生成された三次元点を含む。

【0080】

また、三次元モデルの領域毎に属性を設定できる場合に、各領域の属性として補填されたか否かを示す情報が付加されてもよい。また、補填された領域に、補填されたことを示す情報が属性情報として付加されてもよい。例えば、三次元モデルが複数の三次元点の集合であるポイントクラウドにより構成されており、各三次元点が当該三次元点の位置を示す情報だけでなく、当該三次元点の色、反射率などの属性情報を有する場合、補填されることで新たに生成された三次元点には、属性情報として補填された三次元点であることを示す情報が付与されていてもよい。

【0081】

このように、三次元モデル生成部２０２は、生成した三次元モデルに三次元点の欠落がある場合、三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。欠落情報は、例えば、三次元モデル自体に付与された情報であってもよいし、上述したように補填された三次元点毎に付与された属性情報であってもよい。また、三次元モデル生成部２０２は、三次元モデルに三次元点の欠落がある場合、欠落があることを示す欠落情報を三次元モデルに付与し、欠落情報が付与された三次元モデルを出力してもよい。

【0082】

次に、自由視点映像の生成処理（Ｓ１０７）の詳細について説明する。図１０は、自由視点映像の生成処理（Ｓ１０７）のフローチャートである。図１１は、自由視点映像の生成処理について説明するための模式図である。

【0083】

最初に、自由視点映像生成部２０３は、自由視点映像を生成する際の視点の三次元位置および視線方向の少なくとも一方を示す視点情報を取得する（Ｓ１３１）。

【0084】

次に、自由視点映像生成部２０３は、カメラ１０１の三次元位置や向きやレンズ情報などを含むカメラパラメータに関して、２以上のカメラ１０１のカメラパラメータを取得する（Ｓ１３２）。自由視点映像生成部２０３は、カメラパラメータ保存部２０６からカメラパラメータを取得する。

【0085】

次に、自由視点映像生成部２０３は、２以上のカメラ１０１のカメラ映像を取得する（Ｓ１３３）。この時に取得されるカメラ映像は、ステップＳ１３２で取得したカメラパラメータに対応する２以上のカメラ１０１のカメラ映像を含む。

【0086】

次に、自由視点映像生成部２０３は、ステップＳ１０４で生成された三次元モデルを取得する（Ｓ１３４）。

【0087】

続いて、自由視点映像生成部２０３は、ステップＳ１３２及びＳ１３３で取得したカメラパラメータ及びカメラ映像を用いて、ステップＳ１３４で取得した三次元モデルをステップＳ１３１で取得した視点情報で示される視点から見たときの自由視点映像を、生成する（Ｓ１３５）。なお、自由視点映像生成部２０３は、例えば、図１１に示されるように、三次元空間上の三次元モデル４２０を、視点情報で示される視点４３０に対して投影することで自由視点映像４４０、４５０を生成する。

【0088】

ここで、自由視点映像生成部２０３は、欠落部と判定されている領域について、自由視点画像上で明示しても構わない。例えば、自由視点映像生成部２０３は、欠落部の存在を示すキャプションを表示したり、画面枠の色を欠落部が存在しない三次元モデルから生成された自由視点画像とは異なる色で表示したりすることで、欠落部の存在が示された自由視点映像４４０を生成してもよい。また、自由視点映像生成部２０３は、例えば、欠落部の箇所を、特定の色または特定の模様で表現された自由視点映像４５０を生成してもよい。また、自由視点映像中において、欠落部を有するオブジェクトが明示されてもよい。なお、ユーザに対して、自由視点映像が欠落部を有する三次元モデルにより生成されたことが分かるように提示されれば、上記の例に限らずに、どのような手段で提示してもよい。

【0089】

つまり、自由視点映像生成部２０３は、三次元モデルに対応する欠落情報を取得した場合、生成された自由視点映像と、欠落情報で示される欠落を有する三次元モデルを用いて自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する。識別情報は、例えば、合成映像としての自由視点映像４５０では、自由視点映像上において、三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される。

【0090】

最後に、自由視点映像生成部２０３は、ステップＳ１３５で生成した自由視点映像４４０または自由視点映像４５０を表示装置１０３に出力する（Ｓ１３６）。

【0091】

本実施の形態に係る自由視点画像生成システム１００によれば、デプス画像と前景画像とを比較することにより三次元モデルに三次元点の欠落があるか否かを判定し、三次元モデルに三次元点の欠落がある場合、三次元モデルに三次元点の欠落があることを示す欠落情報を出力する。このため、提供している情報が、欠落した三次元モデルから生成されたことをユーザに通知することができる。

【0092】

また、自由視点画像生成システム１００は、欠落の判定処理では、デプス画像および前景画像を二値化し、二値化されたデプス画像と、二値化された前景画像とを比較することにより、三次元モデルに三次元点の欠落があるか否かを判定する。このため、三次元モデルの欠落の判定を容易に行うことができる。

【0093】

また、自由視点画像生成システム１００は、出力では、三次元モデルに三次元点の欠落がある場合、三次元モデルの欠落部を、複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された三次元点を含む三次元モデルを出力する。このため、欠落が補填された三次元モデルから生成された情報をユーザに提供することができる。

【0094】

また、自由視点画像生成システム１００は、三次元モデルに対応する欠落情報を取得した場合、生成された自由視点映像と、欠落情報で示される欠落を有する三次元モデルを用いて自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する。これによれば、自由視点映像および識別情報を合成することで得られた合成映像を出力することで、ユーザに、自由視点映像が欠落した三次元モデルから生成されたことをユーザに通知することができる。

【0095】

また、識別情報は、合成映像の自由視点映像上において、三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される。このため、自由視点映像のうちの欠落部をユーザに提示することができる。

【0096】

（変形例）
次に、変形例について説明する。

【0097】

上記実施の形態では、欠落部の判定を三次元モデル生成部２０２が行うとしたが、これに限らずに、自由視点映像生成部２０３が行ってもよい。つまり、三次元モデル生成部２０２によるステップＳ１０４の代わりに図１２で説明するステップＳ１０４ａが行われてもよい。また、自由視点映像生成部２０３によるステップＳ１０７の代わりに図１３で説明するステップＳ１０７ａが行われてもよい。

【0098】

図１２は、変形例に係る三次元モデルの生成処理（Ｓ１０４ａ）のフローチャートである。

【0099】

図１２に示されるように、変形例に係る三次元モデルの生成処理では、図６で説明したステップＳ１１１～Ｓ１１３と同様の処理が実行され、ステップＳ１１３で生成された三次元モデルが出力される。

【0100】

変形例に係る三次元モデルの生成処理では、図６のフローチャートと比較して、三次元モデル生成部２０２において最終的に出力される三次元モデルに欠落部に関する情報が含まれない点が異なる。これによると、三次元モデルの生成処理に係る処理量を低減することができ、高速に三次元モデルを生成することができる。

【0101】

図１３は、変形例に係る自由視点映像の生成処理（Ｓ１０７ａ）のフローチャートである。

【0102】

図１３に示されるように、変形例に係る自由視点映像の生成処理では、図１０で説明したステップＳ１３１～Ｓ１３４と同様の処理が実行される。

【0103】

続いて、自由視点映像生成部２０３は、ステップＳ１３４で取得した三次元モデルにおいて、欠落があるか否かを判定する（Ｓ１３４ａ）。ここでの欠落の判定処理では、例えば、ステップＳ１１４と同様の処理が行われる。ただし、欠落があると判定された場合であっても、ステップＳ１１６のような欠落部の補填処理を行わず、ステップＳ１３３で取得された画像に対して欠落部を示す欠落情報を出力する。

【0104】

続いて、自由視点映像生成部２０３は、ステップＳ１３２及びＳ１３３で取得したカメラパラメータ及びカメラ映像を用いて、ステップＳ１３４で取得した三次元モデルをステップＳ１３１で取得した視点情報で示される視点から見たときの自由視点映像を、生成する（Ｓ１３５）。なお、自由視点映像生成部２０３は、例えば、三次元空間上の三次元モデル４２０を、視点情報で示される視点に対して投影することで自由視点映像を生成する。このとき、自由視点映像生成部２０３は、欠落情報に基づいて欠落部の領域を特定し、自由視点映像のうちで、欠落部の領域の画素値を利用して生成される領域を欠落領域として設定する。欠落領域は、例えば、図１１の自由視点映像４５０の斜線ハッチングの領域のように示されてもよい。

【0105】

最後に、自由視点映像生成部２０３は、ステップＳ１３５で生成した自由視点映像４４０または自由視点映像４５０を表示装置１０３に出力する（Ｓ１３６）。

【0106】

変形例に係る三次元モデルの生成処理および自由視点映像の生成処理では、三次元モデルの対する補填処理を行う必要がなくなるため、計算量を低減することができる。

【0107】

また、互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数の画像を用いて三次元モデルを生成する三次元再構成方法であって、前記三次元モデルに三次元点の欠落がある場合、前記欠落があることを示す欠落情報を出力してもよい。

【0108】

以上、本開示の実施の形態に係る自由視点画像生成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。

【0109】

また、上記実施の形態に係る自由視点画像生成システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0110】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0111】

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0112】

また、本開示は、自由視点画像生成システム、自由視点画像生成装置、又は表示装置により実行される自由視点画像生成方法、又は自由視点画像表示方法等の各種方法として実現されてもよい。

【0113】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0114】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0115】

以上、一つまたは複数の態様に係る自由視点画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0116】

本開示は、提供している情報が欠落した三次元モデルから生成されたことをユーザにすることができる三次元再構成方法、三次元再構成装置などとして有用である。

【符号の説明】

【0117】

１００ 自由視点画像生成システム
１０１ カメラ
１０２ 自由視点画像生成装置
１０３ 表示装置
１０４ ネットワーク
２０１ カメラ映像受信部
２０２ 三次元モデル生成部
２０３ 自由視点映像生成部
２０４ 自由視点映像配信部
２０５ カメラ映像保存部
２０６ カメラパラメータ保存部
２０７ 三次元モデル保存部
２０８ 自由視点画像保存部
３０１ 自由視点映像受信部
３０２ 画面生成部
３０３ 画面表示部
３０４ 自由視点画像保存部
４００ 被写体
４０１ デプス画像
４０２ 前景画像
４０３ 欠落部画像
４１０、４２０ 三次元モデル
４１１ 欠落部
４２１ 補填部
４３０ 視点
４４０、４５０ 自由視点映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】