特開 2022-42153 立体撮影モデル生成システムおよび立体撮影モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022042153

(43)【公開日】2022-03-14

(54)【発明の名称】立体撮影モデル生成システムおよび立体撮影モデル生成方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220307BHJP

   H04N 7/18 20060101ALI20220307BHJP

   G06T 19/00 20110101ALI20220307BHJP

   G03B 35/08 20210101ALI20220307BHJP

   G03B 15/00 20210101ALI20220307BHJP

【ＦＩ】

H04N5/232

H04N7/18 E

G06T19/00 A

G03B35/08

G03B15/00 H

G03B15/00 M

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020147419

(22)【出願日】2020-09-02

(71)【出願人】

【識別番号】512092782

【氏名又は名称】株式会社クレッセント

(74)【代理人】

【識別番号】110001508

【氏名又は名称】特許業務法人 津国

(72)【発明者】

【氏名】小谷 創

(72)【発明者】

【氏名】小林 達彦

【テーマコード（参考）】

2H059

5B050

5C054

5C122

【Ｆターム（参考）】

2H059AA07

2H059AA18

5B050BA09

5B050DA07

5B050EA06

5B050EA28

5C054CA04

5C054CC02

5C054EA01

5C054EA07

5C054FC03

5C054FC13

5C054FC14

5C054FD02

5C054FD07

5C054FE05

5C054FF02

5C054GB01

5C054GB05

5C122DA36

5C122EA42

5C122EA61

5C122EA67

5C122FA04

5C122FA18

5C122FD10

5C122FH03

5C122HA88

(57)【要約】

【課題】簡素な構成で実現でき、誰もが手軽に楽しめて取り扱うことができる立体撮影モデル生成システムを提供すること。
【解決手段】立体撮影モデル生成システムは、被写体ＯＢを複数の方向から撮影するための複数の撮影装置２０であるカメラ２０１～２０４と、複数の撮影装置２０１～２０４が被写体ＯＢを撮影することで得られる画像データに基づいて該被写体ＯＢの立体撮影モデルを生成するよう構成された演算処理装置１０であるコントローラ１１０および画像処理サーバ１２０とを含む。カメラ２０１～２０４に用いられる撮像レンズ系２２１の被写界深度ＤＯＦが、光軸Ａｘ上において焦点が合う位置ＣＩＦを中心に±０．５～±１．５ｍに設定されている。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体を複数の方向から撮影するための複数の撮影装置と、
前記複数の撮影装置が前記被写体を撮影することで得られる画像データに基づいて該被写体の立体撮影モデルを生成するよう構成された演算処理装置とを含む立体撮影モデル生成システムであって、
前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されている、立体撮影モデル生成システム。

【請求項2】

前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下である、請求項１に記載の立体撮影モデル生成システム。

【請求項3】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定される、請求項２に記載の立体撮影モデル生成システム。

【請求項4】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定される、請求項２に記載の立体撮影モデル生成システム。

【請求項5】

前記演算処理装置が、前記立体撮影モデルに基づいて自由視点画像を生成する自由視点画像生成部を有している、請求項１～４の何れか１項に記載の立体撮影モデル生成システム。

【請求項6】

複数の撮影装置と、前記複数の撮影装置が被写体を撮影することで得られる画像データに基づいて該被写体の立体撮影モデルを生成する演算処理装置とを含み、前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されているシステムにおいて行われる立体撮影モデル生成方法であって、
前記複数の撮影装置により前記被写体を複数の方向から撮影するステップと、
前記演算処理装置が実行する処理が、
前記複数の撮影装置により撮影された画像データから前記被写体の輪郭を検出するステップと、
検出された前記輪郭によって画される前記被写体画像データに基づいて該被写体の立体撮影モデルを生成するステップと
を含む三次元画像生成方法。

【請求項7】

前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下である、請求項６に記載の三次元画像生成方法。

【請求項8】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定される、請求項７に記載の立体撮影モデル生成方法。

【請求項9】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定される、請求項７に記載の立体撮影モデル生成方法。

【請求項10】

前記演算処理装置が実行する処理が、前記立体撮影モデルに基づいて自由視点画像を生成するステップを更に含む、請求項６～９の何れか１項に記載の立体撮影モデル生成方法。

【請求項11】

前記複数の撮影装置が被写体を撮影することで得られる画像データが動画像データであり、
前記演算処理装置は、複数の前記動画像データを同期して前記被写体の動的な立体撮影モデルを生成する、請求項６～１０の何れか１項に記載の立体撮影モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の方向から撮影した被写体の画像データに基づいて該被写体の三次元モデルを生成するための実写立体撮影技術（Ｖｏｌｕｍｅｔｒｉｃ Ｃａｐｕｔｕｒｅ）に関する。

【背景技術】

【0002】

近年、マーカーを使わずに、３６０度全方位から対象となる人や物の動きを撮影することで、被写体の三次元モデルを生成することができる実写立体撮影技術（Ｖｏｌｕｍｅｔｒｉｃ Ｃａｐｕｔｕｒｅ）が注目されている。本技術によれば、複数のカメラで同期撮影した人物等の動画像からフレーム毎に被写体を抽出し三次元モデル化することで、被写体モデルを仮想空間の任意の位置に配置してその動きをディスプレイ上で自由に再現することができる。複数の視点から撮影した画像を演算処理し、任意の視点から見えるように再現された画像は「自由視点画像」または「仮想視点画像」と呼ばれ、例えば特許文献１には、そのような仮想視点画像を生成するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－２１１８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

Ｖｏｌｕｍｅｔｒｉｃ Ｃａｐｕｔｕｒｅにおいては、上述したように撮影したフレーム画像から背景を排除し対象とする被写体を抽出する必要がある。被写体と背景とを区別するための手法として、従来、被写体にメッシュ光を投影する方法や、背景にグリーンバックを使用する方法などが採られている。しかし、これら従来の手法では、撮影の場にメッシュ光を投影するためのプロジェクタやグリーンバックなどを設置しなければならず、設備が整えられたスタジオ等でなければ撮影することができない。また、撮影した画像データに対しオブジェクト抽出処理を施して被写体を抽出する手法も考えられる。しかし、複数の視点から撮影された毎秒数十フレームの高精細動画像データに対し、フレーム毎に逐一オブジェクト（被写体画像）を抽出するには、高速大容量の処理能力を有する大型のプラットフォームが必要となる。

【0005】

本発明は、このような従来の課題に鑑みてなされたものであり、簡素な構成で実現でき、誰もが手軽に楽しめて取り扱うことができる立体撮影モデル生成システムおよびそのシステムで実行される立体撮影モデル生成方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

上述した課題を解決するため、本発明は、被写体を複数の方向から撮影するための複数の撮影装置と、前記複数の撮影装置が前記被写体を撮影することで得られる画像データに基づいて該被写体の立体撮影モデルを生成するよう構成された演算処理装置とを含む立体撮影モデル生成システムであって、前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されている、立体撮影モデル生成システムである。

【0007】

立体撮影モデル生成システムは、前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下であることが好ましい。

【0008】

また、立体撮影モデル生成システムは、前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定されることが好ましい。または、立体撮影モデル生成システムは、前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定されるものでもよい。

【0009】

また、立体撮影モデル生成システムは、前記演算処理装置が、前記立体撮影モデルに基づいて自由視点画像を生成する自由視点画像生成部を有していることが好ましい。

【0010】

また、本発明は、複数の撮影装置と、前記複数の撮影装置が被写体を撮影することで得られる画像データに基づいて該被写体の立体撮影モデルを生成する演算処理装置とを含み、前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されているシステムにおいて行われる立体撮影モデル生成方法であって、前記複数の撮影装置により前記被写体を複数の方向から撮影するステップと、前記演算処理装置が実行する処理が、前記複数の撮影装置により撮影された画像データから前記被写体の輪郭を検出するステップと、検出された前記輪郭によって画される前記被写体画像データに基づいて該被写体の立体撮影モデルを生成するステップとを含む三次元画像生成方法である。

【0011】

三次元画像生成方法において、前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下であることが好ましい。

【0012】

また、三次元画像生成方法において、前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定されることが好ましい。または、三次元画像生成方法は、前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定されるものでもよい。

【0013】

また、三次元画像生成方法において、前記演算処理装置が実行する処理が、前記立体撮影モデルに基づいて自由視点画像を生成するステップを更に含むことが好ましい。

【0014】

また、三次元画像生成方法において、前記複数の撮影装置が被写体を撮影することで得られる画像データが動画像データであり、前記演算処理装置は、複数の前記動画像データを同期して前記被写体の動的な立体撮影モデルを生成することが好ましい。

【発明の効果】

【0015】

本発明によれば、簡素な構成で実現でき、誰もが手軽に楽しめて取り扱うことができる、立体撮影モデル生成システムおよびそのシステムで実行される立体撮影モデル生成方法を提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一つの実施形態による立体撮影モデル生成システムのブロック図である。

【図2】カメラと被写界深度との位置関係を説明するための図である。

【図3】テストパターンを用いてエッジ検出精度（シャープネス）を測定する方法を説明するための図である。

【図4】カメラアダプタの機能ブロック図である。

【図5】コントロールボックス及びその周辺部の機能ブロック図である。

【図6】画像処理サーバの機能ブロック図である。

【図7】本発明のもう一つの実施形態による立体撮影モデル生成システムのブロック図である。

【発明を実施するための形態】

【0017】

本発明の好適な実施形態による立体撮影モデル生成システムは、被写体の三次元モデルを生成する等の処理を行う演算処理装置と、被写体を複数の方向から撮影するための複数の撮影装置とを備えて構成される。なお、本明細書においてカメラで撮影される「被写体」と「オブジェクト」とは同じ意味で用いている。被写体は人物に限らず物（可動物）であってもよい。また、本システムで生成されるオブジェクトの「立体撮影モデル」を「三次元モデル」または「三次元動画モデル」と称する。また、以下説明する実施形態において、「画像」とは動画像を想定しており、「三次元モデル」は動きを表現するための時間パラメータを含むが、本発明の実施にあたっては「画像」が写真等の静止画像を含むことを明記しておく。

【0018】

以下、オブジェクト（被写体）ＯＢを人物とし、ある一定時間、その場での当該人物の動きを三次元モデル化する場合の例について、具体的な実施形態を説明する。

【0019】

図１は、本発明の一つの実施形態による立体撮影モデル生成システムのブロック図である。演算処理装置１０は、ユーザ側のコントローラ１１０と、インターネットＮ上のクラウドサーバシステムである画像処理サーバ１２０とを含む。コントローラ１１０の本体であるコントロールボックス１１１は、専用のコンピュータ装置または汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）とすることができる。また、コントローラ１１０は、ユーザによる操作を補助するために、コントロールボックス１１１に無線接続した例えばスマートフォンやタブレットＰＣ等の端末装置１１３を含むものでもよい。

【0020】

撮影装置２０は、デジタル動画撮影が可能な複数台のカメラ２０１～２０４を含む。カメラ２０１～２０４の本体には、カメラアダプタ２１１～２１４がそれぞれ装備されている。図１の実施形態では、撮影装置２０が４台のカメラで構成されているが、カメラの台数はこれに限定されず、例えば３～２４台程度の範囲で適宜増減させてもよい。

【0021】

カメラ２０１～２０４は、床面に敷いた例えば５ｍ四方のマット２３０上の４隅および／または辺の所定位置に置かれた三脚（図示省略）に設置される。各カメラ２０１～２０４の撮像レンズ系２２１は、被写体ＯＢが立つマット２３０の中央に予め向けられている。なお、マット２３０は、被写体との区別がつき、被写体の抽出処理をし易くするためにグリーンのマットであることが好ましい。更にマットの形状は四角形に限定されず、カメラの台数に応じて多角形または円形であってもよい。

【0022】

図２に示すように、本実施形態のカメラ２０１～２０４に用いられる撮像レンズ系２２１は、その被写界深度（ＤＯＦ；Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）が、光軸Ａｘにおいてレンズの焦点がちょうど合う中央位置（ＣＩＦ；Ｃｅｎｔｅｒ ｉｎ Ｆｏｕｃｕｓ）を中心に±０．５～±１．５ｍに設定されている。ただし、各カメラ２０１～２０４の光学的な特性は共通しており、カメラ２０１～２０４間では被写界深度特性そのもののばらつきはないものとする。

【0023】

なお、被写界深度は、被写体を撮影した像の焦点が合っているように見える被写体側の距離の範囲（フィールド）をいう。被写界深度よりも遠景および近景をカメラで撮影した像はぼやける。被写界深度が「深い」とは焦点が合う範囲が比較的広いことを意味し、被写界深度が「浅い」とは焦点が合う範囲が比較的狭いことを意味する。本実施形態の立体撮影モデル生成システムは、後に詳述するように、従来よりも被写界深度が浅いレンズを使用することに一つの特徴がある。

【0024】

カメラの被写界深度特性は、撮像レンズの焦点距離や絞り（Ｆ値）によっても影響を受ける。図２に示すように、本実施形態による撮像レンズ系２２１は、撮影場所の広さやオブジェクト（人物）ＯＢが動く範囲等の撮影環境・条件に合わせて、像の焦点がちょうど合う位置ＣＩＦを中心に被写界深度が±０．５～±１．５ｍの特性を有するレンズが選択採用される。なお、図２の実施例において、カメラ２０１から被写界深度の中央の位置ＣＩＦまでの距離は３．５ｍであり、Ｆ値は１とした。

【0025】

光軸上のある位置が被写界深度内にあるか否かを判定する基準、言い換えると光軸上における被写界深度の境界を測定する基準として許容錯乱円径がある。しかし、本実施形態のように、被写体輪郭のエッジ検出精度（「シャープネス」ともいう。）を基準に被写界深度またはフィールドの境界を判定してもよい。より具体的には、被写体が被写界深度の内にある場合のエッジ検出精度の最大値に対し、該被写体が被写界深度の外にある場合のエッジ検出精度の比が０．７以下（つまり最大値に対し３０％減）であるか否かで境界を判定することができる。

【0026】

輪郭のエッジ検出精度（シャープネス）は、例えば図３に示すように、白黒が明確に区分けされたテストパターンＴＰを用い、その白黒が反転する境界部分の輝度変化に基づいて正確に測定することができる。先ず、テストパターンＴＰが被写界深度ＤＯＦの中央の位置ＣＩＦにあるときのシャープネスの最大値ＳＥｍａｘを測定する。次に、テストパターンＴＰの光軸Ａｘ上の位置を、ＣＩＦを中心にカメラ２０１に近い側（マイナス方向）と遠い側（プラス方向）に徐々に変えながらシャープネスＳＥを測定する。そして、シャープネスの比ＳＥ／ＳＥｍａｘが０．７となる前後両位置を、被写界深度ＤＯＦの境界と判定することができる。

【0027】

エッジ検出精度は、例えば輪郭の境界における輝度変化を一次微分した値に基づいて算定することができる（勾配法）。この勾配法では、輝度を一次微分した最大値または最小値の縦軸の大きさでシャープネスを算定することができる。また、エッジ検出精度は、輪郭の境界における輝度変化を二次微分した値に基づいて算定してもよい（ラプラシアン法）。このラプラシアン法では、輝度の変曲点を構成する横軸の振幅の大きさでシャープネスを算定することができる。なお、エッジ検出精度の算定法は、上述の勾配法およびラプラシアン法に限定されない。

【0028】

次に、カメラアダプタ２１１～２１４は、例えばＥｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の規格に準拠した通信ケーブル２４０を介してスイッチングハブ３００に接続されている。コントローラ１１０（コントロールボックス１１１）は、このスイッチングハブ３００を経由して、各カメラ２０１～２０４が撮影した画像のデータや、カメラパラメータ情報を取得する。

【0029】

なお、図１の実施形態のシステムでは、それぞれのカメラ２０１～２０４およびカメラアダプタ２１１～２１４が一つのスイッチングハブ３００に接続された、いわゆるスター型のネットワーク構造となっている。ただし、撮影画像の４Ｋまたは８Ｋなどの高精細化、高フレームレート化に伴う大容量化に対応するために、隣接のカメラアダプタをカスケード接続したデイジーチェーンにより複数のカメラ２０１～２０４を接続してもよい。

【0030】

図４は、カメラアダプタ２１１内部の機能ブロック図である。なお、他のカメラアダプタ２１２～２１４もこれと同一の構成を有しているので、それらの説明は省略する。同図に示すように、カメラアダプタ２１１は、大まかにはカメラ制御部２１５、補正処理部２１６およびフレーム生成・伝送部２１７に区分けされる。カメラ制御部２１５は、レンズ調整部２１５１、撮影動作制御部２１５２および撮影パラメータ設定部２１５３を有している。

【0031】

レンズ調整部２１５１は、カメラ２０１の撮像レンズ系２２１のフォーカス、ズームおよび露出等のパラメータを電気的に調整する。なお、撮像レンズ系２２１のフォーカス等の調整は自動で行ってもよいし、外部（例えばコントローラ１１０）からの指令やユーザがモニター画面を見ながらマニュアルで行ってもよい。

【0032】

撮影動作制御部２１５２は、外部（例えばコントローラ１１０）からのゲンロック（Ｇｅｎｌｏｃｋ）信号等に同期して撮影の開始や停止の動作を制御する。

【0033】

撮影パラメータ設定部２１５３は、画像解像度（撮影画素数）、色深度、フレームレートおよびホワイトバランス等の撮影パラメータを設定し、撮影動作制御部２１５２をサブミットする。撮影パラメータの設定は外部（例えばコントローラ１１０）から指定されてもよいし、撮影パラメータ設定部２１５３が自動で設定してもよい。

【0034】

補正処理部２１６は、キャッシュメモリ２１８に保持された生画像データに対し色補正処理や、カメラの振動に起因するブレの補正処理、レンズ固有の歪み補正処理などを行う。

【0035】

フレーム生成・伝送部２１７は、フレームメモリ２１９上で画像データをフォーマット変換しフレームデータを生成する。フレームデータには、撮影された時刻を示すタイムコードや、撮影したカメラの識別子情報、カメラパラメータ（フォーカス値、ズーム値、レンズ特性等）などのメタ情報（付属情報）が付与されファイル化される。フレーム生成・伝送部２１７の通信アダプタ２１７１は、作成したフレーム画像データをコントローラ１１０に伝送する。

【0036】

次に、コントローラ１１０の構成を説明する。図５は、コントローラ１１０の本体であるコントロールボックス１１１及びその周辺部の機能ブロック図である。コントロールボックス１１１は、データ入力部１１１１、データ同期部１１１２、キャリブレーション部１１１３、データ圧縮部１１１４、ストレージ１１１５、ネットワークアダプタ部１１１６、フォーマット変換部１１１７、レンダリング処理部１１１８およびユーザインタフェース部１１１９を有している。

【0037】

データ入力部１１１１は、通信ケーブル２４０とスイッチングハブ３００とを介して、カメラアダプタ２１１～２１４と接続されており、カメラ２０１～２０４が撮影した画像のデータであるフレーム画像データをリアルタイムで受信する。

【0038】

データ同期部１１１２は、取得した画像データを、内部の高速ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に一次的に記憶し、全てのカメラ２０１～２０４のデータが揃うまでバッファする。画像データにはタイムコード（時間情報）とカメラ識別子情報とが付与されており、データ同期部１１１２は、各タイムコードに基づいて各画像データの時刻同期制御を行う。また、データ同期部１１１２は、例えば特徴点マッチング法を用いて各画像データの同期を行ってもよい。

【0039】

各カメラ２０１～２０４と被写体ＯＢとの間の僅かな距離の違いやレンズ固有の特性差等により、各画像に写し込まれた被写体ＯＢの絶対座標に対する寸法が各画像において異なる可能性がある。キャリブレーション部１１１３は、このような寸法誤差を較正するために、各画像のサイズを正規化する処理を行う。また、キャリブレーション部１１１３は、同時に各画像データの輝度やコントラストを一致させる補正を行ってもよい。

【0040】

同期および正規化された画像データは、データ圧縮部１１１４によりＭＰＥＧ等の所定のフォーマットに圧縮処理され、ネットワークアダプタ部１１１６を介して画像処理サーバ１２０に伝送される。画像処理サーバ１２０は、後述するように、カメラ２０１～２０４のフレーム画像データに基づいて被写体（人物）ＯＢの三次元動画モデルを生成するための高速演算処理を行うクラウド上のプラットフォームである。また、画像データは、例えば大容量のＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である内部のストレージ１１１５に保管されてもよい。

【0041】

画像処理サーバ１２０からネットワークアダプタ部１１１６に返送された被写体ＯＢの三次元動画モデルデータは、フォーマット変換部１１１７でデータの伸張等の処理が施され、時間情報と座標情報とが分離されて、フレーム毎のポリゴンメッシュモデルデータに変換される。そして、変換されたポリゴンメッシュモデルデータは、フレームレート等の時間情報と関連付けられてストレージ１１１５に記憶される。

【0042】

レンダリング処理部１１１８は、ストレージ１１１５に記憶された被写体ＯＢの三次元モデルを、ディスプレイ１１２または外付けのモニタリング装置（例えばスマートフォン１１３など）に再生表示可能な二次元の自由視点画像に変換処理する。ユーザは、ユーザインタフェース部１１９を介して、必要であればスマートフォン１１３を操作して視点位置をレンダリング処理部１１１８に指示することができる。視点は被写体ＯＢの３６０°周囲のどの位置であってもよく、また制限された範囲内で視点の高さを任意に変えることもできる。また、ユーザは、再生中の三次元モデル動画像に対し、視点位置を任意に移動させて向きを変える指示をすることができる。更に、ユーザは、三次元モデル画像の特定部分のズームインやズームアウトさせた任意視点画像もディスプレイ１１２等に表示させることができる。

【0043】

次に、図６の機能ブロック図を参照して、画像処理サーバ１２０の構成を説明する。画像処理サーバ１２０は、主として入出力部１２０１、画像処理部１２０２およびルーティング処理部１２０３を有している。

【0044】

入出力部１２０１は、データ受信部１２０４と、データ送信部１２０５とを含む。複数のカメラ２０１～２０４で複数の方向から撮影された被写体ＯＢの画像データは、コントロールボックス１１１およびインターネットＮを経由して、入出力部１２０１のデータ受信部１２０４で受信される。

【0045】

画像処理部１２０２は、前処理部１２０６、オブジェクト抽出部１２０７および三次元モデル生成部１２０８を含む。前処理部１２０６は、受信された画像データに対し、カメラの識別子情報、カメラパラメータ、コントロールボックス１１１のアドレス情報等のメタ情報を分離するとともに所定の伸張処理を施してフレームデータをオブジェクト抽出部１２０７に送る。

【0046】

この段階では、フレーム画像は被写体ＯＢとその周囲の背景を含んでいる。オブジェクト抽出部１２０７は、各フレームの画像データに含まれる輪郭のエッジを検出することにより、被写体ＯＢが写された画像領域を抽出する処理を行う。エッジ検出法は、輪郭の境界における輝度変化を一次微分した値に基づく勾配法、またはその輝度変化を二次微分した値に基づくラプラシアン法を用いることが好ましい。

【0047】

本実施形態においては、上述したように、カメラ２０１～２０４のレンズの被写界深度が±０．５～±１．５ｍと比較的浅く設定されている。そのため、撮影された画像のうち、被写体ＯＢの領域のみ焦点が合い、その周囲の背景の領域はぼやけている。したがって、背景にグリーンバックを設置したり、被写体ＯＢにメッシュ光を投光しなくても、被写体ＯＢの輪郭のエッジを検出するだけで、比較的容易にかつ正確に、被写体ＯＢの輪郭によって画される画像領域（被写体画像データ）を抽出することができる。

【0048】

背景画像から分離された被写体画像データは三次元モデル生成部１２０８に送られる。三次元モデル生成部１２０８は、複数の方向から撮影された被写体画像データに基づいて、例えばステレオカメラの原理を用いて、被写体ＯＢの三次元動画モデルを生成する。

【0049】

ルーティング処理部１２０３は、生成した三次元動画モデルデータの転送先として、その元となる画像データを送信したコントロールボックス１１１のアドレスを設定する。そして、データ送信部１２０５は、設定されたインターネットＮ上のアドレスのコントロールボックス１１１に、生成された三次元動画モデルデータを送信する。

【0050】

以上、本発明の一つの好適な実施形態を説明したが、本発明の実施にあたっては、その趣旨を逸脱しない範囲で種々の改変が可能である。例えば、上述のコントロールボックス１１１で実行される画像データ処理機能を、インターネットＮ上の画像処理サーバ１２０が有してもよい。また、クラウドサーバを用いずに、三次元モデルを生成するための一連の演算処理をスタンドアロン型のコントロールボックス１１１が実行する態様であってもよい。

【0051】

更に、図７に示すように、撮影装置２０を、小型のカメラを有する例えばスマートフォン２５１～２５４等の携帯電子機器で構成してもよい。スマートフォン２５１～２５４の各カメラ開口部には、カメラの被写界深度を浅く設定するための専用のレンズユニット２６１～２６４が装着される。撮影用のスマートフォン２５１～２５４と、操作制御用のスマートフォン２５５には、ユーザが立体撮影モデル生成サービスを受けるためのアプリケーションソフトがインストールされている。ユーザは、スマートフォン２５５のアプリを使って、複数のスマートフォン２５１～２５４で撮影した被写体ＯＢの画像データを、スイッチングハブ３００および回線モデム３１０によりインターネットＮ経由で演算処理装置１０に送信することができる。

【0052】

演算処理装置１０で生成処理された、被写体ＯＢの立体撮影モデルおよび／またはその自由視点画像は、インターネットＮを介してスマートフォン２５５に転送またはダウンロードすることができる。それにより、ユーザは、スマートフォン２５５を操作して、手軽に被写体ＯＢの立体撮影画像をその画面上に再生することができる。

【0053】

以上説明した実施形態の立体撮影モデル生成システムおよびそのシステムで実行される立体撮影モデル生成方法によれば、被写界深度が比較的浅い撮像レンズを撮像装置に用いることにより、被写体のみ焦点が合い、その周囲の背景がぼやけた動画像を撮影することができる。またそのような被写界深度が浅い動画像を用いれば、撮影場所にグリーンバックを設置したり、被写体にメッシュ光を投光するためのプロジェクタを設けなくても、被写体画像を、単純なエッジ検出処理によって容易にかつ正確に背景画像から分離・抽出することができる。したがって、被写体を抽出するまでの画像データ処理負荷を大幅に低減でき、それにより一般的なユーザであっても手軽に扱うことができ、そして簡素な構成のシステムを提供することができる。

【符号の説明】

【0054】

１０ 演算処理装置
２０ 撮影装置
１１０ コントローラ
１１１ コントロールボックス
１１２ ディスプレイ
１１３ 端末装置（スマートフォン）
１２０ 画像処理サーバ
２０１～２０４ カメラ
２１１～２１４ カメラアダプタ
２２０ 撮像素子（ＣＣＤ）
２２１ 撮像レンズ系
２３０ マット
２４０ 通信ケーブル
２５１～２５５ スマートフォン
２６１～２６４ レンズユニット
３００ スイッチングハブ
１１１０ 同期信号生成部
１１１２ データ同期部
１１１５ ストレージ
１１１６ ネットワークアダプタ部
１１１８ レンダリング処理部
１１１９ ユーザインタフェース部
１２０１ 入出力部
１２０２ 画像処理部
１２０３ ルーティング処理部
１２０７ オブジェクト抽出部
１２０８ 三次元モデル生成部
Ｎ インターネット
Ａｘ 光軸
ＣＩＦ 焦点が合う位置
ＤＯＦ 被写界深度
ＯＢ 被写体、オブジェクト
ＳＥ エッジ検出精度、シャープネス
ＴＰ テストパターン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-02-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

被写体を複数の方向から撮影するための複数の撮影装置と、
前記複数の撮影装置が前記被写体を撮影することで得られる画像データに基づいて前記被写体の輪郭を検出し、該被写体の立体撮影モデルを生成するよう構成された演算処理装置とを含む立体撮影モデル生成システムであって、
前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されている、立体撮影モデル生成システム。

【請求項2】

前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下である、請求項１に記載の立体撮影モデル生成システム。

【請求項3】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定される、請求項２に記載の立体撮影モデル生成システム。

【請求項4】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定される、請求項２に記載の立体撮影モデル生成システム。

【請求項5】

前記演算処理装置が、前記立体撮影モデルに基づいて自由視点画像を生成する自由視点画像生成部を有している、請求項１～４の何れか１項に記載の立体撮影モデル生成システム。

【請求項6】

複数の撮影装置と、前記複数の撮影装置が被写体を撮影することで得られる画像データに基づいて該被写体の立体撮影モデルを生成する演算処理装置とを含み、前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されているシステムにおいて行われる立体撮影モデル生成方法であって、
前記複数の撮影装置により前記被写体を複数の方向から撮影するステップと、
前記演算処理装置が実行する処理が、
前記複数の撮影装置により撮影された画像データから前記被写体の輪郭を検出するステップと、
検出された前記輪郭によって画される被写体画像データに基づいて該被写体の立体撮影モデルを生成するステップと
を含む立体撮影モデル生成方法。

【請求項7】

前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下である、請求項６に記載の立体撮影モデル生成方法。

【請求項8】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定される、請求項７に記載の立体撮影モデル生成方法。

【請求項9】

前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定される、請求項７に記載の立体撮影モデル生成方法。

【請求項10】

前記演算処理装置が実行する処理が、前記立体撮影モデルに基づいて自由視点画像を生成するステップを更に含む、請求項６～９の何れか１項に記載の立体撮影モデル生成方法。

【請求項11】

前記複数の撮影装置が被写体を撮影することで得られる画像データが動画像データであり、
前記演算処理装置は、複数の前記動画像データを同期して前記被写体の動的な立体撮影モデルを生成する、請求項６～１０の何れか１項に記載の立体撮影モデル生成方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

本発明は、複数の方向から撮影した被写体の画像データに基づいて該被写体の三次元モデルを生成するための実写立体撮影技術（Ｖｏｌｕｍｅｔｒｉｃ Ｃａｐｔｕｒｅ）に関する。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００２

【補正方法】変更

【補正の内容】

【0002】

近年、マーカーを使わずに、３６０度全方位から対象となる人や物の動きを撮影することで、被写体の三次元モデルを生成することができる実写立体撮影技術（Ｖｏｌｕｍｅｔｒｉｃ Ｃａｐｔｕｒｅ）が注目されている。本技術によれば、複数のカメラで同期撮影した人物等の動画像からフレーム毎に被写体を抽出し三次元モデル化することで、被写体モデルを仮想空間の任意の位置に配置してその動きをディスプレイ上で自由に再現することができる。複数の視点から撮影した画像を演算処理し、任意の視点から見えるように再現された画像は「自由視点画像」または「仮想視点画像」と呼ばれ、例えば特許文献１には、そのような仮想視点画像を生成するシステムが開示されている。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

Ｖｏｌｕｍｅｔｒｉｃ Ｃａｐｔｕｒｅにおいては、上述したように撮影したフレーム画像から背景を排除し対象とする被写体を抽出する必要がある。被写体と背景とを区別するための手法として、従来、被写体にメッシュ光を投影する方法や、背景にグリーンバックを使用する方法などが採られている。しかし、これら従来の手法では、撮影の場にメッシュ光を投影するためのプロジェクタやグリーンバックなどを設置しなければならず、設備が整えられたスタジオ等でなければ撮影することができない。また、撮影した画像データに対しオブジェクト抽出処理を施して被写体を抽出する手法も考えられる。しかし、複数の視点から撮影された毎秒数十フレームの高精細動画像データに対し、フレーム毎に逐一オブジェクト（被写体画像）を抽出するには、高速大容量の処理能力を有する大型のプラットフォームが必要となる。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

上述した課題を解決するため、本発明は、被写体を複数の方向から撮影するための複数の撮影装置と、前記複数の撮影装置が前記被写体を撮影することで得られる画像データに基づいて前記被写体の輪郭を検出し、該被写体の立体撮影モデルを生成するよう構成された演算処理装置とを含む立体撮影モデル生成システムであって、前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されている、立体撮影モデル生成システムである。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正の内容】

【0010】

また、本発明は、複数の撮影装置と、前記複数の撮影装置が被写体を撮影することで得られる画像データに基づいて該被写体の立体撮影モデルを生成する演算処理装置とを含み、前記撮影装置に用いられる撮像レンズ系の被写界深度が、光軸上において焦点が合う位置を中心に±０．５～±１．５ｍに設定されているシステムにおいて行われる立体撮影モデル生成方法であって、前記複数の撮影装置により前記被写体を複数の方向から撮影するステップと、前記演算処理装置が実行する処理が、前記複数の撮影装置により撮影された画像データから前記被写体の輪郭を検出するステップと、検出された前記輪郭によって画される被写体画像データに基づいて該被写体の立体撮影モデルを生成するステップとを含む立体撮影モデル生成方法である。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

立体撮影モデル生成方法において、前記被写体が前記被写界深度の内にある場合の前記輪郭のエッジ検出精度の最大値に対し、該被写体が前記被写界深度の外にある場合のエッジ検出精度の比が０．７以下であることが好ましい。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正の内容】

【0012】

また、立体撮影モデル生成方法において、前記エッジ検出精度が、前記輪郭の境界における輝度変化を一次微分した値に基づいて算定されることが好ましい。または、三次元画像生成方法は、前記エッジ検出精度が、前記輪郭の境界における輝度変化を二次微分した値に基づいて算定されるものでもよい。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【0013】

また、立体撮影モデル生成方法において、前記演算処理装置が実行する処理が、前記立体撮影モデルに基づいて自由視点画像を生成するステップを更に含むことが好ましい。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

また、立体撮影モデル生成方法において、前記複数の撮影装置が被写体を撮影することで得られる画像データが動画像データであり、前記演算処理装置は、複数の前記動画像データを同期して前記被写体の動的な立体撮影モデルを生成することが好ましい。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】００２２

【補正方法】変更

【補正の内容】

【0022】

図２に示すように、本実施形態のカメラ２０１～２０４に用いられる撮像レンズ系２２１は、その被写界深度（ＤＯＦ；Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）が、光軸Ａｘにおいてレンズの焦点がちょうど合う中央位置（ＣＩＦ；Ｃｅｎｔｅｒ ｉｎ Ｆｏｃｕｓ）を中心に±０．５～±１．５ｍに設定されている。ただし、各カメラ２０１～２０４の光学的な特性は共通しており、カメラ２０１～２０４間では被写界深度特性そのもののばらつきはないものとする。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】００３５

【補正方法】変更

【補正の内容】

【0035】

フレーム生成・伝送部２１７は、フレームメモリ２１９上で画像データをフォーマット変換しフレームデータを生成する。フレームデータには、撮影された時刻を示すタイムコードや、撮影したカメラの識別子情報、カメラパラメータ（フォーカス値、ズーム値、レンズ特性等）などのメタ情報（付属情報）が付与されファイル化される。フレーム生成・伝送部２１７は、作成したフレーム画像データをコントローラ１１０に伝送する。