特許 7479729 三次元表現方法及び表現装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-26

(45)【発行日】2024-05-09

(54)【発明の名称】三次元表現方法及び表現装置

(51)【国際特許分類】

   G06T 15/20 20110101AFI20240430BHJP

   G06T 19/00 20110101ALI20240430BHJP

【ＦＩ】

G06T15/20 500

G06T19/00 A

【請求項の数】 8

(21)【出願番号】P 2023033053

(22)【出願日】2023-03-03

(65)【公開番号】P2023172882

(43)【公開日】2023-12-06

【審査請求日】2023-03-06

(31)【優先権主張番号】202210566798.0

(32)【優先日】2022-05-24

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】523079657

【氏名又は名称】四川中▲縄▼矩▲陣▼技▲術▼▲発▼展有限公司

(74)【代理人】

【識別番号】100152180

【弁理士】

【氏名又は名称】大久保 秀人

(72)【発明者】

【氏名】▲陳▼ 政▲権▼

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００９－２１１３３５（ＪＰ，Ａ）

【文献】特開２０２２－０２９２３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／２０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

対象物に対する異なる複数の視点における各撮影画像から視角境界を定めるステップS10と、
対象物に対する異なる複数の視点における各撮影画像から視角境界内の画像情報を取得するステップS20と、
取得した画像情報に基づいて、対象物を三次元的に表現するステップS30と、
を実行し、
前記ステップS10は、
対象物に対する異なる複数の視点における各撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の最大境界半径を算出するステップS11と、
当該最大境界半径によって形成される円の円周を視角境界と定めるステップS12と、
を含み、
前記画像情報は、前記撮影画像から取得した前記視角境界内の画像情報である初期画像情報、及び／又は、撮影距離を分割し、分割点で対象物を撮影した画像の前記視覚境界内の画像情報を合成した合成画像情報からなる、
ことを特徴とする対象物の三次元表現方法。

【請求項2】

対象物に対する異なる複数の視点における各撮影画像から視角境界を定めるステップS10と、
対象物に対する異なる複数の視点における各撮影画像から視角境界内の画像情報を取得するステップS20と、
取得した画像情報からプリセット領域を算出するステップS41と、
プリセット領域外の画像情報を除去し、それ以外のプリセット領域の画像情報を取得するステップS42と、
取得したプリセット領域の画像情報に基づいて、対象物を三次元的に表現するステップS30と、
を実行し、
前記ステップS10は、
対象物に対する異なる複数の視点における各撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の最大境界半径を算出するステップS11と、
当該最大境界半径によって形成される円の円周を視角境界と定めるステップS12と、
を含み、
前記画像情報は、前記撮影画像から取得した前記視角境界内の画像情報である初期画像情報、及び／又は、撮影距離を分割し、分割点で対象物を撮影した画像の前記視覚境界内の画像情報を合成した合成画像情報からなる、
ことを特徴とする対象物の三次元表現方法。

【請求項3】

前記ステップS20において、
合成画像情報を画像情報として取得するときは、
各視点における対象物と撮影装置の間の撮影距離を取得ステップS21と、
各視点において、撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得するステップS22と、
視点ごとに、２以上の画像情報を合成し、合成画像情報を作成するステップS23と、
を実行する
ことを特徴とする請求項1または２記載の対象物の三次元表現方法。

【請求項4】

前記ステップS30は、
取得した画像情報ごとに属性番号を付与し、画像情報を属性番号が紐づけられた状態で保存ユニットに記録するステップS31と、
各属性番号に紐づけた再現番号を再現ユニットに設定するステップS32と、
再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現するステップS33と、
を実行する
ことを特徴とする請求項1または２記載の対象物の三次元表現方法。

【請求項5】

対象物に対する異なる複数の視点における各撮影画像において当該対象物が完
全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い
視点の最大境界半径を算出し、当該最大境界半径によって形成される視角境界
を算出する視覚境界算出モジュールと、
視点１からNまでの各視点から撮影された各撮影画像の撮影画像情報から、視
角境界内の画像情報を取得する画像情報取得モジュールと、
取得した画像情報をもとに、対象物を三次元的に表現する三次元表現モジュー
ルと、
を有し、
前記画像情報取得モジュールは、
前記画像情報として、前記撮影画像から取得した前記視角境界内の画像情報で
ある初期画像情報、及び／又は、撮影距離を分割し、分割点で対象物を撮
影した画像の前記視覚境界内の画像情報を合成した合成画像情報を取得する
ことを特徴とする対象物の三次元表現装置。

【請求項6】

対象物に対する異なる複数の視点における各撮影画像において当該対象物が完
全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い
視点の最大境界半径を算出し、当該最大境界半径によって形成される視角境界
を算出する視覚境界算出モジュールと、
視点１からNまでの各視点から撮影された各撮影画像の撮影画像情報から、視
角境界内の画像情報を取得する画像情報取得モジュールと、
取得した画像情報からプリセット領域を算出し、プリセット領域外の画像情報
を除去し、それ以外のプリセット領域の画像情報を取得するプリセットモジュ
ールと、
取得したプリセット領域の画像情報をもとに、対象物を三次元的に表現する三
次元表現モジュールと、
を有し、
前記画像情報取得モジュールは、
前記画像情報として、前記撮影画像から取得した前記視角境界内の画像情報で
ある初期画像情報、及び／又は、撮影距離を分割し、分割点で対象物を撮
影した画像の前記視覚境界内の画像情報を合成した合成画像情報を取得する
ことを特徴とする対象物の三次元表現装置。

【請求項7】

前記画像情報取得モジュールは、
合成画像情報を画像情報として取得するときは、
各視点における対象物と撮影装置の間の撮影距離を取得し、
各視点において、撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得し、
視点ごとに、２以上の画像情報を合成し、合成画像情報を作成する
ことを特徴とする請求項5または６記載の対象物の三次元表現装置。

【請求項8】

前記三次元表現モジュールは、
取得した画像情報ごとに属性番号を付与し、画像情報を属性番号が紐づけられた状態で保存ユニットに記録し、
各属性番号に紐づけた再現番号を再現ユニットに記録し、
再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現する
ことを特徴とする請求項5または６記載の対象物の三次元表現装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影対象物を、撮影した画像情報から三次元的に表現する方法及び装置に関する。

【背景技術】

【0002】

撮影対象物（以下「対象物」という。）は、二次元の画像で表現することができるほか、立体的に三次元として表現することもできる。
立体的に三次元として表現する方法として、三次元モデリングの方式や、三次元スキャン技術で得られたデータを面または点群の方式で表す方法が知られている。
しかし、三次元モデリングや三次元スキャンなどの技術によって対象物を三次元として表現する場合、その表現の過程で、対象物に関する情報が失われ、対象物の全ての情報を完全に再現することはできず、さらに表現された三次元の物体は、対象物を正確に三次元に表現したものではない。

【0003】

そこで、特許文献１には、高画質の仮想視点画像を得ようとすれば、その生成のための処理負荷が増大する課題に対し、複数のカメラによって異なる視点から撮影された複数視点画像と、撮影シーンにおける背景の三次元形状を表す背景３Ｄデータとを用いて、仮想視点画像を生成するシステムであって、前記カメラからの視点に対応するシミュレーション画像を、前記背景３Ｄデータを用いて生成する生成手段と、前記シミュレーション画像と前記カメラからの前記視点で実際に撮影された画像との差異を検出する検出手段と、検出結果に基づき前記背景３Ｄデータを更新する更新手段と、を備える仮想視点画像生成システムに関する発明が開示されており、人物等の重要なオブジェクトを含む前景画像と、そのようなオブジェクトを含まない背景画像とを分離して処理することで、仮想視点画像の生成に関する処理負荷を抑えつつ、生成される仮想視点画像における特定オブジェクトに該当する部分の高画質な仮想視点画像の生成が可能になる。

【0004】

しかし、例えば、対象物が火炎、煙、水滴、プラズマなどの場合、これらの対象物は、ハイライト、高反転、高透過の特徴をもち、特許文献１にかかる発明を含め、これまでの三次元モデリングや三次元スキャンの技術では、三次元として表現できない。
これは、再現する過程で、仮想視点画像の生成に関する処理負荷を抑えることを優先するばかりに、前景画像から、物理的属性、対象物自体の情報と環境との反応情報などの種々の情報が失われることが原因であり、この解決手段は、特許文献１には一切開示されていない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開2019-191989公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本発明は、前記問題点に鑑み、視覚境界という概念によって対象物に関する画像情報をすべて取得し、そのうえで対象物以外の情報を除去することで、対象物を正確に三次元に表現できる、対象物の三次元表現方法及び表現装置を提供することを課題とする。

【課題を解決するための手段】

【0007】

従来技術における問題点を解決するために、本発明は、以下の技術的な解決策を講じている。
なお、本発明の説明において、「内」、「下」、「上」など方位と位置関係を指示する用語は、図面に示される方位や作業中によく置く方位、位置関係に基づくものである。
また、方向または位置関係は、本発明を説明し、説明を簡略化するためのものであり、参照されるデバイスまたは要素が特定の方向を有し、特定の方向で構築または操作されなければならないことを示したり示唆したりするものではない。
さらに、「第１」、「第２」などの用語は、説明を区別するためにのみ使用され、相対的な重要性を示したり、暗示することを意味するものではない。

【0008】

本発明にかかる対象物の三次元表現方法は、
対象物に対する異なる複数の視点における各撮影画像から視角境界を定めるステップS10と、
対象物に対する異なる複数の視点における各撮影画像から視角境界内の画像情報を取得するステップS20と、
取得した画像情報に基づいて、対象物を三次元的に表現するステップS30と、
を実行し、
前記ステップS10は、
対象物に対する異なる複数の視点における各撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の最大境界半径を算出するステップS11と、
当該最大境界半径によって形成される円の円周を視角境界と定めるステップS12と、
を含み、
前記画像情報は、前記撮影画像から取得した前記視角境界内の画像情報である初期画像情報、及び／又は、撮影距離を分割し、分割点で対象物を撮影した画像の前記視覚境界内の画像情報を合成した合成画像情報からなる、
ことを特徴とする。

【0009】

さらに、
前記ステップS20のあとに、
取得した画像情報からプリセット領域を算出するステップS41と、
プリセット領域外の画像情報を除去し、それ以外のプリセット領域の画像情報を取得するステップS42と、
を含む。

【0010】

また、前記ステップS20において、
合成画像情報を画像情報として取得するときは、
各視点における対象物と撮影装置の間の撮影距離を取得ステップS21と、
各視点において、撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得するステップS22と、
視点ごとに、２以上の画像情報を合成し、合成画像情報を作成するステップS23と、
を実行する。

【0011】

また、前記ステップS30は、
取得した画像情報ごとに属性番号を付与し、画像情報を属性番号が紐づけられた状態で保存ユニットに記録するステップS31と、
各属性番号に紐づけた再現番号を再現ユニットに設定するステップS32と、
再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現するステップS33と、
を実行する。

【0012】

このような三次元表現装置は、
対象物に対する異なる複数の視点における各撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の最大境界半径を算出し、当該最大境界半径によって形成される円の円周（視角境界）を算出する視覚境界算出モジュールと、
視点１からNまでの各視点から撮影された各撮影画像の撮影画像情報から、視角境界内の画像情報を取得する画像情報取得モジュールと、
取得した画像情報をもとに、対象物を三次元的に表現する三次元表現モジュールと、
を有し、
前記画像情報取得モジュールは、
前記画像情報として、前記撮影画像から取得した前記視角境界内の画像情報である初期画像情報、及び／又は、撮影距離を分割し、分割点で対象物を撮影した画像の前記視覚境界内の画像情報を合成した合成画像情報を取得する
ことを特徴とする。

【0013】

さらに、
取得した画像情報からプリセット領域を算出し、プリセット領域外の画像情報を除去し、それ以外のプリセット領域の画像情報を取得するプリセットモジュールと、
取得したプリセット領域の画像情報をもとに、対象物を三次元的に表現する三次元表現モジュールと、
を含む。

【0014】

また、前記画像情報取得モジュールにおいて、
合成画像情報を画像情報として取得するときは、
各視点における対象物と撮影装置の間の撮影距離を取得し、
各視点において、撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得し、
視点ごとに、２以上の画像情報を合成し、合成画像情報を作成する。

【0015】

また、前記三次元表現モジュールは、
取得した画像情報ごとに属性番号を付与し、画像情報を属性番号が紐づけられた状態で保存ユニットに記録し、
各属性番号に紐づけた再現番号を再現ユニットに設定し、
再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現する。

【0016】

本発明によれば、次の効果を有する。
（１）対象物の画像情報を取得する前に、異なる複数の視点で撮影された対象物の撮影画像から最大境界半径を算出し、最大境界半径によって形成される円の円周を視角境界とし、視角境界内の画像情報のみを取得するので、対象物の撮影画像から画像情報を取得するにあたり、視角境界以外の撮影画像情報を除去することができる。視角境界以外の撮影画像情報を除去することで、視角境界以外の撮影画像情報がその後の三次元表現に影響を与えることを回避でき、対象物に関する画像情報のみを取得することで、取得する画像情報の情報量を削減することができる。

【0017】

（２）各視点における対象物と撮影装置の間の撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得して、複数の画像情報を合成する。同じ視点から撮影された対象物の撮影画像は、拡大しても縮小しても、鮮明に表現でき、ノイズが少なく鮮明であるため、対象物をより滑らかに、より速く三次元で表現できる。

【0018】

（３）取得した画像情報からプリセット領域し、プリセット領域外の画像情報を除去し、それ以外のプリセット領域の画像情報を取得する。プリセット領域外の領域の画像情報を除去することで、画像情報に含まれるノイズを除去し、画像情報が有する情報量を大幅に低減して、三次元表現の効率を向上させることが可能になる。

【0019】

（４）リアルタイムで対象物の異なる時点での三次元表現を行うことができ、取得した画像情報が損失することもなく、対象物を忠実に三次元的に表現できる。

【図面の簡単な説明】

【0020】

【図1】三次元表現方法の手順を示すフロー図

【図2】視角境界の例を模式的に示した図

【図3】合成画像情報の例を模式的に示した図

【図4】三次元的に表現した対象物のイメージ画像

【図5】異なる複数の視点で取得された画像情報のマトリックスと三次元的に表現した対象物のイメージ画像との対応関係を模式的に示した図

【発明を実施するための形態】

【0021】

本発明の技術的解決策をより明確に説明するために、図面をもとに、以下、本発明の具体的な実施形態や先行技術を説明する。
なお、以下の説明は、本発明の実施形態の一部に過ぎず、説明に使用される「含む」、「構成する」等の用語は、特定の実施形態を説明することのみを意図しており、例示および説明のためにのみ使用され、本発明を記載した実施形態の範囲を限定することを意図するものではない。
本明細書で使用される用語は、本開示を限定することを意図するのではなく、特定の実施形態を説明するためにのみ使用される。ここで使用される用語「含む」、「含む」などは、特徴、ステップ、操作、および／または部品の存在を示しているが、1つ以上の他の特徴、ステップ、操作、または部品の存在または追加を排除するものではない。

【0022】

従来の三次元モデリングや三次元スキャンの技術は、見る者に、対象物の三次元表現が可能であるかのような視覚的、意識的な錯覚を与えることで、「表面的な意味」での三次元表現を実現していたが、実際には、三次元モデリングまたは三次元スキャンによって対象物を三次元表現する過程において、対象物が有する真の情報が失われ、現実世界の対象物を正確に三次元表現することはできなかった。
そこで、本発明では、対象物を完全に三次元表現する方法及び装置を提供するが、主な実施例は、次のとおりである。
なお、本発明における「画像」とは、静止画だけでなく、動画も含む。

【0023】

＜三次元表現方法＞
図1～5に示すように、本発明にかかる対象物の三次元表現方法は、次のステップを含む。
ステップS10：対象物の異なる複数の視点における各撮影画像から「視角境界」を定める。
ステップS20：対象物の異なる複数の視点における各撮影画像から視角境界内の画像情報を取得する。
ステップS30：取得した画像情報に基づいて、対象物を三次元的に表現する。

【0024】

ステップS10では、次の処理を行う。
ステップS11：対象物に対する異なる複数の視点における各撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の「最大境界半径」を算出する。
ステップS12：最大境界半径によって形成される円の円周を「視角境界」と定める。

【0025】

異なる複数の視点から、撮影装置によって撮影された対象物の撮影画像の撮影画像情報のうち、必要な撮影画像情報のみを取得するためには、撮影画像から対象物を的確に把握する必要がある。
そこで、異なる複数の視点から撮影された撮影画像において視角境界を定める。
視覚境界を定める方法は、次のとおりである。

【0026】

対象物を撮影する際の視点が、図４のように、対象物の周囲に、視点1、視点2、視点3、視点4・・・視点NのようにN個あると仮定した場合、対象物の撮影画像は、図３のように、視点１からｎまでのｎ枚が作成される。

【0027】

視点1から撮影された撮影画像に写る対象物が、図２の右上の図のように、正方形である場合、対象物である正方形の中心を、撮影画像から公知の画像認識手段によって特定し、対象物である正方形の中心が円の中心になるように、対象物である正方形が完全に収まる最小の円を、撮影画像から公知の画像認識手段によって算出し、当該円の円周から円の中心（正方形の中心）までの距離を境界半径として算出する。

【0028】

視点２から撮影された撮影画像に写る対象物が、図２の右下の図のように、長方形である場合も、視点１の場合と同じように、対象物である長方形の中心を、撮影画像から公知の画像認識手段によって特定し、対象物である長方形の中心が円の中心になるように、対象物である長方形が完全に収まる最小の円を、撮影画像から公知の画像認識手段によって算出し、当該円の円周から円の中心（長方形の中心）までの距離を境界半径として算出する。

【0029】

視点３以降も、視点１、視点２と同じ方法で、境界半径を算出する。

【0030】

最後に、視点１から視点Nまでの各境界半径を比較し、境界半径が最も長い視点における境界半径を最大境界半径とする。
この最大境界半径によって形成される円の円周を「視角境界」とする（図２）。
つまり、視角境界とは、異なる複数の視点から撮影されたそれぞれの撮影画像において、１の撮影画像における対象物の中心と、１の撮影画像における対象物が完全に収まる最小の円と、をつなぐ長さを「境界半径」とし、この境界半径が最も長い視点の最大境界半径によって形成される円の円周を意味する。

【0031】

そして、視点１からNまでの各視点から撮影された各撮影画像から、視角境界内の撮影画像情報のみを「画像情報」として取得する。

【0032】

このようにして、全ての視点から撮影された撮影画像から、対象物が完全に収まる視角境界をもとに、対象物の画像情報を取得する。
そのため、対象物は、全ての撮影画像において、視角境界内に完全に収まり、全ての視点の視覚境界によって作られる球体内に完全に収まる。
また、対象物は、異なる複数の視点から撮影されるため、撮影画像ごとに、全て同じように写ることもあれば、部分的に異なったり、全く異なった見え方で写ることがあるが、そのいずれの視点においても、視覚境界によって作られる球体内に完全に収まることになる。

【0033】

撮影装置は、対象物を撮影できる機能を有するものであれば、どのようなものでもよく、カメラ、仮想カメラなどでもよい。

【0034】

このように、対象物の画像情報を取得する前に、異なる複数の視点で撮影された対象物の撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の最大境界半径を算出し、最大境界半径によって形成される円の円周を視角境界と定め、視角境界内の画像情報のみを取得するので、対象物の撮影画像から画像情報を取得するにあたり、視角境界の外（対象物の中心から離れた方向の範囲）の撮影画像情報を除去することができる。
視角境界の外の撮影画像情報を除去することで、視角境界の外の撮影画像情報が、その後の三次元表現に影響を与えることを回避でき、視覚境界内の画像情報のみを取得することで、取得する画像情報の情報量を削減することができる。

【0035】

また、取得する画像情報は、次の初期画像情報または合成画像情報からなり、いずれか一方または両方を、画像情報として取得できる。

【0036】

初期画像情報とは、撮影画像から取得した、視角境界内の画像情報であり、合成画像情報を除いた画像情報を意味する。
したがって、前記の「画像情報」は、初期画像情報を意味する。

【0037】

合成画像情報とは、撮影距離を分割し、分割点で対象物を撮影した画像の前記視覚境界内の画像情報を合成した画像情報を意味する。
対象物に対する異なる複数の視点における各撮影画像から視角境界内の画像情報を取得する「ステップS20」において、合成画像情報を取得する方法は、次のとおりである。

【0038】

ステップS21：各視点における対象物と撮影装置の間の撮影距離を取得する。
ステップS22：各視点において、撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得する。
ステップS23：視点ごとに、２以上の画像情報を合成し、合成画像情報を作成する。

【0039】

各視点における対象物と撮影装置の間の撮影距離は、公知の手段で取得する（ステップS21）。
その後、視点ごとに、撮影距離を2以上に分割して分割点を設定する。
分割点の設定数は、任意であり、例えば、撮影距離が長ければ、分割点を増やし、撮影距離が短ければ、分割点を減らすことができる。
例えば、視点Nにおいて、撮影距離を３分割する場合、分割点は2か所設定され、分割点１で撮影された撮影画像からは画像情報１を、分割点２で撮影された撮影画像からは画像情報２を、それぞれ取得する。
このようにして、分割点ごとに画像情報を取得する（ステップS22）。

【0040】

これにより、同じ視点から撮影された対象物の撮影画像は、拡大しても縮小しても、鮮明に表現でき、ノイズが少なく鮮明であるため、対象物をより滑らかに、より速く三次元で表現できる。
視点ごとに分割点の数だけ取得した２以上の画像情報は、公知の手段で合成され、合成画像情報が作成される。

【0041】

対象物と撮影装置の撮影距離と、撮影距離の分割数は、全ての視点において、同じであってもよく、一部が同じであってもよく、異なっていてもよい。
また、対象物と撮影装置の撮影距離の分割数は、自由に設定でき、画像情報の情報量が多い場合には、分割数を増やしたり、画像情報の情報量が少ない場合には、分割数を減らすこともできる。

【0042】

画像情報を取得するタイミングは、任意であり、例えば、同じ時間でも、異なる時間でも構わない。
また、視点1では初期画像情報を取得し、視点２では合成画像情報を取得するなど、視点ごとに、異なる画像情報を取得することができ、全ての視点で、初期画像情報または合成画像情報のどちらか一方のみの画像情報を取得することもできる。
また、１の視点で、初期画像情報と合成画像情報を同時に取得することもできる。

【0043】

また、対象物の異なる複数の視点における各撮影画像から視角境界内の画像情報を取得する「ステップS20」の後に、次のステップを行う。
ステップS41：取得した画像情報からプリセット領域を算出する。
ステップS42：プリセット領域外の画像情報を除去し、それ以外のプリセット領域の画像情報を取得する。

【0044】

プリセット領域とは、画像情報における対象物のみの画像情報を意味する。
取得した画像情報から、対象物以外、つまり、プリセット領域外の領域の画像情報を除去することで、画像情報に含まれるノイズを除去し、画像情報が有する情報量を大幅に低減して、三次元表現の効率を向上させることが可能になる。

【0045】

初期画像情報からプリセット領域を算出する方法は、初期画像情報を公知のセグメンテーションの方法によって対象物と対象物ではない領域に分け、対象物のみの領域をプリセット領域とする。
その後、初期画像情報から対象物ではない領域を除去することで、対象物のみが含まれるプリセット領域の画像情報を取得できる。

【0046】

合成画像情報からプリセット領域を算出する方法は、合成画像情報を公知のセグメンテーションの方法によって対象物と対象物ではない領域に分け、対象物のみの領域をプリセット領域とする。
その後、合成画像情報から対象物ではない領域を除去することで、対象物のみが含まれるプリセット領域の画像情報を取得できる。
特に、合成画像情報の場合、取得する画像情報が多いため、画像情報が有する情報量を大幅に低減できる。

【0047】

取得した画像情報に基づいて、対象物を三次元的に表現する「ステップS30」は、次の２つの方法によって行う。

【0048】

１つ目は、対象物の画像情報を取得しながら、三次元表現を行う方法である。
対象物の三次元表現を、リアルタイムで、その都度行い、その途中で、他の処理方法を経由しないため、取得した画像情報を損失することなく、対象物の三次元表現を実現できる。

【0049】

２つ目は、対象物の異なる複数の視点における各撮影画像から視角境界内の画像情報を取得（ステップS20）した後、画像情報ごとに付与した属性番号と、属性番号に紐づけた画像情報を記録したうえで、各属性番号に紐づけた再現番号を設定しておき、再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現する方法である。

【0050】

２つ目の方法によって、対象物を三次元的に表現する方法では、対象物の異なる複数の視点における各撮影画像から視角境界内の画像情報を取得（ステップS20）した後、次のステップを実行する。
ステップS31：取得した画像情報ごとに属性番号を付与し、画像情報を属性番号が紐づけられた状態で保存ユニットに記録する。
ステップS32：各属性番号に紐づけた再現番号を再現ユニットに設定する。
ステップS33：再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現する。

【0051】

属性番号は、画像情報に含まれる視点情報、方位情報（例えば緯度、経度など）などで、各視点において取得する画像情報に関連する情報として、1-45°-3、001、abc、1_1_0、１～１～０など、種々の識別可能な番号や記号等を使用できる。
属性番号は、属性番号が付与された画像情報とともに、画像情報に紐づけられた状態で保存ユニットに記録される。
各属性番号は、予め再現ユニットに設定した再現番号に紐づけられる。
そのため、再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現できる。

【0052】

ステップS31の保存ユニットは、各種の情報を記録できればよく、三次元表現方法を実現する処理装置に、内蔵され、外部接続され、無線通信接続されるなど、その構成は問わず、キャプチャ装置、バックエンドサーバ等であってもよい。
また、ステップS32の再現ユニットは、予め各属性番号に紐づけた再現番号を設定したうえで、例えば、設定された再現番号の順番のとおりに、再現番号に紐づけられた属性番号によって対象物を三次元的に表現する。

【0053】

＜三次元表現装置＞
本発明にかかる対象物の三次元表現装置は、以下のモジュールを含む。
視覚境界算出モジュール：対象物に対する異なる複数の視点における各撮影画像において当該対象物が完全に収まる最小の円の半径である境界半径を比較し、当該境界半径が最も長い視点の「最大境界半径」を算出し、最大境界半径によって形成される円の円周を視角境界と定める。
画像情報取得モジュール：視点１からNまでの各視点から撮影された各撮影画像の撮影画像情報から、視角境界内の画像情報を取得する。
プリセット領域算出モジュール：取得した画像情報からプリセット領域を算出し、プリセット領域外の画像情報を除去し、それ以外のプリセット領域の画像情報を取得する。
三次元表現モジュール：取得したプリセット領域の画像情報をもとに、対象物を三次元的に表現する。

【0054】

画像情報取得モジュールは、さらに、次のことを行う。
各視点における対象物と撮影装置の間の撮影距離を取得する。
各視点において、撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得する。
視点ごとに、２以上の画像情報を合成し、合成画像情報を作成する。

【0055】

三次元表現モジュールは、さらに、次のことを行う。
取得した画像情報ごとに属性番号を付与し、画像情報を属性番号が紐づけられた状態で保存ユニットに記録する。
各属性番号に紐づけた再現番号を再現ユニットに設定する。
再現番号をもとに、再現番号に紐づけられた属性番号が付与された対象物を三次元的に表現する。

【0056】

これらのモジュールは、ハードウェアでもソフトウェアでも実装できる。

【0057】

以上の三次元表現方法または三次元表現装置を用いて対象物を取得する場合、その対象物を三次元的に表現できるだけでなく、対象物からより多くの画像情報を得ることができるため、画像情報から種々のデータを抽出し、分析し、要約して、種々の条件や属性などの情報を得ることができるので、対象物の識別、分類、追跡などの情報を二次利用したり、機械学習にも活用できる。

【0058】

陶器製のティーポットを例に説明すると、ティーポットの表面に光源が当たっている状態では、光源が当たっている箇所を直視する視点（例えば視点１）には、ティーポットの表面の模様、色、質感などの情報が鮮明に表われる。
しかし、光源が当たっている箇所を斜視する別の視点（例えば視点２）には、ティーポットの表面の光沢が弱くなり、ティーポットの表面の模様、色、質感などの情報が鮮明に表われない。
このように、視点が異なると、同じティーポットでも、異なる状態に表われる。

【0059】

しかし、本発明の三次元表現方法または三次元表現装置を用いれば、取得した画像情報から対象物を三次元的に表現でき、現実の対象物が有する特性や状態が、対象物が存在する現実とは異なる時間、異なる視点、異なる場所、異なる環境でも、現実の対象物を忠実に表現できる。
そのため、炎、煙、水滴、プラズマなどの高光量、高反射、高透過の不定形物体でも三次元に表現でき、物体と環境との反応情報を忠実に反映できる。

【図1】

【図2】

【図3】

【図4】

【図5】