特開 2023-170623 ３次元データ処理装置、３次元データ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170623

(43)【公開日】2023-12-01

(54)【発明の名称】３次元データ処理装置、３次元データ処理方法

(51)【国際特許分類】

   G06T 7/254 20170101AFI20231124BHJP

   G06T 19/00 20110101ALI20231124BHJP

   G06T 17/00 20060101ALI20231124BHJP

   G06T 9/00 20060101ALI20231124BHJP

【ＦＩ】

G06T7/254 A

G06T19/00 A

G06T17/00

G06T9/00 100

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022082510

(22)【出願日】2022-05-19

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】三谷 佳一

(72)【発明者】

【氏名】田島 和幸

(72)【発明者】

【氏名】中村 悠介

【テーマコード（参考）】

5B050

5B080

5L096

【Ｆターム（参考）】

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050EA05

5B050EA07

5B050EA12

5B050EA18

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5B080AA00

5B080AA19

5B080BA02

5B080BA04

5B080CA01

5B080DA06

5B080GA00

5L096AA09

5L096CA04

5L096FA09

5L096HA04

5L096JA11

(57)【要約】

【課題】３次元データの記録・伝送において、３次元データの圧縮率を向上しデータ量を低減することを可能とする技術を提供する。
【解決手段】本発明に係る３次元データ処理装置は、３次元データ内の被写体を含む領域として、第１時刻における第１領域と第２時刻における第２領域をそれぞれ検出し、前記第１領域と前記第２領域との間の座標変換を用いて、前記第１時刻と前記第２時刻との間における前記３次元データの差分を計算する。
【選択図】図２

【特許請求の範囲】

【請求項1】

３次元空間に存在する被写体を記述した３次元データを処理する３次元データ処理装置であって、
前記３次元データを取得するデータ取得部、
前記３次元データのうち前記被写体が存在する領域を検出する領域計算部、
異なる時刻間における前記被写体の座標変換を計算する変換計算部、
異なる時刻間における前記３次元データの差分を計算する差分計算部、
を備え、
前記領域計算部は、第１時刻における前記３次元データに含まれる前記被写体を第１領域として検出し、
前記領域計算部は、第２時刻における前記３次元データに含まれる前記被写体を第２領域として検出し、
前記変換計算部は、前記第１領域と前記第２領域との間の前記座標変換を計算し、
前記差分計算部は、前記座標変換を用いて、前記第１領域と前記第２領域のうち対応する部分を相互比較することにより、前記第１時刻と前記第２時刻との間における前記差分を計算する
ことを特徴とする３次元データ処理装置。

【請求項2】

前記変換計算部は、前記第１領域と前記第２領域との間における前記被写体の移動量または回転または変形のうち少なくともいずれかを特定することにより、前記座標変換を計算し、
前記変換計算部は、前記第１領域と前記第２領域のうち互いに対応する部分を識別することにより、前記座標変換を計算する
ことを特徴とする請求項１記載の３次元データ処理装置。

【請求項3】

前記変換計算部は、前記座標変換に基づき、前記第２時刻において前記被写体を包含すると推定される推定領域を前記第１領域から推定するとともに、前記推定領域における前記３次元データを推定し、
前記差分計算部は、前記推定領域における前記３次元データと前記第２領域における前記３次元データを比較することを介して、前記差分を計算する
ことを特徴とする請求項１記載の３次元データ処理装置。

【請求項4】

前記差分計算部は、前記第２領域のうち前記推定領域のなかに含まれない部分における前記３次元データを、前記差分として計算する
ことを特徴とする請求項３記載の３次元データ処理装置。

【請求項5】

前記領域計算部は、前記３次元空間を格子状に分割したグリッドを生成し、
前記差分計算部は、前記第２領域における前記３次元データと、前記推定領域における前記３次元データとの間の距離を、前記グリッドごとに計算し、
前記差分計算部は、前記第２領域のうち、前記推定領域のなかに含まれかつ前記距離が閾値以上である前記グリッドにおける前記３次元データを、前記差分として計算する
ことを特徴とする請求項３記載の３次元データ処理装置。

【請求項6】

前記領域計算部は、前記３次元空間を格子状に分割したグリッドを生成し、
前記差分計算部は、前記第２領域における前記３次元データと、前記推定領域における前記３次元データとの間の距離を、前記グリッドごとに計算し、
前記差分計算部は、前記第２領域のうち、前記推定領域のなかに含まれかつ前記距離が閾値未満である前記グリッドを、差分なしグリッドとして特定し、
前記差分計算部は、前記差分なしグリッドにおける前記３次元データを、前記差分から除外する
ことを特徴とする請求項３記載の３次元データ処理装置。

【請求項7】

前記差分計算部は、前記推定領域のなかに含まれかつ前記第２領域を含まない部分を、前記差分なしグリッドとして特定する
ことを特徴とする請求項６記載の３次元データ処理装置。

【請求項8】

前記３次元データ処理装置はさらに、前記３次元データを管理するデータ管理部を備え、
前記データ管理部は、前記３次元データのうち前記差分なしグリッドに対応する部分については、前記３次元データそのものに代えて、前記座標変換の内容を記述したデータを管理することにより、管理するデータ量を抑制する
ことを特徴とする請求項６記載の３次元データ処理装置。

【請求項9】

前記３次元データ処理装置はさらに、前記３次元データを管理するデータ管理部を備え、
前記データ管理部は、前記差分なしグリッドにおける前記３次元データに対して、前記座標変換の逆変換を適用することにより、前記第１領域における前記差分なしグリッドに対応する前記グリッドを特定し、
前記データ管理部は、前記逆変換によって特定した前記グリッドに属する前記３次元データに対して前記座標変換を適用することにより、前記第２領域における前記差分なしグリッドに属する前記３次元データを復元し、
前記データ管理部は、前記差分なしグリッドについては、前記３次元データそのものを管理することに代えて、前記復元を実施することにより、管理するデータ量を抑制する
ことを特徴とする請求項６記載の３次元データ処理装置。

【請求項10】

前記３次元データ処理装置はさらに、前記３次元データを送信する送信部を備え、
前記送信部は、前記３次元データのうち前記差分なしグリッドに対応する部分については、前記３次元データそのものに代えて、前記座標変換の内容を記述したデータを送信することにより、送信するデータ量を抑制する
ことを特徴とする請求項１記載の３次元データ処理装置。

【請求項11】

前記３次元データ処理装置はさらに、前記３次元データを送信する送信部を備え、
前記送信部は、前記差分なしグリッドについては、前記３次元データそのものに代えて、前記差分なしグリッドを特定する情報を送信することにより、送信するデータ量を抑制する
ことを特徴とする請求項６記載の３次元データ処理装置。

【請求項12】

前記３次元データ処理装置はさらに、前記３次元データを仮想空間上に描画する仮想空間管理部を備え、
前記３次元データ処理装置はさらに、前記描画した前記３次元データを見るユーザの視野を特定する視野特定部を備え、
前記領域計算部、前記変換計算部、および前記差分計算部は、前記３次元データのうち前記視野内に含まれる部分のみを処理対象として用いる
ことを特徴とする請求項１記載の３次元データ処理装置。

【請求項13】

前記視野特定部は、前記仮想空間上における前記ユーザの仮想視野を指定するユーザ入力を受け取り、
前記視野特定部は、前記ユーザ入力が指定する前記仮想視野を、前記視野として特定する
ことを特徴とする請求項１２記載の３次元データ処理装置。

【請求項14】

３次元空間に存在する被写体を記述した３次元データを処理する３次元データ処理方法であって、
前記３次元データを取得するステップ、
前記３次元データのうち前記被写体が存在する領域を検出するステップ、
異なる時刻間における前記被写体の座標変換を計算するステップ、
異なる時刻間における前記３次元データの差分を計算するステップ、
を有し、
前記領域を検出するステップにおいては、第１時刻における前記３次元データに含まれる前記被写体を第１領域として検出し、
前記領域を検出するステップにおいては、第２時刻における前記３次元データに含まれる前記被写体を第２領域として検出し、
前記座標変換を計算するステップにおいては、前記第１領域と前記第２領域との間の前記座標変換を計算し、
前記差分を計算するステップにおいては、前記座標変換を用いて、前記第１領域と前記第２領域のうち対応する部分を相互比較することにより、前記第１時刻と前記第２時刻との間における前記差分を計算する
ことを特徴とする３次元データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元空間に存在する被写体を記述した３次元データを処理する技術に関する。

【背景技術】

【0002】

３次元空間内に存在する被写体を計測する技術は、様々なものが存在する。

【0003】

特許文献１は、『動画の配信において、空間又はその中に位置する被写体の異なる方向からの視聴を可能とする際のデータ容量の圧縮を実現する。』ことを課題として、『配信装置２２０は、配信対象の３Ｄ空間又はその中に位置する１又は複数の被写体を撮影する撮影カメラ２１０から受信する１又は複数の映像データに基づいて、当該３Ｄ空間内の１又は複数の被写体をそれぞれ３Ｄオブジェクトとして認識し、ユーザー端末２３０に送信する。その後、動きのある３Ｄオブジェクトを検出して、その差分を示すモーションデータを生成する。配信装置２２０は、生成したモーションデータをユーザー端末２３０に送信し、ユーザー端末２３０においては、受信したモーションデータに基づいて保持している３Ｄオブジェクトデータを動かし、上記モーションデータに対応する期間に動きのない他の３Ｄオブジェクト又は２Ｄオブジェクトとともにある視線方向の映像として表示画面に表示する。』という技術を記載している（要約参照）。

【0004】

特許文献２は、『画像領域ごとにフレーム内圧縮／フレーム間予測差分圧縮を切り替える技術を提供する』ことを課題として、『本発明の画像圧縮装置は、動きベクトル検出部、判定部、フレーム内圧縮部、およびフレーム間圧縮部を備える。動きベクトル検出部は、画像データ間の動きベクトルを画像上の複数位置で求める。判定部は、動きベクトルの画像上の空間変化を大小判定する。フレーム内圧縮部は、圧縮対象の画像データから、動きベクトルの空間変化が大きいと判定される画像領域Ａを選別し、選別された画像領域Ａにフレーム内圧縮を施す。フレーム間圧縮部は、圧縮対象の画像データから、動きベクトルの空間変化が小さいと判定される画像領域Ｂを選別し、選別された画像領域Ｂにフレーム間予測差分圧縮を施す。』という技術を記載している（要約参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－０３３１０７号公報

【特許文献2】特開２００８－０７９２３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１や特許文献２の方法は、画像データ間のモーションや動きベクトルに基づきデータを圧縮する。しかし３次元データを取り扱う場合にはそれでもデータ量が多く、データ伝送時には通信帯域を圧迫するので、さらなるデータ量低減が必要とされている。
本発明は、上記のような課題に鑑みてなされたものであり、３次元データの記録・伝送において、３次元データの圧縮率を向上しデータ量を低減することを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る３次元データ処理装置は、３次元データ内の被写体を含む領域として、第１時刻における第１領域と第２時刻における第２領域をそれぞれ検出し、前記第１領域と前記第２領域との間の座標変換を用いて、前記第１時刻と前記第２時刻との間における前記３次元データの差分を計算する。

【発明の効果】

【0008】

本発明に係る３次元データ処理装置によれば、３次元データの記録・伝送において、３次元データの圧縮率を向上しデータ量を低減することが可能となる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係る３次元データ処理装置１の設置環境を例示する図である。

【図2】３次元データ処理装置１の機能ブロック図である。

【図3】領域管理部２１５で管理されるクラスタの１例と、近傍距離算出部２１６および差分判定部２１７および３次元情報管理部２１９で実施される処理の具体例を示す図である。

【図4】３次元データ処理装置１で実施される処理フローの１例を示す。

【図5】実施形態２に係る３次元データ処理装置１の構成例を示す図である。

【図6】実施形態２における３次元データ処理装置１の機能ブロック図である。

【図7A】実施形態２における３次元データ処理装置１で実施される処理フローの１例を示す。

【図7B】実施形態２における３次元データ処理装置１で実施される処理フローの１例を示す。

【図8】実施形態３に係る３次元データ処理装置１の構成例を示す図である。

【図9】実施形態３における３次元データ処理装置１の機能ブロック図である。

【図10A】実施形態３における３次元データ処理装置１で実施される処理フローの１例を示す。

【図10B】実施形態３における３次元データ処理装置１で実施される処理フローの１例を示す。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態を図面に基づいて説明する。実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

【0011】

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0012】

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

【0013】

＜実施の形態１＞
図１は、本発明の実施形態１に係る３次元データ処理装置１の設置環境を例示する図である。３次元データ処理装置１は、測距装置１０２から取得した情報を用いて３次元情報を生成し圧縮する。測距装置１０２は、視野１０３を持ち、視野１０３内の被写体１０４および１０５を含む画像情報を撮像し、３次元データ処理装置１へ画像情報とカメラパラメータを出力する。被写体１０４は、現在時刻において測距装置１０２が撮像した時刻での物体である。被写体１０５は、現在時刻より過去の時刻において、測距装置１０２が撮像した時刻での物体である。

【0014】

測距装置１０２が撮像する画像情報は、各画素に距離情報を持つ距離画像であるが、距離画像の撮像だけではなく、各画素が一般的な階調情報（ＲＧＢなど）を持つＲＧＢ画像も同時に撮像する装置であってもよい。また、測距装置１０２は、距離が測れる装置であれば、内部のセンサ種類や配置、回路構成などに限定はない。例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを２つ設けたステレオカメラ、赤外線レーザとイメージセンサを組み合わせたＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式センサ、投影用パターン発光素子とイメージセンサを組み合わせたストラクチャードライト方式のセンサ、また、これらを単純なＲＧＢカメラと組み合わせ、互いの画素位置間の関係を調整したものなどがある。他にも、ＲＧＢ画像のみから距離を測れる装置であってもよい。例えば、機械学習などによって事前にＲＧＢ画像と距離画像の対応関係を学習あるいは微分可能レンダリングなどを用いてＲＧＢ画像とライトフィールドの関係を学習させておき、実際に使用する際はＲＧＢ画像のみを入力とするものがある。

【0015】

本実施形態においては、現実空間を移動する被写体を測距装置１０２が撮像し、過去時刻および現在時刻において撮像された被写体１０４および１０５の相対的な関係から３次元データを圧縮する。図１においては被写体が一種しか存在していないが、以降で説明する処理は１つまたは複数の被写体を撮像する場合を含んでいる。

【0016】

図２は、３次元データ処理装置１の機能ブロック図である。３次元データ処理装置１は、情報取得部２１（データ取得部）、情報管理部２２、領域情報計算部２３（領域計算部）、変換情報計算部２４（変換計算部）、差分情報計算部２５（差分計算部）を備える。情報取得部２１は、画像取得部２０１と３次元変換部２０２を有する。情報管理部２２は、座標系管理部２０３、グリッド管理部２０５、特徴量管理部２０９、変換情報管理部２１２、領域管理部２１５、３次元情報管理部２１９を有する。領域情報計算部２３は、グリッド生成部２０４、動体判定部２０６、接続関係生成部２０７を有する。変換情報計算部２４は、特徴量計算部２０８、特徴量同定部２１０、座標変換算出部２１１、座標変換推定部２１３、領域制御部２１４を有する。差分情報計算部２５は、近傍距離算出部２１６、差分判定部２１７、マスキング部２１８を有する。

【0017】

画像取得部２０１は、測距装置１０２から画像情報およびカメラパラメータを取得し、３次元変換部２０２へ出力する。

【0018】

３次元変換部２０２は、画像取得部２０１から取得した画像情報およびカメラパラメータを用いて、画像情報を座標変換によって３次元座標点の集合（以降、点群データと呼ぶ）へ変換し、グリッド管理部２０５へ出力する。なお、点群データに依らず、３点以上の座標点を面によって空間補間したサーフェスデータや、４点以上の座標点を多面体によって空間補間したボリュームデータへ変換したとしても、頂点座標を参照することで本装置は実施可能であるので、以降の説明では点群データを用いる。

【0019】

座標系管理部２０３は、３次元データ処理装置１内で点群データを扱う際に基準となる世界座標系に関する情報を管理し、グリッド生成部２０４からの要求に応じて世界座標系に関する情報をグリッド生成部２０４に出力する。管理する情報は、例えば、右手系あるいは左手系であるか、Ｚ－ｕｐあるいはＹ－ｕｐなどの地面に対する垂直軸の定義や、データの有効範囲を示したバウンディングボックスの頂点情報などの定義である。また、実際に設置された測距装置１０２の位置や姿勢などの情報を基に、世界座標系における測距装置１０２の世界座標と傾き角を点群データの原点としておくなどといった定義をしてもよい。

【0020】

グリッド生成部２０４は、座標系管理部２０３で定義された世界座標系に関する情報を参照し、空間を格子状に分割したグリッドを生成し、グリッド管理部２０５へ出力する。グリッドの生成は、処理開始時の一度だけ、あるサイズの幅を持った直方体によって等分割したものでもよいし、Ｏｃｔｒｅｅなどの探索木によって、随時、点群データのある領域は小さなグリッドで分割し、何もない空間は大きなグリッドで分割してもよい。

【0021】

グリッド管理部２０５は、３次元変換部２０２から点群データを取得し、グリッド生成部２０４からグリッド情報を取得し、グリッドの番地を示すインデックス情報と各グリッド内を占める点群データを紐づけ、各グリッド内を占める点群データの密度や各グリッド内を占める点群データの代表点位置を計算し、インデックス情報と点群データの密度情報、代表点位置を動体判定部２０６に出力する。代表点位置としては、例えば、各グリッド内を占める点群データの重心を計算する。また、動体判定部２０６から、動体であると判定されたグリッドのインデックスおよび一定時間変化のないグリッドのインデックスを取得し、一定時間変化のないグリッドが連続して変化しない状態であるフレーム数をカウントし、一定数を超えると背景として紐づける。そして、動体であると判定されたグリッドのインデックスと代表点およびグリッド内の点群データを特徴量計算部２０８に出力する。加えて、マスキング部２１８から要求されたインデックス情報に対応する点群データをマスキング部２１８に出力する。以降、動体であると判定されたグリッドを動体グリッド、一定時間変化のないグリッドを準背景グリッド、背景として登録されたグリッドを背景グリッドと呼ぶ。

【0022】

動体判定部２０６は、グリッド管理部２０５から点群のインデックス情報、密度情報、代表点位置を取得し、各グリッドが動体であるか否かを判定し、動体でない場合は準背景グリッドと判定する。動体グリッドのインデックス情報と準背景グリッドのインデックス情報をグリッド管理部２０５に出力し、動体グリッドのインデックス情報と代表点位置を接続関係生成部２０７に出力する。動体であるかどうかの判定は、例えば、背景グリッド内の密度変化が一定閾値を一定時間以上上回るか否かにより実施する。準背景であるかどうかの判定は、例えば、動体グリッド内の密度変化が一定時間以上不変であるか否かにより実施する。

【0023】

接続関係生成部２０７は、動体判定部２０６から動体グリッドのインデックス情報と代表点位置を取得し、隣り合った動体グリッドを同一領域であるものとしてグルーピングし、各グループ化された動体グリッド群（以降、クラスタと呼ぶ）に対して一様にグループのインデックス（以降、クラスタ識別インデックスと呼ぶ）を付与し、領域管理部２１５に動体グリッドのインデックス情報と代表点位置およびクラスタ識別インデックスを出力する。

【0024】

特徴量計算部２０８は、グリッド管理部２０５から動体グリッドのインデックスと代表点およびグリッド内の点群データを取得し、計算した特徴量を動体グリッドのインデックスに紐づけて特徴量管理部２０９に出力する。特徴量の計算は、例えば、代表点を中心としたボクセル内の点群に対してＳＨＯＴ（Ｓｉｇｎａｔｕｒｅ оｆ Ｈｉｓｔｇｒａｍｓ оｆ Ｏｒｉｅｎｔａｔｉｏｎｓ）やＦＰＦＨ（Ｆａｓｔ Ｐｏｉｎｔ Ｆｅａｔｕｒｅ Ｈｉｓｔｇｒａｍｓ）を計算する。

【0025】

特徴量管理部２０９は、特徴量計算部２０８から特徴量の紐づいた動体グリッドのインデックスを取得し、一定期間管理する。また、特徴量同定部２１０から要求された期間における、特徴量の紐づいた動体グリッドのインデックスを特徴量同定部２１０に出力する。管理する期間としては、例えば、現在時刻の取得情報と過去時刻の取得情報を含む２つの時刻でもよいし、現在時刻を含む過去数時刻分の期間でもよい。

【0026】

特徴量同定部２１０は、特徴量管理部２０９に格納された、現在を含む一定期間における特徴量の紐づいた動体グリッドのインデックス情報を要求して取得し、領域管理部２１５から、動体グリッドの代表点位置とクラスタ識別インデックスを要求して取得し、現在の各クラスタにおける特徴量と過去の各クラスタにおける特徴量を同定し、座標変換算出部２１１に対して各クラスタにおける動体グリッドのインデックス情報と代表点位置および過去時刻から現在時刻における対応点の関係を出力する。また、座標変換算出部２１１から各クラスタに対して計算された座標変換を取得し、過去時刻における各代表点位置に対して座標変換を実施し、現在時刻および座標変換後の過去時刻における各代表点位置の対応点同士の距離総計が一定閾値未満あるいは反復計算回数が一定数以上であれば、同定完了の信号を座標変換算出部２１１へ出力し、同定された現在時刻における各クラスタ識別インデックスを領域管理部２１５へ出力する。同定手法としては、例えばＦＬＡＮＮ（Ｆａｓｔ Ｌｉｂｒａｒｙ ｆｏｒ Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｌｒｓ）などの最近傍探索ライブラリや、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）やＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）などのフィッティング手法を用いる。また、特徴が似た形状のクラスタが複数ある場合、空間的に近くないクラスタ同士で誤対応が発生する可能性があるので、その際は、各代表点位置の距離をコストとしたＨｕｎｇａｒｉａｎ法によってコスト最小化をすることにより、近傍クラスタ同士で対応付けができ、誤対応を防ぐことができる。

【0027】

座標変換算出部２１１は、特徴量同定部２１０から各クラスタにおける動体グリッドのインデックス情報と代表点位置、過去時刻から現在時刻における対応点の関係を取得し、各々の対応点の間における座標変換を計算する。また、特徴量同定部２１０から同定完了の信号を取得した際は、現状の座標変換を変換情報管理部２１２に出力する。座標変換の計算は、例えば、剛体変換であれば、過去時刻における代表点位置の集合をＸ、現在時刻における代表点位置の集合をＹ、回転行列をＲ、並進ベクトルをｔとすると、数１によって計算する。Ｒとｔの初期値は各々単位行列および零ベクトルとしてもよいし、変換情報管理部２１２で管理されている既存の座標変換を初期値としてもよい。

【0028】

【数1】

【0029】

変換情報管理部２１２は、座標変換算出部２１１および座標変換推定部２１３から各クラスタに対する座標変換を取得し、管理する数時刻分の座標変換を基に状態空間を計算し、座標変換と状態空間を一定期間管理する。また、座標変換推定部２１３からの要求に応じて、各クラスタの状態空間を座標変換推定部２１３に出力する。さらに、座標変換算出部２１１およびマスキング部２１８からの要求に応じて、各クラスタの座標変換を座標変換算出部２１１およびマスキング部２１８に出力する。管理する期間としては、現在時刻を含む過去数時刻分および座標変換推定部によって推定された数時刻分の未来の期間である。時刻が進み新たに算出された座標変換を取得した際は、推定値である状態の座標変換を更新し、それに応じて状態空間を更新する。他にも、これらをグラフ構造によって、開始時刻からの移動座標点・姿勢変化をノード、ノード間の相対的な座標変換をエッジとして管理し、計測環境やループ閉じ込みに関する拘束条件を持たせておくことも可能である。

【0030】

座標変換推定部２１３は、変換情報管理部２１２から各クラスタに対する状態空間を取得し、数時刻未来における座標変換を推定し、推定した座標変換を変換情報管理部２１２と領域制御部２１４に出力する。座標変換を推定する方法としては、例えば、Ｋａｌｍａｎフィルタや粒子フィルタ、Ｂａｙｅｓｉａｎフィルタを用いる。

【0031】

領域制御部２１４は、座標変換推定部２１３から推定された数時刻未来における座標変換を取得し、座標変換に応じて領域管理部２１５に制御情報を出力する。制御情報としては、例えば、座標変換が剛体変換行列の場合、その剛体変換行列を制御情報とする。また、領域を５％拡張するなどのスケーリング値も制御情報としてもよいし、内部で処理速度を監視しておき、処理速度の程度に応じてスケーリング値を調整してもよい。

【0032】

領域管理部２１５は、接続関係生成部２０７から動体グリッドのインデックス情報と代表点位置およびクラスタ識別インデックスを取得し、一定期間管理する。また、特徴量同定部２１０から同定された各クラスタ識別インデックスを取得し、更新する。一方、現在時刻において観測された情報、すなわち接続関係生成部２０７から取得した情報、とは別に、推定された数時刻未来における各クラスタ（以降、推定クラスタと呼ぶ）の情報を管理する。推定クラスタは、領域制御部２１４から取得した制御情報に応じて、現在時刻における各クラスタを制御したものである。制御の処理は、例えば、各代表点に対して座標変換を行い位置あるいは姿勢ないし形状またはそれら複数の情報を更新、各代表点の重心点から等方的に膨張あるいは収縮、各代表点の重心点を基準に回転または変形する、などがある。膨張あるいは収縮の際は、各グループ化された動体グリッド群に対する周囲グリッドのインデックスを参照し、各クラスタに対してインデックスを追加あるいは削除する。さらに、近傍距離算出部２１６から要求された期間における、動体グリッドのインデックス情報と代表点位置および各グループのインデックスを近傍距離算出部２１６に出力する。

【0033】

近傍距離算出部２１６は、領域管理部２１５から現在時刻の動体グリッドのインデックス情報と代表点位置およびクラスタ識別インデックスを取得し、推定クラスタの動体グリッドのインデックス情報と代表点位置およびクラスタ識別インデックスを取得し、各クラスタ同士の代表点位置を用いて互いの近傍点を探索し、その距離を各々算出し、現在時刻における各クラスタおよび各推定クラスタの代表点位置、および算出した距離を紐づけた各クラスタのインデックス情報を差分判定部２１７に出力する。近傍点の探索は、例えば、現在時刻のクラスタのある代表点位置と同じないしは近傍に推定クラスタの代表点位置が有るか否か、で判定すると高速である。無い場合は、そのグリッドのインデックスに対する距離は無限大とし、有る場合は代表点間の距離を算出する。推定クラスタのある代表点位置の近傍に現在時刻のクラスタの代表点位置が無い場合は、そのグリッドのインデックスに対する距離はマイナスとする。また、初回において、推定クラスタは空の情報、すなわち現在時刻の動体グリッドの全インデックスに対して距離を無限大とする。距離を無限大とすることの意義については後述する。

【0034】

差分判定部２１７は、近傍距離算出部２１６から、距離情報の紐づいた現在時刻における各クラスタおよび各推定クラスタの代表点位置とグリッドのインデックスおよびクラスタ識別インデックスを取得し、各々の距離が一定の閾値以上であれば差分ありと判定し、逆の場合は差分なしと判定し、マイナスの場合は逆差分ありと判定し、各クラスタのグリッドのインデックスに差分フラグを紐づけてクラスタ識別インデックスとともにマスキング部２１８に出力する。差分および逆差分の意義については後述する。

【0035】

マスキング部２１８は、差分判定部２１７から差分フラグの紐づいた各クラスタの代表点位置とグリッドのインデックスおよびクラスタ識別インデックスを取得し、グリッド管理部２０５に対して差分ありフラグのついた各クラスタのグリッドのインデックスに対応する点群データを取得し、変換情報管理部２１２から各クラスタ識別インデックスに対応する座標変換を取得し、点群データと座標変換、および差分なしフラグのついた代表点位置とグリッドのインデックス情報と、逆差分ありフラグのついた代表点とグリッドのインデックスを３次元情報管理部２１９に出力する。

【0036】

３次元情報管理部２１９は、マスキング部２１８から各クラスタにおける点群データと座標変換および差分なしフラグのついた代表点位置およびグリッドのインデックスと逆差分ありフラグのついた代表点位置とグリッドのインデックスを取得し管理する。現在時刻における点群データを復元する際は、点群データ部分はそのままで、差分なしフラグのついたグリッドのインデックスに対しては、代表点位置に対して逆座標変換を実施し、対応する過去時刻のグリッドのインデックスを占める点群データをコピーし再度座標変換を実施する。なお、コピー操作は逆差分ありフラグのついたグリッドのインデックス以外について実施する。逆座標変換などの具体例については後述する。

【0037】

図３は、領域管理部２１５で管理されるクラスタの１例と、近傍距離算出部２１６および差分判定部２１７および３次元情報管理部２１９で実施される処理の具体例を示す図である。工程３１から工程３４へ進むにしたがって、処理が進行する。

【0038】

工程３１は、過去時刻における被写体１０５が現在時刻における被写体１０４の位置まで移動した状況において、領域管理部２１５で管理されている、現在時刻における被写体１０４のクラスタ３０１および過去時刻における被写体１０５のクラスタ３０２である。クラスタ３０３は、過去時刻における推定クラスタであり、クラスタ３０２の領域を一回り膨張させている。推定クラスタは、現在時刻において被写体１０４を含むと想定される領域を過去時刻において推定した領域である。被写体１０４を確実に包含するためには、クラスタ３０２（過去時刻において被写体１０５が存在するグリッド群）を膨張させることが望ましい。したがって推定クラスタ３０３は、クラスタ３０２を膨張させることにより生成されている。

【0039】

工程３２は、工程３１に対して、近傍距離算出部２１６で実施される処理の結果の１例であり、推定クラスタ３０３の各代表点位置とクラスタ３０１の各代表点位置の最近傍距離を算出したものである。

【0040】

近傍距離３０４は、クラスタ３０１の代表点位置に対して同じグリッドに推定クラスタ３０３の代表点位置がない領域のため、無限大の距離となっている領域である。クラスタ３０１は被写体１０４の現在位置および現在形状を表している。近傍距離３０４に対応するクラスタは、被写体１０４の現在位置および現在形状が、過去時刻において推定した推定クラスタ３０３を逸脱していることを意味している。例えば被写体が変形することによって、近傍距離３０４が生じる。このような逸脱形状を表すために、近傍距離３０４には無限大をセットする。同じことを表現できれば、必ずしも無限大距離でなくてもよい。

【0041】

近傍距離３０５は、クラスタ３０１の代表点位置に対して同じグリッドに推定クラスタ３０３の代表点位置があり、両点間の距離が閾値以上の値となっている領域である。近傍距離３０５に対応するクラスタは、被写体１０４の現在位置および現在形状が、過去時刻において推定した推定クラスタ３０３の範囲内であるが、近傍距離３０６に対して相対的に距離が大きい。例えば被写体の変形が推定クラスタ３０３内に収まっている部分は、近傍距離３０５となる。

【0042】

近傍距離３０６は、クラスタ３０１の代表点位置に対して同じグリッドに推定クラスタ３０３の代表点位置があり、両点間の距離が閾値未満の値となっている領域である。近傍距離３０６に対応するクラスタは、被写体が推定クラスタ３０３内に収まっており、かつ形状が変形していない（あるいは変形が僅か）部分である。

【0043】

近傍距離３０７は、推定クラスタ３０３の代表点位置に対して同じグリッドにクラスタ３０１の代表点位置がないので、両点間の距離がマイナスの値となっている領域である。推定クラスタ３０３はクラスタ３０２を膨張させたものであるので、推定クラスタ３０３のうち被写体１０４が存在しない部分が存在する。このことを表すために、近傍距離３０７にはマイナス値をセットする。同じことを表現できれば、必ずしもマイナス距離でなくてもよい。

【0044】

工程３３は、工程３２に対して、差分判定部２１７で実施される処理の結果の１例であり、各グリッドに紐づけられた距離から差分を判定したものである。差分３０８は、近傍距離３０４および３０５が閾値以上となっているので差分ありと判定されたグリッドである。差分３０９は、近傍距離３０６が閾値未満となっているので差分なしと判定されたグリッドである。差分３１０は、近傍距離３０７がマイナス値となっているので逆差分ありと判定されたグリッドである。

【0045】

工程３４は、３次元情報管理部２１９において実施される処理の一例であり、管理する各時刻における点群データを復元する。動体グリッド群３１１は、差分３０９の代表点位置に対して逆座標変換を行った際の、過去時刻において対応するグリッドである。この動体グリッド群３１１に属する点群データを再度座標変換し、現在時刻において対応するグリッドにコピーすると、差分３０８と統合すれば元の点群データが復元される。

【0046】

工程３４において逆変換したグリッドを再座標変換する理由を説明する。現在時刻における３次元データを即座にユーザへ提示するのであれば、クラスタ３０１の３次元データを提示すれば足りる。他方で現在時刻における３次元データを後になってユーザへ提示するのであれば、現在時刻における３次元データをいったん保存しておいて後になって改めてこれを復元する必要がある。変化がない（または乏しい）グリッドは座標変換のみ保存することにより、データ保存量を抑制できる。ただしこの場合、保存されている３次元データは過去時刻におけるもの（クラスタ３０２）のみなので、いったん過去時刻に向かって逆変換を実施し、過去時刻の３次元データを取得して再座標変換する。これにより、データ保存量を抑制しつつ、変化がない部分を正確に復元できる。

【0047】

図４は、３次元データ処理装置１で実施される処理フローの１例を示す。ステップＳ４０１において、グリッド生成部２０４は座標系管理部２０３の情報を基にグリッドを生成する。ステップＳ４０２において、画像取得部２０１は測距装置１０２から画像情報を取得する。ステップＳ４０３において、３次元変換部２０２は画像情報を点群データに変換する。ステップＳ４０４において、動体判定部２０６は動体グリッドと準背景グリッドを判定する。ステップＳ４０５において、接続関係生成部２０７は動体グリッドをグループ化しクラスタを生成する。ステップＳ４０６において、特徴量計算部２０８は動体グリッドの特徴量を計算する。ステップＳ４０７において、現在の処理が初回であればステップＳ４１３を実施し、初回でなければステップＳ４０８を実施する。ステップＳ４０８において、特徴量同定部２１０は過去時刻における各クラスタの特徴量と現在時刻における各クラスタの特徴量を同定し、各代表点位置の距離の総計を算出する。ステップＳ４０９において、特徴量同定部２１０が算出した各代表点位置の距離の総計が閾値以上あるいは特徴量同定部２１０と座標変換算出部２１１の反復計算が反復閾値回数以上の場合、ステップＳ４１１を実施する。そうでない場合はステップＳ４１０を実施する。ステップＳ４１０において、座標変換算出部２１１は特徴量同定部２１０で同定された各々の対応点の間における座標変換を計算する。ステップＳ４１１において、座標変換推定部２１３は各クラスタの状態空間に関する情報を取得し、数時刻未来における座標変換を推定する。ステップＳ４１２において、領域制御部２１４はクラスタに対して推定された座標変換の情報を基に、領域管理部２１５が管理する各クラスタに対する制御情報を生成し、領域管理部２１５はその情報を基に推定クラスタを生成する。ステップＳ４１３において、近傍距離算出部２１６は現在時刻のクラスタと推定クラスタの間における各々の距離を算出する。ステップＳ４１４において、差分判定部２１７は近傍距離算出部２１６によって算出された各々の距離の情報を基に差分を判定し、差分フラグを生成する。ステップＳ４１５において、マスキング部１８は差分フラグに基づいて、点群データと座標変換に関する情報、および差分なしとフラグのついたグリッドのインデックスと逆差分ありとフラグのついたグリッドのインデックスを３次元情報管理部２１９に出力する。ステップＳ４１６において、処理終了の信号が外部から入力されるなどした場合は処理を終了し、それ以外の場合はステップＳ４０２へ戻り処理を実施する。

【0048】

本実施形態１では、数時刻未来における被写体の情報を推定し、その内容に応じてクラスタを制御し、次の時刻で実際に観測された同被写体との差分を判定するといった能動的な圧縮処理について説明しているが、実際に観測された情報のみを用いる受動的な圧縮処理も可能である。例えば、座標変換推定部２１３において、数時刻未来における座標変換を推定せずに、座標変換算出部２１１によって算出された座標変換に関する情報を変換情報管理部２１２から取得し、そのまま領域制御部２１４に推定情報として出力する。そして、領域制御部２１４においても、取得した座標変換に関する情報をそのまま制御情報として領域管理部２１５に出力する。よって、領域管理部２１５において管理される推定クラスタは、過去時刻におけるクラスタを、座標変換算出部２１１によって算出した座標変換によって制御したものと同じなる。これにより、観測情報のみを用いて圧縮処理をすることができる。

【0049】

＜実施の形態１：まとめ＞
本実施形態１に係る３次元データ処理装置１によれば、動体毎のグリッド単位の変化を差分として抽出し、変化が小さいグリッドについては座標変換式のみを保存し、変化が大きいグリッドについては新たに３次元データを取得する。これにより、３次元データを効率的に圧縮することができる。

【0050】

＜実施の形態２＞
本発明の実施形態２は、実施形態１と基本的に同様であり、差異のある点を中心に説明する。おおむね、実施形態２が実施形態１と異なる点は、点群データを伝送する点である。点群データをローカルストレージに蓄積していく場合においては、実施形態１の構成によって圧縮・復元処理を１つの装置で実施することができるが、リモートにおいて復元する場合においては、本実施形態２の構成を用いることにより、伝送時に３次元データを圧縮して受信側で復元することができる。

【0051】

図５は、実施形態２に係る３次元データ処理装置１の構成例を示す図である。実施形態１で説明した構成に加えて、伝送部５０１と受信部５０２が新設されている。伝送部５０１は、３次元データ処理装置１から取得した情報を受信部５０２に対して送信する。受信部５０２は、伝送部５０１から送信された情報を受信し３次元情報管理部２１９に対して出力する。伝送部５０１と受信部５０２は３次元データ処理装置１の一部として構成してもよいし、別装置として構成してもよい。

【0052】

図６は、実施形態２における３次元データ処理装置１の機能ブロック図である。伝送部５０１は伝送情報生成部６０１と伝送部６０２を備え、受信部５０２は受信部６０３と受信情報解読部６０４を備える。３次元情報管理部２１９は情報管理部２２から受信部５０２に移行している。

【0053】

マスキング部２１８は、３次元情報管理部２１９の代わり伝送情報生成部６０１に対して、点群データと座標変換に関する情報、差分なしフラグのついた代表点位置とグリッドのインデックスと逆差分ありフラグのついた代表点位置とグリッドのインデックスを出力する。

【0054】

伝送情報生成部６０１は、マスキング部２１８から、各クラスタにおける点群データと座標変換に関する情報および差分なしフラグのついた代表点位置とグリッドのインデックスと逆差分ありフラグのついた代表点位置とグリッドのインデックスを取得し、伝送に際するデータ整形を行い伝送部６０２に出力する。データ整形は、例えば、各種のデータを定めたフォーマットに沿ってシリアライズし、ＺＩＰアルゴリズムなどの可逆圧縮を施した上で、ヘッダ情報末尾に付加することにより実施する。

【0055】

伝送部６０２は、伝送情報生成部６０１から取得したデータを受信部６０３へ送信する。送信するプロトコルは、例えば、ＵＤＰ、ＴＣＰ、ＷｅｂＳｏｃｋｅｔなどを使用する。送信先がない場合は、タイムアウトなどの設定に応じてエラーを出力するあるいは、定期的に再接続を図る。

【0056】

受信部６０３は、伝送部６０２からデータを受信する。受信情報解読部６０４は、受信部６０３から取得したデータを元のデータ列へ変換し、各クラスタにおける点群データと座標変換に関する情報および差分なしフラグのついた代表点位置とグリッドのインデックスと逆差分ありフラグのついた代表点位置とグリッドのインデックスを３次元情報管理部２１９に出力する。元のデータ列への変換は、例えば、ヘッダ情報に則り伝送情報生成部６０１でシリアライズおよびＺＩＰ圧縮されたデータをデシリアライズおよびＺＩＰ解凍する。

【0057】

図７Ａ～図７Ｂは、実施形態２における３次元データ処理装置１で実施される処理フローの１例を示す。図４に対して新たにステップＳ７０１からＳ７０７が新設された。Ｓ７０１～Ｓ７０２は伝送側において実施する。Ｓ７０３～Ｓ７０７は受信側において実施する。

【0058】

ステップＳ７０１において、伝送情報生成部６０１は、マスキング部２１８から取得した各クラスタにおける点群データと座標変換に関する情報および差分なしフラグのついた代表点位置とグリッドのインデックスと逆差分ありフラグのついた代表点位置とグリッドのインデックスの情報に対してデータ整形を実施する。ステップＳ７０２において、伝送部６０２は、伝送情報生成部６０１から取得したデータを送信する。

【0059】

ステップＳ７０３において、送信元が存在する場合はステップＳ７０４を実施し、送信元が存在しない場合はステップＳ７０４に進む。ステップＳ７０４において、処理終了の信号が外部から入力されるなどした場合は、処理を終了し、それ以外の場合はステップＳ７０３へ戻り処理を実施する。ステップＳ７０５において、受信部６０３は、伝送部６０２からデータを受信する。ステップＳ７０６において、受信情報解読部６０４は、受信部６０３から取得したデータを元のデータ列へ変換する。ステップＳ７０７において、処理終了の信号が外部から入力されるなどした場合は、処理を終了し、それ以外の場合はステップＳ７０５へ戻り処理を実施する。

【0060】

＜実施の形態２：まとめ＞
本実施形態２に係る３次元データ処理装置１によれば、実施形態１と同様に３次元データを効率的に圧縮した上で、受信部５０２（例えば３次元データ処理装置１とは別に構成した受信装置）に対してその圧縮した３次元データを送信できる。受信部５０２においても実施形態１と同様に圧縮した３次元データを復元できる。すなわち、３次元データをリモートサイトに対して効率的に送信できる。

【0061】

＜実施の形態３＞
本発明の実施形態３は、実施形態１と基本的に同様であり、差異のある点を中心に説明する。おおむね、実施形態３が実施形態１と異なる点は、仮想空間上に点群データを再現し、その中でユーザが視ている領域の動体に注目する点である。例えば、複数の動体が存在する状況において、実際に使用する上で不要となる動体がある場合、本実施形態３に係る構成を用いることにより動体の選択が可能となり、さらなるデータ圧縮が可能となる。

【0062】

図８は、実施形態３に係る３次元データ処理装置１の構成例を示す図である。実施形態１の構成と比較して、視点映像生成部８０３とユーザ入力部８０４を新たに備える。動く被写体８０１と８０２を測距装置１０２で撮像し、３次元データ処理装置１から視点映像生成部８０３に対して点群データが出力され、ユーザ入力部８０４（視野特定部）への入力に応じて仮想空間８０５上の点群データに対するユーザ視点の映像を生成する。被写体データ８０６および８０７は、仮想空間８０５上に再現された被写体８０１および８０２の点群データである。仮想視点８０８は、仮想空間８０５におけるユーザ視点である。視野８０９は、仮想視点８０８の持つ視野である。視点映像生成部８０３とユーザ入力部８０４は、３次元データ処理装置１の一部として構成してもよいし、別装置として構成してもよい。

【0063】

図９は、実施形態３における３次元データ処理装置１の機能ブロック図である。ユーザ入力部８０４は、ユーザ入力取得部９０１、ユーザ座標制御部９０２を備える。仮想空間管理部９０３、視点映像生成部８０３は、仮想視野生成部９０４、レンダリング部９０５を備える。動体判定部２０６と３次元情報管理部２１９が動体判定部９０６と３次元情報管理部９０７に変更されている。動体判定部９０６、３次元情報管理部９０７については、動体判定部２０６、３次元情報管理部２１９と基本的に同じであるので、以下では差異部分についてのみ説明する。

【0064】

ユーザ入力取得部９０１は、ユーザの機器などに対する入力信号を取得し、ユーザ座標制御部９０２に出力する。入力操作は、例えば、キーボードの押下、マウスの移動やドラッグ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の頭部移動や傾きなどがある。

【0065】

ユーザ座標制御部９０２は、ユーザ入力取得部９０１から入力信号を取得し、仮想視点８０８の移動量および回転移動量へ変換し、仮想視野生成部９０４へ出力する。

【0066】

仮想空間管理部９０３は、仮想視点８０８における映像を生成するために必要な空間情報およびユーザ視点８０８の位置と姿勢情報とカメラモデルのパラメータを管理し、仮想視野生成部９０４からの要求に応じて空間情報およびユーザ視点８０８の位置と姿勢情報とカメラモデルのパラメータを出力し、レンダリング部９０５からの要求に応じて、空間情報を出力する。また、仮想視野生成部９０４からユーザ視点８０８の位置と姿勢情報が入力された場合は、その情報に更新する。管理する空間情報は、例えば、世界座標系の原点位置や、右手系あるいは左手系であるか、Ｚ－ｕｐあるいはＹ－ｕｐなどの地面に対する垂直軸の定義や、空間の範囲を示したバウンディングボックスの頂点情報などの定義であり、基本的には座標系管理部２０３で管理する情報と同じである。

【0067】

仮想視野生成部９０４は、仮想空間管理部９０３で管理する空間情報およびユーザ視点８０８の位置と姿勢情報とカメラモデルのパラメータを要求して取得し、ユーザ座標制御部９０２から取得した仮想視点８０８の移動量と回転移動量を用いてユーザ視点８０８の位置と姿勢情報を更新し、仮想空間管理部９０３へ出力する。また、ユーザ視点８０８の位置と姿勢情報およびカメラモデルのパラメータを用いて射影変換を計算し、レンダリング部９０５へ出力する。さらに、ユーザ視点８０８の位置と姿勢情報およびカメラモデルのパラメータを用いて視野を表す錐台情報を計算し、動体判定部２０６に出力する。ユーザ視点８０８の位置と姿勢情報の初期値は、例えば、空間の原点とする。

【0068】

レンダリング部９０５は、仮想空間管理部９０３で管理する空間情報を要求して取得し、３次元情報管理部９０７で管理する点群データを要求して取得し、仮想視野生成部９０４から取得した射影変換を用いてレンダリングを行いユーザへ表示する。

【0069】

動体判定部９０６は、動体判定部２０６の処理に加え、仮想視野生成部９０４から取得した錐台情報を用いて、錐台の範囲内に存在しない動体グリッドを準背景グリッドと判定する。

【0070】

３次元情報管理部９０７は、３次元情報管理部２１９の処理に加え、レンダリング部９０５の要求に応じて点群データを復元してレンダリング部９０５に出力する。

【0071】

図１０Ａ～図１０Ｂは、実施形態３における３次元データ処理装置１で実施される処理フローの１例を示す。図４のフローチャートに対してステップＳ１００１からＳ１００８が新設された。Ｓ１００１～Ｓ１００６は視点映像生成部８０３とユーザ入力部８０４による処理である。

【0072】

ステップＳ１００１において、レンダリング部９０５は、３次元情報管理部９０７に点群データを要求し、なければステップＳ１００２の処理を実施し、あればステップＳ１００３の処理を実施する。ステップＳ１００２において、処理終了の信号が外部から入力されるなどした場合は、処理を終了し、それ以外の場合はステップＳ１００１へ戻り処理を実施する。ステップＳ１００３において、ユーザ入力取得部９０１はユーザ入力信号がなければステップＳ１００５の処理を実施し、ユーザ入力信号があればステップＳ１００４の処理を実施する。ステップＳ１００４において、仮想視野生成部９０４はユーザ視点８０８の位置と姿勢情報を更新し、射影変換および錐台情報を計算する。ステップＳ１００５において、レンダリング部９０５は点群データをレンダリングする。ステップＳ１００６において、処理終了の信号が外部から入力されるなどした場合は、処理を終了し、それ以外の場合はステップＳ１００３へ戻り処理を実施する。

【0073】

ステップＳ１００７において、レンダリング部９０５から３次元情報管理部９０７への要求がある場合はステップＳ１００８の処理を実施する。ステップＳ１００８において、３次元情報管理部９０７はレンダリング部９０５の要求に応じて点群データを復元する。

【0074】

＜実施の形態３：まとめ＞
本実施形態３に係る３次元データ処理装置１によれば、実施形態１に加えて、ユーザ視野に基づき処理対象とする動体を選択することが可能となり、さらなるデータ圧縮が可能となる。

【0075】

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0076】

以上の実施形態において、３次元データ処理装置１が備える各機能部は、その機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、その機能を実装したソフトウェアをＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置が実行することにより構成することもできる。

【符号の説明】

【0077】

１…３次元データ処理装置、１０１…３次元情報圧縮部、１０２…測距装置、１０３…視野、１０４…被写体、１０５…被写体、２１…情報取得部、２２…情報管理部、２３…領域情報計算部、２４…変換情報計算部、２５…差分情報計算部、２０１…画像取得部、２０２…３次元変換部、２０３…座標系管理部、２０４…グリッド生成部、２０５…グリッド管理部、２０６…動体判定部、２０７…接続関係生成部、２０８…特徴量計算部、２０９…特徴量管理部、２１０…特徴量同定部、２１２…変換情報管理部、２１３…座標変換推定部、２１４…領域制御部、２１５…領域管理部、２１６…近傍距離算出部、２１７…差分判定部、２１８…マスキング部、３１…工程、３２…工程、３３…工程、３４…工程、３０１…クラスタ、３０２…クラスタ、３０３…推定クラスタ、３０４…近傍距離、３０５…近傍距離、３０６…近傍距離、３０７…近傍距離、３０８…差分、３０９…差分、３１０…差分、３１１…動体グリッド群、５０１…３次元情報伝送部、５０２…３次元情報受信部、６０１…伝送情報生成部、６０２…伝送部、６０３…受信部、６０４…受信情報解読部、８０１…被写体、８０２…被写体、８０３…視点映像生成部、８０４…ユーザ入力部、８０５…仮想空間、８０６…被写体データ、８０７…被写体データ、８０８…仮想視点、８０９…仮想視野、９０１…ユーザ入力取得部、９０２…ユーザ座標制御部、９０３…仮想空間管理部、９０４…仮想視野生成部、９０５…レンダリング部、９０６…動体判定部、９０７…３次元情報管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】