特許 7604585 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 17/20 20060101AFI20241216BHJP

   G06T 19/00 20110101ALI20241216BHJP

【ＦＩ】

G06T17/20

G06T19/00 A

【請求項の数】 22

(21)【出願番号】P 2023150880

(22)【出願日】2023-09-19

【審査請求日】2024-07-12

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】佐藤 智一

【審査官】中田 剛史

(56)【参考文献】

【文献】国際公開第２０１８／１２３８０１（ＷＯ，Ａ１）

【文献】特開２０１５－１９１５３８（ＪＰ，Ａ）

【文献】特開２０２０－１３６９４３（ＪＰ，Ａ）

【文献】国際公開第２０２３／０１７６２７（ＷＯ，Ａ１）

【文献】特開２０１８－２０２１６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １７／２０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、
を有し、
前記分離手段は、前記結合形状のデータを含む３次元形状データに時系列において隣接する３次元形状データにおける、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータを変形することにより、当該結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離することを特徴とする画像処理装置。

【請求項2】

前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面に対応する時系列の色付き点群データを前記時系列の３次元形状データとして含む色付き点群シーケンスデータであり、
前記分離手段は、前記時系列の色付き点群データにおける各点の位置を示す情報に基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、色付きのオブジェクト点群データに分離し、
前記シーケンス生成手段は、点の個数が一致する前記色付きのオブジェクト点群データに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記色付きのオブジェクト点群データを含む、色付きのオブジェクト点群シーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記分離手段は、前記時系列の色付き点群データにおける、各点の位置を示す情報と各点の色を示す情報とに基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、前記色付きのオブジェクト点群データに分離すること、
を特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面形状を示す時系列のテクスチャ付きメッシュデータを前記時系列の３次元形状データとして含むテクスチャ付きメッシュシーケンスデータであり、
前記分離手段は、前記時系列のテクスチャ付きメッシュデータにおける各頂点の位置を示す情報に基づいてテクスチャ付きメッシュデータを変形することにより、前記複数のオブジェクトのそれぞれに対応するテクスチャ付きのオブジェクトメッシュデータに分離し、
前記シーケンス生成手段は、トポロジが一致する前記テクスチャ付きのオブジェクトメッシュデータに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記テクスチャ付きのオブジェクトメッシュデータを含む、テクスチャ付きのオブジェクトメッシュシーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記複数のオブジェクトの撮像による得られる撮像画像データを取得する画像取得手段を更に有し、
前記形状取得手段は、取得された前記撮像画像データを用いて、前記３次元形状シーケンスデータを推定することにより、前記３次元形状シーケンスデータを取得すること、
を特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記形状取得手段は、前記撮像画像データを用いて、前記３次元形状シーケンスデータに色情報を付与すること、
を特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記３次元形状シーケンスデータに含まれる前記時系列の３次元形状データのそれぞれに、前記複数のオブジェクトのそれぞれに対応する識別情報を付与する識別付与手段を更に有すること、
を特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記シーケンス生成手段は、付与された前記識別情報に基づいて、オブジェクトごとに、前記オブジェクト形状シーケンスデータを生成すること、
を特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記分離手段は、付与された前記識別情報に基づいて、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離すること、
を特徴とする請求項７に記載の画像処理装置。

【請求項10】

前記分離手段は、付与された前記識別情報に基づいて、前記時系列の３次元形状データのうちから３次元形状データを変形する起点となる起点形状データと、３次元形状データを変形する変形パスとを設定する変形パス設定手段と、前記起点形状データと前記変形パスとに基づいて、前記起点形状データから前記変形パスに従って時系列順に３次元形状データを変形する変形手段と、を有すること、
を特徴とする請求項７に記載の画像処理装置。

【請求項11】

前記分離手段は、前記結合形状のデータに付与された前記識別情報が、時系列において隣接する、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータに付与された前記識別情報を含む場合、前記単一形状のデータから前記結合形状のデータに向かう前記変形パスを設定すること、
を特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記オブジェクト形状シーケンスデータをオブジェクトごとに圧縮する圧縮手段を、
さらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項13】

前記圧縮手段は、前記オブジェクト形状データを変形する起点となる起点オブジェクト形状データが共通する範囲ごとに、前記オブジェクト形状シーケンスデータを圧縮すること、
を特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記オブジェクト形状シーケンスデータの編集操作を受け付ける受付手段と、
前記編集操作に基づいて、前記オブジェクト形状シーケンスデータを変更して、変更済みのオブジェクト形状シーケンスデータを生成するシーケンス変更手段と、
を更に有し、
前記圧縮手段は、前記変更済みのオブジェクト形状シーケンスデータが生成された前記オブジェクト形状シーケンスデータについては、当該オブジェクト形状シーケンスデータに替えて、当該変更済みのオブジェクト形状シーケンスデータを圧縮すること、
を特徴とする請求項１２に記載の画像処理装置。

【請求項15】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、
を有し、
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面に対応する時系列の色付き点群データを前記時系列の３次元形状データとして含む色付き点群シーケンスデータであり、
前記分離手段は、前記時系列の色付き点群データにおける各点の位置を示す情報に基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、色付きのオブジェクト点群データに分離し、
前記シーケンス生成手段は、点の個数が一致する前記色付きのオブジェクト点群データに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記色付きのオブジェクト点群データを含む、色付きのオブジェクト点群シーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする画像処理装置。

【請求項16】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、
を有し、
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面形状を示す時系列のテクスチャ付きメッシュデータを前記時系列の３次元形状データとして含むテクスチャ付きメッシュシーケンスデータであり、
前記分離手段は、前記時系列のテクスチャ付きメッシュデータにおける各頂点の位置を示す情報に基づいてテクスチャ付きメッシュデータを変形することにより、前記複数のオブジェクトのそれぞれに対応するテクスチャ付きのオブジェクトメッシュデータに分離し、
前記シーケンス生成手段は、トポロジが一致する前記テクスチャ付きのオブジェクトメッシュデータに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記テクスチャ付きのオブジェクトメッシュデータを含む、テクスチャ付きのオブジェクトメッシュシーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする画像処理装置。

【請求項17】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、
前記オブジェクト形状シーケンスデータをオブジェクトごとに圧縮する圧縮手段と、
を有し、
前記圧縮手段は、前記オブジェクト形状データを変形する起点となる起点オブジェクト形状データが共通する範囲ごとに、前記オブジェクト形状シーケンスデータを圧縮すること、
を特徴とする画像処理装置。

【請求項18】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得工程と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離工程と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成工程と、
を含み、
前記分離工程は、前記結合形状のデータを含む３次元形状データに時系列において隣接する３次元形状データにおける、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータを変形することにより、当該結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離することを特徴とする画像処理方法。

【請求項19】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得工程と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離工程と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成工程と、
を含み、
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面に対応する時系列の色付き点群データを前記時系列の３次元形状データとして含む色付き点群シーケンスデータであり、
前記分離工程は、前記時系列の色付き点群データにおける各点の位置を示す情報に基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、色付きのオブジェクト点群データに分離し、
前記シーケンス生成工程は、点の個数が一致する前記色付きのオブジェクト点群データに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記色付きのオブジェクト点群データを含む、色付きのオブジェクト点群シーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする画像処理方法。

【請求項20】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得工程と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離工程と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成工程と、
を含み、
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面形状を示す時系列のテクスチャ付きメッシュデータを前記時系列の３次元形状データとして含むテクスチャ付きメッシュシーケンスデータであり、
前記分離工程は、前記時系列のテクスチャ付きメッシュデータにおける各頂点の位置を示す情報に基づいてテクスチャ付きメッシュデータを変形することにより、前記複数のオブジェクトのそれぞれに対応するテクスチャ付きのオブジェクトメッシュデータに分離し、
前記シーケンス生成工程は、トポロジが一致する前記テクスチャ付きのオブジェクトメッシュデータに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記テクスチャ付きのオブジェクトメッシュデータを含む、テクスチャ付きのオブジェクトメッシュシーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする画像処理方法。

【請求項21】

複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得工程と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離工程と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成工程と、
前記オブジェクト形状シーケンスデータをオブジェクトごとに圧縮する圧縮工程と、
を含み、
前記圧縮工程は、前記オブジェクト形状データを変形する起点となる起点オブジェクト形状データが共通する範囲ごとに、前記オブジェクト形状シーケンスデータを圧縮すること、
を特徴とする画像処理方法。

【請求項22】

コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オブジェクトの形状を示す３次元形状データの経時変化における位置合わせ技術に関する。

【背景技術】

【0002】

複数の撮像装置による撮像により得られる複数の撮像画像のデータを用いて推定したオブジェクトの３次元形状に基づいてテクスチャ付きの３次元形状データを生成し、生成したテクスチャ付きの３次元形状データを圧縮する技術がある。例えば、３次元形状データを効率的に圧縮する手法として、圧縮の前処理として、オブジェクトに対応する時系列の３次元形状の追跡を行う手法がある。３次元形状の追跡とは、基準となる３次元形状データを決定し、当該３次元形状データに対応する３次元形状を、時間的に隣接する３次元形状（以下「隣接３次元形状」と呼ぶ。）に一致するように非剛体位置合わせを行うことである。

【0003】

このよう時系列の３次元形状の位置合わせにより、オブジェクトの３次元形状の経時変化における位置合わせが行なれ、隣接３次元形状間において３次元形状のトポロジが共通化される。更に、３次元形状のトポロジが共通化されることにより、３次元形状を構成する各頂点の移動によりオブジェクトの動きを表現することができるようになる。また、オブジェクトの動き、すなわち、当該頂点の移動を示す情報を用いて３次元形状データを表現し、更に、当該情報を圧縮することにより、効率的に３次元形状データのデータ量を削減することができる。

【0004】

ところで、多数のオブジェクトが同時に存在するシーンにおいて、生成された全ての３次元形状を一度に位置合わせすることは、演算に掛かる処理時間の観点から困難である。これを回避する手法方法として、３次元形状ごとにオブジェクトを識別する識別情報を付与し、オブジェクトごとに３次元形状の位置合わせを行う手法がある。ただし、互いに近接する複数のオブジェクトのそれぞれに対応する３次元形状が結合して、１つの３次元形状として推定される場合、オブジェクトごとに対応する３次元形状に分けて位置合わせを行うことができない。

【0005】

特許文献１には、複数のオブジェクトのそれぞれに対応するポリゴンメッシュが結合したポリゴンメッシュを１つのオブジェクトグループに対応するポリゴンメッシュとして、当該ポリゴンメッシュごとに位置合わせを行う技術が開示されている。特許文献１に開示された技術によれば、互いに近接する複数のオブジェクトが存在する場合であっても、時系列のポリゴンメッシュのトポロジが共通化される。

【先行技術文献】

【特許文献】

【0006】

【文献】特開第２０２０－１３６９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された技術では、近接する複数のオブジェクトが１つのポリゴンメッシュにより表現される場合、複数のオブジェクトが１つのデータとして扱われてしまう。そのため、特許文献１に開示された技術では、複数のオブジェクトが近接した場合に、ユーザは、３次元形状データに対する処理をオブジェクトごとに独立して行うことが難しいという問題点があった。

【課題を解決するための手段】

【0008】

上述の問題点を解決するために、本開示に係る画像処理装置は、複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、を有し、前記分離手段は、前記結合形状のデータを含む３次元形状データに時系列において隣接する３次元形状データにおける、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータを変形することにより、当該結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離する。

【発明の効果】

【0009】

本開示によれば、複数のオブジェクトの３次元形状が１つの３次元形状データにより表現される場合であっても、３次元形状データに対する処理をオブジェクトごとに独立して行いやすくすることができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図である。

【図2】実施形態１に係る画像処理装置の機能構成の一例を示すブロック図である。

【図3】実施形態１に係る画像処理装置における処理フローの一例を示すフローチャートである。

【図4】実施形態１に係る画像処理装置の処理におけるデータの変化の一例を説明するための図である。

【図5】実施形態１に係るシーケンス生成部におけるメッシュシーケンスデータの生成処理の流れの一例を示すフローチャートである。

【図6】実施形態１に係るシーケンス生成部における変形パスの設定処理を説明するための図である。

【図7】実施形態１に係るシーケンス生成部における変形パスの設定処理を説明するための図である。

【図8】実施形態１に係る、テクスチャ付与部が出力するテクスチャ付きメッシュシーケンスデータのデータ構造、及び、圧縮部が出力する圧縮データのデータ構造の一例を示す図である。

【図9】実施形態２に係る画像処理装置の機能構成の一例を示すブロック図である。

【図10】実施形態２に係る画像処理装置における処理フローの一例を示すフローチャートである。

【図11】実施形態２に係る編集用ＵＩの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本開示を限定するものではなく、また、実施形態において説明される特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

【0012】

［実施形態１］
＜画像処理装置のハードウェア構成＞
図１は、実施形態１に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、パーソナルコンピュータ等の情報処理装置により構成され、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、操作部１０５、通信Ｉ／Ｆ１０６、及びバス１０７を有する。ＣＰＵ１０１は、ＲＯＭ１０２又は補助記憶装置１０４等に格納されているコンピュータプログラム及びデータを用いて画像処理装置１００の全体を制御することにより、画像処理装置１００が有する各機能を実現する。なお、画像処理装置１００は、ＣＰＵ１０１は、１又は複数の専用ハードウェア及びＧＰＵ（Graphics Processing Unit）の少なくともいずれかを含んでいてもよく、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵ又は専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

【0013】

ＲＯＭ１０２は、変更を必要としないプログラム等を格納する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして動作し、補助記憶装置１０４から供給されるプログラム及びデータ、並びに通信Ｉ／Ｆ１０７を介して外部から供給されるデータ等を一時記憶する。補助記憶装置１０４は、ハードディスクドライブ等により構成され、入力される画像データ等の種々のデータを記憶する。操作部１０５は、キーボード又はマウス等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１０１に出力する。ＣＰＵ１０１は、操作部１０５を制御する操作制御部として動作する。通信Ｉ／Ｆ１０６は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１０６に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１０６はアンテナを備える。バス１０７は、画像処理装置１００がハードウェア構成として有する各部を繋いで情報を伝達する。

【0014】

＜画像処理装置の機能構成＞
図２は、実施形態１に係る画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、機能構成として、画像取得部２０１、形状取得部２０２，識別付与部２０３、シーケンス生成部２０４、テクスチャ付与部２０５、及び圧縮部２０６を有する。画像処理装置１００が機能構成として有する各部は、ＣＰＵ１０１が、所定のプログラムをＲＯＭ１０２又は補助記憶装置１０４等から読み出してＲＡＭ１０３に展開し、これを実行することにより実現される。画像取得部２０１は、複数の撮像装置による撮像により得られる複数の撮像画像（以下「多視点画像」と呼ぶ。）のデータ（以下「多視点画像データ」と呼ぶ。）を取得する。ここで、多視点画像データを構成する複数の撮像画像データのそれぞれは、複数のフレームデータにより構成される動画像データであり、フレームデータは、複数の撮像装置による同期した撮像により得られる。

【0015】

形状取得部２０２は、画像取得部２０１が取得する多視点画像データに基づいて、オブジェクトの３次元形状を推定し、当該３次元形状を示す３次元形状データを取得する。ここで、形状取得部２０２により取得される３次元形状データは、各撮像画像データにおける、複数の撮像装置による同期した撮像により得られるフレームデータに基づく、時系列の３次元形状データにより構成される３次元形状シーケンスデータである。以下の説明において、複数の撮像装置の撮像対象領域には、複数のオブジェクトが存在するものとして説明する。識別付与部２０３は、形状取得部２０２が取得する３次元形状シーケンスデータに対し、各オブジェクトに対応するオブジェクト番号を識別情報として付与する。シーケンス生成部２０４は、形状取得部２０２が取得した３次元形状シーケンスデータと、識別付与部２０３が付与した識別情報とに基づいて、オブジェクトごとに独立した時系列のポリゴンメッシュのデータであるメッシュシーケンスデータを生成する。以下、ポリゴンメッシュをメッシュと表記し、メッシュのデータをメッシュデータと表記して説明する。

【0016】

テクスチャ付与部２０５は、シーケンス生成部２０４が生成したメッシュシーケンスデータと、画像取得部２０１が取得した多視点画像データとに基づいて、メッシュシーケンスデータが示す時系列のメッシュにテクスチャを付与する。具体的には、テクスチャ付与部２０５は、メッシュシーケンスデータと多視点画像データとに基づいて、ＵＶ座標付きのメッシュ及びテクスチャ画像のデータを生成することにより、メッシュシーケンスデータが示す時系列のメッシュにテクスチャを付与する。以下、テクスチャが付与されたメッシュシーケンスデータをテクスチャ付きメッシュシーケンスデータと呼ぶ。すなわち、テクスチャ付与部２０５は、メッシュシーケンスデータと多視点画像データとに基づいて、テクスチャ付きメッシュシーケンスデータを生成する。圧縮部２０６は、テクスチャ付与部２０５が生成したテクスチャ付きメッシュシーケンスデータを圧縮して、圧縮後のテクスチャ付きメッシュシーケンスデータを圧縮データとして出力する。

【0017】

＜画像処理装置の動作＞
図３は、実施形態１に係る画像処理装置１００における処理フローの一例を示すフローチャートである。なお、以下の説明において、符号の先頭に示す「Ｓ」は、ステップ（工程）を表す。また、図３のフローチャートに示す各ステップの処理は、ＣＰＵ１０１が、所定のプログラムをＲＯＭ１０２又は補助記憶装置１０４等から読み出してＲＡＭ１０３に展開し、これを実行することにより実現される。図４は、実施形態１に係る画像処理装置１００における、図３に示すＳ３０２からＳ３０５までの処理におけるデータの変化の一例を説明するための図である。なお、図４において、横軸は時刻ｔを表し、縦軸は位置ｘを表し、複数の中白丸のそれぞれは、形状取得部２０２により推定された、オブジェクトの３次元形状を表している。

【0018】

まず、Ｓ３０１にて、画像取得部２０１は、多視点画像データ、すなわち、複数の撮像装置による同期した撮像により得られる複数の動画像データを取得する。次に、Ｓ３０２にて、形状取得部２０２は、オブジェクトごとの３次元形状データを取得する。具体的には、Ｓ３０１にて取得された多視点画像データを用いてオブジェクトごとの３次元形状を推定し、当該３次元形状を示す３次元形状データを取得する。より具体的には、形状取得部２０２は、複数の撮像装置による同期した撮像により得られる複数のフレームデータを用いて撮像時刻に対応するオブジェクトごとの３次元形状データを撮像時刻ごとに生成することにより、３次元形状シーケンスデータを取得する。

【0019】

本実施形態では、形状取得部２０２は、各撮像画像を構成する各フレームにおけるオブジェクトに対応する領域を抽出し、当該領域に基づいて視体積交差法によりオブジェクトの３次元形状を推定して、３次元形状データを取得するものとして説明する。オブジェクトの３次元形状の推定方法は、視体積交差法に限定されるものではない。例えば、当該推定方法としては、多視点ステレオによりオブジェクトの表面点群を推定する方法、又はＮｅｕＳ（Neural implicit surface）によりオブジェクト周辺のＳｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｉｅｌｄを推定する方法等の様々な方法がある。また、形状取得部２０２は、オブジェクトの３次元形状の推定を行うことなく、外部から３次元形状データを取得してもよい。図４（ａ）は、形状取得部２０２が取得する３次元形状シーケンスデータが示す、時系列の３次元形状の一例を示している。形状４０１及び４０２のそれぞれは、互いに異なる１つのオブジェクトの３次元形状を表しており、形状４０３は、２つのオブジェクトが接触している状態における３次元形状を表している。

【0020】

Ｓ３０２の後、Ｓ３０３にて、識別付与部２０３は、Ｓ３０２にて取得された３次元形状シーケンスデータを解析することにより、各時点の３次元形状データに対して、オブジェクトごとに一意に対応するオブジェクト番号を識別情報として付与する。３次元形状データに対して識別情報を付与する手法としては、特願２０２１－１３４８８６号公報に開示されている手法等の公知の手法を用いれば良い。図４（ｂ）は、識別付与部２０３が図４（ａ）に示す時系列の３次元形状に対して付与する識別情報（オブジェクト番号）の一例を示している。

【0021】

上述したように、形状４０１及び４０２のそれぞれは、互いに異なる１つのオブジェクトの３次元形状を表しており、形状４０３は、２つのオブジェクトが接触している状態における３次元形状を表している。そのため、形状４０１及び４０２に対応する３次元形状のデータには、形状４１１及び４１２のように、それぞれ１つのオブジェクトに対応するオブジェクト番号が付与されている。また、形状４０３に対応する３次元形状のデータには、形状４１３のように、２つのオブジェクトのそれぞれに対応するオブジェクト番号が付与されている。以下、１つのオブジェクト番号が付与されている３次元形状データを単一形状情報と呼び、複数のオブジェクト番号が付与されている３次元形状データを結合形状情報と呼ぶ。

【0022】

Ｓ３０３の後、Ｓ３０４にて、シーケンス生成部２０４は、トポロジが共通するオブジェクトごとのメッシュシーケンスデータを生成する。シーケンス生成部２０４の処理の詳細については後述する。図４（ｃ）は、シーケンス生成部２０４により生成されるメッシュシーケンスデータの一例を示している。図４（ｃ）に示すように、形状４１３は、シーケンス生成部２０４により生成されるメッシュシーケンスデータにおいて、オブジェクトごとに独立した形状４２１及び４２１により表現される。

【0023】

次に、Ｓ３０５にて、テクスチャ付与部２０５は、Ｓ３０４にて生成された、オブジェクトごとのメッシュシーケンスデータにテクスチャを付与して、オブジェクトごとのテクスチャ付きメッシュシーケンスデータを生成する。例えば、テクスチャ付与部２０５は、メッシュシーケンスに含まれる各メッシュの表面を２次元のテクスチャ画像上にＵＶ展開し、撮像画像を参照してテクスチャ画像の各画素の色を求めることによりテクスチャ付きメッシュシーケンスデータを生成する。このとき、トポロジが共通のメッシュには、同じＵＶ座標が与えられる。また、同一のオブジェクトに対応する複数のメッシュのそれぞれに付与されるテクスチャ画像のサイズは、同一のものである。

【0024】

次に、Ｓ３０６にて、圧縮部２０６は、Ｓ３０５にて生成されたオブジェクトごとのテクスチャ付きメッシュシーケンスデータを圧縮して、圧縮データを生成する。生成された圧縮データは、例えば、補助記憶装置１０４等に出力されて記憶される。圧縮データの出力先は、補助記憶装置１０４に限定されるものではなく、通信Ｉ／Ｆ１０６を介して、外部の装置に出力されてもよい。図４（ｄ）は、テクスチャ付与部２０５により生成されるオブジェクトごとのテクスチャ付きメッシュシーケンスデータの一例を示している。圧縮部２０６は、図４（ｄ）において、実線による矩形により囲まれる、オブジェクトごとの時間方向に一連のテクスチャ付きメッシュデータを圧縮する。

【0025】

例えば、各テクスチャ付きメッシュデータにおけるテクスチャ画像のデータは、Ｈ．２６４等の動画像圧縮規格に基づいて圧縮される。ただし、テクスチャ画像のデータの圧縮方法はこれに限らず、テクスチャ画像のデータは、ＨＥＶＣ又はＶＰ９等のその他のコーデックを利用して圧縮されてもよい。また、各テクスチャ付きメッシュデータにおけるメッシュデータは、Ｄｒａｃｏライブラリ等を利用して圧縮される。ここで、メッシュデータの圧縮では、トポロジが共通する範囲においてＵＶ座標及びトポロジ情報が１つだけ保存されていればよく、各メッシュデータとして頂点の座標を示す情報のみが保存されていればよい。より効率的な圧縮を実現するために、圧縮部２０６は、時系列のメッシュ間において同じインデックスの頂点同士の情報の差分を圧縮してもよい。

【0026】

ただし、メッシュデータの圧縮方法はこれに限らず、メッシュデータの圧縮において、必ずしも時系列のメッシュ間の相関を利用する必要はない。また、メッシュデータは、ＭＰＥＧ－３ＤＧＣ等の他のコーデックを利用して圧縮されてもよい。また、圧縮部２０６は、各テクスチャ付きメッシュデータを色付き点群データに変換して、変換後の色付き点群データをＭＰＥＧ（Moving Picture Expert Group）により標準化されたＶ－ＰＣＣ（Video-based point cloud compression）を利用して圧縮してもよい。Ｓ３０６の後、画像処理装置１００は、図３に示すフローチャートの処理を終了する。

【0027】

図５乃至７を参照して、シーケンス生成部２０４におけるメッシュシーケンスデータの生成処理の詳細について説明する。図５は、実施形態１に係るシーケンス生成部２０４におけるメッシュシーケンスデータの生成処理の流れの一例を示すフローチャートであって、図３に示すＳ３０４の処理における詳細な処理フローの一例を示すフローチャートである。シーケンス生成部２０４は、Ｓ３０４におけるメッシュシーケンスデータの生成処理において、識別情報に基づいて、２つ以上のオブジェクトの３次元形状を含む３次元形状をオブジェクトごとの３次元形状に分離するための変形パスを設定する。

【0028】

図６及び７は、実施形態１に係るシーケンス生成部２０４における変形パスの設定処理を説明するための図である。以下、オブジェクト番号を付与された時系列の３次元形状をグラフ構造としてとらえるものとして説明する。オブジェクトごとの３次元形状をノード（以下「形状ノード」と呼ぶ。）とし、互いに隣接するフレーム間において同じオブジェクト番号が付与された形状ノード同士をエッジによりつなぐと、図６（ａ）に示すようなグラフ構造が得られる。シーケンス生成部２０４は、図６（ａ）に示すようなグラフ構造を解析することにより、変形パスを設定する。

【0029】

まず、Ｓ５０１にて、シーケンス生成部２０４は、複数のオブジェクト番号が付与された結合形状情報に対応する形状ノード（以下「結合ノード」と呼ぶ。）を特定する。図６では、結合ノードを網掛けの楕円を用いて表している。Ｓ５０１における特定処理の結果、図６（ａ）に一例として示すグラフが得られる。次に、Ｓ５０２にて、シーケンス生成部２０４は、Ｓ５０１にて特定された結合ノードの時刻に隣接する時刻の、当該結合ノードと同じオブジェクト番号を付与されている形状ノードのうち、単一形状情報に対応する形状ノードを抽出する。以下、単一形状情報に対応する形状ノードを「単体ノード」と呼ぶ。図６（ｂ）では、抽出された単体ノードを実線による矩形により囲むことにより表している。

【0030】

次に、Ｓ５０３にて、シーケンス生成部２０４は、Ｓ５０１にて特定された結合ノードをＳ５０２にて抽出された隣接するフレームにおける単体ノードの変形により２つ以上の単体ノードに分離し得る場合、単体ノードから結合ノードに向けた変形パスを設定する。例えば、図６（ｂ）に一例として示すグラフにおいて、結合ノード６０１は、単体ノード６０２及び６０３の変形により、２つの単体ノードに分離可能である。これに対して、結合ノード６０４については、変形により分離可能な単体ノードが２つ以上存在しない。図６（ｃ）は、図６（ｂ）に示すグラフにおいて、シーケンス生成部２０４によるＳ５０３の処理により設定された変形パスの一例を、矢印を用いて示している。

【0031】

次に、Ｓ５０４にて、シーケンス生成部２０４は、Ｓ５０３にて変形パスが設定された結合ノードをオブジェクトごとの単体ノードに分離する。分離された複数の単体ノードのそれぞれには、結合ノードに付与されていたオブジェクト番号であって、各単体ノードに対応するオブジェクトのオブジェクト番号が付与される。また、分離された複数の単体ノードのそれぞれには、隣接する時刻における、対応する単体ノートからの変形パスが設定される。図６（ｄ）は、図６（ｃ）に示す結合ノードが分離されて、複数の単体ノードに置き換わった後の状態の一例を示している。

【0032】

次に、Ｓ５０５にて、シーケンス生成部２０４は、全て形状ノードが単体ノードになったか否かを判定する。Ｓ５０５にて形状ノードの少なくとも一部が単体ノードになっていないと判定された場合、シーケンス生成部２０４は、Ｓ５０５にて全て形状ノードが単体ノードになったと判定されるまでの間、Ｓ５０２からＳ５０５までの処理を繰り返し実行する。初期状態において、例えば、図７（ａ）に示すグラフの状態であった形状ノードは、Ｓ５０２からＳ５０５までの１度目の処理の結果、図７（ｂ）に示すグラフの状態になる。更に、Ｓ５０２からＳ５０５までの処理を繰り返すことにより、図７（ｂ）に示すグラフの状態は、順に、図７（ｃ）及び（ｄ）に示すグラフの状態に変化していく。

【0033】

Ｓ５０５にて全て形状ノードが単体ノードになったと判定された場合、シーケンス生成部２０４は、Ｓ５０６の処理を実行する。例えば、図７（ｄ）に示すグラフの状態では、全ての形状ノードが単体ノードになっている。シーケンス生成部２０４は、このような状態になった場合に、Ｓ５０６に処理を実行する。以下、変形の起点となった形状ノードをキーノードと称して説明する。キーノードは、自身に向かう変形パスが存在せず、且つ、自身からの変形パスが存在する単体ノードを抽出することにより特定され得る。

【0034】

Ｓ５０６にて、シーケンス生成部２０４は、Ｓ５０３の処理において変形パスが設定されなかった形状ノードに対して変形パスを設定する。具体的には、シーケンス生成部２０４は、変形パスが設定されていない形状ノードの時刻に最も近い時刻のキーノードを選択し、選択したキーノードから当該形状ノードに向けた変形パスを設定する。Ｓ５０６における設定処理の結果、図７（ｅ）に示すように、全て形状ノードにいずれかのキーノードからの変形パスが設定される。

【0035】

次に、Ｓ５０７にて、シーケンス生成部２０４は、一連の変形パスにおけるキーノードに対応する３次元形状データをメッシュ化して、キーノードに対応するメッシュ（以下「キーメッシュ」と呼ぶ。）データを生成する。例えば、シーケンス生成部２０４は、マーチングキューブ法を用いてキーノードに対応する３次元形状データをメッシュデータに変換することにより、キーメッシュデータを生成する。

【0036】

次に、Ｓ５０８にて、シーケンス生成部２０４は、オブジェクトごとのメッシュシーケンスデータを生成する。具体的には、シーケンス生成部２０４は、Ｓ５０７にて生成されたキーメッシュデータと、当該キーメッシュデータに対応するキーノードからの一連の変形パスとに基づいて、キーメッシュを他の時刻の３次元形状に合わせる非剛体位置合わせを行う。このような非剛体位置合わせを行うことにより、シーケンス生成部２０４は、オブジェクトごとに独立したメッシュシーケンスデータを生成することができる。例えば、シーケンス生成部２０４は、ボクセルにより表現される３次元形状データをＳｉｇｎｅｄ Ｄｉｓｔａｎｃｅ Ｆｉｅｌｄとみなして、キーメッシュの位置合わせを行う。シーケンス生成部２０４によるキーメッシュの位置合わせの方法は、これに限定されるものではなく、例えば、シーケンス生成部２０４は、３次元形状データを表面点群に変換してキーメッシュの位置合わせを行ってもよい。また、例えば、シーケンス生成部２０４は、３次元形状データをキーメッシュと同様にメッシュ化して、キーメッシュの位置合わせを行ってもよく、その他のデータ表現を用いてキーメッシュの位置合わせを行ってもよい。

【0037】

Ｓ５０８の処理の後、シーケンス生成部２０４は、図５に示すフローチャートの処理、すなわち、Ｓ３０４の処理を終了する。Ｓ３０４の処理の結果、オブジェクトごとに独立した、断続的にトポロジが共通のメッシュシーケンスデータを得ることができる。Ｓ３０４の処理の後、テクスチャ付与部２０５は、図７（ｆ）に示すようにトポロジが共通するメッシュシーケンスデータごとにテクスチャ画像のデータを生成して付与する。また、圧縮部２０６は、トポロジが共通するメッシュシーケンスデータごとにテクスチャ付きメッシュシーケンスデータの圧縮を行う。以下、図７（ｆ）において実線による矩形により区切った、テクスチャ画像のデータの生成、及びテクスチャ付きメッシュシーケンスデータの圧縮の単位をＧＯＭ（Group of Models）と称して説明する。

【0038】

図８は、実施形態１に係るテクスチャ付与部２０５が出力するテクスチャ付きメッシュシーケンスデータのデータ構造、及び、圧縮部２０６が出力する圧縮データのデータ構造の一例を示す図である。図８（ａ）は、テクスチャ付与部２０５が出力するテクスチャ付きメッシュシーケンスデータのデータ構造の一例を示している。図８（ａ）に一例として示すテクスチャ付きメッシュシーケンスデータは、ＵＶ座標付きのメッシュデータがｐｌｙフォーマットによりファイル化され、テクスチャ画像（ｔｅｘｔｕｒｅ）がｐｎｇフォーマットによりファイル化されたものである。図８（ｂ）は、圧縮部２０６が出力する圧縮データのデータ構造の一例を示している。圧縮データは、図８（ｂ）に一例として示すデータ構造のように、オブジェクトごとに個別に、圧縮データを伝送することが可能な構造となっている。このような圧縮データのデータ構造によれば、オブジェクトごとに個別に圧縮データを伝送し、伝送先において、伝送された圧縮データを、オブジェクトごとに復号することができる。

【0039】

以上のように構成した画像処理装置１００によれば、オブジェクトごとに独立したテクスチャ付きメッシュシーケンスデータを生成できる。これにより、３次元形状データは、ユーザにとって取り扱いやすいデータとなるため、ユーザは、オブジェクトごとに３次元形状データを編集する等、３次元形状データに対してオブジェクトごとに独立した処理を加えることが容易になる。これにより、画像処理装置１００によれば、オブジェクトごとのテクスチャ付きメッシュシーケンスデータを圧縮することにより、テクスチャ付きメッシュシーケンスデータを効率的に圧縮すること、すなわち、圧縮効率を向上させることができる。

【0040】

［実施形態２］
実施形態１に係る画像処理装置は、オブジェクトごとに独立したテクスチャ付きメッシュシーケンスデータを生成し、生成したオブジェクトごとのテクスチャ付きメッシュシーケンスデータを個別に圧縮するものであった。実施形態２では、色付きの点群（以下「色付き点群」と呼ぶ。）データをオブジェクトごとに分離し、分離後のオブジェクトごとの色付き点群データを編集及び圧縮する形態について説明する。なお、実施形態２では、実施形態１と異なる点を中心に説明し、同様の点については説明を省略する。

【0041】

図９は、実施形態２に係る画像処理装置１００（以下、単に「画像処理装置１００」と表記する。）の機能構成の一例を示すブロック図である。画像処理装置１００は、機能構成として、形状取得部９０２、識別付与部９０３、シーケンス生成部９０４、シーケンス変更部９１０、及び圧縮部９０６を有する。画像処理装置１００のハードウェア構成は、実施形態１に係る画像処理装置１００と同様であるため説明を省略する。画像処理装置１００が機能構成として有する各部は、ＣＰＵ１０１が、所定のプログラムをＲＯＭ１０２又は補助記憶装置１０４等から読み出してＲＡＭ１０３に展開し、これを実行することにより実現される。

【0042】

形状取得部９０２は、時系列の色付き点群データにより構成される色付き点群シーケンスデータを取得する。識別付与部９０３は、形状取得部９０２が取得した色付き点群シーケンスデータを構成する各色付き点群データにおける各点の位置と色とを示す情報に基づいて、点群データごとに、オブジェクトごとに対応する点群を特定する。また、識別付与部９０３は、特定したオブジェクトごとに対応する点群のデータに対して識別情報を付与する。識別情報の付与方法は、実施形態１と同様の方法で良い。すなわち、識別付与部９０３は、例えば、オブジェクトごとに対応する点群のデータに対してオブジェクトに対応するオブジェクト番号を識別情報として付与する。

【0043】

シーケンス生成部９０４は、形状取得部９０２が取得した時系列の色付き点群データにおける各点の位置と色とを示す情報、及び識別付与部９０３が付与した識別情報に基づいて、オブジェクトごとに独立した時系列の色付き点群データを生成する。すなわち、シーケンス生成部９０４は、オブジェクトごとに、オブジェクトごとの時系列の色付き点群データにより構成される色付き点群シーケンスデータを生成する。シーケンス変更部９１０は、オブジェクトごとの色付き点群シーケンスデータをユーザの編集操作に従って変更し、変更済みの色付き点群シーケンスデータを圧縮部９０６に出力する。圧縮部９０６は、オブジェクトごとの色付き点群シーケンスデータを圧縮して、オブジェクトごとの圧縮データを生成する。圧縮部９０６により生成された圧縮データは、補助記憶装置１０４等に出力される。

【0044】

図１０は、実施形態２に係る画像処理装置１００における処理フローの一例を示すフローチャートである。なお、図１０のフローチャートに示す各ステップの処理は、ＣＰＵ１０１が、所定のプログラムをＲＯＭ１０２又は補助記憶装置１０４等から読み出してＲＡＭ１０３に展開し、これを実行することにより実現される。まず、Ｓ１００１にて、形状取得部９０２は、色付き点群シーケンスデータを取得する。次に、Ｓ１００２にて、識別付与部９０３は、Ｓ１００１にて取得された色付き点群シーケンスデータを構成する時系列の各色付き点群データにおける、オブジェクトごとに対応する点群、すなわち、オブジェクトごとに対応する色付き点群を特定する。次に、Ｓ１００３にて、識別付与部９０３は、Ｓ１００２にて特定されたオブジェクトごとに対応する点群のデータに対して識別情報を付与する。

【0045】

次に、Ｓ１００４にて、シーケンス生成部９０４は、Ｓ１００１にて取得された色付き点群シーケンスデータと、Ｓ１００３にて付与された識別情報とに基づいて、オブジェクトごとの色付き点群シーケンスデータを生成する。具体的には、シーケンス生成部９０４は、任意のオブジェクトの色付き点群のデータを選択し、選択したオブジェクトの色付き点群を位置合わせ対象の色付き点群に対して位置合わせを行う。ここで、位置合わせ対象の点群とは、例えば、選択したオブジェクトの色付き点群の時刻に最も近い時刻における当該オブジェクトに対応する色付き点群である。例えば、シーケンス生成部９０４は、選択したオブジェクトの色付き点群における各点の色及び位置と、位置合わせ後において、位置合わせ対象の色付き点群における点の色及び位置とが同じになるように、選択したオブジェクトの色付き点群の位置合わせを行う。このような位置合わせを行うことにより、シーケンス生成部９０４は、オブジェクトごとに独立した色付き点群シーケンスデータを生成することができる。

【0046】

なお、Ｓ１００１にて取得される点群データにおける各点には色の情報が付帯されている。そのため、シーケンス生成部９０４は、色情報を利用しない場合よりも、より正確に、点群の位置合わせを行うことができる。なお、色付き点群の位置合わせには、文献１（Marcelo Saval-Calvo，外５名，“3D non-rigid registration using color: Color Coherent Point Drift”，［online］，平成３０年２月５日，arXiv，［令和５年８月２３日検索］，インターネット＜https://arxiv.org/pdf/1802.01516.pdf＞）に開示されている手法を用いれば良い。

【0047】

Ｓ１００４の後、Ｓ１００５にて、シーケンス変更部９１０は、ユーザの編集操作に従って、Ｓ１００４にて生成されたオブジェクトごとの色付き点群シーケンスデータを変更して、変更済みの色付き点群シーケンスデータを生成する。生成された変更済みの色付き点群シーケンスデータは、圧縮部９０６に出力される。具体的な編集操作については図１１を用いて後述する。次に、Ｓ１００６にて、圧縮部９０６は、Ｓ１００５にて生成された、オブジェクトごとの変更済みの色付き点群シーケンスデータを圧縮して、オブジェクトごとの圧縮データを生成する。圧縮部９０６にて生成された圧縮データは、補助記憶装置１０４等に出力される。Ｓ１００６の後、画像処理装置１００は、図１０に示すフローチャートの処理を終了する。

【0048】

オブジェクトごとの変更済みの色付き点群シーケンスデータの圧縮には、例えば、ＭＰＥＧにて標準化されているＧ－ＰＣＣ（Geometry-based Point Cloud Compression）を利用すればよい。変更済みの色付き点群シーケンスデータの圧縮方法は、Ｇ－ＰＣＣを用いる方法に限定されるものではなく、変更済みの色付き点群シーケンスデータの圧縮には、Ｖ－ＰＣＣ等の他の方法が利用されてもよい。また、圧縮部９０６は、以下のような、３次元的な時間相関を利用する方法を用いて方法により、変更済みの色付き点群シーケンスデータを圧縮してもよい。具体的には、例えば、まず、圧縮部９０６は、変更済みの色付き点群シーケンスデータにおけるキーノードに対応する点群データを、Ｄｒａｃｏライブラリを用いて圧縮する。続いて、圧縮部９０６は、当該キーノードを含むＧＯＭの内の点群データにおける座標及び色を示す情報の差分を圧縮する。

【0049】

＜ユーザによる編集操作＞
図１１は、実施形態２に係るユーザによる色付き点群シーケンスデータの編集操作を受け付けるための編集用ＵＩ（ユーザインターフェイス）１１００の一例を示す図である。編集用ＵＩは、領域１１０１及び１１０２を有する。領域１１０１は、任意の時点におけるシーンのオブジェクトごとの色付き点群が描画される画面領域である。領域１１０２は、オブジェクトごとに管理されている点群シーケンスがタイムラインを用いて描画される画面領域である。ユーザは、タイムライン上のシークバーを操作することにより、ユーザが所望する時点における色付き点群を領域１１０１に描画させることができる。

【0050】

形状１１０３は、オブジェクト番号が２のオブジェクトの形状を推定する際に、誤って生成された３次元形状データを表すものである。例えば、ユーザは、形状１１０３のような不要な３次元形状データを編集ＵＩ１１００において選択することにより削除することができる。具体的には、例えば、ユーザは、マウス等を用いた入力操作により、領域１１０１において形状１１０３を選択した上で、図１１には不図示の削除ボタン等を押下することにより、形状１１０３に対応する３次元形状データの削除を画像処理装置１００に指示する。なお、形状１１０３の選択及び削除の操作については、領域１１０２に描画されるタイムライン上においても実施可能である。この場合、例えば、ユーザは、タイムラインにおける、オブジェクト番号が２のバーを選択した上で図１１には不図示の削除ボタンを押下することにより、形状１１０３に対応する３次元形状データを削除することができる。

【0051】

また、ユーザは、編集ＵＩ１１００において、編集ＵＩ１１００に描画される３次元形状に対応するオブジェクトの属性情報を設定することができる。具体的には、ユーザは、編集ＵＩ１１００において、所望するオブジェクトに対応する３次元形状、又はオブジェクト番号を選択し、当該オブジェクトのカテゴリ、グループ、又は名称等を設定する。カテゴリとは、ヒト又はモノ等のオブジェクトの種別を表す情報である。グループとは、オブジェクトの所属等を表す情報であり、例えば、カテゴリに設定されたオブジェクトの種別を更に分類し得る情報である。例えば、撮像の対象がサッカー等の団体競技である場合、グループには、オブジェクトが所属するチームの名称等が設定され得る。名称とは、オブジェクトの固有の名称等の、人がオブジェクトを識別し得る情報である。例えば、オブジェクトのカテゴリがヒトである場合、名称には、オブジェクトの氏名等が設定される。また、例えば、撮像の対象がサッカー等の団体競技である場合、名称には、オブジェクトである選手の背番号等が設定されてもよい。

【0052】

以上のように構成した画像処理装置１００によれば、点群シーケンスデータから、オブジェクトごとに独立した点群シーケンスデータを生成できる。これにより、画像処理装置１００によれば、オブジェクトごとの点群シーケンスデータを圧縮することにより、点群シーケンスデータを効率的に圧縮することができる。また、以上のように構成した画像処理装置１００によれば、オブジェクトごとの点群シーケンスデータによって表現されるボリュメトリックビデオを編集し、編集後の点群シーケンスデータを圧縮して出力することができる。

【0053】

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0054】

なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。

【0055】

［本開示の構成］
本開示は、以下の構成、方法、及びプログラムを含む。

【0056】

＜構成１＞
複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得手段と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離手段と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成手段と、
前記オブジェクト形状シーケンスデータをオブジェクトごとに圧縮する圧縮手段と、
を有することを特徴とする画像処理装置。

【0057】

＜構成２＞
前記分離手段は、前記結合形状のデータを含む３次元形状データに時系列において隣接する３次元形状データにおける、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータを変形することにより、当該結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離すること、
を特徴とする構成１に記載の画像処理装置。

【0058】

＜構成３＞
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面に対応する時系列の色付き点群データを前記時系列の３次元形状データとして含む色付き点群シーケンスデータであり、
前記分離手段は、前記時系列の色付き点群データにおける各点の位置を示す情報に基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、色付きのオブジェクト点群データに分離し、
前記シーケンス生成手段は、点の個数が一致する前記色付きのオブジェクト点群データに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記色付きのオブジェクト点群データを含む、色付きのオブジェクト点群シーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする構成１又は２に記載の画像処理装置。

【0059】

＜構成４＞
前記分離手段は、前記時系列の色付き点群データにおける、各点の位置を示す情報と各点の色を示す情報とに基づいて前記色付き点群データを変形することにより、前記複数のオブジェクトのそれぞれに対応する、前記色付きのオブジェクト点群データに分離すること、
を特徴とする構成３に記載の画像処理装置。

【0060】

＜構成５＞
前記３次元形状シーケンスデータは、前記複数のオブジェクトの表面形状を示す時系列のテクスチャ付きメッシュデータを前記時系列の３次元形状データとして含むテクスチャ付きメッシュシーケンスデータであり、
前記分離手段は、前記時系列のテクスチャ付きメッシュデータにおける各頂点の位置を示す情報に基づいてテクスチャ付きメッシュデータを変形することにより、前記複数のオブジェクトのそれぞれに対応するテクスチャ付きのオブジェクトメッシュデータに分離し、
前記シーケンス生成手段は、トポロジが一致する前記テクスチャ付きのオブジェクトメッシュデータに基づいて、前記複数のオブジェクトのそれぞれに対応する、時系列の前記テクスチャ付きのオブジェクトメッシュデータを含む、テクスチャ付きのオブジェクトメッシュシーケンスデータを前記３次元形状シーケンスデータとしてオブジェクトごとに生成すること、
を特徴とする構成１又は２に記載の画像処理装置。

【0061】

＜構成６＞
前記複数のオブジェクトの撮像による得られる撮像画像データを取得する画像取得手段を更に有し、
前記形状取得手段は、取得された前記撮像画像データを用いて、前記３次元形状シーケンスデータを推定することにより、前記３次元形状シーケンスデータを取得すること、
を特徴とする構成１乃至５のいずれか１つに記載の画像処理装置。

【0062】

＜構成７＞
前記形状取得手段は、前記撮像画像データを用いて、前記３次元形状シーケンスデータに色情報を付与すること、
を特徴とする構成６に記載の画像処理装置。

【0063】

＜構成８＞
前記３次元形状シーケンスデータに含まれる前記時系列の３次元形状データのそれぞれに、前記複数のオブジェクトのそれぞれに対応する識別情報を付与する識別付与手段を更に有すること、
を特徴とする構成１乃至７のいずれか１つに記載の画像処理装置。

【0064】

＜構成９＞
前記シーケンス生成手段は、付与された前記識別情報に基づいて、オブジェクトごとに、前記オブジェクト形状シーケンスデータを生成すること、
を特徴とする構成８に記載の画像処理装置。

【0065】

＜構成１０＞
前記分離手段は、付与された前記識別情報に基づいて、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する前記オブジェクト形状データに分離すること、
を特徴とする構成８又は９に記載の画像処理装置。

【0066】

＜構成１１＞
前記分離手段は、付与された前記識別情報に基づいて、前記時系列の３次元形状データのうちから３次元形状データを変形する起点となる起点形状データと、３次元形状データを変形する変形パスとを設定する変形パス設定手段と、前記起点形状データと前記変形パスとに基づいて、前記起点３次元形状データから前記変形パスに従って時系列順に３次元形状データを変形する変形手段と、を有すること、
を特徴とする構成８乃至１０のいずれか１つに記載の画像処理装置。

【0067】

＜構成１２＞
前記分離手段は、前記結合形状のデータに付与された前記識別情報が、時系列において隣接する、前記２以上のオブジェクトの３次元形状が互いに結合していない単一形状のデータに付与された前記識別情報を含む場合、前記単一形状のデータから前記結合形状のデータに向かう前記変形パスを設定すること、
を特徴とする構成１１に記載の画像処理装置。

【0068】

＜構成１３＞
前記オブジェクト形状シーケンスデータをオブジェクトごとに圧縮する圧縮手段を、
さらに有することを特徴とする請求項１乃至１２のいずれか１つに記載の画像処理装置。

【0069】

＜構成１４＞
前記圧縮手段は、前記オブジェクト形状データを変形する起点となる起点オブジェクト形状データが共通する範囲ごとに、前記オブジェクト形状シーケンスデータを圧縮すること、
を特徴とする構成１３に記載の画像処理装置。

【0070】

＜構成１５＞
前記オブジェクト形状シーケンスデータの編集操作を受け付ける受付手段と、
前記編集操作に基づいて、前記オブジェクト形状シーケンスデータを変更して、変更済みのオブジェクト形状シーケンスデータを生成するシーケンス変更手段と、
を更に有し、
前記圧縮手段は、前記変更済みのオブジェクト形状シーケンスデータが生成された前記オブジェクト形状シーケンスデータについては、当該オブジェクト形状シーケンスデータに替えて、当該変更済みのオブジェクト形状シーケンスデータを圧縮すること、
を特徴とする構成１３又は１４に記載の画像処理装置。

【0071】

＜方法＞
複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得する形状取得工程と、
前記複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが前記時系列の３次元形状データに含まれる場合に、前記結合形状のデータを前記２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、前記複数のオブジェクトのそれぞれに対応する前記オブジェクト形状データを生成する分離工程と、
オブジェクトごとの時系列の前記オブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成するシーケンス生成工程と、
を含むことを特徴とする画像処理方法。

【0072】

＜プログラム＞
コンピュータを、構成１乃至１５のいずれか１つに記載の画像処理装置として機能させるためのプログラム。

【符号の説明】

【0073】

１００ 画像処理装置
２０２ 形状取得部
２０４ シーケンス生成部
２０６ 圧縮部

【要約】

【課題】複数のオブジェクトの３次元形状が１つの３次元形状データにより表現される場合であっても、オブジェクトごとに３次元形状データを独立に処理することを可能にする。
【解決手段】画像処理装置１００は、複数のオブジェクトの３次元形状を示す時系列の３次元形状データを含む３次元形状シーケンスデータを取得し、複数のオブジェクトのうちの２以上のオブジェクトの３次元形状が１つの３次元形状として結合された結合形状のデータが時系列の３次元形状データに含まれる場合に、結合形状のデータを２以上のオブジェクトのそれぞれに対応する３次元形状データであるオブジェクト形状データに分離して、複数のオブジェクトのそれぞれに対応するオブジェクト形状データを生成し、オブジェクトごとの時系列のオブジェクト形状データを含む３次元形状シーケンスデータであるオブジェクト形状シーケンスデータを、オブジェクトごとに生成する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】