(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-07
(45)【発行日】2022-06-15
(54)【発明の名称】三次元モデル化オブジェクトの圧縮
(51)【国際特許分類】
G06T 17/20 20060101AFI20220608BHJP
G06F 30/10 20200101ALI20220608BHJP
【ＦＩ】
G06T17/20 500
G06F30/10 100
【請求項の数】
13
【外国語出願】
(21)【出願番号】P 2016210954
(22)【出願日】2016-10-27
(65)【公開番号】P2017130188
(43)【公開日】2017-07-27
【審査請求日】2019-10-07
(31)【優先権主張番号】15306739.2
(32)【優先日】2015-10-30
(33)【優先権主張国・地域又は機関】EP
【前置審査】
(73)【特許権者】
【識別番号】500102435
【氏名又は名称】ダッソー システムズ
【氏名又は名称原語表記】ＤＡＳＳＡＵＬＴ ＳＹＳＴＥＭＥＳ
(74)【代理人】
【識別番号】110000752
【氏名又は名称】特許業務法人朝日特許事務所
(72)【発明者】
【氏名】ミシェル ファブリス
(72)【発明者】
【氏名】ブルケナフェ マリカ
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０１３－１７８７２７（ＪＰ，Ａ）
【文献】特開２０１５－０２８７８２（ＪＰ，Ａ）
【文献】特開２０１５－１２２０６９（ＪＰ，Ａ）
【文献】Shu-Fan Wang et al.，Content-Aware Geometry Image Resizing，[online]，2010年06月，https://www.researchgate.net/publication/267770022_Content-Aware_Geometry_Image_Resizing
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １７／２０
Ｇ０６Ｆ ３０／１０
(57)【特許請求の範囲】
【請求項1】
コンピュータで実施される、三次元モデル化オブジェクトの圧縮方法であって、三次元モデル化オブジェクトのメッシュを設定するステップ（Ｓ１０）と、
二次元平面上で前記メッシュをパラメータ（ｕ，ｖ）化するステップ（Ｓ２０）と、
前記パラメータ化したメッシュを画像Ｉに変換するステップ（Ｓ３０）と、
前記画像Ｉから、各々制御点の集合によって定義される複数のセルからなるグリッドを定義するステップ（Ｓ７０）と、
前記グリッドの各セルの関連性を算出するステップ（Ｓ８０）と、
関連性が所定の閾値よりも低い少なくとも一つのセルを決定するステップ（Ｓ９０）と、
前記少なくとも一つの決定されたセルをリサイズし、結果として得られるグリッドを算出するステップ（Ｓ１００）と、
前記結果として得られるグリッドから、前記画像Ｉの各画素についての変換式を算出するステップ（Ｓ１１０）と、
前記算出された変換式を前記画像Ｉに適用するステップ（Ｓ１２０）と
を有する方法。
【請求項2】
前記関連性が所定の閾値よりも低い前記少なくとも一つのセルを決定するステップにおいて、前記関連性が最も低いセルの集合が決定される、請求項１に記載の、コンピュータで実施される方法。
【請求項3】
前記画像Ｉ中の各画素の有意性を算出することによって有意性画像を提供すること（Ｓ４０）と、前記有意性画像の元の空間領域（Ω）を抽出すること（Ｓ５０）と、
制御点の集合によって補間スプラインとしてパラメータ化された、元の空間領域（Ω）からリサイズされた空間領域（Ω’）への変換式Ｔθを提供すること（Ｓ６０）と、
をさらに備え、
前記画像Ｉから、複数のセルからなるグリッドを定義することは、前記元の空間領域（Ω）を、それぞれが前記制御点の集合の部分集合によって定義される複数のセルに細分化することを含み、
前記グリッドの各セルの関連性を算出することは、各セルについて、当該セル内の前記画素の前記有意性の加重平均を算出することを含み、前記加重平均は、前記補間スプラインを用いて算出され、また、
前記結果として得られるグリッドから前記画像Ｉの各画素について変換式を算出することは、前記結果として得られるグリッドから、前記パラメータ化されたメッシュの前記変換によって、画像Ｉの空間領域にわたって前記変換式Ｔθを算出することを含む、
請求項１～２のいずれか一つに記載の、コンピュータで実施される方法。
【請求項4】
前記変換式Ｔθは、フリーフォーム変形補間スプラインとしてパラメータ化され、また、変位関数μθ（ｘ）は、式【数21】
によって定義され、
ここでＢ０、Ｂ１、Ｂ２、およびＢ３は三次Ｂスプライン関数であり、θは前記制御点を表す関数であり、ｓｗは二つの制御点間の水平方向の間隔であり、ｓｈは二つの制御点間の垂直方向の間隔であり、ｘｗは、前記元の空間領域（Ω）内の画素の水平軸上の位置であり、ｘｈは、前記元の空間領域（Ω）内の画素の垂直軸上の位置であり、また、前記制御点の集合は、グリッドを形成し、θは、制御点のグリッドを表す関数である、
請求項３に記載の、コンピュータで実施される方法。
【請求項5】
各画素の有意性の算出は、関数【数22】
によって実行され、
ここで、
【数23】
であり、
【数24】
であって、ｇｅｏｍ（ｃ）は画像Ｉのｃ番目の色チャネルであり、Ｇσはガウスカーネルであり、また、
【数25】
であって、ｎｏｒｍ（ｃ）は、法線の画像のｃ番目の色チャネルであり、Ｇσはガウスカーネルである、
請求項３または４に記載の、コンピュータで実施される方法。
【請求項6】
前記画像Ｉから、複数のセルからなるグリッドを定義するステップと、前記グリッドの各セルの関連性を算出するステップと、関連性が所定の閾値よりも低い少なくとも一つのセルを決定するステップと、前記少なくとも一つの決定されたセルをリサイズし、結果として得られるグリッドを算出するステップと、前記結果として得られるグリッドから、前記画像の各画素についての変換式を算出するステップと、前記算出された変換式を前記画像Ｉに適用するステップとは、前記画像Ｉに対する前記算出された変換式が圧縮基準を満たすまで反復される、請求項１～５のいずれか一つに記載の、コンピュータで実施される方法。
【請求項7】
前記反復は、前記グリッドに、前記所定の閾値よりも関連性が低いセルがもはや存在しないこと、
前記画像Ｉに前記算出した変換式を適用することによって得られた新しい画像Ｊの圧縮率が、所定の閾値に達したこと、
前記画像Ｉに前記算出した変換式を適用することによって得られた新しい画像Ｊの画素数が所定の閾値に達したこと
のうち少なくとも一つの基準が満たされたときに停止する、
請求項６に記載の、コンピュータで実施される方法。
【請求項8】
前記集合における制御点の数は、反復のたびに増加する、請求項６または７に記載の、コンピュータで実施される方法。
【請求項9】
前記少なくとも一つの決定されたセルのリサイズは、前記少なくとも一つの決定されたセルを縮小することを含み、前記少なくとも一つの決定されたセルの縮小は、前記少なくとも一つの決定されたセルのすべての頂点を、前記少なくとも一つの決定されたセルの頂点に近づくように、当該セルの左右に移動させ、
前記少なくとも一つの決定されたセルのすべての頂点を、前記少なくとも一つの決定されたセルの頂点に近づくように、当該セルの上下に移動させる
ことによって行われる、
請求項１～８のいずれか一つに記載の、コンピュータで実施される方法。
【請求項10】
さらに、前記算出した変換式を前記画像Ｉに適用することによって得られた新しい画像Ｊから三次元モデル化オブジェクトを構築することを備える、請求項１～９のいずれか一つに記載の、コンピュータで実施される方法。
【請求項11】
請求項１～１０のいずれかに記載の方法を実行するための命令を備えたコンピュータプログラム。
【請求項12】
請求項１１に記載のコンピュータプログラムを記録した、コンピュータ読み取り可能な記憶媒体。
【請求項13】
請求項１１に記載のコンピュータプログラムが記録されたメモリを有する処理回路を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はコンピュータプログラムおよびシステムの分野に関連し、特に、三次元モデル化オブジェクトの圧縮方法、システム、およびプログラムに関連する。
【背景技術】
【0002】
メッシュ単純化の分野では、メッシュの頂点の再配置および剪定を行ってメッシュ中の弧の数を減少させ、それによりメッシュに対する演算の高速化、圧縮率の向上、およびアルゴリズム全体の効率化を目指す。再メッシュ化アルゴリズムについては、Ａｌｌｉｅｚ他の“Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ ｉｎ ｒｅｍｅｓｈｉｎｇ ｏｆ Ｓｕｒｆａｃｅｓ， Ｓｈａｐｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｓｔｒｕｃｔｕｒｉｎｇ”（２００８）に包括的に概説されている。
【0003】
Ｗａｎｇ他の“Ｃｏｎｔｅｎｔ－Ａｗａｒｅ Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ Ｒｅｓｉｚｉｎｇ”、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ ２０１０（ＣＧＩ ２０１０） Ｓｈｏｒｔ Ｐａｐｅｒｓ、Ｓｉｎｇａｐｏｒｅ（２０１０）には、ジオメトリ画像（Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅ）に適用するアルゴリズムであって、当該画像のサイズと内容を不均一に縮小させ、メッシュにおける、大部分のディテールを有する箇所を強調しつつ、あまり目立たない頂点を取り除く、コンテンツアウェア型画像リサイズアルゴリズムが開示されている。ジオメトリ画像の概念については、Ｇｕ他の“Ｇｅｏｍｅｔｒｙ Ｉｍａｇｅｓ”、ＳＩＧＧＲＡＰＨ（２００２）において、Ｇｕ他により述べられており、ここでは、ジオメトリ画像と名付けられた二次元構造体を作成するために、メッシュのパラメータ化が行われる。ジオメトリ画像において、モデルの各頂点のｘｙｚは、ｘｙｚ値を符号化するＲＧＢ値と関連付けられている。この非常に効率的な手法を実行することにより、画像のグリッド構造によって与えられる正規化メッシュが作成される。
【0004】
しかしながら、Ｗａｎｇ他の方法には、少なくとも以下の二つの欠点がある。第一に、ここで用いられるコンテンツアウェア型の画像再ターゲット化アルゴリズムは、画像を滑らかに変換するものではないため、縮小率が大きい場合には、メッシュに、明らかなアーチファクト、例えば、偽の頂点を作る。滑らかでない変形により、ジオメトリ画像から得られる導関数に極大値が作られ、さらなる圧縮を行うのが非常に困難になる。例えば、画像が縮小されるにつれ、画像の圧縮率が低くなる。これは、連続する画像およびその派生物中にアーチファクトが作られるためである。
【0005】
第二に、ここで用いられるアルゴリズムは、特に画像用に作成されたものであるため、最終的な成果物が単純化されたメッシュであるという事実は完全に無視される。例えば、ジオメトリ画像の境界の規則性を保つことは、メッシュの単純化を行ううえでは無関係であるかもしれない。
【0006】
こうした背景により、依然として、三次元メッシュを単純化するための方法の改良が求められている。特に、その方法は、ジオメトリ画像を滑らかかつ規則的に、選択的に縮小するものでなければならない。
【発明の概要】
【課題を解決するための手段】
【0007】
本発明は、コンピュータで実施される三次元モデル化オブジェクトの圧縮方法に関する。当該方法は、三次元モデル化オブジェクトのメッシュを提供するステップと、二次元平面上で前記メッシュをパラメータ（ｕ，ｖ）化するステップと、前記パラメータ化したメッシュを画像Ｉに変換するステップと、前記画像Ｉから、それぞれが制御点の集合によって定義される複数のセルからなるグリッドを定義するステップと、前記グリッドの各セルの関連性を算出するステップと、関連性が所定の閾値よりも低い少なくとも一つのセルを決定するステップと、前記少なくとも一つの決定されたセルをリサイズし、結果として得られるグリッドを算出するステップと、前記結果として得られるグリッドから、前記画像の各画素についての変換式を算出するステップと、前記算出された変換式を前記画像Ｉに適用するステップと、を備える。
【0008】
前記方法はさらに、
・関連性が所定の閾値よりも低い前記少なくとも一つのセルの前記決定は、関連性が最も低いセルの集合の決定を含み、
・前記画像Ｉ中の各画素の有意性を算出することによって有意性画像を提供するステップと、
・前記有意性画像の元の空間領域Ωを抽出するステップと、
・制御点の集合によって補間スプラインとしてパラメータ化された、元の空間領域Ωからリサイズされた空間領域Ω’への変換式Ｔθを提供するステップと、を備えてもよく、
・前記画像Ｉから、複数のセルからなるグリッドを定義することは、前記元の空間領域Ωを、それぞれが前記制御点の集合の部分集合によって定義される複数のセルに細分化することを含み、
・前記グリッドの各セルの関連性を算出することは、各セルについて、当該セル内の前記画素の前記有意性の加重平均を算出することを含み、前記加重平均は、前記補間スプラインを用いて算出され、また、前記結果として得られるグリッドから前記画像Ｉの各画素について変換式を算出することは、前記結果として得られるグリッドから、前記パラメータ化されたメッシュの前記変換によって、画像Ｉの空間領域にわたって前記変換式Ｔθを算出することを含み、
・前記変換式Ｔθは、フリーフォーム変形補間スプラインとしてパラメータ化され、また、変位関数μθ（ｘ）は、式
によって定義され、
ここでＢ０、Ｂ１、Ｂ２、およびＢ３は三次Ｂスプライン関数であり、θは前記制御点を表す関数であり、ｓｗは二つの制御点間の水平方向の間隔であり、ｓｈは二つの制御点間の垂直方向の間隔であり、ｘｗは、前記元の空間領域Ω内の画素の水平軸上の位置であり、ｘｈは、前記元の空間領域Ω内の画素の垂直軸上の位置であり、また、前記制御点の集合は、グリッドを形成し、θは、制御点のグリッドを表す関数であり、
・各画素の有意性の算出は、関数
によって実行され、
ここで、
であり、
であって、ｇｅｏｍ（ｃ）は画像Ｉのｃ番目の色チャネルであり、Ｇσはガウスカーネルであり、また、
であって、ｎｏｒｍ（ｃ）は、法線の画像のｃ番目の色チャネルであり、Ｇσはガウスカーネルであり、
・各画素の有意性の算出は、さらに、ユーザ操作に応じて、前記メッシュの二以上の頂点を選択するステップと、前記ユーザによる選択を、頂点のチャートに変換するステップと、係数α＝０を設定して、前記チャートの頂点にリンクされたジオメトリ画像Ｉの画素の有意性を最小化することを含み、
・各画素の有意性の算出は、さらに、ユーザ操作に応じて、前記メッシュの二以上の頂点を選択するステップと、前記ユーザによる選択を、頂点のチャートに変換するステップと、係数α＝１を設定して、前記チャートの頂点にリンクされたジオメトリ画像Ｉの画素の有意性を最大化することを含み、
・前記画像Ｉから、複数のセルからなるグリッドを定義するステップと、前記グリッドの各セルの関連性を算出するステップと、関連性が所定の閾値よりも低い少なくとも一つのセルを決定するステップと、前記少なくとも一つの決定されたセルをリサイズし、結果として得られるグリッドを算出するステップと、前記結果として得られるグリッドから、前記画像の各画素についての変換式を算出するステップと、前記算出された変換式を前記画像Ｉに適用するステップとは、前記画像Ｉに対する前記算出された変換式が圧縮基準を満たすまで反復され、
・前記反復は、前記グリッドに、前記所定の閾値よりも関連性が低いセルがもう存在しないこと、前記画像Ｉに前記算出した変換式を適用することによって得られた新しい画像Ｊの圧縮率が、所定の閾値に達したこと、前記画像Ｉに前記算出した変換式を適用することによって得られた新しい画像Ｊの画素数が所定の閾値に達したことのうち少なくとも一つの圧縮基準が満たされたときに停止し、
・前記集合における制御点の数は、反復のたびに増加し、
・前記少なくとも一つの決定されたセルのリサイズは、前記少なくとも一つの決定されたセルを縮小することを含み、前記少なくとも一つの決定されたセルの縮小は、すべての頂点を、前記少なくとも一つの決定されたセルの頂点に近づくように、当該セルの左および右に移動させ、すべての頂点を、前記少なくとも一つの決定されたセルの頂点に近づくように、当該セルの上および下に移動させることによって行われ、
・前記算出した変換式を前記画像Ｉに適用することによって得られた新しい画像Ｊから三次元モデル化オブジェクトを構築することを備える。
・関連性が所定の閾値よりも低い前記少なくとも一つのセルの前記決定は、関連性が最も低いセルの集合の決定を含み、
・前記画像Ｉ中の各画素の有意性を算出することによって有意性画像を提供するステップと、
・前記有意性画像の元の空間領域Ωを抽出するステップと、
・制御点の集合によって補間スプラインとしてパラメータ化された、元の空間領域Ωからリサイズされた空間領域Ω’への変換式Ｔθを提供するステップと、を備えてもよく、
・前記画像Ｉから、複数のセルからなるグリッドを定義することは、前記元の空間領域Ωを、それぞれが前記制御点の集合の部分集合によって定義される複数のセルに細分化することを含み、
・前記グリッドの各セルの関連性を算出することは、各セルについて、当該セル内の前記画素の前記有意性の加重平均を算出することを含み、前記加重平均は、前記補間スプラインを用いて算出され、また、前記結果として得られるグリッドから前記画像Ｉの各画素について変換式を算出することは、前記結果として得られるグリッドから、前記パラメータ化されたメッシュの前記変換によって、画像Ｉの空間領域にわたって前記変換式Ｔθを算出することを含み、
・前記変換式Ｔθは、フリーフォーム変形補間スプラインとしてパラメータ化され、また、変位関数μθ（ｘ）は、式
【数1】
によって定義され、
ここでＢ０、Ｂ１、Ｂ２、およびＢ３は三次Ｂスプライン関数であり、θは前記制御点を表す関数であり、ｓｗは二つの制御点間の水平方向の間隔であり、ｓｈは二つの制御点間の垂直方向の間隔であり、ｘｗは、前記元の空間領域Ω内の画素の水平軸上の位置であり、ｘｈは、前記元の空間領域Ω内の画素の垂直軸上の位置であり、また、前記制御点の集合は、グリッドを形成し、θは、制御点のグリッドを表す関数であり、
・各画素の有意性の算出は、関数
【数2】
によって実行され、
ここで、
【数3】
であり、
【数4】
であって、ｇｅｏｍ（ｃ）は画像Ｉのｃ番目の色チャネルであり、Ｇσはガウスカーネルであり、また、
【数5】
であって、ｎｏｒｍ（ｃ）は、法線の画像のｃ番目の色チャネルであり、Ｇσはガウスカーネルであり、
・各画素の有意性の算出は、さらに、ユーザ操作に応じて、前記メッシュの二以上の頂点を選択するステップと、前記ユーザによる選択を、頂点のチャートに変換するステップと、係数α＝０を設定して、前記チャートの頂点にリンクされたジオメトリ画像Ｉの画素の有意性を最小化することを含み、
・各画素の有意性の算出は、さらに、ユーザ操作に応じて、前記メッシュの二以上の頂点を選択するステップと、前記ユーザによる選択を、頂点のチャートに変換するステップと、係数α＝１を設定して、前記チャートの頂点にリンクされたジオメトリ画像Ｉの画素の有意性を最大化することを含み、
・前記画像Ｉから、複数のセルからなるグリッドを定義するステップと、前記グリッドの各セルの関連性を算出するステップと、関連性が所定の閾値よりも低い少なくとも一つのセルを決定するステップと、前記少なくとも一つの決定されたセルをリサイズし、結果として得られるグリッドを算出するステップと、前記結果として得られるグリッドから、前記画像の各画素についての変換式を算出するステップと、前記算出された変換式を前記画像Ｉに適用するステップとは、前記画像Ｉに対する前記算出された変換式が圧縮基準を満たすまで反復され、
・前記反復は、前記グリッドに、前記所定の閾値よりも関連性が低いセルがもう存在しないこと、前記画像Ｉに前記算出した変換式を適用することによって得られた新しい画像Ｊの圧縮率が、所定の閾値に達したこと、前記画像Ｉに前記算出した変換式を適用することによって得られた新しい画像Ｊの画素数が所定の閾値に達したことのうち少なくとも一つの圧縮基準が満たされたときに停止し、
・前記集合における制御点の数は、反復のたびに増加し、
・前記少なくとも一つの決定されたセルのリサイズは、前記少なくとも一つの決定されたセルを縮小することを含み、前記少なくとも一つの決定されたセルの縮小は、すべての頂点を、前記少なくとも一つの決定されたセルの頂点に近づくように、当該セルの左および右に移動させ、すべての頂点を、前記少なくとも一つの決定されたセルの頂点に近づくように、当該セルの上および下に移動させることによって行われ、
・前記算出した変換式を前記画像Ｉに適用することによって得られた新しい画像Ｊから三次元モデル化オブジェクトを構築することを備える。
【0009】
さらに、上記方法を実行するための命令を備えたコンピュータプログラムが提供される。
さらに、上記コンピュータプログラムを記録した、コンピュータ読み取り可能な記憶媒体が提供される。
さらに、メモリに接続された処理回路を備えるシステムであって、前記メモリに上記コンピュータプログラムが記録されているシステムが提供される。
さらに、上記コンピュータプログラムを記録した、コンピュータ読み取り可能な記憶媒体が提供される。
さらに、メモリに接続された処理回路を備えるシステムであって、前記メモリに上記コンピュータプログラムが記録されているシステムが提供される。
【図面の簡単な説明】
【0010】
以下、非限定的な例として、本発明の実施の形態を、添付の図面を参照しつつ説明する。
【図1】本方法の一例についてのフローチャートを示す。
【図2】三次元モデル化オブジェクトのメッシュの一例を示す。
【図6】本システムの一例における画像有意性算出の一例を示す。
【図7】本システムの一例における画像有意性算出の一例を示す。
【図8】サマリー画像算出の一例を示す。
【図9】サマリー画像算出の一例を示す。
【図10】本発明により得られたジオメトリ画像を示す。
【図11】順方向マッピング変換の一例を示す。
【図12】逆方向マッピング変換の一例を示す。
【図13】Ｂスプライン補間グリッドの一例を示す。
【図14】Ｂスプライン補間グリッドの制御点変位の効果の一例を示す。
【図15】本発明を実施するコンピュータプログラムの演算モジュールの一例を示す。
【図16】本発明の方法を実行するコンピュータシステムの一例を示す。
【発明を実施するための形態】
【0011】
図１のフローチャートを参照して、コンピュータで実施される三次元（３Ｄ）モデル化オブジェクトの圧縮方法を提案する。本方法は、３Ｄモデル化オブジェクトのメッシュを設定するステップを有する。そして、メッシュは、二次元（２Ｄ）平面上でパラメータ（ｕ，ｖ）化される。パラメータ化されたメッシュは、その後、画像Ｉに変換される。例えば、画像Ｉは、ジオメトリ画像である。そして、複数のセルからなるグリッドが、画像Ｉから定義される。グリッドの各セルは制御点の集合で定義される。このように、グリッドは、制御点の集合により形成される。そして、グリッドの各セルの関連性が算出され、すべてのセルがまとまって、一つのサマリー画像を形成する。次に、関連性が所定の閾値よりも低い一つ以上のセルを決定する。例えば最も関連性の低いｋ個のセルが選択される。そして、決定されたセルが、制御点を移動（変位）させることによってリサイズされ、その結果として得られるグリッドが算出される。この結果として得られるグリッドは、一つ以上の制御点が変位した後に得られる新たなグリッドである。そして、この結果として得られるグリッドから、画像の各画素の変換式が算出され、この変換式が画像Ｉに適用される。このような方法は、三次元メッシュの単純化を改善する。
【0012】
特に、本発明により、ジオメトリ画像を、滑らかかつ規則的に縮小することが可能となる。実際、本発明では、ジオメトリ画像のうち、色が変化しない、あるいはわずかにのみ変化する領域を取り除く。ジオメトリ画像によって表されるモデルは、このように、ジオメトリ画像のうち、メッシュに関する冗長な（したがって不要な）情報を備える領域を取り除くことによって縮小される。さらに、本発明では、矩形のジオメトリ画像を維持しない。これにより、画像の境界に関係なく情報の最小化が行われる。
【0013】
本方法は、コンピュータで実施される。すなわち、本方法のステップ（あるいは略全てのステップ）が少なくとも一つのコンピュータ、または類似の任意のシステムによって実行される。よって本方法のステップは、コンピュータにより、完全に自動的に、あるいは半自動的に実行される。例えば、本方法の少なくともいくつかのステップは、ユーザとコンピュータの対話を通じて始動されてもよい。求められるユーザとコンピュータの対話レベルは、想定される自動性のレベルに応じたものであって、ユーザの要望を実装する必要性との間でバランスをとるものとしてもよい。例えば、このレベルは、ユーザが定義し、かつ／または、あらかじめ定義するものであってもよい。
【0014】
例えば、提供するステップは、ユーザの動作、例えば、圧縮する３Ｄモデルをユーザが選択することによって始動されてもよい。
【0015】
コンピュータによる本方法の実施の典型的な例は、この目的に適したシステムを用いて本方法を実行することである。このシステムは、メモリに接続したプロセッサ（処理回路とも呼ぶ）を備える。システムは、さらに、グラフィカル・ユーザ・インターフェイス（ＧＵＩ）を備えていてもよい。メモリ上には、本方法を実行するための命令を備えるコンピュータプログラムが記録されている。また、メモリは、データベースを記憶していてもよい。メモリは、そのような記憶に適した任意のハードウェアであり、場合により、物理的に区別可能ないくつかの部分（例えば、プログラム用に一つ、場合によりデータベース用に一つ）を備える。
【0016】
本方法は、広く、モデル化オブジェクトを扱うものである。モデル化オブジェクトは、記憶したデータ、例えばデータベースに記憶したデータによって定義される任意の物体である。さらには、「モデル化オブジェクト」という表現は、データそのものも示す。システムの種類に応じて、異なる種類のデータによってモデル化オブジェクトが定義されてもよい。実際、システムは、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、および／またはＰＬＭシステムの任意の組み合わせであってもよい。これらの異なるシステムにおいて、モデル化オブジェクトは、対応するデータによって定義される。したがって、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェクト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ、ＣＡＥデータについて言及することがある。しかしながら、モデル化オブジェクトは、これらのシステムの任意の組み合わせに対応するデータによって定義されてもよいため、これらのシステムは、互いに排他的なものではない。したがって、システムは、ＣＡＤ兼ＰＬＭシステムである可能性もある。
【0017】
ＣＡＤシステムは、少なくとも、ＣＡＴＩＡのようなモデル化オブジェクトのグラフィック表現に基づくモデル化オブジェクトの設計に適した任意のシステムをも意味する。この場合、モデル化オブジェクトを定義するデータは、モデル化オブジェクトの表現が可能なデータを備える。ＣＡＤシステムは、例えば、辺や線を用い、また、ある場合には面や曲面を用いて、ＣＡＤモデル化オブジェクトの表現を提供してもよい。線、辺、あるいは面は、例えば非一様有理Ｂスプライン（ＮＵＲＢＳ）など、様々な様式で表現されてもよい。具体的には、ＣＡＤファイルは仕様を含み、その仕様に基づきジオメトリが生成可能であり、よって表現が生成可能となる。モデル化オブジェクトの仕様は一つまたは複数のＣＡＤファイルに記憶されていてもよい。ＣＡＤシステムでモデル化オブジェクトを表現するファイルの典型的なサイズは、一部分あたり１メガバイトの範囲である。また、モデル化オブジェクトは、典型的には、数千の部分の集合体であってもよい。
【0018】
ＣＡＤの文脈において、モデル化オブジェクトは、典型的には、３Ｄモデル化オブジェクト、例えば、一つの部品や部品の集合体などの製品、あるいは製品の集合体を表現するものであってもよい。「３Ｄモデル化オブジェクト」は、３Ｄ表現が可能なデータによってモデル化される任意のオブジェクトを意味する。３Ｄ表現は、その部品をすべての角度から見ることを可能にする。たとえば、３Ｄで表現された３Ｄモデル化オブジェクトは、その軸のうちの任意の軸、あるいは、その表現が表示された画面中の任意の軸を中心に、処理して回転させることが可能である。これは、特に、３Ｄモデル化されていない２Ｄアイコンについては除外される。３Ｄ表現の表示は、設計を容易にする（すなわち、設計者が作業を達成するスピードを統計的に速める）。製品の設計は生産工程の一部であるから、これによって当該産業における生産工程が迅速化する。
【0019】
３Ｄモデル化オブジェクトは、ＣＡＤソフトウェア・ソリューションやＣＡＤシステム等を用いた仮想的デザインの完了後に実世界において生産される製品、すなわち（例えば機械的な）部品や、部品の集合（あるいは同様に部品の集合。なぜなら部品の集合は本方法の観点では一つの部品としてみることができ、また、本方法は集合体における各部品に独立して適用することができるからである）、より一般的には任意の剛体の集合体（例えば移動機構）などの製品のジオメトリを表現してもよい。ＣＡＤソフトウェア・ソリューションは、航空宇宙、建築、建設、消費財、ハイテク機器、産業機器、輸送、海洋、および／または海洋石油／ガス生産、または交通を含む、限定されることのない様々な産業分野において製品の設計を可能にする。本方法により設計された３Ｄモデル化オブジェクトは、このように、地上車両の部品（例えば、自動車および軽トラック機器、レーシングカー、オートバイ、トラックおよびモーター機器、トラック、バス、電車を含む）、航空車両の部品（例えば、航空機体機器、航空宇宙機器、推進機器、防衛製品、航空路線機器、宇宙機器を含む）、海軍車両の部品（例えば、海軍用機器、商業用船舶、オフショア機器、ヨットおよび作業船、船舶用機器を含む）、一般的な機械部品（例えば、工業用製造機械、大型移動機械または機器、設置機器、産業機器製品、加工金属製品、タイヤ製造製品を含む）、電気機械部品または電子部品（例えば、家電、セキュリティおよび／または制御および／または計装製品、コンピューティングおよび通信機器、半導体、医療装置および設備を含む）、消費者製品（例えば、家具、家庭用および庭用製品、レジャー用品、ファッション用品、耐久消費財小売用品、織物類小売用品を含む）、包装（例えば、食品および飲料およびたばこ、美容およびパーソナルケア、家庭用製品包装を含む）などのように、任意の機械的部品であり得る工業製品を表してもよい。
【0020】
図１６は、本システムの一例を示す図であり、本システムは、クライアントコンピュータシステム、例えば、ユーザのワークステーションである。
【0021】
本例のクライアントコンピュータは、内部通信バス１０００に接続された中央演算処理装置（ＣＰＵ）１０１０、および同じくバスに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０とを備える。クライアントコンピュータはさらに、バスに接続されたビデオランダムアクセスメモリ１１００と関連付けられたグラフィックス処理装置（ＧＰＵ）１１１０を備える。ビデオＲＡＭ１１００は、当該技術分野において、フレームバッファとしても知られる。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０などの大容量記憶装置へのアクセスを管理する。コンピュータプログラムの命令及びデータを有形に具現化するのに適した大容量メモリ装置は、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置のような半導体メモリ装置、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ－ＲＯＭディスク１０４０を含む、全ての形式の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完されてもよいし、組み入れられてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータはまた、カーソル制御装置、キーボードなどの触覚装置１０９０を含んでいてもよい。カーソル制御装置は、ユーザがディスプレイ１０８０上の任意の所望の位置にカーソルを選択的に位置させることを可能にするために、クライアントコンピュータ内で使用される。さらに、カーソル制御デバイスは、ユーザが様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力するための多数の信号生成装置を含む。典型的には、カーソル制御装置はマウスであってもよく、マウスのボタンは信号を生成するために使用される。あるいは、または追加的に、クライアントコンピュータシステムは、感知パッドおよび／または感知スクリーンを備えてもよい。
【0022】
コンピュータプログラムは、コンピュータによって実行可能な命令を含んでいてもよく、命令は、上記システムに方法を実行させるための手段を含む。プログラムは、システムのメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは、例えば、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。プログラムは、例えばプログラマブルプロセッサによる実行のための機械読み取り可能な記憶装置に有形に具体化された製品のような装置として実装されてもよい。方法ステップは、プログラム可能なプロセッサが命令のプログラムを実行し、入力データを操作して出力を生成することによって方法の機能を実行することによって実行されてもよい。したがって、プロセッサは、データ記憶システム、少なくとも一つの入力デバイス、および少なくとも一つの出力デバイスからデータおよび命令を受信し、また、それらにデータおよび命令を送信するようにプログラム可能であってもよく、またそのように接続されていてもよい。アプリケーションプログラムは、高水準の手続き型またはオブジェクト指向のプログラミング言語で、または必要に応じてアセンブリ言語または機械語で実装されていてもよい。いずれの場合も、言語はコンパイラ型言語またはインタープリタ型言語であってもよい。プログラムは、フルインストールプログラムまたは更新プログラムであってもよい。いずれの場合も、プログラムをシステムに適用すると、本方法を実行するための指示が得られる。
【0023】
図１に戻って、ステップＳ１０において、３Ｄオブジェクトのメッシュが設定される。３Ｄオブジェクトは３Ｄモデル化オブジェクトであってもよい。このステップは、ユーザ操作、例えば、ユーザが、メモリ上に記憶され得る３Ｄモデル化オブジェクトを選択することによって実行される。これは、本方法を実行するコンピュータシステムによって自動的に達成されてもよい。ここで、設定するとは、３Ｄモデル化オブジェクトのメッシュがコンピュータシステムによって利用可能となる状態にすること、すなわち、システムがメッシュに関連するデータにアクセス可能となる状態にすることを意味する。典型的には、コンピュータシステムは、３Ｄモデル化オブジェクトのメッシュがシステムで利用可能になると、当該メッシュを、例えば、頭部をモデル化した３Ｄモデル化オブジェクトのメッシュを示す図２に示されるように表示してもよい。
【0024】
次に、ステップＳ２０において、ステップＳ１０において設定されたメッシュが、２Ｄ平面においてパラメータ（ｕ，ｖ）化される。メッシュを２Ｄ平面においてパラメータ化することは、２Ｄ空間内で３Ｄモデル化オブジェクトの仕様を有するために必要なパラメータが決定されることを意味する。実際には、パラメータ化は、２Ｄ平面内のメッシュの各頂点の有効座標（ｕ，ｖ）の完全な集合を識別することを含む。パラメータ化は、当技術分野で知られているように実行され、例えば、ＡＢＦ＋＋パラメータ化アルゴリズムを使用することができる。これにより、例えば、メッシュ全体が２次元平面内で少ない歪みで展開されるようになり、または少数のチャートに切断されたメッシュが２次元平面で少ない歪みで展開されるようになる。
【0025】
図４は、図２のメッシュを２Ｄ平面でパラメータ化したものを示す。メッシュのパラメータ化により、２Ｄ平面における２次元座標（ｕ，ｖ）を有する頂点の集合が得られる。興味深いことに、３Ｄモデル化オブジェクトの元のメッシュの各頂点は、２Ｄ平面内の一つの頂点によって表される。
【0026】
パラメータ化の前に、メッシュをチャートにカットするステップを行うことができる。これは、ステップＳ１０における入力とされた図２のメッシュ上でのチャート作成を示す図３に示されている。これにより、任意の属（形状におけるトポロジー的「穴」の数）のメッシュを扱うことが可能になり、当該技術分野で知られているように、単一のトポロジー的円板に縮小することが可能になる。
【0027】
そして、ステップＳ３０において、ステップＳ２０でパラメータ化されたメッシュを、画像、すなわち画像Ｉに変換する。これは、メッシュのパラメータ化によって、ラスタ画像を形成する２Ｄ座標を有する頂点の集合が得られることを意味し、ここで、当該集合における各頂点はラスタ画像の画素であり、当該集合における各頂点の座標（ｘ，ｙ，ｚ）は、ラスタ画像の赤／青／緑のカラーチャネルに格納される。
【0028】
このように、ステップＳ３０での出力はジオメトリ画像である。ジオメトリ画像は、Ｘｉａｎｆｅｎｇ Ｇｕ、Ｓｔｅｖｅｎ Ｊ． Ｇｏｒｔｌｅｒ、Ｈｕｇｕｅｓ Ｈｏｐｐｅ、“Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ”、３５５－３６１ページ、ＡＣＭ Ｐｒｅｓｓ（２００２）における“Ｇｅｏｍｅｔｒｙ ｉｍａｇｅｓ”に開示されている。ジオメトリ画像は、ポリゴンメッシュの２Ｄ画像表現への変換を改善する。ジオメトリ画像は、当該技術分野で知られているように、３Ｄモデル化オブジェクトの任意の面を、３Ｄモデル化オブジェクトの元のジオメトリを完全に規則的に再メッシュ化したものである２Ｄ画像として、静的メッシュ上へ変換することによって得られ、逆変換をサポートする。ジオメトリ画像によって、ジオメトリを量子化された点の単純な２Ｄ配列として捉えた、完全に規則的な構造が提供される。法線や色のような表面信号は、同じ暗示的な面のパラメータ化（テクスチャ座標は存在しない）により、同様の２Ｄ配列に格納される。
【0029】
図５は、図２のメッシュから得られたジオメトリ画像を示す。この画像を形成する各画素は頂点であり、画素の色は頂点の座標（ｘ，ｙ，ｚ）を符号化する。
説明のみを目的として、以下に画像の数学的な定義について述べる。画像は、空間領域Ω（空間領域Ωは次元ｄの領域）から画像値の空間であるＶ（Ｖは次元ｃの空間）へのマッピングである。最も一般的な意味で画像を定義するために、ΩやＶの性質について仮定はしない。
説明のみを目的として、以下に画像の数学的な定義について述べる。画像は、空間領域Ω（空間領域Ωは次元ｄの領域）から画像値の空間であるＶ（Ｖは次元ｃの空間）へのマッピングである。最も一般的な意味で画像を定義するために、ΩやＶの性質について仮定はしない。
【0030】
例えば、コンピュータメモリにおいて２５６階調にわたるｍ×ｎ次元の２Ｄ画像Ｉは、マッピング（式１）として定義することができる。
【数6】
【0031】
この例では、空間領域Ωは次元ｄ＝２の領域であり、画像値Ｖの空間は次元ｃ＝１の空間である。２Ｄ画像は、離散空間領域Ω上で定義されるように、離散画像と考えることができる。これは、以下の形式の空間領域Ωで定義された連続画像とは対照的である。
離散変換は、通常、離散画像に作用する変換を指し、一方、連続変換は連続画像に作用する。離散画像空間のみがコンピュータのメモリにおいて表現可能であるため、当該技術分野で知られているように、補間のような数値法を用いて以下の整数位置における画像の値を算出する。
【数7】
離散変換は、通常、離散画像に作用する変換を指し、一方、連続変換は連続画像に作用する。離散画像空間のみがコンピュータのメモリにおいて表現可能であるため、当該技術分野で知られているように、補間のような数値法を用いて以下の整数位置における画像の値を算出する。
【数8】
【0032】
続くステップＳ４０～Ｓ８０は、ジオメトリ画像、例えば、ステップＳ３０で出力されたジオメトリ画像から、いわゆるサマリー画像を出力することを目的とする。サマリー画像は、有意性画像（Ｓｉｇｎｉｆｉｃａｎｃｅ Ｉｍａｇｅ）を、スプラインに基づく画像補間に結びつける計算方法である。例えば、スプラインは、Ｂ－Ｓｐｌｉｎｅベースのフリーフォーム変形であってもよい。しかしながら、ステップＳ４０～Ｓ８０は、他のスプラインベースの補間、例えばＮＵＲＢＳを用いて実行することができる。有意性画像は、画像内の関連する部分を識別することを可能にする。有意性画像は、元の画像（例えば、ジオメトリ画像）と同じサイズであり、元の画像の各画素について、有意性画像の画素が、元の画像における対応する画素を変更するコストを定義する。ジオメトリ画像の有意性画像演算については、ステップ４０を参照して述べる。
【0033】
元の画像領域にわたって、フリーフォーム変形グリッド（または他の任意のスプラインベースの補間グラフ）が定義される。あるいは、複数のセルからなるグリッドが画像Ｉから定義され、各セルは制御点の集合によって定義される。グラフの制御点を移動すると、画像に適用される変換式が変更され、画像が変換される。例えば、この変換は微分同相変換であってもよく、この場合、結果として得られる画像が、滑らかな導関数によって滑らかになる。
【0034】
セルの変形は、頂点の変位に明確にリンクされ、順に、画像の変形に影響を及ぼす。セルは、少なくとも三つの頂点で区切られたグラフの閉サイクルであり、これは、フリーフォーム変形の正則グリッドの場合には、グリッドのセルとまったく同じである。そして、変形グリッド内のどの頂点をどの程度移動すべきかを定義する問題が生じ、頂点の動きが、ある仮定の下で常に微分同相変換となることが示される。この問題に答えるために、サマリー画像が定義される。サマリー画像は、グリッドの各セルについて、関連性の演算結果を示す。したがって、サマリー画像は有意性画像の代わりとして機能し、有意性画像によって定義されるグラフ内の一つのセルを変形するコストを定量化する。サマリー画像は、変形グラフのセル数と同じ数の画素をカウントし、サマリー画像の各画素は、グラフ中の対応するセルを変形するコストを定量化する。サマリー画像の算出は、ステップ５０～８０を参照して説明する。
【0035】
図１のフローチャートを再び参照すると、ステップＳ４０において、画像Ｉ、例えばジオメトリ画像における各画素の有意性（Ｓｉｇｎｉｆｉｃａｎｃｅ）を計算することによって、有意性画像Ｓが得られる。画像の有意性は、当該画像の各画素に関連付けられたコストとして定義される。このコストは、画素が伝える情報量に直接関係している。画素によって伝達される情報の量は、画像内の画素の関連性であってもよいが、これに限定されるものではない。例えば、関連性はユーザによって決定されてもよい。画像Ｉの画素の有意性は、画像の整合性のために、当該画素の重要度を定量化するものである。したがって、画像Ｉの画像有意性は、画像Ｉにおける、他よりも大きな情報を伝達する画素を示す。
【0036】
例えば図６では、キャラクタの左右の白いゾーンを縮小しても、シーンの視覚的理解は変わらない。実際、見る者は、図６の画像からも、白色の領域が縮小された画像からも、同じ情報を収集する。理想的には、画像の外観を大幅に変更することなく内容を調整することができない領域では、画像の有意性が高くなる。
【0037】
実際には、画像の有意性自体が画像として表される。さらに、画像も有意性画像も、その空間領域は同じである。言い換えれば、どちらの画像における画素位置も、同じ空間位置を表す。
【0038】
有意性画像の各画素に割り当てられた値は、当該画素によって伝達される情報の量を表す。これは、図６の画像から得られた有意性画像を示す図７に示すとおりである。すなわち、図７では、暗い領域は、内容の情報量が多い領域を表す。有意性画像の表現により、画像全体の情報の力に大きな影響を与えることなく、すべての白色の領域を縮小可能であることが容易に理解できる。
【0039】
当該技術分野で知られている任意の画像有意性演算法を使用することができる。例えば、画像の有意性を算出するための最も基本的な方法の一つ、すなわち、画像の勾配ノルムの、平滑化されたバージョンを使用することができ、ここでの平滑化は２Ｄガウスフィルタを用いて行われる。図７は、画像の勾配ノルムが平滑化された図６の画像を示す。画像有意性演算の別の例として、画像顕著性演算を用いてもよい。画像の顕著性は、画像のセグメント化のために、画像における関連する部分を見つけることを目的とする。興味深いことに、画像有意性は、画像が、ビデオの場合のように、静的ではなく動的である場合には、動き情報を使用することによっても算出され得る。これは、ビデオのターゲットを変更する際、再ターゲット化されたビデオフレーム間の時間的な一貫性を維持するのに特に便利である。動き情報は、通常、画像のオプティカルフローとして符号化され、当技術分野で知られている任意の方法を用いて算出することができる。
【0040】
好ましくは、有意性画像Ｓｉｇ Ｉは、式７の関数で計算される。
ここで、
である。
【数9】
ここで、
【数10】
である。
【0041】
Ｅｇｅｏｍという項は、画像Ｉのｃ番目の色チャネルであり、Ｅｎｏｒｍという項は、法線の画像のｃ番目の色チャネルである。
Ｅｇｅｏｍは、以下のように定義される（式７ａ）。
また、Ｅｎｏｒｍは、式７ｂによって定義される。
Ｅｇｅｏｍは、以下のように定義される（式７ａ）。
【数11】
また、Ｅｎｏｒｍは、式７ｂによって定義される。
【数12】
【0042】
式７ａと７ｂの両方において、有意性をマルチスケール演算のためのスケールσで定義することを可能にする、ガウスカーネルＧσを使用する。特に、ジオメトリ画像では、冗長な頂点を有する優先順位の高い領域を減らすことが重要であり、これにより、緩勾配のスムーズな領域に変換される。これが、ジオメトリ画像の有意性Ｓｉｇ Ｉの定義の要点である。パラメータ化されたメッシュ法線を、利用可能なときには利用することにより、メッシュ内の顕著な隆線を有する領域を、さらに保護することができる。
【0043】
興味深いことに、各画素の有意性の算出（すなわち、有意性画像の算出）は、メッシュ内の圧縮する領域を保護するためのユーザ対話を含んでいてもよい。ユーザは、保護されるべきメッシュの頂点を選択する（例えば、ユーザは、メッシュの領域を選択する）。これは、保護される頂点のチャートに変換される。チャート全体のコストは、画像有意性において非常に高く設定される。すなわち、係数αは、チャートの頂点にリンクされたジオメトリ画像の画素に対してα＝０に設定される。αの値は、０に近い値に設定してもよい。例えば、αの値は、値の範囲［０；０，２］に含まれ得る。
【0044】
逆に、メッシュの領域は大幅に単純化する必要がある可能性がある。ユーザは、保護されるべきメッシュの頂点を選択する（例えば、ユーザは、メッシュの領域を選択する）。ユーザによるこの選択は、保護されるべき頂点のチャートに変換される。チャート全体のコストは、画像有意性において非常に低く設定されている。すなわち、係数αは、チャートの頂点にリンクされたジオメトリ画像の画素に対してα＝１に設定される。αの値は１に近い値に設定してもよい。例えば、αの値は、値の範囲［０，８；１］に含まれ得る。
【0045】
次に、ステップＳ５０において、有意性画像の元の空間領域が抽出される。元の空間領域はΩとする。空間領域は、デジタル画像が、その画素の空間座標によって定義される領域（例えば平面）である（２Ｄ画像の場合、空間座標は、一般的には
で表される）。上述のように、重要画像の空間領域は、圧縮すべき画像Ｉの空間領域と同じであってもよい。有意性画像と画像Ｉの空間領域がともに同じ場合、これらの画像における画素位置は、ともに同じ空間位置を表す。
【数13】
で表される）。上述のように、重要画像の空間領域は、圧縮すべき画像Ｉの空間領域と同じであってもよい。有意性画像と画像Ｉの空間領域がともに同じ場合、これらの画像における画素位置は、ともに同じ空間位置を表す。
【0046】
次に、ステップＳ４０において、Ｔθで表される変換式が設定される。Ｔθは、元の空間領域（Ω）からリサイズされた空間領域（Ω’）までの制御点の集合によって補間スプラインとしてパラメータ化される。変換式という用語は、画像Ｉの画素位置に適用されてＩの既存の画素位置を単純に置き換える演算子を意味し、これによりリサイズされた画像Ｊが生じる。よって、変換式は画素の値ではなく、画素の座標に作用する。リサイズする画像Ｉの画素座標の部分集合のみが関係する離散変換から、画像Ｉのすべての画素に関係する連続変換まで、あらゆる変換が可能である。この変換はＴθで表され、Ｔは変換を指定することを意味し、θは変換のパラメータを指定することを意味する。これについては後述する。
【0047】
説明のために、変換式Ｔθの数学的定義について述べる。変換式Ｔθのような画像変換は、入力空間領域Ωから出力空間領域Ω’へのマッピングである。入力空間領域Ωは、ステップＳ４０で抽出された有意性画像の元の空間領域であってもよい。出力空間領域Ω’は、リサイズされた画像Ｊの空間領域であり得る。Ω’は、Ωのリサイズされたバージョンである。ΩとΩ’の密度は同じである。密度という用語は、空間内の値の種類（実数値、量子化値、積分値・・・）を特徴づけるものであるが、範囲が異なる可能性がある。変換はΩからΩ’へのマッピングのすべての特性を有する。すなわち、マッピングが線形である場合、変換は線形となり、マッピングが連続的であれば変換は連続的である。
【0048】
リサイズされた画像Ｊは、変換式Ｔθの適用対象である、リサイズ対象の画像Ｉとして定義される。したがって、Ωの画素のすべての位置ｘに対して、次の式（式２）が適用される。
【数14】
【0049】
言い換えれば、画素の新しい位置ｙ＝Ｔθ（ｘ）のそれぞれにおいて、Ｉ（ｘ）の値がＪ（ｙ）にコピーされる。画素の値は変更されず、その位置のみが変更され得る。画素は、リサイズ対象の画像の座標フレームから、リサイズされた画像へ、「順方向」に移動される。すなわち、この場合、図１１に示すように、順方向マッピングが実行される。ここで、斜線の入った四角は空の画素を示す。なぜなら、当該変換では、新しい画像内の非整数位置へのマッピングが行われるからである。
【0050】
興味深いことに、変換式Ｔθは可逆的であってもよい。すなわち、当該変換は逆にすることができる。この場合、リサイズ対象の画像Ｉの空間領域Ωのすべての位置ｘについて、次の式（式３）が適用される。
【数15】
【0051】
式３の結果として、リサイズされた画像Ｊ内のすべての画素に、画像Ｉ内の位置が割り当てられる。画素は、リサイズされた画像Ｊの座標フレームから、リサイズ対象の画像Ｊへ、「逆方向」に移動される。すなわち、この場合、図１２に示すように、逆方向マッピングが実行される。この逆方向マッピングが実行可能なのは、元の位置空間内の非整数位置を扱うときに補間手法が利用できるからである。実際には、任意の変換反転手法を用いることができる。例えば、Ｇａｒｙ Ｅ． Ｃｈｒｉｓｔｅｎｓｅｎ、Ｈａｎｓ Ｊ． Ｊｏｈｎｓｏｎ： Ｃｏｎｓｉｓｔｅｎｔ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ｍｅｄ． Ｉｍａｇｉｎｇ ２０（７）： ５６８－５８２（２００１）を用いることができる。
【0052】
ステップＳ６０で設定される変換式Ｔθは、微分同相変換式Ｔθであってもよい。微分同相変換は、連続的で、全単射で、可微分で、全単射の導関数である変換であり、その逆もまた連続的で可微分である。有利なことに、微分同相変換は、リサイズ対象の画像について、リサイズ対象の画像の導関数についてもアーチファクトを発生させることのないように、滑らかな変換を行う。これは、区分的な滑らかな変換とは対照的である。区分的な滑らかな変換では、入力空間領域Ωが区画化され、その区画のエッジにアーチファクトが生じる。アーチファクトの各々は、画像を圧縮しにくくする高い周波数を生成する。微分同相変換のもう一つの利点は、変換が可逆的であることである。すなわち、不自然に見える変換はすべて破棄されるため、公知の折り重なり（ｆｏｌｄ－ｏｖｅｒ）の問題は回避される。実際、変換が、ある箇所で可逆的でない場合、空間領域Ωにおける二つの異なる画素位置が、リサイズ後の空間領域Ω’の同一の画素位置にマッピングされることがあり得る。これにより、画像がそれ自体の上に折り重なるという視覚的効果が生じる。
【0053】
変換式Ｔθはパラメータ化される。これは、空間領域Ωが非常に大きい可能性があり（無限大になる可能性がある）、計算が非実用的になるため、変換が空間領域Ω全体に対して明示されないことを意味する。パラメータ化された変換式は、Ωの濃度よりも小さい限られた数のパラメータを除き、Ωにおける各位置で評価可能である。
【0054】
変換式Ｔθは、補間スプラインとしてパラメータ化される。当該技術分野で知られているように、スプラインは区分的に定義された多項式関数であり、スプラインの次数に応じて、区画間の接続における滑らかさの程度を設定することができる。区画の接点におけるスプラインの滑らかさの程度は、スプライン全体の滑らかさの程度でもある。スプラインは補間ノードとも呼ばれる制御点を有する。制御点の変位は、スプラインの形状を変更する。したがって、変換式Ｔθは、Ｔθをパラメータ化する補間スプラインの制御点の集合によってパラメータ化される。
【0055】
変換関数Ｔθのパラメータ化に際し、任意の種類のスプラインが考えられる。実際には、画像処理に関して特に興味深い以下のようなスプラインがあるが、これらに限定されない。
・薄板スプライン。Ｂｏｏｋｓｔｅｉｎ、Ｆｒｅｄ Ｌ．“Ｐｒｉｎｃｉｐａｌ ｗａｒｐｓ： Ｔｈｉｎｐｌａｔｅ ｓｐｌｉｎｅｓ ａｎｄ ｔｈｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｄｅｆｏｒｍａｔｉｏｎｓ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｒｃｈｉｖｅ、第１１巻第６号、１９８９年６月、５６７－５８５ページ。
・フリーフォーム変形。Ｓｅｄｅｒｂｅｒｇ、Ｔｈｏｍａｓ Ｗ．、およびＳｃｏｔｔ Ｒ． Ｐａｒｒｙ。“Ｆｒｅｅ－ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ ｏｆ ｓｏｌｉｄ ｇｅｏｍｅｔｒｉｃ ｍｏｄｅｌｓ”、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＳＩＧＧＲＡＰＨ‘８６ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １３ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ、１５１－１６０ページ。
・非一様有理Ｂスプライン（ＮＵＲＢＳ）。Ｐｉｅｇｌ、Ｌｅｓ Ａ．、およびＷａｙｎｅ Ｔｉｌｌｅｒ．“Ｔｈｅ ＮＵＲＢＳ ｂｏｏｋ”。
・薄板スプライン。Ｂｏｏｋｓｔｅｉｎ、Ｆｒｅｄ Ｌ．“Ｐｒｉｎｃｉｐａｌ ｗａｒｐｓ： Ｔｈｉｎｐｌａｔｅ ｓｐｌｉｎｅｓ ａｎｄ ｔｈｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｄｅｆｏｒｍａｔｉｏｎｓ”、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｒｃｈｉｖｅ、第１１巻第６号、１９８９年６月、５６７－５８５ページ。
・フリーフォーム変形。Ｓｅｄｅｒｂｅｒｇ、Ｔｈｏｍａｓ Ｗ．、およびＳｃｏｔｔ Ｒ． Ｐａｒｒｙ。“Ｆｒｅｅ－ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ ｏｆ ｓｏｌｉｄ ｇｅｏｍｅｔｒｉｃ ｍｏｄｅｌｓ”、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ＳＩＧＧＲＡＰＨ‘８６ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １３ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ、１５１－１６０ページ。
・非一様有理Ｂスプライン（ＮＵＲＢＳ）。Ｐｉｅｇｌ、Ｌｅｓ Ａ．、およびＷａｙｎｅ Ｔｉｌｌｅｒ．“Ｔｈｅ ＮＵＲＢＳ ｂｏｏｋ”。
【0056】
この変換は、入力空間領域Ωから出力空間領域Ω’へのマッピングである。変換式Ｔθは、各画素について、画素位置ｘとその変位μθ（ｘ）の和であってもよく、ここで、μθはΩからΩ’へのマッピングである。Ωにおけるすべての位置ｘについて、変換式Ｔθは次の式（式４）で表すことができる。
【数16】
【0057】
変換式Ｔθのこの表現を使用することにより、一般性を失うことなく、画素の変位の観点からＴθを表すことが可能になり、有利である。この変換は、その位置に関連する成分と画素位置の実際の変位とに分解され、（大きい領域上で）変位が小さい場合でも、変換をかなり大きくすることができる。
【0058】
ここで図１３を参照すると、図１３には、有意性画像から抽出された元の空間領域Ωにわたって定義された制御点の集合の例が示されている。なお、いくつかの制御点が元の空間領域Ωの外側にあることがわかる。この例では、元の空間領域Ωは次元ｄ＝２の領域であり、斜線付きの矩形で表されている。制御点の集合は、変換式Ｔθをパラメータ化する補間スプラインのパラメータを制御し、それらは黒点で表されている。説明のみを目的として、フリーフォーム変形（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎｓ：ＦＦＤ）補間スプラインに焦点を絞って議論する。
【0059】
各制御点の位置はθ（ｉ、ｊ）で表すことができ、θ（ｉ、ｊ）は、（ｉ、ｊ）制御点の位置を表す２Ｄベクトルである。制御点は、インデックスｉおよびｊを用いてそれぞれ、左から右へ、上から下へと任意にインデックス化される。二つの制御点間の水平方向の間隔はｓｗで表され、垂直方向の間隔はｓｈで表すことができ、同様に、水平軸上の元の空間領域Ω内の位置ｘの投影はｘｗで表され、垂直軸上の元の空間領域Ω内の位置ｘの投影はｘｈで表される。リサイズ対象の画像Ｉの空間領域も、左から右、上から下に向いているものとみなされる。
【0060】
水平方向および垂直方向は、任意に選択され、参照フレーム（ｘ、ｙ）を使用して定義することができる。例えば、図１３において、参照フレームは、Ωの左上隅に配置された、共通の原点を有する二つの矢印で表されている。したがって、図１３において、ｘ軸は、水平方向を表し、ｙ軸は、垂直方向を表す。
【0061】
さらに図１３を参照すると、制御点の集合は正則グリッドを形成し、制御点は元の空間領域Ωにわたって均一に広がっている。制御点のグリッドはＦＦＤから取得されたものである。この例では、スプラインの次数に応じて、四つの制御点でサポートされている２Ｄベジェ補間スプラインが算出されている。正則グリッドという用語は、二つの制御点間の元の水平方向の間隔ｓｗの値が常に同じであることを伴う。同様に、二つの制御点間の元の垂直方向の間隔ｓｈの値も常に同じである。水平方向の間隔ｓｗは、図１３に示されるように、垂直方向間隔ｓｈと同じ値を有していてもよい。なお、以下に説明されるように、図１３の制御点の集合のうちの制御点は本発明のプロセス中に移動され得る。
【0062】
興味深いことに、制御点の集合は、元の空間領域Ωにわたって定義される新しい領域を生成する。この新しい領域をΛとし、これについては後述する。ΛはΩに作用し、これは、制御点（例えば、図１４の制御点１４０）の変位がスプラインに影響を及ぼし、今度はスプラインがΩに局所的に影響を及ぼすことを意味する。
【0063】
前述のとおり、変換式Ｔθは、入力空間領域Ωから出力空間領域Ω’までのマッピングであり、ΩからΩ’までの遷移は、画素位置ｘとその変位μθ（ｘ）との和である。どの画素位置からでも、変位関数μθ（ｘ）は、制御点位置から取得され得る。したがって、式４の変位関数μθは、以下の式５に示されるように、制御点の位置の加重線型結合として定義され得る。
【数17】
【0064】
式５において、ＦＦＤの表現には、三次Ｂスプラインが使用される。すなわち関数ＢｋとＢｌは、当該技術分野で知られているように、同じ次数のバーンスタイン多項式とも一致する三次Ｂスプラインである。異なる次数の任意のＢスプラインを使用することができ、本発明は三次のＢスプラインに限定されない。本発明は、ＦＦＤにリンクされるＢスプラインに限定されず、前述のとおり、あらゆる種類のスプラインを使用することができる。
【0065】
前述のとおり、各制御点の位置はθ（ｉ、ｊ）で表すことができる。式５において、θは、パラメータ化された変換式の制御点の集合を表す関数である。特に、関数θは、変換式Ｔθの唯一のパラメータである。実際、θについて知っていれば、変位μθを完全に記述することができ、ひいては、変換式Ｔθを完全に記述することができる。結果として、グリッド内の制御点の変位は、それに応じて変換式Ｔθを変化させる。制御点の変位は空間領域Ωの局所部分にのみ影響を及ぼす。実際、式５で説明されるように、制御点の位置の周囲のサイズ４ｓｈ×４ｓｗの近傍のΩ内の画素位置ｘのみがその動きによって影響を受ける。Ｂ－Ｓｐｌｉｎｅｓの次数が低いと近傍のサイズが異なる可能性がある。
【0066】
式５の三次Ｂスプラインに基づくＦＦＤは、意図的に、三次まで滑らかとされている。この次数は、ベルンシュタイン多項式の次数が低いほど小さい。変位の可逆性と全単射性、およびその第一の導関数は、制御点の変位上の制約を介して達成される。すなわち、ＦＦＤ変位の結果得られる変換は、制御点の変位が、制御点の間隔ｓｈとｓｗの０．４８倍よりも小さい場合、微分同相変換である。この結果は、当該技術分野において知られている。例えば、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｒｃｈｉｖｅ、第２巻第４号、１９９６年１２月、３３７～３５４ページのＬｅｅ、Ｓｅｕｎｇｙｏｕｎｇ他、“Ｉｍａｇｅ ｍｅｔａｍｏｒｐｈｏｓｉｓ ｗｉｔｈ ｓｃａｔｔｅｒｅｄ ｆｅａｔｕｒｅ ｃｏｎｓｔｒａｉｎｔｓ”。したがって、制御点の移動に起因するΩ内の位置ｘの変位は、制御点の変位に追従する。その結果、二つの制御点を接近させると、それら制御点の場所の間において画像が縮小され、制御点の間隔が広がると、それら制御点の場所の間において画像が拡大される。なお、変換の連続性を維持するため、Ω内における変位位置ｘの周囲の領域（４ｓｈ×４ｓｗ）もまた影響を受ける。
【0067】
再び図１を参照すると、ステップＳ７０において、元の空間領域Ωがセルに細分化される。各セルは、制御点の集合における部分集合によって定義される。したがって、セルという用語は、リサイズされた空間領域Ω’の下位部分を定義し、この下位部分は、制御点の部分集合によって区切られる。セルは、当該集合における制御点を接続するエッジで区切られる閉曲面である。セルの集合は、空間領域Ωにわたって空間領域を形成する。セルは、閉曲面であり、これは、セルが少なくとも三つの制御点によって形成されることを伴う。
【0068】
図１３において、セル１３０は、四つの制御点を接続する四つのエッジによって定義される。セル１３０の閉曲面内にある二つの対角線エッジは示されていない。これらの二つのエッジは、セルの閉曲面を区切ることに寄与しない。さらに図１３を参照して、制御点は、セルの正則グリッドを形成する。例えば、四つの制御点によって定義されたセル１３０は、四つの制御点によって区切られたポリゴンである。なお、制御点の集合は、必ずしも正則グリッドを形成するわけではない。例えば、制御点の数が四より多い、あるいは四より少ないセルも使用され得る。
【0069】
制御点の集合から得られたグリッドは、空間領域Ω内の制御点の座標の表現として用いることができる。
【0070】
制御点は、空間領域Ω内には定義されないが、いくつかの制御点の位置は空間領域Ωと重複し、セルは、Ωと重複する制御点を用いて空間領域Ω内に定義される。
【0071】
セルの集合は、元の空間領域Ωにわたるレイヤーとして見てもよい。各セルは、元の空間領域Ωにおける一つ以上の画素と関連付けられる。すなわち、各セルによって形成される領域は、一つ以上の画素をカバーする。ΩおよびΛは、分離されない。Λは、Ωを細分化したものである。ΛがΩにわたる四つのセルの正則グリッドである場合、セルインデックス（０，０）、（０，１）、（１，０）および（１，１）が得られ、各セルは、Ωのサブ領域であり、例えば、セル（０，０）は、Ωから、以下を含む。
【数18】
【0072】
これは、ポリゴンが画像上で描画され、ポリゴン内の一つ一つの画素がセルに属すると言うのに等しい。
【0073】
セルのサイズを縮小すること、すなわちその表面積を縮小することは、セルを囲む制御点を互いに近づけることと同じであり、したがって、セルの位置で画像領域を縮小することと同じである。これは、セルのサイズを大きくする場合にも当てはまる。画像領域は、実際、セルが変形されるのと同じようにふるまう。そして、空間領域Ωの外に定義された制御点が、空間領域Ωの内部に位置する制御点の距離ｓｗとｓｈに留まるように固定される場合、出力画像領域の空間領域Ω’は、内部セルの累積面積と同じ面積を有する。なお、固定される必要がある制御点の数は、スプラインの次数によって異なる。この変換式Ｔθから得られる結果は、式４に定義される。
【0074】
ステップＳ７０において、元の空間領域Ωを細分化するセルの集合が判定されている。このセルの集合は、Λで表される元の空間領域Ωの離散領域を定義する。各セルは、画像に対する画素配置と同じようにみなすことができ、同じようにインデックス化できる。例えば、四つのセルが式１の空間領域Ω上で定義されていれば、四つのセルは、それぞれ、（０，０）、（０，１）、（１，０）および（１，１）にインデックス化され、そして各セルは、空間領域Ωのサブ領域である。例えば、セル（０，０）は、Ωからの［０，１，・・・，（ｍ／２）－１］×［０，１，・・・，（ｎ／２）－１］を包含する。
【0075】
次に、ステップＳ８０において、セル内の画素の有意性の加重平均がΛの各セルについて算出される。その結果、Λにわたる有意性が定義される。サマリー画像Ｓは、Λを形成するセルの集合から形成される。サマリー画像の各セルは、サマリー画像の画素であると考えることができる。
【0076】
ΛはΩの区画から成るので、領域Λは、
と表すことができる。ここで、ＫおよびＬは、Ωの各方向における区画の数であり、Ω（ｉ，ｊ）は、Ωの区画であり、セル（ｉ，ｊ）によってカバーされる領域である。Ωの水平方向および垂直方向は、任意に選択可能であり、上述のように、参照フレーム（ｘ、ｙ）を用いて定義可能である。
【数19】
と表すことができる。ここで、ＫおよびＬは、Ωの各方向における区画の数であり、Ω（ｉ，ｊ）は、Ωの区画であり、セル（ｉ，ｊ）によってカバーされる領域である。Ωの水平方向および垂直方向は、任意に選択可能であり、上述のように、参照フレーム（ｘ、ｙ）を用いて定義可能である。
【0077】
加重平均は、補間スプラインを用いて算出される。実際には、Λ内の各位置ｙ＝（ｉ，ｊ）に対して、三次ＢスプラインＦＦＤのサマリー画像を定義することが可能である。サマリー画像ＳＩは、以下の式６で定義可能である。
ここで、Ｓ（ｘ）は、設定された有意性画像を表す関数である。
【数20】
ここで、Ｓ（ｘ）は、設定された有意性画像を表す関数である。
【0078】
ここで図８を参照すると、図７の画像の有意性画像が示されており、この画像上でセルの集合が元の空間領域Ωの離散領域Λを定義している。領域Λは、有意性画像の元の空間領域Ω上に重ねられている。図８において、領域Λは、図７の元の空間領域Ωを完全にカバーしている。さらに、セルの集合は、図１３を参照して述べたように、元の空間領域Ωにわたって一様に広がる制御点のグリッドを形成する、制御点の集合から取得されている。
【0079】
ここで図９を参照すると、Λを形成するセルの集合から算出されるサマリー画像が示されており、各セルについて、当該セル内の画素の有意性の加重平均が算出されている。サマリー画像の各セルは、セルの有意性を表すために用いられるグレースケールを使用して色付けされており、そのため、画素の集合の有意性がセルに含まれている。例えば、キャラクタの左側および右側の領域は白色で表され、したがって、これらの領域がシーンの視覚的理解にとって有意ではないことを意味する。
【0080】
図１のフローチャートに戻り、ステップＳ９０において、一つ以上のセルがサマリー画像から選択され、それによってセルの集合が形成される。この選択は、サマリー画像における各セルの関連性に応じて実行される。所定の閾値より低い関連性を有するセルが選択される。この例では、関連性は有意性であり、すなわち、所定の閾値よりも低い有意性を有する（一または複数の）セルが選択される。
【0081】
典型的には、サマリー画像の一または複数のセルの選択は、一または複数のセルであって最も低い一つの関連性を有するセル、あるいはこの後者の場合には、最も低い複数の関連性を有する複数のセルを決定することを含み得る。例えば、有限個のｋ個のセルを同時に縮小するためには、ｋ個のセルは、最も低いサマリー画像の関連性を有する。ｋは正の自然数である。別の例として、関連性が最も低いセルのパーセンテージｐを用いることができる。なお、セルの選択は、上述の選択法に限定されない。興味深いことに、本発明のセルを縮小する際の最適化法は、矩形画像境界の制約を必要としないため、探索空間が広いほど恩恵が得られる。したがって、画像内のセルの経路に規則性を課すことを試みることなく、一度に一つずつセルを減少させることが可能である。
【0082】
これで、サマリー画像のセルがその関連性に応じて選択された。サマリー画像は、ステップＳ１００からＳ１２０で縮小される。すなわち、画像Ｉのメッシュに関する無用な情報を含むジオメトリ画像の着色領域が単純化される。この縮小は、サマリー画像の異なるセルについて、繰り返して行い、また、有意性画像における極小値を避け、最終的なメッシュ内の小さな領域同様、大きな領域を縮小できるように、マルチスケール法で行う。
【0083】
図１のフローチャートに戻り、ステップＳ１００において、ステップＳ９０で前もって決定された一つ以上のセルが修正される。これは、スプラインの制御点が変位することを意味する。元の空間領域Ωのセルは、セルの関連性が各セルの画素の有意性の加重平均から計算されると、加重平均がより小さいセルの一つ以上の制御点を変位させることによって変形される。
【0084】
画像をリサイズするために画素を除去または追加するコンテンツアウェア型アルゴリズムの分野で使用されることが知られているアルゴリズムのうちの一つが、サマリー画像に直接適用可能であるが、これらのアルゴリズムは、画素上ではなく、セル（すなわち、制御点のグループ）上で動作する。これらのアルゴリズムは、画像の有意性によって導かれ、画像サマリーを最小限変更しつつ、いくつかの最適性制約に応じて画像を変更するために、変換パラメータを調整する。上述のとおり、画像が真っ直ぐなエッジを保つ必要はなく、画像を少しも歪ませる必要はない。
【0085】
したがって、セル上での操作は、（ｉ）アルゴリズムが、より小さい加重平均を有する一つ以上のセルを識別し（ステップＳ９０）、（ｉｉ）これらのアルゴリズムが行うように、画素を取り除いたり追加したりする代わりに、識別されたセルのサイズを変更する（ステップＳ１００）ことを含む。前述のように、対応するセルのサイズが以下のように変更される。
【0086】
・セルを取り除かなければならないとアルゴリズムが判定した場合、セルのサイズが縮小される。
・セルに画素を追加しなければならないとアルゴリズムが判定した場合、セルのサイズが拡大される。実際には、セルのリサイズは、変換の微分同相性を維持するために、制御点の間隔の０．４８倍まで行うことができる。
・セルに画素を追加しなければならないとアルゴリズムが判定した場合、セルのサイズが拡大される。実際には、セルのリサイズは、変換の微分同相性を維持するために、制御点の間隔の０．４８倍まで行うことができる。
【0087】
ジオメトリ画像の縮小において最も典型的なケースであるセルのサイズの縮小は、すべての頂点を、縮小するセルの頂点に近づけるよう、当該セルの左および右に移動し、すべての頂点を、縮小するセルの頂点に近づけるよう、当該セルの上および下に移動することにより行う。これは、正則グリッドのセルを縮小する最も効率的な方法である。正則グリッドは、長方形または正方形のセルのみを含む。セルの縮小は、グリッドの他のセルの変位を伴うことが好ましい。例えば、縮小されたセルを囲むグリッドのセルは、一つのセルの縮小が画像の縮小を引き起こすように移動される。そうでなければ、セルが縮小されているときに縮小されていないセルは強制的に移動される。セルの縮小後に得られる空白フィールド（空き領域とも呼ばれる）は、変位した周囲のセルで満たされる。ここで、周囲のセルは、（縮小されたセルとは対照的に）縮小されていない他のセルである。なお、セルを縮小するための制御点の移動は、この例に限定されない。すなわち、単一のセルを縮小するための多くの発見的方法が採用され得る。
【0088】
次に、ステップＳ１１０において、結果として得られたグリッド、すなわち、ステップＳ１００で変形されたグリッドから、画像の各画素について変換式が算出される。
【0089】
フローチャートの例では、変換式Ｔθは、変位した一つ以上の制御点を用いて画像Ｉの空間領域にわたって計算される。式５の関数θは、パラメータ化された変換式の制御点の集合を表す関数であり、関数θは変換式Ｔθの唯一のパラメータである。したがって、ステップＳ７０で実行されるように、制御点が変位すると、変換式Ｔθのパラメータが設定される。したがって、式５で定義される変換式Ｔθを算出することが可能である。
【0090】
最後に、ステップＳ１２０において、算出された変換式Ｔθをジオメトリ画像Ｉの空間領域に適用することによって、画像Ｊ（新しい画像Ｊとも呼ぶことができる）が算出される。画像Ｊは、リサイズされた空間領域Ω’上で定義される。算出された変換式Ｔθを適用することは、画像Ｉの入力空間領域Ωから画像Ｊの出力空間領域Ω’へのマッピングが実行されることを意味する。すなわち、各画素の位置が、式３および４にしたがって修正される。
【0091】
上述のとおり、サマリー画像内の異なるセルについて反復的に縮小が行われ、ステップＳ４０～Ｓ１２０が、許容可能な結果が得られるまで繰り返される。反復を停止するのに、多くの基準が利用可能である。例えば、所定の閾値より低い関連性を有するグリッドのセルがそれ以上ない場合、反復を停止してもよい。別の例として、すべてのセルが変更されたときに停止してもよい。別の基準は、新しい画像Ｊの圧縮率が、特定の値に達するか、またはそれをさらに超えることであってもよい。反復を停止する基準のさらなる例は、新しい画像Ｊの画素数が所定の閾値に達することである。例えば、Ｊの画素数が画像Ｉの画素数の二分の一となることである。
【0092】
ステップＳ４０～Ｓ１２０の反復処理は、所定回の反復の各セットにおいて、集合における制御点の数を増加させることをさらに含んでいてもよい。これは、マルチスケール変換グラフ更新とも呼ばれる。これにより、有意性画像における極小値を回避し、最終的なメッシュ内の小さな領域同様、大きな領域も縮小することができる。
【0093】
新しい画像Ｊは、本方法の入力時に設定されるメッシュを表すジオメトリ画像Ｉの縮小版である。この画像Ｊは、ＪＰＥＧ・・・などの既知の画像圧縮アルゴリズムを用いてさらに圧縮することができるが、画像圧縮アルゴリズムがこれに限定されることはない。
【0094】
新しい画像Ｊは、新しいメッシュを再構築するのに役立つ。構築は、画像Ｊを用いて行う。興味深いことに、連結性データを記憶する必要はない。実際、設定されたメッシュの変換は、図３を参照して説明したように、メッシュをチャートに分割するステップを含むことが好ましい。したがって、設定されたメッシュが穴に沿って切断されるので、任意の再メッシュ化アルゴリズムを圧縮メッシュ上で（すなわち、画像Ｊ上で）用いることができる。
【0095】
図１０は、図５のジオメトリ画像の新しい画像Ｊを示す。興味深いことに、黒で示された領域１００ａ～１００ｄは新しい画像Ｊに属さず、単に、圧縮画像Ｊが真っ直ぐなエッジを保持する必要がないことを示すために存在する。なぜならジオメトリ画像を圧縮するのに必要ではないからである。
【0096】
ここで図１５を参照すると、本発明による３Ｄメッシュの圧縮を実行するためのコンピュータプログラムの演算モジュールの例が示されている。各モジュールは、コンピュータ、例えば図１６のコンピュータシステムの処理回路によって実行可能な命令を含む。
【0097】
ジオメトリ画像算出モジュール１５１０は、圧縮すべき３Ｄモデル化されたメッシュ１５００を入力として受け取る（ステップＳ１０）。モジュール１５２０は、モジュール１５１０によって算出されたジオメトリ画像Ｉの各画素の有意性を算出する（ステップＳ２０～３０）。モジュール１５２０の出力は、ステップＳ４０に従って画像Ｉの有意性画像を算出する。モジュール１５２０はさらに、ステップＳ５０からＳ８０に従って、サマリー画像を算出する。なお、二つの別個のモジュールがモジュール１５２０による算出を実行する可能性がある。すなわち、有意性画像を算出するための一つのモジュールと、サマリー画像を算出するための一つのモジュールである。このように、モジュール１５２０は、変換式Ｔθをパラメータ化する補間スプラインの制御点の集合を算出する。サマリー画像算出モジュール１５２０は、いくつかの種類の補間スプライン関数を実装することができる。一つのスプライン関数を、ユーザの操作に応じて、あるいはデフォルトで選択してもよい。補間スプラインから得られた制御点の集合は、グリッド、例えば、制御点が画像Ｉの元の空間領域Ω上に一様に広がる正則グリッドとして表現することができる。
【0098】
最小セル縮小／最適化モジュールは、サマリー画像を入力として取り込む。オプティマイザモジュールは、サマリー画像のどのセルが所定の閾値よりも関連性（有意性）が低いかを返す（ステップＳ９０）。このモジュールは、加重平均がより小さい一つ以上のセルを識別し、識別されたセルのサイズ変更を決定することが可能な、一つ以上の既知のアルゴリズムを実装する。したがって、このモジュールは、サマリー画像の変換パラメータを提供する。いくつかのアルゴリズムの中から、一つのアルゴリズムを、ユーザの操作に応じて、あるいはデフォルトで選択してもよい。
【0099】
制御点移動モジュール１５４０は、ステップＳ１００で定義されるように、一つ以上の制御点の変位を定義する。したがって、モジュール１５４０の出力は、制御点のグリッドを変更する変換パラメータである。このモジュールは、モジュール４０の出力から制御点の位置を導き出す。
【0100】
変換モジュール１５５０は、変換式Ｔθを算出し（ステップＳ１１０）、算出した変換式Ｔθを、圧縮するメッシュの画像Ｉの空間領域に適用する（ステップＳ１２０）。この変換モジュールの出力は、リサイズされた画像Ｊである。
【0101】
次に、画像Ｉの新しいサイズ（すなわち、画像Ｊのサイズ）が基準に適合するかどうかがテストモジュール１５７０によってテストされる。画像Ｊが許容可能な結果に達していない場合、プロセスは繰り返される。反復は反復モジュール１５８０によって管理され、反復の制御はモジュール１５７０および１５８０に依存する。画像Ｊが期待される基準（例えばＪの画素数）に適合する場合、変換モジュール１５５０の出力は画像Ｊであるとみなされる。リサイズされた画像が期待されるサイズに適合しない場合、新しい変換パラメータを用いてプロセス全体（ステップＳ４０～Ｓ１２０）が繰り返される。すなわち、モジュール１５３０および１５４０によって制御点の新しい変位が決定される。
【0102】
興味深いことに、有意性画像モジュール１５２０で使用されるアルゴリズムで画像有意性を再計算する必要がある場合、現在の変位後のグリッドを用いて画像有意性をいつでも再計算することができる。最終的な画像は、得られた変換式が元の画像Ｉに適用されたときに、最後に一度だけ算出される。
【0103】
本発明では、有利なことに、コンテンツアウェア型画像リサイズのためのシームカービング（Ｓｅａｍ ｃａｒｖｉｎｇ）に記載されているような、現在のコンテンツアウェア型画像再ターゲット化で既に用いられているいくつかの計算モジュールを再利用できる。既存の有意性算出モジュール１５２０、最適化セルモジュール１５３０、および変換モジュール１５５０が再利用可能である。これにより、開発コストを抑えることができ、また本発明を、現在のコンテンツアウェア型画像再ターゲット化ソフトウェアと容易に統合できて、有利である。
【0104】
モジュールメッシュ再構成／ジッパリング（ｚｉｐｐｅｒｉｎｇ）モジュール１５９０は、画像Ｊ、すなわち圧縮した画像Ｉから、メッシュを再構成する。このモジュールの出力１５９２は、ステップＳ１０で設定されたメッシュと略同一のメッシュである。すなわち、復元したメッシュがステップＳ１０の元のメッシュとわずかに異なるように、圧縮によって元のメッシュのいくつかの頂点が除去されている。図３を参照して前述したように、入力メッシュは任意の属であってもよく、まず、それを切り取って、単一のトポロジー的円板に縮小する。ジオメトリ画像には、任意の形状のチャートが敷き詰められている。ジッパリングアルゴリズムを使用して、チャートの境界間の不連続性を除去し、当該技術分野で知られているように水密面（ｗａｔｅｒｔｉｇｈｔ ｓｕｒｆａｃｅ）を作成する。再メッシュ化したチャートは結びついている。このジッパリング処理は、通常、モジュール１５９０によって実行される。
【0105】
以上、本発明の好適な実施形態について説明した。本発明の要旨および本発明の範囲から逸脱することなく、様々な変更がなされ得ることが理解されるであろう。したがって、他の実施態様は、以下の特許請求の範囲内にある。例えば、演算速度を増加させる多重スケール／多重解像度アプローチ（Ｌｅｅ、Ｓｅｕｎｇｙｏｎｇ、Ｇｅｏｒｇｅ Ｗｏｌｂｅｒｇ、およびＳｕｎｇ Ｙｏｎｇ Ｓｈｉｎに記載。「Ｓｃａｔｔｅｒｅｄ ｄａｔａ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｗｉｔｈ ｍｕｌｔｉｌｅｖｅｌ Ｂｓｐｌｉｎｅｓ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、第３巻第３号、１９９７年７月、２２８～２４４ページ）も、本発明において、アルゴリズムに何ら変更を加えることなく利用できる。すなわち、画像の有意性を、新しいスケール／解像度レベルのそれぞれの後で再計算する必要があるだけである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】