特許 6254228 デジタル画像リサンプリング装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6254228

(24)【登録日】2017年12月8日

(45)【発行日】2017年12月27日

(54)【発明の名称】デジタル画像リサンプリング装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20171218BHJP

【ＦＩ】

   G06T3/00 770

【請求項の数】9

【全頁数】23

(21)【出願番号】特願2016-138223(P2016-138223)

(22)【出願日】2016年7月13日

(62)【分割の表示】特願2014-539472(P2014-539472)の分割

【原出願日】2012年10月2日

(65)【公開番号】特開2017-10564(P2017-10564A)

(43)【公開日】2017年1月12日

【審査請求日】2016年8月4日

(73)【特許権者】

【識別番号】511103834

【氏名又は名称】林 光雄

(74)【代理人】

【識別番号】100110434

【弁理士】

【氏名又は名称】佐藤 勝

(72)【発明者】

【氏名】林 光雄

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００８−１０７９８１（ＪＰ，Ａ）

【文献】 特表２００７−５００３９１（ＪＰ，Ａ）

【文献】 特開平０９−３２６９５８（ＪＰ，Ａ）

【文献】 特開２０００−１３２１３６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１４７２０５（ＵＳ，Ａ１）

【文献】 彌冨 仁、尾川 浩一，“劣化の少ない２値画像回転手法”，画像ラボ，日本，日本工業出版株式会社，２０１０年 ５月１０日，Vol.21, No.5，pp.51-55

【文献】 飯倉 善和，“ＩＤＬと３次元画像処理入門”，共立出版株式会社、南條 光章，２００７年 ７月１０日，Vol.1，pp.79-82

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００，１５／０４

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

変形先画像と共通の系列を持つ蓄積マップを用いたリサンプリング方法であって、
変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、
変形先画像を走査し、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を有し、
前記蓄積マップを基に変形先画像の画素を更新する処理では、
蓄積マップ画素情報から算出した値と、所定の補完方法で変形元画像の画素情報から算出した値とを影響値に応じた割合を用いて合成することにより、変形先画像の画素情報を生成すること
を特徴とするリサンプリング方法。

【請求項2】

前記第１のステップでは、
前記蓄積マップを初期化し、変形元画像において変形を行う範囲に含まれる全画素の抽出が完了するまで当該変形元画像の次画素の抽出を続け、当該変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理を行うこと
を特徴とする請求項１に記載のリサンプリング方法。

【請求項3】

前記変形元画像において変形を行う範囲とはポリゴン面であり、
前記第１及び第２のステップでは、全ポリゴン面の抽出が完了するまで次のポリゴン面の抽出を続けること
を特徴とする請求項２に記載のリサンプリング方法。

【請求項4】

変形先画像と共通の系列を持つ蓄積マップを用いるリサンプリング装置であって、
各種画像を表示する表示手段と、
リサンプリングプログラムに従って制御する中央制御手段と、を備え、
上記中央制御手段は、
変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、変形先画像を走査し、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を実行するものであって、
前記蓄積マップを基に変形先画像の画素を更新する処理では、
蓄積マップ画素情報から算出した値と、所定の補完方法で変形元画像の画素情報から算出した値とを影響値に応じた割合を用いて合成することにより、変形先画像の画素情報を生成すること
を特徴とするリサンプリング装置。

【請求項5】

前記中央制御手段は、前記第１のステップでは、前記蓄積マップを初期化し、変形元画像において変形を行う範囲に含まれる全画素の抽出が完了するまで当該変形元画像の次画素の抽出を続け、当該変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理を行うこと
を特徴とする請求項４に記載のリサンプリング装置。

【請求項6】

前記変形元画像において変形を行う範囲とはポリゴン面であり、
前記第１及び第２のステップでは、全ポリゴン面の抽出が完了するまで次のポリゴン面の抽出を続けること
を特徴とする請求項５に記載のリサンプリング装置。

【請求項7】

コンピュータが、
変形元画像を走査し、当該変形元画像を基に変形先画像と共通の系列を持つ蓄積マップを更新する第１のステップと、変形先画像を走査し、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を実行する中央制御手段として機能するものであって、
前記蓄積マップを基に変形先画像の画素を更新する処理では、
蓄積マップ画素情報から算出した値と、所定の補完方法で変形元画像の画素情報から算出した値とを影響値に応じた割合を用いて合成することにより、変形先画像の画素情報を生成すること
を特徴とするリサンプリングプログラム。

【請求項8】

前記第１のステップでは、前記蓄積マップを初期化し、変形元画像において変形を行う範囲に含まれる全画素の抽出が完了するまで当該変形元画像の次画素の抽出を続け、当該変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理を行うこと
を特徴とする請求項７に記載のリサンプリングプログラム。

【請求項9】

前記変形元画像において変形を行う範囲とはポリゴン面であり、
前記第１及び第２のステップでは、全ポリゴン面の抽出が完了するまで次のポリゴン面の抽出を続けること
を特徴とする請求項８に記載のリサンプリングプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像リサンプリング装置、方法、及びプログラムに関する。

【背景技術】

【0002】

従来、デジタル画像のリサンプリングにおいて高品質な変形は、変形元画像をできる限り有効的に変形先画像へ適用することが重要である。

【0003】

画像の変形において高品質な変形結果を得るために、従来から様々なリサンプリング手法が採用されている。例えば、拡大方法においては、ジャギーを抑制する方法として、バイリニア補間、バイキュービック補間等がある。また、縮小方法においては、エイリアシングを抑制する方法として、面積平均法、プリフィルタ、ポストフィルタ、トリリニアフィルタ、異方性フィルタ等が挙げられる。

【0004】

以下、これら各手法について詳述する。

【0005】

先ず、バイリニア補間は、変形先の各画素を決定するために、当該画素に対して変形前画像の画素及び近傍画素の計４画素を参照し、位置に応じた重み付けを用いる補間方法である。最近傍法よりは処理速度が劣るが、平均画素法よりも高速である。また、最近傍法よりもシャギーを抑制することができる。

【0006】

一方、バイキュービック補間は、バイリニア補間と同様の補間方法であるが、変形先の各画素に対して変形元の画素及び近傍画素の計１６画素が参照される。いわばバイリニア補間の発展形であり、バイリニア補間と比べて自然で滑らかな画質が得られる。

【0007】

これらバイリニア補間及びバイキュービック補間を用いた変形は、原則的に変形先画像を隔たりなく走査するので、拡大や縮小だけでなく、射影変換や回転、極座標変換に代表される２次元以上の画像変形にも用いられる。但し、変形先画像の走査ではなく変形元画像を走査する方法を採用した場合、変形先画像はすべて生成しきれず、一部画素に抜けが生じる場合がある点が従来からの懸念である。

【0008】

一方、面積平均法は、変形先の画素を決定するために、当該画素に対応する変形前画像の画素群を参照し、その平均を用いる縮小方法である。これは平均画素法とも称され、一般的には縮小専用に用いられる手法である。

【0009】

プリフィルタは、画像の縮小を行う前に、縮小率に応じて平滑化を行う方法である。

【0010】

ポストフィルタは、スーパーサンプリング法とも呼ばれ、変形先の画素を決定するために、変形先の画素を更に複数の画素に分割し、それぞれに対応する変形前画像の画素群を参照し、その平均を用いる縮小方法である。

【0011】

トリリニアフィルタは、主に３次元グラフィックにおけるポリゴンの描画等に用いられるものであり、画素の平均を利用した縮小済み画像を段階的に持たせたミップマップを用意し、画像の縮小率に応じて単一ないし複数の縮小済み画像を適用して合成する方法である。トリリニアフィルタでは、ミップマッピングを用いたバイリニアフィルタ画像に見られる共通の劣化を矯正できる。

【0012】

そして、異方性フィルタは、主に３次元グラフィックにおけるポリゴンの描画等に用いられ、カメラと非直角であるポリゴンの描画におけるテクスチャの変形を考慮した参照方法を用いて、ミップマップを適用して合成する方法である。これは、前述したバイリニア補間やトリリニアフィルタに比べ進化したものであると言える。

【0013】

ここで、特許文献１では、撮影によってＭ画素を有する入力画像を取得し、その入力画像をリサンプリング対象画像として取り扱ってリサンプリングすることにより、各々がＭ／４画素を有する第１の縮小画像及び第２の縮小画像を生成し、当該リサンプリングは第１及び第２の縮小画像間でサンプリング位置のずれが生じるように実行されることを特徴とする画像再生装置が開示されている。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】特開２０１０−２５１８８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0015】

縮小を含む柔軟な変形を行うための高品質なリサンプリングを行うためには、変形先画像の各画素に対する、変形元画像の単一ないし複数の画素から適切な参照を行う手段を必要とする。ここで、柔軟な変形とは、射影変換や回転、極座標変換に代表される、座標の逆変換が可能な２次元以上の画像変形である。しかしながら、従来の変形方法はデジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で充分に実現できない。

【0016】

縮小において従来のような画素群を平均する方法は、画素の領域を考慮したとしても画像内の対象物の重心がずれてしまう問題がある。たとえば、変形前のある領域の複数画素に着目し、そのすべての画素が変形後において１画素内に収まった場合、重心が特定できなくなる。このような重心のずれは、細い線や細かいパーツの位置関係（例えば、顔の形成）を重視する画像において違和感が表れる場合がある。

【0017】

さらに、２次元以上の変形では、すべての方向において拡大、またはすべての方向において縮小となるとは限らない。即ち、画像のある点を基準として、一方向は縮小であるが別方向は拡大であるような変形も存在する。この場合、従来の拡大方法と縮小方法を組み合わせることは容易でない。

【0018】

また、上述したポストフィルタのように参照点の数を増加して品質を高める方法は、品質を上げようとするほど参照する画素数が増大するため、コンピュータ資源が制約されたユーザに対して、品質をパラメータとして選択させ、トレードオフを強いることとなる。即ち、品質の上限を定めることが出来ず、処理回数および記憶容量を有限にすることが出来ない。

【0019】

本発明は上述の技術的な課題に鑑み、デジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で実現することを目的とする。

【課題を解決するための手段】

【0020】

上述した技術的な課題を解決するため、本発明の第１の態様に係るリサンプリング方法は、変形先画像と共通の系列を持つ蓄積マップを用いたリサンプリング方法であって、変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、変形先画像を走査し、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を有し、前記蓄積マップを基に変形先画像の画素を更新する処理では、前記蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成することを特徴とする。

【0021】

そして、本発明の第２の態様に係るリサンプリング装置は、変形先画像と共通の系列を持つ蓄積マップを用いるリサンプリング装置であって、各種画像を表示する表示手段と、リサンプリングプログラムに従って制御する中央制御手段と、を備え、上記中央制御手段は、変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、変形先画像を走査し、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を実行するものであって、前記蓄積マップを基に変形先画像の画素を更新する処理では、前記蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成することを特徴とする。

【0022】

本発明の第３の態様に係るリサンプリングプログラムは、コンピュータが、変形元画像を走査し、当該変形元画像を基に変形先画像と共通の系列を持つ蓄積マップを更新する第１のステップと、変形先画像を走査し、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を実行する中央制御手段として機能するものであって、前記蓄積マップを基に変形先画像の画素を更新する処理では、前記蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成することを特徴とする。

【発明の効果】

【0023】

本発明に係るデジタル画像リサンプリング装置、方法、及びプログラムによれば、デジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で実現することができる。また、本発明における、蓄積マップを基に変形先画像の画素を更新する処理では、蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成する構成であるため、簡易的に変形先画像の画素を更新することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の第１の実施形態に係るリサンプリング装置の構成図である。

【図2】リサンプリングを行う場合に使用するメインメモリ１２のメモリマップの一例を示す図である。

【図3】蓄積マップ、座標マップについて更に詳述するための概念図である。

【図4】本発明の第１の実施形態に係るリサンプリング装置による処理の流れを説明するフローチャートである。

【図5】リサンプリングに用いる座標変換について詳述する概念図である。

【図6】本発明の第１の実施形態に係るリサンプリング装置による、変形元画像を走査し、変形元画像を基に蓄積マップを更新する処理の流れを説明するフローチャートである。

【図7】変形元画像を走査し、変形元画像を基に蓄積マップを更新する過程を更に詳述するための概念図である。

【図8】テクスチャマップがラッピング（繰り返し）の場合を示す概念図である。

【図9】本発明の第１の実施形態に係るリサンプリング装置により、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを説明するフローチャートである。

【図10】テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを更に詳述する概念図である。

【図11】本発明の第１の実施形態に係るリサンプリング装置による、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理の流れを説明するフローチャートである。

【図12】蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明するフローチャートである。

【図13】本発明の第１の実施形態に係るリサンプリング装置により、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理について詳細に説明する概念図である。

【図14】従来のテクスチャマッピングに基づいた補間の例を示す概念図である。

【図15】変形例として、従来の補間から算出した値と蓄積マップから算出した値とを重み付けによる合成の考え方を示す概念図である。

【図16】（ａ），（ｂ）は、リサンプリング結果の一例を示す図である。

【図17】本発明の第２の実施形態に係るリサンプリング装置による、蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明するフローチャートである。

【図18】蓄積マップを基にターゲットマップ画素を更新する処理について更に詳述するための概念図である。

【図19】第２の実施形態によるリサンプリング結果の一例を示す図である。

【発明を実施するための形態】

【0025】

以下、本発明のデジタル画像リサンプリング装置及び方法並びにプログラム（以下、単にリサンプリング装置、リサンプリング方法、リサンプリングプログラムと略記する）に係る好適な実施形態について図面を参照しながら説明する。なお、本発明のリサンプリング装置及び方法並びにプログラムは、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。以下、詳述する。

【0026】

（第１の実施形態）

【0027】

図１には本発明の第１の実施形態に係るリサンプリング装置の構成を示し説明する。

【0028】

この図１に示されるように、リサンプリング装置１は、パーソナルコンピュータ１０と表示装置２０、変形パラメータ入力装置３０等からなる。

【0029】

パーソナルコンピュータ１０は、マルチタスク対応プロセッサ等からなる中央制御部１１と、一時記憶装置としてのＲＡＭ（Random Access Memory）等からなるメインメモリ１２、グラフィックカード等の画像制御部１３、入出力制御部１４、内蔵不揮発性記憶媒体１５、メディア読み書きインターフェイス１６を含む。

【0030】

画像制御部１３は、ビデオメモリ１３ａも備えている。ビデオメモリ１３ａとは、パーソナルコンピュータ１０本体のメインメモリ１２と同じく、一時的にデータを保存する場所であり、グラフィックカードについているメモリはＶＲＡＭ（Video RAM）とも称される。画面に３Ｄグラフィック画像を表示する場合、その際に必要となるデータ量は大きくなる。画像制御部１３で処理を終えたデータはビデオメモリ１３ａに保存されて随時使われていく。ビデオメモリ１３ａの容量が多いほど、細かい３Ｄグラフィック画像でも、スムーズに不良もなく表示することができるようになる。尚、昨今ではＶＲＡＭの高速化が進み、ＧＤＤＲと称される高速処理専用のメモリ規格も登場し、３次元グラフィックス描画における莫大なデータの高速転送が実現されている。

【0031】

表示装置２０は、液晶ディスプレイ等に代表される、画像を表示することができる装置である。変形パラメータ入力装置３０は、後述する変形方法定義データ４２を用いて画像を変形するためのパラメータ（例えば、拡縮率や３次元回転角度等）をユーザが任意に指定可能とする装置であり、即ちマウスやタッチパネル、ペンタブレットに代表される、座標入力及び／又はボタン入力が可能な装置、並びにキーボードに代表される、キー入力が可能な装置である。

【0032】

プログラムデータ５０や変形方法定義データ４２、変形元画像入力データ４０はメディア読み書きインターフェイス１６を介して入力され、変形先画像出力データ４１はメディア読み書きインターフェィス１６を介して出力される。

【0033】

プログラムデータ５０とは、本発明が動作可能なソフトウェアである。後述するリサンプリングプログラムのデータ等がこれに該当する。

【0034】

変形方法定義データ４２とは、テーブルや数式等に代表される、変形パラメータを基に変形元画像の座標と変形先画像の座標を相互かつ一意的に対応付けるデータである。ポリゴンモデルを用いる場合は、ポリゴンモデルデータがこれに相当し、３次元形状のオブジェクトとなる。この変形方法定義データ４２は、プログラムデータ５０に付随してもよいし、外部で定義されたデータを読み込んでもよい。

【0035】

変形元画像入力データ４０は、ソフトウェアが扱う画像である。例えば、ポリゴンモデルを用いる場合は、テクスチャ画像がこれに相当する。入力されたテクスチャ画像（変形元画像）等はメインメモリ１２に一時記憶される。変形先画像出力データ４１は、変形元画像入力データ４０と同様、ソフトウェアが扱う画像である。メインメモリ１２に一時記憶されていた変形済み画像等が変形先画像として出力される。

【0036】

変形元画像入力データ４０及びプログラムデータ５０は、不図示の外部記憶媒体から読み込んでもよく、通信ネットワークを介して不図示の外部コンピュータから不図示の通信制御部により受信し、入出力制御部１４を介して内蔵不揮発性記憶媒体１５に取り込んでもよい。出力データは、不図示の外部記憶媒体へ書き込んでもよく、通信ネットワークを介して不図示の外部コンピュータに送信してもよい。

【0037】

ここで、図２には、リサンプリングを行う場合に使用するメインメモリ１２のメモリマップの一例を示し説明する。

【0038】

同図に示されるように、リサンプリングを行う場合、メインメモリ１２には、リサンプリングプログラム、変形元画像、座標マップ、変形先画像、蓄積マップの各データが一時記憶されることになる。

【0039】

以下、図３の概念図を参照して、蓄積マップ、座標マップについて更に詳述する。

【0040】

リサンプリングにおいて、変形元画像とは入力側の画像を示し、変形先画像とは出力側の画像を示す。変形元画像及び変形先画像は、不透明度と色とを含む画素情報（ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列として持つ。「アルファ」とは、不透明度情報を示している。例としてパーソナルコンピュータは、１つのピクセルの色情報を２４ビット（１色につき８ビット、赤・緑・青の３色で８×３＝２４ビット）という単位で記録している。赤・緑・青のような情報の値はそれぞれ「濃度値」とも称され、８ビット型では２５６段階の記録ができる。アルファ付きＰＮＧ（３２ビットＰＮＧ）形式では色情報の他に、各ピクセルの不透明度も８ビット型の２５６段階で記録できる。アルファ値がゼロで完全な透明、２５５で完全な不透明であることを意味する。なお、画像処理で色情報を精度良く扱う用途の例として、濃度値が１６ビット型の６５５３６段階に拡張された形式等が用いられる場合もある。

【0041】

そして、蓄積マップは、影響値と不透明度と色とを含む画素情報（ｗ：影響値，ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列とし、変形先画像と共通の系列を持つものとし、即ち出力側の座標系である。「影響値」とは、詳細は後述するが、画素数をカウント、または画素の重み値を順次加算し、蓄積マップの画素に対応する変形先画像の画素の色情報を決定付ける平均計算等に用いるための情報を示す。

【0042】

蓄積マップの画素情報における各値については、変形元画像から複数の画素情報等を順次加算することに用いるため、各値の型は、変形元画像の画素情報よりも充分に大きな値を扱える型（特に、重み値を実数とする場合は浮動小数点数型）が望ましい。

【0043】

極端な例として、蓄積マップにおける濃度値は、「変形元画像の画素数（例：１０００×１０００）」に「変形元画像の濃度値の最大（例：２５５）」「変形元画像のアルファ値の最大（例：２５５）」および「重み値の最大（例：１．０）」を乗算した値（１０００×１０００×２５５×２５５×１．０）を扱うこともあり得る。

【0044】

そして、座標マップは、座標情報（ｘ：水平座標，ｙ：垂直座標）を２次元的な配列とし、変形元画像の系列と共通の系列を持つものとし、即ち入力側の座標系である。「座標情報」とは、変形元画像から変形先画像への座標変換を行う際、変換された座標、即ち出力側の座標を記録することに用いる。座標情報の各値の型は、記録する座標の精度に応じた型（例えば浮動小数点数型）が望ましい。座標マップは、リサンプリングの品質には貢献しないが、本発明の第２の実施形態に係るリサンプリングを高速にする用途に用いる。

【0045】

以下、図４のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置による処理の流れを説明する。この処理は、第１の実施形態に係るリサンプリング方法にも相当する。また、中央制御部１１が、メインメモリ１２のリサンプリングプログラムを実行した場合の処理の流れにも相当する。

【0046】

処理を開始すると、先ず変形元画像を走査し、変形元画像を基に蓄積マップを更新する処理を実行し（ステップＳ１）、続いて変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理を実行し（ステップＳ２）、処理を終了する。

【0047】

このように、本発明の実施形態に係るリサンプリング装置によるリサンプリングの特徴として、変形先画像の走査だけでなく、変形元画像の走査も含まれる。尚、各処理の詳細については、後に詳述する。

【0048】

以下、図５を参照して、リサンプリングに用いる座標変換について詳述する。

【0049】

座標の順変換（入力→出力）、逆変換（出力→入力）は次式で定義される。
座標の順変換（入力→出力）： Pos_OUT = 11 / (9 - Pos_IN) - 1.5
座標の逆変換（出力→入力）： Pos_IN = 9 - 11 / (1.5 + Pos_OUT)

【0050】

図５には、本発明の実施形態によるリサンプリングに用いる座標変換をわかりやすく図示するため、１次元の変形を例示する。

【0051】

同図において、入力されるデータの配列構造を変形元マップと称する。これは、２次元では変形元画像に相当する。出力されるデータの配列構造を変形先マップと称する。これは、２次元では変形先画像に相当する。

【0052】

円形は変形元マップの各要素を表し、ここでは例として９要素（０〜８）の１次元配列とする。二重円形は変形先マップの各要素を表し、ここでは例として１１要素（０〜１０）の１次元配列とする。楕円形は蓄積マップの各要素を表している。二重円形と楕円形の接点「・」は、蓄積マップが変形先マップの系列と共通する系列を持つことを表し、例として１１要素の１次元配列とする。

【0053】

円形に接する水平線は、変形元マップの要素の位置に結びつく整数の座標系を表している。円形の下方の水平線は、変形元マップに関する実数の座標系を表している。楕円形の上方の水平線は、蓄積マップに関する実数の座標系を表している。楕円形に接する水平線は、蓄積マップの要素の位置に結びつく整数の座標系を表している。

【0054】

円形と楕円形を繋ぐ折れ線に関して、実線は、変形元マップの要素の位置に対応する蓄積マップまたは変形先マップの要素の位置を導出する変換、即ち順変換の例を表し、破線は、蓄積マップまたは変形先マップの要素の位置に対応する変形元マップの要素の位置を導出する変換、即ち逆変換の例を表している。変形元マップの座標と変形先マップの座標は、相互かつ一意的な対応付けとなるように数式で定義している。

【0055】

図５の例では、変形先マップの要素の位置に対応する変形元マップの要素の位置だけを見た場合、結果的に対応付けされていない位置（０、１、３、４）が存在している。これは画像変形において縮小に相当する部分であり、参照の漏れによってエイリアシングが発生する要因である。

【0056】

これに対して、変形元マップの要素の位置に対応する変形先マップの要素の位置を重ねて見た場合、対応付けされていなかった部分を補うことができている。これを実現する方法として、本発明は変形元マップを隔たりなく走査する手段を用いる。

【0057】

後述するが、本発明におけるリサンプリングは２次元以上の配列においても実施可能であり、画像処理の分野等にも利用できる。

【0058】

以下、図６のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置による、変形元画像を走査し、変形元画像を基に蓄積マップを更新する処理の流れを説明する。これは、図４のステップＳ１の処理の詳細に相当する。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。

【0059】

このフローチャートの処理は、ポリゴンモデルを用いたテクスチャマッピングの例であり、変形元画像を走査し、それぞれの画素で位置の順変換を行うものである。テクスチャマップは変形元画像に相当する。リターン時、蓄積マップは完成となり、後の変形先画像を更新する処理に用いられる。

【0060】

即ち、本処理を開始すると、蓄積マップを初期化し（ステップＳ１１）、全ポリゴン面の抽出が完了したか否かを判断する（ステップＳ１２）。ここで、全ポリゴン面の抽出が完了していなければ（ステップＳ１２をＮｏに分岐）、次のポリゴン面を抽出し（ステップＳ１３）、テクスチャマップにおいてポリゴン面に含まれる全画素の抽出が完了したか否かを判断する（ステップＳ１４）。ここで、全画素の抽出を完了していなければ（ステップＳ１４をＮｏに分岐）、テクスチャマップの次画素を抽出し（ステップＳ１５）、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理を行い（ステップＳ１６）、ステップＳ１４に戻る。そして、テクスチャマップにおいてポリゴン面に含まれる全画素の抽出が完了するまでステップＳ１４乃至Ｓ１６の処理を繰り返し、抽出を完了すると（ステップＳ１４をＹｅｓに分岐）、ステップＳ１２に戻る。こうして、全ポリゴン面の抽出を完了するまでステップＳ１２乃至Ｓ１６の処理を繰り返し、抽出を完了すると（ステップＳ１２をＹｅｓに分岐）、リターンする。

【0061】

ただし、図６のフローチャートは複数のポリゴンからなるポリゴンモデル（即ち、変形方法が複数）を想定した例であり、ポリゴンが単一の場合や、変形方法定義データ４２にて単一のテーブルや数式を用いる場合、ステップＳ１２乃至Ｓ１３は省略可能である。即ち、本処理を開始すると、ステップＳ１４乃至Ｓ１６の処理を繰り返し、抽出を完了すると（ステップＳ１４をＹｅｓに分岐）、リターンしてもよい。

【0062】

なお、「テクスチャマップ」とは、「変形元画像」と同義であり、「ポリゴン面」とは、変形元画像において「変形を行う範囲」と同義であることに留意する。

【0063】

以下、図７の概念図を参照して、変形元画像を走査し、変形元画像を基に蓄積マップを更新する過程を更に詳述する。

【0064】

ここでは、本発明における２次元座標の逆変換が可能な画像変形として、ポリゴンモデルを用いたテクスチャマッピングの例を示す。３次元空間上の任意な姿勢および位置を設定した長方形モデルを描画する例であり、即ち射影変換および回転を含んだ変形に相当する。長方形モデルは２つの３角形ポリゴンと見なし、それぞれをポリゴンＰ、ポリゴンＱとする。同図の右上は、ポリゴンモデルのテクスチャマップを表し、即ち変形元画像に相当する。同図の左上は、蓄積マップを表し、後述する変形先画像に相当するターゲットマップと共通の座標系である。

【0065】

テクスチャマップの画素は不透明度と色とを含む画素情報（ａ＿ｓｒｃ：アルファ，ｒ＿ｓｒｃ：赤，ｇ＿ｓｒｃ：緑，ｂ＿ｓｒｃ：青）を持っているものとする。蓄積マップの画素は影響値と不透明度と色とを含む加算可能な画素情報（ｗ＿ｓｕｍ：影響値，ａ＿ｓｕｍ：アルファ，ｒ＿ｓｕｍ：赤，ｇ＿ｓｕｍ：緑，ｂ＿ｓｕｍ：青）を持つものとする。テクスチャマップ及び蓄積マップのそれぞれにおいて、画素は２次元で配置され、座標（水平方向，垂直方向）の単位は１画素を１とし、便宜上、画素の領域の境界を破線の格子で表している。

【0066】

始めに、蓄積マップの初期化、即ち蓄積マップの全画素において影響値および色情報を０にクリアしておく。次に、テクスチャマップ側において各ポリゴンに囲まれる範囲を隔たりなく走査する。ここで、走査対象画素の位置を（ｉ，ｊ）とし、ｉは水平位置、ｊは垂直位置とする。テクスチャマップにおけるポリゴンＰに関する走査対象画素を黒塗り三角印、ポリゴンＱに関する走査対象画素を黒塗り四角印でそれぞれ表している。画素情報の入出力関係は破線の矢印で表しており、テクスチャマップから蓄積マップへの転送を意味する。

【0067】

続いて、走査対象画素に関して、まず当該画素の位置から図のような変形方法に従って蓄積マップ側の注目座標を導出する。ここでは、蓄積マップにおけるポリゴンＰに関する注目座標を黒塗り三角印、ポリゴンＱに関する注目座標を黒塗り四角印でそれぞれ表している。この段階において導出された注目座標は、画素単位とは限らない（例えば、実数である）ことに留意する。

【0068】

次いで、注目座標に関連する蓄積マップの画素を更新対象画素として決定する。ここでは、従来の最近傍法における位置の導出方法に倣い、注目座標に最も近い位置にある１つの画素、即ち注目座標が含まれる領域にある１つの画素を更新対象画素とすることを例とする。ただし、従来の最近傍補間と異なる点として、求める位置の画素が入力側ではなく出力側であることに留意する。ここで、（ｉ，ｊ）に対応する蓄積マップにおける更新対象画素の位置を（ｘ，ｙ）とし、ｘは水平位置、ｙは垂直位置とする。

【0069】

次にテクスチャマップの走査対象画素における画素情報であるａ＿ｓｒｃ（ｉ，ｊ）、ｒ＿ｓｒｃ（ｉ，ｊ）、ｇ＿ｓｒｃ（ｉ，ｊ）、及びｂ＿ｓｒｃ（ｉ，ｊ）を用い、以下のように蓄積マップの更新対象画素における画素情報であるｗ＿ｓｕｍ（ｘ，ｙ）、ａ＿ｓｕｍ（ｘ，ｙ）、ｒ＿ｓｕｍ（ｘ，ｙ）、ｇ＿ｓｕｍ（ｘ，ｙ）、及びｂ＿ｓｕｍ（ｘ，ｙ）をそれぞれ更新する（以降、位置（ｉ，ｊ）および（ｘ，ｙ）の記述は省略する）。
すなわち、
ｗ＿ｓｕｍに対しては、一定値（たとえば、１）だけ加算する。
ａ＿ｓｕｍに対しては、ａ＿ｓｒｃだけ加算する。
ｒ＿ｓｕｍに対しては、ａ＿ｓｒｃにｒ＿ｓｒｃを乗算した値だけ加算する。
ｇ＿ｓｕｍに対しては、ａ＿ｓｒｃにｇ＿ｓｒｃを乗算した値だけ加算する。
ｂ＿ｓｕｍに対しては、ａ＿ｓｒｃにｂ＿ｓｒｃを乗算した値だけ加算する。

【0070】

なお、完全に不透明な画像のみを扱う場合、ａ＿ｓｒｃは一定値（たとえば、１）に置き換えることができ、ａ＿ｓｕｍは、ｗ＿ｓｕｍで代用可能である。
即ち、蓄積マップの更新対象画素の更新は以下のように簡略化することが出来る。
ｗ＿ｓｕｍに対しては、一定値（たとえば、１）だけ加算する。
ｒ＿ｓｕｍに対しては、ｒ＿ｓｒｃだけ加算する。
ｇ＿ｓｕｍに対しては、ｇ＿ｓｒｃだけ加算する。
ｂ＿ｓｕｍに対しては、ｂ＿ｓｒｃだけ加算する。

【0071】

以上のような処理を伴い、各ポリゴンのテクスチャマップの走査を完了させる。

【0072】

図７の左下は、テクスチャマップの走査結果として、蓄積マップで加算された影響値ｗ＿ｓｕｍの分布を数値で表している。説明の便宜上、斜線で示す領域は影響値が一定値（たとえば、２）以上の画素を示しているが、詳細は後述する。

【0073】

灰色の領域は、テクスチャマップと蓄積マップの対応付けの一部の例であり、テクスチャマップにおける位置（７，９）（８，９）および（７，１０）の３画素が、蓄積マップにおける位置（９，５）の画素の更新に携わった例を示している。

【0074】

図７の右下は、テクスチャマップの走査結果、蓄積マップにおける位置（９，５）の画素に対して行われた加算の例を表している。

【0075】

前述した規則に従い、以下のように加算される。
ｗ＿ｓｕｍ（９，５）＝ １＋１＋１＝３
ａ＿ｓｕｍ（９，５）＝ １×ａ＿ｓｒｃ（７，９）
＋１×ａ＿ｓｒｃ（８，９）
＋１×ａ＿ｓｒｃ（７，１０）
ｒ＿ｓｕｍ（９，５）＝ １×ａ＿ｓｒｃ（７，９）×ｒ＿ｓｒｃ（７，９）
＋１×ａ＿ｓｒｃ（８，９）×ｒ＿ｓｒｃ（８，９）
＋１×ａ＿ｓｒｃ（７，１０）×ｒ＿ｓｒｃ（７，１０）
ｇ＿ｓｕｍ（９，５）及びｂ＿ｓｕｍ（９，５）はｒ＿ｓｕｍ（９，５）と同様に求めることができる。

【0076】

図８の例のように、もしテクスチャマップがラッピング（繰り返し）の場合、前述のテクスチャマップ側において各ポリゴンに囲まれる範囲を隔たりなく走査する際には、繰り返しを考慮して走査することに留意する。たとえば、位置（２，２）の画素はポリゴンＰで３回、ポリゴンＱで１回、合計４回走査対象となる。

【0077】

次に、図９のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置により、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを説明する。これは、図６のステップＳ１６の処理の詳細に相当する。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。

【0078】

本フローチャートは、縮小による重心のずれを抑える手段の一部を示している。
この処理に入ると、テクスチャマップの画素の位置（Ａ）に対応する蓄積マップ注目座標（Ｂ）から、「蓄積マップ位置（Ｂ１〜Ｂ４）」と「重み値（ＫＢ１〜ＫＢ４）」を作成する（ステップＳ２１）。続いて、テクスチャマップ画素情報（ＤＡ）および重み値（ＫＢ１〜ＫＢ４）から蓄積マップ画素情報群（ＳＢ１〜ＳＢ４）を更新し（ステップＳ２２）、リターンする。

【0079】

なお、「テクスチャマップ」とは、「変形元画像」と同義であることに留意する。

【0080】

以下、図１０の概念図を参照して、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを更に詳述する。

【0081】

前述の例では、従来の最近傍法における位置の導出方法に倣い、注目座標に最も近い位置にある１つの画素を更新対象画素とした。

【0082】

図１０の例では、変形における重心のずれを抑える方法として、従来のバイリニア法における位置の導出方法および重みづけ方法に倣い、注目座標に近い位置にある複数（たとえば、水平２つと垂直２つとで、２×２＝４）の画素を更新対象画素とする。ただし、従来のバイリニア補間と異なる点として、重み付けを行う複数の画素が入力側ではなく出力側であることに留意する。以下、詳述する。

【0083】

先ず、テクスチャマップにおける走査対象画素の位置Ａに対応する蓄積マップの注目座標Ｂを順変換により求める。ＡからＢへの破線の矢印は、座標の順変換を表している。ここで、座標マップを用いる場合、Ｂの水平座標及び垂直座標を、座標マップの位置Ａの要素に記憶しておく。これにより、位置Ａに対応する注目座標Ｂを後から再び求める必要がなくなる。

【0084】

次に、注目座標に近い４つの画素の位置をそれぞれＢ１、Ｂ２、Ｂ３、およびＢ４とする。４つの位置それぞれにおいて、Ｂとの距離に応じて重みづけを行い、重み値ＫＢ１、ＫＢ２、ＫＢ３、およびＫＢ４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。

【0085】

ここで、位置Ａに関する画素情報をＤＡとし、位置Ｂ１に関する画素情報ＳＢ１については現在の値から「ＫＢ１を考慮したＤＡ」だけ加算する。

【0086】

即ち、テクスチャマップの走査対象画素における画素情報であるａ＿ｓｒｃ（Ａ）、ｒ＿ｓｒｃ（Ａ）、ｇ＿ｓｒｃ（Ａ）、及びｂ＿ｓｒｃ（Ａ）を用い、以下のように蓄積マップの更新対象画素における画素情報であるｗ＿ｓｕｍ（Ｂ１）、ａ＿ｓｕｍ（Ｂ１）、ｒ＿ｓｕｍ（Ｂ１）、ｇ＿ｓｕｍ（Ｂ１）、及びｂ＿ｓｕｍ（Ｂ１）をそれぞれ更新する（以降、位置（Ａ）及び（Ｂ）の記述は省略する）。
すなわち、
ｗ＿ｓｕｍに対しては、ＫＢ１だけ加算する。
ａ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃを乗算した値だけ加算する。
ｒ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃ及びｒ＿ｓｒｃを乗算した値だけ加算する。
ｇ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃ及びｇ＿ｓｒｃを乗算した値だけ加算する。
ｂ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃ及びｂ＿ｓｒｃを乗算した値だけ加算する。
この演算については、簡易的な表現として「ＳＢ１＋＝ＫＢ１・ＤＡ」と表す。
「＋＝」は、左辺自身に対する加算を表し、即ち「ＳＢ１＋ＫＢ１・ＤＡ」の結果をＳＢ１に代入することを示す。

【0087】

なお、完全に不透明な画像のみを扱う場合、ａ＿ｓｒｃは一定値（たとえば、１）に置き換えることができ、ａ＿ｓｕｍは、ｗ＿ｓｕｍで代用可能である。
即ち、蓄積マップの更新対象画素の更新は以下のように簡略化することが出来る。
ｗ＿ｓｕｍに対しては、ＫＢ１だけ加算する。
ｒ＿ｓｕｍに対しては、ＫＢ１にｒ＿ｓｒｃを乗算した値だけ加算する。
ｇ＿ｓｕｍに対しては、ＫＢ１にｇ＿ｓｒｃを乗算した値だけ加算する。
ｂ＿ｓｕｍに対しては、ＫＢ１にｂ＿ｓｒｃを乗算した値だけ加算する。

【0088】

位置Ｂ２、Ｂ３、Ｂ４に関する画素情報ＳＢ２、ＳＢ３、ＳＢ４についても、それぞれ同様に上記のような加算を行う。

【0089】

このように、位置の導出及び重み付けの目的が更新対象画素における画素情報の加算でありながら、従来の参照を目的とした画素の位置の導出方法および重みづけ方法の適用が可能である。同様の例としてバイキュービック法等の適用も可能である。

【0090】

以下、図１１のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置による、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理の流れを説明する。尚、この処理は、図４のステップＳ２に相当するものである。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。

【0091】

本フローチャートはポリゴンモデルを用いたテクスチャマッピングの例であり、変形先画像を走査する旨の説明である。ターゲットマップは変形先画像に相当する。

【0092】

即ち、本処理に入ると、全ポリゴン面の抽出を完了したか否かを判断し（ステップＳ３１）、抽出を完了していなければ（ステップＳ３１をＮｏに分岐）、次のポリゴン面を抽出し（ステップＳ３２）、続いてターゲットマップにおいてポリゴン面に含まれる全画素抽出を完了したか否かを判断し（ステップＳ３３）、完了していなければ（ステップＳ３３をＮｏに分岐）、ターゲットマップの次画素を抽出し（ステップＳ３４）、蓄積マップを基にターゲットマップ画素を更新する処理を行い（ステップＳ３５）、ステップＳ３３に戻る。こうして、ステップＳ３３乃至Ｓ３５の処理を、ターゲットマップにおいてポリゴン面に含まれる全画素抽出を完了するまで繰り返し、全画素抽出を完了すると（ステップＳ３３をＹｅｓに分岐）、ステップＳ３１に戻る。こうして、全ポリゴン面の抽出を完了するまでステップＳ３１乃至Ｓ３５の処理を繰り返し、抽出を完了すると（ステップＳ３１をＹｅｓに分岐）、リターンする。

【0093】

ただし、図１１のフローチャートは複数のポリゴンからなるポリゴンモデル（即ち、変形方法が複数）を想定した例であり、ポリゴンが単一の場合や、変形方法定義データ４２にて単一のテーブルや数式を用いる場合、ステップＳ３１乃至Ｓ３２は省略可能である。
即ち、本処理を開始すると、ステップＳ３３乃至Ｓ３５の処理を繰り返し、抽出を完了すると（ステップＳ３３をＹｅｓに分岐）、リターンしてもよい。

【0094】

なお、「ターゲットマップ」とは、「変形先画像」と同義であり、「ポリゴン面」とは、変形元画像において「変形を行う範囲」と同義であることに留意する。

【0095】

ここで、図１２のフローチャートを参照して、蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明する。これは、図１１のステップＳ３５の処理の詳細に相当するものである。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。本フローチャートは、簡易的にターゲットマップ画素を更新する例であり、縮小の場合に重心のずれを抑える手段を示している。なお、画像の基準点において縮小と拡大が複合する変形に適した手段についてはここでは述べず、後述する。

【0096】

この処理に入ると、先ず、蓄積マップ画素の位置（Ｐ）に関する画素情報（ＳＰ）の影響値（ｗ＿ｓｕｍ）は一定値以上であるか否かを判断する（ステップＳ４１）。ここで、影響値（ｗ＿ｓｕｍ）が一定値以上であれば（ステップＳ４１をＹｅｓに分岐）、蓄積マップ画素情報（ＳＰ）からターゲットマップ画素情報（ＤＰ）を生成し（ステップＳ４２）、リターンする。一方、影響値（ｗ＿ｓｕｍ）が一定値以上でなければ（ステップＳ４１をＮｏに分岐）、従来の補間方法でテクスチャマップ画素情報ＤＡ１〜ＤＡ４からターゲットマップ画素情報（ＤＰ）を生成し（ステップＳ４３）、リターンする。

【0097】

なお、「ターゲットマップ」とは、「変形先画像」と同義であり、「テクスチャマップ」とは、「変形元画像」と同義であることに留意する。

【0098】

以下、図１３の概念図を参照して、本発明の第１の実施形態に係るリサンプリング装置により、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理について詳細に説明する。

【0099】

図１３の右の図は、変形元画像に相当する前述のテクスチャマップである。図１３の左上の図は、前述の蓄積マップであり、前述のテクスチャマップ側の走査が完了した状態とする。図１３の左下の図は、変形先画像に相当するターゲットマップを表している。

【0100】

ターゲットマップの画素は不透明度と色とを含む画素情報（ａ＿ｄｓｔ：アルファ，ｒ＿ｄｓｔ：赤，ｇ＿ｄｓｔ：緑，ｂ＿ｄｓｔ：青）を持つものとする。

【0101】

テクスチャマップ、ターゲットマップ、および蓄積マップのそれぞれにおいて、画素は２次元で配置され、座標（水平方向，垂直方向）の単位は１画素を１とし、便宜上、画素の領域の境界を破線の格子で表している。

【0102】

ターゲットマップ側において、各ポリゴンに囲まれる範囲を隔たりなく走査する。ここで、走査対象画素の位置を（ｉ，ｊ）とし、ｉは水平位置、ｊは垂直位置とする。ちなみに、前述のとおり、蓄積マップはターゲットマップと共通の座標系としているので、すなわち（ｉ，ｊ）は走査対象画素の位置に対応する蓄積マップの画素の位置としても表すことができる。ターゲットマップにおけるポリゴンＰに関する走査対象画素を黒塗り三角印又は白抜き三角印とし、ポリゴンＱに関する走査対象画素を黒塗り四角印又は白抜き四角印としてそれぞれ表している。

【0103】

画素情報の入出力関係は破線の矢印で表しており、蓄積マップからターゲットマップへの転送、またはテクスチャマップからターゲットマップへの転送を意味する。ここで、白抜き三角印又は白抜き四角印は、影響値ｗ＿ｓｕｍ（ｉ，ｊ）が一定値（たとえば、２）以上であることを表し、黒塗り三角印又は黒塗り四角印は、影響値ｗ＿ｓｕｍ（ｉ，ｊ）が一定値（たとえば、２）未満であることを表している。影響値ｗ＿ｓｕｍ（ｉ，ｊ）が２以上である場合と２未満である場合で異なる更新対象画素の更新方法を用いる。

【0104】

走査対象画素に関して、まず当該画素の位置に対応する蓄積マップの画素の影響値ｗ＿ｓｕｍ（ｉ，ｊ）を読み出す。蓄積マップにおける影響値ｗ＿ｓｕｍ（ｉ，ｊ）が２以上の場合、局部的に縮小相当と考え、当該画素に携わったテクスチャマップの画素の数が充分と見なし、携わった画素の平均を用いることとする。
即ち、蓄積マップにおける画素情報ｗ＿ｓｕｍ（ｉ，ｊ）、ａ＿ｓｕｍ（ｉ，ｊ）、ｒ＿ｓｕｍ（ｉ，ｊ）、ｇ＿ｓｕｍ（ｉ，ｊ）、ｂ＿ｓｕｍ（ｉ，ｊ）を用いて、以下に示すようにターゲットマップの更新対象画素における画素情報ａ＿ｄｓｔ（ｉ，ｊ）、ｒ＿ｄｓｔ（ｉ，ｊ）、ｇ＿ｄｓｔ（ｉ，ｊ）、ｂ＿ｄｓｔ（ｉ，ｊ）をそれぞれ更新する（以降、位置（ｉ，ｊ）の記述は省略する）。
すなわち、
ａ＿ｄｓｔに対しては、ａ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
ｒ＿ｄｓｔに対しては、ｒ＿ｓｕｍからａ＿ｓｕｍを除算した値を代入する。
ｇ＿ｄｓｔに対しては、ｇ＿ｓｕｍからａ＿ｓｕｍを除算した値を代入する。
ｂ＿ｄｓｔに対しては、ｂ＿ｓｕｍからａ＿ｓｕｍを除算した値を代入する。
蓄積マップの画素情報をＳ（ｉ，ｊ）とし、この演算については簡易的な表現として「Ｓ（ｉ，ｊ）／ｗ＿ｓｕｍ（ｉ，ｊ）」と表す。

【0105】

なお、必ず不透明な画像を扱う場合、ａ＿ｓｕｍは、ｗ＿ｓｕｍで代用可能な事は前述の説明のとおりである。即ち、ターゲットマップの更新対象画素の更新は以下のように置き換えることが出来る。
すなわち、
ｒ＿ｄｓｔに対しては、ｒ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
ｇ＿ｄｓｔに対しては、ｇ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
ｂ＿ｄｓｔに対しては、ｂ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。

【0106】

走査対象画素の位置に対応する蓄積マップの画素の影響値ｗ＿ｓｕｍ（ｉ，ｊ）が２未満の場合、局部的に拡大相当と考え、当該画素に携わったテクスチャマップの画素の数が不充分と見なす。この場合、当該画素の画素情報を用いず、従来のテクスチャマッピングに基づいた補間（たとえば、バイリニア補間）により算出した値を用いてターゲットマップの更新対象画素における画素情報を更新する。

【0107】

即ち、走査対象画素に関して、まず当該画素に関する位置から図のような変形方法に従ってテクスチャマップ側の注目座標を導出する。テクスチャマップにおけるポリゴンＰに関する注目座標を黒塗り三角印、ポリゴンＱに関する注目座標を黒塗り四角印としてそれぞれ表している。この段階において導出された注目座標は画素単位とは限らない（たとえば、実数である）ことに留意する。

【0108】

次に、注目座標に関連するテクスチャマップの画素を被参照画素として決定する。ここでは、注目座標に近い２×２の画素、即ち注目座標が含まれる領域の画素及び近傍の画素を被参照画素とする。以下、詳述する。

【0109】

図１４には、従来のテクスチャマッピングに基づいた補間の例を示す。
ターゲットマップに関する、位置Ｐに応じた画素情報ＤＰの生成例は次式で示される。
ＤＰ＝（ＫＡ１・ＤＡ１＋ＫＡ２・ＤＡ２＋ＫＡ３・ＤＡ３＋ＫＡ４・ＤＡ４）
／（ＫＡ１＋ＫＡ２＋ＫＡ３＋ＫＡ４）

【0110】

すなわち、先ずターゲットマップの位置Ｐに対応するテクスチャマップの注目座標Ａを逆変換により求める。ＰからＡへの破線の矢印は、座標の逆変換を表している。Ａに近い４つの画素の位置Ａ１、Ａ２、Ａ３、およびＡ４において、それぞれＡとの距離に応じて重みづけを行い、重み値ＫＡ１、ＫＡ２、ＫＡ３、およびＫＡ４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。そして、位置Ａ１〜Ａ４に関する画素情報をＤＡ１〜ＤＡ４とし、位置Ｐに関する画素情報ＤＰについては「ＫＡ１〜ＫＡ４を考慮したＤＡ１〜ＤＡ４」を合成して生成する。

【0111】

なお、図１５には、変形例として、従来の補間から算出した値と蓄積マップから算出した値とを重み付けによる合成の考え方を示し説明する。

【0112】

前述の例（図１２の処理）では、蓄積マップにおける画素の影響値ｗ＿ｓｕｍが一定値以上である場合と一定値未満である場合で異なる更新対象画素の更新方法を用いたが、両方の方法から値をそれぞれ算出し、影響値ｗ＿ｓｕｍの値に応じた割合を用いて合成した画素情報を更新対象画素の画素情報としてもよい。即ち、影響値ｗ＿ｓｕｍの値が大きいとき、蓄積マップの位置Ｐにおける画素情報ＳＰを用いる割合も高くする。これにより、拡大部分と縮小部分の境目がなめらかになる。

【0113】

図１６には、リサンプリング結果の例を示し説明する。

【0114】

図１６は、奥行きが非常に長い直方体の内部を投影する際のテクスチャマッピングについて従来手段の異方性フィルタと比較した例である。図１６（ａ）が従来の異方性フィルタ（１６ｘサンプル設定）、図１６（ｂ）が本発明の手段であり、それぞれ遠方部分、即ち縮小を含む変形を強調している。市松模様や直線模様に着目し、本発明の結果として、特に画素の平均や重心といった観点から遠方部分の品質が高く保たれていることを示している。

【0115】

（第２の実施形態）

【0116】

第２の実施形態に係るリサンプリング装置による処理では、第１の実施形態に係るリサンプリング装置による図１２の処理を図１７に示されるように変更している。

【0117】

以下、図１７のフローチャートを参照して、本発明の第２の実施形態に係るリサンプリング装置による、蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明する。本フローチャートは、縮小による重心のずれを抑える手段に加え、画像の基準点において縮小と拡大が複合する変形に適した手段を示している。これは、第２の実施形態に係るリサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。
以下、詳述する。

【0118】

すなわち、この処理に入ると、蓄積マップの画素の位置（Ｐ）に対応するテクスチャマップ注目座標（Ａ）から、「テクスチャマップ位置（Ａ１〜Ａ４）」と「重み値（ＫＡ１〜ＫＡ４）」とを作成し（ステップＳ５１）、テクスチャマップ位置（Ａ１〜Ａ４）に対応する蓄積マップ注目座標（Ｂ１〜Ｂ４）から、「蓄積マップ位置（Ｂ１１〜Ｂ４４）」と「重み値（ＫＢ１１〜ＫＢ４４）」とを作成し（ステップＳ５２）、蓄積マップの画素情報（ＤＢ１１〜ＤＢ４４）および重み値（ＫＡ１〜ＫＡ４，ＫＢ１１〜ＫＢ４４）からターゲットマップの位置（Ｐ）の画素情報（ＤＰ）を生成し（ステップＳ５３）、リターンすることになる。

【0119】

なお、「ターゲットマップ」とは、「変形先画像」と同義であり、「テクスチャマップ」とは、「変形元画像」と同義であることに留意する。

【0120】

ここで、図１８の概念図を参照して、蓄積マップを基にターゲットマップ画素を更新する処理について更に詳述する。

【0121】

先ず、蓄積マップの位置Ｐに対応するテクスチャマップの注目座標Ａを逆変換により求める。ＰからＡへの破線の矢印は、座標の逆変換を表している。次いで、注目座標Ａに近い４つの画素の位置Ａ１、Ａ２、Ａ３、およびＡ４において、それぞれＡとの距離に応じて重み付けを行い、重み値ＫＡ１、ＫＡ２、ＫＡ３、およびＫＡ４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。

【0122】

さらに、位置Ａ１に対応する蓄積マップの注目座標Ｂ１を順変換により求める。Ａ１からＢ１への破線の矢印は、座標の順変換を表している。次いで、注目座標Ｂ１に近い４つの画素の位置Ｂ１１、Ｂ１２、Ｂ１３、およびＢ１４において、それぞれＢ１との距離に応じて重み付けを行い、重み値ＫＢ１１、ＫＢ１２、ＫＢ１３、およびＫＢ１４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。

【0123】

なお、座標マップを用いている場合、座標マップの位置Ａ１の要素である座標情報が存在するならば、その座標情報をＢ１としてもよい。

【0124】

Ａ２、Ａ３、およびＡ４に対応する座標や位置等は、図示を省略しているが、これらも同様に導出する。

【0125】

そして、位置Ｂ１１〜Ｂ４４に関する画素情報をＤＢ１１〜ＤＢ４４とし、位置Ｐに関する画素情報ＤＰについては「ＫＢ１１〜ＫＢ４４およびＫＡ１〜ＫＡ４を考慮したＤＢ１１〜ＤＢ４４」を合成して生成する。

【0126】

ところで、前述したテクスチャマップ側の走査が完了した状態において、拡大部分では蓄積マップの画素の更新に隔たりが生じ、位置によっては画素が一切更新されていない場合もある。ただし、ここで説明した方法における蓄積マップを参照するための座標変換は既にテクスチャマップ側の走査の際に行われ、さらには関連する蓄積マップの画素が更新されている。すなわち、更新が一切されていない画素の位置は導出されないものと考えてよい。よって、縮小と拡大で処理を分ける必要がないので、この方法は画像の基準点において縮小と拡大が複合する変形に適したリサンプリングと言える。

【0127】

図１９には、第２の実施形態によるリサンプリング結果の例を示す。

【0128】

座標の順変換（入力→出力）、座標の逆変換（出力→入力）は次式で示される。
座標の順変換（入力→出力）：
X_OUT = (w / 2) + cos(X_IN / w * 2 * PI) * Y_IN / h * (w / 2)
Y_OUT = (h / 2) + sin(X_IN / w * 2 * PI) * Y_IN / h * (h / 2)
座標の逆変換（出力→入力）：
X_IN = atan2((Y_OUT - h / 2) / h, (X_OUT - w / 2) / w) / (2 * PI) * w
Y_IN = sqrt(((X_OUT - w / 2) / (w / 2)) ^ 2 + ((Y_OUT - h / 2) / (h / 2)) ^ 2) * h

【0129】

図１９は、本発明の第２の実施形態に係るリサンプリング装置の手段で極座標変換による変形を行った結果の例である。

【0130】

図１９（ｂ）は変形元画像であり、正方形をパターンとして格子状に配置した例である。変形元画像の最上部は変形先画像の中心に対応し、変形元画像の左下から右下への線分は、変形先画像の右端から時計回りで１周する円に対応するものとする。図１９（ａ）は蓄積マップにおいて、変形元画像の各画素の位置から順変換により求めた座標を表しており、黒色の画素に対しては黒塗り丸印、白色の画素に対しては白抜き丸印でそれぞれ表している。図１９（ｄ）は変形元画像において、変形先画像となる各画素の位置から逆変換により求めた座標を白抜き丸印で表している。

【0131】

また図１９（ａ）の例は、円の端付近において、半径方向については座標群が密であるため縮小になるが、円周方向については座標群が疎であるため拡大になるような変形である。変形の結果として、図１９（ｃ）のように、拡大の方向では補間によりジャギーが抑制され、かつ、縮小の方向では平均によりエイリアシングが抑制されている。

【0132】

以上、本発明の第１、第２の実施形態について詳述したが、本発明はこれらに限定されることなく、その主旨を逸脱しない範囲で種々の改良・変更が可能である。

【0133】

例えば、本発明は、同一発明者の先願である、特願２０１１−０９６９４０後の明細書及び図面に記載の全方位画像編集装置に記載の描画処理に適用してもよい。この場合、視野角を極端に小さくした状態、即ち表示を拡大した状態での細かな描き込みにおいて、縮小による重心のずれを抑えるリサンプリングが期待できる。また、視野角を極端に大きくした状態、即ち表示を広範囲にした状態での遠近感を表現する描き込みにおいて、画像の基準点において縮小と拡大が複合する変形に適したリサンプリングが期待できる。

【0134】

また、本発明は、２次元までに限定される手段を用いない。したがって、いずれの処理も３次元への拡張（たとえば、ボクセルを用いる３次元データの変形等）が可能である。

【符号の説明】

【0135】

１ リサンプリング装置
１０ パーソナルコンピュータ
１１ 中央制御部
１２ メインメモリ
１３ 画像制御部
１３ａビデオメモリ
１４ 入出力制御部
１５ 内蔵不揮発性記憶媒体
１６ メディア読み書きインターフェイス
２０ 表示装置
３０ 変形パラメータ入力装置
４０ 変形元画像入力データ
４１ 変形先画像出力データ
４２ 変形方法定義データ
５０ プログラムデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】