特許 6305551 サブピクセルオフセットを有する電子ズーム方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6305551

(24)【登録日】2018年3月16日

(45)【発行日】2018年4月4日

(54)【発明の名称】サブピクセルオフセットを有する電子ズーム方法

(51)【国際特許分類】

   G06T 3/40 20060101AFI20180326BHJP

   H04N 7/01 20060101ALI20180326BHJP

【ＦＩ】

   G06T3/40 700

   H04N7/01 Z

   G06T3/40 755

【請求項の数】13

【全頁数】26

(21)【出願番号】特願2016-549153(P2016-549153)

(86)(22)【出願日】2014年11月19日

(65)【公表番号】特表2017-509961(P2017-509961A)

(43)【公表日】2017年4月6日

(86)【国際出願番号】US2014066451

(87)【国際公開番号】WO2015116307

(87)【国際公開日】20150806

【審査請求日】2016年7月28日

(31)【優先権主張番号】14/167,708

(32)【優先日】2014年1月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503455363

【氏名又は名称】レイセオン カンパニー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ゴールケ，マーク

(72)【発明者】

【氏名】ベイカー，クリストファー ジェイ．

(72)【発明者】

【氏名】ジェイコブス，トレント エー．

【審査官】 石田 信行

(56)【参考文献】

【文献】 特表２００７−５１１７８９（ＪＰ，Ａ）

【文献】 特開２００７−３０６５２８（ＪＰ，Ａ）

【文献】 特開２００９−０５５２２５（ＪＰ，Ａ）

【文献】 特開平０８−２３５３５２（ＪＰ，Ａ）

【文献】 特開平１０−２２９４９１（ＪＰ，Ａ）

【文献】 特開平１１−１２２６３７（ＪＰ，Ａ）

【文献】 Sky McKinley，Cubic Spline Interpolation，Cubic Spline Interpolation，２０００年，p.1-15，ＵＲＬ，http://web.archive.org/web/20000925180833/http://online.redwoods.cc.ca.us/instruct/darnold/laproj/Fall98/SkyMeg/Proj.PDF

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ ７／０１

(57)【特許請求の範囲】

【請求項1】

４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成するシステムであって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有し、前記システムは、

【数1】

として前記補間値を計算するように構成された処理ユニットを有し、
ここで、

【数2】

であり、
[外１]

は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外２]

は前記第１の方向で最も近いソースポイントの値であり、
[外３]

は前記第１の方向と反対であり前記第１の画像軸に平行な第２の方向で最も近いソースポイントの値であり、
[外４]

は前記第２の方向で２番目に近いソースポイントの値であり、
[外５]

は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外６]

は[外７]

と実質的に等しく、
前記４つのソースポイントは４つの仮補間ポイントであり、前記第１の補間ポイントは最終的補間ポイントであり、
前記処理ユニットは、４回補間をするように構成され、毎回４つのピクセルをソースポイントして用い、４つの仮補間値を形成し、前記４つの仮補間値から出力画像の値を構成する、
システム。

【請求項2】

前記処理ユニットは
[外８]

により
[外９]

を計算するように構成され、
[外１０]

は
[外１１]

と実質的に等しい、
請求項１に記載のシステム。

【請求項3】

前記処理ユニットは、０とも１とも等しくない
[外１２]

の各要素にベクトル
[外１３]

の要素をかけることにより、
[外１４]

を計算するように構成される、請求項２に記載のシステム。

【請求項4】

入力画像を格納するように構成された少なくとも１つのシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を有する、請求項１に記載のシステム。

【請求項5】

前記入力画像を格納する第１のＳＤＲＡＭと、出力画像を格納する第２のＳＤＲＡＭとを有する、請求項４に記載のシステム。

【請求項6】

前記第１のＳＤＲＡＭと前記第２のＳＤＲＡＭは同じＳＤＲＡＭである、請求項５に記載のシステム。

【請求項7】

前記処理ユニットは、画像の４本のラインを保持するように構成されたリングバッファを有し、前記処理ユニットは前記４本のラインの各々から、ソースポイントとして一度に４ピクセルを選択するように構成される、
請求項４に記載のシステム。

【請求項8】

前記リングバッファは画像の付加的な２本のラインを保持するように構成され、前記処理ユニットは、第１のメモリから、転送時にソースポイントとして使われていない前記リングバッファのラインにデータを転送するように構成されている、
請求項７に記載のシステム。

【請求項9】

前記処理ユニットは、固定小数点計算を用いて前記補間値を計算するように構成されている、
請求項１に記載のシステム。

【請求項10】

前記処理ユニットは、１符号ビット、２進小数点の左に２５ビット、二進小数点の右に６ビットを含む３２ビット固定小数点計算を用いて量
[外１４’]

を表すように構成されている、
請求項９に記載のシステム。

【請求項11】

処理ユニットを有するシステムにおける、４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成する方法であって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有し、前記方法は、
前記処理ユニットが、前記補間値を

【数3】

として計算するステップを有し、
ここで、

【数4】

であり、
[外１５]

は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外１６]

は前記第１の方向で最も近いソースポイントの値であり、
[外１７]

は前記第１の方向と反対であり前記第１の画像軸に平行な第２の方向で最も近いソースポイントの値であり、
[外１８]

は前記第２の方向で２番目に近いソースポイントの値であり、
[外１９]

は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外２０]

は
[外２１]

と実質的に等しく、
前記４つのソースポイントは４つの仮補間ポイントであり、前記第１の補間ポイントは最終的補間ポイントであり、
前記計算するステップは、４回補間をして、毎回４つのピクセルをソースポイントして用い、４つの仮補間値を形成し、前記４つの仮補間値から出力画像の値を構成するステップを含む、
方法。

【請求項12】

[外２２]

により
[外２３]

を計算するステップを有し、
[外２４]

は
[外２５]

と実質的に等しい、請求項１１に記載の方法。

【請求項13】

[外２６]

を計算するステップは、０とも１とも等しくない
[外２７]

の各要素にベクトル
[外２８]

の要素をかけるステップを含む、
請求項１２に記載の方法。

【発明の詳細な説明】

【連邦政府出資の研究に関する陳述】

【0001】

本発明は、国防総省の助成による契約番号（差し控え）による米国政府の支援を受けている。米国政府は本発明に一定の権利を有している。

【技術分野】

【0002】

本発明による実施形態の一以上の態様は、デジタル画像のズームおよびオフセットに関し、より具体的には、ピクセルを補間するシステムおよび方法に関する。

【背景技術】

【0003】

デジタル画像をディスプレイなどの視覚装置で見る場合、それが画像とは異なるピクセル数を有するとき、画像がディスプレイより大きいときは、元の画像が切り取られ（ｃｒｏｐｐｅｄ）、元の画像がディスプレイより小さいときは、画像がディスプレイの一部に表示され、ディスプレイの残りは原画像には使われず、例えば余白とされたり、異なる背景画像が表示されたりする。これらのアプローチはどれも見る者に対して最適な表示画像を提供せず、前者は画像の一部を見る者に隠してしまい、後者が提供する画像はディスプレイの表示画面を使い切っていない。かかる場合には、原画像をディスプレイにフィットするようにサイズ変更することが望ましい。これには、一般的に原画像（ここでは入力画像と呼ぶ）のピクセルの補間として知られる、表示される画像（ここでは出力画像と呼ぶ）を構成する、すなわちディスプレイの各ピクセルに表示される各色の適切なピクセル値を見いだすプロセスを必要とする。補間は、見る者が画像の一部にズームしたり、画像の一部しか見えていない表示を画像にわたりパン（ｐａｎ）したりするのにも使える。かかるアプリケーションでは、補間は、連続範囲のズームおよびパンの設定を可能にする役に立つ。補間を繰り返し適用して、原画像から新しい画像（ここでは出力画像と呼ぶ）を構成できる。

【0004】

かかる補間は例えばデジタルフィルタを用いて実現できる。しかし、高性能フィルタは、補間する各ピクセルの周りの、画像の７×７部分を用い、中間的係数値の大きなテーブルを必要とすることがある。これらの係数は入力データフェーズに応じて変化することがある。それゆえ、この手法は画像処理システムに大きな計算負荷をかけることとなる。さらに、この手法は、予めプログラムされたズームまたはオフセット、すなわちパン設定を、限定数のみサポートできる。

【0005】

補間は、双線形補間を用いても実現できる。双線形補間は、連続的なパンおよびズームをサポートするが、生成する画質が悪いので、高性能画像化には適していない。双三次区分的多項式スプライン法は、双線形補間を上回るが、それにもかかわらず、理想的な画質を提供するものではない。よって、大きな計算負荷をかけずに良い画質を提供する補間のシステムと方法が必要とされている。

【発明の概要】

【0006】

本発明の実施形態の態様は、ズーム及びパンフィーチャ（ｚｏｏｍ ａｎｄ ｐａｎ ｆｅａｔｕｒｅｓ）を提供する画像のピクセル間の補間に関する。区分的三次スプラインを用いて、画像の４つの行の各々における４つの仮補間ポイントの各々の値を見いだし、同様に、区分的三次スプラインを用いて、仮補間ポイント間を補間して、出力画像中のポイントの値を見いだす。区分的三次スプラインの係数を制約するのに使う境界条件により出力画像の画質を改善する。

【0007】

本発明の一実施形態によるシステムは、４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成するシステムであって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有する。前記システムは、

【0008】

【数1】

として前記補間値を計算するように構成された処理ユニットを有し、ここで、

【0009】

【数2】

であり、
[外１]

は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外２]

は前記第１の方向で最も近いソースポイントの値であり、
[外３]

は前記第１の方向と反対の第２の方向で最も近いソースポイントの値であり、
[外４]

は前記第２の方向で２番目に近いソースポイントの値であり、
[外５]

は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外６]

は
[外７]

と実質的に等しい。

【0010】

一実施形態では、前記４つのソースポイントは４つの仮補間ポイントであり、前記第１の補間ポイントは最終的補間ポイントである。

【0011】

一実施形態では、前記処理ユニットは
[外８]

により
[外９]

を計算するように構成され、
[外１０]

は
[外１１]

と実質的に等しい。

【0012】

一実施形態では、前記処理ユニットは、０とも１とも等しくない
[外１２]

の各要素にベクトル
[外１３]

の要素をかけることにより、
[外１４]

を計算するように構成される。

【0013】

一実施形態では、前記システムは、入力画像を格納するように構成された少なくとも１つのシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を有する。

【0014】

一実施形態では、前記システムは、前記入力画像を格納する第１のＳＤＲＡＭと、出力画像を格納する第２のＳＤＲＡＭとを有する。

【0015】

一実施形態では、前記第１のＳＤＲＡＭと前記第２のＳＤＲＡＭは同じＳＤＲＡＭである。

【0016】

一実施形態では、前記処理ユニットは、画像の４本のラインを保持するように構成されたリングバッファを有し、前記処理ユニットは前記４本のラインの各々から、ソースポイントとして一度に４ピクセルを選択するように構成される。

【0017】

一実施形態では、前記処理ユニットは、４回補間をするように構成され、毎回４つのピクセルをソースポイントして用い、４つの仮補間値を形成し、前記４つの仮補間値から出力画像の値を構成する。

【0018】

一実施形態では、前記リングバッファは画像の付加的な２本のラインを保持するように構成され、前記処理ユニットは、前記第１のメモリから、転送時にソースポイントとして使われていない前記リングバッファのラインにデータを転送するように構成されている。

【0019】

一実施形態では、前記処理ユニットは、固定小数点計算を用いて前記補間値を計算するように構成されている。

【0020】

一実施形態では、前記処理ユニットは、１符号ビット、２進小数点の左に２５ビット、前記二進小数点の右に６ビットを含む３２ビット固定小数点計算を用いて量
[外１４’]

を表すように構成されている。

【0021】

本発明の一実施形態によるシステムは、４つのソースポイントのセットのうち２つの中心ソースポイント間の第１の補間ポイントにおける補間値を生成する方法であって、前記４つのソースポイントは第１方向にアライメントされ、各ソースポイントは値を有し、前記方法は、前記補間値を

【0022】

【数3】

として計算するステップを有し、ここで、

【0023】

【数4】

であり、
[外１５]

は第１の画像軸に平行な第１の方向で２番目に近いソースポイントの値であり、
[外１６]

は前記第１の方向で最も近いソースポイントの値であり、
[外１７]

は前記第１の方向と反対の第２の方向で最も近いソースポイントの値であり、
[外１８]

は前記第２の方向で２番目に近いソースポイントの値であり、
[外１９]

は、前記第１の補間ポイントと前記第１の方向で最も近いソースポイントとの間の距離の、前記第１の方向で最も近いソースポイントと前記第２の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外２０]

は
[外２１]

と実質的に等しい。

【0024】

一実施形態では、前記方法は、
[外２２]

により
[外２３]

を計算するステップを含み、
[外２４]

は
[外２５]

と実質的に等しい。

【0025】

一実施形態では、
[外２６]

を計算するステップは、０とも１とも等しくない
[外２７]

の各要素にベクトル
[外２８]

の要素をかけるステップを含む。

【0026】

一実施形態では、前記４つのソースポイントは画像の４つのピクセルである。

【0027】

一実施形態では、前記４つのソースポイントは４つの仮補間ポイントである。

【図面の簡単な説明】

【0028】

特徴、態様、及び実施形態を添付した図面と共に説明する。

【図1】本発明の一実施形態による補間ポイントへの補間に用いる４つのソースポイントを示す図である。

【図2A】本発明の一実施形態により構成される三次スプラインのプロットを、交互法（ａｌｔｅｒｎａｔｅ ｍｅｔｈｏｄ）により構成される三次スプラインのプロットと共に示す図である。

【図2B】本発明の一実施形態により構成される三次スプラインのプロットを、交互法（ａｌｔｅｒｎａｔｅ ｍｅｔｈｏｄ）により構成される三次スプラインのプロットと共に示す図である。

【図3】本発明の一実施形態による補間法を用いて構成された画像を、交互法を用いて構成された画像と共に示す図である。

【図4】２次元配列のピクセルと、本発明の一実施形態による仮補間ポイント及び最終的補間ポイントとを示す図である。

【発明を実施するための形態】

【0029】

添付した図面に関して記載した詳細な説明は、本発明により提供される、サブピクセルオフセットを有する電子ズームの方法の例示としての実施形態の説明であり、本発明が構成または利用される唯一の形式を表すものではない。この説明は、例示される実施形態に関して、本発明の特徴を記載する。しかし、言うまでもなく、同一の又は等価な機能及び構造は、異なる実施形態によっても実現でき、この異なる実施形態は本発明の精神と範囲に含まれる。同じエレメント番号は同じエレメントまたはフィーチャ（ｆｅａｔｕｒｅｓ）を示す。

【0030】

処理されるデジタル画像は、四角形であってもよく、画像の水平方向を第１の軸（例えば、Ｘ軸）と関連付け、画像の垂直方向を第２の軸（例えば、Ｚ軸）と関連付けても便利である。各ピクセルは、ＸーＺ座標系中のピクセルの座標に対応してその座標系中の位置を有する。

【0031】

図１を参照して、本発明の一実施形態では、補間ポイント１０５における値を見いだす補間法は、区分的三次スプラインに基づき実装してもよい。かかる手法により、許容できる処理負荷（ｐｒｏｃｅｓｓｉｎｇ ｒｅｑｕｉｒｅｍｅｎｔｓ）で画質を改善できる。図１は、軸に平行な直線に沿って連続した一連の４つのソースポイント（ｓｏｕｒｃｅ ｐｏｉｎｔｓ）１１０、１１５、１２０、１２５を示す。ソースポイント１１０、１１５、１２０、１２５は、例えば、入力画像中のピクセルであってもよく、または一組の先行する補間動作（図４）により形成される仮補間ポイントであってもよい。この軸は、一般性を損なわずに、Ｘ軸としてもよく、４つのソースポイント１１０、１１５、１２０、１２５は、一般性を損なわずに、それぞれＸ座標のー１、０、１、及び２にあると仮定してもよい。４つのソースポイント１１０、１１５、１２０、１２５の各々は、例えば赤、緑、又は青などの色の強度に対応する値を有する。補間ポイント１０５における対応する値を求める。他の一例では、値はモノクロ階調に対応していてもよい。例えば、各ピクセルの値がそのピクセルにおける赤の強度に対応する場合、ここに説明の補間プロセスにより、補間ポイント１０５における赤の補間強度（ｉｎｔｅｒｐｏｌａｔｅｄ ｉｎｔｅｎｓｉｔｙ）に対応する補間ポイント１０５における補間値（ｉｎｔｅｒｐｏｌａｔｅｄ ｖａｌｕｅ）が求まる。ここに説明の補間プロセスを、緑や青の強度に対して繰り返して、補間ポイント１０５における赤、青、及び緑の補間値を生成しても良い。

【0032】

ポイント１０５における値は、３つの連続したピクセル間区間にわたる区分的三次関数を生成して、補間ポイント１０５における区分的三次関数を評価することにより補間してもよい。これらの区間のうち第１は、Ｘ＝−１にあるソースポイント１１０とＸ＝０にあるソースポイント１１５との間であり、第２は、Ｘ＝０にあるソースポイント１１５とＸ＝１にあるソースポイント１２０との間であり、第３は、Ｘ＝１にあるソースポイント１１０とＸ＝２にあるソースポイント１２５との間である。

【0033】

区分的三次スプラインを構成する対応する三次関数はそれぞれ次のようになる：

【0034】

【数5】

。４つの係数
[外２９]

が一旦見つかれば、補間ポイントにおける値は
[外３０]

で与えられる。

【0035】

１２個の係数
[外３１]

は、区分的三次スプラインが４つのソースポイント１１０、１１５、１２０、１２５において、値
[外３２]

を取るように、選択される：

【0036】

【数6】

この一式の６つの制約式は、１２個の係数
[外３３]

を一意的に決定するには不十分であり、さらに、これらの制約式では、ソースポイントにおいてスプラインが滑らかであることを保証しない。例えば、ソースポイントにおいて一次微分が不連続であるかも知れない。ソースポイント１１５、１２０において、一次及び二次微分が連続であるという意味で、スプラインが滑らかでることを要求すると、付加的に４つの制約式が得られる：

【0037】

【数7】

第１に、付加的な２つの制約式は、スプラインがリラックス（ｒｅｌａｘｅｄ）し、自然であるとの仮定、すなわちスプラインの両端において、すなわちソースポイント１１０、１２５において二次微分がゼロになるとの仮定：

【数8】

から得られる。

【0038】

係数
[外３４]

に関して、３つの三次関数の一次及び二次微分は、微分することにより得られる：

【0039】

【数9】

３つの三次関数の値に、及びその微分に制約式を適用して、１２個の係数
[外３５]

に対する式が得られる。第１の三次関数に対して、これらの式は：

【0040】

【数10】

第２の三次関数に対して、係数
[外３６]

の式は：

【0041】

【数11】

最後に、第３の三次関数に対して、係数
[外３７]

の式は：

【0042】

【数12】

これらの式は、左辺に値
[外３８]

があり、右辺に係数
[外３９]

がある一組の式として書き換えることができる：

【0043】

【数13】

この一組の式は行列形式で書き換えられる：

【0044】

【数14】

ここで、

【0045】

【数15】

４つの係数
[外４０]

は補間ポイント１０５における三次スプラインを評価する必要がある。これらは式
[外４１]

を反転して：

【0046】

【数16】

、ベクトル
[外４２]

から係数
[外４３]

を求めることにより得られる：

【0047】

【数17】

[外４４]

の逆行列を求め、上記の行列積を計算すると、４つの係数
[外４５]

に対する次の陽表現が得られる：

【0048】

【数18】

これは次のように書き換えてもよい：

【0049】

【数19】

最後に、補間ポイント１０５における補間値
[外４６]

は、
[外４７]

であるから、
[外４８]

と書け、係数
[外４９]

が上記のように見つかる。

【0050】

図２Ａを参照して、本発明の一実施形態により構成される三次スプラインは、一組のソースポイント２０５ｂを通る曲線２０５ａを形成し得る。代替的三次スプラインは、係数

【0051】

【数20】

を使い、曲線２０５ｃを形成してもよい。これはソースポイント２０５ｂを通るが、上記の制約式のすべては満たさず、スプラインに沿ったさまざまなポイントで異なる補間値を確定する。同様に、図２Ｂにおいて、本発明の一実施形態により構成される三次スプラインは、一組のソースポイント２０５ｅを通る曲線２０５ｄを形成し、代替的な三次スプラインが曲線２０５ｆを形成してもよい。

【0052】

補間に対するさまざまなアプローチの違いは、図３の３つの画像で分かると思われる。これら全てはズーム係数５．３５１で補間した画像である。図３において、左端の画像は双線形補間を用いて形成され、中央の画像は固定双三次スプラインを用いて形成され、右端の画像は本発明の一実施形態による三次スプラインを用いて形成されたものである。

【0053】

例えば、図３の画像において、２次元補間を行うには、図１、２Ａ、及び２Ｂを参照して上記した方法を２段階で利用できる。図４を参照して、最終的な補間ポイント５０５における補間値を見いだすため、最も近い１６個のピクセル、すなわち、ポイント５０５の右の２つのピクセル列と、ポイント５０５の左の２つのピクセル列と、ポイント５０５の上の２つの行と、ポイント５０５の下の２つの行とを用いる。第１段階において、本発明の一実施形態による三次スプライン補間を利用して、４つの仮補間ポイント５１０、５１５、５２０、５２５の各々において、仮補間値を見いだす。

【0054】

例えば、第１行のピクセル５４０、５４５、５５０、５５５に本方法を適用して、仮補間ポイント５１０における仮補間値を求める。このステップでは、補間により：（ｉ）画像軸に平行な第１の方向（−Ｘ方向）の、仮補間ポイント５１０に２番目に近いピクセル、すなわちピクセル５４０、の値、（ｉｉ）第１の方向の、最も近いピクセル、すなわちピクセル５４５、の値、（ｉｉｉ）第１の方向と反対の第２の方向（＋Ｘ方向）の、最も近いピクセル、すなわちピクセル５５０、の値、（ｉｖ）第２の方向の、２番目に近いピクセル、すなわちピクセル５５５、の値。第２、第３、及び第４行のピクセルを用いて、仮補間ポイント５１５、５２０、及び５２５における仮補間値をそれぞれ求めても良い。

【0055】

最後に、第２段階で、仮補間ポイント５１０、５１５、５２０、５２５における４つの仮補間値を用いて、再び本発明の一実施形態による三次スプラインを用いて、最終的な補間ポイント５０５における補間値を求めてもよい。この段階では、（ｉ）画像軸に平行な第３の方向（−Ｚ方向）の、最終的補間ポイント５０５に２番目に近い仮補間ポイント、すなわち仮補間ポイント５２５、の値、（ｉｉ）第３の方向の最も近い仮補間ポイント、すなわち仮補間ポイント５２０、の値、（ｉｉｉ）第１の方向と反対の第２の方向（＋Ｚ方向）の、最も近い仮補間ポイント、すなわち仮補間ポイント５１５、の値、（ｉｖ）第２の方向の２番目に近い仮補間ポイント、すなわち仮補間ポイント５１０、の値が用いられる。

【0056】

このように、図１を参照して、補間ポイント１０５は最終的補間ポイント、すなわち出力画像ピクセルであってもよいし、または仮画像ポイントであってもよい。ソースポイントは、入力画像ピクセルであってもよく（例えば、出力画像ピクセルが入力画像の行または列とアライメントされている場合）、または仮補間ポイントであってもよい。

【0057】

本発明の実施形態は、計算量的に効率的であり（ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ ｅｆｆｉｃｉｅｎｔ）、画像を基本的に任意のズーム比に補間する能力も提供する。ズーム比は画像の２つの軸方向で同じである必要はない。結果として得られる画像は実質的にアーティファクトがなく、見る者に対してより高画質の出力を提供する。

【0058】

補間は処理ユニットを含む実施形態で実行されてもよい。「処理ユニット」との用語は、ここでは、データまたはデジタル信号を処理するのに利用される、ハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを含むものとして使われている。処理ユニットハードウェアは、例えば、特定用途集積回路（ＡＳＩＣｓ）、汎用または特殊用途中央処理ユニット（ＣＰＵｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、グラフィックス処理ユニット（ＧＰＵｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）などのプログラマブルロジックデバイスを含んでいてもよい。

【0059】

補間を実行するとき、処理ユニットで必要となる演算数を最小化すると都合がよい。これは、例えば：

【0060】

【数21】

を評価する時に、行列
[外５０]

の要素が０（この場合、積は０である）または１（この場合、積はベクトル
[外５１]

の対応する要素である）であるときに、要素の乗算ステップを省略することにより、実現できる。例えば、行列
[外５２]

の最終行が３つの「０」と１つの「１」であるから、
[外５３]

の値は単純に
[外５４]

であり、すなわち、
[外５５]

は乗算を実行せずに求められる。効率を上げる為、補間に関与する計算は、固定小数点計算を用いて、例えば符号ビット付き２５Ｑ６フォーマット（すなわち、２進小数点の右に６ビットあるフォーマットであり、Ｑ２５．６と記されることもある）を用いて、行っても良い。

【0061】

補間されるポイントの、第１の方向の、最も近いソースポイントに対する、位置
[外５６]

の値は、入力画像に対する出力画像のズーム及びオフセットから、（ｉ）オフセットと、（ｉｉ）（ａ）第１の方向の最も近いソースポイントの原画像における位置の、（ｂ）ズーム比に対する比率との合計の端数部分（ｆｒａｃｔｉｏｎａｌ ｐａｒｔ）として、計算してもよい。ここで、ズーム比が１より大きいことは拡大に対応する。動作中、汎用コンピュータその他の処理ユニットは、オフセットと、ズーム比の逆数とを、補間を行っている処理ユニットに供給し、後者が除算を行わずに、ズーム比の逆数の乗算をすればよいようにする。一実施形態では、ズーム比の逆数は、符号なしの固定小数点数、例えば、符号無しの２Ｑ３０固定小数点数である。

【0062】

サブピクセルオフセットとズーム比の両方の２進表示における小数点位置は、利用できるズーム制御の範囲と、ズーム解像度との間のトレードとして、事例ごとに選択されてもよい。

【0063】

一実施形態では、入力画像はシンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）に格納され、出力画像も、構成された時に、格納されてもよく、格納される場合は、同じ又は別のＳＤＲＡＭに格納されてもよい。補間は特殊目的処理ユニットにより実行される。特殊目的処理ユニットはＦＰＧＡまたはＡＳＩＣに基づいても良い。ラインバッファがＳＤＲＡＭと処理ユニットとの間で用いられ、ＳＤＲＡＭと処理ユニットとの間のクロックドメイン転送用の先入れ先出し（ＦＩＦＯ）構造として用いられる。処理ユニットは、例えば、入力画像のうち６ラインを格納するリングバッファを含み、それから４ラインをいつでも用いて、上に開示したアルゴリズムにより、出力画像の１ラインを生成する。ズーム比が１より大きいとき、幾つかの例では、出力画像の後続ラインを形成するため、入力画像の同じ４ラインを要し、幾つかの例では、入力画像の付加的ラインが必要となり、入力画像の前に用いたラインはもはや必要なくなる。リングバッファは、これらのデータ要件によく適している。出力画像のラインを構成するため、バッファ中の他の４ラインが処理されるのと同時に、新しいラインがバッファに読み込まれるからである。ズーム比が１より小さいが１／２より小さくないとき、出力画像の１ラインが構成され、処理ユニットが後続ラインを処理し始める時に、付加的に入力画像の２ラインがバッファ中に必要である。このように、一実施形態では、処理ユニットにおいて、６ラインリングバッファが用いられる。

【0064】

ここでは、サブピクセルオフセットを有する電子ズームの方法の限定された実施形態を具体的に説明および例示したが、当業者には多くの修正及び変形が明らかであろう。したがって、言うまでもなく、この発明の原理による、サブピクセルオフセットを用いる電子ズームの方法は、ここに具体的に説明した以外の実施形態で実施できる。本発明は、以下の特許請求の範囲及びその均等物により確定される。

【図1】

【図2A】

【図2B】

【図3】

【図4】