特許 6143199 画像補正装置、画像補正方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6143199

(24)【登録日】2017年5月19日

(45)【発行日】2017年6月7日

(54)【発明の名称】画像補正装置、画像補正方法、及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20170529BHJP

   H04N 5/232 20060101ALI20170529BHJP

   G06T 3/00 20060101ALI20170529BHJP

【ＦＩ】

   H04N1/387

   H04N5/232 Z

   G06T3/00 700

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2015-54266(P2015-54266)

(22)【出願日】2015年3月18日

(65)【公開番号】特開2016-174323(P2016-174323A)

(43)【公開日】2016年9月29日

【審査請求日】2016年1月8日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】二村 亮

【審査官】 石田 信行

(56)【参考文献】

【文献】 特開２０１４−１９２９０１（ＪＰ，Ａ）

【文献】 特開昭６２−１２５４７０（ＪＰ，Ａ）

【文献】 特開２００５−０４５７２３（ＪＰ，Ａ）

【文献】 特開平０８−０８７５４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ １／１０

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

処理対象の画像と当該画像に重畳させたメッシュ画像とを表示手段に表示させる表示制御手段と、
ユーザからの指示入力を受け付ける入力手段と、
前記入力手段からのユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させる変形手段と、
前記変形されたメッシュ画像の形状に基づいて、処理対象の前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成する変換用行列作成手段と、
前記変換用行列作成手段によって作成された前記変換用行列が表す座標に基づいて、元画像を構成する画素の変換履歴を表す記録用行列を更新する更新手段と、
前記更新手段によって更新された前記記録用行列に基づいて、前記元画像に対して湾曲補正を行う補正手段と、
を備え、
前記表示制御手段は、２回目以降の湾曲補正に際しては、始めに、前記補正手段によって湾曲補正された処理画像と当該処理画像に重畳させた直交する前記メッシュ画像とを前記表示手段に表示させる、
ことを特徴とする画像補正装置。

【請求項2】

前記更新手段は、前記補正手段による２回目以降の湾曲補正に際しては、前記補正手段による１回前の湾曲補正に用いた前記記録用行列が表す座標を、前記変換用行列が表す対応する画素の座標に置き換えることにより、前記記録用行列を更新する、
ことを特徴とする請求項１に記載の画像補正装置。

【請求項3】

前記補正手段は、前記更新手段によって更新された前記記録用行列に基づいて前記元画像に対して透視変換を行うことによって前記湾曲補正を行う、
ことを特徴とする請求項１又は２に記載の画像補正装置。

【請求項4】

前記表示制御手段は、前記メッシュ画像を４次のベジェ曲線で描画し、
前記変形手段は、前記入力手段からのユーザの指示入力に基づいて、前記ベジェ曲線の制御点を移動させることによって、前記メッシュ画像の形状を変形させる、
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像補正装置。

【請求項5】

処理対象の画像と当該画像に重畳させたメッシュ画像とを表示部に表示させるステップと、
ユーザからの指示入力を受け付けるステップと、
前記ユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させるステップと、
前記変形されたメッシュ画像の形状に基づいて、処理対象の前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成するステップと、
前記作成された変換用行列が表す座標に基づいて、元画像を構成する画素の変換履歴を表す記録用行列を更新するステップと、
前記更新された記録用行列に基づいて、前記元画像に対して湾曲補正を行うステップと、
を含み、
前記表示させるステップでは、２回目以降の湾曲補正に際しては、始めに、前記湾曲補正された処理画像と当該処理画像に重畳させた直交する前記メッシュ画像とを前記表示部に表示させる、
ことを特徴とする画像補正方法。

【請求項6】

画像補正装置を制御するコンピュータに、
処理対象の画像と当該画像に重畳させたメッシュ画像とを表示部に表示させる表示制御機能、
ユーザからの指示入力を受け付ける入力機能、
前記ユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させる変形機能、
前記変形されたメッシュ画像の形状に基づいて、処理対象の前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成する変換用行列作成機能、
前記作成された変換用行列が表す座標に基づいて、元画像を構成する画素の変換履歴を表す記録用行列を更新する更新機能、
前記更新された記録用行列に基づいて、前記元画像に対して湾曲補正を行う補正機能、
を実現させるプログラムであって、
前記表示制御機能は、２回目以降の湾曲補正に際しては、始めに、前記補正機能によって湾曲補正された処理画像と当該処理画像に重畳させた直交する前記メッシュ画像とを前記表示部に表示させる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像補正装置、画像補正方法、及びプログラムに関する。

【背景技術】

【0002】

従来より、本を裁断することなく、そのままの状態で頁を捲りながらカメラで撮影して電子化する技術が提案されている。本を自然な状態で開いて上部から撮影すると、本の頁の撓（たわ）みにより、画像中の文字列や図表が歪み、画像中の文字列や図表を読解することが難しい。

【0003】

そこで、例えば、特許文献１では、歪んだ画像の上にメッシュ画像を表示し、紙面の湾曲具合に合わせるようにメッシュ画像を操作し、当該メッシュ画像に基づいて画像の歪みを補正する技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−１９２９０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、メッシュ画像に基づいて画像の補正処理を一回行うのみで、指定したメッシュ画像で良い処理画像を得られなかった場合には、もう一度元の歪んだ画像に対してメッシュ画像を調整して補正を実行する必要があり、処理画像が更新されるのにタイムラグ（切替期間）が生じるという問題がある。また、既に補正した処理画像にメッシュ画像を表示して再度補正する方法も考えられるが、処理画像から補正を行うので画像劣化の度合いが大きくなってしまうという問題がある。

【0006】

そこで本発明は、画像劣化させることなく、補正処理を円滑に繰り返し行うことを目的とする。

【課題を解決するための手段】

【0007】

この発明に係る画像補正装置は、処理対象の画像と当該画像に重畳させたメッシュ画像とを表示手段に表示させる表示制御手段と、ユーザからの指示入力を受け付ける入力手段と、前記入力手段からのユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させる変形手段と、前記変形されたメッシュ画像の形状に基づいて、処理対象の前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成する変換用行列作成手段と、前記変換用行列作成手段によって作成された前記変換用行列が表す座標に基づいて、元画像を構成する画素の変換履歴を表す記録用行列を更新する更新手段と、前記更新手段によって更新された前記記録用行列に基づいて、前記元画像に対して湾曲補正を行う補正手段と、を備え、前記表示制御手段は、２回目以降の湾曲補正に際しては、始めに、前記補正手段によって湾曲補正された処理画像と当該処理画像に重畳させた直交する前記メッシュ画像とを前記表示手段に表示させる、ことを特徴とする。

【0008】

この発明に係る画像補正方法は、処理対象の画像と当該画像に重畳させたメッシュ画像とを表示部に表示させるステップと、ユーザからの指示入力を受け付けるステップと、前記ユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させるステップと、前記変形されたメッシュ画像の形状に基づいて、処理対象の前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成するステップと、前記作成された変換用行列が表す座標に基づいて、元画像を構成する画素の変換履歴を表す記録用行列を更新するステップと、前記更新された記録用行列に基づいて、前記元画像に対して湾曲補正を行うステップと、を含み、前記表示させるステップでは、２回目以降の湾曲補正に際しては、始めに、前記湾曲補正された処理画像と当該処理画像に重畳させた直交する前記メッシュ画像とを前記表示部に表示させる、ことを特徴とする。

【0009】

この発明に係るプログラムは、画像補正装置を制御するコンピュータに、処理対象の画像と当該画像に重畳させたメッシュ画像とを表示部に表示させる表示制御機能、ユーザからの指示入力を受け付ける入力機能、前記ユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させる変形機能、前記変形されたメッシュ画像の形状に基づいて、処理対象の前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成する変換用行列作成機能、前記作成された変換用行列が表す座標に基づいて、元画像を構成する画素の変換履歴を表す記録用行列を更新する更新機能、前記更新された記録用行列に基づいて、前記元画像に対して湾曲補正を行う補正機能、を実現させるプログラムであって、前記表示制御機能は、２回目以降の湾曲補正に際しては、始めに、前記補正機能によって湾曲補正された処理画像と当該処理画像に重畳させた直交する前記メッシュ画像とを前記表示部に表示させる、ことを特徴とする。

【発明の効果】

【0010】

この発明によれば、画像劣化させることなく、補正処理を円滑に繰り返し行うことができる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態による画像補正装置としての携帯情報端末１の構成を示すブロック図である。

【図2】本実施形態の携帯情報端末１による全体動作を説明するためのフローチャートである。

【図3】本実施形態において、元画像と当該元画像上に重畳させた初期の歪んでいないメッシュ画像とを示す模式図である。

【図4】本実施形態において、元画像２０上にメッシュ画像２１を重畳させて表示させた様子を示す模式図である。

【図5】本実施形態において、メッシュ画像２１の制御点を説明するための模式図である。

【図6】本実施形態による変換用マップテーブル３０の一例を示す概念図である。

【図7】本実施形態による変換用マップテーブル３０の作成方法を説明するための概念図である。

【図8】本実施形態による記録用マップテーブル３１（１回目の補正直前）の一例を示す概念図である。

【図9】本実施形態による記録用マップテーブル３１の更新処理を説明するための概念図である。

【図10】本実施形態による記録用マップテーブル３１の更新処理を説明するための概念図である。

【図11】本実施形態による記録用マップテーブル３１の更新処理で用いたバイリニア法について説明するための概念図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態を、図面を参照して説明する。

【0013】

Ａ．実施形態の構成
図１は、本発明の実施形態による画像補正装置としての携帯情報端末１の構成を示すブロック図である。図において、携帯情報端末１は、例えば、スマートフォンや、タブレット端末などからなる。携帯情報端末１は、通信部１０、撮像部１１、ＲＯＭ１２、ＲＡＭ１３、表示部１４、操作部（タッチパネル）１５、記録媒体１６、及びＣＰＵ１７を備えている。

【0014】

通信部１０は、例えば、移動体通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は／及び無線ＬＡＮ（ＷｉＦｉ）を用いてインターネットなどのネットワークに接続する。撮像部１１は、光学レンズ群からなるレンズブロックと、ＣＣＤや、ＣＭＯＳなどの撮像素子からなり、レンズブロックから入った画像を撮像素子により撮像する。特に、本実施形態では、撮像部１１は、本の頁を撮像する。

【0015】

ＲＯＭ１２は、後述するＣＰＵ１７により実行されるプログラムや動作等に必要とされる各種パラメータなどを記憶している。ＲＡＭ１３は、後述するＣＰＵ１７がプログラムを実行した際の一時的なデータや、各種アプリケーションプログラム、アプリケーションの実行に必要な各種パラメータなどのデータを記憶する。特に、本実施形態では、ＲＡＭ１３には、本の頁を撮像した元画像又は湾曲補正後の処理画像にユーザ操作により形状を合わせたメッシュ画像から作成される変換用マップテーブルや、記録用マップテーブル等が記憶される。

【0016】

記録用マップテーブル及び変換用マップテーブルは、元画像又は処理画像の湾曲を補正すべく、上記メッシュ画像から取得される変換後の画素の座標を示すマトリックス（行列）である。変換用マップテーブルは、現時点のメッシュ画像から取得される変換後の画素の座標を示し、記録用マップテーブルは、１つ前の変換時における、変換後の画素の座標を示している。該記録用マップテーブルは、湾曲補正処理の度に、上記変換用マップテーブルに基づいて更新され、現時点のメッシュ画像に基づく元画像に対する湾曲補正に用いられる。これら記録用マップテーブル及び変換用マップテーブルの詳細については後述する。

【0017】

表示部１４は、液晶表示器や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示器などからなり、特定の機能やアプリケーションなどに紐付けられているアイコンや、アプリケーション画面、各種のメニュー画面などを表示する。操作部（タッチパネル）１５は、指やスタイラス（ペン）などの直接接触、あるいは、近接を検出する。なお、操作部（タッチパネル）１５には、電源ボタンや音量ボタンなどの機械的なスイッチ類が含まれてもよい。また、本実施形態では、操作部（タッチパネル）１５から、撮像した画像の曲面（歪み）を補正する際のパラメータとしてのメッシュ画像の形状を、撮像された本の頁の画像（元画像、補正後の処理画像）の形状に合わせるためのタッチ操作が入力される。

【0018】

記録媒体１６は、撮像された画像データなどの各種データを保存する。ＣＰＵ１７は、上述したＲＯＭ１２に記憶されているプログラムを実行することで各部の動作を制御する。特に、本実施形態では、ＣＰＵ１７は、画像処理プログラムを実行することにより、撮像した画像に対して湾曲補正を実行する。

【0019】

本実施形態は、撮像部１１、あるいは他の撮像機能を有する機器で撮像された本又は冊子（今後は本と省略する）の画像を湾曲補正するためのパラメータ（メッシュ画像）の設定をユーザが容易に行えるようにするための支援技術である。ＣＰＵ１７は、メッシュ方式によるメッシュ画像を元画像又は処理画像に重畳させ、ユーザ操作によりメッシュ画像の形状を元画像又は処理画像に合せるように調整させる。

【0020】

また、ＣＰＵ１７は、調整されたメッシュ画像から、現時点における画素の移動先の座標を示す変換用マップテーブル３０（後述）と、元画像から処理画像へそれぞれの画素がどのように座標変換されたのかを記録する記録用マップテーブル３１（後述）とを作成する。ＣＰＵ１７は、湾曲補正処理を行う度に、その記録用マップテーブル３１の座標を更新することで、処理画像に対して繰り返しメッシュ画像を設定可能としつつ、その都度、元画像から処理画像に変換して表示する。これにより、画像劣化させることなく、補正処理を円滑に繰り返し行うことが可能となる。

【0021】

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図２は、本実施形態の携帯情報端末１による全体動作を説明するためのフローチャートである。携帯情報端末１において、ＣＰＵ１７は、まず、撮影された本の頁からなる元画像を記録媒体１６からＲＡＭ１３に入力し（ステップＳ１０）、元画像と当該元画像上に重畳させた初期の歪んでいないメッシュ画像とを表示部１４に出力する（ステップＳ１２）。

【0022】

図３は、本実施形態において、元画像と当該元画像上に重畳させた初期の歪んでいないメッシュ画像とを示す模式図である。ステップＳ１２では、図３に示すように、元画像２０と歪んでいないメッシュ画像２１とが表示される。元画像は、撮影時の本の頁の撓みにより湾曲している。メッシュ画像２１は、実装するプラットフォームで実行可能なアプリケーションで描画する。アプリケーションで描画できない場合には、他の周知の方法により、元画像とメッシュ画像とを合成して表示するようにしてもよい。また、メッシュ画像２１は、複数の領域（縦ｎ×横ｍ）から構成されている。当該メッシュ画像２１の詳細については後述する。

【0023】

次に、ＣＰＵ１７は、元画像２０を元に、操作部（タッチパネル）１５から湾曲補正のためのパラメータ（メッシュ画像の形状）を設定する（ステップＳ１４）。メッシュ画像は、ユーザが操作部（タッチパネル）１５からタッチ操作によって任意に変形可能となっている。ユーザのタッチ操作以外には、別アルゴリズム（画像認識）によって自動的に導出するようにしてもよい。以下に、ユーザがメッシュ画像の形状を設定する場合について詳細に説明する。

【0024】

図４は、本実施形態において、元画像２０上にメッシュ画像２１を重畳させて表示させた様子を示す模式図である。また、図５は、本実施形態において、メッシュ画像２１の制御点を説明するための模式図である。

【0025】

ユーザは、図４に示すように、元画像２０上に重ねて表示されているメッシュ画像２１の形状をタッチ操作によって伸縮させて湾曲した元画像２０の形状に合わせる。図４、及び図５に示すように、メッシュ画像２１の点は、ベジェ曲線の制御点２２−１〜２２−１０であり、タッチ操作で移動させることができる。ユーザは、タッチ操作によって元画像２０の形状とメッシュ画像２１の形状とが一致するように制御点２２−１〜２２−１０を移動させると、メッシュ画像２１の全体形状がタッチ操作に追従するようにして変形するようになっている。

【0026】

メッシュ画像２１の最上部の上線ＵＬと最下部の下線ＤＬは、４次のベジェ曲線で描画している。この上線ＵＬの５点の制御点２２−１〜２２−５と下線ＤＬの５点の制御点２２−６〜２２−１０とそれぞれ動かすことによって上線ＵＬと下線ＤＬを自由に動かすことができる。ＣＰＵ１７は、この上線ＵＬと下線ＤＬを基準に所定のメッシュ生成アルゴリズムを用いて、上線ＵＬと下線ＤＬとに挟まれた横線や縦線の幅や、曲線の曲がり具合などを導出してリアルタイムでメッシュ画像２１の形状を変形させる。

【0027】

なお、本実施形態では、メッシュ画像２１を変形させるための制御点２２−１〜２２−１０を上下合計１０点としたが、これに限らず、メッシュ画像２１を構成する複数の領域の各交点を制御点としてもよい。また、上線ＵＬと下線ＤＬに限定せずに、ユーザが変形させたい箇所をタッチ操作することで、そのタッチ操作された箇所を含む周囲の交点を、変形させるための制御点として機能させるようにしてもよい。この場合、制御点として有効であることを示すために、該当する交点のドットを大きくしたり、色を変えたりしてもよい。さらに、制御点の移動操作を容易にするために、タッチ操作された箇所を含む周囲を拡大表示するようにしてもよい。

【0028】

次に、ＣＰＵ１７は、上記リアルタイムで変形されるメッシュ画像２１に基づいて、元画像２０を湾曲補正するための変換用マップテーブルを作成する（ステップＳ１６）。より具体的には、上記リアルタイムで変形されるメッシュ画像２１に対応する、元画像２０又は処理画像２０ａの全画素の座標に対応する変換後の座標を記録した変換用マップテーブルを作成する。

【0029】

図６は、本実施形態による変換用マップテーブル３０の一例を示す概念図である。図６において、変換用マップテーブル３０は、元画像２０における、横方向（ｘ）にＭ個、縦方向（ｙ）にＮ個の全画素の座標を格納したテーブルである。記録形式の一例としては、図６に示すように、元画像２０の画素の座標を行列の添え字にし、その要素に２成分の実数が入るデータ形式で、対応する変換後の座標を格納する。すなわち、変換用マップテーブル３０には、元画像２０の全画素に対する変換後の座標が記録される。

【0030】

図７は、本実施形態による変換用マップテーブル３０の作成方法を説明するための概念図である。メッシュ画像２１は、上述したように、複数の領域からなる。各領域は、小さい一つの四辺形からなり、それぞれの四辺形の頂点はメッシュの交点である。ＣＰＵ１７は、図７の上段に示すように、歪んだメッシュ画像２１の各領域に合わせて、元画像２０を複数の領域に分割する。つまり、図示のメッシュ画像２１は、元画像２０にほぼ等しい。歪んだ元画像２０の紙面自体は曲面であるが、分割した領域を同一平面に近似することによってポリゴン化する。メッシュ画像２１の形状は、タッチ操作によって元画像２０の形状に一致するように変形されるため、例えば、７行２列目の領域２１−７２のように、各領域の形状も変形されることになる。つまり、各領域も元画像２０の湾曲程度に応じて変形される。

【0031】

本実施形態では、元画像２０の全ての領域に対してその歪みを補正するために、各領域を台形に近似して透視変換（台形補正）する手法を用いて、画素の変換後の座標を取得する。図７の下段に示すように、変換後の元画像２０の各領域は、全て同一の長方形となり、これらを集めたものが補正後の処理画像２０ａとなる。例えば、７行２列目の領域２１−７２は、領域２１−７２ａのように長方形となる。各領域の変換前の四辺形の頂点の座標と変換後の長方形の頂点の座標とを対応付けることができるので、この頂点の座標の対応関係から当該領域に含まれる画素の変換後の座標を取得することが可能となる。

【0032】

ＣＰＵ１７は、このように、透視変換（台形補正）の手法に従って、元画像２０の画素が透視変換（台形補正）後にどこに移動するかを演算し、元画像２０の各画素の変形後の座標を導出する。この元画像２０の変換前の画素の座標（ｘｙ）と各画素の変形後の座標とを対応付けてテーブル化したものが、図６に示す変換用マップテーブル３０である。但し、この時点では、実際の透視変換（台形補正）は行っていない。

【0033】

次に、ＣＰＵ１７は、記録用マップテーブルを作成する（ステップＳ１８）。なお、この時点で上記変換用マップテーブル３０は削除してもよい。

【0034】

図８は、本実施形態による記録用マップテーブル３１（１回目の補正直前）の一例を示す概念図である。記録用マップテーブル３１は、前述したように、元画像２０から湾曲補正後の処理画像２０ａへそれぞれの画素がどのように座標変換されたのかを記録するテーブルである。この時点では、１回目の湾曲補正前であるので、記録用マップテーブル３１は、上記ステップＳ１６で作成した変換用マップテーブル３０をコピー又はリネームして用いればよい。

【0035】

次に、ＣＰＵ１７は、記録用マップテーブル３１を用いて、元画像２０に対して湾曲補正を施す画像処理を行う（ステップＳ２０）。すなわち、ＣＰＵ１７は、記録用マップテーブル３１を用いて、元画像２０に対して上述した透視変換（台形補正）を行い、元画像２０の全画素を移動する画像変換を行う。この透視変換（台形補正）後の画像が処理画像２０ａとなる。

【0036】

画像処理が終了すると、ＣＰＵ１７は、画像処理を施した処理画像、すなわち記録用マップテーブル３１に基づいて湾曲補正を施した補正後の処理画像２０ａと当該処理画像２０ａ上に重畳させたメッシュ画像２１とを表示部１４に出力する（ステップＳ２２）。次に、ＣＰＵ１７は、処理画像２０ａが所定の条件を満たしているか否かを判断する（ステップＳ２４）。

【0037】

本実施形態では、ユーザが表示部１４に表示された湾曲補正を施した処理画像２０ａを確認して、十分な湾曲補正が行われたか、あるいは湾曲補正の程度が強すぎたか、弱すぎたかを判断し、操作部（タッチパネル）１５から湾曲補正を継続するか、終了するかを指示する。しかしながら、これに限らず、ＣＰＵ１７が、画像認識を用いて、補正後の処理画像２０ａの歪みが許容範囲内であるかを判断することで、所定の条件を満たしているか否かを判断するようにしてもよい。

【0038】

そして、処理画像２０ａが所定の条件を満たしていない場合には（ステップＳ２４のＮＯ）、処理画像２０ａを元に、操作部（タッチパネル）１５から湾曲補正のためのパラメータ（メッシュ画像２１の形状）の再設定を行う(ステップＳ２６）。より具体的には、ユーザは、湾曲補正の程度を強くしたり、弱くしたり、あるいは部分的に調整したりするために、操作部（タッチパネル）１５から処理画像２０ａ上に重畳させて表示されているメッシュ画像２１の制御点２２−１〜２２−１０をタッチ操作によって移動させて形状を変更する。ＣＰＵ１７は、上述したステップＳ１４での処理と同様に、メッシュ画像２１の制御点２２−１〜２２−１０の移動に基づいて、メッシュ画像２１を伸縮させる。

【0039】

湾曲補正のためのパラメータ（メッシュ画像２１の形状）が再設定されると、ＣＰＵ１７は、表示部１４に表示されている処理画像２０ａを破棄し（ステップＳ２８）、新たに設定されたメッシュ画像２１に基づいて、上述したステップＳ１６と同様に、湾曲補正のための変換用マップテーブル３０を作成する（ステップＳ３０）。但し、このときの変換用マップテーブル３０は、ステップＳ２６で設定されたメッシュ画像２１に基づいて作成されたもので、ステップＳ１６で作成された変換用マップテーブル３０の内容とは異なることは言うまでもない。

【0040】

次に、ＣＰＵ１７は、記録用マップテーブル３１を更新する（ステップＳ３２）。より具体的には、ＣＰＵ１７は、変換用マップテーブル３０の各画素の座標と、上述したステップＳ１８で作成した記録用マップテーブル３１の各画素の座標とを比較し、変換用マップテーブル３０の各画素の座標に基づいて、記録用マップテーブル３１の各画素の座標を更新する。このように、記録用マップテーブル３１の各画素の座標を更新することで、元画像に対する新たな処理画像の座標変換を行うことができる。なお、この時点で上記変換用マップテーブル３０は削除してもよい。

【0041】

図９は、本実施形態による記録用マップテーブル３１の更新処理を説明するための概念図である。なお、ここでは説明を簡単するため、各画素の座標の値を整数としている。図９において、上段に湾曲補正を行う１つ前の記録用マップテーブル３１（ｎ−１）を示し、中段に現在の変換用マップテーブル３０（ｎ）を示し、更に、下段に更新した記録用マップテーブル３１（ｎ）を示している。現在の湾曲補正をｎ回目とし、１つ前の湾曲補正を（ｎ−１）回目とし、各テーブルの符号の添え字に記している。

【0042】

記録用マップテーブル３１の更新は以下のようにして行われる。１つ前の記録用マップテーブル３１（ｎ−１）の各要素は、湾曲補正前の各画素の座標を示している。一方、変換用マップテーブル３０（ｎ）の各要素は、湾曲補正後の各画素の座標を示している。したがって、記録用マップテーブル３１（ｎ−１）の座標は、現在、その座標で示される、変換用マップテーブル３０（ｎ）の画素の座標に移動することになる。

【0043】

例えば、１つ前の記録用マップテーブル３１（ｎ−１）の２列１行目（ｘ＝２、ｙ＝１）の画素の座標が（３，２）であったとすると、その画素（２，１）は、今回の湾曲補正で、変換用マップテーブル３０（ｎ）の３列２行目（ｘ＝３、ｙ＝２）で示される座標、すなわち、変換用マップテーブル３０（ｎ）の３列２行目（ｘ＝３、ｙ＝２）の座標（７，８）に移動することなる。

【0044】

つまり、処理画像２０ａ（ｎ−１）に対して設定した現在のメッシュ画像２１による、元画像に対する湾曲補正では、画素（２，１）は、座標（７，８）に移動することなる。そこで、記録用マップテーブル３１（ｎ−１）の対応する要素を、変換用マップテーブルの座標で置き換えることで、更新された記録用マップテーブル３１（ｎ）が作成される。このような更新操作を、記録用マップテーブル３１（ｎ−１）の全ての要素に対して行うことによって、記録用マップテーブル３１（ｎ）として更新されることになる。

【0045】

但し、上述した説明、及び図９に示す例は、説明を簡単にするために、各テーブルの要素を整数としたが、実際には、各テーブルの要素は実数となるため、単純に更新することができない。そこで、本実施形態では、各テーブルの座標を補間することで、記録用マップテーブル３１を更新している。以下に詳細に説明する。

【0046】

図１０は、本実施形態による記録用マップテーブル３１の更新処理を説明するための概念図である。なお、図９に対応する部分には同一の符号を付けている。本実施形態では、各テーブルの座標を補間するために、バイリニア法を用いたが、バイキュービック法や、画像変形処理で用いられる補間法などを用いてもよく、特に限定するものではない。

【0047】

１つ前の記録用マップテーブル３１（ｎ−１）のｉ列ｊ行目（ｘ＝ｉ、ｙ＝ｊ）の画素の座標が（１．８，２．３）であったとすると、当該座標（１．８，２．３）の近傍の画素は、１＜１．８＜２、２＜２．３＜３であるので、図１０の中段に示すように、変換用マップテーブル３０（ｎ）の、１列２行目、２列２行目、１列３行目、２列３行目の４つの要素に相当することになる。そこで、この４つの要素からバイリニア法により（１．８，２．３）の変換後の座標をｘ成分、ｙ成分でそれぞれ補間すると（２．３９，２．４０）となる。すなわち、画素（ｉ，ｊ）は、今回の湾曲補正で、変換用マップテーブル３０（ｎ）の４つの要素で示される座標を補間した座標（２．３９，２．４０）に移動することなる。

【0048】

ここで、バイリニア法について簡単に説明する。
図１１は、本実施形態による記録用マップテーブル３１の更新処理で用いたバイリニア法について説明するための概念図である。本実施形態では、バイリニア法を用いて、周囲の４つの画素の座標値から、その座標（実数値）に応じて線形の座標補間を行う。図１１に示すｃ１、ｃ２、ｃ３、ｃ４は、変換後の座標である。したがって、変換用マップテーブル３０（ｎ）の４つの画素の座標を、ｃ１（ｘ，ｙ）＝ｃ１（１，２）、ｃ２（ｘ＋１，ｙ）＝ｃ２（２，２）、ｃ３（ｘ，ｙ＋１）＝ｃ３（１，３）、ｃ４（ｘ＋１，ｙ＋１）＝ｃ４（２，３）に設定する。すなわち、ｘ＝１、ｙ＝２である。

【0049】

バイリニア法では、Ｐ（ｘ＿ｒ，ｙ＿ｒ）における座標Ｃ＿ｐを導出する場合、ｘ＿ｒ、ｙ＿ｒの小数部のみを取り出した値を、ｘ＿ｓ、ｙ＿ｓとして、
ｄ＝ｃ１＊（１．０−ｘ＿ｓ）＋ｃ２＊ｘ＿ｓ …（１）
ｅ＝ｃ３＊（１．０−ｘ＿ｓ）＋ｃ４＊ｘ＿ｓ …（２）
Ｃ＿ｐ＝ｄ＊（１．０−ｙ＿ｓ）＋ｅ＊ｙ＿ｓ …（３）
となる。

【0050】

ｄはｃ１とｃ２の間（ｘ＿ｒ，ｙ）の補間値であり、ｅはｃ３とｃ４の間（ｘ＿ｒ，ｙ＋１）の補間値であり、Ｃ＿ｐが求めたい要素の座標の補間値である。

【0051】

まず、この４点の要素のｘ座標について考える。ｘ＿ｒは、ｘ＝１、ｘ＋１＝２の間で１．８であり、ｘ＿ｓは、ｘ＿ｒの小数部のみを取り出した値であるので、ｘ＿ｓ＝０．８となる。したがって、上記式（１）から、ｄ＝１．５＊（１．０−０．８）＋２．５＊０．８＝２．３となる。

【0052】

同様にして、上記式（２）から、ｅ＝１．８＊（１．０−０．８）＋２．８＊０．８＝２．６となる。一方、ｙ＿ｒは、ｙ＝２、ｙ＋１＝３の間で２．３であり、ｙ＿ｓは、ｙ＿ｒの小数部のみを取り出した値であるので、ｙ＿ｓ＝０．３となる。したがって、Ｃ＿ｐは、上記式（３）から、Ｃ＿ｐ＝２．３＊（１．０−０．３）＋２．６＊０．３＝２．３９となる。

【0053】

次に、４点の要素のｙ座標について考える。上記式（１）から、ｄ＝２．３＊（１．０−０．８）＋２．４＊０．８＝２．３８となる。同様にして、上記式（２）から、ｅ＝２．３＊（１．０−０．８）＋２．５＊０．８＝２．４６となる。したがって、Ｃ＿ｐは、上記式（３）から、Ｃ＿ｐ＝２．３８＊（１．０−０．３）＋２．４６＊０．３＝２．４０となる。

【0054】

このように、バイリニア法により（１．８，２．３）の変換後の座標をｘ成分、ｙ成分でそれぞれ補間すると、図１０の下段に示すように（２．３９，２．４０）となる。同様に、バイリニア法を用いて、周囲の４つの画素の座標値から、その座標（実数値）に応じて線形の座標補間を行うことで、記録用マップテーブル３１（ｎ−１）の全ての要素を、変換用マップテーブル３０（ｎ）の座標で置き換えることで、記録用マップテーブル３１（ｎ）に更新する。

【0055】

次に、ＣＰＵ１７は、ステップＳ２０に戻り、更新した記録用マップテーブル３１（ｎ）を用いて、元画像２０に対して湾曲補正を施す画像処理を行う。そして、ステップＳ２２で、湾曲補正を施した補正後の処理画像２０ａと当該処理画像に重畳させたメッシュ画像２１とを表示部１４に出力する。

【0056】

以下、ステップＳ２０〜ステップＳ２４のＮＯ、ステップＳ２６〜Ｓ３２において、上述したメッシュ画像２１の再設定、変換用マップテーブル３０の作成、記録用マップテーブル３１の更新、記録用マップテーブル３１による元画像２０に対する湾曲補正処理、処理画像２０ａの表示部１４への出力を繰り返す。この繰り返し処理は、湾曲補正後の処理画像２０ａの歪みが許容範囲内なるまで、すなわち、十分な湾曲補正が行われたと判断されるまで繰り返し実行される。

【0057】

そして、処理画像２０ａが所定の条件を満たした場合には（ステップＳ２４）、ＣＰＵ１７は、最後の処理画像２０ａを記録媒体１６に保存する（ステップＳ３４）。次に、ＣＰＵ１７は、処理すべき他の画像があるか否かを判断する（ステップＳ３６）。そして、処理すべき他の画像がある場合には（ステップＳ３６のＹＥＳ）、ステップＳ１４に戻り、次の画像に対して上述した処理を繰り返す。一方、処理すべき他の画像がない場合には（ステップＳ３６のＮＯ）、当該処理を終了する。

【0058】

上述した本実施形態によれば、ユーザのタッチ操作に応じて変形させたメッシュ画像２１の形状に基づいて、元画像２０を構成する画素の湾曲補正後の座標を記した変換用マップテーブル３０を作成し、当該変換用マップテーブル３０に記した座標に基づいて、画像を構成する画素の過去の変換履歴を記した記録用マップテーブル３１の座標を更新し、当該更新した記録用マップテーブル３１に基づいて、元画像２０に対して湾曲補正を行うようにしたので、画像劣化させることなく、補正処理を円滑に繰り返し行うことができる。

【0059】

また、上述した本実施形態によれば、１回前の湾曲補正に用いた記録用マップテーブル３１に記した座標を、変換用マップテーブル３０に記した対応する画素の座標に置き換えることにより、記録用マップテーブル３１に記した座標を更新するようにしたので、元画像２０に対して湾曲補正を行うため、画像劣化させることなく、補正処理を円滑に繰り返し行うことができる。

【0060】

また、上述した本実施形態によれば、２回目以降の湾曲補正に際しては、湾曲補正された処理画像２０ａと当該処理画像２０ａに重畳させたメッシュ画像２１とを表示するようにしたので、ユーザは、ストレスなく、補正処理を円滑に繰り返し行うことができる。

【0061】

また、上述した本実施形態によれば、記録用マップテーブル３１に基づいて元画像２０に対して透視変換を行うことによって湾曲補正を行うようにしたので、処理能力がそれほど高くないタブレットやスマートフォンなどの情報機器でも補正処理を円滑に繰り返し行うことができる。

【0062】

また、上述した本実施形態によれば、メッシュ画像２１を４次のベジェ曲線で描画し、ユーザのタッチ操作に応じて、ベジェ曲線の制御点を移動させることによって、メッシュ画像２１を変形させるようにしたので、処理能力がそれほど高くないタブレットやスマートフォンなどの情報機器でも容易にメッシュ画像２１の変形処理を実現することができ、円滑に補正処理を繰り返し行うことができる。

【0063】

なお、上述した本実施形態では、湾曲補正処理として、透視変換（台形補正）を用いたが、これ限らず、画像の上下端における２本の基準線から台形補正、並びに各点の縦方向湾曲補正及び横方向の湾曲補正を行うようにしてもよい。

【0064】

以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。

【0065】

（付記１）
付記１に記載の発明は、処理対象の画像と当該画像に重畳させたメッシュ画像とを表示手段に表示させる表示制御手段と、ユーザからの指示入力を受け付ける入力手段と、前記入力手段からのユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させる設定手段と、前記メッシュ画像の形状に基づいて、前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成する変換用行列作成手段と、前記変換用行列作成手段によって作成された前記変換用行列が表す座標に基づいて、前記画像を構成する画素の変換履歴を表す記録用行列を更新する更新手段と、前記更新手段によって更新された前記記録用行列に基づいて、前記画像に対して湾曲補正を行う補正手段と、を備えることを特徴とする画像補正装置である。

【0066】

（付記２）
付記２に記載の発明は、前記更新手段は、前記補正手段による２回目以降の湾曲補正に際しては、前記補正手段による１回前の湾曲補正に用いた前記記録用行列が表す座標を、前記変換用行列が表す対応する画素の座標に置き換えることにより、前記記録用行列が表す座標を更新する、ことを特徴とする付記１に記載の画像補正装置である。

【0067】

（付記３）
付記３に記載の発明は、前記表示制御手段は、２回目以降の湾曲補正に際しては、前記補正手段によって湾曲補正された処理画像と当該処理画像に重畳させた前記メッシュ画像とを前記表示手段に表示させる、ことを特徴とする付記１又は２に記載の画像補正装置である。

【0068】

（付記４）
付記４に記載の発明は、前記補正手段は、前記更新手段によって更新された前記記録用行列に基づいて前記画像に対して透視変換を行うことによって湾曲補正を行う、ことを特徴とする付記１乃至３のいずれか一項に記載の画像補正装置である。

【0069】

（付記５）
付記５に記載の発明は、前記表示制御手段は、前記メッシュ画像を４次のベジェ曲線で描画し、前記設定手段は、前記入力手段からのユーザの指示入力に基づいて、前記ベジェ曲線の制御点を移動させることによって、前記メッシュ画像を変形させる、ことを特徴とする付記１乃至４のいずれか一項に記載の画像補正装置である。

【0070】

（付記６）
付記６に記載の発明は、処理対象の画像と当該画像に重畳させたメッシュ画像とを表示部に表示させるステップと、ユーザからの指示入力を受け付けるステップと、前記ユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させるステップと、前記メッシュ画像の形状に基づいて、前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成するステップと、前記作成された変換用行列が表す座標に基づいて、前記画像を構成する画素の変換履歴を表す記録用行列を更新するステップと、前記更新された記録用行列に基づいて、前記画像に対して湾曲補正を行うステップと、を含むことを特徴とする画像補正方法である。

【0071】

（付記７）
付記７に記載の発明は、画像補正装置を制御するコンピュータに、処理対象の画像と当該画像に重畳させたメッシュ画像とを表示部に表示させる表示制御機能、ユーザからの指示入力を受け付ける入力機能、前記ユーザの指示入力に基づいて、前記メッシュ画像の形状を変形させる設定機能、前記メッシュ画像の形状に基づいて、前記画像を構成する画素の湾曲補正後の座標を表す変換用行列を作成する変換用行列作成機能、前記作成された変換用行列が表す座標に基づいて、前記画像を構成する画素の変換履歴を表す記録用行列を更新する更新機能、前記更新された記録用行列に基づいて、前記画像に対して湾曲補正を行う補正機能、を実現させることを特徴とするプログラムである。

【符号の説明】

【0072】

１…携帯情報端末、１０…通信部、１１…撮像部、１２…ＲＯＭ、１３…ＲＡＭ、１４…表示部、１５…操作部（タッチパネル）、１６…記録媒体、１７…ＣＰＵ、２０…元画像、２１…メッシュ画像、２２−１〜２２−１０…制御点、３０、３０（ｎ）…変換用マップテーブル、３１、３１（ｎ−１）、３１（ｎ）…記録用マップテーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】