特許 6010870 画像補正装置、及び画像補正方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6010870

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月19日

(54)【発明の名称】画像補正装置、及び画像補正方法、プログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20161006BHJP

   G06T 3/00 20060101ALI20161006BHJP

   H04N 1/387 20060101ALI20161006BHJP

   H04N 5/225 20060101ALI20161006BHJP

【ＦＩ】

   H04N5/222 Z

   G06T3/00

   H04N1/387

   H04N5/225 F

【請求項の数】17

【全頁数】27

(21)【出願番号】特願2013-265086(P2013-265086)

(22)【出願日】2013年12月24日

(65)【公開番号】特開2015-122614(P2015-122614A)

(43)【公開日】2015年7月2日

【審査請求日】2015年5月12日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(74)【代理人】

【識別番号】100088100

【弁理士】

【氏名又は名称】三好 千明

(72)【発明者】

【氏名】前野 泰士

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 国際公開第２００５／０４１１２５（ＷＯ，Ａ１）

【文献】 特開２００４−０４０３９５（ＪＰ，Ａ）

【文献】 特開２００２−１５０２８０（ＪＰ，Ａ）

【文献】 特開２００５−０４５７２３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ １／３８−１／３９３

(57)【特許請求の範囲】

【請求項1】

平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正装置において、
前記画像における前記所定物体の平面部の平面上の文字列の特徴を考慮して設定される列方向の形状線と行方向の形状線の関係、及び、３次元空間での移動方向の仮定に基づいて複数の微小区間を設定する設定手段と、
前記設定手段により設定された前記複数の微小区間の歪み情報を特定する特定手段と、
前記特定手段により特定された歪み情報に基づいて前記複数の微小区間を変形させるようにして前記画像の歪みを補正する補正手段と、
歪み補正の対象となる画像が前記所定物体の平面部を斜めから撮影して得られた画像である場合に、その平面部の平面に対する斜めからの撮影角度を特定する撮影角度特定手段と
を備え、
前記特定手段は、前記所定物体の平面部に歪みが発生していない状態において推定される前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記所定物体の平面部に歪が発生した状態で撮影された前記画像における前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記撮影角度特定手段により特定された撮影角度とに基づいて、歪が発生した状態における前記所定物体上の前記各格子点の３次元空間での位置関係を特定し、
前記補正手段は、前記特定手段により特定された位置関係に基づいて前記所定物体の平面部に発生した歪が補正されるように前記画像の歪を補正する
ことを特徴とする画像補正装置。

【請求項2】

前記特定手段は、前記各格子点の３次元空間での位置関係として３次元空間での２点間の距離を特定し、この特定された３次元空間での２点間の距離が反映された位置関係を有する前記画像における複数の注目点の座標位置を前記歪み情報として取得する
ことを特徴とする請求項１記載の画像補正装置。

【請求項3】

前記特定手段は、前記所定物体の平面部の平面上における位置関係が既知である前記各格子点について、前記所定物体を湾曲が無い状態で前記撮影角度特定手段により特定された角度で斜めから撮影した場合における前記画像の各格子点の２次元空間での位置関係として想定される想定位置関係と、実際に撮影された前記画像の各格子点の２次元空間での位置関係である実位置関係との差異が生じた原因が、前記各格子点が３次元空間で特定方向へ移動したことにより生じたものとして、前記所定物体上の各点の３次元空間での位置関係を特定する
ことを特徴とする請求項１または２に記載の画像補正装置。

【請求項4】

平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正装置において、
前記画像における前記所定物体の平面部の平面上の複数の微小区間を分割する各点の２次元空間での位置関係と、この平面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する特定手段と、
前記特定手段により特定された前記各点の３次元空間での位置関係が反映された前記画像における前記複数の微小区間の歪み情報を取得する取得手段と、
前記取得手段により取得された歪み情報に基づいて前記画像の歪みを補正する補正手段と、
前記画像の複数箇所で文字の並び方向を検出し、検出した複数箇所での文字の並び方向の整合性を確保し得られた形状線を第１形状線として前記画像に設定する設定手段と、
を備え、
前記特定手段は、前記所定物体の平面部の平面上における位置関係が既知である、その平面上の文字の並び方向に沿った第１直線上に存在する複数の点について、前記所定物体を湾曲が無い状態で所定の角度で斜めから撮影した場合における前記画像の各点の２次元空間での位置関係として想定される想定位置関係と、実際に撮影された前記画像の各点の２次元空間での位置関係である実位置関係との差異が生じた原因が、前記各点が３次元空間で特定方向へ移動したことにより生じたものとして、前記所定物体上の各点の３次元空間での位置関係を特定し、
前記取得手段は、前記複数の微小区間の歪み情報として、前記設定手段により設定された第１形状線と、当該第１形状線上に存在するとともに、前記特定手段により特定された３次元空間での２点間の距離が反映された位置関係を有する前記画像における複数の注目点の座標位置を取得する
ことを特徴とする画像補正装置。

【請求項5】

前記取得手段は、前記歪み情報として、前記設定手段により設定された第１形状線と、当該第１形状線上に存在するとともに、前記特定手段により特定された各々の間の３次元空間での距離が同一である前記複数の注目点の座標位置を取得する
ことを特徴とする請求項４記載の画像補正装置。

【請求項6】

前記設定手段は、前記所定物体の平面部の平面上で互いに平行する複数の前記第１直線に対応するとともに、各々の線上における各点の位置関係が前記特定手段により特定された３次元空間での位置関係にある複数の前記第１形状線を前記画像に設定し、
前記取得手段は、前記歪み情報として、前記設定手段により設定された前記複数の第１形状線と、各々の第１形状線上に存在する前記複数の注目点の座標位置を取得する
ことを特徴とする請求項５記載の画像補正装置。

【請求項7】

前記補正手段は、前記歪み情報に基づいて、前記第１形状線上の前記複数の注目点の２点間の距離を前記所定物体の平面部の平面上における２次元空間での距離に補正するとともに、前記第１形状線を直線に補正する画像処理を前記画像に施すことにより、前記所定物体の歪が補正されるように前記画像の歪みを補正する
ことを特徴とする請求項５または６に記載の画像補正装置。

【請求項8】

前記設定手段は、前記所定物体の平面部の平面上で前記複数の第１直線に直交する互いに平行な複数の第２直線にそれぞれ対応するとともに、前記複数の第１形状線の各々と前記複数の注目点で交わる複数の第２形状線を前記画像に更に設定し、
前記取得手段は、前記歪み情報として前記複数の第２形状線を更に取得する
ことを特徴とする請求項５乃至７のいずれかに記載の画像補正装置。

【請求項9】

前記補正手段は、前記複数の第１形状線と前記複数の第２形状線とによって区画された複数の単位領域の形状を個別に矩形に射影変換することによって前記画像の歪みを補正する
ことを特徴とする請求項８記載の画像補正装置。

【請求項10】

前記補正手段は、個別に矩形に射影変換した後の前記複数の単位領域を結合することによって前記画像の歪みを補正した補正画像を生成する
ことを特徴とする請求項９記載の画像補正装置。

【請求項11】

前記設定手段は、前記画像の複数の箇所で、前記所定物体の平面部の平面上の文字の並び方向に直交する文字の行方向を検出し、検出した複数の箇所での文字の行方向の整合性を確保した形状線を前記第２形状線として前記画像に設定する
ことを特徴とする請求項８乃至１０のいずれかに記載の画像補正装置。

【請求項12】

前記設定手段は、
前記画像に基準となる前記第１形状線を設定し、
前記基準となる第１形状線に、前記特定手段により特定された当該第１形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点を設定し、
前記複数の分割点において前記基準となる第１形状線とそれぞれ交差する前記文字の行方向に沿った複数の形状線を前記複数の第２形状線として設定し、
前記複数の第２形状線のうちで基準となる第２形状線に、前記特定手段により特定された当該第２形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点を設定し、
前記基準となる第２形状線に設定した複数の分割点で前記複数の第２形状線とそれぞれ交差する前記文字の並び方向に沿った複数の形状線を他の前記第１形状線として設定し、
前記取得手段は、前記歪み情報として、前記複数の分割点を含む前記第１形状線上と前記第２形状線との全ての交点の座標位置を取得する
ことを特徴とする請求項１０または１１に記載の画像補正装置。

【請求項13】

前記設定手段は、
前記画像に、前記所定物体の平面部の平面上で前記第１直線に直交する第２直線に対応した形状線であって、前記文字の並び方向に直交する文字の行方向に沿った基準となる第２形状線を設定し、
前記基準となる第２形状線上に、前記特定手段により特定された当該第２形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点を設定し、
前記複数の分割点において前記基準となる第２形状線とそれぞれ交差する前記文字の並び方向に沿った複数の形状線を前記複数の第１形状線として設定し、
前記複数の第１形状線の各々に、前記特定手段により特定された各々の第１形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点をそれぞれ設定し、
前記複数の第１形状線にそれぞれ設定した複数の分割点で前記複数の第１形状線とそれぞれ交差する前記文字の行方向に沿った複数の形状線を他の第２形状線として設定し、
前記取得手段は、前記歪み情報として、前記設定手段により設定された全ての前記分割点の座標位置を取得する
ことを特徴とする請求項８乃至１２のいずれかに記載の画像補正装置。

【請求項14】

平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正方法において、
前記画像における前記所定物体の平面部の平面上の文字列の特徴を考慮して設定される列方向の形状線と行方向の形状線の関係、及び、３次元空間での移動方向の仮定に基づいて複数の微小区間を設定する設定工程と、
前記工程により設定された前記複数の微小区間の歪み情報を特定する特定工程と、
前記工程により特定された歪み情報に基づいて前記複数の微小区間を変形させるようにして前記画像の歪みを補正する補正工程と、
歪み補正の対象となる画像が前記所定物体の平面部を斜めから撮影して得られた画像である場合に、その平面部の平面に対する斜めからの撮影角度を特定する撮影角度特定工程と
を含み、
前記特定工程は、前記所定物体の平面部に歪みが発生していない状態において推定される前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記所定物体の平面部に歪が発生した状態で撮影された前記画像における前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記撮影角度特定工程により特定された撮影角度とに基づいて、歪が発生した状態における前記所定物体上の前記各格子点の３次元空間での位置関係を特定し、
前記補正工程は、前記特定工程により特定された位置関係に基づいて前記所定物体の平面部に発生した歪が補正されるように前記画像の歪を補正する
ことを特徴とする画像補正方法。

【請求項15】

平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正装置が有するコンピュータを、
前記画像における前記所定物体の平面部の平面上の文字列の特徴を考慮して設定される列方向の形状線と行方向の形状線の関係、及び、３次元空間での移動方向の仮定に基づいて複数の微小区間を設定する設定手段と、
前記設定手段により設定された前記複数の微小区間の歪み情報を特定する特定手段と、
前記特定手段により特定された歪み情報に基づいて前記複数の微小区間を変形させるようにして前記画像の歪みを補正する補正手段と
前記補正手段による補正後の補正画像を任意の記憶手段に記憶させる記憶処理手段と、
歪み補正の対象となる画像が前記所定物体の平面部を斜めから撮影して得られた画像である場合に、その平面部の平面に対する斜めからの撮影角度を特定する撮影角度特定手段と
して機能させ、
前記特定手段は、前記所定物体の平面部に歪みが発生していない状態において推定される前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記所定物体の平面部に歪が発生した状態で撮影された前記画像における前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記撮影角度特定手段により特定された撮影角度とに基づいて、歪が発生した状態における前記所定物体上の前記各格子点の３次元空間での位置関係を特定し、
前記補正手段は、前記特定手段により特定された位置関係に基づいて前記所定物体の平面部に発生した歪が補正されるように前記画像の歪を補正する
ことを特徴とするプログラム。

【請求項16】

平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正方法において、
前記画像における前記所定物体の平面部の平面上の複数の微小区間を分割する各点の２次元空間での位置関係と、この平面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する特定工程と、
前記特定工程により特定された前記各点の３次元空間での位置関係が反映された前記画像における前記複数の微小区間の歪み情報を取得する取得工程と、
前記取得工程により取得された歪み情報に基づいて前記画像の歪みを補正する補正工程と、
前記画像の複数箇所で文字の並び方向を検出し、検出した複数箇所での文字の並び方向の整合性を確保し得られた形状線を第１形状線として前記画像に設定する設定工程と、
を含み、
前記特定工程は、前記所定物体の平面部の平面上における位置関係が既知である、その平面上の文字の並び方向に沿った第１直線上に存在する複数の点について、前記所定物体を湾曲が無い状態で所定の角度で斜めから撮影した場合における前記画像の各点の２次元空間での位置関係として想定される想定位置関係と、実際に撮影された前記画像の各点の２次元空間での位置関係である実位置関係との差異が生じた原因が、前記各点が３次元空間で特定方向へ移動したことにより生じたものとして、前記所定物体上の各点の３次元空間での位置関係を特定し、
前記取得工程は、前記複数の微小区間の歪み情報として、前記設定工程により設定された第１形状線と、
当該第１形状線上に存在するとともに、前記特定工程により特定された３次元空間での２点間の距離が反映された位置関係を有する前記画像における複数の注目点の座標位置を取得する
ことを特徴とする画像補正方法。

【請求項17】

平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正装置が有するコンピュータを、
前記画像における前記所定物体の平面部の平面上の複数の微小区間を分割する各点の２次元空間での位置関係と、この平面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する特定手段と、
前記特定手段により特定された前記各点の３次元空間での位置関係が反映された前記画像における前記複数の微小区間の歪み情報を取得する取得手段と、
前記取得手段により取得された歪み情報に基づいて前記画像の歪みを補正する補正手段と、
前記画像の複数箇所で文字の並び方向を検出し、検出した複数箇所での文字の並び方向の整合性を確保し得られた形状線を第１形状線として前記画像に設定する設定手段と、
として機能させ、
前記特定手段は、前記所定物体の平面部の平面上における位置関係が既知である、その平面上の文字の並び方向に沿った第１直線上に存在する複数の点について、前記所定物体を湾曲が無い状態で所定の角度で斜めから撮影した場合における前記画像の各点の２次元空間での位置関係として想定される想定位置関係と、実際に撮影された前記画像の各点の２次元空間での位置関係である実位置関係との差異が生じた原因が、前記各点が３次元空間で特定方向へ移動したことにより生じたものとして、前記所定物体上の各点の３次元空間での位置関係を特定し、
前記取得手段は、前記複数の微小区間の歪み情報として、前記設定手段により設定された第１形状線と、
当該第１形状線上に存在するとともに、前記特定手段により特定された３次元空間での２点間の距離が反映された位置関係を有する前記画像における複数の注目点の座標位置を取得する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原稿を撮影した画像における原稿の歪みを補正する技術に関するものである。

【背景技術】

【0002】

紙媒体（例えば、ノートブックや書籍）等の原稿に記載されている情報（文字、図形など）を撮影し画像として記録保存する場合、撮影した原稿画像に対して台形歪補正を施すことによって被写体本来の形状を反映した画像を得ることができる。なお、本明細書において、「原稿」との用語は、下書きや草案等を意味するものでなく、撮影対象となる紙媒体等それ自体を意味するものである。

【0003】

ところで、原稿を撮影したとき、原稿に３次元的な歪み（全体的な湾曲、不規則な局所湾曲）が存在していると、原稿画像に対して単に台形歪補正を施すだけでは、補正後の画像が、原稿の３次元的な歪みがさらに強調されたものとなってしまう。

【0004】

これを解決する技術として、例えば下記の特許文献１には以下の技術が記載されている。すなわち原稿画像から、原稿のテキスト行に直角な垂直方向の消失点である垂直消失点、及び原稿の上記垂直方向に直角な水平方向の水平消失点をそれぞれ検出し、原稿画像に、上記垂直消失点を基点とする複数の垂直線と、上記水平消失点を基点とする複数の水平線とからなるグリッドを設定する。そして、複数の垂直線と複数の水平線とにより区画される各々の単位領域の形状を矩形に変形する補正を原稿画像に施すことによって、原稿に３次元的な歪みがない状態で撮影したときと同様の状態の文字情報を表す補正画像を取得するものである。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−１３０１８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の技術においては、前述した複数の垂直線と複数の水平線との各々の交点が、予め想定される原稿の歪み状態に応じて決められる特定の基準に従い設定されるものであり、原稿の各部における３次元的な歪みが直接反映されたものでない。そのため、原稿に想定されていない局部的な歪みがある場合には、係る部分の歪みを精度良く補正することができないという問題があった。

【0007】

本発明は、かかる従来の課題に鑑みてなされたものであり、局所的な歪みが存在する原稿を撮影した原稿画像から、原稿の局所的な歪みが高精度で補正された良好な状態の文字や図形などの記載情報を表す補正画像を取得することができることができる画像補正装置、及び画像補正方法、プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

前記課題を解決するため本発明にあっては、平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正装置において、前記画像における前記所定物体の平面部の平面上の文字列の特徴を考慮して設定される列方向の形状線と行方向の形状線の関係、及び、３次元空間での移動方向の仮定に基づいて複数の微小区間を設定する設定手段と、前記設定手段により設定された前記複数の微小区間の歪み情報を特定する特定手段と、前記特定手段により特定された歪み情報に基づいて前記複数の微小区間を変形させるようにして前記画像の歪みを補正する補正手段と、歪み補正の対象となる画像が前記所定物体の平面部を斜めから撮影して得られた画像である場合に、その平面部の平面に対する斜めからの撮影角度を特定する撮影角度特定手段とを備え、前記特定手段は、前記所定物体の平面部に歪みが発生していない状態において推定される前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記所定物体の平面部に歪が発生した状態で撮影された前記画像における前記複数の微小区間を分割する各格子点の２次元空間での位置関係と、前記撮影角度特定手段により特定された撮影角度とに基づいて、歪が発生した状態における前記所定物体上の前記各格子点の３次元空間での位置関係を特定し、前記補正手段は、前記特定手段により特定された位置関係に基づいて前記所定物体の平面部に発生した歪が補正されるように前記画像の歪を補正することを特徴とする。
また、他の態様による発明は、平面部を有する所定物体を撮影して得られた画像の歪みを補正する画像補正装置において、前記画像における前記所定物体の平面部の平面上の複数の微小区間を分割する各点の２次元空間での位置関係と、この平面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する特定手段と、前記特定手段により特定された前記各点の３次元空間での位置関係が反映された前記画像における前記複数の微小区間の歪み情報を取得する取得手段と、前記取得手段により取得された歪み情報に基づいて前記画像の歪みを補正する補正手段と、前記画像の複数箇所で文字の並び方向を検出し、検出した複数箇所での文字の並び方向の整合性を確保し得られた形状線を第１形状線として前記画像に設定する設定手段と、を備え、前記特定手段は、前記所定物体の平面部の平面上における位置関係が既知である、その平面上の文字の並び方向に沿った第１直線上に存在する複数の点について、前記所定物体を湾曲が無い状態で所定の角度で斜めから撮影した場合における前記画像の各点の２次元空間での位置関係として想定される想定位置関係と、実際に撮影された前記画像の各点の２次元空間での位置関係である実位置関係との差異が生じた原因が、前記各点が３次元空間で特定方向へ移動したことにより生じたものとして、前記所定物体上の各点の３次元空間での位置関係を特定し、前記取得手段は、前記複数の微小区間の歪み情報として、前記設定手段により設定された第１形状線と、当該第１形状線上に存在するとともに、前記特定手段により特定された３次元空間での２点間の距離が反映された位置関係を有する前記画像における複数の注目点の座標位置を取得することを特徴とする。

【発明の効果】

【0009】

本発明によれば、局所的な歪みが存在する原稿を撮影した原稿画像から、原稿の局所的な歪みが高精度で補正された良好な状態の文字や図形などの記載情報を表す補正画像を取得することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態として例示する画像補正装置の使用状態での側面図である。

【図2】装置本体の電気的構成の要部を示すブロック図である。

【図3】実施形態１における画像補正処理を示すフローチャートである。

【図4】分割処理を示すフローチャートである。

【図5】実施形態１における画像補正処理の内容を示す説明図である。

【図6】図５に続く説明図である。

【図7】図６に続く説明図である。

【図8】原稿内で近接する２点間の３次元空間での距離の取得方法を示す説明図である。

【図9】図８に続く説明図である。

【図10】カメラ座標系と画像座標系とワールド座標系との関係を示す図である。

【図11】実施形態２における画像補正処理を示すフローチャートである。

【図12】実施形態２における画像補正処理の内容を示す説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について説明する。
（実施形態１）
まず、本発明の実施形態１について説明する。図１は、実施形態１、及び後述する実施形態２に共通する画像補正装置１の外観図である。

【0012】

画像補正装置１は、主としてヒンジ部（連結部）２ａを介して開閉可能な第１の筐体２ｂと第２の筐体２ｃとからなる筐体２と、第１の筐体２ｂに設けられた撮影機能を有する装置本体３とから構成される。

【0013】

筐体２は、第１の筐体２ｂと第２の筐体２ｃとが図１に示した所定の角度で開いた使用状態に固定可能であり、係る使用状態においては第２の筐体２ｃが任意の原稿を載置する原稿台として使用される。原稿としては、例えば種々の書類、ノート、書籍、及びそれらに準ずる印刷物などである。

【0014】

装置本体３は、第２の筐体２ｃに載置された原稿を撮影するためのカメラ３ａを含む情報処理装置であり、例えば第１の筐体２ｂに着脱自在なタブレット型のコンピュータ等により構成される。

【0015】

カメラ３ａは、筐体２が図１に示した使用状態にあるとき、第２の筐体２ｃ(原稿台)の表面に対して光軸Ｌが規定の角度となるよう装置本体３に設けられており、任意の原稿が撮影可能である。すなわち原稿の撮影時におけるカメラ３ａと原稿との間の撮影距離と撮影角度θは固定である。また、カメラ３ａは、第２の筐体２ｃの表面全域が撮影できる程度の画角を有している。

【0016】

図２は、装置本体３の電気的構成の概略を示したブロック図である。カメラ３ａは、主として図示しない撮影光学系を介して被写体を撮像するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子と、撮像素子より得られた撮像信号を処理する画像処理エンジンから構成され、原稿を撮影した撮影画像データを制御部１１へ供給する。

【0017】

制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに従い装置本体３の全体動作を制御する。制御部１１は、ＣＰＵ（Central Processing Unit）及びその周辺回路、メモリ等から構成されている。

【0018】

記憶部１３は、例えばフラッシュメモリにより構成され、上記の各種のプログラムを記憶するプログラムメモリ１３ａ、前記撮影画像データを含む各種の情報を記憶するワークメモリ１３ｂを有している。なお、記憶部１３は、装置本体３に着脱自在な記録媒体でも構わない。

【0019】

操作部１４は、図示しない電源キーを含む複数の操作スイッチから構成される。表示パネル１５ａは液晶ディスプレイであり、種々の画像情報や文字情報を表示する。

【0020】

タッチパネル１５ｂは、ユーザーの指等でタッチ操作された位置を検知してその座標データを検出し、検出データを制御部１１へ供給する静電容量方式や抵抗膜方式等の入力ディバイスである。

【0021】

通信部１６は、高速大容量の通信が可能な無線通信モジュールであり、最寄りの無線ＬＡＮ（Local Area Network）ルータ等を介してインターネットに接続したり、通信機能を備えたパーソナルコンピューター等の他の機器と間のデータ通信を行ったりする。

【0022】

そして、上の構成からなる画像補正装置１においては、制御部１１がプログラムメモリ１３ａに格納されている所定のプログラムに基づき後述する画像補正処理を実行することにより、カメラ３ａによって撮影された原稿の撮影画像（以下、原稿画像という。）に存在する原稿の歪みが補正される。

【0023】

以下、制御部１１による画像補正処理を図３、及び図４に示したフローチャートに従い説明する。なお、以下の説明においては、原稿が、文字が記載（印刷）されている任意の書類であることを前提とする。

【0024】

画像補正処理に際して制御部１１は、まず、カメラ３ａによって撮影されワークメモリ１３ｂに記憶されている原稿の原稿画像を２値化する（ステップＳＡ１）。

【0025】

係る２値化に際しては、例えば明るさが異なる部分には異なる閾値を設定する公知のＮｉｂｌａｃｋ法を用いて、文字と背景とを分離した良好な２値化画像を取得することができる。図５（ａ）は、上記２値化画像Ｇ１を便宜的に示した図であって、文字列が画像の横方向に延在する場合の例である。なお、以下の説明においては、文字列が概ね画像の横方向に延在していることを前提とする。

【0026】

次に、制御部１１は、２値化画像Ｇ１の複数ヶ所に格子点を設定する（ステップＳＡ２）。具体的に述べると、制御部１１は、２値化画像Ｇ１においてエッジ検出等を用いて文字が並んでいるテキスト領域を判別した後、そのテキスト領域に一定間隔で複数の格子点を設定する。図５（ｂ）は、上記複数の格子点Ｐ（図で白丸）の一部を便宜的に示した図である。

【0027】

次に、制御部１１は、２値化画像Ｇ１から各々の格子点Ｐを中心とした所定サイズの正方形の領域画像を順に切り出す（ステップＳＡ３）。図５（ｃ）は、切り出した領域画像Ｇ２を示す図である。

【0028】

次に、制御部１１は、領域画像Ｇ２を繰り返し回転させてｘ方向の画素値のヒストグラムの標準偏差を求め、最大となる角度の傾き方向を格子点Ｐにおける局所的な文字の並び方向（以下、文字列方向と称す。）とする（ステップＳＡ４）。

【0029】

ここで、ｘ方向の画素値のヒストグラムとは、画像空間でのｘ軸上の各位置において、直交するｙ軸上の黒い画素の合計数の分布状態を示すものであり、制御部１１は、上記ヒストグラムにおいて標準偏差が最大（分散が極値）となる特定の回転角度、つまりｘ軸に対する領域画像Ｇ２の傾き角度を、文字列方向を示す情報として記憶する。図５（ｄ）は、領域画像Ｇ２における局所的な文字列方向を矢印で示した概念図である。

【0030】

次に、制御部１１は、領域画像Ｇ２に一方向のぼかしフィルタを用いたぼかし処理を繰り返し実行し、処理後に画素の合計が最大となる特定の方向を格子点Ｐにおける局所的な文字の行方向（以下、文字行方向と称す。）とする（ステップＳＡ５）。

【0031】

より具体的に説明すると、制御部１１は、領域画像Ｇ２に向きを変えながら一方向のぼかしフィルタを繰り返しかけ、ある程度以上の長さの線分だけを残す処理を行う。そして、制御部１１は、フィルタ処理後に残った黒い画素の合計数が最大となる特定の方向（ただし文字列方向は除く）とｘ軸とがなす角度を、文字行方向を示す情報として記憶する。図５（ｅ）は、領域画像Ｇ２における局所的な文字行方向（図で矢印）を矢印で示した概念図である。

【0032】

以後、制御部１１は、２値化画像Ｇ１に設定した全ての格子点Ｐについて局所的な文字列方向、及び文字行方向を示す角度をそれぞれ取得するまで（ステップＳＡ６：ＮＯ）、異なる格子点Ｐを対象として上記ステップＳＡ３〜ステップＳＡ５の処理を繰り返す。

【0033】

そして、全ての格子点Ｐについて上記の角度を取得した後（ステップＳＡ６：ＹＥＳ）、制御部１１は、原稿画像Ｇ０の中央付近に、各格子点Ｐにおける文字列方向を用いて図６（ａ）に示したような基準となる１本の第１形状線Ｌ１を設定する（ステップＳＡ７）。

【0034】

このとき、制御部１１は、まず、前述した各格子点Ｐの文字列方向（角度）から、各々の格子点Ｐの間における画像内の各点の文字列方向（角度）を補完する。なお、補完に際しては、各格子点Ｐのうちで周囲の他の格子点Ｐと比べて方向が大きく異なる格子点Ｐを予め除外することにより、格子点Ｐを含む各点における文字列方向が全体的に滑らかに変化するように整合性を確保する。

【0035】

そして、制御部１１は、各格子点Ｐ、及びそれらの間に位置する各点の中で原稿画像Ｇ０の中心付近に位置する点を基準点と決め、その基準点を出発点として、基準点における文字列方向の一方側及び他方側に向けて微小距離だけ線分をそれぞれ延ばし、その先端を、対応する位置の他の点における文字列方向に向けて更に微小距離だけ延ばす処理を繰り返すことによって第１形状線Ｌ１を生成する。

【0036】

次に、制御部１１は、上記のように設定した第１形状線Ｌ１を３次元空間で等間隔となるように複数区間に分割する分割処理を行う（ステップＳＡ８）。図４は、制御部１１による分割処理を示したフローチャートである。

【0037】

まず、分割処理の概略について説明する。分割処理は、３次元空間で決められている分割距離だけ互いに離間する図６（ｂ）に示したような複数の分割点Ｎを第１形状線Ｌ１上に設定し、各分割点の座標値を記憶する処理である。なお、図６（ｂ）は複数の分割点Ｎを便宜的に示したものであり、実際に設定する分割点の数（第１形状線Ｌ１の分割数）は数十である。

【0038】

また、分割点の設定に際して制御部１１は、後述するように互いに近接する２点を始点及び終点とする微小区間を第１形状線Ｌ１上に順に設定し、その微小区間の３次元空間での距離を繰り返し取得することによって、各分割点Ｎの位置を決定する。また、微小区間の３次元空間での距離は以下の考えに基づいて取得する。

【0039】

まず、図８（ａ）に示したように、原稿Ｗが置かれている原稿台の上面を平面Ｄとし、この平面Ｄの法線方向をｚ軸、原稿Ｗの縦方向をｘ軸、横方向をｙ軸とする。

【0040】

原稿画像Ｇ０の第１形状線Ｌ１上にある任意の点Ａの３次元空間での位置は平面Ｄ上の位置と近似するため、図８（ｂ）に示したように、カメラ３ａ及び点Ａを通る直線と平面Ｄとの交点Ａ’の位置が、点Ａの３次元空間での位置となる。

【0041】

また、文字列方向（第１形状線Ｌ１の延在方向）が概ねｘ軸方向と一致していれば、図９（ａ）に示したように、点Ａ’を通る３次元空間での第１形状線Ｌ１は、点Ａ’の近傍においては平面Ｄに垂直でｘ軸に平行し、かつy 軸に垂直な鉛直面Ｓに含まれると考えることができる。但し、文字列方向が概ねｙ軸方向と一致している場合は鉛直面Ｓがｙ軸に平行となる。

【0042】

そのため、図９（ｂ）に示したように、原稿画像Ｇ０の第１形状線Ｌ１上で点Ａと微小距離だけ離れた点Ｂは、３次元空間ではカメラ３ａ及び点Ｂを通る直線と鉛直面Ｓとの終点Ｂ’にあると考えることができる。

【0043】

よって、鉛直面Ｓ内での線分Ａ’Ｂ’の距離が、第１形状線Ｌ１上の微小区間Ａ−Ｂの３次元空間での距離となり、この距離が、原稿Ｗの表面の該当する部分に湾曲等の歪みがない場合において最大となり、歪みがある場合には最大値よりも小さく、かつ歪みの度合が大きいほど小さくなる。

【0044】

係ることから、分割点の設定に際して制御部１１は、鉛直面Ｓ内での線分Ａ’Ｂ’の距離を繰り返し取得する。つまり制御部１１は、原稿Ｗ内における各点の原稿Ｗの表面の湾曲等に伴う３次元空間での移動方向を特定方向、すなわち前記鉛直面Ｓに平行する方向に仮定することによって、微小区間Ａ−Ｂの３次元空間での距離を繰り返し取得する。これにより、第１形状線Ｌ１上における各分割点Ｎの位置を決定する。

【0045】

次に、制御部１１による分割処理の内容を図４に示したフローチャートに従い具体的に説明する。

【0046】

分割処理に際して制御部１１は、まず前述した分割距離を設定する（ステップＳＡ１０１）。ここでは第１形状線Ｌ１が概ね原稿画像Ｇ０の横方向に延在していることを前提としているため、分割距離は原稿における規定の幅ｗである。なお、第１形状線Ｌ１が概ね原稿画像Ｇ０の縦方向に延在しているときには、上記分割距離は原稿における規定の高さｈである。

【0047】

次に、制御部１１は、第１形状線Ｌ１の設定に際して使用した基準点を距離の計測起点に設定し、かつ分割範囲を設定する（ステップＳＡ１０２）。なお、分割範囲は、第１形状線Ｌ１に分割点を設定する範囲であり、処理開始当初は基準点の一方側の範囲である。

【0048】

次に、制御部１１は、分割範囲（基準点の一方側）に微小区間が設定可能か否かを確認する（ステップＳＡ１０３）。ここで、処理開始当初においては微小区間が設定可能であるため（ステップＳＡ１０３：ＹＥＳ）、制御部１１は、前記計測起点を始点とした微小区間を設定する（ステップＳＡ１０４）。

【0049】

その後、制御部１１は、設定した微小区間の始点と終点との２次元空間（画像空間）での座標位置を３次元空間での位置に変換する（ステップＳＡ１０５）。変換方法は以下の通りである。

【0050】

まず、図１０に示したように、座標系としてカメラ座標系［ｋ，ｌ，ｍ］、ワールド座標系［ｘ，ｙ，ｚ］、画像座標系［ｕ，ｖ］を定義する。このときワールド座標の原点Ｏとｘ軸、ｙ軸が前述したように原稿台の表面（平面Ｄ）上にあるとし、原稿の横方向をｘ軸方向、縦方向をｙ軸方向とする。なお、カメラ座標のｌ軸はカメラ３ａの上方向、ｍ軸はカメラ３ａの光軸であり、画像座標系のｕ軸はｋ軸に平行、ｖ軸はｌ軸に平行である。

【0051】

ワールド座標［ｘ，ｙ，ｚ］とカメラ座標［ｋ，ｌ，ｍ］と間の変換は、回転行列Ｒと並進行列Ｔを用いて下記式（１）で表される。

【0052】

【数1】

【0053】

上記回転行列Ｒは、ワールド座標系に対するカメラ３ａの姿勢、つまり原稿の撮影角度に対応するカメラ３ａのｋ軸回りの回転状態を示すパラメータである。また、上記並進行列Ｔは、ワールド座標系に対するカメラ３ａの位置、つまり撮影距離を示すパラメータである。

【0054】

また、カメラ座標系［ｋ，ｌ，ｍ］と、画像座標系［ｕ，ｖ］の変換は、下記式（２）で表される。

【0055】

【数2】

【0056】

原稿画像Ｇ０の画面上の始点Ａ［Ａｕ，Ａｖ］^ｔとカメラ座標系の原点Ｃを通る直線ＣＡの方向ベクトルは、カメラ座標系ではＡ＝［Ａｕ，Ａｖ，ｆ］^ｔであるため、式（１）よりワールド座標系ではＲＡとなる。パラメータをｓとすれば、直線ＣＡは下記式（３）で表される。

【0057】

【数3】

これに、ｚ＝０を代入すれば下記式（４）が得られる。

【0058】

【数4】

【0059】

よって、直線ＡＣと鉛直面Ｓ（ｚ＝０）との交点Ａ’の位置、すなわち原稿画像Ｇ０の画面上の始点Ａの３次元空間での位置は、式（３）と式（４）より下記式（５）で求めることができる。

【0060】

【数5】

【0061】

一方、第１形状線Ｌ１上で始点Ａと近接する終点Ｂとカメラ座標系の原点Ｃを通る直線ＣＢは、式（３）と同様に下記式（６）で表される。

【0062】

【数6】

【0063】

また、点Ａ’を含むｙ軸に垂直な鉛直面Ｓは、式（５）より下記式（７）となる。

【0064】

【数7】

これを式（６）に代入すれば下記式（８）となる。

【0065】

【数8】

【0066】

よって、直線ＣＢと鉛直面Ｓ（ｚ＝０）との終点Ｂ’の位置、すなわち原稿画像Ｇ０の画面上の終点Ｂの３次元空間での位置は、下記式（９）で求めることができる。

【0067】

【数9】

【0068】

したがって、ステップＳＡ１０５の処理において制御部１１は、式（５）と式（９）とを用いて、微小区間の始点Ａと終点Ｂの２次元空間（画像空間）での座標位置を３次元空間での位置（交点Ａ’、終点Ｂ’の位置）に変換する。

【0069】

引き続き、図４に示したように制御部１１は、始点Ａと終点Ｂとの３次元空間での位置から、微小区間の３次元空間での距離を算出する（ステップＳＡ１０６）。

【0070】

次に、制御部１１は、微小区間の距離を積算することによって、計測起点から微小区間の終点までの距離を取得し（ステップＳＡ１０７）、積算した距離、つまり計測起点からの距離が分割距離であるか否かを確認する（ステップＳＡ１０８）。このとき制御部１１は、積算した距離と分割距離との差が予め決められている閾値以下であれば、積算した距離が分割距離と等しいと判断する。

【0071】

そして、制御部１１は、積算した距離が分割距離に達していなければ（ステップＳＡ１０８：ＮＯ）、今回設定した微小区間の終点を新たな微小区間の始点として設定した後（ステップＳＡ１０９）、ステップＳＡ１０３の処理に戻り、新たに微小区間を設定して前述した処理を繰り返す。

【0072】

また、制御部１１は、ステップＳＡ１０３以降の処理を繰り返す間に、積算した距離が分割距離となったら（ステップＳＡ１０８：ＹＥＳ）、その時点の微小区間の終点を分割点として設定し、その座標位置を記憶するとともに、新たな計測起点として設定する（ステップＳＡ１１０）。

【0073】

さらに、制御部１１は、微小区間の終点を新たな微小区間の始点として設定した後（ステップＳＡ１０９）、ステップＳＡ１０３の処理に戻り、新たに微小区間を設定して前述した処理を繰り返す。これにより、制御部１１は、第１形状線Ｌ１における基準点の一方側の範囲に複数の分割点を設定する。

【0074】

また、制御部１１は、ステップＳＡ１０３以降の処理を繰り返す間に、新たな微小区間を設定すべき範囲が第１形状線Ｌ１の基準点の一方側の端まで移動し、微小区間が設定不能となると（ステップＳＡ１０３：ＮＯ）、分割点を基準点の両側に設定していなければ（ステップＳＡ１１１：ＮＯ）、ステップＳＡ１０２の処理へいったん戻り、前述した処理を繰り返す。

【0075】

すなわち制御部１１は、基準点を計測起点に再設定するとともに、分割点を設定する分割範囲を基準点の一方側の範囲から他方側の範囲に変更した後（ステップＳＡ１０２）、ステップＳＡ１０３以降の処理を繰り返すことにより、第１形状線Ｌ１における基準点の他方側の範囲にも複数の分割点を設定する。

【0076】

その後、制御部１１は、基準点の他方側の範囲に複数の分割点が設定できた段階で（ステップＳＡ１０３：ＮＯ、ステップＳＡ１１１：ＹＥＳ）、分割処理を終了し、図３の処理に戻る。

【0077】

そして、上述した分割処理により第１形状線Ｌを３次元空間で等間隔の複数区間に分割した後、制御部１１は、ステップＳＡ５で取得した各格子点Ｐにおける局所的な文字行方向を用い、各々が第１形状線Ｌ１上の分割点Ｎを通る、図６（ｃ）に示したような複数本の第２形状線Ｌ２を原稿画像Ｇ０に設定する（ステップＳＡ９）。

【0078】

このとき制御部１１は、基準となる第１形状線Ｌ１の設定時と同様の手法により各々の第２形状線Ｌ２を決定する。すなわち制御部１１は、各格子点Ｐでの局所的な文字行方向（角度）から、各々の格子点Ｐの間の各点における文字行方向（角度）を補完した後、各点の文字行方向に従い、第１形状線Ｌ１上の各分割点Ｎを出発点として線分を微小距離だけ一方向及び他方向へそれぞれ延ばしていく処理を繰り返すことにより各々の第２形状線Ｌ２を生成する。

【0079】

次に、制御部１１は、複数本の第２形状線Ｌ２の中で原稿画像Ｇ０の中心付近に位置する１本を基準として、前述したステップＳＡ８の処理と同様の手法で、当該第２形状線Ｌ２を３次元空間で等間隔となるよう複数区間に分割する（ステップＳＡ１０）。

【0080】

すなわち、制御部１１は、基準とした第２形状線Ｌ２に、第１形状線Ｌ１上の分割点Ｎをそれぞれ起点として、その一方側及び他方側に、３次元空間で所定の分割距離だけ互いに離間する図６（ｄ）に示したような複数の分割点Ｎを順に設定する。

【0081】

その際、制御部１１は、近接する２点を始点及び終点とする微小区間を第２形状線Ｌ２上に順に設定し、その微小区間の３次元空間での距離を繰り返し取得することによって、各分割点Ｎの位置を決定する。

【0082】

但し、微小区間の３次元空間での距離を取得する際、制御部１１は、微小区間の終点（Ｂ）については、下記式（１０）

【0083】

【数10】

によって、その２次元空間での位置を３次元空間での位置（終点Ｂ’の位置）に変換する。

【0084】

次に、制御部１１は、ステップＳＡ５で取得した各格子点Ｐにおける局所的な文字列方向を示す角度を使用し、基準となる第２形状線Ｌ２に設定した各々の分割点Ｎを通って延在する図６（ｅ）に示したような複数本の第１形状線Ｌ１を原稿画像Ｇ０に更に設定する（ステップＳＡ１１）。なお、具体的な設定手法は、ステップＳＡ７で基準となる第１形状線Ｌ１を設定する場合と同様である。

【0085】

以上の処理により、原稿画像Ｇ０には、複数本の第１形状線Ｌ１と複数本の第２形状線Ｌ２とからなる、図６（ｆ）に示したようなグリッドが設定される。

【0086】

引き続き、制御部１１は、原稿画像Ｇ０に設定した複数本の第１形状線と複数本の第２形状線と交点（グリッドの格子点）のうちで、座標値が未取得の図６（ｆ）に黒丸で示した分割点Ｎ以外の各交点Ｎａの座標値を取得する（ステップＳＡ１２）。

【0087】

その後、制御部１１は、原稿画像Ｇ０において隣接する４つの交点を頂点とする四角形領域（本発明の単位領域に相当する領域）を処理対象として順に切り出し、射影変換によって所定の縦横サイズを有する矩形に変形する（ステップＳＡ１３）。図７（ａ）は、前述した分割点Ｎ及び交点Ｎａ（図で白丸）と、四角形領域Ｑの１つを明示した図である。

【0088】

ここで、変形後の矩形の縦横サイズは、ステップＳＡ８の分割処理（図４）で第１形状線Ｌ１を複数区間に分割する際の分割距離、すなわち前述した３次元空間での規定の幅ｗ、及び高さｈに応じたサイズである。

【0089】

次に、制御部１１は、変形後の四角形領域の画像、つまり矩形画像をメモリ内の変形済みの他の矩形画像に元の位置関係を維持した状態で連結する（ステップＳＡ１４）。図７（ｂ）は、同図（ａ）に明示した四角形領域Ｑに対応する変形後の矩形画像Ｒ、及びその連結位置を示した図である。

【0090】

以後、制御部１１は、画面全体の格子（全ての四角形領域）について処理が完了するまで（ステップＳＡ１５：ＮＯ）、ステップＳＡ１３，ＳＡ１４の処理を繰り返す。

【0091】

そして、制御部１１は全ての画面全体の格子について処理が完了した後（ステップＳＡ１５：ＹＥＳ）、全ての矩形画像を連結した画像であって、原稿画像と縦横サイズが同一の画像を補正画像としてワークメモリ１３ｂに記憶する。

【0092】

以上の処理によって、原稿の歪みが補正された図７（ｃ）に示したような状態の補正画像Ｇ３が得られることとなる。

【0093】

なお、ワークメモリ１３ｂに記憶した補正画像のデータは、表示パネル１５ａに表示されたり、通信部１６を介してパーソナルコンピューター等の他の機器へ送信され、他の機器に保存されたりする。

【0094】

ここで、上述した画像補正処理に際して原稿画像Ｇ０に設定されるグリッドの格子点（分割点Ｎ及び交点Ｎａ）は、原稿内に存在する各点の３次元空間での位置関係（距離）、つまり原稿の各部における３次元的な歪みが直接反映されたものである。

【0095】

よって、画像補正装置１においては、原稿画像が、全体的に湾曲した原稿を撮影したものである場合は無論、外周部分や角部分等の任意の部分に局所的な歪みが存在する原稿を撮影したものであっても、係る原稿画像から、湾曲状態、及び局所的な歪みが高精度で補正された良好な状態の原稿を表す補正画像を取得することができる。つまり原稿に湾曲や局所的な歪みが存在していない場合と同様の良好な状態の文字情報を表す補正画像を取得することができる。

【0096】

しかも、上述した画像補正処理においては、原稿における湾曲状態、及び局所的な歪みだけでなく、原稿を斜め方向から撮影したことに起因する全体的な台形歪みを自動時に、つまり１回の処理によって補正することができる。

【0097】

また、上述した画像補正処理においては、第１形状線Ｌ１及び第２形状線Ｌ２を３次元空間で等間隔となるように分割する際、前述した微小区間Ａ−Ｂの３次元空間での距離を、原稿内における各点の原稿の表面の湾曲に伴う３次元空間での移動方向を、特定方向（鉛直面Ｓに平行する方向）に仮定することによって取得する。

【0098】

よって、原稿画像のみに基づく処理であっても、第１形状線Ｌ１及び第２形状線Ｌ２を３次元空間で等間隔となるように正確な分割することができ、原稿画像に、原稿の各部における３次元的な歪みが正確に反映された格子点を有するグリッドを設定することができる。これによっても、良好な状態の文字情報を表す補正画像を取得することができる。

【0099】

また、グリッドを構成する第１形状線Ｌ１、及び第２形状線Ｌ２を２値化画像Ｇ１から検出した文字列方向、及び文字行方向に基づいて設定するため、これによっても、良好な状態の文字情報を表す補正画像を取得することができる。

【0100】

なお、本実施形態で説明した文字列方向や文字行方向の検出方法は一例であり、それらの具体的な検出方法は適宜変更可能である。例えば文字列方向や文字行方向は、原稿画像において輪郭抽出を行い、抽出した輪郭情報に基づいて検出してもよい。

【0101】

（実施形態２）
次に、本発明の実施形態２について説明する。本実施形態は、図１及び図２に示した構成を有するとともに、原稿画像の補正に際して制御部１１が、記憶部１３に格納されているプログラムに基づき実施形態１とは異なる後述する画像補正処理を行うものである。

【0102】

概略を先に述べると、本実施形態の画像補正処理では、２値化画像Ｇ１から文字行方向を検出することなく、原稿画像に文字行方向を示す複数の第２形状線Ｌ２を設定する。

【0103】

以下、本実施形態において制御部１１が実行する画像補正処理を図１１に示したフローチャートに従い具体的に説明する。

【0104】

本実施形態においても制御部１１は、まず、原稿を撮影した原稿画像を２値化し（ステップＳＢ１）、２値化画像Ｇ１の複数ヶ所に格子点を設定した後（ステップＳＢ２）、各々の格子点を中心とした所定サイズの正方形の領域画像を順に切り出し（ステップＳＢ３）、格子点毎に局所的な文字列方向を検出する（ステップＳＢ４）。

【0105】

なお、各処理の詳細は、実施形態１で図３に示したステップＳＡ１〜ステップＳＡ４の各処理と同様である（図５（ａ）〜同図（ｄ）参照）。

【0106】

次に、制御部１１は、全ての格子点について文字列方向（角度）を取得するまで、ステップＳＢ１〜ステップＳＢ４の各処理を繰り返し（ステップＳＢ５：ＮＯ）、全ての格子点の文字列方向（角度）を取得した後（ステップＳＢ５：ＹＥＳ）、以下の処理を行う。

【0107】

まず、制御部１１は、原稿画像Ｇ０の中央に基準となる第２形状線Ｌ２として、図１２（ａ）に示したようなｙ軸方向に延びる１本の直線を設定する（ステップＳＢ６）。ここで、基準となる第２形状線Ｌ２を直線とする理由は、仮に原稿（書類等）に全体的に湾曲や局所的な歪みが存在しているような場合であっても、原稿表面の横方向（ｘ方向）の中心付近では、文字行方向に直線性が維持されていると考えられるためである。

【0108】

次に、制御部１１は、基準となる第２形状線Ｌ２を３次元空間で等間隔となるように複数区間に分割し、その分割点を設定する（ステップＳＢ７）。

【0109】

具体的に述べると、制御部１１は、第２形状線Ｌ２に、原稿画像Ｇ０の中心を起点として、その一方側及び他方側に、３次元空間で所定の分割距離だけ互いに離間する図１２（ｂ）に示したような複数の分割点Ｎを順に設定し、各分割点の座標値を記憶する。

【0110】

なお、係る複数の分割点の設定に際しても、制御部１１は、実施形態１で説明した分割処理（図４）と同様、互いに近接する２点を始点及び終点とする微小区間を第２形状線Ｌ２上に順に設定し、その微小区間の３次元空間での距離を繰り返し取得することにより行う。

【0111】

ただし、ここで取得する３次元空間での距離は、原稿の縦方向をｘ軸、横方向がｙ軸としたとき（図９（ａ）参照）、第２形状線Ｌ２がｘ軸とｚ軸とに垂直な鉛直面上にあると仮定したときの当該鉛直面内での２点間の距離である。

【0112】

次に、制御部１１は、ステップＳＢ４で取得した各格子点Ｐの文字列方向を用い、各々が第２形状線Ｌ２上に設定した分割点Ｎを通る、図１２（ｃ）に示したような複数本の第１形状線Ｌ１を原稿画像Ｇ０に設定する（ステップＳＢ８）。

【0113】

このとき制御部１１は、実施形態１において基準となる１本の第１形状線Ｌ１を設定する際と同様、各格子点Ｐでの局所的な文字列方向（角度）から、各々の格子点Ｐの間の各点における文字列方向（角度）を補完した後、各点の文字行方向に従い、第２形状線Ｌ２上の各分割点Ｎを出発点として線分を微小距離だけ一方向及び他方向へそれぞれ延ばしていく処理を繰り返すことによって、各々の第１形状線Ｌ１を決定する。

【0114】

次に、制御部１１は、複数本の第１形状線Ｌ１を、ステップＳＢ７の処理で第２形状線Ｌ２に設定した各分割点Ｎを基準として、３次元空間で等間隔となるように複数区間に分割し、その分割点を設定する（ステップＳＢ９）。

【0115】

このとき、制御部１１は、複数本の第１形状線Ｌ１に、第２形状線Ｌ２上に設定した各分割点Ｎを起点として、その一方側及び他方側に、３次元空間で所定の分割距離だけ互いに離間する図１２（ｄ）に示したような複数の分割点Ｎを順に設定し、各分割点の座標値を記憶する。なお、ステップＳＢ９の処理の詳細については、実施形態１で説明した分割処理（図４）と同様である。

【0116】

次に、制御部１１は、上記のように設定した複数本の第１形状線Ｌ１の各々の線上における各々の分割点Ｎをｙ軸方向に連結することにより、図１２（ｅ）に示したような複数本の第２形状線Ｌ２を原稿画像Ｇ０に更に設定する（ステップＳＢ１０）。すなわち制御部１１は、複数本の第１形状線Ｌ１にそれぞれ設定した分割点Ｎのうちで、基準として設定した第２形状線Ｌ２からの３次元空間での距離が同一となるものを互いに連結する線を、第２形状線Ｌ２として新たに設定する。

【0117】

以上の処理により、原稿画像Ｇ０には、複数本の第１形状線Ｌ１と複数本の第２形状線Ｌ２とからなる、図１２（ｆ）に示したようなグリッドが設定される。

【0118】

しかる後、制御部１１は、実施形態１で図３に示したステップＳＡ１３〜ステップＳＡ１６の各処理と同様の処理を行う。

【0119】

すなわち制御部１１は、原稿画像Ｇ０から、既に分割点Ｎとして座標値を取得した複数本の第１形状線と複数本の第２形状線との交点（グリッドの格子点）における、隣接する４つの分割点を頂点とする各々の四角形領域を処理対象として順に切り出し、射影変換によって所定の縦横サイズを有する矩形に変形する（ステップＳＢ１１）。図１２（ｆ）は、各交点（図で白丸）と上記四角形領域Ｑの１つを明示した図である。

【0120】

なお、変形後の矩形の縦横サイズは、ステップＳＢ７の処理で基準とする第２形状線Ｌ２を複数区間に分割する際、及びステップＳＢ９の処理で複数の第１形状線Ｌ１を複数区間に分割する際の分割距離、すなわち前述した３次元空間での規定の幅ｗ、及び高さｈに応じたサイズである。

【0121】

以後、制御部１１は、変形後の四角形領域の画像（矩形画像）をメモリ内の変形済みの他の矩形画像に元の位置関係を維持した状態で順に連結し（ステップＳＢ１２）、画面全体の格子（全ての四角形領域）について処理が完了するまで（ステップＳＢ１３：ＮＯ）、ステップＳＢ１１，ＳＡ１２の処理を繰り返す。

【0122】

そして、制御部１１は全ての画面全体の格子について処理が完了した後について処理が完了した後（ステップＳＢ１３：ＹＥＳ）、全ての矩形画像を連結した画像であって、原稿画像Ｇ０と縦横サイズが同一の画像を補正画像としてワークメモリ１３ｂに記憶する。

【0123】

これにより、第１の実施形態と同様、原稿の歪みが補正された図７（ｃ）に示したような状態の補正画像Ｇ３が得られることとなる。

【0124】

以上説明した本実施形態においても上述した画像補正処理に際して原稿画像Ｇ０に設定されるグリッドの格子点（分割点Ｎ）は、原稿内に存在する各点の３次元空間での位置関係（距離）、つまり原稿の各部における３次元的な歪みが直接反映されたものである。よって、実施形態１説明したものと同様の理由により同一の効果を奏することができる。

【0125】

さらに、本実施形態においては、実施形態１と比較して以下の効果を得ることができる。すなわち実施形態１では、２値化画像Ｇ１（領域画像Ｇ２）から文字行方向を検出したが、文字行方向の検出精度は原稿内の文字の違いに大きく左右される。例えば原稿内の文字が日本語の文字である場合には、画像情報として文字行方向がアルファベットほど顕著に表れないため、検出精度が低い。

【0126】

また、画像解像度が低いほど文字行方向の検出精度が低下する。特に、カメラ３ａの光軸と紙面の間の角度（撮影角度θ）が浅い(小さい)場合には、カメラ３ａから遠い部分では、近い部分に比べて画像解像度が低くなるため、検出精度の低下が顕著となる。そのため、文字行方向に基づき原稿画像Ｇ０に設定される複数の第２形状線Ｌ２の精度、つまり前述したグリッドの精度には自ずと限界がある。

【0127】

これに対して、本実施形態においては、複数の第２形状線Ｌ２を、文字列方向を示す複数の第１形状線Ｌ１に基づき間接的に決定して原稿画像Ｇ０に設定する。したがって、原稿内の文字が日本語の文字であっても、原稿内に存在する各点の３次元空間での位置関係がより正確に反映された格子点を有するグリッドを原稿画像Ｇ０に設定することができる。また、グリッド全体に、原稿内に存在する各点の３次元空間での位置関係を同一精度で反映させることができる。

【0128】

よって、本実施形態においては、原稿内の文字が、日本語の文字である場合のように、画像情報として文字行方向がアルファベットほど顕著に表れない文字である場合において、より良好な状態の文字情報を表す補正画像を取得することができる。

【0129】

ここで、以上説明した実施形態１及び実施形態２においては、原稿画像Ｇ０に第１形状線Ｌ１と第２形状線Ｌ２とからなるグリッドを設定した後、グリッドにおける各々の四角形領域Ｑを射影変換によって所定の縦横サイズの矩形に変形し、変形後の各々の矩形画像Ｒを連結することにより補正画像Ｇ３を生成するものについて説明した。

【0130】

しかし、本発明の実施に際しては、例えば原稿画像Ｇ０に上記グリッドを設定した後、モーフィング技術で使用される非線形の画像変換（メッシュワーピング等）を行うことにより補正画像Ｇ３を生成するようにしてもよい。すなわち上記グリッドの格子点の位置を目標とする正規のグリッドの格子点の位置へ変換するマッピング関数を決定し、それを用いて原稿画像Ｇ０から補正画像Ｇ３を生成するようにしてもよい。

【0131】

その場合、例えば原稿画像Ｇ０内で格子点が縦横方向に間隔に配置されている領域については、その領域内の格子点を使用せずに上記画像変換を行ったとしても補正画像Ｇ３を生成することができる。したがって、上記画像変換に使用する格子点の数を必要最小限とすることにより、補正画像Ｇ３を効率的に生成することができる。

【0132】

また、実施形態１及び実施形態２においては、原稿画像Ｇ０に第１形状線Ｌ１と第２形状線Ｌ２とからなるグリッドを設定し、原稿画像Ｇ０を補正して最終的な補正画像Ｇ３を得る場合について説明した。しかし、本発明の実施に際しては、上記グリッドを前述した２値化画像Ｇ１に設定し、２値化画像Ｇ１を補正して最終的な補正画像を得るようにしてもよい。

【0133】

また、実施形態１及び実施形態２においては、原稿画像Ｇ０が書類である場合、すなわち紙媒体である場合について説明したが、原稿は紙以外の合成樹脂や金属等からなる他の情報表示媒体であっても構わない。また、原稿の表面に印刷等により記載されている情報は、規則的に並んだものであれば、文字に限らず、図形や模様等であっても構わない。

【0134】

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
原稿を撮影して得られた原稿画像の歪みを補正する画像補正装置において、
前記原稿画像における前記原稿内の各点の２次元空間での位置関係と前記原稿の表面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する特定手段と、
前記特定手段により特定された前記各点の３次元空間での位置関係が反映された前記原稿画像の歪み情報を取得する取得手段と、
前記取得手段により取得された歪み情報に基づいて前記原稿画像の歪みを補正する補正手段と
を備えたことを特徴とする画像補正装置。
［請求項２］
前記特定手段は、前記原稿内における各点の原稿の表面の湾曲に伴う３次元空間での移動方向を特定方向に仮定することによって、前記原稿画像における各点の３次元空間での位置関係を特定することを特徴とする請求項１記載の画像補正装置。
［請求項３］
前記特定手段は、前記各点の３次元空間での位置関係として３次元空間での２点間の距離を特定し、
前記取得手段は、前記歪み情報として、前記特定手段により特定された３次元空間での２点間の距離が反映された位置関係を有する前記原稿画像における複数の注目点の座標位置を取得する
ことを特徴とする請求項２記載の画像補正装置。
［請求項４］
前記特定手段は、前記原稿内における位置関係が既知である前記各点について、前記原稿を湾曲が無い状態で所定の角度で斜めから撮影した場合における前記原稿画像の各点の２次元空間での位置関係として想定される想定位置関係と、実際に撮影された前記原稿画像の各点の２次元空間での位置関係である実位置関係との差異が生じた原因が、前記各点が３次元空間で前記特定方向へ移動したことにより生じたものとして、前記原稿内の各点の３次元空間での位置関係を特定することを特徴とする請求項２又は３記載の画像補正装置。
［請求項５］
前記原稿内における位置関係が既知である前記各点は、前記原稿内の文字の並び方向に沿った第１直線上に存在する複数の点であって、
前記取得手段は、前記歪み情報として、前記第１直線に対応する前記原稿画像内の第１形状線上に存在する前記複数の注目点の座標位置を取得する
ことを特徴とする請求項４記載の画像補正装置。
［請求項６］
前記原稿画像の複数箇所で文字の並び方向を検出し、検出した複数箇所での文字の並び方向の整合性を確保し得られた形状線を前記第１形状線として前記原稿画像に設定する設定手段を更に備え、
前記取得手段は、前記歪み情報として、前記設定手段により設定された第１形状線と、当該第１形状線上に存在するとともに、前記特定手段により特定された各々の間の３次元空間での距離が同一である前記複数の注目点の座標位置を取得する
ことを特徴とする請求項５記載の画像補正装置。
［請求項７］
前記設定手段は、前記原稿内で互いに平行する複数の前記第１直線に対応するとともに、各々の線上における各点の位置関係が前記特定手段により特定された３次元空間での位置関係にある複数の前記第１形状線を前記原稿画像に設定し、
前記取得手段は、前記歪み情報として、前記設定手段により設定された前記複数の第１形状線と、各々の第１形状線上に存在する前記複数の注目点の座標位置を取得する
ことを特徴とする請求項６記載の画像補正装置。
［請求項８］
前記補正手段は、前記歪み情報に基づいて、前記第１形状線上の前記複数の注目点の２点間の距離を前記原稿内における２次元空間での距離に補正するとともに、前記第１形状線を直線に補正する画像処理を前記原稿画像に施すことにより、前記原稿画像の歪みを補正することを特徴とする請求項５又は６，７記載の画像補正装置。
［請求項９］
前記設定手段は、前記原稿内で前記複数の第１直線に直交する互いに平行な複数の第２直線にそれぞれ対応するとともに、前記複数の第１形状線の各々と前記複数の注目点で交わる複数の第２形状線を前記原稿画像に更に設定し、
前記取得手段は、前記歪み情報として前記複数の第２形状線を更に取得する
ことを特徴とする請求項６又は７，８記載の画像補正装置。
［請求項１０］
前記補正手段は、前記複数の第１形状線と前記複数の第２形状線とによって区画された複数の単位領域の形状を個別に矩形に射影変換することによって前記原稿画像の歪みを補正することを特徴とする請求項９記載の画像補正装置。
［請求項１１］
前記補正手段は、個別に矩形に射影変換した後の前記複数の単位領域を結合することによって前記原稿画像の歪みを補正した補正画像を生成することを特徴とする請求項１０記載の画像補正装置。
［請求項１２］
前記設定手段は、前記原稿画像の複数の箇所で、前記原稿内の文字の並び方向に直交する文字の行方向を検出し、検出した複数の箇所での文字の行方向の整合性を確保した形状線を前記第２形状線として前記原稿画像に設定することを特徴とする請求項９又は１０，１１記載の画像補正装置。
［請求項１３］
前記設定手段は、
前記原稿画像に基準となる前記第１形状線を設定し、
前記基準となる第１形状線に、前記特定手段により特定された当該第１形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点を設定し、
前記複数の分割点において前記基準となる第１形状線とそれぞれ交差する前記文字の行方向に沿った複数の形状線を前記複数の第２形状線として設定し、
前記複数の第２形状線のうちで基準となる第２形状線に、前記特定手段により特定された当該第２形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点を設定し、
前記基準となる第２形状線に設定した複数の分割点で前記複数の第２形状線とそれぞれ交差する前記文字の並び方向に沿った複数の形状線を他の前記第１形状線として設定し、
前記取得手段は、前記歪み情報として、前記複数の分割点を含む前記第１形状線上と前記第２形状線との全ての交点の座標位置を取得する
ことを特徴とする請求項９乃至１２のいずれか１項に記載の画像補正装置。
［請求項１４］
前記設定手段は、
前記原稿画像に、前記原稿内で前記第１直線に直交する第２直線に対応した形状線であって、前記原稿内の文字の並び方向に直交する文字の行方向に沿った基準となる第２形状線を設定し、
前記基準となる第２形状線上に、前記特定手段により特定された当該第２形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点を設定し、
前記複数の分割点において前記基準となる第２形状線とそれぞれ交差する前記文字の並び方向に沿った複数の形状線を前記複数の第１形状線として設定し、
前記複数の第１形状線の各々に、前記特定手段により特定された各々の第１形状線上の互いに近接する２点間の３次元空間での距離に基づいて、３次元空間での距離が等間隔となる複数の分割点をそれぞれ設定し、
前記複数の第１形状線にそれぞれ設定した複数の分割点で前記複数の第１形状線とそれぞれ交差する前記文字の行方向に沿った複数の形状線を他の第２形状線として設定し、
前記取得手段は、前記歪み情報として、前記設定手段により設定された全ての前記分割点の座標位置を取得する
ことを特徴とする請求項９乃至１２のいずれか１項に記載の画像補正装置。
［請求項１５］
原稿を撮影して得られた原稿画像の歪みを補正する画像補正方法において、
前記原稿画像における前記原稿内の各点の２次元空間での位置関係と前記原稿の表面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する工程と、
前記特定手段により特定された前記各点の３次元空間での位置関係が反映された前記原稿画像の歪み情報を取得する工程と、
前記取得手段により取得された歪み情報に基づいて前記原稿画像の歪みを補正する工程と
を含むことを特徴とする画像補正方法。
［請求項１６］
原稿を撮影して得られた原稿画像の歪みを補正する画像補正装置が有するコンピュータに、
記憶手段に記憶された前記原稿画像における前記原稿内の各点の２次元空間での位置関係と前記原稿の表面に対する撮影角度とに基づいて、前記各点の３次元空間での位置関係を特定する特定手段と、
前記特定手段により特定された前記各点の３次元空間での位置関係が反映された前記原稿画像の歪み情報を取得する取得手段と、
前記取得手段により取得された歪み情報に基づいて前記原稿画像の歪みを補正する補正手段と、
前記補正手段による補正後の補正画像を任意の記憶手段に記憶させる記憶処理手段と
して機能させることを特徴するプログラム。

【符号の説明】

【0135】

１ 画像補正装置
２ 筐体
２ｂ 第１の筐体
２ｃ 第２の筐体
３ 装置本体
３ａ カメラ
１１ 制御部
１３ 記憶部
１３ａ プログラムメモリ
１３ｂ ワークメモリ
１４ 操作部
１５ａ 表示パネル
１５ｂ タッチパネル
１６ 通信部
Ｇ０ 原稿画像
Ｇ１ ２値化画像
Ｇ２ 領域画像
Ｇ３ 補正画像
Ｌ１ 第１形状線
Ｌ２ 第２形状線
Ｎ 分割点
Ｎａ 分割点以外の交点
Ｐ 格子点
Ｑ 四角形領域
Ｒ 矩形画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】