特許 6128086 頁画像補正装置、頁画像補正方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6128086

(24)【登録日】2017年4月21日

(45)【発行日】2017年5月17日

(54)【発明の名称】頁画像補正装置、頁画像補正方法及びプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20170508BHJP

   G06T 3/40 20060101ALI20170508BHJP

   G06T 3/20 20060101ALI20170508BHJP

【ＦＩ】

   H04N1/387

   G06T3/40 700

   G06T3/20

【請求項の数】17

【全頁数】35

(21)【出願番号】特願2014-186096(P2014-186096)

(22)【出願日】2014年9月12日

(65)【公開番号】特開2016-59001(P2016-59001A)

(43)【公開日】2016年4月21日

【審査請求日】2015年11月9日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】二村 亮

【審査官】 石田 信行

(56)【参考文献】

【文献】 特開２０１４−１４０１４６（ＪＰ，Ａ）

【文献】 特開２０１２−２１３１０１（ＪＰ，Ａ）

【文献】 特開２００４−０４０３９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ １／１０

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ３／２０

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

本の頁画像を取得する頁画像取得手段と、
前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得する基準線取得手段と、
前記上側基準線と前記下側基準線に基づき４つの基準点を取得する基準点取得手段と、
前記基準点に基づいて前記頁画像の歪みを補正する歪み補正手段と、
前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割する分割手段と、
前記分割領域毎に前記綴じ目方向の長さを補正する第１補正手段と、
前記第１補正手段で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定する推定手段と、
前記推定手段によって推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正手段と、
前記第１補正手段及び前記第２補正手段で補正されたｎ個の前記分割領域を合成して合成頁画像を取得する合成頁画像取得手段と、
を備えることを特徴とする頁画像補正装置。

【請求項2】

前記基準点取得手段は、上側基準線の両端の２点と下側基準線の両端の２点を４つの前記基準点として取得することを特徴とする請求項１に記載の頁画像補正装置。

【請求項3】

前記推定手段は、前記撓み量の推定が前記分割領域の前記綴じ目方向の長さに基づいて行われることを特徴とする請求項１又は２に記載の頁画像補正装置。

【請求項4】

ｉ番目の前記分割領域の前記綴じ目方向の長さをＨ（ｉ）とし、ｉ−１番目の前記分割領域の前記綴じ目方向の長さをＨ（ｉ−１）とし、任意の係数をｋとして、
前記推定手段は、前記ｉ番目の前記分割領域の前記撓み量ｄｚ（ｉ）を下記式（１）にて推定することを特徴とする請求項３に記載の頁画像補正装置。
ｄｚ（ｉ）＝ｋ・｛Ｈ（ｉ）−Ｈ（ｉ−１）｝・・・（１）

【請求項5】

前記任意の係数ｋは、前記合成頁画像のアスペクト比が平らな状態にしたときの実際の頁のアスペクト比と略等しくなるように定められることを特徴とする請求項４に記載の頁画像補正装置。

【請求項6】

前記合成頁画像取得手段は、前記第１補正手段及び前記第２補正手段で補正されたｎ個の前記分割領域を、前記分割手段で分割されたときの前記幅方向の並び順のまま繋げるように合成することを特徴とする請求項１乃至５のいずれか１項に記載の頁画像補正装置。

【請求項7】

前記歪み補正手段は、４つの前記基準点が歪み補正後に位置すべき４つの目標点に射影される射影行列に基づき前記歪み補正を行うことを特徴とする請求項１乃至６のいずれか１項に記載の頁画像補正装置。

【請求項8】

頁数の離れた２つの頁の前記射影行列に基づき、１頁当たりの前記射影行列の摂動量ΔＡを求め、２つの前記頁のうちの一方の頁を基準頁として、前記基準頁から離れた頁の前記射影行列を、離れた頁数分だけ前記基準頁の前記射影行列を前記摂動量ΔＡで摂動させたものとすることを特徴とする請求項７に記載の頁画像補正装置。

【請求項9】

頁数の離れた２つの頁の前記歪み補正後の前記上側基準線に基づき、１頁当たりの前記歪み補正後の前記上側基準線の摂動量ΔＵＬを求めるとともに２つの頁の前記歪み補正後の前記下側基準線に基づき、１頁当たりの前記歪み補正後の前記下側基準線の摂動量ΔＤＬを求め、２つの前記頁のうちの一方の頁を基準頁として、前記基準頁から離れた頁の前記歪み補正後の前記上側基準線を離れた頁数分だけ前記基準頁の前記歪み補正後の前記上側基準線を前記摂動量ΔＵＬで摂動させたものとするとともに、前記基準頁から離れた頁の前記歪み補正後の前記下側基準線を離れた頁数分だけ前記基準頁の前記歪み補正後の前記下側基準線を前記摂動量ΔＤＬで摂動させたものとすることを特徴とする請求項１乃至８のいずれか１項に記載の頁画像補正装置。

【請求項10】

２つの前記頁がどちらも左側頁若しくは右側頁であることを特徴とする請求項８又は９に記載の頁画像補正装置。

【請求項11】

前記基準線取得手段は、前記合成頁画像において真直ぐな直線となるべき前記頁画像の上側に位置する線を前記上側基準線として取得するとともに、前記合成頁画像において真直ぐな直線となるべき前記頁画像の下側に位置する線を前記下側基準線として取得することを特徴とする請求項１乃至１０のいずれか１項に記載の頁画像補正装置。

【請求項12】

前記基準線取得手段は、前記合成頁画像において真直ぐな直線となるべき前記頁画像の上側又は下側に位置する線を前記上側基準線又は前記下側基準線として取得するとともに、残る前記下側基準線又は前記上側基準線を前記取得した前記上側基準線又は前記下側基準線を前記頁画像の略中央を基準に折り返した線として取得することを特徴とする請求項１乃至１０のいずれか１項に記載の頁画像補正装置。

【請求項13】

前記真直ぐな直線となるべき線が太く、点が繋がった直線と見なせない場合は、前記真直ぐな直線となるべき線の中央を通る点が繋がったと見なせる細い線を前記真直ぐな直線となるべき線とすることを特徴とする請求項１１又は１２に記載の頁画像補正装置。

【請求項14】

前記真直ぐな直線となるべき線が頁の左右方向の端から端まで届いていない場合は、前記真直ぐな直線となるべき線を延長して頁の左右方向の端から端まで届くようにした線を前記真直ぐな直線となるべき線とすることを特徴とする請求項１１乃至１３のいずれか１項に記載の頁画像補正装置。

【請求項15】

前記歪み補正後の前記頁画像において、前記第１補正手段及び前記第２補正手段で補正したい画像部分が、前記歪み補正後の前記上側基準線および前記下側基準線の間に位置するように、前記歪み補正後の前記上側基準線および前記下側基準線の位置をシフトさせることを特徴とする請求項１乃至１３のいずれか１項に記載の頁画像補正装置。

【請求項16】

頁画像補正装置が実行する頁画像補正方法であって、
本の頁画像を取得するステップと、
前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得するステップと、
前記上側基準線と前記下側基準線に基づき４つの基準点を取得するステップと、
前記基準点に基づいて前記頁画像の歪みを補正するステップと、
前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割するステップと、
前記分割領域毎に前記綴じ目方向の長さを補正する第１補正をするステップと、
前記第１補正で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定するステップと、
推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正をするステップと、
前記第１補正及び前記第２補正で補正されたｎ個の前記分割領域を合成して合成頁画像を取得するステップと、
を含むことを特徴とする頁画像補正方法。

【請求項17】

頁画像補正装置を制御するコンピュータに、
本の頁画像を取得する機能、
前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得する機能、
前記上側基準線と前記下側基準線に基づき４つの基準点を取得する機能、
前記基準点に基づいて前記頁画像の歪みを補正する機能、
前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割する機能、
前記分割領域毎に前記綴じ目方向の長さを補正する第１補正をする機能、
前記第１補正で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定する機能、
推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正をする機能、
前記第１補正及び前記第２補正で補正されたｎ個の前記分割領域を合成して合成頁画像を取得する機能、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頁画像補正装置、頁画像補正方法及びプログラムに関する。

【背景技術】

【0002】

従来、例えば、見開いた状態の本の上方に撮像手段を配置し、当該撮像手段によって本の頁を一頁ずつ画像として読み取る画像読み取り装置が知られている。ここで、本によってはサイズが異なるために、そのサイズに応じた読み取り処理を行うべく、画像読み取り装置には撮像手段で取得した画像から必要な領域だけを切り取るように、原稿サイズを指定できる機能が搭載されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−１１４９９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、撮像時においては紙面が湾曲している場合もあり、その場合においては切り取った画像も湾曲した状態となり判読しにくくなってしまうのが実状である。
そこで本発明の課題は、画像を判読しやすくなるように補正することである。

【課題を解決するための手段】

【0007】

本発明は、以下の構成によって把握される。
（１）本発明に係る頁画像補正装置は、本の頁画像を取得する頁画像取得手段と、前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得する基準線取得手段と、前記上側基準線と前記下側基準線に基づき４つの基準点を取得する基準点取得手段と、前記基準点に基づいて前記頁画像の歪みを補正する歪み補正手段と、前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割する分割手段と、前記分割領域毎に前記綴じ目方向の長さを補正する第１補正手段と、前記第１補正手段で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定する推定手段と、前記推定手段によって推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正手段と、前記第１補正手段及び前記第２補正手段で補正されたｎ個の前記分割領域を合成して合成頁画像を取得する合成頁画像取得手段と、を備える。

【0008】

（２）本発明に係る頁画像補正方法は、頁画像補正装置が実行する頁画像補正方法であって、本の頁画像を取得するステップと、前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得するステップと、前記上側基準線と前記下側基準線に基づき４つの基準点を取得するステップと、前記基準点に基づいて前記頁画像の歪みを補正するステップと、前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割するステップと、前記分割領域毎に前記綴じ目方向の長さを補正する第１補正をするステップと、前記第１補正で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定するステップと、推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正をするステップと、前記第１補正及び前記第２補正で補正されたｎ個の前記分割領域を合成して合成頁画像を取得するステップと、を含む。

【0009】

（３）本発明に係るプログラムは、頁画像補正装置を制御するコンピュータに、本の頁画像を取得する機能、前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得する機能、前記上側基準線と前記下側基準線に基づき４つの基準点を取得する機能、前記基準点に基づいて前記頁画像の歪みを補正する機能、前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割する機能、前記分割領域毎に前記綴じ目方向の長さを補正する第１補正をする機能、前記第１補正で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定する機能、推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正をする機能、前記第１補正及び前記第２補正で補正されたｎ個の前記分割領域を合成して合成頁画像を取得する機能、を実現させる。

【発明の効果】

【0010】

本発明によれば、画像を判読しやすくなるように補正することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態の書画カメラシステムの概略構成を示す斜視図である。

【図2】第１実施形態の書画カメラシステムの主制御構成を示すブロック図である。

【図3】第１実施形態の画像処理の流れを示すフローチャートである。

【図4】第１実施形態の処理Ａの流れを示すフローチャートである。

【図5】第１実施形態の基準曲線を説明する図である。

【図6】第１実施形態の他の基準曲線を説明する図である。

【図7】第１実施形態の基準線の延長の仕方を説明する図である。

【図8】第１実施形態の他の基準線の延長の仕方を説明する図である。

【図9】第１実施形態の射影前の頁画像を示す図である。

【図10】第１実施形態の射影後の頁画像を示す図である。

【図11】第１実施形態の処理Ｂの流れを示すフローチャートである。

【図12】第１実施形態の縦方向補正を説明する図である。

【図13】第１実施形態の縦方向補正の変換式を説明する図である。

【図14】第１実施形態の縦方向補正の流れを示すフローチャートである。

【図15】第１実施形態の幅方向補正を説明する図である。

【図16】第１実施形態の幅方向補正の流れを示すフローチャートである。

【図17】第１実施形態の分割領域の撓み量ｄ（ｚ）を示す図である。

【図18】第１実施形態のｄｓ（ｉ）、ｄｚ（ｉ）及びｄｘ’（ｉ）の関係を示す図である。

【図19】第１実施形態の幅方向補正処理前のｘ’（ｉ）と、幅方向補正処理後のｘ（ｉ）との関係を示す図である。

【図20】頁の湾曲度合によって変化する補正後の画像の例を示す説明図である。

【図21】第１実施形態の基準曲線を取得する流れを示すフローチャートである。

【図22】第１実施形態の抽出された基準曲線の輪郭を説明する図である。

【図23】第１実施形態の基準曲線の輪郭を三角分割した状態を示す図である。

【図24】第１実施形態の三角分割の輪郭の外に三角分割部分を説明する図である。

【図25】第１実施形態の三角分割の中の不要な三角形を除き輪郭の中点を求める処理を説明する図である。

【図26】第２実施形態の書画カメラシステムの概略構成を示す斜視図である。

【図27】第２実施形態の書画カメラシステムの主制御構成を示すブロック図である。

【図28】第２実施形態の基準曲線を説明する図である。

【図29】第３実施形態の書画カメラシステムの概略構成を示す斜視図である。

【図30】第３実施形態の書画カメラシステムの主制御構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明を実施するための形態(以下、「実施形態」という)を、添付図面に基づいて詳細に説明する。
なお、実施形態の説明では、全体を通じて同じ要素には同じ番号を付している。

【0013】

（第１実施形態）
図１は、本発明に係る第１実施形態の頁画像補正装置としての書画カメラシステムの概略構成を示す斜視図である。
図１に示すように、書画カメラシステム１は、本Ｂの頁Ｐ１を撮像する撮像手段としての書画カメラ２と、本Ｂが載置される載置台３と、書画カメラ２に通信自在に接続されたパソコン４と、本Ｂの頁Ｐ１を自動でめくる自動頁めくり装置５と、を備えている。
なお、本発明に係る本Ｂとしては一般的な書籍の他、綴じられた書類等も含むものとする。

【0014】

書画カメラ２は、スタンド部２１と、スタンド部２１の上端に取付けられたカメラ２２とを備えている。
スタンド部２１は、本Ｂとカメラ２２との相対的な位置関係を調整できるように、前後方向、左右方向に傾倒自在であるとともに、上下方向の伸縮自在になっている。

【0015】

また、カメラ２２とスタンド部２１との接合部には位置調整機構が設けられており、カメラ２２のレンズが向く方向も調節できるようになっている。
そして、カメラ２２は、載置台３上で開かれた本Ｂの右側の頁ＰＲの画像を１回の撮影で取得できる位置に配置されている。

【0016】

自動頁めくり装置５は、頁めくり方向に回動自在に設けられたアーム５ａと、アーム５ａの先端に設けられた頁めくり部５ｂと、エアを吹き出す送風部５ｃと、を備えている。

【0017】

アーム５ａは、図示しないモータによって頁をめくるための回動動作ができるようになっている。
頁めくり部５ｂは、アーム５ａに対して回動可能に取付けられているとともに、表面が粘着性を有するようになっている。

【0018】

そして、アーム５ａが右側の頁ＰＲに頁めくり部５ｂを接触させるようにモータ駆動すると、頁めくり部５ｂは粘着力によって右側の頁ＰＲを保持する。
その後、アーム５ａが右側の頁ＰＲをめくるように左側の頁ＰＬ側にモータ駆動されると、頁めくり部５ｂに粘着した右側の頁ＰＲが頁めくり部５ｂとともに左側の頁ＰＬ側に移動する。

【0019】

そして、送風部５ｃからは、頁めくり部５ｂに粘着した右側の頁ＰＲを頁めくり部５ｂから外すようにエアが吹き出しているので、その風力によって頁めくり部５ｂに粘着している右側の頁ＰＲが左側の頁ＰＬ側に押さえつけられる。

【0020】

このとき、頁めくり部５ｂがアーム５ａに対して回転可能に取付けられているので、右側の頁ＰＲが滑るように頁めくり部５ｂが回転し、左側の頁ＰＬ上に重なるように右側の頁ＰＲは頁めくり部５ｂから外れることで頁めくりが可能になっている。

【0021】

次に、第１実施形態の書画カメラシステム１の主制御構成について説明する。
図２は書画カメラシステム１の主制御構成を示すブロック図である。
パソコン４は、記憶部（ＨＤＤ）４１と、演算部４２と、通信部４３と、を備えている。

【0022】

記憶部（ＨＤＤ）４１には、撮像した頁画像並びに補正した補正画像等が記憶される。
演算部４２には、自動頁めくり装置５およびカメラ２２を制御して自動で頁画像を撮像するためのプログラム（以下、自動撮影用のプログラムともいう）や撮像した頁画像を補正するプログラム（以下、画像処理プログラムともいう）等の各種プログラムが記録されたＲＯＭ（図示せず）と、ＲＯＭ中のプログラムの実行時に当該プログラムが展開されるＲＡＭ（図示せず）と、ＲＯＭ中のプログラムをＲＡＭに展開し実行するＣＰＵ（図示せす）とが備えられている。

【0023】

通信部４３は、自動頁めくり装置５との間での同期を取った通信を行なう。
なお、図２には、図示していないが、パソコン４は、キーボード、タッチパネル、マウス等の操作手段や液晶モニタ等の表示手段なども備えている。

【0024】

一方、自動頁めくり装置５は、通信部５１と、モータ制御部５２と、モータ５３と、を備えている。
通信部５１は、パソコン４の通信部４３との間での同期を取った通信を行なう。

【0025】

モータ制御部５２は、パソコン４の演算部４２からの頁めくり指令に応じてモータ５３を制御する。
モータ５３は、モータ制御部５２の指令に従って本Ｂの頁Ｐ１をめくる動作を実現するためにアーム５ａを回動させる。

【0026】

以下、書画カメラシステム１による画像読み取り方法について説明する。
まず、ユーザは、本Ｂの最初の頁Ｐ１を開いた状態で本Ｂを載置台３の上にセットする。
本Ｂのセットが終ったら、パソコン４の操作手段を操作して自動撮影用のプログラムをパソコン４に実行させる。

【0027】

自動撮影用のプログラムが実行されるとパソコン４の演算部４２は、カメラ２２に撮影指令を出し、最初の右側の頁ＰＲの撮像が行われ、撮像した頁画像が記憶部（ＨＤＤ）４１に記憶される。
最初の撮像が終ると、演算部４２は、通信部４３を介して自動頁めくり装置５に頁をめくる指令を出す。

【0028】

自動頁めくり装置５は、頁をめくる指示を受け取るとモータ制御部５２によってモータ５３を駆動させ、上述したように頁めくり動作を実行する。
頁めくり動作が済むと自動頁めくり装置５は頁めくり動作が完了した動作完了信号をパソコン４に通信部５１を介して送信する。
パソコン４は動作完了信号を受け取ると、再び、カメラ２２に撮像指令を出し、２頁目の右側の頁ＰＲの撮像が実行される。
この操作が全ての右側の頁ＰＲの撮像が終了するまで繰り返される。

【0029】

そして、右側の頁ＰＲの撮像が終了したら、ユーザは、本Ｂの上下が逆になるように載置台３上に本Ｂをセットする。
つまり、先ほど右側の頁ＰＲがあった側に本Ｂの左側の頁ＰＬが位置するように本Ｂを載置台３の上にセットし、最初の頁を開く。
なお、左側の頁ＰＲは逆向きにセットされるので頁番号からすると最後の頁を開くようにセットすることになる。

【0030】

そして、載置台３への本Ｂのセットが終ったら、先ほどと同様にパソコン４の操作手段を操作して自動撮影用のプログラムを実行させ、左側の頁ＰＬの撮像を行う。
このようにして、左右全ての頁の撮像が終ると、次にユーザは、パソコン４の操作手段を操作して画像処理プログラムを実行させる。

【0031】

この画像処理は、撮像した頁画像が、頁の見開き方向に湾曲していたり、頁の各ポジションとカメラ２２との距離が異なることにより、文字の大きさや画像の大きさ等が拡大されているように見える場所と縮小されているように見える場所などがあり、見づらい歪んだ頁画像になっているのを画像補正によって、歪みの無い頁画像にすることを目的とする処理である。

【0032】

画像処理プログラムによる画像処理は、左側の頁ＰＬの頁画像群および右側の頁ＰＲの頁画像群に分けて処理を行うが、左側の頁画像群と右側の頁画像群に施す処理内容は同じであるので、以下では、左側の頁画像群を代表して画像処理の内容を説明する。

【0033】

図３は、画像処理の流れを示すフローチャートである。
パソコン４の演算部４２（以下、演算部４２と記載する）は、先に撮像された左側の頁画像群の中から、初めの頁画像ＰＬＳと最後の頁画像ＰＬＥを選択し（ステップ１）、選択した頁画像ＰＬＳおよび頁画像ＰＬＥに処理Ａを実行し（ステップ２）、画像補正のための基準となる基礎データを取得する。

【0034】

（図３：ステップ２（図４の処理Ａ））
以下、図４に示す処理Ａのフローチャートを参照しながら、処理Ａの説明を行う。

【0035】

（図４：ステップＡ１）
まず、演算部４２は、頁画像ＰＬＳと頁画像ＰＬＥのそれぞれから上側基準線と下側基準線を取得する（ステップＡ１）。
上側基準線および下側基準線とは、実際の本Ｂの頁を平らにしたときに、真直ぐな直線となる頁幅方向に延びる線である。
つまり、この画像処理を終えたときに、真直ぐな直線となるべき線である。

【0036】

このような真直ぐな直線となるべき線は、頁画像ＰＬＳと頁画像ＰＬＥの状態では、頁画像自体が歪んだ画像状態になっているため曲線となっており、その曲線（基準曲線とも記載する）を取得する処理である。
上側基準線は、頁画像の上側に位置する基準曲線のことであり、下側基準線は、頁画像の下側に位置する基準曲線のことである。

【0037】

なお、頁画像ＰＬＳおよび頁画像ＰＬＥの上側基準線を取得するときには、実際の本Ｂの頁において同じ上下方向の同じ位置にある線を取得する。
また、頁画像ＰＬＳおよび頁画像ＰＬＥの下側基準線も上側基準線と同様に実際の本Ｂの頁において同じ上下方向の位置にある線を取得する。

【0038】

具体的に、どのようにして上側基準線および下側基準線を取得するのかについて、以下、図５および図６を参照して説明する。
図５には、本Ｂの上側に位置する上側基準線とする曲線と下側に位置する下側基準線とする曲線を示している。
この線は、本Ｂの頁を平らにしたときに真直ぐな直線となる線であり、このような線が初めから本Ｂに設けられている場合には、この線を上側基準線および下側基準線とすればよい。

【0039】

また、図５のように、本Ｂに上側基準線と下側基準線とできる線がない場合には、図６に示すように、本Ｂの一番上にある行を上側基準線とし、一番下にある行を下側基準線とするようにすればよい。
なお、上側基準線と下側基準線を自動で取得するようにしてもよいし、どこを基準線とするのかの判別が行い難いような頁画像の場合は、パソコン４の操作手段（マウス等）を用いてユーザが指定するようにしてもよい。

【0040】

ここで、後ほどの処理のために、上側基準線および下側基準線は、点座標で表現される点が繋がったような直線として取得する。
このため、例えば、上側基準線および下側基準線としようとする基準曲線の幅が厚く点座標として取得できない場合には、点座標として取得するための処理を施す。
なお、基準曲線の具体的な取得方法については、後ほど、この画像処理の説明を終えてから説明する。

【0041】

また、図６に示すように本Ｂの行を基準曲線とするような場合には、この基準曲線は、本Ｂの幅方向両端に届いていないので、このような場合は、点座標として取得した上側基準線および下側基準線を幅方向に延長するようにして、その延長処理を行った曲線を上側基準線および下側基準線とする。

【0042】

例えば、図７に示すように、一番端から連続する３点を用いて放物線の式を求め、得られた放物線に沿って単位ベクトルの長さずつ、線（点列）を追加するようにして、必要な分だけ端を延長する。

【0043】

また、別の方法としては、図８に示すように、一番端の点と隣接する隣の点とを用いて、単位ベクトルの方向に必要な分だけ線（点列）を追加するようにして、必要な分だけ端を延長する。
なお、図７および図８では、左側の端だけについて示しているが右側の端についても同様にして必要な分だけ延長する。

【0044】

上記のようにして、演算部４２は、頁画像ＰＬＳの上側基準線ＳＢＵＬおよび下側基準線ＳＢＤＬと、頁画像ＰＬＥの上側基準線ＥＢＵＬおよび下側基準線ＥＢＤＬと、を取得する。
このとき、演算部４２は、基準線取得手段を構成している。
図４に戻って、説明を続ける。

【0045】

（図４：ステップＡ２）
次に、演算部４２は、頁画像ＰＬＳおよび頁画像ＰＬＥの中の４つの基準点を上側基準線および下側基準線に基づき取得する（ステップＡ２）。
具体的には、頁画像ＰＬＳの上側基準線ＳＢＵＬの両端の点を２つの基準点とし、頁画像ＰＬＳの下側基準線ＳＢＤＬの両端の点を２つの基準点として、合計４つの基準点を取得する。

【0046】

また、頁画像ＰＬＥにおいても同様に、頁画像ＰＬＥの上側基準線ＥＢＵＬの両端の点を２つの基準点とし、頁画像ＰＬＥの下側基準線ＥＢＤＬの両端の点を２つの基準点として、合計４つの基準点を取得する。
このとき、演算部４２は、基準点取得手段を構成している。

【0047】

（図４：ステップＡ３）
引き続き、演算部４２は、４つの基準点に基づき、頁画像ＰＬＳおよび頁画像ＰＬＥの歪み補正を行う（ステップＡ３）。
この処理について頁画像ＰＬＳを代表して説明すると、ステップＡ２で求めた頁画像ＰＬＳの４つの基準点は、頁画像ＰＬＳの上側基準線ＳＢＵＬおよび下側基準線ＳＢＤＬの端に位置する４点である。

【0048】

頁画像ＰＬＳの上側基準線ＳＢＵＬおよび下側基準線ＳＢＤＬは、頁画像ＰＬＳ中では曲線であるが、本来、実際の本Ｂの頁を平らにしたときには、きれいな真直ぐの直線となる上下に位置する２つの線である。
したがって、頁画像ＰＬＳの上側基準線ＳＢＵＬおよび下側基準線ＳＢＤＬの端に位置する４点は、実際の本Ｂの頁を平らにした状態では、きれいな四角形（例えば、正方形や長方形等の矩形状）の隅の４点である。

【0049】

しかしながら、頁画像ＰＬＳは撮像時の歪みを有しているため、ステップＡ２で求めた４つの基準点を真直ぐな直線で結んだとしても台形やひし形等のような幾何学形状となり、きれいな四角形（矩形状）の状態にならない。

【0050】

そこで、この４つの基準点が歪み補正後に位置すべき４つの目標点（本来あるべき４点）に射影される射影行列を求め、その射影行列に基づき頁画像ＰＬＳの全体の歪み補正を実施する。
つまり、演算部４２は、頁画像ＰＬＳの４つの基準点と、歪み補正後に位置すべき、きれいな四角形（矩形状）の四隅の点に当たる所定の４つの目標点とから４つの基準点を４つの目標点に射影する射影行列ＳＡを演算し、その射影行列ＳＡで頁画像ＰＬＳ全体の歪み補正を行う。

【0051】

同様に、演算部４２は、頁画像ＰＬＥの４つの基準点と、歪み補正後に位置すべき、きれいな四角形（矩形状）の四隅の点に当たる所定の４つの目標点とから４つの基準点を４つの目標点に射影する射影行列ＥＡを演算し、その射影行列ＥＡで頁画像ＰＬＳ全体の歪み補正を行う。

【0052】

この歪み補正によって、頁画像ＰＬＳの上側基準線ＳＢＵＬおよび下側基準線ＳＢＤＬの点座標も射影されるので、この射影された後の点座標によって規定される歪み補正後の上側基準線ＳＢＵＬ’および歪み補正後の下側基準線ＳＢＤＬ’については、以後、補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’と記載する。
頁画像ＰＬＥについても同様に歪み補正後の上側基準線ＥＢＵＬ’および歪み補正後の下側基準線ＥＢＤＬ’を補正後上側基準線ＥＢＵＬ’および補正後下側基準線ＥＢＤＬ’と記載する。

【0053】

また、歪み補正後の頁画像ＰＬＳ’および歪み補正後の頁画像ＰＬＥ’についても補正後頁画像ＰＬＳ’および補正後頁画像ＰＬＥ’と記載する。
このとき、演算部４２は、歪み補正手段を構成する。
なお、ステップＡ３において演算部４２が求めた頁画像ＰＬＳの補正後頁画像ＰＬＳ’、射影行列ＳＡ、補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’は、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。

【0054】

また、同様に、ステップＡ３において演算部４２が求めた頁画像ＰＬＥの補正後頁画像ＰＬＥ’、射影行列ＥＡ、補正後上側基準線ＥＢＵＬ’および補正後下側基準線ＥＢＤＬ’も、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。
そして、ステップＡ３が終ると再び図３のフローに戻る。

【0055】

ここで、図３のフローの続きを説明する前に、上記ステップＡ１〜Ａ３、つまり、処理Ａによって、どのように頁画像ＰＬＳおよび頁画像ＰＬＥがどのような状態になっているのかについて図９および図１０を参酌しながら、簡単に説明する。なお、以下の説明も頁画像ＰＬＳを代表して説明する。

【0056】

図９は、歪み補正を行う前の頁画像ＰＬＳを示したものである。
なお、図９では、頁画像ＰＬＳの上側基準線ＳＢＵＬと下側基準線ＳＢＤＬの間の部分だけを模式的に示している。
図９に示すように、頁画像ＰＬＳの上側基準線ＳＢＵＬの両端の点ｒ２、ｒ３と下側基準線ＳＢＤＬの両端の点ｒ１、ｒ４を真直ぐな直線で結んだときの形状は台形状をしている。

【0057】

一方、図１０には、射影行列ＳＡで頁画像ＰＬＳを歪み補正した後の補正後頁画像ＰＬＳ’を示している。
なお、図１０では、図が見やすいように、４つの目標点ｒ１’、ｒ２’、ｒ３’およびｒ４’を真直ぐな直線で結んで出来る四角形を正面向きに図示している。

【0058】

射影行列ＳＡは、４つの基準点を４つの目標点に射影する行列であり、４つの基準点は、それぞれ頁画像ＰＬＳの上側基準線ＳＢＵＬと下側基準線ＳＢＤＬの両端の点であったので、この射影行列ＳＡで射影された補正後頁画像ＰＬＳ’の補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’の両端の点は、図１０に示すように、４つの目標点ｒ１’、ｒ２’、ｒ３’およびｒ４’に一致するようになっている。

【0059】

また、４つの目標点は、本来あるべききれいな四角形の四隅の点として与えられているので、図１０に示されるように、４つの目標点ｒ１’、ｒ２’、ｒ３’およびｒ４’を真直ぐな直線で結んだ形状は、図９の台形状から、きれいな四角形（矩形状）に変換されている。
但し、図１０を見るとわかるように、補正後頁画像ＰＬＳ’全体は、まだ、きれいな四角形の状態になっているわけではなく、完全に歪みが除去されているわけではない。

【0060】

したがって、補正後頁画像ＰＬＳ’および補正後頁画像ＰＬＥ’の状態から、さらに、残る歪みを補正する処理を行う必要があり、これから図３のフローに戻って、この残る歪みを補正する処理について説明する。

【0061】

ところで、上記では、初めの頁画像ＰＬＳと最後の頁画像ＰＬＥについてのみ処理を行っている。
当然、全ての頁の歪みを取り除くためには、その間にある左側の頁画像についても同様の処理を施す必要がある。
しかしながら、上記手順の全てを左側の頁について行うようにすると演算回数が多くなるので処理が遅くなる。
そこで、これまでに得られたデータで間にある左側の頁の補正に必要なデータ（射影行列、補正後上側基準線および補正後下側基準線）を求める処理を行う。

【0062】

左側の頁は、図１に示したように、自動的に頁がめくられ、頁がめくられる度にカメラ２２で撮像されることで取得されている。
このときに、本Ｂなどを動かすことは行っていないので、各頁の連続的な変化は、頁がめくられることにより、順次左側の頁の頁数が減少することに伴う線形的な変化が主である。

【0063】

このため、最初の左側の頁画像ＰＬＳの射影行列ＳＡが、一定の摂動量ΔＡで線形に変化していった結果、最後の左側の頁画像ＰＬＥの射影行列ＥＡの状態に至ると考えられる。
なお、補正後上側基準線および補正後下側基準線についても同様に、最初の左側の頁画像ＰＬＳの補正後頁画像ＰＬＳ’の補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’が一定の摂動量で変化していった結果、最後の左側の頁画像ＰＬＥの補正後上側基準線ＥＢＵＬ’および補正後下側基準線ＥＢＤＬ’の状態に至ると考えられる。

【0064】

実際に、何度か実験を実施した結果でもそれを裏付ける結果が得られている。
したがって、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像については、この線形性に着目して必要なデータ（射影行列、補正後上側基準線および補正後下側基準線）の算出を行う。

【0065】

（図３：ステップ３）
そのために、図３のフローのステップ３では、先ず、頁画像ＰＬＳの補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’と、頁画像ＰＬＥの補正後上側基準線ＥＢＵＬ’および補正後下側基準線ＥＢＤＬ’とから、補正後上側基準線の１頁当たりの摂動量ΔＢＵＬ’および補正後下側基準線の１頁当たりの摂動量ΔＢＤＬ’を求める。

【0066】

具体的には、演算部４２は、頁数の大きい頁画像ＰＬＥの補正後上側基準線ＥＢＵＬ’から頁数の小さい頁画像ＰＬＳの補正後上側基準線ＳＢＵＬ’の座標の差を取り、トータルの変化量ＴＵＬ’を求める（式（２）参照）。
ＴＵＬ’＝ＥＢＵＬ’の座標 − ＳＢＵＬ’の座標・・・（２）

【0067】

そして、演算部４２は、求めたトータルの変化量ＴＵＬ’を頁画像ＰＬＳと頁画像ＰＬＥとの間にある左側の頁の数Ｘに１加えた数（Ｘ＋１）で割ることで補正後上側基準線の１頁当たりの摂動量ΔＢＵＬ’を求める（式（３）参照）。
ΔＢＵＬ’＝ＴＵＬ’／（Ｘ＋１）・・・（３）

【0068】

同様に、演算部４２は、頁数の大きい頁画像ＰＬＥの補正後下側基準線ＥＢＤＬ’から頁数の小さい頁画像ＰＬＳの補正後下側基準線ＳＢＤＬ’の座標の差を取り、トータルの変化量ＴＤＬ’を求める（式（４）参照）。
ＴＤＬ’＝ＥＢＤＬ’の座標 − ＳＢＤＬ’の座標・・・（４）

【0069】

そして、演算部４２は、求めたトータルの変化量ＴＤＬ’を頁画像ＰＬＳと頁画像ＰＬＥとの間にある左側の頁の数Ｘに１加えた数（Ｘ＋１）で割ることで補正後下側基準線の１頁当たりの摂動量ΔＢＤＬ’を求める（式（５）参照）。
ΔＢＤＬ’＝ＴＤＬ’／（Ｘ＋１）・・・（５）

【0070】

なお、ステップ３において演算部４２が求めた補正後上側基準線のトータルの変化量ＴＵＬ’、補正後上側基準線の１頁当たりの摂動量ΔＢＵＬ’、補正後下側基準線のトータルの変化量ＴＤＬ’および補正後下側基準線の１頁当たりの摂動量ΔＢＤＬ’は、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。

【0071】

（図３：ステップ４）
次に、頁画像ＰＬＳの射影行列ＳＡと、頁画像ＰＬＥの射影行列ＥＡとから、射影行列の１頁当たりの摂動量ΔＡを求める（ステップ４）。
具体的には、演算部４２は、頁数の大きい頁画像ＰＬＥの射影行列ＥＡから頁数の小さい頁画像ＰＬＳの射影行列ＳＡの差を取り、トータルの変化量ＴＡを求める（式（６）参照）。
ＴＡ ＝ ＥＡ − ＳＡ・・・（６）

【0072】

そして、演算部４２は、求めたトータルの変化量ＴＡを頁画像ＰＬＳと頁画像ＰＬＥとの間にある左側の頁の数Ｘに１加えた数（Ｘ＋１）分の１倍することで射影行列の１頁当たりの摂動量ΔＡを求める（式（７）参照）。
ΔＡ ＝ ＴＡ×［１／（Ｘ＋１）］・・・（７）

【0073】

なお、ステップ４において演算部４２が求めた射影行列のトータルの変化量ＴＡおよび射影行列の１頁当たりの摂動量ΔＡは、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。

【0074】

（図３：ステップ５）
次に、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの補正後上側基準線ＭＢＵＬ’および補正後下側基準線ＭＢＤＬ’を求める（ステップ５）。
なお、補正後上側基準線ＭＢＵＬ’を算出するのと補正後下側基準線ＭＢＤＬ’を算出するのとは、使用するデータが異なるだけであり、処理自体は同じであるので補正後上側基準線ＭＢＵＬ’を求める処理を代表して説明する。

【0075】

頁数の小さい頁画像ＰＬＳを基準頁とし、補正後上側基準線ＭＢＵＬ’を求めようとする頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの基準頁からの頁数をＹとする。

【0076】

この補正後上側基準線ＭＢＵＬ’は、上述した線形性から頁画像ＰＬＳの補正後上側基準線ＳＢＵＬ’を、Ｙ頁分（Ｙ回）、補正後上側基準線の１頁当たりの摂動量ΔＢＵＬ’で摂動させたものに等しい。

【0077】

このことから、演算部４２は、以下の式（８）に従って、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの補正後上側基準線ＭＢＵＬ’を求める。
ＭＢＵＬ’＝ＳＢＵＬ’＋ΔＢＵＬ’×Ｙ・・・（８）

【0078】

同様に、演算部４２は、以下の式（９）に従って、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの補正後下側基準線ＭＢＤＬ’を求める。
ＭＢＤＬ’＝ＳＢＤＬ’＋ΔＢＤＬ’×Ｙ・・・（９）

【0079】

なお、ステップ５において演算部４２が求めた頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの補正後上側基準線ＭＢＵＬ’および頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの補正後下側基準線ＭＢＤＬ’は、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。

【0080】

（図３：ステップ６）
次に、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの射影行列ＭＡを求める（ステップ６）。
頁数の小さい頁画像ＰＬＳを基準頁とし、射影行列ＭＡを求めようとする頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの基準頁からの頁数をＹとする。

【0081】

この射影行列ＭＡは、上述した線形性から頁画像ＰＬＳの射影行列ＳＡを、Ｙ頁分（Ｙ回）、射影行列の１頁当たりの摂動量ΔＡで摂動させたものに等しい。
このことから、演算部４２は、以下の式（１０）に従って、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの射影行列ＭＡを求める。
ＭＡ ＝ ＳＡ ＋ ΔＡ×Ｙ・・・（１０）

【0082】

なお、ステップ６において演算部４２が求めた頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの射影行列ＭＡは、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。

【0083】

（図３：ステップ７）
ステップ６で頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの射影行列ＭＡが求まったので、演算部４２は、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭについて、求めた射影行列ＭＡで頁画像ＰＬＭ全体を射影し、頁画像ＰＬＳおよび頁画像ＰＬＥの間にある頁画像ＰＬＭの補正後頁画像ＰＬＭ’を求める。

【0084】

なお、ステップ７において演算部４２が求めた頁画像ＰＬＭの補正後頁画像ＰＬＭ’は、パソコン４の記憶部（ＨＤＤ）４１若しくは演算部４２のＲＡＭに記憶される。

【0085】

（図３：ステップ８）
次に、補正後上側基準線と補正後下側基準線のシフトが必要か判断する（ステップ８）。
これは、例えば、図６に示したように、頁画像の一番上の行を上側基準線とし、一番下の行を下側基準線とした場合、補正を行うべき画像部分の一部が上側基準線と下側基準線との間に収まっていない場合がある。

【0086】

そこで、補正すべき画像部分が上側基準線と下側基準線との間に収まるようにするために、補正後上側基準線と補正後下側基準線とを余白側に平行移動（シフト）する必要があるかを判定する。

【0087】

この場合、本Ｂは、各頁において、一番上の行と一番下の行は、紙面上の同じ位置に位置し、上側の余白および下側の余白も各頁で同じだけ取られているのが一般的であるため、例えば、頁画像ＰＬＳを代表頁として、上記シフトが必要かを判断すればよい。
そして、シフトの必要がなければステップ８（ＮＯ）としてステップ１０へ進み、シフトが必要であればステップ８（ＹＥＳ）としてステップ９に進む。

【0088】

（図３：ステップ９）
ステップ８でシフトの必要があると判断された場合（ステップ８：ＹＥＳ）、補正後上側基準線を、余白を超えない範囲で上側に平行移動（シフト）させるとともに、補正後下側基準線を、余白を超えない範囲で下側に平行移動（シフト）させる。

【0089】

上述したように、本Ｂにおいて、各頁で、一番上の行と一番下の行は、紙面上の同じ位置に位置し、上側の余白および下側の余白も同じだけ取られているのが一般的であるため、例えば、頁画像ＰＬＳを代表頁として、どの程度、シフトさせるのかを決めて、残る頁も同じだけシフトさせればよい。

【0090】

このようなシフトを行っても単に平行移動を実施しただけであるので、補正後上側基準線の両端の２点および補正後下側基準線の両端の２点の合計４点を真直ぐな直線で結んだときの形状は、きれいな四角形（矩形状）を保ったままである。

【0091】

（図３：ステップ１０（図１１の処理Ｂ））
ステップ９までの処理によって、全ての左側の頁ＰＬについて、補正後頁画像ＰＬ’、つまり、頁画像ＰＬＳの補正後頁画像ＰＬＳ’、頁画像ＰＬＥの補正後頁画像ＰＬＥ’および頁画像ＰＬＳと頁画像ＰＬＥとの間にある頁画像ＰＬＭの補正後頁画像ＰＬＭ’が得られた。

【0092】

また、ステップ９までの処理によって、全ての左側の頁ＰＬについて、補正後上側基準線ＢＵＬ’および補正後下側基準線ＢＤＬ’、つまり、頁画像ＰＬＳの補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’、頁画像ＰＬＥの補正後上側基準線ＥＢＵＬ’および補正後下側基準線ＥＢＤＬ’、および、頁画像ＰＬＳと頁画像ＰＬＥとの間にある頁画像ＰＬＭの補正後上側基準線ＭＢＵＬ’および補正後下側基準線ＭＢＤＬ’が得られたので、補正後頁画像ＰＬＳ’、ＰＬＥ’およびＰＬＭ’の残る歪みを除去する処理を実施する。

【0093】

つまり、図４のフロー（処理Ａ）の説明を終えた後に、図１０を参照しながら説明したように、補正後頁画像ＰＬＳ’、ＰＬＥ’およびＰＬＭ’は、まだ、完全に歪みがなくなっているわけではなく、さらに、残る歪みを補正する処理を行う必要があると述べた残る歪みを補正する処理Ｂを実施する（ステップ１０）。

【0094】

以下、図１１に示す処理Ｂのフローチャートを参照しながら、処理Ｂの説明を行う。
先ず、演算部４２は、初めに処理する補正後頁画像を選択する（ステップＢ１）。
ここでは、例えば、頁数が一番小さい補正後頁画像ＰＬＳ’を選択するものとする。
図１２に、この選択した補正後頁画像ＰＬＳ’の状態を模式的に示した図を示している。

【0095】

補正後頁画像ＰＬＳ’は、射影行列ＳＡで射影された後の頁画像であるので補正後上側基準線ＳＢＵＬ’の両端の２点（ｒ２’およびｒ３’）と補正後下側基準線ＳＢＤＬ’の両端の２点（ｒ１’およびｒ４’）との合計４点を真直ぐな直線で結んだ輪郭Ｒ２（以下、矩形輪郭Ｒ２とも呼ぶ）は、きれいな四角形（矩形状）の状態となるように歪み補正が済んでいるが、補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’の状態を見るとわかるように、補正後頁画像ＰＬＳ’自体は、綴じ目方向（Ｙ方向）における湾曲が残ったままである。

【0096】

ここで、上記湾曲は、実際の撮像時の頁の湾曲に伴うものであるが、補正後頁画像ＰＬＳ’の最も湾曲している部分（Ｕ参照）は、補正後頁画像ＰＬＳ’の左右の端部よりもカメラ２２に近い状態で撮像されているため、左右の端部と比べて大きく撮影されている。
つまり、補正後頁画像ＰＬＳ’の幅方向の略中央付近の補正後上側基準線ＳＢＵＬ’から補正後下側基準線ＳＢＤＬ’まで綴じ目方向に沿って延在する領域Ｕは、矩形輪郭Ｒ２よりも綴じ目方向に大きい（長い）。

【0097】

このように、補正後頁画像ＰＬＳ’の綴じ目方向の長さは、補正後頁画像ＰＬＳ’の幅方向でばらついており、これを均一化し、矩形輪郭Ｒ２内に収めるべく、縦方向補正処理を実行する。

【0098】

先ず、図１１のステップＢ２の補正後頁画像の縦方向補正のフローを説明する前に、図１３に示す模式図を参照して、縦方向補正処理で用いる変換式について説明する。
なお、以下では、図１２の補正後頁画像ＰＬＳ’の補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’と、補正後上側基準線ＳＢＵＬ’および補正後下側基準線ＳＢＤＬ’の両端を真直ぐな直線で結んだ輪郭を補正後頁画像ＰＬＳ’の輪郭Ｒ１と呼ぶ。

【0099】

図１３中のＦは便宜上置かれた焦点である。Ａ’は補正後頁画像ＰＬＳ’の輪郭Ｒ１における任意の領域Ｕの上点、Ｂ’は領域Ｕにおける任意の領域Ｕの下点、Ｐ’はＡ’−Ｂ’線上における任意の点、Ａは矩形輪郭Ｒ２内で領域Ｕに対応する部分の上点、Ｂは矩形輪郭Ｒ２内で領域Ｕに対応する部分の下点、ＰはＡ−Ｂ線上における点Ｐ’に対応する点を示している。

【0100】

この図１３から以下の関係がわかる。
ΔＡ’ＦＢ’∝ΔＡＦＢ
∴ＦＰ：ＦＰ’＝ｈ：Ｈ
ΔＡＦＰ∝ΔＡ’ＦＰ’
∴ＡＰ：Ａ’Ｐ’＝ｈ：Ｈ
∴ＡＰ＝ｈ／Ｈ・Ａ’Ｐ’
ここで、Ａ点のＹ座標値をｙａとし、Ｐ点のＹ座標値をｙｐとし、Ａ’点のＹ座標値をｙａ’とし、Ｐ’点のＹ座標値をｙｐ’とすると、
Ａ’Ｐ’＝ｙａ’-ｙｐ’
ＡＰ＝ ｙａ -ｙｐ
となる。
∴ｙｐ＝ｈ／Ｈ・（ｙｐ’ -ｙａ’）＋ｙａ・・・（１１）
この式（１１）によって任意の点Ｐ’の変換後のＰのＹ座標値を求めることができる。
実際には、矩形輪郭Ｒ２内のメッシュ内の各点の階調に、対応する輪郭Ｒ１の点における階調を当てはめていく補正を行う。

【0101】

（図１１：ステップＢ２（図１４の縦方向補正処理））
次に、上記で説明した補正後頁画像の縦方向補正（縦方向補正処理）の流れについて図１４に示すフローチャートを参照して説明する。
先ず、演算部４２は矩形輪郭Ｒ２の綴じ目方向の長さｈを取得する（ステップＳ６１）。
具体的には、補正後頁画像ＰＬＳ’の輪郭Ｒ１の右側若しくは左側の上下の角部の間隔、つまり、図１２のｒ１’とｒ２’との間の間隔若しくは図１２のｒ４’とｒ３’との間の間隔を長さｈとする。
次に、演算部４２は補正後頁画像ＰＬＳ’の輪郭Ｒ１を幅方向にｎ分割し、各分割領域Ｕ１の横座標ｘ（ｉ）を設定する（ステップＳ６２）。つまり、演算部４２が本発明に係る分割手段である。

【0102】

続いて、演算部４２はｉを１に設定する（ステップＳ６３）。
さらに、演算部４２は補正後頁画像ＰＬＳ’の輪郭Ｒ１を基にｘ（ｉ）での縦方向の長さＨを取得する（ステップＳ６４）。
そして、演算部４２は分割領域Ｕ１間の境目のＰ’点に対応するＹ座標値（ｙｐ’）を、式（１１）を用いて算出し、当該Ｐ’点の画像を変換する（ステップＳ６５）。

【0103】

続いて、演算部４２は、ｘ（ｉ）での綴じ目方向全ての点で変換処理が終わったか否かを判断し（ステップＳ６６）、終わっていない場合（ステップＳ６６：ＮＯ）はステップＳ６５に移行して、終わっている場合（ステップＳ６６：ＹＥＳ）はステップＳ６７に移行する。

【0104】

次に、ステップＳ６７では、演算部４２は、ｉがｎ−１であるか否かを判断し（ステップＳ６７）、ｎ−１である場合（ステップＳ６７：ＹＥＳ）は縦方向補正処理を終了して図１１のフローに戻り、ｎ−１でない場合（ステップＳ６７：ＮＯ）はステップＳ６８に移行する。

【0105】

ステップＳ６８に移行した場合、演算部４２は、ｉ＝ｉ＋１としてステップＳ６４に移行する。これによってｎ−１個ある分割領域Ｕ１間の境目の全てに対して縦方向補正が実行される。
このように、演算部４２は、分割領域Ｕ１毎に綴じ目方向の長さを補正する本発明に係る第１補正手段を構成している。

【0106】

図１１に戻って説明を続ける。ステップＢ３では、演算部４２は、縦方向補正後の補正後頁画像ＰＬＳ’に対して幅方向補正処理を実行する。つまり、演算部４２は本発明に係る第２補正手段を構成している。
図１５は縦方向補正を終えた後の補正後頁画像ＰＬＳ’とその輪郭Ｒ１と、矩形輪郭Ｒ２とを模式的に示した図である。
なお、以下では、特に断りがない限り、縦方向補正を終えた後の補正後頁画像ＰＬＳ’のことを、単に、補正後頁画像ＰＬＳ’と記載する。

【0107】

補正後頁画像ＰＬＳ’およびその輪郭Ｒ１においては、図１５に示すように綴じ目方向の湾曲が残ったままであるので、図１５に示すように湾曲Ｗ１を直線Ｌ１に戻す処理を行う必要がある。この際、幅方向の場所によって補正量が変動するため、ステップＢ３で幅方向補正を実行する。

【0108】

（図１１：ステップＢ３（図１６の幅方向補正処理））
図１６は幅方向補正処理の流れを示すフローチャートである。
演算部４２は、矩形輪郭Ｒ２の綴じ目方向の長さｈを取得する（ステップＳ７１）。
次に、演算部４２は補正後頁画像ＰＬＳ’の輪郭Ｒ１を幅方向にｎ分割し、各分割領域Ｕ１の横座標ｘ（ｉ）を設定する（ステップＳ７２）。

【0109】

続いて、演算部４２はｉを１に設定する（ステップＳ７３）。
そして、演算部４２はｘ（ｉ）での撓み量ｄｚ（ｉ）を推定する（ステップＳ７４）。つまり、演算部４２が本発明に係る推定手段である。
図１７は分割領域Ｕ１における撓み量ｄ（ｚ）を示す説明図であり、（ａ）は実際の頁Ｐ１の断面図、（ｂ）は補正後頁画像ＰＬＳ’を示す正面図である。
図１７（ａ）に示すように、実際の頁Ｐ１の法線方向（Ｚ方向）の撓み量ｄｚ（ｉ）は、厳密に言うとｉ番目の分割領域Ｕ１と、ｉ−１番目の分割領域Ｕ１とのＺ方向の差分によって求まる。しかしながら、この算出にはカメラ２２から紙面までの距離や、角度が必要であり、それらの測定が手間となる。ここで、分割領域Ｕ１の幅が微小であれば、ｉ番目の分割領域Ｕ１の綴じ目方向の長さＨ（ｉ）と、ｉ−１番目の分割領域Ｕ１の長さＨ（ｉ−１）との差分が撓み量ｄｚ（ｉ）と近似的に等しくなる。この関係性を用いて、分割領域Ｕ１の撓み量ｄｚ（ｉ）を推定する。
具体的には、式（１）により撓み量ｄｚ（ｉ）を推定する。
ｄｚ（ｉ）＝ｋ・｛Ｈ（ｉ）−Ｈ（ｉ−１）｝・・・（１）
なお、ここでｋは任意の係数である。この係数ｋを用いることで、幅方向補正処理後の画像を幅方向で調整することができる。ここで暫定的にｋ＝１で計算していく。

【0110】

図１６のフローに戻って、演算部４２は実際の幅ｄｘ’（ｉ）を求める（ステップＳ７５）。
ｄｘ（ｉ）は補正後頁画像ＰＬＳ’におけるｉ番目の分割領域Ｕ１の幅である。
ｄｘ（ｉ）＝ｘ（ｉ）−ｘ（ｉ−１）＝｛ｘ（ｎ）−ｘ（０）｝／ｎ
実際の幅ｄｘ’（ｉ）は、ｘ（ｉ）の高さｚ（ｉ）によって修正を受けている。ｚ（ｉ）が高い場合、Ｈが大きくなると同様に幅も大きくなっている。つまり、実際の幅ｄｘ’（ｉ）は小さい。この関係は以下の式にまとめられる。
ｄｘ’（ｉ）＝ｈ／Ｈ（ｉ）・ｄｘ（ｉ）

【0111】

次に、演算部４２はｄｓ（ｉ）を求める（ステップＳ７６）。
ｄｓ（ｉ）は、ｉ番目の分割領域Ｕ１における実際の頁Ｐ１の微小長さである。
図１８は、ｄｓ（ｉ）、ｄｚ（ｉ）及びｄｘ’（ｉ）の関係を示す説明図である。
図１８に示すように、ｄｓ（ｉ）は、ステップＳ７４で求めたＺ方向の長さｄｚ（ｉ）とステップＳ７５で求めたＸ方向の長さｄｘ’（ｉ）とを基にした三平方の定理によって算出される。
ｄｓ（ｉ）＝｛ｄｚ（ｉ）^２＋ｄｘ’（ｉ）^２｝^１／２

【0112】

続いて、演算部４２はｉがｎであるか否かを判断し（ステップＳ７７）、ｎである場合（ステップＳ７７：ＹＥＳ）はステップＳ７９に移行し、ｎでない場合（ステップＳ７７：ＮＯ）はステップＳ７８に移行する。
ステップＳ７８では、演算部４２は、ｉ＝ｉ＋１としてステップＳ７４に移行する。これによってｎ個ある分割領域Ｕ１の全てに対してｄｚ（ｉ）、ｄｘ’（ｉ）及びｄｓ（ｉ）が求められる。

【0113】

一方、ステップＳ７９では、演算部４２は、実際の頁Ｐ１の幅方向の長さＳを求める。具体的には、ｎ個ある分割領域Ｕ１の全てのｄｓ（ｉ）の総和を求めることで、実際の頁Ｐ１の幅方向の長さＳが算出される。
そして、演算部４２は、ｉを再び１に設定する（ステップＳ８０）。

【0114】

次に、演算部４２は、１からｉ番目まで分割領域Ｕ１のｄｓ（ｉ）を求め、その累積値Ｓ（ｉ）を算出する（ステップＳ８１）。

【0115】

続いて、演算部４２は、ｘ（ｉ）をｘ’（ｉ）に対応させて画像を変換する（ステップＳ８２）。
図１９は、幅方向補正処理前のｘ’（ｉ）と、幅方向補正処理後のｘ（ｉ）との関係を示す説明図である。図１９に示すように、頁Ｐ１の実際のＳとＳ（ｉ）との比は、ｘ（０）からｘ（ｎ）までの長さとｘ（０）からｘ（ｉ）までの長さの比と同値であるから、以下の式のような関係となる。
Ｓ：Ｓ（ｉ）＝ｘ（ｎ）−ｘ（０）：ｘ（ｉ）−ｘ（０）
この関係性を基に、ｘ’（ｉ）をｘ（ｉ）に変換することにより、任意の点Ｐの画像を変換する。なお、変換式はｘ（ｉ）＝ｆ（ｘ’（ｉ））であるが、この式については明確なものはなく、Ｓ（ｉ）に対応するｘ’（ｉ）を逐次的に見つけ出してｘ（ｉ）と対応させている。

【0116】

そして、演算部４２は、ｘ（ｉ）での綴じ目方向全ての点で変換処理が終わったか否かを判断し（ステップＳ８３）、終わっていない場合（ステップＳ８３：ＮＯ）はステップＳ８２に移行して、終わっている場合（ステップＳ８３：ＹＥＳ）はステップＳ８４に移行する。

【0117】

次に、演算部４２は、ｉがｎであるか否かを判断し（ステップＳ８４）、ｎである場合（ステップＳ８４：ＹＥＳ）は幅方向補正処理を終了して図１１のフローに戻り、ｎでない場合（ステップＳ８４：ＮＯ）はステップＳ８５に移行する。
ステップＳ８５では、演算部４２は、ｉ＝ｉ＋１としてステップＳ８１に移行する。これによってｎ個ある分割領域Ｕ１の全てに対して幅方向補正が実行される。

【0118】

（図１１：ステップＢ４）
そして、ステップＳ８４（ＹＥＳ）として図１１のフローに戻ると、次に、演算部４２は、縦方向補正処理及び幅方向補正処理が施されたｎ個の分割領域Ｕ１を合成し、全体の画像を作成する（ステップＢ４）。つまり、演算部４２が本発明に係る合成手段である。

【0119】

具体的には、幅方向補正処理によって補正された幅方向の長さを累積加算することにより、高さ方向補正処理後のｎ個の分割領域Ｕ１を合成し、記憶部（ＨＤＤ）４１に保存する。

【0120】

（図１１：ステップＢ５）
引き続き、演算部４２は、全ての左側の頁ＰＬについて処理を行ったかを判断し（ステップＢ５）、処理を終えていない頁がある場合（ステップＢ５：ＮＯ）は頁数が１つ大きい処理前の補正後頁画像ＰＬ’を選択し（ステップＢ６）、再び、ステップＢ２に戻り、先ほどと同様の手順で、この新たな処理前の補正後頁画像ＰＬ’に対して縦方向補正、横方向補正および分割領域の合成を行う。

【0121】

一方、全ての左側の頁ＰＬについて処理を行った場合（ステップＢ５：ＹＥＳ）は、全ての左側の頁画像ＰＬについて、歪みのない画像が得られたので処理を終了し、今度は、上記で説明したのと同様の手順で右側の頁画像ＰＲについての処理を行う。

【0122】

なお、上記で説明した処理Ｂのフローは、各頁画像毎に射影行列で射影を行った補正後頁画像の残る歪みを補正する処理である。
この処理を行うに当たり、補正後頁画像およびその補正号頁画像に対応した補正後上側基準線および補正後下側基準線を用いる。

【0123】

本実施形態では、この処理Ｂのフローに入る前の前処理として補正後頁画像およびその補正後頁画像に対応した補正後上側基準線および補正後下側基準線を求める場合を示したが、前処理として求める必要はない。
この処理Ｂで各頁画像を選択する毎に、その頁画像についての射影行列を線形性に基づいて求め、その求めた射影行列で補正後頁画像を得るとともに、その補正後頁画像に対応した補正後上側基準線および補正後下側基準線を線形性に基づいて求めた後、ステップＢ２〜Ｂ５の処理を行うようにしてもよい。

【0124】

また、本実施形態では、幅方向補正処理におけるｄｚ（ｉ）を求める際に、式（１）に対して係数ｋ（暫定的にｋ＝１）を用いている。
上記処理により、各分割領域Ｕ１の幅方向の均一化が図られるものの、幅全体の長さの正確性に問題が生じる。

【0125】

例えば、図２０（ａ）では、湾曲度が小さい頁Ｐ１に対して補正を施した場合を示し、図２０（ｂ）では、（ａ）の場合と同じ頁Ｐ１をより大きく湾曲させて補正を施した場合を示している。この図２０でも明らかなように、補正後の画像Ｑ１、Ｑ２は幅方向の長さが異なることになる。これは実際の頁Ｐ１の幅が同じであってもその湾曲度によってＨ（ｉ）とＨ（ｉ−１）との差分が大きく異なってしまうことに起因する。このばらつきを抑制するべく、係数ｋを考慮し、処理を行うことができる。

【0126】

すなわち、実際は、頁Ｐ１のアスペクト比（例えば規定の紙サイズ）がわかっているので、図１１のステップＢ４で求められた画像の横幅と頁Ｐ１のアスペクト比から求められる横幅との比が係数ｋに相当する。
したがって、ステップＢ４で求められた画像をこの比に対応して幅方向に拡縮することにより、所望のアスペクト比で歪みのない画像を求めることができる。
具体的には、余白部分を含めた補正後の画像が所定のサイズ（例えば規定の紙サイズ）になるように幅方向に拡縮することが好ましい。

【0127】

以上のように、本実施形態によれば、射影行列で歪み補正を行った後の補正後頁画像を綴じ目方向に延在する略矩形状の分割領域Ｕ１に分割する前に、先ず、補正後頁画像の全体の輪郭が補正されるので、分割領域Ｕ１に分割しやすくすることができる。

【0128】

そして、分割領域Ｕ１毎に綴じ目方向の長さを補正した後に、実際の頁Ｐ１における分割領域Ｕ１の法線方向の撓み量を推定し、当該推定した撓み量に基づいて幅方向の長さも補正されているので、綴じ目方向の補正と幅方向の補正とを効率的に行うことができる。
したがって、湾曲した紙面を撮像した場合であっても、切り取った画像が判読しやすくなるように適切に効率よく補正することができる。

【0129】

また、分割領域Ｕ１の撓み量が、当該分割領域Ｕ１の綴じ目方向の長さに基づいて推定されているので、撓み量を実測しなくともよく、それだけ効率的に撓み量を求めることができる。
さらに、幅方向補正処理によって補正された幅方向の長さを累積加算することにより、高さ方向補正処理後のｎ個の分割領域Ｕ１が合成されているので、幅方向の長さを画像全体として適切に補正することができる。

【0130】

ここで、全ての頁画像について、上側基準線および下側基準線を定めて、４つの基準点に基づき射影行列を求め、射影行列で射影した後の補正後上側基準線および補正後下側基準線を求めるようにすることも可能であるが、本実施形態のように、初めの頁と終わりの頁だけについて、上側基準線および下側基準線を定めて、４つの基準点に基づき射影行列を求め、射影行列で射影した後の補正後上側基準線および補正後下側基準線を求めるようにして、間の頁に関しては線形性に基づいて射影行列、補正後上側基準線および補正後下側基準線を求めるようにすることで大幅に演算量を低減し、処理速度を向上させることが可能になる。

【0131】

なお、本実施形態では、上側基準線および下側基準線を定めて、４つの基準点に基づき射影行列を求め、射影行列で射影した後の補正後上側基準線および補正後下側基準線を求める頁を、初めの頁と終わりの頁としたが、必ずしも初めの頁と終わりの頁とする必要はない。
初めの方の頁と終わりの方の頁を選択し、その間にある頁の射影行列、補正後上側基準線および補正後下側基準線を線形性に基づき求めるようにしてもよいことは言うまでもない。

【0132】

（上側基準線および下側基準線の取得）
以上、画像処理の全体の説明を終えたので、先に、図４のステップＡ１の所で後ほど説明すると述べた基準曲線（上側基準線および下側基準線）の具体的な取得方法について引き続き説明を行う。

【0133】

図２１は、基準曲線の取得手順を示したフローチャートである。
なお、上側基準線を取得する手順と下側基準線を取得する手順は、頁画像における位置が異なるだけであり、処理内容自体は同じであるので、以下では、これらを代表して基準曲線として説明する。

【0134】

まず、図５で示したような基準曲線として適切な曲線が存在する場合は、自動処理が可能であり、この場合、先ず、演算部４２は、全ての輪郭を抽出する（ステップＣ１）。

【0135】

次に、演算部４２は、その抽出された輪郭の中から、２次モーメント（慣性モーメント）を求め、得られた２次モーメントｍ０２、ｍ２０を基に重心周りの２次モーメントＩ＝ｍ０２＋ｍ２０を求めて、この量が一番大きい輪郭を基準曲線とすべき輪郭として取得する（ステップＣ２）。
なお、図５の場合、ステップＣ１およびＣ２を頁画像の上側（上側基準線の抽出）と頁画像の下側（下側基準線の抽出）に分けて行えばよい。
この重心周りの２次モーメントは、細長い形状で大きな値を有するので、図５の上側および下側に見られる幅方向に細長く延びる曲線が抽出される。

【0136】

図２２は、輪郭の状態で抽出された基準線とすべき曲線を模式的に示した図である。
図２２の黒丸は、輪郭を構成する座標点の一部を示したものであり、この輪郭として抽出したものを１つの点列の曲線として取得する必要がある。

【0137】

ここで単純に座標の位置だけでは、この輪郭の中で上に位置する点列よりも上側に位置する下の点列が存在することなどから、座標点の採用の仕方で複数のパターンの曲線が生まれ、ばらつきが生じる。
このようなバラツキを起こさないようにするためには、この輪郭の真ん中を通る曲線を取得することが考えられる。
つまり、図２２において、白丸で示すような中点を求め、これら中点の集まり（点列）を基準曲線として取得すれば良いと考えられる。

【0138】

しかしながら、輪郭線上の座標点（黒丸）において、どの座標点（黒丸）同士を対として中点を求めればよいかが定かでない。そこで、以下の手順で輪郭線の中央を通る曲線を求める。

【0139】

先ず、演算部４２は、取得した輪郭に対してドロネーの三角分割で輪郭の点列を３点１組の単位に分割する（ステップＣ３）。
つまり、輪郭の座標点を可能な限り小さい面積で、且つ、正三角形に近い組を３点１組とするように結んで輪郭を三角分割する。

【0140】

図２３は、輪郭線内が三角分割された状態を示している。
なお、図２３には、示していないが三角形を形成することができない２点については、図２４に示すように無限遠に仮想的な点を設定し、三角形を形成させるようにしている。

【0141】

次に、三角形を形成する組について不適切な組を除く作業をしていく。
例えば、三角形を形成する組が輪郭線の外側に描かれる組も含めｎ組あったものとする。
演算部４２は、ｉ＝０として、この不適切な三角形の組を除去するための走査を開始する（ステップＣ４）。

【0142】

三角形の組のうち、輪郭の外側に位置する三角形は、輪郭内の中点を含まないので、演算部４２は、選択されたｉ番目の組が輪郭の外側に位置する三角形を形成する組かを判断し（ステップＣ５）、輪郭内の三角形を形成する組の場合（ステップＣ５：ＮＯ）、輪郭内の中点を含む三角形を形成する組である可能性があるので、削除せず、そのままステップＣ８に進む。

【0143】

一方、ｉ番目の組が、輪郭の外側に位置する三角形を形成する組の場合（ステップＣ５：ＹＥＳ）、このｉ番目の組を別の配列に記憶させた後（ステップＣ６）、三角分割のデータが記憶されている配列からｉ番目の組を削除する（ステップＣ７）。
なお、ステップＣ６で別の配列にｉ番目の組を記憶させて完全に削除しないのは、不要な三角形の組を求めるのに後ほど使用するからである。

【0144】

次に、演算部４２は、全ての組を操作したか（ｉ＝ｎ−１か？）を判断し（ステップＣ８）、全ての組の走査が終了していない場合（ステップＣ８：ＮＯ）、ｉ＝ｉ＋１として（ステップＣ１５）、再びステップＣ５に戻る。
全ての組の走査が終了している場合（ステップＣ８：ＹＥＳ）、演算部４２は、ｉ＝０として新たに組の走査を開始する（ステップＣ９）。

【0145】

ここで、上記走査によって削除されずに三角分割のデータの配列内に残っている組が、ｍ組であるとして、以下の説明を進める。
演算部４２は、先ほど別の配列に記憶させた削除すべき組のうちのいずれかの組の２点（削除した組の２点）と、ｉ番目の組の２点が、一致するかを判断し（ステップＣ１０）、ｉ番目の組が一致する２点を有していない場合（ステップＣ１０：ＮＯ）、ｉ番目の組を削除して（ステップＣ１６）、ステップＣ１３に進む。

【0146】

これは、三角形の辺が輪郭上に位置する場合、無限遠に仮想的な点を設けた三角形（先に別の配列に記憶させた除去すべき三角形）と辺を共有するが、ステップＣ１０でＮＯとなる場合、２点が一致していないので辺を共有しておらず、このｉ番目の組は、輪郭上に辺を有していない。

【0147】

このような三角形は、図２５に示すように、隣接する輪郭内の三角形から求められる中点と同じ中点を有するだけであるので中点を求めるのに不要であるだけでなく、この三角形を利用して中点を求める処理を行うと、重複した中点が出現するので後ほど、重複した中点を１つの中点にするために、余計な中点のデータを除く重複処理も必要になるため削除を行う。

【0148】

図２１のフローに戻って、先ほど別の配列に記憶させた削除すべき組のうちのいずれかの組の２点と、ｉ番目の組の２点が一致した場合（ステップＣ１０：ＹＥＳ）、演算部４２は、今比較した２点が一致した組以外の別の組で、２点が一致する組が別の配列に記憶させた削除すべき組にあるか、つまり、別の削除した組の２点と、ｉ番目の組の２点が一致するかを判断する（ステップＣ１１）。

【0149】

ここで、別の削除した組の２点と、ｉ番目の組の２点が一致する場合（ステップＣ１１：ＹＥＳ）、先ほどのステップＣ１０で発見された組と合わせると、ｉ番目の組は、輪郭の外の三角形として削除される２つの三角形と辺を共有していることになる。
つまり、ｉ番目の組が形成する三角形は、図２５に点線で囲まれている位置にある三角形を形成している。

【0150】

そして、図２５を見るとわかるように、この点線で囲まれている三角形は、輪郭の一方側の線上に３点を有し、輪郭内を横断する三角形ではないので輪郭の中点を含まない。
このため、ステップＣ１１（ＹＥＳ）の場合は、演算部４２は、ｉ番目の組を削除し（ステップＣ１２）、ステップＣ１３に進む。

【0151】

一方、ステップＣ１１（ＮＯ）の場合、輪郭の中点を含む三角形を形成しているので、ｉ番目の組の３点の内、削除した組の２点と一致した点以外の１つの点と各々一致した２点とを結ぶ辺の中点（図２５の斜線ありの三角形の白丸参照）を取得した後（ステップＣ１７）、ステップＣ１３に進む。

【0152】

なお、この処理においても隣接する中点を含む三角形が取得する中点と同じ点が重複取得されることになるため、余計な中点のデータを除く重複処理を行う必要がある。
但し、全ての中点を取得した後に重複処理を行ってもよく、また、中点を取得する処理中に重複する中点が現れたときに、余計な中点のデータを除くようにしてもよい。

【0153】

そして、演算部４２は、全ての組を走査したか（ｉ＝ｍ−１？）を判断し（ステップＣ１３）、全ての組の走査が終っていない場合（ステップＣ１３：ＮＯ）、演算部４２は、ｉ＝ｉ＋１として（ステップＣ１８）、再びステップＣ１０に戻る。

【0154】

一方、全ての組の走査が終了している場合（ステップＣ１３：ＹＥＳ）、演算部４２は、中点を曲線として表すように整列させて点列（点座標）とした基準曲線（上側基準線、下側基準線）を作成する（ステップ１４）。
なお、上記では図５に示すような基準曲線とすべき曲線がある場合について説明したが、そのような適切な線がない場合には、図６で説明したように、１番上の行や１番下の行の部分に仮想的なマーカーを設け、それを認識させるようにすればよい。

【0155】

（第２実施形態）
図２６は、第２実施形態の構成を示す図である。
以下では、第１実施形態と異なる点について主に説明し、同様の部分についての説明については割愛する。

【0156】

図２６に示すように、第２実施形態の書画カメラシステム１では、カメラ付タブレット６をタブレット据置台７上に設置し、本Ｂの片側の頁（図では右側の頁ＰＲ）の略中央にカメラ付タブレット６の背面に設けられたカメラ６ｂを位置させるようにして頁画像の撮像を行うようにしている。
また、カメラ付タブレット６は、カメラ６ｂと反対側となる表面にタッチパネル式の表示部６ａを備えている。

【0157】

図２７は第２実施形態の書画カメラシステム１の主制御構成を示すブロック図である。
カメラ付タブレット６は、記憶部（ＳＴＧ：ストレージ）６１と、演算部６２と、通信部６３と、カメラ６ｂとを備えている。
記憶部（ＳＴＧ）６１には、撮像した頁画像並びに補正した補正後頁画像等や各種演算で求めた値（基準曲線、摂動量等）が記憶される。
なお、図２７では、カメラ付タブレット６内に記憶部（ＳＴＧ）６１を設けている場合を示しているが、クラウドなど保存データのみ外部のストレージを使うようにしてもよい。

【0158】

演算部６２には、自動頁めくり装置５およびカメラ６ｂを制御して自動で頁画像を撮像するためのプログラム（以下、自動撮影用のプログラムともいう）や撮像した頁画像を補正するプログラム（以下、画像処理プログラムともいう）等の各種プログラムが記録されたＲＯＭ（図示せず）と、ＲＯＭ中のプログラムの実行時に当該プログラムが展開されるＲＡＭ（図示せず）と、ＲＯＭ中のプログラムをＲＡＭに展開し実行するＣＰＵ（図示せす）とが備えられている。

【0159】

通信部６３は、自動頁めくり装置５との間での同期を取った通信を行なう。
なお、図２７には、図示していないが、カメラ付タブレット６は、タッチパネル式の表示部を備え、この表示部が操作手段となる。
また、図２６では、カメラ付タブレット６と自動頁めくり装置５との間の通信を無線通信としている場合を示しているが、有線通信としてもよい。

【0160】

このように、書画カメラシステム１をカメラ付タブレット６で構成するとタッチ操作のような優れた操作性を有する操作手段によって基準曲線の取得などを行えるという利点がある。

【0161】

一方、第２実施形態でも、第１実施形態で説明した処理と同様の処理を演算部６２が行う点では同じであるが、上述のように、第２実施形態では、カメラ６ｂの位置が本Ｂの片側の頁（図では右側の頁ＰＲ）の略中央に位置するようにして撮像を行っているため、上側基準線と下側基準線のうちの一方を取得すれば、画像処理によって他方の基準線を取得することが可能である。

【0162】

具体的に、図２８を参照して説明すると、図２８の上側にある頁幅方向に延びる実線は、実際に取得する上側基準線である。
ここで、カメラ６ｂの位置が実際の頁の略中央に位置した状態で頁画像が撮像されているため、撮像された頁画像の湾曲（歪み）状態は、頁画像の中央線（紙面の中心線参照）を基準に上下対称の状態になる。

【0163】

このため、下側基準線は、取得した上側基準線を頁画像の中央線で折り返した形状として仮想的に取得することが可能である。
このように、第２実施形態によれば、基準曲線（上側基準線、下側基準線）を取得する演算を低減することが可能である。

【0164】

（第３実施形態）
図２９は、第３実施形態の構成を示す図である。
以下では、第２実施形態と異なる点について主に説明し、同様の部分についての説明については割愛する。

【0165】

図２９に示すように、第３実施形態の書画カメラシステム１では、カメラ付タブレット６がパソコン４に接続されている点が異なる。
図３０に第３実施形態の書画カメラシステム１の主制御構成を示すブロック図を示しているが、図３０に示されるように、パソコン４は、主に演算部４２と、記憶部（ＨＤＤ）４１とを備える。

【0166】

このような書画カメラシステム１の構成とすることで、カメラ付タブレット６は、頁画像の撮像処理と、図３のフローのステップ１〜４の処理を主に行い、必要なデータをパソコン４側に送信し、ステップ５以降の演算量が多くなる処理部分については、高速なデータ処理が可能であるパソコン４側で行わせるようにする。

【0167】

このように、第３実施形態では、基準曲線の取得など操作性が求められるような部分を高い操作性を有するカメラ付タブレット６で行い、演算量が多くなり、処理が重くなる画像処理の主な部分を高速処理が可能なパソコン４で行うことができるので、良好な操作性と高速な画像処理とを両立することが可能となる。

【0168】

以上、具体的な実施形態に基づき、本発明の説明を行ってきたが、本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

【0169】

（付記１）
書籍の厚み方向が撮像されるように前記書籍における複数頁の紙面を頁毎に撮像した頁画像を取得する取得手段と、
前記取得した頁画像のうちの所定の第一の頁に対応する頁画像と前記第一の頁とは異なる第二の頁に対応する頁画像とに基づいて前記第一の頁を開いたときと前記第二の頁を開いたときの厚みの変化量を導出する導出手段と、
前記厚みの変化量に基づいて前記第一の頁と前記第二の頁との間にある第三の頁に対応する紙面の画像を補正する補正手段と、
を備えることを特徴とする頁画像補正装置。

【0170】

（付記２）
書籍の厚み方向が撮像されるように前記書籍における複数頁の紙面を頁毎に撮像した頁画像を取得するステップと、
前記取得した頁画像のうちの所定の第一の頁に対応する頁画像と前記第一の頁とは異なる第二の頁に対応する頁画像とに基づいて前記第一の頁を開いたときと前記第二の頁を開いたときの厚みの変化量を導出するステップと、
前記厚みの変化量に基づいて前記第一の頁と前記第二の頁との間にある第三の頁に対応する紙面の画像を補正するステップと、
を含むことを特徴とする頁画像補正方法。

【0171】

（付記３）
本の頁画像を取得する頁画像取得手段と、
前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得する基準線取得手段と、
前記上側基準線と前記下側基準線に基づき４つの基準点を取得する基準点取得手段と、
前記基準点に基づいて前記頁画像の歪みを補正する歪み補正手段と、
前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割する分割手段と、
前記分割領域毎に前記綴じ目方向の長さを補正する第１補正手段と、
前記第１補正手段で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定する推定手段と、
前記推定手段によって推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正手段と、
前記第１補正手段及び前記第２補正手段で補正されたｎ個の前記分割領域を合成して合成頁画像を取得する合成頁画像取得手段と、
を備えることを特徴とする頁画像補正装置。

【0172】

（付記４）
前記基準点取得手段は、上側基準線の両端の２点と下側基準線の両端の２点を４つの前記基準点として取得することを特徴とする付記３に記載の頁画像補正装置。

【0173】

（付記５）
前記推定手段は、前記撓み量の推定が前記分割領域の前記綴じ目方向の長さに基づいて行われることを特徴とする付記３又は４に記載の頁画像補正装置。

【0174】

（付記６）
ｉ番目の前記分割領域の前記綴じ目方向の長さをＨ（ｉ）とし、ｉ−１番目の前記分割領域の前記綴じ目方向の長さをＨ（ｉ−１）とし、任意の係数をｋとして、
前記推定手段は、前記ｉ番目の前記分割領域の前記撓み量ｄｚ（ｉ）を下記式（１）にて推定することを特徴とする付記５に記載の頁画像補正装置。
ｄｚ（ｉ）＝ｋ・｛Ｈ（ｉ）−Ｈ（ｉ−１）｝・・・（１）

【0175】

（付記７）
前記任意の係数ｋは、前記合成頁画像のアスペクト比が平らな状態にしたときの実際の頁のアスペクト比と略等しくなるように定められることを特徴とする付記６に記載の頁画像補正装置。

【0176】

（付記８）
前記合成頁画像取得手段は、前記第１補正手段及び前記第２補正手段で補正されたｎ個の前記分割領域を、前記分割手段で分割されたときの前記幅方向の並び順のまま繋げるように合成することを特徴とする付記３乃至７のいずれか１つに記載の頁画像補正装置。

【0177】

（付記９）
前記歪み補正手段は、４つの前記基準点が歪み補正後に位置すべき４つの目標点に射影される射影行列に基づき前記歪み補正を行うことを特徴とする付記３乃至８のいずれか１つに記載の頁画像補正装置。

【0178】

（付記１０）
頁数の離れた２つの頁の前記射影行列に基づき、１頁当たりの前記射影行列の摂動量ΔＡを求め、２つの前記頁のうちの一方の頁を基準頁として、前記基準頁から離れた頁の前記射影行列を、離れた頁数分だけ前記基準頁の前記射影行列を前記摂動量ΔＡで摂動させたものとすることを特徴とする付記９に記載の頁画像補正装置。

【0179】

（付記１１）
頁数の離れた２つの頁の前記歪み補正後の前記上側基準線に基づき、１頁当たりの前記歪み補正後の前記上側基準線の摂動量ΔＵＬを求めるとともに２つの頁の前記歪み補正後の前記下側基準線に基づき、１頁当たりの前記歪み補正後の前記下側基準線の摂動量ΔＤＬを求め、２つの前記頁のうちの一方の頁を基準頁として、前記基準頁から離れた頁の前記歪み補正後の前記上側基準線を離れた頁数分だけ前記基準頁の前記歪み補正後の前記上側基準線を前記摂動量ΔＵＬで摂動させたものとするとともに、前記基準頁から離れた頁の前記歪み補正後の前記下側基準線を離れた頁数分だけ前記基準頁の前記歪み補正後の前記下側基準線を前記摂動量ΔＤＬで摂動させたものとすることを特徴とする付記３乃至１０のいずれか１つに記載の頁画像補正装置。

【0180】

（付記１２）
２つの前記頁がどちらも左側頁若しくは右側頁であることを特徴とする付記１０又は１１に記載の頁画像補正装置。

【0181】

（付記１３）
前記基準線取得手段は、前記合成頁画像において真直ぐな直線となるべき前記頁画像の上側に位置する線を前記上側基準線として取得するとともに、前記合成頁画像において真直ぐな直線となるべき前記頁画像の下側に位置する線を前記下側基準線として取得することを特徴とする付記３乃至１２のいずれか１つに記載の頁画像補正装置。

【0182】

（付記１４）
前記基準線取得手段は、前記合成頁画像において真直ぐな直線となるべき前記頁画像の上側又は下側に位置する線を前記上側基準線又は前記下側基準線として取得するとともに、残る前記下側基準線又は前記上側基準線を前記取得した前記上側基準線又は前記下側基準線を前記頁画像の略中央を基準に折り返した線として取得することを特徴とする付記３乃至１２のいずれか１つに記載の頁画像補正装置。

【0183】

（付記１５）
前記真直ぐな直線となるべき線が太く、点が繋がった直線と見なせない場合は、前記真直ぐな直線となるべき線の中央を通る点が繋がったと見なせる細い線を前記真直ぐな直線となるべき線とすることを特徴とする付記１３又は１４に記載の頁画像補正装置。

【0184】

（付記１６）
前記真直ぐな直線となるべき線が頁の左右方向の端から端まで届いていない場合は、前記真直ぐな直線となるべき線を延長して頁の左右方向の端から端まで届くようにした線を前記真直ぐな直線となるべき線とすることを特徴とする付記１３乃至１５のいずれか１つに記載の頁画像補正装置。

【0185】

（付記１７）
前記歪み補正後の前記頁画像において、前記第１補正手段及び前記第２補正手段で補正したい画像部分が、前記歪み補正後の前記上側基準線および前記下側基準線の間に位置するように、前記歪み補正後の前記上側基準線および前記下側基準線の位置をシフトさせることを特徴とする付記３乃至１５のいずれか１つに記載の頁画像補正装置。

【0186】

（付記１８）
本の頁画像を取得するステップと、
前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得するステップと、
前記上側基準線と前記下側基準線に基づき４つの基準点を取得するステップと、
前記基準点に基づいて前記頁画像の歪みを補正するステップと、
前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割するステップと、
前記分割領域毎に前記綴じ目方向の長さを補正する第１補正をするステップと、
前記第１補正で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定するステップと、
推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正をするステップと、
前記第１補正及び前記第２補正で補正されたｎ個の前記分割領域を合成して合成頁画像を取得するステップと、
を含むことを特徴とする頁画像補正方法。

【0187】

（付記１９）
頁画像補正装置を制御するコンピュータに、
本の頁画像を取得する機能、
前記頁画像の上側に位置する頁幅方向に延びる上側基準線と下側に位置する頁幅方向に延びる下側基準線を取得する機能、
前記上側基準線と前記下側基準線に基づき４つの基準点を取得する機能、
前記基準点に基づいて前記頁画像の歪みを補正する機能、
前記歪み補正後の前記頁画像を前記歪み補正後の前記上側基準線と前記下側基準線との間で綴じ目方向に沿って延在する略矩形状の分割領域が前記綴じ目方向に直交する幅方向にｎ個配列されるように分割する機能、
前記分割領域毎に前記綴じ目方向の長さを補正する第１補正をする機能、
前記第１補正で補正された前記分割領域毎に、実際の頁での前記分割領域の法線方向の撓み量を推定する機能、
推定された前記撓み量に基づいて前記分割領域毎の前記幅方向の長さを補正する第２補正をする機能、
前記第１補正及び前記第２補正で補正されたｎ個の前記分割領域を合成して合成頁画像を取得する機能、
を実現させるためのプログラム。

【符号の説明】

【0188】

１・・・書画カメラシステム、２・・・書画カメラ、２１・・・スタンド部、２２・・・カメラ、３・・・載置台、４・・・パソコン、４１・・・記憶部（ＨＤＤ）、４２・・・演算部、４３・・・通信部、５・・・自動頁めくり装置、５ａ・・・アーム、５ｂ・・・頁めくり部、５ｃ・・・送風部、５１・・・通信部、５２・・・モータ制御部、５３・・・モータ、６・・・カメラ付タブレット、６ａ・・・タッチパネル式の表示部、６ｂ・・・カメラ、６１・・・ストレージ（ＳＴＧ）、６２・・・演算部、６３・・・通信部、７・・・タブレット据置台

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】