特許 6139165 画像処理装置、画像処理方法、画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6139165

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】画像処理装置、画像処理方法、画像処理システム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20170522BHJP

   G06T 3/60 20060101ALI20170522BHJP

【ＦＩ】

   H04N1/387

   G06T3/60

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2013-27449(P2013-27449)

(22)【出願日】2013年2月15日

(65)【公開番号】特開2014-158139(P2014-158139A)

(43)【公開日】2014年8月28日

【審査請求日】2015年9月14日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝ソリューション株式会社

(74)【代理人】

【識別番号】110001092

【氏名又は名称】特許業務法人サクラ国際特許事務所

(72)【発明者】

【氏名】原田 裕里

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００６−１４６８２９（ＪＰ，Ａ）

【文献】 特開２０１２−２４９１６５（ＪＰ，Ａ）

【文献】 特開２００２−１９２７８５（ＪＰ，Ａ）

【文献】 特開２００３−２６３５６９（ＪＰ，Ａ）

【文献】 特開２０１２−０８０３１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−９／４０

Ｈ０４Ｎ １／０４

Ｈ０４Ｎ １／０６−１／１９

Ｈ０４Ｎ １／２０３

Ｈ０４Ｎ １／３８−１／４０９

Ｈ０４Ｎ １／４６

Ｈ０４Ｎ １／６０

(57)【特許請求の範囲】

【請求項1】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込む画像取込部と、
前記識別標識に基づいて、前記第１〜第３の辺の３辺を検出する検出部と、
前記検出された３辺に基づいて、前記画像をスキュー補正する補正部と、
を具備する画像処理装置。

【請求項2】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込む画像取込部と、
前記画像上の第１の側と前記第１の側と反対側の第２の側とを識別し、前記第１の側の前記第１〜第３の辺の３辺を検出し、前記第１の側に前記識別標識が検出されない場合に、前記第２の側の３辺を検出する検出部と、
前記検出された３辺に基づいて、前記画像をスキュー補正する補正部と、
を具備する画像処理装置。

【請求項3】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込む画像取込部と、
前記画像上の第１の側と前記第１の側と反対側の第２の側とを識別し、前記第１の側の前記第１〜第３の辺の３辺を検出する検出部と、
前記検出された３辺と予め設定されている前記第１の紙葉類の長さに基づいて、前記第１の側の紙葉類に対応する領域を抽出し、前記領域をスキュー補正する補正部と、
を具備する画像処理装置。

【請求項4】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込む画像取込部と、
前記画像上の第１の側と前記第１の側と反対側の第２の側とを識別し、前記第１の側の前記第１〜第３の辺の３辺を検出する検出部と、
前記検出された３辺を平行移動させて前記第１及び第２の紙葉類を最小限で含む領域を抽出し、前記領域をスキュー補正する補正部と、
を具備する画像処理装置。

【請求項5】

前記スキュー補正された前記第１および第２の紙葉類の画像を表示する表示部をさらに備える請求項１乃至４いずれか１項に記載の画像処理装置。

【請求項6】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込むステップと、
前記識別標識に基づいて、前記第１〜第３の辺の３辺を検出するステップと、
前記検出された３辺に基づいて、前記画像をスキュー補正するステップと、
を含む画像処理方法。

【請求項7】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込むステップと、
前記画像上の第１の側と前記第１の側と反対側の第２の側とを識別し、前記第１の側の前記第１〜第３の辺の３辺を検出し、前記第１の側に前記識別標識が検出されない場合に、前記第２の側の３辺を検出するするステップと、
前記検出された３辺に基づいて、前記画像をスキュー補正するステップと、
を含む画像処理方法。

【請求項8】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込むステップと、
前記画像上の第１の側と前記第１の側と反対側の第２の側とを識別し、前記第１の側の前記第１〜第３の辺の３辺を検出し、前記第１の側に前記識別標識が検出されない場合に、前記第２の側の３辺を検出するステップと、
前記検出された３辺と予め設定されている前記第１の紙葉類の長さに基づいて、前記第１の側の紙葉類に対応する領域を抽出し、前記領域をスキュー補正するステップと、
を含む画像処理方法。

【請求項9】

紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込むステップと、
前記画像上の第１の側と前記第１の側と反対側の第２の側とを識別し、前記第１の側の前記第１〜第３の辺の３辺を検出するステップと、
前記検出された３辺を平行移動させて前記第１及び第２の紙葉類を最小限で含む領域を抽出し、前記領域をスキュー補正するステップと、
を含む画像処理方法。

【請求項10】

前記スキュー補正された前記第１および第２の紙葉類の画像を表示するステップをさらに含む請求項６乃至９いずれか１項に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、スキュー補正を行う画像処理装置、画像処理方法に関する。

【背景技術】

【0002】

近年、紙葉類のエッジ情報（紙葉類と紙葉類以外の領域との境界情報）などの特徴量に対応する傾き角度や、紙葉類内の既知の印刷項目の傾き角度を求め、この求めた傾き角度に基づいて、画像のスキュー補正を行うものが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−８７０２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

手形と補箋の２枚の用紙を貼り付けた長方形の紙葉類（補箋付手形）をスキュー補正の対象とする場合がある。この場合には、補箋が手形に対して斜めに貼られて長方形にならないことがあり、手形の傾きに合わせたスキュー補正が困難になるなどの問題がある。
本発明が解決しようとする課題は、手形部分の傾きに合わせたスキュー補正を行うことのできる画像処理装置、画像処理方法を提供することにある。

【課題を解決するための手段】

【0005】

実施形態の画像処理装置は、紙葉類の種別を識別する識別標識を有し、第１〜第４の辺を有する第１の紙葉類と、前記第１の紙葉類とは前記種別が異なり前記第１の紙葉類と少なくとも一部が重なる第２の紙葉類との画像を取り込む画像取込部と、前記識別標識に基づいて、前記第１〜第３の辺の３辺を検出する検出部と、前記検出された３辺に基づいて、前記画像をスキュー補正する補正部と、を備える。

【図面の簡単な説明】

【0006】

【図1】一実施形態の画像処理システムの構成を示す図。

【図2】補箋付手形（帳票）を示す図。

【図3】図１に示した画像処理装置の構成を示すブロック図。

【図4】外接の矩形を求めるときの補箋付手形の画像を示す図。

【図5】直線を推定するときの補箋付手形の画像を示す図。

【図6】手形の右辺を求めるときの補箋付手形の画像を示す図。

【図7】手形のスキュー補正を行うときの補箋付手形の画像を示す図。

【図8】スキュー補正後の手形の画像を示す図。

【図9】識別標識を検出するときの補箋付手形の画像を示す図。

【図10】全体のスキュー補正を行うときの補箋付手形の画像を示す図。

【図11】スキュー補正後の補箋付手形全体の画像を示す図。

【図12】外接の矩形を求めるときの補箋付手形（逆向き）の画像を示す図。

【図13】直線を推定するときの補箋付手形（逆向き）の画像を示す図。

【図14】手形の右辺を求めるときの補箋付手形（逆向き）の画像を示す図。

【図15】実施形態１のスキュー補正の動作を説明するためのフローチャート。

【図16】同じく、実施形態１のスキュー補正の動作を説明するためのフローチャート。

【図17】実施形態２のスキュー補正の動作を説明するためのフローチャート。

【図18】同じく、実施形態２のスキュー補正の動作を説明するためのフローチャート。

【発明を実施するための形態】

【0007】

以下、実施形態について図面を参照しながら説明する。
（実施形態１）
図１は一実施形態の光学的文字読取装置１０と画像処理装置２０とを備える画像処理システムの構成を示す図である。図２は、補箋付手形（帳票Ａ）を示す図である。

【0008】

図１に示すように、光学的文字読取装置１０は、搬送装置１１を備える。搬送装置１１は、帳票のイメージを光学的に読み取る装置本体１２と、この装置本体１２の一端上部側に設けられ、帳票Ａを装置本体１２に給紙する給紙装置１３を有する。給紙装置１３は、傾斜されて積層された複数枚の帳票Ａを載置している。

【0009】

給紙装置１３の送出側には、帳票Ａを装置本体１２内に送り込むためのフィーダ部１４が配設されている。このフィーダ部１４には、帳票Ａを取り込むための各種ローラ４０，４１が設けられている。ローラ４０，４１は、制御部１８によって動作制御される、図示しないドライバによって回転される。

【0010】

図１に示すように、装置本体１２は、フィーダ部１４から帳票Ａを取り込むためのローラ４６と、内部に設けられた水平搬送路１５と、上面部に設けられた読取部１６と、帳票Ａを搬送するための搬送ローラ１７と、制御部１８と、制御ホスト１００等を有する。
図１に示すように、ローラ４６は、制御部１８によって動作制御される、図示しないドライバによって回転される。

【0011】

水平搬送路１５は、フィーダ部１４から送り込まれた帳票Ａを装置本体１２の水平方向に搬送するためのガイドである。水平搬送路１５は、図示しない搬送ベルトを有する。この搬送ベルトは、制御部１８によって動作制御される、図示しないドライバによって駆動される。

【0012】

読取部１６は、水平搬送路５によって搬送される帳票Ａに記録されている情報（画像）を光学的に読み取るためのものである。この読取部１６は、帳票Ａの色と異なる色の背面を有する読み取り領域で上記帳票Ａの画像を読み取る。この読取部１６は、制御部１８によって動作制御される。

【0013】

搬送ローラ１７は、光学的に読み取られた帳票Ａを搬送するためのものである。この搬送ローラ１７は、制御部１８によって動作制御される、図示しないドライバによって駆動される。

【0014】

制御部１８は、制御ホスト１００からの指示に基づいて、搬送装置１１内の各種ドライバの動作制御を行い、帳票Ａの搬送制御を行なう。また、制御部１８は、読取部１６で読み取られた画像を制御ホスト１００に送出している。

【0015】

制御ホスト１００は、帳票Ａをアライニングさせ、読取部１６で画像が読み取られるように、制御部１８に指示を与える。この指示に基づいて、制御部１８が各種ドライバおよび読取部１６の動作制御を行なう。
また、制御ホスト１００は、制御部１８から取り込んだ画像を画像処理装置２０に送出している。

【0016】

図２に示すように、帳票Ａは、手形Ａ１と、この手形Ａ１に貼り付けられた補箋Ａ２の２つの紙葉類とからなる。

【0017】

手形Ａ１は、例えば有価証券や証書類である。この手形Ａ１は、裏書を記載できる余白と、補箋Ａ２を貼り付けるためののりしろ部とを有している。
補箋Ａ２は、手形Ａ１において、裏書を記載できる余白がなくなったときに、補充のために手形Ａ１に貼り付ける紙片である。

【0018】

この補箋付手形は、表面から見ると、手形（約束手形）Ａ１の左側に補箋Ａ２が添付されている。この補箋付手形は、補箋Ａ２が手形Ａ１に対して、のりしろ部で斜めに貼り付けられている可能性もあり、全体が長方形であるとは限らない（後述する図４参照）。また、オペレータは、手形Ａ１の表面部分をメインに見ることが多い。

【0019】

そこで、この実施形態では、取り込まれた画像に対して、手形Ａ１部分の傾きを基準としたスキュー補正を行うものとする。すなわち、この実施形態では、取り込まれた帳票が補箋付手形であることを識別し、手形部分の傾きに合わせてスキュー補正する場合を説明する。

【0020】

図３は、図１に示した画像処理装置２０の構成を示すブロック図である。図４は、外接の矩形を求めるときの補箋付手形の画像を示す図である。図５は、直線を推定するときの補箋付手形の画像を示す図である。図６は、手形の右辺を求めるときの補箋付手形の画像を示す図ある。図７は、手形のスキュー補正を行うときの補箋付手形の画像を示す図である。図８は、スキュー補正後の手形の画像を示す図である。図９は、識別標識を検出するときの補箋付手形の画像を示す図である。図１０は、全体のスキュー補正を行うときの補箋付手形の画像を示す図である。図１１は、スキュー補正後の補箋付手形全体の画像を示す図である。図１２は、外接の矩形を求めるときの補箋付手形（逆向き）の画像を示す図で、補箋付手形が逆向きに読み込まれたときの画像である。図１３は、直線を推定するときの補箋付手形（逆向き）の画像を示す図である。図１４は、手形の右辺を求めるときの補箋付手形（逆向き）の画像を示す図である。

【0021】

図３に示すように、画像処理装置２０は、パーソナルコンピュータ（ＰＣ）からなり、制御部２１、画像取込部２２、直線推定部２３、矩形検出部２４、スキュー補正部２５、表示部２６を備える。制御部２１は、画像処理を行うために、上記の各部２２〜２６に信号（指示信号など）やデータを送出して、各部２２〜２６の動作を制御している。

【0022】

画像取込部２２は、光学的文字読取装置１０（制御ホスト１００）と電気的に接続されるインターフェースの機能を有している。この画像取込部２２は、制御ホスト１００から送出された図４の補箋付手形を含む画像Ｂを取り込んでいる。取り込まれた画像Ｂのデータは、図示しないメモリに書き込まれる。

【0023】

なお、手形（第１の紙葉類）Ａ１は、第１〜第４の辺Ａ１１〜Ａ１４を有するとともに、紙葉類の種別が異なる補箋（第２の紙葉類）Ａ２と識別する識別標識Ａ１５を有している。この識別標識Ａ１５は、例えば手形の整理番号が書き込まれる矩形の枠体からなる。
補箋（第２の紙葉類）Ａ２は、第５〜第７の辺Ａ２１〜Ａ２３と、手形Ａ１と重なる第８の辺Ａ２４を有し、手形Ａ１の第４の辺Ａ１４と少なくとも一部が重なっている。

【0024】

直線推定部２３は、手形Ａ１の３辺Ａ１１〜Ａ１３に沿って、それぞれ伸ばした直線ｓ１〜ｓ３の傾きを推定する機能を有する。

【0025】

まず、この直線推定部２３は、図４、図１２に示すように、帳票Ａの画像全体が入る外接の矩形Ｂ１を算出し、この矩形Ｂ１の横幅ｄを求める。直線推定部２３は、求めた矩形Ｂ１の横幅ｄが、予め設定された補箋付手形の最小サイズ以上であれば、帳票Ａが補箋付手形と判別する。

【0026】

直線推定部２３は、画像Ｂ上の第１の側（例えば左側）と、この左側と反対側の右側（第２の側）とを識別しており、この左側の３辺（左辺、上辺、下辺）のエッジを検出する。この左側の３辺とは、図４では手形Ａ１の第１〜第３の辺Ａ１１〜Ａ１３であり、図１２では補箋Ａ２の補箋Ａ２の第５〜第７の辺Ａ２１〜Ａ２３である。

【0027】

この実施形態では、直線推定部２３は手形Ａ１の横幅ｅの情報を記憶している。この直線推定部２３は、矩形Ｂ１（図４参照）の左端から２ｅ／３（手形の横幅の２／３）で左側の紙葉類を含む直線推定範囲ｔ１を設定し、左側の３辺のエッジを検出する。

【0028】

そして、直線推定部２３は、検出したエッジを利用して上記３辺に沿った直線、図５では直線ｓ１〜ｓ３、図１３では直線ｓ４〜ｓ６をそれぞれ推定する。この推定には、例えば直線近似法を利用して直線を求め、他方の紙葉類のエッジ部分の情報は削除している。このように左端から２ｅ／３をエッジ検出することにより、手形の横幅ｅの部分をエッジ検出する場合などに比べてエッジ検出を迅速に行うことができる。

【0029】

直線推定部２３は、この左側の紙葉類の右辺を求める。この実施形態では、直線推定部２３は推定した左辺の直線（図６では直線ｓ１、図１３ではｓ４）を、手形Ａ１の横幅ｅ分だけ右側に平行移動し、右辺の直線（図６では直線ｓ７、図１３ではｓ８）を推定する。そして、直線推定部２３は、図７に示すように、直線ｓ１〜ｓ３、ｓ７の交点ｐ１〜ｐ４を検出する。このように左辺の直線を平行移動して右辺の直線を推定するので、４辺全てをエッジ検索する場合などに比べて、４辺を迅速に検出することができる。

【0030】

また、直線推定部２３は、識別標識に基づいて、第１〜第３の辺を検出する。
つまり、直線推定部２３は、画像Ｂ上の左側の紙葉類が手形Ａ１でない、すなわち識別標識Ａ１５が検出されない場合、画像Ｂ上の右側の３辺（左辺、上辺、下辺）のエッジを検出する。この右側の３辺とは、図１４に示すように、手形Ａ１の第１〜第３の辺Ａ１１〜Ａ１３である。

【0031】

直線推定部２３は、矩形Ｂ１（図１４参照）の右端から２ｅ／３（手形の横幅の２／３）で右側の紙葉類を含む直線推定範囲ｔ２を設定し、右側の３辺の辺Ａ１１〜Ａ１３のエッジを検出する。そして、直線推定部２３は、検出したエッジを利用して上記３辺Ａ１１〜Ａ１３に沿った直線ｓ９〜ｓ１１をそれぞれ推定する。この推定には、いわゆる直線近似法などを利用して直線を求め、他方の紙葉類のエッジ部分の情報は削除している。このように右端から２ｅ／３をエッジ検出することにより、手形の横幅ｅの部分をエッジ検出する場合などに比べてエッジ検出が短くて済むので、このエッジ検出を迅速に行うことができる。

【0032】

直線推定部２３は、この右側の紙葉類の左辺を求める。この実施形態では、図１４に示すように、直線推定部２３は推定した右辺の直線ｓ９を、手形Ａ１の横幅ｅ分だけ左側に平行移動し、左辺の直線ｓ１２を推定する。そして、直線推定部２３は、直線ｓ９〜ｓ１２の交点ｐ９〜ｐ１２を検出する。このように右辺の直線を平行移動して左辺の直線を推定するので、４辺全てをエッジ検索する場合などに比べて、４辺を迅速に検出することができる。

【0033】

また、直線推定部２３は、識別標識Ａ１５が検出された場合、図９に示すように、帳票Ａ全体を囲うように、各直線ｓ１〜ｓ３、ｓ７を外側に平行移動する。この実施形態では、直線ｓ３、ｓ７を帳票（補箋Ａ２）の画像と一致しない位置まで下側、右側にそれぞれ平行移動する。そして、直線推定部２３は、図１０に示すように、直線ｓ１〜ｓ３、ｓ７の交点ｐ５〜ｐ８を検出する。

【0034】

矩形検出部２４は、識別標識Ａ１５の有無を検出する。
矩形検出部２４は、識別標識Ａ１５の位置情報を記憶している。矩形検出部２４は、この識別標識Ａ１５の位置情報に基づき、スキュー補正が行われた手形Ａ１の画像に対して整理番号の矩形（識別標識）Ａ１５の検出を行う。
この直線推定部２３と矩形検出部２４は、特許請求の範囲の検出部の機能を有している。

【0035】

スキュー補正部２５は、直線ｓ１〜ｓ３、ｓ７の傾きから画像のスキュー補正を行う。
スキュー補正部２５は、図７で直線推定部２３が検出した直線ｓ１〜ｓ３、ｓ７の交点ｐ１〜ｐ４に基づき、直線ｓ１〜ｓ３、ｓ７の傾きを求める。そして、この実施形態では、スキュー補正部２５は求めた直線ｓ１〜ｓ３、ｓ７の傾きと予め設定した画像の基準点とに基づき、交点ｐ１〜ｐ４を補正することで、図８に示すように、手形Ａ１をスキュー補正する。この場合、例えば交点ｐ１を基準点に合わせ、他の交点ｐ２〜ｐ４を傾きに合わせて、基準点との位置関係を補正する。

【0036】

また、スキュー補正部２５は、図１０で直線推定部２３が検出した直線ｓ１〜ｓ３、ｓ７の交点ｐ５〜ｐ８に基づき、直線ｓ１〜ｓ３、ｓ７の傾きを求める。そして、この実施形態では、スキュー補正部２５は求めた直線ｓ１〜ｓ３、ｓ７の傾きと予め設定した画像の基準点とに基づき、交点ｐ５〜ｐ８を補正することで、図１１に示すように、帳票Ａ全体をスキュー補正する。この場合も、上記同様、例えば交点ｐ５を基準点に合わせ、他の交点ｐ６〜ｐ８を傾きに合わせて、基準点との位置関係を補正する。

【0037】

また、スキュー補正部２５は、図１４に示すように、右側の４辺Ａ１１〜Ａ１４の直線ｓ９〜ｓ１２の推定を行った場合、画像Ｃを１８０度回転させて、図７に示す画像Ｂに補正する。この場合は、例えば画像Ｃ上のある基準点を中心にして、画像を１８０度回転させるようにスキュー補正することで、画像Ｂを得ることができる。

【0038】

表示部２６は、スキュー補正された画像を表示する。
表示部２６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示手段を有し、 スキュー補正された帳票Ａの全体の画像をこのＬＣＤに表示させる。
これにより、オペレータにスキュー補正された補箋付手形（帳票Ａ）を認識させることが可能となる。

【0039】

次に、画像処理装置２０のスキュー補正の動作について説明する。
図１５は、実施形態１のスキュー補正の動作を説明するためのフローチャートである。図１６は、同じく、実施形態１のスキュー補正の動作を説明するためのフローチャートである。画像処理装置２０は、画像取込部２２が帳票の画像を取り込むと、スキュー補正を開始する。

【0040】

図１５に示すように、帳票Ａを含む画像Ｂが取り込まれると、直線推定部２３は、帳票Ａの画像全体が入る外接の矩形Ｂ１を算出し（図４、図１２参照）、この矩形Ｂ１の横幅ｄを求める（ステップＳ１０１）。

【0041】

そして、直線推定部２３は、この矩形Ｂ１の横幅ｄが補箋付手形（帳票Ａ）の最小サイズ以上かどうか判断する（ステップＳ１０２）。

【0042】

ここで、横幅ｄが補箋付手形（帳票Ａ）の最小サイズ未満の場合は（ステップＳ１０２のＮｏの場合）、図１６に示すように、補箋付手形以外と判断して（ステップＳ１１９）、直線推定部２３が帳票Ａのエッジを検出する（ステップＳ１２０）。

【0043】

そして、スキュー補正部２５が、エッジ検出された帳票Ａの通常のスキュー補正を行い（ステップＳ１２１）、表示部２６が、このスキュー補正された帳票Ａの画像を表示する（ステップＳ１１１）。

【0044】

また、図１５のステップＳ１０２において、横幅ｄが補箋付手形（帳票Ａ）の最小サイズ以上の場合は（ステップＳ１０２のＹｅｓの場合）、直線推定部２３は、左側の３辺（左辺、上辺、下辺）のエッジを検出し、３辺に沿った直線（図５、図１３参照）をそれぞれ推定する（ステップＳ１０３）。

【0045】

次に、直線推定部２３は、左辺の直線（図６では直線ｓ１、図１３ではｓ４）を、手形Ａ１の横幅ｅ分だけ右側に平行移動し、右辺の直線（図６では直線ｓ７、図１３ではｓ８）を推定する（ステップＳ１０４）。これにより、画像の左側の紙葉類が特定される。

【0046】

スキュー補正部２５は、直線推定部２３が検出した直線の交点に基づき、直線の傾きをそれぞれ求める。そして、スキュー補正部２５は、各直線の傾きに基づき、左側の紙葉類のスキュー補正を行う（ステップＳ１０５）。

【0047】

次に、矩形検出部２４は、整理番号の矩形（識別標識）Ａ１５の位置情報に基づき、スキュー補正が行われた紙葉類の画像に対して整理番号の矩形の検出を行う（ステップＳ１０６）。直線推定部２３は、整理番号の矩形が検出されたかどうか判断する（ステップＳ１０７）。

【0048】

ここで、整理番号の矩形が検出された場合（ステップＳ１０７のＹｅｓの場合）、直線推定部２３は、図９に示すように、帳票Ａ全体を囲うように、各直線ｓ１〜ｓ３、ｓ７を外側に平行移動する（ステップＳ１０８）。このとき、直線推定部２３は、図１０に示すように、直線ｓ１〜ｓ３、ｓ７の交点ｐ５〜ｐ８を検出する。

【0049】

スキュー補正部２５は、求めた直線ｓ１〜ｓ３、ｓ７の傾きと予め設定した画像の基準点とに基づき、交点ｐ５〜ｐ８（図１０参照）を補正することで、図１１に示すように、帳票Ａ全体をスキュー補正する（ステップＳ１０９）。

【0050】

図１６に示すように、このスキュー補正された帳票Ａは、補箋付手形と識別され（ステップＳ１１０）、表示部２６は、図１１に示すように、スキュー補正された帳票Ａ（補箋付手形）の全体の画像をこの表示部２６のＬＣＤに表示させる（ステップＳ１１１）。

【0051】

また、ステップ１０７において、整理番号が検出できない場合（ステップＳ１０７のＮｏの場合）、直線推定部２３は、右側の３辺（右辺、上辺、下辺）Ａ１１〜Ａ１３のエッジを検出し、３辺に沿った直線ｓ９〜ｓ１１（図１４参照）をそれぞれ推定する（ステップＳ１１２）。

【0052】

次に、直線推定部２３は、右辺Ａ１１の直線ｓ９（図１４参照）を、手形Ａ１の横幅ｅ分だけ左側に平行移動し、左辺の直線ｓ１２（図１４参照）を推定する（ステップＳ１１３）。さらに、直線推定部２３は、各直線ｓ９〜ｓ１２の交点ｐ９〜ｐ１２を検出する。これにより、画像の右側の紙葉類が特定される。

【0053】

スキュー補正部２５は、右側の４辺Ａ１１〜Ａ１４の直線ｓ９〜ｓ１２の推定が行われると、手形Ａ１の画像を１８０度回転させるとともに、各直線の傾きに基づき、紙葉類（手形Ａ１）の画像を図８に示す手形Ａ１にスキュー補正する（ステップＳ１１４）。

【0054】

次に、矩形検出部２４は、整理番号の矩形（識別標識）Ａ１５の位置情報に基づき、スキュー補正が行われた紙葉類の画像に対して整理番号の矩形の検出を行う（ステップＳ１１５）。直線推定部２３は、整理番号の矩形が検出されたかどうか判断する（ステップＳ１１６）。

【0055】

ここで、整理番号の矩形が検出された場合（ステップＳ１１６のＹｅｓの場合）、直線推定部２３は、図１０と同様に、帳票Ａ全体を囲うように、各直線ｓ９〜ｓ１２を外側に平行移動する（ステップＳ１１７）。このとき、直線推定部２３は、図１０と同様に、各直線の交点を検出する。

【0056】

スキュー補正部２５は、帳票Ａ全体を囲う直線の推定が行われると、画像Ｃを１８０度回転させるとともに、各直線の傾きと予め設定した画像の基準点とに基づき、帳票Ａ全体を、図１１に示す画像にスキュー補正する（ステップＳ１１８）。

【0057】

図１６に示すように、このスキュー補正された帳票Ａは、補箋付手形と識別され（ステップＳ１１０）、表示部２６は、図１１に示すように、スキュー補正された帳票Ａ（補箋付手形）の全体の画像をこの表示部２６のＬＣＤに表示させる（ステップＳ１１１）。

【0058】

また、図１５のステップ１１６において、整理番号が検出できない場合（ステップＳ１１６のＮｏの場合）、補箋付手形以外と判断して（ステップＳ１１９）、直線推定部２３が帳票Ａのエッジを検出する（ステップＳ１２０）。

【0059】

そして、スキュー補正部２５が、エッジ検出された帳票Ａの通常のスキュー補正を行い（ステップＳ１２１）、表示部２６が、このスキュー補正された帳票Ａの画像を表示する（ステップＳ１１１）。

【0060】

このように、この実施形態では、手形部分の３辺を検出し、この検出した３辺に基づいて、画像をスキュー補正するので、手形部分の傾きに合わせたスキュー補正を行うことができる。

【0061】

（実施形態２）
実施形態１では、手形Ａ１部分のスキュー補正を行った後に、帳票Ａ全体のスキュー補正を行ったが、本発明はこれに限らず、例えば手形Ａ１部分のスキュー補正を行わなくても手形Ａ１部分の傾きに合わせたスキュー補正が可能である。

【0062】

図１７は、実施形態２のスキュー補正の動作を説明するためのフローチャートである。図１８は、同じく、実施形態２のスキュー補正の動作を説明するためのフローチャートである。なお、この実施形態では、実施形態１と動作の異なる部分を説明する。

【0063】

図１７に示すように、ステップＳ２０１〜Ｓ２０３は、図１５のステップＳ１０１〜Ｓ１０３と同様である。
この実施形態では、図１７のステップＳ２０３で、直線推定部２３が、左側の３辺に沿った直線（図５では直線ｓ１〜ｓ３、図１３では直線ｓ４〜ｓ６）をそれぞれ推定すると、図９に示すように、帳票Ａ全体を囲うように、各直線ｓ１〜ｓ３、ｓ７を外側に平行移動する（ステップＳ２０４）。このとき、直線推定部２３は、図１０に示すように、直線ｓ１〜ｓ３、ｓ７の交点ｐ５〜ｐ８を検出する。

【0064】

次に、矩形検出部２４は、整理番号の矩形（識別標識）Ａ１５の位置情報に基づき、スキュー補正が行われた紙葉類の画像に対して整理番号の矩形の検出を行う（ステップＳ２０５）。直線推定部２３は、整理番号の矩形が検出されたかどうか判断する（ステップＳ２０６）。

【0065】

ここで、整理番号の矩形が検出された場合（ステップＳ２０６のＹｅｓの場合）、スキュー補正部２５は、求めた直線ｓ１〜ｓ３、ｓ７の傾きと予め設定した画像の基準点とに基づき、交点ｐ５〜ｐ８（図１０参照）を補正することで、図１１に示すように、帳票Ａ全体をスキュー補正する（ステップＳ１０９）。

【0066】

この帳票Ａ全体のスキュー補正後は、図１５のステップＳ１１０，Ｓ１１１と同様、表示部２６は、図１１に示すように、スキュー補正された補箋付手形と認識して帳票Ａの全体の画像をこの表示部２６のＬＣＤに表示させる（図１８のステップＳ２０８，Ｓ２０９）。

【0067】

また、図１７のステップＳ２０６において、整理番号が検出できない場合（ステップＳ２０６のＮｏの場合）、直線推定部２３は、右側の３辺（右辺、上辺、下辺）Ａ１１〜Ａ１３のエッジを検出し、３辺に沿った直線ｓ９〜ｓ１１（図１４参照）をそれぞれ推定する（ステップＳ２１０）。

【0068】

直線推定部２３は、図１０と同様に、帳票Ａ全体を囲うように、各直線ｓ９〜ｓ１２を外側に平行移動する（ステップＳ２１１）。このとき、直線推定部２３は、図１０と同様に、各直線の交点を検出する。

【0069】

次に、矩形検出部２４は、整理番号の矩形（識別標識）Ａ１５の位置情報に基づき、スキュー補正が行われた帳票Ａの画像に対して整理番号の矩形の検出を行う（ステップＳ２１２）。直線推定部２３は、整理番号の矩形が検出されたかどうか判断する（ステップＳ２１３）。

【0070】

ここで、整理番号の矩形が検出された場合（ステップＳ２１３のＹｅｓの場合）、スキュー補正部２５は、図１４の画像Ｃを１８０度回転させるとともに、各直線の傾きと予め設定した画像の基準点とに基づき、帳票Ａ全体を、図１１に示す画像にスキュー補正する（ステップＳ２１４）。

【0071】

この帳票Ａ全体のスキュー補正後は、図１５のステップＳ１１０，Ｓ１１１と同様、表示部２６は、図１１に示すように、スキュー補正された補箋付手形と認識して帳票Ａの全体の画像をこの表示部２６のＬＣＤに表示させる（図１８のステップＳ２０８，Ｓ２０９）。

【0072】

また、図１７のステップＳ２０２において、横幅ｄが補箋付手形（帳票Ａ）の最小サイズ未満の場合（ステップＳ２０２のＮｏの場合）、およびステップＳ２１３において、整理番号が検出できない場合（ステップＳ２１３のＮｏの場合）、図１６のステップＳ１１９〜Ｓ１２１，Ｓ１１１と同様、補箋付手形以外と判断して、直線推定部２３が帳票Ａのエッジを検出し、スキュー補正部２５が帳票Ａの通常のスキュー補正を行った後、表示部２６が帳票Ａの画像を表示する（図１８のステップＳ２１５〜Ｓ２１７，Ｓ２０９）。

【0073】

このように、この実施形態では、３辺の直線推定を行った直後に、帳票Ａ全体を囲うように、各直線を外側に平行移動して全体のスキュー補正を行うので、スキュー補正の手順が簡略化され、さらに迅速に手形部分の傾きに合わせたスキュー補正を行うことができる。

【0074】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、様々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0075】

１０…光学的文字読取装置
１６…読取部
２０…画像処理装置
２１…制御部
２１…表示部
２１…制御部
２２…画像取込部
２４…矩形検出部
２５…スキュー補正部
２６…表示部
１００…制御ホスト
Ａ…帳票
Ａ１…手形
Ａ１１〜Ａ１４…辺
Ａ１５…識別標識（整理番号の枠）
Ａ２…補箋
Ａ２１〜Ａ２４…辺
Ｂ…画像
Ｂ１…矩形
Ｃ…画像
ｄ，ｅ…横幅
ｐ１〜ｐ１２…交点
ｓ１〜ｓ１２…直線
ｔ１，ｔ２…直線推定範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】