特許 6204076 文章領域読み取り順序判定装置、文章領域読み取り順序判定方法及び文章領域読み取り順序判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6204076

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】文章領域読み取り順序判定装置、文章領域読み取り順序判定方法及び文章領域読み取り順序判定プログラム

(51)【国際特許分類】

   G06K 9/20 20060101AFI20170914BHJP

   G06F 17/21 20060101ALI20170914BHJP

   G06F 17/30 20060101ALI20170914BHJP

【ＦＩ】

   G06K9/20 340J

   G06K9/20 320K

   G06F17/21

   G06F17/30 210C

【請求項の数】16

【全頁数】13

(21)【出願番号】特願2013-121781(P2013-121781)

(22)【出願日】2013年6月10日

(65)【公開番号】特開2014-238757(P2014-238757A)

(43)【公開日】2014年12月18日

【審査請求日】2016年1月25日

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】五十嵐 勇

(72)【発明者】

【氏名】大津谷 亮祐

(72)【発明者】

【氏名】仲 裕介

(72)【発明者】

【氏名】飯田 アレン真人

(72)【発明者】

【氏名】島田 健一郎

(72)【発明者】

【氏名】服部 剛

(72)【発明者】

【氏名】山根 聡

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開平１１−２５００４１（ＪＰ，Ａ）

【文献】 特開昭６４−０１５８８９（ＪＰ，Ａ）

【文献】 特開平０５−１６６０００（ＪＰ，Ａ）

【文献】 特開平０９−１３４４０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｋ ９／００−９／８２

Ｇ０６Ｆ １７／２１

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与手段と、
前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定手段と、を有し、
前記分割・付与手段は、
左右に分割する場合、左側の文章領域から順番に順序を表す記号と左右で分割した分割パターンを識別する識別子とを前記インデックスとして付与し、上下に分割する場合、上側の文章領域から順番に順序を表す記号と上下で分割した分割パターンを識別する識別子とを前記インデックスとして付与することを特徴とする文章領域読み取り順序判定装置。

【請求項2】

前記分割・付与手段は、
前記コンテンツを左右又は上下に分割する各分割パターンを交互に変えて前記文章領域を繰り返し分割することを特徴とする請求項１に記載の文章領域読み取り順序判定装置。

【請求項3】

隣り合う２つの文章領域が、１回又は複数回分割された後において共に再分割されておらず、並びに、左右に分割され及び共に縦書き、又は、上下に分割され及び共に横書きの場合、当該各文章領域を再結合する再結合手段を更に有することを特徴とする請求項１又は２に記載の文章領域読み取り順序判定装置。

【請求項4】

前記再結合手段は、
前記２つの文章領域の間隔が閾値以下の場合に、当該各文章領域を再結合することを特徴とする請求項３に記載の文章領域読み取り順序判定装置。

【請求項5】

隣り合う２つの文章領域が、共に１行であり、並びに、左右に分割され及び共に横書き、又は、上下に分割され及び共に縦書きの場合、当該各文章領域を再結合する再結合手段を更に有することを特徴とする請求項１乃至４のいずれかに記載の文章領域読み取り順序判定装置。

【請求項6】

前記分割・付与手段は、
左右に分割する場合、前記インデックスを左側の文章領域から順番に付与し、上下に分割する場合、前記インデックスを上側の文章領域から順番に付与することを特徴とする請求項１乃至５のいずれかに記載の文章領域読み取り順序判定装置。

【請求項7】

前記分割・付与手段は、
前記左側から付与する場合、−１，−２，−３，…，と前記インデックスを付与し、前記上側から付与する場合、＋１，＋２，＋３，…，と前記インデックスを付与することを特徴とする請求項６に記載の文章領域読み取り順序判定装置。

【請求項8】

前記分割・付与手段は、
前記コンテンツに含まれる罫線の位置で分割することを特徴とする請求項１乃至７のいずれかに記載の文章領域読み取り順序判定装置。

【請求項9】

前記判定手段は、
左右に分割されている場合、前記コンテンツの書字方向が横書きであれば、順序が先のインデックスを付与する文章領域を先とし、縦書きであれば、当該文章領域を後とし、上下に分割されている場合、当該文章領域を先と判定することを特徴とする請求項１乃至８のいずれかに記載の文章領域読み取り順序判定装置。

【請求項10】

前記判定手段は、
前記−１，−２，−３，…，と付与された場合、前記コンテンツの書字方向が横書きであれば、絶対値が小さい方のインデックスを付与する文章領域を先とし、縦書きであれば、当該文章領域を後と判定することを特徴とする請求項７に記載の文章領域読み取り順序判定装置。

【請求項11】

前記判定手段は、
前記各文章領域の書字方向の推定結果に基づき、前記コンテンツの書字方向を決定することを特徴とする請求項１乃至１０のいずれかに記載の文章領域読み取り順序判定装置。

【請求項12】

コンピュータが、
記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与ステップと、
前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定ステップと、を行い、
前記分割・付与ステップでは、
左右に分割する場合、左側の文章領域から順番に順序を表す記号と左右で分割した分割パターンを識別する識別子とを前記インデックスとして付与し、上下に分割する場合、上側の文章領域から順番に順序を表す記号と上下で分割した分割パターンを識別する識別子とを前記インデックスとして付与することを特徴とする文章領域読み取り順序判定方法。

【請求項13】

コンピュータに、
記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与処理と、
前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定処理と、を実行させ、
前記分割・付与処理では、
左右に分割する場合、左側の文章領域から順番に順序を表す記号と左右で分割した分割パターンを識別する識別子とを前記インデックスとして付与し、上下に分割する場合、上側の文章領域から順番に順序を表す記号と上下で分割した分割パターンを識別する識別子とを前記インデックスとして付与することを特徴とする文章領域読み取り順序判定プログラム。

【請求項14】

記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与手段と、
前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定手段と、を有し、
前記分割・付与手段は、
左右に分割する場合、前記インデックスを左側の文章領域から順番に付与し、上下に分割する場合、前記インデックスを上側の文章領域から順番に付与し、
前記左側から付与する場合、−１，−２，−３，…，と前記インデックスを付与し、前記上側から付与する場合、＋１，＋２，＋３，…，と前記インデックスを付与することを特徴とする文章領域読み取り順序判定装置。

【請求項15】

コンピュータが、
記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与ステップと、
前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定ステップと、を行い、
前記分割・付与ステップでは、
左右に分割する場合、前記インデックスを左側の文章領域から順番に付与し、上下に分割する場合、前記インデックスを上側の文章領域から順番に付与し、
前記左側から付与する場合、−１，−２，−３，…，と前記インデックスを付与し、前記上側から付与する場合、＋１，＋２，＋３，…，と前記インデックスを付与することを特徴とする文章領域読み取り順序判定方法。

【請求項16】

コンピュータに、
記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与処理と、
前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定処理と、を実行させ、
前記分割・付与処理では、
左右に分割する場合、前記インデックスを左側の文章領域から順番に付与し、上下に分割する場合、前記インデックスを上側の文章領域から順番に付与し、
前記左側から付与する場合、−１，−２，−３，…，と前記インデックスを付与し、前記上側から付与する場合、＋１，＋２，＋３，…，と前記インデックスを付与することを特徴とする文章領域読み取り順序判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文章領域の読み取り順序を判定する技術に関する。

【背景技術】

【0002】

文書画像内の文章をテキストデータに変換したり、文書画像を表示装置の画面サイズに合わせて並び替えたりする（リフロー）ため、文書画像を文章毎の領域に分割し、各文章領域の読み取り順序を判定する方法がある（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平３−２６９６８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、文章領域間に罫線を人為的に挿入しない場合、その読み取り順序の判定精度が低下し、一意に決まらない可能性がある。

【0005】

本発明は、上記事情を鑑みてなされたものであり、文章領域の読み取り順序の判定精度を改善することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に記載の文章領域読み取り順序判定装置は、記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与手段と、前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定手段と、を有することを要旨とする。

【0007】

本発明によれば、コンテンツを複数の文章領域に分割してインデックスをそれぞれ付与し、そのコンテンツの書字方向と各インデックスに基づき各文章領域の読み取り順序を判定するため、文章領域の読み取り順序の判定精度を向上できる。

【0008】

請求項２に記載の文章領域読み取り順序判定装置は、請求項１に記載の文章領域読み取り順序判定装置において、前記分割・付与手段は、前記コンテンツを左右又は上下に分割し、前記分割した分割パターンを識別する識別子を更に付与することを要旨とする。

【0009】

請求項３に記載の文章領域読み取り順序判定装置は、請求項１又は２に記載の文章領域読み取り順序判定装置において、前記分割・付与手段は、前記コンテンツを左右又は上下に分割する各分割パターンを交互に変えて前記文章領域を繰り返し分割することを要旨とする。

【0010】

請求項４に記載の文章領域読み取り順序判定装置は、請求項１乃至３のいずれかに記載の文章領域読み取り順序判定装置において、隣り合う２つの文章領域が、１回又は複数回分割された後において共に再分割されておらず、並びに、左右に分割され及び共に縦書き、又は、上下に分割され及び共に横書きの場合、当該各文章領域を再結合する再結合手段を更に有することを要旨とする。

【0011】

請求項５に記載の文章領域読み取り順序判定装置は、請求項４に記載の文章領域読み取り順序判定装置において、前記再結合手段は、前記２つの文章領域の間隔が閾値以下の場合に、当該各文章領域を再結合することを要旨とする。

【0012】

請求項６に記載の文章領域読み取り順序判定装置は、請求項１乃至５のいずれかに記載の文章領域読み取り順序判定装置において、隣り合う２つの文章領域が、共に１行であり、並びに、左右に分割され及び共に横書き、又は、上下に分割され及び共に縦書きの場合、当該各文章領域を再結合する再結合手段を更に有することを要旨とする。

【0013】

請求項７に記載の文章領域読み取り順序判定装置は、請求項１乃至６のいずれかに記載の文章領域読み取り順序判定装置において、前記分割・付与手段は、左右に分割する場合、前記インデックスを左側の文章領域から順番に付与し、上下に分割する場合、前記インデックスを上側の文章領域から順番に付与することを要旨とする。

【0014】

請求項８に記載の文章領域読み取り順序判定装置は、請求項７に記載の文章領域読み取り順序判定装置において、前記分割・付与手段は、前記左側から付与する場合、−１，−２，−３，…，と前記インデックスを付与し、前記上側から付与する場合、＋１，＋２，＋３，…，と前記インデックスを付与することを要旨とする。

【0015】

請求項９に記載の文章領域読み取り順序判定装置は、請求項１乃至８のいずれかに記載の文章領域読み取り順序判定装置において、前記分割・付与手段は、前記コンテンツに含まれる罫線の位置で分割することを要旨とする。

【0016】

請求項１０に記載の文章領域読み取り順序判定装置は、請求項１乃至９のいずれかに記載の文章領域読み取り順序判定装置において、前記判定手段は、左右に分割されている場合、前記コンテンツの書字方向が横書きであれば、順序が先のインデックスを付与する文章領域を先とし、縦書きであれば、当該文章領域を後とし、上下に分割されている場合、当該文章領域を先と判定することを要旨とする。

【0017】

請求項１１に記載の文章領域読み取り順序判定装置は、請求項８に記載の文章領域読み取り順序判定装置において、前記判定手段は、前記−１，−２，−３，…，と付与された場合、前記コンテンツの書字方向が横書きであれば、絶対値が小さい方のインデックスを付与する文章領域を先とし、縦書きであれば、当該文章領域を後と判定することを要旨とする。

【0018】

請求項１２に記載の文章領域読み取り順序判定装置は、請求項１乃至１１のいずれかに記載の文章領域読み取り順序判定装置において、前記判定手段は、前記各文章領域の書字方向の推定結果に基づき、前記コンテンツの書字方向を決定することを要旨とする。

【0019】

請求項１３に記載の文章領域読み取り順序判定方法は、コンピュータにより、記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与ステップと、前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定ステップと、を有することを要旨とする。

【0020】

本発明によれば、コンテンツを複数の文章領域に分割してインデックスをそれぞれ付与し、そのコンテンツの書字方向と各インデックスに基づき各文章領域の読み取り順序を判定するため、文章領域の読み取り順序の判定精度を向上できる。

【0021】

請求項１４に記載の文章領域読み取り順序判定プログラムは、コンピュータに、記憶手段からコンテンツを読み出して複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する分割・付与処理と、前記コンテンツの書字方向と前記各インデックスに基づき、前記各文章領域の読み取り順序を判定する判定処理と、を実行させることを要旨とする。

【0022】

本発明によれば、コンテンツを複数の文章領域に分割してインデックスをそれぞれ付与し、そのコンテンツの書字方向と各インデックスに基づき各文章領域の読み取り順序を判定するため、文章領域の読み取り順序の判定精度を向上できる。

【発明の効果】

【0023】

本発明によれば、文章領域の読み取り順序の判定精度を向上できる。

【図面の簡単な説明】

【0024】

【図1】文章領域読み取り順序判定装置の機能ブロック構成を示す図である。

【図2】文章領域読み取り順序判定方法の処理フローを示す図である。

【図3】１次元射影ヒストグラムのイメージを示す図である。

【図4】１次元射影ヒストグラム生成時の参照図である。

【図5】１次元射影ヒストグラム生成時の参照図である。

【図6】インデックスの付与結果例を示す図である。

【発明を実施するための形態】

【0025】

以下、本発明を実施する一実施の形態について図面を用いて説明する。

【0026】

図１は、本実施の形態に係る文章領域読み取り順序判定装置１の機能ブロック構成を示す図である。この文章領域読み取り順序判定装置１は、コンテンツ記憶部１１と、文書画像領域抽出部１２と、文書画像領域分割部１３と、書字推定部１４と、分割処理キャンセル部１５と、文章領域読み取り順序判定部１６とで構成される。

【0027】

コンテンツ記憶部１１は、スキャナ装置等を用いて文章領域読み取り順序判定装置１に入力された複数のコンテンツを記憶するメモリ等の機能部である。

【0028】

文書画像領域抽出部１２は、コンテンツ記憶部１１から判定対象のコンテンツを読み出して、文書画像領域を抽出する機能部である。

【0029】

文書画像領域分割部１３は、抽出された文書画像領域を複数の文章領域に分割し、各文章領域に対してインデックスをそれぞれ付与する機能部である。

【0030】

書字推定部１４は、各文章領域に含まれる文章の書字方向（横書き・縦書き）や行数を推定する機能部である。

【0031】

分割処理キャンセル部１５は、実行された分割処理を条件に応じてキャンセルする、つまり、分割前の文章領域に戻るように分割後の文章領域を再結合する機能部である。

【0032】

文章領域読み取り順序判定部１６は、各文章領域の書字方向の推定結果から文書画像領域全体の書字方向を決定し、文書画像領域の書字方向と各インデックスに基づき、各文章領域の読み取り順序を判定する機能部である。

【0033】

このような機能部を有する文章領域読み取り順序判定装置１は、メモリやＣＰＵを備えたコンピュータで実現できる。また、各機能部の処理は、プログラムによって実行可能である。

【0034】

図２は、文章領域読み取り順序判定方法の処理フローを示す図である。図２を参照しながら、その判定方法について説明する。

【0035】

最初に、文書画像領域抽出部１２により、コンテンツ記憶部１１から判定対象のコンテンツが読み出され、印刷のある部分を黒色に変換し、印刷のない部分を白色に変換することで、コンテンツの２値化画像が生成される（ステップＳ１）。

【0036】

この２値化処理は、コンテンツ内の文字が黒色以外の濃淡値（赤文字等）で描画されている場合でも確実にそれを文字と認識できるようにするために実行される。判定対象のコンテンツが小説等、印刷された文字部分が黒色であり、その背景が白色であることが明らかな場合には、本ステップを省略できる。

【0037】

次に、同文書画像領域抽出部１２により、ステップＳ１で生成された２値化画像の全体が処理領域として指定され、その処理領域内の全ての黒画素を包含する最小の矩形領域が初期領域（文書画像領域）として抽出される（ステップＳ２）。

【0038】

この抽出処理により、判定対象のコンテンツに含まれていた上下左右の余白が取り除かれ、判定の実対象である文書画像領域のみが抽出される。なお、処理領域の指定方法としては、コンピュータにより２値化画像全体を自動で指定しても構わないし、コンテンツが少し斜めにスキャンされ紙面外が画像に含まれる場合や、画像が写真として撮影され余分な印刷領域を含む場合等を考慮して、ユーザにより矩形領域を指定しても構わない。

【0039】

次に、同文書画像領域抽出部１２により、ステップＳ２で抽出された初期領域内の１次元射影ヒストグラムが生成される（ステップＳ３）。

【0040】

例えば、図３に示すように、初期領域Ａ内における黒画素の数を垂直ライン上と水平ライン上でそれぞれカウントすることにより、ｘ軸方向とｙ軸方向での各１次元射影ヒストグラムをそれぞれ生成する。

【0041】

より具体的には、図４に示すように、初期領域Ａの左上端の画素位置を（ｘ_ｒ，ｙ_ｒ）、ｘ軸方向の幅をｗ_ｒ、ｙ軸方向の幅をｈ_ｒとして、以下の式（１）よりｘ軸方向での１次元射影ヒストグラムｈ_ｘを生成し、以下の式（２）よりｙ軸方向での１次元射影ヒストグラムｈ_ｙを生成する。

【数1】

【0042】

ただし、変数Ｂ_ｃの取り得る値は１又は０である。（ｘ，ｙ）の画素が黒画素の場合に１となり、黒画素以外の場合に０となる。

【0043】

他方、このような方法以外に、初期領域内で黒画素が連結しているグループを検出し、そのグループを包含している最小の矩形範囲をラベル領域として、そのラベル領域の数を垂直ライン上と水平ライン上でそれぞれカウントした値を用いて生成しても構わない。

【0044】

より具体的には、図５に示すように、例えば、「あ」の文字を包含する矩形範囲をラベル領域Ｒとし、ｘ軸方向の１次元射影ヒストグラムｈ_ｘを生成する場合は、そのラベル領域Ｒの「左端≦ｉ≦右端」を満たす全てのｉについてｈ_ｘ（ｉ）に１を加える。一方、ｙ軸方向の１次元射影ヒストグラムｈ_ｙを生成する場合は、ラベル領域Ｒの「上端≦ｊ≦下端」を満たす全てのｊについてｈ_ｙ（ｊ）に１を加える。

【0045】

以上が１次元射影ヒストグラムの生成例である。なお、コンテンツによっては、段組の区切りを明確にするため、横長又は縦長の罫線Ｇ（図３）が描画されている場合がある。その場合、罫線部分のヒストグラム値を１次元射影ヒストグラムから削除する。この罫線の位置を記憶しておき、領域の分割位置として用いるようにしても構わない。なお、罫線部分の検出方法としては、例えば、文字のラベル領域と比べて極めて細長いラベル領域になるため、縦横比率又は面積が規定範囲内に収まらない矩形範囲を罫線部分とする。

【0046】

続いて、同文書画像領域抽出部１２により、ステップＳ２で抽出された初期領域の階層が０に設定される（ステップＳ４）。なお、本ステップは、ステップＳ３よりも前に実行しても構わない。

【0047】

次に、文書画像領域分割部１３により、ステップＳ３で生成された各方向の１次元射影ヒストグラムを用いて初期領域の分割方向（水平方向又は垂直方向）が決定される（ステップＳ５）。

【0048】

例えば、上下又は左右で段組がある場合、その段組間で軸長の長い白ランが存在するため、ｘ軸方向での白ランの平均軸長とｙ軸方向での白ランの平均軸長を比較し、大きい方の白ランで分割するようにする。つまり、ｙ軸方向の白ランのｙ軸幅の方がｘ軸方向の白ランのｘ軸幅よりも大きい場合には、上下に分割するためｙ軸方向を分割方向（垂直方向：縦分割）とし、小さい場合には、左右に分割するためｘ軸方向を分割方向（水平方向：横分割）とする。

【0049】

その他、黒ランの軸長を利用しても構わない。例えば、ｘ軸方向での白ランの平均軸長をｘ軸方向での黒ランの平均軸長で除算した値が、ｙ軸方向での白ランの平均軸長をｙ軸方向での黒ランの平均軸長で除算した値よりも大きい場合には、縦分割とする。

【0050】

次に、同文書画像領域分割部１３により、ステップＳ５で決定された分割方向の１次元射影ヒストグラムを用いて、その分割方向で閾値以上の軸長を有する白ランがあるか否かが判定され（ステップＳ６）、ある場合には当該白ランの位置で初期領域が複数の分割領域（文章領域）に分割される（ステップＳ７）。

【0051】

なお、白ランを用いて判定するのに代えて、隣り合う黒ランの間隙長が閾値以上であるか否かで判定するようにしても構わない。また、前述したように、罫線部分が検出されていた場合には当該罫線の位置で必ず分割しても構わない。

【0052】

次に、ステップＳ７の後、同文書画像領域分割部１３により、そのステップＳ７で分割された各分割領域に対して、分割方向を識別可能な現階層でのインデックスがそれぞれ付与される（ステップＳ８）。

【0053】

例えば、横分割の場合、左側の分割領域から順番に、−１，−２，−３，…，とインデックスを付与する。一方、縦分割の場合、上側の分割領域から順番に、＋１，＋２，＋３，…，と付与する。＋，−は分割方向（分割パターン）の識別子である。

【0054】

次に、同文書画像領域分割部１３により、現在の階層が分割の上限階層に到達しているか否かが判定される（ステップＳ９）。上限階層に到達していない場合には、階層数に１を追加することにより現在の階層が１に更新され（ステップＳ１０）、各分割領域の１次元射影ヒストグラムがそれぞれ生成される（ステップＳ１１）。なお、分割の上限階層は、想定するレイアウトの複雑さに応じて予め定める。例えば図表を含む書籍の場合、上限階層は２〜３程度が望ましい。

【0055】

そして、ステップＳ１１の後はステップＳ６に戻り、各分割領域に対する再分割処理が再帰的に繰り返し実行され、再分割以降の全ての分割領域に対してインデックスが追加的に付与されることになる。ただし、再分割の試行方向は、分割元の領域の分割方向と逆とする。例えば、縦方向に分割された領域は横方向の分割を試行する。

【0056】

ここで、インデックスの付与結果例を図６に示す。例えば、縦分割された分割領域Ｂ１には「＋１」、分割領域Ｂ２には「＋２」、分割領域Ｂ３には「＋３」が付与される。また、分割領域Ｂ１を更に横分割した分割領域Ｂ１１には「−１」が更に付与され、分割領域Ｂ１２には「−２」が更に付与される。

【0057】

続いて、ステップＳ６の判定結果がＮｏの場合、又は、ステップＳ９の判定結果がＹｅｓの場合、書字推定部１４により、各分割領域内に記述されている文章の書字方向（横書き・縦書き）がそれぞれ推定され（ステップＳ１２）、文章の行数が１行か否かが特定される（ステップＳ１３）。

【0058】

書字方向や文章行数は、各分割領域に対して生成された１次元射影ヒストグラムの分布状態から特定できる。例えば、ｙ軸方向で白ランと黒ランの平均軸長をそれぞれ計算し、白ランの平均軸長が０に近い場合には、縦書きとする。縦書きの場合、ｙ軸方向へ射影すると文字がない部分はほとんど現れないためである。

【0059】

次に、分割処理キャンセル部１５により、同一階層において隣り合う２つの分割領域が、１回又は複数回分割された後において共に再分割されておらず、かつ、横分割＆共に縦書き又は縦分割＆共に横書きに該当する場合、二重改行等の切れ目で分割されたものとみなし、それら２つの分割領域の間隔が閾値以下である場合は再結合される（ステップＳ１４）。当該閾値を超えている場合でも再結合するようにしても構わない。

【0060】

なお、ここで用いる閾値は、ステップＳ６で用いた閾値よりも大きいものとする。また、２つの分割領域の間に罫線が存在し、かつ、罫線の位置で必ず領域分割することにしている場合は、それら分割領域の間隔に関わらず再結合しない。

【0061】

また、同分割処理キャンセル部１５により、同一階層において隣り合う２つの分割領域が、共に１行であり、かつ、横分割＆共に横書き又は縦分割＆共に縦書きに該当する場合、句読点等の隙間で誤分割されたものとみなし、それら２つの分割領域は再結合される（ステップＳ１５）。

【0062】

なお、ステップＳ１４およびステップＳ１５は、その処理順序に時間的な前後関係がなく、同じタイミングで実行しても構わない。また、結合された分割領域に付与されていたインデックス（該当する階層でのインデックスのみ）は、結合した分割領域のいずれか一方のインデックスに置換される。

【0063】

次に、文書画像領域分割部１３により、再分割されておらず、かつ、他方向での分割が試されていない分割領域があるか否かが判定される（ステップＳ１６）。

【0064】

ここで該当する分割領域については、分割方向を代えてステップＳ６以降の処理が再度実行される。例えば、図６に示した分割領域Ｂ２がそれに該当する。この分割領域Ｂ２は再分割されていないため、分割方向を縦方向に変えて更なる分割が可能か否かが再度試されることになる。

【0065】

次に、ステップＳ１６の判定結果がＮｏの場合、文章領域読み取り順序判定部１６により、横書きの分割領域の総面積と縦書きの分割領域の総面積とが比較され、面積の大きい方の書字方向が初期領域全体の読み方向（書字方向）と決定される（ステップＳ１７）。

【0066】

次に、同文章領域読み取り順序判定部１６により、ステップＳ１７で決定された初期領域の読み方向と、各分割領域に付与されているインデックスの順序とを用いて、各分割領域の読み取り順序が判定される（ステップＳ１８）。

【0067】

具体的には、任意の２つの分割領域について、付与されている各インデックスの階層が浅い方から順番に値を比較し、最初に等しくなくなったインデックス値の大小関係から読み取り順序を判定する。

【0068】

例えば、インデックスの順序がステップＳ８で用いた具体例において、横分割の場合、初期領域の読み方向が横書きであれば、上記インデックス値の絶対値が小さい方のインデックスを付与する分割領域の読み取り順序を先とし、その読み方向が縦書きであれば、当該分割領域の読み取り順序を後（上記インデックス値の絶対値の大きい方のインデックスを付与する分割領域の読み取り順序を先）と判定する。

【0069】

すなわち、横分割の場合、初期領域の読み方向が横書きであれば、順序が先のインデックスを付与する分割領域を先とし、縦書きであれば、当該分割領域を後とする。一方、縦分割の場合、初期領域の読み方向には関係なく、順序が先のインデックスを付与する文章領域を先と判定する。

【0070】

最後に、ステップＳ１８の判定結果に基づいて各分割領域に読み取り順序を改めて付与し、各分割領域の識別子に対応付けて読み取り用リストとしてメモリ等に記憶しておく。以降、上記判定対象コンテンツを表示装置の画面サイズに合わせて並び替える場合には、そのリスト内の読み取り順序で各分割領域を並び替えて表示する。

【0071】

以上より、本実施の形態によれば、文書画像領域の初期画像を複数の分割領域に分割してインデックスをそれぞれ付与し、その初期画像の書字方向と各インデックスに基づき各文章領域の読み取り順序を判定するので、文章領域の読み取り順序の判定精度を向上できる。つまり、複雑なレイアウトの文書画像でも適切に領域分割し、正しい読み順で並べることができる。また、テキストデータの生成時やリフローの際に文章を取り出す領域の順番を正しくすることができる。

【0072】

最後に、本実施の形態では、自然数を１，２，３，…，の順番で付与する場合をインデックスの例として説明したが、インデックス自体の順序（自然数の場合には大小関係）が把握できればよいため、例えば、Ａ，Ｂ，Ｃ，…，の順番で付与する英字をインデックスとして用いても構わない。

【符号の説明】

【0073】

１…文章領域読み取り順序判定装置
１１…コンテンツ記憶部（記憶手段）
１２…文書画像領域抽出部
１３…文書画像領域分割部（分割・付与手段）
１４…書字推定部
１５…分割処理キャンセル部（再結合手段）
１６…文章領域読み取り順序判定部（判定手段）
Ｓ１〜Ｓ１８…ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】