特開 2015-192213 文書画像の特徴量検出装置及び特徴量検出プログラム並びに文書画像検索装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-192213(P2015-192213A)

(43)【公開日】2015年11月2日

(54)【発明の名称】文書画像の特徴量検出装置及び特徴量検出プログラム並びに文書画像検索装置

(51)【国際特許分類】

   H04N 1/46 20060101AFI20151006BHJP

   G06T 1/00 20060101ALI20151006BHJP

   G06F 17/30 20060101ALI20151006BHJP

   H04N 1/40 20060101ALI20151006BHJP

【ＦＩ】

   H04N1/46 Z

   G06T1/00 200C

   G06F17/30 170B

   G06F17/30 210A

   G06F17/30 320Z

   G06F17/30 350C

   H04N1/40 F

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2014-66551(P2014-66551)

(22)【出願日】2014年3月27日

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】山本 直史

【テーマコード（参考）】

5B050

5C077

5C079

【Ｆターム（参考）】

5B050BA10

5B050BA16

5B050DA06

5B050EA06

5B050EA08

5B050EA09

5B050EA18

5B050FA02

5B050GA08

5C077LL15

5C077LL18

5C077MP08

5C077PP28

5C077PP32

5C077PP47

5C077PQ08

5C077PQ19

5C077PQ20

5C077PQ22

5C079HB01

5C079LA01

5C079LA07

5C079LA10

5C079LA11

5C079LA31

5C079MA02

5C079NA11

5C079NA29

5C079PA05

(57)【要約】

【課題】印刷物等の文書画像の元である電子化された文書画像を精度よく高速に検索できるようにする。
【解決手段】装置は、文書画像の各画素について、下地領域の色情報と当該画素の色情報との間の距離を求め、この距離を当該画素の濃度信号として算出する。装置は、画素毎の濃度信号に基づき、文書画像の横または縦方向の少なくとも一方向についてその方向に並ぶ全画素の射影濃度を算出する。装置は、少なくとも一方向の射影濃度から、その少なくとも一方向の濃度分布統計量を算出する。装置は、濃度分布統計量に基づき、文書画像を複数の領域に分割する分割線を決定する。装置は、分割線で文書画像を分割して得られる各画像領域内の濃度情報から文書画像の濃度比率特徴量を求める。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像取込手段により取り込んだ文書画像の下地領域の色情報を検出する下地色検出手段と、
前記文書画像の各画素について、前記下地領域の色情報と当該画素の色情報との間の距離を求め、この距離を当該画素の濃度信号として算出する濃度演算手段と、
前記濃度演算手段により画素毎に算出される濃度信号に基づき、前記文書画像の横または縦方向の少なくとも一方向についてその方向に並ぶ全画素の射影濃度を算出する射影演算手段と、
前記射影演算手段により算出される少なくとも一方向の射影濃度から、その少なくとも一方向の濃度分布統計量を算出する統計量演算手段と、
前記統計量演算手段により算出される前記濃度分布統計量に基づき、前記文書画像を複数の領域に分割する分割線を決定する決定手段と、
前記決定手段により決定される前記分割線で前記文書画像を分割して得られる各画像領域内の濃度情報から前記文書画像の濃度比率特徴量を求める特徴量検出手段と、
を具備したことを特徴とする文書画像の特徴量検出装置。

【請求項2】

前記統計量演算手段は、一方向における射影濃度の分布の重心位置と標準偏差とを算出し、
前記決定手段は、前記重心位置を中心に前記標準偏差の所定倍を加減算した値を、前記分割線の位置として決定することを特徴とする請求項１記載の文書画像の特徴量検出装置。

【請求項3】

前記特徴量検出手段は、
前記文書画像を分割した領域毎に濃度信号の総和を求める領域濃度検出手段と、
前記文書画像の濃度信号の総和を求める総濃度検出手段と、を備え、
前記領域濃度検出手段により前記領域毎に求まる前記濃度信号の総和を、それぞれ前記総濃度検出手段により求まる前記文書画像の濃度信号の総和で除算して、前記文書画像の濃度比率特徴量を求めることを特徴とする請求項１または２記載の文書画像の特徴量検出装置。

【請求項4】

前記領域濃度検出手段は、前記分割線の近傍に帯状の中間領域を設け、この中間領域の濃度についてはこの中間領域を挟む２つの領域の濃度総和の計算に入れ込むことを特徴とする請求項３記載の文書画像の特徴量検出装置。

【請求項5】

請求項１乃至４のいずれか１に記載の文書画像の特徴量検出装置と、
前記特徴量検出装置の特徴量検出手段により求められた前記文書画像の濃度比率特徴量に基づいて、前記文書画像の元である電子化された文書画像をデータベースから検索する検索手段と、
を具備したことを特徴とする文書画像検索装置。

【請求項6】

画像取込手段により取り込んだ文書画像を入力可能なコンピュータに、
前記文書画像の下地領域の色情報を検出する機能、
前記文書画像の各画素について、前記下地領域の色情報と当該画素の色情報との間の距離を求め、この距離を当該画素の濃度信号として算出する機能、
前記各画素の濃度信号に基づき、前記文書画像の横または縦方向の少なくとも一方向についてその方向に並ぶ全画素の射影濃度を算出する機能、
前記少なくとも一方向の射影濃度から、その少なくとも一方向の濃度分布統計量を算出する機能と、
前記濃度分布統計量に基づき、前記文書画像を複数の領域に分割する分割線を決定する機能、及び、
前記分割線で前記文書画像を分割して得られる各画像領域内の濃度情報から前記文書画像の濃度比率特徴量を求める機能、
を実現させるための特徴量検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、電子化された文書画像の検索装置及びこの検索装置に組み込まれる文書画像の特徴量検出装置、並びにコンピュータを特徴量検出装置として機能させるための特徴量検出プログラムに関する。

【背景技術】

【0002】

近年、情報処理に係るハードウェアおよびソフトウェアの発達に伴い、文書画像を電子的に作成し、電子ファイルとして記憶媒体に保存する環境が整いつつある。それに伴い、記憶媒体に保存されている大量の電子ファイル化された文書画像の中から所望の文書画像を簡易に検索するシステムの構築が要望されている。

【0003】

一般に、電子ファイルを検索するためには検索のためのキーが必要となる。文書画像を検索する場合、検索のキーとしてテキスト情報を用いるのが主流である。しかし、会議資料のような文書画像は、テキスト情報だけでなく写真や図表等のイメージも含まれることが多い。イメージを検索のキーとして文書画像を検索できたならば、検索の幅が広がる。

【0004】

従来、イメージを検索のキーとして文書画像を検索する方法がいくつか提案されている。その１つに、印刷物等の文書画像のなかから特徴的な局所画像を抽出し、この局所画像に類似する画像を有する文書画像を記憶媒体から検索する方法がある。しかしこの方法は、文書画像の限られた部分の類似度だけで類似画像か否かを判定するため、判定に用いた部分以外で相違があったとしても類似画像と認定される可能性がある。

【0005】

このような問題は、文書画像の全体を照合することで解決される。しかし、文書画像を全体に亘って照合した場合には、局所画像を照合する場合と比較して検索装置の処理負荷が格段と大きくなる。昨今のように、記憶媒体に保存される文書画像の量が増加すればするほど、検索に要する処理負荷はますます大きくなり、検索に時間を要してしまって実用に供さなくなる懸念がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９‐０２０８８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

一実施形態が解決しようとする課題は、印刷物等の文書画像の元である電子化された文書画像を精度よく高速に検索できるようにすることにある。

【課題を解決するための手段】

【0008】

一実施形態において、特徴量検出装置は、下地色検出手段と、濃度演算手段と、射影演算手段と、統計量演算手段と、決定手段と、特徴量検出手段とを備える。下地色検出手段は、画像取込手段により取り込んだ文書画像の下地領域の色情報を検出する。濃度演算手段は、文書画像の各画素について、下地領域の色情報と当該画素の色情報との間の距離を求め、この距離を当該画素の濃度信号として算出する。射影演算手段は、濃度演算手段により算出される画素毎の濃度信号に基づき、文書画像の横または縦方向の少なくとも一方向についてその方向に並ぶ全画素の射影濃度を算出する。統計量演算手段は、射影演算手段により算出される少なくとも一方向の射影濃度から、その少なくとも一方向の濃度分布統計量を算出する。決定手段は、統計量演算手段により算出される濃度分布統計量に基づき、文書画像を複数の領域に分割する分割線を決定する。特徴量検出手段は、決定手段により決定される分割線で文書画像を分割して得られる各画像領域内の濃度情報から文書画像の濃度比率特徴量を求める。

【図面の簡単な説明】

【0009】

【図1】文書画像検索装置の概略構成を示すブロック図。

【図2】文書データベースに保存されるデータファイルのデータ構造を示す模式図。

【図3】文書画像検索装置のハードウェア構成を示すブロック図。

【図4】検索セクションの具体的な処理手順を示す流れ図。

【図5】問合せ画像の一例を示す図。

【図6】図５の問合せ画像に対する明度のヒストグラムの一例を示す図。

【図7】図５の問合せ画像に対する横方向の射影濃度分布及び縦方向の射影濃度分布と、各濃度分布統計量の算出結果を示す図。

【図8】濃度分布統計量にしたがって問合せ画像を分割する一例を示す図。

【図9】問合せ画像を分割閾値で９分割した際の分割領域毎の濃度比率特徴量の一例を示す図。

【図10】異なる画像間の濃度比率特徴量間の距離の頻度を示すグラフ。

【図11】分割領域内の濃度総和計算方法ｋ変形例を説明するための図。

【発明を実施するための形態】

【0010】

以下、文書画像検索装置及びこの検索装置に用いられる文書画像の特徴量検出装置の実施形態について、図面を用いて説明する。

【0011】

［文書画像検索装置の構成］
図１は、文書画像検索装置１の概略構成を示すブロック図である。文書画像検索装置１は、文書データベース１１と検索処理部１２とを備える。文書データベース１１は、文書画像の元となる電子化された文書画像のデータを格納してなるデータファイル２（図２を参照）を多数保存する。

【0012】

データファイル２のデータ構造を図２に示す。図２に示すように、データファイル２は、文書ファイル２１に、頁別のサムネール画像２２と、同じく頁別の特徴量データ２３とを付加させた構造となっている。文書ファイル２１は、電子化された文書画像のデータを格納する電子データファイルである。データのファイル形式は任意である。例えばワード、PDF、JPEG,パワーポイント等、文書画像のデータに適合した形式のファイルであればよい。

【0013】

サムネール画像２２は、文書ファイル２１に格納されるデータにより再現される文書画像を、例えば５０dpi（dot per inch）程度の粗い画素密度で表現したビットマップデータである。文書画像のデータが複数頁に跨る場合には、頁毎にサムネール画像２２が生成され、文書ファイル２１に付加される。

【0014】

特徴量データ２３は、文書ファイル２１に格納されるデータにより再現される文書画像の特徴量を示すデータである。例えば、濃度比率特徴量、濃度分布統計量、規格化濃度画像等が特徴量データ２３として活用される。これらの特徴量データ２３の詳細については後述する。文書画像のデータが複数頁に跨る場合には、頁毎に特徴量データ２３が生成され、文書ファイル２１に付加される。

【0015】

検索処理部１２は、問合せ画像の入力セクション１２１、候補画像の検索セクション１２２、候補画像の出力セクション１２３、候補画像選択入力の受付セクション１２４及び確定画像の送信セクション１２５を含む。検索処理部１２は、ＬＡＮ（Local Area Network）、インターネット等のネットワークを介して、ユーザ端末３とデータ通信を行うことができる。ユーザ端末３は、例えば画像読取手段であるスキャナを接続した情報処理端末である。ユーザ端末３は、例えば撮影手段であるカメラを備えた携帯型の通信端末であってもよい。

【0016】

入力セクション１２１は、ユーザ端末３から問合せ画像を入力する（画像取込手段）。問合せ画像は、ユーザ端末３において、紙等の印刷媒体に印刷された文書画像を撮影またはスキャンして得られるデータである。問合せ画像は、ユーザ端末３からネットワークを経由して文書画像検索装置１に送られてくる。ＵＳＢメモリ等の可搬型記憶媒体に格納された問合せ画像のデータを、記憶媒体インターフェースを介して入力セクション１２１が取り込んでもよい。入力セクション１２１は、入力された問合せ画像のデータを、所定のメモリ領域に書き込む。

【0017】

検索セクション１２２は、問合せ画像の元となる電子化された文書画像のデータを格納してなるデータファイル２を、文書データベース１１から検索する。検索の手順については後述する。検索セクション１２２は、問合せ画像に類似する文書画像のデータを格納してなるデータファイル２を２以上検索する場合もある。

【0018】

出力セクション１２３は、検索セクション１２２において複数のデータファイル２が検索された場合、各データファイル２から頁別サムネール画像２２を抽出する。出力セクション１２３は、ネットワークを経由してユーザ端末３に頁別サムネール画像２２のデータを送信する。

【0019】

ユーザ端末３は、少なくとも入力デバイスと表示デバイスとを備える。ユーザ端末３は、頁別サムネール画像２２のデータを受信すると、そのサムネール画像（候補画像）の一覧を表示デバイスに表示する。ユーザは、複数のサムネール画像の中から問合せ画像の元となる文書画像に対応したサムネール画像を選択する。ユーザは、入力デバイスを用いてどのサムネール画像を選択したのかを入力する。

【0020】

受付セクション１２４は、ユーザ端末３においてサムネール画像が選択されるのを待機する。サムネール画像が選択された場合、受付セクション１２４は、そのサムネール画像が格納されるデータファイル２を、問合せ画像の元となる文書画像のデータを格納してなるデータファイル２として確定する。

【0021】

送信セクション１２５は、問合せ画像の元となる文書画像のデータを格納してなるデータファイル２から文書ファイル２１を抽出する。検索セクション１２２において唯一のデータファイル２が特定された場合、送信セクション１２５は、そのデータファイル２から文書ファイル２１を抽出する。検索セクション１２２において複数のデータファイル２が検索された場合、送信セクション１２５は、受付セクション１２４において確定されたデータファイル２から文書ファイル２１を抽出する。送信セクション１２５は、ネットワークを経由して文書ファイル２１をユーザ端末３に送信する。

【0022】

ユーザ端末３は、文書画像検索装置１から文書ファイル２１を受信すると、その文書ファイル２１に格納されているデータから再現される文書画像を表示デバイスに表示する。ユーザ端末３は、表示デバイスに表示した文書画像をプリントアウトする機能を有していてもよい。またユーザ端末３は、表示デバイスに表示した文書画像をネットワークを通じて他の端末に送信出力してもよい。

【0023】

なお、文書画像検索装置１によっては検索機能を使用するためにユーザ認証や課金のアカウントなどの情報の入力が必要な場合も考えられる。しかし、この点については本実施形態と関係しないので、ここでの説明は省略する。

【0024】

図３は、文書画像検索装置１のハードウェア構成を示すブロック図である。文書画像検索装置１は、ＣＰＵ（Central Processing Unit）４１、ＲＯＭ（Read Only Memory）４２、ＲＡＭ（Random Access Memory）４３、補助記憶デバイス４４、コンソール４５、スキャナ４６及び通信インターフェース４７を備え、これらをシステムバス４８で接続する。

【0025】

ＣＰＵ４１は、コンピュータの中枢部分に相当する。ＣＰＵ４１は、オペレーティングシステムやアプリケーションプログラムに従って、文書画像検索装置１としての各種の機能を実現するべく各部を制御する。

【0026】

ＲＯＭ４２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ４２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ４２は、ＣＰＵ４１が各部を制御するための処理を実行する上で必要なデータを記憶する場合もある。

【0027】

ＲＡＭ４３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ４３は、ＣＰＵ４１が処理を実行する上で必要なデータを記憶する。またＲＡＭ４３は、ＣＰＵ４１によって情報が適宜書き換えられるワークエリアとしても利用される。

【0028】

補助記憶デバイス４４は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス４４は、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）などである。補助記憶デバイス４４は、ＣＰＵ４１が各種の処理を行う上で使用するデータや、ＣＰＵ４１での処理によって生成されたデータを保存する。補助記憶デバイス４４は、上記のアプリケーションプログラムを記憶する場合もある。

【0029】

補助記憶デバイス４４は、文書画像検索装置１に内蔵されていてもよいし、外付けされていてもよい。補助記憶デバイス４４は、文書データベース１１として機能する。

【0030】

コンソール４５は、コンピュータに指示を与える入力デバイスと、情報を表示する表示デバイスとを有する。コンソール４５は、図示しない信号入出力回路を介してシステムバス４８に接続される。

【0031】

スキャナ４６は、紙などの印刷媒体に印刷された文書画像をスキャンして電子的に読み取る。スキャナ４６は、図示しない信号入出力回路を介してシステムバス４８に接続される。

【0032】

通信インターフェース４７は、所定のネットワークを介して接続されたユーザ端末３との間で行われるデータ通信をコントロールする。

【0033】

［文書画像検索装置の機能説明］
文書画像検索装置１は、文書データベース１１にデータファイル２を登録する機能を有する。データファイル２の登録方法は、特に限定されない。例えば、コンソール４５の操作により電子的に作成された文書画像から文書画像検索装置１がデータファイル２を生成し、文書データベース１１に登録してもよい。スキャナ４６で光学的に読み取られた文書画像から文書画像検索装置１がデータファイル２を生成し、文書データベース１１に登録してもよい。外部のユーザ端末で作成された文書画像から文書画像検索装置１がデータファイル２を生成し、文書データベース１１に登録してもよい。この場合、文書画像は、外部のユーザ端末からネットワークを介して文書画像検索装置１にダウンロードされてもよいし、メモリカードなどの記憶媒体から文書画像検索装置１に読み込まれてもよい。

【0034】

文書画像検索装置１は、文書画像の頁毎に、サムネール画像２２と特徴量データ２３とを生成する。そして文書画像検索装置１は、文書画像を格納した文書ファイル２１にサムネール画像２２と特徴量データ２３とを付加してデータファイル２を生成し、文書データベース１１に登録する。

【0035】

なお、本実施形態では、文書データベース１１が補助記憶デバイス４４上で構成されるものとして説明を続けるが、これに限るものではない。例えば通信インターフェース４７を介してアクセスできるネットワーク上の記憶装置に文書データベース１１を構成してもよい。また、サムネール画像２２と特徴量データ２３とは補助記憶デバイス４４が記憶し、文書ファイル２１はネットワーク上の記憶装置が記憶するというように、データファイル２を分けて記憶してもよい。

【0036】

文書画像検索装置１は、ユーザ端末３から、紙等の印刷媒体に印刷された文書画像を撮影またはスキャンして得られる問合せ画像を受信すると、文書データベース２を検索して、その問合せ画像の元となる文書画像のデータが格納されたデータファイル２を特定し、そのデータファイル２のデータをユーザ端末３に送信する機能を有する。データファイル２のデータは、文書ファイル２１のデータだけでもよい。データファイル２そのものをユーザ端末３に送信してもよい。この機能は、入力セクション１２１、検索セクション１２２及び送信セクション１２５によって実現される。

【0037】

文書データベース２を検索した結果、問合せ画像の元となる文書画像に類似した画像のデータファイル２を複数検出した場合、文書画像検索装置１は、この類似画像を候補画像としてユーザに選択を促す。そしてユーザによって選択された候補画像のデータファイル２を、問合せ画像の元となる文書画像のデータが格納されたデータファイル２として特定し、そのデータファイル２のデータをユーザ端末３に送信する機能を有する。データファイル２のデータは、文書ファイル２１のデータだけでもよい。データファイル２そのものをユーザ端末３に送信してもよい。この機能は、出力セクション１２３、受付セクション１２４及び送信セクション１２５によって実現される。

【0038】

［検索セクション１２２の詳細説明］
図４は、検索セクション１２２の具体的な処理手順を示す流れ図である。この処理は、ＣＰＵ４１が、ＲＯＭ４２または補助記憶デバイス４４に格納されるアプリケーションプログラムの１つである特徴量検出プログラムにしたがって実行する。なお、図４に示すとともに以下に説明する処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。

【0039】

・Act１．歪補正処理
特徴量検出プログラムは、入力セクション１２１を介して問合せ画像５０（図５を参照）が入力されると起動する。問合せ画像５０の一例を図５に示す。問合せ画像５０は、文書画像の所望の頁をカメラで撮影した画像若しくはスキャナでスキャンした画像である。以下では、この問合せ画像５０を用いた場合について説明する。

【0040】

特徴量検出プログラムが起動すると、ＣＰＵ２１は、Act１として、問合せ画像５０に対して歪補正処理を行う。この処理は、問合せ画像５０の縦および横の方向を元の文書と同じ方向に合わせるための処理である。印刷物をスキャナで読取る場合、印刷物を原稿台へ斜めに置いたり、印刷物を搬送する際の機械的なずれにより、斜めに傾いて読み取られたりする可能性がある。また、デジタルカメラなどで印刷物を撮影する場合、カメラの光軸と印刷物の向きやその距離に応じてさらに高次の歪みが発生する。この歪は一般に射影変換で表され、印刷物上の長方形が一般的な四角形に変換される。このように歪んだ問合せ画像を元の画像と同じ向きになるように補正する。文書画像は縦、横方向の直線成分を多くもっているので、これらの直線成分を検出して、これが縦横の直線に戻るように逆射影変換を行うことによって補正する。

【0041】

本実施形態では、歪補正処理で処理された問合せ画像５０の信号をＰ(x,y)と表す。ｘ及びｙは、それぞれ横方向（ｘ軸方向）及び縦方向（ｙ軸方向）の座標位置である。文書画像検索装置１は、すべてデジタル画像信号を取り扱う。したがって、ｘ及びｙは、それぞれ整数である。

【0042】

・Act２．濃度信号への変換
歪補正処理が終了すると、ＣＰＵ４１は、Act２として、歪補正された問合せ画像５０を濃度信号Ｄ(x,y)に変換する。濃度信号Ｄ(x,y)は、下地部分すなわち何も印刷されていない紙の部分で“０”となり、インクが濃い部分ほど大きな値をとる信号である。

【0043】

先ずＣＰＵ４１は、カラー画像のＲＧＢ信号をモノクロ画像の信号に変換する。本実施形態では、明度Ｙを用いてＲＧＢ信号をモノクロ画像の信号に変換する。ＲＧＢ値から明度Ｙを算出する演算式は、（１）式となる。

【数1】

【0044】

ＣＰＵ４１は、問合せ画像５０の全画素(x,y)について（１）式を演算して、画素毎に明度Ｙ(x,y)を算出する。画素毎に明度Ｙ(x,y)を算出したならば、ＣＰＵ４１は、明度Ｙ(x,y)のヒストグラムを作成する。

【0045】

ヒストグラム６０の一例を図６に示す。ヒストグラム６０は、問合せ画像５０の画素毎の明度Ｙ(x,y)の分布を示す。図６に示すように、ヒストグラム６０には、頻度が高い部分（ピーク値）が少なくとも１か所存在する。ＣＰＵ４１は、この頻度が高いピーク値のなかで、明度Ｙ(x,y)が最も高いピーク値を下地領域の色情報、すなわち明度値Y0とする（下地色検出手段）。またＣＰＵ４１は、このヒストグラム６０において、明度Ｙ(x,y)が最も小さい値を最小明度値Yminとする。

【0046】

ＣＰＵ４１は、問合せ画像の画素毎に、明度値Y0と最小明度値Yminとを用いて、（２）式により濃度信号Ｄ(x,y)を計算する。なお、（２）式において、Y(x,y)は、画素(x,y)の色情報（明度値）である。すなわち（２）式は、下地領域の色情報［明度値Y0］と当該画素(x,y)の色情報［明度値Y(x,y)］との間の距離［Y0−Y(x,y)］を求め、この距離を当該画素(x,y)の濃度信号Ｄ(x,y)として算出する演算式である（濃度演算手段）。

【数2】

【0047】

この計算により、明度Ｙ(x,y)が下地部分と同じまたは高い画素(x,y)は０となり、明度Ｙ(x,y)が画像内で最小の画素(x,y)は１となるように、濃度信号Ｄ(x,y)が規格化される。

【0048】

ところで、印刷物の文書画像をカメラで撮影する場合には、照明やカメラの光学系に起因する照度ムラを生じる可能性がある。照度ムラの程度によっては照度ムラの補正を行う必要がある。この補正も、Act２の処理で行う。

【0049】

照度ムラの補正方法としては、以下の方法がある。例えば、文書画像を撮影する前に一様な色の物を文書画像と同じ位置において撮影し、得られた画像データを用いて補正する方法がある。あるいは、撮影画像をメッシュ状の領域に分割し、領域毎に下地部分の有無を判定する。そして、下地部分がある領域については下地部分の明度値Y0を用い、下地部分がない領域については周辺の領域の下地部分を用いて補正する方法がある。

【0050】

・Act３．濃度分布統計量の計算
問合せ画像５０の信号Ｐ(x,y)を濃度信号Ｄ(x,y)に変換し終えると、ＣＰＵ４１は、Act３として問合せ画像５０の濃度分布統計量を計算する。濃度分布統計量は、問合せ画像５０の特徴量を示すデータであり、具体的には、問合せ画像５０の横方向（ｘ方向）における濃度分布の重心位置μx及び標準偏差σxと、縦方向（ｙ方向）における濃度分布の重心位置μy及び標準偏差σyである。

【0051】

先ずＣＰＵ４１は、問合せ画像５０の濃度信号Ｄ(x,y)について、それぞれ横方向に並ぶ全画素の濃度値を加算した射影濃度と縦方向に並ぶ全画素の濃度値を加算した射影濃度とを求める。本実施形態では、横方向に並ぶ全画素の射影濃度をf(y)とし、縦方向に並ぶ全画素の射影濃度をg(x)とする。ＣＰＵ４１は、（３）式により射影濃度f(y)と射影濃度g(x)とを算出する（射影演算手段）。

【数3】

【0052】

次にＣＰＵ４１は、横方向における射影濃度f(y)の分布と、縦方向における射影濃度g(x)の分布とから、（４）式により横方向の射影濃度f(y)の分布に対する重心位置μx及び標準偏差σxと、縦方向の射影濃度f(y)の分布に対する重心位置μy及び標準偏差σyとを算出する（統計量演算手段）。

【数4】

【0053】

（４）式により算出される横方向の重心位置μx及び標準偏差σxと、縦方向の重心位置μy及び標準偏差σyとが、濃度信号Ｄ(x,y)の横方向及び縦方向における射影濃度の分布を表す統計量である。問合せ画像５０に対する横方向及び縦方向における射影濃度の分布と、各濃度分布統計量（μx，σx，μy，σy）の算出結果の一例とを図７に示す。

【0054】

・Act４．画像の分割
横方向及び縦方向の濃度分布統計量（μx，σx，μy，σy）を算出し終えると、ＣＰＵ４１は、Act４として問合せ画像５０を複数の領域に分割する。本実施形態では、図８に示すように、縦、横それぞれの方向に２本ずつの分割線（図中一点鎖線）で、問合せ画像５０をマトリクス状に九つの領域A1,A2,A3,…,A9に分割する。分割線の位置Thx1、Thx2、Thy1,Thy2は、重心位置μx，μyを中心に標準偏差σx，σyの０．８倍をプラスマイナスした値である。以後、分割線の位置を分割閾値Thx1、Thx2、Thy1,Thy2と称する。分割閾値Thx1、Thx2、Thy1,Thy2は、（５）式で算出される（決定手段）。

【数5】

【0055】

ここで、濃度分布統計量（μx，σx，μy，σy）を用いて分割閾値Thx1、Thx2、Thy1,Thy2を決定する理由について説明する。文書画像を分割する場合、単純には、文書画像全体の外形の位置を基準に分割閾値を決める方法が考えられる。しかし、このような方法で分割閾値を決めるためには、文書画像の縁の位置が分かっていることが前提となる。例えば、定型の用紙に印刷された文書画像をフラットベッドスキャナでスキャニングする場合には、文書画像の縁の位置が一義的に定まるので問題はない。

【0056】

しかし、例えば紙送り式のスキャナで文書画像を読み取る際に読取スキューが発生した場合、スキュー補正しても文書画像の縁の位置は必ずしも一致しない。また、文書画像をデジタルカメラ等で撮影する場合には、カメラから被写体である文書画像までの距離や相対位置のずれ等の撮影条件によって、撮影画像に含まれる文書画像の倍率やポジションが変化する。このため、文書画像の縁の位置は不明である。したがって、文書画像全体の外形の位置を基準に分割閾値を決める方法は適用できない。

【0057】

本実施形態は、問合せ画像５０の下地部分における濃度信号を０に正規化する。このため、どのような撮影条件で文書画像を撮影しても、射影濃度分布の重心位置μx，μyは相対的に等しくなる。また、撮影倍率が変わっても、射影濃度分布の標準偏差σx，σyは相対的に同じである。したがって、濃度分布統計量（μx，σx，μy，σy）を用いることで、撮影条件の変動等に関わらず分割閾値Thx1、Thx2、Thy1,Thy2を文書画像に対して相対的に決まった位置に設定できる。

【0058】

・Act５．濃度比率特徴量の計算
問合せ画像５０を複数（本実施形態では九つ）の領域A1,A2,A3,…,A9に分割したならば、ＣＰＵ４１は、Act５として濃度比率特徴量Ｑを計算する。濃度比率特徴量Ｑは、問合せ画像５０の特徴量を示すデータである。

【0059】

先ずＣＰＵ４１は、分割領域A1,A2,A3,…,A9毎に、濃度信号Ｄ(x,y)の総和S1,S2,S3,….S9を計算する。総和S1は、分割領域A1に存在する各画素の濃度信号Ｄ(x,y)の総和であり、総和S2は、分割領域A2に存在する各画素の濃度信号Ｄ(x,y)の総和である。他の総和S3,….S9についても同様である（領域濃度検出手段）。

【0060】

分割領域A1,A2,A3,…,A9毎に、濃度信号Ｄ(x,y)の総和S1,S2,S3,….S9を算出したならば、ＣＰＵ４１は、（６）式の上段の演算式のように、総和S1,S2,S3,….S9を合算して、総和合算値Sallを計算する（総濃度検出手段）。そしてＣＰＵ４１は、（６）式の下段の演算式のように、分割領域A1,A2,A3,…,A9毎に、その領域の濃度信号の総和S1,S2,S3,….S9を総和合算値Sallで除算して、濃度比率特徴量Q1,Q2,Q3,….Q9を算出する（特徴量検出手段）。

【数6】

【0061】

濃度比率特徴量Q1,Q2,Q3,….Q9は、各分割領域A1,A2,A3,…,A9における濃度信号の総和S1,S2,S3,….S9の比率である。本実施形態では、濃度比率特徴量Q1,Q2,Q3,….Q9を総称する場合に濃度比率特徴量Ｑと表す。つまり、濃度比率特徴量Ｑは、｛Qi:1≦i≦9｝を意味する。濃度比率特徴量Ｑは、濃度が高い領域ほど値が大きくなる。

【0062】

問合せ画像５０を分割閾値Thx1、Thx2、Thy1,Thy2で９分割した際の分割領域A1,A2,A3,…,A9毎の濃度比率特徴量Q1,Q2,Q3,….Q9を図９に示す。すなわち、分割領域A1の濃度比率特徴量Q1は0.09であり、分割領域A2の濃度比率特徴量Q2は0.11である。他の分割領域A3,…,A9の濃度比率特徴量Q3,….Q9も、図示のとおりである。

【0063】

濃度比率特徴量Ｑの分布は、文書画像の全体的な濃度の分布を表す。すなわち濃度比率特徴量Ｑは、文書画像に応じた値となる。このため、類似した文書画像同士は、濃度比率特徴量Ｑが近似する。ただし、濃度の分布だけを見ているので、濃度比率特徴量Ｑが近いからといって文書画像同士が必ずしも類似しているとは限らない。それでも、この濃度比率特徴量Ｑを用いることで、２つの文書画像が類似していないということは判断できる。つまり、問合せ画像５０に対して類似していない文書画像のデータファイル２を検索対象から排除することができる。

【0064】

上述したように濃度比率特徴量Ｑは、文書画像の射影計算、重心・標準偏差等の統計計算、及び領域内濃度信号の総和の計算といったきわめて簡易な計算で求めることができる。したがって、濃度比率特徴量Ｑを用いた文書画像同士の類似性判断処理は、高速に処理できる。また、濃度比率特徴量Ｑは、問合せ画像５０のサイズや傾きなどによらず一定である。このため、濃度比率特徴量Ｑを用いた文書画像同士の類似性判断処理は、信頼性が高い。

【0065】

・Act６．粗候補画像の選定
問合せ画像５０の濃度比率特徴量Ｑを算出したならば、ＣＰＵ４１は、Act６としてこの濃度比率特徴量Ｑを用いて問合せ画像５０に類似した候補画像の選定を行う（検索手段）。

【0066】

先ずＣＰＵ４１は、問合せ画像５０の濃度比率特徴量Ｑ（Qi:1≦i≦9）と、文書データベース１１に登録されているすべてのデータファイル２の濃度比率特徴量ＱD（QDi:1≦i≦9）との距離Ｌを（７）式により計算する。すなわちＣＰＵ４１は、分割領域A1,A2,A3,…,A9毎の濃度比率特徴量Q1,Q2,Q3,….Q9と濃度比率特徴量QD1,QD2,QD3,….QD9との差の二乗和の平方根を距離Ｌとして算出する。

【数7】

【0067】

濃度比率特徴量Ｑと濃度比率特徴量ＱDとの距離Ｌを算出したならば、ＣＰＵ４１は、この距離Ｌを所定の閾値Ｌthと比較する。そして、距離Ｌが閾値Ｌth以下であればＣＰＵ４１は、その濃度比率特徴量ＱDを有するデータファイル２に格納される文書画像のデータは、問合せ画像５０に類似する候補画像のデータとして抽出する。

【0068】

同一文書画像のデータでも、印刷の汚れや書込み、撮影時のノイズ、歪補正の補正誤差、歪補正の補正誤差に起因する重心位置計算誤差等の要因により、濃度比率特徴量Ｑは変動する。問合せ画像５０の濃度比率特徴量Ｑが変動したことによって、候補画像として抽出されるべきデータファイル２の文書画像が候補から外れてしまうことがある。このような不具合を解消するために、距離Ｌに対してしきい値Ｌthを設定する必要がある。

【0069】

本願発明者は、濃度比率特徴量Ｑの変動量を実験的に測定したところ、最大で０．０４程度であった。そこで本実施形態では、最大変動量の２倍のマージンを取り、しきい値Ｌthを０．０８とする。このように、濃度比率特徴量Ｑの最大変動量に対して２倍の値をしきい値Ｌthとして設定することにより、濃度比率特徴量Ｑの変動が候補画像の選定に影響を及ぼさなくなる。

【0070】

また本願発明者は、多数の文書画像についてそれぞれ濃度比率特徴量Ｑを算出し、さらに異なる画像間の濃度比率特徴量Ｑの距離Ｌを算出して、距離Ｌの頻度を求めた。図１０は、距離Ｌの頻度を示すグラフである。このグラフからは、約９８％の異なる画像の組み合わせにおいて、濃度比率特徴量Ｑの距離Ｌが０．１以上となることがわかる。したがって、しきい値Ｌthを０．１よりも小さい０．０８に設定することによって、約９８％の画像の組み合わせを除外できるので、文書データベース１１に登録されている文書画像の中の約２％に候補画像を絞り込むことができる。

【0071】

・Act７．精細比較
Act６の処理では、問合せ画像５０と文書データベースに登録されている各文書画像との濃度比率特徴量間の距離Ｌのみによって候補画像を選定する。このため、全く類似していない文書画像も候補画像として選定される可能性がある。そこでＣＰＵ４１は、Act７として問合せ画像５０と各候補画像とについて画素同士の比較を直接行い、候補画像が類似画像であるか否かを判定する。

【0072】

具体的には、ＣＰＵ４１は、問合せ画像５０と候補画像とについて画素毎に濃度信号同士を比較する。先ずＣＰＵ４１は、問合せ画像５０の濃度信号と候補画像の濃度信号とについて座標系を、それぞれ重心位置μが中央、重心位置μに標準偏差σの定数ｋ倍を加減算した値が縁となるような座標系に変換する。すなわち、座標系変換前の濃度信号をＰｑ(x,y)、そのｘ軸方向及びｙ軸方向の重心位置と標準偏差をそれぞれμｘ，σｘ、μｙ，σｙ、座標系変換後の濃度信号をＮｑ（ｘ´，ｙ´）とすると、ＣＰＵ４１は、（８）式により問合せ画像５０及び候補画像の濃度信号の座標系を変換する。

【数8】

【0073】

ここで定数ｘｗ、ｙｗは変換後画像の縦、横の画素数である。また、定数ｋは、画像の比較範囲を決める定数であり、１．７５から２．５程度の値とする。定数ｋを１．７５とすると、正規分布の画像であれば９２％がこの定数ｋにより定まる比較範囲に入り、一様分布の画像であれば１００％が定数ｋにより定まる比較範囲に入る。文書画像の場合、正規分布よりも一様分布に近いと考えられるので、ｋを１．７５以上に設定すれば、文書画像のほぼ全域が比較範囲に入る。

【0074】

次にＣＰＵ４１は、（９）式により最大類似度Ａmaxを計算する。（９）式において、Ｎｑ（ｘ´，ｙ´）は、問合せ画像５０の座標系変換後の濃度信号であり、Ｎｃ（ｘ´，ｙ´）は、候補画像の座標系変換後の濃度信号である。

【数9】

【0075】

類似度Ａは、２つの画像ＮｑとＮｃとがＮｑ＝ａ・Ｎｃの比例関係（ａは比例定数）にある場合に最大値１をとり、類似度が低下するなるほど値が小さくなる。本来は、重心と標準偏差とによる規格化で２つの画像Ｎｑ、Ｎｃの位置は合っているはずである。しかし、問合せ画像の汚れ、問合せ画像に対する書込み、問合せ画像撮影時のノイズなどによって、２つの画像には若干の誤差を生じる。このため、この誤差分のマージンを取る必要がある。本実施形態では、最大類似度Ａmaxのｘｄ，ｙｄを（１０）式の範囲に設定して２５通りの類似度を計算し、その中の最大値を最大類似度Ａmaxとする。

【数10】

【0076】

最大類似度Ａmaxを算出したならば、最大類似度Ａmaxをしきい値THaと比較する。そして最大類似度Ａmaxがしきい値THa以上であれば、その候補画像は元の画像と類似していると判断できる。すなわち候補画像は、類似画像として検索される。しきい値THaは、実験的に０．８程度の値をとることがよい。また、最大類似度Ａmaxがしきい値THaよりも高い確定しきい値以上の場合には、その候補画像は問合せ画像の元となる電子化された文書画像として確定される。
以上で、特徴量検索プログラムが終了する。

【0077】

［特徴量データの計算］
最後に、データファイル２に文書ファイル２１とともに格納される特徴量データ２３の計算方法について説明する。

【0078】

先ずＣＰＵ４１は、データファイル２の文書ファイル２１に格納された文書画像を頁毎にビットマップ画像に展開する。このとき、文書画像がカラー画像の場合にはＣＭＹＫ信号に展開し、モノクロ画像の場合にはグレー画像信号に展開する。

【0079】

次に、ＣＰＵ４１は、ビットマップ画像の信号（ＣＭＹＫ信号またはグレー画像信号）を濃度信号Ｄに変換する。具体的には、ＣＭＹＫ信号の場合には、（１１）式で変換する。ただし、濃度信号Ｄの算出値が１より大きくなった場合には、濃度信号Ｄの値を１とする。

【0080】

Ｄ＝Ｋ＋（Ｃ＋Ｍ＋Ｙ）／３ …（１１）
グレー画像信号の場合には、このグレー画像信号をそのまま濃度信号Ｄとする。このとき濃度信号Ｄは、黒が１の値をとり、白が０の値をとる。

【0081】

次にＣＰＵ４１は、検索セクション１２２のAct３〜Act５のステップで説明した処理と同様の処理を実行する。すなわちＣＰＵ４１は、先ず、濃度分布統計量を算出する（Act３）。次にＣＰＵ４１は、濃度分布統計量を基に分割閾値を決めて、文書画像を複数の領域に分割する（Act４）。そしてＣＰＵ４１は、領域毎に濃度比率を算出して、濃度比率特徴量Ｑｋを求める（Act５）。

【0082】

最後にＣＰＵ４１は、検索セクション１２２のAct７のステップで説明した処理と同様にして、濃度比率特徴量Ｑｋから規格化画像Ｎ（ｘ´，ｙ´）を求める。
ＣＰＵ４１は、以上の処理結果として得られた濃度分布統計量（μx，σx，μy，σy）、濃度比率特徴量Ｑｋ、規格化濃度画像Ｎ（ｘ´，ｙ´）を、特徴量データとして文書画像の頁毎にデータファイル２に格納する。

【0083】

［実施形態の効果］
上述したように文書画像検索装置１は、問合せ画像に類似する文書画像を文書データベース１１から検索する際に、先ず、濃度比率特徴量Ｑを計算して絞り込みを行う。濃度比率特徴量Ｑは、極めて少ない計算量で算出できる。このため、文書データベース１１上の文書画像が多量であっても、高速に候補画像を絞り込むことができる。したがって、高速な検索が可能となる。

【0084】

また文書画像検索装置１は、濃度比率特徴量Ｑを計算する際に先ず、濃度分布統計量を求める。そして文書画像検索装置１は、この濃度分布統計量を基準に文書画像の分割位置を決めて、濃度比率特徴量Ｑを計算する。したがって、問合せ画像５０のデジタルカメラで撮影する際の条件や、問合せ画像をスキャナでスキャンする際の条件に係らず、同じ画像に対してはいつも同じ位置で画像領域を分割できる。したがって、デジタルカメラ等で撮影した文書画像についても、その元である電子化された文書画像を高精度で検索することができる。

【0085】

［他の実施形態］
なお本発明は、前記実施形態に限定されるものではない。
例えば前記実施形態では、文書画像を９つの領域に分割したが、領域の分割数は９つに限定されるものではない。例えば４×４の１６領域に分割してもよいし、５×５の２５領域に分割してもよい。また、分割数は縦と横を同数にする必要もなく，例えば縦方向が４分割で子方向が３分割の計１２領域に分割してもよい。また、縦方向のみ若しくは横方向のみで文書画像を複数の領域に分割してもよい。

【0086】

分割数を増やすことによって、特徴量の次数が増加する。このため、視覚的には類似していないが特徴量が近い値をなす画像を候補画像として検出する確率が低くなる。その結果、絞り込みのステップでの候補画像をさらに減らすことができ、検索処理のより一層の高速化を図ることができる。

【0087】

また、図４のAct５のステップで説明した分割領域内の濃度総和の計算方法については、次のような変形例が考えられる。この変形例については、図１１を用いて説明する。図１１において、［Ａ］は、射影濃度分布と分割線Ｒとの一例を示す。［Ａ］に示すように、本変形例では、分割線Ｒを挟んで両側に帯状の中間領域Ｗを設ける。そしてこの中間領域Ｗ内の画素の濃度値については、この中間領域Ｗを挟む両側の画像領域の濃度和に算入させる。ただし、それぞれ２つの比例定数ｂ１，ｂ２を乗算する。比例定数ｂ１，ｂ２は、その和（ｂ１＋ｂ２）が常に１になるように設定される任意の定数である。比例定数ｂ１，ｂ２は、中間領域Ｗ内で一定の値、例えばｂ１＋ｂ２＝１／２でもよいし、分割線からの距離に応じて値を変えてもよい。

【0088】

図１１の［Ｂ］は、前記実施形態における分割線Ｒ周辺での濃度積分関数を示し、［Ｃ］は本変形例における分割線Ｒ周辺での濃度積分関数を示す。［Ｂ］に示すように、前記実施形態では、分割線Ｒを境に濃度積分関数が切り替わる。このため、分割線Ｒの位置計算に誤差が生じると、その誤差が、濃度比率特徴量Ｑに影響を及ぼす。例えば画像の濃度分布が分割線Ｒの近辺で高いピークを持っている場合を考える。この場合、計算誤差によって分割閾値がピークの右側から左側に移ることがある。分割閾値が移ると、濃度総和の値が大きく変動することになる。

【0089】

そこで本変形例のように、中間領域Ｗを設ける。そして、中間領域Ｗの濃度信号は、これを挟む両分割領域の濃度総和の計算に入れ込む。そうすることにより、分割閾値の変動による濃度総和の変動への影響が小さくなる。その結果、濃度比率特徴量の精度を高めることができる。

【0090】

また、前記実施形態では、図４のAct１〜Act７の処理ステップを特徴量検索プログラムにしたがってＣＰＵ４１が実行する処理の範囲として説明したが、特徴量検索プログラムにしたがってＣＰＵ４１が実行する処理の範囲はこれに限定されるものではない。例えばAct１〜Act５の処理ステップを特徴量検索プログラムにしたがってＣＰＵ４１が実行する処理の範囲としてもよい。あるいはAct２〜Act５の処理ステップを特徴量検索プログラムにしたがってＣＰＵ４１が実行する処理の範囲としてもよい。

【0091】

この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0092】

１…文書画像検索装置、２…データファイル、１１…文書データベース、１２…検索処理部、５０…文書画像、１２１…入力セクション、１２２…検索セクション、１２３…出力セクション、１２４…受付セクション、１２５…送信セクション。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】