知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023092134
(43)【公開日】2023-07-03
(54)【発明の名称】画像認識装置、および画像認識方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230626BHJP
G06V 30/14 20220101ALI20230626BHJP
【ＦＩ】
G06T7/00 300F
G06K9/20 340J
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021207145
(22)【出願日】2021-12-21
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】児玉 卓
【テーマコード（参考）】
5B029
5L096
【Ｆターム（参考）】
5B029AA01
5B029AA03
5B029BB02
5B029DD07
5B029EE10
5B029EE11
5B029EE12
5L096AA02
5L096BA07
5L096CA16
5L096EA04
5L096EA16
5L096EA43
5L096FA12
5L096FA15
5L096FA35
5L096FA59
5L096FA69
5L096JA11
(57)【要約】
【課題】入力画像に含まれる選択受付図形の認識精度に優れた画像認識装置を提供すること。
【解決手段】本発明の一態様に係る画像認識装置は、原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能な画像認識装置であって、前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力する頂点候補出力部と、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する認識結果出力部と、を有する。
【選択図】図２
【解決手段】本発明の一態様に係る画像認識装置は、原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能な画像認識装置であって、前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力する頂点候補出力部と、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する認識結果出力部と、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能な画像認識装置であって、
前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力する頂点候補出力部と、
前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する認識結果出力部と、を有する、画像認識装置。
前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力する頂点候補出力部と、
前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する認識結果出力部と、を有する、画像認識装置。
【請求項2】
前記選択受付図形は矩形の外形形状を有し、
前記選択受付図形の認識結果は、前記選択受付図形における前記矩形の少なくとも１つの頂点位置を含む、請求項１に記載の画像認識装置。
前記選択受付図形の認識結果は、前記選択受付図形における前記矩形の少なくとも１つの頂点位置を含む、請求項１に記載の画像認識装置。
【請求項3】
前記頂点候補出力部は、複数の前記特徴点同士を結ぶ画像領域に含まれる複数の画素のうち、画素値が該特徴点に含まれる画素の画素値と一致する画素数に基づき、前記頂点候補の検出結果を出力する、請求項１または請求項２に記載の画像認識装置。
【請求項4】
前記頂点候補出力部は、前記入力画像に含まれる複数の画素それぞれの画素値から生成されるヒストグラムに基づく二値化閾値を用いて、前記入力画像を二値化した二値化画像から抽出される前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項３のいずれか１項に記載の画像認識装置。
【請求項5】
前記頂点候補出力部は、前記入力画像の色成分情報およびヒストグラム情報の少なくとも一方に基づき、前記入力画像における手書き領域と前記手書き領域以外の領域とに区別された前記入力画像の前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項４のいずれか１項に記載の画像認識装置。
【請求項6】
前記認識結果出力部は、前記選択受付図形の大きさ情報および位置情報の少なくとも一方に基づき、前記選択受付図形の認識結果を出力する、請求項１乃至請求項５のいずれか１項に記載の画像認識装置。
【請求項7】
前記頂点候補出力部は、前記入力画像に含まれる罫線領域から検出される前記入力画像の傾きが補正された前記入力画像の前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項６のいずれか１項に記載の画像認識装置。
【請求項8】
前記頂点候補出力部は、前記入力画像に含まれる複数の画素それぞれの画素値が色反転された前記入力画像の前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項７のいずれか１項に記載の画像認識装置。
【請求項9】
前記頂点候補出力部は、前記入力画像に含まれる複数の画素それぞれの画素値を色成分に分解して取得される色成分画像における前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項８のいずれか１項に記載の画像認識装置。
【請求項10】
前記頂点候補出力部は、前記入力画像の色成分情報およびヒストグラム情報の少なくとも一方に基づいて前記入力画像における帳票領域と前記帳票領域以外の領域とに区別された前記入力画像の前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項９のいずれか１項に記載の画像認識装置。
【請求項11】
前記頂点候補出力部は、前記入力画像に含まれる黒色領域が拡大された前記入力画像における前記特徴点に基づき、前記頂点候補を出力する、請求項１から請求項１０のいずれか１項に記載の画像認識装置。
【請求項12】
前記認識結果出力部は、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づいて決定される、前記選択受付図形を指示する認識マークの周辺領域を含む、前記選択受付図形の認識結果を出力する、請求項１から請求項１１のいずれか１項に記載の画像認識装置。
【請求項13】
前記認識結果出力部から出力される前記選択受付図形の認識結果に基づき、前記選択受付図形以外の文字および図形の少なくとも一方の検出結果を出力する誤認識評価部をさらに有する、請求項１から請求項１２のいずれか１項に記載の画像認識装置。
【請求項14】
原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能な画像認識装置による画像認識方法であって、前記画像認識装置が、
頂点候補出力部により、前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力し、
認識結果出力部により、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する、画像認識方法。
頂点候補出力部により、前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力し、
認識結果出力部により、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する、画像認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識装置、および画像認識方法に関する。
【背景技術】
【0002】
ＯＣＲ（Optical Character Reader）技術を用いて、記録媒体に形成された文字や図形の画像を認識する画像認識装置が知られている。
【0003】
上記の画像認識装置として、認識対象とする帳票画像を定義する際に、帳票画像に含まれる項目と、項目に対する選択肢と、を含む領域の指定を受け付け、領域から抽出された、項目と選択肢とを対応付けた定義を表示するものが開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
画像認識装置では、帳票画像等の入力画像に含まれ、項目に対する選択を受け付ける選択受付図形の認識精度に優れたものが求められる。
【0005】
本発明は、入力画像に含まれる選択受付図形の認識精度に優れた画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る画像認識装置は、原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能な画像認識装置であって、前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力する頂点候補出力部と、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する認識結果出力部と、を有する。
【発明の効果】
【0007】
本発明によれば、入力画像に含まれる選択受付図形の認識精度に優れた画像認識装置を提供できる。
【図面の簡単な説明】
【0008】
【図1】実施形態に係る画像認識装置の入力画像を例示する図である。
【図2】実施形態に係る画像認識装置の出力画像を例示する図である。
【図3】実施形態に係る画像認識装置を有する画像形成装置の構成例の図である。
【図4】実施形態に係る画像形成装置の構成例のブロック図である。
【図5】実施形態に係るコントローラのハードウェア構成例のブロック図である。
【図6】実施形態に係るＩＰＵのハードウェア構成例のブロック図である。
【図7】実施形態に係るＩＰＵの機能構成例のブロック図である。
【図8】実施形態に係る画像形成装置による原稿読取の動作例のフロー図である。
【図9】実施形態に係るＩＰＵによる認識処理例のフロー図である。
【図10】実施形態に係る入力画像例を示す図である。
【図11】実施形態に係る入力画像のヒストグラムを例示する図である。
【図12】実施形態に係る二値化画像例を示す図である。
【図13】実施形態に係る外形形状画像例を示す図である。
【図14】実施形態に係る頂点候補検出処理例を説明する第１図である。
【図15】実施形態に係る頂点候補検出処理例を説明する第２図である。
【図16】実施形態に係る頂点候補検出処理例を説明する第３図である。
【図17】実施形態に係る頂点候補評価処理例を説明する図である。
【図18】実施形態に係る出力画像の第１例を示す図である。
【図19】実施形態に係る出力画像の第２例を示す図である。
【図20】実施形態に係る傾き検出処理例を説明する図である。
【図21】実施形態に係る色反転処理例を説明する図である。
【図22】実施形態に係る黒色領域の拡大処理例を説明する図である。
【図23】その他の実施形態に係る出力画像の第１例を示す図である。
【図24】その他の実施形態に係るＩＰＵの機能構成例のブロック図である。
【図25】その他の実施形態に係る出力画像の第２例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明を実施するための形態について詳細に説明する。各図面において、同一構成部には同一符号を付し、重複した説明を適宜省略する。
【0010】
実施形態に係る画像認識装置は、原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能なものである。
【0011】
選択受付図形とは、選択の対象項目周辺に形成され、選択されたことを示すマークが入力される図形をいう。例えば、選択受付図形は、原稿に含まれる選択の対象項目周辺に形成された四角図形であって、選択された際に、選択されたことを示すチェックマークが付与される、いわゆるチェックボックス等である。対象項目とは、選択受付図形を用いて選択される項目を意味する。
【0012】
実施形態では、一例として選択受付図形がチェックボックスである場合を説明する。
【0013】
【0014】
図１に示すように、入力画像Ｉｍ０は、対象項目５１０の画像と、対象項目５１０に隣り合って形成されたチェックボックス５１１と、を含んでいる。
【0015】
実施形態に係る画像認識装置は、入力画像Ｉｍ０の中からチェックボックス５１１を認識し、図２に示すように、認識したチェックボックス５１１を指示する認識マーク５２１を付与した出力画像Ｑを出力する。
【0016】
実施形態に係る画像認識装置によりチェックボックス５１１を認識することによって、原稿Ｐｉにおけるチェックボックス５１１に、チェックマーク５２２が付与されているか否か等を、後段の処理装置が正確に認識可能になる。
【0017】
実施形態に係る画像認識装置は、入力画像Ｉｍ０に含まれる図形の外形形状の特徴点に基づき、チェックボックス５１１の頂点候補の検出結果を出力する頂点候補出力部と、頂点候補出力部から出力される頂点候補の検出結果に基づき、チェックボックス５１１の認識結果を出力する認識結果出力部と、を有する。この構成により、入力画像Ｉｍ０に含まれるチェックボックス５１１の認識精度に優れた画像認識装置を提供する。ここで、頂点とは、チェックボックス５１１における図形の角部分をいう。
【0018】
以下、実施形態に係る画像認識装置を有する画像形成装置を一例として説明する。この画像形成装置は、例えば用紙等の記録媒体に画像を形成する機能と、画像が形成された用紙等の原稿を読み取る機能と、を有する複合機（MFP：Multi-Function Peripheral）である。実施形態に係る画像認識装置は、画像形成装置により読み取られた原稿の画像の少なくとも一部が入力された入力画像Ｉｍ０から、チェックボックス５１１を認識する。
【0019】
【0020】
給紙部４００は、サイズの異なる用紙を収納する給紙カセット４２１及び４２２と、給紙カセット４２１及び４２２に収納された用紙をプロッタ３００による画像形成位置まで搬送する各種ローラからなる給紙手段４２３と、を有する。
【0021】
プロッタ３００は、露光装置３３１と、感光体ドラム３３２と、現像装置３３３と、転写ベルト３３４と、定着装置３３５と、を有する。プロッタ３００は、スキャナ１００により読取られた原稿の画像データ、或いはネットワークＩ／Ｆを介して外部のＰＣ等から入力された画像データに基づいて、露光装置３３１により感光体ドラム３３２を露光して感光体ドラム３３２に潜像を形成する。プロッタ３００は、現像装置３３３により感光体ドラム３３２に異なる色のトナーを供給して現像する。プロッタ３００は、転写ベルト３３４により感光体ドラム３３２に現像されたトナー像を給紙部４００から供給された用紙に転写した後、定着装置３３５により用紙に転写されたトナー像を構成するトナーを溶融させて、用紙にカラー画像を定着させる。
【0022】
スキャナ１００は、ＡＤＦ（Auto Document Feeder）４１と、スキャナユニット４２と、排紙トレイ４３と、を有する。スキャナ１００は、ＡＤＦ４１を駆動させ、ＡＤＦ４１に載置された原稿をスキャナユニット４２に搬送する。スキャナ１００は、スキャナユニット４２を駆動させ、ＡＤＦ４１から搬送される原稿を撮像させる。ＡＤＦ４１に原稿が載置されておらず、スキャナユニット４２に直接原稿が載置された場合には、スキャナユニット４２は、載置された原稿を撮像する。すなわち、スキャナユニット４２が原稿の撮像部として動作する。
【0023】
図３に示すスキャナユニット４２は、例えば、差動ミラー駆動方式であって、光学センサ一体型駆動方式のものである。スキャナユニット４２は、第１ミラーユニット２０４と、第２ミラーユニット２１０と、レンズ２１６と、第１センサボード２１５と、を有する。
【0024】
第１ミラーユニット２０４は、ＬＥＤ（Light Emitting Diode）等の発光部を含む光源と、ミラーと、を有する光学ユニットである。第１ミラーユニット２０４は、光源からの光を載置された原稿に照明し、原稿による反射光を第２ミラーユニット２１０に向けて反射する。
【0025】
第２ミラーユニット２１０は、第１ミラーユニット２０４からの光をレンズ２１６に向けて反射する。レンズ２１６は、第２ミラーユニット２１０からの光を、第１センサボード２１５に設けられた光電変換素子２１４上において略結像させる。略結像した原稿の像は、光電変換素子２１４が光電変換してアナログ画像信号とすることにより、原稿の読み取りが行われる。
【0026】
図４は、画像形成装置１の構成を例示するブロック図である。画像形成装置１は、スキャナ１００と、コントローラ２００と、プロッタ３００と、画像メモリ４０１と、ＩＰＵ（Image Processing Unit）５００と、を有する。
【0027】
画像形成装置１は、スキャナ１００により読み取った原稿Ｐｉの少なくとも一部が入力された入力画像Ｉｍ０に対し、ＩＰＵ５００により画像認識処理を行う。なお、ＩＰＵ５００は、画像認識処理以外の画像処理を行ってもよい。画像形成装置１は、ＩＰＵ５００による画像処理後の画像データや、テストチャート（テストパターン）の画像データに基づいて、プロッタ３００により用紙に画像形成し、画像形成された用紙を印刷物Ｐｏとして出力する。
【0028】
コントローラ２００は、画像形成装置１全体の制御を行う。
【0029】
画像メモリ４０１は、揮発性メモリや、ハードディスク等を含む。画像メモリ４０１は、スキャナ１００、コントローラ２００、プロッタ３００およびＩＰＵ５００のそれぞれの間において画像データの送受を行うための一次保管や、後日使用するための恒久保管を行う。
【0030】
ＩＰＵ５００は、入力画像Ｉｍ０に含まれ、項目に対する選択を受け付けるチェックボックス５１１を認識可能な画像認識装置の一例である。
【0031】
画像形成装置１は、ネットワークＮＷを経由し、ＰＣ２やサーバー３等に接続し、画像データ等を送受信できる。
【0032】
＜コントローラ２００のハードウェア構成例＞
図５は、コントローラ２００のハードウェア構成の一例を示すブロック図である。図５に示すように、コントローラ２００は、ＣＰＵ（Central Processing Unit）１０と、ＲＡＭ（Random Access Memory）１１と、ＲＯＭ（Read Only Memory）１２と、ＨＤＤ（Hard Disk Drive）１３と、通信Ｉ／Ｆ（Interface）１４と、を有する。これらはバス１５を介して相互に電気的に接続している。また、通信Ｉ／Ｆ１４は、表示装置１６及び入力操作部１７に接続している。
図５は、コントローラ２００のハードウェア構成の一例を示すブロック図である。図５に示すように、コントローラ２００は、ＣＰＵ（Central Processing Unit）１０と、ＲＡＭ（Random Access Memory）１１と、ＲＯＭ（Read Only Memory）１２と、ＨＤＤ（Hard Disk Drive）１３と、通信Ｉ／Ｆ（Interface）１４と、を有する。これらはバス１５を介して相互に電気的に接続している。また、通信Ｉ／Ｆ１４は、表示装置１６及び入力操作部１７に接続している。
【0033】
ＣＰＵ１０は演算手段であり、画像形成装置１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体である。ＣＰＵ１０は、情報を処理する際の作業領域としてＲＡＭ１１を用いる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムを格納している。
【0034】
ＨＤＤ１３は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Operating System）や各種の制御プログラム、アプリケーションプログラム等を格納している。通信Ｉ／Ｆ１４は、バス１５と、各種のハードウェアやネットワーク等と、を接続して制御するインターフェースである。
【0035】
表示装置１６は、ユーザが画像形成装置１の状態を確認するための視覚的ユーザインターフェースである。入力操作部１７は、キーボードやマウス等、ユーザが画像形成装置１に情報を入力するためのユーザインターフェースである。
【0036】
画像形成装置１は、上記のハードウェア構成において、ＲＯＭ１２やＨＤＤ１３又は光学ディスク等の記録媒体に格納されたプログラムをＲＡＭ１１に読み出し、ＣＰＵ１０の制御に従って動作させることにより、ソフトウェア制御部を構成する。画像形成装置１は、このようにして構成されたソフトウェア制御部と、ハードウェアと、を組み合わせることによって、画像形成装置１の機能を実現する。
【0037】
＜ＩＰＵ５００のハードウェア構成例＞
図６は、ＩＰＵ５００のハードウェア構成の一例を示すブロック図である。図６に示すように、ＩＰＵ５００は、ＣＰＵ２０と、ＲＡＭ２１と、ＲＯＭ２２と、ＨＤＤ２３と、通信Ｉ／Ｆ２４と、を有する。これらはバス２５を介して相互に電気的に接続している。
図６は、ＩＰＵ５００のハードウェア構成の一例を示すブロック図である。図６に示すように、ＩＰＵ５００は、ＣＰＵ２０と、ＲＡＭ２１と、ＲＯＭ２２と、ＨＤＤ２３と、通信Ｉ／Ｆ２４と、を有する。これらはバス２５を介して相互に電気的に接続している。
【0038】
ＣＰＵ２０は演算手段であり、ＩＰＵ５００全体の動作を制御する。ＲＡＭ２１は、情報の高速な読み書きが可能な揮発性の記憶媒体である。ＣＰＵ２０は、情報を処理する際の作業領域としてＲＡＭ２１を用いる。ＲＯＭ２２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムを格納している。
【0039】
ＨＤＤ２３は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳや各種の制御プログラム、アプリケーションプログラム等を格納している。通信Ｉ／Ｆ２４は、バス２５と、各種のハードウェアやネットワーク等と、を接続して制御するインターフェースである。
【0040】
ＩＰＵ５００は、上記のハードウェア構成において、ＲＯＭ２２やＨＤＤ２３又は光学ディスク等の記録媒体に格納されたプログラムをＲＡＭ２１に読み出し、ＣＰＵ２０の制御に従って動作させることにより、ソフトウェア制御部を構成する。ＩＰＵ５００は、このようにして構成されたソフトウェア制御部によって、ＩＰＵ５００の機能を実現する機能ブロックを構成する。
【0041】
＜ＩＰＵ５００の機能構成例＞
図７は、ＩＰＵ５００の機能構成の一例を示すブロック図である。図７に示すように、ＩＰＵ５００は、入力部３１と、二値化処理部３２と、外形形状抽出部３３と、特徴点抽出部３４と、頂点候補出力部３５と、頂点候補評価部３６と、登録部３７と、認識結果出力部３８と、を有する。ＩＰＵ５００は、これらの機能を、ＣＰＵ２０がＲＯＭ２２に記憶されたプログラムを読み出し、ＲＡＭ２１を作業領域として実行することにより実現する。
図７は、ＩＰＵ５００の機能構成の一例を示すブロック図である。図７に示すように、ＩＰＵ５００は、入力部３１と、二値化処理部３２と、外形形状抽出部３３と、特徴点抽出部３４と、頂点候補出力部３５と、頂点候補評価部３６と、登録部３７と、認識結果出力部３８と、を有する。ＩＰＵ５００は、これらの機能を、ＣＰＵ２０がＲＯＭ２２に記憶されたプログラムを読み出し、ＲＡＭ２１を作業領域として実行することにより実現する。
【0042】
入力部３１は、スキャナ１００による原稿Ｐｉの読取画像の少なくとも一部が入力された入力画像Ｉｍ０を、スキャナ１００から取得する。また入力部３１は、入力画像Ｉｍ０のサイズ、解像度、色または背景等の情報を取得する。入力部３１は、取得した入力画像Ｉｍ０と、入力画像Ｉｍ０のサイズ、解像度、色または背景等の情報と、を二値化処理部３２に出力する。
【0043】
二値化処理部３２は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値から生成されるヒストグラムに基づく二値化閾値を用いて、入力画像Ｉｍ０の二値化処理を実行し、処理結果である二値化画像Ｉｍ１を外形形状抽出部３３に出力する。
【0044】
なお、二値化閾値は、ヒストグラムに基づくものに限定されず、入力画像Ｉｍ０の色情報等に基づいて定めてもよい。但し、ヒストグラムに基づいて二値化閾値を定めると、入力画像Ｉｍ０内における図形以外の画像の影響を抑えられるため、より好適である。また、二値化処理を高速に行うために、二値化処理の前処理として、入力画像Ｉｍ０がカラー画像である場合にはモノクロ画像変換や、画像の解像度を低下させる変換等を行ってもよい。
【0045】
外形形状抽出部３３は、入力画像Ｉｍ０に基づく二値化画像Ｉｍ１に含まれる図形の外形形状を抽出し、抽出結果である外形形状画像Ｉｍ２を特徴点抽出部３４に出力する。例えば、外形形状抽出部３３は、入力画像Ｉｍ０に含まれる複数の画素のうち、黒色に着色した画素等の着色画素を検出し、該着色画素により構成される図形の外形形状を抽出する。
【0046】
特徴点抽出部３４は、外形形状抽出部３３により抽出された図形の外形形状における特徴点を抽出し、抽出結果を頂点候補出力部３５に出力する。特徴点は、外形形状抽出部３３により抽出された図形における特徴的な部位を意味する。特徴的な部位は、認識したい図形に応じて予め定義しておくことができる。本実施形態では、例えば外形形状における角部を特徴点として抽出する。角部は、２つの直線が交差する部位を意味する。また本実施形態では、抽出結果は、入力画像Ｉｍ０内での特徴点の位置情報である。例えば外形形状を直線近似等により特徴点抽出処理を行うと、処理を簡略化して処理時間を短縮できるため好適である。
【0047】
頂点候補出力部３５は、特徴点抽出部３４により抽出された特徴点に基づき、チェックボックス５１１の頂点候補の検出結果を出力する。頂点候補は、チェックボックス５１１の頂点である可能性のある部位の位置を意味する。頂点候補の検出結果は、例えば入力画像Ｉｍ０内での頂点候補の位置である。本実施形態では、頂点候補出力部３５は、頂点候補情報を含む頂点候補画像Ｉｍ３を頂点候補の検出結果として頂点候補評価部３６に出力する。
【0048】
本実施形態では、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値から生成されるヒストグラムに基づく二値化閾値を用いて、入力画像Ｉｍ０を二値化した二値化画像Ｉｍ１から抽出される特徴点に基づき、チェックボックス５１１の頂点候補を出力する。
【0049】
また、本実施形態では、頂点候補出力部３５は、特徴点抽出部３４により抽出された複数の特徴点同士を結ぶ画像領域に含まれる複数の画素のうち、画素値が該特徴点に含まれる画素の画素値と一致する画素数に基づき、チェックボックス５１１の頂点候補の検出結果を出力する。
【0050】
頂点候補出力部３５は、入力画像Ｉｍ０の色成分情報およびヒストグラム情報の少なくとも一方に基づき、入力画像Ｉｍ０における手書き領域と手書き領域以外の領域とに区別された入力画像Ｉｍ０の特徴点に基づき、チェックボックス５１１の頂点候補を出力するように構成されてもよい。ここで、手書き領域とは、画像形成装置１のユーザが手書きにより書き込んだ領域を含む原稿Ｐｉをスキャナ１００により読み取った場合に、入力画像Ｉｍ０に含まれる該手書きにより書き込んだ領域に対応する領域をいう。
【0051】
手書き領域は、ユーザが手書きにより原稿Ｐｉに書き込んだパターンまたはマークに基づくため、原稿Ｐｉに画像形成装置等によって形成された画像と比較して、画像の濃度が一定ではない。従って、頂点候補出力部３５は、例えば、入力画像Ｉｍ０に含まれる画像の濃度の変動幅が所定の変動幅閾値よりも大きい領域を手書き領域とし、変動幅閾値以下の領域を手書き領域以外の領域として区別できる。
【0052】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる罫線領域から検出される入力画像Ｉｍ０の傾きが補正された入力画像Ｉｍ０の特徴点に基づき、チェックボックス５１１の頂点候補を出力するように構成されてもよい。ここで、罫線領域とは、罫線が含まれる原稿Ｐｉをスキャナ１００により読み取った場合に、入力画像Ｉｍ０に含まれる該罫線に対応する領域をいう。
【0053】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値が色反転された入力画像Ｉｍ０の特徴点に基づき、チェックボックス５１１の頂点候補を出力するように構成されてもよい。色反転とは、所定の色を補色関係にある色に変換することをいう。例えば色反転は、白黒画像における白色の画像領域を黒色に変換し、また黒色の画像領域を白色に変換する白黒反転等である。
【0054】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値を色成分に分解して取得される色成分画像における特徴点に基づき、チェックボックス５１１の頂点候補を出力するように構成されてもよい。ここで、色成分画像とは、複数の原色を用いたカラーの入力画像Ｉｍ０を、原色ごとに色分解した画像をいう。例えば入力画像Ｉｍ０が赤（Ｒ）、緑（Ｇ）、青（Ｂ）を３原色としたカラー画像である場合には、色成分画像は、赤のみからなる画像、緑のみからなる画像および青のみからなる画像に対応する。
【0055】
また、頂点候補出力部３５は、入力画像Ｉｍ０の色成分情報およびヒストグラム情報の少なくとも一方に基づき、入力画像Ｉｍ０における帳票領域と帳票領域以外の領域とに区別された入力画像Ｉｍ０の特徴点に基づき、チェックボックス５１１の頂点候補を出力するように構成されてもよい。ここで、帳票領域とは、帳票が含まれる原稿Ｐｉをスキャナ１００により読み取った場合に、入力画像Ｉｍ０に含まれる該帳票に対応する領域をいう。帳票とは、記入するための空欄を設けた書類をいい、帳簿や伝票等の総称である。
【0056】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる黒色領域が拡大された入力画像Ｉｍ０の特徴点に基づき、チェックボックス５１１の頂点候補を出力するように構成されてもよい。黒色領域は、画素値が黒色を示す画像領域を意味する。
【0057】
頂点候補評価部３６は、頂点候補出力部３５から受け取った頂点候補画像Ｉｍ３に含まれる頂点候補情報を評価することにより、頂点候補がチェックボックス５１１の頂点であるか否かを判定する。
【0058】
チェックボックス５１１は、四角の図形であるため、頂点候補評価部３６は、頂点候補が四角の図形の四隅の頂点に該当するか否かを評価することにより、頂点候補がチェックボックス５１１の頂点であるか否かを判定できる。換言すると、頂点候補評価部３６は、チェックボックス５１１の大きさ情報および位置情報の少なくとも一方に基づき、頂点候補が四角の図形の四隅の頂点に該当するか否かを判定できる。
【0059】
頂点候補評価部３６による評価基準は、例えば以下のものが挙げられる。
（１）複数の頂点候補同士を結ぶ直線が着色していること。
（２）頂点候補が矩形または正方形の一部を構成していること。
（３）頂点候補同士の間の距離が、入力画像Ｉｍ０に含まれる文字のサイズと比較して適当なサイズであること。
（１）複数の頂点候補同士を結ぶ直線が着色していること。
（２）頂点候補が矩形または正方形の一部を構成していること。
（３）頂点候補同士の間の距離が、入力画像Ｉｍ０に含まれる文字のサイズと比較して適当なサイズであること。
【0060】
頂点候補評価部３６は、入力画像Ｉｍ０から検出された頂点候補が２つまたは３つである場合には、検出された頂点候補に基づきは、４つの頂点候補のうちの他の頂点候補を演算により推定し、この推定結果を頂点候補として用いて頂点候補を評価する。
【0061】
登録部３７は、頂点候補評価部３６から評価結果を受け取り、頂点候補がチェックボックス５１１の頂点であった場合には、頂点があることに対応する情報と、この頂点の位置情報と、を登録する。チェックボックス５１１の頂点がなかった場合には、登録部３７は、頂点がないことに対応する情報を登録する。その後、登録部３７は、頂点の位置情報を認識結果出力部３８に出力する。
【0062】
認識結果出力部３８は、登録部３７から受け取ったチェックボックス５１１の認識結果を出力する。換言すると、認識結果出力部３８は、頂点候補出力部３５から出力される頂点候補の検出結果に基づき、チェックボックス５１１の認識結果を出力する。本実施形態では、認識結果出力部３８は、チェックボックス５１１の認識結果として、頂点の有無情報と、頂点がある場合にはチェックボックス５１１の位置情報と、を出力する。チェックボックス５１１は矩形の外形形状を有するため、チェックボックス５１１の認識結果は、チェックボックス５１１における矩形の少なくとも１つの頂点位置を含んでいる。
【0063】
認識結果出力部３８は、例えばチェックボックス５１１の頂点位置情報をＩＰＵ５００の外部装置であるコントローラ２００に出力する。但し、外部装置はコントローラ２００に限定されず、プロッタ３００や表示装置１６等の他の外部装置であってもよい。
【0064】
＜画像形成装置１による原稿読取動作例＞
図８は、画像形成装置１による原稿読取動作の一例を示すフローチャートである。画像形成装置１は、入力操作部１７を用いたユーザによる原稿読取の開始指示を受け付けた際に図８の動作を開始する。
図８は、画像形成装置１による原稿読取動作の一例を示すフローチャートである。画像形成装置１は、入力操作部１７を用いたユーザによる原稿読取の開始指示を受け付けた際に図８の動作を開始する。
【0065】
まず、ステップＳ８１において、画像形成装置１は、スキャナ１００により、ＡＤＦ４１またはスキャナユニット４２に載置された原稿Ｐｉを読み取る。
【0066】
続いて、ステップＳ８２において、画像形成装置１は、コントローラ２００により、スキャナ１００によって読み取られた原稿Ｐｉの枚数をカウントする。
【0067】
続いて、ステップＳ８３において、画像形成装置１は、コントローラ２００により、スキャナ１００が全ての原稿Ｐｉを読み取ったか否かを判定する。例えば、コントローラ２００は、ＡＤＦ４１またはスキャナユニット４２に原稿Ｐｉが載置されているか否か、あるいは読み取った原稿Ｐｉの枚数が、入力操作部１７を用いて入力された原稿Ｐｉの読取指示枚数に到達したか否か、を判定することにより、全ての原稿Ｐｉを読み取ったか否かを判定できる。
【0068】
ステップＳ８３において、全ての原稿Ｐｉを読み取っていないと判定された場合には（ステップＳ８３、Ｎｏ）、画像形成装置１は、ステップＳ８１以降の動作を再度行う。一方、全ての原稿Ｐｉを読み取ったと判定された場合には（ステップＳ８３、Ｙｅｓ）、ステップＳ８４において、画像形成装置１は、表示装置１６に原稿Ｐｉの情報を表示する。この原稿Ｐｉの情報は、例えば読み取った原稿Ｐｉの枚数または原稿Ｐｉのサイズ等の情報である。
【0069】
続いて、ステップＳ８５において、画像形成装置１は、コントローラ２００により、読み取った原稿Ｐｉにおけるチェックボックス５１１を認識するか否かを判定する。この判定は、例えば入力操作部１７を用いたユーザ操作等に基づいて行うことができる。
【0070】
ステップＳ８５において、チェックボックス５１１を認識しないと判定された場合には（ステップＳ８５、Ｎｏ）、画像形成装置１は、動作を終了する。一方、チェックボックス５１１を認識すると判定された場合には（ステップＳ８５、Ｙｅｓ）、ステップＳ８６において、画像形成装置１は、チェックボックス５１１の認識処理を実行する。この認識処理の詳細は、図９を参照して次述する。画像形成装置１は、チェックボックス５１１の認識処理を終了後に動作を終了する。
【0071】
以上のようにして、画像形成装置１は、原稿Ｐｉを読み取ることができる。
【0072】
＜ＩＰＵ５００による認識処理例＞
図９は、ＩＰＵ５００によるチェックボックス５１１の認識処理の一例を示すフローチャートである。ＩＰＵ５００は、図８の動作におけるステップ８６のタイミングにおいて、図９の処理を開始する。
図９は、ＩＰＵ５００によるチェックボックス５１１の認識処理の一例を示すフローチャートである。ＩＰＵ５００は、図８の動作におけるステップ８６のタイミングにおいて、図９の処理を開始する。
【0073】
まず、ステップＳ９１において、ＩＰＵ５００は、入力部３１により、スキャナ１００から入力画像Ｉｍ０を入力することにより取得する。また入力部３１は、入力画像Ｉｍ０のサイズ、解像度、色または背景等の情報を取得する。入力部３１は、取得した入力画像Ｉｍ０、並びに入力画像Ｉｍ０のサイズ、解像度、色または背景等の情報を二値化処理部３２に出力する。
【0074】
続いて、ステップＳ９２において、ＩＰＵ５００は、二値化処理部３２により、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値から生成されるヒストグラムに基づく二値化閾値を用いて、入力画像Ｉｍ０の二値化処理を実行し、処理結果である二値化画像Ｉｍ１を外形形状抽出部３３に出力する。
【0075】
続いて、ステップＳ９３において、ＩＰＵ５００は、外形形状抽出部３３により、入力画像Ｉｍ０に基づく二値化画像Ｉｍ１に含まれる図形の外形形状を抽出し、抽出結果である外形形状画像Ｉｍ２を特徴点抽出部３４に出力する。複数の図形が二値化画像Ｉｍ１に含まれる場合には、外形形状抽出部３３は、全ての図形の外形形状の抽出結果を含む外形形状画像Ｉｍ２を特徴点抽出部３４に出力する。
【0076】
続いて、ステップＳ９４において、ＩＰＵ５００は、特徴点抽出部３４により、外形形状抽出部３３により抽出された図形の外形形状における特徴点を抽出し、抽出結果を頂点候補出力部３５に出力する。図形の外形形状に複数の特徴点が含まれる場合には、特徴点抽出部３４は、全ての特徴点の抽出結果を頂点候補出力部３５に出力する。また複数の図形の外形形状が外形形状画像Ｉｍ２に含まれる場合には、特徴点抽出部３４は、全ての図形の外形形状における全ての特徴点の抽出結果を頂点候補出力部３５に出力する。
【0077】
続いて、ステップＳ９５において、ＩＰＵ５００は、頂点候補出力部３５により、特徴点抽出部３４により抽出された特徴点に基づき、チェックボックス５１１の頂点候補の検出結果を出力する。例えば、頂点候補出力部３５は、頂点候補情報を含む頂点候補画像Ｉｍ３を頂点候補の検出結果として頂点候補評価部３６に出力する。頂点候補が複数含まれる場合には、頂点候補出力部３５は、全ての頂点候補の検出結果を含む頂点候補画像Ｉｍ３を頂点候補評価部３６に出力する。
【0078】
続いて、ステップＳ９６において、ＩＰＵ５００は、頂点候補評価部３６により、頂点候補出力部３５から受け取った頂点候補画像Ｉｍ３に含まれる頂点候補情報を評価することにより、頂点候補がチェックボックス５１１の頂点であるか否かを判定する。頂点候補が複数ある場合には、頂点候補評価部３６は、全ての頂点候補がチェックボックス５１１の頂点であるか否かを判定する。
【0079】
続いて、ステップＳ９７において、ＩＰＵ５００は、登録部３７により、頂点候補評価部３６から評価結果を受け取り、頂点候補がチェックボックス５１１の頂点であった場合には、この頂点の位置情報を登録する。登録部３７は、全ての頂点の位置情報を認識結果出力部３８に出力する。
【0080】
続いて、ステップＳ９８において、ＩＰＵ５００は、認識結果出力部３８により、登録部３７から受け取ったチェックボックス５１１の認識結果を出力する。
【0081】
以上のようにして、ＩＰＵ５００は、入力画像Ｉｍ０に含まれるチェックボックス５１１の認識処理を実行することができる。
【0082】
＜ＩＰＵ５００による認識処理結果例＞
次に、ＩＰＵ５００による認識処理結果の一例を説明する。
次に、ＩＰＵ５００による認識処理結果の一例を説明する。
【0083】
（入力画像Ｉｍ０の一例）
まず、図１０は、入力画像Ｉｍ０の一例を示す図である。図１０に示す入力画像Ｉｍ０は、図１に示した入力画像Ｉｍ０におけるさらに小さい領域であるチェックボックス５１１ａおよび５１１ｂの周辺領域を、取り出して表示している。
まず、図１０は、入力画像Ｉｍ０の一例を示す図である。図１０に示す入力画像Ｉｍ０は、図１に示した入力画像Ｉｍ０におけるさらに小さい領域であるチェックボックス５１１ａおよび５１１ｂの周辺領域を、取り出して表示している。
【0084】
（二値化画像Ｉｍ１の一例）
図１１は、入力画像Ｉｍ０のヒストグラムを例示する図である。図１１において、横軸は、入力画像Ｉｍ０に含まれる画素の画素値を表し、縦軸は度数を表している。二値化処理部３２は、図１１のようなヒストグラムに基づき、入力画像Ｉｍ０に含まれる図形を抽出するために適切な二値化閾値を定めることができる。二値化処理部３２は、二値化処理により、図１２に示すような二値化画像Ｉｍ１を得ることができる。
図１１は、入力画像Ｉｍ０のヒストグラムを例示する図である。図１１において、横軸は、入力画像Ｉｍ０に含まれる画素の画素値を表し、縦軸は度数を表している。二値化処理部３２は、図１１のようなヒストグラムに基づき、入力画像Ｉｍ０に含まれる図形を抽出するために適切な二値化閾値を定めることができる。二値化処理部３２は、二値化処理により、図１２に示すような二値化画像Ｉｍ１を得ることができる。
【0085】
【0086】
【0087】
図１４に示すように、特徴点抽出部３４は、外形形状画像Ｉｍ２に含まれる外形形状５１２に基づき、特徴点５１３を抽出する。
【0088】
図１５は、外形形状画像Ｉｍ２におけるチェックボックス５１１ａ周辺の領域を取り出して表示している。頂点候補出力部３５は、チェックボックス５１１ａの四隅のうちの２つの角部である頂点候補５１４ａおよび５１４ｂを検出する。
【0089】
図１６は、図１５のチェックボックス５１１ａを図１５よりもさらに拡大して表示した図である。図１６に示すように、頂点候補５１４ａおよび５１４ｂの位置は、チェックボックス５１１ａにおける黒色の画像領域の外枠部分に対応する。このため、頂点候補出力部３５は、頂点候補５１４ａ近傍の黒色の画像領域の外側位置５１４ａ'と内側位置５１４ａ''を参照して補正した頂点候補５１４ａの位置情報を出力する。また、頂点候補出力部３５は、頂点候補５１４ｂ近傍の黒色の画像領域の外側位置５１４ｂ'と内側位置５１４ｂ''を参照して補正した頂点候補５１４ｂの位置情報を出力する。
【0090】
図１７は、頂点候補５１４の評価処理の一例を説明する図である。
【0091】
頂点候補評価部３６は、検出した頂点候補５１４ａと頂点候補５１４ｂとを結ぶ画像領域に含まれる複数の画素のうち、画素値が特徴点５１３に含まれる黒色に対応する画素値と一致する画素数に基づき、頂点候補５１４ａおよび５１４ｂを評価する。頂点候補５１４ａと頂点候補５１４ｂとを結ぶ画像領域に含まれる画素の画素値が黒色に対応する画素の画素数が所定の画素数閾値よりも多い場合に、頂点候補評価部３６は、頂点候補５１４ａおよび５１４ｂをそれぞれ頂点候補とする。
【0092】
図１７において、例えば誤検出頂点候補５１５が検出された場合には、誤検出頂点候補５１５と頂点候補５１４ａとを結ぶ画像領域に含まれる複数の画素の多くは、白色に対応する画素値となるため、黒色に対応する画素の画素数が所定の画素数閾値以下になる。このため、頂点候補評価部３６は、誤検出頂点候補５１５は頂点候補として適切ではないと評価し、誤検出頂点候補５１５を頂点候補から除去できる。
【0093】
【0094】
図１８では、出力画像Ｑは、チェックボックス５１１を指示する認識マーク５２１を含んでいる。一方、図１９では、出力画像Ｑ'は、認識マーク５２１に加え、対象項目５１０を指示する項目マーク５２３をさらに含んでいる。
【0095】
【0096】
ここで、原稿Ｐｉが傾いた状態においてスキャナ１００により原稿Ｐｉが読み取られると、入力画像Ｉｍ０および二値化画像Ｉｍ１が傾き、ＩＰＵ５００は、チェックボックス５１１の頂点候補５１４を検出できない場合がある。
【0097】
図２０に示すように、原稿Ｐｉに含まれる罫線に対応する罫線領域５１６は、原稿Ｐｉの外形形状に沿って設けられている。このため、頂点候補出力部３５は、罫線領域５１６の傾きに基づいて入力画像Ｉｍ０および二値化画像Ｉｍ１の傾きを補正し、補正後の二値化画像Ｉｍ１から頂点候補５１４を検出する。これにより、ＩＰＵ５００は、チェックボックス５１１の頂点候補５１４の検出精度を高く確保可能になる。
【0098】
【0099】
頂点候補出力部３５は、原稿Ｐｉが色反転した画像が形成されたものや、画像の下地が着色されたものである場合においても、色反転画像Ｉｍ１'を用いて頂点候補５１４を検出できる。これにより、ＩＰＵ５００は、チェックボックス５１１の頂点候補５１４の検出精度を高く確保できる。
【0100】
（黒色領域の拡大処理例）
図２２は、黒色領域の拡大処理の一例を説明する図である。二値化画像Ｉｍ１は、入力画像Ｉｍ０が二値化された画像であり、黒色領域の拡大処理が施される前の状態を示している。黒色領域拡大画像Ｉｍ１''は、二値化画像Ｉｍ１におけるチェックボックス５１１の枠図形の枠の太さを太くすることにより、黒色領域の面積を増加させた画像である。
図２２は、黒色領域の拡大処理の一例を説明する図である。二値化画像Ｉｍ１は、入力画像Ｉｍ０が二値化された画像であり、黒色領域の拡大処理が施される前の状態を示している。黒色領域拡大画像Ｉｍ１''は、二値化画像Ｉｍ１におけるチェックボックス５１１の枠図形の枠の太さを太くすることにより、黒色領域の面積を増加させた画像である。
【0101】
例えば、原稿Ｐｉに形成された画像の劣化等により、チェックボックス５１１の一部が欠けている原稿Ｐｉである場合には、チェックボックス５１１の認識精度が低下する場合がある。黒色領域の拡大処理を施すことにより、チェックボックス５１１の欠けた部分を埋めることができるため、ＩＰＵ５００は、チェックボックス５１１の頂点候補５１４の検出精度を高く確保できる。
【0102】
＜ＩＰＵ５００の作用効果＞
次に、ＩＰＵ５００の作用効果について説明する。
次に、ＩＰＵ５００の作用効果について説明する。
【0103】
ＯＣＲ技術を用いた従来のソフトウェアでは、チェックボックスを個別に定義しないと、ＯＣＲ技術によりチェックボックスを正しく認識できない場合があった。またＯＣＲ技術により帳票を認識する場合には、チェックボックスが含まれる枠を定義するだけでは、チェックボックスを正しくできなかったり、認識精度が低下したりする場合があった。従って、チェックボックスの認識精度を上げるためには、帳票に含まれる罫線内に形成された複数のチェックボックスを、ユーザが個別に手作業によって定義する必要があり、手間がかかった。
【0104】
実施形態に係るＩＰＵ５００は、原稿Ｐｉの少なくとも一部が入力された入力画像Ｉｍ０に含まれ、項目に対する選択を受け付けるチェックボックス５１１（選択受付図形）を認識可能な画像認識装置である。またＩＰＵ５００は、入力画像Ｉｍ０に含まれる図形の外形形状の特徴点５１３に基づき、チェックボックスの頂点候補５１４の検出結果を出力する頂点候補出力部３５と、頂点候補出力部３５から出力される頂点候補５１４の検出結果に基づき、チェックボックス５１１の認識結果を出力する認識結果出力部３８と、を有する。例えばチェックボックス５１１は矩形の外形形状を有し、チェックボックス５１１の認識結果は、チェックボックス５１１における矩形の少なくとも１つの頂点位置を含む。
【0105】
実施形態では、外形形状の特徴点５１３に基づく頂点候補５１４に基づいてチェックボックス５１１を認識するため、チェックボックス５１１の認識精度を向上させることができる。これにより、実施形態では、入力画像Ｉｍ０に含まれるチェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0106】
なお、本実施形態では、選択受付図形として四角形の枠状のチェックボックス５１１を例示したが、これに限定されない。頂点を有する図形であれば、三角形や六角形等の四角形以外の多角形であってもよいし、枠状の図形でなくてもよい。
【0107】
また、本実施形態では、頂点候補出力部３５は、複数の特徴点５１３同士を結ぶ画像領域に含まれる複数の画素のうち、画素値が該特徴点５１３に含まれる画素の画素値と一致する画素数に基づき、チェックボックス５１１の頂点候補５１４の検出結果を出力する。これにより、実施形態では、誤検出された頂点候補５１４を除去してチェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0108】
また、本実施形態では、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値から生成されるヒストグラムに基づく二値化閾値を用いて入力画像Ｉｍ０を二値化した二値化画像Ｉｍ１から抽出される特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力する。これにより、手書きのパターンが記入された原稿Ｐｉや、チェックボックス５１１上にノイズパターンが上書きされた原稿Ｐｉであっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0109】
なお、頂点候補出力部３５は、入力画像Ｉｍ０の色成分情報およびヒストグラム情報の少なくとも一方に基づき、入力画像Ｉｍ０における手書き領域と手書き領域以外の領域とに区別された入力画像Ｉｍ０の特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力するように構成されてもよい。これにより、手書きによるパターンが記入された原稿Ｐｉであっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0110】
また、認識結果出力部３８は、チェックボックス５１１図形の大きさ情報および位置情報の少なくとも一方に基づき、チェックボックス５１１の認識結果を出力するように構成されてもよい。これにより、ＩＰＵ５００よりも後工程において処理を行う装置に対し、チェックボックス５１１を用いた選択を受け付ける対象項目５１０を含む出力画像Ｑを提供できる。
【0111】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる罫線領域５１６から検出される入力画像Ｉｍ０の傾きが補正された入力画像Ｉｍ０の特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力するように構成されてもよい。これにより、傾いた原稿Ｐｉを読み取った入力画像Ｉｍ０であっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0112】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値が反転された入力画像Ｉｍ０の特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力するように構成されてもよい。これにより、色反転された画像が形成された原稿Ｐｉや、下地が着色された原稿Ｐｉであっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0113】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる複数の画素それぞれの画素値を色成分に分解して取得される色成分画像における特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力するように構成されてもよい。これにより、カラーの原稿Ｐｉや、手書きによるパターンが記入された原稿Ｐｉであっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0114】
また、頂点候補出力部３５は、入力画像Ｉｍ０の色成分情報およびヒストグラム情報の少なくとも一方に基づき、入力画像Ｉｍ０における帳票領域と帳票領域以外の領域とに区別された入力画像Ｉｍ０の特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力するように構成されてもよい。これにより、手書きによるパターンが記入された原稿Ｐｉや、チェックボックス５１１上にノイズパターンが上書きされた原稿Ｐｉであっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0115】
また、頂点候補出力部３５は、入力画像Ｉｍ０に含まれる黒色領域が拡大された入力画像Ｉｍ０の特徴点５１３に基づき、チェックボックス５１１の頂点候補５１４を出力するように構成されてもよい。これにより、原稿Ｐｉに形成された画像の劣化により、チェックボックス５１１の一部が欠けている原稿Ｐｉであっても、チェックボックス５１１の頂点候補５１４を検出できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0116】
［その他の好適な実施形態］
その他の実施形態について説明する。なお、上述した実施形態と同一の構成部には、同一の符号を付し、重複する説明を適宜省略する。
その他の実施形態について説明する。なお、上述した実施形態と同一の構成部には、同一の符号を付し、重複する説明を適宜省略する。
【0117】
図２３は、その他の実施形態に係る出力画像Ｑａを示す図である。出力画像Ｑａは、頂点候補出力部３５から出力される頂点候補５１４の検出結果に基づいて決定される、チェックボックス５１１を指示する認識マーク５２１の周辺領域５２４を含む。認識結果出力部３８は、このような出力画像Ｑａを出力することにより、手書きされたマークがチェックボックス５１１内に収まらない場合にも、チェックボックス５１１を認識できるため、チェックボックス５１１の認識精度に優れたＩＰＵ５００を提供できる。
【0118】
【0119】
誤認識評価部３９は、認識結果出力部３８から出力されるチェックボックス５１１の認識結果に基づき、チェックボックス５１１以外の文字および図形の少なくとも一方の検出結果を出力する。
【0120】
図２５は、その他の実施形態に係る出力画像Ｑｂを示す図である。図２５における出力画像Ｑｂ'は、チェックボックス５１１以外の文字である「団」がチェックボックスとして誤認識された誤認識チェックボックス５２５を含んでいる。
【0121】
一方、図２５における出力画像Ｑｂは、誤認識チェックボックス５２５が誤認識であることを示す誤認識マーク５２６を含んでいる。この誤認識マーク５２６は、誤認識評価部３９により、認識結果出力部３８から出力されたチェックボックス５１１の認識結果に基づいて検出され、誤認識評価部３９により付与されたマークである。このようにして、ＩＰＵ５００ｂは、チェックボックス５１１以外の文字および図形による誤認識を防ぎ、チェックボックス５１１の認識精度を向上させることができる。
【0122】
以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
【0123】
上述した実施形態では、トナーを用いる電子写真方式の画像形成装置を例示したが、これに限定されるものではなく、インク等の液体を用いる液体吐出方式の画像形成装置にも実施形態を適用可能である。インクにおいてもトナーと同様に記録媒体への付着ムラ、飛散、滲み等が生じるため、トナーを用いる場合と同様の作用効果を得ることができる。
【0124】
また、実施形態は、画像認識方法を含む。例えば、画像認識方法は、原稿の少なくとも一部が入力された入力画像に含まれ、項目に対する選択を受け付ける選択受付図形を認識可能な画像認識装置による画像認識方法であって、前記画像認識装置が、頂点候補出力部により、前記入力画像に含まれる図形の外形形状の特徴点に基づき、前記選択受付図形の頂点候補の検出結果を出力し、認識結果出力部により、前記頂点候補出力部から出力される前記頂点候補の検出結果に基づき、前記選択受付図形の認識結果を出力する。このような画像認識方法により、上述したＩＰＵ５００と同様の効果を得ることができる。
【0125】
実施形態の説明で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係をこれに限定するものではない。
【0126】
実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0127】
１ 画像形成装置
２ ＰＣ
３ サーバー
１０、２０ ＣＰＵ
１１、２１ ＲＡＭ
１２、２２ ＲＯＭ
１３、２３ ＨＤＤ
１４、２４ 通信Ｉ／Ｆ
１５、２５ バス
１６ 表示装置
１７ 入力操作部
４１ ＡＤＦ
４２ スキャナユニット
４３ 排紙トレイ
３１ 入力部
３２ 二値化処理部
３３ 外形形状抽出部
３４ 特徴点抽出部
３５ 頂点候補出力部
３６ 頂点候補評価部
３７ 登録部
３８ 認識結果出力部
３９ 誤認識評価部
１００ スキャナ
２００ コントローラ
２０４ 第１ミラーユニット
２１０ 第２ミラーユニット
２１４ 光電変換素子
２１５ 第１センサボード
２１６ レンズ
３００ プロッタ
３３１ 露光装置
３３２ 感光体ドラム
３３３ 現像装置
３３４ 転写ベルト
３３５ 定着装置
４０１ 画像メモリ
４２１、４２２ 給紙カセット
４２３ 給紙手段
５００ ＩＰＵ（画像認識装置の一例）
５１０ 対象項目
５１１、５１１ａ、５１１ｂ チェックボックス（選択受付図形の一例）
５１２ 外形形状
５１３ 特徴点
５１４、５１４ａ、５１４ｂ 頂点候補
５１５ 誤検出頂点候補
５１６ 罫線領域
５２１ 認識マーク
５２２ チェックマーク
５２３ 項目マーク
５２４ 周辺領域
５２５ 誤認識チェックボックス
５２６ 誤認識マーク
Ｉｍ０ 入力画像
Ｉｍ１ 二値化画像
Ｉｍ２ 外形形状画像
ＮＷ ネットワーク
Ｐｉ 原稿
Ｐｏ 印刷物
Ｑ 出力画像
２ ＰＣ
３ サーバー
１０、２０ ＣＰＵ
１１、２１ ＲＡＭ
１２、２２ ＲＯＭ
１３、２３ ＨＤＤ
１４、２４ 通信Ｉ／Ｆ
１５、２５ バス
１６ 表示装置
１７ 入力操作部
４１ ＡＤＦ
４２ スキャナユニット
４３ 排紙トレイ
３１ 入力部
３２ 二値化処理部
３３ 外形形状抽出部
３４ 特徴点抽出部
３５ 頂点候補出力部
３６ 頂点候補評価部
３７ 登録部
３８ 認識結果出力部
３９ 誤認識評価部
１００ スキャナ
２００ コントローラ
２０４ 第１ミラーユニット
２１０ 第２ミラーユニット
２１４ 光電変換素子
２１５ 第１センサボード
２１６ レンズ
３００ プロッタ
３３１ 露光装置
３３２ 感光体ドラム
３３３ 現像装置
３３４ 転写ベルト
３３５ 定着装置
４０１ 画像メモリ
４２１、４２２ 給紙カセット
４２３ 給紙手段
５００ ＩＰＵ（画像認識装置の一例）
５１０ 対象項目
５１１、５１１ａ、５１１ｂ チェックボックス（選択受付図形の一例）
５１２ 外形形状
５１３ 特徴点
５１４、５１４ａ、５１４ｂ 頂点候補
５１５ 誤検出頂点候補
５１６ 罫線領域
５２１ 認識マーク
５２２ チェックマーク
５２３ 項目マーク
５２４ 周辺領域
５２５ 誤認識チェックボックス
５２６ 誤認識マーク
Ｉｍ０ 入力画像
Ｉｍ１ 二値化画像
Ｉｍ２ 外形形状画像
ＮＷ ネットワーク
Ｐｉ 原稿
Ｐｏ 印刷物
Ｑ 出力画像
【先行技術文献】
【特許文献】
【0128】
【特許文献1】特開２０２１－０３９４２９号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】