特開 2023-64565 自動マーク認識装置、画像処理装置、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023064565

(43)【公開日】2023-05-11

(54)【発明の名称】自動マーク認識装置、画像処理装置、および情報処理装置

(51)【国際特許分類】

   H04N 1/00 20060101AFI20230501BHJP

【ＦＩ】

H04N1/00 Z

H04N1/00 127Z

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021174909

(22)【出願日】2021-10-26

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】大内 敏

(72)【発明者】

【氏名】宮城 徳子

(72)【発明者】

【氏名】吉田 淳

(72)【発明者】

【氏名】児玉 卓

【テーマコード（参考）】

5C062

【Ｆターム（参考）】

5C062AA02

5C062AA05

5C062AA35

5C062AB02

5C062AB08

5C062AB38

5C062AB40

5C062AB42

5C062AC22

5C062AC34

5C062AC58

5C062AF16

(57)【要約】

【課題】装置不良により画像内にスジが発生した場合でも、誤ったマーク認識結果の出力を抑制できる自動マーク認識装置、画像処理装置、および情報処理装置を提供する。
【解決手段】本発明は、画像を取得する画像取得部と、前記画像内からチェックボックスを検出するチェックボックス検出部と、前記画像内から装置不良によるスジを検出するスジ検出部と、前記チェックボックスの検出結果および前記スジの検出結果に基づく前記チェックボックスと前記スジとの重複の有無に応じて、前記画像内のマークの認識を実施するか否かを判定するマーク認識実施判定部と、前記画像内のマークの認識を実施すると判定された場合に、前記チェックボックス内のマークの有無を判断するマーク認識部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像を取得する画像取得部と、
前記画像内からチェックボックスを検出するチェックボックス検出部と、
前記画像内から装置不良によるスジを検出するスジ検出部と、
前記チェックボックスの検出結果および前記スジの検出結果に基づく前記チェックボックスと前記スジとの重複の有無に応じて、前記画像内のマークの認識を実施するか否かを判定するマーク認識実施判定部と、
前記画像内のマークの認識を実施すると判定された場合に、前記チェックボックス内のマークの有無を判断するマーク認識部と、
を備える自動マーク認識装置。

【請求項2】

画像を取得する画像取得部と、
前記画像に対応する画像フォーマットを識別するフォーマット識別部と、
識別した前記画像フォーマットに対応するチェックボックスに位置を示すチェックボックス情報を取得するチェックボックス情報取得部と、
前記画像内から装置不良によるスジを検出するスジ検出部と、
前記チェックボックス情報および前記スジの検出結果に基づく前記チェックボックスと前記スジの重複の有無に応じて、前記画像内のマークの認識を実施するか否かを判定するマーク認識実施判定部と、
前記画像内のマークの認識を実施すると判定された場合に、前記チェックボックス内のマークの有無を判断するマーク認識部と、
を備える自動マーク認識装置。

【請求項3】

前記マーク認識実施判定部は、前記チェックボックスの位置およびサイズと、前記スジの位置および太さと、に基づいて、前記チェックボックスと前記スジが重なる領域の面積を求め、当該面積が閾値以下である場合、前記画像内のマークの認識を実施すると判定する、請求項１または２に記載の自動マーク認識装置。

【請求項4】

前記マーク認識実施判定部は、前記画像内のマークの種類に応じて、前記閾値を切り替える、請求項３に記載の自動マーク認識装置。

【請求項5】

記録媒体から画像を読み取る読取部と、
前記画像内からチェックボックスを検出するチェックボックス検出部と、
前記画像内から装置不良によるスジを検出するスジ検出部と、
前記チェックボックスの検出結果および前記スジの検出結果に基づく前記チェックボックスと前記スジとの重複の有無に応じて、前記画像内のマークの認識を実施するか否かを判定するマーク認識実施判定部と、
前記画像内のマークの認識を実施すると判定された場合に、前記チェックボックス内のマークの有無を判断するマーク認識部と、
を備える画像処理装置。

【請求項6】

画像を取得する画像取得部と、
前記画像内からチェックボックスを検出するチェックボックス検出部と、
前記画像内から装置不良によるスジを検出するスジ検出部と、
前記チェックボックスの検出結果および前記スジの検出結果に基づく前記チェックボックスと前記スジとの重複の有無に応じて、前記画像の送信を実施するか否かを判定する画像送信判定部と、
前記画像の送信を実行すると判定された場合に、前記画像を外部装置に送信する画像送信部と、
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動マーク認識装置、画像処理装置、および情報処理装置に関する。

【背景技術】

【0002】

チェックボックスを配置したフォーマットの用紙に手書きでチェック等のマークを入れて、ＦＡＸ送受信およびスキャン配信等を実行することにより、各種の物品およびサービスの受発注および請求を行うシステムが存在する。当該システムの中で受信側の装置が、各チェックボックス内のチェックの有無を自動で判定し、その判定結果を出力するＯＭＲ（Optical Mark Recognition）という技術が開発されている。

【0003】

特許文献１には、チェックボックス周辺の線分を検出し、線分の長さが一定以上であった場合に、マークを無効とする技術が開示されている。また、特許文献２には、異音が発生した際に印刷物をスキャンし、読取画像の欠陥の有無から画像形成の継続を制御する技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、画質欠陥の発生個所によってはマークの認識を正しく行えない場合がある。例えば、特許文献１記載の技術では、読取装置または出力装置の装置不良で発生したスジがチェックボックスに重なってしまった場合、マークを正しく認識することが困難である。また、例えば、特許文献２記載の技術では、読取装置または出力装置の装置不良で発生したスジがチェックボックスとは関係のない位置に発生した場合、マークの認識には影響が無くても一律にマークの認識処理を停止してしまう場合もある。

【0005】

本発明は、上記に鑑みてなされたものであって、装置不良により画像内にスジが発生した場合でも、誤ったマーク認識結果の出力を抑制できる自動マーク認識装置、画像処理装置、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、画像を取得する画像取得部と、前記画像内からチェックボックスを検出するチェックボックス検出部と、前記画像内から装置不良によるスジを検出するスジ検出部と、前記チェックボックスの検出結果および前記スジの検出結果に基づく前記チェックボックスと前記スジとの重複の有無に応じて、前記画像内のマークの認識を実施するか否かを判定するマーク認識実施判定部と、前記画像内のマークの認識を実施すると判定された場合に、前記チェックボックス内のマークの有無を判断するマーク認識部と、を備える。

【発明の効果】

【0007】

本発明によれば、装置不良により画像内にスジが発生した場合でも、誤ったマーク認識結果の出力を抑制できる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施の形態にかかる情報処理システムの構成の一例を示す図である。

【図2】図２は、第１の実施の形態にかかる画像処理装置のハードウェア構成の一例を示す図である。

【図3】図３は、第１の実施の形態にかかるＰＣのハードウェア構成の一例を示す図である。

【図4】図４は、第１の実施の形態にかかる情報処理システムが有する画像処理装置の機能構成の一例を示す図である。

【図5】図５は、第１の実施の形態にかかる情報処理システムが有する画像処理装置におけるマーク認識処理の流れの一例を示すフローチャートである。

【図6】図６は、第１の実施の形態にかかる画像処理装置によるチェックボックスの検出結果の一例を示す図である。

【図7】図７は、読取装置の不良により発生するスジの一例を説明するための図である。

【図8】図８は、出力装置の不良により発生するスジの一例を説明するための図である。

【図9】図９は、第１の実施の形態にかかる画像処理装置によるスジの検出結果の一例を示す図である。

【図10】図１０は、第１の実施の形態にかかる画像処理装置が取得する画像に含まれるスジの一例を示す図である。

【図11】図１１は、第１の実施の形態にかかる情報処理システムが有する画像処理装置におけるチェックボックスとスジの重複の有無の判定処理の流れの一例を示すフローチャートである。

【図12】図１２は、第１の実施の形態にかかる画像処理装置におけるチェックボックスとスジの重複の有無の判定処理の一例を説明するための図である。

【図13】図１３は、第１の実施の形態にかかる情報処理システムが有する画像処理装置において検出するチェックボックスのバリケーションの一例を示す図である。

【図14】図１４は、第２の実施の形態にかかる情報処理システムが有する画像処理装置の機能構成の一例を示す図である。

【図15】図１５は、第２の実施の形態にかかる情報処理システムが有する画像処理装置におけるマーク認識処理の流れの一例を示すフローチャートである。

【図16】図１６は、第３の実施の形態にかかる情報処理システムの機能構成の一例を示す図である。

【図17】図１７は、第３の実施の形態にかかる情報処理システムにおける画像の送信処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、自動マーク認識装置、画像処理装置、および情報処理装置の実施の形態を詳細に説明する。

【0010】

（第１の実施の形態）
図１は、第１の実施の形態にかかる情報処理システムの構成の一例を示す図である。本実施の形態にかかる情報処理システムは、当該情報処理システムを利用するユーザ１００が持つ画像受信装置１１２と、顧客１０１が所有する画像配信装置１１３と、が、公衆回線１２０およびインターネット１３０等を介して通信可能である。画像受信装置１１２および画像配信装置１１３は、ＦＡＸ単体機を始めとして、ＭＦＰ（Multi-Function Peripheral）およびスキャナ単体装置等、各種通信経路を用いて画像の送受信が可能な種々の装置であっても良い。

【0011】

また、ユーザ１００は、インターネット１３０に接続したＰＣ（Personal Computer）１１０および画像処理装置１１１を有している。近年では、インターネット回線を利用したＦＡＸ送受信も一般的となっており、画像配信装置１１３からのメールに添付された画像、ＦＡＸサーバ経由で送られた画像をＰＣ１１０が受け取ることも可能である。画像受信装置１１２から記録媒体上に画像が出力された場合には、画像処理装置１１１が、出力された原稿（記録媒体）を読み取り、画像データ化する。ここでは、画像受信装置１１２と画像処理装置１１１が別の装置となっているが、画像の受信、出力、読み取りを全てできるＭＦＰであれば、１台で両方の役割を担っても良い。データベース１１４は、インターネット１３０に接続されており、インターネット１３０を通じてデータの送受信を行うことができ、画像等の各種データの保管に用いられる。

【0012】

図２は、第１の実施の形態にかかる画像処理装置のハードウェア構成の一例を示す図である。本実施の形態にかかる画像処理装置１１１は、制御部２０１、操作部２１２、プリンタ２１３、スキャナ２１４、フィニッシャ２１５、およびモデム２１６を有する。

【0013】

制御部２０１は、画像処理装置（複合機）１１１全体の動作を制御する。制御部２０１は、ＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４、ＨＤＤ（Hard Disk Drive）２０５、操作部Ｉ／Ｆ２０６、プリンタＩ／Ｆ２０７、スキャナＩ／Ｆ２０８、アクセサリＩ／Ｆ２０９、モデムＩ／Ｆ２１０、およびネットワークＩ／Ｆ２１１を有する。

【0014】

ＣＰＵ２０２は、ＲＯＭ２０３に記憶された制御プログラム（コンピュータプログラム）を読み出して実行することにより、記録媒体の読取制御および画像等の各種情報の送信制御等の各種制御を行う。ＲＡＭ２０４は、ＣＰＵ２０２の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０５は、画像データおよび各種プログラム、或いは各種情報テーブルを記憶する。

【0015】

操作部Ｉ／Ｆ２０６は、操作部２１２と制御部２０１とを接続するインターフェースである。操作部２１２には、タッチパネル機能を有する液晶表示部およびキーボード等が備えられている。

【0016】

プリンタＩ／Ｆ２０７は、プリンタ２１３と制御部２０１とを接続するインターフェースである。プリンタ２１３で印刷する画像データは、プリンタＩ／Ｆ２０７を介して制御部２０１から転送され、プリンタ２１３において記録媒体上に印刷される。

【0017】

スキャナＩ／Ｆ２０８は、スキャナ２１４と制御部２０１とを接続するインターフェースである。スキャナ２１４は、原稿上の画像を読み取って画像データを生成し、スキャナＩ／Ｆ２０８を介して制御部２０１に該画像データを入力する。

【0018】

アクセサリＩ／Ｆ２０９は、フィニッシャ２１５と制御部２０１とを接続するインターフェースである。本実施の形態では、制御部２０１に接続するアクセサリの代表としてフィニッシャ２１５を示したが、他のアクセサリを１つ、または複数接続することも可能である。アクセサリとしては、パンチ穴を空けるパンチャー、ステープルを行なうステープラー、製本を行う製本ユニット、出力物のソートを行うソーター等がある。

【0019】

モデムＩ／Ｆ２１０は、モデム２１６と制御部２０１（画像処理装置１１１）とを接続するインターフェースである。モデム２１６は、公衆回線１２０に接続され、外部装置からのＦＡＸの受信、および、外部装置へのＦＡＸの送信を行なう。

【0020】

ネットワークＩ／Ｆ２１１は、制御部２０１（画像処理装置１１１）とＬＡＮ（Local Area Network）とを接続するインターフェースである。ネットワークＩ／Ｆ２１１は、ＬＡＮおよびインターネットを介して接続された外部装置に画像データ等の各種情報を送信したり、該外部装置から各種情報を受信したりする。本実施の形態では、画像受信装置１１２、画像配信装置１１３についても、画像処理装置１１１と同様のハードウェア構成を有している。

【0021】

図３は、第１の実施の形態にかかるＰＣのハードウェア構成の一例を示す図である。本実施の形態では、ＰＣ１１０は、図３に示すように、制御部３０１、マウス３０８、およびキーボード３０９を有する。

【0022】

制御部３０１は、ＰＣ１１０全体の動作を制御する。ＣＰＵ３０２は、ＲＯＭ３０３に記憶された制御プログラム（コンピュータプログラム）を読み出して各種制御処理を実行する。ＲＡＭ３０４は、ＣＰＵ３０２の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０５は、画像データ、各種プログラム、或いは後述する各種情報テーブルを記憶する。

【0023】

操作部Ｉ／Ｆ３０７は、マウス３０８およびキーボード３０９を制御部３０１に接続するインターフェースである。マウス３０８は、カーソルの移動および各種ファイルの選択に用いられる。キーボード３０９は、文字の入力に用いられる。ネットワークＩ／Ｆ３０６は、制御部３０１をＬＡＮに接続するためのインターフェースであり、ＬＡＮまたはインターネットを介して他の装置と各種情報を送受信する。

【0024】

図４は、第１の実施の形態にかかる情報処理システムが有する画像処理装置の機能構成の一例を示す図である。本実施の形態にかかる画像処理装置１１１（自動マーク認識装置の一例）は、図４に示すように、画像取得部４０１、チェックボックス検出部４０２、スジ検出部４０３、マーク認識実施判定部４０４、およびマーク認識部４０５を有する。

【0025】

画像取得部４０１は、マーク認識処理の対象となる画像を取得する。取得する画像は、画像受信装置１１２が受信した受信画像をそのまま取得しても良いし、画像受信装置１１２により受信後に、ＰＣ１１０、画像受信装置１１２、またはデータベース１１４に保存された画像を取得しても良いし、画像処理装置１１１のスキャナ２１４（読取部の一例）により用紙等の記録媒体から読み取った画像を取得しても良い。

【0026】

チェックボックス検出部４０２は、画像取得部４０１により取得した画像内からチェックボックスを検出する。本実施の形態では、チェックボックス検出部４０２は、取得した画像内におけるチェックボックスの位置および大きさを検出する。

【0027】

スジ検出部４０３は、取得した画像内から装置不良によるスジを検出する。本実施の形態では、スジ検出部４０３は、取得した画像内から装置不良（例えば、プリンタ２１３およびスキャナ２１４等の装置不良）により生じたスジの位置および太さを検出する。ここで、スジには、黒スジ、白スジが共に含まれる。

【0028】

マーク認識実施判定部４０４は、チェックボックスの検出結果およびスジの検出結果に基づくチェックボックスとスジとの重複の有無に応じて、取得した画像内のマークの認識を実施するか否かを判定する。すなわち、マーク認識実施判定部４０４は、チェックボックスの検出結果とスジの検出結果に基づいて、チェックブックスに対するマークの認識処理へのスジの影響を判断し、マークの認識処理の実施の有無を判定する。

【0029】

本実施の形態では、マーク認識実施判定部４０４は、チェックボックスの位置およびサイズと、スジの位置および太さと、に基づいて、チェックボックスとスジが重なる領域の面積を求め、当該面積が閾値以下である場合、画像内のマークの認識を実施すると判定する。一方、マーク認識実施判定部４０４は、当該面積が閾値より大きい場合、画像内のマークの認識を実施しないと判定する。これにより、マークの認識に影響する太いスジがチェックボックスに重なった場合にのみ、マークの認識の実施を中止することができる。

【0030】

その際、マーク認識実施判定部４０４は、画像内のマークの種類（言い換えると、認識処理を実行するマークの種類）に応じて、当該閾値を切り替えても良い。これにより、正確なマークの認識が実施できる状態か否かを判断した上で、マークの認識を実施することができる。

【0031】

マーク認識部４０５は、マーク認識実施判定部４０４によって、画像内のマークの認識を実施すると判定された場合、検出したチェックボックス内のマークの有無を判断するマーク認識処理を実行する。すなわち、マーク認識部４０５は、マーク認識実施判定部４０４の判定結果に基づき、検出したチェックボックス内のマークの認識処理を実施する。これにより、スジの発生個所とチェックボックスとの位置関係に応じて、マークの認識の実施を制御することができるので、正しいマークの認識結果を出力する可能性を高めることができる。

【0032】

図５は、第１の実施の形態にかかる情報処理システムが有する画像処理装置におけるマーク認識処理の流れの一例を示すフローチャートである。まず、画像受信装置１１２が画像を受信すると、画像取得部４０１は、当該受信した画像を取得する（ステップＳ５０１）。本実施の形態では、画像取得部４０１は、受信した画像を直接取得する以外にも、ＰＣ１１０およびデータベース１１４等の特定のフォルダをポーリングして、新規に追加された画像を取得しても良い。

【0033】

次に、チェックボックス検出部４０２は、取得した画像内からチェックボックスを検出する（ステップＳ５０２）。例えば、チェックボックス検出部４０２は、原画像を１ドット下にずらした画像と原画像とのＡＮＤを取るという処理を複数回繰り返し、次に、当該処理を実行した処理画像を１ドット上にずらした画像と処理画像のＯＲを取るという処理を同じ回数だけ繰り返すことにより、ある長さ以上の縦線のみを抽出する。チェックボックス検出部４０２は、これら処理を横方向にも同様に適用し、ある長さ以上の横線を抽出する。その後、チェックボックス検出部４０２は、縦線と横線の端部の距離が閾値以内の線のみを残すことで、その線で囲まれた領域をチェックボックスとして検出する。

【0034】

また、例えば、チェックボックス検出部４０２は、ハフ変換を用いて、チェックボックスを検出することも可能である。具体的には、チェックボックス検出部４０２は、ハフ変換を用いて画像内の線分を抽出する。次に、チェックボックス検出部４０２は、各線分の端点の距離と、内積より線分同士がなす角度を求め、距離と角度いずれもが閾値以内の線分のみ残して囲まれた領域をチェックボックスとして検出する。また、例えば、チェックボックス検出部４０２は、端点の情報を用いて領域の面積も算出できるので、面積の閾値も加えて、チェックボックスを検出しても良い。さらに、ハフ変換は、円形も抽出できるので、丸いチェックボックスであっても検出可能である。

【0035】

図６は、第１の実施の形態にかかる画像処理装置によるチェックボックスの検出結果の一例を示す図である。そして、チェックボックス検出部４０２は、図６に示すように、検出したチェックボックスのＩＤと対応付けて、当該チェックボックスの位置（例えば、始点）および大きさ（サイズ）を記憶する。

【0036】

図５に戻り、スジ検出部４０３は、取得した画像からスジを検出する（ステップＳ５０３）。画像内に発生するスジとしては、読取装置に起因するものと、出力装置に起因するものがある。図７は、読取装置の不良により発生するスジの一例を説明するための図である。図７（ａ）に示すように、画像配信装置１１３の画像読取部５００（例えば、スキャナ２１４）は、原稿を照射するランプ５０１と、原稿から反射光を読み取るセンサ５０２と、を有する。原稿もしくはセンサが走査することで画像が読み取られるが、その際、図８（ｂ）に示すように、原稿の色材または紙片が画像読取部５００上にゴミ５１０として付着することがある。このようにゴミ５１０が付着した状態で、画像を読み取られると、読み取った画像上にスジＬ１が発生する。

【0037】

図８は、出力装置の不良により発生するスジの一例を説明するための図である。画像受信装置１１２の画像形成部６００（例えば、プリンタ２１３）は、図８（ａ）に示すように、感光体ドラム６０１、帯電装置（帯電ローラ）６０２、光書き込みユニット（半導体レーザー）６０３、現像装置６０４、中間転写ベルト６０５、およびクリーニング装置６０６を有する。画像形成部６００は、画像形成時、感光体ドラム６０１の外周面を帯電装置６０２により一様に帯電させ、一様に帯電された感光体ドラム６０１の外周面に向けて画像処理部で画像処理された画像データに対応するレーザー光を光書込ユニット６０３から出射し、感光体ドラム６０１の外周面上に静電潜像を形成する。次に、画像形成部６００は、この静電潜像を現像装置６０４のトナーで現像することによりトナー画像を形成し、このトナー像を中間転写ベルト６０５に一次転写する。その後、画像形成部６００は、トナー画像を記録媒体上に二次転写し、次の画像形成に備えクリーニング装置６０６により、感光体ドラム６０１の除電および残留トナーの除去を行う。

【0038】

しかし、図８（ｂ）に示すように、感光体ドラム６０１上に記録媒体上に付いていた糊等の粘着性の物質６１０が付着してしまうと、その領域にレーザーが当たらなくなり、常にトナーが載り続けてしまう。これにより出力画像上にもスジＬ２が発生する。逆に、感光体ドラム６０１が故障して特定の領域が帯電できなくなった場合には、その領域にトナーが載らなくなり白いスジが発生することもある。

【0039】

画像内のスジの検出方法については、チェックボックスの検出方法で用いた１画素ごとのＡＮＤ操作またはＯＲ操作およびハフ変換等による抽出を応用できる。取得した画像を反転させて、スジの検出を実施することで、白スジの抽出も可能である。

【0040】

図９は、第１の実施の形態にかかる画像処理装置によるスジの検出結果の一例を示す図である。図１０は、第１の実施の形態にかかる画像処理装置が取得する画像に含まれるスジの一例を示す図である。スジ検出部４０３は、図９に示すように、チェックボックスの検出と同様に、検出したスジのＩＤと対応付けて、当該スジの位置（始点）およびサイズを記憶する。図１０に示すＩＤ：１，２，３は、それぞれ、図１０に示すスジＡ，Ｂ，ＣのスジのＩＤである。スジＣのように、ユーザが取り消しのために引いた線、原稿内の縦線も一緒に抽出されてしまうが、そういった長さが短い線は、マークの認識処理の処理対象から除外する。例えば、チェックボックスの高さの３倍未満の長さの線は、マークの認識処理の処理対象から除外する等の設定しておけば良い。

【0041】

図５に戻り、マーク認識実施判定部４０４は、チェックボックスとスジとが重複しているか否かを判断する（ステップＳ５０４）。チェックボックスとスジとの重複がなく、画像内のマークの認識を実施すると判定された場合（ステップＳ５０４：Ｎｏ）、マーク認識部４０５は、チェックボックス内のマークの有無を判断するマークの認識処理を実行する（ステップＳ５０５）。

【0042】

マークの認識処理は、検出されたチェックボックスの位置およびサイズ等の情報に基づいて、チェックボックスの枠内の画素の値を取得し、黒画素の数をカウントして、黒画素の比率が閾値以上の比率であればマークありと判定しても良い。また、ノイズ等で顧客が記入したもの以外でも黒画素が発生する可能性があるので、閾値は、少しオフセットした閾値とすることが好ましい。また、多値で入力された画像に関しては、マーク認識部４０５は、事前に、画像を二値化してから黒画素をカウントしても良い。

【0043】

一方、チェックボックスとスジとの重複があり、画像内のマークの認識を実施しないと判定された場合（ステップＳ５０４：Ｙｅｓ）、マーク認識部４０５は、マーク認識は行わず処理を終了する。

【0044】

図１１は、第１の実施の形態にかかる情報処理システムが有する画像処理装置におけるチェックボックスとスジの重複の有無の判定処理の流れの一例を示すフローチャートである。図１２は、第１の実施の形態にかかる画像処理装置におけるチェックボックスとスジの重複の有無の判定処理の一例を説明するための図である。まず、マーク認識実施判定部４０４は、チェックボックス検出部４０２により検出されたチェックボックスの位置（例えば、始点）およびサイズ等の情報を取得する（ステップＳ１００１）。

【0045】

また、マーク認識実施判定部４０４は、スジ検出部４０３により検出されたスジの位置および太さ等の情報を取得する（ステップＳ１００２）。次に、マーク認識実施判定部４０４は、検出したチェックボックスの領域内の画素の画素値を１に設定する（ステップＳ１００３）。例えば、図６に示すＩＤ：１のチェックボックスについては、マーク認識実施判定部４０４は、図１２（ａ）に示す画像を生成する。また、図６に示すＩＤ：３のチェックボックスについては、マーク認識実施判定部４０４は、図１２（ｂ）に示す画像を生成する。

【0046】

また、マーク認識実施判定部４０４は、検出したスジの領域内の画素の画素値を１に設定する（ステップＳ１００４）。こちらも同様で、例えば、図９のＩＤ：１のスジについては、マーク認識実施判定部４０４は、図１２（ｃ）に示す画像を生成する。また、図９のＩＤ：２のスジについては、マーク認識実施判定部４０４は、図１２（ｄ）に示す画像を生成する。

【0047】

次に、マーク認識実施判定部４０４は、ステップＳ１００３で生成した画像（すなわち、チェックボックスの領域内の画素の画素値を１に設定した画像）と、ステップＳ１１０４で生成した画像（すなわち、スジの領域内の画素の画素値を１に設定した画像）のＯＲ演算を実行する（ステップＳ１００５）。これにより、マーク認識実施判定部４０４は、図１２に示すように、（ａ）×（ｃ）、（ｂ）×（ｃ）、（ａ）×（ｄ）、（ｂ）×（ｄ）の画像を生成する。

【0048】

次いで、マーク認識実施判定部４０４は、ＯＲ演算の実行により生成した画像のチェックボックス内の画素値が１の画素の比率が閾値以下であるか否かを判定する（ステップＳ１００６）。例えば、マーク認識実施判定部４０４は、ＩＤ：１のチェックボックスに対しては、（ａ）×（ｃ）、（ａ）×（ｄ）の画像の画素値が1の画素数をそれぞれカウントし、ＩＤ：１のチェックボックスのサイズで、カウントした値を除算する。また、例えば、マーク認識実施判定部４０４は、ＩＤ：３のチェックボックスに対しては、（ｂ）×（ｃ）、（ｂ）×（ｄ）の画像の画素値が1の画素数をそれぞれカウントし、ＩＤ：２のチェックボックスのサイズでカウントした値を除算する。

【0049】

そして、マーク認識実施判定部４０４は、カウント値（チェックボックス内の画素値が１の画素の比率）が閾値以下と判定された場合（ステップＳ１００６：Ｙｅｓ）、チェックボックスとスジの重複なしと判定する（ステップＳ１００７）。一方、カウント値が閾値より大きいと判定された場合（ステップＳ１００６：Ｎｏ）、マーク認識実施判定部４０４は、チェックボックスとスジの重複ありと判定する（ステップＳ１００８）。

【0050】

図１３は、第１の実施の形態にかかる情報処理システムが有する画像処理装置において検出するチェックボックスのバリケーションの一例を示す図である。チェックボックスにも様々なバリエーションがある。例えば、マークシートでは、図１３（Ａ）(Ｂ)に示す形状のものがよく使われる。また、アンケート等では、図１３(Ｃ)に示す形状のものが多く使われる。いずれのチェックボックスについても、チェックボックスの形状から塗り方がある程度予測できるが、マークにより塗られる面積は種類によって異なる。

【0051】

例えば、図１３(Ａ)に示す塗りつぶすチェックボックスであれば、広い面積が塗られるため、細いスジであれば、マークの認識処理に影響を与えない。一方で、図１３（Ｂ）に示す線を引くだけのチェックボックスであれば、細いスジであってもマークの認識処理が影響を受けてしまう。このため、マーク認識実施判定部４０４は、チェックボックスとスジの重複の有無のチェック時の閾値を、チェックボックスの形状に応じて切り替えることで、より正確なマークの認識結果を取得することができる。

【0052】

このように、第１の実施の形態にかかる画像処理装置１１１によれば、スジの発生個所とチェックボックスとの位置関係に応じて、マークの認識の実施を制御することができるので、正しいマークの認識結果を出力する可能性を高めることができる。

【0053】

（第２の実施の形態）
本実施の形態は、取得した画像に対応する画像フォーマットのチェックボックスの位置および大きさを含むチェックボックス情報を取得し、当該チェックボックス情報およびスジの検出結果に基づいて、チェックボックスとスジの重複の有無を判定する例である。以下の説明では、第１の実施の形態と同様の構成については説明を省略する。

【0054】

図１４は、第２の実施の形態にかかる情報処理システムが有する画像処理装置の機能構成の一例を示す図である。本実施の形態にかかる画像処理装置１１１は、図１４に示すように、画像取得部１４０１、画像フォーマット識別部１４０２、チェックボックス情報取得部１４０３、スジ検出部１４０４、マーク認識実施判定部１４０５、およびマーク認識部１４０６を有する。なお、画像取得部１４０１、スジ検出部１４０４、およびマーク認識部１４０６は、図４に示す画像取得部４０１、スジ検出部４０３、およびマーク認識部４０５と同様である。

【0055】

画像フォーマット識別部１４０２は、取得した画像に対応する画像フォーマットを識別するフォーマット識別部の一例である。本実施の形態では、画像フォーマット識別部１４０２は、登録済みの画像フォーマットデータの中から、取得した画像に一致する画像フォーマットを識別する。

【0056】

チェックボックス情報取得部１４０３は、識別された画像フォーマットに対応するチェックボックスの位置および大きさ等のチェックボックス情報を取得する。

【0057】

マーク認識実施判定部１４０５は、チェックボックス情報およびスジの検出結果に基づいて、チェックボックスとスジの重複の有無を判定する。そして、マーク認識実施判定部１４０５は、チェックボックスとスジの重複の有無に応じて、画像内のマークの認識を実施するか否かを判定する。

【0058】

これにより、チェックボックスを画像フォーマットで識別できる場合には、画像からのチェックボックスの検出処理を行わなくても、画像フォーマット毎のチェックボックス情報を取得するだけで、チェックボックスの位置および大きさ等を特定できる。その結果、画像からチェックボックスを検出するよりも高精度に、チェックボックスとスジの重複の有無を判定できる。

【0059】

図１５は、第２の実施の形態にかかる情報処理システムが有する画像処理装置におけるマーク認識処理の流れの一例を示すフローチャートである。図１５のステップＳ１５０１，Ｓ１５０４，Ｓ１５０６に示す処理は、図５に示す処理と同様である。

【0060】

本実施の形態では、画像取得部１４０１により画像が取得されると（ステップＳ１５０１）、画像フォーマット識別部１４０２は、取得した画像の画像フォーマットを識別する（ステップＳ１５０２）。画像フォーマットの識別には既知の種々の技術が存在する。例えば、画像フォーマット識別部１４０２は、画像上で識別に有効な領域に部分画像フィルタを適用して特徴ベクトルへ変換し、辞書に登録してある各画像フォーマットの特徴ベクトルとの距離を計算して、画像フォーマットを識別する方法を用いることができる。

【0061】

チェックボックス情報取得部１４０３は、識別した画像フォーマットに対応するチェックボックス情報を取得する（ステップＳ１５０３）。取得するチェックボックス情報は、第１の実施の形態の図６に示すチェックボックスの始点とサイズの情報であり、ユーザが予め画像フォーマット毎に調べて登録しておいても良い。画像フォーマットとそれに対応するチェックボックス情報は、いずれも画像受信装置１１２のＨＤＤ２０５、ＰＣ１１０、データベース１１４に記憶されたものを取得しても良い。その後、マーク認識実施判定部１４０５は、チェックボックス情報およびスジの検出結果に基づいて、チェックボックスとスジの重複の有無を判定する（ステップＳ１５０５）。

【0062】

このように、第２の実施の形態にかかる画像処理装置１１１によれば、事前に登録されていたチェックボックス情報を持ってくることで、当該チェックボックス情報を用いて、チェックボックスとスジの重複の有無を判定することで、画像毎にチェックボックスを検出するよりも精度よく重複が判定可能となる。

【0063】

（第３の実施の形態）
本実施の形態は、チェックボックスとスジとの重複の有無に応じて、画像処理装置に対する画像の送信を実施するか否かを判定する例である。以下の説明では、上述の実施の形態と同様の構成については説明を省略する。

【0064】

図１６は、第３の実施の形態にかかる情報処理システムの機能構成の一例を示す図である。本実施の形態では、画像配信装置１１３（情報処理装置の一例）は、図１６に示すように、画像取得部１６０１、チェックボックス検出部１６０２、スジ検出部１６０３、画像送信判定部１６０４、および画像送信部１６０５を有する。

【0065】

画像取得部１６０１、チェックボックス検出部１６０２、スジ検出部１６０３は、図４に示す画像取得部４０１、チェックボックス検出部４０２、スジ検出部４０３と同様である。

【0066】

画像送信判定部１６０４は、チェックボックスの検出結果およびスジの検出結果に基づいてチェックボックスとスジとの重複の有無を判定する。次いで、画像送信判定部１６０４は、チェックボックスとスジとの重複の有無に応じて、画像の送信を実施するか否かを判定する。すなわち、画像送信判定部１６０４は、チェックボックスの検出結果とスジの検出結果に基づいて、マークの認識処理に対するスジの影響を判断し、受信相手に画像を送信するか判定する。

【0067】

画像送信部１６０５は、受信相手に画像を送信すると判定された場合に、当該取得した画像を送信する。これにより、マークの認識処理に対して影響を与えるスジが画像に含まれている場合には、画像の送信が行われないので、画像の受信側における無駄な画像の出力を抑制することができる。

【0068】

図１７は、第３の実施の形態にかかる情報処理システムにおける画像の送信処理の流れの一例を示すフローチャートである。ステップＳ１７０１～Ｓ１７０４は、図５のステップＳ５０１～Ｓ５０４と同様である。

【0069】

画像送信判定部１６０４は、チェックボックスとスジの重複が有りと判定された場合（ステップＳ１７０４：Ｙｅｓ）、重複カウントを１プラスする（ステップＳ１７０５）。次に、画像送信判定部１６０４は、全てのチェックボックスとスジの組合せについて、チェックボックスとスジの重複の有無の判定が完了したか否かを判断する（ステップＳ１７０６）。

【0070】

全てのチェックボックスとスジの組合せについて、チェックボックスとスジの重複の有無の判定が完了していない場合（ステップＳ１７０６：Ｎｏ）、ステップＳ１７０４へ戻る。一方、全てのチェックボックスとスジの組合せについて、チェックボックスとスジの重複の有無の判定が完了した場合（ステップＳ１７０６：Ｙｅｓ）、画像送信判定部１６０４は、重複カウントが閾値以下であるか否かを判定する（ステップＳ１７０７）。ここで、閾値には、少なくとも１以上の整数値が設定され、検出されたチェックボックスの数に応じて変更されることが望ましい。

【0071】

重複カウントが閾値以下であった場合には（ステップＳ１７０７：Ｙｅｓ）、画像送信部１６０５は、取得した画像の送信を行う（ステップＳ１７０８）。一方、重複カウント値が閾値より大きい場合には（ステップＳ１７０７：Ｎｏ）、画像送信部１６０５は、取得した画像の送信は行わず処理を終了する。

【0072】

このように、第３の実施の形態にかかる画像配信装置１１３によれば、画像の配信側で事前にチェックボックスとスジの重複の有無を判断することで、画像の受信側で無駄な紙等の記録媒体の出力を抑制することが可能となる。

【0073】

なお、上記実施の形態では、本発明の画像形成装置を、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機に適用した例を挙げて説明するが、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。

【符号の説明】

【0074】

１１０ ＰＣ
１１１ 画像処理装置
１１２ 画像受信装置
１１３ 画像配信装置
２０１，３０１ 制御部
２０２，３０２ ＣＰＵ
２０３，３０３ ＲＯＭ
２０４，３０４ ＲＡＭ
２０５，３０５ ＨＤＤ
２０７ プリンタＩ／Ｆ
２０８ スキャナＩ／Ｆ
２１１，３０６ ネットワークＩ／Ｆ
２１３ プリンタ
２１４ スキャナ
４０１，１４０１，１６０１ 画像取得部
４０２，１６０２ チェックボックス検出部
４０３，１４０４，１６０３ スジ検出部
４０４，１４０５ マーク認識実施判定部
４０５，１４０６ マーク認識部
１４０２ 画像フォーマット識別部
１４０３ チェックボックス情報取得部
１６０４ 画像送信判定部
１６０５ 画像送信部

【先行技術文献】

【特許文献】

【0075】

【特許文献1】特開平７－１３９８４号公報

【特許文献2】特開２０１６－１１４７７８号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】