IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2023-133084画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム
<>
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図1
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図2
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図3
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図4
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図5
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図6
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図7
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図8
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図9
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図10
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図11
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図12
  • 特開-画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023133084
(43)【公開日】2023-09-22
(54)【発明の名称】画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システム
(51)【国際特許分類】
   G06V 30/14 20220101AFI20230914BHJP
   G06V 30/12 20220101ALI20230914BHJP
【FI】
G06V30/14 360Z
G06V30/12 C
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022146860
(22)【出願日】2022-09-15
(31)【優先権主張番号】P 2022036582
(32)【優先日】2022-03-09
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】盛 拓也
【テーマコード(参考)】
5B029
5B064
【Fターム(参考)】
5B029AA01
5B029CC03
5B064AA01
5B064EA08
5B064EA12
5B064EA34
(57)【要約】
【課題】文字認識の精度を向上させること。
【解決手段】画像生成装置は、原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する画像生成部と、前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成する文字認識部と、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するデータ送信部と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する画像生成部と、
前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成する文字認識部と、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するデータ送信部と、
を備える画像生成装置。
【請求項2】
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果で差異がある文字について、前記可視光照射画像データの文字を採用するか、前記不可視光照射画像データの文字を採用するかを判定する判定部を、更に備える、
請求項1に記載の画像生成装置。
【請求項3】
前記判定部は、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果から同じ座標に文字があるが、当該文字が一致しない場合、前記不可視光照射画像データの文字を採用する、
請求項2に記載の画像生成装置。
【請求項4】
前記判定部は、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果から同じ座標に前記可視光照射画像データのみに文字がある場合、前記不可視光照射画像データの文字を採用する、
請求項2に記載の画像生成装置。
【請求項5】
前記判定部は、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果から同じ座標に前記可視光照射画像データのみに文字がある場合、当該文字と文字認識辞書データの文字データとを比較し、当該文字と前記文字認識辞書データの文字データとが一致する場合、当該文字を採用し、一致しない場合、前記可視光照射画像データの文字認識結果から当該文字を除去する、
請求項4に記載の画像生成装置。
【請求項6】
前記文字認識処理は、OCR(Optical Character Recognition)処理である、
請求項1に記載の画像生成装置。
【請求項7】
請求項1~6のいずれか一項に記載の画像生成装置と、
前記画像生成装置により生成された画像を印刷する作像装置と、
を備える画像形成装置。
【請求項8】
画像生成装置で実行される画像生成方法であって、
前記画像生成装置は、
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する工程と、
前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成する工程と、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信する工程と、
を含む画像生成方法。
【請求項9】
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成するステップと、
前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成するステップと、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するステップと、
をコンピュータに実行させるためのプログラム。
【請求項10】
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する画像生成部と、前記可視光照射画像データと前記不可視光照射画像データをサーバへ送信するデータ送信部と、を備える画像形成装置と、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するデータ送信部と、を備えるサーバと、
を備える画像生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システムに関する。
【背景技術】
【0002】
画像から文字を認識するOCR(Optical Character Recognition;光学的文字認識)を利用する画像形成装置が知られている。
【0003】
例えば、地紋を含む原稿に不可視光を照射することで、原稿から地紋を除去した文字画像を抽出する技術が知られている(特許文献1、2参照)。これによって、印鑑又はスタンプが押されている伝票などに対して、文字画像を抽出することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、不可視光によって不要な模様を除去して文字画像を抽出することができるが、色のついた文字においても不可視光が通過するため、色のついた文字が除去されてしまう場合がある。この場合、強調のための赤文字など、重要な文字が抽出されないため、文字認識が正しく行われなくなってしまう。
【0005】
本発明は、上記に鑑みてなされたものであって、文字認識の精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明は、原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する画像生成部と、前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成する文字認識部と、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するデータ送信部と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、文字認識の精度を向上させるという効果を奏する。
【図面の簡単な説明】
【0008】
図1図1は、本実施形態に係る画像形成装置のハードウェア構成例を示すブロック図である。
図2図2は、図1の画像生成装置の機能構成例を示すブロック図である。
図3図3は、原稿のイメージ図である。
図4図4は、可視光照射画像データのイメージ図である。
図5図5は、不可視光照射画像データのイメージ図である。
図6図6は、本実施形態に係る画像形成装置における画像生成装置の処理を示す図である。
図7図7は、図6のステップS608、S609においてOCR処理部により生成される可視光照射画像データ及び不可視光照射画像データのOCR結果の一例を示す図である。
図8図8は、図6のステップS610においてOCR結果判定部により実行される文字採用処理を示すフローチャートである。
図9図9は、図8の文字採用処理においてOCR結果判定部により採用された文字の一例を示す図である。
図10図10は、OCR結果を補正した場合の通知メッセージの一例を示す図である。
図11図11は、画像形成装置とサーバとを備える画像形成システムの構成例を示すブロック図である。
図12図12は、本実施形態にかかる画像形成装置の一例の構成を示す図である。
図13図13は、画像読取部の構造を例示的に示す断面図である。
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、画像生成装置、画像形成装置、画像形成方法、プログラム、及び画像生成システムの実施形態を詳細に説明する。以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には当業者が容易に想到できるもの、実質的に同一のもの、及びいわゆる均等の範囲のものが含まれる。以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更、及び組み合わせを行うことができる。
【0010】
図1は、本実施形態に係る画像形成装置1のハードウェア構成例を示すブロック図である。本実施形態に係る画像形成装置1は、画像生成装置10、作像装置12を備える。画像生成装置10は、読み取り装置11、操作パネル13、CPU(Central Processing Unit)14、記憶装置15、メモリ16、通信装置17を備える。
【0011】
読み取り装置11は、紙原稿を読み取るデバイスである。なお、画像形成装置1がプリンタの場合は、画像形成装置1には読み取り装置が設けられていない。読み取り装置11は、近赤外(NIR)用として構成される不可視波長領域での画像を取得するための不可視光源と、可視波長領域での画像を取得するための可視光源と、を備える。
【0012】
作像装置12は、読み取り装置11が読み取った紙原稿、または、PC(Personal Computer)等から送られた電子画像を転写紙に印刷するデバイスである。
【0013】
記憶装置15は、MFP(Multifunction Peripheral;複合機)のOS(Operating System)や、アプリケーション等のプログラムを記憶する。MFPは、スキャナ機能、コピー機能、プリンタ機能、ファクシミリ機能等を備えた画像形成装置である。また、記憶装置15は、後述のスキャン画像、及び、後述のOCR結果を記憶する。
【0014】
メモリ16は、記憶装置15内のOS、及び、アプリケーション等のプログラムを動作させるためのメモリである。
【0015】
CPU14は、装置の全体制御を行う。CPU14は、記憶装置15内のOS、及び、アプリケーション等のプログラムを実行する。
【0016】
操作パネル13は、例えばタッチパネルディスプレイであり、ユーザによる入力操作を受け付ける機能と、操作の結果等を表示する機能とを有する。なお、操作パネル13は必須ではなく、画像形成装置1がプリンタの場合は、画像形成装置1には操作パネルが設けられていない。
【0017】
通信装置17は、イーサネット(Ethernet)、Wi-Fi等のネットワーク通信手段である。通信装置17は、ネットワーク上の他の装置と通信するのに用いられる。
【0018】
図2は、図1の画像生成装置10の機能構成例を示すブロック図である。画像生成装置10は、操作パネル21、イメージセンサ22、コントローラ制御部23、データ送信部24、画像生成部25、OCR処理部26、OCR結果判定部27、OCR辞書データ28を有する。
【0019】
図2の操作パネル21は、図1の操作パネル13に相当する。操作パネル21は、ユーザからの操作を受け付ける。
【0020】
図2のコントローラ制御部23は、例えば、図1のCPU14に相当する。コントローラ制御部23は、操作パネルから指示された動作を各部に通知して制御する。
【0021】
図2のイメージセンサ22は、例えば、図1の読み取り装置11に設けられている。イメージセンサ22は、可視および不可視の波長域を撮像可能である。イメージセンサ22は、可視光と不可視光とが照射された原稿をスキャンするセンサである。
【0022】
図2の画像生成部25は、イメージセンサ22により可視光が照射された原稿をスキャンすることにより可視光照射画像データを生成し、イメージセンサ22により不可視光が照射された原稿をスキャンすることにより不可視光照射画像データを生成する。
【0023】
図2のOCR辞書データ28は、文字認識辞書データの一例であって、例えば、図1の記憶装置15に記憶されている。OCR辞書データ28には、文字認識を行う際に認識精度を高めるために参照される複数の文字データ(単語)が含まれる。
【0024】
図2のOCR処理部26は、例えば、図1のCPU14に相当する。OCR処理部26は、OCR辞書データ28を参照して、可視光照射画像データ及び不可視光照射画像データに対して文字認識処理の一例であるOCR(Optical Character Recognition;光学的文字認識)処理を行うことにより、可視光照射画像データ及び不可視光照射画像データの文字認識結果を生成する。以下、OCRの一連の処理であるOCR処理を行ったことによる文字認識結果をOCR結果と記載する。OCR処理部26は、文字認識部の一例である。
【0025】
図2のOCR結果判定部27は、例えば、図1のCPU14に相当する。OCR結果判定部27は、可視光照射画像データ及び不可視光照射画像データのOCR結果で差異がある文字を判定する。そして、OCR結果判定部27は、差異がある文字について、可視光照射画像データの文字を採用するか、不可視光照射画像データの文字を採用するかを判定文字として判定する。OCR結果判定部27は、判定部の一例である。
【0026】
ここで、コントローラ制御部23は、可視光照射画像データのOCR結果と不可視光照射画像データのOCR結果とで一致する文字と、OCR結果判定部27により判定された判定文字とを含む画像を読み取り画像データとして生成する。
【0027】
図2のデータ送信部24は、例えば、図1の通信装置17を介して、コントローラ制御部23により生成された読み取り画像データを、外部(ネットワーク上の他の装置)に送信する。加えて、データ送信部24は、生成された読み取り画像データを、記憶装置15へ送信する。また、データ送信部24は、生成された読み取り画像データを、作像装置12で印刷するために、メモリ16に送信する。
【0028】
なお、例えば、コントローラ制御部23は、読み取り画像データを生成したときに作像装置12を制御し、作像装置12は、コントローラ制御部23により生成された読み取り画像データを転写紙に印刷してもよい。即ち、作像装置12は、画像生成装置10により生成された画像データを印刷する。
【0029】
図3は、原稿300のイメージ図である。
【0030】
図3に示す例では、原稿300には、「報告書 ABC株式会社 営業部 社内の について報告する」が黒文字310で記載されている。図3の点線内の文字に示すように、黒文字310「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の「社内の」と「について報告する」との間には、「営業活動」が赤文字320で記載されている。
【0031】
図3に示すように、黒文字310「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の「株式会社」上には、赤色で枠内に「社外秘」と記載されたスタンプ330が捺印されている。
【0032】
図4は、可視光照射画像データ400のイメージ図である。
【0033】
図4に示す例では、可視光照射画像データ400は、黒文字410「報告書 ABC株式会社 営業部 社内の営業活動について報告する」と、黒文字410の「株式会社」上にスタンプ型の黒文字420「社外秘」とを含む。即ち、図4の可視光照射画像データ400では、図3の赤文字320「営業活動」の部分とスタンプ330「社外秘」の部分とが残っている。
【0034】
図5は、不可視光照射画像データ500のイメージ図である。
【0035】
図5に示す例では、不可視光照射画像データ500は、黒文字510「報告書 ABC株式会社 営業部 社内の について報告する」を含む。即ち、図5の不可視光照射画像データ500では、図3の赤文字320「営業活動」の部分とスタンプ330「社外秘」の部分とが除去されている。
【0036】
本実施形態に係る画像形成装置1は、例えば、スタンプ330「社外秘」だけ除去したい場合に赤文字320「営業活動」も除去されてしまう課題を解決するものである。
【0037】
この場合、図3図5に示す例では、可視光照射画像データ400のOCR結果と不可視光照射画像データ500のOCR結果とで一致する文字は、原稿300に黒文字310で記載された「報告書 ABC株式会社 営業部 社内の について報告する」である。OCR結果判定部27により判定された判定文字は、原稿300の黒文字310の「社内の」と「について報告する」との間に記載された赤文字320「営業活動」である。
【0038】
ここで、本実施形態では、不可視光として近赤外光を利用しており、近赤外光はカーボンを透過しない性質がある。そのため、不可視光照射画像データ500において、カーボンを利用した黒のインクあるいはトナーを画像に残すことができる。例えば、原稿300に濃淡があっても、そのまま不可視光照射画像データ500として残る。カーボンを利用していないインクあるいはトナーであれば、赤、青、黄等、どの色でも除去される。なお、不可視光の波長帯域としては、780~1000nmの近赤外光が好ましい。
【0039】
また、可視光照射画像データ400はスキャン画像としてユーザに利用されるため、コントローラ制御部23は、可視光照射画像データ400のOCR結果を透明テキストとして、当該可視光照射画像データ400に付加して記憶装置15に記憶させる。不可視光照射画像データ500はOCR結果しか利用されないため、コントローラ制御部23は、読み取り画像の生成後に当該不可視光照射画像データ500を削除し、当該不可視光照射画像データ500の生成及び削除をユーザに通知しない。
【0040】
次に、本実施形態に係る画像形成装置1における画像生成装置10の処理について説明する。図6は、本実施形態に係る画像形成装置1における画像生成装置10の処理を示す図である。
【0041】
まず、ユーザは、操作パネル21を用いて、原稿300のスキャンの実行を指示する(図6のステップS601)。このとき、コントローラ制御部23は、原稿300のスキャン指示を受け取り(図6のステップS602)、原稿300のスキャンを実行するようにイメージセンサ22を制御する(図6のステップS603)。
【0042】
イメージセンサ22は、可視光が照射された原稿300をスキャンして、画像生成部25は、可視光照射画像データ400を生成する(図6のステップS604)。また、イメージセンサ22は、不可視光が照射された原稿300をスキャンして、画像生成部25は、不可視光照射画像データ500を生成する(図6のステップS605)。その後、画像生成部25は、可視光照射画像データ400、不可視光照射画像データ500をコントローラ制御部23に出力して、画像生成部25の処理が完了する(図6のステップS606)。なお、本実施形態では、可視光照射画像データの生成の後に、不可視光照射画像データの生成を行うようにしたが、これに限るものではなく、不可視光照射画像データの生成の後に、可視光照射画像データの生成を行うようにしてもよい。
【0043】
次に、コントローラ制御部23は、OCR処理部26にOCR処理の実行を指示する(図6のステップS607)。このとき、OCR処理部26は、OCR辞書データ28を参照しながら、可視光照射画像データ400及び不可視光照射画像データ500に対してOCR処理を実行し、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果を生成する(図6のステップS608、S609)。
【0044】
ここで、OCR処理部26は、スキャン画像として利用される可視光照射画像データ400のOCR結果を透明テキストとして、当該可視光照射画像データ400に付加して記憶装置15に記憶させることにより、OCR処理部26の処理が完了する。
【0045】
次に、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果で差異がある文字を判定する。そして、OCR結果判定部27は、差異がある文字について、可視光照射画像データの文字を採用するか、不可視光照射画像データの文字を採用するかを判定文字として判定することにより、OCR結果判定部27の処理が完了する(図6のステップS610)。
【0046】
次に、コントローラ制御部23は、可視光照射画像データのOCR結果と不可視光照射画像データのOCR結果とで一致する文字と、OCR結果判定部27により判定された判定文字とを含む画像を読み取り画像データとして生成する。コントローラ制御部23は、読み取り画像データを画像形成装置の外部や記憶装置15やメモリ16に送信するようにデータ送信部24を制御する(図6のステップS611)。すなわち、データ送信部24は、可視光照射画像データ及び不可視光照射画像データの文字認識結果(OCR結果)での差異に基づいて決定した可視光照射画像データの文字または不可視光照射画像データの文字を含む画像データを送信する。
【0047】
図7は、図6のステップS608、S609においてOCR処理部26により生成される可視光照射画像データ400及び不可視光照射画像データ500のOCR結果の一例を示す図である。
【0048】
可視光照射画像データ400及び不可視光照射画像データ500のOCR結果は、当該OCR結果が表す文字と、当該文字の位置を表す文字座標とを対応付ける情報である。例えば、原稿300において、文字座標は行と列とで表され、原稿300の左上端の文字座標を1行目1列目とする。ここで、図7に示す例では、X行目Y列目を(X-Y)と記載する。
【0049】
具体的には、原稿300の黒文字310「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の「報告書」の文字座標は、例えば、1行目7~9列目である。この場合、図7に示すように、OCR処理部26は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果として、当該OCR結果が表す文字「報告書」と、当該文字の位置を表す文字座標(1-7)~(1-9)とを対応付ける。
【0050】
また、原稿300の黒文字310「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の「ABC株式会社」の文字座標は、例えば、3行目9~15列目である。この場合、図7に示すように、OCR処理部26は、不可視光照射画像データ500のOCR結果として、当該OCR結果が表す文字「ABC株式会社」と、当該文字の位置を表す文字座標(3-9)~(3-15)とを対応付ける。
【0051】
一方、図7に示すように、OCR処理部26は、可視光照射画像データ400のOCR結果として、当該OCR結果が表す文字「ABC殊武金祉」と、当該文字の位置を表す文字座標(3-9)~(3-15)とを対応付ける。ここで、可視光照射画像データ400では、文字座標(3-12)~(3-15)に対する「株式会社」の文字については、スタンプ330「社外秘」が重なったことによって別の文字として認識されている。
【0052】
また、原稿300の黒文字310「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の「営業部」の文字座標は、例えば、4行目12~14列目である。この場合、図7に示すように、OCR処理部26は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果として、当該OCR結果が表す文字「営業部」と、当該文字の位置を表す文字座標(4-12)~(4-14)とを対応付ける。
【0053】
また、原稿300の黒文字310「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の「社内の営業活動について報告する」の文字座標は、例えば、6行目1~15列目である。この場合、図7に示すように、OCR処理部26は、可視光照射画像データ400のOCR結果として、当該OCR結果が表す文字「社内の営業活動について報告する」と、当該文字の位置を表す文字座標(6-1)~(6-15)とを対応付ける。
【0054】
一方、図7に示すように、OCR処理部26は、不可視光照射画像データ500のOCR結果として、当該OCR結果が表す文字「社内の について報告する」と、当該文字の位置を表す文字座標(6-1)~(6-3)、(6-8)~(6-15)とを対応付ける。ここで、不可視光照射画像データ500では、文字座標(6-4)~(6-7)に対する「営業活動」の文字については除去されているため、空白となっている。
【0055】
OCR処理は、原稿300において文字座標(以下、単に、座標と記載する)に文字があるかどうかも判定できるため、文字がない場合は空白文字として区分できる。なお、原稿300が斜めになっており、スキャンした画像が傾いている場合、座標が正しく取れない他、OCR処理の精度にも影響するため、OCR処理部26は、OCR処理を行う前にスキュー補正を行う。
【0056】
図8は、図6のステップS610においてOCR結果判定部27により実行される文字採用処理を示すフローチャートである。
【0057】
まず、図8のステップS801において、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果の最初の座標(1-1)をセットする。
【0058】
次に、図8のステップS802において、OCR結果判定部27は、セットした座標に対する可視光照射画像データ400及び不可視光照射画像データ500のOCR結果が表す文字をチェックする。次に、図8のステップS803において、OCR結果判定部27は、セットした座標において、可視光照射画像データ400及び不可視光照射画像データ500の両方に文字があるか否かを判定する。
【0059】
ここで、セットした座標において、可視光照射画像データ400及び不可視光照射画像データ500の両方に文字がある場合(図8のステップS803;YES)、画像生成装置10の処理は図8のステップS804に進む。一方、可視光照射画像データ400及び不可視光照射画像データ500の両方に文字がない場合(図8のステップS803;NO)、画像生成装置10の処理は図8のステップS807に進む。
【0060】
図8のステップS804において、OCR結果判定部27は、セットした座標に対して可視光照射画像データ400及び不可視光照射画像データ500の両方の文字が一致するか否かを判定する。
【0061】
ここで、セットした座標において、可視光照射画像データ400及び不可視光照射画像データ500の両方の文字が一致する場合(図8のステップS804;YES)、画像生成装置10の処理は図8のステップS805に進む。一方、可視光照射画像データ400及び不可視光照射画像データ500の両方の文字が一致しない場合(図8のステップS804;NO)、画像生成装置10の処理は図8のステップS809に進む。
【0062】
図8のステップS805において、OCR結果判定部27は、セットした座標に対して可視光照射画像データ400と不可視光照射画像データ500とで一致する文字を採用する。その後、画像生成装置10の処理は図8のステップS806に進む。
【0063】
このように、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果から同じ座標に文字があるが、当該文字が一致しない場合、可視光照射画像データ400の文字はスタンプなどが重なり誤認識されたものとみなす。この場合、OCR結果判定部27は、不可視光照射画像データ500の文字を採用する。
【0064】
これは、同じ位置にある文字が一致しないため、不可視光照射で除去された模様が可視光照射画像データ400に影響していると判断でき、不可視光照射画像データ500のOCR結果がより確度の高いものと判断できるためである。
【0065】
図8のステップS807において、OCR結果判定部27は、セットした座標に対して可視光照射画像データ400のみに文字があるか否かを判定する。
【0066】
ここで、セットした座標において、可視光照射画像データ400のみに文字がある場合(図8のステップS807;YES)、画像生成装置10の処理は図8のステップS808に進む。一方、可視光照射画像データ400のみに文字がない場合(図8のステップS807;NO)、画像生成装置10の処理は図8のステップS806に進む。
【0067】
図8のステップS808において、OCR結果判定部27は、セットした座標に対して可視光照射画像データ400の文字を採用する。その後、画像生成装置10の処理は図8のステップS806に進む。
【0068】
このように、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果から同じ座標に可視光照射画像データ400のみに文字がある場合は、不可視光照射画像データ500では除去されてしまった色付きの文字とみなす。この場合、OCR結果判定部27は、可視光照射画像データ400の文字を採用する。
【0069】
これは、同じ位置で文字の有無が異なるため、不可視光照射画像データ500では、本来、必要な文字が除去されたと判断でき、可視光照射画像データ400の結果しか利用できないためである。
【0070】
また、文字でない地紋などを文字と誤認識して可視光照射画像データのOCR結果に残ってしまうことが考えられる。その場合、OCR結果判定部27は、OCR辞書データ28に登録された単語と比較し、一致しなければ意味のない単語、つまり文字と誤認識された地紋と判定してOCR結果から除外してもよい。
【0071】
即ち、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果から同じ座標に可視光照射画像データ400のみに文字がある場合、当該文字とOCR辞書データ28に登録された単語とを比較する。
【0072】
比較の結果、可視光照射画像データ400の文字とOCR辞書データ28に登録された単語とが一致する場合、OCR結果判定部27は、可視光照射画像データ400の文字を採用する。一方、当該文字とOCR辞書データ28に登録された単語とが一致しない場合、OCR結果判定部27は、当該文字を採用しない。具体的には、OCR結果判定部27は、可視光照射画像データ400のOCR結果から当該文字を除外する。
【0073】
このように、OCR結果判定部27は、地紋など除去したい模様を採用しないように、座標に可視光照射画像データ400のみに文字がある場合、OCR辞書データ28の単語を参照して当該文字を採用するか否かを判定することで、採用精度を高めることができる。
【0074】
図8のステップS809において、OCR結果判定部27は、セットした座標に対して不可視光照射画像データ500の文字を採用する。その後、画像生成装置10の処理は図8のステップS806に進む。
【0075】
図8のステップS806において、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果に次の座標があるか否かを判定する。
【0076】
ここで、次の座標がある場合(図8のステップS806;YES)、画像生成装置10の処理は図8のステップS810に進む。一方、次の座標がない場合(図8のステップS806;NO)、画像生成装置10の処理は終了する。
【0077】
図8のステップS810において、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果の次の座標をセットする。その後、画像生成装置10の処理は図8のステップS802に進む。
【0078】
このように、OCR結果判定部27は、図8の各ステップを全ての座標の文字に行うことで、誤認識された文字を取り除きつつ色付きの文字も残すことができる。
【0079】
図9は、図8の文字採用処理においてOCR結果判定部27により採用された文字の一例を示す図である。
【0080】
図9に示すように、文字座標(1-7)~(1-9)、(3-9)~(3-15)、(4-12)~(4-14)、(6-1)~(6-15)に対して、OCR結果判定部27により「報告書 ABC株式会社 営業部 社内の営業活動について報告する」の文字が採用される。
【0081】
具体的には、図8のS801~S805が実行されることにより、文字座標(1-7)~(1-9)に対して、OCR結果判定部27は「報告書」の文字を採用する。次に、図8のS806、S810、S802、S803、S807が実行されることにより、OCR結果判定部27は改行を認識する。
【0082】
次に、図8のS806、S810、S802~S805が実行されることにより、文字座標(3-9)~(3-11)に対して、OCR結果判定部27は「ABC」の文字を採用する。次に、図8のS806、S810、S802~S804、S809が実行されることにより、文字座標(3-12)~(3-15)に対して、OCR結果判定部27は「株式会社」の文字を採用する。
【0083】
次に、図8のS806、S810、S802~S805が実行されることにより、文字座標(4-12)~(4-14)に対して、OCR結果判定部27は「営業部」の文字を採用する。次に、図8のS806、S810、S802、S803、S807が実行されることにより、OCR結果判定部27は改行を認識する。
【0084】
次に、図8のS806、S810、S802~S805が実行されることにより、文字座標(6-1)~(6-3)に対して、OCR結果判定部27は「社内の」の文字を採用する。次に、図8のS806、S810、S802、S803、S807、S808が実行されることにより、文字座標(6-4)~(6-7)に対して、OCR結果判定部27は「営業活動」の文字を採用する。
【0085】
次に、図8のS806、S810、S802~S805が実行されることにより、文字座標(6-8)~(6-15)に対して、OCR結果判定部27は「について報告する」の文字を採用する。
【0086】
このように、OCR結果判定部27は、図8の各ステップを実行することにより、スタンプ330「社外秘」が重なった箇所と赤文字320「営業活動」の個所とを正しく取得できている。
【0087】
図10は、OCR結果を補正した場合の通知メッセージ1000の一例を示す図である。
【0088】
例えば、図8の文字採用処理において、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果が一致せずに不可視光照射画像データ500の結果が採用された場合、ユーザから見たら、地紋やスタンプを除去してOCR結果を補正したことになる。この場合、コントローラ制御部23は、図10に示す通知メッセージ1000を操作パネル21に表示させて、OCR結果を補正したことをユーザに通知してもよい。
【0089】
また、コントローラ制御部23は、ジョブログなど機器内部に蓄積するログに、OCR結果の比較結果や、OCR結果を補正したことを記録してもよい。
【0090】
最後に、画像形成装置1だけでなく、サーバも用いた実施例について説明する。
【0091】
図11は、画像形成装置1とサーバ1100とを備える画像形成システムの構成例を示すブロック図である。サーバ1100は、画像処理装置1101、CPU1102、記憶装置1103、メモリ1104、通信装置1105を備える。CPU1102は、装置の全体制御を行う。
【0092】
画像形成装置1における画像生成装置10の通信装置17とサーバ1100の通信装置1105とは、画像及びOCR結果を送受信する。例えば、読み取り装置11は、画像形成装置1にしかないため、可視光照射及び不可視光照射による画像作成は画像形成装置1に限られるが、画像形成装置1が画像をサーバ1100に送ることで、サーバ1100がOCR処理や前述のOCR結果判定による文字採用を行ってもよい。
【0093】
具体的には、図2のOCR辞書データ28は、例えば、図11の記憶装置1103に記憶され、図11の画像処理装置1101は、図2のコントローラ制御部23、OCR処理部26、OCR結果判定部27の処理を実行する。
【0094】
サーバ1100は、画像処理装置1101においてOCR結果の判定を行った後に、OCR処理で一致する文字とOCR結果により判定された判定文字とを含む読み取り画像を、通信装置1105(データ送信部に相当)を介して、画像形成装置1に送信、または外部(ネットワーク上の他の装置)などに送信する。
【0095】
以上の説明により、本実施形態に係る画像形成装置1における画像生成装置10では、画像生成部25が、原稿300に可視光が照射されることで可視光照射画像データ400を生成し、原稿300に不可視光が照射されることにより不可視光照射画像データ500を生成する。OCR処理部26が、可視光照射画像データ400及び不可視光照射画像データ500に対してOCR処理によるOCR結果を生成する。
【0096】
そして、データ送信部24が、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果での差異に基づいて決定した可視光照射画像データ400の文字または不可視光照射画像データの文字500を含む画像データを送信する。これにより、本実施形態では、例えば、スタンプだけ除去したい場合に赤文字も除去されてしまう課題を解決することができるため、文字認識の精度を向上させることができる。
【0097】
具体的には、OCR結果判定部27が、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果で差異がある文字について、可視光照射画像データ400の文字を採用するか、不可視光照射画像データ500の文字を採用するかを判定する。OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果から同じ座標に文字があるが、当該文字が一致しない場合、不可視光照射画像データ500の文字を採用する。これにより、本実施形態では、例えば、スタンプや地紋が原因により、OCR処理で誤認識される文字を正しく認識することができる。
【0098】
また、OCR結果判定部27は、可視光照射画像データ400及び不可視光照射画像データ500のOCR結果から同じ座標に可視光照射画像データ400のみに文字がある場合、不可視光照射画像データ500の文字を採用する。これにより、本実施形態では、例えば、赤文字などで除去されてしまうような必要な文字のOCR結果を取得することができる。
【0099】
ここで、同じ座標に可視光照射画像データ400のみに文字がある場合、OCR結果判定部27は、当該文字とOCR辞書データ28の文字データ(単語)とを比較する。ここで、当該文字とOCR辞書データ28の文字データ(単語)とが一致する場合、当該文字を採用し、一致しない場合、可視光照射画像データ400のOCR結果から当該文字を除去する。これにより、本実施形態では、例えば、文字と誤認識された地紋などの意味のないOCR結果を取り除くことができる。
【0100】
ここで、画像形成装置1の具体的な適用例について説明する。
【0101】
図12は、本実施形態にかかる画像形成装置1の一例の構成を示す図である。図12において、画像形成装置1は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも2つの機能を有する一般に複合機と称されるものである。
【0102】
画像形成装置1は、読み取り装置11である画像読取部101およびADF(Automatic Document Feeder)102を有し、その下部に作像装置12を有する。作像装置12については、内部の構成を説明するために、外部カバーを外して内部の構成を示している。
【0103】
ADF102は、画像を読み取らせる原稿を読取位置に位置づける原稿支持部である。ADF102は、載置台に載置した原稿を読取位置に自動搬送する。画像読取部101は、ADF102により搬送された原稿を所定の読取位置で読み取る。また、画像読取部101は、原稿を載置する原稿支持部であるコンタクトガラスを上面に有し、読取位置であるコンタクトガラス上の原稿を読み取る。具体的に画像読取部101は、内部に光源や、光学系や、CCD(Charge Coupled Device)等のイメージセンサを有するスキャナであり、光源で照明した原稿の反射光を光学系を通じてイメージセンサで読み取る。
【0104】
作像装置12は、画像読取部101で読み取った原稿画像を印刷する。作像装置12は、記録紙を手差しする手差ローラ104や、記録紙を供給する記録紙供給ユニット107を有する。記録紙供給ユニット107は、多段の記録紙給紙カセット107aから記録紙を繰り出す機構を有する。供給された記録紙は、レジストローラ108を介して二次転写ベルト112に送られる。
【0105】
二次転写ベルト112上を搬送する記録紙は、転写部114において中間転写ベルト113上のトナー画像が転写される。
【0106】
また、作像装置12は、光書込装置109や、タンデム方式の作像ユニット(Y、M、C、K)105や、中間転写ベルト113や、上記二次転写ベルト112などを有する。作像ユニット105による作像プロセスにより、光書込装置109が書き込んだ画像を中間転写ベルト113上にトナー画像として形成する。
【0107】
具体的に、作像ユニット(Y、M、C、K)105は、4つの感光体ドラム(Y、M、C、K)を回転可能に有し、各感光体ドラムの周囲に、帯電ローラ、現像器、一次転写ローラ、クリーナーユニット、及び除電器を含む作像要素106をそれぞれ備える。各感光体ドラムにおいて作像要素106が機能し、感光体ドラム上の画像が各一次転写ローラにより中間転写ベルト113上に転写される。
【0108】
中間転写ベルト113は、各感光体ドラムと各一次転写ローラとの間のニップに、駆動ローラと従動ローラとにより張架して配置されている。中間転写ベルト113に一次転写されたトナー画像は、中間転写ベルト113の走行により、二次転写装置で二次転写ベルト112上の記録紙に二次転写される。その記録紙は、二次転写ベルト112の走行により、定着装置110に搬送され、記録紙上にトナー画像がカラー画像として定着する。その後、記録紙は、機外の排紙トレイへと排出される。なお、両面印刷の場合は、反転機構111により記録紙の表裏が反転されて、反転された記録紙が二次転写ベルト112上へと送られる。
【0109】
なお、作像装置12は、上述したような電子写真方式によって画像を形成するものに限るものではなく、インクジェット方式によって画像を形成するものであってもよい。
【0110】
次に、画像読取部101について説明する。
【0111】
図13は、画像読取部101の構造を例示的に示す断面図である。図13に示すように、画像読取部101は、本体1021内に、撮像素子であるイメージセンサ22を備えたセンサ基板1020、レンズユニット1018、第1キャリッジ1016及び第2キャリッジ1017を有する。イメージセンサ22は、画像読取手段として機能するものであって、例えばCCDやCMOSイメージセンサなどである。第1キャリッジ1016は、LED(Light Emitting Diode)である光源1012及びミラー1013を有する。第2キャリッジ1017は、ミラー1014,1015を有する。また、画像読取部101は、上面にコンタクトガラス1011及び基準白板1023を設けている。
【0112】
画像読取部101は、読取動作において、第1キャリッジ1016及び第2キャリッジ1017を待機位置(ホームポジション)から副走査方向(A方向)に移動させながら光源1012から光を上方に向けて照射する。そして、第1キャリッジ1016及び第2キャリッジ1017は、原稿1022からの反射光を、レンズユニット1018を介してイメージセンサ22上に結像させる。
【0113】
また、画像読取部101は、電源ON時などには、基準白板1023からの反射光を読取って基準を設定する。即ち、画像読取部101は、第1キャリッジ1016を基準白板1023の直下に移動させ、光源1012を点灯させて基準白板1023からの反射光をイメージセンサ22の上に結像させることによりゲイン調整を行う。
【0114】
光源1012は、近赤外(NIR)用として構成される不可視波長領域での画像を取得するための不可視光源と、可視波長領域での画像を取得するための可視光源と、を備える。
【0115】
イメージセンサ22は、原稿1022からの反射光を読み取り、可視画像の読取りの場合はRGB信号を、不可視画像の読取りの場合はNIR信号を出力する。一般のイメージセンサのカラーフィルタはNIR光を透過する特性を持っているため、不可視画像の読取りの場合にはNIR信号がRGB各出力に現れることになる。本実施の形態においては、説明上、R出力のNIR信号を用いることとする。なお、本実施形態では可視光を照射してイメージセンサ22によって撮像された画像データを可視光照射画像データ、近赤外光などの不可視光を照射してイメージセンサ22によって撮像された画像データを不可視光照射画像データと呼ぶ。
【0116】
なお、実施形態に係る画像形成装置1で実行されるプログラムは、ROM等に予め組み込まれて提供される。
【0117】
例えば、画像形成装置1、ユーザの端末、及び、集計サーバ2で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【0118】
さらに、画像形成装置1、ユーザの端末、及び、集計サーバ2で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、画像形成装置1、ユーザの端末、及び、集計サーバ2で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0119】
画像形成装置1、ユーザの端末、及び、集計サーバ2で実行されるプログラムは、上述した各部(各機能構成)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各機能が主記憶装置上にロードされ、それぞれ画像形成装置1、ユーザの端末、及び、集計サーバ2の各機能が主記憶装置上に生成されるようになっている。
【0120】
本発明の態様は、例えば、以下のとおりである。
<1>
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する画像生成部と、
前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成する文字認識部と、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するデータ送信部と、
を備える画像生成装置。
<2>
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果で差異がある文字について、前記可視光照射画像データの文字を採用するか、前記不可視光照射画像データの文字を採用するかを判定する判定部を、更に備える、
<1>に記載の画像生成装置。
<3>
前記判定部は、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果から同じ座標に文字があるが、当該文字が一致しない場合、前記不可視光照射画像データの文字を採用する、
<2>に記載の画像生成装置。
<4>
前記判定部は、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果から同じ座標に前記可視光照射画像データのみに文字がある場合、前記不可視光照射画像データの文字を採用する、
<2>又は<3>に記載の画像生成装置。
<5>
前記判定部は、前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果から同じ座標に前記可視光照射画像データのみに文字がある場合、当該文字と文字認識辞書の単語とを比較し、当該文字と前記文字認識辞書の単語とが一致する場合、当該文字を採用し、一致しない場合、前記可視光照射画像データの文字認識結果から当該文字を除去する、
<4>に記載の画像生成装置。
<6>
前記文字認識処理は、OCR(Optical Character Recognition)処理である、
<1>~<5>のいずれか一項に記載の画像生成装置。
<7>
<1>~<6>のいずれか一項に記載の画像生成装置と、
前記画像生成装置により生成された画像を印刷する作像装置と、
を備える画像形成装置。
<8>
画像生成装置で実行される画像生成方法であって、
前記画像生成装置は、
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する工程と、
前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成する工程と、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信する工程と、
を含む画像生成方法。
<9>
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成するステップと、
前記可視光照射画像データ及び前記不可視光照射画像データに対して文字認識処理による文字認識結果を生成するステップと、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するステップと、
をコンピュータに実行させるためのプログラム。
<10>
原稿に可視光が照射されることにより可視光照射画像データを生成し、原稿に不可視光が照射されることにより不可視光照射画像データを生成する画像生成部と、前記可視光照射画像データと前記不可視光照射画像データをサーバへ送信するデータ送信部と、を備える画像形成装置と、
前記可視光照射画像データ及び前記不可視光照射画像データの文字認識結果での差異に基づいて決定した前記可視光照射画像データの文字または前記不可視光照射画像データの文字を含む画像データを送信するデータ送信部と、を備えるサーバと、
を備える画像生成システム。
【符号の説明】
【0121】
1 画像形成装置
10 画像生成装置
11 読み取り装置
12 作像装置
13 操作パネル
14 CPU
15 記憶装置
16 メモリ
17 通信装置
21 操作パネル
22 イメージセンサ
23 コントローラ制御部
24 データ送信部
25 画像生成部
26 OCR処理部
27 OCR結果判定部
28 OCR辞書データ
1100 サーバ
1101 画像処理装置
1102 CPU
1103 記憶装置
1104 メモリ
1105 通信装置
【先行技術文献】
【特許文献】
【0122】
【特許文献1】特開2021-5162号公報
【特許文献2】特開2021-5766号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13