特開 2024-178745 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178745

(43)【公開日】2024-12-25

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241218BHJP

【ＦＩ】

G06V30/12 B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023097120

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100159385

【弁理士】

【氏名又は名称】甲斐 伸二

(74)【代理人】

【識別番号】100163407

【弁理士】

【氏名又は名称】金子 裕輔

(74)【代理人】

【識別番号】100166936

【弁理士】

【氏名又は名称】稲本 潔

(74)【代理人】

【識別番号】100174883

【弁理士】

【氏名又は名称】冨田 雅己

(74)【代理人】

【識別番号】100189429

【弁理士】

【氏名又は名称】保田 英樹

(74)【代理人】

【識別番号】100213849

【弁理士】

【氏名又は名称】澄川 広司

(72)【発明者】

【氏名】水口 幸則

【テーマコード（参考）】

5B064

【Ｆターム（参考）】

5B064EA04

5B064EA12

5B064EA13

5B064FA04

5B064FA05

(57)【要約】      （修正有）

【課題】領収書や名刺のような誤認識が生じやすい原稿の確認を人が容易に行えるようにする画像処理装置および画像処理方法を提供する。
【解決手段】画像処理装置としての複合機は、原稿を読み取る原稿読取部１３と、読み取られた原稿に対する文字認識処理を行う文字認識部１２Ｃ、文字認識処理によって得られた語句の中から、原稿の種類に応じて設定された１以上の項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させる語句抽出部１２Ｘ及び何れかの項目につきその項目に属する語句をソートしてソートされた順にその語句に紐付いた原稿およびその原稿に紐ついた各項目の語句を操作部に表示させ、操作部を介して語句の修正を受け付ける読取制御部１２Ｒを備える画像処理部１２と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

原稿を読み取る原稿読取部と、
読み取られた原稿に対する文字認識処理を行う文字認識部と、
前記文字認識処理によって得られた語句の中から、原稿の種類に応じて設定された１以上の項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させる語句抽出部と、
何れかの項目につきその項目に属する語句をソートしてソートされた順にその語句に紐付いた原稿およびその原稿に紐ついた各項目の語句を操作部に表示させ、前記操作部を介して前記語句の修正を受け付ける読取制御部と、
を備える画像処理装置。

【請求項2】

前記読取制御部は、前記ソートを行う項目のユーザによる選択を受け付ける請求項１に記載の画像処理装置。

【請求項3】

前記読取制御部は、原稿の種類に応じて設定された前記項目のうち語句を抽出する項目のユーザによる選択を受け付ける請求項１に記載の画像処理装置。

【請求項4】

前記読取制御部は、前記操作部に表示された語句の修正を受け付ける場合に、ソート順で一つ前の原稿に係る同一項目の語句に揃えるワンタッチ操作を受け付ける請求項１に記載の画像処理装置。

【請求項5】

前記読取制御部は、ソート順に各原稿に係る各項目の語句を表示させる際に、ソート順で一つ前の原稿に係る同一項目の語句との異同を判断し、異なる部分を同じ部分と異なる表示態様で表示させる請求項１に記載の画像処理装置。

【請求項6】

前記語句抽出部は、ユーザが指定した特定の種類の原稿に対してその種類に応じた項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させる請求項１に記載の画像処理装置。

【請求項7】

画像処理装置の制御部が、
原稿読取部を用いて、原稿を読み取るステップと、
読み取られた原稿の文字認識処理を行うステップと、
前記文字認識処理によって得られた語句の中から、原稿の種類に応じて設定された１以上の項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させるステップと、
何れかの項目につきその項目に属する語句をソートしてソートされた順にその語句に紐付いた原稿およびその原稿に係る各項目の語句を操作部に表示させるステップと、
表示された語句の修正を受け付けるステップと、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、原稿を読み取って読み取られた原稿に対する文字認識処理を行う画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

原稿を画像として読み取るだけでなく、原稿の画像から文字の認識を行う画像形成装置が知られている。文字認識の結果を原稿と紐付けることによって、例えば文字列検索が可能になったり文字に関する属性に基づく分類が可能なったりして活用がし易くなる。しかし、文字認識の結果が必ずしも正しいとは限らないため、特に重要なものは認識結果を人の目で確認して誤りを修正する必要があるのが現状である。しかし、人手による確認作業は時間を要し確認する者の負担が大きい。そこで、確認作業の負担を軽減するために以下のものが提案されている。

【0003】

１つの誤認識文字を修正する際に、その誤認識文字と一致した画像情報を探し出し、一度に複数の箇所を修正できるようにし、そのような一括修正を可能としながらも文字修正の精度を向上させるものである（例えば、特許文献１参照）。文字修正の精度を向上させるために、特許文献１のものは作業者の操作指令に基づいて、文字列の中から任意の文字を選択するステップと、選択された任意の文字を作業者の操作指令に従う所定の文字に置換するステップを備える。そして、文字認識された文字列の中から、選択された任意の文字と略一致する文字が自動修正対象文字として順に選択され、その自動修正対象文字前記所定の文字に一旦置換する。さらに、置換された文字の前後についての構文を解析し、その解析の結果に基づいて、一旦置換された結果を正当なものと確定する。そのようにして、自動的に行なった文字の修正が正しい構文となる場合に限り、その修正が正当なものと確定される。このために、文字修正の精度を向上することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３－２２３６０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像処理装置が読み取る原稿の中には、領収書や名刺といったものも含まれる。それらは一般的なＡ４サイズよりも小さなサイズであることが多く、例えば、マルチクロップ機能を適用するによって複数の原稿を効率よく読み取ることができる。しかし、領収書は手書き文字を含んでいたり、文字に重なって捺印されていたりする場合が多い。名刺は小さい文字や飾り文字が多い。そのため、文字認識を行っても同じ文字の特徴が類似してないと判定されたり、別の文字を特徴が類似しているとされたりする可能性が高い。通常のフォントの書体で印刷された一般的なオフィス文書に比べると誤認識される可能性が高い。また、たとえ自動修正がなされる画像処理装置で読み取られたとしても、誤った自動修正が行われる可能性が否定できない。

【0006】

本開示は、以上のような事情を考慮してなされたものであって、領収書や名刺のような誤認識が生じやすい原稿の確認を人が容易に行える手法を提供するものである。

【課題を解決するための手段】

【0007】

本開示は、原稿を読み取る原稿読取部と、読み取られた原稿に対する文字認識処理を行う文字認識部と、前記文字認識処理によって得られた語句の中から、原稿の種類に応じて設定された１以上の項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させる語句抽出部と、何れかの項目につきその項目に属する語句をソートしてソートされた順にその語句に紐付いた原稿およびその原稿に紐ついた各項目の語句を操作部に表示させ、前記操作部を介して前記語句の修正を受け付ける読取制御部と、を備える画像処理装置を提供する。

【0008】

また、異なる観点から本開示は、画像処理装置の制御部が、原稿読取部を用いて、原稿を読み取るステップと、読み取られた原稿の文字認識処理を行うステップと、前記文字認識処理によって得られた語句の中から、原稿の種類に応じて設定された１以上の項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させるステップと、何れかの項目につきその項目に属する語句をソートしてソートされた順にその語句に紐付いた原稿およびその原稿に係る各項目の語句を操作部に表示させるステップと、表示された語句の修正を受け付けるステップと、を備える画像処理方法を提供する。

【発明の効果】

【0009】

本開示による画像処理装置は、原稿の種類に応じて設定された１以上の項目に属する語句を抽出して抽出された語句を原稿に紐付けて表示させる語句抽出部と、何れかの項目につきその項目に属する語句をソートしてソートされた順にその語句に紐付いた原稿およびその原稿に紐ついた各項目の語句を操作部に表示させ、前記操作部を介して前記語句の修正を受け付ける読取制御部を備えるので、原稿とそれに紐ついたある項目の語句とをソート順に確認することで、領収書や名刺のような誤認識が生じやすい原稿の確認を人が容易に行える。
本開示による画像処理方法も同様の作用効果を奏する。

【図面の簡単な説明】

【0010】

【図1】本開示において、画像形成装置の一例として示す複合機の構成を示すブロック図である。

【図2】図１に示す複合機における原稿読取部に対応する部分の外観斜視図である。

【図3】原稿の種類が領収書の場合に抽出する項目およびソートする項目についての設定を受け付ける画面の一例を示す説明図である。

【図4】原稿の種類が名刺の場合に抽出する項目およびソートする項目についての設定を受け付ける画面の一例を示す説明図である。

【図5】実施の形態１において制御部が実行する原稿種類の選択および抽出語句の確認に係る処理の例を示す第１のフローチャートである。

【図6】実施の形態１において制御部が実行する原稿種類の選択および抽出語句の確認に係る処理の例を示す第２のフローチャートである。

【図7】実施の形態１において制御部が操作部に表示させる原稿種別選択画面の一例を示す説明図である。

【図8】実施の形態１において、制御部が操作部に表示させる確認修正画面の一例を示す説明図である。

【図9】実施の形態２において、図８に示す例の領収書の次に確認修正画面に表示された原稿の一例を示す説明図である。

【発明を実施するための形態】

【0011】

以下、図面を用いて本開示をさらに詳述する。なお、以下の説明は、すべての点で例示であって、本開示を限定するものと解されるべきではない。
（実施の形態１）
まず、本開示における画像形成装置について述べる。図１は、本開示において、画像形成装置の一例として示す複合機の構成を示すブロック図である。図２は、図１に示す複合機の原稿読取部に対応する部分の外観斜視図である。

【0012】

図１に示すように、複合機１０は、制御部１１、原稿読取部１３、印刷部１４、操作部１５および記憶部１６を備える。制御部１１は、ハードウェア資源として、プロセッサおよびメモリを中心に構成される。プロセッサに加えて、入出力インターフェース回路、タイマ回路、通信回路等のハードウェア資源で構成される回路である。プロセッサがメモリに格納された制御プログラムを実行することによって操作の認識、表示の制御に係る処理が実現される。また、原稿の読取りや画像の印刷等に係るジョブ、即ち一連の画像処理に係る処理が実現される。即ち、ソフトウェア資源とハードウェア資源とが協働することによって、複合機１０の制御を行う制御部１１としての機能が実現される。

【0013】

本開示による制御部１１は、操作制御部１７、ファイル制御部１８、ジョブ制御部１９および画像処理部１２を備える。画像処理部１２は、読取制御部１２Ｒ、印刷制御部１２Ｐ、文字認識部１２Ｃおよび語句抽出部１２Ｘを備える。操作部１５は、表示部１５Ｄおよび操作検出部１５Ｓを備える。

【0014】

制御部１１が備える操作制御部１７は、操作部１５と接続されており、操作部１５の操作検出部１５Ｓが受け付けたユーザの操作を認識し、また、操作部１５の表示部１５Ｄに表示させる表示データを生成する。図２に示すように、操作部１５は、複合機１０の手前側に設けられる。操作部１５は、操作制御部１７が生成した操作画面を表示する表示デバイス（表示部１５Ｄ）を有する。さらに、その操作画面に対するユーザからの指示を受け付ける操作検出デバイス（操作検出部１５Ｓ）を有する。表示デバイスとしては、例えば液晶表示デバイスやＯＬＥＤ（Organic Light Emitting Display）が適用可能であり、操作検出デバイスとしてはタッチパネルが適用可能である。操作制御部１７は、上述の操作検出デバイスと通信して操作検出デバイスによって検出されたユーザの操作、即ちユーザからの指示を認識する。また、上述の表示デバイスに表示データを送信して操作画面として表示させる。制御部１１が備えるファイル制御部１８は、記憶部１６に格納されたデータを管理し、読み書きを制御する。

【0015】

制御部１１が備える画像処理部１２は、原稿読取部１３から出力される読取画像の信号に基づいて原稿の画像データを生成する。生成された原稿の画像データは、スキャンジョブの場合、記憶部１６に格納され、あるいは不図示の通信回路を介して外部の機器へ送信される。読取制御部１２Ｒは、それらの原稿の読み取りに係る処理を制御する。コピージョブの場合、原稿の画像データは、印刷部１４へ送られて印刷される。プリントジョブの場合は、前記通信回路を介して外部の機器から受信したジョブデータに基づいて印刷用の画像データを生成し、印刷部１４で印刷する。印刷制御部１２Ｐは、それらの印刷に係る処理を制御する。文字認識部１２Ｃは、原稿の画像データに含まれる文字を認識する。語句抽出部１２Ｘは、原稿の種類に応じて設定され項目に属する語句を抽出する。そして、抽出された語句を原稿に紐付けて、少なくとも一時的に記憶部１６に格納する。文字認識部１２Ｃおよび語句抽出部１２Ｘについては後述する。

【0016】

制御部１１が備えるジョブ制御部１９は、操作制御部１７が認識したユーザからの指示に応じてジョブの設定あるいは実行に係る制御を行う。また、前記通信回路を介して印刷ホストとしての外部機器からの指示に応じてジョブの設定あるいは実行に係る制御を行う。例えば、ジョブの設定に係る指示の場合は対象の設定を更新する。操作画面の更新を伴う場合は、操作制御部１７が更新された操作画面の表示データを生成して操作部１５の表示デバイスに送る。それによって、操作画面が更新される。ジョブの実行に係る指示を受領した場合、ジョブ制御部１９は受領したジョブの種類（例えば、スキャンジョブ、コピージョブ、印刷ジョブ）に応じて原稿読取部１３、印刷部１４および画像処理部１２を制御し、画像データの流れを制御して指示されたジョブを実行する。さらに述べると、ジョブ制御部１９は原稿読取部１３および印刷部１４の各所に配置されたセンサー（図１に不図示）が検出する状態を認識する。そして、原稿読取部１３および印刷部１４に配置されたモータ、アクチュエータ、デバイス等（図１に不図示）の動作を制御する。また、ジョブ制御部１９は、画像処理部１２の画像に係る処理を制御する。

【0017】

記憶部１６は、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）といった書き換え可能な不揮発性メモリと画像データを格納するＤＲＡＭ（Dynamic Random Access Memory）といった揮発性メモリの何れかまたは両方を備える。図１において記憶部１６が、制御部１１と別のブロックとして示しているが、制御部１１に含まれる態様もあり得る。即ち、記憶部１６が、制御部１１と同じ回路基板上に実装される態様もあり得る。記憶部１６は、原稿の種類に応じた１以上の項目を記憶し、語句抽出部１２Ｘは記憶部１６に格納されている、原稿の種類に応じた項目を参照して各項目に属する語句を抽出する。さらに、記憶部１６は文字認識部１２Ｃが文字認識を行う際に用いる辞書を格納していてもよい。

【0018】

原稿読取部１３は、ジョブ制御部１９の制御下で原稿の画像を読取って、ＲＧＢ（レッド、グリーンおよびブルー）のカラー画像信号（ＲＧＢアナログ信号）に変換する。即ち、コピージョブおよびスキャンジョブにおける画像読取の処理を実行する。読み取られる原稿は、原稿送り装置１３Ｆまたは原稿台１３Ｐにユーザがセットする。原稿送り装置１３Ｆは、原稿を所定の読取位置へ１枚ずつ搬送する。原稿台１３Ｐは、平坦で透明なガラス部材からなる。原稿読取部１３は、イメージセンサ（図１および図２に不図示）を備える。原稿台１３Ｐに置かれた原稿を走査するための走査機構（図１および図２に不図示）を備える。画像処理部１２は、イメージセンサで読み取られた読取画像の信号に基づいて原稿の画像データを生成する。また、前記通信回路を介して外部の機器から受信する印刷データに基づいて印刷用の画像データを生成する。生成された画像データは、印刷部１４へ送られて印刷され、あるいは前記通信回路を介して外部の機器へ送信される。

【0019】

印刷部１４は、印刷シートを収容する給紙トレイ１４Ａ、１４Ｂおよび１４Ｃの何れかから印刷シートを一枚ずつ給送してその印刷シートに画像を印刷し、排出トレイに出力する。図１および図２に示すように、複合機１０は３つの排出トレイ１４Ｄ、１４Ｅおよび１４Ｆの何れかに印刷済みの印刷シートを出力する。

【0020】

≪特定種類の原稿からの語句抽出と確認≫
続いて、本開示による画像処理装置が特定の種類の原稿から項目に属する語句を抽出して、抽出された語句の確認をユーザに行わせる処理について述べる。図３および図４は、原稿の種類に応じて抽出する項目およびソートする項目につきユーザの設定を受け付ける抽出／ソート項目選択画面の一例を示す説明図である。図３に示す抽出／ソート項目選択画面３０は原稿の種類が領収書の場合に対応するものである。図４に示す抽出／ソート項目選択画面４０は原稿の種類が名刺の場合に対応するものである。語句を抽出する項目をユーザ選択可能とすれば、ユーザの意図に応じた項目の選択を受け付けてその項目に属する語句を抽出させることができるので、不要な項目に係る語句抽出部や読取制御部の処理を省略することで処理負荷を軽減できる。また、ソートを行う項目をユーザ選択可能とすれば、ユーザの意図に応じた項目についてその項目に属する語句のソート順に語句に紐ついた原稿および紐ついた語句を表示させることができるので、抽出された語句の確認をユーザが容易に行える。

【0021】

図３に示す抽出／ソート項目選択画面３０は、領収書に記載される項目として、取引先、年月日、金額および宛名等が用意されていることを示している。設定領域３１は予め用意された項目のうち、何れの項目を抽出するかのユーザによる選択を受け付ける。さらに、読み取った原稿を確認のために表示させる際、何れの項目についてソートしてソート順に表示させるかの選択を受け付ける。選択する欄をユーザがタッチすると、操作制御部は、その項目が選択されたことを示す〇印を表示させる。設定領域３１は、用意された項目のうち、取引先、年月日および金額が選択されたことを示している。また、設定領域３１は、取引先の項目についてソートすることを示している。［登録］キー３２の操作を認識すると、読取制御部１２Ｒとして制御部１１は設定領域３１の設定内容を記憶部１６に記憶する。一方、［キャンセル］キー３３の操作を認識すると、読取制御部１２Ｒとして制御部１１は設定領域の設定内容を破棄して以前の設定内容を保持する。

【0022】

また、図４に示す抽出／ソート項目選択画面４０は、名刺に記載される項目として、会社名、名前、電話番号、メールアドレス等が用意されていることを示している。設定領域４１は予め用意された項目のうち、何れの項目を抽出するかのユーザによる選択を受け付ける。さらに、読み取った原稿を確認のために表示させる際、何れの項目についてソートしてソート順に表示させるかの選択を受け付ける。選択する欄をユーザがタッチすると、操作制御部は、その項目が選択されたことを示す〇印を表示させる。設定領域４１は、用意された項目のうち、会社名、名前および電話番号が選択されたことを示している。また、設定領域４１は、会社名の項目についてソートすることを示している。［登録］キー４２の操作を認識すると、読取制御部１２Ｒとして制御部１１は設定領域４１の設定内容を記憶部１６に記憶する。一方、［キャンセル］キー４３の操作を認識すると、読取制御部１２Ｒとして制御部１１は設定領域の設定内容を破棄して以前の設定内容を保持する。

【0023】

領収書および名刺は、原稿の種類の一例であるが、本開示ではそれらの例のように記載されている項目が予め想定される種類の原稿を対象としている。原稿種別に応じた語句抽出に係る項目の選択画面は、原稿を読み取る際に後述する原稿種別選択画面７０で領収書または名刺が選択されたことに応答して表示されてもよい。図３示す抽出／ソート項目選択画面３０および図４に示す抽出／ソート項目選択画面４０のことである。しかし、原稿種別が選択される都度、抽出／ソート項目選択画面を表示するのでなく、操作部１５に対する特定の操作（初期設定を変更するために用意されたもの）を受け付けた際に表示されるようにしてもよい。

【0024】

図５および図６は、この実施形態において制御部１１が実行する原稿種類の選択および抽出語句の確認に係る処理の例を示すフローチャートである。フローチャートを参照しながら処理の流れを説明する。原稿読取に係るジョブ（一例としてスキャンジョブ）が選択されたものとする（図５に示すステップＳ１１のＹｅｓ）。読取制御部１２Ｒとして制御部１１は、原稿読取に係るジョブが選択されると、続いてジョブの設定およびジョブ開始の指示を受け付ける。この実施形態において、読取制御部１２Ｒとして制御部１１は、通常のジョブに係る設定と共に、原稿種別の設定を受け付けるものとする。便宜上、図５のフローチャートでは、原稿種別以外の設定およびジョブの開始指示（ステップＳ１２）と原稿種別に係る設定（ステップＳ１３）を分けて示しているが、その順に設定および開始指示を受け付けることを示すものではない。ジョブに係る設定の一つとして操作部１５に原稿種別選択画面を表示させて原稿の種類（原稿種別）の選択を受け付けるものとする。ユーザから原稿種別の選択を受け付ける態様においては、ユーザが指定した特定の種類の原稿に応じた項目に係る語句を認識させることができる。

【0025】

図７は、この実施形態において制御部１１が操作部１５に表示させる原稿種別選択画面の一例を示す説明図である。図７に示す原稿種別選択画面７０では、２つの特定種類の原稿として領収書の選択を受け付ける［領収書］キー７１および名刺の選択を受け付ける［名刺］キー７２を表示させている。また、それ以外の種類の原稿の選択を受け付けるための［領収書／名刺以外］キー７３も表示させている。なお、何れかのキーの操作を受け付けると、制御部１１は原稿種別選択画面７０の表示をやめる。原稿種別選択画面７０で、［領収書］キー７１が操作され、他の設定が行われてジョブの実行を指示する操作がなされたことを検出すると（ステップＳ１５のＹｅｓ）、読取制御部１２Ｒとして制御部１１は、原稿読取部１３に１枚ずつ原稿を読み取らせる（ステップＳ２１）。読取制御部１２Ｒとして制御部１１は、読み取られた原稿に対する文字認識処理を文字認識部１２Ｃに行わせる。認識された語句のうちで領収書について選択された各項目（図３参照）に関連する語句を語句抽出部１２Ｘに抽出させる。そして、各項目について抽出された語句を原稿に紐付けて記憶部１６に格納する（ステップＳ２３）。

【0026】

１枚の原稿につき、読み取り、語句の抽出および紐付けを終えたら、読取制御部１２Ｒとして制御部１１は、すべての原稿を読み取り終えたか否かを判定する（ステップＳ２５）。次に読み取るべき原稿が残っている場合（ステップＳ２５のＮｏ）、制御部１１は処理を前述のステップＳ２１へ戻して次の１枚の原稿を読み取る。すべての原稿を読み取り終えたら（ステップＳ２５のＹｅｓ）、読み取られた原稿を定められた項目に係る語句の順にソートして、ソート順で各原稿を抽出された語句と共に操作部１５に表示させる。そして、ユーザの確認および修正を受け付ける（ステップＳ２７）。この実施形態において、読み取られた領収書に係るソート項目は「取引先」としている（図３参照）。

【0027】

図８は、この実施形態において、制御部１１が操作部１５に表示させる確認修正画面の一例を示す説明図である。図８に示すように、読取制御部１２Ｒとして制御部１１は読み取られた原稿（領収書）の画像を確認修正画面８０の画像表示域８１に表示させ、項目表示８５として選択された原稿の種別に応じた項目を表示させる。さらに、各項目について抽出された語句を表示させる。図８に示す例では、取引先の項目につき抽出された語句である「ＡＢＣＤＥ株式会社」を確認修正欄８６に表示させ、年月日の項目につき抽出された語句である「2022年10月1日」を確認修正欄８７に表示させている。さらに、金額の項目につき抽出された語句である「10,000」を確認修正欄８８に表示させている。確認修正欄８６、８７および８８のユーザによる選択および修正入力を受け付ける（図６に示すステップＳ４１）。制御部１１は、ソート項目である取引先の確認修正欄８６の右側に［前原稿同様］キー８４を表示させている。制御部１１は、確認修正画面をソート順に表示させるので、ソート項目は他の項目に比べて一つ前の原稿と同じ語句である可能性が高い。よって、文字認識の誤りを見つけやすいといえる。ソート項目について［前原稿同様］キー８４を操作することでソート項目について文字認識の誤りを容易に修正できる場合が多いと考えられる。

【0028】

一方、前述の原稿種別選択画面７０で、［名刺］キー７２が操作され、他の設定が行われてジョブの実行を指示する操作がなされたことを検出すると（ステップＳ１５のＮｏを経てステップＳ１７のＹｅｓ）、読取制御部１２Ｒとして制御部１１は、次の処理を行う。即ち、原稿読取部１３に１枚ずつ原稿を読み取らせる（ステップＳ３１）。読取制御部１２Ｒとして制御部１１は、読み取られた原稿に対する文字認識処理を文字認識部１２Ｃに行わせる。認識された語句のうちで領収書について選択された各項目（図４参照）に関連する語句を語句抽出部１２Ｘに抽出させる。そして、各項目について抽出された語句を原稿に紐付けて記憶部１６に格納する（ステップＳ３３）。

【0029】

１枚の原稿につき、読み取り、語句の抽出および紐付けを終えたら、制御部１１は、すべての原稿を読み取り終えたか否かを判定する（ステップＳ３５）。次に読み取るべき原稿が残っている場合（ステップＳ３５のＮｏ）、制御部１１は処理を前述のステップＳ３１へ戻して次の１枚の原稿を読み取る。すべての原稿を読み取り終えたら（ステップＳ３５のＹｅｓ）、読み取られた原稿を定められた項目に係る語句の順にソートして、ソート順で各原稿を抽出された語句と共に操作部１５に表示させる。そして、ユーザの確認および修正を受け付ける（ステップＳ２７）。

【0030】

また、前述の原稿種別選択画面７０で、［領収書／名刺以外］キー７３が操作され、他の設定が行われてジョブの実行を指示する操作がなされたことを検出すると（ステップＳ１７のＮｏを経てステップＳ１９のＹｅｓ）、読取制御部１２Ｒとして制御部１１は、以下の処理を行う。即ち、原稿読取部１３に１枚ずつ原稿を読み取らせ、記憶部１６に格納する（ステップＳ３７）。原稿種別が領収書や名刺の場合のように、読み取られた原稿に対する文字認識処理を行ってもよいが、各項目に関連する語句を語句抽出部１２Ｘに抽出させて原稿に紐付ける処理は行わないものとする。１枚ずつ原稿を読み取って（ステップＳ３９のＮｏのループ）、すべての原稿を読み取り終えたら（ステップＳ３９のＹｅｓ）、後述する図６のステップＳ６５へ処理を進めて読み取られた原稿の出力に係る処理を行う。詳細は後述する。

【0031】

前述したユーザの確認および修正を受け付ける処理の続きを以下に述べる。例えば、図８に示す確認修正画面８０の確認修正欄８６、８７および８８に対するユーザによる選択および修正入力を受け付けると（図６のステップＳ４１のＹｅｓ）、読取制御部１２Ｒとして制御部１１は、修正入力された欄の項目に係る語句を入力されたものに置換する（ステップＳ４３）。なお、修正入力がなされた原稿だけでなく、それ以外の原稿の同じ項目の同じ語句についても、その修正入力を反映させることができるようにしてもよい。そして、制御部１１は、処理をステップＳ４１へ戻して更なる修正あるいは次の操作を待つ。何れかの確認修正欄に対して更に修正入力がされたら、同様の処理を繰り返す（ステップＳ４１のＹｅｓ、Ｓ４３を経てステップＳ４１へ戻るループ）。

【0032】

図８に示す確認修正画面８０において読取制御部１２Ｒとして制御部１１は、確認修正欄８６、８７および８８に対する修正入力の他に、［次を確認］キー８２および［前原稿同様］キー８４に対する操作を受付ける。

【0033】

［前原稿同様］キー８４の操作を受付けると（ステップＳ４１のＮｏを経てＳ４５のＹｅｓ）、読取制御部１２Ｒとして制御部１１は以下の処理を行う。即ち、ソート順の１つ前に表示され確認／修正がされた原稿がある場合その確認／修正がされた原稿に紐ついたソート項目の語句に、現在表示されている原稿に係るソート項目の語句を更新する（ステップＳ４７）。そして、処理を前述のステップＳ４１へ戻す。［前原稿同様］キー８４を設ける態様によれば、同一項目の語句が誤認識によって揺らいでいる場合、正しく認識されあるいは修正された一つ前の原稿の語句に揃えることが簡単な操作で実現できる。

【0034】

また、確認修正画面８０において［次を確認］キー８２の操作を受付けると（ステップＳ４５のＮｏを経てＳ４９のＹｅｓ）、読取制御部１２Ｒとして制御部１１は、修正入力された欄の項目があればその項目に係る語句を入力されたものに置換してその原稿に係るデータを更新する（ステップＳ５１）。そして、確認／修正すべき次の原稿があるか判定する（ステップＳ６１）。まだ確認／修正されていない原稿があれば（ステップＳ６１のＹｅｓ）、確認修正画面８０の表示を次の原稿とその原稿に紐付いた抽出語句に更新する（ステップＳ６３）。そして、処理を前述のステップＳ４１へ戻し次の原稿について確認及び修正に係る操作を受け付ける。

【0035】

以上のように確認修正画面８０において読取制御部１２Ｒとして制御部１１は、確認修正欄８６、８７および８８、［次を確認］キー８２および［前原稿同様］キー８４の何れかの操作がなされるのを待つ。フローチャートでは、ステップＳ４１のＮｏ、Ｓ４５のＮｏ、Ｓ４９のＮｏを経てＳ４１へ戻るループに対応する。

【0036】

以上のようにして、すべての原稿について確認／修正がなされたら（ステップＳ６１のＮｏ）、読取制御部１２Ｒとして制御部１１は、読み取られた原稿の出力に係る処理を行う。出力先は、選択されたジョブの種類あるいはジョブに係る設定の一つとして決定されるものとする。読取制御部１２Ｒとして制御部１１は、出力先が複合機１０の外部か、あるいは内部かを判定する（ステップＳ６５）。出力先が外部である場合（ステップＳ６５のＹｅｓ）、通信を介して出力先の機器へ読み取られた原稿に係るデータを送信して（ステップＳ６７）、ジョブに係る処理を終了する。一方、出力先が内部である場合は、読み取られた原稿に係るデータを記憶部１６の不揮発性メモリに格納して（ステップＳ６９）、ジョブに係る処理を終了する。以上が、この実施形態において制御部１１が実行する処理の流れである。

【0037】

（実施の形態２）
実施の形態１において、読取制御部１２Ｒとして制御部１１は、確認修正画面８０を操作部１５に表示させソート順に各原稿に係る各項目の語句を表示させると述べた。その際に、読取制御部１２Ｒとして制御部１１は、ソート順で一つ前の原稿に係るソート項目の語句との異同を判断して、異なる部分を同じ部分と異なる表示態様で表示させるようにしてもよい。この態様によれば、一つ前の原稿に係る同一項目の語句と異なる部分があればその部分をユーザに容易に認識させることができる。図９は、図８に示す例の領収書の次に確認修正画面に表示された原稿の一例を示す説明図である。図９の確認修正画面９０の画像表示域９１に示された領収書を、図８の画像表示域８１に示された領収書と比べると、取引先の確認修正欄９６には誤認識された「ABCOE株式会社」が表示されている。つまり、１つ前の原稿の取引先の確認修正欄８６と同じ「ABCDE株式会社」と表示されるべきところ、「Ｄ」の文字が誤って「Ｏ」と認識されている。

【0038】

この実施形態によれば、読取制御部１２Ｒとして制御部１１は一つ前の原稿に係る同一項目の語句との異同を判断するので、「Ｏ」と認識された文字の箇所のみ、グレーの背景で表示させており他の箇所の白地背景とは異なる表示態様である。このように、ソート項目について一つ前の原稿と異なる部分を同一の部分と異なる表示態様とすることで、その差異をユーザに容易に認識させることができる。誤認識がある場合に、それにユーザが気付きやすくなり、ひいてはより確実に修正入力がされるようにできる。修正は、確認修正欄９６に正しい文字が入力されてもよいし、［前原稿同様］キー９４が操作されることにより修正されてもよい。ただし、［前原稿同様］キー９４による修正は各項目が一つ前の原稿と同じ場合に適用されるべきである。
確認修正欄９７の年月日の内容も一つ前の原稿である図８の確認修正欄８７と異なる。しかし、年月日はソート項目でないことから制御部１１は確認修正欄９７については異なる部分があっても表示態様を異ならせていない。確認修正欄９８も図８の確認修正欄８８と異なるが、表示態様を異ならせていない。
以上は、ソート項目についてのみ一つ前の原稿との異同を判断して表示態様を異ならせることについて述べた。しかし、ソート項目以外の項目についても一つ前の原稿に係る語句と異なる部分があれば異なる表示態様で表示させるようにしてもよい。ただし、確認修正画面はソート順に表示されるので、ソート項目以外の項目は、ソート項目に比べると一つ前の原稿と同じ語句である可能性は高くない。

【0039】

（実施の形態３）
実施の形態１において、原稿の種類、その種類に応じた項目は予め用意されており、それらの項目のうち語句を抽出する項目をユーザが選択できるものとしている。しかし、原稿の種類およびそれに応じた項目をユーザが定義し編集できるようにしてもよい。その定義および編集を行うに際して、いくつかのサンプルの原稿を読み込ませて各原稿に共通する記載位置や類似する語句のパターンを記憶あるいは機械学習させるようにしてもよい。定義および編集を行うためにＰＣ等の情報処理装置上で使用するアプリが提供されてもよい。

【0040】

本開示には、上述した複数の態様のうちの何れかを組み合わせたものも含まれると解されるべきである。
前述した実施の形態の他にも、本開示についての種々の変形例があり得る。それらの変形例は、本開示の範囲に属さないと解されるべきものではない。本開示に係る発明には、請求の範囲と均等の意味および本開示の範囲に属するすべての変形が含まれるべきである。

【符号の説明】

【0041】

１０：複合機、 １１：制御部、 １２：画像処理部、 １２Ｃ：文字認識部、 １２Ｐ：印刷制御部、 １２Ｒ：読取制御部、 １２Ｘ：語句抽出部、 １３：原稿読取部、 １３Ｆ：原稿送り装置、 １３Ｐ：原稿台、 １４：印刷部、 １４Ａ，１４Ｂ，１４Ｃ：給紙トレイ、 １４Ｄ，１４Ｅ，１４Ｆ：排出トレイ、 １５：操作部、 １５Ｄ：表示部、 １５Ｓ：操作検出部、 １６：記憶部、 １７：操作制御部、 １８：ファイル制御部、 １９：ジョブ制御部
３０，４０：抽出／ソート項目選択画面、 ３１，４１：設定領域、 ３２，４２：［登録］キー、 ３３，４３：［キャンセル］キー、 ７０：原稿種別選択画面、 ７１：［領収書］キー、 ７２：［名刺］キー、 ７３：［領収書／名刺以外］キー、 ８０，９０：確認修正画面、 ８１，９１：画像表示域、 ８２：［次を確認］キー、 ８４，９４：［前原稿同様］キー、 ８５：項目表示、 ８６，８７，８８，９６，９７，９８：確認修正欄

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】