(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023004108
(43)【公開日】2023-01-17
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06V 30/12 20220101AFI20230110BHJP
【FI】
G06K9/03 J
G06K9/03 B
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021105613
(22)【出願日】2021-06-25
(71)【出願人】
【識別番号】000116079
【氏名又は名称】ローレルバンクマシン株式会社
(71)【出願人】
【識別番号】500267170
【氏名又は名称】ローレル機械株式会社
(71)【出願人】
【識別番号】500265501
【氏名又は名称】ローレル精機株式会社
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】小澤 茂樹
【テーマコード(参考)】
5B064
【Fターム(参考)】
5B064AA01
5B064AB03
5B064BA01
5B064CA08
5B064EA10
5B064FA05
5B064FA07
5B064FA09
5B064FA13
(57)【要約】
【課題】文字認識の結果の確認及び修正を効率的に行うことが可能な情報処理装置を提供する。
【解決手段】端末装置20は、画像に含まれる文字を認識する文字認識処理により文字画像CIから読み取られた複数の文字CRを示す文字情報、及び、文字画像CIを示す画像情報を取得する取得部222と、文字情報により示される複数の文字CRと、画像情報により示される文字画像CIとを、表示装置30に表示させる表示制御部224と、を備え、表示制御部224は、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分を、文字画像CIの他の部分から識別可能な態様で表示装置30に表示させる。
【選択図】
図6
【特許請求の範囲】
【請求項1】
画像に含まれる文字を認識する文字認識処理により文字画像から読み取られた複数の文字を示す文字情報、及び、前記文字画像を示す画像情報を取得する取得部と、
前記文字情報により示される前記複数の文字と、前記画像情報により示される前記文字画像とを、表示装置に表示させる表示制御部と、
を備え、
前記表示制御部は、
前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる、
情報処理装置。
【請求項2】
前記表示制御部は、
前記表示装置に表示される前記複数の文字において、前記選択文字の位置に対応する位置にカーソル画像を表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記複数の文字における前記選択文字の位置を、選択位置として特定する特定部と、
前記文字画像に含まれる、前記複数の文字に対応する複数の文字部分から、前記選択位置に対応する文字部分を、前記選択部分として選択する選択部と、
をさらに備える、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記表示制御部は、
前記表示装置において、前記複数の文字の各々の表示位置と前記複数の文字部分の各々の表示位置とを、互いに対応させる、
請求項3に記載の情報処理装置。
【請求項5】
前記表示制御部は、
前記表示装置において、前記複数の文字を特定方向に配列して表示し、
前記表示装置において、前記複数の文字の各々の前記特定方向における表示位置と前記複数の文字部分の各々の前記特定方向における表示位置とを、互いに一致させる、
請求項4に記載の情報処理装置。
【請求項6】
前記表示制御部は、
前記文字画像の全体を前記表示装置に表示させる、
請求項1乃至5のいずれか1項に記載の情報処理装置。
【請求項7】
前記文字画像は、
前記複数の文字部分のうちの1以上の文字部分を含む第1部分と、前記複数の文字部分のうち、前記第1部分に含まれる文字部分以外の1以上の文字部分を含む第2部分とを含み、
前記複数の文字は、
前記第1部分から読み取られた1以上の文字からなる第1行と、前記第2部分から読み取られた1以上の文字からなる第2行とを含み、
前記表示制御部は、
前記表示装置において、前記第1部分の表示位置と前記第1行の表示位置とを対応させ、前記第2部分の表示位置と前記第2行の表示位置とを対応させる、
請求項3乃至5のいずれか1項に記載の情報処理装置。
【請求項8】
前記表示制御部は、
前記選択文字が前記第1行に属する場合、前記第1部分の全体を前記表示装置に表示させる、
請求項7に記載の情報処理装置。
【請求項9】
前記表示制御部は、
前記表示装置において、前記第1部分の表示サイズに合わせて、前記第1行の表示サイズを変更する、
請求項7に記載の情報処理装置。
【請求項10】
前記表示制御部は、
前記表示装置において、前記第1行の表示サイズに合わせて、前記第1部分の表示サイズを変更する、
請求項7に記載の情報処理装置。
【請求項11】
前記複数の文字部分の各々は、前記文字画像のうち、前記文字認識処理により1文字として区切られた部分である、
請求項3に記載の情報処理装置。
【請求項12】
文字画像を示す画像情報を取得する画像情報取得部と、
前記画像情報により示される前記文字画像に含まれる複数の文字を認識する文字認識部と、
前記画像情報により示される前記文字画像と、前記文字認識部により認識された前記複数の文字とを、表示装置に表示させる表示制御部と、
を備え、
前記表示制御部は、
前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる、
情報処理装置。
【請求項13】
プロセッサを、
画像に含まれる文字を認識する文字認識処理により文字画像から読み取られた複数の文字を示す文字情報、及び、前記文字画像を示す画像情報を取得する取得部と、
前記文字情報により示される前記複数の文字と、前記画像情報により示される前記文字画像とを、表示装置に表示させる表示制御部と、
として機能させ、
前記表示制御部は、
前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる、
プログラム。
【請求項14】
プロセッサを、
文字画像を示す画像情報を取得する画像情報取得部と、
前記画像情報により示される前記文字画像に含まれる複数の文字を認識する文字認識部と、
前記画像情報により示される前記文字画像と、前記文字認識部により認識された前記複数の文字とを、表示装置に表示させる表示制御部と、
として機能させ、
前記表示制御部は、
前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
文字認識装置等の情報処理装置では、一般的に、光学文字認識(OCR:Optical character recognition)技術が採用されている。OCR技術は、帳票等の媒体に記載された文字をカメラ及びイメージスキャナ等の光学的な手段により画像として取込み、取り込んだ画像内の文字をコンピュータ等が利用可能な文字情報(例えば、文字コード)に変換する技術である。特許文献1には、紙に書かれた文章をオペレータが手で計算機に入力する清書作業を、OCR技術を用いて支援する清書支援装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、この種のOCR技術の文字認識精度は100%にはならないため、通常、オペレータによる目視による確認作業と手作業での修正が行われる。このため、文字認識の結果の確認及び修正を効率的に行うことが可能な情報処理装置が求められている。
【課題を解決するための手段】
【0005】
本発明の好適な態様に係る情報処理装置は、画像に含まれる文字を認識する文字認識処理により文字画像から読み取られた複数の文字を示す文字情報、及び、前記文字画像を示す画像情報を取得する取得部と、前記文字情報により示される前記複数の文字と、前記画像情報により示される前記文字画像とを、表示装置に表示させる表示制御部と、を備え、前記表示制御部は、前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる。
【0006】
本発明の好適な他の態様に係る情報処理装置は、文字画像を示す画像情報を取得する画像情報取得部と、前記画像情報により示される前記文字画像に含まれる複数の文字を認識する文字認識部と、前記画像情報により示される前記文字画像と、前記文字認識部により認識された前記複数の文字とを、表示装置に表示させる表示制御部と、を備え、前記表示制御部は、前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる。
【0007】
本発明の好適な態様に係るプログラムは、プロセッサを、画像に含まれる文字を認識する文字認識処理により文字画像から読み取られた複数の文字を示す文字情報、及び、前記文字画像を示す画像情報を取得する取得部と、前記文字情報及び前記画像情報に基づいて、前記複数の文字と、前記文字画像とを、表示装置に表示させる表示制御部と、として機能させ、前記表示制御部は、前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる。
【0008】
本発明の好適な他の態様に係るプログラムは、プロセッサを、文字画像を示す画像情報を取得する画像情報取得部と、前記画像情報により示される前記文字画像に含まれる複数の文字を認識する文字認識部と、前記画像情報により示される前記文字画像と、前記文字認識部により認識された前記複数の文字とを、表示装置に表示させる表示制御部と、として機能させ、前記表示制御部は、前記文字画像のうち、前記複数の文字の中からユーザにより選択された選択文字に対応する選択部分を、前記文字画像の他の部分から識別可能な態様で前記表示装置に表示させる。
【発明の効果】
【0009】
本発明によれば、文字認識の結果の確認及び修正を効率的に行うことが可能な情報処理装置を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】実施形態に係る文字認識システムの概要を説明するための説明図である。
【
図2】入力画像の一例を説明するための説明図である。
【
図3】文字認識処理の結果を確認するための確認画面の概要の一例を説明するための説明図である。
【
図4】
図1に示した文字認識装置の構成の一例を示す機能ブロック図である。
【
図5】
図4に示した文字認識装置のハードウェア構成の一例を示す図である。
【
図6】
図1に示した端末装置の構成の一例を示す機能ブロック図である。
【
図7】
図6に示した端末装置のハードウェア構成の一例を示す図である。
【
図8】
図1に示した端末装置の動作の概要を説明するための説明図である。
【
図9】
図1に示した端末装置の動作の概要を説明するための別の説明図である。
【
図10】
図1に示した文字認識システムの動作の一例を示すシーケンスチャートである。
【
図11】第1変形例に係る確認画面の一例を示す図である。
【
図12】第2変形例に係る確認画面の一例を示す図である。
【
図13】第3変形例に係る確認画面の一例を示す図である。
【
図14】第4変形例に係る確認画面の一例を示す図である。
【
図15】第5変形例に係る確認画面の一例を示す図である。
【
図16】第6変形例に係る確認画面の一例を示す図である。
【
図17】第7変形例に係る文字認識システムの概要を説明するための説明図である。
【
図18】第8変形例に係る文字認識装置の構成の一例を示す機能ブロック図である。
【
図19】
図18に示した文字認識装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【0012】
[1.実施形態]
先ず、
図1を参照しながら、実施形態に係る文字認識システム1の概要の一例について説明する。
【0013】
図1は、実施形態に係る文字認識システム1の概要を説明するための説明図である。
【0014】
図1に示す文字認識システム1は、文字認識装置10と、端末装置20と、端末装置20に対応して設けられた表示装置30とを有する。端末装置20は、「情報処理装置」の一例である。文字認識装置10及び端末装置20は、例えば、ネットワークNWを介して、互いに通信可能に接続されている。ネットワークNWは、インターネット及びローカルエリアネットワークを含み得る。例えば、ネットワークNWは、有線ネットワーク及び無線ネットワークの一方又は両方を含む。また、ネットワークNWと文字認識装置10との接続等は、例えば、複数の要素間を互いに通信可能にする接続であればよく、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。
【0015】
文字認識装置10としては、ネットワークNWに接続可能な任意の情報処理装置を採用することができる。文字認識装置10は、例えば、光学文字認識(OCR:Optical character recognition)技術を用いて、画像に含まれる文字を認識する文字認識処理を実行する。文字認識処理の対象となる入力画像IIMGの一例は、後述する
図2において説明される。また、文字認識装置10の構成は、後述する
図4及び
図5において説明される。
【0016】
端末装置20としては、ネットワークNWに接続可能な任意の情報処理装置を採用することができる。具体的には、端末装置20は、例えば、パーソナルコンピュータ等の据置型の情報機器であってもよいし、ノート型のパーソナルコンピュータ及びタブレット端末等の可搬型の情報端末であってもよい。端末装置20は、例えば、表示装置30と通信可能に接続され、表示装置30に設けられた表示部310に対して画像等を表示させることができる。端末装置20と表示装置30との接続は、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。また、表示装置30は、端末装置20に含まれてもよい。端末装置20は、例えば、文字認識装置10による文字認識処理の結果をユーザ(例えば、オペレータ)が確認するための確認画面CHSを、表示装置30に表示させる。確認画面CHSの一例は、後述する
図3において説明される。端末装置20の構成は、後述する
図6及び
図7において説明される。
【0017】
図2は、入力画像IIMGの一例を説明するための説明図である。本実施形態では、文字認識処理の対象となる入力画像IIMGが申込書の画像である場合を想定するが、入力画像IIMGは申込書の画像に限定されない。例えば、入力画像IIMGは、処方箋又は帳票等の画像でもよい。
【0018】
入力画像IIMGは、例えば、複数の項目に対応する複数の記入欄ECが設けられた申込書の画像である。
図2に示す例では、申込書に記入される複数の項目は、申込番号、氏名(カナ)、氏名、郵便番号、住所、E-mail、勤務先、勤務先電話番号及び備考等である。入力画像IIMGは、例えば、カメラ及びイメージスキャナ等の光学的な手段により、デジタル信号である入力画像情報に変換される。そして、文字認識装置10は、入力画像IIMGを示す入力画像情報を用いて、入力画像IIMGに含まれる文字を認識する。
【0019】
入力画像IIMGのうちの、文字認識装置10による文字認識処理の対象となる文字画像部分(例えば、複数の記入欄ECの各々)は、ユーザにより手動で設定されてもよいし、文字認識装置10により自動的に設定されてもよい。例えば、文字認識装置10は、記入欄ECに手書き文字等が記入されていない申込書(空欄の申込書)の画像情報を基準画像情報として用いて、文字認識処理の対象となる範囲を基準画像情報上で予め特定し、特定した範囲を文字画像部分として設定してもよい。あるいは、入力画像IIMGのうちの文字画像部分は、文字認識装置10により自動的に設定された範囲をユーザが修正することにより、設定されてもよい。これにより、文字認識装置10は、ある入力画像情報が入力されると、記憶部に記憶された帳票辞書データの中から、所定の項目や罫線情報に基づいて入力画像情報の申込書と一致度が高い帳票(本実施形態では申込書)を取得する。そして、文字認識装置10は、取得した当該帳票において予め設定された文字画像部分のXY座標と同じXY座標で規定される入力画像情報のXY座標の範囲を文字画像部分として認識する。
【0020】
本実施形態では、入力画像IIMGのうちの、複数の記入欄ECに対応する複数の部分が、文字認識装置10による文字認識処理の対象となる複数の文字画像部分である場合を想定する。以下では、入力画像IIMGのうちの、文字認識装置10による文字認識処理の対象となる文字画像部分は、文字画像CIとも称される。なお、文字画像CIは、「文字画像」の一例である。本実施形態では、入力画像IIMGの複数の記入欄ECに対応する複数の部分の各々が文字画像CIである場合を想定する。例えば、
図2において破線で囲んだ部分は、備考の記入欄ECに対応する文字画像CIを示す。
【0021】
次に、
図3を参照しながら、文字認識処理の結果を確認するための確認画面CHSについて説明する。
【0022】
図3は、文字認識処理の結果を確認するための確認画面CHSの概要の一例を説明するための説明図である。
図3は、入力画像IIMGに含まれる複数の文字画像CIのうち、備考の記入欄ECに対応する文字画像CIから読み取られた複数の文字CRを確認するための確認画面CHSの一例を示す。なお、複数の文字CRは、「文字画像から読み取られた複数の文字」の一例である。
【0023】
確認画面CHSは、例えば、表示装置30の表示部310に表示される。例えば、確認画面CHSには、確認対象の項目を示す“備考”の文字列、文字画像領域IW、編集領域EDW、及び、終了ボタンBT等が表示される。終了ボタンBTは、例えば、確認画面CHSの表示を終了させるためのGUI(Graphical User Interface)用の画像である。
【0024】
文字画像領域IWには、文字画像CIが表示される。
図3に示す例では、文字画像CIの一部は、文字画像領域IWに表示されていない。このため、文字画像領域IWにおいて文字画像CIを水平方向(図の横方向)に移動させる水平スクロールバーHSと、文字画像領域IWにおいて文字画像CIを垂直方向(図の縦方向)に移動させる垂直スクロールバーVSiとが確認画面CHSに表示される。なお、文字認識装置10又は端末装置20は、文字画像CIの全体が文字画像領域IWに入るように、文字画像CIを縮小表示さてもよい。
【0025】
ここで、文字画像CIは、例えば、複数の文字部分CP(CP1、CP2及びCP3等)に区分される。例えば、複数の文字部分CPの各々は、文字画像CIのうち、文字認識処理により1文字として区切られた部分である。
図3では、文字認識処理により、文字画像CIに含まれる複数の文字の各々が1文字として正しく区切られている場合が例示されている。
【0026】
なお、
図3では、複数の文字部分CPを区別するために、文字部分CPの符号の末尾に、数字(“1”、“2”及び“3”等)が付されている。
図3に示す例では、複数の文字部分CPのうち、文字画像CIにおいて最も左側に位置する文字部分CPを先頭とした場合に、先頭から数えて何番目の文字部分CPかを示す数字が、文字部分CPの符号の末尾に付されている。また、
図3では、説明を分かり易くするために、文字画像領域IWにおいて文字部分CPを点線で示しているが、文字部分CPを示す点線は、文字画像領域IWに表示されてもよいし、表示されなくてもよい。なお、文字部分CPは、「文字部分」の一例である。
【0027】
また、文字画像領域IWには、文字画像CIに含まれる複数の文字部分CPのうち、後述するカーソルCSにより示される入力位置に対応する文字部分CPを示すマークMKが表示される。
【0028】
編集領域EDWには、文字画像CIから読み取られた複数の文字CRが表示される。
図3に示す例では、複数の文字CRの一部(
図2に示した“090-0987-XXXX”の文字列)は、編集領域EDWに表示されていない。このため、編集領域EDWにおいて複数の文字CRを垂直方向(図の縦方向)に移動させる垂直スクロールバーVSeが確認画面CHSに表示される。なお、文字認識装置10又は端末装置20は、文字画像CIから読み取られた複数の文字CR全体が、編集領域EDWに入るように、文字CRを縮小表示させてもよい。
【0029】
また、編集領域EDWには、文字の入力位置を示すカーソルCSが表示される。カーソルCSは、「カーソル画像」の一例である。編集領域EDWにおけるカーソルCSの表示位置は、例えば、ユーザ操作により移動する。
【0030】
例えば、
図3において上側に示した確認画面CHSでは、カーソルCSは、複数の文字CR(“携帯電話の番号を、下記に示します。”)のうちの、“ま”の文字CRの位置に表示されている。このため、文字画像領域IWに表示された文字画像CIのうちの、“ま”の文字CRに対応する文字部分CP15に、マークMKが表示される。
【0031】
また、例えば、
図3において下側に示した確認画面CHSでは、カーソルCSの表示位置は、ユーザ操作により、複数の文字CRのうちの“ま”の文字CRの位置から、“す”の文字CRの位置に移動する。このため、文字画像CIのうちの、“す”の文字CRに対応する文字部分CP16が文字画像領域IWに表示されるように、文字画像領域IWにおける文字画像CIの表示位置が自動的に移動する。そして、文字画像領域IWに表示された文字画像CIのうちの、“す”の文字CRに対応する文字部分CP16に、マークMKが表示される。なお、ユーザは、水平スクロールバーHSを操作することにより、文字画像領域IWにおける文字画像CIの表示位置を移動させてもよい。
【0032】
このように、本実施形態では、文字画像CIのうち、複数の文字CRの中からカーソルCSにより選択された文字CRに対応する文字部分CPは、文字画像CIの他の部分から識別可能に表示される。例えば、ユーザは、マークMKにより、文字画像CIのうち、複数の文字CRの中からカーソルCSにより選択された文字CRに対応する文字部分CPを、文字画像CIの他の部分から容易に識別できる。これにより、ユーザは、文字認識処理の結果の確認及び修正を効率的に行うことができる。
【0033】
例えば、マークMKが表示されない従来の形態(以下、第1対比例とも称する)では、カーソルCSにより選択された文字CRと、カーソルCSにより選択された文字CRに対応する文字部分CPとの位置関係が分かり難い。このため、第1対比例では、カーソルCSにより選択された文字CRに対応する文字部分CPをユーザが視認するのに手間取り、文字認識処理の結果に対する確認及び修正の作業効率が低下する。特に、文字画像CIに含まれる文字の数が多い場合、文字画像CIに含まれる文字の数が少ない場合に比べて、カーソルCSにより選択された文字CRに対応する文字部分CPをユーザが視認するのに手間取る。このため、第1対比例では、カーソルCSにより選択された文字CRと、カーソルCSにより選択された文字CRに対応する文字部分CPとは異なる文字部分CPとをユーザが誤って比較するおそれがある。この結果、第1対比例では、文字認識処理の結果に対する確認及び修正の作業効率が低下する。
【0034】
これに対し、本実施形態では、カーソルCSにより選択された文字CRに対応する文字部分CPにマークMKが表示されるため、カーソルCSにより選択された文字CRに対応する文字部分CPをユーザが容易に視認することができる。この結果、ユーザは、カーソルCSにより選択された文字CRと、マークMKにより示された文字部分CPの文字とを比較することにより、文字認識処理の結果を容易に確認できる。例えば、ユーザは、カーソルCSにより選択された文字CRの認識結果が誤っている場合、カーソルCSにより選択された文字CRを、正しい文字に容易に修正できる。このように、本実施形態では、第1対比例に比べて、文字認識処理の結果に対する確認及び修正の作業効率を向上することができる。
【0035】
次に、
図4から
図7を参照しながら、文字認識装置10及び端末装置20の機能について説明する。
【0036】
図4は、
図1に示した文字認識装置10の構成の一例を示す機能ブロック図である。
【0037】
文字認識装置10は、文字認識装置10の各部を制御する制御部120と、制御プログラムPG1等の各種情報を記憶する記憶部140と、端末装置20等の外部装置との間の通信を実行するための通信部160とを有する。本実施形態では、制御プログラムPG1は、例えば、文字認識装置10が文字認識処理を実行するためのアプリケーションプログラムを含む。但し、制御プログラムPG1は、例えば、制御部120が文字認識装置10の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。
【0038】
制御部120は、例えば、画像情報取得部122及び文字認識部124を有する。画像情報取得部122は、例えば、文字認識処理の対象となる入力画像IIMGを示す入力画像情報を、通信部160を介して端末装置20から取得する。
【0039】
文字認識部124は、画像情報取得部122が取得した入力画像情報を用いて文字認識処理を実行することにより、入力画像情報により示される入力画像IIMGに含まれる文字を認識する。例えば、文字認識部124は、入力画像IIMGのうちの予め決められた文字画像CIに含まれる文字を認識する。
【0040】
また、文字認識部124は、複数の文字画像CIの各々から読み取った複数の文字CRを示す文字情報と、複数の文字画像CIの各々を示す文字画像情報とを、通信部160を介して端末装置20に送信する。なお、文字画像CIから読み取られた文字CRは、文字画像CIに含まれる文字として、文字認識処理により認識された文字である。また、文字画像情報は、例えば、文字画像CIのうち、文字認識処理により1文字として区切られた文字部分CPを示す文字部分情報を含む。文字部分情報は、文字画像CIにおける文字部分CPの範囲を、文字画像CI内の所定の位置を原点とする座標を用いて示してもよい。文字画像情報は、「画像情報」の一例である。
【0041】
なお、文字認識部124は、文字を含む画像と、画像に含まれる文字との関係を学習した学習モデルを用いて、文字画像CIに含まれる文字を認識してもよい。学習モデルは、例えば、多層ニューラルネットワークである。すなわち、文字認識部124は、この学習モデルを用いることで、AI(Artificial Intelligence)-OCRによる文字認識処理を実行してもよい。
【0042】
次に、
図5を参照しながら、文字認識装置10のハードウェア構成について説明する。
【0043】
図5は、
図4に示した文字認識装置10のハードウェア構成の一例を示す図である。
【0044】
文字認識装置10は、文字認識装置10の各部を制御するプロセッサ12と、各種情報を記憶するメモリ14と、通信装置16とを有する。
【0045】
メモリ14は、例えば、プロセッサ12の作業領域として機能するRAM(Random Access Memory)等の揮発性メモリと、制御プログラムPG1等の各種情報を記憶するEEPROM(Electrically Erasable Programmable Read-Only Memory)等の不揮発性メモリとの、一方又は両方を含み、記憶部140として機能する。なお、メモリ14は、文字認識装置10に着脱可能であってもよい。具体的には、メモリ14は、文字認識装置10に着脱されるメモリカード等の記憶媒体であってもよい。また、メモリ14は、例えば、文字認識装置10とネットワークNW等を介して通信可能に接続された記憶装置(例えば、オンラインストレージ)であってもよい。
【0046】
プロセッサ12は、例えば、1又は複数のCPU(Central Processing Unit)を含んで構成される。プロセッサ12は、例えば、メモリ14に記憶された制御プログラムPG1を実行し、制御プログラムPG1に従って動作することで、制御部120として機能する。例えば、制御プログラムPG1に含まれるアプリケーションプログラム(文字認識に係るプログラム)に従って動作するプロセッサ12は、画像情報取得部122及び文字認識部124を含む制御部120として機能する。なお、制御プログラムPG1は、ネットワークNWを介して他の装置から送信されてもよい。
【0047】
また、例えば、プロセッサ12が複数のCPUを含んで構成される場合、制御部120の一部又は全部の機能は、これら複数のCPUが制御プログラムPG1等のプログラムに従って協働して動作することで実現されてもよい。また、プロセッサ12は、1又は複数のCPUに加え、又は、1又は複数のCPUのうち一部又は全部に代えて、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、又は、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ12により実現される制御部120の一部又は全部は、DSP等のハードウェアにより実現されてもよい。
【0048】
通信装置16は、有線ネットワーク及び無線ネットワークの一方又は両方を介して、文字認識装置10の外部に存在する外部装置との通信を行うためのハードウェアであり、通信部160として機能する。
【0049】
なお、文字認識装置10の構成は、
図4及び
図5に示した例に限定されない。例えば、文字認識装置10は、文字認識装置10の管理者等による操作を受け付けるための操作部として機能する操作装置(後述する
図7に示す端末装置20の操作装置28と同様な操作装置)を有してもよい。
【0050】
次に、
図6及び
図7を参照しながら、端末装置20の構成について説明する。
【0051】
図6は、
図1に示した端末装置20の構成の一例を示す機能ブロック図である。
【0052】
端末装置20は、端末装置20の各部を制御する制御部220と、各種情報を記憶する記憶部240と、文字認識装置10等の外部装置との間の通信を実行するための通信部260と、端末装置20のユーザによる操作を受け付けるための操作部280とを有する。記憶部240は、例えば、制御プログラムPG2を記憶している。本実施形態では、制御プログラムPG2は、例えば、文字認識処理の結果の修正等を支援する修正支援処理を端末装置20が実行するためのアプリケーションプログラムを含む。但し、制御プログラムPG2は、例えば、制御部120が端末装置20の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。なお、制御プログラムPG2は、「プログラム」の一例である。
【0053】
制御部220は、例えば、取得部222、表示制御部224、特定部226及び選択部228を有する。
【0054】
取得部222は、文字認識処理により文字画像CIから読み取られた複数の文字CRを示す文字情報、及び、文字画像CIを示す文字画像情報を、通信部260を介して文字認識装置10から取得する。また、取得部222は、入力画像IIMGを示す入力画像情報を、カメラ及びイメージスキャナ等の光学的な装置から通信部260を介して取得してもよい。そして、取得部222は、入力画像IIMGを示す入力画像情報を、通信部260を介して文字認識装置10に送信してもよい。なお、入力画像情報を取得する機能及び入力画像情報を送信する機能の一方又は両方は、取得部222とは別の機能ブロックにより実現されてもよい。
【0055】
表示制御部224は、例えば、文字情報及び文字画像情報に基づいて、確認画面CHSを表示装置30に表示させる。すなわち、表示制御部224は、文字情報及び文字画像情報に基づいて、文字画像CIと、文字画像CIに含まれる複数の文字として文字認識処理により認識された複数の文字CRとを、表示装置30に表示させる。
【0056】
特定部226は、複数の文字CRの中からユーザにより選択された選択文字の位置を、選択位置として特定する。例えば、M行N列に配置された複数の文字CRが文字画像ICから読み取られた場合で、かつ、カーソルCSにより示される入力位置がm行目のn列目を示す場合、特定部226は、m行目のn列目を、選択位置として特定する。なお、M及びNは、1以上の自然数である。また、mは、1≦m≦Mを満たす自然数であり、nは、1≦m≦Mを満たす自然数である。このように、特定部226は、カーソルCSにより示される入力位置に基づいて、複数の文字CRにおける選択文字の位置を選択位置として特定する。そして、表示制御部224は、表示装置30(より詳細には、表示部310)に表示される複数の文字CRにおいて、選択文字の位置に対応する位置にカーソルCSを表示させる。すなわち、表示制御部224は、文字認識処理により認識された複数の文字CRにおいて、カーソルCSの位置を移動させるユーザ操作に応じた位置にカーソルCSを移動させる。
【0057】
選択部228は、文字画像CIに含まれる複数の文字部分CPから、特定部226により特定された選択位置に対応する文字部分CPを、選択部分として選択する。文字画像CIのうち、選択部228により選択された文字部分CPは、文字画像CIの他の部分から識別可能な態様で表示装置30の表示部310に表示される。例えば、
図3において説明されたように、確認画面CHSにおいて、文字画像CIのうち、選択部228により選択された文字部分CPにマークMKが表示される。
【0058】
このように、表示制御部224は、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分(文字部分CP)を、文字画像CIの他の部分から識別可能な態様で表示装置30に表示させる。なお、文字画像CIのうちの選択部分を文字画像CIの他の部分から識別可能に表示する態様は、マークMKを用いる表示に限定されない。例えば、表示制御部224は、文字画像CIのうちの選択部分(文字部分CP)を文字画像CIの他の部分より強調して表示装置30に表示させてもよい。具体的には、表示制御部224は、文字画像CIのうちの選択部分を他の部分と異なる明るさで表示装置30に表示させてもよいし、文字画像CIのうちの選択部分を他の部分と異なる色で表示装置30に表示させてもよい。
【0059】
次に、
図7を参照しながら、端末装置20のハードウェア構成について説明する。
【0060】
図7は、
図6に示した端末装置20のハードウェア構成の一例を示す図である。
【0061】
端末装置20は、端末装置20の各部を制御するプロセッサ22と、各種情報を記憶するメモリ24と、通信装置26と、操作装置28とを有する。
【0062】
メモリ24は、例えば、プロセッサ22の作業領域として機能するRAM等の揮発性メモリと、制御プログラムPG2等の各種情報を記憶するEEPROM等の不揮発性メモリとの、一方又は両方を含み、記憶部240として機能する。なお、メモリ24は、
図5において説明された文字認識装置10のメモリ14と同様に、端末装置20に着脱可能であってもよいし、端末装置20とネットワークNW等を介して通信可能に接続された記憶装置(例えば、オンラインストレージ)であってもよい。
【0063】
プロセッサ22は、
図5において説明された文字認識装置10のプロセッサ12と同様に構成される。例えば、プロセッサ22は、例えば、1又は複数のCPUを含んで構成される。そして、プロセッサ22は、メモリ24に記憶された制御プログラムPG2を実行し、制御プログラムPG2に従って動作することで、制御部220として機能する。例えば、制御プログラムPG2に含まれるアプリケーションプログラム(文字認識処理の結果の修正支援に係るプログラム)に従って動作するプロセッサ22は、取得部222、表示制御部224、特定部226及び選択部228を含む制御部220として機能する。なお、制御プログラムPG2は、ネットワークNWを介して他の装置から送信されてもよい。
【0064】
また、例えば、プロセッサ22が複数のCPUを含んで構成される場合、制御部220の一部又は全部の機能は、これら複数のCPUが制御プログラムPG2等のプログラムに従って協働して動作することで実現されてもよい。また、プロセッサ22は、1又は複数のCPUに加え、又は、1又は複数のCPUのうち一部又は全部に代えて、GPU、DSP、又は、FPGA等のハードウェアを含んで構成されるものであってもよい。この場合、プロセッサ22により実現される制御部220の一部又は全部は、DSP等のハードウェアにより実現されてもよい。
【0065】
通信装置26は、有線ネットワーク及び無線ネットワークの一方又は両方を介して、端末装置20の外部に存在する外部装置との通信を行うためのハードウェアであり、通信部260として機能する。
【0066】
操作装置28は、端末装置20のユーザによる操作を受け付けるためのハードウェアであり、操作部280として機能する。例えば、操作装置28は、操作ボタン、タッチパネル、キーボード、及び、マウス等の一部又は全部を含む、1又は複数の機器から構成されるものであってもよい。
【0067】
なお、端末装置20の構成は、
図6及び
図7に示した例に限定されない。例えば、端末装置20は、
図1に示した表示装置30を有してもよい。この場合、端末装置20は、確認画面CHS等の各種画像を表示可能な表示部310を有する。また、端末装置20は、入力画像IIMGをデジタル信号である入力画像情報に変換するためのカメラ及びイメージスキャナ等の光学的な装置を有してもよい。
【0068】
また、例えば、表示制御部224が、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分を特定してもよい。すなわち、表示制御部224は、特定部226及び選択部228の機能を有してもよい。この場合、特定部226及び選択部228は、省かれてもよい。
【0069】
次に、
図8を参照しながら、端末装置20の動作の概要について説明する。
【0070】
図8は、
図1に示した端末装置20の動作の概要を説明するための説明図である。
図8及び後述する
図9では、文字認識処理による文字の区切りに誤りがある場合を例にして、端末装置20の動作の概要を説明する。なお、文字認識処理による文字の区切りに誤りがない場合の例は、上述の
図3に示されている。
図8では、文字画像CIに含まれる複数の文字のうち、“し”及び“ま”の2文字を文字認識装置10が“ほ”の1文字として認識した場合を想定している。このため、文字画像CIのうち、“し”及び“ま”の2文字の画像部分が、1つの文字部分CP14に設定されている。
【0071】
また、
図8では、確認画面CHSに表示される内容のユーザ操作による変化の説明が煩雑になることを避けるために、
図8に示す複数の確認画面CHSの符号の末尾には、数字(“1”、“2”及び“3”)が付されている。また、複数の文字部分CPの符号の末尾に付された数字の意味は、
図3に示した複数の文字部分CPの符号の末尾に付された数字の意味と同じである。例えば、複数の文字部分CPのうち、先頭から数えて3番目の文字部分CPの符号の末尾には、数字の“3”が付されている。
【0072】
確認画面CHS1では、例えば、カーソルCSは、複数の文字CR(“携帯電話の番号を、下記に示ほす。”)のうちの、“ほ”の文字CRの位置に表示されている。このため、文字画像領域IWに表示された文字画像CIのうちの、“ほ”の文字CRの位置に対応する文字部分CP14に、マークMKが表示される。そして、ユーザは、カーソルCSにより選択された“ほ”の文字を削除する操作を実行する。
【0073】
これにより、例えば、確認画面CHS2では、編集領域EDWにおいて“ほ”の文字CRの右隣の“す”の文字CRの表示位置が、“ほ”の文字CRの削除に応じて、1文字分だけ左側に移動する。すなわち、複数の文字CRにおいて、“す”の文字CRは、“ほ”の文字CRが削除される前に位置していた位置に移動する。このため、“す”の文字CRがカーソルCSにより選択される。そして、例えば、選択部228は、カーソルCSにより示される入力位置に対応する文字部分CPとして、複数の文字部分CPのうち、“ほ”の文字CRの位置に対応する14番目の文字部分CP14の右隣の文字部分CP15を選択する。このため、文字画像領域IWに表示された文字画像CIのうちの、“す”の文字CRの位置に対応する文字部分CP15に、マークMKが表示される。そして、ユーザは、カーソルCSにより示される入力位置に、“し”及び“ま”の文字を入力する操作を実行する。以下では、ユーザにより修正された文字等も文字CRと称する場合がある。
【0074】
これにより、例えば、確認画面CHS3では、複数の文字CRにおける“示”の文字CRと“す”の文字CRとの間に、“しま”の文字が入力される。また、確認画面CHS3では、カーソルCSは、複数の文字CRのうち、“し”の文字CRの位置に表示されている。複数の文字CRのうち、“し”の文字CR及び“ま”の文字CRの位置は、削除される前の“ほ”の文字CRの位置である。このため、例えば、選択部228は、カーソルCSにより示される入力位置に対応する文字部分CPとして、複数の文字部分CPのうち、削除される前の“ほ”の文字CRの位置に対応する14番目の文字部分CP14を選択する。従って、文字画像領域IWに表示された文字画像CIのうちの、“す”の文字CRの位置に対応する文字部分CP15に、マークMKが表示される。
【0075】
なお、文字画像CIに含まれる複数の文字のうちの2文字が1文字として文字認識装置10により認識された場合の端末装置20の動作は、
図8に示した例に限定されない。例えば、確認画面CHS1、CHS2及びCHS3において、カーソルCSにより示される入力位置が複数の文字CRのうちの14文字目の文字CRから変化していないため、文字画像CIにおけるマークMKの表示位置は、文字部分CP14に維持されてもよい。
【0076】
ここで、例えば、確認画面CHS2では、“ほ”の文字CRが削除されたため、複数の文字CRにおける“す”の文字CRの位置は、編集領域EDWにおいて左から数えて14文字目であり、右から数えて2文字目である。このため、選択部228は、カーソルCSにより示される入力位置に対応する文字部分CPとして、複数の文字部分CPのうち、先頭から14番目の文字部分CP14を選択してもよいし、最後から2番目の文字部分CP15を選択してもよい。
図8に示した例では、カーソルCSにより示される入力位置に対応する文字部分CPとして文字部分CP15が選択された場合を想定したが、選択部228は、カーソルCSにより示される入力位置に対応する文字部分CPとして文字部分CP14を選択してもよい。この場合、確認画面CHS2において、文字画像領域IWに表示された文字画像CIのうちの文字部分CP14に、マークMKが表示される。このように、確認画面CHS1、CHS2及びCHS3において、文字画像CIにおけるマークMKの表示位置は、文字部分CP14に維持されてもよい。
【0077】
図9は、
図1に示した端末装置20の動作の概要を説明するための別の説明図である。
図9では、文字画像CIに含まれる複数の文字のうち、“記”の1文字を文字認識装置10が“言”及び“己”の2文字として認識した場合を想定している。このため、文字画像CIのうち、“記”の1文字の画像部分が、2つの文字部分CP11及びCP12に設定されている。より具体的には、“記”の1文字の画像部分内の左半分程(“記”の偏の部分)が文字部分CP11に設定され、“記”の1文字の画像部分内の右半分程(“記”の旁の部分)が文字部分CP12に設定されている。
【0078】
また、
図9においても、
図8と同様に、
図9に示す複数の確認画面CHSの符号の末尾には、数字(“1”、“2”及び“3”)が付されている。また、複数の文字部分CPの符号の末尾に付された数字の意味は、
図3及び
図8に示した複数の文字部分CPの符号の末尾に付された数字の意味と同じである。
【0079】
確認画面CHS1では、例えば、カーソルCSは、複数の文字CR(“携帯電話の番号を、下言己に示します。”)のうちの、“言”の文字CRの位置に表示されている。このため、文字画像領域IWに表示された文字画像CIのうちの、“言”の文字CRの位置に対応する文字部分CP11に、マークMKが表示される。そして、ユーザは、カーソルCSにより選択された“言”の文字を削除する操作を実行する。
【0080】
これにより、例えば、確認画面CHS2では、編集領域EDWにおいて“言”の文字CRの右隣の“己”の文字CRの表示位置が、“言”の文字CRの削除に応じて、1文字分だけ左側に移動する。すなわち、複数の文字CRにおいて、“己”の文字CRは、“言”の文字CRが削除される前に位置していた位置に移動する。このため、“己”の文字CRがカーソルCSにより選択される。そして、例えば、選択部228は、カーソルCSにより示される入力位置に対応する文字部分CPとして、複数の文字部分CPのうち、“言”の文字CRの位置に対応する11番目の文字部分CP11の右隣の文字部分CP12を選択する。このため、文字画像領域IWに表示された文字画像CIのうちの、“己”の文字CRの位置に対応する文字部分CP12に、マークMKが表示される。そして、ユーザは、カーソルCSにより選択された“己”の文字CRを“記”の文字CRに修正する操作を実行する。
【0081】
これにより、例えば、確認画面CHS3では、複数の文字CRにおける“下”の文字CRと“に”の文字CRとの間に、“記”の文字が入力される。また、確認画面CHS3では、カーソルCSは、複数の文字CRのうち、“記”の文字CRの右隣の“に”の文字CRの位置に表示される。このため、文字画像領域IWに表示された文字画像CIのうちの、“に”の文字CRの位置に対応する文字部分CP13に、マークMKが表示される。
【0082】
なお、文字画像CIに含まれる複数の文字のうちの1文字が2文字として文字認識装置10により認識された場合の端末装置20の動作は、
図9に示した例に限定されない。例えば、確認画面CHS1及びCHS2において、カーソルCSにより示される入力位置が複数の文字CRのうちの11文字目の文字CRから変化していない。このため、確認画面CHS1及びCHS2において、文字画像CIにおけるマークMKの表示位置は、文字部分CP11に維持されてもよい。
【0083】
また、例えば、マークMKの表示位置は、単に、マークMKにより示される文字部分CPの複数の文字部分CPに対する相対位置が、カーソルCSにより示される入力位置の複数の文字CRに対する相対位置と一致又はほぼ一致するように、決められてもよい。具体的には、複数の文字CRの数をNcrとし、カーソルCSにより示される入力位置をPcsとし、複数の文字部分CPの数をNcpとし、マークMKの表示位置をPmkとした場合、下記の式(1)に基づいて、マークMKの表示位置が決定されてもよい。
Pmk/Ncp=Pcs/Ncr ・・・(1)
【0084】
式(1)の“Pmk/Ncp”は、マークMKにより示される文字部分CPの複数の文字部分CPにおける位置関係を示し、“Pcs/Ncr”は、カーソルCSにより示される入力位置の複数の文字CRにおける位置関係を示す。式(1)は、下記の式(2)に変形される。なお、式(2)の“*”は、乗算を示す。
Pmk=(Pcs/Ncr)*Ncp ・・・(2)
【0085】
例えば、選択部228は、式(2)により算出されるPmkの小数点以下を、四捨五入、切り捨て、又は、切り上げた値を、マークMKの表示位置として決定してもよい。具体的には、
図9の確認画面CHS3では、複数の文字CRの数(Ncr)は、17文字であり、カーソルCSにより示される入力位置(Pcs)は、12文字目であり、複数の文字部分CPの数(Ncp)は、18個である。この場合、式(2)により算出されるPmkは、約12.7である。12.7の小数点以下を四捨五入した値、及び、12.7の小数点以下を切り上げた値は、13である。また、12.7の小数点以下を切り捨てた値は、12である。
【0086】
従って、選択部228は、Pmkの小数点以下を四捨五入した値をマークMKの表示位置として決定する場合、又は、Pmkの小数点以下を切り上げた値をマークMKの表示位置として決定する場合、文字部分CP13をマークMKの表示位置として決定する。また、選択部228は、Pmkの小数点以下を切り捨てた値をマークMKの表示位置として決定する場合、文字部分CP12をマークMKの表示位置として決定する。
【0087】
なお、
図3及び
図8に示した例においても、選択部228は、式(2)により算出されるPmkの小数点以下を、四捨五入、切り捨て、又は、切り上げた値を、マークMKの表示位置として決定してもよい。すなわち、選択部228は、文字認識処理による文字の区切りに誤りがあるか否かに拘わらず、式(2)により算出されるPmkの小数点以下を、四捨五入、切り捨て、又は、切り上げた値を、マークMKの表示位置として決定してもよい。
【0088】
次に、
図10を参照しながら、文字認識システム1の動作の概要について説明する。
【0089】
図10は、
図1に示した文字認識システム1の動作の一例を示すシーケンスチャートである。ステップS10及びS12の処理と、ステップS100からステップS600までの処理とは、端末装置20により実行される。また、ステップS20からステップS24までの処理は、文字認識装置10により実行される。
図1から
図9において説明された処理と同様の処理については、詳細な説明は省略される。なお、
図10では、説明を分かり易くするために、入力画像IIMGのうちの予め決められた文字画像部分である文字画像CIが1つの場合を例にして、文字認識システム1の動作を説明する。
【0090】
先ず、ステップS10において、端末装置20は、入力画像IIMGを示す入力画像情報を、カメラ及びイメージスキャナ等の光学的な装置から取得する。
【0091】
次に、ステップS12において、端末装置20は、ステップS10において取得した入力画像情報を、ネットワークNWを介して、文字認識装置10に送信する。そして、端末装置20は、入力画像IIMGに対する文字認識処理の結果が文字認識装置10から送信されるまで、ステップS100以降の処理を待機する。従って、ステップS100の処理を説明する前に、文字認識装置10により実行されるステップS20等の処理を説明する。
【0092】
例えば、ステップS20において、文字認識装置10は、ステップS12において端末装置20から送信された入力画像情報を取得する。そして、ステップS22において、文字認識装置10は、ステップS10において取得した入力画像情報を用いて文字認識処理を実行する。これにより、例えば、文字認識部124は、入力画像情報により示される入力画像IIMGのうちの予め決められた文字画像部分である文字画像CIに含まれる複数の文字を認識する。次に、ステップS24において、文字認識装置10は、文字画像CIから読み取った複数の文字CRを示す文字情報と、文字画像CIを示す文字画像情報とを、ネットワークNWを介して、端末装置20に送信する。これにより、文字認識装置10による文字認識処理は終了する。また、入力画像IIMGに対する文字認識処理の結果が文字認識装置10から送信されたため、端末装置20は、ステップS100の処理を実行する。
【0093】
例えば、ステップS100において、端末装置20は、ステップS24において文字認識装置10から送信された文字情報及び文字画像情報を取得する。
【0094】
次に、ステップS200において、端末装置20は、ステップS100において取得した文字情報及び文字画像情報に基づいて、確認画面CHSを表示装置30に表示させる。すなわち、端末装置20(より詳細には、表示制御部224)は、文字情報及び文字画像情報に基づいて、文字画像CIと、文字画像CIから読み取られた複数の文字CRとを、表示装置30に表示させる。また、表示制御部224は、カーソルCSを表示装置30に表示させる。
【0095】
次に、ステップS300において、端末装置20は、ユーザ操作が行われたか否かを判定する。ステップS300における判定の結果が否定の場合、端末装置20は、処理をステップS300に戻す。一方、ステップS300における判定の結果が肯定の場合、端末装置20は、処理をステップS400に進める。
【0096】
ステップS400において、端末装置20は、ユーザ操作が終了操作であるか否かを判定する。終了操作は、例えば、終了ボタンBTを選択するユーザ操作である。ステップS400における判定の結果が肯定の場合、端末装置20は、確認画面CHSの表示を終了させて、文字認識処理の結果に対する確認及び修正に関する処理を終了する。一方、ステップS400における判定の結果が否定の場合、端末装置20は、処理をステップS500に進める。
【0097】
ステップS500において、端末装置20は、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分(文字部分CP)を特定する。具体的には、特定部226は、カーソルCSにより示される入力位置を、複数の文字CRの中からユーザにより選択された選択文字の位置である選択位置として特定する。そして、選択部228は、文字画像CIに含まれる複数の文字部分CPから、特定部226により特定された選択位置に対応する文字部分CPを、選択部分として選択する。
【0098】
次に、ステップS600において、端末装置20は、表示装置30の表示部310に表示されている確認画面CHSの表示を更新する。例えば、表示制御部224は、確認画面CHSに表示されている文字画像CIのうち、ステップS500において特定された文字部分CPにマークMKを表示する。このように、表示制御部224は、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分(文字部分CP)を、文字画像CIの他の部分から識別可能な態様で表示装置30に表示させる。また、表示制御部224は、確認画面CHSに表示されている複数の文字CRにおいて、特定部226により特定された選択位置に対応する位置にカーソルCSの表示位置を移動する。端末装置20は、ステップS600の処理を実行した後、処理をステップS300に戻す。
【0099】
なお、文字認識システム1の動作は、
図10に示した例に限定されない。例えば、ステップS200において、表示制御部224は、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分(文字部分CP)を、文字画像CIの他の部分から識別可能な態様で表示装置30に表示させてもよい。
【0100】
また、例えば、入力画像IIMGに複数の文字画像CIが含まれる場合、複数の文字画像CIの各々について、ステップS200からステップS600までの一連の処理が実行される。
【0101】
以上、本実施形態では、端末装置20は、取得部222及び表示制御部224を有する。取得部222は、画像に含まれる文字を認識する文字認識処理により文字画像CIから読み取られた複数の文字CRを示す文字情報、及び、文字画像CIを示す画像情報を取得する。表示制御部224は、文字情報により示される複数の文字CRと、画像情報により示される文字画像CIとを、表示装置30に表示させる。また、表示制御部224は、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分を、文字画像CIの他の部分から識別可能な態様で表示装置30に表示させる。
【0102】
このように、本実施形態では、文字画像CIのうち、複数の文字CRの中からユーザにより選択された選択文字に対応する選択部分が、文字画像CIの他の部分から識別可能な態様で表示される。例えば、文字画像CIのうちの選択部分にマークMKが表示される。これにより、本実施形態では、ユーザが選択した文字CRに対応する選択部分(文字部分CP)をユーザが容易に視認することができる。この結果、ユーザは、確認対象又は修正対象として選択した文字CRと、選択した文字CRに対応する文字部分CPの文字とを容易に比較できる。すなわち、ユーザは、文字認識処理の結果を容易に確認又は修正できる。従って、本実施形態では、文字認識処理の結果に対する確認及び修正の作業効率を向上することができる。すなわち、本実施形態では、文字認識の結果の確認及び修正を効率的に行うことが可能な端末装置20を提供することができる。
【0103】
また、本実施形態では、表示制御部224は、表示装置30に表示される複数の文字CRにおいて、選択文字の位置に対応する位置にカーソルCSを表示させる。これにより、本実施形態では、例えば、ユーザがカーソルCSを視認することにより、確認対象又は修正対象の文字CRをユーザが容易に視認することができる。
【0104】
また、本実施形態では、端末装置20は、特定部226及び選択部228をさらに有する。特定部226は、複数の文字CRにおける選択文字の位置を、選択位置として特定する。また、選択部228は、文字画像CIに含まれる、複数の文字CRに対応する複数の文字部分CPから、選択位置に対応する文字部分CPを、選択部分として選択する。このように、本実施形態では、複数の文字CRにおける選択文字の位置に基づいて、複数の文字部分CPから選択部分が選択される。すなわち、本実施形態では、端末装置20は、複数の文字CRの中からユーザにより選択された選択文字が何の文字なのかを特定することなく、選択文字の位置に基づいて、選択文字に対応する文字部分CPを特定できる。このため、本実施形態では、選択文字に対応する文字部分CPを特定するための処理が煩雑になることを抑制することができる。
【0105】
また、本実施形態では、複数の文字部分CPの各々は、文字画像CIのうち、文字認識処理により1文字として区切られた部分である。このため、本実施形態では、複数の文字CRに対応する複数の文字部分CPの各々を容易に設定することができる。
【0106】
[2.変形例]
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
【0107】
[第1変形例]
上述した実施形態において、表示制御部224は、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とが互いに対応するように、複数の文字CR及び文字画像CIを表示装置30にさせてもよい。この場合、複数の文字CRのうちの選択文字と、選択文字に対応する文字部分CPの文字とをユーザが容易に比較することができる。
【0108】
図11は、第1変形例に係る確認画面CHSの一例を示す図である。
図11に示すD方向は、「特定方向」の一例である。例えば、D方向は、確認画面CHSに表示される文字画像CIに含まれる複数の文字の配列方向であってもよいし、編集領域EDWの延在方向であってもよい。
【0109】
図11に示すように、表示制御部224は、確認画面CHSにおいて、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを互いに対応させる。例えば、表示制御部224は、確認画面CHSにおいて、複数の文字CRをD方向に配列して表示する。そして、表示制御部224は、確認画面CHSにおいて、複数の文字CRの各々のD方向における表示位置と複数の文字部分CPの各々のD方向における表示位置とを、互いに一致させる。但し、「一致」は、厳密な一致だけではなく、実質的な一致(例えば、誤差範囲内の一致)も含む。
図11に示す例では、表示制御部224は、D方向において、i番目(iは、1以上15以下の自然数)の文字CRの中心とi番目の文字部分CPの中心とが互いに一致するように、複数の文字CR及び文字画像CIを表示装置30にさせる。
【0110】
なお、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを互いに対応させる態様は、複数の文字CRの各々のD方向における表示位置と複数の文字部分CPの各々のD方向における表示位置とを互いに一致させる態様に限定されない。例えば、文字画像領域IW内に表示される複数の文字部分CPに、D方向における表示位置が文字CRに対して半文字分(0.5文字分)程ずれている文字部分CPが含まれていてもよい。この態様では、手書き文字の大きさが不均一な場合においても、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを互いに対応させることができる。
【0111】
以上、本変形例においても、上述した実施形態と同様の効果を得ることができる。また、本変形例では、表示制御部224は、表示装置30において、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを、互いに対応させる。例えば、表示制御部224は、表示装置30において、複数の文字CRの各々のD方向における表示位置と複数の文字部分CPの各々のD方向における表示位置とを、互いに対応させる。これにより、本変形例では、複数の文字CRのうちの選択文字と、選択文字に対応する文字部分CPの文字とをユーザが容易に比較することができる。
【0112】
[第2変形例]
上述した実施形態及び変形例において、表示制御部224は、文字画像CIの全体を文字画像領域IW内に表示してもよい。
【0113】
図12は、第2変形例に係る確認画面CHSの一例を示す図である。
【0114】
図12に示すように、文字画像CIは、複数の文字部分CPのうちの1以上の文字部分CPを含む第1部分PT1と、複数の文字部分CPのうち、第1部分PT1に含まれる文字部分CP以外の1以上の文字部分CPを含む第2部分PT2とを含む。例えば、文字画像CIに含まれる複数の文字のうちの1行目の文字列に対応する複数の文字部分CPが第1部分PT1に含まれ、文字画像CIに含まれる複数の文字のうちの2行目の文字列に対応する複数の文字部分CPが第2部分PT2に含まれる。第1部分PT1は、「第1部分」の一例であり、第2部分PT2は、「第2部分」の一例である。
【0115】
また、複数の文字CRは、複数の文字部分CPのうちの第1部分PT1から読み取られた1以上の文字CRからなる第1行L1と、複数の文字部分CPのうちの第2部分PT2から読み取られた1以上の文字CRからなる第2行L2とを含む。例えば、文字認識処理の結果が正しい場合、第1部分PT1から読み取られた1以上の文字CRからなる第1行L1は、“携帯電話の番号を、下記に示します。”であり、第2部分PT2から読み取られた1以上の文字CRからなる第2行L2は、“090-0987-XXXX”である。第1行L1は、「第1行」の一例であり、第2行L2は、「第2行」の一例である。
【0116】
本変形例では、表示制御部224は、文字画像CIの全体、すなわち、文字画像CIに含まれる複数の文字部分CPの全てを、表示装置30に表示させる。これにより、文字画像CIに含まれる複数の文字のうちの1行目の文字列に対応する第1部分PT1の全体と、文字画像CIに含まれる複数の文字のうちの2行目の文字列に対応する第2部分PT2の全体とが、文字画像領域IW内に表示される。
【0117】
また、表示制御部224は、表示装置30において、第1部分PT1の表示位置と第1行L1の表示位置とを対応させ、第2部分PT2の表示位置と第2行L2の表示位置とを対応させる。例えば、文字画像領域IWにおいて、第1部分PT1は1行目に表示され、第2部分PT2は2行目に表示される。このため、表示制御部224は、編集領域EDWにおいて、第1行L1に属する複数の文字CRを1行目に表示し、第2行L2に属する複数の文字CRを2行目に表示する。
【0118】
なお、表示制御部224は、上述した第1変形例と同様に、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを互いに対応させてもよい。具体的には、表示制御部224は、第1行L1に属する複数の文字CRの各々の表示位置と第1部分PT1に含まれる複数の文字部分CPの各々の表示位置とを互いに対応させてもよい。同様に、表示制御部224は、第2行L2に属する複数の文字CRの各々の表示位置と第2部分PT2に含まれる複数の文字部分CPの各々の表示位置とを互いに対応させてもよい。これにより、本変形例では、確認対象の行(例えば、第1行L1)に属する複数の文字CRと、確認対象の行に対応する複数の文字部分CP(例えば、第1部分PT1に含まれる複数の文字部分CP)との比較をユーザが容易に行うことができる。
【0119】
ここで、例えば、文字画像CIに含まれる複数の文字部分CPのうちの一部の文字部分CPが文字画像領域IWに表示されない形態(例えば、
図3に示した形態)では、文字画像領域IWに表示されない文字部分CPの存在にユーザが気付かないおそれがある。この場合、文字画像領域IWに表示されない文字部分CPが見落とされ、文字認識処理の結果に対する確認及び修正が正しく行われないおそれがある。
【0120】
これに対し、本変形例では、文字画像CIに含まれる複数の文字部分CPの全て、すなわち、文字画像CIに含まれる文字列全体が文字画像領域IW内に表示されるため、確認対象の文字部分CPをユーザが見落とすことを抑制することができる。
【0121】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0122】
[第3変形例]
上述した実施形態及び変形例において、表示制御部224は、文字画像領域IW及び編集領域EDWの複数の組を含む確認画面CHSを表示装置30に表示させてもよい。
【0123】
図13は、第3変形例に係る確認画面CHSの一例を示す図である。
【0124】
図13に示すように、確認画面CHSには、例えば、複数の文字画像領域IW(IW1及びIW2)と、複数の文字画像領域IWに対応する複数の編集領域EDW(EDW1及びEDW2)とが表示される。例えば、文字画像領域IW1には、文字画像CIのうち、第1部分PT1に含まれる全ての文字部分CPが表示され、文字画像領域IW1に対応する編集領域EDW1には、複数の文字CRのうち、第1行L1に属する全ての文字CRが表示される。また、文字画像領域IW2には、文字画像CIのうち、第2部分PT2に含まれる全ての文字部分CPが表示され、文字画像領域IW2に対応する編集領域EDW2には、複数の文字CRのうち、第2行L2に属する全ての文字CRが表示される。
【0125】
また、確認画面CHSにおいて、編集領域EDW1及びEDW2の各々は、複数の文字画像領域IW1及びIW2のうちの対応する文字画像領域IW1に隣接するように配置される。このように、本変形例では、文字画像CIに含まれる文字列の行毎に文字画像領域IW及び編集領域EDWが互いに隣接して表示されるため、複数の文字CRと複数の文字部分CPとの行毎の比較をユーザが容易に行うことができる。
【0126】
なお、本変形例においても、上述した第1変形例と同様に、文字画像領域IW及び編集領域EDWの複数の組の各々において、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを互いに対応させてもよい。
【0127】
また、上述した実施形態及び第1変形例においても、本変形例と同様に、表示制御部224は、文字画像領域IW及び編集領域EDWの複数の組を含む確認画面CHSを表示装置30に表示させてもよい。
【0128】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0129】
[第4変形例]
上述した実施形態において、文字画像CIに含まれる文字列の1行分の全ての文字部分CPを文字画像領域IW内に表示してもよい。
【0130】
図14は、第4変形例に係る確認画面CHSの一例を示す図である。
図14に示す確認画面CHSは、文字画像CIに含まれる文字列が複数の行を含む場合に少なくとも1行分の文字部分CPを表示すればよい点を除いて、
図12に示した確認画面CHSと同様である。
【0131】
図14では、複数の文字CRの中からユーザにより選択された選択文字が第1行L1に属する場合を想定する。例えば、カーソルCSにより示される入力位置は、1行目の15文字目である。従って、複数の文字CRの中からカーソルCSにより選択された文字CR(選択文字)は、第1行L1に属する。この場合、表示制御部224は、複数の文字部分CPのうちの第1部分PT1の全体、すなわち、第1部分PT1に含まれる全ての文字部分CP1-CP17を、表示装置30に表示させる。これにより、文字画像CIに含まれる文字列のうちの1行目に対応する第1部分PT1(“携帯電話の番号を、下記に示します。”)の全体が、文字画像領域IW内に表示される。
【0132】
このように、本変形例では、文字画像CIに含まれる文字列のうちの確認対象の行に対応する文字部分CPの全てが文字画像領域IW内に表示されるため、確認対象の文字部分CPの範囲をユーザが容易に視認することができる。
【0133】
また、表示制御部224は、表示装置30において、第1部分PT1の表示サイズに合わせて、第1行L1(より詳細には、第1行L1に属する全ての文字CR)の表示サイズを変更してもよい。例えば、表示制御部224は、予め設定された表示サイズでの第1行L1のD方向における表示範囲が第1部分PT1のD方向における表示範囲より小さい場合、第1行L1の表示サイズを拡大してもよい。具体的には、表示制御部224は、第1行L1のD方向における表示範囲が第1部分PT1のD方向における表示範囲と一致するように、第1行L1の表示サイズを拡大してもよい。この場合、第1行L1の表示サイズを変更しない場合に比べて、複数の文字CRの各々のD方向における表示位置が複数の文字部分CPの各々のD方向における表示位置に近づく。
【0134】
また、表示制御部224は、表示装置30において、第1行L1(より詳細には、第1行L1に属する全ての文字CR)の表示サイズに合わせて、第1部分PT1の表示サイズを変更してもよい。例えば、表示制御部224は、文字画像CIの元々の表示サイズでの第1部分PT1のD方向における表示範囲が第1行L1のD方向における表示範囲より小さい場合、第1部分PT1の表示サイズを拡大してもよい。具体的には、表示制御部224は、第1部分PT1のD方向における表示範囲が第1行L1のD方向における表示範囲と一致するように、第1部分PT1の表示サイズを拡大してもよい。この場合、第1部分PT1の表示サイズを変更しない場合に比べて、複数の文字部分CPの各々のD方向における表示位置が複数の文字CRの各々のD方向における表示位置に近づく。また、この態様では、第1部分PT1のD方向における表示範囲が第1行L1のD方向における表示範囲より小さい場合、第1部分PT1の表示サイズが拡大されるため、文字画像CIの表示サイズが小さくなり過ぎることを抑制することができる。
【0135】
また、本変形例においても、上述した第1変形例と同様に、複数の文字CRの各々の表示位置と複数の文字部分CPの各々の表示位置とを互いに対応させてもよい。
【0136】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。また、本変形例では、文字画像CIに含まれる文字列が複数の行を含む場合に、一部の行の文字部分CPを表示しなくてもよいため、文字画像CIの表示サイズが小さくなり過ぎることを抑制することができる。この結果、本変形例では、文字画像CIに含まれる複数の文字が見にくくなることを抑制することができる。
【0137】
[第5変形例]
上述した実施形態及び変形例では、入力画像IIMGに含まれる複数の文字画像CIの1つが1つの確認画面CHSに表示される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、入力画像IIMGに含まれる複数の文字画像CIの全てが1つの確認画面CHSに表示されてもよい。
【0138】
図15は、第5変形例に係る確認画面CHSの一例を示す図である。
【0139】
図15に示すように、確認画面CHSには、例えば、入力画像IIMGに含まれる複数の文字画像CIに対応する複数の文字画像領域IWと、1つの編集領域EDWとが表示される。複数の文字画像領域IWの各々には、複数の文字画像CIのうちの対応する文字画像CIの全体が表示される。
【0140】
また、編集領域EDWには、複数の文字画像CIの各々から読み取られた複数の文字CRが表示される。編集領域EDWにおいて、複数の文字CRは、対応する文字画像CIの確認画面CHSにおける表示位置に合わせて、表示される。例えば、確認画面CHSにおいて、複数の文字画像CIは、申込番号、氏名(カナ)、氏名、郵便番号、住所、E-mail、勤務先、勤務先電話番号及び備考の順に表示される。このため、編集領域EDWにおいて、複数の文字CRは、申込番号、氏名(カナ)、氏名、郵便番号、住所、E-mail、勤務先、勤務先電話番号及び備考の順に表示される。具体的には、例えば、確認画面CHSにおいて一番上に表示される文字画像CI(申込番号に対応する文字画像CI)から読み取られた全ての文字CR(“180-3588”)は、編集領域EDWにおいて、1行目に表示される。
【0141】
図15に示す例では、複数の文字CRの一部は、編集領域EDWに表示されていない。このため、編集領域EDWにおいて複数の文字CRを垂直方向(図の縦方向)に移動させる垂直スクロールバーVSeが確認画面CHSに表示される。
【0142】
また、
図15に示す例では、カーソルCSにより示される入力位置は、1行目の8文字目である。このため、マークMKは、確認画面CHSに表示された全ての文字部分CPのうち、表示位置が1行目の8番目である文字部分CPに表示される。
【0143】
なお、
図15では、入力画像IIMGに含まれる複数の文字画像CIの各々が複数の文字画像領域IWのうちの対応する文字画像領域IWに表示される場合を例示したが、本変形例はこのような態様に限定されるものではない。例えば、入力画像IIMGに含まれる複数の文字画像CIの全てが、1つの文字画像領域IWに表示されてもよい。
【0144】
また、本変形例では、複数の文字画像CIを含む画像(例えば、入力画像IIMG)を、「文字画像」の別の例としてもよい。
【0145】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。また、本変形例では、入力画像IIMGに含まれる複数の文字画像CIが1つの確認画面CHSに表示されるため、複数の文字画像CIから読み取られた複数の文字CRの確認及び修正の作業が煩雑になることを抑制することができる。
【0146】
[第6変形例]
上述した第5変形例において、入力画像IIMGに含まれる複数の文字画像CIに対応する複数の文字画像領域IWと、複数の文字画像領域IWに対応する複数の編集領域EDWとが確認画面CHSに表示されてもよい。
【0147】
図16は、第6変形例に係る確認画面CHSの一例を示す図である。
【0148】
図16に示すように、確認画面CHSには、例えば、入力画像IIMGに含まれる複数の文字画像CIに対応する複数の文字画像領域IWと、複数の文字画像領域IWに対応する複数の編集領域EDWとが表示される。
図16に示す確認画面CHSは、複数の編集領域EDWが表示される点を除いて、
図15に示した確認画面CHSと同様である。
【0149】
例えば、複数の編集領域EDWの各々には、複数の文字画像領域IWのうちの対応する文字画像領域IWに表示された文字画像CIから読み取られた複数の文字CRが、表示される。
【0150】
また、本変形例では、確認画面CHSにおいて、互いに対応する編集領域EDW及び文字画像領域IWは、互いに隣接するように配置される。これにより、本変形例では、複数の文字CRと複数の文字部分CPとの項目毎の比較をユーザが容易に行うことができる。なお、複数の項目は、
図2において説明されたように、例えば、申込番号、氏名(カナ)、氏名、郵便番号、住所、E-mail、勤務先、勤務先電話番号及び備考等である。
【0151】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0152】
[第7変形例]
上述した実施形態及び変形例では、文字画像CIのうちの選択部分の特定が端末装置20で実行される場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、
図6に示した特定部226及び選択部228は、文字認識装置10に含まれてもよい。
【0153】
図17は、第7変形例に係る文字認識システム1の概要を説明するための説明図である。
図17に示す文字認識システム1は、
図1に示した文字認識装置10及び端末装置20の代わりに文字認識装置10A及び端末装置20Aを有することを除いて、
図1に示した文字認識システム1と同様である。
【0154】
文字認識装置10Aは、文字認識装置10Aの各部を制御する制御部120と、各種情報を記憶する記憶部140と、端末装置20A等の外部装置との間の通信を実行するための通信部160とを有する。すなわち、文字認識装置10Aは、
図4に示した文字認識装置10と同様である。但し、文字認識装置10Aでは、制御プログラムPG1の代わりに制御プログラムPG1aを制御部120が実行する点が、文字認識装置10と相違する。このため、記憶部140は、制御プログラムPG1の代わりに制御プログラムPG1aを記憶する。なお、文字認識装置10Aは、「情報処理装置」の別の例であり、制御プログラムPG1aは、「プログラム」の別の例である。
【0155】
本変形例では、制御プログラムPG1aは、例えば、文字認識処理及び文字認識処理の結果の修正等を支援する修正支援処理を文字認識装置10Aが実行するためのアプリケーションプログラムを含む。但し、制御プログラムPG1aは、例えば、制御部120が文字認識装置10Aの各部を制御するためのオペレーティングシステムプログラムを含んでもよい。
【0156】
制御部120は、例えば、画像情報取得部122、文字認識部124、表示制御部224a、特定部226及び選択部228を有する。このように、制御部120は、表示制御部224a、特定部226及び選択部228を有することを除いて、
図4に示した制御部120と同様である。なお、特定部226及び選択部228は、
図6に示した特定部226及び選択部228と同様である。このため、特定部226及び選択部228については、説明を省略する。
【0157】
表示制御部224aは、確認画面CHSを表示装置30の表示部310において表示させるための表示情報を生成し、生成した表示情報を、通信部160を介して端末装置20Aに送信する。例えば、端末装置20Aは、文字認識装置10Aから受信した表示情報により示される確認画面CHSを表示装置30の表示部310に表示する。このように、表示制御部224aは、複数の文字CRと文字画像CIとを表示装置30に表示させる。例えば、表示制御部224aは、確認画面CHSを示す表示情報を端末装置20Aに送信することにより、文字画像CIのうち、選択文字に対応する選択部分を、文字画像CIの他の部分から識別可能な態様で表示装置30に表示させる。
【0158】
端末装置20Aは、端末装置20Aの各部を制御する制御部220と、各種情報を記憶する記憶部240と、文字認識装置10A等の外部装置との間の通信を実行するための通信部260と、端末装置20Aのユーザによる操作を受け付けるための操作部280とを有する。すなわち、端末装置20Aは、
図6に示した端末装置20と同様である。但し、端末装置20Aでは、制御プログラムPG2の代わりに制御プログラムPG2aを制御部220が実行する点が、端末装置20と相違する。このため、記憶部140は、制御プログラムPG2の代わりに制御プログラムPG2aを記憶する。
【0159】
制御部220は、例えば、取得部222を有する。このように、制御部220は、
図64に示した制御部220から表示制御部224と特定部226と選択部228とが省かれることを除いて、
図6に示した制御部220と同様である。
【0160】
なお、本変形例では、例えば、取得部222は、操作部280が受け付けた操作の内容を示す操作情報を、通信部260を介して文字認識装置10Aに送信してもよい。操作情報を文字認識装置10Aに送信する機能は、例えば、取得部222とは別の機能ブロックにより実現されてもよい。文字認識装置10Aは、端末装置20Aから受信した操作情報に基づいて、確認画面CHSを表示装置30の表示部310において表示させるための表示情報等を生成する。
【0161】
図17に示す文字認識システム1の動作では、例えば、文字認識装置10Aは、
図10に示したステップS20及びS22の処理を実行した後に、
図10に示したステップS200からステップS600の一連の処理を実行する。但し、確認画面CHS等を表示装置30に表示させる処理(例えば、ステップS200の処理等)では、文字認識装置10Aは、表示装置30に表示させる確認画面CHS等を示す表示情報を端末装置20Aに送信する。また、操作部280が受け付けた操作の内容に基づく処理(例えば、ステップS300の処理等)は、端末装置20Aから受信した操作情報に基づいて実行される。
【0162】
また、
図17に示す文字認識システム1の動作では、例えば、端末装置20Aは、
図10に示したステップS10及びS12の処理を実行した後に、文字認識装置10Aから受信した表示情報により示される確認画面CHSを表示装置30の表示部310に表示する。また、端末装置20Aは、操作部280がユーザによる操作を受け付けた場合、操作部280が受け付けた操作の内容を示す操作情報を文字認識装置10Aに送信する。
【0163】
ここで、文字認識装置10Aのハードウェア構成は、
図5に示した文字認識装置10と同様である。例えば、制御プログラムPG1aに含まれるアプリケーションプログラムに従って動作するプロセッサ12は、画像情報取得部122、文字認識部124、表示制御部224a、特定部226及び選択部228を含む制御部120として機能する。制御プログラムPG1aは、他の装置から送信されてもよい。また、端末装置20Aのハードウェア構成は、
図7に示した端末装置20と同様である。例えば、制御プログラムPG2aに含まれるアプリケーションプログラムに従って動作するプロセッサ22は、取得部222を含む制御部220として機能する。制御プログラムPG2aは、他の装置から送信されてもよい。
【0164】
なお、文字認識装置10A及び端末装置20Aの構成は、
図17に示した例に限定されない。例えば、文字認識装置10Aは、文字認識装置10Aの管理者等による操作を受け付けるための操作部として機能する操作装置(例えば、後述する
図19に示す操作装置18)を有してもよい。また、端末装置20Aは、入力画像IIMGをデジタル信号である入力画像情報に変換するためのカメラ及びイメージスキャナ等の光学的な装置を有してもよい。あるいは、端末装置20Aは、表示装置30を有してもよい。以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0165】
[第8変形例]
上述した実施形態及び変形例では、文字認識装置10と端末装置20とが互いに別体である場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、文字認識装置10と端末装置20とは、一体として構成されてもよい。
【0166】
図18は、第8変形例に係る文字認識装置10Bの構成の一例を示す機能ブロック図である。
【0167】
文字認識装置10Bは、文字認識装置10Bの各部を制御する制御部120と、各種情報を記憶する記憶部140と、文字認識装置10Bの外部に存在する外部装置との間の通信を実行するための通信部160と、操作部180と、撮像部190とを有する。このように、文字認識装置40は、操作部180及び撮像部190を有することを除いて、
図4に示した文字認識装置10と同様である。但し、文字認識装置10Bでは、制御プログラムPG1の代わりに制御プログラムPG1bを制御部120が実行する点が、文字認識装置10と相違する。このため、記憶部140は、制御プログラムPG1の代わりに制御プログラムPG1bを記憶する。なお、文字認識装置10Bは、「情報処理装置」の別の例であり、制御プログラムPG1bは、「プログラム」の別の例である。
【0168】
本変形例では、制御プログラムPG1bは、例えば、文字認識処理及び文字認識処理の結果の修正等を支援する修正支援処理を文字認識装置10Bが実行するためのアプリケーションプログラムを含む。但し、制御プログラムPG1bは、例えば、制御部120が文字認識装置10Bの各部を制御するためのオペレーティングシステムプログラムを含んでもよい。
【0169】
制御部120は、例えば、画像情報取得部122、文字認識部124、表示制御部224、特定部226及び選択部228を有する。画像情報取得部122及び文字認識部124は、
図4に示した画像情報取得部122及び文字認識部124と同様である。また、表示制御部224、特定部226及び選択部228は、
図6に示した表示制御部224、特定部226及び選択部228と同様である。
【0170】
操作部180は、ユーザ等による操作を受け付ける。撮像部190は、被写体を撮像し、撮像した被写体の画像を示す画像情報を出力する。例えば、撮像部190は、申込書等を撮像し、撮像した申込書の画像である入力画像IIMGを入力画像情報に変換してもよい。そして、撮像部190は、入力画像IIMGを示す入力画像情報を記憶部140等に記憶させてもよい。この場合、画像情報取得部122は、例えば、記憶部140から、文字認識処理の対象となる入力画像IIMGを示す入力画像情報を取得してもよい。あるいは、画像情報取得部122は、記憶部140を介さずに、入力画像情報を撮像部190から取得してもよい。あるいは、画像情報取得部122は、文字認識装置10Bの外部に存在する外部装置から入力画像情報を取得してもよい。
【0171】
文字認識装置10Bの動作では、例えば、
図10に示したステップS20及びS22の処理が実行された後に、
図10に示したステップS200からステップS600の一連の処理が実行される。すなわち、文字認識装置10Bの動作は、
図10に示した文字認識システム1の動作からステップS10、S12、S24及びS100の一連の処理が省かれることを除いて、
図10に示した文字認識システム1の動作と同様である。例えば、画像情報取得部122は、
図10に示したステップS20において、撮像部190、記憶部140又は外部装置から、文字認識処理の対象となる入力画像IIMGを示す入力画像情報を取得する。そして、文字認識部124は、
図10に示したステップS22において、入力画像情報(ステップS20で取得された入力画像情報)を用いて文字認識処理を実行する。次に、表示制御部224は、
図10に示したステップS200において、文字認識部124による文字認識処理(ステップS22の文字認識処理)の結果を確認する確認画面CHSを表示装置30に表示させる。
【0172】
次に、
図19を参照しながら、文字認識装置10Bのハードウェア構成について説明する。
【0173】
図19は、
図18に示した文字認識装置10Bのハードウェア構成の一例を示す図である。
【0174】
文字認識装置10Bは、文字認識装置10Bの各部を制御するプロセッサ12と、各種情報を記憶するメモリ14と、通信装置16と、操作装置18と、撮像装置19とを有する。このように、文字認識装置10Bは、操作装置18及び撮像装置19を有することを除いて、
図5に示した文字認識装置10と同様である。なお、制御プログラムPG1bに含まれるアプリケーションプログラムに従って動作するプロセッサ12は、例えば、画像情報取得部122、文字認識部124、表示制御部224、特定部226及び選択部228を含む制御部120として機能する。制御プログラムPG1bは、他の装置から送信されてもよい。
【0175】
操作装置18は、ユーザ等による操作を受け付けるためのハードウェアであり、操作部180として機能する。例えば、操作装置18は、
図7に示した操作装置28と同様に構成される。撮像装置19は、カメラ及びイメージスキャナ等の光学的な装置であり、撮像部190として機能する。例えば、撮像装置19は、被写体を撮像し、撮像した被写体の画像を示す画像情報を出力する。撮像装置19は、例えば、撮像光学系及び撮像素子を有する。撮像光学系は、少なくとも1つの撮像レンズを含む光学系である。例えば、撮像光学系は、ズームレンズやフォーカスレンズ等を有してもよい。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサー又はCMOS(Complementary MOS)イメージセンサー等である。
【0176】
なお、文字認識装置10Bの構成は、
図18及び
図19に示した例に限定されない。例えば、文字認識装置10Bは、表示装置30を有してもよい。また、文字認識装置10Bは、撮像装置19を含まなくてもよい。また、表示装置30は、ネットワークNWを介して文字認識装置10Bと通信可能に接続されるシンクライアント端末等の端末装置に含まれてもよいし、シンクライアント端末等の端末装置と通信可能に接続されてもよい。
【0177】
以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【0178】
[第9変形例]
上述した実施形態及び変形例において、文字認識装置10、10A又は10Bは、文字認識処理の結果に対する修正の内容を学習してもよい。以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。
【符号の説明】
【0179】
1…文字認識システム、10、10A、10B…文字認識装置、12…プロセッサ、14…メモリ、16…通信装置、18…操作装置、19…撮像装置、20、20A…端末装置、22…プロセッサ、24…メモリ、26…通信装置、28…操作装置、30…表示装置、120…制御部、122…画像情報取得部、124…文字認識部、140…記憶部、160…通信部、180…操作部、190…撮像部、220…制御部、222…取得部、224、224a…表示制御部、226…特定部、228…選択部、240…記憶部、260…通信部、280…操作部、310…表示部、CI…文字画像、CP…文字部分、CR…文字、L1…第1行、L2…第2行、NW…ネットワーク、PT1…第1部分、PT2…第2部分。