(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-28
(45)【発行日】2023-09-05
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G06V 30/12 20220101AFI20230829BHJP
【ＦＩ】
G06V30/12 B
【請求項の数】
11
(21)【出願番号】P 2019117614
(22)【出願日】2019-06-25
(65)【公開番号】P2021005159
(43)【公開日】2021-01-14
【審査請求日】2022-02-28
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】大野 貴慎
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１６－２１２８１２（ＪＰ，Ａ）
【文献】特開平０８－２３５３１６（ＪＰ，Ａ）
【文献】特開２００３－３４６０８０（ＪＰ，Ａ）
【文献】特開２００３－２９６６６１（ＪＰ，Ａ）
【文献】特開２０００－２５９８４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／００－３０／４２４
(57)【特許請求の範囲】
【請求項1】
メモリと、前記メモリに接続されたプロセッサと、
を備え、
前記プロセッサは、
画像を文字認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、
前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を、前記認識結果に対する確認作業の要否で分類し、
前記分類された分類結果を表示する制御を行い、
前記分類結果は、前記閾値を前記実績データ群に適用した場合の、前記確認作業が必要な実績データに関する結果と、前記確認作業が不要な実績データに関する結果と、を含み、
前記確認作業が必要な実績データに関する結果及び前記確認作業が不要な実績データに関する結果の各々は、実績データの件数又は代表画像であり、
前記代表画像は、前記確認作業が必要な実績データのうち最も確信度の低い実績データの画像、及び、前記確認作業が不要な実績データのうち最も確信度の低い実績データの画像である
情報処理装置。
【請求項2】
前記プロセッサは、前記分類結果を表示する分類結果画面から、前記閾値を設定するか否かを受け付ける制御を更に行う請求項１に記載の情報処理装置。
【請求項3】
前記画像は、帳票を表す画像であり、前記プロセッサは、前記帳票を表す画像に設けられた枠毎に、閾値の入力を受け付ける
請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記分類結果は、前記閾値とは異なる既存の閾値を前記実績データ群に適用した場合の、前記確認作業が必要な実績データに関する結果と、前記確認作業が不要な実績データに関する結果と、を更に含む請求項１～請求項３の何れか１項に記載の情報処理装置。
【請求項5】
メモリと、
前記メモリに接続されたプロセッサと、
を備え、
前記プロセッサは、
画像を文字認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、
前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を、前記認識結果に対する確認作業の要否で分類し、
前記分類された分類結果を表示する制御を行い、
前記プロセッサは、
前記分類結果を表示する分類結果画面に、前記分類結果の妥当性を示す情報を表示する制御を更に行い、
前記分類結果の妥当性を示す情報は、予め指定された目標精度を満たす閾値を算出するために必要とされる実績データの最小件数である
情報処理装置。
【請求項6】
前記プロセッサは、前記実績データ群の件数が前記最小件数より少ない場合、前記分類結果画面に警告を表示する制御を更に行う請求項５に記載の情報処理装置。
【請求項7】
前記プロセッサは、前記実績データ群の件数が前記最小件数より少ない場合、前記分類結果画面において前記閾値の設定を禁止する制御を更に行う請求項５に記載の情報処理装置。
【請求項8】
メモリと、
前記メモリに接続されたプロセッサと、
を備え、
前記プロセッサは、
画像を文字認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、
前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を、前記認識結果に対する確認作業の要否で分類し、
前記分類された分類結果を表示する制御を行い、
前記プロセッサは、
前記閾値を前記実績データ群に適用した場合の分類結果、及び、前記閾値とは異なる既存の閾値を前記実績データ群に適用した場合の分類結果に基づいて、前記既存の閾値に代えて前記閾値を適用した場合に推定される工数削減率を表示する制御を更に行う
情報処理装置。
【請求項9】
画像を文字認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を、前記認識結果に対する確認作業の要否で分類し、
前記分類された分類結果を表示する制御を行い、
前記分類結果は、前記閾値を前記実績データ群に適用した場合の、前記確認作業が必要な実績データに関する結果と、前記確認作業が不要な実績データに関する結果と、を含み、
前記確認作業が必要な実績データに関する結果及び前記確認作業が不要な実績データに関する結果の各々は、実績データの件数又は代表画像であり、
前記代表画像は、前記確認作業が必要な実績データのうち最も確信度の低い実績データの画像、及び、前記確認作業が不要な実績データのうち最も確信度の低い実績データの画像であることを、コンピュータに実行させるためのプログラム。
【請求項10】
画像を文字認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、
前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を、前記認識結果に対する確認作業の要否で分類し、
前記分類された分類結果を表示する制御を行い、
前記分類結果を表示する分類結果画面に、前記分類結果の妥当性を示す情報を表示する制御を更に行い、
前記分類結果の妥当性を示す情報は、予め指定された目標精度を満たす閾値を算出するために必要とされる実績データの最小件数であることを、コンピュータに実行させるためのプログラム。
【請求項11】
画像を文字認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、
前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を、前記認識結果に対する確認作業の要否で分類し、
前記分類された分類結果を表示する制御を行い、
前記閾値を前記実績データ群に適用した場合の分類結果、及び、前記閾値とは異なる既存の閾値を前記実績データ群に適用した場合の分類結果に基づいて、前記既存の閾値に代えて前記閾値を適用した場合に推定される工数削減率を表示する制御を更に行うことを、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
例えば、特許文献１には、文字認識対象を人手で入力する場合の工数を削減可能な情報処理装置が記載されている。この情報処理装置は、文字認識対象を３種類のいずれかに分類する分類手段と、分類手段によって第１の種類に分類された場合に、文字認識対象の文字認識結果を抽出する抽出手段と、を備える。また、この情報処理装置は、分類手段によって第２の種類に分類された場合に、文字認識対象の文字認識結果を抽出し、文字認識対象を人手で入力させるように制御する第１の制御手段と、分類手段によって第３の種類に分類された場合に、文字認識対象を複数人の人手で入力させるように制御する第２の制御手段と、を備える。
【0003】
また、特許文献２には、入力画像の文字認識結果とその確信度を活用することにより、全体の処理能力を向上させることを可能とする文字認識方法が記載されている。この文字認識方法は、文字が記載されている帳票上の画像を入力する第１のステップと、この第１のステップにより入力された入力画像に対し文字認識を行ない、その文字認識結果としての類似度を得る第２のステップと、を具備する。また、この文字認識方法は、この第２のステップにより得られた類似度と、あらかじめ登録された当該文字認識に要求する確信度とを比較する第３のステップと、この第３のステップによる比較の結果に基づき、文字認識結果に対し人手によるベリファイ処理を必要としない出力、文字認識結果に対し文字認識候補の選択肢を提示して人手によるベリファイ処理を促す出力、あるいは、文字認識結果に対し人手による新規入力および確定を提示して手入力処理を促す出力のいずれかを行なう第４のステップと、を具備する。
【0004】
また、特許文献３には、文字認識結果から得られる特徴のみでは認識結果の信頼度を適切に推定できない場合でも比較的精度よく信頼度を算出でき、そして、認識精度を向上させ得る文字認識装置が記載されている。この文字認識装置は、手書き入力された文字の座標点列を認識して認識候補文字群を出力する文字認識手段と、文字認識手段より出力される判定対象認識候補文字群の信頼度を算出するための特徴量として、手書き入力された文字の座標点列の平均筆記速度を算出する特徴抽出手段と、を有する。また、この文字認識装置は、特徴抽出手段からの特徴量と、サンプルデータの統計的傾向とに基づいて、判定対象認識候補文字群の信頼度を算出する信頼度算出手段と、信頼度算出手段からの信頼度に基づいて判定対象認識候補文字群の後処理を制御する後処理制御手段と、を有する。
【0005】
また、特許文献４には、文書画像から論理要素を抽出して表示する情報検索方法が記載されている。この情報検索方法は、抽出された論理要素の文字領域に対して文字認識を行ない、認識結果の確信度が所定のしきい値以上であるとき文字領域を文字コードで表示し、しきい値未満であるとき文字領域を部分画像として表示する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１６－２１２８１２号公報
【文献】特開２００３－３４６０８０号公報
【文献】特開２００３－２９６６６１号公報
【文献】特開２０００－２５９８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、帳票等の画像を認識して得られた認識結果の確信度が閾値未満である場合、人手による確認作業を行い、確信度が閾値以上である場合、人手による確認作業を行わず、最終的な認識結果として出力するシステムがある。このシステムにおいて新たな閾値を設定した場合に、新たに設定した閾値が確認作業の手間に対してどの程度影響するのか事前に把握することが困難であった。
【0008】
本発明は、認識結果の確信度の閾値を設定する際に、認識結果の実績データ群を対象として、確認作業の手間に対する新たな閾値の影響を考慮しない場合と比較して、確認作業の手間に対する新たな閾値の影響をユーザが把握し易くすることができる情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、第１態様に係る情報処理装置は、メモリと、前記メモリに接続されたプロセッサと、を備え、前記プロセッサが、画像を認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を確認作業の要否で分類し、前記分類された分類結果を表示する制御を行う。
【0010】
また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記分類結果を表示する分類結果画面から、前記閾値を設定するか否かを受け付ける制御を更に行う。
【0011】
また、第３態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記画像が、帳票を表す画像とされ、前記プロセッサが、前記帳票を表す画像に設けられた枠毎に、閾値の入力を受け付ける。
【0012】
また、第４態様に係る情報処理装置は、第１態様～第３態様のいずれか１の態様に係る情報処理装置において、前記分類結果が、前記閾値を前記実績データ群に適用した場合の、前記確認作業が必要な実績データに関する結果と、前記確認作業が不要な実績データに関する結果と、を含んでいる。
【0013】
また、第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記分類結果が、前記閾値とは異なる既存の閾値を前記実績データ群に適用した場合の、前記確認作業が必要な実績データに関する結果と、前記確認作業が不要な実績データに関する結果と、を更に含んでいる。
【0014】
また、第６態様に係る情報処理装置は、第４態様又は第５態様に係る情報処理装置において、前記確認作業が必要な実績データに関する結果及び前記確認作業が不要な実績データに関する結果の各々が、実績データの件数又は代表画像とされている。
【0015】
また、第７態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記代表画像が、前記確認作業が必要な実績データのうち最も確信度の低い実績データの画像、及び、前記確認作業が不要な実績データのうち最も確信度の低い実績データの画像とされている。
【0016】
また、第８態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記分類結果を表示する分類結果画面に、前記分類結果の妥当性を示す情報を表示する制御を更に行う。
【0017】
また、第９態様に係る情報処理装置は、第８態様に係る情報処理装置において、前記分類結果の妥当性を示す情報が、予め指定された目標精度を満たす閾値を算出するために必要とされる実績データの最小件数とされている。
【0018】
また、第１０態様に係る情報処理装置は、第９態様に係る情報処理装置において、前記プロセッサが、前記実績データ群の件数が前記最小件数より少ない場合、前記分類結果画面に警告を表示する制御を更に行う。
【0019】
また、第１１態様に係る情報処理装置は、第９態様に係る情報処理装置において、前記プロセッサが、前記実績データ群の件数が前記最小件数より少ない場合、前記分類結果画面において前記閾値の設定を禁止する制御を更に行う。
【0020】
また、第１２態様に係る情報処理装置は、第１態様～第３態様のいずれか１の態様に係る情報処理装置において、前記プロセッサが、前記閾値を前記実績データ群に適用した場合の分類結果、及び、前記閾値とは異なる既存の閾値を前記実績データ群に適用した場合の分類結果に基づいて、前記既存の閾値に代えて前記閾値を適用した場合に推定される工数削減率を表示する制御を更に行う。
【0021】
更に、上記目的を達成するために、第１３態様に係るプログラムは、画像を認識して得られた認識結果の確からしさを表す確信度の閾値の入力を受け付け、前記入力を受け付けた閾値を、実績として蓄積された認識結果である実績データ群に適用した場合に、前記実績データ群の各実績データの確信度と前記閾値との比較結果に基づいて、前記実績データ群を確認作業の要否で分類し、前記分類された分類結果を表示する制御を行うことを、コンピュータに実行させる。
【発明の効果】
【0022】
第１態様及び第１３態様によれば、認識結果の確信度の閾値を設定する際に、認識結果の実績データ群を対象として、確認作業の手間に対する新たな閾値の影響を考慮しない場合と比較して、確認作業の手間に対する新たな閾値の影響をユーザが把握し易くすることができる、という効果を有する。
【0023】
第２態様によれば、分類結果画面以外の画面から閾値の設定を受け付ける場合と比較して、分類結果を見ながら適切な閾値を設定することができる、という効果を有する。
【0024】
第３態様によれば、帳票画像全体に対して閾値の入力を受け付ける場合と比較して、枠に適した閾値の入力を受け付けることができる、という効果を有する。
【0025】
第４態様によれば、閾値を実績データ群に適用した場合の分類結果として、確認作業の要否で分類された実績データに関する結果を考慮しない場合と比較して、確認作業の手間に対する閾値の影響を把握し易くすることができる、という効果を有する。
【0026】
第５態様によれば、既存の閾値を実績データ群に適用した場合の分類結果として、確認作業の要否で分類された実績データに関する結果を考慮しない場合と比較して、確認作業の手間に対する閾値の影響を把握し易くすることができる、という効果を有する。
【0027】
第６態様によれば、実績データに関する結果として、実績データの件数又は代表画像を考慮しない場合と比較して、確認作業の手間に対する閾値の影響を把握し易くすることができる、という効果を有する。
【0028】
第７態様によれば、代表画像として、最も確信度の低い実績データの画像を考慮しない場合と比較して、確認作業の手間に対する閾値の影響を把握し易くすることができる、という効果を有する。
【0029】
第８態様によれば、分類結果画面に分類結果の妥当性を示す情報を表示しない場合と比較して、閾値を設定するか否かを適切に判断することができる、という効果を有する。
【0030】
第９態様によれば、分類結果の妥当性を示す情報として、目標精度を満たす閾値を算出するために必要な実績データの最小件数を考慮しない場合と比較して、閾値を設定するか否かを適切に判断することができる、という効果を有する。
【0031】
第１０態様によれば、実績データ群の件数が最小件数より少ない場合に、分類結果画面に警告を表示しない場合と比較して、閾値を設定するか否かを適切に判断することができる、という効果を有する。
【0032】
第１１態様によれば、実績データ群の件数が最小件数より少ない場合に、不適切な閾値が設定されてしまうことを防止することができる、という効果を有する。
【0033】
第１２態様によれば、閾値を適用した場合に推定される工数削減率を表示しない場合と比較して、確認作業の手間に対する閾値の影響を把握し易くすることができる、という効果を有する。
【図面の簡単な説明】
【0034】
【図1】実施形態に係る情報処理システムの構成の一例を示す図である。
【図2】実施形態に係るサーバ装置の電気的な構成の一例を示すブロック図である。
【図3】実施形態に係るサーバ装置の機能的な構成の一例を示すブロック図である。
【図4】実施形態に係る帳票定義画面の一例を示す正面図である。
【図5】実施形態に係る実績データ群の一例を示す図である。
【図6】実施形態に係る確信度の閾値及び分類結果の一例を示す図である。
【図7】実施形態に係る閾値算出処理の流れの一例を示すフローチャートである。
【図8】実施形態に係る閾値算出処理の説明に供する模式図である。
【図9】実施形態に係る閾値決定処理の流れの一例を示すフローチャートである。
【図10】実施形態に係る閾値決定処理の説明に供する模式図である。
【図11】実施形態に係る確認処理プログラムによる確認処理の流れの一例を示すフローチャートである。
【図12】実施形態に係る確認処理プログラムによる確信度閾値設定処理の流れの一例を示すフローチャートである。
【図13】実施形態に係る確信度閾値設定画面の一例を示す正面図である。
【図14】実施形態に係る目標精度設定ダイアログの一例を示す正面図である。
【図15】実施形態に係る目標精度設定ダイアログの別の例を示す正面図である。
【図16】実施形態に係る確信度閾値算出結果確認ダイアログの一例を示す正面図である。
【図17】実施形態に係る確信度閾値設定画面の別の例を示す正面図である。
【図18】実施形態に係る確信度閾値算出結果確認ダイアログの別の例を示す正面図である。
【図19】実施形態に係る確信度閾値算出結果確認ダイアログの更に別の例を示す正面図である。
【図20】実施形態に係る確信度閾値算出結果確認ダイアログの更に別の例を示す正面図である。
【発明を実施するための形態】
【0035】
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
【0036】
図１は、本実施形態に係る情報処理システム９０の構成の一例を示す図である。
【0037】
図１に示すように、本実施形態に係る情報処理システム９０は、サーバ装置１０と、確認者用端末装置４０Ａ、４０Ｂ、・・・と、画像読取装置５０と、管理者用端末装置６０と、を備えている。なお、サーバ装置１０は、情報処理装置の一例である。
【0038】
サーバ装置１０は、ネットワークＮを介して、確認者用端末装置４０Ａ、４０Ｂ、・・・、画像読取装置５０、及び管理者用端末装置６０の各々と通信可能に接続されている。このサーバ装置１０には、一例として、サーバコンピュータ、パーソナルコンピュータ（ＰＣ：Personal Computer）等の汎用的なコンピュータが適用される。また、このネットワークＮには、一例として、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等が適用される。
【0039】
画像読取装置５０は、紙媒体の帳票等を光学的に読み取って画像を取得し、取得した画像（以下、「帳票画像」という。）をサーバ装置１０に送信する機能を備えている。なお、ここでいう帳票としては、例えば、住所欄や氏名欄等の複数の項目を含む各種の帳票が用いられる。この帳票には、これら複数の項目の各々について手書き文字、印刷文字等が記入されている。サーバ装置１０は、具体的には後述するように、画像読取装置５０から受信した帳票画像に対して、光学的文字認識処理の一例であるＯＣＲ（Optical Character Recognition）処理を行い、複数の項目の各々に対応する画像についての認識結果を取得する。なお、この認識結果には、一例として、１文字以上の文字の連なりを示す文字列等が含まれる。また、帳票では、項目に対応する記載が記入されうる領域が枠等で定められており、記載が記入されうる領域が認識対象の領域として定義されている。定義された領域（以下、「定義領域」という。）を対象にＯＣＲ処理を行い、複数の項目の各々に対応する画像についての文字列を取得する。
【0040】
確認者用端末装置４０Ａは、確認作業を行う確認者（ユーザ）Ｕ１が操作する端末装置であり、確認者用端末装置４０Ｂは、確認作業を行う確認者Ｕ２が操作する端末装置である。これら複数の確認者用端末装置４０Ａ、４０Ｂ、・・・を区別して説明する必要がない場合には、確認者用端末装置４０Ａ、４０Ｂ、・・・を総称して確認者用端末装置４０ともいう。また、これら複数の確認者Ｕ１、Ｕ２、・・・を区別して説明する必要がない場合には、確認者Ｕ１、Ｕ２、・・・を総称して確認者Ｕともいう。この確認者用端末装置４０には、一例として、パーソナルコンピュータ（ＰＣ）等の汎用的なコンピュータや、スマートフォン、タブレット端末等の携帯可能な端末装置等が適用される。なお、確認者用端末装置４０には、確認者Ｕが確認作業を行うための確認作業アプリケーション・プログラム（以下、「確認作業アプリ」ともいう。）がインストールされており、確認作業用のＵＩ（User Interface）画面を生成して表示する。なお、ここでいう確認作業とは、帳票画像内に含まれる文字等の認識結果を確認したり訂正したりする作業を意味する。
【0041】
管理者用端末装置６０は、システム管理者ＳＥが操作する端末装置であり、システム管理者ＳＥにより後述する帳票定義画面を介して帳票定義データが設定される。この管理者用端末装置６０には、一例として、パーソナルコンピュータ（ＰＣ）等の汎用的なコンピュータや、スマートフォン、タブレット端末等の携帯可能な端末装置等が適用される。
【0042】
サーバ装置１０は、帳票画像に含まれる各項目の画像（以下、「項目画像」という。）を認識して得られた認識結果の確信度が閾値未満である場合、人手による確認作業を行い、確信度が閾値以上である場合、人手による確認作業を行わず、最終的な認識結果として出力する。
【0043】
上記確認作業を行う場合、サーバ装置１０は、項目画像とＯＣＲ処理により得られた文字列とを対応付けて、確認者用端末装置４０のＵＩ画面に表示させる制御を行う。確認者Ｕは、当該項目画像を見ながら、当該項目画像に対応する文字列が正しいか否かを確認する。確認者Ｕは、確認の結果、正しい場合はそのまま、正しくない場合は正しい文字列をＵＩ画面に入力する。確認者用端末装置４０は、ＵＩ画面を介して入力を受け付けた文字列を確認結果としてサーバ装置１０に送信する。サーバ装置１０は、確認者用端末装置４０からの確認結果に基づいて、最終的な認識結果を出力し、確認者用端末装置４０のＵＩ画面に表示させる制御を行う。
【0044】
図２は、本実施形態に係るサーバ装置１０の電気的な構成の一例を示すブロック図である。
【0045】
図２に示すように、本実施形態に係るサーバ装置１０は、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を備えている。
【0046】
制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。
【0047】
Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。
【0048】
制御部１２は、サーバ装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、サーバ装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【0049】
記憶部１４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係る帳票確認処理を行うための確認処理プログラム１４Ａが記憶される。なお、この確認処理プログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。
【0050】
確認処理プログラム１４Ａは、例えば、サーバ装置１０に予めインストールされていてもよい。確認処理プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークＮを介して配布して、サーバ装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。
【0051】
表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１８には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１８は、サーバ装置１０のユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
【0052】
通信部２０は、インターネット、ＬＡＮ、ＷＡＮ等のネットワークＮに接続されており、画像読取装置５０、確認者用端末装置４０、及び管理者用端末装置６０の各々との間でネットワークＮを介して通信が可能とされる。
【0053】
ところで、上述したように、認識結果の確信度に対して新たな閾値を設定した場合に、新たに設定した閾値が確認作業の手間に対してどの程度影響するのか事前に把握することが困難であった。
【0054】
このため、本実施形態に係るサーバ装置１０のＣＰＵ１２Ａは、記憶部１４に記憶されている確認処理プログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行することにより、図３に示す各部として機能する。なお、ＣＰＵ１２Ａは、プロセッサの一例である。
【0055】
図３は、本実施形態に係るサーバ装置１０の機能的な構成の一例を示すブロック図である。なお、本実施形態では、認識の対象とする画像として、帳票画像を適用した場合について説明するが、これに限定されるものではなく、一般的な文書の読取画像が認識対象とされ得る。
【0056】
図３に示すように、本実施形態に係るサーバ装置１０のＣＰＵ１２Ａは、閾値算出部３０、受付部３２、分類部３４、及び表示制御部３６として機能する。また、サーバ装置１０のＣＰＵ１２Ａは、認識設定部２１０、認識処理部２２０、確認処理実施判定部２３０、確認処理部２４０、最終確認処理部２５０、及び認識結果出力部２６０として機能する。
【0057】
本実施形態に係る記憶部１４には、実績データ群を記憶する実績データ群記憶部１４Ｂと、帳票定義データを記憶する帳票定義データ記憶部１４Ｃと、が設けられている。なお、実績データ群とは、実績として蓄積された認識結果である。
【0058】
認識設定部２１０は、未記入帳票の帳票画像を入力として、認識設定を行う。認識設定部２１０は、一例として、図４に示す帳票定義画面６２を、管理者用端末装置６０に表示させて、帳票定義データの入力を受け付ける。
【0059】
図４は、本実施形態に係る帳票定義画面６２の一例を示す正面図である。
【0060】
図４に示す帳票定義画面６２は、管理者用端末装置６０に表示され、システム管理者ＳＥにより帳票定義データの入力を受け付けるための画面である。
【0061】
図４に示す帳票定義画面６２は、未記入帳票のプレビュー画像と、帳票定義データを表す認識枠の情報と、を含んでいる。この認識枠の情報には、一例として、枠の種類、枠の名前、枠の座標、学習済みモデル、文字種、確信度の閾値、確認訂正、及びエントリー方式を含み、各々の設定内容は帳票定義データ記憶部１４Ｃに記憶される。なお、学習済みモデルは認識用辞書を表す。図４に示す例では、「受給者氏名」に関する情報が表示されている。なお、確信度とは、認識結果の確からしさを示す指標であり、確信度の値が高いほど、項目画像とその認識結果とが一致する確率が高いことを示している。この確信度の導出方法としては、例えば、特開２０１６－２１２８１２号公報（特許文献１）等に記載の公知の技術を用いればよい。なお、文字列を構成する各文字に対する確信度を用いる場合には、文字毎の確信度を文字列の確信度に変換する手法が用いられる。具体的には、下記に示す様々な手法の中から適切なものを選択すればよい。
【0062】
・文字列内の各文字についての確信度の最大値を文字列の確信度とする。
・文字列内の各文字についての確信度の最小値を文字列の確信度とする。
・文字列内の各文字についての確信度の平均値（最頻値、中央値等）を文字列の確信度とする。
・文字列内の各文字についての確信度の最小値を文字列の確信度とする。
・文字列内の各文字についての確信度の平均値（最頻値、中央値等）を文字列の確信度とする。
【0063】
また、確認訂正とは、確認作業を行うか否かを設定するもので、一例として、「必須」又は「不要」が設定される。「必須」が設定された場合、毎回確認作業が実施され、「不要」が設定された場合、確認作業は実施されない。
【0064】
また、エントリー方式とは、上記確認訂正で「必須」が設定された場合に、確認作業を行う方式を設定するもので、一例として、「ダブルエントリ」、「シングルエントリ」、及び「確信度判定」のいずれかが設定される。「ダブルエントリ」は、複数人の確認者で確認作業を行う方式であり、「シングルエントリ」は、１人の確認者で確認作業を行う方式である。「確信度判定」は、確信度とその閾値（図４の例では「０．７」。）とを比較した結果に基づいて、「シングルエントリ」及び「ダブルエントリ」のいずれかが選択される方式である。この「確信度判定」では、一例として、確信度が閾値未満である場合に、「シングルエントリ」又は「ダブルエントリ」が選択され、確信度が閾値以上である場合に、確認作業は実施されない（以下、「エントリ不要」という。）。
【0065】
また、学習済みモデルとは、項目毎に認識用辞書を設定するもので、図４の例では、「氏名」に関する認識用辞書が設定される。
【0066】
認識処理部２２０は、記入済み帳票の帳票画像を入力として、項目毎に、帳票定義データ記憶部１４Ｃに記憶されている帳票定義データの設定内容に従って、ＯＣＲ処理を実行する。認識処理部２２０は、項目毎に、項目画像、認識結果、及びその確信度を対応付けて出力する。
【0067】
確認処理実施判定部２３０は、認識処理部２２０から出力された、項目毎の項目画像、認識結果、及びその確信度に基づいて、項目毎にエントリー方式を判定する。例えば、エントリー方式として、「シングルエントリ」又は「ダブルエントリ」が設定されている項目は、確信度による閾値判定を行わない。また、エントリー方式として、「確信度判定」が設定されている項目は、確信度による閾値判定を行い、上述のように、エントリー方式を判定する。確認処理実施判定部２３０は、判定結果を確認処理部２４０に出力する。
【0068】
確認処理部２４０は、確認処理実施判定部２３０から受け付けた判定結果に基づいて、項目毎にエントリー方式を切り替え、確認者Ｕに項目画像及び認識結果をフィードバックし、確認者Ｕに確認作業を行わせる。具体的に、確認処理部２４０は、認識結果のエントリー方式がシングルエントリと判定された場合、確認作業を行うための確認画面を、１台の確認者用端末装置４０に表示させ、確認作業を行わせる。また、認識結果のエントリー方式がダブルエントリと判定された場合、確認作業を行うための確認画面を、複数台の確認者用端末装置４０に表示させ、確認作業を行わせる。確認処理部２４０は、項目画像、認識結果、及び確認者Ｕによる確認結果を最終確認処理部２５０に出力する。
【0069】
最終確認処理部２５０は、確認処理部２４０から受け付けた項目画像、認識結果、及び確認者Ｕによる確認結果に基づいて、確認者Ｕとは別の確認者Ｕに最終的な確認作業を行わせる。具体的に、最終確認処理部２５０は、最終的な確認作業を行うための確認画面を、別の確認者Ｕが使用する確認者用端末装置４０に表示させ、別の確認者Ｕから最終確認結果を得る。最終確認処理部２５０は、別の確認者Ｕからの最終確認結果に基づいて、確認者Ｕの確認結果に誤りがある場合には、確認処理部２４０に差し戻し、入力された記入済み帳票に不備（一例として、ページ不足等）がある場合には、認識処理部２２０に差し戻す。そして、最終確認処理部２５０は、最終的な認識結果を認識結果出力部２６０に出力する。
【0070】
認識結果出力部２６０は、最終確認処理部２５０から受け付けた最終的な認識結果を出力する。最終的な認識結果の出力先は、特に限定されるものではないが、表示部１６、確認者用端末装置４０、及び管理者用端末装置６０の少なくとも１つを出力先としてもよい。
【0071】
確認処理部２４０による確認結果、及び最終確認処理部２５０による最終的な確認結果は、認識結果の実績データ群として、実績データ群記憶部１４Ｂに記憶される。
【0072】
図５は、本実施形態に係る実績データ群の一例を示す図である。
【0073】
図５に示す実績データ群の各々は、一例として、ＪＳＯＮ（JavaScript（登録商標） Object Notation）形式で記述されている。この実績データは、「confidence」及び「correction」を含んでいる。「confidence」は、確信度であり、確信度を表す数値として記述される。「correction」は、正誤情報であり、認識結果が正解であるか否かを示す二値（true/false）として記述される。なお、「true」は認識結果が訂正されていない、つまり、認識結果が正解であることを示し、「false」は認識結果が訂正されている、つまり、認識結果が誤りであることを示す。
【0074】
閾値算出部３０は、具体的には後述するように、例えば、確信度の高い区間から順に、確信度が当該区間に属する実績データを学習用データとし、学習用データの正誤情報から得られる認識の正解率が、その区間に対応する認識処理部２２０の目標精度を満たすように当該区間を規定する閾値を決定する。
【0075】
受付部３２は、新たに設定する確信度の閾値の入力を受け付ける。新たな閾値は、閾値算出部３０で算出された閾値でもよいし、あるいは、ユーザにより手動入力された閾値でもよい。一例として、受付部３２は、帳票画像に設けられた枠毎に、閾値の入力を受け付ける。なお、複数の枠をまとめて指定し、指定した枠のグループ単位で閾値の入力を受け付けるようにしてもよい。
【0076】
分類部３４は、受付部３２により入力を受け付けた閾値を、実績データ群記憶部１４Ｂに記憶されている実績データ群に適用した場合に、実績データ群の各実績データの確信度と閾値との比較結果に基づいて、一例として、図６に示すように、実績データ群を確認作業の要否で分類する。
【0077】
図６は、本実施形態に係る確信度の閾値及び分類結果の一例を示す図である。
【0078】
図６に示す確信度の閾値は、閾値算出部３０により算出された閾値である。図６に示す分類結果は、図５に示す実績データ群を、この算出された閾値で分類した結果である。この場合、分類結果を件数で表しているが、分類結果をデータのリストで表してもよい。
【0079】
表示制御部３６は、分類部３４により分類された分類結果を、一例として、後述の図１６に示すように、管理者用端末装置６０に表示する制御を行う。この分類結果は、新たな閾値を実績データ群に適用した場合の、確認作業が必要な実績データに関する結果と、確認作業が不要な実績データに関する結果と、を含んでいる。また、この分類結果は、新たな閾値とは異なる既存の閾値を実績データ群に適用した場合の、確認作業が必要な実績データに関する結果と、確認作業が不要な実績データに関する結果と、を含んでいてもよい。
【0080】
確認作業が必要な実績データに関する結果及び確認作業が不要な実績データに関する結果の各々は、一例として、実績データの件数として示される。なお、確認作業が必要な実績データに関する結果及び確認作業が不要な実績データに関する結果の各々を、実績データの代表画像として示してもよい。この代表画像には、一例として、確認作業が必要な実績データのうち最も確信度の低い実績データの画像、及び、確認作業が不要な実績データのうち最も確信度の低い実績データの画像が適用される。
【0081】
また、表示制御部３６は、分類結果を表示する分類結果画面（後述の図１６参照）から、新たな閾値を設定するか否かを受け付ける制御を行うようにしてもよい。一例として、新たな閾値の設定の可否は、枠毎に決められる。なお、複数の枠を含むグループ単位で新たな閾値を受け付けた場合でも、枠毎に閾値の設定可否を決められることが望ましい。
【0082】
また、表示制御部３６は、一例として、後述の図１６に示すように、上記分類結果画面に、分類結果の妥当性を示す情報を表示する制御を行うようにしてもよい。この分類結果の妥当性を示す情報は、予め指定された目標精度を満たす閾値を算出するために必要とされる実績データの最小件数とされている。ここでいう目標精度とは、認識処理部２２０が達成すべき目標となる認識率を意味する。この場合、表示制御部３６は、実績データ群の件数が最小件数より少ない場合、分類結果画面に警告を表示する制御を行うようにしてもよい。また、表示制御部３６は、実績データ群の件数が最小件数より少ない場合、分類結果画面において閾値の設定を禁止する制御を行うようにしてもよい。
【0083】
また、表示制御部３６は、一例として、後述の図１９に示すように、上記の分類結果に基づいて、既存の閾値に代えて新たな閾値を適用した場合に推定される工数削減率を表示する制御を行うようにしてもよい。
【0084】
次に、閾値算出部３０の処理内容について具体的に説明する。例えば、認識処理部２２０により導出される確信度をＮ個の区間に分け、認識処理部２２０の認識結果を確認する処理である、Ｎ個の後段処理（例えば、上述のシングルエントリ、ダブルエントリ、エントリ不要等。）に対して、順位の順に１つずつ区間を対応付ける。すなわち、順位が高い後段処理ほど、高い確信度の区間が対応付けられる。なお、Ｎ個の後段処理には、一例として、１、２、３、・・・、Ｎの順に順位が規定されており、この順位の番号が大きいほど、認識処理部２２０への依存度が高いことを表している。例えば、認識処理部２２０への依存度が高い順に、エントリ不要、シングルエントリ、ダブルエントリとなる。
【0085】
閾値算出部３０が行う閾値算出処理のポイントは以下である。
・実績データ群の各実績データの確信度と正誤情報とのペアを相当数、学習用データとして入力する。
・後段処理１～Ｎの各々に、その後段処理が用いる認識結果の文字列に求められる目標精度を設定する。例えば、後段処理のＮの数字が大きいほど、目標精度は高く設定する。
・後段処理Ｎから順に後段処理１に向かって、各後段処理Ｋ（１≦Ｋ≦Ｎ）の目標精度を達成できる閾値を算出する。
・実績データ群の各実績データの確信度と正誤情報とのペアを相当数、学習用データとして入力する。
・後段処理１～Ｎの各々に、その後段処理が用いる認識結果の文字列に求められる目標精度を設定する。例えば、後段処理のＮの数字が大きいほど、目標精度は高く設定する。
・後段処理Ｎから順に後段処理１に向かって、各後段処理Ｋ（１≦Ｋ≦Ｎ）の目標精度を達成できる閾値を算出する。
【0086】
閾値算出部３０は、Ｍ個の学習用データ（確信度と正誤情報とのペア）を入力とし、それらＭ個の学習用データを確信度の順にソートし、ソートした学習用データを用いて、１番目の学習用データから各順番の学習用データまでの間の累積正解数を算出する。そして、閾値算出部３０は、後段処理１～Ｎのそれぞれに対して目標精度を設定する。後段処理Ｋの目標精度は、その後段処理Ｋが満たすべき認識率である。一例として、この目標精度の設定は、ユーザにより行われる。そして、閾値算出部３０は、算出した累積正解数と、設定した各後段処理の目標精度に基づいて、各後段処理に対応する確信度の区間を区切る（Ｎ－１）個の閾値を算出する。
【0087】
【0088】
確信度Ｘの取り得る範囲をＮ個の区間に区分するには、（Ｎ－１）個の閾値を決定する必要がある。ここで設定するＮ個の閾値を、Ｔ１、Ｔ２、・・・、ＴＮ－１とする。確信度Ｘの取り得る範囲は０から１までの実数としても、一般性は失われないので、以下の例ではそのように規定する。また、区間（後段処理）の番号をＫとする。
【0089】
図７は、本実施形態に係る閾値算出処理の流れの一例を示すフローチャートである。
【0090】
まず、閾値算出部３０は、閾値の両端をＴ０＝０、ＴＮ＝１に設定し、閾値インデクスＪＫの初期値Ｊ０を０に設定する（Ｓ１０）。この例では、ＴＫ＝Ｘｊとなるときのインデクスｊを、ｊ＝ＪＮ－Ｋと表す。つまり、以下に説明する手順は、閾値ＴＫを求めるために、閾値インデクスＪＮ－Ｋを求めるアルゴリズムと捉えることができる。なお、Ｘｊは、ｊ番目の学習用データの確信度である。ただし、１≦ｊ≦Ｍ、である。また、後述するように、ｉ＞ｊならば、Ｘｉ≦Ｘｊとなるようにソートされているとする。
【0091】
次に、閾値算出部３０は、各区間Ｋについての目標精度ＹＫを設定する（Ｓ１２）。この目標精度ＹＫは、区間Ｋに対応する後段処理Ｋのために、認識処理部２２０が達成すべき目標となる認識率（すなわち認識の正解率）である。一例として、区間Ｋの番号が大きくなるほど、目標精度ＹＫが高くなるように設定する。このＳ１２での目標精度ＹＫの設定は、例えば、ユーザが行う。
【0092】
次に、閾値算出部３０は、学習用データを確信度Ｘの降順にソートする（Ｓ１４）。上述のように、個々の学習用データは、確信度Ｘと正誤情報Ｆとのペアである。そして、確信度Ｘの降順にソートした学習用データ群では、ｉ＞ｊならば、Ｘｉ≦Ｘｊという関係が成り立つ。すなわち、インデクスｊの値が大きくなるにつれて、学習用データｊ内の確信度Ｘｊは単調減少する。予め学習用データを確信度でソートしておくことによって、後述する累積正解数Ｓ（ｉ）の算出が高速になる。また、予め累積正解数Ｓ（ｉ）を算出しておくことによって、毎回所望の後段処理に入る学習用データ数を加算する必要がなくなるため、閾値算出処理が高速になる。このソートの後の、各学習用データｊ内の確信度Ｘｊ、閾値インデクスＪＫ、及び閾値ＴＫと、各区間（後段処理）Ｋとの関係を図８に示す。
【0093】
図８は、本実施形態に係る閾値算出処理の説明に供する模式図である。
【0094】
図８に示すように、後段処理Ｋが適用される区間Ｋは、確信度Ｘが閾値ＴＫ－１以上閾値ＴＫ未満の区間である。この区間Ｋに設定された目標精度の値がＹＫである。各学習用データｊの確信度Ｘｊは、インデクスｊが大きくなるにつれて値が小さくなる。学習用データの個数をＭとすると、ＸＭが学習用データの集合の中での確信度の最小値である。また、定義より、ｊ=ＪＮ－Ｋであるときの確信度Ｘｊが、閾値Ｔｋとなる。
【0095】
【0096】
図７の手順の説明に戻る。Ｓ１４の後、閾値算出部３０は、インデクスｉごとに、図７に示す式（１）を用いて、累積正解数Ｓ（ｉ）を計算する（Ｓ１６）。すなわち、累積正解数Ｓ（ｉ）は、各学習用データｊ内の正誤情報Ｆｊ（正解の場合「１」、不正解の場合「０」）を、ｊが１からｉまで総和したものである。
【0097】
次に、閾値算出部３０は、閾値ＴＫのインデクスＫをＮ（＝後段処理の総数）に初期化する（Ｓ１８）。
【0098】
次に、閾値算出部３０は、閾値ＴＫ－１を決定するための処理を実行する（Ｓ２０）。最初のループで処理する区間Ｎは、上限の閾値ＴＮは１に決められており、Ｓ２０ではその区間Ｎの下限の閾値ＴＮ－１を決定する。Ｓ２０の具体的な処理は、後述の図９を参照して説明する。
【0099】
閾値ＴＫ－１の決定が終わると、閾値算出部３０は、インデクスＫを１減らし（Ｓ２２）、その結果Ｋが１に到達したか否かを判定する（Ｓ２４）。Ｋが１でないと判定した場合（否定判定、すなわちＫが２以上である場合）、まだすべての閾値の決定が完了していないので、Ｓ２０に戻って閾値ＴＫ－１の決定を行う。Ｋが１に到達したと判定した場合（肯定判定の場合）、求めるべきすべての閾値Ｔ１～ＴＮ－１の決定が完了したことを意味するので、本閾値算出処理を終了する。
【0100】
次に、図９を参照して、閾値ＴＫ－１の決定処理（Ｓ２０）について具体的に説明する。
【0101】
図９は、本実施形態に係る閾値決定処理の流れの一例を示すフローチャートである。
【0102】
この手順を開始する時点では、閾値ＴＮ、ＴＮ－１、ＴＮ－２、・・・、ＴＫは決定済みである。
【0103】
まず、閾値算出部３０は、累積正解数Ｓ（ｊ）のインデクスｊをＭ（すなわち学習用データの総数）に初期化する（Ｓ２０２）。
【0104】
次に、閾値算出部３０は、図９に示す式（２）が成立するか否かを判定する（Ｓ２０４）。上述の図８を参照して説明すると、Ｓ（ＪＮ－Ｋ）は、確信度の最大値Ｘ１を含む学習用データ内の正誤情報Ｆ１から、既に決定済みの閾値ＴＫの閾値インデクスＪＮ－Ｋ（＝ｊ(Ｋ)とする）に対応する確信度Ｘｊ(Ｋ)を含む学習用データ内の正誤情報Ｆｊ(Ｋ)までの総和である。一方、Ｓ（ｊ）は、正誤情報Ｆ１から、閾値インデクスＪＮ－Ｋよりも大きいインデクスｊに対応する正誤情報Ｆｊまでの総和である。これらの差（Ｓ（ｊ）－Ｓ（ＪＮ－Ｋ））は、ＪＮ－Ｋからｊまでの区間の正解の総数であり、これを（ｊ－ＪＮ－Ｋ）で除すると、その区間での認識処理部２２０の正解率が得られる。
【0105】
この正解率が現在の閾値決定処理の対象である区間Ｋの目標精度ＹＫ以上であれば、ＪＮ－Ｋからｊまでの区間は、その区間Ｋについての目標精度の条件を満たしている（Ｓ２０４の肯定判定）。この場合、閾値算出部３０は、このときのｊに対応する確信度Ｘｊを、その区間Ｋの確信度の下限を規定する閾値ＴＫ－１として採用する（Ｓ２０６）。また、このとき、そのｊをその閾値ＴＫ－１に対応する閾値インデクスＪＮ－Ｋ+１として記憶する。
【0106】
Ｓ２０４の判定結果が否定判定の場合、閾値算出部３０は、インデクスｊを１減らし（Ｓ２０８）、減らした結果の新たなインデクスｊが区間Ｋの上限に対応する閾値インデクスＪＮ－Ｋに達したか否かを判定する（Ｓ２１０）。Ｓ２１０の判定結果が否定判定の場合、閾値算出部３０は、Ｓ２０４に戻り、その新たなインデクスｊについて式（２）を評価する。
【0107】
式（２）の評価は、最大値Ｍから順にインデクスｊを１ずつ減らしながら（Ｓ２０８）、繰り返し行われ、ｊがＪＮ－Ｋに達すると（Ｓ２１０の判定結果が肯定判定）、区間Ｋに入り得る確信度Ｘが存在しないということになる。この場合、閾値算出部３０は、その区間Ｋに対応する後段処理Ｋを無効化する（Ｓ２１２）。すなわち、その後段処理Ｋは用いられない。
【0108】
このように、図９の手順では、最大値Ｍから順にインデクスｊが小さくなる方向に評価を進めるので、この手順により決定される区間Ｋは、目標精度ＹＫを満たす最大幅の区間となる。図７の手順は、対応する確信度Ｘ（別の観点では対応する目標精度ＹＫ）が高い区間Ｋから順にその区間Ｋの区切り（下限の閾値ＴＫ－１）を決定していくので、確信度Ｘが高い区間Ｋから順に目標精度ＹＫを満たす最大幅の区間が確保されていくことになる。
【0109】
図１０は、本実施形態に係る閾値決定処理の説明に供する模式図である。
【0110】
図１０の例では、まず、対応する確信度が最も高い後段処理Ｎの区間Ｎが目標精度ＹＮを満たす範囲で最大幅となるように区間Ｎの下限の閾値ＴＮ－１が決定され、次に区間（Ｎ－１）が目標精度ＹＮ－１を満たす範囲で最大幅となるように閾値ＴＮ－２が決定される。このような決定処理が、対応する確信度が最低の区間１の上限の閾値（すなわち区間２の下限の閾値）Ｔ１を決定するところまで繰り返される。
【0111】
【0112】
図１１は、本実施形態に係る確認処理プログラム１４Ａによる確認処理の流れの一例を示すフローチャートである。
【0113】
まず、サーバ装置１０に対して、確認処理の実行が指示されると、確認処理プログラム１４Ａが起動され、以下の各ステップを実行する。
【0114】
図１１のステップ１００では、ＣＰＵ１２Ａが、認識処理部２２０として、帳票画像の入力を受け付ける。
【0115】
ステップ１０２では、ＣＰＵ１２Ａが、認識処理部２２０として、ステップ１００で入力を受け付けた帳票画像の項目毎に、項目画像に対して文字認識を行うと共に、認識結果の確信度を導出する。
【0116】
ステップ１０４では、ＣＰＵ１２Ａが、確認処理部２４０及び最終確認処理部２５０として、確認者Ｕとの間で確認処理を実施する。具体的に、上述したように、確認者Ｕは、確認者用端末装置４０のＵＩ画面に表示された項目画像を見ながら、当該項目画像に対応する認識結果の文字列が正しいか否かを確認する。確認者Ｕは、確認の結果、正しい場合はそのまま、正しくない場合は正しい文字列をＵＩ画面に入力する。サーバ装置１０は、ＵＩ画面を介して入力を受け付けた文字列を確認結果として確認者用端末装置４０から受信する。
【0117】
ステップ１０６では、ＣＰＵ１２Ａが、ステップ１０４での確認処理の結果を受け取り、帳票画像の項目毎に、一例として、上述の図５に示す確信度と正誤情報とのペアを、実績データ群として、実績データ群記憶部１４Ｂに蓄積し、本確認処理プログラム１４Ａによる確認処理を終了する。
【0118】
図１２は、本実施形態に係る確認処理プログラム１４Ａによる確信度閾値設定処理の流れの一例を示すフローチャートである。
【0119】
まず、サーバ装置１０に対して、確信度閾値設定処理の実行が指示されると、確認処理プログラム１４Ａが起動され、以下の各ステップを実行する。
【0120】
ステップ１１０では、ＣＰＵ１２Ａが、表示制御部３６として、一例として、図１３に示す確信度閾値設定画面６４を、管理者用端末装置６０に表示する制御を行う。
【0121】
図１３は、本実施形態に係る確信度閾値設定画面６４の一例を示す正面図である。
【0122】
図１３に示す確信度閾値設定画面６４は、管理者用端末装置６０に表示され、システム管理者ＳＥにより閾値の入力を受け付けるための画面である。
【0123】
図１３に示す確信度閾値設定画面６４は、自動算出ボタン６４Ａと、手動入力ボタン６４Ｂと、を含んでいる。自動算出ボタン６４Ａは、確信度の閾値を自動的に算出する場合に選択操作されるボタンである。手動入力ボタン６４Ｂは、確信度の閾値を手動で入力する場合に選択操作されるボタンである。
【0124】
ステップ１１２では、ＣＰＵ１２Ａが、表示制御部３６として、一例として、図１３に示す確信度閾値設定画面６４において自動算出ボタン６４Ａが選択操作されたか否かを判定する。自動算出ボタン６４Ａが選択操作されたと判定した場合（肯定判定の場合）、ステップ１１４に移行し、自動算出ボタン６４Ａが選択操作されていない、つまり、手動入力ボタン６４Ｂが選択操作されたと判定した場合（否定判定の場合）、ステップ１１８に移行する。
【0125】
ステップ１１４では、ＣＰＵ１２Ａが、表示制御部３６として、一例として、図１４又は図１５に示す目標精度設定ダイアログ６６を、確信度閾値設定画面６４に重畳して表示する制御を行い、目標精度の設定を受け付ける。
【0126】
図１４は、本実施形態に係る目標精度設定ダイアログ６６の一例を示す正面図である。
【0127】
図１４に示す目標精度設定ダイアログ６６は、確信度の閾値の算出に用いる目標精度を設定するための画面である。目標精度は、予め定められたデフォルト値を利用してもよいし、手動で設定するようにしてもよい。
【0128】
図１４の例では、確信度の閾値を２つで固定（閾値１、閾値２）とし、２つの閾値で確信度領域を３つに分ける場合について示している。この場合、閾値１に対する目標精度を入力させる。そして、入力された目標精度から、閾値２に対する目標精度が算出される。閾値２に対する目標精度の算出については後述する。
【0129】
図１４に示す目標精度設定ダイアログ６６において、実行ボタン６６Ａが選択操作されると、確信度の閾値の算出を実行し、キャンセルボタン６６Ｂが選択操作されると、確信度の閾値の算出を中止する。
【0130】
図１５は、本実施形態に係る目標精度設定ダイアログ６６の別の例を示す正面図である。
【0131】
図１５に示す目標精度設定ダイアログ６６は、確信度の閾値を増減可能とし、閾値毎に目標精度を設定する場合について示している。つまり、図１５の例では、確信度の閾値は２つに限定されるものではなく、確信度の閾値及び確信度領域の増減が可能とされている。但し、閾値１に対する目標精度の入力欄は常に表示され、削除することはできない。ダイアログ下側に配置された＋ボタンが選択操作されると、閾値に対する目標精度の入力欄が追加で表示される。閾値２に対する目標精度の入力欄は、追加された入力欄を示している。閾値２近傍に配置された×ボタンが選択操作されると、この閾値２に対する目標精度の入力欄は削除される。
【0132】
ステップ１１６では、ＣＰＵ１２Ａが、閾値算出部３０として、確信度の閾値を算出する。ＣＰＵ１２Ａは、ステップ１１４にて、一例として、図１４に示す目標精度設定ダイアログ６６を介して設定された、閾値１に対する目標精度に基づいて、一例として、上述の図７～図１０を参照して説明したように、上記式（２）を満たすように、確信度の閾値を決定する。なお、閾値２に対する目標精度は、次のようにして算出される。例えば、認識結果の確認作業を、ダブルエントリ、シングルエントリ、エントリ不要、とした場合に、システムの目標精度Ｒは、２人の確認者Ｕによるダブルエントリの目標精度と等しく、閾値１に対する目標精度（既知）となる。このとき、閾値２に対する目標精度ｒは、１人の確認者Ｕによるシングルエントリの目標精度とみなせる。但し、２人の確認者Ｕは確認作業で同じ誤りをおかさないと仮定する。
【0133】
（１）ダブルエントリでどちらかの確認者Ｕが誤っている確率は、１－ｒ２
（２）上記の場合に３番目の確認者Ｕが誤る確率は、１－ｒ
（２）上記の場合に３番目の確認者Ｕが誤る確率は、１－ｒ
【0134】
上記（１）、（２）より、１－Ｒ＝（１－ｒ）（１－ｒ２）、の関係式が成立する。ｒに関して３次方程式を解くことで、閾値２に対する目標精度ｒが算出される。
【0135】
ステップ１１８では、ＣＰＵ１２Ａが、受付部３２として、ステップ１１６で算出された確信度の閾値の入力を受け付ける、あるいは、手動入力された確信度の閾値を受け付ける。なお、確信度の閾値が手動入力の場合、一例として、図１３に示す確信度閾値設定画面６４の手動入力ボタン６４Ｂが選択操作され、手動入力用のダイアログ（図示省略）が確信度閾値設定画面６４に重畳して表示される。
【0136】
ステップ１２０では、ＣＰＵ１２Ａが、分類部３４として、ステップ１１８で入力を受け付けた閾値を、実績データ群記憶部１４Ｂに記憶されている実績データ群に適用した場合に、実績データ群の各実績データの確信度と閾値との比較結果に基づいて、実績データ群を確認作業の要否で分類する。
【0137】
ステップ１２２では、ＣＰＵ１２Ａが、表示制御部３６として、ステップ１２０で分類された分類結果を、管理者用端末装置６０に表示する制御を行う。具体的に、ＣＰＵ１２Ａは、一例として、図１６に示す確信度閾値算出結果確認ダイアログ６８を、確信度閾値設定画面６４に重畳して表示する制御を行う。
【0138】
図１６は、本実施形態に係る確信度閾値算出結果確認ダイアログ６８の一例を示す正面図である。
【0139】
図１６に示す確信度閾値算出結果確認ダイアログ６８は、分類結果画面の一例である。確信度閾値算出結果確認ダイアログ６８は、確信度閾値６８Ａ、分類結果６８Ｂ、必要データ数６８Ｃ、警告メッセージ６８Ｄ、設定するボタン６８Ｅ、及び設定しないボタン６８Ｆを含んでいる。
【0140】
確信度閾値６８Ａは、新たに算出した２つの閾値（閾値１、閾値２）を示している。これら２つの閾値によって実績データ群（この例では２９１９件）が３つの確信度領域に分類される。
【0141】
分類結果６８Ｂは、適用前の分類結果及び適用後の分類結果を示している。分類結果６８Ｂは、新たに算出した２つの閾値を実績データ群に適用した場合に、どのような分類結果になるかを示しており、既存の２つの閾値（例えば、現在設定中の閾値）を実績データ群に適用した場合の分類結果を並べて比較可能に表示されている。適用前の分類結果は、蓄積された実績データ群の２９１９件のうち、確信度領域[高]に分類される実績データが２３件、確信度領域[中]に分類される実績データが９２５件、確信度領域[低]に分類される実績データが１９７１件、である。一方、適用後の分類結果は、蓄積された実績データ群の２９１９件のうち、確信度領域[高]に分類される実績データが４２１件、確信度領域[中]に分類される実績データが１３３１件、確信度領域[低]に分類される実績データが１１６７件、である。確信度領域[高]は、確認作業が不要な領域を表し、確信度領域[中]は、１人の確認者Ｕによる確認作業が必要な領域を表し、確信度領域[低]は、２人の確認者Ｕによる確認作業が必要な領域を表す。
【0142】
なお、本実施形態は、図１６に示すように、新たに設定する閾値を２つとして、実績データ群を確認作業の要否で３つに分類する場合に限定されない。本実施形態は、新たに設定する閾値を１つとして、実績データ群を確認作業の要否で２つに分類してもよいし、あるいは、新たに設定する閾値を３つ以上として、実績データ群を確認作業の要否で４つ以上に分類してもよい。
【0143】
必要データ数６８Ｃは、予め指定された目標精度を満たす閾値を算出するために必要とされる実績データの最小件数を示している。統計的には、目標精度（０～１）をＰとした場合に、以下の式で求められるデータ数Ｎがあれば十分と言える。
【0144】
Ｎ＝１０／（１－Ｐ）
【0145】
目標精度は、システムの最終的な出力の目標精度を意味し、０～１の値（目標認識率だと０～１００％）で示される。この値が高いほど精度が高いことを意味し、目標精度が１の場合とは、システムの最終的な出力の精度が１、つまり、ＯＣＲで言えば認識率１００％を意味する。例えば、データ数が少なく、たまたま確信度が低く認識結果が正解であるデータが多く蓄積されている状態で、上述した閾値算出処理を用いて閾値を算出した場合、閾値が低めに算出されてしまうことがある。この閾値を適用した場合、期待した目標精度を満たせない可能性がある。このため、目標精度が高い場合ほど、適切な閾値を算出するためには、より多くのデータが必要となり、そのデータ数を統計上の目安として定義したのが、上記式となる。
【0146】
警告メッセージ６８Ｄは、蓄積された実績データ群の件数（図１６の例では２９１９件）が、必要データ数６８Ｃの件数（図１６の例では５０００件）を満たさない場合に表示される。この警告メッセージ６８Ｄの内容は、「期待通りの効果が得られない可能性がある」ことを示唆する内容になっている。この場合、最終的にシステム管理者ＳＥが閾値を設定するか否かの判断を行う。
【0147】
システム管理者ＳＥが、確信度閾値算出結果確認ダイアログ６８の内容を見て、設定するボタン６８Ｅを選択操作すると、一例として、図１７に示すように、新たな閾値が設定される。なお、設定しないボタン６８Ｆが選択操作された場合、新たな閾値は設定されない。ここで、蓄積された実績データ群の件数が、必要データ数６８Ｃの件数を満たさない場合、「蓄積データ数が不足しているため、閾値の設定を禁止します。」等の警告メッセージを表示してもよい。
【0148】
図１７は、本実施形態に係る確信度閾値設定画面６４の別の例を示す正面図である。
【0149】
図１７に示す確信度閾値設定画面６４では、確信度閾値１及び確信度閾値２の各々に新たな閾値が設定されている。
【0150】
図１２のステップ１２２に戻り、ＣＰＵ１２Ａは、上記のように設定された新たな閾値を、帳票定義データに反映させて、本確認処理プログラム１４Ａによる確信度閾値設定処理を終了する。
【0151】
【0152】
図１８は、本実施形態に係る確信度閾値算出結果確認ダイアログ６８の別の例を示す正面図である。
【0153】
図１８に示す確信度閾値算出結果確認ダイアログ６８には、目標精度の再入力欄６８Ｇが設けられている。この場合、システム管理者ＳＥが、再入力欄６８Ｇに目標精度を再入力し、更新ボタン６８Ｈを選択操作すると、確信度閾値６８Ａの閾値１及び閾値２が再計算され、分類結果６８Ｂが更新される。
【0154】
図１９は、本実施形態に係る確信度閾値算出結果確認ダイアログ６８の更に別の例を示す正面図である。
【0155】
図１９に示す確信度閾値算出結果確認ダイアログ６８には、工数削減率の表示欄６８Ｉが設けられている。表示欄６８Ｉには、工数削減率の一例として、２５％と表示されている。この工数削減率の具体的な算出方法について以下に説明する。
【0156】
例えば、確認作業不要（確信度領域[高]）について工数「０」、１人の確認者Ｕによる確認作業（確信度領域[中]）について工数「１」、２人の確認者Ｕによる確認作業（確信度領域[低]）について工数「２」とする。この場合、新閾値の適用前の工数は、２３件×０＋９２５件×１＋１９７１件×２＝４８６７、と算出される。一方、新閾値の適用後の工数は、４２１件×０＋１３３１件×１＋１１６７件×２＝３６６５、と算出される。これより、工数削減率は、（（４８６７－３６６５）／４８６７）×１００≒２５、つまり、２５％、と算出される。
【0157】
なお、確信度領域毎に件数増減率を算出して表示するようにしてもよい。例えば、適用前の確信度領域[中]の件数は９２５件、適用後の確信度領域[中]の件数は１３３１件である。この場合、件数増減率は、（（１３３１－９２５）／９２５）×１００≒４４、つまり、４４％（増加）、と算出される。
【0158】
図２０は、本実施形態に係る確信度閾値算出結果確認ダイアログ６８の更に別の例を示す正面図である。
【0159】
図２０に示す確信度閾値算出結果確認ダイアログ６８には、分類結果６８Ｊが設けられている。分類結果６８Ｊでは、適用後の分類結果について、実績データの件数に加えて代表画像が表示されている。この代表画像には、一例として、上述したように、各確信度領域に属する実績データのうち最も確信度の低い実績データの画像が適用される。なお、適用前の分類結果についても代表画像を表示するようにしてもよい。
【0160】
図２０に示すように、分類結果として代表画像を表示する場合、代表画像の近傍に「分類結果リストへのリンク」が設けられており、いずれかの代表画像が選択され、このリンクが選択操作されると、分類結果リストが表示される。この分類結果リストでは、一例として、選択された代表画像を含む確信度領域の実績データのリストと共に、件数が表示される。また、この分類結果リストでは、全ての確信度領域についての実績データのリストと共に、確信度領域毎の件数が表示されるようにしてもよい。
【0161】
このように本実施形態によれば、確信度によって確認作業の要否を判定する際に、確信度の判定に用いる新たな閾値を実績データ群に適用して、実績データ群を確認作業の要否で分類した分類結果が得られる。このため、確認作業の手間に対する新たな閾値の影響をユーザが把握し易くなる。
【0162】
以上、実施形態に係る情報処理装置の一例としてサーバ装置を例示して説明した。実施形態は、サーバ装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非一時的（non-transitory）記憶媒体の形態としてもよい。
【0163】
その他、上記実施形態で説明したサーバ装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【0164】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【0165】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【符号の説明】
【0166】
１０ サーバ装置
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ 確認処理プログラム
１４Ｂ 実績データ群記憶部
１４Ｃ 帳票定義データ記憶部
１６ 表示部
１８ 操作部
２０ 通信部
３０ 閾値算出部
３２ 受付部
３４ 分類部
３６ 表示制御部
４０、４０Ａ、４０Ｂ 確認者用端末装置
５０ 画像読取装置
６０ 管理者用端末装置
９０ 情報処理システム
２１０ 認識設定部
２２０ 認識処理部
２３０ 確認処理実施判定部
２４０ 確認処理部
２５０ 最終確認処理部
２６０ 認識結果出力部
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ 確認処理プログラム
１４Ｂ 実績データ群記憶部
１４Ｃ 帳票定義データ記憶部
１６ 表示部
１８ 操作部
２０ 通信部
３０ 閾値算出部
３２ 受付部
３４ 分類部
３６ 表示制御部
４０、４０Ａ、４０Ｂ 確認者用端末装置
５０ 画像読取装置
６０ 管理者用端末装置
９０ 情報処理システム
２１０ 認識設定部
２２０ 認識処理部
２３０ 確認処理実施判定部
２４０ 確認処理部
２５０ 最終確認処理部
２６０ 認識結果出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
