知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024033878
(43)【公開日】2024-03-13
(54)【発明の名称】情報処理システムおよびプログラム
(51)【国際特許分類】
G06Q 99/00 20060101AFI20240306BHJP
G06V 30/14 20220101ALI20240306BHJP
【ＦＩ】
G06Q99/00
G06V30/14 340A
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022137774
(22)【出願日】2022-08-31
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】松尾 良恵
【テーマコード（参考）】
5B029
5L049
【Ｆターム（参考）】
5B029CC25
5B029CC27
5L049EE04
5L049EE06
5L049EE07
(57)【要約】
【課題】非定型帳票に記載された記載情報を抽出する場合において、抽出する候補が記載された記載箇所を表示しない構成に比べ、抽出の結果を訂正する際のユーザの作業性を向上させる。
【解決手段】１または複数のプロセッサを備える情報処理システムにて、１または複数のプロセッサは、非定型帳票に記載された情報である記載情報から、非定型帳票の項目に対応する記載情報として抽出する候補である抽出候補を取得し、非定型帳票のうちの抽出候補が記載された記載箇所を表示部に表示する。
【選択図】図８
【解決手段】１または複数のプロセッサを備える情報処理システムにて、１または複数のプロセッサは、非定型帳票に記載された情報である記載情報から、非定型帳票の項目に対応する記載情報として抽出する候補である抽出候補を取得し、非定型帳票のうちの抽出候補が記載された記載箇所を表示部に表示する。
【選択図】図８
【特許請求の範囲】
【請求項1】
１または複数のプロセッサを備える情報処理システムであり、
前記１または複数のプロセッサは、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得し、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示する、
情報処理システム。
前記１または複数のプロセッサは、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得し、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示する、
情報処理システム。
【請求項2】
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、抽出したい当該記載情報に対する前記項目の記載内容に基づき、前記抽出候補を取得する、
請求項１に記載の情報処理システム。
前記非定型帳票の前記記載情報から、抽出したい当該記載情報に対する前記項目の記載内容に基づき、前記抽出候補を取得する、
請求項１に記載の情報処理システム。
【請求項3】
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
前記抽出の条件の達成状況に基づき、前記抽出候補の前記記載箇所を前記表示部に表示する、
請求項１に記載の情報処理システム。
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
前記抽出の条件の達成状況に基づき、前記抽出候補の前記記載箇所を前記表示部に表示する、
請求項１に記載の情報処理システム。
【請求項4】
前記１または複数のプロセッサは、
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に対して割り当てられた優先度を前記表示部に表示する、
請求項３に記載の情報処理システム。
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に対して割り当てられた優先度を前記表示部に表示する、
請求項３に記載の情報処理システム。
【請求項5】
前記１または複数のプロセッサは、
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に割り当てられた優先度の理由を前記表示部に表示する、
請求項３に記載の情報処理システム。
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に割り当てられた優先度の理由を前記表示部に表示する、
請求項３に記載の情報処理システム。
【請求項6】
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された前記抽出の条件とに基づき、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、前記抽出の条件を最も達成している候補と他の候補との間で、当該抽出候補の前記記載箇所の表示態様を異ならせる、
請求項３に記載の情報処理システム。
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された前記抽出の条件とに基づき、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、前記抽出の条件を最も達成している候補と他の候補との間で、当該抽出候補の前記記載箇所の表示態様を異ならせる、
請求項３に記載の情報処理システム。
【請求項7】
前記１または複数のプロセッサは、
前記非定型帳票の画像に、前記抽出候補の前記記載箇所を表示する、
請求項１に記載の情報処理システム。
前記非定型帳票の画像に、前記抽出候補の前記記載箇所を表示する、
請求項１に記載の情報処理システム。
【請求項8】
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、ユーザが指定した当該抽出候補の前記記載箇所を、前記非定型帳票の画像に表示する、
請求項７に記載の情報処理システム。
前記非定型帳票の前記記載情報から、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、ユーザが指定した当該抽出候補の前記記載箇所を、前記非定型帳票の画像に表示する、
請求項７に記載の情報処理システム。
【請求項9】
前記１または複数のプロセッサは、
ユーザによる前記抽出候補の選択を受け付けた場合、選択された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
請求項１に記載の情報処理システム。
ユーザによる前記抽出候補の選択を受け付けた場合、選択された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
請求項１に記載の情報処理システム。
【請求項10】
前記１または複数のプロセッサは、
選択された前記抽出候補の前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
請求項９に記載の情報処理システム。
選択された前記抽出候補の前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
請求項９に記載の情報処理システム。
【請求項11】
前記１または複数のプロセッサは、
ユーザによる前記項目に対応する前記記載情報の入力を受け付けた場合、入力された当該記載情報を、当該項目に対応する当該記載情報を抽出した結果とし、
前記非定型帳票の画像のうちの、入力された前記記載情報が記載された前記記載箇所を検出する、
請求項１に記載の情報処理システム。
ユーザによる前記項目に対応する前記記載情報の入力を受け付けた場合、入力された当該記載情報を、当該項目に対応する当該記載情報を抽出した結果とし、
前記非定型帳票の画像のうちの、入力された前記記載情報が記載された前記記載箇所を検出する、
請求項１に記載の情報処理システム。
【請求項12】
前記１または複数のプロセッサは、
検出された前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
請求項１１記載の情報処理システム。
検出された前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
請求項１１記載の情報処理システム。
【請求項13】
前記１または複数のプロセッサは、
前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
ユーザによる訂正の指示に基づき、前記抽出候補を訂正し、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていない場合であっても、訂正された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
請求項１に記載の情報処理システム。
前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
ユーザによる訂正の指示に基づき、前記抽出候補を訂正し、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていない場合であっても、訂正された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
請求項１に記載の情報処理システム。
【請求項14】
前記１または複数のプロセッサは、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていないことをユーザに知らせるための表示を前記表示部に行う、
請求項１３に記載の情報処理システム。
訂正された前記抽出候補が前記抽出の条件の全ては満たしていないことをユーザに知らせるための表示を前記表示部に行う、
請求項１３に記載の情報処理システム。
【請求項15】
前記１または複数のプロセッサは、
前記抽出の条件のうちの、訂正された前記抽出候補に一致する当該抽出の条件に対して重みを加算し、
前記項目と、前記抽出の条件と、当該抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補を取得する、
請求項１３に記載の情報処理システム。
前記抽出の条件のうちの、訂正された前記抽出候補に一致する当該抽出の条件に対して重みを加算し、
前記項目と、前記抽出の条件と、当該抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補を取得する、
請求項１３に記載の情報処理システム。
【請求項16】
コンピュータに、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得する機能と、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示させる機能と、
を実現させるためのプログラム。
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得する機能と、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示させる機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムおよびプログラムに関する。
【背景技術】
【0002】
特許文献１には文字列を含む複数の画像を用いた学習の結果に基づいて、認識対象の画像における特定項目の文字列を認識する文字列認識部と、認識対象の画像と、文字列認識部による文字列認識結果とにおいて同じ特定項目を示す対応関係が把握可能な態様で、認識対象の画像と文字列認識結果とを出力する出力部と、を備える画像処理装置について記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１２７４１号報
【発明の概要】
【発明が解決しようとする課題】
【0004】
非定型帳票に記載された記載情報を抽出した場合に、抽出された記載情報とともに、この記載情報を抽出した非定型帳票の箇所とを表示部に表示すれば、この非定型帳票のどの箇所から抽出されたかを把握することができる。
ここで、例えば、ユーザの意図しない箇所から記載情報が抽出されることがある。この場合、ユーザは、抽出の結果を訂正するために、非定型帳票上の意図する箇所を探したり、意図する記載情報を入力したりする必要がある。
本発明の目的は、非定型帳票に記載された記載情報を抽出する場合において、抽出する候補が記載された記載箇所を表示しない構成に比べ、抽出の結果を訂正する際のユーザの作業性を向上させることにある。
ここで、例えば、ユーザの意図しない箇所から記載情報が抽出されることがある。この場合、ユーザは、抽出の結果を訂正するために、非定型帳票上の意図する箇所を探したり、意図する記載情報を入力したりする必要がある。
本発明の目的は、非定型帳票に記載された記載情報を抽出する場合において、抽出する候補が記載された記載箇所を表示しない構成に比べ、抽出の結果を訂正する際のユーザの作業性を向上させることにある。
【課題を解決するための手段】
【0005】
請求項１に記載の発明は、１または複数のプロセッサを備える情報処理システムであり、前記１または複数のプロセッサは、非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得し、前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示する、情報処理システムである。
請求項２に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、抽出したい当該記載情報に対する前記項目の記載内容に基づき、前記抽出候補を取得する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、前記抽出の条件の達成状況に基づき、前記抽出候補の前記記載箇所を前記表示部に表示する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記１または複数のプロセッサは、前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に対して割り当てられた優先度を前記表示部に表示する、請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記１または複数のプロセッサは、前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に割り当てられた優先度の理由を前記表示部に表示する、請求項３に記載の情報処理システムである。
請求項６に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された前記抽出の条件とに基づき、複数の前記抽出候補を取得し、複数の前記抽出候補のうちの、前記抽出の条件を最も達成している候補と他の候補との間で、当該抽出候補の前記記載箇所の表示態様を異ならせる、請求項３に記載の情報処理システムである。
請求項７に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の画像に、前記抽出候補の前記記載箇所を表示する、請求項１に記載の情報処理システムである。
請求項８に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、複数の前記抽出候補を取得し、複数の前記抽出候補のうちの、ユーザが指定した当該抽出候補の前記記載箇所を、前記非定型帳票の画像に表示する、請求項７に記載の情報処理システムである。
請求項９に記載の発明は、前記１または複数のプロセッサは、ユーザによる前記抽出候補の選択を受け付けた場合、選択された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、請求項１に記載の情報処理システムである。
請求項１０に記載の発明は、前記１または複数のプロセッサは、選択された前記抽出候補の前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、請求項９に記載の情報処理システムである。
請求項１１に記載の発明は、前記１または複数のプロセッサは、ユーザによる前記項目に対応する前記記載情報の入力を受け付けた場合、入力された当該記載情報を、当該項目に対応する当該記載情報を抽出した結果とし、前記非定型帳票の画像のうちの、入力された前記記載情報が記載された前記記載箇所を検出する、請求項１に記載の情報処理システムである。
請求項１２に記載の発明は、前記１または複数のプロセッサは、検出された前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、請求項１１記載の情報処理システムである。
請求項１３に記載の発明は、前記１または複数のプロセッサは、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、ユーザによる訂正の指示に基づき、前記抽出候補を訂正し、訂正された前記抽出候補が前記抽出の条件の全ては満たしていない場合であっても、訂正された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、請求項１に記載の情報処理システムである。
請求項１４に記載の発明は、前記１または複数のプロセッサは、訂正された前記抽出候補が前記抽出の条件の全ては満たしていないことをユーザに知らせるための表示を前記表示部に行う、請求項１３に記載の情報処理システムである。
請求項１５に記載の発明は、前記１または複数のプロセッサは、前記抽出の条件のうちの、訂正された前記抽出候補に一致する当該抽出の条件に対して重みを加算し、前記項目と、前記抽出の条件と、当該抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補を取得する、請求項１３に記載の情報処理システムである。
請求項１６に記載の発明は、コンピュータに、非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得する機能と、前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示させる機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、抽出したい当該記載情報に対する前記項目の記載内容に基づき、前記抽出候補を取得する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、前記抽出の条件の達成状況に基づき、前記抽出候補の前記記載箇所を前記表示部に表示する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記１または複数のプロセッサは、前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に対して割り当てられた優先度を前記表示部に表示する、請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記１または複数のプロセッサは、前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に割り当てられた優先度の理由を前記表示部に表示する、請求項３に記載の情報処理システムである。
請求項６に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された前記抽出の条件とに基づき、複数の前記抽出候補を取得し、複数の前記抽出候補のうちの、前記抽出の条件を最も達成している候補と他の候補との間で、当該抽出候補の前記記載箇所の表示態様を異ならせる、請求項３に記載の情報処理システムである。
請求項７に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の画像に、前記抽出候補の前記記載箇所を表示する、請求項１に記載の情報処理システムである。
請求項８に記載の発明は、前記１または複数のプロセッサは、前記非定型帳票の前記記載情報から、複数の前記抽出候補を取得し、複数の前記抽出候補のうちの、ユーザが指定した当該抽出候補の前記記載箇所を、前記非定型帳票の画像に表示する、請求項７に記載の情報処理システムである。
請求項９に記載の発明は、前記１または複数のプロセッサは、ユーザによる前記抽出候補の選択を受け付けた場合、選択された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、請求項１に記載の情報処理システムである。
請求項１０に記載の発明は、前記１または複数のプロセッサは、選択された前記抽出候補の前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、請求項９に記載の情報処理システムである。
請求項１１に記載の発明は、前記１または複数のプロセッサは、ユーザによる前記項目に対応する前記記載情報の入力を受け付けた場合、入力された当該記載情報を、当該項目に対応する当該記載情報を抽出した結果とし、前記非定型帳票の画像のうちの、入力された前記記載情報が記載された前記記載箇所を検出する、請求項１に記載の情報処理システムである。
請求項１２に記載の発明は、前記１または複数のプロセッサは、検出された前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、請求項１１記載の情報処理システムである。
請求項１３に記載の発明は、前記１または複数のプロセッサは、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、ユーザによる訂正の指示に基づき、前記抽出候補を訂正し、訂正された前記抽出候補が前記抽出の条件の全ては満たしていない場合であっても、訂正された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、請求項１に記載の情報処理システムである。
請求項１４に記載の発明は、前記１または複数のプロセッサは、訂正された前記抽出候補が前記抽出の条件の全ては満たしていないことをユーザに知らせるための表示を前記表示部に行う、請求項１３に記載の情報処理システムである。
請求項１５に記載の発明は、前記１または複数のプロセッサは、前記抽出の条件のうちの、訂正された前記抽出候補に一致する当該抽出の条件に対して重みを加算し、前記項目と、前記抽出の条件と、当該抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補を取得する、請求項１３に記載の情報処理システムである。
請求項１６に記載の発明は、コンピュータに、非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得する機能と、前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示させる機能と、を実現させるためのプログラムである。
【発明の効果】
【0006】
請求項１，１６の発明によれば、非定型帳票に記載された記載情報を抽出する場合において、抽出する候補が記載された記載箇所を表示しない構成に比べ、抽出の結果を訂正する際のユーザの作業性を向上させることができる。
請求項２の発明によれば、非定型帳票の項目の記載内容に基づき、抽出候補を取得することができる。
請求項３の発明によれば、抽出の条件の達成状況を考慮しない構成に比べ、抽出候補を選択する際のユーザの作業性を向上させることができる。
請求項４の発明によれば、ユーザが抽出候補の優先度を比較することができる。
請求項５の発明によれば、ユーザが抽出候補の優先度の理由を参照することができる。
請求項６の発明によれば、抽出の条件に最も合致した抽出候補を、他の抽出候補と異ならせて表示することができる。
請求項７の発明によれば、抽出候補を選択する際に、記載情報を抽出した箇所をユーザが参照することができる。
請求項８の発明によれば、非定型帳票の画像上に抽出候補候補の記載箇所を全て表示する構成に比べ、表示部が煩雑になることを抑制する。
請求項９の発明によれば、項目に対応する記載情報を、ユーザによる手入力で訂正する構成に比べ、ユーザの作業性を向上させることができる。
請求項１０の発明によれば、選択した抽出候補の記載箇所を学習しない構成に比べ、項目に対応する記載情報を抽出する精度を向上させることができる。
請求項１１の発明によれば、ユーザが入力した記載情報の記載箇所をユーザが指定する構成に比べ、項目に対応する記載情報を変更する際のユーザの作業性を向上させることができる。
請求項１２の発明によれば、変更した記載情報として検出した記載箇所を学習しない構成に比べ、項目に対応する記載情報を抽出する精度を向上させることができる。
請求項１３の発明によれば、訂正された抽出候補が抽出の条件の全ては満たしていない場合であっても、訂正された抽出候補を、項目に対応する記載情報として保持することができる。
請求項１４の発明によれば、訂正した抽出候補が抽出の条件を満たさないことをユーザに知らせることができる。
請求項１５の発明によれば、単に抽出の条件の何れかと一致する記載情報を抽出する構成に比べ、重要な条件に一致する記載情報を抽出することができる。
請求項２の発明によれば、非定型帳票の項目の記載内容に基づき、抽出候補を取得することができる。
請求項３の発明によれば、抽出の条件の達成状況を考慮しない構成に比べ、抽出候補を選択する際のユーザの作業性を向上させることができる。
請求項４の発明によれば、ユーザが抽出候補の優先度を比較することができる。
請求項５の発明によれば、ユーザが抽出候補の優先度の理由を参照することができる。
請求項６の発明によれば、抽出の条件に最も合致した抽出候補を、他の抽出候補と異ならせて表示することができる。
請求項７の発明によれば、抽出候補を選択する際に、記載情報を抽出した箇所をユーザが参照することができる。
請求項８の発明によれば、非定型帳票の画像上に抽出候補候補の記載箇所を全て表示する構成に比べ、表示部が煩雑になることを抑制する。
請求項９の発明によれば、項目に対応する記載情報を、ユーザによる手入力で訂正する構成に比べ、ユーザの作業性を向上させることができる。
請求項１０の発明によれば、選択した抽出候補の記載箇所を学習しない構成に比べ、項目に対応する記載情報を抽出する精度を向上させることができる。
請求項１１の発明によれば、ユーザが入力した記載情報の記載箇所をユーザが指定する構成に比べ、項目に対応する記載情報を変更する際のユーザの作業性を向上させることができる。
請求項１２の発明によれば、変更した記載情報として検出した記載箇所を学習しない構成に比べ、項目に対応する記載情報を抽出する精度を向上させることができる。
請求項１３の発明によれば、訂正された抽出候補が抽出の条件の全ては満たしていない場合であっても、訂正された抽出候補を、項目に対応する記載情報として保持することができる。
請求項１４の発明によれば、訂正した抽出候補が抽出の条件を満たさないことをユーザに知らせることができる。
請求項１５の発明によれば、単に抽出の条件の何れかと一致する記載情報を抽出する構成に比べ、重要な条件に一致する記載情報を抽出することができる。
【図面の簡単な説明】
【0007】
【図1】本実施形態が適用される情報処理システムの全体構成例を示した図である。
【図2】本実施形態に係るＯＣＲ処理サーバ、ユーザ端末の構成例を示す図である。
【図3】本実施形態に係るＯＣＲ処理サーバの機能構成の一例を示す図である。
【図4】本実施形態に係るユーザ端末の機能構成の一例を示す図である。
【図5】本実施形態に係るＯＣＲ処理サーバが抽出候補をユーザに確認させる処理の流れを示したフロー図である。
【図6】本実施形態に係るユーザ端末の表示部の表示の一例を示す図である。
【図7】抽出候補に対する優先度の割り当ての一例を示した図である。
【図8】本実施形態に係る抽出候補の表示の一例を示す図である。
【図9】本実施形態に係る抽出候補の表示の他の例を示す図である。
【図10】本実施形態に係る抽出候補の表示の他の例を示す図である。
【図11】本実施形態に係る抽出候補の表示の他の例を示す図である。
【図12】本実施形態に係る抽出候補の表示の他の例を示す図である。
【図13】本実施形態に係る抽出候補の表示の他の例を示す図であり、（Ａ）は抽出候補が特定の条件を満たす状態、（Ｂ）は抽出候補が特定の条件を解消した状態を示している。
【図14】本実施形態に係る抽出候補の表示の他の例を示す図である。
【図15】本実施形態に係る抽出候補の表示の他の例を示す図である。
【図16】本実施形態に係るユーザ端末が抽出候補の訂正を要求する処理の流れを示したフロー図である。
【図17】本実施形態に係るＯＣＲ処理サーバが抽出結果を学習する処理の流れを示したフロー図である。
【図18】実施形態に係るユーザ端末が抽出結果を入力する処理の流れを示したフロー図である。
【図19】本実施形態に係るユーザ端末の表示部の表示の他の例を示す図である。
【図20】本実施形態に係る確認画面の一例を示す図である。
【図21】本実施形態に係る抽出候補の表示の他の例を示す図である。
【発明を実施するための形態】
【0008】
以下、添付図面を参照して、本発明を実施するための形態について説明する。
＜実施の形態＞
［情報処理システム１］
図１は、本実施形態が適用される情報処理システム１の全体構成例を示した図である。
本実施形態に係る情報処理システム１は、非定型帳票の画像データをＯＣＲ（Optical Character Recognition）処理するＯＣＲ処理サーバ１０と、ユーザが操作するユーザ端末３０とが、通信回線８０を介して接続されることにより構成されている。この通信回線８０は、例えば、インターネット等の回線であり、ＯＣＲ処理サーバ１０とユーザ端末３０との間の情報通信に用いられる。
また、情報処理システム１は、ユーザの文書を管理する文書管理サーバ２０や、原稿を読み取る機能を有する画像形成装置４０、非定型帳票の画像データをＯＣＲ処理の結果の出力先である業務サーバ５０を備えてもよい。
＜実施の形態＞
［情報処理システム１］
図１は、本実施形態が適用される情報処理システム１の全体構成例を示した図である。
本実施形態に係る情報処理システム１は、非定型帳票の画像データをＯＣＲ（Optical Character Recognition）処理するＯＣＲ処理サーバ１０と、ユーザが操作するユーザ端末３０とが、通信回線８０を介して接続されることにより構成されている。この通信回線８０は、例えば、インターネット等の回線であり、ＯＣＲ処理サーバ１０とユーザ端末３０との間の情報通信に用いられる。
また、情報処理システム１は、ユーザの文書を管理する文書管理サーバ２０や、原稿を読み取る機能を有する画像形成装置４０、非定型帳票の画像データをＯＣＲ処理の結果の出力先である業務サーバ５０を備えてもよい。
【0009】
本実施形態における「非定型帳票」は、帳票中に記載された情報を抽出する箇所や、抽出される情報の意味などが予め設定されていない帳票のことである。非定型帳票として、例えば申込書、請求書、納品書、伝票等の帳票の記入欄の位置が一様ではない帳票が挙げられる。非定型帳票の記入欄は、手書きで文字が記入されていてもよいし、印刷で文字が記入されていてもよい。
また、非定型帳票は、例えばオフィスソフトその他のアプリケーションプログラムで作成されたオフィス文書、電子メール、原稿から光学的に読み取ったイメージデータ、ファクシミリ文書、写真、会計データ、医療データ、データベースその他である。非定型帳票には、静止画像に限らず、動画像も含まれる。静止画像には、図や絵も含まれる。
また、非定型帳票は、例えばオフィスソフトその他のアプリケーションプログラムで作成されたオフィス文書、電子メール、原稿から光学的に読み取ったイメージデータ、ファクシミリ文書、写真、会計データ、医療データ、データベースその他である。非定型帳票には、静止画像に限らず、動画像も含まれる。静止画像には、図や絵も含まれる。
【0010】
本実施形態におけるＯＣＲ処理サーバ１０は、非定型帳票の画像データをＯＣＲ処理し、非定型帳票に記載されている文字を認識するサーバである。ＯＣＲ処理サーバ１０は、非定型帳票の画像データから、非定型帳票の特定の項目に対応するテキストデータの候補を抽出する。換言すると、ＯＣＲ処理サーバ１０は、非定型帳票に記載された情報である記載情報から、この非定型帳票の項目に対応する記載情報として抽出する候補（以下「抽出候補」という。）を取得する。
図１に示す情報処理システム１には、ＯＣＲ処理サーバ１０は１台のサーバで構成されているが、複数台のサーバで構成されてもよい。ＯＣＲ処理サーバ１０は、いわゆるクラウドサーバとして構成されてもよいし、オンプレミス型のサーバとして構成されてもよい。
図１に示す情報処理システム１には、ＯＣＲ処理サーバ１０は１台のサーバで構成されているが、複数台のサーバで構成されてもよい。ＯＣＲ処理サーバ１０は、いわゆるクラウドサーバとして構成されてもよいし、オンプレミス型のサーバとして構成されてもよい。
【0011】
本実施形態におけるユーザ端末３０は、ＯＣＲ処理サーバ１０によるＯＣＲ処理の結果を確認するためにユーザが使用する情報端末装置である。ユーザ端末３０は、ＯＣＲ処理サーバ１０により取得された抽出候補を提示し、ＯＣＲ処理の結果の確定や訂正を指示する操作をユーザから受け付ける。また、ユーザ端末３０は、非定型帳票のうちの抽出候補が記載された箇所（以下「記載箇所」という。）を表示する。
ユーザ端末３０には、ユーザに対して画像やテキスト情報などを表示する液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネルなどからなる表示部３０Ａが設けられている。
ユーザ端末３０としては、例えば、コンピュータ装置、タブレット型情報端末、スマートフォン、その他の情報処理装置が挙げられる。
ユーザ端末３０には、ユーザに対して画像やテキスト情報などを表示する液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネルなどからなる表示部３０Ａが設けられている。
ユーザ端末３０としては、例えば、コンピュータ装置、タブレット型情報端末、スマートフォン、その他の情報処理装置が挙げられる。
【0012】
本実施形態における文書管理サーバ２０は、ＯＣＲ処理の対象となる文書の画像データを管理している。文書管理サーバ２０は、管理している画像データを、ＯＣＲ処理サーバ１０に入力する。
本実施形態における画像形成装置４０は、少なくとも原稿を読み取るスキャン機能を有し、紙媒体の原稿の画像データを取得する。画像形成装置４０は、取得した画像データを、ＯＣＲ処理サーバ１０に入力する。また、画像形成装置４０は、プリンタ機能、コピー機能、及びファクシミリ機能等を有していてもよい。
本実施形態において、文書管理サーバ２０および画像形成装置４０は、ＯＣＲ処理の対象となる画像データをＯＣＲ処理サーバ１０に入力する入力装置の一例である。
本実施形態における画像形成装置４０は、少なくとも原稿を読み取るスキャン機能を有し、紙媒体の原稿の画像データを取得する。画像形成装置４０は、取得した画像データを、ＯＣＲ処理サーバ１０に入力する。また、画像形成装置４０は、プリンタ機能、コピー機能、及びファクシミリ機能等を有していてもよい。
本実施形態において、文書管理サーバ２０および画像形成装置４０は、ＯＣＲ処理の対象となる画像データをＯＣＲ処理サーバ１０に入力する入力装置の一例である。
【0013】
業務サーバ５０は、ＯＣＲ処理サーバ１０がＯＣＲ処理の結果を利用して、特定の業務の遂行を担当する。業務サーバ５０は、ＯＣＲ処理の結果に基づいて、顧客の情報の管理や、経費の計算などを行う。
本実施形態において、業務サーバ５０は、ＯＣＲ処理サーバ１０が非定型帳票の画像データをＯＣＲ処理の結果を出力する出力先の一例である。
本実施形態において、業務サーバ５０は、ＯＣＲ処理サーバ１０が非定型帳票の画像データをＯＣＲ処理の結果を出力する出力先の一例である。
【0014】
ここで、本実施形態の情報処理システム１の概要を説明する。
ＯＣＲ処理サーバ１０が、文書管理サーバ２０、ユーザ端末３０、画像形成装置４０などから入力された非定型帳票の画像データに対してＯＣＲ処理を行い、ＯＣＲ処理の結果を業務サーバ５０などの予め定められた出力先に出力する。
また、ＯＣＲ処理サーバ１０では、読取り定義設定や、出力設定、業務チェック設定が行われたり、抽出候補を基に非定型帳票の画像データを分割したり、抽出候補の確認・訂正を受け付けたりする。
読取り定義設定では、例えば項目の右付近から項目値を読取るといった、ＯＣＲ処理において画像データの情報を読取る範囲である読取り範囲が設定される。出力設定では、出力する出力データのファイル形式、及び出力先が設定される。業務チェック設定では、出力データに入力可能な文字数等の書式等が設定される。
ＯＣＲ処理サーバ１０が、文書管理サーバ２０、ユーザ端末３０、画像形成装置４０などから入力された非定型帳票の画像データに対してＯＣＲ処理を行い、ＯＣＲ処理の結果を業務サーバ５０などの予め定められた出力先に出力する。
また、ＯＣＲ処理サーバ１０では、読取り定義設定や、出力設定、業務チェック設定が行われたり、抽出候補を基に非定型帳票の画像データを分割したり、抽出候補の確認・訂正を受け付けたりする。
読取り定義設定では、例えば項目の右付近から項目値を読取るといった、ＯＣＲ処理において画像データの情報を読取る範囲である読取り範囲が設定される。出力設定では、出力する出力データのファイル形式、及び出力先が設定される。業務チェック設定では、出力データに入力可能な文字数等の書式等が設定される。
【0015】
ユーザ端末３０にて、非定型帳票の画像データから特定の項目に対応する記載情報を抽出する指示をユーザから受けた場合、ＯＣＲ処理サーバ１０による抽出が要求され、この抽出の結果に関する表示が行われる。ユーザ端末３０は、非定型帳票のうちの特定の項目に対応する記載情報の候補を、表示部３０Ａに表示する。具体的には、ユーザ端末３０は、特定の項目に対応する記載情報の候補について、抽出された記載情報そのものであるテキストデータの記載箇所を、表示部３０Ａに表示する。
【0016】
これにより、ユーザが、ユーザ端末３０にてＯＣＲ処理サーバ１０による抽出の結果を訂正する場合に、提示された抽出候補の記載箇所を参照する。
本実施形態は、ＯＣＲ処理サーバ１０による抽出の結果が確定される前に、記載情報と記載箇所と対応付けて抽出候補を表示することで、抽出の結果を訂正する際のユーザの作業性を向上させることを図る。
本実施形態は、ＯＣＲ処理サーバ１０による抽出の結果が確定される前に、記載情報と記載箇所と対応付けて抽出候補を表示することで、抽出の結果を訂正する際のユーザの作業性を向上させることを図る。
【0017】
〔ハードウェア構成〕
図２は、本実施形態に係るＯＣＲ処理サーバ１０、ユーザ端末３０の構成例を示す図である。
本実施形態に係るＯＣＲ処理サーバ１０、ユーザ端末３０の各装置は、装置全体の動作を制御する制御部１１と、非定型帳票に関する情報等が記録される２次記憶部１２と、通信回線８０（図１参照）を介して情報の送受信を行う通信部１３とを有している。
なお、制御部１１と、２次記憶部１２と、通信部１３とは、バスや信号線を通じて接続される。
図２は、本実施形態に係るＯＣＲ処理サーバ１０、ユーザ端末３０の構成例を示す図である。
本実施形態に係るＯＣＲ処理サーバ１０、ユーザ端末３０の各装置は、装置全体の動作を制御する制御部１１と、非定型帳票に関する情報等が記録される２次記憶部１２と、通信回線８０（図１参照）を介して情報の送受信を行う通信部１３とを有している。
なお、制御部１１と、２次記憶部１２と、通信部１３とは、バスや信号線を通じて接続される。
【0018】
制御部１１は、プロセッサの一例として装置全体を制御するＣＰＵ１１ａ、ＣＰＵ１１ａの作業用メモリ等として用いられるＲＡＭ１１ｂ、ＣＰＵ１１ａにより実行されるプログラム等が格納されるＲＯＭ１１ｃを備えている。また、制御部１１は、書き換え可能で電源供給が途絶えた場合にもデータを保持できる不揮発性メモリ１１ｄ、制御部１１に接続される通信部１３等の各部を制御するインターフェース部１１ｅを備えている。
不揮発性メモリ１１ｄは、例えば、電池によりバックアップされたＳＲＡＭやフラッシュメモリ等によって構成される。また、制御部１１が２次記憶部１２に記憶されたプログラムを読み込むことによって、本実施形態の各装置にて各処理が実行される。
不揮発性メモリ１１ｄは、例えば、電池によりバックアップされたＳＲＡＭやフラッシュメモリ等によって構成される。また、制御部１１が２次記憶部１２に記憶されたプログラムを読み込むことによって、本実施形態の各装置にて各処理が実行される。
【0019】
２次記憶部１２は、例えばハードディスク装置（ＨＤＤ）や半導体メモリ等によって構成される。２次記憶部１２は、各装置の商品形態によって異なる。２次記憶部１２には、例えば非定型帳票についての情報等が保存される。その他、２次記憶部１２には、制御部１１により実行されるプログラムや、ＯＣＲ処理の抽出条件についての情報等が記憶されている。
【0020】
この他、ユーザ端末３０は、キーボードやマウス等の入力デバイス、液晶ディスプレイ等により構成される表示部３０Ａ（図２では不図示）を備える。ユーザ端末３０にて、入力デバイスがタッチパネルの場合、表示部３０Ａと一体となって設けられてもよい。
【0021】
〔ＯＣＲ処理サーバ１０の機能構成〕
図３は、本実施形態に係るＯＣＲ処理サーバ１０の機能構成の一例を示す図である。図３に示すＯＣＲ処理サーバ１０の各機能は、主に制御部１１のＣＰＵ１１ａによって実現される。
図３に示すように、ＯＣＲ処理サーバ１０は、非定型帳票取得部１０１と、要求情報取得部１０２と、ＯＣＲ処理部１０３と、優先度付与部１０４と、抽出候補出力部１０５と、抽出結果訂正部１０６と、抽出結果出力部１０７とを備えている。また、ＯＣＲ処理サーバ１０は、非定型帳票データベース（ＤＢ）１０８と、抽出候補ＤＢ１０９と、学習ＤＢ１１０とを備えている。
図３は、本実施形態に係るＯＣＲ処理サーバ１０の機能構成の一例を示す図である。図３に示すＯＣＲ処理サーバ１０の各機能は、主に制御部１１のＣＰＵ１１ａによって実現される。
図３に示すように、ＯＣＲ処理サーバ１０は、非定型帳票取得部１０１と、要求情報取得部１０２と、ＯＣＲ処理部１０３と、優先度付与部１０４と、抽出候補出力部１０５と、抽出結果訂正部１０６と、抽出結果出力部１０７とを備えている。また、ＯＣＲ処理サーバ１０は、非定型帳票データベース（ＤＢ）１０８と、抽出候補ＤＢ１０９と、学習ＤＢ１１０とを備えている。
【0022】
非定型帳票取得部１０１は、非定型帳票の画像データを取得する。非定型帳票取得部１０１は、自装置の２次記憶部１２や、他の装置から非定型帳票の画像データを受信した通信部１３から、非定型帳票の画像データを取得する。他の装置としては、例えば、文書管理サーバ２０、ユーザ端末３０、画像形成装置４０が挙げられる。
非定型帳票取得部１０１は、取得した非定型帳票の画像データを、非定型帳票ＤＢ１０８に格納する。
非定型帳票取得部１０１は、取得した非定型帳票の画像データを、非定型帳票ＤＢ１０８に格納する。
【0023】
要求情報取得部１０２は、ユーザが使用するユーザ端末３０を介してユーザの要求を示す要求情報を取得する。具体的には、要求情報取得部１０２は、ユーザにユーザ端末３０を介して要求を入力させ、ユーザが入力した要求情報を、通信回線８０を介して取得する。
なお、要求情報取得部１０２が要求情報を取得する方法は、上記方法に限定されるものではない。
なお、要求情報取得部１０２が要求情報を取得する方法は、上記方法に限定されるものではない。
【0024】
ＯＣＲ処理部１０３は、非定型帳票の画像データに対して文字認識処理を実行して、非定型帳票に含まれる記載情報を抽出する。
ＯＣＲ処理部１０３は、抽出候補として、ユーザが要求する記載情報に対する項目の記載内容に基づき、要求された記載情報を抽出する。
本実施形態では、非定型帳票に記載されている項目自体を「キー」と称し、項目に対応する記載情報を「バリュー」と称する場合がある。付言すると、キーは項目名であり、バリューは項目値である。
ＯＣＲ処理部１０３は、抽出候補として、ユーザが要求する記載情報に対する項目の記載内容に基づき、要求された記載情報を抽出する。
本実施形態では、非定型帳票に記載されている項目自体を「キー」と称し、項目に対応する記載情報を「バリュー」と称する場合がある。付言すると、キーは項目名であり、バリューは項目値である。
【0025】
ＯＣＲ処理部１０３は、上述したように、非定型帳票の画像データに対して文字認識処理を実行して、キーとバリューとを抽出するキーバリュー抽出を行う。
例えば、非定型帳票において、「氏名」というキーの周辺には、バリューに相当する氏名を表す文字が記載されていることが多い。ＯＣＲ処理部１０３は、項目「氏名」が選択された場合に、非定型帳票の画像データから、キーに相当する「氏名」の文字を特定し、この「氏名」が特定された箇所の周辺から、バリューに相当する記載情報を抽出する。また、ＯＣＲ処理部１０３は、項目「氏名」が選択された場合に、「氏名」と同様の意味をもつ「名前」や「なまえ」、「Ｎａｍｅ」などが特定される箇所の周辺からも、バリューに相当する記載情報を抽出してもよい。
例えば、非定型帳票において、「氏名」というキーの周辺には、バリューに相当する氏名を表す文字が記載されていることが多い。ＯＣＲ処理部１０３は、項目「氏名」が選択された場合に、非定型帳票の画像データから、キーに相当する「氏名」の文字を特定し、この「氏名」が特定された箇所の周辺から、バリューに相当する記載情報を抽出する。また、ＯＣＲ処理部１０３は、項目「氏名」が選択された場合に、「氏名」と同様の意味をもつ「名前」や「なまえ」、「Ｎａｍｅ」などが特定される箇所の周辺からも、バリューに相当する記載情報を抽出してもよい。
【0026】
また、ＯＣＲ処理部１０３は、キーが特定された箇所に対応する記載情報の中から、項目に設定された抽出の条件に基づき、抽出候補のバリューを抽出してもよい。
項目に設定される抽出の条件は、キーに対応するバリューの種別やフォーマットを限定する情報であり、抽出候補のバリューを特定するにあたってヒントになる情報である。
具体的には、抽出の条件として、バリューの内容が、例えば日付、電話番号、郵便番号、生年月日、数値、氏名、氏名のふりがな等であると設定される。
その他、抽出の条件として、バリューの表記が、例えば西暦、和暦、月日、数字がｎ以上／ｎ以下、漢字、ひらがな、カタカナ、アルファベット等であると設定される。
項目に設定される抽出の条件は、キーに対応するバリューの種別やフォーマットを限定する情報であり、抽出候補のバリューを特定するにあたってヒントになる情報である。
具体的には、抽出の条件として、バリューの内容が、例えば日付、電話番号、郵便番号、生年月日、数値、氏名、氏名のふりがな等であると設定される。
その他、抽出の条件として、バリューの表記が、例えば西暦、和暦、月日、数字がｎ以上／ｎ以下、漢字、ひらがな、カタカナ、アルファベット等であると設定される。
【0027】
優先度付与部１０４は、抽出候補の各々に対し、ＯＣＲ処理の確からしさに基づいて優先度を付与する。
具体的には、優先度付与部１０４は、項目に設定された抽出の条件の達成状況に基づき、抽出候補に対して優先度を割り当てる。また、優先度付与部１０４は、キーが特定された箇所に基づき、抽出候補に対して優先度を割り当ててもよい。
具体的には、優先度付与部１０４は、項目に設定された抽出の条件の達成状況に基づき、抽出候補に対して優先度を割り当てる。また、優先度付与部１０４は、キーが特定された箇所に基づき、抽出候補に対して優先度を割り当ててもよい。
【0028】
抽出候補出力部１０５は、ＯＣＲ処理部１０３が抽出した抽出候補に関する情報を、ユーザ端末３０へ出力する。
具体的には、抽出候補出力部１０５は、記載情報、記載箇所、および優先度を含む抽出候補のバリューに係る情報を、通信部１３を介してユーザ端末３０へ出力する。
具体的には、抽出候補出力部１０５は、記載情報、記載箇所、および優先度を含む抽出候補のバリューに係る情報を、通信部１３を介してユーザ端末３０へ出力する。
【0029】
抽出結果訂正部１０６は、要求情報取得部１０２が取得した要求情報に基づいて、抽出結果に相当する抽出候補を訂正する。換言すると、抽出結果訂正部１０６は、要求情報取得部１０２が取得した要求情報に基づいて、ＯＣＲ処理部１０３が抽出した優先度１の抽出候補に関する情報を変更する。
具体的には、抽出結果訂正部１０６は、抽出候補に対し、優先度、記載情報、および記載箇所の少なくとも１つの変更を実施する。これにより、ＯＣＲ処理部１０３による抽出結果に、訂正された内容が反映される。
具体的には、抽出結果訂正部１０６は、抽出候補に対し、優先度、記載情報、および記載箇所の少なくとも１つの変更を実施する。これにより、ＯＣＲ処理部１０３による抽出結果に、訂正された内容が反映される。
【0030】
抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果を管理する。
抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果を、自装置の２次記憶部１２やユーザ端末３０、その他の装置へ出力する。抽出結果出力部１０７は、抽出候補出力部１０５が優先度１として出力した抽出候補、または抽出結果訂正部１０６が訂正した抽出候補を、ＯＣＲ処理部１０３による抽出結果として出力する。
抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果として出力した内容を、学習ＤＢ１１０に格納する。また、抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果として出力した内容が、抽出候補出力部１０５により優先度１として出力された抽出候補の内容から変更されている場合に、この変更の内容を学習ＤＢ１１０に格納する。
抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果を、自装置の２次記憶部１２やユーザ端末３０、その他の装置へ出力する。抽出結果出力部１０７は、抽出候補出力部１０５が優先度１として出力した抽出候補、または抽出結果訂正部１０６が訂正した抽出候補を、ＯＣＲ処理部１０３による抽出結果として出力する。
抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果として出力した内容を、学習ＤＢ１１０に格納する。また、抽出結果出力部１０７は、ＯＣＲ処理部１０３による抽出結果として出力した内容が、抽出候補出力部１０５により優先度１として出力された抽出候補の内容から変更されている場合に、この変更の内容を学習ＤＢ１１０に格納する。
【0031】
非定型帳票ＤＢ１０８は、非定型帳票取得部１０１が取得した非定型帳票の画像データを記憶し蓄積する。
抽出候補ＤＢ１０９は、ＯＣＲ処理部１０３により抽出された抽出候補を記憶している。具体的には、抽出候補ＤＢ１０９は、ＯＣＲ処理により抽出されたキーとバリューとを対応付けて記憶し蓄積する。
学習ＤＢ１１０は、抽出結果出力部１０７が出力したＯＣＲ処理部１０３による抽出結果を記憶し蓄積する。具体的には、学習ＤＢ１１０は、抽出結果に対し訂正が行われた場合に、抽出結果として、バリューだけでなく、キーが特定された箇所、キーとバリューとの位置関係、項目に設定された抽出の条件のうちのバリューが該当する抽出の条件などの情報を記憶し蓄積する。
抽出候補ＤＢ１０９は、ＯＣＲ処理部１０３により抽出された抽出候補を記憶している。具体的には、抽出候補ＤＢ１０９は、ＯＣＲ処理により抽出されたキーとバリューとを対応付けて記憶し蓄積する。
学習ＤＢ１１０は、抽出結果出力部１０７が出力したＯＣＲ処理部１０３による抽出結果を記憶し蓄積する。具体的には、学習ＤＢ１１０は、抽出結果に対し訂正が行われた場合に、抽出結果として、バリューだけでなく、キーが特定された箇所、キーとバリューとの位置関係、項目に設定された抽出の条件のうちのバリューが該当する抽出の条件などの情報を記憶し蓄積する。
【0032】
〔ユーザ端末３０の機能構成〕
図４は、本実施形態に係るユーザ端末３０の機能構成の一例を示す図である。図４に示すユーザ端末３０の各機能は、主に制御部１１のＣＰＵ１１ａによって実現される。
図４に示すように、ユーザ端末３０は、操作判定部３０１と、表示制御部３０２と、抽出候補管理部３０３と、通信制御部３０４とを備えている。
図４は、本実施形態に係るユーザ端末３０の機能構成の一例を示す図である。図４に示すユーザ端末３０の各機能は、主に制御部１１のＣＰＵ１１ａによって実現される。
図４に示すように、ユーザ端末３０は、操作判定部３０１と、表示制御部３０２と、抽出候補管理部３０３と、通信制御部３０４とを備えている。
【0033】
操作判定部３０１は、ユーザ端末３０に対し、入力デバイス等を介したユーザ操作が行われたか否かを判定する。このユーザ操作とは、例えば、非定型帳票の画像データから記載情報を抽出する項目の選択を指示する操作、項目毎に抽出の条件の設定を指示する操作、抽出結果の選択を指示する操作等である。
【0034】
表示制御部３０２は、表示部３０Ａにおける表示の態様等を制御する。
具体的には、表示制御部３０２は、表示部３０Ａに表示される抽出候補を提示する操作画面の表示態様を制御する。表示制御部３０２は、例えば、非定型帳票のうちの抽出候補の記載箇所を示すように、操作画面の表示態様を制御する。
具体的には、表示制御部３０２は、表示部３０Ａに表示される抽出候補を提示する操作画面の表示態様を制御する。表示制御部３０２は、例えば、非定型帳票のうちの抽出候補の記載箇所を示すように、操作画面の表示態様を制御する。
【0035】
抽出候補管理部３０３は、抽出候補の提示に関する情報を管理する。換言すると、抽出候補管理部３０３は、表示制御部３０２が使用する情報を管理する。
抽出候補管理部３０３が管理する情報としては、例えば、抽出候補の記載情報と記載箇所とを対応付けた情報、抽出候補の各々に割り当てられた優先度を示す情報、抽出候補の各々の抽出の条件の達成状況の詳細などが挙げられる。
抽出候補管理部３０３が管理する情報としては、例えば、抽出候補の記載情報と記載箇所とを対応付けた情報、抽出候補の各々に割り当てられた優先度を示す情報、抽出候補の各々の抽出の条件の達成状況の詳細などが挙げられる。
【0036】
通信制御部３０４は、通信部１３が送信する情報を処理したり、受信した情報を処理したりする。
通信制御部３０４は、通信部１３を介し、ＯＣＲ処理サーバ１０に対して項目に対応する記載情報の抽出を要求したり、抽出結果の訂正を要求したりする。
また、通信制御部３０４は、通信部１３を介し、ＯＣＲ処理サーバ１０から送信された情報から、操作画面に抽出候補を提示するための情報を抽出したり、抽出結果の情報を抽出したりする。換言すると、通信制御部３０４は、取得した情報を処理して判断する。
通信制御部３０４は、通信部１３を介し、ＯＣＲ処理サーバ１０に対して項目に対応する記載情報の抽出を要求したり、抽出結果の訂正を要求したりする。
また、通信制御部３０４は、通信部１３を介し、ＯＣＲ処理サーバ１０から送信された情報から、操作画面に抽出候補を提示するための情報を抽出したり、抽出結果の情報を抽出したりする。換言すると、通信制御部３０４は、取得した情報を処理して判断する。
【0037】
〔抽出候補を確認させる処理〕
ユーザに抽出候補を確認させたうえで抽出結果を出力する場合の処理例を説明する。
図５は、本実施形態に係るＯＣＲ処理サーバ１０が抽出候補をユーザに確認させる処理の流れを示したフロー図である。
図５では、ＯＣＲ処理サーバ１０にて非定型帳票の画像データから抽出された抽出候補を、ユーザ端末３０を介してユーザに確認させる場合を例としている。
ユーザに抽出候補を確認させたうえで抽出結果を出力する場合の処理例を説明する。
図５は、本実施形態に係るＯＣＲ処理サーバ１０が抽出候補をユーザに確認させる処理の流れを示したフロー図である。
図５では、ＯＣＲ処理サーバ１０にて非定型帳票の画像データから抽出された抽出候補を、ユーザ端末３０を介してユーザに確認させる場合を例としている。
【0038】
まず、ＯＣＲ処理サーバ１０の非定型帳票取得部１０１が、非定型帳票の画像データを取得する（Ｓ１）。
なお、非定型帳票取得部１０１が画像データを取得した非定型帳票は、ユーザ端末３０の表示部３０Ａにて、プレビュー画像が表示される。また、ユーザ端末３０にて、非定型帳票取得部１０１が取得した非定型帳票の画像データのＯＣＲ処理について、抽出対象の項目および抽出の条件を設定する指示をユーザから受け付ける。
なお、非定型帳票取得部１０１が画像データを取得した非定型帳票は、ユーザ端末３０の表示部３０Ａにて、プレビュー画像が表示される。また、ユーザ端末３０にて、非定型帳票取得部１０１が取得した非定型帳票の画像データのＯＣＲ処理について、抽出対象の項目および抽出の条件を設定する指示をユーザから受け付ける。
【0039】
ここで、非定型帳票の画像データのＯＣＲ処理について、抽出対象の項目および抽出の条件の設定をユーザから受け付ける画面について説明する。
図６は、本実施形態に係るユーザ端末３０の表示部３０Ａの表示の一例を示す図であり、ＯＣＲ処理に係る抽出対象の項目および抽出の条件の設定を受け付ける設定画面の一例を示している。
図６は、本実施形態に係るユーザ端末３０の表示部３０Ａの表示の一例を示す図であり、ＯＣＲ処理に係る抽出対象の項目および抽出の条件の設定を受け付ける設定画面の一例を示している。
【0040】
ユーザ端末３０の表示部３０Ａは、ＯＣＲ処理サーバ１０のＯＣＲ処理について指示するユーザの操作を受け付ける操作画面３００を表示する。
操作画面３００には、非定型帳票のプレビュー画像３１１を表示するプレビュー画面３１０と、ＯＣＲ処理の抽出対象の項目の設定を受け付ける設定画面３２０とが含まれる。
図６に示す表示例では、設定画面３２０に、項目設定画像３２１と、条件設定画像３２２とが表示されている。
操作画面３００には、非定型帳票のプレビュー画像３１１を表示するプレビュー画面３１０と、ＯＣＲ処理の抽出対象の項目の設定を受け付ける設定画面３２０とが含まれる。
図６に示す表示例では、設定画面３２０に、項目設定画像３２１と、条件設定画像３２２とが表示されている。
【0041】
項目設定画像３２１は、抽出対象の項目名の設定をユーザから受け付ける画像である。
図６に示す表示例では、項目設定画像３２１にて、項目名「申請日」、「氏名：ふりがな」、「氏名」、「生年月日」、「電話番号」、「受付日」が、抽出対象に設定されている。
なお、抽出対象の項目名は、予め設定された項目名の候補の中から選択されてもよいし、テキスト情報が入力されてもよい。また、項目名に対して、上述したように、同様の意味をもつが表示が異なるキーも抽出するように設定を受け付けてもよい。
図６に示す表示例では、項目設定画像３２１にて、項目名「申請日」、「氏名：ふりがな」、「氏名」、「生年月日」、「電話番号」、「受付日」が、抽出対象に設定されている。
なお、抽出対象の項目名は、予め設定された項目名の候補の中から選択されてもよいし、テキスト情報が入力されてもよい。また、項目名に対して、上述したように、同様の意味をもつが表示が異なるキーも抽出するように設定を受け付けてもよい。
【0042】
条件設定画像３２２は、項目に対する抽出の条件の設定をユーザから受け付ける画像である。例えば、条件設定画像３２２がユーザにより選択された場合、項目に対する抽出の条件の詳細を受け付ける画面を表示し、キーに対応するバリューの種別やフォーマットを限定する設定を受け付けるようにする。
【0043】
次に、ＯＣＲ処理サーバ１０の要求情報取得部１０２が、ユーザ端末３０から、非定型帳票取得部１０１が取得した非定型帳票の画像データのＯＣＲ処理について、抽出対象の項目および抽出の条件を取得する（Ｓ２）。換言すると、要求情報取得部１０２は、ユーザ端末３０から、ＯＣＲ処理の抽出対象の項目および抽出の条件を示す要求情報を取得する。
そして、ＯＣＲ処理サーバ１０のＯＣＲ処理部１０３が、要求情報取得部１０２が取得した要求情報に基づいて、非定型帳票の画像データに対してキーバリュー抽出を実行する（Ｓ３）。
そして、ＯＣＲ処理サーバ１０のＯＣＲ処理部１０３が、要求情報取得部１０２が取得した要求情報に基づいて、非定型帳票の画像データに対してキーバリュー抽出を実行する（Ｓ３）。
【0044】
具体的には、例えば、ユーザ端末３０から、項目名「申請日」をキーとし、毎月１５日以降の日付または西暦表記のテキストデータをバリューとして抽出することを要求される。この場合、ＯＣＲ処理部１０３は、項目名「申請日」の文字が特定された箇所の周辺の記載情報や、１５日以降の日付を示す記載情報、西暦表記の記載情報などをバリューとし、抽出候補を抽出する。
【0045】
次に、ＯＣＲ処理サーバ１０の優先度付与部１０４が、ＯＣＲ処理部１０３のキーバリュー抽出の結果である抽出候補に対し、優先度を付与する（Ｓ４）。
具体的には、優先度付与部１０４は、ユーザ端末３０から送信された要求情報の達成状況に基づき、抽出候補に対して優先度を割り当てる。
具体的には、優先度付与部１０４は、ユーザ端末３０から送信された要求情報の達成状況に基づき、抽出候補に対して優先度を割り当てる。
【0046】
ここで、優先度付与部１０４が抽出候補に対して付与する優先度について説明する。
図７は、抽出候補に対する優先度の割り当ての一例を示した図である。
図７では、項目名「申請日」をキーとし、項目に設定された抽出の条件として、毎月１５日以降の日付または西暦表記の記載情報をバリューとすることを要求されている場合を例としている。
図７は、抽出候補に対する優先度の割り当ての一例を示した図である。
図７では、項目名「申請日」をキーとし、項目に設定された抽出の条件として、毎月１５日以降の日付または西暦表記の記載情報をバリューとすることを要求されている場合を例としている。
【0047】
図７に示す例では、抽出候補の各々について、「優先度」と、バリューとして抽出された「文字列」と、非定型帳票での記載箇所を示す「座標」と、要求情報を満たすか否かを示す「条件達成状況」とが対応付けられている。
「条件達成状況」の「キー」には、バリューの記載箇所がキーの文字が特定された箇所の周辺である場合には「○」、バリューの記載箇所がキーの文字が特定された箇所の周辺ではない場合には「×」が反映される。また、「表記形式」にて西暦表記であるか否かが反映され、「日付期間」にて毎月１５日以降の日付であるか否かが反映される。
この処理例の場合、要求情報に含まれる条件をより多く達成している抽出候補に対して、達成している条件の少ない抽出候補よりも優先されるように優先度を割り当てている。また、バリューの記載箇所がキーの文字が特定された箇所の周辺である抽出候補に対して、バリューの記載箇所がキーの文字が特定された箇所の周辺ではない抽出候補よりも優先されるように優先度を割り当てている。
「条件達成状況」の「キー」には、バリューの記載箇所がキーの文字が特定された箇所の周辺である場合には「○」、バリューの記載箇所がキーの文字が特定された箇所の周辺ではない場合には「×」が反映される。また、「表記形式」にて西暦表記であるか否かが反映され、「日付期間」にて毎月１５日以降の日付であるか否かが反映される。
この処理例の場合、要求情報に含まれる条件をより多く達成している抽出候補に対して、達成している条件の少ない抽出候補よりも優先されるように優先度を割り当てている。また、バリューの記載箇所がキーの文字が特定された箇所の周辺である抽出候補に対して、バリューの記載箇所がキーの文字が特定された箇所の周辺ではない抽出候補よりも優先されるように優先度を割り当てている。
【0048】
例えば、文字列「２０２１年１１月８日」は、要求情報に含まれる条件を最も多く達成しており、キーの文字が特定された箇所の周辺に記載されているため、他の抽出候補よりも優先されるように、「優先度 １」が割り当てられている。
その他、例えば、文字列「１９８７年７月１９日」は、文字列「２０２１年１１月８日」と同じ数の条件を達成しているが、キーの文字が特定された箇所の周辺に記載されていない。このため、文字列「１９８７年７月１９日」は、文字列「２０２１年１１月８日」の次に優先されるように、「優先度 ２」が割り当てられている。
その他、例えば、文字列「１９８７年７月１９日」は、文字列「２０２１年１１月８日」と同じ数の条件を達成しているが、キーの文字が特定された箇所の周辺に記載されていない。このため、文字列「１９８７年７月１９日」は、文字列「２０２１年１１月８日」の次に優先されるように、「優先度 ２」が割り当てられている。
【0049】
また、その他、例えば、文字列「７－３１」、「０４９９２－１－６２３２ ２０２１／５／１５」は、要求情報に含まれる条件を達成していないため、文字列「２０２１年１１月８日」、「１９８７年７月１９日」よりも達成している条件の数が少ない。そのため、文字列「７－３１」、「０４９９２－１－６２３２ ２０２１／５／１５」には、ユーザが要求情報として設定していない情報から、それぞれ「優先度 ３」、「優先度 ４」が割り当てられている。
【0050】
次に、ＯＣＲ処理サーバ１０の抽出候補出力部１０５が、ユーザ端末３０に対し、抽出候補に関する情報を出力する（Ｓ５）。
なお、抽出候補出力部１０５が出力した抽出候補に関する情報は、ユーザ端末３０の表示部３０Ａにて、ユーザに確認させるために表示される。また、ユーザ端末３０にて、抽出候補を提示したうえで、抽出結果を確定する指示をユーザから受け付ける。
なお、抽出候補出力部１０５が出力した抽出候補に関する情報は、ユーザ端末３０の表示部３０Ａにて、ユーザに確認させるために表示される。また、ユーザ端末３０にて、抽出候補を提示したうえで、抽出結果を確定する指示をユーザから受け付ける。
【0051】
ここで、抽出候補に関する情報をユーザに確認させるための表示について説明する。
図８は、本実施形態に係る抽出候補の表示の一例を示す図であり、抽出候補に関する情報の詳細をユーザに提示するための詳細画面の一例を示している。
図８では、図７に示す抽出候補が抽出された場合を例としている。
図８は、本実施形態に係る抽出候補の表示の一例を示す図であり、抽出候補に関する情報の詳細をユーザに提示するための詳細画面の一例を示している。
図８では、図７に示す抽出候補が抽出された場合を例としている。
【0052】
図８に示す表示例では、操作画面３００には、非定型帳票のプレビュー画像３１１を表示するプレビュー画面３１０に加え、抽出候補に関する情報の詳細をユーザに提示するための詳細画面３３０が含まれる。プレビュー画像３１１には、強調画像３１２が表示されている。また、詳細画面３３０には、部分画像３３１と、出力欄３３２と、確定ボタン画像３３３とが表示されている。
【0053】
強調画像３１２は、抽出候補の記載箇所を強調する画像である。図８に示す表示例では、非定型帳票のプレビュー画像３１１のうちの、一の抽出候補を抽出した領域を囲むように、強調画像３１２が付されている。
なお、強調画像３１２は、抽出候補の記載箇所を囲む画像に限らず、矢印等の画像や、ポップアップ等のテキストメッセージを含む画像であってもよい。
なお、強調画像３１２は、抽出候補の記載箇所を囲む画像に限らず、矢印等の画像や、ポップアップ等のテキストメッセージを含む画像であってもよい。
【0054】
図８に示す表示例では、詳細画面３３０に、抽出候補のうちのユーザが要求した条件を最も多く達成している抽出候補であって、「優先度 １」が割り当てられた抽出候補に関する情報が表示されている。
詳細画面３３０は、抽出候補に関する情報の詳細をユーザに提示し、ＯＣＲ処理部１０３による抽出結果を確定する指示をユーザから受け付ける画面である。
なお、プレビュー画像３１１上の強調画像３１２を選択する操作などに基づいて、詳細画面３３０に情報が表示される抽出候補を変更する指示をユーザから受け付けてもよい。
詳細画面３３０は、抽出候補に関する情報の詳細をユーザに提示し、ＯＣＲ処理部１０３による抽出結果を確定する指示をユーザから受け付ける画面である。
なお、プレビュー画像３１１上の強調画像３１２を選択する操作などに基づいて、詳細画面３３０に情報が表示される抽出候補を変更する指示をユーザから受け付けてもよい。
【0055】
部分画像３３１は、非定型帳票の画像のうちの抽出候補の記載箇所の部分の画像である。
出力欄３３２には、バリューとして出力されるテキストデータが表示される。出力欄３３２は、ユーザから入力を受け付け、テキストデータを訂正してもよい。
確定ボタン画像３３３は、詳細画面３３０に表示されている抽出候補を、ＯＣＲ処理部１０３による抽出結果として確定する指示をユーザから受け付けるボタン画像である。確定ボタン画像３３３がユーザにより選択された場合、ユーザ端末３０は、ＯＣＲ処理サーバ１０に対し、抽出結果の確定を要求する。
出力欄３３２には、バリューとして出力されるテキストデータが表示される。出力欄３３２は、ユーザから入力を受け付け、テキストデータを訂正してもよい。
確定ボタン画像３３３は、詳細画面３３０に表示されている抽出候補を、ＯＣＲ処理部１０３による抽出結果として確定する指示をユーザから受け付けるボタン画像である。確定ボタン画像３３３がユーザにより選択された場合、ユーザ端末３０は、ＯＣＲ処理サーバ１０に対し、抽出結果の確定を要求する。
【0056】
この処理例では、「優先度 １」が割り当てられた抽出候補が詳細画面３３０に表示されている状態にて、確定ボタン画像３３３がユーザにより選択された場合を想定する。
ＯＣＲ処理サーバ１０の要求情報取得部１０２が、ユーザ端末３０から、優先度１の抽出候補を抽出結果とする要求を取得する（Ｓ６）。換言すると、要求情報取得部１０２が、ユーザ端末３０から、優先度１の抽出候補を抽出結果とする要求を示す要求情報を取得する。
そして、ＯＣＲ処理サーバ１０の抽出結果出力部１０７が、要求情報取得部１０２が取得した要求情報に基づいて、抽出結果として優先度１の抽出候補を出力し（Ｓ７）、処理を終了する。
ＯＣＲ処理サーバ１０の要求情報取得部１０２が、ユーザ端末３０から、優先度１の抽出候補を抽出結果とする要求を取得する（Ｓ６）。換言すると、要求情報取得部１０２が、ユーザ端末３０から、優先度１の抽出候補を抽出結果とする要求を示す要求情報を取得する。
そして、ＯＣＲ処理サーバ１０の抽出結果出力部１０７が、要求情報取得部１０２が取得した要求情報に基づいて、抽出結果として優先度１の抽出候補を出力し（Ｓ７）、処理を終了する。
【0057】
ところで、本実施形態における抽出候補の表示は、図８に示した、優先度に基づいて抽出候補に関する情報を表示したり、抽出候補の記載箇所を一律に表示したりする構成に限られない。以下では、抽出候補の表示の他の例について説明する。
【0058】
図９は、本実施形態に係る抽出候補の表示の他の例を示す図であり、抽出候補毎に割り当てられた優先度を表示した場合の一例を示している。
図９では、抽出候補毎に割り当てられた優先度そのものを、非定型帳票のプレビュー画像３１１上に反映する場合を例としている。
図９では、抽出候補毎に割り当てられた優先度そのものを、非定型帳票のプレビュー画像３１１上に反映する場合を例としている。
【0059】
図９に示す表示例では、抽出候補の記載箇所を強調する強調画像３１２に加えて、抽出候補に割り当てられた優先度をバッジ形式の小型のマークでユーザに通知するバッジ画像３１３が表示されている。
バッジ画像３１３は、抽出候補の記載箇所に関連付けて表示されている。これにより、プレビュー画像３１１上の記載箇所から抽出候補を選択するユーザの作業性を向上させることを図る。
なお、バッジ画像３１３は、プレビュー画像３１１上に表示する構成に限られない。バッジ画像３１３を、詳細画面３３０にも表示させてもよい。これにより、詳細画面３３０にて、優先度を参照したうえで抽出候補に関する情報をユーザに確認させることを図る。
バッジ画像３１３は、抽出候補の記載箇所に関連付けて表示されている。これにより、プレビュー画像３１１上の記載箇所から抽出候補を選択するユーザの作業性を向上させることを図る。
なお、バッジ画像３１３は、プレビュー画像３１１上に表示する構成に限られない。バッジ画像３１３を、詳細画面３３０にも表示させてもよい。これにより、詳細画面３３０にて、優先度を参照したうえで抽出候補に関する情報をユーザに確認させることを図る。
【0060】
バッジ画像３１３は、抽出候補毎に割り当てられた優先度を、ユーザに知らせるための画像である。換言すると、バッジ画像３１３は、優先度そのものをユーザに知らせるための画像である。
また、バッジ画像３１３は、図９に示した数字を用いた表示に限られず、絵記号を用いて表示されてもよい。
また、バッジ画像３１３は、図９に示した数字を用いた表示に限られず、絵記号を用いて表示されてもよい。
【0061】
次に、抽出候補毎に割り当てられた優先度の理由を、非定型帳票のプレビュー画像３１１上に反映した抽出候補の表示について説明する。
図１０は、本実施形態に係る抽出候補の表示の他の例を示す図であり、優先度の理由を表示した場合の一例を示している。
図１０は、本実施形態に係る抽出候補の表示の他の例を示す図であり、優先度の理由を表示した場合の一例を示している。
【0062】
図１０に示す表示例では、抽出候補の記載箇所を強調する強調画像３１２に加えて、抽出候補に割り当てられた優先度の理由について、ユーザが参照する参照画像３１４が表示される。
参照画像３１４は、抽出候補の記載箇所に関連付けて表示されている。また、参照画像３１４を、詳細画面３３０にも表示させてもよい。
参照画像３１４は、抽出候補の記載箇所に関連付けて表示されている。また、参照画像３１４を、詳細画面３３０にも表示させてもよい。
【0063】
参照画像３１４は、抽出候補毎に割り当てられた優先度の理由を、ユーザに知らせるための画像である。換言すると、参照画像３１４は、優先度の詳細をユーザに知らせるための画像である。
参照画像３１４は、図１０に示した抽出候補が達成していない条件の提示に限られず、抽出候補が達成している条件が提示されてもよい。また、参照画像３１４は、「優先度１：日付期間が異なります」のように条件の達成状況の詳細を提示する態様に限られず、「優先度１：条件のうち１つが未達成です」のように条件の達成状況の概要を提示してもよい。
なお、参照画像３１４は、テキストメッセージを含むポップアップ等の画像に限られず、絵記号を用いて表示されてもよい。
参照画像３１４は、図１０に示した抽出候補が達成していない条件の提示に限られず、抽出候補が達成している条件が提示されてもよい。また、参照画像３１４は、「優先度１：日付期間が異なります」のように条件の達成状況の詳細を提示する態様に限られず、「優先度１：条件のうち１つが未達成です」のように条件の達成状況の概要を提示してもよい。
なお、参照画像３１４は、テキストメッセージを含むポップアップ等の画像に限られず、絵記号を用いて表示されてもよい。
【0064】
また、抽出候補の記載箇所を強調する強調画像３１２の表示態様を、抽出候補毎に割り当てられた優先度に応じて異ならせてもよい。
図１１は、本実施形態に係る抽出候補の表示の他の例を示す図であり、優先度に応じて強調画像３１２の表示態様を異ならせた場合の一例を示している。
図１１は、本実施形態に係る抽出候補の表示の他の例を示す図であり、優先度に応じて強調画像３１２の表示態様を異ならせた場合の一例を示している。
【0065】
図１１に示す表示例では、強調画像３１２が示す記載箇所に対応する抽出候補の優先度に応じて、強調画像３１２を表示している。
強調画像３１２の表示態様を、優先度１の抽出候補と他の抽出候補との間で異ならせる。具体的には、複数の抽出候補のうちの、抽出の条件を最も達成している候補と他の候補との間で、抽出候補の記載箇所を示す強調画像３１２の表示態様を異ならせる。
強調画像３１２の表示態様を、優先度１の抽出候補と他の抽出候補との間で異ならせる。具体的には、複数の抽出候補のうちの、抽出の条件を最も達成している候補と他の候補との間で、抽出候補の記載箇所を示す強調画像３１２の表示態様を異ならせる。
【0066】
図１１に示す表示例では、優先度１の抽出候補に対応する強調画像３１２は実線で表示され、他の抽出候補に対応する強調画像３１２は破線で表示されている。これに限られず、例えば、強調画像３１２を、優先度１の抽出候補と他の抽出候補との間で、点滅と点灯、赤色と青色のように表示態様を異ならせてもよいし、画像の形状を異ならせてもよい。
また、強調画像３１２の表示態様を、優先度１の抽出候補と他の抽出候補とで分けるのではなく、各優先度に合わせて異ならせてもよい。
また、強調画像３１２の表示態様を、優先度１の抽出候補と他の抽出候補とで分けるのではなく、各優先度に合わせて異ならせてもよい。
【0067】
その他、特定の条件を満たす抽出候補に対して、警告を表示してもよい。
図１２は、本実施形態に係る抽出候補の表示の他の例を示す図であり、抽出の条件の達成状況に応じて警告を表示した場合の一例を示している。
図１２は、本実施形態に係る抽出候補の表示の他の例を示す図であり、抽出の条件の達成状況に応じて警告を表示した場合の一例を示している。
【0068】
図１２に示す表示例では、抽出候補の記載箇所を強調する強調画像３１２に加えて、特定の条件を満たす抽出候補についてユーザに警告する警告画像３１５が表示されている。
警告画像３１５は、抽出候補の記載箇所に関連付けて表示されている。また、警告画像３１５を、詳細画面３３０にも表示させてもよい。
警告画像３１５は、抽出候補の記載箇所に関連付けて表示されている。また、警告画像３１５を、詳細画面３３０にも表示させてもよい。
【0069】
警告画像３１５は、特定の条件を満たす抽出候補を、ユーザに知らせるため画像である。具体的には、警告画像３１５は、達成している条件の数が閾値よりも少ない抽出候補や、必須の条件を達成していない抽出候補を、ユーザに知らせるため画像である。
なお、警告画像３１５は、絵記号に限らず、ポップアップ等のテキストメッセージを含む画像であってもよい。
なお、警告画像３１５は、絵記号に限らず、ポップアップ等のテキストメッセージを含む画像であってもよい。
【0070】
上述した例では、本実施形態に係る抽出候補の表示にあたって、強調画像３１２に加えて、バッジ画像３１３、参照画像３１４、警告画像３１５のうちの何れかが表示される構成だが、これに限られない。強調画像３１２に加えて、バッジ画像３１３、参照画像３１４、警告画像３１５のうちの何れか、または全てを組み合わせて表示されるようにしてもよい。
【0071】
図１３は、本実施形態に係る抽出候補の表示の他の例を示す図であり、（Ａ）は抽出候補が特定の条件を満たす状態、（Ｂ）は抽出候補が特定の条件を解消した状態を示している。
図１３では、詳細画面３３０に優先度４の抽出候補に関する情報が表示される場合を例としている。
図１３では、詳細画面３３０に優先度４の抽出候補に関する情報が表示される場合を例としている。
【0072】
図１３（Ａ）の表示例では、抽出の条件の全てを満たしていない抽出候補に関する情報を表示する詳細画面３３０に、参照画像３１４と、警告画像３１５とが表示されている。
詳細画面３３０に表示されている項目「申請日」に対応する抽出候補は、数字ではあるが、項目に設定されている抽出の条件の「西暦表記の記載情報をバリューとすること」を満たしていない。
詳細画面３３０に表示されている項目「申請日」に対応する抽出候補は、数字ではあるが、項目に設定されている抽出の条件の「西暦表記の記載情報をバリューとすること」を満たしていない。
【0073】
図１３（Ａ）に示す抽出候補のテキストデータを、ユーザが出力欄３３２にて、図１３（Ｂ）のように訂正した場合を想定する。
図１３（Ｂ）の表示例では、詳細画面３３０に表示されている項目「申請日」に対応する抽出候補は、項目に設定されている抽出の条件の「西暦表記の記載情報をバリューとすること」を満たしている。この場合、達成していない条件を示す参照画像３１４と、特定の条件を満たす場合に表示される警告画像３１５とが非表示となる。
図１３（Ｂ）の表示例では、詳細画面３３０に表示されている項目「申請日」に対応する抽出候補は、項目に設定されている抽出の条件の「西暦表記の記載情報をバリューとすること」を満たしている。この場合、達成していない条件を示す参照画像３１４と、特定の条件を満たす場合に表示される警告画像３１５とが非表示となる。
【0074】
また、抽出候補の表示にあたって、詳細画面３３０にて一の抽出候補のみを示したが、これに限られず、詳細画面３３０にて複数の抽出候補について示してもよい。
図１４は、本実施形態に係る抽出候補の表示の他の例を示す図であり、複数の抽出候補に関する情報をユーザに提示するための詳細画面３３０を表示した場合の一例を示している。
図１４に示す表示例では、操作画面３００上に、画面上の位置や画像等を指し示すカーソル２００が表示されている。カーソル２００は、入力部を介して入力されるユーザの操作により移動し、ユーザが指定する画面上の位置や画像等を指し示すように表示されている。
図１４は、本実施形態に係る抽出候補の表示の他の例を示す図であり、複数の抽出候補に関する情報をユーザに提示するための詳細画面３３０を表示した場合の一例を示している。
図１４に示す表示例では、操作画面３００上に、画面上の位置や画像等を指し示すカーソル２００が表示されている。カーソル２００は、入力部を介して入力されるユーザの操作により移動し、ユーザが指定する画面上の位置や画像等を指し示すように表示されている。
【0075】
図１４に示す表示例では、詳細画面３３０には、部分画像３３１と、出力欄３３２と、確定ボタン画像３３３とが、抽出候補毎に表示されている。
例えば、詳細画面３３０において、複数の抽出候補は、割り当てられた優先度に応じた順序で表示されるようにする。
その他、例えば、詳細画面３３０において、複数の抽出候補は、プレビュー画像３１１上の記載箇所に応じた順序で表示されてもよい。
例えば、詳細画面３３０において、複数の抽出候補は、割り当てられた優先度に応じた順序で表示されるようにする。
その他、例えば、詳細画面３３０において、複数の抽出候補は、プレビュー画像３１１上の記載箇所に応じた順序で表示されてもよい。
【0076】
また、図１４に示す表示例では、詳細画面３３０のうちの一の抽出候補に関する情報を表示する領域に、カーソル２００が位置する状態となると、一の抽出候補を抽出した領域を示す強調画像３１２が表示される。換言すると、一の抽出候補に関する情報を表示する領域がユーザにより指定されると、一の抽出候補を抽出した領域を示す強調画像３１２が表示される。
これにより、抽出候補に関する表示が全て表示されている場合に比べ、抽出候補に関する表示によってプレビュー画像３１１の表示が煩雑になることを抑制することを図る。
これにより、抽出候補に関する表示が全て表示されている場合に比べ、抽出候補に関する表示によってプレビュー画像３１１の表示が煩雑になることを抑制することを図る。
【0077】
さらに、抽出候補の表示にあたって、詳細画面３３０に、一の抽出候補のみを示すか、複数の抽出候補を示すかをユーザが指示するようにしてもよい。
図１５は、本実施形態に係る抽出候補の表示の他の例を示す図であり、複数の抽出候補に関する情報を詳細画面３３０に表示させる指示をユーザから受け付ける場合の一例を示している。
図１５は、本実施形態に係る抽出候補の表示の他の例を示す図であり、複数の抽出候補に関する情報を詳細画面３３０に表示させる指示をユーザから受け付ける場合の一例を示している。
【0078】
図１５に示す表示例では、詳細画面３３０には、部分画像３３１と、出力欄３３２と、確定ボタン画像３３３とに加え、候補ボタン画像３３４が表示されている。
候補ボタン画像３３４は、複数の抽出候補を詳細画面３３０に表示させる指示をユーザから受け付ける画像である。候補ボタン画像３３４がユーザにより選択された場合、図１４に示すように、複数の抽出候補を詳細画面３３０に表示する。
具体的には、例えば、優先度１の抽出候補に関する情報が表示されている詳細画面３３０において、候補ボタン画像３３４がユーザにより選択された場合、優先度２以降の抽出候補に関する情報も詳細画面３３０に表示されるようにする。
候補ボタン画像３３４は、複数の抽出候補を詳細画面３３０に表示させる指示をユーザから受け付ける画像である。候補ボタン画像３３４がユーザにより選択された場合、図１４に示すように、複数の抽出候補を詳細画面３３０に表示する。
具体的には、例えば、優先度１の抽出候補に関する情報が表示されている詳細画面３３０において、候補ボタン画像３３４がユーザにより選択された場合、優先度２以降の抽出候補に関する情報も詳細画面３３０に表示されるようにする。
【0079】
〔抽出候補を訂正する処理〕
ユーザが抽出候補の訂正を要求する場合の処理例を説明する。
図１６は、本実施形態に係るユーザ端末３０が抽出候補の訂正を要求する処理の流れを示したフロー図である。
図１６では、ユーザ端末３０にて非定型帳票の画像データから抽出された優先度１の抽出候補をそのまま抽出結果とはせず、ユーザが訂正を指示する場合を例としている。
ユーザが抽出候補の訂正を要求する場合の処理例を説明する。
図１６は、本実施形態に係るユーザ端末３０が抽出候補の訂正を要求する処理の流れを示したフロー図である。
図１６では、ユーザ端末３０にて非定型帳票の画像データから抽出された優先度１の抽出候補をそのまま抽出結果とはせず、ユーザが訂正を指示する場合を例としている。
【0080】
まず、ユーザ端末３０の表示制御部３０２が、優先度１の抽出候補を表示部３０Ａに表示する（Ｓ１１）。
具体的には、表示制御部３０２が、優先度１の抽出候補について、抽出候補のバリューに係るテキストデータと記載箇所とを、表示部３０Ａに表示する。
具体的には、表示制御部３０２が、優先度１の抽出候補について、抽出候補のバリューに係るテキストデータと記載箇所とを、表示部３０Ａに表示する。
【0081】
そして、ユーザ端末３０の操作判定部３０１が、優先度１の抽出候補のテキストデータが訂正されたか否かを判定する（Ｓ１２）。換言すると、優先度１の抽出候補のテキストデータが訂正を指示するユーザ操作が行われたか否かを判定する。
具体的には、操作判定部３０１は、図８に示す詳細画面３３０の出力欄３３２にてユーザから入力を受け付けた場合、優先度１の抽出候補のテキストデータが訂正を指示するユーザ操作が行われたと判定する。
具体的には、操作判定部３０１は、図８に示す詳細画面３３０の出力欄３３２にてユーザから入力を受け付けた場合、優先度１の抽出候補のテキストデータが訂正を指示するユーザ操作が行われたと判定する。
【0082】
優先度１の抽出候補のテキストデータが訂正された場合（Ｓ１２でＹＥＳ）、ユーザ端末３０の操作判定部３０１が、訂正した優先度１の抽出候補を、抽出結果として確定を指示するユーザ操作を受け付けたと判定する（Ｓ１３）。
具体的には、操作判定部３０１は、図８に示す詳細画面３３０の確定ボタン画像３３３がユーザに選択された場合、抽出結果として、訂正した優先度１の抽出候補とすることを確定させると判定する。
具体的には、操作判定部３０１は、図８に示す詳細画面３３０の確定ボタン画像３３３がユーザに選択された場合、抽出結果として、訂正した優先度１の抽出候補とすることを確定させると判定する。
【0083】
ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、優先度１の抽出候補のテキストデータを、訂正されたテキストデータに置き換えることを要求し（Ｓ１４）、処理を終了する。換言すると、通信制御部３０４は、ＯＣＲ処理サーバ１０に対し、テキストデータが訂正された優先度１の抽出候補を、抽出結果とすることを要求する。
【0084】
Ｓ１２にて、優先度１の抽出候補のテキストデータが訂正されていない場合（Ｓ１２でＮＯ）、ユーザ端末３０の操作判定部３０１が、優先度１の抽出候補とは異なる他の抽出候補の記載箇所の選択を指示するユーザ操作を受け付けたと判定する（Ｓ１５）。
具体的には、操作判定部３０１は、図８に示す非定型帳票のプレビュー画像３１１上で他の抽出候補の記載箇所がユーザに選択された場合、優先度１の抽出候補として、この他の抽出候補が選択されたと判定する。
具体的には、操作判定部３０１は、図８に示す非定型帳票のプレビュー画像３１１上で他の抽出候補の記載箇所がユーザに選択された場合、優先度１の抽出候補として、この他の抽出候補が選択されたと判定する。
【0085】
次に、ユーザ端末３０の操作判定部３０１が、選択された他の抽出候補を、抽出結果として確定を指示するユーザ操作を受け付けたと判定する（Ｓ１６）。
ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、優先度１の抽出候補を、選択された他の抽出候補に置き換えることを要求し（Ｓ１７）、処理を終了する。換言すると、通信制御部３０４は、ＯＣＲ処理サーバ１０に対し、選択された他の抽出候補を、優先度１に変更し、かつ、抽出結果とすることを要求する。
ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、優先度１の抽出候補を、選択された他の抽出候補に置き換えることを要求し（Ｓ１７）、処理を終了する。換言すると、通信制御部３０４は、ＯＣＲ処理サーバ１０に対し、選択された他の抽出候補を、優先度１に変更し、かつ、抽出結果とすることを要求する。
【0086】
〔抽出結果を学習する処理〕
抽出候補を提示して確定された抽出結果を学習する場合の処理例を説明する。
図１７は、本実施形態に係るＯＣＲ処理サーバ１０が抽出結果を学習する処理の流れを示したフロー図である。
図１７では、優先度１の抽出候補に対して訂正が行われたうえで抽出結果が確定した場合を例としている。
抽出候補を提示して確定された抽出結果を学習する場合の処理例を説明する。
図１７は、本実施形態に係るＯＣＲ処理サーバ１０が抽出結果を学習する処理の流れを示したフロー図である。
図１７では、優先度１の抽出候補に対して訂正が行われたうえで抽出結果が確定した場合を例としている。
【0087】
まず、ＯＣＲ処理サーバ１０の要求情報取得部１０２が、ユーザ端末３０から、非定型帳票取得部１０１が取得した非定型帳票の画像データのＯＣＲ処理について、抽出結果を確定させる要求情報を取得する（Ｓ２１）。
抽出候補出力部１０５が優先度１として出力した抽出候補により抽出結果を確定させる要求情報を取得した場合には、抽出結果出力部１０７が、優先度１の抽出候補をＯＣＲ処理部１０３による抽出結果として出力する。一方で、抽出結果訂正部１０６が訂正した抽出候補により抽出結果を確定させる要求情報を取得した場合には、抽出結果出力部１０７が、訂正された抽出候補をＯＣＲ処理部１０３による抽出結果として出力する。
抽出候補出力部１０５が優先度１として出力した抽出候補により抽出結果を確定させる要求情報を取得した場合には、抽出結果出力部１０７が、優先度１の抽出候補をＯＣＲ処理部１０３による抽出結果として出力する。一方で、抽出結果訂正部１０６が訂正した抽出候補により抽出結果を確定させる要求情報を取得した場合には、抽出結果出力部１０７が、訂正された抽出候補をＯＣＲ処理部１０３による抽出結果として出力する。
【0088】
そして、ＯＣＲ処理サーバ１０の抽出結果出力部１０７が、ＯＣＲ処理部１０３による抽出結果として出力した内容について、優先度１の抽出候補の記載箇所から変更があるか否かを特定する（Ｓ２２）。
優先度１の抽出候補の記載箇所から変更がある場合としては、例えば、優先度１の抽出候補の記載情報はそのままの状態にて抽出候補をキーバリュー抽出する領域が変更された場合が挙げられる。その他、優先度１の抽出候補の記載箇所から変更がある場合としては、例えば、優先度１の抽出候補とは異なる他の抽出候補が選択された場合や、抽出候補以外を抽出結果とした場合などが挙げられる。
優先度１の抽出候補の記載箇所から変更がある場合としては、例えば、優先度１の抽出候補の記載情報はそのままの状態にて抽出候補をキーバリュー抽出する領域が変更された場合が挙げられる。その他、優先度１の抽出候補の記載箇所から変更がある場合としては、例えば、優先度１の抽出候補とは異なる他の抽出候補が選択された場合や、抽出候補以外を抽出結果とした場合などが挙げられる。
【0089】
ＯＣＲ処理部１０３による抽出結果として出力した内容について、優先度１の抽出候補の記載箇所から変更がある場合（Ｓ２２でＹＥＳ）、ＯＣＲ処理サーバ１０の抽出結果出力部１０７が、この変更の内容を、非定型帳票の読取位置の学習データとして登録する（Ｓ２３）。換言すると、抽出結果出力部１０７が、変更後の記載箇所を、項目に対応する抽出候補をキーバリュー抽出する領域の学習データとして学習ＤＢ１１０に格納する。
一方、ＯＣＲ処理部１０３による抽出結果として出力した内容について、優先度１の抽出候補の記載箇所から変更がない場合（Ｓ２２でＮＯ）、抽出候補をキーバリュー抽出する領域の学習データは登録されない。
一方、ＯＣＲ処理部１０３による抽出結果として出力した内容について、優先度１の抽出候補の記載箇所から変更がない場合（Ｓ２２でＮＯ）、抽出候補をキーバリュー抽出する領域の学習データは登録されない。
【0090】
次に、ＯＣＲ処理サーバ１０の抽出結果出力部１０７が、ＯＣＲ処理部１０３による抽出結果として出力した内容について、抽出候補の記載情報から変更があるか否かを特定する（Ｓ２４）。
抽出候補の記載情報から変更がある場合としては、例えば、出力欄３３２（図８参照）にて、ユーザから入力を受け付け、テキストデータが修正された場合などが挙げられる。
抽出候補の記載情報から変更がある場合としては、例えば、出力欄３３２（図８参照）にて、ユーザから入力を受け付け、テキストデータが修正された場合などが挙げられる。
【0091】
ＯＣＲ処理部１０３による抽出結果として出力した内容について、抽出候補の記載情報から変更がある場合（Ｓ２４でＹＥＳ）、ＯＣＲ処理サーバ１０の抽出結果出力部１０７が、この変更の内容を、文字認識の学習データとして登録し（Ｓ２５）、処理を終了する。換言すると、抽出結果出力部１０７が、変更後の記載情報を、非定型帳票の文字認識の学習データとして学習ＤＢ１１０に格納して、処理を終了する。
一方、ＯＣＲ処理部１０３による抽出結果として出力した内容について、抽出候補の記載情報から変更がない場合（Ｓ２４でＮＯ）、文字認識の学習データは登録されず、処理を終了する。
一方、ＯＣＲ処理部１０３による抽出結果として出力した内容について、抽出候補の記載情報から変更がない場合（Ｓ２４でＮＯ）、文字認識の学習データは登録されず、処理を終了する。
【0092】
これにより、優先度１の抽出候補に対して訂正が行われた場合に、キーバリュー抽出の精度を向上させることを図る。また、優先度１の抽出候補に対して訂正が行われた場合に、文字認識処理の精度を向上させることを図る。
【0093】
また、上記では説明を省略したが、本実施形態では、訂正されたテキストデータや選択された他の抽出候補が、抽出の条件の全ては満たしていない場合であっても、訂正された抽出候補をＯＣＲ処理部１０３による抽出結果として出力してもよい。
例えば、項目に設定された抽出の条件のうちの、訂正された抽出候補に一致する抽出の条件に対して重みを加算するように、学習データを登録する。これにより、項目と、抽出の条件と、抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補が取得されるようにしてもよい。
例えば、項目に設定された抽出の条件のうちの、訂正された抽出候補に一致する抽出の条件に対して重みを加算するように、学習データを登録する。これにより、項目と、抽出の条件と、抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補が取得されるようにしてもよい。
【0094】
〔抽出候補が存在しない場合の処理〕
次に、ユーザ端末３０にて抽出候補が提示されない場合の処理例を説明する。
図１８は、実施形態に係るユーザ端末３０が抽出結果を入力する処理の流れを示したフロー図である。
図１８では、非定型帳票の画像データから項目に対する抽出候補が抽出されなかった場合を例としている。
次に、ユーザ端末３０にて抽出候補が提示されない場合の処理例を説明する。
図１８は、実施形態に係るユーザ端末３０が抽出結果を入力する処理の流れを示したフロー図である。
図１８では、非定型帳票の画像データから項目に対する抽出候補が抽出されなかった場合を例としている。
【0095】
まず、ユーザ端末３０の表示制御部３０２が、表示部３０Ａを介して、項目に対応する抽出候補が存在しない旨をユーザに通知する（Ｓ３１）。
具体的には、表示制御部３０２が、例えば、抽出候補が存在しない旨のテキストメッセージを表示部３０Ａに表示する。なお、項目に対応する抽出候補が存在しない旨の通知は、画像などの表示に限られず、音や光などを用いてもよい。
具体的には、表示制御部３０２が、例えば、抽出候補が存在しない旨のテキストメッセージを表示部３０Ａに表示する。なお、項目に対応する抽出候補が存在しない旨の通知は、画像などの表示に限られず、音や光などを用いてもよい。
【0096】
ここで、項目に対応する抽出候補が存在しない旨をユーザに通知するための表示について説明する。
図１９は、本実施形態に係るユーザ端末３０の表示部３０Ａの表示の他の例を示す図であり、項目に対応する抽出候補が存在しない旨をユーザに通知する通知画像の一例を示している。
図１９では、項目「受付日」についてキーバリュー抽出を実行したが、抽出候補が取得されなかった場合を例としている。
図１９は、本実施形態に係るユーザ端末３０の表示部３０Ａの表示の他の例を示す図であり、項目に対応する抽出候補が存在しない旨をユーザに通知する通知画像の一例を示している。
図１９では、項目「受付日」についてキーバリュー抽出を実行したが、抽出候補が取得されなかった場合を例としている。
【0097】
図１９に示す表示例では、抽出候補の記載箇所を強調する強調画像３１２（図８参照）などは表示されず、項目に対応する抽出候補が存在しない旨をユーザに通知する通知画像３５０が表示されている。
通知画像３５０は、ユーザが選択した項目に対応する抽出候補が存在しない旨を、ユーザに知らせるための画像である。具体的には、通知画像３５０は、ユーザが選択した項目に対応する抽出候補が存在しない旨やその理由を、テキストメッセージを用いて通知する画像である。
また、通知画像３５０は、図１９に示すように、ユーザの操作を促すテキストメッセージを含んでいてもよい。
通知画像３５０は、ユーザが選択した項目に対応する抽出候補が存在しない旨を、ユーザに知らせるための画像である。具体的には、通知画像３５０は、ユーザが選択した項目に対応する抽出候補が存在しない旨やその理由を、テキストメッセージを用いて通知する画像である。
また、通知画像３５０は、図１９に示すように、ユーザの操作を促すテキストメッセージを含んでいてもよい。
【0098】
図１９に示す表示例では、ユーザが選択した項目に対応する抽出候補が存在しないため、部分画像３３１の領域に、テキストメッセージ「帳票上から見つかりませんでした」が表示されている。また、バリューに相当するテキストデータが存在しないため、出力欄３３２は空欄となっている。
通知画像３５０は、詳細画面３３０に関連付けて表示されている。また、通知画像３５０は、図１９に示すように、絵記号を組み合わせて表示されている。
なお、通知画像３５０は、例えば、操作画面３００の中央寄りに表示されてもよいし、絵記号のみで表示されてもよい。
通知画像３５０は、詳細画面３３０に関連付けて表示されている。また、通知画像３５０は、図１９に示すように、絵記号を組み合わせて表示されている。
なお、通知画像３５０は、例えば、操作画面３００の中央寄りに表示されてもよいし、絵記号のみで表示されてもよい。
【0099】
そして、ユーザ端末３０の操作判定部３０１が、抽出結果の確定を指示するユーザ操作を受け付けたと判定する（Ｓ３２）。
具体的には、操作判定部３０１は、図１９に示す詳細画面３３０の確定ボタン画像３３３がユーザに選択された場合、抽出結果の確定を指示するユーザ操作を受け付けたと判定する。
ユーザ端末３０の表示制御部３０２が、抽出結果の確定を指示するユーザ操作に基づき、抽出結果をユーザに確認させるための確認画面３７０（後述）を表示部３０Ａに表示する（Ｓ３３）。
具体的には、操作判定部３０１は、図１９に示す詳細画面３３０の確定ボタン画像３３３がユーザに選択された場合、抽出結果の確定を指示するユーザ操作を受け付けたと判定する。
ユーザ端末３０の表示制御部３０２が、抽出結果の確定を指示するユーザ操作に基づき、抽出結果をユーザに確認させるための確認画面３７０（後述）を表示部３０Ａに表示する（Ｓ３３）。
【0100】
ここで、抽出結果をユーザに確認させるための表示について説明する。
図２０は、本実施形態に係る確認画面３７０の一例を示す図である。
図２０では、キーバリュー抽出の対象項目が「受付日」であり、抽出の条件として「日付であること」と「西暦表記であること」とが設定されている場合を例としている。
図２０は、本実施形態に係る確認画面３７０の一例を示す図である。
図２０では、キーバリュー抽出の対象項目が「受付日」であり、抽出の条件として「日付であること」と「西暦表記であること」とが設定されている場合を例としている。
【0101】
図１９に示す表示例にて、ユーザが、通知画像３５０のテキストメッセージに従って、確定ボタン画像３３３を選択した場合、図２０に示すように、抽出結果をユーザに確認させるための確認画面３７０が表示される。
確認画面３７０は、項目に対応するバリューを空欄で抽出結果を確定させる指示や、バリューを補充して抽出結果を確定する指示を、ユーザから受け付ける。
確認画面３７０には、入力欄３７１と、キャンセルボタン画像３７２と、検証ボタン画像３７３と、保存ボタン画像３７４とが表示されている。
確認画面３７０は、項目に対応するバリューを空欄で抽出結果を確定させる指示や、バリューを補充して抽出結果を確定する指示を、ユーザから受け付ける。
確認画面３７０には、入力欄３７１と、キャンセルボタン画像３７２と、検証ボタン画像３７３と、保存ボタン画像３７４とが表示されている。
【0102】
入力欄３７１には、ユーザに対してバリューの入力を促すテキストメッセージが表示されている。また、入力欄３７１には、キーバリュー抽出の対象項目に設定されている抽出の条件が表示されている。入力欄３７１は、ユーザから入力を受け付け、バリューのテキストデータを補充してもよい。
キャンセルボタン画像３７２は、抽出結果の確定のキャンセルを指示するユーザ操作を受け付けるボタン画像である。キャンセルボタン画像３７２がユーザにより選択された場合、確認画面３７０は非表示となる。
キャンセルボタン画像３７２は、抽出結果の確定のキャンセルを指示するユーザ操作を受け付けるボタン画像である。キャンセルボタン画像３７２がユーザにより選択された場合、確認画面３７０は非表示となる。
【0103】
検証ボタン画像３７３は、非定型帳票の画像データに対し、入力欄３７１に入力されたテキストデータの記載箇所の検証を指示するユーザ操作を受け付けるボタン画像である。換言すると、検証ボタン画像３７３は、バリューの記載情報に基づいて、キーが特定され得る箇所の周辺である記載箇所を検出する指示をユーザから受け付けるボタン画像である。
保存ボタン画像３７４は、項目に対応するバリューを空欄のまま保存させる指示をユーザから受け付けるボタン画像である。
保存ボタン画像３７４は、項目に対応するバリューを空欄のまま保存させる指示をユーザから受け付けるボタン画像である。
【0104】
そして、ユーザ端末３０の操作判定部３０１が、記載箇所を検証するか否かを判定する（Ｓ３４）。換言すると、操作判定部３０１は、記載箇所の検証を指示するユーザ操作が行われたか否かを判定する。
具体的には、操作判定部３０１は、図２０に示す確認画面３７０にて、入力欄３７１にテキストデータが入力された状態にて検証ボタン画像３７３がユーザに選択された場合、記載箇所を検証すると判定する。
具体的には、操作判定部３０１は、図２０に示す確認画面３７０にて、入力欄３７１にテキストデータが入力された状態にて検証ボタン画像３７３がユーザに選択された場合、記載箇所を検証すると判定する。
【0105】
記載箇所を検証する場合（Ｓ３４でＹＥＳ）、ユーザ端末３０の表示制御部３０２が、記載箇所を検証した結果を表示部３０Ａに表示する（Ｓ３５）。
具体的には、表示制御部３０２が、図１９に示した部分画像３３１の領域に、非定型帳票の画像のうちの入力欄３７１に入力されたテキストデータの記載箇所として検出された部分の画像を表示する。また、出力欄３３２（図１９参照）には、入力欄３７１に入力されたテキストデータが表示される。
なお、入力欄３７１に入力されたテキストデータの記載箇所を発見できなかった場合には、部分画像３３１の領域をグレーアウトしてもよいし、部分画像３３１の領域にテキストメッセージ「該当なし」などを表示してもよい。
具体的には、表示制御部３０２が、図１９に示した部分画像３３１の領域に、非定型帳票の画像のうちの入力欄３７１に入力されたテキストデータの記載箇所として検出された部分の画像を表示する。また、出力欄３３２（図１９参照）には、入力欄３７１に入力されたテキストデータが表示される。
なお、入力欄３７１に入力されたテキストデータの記載箇所を発見できなかった場合には、部分画像３３１の領域をグレーアウトしてもよいし、部分画像３３１の領域にテキストメッセージ「該当なし」などを表示してもよい。
【0106】
次に、ユーザ端末３０の操作判定部３０１が、記載箇所を設定するか否かを判定する（Ｓ３６）。換言すると、操作判定部３０１は、記載箇所の設定を指示するユーザ操作が行われたか否かを判定する。
具体的には、操作判定部３０１は、図１９に示した部分画像３３１の領域に、非定型帳票の画像のうちの一部の画像が表示された状態にて確定ボタン画像３３３がユーザに選択された場合、記載箇所を設定すると判定する。一方で、操作判定部３０１は、部分画像３３１の領域に、非定型帳票の画像のうちの一部の画像が表示されていない状態にて確定ボタン画像３３３がユーザに選択された場合、記載箇所を設定しないと判定する。
図２０に示す確認画面３７０にて、入力欄３７１にテキストデータが入力された状態にて検証ボタン画像３７３が選択された場合、記載箇所の検証を指示するユーザ操作が行われたと判定する。
具体的には、操作判定部３０１は、図１９に示した部分画像３３１の領域に、非定型帳票の画像のうちの一部の画像が表示された状態にて確定ボタン画像３３３がユーザに選択された場合、記載箇所を設定すると判定する。一方で、操作判定部３０１は、部分画像３３１の領域に、非定型帳票の画像のうちの一部の画像が表示されていない状態にて確定ボタン画像３３３がユーザに選択された場合、記載箇所を設定しないと判定する。
図２０に示す確認画面３７０にて、入力欄３７１にテキストデータが入力された状態にて検証ボタン画像３７３が選択された場合、記載箇所の検証を指示するユーザ操作が行われたと判定する。
【0107】
記載箇所を設定する場合（Ｓ３６でＹＥＳ）、ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、入力した記載情報と記載箇所とを、項目に対応する抽出結果とすることを要求し（Ｓ３７）、処理を終了する。なお、検出された記載箇所が設定された場合、この記載箇所は、項目に対応する抽出候補をキーバリュー抽出する領域の学習データとして登録される。
一方で、記載箇所を設定しない場合（Ｓ３６でＮＯ）、ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、入力した記載情報のみを、項目に対応する抽出結果とすることを要求し（Ｓ３８）、処理を終了する。
一方で、記載箇所を設定しない場合（Ｓ３６でＮＯ）、ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、入力した記載情報のみを、項目に対応する抽出結果とすることを要求し（Ｓ３８）、処理を終了する。
【0108】
また、この処理例では、記載箇所を検証しない場合において、項目に対応するバリューを空欄のまま保存させる指示をユーザから受け付ける場合を想定している。
Ｓ３４にて、記載箇所を検証しない場合（Ｓ３４でＮＯ）、ユーザ端末３０の操作判定部３０１が、保存を指示するユーザ操作を受け付けたと判定する（Ｓ３９）。
具体的には、操作判定部３０１は、図２０に示す確認画面３７０にて、入力欄３７１が空欄の状態にて保存ボタン画像３７４がユーザに選択された場合、項目に対応するバリューが空欄の状態で保存する指示をユーザから受け付けたと判定する。
そして、ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、記載情報と記載箇所とが存在しない抽出結果とすることを要求し（Ｓ４０）、処理を終了する。
Ｓ３４にて、記載箇所を検証しない場合（Ｓ３４でＮＯ）、ユーザ端末３０の操作判定部３０１が、保存を指示するユーザ操作を受け付けたと判定する（Ｓ３９）。
具体的には、操作判定部３０１は、図２０に示す確認画面３７０にて、入力欄３７１が空欄の状態にて保存ボタン画像３７４がユーザに選択された場合、項目に対応するバリューが空欄の状態で保存する指示をユーザから受け付けたと判定する。
そして、ユーザ端末３０の通信制御部３０４が、ＯＣＲ処理サーバ１０に対し、記載情報と記載箇所とが存在しない抽出結果とすることを要求し（Ｓ４０）、処理を終了する。
【0109】
＜変形例＞
上述した例では、操作画面３００に、ユーザが選択した項目のうちの一の項目に対応する抽出候補が表示されているが、この限りではない。例えば、ユーザが一の項目に対応する抽出候補を訂正した場合に、一の項目に関連する関連項目に対応する抽出候補が表示されてもよい。
図２１は、本実施形態に係る抽出候補の表示の他の例を示す図であり、訂正された抽出候補の項目の関連項目に対応する抽出候補を表示した場合の一例を示している。
上述した例では、操作画面３００に、ユーザが選択した項目のうちの一の項目に対応する抽出候補が表示されているが、この限りではない。例えば、ユーザが一の項目に対応する抽出候補を訂正した場合に、一の項目に関連する関連項目に対応する抽出候補が表示されてもよい。
図２１は、本実施形態に係る抽出候補の表示の他の例を示す図であり、訂正された抽出候補の項目の関連項目に対応する抽出候補を表示した場合の一例を示している。
【0110】
図２１の表示例では、項目「申請日」の抽出候補に対して訂正が行われた状態にて、項目「申請日」の関連項目として、項目「生年月日」が特定されている場合を示している。
この「関連項目」とは、例えば、項目毎に設定される抽出の条件が共通する項目や、項目の分類が共通する項目である。具体的には、訂正した項目「申請日」と、関連項目「生年月日」とは、日付を示すものであり、キーに対応するバリューの種別が共通している。
また、図２１の表示例では、項目「申請日」の記載箇所を示す強調画像３１２と、項目「生年月日」の記載箇所を示す強調画像３１２との間で、表示態様を異ならせている。
この「関連項目」とは、例えば、項目毎に設定される抽出の条件が共通する項目や、項目の分類が共通する項目である。具体的には、訂正した項目「申請日」と、関連項目「生年月日」とは、日付を示すものであり、キーに対応するバリューの種別が共通している。
また、図２１の表示例では、項目「申請日」の記載箇所を示す強調画像３１２と、項目「生年月日」の記載箇所を示す強調画像３１２との間で、表示態様を異ならせている。
【0111】
各実施形態にてプロセッサの一例としてのＣＰＵ１１ａによって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、制御部１１へ提供される。また、ＣＰＵ１１ａによって実行されるプログラムは、インターネットなどの通信手段を用いてＯＣＲ処理サーバ１０、ユーザ端末３０の各装置にダウンロードしてもよい。
【0112】
なお、本実施形態において、プロセッサとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。
また、プロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施形態において記載した順序のみに限定されるものではなく、変更してもよい。
また、プロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、本実施形態において記載した順序のみに限定されるものではなく、変更してもよい。
【0113】
各実施形態における情報処理システムが行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。このプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。
【0114】
（付記）
（（（１）））
１または複数のプロセッサを備える情報処理システムであり、
前記１または複数のプロセッサは、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得し、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示する、
情報処理システム。
（（（２）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、抽出したい当該記載情報に対する前記項目の記載内容に基づき、前記抽出候補を取得する、
（（（１）））に記載の情報処理システム。
（（（３）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
前記抽出の条件の達成状況に基づき、前記抽出候補の前記記載箇所を前記表示部に表示する、
（（（１）））又は（（（２）））に記載の情報処理システム。
（（（４）））
前記１または複数のプロセッサは、
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に対して割り当てられた優先度を前記表示部に表示する、
（（（３）））に記載の情報処理システム。
（（（５）））
前記１または複数のプロセッサは、
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に割り当てられた優先度の理由を前記表示部に表示する、
（（（３）））に記載の情報処理システム。
（（（６）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された前記抽出の条件とに基づき、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、前記抽出の条件を最も達成している候補と他の候補との間で、当該抽出候補の前記記載箇所の表示態様を異ならせる、
（（（３）））に記載の情報処理システム。
（（（７）））
前記１または複数のプロセッサは、
前記非定型帳票の画像に、前記抽出候補の前記記載箇所を表示する、
（（（１）））乃至（（（６）））の何れかに記載の情報処理システム。
（（（８）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、ユーザが指定した当該抽出候補の前記記載箇所を、前記非定型帳票の画像に表示する、
（（（７）））に記載の情報処理システム。
（（（９）））
前記１または複数のプロセッサは、
ユーザによる前記抽出候補の選択を受け付けた場合、選択された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
（（（１）））乃至（（（８）））の何れかに記載の情報処理システム。
（（（１０）））
前記１または複数のプロセッサは、
選択された前記抽出候補の前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
（（（９）））に記載の情報処理システム。
（（（１１）））
前記１または複数のプロセッサは、
ユーザによる前記項目に対応する前記記載情報の入力を受け付けた場合、入力された当該記載情報を、当該項目に対応する当該記載情報を抽出した結果とし、
前記非定型帳票の画像のうちの、入力された前記記載情報が記載された前記記載箇所を検出する、
（（（１）））乃至（（（８）））の何れかに記載の情報処理システム。
（（（１２）））
前記１または複数のプロセッサは、
検出された前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
（（（１１）））記載の情報処理システム。
（（（１３）））
前記１または複数のプロセッサは、
前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
ユーザによる訂正の指示に基づき、前記抽出候補を訂正し、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていない場合であっても、訂正された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
（（（１）））乃至（（（８）））の何れかに記載の情報処理システム。
（（（１４）））
前記１または複数のプロセッサは、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていないことをユーザに知らせるための表示を前記表示部に行う、
（（（１３）））に記載の情報処理システム。
（（（１５）））
前記１または複数のプロセッサは、
前記抽出の条件のうちの、訂正された前記抽出候補に一致する当該抽出の条件に対して重みを加算し、
前記項目と、前記抽出の条件と、当該抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補を取得する、
（（（１３）））に記載の情報処理システム。
（（（１６）））
コンピュータに、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得する機能と、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示させる機能と、
を実現させるためのプログラム。
（（（１）））
１または複数のプロセッサを備える情報処理システムであり、
前記１または複数のプロセッサは、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得し、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示する、
情報処理システム。
（（（２）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、抽出したい当該記載情報に対する前記項目の記載内容に基づき、前記抽出候補を取得する、
（（（１）））に記載の情報処理システム。
（（（３）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
前記抽出の条件の達成状況に基づき、前記抽出候補の前記記載箇所を前記表示部に表示する、
（（（１）））又は（（（２）））に記載の情報処理システム。
（（（４）））
前記１または複数のプロセッサは、
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に対して割り当てられた優先度を前記表示部に表示する、
（（（３）））に記載の情報処理システム。
（（（５）））
前記１または複数のプロセッサは、
前記抽出候補の前記記載箇所とともに、前記達成状況に基づき、当該抽出候補に割り当てられた優先度の理由を前記表示部に表示する、
（（（３）））に記載の情報処理システム。
（（（６）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、前記項目と、当該項目に設定された前記抽出の条件とに基づき、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、前記抽出の条件を最も達成している候補と他の候補との間で、当該抽出候補の前記記載箇所の表示態様を異ならせる、
（（（３）））に記載の情報処理システム。
（（（７）））
前記１または複数のプロセッサは、
前記非定型帳票の画像に、前記抽出候補の前記記載箇所を表示する、
（（（１）））乃至（（（６）））の何れかに記載の情報処理システム。
（（（８）））
前記１または複数のプロセッサは、
前記非定型帳票の前記記載情報から、複数の前記抽出候補を取得し、
複数の前記抽出候補のうちの、ユーザが指定した当該抽出候補の前記記載箇所を、前記非定型帳票の画像に表示する、
（（（７）））に記載の情報処理システム。
（（（９）））
前記１または複数のプロセッサは、
ユーザによる前記抽出候補の選択を受け付けた場合、選択された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
（（（１）））乃至（（（８）））の何れかに記載の情報処理システム。
（（（１０）））
前記１または複数のプロセッサは、
選択された前記抽出候補の前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
（（（９）））に記載の情報処理システム。
（（（１１）））
前記１または複数のプロセッサは、
ユーザによる前記項目に対応する前記記載情報の入力を受け付けた場合、入力された当該記載情報を、当該項目に対応する当該記載情報を抽出した結果とし、
前記非定型帳票の画像のうちの、入力された前記記載情報が記載された前記記載箇所を検出する、
（（（１）））乃至（（（８）））の何れかに記載の情報処理システム。
（（（１２）））
前記１または複数のプロセッサは、
検出された前記記載箇所を、前記項目に対応する前記記載情報の当該記載箇所として学習する、
（（（１１）））記載の情報処理システム。
（（（１３）））
前記１または複数のプロセッサは、
前記項目と、当該項目に設定された抽出の条件とに基づき、前記抽出候補を取得し、
ユーザによる訂正の指示に基づき、前記抽出候補を訂正し、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていない場合であっても、訂正された当該抽出候補を、前記項目に対応する前記記載情報を抽出した結果とする、
（（（１）））乃至（（（８）））の何れかに記載の情報処理システム。
（（（１４）））
前記１または複数のプロセッサは、
訂正された前記抽出候補が前記抽出の条件の全ては満たしていないことをユーザに知らせるための表示を前記表示部に行う、
（（（１３）））に記載の情報処理システム。
（（（１５）））
前記１または複数のプロセッサは、
前記抽出の条件のうちの、訂正された前記抽出候補に一致する当該抽出の条件に対して重みを加算し、
前記項目と、前記抽出の条件と、当該抽出の条件の重みとに基づき、新たな非定型帳票から新たな抽出候補を取得する、
（（（１３）））に記載の情報処理システム。
（（（１６）））
コンピュータに、
非定型帳票に記載された情報である記載情報から、当該非定型帳票の項目に対応する当該記載情報として抽出する候補である抽出候補を取得する機能と、
前記非定型帳票のうちの前記抽出候補が記載された記載箇所を表示部に表示させる機能と、
を実現させるためのプログラム。
【符号の説明】
【0115】
１…情報処理システム、１０…ＯＣＲ処理サーバ、１１…制御部、１２…２次記憶部、１３…通信部、３０…ユーザ端末、３００…操作画面、３１１…プレビュー画像、３１２…強調画像、３１３…バッジ画像、３１４…参照画像、３１５…警告画像、３２０…設定画面、３３０…詳細画面、３３１…部分画像、３３２…出力欄、３３３…確定ボタン画像、３５０…通知画像、３７０…確認画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
