IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士ゼロックス株式会社の特許一覧

特開2024-135265情報処理システム及び情報処理プログラム
<>
  • 特開-情報処理システム及び情報処理プログラム 図1
  • 特開-情報処理システム及び情報処理プログラム 図2
  • 特開-情報処理システム及び情報処理プログラム 図3
  • 特開-情報処理システム及び情報処理プログラム 図4
  • 特開-情報処理システム及び情報処理プログラム 図5
  • 特開-情報処理システム及び情報処理プログラム 図6
  • 特開-情報処理システム及び情報処理プログラム 図7
  • 特開-情報処理システム及び情報処理プログラム 図8
  • 特開-情報処理システム及び情報処理プログラム 図9
  • 特開-情報処理システム及び情報処理プログラム 図10
  • 特開-情報処理システム及び情報処理プログラム 図11
  • 特開-情報処理システム及び情報処理プログラム 図12
  • 特開-情報処理システム及び情報処理プログラム 図13
  • 特開-情報処理システム及び情報処理プログラム 図14
  • 特開-情報処理システム及び情報処理プログラム 図15
  • 特開-情報処理システム及び情報処理プログラム 図16
  • 特開-情報処理システム及び情報処理プログラム 図17
  • 特開-情報処理システム及び情報処理プログラム 図18
  • 特開-情報処理システム及び情報処理プログラム 図19
  • 特開-情報処理システム及び情報処理プログラム 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135265
(43)【公開日】2024-10-04
(54)【発明の名称】情報処理システム及び情報処理プログラム
(51)【国際特許分類】
   G06V 30/41 20220101AFI20240927BHJP
   G06V 30/12 20220101ALI20240927BHJP
【FI】
G06V30/41
G06V30/12 J
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023045869
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】木下 勇人
【テーマコード(参考)】
5B029
5B064
【Fターム(参考)】
5B029AA01
5B029BB02
5B029CC18
5B064AA01
5B064AB02
5B064BA01
(57)【要約】
【課題】本開示は、文書の画像データから抽出した文字情報と、当該文字情報を入力値に用いる処理において当該文字情報が入力される入力項目との対応関係をユーザに把握させることを目的とする。
【解決手段】情報処理システムは、プロセッサを備え、前記プロセッサは、文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる。
【選択図】図1
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、
前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる、
情報処理システム。
【請求項2】
前記プロセッサは、
前記入力処理を含む複数の処理で構成されたワークフローの候補を示す候補情報を、前記文書に対応して特定された前記ワークフローの候補数だけ前記表示部に表示させる、
請求項1に記載の情報処理システム。
【請求項3】
前記プロセッサは、
前記候補情報として、前記ワークフローを構成する各処理を示す複数のアイコンを表示させ、
前記複数のアイコンのうち前記入力処理を示すアイコンが選択されることにより、選択されたアイコンが示す前記入力処理における前記対応関係を表示させる、
請求項2に記載の情報処理システム。
【請求項4】
前記プロセッサは、
前記文書に対応する前記入力処理が複数ある場合、複数の前記入力処理それぞれの前記入力項目に前記文字情報が示す前記項目の何れかを対応付けるとともに、前記候補情報として、複数の前記入力処理それぞれを示すアイコンを表示させる、
請求項3に記載の情報処理システム。
【請求項5】
前記プロセッサは、前記入力項目に対応付けた前記項目が複数ある場合、前記対応関係が前記表示部に表示される表示画面において、前記入力項目に対応付けた複数の前記項目を表示させる、
請求項1に記載の情報処理システム。
【請求項6】
前記プロセッサは、前記表示画面において、複数の前記項目を確信度が高い順に並べて表示させる、
請求項5に記載の情報処理システム。
【請求項7】
前記プロセッサは、前記入力項目に対応付く前記項目がない場合、前記項目が見つからなかったことを前記表示部に表示させる、
請求項1に記載の情報処理システム。
【請求項8】
前記プロセッサは、前記入力項目に対応付く前記項目を選択するか否かをユーザに確認する確認情報を前記表示部に表示させる、
請求項7に記載の情報処理システム。
【請求項9】
前記プロセッサは、前記対応関係が前記表示部に表示される表示画面において、前記画像データから取得した前記項目を示す前記文字情報のうち、前記入力処理における前記入力項目に対応付けられなかった前記項目の前記文字情報を示す情報を表示させる、
請求項1に記載の情報処理システム。
【請求項10】
前記プロセッサは、前記文書に対応する前記入力処理の複数の候補が前記表示部に表示される画面において、ユーザにより設定された設定内容に応じた数の前記入力処理の候補を表示させる、
請求項1に記載の情報処理システム。
【請求項11】
前記プロセッサは、前記対応関係が前記表示部に表示される表示画面において、ユーザに関するユーザ情報に応じた数の前記入力項目を表示させる、
請求項1に記載の情報処理システム。
【請求項12】
コンピュータに、
文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、
前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる、
処理を実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献1には、AIを使用して、RPAワークフロー開発アプリケーションの外部ソースから、RPAワークフローを自動的に生成する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-064360号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、文字認識処理を行った文書の画像データから抽出した文字情報を他の処理の予め定めた項目に入力する場合があった。このとき、画像データから抽出した文字情報が複数ある場合は、複数の文字情報の中の特定の文字情報が他の処理の項目毎に対応付けられ、各項目に対応付いた文字情報が他の処理の実行時に入力される。
【0005】
ここで、画像データから抽出した文字情報と他の処理の項目との対応関係をユーザが把握していないと、他の処理が実行された際にユーザの意図しない文字情報が入力されるおそれがある。
【0006】
そこで、本開示は、文書の画像データから抽出した文字情報と、当該文字情報を入力値に用いる処理において当該文字情報が入力される入力項目との対応関係をユーザに把握させることを目的とする。
【課題を解決するための手段】
【0007】
第1の態様の情報処理システムは、プロセッサを備え、前記プロセッサは、文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる。
【0008】
第2の態様の情報処理システムは、第1の態様の情報処理システムであって、前記プロセッサは、前記入力処理を含む複数の処理で構成されたワークフローの候補を示す候補情報を、前記文書に対応して特定された前記ワークフローの候補数だけ前記表示部に表示させる。
【0009】
第3の態様の情報処理システムは、第2の態様の情報処理システムであって、前記プロセッサは、前記候補情報として、前記ワークフローを構成する各処理を示す複数のアイコンを表示させ、前記複数のアイコンのうち前記入力処理を示すアイコンが選択されることにより、選択されたアイコンが示す前記入力処理における前記対応関係を表示させる。
【0010】
第4の態様の情報処理システムは、第3の態様の情報処理システムであって、前記プロセッサは、前記文書に対応する前記入力処理が複数ある場合、複数の前記入力処理それぞれの前記入力項目に前記文字情報が示す前記項目の何れかを対応付けるとともに、前記候補情報として、複数の前記入力処理それぞれを示すアイコンを表示させる。
【0011】
第5の態様の情報処理システムは、第1の態様の情報処理システムであって、前記プロセッサは、前記入力項目に対応付けた前記項目が複数ある場合、前記対応関係が前記表示部に表示される表示画面において、前記入力項目に対応付けた複数の前記項目を表示させる。
【0012】
第6の態様の情報処理システムは、第5の態様の情報処理システムであって、前記プロセッサは、前記表示画面において、複数の前記項目を確信度が高い順に並べて表示させる。
【0013】
第7の態様の情報処理システムは、第1の態様の情報処理システムであって、前記プロセッサは、前記入力項目に対応付く前記項目がない場合、前記項目が見つからなかったことを前記表示部に表示させる。
【0014】
第8の態様の情報処理システムは、第7の態様の情報処理システムであって、前記プロセッサは、前記入力項目に対応付く前記項目を選択するか否かをユーザに確認する確認情報を前記表示部に表示させる。
【0015】
第9の態様の情報処理システムは、第1の態様の情報処理システムであって、前記プロセッサは、前記対応関係が前記表示部に表示される表示画面において、前記画像データから取得した前記項目を示す前記文字情報のうち、前記入力処理における前記入力項目に対応付けられなかった前記項目の前記文字情報を示す情報を表示させる。
【0016】
第10の態様の情報処理システムは、第1の態様の情報処理システムであって、前記プロセッサは、前記文書に対応する前記入力処理の複数の候補が前記表示部に表示される画面において、ユーザにより設定された設定内容に応じた数の前記入力処理の候補を表示させる。
【0017】
第11の態様の情報処理システムは、第1の態様の情報処理システムであって、前記プロセッサは、前記対応関係が前記表示部に表示される表示画面において、ユーザに関するユーザ情報に応じた数の前記入力項目を表示させる。
【0018】
第12の態様の情報処理プログラムは、コンピュータに、文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる、処理を実行させる。
【発明の効果】
【0019】
第1及び第12の態様によれば、文書の画像データから抽出した文字情報と、当該文字情報を入力値に用いる処理において当該文字情報が入力される入力項目との対応関係をユーザに把握させることができる。
【0020】
第2の態様によれば、文書に対応して特定された複数のワークフローの候補をユーザに把握させることができる。
【0021】
第3の態様によれば、ワークフローの候補をユーザに提示する画面において、当該ワークフローに含まれる入力処理における対応関係についてもユーザに把握させることができる。
【0022】
第4の態様によれば、文書に対応する入力処理が複数ある場合、ワークフローの候補をユーザに提示する画面において、当該入力処理が複数あることをユーザに把握させることができる。
【0023】
第5の態様によれば、入力項目に対応付けた項目が複数ある場合、対応関係が表示部に表示される表示画面において、当該項目が複数あることをユーザに把握させることができる。
【0024】
第6の態様によれば、対応関係が表示部に表示される表示画面において、複数の項目の確信度の順序をユーザに把握させることができる。
【0025】
第7の態様によれば、入力項目に対応付く項目がない場合、当該入力項目に対応付く項目がないことをユーザに把握させることができる。
【0026】
第8の態様によれば、入力項目に対応付く項目がない場合に、対応付ける項目をユーザに選択させることができる。
【0027】
第9の態様によれば、入力項目に対応付けられなかった項目をユーザに把握させることができる。
【0028】
第10の態様によれば、文書に対応する入力処理の複数の候補が表示部に表示される画面に予め用意された入力処理の候補全てが表示される場合に比べて、当該画面においてユーザに提示する情報量を少なくすることができる。
【0029】
第11の態様によれば、ユーザ毎にパーソナライズされた入力項目を、対応関係が表示部に表示される表示画面に表示させることができる。
【図面の簡単な説明】
【0030】
図1】提示システムの概略構成を示す図である。
図2】サーバのハードウェア構成を示すブロック図である。
図3】画像形成装置のハードウェア構成を示すブロック図である。
図4】提示処理の流れを示す第1のフローチャートである。
図5】提示処理の流れを示す第2のフローチャートである。
図6】提示処理の流れを示す第3のフローチャートである。
図7】画像形成装置の表示部に表示される表示例である。
図8】サーバの表示部に表示される第1の表示例である。
図9】サーバの表示部に表示される第2の表示例である。
図10】サーバの表示部に表示される第3の表示例である。
図11】サーバの表示部に表示される第4の表示例である。
図12】マッピングの流れを説明するための第1の説明図である。
図13】マッピングの流れを説明するための第2の説明図である。
図14】サーバの表示部に表示される第5の表示例である。
図15】サーバの表示部に表示される第6の表示例である。
図16】サーバの表示部に表示される第7の表示例である。
図17】サーバの表示部に表示される第8の表示例である。
図18】サーバの表示部に表示される第9の表示例である。
図19】サーバの表示部に表示される第10の表示例である。
図20】サーバの表示部に表示される第11の表示例である。
【発明を実施するための形態】
【0031】
以下、本実施形態に係る提示システム10について説明する。
図1は、提示システム10の概略構成を示す図である。
【0032】
図1に示すように、提示システム10は、サーバ20及び画像形成装置40を含む。サーバ20及び画像形成装置40は、ネットワークNを介して接続され、互いに通信可能となっている。サーバ20は「情報処理システム」の一例である。
【0033】
図2は、サーバ20のハードウェア構成を示すブロック図である。サーバ20は、予め定めた事業者が保有するサーバコンピュータである。
【0034】
図2に示すように、サーバ20は、CPU(=Central Processing Unit)21、ROM(=Read Only Memory)22、RAM(=Random Access Memory)23、記憶部24、入力部25、表示部26、及び通信部27を備えている。各構成は、バス28を介して相互に通信可能に接続されている。
【0035】
CPU21は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU21は、ROM22又は記憶部24からプログラムを読み出し、RAM23を作業領域としてプログラムを実行する。CPU21は、ROM22又は記憶部24に記憶されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。CPU21は「プロセッサ」の一例である。
【0036】
ROM22は、各種プログラム及び各種データを格納する。RAM23は、作業領域として一時的にプログラム又はデータを記憶する。
【0037】
記憶部24は、HDD(=Hard Disk Drive)、SSD(=Solid State Drive)又はフラッシュメモリ等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。記憶部24には、CPU21に後述する提示処理を実行させるための情報処理プログラム24Aが格納されている。
【0038】
入力部25は、一例として、マウス等のポインティングデバイス、各種ボタン、キーボード、マイク、及びカメラ等を含み、各種の入力を行うために使用される。
【0039】
表示部26は、液晶ディスプレイ又は有機EL(=Electro Luminescence)ディスプレイ等の表示装置であり、各種の情報を表示する。表示部26は、タッチパネル方式を採用して、入力部25として機能してもよい。また、表示部26は、上記のような物理的な表示装置に限らず、これに代えて又は加えて、空中に画像が浮かび、その画像に対して操作指示が可能ないわゆる空中ディスプレイであってもよい。表示部26は「表示部」の一例である。
【0040】
通信部27は、他の機器と通信するためのインターフェースである。当該通信には、例えば、イーサネット(登録商標)若しくはFDDI等の有線通信の規格、又は、4G、5G、若しくはWi-Fi(登録商標)等の無線通信の規格が用いられる。
【0041】
図3は、画像形成装置40のハードウェア構成を示すブロック図である。
図3に示すように、画像形成装置40は、画像形成装置40の動作を制御する制御部50を備えている。この制御部50は、CPU51、ROM52、RAM53、及び入出力インターフェース(=I/O)54がバス55を介して相互に通信可能に接続されている。
【0042】
CPU51は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU51は、ROM52又は後述する記憶部56からプログラムを読み出し、RAM53を作業領域としてプログラムを実行する。CPU51は、ROM52又は記憶部56に記録されているプログラムにしたがって、上記各構成の制御及び各種の演算処理を行う。
【0043】
ROM52は、各種プログラム及び各種データを格納する。RAM53は、作業領域として一時的にプログラム又はデータを記憶する。
【0044】
I/O54には、記憶部56、表示部57、操作部58、読取部59、画像形成部60、及び通信部61が接続されている。これらの各部は、I/O54を介して、CPU51と相互に通信可能とされている。
【0045】
記憶部56は、HDD、SSD又はフラッシュメモリ等の記憶装置により構成され、各種プログラム、及び各種データを格納する。
【0046】
表示部57には、例えば、液晶ディスプレイ又は有機ELディスプレイ等が用いられる。表示部57は、タッチパネルを一体的に有している。
操作部58には、テンキー又はスタートキー等の各種の操作キーが設けられている。
【0047】
表示部57及び操作部58は、画像形成装置40のユーザから各種の指示を受付ける。この各種の指示には、例えば、文書の読み取りを開始させる指示、及び文書のコピーを開始させる指示等が含まれる。表示部57は、ユーザから受付けた指示に応じて実行された処理の結果、及び処理に対する通知等の各種の情報を表示する。
【0048】
読取部59は、画像形成装置40の上部に設けられた図示しないADF(=Automatic document feeder)の給紙台に置かれた文書を1枚ずつ取り込み、取り込んだ文書を光学的に読み取って画像データを得る。あるいは、読取部59は、プラテンガラス等の台に置かれた文書を光学的に読み取って画像データを得る。
【0049】
画像形成部60は、読取部59による読み取りによって得られた画像データ、又は、ネットワークNを介して接続された外部のパーソナルコンピュータ(=PC:Personal Computer)等から得られた画像データに基づく画像を、紙等の記録媒体に形成する。
【0050】
通信部61は、他の機器と通信するためのインターフェースである。当該通信には、例えば、イーサネット(登録商標)若しくはFDDI等の有線通信の規格、又は、4G、5G、若しくはWi-Fi(登録商標)等の無線通信の規格が用いられる。
【0051】
次に、図4から図6を用いて、ワークフローの候補がユーザに提示される提示処理の流れについて説明する。CPU21が記憶部24から情報処理プログラム24Aを読み出して、RAM23に展開して実行することにより、提示処理が行われる。ここで、ワークフローは、サーバ20及び画像形成装置40の少なくとも一方に実行させる一連の処理が時系列に沿って定義されたものである。
【0052】
図4に示すステップS10において、CPU21は、文書の画像データを取得する。例えば、CPU21は、画像形成装置40による読み取りによって得られた文書の画像データ、又は、文書の画像データが登録されたアプリケーションから任意の画像データを取得する。そして、CPU21は、ステップS11に進む。文書は、少なくとも文字を含んでおり、文字のみで構成されたものでもよいし、文字及び記号を組み合わせて構成されたものでもよい。
【0053】
ステップS11において、CPU21は、ステップS10で取得した画像データに対して文字認識処理を行い、画像データに含まれる特定のキー及びキーに対応する文字列であるバリューを示すキーバリュー情報を取得する。具体的には、CPU21は、取得した画像データに対して文字認識処理としてOCR(=Optical Character Recognition)処理を行い、画像データに含まれる文字を認識する。当該文字は、一文字の場合及び複数の文字からなる文字列の場合の双方を含む。また、CPU21は、OCR処理された画像データに対してキーバリュー抽出処理を行い、指定したキーに対応するバリューを抽出する。そして、CPU21は、抽出したバリューと対応するキーとの関係性を示したキーバリュー情報を取得する。CPU21が取得したキーバリュー情報は、記憶部24に記憶される。なお、上記のキーバリュー抽出処理は、公知の技術が適宜用いられる。キーは「項目」の一例であり、バリューは「値」の一例であり、キーバリュー情報は「文字情報」の一例である。そして、CPU21は、ステップS12に進む。
【0054】
ステップS12において、CPU21は、ステップS11で取得したキーバリュー情報をユーザに確認させるキーバリュー確認画面を表示部26に表示させる。そして、CPU21は、ステップS13に進む。
【0055】
ステップS13において、CPU21は、キーバリュー確認画面に表示されたキーバリュー情報に対する訂正操作を受付けたか否かを判定する。ここで、CPU21は、キーバリュー情報に対する訂正操作を受付けたと判定した場合(ステップS13:YES)、ステップS14に進む。一方、CPU21は、キーバリュー情報に対する訂正操作を受付けたと判定しない場合(ステップS13:NO)、ステップS15に進む。キーバリュー確認画面では、ユーザによるキーバリュー情報の訂正が可能となっており、予め定めた操作が行われた場合に、CPU21は、キーバリュー情報に対する訂正操作を受付けたと判定する。
【0056】
ステップS14において、CPU21は、ユーザにより行われた訂正を反映した訂正後のキーバリュー情報を表示部26に表示させる。そして、CPU21は、ステップS15に進む。なお、ユーザによる訂正が行われた場合、CPU21は、記憶部24に記憶されているキーバリュー情報を訂正後の内容に更新する。
【0057】
ステップS15において、CPU21は、キーバリュー情報に対するユーザの確認が完了したか否かを判定する。ここで、CPU21は、キーバリュー情報に対するユーザの確認が完了したと判定した場合(ステップS15:YES)、ステップS16に進む。一方、CPU21は、キーバリュー情報に対するユーザの確認が完了したと判定しない場合(ステップS15:NO)、ステップS13に戻る。一例として、CPU21は、キーバリュー確認画面で後述する次へボタン75(図8参照)の操作が行われた場合に、キーバリュー情報に対するユーザの確認が完了したと判定する。
【0058】
ステップS16において、CPU21は、ステップS15でユーザの確認が完了したキーバリュー情報に基づいて、文書の種別である文書種別の候補を特定する。記憶部24には、納品書、請求書、発注書、及び見積書等の複数の文書種別が予め登録されている。ここで、上記のキーバリュー抽出処理は、キーに「タイトル」を少なくとも含んでいる。そのため、当該キーバリュー抽出処理では、キーである「タイトル」に対応するバリューとして「納品書」及び「請求書」等の文字列が抽出される。一例として、CPU21は、キーである「タイトル」に対応するバリューとして抽出された文字列に対して自然言語処理を行い、記憶部24に予め登録された複数の文書種別の中から当該文字列との単語間の類似度が閾値以上の文書種別の候補を特定する。そして、CPU21は、ステップS17に進む。なお、上記の自然言語処理は、Word2Vec等の公知の技術が適宜用いられる。
【0059】
ステップS17において、CPU21は、ステップS16で特定した文書種別の候補をユーザに確認させる文書種別確認画面を表示部26に表示させる。そして、CPU21は、ステップS18に進む。
【0060】
ステップS18において、CPU21は、文書種別確認画面に表示された文書種別の候補に対する訂正操作を受付けたか否かを判定する。ここで、CPU21は、文書種別の候補に対する訂正操作を受付けたと判定した場合(ステップS18:YES)、ステップS19に進む。一方、CPU21は、文書種別の候補に対する訂正操作を受付けたと判定しない場合(ステップS18:NO)、ステップS20に進む。文書種別確認画面では、ユーザによる文書種別の訂正が可能となっており、予め定めた操作が行われた場合に、CPU21は、文書種別の候補に対する訂正操作を受付けたと判定する。
【0061】
ステップS19において、CPU21は、ユーザにより行われた訂正を反映した訂正後の文書種別の候補を表示部26に表示させる。そして、CPU21は、ステップS20に進む。
【0062】
ステップS20において、CPU21は、文書種別確認画面での文書種別の設定が完了したか否かを判定する。ここで、CPU21は、文書種別の設定が完了したと判定した場合(ステップS20:YES)、図5に示すステップS21に進む。一方、CPU21は、文書種別の設定が完了したと判定しない場合(ステップS20:NO)、ステップS18に戻る。一例として、CPU21は、文書種別確認画面で予め定めた操作が行われた場合に文書種別の設定が完了したと判定する。
【0063】
図5に示すステップS21において、CPU21は、ステップS20で設定が完了した文書種別に基づいて、ワークフローを構成する複数の処理に含まれる入力処理の候補を特定する。入力処理は、ワークフロー実行時に取得した文書の画像データに対応するキーバリュー情報が示すバリューの何れかが予め定めたフィールドに入力される処理である。フィールドは「入力項目」の一例である。記憶部24には、入力処理1、入力処理2、及び入力処理3等の複数の入力処理が文書種別毎に応じて予め登録されている。一例として、CPU21は、記憶部24に予め登録された複数の入力処理の中から、ステップS20で設定が完了した文書種別に応じた入力処理の候補を特定する。そして、CPU21は、ステップS22に進む。
【0064】
ステップS22において、CPU21は、ステップS21で特定した入力処理の候補をユーザに確認させる入力処理確認画面を表示部26に表示させる。そして、CPU21は、ステップS23に進む。
【0065】
ステップS23において、CPU21は、任意の入力処理の選択を受付けたか否かを判定する。ここで、CPU21は、入力処理の選択を受付けたと判定した場合(ステップS23:YES)、ステップS24に進む。一方、CPU21は、入力処理の選択を受付けたと判定しない場合(ステップS23:NO)、ステップS25に進む。入力処理確認画面では、ユーザが一以上の入力処理を選択すること、又は入力処理を1つも選択しないことが可能となっている。一例として、CPU21は、入力処理確認画面で予め定めた操作が行われた場合に入力処理の選択を受付けたと判定する。
【0066】
ステップS24において、CPU21は、ユーザにより行われた選択を反映した選択後の入力処理確認画面を表示部26に表示させる。そして、CPU21は、ステップS25に進む。
【0067】
ステップS25において、CPU21は、入力処理確認画面での入力処理の設定が完了したか否かを判定する。ここで、CPU21は、入力処理の設定が完了したと判定した場合(ステップS25:YES)、ステップS26に進む。一方、CPU21は、入力処理の設定が完了したと判定しない場合(ステップS25:NO)、ステップS23に戻る。一例として、CPU21は、入力処理確認画面で次へボタン75(図10参照)の操作が行われた場合に、入力処理の設定が完了したと判定する。
【0068】
ステップS26において、CPU21は、ステップS25で設定が完了した入力処理に基づいて、ワークフローの候補を取得する。記憶部24には、ワークフローA、ワークフローB、及びワークフローC等の入力処理を含む複数の処理で構成された複数のワークフローの雛型が予め登録されている。一例として、CPU21は、記憶部24に予め登録された複数のワークフローの雛型の中から、ステップS25で設定が完了した入力処理を含んだワークフローの候補を取得する。そして、CPU21は、図6に示すステップS27に進む。
【0069】
図6に示すステップS27において、CPU21は、ステップS26で取得したワークフローの候補の中から、後述するマッピングが完了していない未処理のワークフローを1つ取得する。そして、CPU21は、ステップS28に進む。
【0070】
ステップS28において、CPU21は、ステップS27で取得したワークフローに含まれる入力処理におけるフィールドに、ステップS15でユーザの確認が完了したキーバリュー情報が示すキーの何れかを対応付けるマッピングを行う。一例として、CPU21は、当該入力処理の各フィールドが示す文字列に対して自然言語処理を行い、当該キーバリュー情報が示す各キーとの単語間の類似度を特定する。CPU21は、単語間の類似度が最大のキーとフィールドとをマッピングする。なお、入力処理におけるフィールドに何を含むかは、入力処理毎に予め定義されている。そして、CPU21は、ステップS29に進む。また、上記の自然言語処理は、Word2Vec等の公知の技術が適宜用いられる。
【0071】
ステップS29において、CPU21は、ステップS28でマッピングを行ったマッピング結果をユーザに確認させるマッピング確認画面を表示部26に表示させる。そして、CPU21は、ステップS30に進む。マッピング結果は「対応関係」の一例である。なお、ステップS28でマッピングを行ったマッピング結果は、記憶部24に記憶される。
【0072】
ステップS30において、CPU21は、マッピング確認画面に表示されたマッピング結果に対する訂正操作を受付けたか否かを判定する。ここで、CPU21は、マッピング結果に対する訂正操作を受付けたと判定した場合(ステップS30:YES)、ステップS31に進む。一方、CPU21は、マッピング結果に対する訂正操作を受付けたと判定しない場合(ステップS30:NO)、ステップS32に進む。マッピング確認画面では、ユーザによるマッピング結果の訂正が可能となっており、予め定めた操作が行われた場合に、CPU21は、マッピング結果に対する訂正操作を受付けたと判定する。
【0073】
ステップS31において、CPU21は、ユーザにより行われた訂正を反映した訂正後のマッピング結果を表示部26に表示させる。そして、CPU21は、ステップS32に進む。なお、ユーザによる訂正が行われた場合、CPU21は、記憶部24に記憶されているマッピング結果を訂正後の内容に更新する。
【0074】
ステップS32において、CPU21は、マッピング結果に対するユーザの確認が完了したか否かを判定する。ここで、CPU21は、マッピング結果に対するユーザの確認が完了したと判定した場合(ステップS32:YES)、ステップS33に進む。一方、CPU21は、マッピング結果に対するユーザの確認が完了したと判定しない場合(ステップS32:NO)、ステップS30に戻る。一例として、CPU21は、マッピング確認画面で次へボタン75(図11参照)の操作が行われた場合に、マッピング結果に対するユーザの確認が完了したと判定する。
【0075】
ステップS33において、CPU21は、ステップS26で取得したワークフローの候補の中に未処理のワークフローの候補はないか否かを判定する。ここで、CPU21は、未処理のワークフローの候補はないと判定した場合(ステップS33:YES)、ステップS34に進む。一方、CPU21は、未処理のワークフローの候補はないと判定しない場合(ステップS33:NO)、ステップS27に戻る。
【0076】
ステップS34において、CPU21は、キーとフィールドとのマッピングが完了したワークフローの候補を表示部26に表示させる。そして、CPU21は、ステップS35に進む。
【0077】
ステップS35において、CPU21は、ワークフローの候補の中から一のワークフローが選択されたか否かを判定する。ここで、CPU21は、一のワークフローが選択されたと判定した場合(ステップS35:YES)、提示処理を終了する。一方、CPU21は、一のワークフローが選択されたと判定しない場合(ステップS35:NO)、一のワークフローが選択されるまで待機する。一例として、CPU21は、予め定めた操作が行われた場合に一のワークフローが選択されたと判定する。この場合、CPU21は、選択された一のワークフローとステップS20で設定が完了した文書種別とを紐付けて、当該一のワークフローを記憶部24に記憶させる。これにより、記憶部24には、特定の文書種別(例:納品書)の文書の画像データに対して実行される一連の処理が定義されたワークフローが登録される。
【0078】
次に、図4から図6に示す提示処理に基づく表示例について説明する。
図7は、画像形成装置40の表示部57に表示される表示例である。画像形成装置40のCPU51は、一例として、操作部58に対する予め定めた操作が行われた場合に図7に示す画面を表示部57に表示させる。
【0079】
図7に示す表示例には、生成用ボタン70と、実行用ボタン71と、開始ボタン72と、が表示されている。
【0080】
生成用ボタン70は、特定の文書種別の文書の画像データに対して実行する一連の処理を定義するワークフローの生成を行うためのボタンである。
【0081】
実行用ボタン71は、既に生成されているワークフローに定義された一連の処理を実行するためのボタンである。一例として、図7は、実行用ボタン71として、納品書の画像データに対して一連の処理を実行するための実行用ボタン71Aと、請求書の画像データに対して一連の処理を実行するための実行用ボタン71Bとを示している。
【0082】
開始ボタン72は、ユーザにより選択された生成用ボタン70又は実行用ボタン71に対応する処理を開始するためのボタンである。図7に示す表示例でのユーザによる選択は、例えば、生成用ボタン70又は実行用ボタン71を指で触れることにより行われる。図7では、ユーザにより選択されたボタンを黒色で示している。つまり、図7は、ユーザにより生成用ボタン70が選択された状態を示している。
【0083】
図示は省略するが、生成用ボタン70又は実行用ボタン71が選択された状態で開始ボタン72が操作された場合、CPU51は、文書の読み取りを行うための読み取り画面を表示部57に表示させる。当該読み取り画面で文書が読み取られると、当該文書の画像データがサーバ20に送信される。そして、図7に示す表示例で生成用ボタン70を選択していた場合には、サーバ20による提示処理が開始され、実行用ボタン71を選択していた場合には、当該実行用ボタン71に対応するワークフローに定義された一連の処理がサーバ20及び画像形成装置40の少なくとも一方により開始される。
【0084】
図8は、サーバ20の表示部26に表示される第1の表示例である。具体的には、図8はキーバリュー確認画面を示している。なお、図8は、図7に示す表示例で生成用ボタン70が選択され、その後の読み取り画面で読み取られた文書の画像データをサーバ20が取得した後の状態を示している。
【0085】
図8に示すキーバリュー確認画面には、メッセージ情報73と、キーバリュー情報74と、次へボタン75と、マウスポインタPと、が表示されている。
【0086】
メッセージ情報73は、ユーザに対する種々のメッセージを示している。一例として、図8では、メッセージ情報73として「文書から抽出したキーバリューの組み合わせです。抽出結果が間違っている場合は訂正してください。」と表示されている。
【0087】
キーバリュー情報74は、文書の画像データに含まれる特定のキー及び当該キーに対応するバリューを示している。例えば、キーバリュー情報74は、キーである「タイトル」に対応するバリューとして「納品書」、及びキーである「会社名」に対応するバリューとして「○○株式会社」等を示している。
【0088】
また、キーバリュー情報74は、ユーザによる訂正が可能となっている。例えば、キーバリュー確認画面では、キーバリュー情報74が示す表の任意のセル内(例:「納品書」のセル内)にマウスポインタPが位置する状態で入力部25であるマウスを左クリックすることで、入力部25であるキーボードによる入力操作が可能となる。なお、このキーバリュー確認画面でのマウス操作及びキーボードによる入力操作が、図4に示すステップS13の説明で上述した「予め定めた操作」の一例である。
【0089】
次へボタン75は、表示部26に表示されている画面を予め定めた画面に切り替えるためのボタンである。
【0090】
図9は、サーバ20の表示部26に表示される第2の表示例である。具体的には、図9は文書種別確認画面を示している。なお、図9は、図8に示すキーバリュー確認画面で次へボタン75が操作された後の状態を示している。
【0091】
図9に示す文書種別確認画面には、メッセージ情報73と、次へボタン75と、文書候補情報76と、マウスポインタPと、が表示されている。
【0092】
図9では、メッセージ情報73として「画像データから判定した文書種別の候補です。判定結果が間違っている場合は訂正してください。」と表示されている。
【0093】
文書候補情報76は、キーバリュー確認画面でユーザの確認が完了したキーバリュー情報74に基づいて特定した文書種別の候補を示している。例えば、文書候補情報76は、文書種別の候補として、「納品書」、「請求書」、「発注書」、及び「見積書」を示している。
【0094】
また、文書候補情報76は、ユーザによる訂正が可能となっている。例えば、文書種別確認画面では、文書候補情報76を構成する文書候補ボタン76A~76Dの中の任意のボタン内(例:文書候補ボタン76A内)にマウスポインタPが位置する状態でマウスを左クリックすることで、キーボードによる入力操作が可能となる。なお、この文書種別確認画面でのマウス操作及びキーボードによる入力操作が、図4に示すステップS18の説明で上述した「予め定めた操作」の一例である。
【0095】
文書種別確認画面では、ユーザにより文書候補ボタン76A~76Dの何れかが選択された後に次へボタン75が操作可能となる。図9に示す文書種別確認画面でのユーザによる選択は、例えば、文書候補ボタン76A~76Dの中の任意のボタン内(例:文書候補ボタン76A内)にマウスポインタPが位置する状態でマウスをダブルクリックすることにより行われる。図9では、ユーザにより選択されたボタンを黒色で示している。つまり、図9は、ユーザにより文書候補ボタン76Aが選択された状態を示している。そして、ユーザにより文書候補ボタン76A~76Dの何れかが選択された後に次へボタン75が操作されることで、文書種別確認画面における文書種別の設定が完了する。なお、この文書種別確認画面での何れかの文書候補ボタン76A~76Dに対する操作及び次へボタン75の操作が、図4に示すステップS20の説明で上述した「予め定めた操作」の一例である。
【0096】
図10は、サーバ20の表示部26に表示される第3の表示例である。具体的には、図10は入力処理確認画面を示している。なお、図10は、図9に示す文書種別確認画面で次へボタン75が操作された後の状態を示している。
【0097】
図10に示す入力処理確認画面には、メッセージ情報73と、次へボタン75と、入力処理候補情報77と、マウスポインタPと、が表示されている。
【0098】
図10では、メッセージ情報73として「文書種別に応じた入力処理の候補です。適切な入力処理を選択してください。」と表示されている。
【0099】
入力処理候補情報77は、文書種別確認画面で設定が完了した文書種別に応じた入力処理の候補を示している。例えば、入力処理候補情報77は、入力処理の候補として、「入力処理1」、「入力処理2」、「入力処理3」、及び「入力処理4」を示している。
【0100】
入力処理確認画面では、入力処理候補情報77を構成する入力処理候補ボタン77A~77Dの中の一以上のボタンがユーザにより選択されているかに関わらず、次へボタン75の操作が可能となっている。図10に示す入力処理確認画面でのユーザによる選択は、例えば、入力処理候補ボタン77A~77Dの中の任意のボタン内にマウスポインタPが位置する状態でマウスをダブルクリックすることにより行われる。図10では、ユーザにより選択されたボタンを黒色で示している。つまり、図10は、入力処理候補ボタン77A~77Dの何れもが選択されていない状態を示している。なお、この入力処理確認画面でのマウス操作が、図5に示すステップS23の説明で上述した「予め定めた操作」の一例である。
【0101】
図11は、サーバ20の表示部26に表示される第4の表示例である。具体的には、図11はマッピング確認画面を示している。なお、図11は、図10に示す入力処理確認画面で次へボタン75が操作された後の状態を示している。
【0102】
図11に示すマッピング確認画面には、メッセージ情報73と、次へボタン75と、マッピング情報78と、マウスポインタPと、が表示されている。
【0103】
図11では、メッセージ情報73として「画像データから抽出したキーと入力処理のフィールドとのマッピング結果です。マッピング結果が間違っている場合は訂正してください。」と表示されている。
【0104】
マッピング情報78は、マッピングが完了していない未処理のワークフローに含まれる入力処理におけるフィールドと、キーバリュー確認画面でユーザの確認が完了したキーバリュー情報が示すキーとのマッピング結果を示している。一例として、図11に示すマッピング情報78は、入力処理1におけるフィールドと、当該フィールドに対応するキーとのマッピング結果を示している。例えば、当該マッピング情報78は、マッピング結果として、フィールドである「取引先企業名」に対応するキーとして「会社名」、及びフィールドである「担当者名」に対応するキーとして「氏名」等を示している。
【0105】
また、マッピング情報78は、ユーザによる訂正が可能となっている。例えば、マッピング確認画面では、マッピング情報78が示す表の任意のセル内(例:「氏名」のセル内)にマウスポインタPが位置する状態でマウスを左クリックすることで、キーボードによる入力操作が可能となる。なお、このマッピング確認画面でのマウス操作及びキーボードによる入力操作が、図6に示すステップS30の説明で上述した「予め定めた操作」の一例である。
【0106】
ここで、特定のフィールドと特定のキーとがマッピングされる具体的な流れを図12及び図13を用いて説明する。
【0107】
図12は、マッピングの流れを説明するための第1の説明図である。図12には、フィールド情報100と、キー情報110と、が表示されている。
【0108】
フィールド情報100は、マッピング対象となる入力処理に対応して予め定義された各フィールドを示している。例えば、フィールド情報100は、当該入力処理のフィールドとして、「取引先企業名」、「担当者名」、「取引先住所」、及び「取引先電話番号」を示している。
【0109】
キー情報110は、フィールドとマッピングされるキーの候補として、記憶部24に記憶された特定のキーバリュー情報が示すキーの一覧を示している。例えば、キー情報110は、当該キーの一覧として、「担当者」、「タイトル」、「会社名」、「電話番号」、「住所」、「発行元」、及び「期日」を示している。
【0110】
そして、図12では、矢印X1で示されるフィールド:「取引先企業名」及びキー:「会社名」と、矢印X2で示されるフィールド:「担当者名」及びキー:「担当者」と、矢印X3で示されるフィールド:「取引先住所」及びキー:「住所」と、矢印X4で示されるフィールド:「取引先電話番号」及びキー:「電話番号」と、がマッピングされている。
【0111】
図13は、マッピングの流れを説明するための第2の説明図である。図13には、フィールド情報100と、キー情報110と、類似度情報120と、が表示されている。
【0112】
類似度情報120は、マッピング対象となるフィールドの文字列と各キーの文字列との単語間の類似度を示している。一例として、図13に示す類似度情報120は、フィールド情報100が示すフィールド:「取引先企業名」と、キー情報110が示す各キーとの類似度を示している。この場合、類似度情報120が示す類似度が「85」で最も高いキー:「会社名」が、上記のフィールド:「取引先企業名」にマッピングされている。
【0113】
図14は、サーバ20の表示部26に表示される第5の表示例である。具体的には、図14は、ワークフローの候補の中から一のワークフローをユーザに選択させる選択画面を示している。
【0114】
図14に示す選択画面には、メッセージ情報73と、ワークフロー情報79と、チェックボックス80と、OKボタン81と、マウスポインタPと、が表示されている。
【0115】
図14では、メッセージ情報73として「自動生成したワークフローの候補です。業務に適したワークフローを選択してください。」と表示されている。
【0116】
ワークフロー情報79は、入力処理確認画面で設定が完了した入力処理を含む複数の処理で構成されたワークフローの候補を示している。また、ワークフロー情報79は、ワークフローを構成する各処理を示す複数のアイコンIを含んでいる。一例として、図14に示すワークフロー情報79は、ワークフロー情報79A~ワークフロー情報79Dの4つを含んでいるが、選択画面に表示されるワークフロー情報79の数は4つに限らず、これより多くても少なくてもよい。また、各ワークフローを構成する複数の処理の数は、図14に示す3つ又は4つに限られず、2つ又は5つ以上のように図14に示す数より多くても少なくてもよい。さらに、選択画面は、図示しないスクロールバー等を操作することにより、表示部26に表示されるワークフロー情報79が切り替わるよう構成されていてもよい。ワークフロー情報79は「候補情報」の一例である。
【0117】
チェックボックス80は、ワークフロー情報79が示すワークフローの中から一のワークフローの選択を受付ける部分である。図14に示すチェックボックス80は、ワークフロー情報79A~ワークフロー情報79Dそれぞれに対応する4つのチェックボックス80A~80Dを備えている。一例として、図14に示す選択画面では、ワークフロー情報79Aに対応するチェックボックス80Aにチェックマークが付されている。これにより、図14に示す選択画面では、ワークフロー情報79Aが示すワークフローの選択を受付けたことが示されている。
【0118】
OKボタン81は、チェックボックス80で選択を受付けた内容を決定するボタンである。OKボタン81は、一のチェックボックス80が選択されるまで操作できないよう構成されている。なお、この選択画面でのOKボタン81の操作が、図6に示すステップS35の説明で上述した「予め定めた操作」の一例である。
【0119】
図15は、サーバ20の表示部26に表示される第6の表示例である。具体的には、図15は、図14に示す選択画面で入力処理を示すアイコンIが選択された後の状態を示している。
【0120】
図15に示す選択画面では、ワークフロー情報79Bが示すワークフローに含まれる入力処理、具体的には、入力処理1を示すアイコンIの上にマウスポインタPが位置している。選択画面では、入力処理を示すアイコンIの上にマウスポインタPが位置すると、当該アイコンIが選択されたとして、選択された当該アイコンIが示す入力処理におけるマッピング結果が表示される。一例として、図15に示す選択画面では、入力処理1におけるマッピング結果として、図11に示すマッピング確認画面と同内容のマッピング情報78が表示されている。
【0121】
以上説明したように、サーバ20のCPU21は、文書の画像データに対して文字認識処理を行い、画像データに含まれる特定のキー及び当該キーに対応する文字列であるバリューを示すキーバリュー情報を取得する。そして、CPU21は、キーバリュー情報が示すバリューの何れかが予め定めたフィールドに入力される入力処理におけるフィールドに、キーバリュー情報が示すキーの何れかを対応付けたマッピング結果を表示部26に表示させる(図11参照)。これにより、当該サーバ20によれば、文書の画像データから抽出したキーバリュー情報と、当該キーバリュー情報が示すバリューを入力値に用いる入力処理において当該バリューが入力されるフィールドとキーとのマッピング結果をユーザに把握させることができる。
【0122】
また、サーバ20のCPU21は、入力処理を含む複数の処理で構成されたワークフローの候補を示すワークフロー情報79を、文書に対応して特定されたワークフローの候補数だけ表示部26に表示させる(図14参照)。これにより、当該サーバ20によれば、文書に対応して特定された複数のワークフローの候補をユーザに把握させることができる。
【0123】
また、サーバ20のCPU21は、ワークフロー情報79として、ワークフローを構成する各処理を示す複数のアイコンIを表示させる(図14参照)。そして、CPU21は、複数のアイコンIのうち入力処理を示すアイコンIが選択されることにより、選択されたアイコンIが示す入力処理におけるマッピング結果を表示させる(図15参照)。これにより、当該サーバ20によれば、ワークフローの候補をユーザに提示する画面において、当該ワークフローに含まれる入力処理におけるマッピング結果についてもユーザに把握させることができる。
【0124】
また、サーバ20のCPU21は、文書に対応する入力処理が複数ある場合、複数の入力処理それぞれのフィールドにキーバリュー情報が示すキーの何れかをマッピングするとともに、ワークフロー情報79として、複数の入力処理それぞれを示すアイコンIを表示させる(図14参照)。これにより、当該サーバ20によれば、文書に対応する入力処理が複数ある場合、ワークフローの候補をユーザに提示する画面において、当該入力処理が複数あることをユーザに把握させることができる。
【0125】
(その他)
上記実施形態において、サーバ20のCPU21は、フィールドにマッピングされたキーが複数ある場合、マッピング結果が表示部26に表示されるマッピング確認画面において、フィールドにマッピングされた複数のキーを表示させてもよい。マッピング確認画面は「表示画面」の一例である。
【0126】
図16は、サーバ20の表示部26に表示される第7の表示例である。具体的には、図16は、図11とは別のマッピング確認画面である。
【0127】
図16に示すマッピング確認画面には、メッセージ情報73と、次へボタン75と、マッピング情報78と、マウスポインタPと、が表示されている。なお、以下では、上記で説明したマッピング確認画面と異なる部分について説明し、重複する部分については説明を省略又は簡略化する。
【0128】
図16に示すマッピング情報78は、フィールド:「取引先企業名」、「担当者名」、及び「取引先住所」にマッピングされたキーは図11と同様だが、フィールド:「取引先電話番号」にマッピングされたキーが図11と異なる。図16に示すマッピング確認画面では、CPU21によりフィールド:「取引先電話番号」にマッピングされたキーが複数あったため、マッピング情報78において、フィールド:「取引先電話番号」にマッピングされたキーとして「電話番号」及び「携帯電話番号」を示している。
【0129】
また、サーバ20のCPU21は、フィールドにマッピングされたキーが複数ある場合、マッピング確認画面において、複数のキーを確信度が高い順に並べて表示させてもよい。ここでは、当該確信度の一例として、フィールドの文字列と各キーの文字列との単語間の類似度を用いている。そして、図16では、一例として、類似度が高い順に各キーが上から表示されている。
【0130】
上記の構成により、サーバ20によれば、フィールドにマッピングされたキーが複数ある場合、マッピング確認画面において、当該キーが複数あることをユーザに把握させることができる。また、当該サーバ20によれば、マッピング確認画面において、複数のキーの確信度の順序をユーザに把握させることができる。なお、マッピング確認画面に限られず、サーバ20のCPU21は、例えば文書種別確認画面において、複数の文書種別の候補を確信度が高い順に並べて表示させてもよい。
【0131】
図17は、サーバ20の表示部26に表示される第8の表示例である。具体的には、図17は、図11及び図16とは別のマッピング確認画面である。
【0132】
図17に示すマッピング確認画面には、メッセージ情報73と、次へボタン75と、マッピング情報78と、キー一覧ボタン82と、マウスポインタPと、が表示されている。なお、以下では、上記で説明したマッピング確認画面と異なる部分について説明し、重複する部分については説明を省略又は簡略化する。
【0133】
図17に示すマッピング情報78は、フィールド:「担当者名」、「取引先住所」、及び「取引先電話番号」にマッピングされたキーは図11と同様だが、フィールド:「取引先企業名」にはキーがマッピングされていない点が図11と異なる。図17に示すマッピング確認画面では、CPU21によりフィールド:「取引先企業名」にマッピングするキーがないと判断されたため、マッピング情報78における「取引先企業名」の右隣のセル内にキーなしボタン78Aが表示されている。キーなしボタン78Aは、フィールドにマッピングするキーが見つからなかったことをユーザに提示するためのボタンである。このように、サーバ20のCPU21は、フィールドにマッピングするキーがない場合、キーが見つからなかったことを表示部26に表示させてもよい。この構成により、サーバ20によれば、フィールドにマッピングするキーがない場合、当該フィールドにマッピングするキーがないことをユーザに把握させることができる。
【0134】
また、図17に示すマッピング情報78は、入力処理の各フィールドを表示する列の最上段のセル内に変更ボタン78Bが表示されている。変更ボタン78Bは、マッピング確認画面にマッピング結果が表示される入力処理を変更するためのボタンである。
【0135】
キー一覧ボタン82は、マッピング確認画面に表示されている入力処理の各フィールドにマッピングされなかったキーの一覧を表示するためのボタンである。
【0136】
図18は、サーバ20の表示部26に表示される第9の表示例である。具体的には、図18は、図17に示すマッピング確認画面でキーなしボタン78Aが操作された後の状態を示している。
【0137】
図18に示すマッピング確認画面には、フィールドにマッピングするキーを選択するか否かをユーザに確認する確認情報83が表示されている。
【0138】
確認情報83は、メッセージ情報83A、はいボタン83B、及びいいえボタン83Cを含んで構成されている。
【0139】
メッセージ情報83Aは、ユーザに対する種々のメッセージを示している。一例として、図18では、メッセージ情報83Aとして「マッピングするキーが見つかりませんでした。フィールド:「取引先企業名」にマッピングするキーを選択しますか?」と表示されている。
【0140】
ここで、図18に示すマッピング確認画面ではいボタン83Bが操作された場合は、マッピングするキーを選択するための画面(図示せず)が表示部26に表示され、当該画面でユーザによるキーの選択が可能となる。一方、当該マッピング確認画面でいいえボタン83Cが操作された場合は、確認情報83が表示部26から消去されて、図17に示すマッピング確認画面に戻る。
【0141】
以上説明したように、サーバ20のCPU21は、フィールドにマッピングするキーがない場合、フィールドにマッピングするキーを選択するか否かをユーザに確認する確認情報83を表示部26に表示させてもよい(図18参照)。これにより、当該サーバ20によれば、フィールドにマッピングするキーがない場合に、マッピングするキーをユーザに選択させることができる。
【0142】
図19は、サーバ20の表示部26に表示される第10の表示例である。具体的には、図19は、図17に示すマッピング確認画面で変更ボタン78Bが操作された後の状態を示している。マッピング確認画面では、変更ボタン78Bが操作されると、マッピング結果を表示させる入力処理の候補がプルダウン表示され、表示された中から選択された一の入力処理に対応するマッピング結果にマッピング情報78が変化する。
【0143】
ここで、図19に示すマッピング情報78は、入力処理2におけるフィールドと、当該フィールドに対応するキーとのマッピング結果を示している。例えば、当該マッピング情報78は、マッピング結果として、フィールドである「題名」に対応するキーとして「タイトル」、フィールドである「発行者」に対応するキーとして「発行元」、及びフィールドである「締切日」に対応するキーとして「期日」を示している。
【0144】
図20は、サーバ20の表示部26に表示される第11の表示例である。具体的には、図20は、図17に示すマッピング確認画面でキー一覧ボタン82が操作された後の状態を示している。
【0145】
図20に示すマッピング確認画面には、文書の画像データから取得したキーバリュー情報のうち、入力処理におけるフィールドにマッピングされなかったキーのキーバリュー情報を示す情報としての未利用キー情報84が表示されている。
【0146】
未利用キー情報84は、メッセージ情報84A、一覧情報84B、及び確認ボタン84Cを含んで構成されている。
【0147】
メッセージ情報84Aは、ユーザに対する種々のメッセージを示している。一例として、図20では、メッセージ情報84Aとして「利用されないキーの一覧です。」と表示されている。
【0148】
一覧情報84Bは、マッピング確認画面に表示されている入力処理の各フィールドにマッピングされなかったキーの一覧を示している。一例として、図20に示す一覧情報84Bは、当該キーの一覧として、「タイトル」、「発行元」、及び「期日」を示している。
【0149】
ここで、図20に示すマッピング確認画面で確認ボタン84Cが操作された場合は、未利用キー情報84が表示部26から消去されて、図17に示すマッピング確認画面に戻る。
【0150】
以上説明したように、サーバ20のCPU21は、マッピング確認画面において、未利用キー情報84を表示させる。これにより、当該サーバ20によれば、フィールドにマッピングされなかったキーをユーザに把握させることができる。
【0151】
上記実施形態において、サーバ20のCPU21は、文書に対応する入力処理の複数の候補が表示部26に表示される画面としての入力処理確認画面において、ユーザにより設定された設定内容に応じた数の入力処理の候補を表示させてもよい。ここでのユーザによる設定は、提示処理の実行前又は実行中において、入力部25を用いた予め定めた入力操作によって行われる。例えば、上記の設定内容は、ユーザが入力処理確認画面に表示させる入力処理の候補を直接指定することでもよいし、ユーザの業種等のユーザに関する情報を設定することでもよい。設定内容としてユーザの業種が設定されている場合、CPU21は、当該設定された業種に応じた入力処理の候補を選択して入力処理確認画面に表示させる。以上の構成により、当該サーバ20によれば、入力処理確認画面に予め用意された入力処理の候補全てが表示される場合に比べて、当該入力処理確認画面においてユーザに提示する情報量を少なくすることができる。なお、上記では、設定内容に応じて入力処理確認画面に表示される入力処理の候補の数が変化する例について説明したが、設定内容に応じて変化するものはこれに限定されない。例えば、上記の設定内容に応じて、記憶部24に予め登録された複数のワークフローの雛型の中から取得するワークフローの候補の数を変化させてもよい。
【0152】
上記実施形態において、サーバ20のCPU21は、マッピング確認画面において、ユーザに関するユーザ情報に応じた数のフィールドを表示させてもよい。一例として、CPU21は、提示処理においてユーザ認証を行い、認証されたユーザのユーザ情報を用いてマッピング確認画面に表示させるフィールドの数を決定してもよい。ここで、ユーザ情報は、ユーザを識別する識別情報、及びユーザがカスタマイズした入力処理におけるフィールドのカスタマイズ内容を示すカスタマイズ情報等を含んでいる。提示処理においてユーザ認証を行い、認証されたユーザのユーザ情報を取得した場合、CPU21は、当該ユーザ情報に含まれるカスタマイズ情報のカスタマイズ内容に応じた数のフィールドをマッピング確認画面に表示させる。以上の構成により、当該サーバ20によれば、ユーザ毎にパーソナライズされたフィールドをマッピング確認画面に表示させることができる。また、マッピング確認画面において、ユーザ情報に応じて表示させるフィールドの数を変化させることに限らず、各フィールドに紐付く入力処理の種類に応じて表示させるフィールドの数を変化させてもよい。
【0153】
上記実施形態では、サーバ20を情報処理システムの一例としたが、これに限らず、画像形成装置40を情報処理システムの一例としてもよいし、サーバ20及び画像形成装置40の組合せを情報処理システムの一例としてもよい。例えば、画像形成装置40を情報処理システムの一例とする場合は、図4から図6に示す提示処理は、画像形成装置40のCPU51の1つのプロセッサにより実行される。また、サーバ20及び画像形成装置40の組合せを情報処理システムの一例とする場合は、図4から図6に示す提示処理は、サーバ20のCPU21又は画像形成装置40のCPU51の1つのプロセッサ、又は、サーバ20のCPU21及び画像形成装置40のCPU51の複数のプロセッサの組合せにより実行される。
【0154】
上記実施形態では、キーバリュー情報に基づいて文書種別の候補を特定としたが、文書種別の候補を特定する方法はこれに限定されない。例えば、サーバ20のCPU21は、文書の画像データから抽出した当該文書の特徴量に基づいて文書種別の候補を特定してもよい。
【0155】
上記実施形態では、情報処理プログラム24Aが記憶部24に予め記憶されている態様を説明したが、これに限定されない。情報処理プログラム24Aは、CD-ROM(=Compact Disk Read Only Memory)、DVD-ROM(=Digital Versatile Disk Read Only Memory)、及びUSB(=Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム24Aは、ネットワークNを介して外部装置からダウンロードされる形態としてもよい。
【0156】
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えば CPU: Central Processing Unit、等)や、専用のプロセッサ(例えば GPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
【0157】
また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0158】
本開示は、以下の態様を採用してもよい。
(((1)))
プロセッサを備え、
前記プロセッサは、
文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、
前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる、
情報処理システム。
【0159】
(((2)))
前記プロセッサは、
前記入力処理を含む複数の処理で構成されたワークフローの候補を示す候補情報を、前記文書に対応して特定された前記ワークフローの候補数だけ前記表示部に表示させる、
(((1)))に記載の情報処理システム。
【0160】
(((3)))
前記プロセッサは、
前記候補情報として、前記ワークフローを構成する各処理を示す複数のアイコンを表示させ、
前記複数のアイコンのうち前記入力処理を示すアイコンが選択されることにより、選択されたアイコンが示す前記入力処理における前記対応関係を表示させる、
(((2)))に記載の情報処理システム。
【0161】
(((4)))
前記プロセッサは、
前記文書に対応する前記入力処理が複数ある場合、複数の前記入力処理それぞれの前記入力項目に前記文字情報が示す前記項目の何れかを対応付けるとともに、前記候補情報として、複数の前記入力処理それぞれを示すアイコンを表示させる、
(((3)))に記載の情報処理システム。
【0162】
(((5)))
前記プロセッサは、前記入力項目に対応付けた前記項目が複数ある場合、前記対応関係が前記表示部に表示される表示画面において、前記入力項目に対応付けた複数の前記項目を表示させる、
(((1)))から(((4)))の何れか1つに記載の情報処理システム。
【0163】
(((6)))
前記プロセッサは、前記表示画面において、複数の前記項目を確信度が高い順に並べて表示させる、
(((5)))に記載の情報処理システム。
【0164】
(((7)))
前記プロセッサは、前記入力項目に対応付く前記項目がない場合、前記項目が見つからなかったことを前記表示部に表示させる、
(((1)))から(((6)))の何れか1つに記載の情報処理システム。
【0165】
(((8)))
前記プロセッサは、前記入力項目に対応付く前記項目を選択するか否かをユーザに確認する確認情報を前記表示部に表示させる、
(((7)))に記載の情報処理システム。
【0166】
(((9)))
前記プロセッサは、前記対応関係が前記表示部に表示される表示画面において、前記画像データから取得した前記項目を示す前記文字情報のうち、前記入力処理における前記入力項目に対応付けられなかった前記項目の前記文字情報を示す情報を表示させる、
(((1)))から(((8)))の何れか1つに記載の情報処理システム。
【0167】
(((10)))
前記プロセッサは、前記文書に対応する前記入力処理の複数の候補が前記表示部に表示される画面において、ユーザにより設定された設定内容に応じた数の前記入力処理の候補を表示させる、
(((1)))から(((9)))の何れか1つに記載の情報処理システム。
【0168】
(((11)))
前記プロセッサは、前記対応関係が前記表示部に表示される表示画面において、ユーザに関するユーザ情報に応じた数の前記入力項目を表示させる、
(((1)))から(((10)))の何れか1つに記載の情報処理システム。
【0169】
(((12)))
コンピュータに、
文書の画像データに対して文字認識処理を行い、前記画像データに含まれる特定の項目及び前記項目に対応する文字列である値を示す文字情報を取得し、
前記文字情報が示す前記値の何れかが予め定めた入力項目に入力される入力処理における前記入力項目に、前記文字情報が示す前記項目の何れかを対応付けた対応関係を表示部に表示させる、
処理を実行させるための情報処理プログラム。
【0170】
(((1)))及び(((12)))によれば、文書の画像データから抽出した文字情報と、当該文字情報を入力値に用いる処理において当該文字情報が入力される入力項目との対応関係をユーザに把握させることができる。
【0171】
(((2)))によれば、文書に対応して特定された複数のワークフローの候補をユーザに把握させることができる。
【0172】
(((3)))によれば、ワークフローの候補をユーザに提示する画面において、当該ワークフローに含まれる入力処理における対応関係についてもユーザに把握させることができる。
【0173】
(((4)))によれば、文書に対応する入力処理が複数ある場合、ワークフローの候補をユーザに提示する画面において、当該入力処理が複数あることをユーザに把握させることができる。
【0174】
(((5)))によれば、入力項目に対応付けた項目が複数ある場合、対応関係が表示部に表示される表示画面において、当該項目が複数あることをユーザに把握させることができる。
【0175】
(((6)))によれば、対応関係が表示部に表示される表示画面において、複数の項目の確信度の順序をユーザに把握させることができる。
【0176】
(((7)))によれば、入力項目に対応付く項目がない場合、当該入力項目に対応付く項目がないことをユーザに把握させることができる。
【0177】
(((8)))によれば、入力項目に対応付く項目がない場合に、対応付ける項目をユーザに選択させることができる。
【0178】
(((9)))によれば、入力項目に対応付けられなかった項目をユーザに把握させることができる。
【0179】
(((10)))によれば、文書に対応する入力処理の複数の候補が表示部に表示される画面に予め用意された入力処理の候補全てが表示される場合に比べて、当該画面においてユーザに提示する情報量を少なくすることができる。
【0180】
(((11)))によれば、ユーザ毎にパーソナライズされた入力項目を表示画面に表示させることができる。
【符号の説明】
【0181】
10 情報処理装置(情報処理システムの一例)
11 CPU(プロセッサの一例)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20