特開 2024-121162 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024121162

(43)【公開日】2024-09-06

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06V 30/418 20220101AFI20240830BHJP

   G06V 30/412 20220101ALI20240830BHJP

   G06V 30/262 20220101ALI20240830BHJP

【ＦＩ】

G06V30/418

G06V30/412

G06V30/262

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023028114

(22)【出願日】2023-02-27

(71)【出願人】

【識別番号】000116079

【氏名又は名称】ローレルバンクマシン株式会社

(71)【出願人】

【識別番号】500267170

【氏名又は名称】ローレル機械株式会社

(71)【出願人】

【識別番号】500265501

【氏名又は名称】ローレル精機株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】三村 完

(72)【発明者】

【氏名】大原 和彦

(72)【発明者】

【氏名】寺田 俊行

(72)【発明者】

【氏名】千葉 宏樹

【テーマコード（参考）】

5B029

5B064

5L096

【Ｆターム（参考）】

5B029AA01

5B029BB02

5B029BB17

5B064AA01

5B064AB02

5B064BA01

5B064DA27

5B064DA32

5B064EA18

5B064EA27

5L096BA08

5L096BA18

5L096CA02

5L096DA02

5L096EA12

5L096EA37

5L096JA04

5L096JA16

(57)【要約】

【課題】複数の媒体の比較精度を高める。
【解決手段】情報処理装置１０は、レシートＲＥＣの画像を示す画像情報ＰＩＮＦを取得する画像情報取得部１２２と、画像情報ＰＩＮＦにより示される画像に含まれる複数の文字を示す文字情報ＣＩＮＦを生成する文字認識部１２３と、画像情報ＰＩＮＦと文字情報ＣＩＮＦとを互いに対応付けて記憶装置１４０に記憶する記憶制御部１２４と、文字情報ＣＩＮＦにより示される複数の文字を、記憶装置１４０に記憶された他の文字情報ＣＩＮＦにより示される複数の文字と比較する文字比較を実行する文字比較部１２６と、他の文字情報ＣＩＮＦの少なくとも１つが文字比較の結果に関する所定条件を満たす特定の文字情報ＣＩＮＦである場合に、画像情報ＰＩＮＦにより示される画像を、特定の文字情報ＣＩＮＦに対応付けられた特定の画像情報ＰＩＮＦにより示される画像と比較する画像比較を実行する画像比較部１２７とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

媒体に記載された複数の文字を含む画像を示す画像情報を取得する取得部と、
前記画像情報により示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報を生成する認識部と、
前記画像情報と前記文字情報とを互いに対応付けて記憶装置に記憶する記憶制御部と、
前記文字情報により示される複数の文字を、前記記憶装置に記憶された他の文字情報により示される複数の文字と比較する文字比較を実行する文字比較部と、
前記他の文字情報の少なくとも１つが、前記文字比較の結果に関する所定条件を満たす特定文字情報である場合に、前記画像情報により示される画像を、前記記憶装置に記憶された他の画像情報のうち、前記特定文字情報に対応付けられた特定画像情報により示される画像と比較する画像比較を実行する画像比較部と、
を備えている情報処理装置。

【請求項2】

前記所定条件は、
前記文字情報により示される複数の文字と前記他の文字情報により示される複数の文字との類似度である文字類似度が第１類似度以上であることであり、
前記画像比較部は、
前記画像比較として、前記画像情報により示される画像と前記特定画像情報により示される画像との類似度である画像類似度が、第２類似度以上であるか否かを判定する処理を実行する、
請求項１に記載の情報処理装置。

【請求項3】

前記特定画像情報の少なくとも１つが、前記画像情報により示される画像との前記画像類似度が前記第２類似度以上である画像を示す類似画像情報である場合に、前記類似画像情報が前記記憶装置に記憶されていることを示す比較結果情報を出力する出力制御部をさらに備える、
請求項２に記載の情報処理装置。

【請求項4】

前記比較結果情報は、
前記文字情報により示される複数の文字と前記類似画像情報に対応付けられた特定文字情報により示される複数の文字との前記文字類似度を示す文字類似度情報、及び、前記画像情報により示される画像と前記類似画像情報により示される画像との前記画像類似度を示す画像類似度情報を含む、
請求項３に記載の情報処理装置。

【請求項5】

前記記憶制御部は、
前記画像情報を識別する画像識別情報を前記画像情報に対応付けて前記記憶装置に記憶し、
前記比較結果情報は、
前記画像情報を示す前記画像識別情報、及び、前記類似画像情報を示す他の画像識別情報をさらに含む、
請求項４に記載の情報処理装置。

【請求項6】

前記文字情報により示される複数の文字を単語毎に区分けし、区分けした単語を複数の項目のいずれかに対応付けることにより、前記文字情報により示される複数の文字を構造化する構造化部をさらに備え、
前記文字比較部により比較される前記文字情報及び前記他の文字情報の各々により示される複数の文字は、前記構造化部により構造化されている、
請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記構造化部は、
前記媒体における文字の記載位置に基づいて、前記文字情報により示される複数の文字を複数の文字列に区分けすることにより、前記文字情報により示される複数の文字を単語毎に区分けする、
請求項６に記載の情報処理装置。

【請求項8】

媒体に記載された複数の文字を含む画像を示す画像情報を取得し、
前記画像情報により示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報を生成し、
前記画像情報と前記文字情報とを互いに対応付けて記憶装置に記憶し、
前記文字情報により示される複数の文字を、前記記憶装置に記憶された他の文字情報により示される複数の文字と比較する文字比較を実行し、
前記他の文字情報の少なくとも１つが、前記文字比較の結果に関する所定条件を満たす特定文字情報である場合に、前記画像情報により示される画像を、前記記憶装置に記憶された他の画像情報のうち、前記特定文字情報に対応付けられた特定画像情報により示される画像と比較する画像比較を実行する、
情報処理方法。

【請求項9】

プロセッサを、
媒体に記載された複数の文字を含む画像を示す画像情報を取得する取得部と、
前記画像情報により示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報を生成する認識部と、
前記画像情報と前記文字情報とを互いに対応付けて記憶装置に記憶する記憶制御部と、
前記文字情報により示される複数の文字を、前記記憶装置に記憶された他の文字情報により示される複数の文字と比較する文字比較を実行する文字比較部と、
前記他の文字情報の少なくとも１つが、前記文字比較の結果に関する所定条件を満たす特定文字情報である場合に、前記画像情報により示される画像を、前記記憶装置に記憶された他の画像情報のうち、前記特定文字情報に対応付けられた特定画像情報により示される画像と比較する画像比較を実行する画像比較部と、
として機能させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

画像に含まれる文字を認識する文字認識処理に関する技術は、様々な分野で利用されている。例えば、キャッシュレジスターから発行されたレシートを利用してキャンペーンの応募を受け付けるキャンペーン応募システムにおいて、同一のレシートによる二重応募を防ぐために、文字認識処理に関する技術が利用される（例えば、特許文献１参照）。この種のキャンペーン応募システムでは、例えば、新たに応募するために撮影されたレシートのレシート画像データに含まれるレシート表示項目と既に応募されたレシート画像データに含まれるレシート表示項目とを比較することで、二重応募のチェックを行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－５７６７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、文字認識処理において、誤認識の発生を完全に防止することは難しい。このため、例えば、従来のキャンペーン応募システムでは、レシート画像データからレシート表示項目を抽出する際に、レシート表示項目が誤認識される場合がある。この場合、新たに応募されるレシート画像データに含まれるレシート表示項目と既に応募されたレシート画像データに含まれるレシート表示項目との比較精度が低下する。このため、複数のレシートの比較結果を利用するシステムでは、複数のレシートの比較精度を高めることが求められている。なお、上述の説明では、キャンペーン応募システムを例示したが、キャンペーン応募システム以外のシステム（例えば、撮影されたレシートの画像を利用して家計簿を作成するシステム）に文字認識処理が利用される場合においても、上述の課題と同様の課題がある。さらに、レシートを用いるシステムに限定されず、例えば、書類を電子データ化して登録するシステムにおいても、重複登録等を防止する必要があるため、上述の課題と同様の課題がある。すなわち、複数の文字が記載された複数の媒体の比較精度を高めることが求められている。

【課題を解決するための手段】

【0005】

本発明の好適な態様に係る情報処理装置は、媒体に記載された複数の文字を含む画像を示す画像情報を取得する取得部と、前記画像情報により示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報を生成する認識部と、前記画像情報と前記文字情報とを互いに対応付けて記憶装置に記憶する記憶制御部と、前記文字情報により示される複数の文字を、前記記憶装置に記憶された他の文字情報により示される複数の文字と比較する文字比較を実行する文字比較部と、前記他の文字情報の少なくとも１つが、前記文字比較の結果に関する所定条件を満たす特定文字情報である場合に、前記画像情報により示される画像を、前記記憶装置に記憶された他の画像情報のうち、前記特定文字情報に対応付けられた特定画像情報により示される画像と比較する画像比較を実行する画像比較部と、を備えている。

【0006】

また、本発明の好適な態様に係る情報処理方法は、媒体に記載された複数の文字を含む画像を示す画像情報を取得し、前記画像情報により示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報を生成し、前記画像情報と前記文字情報とを互いに対応付けて記憶装置に記憶し、前記文字情報により示される複数の文字を、前記記憶装置に記憶された他の文字情報により示される複数の文字と比較する文字比較を実行し、前記他の文字情報の少なくとも１つが、前記文字比較の結果に関する所定条件を満たす特定文字情報である場合に、前記画像情報により示される画像を、前記記憶装置に記憶された他の画像情報のうち、前記特定文字情報に対応付けられた特定画像情報により示される画像と比較する画像比較を実行する。

【0007】

また、本発明の好適な態様に係るプログラムは、プロセッサを、媒体に記載された複数の文字を含む画像を示す画像情報を取得する取得部と、前記画像情報により示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報を生成する認識部と、前記画像情報と前記文字情報とを互いに対応付けて記憶装置に記憶する記憶制御部と、前記文字情報により示される複数の文字を、前記記憶装置に記憶された他の文字情報により示される複数の文字と比較する文字比較を実行する文字比較部と、前記他の文字情報の少なくとも１つが、前記文字比較の結果に関する所定条件を満たす特定文字情報である場合に、前記画像情報により示される画像を、前記記憶装置に記憶された他の画像情報のうち、前記特定文字情報に対応付けられた特定画像情報により示される画像と比較する画像比較を実行する画像比較部と、として機能させる。

【発明の効果】

【0008】

本発明によれば、複数の文字が記載された複数の媒体の比較精度を高めることが可能となる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る情報処理システムの概要を説明するための説明図である。

【図2】第１実施形態に係るレシート比較処理の一例を説明するための説明図である。

【図3】対比例に係るレシート比較処理の一例を説明するための説明図である。

【図4】図１に示した情報処理装置の動作の一例を示すフローチャートである。

【図5】第２実施形態に係る情報処理システムの概要を説明するための説明図である。

【図6】返却情報の一例を説明するための説明図である。

【図7】図５に示した情報処理装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態について図面を参照して説明する。なお、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

【0011】

［１．第１実施形態］
先ず、図１を参照しながら、第１実施形態に係る情報処理システム１の概要の一例について説明する。

【0012】

図１は、第１実施形態に係る情報処理システム１の概要を説明するための説明図である。

【0013】

本実施形態では、情報処理システム１が、キャッシュレジスターから発行されたレシートＲＥＣを利用してキャンペーンの応募を受け付けるキャンペーン応募システムである場合を想定する。レシートＲＥＣは、「媒体」の一例である。情報処理システム１は、例えば、情報処理装置１０、サービスサーバ２０及び端末装置３０を有する。図１に示す例では、情報処理装置１０、サービスサーバ２０及び端末装置３０の各々は、ネットワークＮＷに接続されている。ネットワークＮＷは、インターネット及びローカルエリアネットワークを含み得る。例えば、ネットワークＮＷは、有線ネットワーク及び無線ネットワークの一方又は両方を含む。また、情報処理装置１０等を含む複数の要素とネットワークＮＷとの接続は、例えば、複数の要素間を互いに通信可能にする接続であればよく、有線及び無線の一方を用いた接続であってもよいし、有線及び無線の両方を用いた接続であってもよい。

【0014】

例えば、情報処理装置１０及びサービスサーバ２０は、ネットワークＮＷを介して、互いに通信可能に接続されている。同様に、サービスサーバ２０及び端末装置３０は、ネットワークＮＷを介して、互いに通信可能に接続されている。なお、情報処理装置１０は、ネットワークＮＷの代わりに専用回線を介して、サービスサーバ２０と通信可能に接続されてもよい。また、本実施形態では、端末装置３０は、情報処理装置１０との接続が許可されていない場合を想定するが、端末装置３０は、ネットワークＮＷを介して、情報処理装置１０と通信可能に接続されてもよい。

【0015】

以下では、特に断りがない限り、ネットワークＮＷに接続された複数の要素間の通信（情報の送信及び受信等）は、複数の要素間のネットワークＮＷを介する通信を意味する。例えば、端末装置３０がサービスサーバ２０に情報を送信することは、特に断りがない限り、端末装置３０がネットワークＮＷを介してサービスサーバ２０に情報を送信することを意味する。

【0016】

端末装置３０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。具体的には、端末装置３０は、例えば、パーソナルコンピュータ等の据置型の情報機器であってもよいし、ノート型のパーソナルコンピュータ、タブレット端末及びスマートフォン等の可搬型の情報端末であってもよい。本実施形態では、端末装置３０がスマートフォンである場合を想定する。

【0017】

端末装置３０は、例えば、キャンペーンの応募に必要なレシートＲＥＣに記載された複数の文字を含む画像を示す画像情報ＰＩＮＦをサービスサーバ２０に送信する。レシートＲＥＣに記載された複数の文字を含む画像は、例えば、カメラがレシートＲＥＣを撮影することにより得られるレシートＲＥＣの画像である。なお、レシートＲＥＣに記載された複数の文字を含む画像は、カメラにより撮影されたレシートＲＥＣの画像に限定されない。例えば、レシートＲＥＣに記載された複数の文字を含む画像は、イメージスキャナがレシートＲＥＣを読み取ることにより得られるレシートＲＥＣの画像であってもよい。以下では、レシートＲＥＣに記載された複数の文字を含む画像は、単に、レシートＲＥＣの画像とも称される。

【0018】

例えば、端末装置３０は、端末装置３０が有するカメラにより撮影されたレシートＲＥＣの画像を示す画像情報ＰＩＮＦをサービスサーバ２０に送信する。なお、端末装置３０からサービスサーバ２０に送信される画像情報ＰＩＮＦは、端末装置３０の外部の装置（例えば、カメラ及びイメージスキャナ等の光学的な装置）により生成された画像情報であってもよい。この場合、端末装置３０は、外部の装置により生成された画像情報ＰＩＮＦを取得し、取得した画像情報ＰＩＮＦをサービスサーバ２０に送信する。以下では、キャンペーンの応募に使用されたレシートＲＥＣを、画像情報ＰＩＮＦにより示されるレシートＲＥＣと称する場合がある。

【0019】

サービスサーバ２０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。サービスサーバ２０は、例えば、端末装置３０から受信した画像情報ＰＩＮＦにより示されるレシートＲＥＣでのキャンペーンの応募を受け付ける。なお、本実施形態では、サービスサーバ２０は、既に受け付けたレシートＲＥＣと同一のレシートＲＥＣによる二重応募を防ぐために、二重応募チェックを実行する。

【0020】

例えば、二重応募チェックでは、サービスサーバ２０は、端末装置３０から受信した画像情報ＰＩＮＦ（今回受け付けたレシートＲＥＣの画像を示す画像情報ＰＩＮＦ）を情報処理装置１０に送信する。詳細は後述するが、画像情報ＰＩＮＦを受信した情報処理装置１０は、サービスサーバ２０により今回受け付けされたレシートＲＥＣと、既に受け付けされた他のレシートＲＥＣとを比較するレシート比較処理を実行する。そして、レシート比較処理の結果を示す返却情報ＲＩＮＦが情報処理装置１０からサービスサーバ２０に送信される。

【0021】

サービスサーバ２０は、例えば、今回受け付けたレシートＲＥＣでのキャンペーンの応募（以下、今回の応募とも称する）が二重応募であるか否かを返却情報ＲＩＮＦに基づいて判定する。例えば、サービスサーバ２０は、既に受け付けたレシートＲＥＣの少なくとも１つの画像が今回受け付けたレシートＲＥＣの画像と類似することを返却情報ＲＩＮＦが示す場合、今回の応募が二重応募であると判定する。そして、例えば、サービスサーバ２０は、今回の応募が二重応募であると判定した場合、今回の応募が二重応募であることを示す応答情報ＡＩＮＦを端末装置３０に送信する。また、例えば、サービスサーバ２０は、今回の応募が二重応募でないと判定した場合、キャンペーンの応募を正常に受け付けたことを示す応答情報ＡＩＮＦを端末装置３０に送信する。

【0022】

情報処理装置１０としては、ネットワークＮＷに接続可能な任意の情報処理装置を採用することができる。例えば、情報処理装置１０は、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術を用いて、画像に含まれる文字を認識する文字認識処理を実行する。本実施形態では、文字認識処理の対象となる画像がレシートＲＥＣの画像である場合を想定する。例えば、本実施形態では、情報処理装置１０は、光学文字認識技術を用いて、レシートＲＥＣに記載された情報を電子データに変換する。

【0023】

情報処理装置１０は、例えば、情報処理装置１０の各部を制御する処理装置１２０と、各種情報を記憶する記憶装置１４０と、通信装置１６０とを有する。

【0024】

通信装置１６０は、有線ネットワーク及び無線ネットワークの一方又は両方を介して、情報処理装置１０の外部に存在する外部装置との通信を行うためのハードウェアである。

【0025】

記憶装置１４０は、例えば、処理装置１２０の作業領域として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリと、制御プログラムＰＧ１等の各種情報を記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリとの、一方又は両方を含む。なお、記憶装置１４０は、情報処理装置１０に着脱可能であってもよい。具体的には、記憶装置１４０は、情報処理装置１０に着脱されるメモリカード等の記憶媒体であってもよい。また、記憶装置１４０は、例えば、情報処理装置１０とネットワークＮＷ等を介して通信可能に接続された記憶装置（例えば、オンラインストレージ）であってもよい。

【0026】

処理装置１２０は、情報処理装置１０の全体を制御するプロセッサであり、例えば、１又は複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。例えば、処理装置１２０は、記憶装置１４０に記憶された制御プログラムＰＧ１を実行することにより、画像情報取得部１２２、文字認識部１２３、記憶制御部１２４、文字比較部１２６、画像比較部１２７及び出力制御部１２８として機能する。なお、制御プログラムＰＧ１は、ネットワークＮＷを介して他の装置から送信されてもよい。

【0027】

また、例えば、処理装置１２０が複数のＣＰＵを含んで構成される場合、処理装置１２０の機能の一部又は全部は、これら複数のＣＰＵが制御プログラムＰＧ１等のプログラムに従って協働して動作することで実現されてもよい。また、処理装置１２０は、１又は複数のＣＰＵに加え、又は、１又は複数のＣＰＵのうち一部又は全部に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを含んで構成されるものであってもよい。この場合、処理装置１２０の機能の一部又は全部は、ＤＳＰ等のハードウェアにより実現されてもよい。

【0028】

このように、本実施形態では、制御プログラムＰＧ１は、処理装置１２０を画像情報取得部１２２、文字認識部１２３、記憶制御部１２４、文字比較部１２６、画像比較部１２７及び出力制御部１２８として機能させるためのアプリケーションプログラムを含む。なお、制御プログラムＰＧ１は、例えば、処理装置１２０が情報処理装置１０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。制御プログラムＰＧ１は、「プログラム」の一例である。また、画像情報取得部１２２は、「取得部」の一例であり、文字認識部１２３は、「認識部」の一例である。

【0029】

画像情報取得部１２２は、例えば、レシートＲＥＣの画像（レシートＲＥＣに記載された複数の文字を含む画像）を示す画像情報ＰＩＮＦを、通信装置１６０を介してサービスサーバ２０から取得する。文字認識部１２３は、画像情報取得部１２２により取得された画像情報ＰＩＮＦにより示される画像に対して文字認識処理を実行することにより、画像情報ＰＩＮＦにより示される画像に含まれる複数の文字を認識する。そして、文字認識部１２３は、画像情報ＰＩＮＦにより示される画像に対する文字認識処理により認識した複数の文字を示す文字情報ＣＩＮＦを生成する。例えば、文字認識部１２３は、画像情報ＰＩＮＦにより示される画像を文字認識処理により文字コードに変換することにより、文字情報ＣＩＮＦを生成してもよい。記憶制御部１２４は、画像情報取得部１２２により取得された画像情報ＰＩＮＦと、文字認識部１２３により生成された文字情報ＣＩＮＦとを互いに対応付けて記憶装置１４０に記憶する。

【0030】

文字比較部１２６は、文字認識部１２３により生成された文字情報ＣＩＮＦにより示される複数の文字を、記憶装置１４０に記憶された他の文字情報ＣＩＮＦにより示される複数の文字と比較する文字比較を実行する。なお、他の文字情報ＣＩＮＦは、記憶制御部１２４により、他の画像情報ＰＩＮＦに関連付けて記憶装置１４０に記憶されている。すなわち、他の文字情報ＣＩＮＦと他の画像情報ＰＩＮＦとが互いに関連付けて記憶装置１４０に記憶されている。

【0031】

例えば、文字比較部１２６は、文字比較として、確認対象の文字情報ＣＩＮＦにより示される複数の文字と他の文字情報ＣＩＮＦにより示される複数の文字との類似度である文字類似度を算出する処理を実行する。確認対象の文字情報ＣＩＮＦと比較される他の文字情報ＣＩＮＦは、例えば、確認対象の文字情報ＣＩＮＦよりも先に記憶装置１４０に記憶された文字情報ＣＩＮＦである。本実施形態では、確認対象の文字情報ＣＩＮＦが、画像情報取得部１２２により取得された最新の画像情報ＰＩＮＦにより示される画像に対する文字認識処理により認識された複数の文字を示す最新の文字情報ＣＩＮＦである場合を想定する。

【0032】

以下では、確認対象の文字情報ＣＩＮＦ（最新の文字情報ＣＩＮＦ）と比較される他の文字情報ＣＩＮＦは、比較対象の文字情報ＣＩＮＦとも称される。また、以下では、一の文字情報ＣＩＮＦ（例えば、確認対象の文字情報ＣＩＮＦ）により示される複数の文字と他の文字情報ＣＩＮＦにより示される複数の文字との文字類似度は、一の文字情報ＣＩＮＦと他の文字情報ＣＩＮＦとの文字類似度とも称される。

【0033】

画像比較部１２７は、比較対象の文字情報ＣＩＮＦの少なくとも１つが文字比較の結果に関する所定条件を満たす特定の文字情報ＣＩＮＦである場合に、最新の画像情報ＰＩＮＦにより示される画像を特定の画像と比較する画像比較を実行する。画像比較に用いられる特定の画像は、比較対象の文字情報ＣＩＮＦに対応付けられた画像情報ＰＩＮＦのうち、特定の文字情報ＣＩＮＦに対応付けられた特定の画像情報ＰＩＮＦにより示される画像である。なお、比較対象の文字情報ＣＩＮＦに対応付けられた画像情報ＰＩＮＦは、「記憶装置に記憶された他の画像情報」の一例である。また、特定の文字情報ＣＩＮＦは、「特定文字情報」の一例であり、特定の画像情報ＰＩＮＦは、「特定画像情報」の一例である。

【0034】

本実施形態では、所定条件が、最新の文字情報ＣＩＮＦにより示される複数の文字と他の文字情報ＣＩＮＦにより示される複数の文字との文字類似度が第１類似度以上であることである場合を想定する。この場合、特定の文字情報ＣＩＮＦは、比較対象の文字情報ＣＩＮＦのうち、最新の文字情報ＣＩＮＦとの文字類似度が第１類似度以上である文字情報ＣＩＮＦである。

【0035】

また、本実施形態では、画像比較部１２７が、画像比較として、最新の画像情報ＰＩＮＦにより示される画像と特定の画像情報ＰＩＮＦにより示される画像との類似度である画像類似度が、第２類似度以上であるか否かを判定する処理を実行する場合を想定する。以下では、一の画像情報ＰＩＮＦ（例えば、最新の画像情報ＰＩＮＦ）により示される画像と他の画像情報ＰＩＮＦ（例えば、特定の画像情報ＰＩＮＦ）により示される画像との画像類似度は、一の画像情報ＰＩＮＦと他の画像情報ＰＩＮＦとの画像類似度とも称される。

【0036】

ここで、最新の画像情報ＰＩＮＦにより示されるレシートＲＥＣは、サービスサーバ２０により今回受け付けされたレシートＲＥＣであり、記憶装置１４０に記憶された他の画像情報ＰＩＮＦにより示されるレシートＲＥＣは、既に受け付けされた他のレシートＲＥＣである。また、最新の文字情報ＣＩＮＦにより示される複数の文字は、サービスサーバ２０により今回受け付けされたレシートＲＥＣの画像に対する文字認識処理により認識された複数の文字である。

【0037】

このように、サービスサーバ２０により今回受け付けされたレシートＲＥＣと、既に受け付けされた他のレシートＲＥＣとを比較するレシート比較処理は、文字比較及び画像比較を含む。但し、本実施形態では、記憶装置１４０に記憶された全ての文字情報ＣＩＮＦが文字比較の結果に関する所定条件を満たさない場合、画像比較は、実行されない。

【0038】

また、本実施形態では、上述したように、文字比較の結果に関する所定条件を満たさない文字情報ＣＩＮＦに対応付けられた画像情報ＰＩＮＦに対しては、画像比較は実行されない。このため、本実施形態では、記憶装置１４０に記憶された全ての画像情報ＰＩＮＦに対して画像比較が実行される態様に比べて、レシート比較処理にかかる負荷を低減することができる。

【0039】

出力制御部１２８は、レシート比較処理の結果を示す返却情報ＲＩＮＦを、通信装置１６０を介してサービスサーバ２０に出力する。返却情報ＲＩＮＦは、例えば、最新の画像情報ＰＩＮＦにより示される画像との画像類似度が第２類似度以上である画像を示す画像情報ＰＩＮＦが検出されたか否かを示す情報である。以下では、最新の画像情報ＰＩＮＦにより示される画像との画像類似度が第２類似度以上である画像を示す画像情報ＰＩＮＦは、重複候補の画像情報ＰＩＮＦとも称される。

【0040】

例えば、特定の画像情報ＰＩＮＦの少なくとも１つが重複候補の画像情報ＰＩＮＦである場合、画像比較により、重複候補の画像情報ＰＩＮＦが検出される。従って、出力制御部１２８は、例えば、特定の画像情報ＰＩＮＦの少なくとも１つが重複候補の画像情報ＰＩＮＦである場合に、重複候補の画像情報ＰＩＮＦが検出されたことを示す返却情報ＲＩＮＦを、通信装置１６０を介してサービスサーバ２０に出力する。なお、重複候補の画像情報ＰＩＮＦが検出されることは、重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されていることに該当する。従って、返却情報ＲＩＮＦが、重複候補の画像情報ＰＩＮＦが検出されたことを示す場合、当該返却情報ＲＩＮＦは、「比較結果情報」に該当する。また、重複候補の画像情報ＰＩＮＦは、「類似画像情報」の一例である。

【0041】

このように、返却情報ＲＩＮＦは、サービスサーバ２０により既に受け付けされたレシートＲＥＣの少なくとも１つの画像が今回受け付けされたレシートＲＥＣの画像と類似するか否かを示す。なお、返却情報ＲＩＮＦは、サービスサーバ２０により今回受け付けされたレシートＲＥＣの画像に対する文字認識処理により認識された複数の文字を示す文字情報ＣＩＮＦを含んでもよい。

【0042】

また、返却情報ＲＩＮＦは、文字類似度情報、及び、画像類似度情報の一方又は両方を含んでもよい。文字類似度情報は、例えば、最新の文字情報ＣＩＮＦにより示される複数の文字と重複候補の画像情報ＰＩＮＦに対応付けられた特定の文字情報ＣＩＮＦにより示される複数の文字との文字類似度を示す。画像類似度情報は、例えば、最新の画像情報ＰＩＮＦにより示される画像と重複候補の画像情報ＰＩＮＦにより示される画像との画像類似度を示す。

【0043】

なお、情報処理装置１０の構成は、図１に示した例に限定されない。例えば、情報処理装置１０は、情報処理装置１０の管理者等による操作を受け付ける操作装置を有してもよい。また、記憶制御部１２４は、画像情報ＰＩＮＦを識別する画像識別情報を画像情報ＰＩＮＦに対応付けて記憶装置１４０に記憶してもよい。この場合、返却情報ＲＩＮＦは、最新の画像情報ＰＩＮＦを示す画像識別情報、及び、重複候補の画像情報ＰＩＮＦを示す画像識別情報を含んでもよい。

【0044】

次に、図２を参照しながら、レシート比較処理の概要について説明する。

【0045】

図２は、第１実施形態に係るレシート比較処理の一例を説明するための説明図である。図２では、キャンペーンが開始されてから現時点までに、“ｍ＋１”個（ｍは、３以上の自然数）の画像情報ＰＩＮＦが画像情報取得部１２２により取得された場合を想定する。なお、図２では、ｍが３以上の自然数である場合を想定しているが、ｍは、１以上の自然数であればよい。

【0046】

また、図２では、“ｍ＋１”個の画像情報ＰＩＮＦを互いに区別するために、“ｍ＋１”個の画像情報ＰＩＮＦの各々の符号の末尾には、英数字（０、１、２、・・・、ｍのいずれか）が付されている。また、図２では、“ｍ＋１”個の文字情報ＣＩＮＦを互いに区別するために、“ｍ＋１”個の文字情報ＣＩＮＦの各々の符号の末尾には、“ｍ＋１”個の画像情報ＰＩＮＦのうちの対応する画像情報ＰＩＮＦの符号の末尾に付された英数字と同じ英数字が付されている。

【0047】

なお、図２では、画像情報取得部１２２が取得した“ｍ＋１”個の画像情報ＰＩＮＦのうちの最新の画像情報ＰＩＮＦが画像情報ＰＩＮＦ０である場合を想定する。すなわち、画像情報ＰＩＮＦ０により示されるレシートＲＥＣが、サービスサーバ２０により今回受け付けされたレシートＲＥＣである。そして、画像情報ＰＩＮＦ０以外のｍ個の画像情報ＰＩＮＦ（ＰＩＮＦ１、ＰＩＮＦ２、・・・、ＰＩＮＦｍ）により示されるレシートＲＥＣが、既に受け付けされた他のレシートＲＥＣである。従って、図２では、文字情報ＣＩＮＦ０が確認対象の文字情報ＣＩＮＦに該当し、文字情報ＣＩＮＦ０以外のｍ個の文字情報ＣＩＮＦ（ＣＩＮＦ１、ＣＩＮＦ２、・・・、ＣＩＮＦｍ）が比較対象の文字情報ＣＩＮＦに該当する。また、図２では、第１類似度ＴＨ１及び第２類似度ＴＨ２の各々が０．８である場合を想定する。

【0048】

先ず、文字比較部１２６は、文字比較として、文字情報ＣＩＮＦ０により示される複数の文字と他のｍ個の文字情報ＣＩＮＦ（ＣＩＮＦ１、ＣＩＮＦ２、・・・、ＣＩＮＦｍ）の各々により示される複数の文字との文字類似度を算出する処理を実行する。文字類似度の算出方法は、特に限定されない。例えば、文字類似度の算出方法として、２つの文章を比較する既知の類似度算出方法が採用され得る。２つの文章を比較する既知の類似度算出方法としては、例えば、Ｎ－ｇｒａｍを用いた類似度の算出、レーベンシュタイン距離に基づく類似度の算出、及び、コサイン類似度の算出等の類似度算出方法が挙げられる。なお、Ｎ－ｇｒａｍは、任意の文字列を、連続するＮ個（Ｎは、１以上の自然数）の表記単位（文字又は単語等）で分割する分割方法である。Ｎ－ｇｒａｍでは、分割対象の文字列は、最初の分割後、１表記単位ずつ移動して順次分割される。

【0049】

図２では、文字比較部１２６が、文字情報ＣＩＮＦ１及びＣＩＮＦ２以外の“ｍ－２”個の比較対象の文字情報ＣＩＮＦの各々と文字情報ＣＩＮＦ０との文字類似度を、第１類似度ＴＨ１（０．８）未満の類似度と算出した場合を想定する。図２に示す例では、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ１との文字類似度が０．９５と算出され、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ２との文字類似度が０．８と算出され、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦｍとの文字類似度が０．７５と算出される。

【0050】

例えば、文字比較部１２６は、ｍ個の比較対象の文字情報ＣＩＮＦ（ＣＩＮＦ１、ＣＩＮＦ２、・・・、ＣＩＮＦｍ）のうち、文字情報ＣＩＮＦ０との文字類似度が第１類似度ＴＨ１以上である文字情報ＣＩＮＦ１及びＣＩＮＦ２を、特定の文字情報ＣＩＮＦとして特定する。図の白色の星印は、特定の文字情報ＣＩＮＦを示す。なお、特定の文字情報ＣＩＮＦの特定は、文字比較部１２６により算出された文字類似度に基づいて、画像比較部１２７により実行されてもよい。

【0051】

画像比較部１２７は、ｍ個の比較対象の文字情報ＣＩＮＦのうちの少なくとも１つが特定の文字情報ＣＩＮＦ（文字情報ＣＩＮＦ１及びＣＩＮＦ２）であるため、最新の画像情報ＰＩＮＦ０により示される画像を特定の画像と比較する画像比較を実行する。特定の画像は、特定の文字情報ＣＩＮＦ１及びＣＩＮＦ２にそれぞれ対応付けられた特定の画像情報ＰＩＮＦ１及びＰＩＮＦ２の各々により示される画像である。

【0052】

例えば、画像比較部１２７は、画像比較として、特定の画像情報ＰＩＮＦ１及びＰＩＮＦ２によりそれぞれ示される２つの画像の各々について、最新の画像情報ＰＩＮＦ０により示される画像との画像類似度が第２類似度ＴＨ２（０．８）以上であるか否かを判定する処理を実行する。図２では、画像比較により、画像情報ＰＩＮＦ０と画像情報ＰＩＮＦ１との画像類似度が０．９８と算出され、画像情報ＰＩＮＦ０と画像情報ＰＩＮＦ２との画像類似度が０．７と算出される場合を想定する。

【0053】

従って、図２に示す例では、画像比較部１２７は、画像情報ＰＩＮＦ０と画像情報ＰＩＮＦ１との画像類似度が第２類似度ＴＨ２以上であると判定し、画像情報ＰＩＮＦ０と画像情報ＰＩＮＦ２との画像類似度が第２類似度ＴＨ２以上でないと判定する。そして、画像比較部１２７は、特定の画像情報ＰＩＮＦ１及びＰＩＮＦ２のうち、画像情報ＰＩＮＦ０との画像類似度が第２類似度ＴＨ２以上である画像情報ＰＩＮＦ１を、重複候補の画像情報ＰＩＮＦとして特定する。図の黒色の星印は、重複候補の画像情報ＰＩＮＦを示す。なお、重複候補の画像情報ＰＩＮＦの特定は、画像比較部１２７により算出された画像類似度に基づいて、出力制御部１２８により実行されてもよい。

【0054】

このように、本実施形態では、文字比較の後に、画像比較が実行されることにより、最新の画像情報ＰＩＮＦ０との画像類似度が第２類似度ＴＨ２以上である重複候補の画像情報ＰＩＮＦが検出される。なお、本実施形態では、最新の画像情報ＰＩＮＦ０以外のｍ個の画像情報ＰＩＮＦ（ＰＩＮＦ１、ＰＩＮＦ２、・・・、ＰＩＮＦｍ）のうち、特定の画像情報ＰＩＮＦ（ＰＩＮＦ１及びＰＩＮＦ２）に対してのみ画像比較が実行される。このため、本実施形態では、最新の画像情報ＰＩＮＦ０以外のｍ個の画像情報ＰＩＮＦに対して画像比較が実行される態様に比べて、画像比較にかかる負荷を低減することができる。

【0055】

次に、図３を参照しながら、本実施形態と対比される対比例に係るレシート比較処理の概要について説明する。

【0056】

図３は、対比例に係るレシート比較処理の一例を説明するための説明図である。第１対比例は、レシート比較処理として、文字比較及び画像比較のうちの文字比較のみが実行される態様である。また、第２対比例は、レシート比較処理として、文字比較及び画像比較のうちの画像比較のみが実行される態様である。

【0057】

第１対比例では、上述したように、画像比較が実行されない。従って、第１対比例では、今回受け付けされたレシートＲＥＣと類似するレシートＲＥＣの文字情報ＣＩＮＦの誤検出を抑制するために、第１類似度ＴＨｚ１を図２に示した第１類似度ＴＨ１よりも高い値に設定することが考えられる。図２に示す第１対比例では、第１類似度ＴＨｚ１は、０．９である。以下では、今回受け付けされたレシートＲＥＣと類似するレシートＲＥＣの文字情報ＣＩＮＦは、重複候補の文字情報ＣＩＮＦとも称される。

【0058】

例えば、第１対比例では、最新の文字情報ＣＩＮＦ０との文字類似度（０．９５）が第１類似度ＴＨｚ１（０．９）以上である文字情報ＣＩＮＦ１が重複候補の文字情報ＣＩＮＦとして検出される。なお、文字情報ＣＩＮＦ２は、最新の文字情報ＣＩＮＦ０との文字類似度（０．８）が第１類似度ＴＨｚ１未満であるため、重複候補の文字情報ＣＩＮＦとして検出されない。このように、第１対比例では、第１類似度ＴＨｚ１を第１類似度ＴＨ１よりも高い値に設定することにより、文字情報ＣＩＮＦ２が重複候補の文字情報ＣＩＮＦと誤検出されることを抑制している。

【0059】

但し、第１対比例では、レシートＲＥＣの画像に対する文字認識処理により認識された複数の文字に誤認識された文字が含まれる場合、レシートＲＥＣの比較精度が低下する。例えば、文字情報ＣＩＮＦ０により示される複数の文字に誤認識された文字が含まれる場合、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ１との文字類似度として、第１類似度ＴＨｚ１未満の文字類似度が算出されるおそれがある。この場合、重複候補の文字情報ＣＩＮＦとして本来検出されるべき文字情報ＣＩＮＦ１が、重複候補の文字情報ＣＩＮＦとして検出されない。あるいは、文字情報ＣＩＮＦ０により示される複数の文字に誤認識された文字が含まれる場合、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ２との文字類似度として、第１類似度ＴＨｚ１以上の文字類似度が算出されるおそれがある。この場合、文字情報ＣＩＮＦ２が重複候補の文字情報ＣＩＮＦとして誤検出される。

【0060】

これに対し、本実施形態では、図２等において説明したように、文字比較の後に、文字比較により特定された特定の文字情報ＣＩＮＦに対応付けられた特定の画像情報ＰＩＮＦに対して画像比較が実行される。このため、本実施形態では、第１類似度ＴＨ１を第１類似度ＴＨｚ１よりも低い値に設定しても、今回受け付けされたレシートＲＥＣと類似するレシートＲＥＣが誤検出されることを抑制することができる。

【0061】

例えば、本実施形態では、文字情報ＣＩＮＦにより示される複数の文字に誤認識された文字が含まれる場合においても、特定の文字情報ＣＩＮＦとして本来特定されるべき文字情報ＣＩＮＦが特定されなくなることを抑制することができる。一例として、文字情報ＣＩＮＦ０により示される複数の文字に誤認識された文字が含まれているために、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ１との文字類似度が０．８と算出された場合を想定する。この場合においても、本実施形態では、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ１との文字類似度が第１類似度ＴＨ１（０．８）以上であるため、文字情報ＣＩＮＦ１は、特定の文字情報ＣＩＮＦとして特定される。なお、第１対比例では、上述の例の場合、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ１との文字類似度が第１類似度ＴＨｚ１（０．９）未満であるため、文字情報ＣＩＮＦ１は、重複候補の文字情報ＣＩＮＦとして検出されない。

【0062】

また、別の例として、文字情報ＣＩＮＦ０により示される複数の文字に誤認識された文字が含まれているために、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ２との文字類似度が０．９６と算出された場合を想定する。この場合においても、本実施形態では、特定の文字情報ＣＩＮＦ１及びＣＩＮＦ２にそれぞれ対応付けられた特定の画像情報ＰＩＮＦ１及びＰＩＮＦ２に対して、画像比較が実行される。このため、本実施形態では、図２において説明したように、重複候補の画像情報ＰＩＮＦとして画像情報ＰＩＮＦ１が検出される。なお、第１対比例では、上述の例の場合、文字情報ＣＩＮＦ０と文字情報ＣＩＮＦ２との文字類似度が第１類似度ＴＨｚ１（０．９）以上であるため、文字情報ＣＩＮＦ２が重複候補の文字情報ＣＩＮＦとして誤検出される。

【0063】

次に、第２対比例について説明する。

【0064】

図２に示す第２対比例では、第２類似度ＴＨｚ２は、０．８であり、図２に示した第２類似度ＴＨ２と同じ値である。例えば、第２対比例では、最新の画像情報ＰＩＮＦ０との画像類似度（０．９８）が第２類似度ＴＨｚ２（０．８）以上である画像情報ＰＩＮＦ１が重複候補の画像情報ＰＩＮＦとして検出される。このように、第２対比例では、図２に示した例と同様に、画像情報ＰＩＮＦ１が重複候補の画像情報ＰＩＮＦとして検出される。但し、第２対比例では、文字比較が行われないため、複数の画像情報ＰＩＮＦのうち、最新の画像情報ＰＩＮＦ０以外の全ての画像情報ＰＩＮＦが、最新の画像情報ＰＩＮＦ０と比較される。このため、第２対比例では、複数の画像情報ＰＩＮＦによりそれぞれ示される複数の画像の全てに対して、画像比較のための画像処理が実行される。従って、第２対比例では、本実施形態に比べて、画像比較にかかる負荷及び時間が増加する。一般的に、画像比較では、文字比較に比べて、処理の負荷等が大きくなる。このため、第２対比例では、本実施形態に比べて、レシート比較処理にかかる負荷及び時間が増加する。

【0065】

また、画像比較では、例えば、同一のレシートＲＥＣの撮影により得られた２つの画像を比較した場合においても、屋外での撮影及び屋内での撮影等の撮影条件の違い等により、２つの画像の画像類似度が第２類似度ＴＨｚ２未満と算出されるおそれがある。すなわち、画像比較では、撮影条件の違い等により、同一のレシートＲＥＣの２つの画像が互いに異なるレシートＲＥＣの画像と誤判定される場合がある。このため、画像比較では、撮影条件の違い等による誤判定を抑制するために、露出を補正する処理及び画像内の背景を除去する処理等の画像補正処理を、画像情報ＰＩＮＦにより示される画像に対して実行することが考えられる。画像比較において画像補正処理が実行される場合、画像補正処理が実行されない場合に比べて、画像比較にかかる負荷及び時間が増加する。

【0066】

なお、本実施形態では、図２において説明したように、複数の画像情報ＰＩＮＦのうちの特定の画像情報ＰＩＮＦ０のみが最新の画像情報ＰＩＮＦ０と比較される。このため、本実施形態では、画像比較において画像補正処理が実行される場合においても、画像比較にかかる負荷及び時間が増加することを第２対比例に比べて抑制することができる。

【0067】

このように、本実施形態では、レシートＲＥＣの比較精度が低下することを抑制しつつ、レシート比較処理にかかる負荷及び時間が増加することを抑制することができる。

【0068】

次に、図４を参照しながら、情報処理装置１０の動作の概要について説明する。

【0069】

図４は、図１に示した情報処理装置１０の動作の一例を示すフローチャートである。図４に示す動作は、レシート比較処理に該当する。例えば、図４に示すレシート比較処理は、サービスサーバ２０が情報処理装置１０に画像情報ＰＩＮＦを送信する度に実行される。

【0070】

先ず、ステップＳ１００において、処理装置１２０は、画像情報取得部１２２として機能し、レシートＲＥＣの画像を示す画像情報ＰＩＮＦをサービスサーバ２０から取得する。以下では、ステップＳ１００で取得された画像情報ＰＩＮＦは、最新の画像情報ＰＩＮＦとも称される。

【0071】

次に、ステップＳ２００において、処理装置１２０は、文字認識部１２３として機能し、最新の画像情報ＰＩＮＦにより示される画像に含まれる複数の文字を認識する。例えば、文字認識部１２３は、最新の画像情報ＰＩＮＦにより示される画像に対して文字認識処理を実行することより、画像情報ＰＩＮＦにより示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報ＣＩＮＦを生成する。以下では、ステップＳ２００で認識された複数の文字を示す文字情報ＣＩＮＦは、最新の文字情報ＣＩＮＦとも称される。

【0072】

次に、ステップＳ２２０において、処理装置１２０は、記憶制御部１２４として機能し、ステップＳ２００で認識された複数の文字を示す文字情報ＣＩＮＦとステップＳ１００で取得された画像情報ＰＩＮＦとを互いに対応付けて記憶装置１４０に記憶する。

【0073】

そして、ステップＳ３００において、処理装置１２０は、文字比較部１２６として機能し、比較対象の文字情報ＣＩＮＦが記憶装置１４０に記憶されているか否かを判定する。比較対象の文字情報ＣＩＮＦは、例えば、最新の文字情報ＣＩＮＦと比較される他の文字情報ＣＩＮＦである。

【0074】

ステップＳ３００における判定の結果が肯定の場合、処理装置１２０は、処理をステップＳ４００に進める。一方、ステップＳ３００における判定の結果が否定の場合、処理装置１２０は、ステップＳ６２０において、重複候補の画像情報ＰＩＮＦが検出されなかったことを示す返却情報ＲＩＮＦをサービスサーバ２０に出力し、レシート比較処理を終了する。なお、ステップＳ６２０では、処理装置１２０は、出力制御部１２８として機能する。

【0075】

ステップＳ４００において、処理装置１２０は、文字比較部１２６として機能し、最新の文字情報ＣＩＮＦと比較対象の文字情報ＣＩＮＦとを比較する。例えば、文字比較部１２６は、最新の文字情報ＣＩＮＦにより示される複数の文字と比較対象の文字情報ＣＩＮＦにより示される複数の文字との文字類似度を算出する。

【0076】

次に、ステップＳ４２０において、処理装置１２０は、文字比較部１２６として機能し、最新の文字情報ＣＩＮＦと比較対象の文字情報ＣＩＮＦとの文字類似度が第１類似度ＴＨ１以上であるか否かを判定する。なお、比較対象の文字情報ＣＩＮＦが複数存在する場合、複数の比較対象の文字情報ＣＩＮＦの各々について、ステップＳ４２０の判定が行われる。

【0077】

ステップＳ４２０における判定の結果が肯定の場合、処理装置１２０は、処理をステップＳ５００に進める。一方、ステップＳ４２０における判定の結果が否定の場合、処理装置１２０は、ステップＳ６２０の処理を実行し、レシート比較処理を終了する。なお、比較対象の文字情報ＣＩＮＦが複数存在する場合は、ステップＳ４２０における判定の結果は、以下に示すようになる。例えば、複数の比較対象の文字情報ＣＩＮＦのうちの少なくとも１つが、最新の文字情報ＣＩＮＦとの文字類似度が第１類似度ＴＨ１以上である場合、ステップＳ４２０における判定の結果は、肯定となる。すなわち、複数の比較対象の文字情報ＣＩＮＦのうちの全てが、最新の文字情報ＣＩＮＦとの文字類似度が第１類似度ＴＨ１未満である場合、ステップＳ４２０における判定の結果は、否定となる。

【0078】

ステップＳ５００において、処理装置１２０は、画像比較部１２７として機能し、最新の画像情報ＰＩＮＦと特定の画像情報ＰＩＮＦとを比較する。なお、特定の画像情報ＰＩＮＦは、図２等において説明したように、最新の文字情報ＣＩＮＦとの文字類似度が第１類似度ＴＨ１以上である特定の文字情報ＣＩＮＦに対応付けられた画像情報ＰＩＮＦである。例えば、画像比較部１２７は、最新の画像情報ＰＩＮＦにより示される画像と特定の画像情報ＰＩＮＦにより示される画像との画像類似度を算出する。

【0079】

そして、ステップＳ５２０において、処理装置１２０は、画像比較部１２７として機能し、最新の画像情報ＰＩＮＦと特定の画像情報ＰＩＮＦとの画像類似度が第２類似度ＴＨ２以上であるか否かを判定する。なお、特定の画像情報ＰＩＮＦが複数存在する場合、複数の特定の画像情報ＰＩＮＦの各々について、ステップＳ５２０の判定が行われる。

【0080】

ステップＳ５２０における判定の結果が肯定の場合、処理装置１２０は、処理をステップＳ６００に進める。一方、ステップＳ５２０における判定の結果が否定の場合、処理装置１２０は、ステップＳ６２０の処理を実行し、レシート比較処理を終了する。なお、特定の画像情報ＰＩＮＦが複数存在する場合は、ステップＳ５２０における判定の結果は、以下に示すようになる。例えば、複数の特定の画像情報ＰＩＮＦのうちの少なくとも１つが、最新の画像情報ＰＩＮＦとの画像類似度が第２類似度ＴＨ２以上である場合、ステップＳ５２０における判定の結果は、肯定となる。すなわち、複数の特定の画像情報ＰＩＮＦのうちの全てが、最新の画像情報ＰＩＮＦとの画像類似度が第２類似度ＴＨ２未満である場合、ステップＳ５２０における判定の結果は、否定となる。

【0081】

ステップＳ６００において、処理装置１２０は、出力制御部１２８として機能し、重複候補の画像情報ＰＩＮＦが検出されたことを示す返却情報ＲＩＮＦをサービスサーバ２０に出力する。そして、処理装置１２０は、レシート比較処理を終了する。

【0082】

なお、情報処理装置１０の動作は、図４に示した例に限定されない。例えば、ステップＳ３００の処理は、文字比較部１２６とは別の機能ブロック（例えば、記憶制御部１２４等）により実行されてもよい。また、例えば、ステップＳ４２０の処理は、文字比較部１２６とは別の機能ブロック（例えば、画像比較部１２７等）により実行されてもよい。また、例えば、ステップＳ５２０の処理は、画像比較部１２７とは別の機能ブロック（例えば、出力制御部１２８等）により実行されてもよい。

【0083】

以上、本実施形態では、情報処理装置１０は、画像情報取得部１２２、文字認識部１２３、記憶制御部１２４、文字比較部１２６、及び、画像比較部１２７を有する。画像情報取得部１２２は、レシートＲＥＣに記載された複数の文字を含む画像を示す画像情報ＰＩＮＦを取得する。文字認識部１２３は、画像情報ＰＩＮＦにより示される画像に含まれる複数の文字を認識し、認識した複数の文字を示す文字情報ＣＩＮＦを生成する。記憶制御部１２４は、画像情報ＰＩＮＦと文字情報ＣＩＮＦとを互いに対応付けて記憶装置１４０に記憶する。文字比較部１２６は、文字情報ＣＩＮＦにより示される複数の文字を、記憶装置１４０に記憶された他の文字情報ＣＩＮＦにより示される複数の文字と比較する文字比較を実行する。画像比較部１２７は、上述の他の文字情報ＣＩＮＦの少なくとも１つが、文字比較の結果に関する所定条件を満たす特定の文字情報ＣＩＮＦである場合に、画像情報ＰＩＮＦにより示される画像を、記憶装置１４０に記憶された他の画像情報ＰＩＮＦのうち、特定の文字情報ＣＩＮＦに対応付けられた特定の画像情報ＰＩＮＦにより示される画像と比較する画像比較を実行する。

【0084】

このように、本実施形態では、複数のレシートＲＥＣを比較するレシート比較処理として、文字比較に加えて画像比較が実行されるため、複数のレシートの比較精度を高めることができる。すなわち、本実施形態では、複数の文字が記載された複数の媒体の比較精度を高めることができる。なお、本実施形態では、画像比較は、文字比較により特定の文字情報ＣＩＮＦが検出された場合に、特定の文字情報ＣＩＮＦに対応付けられた特定の画像情報ＰＩＮＦに対して実行される。特定の文字情報ＣＩＮＦは、例えば、画像情報取得部１２２により取得された画像情報ＰＩＮＦにより示される画像に含まれる複数の文字との類似度が高い複数の文字を示す文字情報ＣＩＮＦである。この場合、本実施形態では、画像情報取得部１２２により取得された画像情報ＰＩＮＦと比較される対象は、当該画像情報ＰＩＮＦとの類似度が高い特定の画像情報ＰＩＮＦに限定される。これにより、本実施形態では、画像情報取得部１２２により取得された画像情報ＰＩＮＦにより示されるレシートＲＥＣの画像と、記憶装置１４０に既に記憶されている画像情報ＰＩＮＦにより示されるレシートＲＥＣの画像との比較を、高速に実行することができる。

【0085】

また、本実施形態では、所定条件は、文字情報ＣＩＮＦにより示される複数の文字と他の文字情報ＣＩＮＦにより示される複数の文字との類似度である文字類似度が第１類似度ＴＨ１以上であることである。そして、画像比較部１２７は、画像比較として、画像情報ＰＩＮＦにより示される画像と特定の画像情報ＰＩＮＦにより示される画像との類似度である画像類似度が、第２類似度ＴＨ２以上であるか否かを判定する処理を実行する。

【0086】

このように、本実施形態では、画像情報取得部１２２により取得された画像情報ＰＩＮＦと比較される対象は、当該画像情報ＰＩＮＦに対応付けられた文字情報ＣＩＮＦとの文字類似度が高い特定の文字情報ＣＩＮＦに対応付けられた特定の画像情報ＰＩＮＦに限定される。これにより、本実施形態では、画像情報取得部１２２により取得された画像情報ＰＩＮＦにより示されるレシートＲＥＣの画像と類似するレシートＲＥＣの画像を示す重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されているか否かの判定を高速に実行することができる。

【0087】

また、本実施形態では、情報処理装置１０は、特定の画像情報ＰＩＮＦの少なくとも１つが重複候補の画像情報ＰＩＮＦである場合に、重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されていることを示す返却情報ＲＩＮＦを出力する出力制御部１２８をさらに有する。重複候補の画像情報ＰＩＮＦは、画像情報ＰＩＮＦにより示される画像との画像類似度が第２類似度ＴＨ２以上である画像を示す画像情報ＰＩＮＦである。

【0088】

このように、本実施形態では、出力制御部１２８は、重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されている場合に、重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されていることを示す返却情報ＲＩＮＦを出力する。例えば、出力制御部１２８は、画像情報ＰＩＮＦを情報処理装置１０に送信した装置（例えば、サービスサーバ２０）に、重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されていることを示す返却情報ＲＩＮＦを出力する。これにより、本実施形態では、画像情報ＰＩＮＦを送信した装置に、当該画像情報ＰＩＮＦにより示されるレシートＲＥＣの画像と類似するレシートＲＥＣの画像を示す重複候補の画像情報ＰＩＮＦが記憶装置１４０に記憶されていることを認識させることができる。

【0089】

また、本実施形態では、返却情報ＲＩＮＦは、文字類似度情報、及び、画像類似度情報を含んでもよい。文字類似度情報は、文字情報ＣＩＮＦにより示される複数の文字と重複候補の画像情報ＰＩＮＦに対応付けられた特定の文字情報ＣＩＮＦにより示される複数の文字との文字類似度を示す。画像類似度情報は、画像情報ＰＩＮＦにより示される画像と重複候補の画像情報ＰＩＮＦにより示される画像との画像類似度を示す。返却情報ＲＩＮＦが文字類似度情報及び画像類似度情報を含む場合、返却情報ＲＩＮＦを受信した装置は、画像情報ＰＩＮＦにより示されるレシートＲＥＣと重複候補の画像情報ＰＩＮＦにより示されるレシートＲＥＣとが、どの程度類似しているかを容易に認識できる。

【0090】

また、本実施形態では、記憶制御部１２４は、画像情報ＰＩＮＦを識別する画像識別情報を画像情報ＰＩＮＦに対応付けて記憶装置１４０に記憶してもよい。この場合、返却情報ＲＩＮＦは、画像情報ＰＩＮＦを示す画像識別情報、及び、重複候補の画像情報ＰＩＮＦを示す画像識別情報を含んでもよい。返却情報ＲＩＮＦが画像識別情報を含む場合、返却情報ＲＩＮＦを受信した装置は、重複候補の画像情報ＰＩＮＦを容易に識別することができる。

【0091】

［２．第２実施形態］
次に、図５を参照しながら、第２実施形態に係る情報処理システム１の概要の一例について説明する。

【0092】

図５は、第２実施形態に係る情報処理システム１の概要を説明するための説明図である。図１から図４において説明した要素と同様の要素については、同様の符号を付し、詳細な説明を省略する。

【0093】

図５に示す情報処理システム１は、図１に示した情報処理システム１と同一の構成である。例えば、情報処理システム１は、処理装置１２０、記憶装置１４０及び通信装置１６０を含む情報処理装置１０と、サービスサーバ２０と、端末装置３０とを有する。但し、情報処理装置１０が有する記憶装置１４０に記憶される制御プログラムＰＧ２は、図１に示した制御プログラムＰＧ１と相違する。なお、制御プログラムＰＧ２は、「プログラム」の一例である。本実施形態では、制御プログラムＰＧ２は、処理装置１２０を画像情報取得部１２２、文字認識部１２３、記憶制御部１２４、構造化部１２５、文字比較部１２６、画像比較部１２７及び出力制御部１２８として機能させるためのアプリケーションプログラムを含む。なお、制御プログラムＰＧ２は、例えば、処理装置１２０が情報処理装置１０の各部を制御するためのオペレーティングシステムプログラムを含んでもよい。また、制御プログラムＰＧ２は、ネットワークＮＷを介して他の装置から送信されてもよい。

【0094】

図５に示す処理装置１２０は、図１に示した制御プログラムＰＧ１の代わりに制御プログラムＰＧ２を実行することを除いて、図１に示した処理装置１２０と同様である。例えば、処理装置１２０は、記憶装置１４０に記憶された制御プログラムＰＧ２を実行することにより、画像情報取得部１２２、文字認識部１２３、記憶制御部１２４、構造化部１２５、文字比較部１２６、画像比較部１２７及び出力制御部１２８として機能する。すなわち、本実施形態では、処理装置１２０が構造化部１２５として機能する点が、上述した第１実施形態と相違する。

【0095】

画像情報取得部１２２、文字認識部１２３、記憶制御部１２４、文字比較部１２６、画像比較部１２７及び出力制御部１２８は、上述した第１実施形態と同様である。以下では、上述した第１実施形態と相違する構造化部１２５を中心に説明する。

【0096】

構造化部１２５は、例えば、文字情報ＣＩＮＦにより示される複数の文字を単語毎に区分けし、区分けした単語を複数の項目のいずれかに対応付けることにより、文字情報ＣＩＮＦにより示される複数の文字を構造化する。複数の項目は、例えば、レシートＲＥＣに記載される店舗名等の記載項目である。

【0097】

例えば、構造化部１２５は、レシートＲＥＣにおける文字の記載位置に基づいて、文字情報ＣＩＮＦにより示される複数の文字を複数の文字列に区分けすることにより、当該複数の文字を単語毎に区分けする。そして、構造化部１２５は、例えば、区分けした単語を、文字の記載位置と項目との対応関係に基づいて、複数の項目のいずれかに対応付ける。文字の記載位置と項目との対応関係は、例えば、機械学習等により学習済みである。

【0098】

なお、レシートＲＥＣにおける文字の記載位置は、例えば、レシートＲＥＣにおいて、当該文字が属する行が何行目であるかを示す行番号であってもよい。さらに、レシートＲＥＣにおける文字の記載位置は、当該文字が属する行の行番号、及び、当該文字が属する行における文字の位置であってもよい。なお、レシートＲＥＣにおける文字の記載位置は、上述の例に限定されない。例えば、レシートＲＥＣにおける文字の記載位置は、レシートＲＥＣ内の所定の位置に対する相対的な位置であってもよい。

【0099】

このように、本実施形態では、文字情報ＣＩＮＦにより示される複数の文字は、構造化部１２５により構造化される。すなわち、文字比較部１２６により比較される最新の文字情報ＣＩＮＦ及び比較対象の文字情報ＣＩＮＦの各々により示される複数の文字は、構造化部１２５により構造化されている。例えば、文字比較部１２６は、最新の文字情報ＣＩＮＦにより示される複数の文字と比較対象の文字情報ＣＩＮＦにより示される複数の文字との比較を、構造化された項目毎に実行する。これにより、本実施形態では、例えば、最新の文字情報ＣＩＮＦと比較対象の文字情報ＣＩＮＦとの文字類似度の算出を精度よく高速に実行することができる。

【0100】

次に、図６を参照しながら、返却情報ＲＩＮＦの一例について説明する。

【0101】

図６は、返却情報ＲＩＮＦの一例を説明するための説明図である。図６には、最新の画像情報ＰＩＮＦにより示される画像に類似する画像を示す重複候補の画像情報ＰＩＮＦが検出された場合の返却情報ＲＩＮＦの一例が示されている。

【0102】

返却情報ＲＩＮＦは、最新の画像情報ＰＩＮＦにより示される画像に対する文字認識処理により認識された複数の文字を示す文字情報ＣＩＮＦと、重複候補の画像情報ＰＩＮＦに関する類似度情報ＳＩＮＦとを含む。なお、本実施形態では、文字情報ＣＩＮＦにより示される複数の文字は、図５において説明したように、構造化されている。

【0103】

文字情報ＣＩＮＦは、複数の項目を示す情報と、複数の項目に対応する文字列を示す情報とを含む。図６の“結果”における文字情報ＣＩＮＦに対応する部分には、構造化により各項目に対応付けられた文字列の例が示されている。図６では、複数の項目の一例として、店舗名、購入日時、電話番号、商品、単価、商品数、商品合計額、ＪＡＮコード、合計額及び支払方法が挙げられているが、複数の項目は、図６に示す例に限定されない。なお、ＪＡＮコードは、どこの事業者の何の商品かを識別するための商品識別コードである。

【0104】

また、類似度情報ＳＩＮＦは、識別情報ＩＩＮＦ０、重複候補の識別情報ＩＩＮＦ１、文字類似度情報ＣＳＩＮＦ、及び、画像類似度情報ＰＳＩＮＦを含む。図６の“結果”における類似度情報ＳＩＮＦに対応する部分には、レシート比較処理の対象及び結果の例が示されている。なお、類似度情報ＳＩＮＦは、「比較結果情報」の一例である。

【0105】

識別情報ＩＩＮＦ０は、返却情報ＲＩＮＦに含まれる文字情報ＣＩＮＦに対応付けられた画像情報ＰＩＮＦ（最新の画像情報ＰＩＮＦ）を識別する画像識別情報である。また、重複候補の識別情報ＩＩＮＦ１は、レシート比較処理により検出された重複候補の画像情報ＰＩＮＦを識別する画像識別情報であり、「他の画像識別情報」の一例である。以下では、識別情報ＩＩＮＦ０及びＩＩＮＦ１を、識別情報ＩＩＮＦと総称する場合がある。

【0106】

また、文字類似度情報ＣＳＩＮＦは、返却情報ＲＩＮＦに含まれる文字情報ＣＩＮＦにより示される複数の文字と重複候補の画像情報ＰＩＮＦに対応付けられた特定の文字情報ＣＩＮＦにより示される複数の文字との文字類似度を示す。画像類似度情報ＰＳＩＮＦは、返却情報ＲＩＮＦに含まれる文字情報ＣＩＮＦに対応付けられた画像情報ＰＩＮＦにより示される画像と重複候補の画像情報ＰＩＮＦにより示される画像との画像類似度を示す。

【0107】

ここで、重複候補の画像情報ＰＩＮＦが検出されない場合には、類似度情報ＳＩＮＦは、重複候補の識別情報ＩＩＮＦ１、文字類似度情報ＣＳＩＮＦ、及び、画像類似度情報ＰＳＩＮＦを含まない。すなわち、重複候補の識別情報ＩＩＮＦ１、文字類似度情報ＣＳＩＮＦ、及び、画像類似度情報ＰＳＩＮＦを含まない返却情報ＲＩＮＦは、重複候補の画像情報ＰＩＮＦが検出されなかったことを示す返却情報ＲＩＮＦである。一方、重複候補の識別情報ＩＩＮＦ１、文字類似度情報ＣＳＩＮＦ、及び、画像類似度情報ＰＳＩＮＦの少なくとも１つを含む返却情報ＲＩＮＦは、重複候補の画像情報ＰＩＮＦが検出されたことを示す返却情報ＲＩＮＦである。

【0108】

なお、返却情報ＲＩＮＦの構成は、図６に示す例に限定されない。例えば、複数の重複候補の画像情報ＰＩＮＦが検出された場合、返却情報ＲＩＮＦは、複数の重複候補の画像情報ＰＩＮＦの各々に対応する重複候補の識別情報ＩＩＮＦ１、文字類似度情報ＣＳＩＮＦ、及び、画像類似度情報ＰＳＩＮＦを含んでもよい。あるいは、出力制御部１２８は、複数の重複候補の画像情報ＰＩＮＦのうち、画像類似度又は文字類似度の高い順に所定数の画像情報ＰＩＮＦを、返却情報ＲＩＮＦに反映させる画像情報ＰＩＮＦとして選択してもよい。この場合、返却情報ＲＩＮＦは、複数の重複候補の画像情報ＰＩＮＦの中から出力制御部１２８により選択された所定数の画像情報ＰＩＮＦの各々に対応する重複候補の識別情報ＩＩＮＦ１、文字類似度情報ＣＳＩＮＦ、及び、画像類似度情報ＰＳＩＮＦを含む。

【0109】

また、例えば、文字類似度情報ＣＳＩＮＦ及び画像類似度情報ＰＳＩＮＦの一方は、類似度情報ＳＩＮＦから省かれてもよい。また、識別情報ＩＩＮＦ０及びＩＩＮＦ１は、類似度情報ＳＩＮＦから省かれてもよい。この場合、識別情報ＩＩＮＦは、記憶装置１４０に記憶されなくてもよい。

【0110】

次に、図７を参照しながら、本実施形態に係る情報処理装置１０の動作の概要について説明する。

【0111】

図７は、図５に示した情報処理装置１０の動作の一例を示すフローチャートである。図７に示す動作は、レシート比較処理に該当する。例えば、図７に示すレシート比較処理は、図４に示したレシート比較処理と同様に、サービスサーバ２０が情報処理装置１０に画像情報ＰＩＮＦを送信する度に実行される。図７に示す動作は、ステップＳ２００の処理が実行された後にステップＳ２１０の処理が実行されることを除いて、図４に示した動作と同様である。図４において説明され処理と同様の処理については、詳細な説明を省略する。

【0112】

ステップＳ１００及びＳ２００の一連の処理は、図４に示したステップＳ１００及びＳ２００の一連の処理と同様である。処理装置１２０は、ステップＳ２００の処理を実行した後、処理をステップＳ２１０に進める。

【0113】

ステップＳ２１０において、処理装置１２０は、構造化部１２５として機能し、ステップＳ２００で認識された複数の文字を構造化する。これにより、構造化された複数の文字を示す文字情報ＣＩＮＦが生成される。処理装置１２０は、ステップＳ２１０の処理を実行した後、処理をステップＳ２２０に進める。

【0114】

ステップＳ２２０において、処理装置１２０は、記憶制御部１２４として機能し、ステップＳ２１０で構造化された複数の文字を示す文字情報ＣＩＮＦとステップＳ１００で取得された画像情報ＰＩＮＦとを互いに対応付けて記憶装置１４０に記憶する。また、図７では図示を省略しているが、本実施形態では、ステップＳ２２０において、記憶制御部１２４は、画像情報ＰＩＮＦを識別する識別情報ＩＩＮＦを当該画像情報ＰＩＮＦに対応付けて記憶装置１４０に記憶する。

【0115】

そして、処理装置１２０は、ステップＳ２２０の処理を実行した後、処理をステップＳ３００に進める。ステップＳ３００以降の一連の処理は、図４に示したステップＳ３００以降の一連の処理と同様である。なお、情報処理装置１０の動作は、図７に示した例に限定されない。

【0116】

以上、本実施形態においても、上述した第１実施形態と同様の効果を得ることができる。また、本実施形態では、情報処理装置１０は、文字情報ＣＩＮＦにより示される複数の文字を単語毎に区分けし、区分けした単語を複数の項目のいずれかに対応付けることにより、文字情報ＣＩＮＦにより示される複数の文字を構造化する構造化部１２５をさらに有する。例えば、構造化部１２５は、レシートＲＥＣにおける文字の記載位置に基づいて、文字情報ＣＩＮＦにより示される複数の文字を複数の文字列に区分けすることにより、当該複数の文字を単語毎に区分けする。従って、本実施形態では、文字比較部１２６により比較される文字情報ＣＩＮＦ及び他の文字情報ＣＩＮＦの各々により示される複数の文字は、構造化部により構造化されている。

【0117】

例えば、本実施形態では、文字比較部１２６は、最新の文字情報ＣＩＮＦにより示される複数の文字と比較対象の文字情報ＣＩＮＦにより示される複数の文字との比較を、構造化された項目毎に実行する。これにより、本実施形態では、最新の文字情報ＣＩＮＦと比較対象の文字情報ＣＩＮＦとの文字類似度の算出を精度よく高速に実行することができる。

【0118】

［３．変形例］
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。

【0119】

［第１変形例］
上述した第２実施形態において、文字比較により比較される文字列は、複数の項目のうちの所定の項目に対応付けられた文字列に限定されてもよい。所定の項目は、例えば、複数のレシートＲＥＣが同一のレシートＲＥＣであるか否かを判定するのに必要な項目である。この場合、比較される項目の数が限定されるため、最新の文字情報ＣＩＮＦと比較対象の文字情報ＣＩＮＦとの比較を高速に実行することができる。

【0120】

あるいは、上述した第２実施形態において、複数の項目の各々に重み値が対応付けられてもよい。例えば、複数のレシートＲＥＣが同一のレシートＲＥＣであるか否かの判定に与える影響の大きい項目には、影響の小さい項目よりも、大きな重み値が対応付けられてもよい。そして、文字比較部１２６は、各項目に対応付けられた重み値を用いて文字類似度を算出してもよい。この場合、画像比較が実行されるべき特定の画像情報ＰＩＮＦに対応付けられた特定の文字情報ＣＩＮＦを精度よく検出することができる。

【0121】

以上、本変形例においても、上述した第２実施形態と同様の効果を得ることができる。

【0122】

［第２変形例］
上述した実施形態及び変形例では、情報処理システム１がキャンペーン応募システムである場合を例示したが、本発明はこのような態様に限定されるものではない。例えば、情報処理システム１は、レシートＲＥＣの画像を利用して家計簿を作成するシステムであってもよい。また、情報処理システム１は、レシートＲＥＣを用いるシステムに限定されず、例えば、書類を電子データ化して登録するシステムであってもよい。すなわち、複数の文字が記載された媒体は、レシートＲＥＣに限定されない。例えば、複数の文字が記載された媒体としては、請求書、決算書、振込用紙、見積書等の経理書類、実験や観測における測定値を記録した記録用紙、名刺、及び、応募シール等の多岐にわたる分野の文書が該当する。以上、本変形例においても、上述した実施形態及び変形例と同様の効果を得ることができる。

【符号の説明】

【0123】

１…情報処理システム、１０…情報処理装置、２０…サービスサーバ、３０…端末装置、１２０…処理装置、１２２…画像情報取得部、１２３…文字認識部、１２４…記憶制御部、１２５…構造化部、１２６…文字比較部、１２７…画像比較部、１２８…出力制御部、１４０…記憶装置、１６０…通信装置、ＡＩＮＦ…応答情報、ＣＩＮＦ…文字情報、ＰＩＮＦ…画像情報、ＲＩＮＦ…返却情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】