特開 2023-140646 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023140646

(43)【公開日】2023-10-05

(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20230928BHJP

【ＦＩ】

G06Q30/06

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022046593

(22)【出願日】2022-03-23

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】鈴木 健一郎

(72)【発明者】

【氏名】長島 信史

(72)【発明者】

【氏名】久保田 孝幸

(72)【発明者】

【氏名】西脇 直輝

(72)【発明者】

【氏名】吉田 拓人

(72)【発明者】

【氏名】山田 竣介

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB54

(57)【要約】      （修正有）

【課題】注文書等の文書の改ざん有無の確認を従来に比して低いコスト・高精度で実現する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供する。
【解決手段】情報処理サーバ５とＭＦＰ９とが通信ネットワーク１００に接続され互いに通信可能な情報処理システム１において、情報処理装置としての情報処理サーバ５は、推定用文書の画像データを記憶する第１の記憶部（注文書データ記憶部）と、推定用文書の上で指定された所望の対象領域に対応する位置情報を画像データと関連付けて記憶する第２の記憶部（位置情報記憶部）と、第２の記憶部に記憶された位置情報に基づいて、第１の記憶部に記憶された画像データから、対象領域に対応する第１の対象データを抽出するとともに、推定用文書の改ざんの痕跡有無の推定処理を実行する推定部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

推定用文書の画像データを記憶する第１の記憶部と、
前記推定用文書の上で指定された所望の対象領域に対応する位置情報を前記画像データと関連付けて記憶する第２の記憶部と、
前記第２の記憶部に記憶された位置情報に基づいて、前記第１の記憶部に記憶された画像データから、前記対象領域に対応する第１の対象データを抽出するとともに、前記推定用文書の改ざんの痕跡有無の推定処理を実行する推定部と、
を備えた情報処理装置。

【請求項2】

前記推定部は、前記推定処理の推定結果を出力する、
請求項１に記載の情報処理装置。

【請求項3】

前記推定部は、前記推定処理を実行する際に、訓練用文書に設定された前記対象領域に対応する第２の対象データにおける画像特徴量を基準として生成された教師データを用いて訓練された学習済モデルを用いる、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記画像特徴量は、前記第２の対象データに含まれる電子的痕跡データに基づいて計算される、
請求項３に記載の情報処理装置。

【請求項5】

前記電子的痕跡データは、物理的媒体文書としての前記訓練用文書における物理的痕跡に起因して前記第２の対象データに含まれる第１の痕跡データ、及び電子的媒体文書としての前記訓練用文書の電子的痕跡に起因して前記第２の対象データに含まれる第２の痕跡データの少なくとも一方を含む、
請求項４に記載の情報処理装置。

【請求項6】

推定用文書の上で指定された所望の対象領域に対応する位置情報に基づいて、前記推定用文書の画像データから、前記対象領域に対応する対象データを抽出し、
前記推定用文書の改ざんの痕跡有無の推定処理を実行すること、
を備えた情報処理方法。

【請求項7】

コンピュータに、
推定用文書の上で指定された所望の対象領域に対応する位置情報に基づいて、前記推定用文書の画像データから、前記対象領域に対応する対象データを抽出し、
前記推定用文書の改ざんの痕跡有無の推定処理を実行すること、
を実行させる情報処理プログラム。

【請求項8】

推定用文書の上で指定された所望の対象領域に対応する位置情報に基づいて、前記推定用文書の画像データから、前記対象領域に対応する対象データを抽出する第１の装置と、
前記推定用文書の改ざんの痕跡有無の推定処理を実行する第２の装置と、
を備えた情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。

【背景技術】

【0002】

企業間の商取引においては、一般的に注文書が利用される。この注文書の作成において、文書の改ざんが行われることがある。「文書の改ざん」とは、文書が紙である場合において、当該紙の文書の一部に他の紙の一部を糊付け等して加工する改ざん（物理的改ざん）、文書が電子データ（画像データ）である場合において、当該画像データの文書の一部に他の画像データの一部を電子的にコピー（ペースト）等して加工する改ざん（電子的改ざん）がある。この様な注文書の文書の改ざん有無の確認は、先のいずれの場合であっても、担当者の目視等により人為的処理によって実行されている。そのため、多大なコスト（時間的コスト及び人的コスト）が必要であり、確認精度にもばらつきがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

注文書の文書の改ざん有無の確認を、従来に比して低いコスト・高精度で実現することができれば有益である。

【0004】

本発明は、上記事情に鑑みてなされたものであり、注文書等の文書の改ざん有無の確認を従来に比して低いコスト・高精度で実現する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

上述した課題を解決し、目的を達成するために、本発明の実施形態に係る情報処理装置は、推定用文書の画像データを記憶する第１の記憶部と、前記推定用文書の上で指定された所望の対象領域に対応する位置情報を前記画像データと関連付けて記憶する第２の記憶部と、前記第２の記憶部に記憶された位置情報に基づいて、前記第１の記憶部に記憶された画像データから、前記対象領域に対応する第１の対象データを抽出するとともに、前記推定用文書の改ざんの痕跡有無の推定処理を実行する推定部と、を備える。

【発明の効果】

【0006】

本発明によれば、注文書等の文書の改ざん有無の確認を従来に比して低いコスト・高精度で実現する情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムを実現することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施の形態に係る情報処理システムの一例の構成を示す図である。

【図2】図２は、実施の形態に係る情報処理サーバのハードウェア構成図である。

【図3】図３は、実施の形態に係るＭＦＰのハードウェア構成図である。

【図4】図４は、実施の形態に係る情報処理サーバ及びＭＦＰの機能構成に関するブロック図である。

【図5】図５は、対象領域設定処理に用いる注文書の表面の一例を示した図である。

【図6】図６は、対象領域設定処理に用いる注文書の裏面の一例を示した図である。

【図7】図７は、注文書においてマーキングにより署名欄を含む様に設定された対象領域の一例を示した図である。

【図8】図８は、注文書の署名欄の改ざんの電子的痕跡の一例を示した図である。

【図9】図９は、図５に示した注文書の署名欄の改ざんの電子的痕跡の他の例を示した図である。

【図10】図１０は、ＭＦＰにおいて実行される対象領域設定処理の流れを示したフローチャートである。

【図11】図１１は、情報処理サーバにおいて実行される痕跡推定処理の流れを示したフローチャートである。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、本発明に係る情報処理システムの一実施の形態を詳細に説明する。図１は、本発明の実施の形態に係る情報処理システム１の一例の構成を示す。情報処理システム１は、情報処理サーバ５及びＭＦＰ(Multifunction Peripheral/Product/Printer)９を備える。情報処理サーバ５及びＭＦＰ９は通信ネットワーク１００に接続され互いに通信可能である。

【0009】

情報処理システム１は、文書の改ざんの有無を推定する文書改ざん推定処理を実行する。ここで、「文書の改ざん」とは、文書が紙である場合において、当該紙の文書の一部に他の紙の一部を糊付け等して加工する改ざん（物理的改ざん）、文書が電子データ（画像データ）である場合において、当該画像データの文書の一部に他の画像データの一部を電子的にコピー（ペースト）等して加工する改ざん（電子的改ざん）、のいずれも含むものとする。

【0010】

また、以下においては、説明を具体的にするため、推定用文書が注文書であり、改ざんの有無の推定対象が注文書の署名欄である場合を例とする。

【0011】

情報処理システム１が実行する文書改ざん推定処理は、情報処理サーバ５が実行する痕跡推定処理と、痕跡推定処理の前処理としてＭＦＰ９が実行する対象領域設定処理と、によって構成される。なお、ＭＦＰ９は画像処理装置の一例である。各処理については、後で詳しく説明する。

【0012】

情報処理サーバ５は、例えば一般的なコンピュータである。図２は、情報処理サーバ５のハードウェア構成図である。情報処理サーバ５のハードウェア構成について以下説明する。

【0013】

図２に示されているように、情報処理サーバ５は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0014】

これらのうち、ＣＰＵ５０１は、情報処理サーバ５全体の動作を制御する。

【0015】

ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。

【0016】

ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。

【0017】

ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。

【0018】

ネットワークＩ／Ｆ５０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。

【0019】

バスライン５１０は、図２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0020】

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。

【0021】

ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。

【0022】

ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。

【0023】

メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0024】

ＭＦＰ９は、スキャナ、プリンタ、ＦＡＸ等の複数の機能を備えたデジタル複合機である。

【0025】

図３は、ＭＦＰ９のハードウェア構成図である。図３に示されているように、ＭＦＰ(Multifunction Peripheral/Product/Printer)９は、コントローラ９１０、近距離通信回路９２０、エンジン制御部９３０、操作パネル９４０、ネットワークＩ／Ｆ９５０を備えている。

【0026】

これらのうち、コントローラ９１０は、コンピュータの主要部であるＣＰＵ９０１、システムメモリ（ＭＥＭ－Ｐ）９０２、ノースブリッジ（ＮＢ）９０３、サウスブリッジ（ＳＢ）９０４、ＡＳＩＣ(Application Specific Integrated Circuit)９０６、記憶部であるローカルメモリ（ＭＥＭ－Ｃ）９０７、ＨＤＤコントローラ９０８、及び、記憶部であるＨＤ９０９を有し、ＮＢ９０３とＡＳＩＣ９０６との間をＡＧＰ(Accelerated Graphics Port)バス９２１で接続した構成となっている。

【0027】

これらのうち、ＣＰＵ９０１は、ＭＦＰ９の全体制御を行う制御部である。

【0028】

ＮＢ９０３は、ＣＰＵ９０１と、ＭＥＭ－Ｐ９０２、ＳＢ９０４、及びＡＧＰバス９２１とを接続するためのブリッジであり、ＭＥＭ－Ｐ９０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

【0029】

ＭＥＭ－Ｐ９０２は、コントローラ９１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ９０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ９０２ｂとからなる。なお、ＲＡＭ９０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0030】

ＳＢ９０４は、ＮＢ９０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。

【0031】

ＡＳＩＣ９０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス９２１、ＰＣＩバス９２２、ＨＤＤ９０８およびＭＥＭ－Ｃ９０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ９０６は、ＰＣＩターゲットおよびＡＧＰマスタ、ＡＳＩＣ９０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ９０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部９３１及びプリンタ部９３２との間でＰＣＩバス９２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ９０６には、ＵＳＢ(Universal Serial Bus)のインターフェースや、ＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394）のインターフェースを接続するようにしてもよい。

【0032】

ＭＥＭ－Ｃ９０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。

【0033】

ＨＤ９０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ９０９は、ＣＰＵ９０１の制御にしたがってＨＤ９０９に対するデータの読出又は書込を制御する。

【0034】

ＡＧＰバス９２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ－Ｐ９０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

【0035】

また、近距離通信回路９２０には、近距離通信回路９２０ａが備わっている。近距離通信回路９２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。

【0036】

更に、エンジン制御部９３０は、スキャナ部９３１及びプリンタ部９３２によって構成されている。

【0037】

また、操作パネル９４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部９４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作部９４０ｂを備えている。

【0038】

コントローラ９１０は、ＭＦＰ９全体の制御を行い、例えば、描画、通信、操作パネル９４０からの入力等を制御する。スキャナ部９３１又はプリンタ部９３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。

【0039】

なお、ＭＦＰ９は、操作パネル９４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。

【0040】

また、ネットワークＩ／Ｆ９５０は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。近距離通信回路９２０及びネットワークＩ／Ｆ９５０は、ＰＣＩバス９２２を介して、ＡＳＩＣ９０６に電気的に接続されている。

【0041】

図４は、情報処理サーバ５及びＭＦＰ９の機能構成に関するブロック図である。なお、図４は、情報処理サーバ５及びＭＦＰ９の機能構成が有する機能のうち、本発明の実施形態に関わる機能を便宜上図示したものである。同図に示す様に、ＭＦＰ９は、画像データ取得部９ａ、位置情報取得部９ｂ、情報送信部９ｃを備える。情報処理サーバ５は、制御部５ａ、情報受信部５ｂ、注文書データ記憶部５ｃ、位置情報記憶部５ｄ、推定部５ｅ、表示部５ｆを備える。

【0042】

画像データ取得部９ａは、紙の注文書であれば、ＭＦＰ９のスキャナ部９３１の機能を用いて、署名欄がマーキングされた注文書の画像データを取得する。また、画像データ取得部９ａは、画像データの注文書であれば、ＨＤ９０９等から注文書の画像データを読み出す。

【0043】

位置情報取得部９ｂは、注文書において署名欄を含む様にマーキングされた領域に基づいて、当該注文書の画像データ上において、痕跡推定処理の対象となる領域（対象領域）を設定し、設定した対象領域の位置情報を取得する。この位置情報取得部９ｂは、例えばＣＰＵ９０１、システムメモリ９０２、スキャナ部９３１によって構成される。

【0044】

図５は、対象領域設定処理に用いる注文書の表面の一例を示した図である。図６は、対象領域設定処理に用いる注文書の裏面の一例を示した図である。

【0045】

図５に示した様に、注文書の表面には、注文先の企業名、注文番号、注文日、注文する商品の明細（商品名・個数・金額など）、取引条件（支払方法・支払金額・支払期日など）等が記載されている。表面の右上の四角い枠で囲んだ欄に注文者の住所・会社名・役職・氏名及び押印マーク（丸の中に印）が記載されており、この範囲が一般的に署名欄と呼ばれている範囲である。また、図６に示した様に、注文書の裏面には、重要事項等が記載されている。

【0046】

図７は、注文書において、マーキングＭにより署名欄を含む様に設定された対象領域の一例を示した図である。

【0047】

例えば紙の注文書の場合において、当該紙の注文書上で、図７に示した様に、マーキングペンによりマーキングＭが設定された場合を想定する。係る場合、位置情報取得部９ｂは、当該紙の注文書をスキャンして生成された画像データ上において、マーキングＭを基準として対象領域Ｒを設定し、当該対象領域の位置情報を取得する。

【0048】

また、例えば画像データの注文書の場合において、図７に示した様に、当該画像データの注文書上で描画ソフト等によりマーキングＭが設定された場合を想定する。係る場合、位置情報取得部９ｂは、当該画像データの注文書上で描画されたマーキングＭを基準として対象領域を設定し、当該対象領域の位置情報を取得する。

【0049】

ここで、画像データ上におけるマーキングＭを基準とした対象領域の設定は、種々の手法を採用することができる。例えば、マーキングＭの最も外側の輪郭を抽出し、抽出した輪郭に対応する各画素によって囲まれる閉領域を対象領域とすることができる。また、マーキングＭに外接する所定の閉領域（例えば、円、楕円、多角形等）を設定し、閉領域を対象領域とすることができる。また、文書の縦方向についてのマーキングＭの最も上側に位置する点（画素）及び最も下側に位置する点（画素）と、文書の横方向についてのマーキングＭの最も右側位置する点（画素）及び最も左側に位置する点（画素）を基準として、所望の閉領域を対象領域とすることができる。いずれの場合も、対象領域の位置情報は、例えば閉領域の最も外側に位置する各画素の位置情報とすることができる。

【0050】

また、図７に示した例では、署名欄は矩形枠によって囲まれている。従って、幅のある線のマーキングに限らず、例えば、ユーザが署名欄の枠の外側に複数の点を設定することで、各点を基準とし署名欄の枠を含む所定の閉領域（例えば署名欄の枠を拡大した領域）を対象領域として設定することもできる。

【0051】

また、例えば注文書の左上を原点Ｏ（０，０）として、署名欄の左上の点Ａ（ｘａ，ｙａ）、右下の点Ｂ（ｘｂ，ｙｂ）の位置情報を示す入力をユーザから受け付けて対象領域設定処理を実行することで、点Ａ、点Ｂを基準とし署名欄の枠を含む所定の閉領域（例えば点Ａ、点Ｂを対角線の頂点とする矩形領域等）を対象領域として設定することもできる。

【0052】

情報送信部９ｃは、注文書の画像データと、当該画像データと関連付けされた対象領域の位置情報を、通信ネットワーク１００を介して情報処理サーバ５へ送信する。この情報送信部９ｃは、例えばＣＰＵ９０１、ネットワークＩ／Ｆ９５０によって構成される。

【0053】

制御部５ａは、情報処理サーバ５の動作について統括的な制御を行う。制御部５ａは、痕跡推定処理において、情報受信部５ｂ、注文書データ記憶部５ｃ、位置情報記憶部５ｄ、推定部５ｅ、表示部５ｆを制御する。この制御部５ａは、例えば、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３等によって構成される。

【0054】

情報受信部５ｂは、通信ネットワーク１００を介して、ＭＦＰ９の情報送信部９ｃから注文書の画像データと、当該画像データと関連付けされた対象領域の位置情報を受信する。この情報受信部５ｂは、ＣＰＵ５０１、ネットワークＩ／Ｆ５０９によって構成される。

【0055】

注文書データ記憶部５ｃは、情報受信部５ｂが受信した注文書の画像データ（注文書データ）を記憶する。この注文書データ記憶部５ｃは、ＲＯＭ５０２、ＨＤ５０４等によって構成される。なお、注文書データ記憶部５ｃは第１の記憶部の一例である。

【0056】

位置情報記憶部５ｄは、情報受信部５ｂが受信した、ＭＦＰ９により行われた、注文書の上で指定された所望の対象領域に対応する位置情報を、対応する注文書の画像データと関連付けて記憶する。この位置情報記憶部５ｄは、ＲＯＭ５０２、ＨＤ５０４等によって構成される。なお、位置情報記憶部５ｄは第２の記憶部の一例である。

【0057】

推定部５ｅは、位置情報記憶部５ｄに記憶された位置情報に基づいて、注文書データ記憶部５ｃに記憶された画像データから、その対象領域に対応する画像データ（対象データ）を抽出する。また、推定部５ｅは、抽出した対象データを入力とし、当該注文書の改ざんの痕跡有無を推定する推定処理を実行し、推定結果を出力する。推定部５ｅは、典型的には学習済ニューラルネットワーク等のＡＩ（Artificial Intelligence：人工知能）であり、例えばＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）等の学習済モデル（推定モデル）を備えるものである。なお、推定部５ｅが出力する注文書の改ざんの痕跡の有無を推定した推定結果は、推定用文書の改ざんに関する情報の一例である。

【0058】

ここで、推定部５ｅの推定モデルの訓練（学習方法）について説明する。推定部５ｅの推定モデルの訓練は、訓練用文書に設定された対象領域に対応する画像データである第２の対象データにおける画像特徴量を基準として生成された教師データを用いる。

【0059】

図８は、注文書の署名欄の物理的改ざんに起因する電子的痕跡の一例を示した図である。すなわち、より具体的には、図８は、他の紙の注文書から署名欄を物理的に切り取り当該紙の注文書の署名欄の上に糊付けし（物理的改ざん）、改ざん後の当該紙の注文書をスキャンして作成された画像データを示している。

【0060】

この様に切り貼りした注文書をＭＦＰ９のスキャナ部９３１で読み取ると、原稿面の段差による照明むらにより、切り貼り部分の周縁に沿って影と呼称される画像ノイズが電子的痕跡として現れる（図８の閉領域Ｃの部分）。すなわち、改ざん後の注文書の画像データは、物理的な改ざんに起因する電子的痕跡を含むものとなる。なお、物理的な改ざんに起因する電子的痕跡は、第１の痕跡データの一例である。

【0061】

図９は、注文書の署名欄の電子的改ざんに起因する電子的痕跡の他の例を示した図である。すなわち、図９は、画像データとしての注文書において、署名欄の部分にカットアンドペーストし（電子的改ざん）、改ざん後の画像データにおいて発生する電子的痕跡の例を示している。

【0062】

係る電子的な改ざんの場合、データのカットアンドペーストにより、改ざん後の画像データの注文書において、枠罫線の欠損、押印マークの欠損、押印のひずみ、文字や線のサイズの違い、フォントの違い等の不整合が発生している。これらの不整合は、改ざんされていない注文書の画像データにおいては存在しないが、改ざん後の注文書の画像データにおいては、電子的改ざんに起因する電子的痕跡として存在する。なお、電子的改ざんに起因する電子的痕跡は、第２の痕跡データの一例である。

【0063】

推定部５ｅの訓練においては、物理的改ざんに起因する電子的痕跡、電子的改ざんに起因する電子的痕跡を利用する。すなわち、訓練用注文書の画像データから抽出される対象データが、物理的改ざんに起因する電子的痕跡、電子的改ざんに起因する電子的痕跡を画像特徴量として含むか否かを判定し、学習のための教師データを生成する。なお、物理的改ざんに起因する電子的痕跡、電子的改ざんに起因する電子的痕跡は、画像特徴量の一例である。

【0064】

具体的には、対象領域（今の場合、署名欄を含む領域）が改ざんされていない画像データの注文書、対象領域が改ざんされた画像データの注文書をそれぞれ複数準備する。それぞれの画像データから抽出される対象データに改ざんの電子的痕跡が含まれるか否かを示す正解データ（教師データ）を作成する。そして、対象データを入力データとし、当該対象データにおける改ざんの電子的痕跡の有無を出力データとする訓練データの群を訓練データ群として作成する。

【0065】

この様に作成された訓練データ群を用いて学習用モデルの教師あり学習を実行することで、推定部５ｅを実現する学習済モデルを生成することができる。具体的には、学習用モデルが有するＤＮＮのネットワークパラメータを初期化する。訓練データ群を用いて学習用モデルの現在のパラメータで損失関数の勾配を、例えば誤差逆伝播法を用いて計算する。計算された損失関数の勾配に基づいて、現在の学習用モデルのネットワークパラメータを更新する。更新後のネットワークパラメータを用いて同様の勾配計算を繰り返し実行し、勾配が収束した時点でネットワークパラメータを固定することで、学習済モデルを生成することができる。

【0066】

なお、本実施形態では、推定部５ｅは、ＣＰＵ５０１が専用のプログラムをＲＡＭ５０３上で実行することで実現される。しかしながら、当該例に限定されず、推定部５ｅの一部又は全部を、同様の各機能を実行するように設計された専用のハードウェア、例えばＡＳＩＣ、ＦＰＧＡ（Field Programmable Gate Array）等の半導体集積回路や従来の回路モジュール等によって実現するようにしてもよい。

【0067】

表示部５ｆは、推定部５ｅによる痕跡推定処理の結果を表示する。この表示部５ｆは、ＣＰＵ５０１、ディスプレイ５０６によって構成される。

【0068】

（対象領域設定処理）
図１０は、対象領域設定処理の流れを示したフローチャートである。図１０を参照しながら対象領域設定処理について以下説明する。

【0069】

図１０に示す様に、まず、注文書の署名欄をマーキングする（ステップＳ１）。例えば、紙の注文書であれば、マーキングペンにより署名欄を人為的に囲う等でマーキングする。また、画像データの注文書であれば、描画ソフト等により署名欄を人為的に囲う等でマーキングする。なお、ステップＳ１のマーキングは、画像データの注文書（紙の注文書をスキャンして生成したものも含む）を入力とした文字認識処理等を用いて、署名欄を含む領域を自動的にマーキングするようにしてもよい。

【0070】

ＭＦＰ９で領域設定アプリを起動する（ステップＳ２）。この領域設定アプリの起動により、ＭＦＰ９の画像データ取得部９ａ、位置情報取得部９ｂ、情報送信部９ｃが実現される。

【0071】

画像データ取得部９ａは、ステップＳ１において署名欄がマーキングされた注文書の画像データを取得する（ステップＳ３）。すなわち、画像データ取得部９ａは、紙の注文書であれば、ＭＦＰ９のスキャン機能を用いて、署名欄がマーキングされた注文書の画像データを取得する。また、画像データ取得部９ａは、画像データの注文書であれば、ステップＳ１において処理された画像データを所定の記憶部から取得する。

【0072】

位置情報取得部９ｂは、ステップＳ３において取得した注文書の画像データ上において、ステップＳ１における署名欄のマーキングに基づいて、痕跡推定処理の対象領域を設定し、設定した対象領域の位置情報（今の場合、画像データ上において署名欄を含む閉領域の位置を特定する情報）を取得する（ステップＳ４）。取得された位置情報は、対応する注文書の画像データと関連付けて所定の記憶部に記憶される。

【0073】

情報送信部９ｃは、ステップＳ４において取得した位置情報を、対応する注文書の画像データと共に、通信ネットワーク１００を介して情報処理サーバ５へ送信する（ステップＳ５）。情報処理サーバ５の情報受信部５ｂは、通信ネットワーク１００を介してＭＦＰ９より送信された位置情報及び注文書の画像データを受信する。受信した位置情報と注文書の画像データとは、位置情報記憶部５ｄ、注文書データ記憶部５ｃにそれぞれ記憶される。

【0074】

（痕跡推定処理）
図１１は、情報処理サーバ５において実行される痕跡推定処理の流れを示したフローチャートである。図１１を参照しながら痕跡推定処理について以下説明する。

【0075】

図１１に示す様に、まず、情報処理サーバ５において検知アプリが起動される（ステップＳ１１）。この検知アプリの起動により、例えば検知アプリの機能として推定部５ｅが実現される。なお、推定部５ｅが検知アプリによって実現される形態は一例であって、推定部５ｅが必ずしもアプリケーションの機能として実現されている必要はなく、他のソフトウェアの形態で実現されてもよい。

【0076】

推定部５ｅは、選択された注文書の画像データを注文書データ記憶部５ｃより、選択された注文書の画像データと関連付けされた位置情報を位置情報記憶部５ｄより、それぞれ読み出す（ステップＳ１２）。

【0077】

推定部５ｅは、読み出した位置情報に基づいて選択された注文書の画像データから対象データを抽出し（ステップＳ１３）、当該対象データを入力とする推定処理を実行し、推定結果（痕跡の有無を推定した結果）を出力する（ステップＳ１４）。出力された推定処理の結果は、表示部５ｆに表示される。

【0078】

推定処理において「痕跡有」と推定された場合には（ステップＳ１４の有）、選択された注文書について、目視による改ざん有無の調査が実行される（ステップＳ１５）。一方、推定処理において「痕跡無」と推定された場合には（ステップＳ１４の無）、選択された注文書には改ざんが無かったとして処理を終了する。

【0079】

以上述べた様に、本発明の実施形態に係る情報処理装置としての情報処理サーバ５によれば、推定部５ｅは、注文書（推定用文書）に設定された対象領域に対応する画像データである第１の対象データを取得する。推定部５ｅは、第１の対象データを入力し、注文書の改ざんに関する情報として改ざんの痕跡の有無を出力する。

【0080】

従って、ユーザは、注文書の画像データに対して対象領域を設定し、対象データを推定モデルとしての推定部５ｅに入力することで、当該注文書が改ざんされたものか否かを自動的に把握することができる。また、人為的な判断のみにより注文書の改ざん有無を判定する場合に比して、改ざん有無の判定制度のばらつきを抑制することができる。その結果、注文書等の文書の改ざん有無の確認を従来に比して低いコスト・高精度で実現することができる。

【0081】

また、推定部５ｅは、訓練用文書としての注文書に設定された対象領域に対応する画像データである第２の対象データにおける画像特徴量（電子的痕跡データ）を基準として生成された教師データを用いて訓練される。推定部５ｅとしての推定モデルを訓練するための教師データは、容易に作成することができる。従って、ユーザは、推定部５ｅに対応する推定モデルの訓練を比較的容易に実行することができる。

【0082】

また、画像特徴量としての電子的痕跡データは、物理的媒体文書としての訓練用文書（紙の注文書）における物理的痕跡に起因して第２の対象データに含まれる第１の痕跡データ、及び電子的媒体文書としての訓練用文書（画像データの注文書）の電子的痕跡に起因して第２の対象データに含まれる第２の痕跡データの少なくとも一方を含む。従って、紙又は画像データのいずれの注文書についても推定処理の対象とすることができる。

【0083】

（変形例１）
上記実施形態に係る情報処理サーバ５の推定部５ｅは、痕跡推定処理において、注文書の改ざんに関する情報として改ざんの痕跡の有無を出力するものとした。これに対し、推定部５ｅは、注文書の改ざんに関する情報として、改ざんの痕跡の種類（すなわち、物理的な切り貼りによる影、枠罫線の欠損、押印マークの欠損、押印のひずみ、文字や線のサイズの違い、フォントの違い等）を出力する様にしてもよい。

【0084】

係る推定部５ｅとしての推定モデルの訓練データ群は、例えば、各注文書の画像データから抽出された対象データについて、対象領域に物理的な切り貼りによる影、枠罫線の欠損、押印マークの欠損、押印のひずみ、文字や線のサイズの違い、フォントの違い等の個々の電子的痕跡が存在するか否かを示す正解データを作成する。そして、対象データを入力データとし、当該対象データにおける改ざんの電子的痕跡の種類を出力データとする訓練データの群をとして作成することができる。

【0085】

（変形例２）
上記実施形態においては、情報処理サーバ５の推定部５ｅとして、学習済ニューラルネットワーク等のＡＩを用いる場合を例示した。これに対し、画像特徴量を用いたルールベースの痕跡推定を行う推定部５ｅを用いることもできる。係る場合、推定部５ｅは、例えば、対象データと準備された複数の電子的痕跡パターンとの間で画像特徴量の類似度を計算し、得られた類似度と閾値とを比較することにより、対象領域における電子的痕跡の有無を推定することができる。

【0086】

（変形例３）
上記実施形態においては、推定用文書が注文書である場合を例として説明した。実施形態に係る改ざん判定処理は、注文書のフォーマットには限定されない。すなわち、注文書において対象領域を設定することがきれば、注文書のフォーマットはどのようなものであっても良い。また、対象領域は署名欄を含む領域に限定されず、画像データ上において任意の領域として設定可能である。

【0087】

（変形例４）
上記実施形態においては、情報処理サーバ５が推定部５ｅを備える場合を例として説明した。これに対し、ＭＦＰ９が推定部５ｅを備え、痕跡推定処理を実行する構成としても良い。また、推定部５ｅをクラウド上のコンピュータに設け、当該コンピュータと通信することで痕跡推定処理の結果を取得するようにしても良い。さらに、情報処理サーバ５がＭＦＰ９の機能を備える構成であってもよい。

【0088】

また、上記実施形態において説明したＭＦＰ９は、画像処理装置の一例である。すなわち、上記実施形態において説明した画像データ取得部９ａ、位置情報取得部９ｂ、情報送信部９ｃ等の機能を有する画像処理装置は、ＭＦＰに限るものではなく、例えば単体のスキャナ、カメラ付きスマートフォンやタブレット型端末等によっても実現することができる。

【0089】

なお、本実施形態の情報処理サーバ５で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。

【0090】

本実施形態の情報処理サーバ５で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータ・プログラム・プロダクトとして提供するように構成してもよい。

【0091】

さらに、本実施形態の情報処理サーバ５で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理サーバ５で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0092】

本実施形態の情報処理サーバ５で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

【0093】

（その他の適用例）
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【0094】

例えば、図４などの構成例は、情報処理サーバ５及びＭＦＰ９（画像処理装置の一例）による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理サーバ５及びＭＦＰ９（画像処理装置の一例）の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。

【0095】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

【0096】

また、上述の装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理サーバ５は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【符号の説明】

【0097】

１ 情報処理システム
５ 情報処理サーバ
５ａ 制御部
５ｂ 情報受信部
５ｃ 注文書データ記憶部
５ｄ 位置情報記憶部
５ｅ 推定部
５ｆ 表示部
９ ＭＦＰ
９ａ 画像データ取得部
９ｂ 位置情報取得部
９ｃ 情報送信部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ ＨＤ
５０５ ＨＤＤコントローラ
５０６ ディスプレイ
５０７ 外部機器接続Ｉ／Ｆ
５０９ ネットワークＩ／Ｆ
５１１ キーボード
５１２ ポインティングデバイス
５１３ ＤＶＤ
５１４ ＤＶＤ－ＲＷドライブ
５１５ メディア
５１６ メディアＩ／Ｆ
９０１ ＣＰＵ
９０２ ＭＥＭ－Ｐ
９０２ａ ＲＯＭ
９０２ｂ ＲＡＭ
９０３ ＮＢ
９０４ ＳＢ
９０６ ＡＳＩＣ
９０７ ＭＥＭ－Ｃ
９０８ ＨＤＤコントローラ
９０９ ＨＤ
９２０ 近距離通信回路
９２１ スキャナ部
９２２ プリンタ部
９３０ エンジン制御部
９３１ スキャナ部
９３２ プリンタ部
９４０ 操作パネル
９４０ａ パネル表示部
９４０ｂ 操作部
９５０ ネットワークＩ／Ｆ

【先行技術文献】

【特許文献】

【0098】

【特許文献1】特開平１１－４１４５０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】