IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルムイメージングシステムズ株式会社の特許一覧

特開2024-31514画像照合装置、画像照合方法、及び画像照合プログラム
<>
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図1
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図2
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図3
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図4
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図5
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図6
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図7
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図8
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図9
  • 特開-画像照合装置、画像照合方法、及び画像照合プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024031514
(43)【公開日】2024-03-07
(54)【発明の名称】画像照合装置、画像照合方法、及び画像照合プログラム
(51)【国際特許分類】
   G06V 10/74 20220101AFI20240229BHJP
   G06T 7/00 20170101ALI20240229BHJP
【FI】
G06V10/74
G06T7/00 300F
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022135103
(22)【出願日】2022-08-26
(71)【出願人】
【識別番号】502087080
【氏名又は名称】富士フイルムイメージングシステムズ株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(72)【発明者】
【氏名】江島 勧
(72)【発明者】
【氏名】和田 素直
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096EA35
5L096FA09
5L096HA08
5L096JA03
5L096JA11
5L096JA13
(57)【要約】
【課題】本発明は、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる画像照合装置、画像照合方法、及び画像照合プログラムを提供することを目的とする。
【解決手段】本発明の一つの態様では、原稿画像と検体画像とを特徴量マッチングにより照合するので、顧客にとって不要な情報を印刷あるいは印字する必要がない。また、このため見栄えが低下することがなく、検査速度の低下や印刷不良の見落としの問題も生じない。また、照合に先立って第1特徴量データを作成しておくことにより、原稿画像と検体画像との照合を迅速に行うことができる。さらに、一の検体画像と複数の検体画像についての特徴量マッチングを行って正解画像を特定し、これを全ての検体画像について繰り返すので、多種多様な原稿が存在する場合でも照合が可能である。
【選択図】 図4
【特許請求の範囲】
【請求項1】
複数の原稿画像と、前記複数の原稿画像に対応して生成された複数の検体画像と、を照合する画像照合装置であって、プロセッサを備え、
前記プロセッサは、
前記複数の原稿画像を構成する原稿画像について、前記照合に先立って、あらかじめ決められた特徴量データ作成領域における特徴点のデータである第1特徴量データを作成する第1特徴量データ作成処理と、
前記複数の検体画像を構成する一の検体画像を取得する検体画像取得処理と、
前記一の検体画像について、前記特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する第2特徴量データ作成処理と、
前記一の検体画像についての前記第2特徴量データと、前記複数の原稿画像についての前記第1特徴量データと、を前記原稿画像ごとに特徴量マッチングにより照合する照合処理と、
前記照合処理の結果に基づいて、前記複数の原稿画像から前記一の検体画像に対応する正解画像を特定する正解画像特定処理と、
前記第2特徴量データ作成処理と、前記照合処理と、前記正解画像特定処理と、を前記複数の検体画像を構成する全ての検体画像について繰り返す繰り返し処理と、
を実行する画像照合装置。
【請求項2】
前記プロセッサは、
前記照合処理において、
前記一の検体画像の一部の特徴点についての前記第2特徴量データと、前記原稿画像の一部の特徴点についての前記第1特徴量データと、を特徴量マッチングにより照合する第1照合処理と、
前記第1照合処理の結果に基づいて、前記一の検体画像に対する正解候補画像である原稿画像を前記複数の原稿画像から抽出する正解候補抽出処理と、
前記一の検体画像についての、前記一部の特徴点よりも多い特徴点についての前記第2特徴量データと、前記正解候補画像を構成する原稿画像についての、前記一部の特徴点よりも多い特徴点についての前記第1特徴量データと、を特徴量マッチングにより照合する第2照合処理と、
を実行し、
前記正解画像特定処理において、前記第2照合処理の結果に基づいて前記正解画像を特定する請求項1に記載の画像照合装置。
【請求項3】
前記プロセッサは、前記第1照合処理において、
前記特徴量データ作成領域において指定された領域である第1指定領域に存在する特徴点を、前記第1指定領域から選択する特徴点の数の、前記第1指定領域に存在する全ての特徴点の数に対する比率が、前記第1指定領域以外の領域から選択する特徴点の数の、前記第1指定領域以外の前記領域に存在する全ての特徴点の数に対する比率よりも高くなるように選択し、
前記第1指定領域について選択した特徴点及び前記第1指定領域以外の領域について選択した特徴点を前記一部の特徴点として前記特徴量マッチングを行う請求項2に記載の画像照合装置。
【請求項4】
前記プロセッサは、原稿ごとに異なる情報が記録される可能性が高い領域を前記第1指定領域として前記特徴点の選択を行う請求項3に記載の画像照合装置。
【請求項5】
前記プロセッサは、前記第1特徴量データ作成処理及び前記第2特徴量データ作成処理において、検体画像が記録または出力される媒体の種類と、注文の種別と、のうち少なくとも一方に基づいて前記特徴量データ作成領域を設定する請求項1から4のいずれか1項に記載の画像照合装置。
【請求項6】
前記プロセッサは、
前記第1特徴量データ作成処理において、前記特徴点の位置情報及び前記特徴点の性質情報を前記第1特徴量データとして作成し、
前記第2特徴量データ作成処理において、前記特徴点の位置情報及び前記特徴点の性質情報を前記第2特徴量データとして作成し、
前記照合処理において、前記位置情報に基づき前記一の検体画像の特徴点からの距離が閾値以下である前記原稿画像の特徴点を前記特徴量マッチングの対象とする請求項1から4のいずれか1項に記載の画像照合装置。
【請求項7】
前記プロセッサは、
前記第2照合処理において、前記正解候補画像を構成する原稿画像に対して、前記第1特徴量データと前記第2特徴量データとの一致度合いを示す正解画像特定用スコアを算出し、
前記正解候補画像を構成する原稿画像のうち、前記正解画像特定用スコアが最も高い第2原稿画像が前記正解画像として特定されなかった場合は、
前記第2原稿画像が前記正解画像として特定されなかったことを示す情報と、前記一の検体画像と、前記第2原稿画像と、前記一の検体画像と前記第2原稿画像とが一致しているか否かを前記画像照合装置のユーザが確認するよう促す情報と、を出力する確認促進処理を実行する請求項2から4のいずれか1項に記載の画像照合装置。
【請求項8】
前記プロセッサは、
宛名の情報を含む複数の画像を前記複数の原稿画像として取得し、
前記照合処理に先立って、前記複数の原稿画像のうち、同一の宛名の情報を含む複数の原稿画像を同一宛名グループとするグループ化処理を実行し、
前記正解画像特定処理において、
前記第2原稿画像が前記同一宛名グループに属する原稿画像である場合は、前記同一宛名グループに属する前記複数の原稿画像のうち、前記一の検体画像と同一の注文単位に属する原稿画像を前記正解画像として特定する請求項7に記載の画像照合装置。
【請求項9】
前記プロセッサは、前記正解画像特定処理において、
前記同一宛名グループに属する前記複数の原稿画像のうち、前記同一の注文単位における登場の順番が、前記同一の注文単位における前記一の検体画像の登場の順番と一致する原稿画像を前記正解画像として特定する請求項8に記載の画像照合装置。
【請求項10】
前記プロセッサは、宛名の情報を含む複数の画像を前記複数の原稿画像として取得し、
前記照合処理に先立って、
前記複数の原稿画像のうち、同一の宛名の情報を含む複数の原稿画像を同一宛名グループとするグループ化処理と、宛名が白紙の原稿画像である宛名白紙画像の数量を登録する数量登録処理と、を実行する請求項1から4のいずれか1項に記載の画像照合装置。
【請求項11】
前記プロセッサは、
前記複数の検体画像に含まれる前記宛名白紙画像の数量をカウントし、前記カウントした数量を前記登録した数量と照合して、前記照合の結果を出力する白紙カウント処理を実行する請求項10に記載の画像照合装置。
【請求項12】
前記プロセッサは、前記正解画像として特定された原稿画像を、前記照合処理及び前記正解画像特定処理の対象から除外する請求項1から4のいずれか1項に記載の画像照合装置。
【請求項13】
前記プロセッサは、
個人情報を示す文字が含まれる画像を、前記複数の原稿画像を構成する原稿画像として取得し、
前記原稿画像が媒体に記録された印刷物または出力物の画像を前記複数の検体画像を構成する検体画像として取得する請求項1から4のいずれか1項に記載の画像照合装置。
【請求項14】
前記プロセッサは、前記一の検体画像を取得してから前記複数の検体画像に含まれる他の検体画像を取得するまでの間に、前記一の検体画像について、前記第2特徴量データ作成処理と、前記照合処理と、前記正解画像特定処理と、を実行する請求項1から4のいずれか1項に記載の画像照合装置。
【請求項15】
複数の原稿画像と、前記複数の原稿画像に対応して生成された複数の検体画像と、を照合する画像照合方法であって、
前記複数の原稿画像を構成する原稿画像について、前記照合に先立って、あらかじめ決められた特徴量データ作成領域における特徴点のデータである第1特徴量データを作成する第1特徴量データ作成工程と、
前記複数の検体画像を構成する一の検体画像を取得する検体画像取得工程と、
前記一の検体画像について、前記特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する第2特徴量データ作成工程と、
前記一の検体画像についての前記第2特徴量データと、前記複数の原稿画像についての前記第1特徴量データと、を前記原稿画像ごとに特徴量マッチングにより照合する照合工程と、
前記照合工程の結果に基づいて、前記複数の原稿画像から前記一の検体画像に対応する正解画像を特定する正解画像特定工程と、
前記第2特徴量データ作成工程と、前記照合工程と、前記正解画像特定工程と、を前記複数の検体画像を構成する全ての検体画像について繰り返す繰り返し工程と、
をプロセッサにより実行する画像照合方法。
【請求項16】
プロセッサに、複数の原稿画像と、前記複数の原稿画像に対応して生成された複数の検体画像と、を照合する画像照合方法を実行させる画像照合プログラムであって、
前記画像照合方法は、
前記複数の原稿画像を構成する原稿画像について、前記照合に先立って、あらかじめ決められた特徴量データ作成領域における特徴点のデータである第1特徴量データを作成する第1特徴量データ作成工程と、
前記複数の検体画像を構成する一の検体画像を取得する検体画像取得工程と、
前記一の検体画像について、前記特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する第2特徴量データ作成工程と、
前記一の検体画像についての前記第2特徴量データと、前記複数の原稿画像についての前記第1特徴量データと、を前記原稿画像ごとに特徴量マッチングにより照合する照合工程と、
前記照合工程の結果に基づいて、前記複数の原稿画像から前記一の検体画像に対応する正解画像を特定する正解画像特定工程と、
前記第2特徴量データ作成工程と、前記照合工程と、前記正解画像特定工程と、を前記複数の検体画像を構成する全ての検体画像について繰り返す繰り返し工程と、
有する画像照合方法である、
画像照合プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像照合装置、画像照合方法、及び画像照合プログラムに関し、特に原稿画像と検体画像とを照合する画像照合装置、画像照合方法、及び画像照合プログラムに関する。
【背景技術】
【0002】
はがきや封筒等の郵便物、あるいは印刷物の宛名面、絵柄面(差出人のメッセージ、イラスト、写真等が記録される面)が注文通りに印刷されているかを検査する方法として、文字や数字、あるいは記号等から構成され郵便物や印刷物に対し一意に決められる識別情報(「OCR番号」と呼ばれる場合がある)を印字して、その番号をOCR等(OCR:Optical Character Recognition)で読み取ることで注文内容を確認する方法が知られている。
【0003】
また、画像を用いて印刷物の照合を行う技術が知られている。例えば、下記の特許文献1には、印刷物の絵柄面の照合を行う技術が記載されている。具体的には、原稿画像とマスタ画像とを目視で照合することや、一枚目のデータをマスタ画像データとし、二枚目以降のデータと照合すること等が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-004345号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述したOCR番号による照合については、「OCR番号をはがき等に印字することは、製品の見栄えを損ない製品価値を下げることになりかねないため無くしたい」という顧客(ユーザ)の要望が強かった。またOCR番号の印字は印刷機や文字フォントが変わると読み取り精度が大きく低下し、検体画像のOCR読み取りに失敗した場合は目視で番号を突き合せる必要があるなど、検査速度を低下させる要因となっていた。更に宛名面にOCR番号を印字した場合、宛名部分に印刷不良が発生してもOCR番号が読み取れれば印刷不良を見落としてしまうという欠点があった。
【0006】
また、特許文献1のような目視による照合の場合、十分な照合精度が得られず、処理時間も長かった。
【0007】
本発明はこのような事情に鑑みてなされたもので、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる画像照合装置、画像照合方法、及び画像照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した目的を達成するため、本発明の第1の態様に係る画像照合装置は、複数の原稿画像と、複数の原稿画像に対応して生成された複数の検体画像と、を照合する画像照合装置であって、プロセッサを備え、プロセッサは、複数の原稿画像を構成する原稿画像について、照合に先立って、あらかじめ決められた特徴量データ作成領域における特徴点のデータである第1特徴量データを作成する第1特徴量データ作成処理と、複数の検体画像を構成する一の検体画像を取得する検体画像取得処理と、一の検体画像について、特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する第2特徴量データ作成処理と、一の検体画像についての第2特徴量データと、複数の原稿画像についての第1特徴量データと、を原稿画像ごとに特徴量マッチングにより照合する照合処理と、照合処理の結果に基づいて、複数の原稿画像から一の検体画像に対応する正解画像を特定する正解画像特定処理と、第2特徴量データ作成処理と、照合処理と、正解画像特定処理と、を複数の検体画像を構成する全ての検体画像について繰り返す繰り返し処理と、を実行する。
【0009】
第1の態様に係る画像照合装置によれば、複数の原稿画像と複数の検体画像とを特徴量マッチングにより照合するので、上述したOCR番号のような顧客にとって情報を印刷あるいは印字する必要がない。また、このため見栄えが低下することがなく、OCR番号の読み取りに起因する検査速度の低下や印刷不良の見落としの問題も生じない。
【0010】
また、個々の照合の度に特徴量データを作成するのでは照合に時間がかかるが、第1の態様のように照合に先立って第1特徴量データを作成しておくことにより、原稿画像と検体画像との照合を迅速に行うことができる。
【0011】
さらに、一の検体画像と複数の検体画像についての特徴量マッチングを行って正解画像を特定し、これを全ての検体画像について繰り返すので、多種多様な原稿が存在する場合でも照合が可能である。
【0012】
このようにして、第1の態様によれば、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる。
【0013】
なお、第1の態様において、特徴量データ作成領域は原稿画像の全領域ではなく一部の領域としてもよい。特徴点は、特徴量データ作成領域において抽出される。
【0014】
また、第1の態様において、「原稿画像」とは印刷、印字、あるいは記録されるべき元の情報を示す画像であり、「検体画像」とは原稿画像の情報が記録された媒体(すなわち、検体)を読み取って生成された画像である。また、「正解画像」とは、複数の原稿画像のうち、処理対象の検体画像(一の検体画像)に正しく対応する画像である。
【0015】
第2の態様に係る画像照合装置は第1の態様において、プロセッサは、照合処理において、一の検体画像の一部の特徴点についての第2特徴量データと、原稿画像の一部の特徴点についての第1特徴量データと、を特徴量マッチングにより照合する第1照合処理と、第1照合処理の結果に基づいて、一の検体画像に対する正解候補画像である原稿画像を複数の原稿画像から抽出する正解候補抽出処理と、一の検体画像についての、一部の特徴点よりも多い特徴点についての第2特徴量データと、正解候補画像を構成する原稿画像についての、一部の特徴点よりも多い特徴点についての第1特徴量データと、を特徴量マッチングにより照合する第2照合処理と、を実行し、正解画像特定処理において、第2照合処理の結果に基づいて正解画像を特定する。
【0016】
第2の態様は2段階の照合処理を行うことを規定するものである。第1照合処理では、原稿画像の一部の特徴点を考慮した特徴量マッチングにより、対象となるデータの量を減らして高速に照合を行って正解画像の候補(正解候補画像)を絞り込む。第2照合処理では、第1照合処理の対象とする「一部の特徴点」よりも多い特徴点を考慮することにより、正確に照合を行うことができる。また、第1照合処理で正解画像の候補を絞り込んでいるので、第2照合処理で多くの特徴点を考慮することによる照合速度の低下を防止することができる。なお、第2照合処理において、特徴量データ作成領域における全ての特徴点を用いてもよい。
【0017】
第3の態様に係る画像照合装置は第2の態様において、プロセッサは、第1照合処理において、特徴量データ作成領域において指定された領域である第1指定領域に存在する特徴点を第1指定領域以外の領域に存在する特徴点よりも多く選択し、かつ/または特徴量データ作成領域において指定された領域である第1指定領域に存在する特徴点を、第1指定領域から選択する特徴点の数の、第1指定領域に存在する全ての特徴点の数に対する比率が、第1指定領域以外の領域から選択する特徴点の数の、第1指定領域以外の領域に存在する全ての特徴点の数に対する比率よりも高くなるように選択し、第1指定領域について選択した特徴点及び第1指定領域以外の領域について選択した特徴点を一部の特徴点として特徴量マッチングを行う。第3の態様においては、照合に対する影響が大きい領域を第1指定領域として指定することにより、照合精度を高めることができる。
【0018】
第4の態様に係る画像照合装置は第3の態様において、プロセッサは、原稿ごとに異なる情報が記録される可能性が高い領域を第1指定領域として特徴点の選択を行う。第4の態様は、第1指定領域の一態様を具体的に規定するものである。
【0019】
第5の態様に係る画像照合装置は第1から第4の態様のいずれか1つにおいて、プロセッサは、第1特徴量データ作成処理及び第2特徴量データ作成処理において、検体画像が記録または出力される媒体の種類と、注文の種別と、のうち少なくとも一方に基づいて特徴量データ作成領域を設定する。第5の態様によれば、媒体の種類と注文の種別とのうち少なくとも一方に基づいて適切に特徴量データ作成領域を設定することができ、これにより迅速かつ正確な照合を行うことができる。
【0020】
第6の態様に係る画像照合装置は第1から第5の態様のいずれか1つにおいて、プロセッサは、第1特徴量データ作成処理において、特徴点の位置情報及び特徴点の性質情報を第1特徴量データとして作成し、第2特徴量データ作成処理において、特徴点の位置情報及び特徴点の性質情報を第2特徴量データとして作成し、照合処理において、位置情報に基づき一の検体画像の特徴点からの距離が閾値以下である原稿画像の特徴点を特徴量マッチングの対象とする。第6態様によれば、近く(一の検体画像の特徴点からの距離が閾値以下)の特徴点を特徴量マッチングの対象とすることで、データ量を減らし照合を高速に行うことができる。
【0021】
第7の態様に係る画像照合装置は第2から第4の態様のいずれか1つにおいて、プロセッサは、第2照合処理において、正解候補画像を構成する原稿画像に対して、第1特徴量データと第2特徴量データとの一致度合いを示す正解画像特定用スコアを算出し、正解候補画像を構成する原稿画像のうち、正解画像特定用スコアが最も高い第2原稿画像が正解画像として特定されなかった場合は、第2原稿画像が正解画像として特定されなかったことを示す情報と、一の検体画像と、第2原稿画像と、一の検体画像と第2原稿画像とが一致しているか否かを画像照合装置のユーザが確認するよう促す情報と、を出力する確認促進処理を実行する。第7の態様はスコアが最も高い原稿画像が正解画像として特定されない場合の処理を規定するもので、ユーザが確認促進処理に応じて検体画像や原稿画像を確認することにより、誤った照合の可能性を低減することができる。
【0022】
第8の態様に係る画像照合装置は第7の態様において、プロセッサは、宛名の情報を含む複数の画像を複数の原稿画像として取得し、照合処理に先立って、複数の原稿画像のうち、同一の宛名の情報を含む複数の原稿画像を同一宛名グループとするグループ化処理を実行し、正解画像特定処理において、第2原稿画像が同一宛名グループに属する原稿画像である場合は、同一宛名グループに属する複数の原稿画像のうち、一の検体画像と同一の注文単位に属する原稿画像を正解画像として特定する。宛名が同一であると宛名部分についてのスコアが同一になるため、この点を考慮した追加の処理が必要となる。このような状況では、第8の態様のように注文単位を考慮して正解画像を特定することが好ましい。
【0023】
第9の態様に係る画像照合装置は第8の態様において、プロセッサは、正解画像特定処理において、同一宛名グループに属する複数の原稿画像のうち、同一の注文単位における登場の順番が、同一の注文単位における一の検体画像の登場の順番と一致する原稿画像を正解画像として特定する。第9の態様は、第8の態様における正解画像の特定手法をさらに具体的に規定するものである。
【0024】
第10の態様に係る画像照合装置は第1から第7の態様のいずれか1つにおいて、プロセッサは、宛名の情報を含む複数の画像を複数の原稿画像として取得し、照合処理に先立って、複数の原稿画像のうち、同一の宛名の情報を含む複数の原稿画像を同一宛名グループとするグループ化処理と、宛名が白紙の原稿画像である宛名白紙画像の数量を登録する数量登録処理と、を実行する。第10の態様は、照合処理に先立つ事前処理の内容を規定するものである。なお第10の態様は、第8の態様と比較して、グループ化処理に加え数量登録処理を行う点が相違する。
【0025】
なお、「宛名白紙画像」とは郵便物や印刷物の宛名面においてユーザが記入する領域、あるいはユーザの注文に応じて印刷される領域が全て白紙あるいは空白の画像であり、注文者の意図によってこのような画像が生じうる。具体的には、「宛名白紙画像」とは、宛名面に受取人の住所氏名も差出人の住所氏名も含まれていない画像である。本発明において、宛名面について「白紙」と「空白」は同義である。
【0026】
第11の態様に係る画像照合装置は第10の態様において、プロセッサは、複数の検体画像に含まれる宛名白紙画像の数量をカウントし、カウントした数量を登録した数量と照合して、照合の結果を出力する白紙カウント処理を実行する。第11の態様のような白紙カウント処理の結果は、照合が正しく行われているかどうかの判断材料とすることができる。なお、白紙カウント処理においては、第10の態様で登録した宛名白紙画像の数量を用いることができる。
【0027】
第12の態様に係る画像照合装置は第1から第11の態様のいずれか1つにおいて、プロセッサは、正解画像として特定された原稿画像を、照合処理及び正解画像特定処理の対象から除外する。第12の態様によれば、処理が振興するにつれて照合の対象とする原稿画像の数が減っていくので、処理をさらに高速化することができる。
【0028】
第13の態様に係る画像照合装置は第1から第12の態様のいずれか1つにおいて、プロセッサは、個人情報を示す文字が含まれる画像を、複数の原稿画像を構成する原稿画像として取得し、原稿画像が媒体に記録された印刷物または出力物の画像を複数の検体画像を構成する検体画像として取得する。第13の態様は、原稿画像及び検体画像の具体的態様を規定するものである。
【0029】
第14の態様に係る画像照合装置は第1から第13の態様のいずれか1つにおいて、プロセッサは、一の検体画像を取得してから複数の検体画像に含まれる他の検体画像を取得するまでの間に、一の検体画像について、第2特徴量データ作成処理と、照合処理と、正解画像特定処理と、を実行する。第1の態様で上述したように、照合に先立って第1特徴量データを作成しておくことで、第14の態様のような処理(リアルタイム処理)が可能となる。
【0030】
上述した目的を達成するため、本発明の第15の態様に係る画像照合方法は、複数の原稿画像と、複数の原稿画像に対応して生成された複数の検体画像と、を照合する画像照合方法であって、複数の原稿画像を構成する原稿画像について、照合に先立って、あらかじめ決められた特徴量データ作成領域における特徴点のデータである第1特徴量データを作成する第1特徴量データ作成工程と、複数の検体画像を構成する一の検体画像を取得する検体画像取得工程と、一の検体画像について、特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する第2特徴量データ作成工程と、一の検体画像についての第2特徴量データと、複数の原稿画像についての第1特徴量データと、を原稿画像ごとに特徴量マッチングにより照合する照合工程と、照合工程の結果に基づいて、複数の原稿画像から一の検体画像に対応する正解画像を特定する正解画像特定工程と、第2特徴量データ作成工程と、照合工程と、正解画像特定工程と、を複数の検体画像を構成する全ての検体画像について繰り返す繰り返し工程と、をプロセッサにより実行する。
【0031】
第15の態様によれば、第1の態様と同様に、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる。なお、第15の態様に係る画像照合方法は、第2から第14の態様と同様の構成を含んでいてもよい。
【0032】
上述した目的を達成するため、本発明の第16の態様に係る画像照合プログラムは、プロセッサに、複数の原稿画像と、複数の原稿画像に対応して生成された複数の検体画像と、を照合する画像照合方法を実行させる画像照合プログラムであって、画像照合方法は、複数の原稿画像を構成する原稿画像について、照合に先立って、あらかじめ決められた特徴量データ作成領域における特徴点のデータである第1特徴量データを作成する第1特徴量データ作成工程と、複数の検体画像を構成する一の検体画像を取得する検体画像取得工程と、一の検体画像について、特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する第2特徴量データ作成工程と、一の検体画像についての第2特徴量データと、複数の原稿画像についての第1特徴量データと、を原稿画像ごとに特徴量マッチングにより照合する照合工程と、照合工程の結果に基づいて、複数の原稿画像から一の検体画像に対応する正解画像を特定する正解画像特定工程と、第2特徴量データ作成工程と、照合工程と、正解画像特定工程と、を複数の検体画像を構成する全ての検体画像について繰り返す繰り返し工程と、有する画像照合方法である。
【0033】
第16の態様によれば、第1,第15の態様と同様に、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる。なお、第16の態様に係る画像照合プログラムは、第2から第14の態様と同様の構成を含んでいてもよい。また、これら態様の画像照合プログラムのコンピュータ読み取り可能なコードを記録した非一時的(non-transitory)かつ有体(tangible)の記録媒体も、本発明の態様として挙げることができる。
【発明の効果】
【0034】
以上説明したように、本発明の画像照合装置、画像照合方法、及び画像照合プログラムによれば、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる。
【図面の簡単な説明】
【0035】
図1図1は、画像処理システムの概略構成を示す図である。
図2図2は、画像照合装置のハードウェア構成を示す図である。
図3図3は、画像照合装置の機能ブロック図である。
図4図4は、画像照合方法の概要を示すフローチャートである。
図5図5は、媒体の種類に応じて特徴量データ作成領域を設定する様子を示すである。
図6図6は、画像照合方法及び画像照合プログラムにおける処理の詳細を示すフローチャート(その1)である。
図7図7は、画像照合方法及び画像照合プログラムにおける処理の詳細を示すフローチャート(その2)である。
図8図8は、宛名領域の特徴点を多く選択する様子を示す図である。
図9図9は、名前領域でのスコアについて説明するための図である。
図10図10は、同一宛名についての処理を概念的に示す図である。
【発明を実施するための形態】
【0036】
本発明に係る画像照合装置、画像照合方法、及び画像照合プログラムの実施形態についての詳細な説明は以下の通りである。説明においては、必要に応じて添付図面が参照される。
【0037】
[第1の実施形態]
[画像処理システムの概略構成]
図1は、画像処理システム1の概略構成を示す図である。画像処理システム1では、画像プリントシステム10、画像照合システム20がネットワーク30を介して接続されており、ネットワーク30を介して、一または複数のユーザ端末40が接続される。
【0038】
画像プリントシステム10は、ユーザ端末40を介したユーザからの注文に応じて、はがきや封筒、宛名ラベル等の媒体に対し宛名情報、差出人情報、絵柄等の印刷を行うシステムであり、ホストコンピュータ100は、ユーザ端末40を介したユーザからの注文を受け付け、プリンタ110を制御して印刷を実行する。
【0039】
画像照合システム20(画像照合装置)は、媒体がユーザの注文通りに正しく印刷されているかどうかを、画像により照合するシステムであり、画像の照合を行う画像照合装置200(画像照合装置)と、媒体の画像を取得するスキャナ300と、と備える。なお、画像照合システム20は、図示せぬサーバコンピュータを備えていてもよい。
【0040】
ネットワーク30は、インターネット等の一般公衆が利用可能なネットワークでもよいし、画像処理システム1専用のネットワークでもよい。ユーザ端末40としては、スマートフォンやタブレット端末、ノートブック型あるいはデスクトップ型のパーソナルコンピュータ等を用いることができる。
【0041】
[画像照合装置の構成]
図2は、画像照合装置200(画像照合装置)のハードウェア構成を示す図である。画像照合装置200は、装置本体210に表示装置230と入力装置232が接続されて構成される。
【0042】
装置本体210は、制御部212(プロセッサ)と、ストレージ装置214と、ディスプレイコントローラ216と、入出力インタフェース218と、入力コントローラ220と、メモリ222と、ネットワークコントローラ224と、電源装置226と、を備える。制御部212、ストレージ装置214、ディスプレイコントローラ216、入出力インタフェース218、入力コントローラ220、メモリ222、及びネットワークコントローラ224は、バス228を介して接続され、互いに通信を行うことができる。
【0043】
[制御部]
制御部212は、画像照合装置200の全体制御部、各種演算部、及び記憶制御部として機能する。制御部212は、ROM222A(ROM:read only memory)に記憶されている各種のプログラムを実行する。ROM222Aに記憶されるプログラムには、本発明に係る画像照合プログラムが含まれる。プログラムは、コンピュータ読み取り可能なコードの形式で記憶されていてよい。ROM222Aは、「非一時的かつ有体の記録媒体」の一態様である。
【0044】
制御部212は、ネットワークコントローラ224を介して外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク30を介して画像照合装置200と通信可能に接続されていてもよい。
【0045】
制御部212は、RAM222B(RAM:random access memory)を演算領域とし、ROM222Aに記憶された各種プログラムと協働して、各種処理を実行する。これにより、画像照合装置200の各種機能が実現される。
【0046】
制御部212は、ストレージ装置214からのデータの読み出し、及びストレージ装置214へのデータの書き込みを制御する。制御部212は、ネットワークコントローラ224を介して、外部の記憶装置から各種データを取得してもよい。制御部212は、取得した各種データを用いて、演算等の各種処理を実行可能である。
【0047】
制御部212は、一つ、または二つ以上のプロセッサ(processor)が含まれてもよい。プロセッサの一例として、FPGA(Field Programmable Gate Array)、及びPLD(Programmable Logic Device)等が挙げられる。FPGA、及びPLDは、製造後に回路構成を変更し得るデバイスである。
【0048】
プロセッサの他の例として、ASIC(Application Specific Integrated Circuit)が挙げられる。ASICは、特定の処理を実行させるために専用に設計された回路構成を備える。
【0049】
制御部212は、同じ種類の二つ以上のプロセッサを適用可能である。例えば、制御部212は二つ以上のFPGAを用いてもよいし、二つのPLDを用いてもよい。制御部212は、異なる種類の二つ以上プロセッサを適用してもよい。例えば、制御部212は一つ以上のFPGAと一つ以上のASICとを適用してもよい。
【0050】
複数の制御部212を備える場合、複数の制御部212は一つのプロセッサを用いて構成してもよい。複数の制御部212を一つのプロセッサで構成する一例として、一つ以上のCPU(Central Processing Unit)とソフトウェアとの組合せを用いて一つのプロセッサを構成し、このプロセッサが複数の制御部212として機能する形態がある。なお、本明細書におけるソフトウェアはプログラムと同義である。
【0051】
複数の制御部212を一つのプロセッサで構成する他の例として、複数の制御部212を含むシステム全体の機能を一つのICチップで実現するプロセッサを使用する形態が挙げられる。このような、システム全体の機能を一つのICチップで実現するプロセッサの代表例として、SoC(System On Chip)が挙げられる。なお、ICは、Integrated Circuitの省略語である。
【0052】
このように、制御部212は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。
【0053】
[ROM及びRAM]
画像照合装置200は、ROM222A、及びRAM222Bを備える。ROM222Aは、画像照合装置200において実行される各種プログラムを記憶する。ROM222Aは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。RAM222Bは、データの一時記憶領域、及び制御部212の作業領域等として機能する。
【0054】
[ストレージ装置]
ストレージ装置214は、各種データを非一時的に記憶する装置であり、各種の磁気記録装置や光磁気記録装置により実現することができる。ストレージ装置214は、装置本体210の外部に外付けされてもよい。ストレージ装置214に代わり、またはこれと併用して、SSD(Solid State Drive)等の、大容量の半導体メモリ装置を適用してもよい。
【0055】
[ネットワークコントローラ]
ネットワークコントローラ224は、外部装置との間のデータ通信を制御する。データ通信の制御は、データ通信のトラフィックの管理が含まれてもよい。ネットワークコントローラ224を介して接続されるネットワークは、LAN(Local Area Network)などの公知のネットワークを適用し得る。
【0056】
[電源装置]
電源装置226は、UPS(Uninterruptible Power Supply)などの大容量型の電源装置が適用される。電源装置226は停電等に起因して商用電源が遮断された際に、画像照合装置200の各部へ電源を供給する。
【0057】
[ディスプレイコントローラ]
ディスプレイコントローラ216は、制御部212から送信される指令信号に基づいて表示装置230を制御するディスプレイドライバーとして機能する。
【0058】
[入出力インタフェース]
入出力インタフェース218は、画像照合装置200と外部機器とを通信可能に接続する。入出力インタフェース218は、USB(Universal Serial Bus)などの通信規格を適用し得る。
【0059】
[入力コントローラ]
入力コントローラ220は、入力装置232を用いて入力された信号の形式を画像照合装置200の処理に適した形式に変換する。入力コントローラ220を介して入力装置232から入力された情報は、制御部212を介して各部へ送信される。
【0060】
[表示装置及び入力装置]
表示装置230は液晶モニタ等の表示装置により構成され、制御部212やディスプレイコントローラ216の制御に応じて、後述する原稿画像や検体画像、ユーザへのメッセージ等が表示される。また入力装置232は図示せぬキーボードやマウス等のデバイスにより構成され、画像照合装置200のユーザは、これらのデバイスを介して処理条件の設定や処理開始/終了の指示、結果の確認等の操作を行うことができる。
【0061】
なお、図2に示す画像照合装置200のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
【0062】
[画像照合装置の機能ブロック図]
図3は、図2に示す画像照合装置200の機能ブロック図である。画像照合装置200は、原稿画像(原稿画像の画像データ)を取得する原稿画像取得部212A、原稿画像から第1特徴量データを作成する第1特徴量データ作成部212B、検体画像(検体画像の画像データ)を取得する検体画像取得部212C、検体画像から第2特徴量データを作成する第2特徴量データ作成部212D、第1,第2特徴量データを特徴量マッチングにより照合する特徴量データ照合部212E、及び照合処理の結果に基づいて検体画像に対応する正解画像を特定する正解画像特定部212F、ディスプレイコントローラ216を介して照合結果等を表示装置230に表示させる表示制御部212G、及びこれら機能による処理の繰り返しを制御する繰り返し制御部212Hとしての機能を有する。
【0063】
これらの機能は、制御部212(プロセッサ)の機能として実現することができる。具体的には、これらの機能は、上述した一以上のプロセッサや電気回路が、ROM222Aに記憶されたプログラム(本発明に係る画像処理方法を実行させる画像照合プログラムを含む)を実行することにより実現できる。それらプログラムの実行においては、ストレージ装置214との間での、及び/または入出力インタフェース218を介した外部機器との間でのデータの読み書き、画像照合装置200とホストコンピュータ100との間の通信による原稿画像の取得や、画像照合装置200によるスキャナ300の制御に応じた検体画像の取得、照合結果のストレージ装置214への記録等が行われる。
【0064】
すなわち、本発明に係る画像照合装置200及び画像照合システム20においては、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される。
【0065】
なお、上記機能に基づく処理の詳細は、後述する。
【0066】
[画像照合方法の概要]
上述した構成の画像照合装置200、画像照合システム20、及び画像処理システム1における処理について説明する。図4は、本発明に係る画像照合方法(画像照合プログラム)の概要を示すフローチャートである。このフローチャートは処理の一例を示すものであり、処理の順序は必要に応じて変更してもよい。
【0067】
以下、画像照合システム20によりはがき(葉書)の宛名面の照合を行う場合について説明するが、後述するように、画像プリントシステム10、画像照合システム20、及び画像処理システム1の利用ははがきの宛名面の照合に限定されるものではない。なお、はがきその他の媒体の絵柄面(宛名面の反対側:文章、イラスト、写真等が記録される面)の照合は、上述した特許文献1に記載された手法により行うことができる。
【0068】
[原稿画像及び注文データの取得]
原稿画像取得部212A(プロセッサ)は、ホストコンピュータ100から(ネットワークコントローラ224を介して)、複数の原稿画像(宛名面の情報を含む複数の画像)を取得する(ステップS100:原稿画像取得処理、原稿画像取得工程)。原稿画像は、受取人の住所氏名及び差出人の住所氏名(個人情報を示す文字)を含む画像であるが、注文により白紙の場合もあり得る。なお、住所及び氏名は、会社その他の組織の所在地及び名称であってもよい。
【0069】
原稿画像のファイル形式は、例えばPDF(PDF:Portable Document Format)を採用できるが、これに限定されるものではない。また、原稿画像取得部212Aは、ラスタ化された画像を取得することが好ましい。このようなラスタ画像の例として、bmp、png、jpg(jpeg)等の形式で作成された画像を挙げることができる。
【0070】
なお、このような宛名面の画像化は、ユーザ端末40で、あるいはサービス提供者のウェブサイトを通じてホストコンピュータ100で行うことができる。
【0071】
なお、原稿画像取得部212Aは、画像化された原稿画像データを取得するのではなく、宛名面のテキストデータ(例えば、タブ区切り、空白区切り、カンマ区切り等の形式で記録されたデータ)を取得し、このデータを画像化してもよい。
【0072】
原稿画像取得部212A(プロセッサ)は、原稿画像の注文データを取得する(ステップS110:注文データ取得処理、注文データ取得工程)。注文データは、ユーザの指示に応じてユーザ端末40で生成することができ、印刷の数量及び種別(ユーザが印刷の仕上がりを確認するための「お試し印刷」、実際に宛先に発送するための「本番印刷」等)を含んでいてよい。原稿画像取得部212Aは、複数の注文を注文業者や注文日時ごとに管理されるロットにまとめ、印刷や照合の単位として取り扱ってもよい。なお、照合の事前処理をこのロット単位で行ってもよい。
【0073】
[特徴量データ作成領域の設定]
第1特徴量データ作成部212B(プロセッサ)は、検体画像が記録または出力される媒体の種類と、注文の種別と、のうち少なくとも一方に基づいて、原稿画像に特徴量データ作成領域を設定する(ステップS120:領域設定工程)。
【0074】
図5は、媒体の種類に応じて特徴量データ作成領域を設定する様子を示す図である。同図の(a)部分~(c)部分では、矢印の左側はそれぞれ私製はがき用、年賀状等のプレミアムはがき用、お試し注文用はがきについての特徴量データ作成領域(空白部分)を示し、矢印の右側は、各はがきにおける特徴量データ作成領域を示している。はがきには、種類に応じて切手部分や種別部分(「年賀」と記載されている部分等)、くじ部分等の共通領域が存在するが、これらの共通領域を照合に考慮すると、原稿と検体とで共通領域が一致するためマッチング度合いが上がってしまい、正確な照合ができなくなるおそれがある。郵便番号部分についても、番号記載用の枠に起因して同様の問題が生じる可能性がある。
【0075】
また、「お試し注文」と「本番注文」のように、注文の種別によっても宛名の印刷範囲や差出人の印刷の有無、共通に印刷される情報等が異なるため、注文の種別に応じた特徴量データ作成領域を設定することが好ましい。例えば、図5の(c)部分は「お試し注文」用の領域設定の例を示しているが、差出人はサービス提供をする会社名であり、またはがき下部には広告が掲載されている。このため、このような注文の種別の場合は、受取人(「お試し」をするユーザ)の住所及び氏名部分に特徴量データ作成領域を設定している。
【0076】
このように、第1の実施形態においては媒体の種類と、注文の種別と、のうち少なくとも一方に基づいて原稿画像に特徴量データ作成領域を設定しており、これにより照合精度を向上させることができる。媒体の種類と注文の種別の両方に基づいて特徴量データ作成領域を設定してもよい。
【0077】
[原稿画像についての特徴量データの作成]
第1特徴量データ作成部212B(プロセッサ)は、全ての原稿画像(「複数の原稿画像」を構成する原稿画像)に対し、照合に先立って、ステップS120で設定した特徴量データ作成領域(あらかじめ決められた特徴量データ作成領域)における特徴点のデータである特徴量データ(第1特徴量データ)を作成する(ステップS130:第1特徴量データ作成処理、第1特徴量データ作成工程)。特徴点の数は特に限定されないが、例えば1つの原稿画像につき1000~2000点程度とすることができる。この第1特徴量データを照合に先立って(事前処理で)作成しておくことにより、後述する照合を迅速に行うことができる。
【0078】
第1特徴量データ作成部212Bは、AKAZE(Accelerated-KAZE)やORB(Oriented FAST and Rotated BRIEF)等のアルゴリズムを用いて第1特徴量データを作成することができる。なお、これらのアルゴリズムを用いる場合、第1特徴量データ作成部212B及び第2特徴量データ作成部212Dは、処理時間の制約や照合精度の要求に応じて原稿サイズやレイヤー数等の条件を設定することができる(ただし、第1特徴量データ作成部212B及び第2特徴量データ作成部212Dは、これらの条件を同じにして処理を行う必要がある)。第1特徴量データ作成部212Bは、これらの条件を、画像照合装置200のユーザによる(入力装置232を介した)指示入力に基づいて設定してもよい。
【0079】
なお、特徴量データの内容は、特徴点の位置情報及び特徴点の性質情報である。「位置情報」とは画像における特徴点の位置座標であり、「性質情報」とは、各ビットが1または0である、所定のビット数(次元数;例えば128ビット~512ビット)の特徴量ベクトルである。第1特徴量データ作成部212B及び第2特徴量データ作成部212Dは、それぞれ原稿画像及び検体画像について、このような特徴量データを作成する。
【0080】
なお、第1特徴量データ作成部212B及び第2特徴量データ作成部212Dは、原稿画像をグレースケール画像に変換して特徴量データを作成することができる。原稿画像がカラー画像の場合、第1特徴量データ作成部212B及び第2特徴量データ作成部212Dは、色情報ごとに特徴量データを作成することができる。
【0081】
[グループ化処理及び宛名白紙画像の数量登録処理]
第1特徴量データ作成部212B(プロセッサ)は、原稿画像の特徴量データ(第1特徴量データ)に基づいて、同一の宛名の情報を含む複数の原稿画像を同一宛名グループとする(ステップS140:グループ化処理、グループ化工程)。また、第1特徴量データ作成部212Bは、原稿画像の特徴量データに基づいて、宛名面が白紙の原稿画像である宛名白紙画像の数量を登録する(ステップS150:数量登録処理、数量登録工程)。第1特徴量データ作成部212Bは、ステップS130での特徴量データに基づき、宛名面の内容が同じで特徴量が同一となる複数の原稿画像を「同一宛名グループ」としてグループ化することができ、また宛名面が白紙で特徴量が検出できない画像を「宛名白紙画像」として登録することができる。なお、ここで「宛名面が白紙」とは、宛名面に受取人の住所氏名も差出人の住所氏名も印刷あるいは記録されていないことを意味する。切手部分や「年賀」等の表示部分、あるいはくじ部分等の、元々はがき(媒体)に印刷あるいは記録されている部分は、宛名面が白紙かどうかの判断に考慮しない。
【0082】
検体画像は実際の印刷物をスキャンして取得するため、同じ宛名データでも印刷ずれやスキャン時の媒体の回転等に起因して特徴量が異なる場合があるが、原稿画像は宛名データから電子的に作成されるため、同一の宛名データであれば特徴量データは同じになる。第1の実施形態では、照合に先立って(事前処理により)、複数の原稿画像を含む同一宛名グループに登録し一つの特徴量データを対応させることにより、それら複数の原稿画像と検体画像の特徴量との照合を1回で済ませることができ(同じ原稿画像との照合を何度も行わずに済み)、処理時間を短縮することができる。
【0083】
また、「宛名白紙画像」はユーザが受取人や差出人の住所氏名を自分で記入する場合(絵柄面の印刷のみを注文している場合)等に発生し、特徴量データが存在しないので、照合が行えない。そこで事前処理で宛名白紙画像の数量を登録しておき、別処理(後述)を行うことが好ましい。
【0084】
[検体画像の取得及び特徴量データの作成]
検体画像取得部212C(プロセッサ)は、検体画像(複数の検体画像を構成する一の検体画像)を取得する(ステップS160:検体画像取得処理、検体画像取得工程)。「検体画像」とは、原稿画像がはがきや封筒等の媒体に記録された印刷物または出力物(検体)の画像であり、個人情報を示す文字が含まれる画像であってもよい。検体画像取得部212Cは、印刷物または出力物をスキャナ300で読み取ることにより、検体画像を取得することができる。
【0085】
第2特徴量データ作成部212D(プロセッサ)は、検体画像について、上述した特徴量データ作成領域における特徴点のデータである第2特徴量データを作成する(ステップS170:第2特徴量データ作成処理、第2特徴量データ作成工程)。検体画像について第2特徴量データを作成する領域(特徴量データ作成領域)は、原稿画像について第1特徴量データを作成する領域と同じであり、検体画像が記録または出力される媒体の種類と、注文の種別と、のうち少なくとも一方に基づいて設定される。また、第2特徴量データの内容は、原稿画像の場合について上述した第1特徴量データと同じである。
【0086】
[特徴量データの照合]
特徴量データ照合部212E(プロセッサ)は、検体画像(一の検体画像)についての特徴量データ(第2特徴量データ)と、複数の原稿画像についての特徴量データ(第1特徴量データ)と、を原稿画像ごとに特徴量マッチングにより照合する(ステップS180:照合処理、照合工程)。なお、詳細を後述するように、特徴量データ照合部212E及び正解画像特定部212Fは、正解画像として特定された原稿画像を照合対象から除外し、これにより処理時間を短縮してもよい。
【0087】
なお、本願発明者らの検討によれば、特徴量データ作成部212Dが用いる条件(上述した原稿サイズやレイヤー数等)及び特徴量データ照合部212Eが用いる条件(第1照合及び第2照合で用いる特徴点の数、特徴点どうしの距離の閾値等)を適切に設定することにより、特徴量の抽出及び特徴量データのマッチングを合計数十msec程度で実現でき、一の検体画像を取得してから他の検体画像を取得するまでの間に、第2特徴量データ作成処理と、照合処理と、正解画像特定処理と、を実行できることが明らかになっている。
【0088】
[正解画像の特定]
正解画像特定部212F(プロセッサ)は、照合処理(照合工程)の結果に基づいて、複数の原稿画像から、一の検体画像に対応する正解画像を特定する(ステップS190:正解画像特定処理、正解画像特定工程)。正解画像が特定されることにより、検体が原稿に対応して正しく印刷されたことを確認することができる。なお、表示制御部212G(プロセッサ)は、正解画像が特定されたことを示すメッセージや、原稿画像、検体画像を表示装置230に表示させてもよい。また、正解画像特定部212F及び表示制御部212Gは、検体画像を全ての原稿画像と照合しても正解画像が特定できなかった場合に、その旨を示すメッセージや、ユーザが照合結果を確認するよう促すメッセージを表示装置230に表示させてもよい(後述する確認促進処理、確認促進工程)。
【0089】
[処理の繰り返し]
繰り返し制御部212H(プロセッサ)は、制御部212の各部を制御して、全ての検体について(ステップS200でYESになるまで)ステップS160からステップS190の処理を繰り返す(ステップS200:繰り返し処理、繰り返し工程)。すなわち、制御部212(プロセッサ)は、一の検体画像を取得してから複数の検体画像に含まれる他の検体画像を取得するまでの間に、一の検体画像について、第2特徴量データ作成処理(第2特徴量データ作成工程)と、照合処理(照合工程)と、正解画像特定処理(正解画像特定工程)と、を実行する。上述のように、事前処理で(照合に先立って)原稿画像の特徴量データ(第1特徴量データ)を作成しておくことにより、このような処理が可能となる。
【0090】
以上説明したように、第1の実施形態に係る画像照合装置、画像照合方法、及び画像照合プログラムによれば、事前処理として(照合に先立って)原稿画像について特徴量データを作成することや、決められた特徴量データ作成領域について特徴量マッチングを行うこと等により、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる。
【0091】
[画像照合方法及び画像照合プログラムの詳細]
図6,7は、本発明に係る画像照合方法及び画像照合プログラムにおける処理の詳細を示すフローチャートである。以下では、図6,7のフローチャート等を参照しつつ、照合を2段階に分けて行うこと、特徴量マッチングのスコアに基づいて正解画像を特定すること、同一宛名の場合や宛名白紙画像に対応した処理を行うこと等について説明する。
【0092】
[宛名白紙画像への対応]
特徴量データ照合部212E(プロセッサ)は、検体画像が宛名白紙画像であるか否かを判断する(ステップS300:白紙カウント処理、白紙カウント工程)。特徴量データ照合部212Eは、第2特徴量データ作成部212Dの処理の結果、検体画像から特徴点が全く検出できない、あるいはほとんど検出できない場合に「検体画像が宛名白紙画像である」と判断することができる。スキャン時のノイズ等に起因してごく少数の(所定の閾値以下の)特徴点が検出された場合も、「宛名白紙画像」と判断してよい。「検体画像は宛名白紙画像ではない」と判断された場合(ステップS300でNO)は、後述する照合を行う。
【0093】
「検体画像は宛名白紙画像である」と判断された場合(ステップS300でYES)は、ステップS302に進む。特徴量データ照合部212E(プロセッサ)は、宛名白紙画像の数量をカウントし(カウントを1増加させ)、カウントした数量をステップS150で登録した数量と照合して、照合の結果を出力する(ステップS302:白紙カウント処理、白紙カウント工程)。特徴量データ照合部212Eは、例えば登録した数量と現在のカウント、及び/または「現在のカウントが登録した数量を超えているか否か」を、表示制御部212G及びディスプレイコントローラ216を介して表示装置230に表示させることができる。また、特徴量データ照合部212Eは、宛名白紙画像をカウントした場合、検品中の注文における宛名白紙画像一つを照合対象の原稿画像から除外することができる(白紙カウント処理、白紙カウント工程)。画像照合装置200は、このような白紙カウント処理の後、次の検体についての照合を行う(繰り返し制御部212Hの制御により、ステップS160に戻る)。
【0094】
また、特徴量データ照合部212Eは、カウントした数量が登録した数量を超えた場合、異常あるいはエラーと判定してその注文あるいはロットに対する検品(照合)を中止することができる(ステップS302:白紙カウント処理、白紙カウント工程)。
【0095】
[2段階の照合]
検体画像と原稿画像の照合において、原稿画像がN個存在する場合、特徴量データ照合部212Eは、1つの検体画像の特徴量データをN個の原稿画像の特徴量データと照合し、これをN個の検体画像について繰り返す、すなわち、照合は1段階とすることも考えられる。しかしながら、例えばNの数が大きい場合には、このような1段階の照合では現実的な時間で処理を行う(一の検体画像を取得してから他の検体画像を取得するまでの間に、第2特徴量データ作成処理と、照合処理と、正解画像特定処理と、を実行する)のは困難な場合が多い。このため、以下のように照合を2段階に分け、それぞれの結果に基づいて正解候補画像の抽出と正解画像の特定を行うことにより、処理を高速化することが好ましい。
【0096】
[第1照合(一部の特徴点を用いた照合)]
検体画像が宛名白紙画像ではない場合(ステップS300でNO)、特徴量データ照合部212E(プロセッサ)は、検体画像(一の検体画像)の一部の特徴点についての特徴量データ(第2特徴量データ)と、原稿画像の一部の特徴点についての特徴量データ(第1特徴量データ)と、を特徴量マッチングにより照合し(ステップS304:第1照合処理、第1照合工程)する。以下、第1照合について詳細に説明する。
【0097】
上述した「一部の特徴点」は、特徴量データ作成領域に存在する特徴点のうちの一部の特徴点である。この「一部の特徴点」に関し、特徴量データ照合部212Eは、特徴量データ作成領域の全範囲にわたって均等に特徴点を選択してもよいが、照合精度の観点からは、以下の方法により特徴点を選択することが好ましい。
【0098】
[特徴点選択方法]
特徴量データ照合部212Eは、特徴量データ作成領域において指定された領域である第1指定領域に存在する特徴点を、第1指定領域から選択する特徴点の数の、第1指定領域に存在する全ての特徴点の数に対する比率が、第1指定領域以外の領域から選択する特徴点の数の、第1指定領域以外の領域に存在する全ての特徴点の数に対する比率よりも高くなるように選択する。特徴量データ照合部212Eは、第1指定領域について選択した特徴点及び第1指定領域以外の領域について選択した特徴点を「一部の特徴点」として特徴量マッチングを行う。
【0099】
図8は、「一部の特徴点」の選択を説明するための図(宛名領域の特徴点を多く選択する様子を示す図)である。同図では、はがきが私製はがきである場合(図5の(a)部分に示す例)について説明している。特徴量データ作成領域500(特徴量データ作成領域)は、差出人の情報(住所、所属、氏名、会社名等)が記載される差出人領域510(第1指定領域)と、受取人について同様の情報が記載される受取人領域520(第1指定領域以外の領域)とを含む。
【0100】
図8に示す例において、差出人領域510は差出人の住所及び氏名等が記録される領域であるから、一つの注文単位においては、個々の原稿画像あるいは検体画像によらず同じである(相違はない)可能性が高い。一方、受取人領域520は受取人の住所及び氏名等が記録される領域であるから、原稿画像ごとに、したがって検体画像ごとに異なる情報が記録される可能性が高い。そこで、受取人領域520のような領域から多くの(少なくとも、相対的に多くの)特徴点を選択することで、照合精度(特徴量マッチングの精度)を高めることができる。具体的には、特徴量データ照合部212Eは、受取人領域520を「第1指定領域」として指定し、以下の(式1)が成り立つように特徴点を選択する。
【0101】
[数1]
{(受取人領域520から選択する特徴点の数)/(受取人領域520に存在する全ての特徴点の数)}>{(差出人領域510から選択する特徴点の数)/(差出人領域510に存在する全ての特徴点の数)} ・・・(1)
特徴量データ照合部212Eは、このようにして選択した特徴点を「一部の特徴点」として、特徴量マッチングを行う。
【0102】
上述の特徴点算出方法の具体例を説明する。ここでは、上述の受取人領域520(第1指定領域)に存在する特徴点が500個、差出人領域510(第1指定領域以外の領域)に存在する特徴点が1000個であるとする。この場合、特徴量データ照合部212Eは、例えば以下の(a)~(c)のいずれかにより特徴点を選択することができる。(a)~(c)のいずれにおいても、「受取人領域520から選択する特徴点の数の、受取人領域520に存在する全ての特徴点の数に対する比率」は、「差出人領域510から選択する特徴点の数の、差出人領域510に存在する全ての特徴点の数に対する比率」よりも高い。
【0103】
(a)受取人領域520において301個の特徴点を選択し、差出人領域510において299個の特徴点を選択する。
(b)受取人領域520において300個の特徴点を選択し、差出人領域510において300個の特徴点を選択する。
(c)受取人領域520において299個の特徴点を選択し、差出人領域510において301個の特徴点を選択する。
【0104】
なお、上述の数値は特徴点選択の一例に過ぎず、本願発明における特徴点選択の具体的な数値はこれらの値に限定されるものではない。
【0105】
なお、特徴量データ照合部212Eは、原稿画像、検体画像について同じ領域を「第1指定領域」として指定する。また、特徴量データ照合部212Eは、特徴量データ作成領域の設定と同様に、検体画像が記録または出力される媒体の種類と、注文の種別と、のうち少なくとも一方に基づいて第1指定領域を指定してもよい。
【0106】
[スコアの算出と正解候補画像の抽出]
特徴量データ照合部212E(プロセッサ)は、上述した「一部の特徴点」についての特徴量マッチングを行う(ステップS304)。この際、特徴量データ照合部212Eは、上述した位置情報に基づき、検体画像の特徴点からの距離が閾値以下である原稿画像の特徴点を特徴量マッチングの対象とすることが好ましい。
【0107】
正解画像特定部212F(プロセッサ)は、この照合の結果に基づいて、取得した複数の原稿画像から、検体画像に対する正解候補画像である原稿画像を抽出する(ステップS306:正解候補抽出処理、正解候補抽出工程)。
【0108】
特徴量データ照合部212Eは、特徴量マッチングにおいて、第1特徴量データと第2特徴量データとの一致度合いを示す正解候補画像抽出用スコアを算出する。具体的には、特徴量データ照合部212Eは、上述した所定ビット数の特徴量が何ビット一致するかで、正解候補画像抽出用スコアを算出する。正解候補画像抽出用スコアは、一つの検体画像について、複数の原稿画像のそれぞれに対して算出される。なお、特徴量データ照合部212Eは、正解候補画像抽出用スコアを算出する際に、後述する正解画像特定用スコアを合わせて算出することができる。
【0109】
特徴量データ照合部212Eは、正解候補抽出用スコア(第1照合処理の結果;以下「第1スコア」という場合がある)に基づいて、検体画像に対する正解候補画像である原稿画像を、取得した複数の原稿画像から抽出する(ステップS306:正解候補抽出処理、正解候補抽出工程)。特徴量データ照合部212Eは、正解候補画像抽出用スコアが最も高い画像(以下、「第1ベスト画像」という場合がある)からスコア順に決められた数の原稿画像を抽出してもよいし、正解候補画像抽出用スコアが閾値以上の原稿画像を抽出してもよい。特徴量データ照合部212Eは、取得した「複数の原稿画像」のうち一部の原稿画像を「正解候補画像」として抽出する。特徴量データ照合部212Eは、第1ベスト画像の正解候補抽出用スコアが決められた閾値未満である場合は、正解候補画像を抽出せず処理を中止し、ユーザが結果を確認するよう促すメッセージを表示装置230に表示させてもよい。
【0110】
なお、特徴量データ照合部212Eは、どのような基準で正解候補画像を抽出するかを、入力装置232を介したユーザの入力に基づいて決定してもよい。
【0111】
[第2照合(第1照合より多くの特徴点についての照合)]
特徴量データ照合部212Eは、抽出された正解候補画像について、第1照合における「一部の特徴点」よりも多い特徴点について、第1特徴量データと第2特徴量データとを特徴量マッチングにより照合する(ステップS308:第2照合処理、第2照合工程)。第2照合においては、第1照合よりも多くの特徴点を用いればよく、必ずしも全ての特徴点を用いる必要はないが、全ての特徴点を用いてもよい。特徴量データ照合部212Eは、照合精度への要求や照合時間の制約等を考慮して、第2照合における特徴点の数をいくつにするかを決定することができる。
【0112】
第2照合においては、第1照合よりも多い特徴点を用いて正確な照合を行うことができる。また、第1照合により正解候補画像が抽出されているので、第1照合よりも多い特徴点を用いることに起因する処理速度の低下を抑えることができる。なお、特徴量データ照合部212Eは、第2照合においても、第1照合の場合と同様に検体画像の特徴点からの距離が閾値以下である原稿画像の特徴点を特徴量マッチングの対象とすることが好ましい。
【0113】
特徴量データ照合部212Eは、上述した第2照合(第2照合処理、第2照合工程)において、正解候補画像を構成する原稿画像に対して、第1特徴量データと第2特徴量データとの一致度合いを示す正解画像特定用スコア(以下、「第2スコア」という場合がある)を算出し(ステップS308:第2照合処理、第2照合工程)、正解画像特定用スコアが最も高い画像を特定する(ステップS308:第2照合処理、第2照合工程)。以下、正解画像特定用スコアが最も高い画像を「第2ベスト画像」または「第2原稿画像」という場合がある。
【0114】
正解画像特定部212F(プロセッサ)は、「第2ベスト画像」が、上述した「同一宛名グループ」の画像であるか否かを判断する(ステップS310:正解画像特定処理、正解画像特定工程)。判断が肯定された場合は処理がステップS312に進み、判断が否定された場合は処理がステップS318に進む。ステップS312の処理については、後述する(「同一宛名グループの画像に関する処理」の項を参照)。
【0115】
正解画像特定部212Fは、第2ベスト画像が同一宛名グループの画像ではない場合(ステップS310でNO)、第2ベスト画像が検品中の注文に含まれる画像であるか否かを判断する(ステップS318:正解画像特定処理、正解画像特定工程)。「第2ベスト画像が、検品中の注文に含まれる画像ではない」(ステップS318でNOになる)とは、例えば、同一ロットの複数の注文の間で検体を取り違えてしまった場合に生じうる。正解画像特定部212Fは、このように第2ベスト画像が検品中の注文に含まれる画像ではない場合は、ステップS314に進んで、その第2ベスト画像を不正解であると判定する。第2ベスト画像が検品中の注文に含まれる画像である場合は、処理はS320(第2スコアに基づく正解画像の特定)に進む。
【0116】
[第2スコアに基づく正解画像の特定]
正解画像特定部212F(プロセッサ)は、照合処理(第2照合)の結果に基づいて、以下に説明するように、複数の原稿画像から、一の検体画像に対応する正解画像を特定する(正解画像特定処理、正解画像特定工程)。
【0117】
正解画像特定部212Fは、第2ベスト画像のスコア(第2スコア)と閾値との関係を判断する(ステップS320)。第2スコアが下限値未満である場合はステップS314に進み、第2スコアが下限値以上で上限値未満である場合はステップS326に進み、第2スコアが上限値以上である場合はステップS322に進む。正解画像特定部212Fは、あらかじめ決められた値を第2スコアの下限値、上限値として用いてもよいし、ユーザの操作に応じた値を用いてもよい。
【0118】
[第2スコアが上限値以上である場合]
第2スコアが上限値(H)以上である場合、即ち第2ベスト画像が正解画像である確からしさが十分である場合、正解画像特定部212Fは、その第2ベスト画像(正解画像特定用スコアである第2スコアが最も高い画像)を正解画像として特定する(ステップS322:正解画像特定工程、正解画像特定処理)。正解画像特定部212Fは、正解画像として特定された原稿画像を、次回以降の照合処理及び正解画像特定処理の対象から除外することが好ましい(ステップS324:正解画像特定工程、正解画像特定処理)。このような除外により、処理が振興するにつれて照合の対象とする原稿画像の数が減っていくので、処理をさらに高速化することができる。
【0119】
正解画像が特定されたら、繰り返し制御部212Hは、ステップS160に戻って次の検体画像についての処理を開始する。繰り返し制御部212Hの制御により、第2特徴量データ作成処理(第2特徴量データ作成工程)と、照合処理(照合工程)と、正解画像特定処理(正解画像特定工程)と、を、上述した「複数の検体画像」を構成する全ての検体画像について繰り返す(繰り返し処理、繰り返し工程)。
【0120】
[第2スコアが下限値以上で上限値未満である場合]
第2スコアが下限値以上で上限値未満である場合、即ち第2ベスト画像が正解画像である確からしさが十分ではない場合、正解画像特定部212Fは、名前領域でのスコアが閾値以上であるか否かを判断する(ステップS326:正解画像特定処理、正解画像特定工程)。図9は名前領域でのスコアについて説明するための図である。図9に示すように、受取人領域522に受取人の住所及び氏名が記載されており、このうち受取人の名前(氏名のうちの「名」)である「太郎」の部分を名前領域524としている。そして、正解画像特定部212Fは、この名前領域524についてのスコア(第3スコア;第2スコア算出の際に併せて算出できる)に基づいて、正解画像を特定する。これは、複数の原稿画像で受取人の住所が同一または類似である場合や、受取人の姓(氏名のうちの「氏」)が同じである場合でも、受取人の「名前」は違っている可能性が高い(同一宛名の場合を除く)からである。
【0121】
例えば、同一の住所に「富士 太郎」さんと「富士 花子」さんが同居している場合、この二人に関しては住所も姓も同一であるが、「名前」は異なる。したがって、名前領域のように原稿ごとに異なる情報が記録される可能性が高い領域を参照することが、正解画像であるかどうかの判定に有効である。
【0122】
なお、実際に「名前」が印刷、記録される領域の位置や大きさは、宛名面のレイアウトや住所、氏名等の長さによって異なる。したがって、名前領域の位置や大きさが固定されていると、名前領域に「名前」以外の情報が含まれていたり、「名前」の一部が含まれなかったりする可能性がある。しかしながら、「名前」は宛名領域の中央もしくは中央より左側で、かつ半分より下側に記録される可能性が高いと考えられるから(縦書きの場合)、このような事情を考慮して名前領域の位置及び/または大きさを固定してもよい。
【0123】
上述した名前領域についてのスコアがしきい値以上である場合(ステップS326でYES)、正解画像特定部212Fは、同一の注文単位における第2ベスト画像の登場の順番が、当該同一の注文単位における検体画像(一の検体画像)の登場の順番と一致するか否かを判断し(ステップS328:正解画像特定処理、正解画像特定工程)、登場の順番が一致する場合はステップS322へ進んで第2ベストを正解画像として特定する。登場の順番が一致しない場合、正解画像特定部212Fは、以下に説明するステップS314へ進んで第2ベスト画像は正解画像ではないと判断し、ステップS316の確認促進処理を行う。
【0124】
なお、本発明において、注文単位における登場の順番の判断(ステップS328)を行わなくても十分な照合精度が確保できる場合は、この判断を省略してもよい。この判断を省略する場合はステップS326の判断がYESであればステップS322に進む。正解画像特定部212FがステップS326の判断を行うか否かを、制御部212(プロセッサ)の判断または入力装置232を介したユーザの操作に応じて選択できるようにしてもよい。
【0125】
[第2スコアが下限値未満である場合]
[不正解の判定及び確認促進処理]
上述したステップS320で第2スコアが下限値未満である場合、即ち第2ベスト画像が正解画像である確からしさが低い場合、正解画像特定部212Fは、「第2ベスト画像は不正解である(正解画像が特定できない)」と判定する(ステップS314:正解画像特定処理、正解画像特定工程)。この場合、表示制御部212Gは、第2ベスト画像(第2原稿画像)が正解画像として特定されなかったことを示す情報と、検品中の検体画像(一の検体画像)と、第2ベスト画像(第2原稿画像)と、検体画像と第2ベスト画像とが一致しているか否かを画像照合装置200のユーザが確認するよう促す情報と、をディスプレイコントローラ216を介して表示装置230に出力させることが好ましい(ステップS316:確認促進処理、確認促進工程)。
【0126】
[同一宛名グループの画像に関する処理]
上述したステップS310の判断が肯定された場合、正解画像特定部212Fは、同一宛名グループ内に検品中注文の画像があるか否かを判断する(ステップS312:正解画像特定処理、正解画像特定工程)。
【0127】
図10は同一宛名についての処理を概念的に示す図である。同図の例では、ロットXに複数の注文(注文F、注文G)が含まれている。「A1,F1,F2,G2,G3」は原稿画像の宛名が異なることを示す。図10の例では、注文Fに含まれる原稿画像610,620と、注文Gに含まれる原稿画像630とが、同一宛名グループ600としてグループ化されている。これら原稿画像610,620,630は、宛名が同一(F1)であり特徴量データも同一である。
【0128】
一方、検体画像700は、注文Fに対応する複数の検体画像に含まれる検体画像である。検体画像700における宛名はF1であるものとする。画像照合装置200(プロセッサ)は、この検体画像700をロットXに含まれる原稿画像と照合する。
【0129】
図10の例では、原稿画像610,620,630は特徴量データが同一なので、検体画像700とのマッチング結果(第2スコア)は同じである。ここではスコアが84.1であるものとする。なお、上述のように、同一宛名グループ600に属する原稿画像に対しては、照合は一回行えばよい。
【0130】
このような状況で、検体画像700について照合を行う場合(検体画像700が検品中の画像である場合)、同一宛名グループ600内に宛名がF1の画像が存在するので、ステップS312の判断が肯定され、処理がステップS320に進む。ステップS312の判断が否定されたら、処理はステップS314(不正解の判定)に進む。ステップS314,S316の処理は、ステップS326,S328について説明したのと同じである。
【0131】
図10の例では、注文F(検品中の注文)において宛名がF1の画像は原稿画像610と原稿画像620であり、この場合、ステップS312の判断が肯定されてステップS320へ進む。ステップS320では、正解画像特定部212Fは、第2スコアが十分高い場合(H≦第2スコア;(3))は原稿の登場の順番を直接的には確認せず、注文F(注文単位)において最初に登場する原稿画像610を正解画像として特定する。
【0132】
これに対し、第2スコアがさほど高くない場合(L≦第2スコア<H;(2))は、正解画像特定部212Fは、ステップS326の処理を経て、ステップS328で注文単位Fにおける原稿画像の登場の順番を確認し、一致すればその原稿画像を正解画像として特定し(ステップS328でYES、ステップS322へ)、一致する画像がなければ不正解と判定する(ステップS328でNO、ステップS314へ)。例えば、検体画像700が、注文Fに対応する検体画像群(複数の検体画像)において最初に登場する画像(1枚目の画像)である場合は、正解画像特定部212Fは、注文単位Fにおける最初の原稿画像である原稿画像610を「注文Fにおける登場の順番が一致する」と判断し(ステップS328)、正解画像として特定する(ステップS322)。一方、検体画像700が、注文Fに対応する検体画像群(複数の検体画像)において3番目に登場する画像である場合は、正解画像特定部212Fは、注文単位Fにおける3番目の原稿画像である原稿画像620を「注文Fにおける登場の順番が一致する」と判断し(ステップS328)、正解画像として特定する(ステップS322)。
【0133】
検体画像の順番と原稿画像の順番とは、本来であれば(検体の混入や取り違え等がなければ)一致しているので、上述した「第2スコアが十分高い場合は原稿の登場の順番を直接的には確認せず、原稿画像610を正解画像として特定する」のでも間接的に順番を確認していることとなる。即ち、このような第2スコアが十分高い場合は「注文単位において何枚目の画像であるか」を正確に確認するわけではないが、同一宛名グループに属する原稿画像に対して、注文単位における登場の順番を考慮して「正解画像」割り当てている。
【0134】
[第1の実施形態の効果]
以上説明したように、第1の実施形態に係る画像照合装置、画像照合方法、及び画像照合プログラムによれば、照合に先立って、原稿画像についての特徴量データ(第1特徴量データ)を作成し、その後、検体画像の特徴量データと原稿画像の特徴量画像とを特徴量マッチングにより照合し、照合の結果に基づいて正解画像を特定することにより、顧客にとって不要な情報を付加することなく、迅速に原稿画像と検体画像とを照合することができる。また、第1の実施形態によれば、照合に先立って、さらに同一の宛名の情報を含む原稿画像のグループ化処理及び宛名白紙画像の数量登録処理を行うこと、及び2段階の照合を行うこと等により、照合のさらなる高速化や高精度化が可能である。
【0135】
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
【0136】
例えば、第1の実施形態では主としてはがきの宛名面の照合を行う場合について説明しているが、本発明の画像照合装置、画像照合方法、及び画像照合プログラムは、はがき以外にも、封筒、宛名ラベル、名刺、社員証、各種身分証明書等の、個人情報(例えば、住所、氏名、年齢、職業、電話番号、メールアドレスやSNSのアカウント等)を示す文字が含まれる原稿画像が媒体に記録された印刷物または出力物の画像(検体画像)についての照合に適用することができる。
【符号の説明】
【0137】
1 画像処理システム
10 画像プリントシステム
20 画像照合システム
30 ネットワーク
40 ユーザ端末
100 ホストコンピュータ
110 プリンタ
200 画像照合装置
210 装置本体
212 制御部
212A 原稿画像取得部
212B 第1特徴量データ作成部
212C 検体画像取得部
212D 第2特徴量データ作成部
212E 特徴量データ照合部
212F 正解画像特定部
212G 表示制御部
212H 繰り返し制御部
214 ストレージ装置
216 ディスプレイコントローラ
218 入出力インタフェース
220 入力コントローラ
222 メモリ
222A ROM
222B RAM
224 ネットワークコントローラ
226 電源装置
228 バス
230 表示装置
232 入力装置
300 スキャナ
500 特徴量データ作成領域
510 差出人領域
520 受取人領域
522 受取人領域
524 名前領域
600 同一宛名グループ
610 原稿画像
620 原稿画像
630 原稿画像
700 検体画像
F 注文
G 注文
X ロット
S100~S328 画像照合方法の各ステップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10