特許 7574572 検査装置、検査プログラム、検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】検査装置、検査プログラム、検査方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241022BHJP

   G06F 16/583 20190101ALI20241022BHJP

【ＦＩ】

G06T7/00 300F

G06F16/583

【請求項の数】 6

(21)【出願番号】P 2020141864

(22)【出願日】2020-08-25

(65)【公開番号】P2022037632

(43)【公開日】2022-03-09

【審査請求日】2023-06-26

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】内田 昌希

(72)【発明者】

【氏名】松山 錬

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特開２０１５－１９１３８２（ＪＰ，Ａ）

【文献】特開２００５－２４２７８６（ＪＰ，Ａ）

【文献】特開２０２０－０４６８６０（ＪＰ，Ａ）

【文献】特許第６５６１８８２（ＪＰ，Ｂ２）

【文献】特許第５３５６９０５（ＪＰ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ １６／５８３

(57)【特許請求の範囲】

【請求項1】

複数書類画像を取得する取得部と、
書類画像から抽出された特徴データ及び前記書類画像に含まれる書類の書類種別を対応付けて記憶した記憶部を参照し、取得した前記複数書類画像及び前記複数書類画像から抽出された特徴データに基づき、前記書類画像毎に含まれる書類の書類種別を認識する認識部と、
前記書類種別が基準書類である前記書類画像から基準キーを抽出し、前記書類種別が照合書類である前記書類画像から参照キーを抽出する抽出部と、
抽出した前記参照キーが全て前記基準キーと一致するか否かを判定する判定部と、
判定した結果を出力する出力部と
を備えることを特徴とする検査装置。

【請求項2】

前記記憶部は前記書類種別とキー領域座標列とを対応付けて記憶しており、
前記抽出部は、前記キー領域座標列の値に基づき、前記基準キー及び前記参照キーを抽出する
ことを特徴とする請求項１に記載の検査装置。

【請求項3】

前記記憶部は、前記書類の配置及び前記書類種別を対応付けて記憶しており、
前記複数書類画像は単一画像であり、前記認識部は各書類画像を切り出し、
前記書類画像それぞれの前記複数書類画像における前記配置を認識し、
前記判定部は、前記記憶部を参照し、認識した前記書類種別及び前記配置に基づき、前記書類の過不足がないか否か、及び、前記配置に誤りがないかを判定する
ことを特徴とする請求項１又は請求項２のいずれか１項に記載の検査装置。

【請求項4】

前記記憶部は、前記書類の取得順及び前記書類種別を対応付けて記憶しており、
前記複数書類画像は、前記書類画像に取得順を示す順番号を付した複数画像からなり、
前記判定部は、前記記憶部を参照し、認識した前記書類種別及び前記順番号に基づき、前記書類の過不足がないか否か、及び、取得順に誤りがないかを判定する
ことを特徴とする請求項１又は請求項２のいずれか１項に記載の検査装置。

【請求項5】

書類画像から抽出された特徴データ及び前記書類画像に含まれる書類の書類種別を対応付けて記憶した記憶部を参照可能なコンピュータが、
複数書類画像を取得し、
前記記憶部を参照し、取得した前記複数書類画像及び前記複数書類画像から抽出された特徴データに基づき、前記書類画像毎に含まれる書類の書類種別を認識し、
前記書類種別が基準書類である前記書類画像から基準キーを抽出し、前記書類種別が照合書類である前記書類画像から参照キーを抽出し、
抽出した前記参照キーが全て前記基準キーと一致するか否かを判定し、
判定した結果を出力する
処理を前記コンピュータに行わせることを特徴とする検査プログラム。

【請求項6】

書類画像から抽出された特徴データ及び前記書類画像に含まれる書類の書類種別を対応付けて記憶した記憶部を参照可能なコンピュータが、
複数書類画像を取得し、
前記記憶部を参照し、取得した前記複数書類画像及び前記複数書類画像から抽出された特徴データに基づき、前記書類画像毎に含まれる書類の書類種別を認識し、
前記書類種別が基準書類である前記書類画像から基準キーを抽出し、前記書類種別が照合書類である前記書類画像から参照キーを抽出し、
抽出した前記参照キーが全て前記基準キーと一致するか否かを判定し、
判定した結果を出力する
ことを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、書類を検査する検査装置等に関する。

【背景技術】

【0002】

自社には運用ノウハウがない業務を一括して外部業者へ委託するＢＰＯ（Business Process Outsourcing）が行われている。ＢＰＯ業務の中には、委託元の顧客データをパーソナルな印刷物として製造し、封入封緘を行うプリントサービスがある。プリントサービスにおいては、個人情報が記載された書類を複数、各顧客に送付する場合がある。この場合、異なる顧客に対する書類が混入して送付されてしまうと、委託元は顧客からの信頼を失うことになる。そのため、プリントサービスにおいては、封入封緘前に書類一式を目視で確認し、書類の混入がないかを検査しており、工数を要している。

【0003】

そのような状況に対して、同一の封筒に封入される複数の書類に対して同じパターンとなるように穿孔パターンを設定し、書類の封入後に穿孔パターンを検査することで、異なる顧客に対する書類が封入された封筒を検出する封筒検査システムが提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１９３７７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、各書類に穿孔パターン等のマークを付すのは作業の都合であり、書類の美観を損ねるため、委託元から許可を得るのは困難である。

【0006】

本発明はこのような状況に鑑みてなされたものである。その目的は、各書類にマークを付すことなく、複数の書類に異なる顧客のものが混入してないか否かを検査可能な検査装置等の提供である。

【課題を解決するための手段】

【0007】

本願の一態様に係る検査装置は、複数書類画像を取得する取得部と、特徴データ及び書類種別を対応付けて記憶した記憶部を参照し、取得した前記複数書類画像及び特徴データに基づき、書類画像毎に含まれる前記書類の前記書類種別を認識する認識部と、前記書類種別が基準書類である前記書類画像から基準キーを抽出し、前記書類種別が照合書類である前記書類画像から参照キーを抽出する抽出部と、抽出した前記参照キーが全て前記基準キーと一致するか否かを判定する判定部と、判定した結果を出力する出力部とを備えることを特徴とする。

【発明の効果】

【0008】

本願の一態様にあっては、各書類にマークを付すことなく、複数の書類に異なる顧客のものが混入していないか否かを検査可能となる。

【図面の簡単な説明】

【0009】

【図1】検査システムの構成例を示す説明図である。

【図2】検査装置のハードウェア構成例を示すブロック図である。

【図3】端末のハードウェア構成例を示すブロック図である。

【図4】作業マスターＤＢの例を示す説明図である。

【図5】付帯情報ＤＢの例を示す説明図である。

【図6】履歴ＤＢの例を示す説明図である。

【図7】作業状況ＤＢの例を示す説明図である。

【図8】訓練データＤＢの例を示す説明図である。

【図9】業務手順の例を示すフローチャートである。

【図10】業務手順の他の例を示すフローチャートである。

【図11】照合処理の手順例を示すフローチャートである。

【図12】学習モデルの生成処理に関する説明図である。

【図13】学習モデル生成処理の手順例を示すフローチャートである。

【図14】照合結果画面の例を示す説明図である。

【図15】照合結果画面の例を示す説明図である。

【図16】検査装置が備える機能部の一例を示すブロック図である。

【発明を実施するための形態】

【0010】

（実施の形態１）
以下実施の形態を、図面を参照して説明する。図１は検査システムの構成例を示す説明図である。検査システム１００は検査装置１、端末２、撮像装置３を含む。検査装置１及び端末２はネットワークＮにより、互いに通信可能に接続されている。

【0011】

検査装置１はサーバコンピュータ、ＰＣ（Personal Computer）等で構成する。また、検査装置１を複数のコンピュータからなるマルチコンピュータ、ソフトウェアによって仮想的に構築された仮想マシン又は量子コンピュータで構成してもよい。さらに、検査装置
１の機能をクラウドサービスで実現してもよい。

【0012】

端末２はノートパソコン、パネルコンピュータ、タブレットコンピュータ又はスマートフォン等で構成する。撮像装置３はデジタルカメラ又はスキャナ等で構成する。撮像装置３は複数のデジタルカメラで構成してもよい。また、撮像装置３はフィーダ付きのスキャナやハンディスキャナ等で構成してもよい。図１において、撮像装置３は端末２に接続されているが、ネットワークＮに接続されていてもよい。

【0013】

図１において、端末２は２台記載しているが、１台でもよいし３台以上でもよい。同様に、撮像装置３は１台でもよいし３台以上でもよい。

【0014】

図２は検査装置のハードウェア構成例を示すブロック図である。検査装置１は、制御部１１、主記憶部１２、補助記憶部１３、通信部１５、計時部１６及び読み取り部１７を含む。制御部１１、主記憶部１２、補助記憶部１３、通信部１５、計時部１６及び読み取り部１７はバスＢにより接続されている。

【0015】

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有する。制御部１１は、補助記憶部１３に記憶された制御プログラム１Ｐ（検査プログラム）を読み出して実行することにより、検査装置１に係る種々の情報処理、制御処理等を行い、取得部、認識部、抽出部、判定部及び出力部等の機能部を実現する。

【0016】

主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等である。主記憶部１２は主として制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。

【0017】

補助記憶部１３はハードディスク又はＳＳＤ（Solid State Drive）等であり、制御部１１が処理を実行するために必要な制御プログラム１Ｐや各種ＤＢ（Database）を記憶する。補助記憶部１３は、作業マスターＤＢ１３１、付帯情報ＤＢ１３２、履歴ＤＢ１３３、作業状況ＤＢ１３４及び訓練データＤＢ１３５を記憶する。また、補助記憶部１３は学習モデル１４１を記憶する。補助記憶部１３は検査装置１に接続された外部記憶装置であってもよい。補助記憶部１３に記憶する各種ＤＢ等を、検査装置１とは異なるデータベースサーバやクラウドストレージに記憶してもよい。

【0018】

通信部１５はネットワークＮを介して、端末２と通信を行う。また、制御部１１が通信部１５を用い、ネットワークＮ等を介して他のコンピュータから制御プログラム１Ｐをダウンロードし、補助記憶部１３に記憶してもよい。

【0019】

計時部１６は時刻又は検査装置１が起動してからの経過時間等の時間を計時する。計時部１６は制御部１１からの求めに応じて、計時結果を制御部１１に与える回路である。計時部１６は、信頼できるＮＴＰサーバとＮＴＰ（Network Time Protocol）を用いた通信を繰り返し行い、時刻補正を行なうことが望ましい。

【0020】

読み取り部１７はＣＤ（Compact Disc）－ＲＯＭ及びＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読み取り部１７を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、補助記憶部１３に記憶してもよい。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、補助記憶部１３に記憶してもよい。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでもよい。

【0021】

図３は端末のハードウェア構成例を示すブロック図である。端末２は制御部２１、主記憶部２２、補助記憶部２３、通信部２４、入力部２５、表示部２６、インタフェース部２７及び計時部２８を含む。各構成はバスＢで接続されている。

【0022】

制御部２１は、一又は複数のＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を有する。制御部２１は、補助記憶部２３に記憶された制御プログラム２Ｐを読み出して実行することにより、端末２に係る種々の情報処理、制御処理等を行う。

【0023】

主記憶部２２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等である。主記憶部２２は主として制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。

【0024】

補助記憶部２３はハードディスク又はＳＳＤ等であり、制御部２１が処理を実行するために必要な制御プログラム２Ｐや各種データを記憶する。

【0025】

通信部２４はネットワークＮを介して、検査装置１と通信を行う。また、制御部２１が通信部２４を用い、ネットワークＮ等を介して他のコンピュータから制御プログラム２Ｐをダウンロードし、補助記憶部２３に記憶してもよい。

【0026】

入力部２５はキーボードやマウスである。表示部２６は液晶表示パネル等を含む。表示部２６は書類の検査結果などを表示する。表示部２６は検査結果がエラーとなった場合、エラー箇所、エラー内容を表示する。表示部２６と入力部２５とを一体化し、タッチパネルディスプレイとしてもよい。なお、端末２は外部の表示装置に表示を行ってもよい。

【0027】

インタフェース部２７は、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４等の規格に沿ったデータ通信を行なう。インタフェース部２７は撮像装置３から画像を受け取る。

【0028】

計時部２８は時刻又は端末２が起動してからの経過時間等の時間を計時する。計時部２８は制御部２１からの求めに応じて、計時結果を制御部２１に与える回路である。計時部２８が保持する時刻と、検査装置１の計時部１６が保持する時刻とは、同期が取れていることが望ましい。

【0029】

次に、検査システム１００が用いるデータベースについて説明する。図４は作業マスターＤＢ１３１の例を示す説明図である。作業マスターＤＢ１３１は作業フローに関する情報を記憶する。作業マスターＤＢ１３１は作業コード列及び作業名列を含む。作業コード列は作業フローを一意に特定する作業コードを記憶する。作業名列は作業フローの名称を記憶する。

【0030】

図５は付帯情報ＤＢ１３２の例を示す説明図である。付帯情報ＤＢ１３２は書類に関する付帯情報を記憶する。付帯情報ＤＢ１３２は作業コード列、書類認識情報列、書類種別列、書類名列、キー領域座標列、配置箇所列及び順序列を含む。作業コード列は作業コードを記憶する。書類認識情報列は書類種別を認識する際に参照されるデータを記憶する。例えば、学習モデル１４１を用いて書類種別を認識する場合、書類認識情報列は出力ラベルの情報を記憶する。画像のパターンマッチングにより書類種別を認識する場合、書類認識情報列は基準画像を記憶する。書類種別列は書類種別を記憶する。書類種別は例えば、基準、照合又は汎用である。基準とはキーの参照の際に、基準となる書類（基準書類）を示す。基準書類に記載のキー（基準キー）と異なるキーが記載された書類はエラーとなる。照合はキーの参照の際に、基準キーと比較されるキーが記載された書類（参照書類）を示す。汎用とはキーの記載のない汎用的な書類（汎用書類）を示す。なお、本明細書において、汎用書類には封筒を含むものとする。書類名列は書類の名称を記憶する。キー領域座標列は書類毎の画像（以下、「書類画像」という。）においてキー領域を示す座標を記憶する。例えばキー領域は矩形状として、矩形の対角線の端点２つの座標値を記憶する。キー領域が複数箇所にわたる場合は、「キー１」、「キー２」のように順番号を含むラベルを座標値に付す。配置箇所列は書類を作業台上に並べる際の正しい位置を記憶する。作業台上に書類を並べるためのスペースを確保し、当該スペースを複数の領域に分けて、順番号を含むラベルを付す。順序列は、書類画像を取得する撮像装置３がスキャナである場合、書類をスキャンする順番を記憶する。書類の順番は、複数の書類を封筒に封入する際の重ね順を示す。順番号１の書類を最も上に、その下に順番号２の書類、順番号３の書類、…というような要領で書類重ねて封筒に封入する。

【0031】

図６は履歴ＤＢ１３３の例を示す説明図である。履歴ＤＢ１３３は照合作業の履歴を記憶する。履歴ＤＢ１３３は作業コード列、照合日時列、照合結果列、キー列、エラー列、エラー箇所列、第１作業者列及び第２作業者列を含む。作業コード列は作業コードを記憶する。照合日時列は照合作業を行った日時を記憶する。照合結果列は照合結果を記憶する。照合に成功した場合、照合結果列は例えばＯＫを記憶する。ＯＫ以外の値、例えば○や１等を照合結果列に記憶してもよい。照合に失敗した場合、照合結果列はＮＧを記憶する。ＮＧ以外の値、例えば×や０等を照合結果列に記憶してもよい。キー列は照合に使用された基準キーを記憶する。エラー列は照合に失敗した場合のエラー内容を記憶する。照合書類のキーが基準キーと一致しなかった場合、エラー列は例えばキー不一致を記憶する。書類の配置が間違っていた場合、エラー列は例えば配置誤りを記憶する。各エラー内容にコードをふり、エラー列はコードを記憶してもよい。照合に成功した場合、エラー列は－、NULL、０等を記憶する。エラー箇所列はエラー箇所を記憶する。書類を作業台上に並べた場合、エラーが発生した領域のラベル又は順番号をエラー箇所列は記憶する。書類をスキャナでスキャンした場合、エラーを発した書類の順番号をエラー箇所列は記憶する。第１作業者列及び第２作業者列は作業を担当した作業員を一意に特定可能な社員ＩＤや作業員ＩＤ等をそれぞれ記憶する。

【0032】

図７は作業状況ＤＢ１３４の例を示す説明図である。作業状況ＤＢ１３４は作業状況を記憶する。作業状況ＤＢ１３４は作業コード列、作業名列、作業日列、第１作業者列、第２作業者列、照合回数列、ＯＫ列及びＮＧ列を含む。作業コード列は作業コードを記憶する。作業名列は作業フローの名称を記憶する。作業日列は作業日を記憶する。第１作業者列及び第２作業者列は作業者の社員ＩＤ等を記憶する。照合回数列は照合を行った回数を記憶する。ＯＫ列は照合に成功した回数を記憶する。ＮＧ列は照合に失敗した回数を記憶する。作業状況ＤＢは当日の作業状況を記憶する。当該作業状況は端末２の表示部２６の表示に利用される。そのため作業状況ＤＢ１３４は当日分の１レコードのみを記憶してもよい。この場合、作業日列は必須ではない。また、ＯＫ列及びＮＧ列も必須ではない。照合に成功した回数及び照合に失敗した回数は、履歴ＤＢ１３３より求まるからである。

【0033】

図８は訓練データＤＢ１３５の例を示す説明図である。訓練データＤＢ１３５は学習モデル１４１を生成又は再学習するための訓練データを記憶する。訓練データＤＢ１３５は作業コード列、画像列、正解ラベル列を含む。作業コード列は作業コードを記憶する。画像列は書類画像を記憶する。書類画像の実体を補助記憶部１３にファイルとして記憶し、画像列はファイル名を記憶してもよい。正解ラベル列は書類画像に対応する書類種別の正解ラベルを記憶する。

【0034】

次に、検査システム１００での業務手順について説明する。図９は業務手順の例を示すフローチャートである。図９に示す業務手順は、撮像装置３が卓上カメラであって、作業台に配置した書類一式を当該卓上カメラで撮影する場合の業務フローである。作業者は検査プログラムを起動し、作業者ＩＤの入力、作業フローを選択する（ステップＳ１）。作業者は作業台上に、書類一式を配置する（ステップＳ２）。作業者は書類を撮影する（ステップＳ３）。撮影後、検査システム１００に照合を行わせる（ステップＳ４）。作業者は検査システム１００が返答した照合結果を確認する（ステップＳ５）。作業者は照合結果が成功であるか否かを確認する（ステップＳ６）。作業者は照合結果が成功であることを確認した場合（ステップＳ６でＹＥＳ）、書類を封筒に封入し封緘する（ステップＳ７）。作業者は作業を終了するか否か判断する（ステップＳ８）。作業者は作業を継続すると判断した場合（ステップＳ８でＮＯ）、ステップＳ２に戻り、未処理の書類についての作業を行なう。作業者は作業を終了すると判断した場合（ステップＳ８でＹＥＳ）、終了する。作業者は照合結果が失敗であることを確認した場合（ステップＳ６でＮＯ）、エラーメッセージを参照の上、対応を行なう（ステップＳ９）。作業者はステップＳ３に戻り、再度、検査を行なう。なお、作業台に配置する書類は、すぐに封入可能なように大きな書類については折り畳まれていることが望ましい。そして、基準書類又は照合書類は、折り畳まれている状態で、視認可能である位置にキー領域があり、キー領域が撮影されるように配置する。作業台上に、書類一式を配置する際、ロボットアーム等を用いてもよい。また、作業台上の書類の配置に誤りがあると判明した場合、ロボットアーム等を用いて、正しい配置となるように配列してもよい。

【0035】

図１０は業務手順の他の例を示すフローチャートである。図１０に示す業務手順は、撮像装置３がスキャナであって、書類一式を構成する各書類をスキャンする場合の業務フローである。作業者は検査プログラムを起動し、作業者ＩＤの入力、作業フローを選択する（ステップＳ１１）。作業者は書類一式を構成する書類を順にスキャンする（ステップＳ１２）。作業者は全ての書類をスキャンしたら、照合指示をする（ステップＳ１３）。作業者は検査システム１００が返答した照合結果を確認する（ステップＳ１４）。作業者は照合結果が成功であるか否かを確認する（ステップＳ１５）。作業者は照合結果が成功であることを確認した場合（ステップＳ１５でＹＥＳ）、書類を封筒に封入し封緘する（ステップＳ１６）。作業者は作業を終了するか否か判断する（ステップＳ１７）。作業者は作業を継続すると判断した場合（ステップＳ１７でＮＯ）、ステップＳ１２に戻り、未処理の書類についての作業を行なう。作業者は作業を終了すると判断した場合（ステップＳ１７でＹＥＳ）、終了する。作業者は照合結果が失敗であることを確認した場合（ステップＳ１５でＮＯ）、エラーメッセージを参照の上、対応を行なう（ステップＳ１８）。作業者はステップＳ１２に戻り、再度、検査を行なう。なお、スキャンする書類は、すぐに封入可能なように大きな書類については折り畳まれていることが望ましい。そして、基準書類又は照合書類は、折り畳まれている状態で、視認可能である位置にキー領域があり、キー領域が読み取られるようにスキャンする。

【0036】

続いて、検査システム１００が行う情報処理について説明する。図１１は照合処理の手順例を示すフローチャートである。検査装置１の制御部１１は撮像装置３で撮影された画像を端末２から受信したことを契機に、照合処理を開始する。制御部１１は受信した画像が単一画像であるか否かを判定する（ステップＳ３１）。書類一式を卓上カメラで撮影した場合、受信画像は単一画像である。書類一式を構成する各書類をスキャナでスキャナした場合、受信画像は複数画像からなる画像群である。制御部１１は受信した画像が単一画像でないと判定した場合（ステップＳ３１でＮＯ）、処理をステップＳ３３へ進める。制御部１１は受信した画像が単一画像であると判定した場合（ステップＳ３１でＹＥＳ）、受信した画像から各書類の画像を切り出す（ステップＳ３２）。例えば、以下のように各書類の領域を検出する。作業台に緑色の布又はシートを敷き、その上に、書類を配置し撮影する。この場合、色情報における閾値処理で書類領域を検出可能である。画像のカラー情報（ＲＧＢ値）を参照し、緑成分を示す値が大きい部分は背景であり、それ以外の部分は書類の領域と判定できる。また、公知のエッジ検出処理により、書類の輪郭線を検出し、輪郭線をもとに書類の領域を検出してもよい。なお、書類の領域は矩形状であることが前提であるので、検出した書類の領域が矩形となるように、台形補正処理を行ってもよい。制御部１１は処理対象とする書類画像を選択する（ステップＳ３３）。制御部１１は書類種別の認識を行なう（ステップＳ３４）。書類種別の認識は、学習モデル１４１に書類画像を入力し、学習モデル１４１が出力した各ラベルの値より判定する。学習モデル１４１については後述する。また、書類画像と、付帯情報ＤＢ１３２の書類認識情報列に記憶してある基準画像とを照合して、書類を判定してもよい。制御部１１は書類種別が汎用書類であるか否かを判定する（ステップＳ３５）。制御部１１は書類種別が汎用書類であると判定した場合（ステップＳ３５でＹＥＳ）、処理をステップＳ３８へ進める。制御部１１は書類種別が汎用書類でないと判定した場合（ステップＳ３５でＮＯ）、付帯情報ＤＢ１３２のキー領域座標列の値に基づき、キー領域を抽出する（ステップＳ３６）。制御部１１はキー領域に対して、文字認識処理を行い、キーの認識を行なう（ステップＳ３７）。なお、キー領域の抽出（ステップＳ３６）は必須でない。キー領域の抽出を行わず、書類画像全体を対象に文字認識を行ってもよい。キー領域に対して文字領域の検出を行い、検出した文字領域に対して文字認識を行ってもよい。それにより、認識率の向上が期待される。制御部１１は認識した書類種別、キー、及び、書類の配置位置又はスキャン順を対応付けて、一時記憶領域に記憶する（ステップＳ３８）。一時記憶領域は、主記憶部１２又は補助記憶部１３に設ける。制御部１１は未処理の書類画像があるか否かを判定する（ステップＳ３９）。制御部１１は未処理の書類画像があると判定した場合（ステップＳ３９でＹＥＳ）、処理をステップＳ３３へ戻し、未処理の書類画像に対する処理を行なう。制御部１１は未処理の書類画像がないと判定した場合（ステップＳ３９でＮＯ）、一時記憶領域に記憶した書類種別、及び、書類の配置位置又はスキャン順と、付帯情報ＤＢ１３２の書類種別、配置位置列又は順序列とを照合する（ステップＳ４０）。制御部１１は基準キーの照合を行なう（ステップＳ４１）。制御部１１は一時記憶領域に記憶した書類種別及びキーより、基準キー取得する。制御部１１は一時記憶領域に記憶した書類種別及びキーより、照合書類のキー（照合キー）を取得する。制御部１１は、全ての照合キーと基準キーとを照合し、全て一致しているかを判定する。制御部１１は照合結果を出力する（ステップＳ４２）。すべての書類の配置位置又は順序が正しく、全ての照合キーが基準キーと一致した場合、照合結果は成功となる。配置位置若しくは順序が正しくない書類がある場合、書類に過不足がある場合、又は、照合キーが基準キーと一致しない書類がある場合、照合結果は失敗となる。照合結果が失敗の場合、制御部１１は失敗となった内容を出力する。制御部１１は照合処理を終了する。ステップＳ４２で照合結果を出力する際に、制御部１１は履歴ＤＢ１３３に照合結果を履歴としてレコードを追加する。なお、キーの認識（ステップＳ３７）において、文字認識は行わなくともよい。この場合、基準キーとの照合（ステップＳ４１）において、基準キーの画像と照合キーの画像とを画像照合し、一致するか否かを判定する。

【0037】

続いて、学習モデル１４１について説明する。図１２は学習モデル１４１の生成処理に関する説明図である。図１２は機械学習を行って学習モデル１４１を生成する処理を概念的に示している。検査装置１の制御部１１は、学習モデル１４１として、各作業フローにおける各書類の画像について、その特徴量を学習するディープラーニングを行うことで、書類画像を入力とし、書類種別を出力とするニューラルネットワークを生成する。ニューラルネットワークは例えばＣＮＮ（Convolution Neural Network）であり、書類画像の入力を受け付ける入力層と、書類種別を出力する出力層と、書類画像の画像特徴量を抽出する中間層とを有する。

【0038】

入力層は、書類画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は複数のニューロンを有し、書類画像内から特徴量を抽出して出力層に受け渡す。例えば、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、書類画像の画素情報を圧縮しながら最終的に画像特徴量を抽出する。出力層は書類種別を出力する一又は複数のニューロンから成り、中間層から出力された画像特徴量に基づいて書類種別を出力する。なお、本実施の形態では学習モデル１４１はＣＮＮであるとして説明するが、学習モデル１４１はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワークやＳＶＭ（Support Vector Machine）など他の学習アルゴリズムで構築されたモデルでもよく、パターンマッチングや決定木など学習モデルを使用せずに書類種別を判定してもよい。

【0039】

制御部１１は、複数の書類画像と、各書類画像に対する書類種別の正解値とが対応付けられた訓練データを用いて学習を行う。例えば図１２に示すように、訓練データは、作業コード及び書類画像に対し、書類種別に対応する正解ラベルが付けされたデータである。ラベル０は基準書類を、ラベル１は照合書類を、ラベル２は汎用書類に対応する。

【0040】

制御部１１は、訓練データである書類画像を入力層に入力し、中間層での演算処理を経て、出力層から各ラベルの確率値を取得する。制御部１１は、出力層から出力された各ラベルの確率値を正解値ラベルと比較し、出力層において正解ラベルからの確率値が１に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば制御部１１は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部１１は、訓練データに含まれる各書類画像について上記の処理を行い、学習モデル１４１を生成する。

【0041】

図１３は学習モデル１４１生成処理の手順例を示すフローチャートである。制御部１１は訓練データＤＢ１３５に記憶されている訓練データの一つを選択する（ステップＳ５１）。制御部１１は訓練データから正解ラベルを除いた入力データを抽出する（ステップＳ５２）。制御部１１は入力データをニューラルネットワークの入力層に入力する（ステップＳ５３）。制御部１１は出力データ、ラベル毎の確率値を出力層から取得する（ステップＳ５４）。制御部１１は、ラベル毎の確率値と正解ラベルとを比較し、出力層から出力される正解ラベルの確率値が１に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する（ステップＳ５５）。制御部１１は未利用の訓練データがあるか否かを判定する（ステップＳ５６）。制御部１１は未利用の訓練データがあると判定した場合（ステップＳ５６でＹＥＳ）、処理をステップＳ５１へ戻す。制御部１１は未利用の訓練データがないと判定した場合（ステップＳ５６でＮＯ）、制御部１１は、生成した学習モデル１４１を補助記憶部１３に記憶し（ステップＳ５７）、処理を終了する。

【0042】

次に、端末２の表示部２６に表示される画面について説明する。図１４は照合結果画面の例を示す説明図である。図１４は照合に成功した場合の画面例である。照合結果画面ｄ０１は名称領域ｄ０１１、作業者領域ｄ０１２、キー領域ｄ０１３、メッセージ領域ｄ０１４は結果表示領域ｄ０１５及びカウンタ領域ｄ０１６を含む。名称領域ｄ０１１は作業フローの名称を表示する。作業者領域ｄ０１２は作業者２名の作業者ＩＤを表示する。キー領域ｄ０１３は認識したキーを表形式で表示する。図１４ではキー領域が２つある場合を示している。キー領域ｄ０１３の最初の行は、認識したキーの値を表示している。その他の行は、キー領域の画像を書類毎に示す。ＫＥＹは基準キーの画像、ＳＵＢ１、ＳＵＢ２、ＳＵＢ３は照合書類の照合キーの画像を表示する。メッセージ領域ｄ０１４は照合結果を補足するメッセージを表示する。照合に成功した場合は何も表示しない。結果表示領域ｄ０１５は照合結果を表示する。図１４では照合の成功した場合の表示として丸を表示している。カウンタ領域ｄ０１６は照合した回数を表示する。照合した回数は検査プログラムを起動した直後、及び作業フローを選択直後、０にリセットされる。照合した回数は、成功した回数及び失敗した回数を含む。成功した回数及び失敗した回数を個別に表示してもよい。

【0043】

図１５は照合結果画面の例を示す説明図である。図１５は照合に失敗した場合の画面例である。画面の構成は図１４と同様であるから、各領域の説明は省略する。図１５の示す例では、ＳＵＢ１で示す帳票のキーが基準キーと一致していないため、エラーとなっている。ＳＵＢ１帳票がエラーであることを示すため、キー領域ｄ０１３において、ＳＵＢ１の行の背景がハッチングとなっている。実際の画面においては背景を赤色にしてもよい、また点滅表示としてもよい。メッセージ領域ｄ０１４はエラーメッセージが表示されている。結果表示領域ｄ０１５は照合に失敗したことを示すバツを表示している。

【0044】

照合結果画面ｄ０１において、名称領域ｄ０１１、作業者領域ｄ０１２、カウンタ領域ｄ０１６は、作業状況ＤＢ１３４に記憶しているデータに基づいて表示してもよい。作業状況ＤＢ１３４を端末２の補助記憶部２３に記憶してもよい。

【0045】

本実施の形態においては、複数の書類に異なる顧客のものが混入してないか否かを検査可能となる。また、照合に失敗した箇所を表示するので、作業者は失敗した箇所に対応する書類を確認の上、正しい書類に入れ替える作業を迅速に行えることが可能となる。

【0046】

照合処理を検査装置１で行うのではなく、端末２で行ってもよい。この場合、作業マスターＤＢ１３１、付帯情報ＤＢ１３２、作業状況ＤＢ１３４及び学習モデル１４１は、端末２の補助記憶部２３に記憶する。照合履歴は作業中には補助記憶部２３に記憶しておき、作業完了後、検査装置１に転送してもよい。

【0047】

履歴ＤＢ１３３に書類画像も記憶してもよい。ある程度数の履歴データが履歴ＤＢ１３３に蓄積されたら、履歴データから訓練データを生成し、学習モデル１４１を再学習してもよい。再学習は検査装置１で行う。端末２で認識を行っている場合、再学習で得た学習モデル１４１のパラメータを端末２に記憶する学習モデル１４１に反映する。

【0048】

図１６は検査装置が備える機能部の一例を示すブロック図である。検査装置１は機能部として、取得部１１ａ、認識部１１ｂ、抽出部１１ｃ、判定部１１ｄ及び出力部１１ｅを備える。これらの各機能部は、制御部１１が制御プログラム１Ｐに基づいて動作することにより、実現される。

【0049】

取得部１１ａは、複数書類の画像から書類毎の書類画像を取得する。認識部１１ｂは、特徴データ及び書類種別を対応付けて記憶した記憶部を参照し、取得した前記書類画像及び特徴データに基づき、前記書類画像毎に含まれる前記書類の書類種別を認識する。抽出部１１ｃは、前記書類種別が基準書類である前記書類画像から基準キーを抽出し、前記書類種別が照合書類である前記書類画像から参照キーを抽出する。判定部１１ｄは、抽出した前記参照キーが全て前記基準キーと一致するか否かを判定する。出力部１１ｅは、判定した結果を出力する。

【0050】

各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0051】

１００ 検査システム
１ 検査装置
１１ 制御部
１１ａ 取得部
１１ｂ 認識部
１１ｃ 抽出部
１１ｄ 判定部
１１ｅ 出力部
１２ 主記憶部
１３ 補助記憶部
１３１ 作業マスターＤＢ
１３２ 付帯情報ＤＢ
１３３ 履歴ＤＢ
１３４ 作業状況ＤＢ
１３５ 訓練データＤＢ
１４１ 学習モデル
１５ 通信部
１６ 計時部
１７ 読み取り部
１Ｐ 制御プログラム
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
２ 端末
２１ 制御部
２２ 主記憶部
２３ 補助記憶部
２４ 通信部
２５ 入力部
２６ 表示部
２７ インタフェース部
２８ 計時部
２Ｐ 制御プログラム
３ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】