特許 6833496 学習装置、紙葉類判別装置および紙葉類判別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6833496

(24)【登録日】2021年2月5日

(45)【発行日】2021年2月24日

(54)【発明の名称】学習装置、紙葉類判別装置および紙葉類判別方法

(51)【国際特許分類】

   G07D 7/00 20160101AFI20210215BHJP

   G06T 7/00 20170101ALI20210215BHJP

【ＦＩ】

   G07D7/00 J

   G07D7/00 H

   G06T7/00 350C

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2016-245402(P2016-245402)

(22)【出願日】2016年12月19日

(65)【公開番号】特開2018-101192(P2018-101192A)

(43)【公開日】2018年6月28日

【審査請求日】2019年8月28日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】松木 洋

(72)【発明者】

【氏名】名取 直毅

(72)【発明者】

【氏名】長谷部 光威

【審査官】 小原 正信

(56)【参考文献】

【文献】 特開平１１−２１９４６１（ＪＰ，Ａ）

【文献】 特開２０１５−０９５２１５（ＪＰ，Ａ）

【文献】 特開２００３−２７２０１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｄ ７／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

紙葉類を撮像した画像である紙葉類画像を取得する画像取得部と、
前記画像取得部によって取得された紙葉類画像から認識対象が異なる複数の一次特徴画像を抽出する特徴画像抽出部と、
前記特徴画像抽出部により抽出された複数の一次特徴画像の各々に対して畳込み処理およびプーリング処理を行って認識対象が異なる二次特徴画像を各々生成する複数の画像処理部と、
前記複数の画像処理部により生成された複数の二次特徴画像の各々に対する結合処理の結果に基づいて、前記紙葉類の券種を判別するためのパラメータセットを順次更新して学習する券種判別部と
を備え、
前記特徴画像抽出部は、前記紙葉類画像から、額面数字が印刷された領域の画像である第１の一次特徴画像と、シンボルが印刷された領域の画像である第２の一次特徴画像と、肖像画が印刷された領域の画像である第３の一次特徴画像とを抽出し、
前記複数の画像処理部は、前記第１の一次特徴画像に対して畳込み処理およびプーリング処理を行って第１の二次特徴画像を生成する第１特徴画像処理部と、前記第２の一次特徴画像に対して畳込み処理およびプーリング処理を行って第２の二次特徴画像を生成する第２特徴画像処理部と、前記第３の一次特徴画像に対して畳込み処理およびプーリング処理を行って第３の二次特徴画像を生成する第３特徴画像処理部とを備える、
学習装置。

【請求項2】

前記券種判別部は、前記結合処理における時間に応じて、学習の対象とする前記二次特徴画像を変更する、
請求項１に記載の学習装置。

【請求項3】

前記複数の画像処理部は、前記特徴画像抽出部により抽出された複数の一次特徴画像の各々に対する畳込み処理およびプーリング処理を、他の画像処理部と非同期に実行する、 請求項１または２に記載の学習装置。

【請求項4】

紙葉類を撮像した画像である紙葉類画像を取得する画像取得部と、
前記画像取得部によって取得された紙葉類画像から認識対象が異なる複数の一次特徴画像を抽出する特徴画像抽出部と、
前記特徴画像抽出部により抽出された複数の一次特徴画像の各々に対して畳込み処理およびプーリング処理を行って認識対象が異なる二次特徴画像を各々生成する複数の画像処理部と、
前記複数の画像処理部により生成された複数の二次特徴画像に対して共通のパラメータセットを用いて行った前記複数の二次特徴画像の各々の結合処理の結果に基づいて、前記紙葉類の券種を判別する券種判別部と
を備え、
前記特徴画像抽出部は、前記紙葉類画像から、額面数字が印刷された領域の画像である第１の一次特徴画像と、シンボルが印刷された領域の画像である第２の一次特徴画像と、肖像画が印刷された領域の画像である第３の一次特徴画像とを抽出し、
前記複数の画像処理部は、前記第１の一次特徴画像に対して畳込み処理およびプーリング処理を行って第１の二次特徴画像を生成する第１特徴画像処理部と、前記第２の一次特徴画像に対して畳込み処理およびプーリング処理を行って第２の二次特徴画像を生成する第２特徴画像処理部と、前記第３の一次特徴画像に対して畳込み処理およびプーリング処理を行って第３の二次特徴画像を生成する第３特徴画像処理部とを備える、
紙葉類判別装置。

【請求項5】

前記券種判別部は、前記結合処理における時間に応じて、前記結合処理の対象とする前記二次特徴画像を変更する、
請求項４に記載の紙葉類判別装置。

【請求項6】

前記複数の画像処理部は、前記特徴画像抽出部により抽出された複数の一次特徴画像の各々に対する畳込み処理およびプーリング処理を、他の画像処理部と非同期に実行する、 請求項４または５に記載の紙葉類判別装置。

【請求項7】

紙葉類を撮像した画像である紙葉類画像を取得し、
前記紙葉類画像から認識対象が異なる複数の一次特徴画像を抽出し、
前記複数の一次特徴画像の各々に対して畳込み処理およびプーリング処理を行って認識対象が異なる二次特徴画像を各々生成し、
前記複数の二次特徴画像に対して共通のパラメータセットを用いて行った前記複数の二次特徴画像の各々の結合処理の結果に基づいて、前記紙葉類の券種を判別する紙葉類判別方法であって、
前記紙葉類画像から、額面数字が印刷された領域の画像である第１の一次特徴画像と、シンボルが印刷された領域の画像である第２の一次特徴画像と、肖像画が印刷された領域の画像である第３の一次特徴画像とを抽出し、
前記第１の一次特徴画像に対して畳込み処理およびプーリング処理を行って第１の二次特徴画像を生成し、前記第２の一次特徴画像に対して畳込み処理およびプーリング処理を行って第２の二次特徴画像を生成し、前記第３の一次特徴画像に対して畳込み処理およびプーリング処理を行って第３の二次特徴画像を生成する、
紙葉類判別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、学習装置、紙葉類判別装置および紙葉類判別方法に関する。

【背景技術】

【0002】

従来の紙葉類処理装置は、紙葉類の画像を読み取り、読み取った画像から紙葉類の代表的な模様を検出することで、券種を判別していた。しかしながら、従来の紙葉類処理装置は、紙葉類の代表的な模様が存在する位置を精度よく特定するために多くの計算を行う必要があることから、券種判別処理に時間がかかってしまう場合があった。

【0003】

また、画像認識処理の分野において、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）と呼ばれるＤｅｅｐ Ｌａｒｎｉｎｇ技術が注目されている。このＣＮＮは画像認識精度が高いという利点があるが、計算量が多く処理時間が長くなる傾向がある。特に、複数の画像に対してＣＮＮを適用した場合、画像数に比例して計算時間が増大する。このため、高速で処理することが要求される紙葉類処理装置にＣＮＮを適用することは容易ではなかった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−１６７０４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、高精度かつ短時間で紙葉類の券種を判別することを可能にする学習装置、紙葉類判別装置および紙葉類判別方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態の学習装置は、画像取得部と、特徴画像抽出部と、複数の画像処理部と、券種判別部とを持つ。前記画像取得部は、紙葉類を撮像した画像である紙葉類画像を取得する。前記特徴画像抽出部は、前記画像取得部によって取得された紙葉類画像から認識対象が異なる複数の一次特徴画像を抽出する。前記複数の画像処理部は、前記特徴画像抽出部により抽出された複数の一次特徴画像の各々に対して畳込み処理およびプーリング処理を行って認識対象が異なる二次特徴画像を各々生成する。前記券種判別部は、前記複数の画像処理部により生成された複数の二次特徴画像の各々に対する結合処理の結果に基づいて、前記紙葉類の券種を判別するためのパラメータセットを順次更新して学習する。前記特徴画像抽出部は、前記紙葉類画像から、額面数字が印刷された領域の画像である第１の一次特徴画像と、シンボルが印刷された領域の画像である第２の一次特徴画像と、肖像画が印刷された領域の画像である第３の一次特徴画像とを抽出する。前記複数の画像処理部は、前記第１の一次特徴画像に対して畳込み処理およびプーリング処理を行って第１の二次特徴画像を生成する第１特徴画像処理部と、前記第２の一次特徴画像に対して畳込み処理およびプーリング処理を行って第２の二次特徴画像を生成する第２特徴画像処理部と、前記第３の一次特徴画像に対して畳込み処理およびプーリング処理を行って第３の二次特徴画像を生成する第３特徴画像処理部とを備える。

【図面の簡単な説明】

【0007】

【図1】実施形態に係る紙葉類処理装置の断面図。

【図2】実施形態に係る鑑査装置の制御構成を示すブロック図。

【図3】実施形態に係る紙幣画像における第１から第３特徴画像を示す図。

【図4】実施形態に係る鑑査装置における学習段階の処理の一例を示すフローチャート。

【図5】実施形態に係る第１畳込み処理部における畳込み処理を説明する図。

【図6】実施形態に係る第１プーリング処理部におけるプーリング処理を説明する図。

【図7】実施形態に係る券種判別部における第１から第３特徴画像に基づく券種判別処理を説明する図。

【図8】実施形態に係る鑑査装置における運用段階の処理の一例を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、実施形態の学習装置、紙葉類判別装置および紙葉類判別方法を、図面を参照して説明する。

【0009】

図１は、本実施形態に係る紙葉類処理装置１の断面図である。紙葉類処理装置１は、紙葉類Ｐの振分け処理を行う。以下、紙葉類Ｐとして紙幣を例に挙げて説明する。

【0010】

図１に示されるように、紙葉類処理装置１は、例えば、供給部１１と、ローラ１２と、異物回収部１３と、搬送路１４と、搬送部１５と、鑑査装置１６（学習装置、紙葉類判別装置）と、ラインセンサ１７と、バーコードリーダ１８と、リジェクト部１９および２０と、集積庫２１から２３とを備える。供給部１１には、複数枚の紙幣Ｐが載置される。ローラ１２は、供給部１１から紙幣Ｐを１枚ずつ搬送路１４に送り出す。ローラ１２によって送り出された紙幣Ｐは、搬送路１４に沿って搬送される。搬送路１４には、複数組の図示しない無端状の搬送ベルトが搬送路を挟むように延設されている。ローラ１２によって送り出された紙幣Ｐは、搬送ベルトに挟持されて搬送される。

【0011】

搬送路１４は、ローラ１２を通過した位置から鑑査装置１６に向けて傾斜して延びている。これにより、供給部１１から紙幣Ｐと共に、クリップ、コイン、ピン等の異物が搬送路１４に送り出された際、異物は重力により搬送路１４の最下部に落下する。これにより、異物が鑑査装置１６に入ることを防止し、異物による鑑査装置１６の損傷を防止することができる。

【0012】

搬送路１４の最下部には、異物回収部１３が配置されている。異物回収部１３は、例えば、装置本体から引き出し可能な回収箱により構成されている。搬送路１４に沿って落下する異物は、異物回収部１３に落下して回収される。

【0013】

搬送部１５は、紙幣と紙幣の間隔が所定の間隔となるように紙幣Ｐの搬送速度を調整し、紙幣Ｐを鑑査装置１６へと搬送する。鑑査装置１６は、紙幣Ｐの画像を読み取り、紙幣Ｐの券種、紙幣Ｐの表裏の向き、および紙幣Ｐの異常（破れ、折れ、汚れ等）を検出する。鑑査装置１６は、例えば、ＬＥＤ（Light Emitting Diode）等の発光素子と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子とを備えるラインセンサ１７を内蔵している。ラインセンサ１７には、操作員がラインセンサ１７によって撮像された画像を確認して、種々の情報を入力するための監視端末（図示しない）が接続されていてもよい。

【0014】

紙幣Ｐの異常が検出された場合、紙葉類処理装置１は、紙幣Ｐを搬送路１４に沿って搬送し、異常の種類に応じて紙幣Ｐをリジェクト部１９または２０に振り分けて集積する。一方、紙幣Ｐの異常が検出されなかった場合、紙葉類処理装置１は、紙幣Ｐをバーコードリーダ１８に通過させた後、紙幣Ｐの券種に応じて紙幣Ｐを集積庫２１から２３に振り分けて集積する。以上が、紙幣の振分け処理である。

【0015】

図２は、本実施形態に係る鑑査装置１６の制御構成を示すブロック図である。図２においては、鑑査装置１６が紙幣Ｐの券種を判別するための制御構成が示されている。鑑査装置１６は、例えば、画像取得部３０と、特徴画像抽出部３１と、第１特徴画像処理部３２と、第２特徴画像処理部３３と、第３特徴画像処理部３４と、券種判別部３５とを備える。

【0016】

画像取得部３０は、鑑査装置１６を通過する紙幣Ｐを撮像し、紙幣Ｐの撮像画像を取得する。画像取得部３０は、取得した撮像画像を特徴画像抽出部３１に出力する。画像取得部３０は、例えば、ラインセンサ１７を備える。

【0017】

特徴画像抽出部３１は、画像取得部３０から入力された撮像画像から、紙幣Ｐの券種を分類するのに適した、認識対象が異なる複数の小規模な特徴的な画像（一次特徴画像）を抽出する。例えば、特徴画像抽出部３１は、撮像画像から背景画像などを除去した紙幣画像に対して、予め指定された座標情報に基づき、複数の小規模な特徴的な画像を抽出する。

【0018】

図３は、本実施形態に係る紙幣画像５０における第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３を示す図である。図３に示すように、紙幣画像５０には、紙幣Ｐの券種を分類するのに適した複数の小規模な特徴的な画像として、額面数字が印刷された領域の画像である第１特徴画像Ｆ１と、シンボルが印刷された領域の画像である第２特徴画像Ｆ２と、肖像画が印刷された領域の画像である第３特徴画像Ｆ３とが含まれる。尚、第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３以外の領域の画像を特徴画像として利用してもよい。以下においては、特徴画像抽出部３１が、第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３を抽出する構成を例に挙げて説明する。

【0019】

特徴画像抽出部３１は、紙幣画像５０から抽出した第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３を、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４にそれぞれ出力する。尚、特徴画像抽出部３１は、第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３に加えて、他の領域の画像を特徴画像として抽出している場合には、これらの他の領域の画像をさらなる特徴画像処理部（第４特徴画像処理部、第５特徴画像処理部など）に出力してよい。

【0020】

第１特徴画像処理部３２は、例えば、第１畳込み処理部４０と、第１プーリング処理部４１とを備える。第１畳込み処理部４０は、第１特徴画像Ｆ１に対して畳込み処理を行う。第１プーリング処理部４１は、第１畳込み処理部４０によって処理された畳込み処理後の画像に対してプーリング処理を行う。第１特徴画像処理部３２においては、上記の畳込み処理とプーリング処理とが予め定められた回数繰り返される。第１特徴画像処理部３２は、プーリング処理後の画像（二次特徴画像）を券種判別部３５に出力する。

【0021】

第２特徴画像処理部３３は、例えば、第２畳込み処理部４２と、第２プーリング処理部４３とを備える。第２畳込み処理部４２は、第２特徴画像Ｆ２に対して畳込み処理を行う。第２プーリング処理部４３は、第２畳込み処理部４２によって処理された畳込み処理後の画像に対してプーリング処理を行う。第２特徴画像処理部３３においては、上記の畳込み処理とプーリング処理とが予め定められた回数繰り返される。第２特徴画像処理部３３は、プーリング処理後の画像（二次特徴画像）を券種判別部３５に出力する。

【0022】

第３特徴画像処理部３４は、例えば、第３畳込み処理部４４と、第３プーリング処理部４５とを備える。第３畳込み処理部４４は、第３特徴画像Ｆ３に対して畳込み処理を行う。第３プーリング処理部４５は、第３畳込み処理部４４によって処理された畳込み処理後の画像に対してプーリング処理を行う。第３特徴画像処理部３４においては、上記の畳込み処理とプーリング処理とが予め定められた回数繰り返される。第３特徴画像処理部３４は、プーリング処理後の画像（二次特徴画像）を券種判別部３５に出力する。

【0023】

すなわち、上記の複数の画像処理部（第１特徴画像処理部３２，第２特徴画像処理部３３，第３特徴画像処理部３４）は、特徴画像抽出部３１により抽出された複数の特徴画像の各々に対して畳込み処理およびプーリング処理を行って認識対象が異なるプーリング画像を各々生成する。

【0024】

券種判別部３５は、第１特徴画像処理部３２から入力されたプーリング処理後の画像、第２特徴画像処理部３３から入力されたプーリング処理後の画像、および第３特徴画像処理部３４から入力されたプーリング処理後の画像の各々に対する全結合処理（結合処理）を行い、全結合処理の結果に基づいて、紙幣Ｐの券種を判別するためのパラメータセットを順次更新して学習する、または紙幣Ｐの券種を判別する。券種判別部３５は、時間に応じて、学習の対象とするまたは全結合処理の対象とするプーリング処理後の画像を変更する。券種判別部３５においては、例えば、シグモイド関数やＲｅＬｕ関数などの活性化関数が複数の層で組み合わされたネットワークを形成している。

【0025】

特徴画像抽出部３１、第１特徴画像処理部３２、第２特徴画像処理部３３、第３特徴画像処理部３４、および券種判別部３５の各機能部のうち一部または全部は、ＣＰＵ等のプロセッサが、プログラムメモリに記憶されたプログラムを実行することで実現される。なお、これらの各機能部のうち一部または全部は、プロセッサがプログラムを実行するのと同様の機能を有するＬＳＩ（Large Scale Integration）、およびＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアにより実現されてもよい。

【0026】

次に、本実施形態の鑑査装置１６の動作について説明する。鑑査装置１６の動作は、紙幣の券種判別を行うための前準備を行う学習段階と、紙幣の券種判別を行う運用段階とに大別される。まず、学習段階における処理について説明する。図４は、本実施形態の鑑査装置１６の学習段階における処理の流れの一例を示すフローチャートである。尚、学習段階における鑑査装置１６を「学習装置」と呼び、運用段階における鑑査装置１６を「紙葉類判別装置」と呼ぶ。

【0027】

まず、画像取得部３０は、鑑査装置１６（学習装置）を通過する紙幣Ｐを撮像し、撮像画像（紙葉類画像）を取得する（ステップＳ１０１）。画像取得部３０は、取得した撮像画像を特徴画像抽出部３１に出力する。

【0028】

次に、特徴画像抽出部３１は、画像取得部３０から入力された撮像画像全体から、紙幣Ｐが撮像されている領域（紙幣画像）を抽出し、紙幣画像の向きを所定の方向に調整する（ステップＳ１０３）。例えば、特徴画像抽出部３１は、上記の撮像処理において撮像される背景の色を黒や白の単色とし、輝度が背景色と異なる領域を紙幣Ｐが撮像されている領域として抽出してもよい。また、特徴画像抽出部３１は、撮像画像から紙幣Ｐのエッジ成分を検出して紙幣Ｐが撮像されている領域を抽出してもよい。本実施形態における背景除去処理には任意の手法を用いてよい。

【0029】

また、例えば、特徴画像抽出部３１は、上記の背景除去処理により得られた紙幣画像の頂点に対して、アフィン変換などを行い、各頂点の位置を所望の位置に合わせることで（例えば、紙幣Ｐの長辺を水平方向に合わせる場合、長辺を挟む頂点の短辺方向の座標を同じにすることで）、紙幣画像の向きを所定の方向に調整してよい。本実施形態において向き調整には任意の手法を用いてよい。

【0030】

次に、特徴画像抽出部３１は、所定の方向に向きが調整された紙幣画像から、予め指定された座標情報に基づき、紙幣Ｐの券種を分類するのに適した複数の小規模な特徴的な画像を抽出する（ステップＳ１０５）。例えば、特徴画像抽出部３１は、図３に示すように、紙幣画像５０から、額面数字が印刷された領域の画像である第１特徴画像Ｆ１と、シンボルが印刷された領域の画像である第２特徴画像Ｆ２と、肖像画が印刷された領域の画像である第３特徴画像Ｆ３とを抽出する。特徴画像抽出部３１は、第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３を、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４にそれぞれ出力する。

【0031】

次に、第１特徴画像処理部３２の第１畳込み処理部４０は、特徴画像抽出部３１から入力された第１特徴画像Ｆ１に対して畳込み処理を行い、第２特徴画像処理部３３の第２畳込み処理部４２は、第２特徴画像Ｆ２に対して畳込み処理を行い、第３特徴画像処理部３４の第３畳込み処理部４４は、第３特徴画像Ｆ３に対して畳込み処理を行う（ステップＳ１０７）。第１畳込み処理部４０、第２畳込み処理部４２、および第３畳込み処理部４４における畳込み処理は、処理対象となる画像が異なる点を除いて同様である。以下においては、第１畳込み処理部４０における畳込み処理を例に挙げて説明する。

【0032】

第１畳込み処理部４０は、畳込みを行うための任意の大きさの係数行列を利用した畳込み計算を行う。例えば、第１畳込み処理部４０は、第１特徴画像Ｆ１から係数行列と同じ大きさの小画像を取り出し、小画像と係数行列とを用いて畳込み計算することで１つの画素を取得する。第１畳込み処理部４０は、第１特徴画像Ｆ１から取り出す小画像を変えながら（スライドさせながら）この畳込み計算を繰り返し行うことで、複数の画像を取得する。この複数の画像の集合が畳込み画像となる。

【0033】

図５は、本実施形態に係る第１畳込み処理部４０における畳込み処理を説明する図である。図５に示すように、第１畳込み処理部４０は、第１特徴画像Ｆ１の中で、例えば、図５に示す点０（第１特徴画像Ｆ１の左上の隅）に位置する３×３ピクセルの第１小画像Ｇ１を抽出し、この第１小画像Ｇ１と３×３係数行列Ｊ１とを用いて畳込み計算（２×５＋４×２＋５×１＋１×４＋５×２＋１×３＋３×３＋５×４＋２×１＝７１）を行い、第１計算値Ｋ１を得る。この第１計算値Ｋ１が、畳込み画像Ｌ１の１ピクセルの画像（１行１列目の画像）を構成する。

【0034】

次に、第１畳込み処理部４０は、第１特徴画像Ｆ１からの小画像の抽出位置をＸ方向に１ピクセル分スライドさせて同様の畳込み処理を行う。第１畳込み処理部４０は、Ｘ方向における小画像の取出しが完了した後、小画像の抽出位置をＹ方向に１ピクセル分スライドさせて同様の畳込み処理を行う。このように、小画像の抽出位置をＸ方向およびＹ方向に移動させつつ、第１特徴画像Ｆ１における最終位置（例えば、第１特徴画像Ｆ１の右下の隅）に到達するまで畳込み処理を繰り返す。尚、本実施形態においては、第１特徴画像Ｆ１の左上の隅から右下の隅まで抽出位置を移動させることとしたが、第１特徴画像Ｆ１の全面を移動できるような順序であれば、移動順序はこれに限られない。この畳込み処理により、畳込み画像Ｌ１を取得する。

【0035】

次に、第１プーリング処理部４１は、第１畳込み処理部４０から入力された畳込み画像に対してプーリング処理を行い、第２プーリング処理部４３は、第２畳込み処理部４２から入力された畳込み画像に対してプーリング処理を行い、第３プーリング処理部４５は、第３畳込み処理部４４から入力された畳込み画像に対してプーリング処理を行う（ステップＳ１０９）。第１プーリング処理部４１、第２プーリング処理部４３、および第３プーリング処理部４５におけるプーリング処理は、処理対象となる画像が異なる点を除いて同様である。以下においては、第１プーリング処理部４１におけるプーリング処理を例に挙げて説明する。

【0036】

図６は、本実施形態に係る第１プーリング処理部４１におけるプーリング処理を説明する図である。第１プーリング処理部４１は、例えば、畳込み画像Ｌ１から、例えば、３×３ピクセルの画像を抽出し、この画像の最大輝度や平均輝度を算出する。図６では、最大輝度を算出する例を示している。例えば、第１プーリング処理部４１は、畳込み画像Ｌ１から、３×３ピクセルの画像Ｍ１（第１から３行×第１から第３列）を抽出し、この中の最大輝度「２１０」を示す１ピクセルの画素Ｎ１を算出する。この画素Ｎ１が、プーリング画像Ｐ１の１ピクセルの画像（１行１列目の画像）を構成する。

【0037】

次に、第１プーリング処理部４１は、畳込み画像Ｌ１からの抽出位置を列方向に３ピクセル分スライドさせて同様のプーリング処理を行う。第１プーリング処理部４１は、列方向におけるプーリング処理が完了した後、抽出位置を行方向に３ピクセル分スライドさせて同様のプーリング処理を行う。このように、小画像の抽出位置をＸ方向およびＹ方向に移動させつつ、畳込み画像Ｌ１における最終位置（例えば、畳込み画像Ｌ１の右下の隅）に到達するまでプーリング処理を繰り返す。尚、本実施形態においては、畳込み画像Ｌ１の左上の隅から右下の隅まで抽出位置を移動させることとしたが、畳込み画像Ｌ１の全面を移動できるような順序であれば、移動順序はこれに限られない。このプーリング処理により、プーリング画像Ｐ１を取得する。

【0038】

第１特徴画像処理部３２は、１つの第１特徴画像Ｆ１に対して、異なるパラメータ（例えば、係数行列のサイズ、係数値、スライド幅などを変更させたパラメータ）を用いた畳込み処理、およびプーリング処理を行って複数のプーリング画像を生成し、券種判別部３５に出力する。尚、この場合、プーリング処理における各種パラメータを調整してもよい。

【0039】

第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４における上記の畳込み処理およびプーリング処理は、並列して実行される。すなわち、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４は、特徴画像抽出部３１により抽出された複数の特徴画像の各々に対する畳込み処理およびプーリング処理を、他の画像処理部と非同期に実行する（特徴画像毎に並列して）実行する。

【0040】

次に、券種判別部３５は、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々から入力されたプーリング画像の内、いずれか一つの画像処理部から入力されたプーリング画像（単一の特徴画像から得られたプーリング画像）に対する全結合処理を行って、券種判別の学習処理を行う（ステップＳ１１１）。例えば、券種判別部３５は、まず、第１特徴画像処理部３２から入力された第１特徴画像Ｆ１から得られたプーリング画像に対する全結合処理を行う。

【0041】

次に、券種判別部３５は、全ての特徴画像に対する全結合処理が完了したか否かを判定する（ステップＳ１１３）。例えば、券種判別部３５は、第２特徴画像Ｆ２および第３特徴画像Ｆ３に対する全結合処理が完了していないと判定した場合、次に、第２特徴画像Ｆ２に対する全結合処理を行って、券種判別の学習処理を行う。一方、券種判別部３５は、全ての特徴画像に対する全結合処理が完了したと判定した場合、本フローチャートの処理を終了する。

【0042】

すなわち、券種判別部３５は、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々から出力されたプーリング画像に対して順次（時間的に異なるタイミングで）全結合処理を行う。例えば、券種判別部３５は、ある時刻ｔでは、第１特徴画像処理部３２から入力されたプーリング画像に対して全結合処理を行い、時刻ｔ＋１では、第２特徴画像処理部３３から入力されたプーリング画像に対して全結合処理を行い、時刻ｔ＋２では、第３特徴画像処理部３４から入力されたプーリング画像に対して全結合処理を行う。尚、券種判別部３５は、上記の第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々から出力されたプーリング画像に対する全結合処理を繰り返し行ってよい。

【0043】

図７は、本実施形態に係る券種判別部３５における第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３に基づく券種判別処理を説明する図である。図７に示すように、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々から出力された複数のプーリング画像が、券種判別部３５に集められて上記の全結合処理が施される。これにより、全結合処理において使用される各種パラメータ（重みパラメータ）の学習処理が行われる。学習の結果として得られるパラメータセットは、第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３の全てに適用可能な（全てに共通する）ものとなる。

【0044】

次に、運用段階における処理について説明する。図８は、本実施形態の鑑査装置１６の運用段階における処理の流れの一例を示すフローチャートである。

【0045】

まず、画像取得部３０は、鑑査装置１６（紙葉類判別装置）を通過する紙幣Ｐを撮像し、撮像画像を取得する（ステップＳ２０１）。画像取得部３０は、取得した撮像画像を特徴画像抽出部３１に出力する。

【0046】

次に、特徴画像抽出部３１は、画像取得部３０から入力された撮像画像全体から、紙幣Ｐが撮像されている領域（紙幣画像）を抽出し、紙幣画像の向きを所定の方向に調整する（ステップＳ２０３）。

【0047】

次に、特徴画像抽出部３１は、所定の方向に向きが調整された紙幣画像から、予め指定された座標情報に基づき、紙幣Ｐの券種を分類するのに適した複数の小規模な特徴的な画像を抽出する（ステップＳ２０５）。例えば、特徴画像抽出部３１は、図３に示すような紙幣画像５０から、額面数字が印刷された領域の画像である第１特徴画像Ｆ１と、シンボルが印刷された領域の画像である第２特徴画像Ｆ２と、肖像画が印刷された領域の画像である第３特徴画像Ｆ３とを抽出する。特徴画像抽出部３１は、第１特徴画像Ｆ１、第２特徴画像Ｆ２、および第３特徴画像Ｆ３を、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４にそれぞれ出力する。

【0048】

次に、第１特徴画像処理部３２の第１畳込み処理部４０は、特徴画像抽出部３１から入力された第１特徴画像Ｆ１に対して畳込み処理を行い、第２特徴画像処理部３３の第２畳込み処理部４２は、第２特徴画像Ｆ２に対して畳込み処理を行い、第３特徴画像処理部３４の第３畳込み処理部４４は、第３特徴画像Ｆ３に対して畳込み処理を行う（ステップＳ２０７）。

【0049】

次に、第１プーリング処理部４１は、第１畳込み処理部４０から入力された畳込み画像に対してプーリング処理を行い、第２プーリング処理部４３は、第２畳込み処理部４２から入力された畳込み画像に対してプーリング処理を行い、第３プーリング処理部４５は、第３畳込み処理部４４から入力された畳込み画像に対してプーリング処理を行う（ステップＳ２０９）。

【0050】

第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々は、１つの第１特徴画像Ｆ１に対して、異なるパラメータ（例えば、係数行列のサイズ、係数値、スライド幅など）を用いた畳込み処理、およびプーリング処理を行って複数のプーリング画像を生成し、券種判別部３５に出力する。尚、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４における上記の畳込み処理およびプーリング処理は、並列して実行される。

【0051】

次に、券種判別部３５は、第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々から入力されたプーリング画像の内、いずれか一つの画像処理部から入力されたプーリング画像（単一の特徴画像から得られたプーリング画像）に対する全結合処理を行う（ステップＳ２１１）。例えば、券種判別部３５は、まず、第１特徴画像処理部３２から入力された第１特徴画像Ｆ１から得られたプーリング画像に対する全結合処理を行う。

【0052】

次に、券種判別部３５は、全ての特徴画像に対する全結合処理が完了したか否かを判定する（ステップＳ２１３）。例えば、券種判別部３５は、第２特徴画像Ｆ２および第３特徴画像Ｆ３に対する全結合処理が完了していないと判定した場合、第２特徴画像Ｆ２に対する全結合処理を行う。尚、券種判別部３５は、上記の第１特徴画像処理部３２、第２特徴画像処理部３３、および第３特徴画像処理部３４の各々から出力されたプーリング画像に対する全結合処理を繰り返し行ってよい。

【0053】

一方、券種判別部３５は、全ての特徴画像に対する全結合処理が完了したと判定した場合、第１特徴画像処理部３２から入力されたプーリング画像に対する全結合処理の結果、第２特徴画像処理部３３から入力されたプーリング画像に対する全結合処理の結果、および第３特徴画像処理部３４から入力されたプーリング画像に対する全結合処理の結果に基づいて、紙幣Ｐの券種判別処理を行い（ステップＳ２１５）、判別結果を表示装置（図示しない）などに表示する。以上により、本フローチャートの処理を終了する。

【0054】

以上説明した本実施形態によれば、高精度かつ短時間で紙葉類の券種を判別することを可能にする学習装置、紙葉類判別装置および紙葉類判別方法を提供することができる。また、本実施形態では、紙葉類におけるデザインの差異が表れる複数の特徴画像を抽出し、この複数の特徴画像に基づく券種判別を行うことで、券種判別の精度を向上させることができる。

【0055】

また、本実施形態では、券種判別部３５は、時間に応じて、全結合処理の対象とするプーリング画像を変更する。このため、処理時間を増加させることなく、複数の画像に対してＤｅｅｐ Ｌｅａｒｎｉｎｇ技術であるＣＮＮを適用することができる。また、複数の特徴画像に対して共通する全結合処理を行うため、複数の特徴画像を個別にＣＮＮで検知して総合的に判定する場合と比較して、総合判定も不要となり、全結合処理も増加しないため、計算時間の増加を抑えることができる。また、畳み込み処理とプーリング処理により代表的な券種の画像が最も精度よく検知出来るような変換式をBack-Propagation法などの学習手法により行うことで高精度の券種判別が可能となる。

【0056】

尚、本実施形態において、紙葉類Ｐは紙幣に限られず、印刷模様のある紙葉類であればよい。例えば、紙葉類Ｐは、郵便物の料額印、小切手、各種帳票などにも適用できる。また、紙葉類Ｐの代表的な画像は、額面数字、シンボル、肖像画に限られず、例えば、スタンプ、紙幣裏面の模様などであってもよい。

【0057】

以上説明した少なくともひとつの実施形態によれば、学習装置１６は、画像取得部３０と、特徴画像抽出部３１と、複数の画像処理部３２から３４と、券種判別部３５とを持つ。画像取得部３０は、紙葉類を撮像した画像である紙葉類画像を取得する。特徴画像抽出部３１は、画像取得部３０によって取得された紙葉類画像から認識対象が異なる複数の一次特徴画像を抽出する。複数の画像処理部３２から３４は、特徴画像抽出部３１により抽出された複数の一次特徴画像の各々に対して畳込み処理およびプーリング処理を行って認識対象が異なる二次特徴画像を各々生成する。券種判別部３５は、複数の画像処理部３２から３４により生成された複数の二次特徴画像の各々に対する結合処理の結果に基づいて、紙葉類の券種を判別するためのパラメータセットを順次更新して学習する。これによって、実施形態の学習装置は、高精度かつ短時間で紙幣Ｐの券種の判別を可能にすることができる。

【0058】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0059】

１６…鑑査装置（学習装置，紙葉類判別装置）、３０…画像取得部、３１…特徴画像抽出部、３２…第１画像処理部（画像処理部）、３３…第２画像処理部（画像処理部）、３４…第３画像処理部（画像処理部）、３５…券種判別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】