特許 6776384 紙葉類束の特性判定用画像データ形成装置、プログラムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6776384

(24)【登録日】2020年10月9日

(45)【発行日】2020年10月28日

(54)【発明の名称】紙葉類束の特性判定用画像データ形成装置、プログラムおよび方法

(51)【国際特許分類】

   G06T 3/40 20060101AFI20201019BHJP

【ＦＩ】

   G06T3/40

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2019-23919(P2019-23919)

(22)【出願日】2019年2月13日

(65)【公開番号】特開2020-135067(P2020-135067A)

(43)【公開日】2020年8月31日

【審査請求日】2019年10月16日

【前置審査】

(73)【特許権者】

【識別番号】000230858

【氏名又は名称】日本金銭機械株式会社

(74)【代理人】

【識別番号】100136319

【弁理士】

【氏名又は名称】北原 宏修

(72)【発明者】

【氏名】吉田 修一

(72)【発明者】

【氏名】大濱 剛

(72)【発明者】

【氏名】今西 勁峰

(72)【発明者】

【氏名】今中 良一

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１５−１８０９８２（ＪＰ，Ａ）

【文献】 国際公開第２０１８／０７１７６８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

少なくとも紙葉類束の実画像を含む実画像データと、前記紙葉類束の厚みに関するデータ（以下「厚み関連データ」という。）とを関連付けた基本データセットを複数記憶する記憶部と、
前記実画像データにおいて前記紙葉類束の領域データを伸縮加工すると共に、その加工対象の実画像データに関連付けられた前記厚み関連データに前記伸縮の倍率を乗じて、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する新たな厚み関連データ（以下「第１次新厚み関連データ」という。）を生成し、前記第１次新厚み関連データを前記加工画像データに関連付けて新たなデータセットを生成する第１次新データセット生成処理を実行する新データセット生成処理部と
を備え、
前記新データセット生成処理部は、複数の基本データセットに対して前記第１次新データセット生成処理を繰り返して新たなデータセットを増産する
紙葉類束の特性判定用画像データ形成装置。

【請求項2】

前記新データセット生成処理部は、前記加工画像データにおいて少なくとも前記紙葉類束の領域データを加工すると共に、加工された前記領域データを含む画像データ（以下「再加工画像データ」という。）に対応する更に新たな厚み関連データ（以下「第２次新厚み関連データ」という。）を生成し、前記第２次新厚み関連データを前記再加工画像データに関連付けて更に新たなデータセットを生成する第２次新データセット生成処理をさらに実行する
請求項１に記載の紙葉類束の特性判定用画像データ形成装置。

【請求項3】

少なくとも紙葉類束の実画像を含む実画像データと、前記紙葉類束の損傷状態を示す損傷状態指標値データとを関連付けた基本データセットを複数記憶する記憶部と、
前記実画像データにおいて前記紙葉類束の領域データの少なくとも一部を、少なくとも一つの置換画像で置換加工すると共に、前記置換画像に関連付けられた損傷状態指標値から、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する前記紙葉類束の新たな損傷状態指標値データ（以下「第１次新損傷状態指標値データ」という。）を生成し、前記第１次新損傷状態指標値データを前記加工画像データに関連付けて新たなデータセットを生成する第１次新データセット生成処理を実行する新データセット生成処理部と
を備え、
前記新データセット生成処理部は、複数の基本データセットに対して前記第１次新データセット生成処理を繰り返して新たなデータセットを増産する
紙葉類束の特性判定用画像データ形成装置。

【請求項4】

前記新データセット生成処理部は、前記加工画像データにおいて少なくとも前記紙葉類束の領域データを加工すると共に、加工された前記領域データを含む画像データ（以下「再加工画像データ」という。）に対応する更に新たな状態指標値データ（以下「第２次新状態指標値データ」という。）を生成し、前記第２次新状態指標値データを前記再加工画像データに関連付けて更に新たなデータセットを生成する第２次新データセット生成処理をさらに実行する
請求項３に記載の紙葉類束の特性判定用画像データ形成装置。

【請求項5】

電子計算機に対して、
少なくとも紙葉類束の実画像を含む実画像データと、前記紙葉類束の厚みに関するデータ（以下「厚み関連データ」という。）とを関連付けた基本データセットを複数入力受付させる基本データセット入力受付ステップと、
前記基本データセット入力受付ステップにおいて前記基本データセットの入力が完了された後に、前記実画像データにおいて前記紙葉類束の領域データを伸縮加工させると共に、その加工対象の実画像データに関連付けられた前記厚み関連データに前記伸縮の倍率を乗じさせて、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する新たな厚み関連データ（以下「新厚み関連データ」という。）を生成させ、前記新厚み関連データを前記加工画像データに関連付けて新たなデータセットを生成させる新データセット生成処理ステップと
を実行させるプログラムであり、
前記電子計算機に、複数の基本データセットに対して前記新データセット生成処理ステップを繰り返させて新たなデータセットを増産させる
紙葉類束の特性判定用画像データ形成プログラム。

【請求項6】

電子計算機に対して、
少なくとも紙葉類束の実画像を含む実画像データと、前記紙葉類束の損傷状態を示す損傷状態指標値データとを関連付けた基本データセットを複数入力受付させる基本データセット入力受付ステップと、
前記基本データセット入力受付ステップにおいて前記基本データセットの入力が完了された後に、前記実画像データにおいて前記紙葉類束の領域データの少なくとも一部を、少なくとも一つの置換画像で置換加工させると共に、前記置換画像に関連付けられた損傷状態指標値から、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する前記紙葉類束の新たな損傷状態指標値データ（以下「新損傷状態指標値データ」という。）を生成させ、前記新損傷状態指標値データを前記加工画像データに関連付けて新たなデータセットを生成させる新データセット生成処理ステップと
を実行させるプログラムであり、
前記電子計算機に、複数の基本データセットに対して前記新データセット生成処理ステップを繰り返させて新たなデータセットを増産させる
紙葉類束の特性判定用画像データ形成プログラム。

【請求項7】

前記電子計算機に対して、
少なくとも紙葉類束の実画像を含む実画像データと、前記紙葉類束の厚みに関するデータ（以下「厚み関連データ」という。）とを関連付けた基本データセットを複数入力受付させる基本データセット入力受付ステップと、
前記基本データセット入力受付ステップにおいて前記基本データセットの入力が完了された後に、前記実画像データにおいて前記紙葉類束の領域データを伸縮加工させると共に、その加工対象の実画像データに関連付けられた前記厚み関連データに前記伸縮の倍率を乗じさせて、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する新たな厚み関連データ（以下「新厚み関連データ」という。）を生成させ、前記新厚み関連データを前記加工画像データに関連付けて新たなデータセットを生成させる新データセット生成処理ステップと
を実施させる方法であり、
前記電子計算機に、複数の基本データセットに対して前記新データセット生成処理ステップを繰り返させて新たなデータセットを増産させる
紙葉類束の特性判定用画像データ形成方法。

【請求項8】

前記電子計算機に対して、
少なくとも紙葉類束の実画像を含む実画像データと、前記紙葉類束の損傷状態を示す損傷状態指標値データとを関連付けた基本データセットを複数入力受付させる基本データセット入力受付ステップと、
前記基本データセット入力受付ステップにおいて前記基本データセットの入力が完了された後に、前記実画像データにおいて前記紙葉類束の領域データの少なくとも一部を、少なくとも一つの置換画像で置換加工させると共に、前記置換画像に関連付けられた損傷状態指標値から、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する前記紙葉類束の新たな損傷状態指標値データ（以下「新損傷状態指標値データ」という。）を生成させ、前記新損傷状態指標値データを前記加工画像データに関連付けて新たなデータセットを生成させる新データセット生成処理ステップと
を実施させる方法であり、
前記電子計算機に、複数の基本データセットに対して前記新データセット生成処理ステップを繰り返させて新たなデータセットを増産させる
紙葉類束の特性判定用画像データ形成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、紙葉類束の特性（例えば、厚さや、傷み等の状態など）を判定するために用いる画像データを形成する装置や、プログラムおよび方法に関する。

【背景技術】

【0002】

過去に「ロボットハンド付アームを利用した紙幣処理装置」が提案されている（例えば、特開昭６２−９２０９５号公報等）。このような紙幣処理装置では、ロボットハンド付アームによって紙幣箱から紙幣束が取り出された後に紙幣カウント紙幣確認ユニットまで搬送され、紙幣カウント紙幣確認ユニットにて紙幣束が金種別に仕分けされながら金種毎の枚数がカウントされる。そして、金種毎に仕分けされた紙幣束は金種別に別のロボットハンド付アームによって規定の位置まで搬送される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開昭６２−９２０９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、紙幣束等の紙葉類束をロボットハンドに掴ませる際、ロボットハンドの制御装置に対して事前にその紙葉類束の特性値データ（例えば、厚みや状態等）を与えておくことができれば、その制御装置は、ロボットハンドに対してその紙葉類束に適した掴み方を実行させることができるものと期待される。

【0005】

そこで、ここでは、紙葉類束の特性値データを出力することができるようにすることを課題とする。

【課題を解決するための手段】

【0006】

本発明の第１局面に係る紙葉類束の特性判定用画像データ形成装置は、記憶部および新データセット生成処理部を備える。記憶部には、複数の基本データセットが記憶される。ここで、基本データセットには、少なくとも「紙葉類束の実画像を含む実画像データ」と「紙葉類束の厚みに関するデータ（以下「厚み関連データ」という。）」とが含まれている。なお、厚み関連データとしては、例えば、厚みの実寸値、厚みの相対値等である。また、「紙葉類束の厚み関連データ」は１種類のデータであってもよいし、複数種類のデータを含んでいてもよい。そして、この基本データセットでは、少なくとも上述の実画像データと厚み関連データとが関連付けられている。なお、ここでは、予め人手により実画像データから抽出処理された紙葉類束の領域データが基本データセットに含められてもよい。かかる場合、その基本データセットでは、上述の実画像データと、上述の厚み関連データと、上述の領域データとが相互に関連付けられることになる。新データセット生成処理部は、第１次新データセット生成処理を実行する。第１次新データセット生成処理では、上述の実画像データにおいて紙葉類束の領域データが伸縮加工されると共に、その加工対象の実画像データに関連付けられた厚み関連データに伸縮の倍率が乗じられて、加工された領域データを含む画像データ（以下「加工画像データ」という。）に対応する新たな厚み関連データ（以下「第１次新厚み関連データ」という。）が生成され、第１次新厚み関連データが加工画像データに関連付けられて新たなデータセットが生成される。なお、ここで「領域データ」は、上述の通り、予め基本データセットにおいて他のデータと関連付けられていて、その基本データセットから呼び出されてもよいが、エッジ抽出プログラム等により「紙葉類束の実画像を含む実画像データ」から自動的に抽出されてもよい。そして、この新データセット生成処理部は、複数の基本データセットに対して第１次新データセット生成処理を繰り返して新たなデータセットを増産する。

【0007】

上述の通り、この紙葉類束の特性判定用画像データ形成装置は、新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の厚み関連データを出力することができる。

【0008】

ところで、通常、上記判定モデルの作成には、多量の教師データが必要となるが、この教師データとして実画像データでまかなうのは現実的ではない。これに対して、本発明に係る特性判定用画像データ形成装置では、加工画像データが自動生成されながらその加工画像データに対応するデータセットが増殖される。このため、この特性判定用画像データ形成装置を利用することによって、極めて効率よく教師データを得ることができる。

【0009】

本発明の第２局面に係る紙葉類束の特性判定用画像データ形成装置は、第１局面に係る紙葉類束の特性判定用画像データ形成装置であって、新データセット生成処理部は、第２次新データセット生成処理をさらに実行する。第２次新データセット生成処理では、加工画像データにおいて少なくとも紙葉類束の領域データが加工されると共に、加工された領域データを含む画像データ（以下「再加工画像データ」という。）に対応する更に新たな厚み関連データ（以下「第２次新厚み関連データ」という。）が生成され、第２次新厚み関連データが再加工画像データに関連付けられて更に新たなデータセットが生成される。

【0010】

上述の通り、この紙葉類束の特性判定用画像データ形成装置では、再加工画像データを含む新たなデータセットが生成される。このため、この紙葉類束の特性判定用画像データ形成装置では、多種多様のデータセットを生成することができる。

【0011】

本発明の第３局面に係る紙葉類束の特性判定用画像データ形成装置は、記憶部および新データセット生成処理部を備える。記憶部には、複数の基本データセットが記憶される。ここで、基本データセットには、少なくとも「紙葉類束の実画像を含む実画像データ」と「紙葉類束の損傷状態を示す損傷状態指標値データ」とが含まれている。また、「紙葉類束の損傷状態を示す損傷状態指標値データ」は１種類のデータであってもよいし、複数種類のデータを含んでいてもよい。そして、この基本データセットでは、少なくとも上述の実画像データと損傷状態指標値データとが関連付けられている。なお、ここでは、予め人手により実画像データから抽出処理された紙葉類束の領域データが基本データセットに含められてもよい。かかる場合、その基本データセットでは、上述の実画像データと、上述の損傷状態指標値データと、上述の領域データとが相互に関連付けられることになる。新データセット生成処理部は、第１次新データセット生成処理を実行する。第１次新データセット生成処理では、上述の実画像データにおいて紙葉類束の領域データの少なくとも一部が、少なくとも一つの置換画像で置換加工されると共に、置換画像に関連付けられた損傷状態指標値から、加工された領域データを含む画像データ（以下「加工画像データ」という。）に対応する紙葉類束の新たな損傷状態指標値データ（以下「第１次新損傷状態指標値データ」という。）が生成され、第１次新損傷状態指標値データが加工画像データに関連付けられて新たなデータセットが生成される。なお、ここで「領域データ」は、上述の通り、予め基本データセットにおいて他のデータと関連付けられていて、その基本データセットから呼び出されてもよいが、エッジ抽出プログラム等により「紙葉類束の実画像を含む実画像データ」から自動的に抽出されてもよい。そして、この新データセット生成処理部は、複数の基本データセットに対して第１次新データセット生成処理を繰り返して新たなデータセットを増産する。

【0012】

上述の通り、この紙葉類束の特性判定用画像データ形成装置は、新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の損傷状態指標値データを出力することができる。

【0013】

ところで、通常、上記判定モデルの作成には、多量の教師データが必要となるが、この教師データとして実画像データでまかなうのは現実的ではない。これに対して、本発明に係る特性判定用画像データ形成装置では、加工画像データが自動生成されながらその加工画像データに対応するデータセットが増殖される。このため、この特性判定用画像データ形成装置を利用することによって、極めて効率よく教師データを得ることができる。

【0014】

本発明の第４局面に係る紙葉類束の特性判定用画像データ形成装置は、第３局面に係る紙葉類束の特性判定用画像データ形成装置であって、新データセット生成処理部は、第２次新データセット生成処理をさらに実行する。第２次新データセット生成処理では、加工画像データにおいて少なくとも紙葉類束の領域データが加工されると共に、加工された領域データを含む画像データ（以下「再加工画像データ」という。）に対応する更に新たな状態指標値データ（以下「第２次新状態指標値データ」という。）が生成され、第２次新状態指標値データが再加工画像データに関連付けられて更に新たなデータセットが生成される。

【0015】

上述の通り、この紙葉類束の特性判定用画像データ形成装置では、再加工画像データを含む新たなデータセットが生成される。このため、この紙葉類束の特性判定用画像データ形成装置では、多種多様のデータセットを生成することができる。

【0016】

本発明の第５局面に係る紙葉類束の特性判定用画像データ形成プログラムは、電子計算機に対して、基本データセット入力受付ステップおよび新データセット生成処理ステップを実行させるものである。基本データセット入力受付ステップでは、電子計算機に対して、複数の基本データセットを入力受付させる。ここで、基本データセットには、少なくとも「紙葉類束の実画像を含む実画像データ」および「紙葉類束の厚みに関するデータ（以下「厚み関連データ」という。）」が含まれている。そして、この基本データセットでは、少なくとも上述の実画像データと厚み関連データとが関連付けられている。なお、ここでは、予め人手により実画像データから抽出処理された紙葉類束の領域データが基本データセットに含められてもよい。かかる場合、その基本データセットでは、上述の実画像データと、上述の厚み関連データと、上述の領域データとが相互に関連付けられることになる。そして、基本データセット入力受付ステップにおいて基本データセットの入力が完了された後に、新データセット生成処理ステップが実行される。新データセット生成処理ステップでは、電子計算機に対して、実画像データにおいて紙葉類束の領域データを伸縮加工させると共に、その加工対象の実画像データに関連付けられた厚み関連データに伸縮の倍率を乗じさせて、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する新たな厚み関連データ（以下「新厚み関連データ」という。）を生成させ、新厚み関連データを加工画像データに関連付けて新たなデータセットを生成させる。なお、ここで「領域データ」は、上述の通り、予め基本データセットにおいて他のデータと関連付けられていて、その基本データセットから呼び出されてもよいが、エッジ抽出プログラム等により「紙葉類束の実画像を含む実画像データ」から自動的に抽出されてもよい。そして、このプログラムは、電子計算機に、複数の基本データセットに対して新データセット生成処理ステップを繰り返させて新たなデータセットを増産させる。

【0017】

上述の通り、この紙葉類束の特性判定用画像データ形成プログラムを実行することによって、新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の厚み関連データを出力することができる。

【0018】

本発明の第６局面に係る紙葉類束の特性判定用画像データ形成プログラムは、電子計算機に対して、基本データセット入力受付ステップおよび新データセット生成処理ステップを実行させるものである。基本データセット入力受付ステップでは、電子計算機に対して、複数の基本データセットを入力受付させる。ここで、基本データセットには、少なくとも「紙葉類束の実画像を含む実画像データ」および「紙葉類束の損傷状態を示す損傷状態指標値データ」が含まれている。そして、この基本データセットでは、少なくとも上述の実画像データと損傷状態指標値データとが関連付けられている。なお、ここでは、予め人手により実画像データから抽出処理された紙葉類束の領域データが基本データセットに含められてもよい。かかる場合、その基本データセットでは、上述の実画像データと、上述の損傷状態指標値データと、上述の領域データとが相互に関連付けられることになる。そして、基本データセット入力受付ステップにおいて基本データセットの入力が完了された後に、新データセット生成処理ステップが実行される。新データセット生成処理ステップでは、電子計算機に対して、実画像データにおいて紙葉類束の領域データの少なくとも一部を、少なくとも一つの置換画像で置換加工させると共に、置換画像に関連付けられた損傷状態指標値から、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する紙葉類束の新たな損傷状態指標値データ（以下「新損傷状態指標値データ」という。）を生成させ、新損傷状態指標値データを加工画像データに関連付けて新たなデータセットを生成させる。なお、ここで「領域データ」は、上述の通り、予め基本データセットにおいて他のデータと関連付けられていて、その基本データセットから呼び出されてもよいが、エッジ抽出プログラム等により「紙葉類束の実画像を含む実画像データ」から自動的に抽出されてもよい。そして、このプログラムは、電子計算機に、複数の基本データセットに対して新データセット生成処理ステップを繰り返させて新たなデータセットを増産させる。

【0019】

上述の通り、この紙葉類束の特性判定用画像データ形成プログラムを実行することによって、新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の損傷状態指標値データを出力することができる。

【0020】

本発明の第７局面に係る紙葉類束の特性判定用画像データ形成方法は、電子計算機に対して、基本データセット入力受付ステップおよび新データセット生成処理ステップを実施させるものである。基本データセット入力受付ステップでは、電子計算機に対して、複数の基本データセットを入力受付させる。ここで、基本データセットには、少なくとも「紙葉類束の実画像を含む実画像データ」および「紙葉類束の厚みに関するデータ（以下「厚み関連データ」という。）」が含まれている。そして、この基本データセットでは、少なくとも上述の実画像データと厚み関連データとが関連付けられている。なお、ここでは、予め人手により実画像データから抽出処理された紙葉類束の領域データが基本データセットに含められてもよい。かかる場合、その基本データセットでは、上述の実画像データと、上述の厚み関連データと、上述の領域データとが相互に関連付けられることになる。そして、基本データセット入力受付ステップにおいて基本データセットの入力が完了された後に、新データセット生成処理ステップが実行される。新データセット生成処理ステップでは、電子計算機に対して、実画像データにおいて紙葉類束の領域データを伸縮加工させると共に、その加工対象の実画像データに関連付けられた厚み関連データに伸縮の倍率を乗じさせて、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する新たな厚み関連データ（以下「新厚み関連データ」という。）を生成させ、新厚み関連データを加工画像データに関連付けて新たなデータセットを生成させる。なお、ここで「領域データ」は、上述の通り、予め基本データセットにおいて他のデータと関連付けられていて、その基本データセットから呼び出されてもよいが、エッジ抽出プログラム等により「紙葉類束の実画像を含む実画像データ」から自動的に抽出されてもよい。そして、この方法では、電子計算機に、複数の基本データセットに対して新データセット生成処理ステップを繰り返させることにより新たなデータセットが増産される。

【0021】

上述の通り、この紙葉類束の特性判定用画像データ形成方法を実施することによって、新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の厚み関連データを出力することができる。

【0022】

本発明の第８局面に係る紙葉類束の特性判定用画像データ形成方法は、電子計算機に対して、基本データセット入力受付ステップおよび新データセット生成処理ステップを実施させるものである。基本データセット入力受付ステップでは、電子計算機に対して、複数の基本データセットを入力受付させる。ここで、基本データセットには、少なくとも「紙葉類束の実画像を含む実画像データ」および「紙葉類束の損傷状態を示す損傷状態指標値データ」が含まれている。そして、この基本データセットでは、少なくとも上述の実画像データと損傷状態指標値データとが関連付けられている。なお、ここでは、予め人手により実画像データから抽出処理された紙葉類束の領域データが基本データセットに含められてもよい。かかる場合、その基本データセットでは、上述の実画像データと、上述の損傷状態指標値データと、上述の領域データとが相互に関連付けられることになる。そして、基本データセット入力受付ステップにおいて基本データセットの入力が完了された後に、新データセット生成処理ステップが実行される。新データセット生成処理ステップでは、電子計算機に対して、実画像データにおいて紙葉類束の領域データの少なくとも一部を、少なくとも一つの置換画像で置換加工させると共に、置換画像に関連付けられた損傷状態指標値から、加工された前記領域データを含む画像データ（以下「加工画像データ」という。）に対応する紙葉類束の新たな損傷状態指標値データ（以下「新損傷状態指標値データ」という。）を生成させ、新損傷状態指標値データを加工画像データに関連付けて新たなデータセットを生成させる。なお、ここで「領域データ」は、上述の通り、予め基本データセットにおいて他のデータと関連付けられていて、その基本データセットから呼び出されてもよいが、エッジ抽出プログラム等により「紙葉類束の実画像を含む実画像データ」から自動的に抽出されてもよい。そして、この方法では、電子計算機に、複数の基本データセットに対して新データセット生成処理ステップを繰り返させることにより新たなデータセットが増産される。

【0023】

上述の通り、この紙葉類束の特性判定用画像データ形成方法を実施することによって、新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の損傷状態指標値データを出力することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の概略構成図である。

【図2】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるプログラムやデータベースのイメージ図である。

【図3】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の動作を説明する図である。

【図4】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納されるメインテーブルのイメージ図である。

【図5】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置のストレージに格納される画像加工用データテーブルのイメージ図である。

【図6】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の厚み導出モジュールの機能を説明するための概略図である。本図において（ａ）側の図が元の実画像データを示しており、（ｂ）側の図が加工画像データを示している。

【図7】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の第１状態指標値導出モジュールの機能を説明するための概略図である。本図において（ｃ）側の図が実画像データを示しており、（ｄ）側の図が加工画像データを示している。

【図8】本発明の実施の形態に係る基本画像データの画像に含まれている紙葉類束収容箱の斜視図である。

【図9】本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置で形成されたデータを用いてロボットハンドの指部を紙葉類束収容箱に差し込む様子の斜視図である。

【発明を実施するための形態】

【0025】

＜紙葉類束の特性判定用画像データ形成装置の構成＞
紙葉類束の特性判定用画像データ形成装置１は、いわゆる電子計算機（コンピュータ）であって、図１に示されるように、主に、本体１０、入力装置３１、及びディスプレイ３２を備える。なお、ここで、紙葉類束とは、例えば、紙幣束（札束）等である。以下、これらの構成要素について詳述した後に紙葉類束の特性判定用画像データ形成装置１の動作についても説明する。

【0026】

＜紙葉類束の特性判定用画像データ形成装置の構成要素＞
（１）本体
本体１０は、図１に示されるように、主に、中央処理部１１、メインメモリ１３、ストレージ１４、接続部１２、ＳＴＲインターフェイス１５、入力インターフェイス１６およびＤＳＰインターフェイス１７から構成されている。そして、この本体１０では、中央処理部１１が第１バス線２１を介して、メインメモリ１３が第２バス線２２を介して、各種インターフェイス１５〜１７が第３バス線２３を介して接続部１２に接続されている。以下、これらの構成要素について説明する。

【0027】

（１−１）中央処理部
中央処理部１１は、例えば、マイクロプロセッサと呼ばれる半導体チップ等であって、主に、制御部１１Ａおよび演算部１１Ｂから構成される（なお、この中央処理部１１には、他に１次キャッシュメモリや２次キャッシュメモリ等が含まれてもよい）。

【0028】

（１−２）メインメモリ
メインメモリ１３は、例えば、ＲＡＭ（ランダムアクセスメモリ）等の揮発性高速メモリである。

【0029】

（１−３）接続部
接続部１２は、チップセット等の半導体チップである。

【0030】

（１−４）ストレージ
ストレージ１４は、ハードディスクドライブやソリッドステートドライブ等の補助記憶装置である。そして、このストレージ１４には、図２に示されるように、オペレーティングシステム１４ａ、デバイスドライバ１４ｂおよび紙葉類束の特性判定用画像データ形成アプリケーション１４ｃ等のプログラム等が格納されている。なお、このストレージ１４は、内蔵タイプに限られず、外付けタイプであってもかまわない。

【0031】

オペレーティングシステム１４ａは、例えば、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ ＯＳ（登録商標）、ＯＳ／２、ＵＮＩＸ（登録商標）（例えば、Ｌｉｎｕｘ（登録商標）等）、あるいはＢｅＯＳ（登録商標）等であって、各部１２〜１４、各種インターフェイス１５〜１７、各装置３１，３２等のハードウェア管理や、ユーザインターフェイスの提供、各種データの管理、各種アプリケーションの共通部分の処理等を行う。

【0032】

デバイスドライバ１４ｂは、ストレージ１４、接続部１２、および各装置３１，３２それぞれに対して用意されている専用プログラムであって、オペレーティングシステム１４ａがストレージ１４、接続部１２および各装置３１，３２を制御するための橋渡しをする役目を担っている。

【0033】

紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、ロボットハンドの紙葉類束の把持方法や把持圧力、紙葉類束を箱体から引き出す方法等の深層学習に代表される機械学習用のビッグデータを生み出すプログラムであって、主に、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈ、第１状態指標値導出モジュール１４ｉおよびデータベース１４ｊから構成されている。

【0034】

上述の各モジュール１４ｆ〜１４ｉには、中央処理部１１に様々な処理を行わせるための種々の命令が記述されている。例えば、基本モジュール１４ｆには、ａ）基本データセットを作成するために必要なデータを入力するための入力ページをディスプレイ３２に表示する入力ページ表示命令、ｂ）データベース１４ｊからデータセット（後述）を呼び出すデータ呼出命令、ｃ）画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉからの出力をデータセット化してデータベース１４ｊに登録するデータセット登録命令等が記述されている。また、画像加工モジュール１４ｇには、後述する画像伸縮命令や画像置換命令等が記述されている。厚み導出モジュール１４ｈには、後述する変換厚みを計算する変換厚み計算命令等が記述されている。第１状態指標値導出モジュール１４ｉには、後述する第１状態指標値Ｄｔ５’を計算する加工状態指標値計算命令等が記述されている。

【0035】

データベース１４ｊには、図４に示されるメインテーブルＴｏ１、および、図５に示される画像加工用データテーブルＴｏ２が格納されている。メインテーブルＴｏ１には、図４に示されるように、主に、第１ＩＤフィールドＦｏ１、画像フィールドＦｏ２、領域フィールドＦｏ３、厚みフィールドＦｏ４および第１状態指標値フィールドＦｏ５が設けられている。第１ＩＤフィールドＦｏ１には、１レコード毎に付される固有の数値データ（以下、第１ＩＤデータという。）Ｄｔ１が格納されている。画像フィールドＦｏ２には、後に図６において説明する、前扉を開けた状態における紙葉類束収容箱の正面の実画像データ（以下、基本実画像データという。）Ｄｔ２が格納されている。なお、紙葉類束収容箱の正面画像には、紙葉類束ならびに紙葉類束収容箱の正面枠および押え具等が含まれている。ここで、図８を用いて紙葉類束収容箱の詳細を説明する。図８に示されるように、紙葉類束収容箱２００は、主に、筐体２１０、前扉２２０、上側支持板２３０および下側支持板２４０から構成されている。筐体２１０は、図８に示されるように、前側に開口する直方体状の箱体である。前扉２２０は、略長方形状の板部材であって、ヒンジ等の開閉機構を介して筐体２１０の開口縁の上側に開閉可能に軸支されている。上側支持板２３０は、下側支持板２４０と協働して紙幣束ＭＴを挟持する部材であって、図８に示されるように、筐体２１０の高さ方向中央よりやや上側に上下移動自在に配設されている。また、この上側支持板２３０の前側中央には半円状の切欠Ｒｓが形成されている。下側支持板２４０は、上側支持板２３０と協働して紙幣束ＭＴを挟持する部材であって、図８に示されるように、筐体２１０の下側に固定されている。また、この下側支持板２４０の幅方向中央にはスリットＲｔが形成されている。そして、この紙葉類束収容箱２００では、上側支持板２３０が、その上側に配設される付勢部材（コイルスプリング等）によって下方に向かって付勢されている。すなわち、この紙葉類束収容箱２００に収容される紙幣束ＭＴは、上側支持板２３０によって下側支持板２４０に押し付けられている。ところで、ロボットハンド１００を用いて紙葉類束収容箱２００から紙幣束ＭＴを抜き出す場合、ロボットハンド１００を制御して可動指１１０を（紙幣束ＭＴの厚み＋α）の位置まで引き上げさせてから、下側支持板２４０のスリットＲｔに固定指１２０の先端部を差し込ませる。なお、このとき、可動指１１０は、上側支持板２３０の切欠Ｒｓの上方に位置する。また、このとき、スライド受け部１６０は、図９に示されるように、下側支持板２４０のスリットＲｔの両側の壁部位に当接して後退する。続いて、制御装置が、可動指１１０を下方に移動させて固定指１２０と共に紙幣束ＭＴを把持させる。さらに続いて、制御装置が、ロボットアームＲＡの動作を制御してロボットハンド１００を後退させ、紙葉類束収容箱２００から紙幣束ＭＴを抜き取らせる。なお、このとき、図９に示されるように、ロボットハンド１００の後退に伴ってスライド受け部１６０が前方に移動させられる。

【0036】

領域フィールドＦｏ３には、基本実画像データＤｔ２中の紙葉類束の領域データ（以下、紙葉類束領域データという。）Ｄｔ３が格納されている。なお、この領域データは、対応する基本画像データのトリミング画像データであって、紙葉類束の画像のみから構成されている。厚みフィールドＦｏ４には、紙葉類束領域データＤｔ３に対応する紙葉類束の厚みのデータ（以下、厚みデータという。）Ｄｔ４が格納されている。第１状態指標値フィールドＦｏ５には、紙葉類束の状態指標値のデータ（以下、第１状態指標値データという。）Ｄｔ５が格納されている。なお、この状態指標値は、紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる（なお、紙葉類間の隙間は実画像の色彩等から判断される。）。そして、上述の各フィールドＦｏ１〜Ｆｏ５に入力されているデータＤｔ１〜Ｄｔ５は、１レコード毎（図４のメインテーブルＴｏ１の行毎）に関連付けられており、データセットを構成している。

【0037】

画像加工用データテーブルＴｏ２には、図５に示されるように、主に、第２ＩＤフィールドＦｏ１１、置換画像フィールドＦｏ１２および第２状態指標値フィールドＦｏ１３が設けられている。第２ＩＤフィールドＦｏ１１には、１レコード毎に付される固有の数値データ（以下、第２ＩＤデータという。）Ｄｔ１１が格納されている。置換画像フィールドＦｏ１２には、画像加工モジュール１４ｇで用いられる置換画像データＤｔ１２が格納されている。置換画像データＤｔ１２としては、種々の状態指標値に対する置換画像データＤｔ１２ａ〜Ｄｔ１２ｅが登録されている（図７参照）。なお、この置換画像データＤｔ１２は、画像合成で作成されてもよいし、基本実画像データＤｔ２の一部を切り出して作成されてもよい。第２状態指標値フィールドＦｏ１３には、上述の置換画像に対応する状態指標値データ（以下、第２状態指標値データという。）Ｄｔ１３が格納されている。なお、この第２状態指標値は、第１状態指標値と同様に紙葉類束のシワや傷み等の損傷を表す０から１の指標値であって、損傷具合が少ないものほど、また、紙葉類間に隙間がないものほど１に近くなる。そして、上述の各フィールドＦｏ１１〜Ｆｏ１３に入力されているデータＤｔ１１〜Ｄｔ１３は、１レコード毎（図５の画像加工用データテーブルＴｏ２の行毎）に関連付けられており、データセットを構成している。

【0038】

（１−５）インターフェイス
ＳＴＲインターフェイス１５は、ＩＤＥ（Integrated Drive Electronics）やＳｅｒｉａｌ ＡＴＡ等の補助記憶装置用インターフェイスであって、ストレージ１４を接続部１２に接続する。入力インターフェイス１６は、例えば、ＰＳ／２、ＵＳＢ、ＩＥＥＥ１２８４、ＲＳ２３２あるいはＩｒＤＡ（Infrared Data Association）等のインターフェイスであって、メインメモリ１３にデータを入力するためのキーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等といった入力装置３１を接続する。ＤＳＰインターフェイス１７は、例えば、ＡＧＰ（Accelerated Graphics Port）、ＰＣＩ（Peripheral Component Interconnect）あるいはＲＳ２３２等のインターフェイス等であって、メインメモリ１３から送信されてきたデータを文字や画像として表示するためのＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等といったディスプレイ３２を接続する。

【0039】

（１−６）紙葉類束の特性判定用画像データ形成装置の動作
次に、図３を用いて紙葉類束の特性判定用画像データ形成装置１の動作について説明する。

【0040】

制御部１１Ａは、図３に示されるように、メインメモリ１３に一時記憶されるプログラムを読み込み（Ｆｄ６参照）、読み込んだプログラムに従って各部１３，１４および各装置３１，３２に動作を指示する（Ｆｃ１〜Ｆｃ５参照）。演算部１１Ｂは、制御部１１Ａの命令に従ってメインメモリ１３から必要なデータを取得して（Ｆｄ２参照）演算処理（例えば、算術演算処理や論理演算処理等）を行う。メインメモリ１３は、プログラムやデータ等をストレージ１４から取得して（Ｆｄ４参照）一時記憶したり、入力装置３１において入力されたデータを一時記憶したり（Ｆｄ１参照）、演算部１１Ｂから送信されるデータ等（Ｆｄ３参照）を一時記憶したりする。また、このメインメモリ１３は、制御部１１Ａの命令に応じて一時記憶しているデータ等を各部１１，１４およびディスプレイ３２に送信する（Ｆｄ２、Ｆｄ５、Ｆｄ６およびＦｄ７参照）。ストレージ１４は、制御部１１Ａの命令に応じてメインメモリ１３にプログラムやデータ等を供給したり（Ｆｄ４参照）メインメモリ１３から送信されるデータ等を格納したりする（Ｆｄ５参照）。

【0041】

（２）入力装置
入力装置３０は、例えば、キーボード、マウス、スキャナ、あるいはＯＣＲ（Optical Character Reader）等の入力装置である。

【0042】

（３）ディスプレイ
ディスプレイ３２は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、あるいはプラズマディスプレイ等の情報表示装置である。

【0043】

＜紙葉類束の特性判定用画像データ形成アプリケーションによるデータセット増殖方法＞
上述の通り、本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、深層学習に代表される機械学習用のビッグデータを人工的に生み出すプログラムである。この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃは、データベース１４ｊに保存されるメインテーブルＴｏ１のデータセットに対してデータ加工を施した後に、加工済みのデータセットを新規のデータセットとしてメインテーブルＴｏ１に保存することによってデータセットを増殖させるものである。以下、このデータセット増殖処理について詳述する。

【0044】

（１）データセットを構成する各種データの準備
先ず、この紙葉類束の特性判定用画像データ形成アプリケーション１４ｃを用いてメインテーブルＴｏ１のデータセットを増殖させようとする者（以下「利用者」という。）は、厚みを測定すると共に第１状態指標値を付与した紙葉類束を、前扉を開けた状態の紙葉類束収容箱の規定位置に収納した後、その状態でその紙葉類束収容箱を正面側から定点デジタルカメラ（図示せず）で撮像し、紙葉類束を含む紙葉類束収容箱の正面の実画像データ（以下「実画像データ」と略する。）を入手する。なお、ここで、第１状態指標値を付与する際、例えば、多人数による主観評価の平均値などが用いられることが好ましい。次に、利用者は、画像編集アプリケーション等を用いてその実画像中の紙葉類束以外の箇所をトリミングして紙葉類束の領域画像データ（以下、これを「領域データ」という。）を作成する。そして、その利用者は、紙葉類束の厚みや状態を変える度に、その紙葉類束の厚みを測定すると共にその紙葉類束に対して第１状態指標値を付与し、さらにその基本実画像データＤｔ２を入手した後に領域データＤｔ３を作成する。すなわち、基本実画像データＤｔ２、領域データＤｔ３、厚みデータＤｔ４、第１状態指標値データＤｔ５から成る複数種類のデータセットを用意する。なお、ここで、上述の紙葉類束の厚み測定、紙葉類束への第１状態指標値付与、紙葉類束を含む紙葉類束収容箱の正面画像データ入手は、順不同で行われてもかまわない。

【0045】

そして、利用者は、入力装置３１およびディスプレイ３２を利用して上述の４種のデータをデータセット単位でできるだけ多くメインテーブルＴｏ１に入力する。これで、準備は完了する。なお、上述の各種データは、入手毎に利用者によってメインテーブルＴｏ１に入力されてもかまわない。

【0046】

（２）自動データセット増殖処理
上述の準備が完了し、紙葉類束の特性判定用画像データ形成アプリケーション１４ｃにおいて自動データセット増殖処理が開始されると、以下の通りにして自動的に新たなデータセットが増殖される。なお、ここでは、基本モジュール１４ｆ、画像加工モジュール１４ｇ、厚み導出モジュール１４ｈおよび第１状態指標値導出モジュール１４ｉがその主な役割を担う。基本モジュール１４ｆは、データベース１４ｊのメインテーブルＴｏ１からデータセットを読み出したり、画像加工用データテーブルＴｏ２からデータセットを読み出したりした後、さらにメインテーブルＴｏ１のデータセット中の基本実画像データＤｔ２を読み出して、画像加工モジュール１４ｇにその基本実画像データＤｔ２を加工させる。画像加工モジュール１４ｇは、その基本実画像データＤｔ２を加工して厚みデータＤｔ４’の導出用の加工画像データＤｔ２’を作成するか、第１状態指標値データＤｔ５’の導出用の加工画像データＤｔ２’を作成する。なお、データセットを読み出す順序やデータ導出用の画像データの作成順序は、規則的であってもよいし、不規則的であってもよい。なお、この画像加工モジュール１４ｇは、画像加工モジュール１４ｇによって加工された加工画像データＤｔ２’をさらに加工して厚みデータＤｔ４’の導出用の加工画像データＤｔ２’を作成するか、第１状態指標値データＤｔ５’の導出用の加工画像データＤｔ２’を作成してもよい。そして、厚み導出モジュール１４ｈは厚みデータＤｔ４’の導出用の画像作成時にその厚みデータＤｔ４’を導出し、第１状態指標値導出モジュール１４ｉは第１状態指標値データＤｔ５’の導出用の画像作成時にその第１状態指標値データＤｔ５’を導出する。このため、以下では、厚みデータＤｔ４’の導出と第１状態指標値データＤｔ５’の導出とを分けて自動データセット増殖処理の詳細について説明する。

【0047】

（２−１）厚みデータ導出用画像データ作成および厚みデータ導出
以下、図６を用いて厚みデータ導出用画像データ作成および厚みデータ導出について説明する。なお、図６において（ａ）および（ｂ）は共に紙葉類束収容箱ＣＢを前から見た図であるが、（ａ）には元の実画像データＤｔ１２が示されており、（ｂ）には加工画像データＤｔ１２’が示されている。すなわち、図６では、データセット中の領域データＤｔ１３を上下方向に沿って規定の倍率で引き伸ばす加工が行われている。図中の符号「ＯＬ」は元の実画像データにおける領域データＤｔ１３に対応する紙葉類束の厚みを示し、符号「ＭＬ」は加工画像データにおける領域データＤｔ１３’に対応する紙葉類束の厚みを示し、符号「ＭＤ」は加工前後における押え具部分ＰＤの移動距離を示している。なお、押え具部分ＰＤは、例えば、図８における実際の紙葉類束収容箱２１０では、上側支持板２３０とその上側に配設される付勢部材（コイルスプリング等）によって構成される。

【0048】

先ず、画像加工モジュール１４ｇが、データセット中の領域データＤｔ３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で引き伸ばす加工を行う（図６参照）。なお、ここで、画像加工モジュール１４ｇが、データセット中の領域データＤｔ３を上下方向に沿って規定の倍率（＝ＭＬ／ＯＬ）で押し縮める加工を行って紙葉類束の加工領域データＤｔ３’を作成してもかまわない。次に、画像加工モジュール１４ｇが、図６に示されるように基本実画像データＤｔ２中の領域データＤｔ３を加工領域データＤｔ３’で置き換えると共に、押え具部分ＰＤの下面が加工領域データＤｔ３’の直上に位置するように押え具部分ＰＤを上下方向に沿ってＭＤ分だけ移動させて加工画像データＤｔ２’を作成する。なお、図６中、符号ＣＢで示される角枠体は紙葉類束の収容箱を指している。そして、データセット中の厚みデータＤｔ４に、加工領域データＤｔ３’作成時の倍率（伸縮率）（＝ＭＬ／ＯＬ）を乗じて新たな厚みデータＤｔ４’を導出する。このようにして、元データセット（基本実画像データＤｔ２，領域データＤｔ３，厚みデータＤｔ４，第１状態指標値データＤｔ５）中３つのデータが新たにされた新データセット（加工画像データＤｔ２’，加工領域データＤｔ３’，厚みデータＤｔ４’，第１状態指標値データＤｔ５）が作成され、この新データセットが、固有の数値データＤｔ１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

【0049】

（２−２）第１状態指標値データ導出用画像データ作成および第１状態指標値データ導出
先ず、画像加工モジュール１４ｇが、図７に示されるように、データセット中の領域データＤｔ３の一部または全部を、データベース１４ｊの画像加工用データテーブルＴｏ２から読み出した１または複数の置換画像データＤｔ１２で置換し、加工領域データＤｔ３’を作成する。なお、この際、領域データＤｔ３の置換位置、および、用いられる置換画像データＤｔ１２の種類は、規則的に決められてもよいし、不規則的に決められてもよい。次に、画像加工モジュール１４ｇが、基本実画像データＤｔ２中の領域データＤｔ３を加工領域データＤｔ３’で置き換えて加工画像データＤｔ２’を作成する。そして、その領域データＤｔ３に関連付けられている第１状態指標値データＤｔ５、および、置換画像データＤｔ１２に関連付けられている第２状態指標値データＤｔ１３の少なくとも第２状態指標値データＤｔ１３の線形和を面積比率で算出して新たな第１状態指標値データＤｔ５’を導出する。すなわち、図７における加工領域データＤｔ３’において、置換画像データＤｔ１２ｂに関連付けられる第２状態指標値データＤｔ１３が「０．９０」であり、置換画像データＤｔ１２ｃに関連付けられる第２状態指標値データＤｔ１３が「０．８０」であり、置換画像データＤｔ１２ｅに関連付けられる第２状態指標値データＤｔ１３が「０．６０」であり、置換画像データＤｔ１２ｆに関連付けられる第２状態指標値データＤｔ１３が「０．５０」であり、置換画像データＤｔ１２ｈに関連付けられる第２状態指標値データＤｔ１３が「０．３０」である場合、新たな第１状態指標値データＤｔ５’は０．６１（＝０．９×（２／８）＋０．８×（１／８）＋０．６×（２／８）＋０．５０×（１／８）＋０．３０×（２／８））となる。このようにして、元データセット（基本実画像データＤｔ２，領域データＤｔ３，厚みデータＤｔ４，第１状態指標値データＤｔ５）中３つのデータが新たにされた新データセット（加工画像データＤｔ２’，加工領域データＤｔ３’，厚みデータＤｔ４，第１状態指標値データＤｔ５’）が作成され、この新データセットが、固有の数値データＤｔ１と共にデータベース１４ｊのメインテーブルＴｏ１に新たに登録される。

【0050】

＜本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置で形成したデータの利用例＞
本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１によって形成された多数のデータセット（すなわちビッグデータ）は、例えば、ロボットハンドの制御に利用される。具体的には、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、把持対象となる紙葉類束のデジタル画像を定点デジタルカメラで取得した後に、その紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその紙葉類束の厚みデータＤｔ４，Ｄｔ４’および状態指標値データＤｔ５，Ｄｔ５’を出力した後、その厚みデータＤｔ４，Ｄｔ４’に基づいてロボットハンドの把持時の指部間隔を制御したり、状態指標値データＤｔ５，Ｄｔ５’に基づいてロボットハンドの紙葉類束の把持方法や把持圧力、紙葉類束を箱体から引き出す方法を調整したりする。

【0051】

＜本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置の特徴＞
本発明の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１は、手作業で作成したデータセットから自動的に新たなデータセットを増産することができる。このため、増殖したデータセットを利用して深層学習に代表される機械学習を実施して判定モデルを生成し、処理しようとする紙葉類束（以下「処理対象紙葉類束」という。）をデジタル式のカメラで撮像してその処理対象紙葉類束の画像データを生成した後に、その処理対象紙葉類束の画像データ又は紙葉類束の領域データから、上記判定モデルによってその処理対象紙葉類束の厚みデータＤｔ４，Ｄｔ４’や状態指標値データＤｔ５，Ｄｔ５’を出力することができる。

【0052】

＜変形例＞
（Ａ）
先の実施の形態では紙葉類束の特性判定用画像データ形成装置として図１に示されるようなスタンドアローン型の電子計算機が利用されたが、通信ネットワークで相互接続されたグリッドコンピュータ等が利用されてもよい。

【0053】

（Ｂ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、データベース１４ｊのメインテーブルＴｏ１に領域フィールドＦｏ３が設けられ、その領域フィールドＦｏ３に予め領域データＤｔ３が格納されていたが、（ｉ）エッジ抽出プログラム等により基本実画像データＤｔ２から領域データＤｔ３が自動的に抽出され、その領域データＤｔ３が領域フィールドＦｏ３に自動的に格納されるようにしてもよいし、（ｉｉ）領域フィールドＦｏ３を設けず、エッジ抽出プログラム等により基本実画像データＤｔ２から領域データＤｔ３が自動的に抽出された後に、それを用いて加工画像データＤｔ２’を作成するようにしてもよい。

【0054】

（Ｃ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では特に言及しなかったが、紙葉類束が複数国の紙幣等である場合、メインテーブルＴｏ１に国識別フィールドが追加されてもよい。

【0055】

（Ｄ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１では、メインテーブルＴｏ１に厚みデータとして厚みの実寸データが登録されたが、この実寸データに代えて相対データを登録してもよい。この相対データとしては、例えば、紙葉類束収容箱の最大収容時厚みに対する紙葉類束の厚みの比率データ等が挙げられる。

【0056】

（Ｅ）
先の実施の形態に係る紙葉類束の特性判定用画像データ形成装置１を利用するに際し、利用者が、厚みを測定すると共に第１状態指標値を付与した紙葉類束を、前扉を開けた状態の紙葉類束収容箱の規定位置に収納した後、その状態でその紙葉類束収容箱を正面側から定点デジタルカメラ（図示せず）で撮像し、紙葉類束を含む紙葉類束収容箱の実画像データを入手したが、利用者は、紙葉類束に第１状態指標値を付与せず、加工領域データＤｔ３’および複数の置換画像データＤｔ１２を利用して加工画像データＤｔ２’に第１状態指標値を自動付与するようにしてもよい。

【符号の説明】

【0057】

１ 紙葉類束の特性判定用画像データ形成装置（紙葉類束の特性判定用画像データ形成装置，電子計算機）
１１Ｂ 新データセット生成処理部（演算部）
１４ ストレージ（記憶部）
Ｄｔ２ 基本実画像データ
Ｄｔ２’ 加工画像データ
Ｄｔ３，Ｄｔ３’ 領域データ
Ｄｔ４ 厚みデータ（厚み関連データ）
Ｄｔ５ 状態指標値データ（損傷状態指標値データ）
Ｄｔ４’ 厚みデータ（第１次新厚み関連データ）
Ｄｔ５’ 状態指標値データ（第１次新損傷状態指標値データ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】