特許 7418200 識別装置、処理装置、処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】識別装置、処理装置、処理方法、およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240112BHJP

   H04N 1/00 20060101ALI20240112BHJP

   B41J 29/38 20060101ALI20240112BHJP

【ＦＩ】

G06N20/00 130

H04N1/00 567H

B41J29/38 204

【請求項の数】 15

(21)【出願番号】P 2019229385

(22)【出願日】2019-12-19

(65)【公開番号】P2021096774

(43)【公開日】2021-06-24

【審査請求日】2022-12-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】上村 亮介

【審査官】青木 重徳

(56)【参考文献】

【文献】特開２０１４－１４２８２６（ＪＰ，Ａ）

【文献】特開２０１６－１０９４２５（ＪＰ，Ａ）

【文献】特開２０１８－１２４６３９（ＪＰ，Ａ）

【文献】特開２０１９－１７９０２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２９４９２３（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０４５１７１１２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｈ０４Ｎ １／００

Ｂ４１Ｊ ２９／３８

(57)【特許請求の範囲】

【請求項1】

用紙に対して光を照射して、照射された後の光を受光することにより当該用紙の特性に関するパラメータを取得するセンサと、
前記パラメータが入力データとして用いられると共に、当該パラメータが得られた際の用紙の種類が教師データとして用いられた機械学習によって得られた推定モデルに、前記センサによって取得されたパラメータが入力された結果に基づき、前記用紙の種類を識別する識別手段と、
前記センサによってパラメータが取得された用紙の種類であると決定された用紙について当該用紙の種類に対応する情報を入力するための入力手段と、
前記センサが取得したパラメータを用いて前記推定モデルに対する再学習を実行する実行手段と、
を有し、
前記実行手段は、前記識別手段が識別した前記用紙の種類と、前記入力手段が入力した前記情報が示す用紙の種類とが異なる場合には、前記センサが取得したパラメータが入力データとして前記推定モデルに入力された結果に基づいて前記識別手段が識別する用紙の種類が、前記入力手段が入力した前記情報が示す用紙の種類となるように再学習を行うことを特徴とする識別装置。

【請求項2】

前記センサは、前記再学習のために、前記識別手段が識別した前記用紙の種類と、前記入力手段が入力した前記情報が示す用紙の種類とが異なる用紙について、異なる複数の位置に対して光を照射して複数の前記パラメータを取得し、
前記実行手段は、前記センサが取得した複数の前記パラメータを入力データとし、前記入力手段が入力した前記情報が示す用紙の種類を教師データとして再学習を行うことを特徴とする請求項１に記載の識別装置。

【請求項3】

前記識別手段による識別の対象となっていない種類の用紙が識別のためにセットされた場合に、ユーザ操作に基づいて当該用紙の種類を登録する登録手段をさらに有することを特徴とする請求項１又は２に記載の識別装置。

【請求項4】

前記センサは、前記再学習のために、前記登録された種類の用紙の異なる複数の位置に対して光を照射して複数の前記パラメータを取得し、
前記実行手段は、当該複数の前記パラメータを入力データとして使用すると共に、前記登録された前記用紙の種類を教師データとして前記再学習を実行する、ことを特徴とする請求項３に記載の識別装置。

【請求項5】

前記実行手段は、学習モデルに対して前記入力データが入力された際の出力と前記教師データとの誤差の大きさに基づいて繰り返し前記再学習を実行する、ことを特徴とする請求項１から４のいずれか１項に記載の識別装置。

【請求項6】

用紙の複数の種類のそれぞれに対応する確率が前記推定モデルにおける前記結果として出力される、ことを特徴とする請求項１から５のいずれか１項に記載の識別装置。

【請求項7】

前記確率に基づく画面を表示する表示手段をさらに有する、ことを特徴とする請求項６に記載の識別装置。

【請求項8】

前記識別手段は、前記確率が第１の閾値を超える前記用紙の種類が複数存在する場合、当該第１の閾値を超える前記確率を有する用紙の種類を前記画面に表示させる、ことを特徴とする請求項７に記載の識別装置。

【請求項9】

前記識別手段は、前記確率が前記第１の閾値を超える前記用紙の種類が複数存在しない場合、前記識別手段による識別の対象となっている用紙の種類を前記確率によらずに前記画面に表示させる、ことを特徴とする請求項８に記載の識別装置。

【請求項10】

前記画面に表示されている用紙の種類の中からユーザによる用紙の種類の選択を受け付ける手段をさらに有することを特徴とする請求項８又は９に記載の識別装置。

【請求項11】

前記識別手段は、前記確率が第２の閾値を超える前記用紙の種類が存在する場合に、その用紙の種類を識別の結果として出力する、ことを特徴とする請求項６から１０のいずれか１項に記載の識別装置。

【請求項12】

前記識別手段は、前記確率が最も高い種類を識別の結果として出力する、ことを特徴とする請求項６に記載の識別装置。

【請求項13】

前記センサは、前記用紙の特性に関するパラメータとして、当該用紙に照射された光の乱反射成分と、当該光の正反射成分と、前記用紙と当該センサとの間の距離と、の少なくともいずれかを取得する、ことを特徴とする請求項１から１２のいずれか１項に記載の識別装置。

【請求項14】

識別装置によって実行される処理方法であって、
センサを用いて、用紙に対して光を照射して、照射された後の光を受光することにより当該用紙の特性に関するパラメータを取得し、
前記パラメータが入力データとして用いられると共に、当該パラメータが得られた際の用紙の種類が教師データとして用いられた機械学習によって得られた推定モデルに、前記センサによって取得されたパラメータが入力された結果に基づき、前記用紙の種類を識別し、
前記センサによってパラメータが取得された用紙の種類であると決定された用紙について当該用紙の種類に対応する情報を入力し、
前記センサが取得したパラメータを用いて前記推定モデルに対する再学習を実行する、 処理方法であって、
前記再学習は、識別された前記用紙の種類と、入力された前記情報が示す用紙の種類とが異なる場合には、前記センサが取得したパラメータが入力データとして前記推定モデルに入力された結果に基づいて識別される用紙の種類が、入力された前記情報が示す用紙の種類となるように実行される、
ことを特徴とする処理方法。

【請求項15】

コンピュータに、請求項１４に記載の処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、用紙種の識別技術に関する。

【背景技術】

【0002】

インクジェットプリンタのように、印刷が行われる用紙にインクが浸透することによって印刷が行われるような仕組みを用いている印刷機は、鮮明な印刷を行うために、用紙ごとに適したインク出力を行う。このため、印刷において使用される用紙の種類を認識しておくことが必要である。これに対して、引用文献１には、印刷機内部で用紙を搬送する際に用紙に光を照射して反射光と透過光とをセンサによって受光したときの出力値と、別途測定された紙厚とに基づいて、用紙種識別を行う方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８―１０１８４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の発明では、光学センサを用いて反射光・透過光などの値と事前に特定された値との照合に基づいて用紙種の識別が行われる。このような処理では、複数の用紙種のそれぞれの特性と近いセンサ出力が得られた場合に、特定された用紙種が実際の用紙種と異なってしまう場合がありうる。また、光学センサはセンサの個体差やユーザの使用状況・使用年数による劣化により取得できる値に誤差が発生する。このため、事前に特定された値との照合による用紙種の識別方法では、識別精度が十分に得られない場合がありうる。

【0005】

本発明は、用紙の種類の識別能力を改善する技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様による識別装置は、用紙に対して光を照射して、照射された後の光を受光することにより当該用紙の特性に関するパラメータを取得するセンサと、前記パラメータが入力データとして用いられると共に、当該パラメータが得られた際の用紙の種類が教師データとして用いられた機械学習によって得られた推定モデルに、前記センサによって取得されたパラメータが入力された結果に基づき、前記用紙の種類を識別する識別手段と、前記センサによってパラメータが取得された用紙の種類であると決定された用紙の種類に対応する情報を入力するための入力手段と、前記センサが取得したパラメータを用いて前記推定モデルに対する再学習を実行する実行手段と、を有し、前記実行手段は、前記識別手段が識別した前記用紙の種類と、前記入力手段が入力した前記情報が示す用紙の種類とが異なる場合には、前記センサが取得したパラメータが入力データとして前記推定モデルに入力された結果に基づいて前記識別手段が識別する用紙の種類が、前記入力手段が入力した前記情報が示す用紙の種類となるように再学習を行うことを特徴とする。

【発明の効果】

【0007】

本発明によれば、より向上した用紙の種類の識別能力を獲得することができる。

【図面の簡単な説明】

【0008】

【図1】処理システムの第１の構成例を示す図である。

【図2】処理システムの第２の構成例を示す図である。

【図3】印刷機の用紙搬送機構の構成例を示す図である。

【図4】センサの構成例を示す図である。

【図5】処理システムにおける機械学習に関する機能構成例を示す図である。

【図6】学習モデルを学習する際の入出力の構成を説明する図である。

【図7】推定モデルを用いて推論する際の入出力の構成を説明する図である。

【図8】学習モデルの学習時の処理の流れの例を示す図である。

【図9】推定モデルを用いた推論時の処理の流れの例を示す図である。

【図10】識別対象となる用紙種を登録するための入力画面の一例を示す図である。

【図11】識別対象となる用紙種が登録された場合の学習時の処理の流れの例を示す図である。

【図12】用紙種識別処理の流れの例を示す図である。

【図13】セットされた用紙の選択をユーザに促す画面の一例を示す図である。

【図14】セットされた用紙の選択と登録の要否の選択をユーザに促す画面の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

（システム構成）
図１および図２を用いて、本実施形態にかかるシステム構成例について説明する。本実施形態では、用紙種の識別のために機械学習が実行され、機械学習によって得られた推定モデルを用いた用紙種の識別が実行される。このような処理のためのシステムの構成例として、図１の例は、機械学習と用紙種の識別とが１つの装置によって実行される場合の例を示しており、図２の例は、複数の装置によって機械学習と用紙種の識別とが分担されて実行される場合の例を示している。

【0011】

図１のシステム構成における装置の構成について説明する。なお、以下では、便宜上この装置のことを用紙種識別装置と呼ぶが、用紙種の識別以外の処理を実行可能に構成されてもよい。本実施形態において、用紙種識別装置は印刷機の内部に備えられる。そして、用紙種識別装置は、後述のように印刷機の用紙搬送機構に含まれるセンサを用いて測定した用紙に関する特性値に基づいて、用紙の種類を識別する。用紙種識別装置は、例えば、ＣＰＵ１００、用紙種識別ユニット１０１、学習ユニット１０２、ＲＯＭ１０３、ＲＡＭ１０４、ＮＶＲＡＭ１０５、表示部／操作部１０６、コントローラ１０７、ＬＡＮユニット１０８、およびネットワークドライバ１０９を含む。なお、ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの頭字語であり、ＮＶＲＡＭは、Ｎｏｎ Ｖｏｌａｔｉｌｅ ＲＡＭの略称である。また、ＬＡＮはＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの頭字語である。また、用紙種識別装置は印刷機とは別に備えられ、印刷機と通信可能な装置であってもよい。また、センサは用紙種識別装置に備えられていてもよい。

【0012】

用紙種識別装置は、例えば、ＲＯＭ１０３等に記憶されたプログラムがＣＰＵ１００によって実行されることにより、装置全体の制御や、用紙種識別処理等の制御など、各種制御処理を実行する。このとき、ＲＡＭ１０４は、例えば制御の際のワークメモリとして使用されうる。また、用紙種識別装置の電源がオフとなった際に保持されるべきデータは、不揮発性ＲＡＭであるＮＶＲＡＭ１０５に保持される。用紙種識別装置は、ＣＰＵ１００によって、ＲＯＭ１０３に記憶された制御プログラムを実行することにより、用紙種識別ユニット１０１および学習ユニット１０２を制御する。この場合、ＲＡＭ１０４は、例えば、用紙を測定した結果のデータを一時記録として保持する。ＮＶＲＡＭ１０５は、用紙種識別装置の保守に必要な各種データの記録や、用紙種を識別するための用紙に関する情報を保存する。用紙種識別ユニット１０１は、用紙種識別処理を実行して、用紙について測定された結果のデータに基づいて、その用紙の種類を識別する。学習ユニット１０２は、用紙種識別処理に用いる推定モデルを得るための機械学習を実行する。用紙種識別ユニット１０１と学習ユニット１０２とにおける動作については後述する。

【0013】

用紙種識別装置は、例えば、表示部／操作部１０６を介して、情報を画面に表示させ、ユーザ操作を受け付ける。なお、情報の表示は画面表示のみならず、音声や振動などの各種インタフェースを用いて行われうる。また、ユーザ操作の受け付けは、例えばキーボードやポインティングデバイス、タッチパッド等のハードウェアを介して実行される。表示部／操作部１０６は、ディスプレイとキーボード等のように別個のハードウェアによって実装されてもよいし、タッチパネル等のように１つのハードウェアによって実装されてもよい。コントローラ１０７は、例えばＣＰＵ１００が出力した情報を、表示部／操作部１０６がユーザに提示可能な情報を生成するのに使用可能な形式に変換して、表示部／操作部１０６へ出力する。また、コントローラ１０７は、表示部／操作部１０６によって受け付けられたユーザ操作を、ＣＰＵ１００が処理可能な形式に変換してＣＰＵ１００へ出力する。用紙種識別装置における各機能の実行操作、設定動作は、例えば、表示部／操作部１０６およびコントローラ１０７を介して実行される。

【0014】

また、用紙種識別装置は、例えば、ＬＡＮユニット１０８を介してネットワークに接続し、他の装置と通信を行う。ネットワークドライバ１０９は、ＬＡＮユニット１０８を介して受信した信号から、ＣＰＵ１００で取り扱うべきデータを抽出し、また、ＣＰＵ１００から出力されたデータをネットワークへ送出するための形式への変換などを行う。なお、ＬＡＮユニット１０８は、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線通信用のソケット等のインタフェースや信号処理用の回路を有しうる。また、ＬＡＮユニット１０８は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮ等の無線通信用のアンテナや信号処理用の回路を有してもよい。また、ＬＡＮユニット１０８に代えて、公衆無線通信や近距離無線通信等のための通信ユニットを有してもよい。なお、リモートユーザインタフェースを介して用紙種識別装置の操作が行われる場合、用紙種識別装置への制御命令や設定値の取得および処理結果の出力がＬＡＮユニット１０８およびネットワークドライバ１０９を介して行われうる。

【0015】

図２は、学習ユニット１０２が、用紙種識別装置の外部に配置される場合のシステムの構成例を示している。図２の例では、システムが、用紙種識別装置２００とサーバ２０２とを含む。そして、用紙種識別装置２００は、ネットワーク２０１を介してサーバ２０２と接続し、サーバ２０２内の学習ユニット２０４における機械学習の結果である推定モデルを取得し、その推定モデルを用いて用紙種識別処理を実行する。なお、サーバ２０２は、例えばＣＰＵ２０３、ＲＯＭ２０５、ＲＡＭ２０６、ＮＶＲＡＭ２０７等を有する汎用のコンピュータなどによって構成される処理装置でありうる。サーバ２０２は、例えばＣＰＵ２０３がＲＯＭ２０５に格納されているプログラムを実行することにより、学習ユニット２０４における機械学習処理の制御を行う。また、用紙種識別装置は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＧＰＵを用いて学習ユニット２０４における機械学習処理の制御を行ってもよい。ＧＰＵは、データをより多く並列処理することにより効率的な演算を行うことができるため、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にはＧＰＵで処理を行うことが有効である。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２０３とＧＰＵとが協働して演算を行うことにより学習が行われる。なお、学習ユニット２０４の処理にかかる演算は、ＧＰＵのみによって行われてもよい。また、図５において説明する推定部５０６や学習部５０３も、学習ユニット２０４と同様に、ＧＰＵを用いてもよい。なお、ＲＡＭ２０６は、サーバの制御実行において、学習で使用するデータを一時記録として保持する。ＮＶＲＡＭ２０７は、推定モデルの生成のために必要な各種データの記録や、用紙種を識別するための用紙に関する情報を保存する。また、サーバ２０２は、例えば用紙種識別装置２００等の外部装置と接続するためのＬＡＮユニット２０８を有しうる。なお、ＬＡＮユニット２０８や、ＬＡＮユニット２０８とＣＰＵ２０３との間に配置されるネットワークドライバ２０９は、図１のＬＡＮユニット１０８およびネットワークドライバ１０９と同様である。

【0016】

図３に、印刷機の用紙搬送機構の構成例を示す。図３では、識別対象紙である用紙３００が取り付けられている状態である。なお、図３の例では、用紙３００がロール紙である場合を示しているが、用紙３００はカット紙であってもよい。用紙３００は、搬送ローラ３０２により用紙の上下から挟持されており、搬送ローラ３０２が回転することにより用紙が搬送される。また、用紙３００は、プラテン３０３によって下側から支えられる。用紙搬送機構は、センサ３０１をさらに含み、センサ３０１によって取得された値が、用紙種識別処理に用いられる。なお、図３の構成は一例であり、例えば印刷前の用紙３００が搬送される任意の位置にセンサ３０１が配置され、用紙の測定を行うようにすることができる。

【0017】

図４に、センサ３０１の構成例を示す。センサ３０１は、用紙種を識別するために必要な光量の値（以下では「光量値」と呼ぶ。）を取得するための複数の測定機構を含む。これらの測定機構は、必ずしも１つのセンサに搭載される必要はなく、複数のセンサに分散配置されてもよい。センサ３０１は、発光素子として、例えば、第１の発光部４０１、第２の発光部４０３、および、第３の発光部４０４を有する。なお、これらの発光部は、例えばＬＥＤ（発光ダイオード）でありうる。また、センサ３０１は、受光素子として、例えば、第１の受光部４０２、第２の受光部４０５、および、第３の受光部４０６を含む。なお、これらの受光部は、フォトダイオードでありうる。

【0018】

第１の発光部４０１は、例えば、用紙３００の表面（測定面）に対して第１の所定方向（例えば９０°）の照射角を有する光源である。第１の受光部４０２は、例えば、第１の発光部４０１から用紙３００に照射されて反射した反射光を用紙３００の平面に対して第２の所定角度（例えば４５°）の方向からの光を受ける。すなわち、第１の受光部４０２は、第１の発光部４０１から照射されて用紙３００によって反射した光のうち、乱反射成分を検出する。第２の発光部４０３は、用紙３００の表面（測定面）に対して第３の所定角度（例えば６０°）で交わる方向に光を射出する光源である。第１の受光部４０２は、第２の発光部４０３から照射されて用紙３００によって反射した光のうち、第３の所定角度からの光を受ける。すなわち、第１の受光部４０２は、第２の発光部４０３から照射されて用紙３００によって反射した光のうち、正反射成分を検出する。

【0019】

第３の発光部４０４は、用紙３００の表面（測定面）に対して第４の所定角度（例えば９０°）の照射角を有する光源である。第２の受光部４０５と第３の受光部４０６は、第３の発光部４０４から照射されて用紙３００によって反射した反射光を受ける。第２の受光部４０５と第３の受光部４０６は、第３の発光部４０３から用紙３００に照射されて反射した光を受ける。第２の受光部４０５と第３の受光部４０６は、それぞれの受光量が、センサ３０１と用紙３００との距離に応じて変化することにより、センサ３０１と用紙３００との間の距離を測定する。例えば、センサ３０１と用紙３００との距離によって、反射光の入射角が異なるため、その結果として第２の受光部４０５と第３の受光部４０６において得られる光量に変化が生じる。そして、第２の受光部４０５と第３の受光部４０６との位置関係から、センサ３０１と用紙３００との距離が近いほど、その光量の差が大きくなる。このため、これらの受光部によって得られた光量の差により、センサ３０１と用紙３００との距離が特定されうる。

【0020】

なお、本実施形態では、センサ３０１は、反射光を測定するものとしたが、透過光を測定してもよい。また、用紙のエッジに光を当てた際の回折光が測定されるようにしてもよい。また、本実施形態では、用紙に対して光を当てることにより用紙の特性に関するパラメータを取得する場合について説明するが、これに限られない。例えば音波や超音波が光に代えて用いられてもよいし、ヒータ等で温めた場合の温度変化などの特性に関するパラメータが取得されてもよい。

【0021】

（機械学習）
本実施形態では、機械学習を用いて得られた推定モデルにより、用紙種識別処理を実行する。ここで、この処理に関連する機能構成例について、図５（Ａ）及び図５（Ｂ）を用いて説明する。図５（Ａ）は、図２の構成のように、サーバ２０２において機械学習を行い、生成された推定モデルが用紙種識別装置２００に通知され、用紙種識別装置２００はその推定モデルを用いて用紙種識別処理を実行する場合の例を示している。この場合、用紙種識別装置２００は、サーバ２０２において機械学習を行うための用紙データ（本実施形態では、上述の各受光部において受光した光量値）を取集するためのデータ収集部５０１と、用紙種を識別する推定部５０６とを有する。推定部５０６では、サーバ２０２によって生成された推定モデル５０５を使用して用紙種識別を行う。サーバ２０２は、学習データ生成部５０２と学習部５０３とを有する。学習データ生成部５０２は、用紙種識別装置２００のデータ収集部５０１において得られた用紙データ（上述の各受光部において受光した光量値）を解析する。学習部５０３は、学習データ生成部５０２によって解析されたデータを用いて機械学習を実行し、学習モデル５０４を逐次更新する。学習が完了した後の学習モデル５０４は、推定モデル５０５として用紙種識別装置２００に送信される。

【0022】

図５（Ｂ）は、図１の構成のように、用紙種識別装置が単独で学習と推定とを行う場合の例を示している。この場合、学習データ生成部５０２、学習部５０３、および学習モデル５０４が、用紙種識別装置に備えられる。なお、このようなシステムでは、学習モデル５０４が他の装置から用紙種識別装置へ受け渡される必要がないため、推定モデル５０５は省略されてもよい。この場合、用紙種識別装置は、学習モデル５０４を繰り返し更新して、推定モデル５０５として利用可能であると判断した場合に、推定部５０６が、その学習モデル５０４を推定モデル５０５として用いて用紙種を推定する。

【0023】

なお、本実施形態では、学習モデル５０４としてニューラルネットが用いられるものとする。図６に、学習時の学習モデルとその入出力データとの関係を示す。学習モデル６００は、多数のノード６０１を含み、ノード６０１同士がそれぞれ重み付け係数に対応する枝６０２によって関連付けられる。この各枝に対応する重み付け係数が最適化されることにより、入力データＸａ６０３～入力データＸｃ６０５の分類や特徴量の抽出を行うことができる。例えば、入力データＸａ６０３は、上述の第１の受光部４０２において取得された乱反射成分の光量値であり、入力データＸｂ６０４は第１の受光部４０２において取得された正反射成分の光量値である。また、入力データＸｃ０６０５は、例えば、第３の発光部４０４と受光部４０５および第３の受光部４０６とによって特定された、センサ３０１と用紙３００との間の距離である。なお、これらは一例であり、センサによって取得される各種パラメータが入力データとして用いられうる。また、例えば、乱反射成分、正反射成分、センサ３０１と用紙３００との間の距離の中から、入力データとして必要なものが選択的に用いられてもよい。入力データは、学習モデル６００の学習を行う前に事前に取得される。入力データの取得の際には、センサ３０１が用紙３００上に配置される。センサ３０１によって取得されるデータは、温度や湿度などの影響を受けて変動することが想定されるため、様々な条件で入力データが取得されうる。センサ３０１は、用紙３００上のある１点に固定され、その位置においてデータを取得する。なお、効率的にデータの取得条件を変更するために、搬送ローラ３０２の回転により用紙３００が搬送され、センサ３０１と用紙３００の測定点との位置関係を変化させて、複数点でデータが取得されるようにしてもよい。

【0024】

入力データが学習モデル６００に入力されることにより、最終的な計算結果として出力データＹ６０６を出力する。学習時には、入力データＸａ６０３、入力データＸｂ６０４、入力データＸｃ６０５の認識結果の正解データとして、教師データＴ６０７が与えられる。入力データは、１つの用紙種の入力データがまとまった順番で入力されるよりも、各用紙種のデータがランダムに入力された方が偏りの少ない学習を行うことができる。本実施形態では、教師データＴ６０７として、用紙の種類を示すデータが用いられる。出力データＹ６０６と教師データＴ６０７とが損失関数６０８に与えられることにより、現時点の学習データ６００による認識結果の、正解からの誤差Ｌ６０９が得られる。多数の学習用データに対して誤差Ｌ６０９が小さくなるように、誤差逆伝播法などの手法を用いて、学習モデル６００中のニューラルネットワークのノード間の枝に対応する重み付け係数等が更新される。誤差逆伝播法については、周知技術であるため、ここでの説明については省略する。なお、本実施形態では、例えば、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどのアルゴリズムのいずれかが用いられて、機械学習が行われる。また、ニューラルネットワークを利用して、学習するための特徴量や、枝に対応する重み付け係数を自ら生成する深層学習（ディープラーニング）が機械学習に用いられてもよい。また、これら以外のアルゴリズムが用いられてもよい。

【0025】

図７に、本実施形態における、識別時における推定モデルとその入出力データの関係とを示す。推定モデル７００は、学習によって最適化された、又は、十分に学習が進んだとみなすことができる学習モデル６００である。この推定モデル７００に入力データＸａ７０１～入力データＸｃ７０３が入力されることにより、それらの入力データに応じた出力データＹ７０４を出力する。本実施形態では、出力データＹ７０４は用紙の種類を示すデータである。例えば、推定モデル７００により、各用紙種の確率が特定され、その特定された確率が最も高い用紙の種類が出力データＹ７０４として出力されうる。なお、各用紙種類に対する確率が出力データＹ７０４として出力されてもよい。入力データＸａ７０１、入力データＸｂ７０２、入力データＸｃ７０３は、共に推定モデル７００への入力データであり、それぞれ学習モデル６００への入力である入力データＸａ６０３、入力データＸｂ６０４、入力データＸｃ６０５に対応する。すなわち、例えば、入力データＸａ７０１は、上述の第１の受光部４０２において取得された乱反射成分の光量値であり、入力データＸｂ７０２は第１の受光部４０２において取得された正反射成分の光量値である。また、入力データＸｃ０７０３は、例えば、第３の発光部４０４と受光部４０５および第３の受光部４０６とによって特定された、センサ３０１と用紙３００との間の距離である。なお、これらは一例であり、推定モデル７００を得るための学習時に使用される入力データと同じ種類のデータが、推定モデル７００による推論のための入力データとして使用される。

【0026】

推定モデル７００の精度を向上させるために、推論で使用されたデータを用いて追加的に学習を行うことができる。例えば、推論に使用した入力データＸａ７０１～入力データＸｃ７０３を学習の入力データＸａ６０３～入力データＸｃ６０５とし、出力データＹ７０４を教師データＴ６０７として、再学習を行うことができる。再学習では、過去の学習に使用した入力データと教師データの組み合わせを含めて改めて学習が行われる。したがって、再学習用に、過去の学習で使用された入力データと教師データが取得可能に構成されうる。

【0027】

図８を用いて、図６で示した学習モデルの学習時の処理の流れについて説明する。この学習は、用紙種識別装置をユーザが利用する前に学習実行者によって事前に実行される。学習実行者は、例えば推定モデルの生産工程の生産者でありうるが、ユーザ自身であってもよい。なお、センサの個体差を考慮しない場合、図１のような構成の場合に、１つの印刷機に含まれる用紙種識別装置において学習が行われ、それによって得られた推定モデルが１つ以上の他の用紙種識別装置に入力されうる。また、図２のような構成の場合に、用紙種識別装置とネットワーク接続されたサーバ等の他装置において学習が実行され、それによって得られた推定モデルが、ネットワークを介して用紙種識別装置に入力されてもよい。

【0028】

本処理は、例えば、推定モデルの生産者等の学習実行者が、用紙種識別装置やサーバ等の学習を実行する装置のユーザインタフェースを介して学習開始操作を行うことにより開始される。以下では、用紙種識別装置がこの処理を実行するものとして説明するが、他の装置がこの処理を実行してもよい。用紙種識別装置は、まず、学習モデルに対して入力データを入力し、出力データを取得する（Ｓ８０１）。学習実行者は、例えば、上述した実施形態と同様の機能を備えた印刷機を一台または複数台用意し、学習する用紙をセットしてセンサ３０１によって入力データを取得し、学習データに入力することによって学習を実行する。また、学習時に、推定モデル生産用に用意した複数の印刷機のセンサ３０１で用紙を測定して取得したデータを入力データとして１つの学習データに入力して学習を実行してもよい。

【0029】

次に、用紙種識別装置は、Ｓ８０１において得られた出力データを用いて、また、入力データに対応する教師データを用いて、誤差を計算する（Ｓ８０２）。この誤差が、多くの入力データに対して十分に小さい場合、十分な識別性能が得られているということとなる。すなわち、誤差の大きさにより、現在の学習モデルがどれだけの識別性能を保持しているかを判別することができる。続いて、用紙種識別装置は、この誤差を学習モデルの重み付け係数などに反映させる（Ｓ８０３）。この処理により、学習モデルの識別性能を向上させることができる。学習モデルの学習はその重み付け係数を徐々に修正することによって行われる。学習が行われる回数は、学習実行者が事前に決定しておくことができる。この場合、用紙種識別装置は、規定した回数だけ学習を実行したか否かを判定する（Ｓ８０４）。そして、用紙種識別装置は、規定した回数だけ学習を実行していないと判定した場合（Ｓ８０４でＮＯ）、処理をＳ８０１に戻して、学習を繰り返す。一方、用紙種識別装置は、規定した回数だけ学習を実行したと判定した場合（Ｓ８０４でＹＥＳ）、学習を終了する。なお、Ｓ８０４の判定は、学習完了状態を見極めることによって行われてもよい。例えば、学習実行者は誤差を観察し、誤差の値が安定したと判定することによって学習を完了してもよい。なお、誤差の値が安定してきたかの判定は、用紙種識別装置が自動で行ってもよい。例えば、用紙種識別装置は、直近の所定回数の学習において取得された誤差について、平均値や前回の誤差との差分値を計算し、その差分値の絶対値が一度も所定値を超えない場合に、誤差の値が安定したと判定しうる。そして、用紙種識別装置は、誤差がまだ安定していないと判定された場合に、処理をＳ８０１に戻して学習を繰り返し、誤差が安定していると判定された場合に学習を終了しうる。

【0030】

続いて、図９を用いて、推定モデルを用いた推論時の処理について説明する。本処理は、用紙種識別装置が、例えば、ユーザインタフェースを介してユーザからの用紙種識別処理の開始指示を受け付けたことに応じて実行される。また、印刷機において、印刷の前または印刷の際に用紙の搬送を行い、その搬送時のセンサ出力に応じて、図９の処理が実行されうる。本処理では、まず、ユーザが用紙種識別対象の用紙を印刷機（用紙種識別装置）にセットする。そして、用紙種識別装置は、入力データをセンサから取得し（Ｓ９０１）、取得した入力データを推定モデルに入力して、出力データを取得する（Ｓ９０２）。ここで取得される出力データは、例えば、識別対象の用紙がどの用紙種であるかの確率を示す値である。このため、用紙種識別装置は、出力データのうち、最も確率の高い用紙種を識別結果として選択する（Ｓ９０３）。最後に、用紙種識別装置は、表示部／操作部１０６に識別結果を表示し（Ｓ９０４）、処理を終了する。

【0031】

用紙種識別装置は、識別可能な用紙として事前に登録されていない用紙を識別することができない。このため、用紙種識別装置は、例えば、図１０のような識別用紙登録画面１０００を表示部／操作部１０６に表示させ、識別可能な用紙の登録のためのユーザ操作を受け付けうる。識別用紙登録画面１０００は、例えば、図９に示すような用紙種識別処理が行われたものの、Ｓ９０３において用紙を識別できなかった時などに表示される。識別用紙登録画面１０００は、例えば、用紙種識別装置にセットされた用紙を識別可能な用紙として登録するかをユーザに問い合わせるメッセージ領域１００１と、登録を行うか否かのユーザ選択を受け付けるボタン１００２およびボタン１００３とを含む。用紙種識別装置は、ユーザによってボタン１００２が選択された場合、現在セットされた用紙を識別対象の用紙として登録し、今後識別する用紙として学習を行う。そして、用紙種識別装置は、画面表示を、現在セットされた用紙が識別対象の用紙として登録されたことをユーザに通知するメッセージを含んだ画面１００４に遷移させる。一方、用紙種識別装置は、ユーザによってボタン１００３が選択された場合、現在セットされた用紙を識別対象の用紙として登録せず、画面表示をアイドル画面等の所定の画面に遷移させる。

【0032】

ここで、ユーザによってボタン１００２が選択されて現在セットされた用紙を識別対象の用紙として登録した場合に実行される、学習の処理の流れについて図１１を用いて説明する。本処理では、まず、用紙種識別装置のセンサ３０１によって、学習に使用される入力データが取得される（Ｓ１１０１）。例えば、搬送ローラ３０２によって用紙種識別装置にセットされた用紙３００が用紙データを取得可能な位置まで搬送される。そして、センサ３０１がその用紙の特性を測定可能な位置に移動され、乱反射成分、正反射成分、およびセンサ３０１と用紙３００との間の距離が１回ずつ取得される。そして、用紙種識別装置においてデータが取得されたことに応じて、用紙種識別装置又はサーバの学習ユニットにおいて、入力データとして学習モデルに取得されたデータが入力され、出力データが取得される（Ｓ１１０２）。そして、学習ユニットにおいて、出力データと教師データとの誤差が計算され（Ｓ１１０３）、誤差が学習モデルの重み付け係数などに反映される（Ｓ１１０４）。ここで、図１０の画面１００４に示されるように、「ユーザ定義用紙１」などのユーザが特定可能なように定義された用紙の名称が教師データとして使用される。その後、学習モデルによって出力された出力データと教師データとの誤差から、学習を完了するか否かが判定される（Ｓ１１０５）。例えば、用紙種識別装置は、直近の所定回数の学習において取得された誤差について、平均値や前回の誤差との差分値を計算し、その差分値の絶対値が一度も所定値を超えない場合に、誤差の値が安定したと判定しうる。そして、用紙種識別装置は、誤差がまだ安定していないと判定された場合（Ｓ１１０５でＮＯ）に、処理をＳ１１０１に戻して学習を繰り返し、誤差が安定していると判定された場合（Ｓ１１０５でＹＥＳ）に学習を終了しうる。なお、誤差がまだ安定していない場合、例えば現在セットされている用紙３００とセンサ３０１との位置関係が前回入力データの取得時の位置関係から変更されて、入力データが再度取得される。すなわち、用紙３００とセンサ３０１との位置関係が変更されることによって複数の入力データが取得され、その入力データに基づいて図１１の処理が実行されうる。ただし、これに限られず、同じ種類の別の用紙のセットをユーザに促してもよい。また、同じ種類の用紙についての入力データが所定数だけ収集されるまで、図１１の学習を行わないようにしてもよい。図１１の処理の終了に応じて、データ取得のために搬送された用紙や、用紙上に配置されたセンサは、待機位置まで戻されうる。また、最初の学習は、図９のＳ９０１で取得したデータを用いて実行されてもよい。

【0033】

上述のようにして得られた推定モデルを使用しても、少なくとも一部の用紙について十分な精度で識別ができない場合がありうる。例えば、図９のようにして最も高い確率の用紙種が出力される場合に、その確率が十分に高くないことが想定されうる。このため、推定モデルによって、現在セットされている用紙が識別対象の用紙種類のそれぞれである確率が出力された際に、その出力に応じてユーザの操作を受け付け、最終的な識別結果を出力するようにすることができる。この場合の処理の流れの例を図１２に示す。

【0034】

図１２の処理は、用紙種識別装置が、ユーザインタフェースを介してユーザからの用紙種識別処理の開始指示を受け付けたことに応じて実行される。また、印刷機において、印刷の前または印刷の際に用紙の搬送を行い、その搬送時のセンサ出力に応じて、図１２の処理が実行されうる。本処理では、まず、ユーザが用紙種識別対象の用紙３００を印刷機（用紙種識別装置）にセットする。用紙種識別装置は、搬送ローラ３０２をセンサ３０１によってデータが取得可能となる位置まで用紙３００を搬送し、センサ３０１を用紙３００上に移動させる。その後、用紙種識別装置は、センサ３０１を用いて、上述のように、乱反射成分、正反射成分、およびセンサ３０１と用紙３００との間の距離を示すデータを入力データとして取得する（Ｓ１２０１）。そして、用紙種識別装置は、取得したデータを入力データとして推定モデルに入力し、用紙の種類に対する確率を示す出力データを取得する（Ｓ１２０２）。例えば、識別対象の用紙種が普通紙、光沢紙、半光沢紙の３種類である場合に、出力データは、普通紙：７０％、光沢紙：２０％、半光沢紙：１０％などのような表現形式で出力されうる。本実施形態では、全ての確率の合算値が１００％となるような確率が出力されうる。そして、用紙種識別装置は、この出力データにおいて９０％以上の確率を有する用紙が存在するか否かを判定する（Ｓ１２０３）。用紙種識別装置は、９０％以上の確率を有する用紙が存在する場合（Ｓ１２０３でＹＥＳ）、推定モデルによって用紙の種類が特定できたといえるため、その用紙の種類を最終結果として自動選択して処理を終了する。

【0035】

一方、用紙種識別装置は、９０％以上の確率を有する用紙が存在しない場合（Ｓ１２０３でＮＯ）、続いて、３０％以上の確率を有する用紙が複数存在するかを判定する（Ｓ１２０４）。用紙種識別装置は、３０％以上の確率を有する用紙が複数存在すると判定した場合（Ｓ１２０４でＹＥＳ）、正しい用紙の種類のユーザ選択を受け付けるために、その３０％以上の確率を有する用紙を表示部／操作部１０６に表示させる（Ｓ１２０５）。ここでの画面表示については、図１３を用いて後述する。この場合、用紙種識別装置は、表示部／操作部１０６に表示させた画面を介して、その画面に表示されている用紙の中からの正しい用紙のユーザ選択を受け付ける。用紙種識別装置は、ユーザ選択を受け付けると、処理を終了する。一方、用紙種識別装置は、３０％以上の確率を有する用紙が１つ以下しか存在しないと判定した場合（Ｓ１２０４でＮＯ）、すべての用紙の種類の中からユーザに用紙を選択させる（Ｓ１２０６）。このために、用紙種識別装置は、例えば、すべての用紙の種類を一覧表示して、ユーザ選択を受け付けるための画面を表示部／操作部１０６に表示させて、ユーザ選択を受け付けうる。用紙種識別装置は、ユーザ選択を受け付けた後、識別できなかった用紙をユーザが選択した用紙として登録するかのユーザ操作を受け付けるための画面を表示部／操作部１０６に表示させて、そのユーザ操作を受け付ける（Ｓ１２０７）。ここでの画面表示については、図１４を用いて後述する。用紙種識別装置は、Ｓ１２０７におけるユーザ選択が受け付けられた後に、処理を終了する。なお、Ｓ１２０３やＳ１２０４における「９０％」や「３０％」等の閾値は一例であり、例えば、ユーザの使用感や、用紙種識別処理の精度に応じて適宜変更されてもよい。

【0036】

図１３は、図１２のＳ１２０５において表示される画面１３００の例を示している。この画面１３００では、上述のように、推定モデルに、センサ３０１で取得した入力データを入力した結果、３０％以上の確率を有すると判定された用紙の種類１３０２～１３０４が一覧表示される。図１３の例では、「スタンダード普通紙」、「プレミアム普通紙」および「コート紙２」が、それぞれ、３０％以上の確率を有すると判定された場合を示している。また、画面１３００は、この一覧から、１つの種類を選択するように促すメッセージ１３０１を含んでもよい。この画面１３００において、例えば「プレミアム普通紙」が選択された場合、用紙種識別装置は、最終結果をその選択された「プレミアム普通紙」として、処理を終了する。

【0037】

図１４に、図１２のＳ１２０６において表示される画面１４００の例を示す。この画面１４００は、上述のように、推定モデルに、センサ３０１で取得した入力データを入力した結果、３０％以上の確率を有すると判定された用紙が１つ以下だったことに応じて表示されうる。この場合は、用紙種の選択をユーザに対して促すためのメッセージ１４０１と、用紙種識別装置による識別対象の用紙のすべてを選択可能となるようなボタン表示が行われる。なお、選択可能な用紙種が多い場合は、図１４の普通紙ボタン１４０２、コート紙ボタン１４０３、光沢紙ボタン１４０４などのように、大分類カテゴリが表示されうる。そして、ユーザが１つの大分類カテゴリを選択すると大分類カテゴリの中の詳細なカテゴリが表示され、その中からユーザが用紙種を選択することにより、用紙種が設定される。ただし、これらは一例に過ぎず、選択可能な用紙種を一覧表示してもよい。例えば、普通紙のカテゴリについて、「スタンダード普通紙」、「プレミアム普通紙」などの詳細なカテゴリが選択可能に表示されてもよい。なお、このときに、表示すべき用紙種が一画面に収まらない場合には、例えばスクロールバーを用いることなどにより、多数の用紙種の候補が表示されてもよい。なお、識別された履歴の新しい用紙ほど上位に表示されるようにしてもよい。また、確率の高い用紙ほど上位に表示されるようにしてもよい。図１４の画面１４００において、例えばユーザが普通紙ボタン１４０２を選択した場合、「スタンダード普通紙」、「プレミアム普通紙」などのさらに詳細なカテゴリが表示され、ユーザにさらに選択を促すことができる。ここでは、「スタンダード普通紙」が選択されたものとする。

【0038】

用紙種識別装置は、ユーザ選択に応じて、表示部／操作部１０６に用紙種登録画面１４１０を表示させる。用紙種登録画面１４１０は、現在セットされている用紙の種類を、選択した用紙種（この例では「スタンダード普通紙」）として今後識別するか否かの選択をユーザに促すメッセージ１４１１を含む。また、用紙種登録画面１４１０は、この選択を受け付けるための「識別する」ボタン１４１２および「識別しない」ボタン１４１３を含む。用紙種識別装置は、ユーザが「識別する」ボタン１４１２を選択した場合、今後、現在セットされている用紙の測定値と同様の特性の測定値を持つ用紙が、ユーザが選択した用紙種として識別されることを示すメッセージ１４２１を含んだ画面１４２０を表示する。「識別する」ボタン１４１２が選択されると、用紙種識別装置は、図１１の処理を行い、現在セットされている用紙の測定値を持つ用紙がユーザによって選択された用紙種として識別されるように学習を行う。その後、用紙種識別装置は、一定時間経過後に、画面表示をアイドル画面に遷移させる。一方、用紙種識別装置は、ユーザが「識別しない」ボタン１４１３を選択した場合、画面表示を用紙種登録画面１４１０からアイドル画面に遷移させる。

【0039】

なお、用紙種識別装置は、センサ３０１によって得られた光量値を入力データとして用いると共に、ユーザが図１２のＳ１２０５やＳ１２０６において選択した用紙種を教師データとして用いて、推定モデルに対する再学習を行うようにしてもよい。これにより、識別精度をさらに向上させることができる。また、Ｓ１２０６において、３０％以上の確率の用紙種が１つ存在する場合には、その１つの用紙種を示す画面を表示し、ユーザにその用紙種が正しいかを判定させてもよい。その結果、用紙種が正しくない場合には、図１４のような画面表示を行うようにしうる。一方、用紙種が正しい場合には、その用紙種を教師データとして、推定モデルに対する再学習を行うようにしてもよい。

【0040】

以上のように、本実施形態の用紙種識別装置は、用紙に対して光を照射し、その反射光や透過光を検出し、検出した光の光量を入力データとして使用し、かつ、その際の用紙の種類を教師データとして使用した機械学習により得られた推定モデルを使用する。すなわち、多数の用紙に関する学習によって、入力データがどの種類の用紙に対応するかを判定するために学習が行われた推定モデルを用いて、用紙の種類の識別が行われる。これにより、様々な種類の用紙に対して高精度に用紙の種類を識別することが可能となる。

【0041】

また、推定モデルに対する再学習を行うことにより、それまで識別対象でなかった用紙についても識別対象として追加することができるようになる。このため、新たな用紙が開発された場合などにおいても、用紙の識別を実行することが可能となる。また、推定モデルを生成したセンサ３０１と、印刷機に備えられたセンサ３０１との個体差等によって取得する光量値が異なる場合に、ユーザがセットした用紙種とは異なる用紙種を用紙種識別装置が出力してしまう虞がある。そのような場合にも再学習を行うことによってユーザがセットした用紙種を正しく識別することが可能となる。

【0042】

以上では、登録されていない用紙種や、用紙種識別処理において９０％未満の確率であると判定された用紙種が選択された場合に再学習を行う場合の例について説明した。しかしながらこれに限られず、９０％以上の確率であると判定された用紙種が選択された場合にも再学習が行われてもよい。その場合には、図１２のＳ１２０２で取得した出力データと、決定した用紙種とを教師データとして図１１のＳ１１０２～Ｓ１１０４の処理を行うことにより再学習が行われる。

【0043】

なお、上述の例では、印刷機において、用紙が搬送される際に、その用紙の種別を識別する例について説明したが、これに限られない。例えば、印刷用の用紙のみならず、任意のシート状の物体について、上述の用紙種識別装置を適用することができる。

【0044】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0045】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0046】

１０１：用紙種識別ユニット、１０２：学習ユニット、２０４；学習ユニット、３００：用紙、３０１：センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】