特許 7574675 機械学習モデルを用いて被判別データのクラスを判別する方法、情報処理装置、及び、コンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】機械学習モデルを用いて被判別データのクラスを判別する方法、情報処理装置、及び、コンピュータープログラム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20241022BHJP

   G06N 20/00 20190101ALI20241022BHJP

   G01N 21/27 20060101ALI20241022BHJP

【ＦＩ】

G06N3/08

G06N20/00 130

G01N21/27 Z

【請求項の数】 9

(21)【出願番号】P 2021015502

(22)【出願日】2021-02-03

(65)【公開番号】P2022118781

(43)【公開日】2022-08-16

【審査請求日】2023-10-20

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】西村 秦

(72)【発明者】

【氏名】渡邊 亮基

(72)【発明者】

【氏名】倉沢 光

【審査官】北川 純次

(56)【参考文献】

【文献】特開２０１９－２１２２９６（ＪＰ，Ａ）

【文献】特開２０２０－１６６８１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２ － ３／１０

Ｇ０６Ｎ ２０／００

Ｇ０１Ｎ ２１／２７

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別する方法であって、
（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの中間層を含む１つ以上の特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについて準備する工程と、
（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する工程と、
を含み、
前記工程（ｂ）は、
（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する工程と、
（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群とのクラス別類似度を演算する工程と、
（ｂ３）前記クラス別類似度に応じて前記被判別データのクラスを判別する工程と、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記特定層は、第１軸と第２軸の２つの軸で規定された平面に配置されたベクトルニューロンが、前記２つの軸とは異なる方向の第３軸に沿って複数のチャンネルとして配置されている構成を有し、
前記特定層において、前記第１軸の位置と前記第２軸の位置で規定される平面位置で特定され、前記第３軸に沿った前記複数のチャンネルを含む領域を、部分領域と呼ぶとき、
前記特徴スペクトルは、前記特定層に含まれる複数の部分領域のうちの各部分領域について、
（ｉ）当該部分領域に含まれる各ベクトルニューロンの出力ベクトルの複数の要素値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第１種の特徴スペクトルと、
（ｉｉ）前記第１種の特徴スペクトルの各要素値に、前記出力ベクトルのベクトル長さに相当する正規化係数を乗じることによって得られる第２種の特徴スペクトルと、
（ｉｉｉ）前記正規化係数を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第３種の特徴スペクトルと、
のうちのいずれかとして求められる、方法。

【請求項3】

請求項２に記載の方法であって、
前記工程（ｂ２）は、
前記被判別データに応じて、前記特定層の特定の部分領域の出力から得られる前記特徴スペクトルと、前記特定層及び各クラスに関連付けられたすべての前記既知特徴スペクトルとの類似度である局所類似度を求めることによって、前記特定層の前記複数の部分領域に関して各クラスに対する類似度を示す複数の局所類似度を求める工程と、
前記クラス毎に、前記複数の部分領域に関する前記複数の局所類似度の最大値、平均値、又は、最小値を取ることによって、前記クラス別類似度を求める工程と、
を含む、方法。

【請求項4】

請求項２に記載の方法であって、
前記工程（ｂ２）は、
前記被判別データに応じて、前記特定層の特定の部分領域の出力から得られる前記特徴スペクトルと、前記特定層の前記特定の部分領域及び各クラスに関連付けられたすべての前記既知特徴スペクトルとの類似度である局所類似度を求めることによって、前記特定層の前記複数の部分領域に関して各クラスに対する類似度を示す複数の局所類似度を求める工程と、
前記クラス毎に、前記複数の部分領域に関する前記複数の局所類似度の最大値、平均値、又は、最小値を取ることによって、前記クラス別類似度を求める工程と、
を含む、方法。

【請求項5】

請求項２に記載の方法であって、
前記工程（ｂ２）は、
前記被判別データに応じて、前記特定層の出力から得られるすべての前記特徴スペクトルと、前記特定層及び各クラスに関連付けられたすべての前記既知特徴スペクトルとの類似度をクラス毎にそれぞれ求めることによって、前記クラス別類似度を求める工程を含む、方法。

【請求項6】

請求項１～５のいずれか一項に記載の方法であって、
前記特定層が複数存在する場合に、
前記工程（ｂ３）は、
各特定層に関する前記クラス別類似度からクラス判別結果を求めることによって、前記複数の特定層に関するそれぞれのクラス判別結果を得る工程と、
前記複数のクラス判別結果で示されるクラスのうちで、最も多いクラスを前記被判別データの判別クラスとして決定する工程と、
を含む、方法。

【請求項7】

請求項３又は４に記載の方法であって、
前記特定層が複数存在する場合に、
前記工程（ｂ３）は、
各特定層の各部分領域に対して、当該部分領域に関する前記局所類似度に基づいてクラスを決定するとともに、当該クラスの前記複数のクラスの中での順序を示すクラスパラメーター値を当該部分領域に割り当てる工程と、
前記複数の部分領域における前記クラスパラメーター値の分布に関する統計的な分散を、前記複数の特定層のそれぞれについて算出する工程と、
前記複数の特定層のうち、前記分散が最も小さい特定層に対して得られていた前記クラス別類似度を用いて、前記被判別データのクラスを判別する工程と、
を含む、方法。

【請求項8】

複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別するクラス判別処理を実行する情報処理装置であって、
前記機械学習モデルを記憶するメモリーと、
前記機械学習モデルを用いた演算を実行するプロセッサーと、
を備え、
前記プロセッサーは、
（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの中間層を含む１つ以上の特定層の出力から得られる既知特徴スペクトル群を、前記複数のクラスのそれぞれについて前記メモリーから読み出す処理と、
（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する処理と、
を実行するように構成されており、
前記処理（ｂ）は、
（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する処理と、
（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群との類似度を演算する処理と、
（ｂ３）前記類似度に応じて前記被判別データのクラスを判別する処理と、
を含む、情報処理装置。

【請求項9】

複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別するクラス判別処理をプロセッサーに実行させるコンピュータープログラムであって、
（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの中間層を含む１つ以上の特定層の出力から得られる既知特徴スペクトル群を、前記複数のクラスのそれぞれについてメモリーから読み出す処理と、
（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する処理と、
を前記プロセッサーに実行させるコンピュータープログラムであり、
前記処理（ｂ）は、
（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する処理と、
（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群との類似度を演算する処理と、
（ｂ３）前記類似度に応じて前記被判別データのクラスを判別する処理と、
を含む、コンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習モデルを用いて被判別データのクラスを判別する方法、情報処理装置、及び、コンピュータープログラムに関する。

【背景技術】

【0002】

特許文献１，２には、ベクトルニューロンを用いるベクトルニューラルネットワーク型の機械学習モデルとして、カプセルネットワークと呼ばれるものが開示されている。ベクトルニューロンとは、入出力がベクトルであるニューロンを意味する。カプセルネットワークは、カプセルと呼ばれるベクトルニューロンをネットワークのノードとする機械学習モデルである。カプセルネットワークなどのベクトルニューラルネットワーク型の機械学習モデルは、入力データのクラス判別に利用することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第５２１０７９８号公報

【文献】国際公開２０１９／０８３５５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の発明者は、従来技術では、入力データの微細な特徴が、伝搬の途中で省略され、出力層でのクラス判別結果に正しく反映されず、クラス判別結果が誤ってしまう場合があることを見いだした。本開示は、入力データの微細な特徴が反映された中間層での特徴を抽出し、被判別データのクラス判別を行う技術を提供する。

【課題を解決するための手段】

【0005】

本開示の第１の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別する方法が提供される。この方法は、（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの中間層を含む１つ以上の特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについて準備する工程と、（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する工程と、を含む。前記工程（ｂ）は、（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する工程と、（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群とのクラス別類似度を演算する工程と、（ｂ３）前記クラス別類似度に応じて前記被判別データのクラスを判別する工程と、を含む。

【0006】

本開示の第２の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別するクラス判別処理を実行する情報処理装置が提供される。この情報処理装置は、前記機械学習モデルを記憶するメモリーと、前記機械学習モデルを用いた演算を実行するプロセッサーと、を備える。前記プロセッサーは、（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの中間層を含む１つ以上の特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについて前記メモリーから読み出す処理と、（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する処理と、を実行するように構成されている。前記処理（ｂ）は、（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する処理と、（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群との類似度を演算する処理と、（ｂ３）前記類似度に応じて前記被判別データのクラスを判別する処理と、を含む。

【0007】

本開示の第３の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別するクラス判別処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの中間層を含む１つ以上の特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについてメモリーから読み出す処理と、（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する処理と、を前記プロセッサーに実行させるコンピュータープログラムである。前記処理（ｂ）は、（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する処理と、（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群との類似度を演算する処理と、（ｂ３）前記類似度に応じて前記被判別データのクラスを判別する処理と、を含む。

【図面の簡単な説明】

【0008】

【図1】実施形態におけるクラス判別システムのブロック図。

【図2】情報処理装置のブロック図。

【図3】機械学習モデルの構成を示す説明図。

【図4】機械学習モデルの他の構成を示す説明図。

【図5】機械学習モデルの準備工程を示すフローチャート。

【図6】特徴スペクトルを示す説明図。

【図7】教師データを用いて既知特徴スペクトル群を作成する様子を示す説明図。

【図8】既知特徴スペクトル群の構成を示す説明図。

【図9】媒体判別／印刷工程の処理手順を示すフローチャート。

【図10】被判別データに関するクラス別類似度を求める様子を示す説明図。

【図11】クラス別類似度の第１の演算方法を示す説明図。

【図12】クラス別類似度の第２の演算方法を示す説明図。

【図13】クラス別類似度の第３の演算方法を示す説明図。

【図14】複数の特定層を用いた判別クラスの第１の決定方法を示す説明図。

【図15】複数の特定層を用いた判別クラスの第２の決定方法を示す説明図。

【発明を実施するための形態】

【0009】

A.システム構成と処理手順：
図１は、一実施形態におけるクラス判別システムを示すブロック図である。このクラス判別システムは、プリンター１０と、情報処理装置２０と、分光測定器３０とを有する印刷システムである。分光測定器３０は、プリンター１０で使用される印刷媒体ＰＭについて、未印刷の状態で分光測定を行って、分光反射率を取得することが可能である。本開示において、分光反射率を「分光データ」とも呼ぶ。分光測定器３０は、例えば、波長可変干渉分光フィルターと、モノクロイメージセンサーとを備える。分光測定器３０で得られた分光データは、後述する機械学習モデルに入力される被判別データとして使用される。情報処理装置２０は、機械学習モデルを用いて分光データのクラス判別処理を実行し、印刷媒体ＰＭが複数のクラスのいずれに該当するかを判別する。「印刷媒体ＰＭのクラス」とは、印刷媒体ＰＭの種類を意味する。情報処理装置２０は、印刷媒体ＰＭの種類に応じた適切な印刷条件で印刷を実行するようにプリンター１０を制御する。なお、本開示によるクラス判別システムは、印刷システム以外のシステムとしても実現可能であり、例えば、被判別画像や、分光データ以外の１次元データ、分光画像、時系列データなどを被判別データとしてクラス判別を行うシステムとして実現してもよい。

【0010】

図２は、情報処理装置２０の機能を示すブロック図である。情報処理装置２０は、プロセッサー１１０と、メモリー１２０と、インターフェイス回路１３０と、インターフェイス回路１３０に接続された入力デバイス１４０及び表示部１５０と、を有している。インターフェイス回路１３０には、分光測定器３０とプリンター１０も接続されている。限定されないが例えば、プロセッサー１１０は、以下で詳述される処理を実行する機能を有するだけでなく、表示部１５０に、当該処理によって得られるデータ、および当該処理の過程で生成されるデータを表示する機能も有する。

【0011】

プロセッサー１１０は、プリンター１０を用いた印刷処理を実行する印刷処理部１１２として機能し、また、印刷媒体ＰＭの分光データのクラス判別処理を実行するクラス判別処理部１１４として機能する。クラス判別処理部１１４は、類似度演算部３１０とクラス決定部３２０とを含む。印刷処理部１１２とクラス判別処理部１１４は、メモリー１２０に格納されたコンピュータープログラムをプロセッサー１１０が実行することによって実現される。但し、これらの各部１１２，１１４をハードウェア回路で実現してもよい。本明細書のプロセッサーは、このようなハードウェア回路をも含む用語である。また、クラス判別処理を実行するプロセッサーは、ネットワークを介して情報処理装置２０に接続されたリモートコンピューターに含まれるプロセッサーであってもよい。

【0012】

メモリー１２０には、機械学習モデル２００と、教師データ（Training Data）ＴＤと、既知特徴スペクトル群ＫＳｐと、印刷設定テーブルＰＳＴと、が格納される。機械学習モデル２００は、クラス判別処理部１１４による処理に使用される。機械学習モデル２００の構成例や動作については後述する。教師データＴＤは、機械学習モデル２００の学習に使用されるラベル付きのデータの集合である。本実施形態では、教師データＴＤは分光データの集合である。既知特徴スペクトル群ＫＳｐは、学習済みの機械学習モデル２００に教師データＴＤを入力した際に得られる特徴スペクトルの集合である。特徴スペクトルについては後述する。印刷設定テーブルＰＳＴは、各印刷媒体に適した印刷設定が登録されたテーブルである。

【0013】

図３は、機械学習モデル２００の構成を示す説明図である。この機械学習モデル２００は、入力データＩＭの側から順に、畳み込み層２１０と、プライマリーベクトルニューロン層２２０と、第１畳み込みベクトルニューロン層２３０と、第２畳み込みベクトルニューロン層２４０と、分類ベクトルニューロン層２５０とを備える。これらの５つの層２１０～２５０のうち、畳み込み層２１０が最も下位の層であり、分類ベクトルニューロン層２５０が最も上位の層である。以下の説明では、層２１０～２５０を、それぞれ「Conv層２１０」、「PrimeVN層２２０」、「ConvVN1層２３０」、「ConvVN2層２４０」、及び「ClassVN層２５０」とも呼ぶ。

【0014】

本実施形態において、入力データＩＭは分光データなので、１次元配列のデータである。例えば、入力データＩＭは、３８０ｎｍ～７３０ｎｍの範囲の分光データから、１０ｎｍ毎に３６個の代表値を抽出したデータである。

【0015】

図３の例では２つの畳み込みベクトルニューロン層２３０，２４０を用いているが、畳み込みベクトルニューロン層の数は任意であり、畳み込みベクトルニューロン層を省略してもよい。但し、１つ以上の畳み込みベクトルニューロン層を用いることが好ましい。

【0016】

図３の各層２１０～２５０の構成は、以下のように記述できる。
＜機械学習モデル２００の構成の記述＞
・Conv層２１０：Conv[32,6,2]
・PrimeVN層２２０：PrimeVN[26,1,1]
・ConvVN1層２３０：ConvVN1[20,5,2]
・ConvVN2層２４０：ConvVN2[16,4,1]
・ClassVN層２５０：ClassVN[n1,3,1]
・ベクトル次元ＶＤ：VD=16
これらの各層２１０～２５０の記述において、括弧前の文字列はレイヤー名であり、括弧内の数字は、順に、チャンネル数、カーネルの表面サイズ、及び、ストライドである。例えば、Conv層２１０のレイヤー名は「Conv」であり、チャンネル数は３２、カーネルの表面サイズは１×６、ストライドは２である。図３では、各層の下にこれらの記述が示されている。各層の中に描かれているハッチングを付した矩形は、隣接する上位層の出力ベクトルを算出する際に使用されるカーネルの表面サイズを表している。本実施形態では、入力データＩＭが１次元配列のデータなので、カーネルの表面サイズも１次元である。なお、各層２１０～２５０の記述で用いたパラメーターの値は例示であり、任意に変更可能である。

【0017】

Conv層２１０は、スカラーニューロンで構成された層である。他の４つの層２２０～２５０は、ベクトルニューロンで構成された層である。ベクトルニューロンは、ベクトルを入出力とするニューロンである。上記の記述では、個々のベクトルニューロンの出力ベクトルの次元は１６で一定である。以下では、スカラーニューロン及びベクトルニューロンの上位概念として「ノード」という語句を使用する。

【0018】

図３では、Conv層２１０について、ノード配列の平面座標を規定する第１軸ｘ及び第２軸ｙと、奥行きを表す第３軸ｚとが示されている。また、Conv層２１０のｘ，ｙ，ｚ方向のサイズが１，１６，３２であることが示されている。ｘ方向のサイズとｙ方向のサイズを「解像度」と呼ぶ。本実施形態では、ｘ方向の解像度は常に１である。ｚ方向のサイズは、チャンネル数である。これらの３つの軸ｘ，ｙ，ｚは、他の層においても各ノードの位置を示す座標軸として使用する。但し、図３では、Conv層２１０以外の層では、これらの軸ｘ，ｙ，ｚの図示が省略されている。

【0019】

よく知られているように、畳み込み後のｙ方向の解像度Ｗ１は、次式で与えられる。
W1=Ceil{(W0-Wk+1)/S} （１）
ここで、Ｗ０は畳み込み前の解像度、Ｗｋはカーネルの表面サイズ、Ｓはストライド、Ceil｛Ｘ｝はＸを切り上げる演算を行う関数である。
図３に示した各層の解像度は、入力データＩＭのｙ方向の解像度を３６とした場合の例であり、実際の各層の解像度は入力データＩＭのサイズに応じて適宜変更される。

【0020】

ClassVN層２５０は、ｎ１個のチャンネルを有している。図３の例ではｎ１＝３である。一般に、ｎ１は２以上の整数であり、機械学習モデル２００を用いて判別可能な既知のクラスの数である。ClassVN層２５０の３つのチャンネルからは、３つの既知のクラスに対する判定値Class1～Class3が出力される。通常は、これらの判定値Class1～Class3のうちで最も大きな値を有するクラスが、入力データＩＭのクラス判別結果として使用される。また、判定値Class1～Class3のうちで最も大きな値が予め定められた閾値未満である場合には、入力データＩＭのクラスが未知であるものと判定するようにしてもよい。

【0021】

本開示では、後述するように、出力層であるClassVN層２５０の判定値Class1～Class3を使用する代わりに、特定のベクトルニューロン層の出力から算出されるクラス別類似度を使用して、判別クラスを決定する。

【0022】

図３では、更に、各層２１０，２２０，２３０，２４０，２５０における部分領域Ｒｎが描かれている。部分領域Ｒｎの添え字「ｎ」は、各層の符号である。例えば、部分領域Ｒ２１０は、Conv層２１０における部分領域を示す。「部分領域Ｒｎ」とは、各層において、第１軸ｘの位置と第２軸ｙとの位置で規定される平面位置（ｘ，ｙ）で特定され、第３軸ｚに沿った複数のチャンネルを含む領域である。部分領域Ｒｎは、第１軸ｘ、第２軸ｙ、および第３軸ｚに対応する「Ｗｉｄｔｈ」×「Ｈｅｉｇｈｔ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域Ｒｎ」に含まれるノードの数は「１×１×デプス数」、すなわち「１×１×チャンネル数」である。

【0023】

図３に示すように、ConvVN1層２３０の出力から後述する特徴スペクトルSp_ConvVN1が算出されて、類似度演算部３１０に入力される。同様に、ConvVN2層２４０とClassVN層２５０の出力から特徴スペクトルSp_ConvVN2，Sp_ClassVNがそれぞれ算出されて類似度演算部３１０に入力される。類似度演算部３１０は、これらの特徴スペクトルSp_ConvVN1，Sp_ConvVN，Sp_ClassVNと、予め作成されていた既知特徴スペクトル群KSpとを用いて、後述するクラス別類似度Sclass_ConvVN1，Sclass_ConvVN2，Sclass_ClassVNをそれぞれ算出する。クラス決定部３２０は、これらのクラス別類似度Sclass_ConvVN1，Sclass_ConvVN2，Sclass_ClassVNの少なくとも一部を用いて、判別結果RDを生成する。判別結果RDは、判別クラスD_classと、判別クラスD_classに対応する類似度値S_valueとを含んでいる。

【0024】

本開示において、類似度の算出に使用されるベクトルニューロン層を、「特定層」とも呼ぶ。特定層としては、１つ以上の任意の数のベクトルニューロン層を使用可能である。なお、特徴スペクトルの構成と、特徴スペクトルを用いた類似度の演算方法、及び、判別クラスの決定方法については後述する。

【0025】

図４は、機械学習モデル２００の他の構成を示す説明図である。この機械学習モデル２００は、入力データＩＭが２次元配列のデータである点で、１次元配列の入力データを用いる図３の機械学習モデル２００と異なっている。図４の各層２１０～２５０の構成は、以下のように記述できる。
＜各層の構成の記述＞
・Conv層２１０：Conv[32,5,2]
・PrimeVN層２２０：PrimeVN[16,1,1]
・ConvVN1層２３０：ConvVN1[12,3,2]
・ConvVN2層２４０：ConvVN2[6,3,1]
・ClassVN層２５０：ClassVN[n1,4,1]
・ベクトル次元ＶＤ：VD=16

【0026】

図４に示した機械学習モデル２００は、例えば、被判別画像のクラス判別を行うクラス判別システムに使用できる。但し、以下の説明では、図３に示した機械学習モデル２００を使用する。

【0027】

図５は、機械学習モデルの準備工程の処理手順を示すフローチャートである。この準備工程は、例えば、プリンター１０のメーカーで実行される工程である。

【0028】

図５のステップＳ１１０では、クラス判別処理部１１４が、複数の教師データＴＤを用いて機械学習モデル２００の学習を実行する。個々の教師データＴＤには、予めラベルが付与されている。本実施形態では、１～３のいずれかのラベルが、個々の教師データＴＤに付与されているものと仮定する。これらのラベルは、機械学習モデル２００の３つのクラスClass1～Class3に対応している。本開示において、「ラベル」と「クラス」は同じものを意味する。

【0029】

複数の教師データＴＤを用いた学習が終了すると、学習済みの機械学習モデル２００がメモリー１２０に保存される。図５のステップＳ１２０では、学習済みの機械学習モデル２００に複数の教師データＴＤを再度入力して、既知特徴スペクトル群KSpを生成する。既知特徴スペクトル群KSpは、以下で説明する特徴スペクトルの集合である。

【0030】

図６は、学習済みの機械学習モデル２００に任意の入力データを入力することによって得られる特徴スペクトルSpを示す説明図である。ここでは、ConvVN1層２３０の出力から得られる特徴スペクトルSpについて説明する。図６の横軸は、ConvVN1層２３０の１つの部分領域Ｒ２３０に含まれる複数のノードの出力ベクトルに関するベクトル要素の位置である。このベクトル要素の位置は、各ノードにおける出力ベクトルの要素番号ＮＤと、チャンネル番号ＮＣとの組み合わせで表される。本実施形態では、ベクトル次元が１６なので、出力ベクトルの要素番号ＮＤは０から１５までの１６個である。また、ConvVN1層２３０のチャンネル数は２０なので、チャンネル番号ＮＣは０から１９までの２０個である。換言すれば、この特徴スペクトルSpは、１つの部分領域Ｒ２３０に含まれる各ベクトルニューロンの出力ベクトルの複数の要素値を、第３軸ｚに沿った複数のチャンネルにわたって配列したものである。

【0031】

図６の縦軸は、各スペクトル位置での特徴値Ｃ_Vを示す。この例では、特徴値Ｃ_Vは、出力ベクトルの各要素の値Ｖ_NDである。なお、特徴値Ｃ_Vとしては、出力ベクトルの各要素の値Ｖ_NDと、後述する正規化係数とを乗算した値を使用してもよく、或いは、正規化係数をそのまま使用してもよい。後者の場合には、特徴スペクトルSpに含まれる特徴値Ｃ_Vの数はチャンネル数に等しく、２０個である。なお、正規化係数は、そのノードの出力ベクトルのベクトル長さに相当する値である。

【0032】

１つの入力データに対してConvVN1層２３０の出力から得られる特徴スペクトルSpの数は、ConvVN1層２３０の平面位置（ｘ，ｙ）の数、すなわち、部分領域Ｒ２３０の数に等しいので、６個である。同様に、１つの入力データに対して、ConvVN2層２４０の出力から３個の特徴スペクトルSpが得られ、ClassVN層２５０の出力から１個の特徴スペクトルSpが得られる。

【0033】

類似度演算部３１０は、学習済みの機械学習モデル２００に教師データＴＤが再度入力されたときに、図６に示す特徴スペクトルSpを算出して、既知特徴スペクトル群KSpとしてメモリー１２０に登録する。

【0034】

図７は、教師データＴＤを用いて既知特徴スペクトル群KSpを作成する様子を示す説明図である。この例では、ラベルが１～３である教師データＴＤを、学習済みの機械学習モデル２００に入力することによって、３つのベクトルニューロン層、すなわち、ConvVN1層２３０とConvVN2層２４０とClassVN層２５０の出力から、それぞれのラベル又はクラスに対応付けられた特徴スペクトルKSp_ConvVN1，KSp_ConvVN2，KSp_ClassVNが得られている。これらの特徴スペクトルKSp_ConvVN1，KSp_ConvVN2，KSp_ClassVNが既知特徴スペクトル群KSpとしてメモリー１２０に格納される。

【0035】

図８は、既知特徴スペクトル群KSpの構成を示す説明図である。この例では、ConvVN1層２３０の出力から得られた既知特徴スペクトル群KSp_ConvVN1が示されている。ConvVN2層２４０の出力から得られた既知特徴スペクトル群KSp_ConvVN2と、ClassVN層２５０の出力から得られた既知特徴スペクトル群KSp_ConvVN1も同様の構成を有しているが、図８では図示が省略されている。なお、既知特徴スペクトル群KSpとしては、すくなくとも１つのベクトルニューロン層の出力から得られたものが登録されていればよい。

【0036】

既知特徴スペクトル群KSp_ConvVN1の個々のレコードは、ラベルまたはクラスの順序を示すパラメーターｉと、特定層の順序を示すパラメーターｊと、部分領域Ｒｎの順序を示すパラメーターｋと、データ番号を示すパラメーターｑと、既知特徴スペクトルKSpとを含んでいる。既知特徴スペクトルKSpは、図６の特徴スペクトルSpと同じものである。

【0037】

クラスのパラメーターｉは、ラベルと同じ１～３の値を取る。特定層のパラメーターｊは、３つの特定層２３０，２４０，２５０のいずれであるかを示す１～３の値を取る。部分領域Ｒｎのパラメーターｋは、個々の特定層に含まれる複数の部分領域Ｒｎのいずれであるか、すなわち、平面位置（ｘ，ｙ）のいずれであるかを示す値を取る。ConvVN1層２３０については部分領域Ｒ２３０の数が６個なので、ｋ＝１～６である。データ番号のパラメーターｑは、同じラベルが付された教師データの番号を示しており、クラス１については１～max1，クラス２については１～max2、クラス３については１～max3の値を取る。

【0038】

なお、ステップＳ１２０で使用される複数の教師データＴＤは、ステップＳ１１０で使用された複数の教師データＴＤと同じものである必要は無い。但し、ステップＳ１２０においても、ステップＳ１１０で使用された複数の教師データＴＤの一部又は全部を利用すれば、新たな教師データを準備する必要が無いという利点がある。

【0039】

図９は、学習済みの機械学習モデルを用いた媒体判別／印刷工程の処理手順を示すフローチャートである。この媒体判別／印刷工程は、例えば、プリンター１０を使用するユーザーによって実行される。

【0040】

ステップＳ２１０では、ユーザーによって、処理対象としての印刷媒体である対象印刷媒体について、クラス判別処理を必要とするか否かがクラス判別処理部１１４に指示される。ユーザーが対象印刷媒体の種類を知っている場合にも、確認のためにクラス判別処理が必要であるものと指示してもよい。クラス判別処理が不要な場合には、ステップＳ２６０に進んでユーザーが対象印刷媒体に適した印刷設定を選択し、ステップＳ２７０において印刷処理部１１２が対象印刷媒体を用いた印刷をプリンター１０に実行させる。一方、対象印刷媒体の種類が不明であり、そのクラス判別処理が必要な場合には、ステップＳ２２０に進む。

【0041】

ステップＳ２２０では、クラス判別処理部１１４が、分光測定器３０に対象印刷媒体の分光測定を実行させることによって、分光データを取得する。この分光データは、機械学習モデル２００に入力される被判別データとして使用される。

【0042】

ステップＳ２３０では、クラス判別処理部１１４が、学習済みの機械学習モデル２００に被判別データを入力して、特徴スペクトルSpを算出する。ステップＳ２４０では、類似度演算部３１０が、被判別データの入力に応じて得られた特徴スペクトルSpと、登録済みの既知特徴スペクトル群KSpから、クラス別類似度を算出する。

【0043】

図１０は、被判別データに関するクラス別類似度を求める様子を示す説明図である。被判別データが機械学習モデル２００に入力されると、クラス判別処理部１１４が、ConvVN1層２３０とConvVN2層２４０とClassVN層２５０の出力から、特徴スペクトルSp_ConvVN1，Sp_ConvVN2，Sp_ClassVNをそれぞれ算出する。類似度演算部３１０は、ConvVN1層２３０の出力から得られた特徴スペクトルSp_ConvVN1と、既知特徴スペクトル群KSp_ConvVN1とを用いてクラス別類似度Sclass_ConvVN1を算出する。クラス別類似度の具体的な算出方法については後述する。ConvVN2層２４０とClassVN層２５０についても、同様にしてクラス別類似度Sclass_ConvVN2，Sclass_ClassVNが算出される。

【0044】

３つのベクトルニューロン層２３０，２４０．２５０をそれぞれ用いてクラス別類似度Sclass_ConvVN1，Sclass_ConvVN2，Sclass_ClassVNをすべて生成する必要はないが、これらのうちの１つ以上のベクトルニューロン層を用いてクラス別類似度を算出することが好ましい。前述したように、本開示において、類似度の算出に使用されるベクトルニューロン層を、「特定層」と呼ぶ。

【0045】

ステップＳ２５０では、クラス決定部３２０が、ステップＳ２４０で得られたクラス別類似度に応じて、対象印刷媒体のクラス、すなわち、対象印刷媒体の種類を判別する。ステップＳ２６０では、印刷処理部１１２が、対象印刷媒体の種類に応じて印刷設定テーブルＰＳＴを参照し、印刷設定を選択する。ステップＳ２７０では、印刷処理部１１２が、印刷設定に従って印刷を実行する。図９の手順によれば、対象印刷媒体の種類が不明な場合にも、機械学習モデル２００を用いて対象印刷媒体の種類を判別できるので、その種類に適した印刷設定を用いて印刷を実行することが可能である。

【0046】

B.類似度の算出方法：
上述の図１０に示したクラス別類似度の演算方法としては、例えば、以下の３つの方法のいずれかを採用可能である。
（１）特徴スペクトルSpと既知特徴スペクトル群KSpにおける部分領域Ｒｎの対応を考慮せずにクラス別類似度を求める第１の演算方法Ｍ１
（２）特徴スペクトルSpと既知特徴スペクトル群KSpの対応する部分領域Ｒｎ同士でクラス別類似度を求める第２の演算方法Ｍ２
（３）部分領域Ｒｎを全く考慮せずにクラス別類似度を求める第３の演算方法Ｍ３
以下では、これらの３つの演算方法Ｍ１，Ｍ２，Ｍ３に従って、ConvVN1層２３０の出力からクラス別類似度Sclass_ConvVN1を算出する方法について順次説明する。

【0047】

図１１は、クラス別類似度の第１の演算方法Ｍ１を示す説明図である。第１の演算方法Ｍ１では、まず、特定層であるConvVN1層２３０の出力から、部分領域ｋ毎に各クラスｉに対する類似度を示す局所類似度S(i,j,k)が算出される。そして、これらの局所類似度S(i,j,k)から、図１１の右側に示す３種類のクラス別類似度Sclass(i,j)のいずれかが算出される。クラス別類似度Sclass(i,j)は、図３及び図１０に示したクラス別類似度Sclass_ConvVN1と同じものである。

【0048】

第１の演算方法Ｍ１において、局所類似度S(i,j,k)は次式を用いて算出される。
S(i,j,k)=max[G{Sp(j,k), KSp(i,j,k=all,q=all)}] （２）
ここで、
ｉは、クラスを示すパラメーター、
ｊは、特定層を示すパラメーター、
ｋは、部分領域Ｒｎを示すパラメーター、
ｑは、データ番号を示すパラメーター、
G{a,b}は、ａとｂの類似度を求める関数、
Sp(j,k)は、被判別データに応じて、特定層ｊの特定の部分領域ｋの出力から得られる特徴スペクトル、
KSp(i,j,k=all,q=all)は、図８に示した既知特徴スペクトル群KSpのうち、クラスｉに関連付けられた、特定層ｊのすべての部分領域ｋにおけるすべてのデータ番号ｑの既知特徴スペクトル、
max[X]は、Ｘの値のうちの最大値を取る論理演算である。
なお、類似度を求める関数G{a,b}のaは1つまたは集合、bは集合、戻り値は複数である。関数G{a,b}としては、例えば、コサイン類似度を求める式や、距離に応じた類似度を求める式を使用できる。

【0049】

図１１の右側に示す３種類のクラス別類似度Sclass(i,j)は、クラスｉ毎に、複数の部分領域ｋについての局所類似度S(i,j,k)の最大値、平均値、又は、最小値を取ることによって得られたものである。最大値、平均値、又は、最小値のいずれの演算を使用するかは、クラス判別処理の使用目的に応じて異なる。例えば、自然画像を用いて物体を判別することを目的とする場合には、クラスｉ毎に局所類似度S(i,j,k)の最大値を取ることによってクラス別類似度Sclass(i,j)を求めることが好ましい。また、印刷媒体の種類を判別することを目的とする場合や、工業製品の画像を用いた良否判定を目的とする場合には、クラスｉ毎に局所類似度S(i,j,k)の最小値を取ることによってクラス別類似度Sclass(i,j)を求めることが好ましい。また、クラスｉ毎に局所類似度S(i,j,k)の平均値を取ることによってクラス別類似度Sclass(i,j)を求めることが好ましい場合も考えられる。これらの３種類の演算のいずれを使用するかは、実験的または経験的にユーザーによって予め設定される。

【0050】

図１１の例では、更に、クラス別類似度Sclass(i,j)から、最終的な判別結果RD_ConvVN1 が決定される。判別結果RD_ConvVN1は、判別クラスD_classと、判別クラスD_classに対応する類似度値S_valueとを含む形式で表すことができる。類似度値S_valueは、クラス別類似度Sclass(i,j)における３つのクラス１～３に対する類似度値のうちの最大値を取ることによって得られる。判別クラスD_classは、クラス別類似度Sclass(i,j)において類似度値が最大となるクラスである。

【0051】

以上のように、クラス別類似度の第１の演算方法Ｍ１では、
（１）被判別データに応じて、特定層ｊの特定の部分領域ｋの出力から得られる特徴スペクトルSpと、その特定層ｊ及び各クラスｉに関連付けられたすべての既知特徴スペクトルKSpとの類似度である局所類似度S(i,j,k)を求め、
（２）クラスｉ毎に、複数の部分領域ｋについての局所類似度S(i,j,k)の最大値、平均値、又は、最小値を取ることによってクラス別類似度Sclass(i,j)を求め、
（３）クラスｉ毎に、クラス別類似度Sclass(i,j)の値の最大値を、特徴スペクトルSpと既知特徴スペクトル群KSpとの類似度値S_valueとして求め、
（４）複数のクラスｉに亘って最大となる類似度値S_valueに対応付けられたクラスを判別クラスD_classとして決定する。
この第１の演算方法Ｍ１によれば、比較的簡単な演算及び手順により、クラス別類似度Sclass(i,j)と判別結果を求めることができる。

【0052】

図１２は、クラス別類似度の第２の演算方法Ｍ２を示す説明図である。第２の演算方法Ｍ２では、上述した（２）式の代わりに次式を用いて局所類似度S(i,j,k)を算出する。
S(i,j,k)=max[G{Sp(j,k), KSp(i,j,k,q=all)}] （３）
ここで、
KSp(i,j,k,q=all)は、図８に示した既知特徴スペクトル群KSpのうち、クラスｉに関連付けられた、特定層ｊの特定の部分領域ｋにおけるすべてのデータ番号ｑの既知特徴スペクトルである。

【0053】

上述した第１の演算方法Ｍ１では、特定層ｊのすべての部分領域ｋにおける既知特徴スペクトルKSp(i,j,k=all,q=all)を用いていたのに対して、第２の演算方法Ｍ２では、特徴スペクトルSp(j,k)の部分領域ｋと同じ部分領域ｋに対する既知特徴スペクトルKSp(i,j,k,q=all)のみを用いている。第２の演算方法Ｍ２における他の方法は、第１の演算方法Ｍ１と同じである。

【0054】

クラス別類似度の第２の演算方法Ｍ２では、
（１）被判別データに応じて、特定層ｊの特定の部分領域ｋの出力から得られる特徴スペクトルSpと、その特定層ｊの特定の部分領域ｋ及び各クラスｉに関連付けられたすべての既知特徴スペクトルKSpとの類似度である局所類似度S(i,j,k)を求め、
（２）クラスｉ毎に、複数の部分領域ｋについての局所類似度S(i,j,k)の最大値、平均値、又は、最小値を取ることによって、クラス別類似度Sclass(i,j)を求め、
（３）クラスｉ毎に、クラス別類似度Sclass(i,j)の値の最大値を、特徴スペクトルSpと既知特徴スペクトル群KSpとの類似度値S_valueとして求め、
（４）複数のクラスｉに亘って最大となる類似度値S_valueに対応付けられたクラスを判別クラスD_classとして決定する。
この第２の演算方法Ｍ２によっても、比較的簡単な演算及び手順により、クラス別類似度Sclass(i,j)と判別結果を求めることができる。

【0055】

図１３は、クラス別類似度の第３の演算方法Ｍ３を示す説明図である。第３の演算方法Ｍ３では、局所類似度S(i,j,k)を求めることなく、特定層であるConvVN1層２３０の出力からクラス別類似度Sclass(i,j)が算出される。

【0056】

第３の演算方法Ｍ３で得られるクラス別類似度Sclass(i,j)は、次式を用いて算出される。
Sclass(i,j)=max[G{Sp(j,k=all), KSp(i,j,k=all,q=all)}] （４）
ここで、
Sp(j,k=all)は、被判別データに応じて、特定層ｊのすべての部分領域ｋの出力から得られる特徴スペクトルである。
このクラス別類似度Sclass(i,j)から最終的な判定結果を求める方法は、上述した第１の演算方法Ｍ１や第２の演算方法Ｍ２と同じである。

【0057】

以上のように、クラス別類似度の第３の演算方法Ｍ３では、
（１）被判別データに応じて特定層ｊの出力から得られるすべての特徴スペクトルSpと、その特定層ｊ及び各クラスｉに関連付けられたすべての既知特徴スペクトルKSpとの類似度であるクラス別類似度Sclass(i,j)をクラス毎にそれぞれ求め、
（２）クラスｉ毎に、複数のクラス別類似度Sclass(i,j)の最大値を、特徴スペクトルSpと既知特徴スペクトル群KSpとの類似度値S_valueとして求め、
（３）複数のクラスｉに亘って最大となる類似度値S_valueに対応付けられたクラスを判別クラスD_classとして決定する。
この第３の演算方法Ｍ３によれば、更に簡単な演算及び手順により、クラス別類似度Sclass(i,j)と判別結果を求めることができる。

【0058】

上述した３つの演算方法Ｍ１～Ｍ３は、いずれも個々の特定層ｉに関してクラス別類似度を演算して判別クラスを決定する方法である。上述したように、本実施形態では、図３に示した複数のベクトルニューロン層２３０，２４０，２５０のうちの１つ以上を特定層としてクラス別類似度を演算し、そのクラス別類似度から被判別データのクラスを決定することができる。複数の特定層を用いる場合には、例えば、以下のような判別クラスの決定方法を採用することが可能である。

【0059】

図１４は、複数の特定層を用いた判別クラスの第１の決定方法ＭＭ１を示す説明図である。ここでは、３つの特定層、すなわち、ConvVN1層２３０とConvVN2層２４０とClassVN層２５０に関して、判別結果RD_ConvVN1，RD_ConvVN2，RD_ClassVNがそれぞれ算出されている。最終的な判別クラスD_classは、複数の特定層に関する複数の判別結果RD_ConvVN1，RD_ConvVN2，RD_ClassVNで示される判別クラスD_classのうちで、最も多く現れたクラスが採用される。図１４の例では、クラス３が最も多く現れるので、このクラスが最終的な判別クラスD_classとして採用または導出される。この第１の決定方法ＭＭ１によれば、複数の特定層を用いてクラス判別をより精度良く行うことができる。なお、最も多いクラスが複数存在する場合には、それらの複数のクラスをすべて判別クラスとしてユーザーにて提示してもよい。

【0060】

図１５は、複数の特定層を用いた判別クラスの第２の決定方法ＭＭ２を示す説明図である。この第２の決定方法ＭＭ２では、複数の特定層のうち、最も統計的に有意な判定結果を示す特定層を用いて判別クラスを決定する。図１５の例では、ConvVN1層２３０とConvVN2層２４０が特定層として使用されている。まず、ConvVN1層２３０の各部分領域ｋに関して、局所類似度S(i,j,k)が最大値となるクラスを決定し、そのクラスのクラスパラメーター値ｉを各部分領域ｋに割り当てる処理を実行する。なお、クラスパラメーター値ｉは、複数のクラスの中での順序を示す値である。クラスパラメーター値ｉは、例えば連続した整数である。本実施形態ではクラスパラメーター値ｉとクラスｉとは同じである。ConvVN2層２４０についても同様に、局所類似度S(i,j,k)が最大値となるクラスを決定し、そのクラスのクラスパラメーター値ｉを各部分領域ｋに割り当てる処理を実行する。

【0061】

また、第２の決定方法ＭＭ２において、各部分領域ｋに関して、クラス間の局所類似度Sに差がない場合、すなわち、或る部分領域ｋの局所類似度Sに関する複数のクラスにわたる誤差や分散が閾値以内である場合には、その部分領域ｋにクラスパラメーター値を割り当てないようにしてもよい。クラスパラメーター値の分散を求める際は、クラスパラメーター値が割り当てられていない部分領域ｋを除外して分散を求める。これにより、特徴的な部分でのみ分散を求めることができるのでクラス判別をより精度よく行うことができる。

【0062】

第２の決定方法ＭＭ２では、更に、各特定層において、複数の部分領域ｋにおけるクラスパラメーター値ｉの分布に関して分散が算出される。この分散は、クラスパラメーター値ｉについての統計的な分散の値である。図１５の例では、ConvVN1層２３０の分散は0.14であり、ConvVN2層２４０の分散0.22である。これらの特定層２３０，２４０のうちで、クラスパラメーター値ｉの分布の偏りが大きいほど判定結果が明確であることが予想されるので、分散が低い特定層についてのクラス判別結果を採用する。換言すれば、複数の特定層のうち、分散が最も小さい特定層に対して得られていたクラス別類似度を用いて、被判別データのクラスを判別する。この第２の決定方法ＭＭ２によれば、複数の特定層を用いてクラス判別をより精度良く行うことができる。

【0063】

なお、クラス判別の方法としては、上述した方法以外の方法を採用してもよい。例えば、複数の特定層のうち、出力層に最も近い層の結果を優先して判別結果として出力してもよい。

【0064】

以上のように、本実施形態では、被判別データの入力に応じた機械学習モデル２００の特定層の出力から特徴スペクトルSpを算出し、その特徴スペクトルSpと複数のクラスのそれぞれに関する既知特徴スペクトル群KSpとのクラス別類似度Sclass(i,j)を演算し、そのクラス別類似度Sclass(i,j)に応じて被判別データのクラスを判別するので、クラス判別の精度を高めることができる。

【0065】

C.機械学習モデルの各層の出力ベクトルの演算方法：
図３に示した機械学習モデル２００における各層の出力の演算方法は、以下の通りである。図４に示した機械学習モデル２００も、個々のパラメーターの値以外は同じである。

【0066】

PrimeVN層２２０の各ノードは、Conv層２１０の１×１×３２個のノードのスカラー出力を３２次元のベクトルとみなして、このベクトルに変換行列を乗ずることによってそのノードのベクトル出力を得る。この変換行列は、表面サイズが１×１のカーネルの要素であり、機械学習モデル２００の学習によって更新される。なお、Conv層２１０とPrimeVN層２２０の処理を統合して、１つのプライマリーベクトルニューロン層として構成することも可能である。

【0067】

PrimeVN層２２０を「下位層Ｌ」と呼び、その上位側に隣接するConvVN1層２３０を「上位層Ｌ＋１」と呼ぶとき、上位層Ｌ＋１の各ノードの出力は、以下の式を用いて決定される。

【数1】

ここで、
Ｍ^L _iは、下位層Ｌにおけるｉ番目のノードの出力ベクトル、
Ｍ^L+1 _jは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトル、
ｖ_ijは、出力ベクトルＭ^L+1 _jの予測ベクトル、
Ｗ^L _ijは、下位層Ｌの出力ベクトルＭ^L _iから予測ベクトルｖ_ijを算出するための予測行列、
ｕ_jは、予測ベクトルｖ_ijの和、すなわち線形結合、である和ベクトル、
ａ_jは、和ベクトルｕ_jのノルム|ｕ_j|を正規化することによって得られる正規化係数であるアクティベーション値、
Ｆ（Ｘ）は、Ｘを正規化する正規化関数である。

【0068】

正規化関数Ｆ（Ｘ）としては、例えば以下の（Ｅ３ａ）式または（Ｅ３ｂ）式を使用できる。

【数2】

ここで、
ｋは、上位層Ｌ＋１のすべてのノードに対する序数、
βは、任意の正の係数である調整パラメーターであり、例えばβ＝１である。

【0069】

上記（Ｅ３ａ）式では、上位層Ｌ＋１のすべてのノードに関して和ベクトルｕ_jのノルム|ｕ_j|をソフトマックス関数で正規化することによってアクティベーション値ａ_jが得られる。一方、（Ｅ３ｂ）式では、和ベクトルｕ_jのノルム|ｕ_j|を、上位層Ｌ＋１のすべてのノードに関するノルム|ｕ_j|の和で除算することによってアクティベーション値ａ_jが得られる。なお、正規化関数Ｆ（Ｘ）としては、（Ｅ３ａ）式や（Ｅ３ｂ）式以外の他の関数を用いてもよい。

【0070】

上記（Ｅ２）式の序数ｉは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトルＭ^L+1 _jを決めるために使用される下位層Ｌのノードに便宜上割り振られるものであり、１～ｎの値をとる。また、整数ｎは、上位層Ｌ＋１におけるｊ番目のノードの出力ベクトルＭ^L+1 _jを決めるために使用される下位層Ｌのノードの数である。従って、整数ｎは次式で与えられる。
n=Nk×Nc （Ｅ５）
ここで、Ｎｋはカーネルの表面サイズであり、Ｎｃは下位層であるPrimeVN層２２０のチャンネル数である。図３の例ではＮｋ＝５、Ｎｃ＝２６なので、ｎ＝１３０である。

【0071】

ConvVN1層２３０の出力ベクトルを求めるために使用される１つのカーネルは、カーネルサイズ１×５を表面サイズとし、下位層のチャンネル数２６を深さとする１×５×２６＝１３０個の要素を有しており、これらの要素のそれぞれは予測行列Ｗ^L _ijである。また、ConvVN1層２３０の２０個のチャンネルの出力ベクトルを生成するためには、このカーネルが２０組必要である。従って、ConvVN1層２３０の出力ベクトルを求めるために使用されるカーネルの予測行列Ｗ^L _ijの数は、１３０×２０＝２６００個である。これらの予測行列Ｗ^L _ijは、機械学習モデル２００の学習により更新される。

【0072】

上述した（Ｅ１）～（Ｅ４）式から分かるように、上位層Ｌ＋１の個々のノードの出力ベクトルＭ^L+1 _jは、以下の演算によって求められる。
（ａ）下位層Ｌの各ノードの出力ベクトルＭ^L _iに予測行列Ｗ^L _ijを乗じて予測ベクトルｖ_ijを求め、
（ｂ）下位層Ｌの各ノードから得られた予測ベクトルｖ_ijの和、すなわち線形結合、である和ベクトルｕ_jを求め、
（ｃ）和ベクトルｕ_jのノルム|ｕ_j|を正規化することによって正規化係数であるアクティベーション値ａ_jを求め、
（ｄ）和ベクトルｕ_jをノルム|ｕ_j|で除算し、更に、アクティベーション値ａ_jを乗じる。

【0073】

なお、アクティベーション値ａ_jは、上位層Ｌ＋１のすべてのノードに関してノルム|ｕ_j|を正規化することによって得られる正規化係数である。従って、アクティベーション値ａ_jは、上位層Ｌ＋１内の全ノードの中における各ノードの相対的な出力強度を示す指標と考えることができる。（Ｅ３）式，（Ｅ３ａ）式、（Ｅ３ｂ）式、及び（４）式で使用されるノルムは、典型的な例ではベクトル長さを表すＬ２ノルムである。このとき、アクティベーション値ａ_jは、出力ベクトルＭ^L+1 _jのベクトル長さに相当する。アクティベーション値ａ_jは、上述した（Ｅ３）式と（Ｅ４）式で使用されるだけなので、ノードから出力される必要は無い。但し、アクティベーション値ａ_jを外部に出力するように上位層Ｌ＋１を構成することも可能である。

【0074】

ベクトルニューラルネットワークの構成は、カプセルネットワークの構成とほぼ同じであり、ベクトルニューラルネットワークのベクトルニューロンがカプセルネットワークのカプセルに相当する。但し、ベクトルニューラルネットワークで使用される上述の（Ｅ１）～（Ｅ４）式による演算は、カプセルネットワークで使用される演算と異なる。両者の最も大きな違いは、カプセルネットワークでは、上記（Ｅ２）式の右辺の予測ベクトルｖ_ijにそれぞれ重みが乗じられており、その重みが、動的ルーティングを複数回繰り返すことによって探索される点である。一方、本実施形態のベクトルニューラルネットワークでは、上述した（Ｅ１）～（Ｅ４）式を順番に１回計算することによって出力ベクトルＭ^L+1 _jが得られるので、動的ルーティングを繰り返す必要が無く、演算がより高速であるという利点がある。また、本実施形態のベクトルニューラルネットワークは、カプセルネットワークよりも演算に必要とするメモリー量がカプセルネットワークより少なく、本開示の発明者の実験によれば、約１／２～１／３のメモリー量で済むという利点もある。

【0075】

ベクトルを入出力とするノードを使用するという点では、ベクトルニューラルネットワークはカプセルネットワークと同じである。従って、ベクトルニューロンを使用する利点もカプセルネットワークと共通している。また、複数の層２１０～２５０は、上位に行くほどより大きな領域の特徴を表現し、下位に行くほどより小さな領域の特徴を表現する、という点は、通常の畳み込みニューラルネットワークと同じである。ここで、「特徴」とは、ニューラルネットワークへの入力データに含まれている特徴的な部分を意味する。ベクトルニューラルネットワークやカプセルネットワークでは、或るノードの出力ベクトルが、そのノードが表現する特徴の空間的な情報を表す空間情報を含む点で、通常の畳み込みニューラルネットワークよりも優れている。すなわち、或るノードの出力ベクトルのベクトル長さは、そのノードが表現する特徴の存在確率を表し、ベクトル方向がその特徴の方向やスケール等の空間情報を表している。従って、同じ層に属する２つのノードの出力ベクトルのベクトル方向は、それぞれの特徴の位置関係を表す。あるいは、当該２つのノードの出力ベクトルのベクトル方向は、特徴のバリエーションを表わすとも言える。例えば、「目」の特徴に対応するノードなら、出力ベクトルの方向は、目の細さ、吊り上がり方、などのバリエーションを表し得る。通常の畳み込みニューラルネットワークでは、プーリング処理によって特徴の空間情報が消失してしまうと言われている。この結果、ベクトルニューラルネットワークやカプセルネットワークは、通常の畳み込みニューラルネットワークに比べて入力データを識別する性能に優れているという利点がある。

【0076】

ベクトルニューラルネットワークの利点は、以下のように考えることも可能である。すなわち、ベクトルニューラルネットワークでは、ノードの出力ベクトルが、入力データの特徴を連続空間内の座標として表現すること、に利点がある。従って、ベクトル方向が近ければ特徴が似ている、というように出力ベクトルを評価できる。また、入力データに含まれている特徴が教師データではカバーできていなくても、補間してその特徴を判別できる、などの利点もある。一方、通常の畳み込みニューラルネットワークは、プーリング処理によって無秩序な圧縮がかかるため、入力データの特徴を連続空間内の座標として表現できない、という欠点がある。

【0077】

ConvVN2層２４０とClassVN層２５０の各ノードの出力も、上述した（Ｅ１）～（Ｅ４）式を用いて同様に決定されるので、詳細な説明は省略する。最上位層であるClassVN層２５０の解像度は１×１であり、チャンネル数はｎ１である。

【0078】

ClassVN層２５０の出力は、既知のクラスに対する複数の判定値Class0～Class2に変換される。これらの判定値は、通常はソフトマックス関数によって正規化された値である。具体的には、例えば、ClassVN層２５０の各ノードの出力ベクトルから、その出力ベクトルのベクトル長さを算出し、更に、各ノードのベクトル長さをソフトマックス関数で正規化する、という演算を実行することによって、個々のクラスに対する判定値を得ることができる。上述したように、上記（Ｅ３）式で得られるアクティベーション値ａ_jは、出力ベクトルＭ^L+1 _jのベクトル長さに相当する値であり、正規化されている。従って、ClassVN層２５０の各ノードのそれぞれにおけるアクティベーション値ａ_jを出力して、そのまま各クラスに対する判定値として使用してもよい。

【0079】

上述の実施形態では、機械学習モデル２００として、上記（Ｅ１）式～（Ｅ４）式の演算によって出力ベクトルを求めるベクトルニューラルネットワークを用いていたが、この代わりに、米国特許第５２１０７９８号公報や国際公開２００９／０８３５５３号公報に開示されているカプセルネットワークを用いてもよい。

【0080】

・他の実施形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0081】

（１）本開示の第１の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別する方法が提供される。この方法は、（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについて準備する工程と、（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する工程と、を含む。前記工程（ｂ）は、（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する工程と、（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群とのクラス別類似度を演算する工程と、（ｂ３）前記クラス別類似度に応じて前記被判別データのクラスを判別する工程と、を含む。
この方法によれば、特徴スペクトルに関する類似度を利用して被判別データのクラス判別を実行するので、クラス判別の精度を高めることができる。

【0082】

（２）上記方法において、前記特定層は、第１軸と第２軸の２つの軸で規定された平面に配置されたベクトルニューロンが、前記２つの軸とは異なる方向の第３軸に沿って複数のチャンネルとして配置されている構成を有ずる。前記特定層において、前記第１軸の位置と前記第２軸の位置で規定される平面位置で特定され、前記第３軸に沿った前記複数のチャンネルを含む領域を、部分領域と呼ぶ。このとき、前記特徴スペクトルは、前記特定層に含まれる複数の部分領域のうちの各部分領域について、（ｉ）当該部分領域に含まれる各ベクトルニューロンの出力ベクトルの複数の要素値を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第１種の特徴スペクトルと、（ｉｉ）前記第１種の特徴スペクトルの各要素値に、前記出力ベクトルのベクトル長さに相当する正規化係数を乗じることによって得られる第２種の特徴スペクトルと、（ｉｉｉ）前記正規化係数を、前記第３軸に沿った前記複数のチャンネルにわたって配列した第３種の特徴スペクトルと、のうちのいずれかとして求められるものとしてもよい。
この方法によれば、特定層の出力ベクトルから得られる３種の特徴スペクトルのいずれかを用いて類似度を求めることができる。

【0083】

（３）上記方法において、前記工程（ｂ２）は、前記被判別データに応じて、前記特定層の特定の部分領域の出力から得られる前記特徴スペクトルと、前記特定層及び各クラスに関連付けられたすべての前記既知特徴スペクトルとの類似度である局所類似度を求めることによって、前記特定層の前記複数の部分領域に関して各クラスに対する類似度を示す複数の局所類似度を求める工程と、前記クラス毎に、前記複数の部分領域に関する前記複数の局所類似度の最大値、平均値、又は、最小値を取ることによって、前記クラス別類似度を求める工程と、を含むものとしてもよい。
この方法によれば、比較的簡単な演算によって、クラス別類似度を求めることができる。

【0084】

（４）上記方法において、前記工程（ｂ２）は、前記被判別データに応じて、前記特定層の特定の部分領域の出力から得られる前記特徴スペクトルと、前記特定層の前記特定の部分領域及び各クラスに関連付けられたすべての前記既知特徴スペクトルとの類似度である局所類似度を求めることによって、前記特定層の前記複数の部分領域に関して各クラスに対する類似度を示す複数の局所類似度を求める工程と、前記クラス毎に、前記複数の部分領域に関する前記複数の局所類似度の最大値、平均値、又は、最小値を取ることによって、前記クラス別類似度を求める工程と、を含むものとしてもよい。
この方法によれば、比較的簡単な演算によって、クラス別類似度を求めることができる。

【0085】

（５）上記方法において、前記工程（ｂ２）は、前記被判別データに応じて、前記特定層の出力から得られるすべての前記特徴スペクトルと、前記特定層及び各クラスに関連付けられたすべての前記既知特徴スペクトルとの類似度をクラス毎にそれぞれ求めることによって、前記クラス別類似度を求める工程を含むものとしてもよい。
この方法によれば、更に簡単な演算によって、クラス別類似度を求めることができる。

【0086】

（６）上記方法において、前記特定層が複数存在する場合に、前記工程（ｂ３）は、各特定層に関する前記クラス別類似度からクラス判別結果を求めることによって、前記複数の特定層に関するそれぞれのクラス判別結果を得る工程と、前記複数のクラス判別結果で示されるクラスのうちで、最も多いクラスを前記被判別データの判別クラスとして決定する工程と、を含むものとしてもよい。
この方法によれば、複数の特定層を用いてクラス判別をより精度良く行うことができる。

【0087】

（７）上記方法において、前記特定層が複数存在する場合に、前記工程（ｂ３）は、各特定層の各部分領域に対して、当該部分領域に関する前記局所類似度に基づいてクラスを決定するとともに、当該クラスの前記複数のクラスの中での順序を示すクラスパラメーター値を当該部分領域に割り当てる工程と、前記複数の部分領域における前記クラスパラメーター値の分布に関する統計的な分散を、前記複数の特定層のそれぞれについて算出する工程と、前記複数の特定層のうち、前記分散が最も小さい特定層に対して得られていた前記クラス別類似度を用いて、前記被判別データのクラスを判別する工程と、を含むものとしてもよい。
この方法によれば、複数の特定層を用いてクラス判別をより精度良く行うことができる。

【0088】

（８）本開示の第２の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別するクラス判別処理を実行する情報処理装置が提供される。この情報処理装置は、前記機械学習モデルを記憶するメモリーと、前記機械学習モデルを用いた演算を実行するプロセッサーと、を備える。前記プロセッサーは、（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについて前記メモリーから読み出す処理と、（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する処理と、を実行するように構成されている。前記処理（ｂ）は、（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する処理と、（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群との類似度を演算する処理と、（ｂ３）前記類似度に応じて前記被判別データのクラスを判別する処理と、を含む。
この情報処理装置によれば、特徴スペクトルに関する類似度を利用して被判別データのクラス判別を実行するので、クラス判別の精度を高めることができる。

【0089】

（９）本開示の第３の形態によれば、複数のベクトルニューロン層を有するベクトルニューラルネットワーク型の機械学習モデルを用いて、被判別データのクラスを判別するクラス判別処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）前記機械学習モデルに複数の教師データが入力されたときに前記複数のベクトルニューロン層のうちの特定層の出力から得られる既知特徴スペクトル群を、複数のクラスのそれぞれについてメモリーから読み出す処理と、（ｂ）前記機械学習モデルと前記既知特徴スペクトル群とを用いて、前記被判別データのクラス判別処理を実行する処理と、を前記プロセッサーに実行させるコンピュータープログラムである。前記処理（ｂ）は、（ｂ１）前記機械学習モデルへの前記被判別データの入力に応じて、前記特定層の出力から特徴スペクトルを算出する処理と、（ｂ２）前記特徴スペクトルと、前記複数のクラスのそれぞれに関する前記既知特徴スペクトル群との類似度を演算する処理と、（ｂ３）前記類似度に応じて前記被判別データのクラスを判別する処理と、を含む。
このコンピュータープログラムによれば、特徴スペクトルに関する類似度を利用して被判別データのクラス判別を実行するので、クラス判別の精度を高めることができる。

【0090】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、クラス判別装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

【符号の説明】

【0091】

１０…プリンター、２０…情報処理装置、３０…分光測定器、１１０…プロセッサー、１１２…印刷処理部、１１４…クラス判別処理部、１２０…メモリー、１３０…インターフェイス回路、１５０…表示部、２００…機械学習モデル、２１０…畳み込み層、２２０…プライマリーベクトルニューロン層、２３０…第１畳み込みベクトルニューロン層、２４０…第２畳み込みベクトルニューロン層、２５０…分類ベクトルニューロン層、３１０…類似度演算部、３２０…クラス決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】