特許 7516871 方法、装置、および、コンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】方法、装置、および、コンピュータープログラム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240709BHJP

   G06N 3/0464 20230101ALI20240709BHJP

【ＦＩ】

G06N3/08

G06N3/0464

【請求項の数】 20

(21)【出願番号】P 2020094200

(22)【出願日】2020-05-29

(65)【公開番号】P2021189729

(43)【公開日】2021-12-13

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】倉沢 光

(72)【発明者】

【氏名】金澤 佳奈

(72)【発明者】

【氏名】渡邊 亮基

【審査官】小林 秀和

(56)【参考文献】

【文献】国際公開第２０１９／０８３５５３（ＷＯ，Ａ１）

【文献】特開２０２０－０１７１９７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１７１１２３（ＷＯ，Ａ１）

【文献】ディープラーニングにおける「カプセルネットワーク(CapsNet)」による画像認識とは？，[online]，日本，GIGAZINE，2018年02月08日，[retrieved on 2024.05.24] Retrieved from the Internet: <URL: https://gigazine.net/news/20180208-capsnet/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ３／０４６４

(57)【特許請求の範囲】

【請求項1】

１または複数のプロセッサーに実行させるための方法であって、
第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習することと、
学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得することと、を備え、
前記第１中間データを取得することは、前記第１中間データを、前記第１データ要素の部分範囲であって前記カプセルが対応する部分範囲に関連付けて記憶装置に記憶することである、方法。

【請求項2】

予め学習された第１モデルを用いて、１または複数のプロセッサーに実行させるための方法であって、
前記第１モデルは、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、
前記方法は、
前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得することと、
前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得することと、
前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算することと、を備える、方法。

【請求項3】

請求項２に記載の方法であって、
さらに、計算した前記類似度に関する情報を出力することを含む、方法。

【請求項4】

請求項２または請求項３に記載の方法であって、
さらに、前記第１モデルに前記第２データ要素を入力して、前記第２データ要素のラベルを判別することを含む、方法。

【請求項5】

請求項４に記載の方法であって、
さらに、前記ラベルの判別結果を出力することを含む、方法。

【請求項6】

請求項２から請求項５までのいずれか一項に記載の方法であって
前記カプセル層は、複数の前記カプセルを有し、
前記第１中間データを取得することは、
前記複数の前記カプセルがそれぞれ有する前記第１中間データを取得することと、
取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、
前記第２中間データを取得することは、
前記複数の前記カプセルがそれぞれ有する前記第２中間データを取得することと、
取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、
前記類似度を計算することは、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含む、方法。

【請求項7】

請求項６に記載の方法であって、
前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含む、方法。

【請求項8】

請求項６または請求項７に記載の方法であって、
前記カプセル層は、複数層によって構成された階層構造であり、
前記類似度を計算することは、
前記カプセル層ごとにおいて、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含む、方法。

【請求項9】

請求項２から請求項５までのいずれか一項に記載の方法であって、
前記カプセル層は、複数の前記カプセルを有し、
前記第１中間データを取得することは、
前記複数の前記カプセルがそれぞれ有する前記第１中間データを取得することと、
取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、
前記第２中間データを取得することは、
前記複数の前記カプセルがそれぞれ有する前記第２中間データを取得することと、
取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、
前記類似度を計算することは、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含む、方法。

【請求項10】

請求項９に記載の方法であって、
前記類似度に関する情報は、前記類似度の計算が行われた前記第２部分範囲を示す部分範囲情報を含む、方法。

【請求項11】

請求項９に記載の方法であって、
前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含む、方法。

【請求項12】

請求項９から請求項１１までのいずれか一項に記載の方法であって、
前記カプセル層は、複数層によって構成された階層構造であり、
前記類似度を計算することは、
前記カプセル層ごとにおいて、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含む、方法。

【請求項13】

請求項８または請求項１２に記載の方法であって、
前記類似度に関する情報は、さらに、複数の前記カプセル層の階層を識別するための層ラベル情報と、前記階層ごとの前記類似度を示す類似度情報と、前記階層ごとにおいて前記類似度の計算が行われた前記第２部分範囲である階層部分範囲を示す階層部分範囲情報と、前記類似度と予め定められた閾値との大小関係を示す比較情報と、の少なくとも一つを含む、方法。

【請求項14】

請求項２から請求項１３までのいずれか一項に記載の方法であって、
前記第１中間データは、少なくとも前記第１ポーズを含み、
前記第２中間データは、少なくとも前記第２ポーズを含み、
前記類似度を計算することは、前記第１ポーズと前記第２ポーズとの前記類似度を計算することを含む、方法。

【請求項15】

請求項２から請求項１３までのいずれか一項に記載の方法であって、
前記第１中間データは、少なくとも前記第１アクティベーションを含み、
前記第２中間データは、少なくとも前記第２アクティベーションを含み、
前記類似度を計算することは、前記第１アクティベーションと前記第２アクティベーションとの前記類似度を計算することを含む、方法。

【請求項16】

請求項２から請求項１３までのいずれか一項に記載の方法であって、
前記第１中間データは、前記第１ポーズと前記第１アクティベーションとを含み、
前記第２中間データは、前記第２ポーズと前記第２アクティベーションとを含み、
前記類似度を計算することは、前記第１ポーズを前記第１アクティベーションで重み付けし、前記第２ポーズを前記第２アクティベーションで重み付けし、重み付け後の前記第１ポーズと、重み付け後の前記第２ポーズとの前記類似度を計算することを含む、方法。

【請求項17】

装置であって、
第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習する学習部と、
学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する第１取得部と、を備え、
前記第１取得部は、前記第１中間データを、前記第１データ要素の部分範囲であって前記カプセルが対応する部分範囲に関連付けて記憶装置に記憶させることで、前記第１中間データを取得する、装置。

【請求項18】

装置であって、
それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習された第１モデルを記憶する記憶装置と、
前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する第１取得部と、
前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得する第２取得部と、
前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算する計算部と、を備える、装置。

【請求項19】

コンピュータープログラムであって、
第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習する機能と、
学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する機能と、を１または複数のプロセッサーに実行させ、
前記第１中間データを取得する機能は、前記第１中間データを、前記第１データ要素の部分範囲であって前記カプセルが対応する部分範囲に関連付けて記憶装置に記憶させる機能である、コンピュータープログラム。

【請求項20】

予め学習された第１モデルを用いて実行されるコンピュータープログラムであって、
前記第１モデルは、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されており、
前記コンピュータープログラムは、
前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する機能と、
前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得する機能と、
前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算する機能と、を１または複数のプロセッサーに実行させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カプセルネットワークを用いた技術に関する。

【背景技術】

【0002】

従来、機械学習において、アルゴリズムとしてカプセルネットワークが知られている（特許文献１、非特許文献１，２）。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開２０１９／０８３５５３号公報

【非特許文献】

【0004】

【文献】Geoffrey Hinton, Sara Sabour, Nicholas Frosst, “MATRIX CAPSULES WITH EM ROUTING”, published as a conference paper at ICLR 2018

【文献】Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton, “Dynamic Routing Between Capsules”, 31st Conference on Neural Information Processing Systems (NIPS 2017)

【発明の概要】

【発明が解決しようとする課題】

【0005】

カプセルネットワークは、カプセルと呼ばれるユニットをネットワークのノードに有するアルゴリズムモデルである。カプセルネットワークにおける典型的なカプセルは、ポーズ(pose)とアクティベーション(activation)とを入出力する。ポーズは、それを出力したカプセルの状態を表し、ベクトルまたは行列の形態をとる。また、アクティベーションは、それを出力したカプセルの活性度を表すスカラー量である。ポーズとアクティベーションは、合議制ルーティング(routing-by-agreement)と呼ばれる手法を用いて、前層の複数のカプセルからの出力、例えばポーズとアクティベーションとによって決定される。合議制ルーティングは、限定されないが好適にはＥＭ(Expectation-Maximization)アルゴリズムにより実行される。カプセルネットワークは、典型的に多層構造を有する。多層構造を構成する層のいくつかは「カプセル層」と呼ばれる。そして好適には、カプセル層のそれぞれは、いわゆる深さ方向に並んだ１つ以上のカプセルを有する。そして、一つのカプセル層において深さ方向に並んだ複数のカプセルのそれぞれは、前層からの出力に基づいてポーズとアクティベーションを計算し、計算したポーズとアクティベーションが次のカプセル層において対応する複数のカプセルへの入力となるようにメモリーに記憶する。つまり、各カプセル層において、カプセルの数だけポーズとアクティベーションが計算される。最終層では、目的のクラス判別と同数のカプセルを有し、アクティベーションが最大となるカプセルに対応するクラスが出力される。クラス判別は、ラベル判別とも呼ぶ。なお、ソフトウェアプログラムとして設計されるときは、各カプセル層において、一つの深さでのカプセルの数は一つであり得る。しかしながら、以下の明細書では、学習時および推定時の典型的な実行形態に合わせて、各カプセル層において、それぞれの深さで、かつ深さ方向の軸に垂直な、すなわち当該軸と交差する、概念上の平面上で、カーネルサイズとストライドとで決まる２次元アレイを構成する複数のカプセルが存在する、とも表現される。

【0006】

従来、カプセルネットワークを用いてクラス判別が行われた場合、クラス判別の結果は出力されるものの、出力されたクラスの判別根拠が不明であり、判別根拠を知ることは困難であった。

【課題を解決するための手段】

【0007】

（１）本開示の第１の形態によれば、１または複数のプロセッサーに実行させるための方法が提供される。この方法は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習することと、学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得することと、を備える。

【0008】

（２）本開示の第２の形態によれば、予め学習された第１モデルを用いて、１または複数のプロセッサーに実行させるための方法が提供される。前記第１モデルは、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。この方法は、学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得することと、前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得することと、前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算することと、を含む。

【0009】

（３）本開示の第３の形態によれば装置が提供される。この装置は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習する学習部と、学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する第１取得部と、を備える。

【0010】

（４）本開示の第４の形態によれば装置が提供される。この装置は、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習された第１モデルを記憶する記憶装置と、前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する第１取得部と、前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得する第２取得部と、前記第１中間データと前記第２中間データとの類似度を計算する計算部と、を備える。

【0011】

（５）本開示の第５の形態によればコンピュータープログラムが提供される。このコンピュータープログラムは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習する機能と、学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する機能と、を１または複数のプロセッサーに実行させる。

【0012】

（６）本開示の第６の形態によれば予め学習された第１モデルを用いて実行されるコンピュータープログラムが提供される。前記第１モデルは、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。このコンピュータープログラムは、前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する機能と、前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得する機能と、前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算する機能と、を１または複数のプロセッサーに実行させる。

【図面の簡単な説明】

【0013】

【図1】学習段階の判別システムを説明するための図。

【図2】第１データセットと事前ラベルを説明するための図。

【図3】第１モデルの設定方法を説明するための図。

【図4】第１モデルの学習処理を示すフローチャート。

【図5】判別段階の判別システムを説明するための図。

【図6】第２データセットを説明するための図。

【図7】第２データセットのクラス判別処理のフローチャート。

【図8】第１説明処理のフローチャート。

【図9】特徴スペクトルを説明するための図。

【図10】第２説明処理のフローチャート。

【図11】第２データ要素を説明するための図。

【図12】第１カプセル層におけるコサイン類似度を示す図。

【図13】第２カプセル層におけるコサイン類似度を示す図。

【発明を実施するための形態】

【0014】

Ａ．実施形態
図１は、学習段階の判別システム１００を説明するための図である。図２は、第１データセット１２と事前ラベル１４を説明するための図である。図１に示す判別システム１００は、カプセルネットワークを用いた第１モデル３０の学習を行う段階を表している。判別システム１００は、判別装置２０と、外部装置との間でデータのやり取りをするデータインターフェースと、を備える。データインターフェースは、限定されないが好適にはＵＳＢアダプター、有線または無線ＬＡＮアダプターなどである。

【0015】

本実施形態では、データインターフェースを介して、外部装置から判別装置２０の記憶装置に第１データセット１２が格納されている。第１データセット１２は第１モデル３０の学習に用いられる。第１データセット１２は、第１データ要素１２Ａ，１２Ｂ，１２Ｃと、第１データ要素１２Ａ，１２Ｂ，１２Ｃに対応する事前ラベル１４とを有する。事前ラベル１４のうち、第１データ要素１２Ａに対応するラベルを事前ラベル１４Ａとも呼び、第１データ要素１２Ｂに対応するラベルを事前ラベル１４Ｂとも呼び、第１データ要素１２Ｃに対応するラベルを事前ラベル１４Ｃとも呼ぶ。第１データセット１２は、センサーによって取得された複数の第１データ要素１２Ａ，１２Ｂ，１２Ｃを含む。センサーは、ＲＧＢカメラ、赤外カメラ、デプスセンサー、マイクロフォン、加速度センサー、ジャイロセンサーなどの各種センサーであり、本実施形態ではカメラである。

【0016】

図２に示すように、各第１データ要素１２Ａ～１２Ｃは、カメラで撮像した種類が異なる対象物としてのサイコロである。第１データ要素１２Ａは、全面が一の目のサイコロをカメラで撮像したデータ要素である。第１データ要素１２Ｂは、全面が二の目のサイコロをカメラで撮像したデータ要素である。第１データ要素１２Ｃは、全面が三の目のサイコロをカメラで撮像したデータ要素である。画像データである第１データ要素１２Ａ～１２Ｃはそれぞれ、１０００枚ずつ準備されている。第１データ要素１２Ａ～１２Ｃはそれぞれ画像サイズが３２×３２ピクセルである。また１０００枚ずつの第１データ要素１２Ａ～１２Ｃは、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。第１モデル３０での学習に用いられる第１データ要素１２Ａ～１２Ｃや、第１モデル３０によってラベル判別される後述する第２データ要素は、特徴に階層性を有する。特徴に階層性を有するとは、注目するデータ領域を微小な領域から、段階的に大きくしていくと、領域ごとに異なる特徴が現れることを意味する。例えば、特徴として、領域のテクスチャー、領域に現れる形状、領域に現れる各要素の配置、領域に現れる全体構成などが各階層に該当する。特徴の階層性は、多くのデータに一般的にみられる特徴構造であり、第１モデル３０を用いた本開示の内容は汎用性が高い。

【0017】

事前ラベル１４は、第１データ要素１２Ａ～１２Ｃのそれぞれに対応付けて第１入力データセット１０に記憶されている。事前ラベルは、第１事前ラベルとしての良品ラベルと、第２事前ラベルとしての不良品ラベルとを有する。事前ラベル１４は、単にラベル１４と呼ぶこともある。第１データ要素１２Ａには、事前ラベルとして不良品ラベルが対応付けられている。第１データ要素１２Ｂには、事前ラベルとして不良品ラベルが対応付けられている。第１データ要素１２Ｃには、事前ラベルとして良品ラベルが対応付けられている。つまり、本実施形態における第１モデル３０は、立方体の各表面に３の目を印刷または刻印した製品を製造する場合に使用され、製品の良品と不良品を判別する。

【0018】

図１に示す判別装置２０は、パーソナルコンピューターなどの電子計算機である。判別装置２０は、記憶装置２２と、プロセッサー２４と、出力部２６とを備える。記憶装置２２は、フラッシュメモリーやＥＥＰＲＯＭなどの一時的でない記憶媒体としての不揮発性記憶媒体２３と、メインメモリーとしてのＤＲＡＭと、を含む。記憶装置２２には、第１モデル３０と、入力された第１入力データセット１０を用いて生成される収集データ要素３２とが記憶されている。また、記憶装置２２には、判別装置２０の動作を制御するための各種プログラムが記憶されている。

【0019】

第１モデル３０は、カプセルネットワーク型の学習モデルであり、複数層を有する階層型である。従来のニューラルネットワークでは一つのニューロンが他の複数のニューロンのそれぞれからスカラー量の出力を受け取り非線形変換によって一つのスカラー量を出力するのに対し、カプセルネットワーク型の学習モデルは、上述のように、カプセルと呼ばれるノードが、合議制ルーティングにしたがい、スカラー量、または、ベクトル若しくは行列型のデータを入出力することによって、情報を伝搬する。カプセルネットワーク型のアルゴリズムについては、上述の特許文献１、非特許文献１，２に開示の内容が採用される。

【0020】

合議制ルーティング、ここではＥＭルーティングにより、入力元カプセルのポーズであるベクトルＭ_ｉから出力先カプセルのポーズであるベクトルＭ_ｊを生成する流れについて説明する。まず、入力ベクトルＭ_ｉからＶ_ｉｊを計算する。

【数1】

ここで式（１．１）の右辺のかっこ内に記載の各要素はベクトルＶ_ｉｊを構成するスカラー値であり、Ｈはベクトルの次元数である。また、Ｗ_ｉｊは重み行列である。また、添え字ｉ，ｊは下記式（２）を満たすものであり、Ω_Ｌ、Ω_Ｌ＋１はそれぞれ、層Ｌと層Ｌ＋１に含まれるカプセル番号の集合である。

【0021】

【数2】

【0022】

ＥＭルーティングでは次のＭステップとＥステップを適当な回数繰り返すことで、Ｖ_ｉｊの重み付き平均ｕ_ｉｊを計算し、その後ｕ_ｉｊを出力ベクトルＭ_ｊに置き換えることで、出力ベクトルＭ_ｊを生成する。重み付き平均ｕ_ｉｊは以下の式（３）で表される。

【数3】

ここで、上記式（３）の右辺のかっこ書きの要素は、重み付き平均ｕ_ｉｊを構成するスカラー値である。

【0023】

まず、下記式（４）で初期化した状態からスタートする。

【数4】

【0024】

Ｍステップ：

【数5】

上記式（５）で入力元カプセルｉのアクティベーションａ_ｉを掛けてＲ_ｉｊを調整する。

【0025】

【数6】

【数7】

【0026】

上記式（６）でＶ_ｉｊの重み付き平均ｕ_ｉｊを求め、上記式（７）でＶ_ｉｊの重み付き分散を求める。

【0027】

【数8】

【0028】

上記式（８）で出力先カプセルｊのアクティベーションａ_ｊを計算する。ここで、βａ、βｕはパラメーターであり、Ｗ_ｉｊと共に学習される。またlogisticは一般的なロジスティック関数である。

【0029】

Ｅステップ：
次に、下記式（９）、式（１０）により、Ｒ_ｉｊを更新する。

【数9】

【数10】

【0030】

第１モデル３０の学習段階では、第１データセット１２の各第１データ要素１２Ａ，１２Ｂ，１２Ｃと、第１データセット１２の第１データ要素１２Ａ，１２Ｂ，１２Ｃのそれぞれに対応する事前ラベル１４Ａ，１４Ｂ，１４Ｃとの対応を再現するように第１モデル３０が学習される。第１モデル３０は、１つ以上のカプセルを有する１つ以上のカプセル層を含む。本実施形態では、第１モデル３０は、複数のカプセルをそれぞれ有する複数のカプセル層によって構成されている。第１モデル３０の詳細構成は後述する。

【0031】

プロセッサー２４は、記憶装置２２に記憶された各種プログラムを実行することで各種機能を実現する。プロセッサー２４は、例えば、学習部と第１取得部と第２取得部と計算部として機能する。なお、他の実施形態では、上述の各種機能の少なくとも一部がハードウェア回路によって実現されてもよい。ここで、本明細書において、「プロセッサー」は、ＣＰＵ、ＧＰＵ、およびハードウェア回路を包含する用語である。

【0032】

出力部２６は、各種情報を出力するために用いられる。出力部２６は、例えば、液晶モニターである。各種情報としては、例えば、学習された第１モデル３０を用いて判別したデータ要素のラベルに関する情報を表示する。出力部２６は、液晶モニターなどの表示装置に代えて、音声を出力するスピーカーであってもよい。

【0033】

図３は、カプセルネットワーク型の第１モデル３０の設定方法を説明するための図である。第１モデル３０は、入力される第１データセット１２側から順に、畳み込み層３３と、プライマリーカプセル層３５と、第１カプセル層３７と、第２カプセル層３８と、最終層である分類カプセル層３９とを備える。なお、第１モデル３０の階層数は、入力されるデータ要素の種類に応じて、適宜変更される。本実施形態では、カプセル層は４つの層３５，３７，３８，３９によって構成された階層構造である。下位側から順に、プライマリーカプセル層３５、第１カプセル層３７、第２カプセル層３８、分類カプセル層３９が配列される。上位側のカプセル層における各カプセルの各ポーズＭとアクティベーションａは、合議制ルーティング(routing-by-agreement)と呼ばれる手法を用いて、カーネルで指定される下位側のカプセル層の複数のカプセルからの入力によって決定される。

【0034】

第１データセット１２の各データ要素１２Ａ～１２Ｃに対して、５×５のカーネルをストライド「２」で適用することで、データ要素の範囲のうちで畳み込み層３３の一つのノードに出力を与える部分範囲が決まる。各データ要素１２Ａ～１２Ｃに対して適用するカーネルの数は３２である。これにより、畳み込み層３３は、第１軸である縦軸と第１軸と直交する第２軸である横軸がそれぞれ１４つに区切られた領域を有するように構成される。また、畳み込み層３３の深さであるチャンネル数はカーネルの数と同数の３２で構成される。「部分範囲」とは、データ要素上でこの縦軸の位置と横軸の位置で特定される１つの領域である。ただし、以下の説明から明らかなように、データ要素上の「部分範囲」の大きさは、「部分範囲」に対応するカプセル、または部分領域Ｒｘがカプセル層３５，３７，３８，３９のどれに属するかに応じて異なる。また、「部分領域」とは、カプセル層において縦軸の位置と横軸の位置とで特定される領域である。カプセル層における各「部分領域」は、上記縦軸、横軸、およびチャンネルに対応する「Ｈｅｉｇｈｔ」×「Ｗｉｄｔｈ」×「Ｄｅｐｔｈ」の次元を有する。本実施形態では、１つの「部分領域」に含まれるカプセルの数は「１×１×デプス数」である。本明細書において、部分領域Ｒｘの「ｘ」には、カプセル層３５，３７，３８，３９に応じて、「３５」、「３７」、「３８」、「３９」の数値を代入する。例えば、部分領域Ｒ３５は、カプセル層３５における領域を示す。

【0035】

畳み込み層３３に１×１×３２のカーネルをストライド「１」で適用することで、畳み込み層３３の部分領域Ｒ３３のうちから、プライマリーカプセル層３５の一つのカプセルに出力する部分領域Ｒ３３が決まる。ここでは、同じサイズ、同じストライドで、１６種類のカーネルが用いられることから、プライマリーカプセル層３５において、畳み込み層３３の一つの部分領域Ｒ３３に対応するカプセルの数は１６である。畳み込み層３３のノードからプライマリーカプセル層３５のカプセルへの出力の生成には、変換行列が用いられており、合議制ルーティングは用いられていない。なお、カプセル層に畳み込むためのカーネルの次元は、チャネル数およびポーズの要素数も考慮にいれる場合には、「Ｈｅｉｇｈｔ」×「Ｗｉｄｔｈ」×「Ｄｅｐｔｈ」×「ポーズＭの要素数」と表現されることもある。この表現にしたがうと、畳み込み層３３からプライマリーカプセル層３５への畳み込みに用いられるカーネルの次元は、１×１×３２×１６である。

【0036】

プライマリーカプセル層３５に３×３×１６のカーネルをストライド「１」で適用することで、プライマリーカプセル層３５の部分領域Ｒ３５のうちから、第１カプセル層３７の一つの部分領域Ｒ３７に含まれるカプセルに出力を与える部分領域Ｒ３５、が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、１２種類のカーネルが用いられることから、第１カプセル層３７の部分領域Ｒ３７に含まれるカプセルの数は１２である。プライマリーカプセル層３５のカプセルから第１カプセル層３７のカプセルへの出力の生成には、合議制ルーティングが用いられる。ここで、下層３５に適用されるカーネルは、上層３７の１つのカプセルを合議制ルーティングにしたがって決めるために用いる下層３５の３×３×１６個のカプセルを指定する、とも表現される。これは、以下の説明でもあてはまる。

【0037】

第１カプセル層３７に７×７×１２のカーネルをストライド「２」で適用することで、第１カプセル層３７の部分領域Ｒ３７のうちから、第２カプセル層３８の一つの部分領域Ｒ３８に出力を与える部分領域Ｒ３７が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、６種類のカーネルが用いられることから、第２カプセル層３８の部分領域Ｒ３８に含まれるカプセルの数は６である。第１カプセル層３７のカプセルから第２カプセル層３８のカプセルを生成する際には、合議制ルーティングが用いられる。

【0038】

第２カプセル層３８に３×３×６のカーネルをストライド「１」で適用することで、第２カプセル層３８の部分領域Ｒ３８のうちから、分類カプセル層３９の一つの部分領域Ｒ３９に出力を与える部分領域Ｒ３８が決まる。ここでは、同じサイズ、同じ次元、同じストライドで、２種類のカーネルが用いられることから、分類カプセル層３９の部分領域Ｒ３９に含まれるカプセルの数は２である。第２カプセル層３８のカプセルから分類カプセル層３９のカプセルを生成する際には、合議制ルーティングが用いられる。

【0039】

最終層である分類カプセル層３９は１つの部分領域Ｒ３９で構成される。分類カプセル層３９は、第１モデル３０に入力されたデータ要素について、予め定められたラベルに分類する。本実施形態では、予め定めたラベルは、良品ラベルと、不良品ラベルとである。分類カプセル層３９では、２つのカプセルのうち、アクティベーションａが最大となるカプセルに対応するラベルが出力となる。分類カプセル層３９から出力されるラベルは、プロセッサー２４によって制御されることで出力部２６によって出力される。

【0040】

上記図３において、プライマリーカプセル層３５の１つの部分領域Ｒ３５は、データ要素１２Ａ～１２Ｃの５×５ピクセルの部分範囲に対応する。また、第１カプセル層３７の１つの部分領域Ｒ３７は、データ要素１２Ａ～１２Ｃの９×９ピクセルの部分範囲に対応する。また、第２カプセル層３８の部分領域Ｒ３８は、データ要素１２Ａ～１２Ｃの２１×２１ピクセルの部分範囲に対応する。また、分類カプセル層３９の部分領域Ｒ３９は、データ要素１２Ａ～１２Ｃの２９×２９ピクセルの部分範囲に対応する。

【0041】

図４は、第１モデル３０の学習段階で実行される学習処理を示すフローチャートである。まず、ステップＳ１０において、第１モデル３０のパラメーターの設定が行われる。ステップＳ１０では、図３を用いて説明したように、階層の数や、層の間で適用されるカーネルのサイズおよび／またはストライドが設定される。

【0042】

次に、ステップＳ１２において、第１モデル３０に学習させる第１データセット１２が準備される。なお、ステップＳ１０とステップＳ１２の順番は上記に限定されるものではなく、ステップＳ１２がステップＳ１０よりも先に実行されてもよい。

【0043】

次に、ステップＳ１４において、第１データセット１２の各第１データ要素１２Ａ～１２Ｃを第１モデル３０に順次入力し、第１データセット１２の各データ要素１２Ａ～１２Ｃと、各データ要素１２Ａ～１２Ｃに対応する事前ラベルとの対応を再現するように、第１モデル３０が学習される。プロセッサー２４は、例えばミニバッチ勾配降下法のアルゴリズムを用いて第１モデル３０を学習する。本実施形態では、プロセッサー２４は、データ要素のサブセットであるミニバッチのサイズを「３２」、エポックを「２００００」に設定したミニバッチ勾配降下法のアルゴリズムを用いて第１モデル３０を学習する。

【0044】

ステップＳ１６では、プロセッサー２４は、ステップＳ１４において学習された第１モデル３０に第１データセット１２を再び入力し、カプセル層である第１カプセル層３７、第２カプセル層３８、分類カプセル層３９のそれぞれについて、以下を実行する。すなわち、プロセッサー２４は、各層３７，３８，３９の各カプセルが有する第１アクティベーションａ１と第１ポーズＭ１との少なくとも一方に基づく第１中間データを、第１データ要素１２Ａ～１２Ｃ上の部分範囲であって各カプセルが対応する部分範囲に関連付けて取得し、互いに関連付けられた第１中間データと関連付けられた部分範囲の相対位置とを記憶装置２２に記憶する。なお、関連付けられた部分範囲そのものを記憶装置２２に記憶してもよい。ここで、第１データ要素１２Ａ～１２Ｃ上の部分範囲であって各カプセルが対応する部分範囲を、第１部分データ要素とも呼ぶ。また、以下では、記憶された第１中間データおよび第１部分データ要素を収集データ３２とも表記する。なお、他の実施形態では、プライマリーカプセル層３５においても各層３７，３８，３９と同様に、第１中間データを第１部分データ要素と関連付けて取得してもよい。また、後述する類似度に関する情報として、第１部分データ要素の領域を示す部分範囲情報を含まない場合には、第１中間データを第１部分データ要素と関連付けなくてもよい。なお、必ずしも全てのカプセル層から第１中間データが取得される必要はない。例えば、第２カプセル層３８だけから第１中間データが取得されてもよいし、いくつかの層の組み合わせから取得されてもよい。これは、以下で説明する第２中間データにも当てはまる。さらに、他の実施形態では、ステップＳ１４で第１モデル３０の学習に用いられる第１データセット１２を２つに分割することで、ステップＳ１４で第１モデル３０の学習に用いられる第１データ要素１２Ａ，１２Ｂ，１２Ｃのグループと、学習に用いられない第１データ要素１２Ａ，１２Ｂ，１２Ｃのグループとに分割し、ステップＳ１４では一方のグループだけで第１モデル３０を学習し、ステップＳ１６では２つのグループを用いて第１中間データを生成してもよい。要するに、第１モデル３０の学習に用いられる第１データ要素１２Ａ，１２Ｂ，１２Ｃの事前ラベル１４Ａ，１４Ｂ，１４Ｃと同じ事前ラベル１４Ａ，１４Ｂ，１４Ｃが付与されている限り、ステップＳ１６で中間データを生成するためのデータは、第１モデル３０の学習に用いられた第１データ要素１２Ａ，１２Ｂ，１２Ｃだけに限定されない。

【0045】

上記のように、プロセッサー２４が実行する方法によれば、ステップＳ１６によって、カプセルが有する第１アクティベーションａ１と第１ポーズＭ１との少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデル３０に判別対象のデータ要素が入力された場合において、カプセルが有する第２アクティベーションａ２と第２ポーズＭ２との少なくとも一方に基づく第２中間データを取得し、第１中間データから生成される特徴スペクトルと第２中間データから生成される特徴スペクトルとの類似度を計算できる。第２中間データは、第２ポーズＭ２自体や第２アクティベーションａ２自体であってもよいし、第２ポーズＭ２や第２アクティベーションａ２に対して重み付けなどのデータ処理したデータであってもよい。本実施形態では、第２中間データは、第２ポーズＭ２と第２アクティベーションａ２とによって構成される。なお、他の実施形態では、第１中間データと第２中間データとはそれぞれ特徴スペクトルであってもよい。特徴スペクトルの詳細については後述する。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できる。よって、第１モデルを用いた入力したデータ要素の判別根拠が出力可能となる。この判別根拠の出力の態様についての詳細は後述する。

【0046】

図５は、判別段階の判別システム１００を説明するための図である。図６は、第２データセット６２を説明するための図である。図５の判別システム１００と図１の判別システム１００と異なる点は、第１モデル３０に入力するデータ要素として、第２入力データセット６０が用いられる点である。

【0047】

図５に示すように、第２入力データセット６０は、第２データセット６２を有する。図６に示すように、第２データセット６２は、製造された複数のサイコロそれぞれにおいて、１つの面がカメラで撮像されることで取得された画像を表す第２データ要素６２Ａ～６２Ｃである。第２データ要素６２Ａ～６２Ｃのサイズは、例えば、第１モデル３０の学習時と同じ３２×３２ピクセルである。また第２データ要素６２Ａ～６２Ｃはそれぞれ１１００枚ずつ準備され、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。

【0048】

学習された第１モデル３０に、第２データ要素６２Ａ～６２Ｃが１つずつ入力されることで、クラス判別、すなわちラベルが判別される。例えば、第１モデル３０に、一の目を表す第２データ要素６２Ａや二の目を表す第２データ要素６２Ｂが入力された場合は不良品であると判別され、三の目を表す第２データ要素６２Ｃが入力された場合は良品であると判別される。また、本実施形態では、プロセッサー２４は、ラベルを判別した判別根拠を生成し、出力部２６に判別したラベルと共に判別根拠を表示させる。判別根拠の生成方法は後述する。

【0049】

図７は、第２データセット６２のクラス判別処理のフローチャートである。まず、ステップＳ２０において、プロセッサー２４は、第１データセット１２を用いて学習された第１モデル３０に各第２データ要素６２Ａ～６２Ｃを１つずつ入力し、クラス判別を実行する。次に、プロセッサー２４が、ステップＳ２２において、入力された第２データ要素６２Ａ～６２Ｃの１つずつに、第１モデル３０の状態、つまり、分類カプセル層３９の２つのカプセルのアクティベーションａとしての第２アクティベーションａ２を計算、すなわち導出する。また、ステップＳ２２では、プロセッサー２４は、第１モデル３０に入力された第２データ要素６２Ａ～６２Ｃのそれぞれについて、第１モデル３０から第２中間データを取得する。第２中間データの取得の詳細は、図８におけるステップＳ３０を参照しながら後述する。

【0050】

次に、ステップＳ２４において、プロセッサー２４は、ステップＳ２２の計算結果をもとに、分類カプセル層３９の第２アクティベーションａ２が最大となるカプセルに対応するラベルを判別結果として出力部２６に出力する。なお、ラベルの判別結果は、画像情報に限られずユーザーに報知できる情報であればよい。例えば、ラベルの判別結果は、音声情報として出力されてもよい。この場合、出力部２６はスピーカーを備える。以下の説明では、ラベルの判別の結果は、収集データ３２の一部として、記憶装置２２に記憶される。

【0051】

このように、第１モデル３０に第２データ要素６２Ａ～６２Ｃを入力することでラベルを容易に判別できる。また、出力部２６によって、ラベルの判別結果が出力されるので、ユーザーは容易にラベルの判別結果を把握できる。

【0052】

図８は、第１説明処理のフローチャートである。図８の第１説明処理は、図７のクラス判別処理の後に行われてもよいし、図７のクラス判別処理と並列して行われてもよい。第１説明処理は、プロセッサー２４によって実行される。第１説明処理は、収集データ要素３２に記憶された良品ラベルが対応付けられた第１データ要素１２Ｃと、入力された第２データ要素６２Ａ～６２Ｃとを比較し、なぜ良品と判別したか、なぜ良品と判別しなかったか、の判別根拠を説明するための処理である。この第１説明処理によって生成される情報は、図７のステップＳ２４の判別結果と共に出力されてもよい。図９は、特徴スペクトルを説明するための図である。

【0053】

図８に示すように、まずステップＳ３０において、プロセッサー２４は、学習された第１モデル３０に第２データ要素６２Ａ～６２Ｃを１つずつ入力し、第１モデル３０にクラス判定を実行させる。当該クラス判定が終了したときに複数のカプセルがそれぞれ出力した第２中間データを取得し、記憶装置２２に記憶する。本実施形態では、第２中間データは、第２ポーズＭ２と第２アクティベーションａ２とを含む。ステップＳ３０では、少なくとも第１カプセル層３７、第２カプセル層３８、分類カプセル層３９のそれぞれについてステップＳ３０が実行される。また、ステップＳ３０において、プロセッサー２４は、第２データ要素６２Ａ～６２Ｃ上の部分範囲であって第２中間データに対応した部分範囲を、第２中間データに関連付けて記憶装置２２に記憶する。本実施形態では、ステップＳ３０は、図７に示すクラス判別処理のステップＳ２２において実行される。次にステップＳ３２において、プロセッサー２４は、記憶装置２２から、事前ラベルとして良品ラベルが付された第１データ要素１２Ｃの全てに対してクラス判別を実施したときに得られた第１中間データを読み出す。本実施形態では、第１中間データは、第１ポーズＭ１と第１アクティベーションａ１とに基づいている。

【0054】

次にステップＳ３４において、プロセッサー２４は、第２データ要素６２Ａ～６２Ｃの特徴スペクトルＳｐと、良品ラベルの第１データ要素１２Ｃの特徴スペクトルＳｐを計算する。具体的には、プロセッサー２４は、第１カプセル層３７、第２カプセル層３８、分類カプセル層３９のそれぞれの部分領域Ｒ３７，Ｒ３８，Ｒ３９ごとに、第１中間データおよび第２中間データからそれぞれの特徴スペクトルＳｐを計算する。本明細書では、特徴スペクトルＳｐは、カプセル層における部分領域Ｒｘごとに、１つ以上のポーズＭを、平均０、分散１で正規化したり、Softmax関数を用いて規格化したりして配列することで表してもよい。また、特徴スペクトルＳｐは、部分領域Ｒｘごとに、ポーズＭの各次元または各要素を、対応するアクティベーションａで重み付けして配列することで表してもよい。重み付けとしては、例えば、ポーズＭと、ポーズＭに対応するアクティベーションａの値の積をとることで実現できる。また、特徴スペクトルＳｐは、カプセル層３７，３８，３９の部分領域Ｒ３７，３８，３９ごとに、アクティベーションａの値を、配列することで表してもよい。また、配列したアクティベーションａを平均０、分散１となるように正規化してもよい。また、特徴スペクトルＳｐは、カプセル層３７，３８，３９の部分領域Ｒ３７，３８，３９ごとに、ポーズＭおよび／またはアクティベーションａを配列することで表してもよい。なお、特徴スペクトルＳｐは正規化することなく、複数次元、本実施形態では１６次元のポーズＭを一次元に変換して配列してもよい。

【0055】

図９に示すグラフは第１カプセル層３７に対応する。第１カプセル層３７では、１つの部分領域Ｒ３７が、深さ方向に並んだ１２個のカプセルを有する。図９には、一例として、ある一つの部分領域Ｒ３７に属する１２個のカプセルが出力したそれぞれのアクティベーションａを平均０、分散１に正規化して並べたものを示している。図９における特徴スペクトルＳｐは、正規化されたこれら複数のアクティベーションａを要素に持つ。図９に示す特徴スペクトルＳｐの一例において、横軸は各カプセルに対応するアクティベーションａを識別するための要素番号「０」～「１１」であり、縦軸は各アクティベーションａの値である。

【0056】

図８に示すように、次にステップＳ３６において、プロセッサー２４は、第１中間データと第２中間データとに基づく類似度を計算する。詳細には、プロセッサー２４は、第１カプセル層３７、第２カプセル層３８、分類カプセル層３９の層ごとにおいて、第２データ要素６２Ａ～６２Ｃの第２中間データから生成した特徴スペクトルＳｐと、良品ラベルの第１データ要素１２Ｃの第１中間データから生成した特徴スペクトルＳｐとの類似度を計算する。本実施形態において、類似度の計算対象は、同じ階層に属する部分領域Ｒｘ同士である。具体的には、カプセル層３７，３８，３９ごとに、第２データ要素６２Ａ～６２Ｃが与えられたときの一つの部分領域Ｒｘに対して、第１データ要素１２Ａ～１２Ｃが与えられたときの全ての部分領域Ｒｘである。ここで、第１データ要素１２Ａ～１２Ｃが与えられたときのカプセル層３７，３８，３９における或る一つの部分領域Ｒｘと、第２データ要素６２Ａ，６２Ｂ，６２Ｃが与えられたときのカプセル層３７，３８，３９における部分領域Ｒｘとは、それぞれ、第１データ要素１２Ａ～１２Ｃである第１画像上の部分範囲と、第２データ要素６２Ａ～６２Ｃである第２画像上の部分範囲と、に対応していることから、上記類似度は、第１画像の部分範囲と、第２画像の部分範囲と、の間の類似度であるとも解釈できる。言い換えると、本実施形態では、第１データ要素１２Ａ～１２Ｃと第２データ要素６２Ａ～６２Ｃとの間で互いに類似度の形態で中間データが比較されるのは、第２データ要素６２Ａ～６２Ｃ上の或る階層に属する部分範囲に対して第１データ要素１２Ａ～１２Ｃ上で同じ階層に属する全ての部分範囲である。しかしながら、後述するように、同じ階層の同じ部分範囲同士の間で類似度が求められてもよい。ここで、階層は部分範囲の大きさに関連付けられている。上述の通り、カプセル層３７，３８，３９が異なると、第１データ要素１２Ａ～１２Ｃ、すなわち第１画像上で定義される部分範囲、および、第２データ要素６２Ａ～６２Ｃ、すなわち第２画像上で定義される部分範囲の大きさも異なる。類似度としては、２つのベクトルを比較する任意の指標を用いることができ、例えばコサイン類似度や平均二乗誤差（ＭＳＥ）やピークＳ／Ｎ比（ＰＳＮＲ）が用いられる。ステップＳ３６では、第１カプセル層３７、第２カプセル層３８、分類カプセル層３９のそれぞれの部分領域Ｒｘごとに、全ての第１データ要素１２Ｃに対応する第１中間データの特徴スペクトルＳｐの類似度のうちで最も類似度が高い値を、第２データ要素６２の部分領域Ｒｘの類似度とする。第２データ要素６２の部分領域Ｒｘの類似度は、部分領域Ｒｘのセンサーデータ要素である画像データ要素、および、部分領域Ｒｘのアクティベーションａと対応付けて記憶装置２２に記憶される。他の実施形態では、ステップＳ３６における類似度の計算対象は、同じ層における同じ相対位置にある部分領域Ｒｘ同士ごとであってもよい。

【0057】

次にステップＳ４０において、プロセッサー２４は、計算、すなわち導出した類似度に関する情報を、出力部２６を用いて出力する。類似度に関する情報は、位置を表す階層部分範囲情報と、階層を表す層ラベル情報と、類似度情報と、比較情報との少なくとも一つを含む。階層部分範囲情報は、階層ごとの部分範囲情報である。限定されないが本実施形態では、階層部分範囲情報は、階層ごとにおいて類似度の計算が行われた部分領域Ｒｘに対応する第１データ要素１２Ａ，１２Ｂ，１２Ｃ上の部分範囲および第２データ要素６２Ａ，６２Ｂ，６２Ｃ上の部分範囲を示す情報である。上記において、部分領域Ｒｘに対応する第１データ要素１２Ａ，１２Ｂ，１２Ｃ上の部分範囲を第１部分データ要素とも呼ぶ。また上記において、部分領域Ｒｘに対応する第２データ要素６２Ａ，６２Ｂ，６２Ｃ上の部分範囲を第２部分データ要素とも呼ぶ。層ラベル情報は、複数のカプセル層である第１カプセル層３７、第２カプセル層３８、および分類カプセル層３９の階層を識別するための情報である。類似度情報は、同じ階層、すなわち同じカプセル層３７，３８，３９に属する部分領域Ｒｘ間の類似度を示す情報である。比較情報は、類似度と予め定められた閾値との大小関係を示す情報である。比較情報は、ステップＳ４０において、プロセッサー２４が、類似度と予め定めた閾値とを比較した場合に生成される情報である。第２データセット６２のデータ要素において、類似度が予め定めた閾値より小さい場合には、その階層で既知の画像の特徴との類似度が低いと解釈され、予め定めた閾値以上の場合には、その階層で既知の画像の特徴との類似度が高いと解釈し得る。予め定めた閾値は、例えば、類似度が高いことや低いことを示す基準となる値である。このように、類似度は良品・不良品などのクラス判定に対する判断根拠として使用され得る。ステップＳ４０では、類似度を含む類似度に関する情報を生成して出力部２６に出力させる。ここで、判別根拠として複数のカプセル層３７，３８，３９の一つのみを用いる場合には、階層部分範囲情報に代えて部分範囲情報が用いられてもよい。部分範囲情報は、類似度の計算が行われたデータ要素上の部分範囲を示す情報である。

【0058】

なお、図８のステップＳ３６において、第１データ要素上のある相対位置にある部分範囲の特徴スペクトルＳｐと、第２データ要素上の当該相対位置とは異なる相対位置の特徴スペクトルＳｐとの類似度が計算された場合には、類似度に関する情報は、それぞれ部分範囲の相対位置を示す情報を含む。

【0059】

類似度に関する情報は、出力部２６の一例である液晶モニターを用いて出力されたが、音声情報として出力されてもよい。この場合、出力部２６はスピーカーを備える。

【0060】

上記のように、第１中間データと第２中間データとに基づく類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデル３０を用いた第２データ要素６２Ａ～６２Ｃの判別根拠を出力可能となる。また、図８のステップＳ３６の処理において、第１部分データ要素の第１中間データと第１部分データ要素に対応した領域の第２部分データ要素の第２中間データとの類似度を計算することで、第１部分データ要素および第２部分データ要素の類似度を計算できる。これにより、類似度に関する情報が出力部２６を用いて出力されることで、例えば第２データ要素におけるどの領域を根拠してラベルの判別が行われたかを容易に把握できる。よって、ユーザーは、ラベルの判別について、どのカプセル層３７，３８，３９を根拠にしたのか、および、どの部分領域Ｒｘを根拠にしたのかなどの類似度に関する情報について容易に把握できる。つまり、ユーザーは、この類似度に関する情報から、入力データである第２データ要素６２Ａ～６２Ｃについて、良品と類似している部分、類似していない部分、それぞれの位置と大きさを把握することができる。なお、ステップＳ３６の処理において、類似度の計算の対象は、カプセル層３７，３８，３９における同じ相対位置の部分領域Ｒｘからの第１中間データと第２中間データでなくともよい。このようにしても、計算の対象である第２データ要素の階層を識別するための層ラベル情報や部分領域Ｒｘを示す部分領域情報などの類似度に関する情報を出力することで、ユーザーは、ラベルの判別について、どのカプセル層３７，３８，３９を根拠にしたのか、および、どの部分領域Ｒｘを根拠にしたのかなどの類似度に関する情報について容易に把握できる。

【0061】

図１０は、第２説明処理のフローチャートである。第２説明処理は、プロセッサー２４によって実行される。第２説明処理は、第２データ要素６２Ａ～６２Ｅが、第１モデル３０の学習に用いられた既知の第１データ要素１２Ａ～１２Ｃと同じ種類であるか否かの判別とその根拠を説明するための処理である。図１１は、第２データセット６２ａを説明するための図である。第２説明処理は、端的に言うと、知らないデータを無理やり判別したのか、知っているデータとして判別したのか、どちらなのかを説明する処理ともいえる。

【0062】

図１１に示すように、第２データセット６２ａは、５種類の第２データ要素６２Ａ～６２Ｅを有する。第２データ要素６２Ａ，６２Ｂ，６２Ｃはそれぞれ、図６に示す第２データ要素６２Ａ，６２Ｂ，６２Ｃと同じであり、第１モデル３０の学習の際に用いられた第１データ要素１２Ａ～１２Ｃと同じ種類の対象物であるサイコロを撮像した画像データ要素である。第２データ要素６２Ｄ，６２Ｅは、第１モデル３０の学習の際に用いられた第１データ要素１２Ａ～１２Ｃとは種類が異なる対象物であるサイコロを撮像した画像データ要素である。具体的には、第２データ要素６２Ｄは、各面において三の目の中央の目がバツ印のサイコロを撮像した画像データ要素である。また第２データ要素６２Ｅは、各面が四の目のサイコロを撮像した画像データ要素である。以上のように、第２データ要素６２Ｄ，６２Ｅは、第１モデル３０の学習の際に用いられなかった未知の種類のデータ要素である。第２データ要素６２Ａ～６２Ｅのサイズは、例えば、第１モデル３０の学習時と同じ３２×３２ピクセルである。また、また第２データ要素６２Ａ～６２Ｅはそれぞれ１１００枚ずつ準備され、サイコロの目の位置が最大で±２ピクセル、サイコロの目の大きさが最大で±２ピクセル変動している。準備された第２データ要素６２Ａ～６２Ｅは、１つずつ第１モデル３０に入力されることで、クラス判別、すなわちラベルが判別される。

【0063】

図１０に示すようにステップＳ３０において、プロセッサー２４は、学習された第１モデル３０に第２データ要素６２Ａ～６２Ｅを１つずつ入力し、第２データ要素６２Ａ～６２Ｅのそれぞれについてクラス判別を実行する。そして、クラス判別が終了したときの、第２データ要素６２Ａ～６２Ｅのそれぞれに対する第２中間データを第１モデル３０から取得する。図１０に示すステップＳ３０は、図８に示すステップＳ３０と同じ処理である。次にステップＳ３２ａにおいて、プロセッサー２４は、記憶装置２２に記憶されている第１モデル３０の学習に用いられた第１データ要素１２Ａ～１２Ｃのそれぞれの第１中間データを全て抽出する。

【0064】

次にステップＳ３４ａにおいて、プロセッサー２４は、第１モデル３０に入力された第２データ要素６２Ａ～６２Ｅの特徴スペクトルと、抽出した学習済みの第１データ要素１２Ａ～１２Ｃの特徴スペクトルを計算する。計算方法については、図８のステップＳ３４において記載の方法と同様であるため、ここでは説明を省略する。

【0065】

次にステップＳ３６ａにおいて、プロセッサー２４は、第２データ要素６２Ａ～６２Ｃの特徴スペクトルＳｐと、第１データ要素１２Ａ～１２Ｃの特徴スペクトルＳｐとの類似度を計算する。類似度としては、例えばコサイン類似度が用いられる。ステップＳ３６では、第１カプセル層３７、第２カプセル層３８、分類カプセル層３９のそれぞれの部分領域Ｒｘごとに、全ての第１データ要素１２Ａ～１２Ｃに対して最も類似度が高い値を、部分領域Ｒｘの類似度とする。部分領域Ｒｘの類似度は、部分領域Ｒｘが対応する画像データ要素の部分範囲、および、部分領域Ｒｘのアクティベーションａと対応付けて記憶装置２２に記憶される。

【0066】

次にステップＳ４０ａにおいて、プロセッサー２４は、計算した類似度に関する情報を、出力部２６を用いて出力する。類似度に関する情報は、位置を表す階層部分範囲情報や部分範囲情報と、階層を表す層ラベル情報と、類似度情報と、比較情報との少なくとも一つを含む。図８に示すステップＳ４０とステップＳ４０ａとで異なる点は、ステップＳ４０ａでは、類似度の閾値の値が異なる点である。例えば、ステップＳ４０ａにおいて予め定めた閾値は、第１モデル３０の学習に用いられたデータ要素と同じ種類である第２データ要素６２Ａ，６２Ｂ，６２Ｃを既知のデータ要素として判別でき、そして、第１モデル３０の学習に用いられたデータ要素と異なる種類である第２データ要素６２Ｄ，６２Ｅを未知のデータ要素として示唆できる値に設定される。

【0067】

上記のように、第２説明処理において第１説明処理と同様の構成や処理を行う点において同様の効果を奏する。例えば、第１中間データと第２中間データとに基づく類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0068】

図１２は、第１カプセル層３７におけるコサイン類似度を示す図である。図１３は、第２カプセル層３８におけるコサイン類似度を示す図である。以下では、図１２および図１３を参照しながら、第１説明処理と第２説明処理の効果について説明する。

【0069】

図１２および図１３に示すコサイン類似度は、以下に記載する生成方法で生成した特徴スペクトルＳｐを用いて算出した。生成方法は、部分領域Ｒｘが有するポーズＭを、アクティベーションａの値で重み付けすることで特徴スペクトルＳｐを生成する方法である。重み付けは、ポーズＭの各次元に、ポーズＭに対応するアクティベーションａの値を掛けることで実行される。この生成方法で生成された特徴スペクトルＳｐのグラフは、例えば、横軸に各ポーズＭの各次元を識別するための要素番号、縦軸に重み付け後の値をとることによって表される。横軸の要素数は、第１カプセル層３７では１６×１２個である。これは、ポーズＭの次元数と、第１カプセル層３７の１つの部分領域Ｒ３７に含まれるカプセルの数と、の積である。

【0070】

図１２および図１３の棒グラフにおいて、Ｎｏ．１～Ｎｏ．４のそれぞれの下に記載した符号である「Ａ ― Ｂ」は以下を意味する。つまり、符号中の左側の符号「Ａ」は、第１モデル３０の学習に用いられていない第２データ要素６２Ａ～６２Ｅであり、符号中の右側の符号「Ｂ」は、第１モデル３０の学習に用いられた第１データ要素１２Ａ～１２Ｃである。Ｎｏ．１の棒グラフは、三の目のサイコロの画像データ要素である、第２データ要素６２Ｃと第１データ要素１２Ｃとのコサイン類似度を示す。Ｎｏ．２のグラフは、二の目のサイコロの画像データ要素である第２データ要素６２Ｂと、三の目のサイコロの画像データ要素である第１データ要素１２Ｃとのコサイン類似度を示す。Ｎｏ．３の棒グラフは、四の目のサイコロの画像データ要素である第２データ要素６２Ｅと、既知の第１データ要素１２Ａ～１２Ｃとのコサイン類似度を示す。Ｎｏ．４の棒フラフは、三の目の中央の目がバツ印のサイコロの画像データ要素である第２データ要素６２Ｄと、既知の第１データ要素１２Ａ～１２Ｃとのコサイン類似度を示す。

【0071】

Ｎｏ．１～Ｎｏ．４のそれぞれの棒グラフが示すコサイン類似度は、以下の方法で算出される。以下では、学習に用いた既知の第１データ要素１２Ａ～１２Ｃの一部分を使っているが、学習に用いたすべてを使ってもよい。すなわち、既知の第１データ要素１２Ａ～１２Ｃからランダムに２００個を選択し、この２００個の第１データ要素１２Ａ～１２Ｃと、準備した比較対象サンプルである第２データ要素６２Ｂ～６２Ｅとの、各層である第１カプセル層３７および第２カプセル層３８においてストライド、すなわち部分領域Ｒ３７，Ｒ３８ごとの類似度の計算を行い、類似度が最大のコサイン類似度の値のみを保存する。この操作を第２データ要素６２Ｂ～６２Ｅのランダムに選んだ１００個について行い、その統計量を表すことで棒グラフが生成される。また、標準偏差をエラーバーで示している。本実施形態において、コサイン類似度は、最小値が「－１」、最大値が「１」である。

【0072】

図１２において、局所形状の比較に対応した第１カプセル層３７では、バツの目が付された第２データ要素６２Ｄとの比較であるＮｏ．４のコサイン類似度が、Ｎｏ．１～Ｎｏ．３のコサイン類似度よりも低い結果を得た。こうすることで、第１モデル３０を用いて、第２データ要素６２Ｄと既知データ要素である第１データ要素１２Ａ，１２Ｂ，１２Ｃとの間で異なる部分は、全体の中で局所的な部分であることが説明できる。他方、第２データ要素６２Ｅについては、局所的な部分に既知データ、すなわち第１データ要素１２Ａ，１２Ｂ，１２Ｃとの差異はないことが説明できる。図１２に示すように、特徴スペクトルＳｐのコサイン類似度において、Ｎｏ．１～Ｎｏ．３と、Ｎｏ．４との境界である閾値ＴＶを設定できる。本実施形態では、既知データと種々のデータとの比較において、第１カプセル層３７に関して得られた特徴スペクトルＳｐのコサイン類似度の大小を表現するのに都合のよい閾値ＴＶが存在することを確認した。よって、閾値ＴＶを適切に設定すれば、第２データ要素６２Ｄは第１カプセル層３７での類似度が小さいと言えて、既知データ、すなわち第１データ要素１２Ａ，１２Ｂ，１２Ｃと異なる特徴を局所的に持つことの説明になり得る。

【0073】

図１３において、中間形状の比較、または局所形状の相対位置の比較、に対応した第２カプセル層３８では、Ｎｏ．１のコサイン類似度が、Ｎｏ．２～Ｎｏ．４のコサイン類似度よりも高い結果を得た。こうすることで、第１モデル３０を用いた「未知」と「既知」のラベル付けの根拠説明の精度を向上できる。さらに、第２データ要素６２Ｂと既知データ要素である第１データ要素１２Ｃとの間で異なる部分は、全体の中で局所形状の相対位置であることが説明できる。また、第２データ要素６２Ｅと既知データ要素である第１データ要素１２Ａ，１２Ｂ，１２Ｃとの間で異なる部分は、全体の中で局所形状の相対位置であることが説明できる。図１３に示すように、特徴スペクトルＳｐのコサイン類似度において、Ｎｏ．１と、Ｎｏ．２～Ｎｏ．４との境界である閾値ＴＶを設定できる。本実施形態では、既知データと種々のデータとの比較において、第２カプセル層３８に関して得られた特徴スペクトルＳｐのコサイン類似度の大小を表現するのに都合がよい閾値ＴＶが存在することを確認した。つまり、第２データ要素６２Ｂ，６２Ｅはサイコロの目の配置が異なることを、第２カプセル層３８に関して導出された類似度が低いことで説明できる。言い換えると、第２データ要素６２Ｂは、良品である第１データ要素１２Ｃとサイコロの目の配置が異なることを説明できる。第２データ要素６２Eは、既知の第１データ要素１２Ａ，１２Ｂ，１２Ｃのどれともサイコロの目の配置が異なることを説明できる。第２データ要素６２Ｄも低いが、これは、ネットワークの情報が下位層から上位層の方向で伝達するので、下位層で異なる特徴を持つとされると、上位層で正常な類似度を求めることは難しくなるためと考えられる。

【0074】

なお、図１２および図１３で用いられた類似度の計算に代えて、第１ポーズＭ１を第１アクティベーションａ１で重み付け、第２ポーズＭ２を第２アクティベーションａ２で重み付けし、重み付け後の第１ポーズＭ１と、重み付け後の第２ポーズＭ２との類似度を計算することであってよい。

【0075】

類似度を計算するための特徴スペクトルＳｐは、上記に限定されるものではない。例えば、部分領域Ｒｘが有するポーズＭをアクティベーションａの値にソフトマックス関数を適用した補正値で重み付けすることで特徴スペクトルＳｐを生成してもよいし、部分領域Ｒｘが有するポーズＭを一次元に並び替えた要素に対して、要素ごとのポーズＭの値を並べることで特徴スペクトルＳｐを生成してもよい。このため、類似度の計算方法は、第１ポーズＭ１からなる特徴スペクトルＳｐと第２ポーズＭ２からなる特徴スペクトルＳｐとの類似度を計算することであってもよい。

【0076】

また、類似度の計算方法は上記方法に限定されるものではない。類似度の計算方法は、例えば、第１アクティベーションａ１と第２アクティベーションａ２の類似度を計算することであってもよい。詳細には、類似度の計算方法は、複数の第１アクティベーションａ１を要素として有する特徴スペクトルＳｐと複数の第２アクティベーションａ２を要素として有する特徴スペクトルＳｐとの類似度を計算することであってもよい。

【0077】

上記実施形態によれば、第１中間データと第２中間データとの類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデル３０を用いた第２データ要素６２Ａ～６２Ｅの判別根拠を出力可能となる。ラベルの判別根拠が出力されることで、ラベル判別根拠を分析することで、例えば、不良品の発生の低減を行うための製造工程などの改善を行うことができる。

【0078】

また上記実施形態によれば、入力されるデータ要素（本実施形態では画像）の部分範囲であって、階層型のカプセルネットワークモデルの各層に含まれる深さ方向のカプセルのまとまり（カプセル群とも呼ぶ）が対応する部分範囲の大きさは、下位側の層から上位側の層に向かうに従い定性的に小から大へとなる傾向にあり、この傾向のもとで当該大きさをある程度調整可能である。そこで、データ要素に含まれる特徴が階層性を有する場合に、第１モデル３０に含まれる層のそれぞれが、それぞれの階層の特徴に対応するよう、つまり、それぞれの大きさの特徴に対応するように、第１モデル３０のネットワーク構造が調整され得る。さらに、階層型のカプセルネットワークモデルでは、各層においてカプセル群が対応するデータ要素上（例えば、画像上）の部分範囲の相関関係は、下位側の層から上位側の層に至るまで保持される。このことから、第１中間データと第２中間データとを、カプセル層３７，３８，３９ごとに比較することで、第２入力データセット６０の各データ要素の判別結果を、特徴の階層ごとに説明し得る。第１中間データは、学習された第１モデル３０に、学習に用いた複数のデータ要素から構成される第１データセット１２を入力として与えてカプセル層３７，３８，３９から得られるデータである。また第２中間データは、第１モデル３０に学習に用いられていないデータ要素、本実施形態では第２データセット６２の各データ要素を入力として与えてカプセル層３７，３８，３９から得られるデータである。

【0079】

Ｂ．他の実施形態：
Ｂ－１．他の実施形態１：
上記実施形態では、第１中間データの特徴スペクトルＳｐと第２中間データの特徴スペクトルＳｐとの類似度は、コサイン類似度であったがこれに限定されるものではなく、類似度を比較する要素に応じて各種の類似度を用いてもよい。例えば、類似度は、二乗誤差であってもよいし、２つのベクトルの内積または外積に基づく類似度、２つのベクトルに表される２つの点の間の距離、ノルムに基づく類似度であってもよい。

【0080】

Ｂ－２．他の実施形態２：
上記実施形態において、第１説明処理と、第２説明処理は、プロセッサー２４によって自動的に切り替え可能に構成されていてもよい。例えば、プロセッサー２４は、第１説明処理を実行している場合において、入力データ要素の全体数に対して不良品であると判別された割合が、予め定めた値以上になった場合に、第１説明処理から第２説明処理へと切り替えてもよい。

【0081】

Ｂ－３．他の実施形態３：
上記実施形態では、不揮発性記憶媒体２３の記憶されたプログラムは、１つのプロセッサー２４によって実行されたが、２つ以上のプロセッサー２４によって実行されてもよい。

【0082】

Ｂ－４．他の実施形態４：
第１中間データや第２中間データの生成方法は上記実施形態に限定されるものではなく、例えば、Ｋｍｅａｎｓ法を用いて第１中間データや第２中間データを生成してもよい。また、ＰＣＡやＩＣＡ、Ｆｉｓｈｅｒなどの変換を用いて第１中間データや第２中間データを生成してもよい。また、第１中間データと第２中間データとの変換方法は異なっていてもよい。

【0083】

Ｃ．他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0084】

（１）本開示の第１の形態によれば、１または複数のプロセッサーに実行させるための方法が提供される。この方法は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習することと、学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得することと、を備える。この形態によれば、カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデルに判別対象の第２データ要素が入力された場合におけるカプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0085】

（２）本開示の第２の形態によれば、予め学習された第１モデルを用いて、１または複数のプロセッサーに実行させるための方法が提供される。前記第１モデルは、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。この方法は、学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得することと、前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得することと、前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算することと、を含む。この形態によれば、カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデルに判別対象の第２データ要素が入力された場合におけるカプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0086】

（３）上記形態において、さらに、計算した前記類似度に関する情報を出力することを含んでもよい。この形態によれば、ユーザーは類似度に関する情報を容易に把握できる。

【0087】

（４）上記形態において、さらに、前記第１モデルに前記第２データ要素を入力して、前記第２データ要素のラベルを判別することを含んでもよい。この形態によれば、第１モデルを用いた第２データ要素のラベルを判別できる。

【0088】

（５）上記形態において、さらに、前記ラベルの判別結果を出力することを含んでもよい。この形態によれば、ユーザーはラベルの判別結果を容易に把握できる。

【0089】

（６）上記形態において、前記カプセル層は、複数の前記カプセルを有し、前記第１中間データを取得することは、前記複数の前記カプセルがそれぞれ有する前記第１中間データを取得することと、取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、前記第２中間データを取得することは、前記複数の前記カプセルがそれぞれ有する前記第２中間データを取得することと、取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、前記類似度を計算することは、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含んでもよい。この形態によれば、第１部分範囲の第１中間データと第１部分範囲に対応した第２部分範囲の第２中間データとの類似度を計算することで、第１部分範囲および第２部分範囲の類似度を計算できる。これにより、第２データ要素におけるどの範囲を根拠としてラベルの判別が行われたかを容易に把握できる。

【0090】

（７）上記形態において、前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含んでもよい。この形態によれば、ユーザーはラベルの判別がどの部分範囲を根拠して行われたかを容易に把握できる。

【0091】

（８）上記形態において、前記カプセル層は、複数層によって構成された階層構造であり、前記類似度を計算することは、前記カプセル層ごとにおいて、前記第１部分範囲の前記第１中間データと、前記第１部分範囲に対応した前記第２部分範囲の前記第２中間データとの前記類似度を計算することを含んでもよい。この形態によれば、複数層のカプセル層の層ごとに第１中間データと第２中間データとの類似度を計算できる。

【0092】

（９）上記形態において、前記カプセル層は、複数の前記カプセルを有し、前記第１中間データを取得することは、前記複数の前記カプセルがそれぞれ有する前記第１中間データを取得すること、取得した前記第１中間データに対応した前記第１データ要素の一部である第１部分範囲を、対応する前記第１中間データに関連付けることと、を含み、前記第２中間データを取得することは、前記複数の前記カプセルがそれぞれ有する前記第２中間データを取得することと、取得した前記第２中間データに対応した前記第２データ要素の一部である第２部分範囲を、対応する前記第２中間データに関連付けることと、を含み、前記類似度を計算することは、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含んでいてもよい。この形態によれば、第１部分範囲の第１中間データと第２部分範囲の第２中間データとの類似度を計算することで、第１部分範囲および第２部分範囲の類似度を計算できる。これにより、第２データ要素におけるどの領域を根拠してラベルの判別が行われたかを容易に把握できる。

【0093】

（１０）上記形態において、前記類似度に関する情報は、前記類似度の計算が行われた前記第２部分範囲を示す部分範囲情報を含んでいてもよい。この形態によれば、ユーザーはラベルの判別がどの部分範囲を根拠にして行われたかを容易に把握できる。

【0094】

（１１）上記形態において、前記類似度に関する情報は、前記類似度の計算が行われた前記第１部分範囲および前記第２部分範囲を示す部分範囲情報を含んでいてもよい。この形態によれば、ユーザーはラベルの判別がどの部分範囲を根拠にして行われたかを容易に把握できる。

【0095】

（１２）上記形態において、前記カプセル層は、複数層によって構成された階層構造であり、前記類似度を計算することは、前記カプセル層ごとにおいて、前記第１中間データと、前記第２中間データとの前記類似度を計算することを含んでいてもよい。この形態によれば、複数層のカプセル層の層ごとに第１中間データと第２中間データとの類似度を計算できる。

【0096】

（１３）上記形態において、前記類似度に関する情報は、さらに、複数の前記カプセル層の階層を識別するための層ラベル情報と、前記階層ごとの前記類似度を示す類似度情報と、前記階層ごとにおいて前記類似度の計算が行われた前記第２部分範囲である階層部分範囲を示す階層部分範囲情報と、前記類似度と予め定められた閾値との大小関係を示す比較情報と、の少なくとも一つを含んでもよい。この形態によれば、ユーザーは類似度に関する情報をさらに詳細に把握できる。

【0097】

（１４）上記形態において、前記第１中間データは、少なくとも前記第１ポーズを含み、前記第２中間データは、少なくとも前記第２ポーズを含み、前記類似度を計算することは、前記第１ポーズと前記第２ポーズとの前記類似度を計算することを含んでもよい。この形態によれば、第１ポーズと第２ポーズとを用いて類似度を計算できる。

【0098】

（１５）上記形態において、前記第１中間データは、少なくとも前記第１アクティベーションを含み、前記第２中間データは、少なくとも前記第２アクティベーションを含み、前記類似度を計算することは、前記第１アクティベーションと前記第２アクティベーションとの前記類似度を計算することを含んでもよい。この形態によれば、第１アクティベーションと第２アクティベーションとを用いて類似度を計算できる。

【0099】

（１６）上記形態において、前記第１中間データは、前記第１ポーズと前記第１アクティベーションとを含み、前記第２中間データは、前記第２ポーズと前記第２アクティベーションとを含み、前記類似度を計算することは、前記第１ポーズを前記第１アクティベーションで重み付けし、前記第２ポーズを前記第２アクティベーションで重み付けし、重み付け後の前記第１ポーズと、重み付け後の前記第２ポーズとの前記類似度を計算することを含んでもよい。この形態によれば、重み付け後の第１ポーズと重み付け後の第２ポーズとを用いて類似度を計算できる。

【0100】

（１７）本開示の第３の形態によれば装置が提供される。この装置は、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習する学習部と、学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する第１取得部と、を備える。この形態によれば、カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデルに判別対象の第２データ要素が入力された場合におけるカプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0101】

（１８）本開示の第４の形態によれば装置が提供される。この装置は、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習された第１モデルを記憶する記憶装置と、前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する第１取得部と、前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得する第２取得部と、前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算する計算部と、を備える。この形態によれば、カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデルに判別対象の第２データ要素が入力された場合におけるカプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0102】

（１９）本開示の第５の形態によればコンピュータープログラムが提供される。このコンピュータープログラムは、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するようにそれぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型の第１モデルを学習する機能と、学習された前記第１モデルに前記第１データセットを入力し、前記１つ以上の前記カプセル層について、前記１つ以上のカプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する機能と、を１または複数のプロセッサーに実行させる。この形態によれば、カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデルに判別対象の第２データ要素が入力された場合におけるカプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0103】

（２０）本開示の第６の形態によれば予め学習された第１モデルを用いて実行されるコンピュータープログラムが提供される。前記第１モデルは、それぞれが１つ以上のカプセルを有する１つ以上のカプセル層を含むカプセルネットワーク型であり、第１データセットが有する複数の第１データ要素と、前記複数の第１データ要素のそれぞれに対応する事前ラベルと、の対応を再現するように学習されている。このコンピュータープログラムは、前記学習された前記第１モデルに前記第１データセットが入力された場合に、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得する機能と、前記第１モデルに第２データ要素を入力して、前記１つ以上の前記カプセル層のそれぞれについて、前記１つ以上の前記カプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得する機能と、前記１つ以上の前記カプセル層において、前記第１中間データと前記第２中間データとの類似度を計算する機能と、を１または複数のプロセッサーに実行させる。この形態によれば、カプセルが有する第１アクティベーションと第１ポーズとの少なくとも一方に基づく第１中間データを取得できる。これにより、第１モデルに判別対象の第２データ要素が入力された場合におけるカプセルが有する第２アクティベーションと第２ポーズとの少なくとも一方に基づく第２中間データを取得し、第１中間データと第２中間データとの類似度を計算できる。類似度を計算することで、例えば、類似度が予め定めた閾値未満のカプセルを特定できるので、第１モデルを用いた第２データ要素の判別根拠を出力可能となる。

【0104】

本開示は、上記形態の他に、コンピュータープログラムを記録した不揮発性記憶媒体や装置を備えるシステムなどの形態で実現することができる。

【符号の説明】

【0105】

ＩＭ０，ＩＭ０ａ…判別根拠画像、ＩＭ１，ＩＭ１ａ…根拠説明画像、ＩＭ２ａ…前提画像，前提画像、Ｍ１…第１ポーズ、Ｍ２…第２ポーズ、Ｓｐ…特徴スペクトル、ＴＶ…閾値、ａ１…第１アクティベーション、ａ２…第２アクティベーション、Ｒｘ…部分領域、１０…第１入力データセット、１２…第１データセット、１２Ａ～１２Ｃ…第１データ要素、１４，１４Ａ～１４Ｃ…事前ラベル、２０…判別装置、２２…記憶装置、２３…不揮発性記憶媒体、２４…プロセッサー、２６…出力部、３０…第１モデル、３２…収集データ要素、３３…畳み込み層、３５…プライマリーカプセル層、３７…第１カプセル層、３８…第２カプセル層、３９…分類カプセル層、６０，６０ａ…第２入力データセット、６２，６２ａ…第２データセット、６２Ａ…第２データ要素、６２Ｂ…第２データ要素、６２Ｃ…第２データ要素、６２Ｄ…第２データ要素、６２Ｅ…第２データ要素、１００…判別システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】