知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】学習装置、学習方法、推論装置、推論方法、及び、プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241008BHJP
【ＦＩ】
G06N20/00 130
【請求項の数】
6
(21)【出願番号】P 2023503320
(86)(22)【出願日】2021-03-05
(86)【国際出願番号】 JP2021008691
(87)【国際公開番号】W WO2022185529
(87)【国際公開日】2022-09-09
【審査請求日】2023-08-28
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】吉田 周平
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０２０－０４２４０３（ＪＰ，Ａ）
【文献】特開２０２０－０９１８１３（ＪＰ，Ａ）
【文献】特開２０２０－０５３０７３（ＪＰ，Ａ）
【文献】特開２０２０－０９１８４６（ＪＰ，Ａ）
【文献】国際公開第２０２０／１６２２９４（ＷＯ，Ａ１）
【文献】Maximilian Nickel 等，Poincare Embeddings for Learning Hierarchical Representations，arXiv.org，2017年05月31日，1-10頁，https://arxiv.org/abs/1705.08039
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
入力データを第１の特徴表現に変換する特徴抽出手段と、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力する分類手段と、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算する損失計算手段と、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する更新手段と、
を備え、
前記分類手段は、前記階層構造の末端クラスについてスコアを出力し、
前記損失計算手段は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する学習装置。
【請求項2】
前記損失計算手段は、前記末端クラスの階層については正解クラスのスコアを最大化する損失を計算し、前記末端クラスの階層より上位の階層については、当該階層において前記正解クラスが属するクラスのスコアを最大化する損失を計算する請求項１に記載の学習装置。
【請求項3】
前記分類手段は、前記階層構造の知識を用いて、各階層について前記スコアを出力し、前記損失計算手段は、各階層について出力された前記スコアに基づいて前記階層的損失を計算する請求項１又は２に記載の学習装置。
【請求項4】
前記射影手段は、前記階層構造の知識に基づいて、各階層について前記第２の特徴表現を出力し、前記分類手段は、各階層について出力された前記第２の特徴表現に基づいて、前記各階層について前記スコアを出力する請求項３に記載の学習装置。
【請求項5】
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失の計算を行い、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新し、
前記分類は、前記階層構造の末端クラスについてスコアを出力することで行われ、
前記階層的損失の計算は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する学習方法。
【請求項6】
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失の計算を行い、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新し、
前記分類は、前記階層構造の末端クラスについてスコアを出力することで行われ、
前記階層的損失の計算は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習モデルの学習方法に関する。
【背景技術】
【0002】
近年、機械学習に基づく認識技術は、画像認識の分野を中心に極めて高い性能を示している。このような機械学習に基づく認識技術の高い精度は、大量の正解付きデータにより支えられている。即ち、大量の正解付きデータを用意して学習を行うことにより、高い精度が実現されている。例えば、特許文献１は、階層構造を持つカテゴリの識別について学習する手法を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開ＷＯ２００６／０７３０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方、画像認識技術の用途などによっては、大量の正解付きデータを用意することなく、低コストで精度の高い機械学習を実現することが求められている。
【0005】
本開示の１つの目的は、低コストで精度の高い機械学習モデルを生成することにある。
【課題を解決するための手段】
【0006】
本開示の一つの観点では、学習装置は、
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力する分類手段と、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算する損失計算手段と、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する更新手段と、
を備え、
前記分類手段は、前記階層構造の末端クラスについてスコアを出力し、
前記損失計算手段は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する。
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力する分類手段と、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算する損失計算手段と、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する更新手段と、
を備え、
前記分類手段は、前記階層構造の末端クラスについてスコアを出力し、
前記損失計算手段は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する。
【0007】
本開示の他の観点では、学習方法は、
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失の計算を行い、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新し、
前記分類は、前記階層構造の末端クラスについてスコアを出力することで行われ、
前記階層的損失の計算は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する。
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失の計算を行い、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新し、
前記分類は、前記階層構造の末端クラスについてスコアを出力することで行われ、
前記階層的損失の計算は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する。
【0008】
本開示のさらに他の観点では、プログラムは、
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失の計算を行い、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新し、
前記分類は、前記階層構造の末端クラスについてスコアを出力することで行われ、
前記階層的損失の計算は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する処理をコンピュータに実行させる。
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失の計算を行い、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新し、
前記分類は、前記階層構造の末端クラスについてスコアを出力することで行われ、
前記階層的損失の計算は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する処理をコンピュータに実行させる。
【0009】
本開示のさらに他の観点では、推論装置は、
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する分類手段と、を備える。
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する分類手段と、を備える。
【0010】
本開示のさらに他の観点では、推論方法は、
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する。
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する。
【0011】
本開示のさらに他の観点では、プログラムは、
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する処理をコンピュータに実行させる。
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する処理をコンピュータに実行させる。
【発明の効果】
【0012】
本開示によれば、クラスの構造の知識を用いることにより、低コストで精度の高い機械学習モデルを生成することが可能となる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態の学習装置のハードウェア構成を示すブロック図である。
【図2】第１実施形態の学習装置の機能構成を示すブロック図である。
【図3】クラスの階層構造の例を示す。
【図4】第１実施形態の学習装置による学習処理のフローチャートである。
【図5】第１実施形態の推論装置の機能構成を示すブロック図である。
【図6】第１実施形態の推論装置による推論処理のフローチャートである。
【図7】第２実施形態の学習装置の機能構成を示すブロック図である。
【図8】階層的双曲分類器を構成する複数の分類器による分担の一例を示す。
【図9】階層的双曲分類器を構成する複数の分類器による分担の他の例を示す。
【図10】第２実施形態の学習装置による学習処理のフローチャートである。
【図11】第２実施形態の推論装置の機能構成を示すブロック図である。
【図12】第２実施形態の推論装置による推論処理のフローチャートである。
【図13】第３実施形態の学習装置の機能構成を示すブロック図である。
【図14】階層的双曲射影部の概略構成を示す。
【図15】特徴表現及び差分を概念的に説明する図である。
【図16】第３実施形態の学習装置による学習処理のフローチャートである。
【図17】第３実施形態の推論装置の機能構成を示すブロック図である。
【図18】第３実施形態の推論装置による推論処理のフローチャートである。
【図19】第４実施形態の学習装置の機能構成を示すブロック図である。
【図20】第４実施形態の学習装置による学習処理のフローチャートである。
【図21】第５実施形態の推論装置の機能構成を示すブロック図である。
【図22】第５実施形態の推論装置による推論処理のフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本開示の好適な実施形態について説明する。
＜概念説明＞
前述のように、大量の正解付き学習データを用いて学習を行えば高精度の認識モデルを得ることができるが、少量のデータから低コストで高精度なモデルを生成することが求められる場合もある。少量のデータから高精度なモデルを学習するためには、学習データ以外の情報を利用することが不可欠である。多クラス分類を行う場合、クラスの階層構造に関する知識は汎用性が高く、容易に入手できる場合が多い。そこで、以下の実施形態では、分類対象のクラスの階層構造を示す知識を利用することにより、少量のデータでも高精度の分類モデルを得ることが可能な学習方法を提供する。
＜概念説明＞
前述のように、大量の正解付き学習データを用いて学習を行えば高精度の認識モデルを得ることができるが、少量のデータから低コストで高精度なモデルを生成することが求められる場合もある。少量のデータから高精度なモデルを学習するためには、学習データ以外の情報を利用することが不可欠である。多クラス分類を行う場合、クラスの階層構造に関する知識は汎用性が高く、容易に入手できる場合が多い。そこで、以下の実施形態では、分類対象のクラスの階層構造を示す知識を利用することにより、少量のデータでも高精度の分類モデルを得ることが可能な学習方法を提供する。
【0015】
＜第１実施形態＞
［学習装置］
まず、第１実施形態の学習装置について説明する。
（ハードウェア構成）
図１は、第１実施形態の学習装置１００のハードウェア構成を示すブロック図である。図示のように、学習装置１００は、インタフェース（Ｉ／Ｆ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、を備える。
［学習装置］
まず、第１実施形態の学習装置について説明する。
（ハードウェア構成）
図１は、第１実施形態の学習装置１００のハードウェア構成を示すブロック図である。図示のように、学習装置１００は、インタフェース（Ｉ／Ｆ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、を備える。
【0016】
インタフェース１１は、外部装置との間でデータの入出力を行う。具体的に、学習に使用される正解付きデータは、インタフェース１１を通じて入力される。
【0017】
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより学習装置１００の全体を制御する。なお、プロセッサ１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。プロセッサ１２は、後述する学習処理を実行する。
【0018】
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
【0019】
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。学習装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。ＤＢ１５は、必要に応じて、学習のための正解付きデータなどを記憶する。
【0020】
（機能構成）
図２は、第１実施形態の学習装置１００の機能構成を示すブロック図である。学習装置１００は、特徴抽出部２１と、双曲射影部２２と、双曲分類部２３と、階層的損失計算部２４と、勾配計算部２５と、更新部２６とを備える。
図２は、第１実施形態の学習装置１００の機能構成を示すブロック図である。学習装置１００は、特徴抽出部２１と、双曲射影部２２と、双曲分類部２３と、階層的損失計算部２４と、勾配計算部２５と、更新部２６とを備える。
【0021】
正解付きデータは、入力データと、その入力データに対応する正解ラベルとを含む。例えば画像認識モデルを学習する場合、入力データは学習に使用される画像であり、正解ラベルはその画像に含まれる対象物のクラスを示す情報である。正解付きデータのうち、入力データは特徴抽出部２１に入力され、正解ラベルは階層的損失計算部２４へ入力される。
【0022】
特徴抽出部２１は、入力データを前特徴表現に変換する。なお、特徴抽出部２１が出力する特徴表現を、後述する双曲射影部２２が出力する特徴表現と区別する意味で「前特徴表現」と呼ぶ。「前特徴表現」及び「特徴表現」は、いずれも入力データの特徴を表す情報である。具体的に、画像認識モデルを学習する場合、特徴抽出部２１は、深層畳み込みニューラルネットワーク（ＣＮＮ）などで構成され、入力された画像の特徴を示す実数値の列（ベクトル）を前特徴表現として双曲射影部２２へ出力する。
【0023】
双曲射影部２２は、前特徴表現を特徴表現に変換する。ここで、「特徴表現」は何らかの多様体上の点であり、具体的な射影部を選択することは、特徴表現が属する多様体（特徴量空間）を選択することと等価である。一般的には、特徴量空間として線形空間（ユークリッド空間）を用い、射影部として線形射影部を使用するか、特徴量空間として高次元超球面を用い、射影部として球面射影部を使用することが多い。これに対し、本実施形態は、特徴量空間として双曲空間を用いる。
【0024】
前述のように、本実施形態は、クラスの階層構造に関する知識を利用することにより、少量の学習データで高精度なモデルを得るものであるが、階層構造（木構造）は指数関数的に広がる性質を有する。一般的には特徴量空間としてユークリッド空間や超球面を使用するが、ユークリッド空間や超球面は多項式的にしか広がらないので木構造の埋め込みには適さない。即ち、ユークリッド空間や超球面の上で階層構造を表現すると、低次元では歪が避けられない。よって、ユークリッド空間や超球面の上で階層構造（木構造）を歪なく表現するには、クラス数に関して指数関数的に高次元の特徴量空間を使用する必要がある。
【0025】
この点から、本実施形態では、特徴量空間として双曲空間を用いる。双曲空間には、木構造を効率的に埋め込むことができる。指数関数的に広がる双曲空間は、２次元でも木構造を歪なく埋め込むことができる。よって、双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換し、双曲分類部２３へ出力する。特徴表現も前特徴表現と同様に実数値の列（ベクトル）であるが、特徴量空間である双曲空間上の座標値とみなすことができる。双曲射影部２２は、具体的な双曲空間のモデルに応じて、ポアンカレ射影、ローレンツ射影などを用いることができる。
【0026】
双曲分類部２３は、双曲射影部２２が出力した双曲空間上の１つの特徴表現から分類を行い、その特徴表現に対して得られる各クラスのスコアを階層的損失計算部２４へ出力する。なお、双曲分類部２３は、クラスの階層構造における末端クラスのスコアだけを出力する。双曲分類部２３としては、双曲超平面分類器や双曲最近傍分類器を用いることができる。双曲超平面分類器は、線形分類器を双曲空間に拡張し、双曲空間中の超平面を識別平面とする分類器である。双曲最近傍分類器は、双曲空間上での最近傍則に従う分類器である。なお、双曲分類部２３の具体的な表式は、双曲射影部２２で選択した双曲空間のモデルによって定まる。
【0027】
階層的損失計算部２４は、双曲分類部２３から入力された各クラスのスコアと、正解付きデータに含まれる正解ラベルとから損失関数を計算する。この際、階層的損失計算部２４は、分類対象となるクラスの階層構造の知識を利用する。具体的には、階層的損失計算部２４は、双曲分類部２３が出力する各クラスのスコアから、階層毎のスコアを計算し、階層毎のスコアが各階層で正しいクラスを予測できるように階層毎の損失（ロス）を計算する。なお、階層的損失計算部２４は、例えばクロスエントロピー損失など、一般的な多値分類向け損失関数を用いることができる。
【0028】
ここで、階層的損失計算部２４による損失の計算方法について例を挙げて説明する。図３は、クラスの階層構造の例を示す。この例は、ルートノードを「商品」とする階層構造（木構造）を示し、第１～第３階層を有する。第１階層は、「商品」の子ノードとして、３つのクラス「食品」、「飲料」、「医薬品」を含む。第２階層は、「食品」の子ノードとして３つのクラス「弁当」、「パン」、「おにぎり」を含み、「飲料」の子ノードとして３つのクラス「お茶」、「ジュース」及び「水」を含む。また、第３階層は、「弁当」の子ノードとして「弁当Ａ」～「弁当Ｃ」を含み、「パン」の子ノードとして「パンＡ」～「パンＣ」を含み、「おにぎり」の子ノードとして「おにぎりＡ」～「おにぎりＣ」を含む。なお、医薬品の第２～第３階層、及び、飲料の第３階層については便宜上図示を省略する。
【0029】
前述のように、双曲分類部２３は、クラスの階層構造における末端クラスのスコアだけを出力する。図３の例では、双曲分類部２３は、「弁当Ａ」～「弁当Ｃ」、「パンＡ」～「パンＣ」、「おにぎりＡ」～「おにぎりＣ」などの末端クラスのスコアのみを出力する。いま、ある入力データが入力され、その正解ラベルが「弁当Ｂ」であるとする。この場合、階層的損失計算部２４は、末端クラスの階層である第３階層について、正解クラスである「弁当Ｂ」のスコアを最大化するような損失を計算し、第３階層の損失とする。
【0030】
また、階層的損失計算部２４は、末端クラスより上位の階層の損失を計算する際には、各ノードの子孫である末端クラスのスコアを統合して損失計算に使用する。具体的に、双曲分類部２３が出力するスコアが末端クラスの確率であれば、上位階層の各クラスのスコアはその子孫である末端クラスの確率の和となる。
【0031】
例えば、図３の例において、第２階層の「弁当」のスコアは、その子ノードである「弁当Ａ」～「弁当Ｃ」のスコアの和となる。同様に、第２階層の「パン」のスコアは、その子ノードである「パンＡ」～「パンＣ」のスコアの和となり、第２階層の「おにぎり」のスコアは、その子ノードである「おにぎりＡ」～「おにぎりＣ」のスコアの和となる。そして、階層的損失計算部２４は、第２階層について、正解クラス「弁当Ｂ」を子孫ノードに有する「弁当」のスコアを最大化するような損失を計算する。
【0032】
また、第１階層の「食品」のスコアは、その孫ノードである末端クラスの「弁当Ａ」～「弁当Ｃ］、「パンＡ」～「パンＣ」、「おにぎりＡ」～「おにぎりＣ」のスコアの和となる。同様に、第１階層の「飲料」や「医薬品」のスコアも、その孫ノードである末端クラスのスコアの和となる。階層的損失計算部２４は、第１階層について、正解クラス「弁当Ｂ」を子孫ノードに有する「食品」のスコアを最大化するような損失を計算する。そして、階層的損失計算部２４は、各階層について計算した損失の重み付き和を計算し、階層的損失として勾配計算部２５へ出力する。
【0033】
勾配計算部２５は、階層的損失計算部２４から入力された階層的損失の勾配を計算し、更新部２６へ出力する。更新部２６は、勾配を用いて特徴抽出部２１、双曲射影部２２及び双曲分類部２３のパラメータを更新する。
【0034】
（学習処理）
図４は、第１実施形態の学習装置１００による学習処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。
図４は、第１実施形態の学習装置１００による学習処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図２に示す各要素として動作することにより実現される。
【0035】
まず、特徴抽出部２１は、入力データを前特徴表現に変換する（ステップＳ１１）。次に、双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換する（ステップＳ１２）。次に、双曲分類部２３は、特徴表現から各クラスのスコアを算出する（ステップＳ１３）。次に、階層的損失計算部２４は、クラスの階層構造の知識を用いて、各クラスのスコアと正解ラベルとから階層的損失を計算する（ステップＳ１４）。次に、勾配計算部２５は、階層的損失の勾配を計算する（ステップＳ１５）。次に、更新部２６は勾配に基づいて特徴抽出部２１、双曲射影部２２及び双曲分類部２３のパラメータを更新する（ステップＳ１６）。以上の処理が、所定の学習終了条件が具備されるまで繰り返し行われ、学習処理は終了する。
【0036】
以上のように、第１実施形態の学習装置１００によれば、クラスの階層構造の知識を利用して、少ない学習データでも高精度のモデルを学習することが可能となる。
【0037】
【0038】
（機能構成）
図５は、第１実施形態の推論装置２００の機能構成を示すブロック図である。推論装置２００は、特徴抽出部２１と、双曲射影部２２と、双曲分類部２３とを備える。なお、特徴抽出部２１、双曲射影部２２及び双曲分類部２３には、先の学習処理により得られたパラメータが設定される。
図５は、第１実施形態の推論装置２００の機能構成を示すブロック図である。推論装置２００は、特徴抽出部２１と、双曲射影部２２と、双曲分類部２３とを備える。なお、特徴抽出部２１、双曲射影部２２及び双曲分類部２３には、先の学習処理により得られたパラメータが設定される。
【0039】
特徴抽出部２１には、入力データが入力される。この入力データは、実際にクラス分類の対象となる画像などのデータである。特徴抽出部２１は、入力データを前特徴表現に変換し、双曲射影部２２へ出力する。双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換し、双曲分類部２３へ出力する。双曲分類部２３は、クラスの階層構造における末端クラスについてスコアを計算し、推論結果として出力する。こうして、入力データのクラス分類が行われる。
【0040】
（推論処理）
図６は、第１実施形態の推論装置２００による推論処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図５に示す各要素として動作することにより実現される。
図６は、第１実施形態の推論装置２００による推論処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図５に示す各要素として動作することにより実現される。
【0041】
まず、特徴抽出部２１は、入力データを前特徴表現に変換する（ステップＳ２１）。次に、双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換する（ステップＳ２２）。次に、双曲分類部２３は、特徴表現から各末端クラスのスコアを算出し、推論結果として出力する（ステップＳ２３）。以上の処理が入力データ毎に行われる。
【0042】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、クラスの階層構造の知識を用いて双曲分類部も階層化したものである。
次に、第２実施形態について説明する。第２実施形態は、クラスの階層構造の知識を用いて双曲分類部も階層化したものである。
【0043】
【0044】
（機能構成）
図７は、第２実施形態の学習装置１００ａの機能構成を示すブロック図である。図２に示す第１実施形態の学習装置１００と比較するとわかるように、第２実施形態の学習装置１００ａは、双曲分類部２３の代わりに階層的双曲分類部２３ｘを有する。
図７は、第２実施形態の学習装置１００ａの機能構成を示すブロック図である。図２に示す第１実施形態の学習装置１００と比較するとわかるように、第２実施形態の学習装置１００ａは、双曲分類部２３の代わりに階層的双曲分類部２３ｘを有する。
【0045】
階層的双曲分類部２３ｘは、クラスの階層構造の知識を用い、双曲射影部２２から入力される双曲空間上の１つの特徴表現から、階層構造の各階層におけるスコアを出力する。図８は、階層的双曲分類部２３ｘを構成する複数の分類器による分担方法の一例を示す。太線で示す枠９１～９３の各々が１つの分類器に対応する部分を示す。図８の例では、クラスの階層構造における階層毎に１つの分類器を設ける。即ち、階層的双曲分類部２３ｘは、第１～第３階層にそれぞれ対応する３つの分類器により構成される。各分類器は、同じ階層に属するノードを、部分木をまたいで識別する分類器である。この例では、階層的双曲分類部２３ｘは、３つの分類器による階層毎の分類結果を出力する。
【0046】
図９は、階層的双曲分類部２３ｘを構成する複数の分類器による分担方法の他の例を示す。太線で示す枠９１～９３の各々が１つの分類器に対応する部分を示す。図９の例では、第３階層において、枠９３で示すように、同じ親ノードに属する兄弟ノードを識別する複数の分類器を設ける。即ち、同じ親ノード「弁当」に属するノード「弁当Ａ」～「弁当Ｃ」に対応して１つの分類器が用意され、同じ親ノード「パン」に属するノード「パンＡ」～「パンＣ」に対応して１つの分類器が用意される。なお、第３階層については、第２階層の「弁当」、「パン」以外の全ての親ノードに属する兄弟ノードに対しても同様に１つの分類器が用意されるが、便宜上図示を省略する。この例では、階層的双曲分類部２３ｘは、複数の分類器それぞれによる分類結果を出力する。即ち、階層的双曲分類部２３ｘは、第１階層については枠９１に対応する分類結果を出力し、第２階層については枠９２に対応する分類結果を出力し、第３階層については複数の枠９３に対応する分類結果を出力する。
【0047】
上記のいずれかの構成により、階層的双曲分類部２３ｘは、各階層について分類結果（スコア）を計算し、階層的損失計算部２４へ出力する。階層的損失計算部２４は、階層的双曲分類部２３ｘから入力された各階層の分類結果に対して損失を計算し、それらの重みづけ和を階層的損失として勾配計算部２５へ出力する。なお、上記のように、第２実施形態では階層的双曲分類部２３ｘは、末端クラスのスコアのみでなく、上位階層のクラスのスコアも出力するため、階層的損失計算部２４は、第１実施形態の場合のように末端クラスのスコアを統合して上位階層のスコアを算出する必要はない。
【0048】
なお、第２実施形態の学習装置１００ａにおける特徴抽出部２１、勾配計算部２５及び更新部２６の構成及び動作は第１実施形態と同様であるので、説明を省略する。
【0049】
（学習処理）
図１０は、第２実施形態の学習装置１００ａによる学習処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。
図１０は、第２実施形態の学習装置１００ａによる学習処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。
【0050】
まず、特徴抽出部２１は、入力データを前特徴表現に変換する（ステップＳ３１）。次に、双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換する（ステップＳ３２）。次に、階層的双曲分類部２３ｘは、クラスの階層構造の知識を用いて、特徴表現から各階層について各クラスのスコアを算出する（ステップＳ３３）。次に、階層的損失計算部２４は、各階層についての各クラスのスコアと、正解ラベルとから階層的損失を計算する（ステップＳ３４）。次に、勾配計算部２５は、階層的損失の勾配を計算する（ステップＳ３５）。次に、更新部２６は勾配に基づいて特徴抽出部２１、双曲射影部２２及び階層的双曲分類部２３ｘのパラメータを更新する（ステップＳ３６）。以上の処理が、所定の学習終了条件が具備されるまで繰り返し行われ、学習処理は終了する。
【0051】
【0052】
（機能構成）
図１１は、第２実施形態の推論装置２００ａの機能構成を示すブロック図である。推論装置２００ａは、特徴抽出部２１と、双曲射影部２２と、階層的双曲分類部２３ｘとを備える。なお、特徴抽出部２１、双曲射影部２２及び階層的双曲分類部２３ｘには、先の学習処理により得られたパラメータが設定される。
図１１は、第２実施形態の推論装置２００ａの機能構成を示すブロック図である。推論装置２００ａは、特徴抽出部２１と、双曲射影部２２と、階層的双曲分類部２３ｘとを備える。なお、特徴抽出部２１、双曲射影部２２及び階層的双曲分類部２３ｘには、先の学習処理により得られたパラメータが設定される。
【0053】
特徴抽出部２１には、入力データが入力される。この入力データは、実際にクラス分類の対象となる画像などのデータである。特徴抽出部２１は、入力データを前特徴表現に変換し、双曲射影部２２へ出力する。双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換し、階層的双曲分類部２３ｘへ出力する。階層的双曲分類部２３ｘは、クラスの階層構造の知識を用いて、各階層の各クラスについてスコアを計算し、推論結果として出力する。こうして、入力データのクラス分類が行われる。
【0054】
（推論処理）
図１２は、第２実施形態の推論装置２００ａによる推論処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図１１に示す各要素として動作することにより実現される。
図１２は、第２実施形態の推論装置２００ａによる推論処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図１１に示す各要素として動作することにより実現される。
【0055】
まず、特徴抽出部２１は、入力データを前特徴表現に変換する（ステップＳ４１）。次に、双曲射影部２２は、前特徴表現を双曲空間上の特徴表現に変換する（ステップＳ４２）。次に、階層的双曲分類部２３ｘは、クラスの階層構造の知識を利用し、特徴表現から各階層について各クラスのスコアを算出し、推論結果として出力する（ステップＳ４３）。以上の処理が入力データ毎に行われる。
【0056】
＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態は、クラスの階層構造の知識を用いて双曲射影部２２も階層化したものである。
次に、第３実施形態について説明する。第３実施形態は、クラスの階層構造の知識を用いて双曲射影部２２も階層化したものである。
【0057】
［学習装置］
まず、第３実施形態の学習装置について説明する。
（ハードウェア構成）
第３実施形態の学習装置１００ｂのハードウェア構成は、図１に示す第１実施形態の学習装置１００と同様であるので説明を省略する。
まず、第３実施形態の学習装置について説明する。
（ハードウェア構成）
第３実施形態の学習装置１００ｂのハードウェア構成は、図１に示す第１実施形態の学習装置１００と同様であるので説明を省略する。
【0058】
（機能構成）
図１３は、第３実施形態の学習装置１００ｂの機能構成を示すブロック図である。図７に示す第２実施形態の学習装置１００ａと比較するとわかるように、第２実施形態の学習装置１００ｂは、双曲射影部２２の代わりに、階層的双曲射影部２２ｘを有する。
図１３は、第３実施形態の学習装置１００ｂの機能構成を示すブロック図である。図７に示す第２実施形態の学習装置１００ａと比較するとわかるように、第２実施形態の学習装置１００ｂは、双曲射影部２２の代わりに、階層的双曲射影部２２ｘを有する。
【0059】
階層的双曲射影部２２ｘは、クラスの階層構造の知識を用い、特徴抽出部２１から入力される前特徴表現から、階層構造の各階層における特徴表現を出力する。図１４は、階層的双曲射影部２２ｘの概略構成を示す。階層的双曲射影部２２ｘは、第１～第３埋め込みネットワーク（ＮＷ）と、加算器３１、３２とを備える。
【0060】
第１～第３埋め込みＮＷには、特徴抽出部２１から前特徴表現が入力される。第１埋め込みＮＷは、クラスの階層構造の知識を用い、第１階層のノードに対応するクラスの双曲空間上における点を示すベクトルを特徴表現Ｃ１として出力する。
【0061】
第２埋め込みＮＷは、第２階層のノードについて、そのノードの親ノードに対応するクラスの特徴表現Ｃ１と、そのノードの特徴表現との差分Ｄ１を出力する。そして、加算器３１は、親ノードの特徴表現Ｃ１と差分Ｄ１との和を、第２階層のそのノードに対応する特徴表現Ｃ２として出力する。特徴表現Ｃ２は、特徴表現Ｃ１と同様に、双曲空間上における点を示すベクトルとなる。
【0062】
同様に、第３埋め込みＮＷは、第３階層のノードについて、そのノードの親ノードに対応するクラスの特徴表現Ｃ２と、そのノードの特徴表現との差分Ｄ２を出力する。そして、加算器３２は、親ノードの特徴表現Ｃ２と差分Ｄ２との和を、第３階層のそのノードに対応する特徴表現Ｃ３として出力する。特徴表現Ｃ３は、特徴表現Ｃ１と同様に、双曲空間上における点を示すベクトルとなる。
【0063】
図１５は、上記の特徴表現Ｃ１～Ｃ３及び差分Ｄ１～Ｄ２を概念的に説明する図である。図１５では、双曲空間を便宜上２次元空間で示している。いま図３に示すクラスの階層構造を前提とすると、丸（●）は第１階層のクラスの特徴表現Ｃ１を示し、四角（■）は第２階層のクラスの特徴表現Ｃ２を示し、三角（▲）は第３階層のクラスの特徴表現Ｃ３を示す。この場合、差分Ｄ１は、丸で示す第１階層のクラス「食品」から、四角で示す第２階層のクラス「弁当」、「パン」、「おにぎり」を指すベクトルと考えることができる。同様に、差分Ｄ２は、四角で示す第２階層のクラス「パン」から、三角で示す第３階層のクラス「パンＡ」～「パンＣ」を指すベクトルと考えることができる。なお、数学的には、上記「差分」は親ノードのクラスの特徴表現における双曲空間の接ベクトルであり、「和」は指数写像により実現される。
【0064】
こうして、階層的双曲射影部２２ｘは、１つの入力データに対して階層毎の特徴表現Ｃ１～Ｃ３を階層的双曲分類部２３ｘへ出力する。階層的双曲分類部２３ｘは、階層毎の特徴表現を受け取り、階層毎に分類を行って分類結果を階層的損失計算部２４へ出力する。
【0065】
なお、第３実施形態の学習装置１００ｂにおける特徴抽出部２１、勾配計算部２５及び更新部２６の構成及び動作は第１実施形態と同様であるので、説明を省略する。
【0066】
（学習処理）
図１６は、第３実施形態の学習装置１００ｂによる学習処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図１３に示す各要素として動作することにより実現される。
図１６は、第３実施形態の学習装置１００ｂによる学習処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図１３に示す各要素として動作することにより実現される。
【0067】
まず、特徴抽出部２１は、入力データを前特徴表現に変換する（ステップＳ５１）。次に、階層的双曲射影部２２ｘは、前特徴表現を階層毎に双曲空間上の特徴表現に変換する（ステップＳ５２）。次に、階層的双曲分類部２３ｘは、階層的双曲射影部２２ｘから入力された階層毎の特徴表現から、各階層について各クラスのスコアを算出する（ステップＳ５３）。次に、階層的損失計算部２４は、各階層についての各クラスのスコアと、正解ラベルとから階層的損失を計算する（ステップＳ５４）。次に、勾配計算部２５は、階層的損失の勾配を計算する（ステップＳ５５）。次に、更新部２６は勾配に基づいて特徴抽出部２１、階層的双曲射影部２２ｘ及び階層的双曲分類部２３ｘのパラメータを更新する（ステップＳ５６）。以上の処理が、所定の学習終了条件が具備されるまで繰り返し行われ、学習処理は終了する。
【0068】
【0069】
（機能構成）
図１７は、第３実施形態の推論装置２００ｂの機能構成を示すブロック図である。推論装置２００ｂは、特徴抽出部２１と、階層的双曲射影部２２ｘと、階層的双曲分類部２３ｘとを備える。なお、特徴抽出部２１、階層的双曲射影部２２ｘ及び階層的双曲分類部２３ｘには、先の学習処理により得られたパラメータが設定される。
図１７は、第３実施形態の推論装置２００ｂの機能構成を示すブロック図である。推論装置２００ｂは、特徴抽出部２１と、階層的双曲射影部２２ｘと、階層的双曲分類部２３ｘとを備える。なお、特徴抽出部２１、階層的双曲射影部２２ｘ及び階層的双曲分類部２３ｘには、先の学習処理により得られたパラメータが設定される。
【0070】
特徴抽出部２１には、入力データが入力される。この入力データは、実際にクラス分類の対象となる画像などのデータである。特徴抽出部２１は、入力データを前特徴表現に変換し、階層的双曲射影部２２ｘへ出力する。階層的双曲射影部２２ｘは、クラスの階層構造の知識を用いて、前特徴表現を階層毎に双曲空間上の特徴表現に変換し、階層的双曲分類部２３ｘへ出力する。階層的双曲分類部２３ｘは、階層毎の特徴表現に基づき、各階層の各クラスについてスコアを計算し、推論結果として出力する。こうして、入力データのクラス分類が行われる。
【0071】
（推論処理）
図１８は、第３実施形態の推論装置２００ｂによる推論処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図１７に示す各要素として動作することにより実現される。
図１８は、第３実施形態の推論装置２００ｂによる推論処理のフローチャートである。この処理は、図１に示すプロセッサ１２が予め用意されたプログラムを実行し、図１７に示す各要素として動作することにより実現される。
【0072】
まず、特徴抽出部２１は、入力データを前特徴表現に変換する（ステップＳ６１）。次に、階層的双曲射影部２２ｘは、前特徴表現を階層毎に双曲空間上の特徴表現に変換する（ステップＳ６２）。次に、階層的双曲分類部２３ｘは、階層毎の特徴表現から、各階層について各クラスのスコアを算出し、推論結果として出力する（ステップＳ６３）。以上の処理が入力データ毎に行われる。
【0073】
＜第４実施形態＞
図１９は、第４実施形態の学習装置の機能構成を示すブロック図である。学習装置７０は、特徴抽出手段７１と、射影手段７２と、分類手段７３と、損失計算手段７４と、更新手段７５とを備える。
図１９は、第４実施形態の学習装置の機能構成を示すブロック図である。学習装置７０は、特徴抽出手段７１と、射影手段７２と、分類手段７３と、損失計算手段７４と、更新手段７５とを備える。
【0074】
図２０は、第４実施形態の学習装置７０による学習処理のフローチャートである。まず、特徴抽出手段７１は、入力データを第１の特徴表現に変換する（ステップＳ７１）。次に、射影手段７２は、第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する（ステップＳ７２）。次に、分類手段７３は、第２の特徴表現に基づいて分類を行い、入力データが各クラスに属する可能性を示すスコアを出力する（ステップＳ７３）。次に、損失計算手段７４は、各クラスが属する階層構造の知識と、入力データに付与された正解ラベルと、スコアとに基づいて階層的損失を計算する（ステップＳ７４）。次に、更新手段７５は、階層的損失に基づいて、特徴抽出手段、射影手段及び分類手段のパラメータを更新する（ステップＳ７５）。第４実施形態によれば、クラスの階層構造の知識を用いることにより、少ない入力データでも高精度のモデルを生成することが可能となる。
【0075】
＜第５実施形態＞
図２１は、第５実施形態の推論装置の機能構成を示すブロック図である。推論装置８０は、特徴抽出手段８１と、射影手段８２と、分類手段８３とを備える。
図２１は、第５実施形態の推論装置の機能構成を示すブロック図である。推論装置８０は、特徴抽出手段８１と、射影手段８２と、分類手段８３とを備える。
【0076】
図２２は、第５実施形態の推論装置８０による推論処理のフローチャートである。まず、特徴抽出手段８１は、入力データを第１の特徴表現に変換する（ステップＳ８１）。次に、射影手段８２は、第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する（ステップＳ８２）。次に、分類手段８３は、第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する（ステップＳ８３）。第４実施形態によれば、クラスの階層構造の知識を利用して学習したモデルを用いて、高精度に推論を行うことが可能となる。
【0077】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0078】
（付記１）
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力する分類手段と、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算する損失計算手段と、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する更新手段と、
を備える学習装置。
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力する分類手段と、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算する損失計算手段と、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する更新手段と、
を備える学習装置。
【0079】
（付記２）
前記分類手段は、前記階層構造の末端クラスについてスコアを出力し、
前記損失計算手段は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する付記１に記載の学習装置。
前記分類手段は、前記階層構造の末端クラスについてスコアを出力し、
前記損失計算手段は、前記末端クラスのスコアを統合して当該末端クラスの階層より上位の階層の損失を計算し、各階層の損失の重み付け和を前記階層的損失として計算する付記１に記載の学習装置。
【0080】
（付記３）
前記損失計算手段は、前記末端クラスの階層については正解クラスのスコアを最大化する損失を計算し、前記末端クラスの階層より上位の階層については、当該階層のクラスのうち前記正解クラスが属するクラスのスコアを最大化する損失を計算する付記２に記載の学習装置。
前記損失計算手段は、前記末端クラスの階層については正解クラスのスコアを最大化する損失を計算し、前記末端クラスの階層より上位の階層については、当該階層のクラスのうち前記正解クラスが属するクラスのスコアを最大化する損失を計算する付記２に記載の学習装置。
【0081】
（付記４）
前記分類手段は、前記階層構造の知識を用いて、各階層について前記スコアを出力し、
前記損失計算手段は、各階層について出力された前記スコアに基づいて前記階層的損失を計算する付記１乃至３のいずれか一項に記載の学習装置。
前記分類手段は、前記階層構造の知識を用いて、各階層について前記スコアを出力し、
前記損失計算手段は、各階層について出力された前記スコアに基づいて前記階層的損失を計算する付記１乃至３のいずれか一項に記載の学習装置。
【0082】
（付記５）
前記射影手段は、前記階層構造の知識に基づいて、各階層について前記第２の特徴表現を出力し、
前記分類手段は、各階層について出力された前記第２の特徴表現に基づいて、前記各階層について前記スコアを出力する付記４に記載の学習装置。
前記射影手段は、前記階層構造の知識に基づいて、各階層について前記第２の特徴表現を出力し、
前記分類手段は、各階層について出力された前記第２の特徴表現に基づいて、前記各階層について前記スコアを出力する付記４に記載の学習装置。
【0083】
（付記６）
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算し、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する学習方法。
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算し、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する学習方法。
【0084】
（付記７）
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算し、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。
特徴抽出手段を用いて、入力データを第１の特徴表現に変換し、
射影手段を用いて、前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
分類手段を用いて、前記第２の特徴表現に基づいて分類を行い、前記入力データが各クラスに属する可能性を示すスコアを出力し、
前記各クラスが属する階層構造の知識と、前記入力データに付与された正解ラベルと、前記スコアとに基づいて階層的損失を計算し、
前記階層的損失に基づいて、前記特徴抽出手段、前記射影手段及び前記分類手段のパラメータを更新する処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0085】
（付記８）
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する分類手段と、
を備える推論装置。
入力データを第１の特徴表現に変換する特徴抽出手段と、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換する射影手段と、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する分類手段と、
を備える推論装置。
【0086】
（付記９）
前記射影手段は、前記階層構造の知識に基づいて、各階層について前記第２の特徴表現を出力し、
前記分類手段は、前記各階層について出力された前記第２の特徴表現に基づいて、各階層について前記スコアを出力する付記１乃至４のいずれか一項に記載の学習装置。
前記射影手段は、前記階層構造の知識に基づいて、各階層について前記第２の特徴表現を出力し、
前記分類手段は、前記各階層について出力された前記第２の特徴表現に基づいて、各階層について前記スコアを出力する付記１乃至４のいずれか一項に記載の学習装置。
【0087】
（付記１０）
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する推論方法。
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する推論方法。
【0088】
（付記１１）
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する処理をコンピュータに実行させるプログラムを記録した記録媒体。
入力データを第１の特徴表現に変換し、
前記第１の特徴表現を、双曲空間上の点を示す第２の特徴表現に変換し、
前記第２の特徴表現に基づいて分類を行い、各クラスが属する階層構造の知識を用いて、前記入力データが各クラスに属する可能性を示すスコアを各階層について算出する処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0089】
以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0090】
２１ 特徴抽出部
２２ 双曲射影部
２２ｘ 階層的双曲射影部
２３ 双曲分類部
２３ｘ 階層的双曲分類部
２４ 階層的損失計算部
２５ 勾配計算部
２６ 更新部
１００、１００ａ、１００ｂ 学習装置
２００、２００ａ、２００ｂ 推論装置
２２ 双曲射影部
２２ｘ 階層的双曲射影部
２３ 双曲分類部
２３ｘ 階層的双曲分類部
２４ 階層的損失計算部
２５ 勾配計算部
２６ 更新部
１００、１００ａ、１００ｂ 学習装置
２００、２００ａ、２００ｂ 推論装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】