(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】推論プログラム及び推論方法
(51)【国際特許分類】
G06N 20/00 20190101AFI20240918BHJP
G06T 7/00 20170101ALI20240918BHJP
【ＦＩ】
G06N20/00
G06T7/00 350C
【請求項の数】
6
(21)【出願番号】P 2020190388
(22)【出願日】2020-11-16
(65)【公開番号】P2022079284
(43)【公開日】2022-05-26
【審査請求日】2023-08-04
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】廣本 正之
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１９－０４５９８４（ＪＰ，Ａ）
【文献】特開２０２０－００４３２２（ＪＰ，Ａ）
【文献】国際公開第２０１０／０５３１６０（ＷＯ，Ａ１）
【文献】特開２０１０－２８６８６１（ＪＰ，Ａ）
【文献】国際公開第２０２０／１７４３１１（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２０／０３８００２７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
コンピュータに、学習対象の画像情報と意味情報とクラスとを含む複数の第１の種類の訓練データのそれぞれについて、画像情報から画像超次元ベクトルを生成し、意味情報から意味超次元ベクトルを生成し、生成した画像超次元ベクトルと意味超次元ベクトルを統合して統合超次元ベクトルとして前記クラスと対応付けて記憶部に格納し、
学習対象の意味情報とクラスとを含み画像情報を含まない第２の種類の訓練データについて、意味情報から意味超次元ベクトルを生成し、生成した意味超次元ベクトルに基づいて前記記憶部を検索し、該意味超次元ベクトルとの一致度が高いほうから所定の数の統合超次元ベクトルに基づいて前記第２の種類の訓練データの統合超次元ベクトルを生成し、生成した統合超次元ベクトルを前記第２の種類の訓練データのクラスと対応付けて前記記憶部に格納する
処理を実行させることを特徴とする推論プログラム。
【請求項2】
前記コンピュータに、特定対象の画像情報から画像超次元ベクトルを生成し、生成した画像超次元ベクトルに基づいて前記記憶部を検索し、該画像超次元ベクトルとの一致度が最も高い統合超次元ベクトルに対応付けられたクラスを取得する処理をさらに実行させることを特徴とする請求項１に記載の推論プログラム。
【請求項3】
画像情報から画像超次元ベクトルを生成する処理は、画像情報の特徴を示す画像特徴をニューラルネットワークを用いて抽出し、抽出した画像特徴に基づいて画像超次元ベクトルを生成し、意味情報から意味超次元ベクトルを生成する処理は、意味情報の特徴を示す意味特徴をニューラルネットワークを用いて抽出し、抽出した意味特徴に基づいて意味超次元ベクトルを生成することを特徴とする請求項１又は２に記載の推論プログラム。
【請求項4】
画像超次元ベクトルと意味超次元ベクトルを統合して統合超次元ベクトルを生成する処理は、画像超次元ベクトルに画像属性超次元ベクトルを乗じて画像属性空間ベクトルを生成し、意味超次元ベクトルに意味属性超次元ベクトルを乗じて意味属性空間ベクトルを生成し、前記画像属性空間ベクトル及び前記意味属性空間ベクトルに基づいて統合超次元ベクトルを生成することを特徴とする請求項１、２又は３に記載の推論プログラム。
【請求項5】
画像情報から画像超次元ベクトルを生成する処理は、画像情報の特徴を示す画像特徴をニューラルネットワークを用いて抽出し、抽出した画像特徴から意味情報への写像行列を特定し、特定した写像行列の擬似逆行列を用いて意味情報に含まれる属性ごとの想像画像を生成し、生成した属性ごとの想像画像に基づいて画像超次元ベクトルを生成することを特徴とする請求項１～４のいずれか１つに記載の推論プログラム。
【請求項6】
コンピュータが、学習対象の画像情報と意味情報とクラスとを含む複数の第１の種類の訓練データのそれぞれについて、画像情報から画像超次元ベクトルを生成し、意味情報から意味超次元ベクトルを生成し、生成した画像超次元ベクトルと意味超次元ベクトルを統合して統合超次元ベクトルとして前記クラスと対応付けて記憶部に格納し、
学習対象の意味情報とクラスとを含み画像情報を含まない第２の種類の訓練データについて、意味情報から意味超次元ベクトルを生成し、生成した意味超次元ベクトルに基づいて前記記憶部を検索し、該意味超次元ベクトルとの一致度が高いほうから所定の数の統合超次元ベクトルに基づいて前記第２の種類の訓練データの統合超次元ベクトルを生成し、生成した統合超次元ベクトルを前記第２の種類の訓練データのクラスと対応付けて前記記憶部に格納する
処理を実行することを特徴とする推論方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推論プログラム及び推論方法に関する。
【背景技術】
【0002】
近年、画像認識などの分野でニューラルネットワーク（ＮＮ：Neural Network）の利用が盛んである。特に、深層学習（ＤＬ：Deep Learning）を用いることで、画像認識の精度が非常に向上している。
【0003】
ただし、ＤＬを用いた認識は、訓練データとして与えられたものしか認識できない。これに対して、人間は、実際に見たことのない画像でも、他の手がかりとなる情報を与えられれば認識することが可能である。このような人間の認識を実現する技術として、ゼロショット学習（Zero-Shot Learning：ＺＳＬ）がある。ゼロショット学習は、他の手がかりとなる情報を与えることで、訓練データなしで認識を可能とする。
【0004】
図１２は、ゼロショット学習を説明するための図である。図１２（ａ）は、ゼロショット学習における訓練を示し、図１２（ｂ）は、ゼロショット学習における推論を示す。図１２（ａ）に示すように、訓練データには２種類のデータがある。
【0005】
第１の種類の訓練データは、クラスと画像情報と意味情報とを含む。ここで、意味情報は、認識の手がかりとなる情報である。例えば、「シマウマ」は、意味情報として「４足歩行」、「縞模様」及び「草食」に対応付けられ、「ライオン」は、意味情報として「４足歩行」、「茶色」及び「肉食」に対応付けられる。「４足歩行」、「縞模様」、「草食」、「茶色」、「肉食」などは、認識対象の属性を示す。
【0006】
第２の種類の訓練データは、クラスと意味情報とを含み、画像情報を含まない。例えば、「トラ」は、意味情報として「４足歩行」、「縞模様」、「茶色」及び「肉食」に対応付けられるが、「トラ」には、対応付けられる画像情報はない。
【0007】
そして、図１２（ｂ）に示すように、推論装置は、「トラ」の画像情報が与えられ、「この動物は？」と尋ねられると、「トラ」を推論結果として回答する。推論装置は、訓練において「トラ」の画像情報が与えられなかったにもかかわらず、意味情報を手がかりとして「トラ」を回答する。
【0008】
なお、従来技術として、意味内容が同一又は近しいコンテンツを、精度よく、かつ効率的に発見する特徴量生成装置がある。この特徴量生成装置は、特徴量生成対象のコンテンツを表現する一つ以上の初期特徴量ベクトルが入力されたときに、統合特徴量ベクトルを生成して出力する。すなわち、この特徴量生成装置は、初期特徴量ベクトルの各々を、予め定めた複数の量子と複数の量子の各々に対応する代表ベクトルとによって規定される量子化器に基づいて、一つ以上の量子に割り当てる。そして、この特徴量生成装置は、量子ごとに、量子に割り当てた初期特徴量ベクトルと、量子に対応する代表ベクトルとの残差ベクトルを求める。そして、この特徴量生成装置は、量子ごとに計算した残差ベクトルを統合した統合特徴量ベクトルを求め、求めた統合特徴量ベクトルに、予め定めた変換行列を適用して無相関化処理を施して得られた統合特徴量ベクトルを、コンテンツの特徴量として出力する。
【0009】
また、従来技術として、クエリ画像に基づいて検索を行うシステムがある。このシステムは、クエリ画像から抽出した特徴から、クエリ画像を表す視覚的な単語のセットを生成し、インデックス画像の視覚的な単語と比較する。そして、このシステムは、比較において１つ以上の視覚的な単語とマッチした候補画像のセットをインデックス画像から生成する。そして、このシステムは、マルチレベルのランキングを実施して、候補画像のセットをソートし、マルチレベルのランキングの結果を、クエリ画像を提供したユーザ装置に返す。
【0010】
また、従来技術として、精度よくテキスト間の類似度を算出するテキスト類似度算出装置がある。このテキスト類似度算出装置は、第１テキストを変換した、第１テキストに対応する第１画像情報と、第２テキストを変換した、第２テキストに対応する第２画像情報との類似度である画像類似度を算出する。また、このテキスト類似度算出装置は、第１テキストを表す第１テキストベクトルと、第２テキストを表す第２テキストベクトルとの類似度であるテキストベクトル類似度を算出する。そして、このテキスト類似度算出装置は、画像類似度と、テキストベクトル類似度とに基づいて、第１テキストと、第２テキストとの類似度を算出する。
【0011】
また、従来技術として、脳内の情報表現に着目した非ノイマンコンピューティング技術の１つであるＨＤＣ（HyperDimensional Computing：超次元コンピューティング）がある。
【先行技術文献】
【特許文献】
【0012】
【文献】特開２０１７－１６２００９号公報
【文献】米国特許出願公開第２０１９／０２３６１６７号明細書
【文献】特開２０２０－４３２２号公報
【非特許文献】
【0013】
【文献】P. Kanerva, “Hyperdimensional Computing: An Introduction to Computing in Distributed Representation with High-Dimensional Random Vectors,” Cognitive Computation, vol.1, no.2, pp.139-159, 2009.
【発明の概要】
【発明が解決しようとする課題】
【0014】
ゼロショット学習では、推論装置は、第２の種類の訓練データに含まれる意味情報と第１の種類の訓練データとに基づいて第２の種類の訓練データにおいて不足する画像を想像し、想像画像を知識に加える。そして、推論装置は、クエリ画像を受け取ると、想像画像を含めてクエリ画像に最も近い画像を探し、クエリ画像のクラスを回答する。
【0015】
図１３は、ゼロショット学習における訓練と推論を説明するための図である。図１３に示すように、訓練においては、第１の種類の訓練データとして、北極グマ（polar bear）及びシマウマ（zebra）の画像情報と意味情報が与えられる。北極グマの意味情報には、黒（black）がない（no）、白（white）がある（yes）、茶色（brown）がある、縞模様（stripes）がない、水中の生物（water）である、魚を食べる生物（eats fish）である、が含まれる。また、シマウマの意味情報には、黒がある、白がある、茶色がない、縞模様がある、水中の生物でない、魚を食べる生物でない、が含まれる。
【0016】
また、第２の種類の訓練データとして、カワウソ（otter）及びトラ（tiger）の意味情報が与えられる。カワウソの意味情報には、黒がある、白がない、茶色がある、縞模様がない、水中の生物である、魚を食べる生物である、が含まれ、トラの意味情報には、黒がある、白がある、茶色がない、縞模様がある、水中の生物でない、魚を食べる生物でない、が含まれる。
【0017】
そして、北極グマ及びシマウマの画像情報と意味情報、カワウソの意味情報からカワウソの想像画像が生成され、北極グマ及びシマウマの画像情報と意味情報、トラの意味情報からトラの想像画像が生成される。
【0018】
そして、推論においては、トラの画像がクエリとして与えられと、想像画像も含めて、北極グマ、シマウマ、カワウソ、トラの画像とのマッチングが行われ、最も類似する画像としてトラの画像が検索され、トラが回答される。
【0019】
しかしながら、従来のゼロショット学習では、想像画像の生成に主としてＧＡＮ（Generative Adversarial Networks）などのニューラルネットワークを基本とする生成モデルが用いられ、想像画像の生成に時間がかかるという問題がある。ここで、ＧＡＮは、正解データを与えることなく特徴を学習する「教師なし学習」の一手法である。また、生成モデルは、「今観測できているデータは、なんらかの確率分布に基づいて生成されているはずだ」という考えに基づいて、そのデータを生成している確率分布そのものをモデル化することである。
【0020】
本発明は、１つの側面では、想像画像の生成を短時間に行うことを目的とする。
【課題を解決するための手段】
【0021】
１つの態様では、推論プログラムは、コンピュータに、学習対象の画像情報と意味情報とクラスとを含む複数の第１の種類の訓練データのそれぞれについて、画像情報から画像超次元ベクトルを生成し、意味情報から意味超次元ベクトルを生成する処理を実行させる。そして、前記推論プログラムは、前記コンピュータに、生成した画像超次元ベクトルと意味超次元ベクトルを統合して統合超次元ベクトルとして前記クラスと対応付けて記憶部に格納する処理を実行させる。そして、前記推論プログラムは、前記コンピュータに、学習対象の意味情報とクラスとを含み画像情報を含まない第２の種類の訓練データについて、意味情報から意味超次元ベクトルを生成する処理を実行させる。そして、前記推論プログラムは、前記コンピュータに、生成した意味超次元ベクトルに基づいて前記記憶部を検索する処理を実行させる。そして、前記推論プログラムは、前記コンピュータに、前記意味超次元ベクトルとの一致度が高いほうから所定の数の統合超次元ベクトルに基づいて前記第２の種類の訓練データの統合超次元ベクトルを生成する処理を実行させる。そして、前記推論プログラムは、前記コンピュータに、生成した統合超次元ベクトルを前記第２の種類の訓練データのクラスと対応付けて前記記憶部に格納する処理を実行させる。
【発明の効果】
【0022】
１つの側面では、本発明は、想像画像の生成を短時間に行うことができる。
【図面の簡単な説明】
【0023】
【発明を実施するための形態】
【0024】
以下に、本願の開示する推論プログラム及び推論方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
【実施例】
【0025】
まず、ＨＤＣについて説明する。ＨＤＣでは、データ表現にＨＶ（Hyperdimensional Vector：超次元ベクトル）を用いる。図１は、ＨＶを説明するための図である。ＨＶは、データを１００００次元以上の超次元ベクトルで分散表現する。ＨＶは、様々な種類のデータを同じビット長のベクトルで表現する。
【0026】
図１（ａ）に示すように、通常のデータ表現では、ａ、ｂ、ｃなどのデータは、それぞれまとめて表現される。一方、図１（ｂ）に示すように、超次元ベクトルでは、ａ、ｂ、ｃなどのデータは、分散されて表現される。ＨＤＣでは、加算、乗算などの単純な演算でデータの操作が可能である。また、ＨＤＣでは、加算や乗算でデータ間の関係性を表現することが可能である。
【0027】
図２は、加算による集合の表現例を示す図である。図２では、ネコ＃１の画像、ネコ＃２の画像及びネコ＃３の画像からそれぞれネコ＃１のＨＶ、ネコ＃２のＨＶ及びネコ＃３のＨＶがＨＶエンコーダ２により生成される。ＨＶの各要素は「＋１」又は「－１」である。ネコ＃１～ネコ＃３は、それぞれ１００００次元のＨＶで表される。
【0028】
図２に示すように、ネコ＃１のＨＶ～ネコ＃３のＨＶを加算して得られるＨＶは、ネコ＃１とネコ＃２とネコ＃３を含む集合、すなわち「ネコたち」を表す。ここで、ＨＶの加算は要素ごとの加算である。加算結果が正の場合は加算結果は「＋１」に置き換えられ、加算結果が負の場合は加算結果は「－１」に置き換えられる。加算結果が「０」の場合は加算結果は所定のルールの下で「＋１」又は「－１」に置き換えられる。ＨＤＣでは、「ネコ」同士は遠いが各「ネコ」と「ネコたち」は近いという状態が両立可能である。ＨＤＣでは、「ネコたち」はネコ＃１～ネコ＃３を統合した概念として扱うことが可能である。
【0029】
図３は、ＨＤＣにおける学習と推論を説明するための図である。図３に示すように、学習のフェーズでは、ネコ＃１の画像、ネコ＃２の画像及びネコ＃３の画像からそれぞれネコ＃１のＨＶ、ネコ＃２のＨＶ及びネコ＃３のＨＶがＨＶエンコーダ２により生成される。そして、ネコ＃１のＨＶ、ネコ＃２のＨＶ及びネコ＃３のＨＶが加算されて「ネコたち」のＨＶが生成され、生成されたＨＶは「ネコたち」と対応付けてＨＶメモリ１５に格納される。
【0030】
そして、推論のフェーズでは、別のネコの画像からＨＶが生成され、生成されたＨＶと最近傍マッチングするＨＶとして「ネコたち」のＨＶがＨＶメモリ１５から検索され、「ネコ」が推論結果として出力される。ここで、最近傍マッチングとは、ＨＶ間のドット積によりＨＶ間の一致度を算出し、一致度が最も高いクラスを出力することである。２つのＨＶをＨi、Ｈjとすると、ドット積ｐ＝Ｈi・ＨjはＨiとＨjが一致するとＤ（ＨＶの次元）であり、ＨiとＨjが直行すると－Ｄである。ＨＶメモリ１５は連想メモリであるため、最近傍マッチングは高速に行われる。
【0031】
なお、実施例に係る推論装置は、ＨＶは、ＨＶエンコーダ２ではなく、ＮＮにより抽出された特徴量に基づいて生成される。実施例に係る推論装置は、画像からの特徴量抽出というパターン的処理はＮＮにより行い、ＨＶメモリ１５へのＨＶの蓄積及びＨＶメモリ１５を用いた連想という記号的処理はＨＤＣにより行う。このように、ＮＮとＨＤＣの得意な点を利用することで、実施例に係る推論装置は、効率よく訓練と推論を行うことができる。
【0032】
次に、実施例に係る推論装置の動作について説明する。図４は、実施例に係る推論装置の動作を説明するための図である。図４に示すように、訓練においては、実施例に係る推論装置１は、第１の種類の訓練データと第２の種類の訓練データを用いて訓練を行う。
【0033】
第１の種類の訓練データについては、画像ＮＮ１１ａが、画像情報を入力して画像特徴ベクトルを生成する。そして、画像ＨＶ生成部１２ａが、画像特徴ベクトルに基づいて画像ＨＶを生成する。また、意味ＮＮ１１ｂが、意味情報を入力して意味特徴ベクトルを生成する。なお、意味情報が意味の特徴を表す場合には、推論装置１は、意味ＮＮ１１ｂを用いることなく、意味情報から意味特徴ベクトルを生成してもよい。そして、意味ＨＶ生成部１２ｂが、意味特徴ベクトルに基づいて意味ＨＶを生成する。
【0034】
そして、推論装置１は、画像ＨＶに画像属性ＨＶを乗じて画像属性空間ＨＶを生成し、意味ＨＶに意味属性ＨＶを乗じて意味属性空間ＨＶを生成する。ここで、画像属性ＨＶ及び意味属性ＨＶの次元は、画像ＨＶ及び意味ＨＶの次元と同じである。
【0035】
ＨＶに属性ＨＶを乗じる演算は、ＨＶを部分空間に写像することである。例えば、画像ＨＶに画像属性ＨＶを乗じることは、画像ＨＶを画像属性部分空間に写像することであり、意味ＨＶに意味属性ＨＶを乗じることは、意味ＨＶを意味属性部分空間に写像することである。このように、推論装置１は、ＨＶに属性ＨＶを乗じてＨＶを部分空間に写像することで、統合後の統合ＨＶにおいて統合前の各ＨＶを他のＨＶと分離することができる。
【0036】
そして、推論装置１は、画像属性空間ＨＶと意味属性空間ＨＶを加えて統合ＨＶを生成する。そして、推論装置１は、統合ＨＶを知識としてＨＶメモリ１５に格納する。なお、２つのＨＶの乗算は要素ごとの乗算である。
【0037】
一方、第２の種類の訓練データについては、意味ＮＮ１１ｂが、意味情報を入力して意味特徴ベクトルを生成する。なお、意味情報が意味の特徴を表す場合には、推論装置１は、意味ＮＮ１１ｂを用いることなく、意味情報から意味特徴ベクトルを生成してもよい。そして、意味ＨＶ生成部１２ｂが、意味特徴ベクトルに基づいて意味ＨＶを生成する。
【0038】
そして、推論装置１は、意味ＨＶに意味属性ＨＶを乗じて意味属性空間ＨＶを生成し、意味属性空間ＨＶを用いてＨＶメモリ１５を検索する。そして、推論装置１は、意味属性空間ＨＶと一致度が高いほうから所定の数の統合ＨＶをＨＶメモリ１５から取得し、取得した所定の数の統合ＨＶを加えることで想像画像を表す統合ＨＶを生成する。図４では、所定の数は２である。また、生成された想像画像は、トラの想像画像である。そして、推論装置１は、想像画像を表す統合ＨＶと意味属性空間ＨＶとを加えてＨＶメモリ１５に格納する。
【0039】
このように、推論装置１は、ＨＶメモリ１５の検索と統合ＨＶの加算により想像画像を表す統合ＨＶを生成するので、想像画像を高速に生成することができる。
【0040】
推論においては、画像ＮＮ１１ａが、未知のクラスの動物の画像情報を入力して画像特徴ベクトルを生成する。そして、画像ＨＶ生成部１２ａが、画像特徴ベクトルに基づいて画像ＨＶを生成する。そして、推論装置１は、画像ＨＶに画像属性ＨＶを乗じて画像属性空間ＨＶを生成し、画像属性空間ＨＶを用いてＨＶメモリ１５を検索する。そして、推論装置１は、最近傍マッチングによりクラスを抽出する。図４では、トラが推論結果として出力される。
【0041】
次に、推論装置１の機能構成について説明する。図５は、推論装置１の機能構成を示す図である。図５に示すように、推論装置１は、画像ＮＮ１１ａと、意味ＮＮ１１ｂと、画像ＨＶ生成部１２ａと、意味ＨＶ生成部１２ｂと、統合部１３と、蓄積部１４と、ＨＶメモリ１５と、想像画像生成部１６と、連想部１７とを有する。
【0042】
画像ＮＮ１１ａは、画像情報を入力して画像特徴ベクトルを出力する。画像特徴ベクトルは、例えば、画像ＮＮ１１ａの出力層のノードの出力値のベクトルである。画像ＮＮ１１ａは、学習フェーズでは、第１の種類の訓練データの画像情報を入力し、推論フェーズでは、未知データの画像情報を入力する。
【0043】
意味ＮＮ１１ｂは、意味情報を入力して意味特徴ベクトルを出力する。意味特徴ベクトルは、例えば、意味ＮＮ１１ｂの出力層のノードの出力値のベクトルである。意味ＮＮ１１ｂは、学習フェーズにおいて、第１の種類の訓練データ及び第２の種類の訓練データの意味情報を入力する。
【0044】
画像ＮＮ１１ａ、意味ＮＮ１１ｂの実装には、例えば、ＧＰＵ（Graphics Processing Unit）、ＤＬ向け専用プロセッサが用いられる。
【0045】
画像ＨＶ生成部１２ａは、画像特徴ベクトルに基づいて画像ＨＶを生成する。具体的には、画像特徴ベクトルをｘ、ｘの次元をｎとすると、画像ＨＶ生成部１２ａは、ｘをセンタリングする。すなわち、画像ＨＶ生成部１２ａは、以下の式（１）を用いて、ｘの平均値ベクトルを計算し、式（２）に示すように、ｘからｘの平均値ベクトルを引く。式（１）において、Ｄbaseはｘの集合であり、｜Ｄbase｜は、ｘの集合のサイズである。
【数1】
【数2】
【0046】
そして、画像ＨＶ生成部１２ａは、ｘを正規化する。すなわち、画像ＨＶ生成部１２ａは、以下の式（３）に示すように、ｘのＬ２ノルムでｘを割る。なお、画像ＨＶ生成部１２ａは、センタリング及び正規化を行わなくてもよい。
【数3】
【0047】
そして、画像ＨＶ生成部１２ａは、ｘの各要素をＱステップに量子化してｑ＝｛ｑ1，ｑ2，・・・，ｑn｝を生成する。画像ＨＶ生成部１２ａは、線形量子化を行ってもよいし、対数量子化を行ってもよい。
【0048】
また、画像ＨＶ生成部１２ａは、以下の式（４）に示すベースＨＶ（Ｌi）を生成する。式（４）で、Ｄは、ＨＶの次元であり、例えば１００００である。画像ＨＶ生成部１２ａは、Ｌ1をランダムに生成し、ランダムな位置のＤ／Ｑビットをフリップして順にＬ2～ＬQを生成する。隣り合うＬiは近く、Ｌ1とＬQは直交する。
【数4】
【0049】
そして、画像ＨＶ生成部１２ａは、以下の式（５）に示すチャネルＨＶ（Ｃi）を生成する。画像ＨＶ生成部１２ａは、全てのＣiがほぼ直交するように、Ｃiをランダムに生成する。
【数5】
【0050】
そして、画像ＨＶ生成部１２ａは、以下の式（６）を用いて画像ＨＶを計算する。式（６）において、「・」はドット積である。
【数6】
【0051】
意味ＨＶ生成部１２ｂは、意味特徴ベクトルに基づいて意味ＨＶを生成する。意味ＨＶ生成部１２ｂは、意味特徴ベクトルをｘとして、画像ＨＶ生成部１２ａと同様に、ベースＨＶとチャネルＨＶを用いて意味ＨＶを計算する。
【0052】
統合部１３は、第１の種類の訓練データについては、画像ＨＶと画像属性ＨＶを乗じて画像属性空間ＨＶを生成し、意味ＨＶと意味属性ＨＶを乗じて意味属性空間ＨＶを生成する。そして、統合部１３は、画像属性空間ＨＶと意味属性空間ＨＶを加えることで統合ＨＶを生成する。そして、統合部１３は、統合ＨＶを蓄積部１４に渡す。
【0053】
統合部１３は、第２の種類の訓練データについては、意味ＨＶと意味属性ＨＶを乗じて意味属性空間ＨＶを統合ＨＶとして生成する。そして、統合部１３は、統合ＨＶを想像画像生成部１６に渡す。
【0054】
蓄積部１４は、第１の種類の訓練データについて、統合部１３により生成された統合ＨＶをＨＶメモリ１５にクラスと対応付けて蓄積する。
【0055】
ＨＶメモリ１５は、統合ＨＶをクラスと対応付けて記憶する。例えば、ＨＶメモリ１５は、クラスに対応するアドレスに統合ＨＶを記憶する。あるいは、ＨＶメモリ１５は、クラスと統合ＨＶを対応付けて記憶する。ＨＶメモリ１５は、連想メモリである。ＨＶメモリ１５は、ＲｅＲＡＭ（Resistive Random Access Memory）、メモリスタなどの活用により、高速化、高密度化が可能である。
【0056】
想像画像生成部１６は、第２の種類の訓練データについて、統合部１３により生成された統合ＨＶを用いてＨＶメモリ１５を検索する。そして、想像画像生成部１６は、統合部１３により生成された統合ＨＶと一致度が高いほうから所定の数の統合ＨＶをＨＶメモリ１５から取得し、取得した所定の数の統合ＨＶを加えることで想像画像を表す統合ＨＶを生成する。そして、想像画像生成部１６は、想像画像を表す統合ＨＶと統合部１３により生成された統合ＨＶとを加えてＨＶメモリ１５に格納する。
【0057】
連想部１７は、推論フェーズにおいて、統合部１３により生成された統合ＨＶからＨＶメモリ１５により連想されるクラスを推論結果として出力する。すなわち、連想部１７は、統合部１３により生成された統合ＨＶと最も一致度が高い統合ＨＶに対応するクラスを出力する。連想部１７は、統合ＨＶとＨＶメモリ１５が記憶するＨＶとのマッチングを高速に行う。
【0058】
次に、推論装置１による処理のフローについて図６～図９を用いて説明する。図６は、推論装置１による処理のフローを示すフローチャートである。図６に示すように、推論装置１は、第１の訓練、すなわち、画像情報と意味情報がセットになっているクラスの訓練を行う（ステップＳ１）。そして、推論装置１は、第２の訓練、すなわち、意味情報のみが与えられているクラスの訓練を行う（ステップＳ２）。そして、推論装置１は、クラスが未知の画像情報を受け取って、推論を行い（ステップＳ３）、推論結果としてクラスを出力する。
【0059】
図７は、第１の訓練の処理のフローを示すフローチャートである。図７に示すように、推論装置１は、画像情報を画像ＮＮ１１ａに入力し画像特徴ベクトルに変換する（ステップＳ１１）。そして、推論装置１は、画像特徴ベクトルを画像ＨＶに変換する（ステップＳ１２）。そして、推論装置１は、意味情報を意味ＮＮ１１ｂに入力し意味特徴ベクトルに変換する（ステップＳ１３）。そして、推論装置１は、意味特徴ベクトルを意味ＨＶに変換する（ステップＳ１４）。
【0060】
なお、推論装置１は、ステップＳ１３とステップＳ１４の処理をステップＳ１１とステップＳ１２の処理より先に行ってもよい。あるいは、推論装置１は、ステップＳ１３とステップＳ１４の処理をステップＳ１１とステップＳ１２の処理と並列に行ってもよい。
【0061】
そして、推論装置１は、画像ＨＶに画像属性ＨＶを乗じ、意味ＨＶに意味属性ＨＶを乗じ、２つの乗算結果を加算し統合ＨＶを生成する（ステップＳ１５）。そして、推論装置１は、生成した統合ＨＶをＨＶメモリ１５に格納する（ステップＳ１６）。
【0062】
このように、推論装置１は、画像ＨＶと意味ＨＶに基づいて統合ＨＶを生成し、生成したＨＶをＨＶメモリ１５に格納するので、ＨＶメモリ１５に知識を蓄積することができる。
【0063】
図８は、第２の訓練の処理のフローを示すフローチャートである。図８に示すように、推論装置１は、意味情報を意味ＮＮ１１ｂに入力し意味特徴ベクトルに変換する（ステップＳ２１）。そして、推論装置１は、意味特徴ベクトルを意味ＨＶに変換し、意味属性ＨＶと乗算して意味属性空間ＨＶを生成する（ステップＳ２２）。そして、推論装置１は、ＨＶメモリ１５を検索し、意味属性空間ＨＶと最も似た所定数の統合ＨＶを選択する（ステップＳ２３）。
【0064】
そして、推論装置１は、選択した所定数の統合ＨＶを加算し、想像画像ＨＶを生成する（ステップＳ２４）。そして、推論装置１は、想像画像ＨＶと意味属性空間ＨＶを加算し画像と意味を統合した統合ＨＶを生成する（ステップＳ２５）。そして、推論装置１は、生成したＨＶをＨＶメモリ１５に格納する（ステップＳ２６）。
【0065】
このように、推論装置１は、ＨＶメモリ１５から選択した所定数の統合ＨＶに基づいて想像画像ＨＶを生成するので、訓練データに画像情報がない対象についても、画像情報からクラスを特定することができる。
【0066】
図９は、推論処理のフローを示すフローチャートである。図９に示すように、推論装置１は、未知のクラスから新たな画像情報をクエリとして入力する（ステップＳ３１）。そして、推論装置１は、画像情報を画像ＮＮ１１ａに入力し画像特徴ベクトルに変換する（ステップＳ３２）。そして、推論装置１は、画像特徴ベクトルを画像ＨＶに変換し、画像属性ＨＶと乗算して画像属性空間ＨＶを生成する（ステップＳ３３）。
【0067】
そして、推論装置１は、ＨＶメモリ１５を検索し、画像属性空間ＨＶと最も似た統合ＨＶを選択する（ステップＳ３４）。そして、推論装置１は、選択した統合ＨＶに対応するクラスを出力する（ステップＳ３５）。
【0068】
このように、推論装置１は、想像画像ＨＶが含まれるＨＶメモリ１５を検索することで、訓練データに画像情報が含まれない対象についても、クラスを特定することができる。
【0069】
なお、推論装置１は、単語データベースや常識データベース等を活用し、意味情報を変換してから利用してもよい。変換例としては、Ｗｏｒｄ２Ｖｅｃ、Ｎｕｍｂｅｒｂａｔｃｈがある。Ｗｏｒｄ２Ｖｅｃは、単語をベクトル表現に変換する。Ｗｏｒｄ２Ｖｅｃでは、ベクトル表現に単語同士の意味関係が含まれる。Ｎｕｍｂｅｒｂａｔｃｈは、常識データベースＣｏｎｃｅｐｔＮｅｔを利用して、単語をベクトル表現に変換する。Ｎｕｍｂｅｒｂａｔｃｈは、単語同士の意味関係を、より幅広く表現可能にする。Ｗｏｒｄ２Ｖｅｃ、Ｎｕｍｂｅｒｂａｔｃｈなどを用いて意味情報を変換することで、意味特徴ベクトルの次元を増やすことができる。
【0070】
また、推論装置１は、想像画像を生成するときに、ＨＶメモリ１５を検索して一致度が高い所定数の統合ＨＶを加算する代わりに、意味情報に含まれる属性ごとに画像特徴を分解してから加算してもよい。図１０は、意味情報に含まれる属性ごとの画像特徴の分解を説明するための図である。図１０に示すように、推論装置１は、例えば、「しましま」の統合ＨＶ、「４足」の統合ＨＶ、「地面」の統合ＨＶなどから「シマウマ」の想像画像を生成する。
【0071】
図１０は、属性ごとの画像特徴を用いて想像画像を生成するイメージを示すが、実際には、推論装置１は、行列計算により想像画像を生成する。具体的には、第１の種類の訓練データの画像特徴行列をｎcls行ｎvis列の行列Ｆとし、画像特徴から属性への写像行列をｎvis行ｎatt列の行列Ｗとし、第１の種類の訓練データの属性行列をｎcls行ｎatt列の行列Ａとすると、ＦＷ＝Ａである。ここで、ｎclsはクラス数であり、ｎvisは画像特徴数であり、ｎattは属性数である。
【0072】
推論装置１は、画像特徴から意味情報への線形写像Ｗを決定する（ｔ１）。すなわち、推論装置１は、Ｗ＝Ｆ+ＡによりＷを計算する。ここで、Ｆ+はＦの擬似逆行列である。そして、推論装置１は、Ｗの擬似逆行列Ｗ+を計算する。そして、推論装置１は、Ｗ+から属性ごとの画像特徴を算出する（ｔ２）。すなわち、推論装置１は、Ｆ′＝Ａ′Ｗ+により属性Ａ′に対応する想像画像Ｆ′を生成する。そして、推論装置１は、第２の訓練データの属性の画像ＨＶを重み付けして加算する（ｔ３）ことで、想像画像を生成する。なお、推論装置１は、Ｗ+＝Ａ+ＦによりＷ+を直接計算してもよい。
【0073】
上述してきたように、実施例では、第１の種類の訓練データについて、画像ＨＶ生成部１２ａが、画像特徴ベクトルに基づいて画像ＨＶを生成し、意味ＨＶ生成部１２ｂが、意味特徴ベクトルに基づいて意味ＨＶを生成する。そして、統合部１３が、画像ＨＶと意味ＨＶに基づいて統合ＨＶを生成し、蓄積部１４が、統合ＨＶをＨＶメモリ１５に格納する。また、第２の種類の訓練データについて、意味ＨＶ生成部１２ｂが、意味特徴ベクトルに基づいて意味ＨＶを生成し、統合部１３が、意味ＨＶに基づいて統合ＨＶを生成する。そして、想像画像生成部１６が、統合ＨＶを用いてＨＶメモリ１５を検索し、統合部１３により生成された統合ＨＶと一致度が高いほうから所定の数の統合ＨＶをＨＶメモリ１５から取得し、取得した所定の数の統合ＨＶを加えて想像画像を表す統合ＨＶを生成する。そして、想像画像生成部１６は、想像画像を表す統合ＨＶと統合部１３により生成された統合ＨＶとを加えてＨＶメモリ１５に格納する。したがって、推論装置１は、想像画像の生成を短時間に行うことができる。なお、いくつかのデータセットを用いて既存の手法と比較した結果、推論装置１は、同等の精度を実現している。
【0074】
また、実施例では、クラスが未知の画像情報について、画像ＨＶ生成部１２ａが、画像特徴ベクトルに基づいて画像ＨＶを生成し、統合部１３が、画像ＨＶに基づいて統合ＨＶを生成する。そして、連想部１７が、想像画像を表す統合ＨＶを含む統合ＨＶを記憶するＨＶメモリ１５を検索し、統合部１３により生成された統合ＨＶと最も一致度が高い統合ＨＶに対応付けられたクラスを推論結果として出力する。したがって、推論装置１は、画像情報が訓練で与えられない場合にも、画像情報からクラスを推論することができる。
【0075】
また、実施例では、画像ＮＮ１１ａが、画像情報を入力して画像特徴ベクトルを生成するので、推論装置１は、画像特徴ベクトルを効率よく生成することができる。
【0076】
また、実施例では、統合部１３は、画像ＨＶと画像属性ＨＶを乗じ、意味ＨＶと意味属性ＨＶを乗じ、２つの乗算結果を加えることで統合ＨＶを生成する。したがって、推論装置１は、統合ＨＶにおいて統合前の各ＨＶを他のＨＶと分離することができる。
【0077】
また、実施例では、推論装置１は、画像特徴から意味情報への写像行列を特定し、特定した写像行列の擬似逆行列を用いて意味情報に含まれる属性ごとの想像画像を生成し、属性ごとの想像画像から画像超次元ベクトルを生成する。したがって、推論装置１は、より精度の高い想像画像を生成することができる。
【0078】
なお、実施例では、推論装置１について説明したが、推論装置１が有する構成をソフトウェアによって実現することで、同様の機能を有する推論プログラムを得ることができる。そこで、推論プログラムを実行するコンピュータについて説明する。
【0079】
図１１は、実施例に係る推論プログラムを実行するコンピュータのハードウェア構成を示す図である。図１１に示すように、コンピュータ５０は、メインメモリ５１と、ＣＰＵ（Central Processing Unit）５２と、ＬＡＮ（Local Area Network）インタフェース５３と、ＨＤＤ（Hard Disk Drive）５４とを有する。また、コンピュータ５０は、スーパーＩＯ（Input Output）５５と、ＤＶＩ（Digital Visual Interface）５６と、ＯＤＤ（Optical Disk Drive）５７とを有する。
【0080】
メインメモリ５１は、プログラムやプログラムの実行途中結果等を記憶するメモリである。ＣＰＵ５２は、メインメモリ５１からプログラムを読み出して実行する中央処理装置である。ＣＰＵ５２は、メモリコントローラを有するチップセットを含む。
【0081】
ＬＡＮインタフェース５３は、コンピュータ５０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ５４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ５５は、マウスやキーボード等の入力装置を接続するためのインタフェースである。ＤＶＩ５６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ５７は、ＤＶＤの読み書きを行う装置である。
【0082】
ＬＡＮインタフェース５３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ５２に接続され、ＨＤＤ５４及びＯＤＤ５７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ５２に接続される。スーパーＩＯ５５は、ＬＰＣ（Low Pin Count）によりＣＰＵ５２に接続される。
【0083】
そして、コンピュータ５０において実行される推論プログラムは、コンピュータ５０により読み出し可能な記録媒体の一例であるＤＶＤに記憶され、ＯＤＤ５７によってＤＶＤから読み出されてコンピュータ５０にインストールされる。あるいは、推論プログラムは、ＬＡＮインタフェース５３を介して接続された他のコンピュータシステムのデータベース等に記憶され、これらのデータベースから読み出されてコンピュータ５０にインストールされる。そして、インストールされた推論プログラムは、ＨＤＤ５４に記憶され、メインメモリ５１に読み出されてＣＰＵ５２によって実行される。
【0084】
また、実施例では、画像情報と意味情報を用いる場合について説明したが、推論装置は、画像情報の代わりに、例えば音声情報など他の情報を用いてもよい。
【符号の説明】
【0085】
１ 推論装置
２ ＨＶエンコーダ
１１ａ 画像ＮＮ
１１ｂ 意味ＮＮ
１２ａ 画像ＨＶ生成部
１２ｂ 意味ＨＶ生成部
１３ 統合部
１４ 蓄積部
１５ ＨＶメモリ
１６ 想像画像生成部
１７ 連想部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ
２ ＨＶエンコーダ
１１ａ 画像ＮＮ
１１ｂ 意味ＮＮ
１２ａ 画像ＨＶ生成部
１２ｂ 意味ＨＶ生成部
１３ 統合部
１４ 蓄積部
１５ ＨＶメモリ
１６ 想像画像生成部
１７ 連想部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】