ホーム > 特許ランキング > 国立大学法人大阪大学
知財求人 - 知財ポータルサイト「IP Force」
特許7482551心的イメージ可視化方法、心的イメージ可視化装置及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-02
(45)【発行日】2024-05-14
(54)【発明の名称】心的イメージ可視化方法、心的イメージ可視化装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240507BHJP
【ＦＩ】
G06T7/00 350C
【請求項の数】
12
(21)【出願番号】P 2022500453
(86)(22)【出願日】2021-02-10
(86)【国際出願番号】 JP2021005052
(87)【国際公開番号】W WO2021162055
(87)【国際公開日】2021-08-19
【審査請求日】2024-02-05
(31)【優先権主張番号】P 2020021509
(32)【優先日】2020-02-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】内藤 智之
(72)【発明者】
【氏名】今井 亮太
【審査官】真木 健彦
(56)【参考文献】
【文献】特開２０１８－０６３５０４（ＪＰ，Ａ）
【文献】特許第６４４８８３９（ＪＰ，Ｂ１）
【文献】特開平０９－１０１９７０（ＪＰ，Ａ）
【文献】特開２００７－２４９３１９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／００
Ｇ０６Ｎ ２０／００
Ｇ０６Ｆ １６／５０
Ｇ０６Ｆ ３０／００
(57)【特許請求の範囲】
【請求項1】
特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ（Deep Neural Networks）に、前記特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成させるステップと、前記ＤＮＮに、前記複数のサンプル画像を入力するステップと、
前記複数のサンプル画像それぞれの特徴ベクトルであって、前記ＤＮＮにより、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを、前記ＤＮＮから取得するステップとを含み、
前記特徴ベクトルは、心的イメージを示す画像を生成するために用いられる、
心的イメージ可視化方法。
【請求項2】
さらに、前記複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、前記複数のサンプル画像に対応する特徴ベクトルを重み付き加算平均して第１特徴ベクトルを得るステップと、
前記ＤＮＮを用いて、前記第１特徴ベクトルから前記心的イメージを示す画像を生成するステップとを含む、
請求項１に記載の心的イメージ可視化方法。
【請求項3】
前記ＤＮＮは、ｓｔｙｌｅＧＡＮ（A Style-Based Generator Architecture for Generative Adversarial Networks）で構成され、前記取得するステップでは、前記ｓｔｙｌｅＧＡＮのマッピングネットワークの出力を取得することで、前記特徴ベクトルを取得し、
前記生成するステップでは、前記ｓｔｙｌｅＧＡＮの合成ネットワークに前記第１特徴ベクトルを入力することで前記合成ネットワークに前記心的イメージを示す画像を生成させる、
請求項２に記載の心的イメージ可視化方法。
【請求項4】
さらに、前記複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、前記複数のサンプル画像に対応する特徴ベクトルに重み付けした特徴ベクトルの分散共分散行列を、ＳＴＣ（Spike-triggered covariance）分析により算出するステップと、
算出した前記分散共分散行列に対して特異値分解を実行して複数の固有値を得るステップと、
前記複数の固有値のうち、少なくとも２つの固有値を選択するステップと、
前記少なくとも２つの固有値のいずれかをそれぞれを有する少なくとも２つの固有ベクトルを導出するステップと、
前記ＤＮＮを用いて、前記少なくとも２つの固有ベクトルから、前記心的イメージを構成する前記少なくとも２つのサブ心的イメージであって互いに直交性を仮定するサブ心的イメージを示す画像を生成するステップとを含む、
請求項１に記載の心的イメージ可視化方法。
【請求項5】
さらに、前記複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、前記複数のサンプル画像に対応する特徴ベクトルに重み付けした特徴ベクトルにＤＭＤ（Dynamic Mode Decomposition）を適用することで、複数の固有値を得るステップと、
前記複数の固有値のうちから少なくとも２つの固有値を選択して、前記少なくとも２つの固有値のいずれかをそれぞれを有する少なくとも２つの固有ベクトルを得るステップと、
前記ＤＮＮを用いて、前記少なくとも２つの固有ベクトルから、前記心的イメージを構成する前記少なくとも２つのサブ心的イメージであって互いに直交性を仮定しないサブ心的イメージを示す画像を生成するステップとを含む、
請求項１に記載の心的イメージ可視化方法。
【請求項6】
前記ＤＮＮは、ｓｔｙｌｅＧＡＮ（A Style-Based Generator Architecture for Generative Adversarial Networks）で構成され、前記取得するステップでは、前記ｓｔｙｌｅＧＡＮのマッピングネットワークの出力を取得することで、前記特徴ベクトルを取得し、
前記生成するステップでは、前記ｓｔｙｌｅＧＡＮの生成器に前記少なくとも２つの固有ベクトルを入力することで前記生成器に前記少なくとも２つのサブ心的イメージを示す画像を生成させる、
請求項４または５に記載の心的イメージ可視化方法。
【請求項7】
さらに、心理学的逆相関法を用いて用意された複数の画像と、前記心的イメージを持つ対象者が行った前記複数の画像に対する前記感性評価の結果とで構成される学習用データセットを用いて学習されたＤＣＮＮ（Deep Convolution Neural Networks）に、前記複数のサンプル画像それぞれを入力し、前記複数のサンプル画像に対する前記感性評価の結果を予測させることにより、前記複数のサンプル画像に対する心理学的逆相関法による感性評価の結果を取得するステップを含む、請求項２～６のいずれか１項に記載の心的イメージ可視化方法。
【請求項8】
前記ＤＣＮＮは、事前学習済のＣＮＮ（Convolution Neural Networks）と、
前記ＣＮＮの後段に設けられた１層以上の畳み込み層と、
前記１層以上の畳み込み層の後段に設けられたＧＡＰ（Global Average Pooling）層とで構成され、
前記ＣＮＮは、複数の畳み込み層と複数のプーリング層とを有する、
請求項７に記載の心的イメージ可視化方法。
【請求項9】
心的イメージ可視化方法を実行するためのプログラムであって、特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ（Deep Neural Networks）に、前記特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成させるステップと、
前記ＤＮＮに、前記複数のサンプル画像を入力するステップと、
前記複数のサンプル画像それぞれの特徴ベクトルであって、前記ＤＮＮにより、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを、前記ＤＮＮから取得するステップとを含み、
前記特徴ベクトルは、心的イメージを示す画像を生成するために用いられる、
プログラム。
【請求項10】
特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ（Deep Neural Networks）と、前記ＤＮＮに生成させた複数のサンプル画像であって前記特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を取得する取得部と、
前記複数のサンプル画像を前記ＤＮＮに入力する入力部と、を備え、
前記取得部は、前記複数のサンプル画像それぞれの特徴ベクトルであって、前記ＤＮＮにより、対応するサンプル画像が、ｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを、前記ＤＮＮから取得し、
前記特徴ベクトルは、心的イメージを示す画像を生成するために用いられる、
心的イメージ可視化装置。
【請求項11】
請求項１～８のいずれか１項に記載の心的イメージ可視化方法における前記ＤＮＮの潜在空間を取得するステップと、複数のレコメンド候補画像それぞれを、前記ＤＮＮの潜在空間内にembeddingするステップと、
前記ＤＮＮの潜在空間内における前記心的イメージの位置と、embeddingした前記複数のレコメンド候補画像それぞれの位置との距離を算出するステップと、
前記複数のレコメンド候補画像のうち、算出された前記距離のうち閾値以下の距離に対応する１以上のレコメンド候補画像を、前記心的イメージを持つ対象者に提示するステップとを含む、
レコメンド方法。
【請求項12】
請求項１０に記載の心的イメージ可視化装置における前記ＤＮＮと、複数のレコメンド候補画像それぞれを、前記ＤＮＮの潜在空間内にembeddingするEmbedding実行部と、
前記ＤＮＮの潜在空間内における前記心的イメージの位置と、embeddingした前記複数のレコメンド候補画像それぞれの位置との距離を算出する距離算出部と、
前記複数のレコメンド候補画像のうち、算出された前記距離のうち閾値以下の距離に対応する１以上のレコメンド候補画像を、前記心的イメージを持つ対象者に提示する提示部とを備える、
レコメンドシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、心的イメージ可視化方法、心的イメージ可視化装置及びプログラムに関する。
【背景技術】
【0002】
人は、心の中に存在する心的イメージと眼前のイメージ（視覚対象）との比較から感性判断を行うことが知られている。ここで、感性は、外界からの刺激を受け止める感覚的能力であり、視覚対象を観察した際に人が感じる特定の価値判断を伴う感覚である。心的イメージは、心の中に思い浮かべるイメージ（心的表象）であり、心の中に存在する。
【0003】
例えば、非特許文献１には、心的イメージを可視化する技術が開示されている。非特許文献１によれば、用意した顔画像であるベース画像にランダムなノイズを付加して種々の顔画像を得る。そして、心理学的逆相関法を利用して、種々の顔画像から、被験者が持つ人種の顔イメージに近い顔画像を選択することで、被験者の顔による人種判断に関する心的イメージを可視化する技術が開示されている。なお、心理学的逆相関法は、例えば美しいなど、ある感性が生じた際に提示されていた刺激が何であったかという関係性に注目することで、当該感性を生じさせることに寄与する画像特徴が何であるかを可視化する技術である。
【先行技術文献】
【非特許文献】
【0004】
【文献】Visualising mental representations: A primer on noise-based reverse correlation in social psychology、L Brinkman, A Todorov, R Dotsch European Review of Social Psychology 28 (1), 333-361
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、非特許文献１に開示される技術では、ベース画像にランダムなノイズを付加して得た種々の顔画像は、ベース画像から派生した画像である。つまり、種々の顔画像は、用意されたベース画像に強く規定される。このため、種々の顔画像から選択された顔画像は、選択した人の心的イメージに近いものの異なる可能性がある。また、非特許文献１に開示される技術では、用意されるベース画像は、データベースから取得した顔画像を平均化して得た顔画像であるものの、低品質であるという課題もある。
【0006】
本開示は、上述の事情を鑑みてなされたもので、ヒトの心的イメージをより高品質な画像で可視化することができる心的イメージ可視化方法、心的イメージ可視化装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本開示の一態様に係る心的イメージ可視化方法は、特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ（Deep Neural Networks）に、前記特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成させるステップと、前記ＤＮＮに、前記複数のサンプル画像を入力するステップと、前記複数のサンプル画像それぞれの特徴ベクトルであって、前記ＤＮＮにより、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを、前記ＤＮＮから取得するステップとを含み、前記特徴ベクトルは、心的イメージを示す画像を生成するために用いられる。
【0008】
また、上記課題を解決するために、本開示の一形態に係る心的イメージ可視化装置は、特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ（Deep Neural Networks）と、前記ＤＮＮに生成させた複数のサンプル画像であって前記特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を取得する取得部と、前記複数のサンプル画像を前記ＤＮＮに入力する入力部と、を備え、前記取得部は、前記複数のサンプル画像それぞれの特徴ベクトルであって、前記ＤＮＮにより、対応するサンプル画像が、ｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを、前記ＤＮＮから取得し、前記特徴ベクトルは、心的イメージを示す画像を生成するために用いられる。
【0009】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示の心的イメージ可視化方法等によれば、ヒトの心的イメージをより高品質な画像で可視化することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態等は、一例であって本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。
【0013】
（実施の形態１）
以下では、図面を参照しながら、実施の形態１について説明する。
以下では、図面を参照しながら、実施の形態１について説明する。
【0014】
［１．心的イメージ可視化装置１］
図１は、実施の形態１に係る心的イメージ可視化装置１の構成の一例を示すブロック図である。心的イメージ可視化装置１は、ＤＮＮ（Deep Neural Networks）を用いたコンピュータ等で実現される。より具体的には、心的イメージ可視化装置１は、ＤＮＮ１０を用いて複数のサンプル画像を生成する。また、心的イメージ可視化装置１は、ＤＮＮ１０を用いて、生成した複数のサンプル画像それぞれの特徴ベクトルを取得する。なお、以下では、サンプル画像は、例えば顔画像であり、心的イメージは、顔の美醜に関するものとして説明するがこれに限らない。例えば、サンプル画像は、自動車の外観を示す画像であってもよいし、家屋の外観を示す画像であってもよいし、商品を示す画像であってもよい。同様に、心的イメージは、感性形容詞に関するものであれば、顔の美醜に関するものでなくてよい。例えば心的イメージは、自動車の外観の良し悪しに関するものであってもよいし、家屋の外観の良し悪しに関するものであってもよいし、商品の良し悪しに関するものであってもよい。また現代的である、日本的である、など任意の形容詞を感性形容詞として使用可能である。
図１は、実施の形態１に係る心的イメージ可視化装置１の構成の一例を示すブロック図である。心的イメージ可視化装置１は、ＤＮＮ（Deep Neural Networks）を用いたコンピュータ等で実現される。より具体的には、心的イメージ可視化装置１は、ＤＮＮ１０を用いて複数のサンプル画像を生成する。また、心的イメージ可視化装置１は、ＤＮＮ１０を用いて、生成した複数のサンプル画像それぞれの特徴ベクトルを取得する。なお、以下では、サンプル画像は、例えば顔画像であり、心的イメージは、顔の美醜に関するものとして説明するがこれに限らない。例えば、サンプル画像は、自動車の外観を示す画像であってもよいし、家屋の外観を示す画像であってもよいし、商品を示す画像であってもよい。同様に、心的イメージは、感性形容詞に関するものであれば、顔の美醜に関するものでなくてよい。例えば心的イメージは、自動車の外観の良し悪しに関するものであってもよいし、家屋の外観の良し悪しに関するものであってもよいし、商品の良し悪しに関するものであってもよい。また現代的である、日本的である、など任意の形容詞を感性形容詞として使用可能である。
【0015】
本実施の形態では、心的イメージ可視化装置１は、図１に示すように、ＤＮＮ１０と、取得部１１と、入力部１２とを備える。以下、それぞれの構成要素の詳細について説明する。
【0016】
［１－１．ＤＮＮ１０］
ＤＮＮ１０は、特徴を学習するための特徴学習用画像のデータセットを用いて学習された多層ニューラルネットワークで構成される。ＤＮＮ１０は、特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成する。特徴学習用画像のデータセットは、既存のデータベース等から取得される種々の顔画像を含むデータセットでもよいし、自ら作成した種々の顔画像を含むデータセットでもよい。
ＤＮＮ１０は、特徴を学習するための特徴学習用画像のデータセットを用いて学習された多層ニューラルネットワークで構成される。ＤＮＮ１０は、特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成する。特徴学習用画像のデータセットは、既存のデータベース等から取得される種々の顔画像を含むデータセットでもよいし、自ら作成した種々の顔画像を含むデータセットでもよい。
【0017】
ＤＮＮ１０は、入力部１２により複数のサンプル画像が入力されると、複数のサンプル画像それぞれの特徴ベクトルであって、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを生成する。ｎ次元の特徴ベクトルは、心的イメージを示す画像を生成するために用いられる。
【0018】
ここで、ＤＮＮ１０は、例えばｓｔｙｌｅＧＡＮ（A Style-Based Generator Architecture for Generative Adversarial Networks）で構成されてもよい。なお、ＤＮＮ１０は、複数のサンプル画像を生成でき、さらに、入力したサンプル画像のｎ次元の特徴ベクトルを生成できるのであれば、ｓｔｙｌｅＧＡＮで構成される場合に限らず、他のＧＡＮまたは他の多層ニューラルネットワークで構成されていてもよい。
【0019】
＜ｓｔｙｌｅＧＡＮ＞
ｓｔｙｌｅＧＡＮは、ＧＡＮ（Generative Adversarial Networks）の１種であり、例えば１０２４画素×１０２４画素の高解像度の画像を生成することができる。また、ｓｔｙｌｅＧＡＮは、人物画像を生成する場合、人物画像の大局的な属性（顔の輪郭、眼鏡の有無など）から局所的な属性（しわ、肌質など）までを切り分けて制御した上で生成することができる。ここで、ＧＡＮは、学習用のデータを学習し、学習したデータと似たような新しいデータを生成するモデル（生成モデル）の一種である。換言すると、ＧＡＮは、GeneratorとDiscriminatorという２つのネットワークを有し、２つのネットワークを競わせながら学習させるアーキテクチャであり、正解データを与えることなく特徴を学習する（教師なし学習を行う）。ＧＡＮは、データから特徴を学習することで、実在しないデータを生成したり、存在するデータに沿って変換したりすることができる。
ｓｔｙｌｅＧＡＮは、ＧＡＮ（Generative Adversarial Networks）の１種であり、例えば１０２４画素×１０２４画素の高解像度の画像を生成することができる。また、ｓｔｙｌｅＧＡＮは、人物画像を生成する場合、人物画像の大局的な属性（顔の輪郭、眼鏡の有無など）から局所的な属性（しわ、肌質など）までを切り分けて制御した上で生成することができる。ここで、ＧＡＮは、学習用のデータを学習し、学習したデータと似たような新しいデータを生成するモデル（生成モデル）の一種である。換言すると、ＧＡＮは、GeneratorとDiscriminatorという２つのネットワークを有し、２つのネットワークを競わせながら学習させるアーキテクチャであり、正解データを与えることなく特徴を学習する（教師なし学習を行う）。ＧＡＮは、データから特徴を学習することで、実在しないデータを生成したり、存在するデータに沿って変換したりすることができる。
【0020】
図２は、ｓｔｙｌｅＧＡＮのGenerator部分の構造を示す図である。
【0021】
ｓｔｙｌｅＧＡＮのGeneratorは、図２に示すようにマッピングネットワーク（Mapping network f）と、合成ネットワーク（Synthesis Network g）とで構成される。
【0022】
マッピングネットワークは、複数層（図では８層）の全結合層（前層と後層のニューロンが全て接続されている層）から構成されるネットワークである。マッピングネットワークの出力は、入力レイヤと同じサイズ（５１２×１）となっている。マッピングネットワークは、入力されたベクトル（潜在変数z）を別の空間（中間的な潜在空間W）へと写像することで、中間潜在変数ｗ（w∈W）とも称される中間ベクトルを獲得する。
【0023】
合成ネットワークは、複数層（図では１８層）から構成されるネットワークである。合成ネットワークの最終レイヤの出力は、ＲＧＢに変換される。合成ネットワークは、AdaIN（Adaptive Instance Normalization）と、畳み込み層とを有する。
【0024】
ここで、人物画像の髪、シワなどの局所的な属性は、確率的とみなせる細部の局所的な特徴として扱うことができることが知られている。合成ネットワークでは、各畳み込み層の直後に、ピクセル単位のノイズを直接加えることで、上記の局所的な特徴を制御する。AdaINは、各畳み込み層の出力にノイズが加えられて制御されたベクトルと、マッピングネットワークによって得られた中間ベクトルに対してアフィン変換が施されて得た画像用のベクトルとを合成させる。AdaINの処理は、各解像度スケール（４×４、８×８、・・・）の畳み込み層の出力に対して行われる。AdaINの処理は、特徴マップ単位（チャンネル単位）での正規化処理になっている。このように、AdaINの処理を行うことで、解像度スケール（４×４、８×８、・・・）毎に、画像全体にわたって大局的な属性（画像のスタイル）を変化させることができる。
【0025】
図３Ａは、実施の形態１に係るサンプル画像の一例を示す図である。図３Ｂは、図３Ａに示すサンプル画像の特徴ベクトルの一例を示す図である。なお、図３Ａに示されるサンプル画像は、グレースケールで表現されているが、これに限らずカラーで表現されていてもよく、同様のことが言える。
【0026】
本実施の形態では、顔画像の特徴を学習するための複数の顔画像を特徴学習用画像として構成されるデータセットを用いて、ＤＮＮ１０を学習させる。これにより、ＤＮＮ１０は、ｓｔｙｌｅＧＡＮのGeneratorを用いて、例えば顔画像である複数のサンプル画像を生成することができる。例えばＤＮＮ１０は、図３Ａに示すように、実在しない女性の顔画像を、サンプル画像として生成することができる。
【0027】
ここで、顔画像の特徴を学習するための複数の顔画像を特徴学習用画像として構成されるデータセットを用いてｓｔｙｌｅＧＡＮを学習させる。この場合において、学習済のｓｔｙｌｅＧＡＮのマッピングネットワークに、特徴学習用画像と異なる顔画像を入力したとき、中間ベクトルとして、５１２次元のベクトルに変換された特徴ベクトルを獲得できることを見出した。換言すると、ｓｔｙｌｅＧＡＮのマッピングネットワークは、例えば５１２画素×５１２画素または１０２４画素×１０２４画素などで構成される画像を５１２次元の特徴ベクトルに変換するニューラルネットワークとして機能することを見出した。
【0028】
このため、ＤＮＮ１０は、生成した複数のサンプル画像のうちの一つのサンプル画像が入力されると、ｓｔｙｌｅＧＡＮのGeneratorの一部すなわちマッピングネットワークを用いて、当該サンプル画像が５１２次元のベクトルに変換された特徴ベクトルを生成する。例えば、ＤＮＮ１０は、図３Ａに示すサンプル画像から、図３Ｂに示す５１２次元の特徴ベクトルを生成することができる。
【0029】
［１－２．取得部１１］
取得部１１は、入力部１２によりＤＮＮ１０に入力されたサンプル画像の特徴ベクトルをＤＮＮから取得する。取得部１１は、ＤＮＮ１０がｓｔｙｌｅＧＡＮで構成される場合、ｓｔｙｌｅＧＡＮのマッピングネットワークの出力を取得することで、特徴ベクトルを取得する。
取得部１１は、入力部１２によりＤＮＮ１０に入力されたサンプル画像の特徴ベクトルをＤＮＮから取得する。取得部１１は、ＤＮＮ１０がｓｔｙｌｅＧＡＮで構成される場合、ｓｔｙｌｅＧＡＮのマッピングネットワークの出力を取得することで、特徴ベクトルを取得する。
【0030】
［１－３．入力部１２］
入力部１２は、ＤＮＮ１０に、複数のサンプル画像を入力する。本実施の形態では、入力部１２は、取得部１１から出力されたサンプル画像を、ＤＮＮ１０に入力する。
入力部１２は、ＤＮＮ１０に、複数のサンプル画像を入力する。本実施の形態では、入力部１２は、取得部１１から出力されたサンプル画像を、ＤＮＮ１０に入力する。
【0031】
［１－４．ハードウェア構成］
次に、本実施の形態に係る心的イメージ可視化装置１のハードウェア構成について、図４を用いて説明する。図４は、本実施の形態に係る心的イメージ可視化の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。
次に、本実施の形態に係る心的イメージ可視化装置１のハードウェア構成について、図４を用いて説明する。図４は、本実施の形態に係る心的イメージ可視化の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。
【0032】
コンピュータ１０００は、図４に示すように、入力装置１００１、出力装置１００２、ＣＰＵ及びＧＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ及びＧＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。
【0033】
入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。
【0034】
内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、心的イメージ可視化装置１の機能を実現するためのプログラム、及び、心的イメージ可視化装置１の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。
【0035】
ＲＡＭ１００５は、ランダムアクセスメモリ（Random Access Memory）であり、プログラムまたはアプリケーションの実行に際してデータ等の記憶に利用される。
【0036】
読取装置１００７は、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。
【0037】
送受信装置１００８は、無線または有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。
【0038】
ＣＰＵ及びＧＰＵ１００３は、中央演算処理装置（Central Processing Unit）とグラフィックスプロセッシングユニット（Graphics Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。
【0039】
［２．心的イメージ可視化装置１の動作］
次に、上記のように構成された心的イメージ可視化装置１の動作について説明する。
次に、上記のように構成された心的イメージ可視化装置１の動作について説明する。
【0040】
図５は、実施の形態１に係る心的イメージ可視化装置１の動作を示すフローチャートである。
【0041】
まず、心的イメージ可視化装置１は、学習済のＤＮＮ１０に、複数のサンプル画像を生成させる（Ｓ１０）。より具体的には、心的イメージ可視化装置１は、図１に示すＤＮＮ１０を、特徴を学習するための特徴学習用画像のデータセットを用いて学習する。そして、心的イメージ可視化装置１は、このように学習させたＤＮＮ１０に、特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成させる。
【0042】
次に、心的イメージ可視化装置１は、ＤＮＮ１０に、ステップＳ１０で生成した複数のサンプル画像を入力する（Ｓ１１）。
【0043】
次に、心的イメージ可視化装置１は、ステップＳ１０で生成した複数のサンプル画像それぞれの特徴ベクトルを、ＤＮＮ１０から取得する（Ｓ１２）。より具体的には、心的イメージ可視化装置１は、ステップＳ１０で生成した複数のサンプル画像それぞれの特徴ベクトルであって、ＤＮＮ１０により、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルに変換された特徴ベクトルを、ＤＮＮ１０から取得する。
【0044】
［３．効果等］
以上のように、本実施の形態によれば、特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ１０に、特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成させることができる。さらに、ＤＮＮ１０に、複数のサンプル画像それぞれの特徴ベクトルであって、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルとなる特徴ベクトルに変換させることができるので、ＤＮＮ１０から当該特徴ベクトルを取得することができる。
以上のように、本実施の形態によれば、特徴を学習するための特徴学習用画像のデータセットを用いて学習されたＤＮＮ１０に、特徴学習用画像に写る対象物と同一のカテゴリで異なる対象物が写る複数のサンプル画像を生成させることができる。さらに、ＤＮＮ１０に、複数のサンプル画像それぞれの特徴ベクトルであって、対応するサンプル画像がｎ次元（ｎは１００以上の整数）のベクトルとなる特徴ベクトルに変換させることができるので、ＤＮＮ１０から当該特徴ベクトルを取得することができる。
【0045】
図６は、実施の形態１に係る２つのサンプル画像の特徴ベクトルの加算平均により得られる画像を示す図である。図６の（ａ）、（ｂ）に示される女性の顔画像と特徴ベクトルは、２つの異なるサンプル画像とそれぞれの特徴ベクトルの一例である。
【0046】
本実施の形態の心的イメージ可視化装置１により生成される特徴ベクトルは、例えば５１２次元の特徴ベクトルであり、一定の線形性を有する。このため、例えば図６の（ａ）及び（ｂ）のような、２つの異なるサンプル画像の特徴ベクトルを平均した特徴ベクトルから生成される画像は、図６の（ｃ）に示す女性の顔画像のように、図６の（ａ）及び（ｂ）に示されるサンプル画像の特徴が平均的に含まれることになる。また、図６の（ｃ）に示すように、図６の（ａ）及び（ｂ）に示されるサンプル画像の特徴が平均的に含まれる画像は、図６の（ａ）及び（ｂ）と同様に高画質な画像となるのがわかる。
【0047】
このため、数百枚のサンプル画像について心理学的逆相関法で感性評価を行った結果から、例えば最もその感性評価のスコアが高いサンプル画像の特徴ベクトルを取得することができる。この場合、感性評価のスコアが高いサンプル画像の特徴ベクトルから生成した画像を、心的イメージを示す画像とすればよい。また、数百枚のサンプル画像について心理学的逆相関法で感性評価を行った結果から、比較的感性評価のスコアが高い複数のサンプル画像それぞれの特徴ベクトルを取得してもよい。この場合、比較的感性評価のスコアが高い複数のサンプル画像それぞれの特徴ベクトルを重み付き加算平均した特徴ベクトルに対する非線形変換Fから生成した画像を、心的イメージを示す画像としてもよい。このようにして、本実施の形態の心的イメージ可視化装置１により生成される特徴ベクトルは、心的イメージを示す画像を生成するために用いることができる。
【0048】
なお、特徴ベクトルから画像を生成する方法としては、ＤＮＮ１０を用いてもよい。例えばＤＮＮ１０がｓｔｙｌｅＧＡＮで構成される場合、ｓｔｙｌｅＧＡＮの合成ネットワークを用いることで、特徴ベクトルから画像を生成することができる。なお、多次元の特徴ベクトルから画像を生成できるニューラルネットワークであれば、ｓｔｙｌｅＧＡＮの合成ネットワークに限らない。
【0049】
以上のように、本実施の形態の心的イメージ可視化装置１によれば、心理学的逆相関法で感性評価を行うサンプル画像を、上述したベース画像に依存せず、例えば１０２４画素×１０２４画素の高解像度で高画質に生成できる。また、本実施の形態の心的イメージ可視化装置１によれば、生成したサンプル画像の特徴ベクトルを生成できる。これにより、心理学的逆相関法で感性評価を行ったサンプル画像の特徴ベクトルを、評価結果に従って重み付き加算平均し、このように算出した特徴ベクトルから生成した画像を、心的イメージを示す画像として得ることができる。つまり、本実施の形態の心的イメージ可視化装置１によれば、ヒトの心的イメージをより高品質な画像で可視化することができる。
【0050】
（実施の形態２）
実施の形態１では、可視化対象の心的イメージを持つ対象者に複数（数百枚）のサンプル画像について感性評価を行わせる場合を例に挙げて説明したが、これに限らない。可視化対象の心的イメージを持つ対象者の好みを予め学習させておいたＤＣＮＮ（Deep Convolution Neural Networks）を用いて、複数（数百枚）のサンプル画像について心理学的逆相関法で感性評価を行ってもよい。
実施の形態１では、可視化対象の心的イメージを持つ対象者に複数（数百枚）のサンプル画像について感性評価を行わせる場合を例に挙げて説明したが、これに限らない。可視化対象の心的イメージを持つ対象者の好みを予め学習させておいたＤＣＮＮ（Deep Convolution Neural Networks）を用いて、複数（数百枚）のサンプル画像について心理学的逆相関法で感性評価を行ってもよい。
【0051】
以下では、実施の形態２として、心的イメージ可視化装置が生成したサンプル画像を感性評価するＤＣＮＮを備え、心的イメージを示す画像を生成する心的イメージ可視化システム１００について説明する。
【0052】
［１．心的イメージ可視化システム１００］
図７は、実施の形態２に係る心的イメージ可視化システム１００の構成の一例を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。また、心的イメージ可視化システム１００の機能は、実施の形態１と同様に、図４に示すコンピュータ１０００を用いてソフトウェアにより実現される。
図７は、実施の形態２に係る心的イメージ可視化システム１００の構成の一例を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。また、心的イメージ可視化システム１００の機能は、実施の形態１と同様に、図４に示すコンピュータ１０００を用いてソフトウェアにより実現される。
【0053】
本実施の形態では、心的イメージ可視化システム１００は、心的イメージ可視化装置１Ａと、ＤＣＮＮ１３と、加算平均部１４とを備える。以下、それぞれの構成要素の詳細について説明する。
【0054】
［１－１．心的イメージ可視化装置１Ａ］
図７に示す心的イメージ可視化装置１Ａは、図１に示す心的イメージ可視化装置１と構成は同じである。心的イメージ可視化装置１Ａでは、さらにＤＮＮ１０が、加算平均部１４により得られた第１特徴ベクトルから、心的イメージを示す画像を生成させる点を明示している。
図７に示す心的イメージ可視化装置１Ａは、図１に示す心的イメージ可視化装置１と構成は同じである。心的イメージ可視化装置１Ａでは、さらにＤＮＮ１０が、加算平均部１４により得られた第１特徴ベクトルから、心的イメージを示す画像を生成させる点を明示している。
【0055】
より具体的には、ＤＮＮ１０は、第１特徴ベクトルから心的イメージを示す画像を生成する。本実施の形態では、ＤＮＮ１０は、入力部１２により第１特徴ベクトルが入力される。ＤＮＮ１０は、入力された第１特徴ベクトルから心的イメージを示す画像を生成する。ＤＮＮ１０がｓｔｙｌｅＧＡＮで構成される場合、ＤＮＮ１０は、ｓｔｙｌｅＧＡＮの合成ネットワークに第１特徴ベクトルを入力することで、合成ネットワークに心的イメージを示す画像を生成させる。詳細は、実施の形態１で説明した通りであるので、ここでの説明を省略する。
【0056】
取得部１１は、ＤＮＮ１０が生成した心的イメージを示す画像を取得する。
【0057】
入力部１２は、ＤＮＮ１０に、加算平均部１４から得た第１特徴ベクトルを、ＤＮＮ１０に入力する。
【0058】
なお、サンプル画像、及び、特徴ベクトルの生成等については、実施の形態１で説明した通りであるので、ここでの説明を省略する。
【0059】
［１－２．ＤＣＮＮ１３］
ＤＣＮＮ１３は、心理学的逆相関法を用いて用意された複数の画像と、心的イメージを持つ対象者が行った複数の画像に対する感性評価の結果とで構成される学習用データセットを用いて学習された畳み込みニューラルネットワークで構成される。学習用データセットは、既存のデータベース等から取得される種々の顔画像を含むデータセットでもよいし、自ら作成した種々の顔画像を含むデータセットでもよい。このようにして、ＤＣＮＮ１３は、可視化対象の心的イメージを持つ対象者の好みを予め学習することができる。本実施の形態では、心理学的逆相関法を用いて用意された複数の画像は、実施の形態１と同様、例えば顔画像である。複数の画像に対する感性評価は、例えば、顔の美醜についての感性評価である。
ＤＣＮＮ１３は、心理学的逆相関法を用いて用意された複数の画像と、心的イメージを持つ対象者が行った複数の画像に対する感性評価の結果とで構成される学習用データセットを用いて学習された畳み込みニューラルネットワークで構成される。学習用データセットは、既存のデータベース等から取得される種々の顔画像を含むデータセットでもよいし、自ら作成した種々の顔画像を含むデータセットでもよい。このようにして、ＤＣＮＮ１３は、可視化対象の心的イメージを持つ対象者の好みを予め学習することができる。本実施の形態では、心理学的逆相関法を用いて用意された複数の画像は、実施の形態１と同様、例えば顔画像である。複数の画像に対する感性評価は、例えば、顔の美醜についての感性評価である。
【0060】
ＤＣＮＮ１３は、心的イメージ可視化装置１Ａにより生成された複数のサンプル画像それぞれが入力されると、複数のサンプル画像に対する感性評価の結果を予測し、複数のサンプル画像に対する心理学的逆相関法による感性評価の結果として出力する。
【0061】
ここで、ＤＣＮＮ１３は、例えば、事前学習済のＣＮＮ（Convolution Neural Networks）と、ＣＮＮの後段に設けられた１層以上の畳み込み層と、１層以上の畳み込み層の後段に設けられたＧＡＰ（Global Average Pooling）層とで構成されてもよい。また、ＣＮＮは、複数の畳み込み層及び複数のプーリング層を有する畳み込みニューラルネットワークで構成される。
【0062】
【0063】
ＤＣＮＮ１３は、例えば図８に示すように、事前学習済のＶＧＧ１９と、３層の畳み込み層と、１層のＧＡＰ層とで構成される畳み込みニューラルネットワークである。事前学習済のＶＧＧ１９は、ＤＣＮＮ１３が有するＣＮＮの一例である。なお、ＶＧＧ１９は、インターネットなど公開データベース等から取得することができる。ＤＣＮＮ１３が有するＣＮＮは、事前学習済のＶＧＧ１９に限らない。また、ＤＣＮＮ１３は、ＣＮＮの後段に１層以上の畳み込み層が構成されればよく、図８に示す３層の畳み込み層を構成する場合に限らない。
【0064】
【0065】
まず、心理学的逆相関法を用いて用意された複数の顔画像と、可視化対象の心的イメージを持つ対象者が行った当該複数の画像に対する感性評価の結果とで構成される学習用データセットを用意する。本実施の形態では、例えばそれぞれ女性の顔が写る複数の顔画像それぞれに対して、対象者がどのくらい美顔に感じるかを示す感性評価のスコアを付与したものを学習用データセットとしている。
【0066】
次に、学習用データセットの顔画像を一つずつ入力画像としてＤＣＮＮ１３に入力し、対象者が付与する感性評価のスコアを予測させ、差があれば差をなくすようにＤＣＮＮ１３にフィードバックする。このようにして、学習用データセットのすべての顔画像について、ＤＣＮＮ１３が予測するスコアと、対象者が付与したスコアとの差を最小にするように学習させる。つまり、学習用データセットを用いて正解データを与える学習（教師あり学習）を、ＤＣＮＮ１３に行う。
【0067】
これにより、ＤＣＮＮ１３に対象者（個人）の感性評価を学習させることができるので、ＤＣＮＮ１３は、任意の顔画像に対する感性評価を対象者に代わって行うことができる。
【0068】
ここで、メンタルテンプレートマッチング仮説によれば、美醜などの感性判定は、個人が心に持っているテンプレート（つまり心的イメージ）に基づいて行われる。そして、ＤＣＮＮ１３は、そのパラメータを適切に学習することで、任意の顔画像に対する感性評価を対象者に代わって行うことができることから、発明者らは、ＤＣＮＮ１３に、個人が心に持っている心的イメージを学習させることができることを見出した。
【0069】
これにより、ＤＣＮＮ１３は、上記のような学習用データセットを準備して学習させることで、高名な芸術家またはデザイナーといった特殊技能を有する個人の感性（心的イメージ）をそのパラメータに保存することが可能となる。
【0070】
図１０は、実施の形態２に係る複数のサンプル画像に対する感性評価の結果の一例を示す図である。
【0071】
図１０に示される複数の女性の顔画像は、ＤＣＮＮ１３により対象者に代わって感性評価が行われた複数のサンプル画像の一例である。例えば図１０に示す３．７、２．２、４．２、３．１、…、は、ＤＣＮＮ１３が当該複数の女性の顔画像それぞれに対して、対象者に代わって予測した感性評価のスコアの一例である。
【0072】
なお、図１０には、複数の女性の顔画像の特徴ベクトルも示されている。
【0073】
［１－３．加算平均部１４］
加算平均部１４は、複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、複数のサンプル画像に対応する特徴ベクトルを重み付き加算平均に対する非線形変換Fを行うことによって第１特徴ベクトルを得る。
加算平均部１４は、複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、複数のサンプル画像に対応する特徴ベクトルを重み付き加算平均に対する非線形変換Fを行うことによって第１特徴ベクトルを得る。
【0074】
加算平均部１４は、第１特徴ベクトルを入力部１２に出力することで、第１特徴ベクトルをＤＮＮ１０に入力する。
【0075】
【0076】
図１１Ａに示す第１特徴ベクトルは、図１０に示す複数の女性の顔画像に対して予測された感性評価のスコアに基づいて、図１０に示す複数の女性の顔画像の特徴ベクトルが加算平均された後に非線形変換されたものである。図１１Ａに示す第１特徴ベクトルは、入力部１２によりＤＮＮ１０に入力される。
【0077】
【0078】
なお、本実施の形態では、図１１Ｂに示す画像は、対象者（個人）が美顔に関する心的イメージに該当することになる。
【0079】
［２．効果等］
図１２は、実施の形態１及び２に係る美醜評価での心的イメージ可視化方法の全体像を示す図である。図１２では、個人による美醜評価を行わせて美醜評価での心的イメージ可視化方法が示されている。なお、心的イメージ可視化装置１Ａに生成された複数のサンプル画像に対して、心的イメージを持つ対象者が感性評価を行ってもよいし、上述したようにＤＣＮＮ１３が感性評価を予測してもよい。
図１２は、実施の形態１及び２に係る美醜評価での心的イメージ可視化方法の全体像を示す図である。図１２では、個人による美醜評価を行わせて美醜評価での心的イメージ可視化方法が示されている。なお、心的イメージ可視化装置１Ａに生成された複数のサンプル画像に対して、心的イメージを持つ対象者が感性評価を行ってもよいし、上述したようにＤＣＮＮ１３が感性評価を予測してもよい。
【0080】
以上のように、本実施の形態によれば、心的イメージ可視化システム１００は、生成した複数のサンプル画像について感性評価を行った結果に従い、当該複数のサンプル画像の特徴ベクトルを加算平均した後に非線形変換を行った第１特徴ベクトルから、心的イメージを示す画像を生成することができる。
【0081】
心的イメージ可視化装置１Ａが生成した複数のサンプル画像は、可視化を試みる者等により選択または用意された実在する画像であるベース画像から派生した画像ではなく、実在しない画像または実在する画像に沿って変換された画像である。さらに、当該複数のサンプル画像の特徴ベクトルを加算平均した後に非線形変換を行った第１特徴ベクトルから生成した画像を、心的イメージを示す画像とすることができるので、心的イメージを示す画像は、用意したサンプル画像のみに規定されない。つまり、本実施の形態によれば、より対象者が持つ心的イメージに近いまたはそのものを示す画像を生成できる。
【0082】
また、心的イメージ可視化装置１Ａが生成した複数のサンプル画像は、例えば１０２４画素×１０２４画素の高解像度であり高画質な画像である。このため、複数のサンプル画像の特徴ベクトルから算出される第１特徴ベクトルから生成される心的イメージを示す画像も高品質な画像で生成できる。
【0083】
よって、本実施の形態の心的イメージ可視化システム１００によれば、ヒトの心的イメージをより高品質な画像で可視化することができる。
【0084】
また、本実施の形態によれば、ＤＣＮＮ１３に、個人ごとの感性評価（心的イメージ）を学習させることができる。これにより、高名な芸術家またはデザイナーといった特殊技能を有する個人の感性（心的イメージ）をそのパラメータに保存することが可能となる。
【0085】
この結果、芸術家またはデザイナーは、ある時点での自身の感性をＤＣＮＮ１３という多層ニューラルネットワーク内にパラメータとして保存することができる。このため、芸術家またはデザイナーは、いつの時点でも過去の自分の感性を示す画像を参照して、作品またはデザインを作成することができる。
【0086】
さらに、心理学的逆相関法を用いて用意された複数の画像と、当該複数の画像に対する、例えば４０代男性かつ関西在住者などである特定集団による評価結果とで構成される学習用データセットを準備できれば、ＤＣＮＮ１３に、特定集団の心的イメージを学習させることができる。
【0087】
そして、特定対象者または特定集団の感性評価（心的イメージ）を学習したＤＣＮＮ１３を用いて、例えばあるデザインの是非について感性評価を予測させることもできる。これにより、当該デザインの是非について実際に大規模な市場調査を行う必要がなくなるという効果がある。さらに、当該デザインについて大規模市場調査を行うことなく販売対象者がどのような感性評価を行うかを、事前に把握できるという効果もある。
【0088】
また、本実施の形態の心的イメージ可視化システム１００によれば、デザイナーの心的イメージを示す画像を生成できるので、当該デザイナーの心的イメージを、例えば開発者または営業担当者など当該デザイナー以外の者が画像として共有することができる。例えば、製品イメージの開発段階で、デザイナーまたは開発者が持つデザインの心的イメージを可視化し、グループ内で共有することもできる。
【0089】
また、本実施の形態の心的イメージ可視化システム１００によれば、注文建築などを行う顧客が持つイメージ（心的イメージ）を可視化した画像を、短時間で生成することができる。これにより、顧客の求める商品デザインの開発を高精度で行えるといった効果もある。
【0090】
また、本実施の形態の心的イメージ可視化システム１００によれば、例えば、高所得者がイメージする家屋の理想的な外観を、具体的なイメージとして可視化することができるので、建築メーカの設計に容易に反映させることができるという効果もある。
【0091】
なお、本実施の形態の心的イメージ可視化システム１００によれば、個人ごとの具体的な理想顔を高品質画像として可視化することもできる。これにより、化粧または美容整形の完成後のイメージであって個人ごとの理想顔のイメージを示す画像を他者と共有することができる。
【0092】
（変形例１）
実施の形態２では、ＤＣＮＮ１３による複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、心的イメージ可視化装置１Ａにより出力された複数のサンプル画像に対応する特徴ベクトルを重み付き加算平均する場合について説明した。重み付き加算平均することで、複数のサンプル画像に対応する５１２次元の特徴ベクトルから、１次元に次元圧縮した第１特徴ベクトルを得ることになるが、次元圧縮は１次元にする場合に限らない。２次元または３次元程度の次元に次元圧縮してもよい。以下では、実施の形態２の変形例１として、２次元または３次元程度に次元圧縮する場合について説明する。
実施の形態２では、ＤＣＮＮ１３による複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、心的イメージ可視化装置１Ａにより出力された複数のサンプル画像に対応する特徴ベクトルを重み付き加算平均する場合について説明した。重み付き加算平均することで、複数のサンプル画像に対応する５１２次元の特徴ベクトルから、１次元に次元圧縮した第１特徴ベクトルを得ることになるが、次元圧縮は１次元にする場合に限らない。２次元または３次元程度の次元に次元圧縮してもよい。以下では、実施の形態２の変形例１として、２次元または３次元程度に次元圧縮する場合について説明する。
【0093】
［１．心的イメージ可視化システム１００Ｂ］
図１３は、実施の形態２の変形例１に係る心的イメージ可視化システム１００Ｂの構成の一例を示すブロック図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。また、心的イメージ可視化システム１００Ｂの機能は、実施の形態１と同様に、図４に示すコンピュータ１０００を用いてソフトウェアにより実現される。
図１３は、実施の形態２の変形例１に係る心的イメージ可視化システム１００Ｂの構成の一例を示すブロック図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。また、心的イメージ可視化システム１００Ｂの機能は、実施の形態１と同様に、図４に示すコンピュータ１０００を用いてソフトウェアにより実現される。
【0094】
図１３に示す心的イメージ可視化システム１００Ｂは、図７に示す心的イメージ可視化システム１００と比較して、加算平均部１４の代わりに次元圧縮処理部１４Ｂを備える点で構成が異なる。以下、それぞれの構成要素の詳細について、実施の形態２と異なる点を中心に説明する。
【0095】
［１－１．次元圧縮処理部１４Ｂ］
次元圧縮処理部１４Ｂは、ＤＣＮＮ１３による複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従い、心的イメージ可視化装置１Ｂにより出力された複数のサンプル画像に対応する特徴ベクトルを重み付けした特徴ベクトルを算出する。そして、次元圧縮処理部１４Ｂは、重み付けした特徴ベクトルを、ＳＴＣ（Spike-triggered covariance）分析による次元圧縮を行うことで得た複数の固有ベクトルを出力する。
次元圧縮処理部１４Ｂは、ＤＣＮＮ１３による複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従い、心的イメージ可視化装置１Ｂにより出力された複数のサンプル画像に対応する特徴ベクトルを重み付けした特徴ベクトルを算出する。そして、次元圧縮処理部１４Ｂは、重み付けした特徴ベクトルを、ＳＴＣ（Spike-triggered covariance）分析による次元圧縮を行うことで得た複数の固有ベクトルを出力する。
【0096】
図１４は、実施の形態２の変形例１に係る次元圧縮処理部１４Ｂの詳細構成の一例を示すブロック図である。
【0097】
次元圧縮処理部１４Ｂは、図１４に示すように、分散共分散行列算出部１４１と、特異値分解実行部１４２と、固有値選択部１４３と、固有ベクトル導出部１４４とを備える。
【0098】
分散共分散行列算出部１４１は、複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、複数のサンプル画像に対応する特徴ベクトルを重み付けする。分散共分散行列算出部１４１は、重み付けした特徴ベクトルの分散共分散行列を、ＳＴＣ（Spike-triggered covariance）分析により算出する。
【0099】
特異値分解実行部１４２は、算出した分散共分散行列に対して特異値分解を実行して複数の固有値を得る。
【0100】
本変形例では、重み付けされた特徴ベクトルのＳＴＣ行列を算出し、特異値分解して複数の固有値を得てもよい。ＳＴＣ分析は、主成分分析と類似した分析手法である。ＳＴＣ分析は、例えば多次元ベクトルにランダムな値を与えることで得られる分布における注目すべき特徴の分布の分散を最大化させる空間の軸を、直交するように取り直す手法ともいえる。空間の軸を多次元で直交するように取り直すことは、ＳＴＣ行列の固有ベクトルを取ることで実現できる。そして、取り直した軸で、所望の特徴の分布を表現し直すことにより、多次元ベクトルの次元を絞り込んだ（圧縮した）形で表現することができる。
【0101】
固有値選択部１４３は、特異値分解実行部１４２により得られた複数の固有値のうち、少なくとも２つの固有値を選択する。例えば、固有値選択部１４３は、特異値分解実行部１４２により得られた複数の固有値のうち、ランク順に並べたときの平均よりも分散の値が高い固有値と低い固有値とを選択してもよい。本変形例では、固有値選択部１４３は、ランク順に並べたときの１番目及び２番目に大きい固有値と、一番小さい固有値など、３つの固有値を選択する。
【0102】
固有ベクトル導出部１４４は、固有値選択部１４３により選択された当該少なくとも２つの固有値のいずれかをそれぞれを有する少なくとも２つの固有ベクトルを導出する。固有ベクトル導出部１４４は、導出した少なくとも２つの固有ベクトルを心的イメージ可視化装置１Ｂに出力する。本変形例では、固有ベクトル導出部１４４は、１番目及び２番目に大きい固有値と、一番小さい固有値とを有する３つの固有ベクトルを導出する。この場合、固有ベクトル導出部１４４は、導出した３つの固有ベクトルを心的イメージ可視化装置１Ｂの入力部１２に出力する。
【0103】
［１－２．心的イメージ可視化装置１Ｂ］
図１３に示す心的イメージ可視化装置１Ｂは、図１及び図７に示す心的イメージ可視化装置１及び１Ａと構成は同じである。心的イメージ可視化装置１Ｂでは、ＤＮＮ１０が、次元圧縮処理部１４Ｂにより得られた少なくとも２つの固有ベクトルから、少なくとも２つのサブ心的イメージを示す画像を生成させる。少なくとも２つのサブ心的イメージはそれぞれ、上述した心的イメージを成分分解した１つのイメージに相当する。
図１３に示す心的イメージ可視化装置１Ｂは、図１及び図７に示す心的イメージ可視化装置１及び１Ａと構成は同じである。心的イメージ可視化装置１Ｂでは、ＤＮＮ１０が、次元圧縮処理部１４Ｂにより得られた少なくとも２つの固有ベクトルから、少なくとも２つのサブ心的イメージを示す画像を生成させる。少なくとも２つのサブ心的イメージはそれぞれ、上述した心的イメージを成分分解した１つのイメージに相当する。
【0104】
本変形例では、入力部１２は、次元圧縮処理部１４Ｂから得た少なくとも２つの固有ベクトルを、ＤＮＮ１０に入力する。
【0105】
ＤＮＮ１０は、入力部１２により少なくとも２つの固有ベクトルのそれぞれが入力される。すると、ＤＮＮ１０は、入力された少なくとも２つの固有ベクトルから、少なくとも２つのサブ心的イメージを示す画像を生成する。ここで、ＤＮＮ１０がｓｔｙｌｅＧＡＮで構成される場合、入力部１２は、ｓｔｙｌｅＧＡＮの生成器に、少なくとも２つの固有ベクトルのそれぞれを入力する。すると、ｓｔｙｌｅＧＡＮの生成器により、心的イメージを構成する少なくとも２つのサブ心的イメージであって互いに直交性を仮定するサブ心的イメージを示す画像が生成される。
【0106】
なお、次元圧縮処理部１４Ｂで特異値分解を実行して得た複数の固有値のいずれかをそれぞれ有する固有ベクトルを足し合わせたベクトルを、ＤＮＮ１０に入力すると、ほぼ心的イメージを示す画像が生成される。ここで、ほぼと記載したのは、次元圧縮により削除された情報があるからである。このように、心的イメージを成分分解したものそれぞれがサブ心的イメージに相当する。固有ベクトルからサブ心的イメージを生成することは、第１特徴ベクトルから心的イメージを生成することと同様であり、実施の形態１で説明した通りであるので、ここでの詳細は説明は省略する。
【0107】
取得部１１は、ＤＮＮ１０が生成したサブ心的イメージを示す画像を取得する。
【0108】
なお、サンプル画像、及び、特徴ベクトルの生成等については、実施の形態１で説明した通りであるので、ここでの説明を省略する。
【0109】
［２．心的イメージ可視化システム１００Ｂの動作例］
以上のように構成された心的イメージ可視化システム１００Ｂの動作例について説明する。本動作例では、心的イメージ可視化装置１ＢのＤＮＮ１０は、ｓｔｙｌｅＧＡＮで構成されているとして、実施の形態２と異なる点を中心に説明する。
以上のように構成された心的イメージ可視化システム１００Ｂの動作例について説明する。本動作例では、心的イメージ可視化装置１ＢのＤＮＮ１０は、ｓｔｙｌｅＧＡＮで構成されているとして、実施の形態２と異なる点を中心に説明する。
【0110】
図１５は、実施の形態２の変形例１に係る心的イメージ可視化システム１００Ｂの動作例を概観的に示す図である。
【0111】
図１５に示す動作例では、自動車の外観の良し悪しに関するサブ心的イメージを示す画像を生成する場合が示されている。図１５には、心的イメージ可視化装置１Ｂにより生成された、自動車の外観を示す複数のサンプル画像が、サンプル画像Ｓ１、Ｓ２、…、ＳＮ－１、ＳＮとして示されている。サンプル画像Ｓ１、Ｓ２、…、ＳＮ－１、ＳＮはそれぞれ、心的イメージ可視化システム１００Ｂを用いることで、上述したように５１２次元のベクトルの特徴ベクトルで表現される。サンプル画像Ｓ１、Ｓ２、…、ＳＮ－１、ＳＮの下には、心的イメージ可視化装置１Ｂにより生成されたサンプル画像Ｓ１、Ｓ２、…、ＳＮ－１、ＳＮのそれぞれの特徴ベクトルＷ１、Ｗ２、…、ＷＮ－１、ＷＮが示されている。
【0112】
本動作例では、まず、ＤＣＮＮ１３に、サンプル画像Ｓ１、Ｓ２、…、ＳＮ－１、ＳＮに対する心理学的逆相関法による感性評価の結果を出力させる。
【0113】
次に、次元圧縮処理部１４Ｂは、分散共分散行列１４１ａを算出する。具体的には、次元圧縮処理部１４Ｂは、サンプル画像Ｓ１、Ｓ２、…、ＳＮ－１、ＳＮに対する心理学的逆相関法による感性評価の結果に従って重み付けした特徴ベクトルＷ１、Ｗ２、…、ＷＮ－１、ＷＮの分散共分散行列１４１ａを、ＳＴＣ分析により算出している。
【0114】
次に、次元圧縮処理部１４Ｂは、固有ベクトル分析１４２ａを行っている。具体的には、次元圧縮処理部１４Ｂは、算出した分散共分散行列１４１ａに対して、特異値分解を実行して５１２個の固有値を得ている。そして、次元圧縮処理部１４Ｂは、特異値分解を実行して得た５１２個の固有値をランク順に並べたグラフ、例えば図１６Ａに示すようなグラフを作成する。
【0115】
ここで、図１６Ａは、図１５に示す動作例に係る特異値分解を実行して得た複数の固有値をランク順に並べたグラフの一例を示す図である。図１６Ａに示す縦軸は分散（ばらつき）を示している。図１６Ａに示すように、点で表される固有値が重なって線のように見えているところと、線のように見えているところから離れた固有値とがあるのがわかる。この離れた点は、ランク順に並べたときの分散（ばらつき）の値が１番目及び２番目に大きい固有値と、分散（ばらつき）の値が一番小さい固有値となっており、それぞれＳｕｂ１、Ｓｕｂ２及びＳｕｂ５１２として示されている。
【0116】
本動作例では、次元圧縮処理部１４Ｂに、ランク順に並べたときの１番目及び２番目に大きい固有値と、一番小さい固有値すなわちＳｕｂ１、Ｓｕｂ２及びＳｕｂ５１２として示されている３つの固有値を選択させる。なお、この３つの固有値の選択は、心的イメージ可視化システム１００Ｂに対する操作または所定のアルゴリズムによりなされてもよい。
【0117】
次に、次元圧縮処理部１４Ｂは、Ｓｕｂ１、Ｓｕｂ２及びＳｕｂ５１２として示されている３つの固有値を有する３つの固有ベクトルを導出する。
【0118】
そして、次元圧縮処理部１４Ｂにより導出された３つの固有ベクトルから、心的イメージ可視化装置１Ｂに３つのサブ心的イメージを示す画像を生成させる。なお、この生成は、心的イメージ可視化システム１００Ｂに対する操作または所定のアルゴリズムによりなされてもよい。また、図１５には、心的イメージ可視化装置１Ｂにより生成された３つのサブ心的イメージを示す画像Ｓｕｂ１、Ｓｕｂ２及びＳｕｂ５１２が示されている。なお、画像Ｓｕｂ１、Ｓｕｂ２及びＳｕｂ５１２は、本来、図３Ａで示したグレースケールで示されたサンプル画像と同様にカラーの画像であるが、便宜上線図にして示している。
【0119】
図１６Ｂは、図１６Ａに示す表を用いてサブ心的イメージを示す画像と心的イメージを示す画像との関係を説明するための図である。心的イメージを示す画像Ｔ１も、本来、図３Ａで示したグレースケールで示されたサンプル画像と同様にカラーの画像であるが、図面上で比較しやすいように便宜上線図にして示している。
【0120】
図１６Ｂに示すように、固有値が最も高い固有ベクトルから生成されたサブ心的イメージを示す画像Ｓｕｂ１に示される自動車の外観等は、心的イメージを示す画像Ｔ１に示される自動車の外観等に近いのがわかる。つまり、固有値が最も高い固有ベクトルから生成されたサブ心的イメージは、心的イメージを構成する寄与率が高く、対象者の好み（心的イメージ）に近いと言える。一方で、固有値が最も高い固有ベクトルから生成されたサブ心的イメージを示す画像Ｓｕｂ５１２は、心的イメージを示す画像Ｔ１から遠いのがわかる。つまり、固有値が最も低い固有ベクトルから生成されたサブ心的イメージは、心的イメージを構成する寄与率が低く、対象者の理想（心的イメージ）ではないと言える。しかしながら、発明者らは、自動車の外観の良し悪しに関するものも含め、対象者の心的イメージは、対象者の理想だけでなく、理想ではないものからも構成されていることに想到した。つまり、心的イメージは、対象者の理想（好み）と異なるものも抑制的であるが成分としてもっていることがわかった。
【0121】
［３．効果等］
以上のように、本変形例によれば、心的イメージ可視化装置１Ｂにより出力された複数のサンプル画像に対応する多次元の特徴ベクトルから得られた２つ以上の固有ベクトルから、心的イメージを成分分解したようなサブ心的イメージの画像を生成して可視化することができる。
以上のように、本変形例によれば、心的イメージ可視化装置１Ｂにより出力された複数のサンプル画像に対応する多次元の特徴ベクトルから得られた２つ以上の固有ベクトルから、心的イメージを成分分解したようなサブ心的イメージの画像を生成して可視化することができる。
【0122】
なお、上述した変形例１に係る心的イメージ可視化システム１００Ｂにおいて、ＤＣＮＮ１３は必須ではない。心的イメージ可視化システム１００Ｂが生成したサンプル画像に対して、ＤＣＮＮ１３の代わりに対象者が心理学的逆相関法による感性評価をし、その結果を次元圧縮処理部１４Ｂに入力するとしてもよい。
【0123】
（変形例２）
上述した変形例１では、ＳＴＣ分析による次元圧縮を行う場合の例について説明したが、これに限らない。ＤＭＤ（Dynamic Mode Decomposition）を適用して次元圧縮を行ってもよい。以下では、変形例１と異なる点を中心に説明する。
上述した変形例１では、ＳＴＣ分析による次元圧縮を行う場合の例について説明したが、これに限らない。ＤＭＤ（Dynamic Mode Decomposition）を適用して次元圧縮を行ってもよい。以下では、変形例１と異なる点を中心に説明する。
【0124】
［１－１．次元圧縮処理部１４Ｃ］
図１７は、実施の形態２の変形例２に係る次元圧縮処理部１４Ｃの詳細構成の一例を示すブロック図である。なお、図１４と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図１７は、実施の形態２の変形例２に係る次元圧縮処理部１４Ｃの詳細構成の一例を示すブロック図である。なお、図１４と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【0125】
次元圧縮処理部１４Ｃは、ＤＣＮＮ１３による複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従い、心的イメージ可視化装置１Ｂにより出力された複数のサンプル画像に対応する特徴ベクトルを重み付けした特徴ベクトルを算出する。そして、次元圧縮処理部１４Ｂは、重み付けした特徴ベクトルにＤＭＤを適用して次元圧縮を行うことで得た複数の固有ベクトルを出力する。
【0126】
本変形例では、次元圧縮処理部１４Ｃは、図１７に示すように、ＤＭＤ適用部１４１Ｃと、固有値選択部１４３と、固有ベクトル導出部１４４とを備える。
【0127】
ＤＭＤ適用部１４１Ｃは、複数のサンプル画像に対する心理学的逆相関法による感性評価の結果に従って、複数のサンプル画像に対応する特徴ベクトルに重み付けした特徴ベクトルにＤＭＤを適用することで、複数の固有値を得る。
【0128】
なお、ＳＴＣ分析により次元圧縮を行う場合、得られる複数の固有ベクトルは、独立すなわち直交性が仮定される。この直交性が強い制約となる場合がある。そこで、ＤＭＤを適用することで、直交性を仮定しない複数の固有ベクトルを得ることができる。ＤＭＤでは、例えばクープマン作用素といった何らかの線形作用素を用いることで、直交性を考慮に入れずに線形性を持たせることができる。その他については、ＳＴＣ分析による次元圧縮と同様となる。すなわち、ＤＭＤを適用することで、重み付けされた特徴ベクトルから、直交性を考慮に入れずに線形性を持たせたベクトルを算出して複数の固有値を得ることができる。これにより、ＳＴＣ分析による次元圧縮と同様に、ＤＭＤを適用して次元圧縮する場合も複数のサブ心的イメージを得ることができる。
【0129】
［１－２．心的イメージ可視化装置１Ｂ］
本変形例でも、上記変形例１と同様に、入力部１２は、次元圧縮処理部１４Ｃから得た少なくとも２つの固有ベクトルを、ＤＮＮ１０に入力する。
本変形例でも、上記変形例１と同様に、入力部１２は、次元圧縮処理部１４Ｃから得た少なくとも２つの固有ベクトルを、ＤＮＮ１０に入力する。
【0130】
ＤＮＮ１０は、入力部１２により少なくとも２つの固有ベクトルのそれぞれが入力される。すると、ＤＮＮ１０は、入力された少なくとも２つの固有ベクトルから、少なくとも２つのサブ心的イメージを示す画像を生成する。ここで、ＤＮＮ１０がｓｔｙｌｅＧＡＮで構成される場合、入力部１２は、ｓｔｙｌｅＧＡＮの生成器に、少なくとも２つの固有ベクトルのそれぞれを入力する。すると、ｓｔｙｌｅＧＡＮの生成器により、心的イメージを構成する少なくとも２つのサブ心的イメージであって互いに直交性を仮定しないサブ心的イメージを示す画像が生成される。
【0131】
なお、次元圧縮処理部１４Ｃで得た複数の固有値のいずれかをそれぞれ有する固有ベクトルを足し合わせたベクトルを、ＤＮＮ１０に入力しても、ほぼ心的イメージを示す画像が生成される。
【0132】
［２．心的イメージ可視化システム１００Ｂの動作例］
本変形例では、図１５に示す分散共分散行列１４１ａと固有ベクトル分析１４２ａとがＳＴＣ分析の代わりにＤＭＤが適用されて動作する。その他の動作は、変形例１と同じであるので説明を省略する。
本変形例では、図１５に示す分散共分散行列１４１ａと固有ベクトル分析１４２ａとがＳＴＣ分析の代わりにＤＭＤが適用されて動作する。その他の動作は、変形例１と同じであるので説明を省略する。
【0133】
なお、本変形例に係る心的イメージ可視化システム１００Ｂにおいて、ＤＣＮＮ１３は必須ではない。心的イメージ可視化システム１００Ｂが生成したサンプル画像に対して、ＤＣＮＮ１３の代わりに対象者が心理学的逆相関法による感性評価をし、その結果を次元圧縮処理部１４Ｃに入力するとしてもよい。
【0134】
（実施の形態３）
続いて、実施の形態１及び実施の形態２により生成できる心的イメージを用いた応用例として、心的イメージを用いたレコメンドシステム２００について説明する。なお、心的イメージの代わりに、実施の形態２の変形例１、２で説明したサブ心的イメージを用いてもよい。
続いて、実施の形態１及び実施の形態２により生成できる心的イメージを用いた応用例として、心的イメージを用いたレコメンドシステム２００について説明する。なお、心的イメージの代わりに、実施の形態２の変形例１、２で説明したサブ心的イメージを用いてもよい。
【0135】
［１．レコメンドシステム２００］
図１８は、実施の形態３に係るレコメンドシステム２００の構成の一例を示すブロック図である。レコメンドシステム２００の機能は、図４に示すコンピュータ１０００を用いてソフトウェアにより実現される。図１９は、実施の形態３に係る心的イメージ或いはサブ心的イメージの一例を示す図である。なお、図１９に示す心的イメージ画像或いはサブ心的イメージ画像の一例は、本来カラーの画像であるが、便宜上線図にして示している。図２０は、実施の形態３に係る潜在空間の一例と、心的イメージ或いはサブ心的イメージの位置を示す図である。
図１８は、実施の形態３に係るレコメンドシステム２００の構成の一例を示すブロック図である。レコメンドシステム２００の機能は、図４に示すコンピュータ１０００を用いてソフトウェアにより実現される。図１９は、実施の形態３に係る心的イメージ或いはサブ心的イメージの一例を示す図である。なお、図１９に示す心的イメージ画像或いはサブ心的イメージ画像の一例は、本来カラーの画像であるが、便宜上線図にして示している。図２０は、実施の形態３に係る潜在空間の一例と、心的イメージ或いはサブ心的イメージの位置を示す図である。
【0136】
本実施の形態では、レコメンドシステム２００は、記憶部２０と、レコメンド画像生成ＵＩ（User Interface）２１とを備える。以下、それぞれの構成要素の詳細について説明する。
【0137】
［１－１．記憶部２０］
記憶部２０は、ＨＤＤ（Hard Disk Drive）またはメモリ等で構成され、複数のレコメンド候補画像２０１などが記憶される。複数のレコメンド候補画像２０１は、複数の商品画像など、例えば数十から数百規模の既存製品の画像群で構成され、対象者（ユーザ）にレコメンド（お薦め）したい製品候補の画像群である。なお、画像群の規模は一例であり、数百規模を超えた規模であってもよい。
記憶部２０は、ＨＤＤ（Hard Disk Drive）またはメモリ等で構成され、複数のレコメンド候補画像２０１などが記憶される。複数のレコメンド候補画像２０１は、複数の商品画像など、例えば数十から数百規模の既存製品の画像群で構成され、対象者（ユーザ）にレコメンド（お薦め）したい製品候補の画像群である。なお、画像群の規模は一例であり、数百規模を超えた規模であってもよい。
【0138】
本実施の形態では、一例であるが、複数のレコメンド候補画像２０１は、インテリアを構成する既存製品（インテリア製品）の画像群で構成されているとして説明する。
【0139】
［１－２．レコメンド画像生成ＵＩ２１］
レコメンド画像生成ＵＩ２１は、記憶部２０に記憶されている複数のレコメンド候補画像２０１のうち、対象者の持つ心的イメージに近い既存製品が示されるレコメンド候補画像２０１を、対象者に提示する。例えば、レコメンド画像生成ＵＩ２１は、記憶部２０に記憶されているそれぞれインテリア製品を示す複数のレコメンド候補画像２０１のうち、対象者の持つ心的イメージ（好み）に近いインテリア製品を示すレコメンド候補画像２０１を対象者に提示する。
レコメンド画像生成ＵＩ２１は、記憶部２０に記憶されている複数のレコメンド候補画像２０１のうち、対象者の持つ心的イメージに近い既存製品が示されるレコメンド候補画像２０１を、対象者に提示する。例えば、レコメンド画像生成ＵＩ２１は、記憶部２０に記憶されているそれぞれインテリア製品を示す複数のレコメンド候補画像２０１のうち、対象者の持つ心的イメージ（好み）に近いインテリア製品を示すレコメンド候補画像２０１を対象者に提示する。
【0140】
レコメンド画像生成ＵＩ２１は、図１８に示すように、メモリ２１０と、取得部２１１と、Embedding実行部２１２と、距離算出部２１３と、選択画像部２１４と、表示制御部２１５とを備える。
【0141】
メモリ２１０は、ＤＮＮ２１０１と、心的イメージ画像（サブ心的イメージ画像）２１０２とを格納している。
【0142】
ＤＮＮ２１０１は、図７（図１３）に示す心的イメージ可視化システム１００（１００Ｂ）から取得されたＤＮＮ１０のコピーであってもよく、実施の形態１及び２で説明した学習済のｓｔｙｌｅＧＡＮであってもよい。ＤＮＮ２１０１は、ＤＮＮ１０における学習済のｓｔｙｌｅＧＡＮの潜在空間を利用できる形でメモリ２１０に格納されればその形態を問わない。本実施の形態では、当該ｓｔｙｌｅＧＡＮは、例えば複数の既存のインテリア画像を含むデータセットを用いて、予め学習されている。
【0143】
心的イメージ画像（サブ心的イメージ画像）２１０２は、例えば、図７（図１３）に示す心的イメージ可視化システム１００（１００Ｂ）により生成されたものであり、予め取得されてメモリ２１０に格納されている。本実施の形態では、予め取得されてメモリ２１０に格納されている心的イメージ画像（サブ心的イメージ画像）２１０２は、例えば図１９に示すインテリア製品の画像Ｔｘである。
【0144】
取得部２１１は、記憶部２０から、複数のレコメンド候補画像２０１を取得し、Embedding実行部２１２に出力する。また、取得部２１１は、メモリ２１０から、心的イメージ画像（サブ心的イメージ画像）２１０２を取得し、Embedding実行部２１２に出力する。
【0145】
なお、取得部２１１は、前もってＤＮＮ１０の潜在空間を取得して、メモリ２１０に格納している。本実施の形態では、取得部２１１は、心的イメージ可視化システム１００Ｂ（１００）から、前もってＤＮＮ１０のコピーを取得することでＤＮＮ１０の潜在空間を取得している。例えば、取得部２１１は、図２０に示されるような点（ベクトル位置）が分布するｓｔｙｌｅＧＡＮの潜在空間を取得する。
【0146】
Embedding実行部２１２は、前もって、取得部２１１より取得された心的イメージ画像（サブ心的イメージ画像）２１０２をＤＮＮ２１０１の潜在空間内にembeddingし、心的イメージ画像（サブ心的イメージ画像）２１０２の位置（ベクトル位置）を得ている。本実施の形態では、Embedding実行部２１２は、例えば図１９に示すインテリア製品の画像Ｔｘを、ＤＮＮ２１０１の潜在空間内にembeddingし、例えば図２０に示されるような当該画像Ｔｘの位置（ベクトル位置）を得る。図１９に示すインテリア製品の画像Ｔｘは上述したように、心的イメージ画像（サブ心的イメージ画像）２１０２の一例である。
【0147】
また、Embedding実行部２１２は、取得部２１１により取得された複数のレコメンド候補画像２０１それぞれを、ＤＮＮ２１０１の潜在空間内にembeddingし、当該潜在空間内における複数のレコメンド候補画像２０１それぞれの位置（ベクトル位置）を得る。
【0148】
距離算出部２１３は、ＤＮＮ２１０１の潜在空間内における心的イメージの位置（ベクトル位置）と、embeddingした複数のレコメンド候補画像２０１それぞれの位置（ベクトル位置）との距離を算出する。
【0149】
図２１は、実施の形態３に係る潜在空間内における心的イメージ或いはサブ心的イメージの位置と１つのレコメンド候補画像２０１ａの位置との距離の一例を示す図である。図２１には、図２０に示す潜在空間内における図１９に示すインテリア製品の画像Ｔｘの位置と、図２０に示す潜在空間内における１つのレコメンド候補画像２０１ａの位置とが示されている。なお、１つのレコメンド候補画像２０１ａは、インテリア製品の一例であるカーテンの画像であるとして示されている。
【0150】
本実施の形態では、距離算出部２１３は、図２１に示す潜在空間内において、例えば図１９に示すインテリア製品の画像Ｔｘの位置と１つのレコメンド候補画像２０１ａの位置との距離ｄを算出する。同様にして、距離算出部２１３は、図２１に示す潜在空間内において、例えば図１９に示すインテリア製品の画像Ｔｘの位置と複数のレコメンド候補画像２０１それぞれの位置との距離を算出する。
【0151】
選択画像部２１４は、取得部２１１により取得された複数のレコメンド候補画像２０１のうち、距離算出部２１３により算出された複数の距離のうち閾値以下の距離に対応する１以上のレコメンド候補画像２０１を選択する。
【0152】
本実施の形態では、選択画像部２１４は、距離算出部２１３により算出された複数の距離を用いて、対象者の心的イメージ画像（サブ心的イメージ画像）２１０２である図１９に示すインテリア製品の画像Ｔｘに近い１以上のインテリア製品を選択する。
【0153】
表示制御部２１５は、選択画像部２１４により選択された１以上のレコメンド候補画像２０１を、心的イメージ画像（サブ心的イメージ画像）２１０２を持つ対象者に提示する。つまり、表示制御部２１５は、表示装置３００を制御して、お薦め商品を示す画像を表示装置３００に表示させることで対象者にお薦め商品を提示する。
【0154】
【0155】
ここで、図２２Ａ～図２２Ｃはそれぞれ、実施の形態３に係るレコメンド画像生成ＵＩ２１により提示されるレコメンド候補画像の一例を示す図である。図２２Ａ～図２２Ｃにはそれぞれ、実施の形態３に係るレコメンド画像生成ＵＩ２１により提示されるレコメンド候補画像２０１とその説明文との一例が示されている。なお、図２２Ａ～図２２Ｃに示されるレコメンド候補画像２０１ａ、２０１ｂ、２０１ｃは、本来、カラーの画像であるが、説明の便宜上線図にして示している。図２２Ａ、図２２Ｂ及び図２２Ｃには、インテリア製品の一例としてのカーテンの画像であるレコメンド候補画像２０１ａ、２０１ｂ及び２０１ｃと共にその説明文とが示されている。
【0156】
［１－３．表示装置３００］
表示装置３００は、画像または文字などを表示するディスプレイを有する。ここで、そのディスプレイは、例えば液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどである。また、表示装置３００は、対象者による入力操作を受け付けるＵＩとしての機能を有し、例えばキーボード、マウス、タッチセンサ、タッチパッドなどを備える。
表示装置３００は、画像または文字などを表示するディスプレイを有する。ここで、そのディスプレイは、例えば液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどである。また、表示装置３００は、対象者による入力操作を受け付けるＵＩとしての機能を有し、例えばキーボード、マウス、タッチセンサ、タッチパッドなどを備える。
【0157】
［２．心的イメージ画像（サブ心的イメージ画像）２１０２の取得方法の一例］
本実施の形態に係るレコメンドシステム２００は、例えば、図７（図１３）に示す心的イメージ可視化システム１００（１００Ｂ）から、心的イメージ画像（サブ心的イメージ画像）２１０２を予め取得してメモリ２１０に格納するとして説明した。
本実施の形態に係るレコメンドシステム２００は、例えば、図７（図１３）に示す心的イメージ可視化システム１００（１００Ｂ）から、心的イメージ画像（サブ心的イメージ画像）２１０２を予め取得してメモリ２１０に格納するとして説明した。
【0158】
【0159】
レコメンドシステム２００は、図７（図１３）に示す心的イメージ可視化システム１００（１００Ｂ）と連携することで、心的イメージ画像（サブ心的イメージ画像）２１０２を、能動的に取得してもよい。つまり、レコメンドシステム２００は、表示装置３００を介した対象者とのやりとりを通じて、図７（図１３）に示す心的イメージ可視化システム１００（１００Ｂ）に、心的イメージ画像（サブ心的イメージ画像）２１０２を生成させてもよい。
【0160】
以下、この場合の心的イメージ画像（サブ心的イメージ画像）２１０２の取得方法の一例について説明する。
【0161】
図２３Ａは、実施の形態３に係るレコメンドシステム２００の心的イメージ或いはサブ心的イメージの取得方法の一例を示す図である。図２３Ｂは、実施の形態３に係る対象者が評価するサンプル画像の提示と評価方法の一例を示す図である。図１８等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【0162】
図２３Ａに示すように、レコメンドシステム２００は、まず、心的イメージ可視化システム１００（１００Ｂ）が生成したインテリア製品に関する複数のサンプル画像を取得する。例えばレコメンドシステム２００は、１０枚程度のサンプル画像を取得する。
【0163】
次に、レコメンドシステム２００は、取得した複数のサンプル画像のそれぞれを順に、表示装置３００に表示させ、表示させたサンプル画像に示されるインテリア製品がどの程度好みであるか対象者に入力させる心理学的逆相関法による感性評価を依頼する。図２３Ｂには、表示装置３００に、評価用サンプル画像の一例として、椅子、机、カーテンなどがそろったインテリアの画像Ｓｘが示され、好みの程度を対象者に入力してもらうためのスコア入力ボタンが示されている。
【0164】
次に、レコメンドシステム２００は、対象者により入力された画像Ｓｘを含む複数のサンプル画像に対するスコアを取得すると、それらスコアを、心理学的逆相関法による感性評価の評価結果として心的イメージ可視化システム１００（１００Ｂ）に入力する。
【0165】
すると、心的イメージ可視化システム１００（１００Ｂ）では、心理学的逆相関法による感性評価の評価結果であるスコアと、心的イメージ可視化装置１Ａにより出力された複数のサンプル画像に対応する特徴ベクトルとから、心的イメージ（サブ心的イメージ）を生成する。生成方法の詳細は、実施の形態１及び２で説明したのでここでの説明は省略する。
【0166】
次に、レコメンドシステム２００は、心的イメージ可視化システム１００（１００Ｂ）により生成された心的イメージ画像（サブ心的イメージ画像）を取得し、心的イメージ画像（サブ心的イメージ画像）２１０２としてメモリ２１０に格納する。
【0167】
これにより、レコメンドシステム２００は、１０枚程度のサンプル画像を用いて、心的イメージ可視化システム１００（１００Ｂ）から、不特定の対象者それぞれが持つ心的イメージ（サブ心的イメージ）の画像を取得することができる。
【0168】
［３．効果等］
以上のように、本実施の形態によれば、レコメンドシステム２００は、対象者が持つ心的イメージ（サブ心的イメージ）の画像を用いることで、心的イメージ（サブ心的イメージ）に近い既存製品をレコメンドすることができる。つまり、対象者が持つ心的イメージ（サブ心的イメージ）の画像を用いることで、従来のレコメンドエンジンで必要であった購買履歴などの対象者の行動履歴情報がない状態でも、対象者の好みにあった既存製品を選択して、レコメンドすることができる。
以上のように、本実施の形態によれば、レコメンドシステム２００は、対象者が持つ心的イメージ（サブ心的イメージ）の画像を用いることで、心的イメージ（サブ心的イメージ）に近い既存製品をレコメンドすることができる。つまり、対象者が持つ心的イメージ（サブ心的イメージ）の画像を用いることで、従来のレコメンドエンジンで必要であった購買履歴などの対象者の行動履歴情報がない状態でも、対象者の好みにあった既存製品を選択して、レコメンドすることができる。
【0169】
また、レコメンドシステム２００は、心的イメージ可視化システム１００（１００Ｂ）と連携することで、不特定の対象者それぞれが持つ心的イメージ（サブ心的イメージ）の画像を取得することができる。そして、不特定の対象者それぞれが持つ心的イメージ（サブ心的イメージ）画像を用いることで、従来のレコメンドエンジンで必要であった購買履歴などの対象者の行動履歴情報がない状態でも、対象者の好みにあった既存製品を選択して、レコメンドすることができる。これにより、ＥＣサイトに訪れる不特定の対象者に対しても、購買履歴などの対象者の行動履歴情報がない状態でも、対象者の好みにあった既存製品を選択して、レコメンドすることができる。
【0170】
なお、レコメンドシステム２００は、心的イメージ可視化システム１００（１００Ｂ）と異なるシステムとして説明したが、これに限らない。レコメンドシステム２００は、心的イメージ可視化システム１００（１００Ｂ）を内部に備えていてもよい。
【0171】
（他の実施態様の可能性）
以上、本開示の一態様に係る心的イメージ可視化方法、レコメンド方法等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。例えば、以下のような場合も本開示に含まれる。
以上、本開示の一態様に係る心的イメージ可視化方法、レコメンド方法等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。例えば、以下のような場合も本開示に含まれる。
【0172】
（１）上記の心的イメージ可視化装置、心的イメージ可視化システムまたはレコメンドシステムを構成する構成要素の一部または全部は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムでもよい。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0173】
（２）上記の心的イメージ可視化装置、心的イメージ可視化システムまたはレコメンドシステムを構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【0174】
（３）上記の心的イメージ可視化装置、心的イメージ可視化システムまたはレコメンドシステムを構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0175】
（４）上記の心的イメージ可視化装置、心的イメージ可視化システムまたはレコメンドシステムを構成する構成要素の一部または全部は、サーバ及びcloudストレージを含むネットワーク構造として分散して構成されるとしてもよい。データ入力装置と演算装置とは遠隔地に別個に存在することが可能であり、またそれぞれ複数の入力装置、演算装置が分散して存在するとしてもよい。
【産業上の利用可能性】
【0176】
本開示は、心的イメージ可視化方法、心的イメージ可視化装置及びプログラムに利用でき、特に、個人ごとまたは集団などの対象者の心的イメージを可視化するための心的イメージ可視化方法、心的イメージ可視化装置及びプログラムに利用できる。
【符号の説明】
【0177】
１、１Ａ、１Ｂ 心的イメージ可視化装置
１０、２１０１ ＤＮＮ
１１ 取得部
１２ 入力部
１３ ＤＣＮＮ
１４ 加算平均部
１４Ｂ、１４Ｃ 次元圧縮処理部
２０ 記憶部
２１ レコメンド画像生成ＵＩ
１００、１００Ｂ 心的イメージ可視化システム
１４１ 分散共分散行列算出部
１４１ａ 分散共分散行列
１４１Ｃ ＤＭＤ適用部
１４２ 特異値分解実行部
１４２ａ 固有ベクトル分析
１４３ 固有値選択部
１４４ 固有ベクトル導出部
２００ レコメンドシステム
２０１ レコメンド候補画像
２１０ メモリ
２１１ 取得部
２１２ Embedding実行部
２１３ 距離算出部
２１４ 選択画像部
２１５ 表示制御部
３００ 表示装置
２１０２ 心的イメージ画像（サブ心的イメージ画像）
１０、２１０１ ＤＮＮ
１１ 取得部
１２ 入力部
１３ ＤＣＮＮ
１４ 加算平均部
１４Ｂ、１４Ｃ 次元圧縮処理部
２０ 記憶部
２１ レコメンド画像生成ＵＩ
１００、１００Ｂ 心的イメージ可視化システム
１４１ 分散共分散行列算出部
１４１ａ 分散共分散行列
１４１Ｃ ＤＭＤ適用部
１４２ 特異値分解実行部
１４２ａ 固有ベクトル分析
１４３ 固有値選択部
１４４ 固有ベクトル導出部
２００ レコメンドシステム
２０１ レコメンド候補画像
２１０ メモリ
２１１ 取得部
２１２ Embedding実行部
２１３ 距離算出部
２１４ 選択画像部
２１５ 表示制御部
３００ 表示装置
２１０２ 心的イメージ画像（サブ心的イメージ画像）
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22A】
【図22B】
【図22C】
【図23A】
【図23B】