特許 6656570 クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6656570

(24)【登録日】2020年2月7日

(45)【発行日】2020年3月4日

(54)【発明の名称】クロスモーダル感覚分析システム、提示情報決定システム、情報提示システム、クロスモーダル感覚分析プログラム、提示情報決定プログラムおよび情報提示プログラム

(51)【国際特許分類】

   G06F 16/906 20190101AFI20200220BHJP

   G06F 16/908 20190101ALI20200220BHJP

   G06F 16/90 20190101ALI20200220BHJP

   G06Q 50/10 20120101ALI20200220BHJP

【ＦＩ】

   G06F16/906

   G06F16/908

   G06F16/90

   G06Q50/10

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2015-139322(P2015-139322)

(22)【出願日】2015年7月13日

(65)【公開番号】特開2017-21613(P2017-21613A)

(43)【公開日】2017年1月26日

【審査請求日】2018年7月13日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、独立行政法人科学技術振興機構、研究シーズ探索プログラム、および、平成２４年度採択、独立行政法人科学技術振興機構、復興促進プログラム（Ａ−Ｓｔｅｐ）探索タイプ、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(74)【代理人】

【識別番号】100174780

【弁理士】

【氏名又は名称】小野 敦史

(72)【発明者】

【氏名】蔡 東生

(72)【発明者】

【氏名】浅井 信▲吉▼

【審査官】 松尾 真人

(56)【参考文献】

【文献】 特開２０１１−２２１６０６（ＪＰ，Ａ）

【文献】 特開平０９−０１６７９７（ＪＰ，Ａ）

【文献】 特開２０１３−２０６０３０（ＪＰ，Ａ）

【文献】 特開２００５−２３５０６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

第１種別の感覚に関する第１感覚値と、当該第１感覚値との間で共感覚を生じる第２種別の感覚に関する複数の第２感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部と、
前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得部と、
複数の前記行動情報の各々から前記第２感覚値を取得し、複数の当該第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析部と、
前記感覚値分布情報と前記利用者感覚値分布情報とを比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定部と、を備えたクロスモーダル感覚分析システム。

【請求項2】

請求項１記載のクロスモーダル感覚分析システムと、
複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報に対して、当該提示候補情報の各々から取得された前記第２感覚値の分布状態を、当該カテゴリの提示情報カテゴリ感覚値分布情報として、関連付けた提示情報カテゴリデータを記憶する提示情報記憶部と、
前記利用者クロスモーダルデータの前記感覚値分布情報と前記提示情報カテゴリ感覚値分布情報とを比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部と、を備えた提示情報決定システム。

【請求項3】

前記第２種別の感覚は色に関する感覚であり、
前記提示候補情報は画像データを含み、
請求項２記載の提示情報決定システムと、
前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理部と、
表示装置と、
画像処理が施された前記画像データを含む前記提示候補情報を前記表示装置に表示させる表示制御部と、を備えた情報提示システム。

【請求項4】

第１種別の感覚に関する第１感覚値と、当該第１感覚値との間で共感覚を生じる第２種別の感覚に関する複数の第２感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部から情報を取得するクロスモーダルデータ取得機能と、
前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得機能と、
複数の前記行動情報の各々から前記第２感覚値を取得し、複数の当該第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析機能と、
前記感覚値分布情報と、前記利用者感覚値分布情報と、を比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定機能と、をコンピュータに実現させるクロスモーダル感覚分析プログラム。

【請求項5】

複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報に対して、当該提示候補情報の各々から取得された前記第２感覚値の分布状態を、当該カテゴリの提示情報カテゴリ感覚値分布情報として、関連付けた提示情報カテゴリデータを記憶する提示情報記憶部から情報を取得する提示情報取得機能と、
請求項４記載のクロスモーダル感覚分析プログラムによって特定された前記利用者クロスモーダルデータの前記感覚値分布情報と、前記提示情報カテゴリ感覚値分布情報と、を比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部機能と、をコンピュータに実現させる提示情報決定プログラム。

【請求項6】

請求項５記載の提示情報決定プログラムによって決定された前記提示情報カテゴリデータに基づいて利用者に情報を提示する情報提示プログラムであって、
前記第２種別の感覚は色に関する感覚であり、
前記提示候補情報は画像データを含み、
前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理機能と、
画像処理が施された前記画像データを含む前記提示候補情報を表示装置に表示させる表示制御機能と、をコンピュータに実現させる情報提示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者の感覚をクロスモーダルに分析する技術および利用者の感覚に応じた情報を特定し、提示する技術に関する。

【背景技術】

【0002】

従来、インターネットを介したニュース等の情報の閲覧やショッピングの場面において、情報の提供者が利用者の興味を推定して、情報を提示することが行われている。例えば、協調性フィルタリング技術では、閲覧履歴が利用者の嗜好を反映していると考え、利用者の閲覧履歴と類似する閲覧履歴を有する他の利用者の嗜好に基づいて、提示する情報を決定している。

【0003】

また、利用者に提示する情報を選択する際に、利用者の感性等を用いる提案も行われている。例えば、特許文献１の技術では、利用者に対して質問を行い、それに対する回答に基づいて利用者の感性グループを判定し、その感性グループに応じた情報を提供している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−２８５０７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の協調性フィルタリングでは、提供する情報やその情報に付随する文字情報に基づいて提供する情報の選択を行なっているため、文字情報に現れていない嗜好には対応できない。

【0006】

一方、特許文献１の技術では、利用者の感性に基づいて提供する情報の選択を行なっているため、上述の問題を解決できる可能性がある。しかしながら、利用者は質問に対して文字情報で回答を行う必要があるため、回答内容によっては十分に利用者の感性を把握できないおそれがある。

【0007】

本発明は上記課題に鑑みてなされたものであり、その目的は、利用者の感覚を定量的に分析し、利用者の感覚に応じた情報を特定するとともに提示する技術を提供することにある。

【課題を解決するための手段】

【0008】

本発明のクロスモーダル感覚分析システムの好適な実施形態の一つでは、第１種別の感覚に関する第１感覚値と、当該第１感覚値との間で共感覚を生じる第２種別の感覚に関する複数の第２感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部と、前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得部と、複数の前記行動情報の各々から前記第２感覚値を取得し、複数の当該第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析部と、前記感覚値分布情報と前記利用者感覚値分布情報とを比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定部と、を備えている。

【0009】

この構成では、利用者の行動に基づいて、利用者の第２種別の感覚に関する感覚値（第２感覚値）の分布状態が利用者感覚値分布情報として求められ、この利用者感覚値分布情報とクロスモーダルデータの感覚値分布情報とを比較することにより、利用者の行動情報に適合したクロスモーダルデータ、すなわち、感覚を特定（分析）することができる。

【0010】

本発明の提示情報決定システムの好適な実施形態の一つでは、上述のクロスモーダル感覚分析システムと、複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報に対して、当該提示候補情報の各々から取得された前記第２感覚値の分布状態を、当該カテゴリの提示情報カテゴリ感覚値分布情報として、関連付けた提示情報カテゴリデータを記憶する提示情報記憶部と、前記利用者クロスモーダルデータの前記感覚値分布情報と前記提示情報カテゴリ感覚値分布情報とを比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部と、を備えている。

【0011】

この構成では、利用者への提示に利用される情報も複数のカテゴリに分類され、一のカテゴリに分類されている複数の提示候補情報から取得される第２感覚値の分布状態を示す提示情報カテゴリ感覚値分布情報が求められている。利用者に提示すべき情報を決定する際には、この提示情報カテゴリ感覚値分布情報と、利用者感覚値分布情報との比較が行われる。

【0012】

本発明では、複数の第２感覚値から分布状態を求めている。そのため、第２感覚値は数値化可能である必要がある。そのような感覚値としては「色」がある。すなわち、第２種別の感覚は色に関する感覚である。このような場合には、提示候補情報には画像データを含めることが好ましい。また、このような場合の本発明の情報提示システムの好適な実施形態の一つでは、上述の提示情報決定システムと、前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理部と、表示装置と、画像処理が施された前記画像データを含む前記提示候補情報を前記表示装置に表示させる表示制御部と、を備えている。

【0013】

この構成では、利用者に提示される画像データに対して、利用者クロスモーダルデータに応じた画像処理が施されるため、利用者の嗜好に近付けた情報を提示することができる。

【0014】

本発明のクロスモーダル感覚分析プログラムの好適な実施形態の一つでは、第１種別の感覚に関する第１感覚値と、当該第１感覚値との間で共感覚を生じる第２種別の感覚に関する複数の第２感覚値の分布状態を示す感覚値分布情報と、を関連付けたクロスモーダルデータを記憶するクロスモーダルデータ記憶部から情報を取得するクロスモーダルデータ取得機能と、前記第２感覚値を示す情報を含む、利用者の行動情報を取得する行動情報取得機能と、複数の前記行動情報の各々から前記第２感覚値を取得し、複数の当該第２感覚値の分布状態を示す利用者感覚値分布情報を求める行動解析機能と、前記感覚値分布情報と、前記利用者感覚値分布情報と、を比較することにより、前記行動情報に適合する前記クロスモーダルデータを利用者クロスモーダルデータとして特定するクロスモーダルデータ特定機能と、をコンピュータに実現させる。このクロスモーダル感覚分析プログラムは上述のクロスモーダル感覚分析システムと同様の作用効果を奏する。

【0015】

本発明の提示情報決定プログラムの好適な実施形態の一つでは、複数の提示候補情報を複数のカテゴリの少なくともいずれかに分類して記憶するとともに、当該カテゴリ毎に、各々のカテゴリに分類された当該提示候補情報に対して、当該提示候補情報の各々から取得された前記第２感覚値の分布状態を、当該カテゴリの提示情報カテゴリ感覚値分布情報として、関連付けた提示情報カテゴリデータを記憶する提示情報記憶部から情報を取得する提示情報取得機能と、上述のクロスモーダル感覚分析プログラムによって特定された前記利用者クロスモーダルデータの前記感覚値分布情報と、前記提示情報カテゴリ感覚値分布情報と、を比較することにより、前記利用者への提示情報として利用する前記提示情報カテゴリデータを決定する提示情報決定部機能と、をコンピュータに実現させる。この提示情報決定プログラムも上述の提示情報決定システムと同様の作用効果を奏する。

【0016】

本発明の、上述の提示情報決定プログラムによって決定された前記提示情報カテゴリデータに基づいて利用者に情報を提示する情報提示プログラムの好適な実施形態の一つでは、前記第２種別の感覚は色に関する感覚であり、前記提示候補情報は画像データを含み、前記画像データに対して前記利用者クロスモーダルデータに応じた画像処理を施す画像処理機能と、画像処理が施された前記画像データを含む前記提示候補情報を表示装置に表示させる表示制御機能と、をコンピュータに実現させる。この情報提示プログラムも上述の情報提示システムと同様の作用効果を奏する。

【図面の簡単な説明】

【0017】

【図1】情報提示システムのシステム構成図である。

【図2】情報提示システムの機能ブロック図である。

【図3】クロスモーダルデータの例を示す図である。

【図4】提示情報カテゴリデータの例を示す図である。

【図5】マンセルチップの例を示す図である。

【図6】色分布の例を示す図である。

【図7】情報提示処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0018】

以下に図面を用いて、本発明に係る情報提示システムの実施形態を説明する。図１は、本実施形態における情報提示システムのシステム構成図である。本実施形態では、サーバＳとユーザ端末ＴとがネットワークＮを介して接続されている。なお、図では３台のユーザ端末Ｔが示されているが、ユーザ端末Ｔの台数は適宜変更可能である。

【0019】

サーバＳは、汎用コンピュータにより構成することができ、本発明のクロスモーダル感覚分析システムおよび提示情報決定システムとして機能する。一方、ユーザ端末Ｔは利用者が操作するものであり、ユーザ端末Ｔ１のように汎用コンピュータで構成することもできるし、ユーザ端末Ｔ２のように、いわゆるスマートフォンやタブレット型コンピュータにより構成することができる。当然ながら、ユーザ端末Ｔはこれらに限定されるものではなく、他の機器によって構成することもできる。また、ネットワークＮは、例えば、インターネット回線，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），携帯電話網により構成することができる。

【0020】

図２は、本実施形態における情報提示システムの機能ブロック図である。図に示すように、サーバＳは、クロスモーダルデータ記憶部１１，行動情報取得部１２，行動解析部１３，クロスモーダルデータ特定部１４，提示情報記憶部１５，提示情報決定部１６，画像処理部１７，利用者感覚値分布情報記憶部１８を備えている。本実施形態では、上述したように、サーバＳは汎用コンピュータで構成されているため、行動情報取得部１２，行動解析部１３，クロスモーダルデータ特定部１４，提示情報決定部１６，画像処理部１７は、これらの機能部を実現するためのプログラムがサーバＳに読み込まれ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｇ Ｕｎｉｔ）と協働することによって構成される。

【0021】

クロスモーダルデータ記憶部１１は、ハードディスクドライブ等の不揮発性記憶媒体で構成されており、複数のクロスモーダルデータを記憶している。図３はクロスモーダルデータ記憶部１１に記憶されている複数のクロスモーダルデータの例である。

【0022】

本発明におけるクロスモーダルデータは、各々のカテゴリに対して複数の種別の感覚に関する感覚値が関連付けられたデータである。図３の例では、各々のファッションスタイルカテゴリに対して、感覚種別：音楽情報に関する感覚，質感，感情，色のそれぞれに対する感覚値が関連付けられている。本実施形態では、音楽情報に関する感覚として調性を用いているが、これに限定されるものではない。例えば、ファッションスタイルカテゴリＩに対しては、「ハ長調」，「ざらっとした白(コンクリートの打ちっ放しみたいな)」，「おおらか，純粋」，「色分布１」が割り当てられており、これらの感覚値の集合がクロスモーダルデータである。すなわち、図３の例は、７つのクロスモーダルデータを表している。

【0023】

なお、感覚値とは、ある刺激によって生じる具体的な感覚の内容を示すものである。本実施形態では、「調性，質感，感情」が本発明における第１種別の感覚であり、「色」が本発明における第２種別の感覚である。詳細は後述するが、「色」に関する感覚値は単一の値ではなく、複数の値の分布情報として表現されており、感覚値分布情報と称する。そのため、本発明の第２種別の感覚に関する感覚値は数値的に表現可能である必要がある。

【0024】

行動情報取得部１２は、利用者がユーザ端末Ｔを操作した内容を示す行動情報を取得する。

【0025】

行動解析部１３は、行動情報取得部１２が取得した行動情報の内容を解析する。具体的には、各々の行動情報から色の情報を抽出し、色の分布を利用者感覚値分布情報として求める。

【0026】

クロスモーダルデータ特定部１４は、各クロスモーダルデータの感覚値分布情報と利用者感覚値分布情報とを比較し、利用者に適合するクロスモーダルデータを特定する。詳細な特定方法は後述する。

【0027】

提示情報記憶部１５は、ハードディスクドライブ等の不揮発性記憶媒体で構成されており、利用者に提示するための複数の情報（提示候補情報）を記憶している。複数の提示候補情報は、複数のカテゴリに分類されており、また、各々のカテゴリに分類された提示候補情報の各々から取得された色の分布情報（以下、提示情報カテゴリ感覚値分布情報と称する）が求められている。このカテゴリ毎の提示候補情報の集合と提示情報カテゴリ感覚値分布情報との対を提示情報カテゴリデータと称する。図４は提示情報カテゴリデータの例であり、この例では４組の提示情報カテゴリデータが表されている。図中の矩形が各々の提示候補情報を示しており、各々の提示情報カテゴリデータが、提示候補情報の集合と提示情報カテゴリ感覚値分布情報とによって構成されていることが示されている。

【0028】

提示情報決定部１６は、クロスモーダルデータ特定部１４によって特定された利用者クロスモーダルデータの感覚値分布情報と、各々の提示情報カテゴリデータの提示情報カテゴリ感覚値分布情報とを比較し、利用者クロスモーダルデータに適合する提示情報カテゴリデータを特定する。

【0029】

本実施形態では、提示候補情報には画像データが含まれており、画像処理部１７は、提示情報カテゴリデータの提示候補情報に含まれる画像データに対して、画像処理を施す。

【0030】

利用者感覚値分布情報記憶部１８は、利用者の行動から取得される第２種別の感覚、すなわち、「色」に関する感覚値の分布状態を示す、利用者感覚値分布情報を利用者毎に記憶している。利用者感覚値分布情報記憶部１８は、ハードディスクドライブ等の不揮発性記憶媒体で構成することができる。

【0031】

一方、ユーザ端末Ｔは、表示装置２１，入力装置２２，ＧＵＩ部２３，操作情報取得部２４を備えている。本実施形態では、上述したように、ユーザ端末Ｔは、汎用コンピュータ，スマートフォンやタブレット型コンピュータで構成されているため、操作情報取得部２４は、この機能を実現するためのプログラムがユーザ端末Ｔに読み込まれ、ＣＰＵと協働することによって構成される。

【0032】

表示装置２１は、ディスプレイ装置である。特に、ユーザ端末Ｔがスマートフォンやタブレット型コンピュータの場合には、液晶ディスプレイである。一方、入力装置は、キーボードやマウスであり、特にユーザ端末Ｔがスマートフォンやタブレット型コンピュータの場合には、表示装置２１上に形成されたタッチパネルである。

【0033】

ＧＵＩ部２３は、利用者に提示するための情報や、利用者からの情報を取得するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示装置２１上に表示し、入力装置２１からの入力信号を取得する。

【0034】

〔クロスモーダルデータ〕
上述したように、本実施形態では、クロスモーダルデータは、「調性，色，質感，感情」に関する値（感覚値）の組として表現されており、「色」に関する感覚値は複数の色の分布状態として表現されている。以下に、クロスモーダルデータの作成方法の例を説明する。

【0035】

クロスモーダルデータは、共感覚者の意識データに基づいて生成されている。共感覚者とは、ある種別の感覚に対する刺激を受けた際に、異なる種別の感覚を感得できる人である。例えば、音を聴いた際に色を感じたり、文字を見た際に色を感じたり、という例が知られている。このような共感覚者に対して、「色」を提示して、どのような「調性」，「質感」，「感情」を感じるか、もしくは、「調性」，「質感」，「感情」を提示して、どのような「色」を感じるかを調査する。このとき、一の「調性」，「質感」，「感情」と関連する「色」は一意となるのではなく、複数得られる。そのため、本発明においては、「色」に関する感覚値は、分布状態を表す分布情報として表現している。本実施形態では、この「色」の分布情報が本発明における感覚値分布情報となる。

【0036】

本実施形態では、図５に示すマンセルチップとよばれる色見本を用いて、色空間を２次元に離散的に表現している。図に示すように、マンセルチップＭには互いに異なる色を有する複数の色チップｃが形成されている。共感覚者に対して、このマンセルチップＭ上の各色チップｃを提示した際に感じた「色」以外の種別の感覚に関する感覚値を取得、または、「色」以外の種別の感覚に関する感覚値を与えた際に感じた色に最も近似する色チップｃを取得する。このようにして、多数のデータを収集すると、各々のクロスモーダルデータの「調性」，「質感」，「感情」に関する感覚値に対して、複数の色が関連付けられる。

【0037】

次に、クロスモーダルデータ毎に、関連付けられている「色」の分布情報（感覚値分布情報）を求める。本実施形態では、感覚値分布情報は、マンセルチップＭの色チップｃの配列と同じ形状をもつ２次元配列で表現している。すなわち、マンセルチップの配列がｎ×ｍであれば、感覚値分布情報はｎ×ｍの２次元ヒストグラムとして表現される。以下の説明では、感覚値分布情報である２次元ヒストグラムをＨ［］［］と表記する。

【0038】

具体的には、クロスモーダルデータ毎に、そのクロスモーダルデータに含まれている（関連付けられている）各々の色と近似する色チップの座標を求め、その座標に対応するヒストグラムの度数をインクリメントする。例えば、色ｃがマンセルチップの（ｘ，ｙ）の位置に配置されている色チップに近似する場合、Ｈ［ｘ］［ｙ］＝Ｈ［ｘ］［ｙ］＋１とする。

【0039】

このような処理を行うと、図６に示すような２次元ヒストグラム（感覚値分布情報）が得られる。なお、後述の処理では正規化された感覚値分布情報を使用する。

【0040】

〔提示候補情報〕
提示候補情報は、後述する処理によって利用者に対して提示される可能性のある情報である。本実施形態では、衣服，小物，アクセサリー等の情報、特に、コーディネート情報（以下、衣服情報と総称する）を用いる。衣服情報には、少なくとも衣服（単品またはコーディネートされた複数の衣服）の画像データ含まれている。

【0041】

この衣服情報は、ファッションコーディネータ等によって、複数のカテゴリに分類されている。なお、本実施形態では、このカテゴリはクロスモーダルデータのファッションスタイルカテゴリに対応させているが、他のカテゴリを用いても構わない。

【0042】

このようにして、分類された提示候補情報から、各々のカテゴリの提示情報カテゴリ感覚値分布情報を求める。この提示情報カテゴリ感覚値分布情報も上述の感覚値分布情報と同様の大きさの２次元ヒストグラムとして表現される。具体的には、カテゴリ毎に、そのカテゴリに属する各々の提示候補情報から画像データを抽出し、その画像データの代表色に近似するマンセルチップ上の色チップを検索し、その色チップの座標に対応するヒストグラムの階級の度数をインクリメントする。なお、画像データの代表色は、画像処理によって画像データ中から衣服部分のピクセル値を取得して算出してもよいし、画像データ中または画像データに付随するテキストに含められた色情報を用いることができる。また、代表色としては、平均値や最頻値等を用いることができる。さらに、複数の代表色を用いても構わない。その場合には、各々の代表色に対する重みを求め、その重みに応じてヒストグラムに加算することが好ましい。衣服が複数色から構成されている場合や、衣服情報がコーディネート情報の場合には、このような複数の代表色を用いることが好ましい。このようにして求められた２次元ヒストグラムが提示情報カテゴリ感覚値分布情報となる。

【0043】

〔感覚分析処理の流れ〕
次に、図７のフローチャートを用いて、本実施形態における感覚分析処理の流れを説明する。なお、これらの処理に先立って、上述した処理により複数のクロスモーダルデータが生成され、クロスモーダルデータ記憶部１１に記憶されている。

【0044】

この処理は、利用者が情報提示システムにログインすることにより開始される（＃０１）。利用者が、ユーザ端末Ｔを操作し、情報提示システム用のプログラムを起動すると、表示装置２１にユーザＩＤとパスワードを入力するためのＧＵＩが表示され、利用者は自身のユーザＩＤとパスワードを入力する。これらの情報はサーバＳに送信され、サーバＳにおいて登録されているユーザＩＤおよびパスワードと照合され、その認証結果はユーザ端末Ｔに送信される。ユーザ端末Ｔは認証が成功すると、以下の処理を実行する。なお、情報提示システムへのログインは、上述のような明示的に行うだけでなく、情報提示システム用のプログラムが起動された際に、自動的にユーザＩＤ等をサーバＳに送信することで行うこともできる。この場合には、ユーザＩＤとしてユーザ端末ＴへのログインＩＤを用いることもでき、特に、ユーザ端末Ｔがスマートフォンの場合には、端末識別番号や電話番号等の端末を一意に特定可能な情報を用いることができる。

【0045】

利用者がユーザ端末Ｔを操作すると、その操作の内容を示す操作情報が操作情報取得部２４によって取得される（＃０２）。操作情報を取得する対象となる操作の種類やその内容は特に限定はされないが、本実施形態では、ウェブブラウザを用いたウェブページの閲覧に関する操作情報を取得する。特に、本実施形態では、第２種別の感覚として「色」を使用し、提示情報として衣服の情報を想定しているため、ここでのウェブページはファッション系情報が提供されているページが好ましく、以下の説明ではウェブページは衣服の画像が掲載されたページとする。このとき、操作情報としては、例えば｛ユーザＩＤ，閲覧開示日時，閲覧時間，ウェブページのＵＲＬ｝を用いる。ここで、ユーザＩＤはログイン時に用いたものを用いる。取得された操作情報は、操作情報取得部２４からネットワークＮを介して行動情報取得部１２に送信される。なお、操作情報を取得した時点で操作情報をサーバＳに送信してもよいし、複数の操作情報を一時的に記憶しておき、所定のタイミングでまとめてサーバＳに送信しても構わない。

【0046】

操作情報を取得した行動情報取得部１２は、操作情報を解析し、ユーザＩＤおよび「色」に関する特徴量（以下、色特徴量と称する）を取得する（＃０３）。具体的には、行動情報取得部１２は、操作情報に含まれているＵＲＬを用いてウェブページにアクセスし、そのページに含まれている衣服の画像データを取得する。そして、その衣服の画像データから色特徴量を抽出する。色特徴量としては、画像データに含まれている衣服部分を構成する画素色から取得することができる。当然ながら、色特徴量の取得方法はこれに限定されるものではなく、ページや画像データ中に衣服の色特徴量を埋め込んでおき、ページや画像データから直接的に取得する等、他の方法を用いることができる。

【0047】

本実施形態では、色特徴量として、上述したように、画像データに含まれている衣服部分の色、より具体的には、衣服部分を構成する複数の画素の代表色を色特徴量として使用する。代表色としては、最頻色や平均色を用いることができる。また、上述の提示情報カテゴリ感覚値分布情報と同様に複数の代表色を使用しても構わない。なお、以下の説明では色特徴量はＲＧＢ表色系で表現されているものとする。

【0048】

行動情報取得部１２によって色特徴量が取得されると、行動解析部１３がその色特徴量を用いて取得されたユーザＩＤに対応する利用者の利用者感覚値分布情報を更新する（＃０４）。具体的には、行動解析部１３は以下の処理を行う。なお、マンセルチップ上の各々の色チップの色（以下、チップ色と略称する）はＨＳＶ表色系で表現されているものとする。

【0049】

先ず、行動解析部１３は、取得したユーザＩＤに対応する利用者の利用者感覚値分布情報を利用者感覚値分布情報記憶部１８から取得するとともに、取得したＲＧＢ表色系の色特徴量をＨＳＶ表色系での色に変換する。なお、ＲＧＢ表色系からＨＳＶ表色系への変換方法は公知の方法を用いることができるため、詳細な説明は省略する。次に、行動解析部１３は、ＨＳＶ表色系に変換された色特徴量と、各々のチップ色との距離を算出する。ＨＳＶ表色系は均等色表色系であるため、この距離としては、例えばユークリッド距離を用いることができる。そして、行動解析部１３は、色特徴量と最も距離が近いチップ色を特定し、そのチップ色を持つ色チップの座標を求める。そして、その座標に対応する利用者感覚値分布情報の階級の度数をインクリメントし、更新した利用者感覚値分布情報を利用者感覚値分布情報記憶部１８に記憶させる。

【0050】

上述の＃０２〜＃０４の処理が所定のタイミングに到達するまで繰り返される（＃０５）。なお、所定のタイミングとは、一定期間が経過した時点，利用者が所定の操作を行なった時点，利用者が所定のウェブページにアクセスした時点等、様々なものを用いることができる。

【0051】

所定のタイミングに到達すると（＃０５のＹｅｓ分岐）、クロスモーダルデータ特定部１４は、利用者感覚値分布情報記憶部１８から、利用者に対応する利用者感覚分布情報を取得するとともに、クロスモーダルデータ記憶部１１に記憶されている複数のクロスモーダルデータから、利用者感覚値分布情報に最も近い感覚値分布情報を持つクロスモーダルデータを利用者クロスモーダルデータとして特定する（＃０６）。本実施形態では、クロスモーダルデータ特定部１４は、各々のクロスモーダルデータの感覚値分布情報と、利用者感覚値分布情報との距離を算出し、最も距離が近いクロスモーダルデータを利用者クロスモーダルデータとする。分布情報どうしの距離は様々な方法で規定することができるが、本実施形態では、Ｅａｒｔｈ Ｍｏｖｅｒ距離を用いる。

【0052】

Ｅａｒｔｈ Ｍｏｖｅｒ距離は、ｍ個の特徴量からなる分布Ｐ＝｛ｐ_ｉ｝とｎ個の特徴量からなる分布Ｑ＝｛ｑ_ｊ｝との間の距離を規定するものである。各々の特徴量ｐ_ｉ，ｑ_ｊには重みｗ_ｐｉ，ｗ_ｑｊが与えられており、特徴量ｐ_ｉとｑ_ｊとの間の距離ｄ_ｉｊが規定されている。また、分布Ｐから分布Ｑに遷移するために、特徴量ｐ_ｉから特徴量ｑ_ｊへの最適な特徴量の輸送コストをｆ_ｉｊとする。このとき、分布Ｐと分布Ｑとの間のＥａｒｔｈ Ｍｏｖｅｒ距離ＥＭＤ（Ｐ，Ｑ）は以下の式で求めることができる。

【数1】

【0053】

このＥａｒｔｈ Ｍｏｖｅｒ距離を用いて感覚値分布情報と利用者感覚値分布情報との間の距離を求める場合には、正規化された感覚値分布情報および正規化された利用者感覚値分布情報がそれぞれ分布Ｐ，Ｑに相当する。また、感覚値分布情報および利用者感覚値分布情報の特徴量は正規化されたヒストグラムの度数（スカラー量）であるため、ｄ_ｉｊ＝｜ｐ_ｉ−ｑ_ｊ｜であり、また、ｗ_ｐｉ＝ｐ_ｉ，ｗ_ｑｊ＝ｑ_ｊである。

【0054】

このように定義されたＥａｒｔｈ Ｍｏｖｅｒ距離を用いて、各々のクロスモーダルデータの感覚値分布情報と利用者感覚値分布情報との距離を算出し、利用者感覚値分布情報との距離が最短となる感覚値分布情報を持つクロスモーダルデータを利用者クロスモーダルデータとして特定する。

【0055】

このようにして利用者クロスモーダルデータを特定することにより、利用者、特に利用者の行動（操作）に適合した感覚値を求めることができる。

【0056】

〔情報提示処理の流れ〕
次に、上述の処理によって求められた利用者クロスモーダルデータに基づいて、利用者に対して情報を提示する処理の流れを説明する。なお、提示情報記憶部１５には、上述の処理によって提示候補情報が記憶されている。また、上述の処理によって、ファッションスタイルカテゴリ「ＶＩ」のクロスモーダルデータが、利用者クロスモーダルデータとして求められたものとする。

【0057】

上述の感覚分析処理によって利用者クロスモーダルデータが特定されると、その情報が提示情報決定部１６に伝えられる。すると、提示情報決定部１６は、利用者クロスモーダルデータに基づいて、利用者に提示するために使用する提示情報カテゴリデータを特定する（＃０７）。具体的には、提示情報カテゴリデータのカテゴリ毎に、利用者クロスモーダルデータの利用者感覚値分布情報と、提示情報カテゴリデータの提示情報カテゴリ感覚値分布情報との距離を求め、最も距離の近い提示情報カテゴリ感覚値分布情報を持つ提示情報カテゴリデータを特定する。この例では、４組（「ｉ」から「ｉｖ」）の提示カテゴリデータから、ファッションスタイルカテゴリ「ＶＩ」のクロスモーダルデータの感覚値分布情報と、最も近い距離となる提示情報カテゴリ感覚値分布情報を持つ提示カテゴリデータ特定する。この距離の算出は、正規化された提示情報カテゴリ感覚値分布情報と正規化された利用者感覚値分布情報とに対してＥａｒｔｈ Ｍｏｖｅｒ距離を用いて算出する。以下では、この処理によって、「ｉｉ」の提示情報カテゴリデータが特定されたとして説明を行う。

【0058】

この提示情報決定部１６の処理によって、提示情報カテゴリデータが特定され、利用者に提示すべき情報の絞り込みを行うことができる。この特定された提示情報カテゴリデータに含まれている提示候補情報が利用者への情報提示に使用される。この例では、「ｉｉ」の提示情報カテゴリデータに含まれている６つの提示候補情報が利用者への情報提示に用いられる。なお、提示情報カテゴリデータには複数の提示候補情報が含まれているため、これらの提示候補情報に対して提示順位を付与しても構わない。例えば、利用者感覚値分布情報の頻度の高い階級に対応するチップ色との色空間での距離に基づいて提示順位を付与することができる。なお、提示情報カテゴリデータに含まれる全ての提示候補情報を提示せずに、所定数の提示候補情報のみを提示情報としても構わない。

【0059】

提示情報決定部１６によって、提示情報が決定されると、画像処理部１７は各々の提示情報に含まれる画像データに対して画像処理を施す（＃０８）。画像処理の方法としては、例えば、利用者感覚値分布情報に応じて、画像データに対してカラーグレーディングを施す。これにより、提示される画像データは、より利用者の色に関する嗜好に近づけることができる。このように画像処理が施された画像データは、画像データに付随する情報とともに、ユーザ端末Ｔに送信される。

【0060】

画像データ等を受信したユーザ端末Ｔでは、ＧＵＩ部２３によって、画像データ等が表示装置２１に表示され、利用者に提示される（＃０９）。

【0061】

このように、本発明によれば、利用者の行動に基づいて、その行動から得られる感覚値と共感覚性を有する他の種別の感覚の感覚値を分析したり、提示すべき情報を特定したりすることができる。

【0062】

〔別実施形態〕
（１）サーバＳの各機能部の配置は、上述の実施形態に限定されるものではなく、適宜変更可能である。例えば、一部または全ての機能部をユーザ端末Ｔに配置することができる。また、複数のサーバＳを設置し、機能部を分散配置することも可能である。

【0063】

（２）上述の実施形態では、第２の種別の感覚を「色」としたが、これに限定されるものではなく、感覚値が数値化可能な感覚であれば第２の種別の感覚として用いることができる。

【0064】

（３）上述の実施形態では、提示情報として衣服情報を用いたが、これに限定されるものではなく、第２の種別の感覚に関する感覚値が取得できるものであれば他の情報を提示情報として用いることができる。この際、使用する提示情報の内容に応じて、上述の実施形態におけるファッションスタイルカテゴリを適宜変更すればよい。

【0065】

（４）上述の実施形態では、利用者の行動情報は操作情報に基づいて取得したが、これに限定されるものではない。例えば、利用者からのアンケート結果に基づいて取得することもできる。もちろん、他の方法を用いても構わない。

【0066】

（５）上述の実施形態では、プログラムがサーバＳやユーザ端末Ｔに読み込まれることにより各機能部が構成されたが、各機能部をハードウェアで構成しても構わない。

【産業上の利用可能性】

【0067】

本発明は、利用者の感覚（クロスモーダルデータ）の解析や、解析された感覚に基づいた情報提示等に利用することができる。感覚に基いた情報提示は、さらに、インターネットショッピング等にも利用することができる。

【符号の説明】

【0068】

１１：クロスモーダルデータ記憶部
１２：行動情報取得部
１３：行動解析部
１４：クロスモーダルデータ特定部
１５：提示情報記憶部
１６：提示情報決定部
１７：画像処理部
２１：表示装置
２３：ＧＵＩ部（表示制御部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】