特開 2024-166832 情報処理方法、商品提示方法、情報処理装置、商品提示装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166832

(43)【公開日】2024-11-29

(54)【発明の名称】情報処理方法、商品提示方法、情報処理装置、商品提示装置およびプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20241122BHJP

【ＦＩ】

G06F3/16 620

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023083208

(22)【出願日】2023-05-19

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】才野 慶二郎

(72)【発明者】

【氏名】田中 克

(72)【発明者】

【氏名】桑垣 雪華

(72)【発明者】

【氏名】畠山 卓也

(72)【発明者】

【氏名】蒔田 祐太

(57)【要約】

【課題】情報端末で伝えることの難しい、視覚以外の人の感覚を伝えることができる情報処理方法を提供する。
【解決手段】情報処理方法は、商品に関する情報のうち味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、前記変換器に前記商品情報を入力して音作りに関するパラメータに基づく音情報を出力する、または取得された音情報に基づく前記音作りに関するパラメータを前記変換器に入力して前記商品情報を出力する。
【選択図】図４

【特許請求の範囲】

【請求項1】

商品に関する情報のうち味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、
前記変換器に前記商品情報を入力して音作りに関するパラメータに基づく音情報を出力する、または取得された音情報に基づく前記音作りに関するパラメータを前記変換器に入力して前記商品情報を出力する、
情報処理方法。

【請求項2】

前記商品情報は、前記商品の視覚情報と、前記商品の成分情報と、を含み、
前記視覚情報と、前記成分情報と、が対応付けされていて、
前記変換器は、前記成分情報と前記感覚情報との対応関係、および前記感覚情報と前記音作りに関するパラメータとの対応関係を規定し、
前記商品情報として前記視覚情報を受け付けて、前記音作りに関するパラメータに基づく音情報を出力する、または、前記音情報に基づく音作りに関するパラメータを受け付けて前記視覚情報を出力する、
請求項１に記載の情報処理方法。

【請求項3】

前記感覚情報は、前記商品を使用した者による評価値を含み、
前記成分情報は、前記商品を分析した成分名と成分量とを含み、
前記変換器は、前記成分名および前記成分量と前記評価値との関係を訓練した第１訓練済モデルを含む、
請求項２に記載の情報処理方法。

【請求項4】

前記音情報を入力して前記商品情報を出力する際に所定の成分名が所定の成分量以下である商品情報を出力する、
請求項３に記載の情報処理方法。

【請求項5】

前記感覚情報は、前記商品を使用した者による評価値を含み、
前記変換器は、前記評価値と前記音作りに関するパラメータとの関係を訓練した第２訓練済モデルを含む、
請求項２に記載の情報処理方法。

【請求項6】

前記評価値と前記音情報との一致度を評価者が評価し、当該評価に基づいて前記第２訓練済モデルを補正する、
請求項５に記載の情報処理方法。

【請求項7】

前記音作りに関するパラメータは、複数のサンプリング音のうち再生するサンプリング音を指定する情報を含む、
請求項１乃至請求項６のいずれかに記載の情報処理方法。

【請求項8】

商品に関する視覚情報、および前記商品に関する味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、前記音作りに関するパラメータを求めて、
前記視覚情報と、前記音作りに関するパラメータに基づく音情報と、を対応づけて提示する、
商品提示方法。

【請求項9】

商品に関する情報のうち味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、
前記変換器に前記商品情報を入力して音作りに関するパラメータに基づく音情報を出力する、または取得された音情報に基づく前記音作りに関するパラメータを前記変換器に入力して前記商品情報を出力する、
プロセッサを備えた情報処理装置。

【請求項10】

前記商品情報は、前記商品の視覚情報と、前記商品の成分情報と、を含み、
前記視覚情報と、前記成分情報と、が対応付けされていて、
前記変換器は、前記成分情報と前記感覚情報との対応関係、および前記感覚情報と前記音作りに関するパラメータとの対応関係を規定し、
前記プロセッサは、前記商品情報として前記視覚情報を受け付けて、前記音作りパラメータに基づく音情報を出力する、または、前記音情報に基づく音作りパラメータを受け付けて前記視覚情報を出力する、
請求項９に記載の情報処理装置。

【請求項11】

前記感覚情報は、前記商品を使用した者による評価値を含み、
前記成分情報は、前記商品を分析した成分名と成分量とを含み、
前記変換器は、前記成分名および前記成分量と前記評価値との関係を訓練した第１訓練済モデルを含む、
請求項１０に記載の情報処理装置。

【請求項12】

前記プロセッサは、前記音情報に基づく音作りパラメータを入力して前記商品情報を出力する際に所定の成分名が所定の成分量以下である商品情報を出力する、
請求項１１に記載の情報処理装置。

【請求項13】

前記感覚情報は、前記商品を使用した者による評価値を含み、
前記変換器は、前記評価値と前記音作りパラメータとの関係を訓練した第２訓練済モデルを含む、
請求項１０に記載の情報処理装置。

【請求項14】

前記プロセッサは、前記評価値と前記音情報との一致度を評価者が評価し、当該評価に基づいて前記第２訓練済モデルを補正する、
請求項１３に記載の情報処理装置。

【請求項15】

前記音作りに関するパラメータは、複数のサンプリング音のうち再生するサンプリング音を指定する情報を含む、
請求項９乃至請求項１４のいずれかに記載の情報処理装置。

【請求項16】

商品に関する視覚情報、および前記商品に関する味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、前記音作りに関するパラメータを求めて、
前記視覚情報と、前記音作りに関するパラメータに基づく音情報と、を対応づけて提示する、
プロセッサを備えた商品提示装置。

【請求項17】

商品に関する情報のうち味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、
前記変換器に前記商品情報を入力して音作りに関するパラメータに基づく音情報を出力する、または取得された音情報に基づく前記音作りに関するパラメータを前記変換器に入力して前記商品情報を出力する、
処理を情報処理装置に実行させるプログラム。

【請求項18】

商品に関する視覚情報、および前記商品に関する味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、前記音作りに関するパラメータを求めて、
前記視覚情報と、前記音作りに関するパラメータに基づく音情報と、を対応づけて提示する、
処理を情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一実施形態は、情報処理方法、商品提示方法、情報処理装置、商品提示装置およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、ディープラーニングを用いた飲食品の品質予測方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１８３５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の先行技術は、情報端末で伝えることの難しい、視覚以外の人の感覚を伝えるものではない。

【0005】

本開示のひとつの態様は、本開示のひとつの態様は、情報端末で伝えることの難しい、視覚以外の人の感覚を伝えることができる情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る情報処理方法は、商品に関する情報のうち味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、前記変換器に前記商品情報を入力して音作りに関するパラメータに基づく音情報を出力する、または取得された音情報に基づく前記音作りに関するパラメータを前記変換器に入力して前記商品情報を出力する。

【0007】

また、本発明の一実施形態に係る商品情報提示方法は、商品に関する視覚情報、および前記商品に関する味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、前記音作りに関するパラメータを求めて、前記視覚情報と、前記音作りに関するパラメータに基づき生成した音情報と、を対応づけて提示する。

【発明の効果】

【0008】

本発明の一実施形態によれば、情報端末で伝えることの難しい、視覚以外の人の感覚を、音作りパラメータに基づく音情報を用いて伝えることができる。

【図面の簡単な説明】

【0009】

【図1】利用者端末１２の構成を示すブロック図である。

【図2】アプリケーションプログラムに係る表示画面（ＧＵＩ）の一例を示す、利用者端末１２の外観図である。

【図3】訓練済モデルを構築する段階における情報処理装置の動作を示すフローチャートである。

【図4】成分情報、味覚情報、および音作りパラメータの関係を示す図である。

【図5】訓練済モデルを使用する段階における情報処理装置の動作を示すフローチャートである。

【図6】変形例２に係るアプリケーションプログラムに係る表示画面（ＧＵＩ）示す、利用者端末１２の外観図である。

【図7】変形例２に係るＳｙｎｔｈモードの動作を示すフローチャートである。

【図8】音情報を受け付けるＧＵＩ画面を示す、利用者端末１２の外観図である。

【図9】音情報を受け付けるＧＵＩ画面の別の例を示す、利用者端末１２の外観図である。

【図10】商品情報の提示画面の一例を示す、利用者端末１２の外観図である。

【発明を実施するための形態】

【0010】

図１は、利用者端末１２の構成を示すブロック図である。図１は、アプリケーションプログラムに係る表示画面の一例を示す、利用者端末１２の外観図である。

【0011】

利用者端末１２は、パーソナルコンピュータまたはスマートフォン等の情報処理装置である。利用者端末１２は、表示器２０１、ユーザＩ／Ｆ２０２、フラッシュメモリ２０３、ＣＰＵ２０４、ＲＡＭ２０５、通信Ｉ／Ｆ２０６、スピーカ２０７、およびマイク２０８を備えている。

【0012】

表示器２０１は、例えばＬＣＤまたはＯＬＥＤ等からなり、種々の情報を表示する。ユーザＩ／Ｆ２０２は、表示器２０１のＬＣＤまたはＯＬＥＤに積層されるタッチパネルである。あるいは、ユーザＩ／Ｆ２０２は、キーボードまたはマウス等であってもよい。ユーザＩ／Ｆ２０２がタッチパネルである場合、該ユーザＩ／Ｆ２０２は、表示器２０１とともに、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成する。

【0013】

ＣＰＵ２０４は、プロセッサの一例であり、利用者端末１２の動作を制御する制御部である。ＣＰＵ２０４は、記憶媒体であるフラッシュメモリ２０３に記憶されたアプリケーションプログラム等の所定のプログラムをＲＡＭ２０５に読み出して実行することにより各種の動作を行なう。なお、プログラムは、サーバ（不図示）に記憶されていてもよい。ＣＰＵ２０４は、ネットワークを介してサーバからプログラムをダウンロードし、実行してもよい。

【0014】

図２は、アプリケーションプログラムに係る表示画面（ＧＵＩ）の一例を示す、利用者端末１２の外観図である。ＣＰＵ２０４は、表示器２０１に、図２に示す様なＧＵＩ画面を表示する。ＧＵＩ画面は、例えばある通信販売のｗｅｂサイト上の画面である。当該ＧＵＩ画面は、商品に関する視覚情報として、商品画像５１および商品名５２を表示する。図２の例では、視覚情報として、評価、容量、価格等も表示されている。視覚情報とは視覚により知覚できる商品に関連した情報であって、例えば、商品名やパッケージ、ロゴ、商品の説明文、広告等の情報である。一例として、商品画像５１は、ある日本酒の画像を表示し、商品名５２はある日本酒の名称、純米吟醸Ａを表示する。また、ＧＵＩ画面は、音アイコン５３を表示する。ＣＰＵ２０４は、当該音アイコン５３に対するタッチ操作を受け付けると、当該商品に対応付けられた音作りパラメータを求めて、当該音作りパラメータに基づく音情報を再生する。音作りパラメータに基づく音情報とは、瞬時的な音や音声案内音とは異なる。例えば、ＣＰＵ２０４は、ある音源の音を合成するためのパラメータ（アタック、ディケイ、サスティンなどのパラメータ）を求めて、該パラメータに基づいてアナログシンセサイザーの音を合成し、当該アナログシンセサイザーの音を再生する。すなわち、ＣＰＵ２０４は、表示器２０１に、商品に関する視覚情報と、音情報と、を対応づけて提示する。

【0015】

ＣＰＵ２０４は、フラッシュメモリ２０３から、または通信Ｉ／Ｆ２０６を介してサーバから、商品情報に対応する音情報を取得する、あるいは商品情報に対応するパラメータを取得して該パラメータに基づく音情報を生成する。フラッシュメモリ２０３またはサーバは、複数の商品のそれぞれに対応する音情報を蓄積している。当該音情報は、変換器によって求められる。変換器は、例えば、訓練済モデルに基づいて求められる。

【0016】

図３は、訓練済モデルを構築する段階における情報処理装置の動作を示すフローチャートである。訓練済モデルの構築は、利用者端末１２のＣＰＵ２０４により行われてもよいし、サーバのプロセッサにより行われてもよい。以下、訓練済モデルを構築する動作を利用者端末１２のＣＰＵ２０４が行う場合も、プロセッサが行うと称する。

【0017】

プロセッサは、まず商品情報を受け付ける（Ｓ１１）。商品情報は、少なくとも商品の画像または商品の名称を含む。プロセッサは、受け付けた商品情報に対応する成分情報を取得する（Ｓ１２）。

【0018】

図４は、成分情報、味覚情報、および音作りパラメータの関係を示す図である。成分情報は、少なくとも成分名および成分量を含む。図４の例では、ある日本酒、純米吟醸Ａの成分名としてアセトアルデヒド、メタノール、酢酸エチル、ｎ－プロパノール、ｉ－アミルアルコールおよびｉ－ブチルアルコールおよびそれぞれの成分量を含む。成分情報は、予め商品を分析した結果として、フラッシュメモリ２０３または不図示のサーバ等のデータベースに蓄積されている。つまり、商品の視覚情報と、商品の成分情報と、は予め対応付けされている。

【0019】

プロセッサは、味覚情報を受け付ける（Ｓ１３）。味覚情報は、感覚情報の一例である。味覚情報は、図４に示す様に、甘味、酸味、塩味、苦味、およびうま味等の味覚の名称とこれらの強さである評価値を含む。あるいは、味覚情報は、ふくらみ感、濃醇感、軽快感、またはなめらかさ等のより詳細な評価値を含んでいてもよい。さらに、味覚情報は、例えば口の中にゆっくりと広がるふくらみ感、素早く広がる膨らみ感、等の階層化された情報を含んでいてもよい。

【0020】

この様な味覚情報の評価値は、多数の使用者の主観評価に基づいて規定される。本実施形態の商品は日本酒であり、多数の使用者（試飲者）がそれぞれ日本酒を試飲した時の感覚を入力する。多数の試飲者が試飲して味覚情報を入力する。上記の様に、商品情報にはそれぞれの成分情報が対応付けられている。したがって、多数の試飲者が各商品情報に対応する味覚情報を入力ことにより、成分情報と味覚情報の関係を示すデータセットが用意される。プロセッサは、所定のネットワークモデルに、所定のアルゴリズムおよび上記データセットを用いて成分情報と、味覚情報と、の関係を訓練させる（Ｓ１４）。

【0021】

ネットワークモデルを訓練させるためのアルゴリズムは限定されない。プロセッサは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）あるいはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の任意のアルゴリズムを用いてネットワークモデルを訓練させることができる。また、プロセッサは、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）やＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等を用いてネットワークモデルを訓練させてもよい。

【0022】

これにより、商品情報の成分情報ｍを入力として、味覚情報の評価値ｓを出力する第１訓練済モデルＦ（ｍ）＝ｓが構築される。

【0023】

次に、プロセッサは、音作りパラメータを受け付ける（Ｓ１５）。音作りパラメータは、例えばある音源の音を合成するためのパラメータであり、例えば図４に示す様な倍音構成、音程、エンベロープ（アタック、ディケイ、サスティン、リリース等の時間パラメータ）、フィルタ等のパラメータを含む。あるいは、再生するサンプリング音のデータ（ＰＣＭ音源）を指定する情報等も音作りパラメータに含まれる。

【0024】

この様な音作りパラメータは、例えば音作りを専門とする人（以下、音作り職人と称する。）により入力される。１または複数の音作り職人は、多数の使用者の味覚情報の評価値のそれぞれに対する音作りパラメータを作成する。あるいは、１または複数の音作り職人は、それぞれ日本酒を試飲して、それぞれの商品情報に対する音作りパラメータを作成してもよい。これにより、味覚情報と音作りパラメータとの関係を示すデータセットが用意される。

【0025】

プロセッサは、所定のネットワークモデルに、所定のアルゴリズムおよび上記データセットを用いて、味覚情報と、音作り職人の作成した音作りパラメータと、の関係を訓練させる（Ｓ１６）。これにより、味覚情報の評価値ｓを入力として、音作りパラメータｒを出力する第２訓練済モデルＧ（ｓ）＝ｒが構築される。

【0026】

この様にして、第１訓練済モデルおよび第２訓練済モデルからなり、商品情報と、音作りパラメータと、を変換する変換器が用意される。用意された変換器は、フラッシュメモリ２０３またはサーバに格納される。

【0027】

図５は、訓練済モデルを使用する段階における情報処理装置の動作を示すフローチャートである。ＣＰＵ２０４は、図２に示したＧＵＩ画面で音アイコン５３のタッチ操作を受け付けると、図５に示すフローチャートの動作を開始する。まず、ＣＰＵ２０４は、タッチ操作された商品の商品情報を受け付ける（Ｓ２１）。ＣＰＵ２０４は、受け付けた商品情報に対応する成分情報を取得する（ｓ２２）。商品情報は、例えば商品名である。

【0028】

ＣＰＵ２０４は、商品情報に対応する成分情報を規定したデータベース（フラッシュメモリ２０３または不図示のサーバ等）に商品情報を入力し、対応する成分情報を取得する。

【0029】

なお、ＣＰＵ２０４は、商品情報を入力として成分情報を出力する、訓練済モデルを構築し、当該訓練済モデルを用いて成分情報を取得してもよい。

【0030】

ＣＰＵ２０４は、第１訓練済モデルを用いて、取得した成分情報に対応する味覚情報の評価値を取得する（Ｓ２３）。また、ＣＰＵ２０４は、取得した第２訓練済モデルを用いて、味覚情報に対応する音作りパラメータを取得する（Ｓ２４）。ＣＰＵ２０４は、取得した音作りパラメータに基づく音情報を出力する（Ｓ２５）。音作りパラメータに基づく音情報とは、例えば音作りパラメータが音源の音を合成するためのパラメータである場合には、ＣＰＵ２０４は、当該パラメータに基づいて音源から音信号を合成し、合成した音信号を出力する。音作りパラメータが再生する音データ（ＰＣＭ音源）を指定する情報である場合、ＣＰＵ２０４は、指定された音データを再生して、音信号として出力する。ＣＰＵ２０４が出力した音信号は、例えばスピーカ２０７から放音される。すなわち、この実施形態では、ＣＰＵ２０４は、商品に関する情報のうち味覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、変換器に商品情報を入力して音作りに関するパラメータに基づく音情報を出力する。また、ＣＰＵ２０４は、商品に関する視覚情報、および商品に関する味覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用意して、音作りに関するパラメータを求めて、図２に示すようなＧＵＩ画面で視覚情報と、音作りパラメータに基づく音情報と、を対応づけて提示する。

【0031】

これにより、利用者は、スピーカ２０７から放音される音を聴く。当該音は、音作り職人により、味覚に関する感覚情報と相関が得られるように作り込まれている。音は、時間変化や周波数成分等の多次元的な要素を有し、数秒間の発音により、時間軸方向に変化する情報が展開されるため、より多くの情報を伝えることができる。この様な音による味覚の表現は、甘味や酸味等の強さを数値で視覚的に表す場合に比べて、より直感的に味覚を想起させることができる。例えば、甘味の強い商品は、高音域が抑えられたふくよかで丸みのある豊かな音として、甘味の強さと高い相関を持った音として放音される。また、なめらかさの強い味の商品は、奇数次の高次倍音の少ないなめらかな音として表現される。また、例えば口の中にゆっくりと広がるふくらみ感は低域の強い音として表現され、素早く広がるふくらみ感は高域の強い音として表現される。したがって、利用者は、音を聴くことで商品の味を容易に想像することができるという従来ではなし得なかった新たな顧客体験を得ることができる。

【0032】

（変形例１）
変形例１に係るプロセッサは、評価値と音情報との一致度を評価者から受け付けて、受け付けた評価に基づいて第１訓練済モデルを補正する。一致度は、評価者の主観評価に基づいて規定される。評価者は、商品の使用者（上記実施形態では試飲者）であってもよいし、音作り職人であってもよい。評価者は、第２訓練済モデルＧ（ｓ）＝ｒにより求められた音作りパラメータに基づく音を聴き、味覚情報との一致度ωを入力する。プロセッサは、受け付けた一致度ωを用いて、以下の数式（１）に示す、第２訓練済モデルＧ（ｓ）と出力値ｒとの誤差Ｌを最小化する。

【0033】

【数1】

【0034】

数式（１）におけるωｎは、ｎ番目の商品の評価値ｓと音作りパラメータｒの一致度である。第２訓練済モデルＧ（ｓ）は、多数の評価者が一致度ωを入力することにより、より最適化される。

【0035】

これにより、利用者は、音を聴くことで商品の味をさらに容易に想像することができるという従来ではなし得なかった新たな顧客体験を得ることができる。

【0036】

（変形例２）
変形例２に係るプロセッサは、商品に関する情報のうち味覚、嗅覚または触覚に関する感覚情報を含む商品情報と、音作りに関するパラメータと、の対応を規定した変換器を用いて、取得された音情報に基づく音作りに関するパラメータを前記変換器に入力して前記商品情報を出力する。

【0037】

図６は、変形例２に係るアプリケーションプログラムに係る表示画面（ＧＵＩ）示す、利用者端末１２の外観図である。ＣＰＵ２０４は、表示器２０１に、図６に示す様なＧＵＩ画面を表示する。ＧＵＩ画面は、聴き酒モード受付アイコン７１および酒Ｓｙｎｔｈモード受付アイコン７２を表示する。

【0038】

ＣＰＵ２０４は、聴き酒モード受付アイコン７１のタッチ操作を受け付けると、図５に示したフローチャートの商品提示方法を実行する。一方で、ＣＰＵ２０４は、酒Ｓｙｎｔｈモード受付アイコン７２のタッチ操作を受け付けると、図７に示すフローチャートの処理を実行する。図７は、変形例２に係る酒Ｓｙｎｔｈモードの動作を示すフローチャートである。酒Ｓｙｎｔｈモードとは、音情報を入力することで、対応する商品（本実施形態では酒）の情報を提示するモードである。

【0039】

まず、ＣＰＵ２０４は、音情報を受け付ける（Ｓ３１）。図８は、音情報を受け付けるＧＵＩ画面を示す、利用者端末１２の外観図である。当該ＧＵＩ画面は、録音受付アイコン５５を表示する。ＣＰＵ２０４は、録音受付アイコン５５のタッチ操作を受け付けると、マイク２０８を介して録音を受け付ける。ＣＰＵ２０４は、録音した音情報を例えばフラッシュメモリ２０３に記憶し、当該記憶した音情報を指定するための音作りパラメータを作成する。

【0040】

あるいは、ＣＰＵ２０４は、図９に示す様なパラメータ受付画面を表示してもよい。図９は、音情報を受け付けるＧＵＩ画面の別の例を示す、利用者端末１２の外観図である。当該ＧＵＩ画面は、パラメータ受付アイコン５７を表示する。ＣＰＵ２０４は、パラメータ受付アイコン５７を介して音作りパラメータを受け付ける。この場合、音作りパラメータは、例えばある音源の音を合成するためのパラメータであり、倍音構成、音程、エンベロープ、フィルタ等のパラメータを使用者から受け付ける。

【0041】

次に、ＣＰＵ２０４は、第２訓練済モデルを用いて、受け付けた音作りパラメータに対応する味覚情報の評価値を取得する（Ｓ３２）。ＣＰＵ２０４は、第１訓練済モデルを用いて、取得した味覚情報の評価値に対応する成分情報を取得する（Ｓ３３）。ＣＰＵ２０４は、取得した成分情報に対応する商品情報を取得する（Ｓ３４）。ＣＰＵ２０４は、商品情報に対応する成分情報を規定したデータベース（フラッシュメモリ２０３または不図示のサーバ等）に成分情報を入力し、対応する商品情報を取得する。なお、ＣＰＵ２０４は、成分情報を入力として商品情報を出力する、訓練済モデルを構築し、当該訓練済モデルを用いて商品情報を取得してもよい。

【0042】

図１０は、商品情報の提示画面の一例を示す、利用者端末１２の外観図である。ＣＰＵ２０４は、取得した商品情報に関する視覚情報として、商品画像５１および商品名５２を表示する。図１０の例では、視覚情報として、容量、価格等も表示されている。一例として、商品画像５１は、ある日本酒の画像を表示し、商品名５２はある日本酒の名称、純米吟醸Ｂを表示する。この様な表示画面は、ある通信販売のｗｅｂサイト上の画面であってもよい。この場合、ＣＰＵ２０４は、注文受付アイコンをさらに表示してもよい。ＣＰＵ２０４は、当該注文受付アイコンに対するタッチ操作を受け付けると、注文受付サーバに注文情報を送信する。

【0043】

この様にして、利用者は、音を録音、あるいは音作りパラメータを入力して商品を検索することができる、という従来ではなし得なかった新たな顧客体験を得ることができる。

【0044】

（変形例３）
変形例３に係るプロセッサは、変形例２で示したＳ３３およびＳ３４の処理において、音情報を入力して商品情報を出力する際に所定の成分名が所定の成分量以下である商品情報を取得する。所定の成分名が所定の成分量以下であるとは、例えばアルコール分が０％であることである。これにより、アルコールを摂取できない利用者が、音を用いて簡単にアルコール分の含まれていない商品を検索することができる。あるいは、特定の成分にアレルギーを有する利用者は、音を用いて簡単に特定のアレルギー成分の含まれていない商品を検索することができる。また、宗教上摂ることができない成分を持つ利用者が、音を用いて簡単に特定の成分の含まれていない商品を検索することもできる。

【0045】

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

【0046】

上記実施形態では、変換器は、第１訓練済モデルおよび第２訓練済モデルからなり、商品情報と、音作りパラメータと、を変換した。しかし、例えば、変換器は、成分情報と感覚情報との対応関係、および感覚情報と音情報との対応関係を規定したテーブルであってもよい。あるいは、変換器は、感覚情報を含む商品情報と、音作りパラメータと、の対応を規定したテーブルであってもよい。

【0047】

本実施形態では、感覚情報として味覚情報を示した。しかし、感覚情報とは、嗅覚または触覚を含む。嗅覚情報も、評価値を用いて第１訓練済モデルおよび第２訓練済モデルを構築すれば、音による嗅覚情報を表現することができる。触覚情報も、評価値を用いて第１訓練済モデルおよび第２訓練済モデルを構築すれば、音による触覚情報を表現することができる。つまり、本実施形態によれば、情報端末で伝えることの難しい、視覚以外の人の感覚を音作りパラメータに基づく音情報を用いて伝えることができる。

【0048】

本実施形態では日本酒の例を示したが、酒類として、日本酒以外アルコール飲料、例えば、ビール、ワイン、シャンパン、紹興酒、リキュール等の醸造酒、ウイスキー、テキーラ、ジン、ラム、ウオッカ、ブランデー、焼酎、泡盛等の蒸留酒にも適用できる。また、本実施形態の方法は、酒類以外にも清涼飲料水、乳酸菌飲料、乳等のアルコールを含まない飲用の液体物にも適用可能である。また、本実施形態の方法は、飲料以外にも食べ物にも利用可能である。この場合、その食べ物の成分情報を特定することで本実施形態の方法に適用することができる。

【符号の説明】

【0049】

１２ ：利用者端末
５１ ：商品画像
５３ ：音アイコン
５５ ：録音受付アイコン
５７ ：パラメータ受付アイコン
７１ ：酒モード受付アイコン
７２ ：酒Ｓｙｎｔｈモード受付アイコン
２０１ ：表示器
２０２ ：ユーザＩ／Ｆ
２０３ ：フラッシュメモリ
２０４ ：ＣＰＵ
２０５ ：ＲＡＭ
２０６ ：通信Ｉ／Ｆ
２０７ ：スピーカ
２０８ ：マイク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】