(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-15
(45)【発行日】2022-12-23
(54)【発明の名称】バイノーラル音処理装置、情報処理装置、及び、プログラム
(51)【国際特許分類】
H04S 7/00 20060101AFI20221216BHJP
H04S 1/00 20060101ALI20221216BHJP
【FI】
H04S7/00 340
H04S1/00 500
(21)【出願番号】P 2020521784
(86)(22)【出願日】2019-04-17
(86)【国際出願番号】 JP2019016469
(87)【国際公開番号】W WO2019230236
(87)【国際公開日】2019-12-05
【審査請求日】2022-02-22
(31)【優先権主張番号】P 2018101358
(32)【優先日】2018-05-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【氏名又は名称】木本 大介
(74)【代理人】
【識別番号】100174850
【氏名又は名称】大崎 絵美
(72)【発明者】
【氏名】岡崎 龍太
(72)【発明者】
【氏名】齋藤 直輝
(72)【発明者】
【氏名】岡本 直樹
(72)【発明者】
【氏名】北村 尚美
【審査官】大石 剛
(56)【参考文献】
【文献】特開2016-100877(JP,A)
【文献】特開2005-70721(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 7/00
H04S 1/00
(57)【特許請求の範囲】
【請求項1】
複数の塗布物のそれぞれを識別する塗布物識別情報と、各塗布物を肌に塗布したときの音がバイノーラル録音されたバイノーラル音源情報と、を関連付けて記憶する手段を備え、
複数の塗布物の中から少なくとも1つの塗布物を識別する塗布物識別情報を決定する手段を備え、
前記決定された塗布物識別情報に関連付けられたバイノーラル音源情報を選択する手段を備え、
前記選択されたバイノーラル音源情報を出力する手段を備える、
バイノーラル音処理装置。
【請求項2】
前記決定する手段は、操作者の指示に応じて、前記塗布物識別情報を決定する、
請求項1に
記載のバイノーラル音処理装置。
【請求項3】
前記バイノーラル音源情報と、ユーザの属性に関するユーザ属性情報と、を関連付けて記憶する手段を備え、
ユーザの属性に関するユーザ属性情報を取得する手段を備え、
前記選択する手段は、前記決定された塗布物識別情報、及び、前記取得されたユーザ属性情報に関連付けられたバイノーラル音源情報を選択する、
請求項1に記載のバイノーラル音処理装置。
【請求項4】
前記ユーザに対して使用が推奨される塗布物を決定する手段を備え、
前記塗布物識別情報を決定する手段は、前記決定された塗布物の塗布物識別情報を取得する、
請求項3に記載のバイノーラル音処理装置。
【請求項5】
前記塗布物を決定する手段は、前記ユーザの肌の状態に基づいて、前記塗布物を決定する、
請求項4に記載のバイノーラル音処理装置。
【請求項6】
ユーザの行動履歴に基づいて、前記ユーザに対して使用が推奨される塗布物を予測する手段を備え、
前記選択する手段は、前記予測された塗布物の塗布物識別情報に関連付けられたバイノーラル音源情報を選択する、
請求項1~5の何れかに記載のバイノーラル音処理装置。
【請求項7】
前記行動履歴は、前記ユーザがアクセスしたウェブサイトの閲覧履歴、及び、前記ユーザが購入した塗布物の購入履歴の少なくとも1つである、
請求項6に記載のバイノーラル音処理装置。
【請求項8】
塗布物を使用するユーザの動きに関する動き情報を取得する手段を備え、
前記取得された動き情報に応じて、前記選択されたバイノーラル音源情報を補正する手段を備え、
前記出力する手段は、前記補正されたバイノーラル音源情報を出力する、
請求項1~7の何れかに記載のバイノーラル音処理装置。
【請求項9】
前記動き情報を取得する手段は、イメージセンサ、加速度センサ、ジャイロセンサ、及び、地磁気センサの少なくとも1つから、前記動き情報を取得する、
請求項8に記載のバイノーラル音処理装置。
【請求項10】
ユーザの環境に関する環境情報を取得する手段を備え、
前記取得された環境情報に応じて、前記選択されたバイノーラル音源情報を補正する手段を備え、
前記出力する手段は、前記補正されたバイノーラル音源情報を出力する、
請求項1~9の何れかに記載のバイノーラル音処理装置。
【請求項11】
前記塗布物に関する動画コンテンツと、前記バイノーラル音源情報と、を関連付けて記憶する手段を備え、
前記選択する手段は、再生される動画コンテンツに関連付けられたバイノーラル音源情報を選択し、
前記動画コンテンツの再生時間に応じて、前記バイノーラル音源情報を補正する、
請求項1~10の何れかに記載にバイノーラル音処理装置。
【請求項12】
前記塗布物に関するCG(Computer Graphics)コンテンツと、前記バイノーラル音源情報と、を関連付けて記憶する手段を備え、
前記選択する手段は、再生されるCGコンテンツに関連付けられたバイノーラル音源情報を選択し、
前記CGコンテンツの再生中に受け付けられた操作者の指示に応じて、前記バイノーラル音源情報を変化させる、
請求項1~11の何れかに記載にバイノーラル音処理装置。
【請求項13】
各塗布物を人体に塗布したときの組成の時間変化を予測するための予測モデルを参照して、前記決定された塗布物識別情報によって識別される塗布物の組成の時間変化を予測する手段を備え、
前記予測された時間変化に基づいて、前記選択されたバイノーラル音源情報を時間変換する手段を備え、
前記出力する手段は、前記時間変換されたバイノーラル音源情報を出力する、
請求項1~12の何れかに記載のバイノーラル音処理装置。
【請求項14】
コンピュータに、請求項1~13の何れかに記載の各手段を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バイノーラル音処理装置、情報処理装置、及び、プログラムに関する。
【背景技術】
【0002】
一般に、人体に塗布される塗布物(例えば、化粧料)が被塗布者に与える触感には個人差がある。
例えば、化粧料の消費者は、化粧料を使用することによって得られる美容効果だけでなく、化粧料を使用したときの触感(例えば、肌触り)を考慮して、化粧料を選定する。
一方、化粧料の販売者は、美容効果及び触感の両方を消費者に訴求することにより、化粧料の販売を促進する。
【0003】
特開2003-186962号公報には、触感を考慮した化粧料の選定を支援するために、触感に関するパラメータを消費者に入力させ、且つ、消費者によって入力されたパラメータに応じた化粧料のレシピを提示する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特開2003-186962号公報の技術では、消費者に触感を体験させることができない。そのため、提示されたレシピに対応する化粧料を実際に使用したときに消費者が感じる触感は、パラメータを入力したときに消費者が想像した触感とは異なる可能性がある。
特に、近年急速に普及しているオンラインショッピングでは、消費者は、化粧料の触感を体験することができない
【0005】
つまり、従来、塗布物を使用する前に、塗布物の触感を消費者が体験することはできない。
【0006】
本発明の目的は、塗布物を使用する前に、塗布物の触感を消費者に体験させることである。
【課題を解決するための手段】
【0007】
本発明の一態様は、
複数の塗布物のそれぞれを識別する塗布物識別情報と、各塗布物を肌に塗布したときの音がバイノーラル録音されたバイノーラル音源情報と、を関連付けて記憶する手段を備え、
複数の塗布物の中から少なくとも1つの塗布物を識別する塗布物識別情報を決定する手段を備え、
前記決定された塗布物識別情報に関連付けられたバイノーラル音源情報を選択する手段を備え、
前記選択されたバイノーラル音源情報を出力する手段を備える、
バイノーラル音処理装置である。
【発明の効果】
【0008】
本発明によれば、塗布物を使用する前に、塗布物の触感を消費者に体験させることができる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態の音声処理システムの構成を示す概略図である。
【
図2】
図1の音声処理システムの構成を示すブロック図である。
【
図4】本実施形態の塗布物情報データベースのデータ構造を示す図である。
【
図5】本実施形態の情報処理のフローチャートである。
【
図6】
図5の情報処理において表示される画面例を示す図である。
【
図8】変形例1のユーザ情報データベースのデータ構造を示す図である。
【
図9】変形例1の情報処理のフローチャートである。
【
図10】
図9の情報処理において表示される画面例を示す図である。
【
図12】変形例2の情報処理のフローチャートである。
【
図14】変形例3の情報処理のフローチャートである。
【
図16】変形例4の情報処理のフローチャートである。
【
図17】
図16の情報処理において表示される画面例を示す図である。
【
図19】変形例5の情報処理のフローチャートである。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0011】
(1)音声処理システムの構成
音声処理システムの構成について説明する。
図1は、本実施形態の音声処理システムの構成を示す概略図である。
図2は、
図1の音声処理システムの構成を示すブロック図である。
【0012】
図1及び
図2に示すように、音声処理システム1は、バイノーラル音処理装置10と、音声出力装置20と、サーバ30と、を備える。
バイノーラル音処理装置10及び音声出力装置20は、有線通信又は無線通信によって接続される。バイノーラル音処理装置10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
ユーザUは、音声出力装置20を介して、バイノーラル音処理装置10によって処理された音声(例えば、バイノーラル音)を聴くことができる。
【0013】
バイノーラル音処理装置10は、バイノーラル音の音声信号を生成するように構成される。
また、バイノーラル音処理装置10は、サーバ30にリクエストを送信する情報処理装置の一例である。バイノーラル音処理装置10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
【0014】
音声出力装置20は、バイノーラル音処理装置10から送信された音声信号に対応するバイノーラル音を出力するように構成される。音声出力装置20は、例えば、ヘッドフォン、又は、イヤフォンである。
【0015】
サーバ30は、バイノーラル音処理装置10から送信されたリクエストに応じたレスポンスをバイノーラル音処理装置10に提供する情報処理装置の一例である。サーバ30は、例えば、ウェブサーバである。
【0016】
(1-1)バイノーラル音処理装置の構成
図2を参照して、バイノーラル音処理装置10の構成について説明する。
【0017】
図2に示すように、バイノーラル音処理装置10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。
【0018】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0019】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーション(例えば、バイノーラル音の処理のためのアプリケーション)のプログラム
【0020】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0021】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、バイノーラル音処理装置10の機能を実現するように構成される。プロセッサ12は、コンピュータの一例である。
【0022】
入出力インタフェース13は、バイノーラル音処理装置10に接続される入力デバイスからユーザの指示を取得し、かつ、バイノーラル音処理装置10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0023】
通信インタフェース14は、バイノーラル音処理装置10とサーバ30との間の通信を制御するように構成される。
【0024】
(1-2)サーバの構成
図2を参照して、サーバ30の構成について説明する。
【0025】
図2に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。
【0026】
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0027】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0028】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0029】
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するように構成される。プロセッサ32は、コンピュータの一例である。
【0030】
入出力インタフェース33は、サーバ30に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ30に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0031】
通信インタフェース34は、サーバ30とバイノーラル音処理装置10との間の通信を制御するように構成される。
【0032】
(2)実施形態の概要
本実施形態の概要について説明する。
図3は、本実施形態の概要の説明図である。
【0033】
バイノーラル音処理装置10には、バイノーラル音源情報が記憶されている。バイノーラル音源情報は、人体に塗布可能な塗布物に関連付けられている。塗布物とは、例えば、肌に塗布可能な化粧料である。化粧料としては、例えば、メーキャップ用化粧料、スキンケア用化粧料、ヘアケア用化粧料などが挙げられる。化粧料の形態は、例えば、固体、液体、スプレー状などが挙げられる。
バイノーラル音源情報には、各塗布物を人体に塗布したときに鼓膜に伝わる振動によって再現されるバイノーラル音が記録されている。
ユーザUが所望の塗布物を指定すると、バイノーラル音処理装置10は、指定された塗布物に関連付けられたバイノーラル音源情報を音声出力装置20に出力する。
音声出力装置20は、バイノーラル音処理装置10から出力されたバイノーラル音源情報に記録されたバイノーラル音を出力する。
【0034】
このような塗布物のバイノーラル音は、聴覚と、聴覚に付随して生じる触覚と、を刺激することにより、ユーザUに対して、塗布物を使用したときの触感を体験させることができる。本実施形態では、ユーザUに所望の塗布物のバイノーラル音を聴かせることにより、所望の塗布物を使用したときの触感を提示することができる。
【0035】
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置11に記憶される。
【0036】
(3-1)塗布物情報データベース
本実施形態の塗布物情報データベースについて説明する。
図4は、本実施形態の塗布物情報データベースのデータ構造を示す図である。
【0037】
図4の塗布物情報データベースには、塗布物に関する塗布物情報が格納される。
塗布物情報データベースは、「塗布物ID」フィールドと、「塗布物名」フィールドと、「推奨属性」フィールドと、「バイノーラル音源」フィールドと、「コンテンツ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0038】
「塗布物ID」フィールドには、塗布物を識別する塗布物ID(「塗布物識別情報」の一例)が格納される。塗布物IDは、塗布物情報データベースのレコード(以下「塗布物情報レコード」という)の主キーである。
【0039】
「塗布物名」フィールドには、塗布物の名称に関する情報(例えば、テキスト)が格納される。
【0040】
「推奨属性」フィールドには、塗布物の使用が推奨されるユーザ属性に関する情報(以下「推奨属性情報」という)が格納される。「推奨属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、「肌状態」フィールドと、を含む。
【0041】
「性別」フィールドには、塗布物の使用が推奨される性別に関する情報が格納される。
【0042】
「年齢」フィールドには、塗布物の使用が推奨される年齢に関する情報が格納される。
【0043】
「肌状態」フィールドには、塗布物の使用が推奨される肌状態に関する情報が格納される。
【0044】
「バイノーラル音源」フィールドには、塗布物を塗布したときの振動音が記録されたバイノーラル音源ファイル(「バイノーラル音源情報」の一例)が格納される。
【0045】
「コンテンツ」フィールドには、塗布物に関するコンテンツのコンテンツファイルが格納される。コンテンツは、例えば、以下の少なくとも1つを含む。
・動画コンテンツ
・静止画コンテンツ
・CG(Computer Graphics)コンテンツ
・音声コンテンツ
【0046】
(4)情報処理
本実施形態の情報処理について説明する。
図5は、本実施形態の情報処理のフローチャートである。
図6は、
図5の情報処理において表示される画面例を示す図である。
【0047】
図5に示すように、バイノーラル音処理装置10は、塗布物の指定の受付(S100)を実行する。
具体的には、プロセッサ12は、画面P100(
図6)をディスプレイに表示する。
【0048】
画面P100は、操作オブジェクトB100a~B100bを含む。
操作オブジェクトB100a~B100bは、塗布物を指定するためのユーザ指示を受け付けるオブジェクトである。操作オブジェクトB100a~B100bには、塗布物IDが割り当てられている。
【0049】
例えば、ユーザUが操作オブジェクトB100aを操作すると、プロセッサ12は、操作オブジェクトB100aに割り当てられた塗布物IDを特定する。これにより、塗布物の指定が受け付けられる。
【0050】
ステップS100の後、バイノーラル音処理装置10は、バイノーラル音源の選択(S101)を実行する。
具体的には、プロセッサ12は、塗布物情報データベース(
図4)を参照して、ステップS100で特定された塗布物IDに関連付けられた「バイノーラル音源」フィールドの情報(つまり、バイノーラル音源ファイル)を読み出す。
【0051】
ステップS101の後、バイノーラル音処理装置10は、バイノーラル音の再生(S102)を実行する。
具体的には、プロセッサ12は、ステップS101で読み出したバイノーラル音源ファイルを開くことにより、バイノーラル音源ファイルに記録されたバイノーラル音の音声信号を生成する。
プロセッサ12は、生成した音声信号を音声出力装置20に送信する。
音声出力装置20は、プロセッサ12から送信された音声信号に基づいて、バイノーラル音を出力する。
【0052】
本実施形態によれば、ユーザUは、音声出力装置20によって出力されるバイノーラル音を聴くことにより、所望の塗布物を使用したときの触感を体験することができる。
【0053】
(5)変形例
本実施形態の変形例について説明する。
【0054】
(5-1)変形例1
変形例1について説明する。変形例1は、塗布物、及び、ユーザUのユーザ属性の組合せに応じたバイノーラル音を出力する例である。
【0055】
(5-1-1)変形例1の概要
変形例1の概要について説明する。
図7は、変形例1の概要の説明図である。
【0056】
図7のバイノーラル音処理装置10には、バイノーラル音源情報が記憶されている。バイノーラル音源情報は、塗布物及びユーザ属性の組合せ(例えば、ユーザUのユーザ属性から使用が推奨される塗布物)に関連付けられている。
ユーザUが所望の塗布物を指定すると、バイノーラル音処理装置10は、指定された塗布物及びユーザUのユーザ属性の組合せに関連付けられたバイノーラル音源情報を音声出力装置20に出力する。
音声出力装置20は、バイノーラル音処理装置10から出力されたバイノーラル音源情報に記録されたバイノーラル音を出力する。
【0057】
変形例1では、ユーザUの所望の塗布物のうち、ユーザUのユーザ属性が関連付けられた塗布物のバイノーラル音を聴かせることにより、ユーザUにとって使用が推奨される塗布物を塗布したときに感じる触感を提示することができる。
【0058】
(5-1-2)データベース
変形例1のデータベースについて説明する。
【0059】
(5-1-2-1)ユーザ情報データベース
変形例1のユーザ情報データベースについて説明する。
図8は、変形例1のユーザ情報データベースのデータ構造を示す図である。
【0060】
図8のユーザ情報データベースは、「ユーザID」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、「行動履歴」フィールドと、を含む。
各フィールドは、互いに関連付けられている。
【0061】
「ユーザID」フィールドには、ユーザUを識別するユーザID(「ユーザ識別情報」の一例)が格納される。ユーザIDは、ユーザ情報データベースのレコード(以下「ユーザ情報レコード」という)の主キーである。
【0062】
「ユーザ名」フィールドには、ユーザUのユーザ名に関する情報(例えば、テキスト)が格納される。
【0063】
「ユーザ属性」フィールドには、ユーザUの属性に関するユーザ属性情報が格納される。「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、「肌状態」フィールドと、を含む。
【0064】
「性別」フィールドには、ユーザUの性別に関する情報が格納される。
【0065】
「年齢」フィールドには、ユーザUの年齢に関する情報が格納される。
【0066】
「肌状態」フィールドには、ユーザUの肌状態に関する肌状態情報が格納される。「肌状態」フィールドには、以下の少なくとも1つの方法によりユーザ情報データベースに格納される。
・プロセッサ12は、ユーザUによって入力された肌状態情報を「肌状態」フィールドに格納する。
・プロセッサ12は、通信インタフェース14を介して、肌状態情報を取得可能なデバイス(例えば、スマートフォン)から送信された肌状態情報を「肌状態」フィールドに格納する。
・プロセッサ12は、ユーザUが装着したウェアラブルデバイスから送信された肌状態情報を「肌状態」フィールドに格納する。
【0067】
「行動履歴」フィールドには、ユーザUの行動の履歴に関する行動履歴情報が格納される。「行動履歴」フィールドは、「閲覧履歴」フィールドと、「購入履歴」フィールドと、を含む。
【0068】
「閲覧履歴」フィールドには、ウェブサイトの閲覧履歴に関する閲覧履歴情報(一例として、ユーザUが閲覧したウェブサイトのURL(Uniform Resource Locator))が格納される。
【0069】
「購入履歴」フィールドには、商品の購入履歴に関する購入履歴情報(一例として、ユーザUが購入した塗布物の塗布物ID、及び、購入日に関する情報)が格納される。
【0070】
(5-1-3)情報処理
変形例1の情報処理について説明する。
図9は、変形例1の情報処理のフローチャートである。
図10は、
図9の情報処理において表示される画面例を示す図である。
【0071】
図9に示すように、バイノーラル音処理装置10は、ユーザ情報の取得(S110)を実行する。
具体的には、プロセッサ12は、画面P110(
図10)をディスプレイに表示する。
【0072】
画面P110は、操作オブジェクトB110と、フィールドオブジェクトF110と、を含む。
フィールドオブジェクトF110は、ユーザ情報の入力を受け付けるオブジェクトである。
操作オブジェクトB110は、フィールドオブジェクトF110に入力されたユーザ情報を確定させるためのユーザ指示を受け付けるオブジェクトである。
【0073】
例えば、ユーザUがフィールドオブジェクトF110にユーザIDを入力し、且つ、操作オブジェクトB110を操作すると、プロセッサ12は、ユーザ情報データベース(
図8)を参照して、フィールドオブジェクトF110に入力されたユーザIDに関連付けられたユーザ情報レコードを特定する。
【0074】
ステップS110の後、バイノーラル音処理装置10は、バイノーラル音源の選択(S111)を実行する。
【0075】
ステップS111の第1例では、プロセッサ12は、塗布物情報データベース(
図4)の「推奨属性」フィールドを参照して、ステップS111で特定したユーザ情報レコードに含まれるユーザ属性情報(例えば、性別、年齢、及び、肌状態に関する情報)に対応する塗布物情報レコードを特定する。
プロセッサ12は、塗布物情報レコードの「バイノーラル音源」フィールドの情報(つまり、バイノーラル音源ファイル)を読み出す。
【0076】
ステップS111の第2例では、記憶装置11には、ユーザUの行動履歴、及び、ユーザUが嗜好する塗布物の相関モデルが記憶されている。相関モデルの入力は、ユーザUの行動履歴である。相関モデルの出力は、塗布物情報である。
プロセッサ12は、ステップS111で特定したユーザ情報レコードに含まれる「行動履歴」フィールドの情報(例えば、「閲覧履歴」フィールド及び「購入履歴」フィールドの少なくとも1つの情報)を相関モデルに入力することにより、ユーザUに対して使用が推奨される塗布物に関する塗布物情報(例えば、塗布物ID)を予測する。
プロセッサ12は、塗布物情報データベース(
図4)を参照して、予測した塗布物IDに関連付けられた「バイノーラル音源」フィールドの情報(つまり、バイノーラル音源ファイル)を読み出す。
【0077】
ステップS111の後、バイノーラル音処理装置10は、
図5と同様に、バイノーラル音の再生(S102)を実行する。
【0078】
変形例1によれば、ユーザUは、音声出力装置20によって出力されるバイノーラル音を聴くことにより、自身の属性を考慮して使用が推奨される塗布物を使用したときの触感を体験することができる。
【0079】
(5-2)変形例2
変形例2について説明する。変形例2は、ユーザUの動きに応じて最適化されたバイノーラル音を出力する例である。
【0080】
(5-2-1)変形例2の概要
変形例2の概要について説明する。
図11は、変形例2の概要の説明図である。
【0081】
図11に示すように、音声出力装置20から出力されるバイノーラル音を聴いている間に、ユーザUが動くと、バイノーラル音処理装置10は、ユーザUの動きに応じてバイノーラル音を補正する。
音声出力装置20は、バイノーラル音処理装置10によって補正されたバイノーラル音を出力する。
【0082】
(5-2-2)情報処理
変形例2の情報処理について説明する。
図12は、変形例2の情報処理のフローチャートである。
【0083】
図12に示すように、バイノーラル音処理装置10は、
図9と同様に、ステップS100~S101を実行する。
【0084】
ステップS101の後、バイノーラル音処理装置10は、動き情報の取得(S120)を実行する。
具体的には、バイノーラル音処理装置10は、ユーザの動きを検出するように構成されたモーションセンサ(不図示)に接続される。モーションセンサは、例えば、以下の少なくとも1つを含む。
・ユーザUの画像を検出するイメージセンサ
・ユーザUの体の一部(例えば、手)の加速度を検出する加速度センサ
・ユーザUの体の一部(例えば、手)の角加速度を検出するジャイロセンサ
・地磁気を検出する地磁気センサ
【0085】
プロセッサ12は、モーションセンサによって検出された情報(例えば、画像、加速度、ジャイロ、及び、地磁気の少なくとも1つ)に基づいて、ユーザUの動きを計算する。
【0086】
ステップS120の後、バイノーラル音処理装置10は、バイノーラル音の補正(S121)を実行する。
具体的には、記憶装置11には、ユーザUの動き毎の補正パラメータが格納されている。
プロセッサ12は、ステップS120で計算した動きに対応する補正パラメータを用いて、バイノーラル音の音声特性を補正する。音声特性は、例えば、以下の少なくとも1つを含む。
・周波数(一例として、再生速度)
・音圧
・左右のバイノーラル音の時間差(一例として、位相差)
【0087】
ステップS121の後、バイノーラル音処理装置10は、
図9と同様に、ステップS102を実行する。
【0088】
変形例2によれば、バイノーラル音処理装置10は、ユーザUの動きに応じてバイノーラル音を補正する。これにより、ユーザUに対して、バイノーラル音を聴いている間の動きに応じて、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。
また、ユーザUは、自身の動きに応じて最適化されたバイノーラル音を聴くことができる。これにより、バイノーラル音を聴いている間にユーザUが動いたとしても、塗布物を使用するときの触感をユーザUに正しく伝達することができる。
より具体的には、ユーザUが自分の肌を撫でる速度に応じて周波数を補正することにより、肌を撫でる動作に応じたインタラクティブな触感を提示することができる。
ユーザUが自分の肌を撫でる位置及び方向に応じて左右のバイノーラル音の時間差を補正することにより、肌を撫でる位置及び方向に応じたインタラクティブな触感を提示することができる。
ユーザUが自分の肌を撫でる強さに応じて音圧を補正することにより、肌を撫でる強さに応じたインタラクティブな触感を提示することができる。
ユーザUが自分の肌を撫でる際に生じる実際の音の逆位相の音をバイノーラル音に重畳することにより、実際の音が打ち消されるので、触感のみに対応するバイノーラル音を提示することができる。
【0089】
(5-3)変形例3
変形例3について説明する。変形例3は、ユーザUの環境に応じて最適化されたバイノーラル音を出力する例である。
【0090】
(5-3-1)変形例3の概要
変形例3の概要について説明する。
図13は、変形例3の概要の説明図である。
【0091】
図13に示すように、音声出力装置20から出力されるバイノーラル音を聴いている間に、ユーザUの環境(つまり、バイノーラル音の再生環境)に関する環境情報に応じて、バイノーラル音処理装置10は、バイノーラル音を補正する。
音声出力装置20は、バイノーラル音処理装置10によって補正されたバイノーラル音を出力する。
【0092】
(5-3-2)情報処理
変形例3の情報処理について説明する。
図14は、変形例3の情報処理のフローチャートである。
【0093】
図14に示すように、バイノーラル音処理装置10は、
図9と同様に、ステップS100~S101を実行する。
【0094】
ステップS101の後、バイノーラル音処理装置10は、環境情報の取得(S130)を実行する。
具体的には、バイノーラル音処理装置10は、ユーザUが存在する環境に関する環境情報を検出するように構成された環境センサ(不図示)に接続される。センサは、例えば、以下の少なくとも1つを含む。
・温度を検出する温度センサ
・湿度を検出する湿度センサ
・ユーザUが曝露する紫外線レベルを検出するセンサ
【0095】
プロセッサ12は、入出力インタフェース13を介して、環境センサによって検出された環境情報を取得する。
【0096】
ステップS130の後、バイノーラル音処理装置10は、バイノーラル音の補正(S131)を実行する。
具体的には、記憶装置11には、環境情報毎の補正パラメータが格納されている。
プロセッサ12は、ステップS130で取得した環境情報に対応する補正パラメータを用いて、バイノーラル音の音声特性を補正する。音声特性は、例えば、以下の少なくとも1つを含む。
・周波数(一例として、再生速度)
・音圧
・左右のバイノーラル音の時間差(一例として、位相差)
【0097】
ステップS131の後、バイノーラル音処理装置10は、
図9と同様に、ステップS102を実行する。
【0098】
変形例3によれば、バイノーラル音処理装置10は、ユーザUが存在する環境(つまり、バイノーラル音の再生環境)に応じてバイノーラル音を補正する。これより、ユーザUに対して、環境に応じた触感を体験させることができる。
【0099】
(5-4)変形例4
変形例4について説明する。変形例4は、塗布物に関するコンテンツに合わせてバイノーラル音を出力する例である。
【0100】
(5-4-1)変形例4の概要
変形例4の概要について説明する。
図15は、変形例4の概要の説明図である。
【0101】
図4に示すように、塗布物情報データベースには、塗布物IDと、バイノーラル音源ファイルと、コンテンツファイルと、が関連付けて記憶されている。
図15に示すように、バイノーラル音処理装置10は、コンテンツ(例えば、ユーザUが指定した画像コンテンツ)が選択されると、選択されたコンテンツに対応するコンテンツファイルに関連付けられたバイノーラル音源ファイルを開くことにより、当該バイノーラル音源ファイルに対応する音声信号を生成する。
音声出力装置20は、バイノーラル音処理装置10によって生成された音声信号に基づいて、バイノーラル音を出力する。
【0102】
(5-4-2)情報処理
変形例4の情報処理について説明する。
図16は、変形例4の情報処理のフローチャートである。
図17は、
図16の情報処理において表示される画面例を示す図である。
【0103】
図16に示すように、バイノーラル音処理装置10は、コンテンツの指定の受付(S130)を実行する。
具体的には、プロセッサ12は、画面P130(
図17)をディスプレイに表示する。
【0104】
画面P130は、操作オブジェクトB130と、フィールドオブジェクトF130と、を含む。
フィールドオブジェクトF130は、コンテンツファイルのファイル名を指定するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトB130は、フィールドオブジェクトF130に指定されたファイル名を確定させるためのユーザ指示を受け付けるオブジェクトである。
【0105】
ユーザUがフィールドオブジェクトF130に任意のファイル名を指定し、且つ、操作オブジェクトB130を操作すると、プロセッサ12は、フィールドオブジェクトF130に指定されたファイル名を取得する。
【0106】
ステップS130の後、バイノーラル音処理装置10は、バイノーラル音源の選択(S131)を実行する。
具体的には、プロセッサ12は、塗布物情報データベース(
図4)を参照して、ステップS130で取得したファイル名に対応するコンテンツファイルに関連付けられたバイノーラル音源ファイルを読み出す。
【0107】
ステップS131の後、バイノーラル音処理装置10は、コンテンツ及びバイノーラル音の再生(S132)を実行する。
具体的には、プロセッサ12は、ステップS130で取得したファイル名に対応するコンテンツファイルを開くことにより、画面P131(
図16)をディスプレイに表示する。
【0108】
画面P131は、表示オブジェクトA131を含む。
表示オブジェクトA131には、当該コンテンツファイルに対応するコンテンツ(例えば、塗布物のプロモーション動画)が再生される。
【0109】
プロセッサ12は、表示オブジェクトA131で再生されたコンテンツと同期するように、ステップS131で読み出したバイノーラル音源ファイルに記録されたバイノーラル音の音声信号を生成する。
プロセッサ12は、生成した音声信号を音声出力装置20に送信する。
音声出力装置20は、プロセッサ12から送信された音声信号に基づいて、バイノーラル音を出力する。
【0110】
変形例4によれば、バイノーラル音処理装置10は、ユーザUによって指定されたコンテンツと同期して、バイノーラル音を提示する。これにより、ユーザUに対して、所望のコンテンツを提示しながら、当該コンテンツで紹介される塗布物を使用したときの触感を体験させることができる。
【0111】
なお、変形例4では、バイノーラル音処理装置10は、ステップS130において、CGコンテンツの指定を受け付けた場合、ステップS132において、ユーザ指示に応じてCGコンテンツを変化させ、且つ、変化後のCGコンテンツに応じたバイノーラル音を再生してもよい。
【0112】
一例として、メーキャップのプロフェッショナルがユーザUの顔の画像に対して塗布物を塗布するというシナリオのCGコンテンツが指定された場合、ユーザUは、バイノーラル音処理装置10に対して、以下の少なくとも1つのユーザ指示を与えることができる。
・塗布物を塗布すべき部位(全部又は一部)を指定するための指示
・塗布物の塗布方法(例えば、薄塗り又は厚塗り)を指定するための指示
プロセッサ12は、ユーザ指示に応じて、ディスプレイに表示したCGコンテンツを変化させ、且つ、変化後のCGコンテンツに応じてバイノーラル音源情報も変化させる。
【0113】
この場合、バイノーラル音処理装置10は、ユーザ指示に応じたCGコンテンツ及びバイノーラル音を提示する。これにより、ユーザUに対して、CGコンテンツを体験している間のユーザ指示に応じて、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。
【0114】
(5-5)変形例5
変形例5について説明する。変形例5は、バイノーラル音の再生中に、塗布物の成分の経時的変化に合わせてバイノーラル音を補正する例である。
【0115】
(5-5-1)変形例5の概要
変形例5の概要について説明する。
図18は、変形例5の概要の説明図である。
【0116】
図18に示すように、音声出力装置20から出力されるバイノーラル音を聴いている時間の経過に応じて、バイノーラル音処理装置10は、バイノーラル音を補正する。
音声出力装置20は、バイノーラル音処理装置10によって補正されたバイノーラル音を出力する。
【0117】
(5-5-2)情報処理
変形例5の情報処理について説明する。
図19は、変形例5の情報処理のフローチャートである。
【0118】
図19に示すように、バイノーラル音処理装置10は、
図9と同様に、ステップS100~S101を実行する。
【0119】
ステップS101の後、バイノーラル音処理装置10は、バイノーラル音の補正(S140)を実行する。
具体的には、記憶装置11には、塗布物ID毎に、時間の経過と共に変化する触感に対応する補正パラメータが格納されている。
プロセッサ12は、ステップS100で特定された塗布物IDに関連付けられた補正パラメータを特定する。
プロセッサ12は、バイノーラル音の再生時間に基づいて、特定した補正パラメータを用いて、バイノーラル音の音声特性を補正する。音声特性は、例えば、以下の少なくとも1つを含む。
・周波数(一例として、再生速度)
・音圧
・左右のバイノーラル音の時間差(一例として、位相差)
【0120】
ステップS131の後、バイノーラル音処理装置10は、
図9と同様に、ステップS102を実行する。
【0121】
変形例5によれば、バイノーラル音処理装置10は、再生時間に応じてバイノーラル音を補正する。これにより、ユーザUに対して、塗布物を使用するときの触感の時間変化を体験させることができる。
【0122】
(6)本実施形態の小括
本実施形態について小括する。
【0123】
本実施形態の第1態様は、
複数の塗布物のそれぞれを識別する塗布物識別情報(例えば、塗布物ID)と、各塗布物を肌に塗布したときの音がバイノーラル録音されたバイノーラル音源情報(例えば、バイノーラル音源ファイル)と、を関連付けて記憶する手段(例えば、記憶装置11)を備え、
複数の塗布物の中から少なくとも1つの塗布物を識別する塗布物識別情報を決定する手段(例えば、ステップS100の処理を実行するプロセッサ12)を備え、
決定された塗布物識別情報に関連付けられたバイノーラル音源情報を選択する手段(例えば、ステップS101の処理を実行するプロセッサ12)を備え、
選択されたバイノーラル音源情報を出力する手段(例えば、ステップS102の処理を実行するプロセッサ12)を備える、
バイノーラル音処理装置10である。
【0124】
第1態様によれば、バイノーラル音処理装置10は、塗布物に対応するバイノーラル音をユーザUに提示する。これにより、塗布物を使用する前に、塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0125】
本実施形態の第2態様は、
決定する手段は、操作者の指示に応じて、塗布物識別情報を決定する、
バイノーラル音処理装置10である。
【0126】
第2態様によれば、バイノーラル音処理装置10は、所望の塗布物に対応するバイノーラル音をユーザUに提示する。これにより、塗布物を使用する前に、所望の塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0127】
バイノーラル音源情報と、ユーザの属性に関するユーザ属性情報と、を関連付けて記憶する手段を備え、
ユーザの属性に関するユーザ属性情報(例えば、ステップS110の処理を実行するプロセッサ12)を取得する手段を備え、
選択する手段は、決定された塗布物識別情報、及び、取得されたユーザ属性情報に関連付けられたバイノーラル音源情報を選択する、
バイノーラル音処理装置10である。
【0128】
第3態様によれば、バイノーラル音処理装置10は、ユーザUのユーザ属性に応じたバイノーラル音をユーザUに提示する。これにより、ユーザUに適した塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0129】
本実施形態の第4態様は、
ユーザに対して使用が推奨される塗布物を予測する手段(例えば、ステップS111の処理を実行するプロセッサ12)を備え、
塗布物識別情報を決定する手段は、決定された塗布物の塗布物識別情報を取得する、バイノーラル音処理装置10である。
【0130】
第4態様によれば、バイノーラル音処理装置10は、ユーザUに対して使用が推奨される塗布物のバイノーラル音をユーザUに提示する。これにより、ユーザUに対して使用が推奨される塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0131】
本実施形態の第5態様は、
塗布物を決定する手段は、ユーザの肌の状態に基づいて、塗布物を決定する、
バイノーラル音処理装置10である。
【0132】
第5態様によれば、バイノーラル音処理装置10は、ユーザUの肌状態に基づいて使用が推奨される塗布物のバイノーラル音をユーザUに提示する。これにより、ユーザUの肌状態に応じた塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0133】
本実施形態の第6態様は、
ユーザの行動履歴に基づいて、ユーザに対して使用が推奨される塗布物を予測する手段(例えば、ステップS111の処理を実行するプロセッサ12)を備え、
選択する手段は、予測された塗布物の塗布物識別情報に関連付けられたバイノーラル音源情報を選択する、
バイノーラル音処理装置10である。
【0134】
第6態様によれば、バイノーラル音処理装置10は、ユーザUの行動履歴に基づいて使用が推奨される塗布物のバイノーラル音をユーザUに提示する。これにより、ユーザUの行動の傾向に応じた塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0135】
本実施形態の第7態様は、
行動履歴は、ユーザがアクセスしたウェブサイトの閲覧履歴、及び、ユーザが購入した塗布物の購入履歴の少なくとも1つである、
バイノーラル音処理装置10である。
【0136】
第7態様によれば、バイノーラル音処理装置10は、ユーザUのウェブサイトの閲覧履歴、及び、ユーザが購入した塗布物の購入履歴の少なくとも1つに基づいて使用が推奨される塗布物のバイノーラル音を提示する。これにより、ユーザUの行動の傾向及び購買の傾向の少なくとも1つに応じた塗布物の触感をユーザU(例えば、塗布物の消費者)に体験させることができる。
【0137】
本実施形態の第8態様は、
塗布物を使用するユーザの動きに関する動き情報を取得する手段(例えば、ステップS120の処理を実行するプロセッサ12)を備え、
取得された動き情報に応じて、選択されたバイノーラル音源情報を補正する手段(例えば、ステップS121の処理を実行するプロセッサ12)を備え、
出力する手段は、補正されたバイノーラル音源情報を出力する、
バイノーラル音処理装置10である。
【0138】
第8態様によれば、バイノーラル音処理装置10は、バイノーラル音を聴いている間のユーザUの動きに応じてバイノーラル音を補正する。これにより、ユーザUに対して、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。
また、バイノーラル音を聴いている間にユーザUが動いたとしても、塗布物を使用するときの触感をユーザUに正しく伝達することができる。
【0139】
本実施形態の第9態様は、
動き情報を取得する手段は、イメージセンサ、加速度センサ、ジャイロセンサ、及び、地磁気センサの少なくとも1つから、動き情報を取得する、
バイノーラル音処理装置10である。
【0140】
第9態様によれば、画像、加速度、角加速度、及び、地磁気の少なくとも1つから特定される動き情報に応じて、塗布物を使用するときの触感をユーザUに正しく伝達することができる。
【0141】
本実施形態の第10態様は、
ユーザの環境に関する環境情報を取得する手段(例えば、ステップS130の処理を実行するプロセッサ12)を備え、
取得された環境情報に応じて、選択されたバイノーラル音源情報を補正する手段(例えば、ステップS131の処理を実行するプロセッサ12)を備え、
出力する手段は、補正されたバイノーラル音源情報を出力する、
バイノーラル音処理装置10である。
【0142】
第10態様によれば、バイノーラル音処理装置10は、ユーザUが存在する環境(つまり、バイノーラル音の再生環境)に応じて、バイノーラル音を補正する。これにより、ユーザUに対して、環境に応じた触感を体験させることができる。
【0143】
本実施形態の第11態様は、
塗布物に関する動画コンテンツと、バイノーラル音源情報と、を関連付けて記憶する手段を備え、
選択する手段は、再生される動画コンテンツに関連付けられたバイノーラル音源情報を選択し、
動画コンテンツの再生時間に応じて、バイノーラル音源情報を補正する、
バイノーラル音処理装置10である。
【0144】
第11態様によれば、バイノーラル音処理装置10は、ユーザUによって指定されたコンテンツと同期してバイノーラル音を提示する。これにより、ユーザUに対して、所望のコンテンツを提示しながら、当該コンテンツで紹介される塗布物を使用したときの触感を体験させることができる。
【0145】
本実施形態の第12態様は、
塗布物に関するCGコンテンツと、バイノーラル音源情報と、を関連付けて記憶する手段を備え、
選択する手段は、再生されるCGコンテンツに関連付けられたバイノーラル音源情報を選択し、
CGコンテンツの再生中に受け付けられた操作者の指示に応じて、バイノーラル音源情報を変化させる、
バイノーラル音処理装置10である。
【0146】
第12態様によれば、ユーザUに対して、CGコンテンツを体験している間に与えられた指示(例えば、ユーザ指示)に応じて、塗布物を使用するときの触感をインタラクティブ且つ能動的に体験させることができる。
【0147】
本実施形態の第13態様は、
各塗布物を人体に塗布したときの組成の時間変化を予測するための予測モデルを参照して、決定された塗布物識別情報によって識別される塗布物の組成の時間変化を予測する手段を備え、
予測された時間変化に基づいて、選択されたバイノーラル音源情報を時間変換する手段を備え、
出力する手段は、時間変換されたバイノーラル音源情報を出力する、
バイノーラル音処理装置10である。
【0148】
第13態様によれば、バイノーラル音処理装置10は、再生時間に応じてバイノーラル音を補正する。これにより、ユーザUに対して、塗布物を使用するときの触感の時間変化を体験させることができる。
【0149】
本実施形態の第14態様は、
コンピュータ(例えば、プロセッサ12)に、上記の何れかの各手段を実現させるためのプログラムである。
【0150】
(7)その他の変形例
【0151】
記憶装置11は、ネットワークNWを介して、バイノーラル音処理装置10と接続されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
【0152】
バイノーラル音処理装置10及び音声出力装置20は、一体に構成されてもよい。この場合、バイノーラル音処理装置10及び音声出力装置20は、有線通信又は無線通信ではなく、電気回路によって接続される。
【0153】
バイノーラル音処理装置10が実行するステップの少なくとも一部は、サーバ30が実行してもよい。この場合、バイノーラル音処理装置10は、サーバ30に対して、情報処理のリクエストを送信する。
サーバ30は、バイノーラル音処理装置10から送信されたリクエストに応じた情報処理を実行し、かつ、当該情報処理の結果を含むレスポンスをバイノーラル音処理装置10に送信する。
バイノーラル音処理装置10は、サーバ30から送信されたレスポンスに含まれる情報処理の結果に基づいて、音声出力装置20に音声信号を送信する。
【0154】
記憶装置11に記憶されるデータベースの少なくとも1つは、記憶装置31に記憶されてもよい。
【0155】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0156】
1 :音声処理システム
10 :バイノーラル音処理装置
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
20 :音声出力装置
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェース