(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-23
(45)【発行日】2023-01-31
(54)【発明の名称】情報処理装置、プログラム、及び、センシングデバイス
(51)【国際特許分類】
A61B 5/00 20060101AFI20230124BHJP
A61B 5/11 20060101ALI20230124BHJP
【FI】
A61B5/00 101R
A61B5/00 M
A61B5/11
(21)【出願番号】P 2020521783
(86)(22)【出願日】2019-04-17
(86)【国際出願番号】 JP2019016427
(87)【国際公開番号】W WO2019230234
(87)【国際公開日】2019-12-05
【審査請求日】2022-02-22
(31)【優先権主張番号】P 2018101356
(32)【優先日】2018-05-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【氏名又は名称】木本 大介
(74)【代理人】
【識別番号】100174850
【氏名又は名称】大崎 絵美
(72)【発明者】
【氏名】岡崎 龍太
(72)【発明者】
【氏名】齋藤 直輝
(72)【発明者】
【氏名】岡本 直樹
(72)【発明者】
【氏名】北村 尚美
【審査官】鷲崎 亮
(56)【参考文献】
【文献】特開2010-187928(JP,A)
【文献】特開2005-168884(JP,A)
【文献】特開2010-022572(JP,A)
【文献】国際公開第2016/067942(WO,A1)
【文献】国際公開第2016/083807(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/01
A61B 5/06-5/22
(57)【特許請求の範囲】
【請求項1】
ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
前記振動情報に基づいて、前記ユーザが前記ユーザの肌に触れた接触部位の位置を判定する手段を備え、
前記判定の結果を記憶装置に記憶する手段を備える、
情報処理装置。
【請求項2】
前記判定する手段は、前記ユーザの肌の状態、髪の状態、及び、表情の少なくとも1つを判定する、請求項1に記載の情報処理装置。
【請求項3】
ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
前記振動情報に基づいて、前記ユーザの肌の状態、髪の状態、及び、表情の少なくとも1つを判定する手段を備え、
前記判定の結果を記憶装置に記憶する手段を備える、
情報処理装置。
【請求項4】
前記判定する手段は、前記ユーザが前記ユーザの肌に触れた接触部位の位置を判定する、請求項3に記載の情報処理装置。
【請求項5】
前記判定する手段は、前記接触部位の位置の変位を判定する、
請求項1、請求項2、又は、請求項4に記載の情報処理装置。
【請求項6】
前記判定の結果を前記ユーザに提示する手段を備える、
請求項1~請求項5の何れかに記載の情報処理装置。
【請求項7】
前記提示する手段は、前記判定の結果に対応する音声を前記ユーザに提示する、
請求項6に記載の情報処理装置。
【請求項8】
前記判定が行われた時間に関する時間情報の少なくとも1つと、前記判定の結果と、を関連付けて前記記憶装置に記憶する手段を備える、請求項1~請求項7の何れかに記載の情報処理装置。
【請求項9】
前記判定する手段は、前記記憶装置に記憶された複数の判定の結果に基づいて、前記生体組織の状態の動的変化を判定する、請求項8に記載の情報処理装置。
【請求項10】
前記ユーザの属性に関するユーザ属性情報と、前記判定の結果と、を関連付けて前記記憶装置に記憶する手段を備える、請求項1~請求項9の何れかに記載の情報処理装置。
【請求項11】
前記一対のセンサを装着した第1ユーザから、第1ユーザの第1ユーザ属性情報を取得する手段を備え、
前記記憶装置に記憶されたユーザ属性情報の中から、前記第1ユーザ属性情報に対応する少なくとも1つの第2ユーザ属性情報を特定する手段を備え、
前記判定する手段は、前記一対のセンサから取得した第1振動情報と、前記第2ユーザ属性情報に関連付けられた第2振動情報と、に基づいて、前記第1ユーザの生体組織の状態を判定する、請求項10に記載の情報処理装置。
【請求項12】
コンピュータを、請求項1~請求項11の何れかに記載の
情報処理装置の各手段として機能させるためのプログラム。
【請求項13】
請求項1~請求項11の何れかに記載の情報処理装置と接続可能であり、且つ、前記ユーザの耳に装着可能なセンシングデバイスであって、
ユーザの両耳に接触し、且つ、ユーザの生体組織の振動を検出する一対のセンサを備え
音声を出力する音声出力部を備える、
センシングデバイス。
【請求項14】
前記ユーザの身体特性、及び、前記センシングデバイスの装着位置の少なくとも1つに基づいて、キャリブレーションを実行する手段を更に備える、請求項13に記載のセンシングデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、及び、センシングデバイスに関する。
【背景技術】
【0002】
一般に、化粧品の販売店では、消費者の肌の状態に応じた商品の販売を提案するために、消費者の肌の状態の分析が行われている。
【0003】
従来、人の肌の状態を分析するために、肌の状態を光学的に検出する光学センサが用いられている。例えば、特開2011-149901号公報には、複数波長域の光による像を撮像するために規則的に配列された複数の受光部を有する装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、光学的に検出された肌の状態は、肌の表面の光学特性に強く依存する。そのため、特開2011-149901号公報で得られる検出結果は、肌の内部の状態を反映していない。したがって、肌を含む生体組織の状態の判定の精度は、十分に高くない。
【0005】
本発明の目的は、生体組織の状態の判定の精度を向上させることである。
【課題を解決するための手段】
【0006】
本発明の一態様は、
ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
前記振動情報に基づいて、前記ユーザの生体組織の状態を判定する手段を備え、
前記判定の結果を記憶装置に記憶する手段を備える、
情報処理装置である。
【発明の効果】
【0007】
本発明によれば、生体組織の状態の判定の精度を向上させることができる。
【図面の簡単な説明】
【0008】
【
図1】本実施形態の情報処理システムの概略図である。
【
図2】
図1の情報処理システムの構成を示すブロック図である。
【
図4】本実施形態のユーザ情報データベースのデータ構造を示す図である。
【
図5】本実施形態のセンシングログ情報データベースのデータ構造を示す図である。
【
図6】本実施形態のレコメンド情報マスタデータベースのデータ構造を示す図である。
【
図7】本実施形態の情報処理のシーケンス図である。
【
図8】
図7の情報処理において表示される画面例を示す図である。
【
図9】
図7の情報処理において表示される画面例を示す図である。
【
図10】
図7のセンシングの詳細な処理のフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0010】
(1)情報処理システムの構成
情報処理システムの構成について説明する。
図1は、本実施形態の情報処理システムの概略図である。
図2は、
図1の情報処理システムの構成を示すブロック図である。
【0011】
図1に示すように、ユーザUは、センシングデバイス10の構成要素である一対のセンサ15を自身の両耳に装着する。
図1~
図2に示すように、情報処理システム1は、センシングデバイス10と、サーバ30とを備える。
センシングデバイス10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。
【0012】
センシングデバイス10は、サーバ30にリクエストを送信する情報処理装置の一例である。センシングデバイス10は、例えば、以下の少なくとも1つである。
・ユーザUの両耳の内側に装着可能なインナーイヤー型デバイス(つまり、イヤフォン型デバイス)
・ユーザUの両耳の外側に装着可能なアウターイヤー型デバイス(つまり、ヘッドフォン型デバイス)
・インナーイヤー型デバイス、又は、アウターイヤー型デバイス、及び、コンピュータ(一例として、スマートフォン、タブレット端末、又は、パーソナルコンピュータ)の組合せ
【0013】
サーバ30は、センシングデバイス10から送信されたリクエストに応じたレスポンスをセンシングデバイス10に提供する情報処理装置の一例である。サーバ30は、例えば、ウェブサーバである。
【0014】
(1-1)センシングデバイスの構成
図2を参照して、センシングデバイス10の構成について説明する。
【0015】
図2に示すように、センシングデバイス10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14と、一対のセンサ15と、波形出力部16と、一対の音声出力部17と、を備える。
【0016】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0017】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーションのプログラム
【0018】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0019】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、センシングデバイス10の機能を実現するように構成される。プロセッサ12は、コンピュータの一例である。
【0020】
入出力インタフェース13は、センシングデバイス10に接続される入力デバイスからユーザの指示を取得し、かつ、センシングデバイス10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ、及び、音声出力部17である。
【0021】
通信インタフェース14は、センシングデバイス10とサーバ30との間の通信を制御するように構成される。
【0022】
一対のセンサ15は、センシングデバイス10を装着したユーザUの肌の振動を検出し、且つ、検出した振動に応じた電気信号(以下「振動信号」という)を生成するように構成される。
【0023】
波形出力部16は、振動素子(不図示)に接続される。波形出力部16は、所定の周波数で振動素子を振動させることにより、センシングデバイス10を装着したユーザUに対して、所定の波形を有する振動を付加するように構成される。波形出力部16は、例えば、一対のセンサ15のうち一方の近傍(例えば、ユーザUがセンシングデバイス10を装着したときに、ユーザUの両耳のうち一方の耳の近傍に接触する位置)に配置される。
【0024】
一対の音声出力部17は、プロセッサ12によって生成された音声信号に基づく音声を出力するように構成される。
【0025】
(1-2)サーバの構成
図2を参照して、サーバ30の構成について説明する。
【0026】
図2に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。
【0027】
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0028】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0029】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0030】
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するように構成される。プロセッサ32は、コンピュータの一例である。
【0031】
入出力インタフェース33は、サーバ30に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ30に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0032】
通信インタフェース34は、サーバ30とセンシングデバイス10との間の通信を制御するように構成される。
【0033】
(2)実施形態の概要
本実施形態の概要について説明する。
図3は、本実施形態の概要の説明図である。
【0034】
図3に示すように、ユーザUは、一対のセンサ15を両耳に装着する。
ユーザUの両耳に装着された一対のセンサ15は、ユーザUの生体組織の振動を検出する。
センシングデバイス10は、一対のセンサ15から検出結果(振動)に関する振動情報を取得し、且つ、振動情報に基づいて、ユーザUの生体組織の状態を判定するように構成される。
【0035】
本実施形態によれば、一対のセンサ15が取得した振動に応じた生体組織の状態を判定する。これにより、生体組織の状態の判定の精度を向上させることができる。
【0036】
(3)データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置31に記憶される。
【0037】
(3-1)ユーザ情報データベース
本実施形態のユーザ情報データベースについて説明する。
図4は、本実施形態のユーザ情報データベースのデータ構造を示す図である。
【0038】
図4のユーザ情報データベースには、ユーザに関するユーザ情報が格納される。
ユーザ情報データベースは、「ユーザID」フィールドと、「ユーザ名」フィールドと、「認証情報」フィールドと、「画像」フィールドと、「ユーザ属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0039】
「ユーザID」フィールドには、ユーザを識別するユーザID(「ユーザ識別情報」の一例)が格納される。「ユーザID」フィールドの情報は、ユーザ情報データベースの各レコードの主キーである。
【0040】
「ユーザ名」フィールドには、ユーザの名称に関する情報(例えば、テキスト)が格納される。
【0041】
「認証情報」フィールドには、ログイン認証のために参照される認証情報が格納される。認証情報は、例えば、以下の少なくとも1つである。
・パスワード
・指紋のパターンに関する情報
・顔の特徴量に関する情報
・ワンタイム認証コード
【0042】
「画像」フィールドには、ユーザの画像(例えば、ユーザの肌の画像、及び、ユーザの髪の画像の少なくとも1つ)の画像データが格納される。
【0043】
「ユーザ属性」フィールドには、ユーザの属性に関するユーザ属性情報が格納される。「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。
【0044】
「性別」フィールドには、ユーザの性別に関する情報が格納される。
【0045】
「年齢」フィールドには、ユーザの年齢に関する情報が格納される。
【0046】
(3-2)センシングログ情報データベース
本実施形態のセンシングログ情報データベースについて説明する。
図5は、本実施形態のセンシングログ情報データベースのデータ構造を示す図である。
【0047】
図5のセンシングログ情報データベースには、センシングデバイス10によって取得された情報の履歴(以下「センシングログ情報」という)が格納される。
センシングログ情報データベースは、「ログID」フィールドと、「判定日時」フィールドと、「波形ファイル」フィールドと、「振幅」フィールドと、「位置」フィールドと、「方向」フィールドと、「速度」フィールドと、「状態」フィールドと、を含む。各フィールドは、互いに関連付けられている。
センシングログ情報データベースは、ユーザIDに関連付けられている。
【0048】
「ログID」フィールドには、センシングログ情報を識別するログIDが格納される。「ログID」フィールドの情報は、センシングログ情報データベースの各レコードの主キーである。
【0049】
「判定日時」フィールドには、生体組織の状態の判定の実行日時に関する情報が格納される。
【0050】
「波形ファイル」フィールドには、センシングデバイス10によって検出された振動の波形を示す波形ファイルが格納される。
【0051】
「振幅」フィールドには、センシングデバイス10によって検出された振動の振幅に関する情報が格納される。
【0052】
「位置」フィールドには、センシングデバイス10の検出が実行されたときにユーザUが触れた接触部位に関する接触部位情報が格納される。
【0053】
「方向」フィールドには、センシングデバイス10の検出が実行されたときにユーザUが触れた接触部位の変位方向に関する情報が格納される。
【0054】
「速度」フィールドには、センシングデバイス10の検出が実行されたときにユーザUが触れた接触部位の変位速度に関する情報が格納される。
【0055】
「状態」フィールドには、生体組織の状態の判定結果に関する情報が格納される。「状態」フィールドは、複数のサブフィールド(「凹凸」フィールド、及び、「ケアレベル」フィールド)を含む。
【0056】
「凹凸」フィールドには、生体組織(肌及び髪の少なくとも1つ)の凹凸に関する情報(例えば、凹凸の程度を示す数値)が格納される。
【0057】
「ケアレベル」フィールドには、生体組織(肌及び髪の少なくとも1つ)に対するケアの適正レベルに関する情報(例えば、ケアの適正を示す数値)が格納される。ケアの適正レベルに関する情報は、例えば、肌ケアのために肌に塗布された塗布物(一例として、肌ケア用クリーム)の塗布の強度及び位置の適正レベルを示す。
【0058】
(3-3)レコメンド情報マスタデータベース
本実施形態のレコメンド情報マスタデータベースについて説明する。
図6は、本実施形態のレコメンド情報マスタデータベースのデータ構造を示す図である。
【0059】
図6のレコメンド情報マスタデータベースには、生体組織の状態に応じてユーザに提示すべきレコメンド情報が格納される。
レコメンド情報マスタデータベースは、「レコメンドID」フィールドと、「状態」フィールドと、「レコメンド情報」フィールドと、を含む。
【0060】
「レコメンドID」フィールドには、レコメンド情報を識別するレコメンドIDが格納される。「レコメンドID」フィールドの情報は、レコメンド情報マスタデータベースの各レコードの主キーである。
【0061】
「状態」フィールドには、生体組織の状態の指標(例えば、凹凸及びケアレベル)毎に、生体組織の状態に関する情報が格納される。
【0062】
「レコメンド情報」フィールドには、生体組織の状態の判定結果に基づいてユーザに対して推奨されるレコメンド情報が格納される。「レコメンド情報」フィールドは、複数のサブフィールド(「アドバイス」フィールド及び「推奨アイテム」フィールド)を含む。各サブフィールドは、互いに、関連付けられている。
【0063】
「アドバイス」フィールドには、生体組織の状態に応じて推奨されるアドバイスに関するレコメンドアドバイス情報が格納される。レコメンドアドバイス情報は、例えば、以下の少なくとも1つを含む。
・生体組織のケアの方法
・ケアアイテムの使用方法
【0064】
「推奨アイテム」フィールドには、生体組織の状態に応じて使用が推奨されるケアアイテムに関するレコメンドアイテム情報(例えば、当該アイテムを識別するアイテムID)が格納される。
【0065】
(4)情報処理
本実施形態の情報処理について説明する。
図7は、本実施形態の情報処理のシーケンス図である。
図8~
図9は、
図7の情報処理において表示される画面例を示す図である。
図10は、
図7のセンシングの詳細な処理のフローチャートである。
【0066】
図7に示すように、センシングデバイス10は、ログイン情報の受付(S100)を実行する。
具体的には、プロセッサ12は、画面P100(
図8)をディスプレイに表示する。
【0067】
画面P100は、操作オブジェクトB100と、フィールドオブジェクトF100と、を含む。
フィールドオブジェクトF100は、ログイン情報(例えば、ユーザID及びパスワード)のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトB100は、ログインリクエストを実行させるためのユーザ指示を受け付けるオブジェクトである。
【0068】
ステップS100の後、センシングデバイス10は、ログインリクエスト(S101)を実行する。
具体的には、ユーザがフィールドオブジェクトF100にログイン情報を入力し、且つ、操作オブジェクトB100を操作すると、プロセッサ12は、ログインリクエストデータをサーバ30に送信する。
ログインリクエストデータは、以下の情報を含む。
・フィールドオブジェクトF100に入力されたユーザID
・フィールドオブジェクトF100に入力されたパスワード
【0069】
ステップS101の後、サーバ30は、ログインリクエストデータに基づいて、ユーザ認証(S300)を実行する。
具体的には、プロセッサ32は、ユーザ情報データベース(
図4)を参照して、ログインリクエストデータに含まれるユーザIDに関連付けられたパスワードを特定する。
プロセッサ32は、特定したパスワードと、ログインリクエストデータに含まれるパスワードと、を照合する。
2つのパスワードが一致する場合、ユーザ認証に成功する。
2つのパスワードが一致しない場合、ユーザ認証に失敗する。
【0070】
ステップS300の後、サーバ30は、ログインレスポンス(S301)を実行する。
具体的には、ステップS300でユーザ認証に成功した場合、プロセッサ32は、ログインレスポンスデータをセンシングデバイス10に送信する。
【0071】
ステップS301の後、センシングデバイス10は、音楽再生(S102)を実行する。
具体的には、プロセッサ12は、画面P101(
図8)をディスプレイに表示する。
【0072】
画面P101は、操作オブジェクトB101と、フィールドオブジェクトF101と、を含む。
フィールドオブジェクトF101は、再生対象となる音楽ファイルを指定するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトB101は、フィールドオブジェクトF101で受け付けられたユーザ指示によって指定される音楽ファイルの再生を開始するためのユーザ指示を受け付けるオブジェクトである。
【0073】
ユーザがフィールドオブジェクトF101に音楽ファイルを指定するためのユーザ指示を与え、且つ、操作オブジェクトB101を操作すると、プロセッサ12は、指定された音楽ファイルに基づく音声信号を生成する。
プロセッサ12は、生成した音声信号を音声出力部17に送信する。
一対の音声出力部17は、プロセッサ12から送信された音声信号を出力する。
これにより、ユーザは、フィールドオブジェクトF101に指定した音楽ファイルに対応する音楽を聴くことができる。
【0074】
ステップS102の後、センシングデバイス10は、センシング(S103)を実行する。
具体的には、ステップS103は、
図10のフローチャートに従って実行される。
【0075】
図10に示すように、センシングデバイス10は、キャリブレーション(S1030)を実行する。
具体的には、プロセッサ12は、画面P102(
図8)をディスプレイに表示する。
画面P102には、ユーザUの顔の特定の部位(例えば、鼻、眉毛、及び、耳たぶ)を順番に触れることをユーザUに促すためのメッセージが表示される。
【0076】
プロセッサ12は、波形出力部16に、所定のキャリブレーション制御信号を与える。
波形出力部16は、プロセッサ12から与えられたキャリブレーション制御信号に従い、所定のキャリブレーション周波数で振動素子を振動させる。振動素子が振動すると、センシングデバイス10を装着したユーザUの肌に、所定の波形を有する振動(以下「キャリブレーション振動」という)が加えられる。
一対のセンサ15は、ユーザUの肌を伝搬した振動(以下「キャリブレーション用伝搬振動」という)を検出し、且つ、キャリブレーション用伝搬振動に応じた電気信号を生成する。
プロセッサ12は、一対のセンサ15によって生成された電気信号に基づいて、キャリブレーション用伝搬振動の波形を生成する。
プロセッサ12は、キャリブレーション波形と、キャリブレーション用伝搬振動の波形と、を比較することにより、検出振動の歪を計算する。この歪は、キャリブレーション振動がユーザUの肌を伝搬する間に、ユーザUの身体特性(例えば、顔の大きさ)及びセンシングデバイス10の装着位置の少なくとも1つに起因して発生する。
プロセッサ12は、計算した歪に応じた動作パラメータを波形出力部16に与える。これにより、ユーザUの身体特性及びセンシングデバイス10の装着位置の少なくとも1つに応じて、波形出力部16の動作に関する動作パラメータが補正される。
【0077】
ステップS1030の後、測定(S1031)を実行する。
具体的には、プロセッサ12は、画面P103(
図8)をディスプレイに表示する。
画面P103には、ユーザUの所望の部位(例えば、ユーザUが気になっている部位)に触れることをユーザUに促すためのメッセージが表示される。
【0078】
一対のセンサ15は、ユーザUの肌を伝搬した振動(以下「センシング用伝搬振動」という)を検出し、且つ、センシング用伝搬振動に応じた電気信号を生成する。
【0079】
ステップS1031は、所定時間の間、継続的に実行される(S1032-NO)。
所定時間の測定(S1031)が終了すると(S1032-YES)、センシングデバイス10は、検出結果の生成(S1033)を実行する。
具体的には、プロセッサ12は、一対のセンサ15によって生成された電気信号に基づいて、センシング用伝搬振動の波形に関する波形データを生成する。
プロセッサ12は、波形データに基づいて、振動情報を生成する。振動情報は、例えば、以下の少なくとも1つを含む
・振動周波数
・センシング用伝搬振動の振幅(一例として、振幅の平均値、左右のセンサ15によって取得された振幅の差)
・左右のセンサ15によって取得された波形データの位相差
・接触部位
・接触部位の変位方向
・接触部位の変位速度
【0080】
ステップS1033の後、センシングデバイス10は、判定リクエスト(S104)を実行する。
具体的には、プロセッサ12は、画面P104(
図9)をディスプレイに表示する。
【0081】
画面P104は、測定が終了したことを示すメッセージと、操作オブジェクトB104と、を含む。
操作オブジェクトB104は、判定リクエストを実行させるためのユーザ指示を受け付けるオブジェクトである。
【0082】
ユーザUが操作オブジェクトB104を操作すると、プロセッサ12は、判定リクエストデータをサーバ30に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップS1033で生成された波形データ
・ステップS1033で特定された部位に関する情報
・ステップS1033で計算された振幅の平均値
・ステップS1033で計算された方向及び速度
【0083】
ステップS104の後、サーバ30は、判定(S302)を実行する。
具体的には、記憶装置31には、状態判定モデルが記憶されている。
状態判定モデルは、センシング用伝搬振動の波形に基づいて生体組織(例えば、肌又は髪)の状態を判定するためのモデルである。状態判定モデルの入力及び出力は、以下のとおりである。
・入力:波形データ
・出力:生体組織の状態
プロセッサ32は、判定リクエストデータに含まれる波形データを状態判定モデルに入力することにより、ユーザUの生体組織の状態を判定する。
【0084】
ステップS302の後、サーバ30は、レコメンド(S303)を実行する。
具体的には、プロセッサ32は、レコメンド情報マスタデータベース(
図6)を参照して、生体組織の状態の判定結果(一例として、凹凸及びケアレベルの組合せ)に関連付けられたレコードを特定する。
プロセッサ32は、特定したレコードの「レコメンド情報」フィールドのレコメンド情報(つまり、アドバイス及び推奨アイテム)を特定する。
【0085】
ステップS303の後、サーバ30は、データベースの更新(S304)を実行する。
具体的には、プロセッサ32は、ログインリクエストデータに含まれるユーザIDに関連付けられたセンシングログ情報データベース(
図5)に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「ログID」フィールドには、新規のログIDが格納される。
・「判定日時」フィールドには、ステップS302の実行日時に関する情報が格納される。
・「波形ファイル」フィールドには、判定リクエストデータに含まれる波形データが格納される。
・「振幅」フィールドには、判定リクエストデータに含まれる振幅の平均値が格納される。
・「位置」フィールドには、判定リクエストデータに含まれる部位に関する情報が格納される。
・「方向」フィールドには、判定リクエストデータに含まれる方向に関する情報が格納される。
・「速度」フィールドには、判定リクエストデータに含まれる速度に関する情報が格納される。
・「状態」フィールドには、ステップS302で判定された生体組織の状態の判定結果に関する情報が格納される。
【0086】
ステップS304の後、サーバ30は、判定レスポンス(S305)を実行する。
具体的には、プロセッサ32は、判定レスポンスデータをセンシングデバイス10に送信する。
【0087】
第1例として、判定レスポンスデータは、以下の情報を含む。
・ステップS304で「状態」フィールドに記憶された生体組織の状態の判定結果に関する情報
・ステップS302で特定されたレコードの「レコメンド情報」フィールド(つまり、「アドバイス」フィールド及び「推奨アイテム」フィールド)のレコメンド情報
【0088】
第2例として、記憶装置31には、生体組織の状態毎に、当該状態を再現する音声に関する音声データが記憶されている。音声データには、例えば、様々な状態の肌サンプル又は毛髪サンプルに触れたときの音が録音されている。
この場合、判定レスポンスデータは、ステップS304で「状態」フィールドに記憶された生体組織の状態の判定結果に対応する音声データを含む。
【0089】
ステップS305の後、センシングデバイス10は、判定結果の提示(S105)を実行する。
【0090】
ステップS105の第1例として、プロセッサ12は、第1例の判定レスポンスデータに基づいて、画面P105をディスプレイに表示する。
【0091】
画面P105は、表示オブジェクトA105a~A105bを含む。
表示オブジェクトA105aには、ステップS1033で特定された接触部位と、判定レスポンスデータに含まれる生体組織の状態の判定結果に関する情報と、が表示される。
表示オブジェクトA105bには、判定レスポンスデータに含まれるレコメンド情報が表示される。
この場合、ユーザUは、視覚によって、自身の生体組織の状態を認識することができる。
【0092】
ステップS105の第2例として、プロセッサ12は、第2例の判定レスポンスデータに基づいて、音声データに対応する音声を提示する。
この場合、ユーザUは、聴覚によって、自身の生体組織の状態を認識することができる。
【0093】
このように、本実施形態によれば、一対のセンサ15によって検出されたセンシング用伝搬振動の波形に基づいて、ユーザUの生体組織(例えば、肌又は髪)の状態が判定される。したがって、生体組織の状態の判定の精度を向上させることができる。
【0094】
(5)変形例
本実施形態の変形例について説明する。
【0095】
(5-1)変形例1
変形例1について説明する。変形例1は、センシング用伝搬振動の波形に基づいてユーザUの筋肉組織の状態を判定する例である。
【0096】
変形例1のセンシングデバイス10は、ステップS1031において、ユーザUの筋肉の筋音を検出し、且つ、筋音に応じた電気信号を生成する。
【0097】
センシングデバイス10は、ステップS1033において、センシング用伝搬振動の波形に関する波形データと、筋音に関する筋音データと、を生成する。
【0098】
センシングデバイス10は、ステップS104において、センシング用伝搬振動の波形に関する波形データと、筋音データと、を含む判定リクエストデータをサーバ30に送信する。
【0099】
変形例1のサーバ30は、ステップS302(
図7)において、判定リクエストデータに含まれる波形データ及び筋音データに基づいて、ユーザUの表情を判定する。
具体的には、記憶装置31には、表情判定モデルが記憶されている。
状態判定モデルは、センシング用伝搬振動の波形に基づいて表情を判定するためのモデルである。表情判定モデルの入力及び出力は、以下のとおりである。
・入力:波形データ及び筋音データ
・出力:表情
プロセッサ32は、判定リクエストデータに含まれる波形データ及び筋音データを表情判定モデルに入力することにより、ユーザUの表情を判定する。
【0100】
サーバ30は、ステップS303において、ユーザUの表情の判定結果に基づいて、レコメンド情報を決定する。
具体的には、プロセッサ32は、レコメンド情報マスタデータベース(
図6)を参照して、表情の判定結果に関連付けられたレコードを特定する。
プロセッサ32は、特定したレコードの「レコメンド情報」フィールドのレコメンド情報を特定する。
【0101】
変形例1によれば、一対のセンサ15によって検出されたセンシング用伝搬振動の波形に基づいて、ユーザUの筋肉組織の状態(例えば、表情)が判定される。したがって、筋肉組織の状態の判定の精度を向上させることができる。
【0102】
(5-2)変形例2
変形例2について説明する。変形例2は、生体組織の状態の時間変化に応じたレコメンド情報を提供する例である。
【0103】
変形例2のサーバ30は、ステップS303(
図7)において、生体組織の状態の時間変化に応じたレコメンド情報を判定する。
具体的には、記憶装置31には、レコメンド判定モデルが記憶されている。
レコメンド判定モデルは、生体組織の状態の時間変化に基づいてレコメンド情報を判定するためのモデルである。レコメンド判定モデルの入力及び出力は以下のとおりである。
・入力:生体組織の状態の時間変化
・出力:レコメンド情報
【0104】
プロセッサ32は、ログインリクエストデータに含まれるユーザIDに関連付けられたセンシングログ情報データベース(
図5)を特定する。
プロセッサ32は、特定したセンシングログ情報データベースにおいて、「判定日時」フィールドの情報が所定条件を満たすレコードを抽出する。所定条件は、例えば、ステップS303の実行日時を基準として、遡って所定期間内(一例として、1ヶ月以内)の日時を示すことである。
プロセッサ32は、抽出したレコードの「状態」フィールドの情報を参照して、生体組織の状態の時間変化を判定する。
プロセッサ32は、判定した生体組織の状態の時間変化をレコメンド判定モデルに入力することにより、レコメンド情報を決定する。
【0105】
変形例2によれば、生体組織の状態の時間変化に応じたレコメンド情報がユーザUに提示される。これにより、ユーザUにより適合するレコメンド情報を提示することができる。
【0106】
(5-3)変形例3
変形例3について説明する。変形例3は、ユーザUの生体組織の状態を判定するときに、他のユーザの判定結果を参照する例である。
【0107】
変形例3のサーバ30は、ステップS302(
図7)において、他のユーザの判定結果を参照して、ユーザUの生体組織の状態を判定する。
具体的には、プロセッサ32は、ユーザ情報データベース(
図4)を参照して、ログインリクエストデータに含まれるユーザID(つまり、判定の対象となる対象ユーザUのユーザID)に関連付けられた「ユーザ属性」フィールドのユーザ属性情報(以下「対象ユーザ属性情報」という)を特定する。対象ユーザUは、「第1ユーザ」の一例である。対象ユーザ属性情報は、「第1ユーザ属性情報」の一例である。
プロセッサ32は、ユーザ情報データベースを参照して、特定した対象ユーザ属性情報に対応するユーザ情報(以下「参照ユーザ属性情報」という)に関連付けられたユーザID(以下「参照ユーザID」という)を特定する。「対象ユーザ属性情報に対応するユーザ属性情報」とは、以下の何れかの条件を満たすユーザ属性情報である。参照ユーザ属性情報は、「第2ユーザ属性情報」の一例である。
・対象ユーザ属性情報と同一のユーザ属性情報
・「性別」フィールドの情報が対象ユーザ属性情報と同一のユーザ属性情報
・「年齢」フィールドの情報と対象ユーザ情報の年齢との差が所定値以下であるユーザ属性情報
【0108】
プロセッサ32は、参照ユーザIDに関連付けられたセンシングログ情報データベース(
図5)の「波形ファイル」フィールドを参照して、参照ユーザIDに対応する参照ユーザ(「第2ユーザ」の一例)の波形データを特定する。
プロセッサ32は、判定リクエストデータに含まれる波形データと、参照ユーザの波形データと、を状態判定モデルに入力することにより、ユーザUの生体組織の状態を判定する。
【0109】
変形例3によれば、対象ユーザUの波形データだけでなく、参照ユーザの波形データも参照して、対象ユーザUの生体組織の状態を判定する。つまり、状態判定モデルに入力される波形データの数は、本実施形態より多い。これにより、判定の精度を向上させることができる。
【0110】
(6)本実施形態の小括
本実施形態について小括する。
【0111】
本実施形態の第1態様は、
ユーザUの両耳に装着され、且つ、ユーザUの生体組織の振動を検出する一対のセンサ15から、振動に関する振動情報を取得する手段(例えば、ステップS302の処理を実行するプロセッサ32)を備え、
振動情報に基づいて、ユーザUの生体組織の状態を判定する手段(例えば、ステップS302の処理を実行するプロセッサ32)を備え、
前記判定の結果を記憶装置に記憶する手段(例えば、ステップS304の処理を実行するプロセッサ32)を備える、
情報処理装置(例えば、サーバ30)である。
【0112】
第1態様によれば、肌の振動に応じて生体組織の状態が判定される。これにより、生体組織の状態の判定の精度を向上させることができる。
【0113】
本実施形態の第2態様は、
判定の結果をユーザUに提示する手段(例えば、ステップS305の処理を実行するプロセッサ32)を備える、
情報処理装置(例えば、サーバ30)である。
【0114】
第2態様によれば、ユーザUは容易に生体組織の状態を知ることができる。
【0115】
本実施形態の第3態様は、
提示する手段は、判定の結果に対応する音声をユーザUに提示する、
情報処理装置(例えば、サーバ30)である。
【0116】
第3態様によれば、振動から判定された生体組織の状態を、振動と親和性の高い音声という形態で知らせることができる。
【0117】
本実施形態の第4態様は、
判定が行われた時間に関する時間情報の少なくとも1つと、判定の結果と、を関連付けて記憶装置31に記憶する手段(例えば、ステップS304の処理を実行するプロセッサ32)を備える、
情報処理装置(例えば、サーバ30)である。
【0118】
第4態様によれば、生体組織の状態の時間変化を記録することができる。
【0119】
本実施形態の第5態様は、
判定する手段は、記憶装置31に記憶された複数の判定の結果に基づいて、生体組織の状態の動的変化を判定する、
情報処理装置(例えば、サーバ30)である。
【0120】
第5態様によれば、生体組織の状態の時間変化を記録することができる。
【0121】
本実施形態の第6態様は、
ユーザUの属性に関するユーザ属性情報と、判定の結果と、を関連付けて記憶装置31に記憶する手段(例えば、ステップS304の処理を実行するプロセッサ32)を備える、
情報処理装置(例えば、サーバ30)である。
【0122】
第6態様によれば、ユーザ属性毎に、生体組織の状態を記録することができる。
【0123】
本実施形態の第7態様は、
一対のセンサ15を装着した第1ユーザから、第1ユーザの第1ユーザ属性情報を取得する手段を備え、
記憶装置31に記憶されたユーザ属性情報の中から、第1ユーザ属性情報に対応する少なくとも1つの第2ユーザ属性情報を特定する手段を備え、
判定する手段は、一対のセンサ15から取得した第1振動情報と、第2ユーザ属性情報に関連付けられた第2振動情報と、に基づいて、第1ユーザの生体組織の状態を判定する、
情報処理装置(例えば、サーバ30)である。
【0124】
第7態様によれば、あるユーザ(第1ユーザ)の生体組織の状態を判定するときに、他のユーザ(第2ユーザ)の生体組織の状態の判定結果を参照する。これにより、生体組織の状態の判定の精度を向上させることができる。
【0125】
本実施形態の第8態様は、
判定する手段は、ユーザUがユーザUの肌に触れた接触部位の位置を判定する、
情報処理装置(例えば、サーバ30)である。
【0126】
第8態様によれば、振動から接触部位の位置を判定する。これにより、接触部位の位置に応じた様々な処理が実現可能になる。
【0127】
本実施形態の第9態様は、
判定する手段は、接触部位の位置の変位を判定する、
情報処理装置(例えば、サーバ30)である。
【0128】
第9態様によれば、振動から接触部位の位置の変位を判定する。これにより、接触部位の位置の変化に応じた様々な処理が実現可能になる。
【0129】
本実施形態の第10態様は、
判定する手段は、ユーザUの肌の状態、髪の状態、及び、表情の少なくとも1つを判定する、
情報処理装置(例えば、サーバ30)である。
【0130】
本実施形態の第11態様は、
コンピュータ(例えば、プロセッサ32)を、上記の何れかに記載の各手段として機能させるためのプログラムである。
【0131】
本実施形態の第12態様は、
上記の何れかに記載の情報処理装置(例えば、サーバ30)と接続可能であり、且つ、ユーザUの耳に装着可能なセンシングデバイス10であって、
ユーザUの両耳に接触し、且つ、ユーザUの生体組織の振動を検出する一対のセンサ15を備え
音声を出力する音声出力部17を備える、
センシングデバイス10である。
【0132】
第12態様によれば、肌の振動は、比較的小型のセンサ15によって測定される。これにより、生体組織の状態を判定するためのセンシングデバイス10を小型化することができる。
また、第12態様によれば、一対のセンサ15は、ユーザUの両耳に装着可能であるので、ユーザUの使用に対する心理障壁を低減することができる。その結果、ユーザUは、違和感を覚えることなくセンシングデバイス10を使用することができる。これは、ユーザUによるセンシングデバイス10の使用頻度(つまり、センシングログ情報の取得頻度)の増加を導く。
【0133】
本実施形態の第13態様は、
ユーザUの身体特性、及び、センシングデバイス10の装着位置の少なくとも1つに基づいて、キャリブレーションを実行する手段(例えば、ステップS1030の処理を実行するプロセッサ12)を更に備える、
センシングデバイス10である。
【0134】
第13態様によれば、ユーザUの身体的特性、及び、ユーザUによるによるセンシングデバイス10の装着位置に関わらず、測定精度を向上させることができる。
【0135】
(7)その他の変形例
【0136】
記憶装置11は、ネットワークNWを介して、センシングデバイス10と接続されてもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。
【0137】
上記の情報処理の各ステップは、センシングデバイス10のみでも実行可能である。この場合、記憶装置31に記憶されたデータベースは、記憶装置11に記憶される。
【0138】
画面P102~P104に含まれるメッセージは、一対の音声出力部17を介してユーザUに提示されてもよい。
【0139】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0140】
1 情報処理システム
10 センシングデバイス
11 記憶装置
12 プロセッサ
13 入出力インタフェース
14 通信インタフェース
15 センサ
16 波形出力部
17 音声出力部
30 サーバ
31 記憶装置
32 プロセッサ
33 入出力インタフェース
34 通信インタフェース