特許 7552338 情報提供装置、情報提供方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】情報提供装置、情報提供方法、およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240910BHJP

   G06F 3/16 20060101ALI20240910BHJP

   G10L 25/21 20130101ALI20240910BHJP

【ＦＩ】

G06F3/01 560

G06F3/16 620

G06F3/16 650

G10L25/21

【請求項の数】 7

(21)【出願番号】P 2020210687

(22)【出願日】2020-12-18

(65)【公開番号】P2022097227

(43)【公開日】2022-06-30

【審査請求日】2023-11-30

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】菅原 隆幸

【審査官】酒井 優一

(56)【参考文献】

【文献】特表２００５－５０６６１３（ＪＰ，Ａ）

【文献】特開２０２０－０１０３２２（ＪＰ，Ａ）

【文献】特開２０１２－１６８９４７（ＪＰ，Ａ）

【文献】特開２０１４－２３９４３０（ＪＰ，Ａ）

【文献】特開２０１８－１０９９６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ ２５／２１

(57)【特許請求の範囲】

【請求項1】

ユーザの第１感覚を刺激する第１感覚刺激情報を検出する検出部と、
前記第１感覚刺激情報に基づいて、前記第１感覚とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成する生成部と、
前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供する提供部と、
を備え、
前記第１感覚刺激情報は、視覚を刺激する視覚刺激情報を含み、
前記第２感覚刺激情報は、触覚を刺激する触覚刺激情報を含み、
前記視覚刺激情報から人物の動きを検出する動きベクトル算出部をさらに備え、
前記動きベクトル算出部は、検出した前記人物の動きベクトルのスカラー値の合計値を算出し、
前記提供部は、前記スカラー値の合計値が予め定められた閾値を超えた場合に、視覚刺激情報と、第１の触覚刺激情報とを同期して前記ユーザに提供し、前記人物の動きベクトルのスカラー値の合計値が閾値以上となるタイミングと閾値以下となるタイミングとが所定の間隔以下である場合には、第２の触覚刺激情報を前記ユーザに提供する、
情報提供装置。

【請求項2】

前記第１感覚刺激情報は、聴覚を刺激する聴覚刺激情報を含む、
請求項１に記載の情報提供装置。

【請求項3】

前記提供部は、前記聴覚刺激情報のレベルが予め定められた閾値を超えた場合に、前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供する、
請求項２に記載の情報提供装置。

【請求項4】

前記提供部は、前記触覚刺激情報の周波数帯域ごとのパワーが、周波数ごとに予め定められた閾値を超えた場合に、前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供する、
請求項２に記載の情報提供装置。

【請求項5】

前記閾値は、所定期間の前記聴覚刺激情報のレベルまたは前記聴覚刺激情報の周波数ごとのパワーに基づいて設定される、
請求項３または４に記載の情報提供装置。

【請求項6】

ユーザの第１感覚を刺激する第１感覚刺激情報を検出するステップと、
前記第１感覚刺激情報に基づいて、前記第１感覚とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成するステップと、
前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供するステップと、
を含み、
前記第１感覚刺激情報は、視覚を刺激する視覚刺激情報を含み、
前記第２感覚刺激情報は、触覚を刺激する触覚刺激情報を含み、
前記視覚刺激情報から人物の動きを検出するステップと、
検出した前記人物の動きベクトルのスカラー値の合計値を算出するステップと、
前記スカラー値の合計値が予め定められた閾値を超えた場合に、視覚刺激情報と、第１の触覚刺激情報とを同期して前記ユーザに提供するステップと、
前記人物の動きベクトルのスカラー値の合計値が閾値以上となるタイミングと閾値以下となるタイミングとが所定の間隔以下である場合には、第２の触覚刺激情報を前記ユーザに提供するステップと、
を含む、情報提供方法。

【請求項7】

ユーザの第１感覚を刺激する第１感覚刺激情報を検出するステップと、
前記第１感覚刺激情報に基づいて、前記第１感覚とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成するステップと、
前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供するステップと、
を含み、
前記第１感覚刺激情報は、視覚を刺激する視覚刺激情報を含み、
前記第２感覚刺激情報は、触覚を刺激する触覚刺激情報を含み、
前記視覚刺激情報から人物の動きを検出するステップと、
検出した前記人物の動きベクトルのスカラー値の合計値を算出するステップと、
前記スカラー値の合計値が予め定められた閾値を超えた場合に、視覚刺激情報と、第１の触覚刺激情報とを同期して前記ユーザに提供するステップと、
前記人物の動きベクトルのスカラー値の合計値が閾値以上となるタイミングと閾値以下となるタイミングとが所定の間隔以下である場合には、第２の触覚刺激情報を前記ユーザに提供するステップと、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報提供装置、情報提供方法、およびプログラムに関する。

【背景技術】

【0002】

近年、スマートフォンを中心に、高度な情報処理を実行することのできるＣＰＵ（Central Processing Unit）を搭載しているウエラブルデバイスの開発が進められている。このようなウエラブルデバイスとしては、ユーザの頭部に装着されるヘッドマウントディスプレイ方式のウエラブルデバイスが注目されている。例えば、特許文献１には、複数の感覚情報を統合してユーザに提示することによって、仮想物体が実在しているような感覚をユーザに与える技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－９６１７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、ユーザの情報を提供する装置において、複数の感覚を刺激することで適切に情報を提供することが求められている。

【0005】

本発明は、複数の感覚を刺激することで適切に情報を提供することのできる情報提供装置、情報提供方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る情報提供装置は、ユーザの第１感覚を刺激する第１感覚刺激情報を検出する検出部と、前記第１感覚刺激情報に基づいて、前記第１感覚とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成する生成部と、前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供する提供部と、を備える。

【0007】

本発明に係る情報提供装置は、ユーザの複数種類の感覚を刺激する複数種類の感覚刺激情報を含む第１感覚刺激情報を検出する検出部と、前記第１感覚刺激情報に含まれる複数種類の感覚刺激情報のうち、少なくとも２つの感覚刺激情報に基づいて、前記少なくとも２つの感覚刺激情報とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成する生成部と、前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供する提供部と、を備える。

【0008】

本発明に係る情報提供方法は、ユーザの第１感覚を刺激する第１感覚刺激情報を検出するステップと、前記第１感覚刺激情報に基づいて、前記第１感覚とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成するステップと、前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供するステップと、を含む。

【0009】

本発明に係るプログラムは、ユーザの第１感覚を刺激する第１感覚刺激情報を検出するステップと、前記第１感覚刺激情報に基づいて、前記第１感覚とは異なる前記ユーザの第２感覚を刺激する第２感覚刺激情報を生成するステップと、前記第１感覚刺激情報と、前記第２感覚刺激情報とを同期して前記ユーザに提供するステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、複数の感覚を刺激することで適切に情報を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１実施形態に係る情報提供装置の模式図である。

【図2】図２は、第１実施形態に係る情報提供装置の構成例を示すブロック図である。

【図3】図３は、第１実施形態に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【図4】図４は、第１実施形態に係る音声信号の音声レベルを説明するための図である。

【図5】図５は、第１実施形態に係る第２感覚刺激情報を出力するタイミングを算出する方法を説明するための図である。

【図6】図６は、検出した音声に基づいて振動のリズムを生成する方法を説明するための図である。

【図7】図７は、第１実施形態の第１変形例に係る情報提供装置の構成例を示すブロック図である。

【図8】図８は、第１実施形態の第１変形例に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【図9】図９は、第１実施形態の変形例に係る音声信号の音声のパワー値を説明するための図である。

【図10】図１０は、閾値を変更する方法を説明するための図である。

【図11】図１１は、第２実施形態に係る情報提供装置の構成例を示すブロック図である。

【図12】図１２は、第２実施形態に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【図13】図１３は、動きベクトルの合計値を算出する方法を説明するための図である。

【図14】図１４は、触覚刺激を出力するタイミングを算出する方法を説明するための図である。

【図15】図１５は、第３実施形態に係る情報提供装置の構成例を示すブロック図である。

【図16】図１６は、第３実施形態に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【図17】図１７は、触覚刺激を出力するタイミングを算出する方法を説明するための図である。

【発明を実施するための形態】

【0012】

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

【0013】

［概要］
本発明の実施形態を説明する前に、実施形態に係る処理の概要について説明する。

【0014】

人の大脳新皮質は、前頭葉、頭頂葉、側頭葉、および後頭葉を含む。前頭葉は、大脳新皮質の前方に位置している。前頭葉は、精神活動、運動性言語、および随意運動を司っている。頭頂葉は、前頭葉の後ろに位置している。頭頂葉は、感覚情報の統合と認知、空間認知、視覚認知を司っている。側頭葉は、大脳新皮質の両サイドに位置する。側頭葉は、聴覚、嗅覚、記憶、感覚性言語を司っている。後頭葉は、大脳新皮質の最後部に位置している。後頭葉は、視覚情報の統合と、認知機能を司っている。

【0015】

人のいわゆる五感の機能は、主として側頭葉に集まっている。側頭葉の中央部には嗅覚、味覚に近接して聴覚、聴覚の上には触覚、触覚に後ろには味覚に対応する連合野が存在する。後頭葉には、視覚に対応する連合野が存在する。

【0016】

脳の働きの中のうち、聴覚、視覚、および触覚を対象として説明する。音声が発せられると、音声は空気を媒質として、外耳道、中耳、内耳の順に気導音として音が伝搬する。人は、聴覚神経が気導音をとらえることで、発せられた音声を知覚する。感覚器官が働くと、その対応部分には血流が増加するなどの生理現象が起きる。これは、ｆＭＲＩ（functional Magnetic Resonance Imaging）などの検査機により、観察することができる。

【0017】

本発明の実施形態では、１つの感覚で刺激を受けて、その感覚に対応する脳の対応部分が活性化している際に、その他の感覚に対応する脳の対応部分も活性化させることにより、記憶保持能力を高めることを目的とする。

【0018】

［第１実施形態］
（情報提供装置）
図１は、第１実施形態に係る情報提供装置の模式図である。本実施形態に係る情報提供装置１０は、ユーザＵに、視覚刺激と聴覚刺激と感覚刺激とを出力することで、ユーザＵに情報を提供する装置である。ここでの感覚刺激は、視覚及び聴覚とは異なる感覚に対する刺激である。本実施形態では、感覚刺激は、触覚刺激であるが、触覚刺激であることに限られず、視覚及び聴覚とは異なる任意の感覚に対する刺激であってよい。例えば、感覚刺激は、味覚に対する刺激であってもよいし、嗅覚に対する刺激であってもよいし、触覚、味覚、及び聴覚のうちの２つ以上に対する刺激であってもよい。図１に示すように、情報提供装置１０は、ユーザＵの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、情報提供装置１０は、ユーザＵの目に装着される装置１０Ａと、ユーザＵの耳に装着される装置１０Ｂと、ユーザの目と耳との間に装着される装置１０Ｃとを含む。ユーザＵの目に装着される装置１０ＡはユーザＵに視覚刺激を出力する（画像を表示する）後述の表示部２６Ａを含み、ユーザＵの耳に装着される装置１０Ｂは、ユーザＵに聴覚刺激（音声）を出力する後述の音声出力部１６Ｂを含み、ユーザＵの目と耳との間に装着される装置１０Ｃは、ユーザＵに感覚刺激を出力する後述の感覚刺激出力部２６Ｃを含む。ただし、図１の構成は一例であり、装置の数や、ユーザＵへの装着位置も任意であってよい。例えば、情報提供装置１０は、ウェアラブルデバイスに限られず、ユーザＵに携帯される装置であってよく、例えばいわゆるスマートフォンやタブレット端末などであってもよい。

【0019】

図２は、第１実施形態に係る情報提供装置の構成例を示すブロック図である。図２に示すように、情報提供装置１０は、第１感覚刺激情報検出部１２と、入力部１４と、出力部１６と、記憶部１８と、制御部２０と、を備える。

【0020】

第１感覚刺激情報検出部１２は、ユーザＵの第１感覚を刺激する第１感覚刺激情報を取得する。第１感覚刺激情報検出部１２は、マイク１２Ａを備える。すなわち、本実施形態では、第１感覚刺激情報検出部１２は、ユーザＵの聴覚を刺激する聴覚刺激情報を検出する。すなわち、第１感覚刺激情報は、ユーザＵの聴覚を刺激する聴覚刺激情報を含む。

【0021】

マイク１２Ａは、情報提供装置１０（ユーザＵ）の周辺の音声（音波情報）を検出するマイクである。マイク１２Ａは、例えば、ユーザＵが正面の方向にいる他のユーザの声を検出可能な位置に設けられている。なお、情報提供装置１０において、マイク１２Ａの設けられる位置、向き、及び数などは任意である。マイク１２Ａが複数ある場合には、マイク１２Ａが向いている複数の方向の情報も取得される。

【0022】

入力部１４は、ユーザＵの操作を受け付ける装置であり、例えば、ボタン、スイッチ、タッチパネルなどであってよい。

【0023】

出力部１６は、ユーザＵに対して五感のうちの少なくとも１つに対する刺激を出力する装置である。具体的には、出力部１６は、表示部１６Ａと音声出力部１６Ｂと感覚刺激出力部１６Ｃとを有する。表示部１６Ａは、画像を表示することでユーザＵの視覚刺激を出力するディスプレイであり、視覚刺激出力部と言い換えることもできる。本実施形態では、表示部１６Ａは、いわゆるＨＭＤ（Head Mounted Display）である。音声出力部１６Ｂは、音声を出力することでユーザＵの聴覚刺激を出力する装置（スピーカ）であり、聴覚刺激出力部と言い換えることもできる。感覚刺激出力部１６Ｃは、ユーザＵの感覚刺激を、本実施形態では触覚刺激を、出力する装置である。例えば、感覚刺激出力部１６Ｃは、バイブレータなどの振動モータであり、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。感覚刺激出力部１６Ｃが出力する刺激は、ハプティクス技術で実現され得る。

【0024】

このように、出力部１６は、人の五感のうち、視覚、聴覚、及び視覚と聴覚とは異なる感覚（本実施形態では触覚）を刺激する。出力部１６は、視覚刺激、聴覚刺激、及び視覚と聴覚とは異なる感覚を出力することに限られない。例えば、出力部１６は、視覚刺激、聴覚刺激、及び視覚と聴覚とは異なる感覚の少なくとも１つを出力するものであってもよいし、少なくとも視覚刺激を出力する（画像を表示する）ものであってもよいし、視覚刺激に加えて、聴覚刺激及び触覚のいずれかを出力するものであってもよいし、視覚刺激、聴覚刺激、及び触覚の少なくとも１つに加えて、五感のうちの他の感覚刺激（すなわち味覚刺激及び嗅覚刺激の少なくとも１つ）を出力するものであってもよい。

【0025】

記憶部１８は、制御部２０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）のような主記憶装置と、ＨＤＤ（Hard Disk Drive）などの外部記憶装置とのうち、少なくとも１つ含む。

【0026】

制御部２０は、情報提供装置１０の各部の動作を制御する。制御部２０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等によって、記憶部１８に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより実現される。制御部２０は、本発明に係るプログラムを動作させるコンピュータである。制御部２０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

【0027】

制御部２０は、第１感覚刺激情報取得部３０と、フィルタ処理部３２と、パワー値算出部３４と、第２感覚刺激情報生成部３６と、出力制御部３８と、を備える。

【0028】

第１感覚刺激情報取得部３０は、第１感覚刺激情報検出部１２を制御して、第１感覚刺激情報取得部３０に第１感覚刺激情報を検出させる。第１感覚刺激情報取得部３０は、第１感覚刺激情報検出部１２が検出した第１感覚刺激情報を取得する。第１感覚刺激情報取得部３０は、音声取得部３０Ａを有する。

【0029】

音声取得部３０Ａは、マイク１２Ａを制御して、マイク１２Ａに音声を収音させる。音声取得部３０Ａは、マイク１２Ａが収音した音声を取得する。音声取得部３０Ａは、取得した音声に関する音声信号をフィルタ処理部３２に出力する。

【0030】

フィルタ処理部３２は、音声取得部３０Ａから入力された音声信号に含まれる背景ノイズを除去する。フィルタ処理部３２は、背景ノイズを除去した音声信号をパワー値算出部３４に出力する。

【0031】

パワー値算出部３４は、フィルタ処理部３２から入力された音声信号の大きさを示す音声レベルを算出する。

【0032】

第２感覚刺激情報生成部３６は、第１感覚刺激情報取得部３０が取得した第１感覚刺激情報に基づいて、第１感覚刺激情報とは異なる第２感覚刺激情報を生成する。第２感覚刺激情報生成部３６は、例えば、パワー値算出部３４の算出結果に基づいて、第２感覚刺激情報を出力するタイミングを算出する。すなわち、第２感覚刺激情報生成部３６は、刺激を出力するオンとオフとのタイミングを算出する。本実施形態では、第２感覚刺激情報は、例えば、ユーザの触覚を刺激する触覚刺激情報であり得る。第２感覚刺激情報は、例えば、味覚刺激情報および嗅覚刺激情報などであってもよい。

【0033】

出力制御部３８は、出力部１６を制御して、出力を行わせる。出力制御部３８は、表示部１６Ａを制御して、表示部１６Ａに映像の出力を行わせる。出力制御部３８は、音声出力部１６Ｂを制御して、音声出力部１６Ｂに音声の出力を行わせる。出力制御部３８は、感覚刺激出力部１６Ｃを制御して、感覚刺激出力部１６Ｃに振動の出力を行わせる。出力制御部３８は、例えば、第２感覚刺激情報生成部３６が算出したタイミングで、感覚刺激出力部１６Ｃに振動の出力を行わせる。出力制御部３８は、第２感覚刺激をユーザＵに提供するため提供部とも呼ばれ得る。

【0034】

［処理内容］
図３を用いて、第１実施形態に係る情報提供装置の処理の流れについて説明する。図３は、第１実施形態に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【0035】

まず、音声取得部３０Ａは、マイク１２Ａから音声を取得する（ステップＳ１０）。具体的には、音声取得部３０Ａは、マイク１２Ａから人物の音声を取得する。音声取得部３０Ａは、例えば、情報提供装置１０を装着しているユーザＵに向かって話しかけている人物の音声を、マイク１２Ａから取得する。

【0036】

フィルタ処理部３２は、音声取得部３０Ａが取得した音声に関する音声信号に対してフィルタ処理を行う（ステップＳ１２）。具体的には、フィルタ処理部３２は、例えば、フィルタ処理を行い、音声信号に含まれる背景ノイズを除去することで、音声信号を人の声の周波数帯域（１００から８００Ｈｚ）の成分に成形する。言い換えれば、フィルタ処理部３２は、音声取得部３０Ａが取得した音声から人物の音声を抽出する。

【0037】

パワー値算出部３４は、フィルタ処理が行われた音声信号における、時間ごとの音声レベルを算出する（ステップＳ１４）。具体的には、パワー値算出部３４は、例えば、時間ごとの音声信号の音声レベルが、予め定められた閾値以上であるか否かを算出する。パワー値算出部３４は、例えば、時間ごとに算出された音声レベルのグラフを生成する。なお、音声レベルの閾値は、所定期間の音声レベルに基づいて、設定され得る。

【0038】

図４を用いて、第１実施形態に係る音声信号の音声レベルを説明する。図４は、第１実施形態に係る音声信号の音声レベルを説明するための図である。

【0039】

図４に示すグラフＧ１は時間ごとの音声レベルの変化を示すグラフである。グラフＧ１の横軸は時間、縦軸は音声レベルを示す。音声レベルには、予め所定の閾値が定められている。グラフＧ１において、時間ｔ１から時間ｔ２の間の音声レベルは、閾値以上である。時間ｔ２から時間ｔ３の間の音声レベルは、閾値以下である。時間ｔ３から時間ｔ４の間の音声レベルは、閾値以上である、時間ｔ４から時間ｔ５の間の音声レベルは、閾値以下である。時間ｔ５から時間ｔ６の間の音声レベルは、閾値以上である。時間ｔ６から時間ｔ７の間の音声レベルは、閾値以下である。時間ｔ７から時間ｔ８の間の音声レベルは、閾値以下である。時間ｔ８から時間ｔ９の間の音声レベルは、閾値以上である。図４に示すようにパワー値算出部３４は、時間ごとの音声レベルを算出することができる。

【0040】

図３に戻る。第２感覚刺激情報生成部３６は、第２感覚刺激情報としての触覚刺激を出力するタイミングを算出する（ステップＳ１６）。具体的には、第２感覚刺激情報生成部３６は、パワー値算出部３４の算出結果に基づいて、触覚を刺激するリズムを生成する。

【0041】

図５を用いて、第１実施形態に係る第２感覚刺激情報を出力するタイミングを算出する方法について説明する。図５は、第１実施形態に係る第２感覚刺激情報を出力するタイミングを算出する方法を説明するための図である。

【0042】

図５に示すように、第２感覚刺激情報生成部３６は、音声レベルが閾値以上となるタイミングおよび閾値以下となるタイミングに基づいて、触覚刺激を出力するタイミングを算出する。

【0043】

時間ｔ１から時間ｔ２の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６は、例えば、音声レベルが閾値以上となる時間ｔ１の時点を、触覚刺激を開始するタイミングであると判定する。第２感覚刺激情報生成部３６は、音声レベルが閾値以下となる時間ｔ２の時点を、触覚刺激を終了するタイミングであると判定する。第２感覚刺激情報生成部３６は、時間ｔ１から時間ｔ２の間の期間は、継続して振動を発生させる期間であると判定する。

【0044】

時間ｔ２から時間ｔ３の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６は、時間ｔ２から時間ｔ３の間の期間は、振動を発生させない期間であると判定する。

【0045】

時間ｔ３から時間ｔ４の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６は、例えば、音声レベルが閾値以上となる時間ｔ３の時点を、触覚刺激を開始するタイミングであると判定する。第２感覚刺激情報生成部３６は、音声レベルが閾値以下となる時間ｔ４の時点を、触覚刺激を終了するタイミングであると判定する。第２感覚刺激情報生成部３６は、時間ｔ３から時間ｔ４の間の期間は、継続して振動を発生させる期間であると判定する。

【0046】

時間ｔ４から時間ｔ５の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６は、時間ｔ４から時間ｔ５の間の期間は、振動を発生させない期間であると判定する。

【0047】

時間ｔ５から時間ｔ６の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６は、例えば、音声レベルが閾値以上となる時間ｔ５の時点を、触覚刺激を開始するタイミングであると判定する。第２感覚刺激情報生成部３６は、音声レベルが閾値以下となる時間ｔ６の時点を、触覚刺激を終了するタイミングであると判定する。第２感覚刺激情報生成部３６は、時間ｔ５から時間ｔ６の間の期間は、継続して振動を発生させる期間であると判定する。

【0048】

時間ｔ６から時間ｔ７の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６は、時間ｔ６から時間ｔ７の間の期間は、振動を発生させない期間であると判定する。

【0049】

時間ｔ７は、音声レベルが閾値に達した後、直ぐに閾値未満となった時点である。この場合、第２感覚刺激情報生成部３６は、時間ｔ７では、振動を発生させた後、直ぐに振動の発生を止めると判定する。

【0050】

時間ｔ７から時間ｔ８の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６は、時間ｔ７から時間ｔ８の間の期間は、振動を発生させない期間であると判定する。

【0051】

時間ｔ８から時間ｔ９の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６は、例えば音声レベルが閾値以上となる時間ｔ８の時点を、触覚刺激を開始するタイミングであると判定する。第２感覚刺激情報生成部３６は、音声レベルが閾値以下となる時間ｔ９の時点を、触覚刺激を終了するタイミングであると判定する。第２感覚刺激情報生成部３６は、時間ｔ５から時間ｔ６の間の期間は、継続して振動を発生させる期間であると判定する。

【0052】

すなわち、第２感覚刺激情報生成部３６は、時間ｔ１のタイミングで振動を発生させて、時間ｔ２のタイミングで振動を終了させると判定する。第２感覚刺激情報生成部３６は、時間ｔ３のタイミングで振動を発生させて、時間ｔ４のタイミングで振動を終了させると判定する。第２感覚刺激情報生成部３６は、時間ｔ５のタイミングで振動を発生させて、時間ｔ６のタイミングで振動を終了させると判定する。第２感覚刺激情報生成部３６は、時間ｔ７のタイミングで、一時的な振動を発生させると判定する。第２感覚刺激情報生成部３６は、時間ｔ８のタイミングで振動を発生させて、時間ｔ９のタイミングで振動を終了させると判定する。このように、第２感覚刺激情報生成部３６は、振動のリズムを生成する。

【0053】

図６を用いて、検出した音声に基づいて振動のリズムを生成する方法を説明する。図６は、検出した音声に基づいて振動のリズムを生成する方法を説明するための図である。

【0054】

例えば、音声取得部３０Ａは、ステップＳ１０において、「お爺ちゃんリンゴを買ってきて」という音声を取得したとする。この場合、「おじーちゃん＿りんごをかっ＿て＿きて」のように音節に分解することができる。第２感覚刺激情報生成部３６は、「おじーちゃん＿りんごをかっ＿て＿きて」に基づいて、「〇〇－〇〇・・〇・〇〇・・〇・・〇〇」といったリズムを生成する。ここで、「〇」は、振動を発生させるタイミングを意味する「・」は、待機時間を意味する。第２感覚刺激情報生成部３６は、音声取得部３０Ａが取得した音声に応じたリズムを生成する。

【0055】

図３に戻る。出力制御部３８は、触覚刺激を出力する（ステップＳ１８）。具体的には、出力制御部３８は、ステップＳ１６で算出された第２感覚刺激情報のタイミングに従って、感覚刺激出力部１６Ｃを制御して、振動を出力させる。より具体的には、出力制御部３８は、音声取得部３０Ａが取得した音声と、同期するように第２感覚刺激情報のタイミングに従って、感覚刺激出力部１６Ｃを制御して、振動を出力させる。本実施形態では、出力制御部３８が感覚刺激出力部１６Ｃを制御することにより、ユーザＵのこめかみ部分に触覚として刺激する。

【0056】

すなわち、出力制御部３８は、ユーザＵが聴覚刺激として受けている音声を、その音声に同期してタイミングと強度がコントロールされた皮膚への触覚刺激を与えるように、感覚刺激出力部１６Ｃを制御する。本実施形態では、感覚刺激出力部１６Ｃは、例えば、皮膚へ弱電圧信号として、パルスをかけるように構成され得る。感覚刺激出力部１６Ｃは、例えば、金属などの物体の動きをこめかみの骨に振動として直接響かせるように構成されていてもよい。

【0057】

感覚刺激出力部１６Ｃは、こめかみの表面だけでなく、表面から少し深部を刺激するように構成されていてもよい。この場合、感覚刺激出力部１６Ｃは、直列に接続された１組の渦巻き状のコイルを含み得る。一方のコイルにおいて内側から外側に向かって電流を流し、他方のコイルにおいて外側から内側に向かって電流を流すと、それぞれに磁場が発生する。これにより、皮下部に渦電流が発生し、表面から少し深部が刺激され得る。

【0058】

図３に戻る。制御部２０は、処理を終了するか（ステップＳ２０）。具体的には、制御部２０は、処理を終了する操作を受け付けた場合、電源をオフにする操作を受け付けた場合に、処理を終了すると判定する。処理を終了すると判定された場合（ステップＳ２０；Ｙｅｓ）、図３の処理を終了する。処理を終了しないと判定された場合（ステップＳ２０；Ｎｏ）、ステップＳ１０に戻る。

【0059】

上述のとおり、第１実施形態は、ユーザＵが聴取した聴覚刺激に基づいて、触覚刺激情報を生成し、触覚刺激を、聴覚刺激と同時に与える。これにより、本実施形態は、ユーザＵの大脳皮質における聴覚連合野部分と、触覚連合野部分との双方を刺激して活性化することができる。これにより、聴覚連合野部分と、触覚連合分野との間の部分にも血流が増加するなどの変化が起き得る。その結果、ユーザＵは、聴覚を刺激する音声に対する記憶力を向上させることができる。

【0060】

［第１実施形態の第１変形例］
図７を用いて、第１実施形態の第１変形例に係る情報提供装置について説明する。図７は、第１実施形態の第１変形例に係る情報提供装置の構成例を示すブロック図である。

【0061】

図７に示すように、情報提供装置１０ａは、制御部２０ａがフィルタ処理部３２の代わりに直交変換処理部４０を備える点で、図２に示す情報提供装置１０とは異なる。

【0062】

直交変換処理部４０は、音声取得部３０Ａからマイク１２Ａが収音した音声に関する音声信号を受ける。直交変換処理部４０は、音声取得部３０Ａから入力された音声信号に対してフーリエ変換または直交変換などの直交変換を行い、時間軸信号を周波数信号へ変換する。直交変換処理部４０は、周波数信号をパワー値算出部３４ａに出力する。

【0063】

パワー値算出部３４ａは、直交変換処理部４０から入力された周波軸の音声信号の大きさを示す音声のパワー値を算出する。

【0064】

［処理内容］
図８を用いて、第１実施形態の第１変形例に係る情報提供装置の処理の流れについて説明する。図８は、第１実施形態の第１変形例に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【0065】

ステップＳ３０の処理は、図３に示すステップＳ１０の処理と同一の処理なので、説明を省略する。

【0066】

ステップＳ３０の後、直交変換処理部４０は、音声取得部３０Ａが取得した音声に関する音声信号に対して直交変換処理を行う（ステップＳ３２）。具体的には、直交変換処理部４０は、音声取得部３０Ａが取得した音声に関する音声信号に対して直交変換処理またはフーリエ変換処理を行い、時間軸の音声信号を周波数軸の音声信号に変換する。直交変換処理部４０は、周波数軸に変換した音声信号をパワー値算出部３４ａに出力する。

【0067】

パワー値算出部３４ａは、周波数軸の音声信号の音声のパワー値を算出する（ステップＳ３４）。パワー値算出部３４ａは、周波数軸の音声信号の振幅の実数部の２乗を音声のパワー値として算出する。具体的には、パワー値算出部３４ａは、周波数ごとの音声信号の音声のパワー値が、閾値以上であるか否かを算出する。パワー値算出部３４ａは、周波数ごとに算出された音声のパワー値のグラフを生成する。なお、音声レベルの閾値は、所定期間の音声のパワー値に基づいて、設定され得る。

【0068】

第２感覚刺激情報生成部３６ａは、感覚刺激出力部１６Ｃを制御して、第２感覚としての触覚刺激を出力するタイミングを算出する（ステップＳ３６）。具体的には、第２感覚刺激情報生成部３６ａは、パワー値算出部３４の算出結果に基づいて、触覚を刺激するリズムを生成する。

【0069】

図９を用いて、第１実施形態の変形例に係る音声信号の音声のパワー値を説明する。図９は、第１実施形態の変形例に係る音声信号の音声のパワー値を説明するための図である。

【0070】

図９において、グラフＧ１１は、周波数ごとの音声のパワーを示すグラフであり、グラフＧ１２は、グラフＧ１１における周波数ごとのパワーにおいて、上方向で凸となる点（グラフ１１の接線の傾きが０となる点で、その点に対する前後の傾きが正から負へ切り替わる点）を結んだグラフである。図９の横軸は周波数を示し、縦軸は音声のパワー値を示す。

【0071】

図９に示すように、第２感覚刺激情報生成部３６ａは、周波数範囲Ｆにおける、音声のパワー値に基づいて、触覚を刺激するリズムを生成する。周波数範囲Ｆは、例えば、人の声の周波数帯域（例えば、１００から８００Ｈｚ付近）であり得る。第２感覚刺激情報生成部３６ａは、周波数範囲Ｆにおける、パワー値が所定の閾値を超えたタイミングと、下回ったタイミングとに基づいて、触覚を刺激するリズムを生成する。第２感覚刺激情報生成部３６ａは、パワー値が所定の閾値を超えたタイミングと、下回ったタイミングとに双方において、感覚刺激出力部１６Ｃの出力のオンとオフとを短い間隔で切り替わるように、リズムを生成する。具体的には、第２感覚刺激情報生成部３６ａは、周波数範囲Ｆにおいて、グラフＧ１２が閾値を超えたタイミングの周波数ｆ１、下回ったタイミングの周波数ｆ２で感覚刺激出力部１６Ｃの出力のオンとオフとを短い間隔で切り替わるように、リズムを生成する。また、第２感覚刺激情報生成部３６ａは、周波数範囲Ｆにおいて、グラフＧ１２が閾値を超えたタイミングの周波数ｆ３、下回ったタイミングの周波数ｆ４で感覚刺激出力部１６Ｃの出力のオンとオフとを短い間隔で切り替わるように、リズムを生成する。第２感覚刺激情報生成部３６ａは、生成したリズムを出力制御部３８に出力する。

【0072】

ステップＳ３８と、ステップＳ４０との処理は、それぞれ、図３に示すステップＳ１８と、ステップＳ２０との処理と同一なので、説明を省略する。

【0073】

上述のとおり、第１実施形態の第１変形例は、ユーザＵが音声により受けた聴覚刺激に基づいて、触覚刺激情報を生成し、触覚刺激を、聴覚刺激と同時に与える。これにより、本実施形態は、ユーザＵの大脳皮質における聴覚連合野部分と、触覚連合野部分との双方を刺激して活性化することができる。これにより、聴覚連合野部分と、触覚連合分野との間の部分にも血流が増加するなどの変化が起き得る。

【0074】

［第１実施形態の第２変形例］
次に、第１実施形態の第２変形例について説明する。

【0075】

第１実施形態および第１実施形態の第１変形例は、それぞれ、時間軸上の音声信号のレベルおよび周波数軸上の音声信号のパワーが、予め定めた所定の閾値を超えるか否かに基づいて、触覚刺激のリズムを生成している。第１実施形態の変形例では、所定の閾値を超えの大きさや、周辺のノイズの大きさによって、変更する。

【0076】

図１０を用いて、閾値を変更する方法について説明する。図１０は、閾値を変更する方法を説明するための図である。

【0077】

図１０は、横軸が時間を示し、縦軸が音声レベルを示す。図１０は、時間ごとの音声レベルを示すグラフＧ２１を示す。図１０の横軸は時間を示し、縦軸は音声レベルを示す。

【0078】

図１０において、時間ｔ１１と、時間ｔ１２と、時間ｔ１３と、時間ｔ１４と、時間ｔ１５と、時間ｔ１６、時間ｔ１７とは、閾値を更新するタイミングである。更新タイミングでは、予め所定の時間間隔が定められている。第１実施形態の第２変形例では、更新タイミングから過去所定時間の音声レベルのデータの平均値を算出し、平均値の値に基づいて、次の所定間隔の閾値を算出する。

【0079】

図１０において、平均値Ｄ１は、時間ｔ１１よりも過去の所定時間に測定された音声レベルの平均値を示す。平均値Ｄ２は、時間ｔ１２よりも過去の所定時間に測定された音声レベルの平均値を示す。平均値Ｄ３は、時間ｔ１３よりも過去の所定時間に測定された音声レベルの平均値を示す。平均値Ｄ４は、時間ｔ１４よりも過去の所定時間に測定された音声レベルの平均値を示す。平均値Ｄ５は、時間ｔ１５よりも過去の所定時間に測定された音声レベルの平均値を示す。平均値Ｄ６は、時間ｔ１６よりも過去の所定時間に測定された音声レベルの平均値を示す。平均値Ｄ７は、時間ｔ１７よりも過去の所定時間に測定された音声レベルの平均値を示す。

【0080】

図１０において、時間ｔ１１と、時間ｔ１２との間の時間間隔は、区間Ｔ１である。時間ｔ１２と、時間ｔ１３との間の時間間隔は、区間Ｔ２である。時間ｔ１３と、時間ｔ１４との間の時間間隔は、区間Ｔ３である。時間ｔ１４と、時間ｔ１５との間の時間間隔は、区間Ｔ４である。時間ｔ１５と、時間ｔ１６との間の時間間隔は、区間Ｔ５である。時間ｔ１６と、時間ｔ１７との間の時間間隔は、区間Ｔ６である。

【0081】

図１０において、例えば、時間ｔ１１は、区間Ｔ１における閾値を変更するタイミングであり得る。平均値Ｄ２は、区間Ｔ１の閾値であり得る。

【0082】

また、図９において、所定の時間間隔において、周波数範囲Ｆに収まるパワーの合計値を記録し、記録したパワーの値に基づいて閾値を変更してもよい。例えば、過去の所定の時間間隔において測定した周波数範囲Ｆにおけるパワーの測定値の合計値の、７５％の値に閾値を設定してよい。所定の時間間隔内で大きなパワーの変化がなければ、図９に示すグラフＧ１２のハッチングに示す面積が、全体に示す面積の２５％に相当するような設定の仕方をする。更新タイミングは、所定時間間隔ごとに設定するとよい。例えば、時間間隔は、数秒程度の範囲であることが好ましい。また、更新する閾値の値としては、過去の所定間隔におけるパワーの合計値の７５％として説明したが、例えば、５０％から８０％の値に設定するようにしてもよい。

【0083】

上述のとおり、第１実施形態の第２変形例では、音声レベルの閾値または音声パワーの閾値を状況に応じて、変更することができる。これにより、第１実施形態の第２変形例は、より適切に触覚刺激のリズムを生成することができる。

【0084】

［第１実施形態の第３変形例］
第１実施形態では、時間軸の音声信号の音声レベルに基づいて触覚刺激のリズムを生成し、第１実施形態の第１変形例では周波軸の音声信号の音声パワーに基づいて触覚刺激をそれぞれ出力していたが、本発明はこれに限られない。本発明では、例えば、第１実施形態と、第１実施形態の第１変形例とを組み合わせてもよい。

【0085】

第１実施形態の第３変形例では、例えば、直交変換処理部４０は、音声取得部３０Ａが取得した音声に関する音声信号に対して直交変換処理を行い、周波数軸の音声信号に変更する。この場合、第１実施形態の第３変形例は、例えば、予め定めた所定の閾値以下の信号部分は無視するようにしてよい。例えば、図９に示す、ハッチングで示した部分以外の信号成分は削除してよい。第１実施形態の第３変形例は、図９のハッチングで示した部分の信号成分を図４および図５に示す時間軸の音声信号に変換してよい。これにより、第１実施形態の第３変形例は、ユーザＵに対する音声以外の成分を除去することができるので、より適切に、触覚刺激のリズムを生成することができる。

【0086】

［第２実施形態］
図１１を用いて、第２実施形態に係る情報提供装置について説明する。図１１は、第２実施形態に係る情報提供装置の構成例を示すブロック図である。

【0087】

図１１に示すように、第２実施形態に係る情報提供装置１０ｂは、第１感覚刺激情報検出部１２ａがカメラ１２Ｂを備える点で、図２に示す情報提供装置１０と異なる。情報提供装置１０ｂは、第１感覚刺激情報取得部３０ａが音声取得部３０Ａの代わりに映像取得部３０Ｂを備える点で、図２に示す情報提供装置１０と異なる。情報提供装置１０ｂは、制御部２０ｂがフィルタ処理部３２と、パワー値算出部３４との代わりに人物検出部４２と、動きベクトル算出部４４とを備える点で、図２に示す情報提供装置１０と異なる。

【0088】

情報提供装置１０ｂは、第１感覚刺激情報として視覚刺激情報を取得する。情報提供装置１０ｂは、取得した視覚刺激情報に基づいて、触覚刺激情報を生成し、視覚刺激情報に同期して触覚刺激情報を出力する。

【0089】

人は、言葉を発しながら、ジェスチャーをすることが多い。発言者のジェスチャーは、発言者の表現を聞き手に対して、表現を印象付けるのに有用である。そのため、ジェスチャーは、コミュニケーションの方法の一種として重要視されている。第２実施形態では、発言者のジェスチャーを第１感覚刺激情報として検出する。第２実施形態は、検出した発言者のジェスチャーに基づいて、触覚刺激情報を第２感覚刺激情報として生成する。

【0090】

カメラ１２Ｂは、撮像装置である。カメラ１２Ｂは、情報提供装置１０（ユーザＵ）の周辺の可視光を検出することで、情報提供装置１０の周辺を撮像する。カメラ１２Ｂは、所定のフレームレート毎に撮像するビデオカメラであってよい。情報提供装置１０においてカメラ１２Ｂの設けられる位置や向きは任意であるが、例えば、カメラ１２Ｂは、図１に示す装置１０Ａに設けられており、撮像方向がユーザＵの顔が向いている方向であってよい。これにより、カメラ１２Ｂは、ユーザＵの視線の先にある対象物を、すなわちユーザＵの視野の範囲に入る対象物を、撮像できる。また、カメラ１２Ｂの数は任意であり、単数であっても複数であってもよい。

【0091】

映像取得部３０Ｂは、カメラ１２Ｂを制御して、カメラ１２Ｂに映像を撮像させる。映像取得部３０Ｂは、カメラ１２Ｂが撮像した映像を取得する。映像取得部３０Ｂは、取得した映像に関する映像信号を人物検出部４２に出力する。

【0092】

人物検出部４２は、映像取得部３０Ｂが取得した映像から、人物を検出する。人物検出部４２は、例えば、映像取得部３０Ｂが取得した映像に対して、記憶部１８が記憶している図示しない認識辞書を用いたパターンマッチングを行って人物を検出する。人物検出部４２は、情報提供装置１０ｂが起動している間は、常時処理を行ってもよい。人物検出部４２は、任意のタイミングで処理を実行してもよい。

【0093】

動きベクトル算出部４４は、映像取得部３０Ｂが取得した映像から動体の有無を検出する。動きベクトル算出部４４は、例えば、人物検出部４２が検出した人物が動いているか否かを判定する。動きベクトル算出部４４は、例えば、映像取得部３０Ｂが取得した映像から動きベクトルを検出することで動体の有無を検出する。具体的には、動きベクトル算出部４４は、例えば、映像取得部３０Ｂが取得した映像におけるピクセル単位、または数ピクセル四方のブロック単位において、輝度または色情報がフレームごとに変化している領域を検出することで、動きベクトルを検出する。動きベクトル算出部４４は、例えば、８×８ピクセルのブロック単位において動きベクトルを検出する。動きベクトル算出部４４は、動きベクトルの移動量を加算して、動きベクトルの合計値を算出する。

【0094】

［処理内容］
図１２を用いて、第２実施形態に係る情報提供装置の処理の流れについて説明する。図１２は、第２実施形態に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【0095】

まず、映像取得部３０Ｂは、カメラ１２Ｂから映像を取得する（ステップＳ５０）。具体的には、映像取得部３０Ｂは、カメラ１２ＢからユーザＵの前方を撮像した映像を取得する。

【0096】

人物検出部４２は、映像取得部３０Ｂが取得した映像に人物が含まれているか否かを判定する（ステップＳ５２）。具体的には、人物検出部４２は、映像取得部３０Ｂが取得した映像に対して、認識辞書を用いたパターンマッチングを行って人物を検出できた場合に、映像に人物が含まれていると判定する。人物を含むと判定された場合（ステップＳ５２；Ｙｅｓ）、ステップＳ５４に進む。人物を含まないと判定された場合（ステップＳ５２：Ｎｏ）、ステップＳ６２に進む。

【0097】

ステップＳ５２でＹｅｓと判定された場合、動きベクトル算出部４４は、人物に動きがあるか否かを判定する（ステップＳ５４）。具体的には、動きベクトル算出部４４は、人物が検出された領域において、動きベクトルが検出できた場合に、人物に動きがあると判定する。人物に動きがあると判定された場合（ステップＳ５４；Ｙｅｓ）、ステップＳ５６に進む。人物に動きがないと判定された場合（ステップＳ５４；Ｎｏ）、ステップＳ６２に進む。

【0098】

ステップＳ５４でＹｅｓと判定された場合、動きベクトルの合計値を算出する（ステップＳ５６）。

【0099】

図１３は、動きベクトルの合計値を算出する方法を説明するための図である。図１３は、映像取得部３０Ｂが取得した映像ＩＭを示す。人物検出部４２は、映像ＩＭ１から人物Ｕ１を検出する。動きベクトル算出部４４は、人物Ｕ１の右手ＲＨと、左手ＬＨの動きを検出する。動きベクトル算出部４４は、右手ＲＨと、左手ＬＨの動きベクトルの合計値を算出する。

【0100】

具体的には、動きベクトル算出部４４は、例えば、映像ＩＭの１フレームごとに右手ＲＨと、左手ＬＨの動きベクトルを検出する。動きベクトル算出部４４は、映像ＩＭの数フレームごとに右手ＲＨと、左手ＬＨとの動きベクトルを検出してもよい。動きベクトル算出部４４は、動きベクトルを検出して、検出したベクトルの大きさのスカラー値の合計値を算出する。これにより、動きベクトル算出部４４は、人物Ｕ１の右手ＲＨと、左手ＬＨによるジェスチャーの動きの大小をとらえることができる。

【0101】

動きベクトル算出部４４は、例えば、ＭＰＥＧ（Moving Picture Experts Group）などの画像圧縮方式などで動き補償を行うときに所定のブロックごとに、対象のフレームの元の位置から、±１０画素分などをパターンマッチングするようにスキャンする。動きベクトル算出部４４は、パターンマッチングの結果、差分値の最も小さいところを、ブロックが動いた部分と推定し、元の位置から動いた距離と方向を決定してよい。

【0102】

また、人物Ｕ１の背景に、例えば、大きな画像が描いてあるトラックが通過するなど大きな動体が存在している場合には、全ブロックの動きベクトルが、大きな面積領域で一様に同じ値になると想定される。この場合、動きベクトル算出部４４は、人物Ｕ１の背景に存在する大きな動体の動きは、キャンセルするようにしてよい。動きベクトル算出部４４は、検出対象である人物Ｕ１の動きベクトルのみを計算するようにしてよい。動きベクトル算出部４４は、例えば、背景に動体が存在している場合には、映像取得部３０Ｂが取得した映像に視差に基づいて、人物Ｕ１の動きベクトルを計算するようにしてもよい。例えば、カメラ１２Ｂがステレオカメラである場合には、情報提供装置１０ｂに近い物体ほど視差が大きくなるので、動きベクトル算出部４４は、視差に基づいて、人物Ｕ１の動きベクトルを算出することができる。また、カメラ１２Ｂが単眼カメラである場合には、情報提供装置１０ｂに近い位置にピントを合わせた状態で、映像取得部３０Ｂは、カメラ１２Ｂから映像を取得すればよい。この場合、動きベクトル算出部４４は、情報提供装置１０ｂに近い位置にピントが合った映像に対して、動きベクトルの検出処理を行えばよい。

【0103】

図１２に戻る。ステップＳ５６の後、第２感覚刺激情報生成部３６ｂは、触覚刺激を出力するタイミングを算出する（ステップＳ５８）。具体的には、第２感覚刺激情報生成部３６ｂは、動きベクトルのスカラー値の合計値を時間軸でグラフ化し、グラフに基づいて、触覚刺激を出力するタイミングを算出する。

【0104】

図１４は、触覚刺激を出力するタイミングを算出する方法を説明するための図である。

【0105】

図１４は、グラフＧ３１を示す。グラフＧ３１の横軸は時間、縦軸は動きベクトルのスカラー合計値を示す。図１４に示すように、第２感覚刺激情報生成部３６ｂは、動きベクトルのスカラー値の合計値が閾値以上となるタイミングおよび閾値以下となるタイミングに基づいて、触覚刺激を出力するタイミングを算出する。具体的には、第２感覚刺激情報生成部３６ｂは、動きベクトルのスカラー値の合計値が、閾値以上となるタイミングで振動を発生させ、閾値以下となるタイミングで振動を終了させるように判定する。

【0106】

時間ｔ２１から時間ｔ２２の間の期間は、動きベクトルのスカラー値の合計値が閾値以下となっている期間である。第２感覚刺激情報生成部３６ｂは、例えば、動きベクトルのスカラー値の合計値が閾値以下となる時間ｔ２１の時点を、触覚刺激をオフにするタイミングであると判定する。第２感覚刺激情報生成部３６ｂは、時間ｔ２１から時間ｔ２２の間の期間は、振動を発生させない期間であると判定する。

【0107】

時間ｔ２２から時間ｔ２３の間の期間は、動きベクトルのスカラー値の合計値が閾値以上となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２２の時点を、触覚刺激を開始するタイミングであると判定する。第２感覚刺激情報生成部３６ｂは、時間ｔ２３の時点を、触覚刺激を終了するタイミングであると判定する。第２感覚刺激情報生成部３６ｂは、時間ｔ２２から時間ｔ２３の間の期間は、継続して振動を発生させる期間であると判定する。言い換えれば、第２感覚刺激情報生成部３６ｂは、時間ｔ２２から時間ｔ２３の間の期間は、連続して触覚刺激を与える期間であると判定する。

【0108】

時間ｔ２３から時間ｔ２４の間の期間は、動きベクトルのスカラー値の合計値が閾値以下となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２３から時間ｔ２４の間の期間は、振動を発生させない期間であると判定する。

【0109】

時間ｔ２４から時間ｔ２５の間の期間は、動きベクトルのスカラー値の合計値が閾値以上となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２４から時間ｔ２５の間の期間は、連続して振動を発生させる期間であると判定する。

【0110】

時間ｔ２５から時間ｔ２６の間の期間は、動きベクトルのスカラー値の合計値が閾値以下となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２５から時間ｔ２６の間の期間は、振動を発生させない期間であると判定する。

【0111】

時間ｔ２３から時間ｔ２６の間の期間は、動きベクトルのスカラー値の合計値が閾値以上となるタイミングで閾値以下となるタイミングとが近接している。ここで、時間ｔ２３から時間ｔ２６の間は、人物Ｕ１が右手ＲＨおよび左手ＬＨの少なくとも一方を、早く動かしていると想定される。この場合、第２感覚刺激情報生成部３６ｂは、時間ｔ２３から時間ｔ２６の間は、通常とは異なる振動パターンで継続して振動を発生させる期間であると判定してもよい。

【0112】

時間ｔ２６から時間ｔ２７の間の期間は、動きベクトルのスカラー値の合計値が閾値以上となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２６から時間ｔ２７の間の期間は、連続して振動を発生させる期間であると判定する。

【0113】

時間ｔ２７から時間ｔ２８の間の期間は、動きベクトルのスカラー値の合計値が閾値以下となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２７から時間ｔ２８の間の期間は、振動を発生させない期間であると判定する。

【0114】

時間ｔ２８から時間ｔ２９の間の期間は、動きベクトルのスカラー値の合計値が閾値以上となっている期間である。第２感覚刺激情報生成部３６ｂは、時間ｔ２８から時間ｔ２９の間の期間は、連続して振動を発生させる期間であると判定する。

【0115】

すなわち、第２感覚刺激情報生成部３６ｂは、時間ｔ２２で振動を発生させて、時間ｔ２３で振動を終了させると判定する。第２感覚刺激情報生成部３６ｂは、時間ｔ２４で振動を発生させて、時間ｔ２５で振動を終了させると判定する。第２感覚刺激情報生成部３６ｂは、時間ｔ２６で振動を発生させて、時間ｔ２７で振動を終了させると判定する。第２感覚刺激情報生成部３６ｂは、時間ｔ２８で振動を発生させて、時間ｔ２９で振動を終了させると判定する。このように、第２感覚刺激情報生成部３６ｂは、振動のリズムを生成する。

【0116】

図１２に戻る。ステップＳ６０と、ステップＳ６２との処理は、それぞれ、図３に示すステップＳ１８と、ステップＳ２０の処理と同一なので説明を省略する。

【0117】

上述のとおり、第２実施形態は、ユーザＵが視認した視覚刺激に基づいて、触覚刺激情報を生成し、触覚刺激を、視覚刺激と同時に与える。これにより、本実施形態は、ユーザＵの大脳皮質における視覚連合野部分と、触覚連合野部分との双方を刺激して活性化することができる。これにより、視覚連合野部分と、触覚連合分野との間の部分にも血流が増加するなどの変化が起き得る。その結果、ユーザＵは、視覚を刺激する音声に対する記憶力を向上させることができる。

【0118】

［第３実施形態］
図１５を用いて、第３実施形態に係る情報提供装置について説明する。図１５は、第３実施形態に係る情報提供装置の構成例を示すブロック図である。

【0119】

図１５に示すように、第３実施形態に係る情報提供装置１０ｃは、第１感覚刺激情報検出部１２ｂがカメラ１２Ｂを備える点で、図２に示す情報提供装置１０と異なる。情報提供装置１０ｃは、制御部２０ｃの第１感覚刺激情報取得部３０ｂが映像取得部３０Ｂを備える点で、図２に示す情報提供装置１０と異なる。情報提供装置１０ｃは、制御部２０ｃが人物検出部４２と、動きベクトル算出部４４とを備える点で、図２に示す情報提供装置１０と異なる。すなわち、情報提供装置１０ｃは、第１実施形態に係る情報提供装置１０と、第２実施形態に係る情報提供装置１０ｂとの双方の構成を含む。

【0120】

情報提供装置１０ｃは、複数の第１感覚刺激情報を取得する。情報提供装置１０ｃは、取得した複数の第１感覚刺激情報に基づいて、第２感覚刺激情報を生成する。第３実施形態において、第１感覚刺激情報は聴覚刺激情報と、視覚刺激情報である。第３実施形態において、第２視覚刺激情報は、触覚刺激情報である。

【0121】

［処理内容］
図１６を用いて、第３実施形態に係る情報提供装置の処理の流れについて説明する。図１６は、第３実施形態に係る情報提供装置の処理の流れの一例を示すフローチャートである。

【0122】

ステップＳ７０からステップＳ７４の処理は、それぞれ、図３に示すステップＳ１０からステップＳ１４の処理と同一なので説明を省略する。

【0123】

ステップＳ７６からステップＳ８２の処理は、それぞれ、図１２に示すステップＳ５０からステップＳ５６の処理と同一なので説明を省略する。

【0124】

第２感覚刺激情報生成部３６ｃは、触覚刺激を出力するタイミングを算出する（ステップＳ８４）。具体的には、第２感覚刺激情報生成部３６ｃは、音声レベルと、動きベクトルのスカラー値の合計値とをそれぞれ時間軸でグラフ化し、グラフに基づいて、触覚刺激を出力するタイミングを算出する。

【0125】

図１７は、触覚刺激を出力するタイミングを算出する方法を説明するための図である。

【0126】

図１７は、グラフＧ４１と、グラフＧ４２とを示す。グラフＧ４１の横軸は時間、縦軸は音声レベルを示す。グラフＧ４２の横軸は時間、縦軸は動きベクトルのスカラー値の合計値を示す。図１７に示すように、第２感覚刺激情報生成部３６ｃは、音声レベルが閾値以上となるタイミングおよび閾値以下となるタイミングに基づいて、触覚刺激を出力するタイミングを算出する。具体的には、第２感覚刺激情報生成部３６ｃは、音声レベルが閾値以上となるタイミングで振動を発生させ、閾値以下となるタイミングで振動を終了させるように判定する。

【0127】

時間ｔ３１から時間ｔ３２の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６ｃは、例えば、音声レベルが閾値以上となる時間ｔ３１の時点を、触覚刺激を開始するタイミングであると判定する。第２感覚刺激情報生成部３６ｃは、時間ｔ３２の時点を、触覚刺激を終了するタイミングであると判定する。第２感覚刺激情報生成部３６ｃは、時間ｔ３１から時間ｔ３２の間の期間は、継続して振動を発生させる期間であると判定する。

【0128】

時間ｔ３２から時間ｔ３３の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３２から時間ｔ３３の間の期間は、振動を発生させない期間であると判定する。

【0129】

時間ｔ３３から時間ｔ３４の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３３から時間ｔ３４の間の期間は、連続して振動を発生させる期間であると判定する。

【0130】

時間ｔ３４から時間ｔ３５の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３４から時間ｔ３５の間の期間は、振動を発生させない期間であると判定する。

【0131】

時間ｔ３５から時間ｔ３６の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３５から時間ｔ３６の間の期間は、連続して振動を発生させる期間であると判定する。

【0132】

時間ｔ３６から時間ｔ３７の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３６から時間ｔ３７の間の期間は、振動を発生させない期間であると判定する。

【0133】

時間ｔ３７は、音声レベルが閾値に達した後、直ぐに閾値未満となった時点である。この場合、第２感覚刺激情報生成部３６ｃは、時間ｔ３７では、振動を発生させた後、直ぐに振動の発生を止めると判定する。

【0134】

時間ｔ３７から時間ｔ３８の間の期間は、音声レベルが閾値以下となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３７から時間ｔ３８の間の期間は、振動を発生させない期間であると判定する。

【0135】

時間ｔ３８から時間ｔ３９の間の期間は、音声レベルが閾値以上となっている期間である。第２感覚刺激情報生成部３６ｃは、時間ｔ３８から時間ｔ３９の間の期間は、連続して振動を発生させる期間であると判定する。

【0136】

すなわち、第２感覚刺激情報生成部３６ｃは、時間ｔ３１で振動を発生させて、時間ｔ３２で振動を終了させると判定する。第２感覚刺激情報生成部３６ｃは、時間ｔ３３で振動を発生させて、時間ｔ３４で振動を終了させると判定する。第２感覚刺激情報生成部３６ｃは、時間ｔ３５で振動を発生させて、時間ｔ３６で振動を終了させると判定する。第２感覚刺激情報生成部３６ｃは、時間ｔ３７のタイミングで振動を発生させて終了させると判定する。第２感覚刺激情報生成部３６ｃは、時間ｔ３８で振動を発生させて、時間ｔ３９で振動を終了させると判定する。このように、第２感覚刺激情報生成部３６ｃは、振動のリズムを生成する。

【0137】

また、第２感覚刺激情報生成部３６ｃは、動きベクトルのスカラー値の合計値に基づいて、音声レベルに基づいて生成した振動のリズムとは異なる振動のリズムを生成する。具体的には、第２感覚刺激情報生成部３６ｃは、動きベクトルのスカラー値の合計値に基づいて、音声レベルに基づいて振動のリズムにおける振動を発生させない期間であっても、音声レベルに基づいた触覚刺激とは異なる刺激を与えるように判定する。第２感覚刺激情報生成部３６ｃは、例えば、動きベクトルのスカラー値の合計値が閾値以上となったタイミング、および閾値以下となったタイミングで皮膚刺激としては瞬間的につくような点刺激を発生させると判定する。

【0138】

図１７に示すように、グラフＧ４２において、時間ｔ４１は、動きベクトルのスカラー値の合計値が閾値以下となるタイミングである。時間ｔ４２は、動きベクトルのスカラー値の合計値が閾値以上となるタイミングである。時間ｔ４３は、動きベクトルのスカラー値の合計値が閾値以下となるタイミングである。時間ｔ４４は、動きベクトルのスカラー値の合計値が閾値以上となるタイミングである。時間ｔ４５は、動きベクトルのスカラー値の合計値が閾値以下となるタイミングである。時間ｔ４６は、動きベクトルのスカラー値の合計値が閾値以上となるタイミングである。時間ｔ４７は、動きベクトルのスカラー値の合計値が閾値以下となるタイミングである。時間ｔ４８は、動きベクトルのスカラー値の合計値が閾値以上となるタイミングである。時間ｔ４９は、動きベクトルのスカラー値の合計値が閾値以下となるタイミングである。

【0139】

第２感覚刺激情報生成部３６ｃは、時間ｔ４１から時間ｔ４９のそれぞれを、瞬間的につくような点刺激を発生させるタイミングであると判定する。

【0140】

ステップＳ８６およびステップＳ８８の処理は、それぞれ、ステップＳ１８およびステップＳ２０の処理と同一の処理なので、説明を省略する。

【0141】

上述のとおり、第３実施形態は、ユーザＵが聴取した聴覚刺激情報およびユーザＵが視認した視覚刺激に基づいて、触覚刺激情報を生成し、触覚刺激を、視覚刺激と同時に与える。これにより、本実施形態は、ユーザＵの大脳皮質における視覚連合野部分と、触覚連合野部分との双方を刺激して活性化することができる。これにより、視覚連合野部分と、触覚連合分野との間の部分にも血流が増加するなどの変化が起き得る。その結果、ユーザＵは、視覚を刺激する音声に対する記憶力を向上させることができる。

【0142】

［その他の実施形態］
なお、上述の各実施形態では、対象を人に起因する音声またはジェスチャーとして説明したが、本発明はこれに限られない。本発明において、聴覚刺激情報は、動物の鳴き声または自然現象で発生する音であってもよい。また、本発明において、視覚刺激情報は、物体の形状の変化および色の変化であってもよい。

【0143】

また、上述の各実施形態では、触覚刺激情報は、ユーザＵのこめかみ部分を刺激するものとして説明したが、本発明はこれに限られない。本発明において、触覚刺激は、例えば、ユーザＵの手首に装着されるブレスレット型の装置を用いて、ユーザＵの手首に与えてもよい。また、触覚刺激は、ユーザＵの全身に装着されるスーツ型の装置を用いて、ユーザの身体のあらゆる部分に与えてもよい。

【0144】

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0145】

１０，１０ａ，１０ｂ，１０ｃ 情報提供装置
１２ 第１感覚刺激情報検出部
１２Ａ マイク
１２Ｂ カメラ
１４ 入力部
１６ 出力部
１６Ａ 表示部
１６Ｂ 音声出力部
１６Ｃ 感覚刺激出力部
１８ 記憶部
２０，２０ａ，２０ｂ，２０ｃ 制御部
３０，３０ａ，３０ｂ 第１感覚刺激情報取得部
３２ フィルタ処理部
３４ パワー値算出部
３６，３６ａ，３６ｂ，３６ｃ 第２感覚刺激情報生成部
３８ 出力制御部
４０ 直交変換処理部
４２ 人物検出部
４４ 動きベクトル算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】