特許 7600024 芳香提供システムおよび芳香提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】芳香提供システムおよび芳香提供方法

(51)【国際特許分類】

   G10L 15/10 20060101AFI20241209BHJP

【ＦＩ】

G10L15/10 500Z

G10L15/10 200W

【請求項の数】 9

(21)【出願番号】P 2021066290

(22)【出願日】2021-04-09

(65)【公開番号】P2022161453

(43)【公開日】2022-10-21

【審査請求日】2024-01-16

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(72)【発明者】

【氏名】岩本 太郎

(72)【発明者】

【氏名】藤原 学

(72)【発明者】

【氏名】坂本 秀樹

(72)【発明者】

【氏名】松田 脩平

(72)【発明者】

【氏名】村本 政忠

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２０２０－８６６２５（ＪＰ，Ａ）

【文献】特開２００９－３１０６５（ＪＰ，Ａ）

【文献】特開２０１９－７９０８５（ＪＰ，Ａ）

【文献】特開２００１－３４９７３９（ＪＰ，Ａ）

【文献】特開２００６－８２６３４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１９６５７６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４

Ｇ０１Ｃ ２１／００

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供するシステムであって、
上記ユーザの発話音声を検出するユーザ状態検出部と、
上記ユーザ状態検出部により検出された発話音声に基づいて、上記ユーザが関心を示している対象物を特定する関心対象特定部と、
上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる香り発生部とを備え、
上記関心対象特定部は、
上記ユーザ状態検出部により検出された発話音声を音声認識し、音声認識の結果を自然言語解析してキーワードを抽出するキーワード抽出部と、
上記キーワード抽出部により抽出された事物に関するキーワードと、上記キーワード抽出部により抽出された感情に関連するキーワードとに基づいて、上記事物に関するユーザの関心を推定する関心推定部と、
上記関心推定部により上記ユーザが上記事物に対して関心を有していると推定された場合に、上記事物を、上記ユーザが関心を示している対象物として特定する対象物特定部とを備えた
ことを特徴とする芳香提供システム。

【請求項2】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供するシステムであって、
上記ユーザの発話音声を検出するユーザ状態検出部と、
上記ユーザ状態検出部により検出された発話音声に基づいて、上記ユーザが関心を示している対象物を特定する関心対象特定部と、
上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる香り発生部とを備え、
上記関心対象特定部は、
上記ユーザ状態検出部により検出された発話音声を音声認識し、音声認識の結果を自然言語解析して事物に関するキーワードを抽出するキーワード抽出部と、
上記ユーザ状態検出部により検出された発話音声の韻律的特徴を解析して上記事物に関するユーザの関心を推定する関心推定部と、
上記関心推定部により上記ユーザが上記事物に対して関心を有していると推定された場合に、上記事物を、上記ユーザが関心を示している対象物として特定する対象物特定部とを備えた
ことを特徴とする芳香提供システム。

【請求項3】

上記関心推定部は、上記ユーザ状態検出部により検出された発話音声の韻律的特徴を解析して上記事物に関するユーザの関心を更に推定し、
上記対象物特定部は、上記キーワード抽出部により抽出された感情に関連するキーワードに基づいて上記ユーザが上記事物に対して関心を有していると推定され、かつ、上記発話音声の韻律的特徴に基づいて上記ユーザが上記事物に対して関心を有していると推定された場合に、上記事物を、上記ユーザが関心を示している対象物として特定する
ことを特徴とする請求項１に記載の芳香提供システム。

【請求項4】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供するシステムであって、
上記ユーザの視線を検出するユーザ状態検出部と、
上記ユーザ状態検出部により検出された上記ユーザの視線に基づいて、上記車両の外部にある事物のうち上記ユーザが見ていると推定される事物を上記ユーザが関心を示している対象物として特定する関心対象特定部と、
上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる香り発生部とを備え、
上記関心対象特定部は、
上記車両の現在位置および現在方位を検出する現在位置・方位検出部と、
複数の事物の存在位置を示す情報を含む地図データを取得する地図データ取得部と、
上記現在位置・方位検出部により検出された上記車両の現在位置および現在方位と、上記ユーザ状態検出部により検出された上記ユーザの視線とに基づいて、上記地図データ取得部により取得された地図データ上で上記ユーザの視線方向にあり、かつ上記車両の現在位置から所定距離以内にある事物を抽出し、当該抽出した事物を、上記ユーザが関心を示している対象物として特定する対象物特定部とを備えた
ことを特徴とする芳香提供システム。

【請求項5】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供するシステムであって、
上記ユーザの視線を検出するユーザ状態検出部と、
上記ユーザ状態検出部により検出された上記ユーザの視線に基づいて、上記車両の外部にある事物のうち上記ユーザが見ていると推定される事物を上記ユーザが関心を示している対象物として特定する関心対象特定部と、
上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる香り発生部とを備え、
上記関心対象特定部は、
上記車両の外部を撮影することによって得られる撮影画像を解析することにより、上記車両の外部にある事物を認識するとともに、当該事物の上記車両からの相対方向を認識する画像解析部と、
上記画像解析部により解析された上記事物の相対方向および上記ユーザ状態検出部により検出された上記ユーザの視線に基づいて、上記ユーザの視線方向にあり、かつ上記車両から最も近い位置に写っている事物を、上記ユーザが関心を示している対象物として特定する対象物特定部とを備えた
ことを特徴とする芳香提供システム。

【請求項6】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供する方法であって、
コンピュータのユーザ状態検出部が、上記ユーザの発話音声を検出する第１のステップと、
上記コンピュータの関心対象特定部が、上記ユーザ状態検出部により検出された発話音声に基づいて、上記ユーザが関心を示している対象物を特定する第２のステップと、
上記コンピュータの香り発生部が、上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる第３のステップとを有し、
上記第２のステップにおいて上記関心対象特定部は、
上記ユーザ状態検出部により検出された発話音声を音声認識し、音声認識の結果を自然言語解析してキーワードを抽出するキーワード抽出処理と、
上記キーワード抽出処理により抽出された事物に関するキーワードと、上記キーワード抽出処理により抽出された感情に関連するキーワードとに基づいて、上記事物に関するユーザの関心を推定する関心推定処理と、
上記関心推定処理により上記ユーザが上記事物に対して関心を有していると推定された場合に、上記事物を、上記ユーザが関心を示している対象物として特定する対象物特定処理とを実行する
ことを特徴とする芳香提供方法。

【請求項7】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供する方法であって、
コンピュータのユーザ状態検出部が、上記ユーザの発話音声を検出する第１のステップと、
上記コンピュータの関心対象特定部が、上記ユーザ状態検出部により検出された発話音声に基づいて、上記ユーザが関心を示している対象物を特定する第２のステップと、
上記コンピュータの香り発生部が、上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる第３のステップとを有し、
上記第２のステップにおいて上記関心対象特定部は、
上記ユーザ状態検出部により検出された発話音声を音声認識し、音声認識の結果を自然言語解析して事物に関するキーワードを抽出するキーワード抽出処理と、
上記ユーザ状態検出部により検出された発話音声の韻律的特徴を解析して上記事物に関するユーザの関心を推定する関心推定処理と、
上記関心推定処理により上記ユーザが上記事物に対して関心を有していると推定された場合に、上記事物を、上記ユーザが関心を示している対象物として特定する対象物特定処理とを実行する
ことを特徴とする芳香提供方法。

【請求項8】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供する方法であって、
コンピュータのユーザ状態検出部が、上記ユーザの視線を検出する第１のステップと、
上記コンピュータの関心対象特定部が、上記ユーザ状態検出部により検出された上記ユーザの視線に基づいて、上記車両の外部にある事物のうち上記ユーザが見ていると推定される事物を上記ユーザが関心を示している対象物として特定する第２のステップと、
上記コンピュータの香り発生部が、上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる第３のステップとを有し、
上記第２のステップにおいて上記関心対象特定部は、
上記車両の現在位置および現在方位を検出する現在位置・方位検出部処理と、
複数の事物の存在位置を示す情報を含む地図データを取得する地図データ取得処理と、
上記現在位置・方位検出処理により検出された上記車両の現在位置および現在方位と、上記ユーザ状態検出部により検出された上記ユーザの視線とに基づいて、上記地図データ取得処理により取得された地図データ上で上記ユーザの視線方向にあり、かつ上記車両の現在位置から所定距離以内にある事物を抽出し、当該抽出した事物を、上記ユーザが関心を示している対象物として特定する対象物特定処理とを実行する
ことを特徴とする芳香提供方法。

【請求項9】

車両に搭載された芳香提供機構によって、車両に搭乗するユーザに香りを提供する方法であって、
コンピュータのユーザ状態検出部が、上記ユーザの視線を検出する第１のステップと、
上記コンピュータの関心対象特定部が、上記ユーザ状態検出部により検出された上記ユーザの視線に基づいて、上記車両の外部にある事物のうち上記ユーザが見ていると推定される事物を上記ユーザが関心を示している対象物として特定する第２のステップと、
上記コンピュータの香り発生部が、上記関心対象特定部により特定された上記対象物に関連する香りを上記芳香提供機構によって発生させる第３のステップとを有し、
上記第２のステップにおいて上記関心対象特定部は、
上記車両の外部を撮影することによって得られる撮影画像を解析することにより、上記車両の外部にある事物を認識するとともに、当該事物の上記車両からの相対方向を認識する画像解析処理と、
上記画像解析処理により解析された上記事物の相対方向および上記ユーザ状態検出部により検出された上記ユーザの視線に基づいて、上記ユーザの視線方向にあり、かつ上記車両から最も近い位置に写っている事物を、上記ユーザが関心を示している対象物として特定する対象物特定処理とを実行する
ことを特徴とする芳香提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、芳香提供システムおよび芳香提供方法に関し、特に、車両に搭乗するユーザに香りを提供する芳香提供システムおよび芳香提供方法に用いて好適なものである。

【背景技術】

【0002】

従来、車両に搭載された芳香提供機構によって、車両の車室内に香りを提供するシステムにおいて、車両の現在位置を検出し、現在位置に対応する香りを提供するようにしたものが知られている（例えば、特許文献１参照）。特許文献１に記載のシステムでは、ナビゲーション装置の表示画面内に目的地または通過地点が入った場合、場所－香りの対応関係テーブルを参照し、その目的地または通過地点を示す場所ジャンルに対応して設定されている香り番号に該当する香りを香り放出装置から放出させる。

【0003】

また、ユーザの会話を認識し、その会話に関連する香りを提供するようにしたシステムも知られている（例えば、特許文献２参照）。特許文献２に記載のシステムでは、案内メニューに従って利用者に案内サービスを提供するサービスロボットにおいて、利用者から発せられた音声に反応して、発話に含まれているキーワードに対応する香源を複数の香源から選択し、嗅覚ディスプレイを駆動して目的とする香りを発生させて利用者に提示する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００１－３４９７３９号公報

【文献】特開２０１９－００５８８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１，２のシステムは、単に現在位置や発話に含まれるキーワードに対応する香りを提供するだけであり、ユーザの意に反した香りが提供されることがあるという問題があった。

【0006】

本発明は、このような問題を解決するために成されたものであり、車両に搭乗するユーザに香りを提供するシステムについて、よりユーザの意に沿った香りを提供できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

上記した課題を解決するために、本発明では、車両に搭乗するユーザの音声および視線の少なくとも一方を含むユーザ状態を検出し、当該検出したユーザ状態に基づいて、ユーザが関心を示している対象物を特定し、当該特定した対象物に関連する香りを芳香提供機構によって発生させるようにしている。

【発明の効果】

【0008】

上記のように構成した本発明によれば、ユーザ状態から推定される関心対象物に関連する香りが提供されるので、提供される香りがユーザの関心にマッチしたものとなる可能性が高くなり、よりユーザの意に沿った香りを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態による芳香提供システムの機能構成例を示すブロック図である。

【図2】関連情報記憶部に記憶される関連情報の一例を示す図である。

【図3】第１の実施形態によるユーザ状態検出部および関心対象特定部の詳細な機能構成例を示すブロック図である。

【図4】第２の実施形態によるユーザ状態検出部および関心対象特定部の詳細な機能構成例を示すブロック図である。

【図5】第３の実施形態によるユーザ状態検出部および関心対象特定部の詳細な機能構成例を示すブロック図である。

【図6】第４の実施形態によるユーザ状態検出部および関心対象特定部の詳細な機能構成例を示すブロック図である。

【図7】第４の実施形態で用いるカメラの撮影範囲を示す図である。

【図8】第５の実施形態によるユーザ状態検出部および関心対象特定部の詳細な機能構成例を示すブロック図である。

【図9】本実施形態による芳香提供システムの動作例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による芳香提供システムの機能構成例を示すブロック図である。本実施形態の芳香提供システムは、車両に搭載された芳香提供装置２０が備える芳香提供機構２１によって、車両に搭乗するユーザに香りを提供するシステムであり、車両に搭載された車載装置１０および芳香提供装置２０を備えている。車載装置１０は、機能構成として、ユーザ状態検出部１、関心対象特定部２および香り発生部３を備えている。また、車載装置１０は、記憶媒体として、関連情報記憶部４を備えている。

【0011】

上記各機能ブロック１～３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１～３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0012】

ユーザ状態検出部１は、ユーザの音声および視線の少なくとも一方を含むユーザ状態を検出する。音声に関して、ユーザ状態検出部１は、ユーザの発話音声を検出する。また、視線に関して、ユーザ状態検出部１は、ユーザが車外に向けている視線を検出する。ユーザ状態検出部１の詳細については後述する。

【0013】

関心対象特定部２は、ユーザ状態検出部１により検出されたユーザ状態に基づいて、ユーザが関心を示している対象物（以下、関心対象物ということがある）を特定する。すなわち、関心対象特定部２は、ユーザ状態検出部１により検出されたユーザの発話音声および車外に向けた視線の少なくとも一方に基づいて、ユーザが関心を示している対象物を特定する。関心対象特定部２の詳細についても後述する。

【0014】

香り発生部３は、関心対象特定部２により特定された関心対象物に関連する香りを芳香提供装置２０の芳香提供機構２１によって発生させる。芳香提供装置２０は、いわゆるディフューザであり、車内の所定の位置に固定的にまたは一時的に設けられる。例えば、芳香提供装置２０は、噴霧液を貯留する容器を複数セット可能に構成されており、セットされた複数の容器のうち、１つの容器に貯留された噴霧液を選択的にミスト化し、ミストとして噴霧する芳香提供機構２１を備えている。なお、噴霧液に基づくミストを噴霧することは、特許請求の範囲の「車両のユーザに香りを提供すること」に相当する。

【0015】

なお、芳香提供装置２０がミストを噴霧する方法は、液体を超音波によって振動させることによってミストを発生し噴霧する方法や、微細な噴霧孔が形成されたミストノズルによってミストを発生し噴霧する方法、筐体内に空気を導入してベンチュリ効果によって噴霧液を吸い上げ、ミスト化して噴霧する方法等、どのような方法であってもよい。また、芳香提供装置２０は、据え置き型の装置である必要はなく、持ち運び可能なモバイル型の装置であって、車内に持ち込まれて使用されるものであってもよい。

【0016】

香り発生部３は、関連情報記憶部４に記憶されている関連情報に基づいて、関心対象特定部２により特定された関心対象物に関連する香りを選択し、当該選択した香りに対応する噴霧液を貯留する容器を選択して芳香提供機構２１を駆動する。図２は、関連情報記憶部４に記憶される関連情報の一例を示す図である。図２（ａ）は、種々の事物と、それらが属するカテゴリとの対応関係を示した第１の関連情報の例を示したものである。図２（ｂ）は、当該カテゴリと香りの種類との対応関係を示した第２の関連情報の例を示したものである。

【0017】

香り発生部３は、図２（ａ）に示す第１の関連情報に基づいて、関心対象特定部２により特定された関心対象物が属するカテゴリを特定する。例えば、関心対象特定部２により特定された関心対象物が「桜」である場合、香り発生部３は、当該桜が属する「花」というカテゴリを特定する。次いで、香り発生部３は、図２（ｂ）に示す第２の関連情報に基づいて、第１の関連情報に基づいて特定されたカテゴリに対応する香りの種類を特定する。例えば、特定されたカテゴリが「花」である場合、香り発生部３は、当該「花」のカテゴリに対応するフローラル系の香りを特定する。そして、香り発生部３は、フローラル系の香りに対応する噴霧液を貯留する容器を選択して芳香提供機構２１を駆動する。

【0018】

なお、図２に示す関連情報は一例であり、これに限定されるものではない。例えば、図２（ａ）において、「花」、「海」、・・・をそれぞれ更に細分化した複数のカテゴリを設定するようにしてもよい。同様に、図２（ｂ）において、「フォレスト系」、「海系」、・・・をそれぞれ更に細分化した複数の香りの種類を設定するようにしてもよい。また、図２（ｂ）ではカテゴリと香りの種類とを１：１に対応付ける例を示しているが、図２（ａ）と同様に、ｎ：１（ｎ≧２）の対応関係を示した情報としてもよい。

【0019】

以下に、ユーザ状態検出部１および関心対象特定部２の詳細を説明する。
（第１の実施形態）
図３は、第１の実施形態によるユーザ状態検出部１および関心対象特定部２の詳細な機能構成例を示すブロック図である。図３に示すように、第１の実施形態によるユーザ状態検出部１は、マイク１０１で集音される音声を処理する発話音声検出部１０２を備えている。また、第１の実施形態による関心対象特定部２は、キーワード抽出部２０１、関心推定部２０２、対象物特定部２０３および感情キーワード記憶部２０４を備えている。

【0020】

マイク１０１は、車内の所定の位置に設置され、車内の音声を集音する。発話音声検出部１０２は、マイク１０１により集音された音声からユーザの発話音声を検出する。例えば、発話音声検出部１０２は、マイク１０１により集音された音声をＡ／Ｄ変換し、公知の方法によってロードノイズやオーディオ音などの環境音を除外した上で、ユーザが発話した内容に該当する発声区間の音声を発話音声として検出する。

【0021】

関心対象特定部２のキーワード抽出部２０１は、発話音声検出部１０２により検出されたユーザの発話音声を音声認識し、音声認識の結果を自然言語解析してキーワードを抽出する。キーワード抽出部２０１は、音声認識辞書を有し、発話音声検出部１０２により検出された発話音声の音声データと音声認識辞書とを照合して音声認識処理を行った後、その結果得られるテキストデータを用いて自然言語解析処理を行うことにより、キーワードを抽出する。

【0022】

ここで、キーワード抽出部２０１は、公知の形態素解析を行うことにより、ユーザの発話音声に対応するテキストデータを複数の形態素に分解し、複数の形態素のそれぞれをキーワードとして抽出する。特定の品詞の形態素をキーワードとして抽出するようにしてもよい。特定の品詞は、例えば、名詞、動詞、形容詞、副詞である。

【0023】

関心推定部２０２は、キーワード抽出部２０１により抽出された事物に関するキーワードと、キーワード抽出部２０１により抽出された感情に関連するキーワードと基づいて、事物に関するユーザの関心を推定する。例えば、関心推定部２０２は、キーワード抽出部２０１により抽出されたキーワードのうち、名詞のキーワードを事物に関するキーワードとして認識する。また、関心推定部２０２は、キーワード抽出部２０１により抽出されたキーワードのうち、感情キーワード記憶部２０４にあらかじめ登録されているキーワードを感情に関連するキーワードとして認識する。

【0024】

感情キーワード記憶部２０４には、人が事物に関心を示しているときに発することが経験則的に分かっているまたは予想されるキーワードがあらかじめ登録されている。例えば、「ほら」、「みて」、「なんだろう」、「すごい」、「うわー」、「やばい」、「きれい」、「気持ちいい」などの単語が感情キーワードとして感情キーワード記憶部２０４に登録されている。関心推定部２０２は、キーワード抽出部２０１により抽出された複数のキーワードの中に感情キーワードが含まれている場合に、キーワード抽出部２０１により抽出された複数のキーワードの中に名詞のキーワードとして含まれている事物に対して関心を持っているとい推定する。

【0025】

例えば、関心推定部２０２は、「みて、桜が咲いているわ」という発話内容からキーワード抽出部２０１により抽出された「桜」という事物のキーワードと、「みて」という感情キーワードとに基づいて、ユーザが桜に対して関心を持っていると推定する。また、関心推定部２０２は、「なにかしら、きれいな花」という発話内容からキーワード抽出部２０１により抽出された「花」という事物のキーワードと、「なにかしら」という感情キーワードとに基づいて、ユーザが花に対して関心を持っていると推定する。

【0026】

ここで、関心推定部２０２は、キーワード抽出部２０１により抽出されたキーワードと、感情キーワード記憶部２０４に登録されている感情キーワードとの完全一致判定を行うようにしてもよいし、類似判定を行うようにしてもよい。類似判定は、例えば類語辞書を用いて行うことが可能である。すなわち、キーワード抽出部２０１により抽出されたキーワードが、感情キーワード記憶部２０４に登録されているキーワードに対する類語として類語辞書に登録されている場合に、当該抽出されたキーワードを感情キーワードとして認識する。

【0027】

対象物特定部２０３は、関心推定部２０２によりユーザが事物に対して関心を有していると推定された場合に、当該推定された事物を、ユーザが関心を示している対象物として特定する。そして、特定した関心対象物を示す単語データを香り発生部３に供給する。

【0028】

このように、第１の実施形態によれば、ユーザの発話内容からユーザの関心対象物を推定し、当該関心対象物に対応する香りをユーザに提供することができる。発話内容の中に感情キーワードが含まれていない場合は、芳香提供機構２１が駆動されることはなく、ユーザに香りは提示されない。そのため、何気ない発話内容をもとにユーザの意に反する香りが提示されることはなく、ユーザが事物に関心を持っていると推定される場合にのみ、その事物に関する香りをユーザに提示することができる。
（第２の実施形態）
図４は、第２の実施形態によるユーザ状態検出部１および関心対象特定部２Ａの詳細な機能構成例を示すブロック図である。なお、この図４において、図３に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図４に示すように、第２の実施形態では、関心対象特定部２に代えて関心対象特定部２Ａを用いる。第２の実施形態による関心対象特定部２Ａは、キーワード抽出部２１１、関心推定部２１２および対象物特定部２１３を備えている。

【0029】

関心対象特定部２のキーワード抽出部２１１は、発話音声検出部１０２により検出されたユーザの発話音声を音声認識し、音声認識の結果を自然言語解析して事物に関するキーワードを抽出する。キーワード抽出部２１１は、音声認識辞書を有し、発話音声検出部１０２により抽出された発話音声の音声データと音声認識辞書とを照合して音声認識処理を行った後、その結果得られるテキストデータを用いて自然言語解析処理を行うことにより、テキストデータに含まれる複数の形態素のうち、名詞の形態素を事物に関するキーワードとして抽出する。

【0030】

関心推定部２１２は、発話音声検出部１０２により検出された発話音声の韻律的特徴を解析して、キーワード抽出部２１１により抽出された事物に関するユーザの関心を推定する。発話音声の韻律的特徴とは、発話音声の強弱または音量、長短、高低、抑揚、アクセントなどの特徴をいう。例えば、関心推定部２０２は、キーワード抽出部２１１により抽出された事物に関するキーワードの部分で音量が大きくなる、発音が強くなる、音程が高くなる、速度が速くなるなどの特徴がみられた場合に、当該事物に対してユーザが関心を持っていると推定する。あるいは、関心推定部２０２は、発話音声検出部１０２により検出される複数の発話音声のうち、他に比べて音量が大きくなった発話音声からキーワード抽出部２１１により抽出された事物に対してユーザが関心を持っていると推定するようにしてもよい。

【0031】

別の例として、発話音声の強弱、音量、長短、高低、抑揚およびアクセントの少なくとも１つに関する特徴を学習した推定モデルを用いて、発話音声検出部１０２により検出された発話音声からユーザの事物に対する関心の有無を推定するようにしてもよい。推定モデルは、例えば、発話音声の強弱、音量、長短、高低、抑揚およびアクセントの少なくとも１つに関する韻律情報が入力されたときに、ユーザの事物に対する関心の有無を示す評価値を出力するように機械学習された分類器である。

【0032】

例えば、人が事物に関心を持っているときに発せられた発話音声の音声データを解析して得られた韻律情報と、人が事物に関心を持っていないときに発せられた発話音声の音声データを解析して得られた韻律情報とをあらかじめ学習データとして複数用意し、それぞれに対して関心の有無に関する正解ラベルを与えた上で、推定モデルの機械学習を行うことにより、発話音声の韻律情報からユーザの事物に対する関心の有無を推定する推定モデルを生成することが可能である。

【0033】

なお、推定モデルの中に、発話音声の音声データから韻律情報を特徴量として抽出する演算層を含ませることにより、発話音声の音声データが入力されたときに、ユーザの事物に対する関心の有無を示す評価値を出力するように機械学習された推定モデルを生成することも可能である。この場合は、人が事物に関心を持っているときに発せられた発話音声の音声データと、人が事物に関心を持っていないときに発せられた発話音声の音声データとをあらかじめ学習データとして複数用意し、それぞれに対して関心の有無に関する正解ラベルを与えた上で、推定モデルの機械学習を行う。

【0034】

対象物特定部２１３は、関心推定部２１２によりユーザが事物（キーワード抽出部２１１により名詞のキーワードとして抽出された事物）に対して関心を有していると推定された場合に、当該推定された事物を、ユーザが関心を示している対象物として特定する。

【0035】

このように、第２の実施形態によれば、ユーザの発話内容に含まれるキーワードおよび発話音声の韻律的特徴からユーザの関心対象物を推定し、当該関心対象物に対応する香りをユーザに提供することができる。韻律的特徴からユーザが事物に対して関心を有していることが推定されない場合は、芳香提供機構２１が駆動されることはなく、ユーザに香りは提示されない。そのため、何気ない発話内容をもとにユーザの意に反する香りが提示されることはなく、ユーザが事物に関心を持っていると推定される場合にのみ、その事物に関する香りをユーザに提示することができる。

【0036】

なお、ここではユーザの発話内容から事物に関するキーワードのみを抽出しているが、第１の実施形態と同様に感情キーワードも抽出し、感情キーワードが含まれていて、かつ、韻律的特徴をもとにユーザの関心が有ることも推定される場合に、発話内容からキーワードとして抽出された事物をユーザの関心対象物として特定するようにしてもよい。このようにすれば、関心対象物の推定の確度を上げることができる。
（第３の実施形態）
図５は、第３の実施形態によるユーザ状態検出部１Ｂおよび関心対象特定部２Ｂの詳細な機能構成例を示すブロック図である。図５に示すように、第３の実施形態では、ユーザ状態検出部１および関心対象特定部２に代えてユーザ状態検出部１Ｂおよび関心対象特定部２Ｂを用いる。第３の実施形態によるユーザ状態検出部１Ｂは、カメラ１１１により撮影される画像を処理する視線検出部１１２を備えている。また、第３の実施形態による関心対象特定部２Ｂは、現在位置・方位検出部２２１、地図データ取得部２２２および対象物特定部２２３を備えている。

【0037】

カメラ１１１は、車内の所定の位置に設置され、車両に搭乗しているユーザの顔を撮影する。例えば、カメラ１１１は、車内の全域または前部座席の領域を撮影可能な位置に設置され、車内の全座席または前部座席に着座しているユーザの顔を撮影する。あるいは、カメラ１１１を座席ごとに設置して、各座席に着座しているユーザの顔をそれぞれ撮影してもよい。

【0038】

視線検出部１１２は、カメラ１１１により撮影された撮影画像に基づいて瞳孔または虹彩の位置を解析することにより、ユーザの視線を検出する。例えば、視線検出部１１２は、車両の前方（進行方向）を基準方向として、当該基準方向に対するユーザの視線の相対方向を検出する。ここで検出する視線方向は、水平面上の左右方向の角度である。水平面を基準とした上下方向の角度は必ずしも検出しなくてもよい。

【0039】

ここで、カメラ１１１の設置位置の情報（車両の前方である基準方向からどの方向にどの程度ずれた位置にカメラ１１１が設置されているかを特定可能な情報）と、各座席に座るユーザの顔の想定位置を示す情報とをあらかじめ登録しておくことにより、ユーザの視線が基準方向に向けられているときの虹彩の向きを特定することができる。視線検出部１１２は、このような虹彩の向きと基準方向との関係性を利用して、ユーザの視線がどの方向に向けられているのかを検出することが可能である。

【0040】

なお、ユーザが頭を大きく動かした場合、ユーザの目が撮影画像に含まれなくなることがある。この場合、視線検出部１１２は、ユーザの頭の向きを検出し、当該頭の向きを視線の方向として検出する（頭の向きを視線の方向とみなす）ようにしてもよい。

【0041】

関心対象特定部２Ｂは、ユーザ状態検出部１Ｂの視線検出部１１２により検出されたユーザの視線に基づいて、車両の外部にある事物のうちユーザが見ていると推定される事物をユーザの関心対象物として特定する。第３の実施形態では、車両の外部にある事物のうちユーザが見ていると推定される事物を、現在位置・方位検出部２２１、地図データ取得部２２２および対象物特定部２２３によって特定する。

【0042】

現在位置・方位検出部２２１は、車両の現在位置および現在方位を検出する。現在位置・方位検出部２２１は、例えば、ＧＰＳ（Global Positioning System）受信機を備え、複数のＧＰＳ衛星から送られてくる電波をＧＰＳアンテナで受信して、３次元測位処理あるいは２次元測位処理を行って車両の絶対位置および絶対方位を計算する。

【0043】

また、現在位置・方位検出部２２１は、ジャイロセンサ、加速度センサや磁気方位センサを用いた自立航法センサを備えたものであってもよい。自立航法センサは、所定走行距離毎に１個のパルスを出力して車両の移動距離を検出する距離センサと、車両の回転角度（移動方位）を検出する振動ジャイロ等の角速度センサ（相対方位センサ）とを含む。自立航法センサは、これらの距離センサおよび角速度センサによって車両の相対位置および相対方位を検出する。そして、位置計算用ＣＰＵは、自立航法センサから出力される自車の相対的な位置および方位のデータに基づいて、絶対的な自車位置および車両方位を計算する。

【0044】

地図データ取得部２２２は、地図データ記憶部５０から地図データを取得する。地図データ記憶部５０は、車両が搭載しているものであってもよいし、通信ネットワークを介して接続されるサーバ装置が備えるものであってもよい。地図データは、例えばナビゲーション装置が経路探索や経路案内に使用するものと同じでよく、地図表示に必要な各種の描画データと、マップマッチングや経路探索、経路案内等の各種の処理に必要な道路データと、施設データとが含まれている。描画データや施設データは、海や山、川などの自然物のほか、公園や観光スポット、建築物、店舗、各地点の名物などの人工物を含めて、複数の事物に関するデータがその存在位置を示す情報と共に記録されている。

【0045】

対象物特定部２２３は、現在位置・方位検出部２２１により検出された車両の現在位置および現在方位と、ユーザ状態検出部１Ｂの視線検出部１１２により検出されたユーザの視線とに基づいて、地図データ取得部２２２により取得された地図データ上でユーザの視線方向にある事物を抽出し、当該抽出した事物を、ユーザが関心を示している対象物として特定する。

【0046】

すなわち、対象物特定部２２３は、現在位置・方位検出部２２１により検出された車両の現在位置および現在方位と、ユーザ状態検出部１Ｂの視線検出部１１２により検出されたユーザの視線とに基づいて、基準方向である車両の現在方位（絶対方位）に対するユーザの視線の相対方位（視線方向）を特定することが可能であり、現在位置から視線方向の先にある事物を地図データから特定することが可能である。なお、対象物特定部２２３は、ユーザの視線が届く範囲を考慮して、車両の現在位置から所定距離以内にある事物をユーザの関心対象物として特定する。

【0047】

なお、ユーザの視線方向で、かつ車両の現在位置から所定距離以内の位置にある複数の事物を地図データから抽出可能な場合があり得る。この場合、対象物特定部２２３は、例えば、車両の現在位置から最も近い位置にある事物をユーザの関心対象物として特定する。あるいは、複数の施設が所定密度以上で存在するエリアを走行中の場合は車両の現在位置から最も近い位置にある事物をユーザの関心対象物として特定する一方、複数の施設が所定密度未満で存在するエリアを走行中の場合は車両の現在位置から最も遠い位置にある事物をユーザの関心対象物として特定するようにしてもよい。

【0048】

このように、第３の実施形態によれば、ユーザの視線からユーザの関心対象物を推定し、当該関心対象物に対応する香りをユーザに提供することができる。
（第４の実施形態）
図６は、第４の実施形態によるユーザ状態検出部１Ｂおよび関心対象特定部２Ｃの詳細な機能構成例を示すブロック図である。なお、この図６において、図５に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図６に示すように、第４の実施形態では、関心対象特定部２Ｂに代えて関心対象特定部２Ｃを用いる。第４の実施形態による関心対象特定部２Ｃは、カメラ２３１により撮影される画像を処理する画像解析部２３２および対象物特定部２３３を備えている。

【0049】

第４の実施形態においても第３の実施形態と同様に、関心対象特定部２Ｃは、ユーザ状態検出部１Ｂの視線検出部１１２により検出されたユーザの視線に基づいて、車両の外部にある事物のうちユーザが見ていると推定される事物をユーザの関心対象物として特定する。ただし、第４の実施形態では、車両の外部にある事物のうちユーザが見ていると推定される事物を、画像解析部２３２および対象物特定部２３３によって特定する。

【0050】

カメラ２３１は、車内または車外の所定の位置に設置され、車両の外部を撮影する。例えば、図７に示すように、車両の前方の所定範囲を撮影するフロントカメラ２３１Ｆ、車両の右方の所定範囲を撮影する右サイドカメラ２３１Ｒ、車両の左方の所定範囲を撮影する左サイドカメラ２３１Ｌ、車両の後方の所定範囲を撮影するリアカメラ２３１Ｂにより、車両周囲の全方向を撮影する。以下、カメラ２３１と書くときは、これら各方向のカメラ２３１Ｆ，２３１Ｒ，２３１Ｌ，２３１Ｂを含むものとする。

【0051】

画像解析部２３２は、カメラ２３１が車両の外部を撮影することによって得られる撮影画像を解析することにより、車両の外部にある事物を認識するとともに、当該事物の車両からの相対方向を認識する。ここで認識する事物は、海や山、川などの自然物のほか、公園や観光スポット、建築物、店舗などの人工物であるが、全ての事物を認識する必要はなく、図２（ａ）に示した第１の関連情報に記録されている事物を認識すればよい。画像認識は、例えば、あらかじめデータベースに登録したパターン画像とのパターンマッチングにより行うことが可能である。あるいは、画像の特徴を機械学習した分類モデルを用いて、撮影画像に含まれる事物を認識するようにしてもよい。

【0052】

事物の車両からの相対方向は、各方向のカメラ２３１Ｆ，２３１Ｒ，２３１Ｌ，２３１Ｂのどの撮影画像に写っている事物であるかという情報と、その撮影画像内における事物の位置を示す情報とから認識することが可能である。例えば、フロントカメラ２３１Ｆで撮影された画像の左右方向中央の位置に写っている事物の車両からの相対方向は、車両の進行方向（基準方向）と同じであることを認識することができる。また、フロントカメラ２３１Ｆで撮影された画像の中央から右方向または左方向にずれた位置に写っている事物の車両からの相対方向は、フロントカメラ２３１Ｆの視野角と撮影画像内における事物の存在位置との関係性から特定することが可能である。他の方向のカメラ２３１Ｒ，２３１Ｌ，２３１Ｂで撮影された画像から事物の相対方向を認識する場合も同様である。

【0053】

なお、撮影画像の中から、第１の関連情報に記録されている複数の事物が認識される場合があり得る。この場合、画像解析部２３２は、例えば、車両から最も近い位置に写っている事物をユーザの関心対象物として特定する。あるいは、複数の施設が所定密度以上で存在するエリアを走行中の場合は車両から最も近い位置に写っている事物を認識する一方、複数の施設が所定密度未満で存在するエリアを走行中の場合は車両から最も遠い位置に写っている事物を認識するようにしてもよい。

【0054】

対象物特定部２３３は、画像解析部２３２により解析された事物の相対方向およびユーザ状態検出部１Ｂの視線検出部１１２により検出されたユーザの視線に基づいて、ユーザの視線方向にある事物をユーザの関心対象物として特定する。すなわち、対象物特定部２３３は、画像解析部２３２により複数の方向において認識された複数の事物の中から、視線検出部１１２により検出されたユーザの視線方向に存在する事物をユーザの関心対象物として特定する。

【0055】

このように、第４の実施形態においても、ユーザの視線からユーザの関心対象物を推定し、当該関心対象物に対応する香りをユーザに提供することができる。
（第５の実施形態）
図８は、第５の実施形態によるユーザ状態検出部１Ｄおよび関心対象特定部２Ｄの詳細な機能構成例を示すブロック図である。図８において、図４および図５に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。第５の実施形態による芳香提供システムは、ユーザの発話音声と視線の両方を用いてユーザの関心対象物を特定するようにしたものである。

【0056】

図８に示すように、第５の実施形態では、ユーザ状態検出部１Ｄは、図４に示した発話音声検出部１０２および図５に示した視線検出部１１２を備えており、ユーザの発話音声を検出するとともに、ユーザの視線を検出する。また、第５の実施形態では、関心対象特定部２Ｄは、図４に示したキーワード抽出部２１１を備えるとともに、図５に示した現在位置・方位検出部２２１および地図データ取得部２２２を備えている。また、関心対象特定部２Ｄは、図５に示した対象物特定部２２３に代えて対象物特定部２４３を備えている。

【0057】

上述したように、キーワード抽出部２１１は、ユーザ状態検出部１Ｄの発話音声検出部１０２により検出された発話音声を音声認識し、音声認識の結果を自然言語解析することにより、事物に関するキーワードを抽出する。

【0058】

対象物特定部２４３は、図５に示した対象物特定部２２３と同様に、ユーザ状態検出部１Ｂの視線検出部１１２により検出されたユーザの視線と、現在位置・方位検出部２２１により検出された車両の現在位置および現在方位と、地図データ取得部２２２により取得された地図データとに基づいて、ユーザが見ていると推定される事物を特定する機能（地図データ上でユーザの視線方向にある事物を抽出する機能）を有する。図５に示す第３の実施形態では、こうして抽出した事物をユーザの関心対象物として特定したが、第５の実施形態はここが第３の実施形態と異なる。

【0059】

すなわち、第５の実施形態において、対象物特定部２４３は、視線検出部１１２により検出されるユーザの視線に基づいてユーザが見ていると推定された事物と、キーワード抽出部２１１により発話音声から名詞のキーワードとして抽出された事物とが一致する場合に、当該事物をユーザの関心対象物として特定する。このように、ユーザの発話音声と視線の両方を用いてユーザの関心対象物を特定することにより、関心対象物の推定の確度を上げることができる。

【0060】

なお、ここでは、ユーザが見ていると推定される事物を特定する機能として、図５の現在位置・方位検出部２２１、地図データ取得部２２２および対象物特定部２２３と同様の機能を用いる例について説明したが、これに代えて、図６の画像解析部２３２および対象物特定部２３３と同様の機能を用いるようにしてもよい。

【0061】

また、ここでは、キーワード抽出部２１１により抽出されたユーザの視線に基づいてユーザが見ていると推定された事物と、キーワード抽出部２１１により発話音声から名詞のキーワードとして抽出された事物とが一致する場合に、当該事物をユーザの関心対象物として特定する例について説明したが、関心推定部２１２を更に設けてもよい。すなわち、キーワード抽出部２１１により発話音声から名詞のキーワードとして抽出された事物であって、かつ関心推定部２１２によりユーザが関心を持っていると推定された事物が、ユーザの視線に基づいてユーザが見ていると推定された事物と一致する場合に、当該事物をユーザの関心対象物として特定するようにしてもよい。また、キーワード抽出部２１１および関心推定部２１２に代えてキーワード抽出部２０１および関心推定部２０２を用いるようにしてもよい。

【0062】

図９は、以上のように構成した本実施形態による芳香提供システムの動作例を示すフローチャートである。図９に示すフローチャートは、例えばユーザが芳香提供システムの機能を起動したときに開始する。なお、ここでは第１の実施形態として示したユーザ状態検出部１、関心対象特定部２および香り発生部３の動作例を示すが、第２の実施形態～第５の実施形態においても、図９のフローチャートに示す基本的な動作は同様である。

【0063】

まず、ユーザ状態検出部１はユーザ状態を検出する（ステップＳ１）。次に、関心対象特定部２は、ユーザ状態検出部１により検出されたユーザ状態に基づいて、ユーザが関心を示している対象物を特定する（ステップＳ２）。ここで、関心対象特定部２は、ユーザの関心対象物を特定できたか否かを判定し（ステップＳ３）、特定できた場合はその関心対象物を香り発生部３に通知する。一方、関心対象物を特定できなかった場合、処理はステップＳ１に戻る。

【0064】

なお、第１の実施形態において、関心対象物を特定できない場合とは、例えば、ユーザの発話音声の中に、感情キーワード記憶部２０４に記憶されている感情キーワードが含まれていない場合である。あるいは、ユーザの発話音声の中に感情キーワードが含まれている場合であっても、発話音声の中から名詞のキーワードとして抽出した事物が、図２（ａ）に示す第１の関連情報に含まれていない場合も、関心対象物を特定できない場合となる。

【0065】

関心対象特定部２がユーザの関心対象物を特定できた場合、香り発生部３は、その関心対象物の通知を受けて、当該関心対象物に関連する香りを芳香提供機構２１の駆動によって発生させる（ステップＳ４）。そして、図９に示すフローチャートの処理を終了する。なお、このフローチャートでは、１つの香りを発生させた時点で処理を終了する例について説明しているが、ステップＳ４の処理を行った後もステップＳ１の処理に戻り、芳香提供システムの機能がオフとされるまでステップＳ１～Ｓ４の処理を繰り返し行うようにしてもよい。

【0066】

以上詳しく説明したように、本実施形態では、車両に搭乗するユーザの音声および視線の少なくとも一方を含むユーザ状態を検出し、当該検出したユーザ状態に基づいて、ユーザが関心を示している対象物を特定し、当該特定した対象物に関連する香りを発生させるようにしている。このように構成した本実施形態によれば、ユーザ状態から推定される関心対象物に関連する香りが提供されるので、提供される香りがユーザの関心にマッチしたものとなる可能性が高くなり、よりユーザの意に沿った香りを提供することができる。

【0067】

なお、上記実施形態では、車載装置１０がユーザ状態検出部１，１Ｂおよび関心対象特定部２，２Ａ，２Ｂ，２Ｃ，２Ｄを備え、関連する処理を全て車載装置１０にて行う例を示したが、その一部または全部の処理を、車載装置１０に対して通信ネットワークを介して接続されるサーバ装置と連携して行うようにしてもよい。

【0068】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0069】

１，１Ｂ ユーザ状態検出部
２，２Ａ，２Ｂ，２Ｃ，２Ｄ 関心対象特定部
３ 香り発生部
２１ 芳香提供機構
１０２ 発話音声検出部
１１２ 視線検出部
２０１，２１１ キーワード抽出部
２０２，２１２ 関心推定部
２０３，２１３，２２３，２３３，２４３ 対象物特定部
２２１ 現在位置・方位検出部
２２２ 地図データ取得部
２３２ 画像解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】