IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ソケッツの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022189185
(43)【公開日】2022-12-22
(54)【発明の名称】提案装置および方法
(51)【国際特許分類】
   G06F 3/0484 20220101AFI20221215BHJP
   G10L 15/10 20060101ALI20221215BHJP
   G10L 15/00 20130101ALI20221215BHJP
   G06F 3/16 20060101ALI20221215BHJP
   G08G 1/16 20060101ALI20221215BHJP
【FI】
G06F3/0484
G10L15/10 500N
G10L15/00 200J
G06F3/16 650
G06F3/16 690
G06F3/16 610
G08G1/16 F
【審査請求】有
【請求項の数】23
【出願形態】OL
(21)【出願番号】P 2021097614
(22)【出願日】2021-06-10
(71)【出願人】
【識別番号】500423444
【氏名又は名称】株式会社ソケッツ
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】五十崎 正明
(72)【発明者】
【氏名】塩本 祥司
(72)【発明者】
【氏名】浦部 浩司
【テーマコード(参考)】
5E555
5H181
【Fターム(参考)】
5E555AA11
5E555AA46
5E555AA48
5E555AA72
5E555BA02
5E555BA23
5E555BA38
5E555BB23
5E555BB38
5E555BC01
5E555BC17
5E555CA42
5E555CA45
5E555CA47
5E555CB00
5E555CB47
5E555CB64
5E555CB69
5E555CB70
5E555DA08
5E555DA09
5E555DA23
5E555DB53
5E555DB57
5E555DD07
5E555DD08
5E555EA02
5E555EA19
5E555EA20
5E555FA00
5H181AA01
5H181AA21
5H181CC04
5H181CC11
5H181EE12
5H181FF05
5H181FF10
5H181FF22
5H181LL08
5H181LL20
5H181MB12
(57)【要約】
【課題】ドライバの感情状態に最適な提示対象を案内する。
【解決手段】現在感情決定部121が、ドライバの発話した内容、ドライバの声のトーンの変化、ドライバの表情の変化、走行状態の変化といった複数の情報から現在のドライバの感情状態を推定する。目標感情状態決定部122が、現在の感情状態の情報から、コンテンツ等の提供よってもたらされる目標となる感情状態を推定する。提示対象決定部122が、現在の感情状態の情報と、目標の感情状態の情報とを使用して、応答メッセージを作成し、コンテンツ等を提案し、もしくはこれらを選択してドライバ等に提示する。
【選択図】図2
【特許請求の範囲】
【請求項1】
複数の対象から提示すべき対象を選択して車両乗員に対して提案する提案装置において、
車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と、
車両乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段と、
上記感情状態決定手段により決定された車両乗員感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段と、
上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と、
上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを有することを特徴とする提案装置。
【請求項2】
上記車両乗員の状況を検出して上記車両乗員状況データを生成する車両乗員状況検出手段をさらに有する請求項1記載の提案装置。
【請求項3】
上記感情状態決定手段は、所定はイベントに基づいて上記車両乗員感情状態の決定処理を開始する請求項1または2記載の提案装置。
【請求項4】
上記状態推移確率保持手段は、上記車両乗員感情状態の所定の履歴ごとに状態推移確率を保持する請求項1~3のいずれかに記載の提案装置。
【請求項5】
上記車両乗員感情状態は、複数の個別の感情状態の尤度を要素とするベクトルで表される請求項1~4のいずれかに記載の提案装置。
【請求項6】
上記対象のメタ情報は、上記対象の印象を表すメタ情報である請求項1~5のいずれかに記載の提案装置。
【請求項7】
上記車両乗員感情状態の感情状態が、上記メタ情報に対応付けられている請求項6記載の提案装置。
【請求項8】
上記車両乗員は上記車両のドライバである請求項1~7のいずれかに記載の提案装置。
【請求項9】
複数の対象から提示すべき対象を選択して車両乗員に対して提案する提案方法において、
感情状態決定手段が、車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定するステップと、
目標感情状態決定手段が、上記感情状態決定手段により決定された車両乗員感情状態と、状態推移確率保持手段に保持されている、車両乗員感情状態から目標感情状態への推移の状態推移確率とに基づいて目標感情状態を決定するステップと、
提示対象決定手段が、上記目標感情状態決定手段により決定された目標感情状態に基づいて、上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段を参照して、提示すべき対象を決定するステップとを有することを特徴とする提案方法。
【請求項10】
コンピュータを、
車両乗員状況を検出する車両乗員状況検出手段、
車両乗員の状況を表すス両上院状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段、
車両乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段、
感情状態決定手段により決定された車両乗員感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段、
上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段、および、
上記目標感情状態決定手段により決定された目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段、
として実現されるために使用される、複数の対象から提示すべき対象を選択して車両乗員に対して提案するための提案用コンピュータプログラム。
【請求項11】
複数の対象から提示すべき対象を選択してユーザに対して提案する提案装置において、
ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定する感情状態決定手段と、
ユーザ乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段と、
上記感情状態決定手段により決定されたユーザ感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段と、
上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と、
上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを有することを特徴とする提案装置。
【請求項12】
携帯型端末をさらに有し、上記携帯型端末は上記ユーザ状況データを上記感情状態決定手段に供給する請求項11記載の提案装置。
【請求項13】
上記携帯型端末は、メガネ型ウェアラブル端末である請求項12記載の提案装置。
【請求項14】
上記携帯型端末は、スマートウォッチである請求項12記載の提案装置。
【請求項15】
複数の対象から提示すべき対象を選択してユーザに対して提案する提案方法において、
感情状態決定手段が、ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定するステップと、
目標感情状態決定手段が、上記感情状態決定手段により決定されたユーザ感情状態と、状態推移確率保持手段に保持されている、ユーザ感情状態から目標感情状態への推移の状態推移確率とに基づいて目標感情状態を決定するステップと、
上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と、
提示対象決定手段が、上記目標感情状態決定手段により決定された上記目標感情状態に基づいて、上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段を参照して、提示すべき対象を決定するステップとを有することを特徴とする提案方法。
【請求項16】
コンピュータを、
ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定する感情状態決定手段、
ユーザ乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段、
上記感情状態決定手段により決定されたユーザ感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段、
上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段、および、
上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段、
として実現されるために使用される、複数の対象から提示すべき対象を選択してユーザに対して提案するための提案用コンピュータプログラム。
【請求項17】
車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と、
上記車両乗員感情状態が危険な運転状態に対応する危険運転感情状態に至った危険運転対応頻度を求める危険運転頻度決定手段とを有し、
上記危険運転対応頻度に基づいて車両乗員の運転危険度を判定することを特徴とする危険運転判定装置。
【請求項18】
上記危険運転感情状態は、急激にネガティブな感情に変化した状態である危険運転判定装置。
【請求項19】
感情状態決定手段が、車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定するステップと、
危険運転頻度決定手段が、上記車両乗員感情状態が危険な運転状態に対応する危険運転感情状態に至った危険運転対応頻度を求めるステップとを有し、
上記危険運転対応頻度に基づいて車両乗員の運転危険度を判定することを特徴とする危険運転判定方法。
【請求項20】
車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と、
上記車両乗員感情状態が所定の感情状態に至ったときに、上記車両乗員または上記車両乗員が搭乗している車両の位置情報を取得する位置情報取得手段と、
上記位置情報取得手段が取得した位置情報と、対応する所定の感情状態に基づいて、当該位置情報の示す位置に、上記所定の感情状態に対応する特性を付与することを特徴とする位置特性付与装置。
【請求項21】
上記所定の感情状態は、急激にネガティブな感情に変化した状態であり、当該位置に付与される上記対応する特性は警戒特性である請求項20記載の位置特性付与装置。
【請求項22】
上記所定の感情状態は、急激にポジティブな感情に変化した状態であり、当該位置に付与される上記対応する特性は良好特性である請求項20記載の位置特性付与装置。
【請求項23】
感情状態決定手段が、車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定するステップと、
位置情報取得手段が、上記車両乗員感情状態が所定の感情状態に至ったときに、上記車両乗員または上記車両乗員が搭乗している車両の位置情報を取得するステップとを有し、
上記位置情報取得手段が取得した位置情報と、対応する所定の感情状態に基づいて、当該位置情報の示す位置に、上記所定の感情状態に対応する特性を付与することを特徴とする位置特性付与方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、提示対象を提案または提供する技術に関する。
【背景技術】
【0002】
自動車の車内で使いたいサービスとして、「音楽を聴く」というニーズは高く、現在でも多くのドライバが音楽を聴きながらドライブを楽しんでいる。また、最近では多くのドライバがネットストリーミングサービスを利用して音楽を聴いている。
【0003】
自動車の運転中に「音楽を聴く」際には、運転中に音楽端末に対して、複雑な「オペレーション」が困難で、多くのドライバはあらかじめ自分で用意した楽曲もしくはプレイリストを使っている。そのため、新しい音楽への出会いや、ドライブの状況にあわせた選曲といった体験をすることは難しい。
【0004】
運転中の選曲を簡単に行う方法の1つとして、音声による操作がある。これは、実際に、Apple Siri(登録商標)/Amazon Alexa(登録商標)/Google home(登録商標)といったサービスで実現されており、たとえば、「Alexa」(アレクサ)といった予約語のあとに「リラックスできる曲をかけて」「海の曲かけて」「XXXのYYYかけて」(XXXはアーティスト名、YYYは曲名)といった発話を投げかけることにより、該当する音楽を聴くことができる。
【0005】
また、現在の位置情報と、地図を用いた地点情報と連動させ、現在の位置が「海」に近ければ、「海」に関連した曲を選曲したり、「東京タワー」といったランドマークの近くで「東京タワー」にちなんだ曲を流すといったことも技術的には容易に実現可能である。
【0006】
なお、サービスとして提供されるコンテンツ(対象)としては、楽曲の他に、商品、記事、画像、動画等があり、それぞれのコンテンツの特徴を表すタグ情報を付加することで、コンテンツのカテゴライズごとの表示、検索、ユーザ嗜好分析などを実現できる。
【0007】
ところで、コンテンツの提案は、その過程が複雑であり、従来の手法では対処できない。
【0008】
例えば、自動車のドライブ中に長い「渋滞」に巻き込まれたときのことを考える。「渋滞」の入り口、「渋滞」の最中、「渋滞」から抜けた時の3つのシチュエーションごとにドライバの主な感情状態は異なり、一般的には、それぞれ以下のような感情をもつことが想定される。
ケース1:「渋滞」の入り口 :驚き、不安
ケース2:「渋滞」の最中 :苛立ち、退屈
ケース3:「渋滞」から抜けた時 :安堵、嬉しい
従来のシステムではこのように、「渋滞」の複数の状態を対して、それぞれの状況を区別して自動検知し、その時のドライバの感情状態を推測し、それに応じた適切な音楽を流すといった音楽選曲を実施することは困難である。ドライバが「苛立ち」、「退屈」、「不安」といったネガティブな感情状態であるとき、その状態を緩和してポジティブな感情状態に誘導するような曲や応答文を提供することは従来のシステムではできない。
【0009】
運転中のドライバの感情としては例えば図20に示すものがある。運転状況に起因するものとしては、「クルマが流れてきた」という状況で「安堵」の感情が生じ、「お迎えの時間に間に合わない」という状況で「イライラ」の感情が生じ、その他、体調、天候、景色、行先、目的、同乗者等、種々の要因に応じた状況で多様な感情が生じる。このような種々の感情に対して、最適な感情を持つようにドライバを誘うことが望まれる。
【0010】
ドライバに最適な感情状態を推測して音楽等の対象を選択・提案することが望まれる。
【0011】
なお、この発明に関連する先行技術文献としては、特開2021-060927号公報がある。この先行技術文献は、ドライバの運転負荷に基づいてコンテンツを選択する技術を開示している。
【0012】
なお、本発明は、上述の課題により限定的に理解されるべきでなく、その内容は特許請求の範囲に規定され、以下に実施例を用いて詳細に説明される。
【先行技術文献】
【特許文献】
【0013】
【特許文献1】特開2018-004461号公報
【発明の概要】
【発明が解決しようとする課題】
【0014】
ドライバ等、ユーザに最適な感情状態を推測してコンテンツ(対象)を提示・提案することが望まれる。
【課題を解決するための手段】
【0015】
ここでは、この発明の理解を容易にするために、原理的な例を説明する。ただし、これは、この発明を限定するものとして理解するべきでなく、この発明の範囲については特許請求の範囲の記載に基づいて決定される。
【0016】
この発明の一例のシステムにおいては、例えば「渋滞」といった走行状態、ドライバの発言、その他を自動検知し、運転状況に対するドライバ等の感情状態を推測し、それに応じた適切なコンテンツ(例えば楽曲)や応答メッセージを提供・提案する。
【0017】
このシステムの要素となる仕組みは以下のとおりである。すなわち、ドライバの発話した内容、ドライバの声のトーンの変化、ドライバの表情の変化、走行状態の変化といった複数の情報から現在のドライバの感情状態を推定する。そして、現在の感情状態の情報から、コンテンツ等の提供よってもたらされる目標となる感情状態を推定する。そして、目標となる感情状態にマッチしたコンテンツ等をドライバに推薦する。現在の感情状態の情報と、目標の感情状態の情報とを使用して、応答メッセージを作成し、コンテンツ等を提案し、もしくは、これらを選択してドライバ等に提示する。
【0018】
なお、本出願人は、提示対象に対して感性的なメタデータを付与して、感性的なワードを用いて提示対象を検索・推薦する方法を提案している(特許第6571231号、特願2020-078942号)。この発明において、これら手法を採用して良いけれども、この発明はこれに限定されないことはもちろんである。
【0019】
つぎに、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【0020】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。
【0021】
この発明の一側面によれば、上述の目的を達成するために、複数の対象から提示すべき対象を選択して車両乗員に対して提案する提案装置に:車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と;車両乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段と;上記感情状態決定手段により決定された上記車両乗員感情状態および上記状態推移確率保持手段に保持されている上記状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段と;上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と;上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを設けるようにしている。
【0022】
この構成によれば、車両乗員の状況から、提示対象によってもたらされるべき目標となる車両乗員の感情を推定し、最適な提示対象を案内することができる。
【0023】
この構成において、提案装置は、さらに、上記車両乗員の状況を検出して上記車両乗員状況データを生成する車両乗員状況検出手段を有して良い。
【0024】
また、上記感情状態決定手段は、所定はイベントに基づいて上記車両乗員感情状態の決定処理を開始して良い。イベントは例えば車両乗員のつぶやき、走行状態の変化であって良い。イベントは時間の経過であってもよい。
【0025】
また、上記状態推移確率保持手段は、上記車両乗員感情状態の所定の履歴ごとに状態推移確率を保持して良い。所定の履歴は、直前の感情状態であって良く、例えば、直前の主たる感情状態がポジティブ、ネガティブ、現在の状態と同一の状態、その他の状態の4つのカテゴリ(種別ともいう)で表されて良いけれども、これに限定されない。
【0026】
また、上記車両乗員感情状態は、複数の個別の感情状態の尤度を要素とするベクトルで表されて良いが、これに限定されない。個別の感情状態のそれぞれは、例えば、「嬉しい・喜び」、「心地よい」、「安堵」、「落ち着いた」、「退屈」、「不快・後悔」、「悲しみ・失望」、「不快・後悔」、「苛立ち・怒り」、「驚き・昂ぶり」、「願望・期待」、「楽しい・感動」の12個の感情状態に関する要素からなるベクトルで表され、ベクトルは1に正規化され良い。
【0027】
また、上記対象のメタ情報は、上記対象の印象を表す感性的なメタ情報であって良いけれどもこれに限定されない。
【0028】
また、上記車両乗員感情状態の感情状態が、上記メタ情報に対応付けられて良い。また、先の感情状態自体をメタ情報として良い。
【0029】
また、上記車両乗員は典型的には上記車両のドライバであるけれども、これに限定されない。
【0030】
提示対象(コンテンツ)は、商品、記事、楽曲、画像、動画、メッセージその他であり、それぞれの提示対象の特徴を表すタグ情報を付加することで、提示対象のカテゴライズごとの表示、検索、ユーザ嗜好分析などに用いられて良い。
【0031】
この発明の他の側面によれば、複数の対象から提示すべき対象を選択してユーザに対して提案する提案装置に:ユーザの状況を表すユーザ状況データを受け取り当該ユーザ状況データに基づいてユーザ感情状態を決定する感情状態決定手段と;ユーザ乗員感情状態から目標感情状態への推移の状態推移確率を保持する状態推移確率保持手段と;上記感情状態決定手段により決定されたユーザ感情状態および上記状態推移確率保持手段に保持されている状態推移確率に基づいて目標感情状態を決定する目標感情状態決定手段と;上記複数の対象の各々についてメタ情報を保持する対象メタ情報保持手段と;上記目標感情状態決定手段により決定された上記目標感情状態に基づいて上記対象メタ情報保持手段を参照して、提示すべき対象を決定する提示対象決定手段とを設けている。
【0032】
この構成によれば、ユーザの状況から、提示対象によってもたらされるべき目標となるユーザの感情を推定し、最適な提示対象を案内することができる。
【0033】
この構成において、携帯型端末が、上記ユーザ状況データを上記感情状態決定手段に供給し、提示対象の提示・提案を受領して良い。
【0034】
携帯型端末は、メガネ型ウェアラブル端末や、スマートウォッチ(小型のタッチスクリーンおよびCPUを搭載した、多機能な腕時計型のウェアラブル端末)であって良いけれども、これに限定されない。
【0035】
また、この発明のさらに他の側面によれば、危険運転判定装置に:車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と;上記車両乗員感情状態が危険な運転状態に対応する危険運転感情状態に至った危険運転対応頻度を求める危険運転頻度決定手段とを設け;上記危険運転対応頻度に基づいて車両乗員の運転危険度を判定するようにしている。
【0036】
この構成によれば、ドライバに潜在するリスクを判定することができ、例えば、損害保険料の算出に利用してよいけれども、これに限定されない。
【0037】
上記危険運転感情状態は、例えば、急激にネガティブな感情に変化した状態である。
【0038】
また、この発明のさらに他の側面によれば、地理上の位置に特性を付与する位置特性付与装置に:車両乗員の状況を表す車両乗員状況データを受け取り当該車両乗員状況データに基づいて車両乗員感情状態を決定する感情状態決定手段と;上記車両乗員感情状態が所定の感情状態に至ったときに、上記車両乗員または上記車両乗員が搭乗している車両の位置情報を取得する位置情報取得手段とを設け;上記位置情報取得手段が取得した位置情報と、対応する所定の感情状態に基づいて、当該位置情報の示す位置に、上記所定の感情状態に対応する特性を付与するようにしている。
【0039】
この構成によれば、地理上の位置に簡易に特性を付与することができる。
【0040】
この構成において、上記所定の感情状態は、急激にネガティブな感情に変化した状態であり、当該位置に付与される上記対応する特性は警戒特性である。また、上記所定の感情状態は、急激にポジティブな感情に変化した状態であり、当該位置に付与される上記対応する特性は良好特性である。一般ユーザは、位置特性を利用して警戒を行ったり、行先決定に利用したりできる。
【0041】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品(コンピュータプログラム)もこの発明の技術的な範囲に含まれることも当然である。
【0042】
この発明の上述の側面および他の側面は特許請求の範囲に記載され、以下、実施例等を用いて詳述される。
【発明の効果】
【0043】
この発明によれば、典型的には、車両乗員の状況から、提示対象によってもたらされるべき目標となる車両乗員の感情を推定し、最適な提示対象を案内することが可能であるけれども、これに限定されず、その内容は特許請求の範囲期記載のとおりである。
【図面の簡単な説明】
【0044】
図1】この発明の実施例の提案システム100を全体として示す図である。
図2図1の提案システム100のコンテンツ情報提供サーバ120の構成例を説明するブロック図である。
図3図2のコンテンツ情報提供サーバを構成するためのハードウェア構成を説明する図である。
図4図1の提案システム100の動作概要を説明するフローチャートである。
図5図1の提案システム100における感情タイプの例を説明する図である。
図6図5の感情タイプの相互関係を示す2次元マップである。
図7】感情タイプの推移マップの例を説明する図である。
図8A】感情推移確率の例を説明する図である。
図8B】感情推移確率の例を説明する図である。
図8C】感情推移確率の例を説明する図である。
図9】感情推移確率テーブルの例を説明する図である。
図10】目標感情状態の予測例を説明する図である。
図11】感情状態の履歴を評価関数とともに採用する例を説明する図である。
図12図11の評価関数の例を説明する図である。
図13】推移確率のパーソナライズ化の例を説明する図である。
図14】感情タイプの類似ワードの例を説明する図である。
図15】提示対象に付与される印象表現を説明する図である。
図16】応答メッセージの例を説明する図である。
図17】この発明の他の実施例を提案システム100Aを説明する図である。
図18】この発明のさらに他の実施例の危険運転判定システム400を説明する図である。
図19】この発明のさらに他の実施例の位置特性付与システム500を説明する図である。
図20】運転中の状況およびドライバの感情の例を説明する図である。
【発明を実施するための形態】
【0045】
以下、この発明の実施例の提案システム100について図を参照して説明する。この提案システム100は、例えば「渋滞」といった走行状態、ドライバの発言、その他を自動検知し、運転状況に対するドライバ等の感情状態を推測し、それに応じた適切なコンテンツ(楽曲等)や応答メッセージを提供するものである。例えばドライバの発話した内容、ドライバの声のトーンの変化、ドライバの表情の変化、走行状態の変化といった複数の情報から現在のドライバの感情状態を推定する。そして、現在の感情状態の情報から、コンテンツ等の提供によってもたらされる目標となる感情状態を推定する。そして、目標となる感情状態にマッチしたコンテンツ等をドライバに推薦する。現在の感情状態の情報と、目標の感情状態の情報とを使用して、応答メッセージを作成し、コンテンツ等を提案し、もしくは、これらを選択してドライバに提示する。
【0046】
図1は、この提案システム100を全体として示しており、この図において、提案システム100は、自動車110の車載装置111および通信ネットワーク200(図2)上に配置されたコンテンツ情報提供サーバ120、音楽データサーバ130、地図情報サーバ140、走行状態判定サーバ150、音楽配信サーバ160、音声認識・合成サーバ170等から構成される。この例では音楽コンテンツ(楽曲)を配信することを例に挙げて説明するけれど、メッセージの提供・提示、商品の提示、画像や動画の提供・提示を行っても良く、この場合には、適宜なコンテンツ用のデータサーバや映像・動画コンテンツ配信サーバ等を設けて良い。
【0047】
自動車110に設けられた車載装置111は、自動車110の電気系統回路部(図示しない)に実装されたLSI等により実現されて良く、ドライバとのユーザインターフェース、その他のサービスを実現するものであるけれども、これに限定されない。車載装置111はユーザインターフェース部112および走行情報抽出部113を含む。
【0048】
車載装置111のユーザインターフェース部112は、音声・テキスト間変換およびプレーヤ(楽曲再生等)制御を担当するものであり、ドライバ等の乗員の音声をマイク(図示しない)により音声データに変換して、音声認識・合成サーバ170に送り、それに対応するテキストを音声認識・合成サーバ170から受け取る。ドライバ等の音声は、楽曲の選択等の関するもの(例えば、「リラックスできる曲をかけて」、「XXX(曲名)をかけて」等のメッセージ)や、ドライバ等の感情を表すもの等がある。変換されたテキスト、その他のデータは、コンテンツ情報提供サーバ120に送られる。また、ユーザインターフェース部112は、ドライバ等に供給すべき情報を表示するテキストを音声認識・合成サーバ170に送り、その音声合成結果を音声認識・合成サーバ170から受け取り、当該情報を音声としてドライバに供給する。コンテンツ情報提供サーバ120は、ドライバ等に対するメッセージや、楽曲を特定する情報(楽曲url)をテキストとしてユーザインターフェース部112に供給し、テキストメッセージを音声認識・合成サーバ170で音声に変換してドライバ等に音声メッセージとして供給する。また、ユーザインターフェース部112は、受け取った楽曲url等を引数として楽曲再生命令を音楽配信サーバ160に供給して、自動車内で楽曲を再生可能にする。音声認識・合成サーバ170に替えて、車載装置111に音声認識・合成ボード(図示しない)を設けても良い。
【0049】
ドライバ等の発話に関しては、音声認識によるテキスト情報および音声スペクトラムの時間変換等が検出される。これら発話に関する情報および後述の自動車の走行状況の情報に基づいてドライバの感情が推定される。この例では発話の対象はドライバとするけれども、他の同乗者を対象としても良い。この場合、発話した話者を特定する技術を利用して良いけれども、これに限定されない。
【0050】
車載装置111の走行情報抽出部113は、車載カメラ(図示しない)から画像・映像、車載センサからの自動車各部の情報等から自動車の走行情報を抽出し、これを走行状態判定サーバ150に供給して走行状況データを取得する。図1の例では、ハンドル、アクセル、ブレーキ操作等の情報が走行状況データに含まれるけれども、例えば、自動運転が適用される場合には、それに応じた状況の走行状況データを選択して良い。走行状況データは、ドライバの感情を推定できるものであれば、どのようなものであっても良い。
【0051】
走行情報抽出部113に供給される、走行状況に関する情報は、位置情報(GPS、車の走行位置、地図情報との連携)、目的地、出発地点等のリアルタイム情報(現在の天気、気温、現在の日時情報)、車載カメラ(走行方向映像)、車内映像車両情報(メータの走行速度、ハンドル操作)等であって良いけれども、これに限定されない。走行情報抽出部113は、走行状態判定サーバ150を参照して走行状況に関する情報を生成し、これは、例えば、(1)走行場所(市街地、郊外、高速道路、海岸線、山道)、(2)平均速度、(3)ハンドル操作頻度、(4)出発点、目的地までの距離、(5)道路状況(暗い、視界が悪い、狭い、人が多い、車間距離が狭い、明るい、視界が良い、広い、人が少ない、車間距離が広い、前方の明るさの時間変化、速度の時間変化に基づく渋滞レベルの推定値)であって良いけれども、これに限定されない。
【0052】
コンテンツ情報提供サーバ120は、車載装置111のユーザインターフェース部112および走行情報抽出部113から、ドライバの発話に関連する情報、および走行状況に関する情報をそれぞれ入力して、現在のドライバの感情状態を推定し、この現在の感情状態の情報から、コンテンツ等の提供によってもたらされる目標となる感情状態(目標感情状態)を推定する。そして、コンテンツ情報提供サーバ120は、目標感情状態にマッチした楽曲を音楽データサーバ130を参照して決定し、その楽曲リストを車載装置111のユーザインターフェース部112に返す。また、コンテンツ情報提供サーバ120は、メッセージデータベース120Aを参照して現在感情状態および目標感情状態に基づいて最適なメッセージテキストをユーザインターフェース部112に返して、ユーザに適切なメッセージ音声を供給して良い。
【0053】
コンテンツ情報提供サーバ120の構成例については図2を参照して後に説明する。
【0054】
この実施例の具体的な構成例においては、現在の感情状態および目標感情状態は、図5に示す12種類の感情タイプにより表されて良いけれども、これに限定されない。12種類の感情タイプに中立的な感情として「平常状態」がある。感情状態のデータは、12種類の感情タイプの要素をもつベクトル値として構成される。たとえば、現在の感情状態の感情タイプの要素の比率を[苛立ち・怒り]80%、[不安・緊張]20%とすると、[感情状態のベクトル]=[「嬉しい・喜び」,「心地よい」,「安堵」,「落ち着いた」,「退屈」,「不快・後悔」,「悲しみ・失望」,「不快・後悔」,「苛立ち・怒り」,「驚き・昂ぶり」,「願望・期待」,「楽しい・感動」]=[0,0,0,0,0,0,0,0,0,0.8,0.2,0]と表現される。また、平常状態は上述の12次元のベクトルでは、初期値として、[0,0,0,0,0,0,0,0,0,0,0,0,0]として表現され、実際には、各ドライバのパーソナライズ嗜好に応じた値を有して良い。
【0055】
図5に示す感情タイプは、図6に示すように、2次元マップにおいて表示され、ポジティブ-ネガティブの縦軸、能動的-受動的の横軸に沿って表示され二次元上の位置に応じて特性を有する。
【0056】
目標感情状態に適切な楽曲やメッセージを選択するために、楽曲やメッセージにはメタ情報が付与されている。メタ情報は図5に示す感情タイプに対応付けが可能であり、これに基づいて、感情状態ベクトルに対応するベクトルとして扱うことができ、両者の内積を計算して適合度を算出して良いけれども、これに限定されない。
【0057】
図2は、コンテンツ情報提供サーバ120の構成例を示しており、この図において、コンテンツ情報提供サーバ120は、現在感情状態決定部121、目標感情状態決定部122、および提示対象決定部123を含んで構成されている。コンテンツ情報提供サーバ120は、図3に示すようなコンピュータ1000から構成されて良く、これはCPU1001、主メモリ1002、入出6インターフェース1003、外部記憶装置1004を含んで構成される。アプリケーション1005をコンピュータ1000にインストールすることによりコンテンツ情報提供サーバ120を構成して良い。
【0058】
図2において、現在感情状態決定部121は、車載装置111のユーザインターフェース部112および走行情報抽出部113から、ドライバの発話に関連する情報、および走行状況に関する情報をそれぞれ入力して、現在のドライバの感情状態を推定し、ドライバの現在の感情状態および更新イベント種別を出力する。更新イベント種別は、ドライバの現在の感情状態の判定を行うきっかけ(トリガ)となる入力情報のタイプである、これについては後に説明する。現在の感情状態のデータは、先に説明したように12種類の感情タイプ(図5図6)の要素をもつベクトル値として構成されて良い。
【0059】
現在感情状態決定部121は、ドライバの発話に関連する情報、および走行状況に関する情報に基づいて状況ごとに表引きにより現在感情状態のベクトルの要素の値を決定して良い。自動車の走行状況と各感情タイプとの関係について例をあげる。例えば、渋滞に関しては状況に応じて、以下のような走行状況に遭遇したときは該当する感情タイプ(括弧内で示す)のスコア値を高くする。
例1:順調に走っていたときに渋滞に入った時には[苛立ち・怒り]、[悲しみ・失望]
例2:渋滞のなかで時間が長く続いている時には[退屈]、[苛立ち・怒り]
例3:渋滞から抜けて順調に走り始めた時には[安堵]、[心地よい]
また、通常の走行状態から走行状態が変化した場合については、以下のような感情タイプのスコア値を高くする。
例4:「視界が悪い、狭い、人が多い、ハンドル操作頻度が高い」という状態に変化した時には「不安・緊張」
例5:通常の走行状態から「明るい、視界が良い、広い」という状態に変化した時には「楽しい・感動」、「嬉しい」
【0060】
増分値は、それぞれの状況ごと設定されていて良い。
【0061】
ドライバの現在の感情状態の判定は、所定のイベントを検出したときに行って良い。このような現在の感情状態の判定をおこなうきっかけ(トリガ)となる入力情報のタイプ(更新イベント種別、カテゴリ)には例えば以下のようなものがあって良い。
(1)ドライバのコンテンツの属性に対する直接的な要求:event_type=1
例えば、以下のようなものである。
「リラックスできる曲をかけて」
「悲しいラブソングが聴きたい」
「スカッとするハードロックがいい」
(2)上述の(1)以外のドライバの[つぶやき]や[発話]:event_type=2
例えば、以下のようなものである。
「なんか疲れたなぁ」
「明日はデートなんだ」
「仕事が一段落したよ」
(3)上述の(1)、(2)以外の、走行状態の変化によるもの:event_type=3
例えば、以下のようなものである。
<渋滞を抜けた>
<急に視界が悪くなった>
<高速道路に入った>
(4)上述の(1)(2)(3)以外:event_type=4
これら更新イベント種別に基づいて現在感情状態の履歴を選択的または重み付けして使用することができる。
【0062】
現在感情状態決定部121は、決定した現在感情状態を目標感情状態決定部122に供給するとともに現在感情状態履歴保持部124に保持する。現在感情状態履歴保持部124は、以下の情報を、ストレージもしくはメモリ上で保存、管理する。
ユーザID
感情状態
更新日時情報
更新イベント種別

この履歴は、各ユーザアカウント単位で、一定期間、一定数を新しい順に保持し、古いものから順に破棄していく。現在感情状態履歴保持部124からは以下の推移履歴を出力する。
短期的感情推移:過去数時間の間での感情状態の推移履歴
長期的感情推移:数時間単位の感情状態の平均値に対する推移履歴
この実施例においては、「短期的感情状態履歴」を「感情状態履歴」として説明する。
【0063】
目標感情状態決定部122は、現在の感情状態を有するドライバにとって感情状態の推移先としてどのような感情状態が最適かを決定するものであり、ここでは、推移先として最適な感情状態を目標感情状態と呼んでいる。目標感情状態決定部122は、現在感情状態のデータ(全剤感情状態ベクトル)に基づいて状態推移確率情報データベース125を参照して目標感情状態を決定する。提示対象決定部123は、目標感情状態に基づいて提供するコンテンツ(メッセージや楽曲)を選択することにより、ドライバを最適な感情状態に誘うことができる。
【0064】
すなわち、現在感情状態決定部121で現在の感情状態を判定しても、そのまま現在の感情状態にマッチするコンテンツを提供した場合には問題が生じることがある。例えば、「ネガティブな気持ち」の状態に対して、これに合致したコンテンツを提案すると、いつまでも「ネガティブな気持ち」の状態にとどまってしまうことが想定される。他方、サービスを通して「人を楽しませたい・喜ばせたい」というコンセプトがある場合、「ネガティブな気持ち」に長くとどまらせることなく、段階的に「ポジティブな気持ち」にシフトさせていくことが望ましい。また、現在、ユーザが、「退屈」と感じていたら、「退屈」な気持と同じコンテンツではなく、段階的に「楽しい」気持ちになるように誘導していくといった提案が必要になる。この実施例においては、現在の感情状態に対して、感情推移確率をもとに、サービスを介して提供すべき感情状態の予測を行い、提供するコンテンツをその予測した感情状態に関連させるようにすることで、そのような問題を解決するものである。
【0065】
図7は感情タイプの推移の例である。現在の感情タイプから推移する感情タイプとの関係を示している。感情状態は複数の感情タイプが多重化したものであり、感情タイプごとに独立して推移を考慮して良い。
【0066】
目標感情状態決定部122の入力情報および出力情報は以下のとおりである。
[入力情報]:
ドライバの現在感情状態
更新イベント種別
感情状態履歴
[出力情報]:
目標感情状態(提供すべきコンテンツの感情状態)
【0067】
提供すべきコンテンツの感情状態(目標感情状態)は、つぎのように算出できる。すなわち、1つ前の履歴の感情状態、現在の感情状態、将来または目標の感情状態を考慮すると、感情タイプが平常状態を含めると13個であるから過去、現在、将来にわたる推移経路には13×13×13の経路が想定でき、これら(13×13×13)個の経路について、当該経路の過去の感情状態の感情タイプに該当する感情状態ベクトル要素の値(スコア値)と、現在の感情状態の感情タイプに該当する感情状態ベクトル要素の値(スコア値)と、その経路をたどる推移確率との積をとり、これを目標状態の感情タイプごとに合計を取る。すなわち、最終的な目標感情状態の感情タイプk(k=0~12)がk'となる経路をpk'(13×13個の経路)とし、その経路において過去の感情状態のベクトルの該当する要素のスコアをe1(pk')とし、現在の感情状態のベクトルの該当する要素のスコアをe2(pk')とし、その経路pk'の推移確率をL(pk')とすると、目標感情状態が感情タイプk'をとる確率は、他の感情タイプとの関係では、
E3(k')=Σpk'(e1(pk')×e2(pk')×L(pk'))
をすべての経路pk'について求めたものになり、このE3(k')をk=0~12についてすべて求めて、その合計で正規化したものが、目標感情タイプk'についてのスコア(目標感情状態のベクトルの要素k'についてのスコアe3(k'))になる。
e3(k')=E3(k')/Σk=0~12E3(k)
【0068】
図4は実施例の提案システム100の動作概略を説明するものであり、この図において、車載装置111のユーザインターフェース部112および走行情報抽出部113がドライバ状況情報を取得する(S10)。コンテンツ情報提供サーバ120の現在運転状態決定部121は、そのドライバ状況情報に基づいてトリガを検出して、これが直接的な楽曲等の指示である場合には(S11、更新イベント種別が「1」)、ステップS15に進み、直接的な指示に基づく提案・提示を行う。ステップS11において、更新イベントが直接的な楽曲等の指示でない場合、つぎのステップ12に進み、現在感情状態をドライバ状況情に基づいて決定する。現在感情状態は、12個の感情タイプを要素とするベクトルとして表されて良いけれども、これに限定されない。この現在感情状態は、履歴データ保持部に保管され(ステップS13)、さらに、現在感情状態および推移確率(状態推移確率情報データベース125)に基づいて目標感情状態が決定される(ステップS14)。こののち、ステップS15に進み、ここで、現在感情状態および目標感情状態に基づいて例えば応答メッセージが決定され、提示・提案され、またm目標感情状態に基づいて提示対象のコンテンツが提示・提案される。
【0069】
コンテンツ情報提供サーバ120(提示対象決定部123)は、予め、ユーザ(ドライバ等)の提供コンテンツの属性条件(嗜好等)を予め取得して、ステップS15において、提示コンテンツの絞り込みを行って良い。
【0070】
図10は、目標感情状態決定部122の動作例を示す。この図に示されるように、目標感情状態決定部122はステップS100で推移確率による、提供する感情状態の計算を行い、ステップS101で計算結果の正規化を行い、目標感情状態のスコア(ベクトルの要素)を決定する。なお、現在の感情状態のベクトル、状態推移確率のベクトルが正規化され、パス全体ですでに正規化が行われている場合には、ここの計算で正規化する必要はない。
【0071】
目標感情状態の計算については、過去の感情状態については主たる感情タイプのカテゴリ(ポジティブ、ネガティブ、同一、その他)に単純化し、目標感情タイプについても有意な(非ゼロの)限られた数の感情タイプのみ考慮して単純化して良い。
【0072】
この場合、感情タイプの主たるカテゴリごとに4つの推移確率サブテーブルが準備される。たとえば、1つ前の感情状態の感情タイプの主たるカテゴリがポジティブの場合(c0)、ポジティブ用の推移確率サブテーブルを参照して、目標感情状態が感情タイプk'をとる確率は、他の感情タイプとの関係では、
E3(k')c0=Σ(e2(j)×L(c0|j→k'))
である。ここでL(c0|j→k')は、1つ前の主たる感情タイプのカテゴリc0において、現在の感情タイプjから目標の感情タイプk'に推移する確率を表す。この計算を、ネガティブ(c1)、同一(c2)、その他(c3)のカテゴリについても適用して、
E3(k')c1=Σ(e2(j)×L(c1|j→k'))
E3(k')c2=Σ(e2(j)×L(c2|j→k'))
E3(k')c3=Σ(e2(j)×L(c3|j→k'))
を求める。
E3(k')=E3(k')c0+E3(k')c1+E3(k')c2+E3(k')c3
であり、
e3(k')=E3(k')/Σk=0~12E3(k)
である。
【0073】
なお、主たる感情タイプが複数ある(最も大きな値を取る感情タイプが複数ある)場合には、感情タイプの間で定めた優先順位に従って、1のカテゴリを選定して良い。代替的には、それぞれの主たる感情タイプについて対応するカテゴリで計算を行い、それぞれの計算結果の和に対して、その個数で除算を行っても良い。
【0074】
図8A図8Cは、履歴感情状態の主たる感情タイプのカテゴリに基づいて単純化した例を示し、図8Aにおいて、現在の感情状態の「心地よい」という感情タイプに着目して、過去の感情状態の感情タイプのカテゴリごとに推移確率を割り当てている。この図において、数字の列(横の列)、例えば、「0.11/0.05/0.05/0.18」はそれぞれ過去の感情状態の主たる感情タイプが(A)ポジティブ、(B)ネガティブ、(C)その他、(D)同一の場合(目標感情タイプと同一の場合)の、現在の感情状態の感情タイプ「心地よい」から目標の感情状態の感情タイプ「落ち着いた」への推移確率を示す。また、過去の感情状態の主たる感情タイプが(A)ポジティブの場合、目標の感情状態の感情タイプ「落ち着いた」への推移確率が「0.11」であることに加え、目標の感情状態の感情タイプ「平常状態」への推移確率が「0.17」(上から2番目の数字列の「0.17/0/0.05/0.3」中の「0.17」)であり、目標の感情状態の感情タイプ「心地よい」への推移確率が「0.72」(上から3番目の数字列の「0.72/0.95/0.9/0.52」中の「0.72」)であることがわかる。同様に図8Bおよび図8Cは、現在の感情状態の感情タイプ「苛立ち・怒り」および「期待・願望」のそれぞれについての推移確率が示される。
【0075】
ここで、感情状態の初期値(すべての感情タイプがゼロ:「平常状態」)から出発して現在の感情状態の感情タイプに関して、「心地よい」(図8A)、および「期待・願望」(図8C)だけが有意なスコアを有し(それぞれ0.8、0.2のスコアを有すると仮定する)、その他の要素はゼロである(現在感情状態ベクトル[「嬉しい・喜び」,「心地よい」,「安堵」,「落ち着いた」,「退屈」,「不快・後悔」,「悲しみ・失望」,「不快・後悔」,「苛立ち・怒り」,「驚き・昂ぶり」,「願望・期待」,「楽しい・感動」]=[0,0.8,0,0,0,0,0,0,0,0,0.2,0)とする。目標感情タイプが「平常状態」の場合に、履歴のカテゴリタイプ(種別)は「同一」になり、目標感情タイプがそれ以外の場合には、「その他」(図5に示すように「平常状態」は「その他」の種別になる)になる。
【0076】
目標感情状態の感情タイプ「落ち着いた」の合計スコアは、推移確率を掛け合わせて累計して、0.8×0.05(「心地よい」から「落ち着いた」/その他)+0.2×0.2(「期待・願望」から「落ち着いた」/その他)=0.08になる。同様に、目標感情状態の感情タイプ「平常状態」の合計スコアは、0.8×0.3(「心地よい」から「平常状態」/同一)=0.24になる。同様に、目標感情状態の感情タイプ「心地よい」の合計スコアは0.8×0.9(「心地よい」から「心地よい」/その他)+0.2×0.3(「期待・願望」から「心地よい」/その他)=0.78であり、目標感情状態の感情タイプ「嬉しい・喜び」の合計スコアは0.2×0.3(「期待・願望」から「嬉しい・喜び」/その他)=0.06であり、目標感情状態の感情タイプ「期待・願望」の合計スコアは0.2×0.2(「期待・願望」から「期待・願望」/その他)=0.04である。これらスコアの最終的な累計は、0.08(「落ち着いた」)+0.24(「平常状態」)+0.78(「心地よい」)+0.06(「嬉しい・喜び」)+0.04(「期待・願望」)=1.2となり、この累計値で、正規化する。、「落ち着いた」、「心地よい」、「安堵」、「平常状態」、「心地よい」、「嬉しい・喜び」、「期待・願望」のスコアは、正規化して、0.067、0.200、0.650、0.050、0.03になる。「平常状態」は、すべての感情タイプがゼロであらわされ、最終的には、無視される。この例では、直前の感情状態の主たる感情タイプは、遷移確率を切り替えるのに使用されるけれども、さらに、付加する重みを切り替えるために使用されて良い。
【0077】
これら目標感情状態の感情タイプの値に基づいてメッセージや楽曲等のコンテンツが選択される。
【0078】
先の例では、履歴を目標感情タイプとの関係で同一かどうかを判別したけれども、これに限定されない。例えば、現在の感情状態の感情タイプとの関係で同一かどうかを判別して良い。その他、種々の集計態様を採用して良い。
【0079】
図11は、目標感情状態決定部122の変形例を説明するものである。ここでは、上述のとおり、人の感じている現在の「気持ち」を感情スコア値を使って求めた値を「感情状態」と定義している。人の「気持ち」は常に変化していくものである。一般的に「感情状態」も最新の感情に対して、過去の感情の影響を受ける。また、より新しい感情のほうが、古い感情よりも影響が大きい。図11においては、この過程を単純化する評価関数を定義し、現在の時間と履歴が残された時間差による重み係数を用いる(ステップS102)。
【0080】
図11は、ここで利用する以下の評価関数1~3の例を示すけれども、評価関数はこれに限定されない。
評価関数1:
weight value=1.0-t (0<=t<=1)
評価関数2:
weight value=1.0-t (0<=t<=1)
評価関数3:
weight value=-2×t+1.0 (0<t<=0.5)
weight value=2×(t-2×t+1.0) (0.5<t<=1)
ただし、評価関数1~3のすべてで
weight value=1.0 (t<0)
weight value=0.0 (1<t)
なお、図12において、time_deltaは現在の時間と履歴が残された時間差であり、
max_time_lengthは過去のどのくらいまでの時間の感情を考慮するかの設定値である。
【0081】
実際の評価関数は、評価対象のコンテンツ、サービスによって適切なものが選択されて良い。
【0082】
この実施例における感情状態スコアの履歴を以下の形式で保持しているものとする。ここで[s...]は正規化前の感情スコア値、date_timeは感情スコア値が生成された日時を示す。
[s1-1,s1-2,s1-3,s1-4,s1-5,s1-6,s1-7,s1-8,s1-9,s1-10,s1-11,s1-12],date_time_1
[s2-1,s2-2,s2-3,s2-4,s2-5,s2-6,s2-7,s2-8,s2-9,s2-10,s2-11,s2-12],date_time_2
[s3-1,s3-2,s3-3,s3-4,s3-5,s3-6,s3-7,s3-8,s3-9,s3-10,s3-11,s3-12],date_time_3
【0083】
図11における評価関数の横軸は時間軸である。評価関数を使う際には、過去の感情スコア(emotion_score_x:xは履歴番号で0が最新、値が大きいほど時間が経過した履歴を)の影響する最大時間(max_time_length)、現在の時間(current_time)、過去の感情スコア―値が生成された時間(date_time_x)との関係で与えられる。すなわち、
time_delta_x=(current_time-date_time_x)/max_time_length
weight_value_x=Ev(time_delta_x,max_time_length)
である。この評価方法例においては、max_time_lengthが長くなると、過去の感情が影響を受ける程度が高くなることを意味する。max_time_lengthの初期値はコンテンツの特徴やサービスの内容によって決められるけれども、ユーザ(ドライバ)がサービスを利用した際の反応結果から、ユーザごとの特徴を学習することで、一定の範囲内で調整される。
【0084】
なお、この実施例ではすべての感情カテゴリで同じ評価関数を使用しているけれども、感情の種別ごとに評価関数を変更しても良い。感情状態の値(emotion_status)の計算例は以下のとおりである。
emotion_status_vector=Σweight_value_x×emotion_status
【0085】
ここでは、感情状態の履歴をつかって、提供する感情状態を決定しているけれども、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)を用いてもよい。RNNは、「ある時点の入力がそれ以降の出力に影響を与える」ニューラルネットワークのことである。RNNでは過去の連続したデータから学習した結果を次の層の入力として再利用することで、時系列のデータを学習することができる。このようなRNNによる手法を用い、感情状態の推移と、期待値となる感情状態の組み合わせを教師データとして機械学習し、モデル化することで求めることが可能である。なお、モデル化による判定と、推移確率テーブルの手法による判定方法を併用することも可能である。
【0086】
このように求められた推移確率の値は、この推移計算をおこなったコンテンツを扱うサービスの初期値として設定される。実際のサービスにおいては、提供するサービスやコンテンツの内容や、ユーザのプロファイルや嗜好傾向によって違いが生じる。よって、提供したサービスやコンテンツの内容に対するユーザの反応を元に、この推移確率を、個々のユーザの実際の推移パターンにより近い値に学習によって調整をおこなうことが想定できる。
【0087】
図13は推移確率のパーソナライズの例を模式的に示すものである。この実施例において、パーソナライズ係数を推移確率テーブルに対応するテーブル(13行×13列のテーブルを13個、または図9に対応して13行×13列のテーブルを4個)として持ち、提供する感情状態の計算の際に、推移確率テーブルの重み係数として乗じるものである。代替的には、推移確率テーブルを含めて機械学習モデルとして各ユーザもしくは類似ユーザグループごとに定期的に学習して良い。
【0088】
図2の提示対象決定部123の入力情報および出量情報は例えば以下のものである。
[入力情報]
現在のユーザの感情状態
提供するコンテンツの感情状態
提供するコンテンツの条件
(ジャンル、年代、楽曲テーマ、季節感、アーティストなどの感性的な要素以外の属性に対する選曲条件)
[出力情報]
提供する感情状態に関連するコンテンツ情報 (コンテンツID,URL等)
応答メッセージ
【0089】
提供されるコンテンツとしては、ドライブの状況や乗員の気分感情に関連する、音楽、画像、動画、関連情報(商品、店、場所、提供中のコンテンツや場所に関する詳細情報、記事)、応答テキスト情報が想定される。音楽、映像など音声を伴うコンテンツにおいては、音量を一時的に低くするといった制御も含まれるものとする。以下の例では、このうち、音楽および応答テキスト情報に絞って説明するけれども、これに限定されない。
【0090】
提供する対象となるコンテンツには、ジャンル、リリース年、楽曲テーマ、季節感、アーティストといったコンテンツの詳細属性情報と、コンテンツの印象を表す感性メタ属性(印象ワード)を備えているものとする。ここで、感性メタ属性とはたとえば以下のような感性ワードとスコア値の集合体で表されるものとする。
優しい:0.3、温かい:0.25、ゆったりした0.2:、穏やかな:0.15、美しい:0.1
【0091】
この発明のシステムでは、目標感情状態を推定し、この感情状態の感性タイプと感性メタとを関連付けして推薦候補コンテンツグループを作成できる仕組みを備えている。
提供するコンテンツの選別方法例としては以下の手順が考えれられる。
[選別手順例]
A:選曲条件にマッチしたコンテンツを絞り込む
B:現在の感情状態にマッチした感性メタをもつコンテンツに絞りこむ
C:A、Bで絞り込まれた候補のうちさらにユーザの嗜好を考慮したコンテンツを優先する。また、過去の一定時間に選択した同じコンテンツの優先度は下げるといった処理をおこなうといった後処理を行う。
ここでAとBの処理はどちらが先でもかまわない。ここで、応答テキスト文としてはこれから提供する音楽を選択した理由、音楽の雰囲気やシチュエーションに加えて、ユーザの気持ちを和らげたり、ドライブの安全を促すための言葉が含まれる。
【0092】
目標感情状態の感情タイプは、図14のようにマッピングすることができ、それぞれの感情タイプは類似ワード、関連ワードに読み替えて処理することができる。他方、コンテンツ(この例では楽曲)の印象表現は、図15のようにマッピングすることができ、印象タイプは感情タイプと同様に類似ワード、関連ワードに読み替えて処理することができる。この実施例においては、この感情ワードマップと印象表現マップに対して、能動的-ダイナミック、受動的-スタティック、ポジティブ-陽気、ネガティブ-陰気と読み替えて軸を合わせることで、感情ワードと印象表現ワードを関連付けさせるものとする。
【0093】
例えば、コンテンツ(楽曲、応答メッセージ)に印象表現ワード(図15に示すワード)がタグとして付与され、感情ワードと印象表現ワードとの関連付けを通じて、図14の感情タイプに1対1で対応付けられる。所定のコンテンツの目標感情状態に対する関連度は、当該コンテンツに付与される1または複数の印象表現ワードについて対応する感情タイプのスコアを累積することにより求めることができ、この累積値に応じてコンテンツを選択して良いけれども、これに限定されない。関連度を算出するのに、本出願人が提案した特許第6571231号、または、特願2020-078942号の手法を採用して良い。
【0094】
提供する応答文は以下のように選択されて良い。応答テキスト文としてはこれから提供する音楽を選択した理由、音楽の雰囲気やシチュエーションに加えて、ユーザの気持ちを和らげたり、ドライブの安全を促すための言葉が含まれる。また、応答テキスト文には、提供するコンテンツの推薦理由に関する内容が含まれてもよい。特に、現在の主感情と提供する主感情が異なる場合には、ユーザが違和感を感じないようにするために、変更された理由(推薦理由)を同時に提供することが求められる。
【0095】
応答メッセージは図16のように、あらかじめメタ情報が付与された形式でリスト化されているものから、提供する感情状態とコンテンツの検索条件にマッチしたものの中から選択するという方法で対応できるけれども、この方法に限定されるものではなく、提供する感情状態とコンテンツの検索条件を元に文章を自動生成する方法でも良い。
【0096】
タグ情報をコンテンツに付加する方法としては、一般的には以下のような手法が用いられる。
【0097】
対象コンテンツ(ex.商品)の説明文、紹介記事、ブログ、投稿欄への書き込み、などのテキスト情報に対して、形態素解析などの手法を用いて、ワードや、フレーズを抽出し、商品の特徴を表すものをタグ情報として管理する。
【0098】
音楽コンテンツの場合には、音楽コンテンツに関するテキスト情報から得られるタグ情報に加えて、例えば、音楽信号のテンポ、音の大きさの時系列変化、周波数スペクトラム成分の時系列変化といった情報、歌詞の情報、ジャンル情報、歌手の声質や歌い方の特徴などに関係する情報をタグ情報として管理する
【0099】
映像コンテンツの場合には、映像コンテンツに関する記事やシナリオといったテキスト情報から得られるタグ情報に加えて、映像シーンの色彩の変化、演出、BGMの印象、出演者のキャラクタ設定やセリフ、声優、監督など複数の要素から判定された情報をタグ情報として管理する。
【0100】
この実施例によれば、走行位置、走行状態、現在の天気、季節、時間帯といった情報に加えて、クルマの乗員の感情を推測して、それに対応する適切なコンテンツと応答メッセージを提供することができる。その際、乗員(ドライバ)の現在の感情の推定結果がネガティブだった場合、ユーザのネガティブ気持ちを段階的に和らげるコンテンツと応答メッセージを提供することで、より快適な車内空間を作り出すことができる。
【0101】
つぎにこの発明の他の実施例の提案システム100Aについて説明する。
【0102】
図17は、この発明の他の実施例の提案システム100Aを示している。この図において図1と対応する箇所には対応する符号を付した。図17においては、ユーザ300がメガネ型ウェアラブル端末やスマートウォッチとうの携帯端末111Aを携行している。携帯端末111Aはユーザの音声をマイクロホン(図示しない)で取得し、また、ユーザ等の画像、動画をカメラを介して取得し、また、心拍、脳波等の身体情報を測定センサを介して取得している。携行者情報抽出部113Aは、携行者情報・特徴量を抽出して、携行者状況判定サーバ150Aに供給し、携行者状況を取得し、これをコンテンツ情報提供サーバ120に供給する。コンテンツ情報提供サーバ120は、携行者状況に基づいて携行者の現在の感情を判定し、状態推移確率に基づいて目標感情状態を決定し、これに基づいて提示対象を決定し、これをユーザに提案・提示する。この動作は、図1の実施例と同様である。
【0103】
この実施例によれば、メガネ型ウェアラブル端末やスマートウォッチとうの携帯端末111Aを携行しているユーザに対して適切な対象(楽曲やメッセージ等)を提案・提示することができる。
【0104】
つぎに、この発明を危険運転判定システム400に適用した実施例について説明する。
【0105】
図18は、この実施例を全体として示しており、この図において、コンテンツ情報提供サーバ120Aは、危険運転判定部としても動作しており、現在感情状態決定部121から出力される現在感情に基づいて、危険運転判定部126が、危険運転を判定する。例えば、ドライバの感情の値が、通常値に対してネガティブに大きく変化した場合、安全上の問題があるとして、危険運転があったと判定し、他のネットワークサービス(危険運転情報管理サーバ180)に通知する。危険運転情報管理サーバ180は、危険運転と判定された回数が多い場合には、ドライバに対するリスクとして、例えば損害保険料を高くする等のペナルティを付与して良い。危険運転判定部126は、危険運転情報管理サーバ180に設けられても良い。なお、コンテンツ情報提供サーバ120Aは、危険運転判定に不必要な部分を省略して良いことはもちろんである。
【0106】
つぎに、この発明を位置特性付与システム500に適用した実施例について説明する。
【0107】
図19は、この実施例を全体として示しており、この図において、コンテンツ情報提供サーバ120Bは、現在感情状態決定部121から出力される現在感情状態を、位置情報および時刻情報とともに、位置特性付与サーバ190に供給する。位置特性付与サーバ190は、ドライバの感情の値が、通常値に対してネガティブに大きく変化した場合、その場所と時間とを取得し、さらに他のドライバからの通知も取得し、これを集計して、頻度が高い場所(場所・時間)は、「警告ポイント」として提示することができる。また、ドライバの感情の値が 通常値に対してポジティブに大きく変化した場合も、その場所と時間とを取得し、、さらに他のドライバからの通知も取得し、これを集計して、頻度が高い場所(場所・時間)は、「推奨ポイント」として提示することができる。なお、コンテンツ情報提供サーバ120B、位置特性付与に不必要な部分を省略して良いことはもちろんである。
【0108】
以上で実施例の説明を終了する。
【0109】
なお、この発明は上述の実施例に限定されることなく、その趣旨を逸脱しない範囲で種々変更が可能である。
【符号の説明】
【0110】
100 提案システム
110 自動車
111 車載装置
112 ユーザインターフェース部
113 走行情報抽出部
120 コンテンツ情報提供サーバ
120A メッセージデータベース
121 現在感情状態決定部
122 目標感情状態決定部
123 提示対象決定部
124 現在感情状態履歴保持部
125 状態推移確率情報データベース
130 音楽データサーバ
140 地図情報サーバ
150 走行状態判定サーバ
160 音楽配信サーバ
170 音声認識・合成サーバ
200 通信ネットワーク
1000 コンピュータ
1001 CPU
1002 主メモリ
1003 入出6インターフェース
1004 外部記憶装置
1005 アプリケーション
図1
図2
図3
図4
図5
図6
図7
図8A
図8B
図8C
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20