特許 6607198 情報処理システムおよび制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6607198

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】情報処理システムおよび制御方法

(51)【国際特許分類】

   G01C 21/26 20060101AFI20191111BHJP

   G01C 21/34 20060101ALI20191111BHJP

   G09B 29/00 20060101ALI20191111BHJP

   G06Q 50/10 20120101ALI20191111BHJP

【ＦＩ】

   G01C21/26 B

   G01C21/34

   G09B29/00 F

   G06Q50/10

【請求項の数】17

【全頁数】27

(21)【出願番号】特願2016-571673(P2016-571673)

(86)(22)【出願日】2015年10月21日

(86)【国際出願番号】JP2015079708

(87)【国際公開番号】WO2016121174

(87)【国際公開日】20160804

【審査請求日】2018年9月21日

(31)【優先権主張番号】特願2015-16666(P2015-16666)

(32)【優先日】2015年1月30日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】宮島 靖

【審査官】 東 勝之

(56)【参考文献】

【文献】 特開２０１０−２３７１３４（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０５４１５２（ＷＯ，Ａ１）

【文献】 特開２０１３−１６４６６４（ＪＰ，Ａ）

【文献】 特開２０１１−１１７９０５（ＪＰ，Ａ）

【文献】 特開２０１３−０８８４０９（ＪＰ，Ａ）

【文献】 国際公開第２０１４／００６６８８（ＷＯ，Ａ１）

【文献】 特開２００９−０３６６５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／００ − ２１／３６

Ｇ０８Ｇ １／００ − １／１６

Ｇ０９Ｂ ２９／００ − ２９／１０

Ｇ０６Ｑ ５０／１０

(57)【特許請求の範囲】

【請求項1】

共に行動している複数ユーザを特定するユーザ特定部と、
前記特定した複数ユーザの関係性を推定する推定部と、
前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、を備え、
前記推定部は、
オブジェクト間のインタラクションの評価値を蓄積して構築された感性値データベースから、前記複数ユーザに対応するオブジェクト間のインタラクションの評価値に基づいて算出された感性値を取得し、当該感性値に基づいて前記複数ユーザの関係性を推定する、
情報処理システム。

【請求項2】

前記ユーザ特定部は、センサにより検出されたユーザに関する情報に基づいて、共に行動している複数ユーザを特定する、請求項１に記載の情報処理システム。

【請求項3】

前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された各ユーザの性別、年代に応じて、前記複数ユーザの関係性を推定する、請求項１または２に記載の情報処理システム。

【請求項4】

前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された雰囲気に応じて、前記複数ユーザの関係性を推定する、請求項１〜３のいずれか１項に記載の情報処理システム。

【請求項5】

前記センサにより検出されたユーザに関する情報は、撮像画像、音声データ、生体情報、および端末間通信データの少なくともいずれかである、請求項２〜４のいずれか１項に記載の情報処理システム。

【請求項6】

前記推定部は、ユーザの感情に関連する情報に応じて、前記複数ユーザの関係性を推定する、請求項１〜５のいずれか１項に記載の情報処理システム。

【請求項7】

前記ユーザの感情に関連する情報は、センサにより検知されたユーザに関する情報に基づいて生成される、請求項６に記載の情報処理システム。

【請求項8】

前記ユーザの感情に関連する情報は、ユーザの顔を撮像した顔画像に基づく表情解析、音声データに基づく会話内容の解析、声のトーン、および生体情報に基づく心拍数、発汗量、脳波、または体動の少なくともいずれかを用いて生成される、請求項７に記載の情報処理システム。

【請求項9】

前記推定部は、前記複数ユーザの属性に応じて、前記複数ユーザの関係性を推定する、請求項１〜８のいずれか１項に記載の情報処理システム。

【請求項10】

前記生成部は、前記推定部により推定された前記複数ユーザの関係性に応じて、前記案内情報に含まれる寄り道先を決定する、請求項１〜９のいずれか１項に記載の情報処理システム。

【請求項11】

前記生成部は、感情に関連する情報を位置に紐付けてマッピングした感情ヒートマップを用いて前記案内情報を生成する、請求項１〜８のいずれか１項に記載の情報処理システム。

【請求項12】

前記生成部は、環境に関連する情報を位置に紐付けてマッピングした環境情報マップと、前記感情ヒートマップとを用いて、前記案内情報を生成する、請求項１１に記載の情報処理システム。

【請求項13】

前記環境に関連する情報は、スポット情報である、請求項１２に記載の情報処理システム。

【請求項14】

前記情報処理システムは、
前記生成した案内情報を自動走行可能な車両に送信する送信部をさらに備え、
前記自動走行可能な車両は、前記案内情報としての目的地までのルート情報に従って自動走行制御を行う、請求項１〜１３のいずれか１項に記載の情報処理システム。

【請求項15】

前記ルート情報には、目的地へ行く途中の寄り道先が含まれる、請求項１４に記載の情報処理システム。

【請求項16】

前記情報処理システムは、
前記生成された案内情報を情報処理端末に送信する送信部をさらに備え、
前記情報処理端末は、前記案内情報をユーザに提示する、請求項１〜１５のいずれか１項に記載の情報処理システム。

【請求項17】

共に行動している複数ユーザを特定部により特定することと、
前記特定した複数ユーザの関係性を推定部により推定することと、
前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成部により生成することと、を含み、
オブジェクト間のインタラクションの評価値を蓄積して構築された感性値データベースから、前記複数ユーザに対応するオブジェクト間のインタラクションの評価値に基づいて算出された感性値を取得し、当該感性値に基づいて前記複数ユーザの関係性を推定する、
制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システムおよび制御方法に関する。

【背景技術】

【0002】

従来から、指定した目的地までの経路を自動探索して案内するナビゲーションシステムが提案されている。このようなナビゲーションシステムは、現在地から指定された目的地までの移動距離や時間が最短になるルートを探索し、探索結果をユーザに提示したり、探索結果に基づいたルート案内をユーザに対して行ったりする。

【0003】

かかるナビゲーションシステムの技術に関し、例えば下記特許文献１では、ユーザの嗜好と施設情報のお勧め度に基づいて寄り道先を提案するナビゲーション装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−３０２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のナビゲーションシステムでは、指定した目的地までのルートが探索されるだけであって、探索されたルート付近で寄る他のスポットはユーザが自ら探す必要があった。

【0006】

これに対し、上記特許文献１で開示されているナビゲーション装置では、ユーザの嗜好の程度に応じたジャンルの施設から寄り道先が提案されるが、ユーザが複数居る場合における最適なルート案内については言及されていなかった。

【0007】

そこで、本開示では、複数ユーザの関係性を考慮して、より最適な案内情報を生成することが可能な情報処理システム、および制御方法を提案する。

【課題を解決するための手段】

【0008】

本開示によれば、共に行動している複数ユーザを特定するユーザ特定部と、前記特定した複数ユーザの関係性を推定する推定部と、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、を備える情報処理システムを提案する。

【0009】

本開示によれば、共に行動している複数ユーザを特定することと、前記特定した複数ユーザの関係性を推定することと、前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成することと、を含む制御方法を提案する。

【発明の効果】

【0010】

以上説明したように本開示によれば、複数ユーザの関係性を考慮して、より最適な案内情報を生成することが可能となる。

【0011】

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

【図面の簡単な説明】

【0012】

【図1】本開示の一実施形態による情報処理システムの概要について説明する図である。

【図2】本実施形態による情報処理システムの全体構成を示す図である。

【図3】本実施形態による案内サーバの構成の一例を示すブロック図である。

【図4】本実施形態による車両の構成の一例を示すブロック図である。

【図5】本実施形態による感性サーバの構成の一例を示すブロック図である。

【図6】本実施形態による情報処理システムにおける案内情報の生成処理を示すフローチャートである。

【図7】本実施形態による環境情報マップ生成部で生成される環境情報マップの一例を示す図である。

【図8】本実施形態による感情ヒートマップ生成部で生成される感情ヒートマップの一例を示す図である。

【図9】本実施形態によるオブジェクトＤＢに格納されるオブジェクト詳細情報の一例を示す図である。

【図10】本実施形態による感性情報ＤＢから抽出したインタラクション情報の一例を示す図である。

【図11】本実施形態による感性情報ＤＢから抽出したインタラクション情報の一例を示す図である。

【図12】本実施形態による統合ヒートマップの一例を示す図である。

【図13】本実施形態による複数ユーザの関係性の推定処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．基本構成
２−１．案内サーバの構成
２−２．車両の構成
２−３．感性サーバの構成
３．動作処理
４．まとめ

【0015】

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、本開示の一実施形態による情報処理システムの概要について図１を参照して説明する。本実施形態による情報処理システムは、複数ユーザの関係性を、各種センサから取得された情報に基づく複数ユーザの雰囲気、属性、会話、顔認識、感情、または感性値等から推定し、推定した関係性に適した案内情報を提示する。提示される案内情報は、目的地までのルート情報や、ルート途中で寄り道先を経由するルート情報（例えば図１右に示すような寄り道先１、寄り道先２、寄り道先３を経由して目的地へ向かうルート情報）である。また、案内情報の提示は、ユーザが所持する情報処理端末（例えばスマートフォン、携帯電話端末、タブレット端末、ウェアラブル端末等）において表示出力／音声出力されてもよいし、ユーザが搭乗する車両において表示出力／音声出力されてもよい。また、ユーザが搭乗する車両が自動走行可能な車両である場合、案内情報としてのルート情報に従った自動走行が行われるようにしてもよい。

【0016】

（背景）
ここで、従来のナビゲーションシステムでは、ユーザが入力した目的地までの時間的／距離的な最短ルートが自動探索され、当該ルートに従ったナビゲーションが行われるのみであった。一方、一般的に旅行等で目的地まで移動するための時間が十分にある場合、ユーザが目的地までの移動途中で観光スポットや飲食店、土産物店等に立ち寄ることが想定される。しかしながら、上述したように目的地までのルートのみが探索され、提示されるナビゲーションシステムを利用する場合、ユーザは自らルート途中における寄り道先を探し、寄り道先を新たな目的地として再度ナビゲーションシステムに設定しなければならなかった。寄り道先の探索はユーザにとって手間のかかる作業であって、また、ユーザの探索能力によっては最適な場所を十分に探すことができなかった。

【0017】

また、ユーザが複数居る場合、複数ユーザの関係性によって最適なナビゲーションが異なることが想定される。例えば、家族連れの場合には家族向けのスポットに寄り道するルートが最適であるが、恋人同士の場合には恋人向けのスポットに寄り道するルートが最適となる。また、仕事関係の場合には、寄り道をせずに目的地に最短で到着するルートが最適となる。

【0018】

そこで、上記点に鑑みて、本開示による情報処理システムでは、複数ユーザの関係性を考慮して、より最適な案内情報を生成することを可能とする。具体的には、本実施形態による情報処理システムは、指定された目的地までのルート付近で、複数ユーザの関係性に応じた寄り道先を自動で探索し、当該寄り道先を含む案内情報を生成し、ユーザに提示する。

【0019】

複数ユーザの関係性は、例えば図１に示すようなカップル（恋人同士）の他、友達同士、家族、夫婦、親子、兄弟・姉妹、仕事関係等が想定される。かかる複数ユーザの関係性は、上述したように、各種センサから取得された情報に基づく複数ユーザの雰囲気、属性、会話、顔認識、感情、または感性値等から推定することが可能である。

【0020】

より具体的には、本実施形態による情報処理システムは、例えば情報処理端末のカメラや車両の車内カメラで撮像されたユーザの顔の撮像画像、マイクロホンにより収音されたユーザの音声データ、生体センサにより検知されたユーザの生体情報に基づいて複数ユーザの性別や大まかな年代を推定し、その組み合わせから関係性を推定する。また、本実施形態による情報処理システムは、音声データに基づく会話内容の解析、声のトーン、撮像画像に基づく表情認識、生体情報等に基づいて雰囲気を推定し、当該雰囲気から関係性を推定することも可能である。

【0021】

また、本実施形態による情報処理システムは、撮像画像に基づく顔認識、音声データに基づく話者認識、または生体情報に基づく生体認証等を用いて、予め登録された人物情報を参照し、複数ユーザの個人識別を行うことも可能である。この場合、識別した人物に予め紐付けられて登録された属性（年齢、性別、職業等）を取得し、当該属性に応じて複数ユーザの関係性を推定することができる。

【0022】

また、個人識別ができた場合、識別した人物に予め紐付けられて登録されたオブジェクトＩＤに基づいて複数ユーザの感性値を取得し、当該感性値に応じて複数ユーザの関係性を推定することも可能である。本明細書において、感性値とは、人物や物を含む複数のオブジェクト間で生じ、蓄積されたインタラクション（物の取り扱い、手入れ、サービス提供、会話等のオブジェクト間で発生する行為）の評価値に基づいて算出されるものであって、オブジェクトの性質や性格、人となり等を数値化した指標である。例えば感性値が低い人物は、信頼性が低い人物、物の扱いが乱暴な人物、粗暴な人物といった判断を行うことができ、感性値が高い人物は、信頼できる人物、物の扱いが丁寧な人物、善良な人物といった判断を行うことができる。また、感性値を算出する際には、対象のオブジェクトＩＤに紐付けて蓄積されたインタラクションの評価値を用いるが、どの範囲のインタラクション履歴を用いるかは、感性値の利用目的によって異なる。例えば、本実施形態による複数ユーザの関係性を推定する際に感性値を利用する場合、特定した複数ユーザに対応するオブジェクトＩＤを用いて、複数ユーザ間で発生した過去のインタラクションの評価値を用いて感性値が算出される。これにより、複数ユーザのより細かな関係性（例えば恋人同士だが喧嘩中等）を推定することができる。

【0023】

以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本実施形態の情報処理システムの全体構成について、図２を参照して説明する。

【0024】

図２は、本実施形態による情報処理システムの全体構成を示す図である。図２に示すように、本実施形態による情報処理システムは、案内情報を生成する案内サーバ１と、案内サーバ１から受信した案内情報をユーザに提示する情報処理装置（例えば車両２ａまたはスマートフォン２ｂ）を含む。案内サーバ１は、図２に示すように、例えばインターネット７を介して車両２ａまたはスマートフォン２ｂと接続する。以下、案内情報を提示する情報処理装置として、車両２ａを用いて説明する。

【0025】

案内サーバ１は、車両２ａに搭乗する複数ユーザの関係性を推定し、推定した関係性に応じて案内情報を生成する。複数ユーザの関係性は、車両２ａから送信された、センサにより検出されたユーザに関する情報（撮像画像、音声データ、生体情報等）に基づいて推定される。また、案内情報は、上述したように、例えば指定された目的地までのルート情報であって、また、推定した関係性に応じた寄り道先情報を含んでいてもよい。具体的には、例えば複数ユーザが恋人同士の場合、恋人向けのスポットが寄り道先情報として含まれ、複数ユーザが家族連れの場合、家族向けのスポットが寄り道先情報として含まれる。

【0026】

案内サーバ１は、生成した案内情報を、インターネット７を介して車両２ａに送信する。車両２ａは、受信した案内情報を車両２ａに設けられた表示装置（例えばカーナビゲーション装置）に表示させたり、またはスピーカから音声出力させたりすることでユーザに提示する。また、車両２ａが自動走行可能な車両の場合、受信した案内情報に含まれるルート情報に従って自動的に走行する制御する。これにより車両２ａの搭乗者は、関係性に応じた適切な寄り道先を経由して目的地まで移動することができ、旅行やドライブをより楽しむことができる。

【0027】

また、案内サーバ１が生成する案内情報は、車両２ａに対する自動車ナビゲーション情報に限定されず、徒歩、自転車、電車、またはバス等による移動に対するナビゲーション情報であってもよい。

【0028】

以上、本実施形態による情報処理システムの全体構成について説明した。続いて、本実施形態の情報処理システムに含まれる各装置の基本構成について具体的に説明する。

【0029】

＜＜２．基本構成＞＞
＜２−１．案内サーバ＞
図３は、本実施形態による案内サーバ１の構成の一例を示すブロック図である。図３に示すように、本実施形態による案内サーバ１は、制御部１０、通信部１１、および記憶部１２を有する。

【0030】

（制御部）
制御部１０は、案内サーバ１の各構成を制御する。制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および不揮発性メモリを備えたマイクロコンピュータにより実現される。また、本実施形態による制御部１０は、図３に示すように、ユーザ特定部１０ａ、関係性推定部１０ｂ、案内情報生成部１０ｃ、感情ヒートマップ生成部１０ｄ、および環境情報マップ生成部１０ｅとしても機能する。

【0031】

ユーザ特定部１０ａは、車両２ａから通信部１１を介して受信した、センサにより検出されたユーザに関する情報に基づいて、車両２ａに搭乗する（共に行動している）複数ユーザを特定する。センサにより検出されたユーザに関する情報とは、例えば車両２ａに設けられた車内カメラにより撮像されたユーザの撮像画像、マイクロホンにより収音されたユーザの音声データ、または生体センサにより検知されたユーザの生体情報（例えば心拍数、発汗数、脳波、体動、指紋等）を含む。また、ユーザに関する情報は、端末間通信データを含んでもよい。端末間通信データとは、ユーザが所持する情報処理端末（スマートフォン、携帯電話端末、タブレット端末、ウェアラブル端末等）との通信（赤外線通信、Ｗｉ−Ｆｉ（登録商標）、Bluetooth（登録商標）等）により車両２ａが取得し得る、ユーザの識別情報（氏名、年齢、性別、ユーザＩＤ等）である。

【0032】

ユーザ特定部１０ａは、搭乗者の顔画像、音声データ、生体情報等を解析し、搭乗者（複数ユーザ）の性別と大まかな年齢の推定や、可能であれば個人識別を行う。個人識別は、顔画像等の解析結果と、人物ＤＢサーバ６に予め登録されている人物情報とを参照して行われる。また、個人識別は、ＳＮＳ（Social Networking Service）サーバ５から取得した人物情報を参照して行われてもよい。ユーザ特定部１０ａは、個人識別ができなかった人物に関して、顔画像の解析、音声認識、会話認識、生体認識等により取得した人物情報（性別、大まかな年齢、氏名、趣味・嗜好、職業、苦手な物等）を人物ＤＢサーバ６に新たに登録してもよい。また、ユーザと共に行動する人間以外の動物が特定された場合、ユーザ特定部１０ａは、動物の種類（犬、猫等）を属性として付与した動物情報を、人物ＤＢサーバ６に登録してもよい。また、ユーザ特定部１０ａは、車両２ａに搭乗するユーザが自ら手入力で搭乗者に関する情報が入力され、車両２ａから送信された場合、当該手入力の情報に基づいて複数ユーザを特定してもよい。そして、ユーザ特定部１０ａは、特定した複数ユーザに関する情報を関係性推定部１０ｂに出力する。

【0033】

関係性推定部１０ｂは、ユーザ特定部１０ａにより特定された複数ユーザについて、その関係性を推定する。例えば、関係性推定部１０ｂは、ユーザ特定部１０ａにより特定された複数ユーザの性別や大まかな年齢の組み合わせに基づいて、親子関係、兄弟関係、友人関係、恋人関係等を推定する。また、関係性推定部１０ｂは、性別や大まかな年齢の組み合わせに基づく関係性の候補を複数挙げて、さらに音声データに基づいて会話内容を解析・認識し、複数ユーザの関係性を推定することも可能である。

【0034】

また、関係性推定部１０ｂは、顔画像に基づく表情認識、音声データに基づく会話内容の解析・認識、声のトーン（声色）、または生体情報の解析等により車内の雰囲気を取得し、取得した雰囲気に応じて、搭乗している複数ユーザの関係性を推定することも可能である。

【0035】

また、関係性推定部１０ｂは、複数ユーザの感情に関連する情報に基づいて複数ユーザの関係性を推定することも可能である。感情に関連する情報は、例えば顔画像に基づく表情認識、音声データに基づく会話内容の解析・認識、声のトーン（声色）、または生体情報等により取得され得る。

【0036】

また、複数ユーザの個人識別が出来た場合、関係性推定部１０ｂは、複数ユーザの感情に関連する情報として、各ユーザの感性値を感性サーバ３から取得し、当該感性値に基づいて複数ユーザの関係性を推定してもよい。具体的には、関係性推定部１０ｂは、識別された複数ユーザのオブジェクトＩＤを人物ＤＢサーバ６から取得し、当該オブジェクトＩＤを用いて感性サーバ３に対して感性値の要求を行う。感性サーバ３は、要求に応じて、指定されたオブジェクト間の過去のインタラクションの評価値を用いて算出した各オブジェクトの感性値を返信する。

【0037】

また、関係性推定部１０ｂは、複数ユーザの個人識別が出来た場合、人物ＤＢサーバ６から取得した人物情報に含まれる複数ユーザの属性（性別、年齢、氏名、職業等）に応じて、複数ユーザの関係性を推定することも可能である。

【0038】

関係性推定部１０ｂは、推定した複数ユーザの関係性を案内情報生成部１０ｃに出力する。なお車両２ａ内に複数種類の関係性が存在する可能性もあるが、この場合、関係性推定部１０ｂは、最も人数の多い関係性を選ぶようにしてもよい。例えば５人（具体的には４人の家族と子供の友達一人の計５人）のユーザが車両２ａに搭乗し、２人が友達関係、２人が兄弟関係、２人が夫婦関係、４人が家族関係である場合、関係性推定部１０ｂは、最も人数の多い家族関係を車両２ａに搭乗する複数ユーザの関係性として選択する。また、関係性推定部１０ｂは、車両２ａの持ち主や年長者など、複数ユーザの中で影響力の強い人物の関係性を選ぶようにしてもよい。また、関係性推定部１０ｂは、車両２ａに搭乗するユーザが自ら手入力で関係性に関する情報が入力され、車両２ａから送信された場合、当該手入力の情報に基づいて複数ユーザの関係性を推定してもよい。

【0039】

案内情報生成部１０ｃは、関係性推定部１０ｂにより推定された複数ユーザの関係性に応じて、複数ユーザに対する案内情報を生成する。例えば、案内情報生成部１０ｃは、指定された目的地までのルート付近で複数ユーザの関係性に応じた１または複数の寄り道先を抽出し、当該寄り道先を経由するルート情報を案内情報として生成する。具体的には、案内情報生成部１０ｃは、例えば複数ユーザが家族関係の場合、家族向けのスポットを寄り道先として抽出し、また、複数ユーザが恋人関係の場合、恋人向けのスポットを寄り道先として抽出する。

【0040】

また、案内情報生成部１０ｃは、感情ヒートマップ生成部１０ｄにより生成される感情ヒートマップ、および環境情報マップ生成部１０ｅにより生成される環境情報マップを用いて、複数ユーザの関係性に最適な案内情報を生成してもよい。感情ヒートマップおよび環境情報マップを用いた案内情報の生成については、図７〜図１２を参照して後述する。

【0041】

感情ヒートマップ生成部１０ｄは、感情に関連する情報を位置に紐付けてマッピングした感情ヒートマップを生成する。感情に関連する情報とは、生体センサ等により検知されたセンサ値、または感性サーバ３から取得された感性値を含む。感性サーバ３に蓄積されるインタラクション情報には、各インタラクションが行われた日時の他、場所情報も紐付けられ（図１０、図１１参照）、目的地までのルート付近のエリアにおいて行われたインタラクション履歴に基づく感性値や、スポット（寄り道先）の感性値の算出が可能である。感情ヒートマップ生成の詳細については、図８〜図１１を参照して後述する。

【0042】

環境情報マップ生成部１０ｅは、環境に関連する情報を位置に紐付けてマッピングした環境情報マップを生成する。環境に関連する情報とは、スポット情報サーバ４から取得されるスポット情報（観光地、レストラン、売店、休憩所、公園等の情報）を含む。スポット情報サーバ４に格納されるスポット情報には、各スポットの場所、営業時間、入場料等の基本情報の他、どのようなユーザ向けのスポットであるか（家族向け、恋人向け、友達同士向け、大人数向け等）、また、スポットの特徴情報（夜景が綺麗、幼児入店可能、テラス席、ペット同伴可、子供が楽しめる場所等）も含まれる。また、環境情報マップ生成部１０ｅは、案内情報生成部１０ｃからの指示に従って、ベースルート付近の一定範囲における、複数ユーザの関係性、属性（年齢、性別、趣味・嗜好等）、時刻、天候、スポットのカテゴリ等のフィルタ条件にマッチするスポットを抽出して、環境情報マップを生成する。環境情報マップ生成の詳細については、図７を参照して後述する。

【0043】

（通信部）
通信部１１は、外部装置とデータの送受信を行う。例えば通信部１１は、感性サーバ３、スポット情報サーバ４、ＳＮＳサーバ５、人物ＤＢサーバ６と接続して各種データの送受信を行う。また、通信部１１は、車両２ａと接続して、車両２ａからセンサにより検知されたユーザに関する情報や、ナビゲーション設定情報（目的地、到着希望時間、優先道路の選択等）を受信したり、案内情報生成部１０ｃにより生成された案内情報を車両２ａに送信したりする。

【0044】

（記憶部）
記憶部１２は、制御部１０による各種処理を行うためのプログラムを記憶する。また、記憶部１２は、感情ヒートマップ生成部１０ｄにより生成された感情ヒートマップ、環境情報マップ生成部１０ｅにより生成された環境情報マップを記憶してもよい。

【0045】

以上、案内サーバ１の構成について具体的に説明した。なお図３に示す案内サーバ１の構成は一例であって、本実施形態による案内サーバ１の構成はこれに限定されない。例えば、スポット情報サーバ４に格納されているスポット情報や、人物ＤＢサーバ６に格納されている人物情報が、案内サーバ１の内部の記憶領域すなわち記憶部１２に記憶されていてもよい。

【0046】

＜２−２．車両の構成＞
次に、案内情報をユーザに提示する情報処理装置の一例である車両２ａの構成を説明する。図４は、本実施形態による車両２ａの構成の一例を示すブロック図である。図４に示すように、車両２ａは、制御部２０、通信部２１、自車両位置取得部２２、車内カメラ２３、マイクロホン２４、操作入力部２５、表示部２６、生体センサ２７、自動走行制御部２８、および記憶部２９を有する。

【0047】

（制御部）
制御部２０は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、インターフェース部を備えたマイクロコンピュータにより構成され、車両２ａの各構成を制御する。また、制御部２０は、車内カメラ２３により撮像した撮像画像、マイクロホンにより収音した音声データ、または生体センサ２７により検知した生体情報を、センサにより検出した搭乗者に関する情報として通信部２１を介して案内サーバ１に送信するよう制御する。また、制御部２０は、操作入力部２５から入力された搭乗者の識別情報（性別、年齢、氏名、趣味・嗜好、ユーザＩＤ、オブジェクトＩＤ等）を案内サーバ１に送信するよう制御してもよい。また、制御部２０は、操作入力部２５により入力されたナビゲーション設定情報、具体的には、目的地、到着希望時間、優先道路等に関する情報を、案内サーバ１に送信するよう制御してもよい。

【0048】

また、制御部２０は、通信部２１を介して案内サーバ１から受信した案内情報を表示部２６に表示するよう制御したり、スピーカ（不図示）から音声出力するよう制御したりしてもよい。また、制御部２０は、案内サーバ１から受信した案内情報に含まれるルートに従って自動走行を行うよう自動走行制御部２８に指示してもよい。

【0049】

（通信部）
通信部２１は、外部装置とデータの送受信を行う。例えば通信部２１は、案内サーバ１と接続し、センサにより検出した搭乗者に関する情報やナビゲーション設定情報等を送信したり、案内サーバ１で生成された案内情報を受信したりする。

【0050】

（自車両位置取得部）
自車両位置取得部２２は、外部からの取得信号に基づいて車両２ａの現在位置を検知する機能を有する。具体的には、例えば自車両位置取得部２２は、ＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、車両２ａが存在している位置を検知し、検知した位置情報を制御部２０に出力する。また、自車両位置取得部２２は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等との送受信、または近距離通信等により位置を検知するものであってもよい。

【0051】

（車内カメラ）
車内カメラ２３は、車両２ａ内部を撮像するカメラであって、例えば各座席に座っている搭乗者の顔を撮像する。車内カメラ２３の設置位置および個数については特に限定しない。

【0052】

（マイクロホン）
マイクロホン２４は、車両２ａ内部の音声を収音する機能を有し、例えば搭乗者の会話を収音する。マイクロホン２４の設置位置および個数については特に限定しない。

【0053】

（操作入力部）
操作入力部２５は、ユーザ操作の入力を受付け、入力情報として制御部２０に出力する。例えば操作入力部２５は、車両２ａの運転席近傍に設けられた表示部２６と一体化されたタッチパネルであってもよい。また、操作入力部２５は、車内カメラ２３により撮像されたユーザの撮像画像を解析してジェスチャー入力を可能としてもよいし、マイクロホン２４により収音されたユーザの音声を解析して音声入力を可能としてもよい。

【0054】

（表示部）
表示部２６は、メニュー画面やナビゲーション画面を表示し、例えば液晶ディスプレイにより実現される。また、表示部２６は、運転席近傍に設けられる。また、表示部２６は、案内サーバ１から送信された案内情報を表示する。また、表示部２６は、車両２ａのフロントガラスに画像を投影する投影部により実現されてもよい。

【0055】

（生体センサ）
生体センサ２７は、車両２ａに搭乗するユーザの生体情報を検知する。例えば生体センサ２７は、車両２ａのハンドル部分、ドアの取手部分、窓の開閉操作部分、座席部分、またはヘッドレスト部分等に１または複数設けられ、搭乗者の体温、発汗量、心拍数、脳波、指紋等を検知する。

【0056】

（自動走行制御部）
自動走行制御部２８は、車両２ａの走行を制御し、運転者の操作によらない自動運転を実現する機能を有する。具体的には、自動走行制御部２８は、案内サーバ１から受信した案内情報に従って走行するよう車両２ａを制御する。案内情報が寄り道先を経由した目的地までのルート案内である場合、自動走行制御部２８は、案内情報で示される寄り道先を経由したルートを走行するよう車両２ａを制御する。また、自動走行を行う際、自動走行制御部２８は、取得された車外の状況（例えば周囲の撮像画像、物体検知情報等）に応じて、車両２ａのアクセル制御、ブレーキ制御、ハンドル制御等を行う。

【0057】

（記憶部）
記憶部２９は、制御部２０が各処理を実行するためのプログラムを記憶する。また、記憶部２９は、車両２ａの搭乗者に関する情報や、案内サーバ１から送信された案内情報を記憶してもよい。

【0058】

以上、本実施形態による車両２ａの具体的な構成について説明した。なお図４に示す車両２ａの構成は一例であって、本実施形態はこれに限定されない。例えば、自動走行制御部２８を有さない構成であってもよいし、搭乗者に関する情報を取得する他のセンサ（例えば赤外線カメラ、深度カメラ等）が設けられていてもよい。

【0059】

＜２−３．感性サーバの構成＞
続いて、本実施形態による感性サーバ３の構成について説明する。図５は、本実施形態による感性サーバ３の構成の一例を示すブロック図である。図５に示すように、感性サーバ３は、制御部３０、通信部３１、オブジェクトＤＢ３２、および感性情報ＤＢ３４を有する。

【0060】

（通信部）
通信部３１は、ネットワークを介して案内サーバ１と接続し、案内サーバ１から要求されたオブジェクトの感性値を返信する。また、通信部３１は、各オブジェクト（人、モノ全てを含む）に装着／搭載されたセンシングデバイス（不図示）から、インタラクション情報を受信する。

【0061】

（制御部）
制御部３０は、感性サーバ３の各構成を制御する。制御部３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、および不揮発性メモリを備えたマイクロコンピュータにより実現される。また、本実施形態による制御部３０は、図５に示すように、インタラクション記憶制御部３０ａ、評価部３０ｂ、オブジェクト管理部３０ｃ、関連オブジェクト検索部３０ｄ、および感性値算出部３０ｅとして機能する。

【0062】

インタラクション記憶制御部３０ａは、オブジェクトに装着／搭載されたセンシングデバイスから受信したインタラクション情報を感性情報ＤＢ３４に記憶するよう制御する。センシングデバイスは、湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、またはジャイロセンサ等により実現され、オブジェクトに対する他のオブジェクトからのインタラクションを検知する。インタラクションとは、行為であって、例えば人物間では会話、電話、メール、一緒に出掛けた、プレゼントの贈与等であって、人物と物体間では、物の手入れ、保管、掃除、鑑賞、着用等が挙げられる。

【0063】

評価部３０ｂは、感性情報ＤＢ３４に記憶されたインタラクションの評価を行う。インタラクションの評価方法については特に限定しないが、例えば評価部３０ｂは、インタラクションを受けたオブジェクトにとって好ましいインタラクションである程高く評価し、具体的には−１．０〜１．０の点数を付ける。評価結果は、インタラクションに対応付けて感性情報ＤＢ３４に記憶される。

【0064】

オブジェクト管理部３０ｃは、オブジェクトＤＢ３２に記憶されているオブジェクトに関する情報の登録、変更、削除等の管理を行う。

【0065】

関連オブジェクト検索部３０ｄは、要求されたオブジェクトＩＤとの間にインタラクションが発生した他のオブジェクトを関連オブジェクトとしてオブジェクトＤＢ３２や感性情報ＤＢ３４から検索する。

【0066】

感性値算出部３０ｅは、対象ユーザのオブジェクトＩＤに対応付けられたインタラクション評価に基づいて対象ユーザの感性値を算出する。例えば感性値算出部３０ｅは、インタラクション評価値の総和により、対象ユーザのトータル感性値を算出してもよいし、インタラクション評価値の平均値により対象者のトータル感性値を算出してもよい。

【0067】

また、感性値算出部３０ｅは、要求元における感性値の利用用途に応じて、所定のインタラクションのみを用いて、または所定のインタラクションに重み付けを行った上で感性値を算出してもよい。例えば、感性値が案内サーバ１で複数ユーザの関係性の推定に用いられる場合、感性値算出部３０ｅは、指定されたオブジェクト間（すなわち複数ユーザ間）の過去のインタラクション履歴を用いて感性値を算出する。

【0068】

（オブジェクトＤＢ）
オブジェクトＤＢ３２は、各オブジェクトのオブジェクトＩＤを格納する記憶部である。また、オブジェクトＤＢ３２には、オブジェクトＩＤに紐付けて、オブジェクトの氏名、年齢、性別、サービス種類、サービス会社、商品名、商品種類、メーカーＩＤ、型番、製造日時等の情報が格納される。

【0069】

（感性情報ＤＢ）
感性情報ＤＢ３４は、オブジェクト間のインタラクション情報や、評価値を格納する記憶部である。具体的には、感性情報ＤＢ３４には、オブジェクトＩＤに紐付けて、インタラクションが行われた日時・場所、インタラクションが発生した相手方を示す関連オブジェクトＩＤ、インタラクション種類、インタラクションの詳細、およびインタラクション評価が格納される。

【0070】

以上、本実施形態による感性サーバ３の構成について具体的に説明した。なお感性サーバ３の構成は図５に示す例に限定されず、例えばオブジェクトＤＢ３２、感性情報ＤＢ３４がネットワーク上の外部記憶装置に格納されていてもよい。また、感性サーバ３の感性値算出部３０ｅが案内サーバ１に設けられ、案内サーバ１により、感性サーバ３から取得した複数ユーザ間のインタラクション評価に基づいて感性値の算出が行われてもよい。

【0071】

＜＜３．動作処理＞＞
次に、本実施形態による情報処理システムの動作処理について図６を参照して説明する。図６は、本実施形態による情報処理システムにおける案内情報の生成処理を示すフローチャートである。

【0072】

図６に示すように、まず、ステップＳ１０３において、案内サーバ１のユーザ特定部１０ａは、車両２ａから送信された、センサにより検出された搭乗者に関する情報（具体的には、例えば撮像画像、音声データ、生体情報等）に基づいて、車両２ａに搭乗する複数ユーザの特定を行う。

【0073】

次に、ステップＳ１０６において、関係性推定部１０ｂは、ユーザ特定部１０ａにより特定された複数ユーザの関係性を推定する。複数ユーザの関係性推定の詳細については、図１３を参照して後述する。

【0074】

次いで、ステップＳ１０９において、案内情報生成部１０ｃは、複数ユーザの移動の目的が寄り道をするのに相応しいか否かを判断する。複数ユーザの移動の目的は、複数ユーザの関係性、属性、および指定された目的地等から推定され得る。例えば、案内情報生成部１０ｃは、複数ユーザの関係性が親子関係または兄弟／姉妹関係であって、目的地がある程度遠い観光地である場合、移動の目的は家族旅行と推定する。また、案内情報生成部１０ｃは、複数ユーザの関係性が恋人関係であって、目的地がある程度遠い観光地である場合は移動の目的をデートと推定する。また、案内情報生成部１０ｃは、複数ユーザの関係性が友人関係であって、目的地がある程度遠い観光地である場合は移動の目的を友達旅行と推定する。また、案内情報生成部１０ｃは、複数ユーザの関係が仕事関係であって、目的地が企業や店舗の場合は移動の目的を仕事と推定する。また、案内情報生成部１０ｃは、目的地が商業施設や店舗等の近場の商店である場合は、移動の目的を買い物と推定し、目的地がレストランや食堂等の近場の飲食店である場合は、移動の目的を食事と推定する。また、案内情報生成部１０ｃは、複数ユーザの関係性が家族関係／親戚関係であって、目的地が結婚式場、斎場、病院である場合は、移動の目的を冠婚葬祭と推定する。そして、案内情報生成部１０ｃは、移動の目的が「仕事」、「買い物」、「冠婚葬祭」等の目的地に早く到着することが求められるものである場合、寄り道先をするのに相応しくないと判断する。また、案内情報生成部１０ｃは、移動の目的が「家族旅行」、「友達旅行」、「デート」等の目的地までの道でも楽しむことが求められるものである場合、寄り道先をするのに相応しいと判断する。なお、移動の目的がナビゲーション設定情報として車両２ａにおいてユーザにより明示的に入力された場合、案内情報生成部１０ｃは、入力された移動の目的に基づいて寄り道をするのに相応しいか否かを判断する。

【0075】

次に、移動の目的が寄り道をするのに相応しくないと判断された場合（Ｓ１０９において「Ｎｏ」）、本実施形態による寄り道先を含む案内情報の生成処理は終了する。この場合、案内情報生成部１０ｃは、時間的／距離的に最短で目的地に到着するベースルートの検索のみを行って車両２ａに提供してもよい。

【0076】

一方、移動の目的が寄り道をするのに相応しいと判断された場合（Ｓ１０９において「Ｙｅｓ」）、ステップＳ１１２において、案内情報生成部１０ｃは、ユーザ指定の目的地までの時間的な余裕があるか否かを判断する。目的地までの時間的な余裕は、例えばユーザにより入力された目的地の到着希望時刻と、目的地までの移動にかかる時間とに基づいて算出され得る。時間的な余裕とは、例えば１時間以上等、寄り道先に立ち寄る時間的余裕であって、閾値はユーザによって指定することが可能である。

【0077】

次に、時間的な余裕が無いと判断された場合（Ｓ１１２において「Ｎｏ」）、本実施形態による寄り道先を含む案内情報の生成処理は終了する。この場合、案内情報生成部１０ｃは、時間的／距離的に最短で目的地に到着するベースルートの検索のみを行って車両２ａに提供してもよい。なお、本実施形態による寄り道先を含む案内情報の生成処理が終了する場合は上述した例に限定されず、例えば車両２ａから取得した撮像画像、音声データ、生体情報等から把握される車内の状況に応じて判断してもよい。具体的には、例えば車内で寝ている人が居る、体調の悪い人が居る、会話内容から目的地に早く到着することが望まれている、といった状況が把握された場合に、案内情報の生成処理を終了させてもよい。また、ユーザにより明示的に寄り道先の案内が不要である旨が入力された場合に、案内情報の生成処理を終了させてもよい。

【0078】

一方、目的地までの時間的な余裕があると判断された場合（Ｓ１１２において「Ｙｅｓ」）、ステップＳ１１５において、案内情報生成部１０ｃは、現在地から目的地までのベースルートの検索を行う。例えば、案内情報生成部１０ｃは、目的地まで最短の時間／距離で到着する基本的なルートを、ユーザに入力された条件（有料優先、一般道路優先、距離優先、渋滞情報等）を考慮して検索する。なおステップＳ１１５の処理は、Ｓ１０９およびＳ１１２よりも前、すなわち上記ステップＳ１０６の次に行われてもよい。

【0079】

次いで、ステップＳ１１８において、案内情報生成部１０ｃは、検索したベースルート沿いの一定範囲のエリアの環境情報マップを環境情報マップ生成部１０ｅから取得する。具体的には、案内情報生成部１０ｃは、環境情報マップ生成部１０ｅに対して、ベースルート沿いの一定範囲のエリアと、複数ユーザの関係性に応じたフィルタ条件とを指定して環境情報マップの生成を指示する。なお案内情報生成部１０ｃは、出発地点から所定時間経過後に通過予定のベースルート沿いの一定範囲のエリアを指定してもよい。例えば車両２ａに子供が同乗している場合、出発から１時間程経過すると子供が飽きてくることが想定されるので、出発から１時間経過時に通過する予定のエリア付近で寄り道先を探すことで、ユーザに最適な案内情報を提示することができる。

【0080】

また、案内情報生成部１０ｃは、複数ユーザの関係性に応じたフィルタ条件として、例えば複数ユーザの関係性が「家族関係」の場合は「家族向け」をフィルタ条件とし、複数ユーザの関係性が「恋人関係」の場合は「恋人向け」をフィルタ条件とする。これにより、複数ユーザの関係性に応じた適切なスポットが抽出された指定エリアの環境情報マップを取得できる。また、環境情報マップ生成部１０ｅに指定するフィルタ条件は、複数ユーザの関係性に応じた条件に限定されず、例えば複数ユーザの属性（年齢、性別、趣味・嗜好、職業等）、時刻、天候の条件を加えてもよい。時刻条件および天候条件は、指定したエリアをユーザが通過する予想時刻や、指定したエリアの天候（現在または通過予想時刻の予想天候）が条件とされる。また、車両２ａにペットが同乗している場合には「ペット同伴可」、会話認識結果により「お腹が空いた」といった会話が認識された場合やユーザが指定した食事時間に近い場合には「レストラン」「飲食店」といったフィルタ条件が加えられてもよい。

【0081】

ここで、本実施形態による環境情報マップの一例を図７に示す。図７に示す環境情報マップ４０は、例えば複数ユーザの関係性に応じたフィルタ条件「恋人向け」と、日時・天候のフィルタ条件「雨、気温１８度、夜９時」とでフィルタリングされて生成されたものである。具体的には、環境情報マップ生成部１０ｅは、指定されたエリア（ベースルートに沿った一定範囲）に存在するスポットの情報をスポット情報サーバ４から取得し、スポット情報に含まれるスポットの基本情報や特徴情報等を参照して、「恋人向け」という条件にマッチするスポットを抽出する。また、環境情報マップ生成部１０ｅは、「天候：雨」という条件に応じて、雨天時も営業しているスポットを抽出する。さらに、環境情報マップ生成部１０ｅは、「気温：摂氏１８度」という条件に応じて、外は肌寒いため、屋内のスポットを抽出する。さらに、環境情報マップ生成部１０ｅは、「時刻：夜９時」という条件に応じて、飲食店やバーであって、夜９時以降も営業している店を抽出する。そして、例えば図７に示すように、「恋人向け、雨、気温１８度、夜９時」のフィルタ条件にマッチしたスポット４００、４０１、４０２が抽出される。なお、環境情報マップ４０は、図３に示すように案内サーバ１の環境情報マップ生成部１０ｅで生成されてもよいし、ネットワーク経由で外部の情報提供サーバ（不図示）から取得されてもよい。

【0082】

次いで、ステップＳ１２１において、案内情報生成部１０ｃは、検索したベースルート沿いの一定範囲のエリアの感情ヒートマップを感情ヒートマップ生成部１０ｄから取得する。感情ヒートマップを参照することで、各スポットや、周辺エリアで活動する人物の感性値を把握することができる。具体的には、案内情報生成部１０ｃは、感情ヒートマップ生成部１０ｄに対して、ベースルート沿いの一定範囲のエリアの各スポット（上記環境情報マップの生成により抽出された各スポット）、または一定範囲のエリアを指定して、感情ヒートマップの生成を指示する。

【0083】

ここで、本実施形態による感情ヒートマップの一例を図８に示す。図８左に示す感情ヒートマップ４２は、ベースルート沿いの一定範囲のエリアにおける各スポットの感性値を用いて生成されたものである。このような感情ヒートマップ４２を参照することで、案内情報生成部１０ｃは、各スポットの感性値の高さに応じて複数ユーザに適切な寄り道先を選択することができる。

【0084】

また、感情ヒートマップ４２を生成する際の各スポットの感性値は、複数ユーザの属性（年齢、性別、職業、趣味・嗜好等）と同様の属性の人物と、スポットとの間のインタラクションに基づいて算出された感性値であってもよい。例えば、図８左に示す感情ヒートマップ４２では、複数ユーザの属性が例えば「成人（年齢：２０歳以上）」であって、これらと同様の属性を持つ人物（すなわち成人）と、各スポット（上記環境情報マップの生成により抽出された各スポット４００、４０１、４０２）との間で発生したインタラクションに基づいて算出される感性値が用いられる。これにより、案内情報を提供するユーザと同様の属性を有する人物が楽しく快適に過ごせるスポットを感性値の高さにより把握することができる。

【0085】

上記各スポットの感性値は、感性サーバ３から取得され得る。具体的には、感情ヒートマップ生成部１０ｄは、各スポット（例えばレストラン「○○○○」、バー「◇◇◇◇」等）のオブジェクトＩＤをスポット情報サーバ４から取得し、取得したオブジェクトＩＤと、複数ユーザの属性情報とを併せて感性サーバ３に送信し、感性値の取得を要求する。感性サーバ３側では、感性値算出部３０ｅにより、案内サーバ１からの要求に応じて指定されたオブジェクトＩＤと指定された属性を持つ人物との間に発生した過去のインタラクション履歴を用いて感性値の算出を行い、算出した感性値を案内サーバ１に返信する。

【0086】

具体的には、感性値算出部３０ｅは、まず、オブジェクトＤＢ３２に格納されているオブジェクト詳細情報を参照して、指定された属性を持つ人物のオブジェクトＩＤを抽出する。ここで、オブジェクト詳細情報の一例を図９に示す。図９に示すように、オブジェクト詳細情報は、オブジェクトＩＤ、オブジェクト名称（氏名、店舗名、商品名等）、オブジェクト種類（人物、レストラン、バー等）、および属性情報（年齢、性別、職業、趣味・嗜好、店のカテゴリ、店の営業時間、店の場所等）を含む。感性値算出部３０ｅは、案内サーバ１から指定された属性が「成人（年齢：２０歳以上）」の場合、当該属性を持つオブジェクトとして、人物ＡＡＡ（オブジェクトＩＤ：３８４）、人物ＢＢＢ（オブジェクトＩＤ：４６５）、および人物ＣＣＣ（オブジェクトＩＤ：６７９）を抽出する。次いで、感性値算出部３０ｅは、抽出した人物のオブジェクトＩＤと、案内サーバ１から要求されたオブジェクトＩＤ（スポットのオブジェクトＩＤ）との間で発生した過去のインタラクションの情報だけを感性情報ＤＢ３４から抽出する。若しくは、感性値算出部３０ｅは、先にスポットのオブジェクトＩＤとの間でインタラクションが検知された人物を抽出し、当該人物の中から指定された属性を持つ人物を抽出することで、所定の属性の人物とスポットとの間で発生した過去のインタラクション情報を抽出してもよい。また、所定のスポットとインタラクションを行った所定の属性を持つ人物を検索する機能を案内サーバ１側に持たせて、感性サーバ３側では、案内サーバ１から指定された人物と所定のスポットとのインタラクション情報を抽出する処理を行ってもよい。ここで、感性情報ＤＢ３４から抽出されるインタラクション情報の一例を図１０に示す。図１０に示すように、所定の属性（ここでは一例として「成人（年齢：２０歳以上）」）を持つ人物であるオブジェクトと、指定されたスポットであるオブジェクトとの間のインタラクション（この場合、食事／酒の提供や飲食といった行為）の評価値が抽出される。感性値算出部３０ｅは、このように抽出されたインタラクション情報に基づいて、各スポットの感性値を算出する。なお感性値の算出方法は特に限定しないが、例えばインタラクション評価値の平均をとって算出してもよいし、インタラクションが行われた日時に応じて重み付けを行って最近のインタラクションである程影響を大きくするようにしてもよい。

【0087】

以上説明した各スポットの感性値を用いて、感情ヒートマップ生成部１０ｄは、図８左に示すような感情ヒートマップ４２を生成する。図８左に示す感情ヒートマップ４２では、各スポット（スポット４００、４０１、４０２）の感性値が高い程薄い色で示されている。すなわち、スポット４０２の感性値が最も高く、次にスポット４０１の感性値が高く、また、スポット４００の感性値が最も低いことが分かる。

【0088】

また、本実施形態による感情ヒートマップ生成部１０ｄは、上述した各スポットの感性値を用いた感情ヒートマップ４２の他に、図８右に示すような、周辺エリアで活動する人物の感性値を用いた感情ヒートマップ４３を生成することも可能である。感情ヒートマップ４３を参照することで、案内情報生成部１０ｃは、感性値が高い、すなわち素性の良い人が集まるエリアと、感性値が低い、すなわち素性の悪い人が集まるエリアとを把握し、複数ユーザに適切な寄り道先を選択することができる。

【0089】

図８右に示す感情ヒートマップ４３は、ベースルート周辺エリアに紐付けられたインタラクション評価に基づいて算出された感性値を用いて生成される。具体的には、感情ヒートマップ生成部１０ｄは、感性サーバ３に対して、ベースルート周辺エリアを指定して、感性値の要求を行う。感性サーバ３の感性値算出部３０ｅは、案内サーバ１からの要求に応じて、指定されたエリアにおいて行われたインタラクション評価だけを感性情報ＤＢ３４から抽出して、当該エリアで活動する人物の感性値を算出する。ここで、感性情報ＤＢ３４から抽出したインタラクション情報の一例を図１１に示す。図１１に示すように、インタラクション情報には、インタラクションを行った（または受けた）オブジェクトを示すオブジェクトＩＤと、インタラクションが行われた日時および時間と、インタラクションを受けた（または行った）オブジェクトを示す関連オブジェクトＩＤと、インタラクション種類、詳細、評価値とが含まれる。このように、インタラクション情報にはインタラクションの場所を示す情報が含まれるため、感性値算出部３０ｅは、指定されたエリアで行われたインタラクション情報を抽出することができる。そして、感性値算出部３０ｅは、抽出したインタラクションの評価値に基づいて、所定のエリアの感性値（所定のエリアで活動する人物の感性値であってもよい）を算出する。感性値の算出方法は特に限定しないが、例えばインタラクション評価値の平均をとって算出する方法であってもよい。また、インタラクションが行われた日時に応じて重み付けを行い、最近のインタラクションである程影響を大きくするようにしてもよい。

【0090】

感情ヒートマップ生成部１０ｄは、感性サーバ３の感性値算出部３０ｅにより算出された所定のエリアで活動する人物の感性値を用いて、図８右に示すような感情ヒートマップ４３を生成する。図８右に示す感情ヒートマップ４３では、感性値が高いエリア程薄い色で示されている。すなわち、エリア４１０の感性値が最も高く、次にエリア４１１の感性値が高く、また、エリア４１２の感性値が最も低いことが分かる。

【0091】

以上、感情ヒートマップ生成部１０ｄによる感情ヒートマップの生成について具体的に説明した。なお、感情ヒートマップは、案内サーバ１の感情ヒートマップ生成部１０ｄにより生成される場合に限定されず、ネットワーク経由で外部の情報提供サーバ（不図示）から取得されてもよい。

【0092】

次に、図６のフローチャートに戻り、ステップＳ１２４において、案内情報生成部１０ｃは、環境情報マップおよび感情ヒートマップを統合した統合ヒートマップを取得する。本実施形態による統合ヒートマップについて図１２を参照して説明する。

【0093】

図１２は、本実施形態による統合ヒートマップの一例を示す図である。図１２に示す統合ヒートマップ４５は、図７に示す環境情報マップ４０、図８左に示す感情ヒートマップ４２、および図８右に示す感情ヒートマップ４３を合成して生成されたものである。統合ヒートマップ４５を参照することで、案内情報生成部１０ｃは、ベースルートに沿った一定範囲内において、複数ユーザの関係性に適した寄り道先の候補となる各スポットの場所と、各スポットの感性値の高さと、周辺エリアの感性値の高さを把握することができる。例えば図１２に示す例では、複数ユーザの関係性に適した寄り道先候補であるスポット４００、４０１、４０２のうち、スポット４０１の感性値はスポット４００より高いが周辺のエリア４１２の感性値が低いため、雰囲気や味等が良い店であっても周辺の治安が悪いことが分かる。なお本実施形態による統合ヒートマップは、感情ヒートマップ４２および感情ヒートマップ４３を合成して生成してもよいし、環境情報マップ４０および感情ヒートマップ４２または感情ヒートマップ４３を合成して生成してもよい。

【0094】

次いで、ステップＳ１２７において、案内情報生成部１０ｃは、統合ヒートマップにおいて総合点が所定の閾値以上のスポットを抽出する。かかるスポットの総合点は、例えば環境情報マップ４０の生成時に用いたフィルタ条件にマッチしている程度、感情ヒートマップ４２で示されるスポットの感性値、および感情ヒートマップ４３で示されるスポット周辺エリアの感性値に基づいて算出される。具体的には、例えば図１２に示す統合ヒートマップ４５のスポット４０１は、スポット自体の感性値の他、周辺エリア４１２の感性値が低いことも考慮されて総合点が算出される。

【0095】

次に、ステップＳ１３０において、案内情報生成部１０ｃは、スポットの総合点が高い順にスポットをソートして、寄り道先の候補リストを生成する。

【0096】

次いで、ステップＳ１３３において、案内情報生成部１０ｃは、生成した寄り道先の候補リストのうち、最も総合点が高いスポットを取得する。

【0097】

続いて、ステップＳ１３６において、案内情報生成部１０ｃは、取得したスポットのカテゴリが、複数ユーザが一定期間内に既に寄り道したカテゴリ（レストラン、バー、動物園等）と同じか否かを判断する。なおスポットのカテゴリは、スポット情報サーバ４から取得し得る。

【0098】

次に、既に寄り道したカテゴリと同じ場合（Ｓ１３６において「Ｙｅｓ」）、ステップＳ１３９において、案内情報生成部１０ｃは、取得したスポットを寄り道先の候補リストから削除する。

【0099】

次いで、ステップＳ１４２において、案内情報生成部１０ｃは、寄り道先の候補リストに他のスポットが残っているか否かを判断する。

【0100】

次に、他のスポットが残っている場合（Ｓ１４２において「Ｙｅｓ」）、上記Ｓ１３３に戻り、残った寄り道先の候補リストから、最も総合点が高いスポットを再度取得する。これにより、一定期間内にユーザが寄り道をしたスポットと同じカテゴリのスポットに再度案内してしまうことを避けることができる。

【0101】

一方、他のスポットが残っていない場合（Ｓ１４２において「Ｎｏ」）、ステップＳ１４５において、案内情報生成部１０ｃは、スポットを抽出するための上記所定の閾値を所定値だけ下げた上で、上記Ｓ１２７に戻り、新たな閾値を用いてスポットの抽出を行う。

【0102】

続いて、取得したスポットのカテゴリが一定期間内に既に寄り道したカテゴリと同じでは無い場合（Ｓ１３６において「Ｎｏ」）、ステップＳ１４８において、案内情報生成部１０ｃは、取得したスポットを寄り道先とする案内情報を生成する。具体的には、案内情報生成部１０ｃは、寄り道先を経由して目的地に到着するルートを案内するための案内情報を生成する。または、案内情報生成部１０ｃは、寄り道先の詳細情報を提示して、ルート変更するか否かをユーザに選択させる案内情報を生成してもよいし、複数のスポットを寄り道先候補として提示してユーザに選択させる案内情報を生成してもよい。また、案内情報生成部１０ｃは、目的地への到着希望時間がユーザにより指定されている場合、残り時間と移動時間から換算して寄り道先における最大滞在可能時間を含む案内情報を生成してもよい。

【0103】

そして、ステップＳ１５１において、案内サーバ１は、生成した案内情報を車両２ａに送信する。車両２ａでは、当該案内情報が表示部２６に表示されたり、スピーカ（不図示）から音声出力されたりする。なお、車両２ａは、ユーザが寄り道先に寄らない場合にも、観光名所や特筆すべきスポットの近くを走行する際には、そのスポットに関する情報を音声または映像にて通知してもよい。また、車両２ａが自動走行可能な車両の場合、案内情報（寄り道先を経由する目的地までのルート情報）に従った自動走行が行われ得る。

【0104】

以上、本実施形態による寄り道先を含む案内情報の生成処理について説明した。続いて、上記Ｓ１０６で示す複数ユーザの関係性の推定処理について、図１３を参照して詳細に説明する。

【0105】

図１３は、本実施形態による複数ユーザの関係性の推定処理の詳細を示すフローチャートである。図１３に示すように、まず、ステップＳ２０３において、案内サーバ１のユーザ特定部１０ａは、車両２ａに人物が搭乗したか否かを判断する。具体的には、車両２ａの車内カメラ２３により車両２ａに搭乗した人物の顔が撮像され、車両２ａから撮像画像が送信されるため、ユーザ特定部１０ａは、当該撮像画像に基づく顔認識により人物の搭乗を判断する。また、ユーザ特定部１０ａは、車両２ａから送信される撮像画像の他、車両２ａから送信される搭乗者の音声データ、生体情報の解析に基づいて、人物の搭乗を判断することも可能である。

【0106】

次に、車両２ａに人物が搭乗した場合（Ｓ２０３において「Ｙｅｓ」）、ステップＳ２０８において、ユーザ特定部１０ａは、人物の個人識別を行う。具体的には、ユーザ特定部１０ａは、撮像された顔画像の解析結果と、人物ＤＢサーバ６に予め登録されている人物情報とを参照して、搭乗者の個人識別を行う。または、ユーザ特定部１０ａは、搭乗者の音声認識結果や生体情報の解析結果と、人物ＤＢサーバ６に登録されている人物情報とを参照して個人識別を行うことも可能である。

【0107】

次いで、搭乗者の個人識別が出来た場合（Ｓ２０６において「Ｙｅｓ」）、ステップＳ２０９において、関係性推定部１０ｂは、識別した人物の属性を人物ＤＢサーバ６から取得する。人物ＤＢサーバ６に登録されている人物の属性とは、例えば年齢、性別、職業、趣味・嗜好、オブジェクトＩＤ等である。

【0108】

次に、ステップＳ２１２において、関係性推定部１０ｂは、識別した搭乗者間（複数ユーザ間）のインタラクション評価に基づく感性値を感性サーバ３から取得する。

【0109】

一方、搭乗者の個人識別が出来なかった場合（Ｓ２０６において「Ｎｏ」）、ステップＳ２１５において、関係性推定部１０ｂは、搭乗者により目的地が入力（または変更）されたか否かを判断する。

【0110】

次いで、目的地が入力された場合（Ｓ２１５において「Ｙｅｓ」）、ステップＳ２１８において、関係性推定部１０ｂは、搭乗者の移動の目的を推定する。例えば観光地であれば「レジャー」、会社や仕事と関連する場所であれば「仕事」、スーパーや商店であれば「買い物」、マンションやアパート等の個人の家であれば「遊び・用事」であることが推定される。なお関係性推定部１０ｂは、さらに曜日と時間を参照することで、移動の目的の推定確度を上げることができる。

【0111】

一方、目的地が入力されていない場合（Ｓ２１５において「Ｎｏ」）、ステップＳ２２１において、ユーザ特定部１０ａは、車両２ａの車内カメラ２３、マイクロホン２４、生体センサ２７等により検出されたユーザに関する情報（撮像画像、音声データ、生体情報等）を取得する。

【0112】

次に、ステップＳ２２４において、ユーザ特定部１０ａは、取得したユーザに関する情報を用いた顔認識、音声解析、生体情報解析により、個人識別が出来ない場合でも搭乗者の性別、年代を特定することができる。また、車両２ａに深度センサ（不図示）が設けられている場合、深度センサにより検出されたセンサ値を利用して搭乗者の体型データを取得し、性別や年代の推定確度を上げることができる。

【0113】

続いて、ステップＳ２２７において、関係性推定部１０ｂは、個人識別が出来た場合は人物の属性や複数ユーザ間のインタラクション評価に基づく感性値、個人識別が出来なかった場合は推定した移動の目的や、搭乗者の性別・年代を用いて、車両２ａに搭乗する複数ユーザの関係性を推定する。

【0114】

例えば、個人識別により運転席に座る人物が車のオーナーとして事前に登録されている人物であって、当該人物の属性「２８歳・男性」が取得され、また、助手席に座る人物の個人識別は出来ないが顔認識により２０代の女性であることが推定された場合を想定する。この場合、関係性推定部１０ｂは、これら複数ユーザの関係性を、恋人、友達、会社の上司と部下、家族等の候補に絞る。さらに、関係性推定部１０ｂは、日時、目的地、移動の目的等を考慮して、休日に観光地に向かう場合であれば恋人関係、平日に仕事関係の場所に向かう場合であれば仕事関係と推定することができる。また、関係性推定部１０ｂは、音声データから認識した会話内容を考慮して、複数ユーザの関係性を推定してもよい。

【0115】

また、複数ユーザの関係性の推定は、上述した属性、感性値、移動の目的、性別・年代に限定されず、例えばカメラ、マイク、生体センサにより検出されたデータに基づく会話内容、声のトーン、車内の雰囲気、新密度等から推定されてもよい。

【0116】

次いで、ステップＳ２３０において、案内情報生成部１０ｃは、関係性が更新されたか否かを判断する。車両２ａに搭乗する複数ユーザの関係性の推定は継続的に行われ、新たな人物が搭乗した場合、目的地が変更された場合、車内の雰囲気が変化した場合等に、複数ユーザの関係性が更新される場合がある。案内情報生成部１０ｃは、関係性推定部１０ｂにより新たに複数ユーザの関係性が推定された場合、関係性が更新されたと判断する。

【0117】

次に、関係性が更新された場合（Ｓ２３０において「Ｙｅｓ」）、ステップＳ２３３において、案内情報生成部１０ｃは、寄り道先を含む案内情報の生成（更新）処理を行う。案内情報の生成処理では、主に図６のＳ１０９〜Ｓ１５１に示す処理が行われる。

【0118】

次いで、ステップＳ２３６において、案内サーバ１は、車両２ａが目的地に到着したか否かを判断し、目的地に到着するまで上記Ｓ２０３〜Ｓ２３３の処理が繰り返される。

【0119】

以上、本実施形態による複数ユーザの関係性のより具体的な推定処理について説明した。なお本実施形態は上述した処理に限定されず、例えば案内サーバ１の制御部１０は、仕事の場合における移動時にはユーザが寄り道を望まないため、予め「寄り道許可モード」を用意し、ユーザが当該モードを選択した場合に、本実施形態による案内情報生成処理を行うようにしてもよい。

【0120】

また、案内サーバ１の制御部１０は、案内した寄り道先に実際にユーザが寄り道したか否か、また、寄り道した場合における滞在時間、車両２ａに戻って来てからの笑顔度や会話量の変化等に基づいて、推定した関係性や案内した寄り道先の選択が正しかったか否かを判断する。また、その結果に応じて関係性の再推定が必要な場合、関係性推定部１０ｂは複数ユーザの関係性を再度推定する。

【0121】

さらに、個人識別が出来た場合、案内情報生成部１０ｃは、ＳＮＳの履歴やメールの内容に基づいて個人の趣味・嗜好や性格を把握し、より最適な寄り道先を提案することが可能である。具体的には、案内情報生成部１０ｃは、環境情報マップの生成を環境情報マップ生成部１０ｅに指示する際に、個人の趣味・嗜好や性格を反映させたフィルタ条件を与える。

【0122】

また、感性サーバ３から搭乗者間の過去のインタラクションに基づく感性値を取得して、より細かな関係性（「恋人同士だがケンカ中」等）を推定することができるため、寄り道先を選択する際に細かな関係性を影響させることが可能である。例えば、「恋人同士だがケンカ中」といった関係が推定された場合、仲直りには遊園地などの非日常体験が出来る場所がよいため、案内情報生成部１０ｃは、環境情報マップの生成を環境情報マップ生成部１０ｅに指示する際に、「非日常体験」といったフィルタ条件を与える。

【0123】

＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、複数ユーザの関係性を考慮して、より最適な案内情報を生成することを可能とする。具体的には、本実施形態による情報処理システムは、複数ユーザの関係性に応じて、目的地までのベースルート付近でスポット（寄り道先）を抽出し、寄り道先を含む案内情報を生成する。

【0124】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0125】

例えば、上述した案内サーバ１、車両２ａ、スマートフォン２ｂ、または感性サーバ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、案内サーバ１、車両２ａ、スマートフォン２ｂ、または感性サーバ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

【0126】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0127】

なお、本技術は以下のような構成も取ることができる。
（１）
共に行動している複数ユーザを特定するユーザ特定部と、
前記特定した複数ユーザの関係性を推定する推定部と、
前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成する生成部と、
を備える、情報処理システム。
（２）
前記ユーザ特定部は、センサにより検出されたユーザに関する情報に基づいて、共に行動している複数ユーザを特定する、前記（１）に記載の情報処理システム。
（３）
前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された各ユーザの性別、年代に応じて、前記複数ユーザの関係性を推定する、前記（１）または（２）に記載の情報処理システム。
（４）
前記推定部は、センサにより検知されたユーザに関する情報に基づいて取得された雰囲気に応じて、前記複数ユーザの関係性を推定する、前記（１）〜（３）のいずれか１項に記載の情報処理システム。
（５）
前記センサにより検出されたユーザに関する情報は、撮像画像、音声データ、生体情報、および端末間通信データの少なくともいずれかである、前記（２）〜（４）のいずれか１項に記載の情報処理システム。
（６）
前記推定部は、ユーザの感情に関連する情報に応じて、前記複数ユーザの関係性を推定する、前記（１）〜（５）のいずれか１項に記載の情報処理システム。
（７）
前記ユーザの感情に関連する情報は、センサにより検知された検出されたユーザに関する情報に基づいて生成される、前記（６）に記載の情報処理システム。
（８）
前記ユーザの感情に関連する情報は、ユーザの顔を撮像した顔画像に基づく表情解析、音声データに基づく会話内容の解析、声のトーン、および生体情報に基づく心拍数、発汗量、脳波、または体動の少なくともいずれかを用いて生成される、前記（７）に記載の情報処理システム。
（９）
前記推定部は、オブジェクト間のインタラクションの評価値を蓄積して構築された感性値データベースから、前記複数ユーザに対応するオブジェクト間のインタラクション評価値に基づいて算出された感性値を、前記ユーザの感情に関連する情報として取得し、当該感性値に基づいて前記複数ユーザの関係性を推定する、前記（６）に記載の情報処理システム。
（１０）
前記推定部は、前記複数ユーザの属性に応じて、前記複数ユーザの関係性を推定する、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１１）
前記生成部は、前記推定部により推定された前記複数ユーザの関係性に応じて、前記案内情報に含まれる寄り道先を決定する、前記（１）〜（１０）のいずれか１項に記載の情報処理システム。
（１２）
前記生成部は、感情に関連する情報を位置に紐付けてマッピングした感情ヒートマップを用いて前記案内情報を生成する、前記（１）〜（９）のいずれか１項に記載の情報処理システム。
（１３）
前記生成部は、環境に関連する情報を位置に紐付けてマッピングした環境情報マップと、前記感情ヒートマップとを用いて、前記案内情報を生成する、前記（１２）に記載の情報処理システム。
（１４）
前記環境に関連する情報は、スポット情報である、前記（１３）に記載の情報処理システム。
（１５）
前記情報処理システムは、
前記生成した案内情報を自動走行可能な車両に送信する送信部をさらに備え、
前記自動走行可能な車両は、前記案内情報としての目的地までのルート情報に従って自動走行制御を行う、前記（１）〜（１４）のいずれか１項に記載の情報処理システム。
（１６）
前記ルート情報には、目的地へ行く途中の寄り道先が含まれる、前記（１５）に記載の情報処理システム。
（１７）
前記情報処理システムは、
前記生成された案内情報を情報処理端末に送信する送信部をさらに備え、
前記情報処理端末は、前記案内情報をユーザに提示する、前記（１）〜（１６）のいずれか１項に記載の情報処理システム。
（１８）
共に行動している複数ユーザを特定部により特定することと、
前記特定した複数ユーザの関係性を推定部により推定することと、
前記推定した複数ユーザの関係性に応じて、前記複数ユーザに対する案内情報を生成部により生成することと、
を含む、制御方法。

【符号の説明】

【0128】

１ 案内サーバ
１０ 制御部
１０ａ ユーザ特定部
１０ｂ 関係性推定部
１０ｃ 案内情報生成部
１０ｄ 感情ヒートマップ生成部
１０ｅ 環境情報マップ生成部
１１ 通信部
１２ 記憶部
２ａ 車両
２０ 制御部
２１ 通信部
２２ 自車両位置取得部
２３ 車内カメラ
２４ マイクロホン
２５ 操作入力部
２６ 表示部
２７ 生体センサ
２８ 自動走行制御部
２９ 記憶部
２ｂ スマートフォン
３ 感性サーバ
４ スポット情報サーバ
５ ＳＮＳサーバ
６ 人物ＤＢサーバ
７ インターネット
４０ 環境情報マップ
４２、４３ 感情ヒートマップ
４５ 統合ヒートマップ
４００〜４０２ スポット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】