ホーム > 特許ランキング > 本田技研工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】制御装置、制御方法およびプログラム
(51)【国際特許分類】
G01C 21/34 20060101AFI20221209BHJP
G08G 1/09 20060101ALI20221209BHJP
G08G 1/0969 20060101ALI20221209BHJP
A61B 5/16 20060101ALI20221209BHJP
A61B 5/18 20060101ALI20221209BHJP
G09B 29/10 20060101ALI20221209BHJP
G09B 29/00 20060101ALI20221209BHJP
【ＦＩ】
G01C21/34
G08G1/09 F
G08G1/0969
A61B5/16 200
A61B5/18
G09B29/10 A
G09B29/00 A
【請求項の数】
18
(21)【出願番号】P 2019064035
(22)【出願日】2019-03-28
(65)【公開番号】P2020165694
(43)【公開日】2020-10-08
【審査請求日】2021-03-29
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(74)【代理人】
【識別番号】100076428
【弁理士】
【氏名又は名称】大塚 康徳
(74)【代理人】
【識別番号】100115071
【弁理士】
【氏名又は名称】大塚 康弘
(74)【代理人】
【識別番号】100112508
【弁理士】
【氏名又は名称】高柳 司郎
(74)【代理人】
【識別番号】100116894
【弁理士】
【氏名又は名称】木村 秀二
(74)【代理人】
【識別番号】100134175
【弁理士】
【氏名又は名称】永川 行光
(74)【代理人】
【識別番号】100166648
【弁理士】
【氏名又は名称】鎗田 伸宜
(72)【発明者】
【氏名】新谷 秀和
(72)【発明者】
【氏名】相沢 直秀
(72)【発明者】
【氏名】小関 真冬
(72)【発明者】
【氏名】石川 敬明
【審査官】上野 博史
(56)【参考文献】
【文献】国際公開第２０１１／００７３８６（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１７９２８５（ＷＯ，Ａ１）
【文献】特開２０１０－２１０２７１（ＪＰ，Ａ）
【文献】特開２００４－２９４４３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ２１／００－２１／３６
２３／００－２５／００
Ｇ０８Ｇ １／００－９９／００
Ａ６１Ｂ ５／０６－５／２２
Ｇ０９Ｂ ２３／００－２９／１４
(57)【特許請求の範囲】
【請求項1】
車両の経路計画を生成する生成手段と、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する制御手段と、
前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを監視する監視手段と、
前記監視手段により監視される前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つが、前記生成手段により生成された前記経路計画を変更するための第１の要因であるか、もしくは第２の要因であるかを判定する判定手段と、
を備え、
前記第１の要因は、前記第２の要因よりも優先度が高く、
前記制御手段は、前記第１の要因であると前記判定手段により判定された場合、前記搭乗者の操作を受け付けることなく、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御し、前記第２の要因であると前記判定手段により判定された場合、前記搭乗者の現在の状態を示す情報を受け付け、当該受け付けた情報に基づいて、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する、
ことを特徴とする制御装置。
【請求項2】
前記監視手段により監視される前記車両情報が条件を満たす場合、前記判定手段による判定が行われることを特徴とする請求項１に記載の制御装置。
【請求項3】
前記車両情報は、エネルギー関連情報を含むことを特徴とする請求項２に記載の制御装置。
【請求項4】
前記エネルギー関連情報は、燃料の残量、車載電池の残容量、の少なくともいずれかを含み、前記エネルギー関連情報に基づいて前記車両が目的地まで到達できないと判定された場合、前記車両情報が前記条件を満たすとして、前記判定手段による判定が行われる、
ことを特徴とする請求項３に記載の制御装置。
【請求項5】
前記監視手段により監視される前記搭乗者の情報が条件を満たす場合、前記判定手段による判定が行われることを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
【請求項6】
前記搭乗者に関する画像データを用いて画像認識を行う画像認識手段と、前記搭乗者に関する音声データを用いて音声認識を行う音声認識手段と、をさらに備え、
前記搭乗者の情報は、前記画像認識手段による認識の結果から得られる搭乗者の画像情報、前記音声認識手段による認識の結果から得られる音声情報、生体情報、の少なくともいずれかを含むことを特徴とする請求項５に記載の制御装置。
【請求項7】
前記監視手段により監視される前記搭乗者の情報に基づき認識される前記搭乗者の体調が条件を満たす場合、前記判定手段による判定が行われることを特徴とする請求項５又は６に記載の制御装置。
【請求項8】
前記体調は、疲労状態、空腹、の少なくともいずれかを含むことを特徴とする請求項７に記載の制御装置。
【請求項9】
前記監視手段により監視される前記搭乗者の情報に基づき認識される前記搭乗者の挙動が条件を満たす場合、前記判定手段による判定が行われることを特徴とする請求項５乃至８のいずれか１項に記載の制御装置。
【請求項10】
前記搭乗者の挙動は、所定の感情に分類されて記憶されることを特徴とする請求項９に記載の制御装置。
【請求項11】
前記制御手段による前記車両の経路計画の変更の際に、前記搭乗者の情報に基づいて目的地までの経由地が追加されることを特徴とする請求項５乃至１０のいずれか１項に記載の制御装置。
【請求項12】
前記目的地までの経由地の追加においては、前記車両の給油もしくは給電が必要であると判断された場合、該給油もしくは給電が可能な経由地が追加されることを特徴とする請求項１１に記載の制御装置。
【請求項13】
前記監視手段により監視される前記環境に関する情報が条件を満たす場合、前記判定手段による判定が行われることを特徴とする請求項１乃至１２のいずれか１項に記載の制御装置。
【請求項14】
前記環境に関する情報は、交通情報、施設情報、天候情報、災害情報、の少なくともいずれかを含むことを特徴とする請求項１３に記載の制御装置。
【請求項15】
前記生成手段により生成された前記車両の経路計画上の目的地における前記搭乗者の行動予定を取得する取得手段と、前記目的地と前記目的地までの経由地との少なくとも一つに対応する前記環境に関する情報に基づき、前記行動予定の実現の可能性を判断する第１判断手段と、
を備えることを特徴とする請求項１３又は１４に記載の制御装置。
【請求項16】
前記第１判断手段により前記行動予定の実現の可能性が一定の閾値を下回ると判断された場合、前記搭乗者に他の目的地若しくは経由地の候補を通知する通知手段、をさらに備えることを特徴とする請求項１５に記載の制御装置。
【請求項17】
制御装置において実行される制御方法であって、前記制御装置が、車両の経路計画を生成する生成工程と、
前記制御装置が、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成工程において生成された前記車両の経路計画を変更するよう前記生成工程を制御する制御工程と、
前記制御装置が、前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを監視する監視工程と、
前記制御装置が、前記監視工程において監視される前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つが、前記生成工程において生成された前記経路計画を変更するための第１の要因であるか、もしくは第２の要因であるかを判定する判定工程と、
を有し、
前記第１の要因は、前記第２の要因よりも優先度が高く、
前記制御工程では、前記第１の要因であると前記判定工程において判定された場合、前記搭乗者の操作を受け付けることなく、前記生成工程において生成された前記車両の経路計画を変更するよう前記生成工程を制御し、前記第２の要因であると前記判定工程において判定された場合、前記搭乗者の現在の状態を示す情報を受け付け、当該受け付けた情報に基づいて、前記生成工程において生成された前記車両の経路計画を変更するよう前記生成工程を制御する、
ことを特徴とする制御方法。
【請求項18】
車両の経路計画を生成する生成手段、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する制御手段、
前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを監視する監視手段、
前記監視手段により監視される前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つが、前記生成手段により生成された前記経路計画を変更するための第１の要因であるか、もしくは第２の要因であるかを判定する判定手段、
としてコンピュータを機能させ、
前記第１の要因は、前記第２の要因よりも優先度が高く、
前記制御手段は、前記第１の要因であると前記判定手段により判定された場合、前記搭乗者の操作を受け付けることなく、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御し、前記第２の要因であると前記判定手段により判定された場合、前記搭乗者の現在の状態を示す情報を受け付け、当該受け付けた情報に基づいて、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両の走行経路を生成可能な制御装置、制御方法およびプログラムに関する。
【背景技術】
【0002】
近年では、車両の乗員の生体情報や意向や特性を用いた経路生成システムが知られている。特許文献１には、乗員の複数種類の生体情報を検出して乗員の感情変化の推移を記憶する構成が記載されている。特許文献２には、運転者の過去の意向、過去の傾向または過去の固有の特性等に適合した推奨経路を決定することができる経路処理装置が記載されている。特許文献３には、運転時の個々人の休憩特性を学習し、その休憩特性を利用することにより、休憩時間の取得を加味した余裕のある所要時間計算を行うナビゲーション装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－１３７２０１号公報
【文献】特開２０１８－７７２０７号公報
【文献】特開平１１－６７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、目的地への走行において起こり得る様々な事象に応じて、経路を柔軟に変更する構成については改善の余地がある。
【0005】
本発明は、目的地への走行において生じる要因に応じて、経路を柔軟に変更する制御装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る制御装置は、車両の経路計画を生成する生成手段と、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する制御手段と、前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを監視する監視手段と、前記監視手段により監視される前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つが、前記生成手段により生成された前記経路計画を変更するための第１の要因であるか、もしくは第２の要因であるかを判定する判定手段と、を備え、前記第１の要因は、前記第２の要因よりも優先度が高く、前記制御手段は、前記第１の要因であると前記判定手段により判定された場合、前記搭乗者の操作を受け付けることなく、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御し、前記第２の要因であると前記判定手段により判定された場合、前記搭乗者の現在の状態を示す情報を受け付け、当該受け付けた情報に基づいて、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する、ことを特徴とする。
【0007】
本発明に係る制御方法は、制御装置において実行される制御方法であって、車両の経路計画を生成する生成工程と、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成工程において生成された前記車両の経路計画を変更するよう前記生成工程を制御する制御工程と、前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを監視する監視工程と、前記監視工程において監視される前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つが、前記生成工程において生成された前記経路計画を変更するための第１の要因であるか、もしくは第２の要因であるかを判定する判定工程と、を有し、前記第１の要因は、前記第２の要因よりも優先度が高く、前記制御工程では、前記第１の要因であると前記判定工程において判定された場合、前記搭乗者の操作を受け付けることなく、前記生成工程において生成された前記車両の経路計画を変更するよう前記生成工程を制御し、前記第２の要因であると前記判定工程において判定された場合、前記搭乗者の現在の状態を示す情報を受け付け、当該受け付けた情報に基づいて、前記生成工程において生成された前記車両の経路計画を変更するよう前記生成工程を制御する、ことを特徴とする。
【0008】
本発明に係るプログラムは、車両の経路計画を生成する生成手段、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する制御手段、前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを監視する監視手段、前記監視手段により監視される前記車両の車両情報、前記搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つが、前記生成手段により生成された前記経路計画を変更するための第１の要因であるか、もしくは第２の要因であるかを判定する判定手段、としてコンピュータを機能させ、前記第１の要因は、前記第２の要因よりも優先度が高く、前記制御手段は、前記第１の要因であると前記判定手段により判定された場合、前記搭乗者の操作を受け付けることなく、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御し、前記第２の要因であると前記判定手段により判定された場合、前記搭乗者の現在の状態を示す情報を受け付け、当該受け付けた情報に基づいて、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する、ことを特徴とする。
【発明の効果】
【0009】
本発明によれば、目的地への走行において生じる要因に応じて、経路を柔軟に変更することができる。
【図面の簡単な説明】
【0010】
【図1】ナビゲーションシステムの構成を示す図である。
【図2】車両用制御装置の構成を示す図である。
【図3】制御ユニットの機能ブロックを示す図である。
【図4】サーバの構成を示す図である。
【図5】ナビゲーションシステムの処理を示すフローチャートである。
【図6】経路変更の処理を示すフローチャートである。
【図7】スポットの評価の処理を示すフローチャートである。
【図8】発話内容を監視する処理を示すフローチャートである。
【図9】車内画像を監視する処理を示すフローチャートである。
【図10】車両情報、交通情報、環境情報を監視する処理を示すフローチャートである。
【図11】搭乗者の状態を監視する処理を示すフローチャートである。
【図12】経路候補の生成の処理を示すフローチャートである。
【図13】メッセージを通知するための画面を示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【0012】
図１は、本実施形態におけるナビゲーションシステム１００の構成を示す図である。図１に示すように、ナビゲーションシステム１００は、サーバ１０１と、基地局１０３と、車両１０４とを含む。サーバ１０１は、本実施形態のナビゲーションサービスを車両１０４に提供可能なサーバであり、車両１０４に対してナビゲーション機能を提供する。車両１０４は、サーバ１０１とネットワーク１０２を介して通信可能であり、サーバ１０１からのナビゲーションサービスを享受する。
【0013】
基地局１０３は、例えばサーバ１０１がナビゲーションサービスを提供可能な領域内に設けられた基地局であり、車両１０４と相互に通信可能である。また、サーバ１０１は、有線もしくは無線、もしくはそれらが混在されたネットワーク１０２を介して基地局１０３と相互に通信可能に構成されている。そのような構成により、例えば、車両１０４は、ＧＰＳ位置情報等の車両情報をサーバ１０１に送信可能であり、サーバ１０１は、車両１０４に対してナビゲーション画面データなどを送信可能である。また、サーバ１０１及び車両１０４は、図１に示すネットワーク１０２以外のネットワークにも接続可能であり、例えば、インターネットに接続することができる。また、サーバ１０１は、予め登録されたユーザ（車両１０４の搭乗者に対応）のＷｅｂ検索結果やＳＮＳ情報を取得し、スケジュール情報やそのユーザの検索傾向など（好み）を取得可能である。
【0014】
ナビゲーションシステム１００は、図１に示す以外の構成を含んでも良く、例えば、道路沿いに設けられた路側機がネットワーク１０２に接続されていても良い。そのような路側機は、例えばＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、車両１０４との路車間通信が可能であり、車両１０４の車両情報をサーバ１０１に転送するために用いられる場合や、路面の状態情報（地割れなど）を、サーバ１０１に送信するために用いられる場合がある。
【0015】
図１では、サーバ１０１は、１台のみ示されているが、複数の装置により構成されても良い。また、図１では、車両１０４は、２つのみ示されているが、サーバ１０１がナビゲーションサービスを提供可能であれば、特に図示される数に限定されるものではない。
【0016】
図２は、本発明の一実施形態に係る車両用制御装置（走行制御装置）のブロック図であり、車両１を制御する。図２の車両１は、図１の車両１０４に対応する。図２において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。
【0017】
図２の走行制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。
【0018】
以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。
【0019】
ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。
【0020】
ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は、操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。
【0021】
ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析により、例えば、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。
【0022】
検知ユニット４２は、Light Detection and Ranging（LIDAR）であり、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、検知ユニット４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。
【0023】
ＥＣＵ２２は、一方のカメラ４１と、各検知ユニット４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラやレーダ等、種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。
【0024】
ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は、車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報、気象情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は、現在地から目的地へのルート探索等を行う。なお、データベース２４ａには、上記の交通情報や気象情報などのデータベースが構築されても良い。
【0025】
ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。通信装置２５ａは、各種の通信機能を有し、例えば、専用狭域通信（ＤＳＲＣ：Dedicated Short Range Communication）機能やセルラー通信機能を有する。通信装置２５ａは、送受信アンテナを含むＴＣＵ（Telematics Communication Unit）として構成されても良い。
【0026】
ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は、車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。
【0027】
ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図２の例の場合、方向指示器８は、車両１の前部、ドアミラーおよび後部に設けられている。
【0028】
ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は、運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は、運転者に対して音声により情報を報知する。表示装置９２は、運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席正面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。また、表示装置９２は、ナビゲーション装置を含んでも良い。
【0029】
入力装置９３は、運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、マイク等の音声入力装置も含まれてもよい。
【0030】
ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は、例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは、車両１の停止状態を維持するために作動することができる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。
【0031】
ＥＣＵ２０が実行する車両１の自動運転に関わる制御について説明する。ＥＣＵ２０は、運転者により目的地と自動運転が指示されると、ＥＣＵ２４により探索された案内ルートにしたがって、目的地へ向けて車両１の走行を自動制御する。自動制御の際、ＥＣＵ２０はＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得して認識を行い、取得した情報及び認識結果に基づきＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、加減速を制御する。
【0032】
図３は、制御ユニット２の機能ブロックを示す図である。制御部２００は、図２の制御ユニット２に対応し、外界認識部２０１、自己位置認識部２０２、車内認識部２０３、行動計画部２０４、駆動制御部２０５、デバイス制御部２０６を含む。各ブロックは、図２に示す１つのＥＣＵ、若しくは、複数のＥＣＵにより実現される。
【0033】
外界認識部２０１は、外界認識用カメラ２０７及び外界認識用センサ２０８からの信号に基づいて、車両１の外界情報を認識する。ここで、外界認識用カメラ２０７は、例えば図２のカメラ４１であり、外界認識用センサ２０８は、例えば図２の検知ユニット４２、４３である。外界認識部２０１は、外界認識用カメラ２０７及び外界認識用センサ２０８からの信号に基づいて、例えば、交差点や踏切、トンネル等のシーン、路肩等のフリースペース、他車両の挙動（速度や進行方向等）を認識する。自己位置認識部２０２は、ＧＰＳセンサ２１１からの信号に基づいて車両１の現在位置を認識する。ここで、ＧＰＳセンサ２１１は、例えば、図２のＧＰＳセンサ２４ｂに対応する。
【0034】
車内認識部２０３は、車内認識用カメラ２０９及び車内認識用センサ２１０からの信号に基づいて、車両１の搭乗者を識別し、また、搭乗者の状態を認識する。車内認識用カメラ２０９は、例えば、車両１の車内の表示装置９２上に設置された近赤外カメラであり、例えば、撮影された画像データから搭乗者の視線の方向を検出する。また、車内認識用センサ２１０は、例えば、搭乗者の生体信号を検知し生体情報を取得するためのセンサである。生体情報とは、例えば、脈拍、心拍数、体重、体温、血圧、発汗といった生体に関わる情報である。車内認識用センサ２１０は、そのような生体に関わる情報を例えば搭乗者のウエアラブルデバイスから取得するようにしても良い。車内認識部２０３は、それらの信号に基づいて、搭乗者の居眠り状態、運転以外の作業中の状態、であることなどを認識する。
【0035】
行動計画部２０４は、外界認識部２０１、自己位置認識部２０２による認識の結果に基づいて、最適経路、リスク回避経路など、車両１の行動を計画する。行動計画部２０４は、例えば、交差点や踏切等の開始点や終点に基づく進入判定、他車両の挙動の予測結果に基づく行動計画を行う。駆動制御部２０５は、行動計画部２０４による行動計画に基づいて、駆動力出力装置２１２、ステアリング装置２１３、ブレーキ装置２１４を制御する。ここで、駆動力出力装置２１２は、例えば、図２のパワープラント６に対応し、ステアリング装置２１３は、図２の電動パワーステアリング装置３に対応し、ブレーキ装置２１４は、ブレーキ装置１０に対応する。
【0036】
デバイス制御部２０６は、制御部２００に接続されるデバイスを制御する。例えば、デバイス制御部２０６は、スピーカ２１５、マイク２１６を制御し、警告やナビゲーションのためのメッセージ等、所定の音声メッセージを出力させ、車両内の搭乗者が発話した音声信号を検知し音声データを取得する。また、例えば、デバイス制御部２０６は、表示装置２１７を制御し、所定のインタフェース画面を表示させる。表示装置２１７は、例えば表示装置９２に対応する。また、例えば、デバイス制御部２０６は、ナビゲーション装置２１８を制御し、ナビゲーション装置２１８での設定情報を取得する。
【0037】
制御部２００は、図３に示す以外の機能ブロックを適宜含んでも良く、例えば、通信装置２４ｃを介して取得した地図情報に基づいて目的地までの最適経路を算出する最適経路算出部を含んでも良い。また、制御部２００が、図３に示すカメラやセンサ以外から情報を取得しても良く、例えば、通信装置２５ａを介して他の車両の情報を取得するようにしても良い。また、制御部２００は、ＧＰＳセンサ２１１だけでなく、車両１に設けられた各種センサからの検知信号を受信する。例えば、制御部２００は、車両１のドア部に設けられたドアの開閉センサやドアロックの機構センサの検知信号を、ドア部に構成されたＥＣＵを介して受信する。それにより、制御部２００は、ドアのロック解除や、ドアの開閉動作を検知することができる。
【0038】
図４は、サーバ１０１のブロック構成を示す図である。制御部３００は、ＣＰＵやＧＰＵ、ＲＯＭやＲＡＭ等のメモリを含むコントローラであり、サーバ１０１を統括的に制御する。サーバ１０１は、本発明を実行するコンピュータとなり得る。また、本実施形態では、制御装置の一例となり得るサーバ１０１の構成の少なくとも一部、若しくはサーバ１０１の構成が車両１０４に含まれるようにしても良い。即ち、制御装置としての構成は、車両１０４の内部に構成されても良いし、車両１０４の外部に構成されても良いし、車両１０４の外部と内部の両方に分散され協働するように構成されても良い。例えば、ＣＰＵとしてのプロセッサ３０１は、ＲＯＭに記憶された制御プログラムをＲＡＭにロードして実行することにより、本実施形態の動作を実現する。制御部３００内のブロックは、例えば、ＧＰＵを含んで構成されても良い。表示部３２５は、例えば、ディスプレイであって、各種ユーザインタフェース画面を表示する。操作部３２６は、例えば、キーボードやポインティングデバイスであって、ユーザ操作を受け付ける。通信インタフェース（Ｉ／Ｆ）３２７は、ネットワーク１０２との通信を可能にするためのインタフェースである。例えば、サーバ１０１は、通信Ｉ／Ｆ３２７を介して、車両１０４から後述するような各種のデータを取得可能である。
【0039】
プロセッサ３０１は、例えばメモリ３０２に記憶されたプログラムを実行することにより、制御部３００内の各ブロックを統括的に制御する。例えば、プロセッサ３０１は、車両１０４からの以下の各種のデータを取得するよう制御し、取得後、対応するブロックに対してその解析を指示する。通信部３０３は、外部との通信を制御する。外部とは、ネットワーク１０２のみならず、他のネットワークも含む。通信部３０３は、例えば、ネットワーク１０２に接続された車両１０４や他の装置、インターネットや携帯電話システム等の他のネットワークに接続された他のサーバとも通信可能である。
【0040】
車両情報解析部３０４は、車両１０４からの車両情報、例えば、ＧＰＳ位置情報、速度情報を取得して挙動を解析する。音声認識部３０５は、車両１０４の搭乗者が発話した音声信号が変換されて送信された音声データに基づいて音声認識処理を行う。例えば、音声認識部３０５は、車両１０４の搭乗者が発話したワードを喜怒哀楽等の感情に分類し、その分類結果を車両情報解析部３０４による解析結果（車両１０４の位置、時刻等）と関連付けてユーザ情報３１９の音声認識結果３２０（音声情報）として保存する。本実施形態において、搭乗者とは、車両１０４の運転者、運転者以外の乗員を含むものとする。画像認識部３０６は、車両１０４内で撮影された画像データに基づいて画像認識処理を行う。ここで、画像とは、静止画像、動画像を含む。例えば、画像認識部３０６は、車両１０４の搭乗者の顔画像から笑顔を認識し、その認識結果を車両情報解析部３０４による解析結果（車両１０４の位置、時刻等）と関連付けてユーザ情報３１９の画像認識結果３２１（画像情報）として保存する。
【0041】
状態情報解析部３０７は、車両１０４の搭乗者の状態情報を解析する。ここで、状態情報とは、脈拍、心拍数、体重等の生体情報を含む。また、状態情報は、車両１０４の搭乗者が飲食を行った時刻や、トイレに行った時刻についての情報を含む。例えば、状態情報解析部３０７は、車両１０４の搭乗者の心拍数を車両情報解析部３０４による解析結果（車両１０４の位置、時刻等）と関連付けてユーザ情報３１９の状態情報３２２として保存する。また、例えば、状態情報解析部３０７は、状態情報３２２に対して各種の解析を行い、例えば、心拍数の単位時間当たりの上昇率が閾値以上であることを検出可能である。
【0042】
ユーザ情報解析部３０８は、記憶部３１４に記憶されたユーザ情報３１９に対して各種の解析を行う。例えば、ユーザ情報解析部３０８は、ユーザ情報３１９の音声認識結果３２０及び画像認識結果３２１に基づいて、車両１０４の走行経路付近（例えば、海辺の車道）や車両１０４が訪れた場所（目的地や経由地など）について搭乗者から発話の内容を取得したり、会話のトーンやテンポ、搭乗者の表情などから搭乗者の感情を分析する。また、例えば、ユーザ情報解析部３０８は、車両１０４の走行経路付近や車両１０４が訪れた場所について搭乗者が発話した内容と、その際の音声認識結果３２０及び画像認識結果３２１から取得される感情とから、訪れた若しくは走行した場所に満足しているなどといったユーザの好み（嗜好の傾向）を分析する。ユーザ情報解析部３０８による解析結果は、ユーザ情報３１９として格納され、例えば、目的地の選定や本ナビゲーションサービスの終了後の学習に用いられる。
【0043】
経路生成部３０９は、車両１０４の走行のための経路を生成する。ナビゲーション情報生成部３１０は、経路生成部３０９により生成された経路に基づいて、車両１０４のナビゲーション装置２１８に表示するためのナビゲーション表示データを生成する。例えば、経路生成部３０９は、車両１０４から取得した目的地に基づいて、現在地点から目的地までの経路を生成する。本実施形態では、例えば、出発地において、目的地がナビゲーション装置２１８で入力されると、車両１０４の搭乗者の好みが反映された、例えば、海沿いを通る経路が生成される。また、例えば、目的地に向かっている途中で、渋滞等により目的地まで間に合わないことが推測される場合、代わりの目的地までの経路が生成される。また、例えば、目的地に向かっている途中で車両１０４の搭乗者の疲労状態が認識された場合、休憩地を探索し、その休憩地までの経路が生成される。
【0044】
地図情報３１１は、道路網や道路に関連する施設等の情報であり、例えば、ナビゲーション機能等に用いられる地図データベースが用いられても良い。交通情報３１２は、交通に関する情報であり、例えば、渋滞情報や、工事やイベント等による交通規制情報である。環境情報３１３は、環境に関する情報であり、例えば、気象情報（気温、湿度、天候、風速、濃霧や降雨、降雪等による視界情報、災害情報など）である。また、環境情報３１３は、施設等に関する属性情報も含む。例えば、そのような属性情報としては、インターネット等で公開され得る、遊園地等の娯楽施設の現在の入場者数や、天候による急な閉園情報である。地図情報３１１、交通情報３１２、環境情報３１３は、例えば、ネットワーク１０２に接続された他のサーバから取得するようにしても良い。
【0045】
記憶部３１４は、サーバ１０１が動作するために必要なプログラムやデータを記憶するための記憶領域である。また、記憶部３１４は、車両１０４から取得した車両情報や、車両１０４の搭乗者から取得したユーザ情報とに基づいてデータベース３１５を構成する。
【0046】
データベース３１５は、車両１０４に関する情報と、その車両１０４の搭乗者に関する情報とをセットとしたデータベースである。つまり、ナビゲーションシステム１００において、ある車両１０４が出発地から目的地まで走行すると、その車両１０４に関する情報と、その車両１０４の搭乗者に関する情報とがセットとしてデータベース３１５に格納される。つまり、データベース３１５には、ある車両１０４についての車両情報３１６及びユーザ情報３１９のセット、他の車両１０４についての車両情報３２３及びユーザ情報３２４のセット、というように、複数組のセットが含まれる。また、同じ搭乗者が別日に車両１０４を走行した場合でも、別々の組のセットとして保存される。
【0047】
車両情報３１６は、走行情報３１７、エネルギー関連情報３１８を含む。走行情報３１７は、例えば、車両１０４のＧＰＳ位置情報、速度情報であり、エネルギー関連情報３１８は、車両１０４の燃料の残量、車載電池の残容量である。ユーザ情報３１９は、上述した音声認識結果３２０、画像認識結果３２１、状態情報３２２を含む。また、ユーザ情報解析部３０８による解析結果もユーザ情報３１９として記憶される。車両情報３１６とユーザ情報３１９は、車両１０４が出発地から目的地まで走行している間、随時更新される。また、本ナビゲーションサービスの終了後においても、車両情報３１６及びユーザ情報３１９は、データベース３１５に保持され、ユーザ情報解析部３０８による学習に用いられる。
【0048】
例えば、ナビゲーションサービスの終了後、ユーザ情報解析部３０８は、データベース３１５に保持された車両情報３１６及びユーザ情報３１９に基づいて、車両１０４の搭乗者の飲食を行った時刻や、トイレに行く頻度や間隔の傾向を学習する。そして、例えば、次回のナビゲーションサービスの実行時に、経路生成部３０９は、その学習結果を用いて経路を生成する。例えば、経路生成部３０９は、車両１０４の搭乗者の好みに合うような飲食店を、その搭乗者が飲食を行いたい時刻に経由することができるよう、目的地までの経路を生成する。また、搭乗者のトイレに行く頻度が比較的多いと学習された場合、経路生成部３０９は、次回のナビゲーションサービスの実行時に、目的地までの距離にかかる時間に応じて休憩地点を経由するよう最適化された経路を生成する。
【0049】
図５は、本実施形態におけるナビゲーションシステムの処理を示すフローチャートである。図５の処理は、例えば、制御部３００のプロセッサ３０１（例えばＣＰＵ）がＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより実現される。また、図５の処理は、車両１０４の搭乗者が出発地において車両１０４のナビゲーション装置２１７上で目的地を入力した際に開始される。
【0050】
Ｓ１０１において、制御部３００は、ナビゲーション装置２１８上で目的地の入力を受け付ける。なお、その際、目的地への希望到着時刻の入力を受け付けるようにする。また、複数個所を目的地とする場合には、複数の目的地およびそれらの希望到着時刻の入力をスケジュールとして受け付けるようにする。そして、Ｓ１０２において、制御部３００は、目的地までの経路候補を生成する。
【0051】
図１２は、経路候補（経路計画）の生成の処理を示すフローチャートである。例えば、車両１０４の搭乗者は、初めてナビゲーションシステム１００を利用するとする。その場合、サーバ１０１のデータベース３１５には、その搭乗者に対応する車両情報３１６及びユーザ情報３１９のセットは保持されていない。
【0052】
Ｓ８０１において、制御部３００は、地図情報３１１、交通情報３１２、環境情報３１３に基づいて、現在の車両１０１の位置（即ち、出発地）付近の地図情報、交通情報、環境情報を取得する。現時点では、サーバ１０１のデータベース３１５に、本例での搭乗者に対応する車両情報３１６及びユーザ情報３１９のセットは保持されていないので、Ｓ８０２～Ｓ８０４の処理はスキップする。
【0053】
Ｓ８０５において、制御部３００は、目的地に到着するまでの間に経由地が必要か否かを判定する。ここでは、Ｓ８０４の処理がスキップされているので、Ｓ８０５で経由地が必要でないと判定される。
【0054】
Ｓ８０７において、制御部３００は、Ｓ１０１で入力された目的地までの経路を生成する。その際、Ｓ８０１で取得した地図情報、交通情報、環境情報に基づいて、時間優先、移動のスムーズさを優先（例えば、渋滞がない、高速道路を使用、など）など、複数の優先基準を用いて、複数の経路候補を生成する。その後、図１２の処理を終了する。
【0055】
図１２の処理の終了後、図５のＳ１０３において、制御部３００は、ナビゲーション装置２１８上にＳ８０７で生成された複数の経路候補を表示する。Ｓ１０４において、制御部３００は、表示された複数の経路候補のうち搭乗者による選択を受け付ける。Ｓ１０５において、制御部３００は、選択された経路候補を車両１０４の経路として決定し、ガイダンスによる案内を開始する。
【0056】
Ｓ１０６において、制御部３００は、経路変更の要因が発生したか否かを判定する。以下、経路変更の要因の発生の判定について説明する。
【0057】
図８、図９、図１０、図１１は、経路変更の要因が発生したか否かを判定する処理を示すフローチャートである。図８～図１１は、車両１０４が本ナビゲーションサービスを享受している間、つまり、車両１０４が出発地から目的地に到着するまでの間、常時行われる。つまり、車両１０４は、車両情報の他、車内認識用カメラ２０９、車内認識用センサ２１０、マイク２１６、により得られるデータを常時、サーバ１０１に送信し、サーバ１０１の制御部３００は、送信されたそれらのデータを解析することにより、図８～図１１の処理を行う。
【0058】
図８は、サーバ１０１により行われる発話内容の監視の処理を示すフローチャートである。図８の処理は、例えば、制御部３００のプロセッサ３０１（例えばＣＰＵ）がＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより実現される。
【0059】
Ｓ４０１において、制御部３００は、音声認識部３０５により、車両１０４から送信された音声データに基づいて音声認識処理を行う。Ｓ４０２において、制御部３００は、音声認識処理により認識された発話内容のうち、喜怒哀楽の感情と関連付けられた発話内容があるか否かを判定する。喜怒哀楽の感情と関連付けられた発話内容とは、例えば「うれしい」や「悲しい」といったワードであり、そのようなワードが認識された場合には、感情と関連付けられた発話内容があると判定される。一方、地名や事実のみで構成される場合、例えば「ここは、１番地」や「右に曲がって」等の発話内容であれば、感情と関連付けられた発話内容がないと判定される。感情と関連付けられた発話内容があると判定された場合、Ｓ４０３に進み、制御部３００は、発話内容を所定の各感情に分類し、Ｓ４０４において、記憶部３１４にユーザ情報３１９の音声認識結果３２０として保存する。その際、音声認識結果３２０は、例えば「（車両１０４の位置＝緯度Ｘ、経度Ｙ），（時刻＝１０：３０），感情分類Ａ（喜の感情を識別する記号）」のように、車両情報と関連づけて保存される。そのような構成により、車両１０４が走行していた領域に対応させてその搭乗者の感情情報を保存するので、例えば、海沿いの車道を走行しているときにはその搭乗者は楽しい気分となっていることを記憶することができる。Ｓ４０２で感情と関連付けられた発話内容がないと判定された場合、Ｓ４０１からの処理を繰り返す。
【0060】
Ｓ４０５において、制御部３００は、音声認識処理により認識された発話内容から、体調不良を表す発話内容を検出したか否かを判定する。ここで、体調不良を表す発話内容とは、例えば「痛い」や「苦しい」といったワード（若しくはフレーズやセンテンス）である。体調不良を表す発話内容を検出したと判定された場合には、Ｓ４０９に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図８では、Ｓ４０１からの処理が繰り返される。Ｓ４０５で体調不良を表す発話内容を検出していないと判定された場合には、Ｓ４０６に進む。
【0061】
Ｓ４０６において、制御部３００は、音声認識処理により認識された発話内容から、空腹、喉の渇きを表す発話内容を検出したか否かを判定する。ここで、空腹、喉の渇きを表す発話内容とは、例えば「喉が渇いた」や「お腹が空いた」といったワード（若しくはフレーズやセンテンス）である。空腹、喉の渇きを表す発話内容を検出したと判定された場合には、Ｓ４０９に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図８では、Ｓ４０１からの処理が繰り返される。Ｓ４０６で空腹、喉の渇きを表す発話内容を検出していないと判定された場合には、Ｓ４０７に進む。
【0062】
Ｓ４０７において、制御部３００は、音声認識処理により認識された発話内容から、生理現象を表す発話内容を検出したか否かを判定する。ここで、生理現象を表す発話内容とは、例えば「トイレ」といったワード（若しくはフレーズやセンテンス）である。生理現象を表す発話内容を検出したと判定された場合には、Ｓ４０９に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図８では、Ｓ４０１からの処理が繰り返される。Ｓ４０７で生理現象を表す発話内容を検出していないと判定された場合には、Ｓ４０８に進む。
【0063】
Ｓ４０８において、制御部３００は、音声認識処理により認識された発話内容から、目的地について疑問を表す発話内容を検出したか否かを判定する。ここで、目的地について疑問を表す発話内容とは、「Ａ遊園地」「行く」「止める」等、目的地を否定するようなワード（若しくはフレーズやセンテンス）である。Ｓ４０８では、制御部３００は、例えば、目的地を表すワードと否定を意味するワードとの組み合わせの頻度、音声のトーン、に基づいて判定する。目的地について疑問を表す発話内容を検出したと判定された場合には、目的地に行くことの満足度が低いと判断し、Ｓ４０９に進み、制御部３００は、経路変更の要因が発生したと判定する。また、音声のトーンやボリューム、テンポから搭乗者間のトラブルであると判定された場合にも、目的地に行くことの満足度が低いと判断し、経路変更の要因が発生したと判定する。経路変更の要因が発生したと判定された場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図８では、Ｓ４０１からの処理が繰り返される。Ｓ４０８で目的地について疑問を表す発話内容を検出していないと判定された場合には、Ｓ４０１からの処理が繰り返される。
【0064】
図８の処理によれば、車両１０４の車内で発話された内容に基づいて、車両１０４が走行している経路情報と合わせて搭乗者の感情情報を保存することができる。さらに、車両１０４の車内で発話された内容に基づいて、体調不良や生理現象、搭乗者間のトラブルなど、目的地までの経路を変更せざるおえない要因が発生した場合には、経路変更の要因が発生したと判断することができる。なお、Ｓ４０５～Ｓ４０８の処理については、優先度を付与し、その優先度に従って、各判定を順に行っていく。例えば、Ｓ４０５～Ｓ４０８の処理のうち、Ｓ４０５の体調不良の判定が最も優先度が高いので、４つの判定処理のうちでは最も先に行われることになる。また、最も優先度が高い処理ほど、その判定基準を厳しく（若しくはゆるやか）するようにしても良い。例えば、Ｓ４０８では、上記のようなワードの組み合わせの検出のみで判定を行うようにする一方、Ｓ４０５では、ワード検出のみならず、そのトーン、間、テンポといった複数の要素を用いて判定を行うようにしても良い。経路変更の要因を判定するための処理は、Ｓ４０５～Ｓ４０８に限られず、他の判定処理が行われても良い。また、それらの優先順位は変更可能なように構成されても良い。
【0065】
図９は、サーバ１０１により行われる車内画像の監視の処理を示すフローチャートである。図９の処理は、例えば、制御部３００のプロセッサ３０１（例えばＣＰＵ）がＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより実現される。
【0066】
Ｓ５０１において、制御部３００は、画像認識部３０５により、車両１０４から送信された画像データに基づいて画像認識処理を行う。Ｓ５０２において、制御部３００は、画像認識処理による認識結果のうち、所定の感情と関連付けられた認識結果を、記憶部３１４にユーザ情報３１９の画像認識結果３２１として保存する。その際、画像認識結果３２１は、例えば「（車両１０４の位置＝緯度Ｘ、経度Ｙ），（時刻＝１３：００），感情分類Ａ（喜の感情を識別する記号）」のように、車両情報と関連づけて保存される。
【0067】
例えば、Ｓ５０２では、笑顔判定が行われても良い。これは、喜怒哀楽のような感情の分類は、画像より音声の方が認識性が高いと考えられるため、Ｓ５０２では、感情の中でも特に認識性が高いと考えられる笑顔判定を行うようにしている。しかしながら、画像認識結果を所定の各感情に分類するようにしても良い。また、Ｓ５０２では、画像認識の結果、飲食が行われたことを認識した場合、その認識結果を、記憶部３１４にユーザ情報３１９の状態情報３２２として保存する。
【0068】
以降のＳ５０３～Ｓ５０９で、搭乗者の疲労状態が判定される。Ｓ５０３において、制御部３００は、画像認識処理により認識された画像内容のうち、ドライバの俯き状態が走行中で所定時間以上あったか否かを判定する。ドライバの俯き状態が走行中で所定時間以上あったと判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０３でドライバの俯き状態が走行中で所定時間以上なかったと判定された場合には、Ｓ５０４に進む。
【0069】
Ｓ５０４において、制御部３００は、画像認識処理により認識された画像内容から、急激な表情の変化（驚き等）を検出したか否かを判定する。急激な表情の変化を検出したと判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０４で急激な表情の変化を検出していないと判定された場合には、Ｓ５０５に進む。
【0070】
Ｓ５０５において、制御部３００は、画像認識処理により認識された画像内容から、あくびの頻度（単位時間内の回数）が閾値以上であるか否かを判定する。あくびの頻度が閾値以上であると判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０５であくびの頻度が閾値以上でないと判定された場合には、Ｓ５０６に進む。
【0071】
Ｓ５０６において、制御部３００は、画像認識処理により認識された画像内容から、瞬きの頻度（単位時間内の回数）が閾値以上であるか否かを判定する。瞬きの頻度が閾値以上であると判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０６で瞬きの頻度が閾値以上でないと判定された場合には、Ｓ５０７に進む。
【0072】
Ｓ５０７において、制御部３００は、画像認識処理により認識された画像内容から、瞼の開度が閾値以下の状態が所定時間以上であったか否かを判定する。瞼の開度が閾値以下の状態が所定時間以上であったと判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０７で瞼の開度が閾値以下の状態が所定時間以上でなかったと判定された場合には、Ｓ５０８に進む。
【0073】
Ｓ５０８において、制御部３００は、画像認識処理により認識された画像内容から、単位時間当たりの視線移動量が閾値以下であるか否かを判定する。単位時間当たりの視線移動量が閾値以下であると判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０８で単位時間当たりの視線移動量が閾値以下でないと判定された場合には、Ｓ５０９に進む。
【0074】
Ｓ５０９において、制御部３００は、画像認識処理により認識された画像内容から、ドリンクホルダに触る回数が閾値以上であるか否かを判定する。ドリンクホルダに触る回数が閾値以上であると判定された場合、Ｓ５１０に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図９では、Ｓ５０１からの処理が繰り返される。Ｓ５０９でドリンクホルダに触る回数が閾値以上でないと判定された場合、Ｓ５０１の処理が繰り返される。
【0075】
図９の処理によれば、車両１０４の車内で撮影された画像に基づいて、車両１０４が走行している経路情報と合わせて搭乗者の感情情報を保存することができる。さらに、車両１０４の車内で撮影された画像に基づいて、運転に関わる搭乗者の疲労状態を検出した場合には、経路変更の要因が発生したと判断することができる。なお、Ｓ５０３～Ｓ５０９の処理については、優先度を付与し、その優先度に従って、各判定を順に行っていく。例えば、Ｓ５０３～Ｓ５０９の処理のうち、Ｓ５０３のドライバの俯き状態の判定が最も運転動作に関わるので、優先度を最も高くし、７つの判定処理のうち、最も先に行われるようにする。運転に関わる搭乗者の疲労状態を検出するための判定処理は、Ｓ５０３～Ｓ５０９に限られず、他の判定処理が行われても良い。また、それらの優先順位は変更可能なように構成されても良い。
【0076】
図１０は、サーバ１０１により行われる車両情報、交通情報、環境情報の監視の処理を示すフローチャートである。図１０の処理は、例えば、制御部３００のプロセッサ３０１（例えばＣＰＵ）がＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより実現される。
【0077】
Ｓ６０１において、制御部３００は、車両情報解析部３０４により、車両１０４から車両情報を取得し、解析する。車両情報とは、例えば、ＧＰＳ位置情報や速度情報、燃料の残量や車載電池の残容量等のエネルギー関連情報である。Ｓ６０２において、制御部３００は、Ｓ６０１で受信した車両情報に基づいて、交通情報を取得する。例えば、制御部３００は、交通情報３１２から、車両１０４の位置周辺の渋滞情報を取得する。Ｓ６０３において、制御部３００は、Ｓ６０１で受信した車両情報に基づいて、環境情報を取得する。例えば、制御部３００は、環境情報３１３から、目的地である遊園地の営業時間情報を取得する。
【0078】
Ｓ６０４において、制御部３００は、Ｓ６０１で解析した結果、車両情報が経路変更の要因になるかを判定する。受信した車両情報によれば、目的地までの到着ができない、もしくはスケジュール通りの到着ができない場合に、経路変更の要因になると判定する。例えば、車両１０４の車載電池の残容量が、目的地まで必要な容量に達していない場合、経路変更の要因になると判定する。経路変更の要因になると判定された場合、Ｓ６０８に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１０では、Ｓ６０１からの処理が繰り返される。Ｓ６０４で経路変更の要因にならないと判定された場合には、Ｓ６０５に進む。
【0079】
Ｓ６０５において、制御部３００は、Ｓ６０２で取得された交通情報が経路変更の要因になるか否かを判定する。取得した交通情報によれば、目的地までの到着ができない、もしくはスケジュール通りの到着ができない場合に、経路変更の要因になると判定する。例えば、目的地までの経路で渋滞が発生している場合、経路変更の要因になると判定する。経路変更の要因になると判定された場合、Ｓ６０８に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１０では、Ｓ６０１からの処理が繰り返される。Ｓ６０５で経路変更の要因にならないと判定された場合には、Ｓ６０６に進む。
【0080】
Ｓ６０６において、制御部３００は、Ｓ６０３で取得された環境情報が経路変更の要因になるか否かを判定する。取得した環境情報によれば、目的地までの到着ができない、もしくはスケジュール通りの到着ができない場合に、経路変更の要因になると判定する。例えば、目的地である遊園地が休業している場合、経路変更の要因になると判定する。経路変更の要因になると判定された場合、Ｓ６０８に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１０では、Ｓ６０１からの処理が繰り返される。Ｓ６０６で経路変更の要因にならないと判定された場合には、Ｓ６０７に進む。
【0081】
若しくは、Ｓ６０６の判定は、目的地の情報やカテゴリに応じて判定しても良い。例えば、目的地が遊園地等の娯楽施設や、屋外やオープン型の施設である場合、天候が雨であれば、経路変更の要因になると判定しても良い。若しくは、Ｓ６０６の判定は、目的地から得られる搭乗者の行動予定の実現の可能性に基づいて行われても良い。例えば、制御部３００は、ＳＮＳ情報などからその搭乗者のスケジュール情報を取得し、ビジネス目的、娯楽目的といった目的情報を取得する。例えば、目的地が遊園地且つビジネス目的であり、目的地へスケジュール通りに到着可能であると判断した場合、天候が雨であっても、搭乗者の行動予定は実現可能であると判断する。一方、例えば、目的地が遊園地且つ娯楽目的であり、目的地へスケジュール通りに到着可能であると判断した場合に、天候が雨模様であれば、搭乗者の行動予定の実現の可能性は低いと判断する。その低さの程度は、例えば降水確率に基づいて、該可能性の閾値を決定するようにしても良い。
【0082】
Ｓ６０７において、制御部３００は、運転支援機能による支援量とドライバの操作量との差が所定の条件に合致するか否かを判定する。Ｓ６０７の処理は、ドライバの疲労度を推定するために行われる。例えば、制御部３００は、レーン・キープ・アシスト機能により車両１０４をレーン内に戻すようにステアリングされたにも関わらず、白線や黄線からはみ出すような操作が所定回数以上行われた場合、所定の条件に合致すると判定する。所定の条件に合致すると判定された場合、Ｓ６０８に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１０では、Ｓ６０１からの処理が繰り返される。Ｓ６０７で所定の条件に合致しないと判定された場合には、Ｓ６０１の処理が繰り返される。
【0083】
図１０の処理によれば、車両１０４の車両情報、交通情報、環境情報に基づいて、目的地までの到着が可能でない、もしくはスケジュール通りの到着ができない場合、経路変更の要因が発生したと判断することができる。また、車両情報に基づいてドライバが疲労していると推定される場合、経路変更の要因が発生したと判断することができる。なお、図１０における判定処理は、Ｓ６０４～Ｓ６０７に限られず、他の判定処理が行われても良い。
【0084】
図１１は、サーバ１０１により行われる搭乗者の状態を監視する処理を示すフローチャートである。図１１の処理は、例えば、制御部３００のプロセッサ３０１（例えばＣＰＵ）がＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより実現される。
【0085】
Ｓ７０１において、制御部３００は、状態情報解析部３０７により、車両１０４の搭乗者のユーザ情報３１９を取得し、解析する。ここで取得されるユーザ情報３１９とは、例えば、状態情報３２２として記憶された、車内もしくは休憩地で飲食を行った時刻情報である。また、取得されるユーザ情報３１９とは、例えば、状態情報３２２として記憶された、車両１０４の搭乗者の生体情報である。
【0086】
Ｓ７０２において、制御部３００は、Ｓ７０１でユーザ情報３１９が解析された結果、異常値を検出したか否かを判定する。例えば、脈拍値が閾値以上を超えた場合、異常値を検出したと判定する。異常値を検出したと判定された場合、Ｓ７０６に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１１では、Ｓ７０１からの処理が繰り返される。Ｓ７０２で異常値を検出していないと判定された場合には、Ｓ７０３に進む。
【0087】
Ｓ７０３において、制御部３００は、Ｓ７０１でユーザ情報３１９が解析された結果、急峻な変化を検出したか否かを判定する。例えば、心拍数の上昇変動が閾値以上である場合、急峻な変化を検出したと判定する。急峻な変化を検出したと判定された場合、Ｓ７０６に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１１では、Ｓ７０１からの処理が繰り返される。Ｓ７０３で急峻な変化を検出していないと判定された場合には、Ｓ７０４に進む。
【0088】
Ｓ７０４において、制御部３００は、Ｓ７０１でユーザ情報３１９が解析された結果、飲食のタイミングであるか否かを判定する。例えば、ユーザ情報３１９の状態情報３２２に基づいて、前回の飲食のタイミング（例えば、午前８：００）から所定時間（例えば４時間）が経過した場合、飲食のタイミングであると判定する。その際の所定時間については、一般的な任意の値であっても良いし、状態情報解析部３０７が従前に記憶された状態情報３２２の飲食のサイクルの傾向を学習することにより得られた値であっても良い。そのような学習においては、例えば、状態情報３２２に基づいて傾向として得られた飲食のサイクルを、音声認識結果３２０による発話内容に基づいて補正するようにしても良い。つまり、飲食のサイクルの学習結果を用いて経路生成したにも関わらず、搭乗者の発話内容から、その経路について否定するような内容が検出された場合には、サイクルを長くするもしくは短くするといった補正を行うようにしても良い。飲食のタイミングであると判定された場合、Ｓ７０６に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１１では、Ｓ７０１からの処理が繰り返される。Ｓ７０４で飲食のタイミングでないと判定された場合には、Ｓ７０５に進む。
【0089】
Ｓ７０５において、制御部３００は、Ｓ７０１でユーザ情報３１９が解析された結果、生理現象のタイミングであるか否かを判定する。例えば、ユーザ情報３１９の状態情報３２２に基づいて、前回のトイレ休憩のタイミングから所定時間が経過した場合、生理現象のタイミングであると判定する。その際の所定時間については、一般的な任意の値であっても良いし、状態情報解析部３０７が従前に記憶された状態情報３２２の生理現象のサイクルの傾向を学習することにより得られた値であっても良い。そのような学習においては、例えば、状態情報３２２に基づいて傾向として得られた生理現象のサイクルを、音声認識結果３２０による発話内容に基づいて補正するようにしても良い。つまり、生理現象のサイクルの学習結果を用いて経路生成したにも関わらず、搭乗者の発話内容から、その経路について否定するような内容が検出された場合には、サイクルを長くするもしくは短くするといった補正を行うようにしても良い。生理現象のタイミングであると判定された場合、Ｓ７０６に進み、制御部３００は、経路変更の要因が発生したと判定する。その場合、図５のＳ１０６では経路変更の要因が発生したと判定されてＳ１０９の処理が行われる一方、図１１では、Ｓ７０１からの処理が繰り返される。Ｓ７０５で生理現象のタイミングでないと判定された場合には、Ｓ７０１の処理が繰り返される。
【0090】
図１１の処理によれば、搭乗者の状態に異変が見受けられた場合、経路変更の要因が発生したと判断することができる。また、車両１０４の搭乗者の前回の飲食やトイレ休憩の時刻情報に基づいて、飲食やトイレ休憩のタイミングであると判定された場合、経路変更の要因が発生したと判断することができる。なお、図１１における判定処理は、Ｓ７０２～Ｓ７０５に限られず、他の判定処理が行われても良い。例えば、図８～図１０の処理では搭乗者の疲労度を検出できない場合があり得る。従って、車両１０４の走行開始後、疲労を感じ始めるとされる所定時間を経過したか否かを判定するようにし、所定時間を経過したと判定した場合には、経路変更の要因が発生したと判断するようにしても良い。
【0091】
図８～図１１の処理は、並列に常時行われるので、搭乗者が複数いる場合には経路変更の要因が複数発生し得る。例えば、ドライバについて図９のＳ５０３で俯き状態が検出されるとともに、図８で空腹、喉の渇きを表す発話を検出したような場合である。そのような場合、複数の要因間で優先順位を予め定めておく。優先順位は緊急性に応じたものでもよく、例えば、上記の例では、ドライバの俯き状態の検出を、空腹、喉の渇きを表す発話の検出よりも、優先度を高くする。
【0092】
再び、図５を参照する。Ｓ１０６で経路変更の要因が発生したと判定された場合には、Ｓ１０９の経路変更の処理が行われる。
【0093】
【0094】
Ｓ２０１において、制御部３００は、経路変更の要因が所定の要因を含むか否かを判定する。ここで、所定の要因とは、搭乗者の体調不良など、上述の優先度が所定のレベル以上であるものであり、例えば、図１１のＳ７０３で生体情報の急峻な変化を検出したと判定された場合である。Ｓ２０１で経路変更の要因が所定の要因を含むと判定された場合には、Ｓ２０２に進み、所定の要因を含まないと判定された場合には、図５のＳ１０２の処理が繰り返される。
【0095】
Ｓ２０１で所定の要因を含まないと判定された後、図５のＳ１０２に進むケースについて説明する。そのようなケースとしては、例えば、図８のＳ４０６で空腹、喉の渇きを表す発話を検出した場合である。そのようなケースは、経路変更の要因が発生したといっても緊急性はないケースである。その場合、本実施形態では、車両１０４の搭乗者の好みを反映した経路変更を行う。
【0096】
経路変更は、経路変更の発生の要因を解決するような経路変更が行われる。例えば、雨であれば、屋内の場所へ向かう経路が探索される。例えば、空腹、喉の渇きを表す発話を検出した場合には、飲食店へ向かう経路が探索される。また、例えば、搭乗者の疲労を検出した場合には、休憩が可能な場所、例えばサービスエリアへ向かう経路が探索される。また、例えば、図８のＳ４０８で目的地について疑問を表す発話を検出した場合には、規模や施設内容について類似性のある他の場所へ向かう経路が探索される。また、これらの複数種類の探索のいずれかを特定するために、図１３に示すような画面４００を車両１０４に表示させるようにしても良い。項目４０１には、出発地が表示され、項目４０２には、目的地が表示されている。マップ４０３内に、項目４０２の目的地に対応するマーク４０４が表示されている。また、マーク４０５は、車両１０４の現在位置である。
【0097】
そして、画面４００には、メッセージ４０６「経路変更の要因を検出しました。目的地を変更可能です。当てはまる項目をチェックしてください。」と表示される。項目４０７には、選択可能な複数の項目が表示され、車両１０４の搭乗者は、任意に選択することができる。その際、搭乗者は、複数の項目をチェックすることができる。経路変更の発生の要因を検出した場合には、図１３に示すような画面を表示させることにより、その発生の要因の確からしさを確認することができる。また、搭乗者は、項目４０８をチェックすることにより、経路変更しないことを選択することができる。キャンセルボタン４０９が押下されると、画面４００の設定内容をキャンセルし、ＯＫボタン４１０が押下されると、その設定内容をサーバ１０１に送信する。
【0098】
また、メッセージ４０６の代わりに、若しくは、メッセージ４０６とともに、経路変更の要因と対応する理由を表示するようにしても良い。例えば、図９のＳ５０５であくびの頻度が閾値以上と判定された場合で、所定時間内で飲食を行ったことが状態情報３２２で認識できた場合には、「眠気があるようです。休憩しますか？」といったメッセージを車両１０４に表示させるようにしても良い。そのような構成により、運転者に休憩の動機付けを与えることができる。
【0099】
【0100】
Ｓ８０１において、制御部３００は、地図情報３１１、交通情報３１２、環境情報３１３に基づいて、現在の車両１０１の位置付近の地図情報、交通情報、環境情報を取得する。Ｓ８０２において、制御部３００は、ユーザ情報３１９を取得する。ここで取得されるユーザ情報３１９としては、例えば、ユーザ情報解析部３０８により分析されたユーザの好みである。また、取得されるユーザ情報３１９としては、例えば、後述する図７のＳ３０６で行われるスポットの評価の結果である。ここで、スポットとは、車両１０４が従前に訪れた場所に関して、画像認識結果と音声認識結果から得られる搭乗者の評価情報である。スポットの評価については後述する。
【0101】
Ｓ８０３において、制御部３００は、Ｓ８０１で取得された地図情報、交通情報、環境情報、Ｓ８０２で取得されたユーザ情報３１９に基づいて、ヒートマップを生成する。本実施形態において、ヒートマップとは、ユーザの好みのスポットが表示可能な経路マップをいう。本実施形態では、ユーザ情報解析部３０８により分析された搭乗者の好みが反映される。例えば、ユーザ情報解析部３０８が音声認識結果３２０及び画像認識結果３２１を分析した好みと類似度が高い一般ユーザの好みの対象となる飲食店をインターネット上で検索する。また、例えば、車両１０４が従前に訪れた飲食店（スポット）が搭乗者にとって評価が高かった場合、その飲食店と料金体系や店内規模が類似する飲食店を検索する。制御部３００は、環境情報３１３に基づいて、営業していない飲食店を処理対象外としても良い。
【0102】
Ｓ８０４において、制御部３００は、経由地が必要であるか否かを判断する。Ｓ８０４の判断は、車両情報３１６、ユーザ情報３１９に基づいて行われる。例えば、経路変更の要因としてＳ４０８で目的地について疑問を表す発話を検出しており、その目的地の変更が搭乗者から画面４００上で選択されて経路変更する場合で、さらに、状態情報３２２として搭乗者の飲食タイミングが近い場合には、食事のための経由地が必要であると判断する。その場合、Ｓ８０６において、制御部３００は、地図情報３１１、交通情報３１２、環境情報３１３から飲食店の位置を取得し、Ｓ８０７において、搭乗者の飲食タイミングに搭乗者の好みに合う飲食店に到達可能なように経路を設定する。ここで、目的地がレストランであるなど、目的地に到着することで経路変更の要因を解決できる場合には、経由地が必要でないと判断するようにしても良い。
【0103】
また、制御部３００は、上記のように目的地の変更が搭乗者から画面４００上で選択されて経路変更する場合で、且つ、ユーザ情報３１９の状態情報３２２から生理現象のタイミングの頻度が高い場合には、トイレ休憩のための経由地が必要であると判断する。その場合、Ｓ８０６において、制御部３００は、地図情報３１１、交通情報３１２、環境情報３１３から休憩地の位置を取得し、Ｓ８０７において、経路を設定する。
【0104】
また、制御部３００は、上記のように目的地の変更が搭乗者から画面４００上で選択されて経路変更する場合で、且つ、車両情報３１６のエネルギー関連情報３１８から経路変更することで車載電池の残容量が閾値以下となる可能性がある場合には、エネルギーの補充のため充電ステーションを経由する必要があると判断する。その場合、Ｓ８０６において、制御部３００は、地図情報３１１、交通情報３１２、環境情報３１３から充電ステーションの位置を取得し、Ｓ８０７において、エネルギー関連情報３１８が示す残量に応じて経路を設定する。
【0105】
Ｓ８０７において、制御部３００は、Ｓ８０３で生成されたヒートマップとＳ８０６で経由地が取得されている場合にはその経由地とに基づいて、経路を生成する。その際、Ｓ８０１で取得した地図情報、交通情報、環境情報に基づいて、時間優先、移動のスムーズさを優先など、複数の優先基準を用いて、複数の経路候補を生成する。その後、図１２の処理を終了する。図１２の処理の後は、図５のＳ１０３において、制御部３００は、ナビゲーション装置２１８上にＳ８０７で生成された複数の経路候補を表示する。Ｓ１０４において、制御部３００は、表示された複数の経路候補のうち搭乗者による選択を受け付ける。Ｓ１０５において、制御部３００は、選択された経路候補を車両１０４の経路として決定し、ガイダンスによる案内を開始する。
【0106】
経由地が追加された場合のガイダンスでは、より走行経路についての情報を強調して通知するようにしても良い。例えば、「この経由地を逃すと、トイレ休憩できる経由地が５０ｋｍ先までないので、１時間以上休めなくなります。」といったメッセージを通知する。そのような構成により、追加された経由地で確実に休憩等の行動をとるよう促すことができる。
【0107】
このように、経路変更の要因が発生して経路変更を行う場合に、その要因に緊急性がない（優先度が低い）場合には、搭乗者の好みを反映するような経路変更を行うことができる。また、経路変更を行う場合に、経由地が必要であれば、経由地を追加した上で経路候補を生成することができる。
【0108】
Ｓ２０１で所定の要因を含むと判定された後、図６のＳ２０２に進むケースについて説明する。そのようなケースとしては、例えば、図１１のＳ７０２で生体情報の異常値を検出した場合である。そのようなケースは、経路変更の緊急性を要するケースである。その場合、まず、Ｓ２０２において、制御部３００は、目的地までの距離が閾値以上であるか否かを判定する。その閾値は、経路変更の要因によって設定するようにしても良い。例えば、生体情報に関する要因であれば数１０ｍといった短い距離とする。目的地までの距離が閾値以上でないと判定された場合、目的地まではわずかであるので、図５のＳ１０７に進み、目的地までのガイダンスによる案内を継続する。一方、目的地までの距離が閾値以上であると判定された場合、Ｓ２０３に進む。
【0109】
Ｓ２０３において、制御部３００は、経路変更の緊急度が閾値以上であるか否かを判定する。制御部３００は、発生した経路変更の要因の優先度に基づいて判定する。つまり、Ｓ２０１で経路変更の要因が所定の要因を含むと判定されたもの（緊急性ありと判定）を、Ｓ２０３の判定によりその緊急度を区別する。例えば、経路変更の要因が図９のＳ５０９で単位時間当たりの視線移動量が閾値以下であると判定された場合、その優先度に基づいて、Ｓ２０３で経路変更の緊急度が閾値以上でないと判定する。そして、Ｓ２１０において、制御部３００は、休憩の要否を問い合わせるメッセージを車両１０４の搭乗者に通知する。通知は、ナビゲーション装置２１８や表示装置２１７に表示されるものでも良いし、スピーカ２１５に音声出力されるものでも良い。その際のメッセージとしては、経路変更の要因に応じたものであり、例えば、図９のＳ５０９で単位時間当たりの視線移動量が閾値以下であると判定された場合、「疲れ気味のようです。休憩しますか？」のようなメッセージが通知される。そして、Ｓ２１１において、制御部３００は、車両１０４の搭乗者から休憩するとの指示を受け付けた旨を受信した場合、図５のＳ１０２に進み、上述したような図１２の経路候補の生成が行われる。その場合、例えば、従前に車両１０４が訪れた休憩スポットがある場合には、その休憩スポットの規模や内容に類似したスポットが検索される。
【0110】
このように、経路変更の要因が発生して経路変更を行う場合に、その要因に緊急性があると判定されたものの、その緊急度が閾値未満である場合には、搭乗者の好みを反映するような経路変更を行うことができる。
【0111】
また、Ｓ２０１で経路変更の要因が所定の要因を含まないと判定された場合に行われる図１２の処理と、Ｓ２１１で休憩するとの指示を受け付けた旨を受信した場合に行われる図１２の処理とで処理内容を異ならせても良い。例えば、後者の場合には、前者の場合よりも緊急性があるので、搭乗者の好みの反映の程度を前者の場合よりも小さくしても良い。例えば、搭乗者の好みに類似する休憩スポットが検索されない場合には、インターネット上で一般的に人気がある休憩スポットを検索するようにしても良い。
【0112】
Ｓ２１１で車両１０４の搭乗者から休憩しないとの指示を受け付けた旨を受信した場合、図５のＳ１０７に進み、目的地までのガイダンスによる案内を継続する。
【0113】
Ｓ２０３で経路変更の緊急度が閾値以上である場合、例えば、図１１のＳ７０２で生体情報の異常値を検出した場合には、Ｓ２０４に進み、制御部３００は、地図情報３１１、交通情報３１２、環境情報３１３を参照して、車両１０４の位置周辺の地図情報、交通情報、環境情報を取得する。例えば、制御部３００は、周辺の病院、充電ステーション等を検索する。そして、Ｓ２０５において、制御部３００は、経路変更が可能か否かを判定する。例えば、交通規制等があり、いずれの病院にも到着することができない場合には、例えば「車両での移動ができない可能性があります。電話等による連絡などを行ってください。」とのメッセージを車両１０４に送信し搭乗者に通知するようにし、その後、図６の処理を終了し、本ナビゲーションサービスを終了する。
【0114】
Ｓ２０５で経路変更が可能であると判定された場合、Ｓ２０７において、制御部３００は、ガイダンスによる案内を開始し、Ｓ２０８で目的地に到着したと判定されるまで、ガイダンスによる案内を継続する。Ｓ２０８で目的地に到着したと判定された場合、図６の処理を終了し、本ナビゲーションサービスを終了する。
【0115】
再び、図５を参照する。Ｓ１０６で経路変更の要因が発生していないと判定された場合、もしくは、Ｓ１０９の処理を経た場合、Ｓ１０７において、制御部３００は、車両１０４の車両情報に基づいて、目的地に到着したか否かを判定する。目的地に到着していないと判定された場合、Ｓ１０６の処理が繰り返される。一方、目的地に到着したと判定された場合、Ｓ１０８に進み、Ｓ１０１での入力に基づいて、次の目的地があるか否かを判定する。なお、ここで車両１０４の搭乗者に次の目的地があるか否かを問い合わせるようにしても良い。次の目的地がないと判定された場合、図５の処理を終了し、本ナビゲーションサービスを終了する。一方、次の目的地があると判定された場合、Ｓ１１０に進み、図１２の経路候補の生成が行われる。
【0116】
Ｓ１１１において、制御部３００は、ナビゲーション装置２１８上にＳ８０７で生成された複数の経路候補を表示する。Ｓ１１２において、制御部３００は、表示された複数の経路候補のうち搭乗者による選択を受け付け、選択された経路候補を車両１０４の経路として決定する。Ｓ１１３において、制御部３００は、車両１０４の走行開始を待機し、走行を開始したと判定された場合には、Ｓ１１４に進み、ガイダンスによる案内を開始する。Ｓ１１４の後、Ｓ１１５において、滞在場所の評価が行われる。
【0117】
図７は、Ｓ１１５の滞在場所の評価の処理を示すフローチャートである。図７の処理は、例えば、制御部３００のプロセッサ３０１（例えばＣＰＵ）がＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより実現される。
【0118】
Ｓ３０１において、制御部３００は、車両１０４の滞在場所（スポット）での滞在時間を算出し、Ｓ３０２において、算出された滞在時間が所定時間以上であるか否かを判定する。ここで、所定時間以上でない場合には、図７の評価の対象外とし、図５のＳ１０７に進む。一方、所定時間以上であると判定された場合、Ｓ３０３に進む。
【0119】
Ｓ３０３において、制御部３００は、状態情報解析部３０７により、車両１０４の搭乗者の体重情報を取得し、解析する。例えば、解析の結果、搭乗者の体重が増加している場合、食事をしたと判断する。また、解析の結果、搭乗者の体重が減少している場合、トイレ休憩を行ったと判断する。制御部３００は、Ｓ３０３での解析の結果を、飲食を行ったタイミングもしくは生理現象のタイミングの情報として、ユーザ情報３１９の状態情報３２２として記録するか、もしくは状態情報３２２を更新する。また、Ｓ３０３においては、飲食をしたか否か、トイレ休憩を行ったか否か、について車両１０４の搭乗者に問い合わせるようにし、その回答により、上記の判断を行うようにしても良い。
【0120】
Ｓ３０４において、制御部３００は、画像認識部３０６により画像認識された結果を取得し、Ｓ３０５において、制御部３００は、音声認識部３０５により音声認識された結果を取得する。
【0121】
Ｓ３０６において、制御部３００は、ユーザ情報解析部３０８により、Ｓ３０４で画像認識結果３２１及びＳ３０５で取得された音声認識結果３２０に基づいて、滞在場所に関する搭乗者の好みを分析する。例えば、「楽しかったね」等の肯定的なワード（若しくはフレーズやセンテンス）や笑い声、笑顔が検出された場合には、その滞在場所に関する情報（例えば、施設の情報）をユーザの好みの情報として取得し、ユーザ情報３１９として記憶する。また、「面白くなかった」や「疲れた」等の否定的なワード（若しくはフレーズやセンテンス）や沈黙、表情に変化がないなどの傾向が検出された場合には、その滞在場所に関する情報をユーザの好みの情報として取得しないか、もしくはユーザの好みとして記憶していた場合には削除する。その後、図５のＳ１０７に進む。
【0122】
このように、車両１０４が目的地に到着し、その目的地を出発した後の搭乗者の反応に基づいて、搭乗者の好みの情報を記憶し、また、更新していくことができる。
【0123】
車両１０４が目的地に到着して本ナビゲーションサービスを終了し、後日、その搭乗者が新たに本ナビゲーションサービスの実行を開始する場合について説明する。図５のＳ１０１で目的地の入力を受け付けると、Ｓ１０２で目的地までの経路候補が生成される。その際、サーバ１０１のデータベース３１５には、その搭乗者に対応する車両情報３１６及びユーザ情報３１９のセットは保持されている。従って、その場合には、Ｓ８０２～Ｓ８０４の処理が行われる。例えば、従前に、車両１０４の搭乗者が「楽しいね」と発話していた、車両１０４が走行していた経路（海辺沿いの車道など）が経路候補として生成される。また、例えば、生理現象のタイミングの学習の結果、頻度が多いと判断される場合には、目的地までの距離に応じてトイレ休憩が必要と判断し、Ｓ８０６で経由地が取得される。また、例えば、目的地に到着するまでに飲食タイミングを迎えそうな場合には、食事休憩が必要と判断し、Ｓ８０６で経由地が取得される。
【0124】
以上のように、本実施形態によれば、目的地への走行中に生じる要因に応じて、経路を柔軟に変更することができる。
【0125】
＜実施形態のまとめ＞
本実施形態における制御装置（３００）は、車両の経路計画を生成する生成手段と（３０９）、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する制御手段と（３００）を備えることを特徴とする。
本実施形態における制御装置（３００）は、車両の経路計画を生成する生成手段と（３０９）、前記車両の車両情報、前記車両の搭乗者の情報、前記経路計画上の環境に関する情報、の少なくとも一つを要因として、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御する制御手段と（３００）を備えることを特徴とする。
【0126】
そのような構成により、車両の走行中に生じる要因に応じて、走行経路を変更することができる。
【0127】
また、制御装置は、前記車両情報を監視する第１監視手段（図１０）、をさらに備え、前記制御手段は、前記車両情報が前記要因としての条件を満たす場合、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御することを特徴とする。前記車両情報は、エネルギー関連情報（３１８）を含むことを特徴とする。また、前記エネルギー関連情報は、燃料の残量、車載電池の残容量、の少なくともいずれかを含み、前記エネルギー関連情報に基づいて前記車両が目的地まで到達できないと判定された場合、前記制御手段は、前記車両情報が前記要因としての条件を満たすとして、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御することを特徴とする。
【0128】
そのような構成により、例えば、車両の車載電池の残容量が閾値以下となった場合に、走行経路を変更することができる。
【0129】
また、制御装置は、前記搭乗者の情報を監視する第２監視手段（図８、図９）、をさらに備え、前記制御手段は、前記搭乗者の情報が前記要因としての条件を満たす場合、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御することを特徴とする。また、制御装置は、前記搭乗者に関する画像データを用いて画像認識を行う画像認識手段と、前記搭乗者に関する音声データを用いて音声認識を行う音声認識手段と、をさらに備え、前記搭乗者の情報は、搭乗者の画像情報、音声情報、生体情報、の少なくともいずれかを含むことを特徴とする。
【0130】
そのような構成により、例えば、搭乗者の生体情報の変化に基づいて、走行経路を変更することができる。また、例えば、搭乗者の画像認識結果、音声認識結果に基づいて、走行経路を変更することができる。また、前記制御手段は、前記搭乗者の情報に基づき認識される前記搭乗者の体調が、前記要因としての条件を満たす場合、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御することを特徴とする。また、前記体調は、疲労状態、空腹、の少なくともいずれかを含むことを特徴とする。
【0131】
そのような構成により、例えば、搭乗者の疲労状態が認識された場合、走行経路を変更することができる。
【0132】
また、前記制御手段は、前記搭乗者の情報に基づき認識される前記搭乗者の挙動が、前記要因としての条件を満たす場合、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御することを特徴とする。また、前記搭乗者の挙動は、所定の感情に分類されて記憶されることを特徴とする。
【0133】
そのような構成により、例えば、搭乗者の発話が目的地について否定的である場合、走行経路を変更することができる。
【0134】
また、前記制御手段による前記車両の走行経路の変更の際に、前記搭乗者の情報に基づいて前記目的地までの経由地が追加されることを特徴とする。また、前記目的地までの経由地の追加においては、前記車両の給油もしくは給電が必要であると判断された場合、該給油もしくは給電が可能な経由地が追加されることを特徴とする。
【0135】
そのような構成により、例えば、車両の給電が必要であると判断された場合には優先的に給電ステーションを経由地として追加することができる。
【0136】
また、制御装置は、前記環境に関する情報を監視する第３監視手段（図１０）、をさらに備え、前記制御手段は、前記環境に関する情報が前記要因としての条件を満たす場合、前記生成手段により生成された前記車両の経路計画を変更するよう前記生成手段を制御することを特徴とする。また、前記環境に関する情報は、交通情報、施設情報、天候情報、災害情報、の少なくともいずれかを含むことを特徴とする。
【0137】
そのような構成により、例えば、災害の発生があった場合には、走行経路を変更することができる。
【0138】
前記生成手段により生成された前記車両の経路計画上の目的地における前記搭乗者の行動予定を取得する取得手段と、前記目的地と前記目的地までの経由地との少なくとも一つに対応する前記環境に関する情報に基づき、前記行動予定の実現の可能性を判断する第１判断手段とを備えることを特徴とする。前記第１判断手段により前記行動予定の実現の可能性が一定の閾値を下回ると判断された場合、前記搭乗者に他の目的地若しくは経由地の候補を通知する通知手段、をさらに備えることを特徴とする。
【0139】
そのような構成により、例えば、天候に応じて、搭乗者の目的地での行動予定（遊ぶ、ビジネス目的の商談など）が実現可能かを判断することができる。また、走行経路の変更の際には、車両の搭乗者に通知させることができる。
【0140】
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
【符号の説明】
【0141】
１００ ナビゲーションシステム： １０１ サーバ： １０２ ネットワーク： １０３ 基地局： １０４ 車両： ３００ 制御部： ３１４ 記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】