(58)【調査した分野】(Int.Cl.,DB名)
前記1つの車外端末は、前記音声通話を媒介しているとき、前記前方画像に基づいて、前記車両の運転において前記ドライバが注意すべき状況を検出し、検出した状況を示す注意喚起情報(D6)を前記操作者に表示することを特徴とする請求項1に記載の覚醒維持システム。
前記車載機および前記1つの車外端末は、前記ドライバの覚醒度が低下したことに基づいて、前記ドライバが前記音声通話を開始する操作を行わなくても、前記音声通話の媒介を開始することを特徴とする請求項1ないし6のいずれか1つに記載の覚醒維持システム。
前記1つの車外端末は、前記ドライバの嗜好を表す嗜好情報(D7)に関連する時事情報を取得し、前記音声通話を媒介しているとき、前記時事情報に基づく話題提供情報(D8)を前記操作者に表示することを特徴とする請求項1ないし7のいずれか1つに記載の覚醒維持システム。
前記複数の車外端末は、前記ドライバによってあらかじめ特定された個人が携帯する携帯端末(4)と、前記ドライバによって個人が指定されないスタッフによって操作されるスタッフ端末(12a、12b、12c)とを含むことを特徴とする請求項9に記載の覚醒維持システム。
【発明を実施するための形態】
【0013】
(第1実施形態)
以下、第1実施形態について説明する。本実施形態の覚醒維持システムは、
図1に示すように、会話提供システム1、複数の車両2a、2b、車両2a、2bにそれぞれ搭載される車載システム3a、3b、携帯端末4、インターネット等の通信ネットワーク5を備えている。
【0014】
会話提供システム1は、車両2a、2bの外部のビル内等に設置され、覚醒維持システムにおけるサービス提供業者側が所有および管理するシステムである。この会話提供システム1は、通信ネットワーク5を介して車載システム3と通信することで車両2a、2bのドライバと会話相手との通話を実現するようになっている。
【0015】
この会話提供システム1は、構内LAN回線10、選択・中継機11、複数個のスタッフ端末12a、12b、12c、データサーバ13を有している。構内LAN回線10は、会話提供システム1を構成する装置間の通信を媒介するネットワークである。
【0016】
選択・中継機11は、ドライバの会話相手となる車外端末を選択し、ドライバと車外端末の間の通信を中継する。ここで、車外端末という用語は、スタッフ端末12a、12b、12cおよび携帯端末4を総称する用語である。この選択・中継機11は、構内LAN回線10に接続すると共に、通信ネットワーク5にも接続する。なお、
図1では携帯端末4を1つのみ備えているが、覚醒維持システムは携帯端末を1つのみ備えていてもよいし、複数個備えていてもよい。
【0017】
また、選択・中継機11は、CPU、RAM、ROM、外部通信インターフェース、構内通信インターフェース(いずれも図示せず)を有する。そして、CPUがROMに記録されたプログラムを実行することで、選択・中継機11が後述する種々の処理を実現する。そして選択・中継機11は、当該処理において、必要に応じて、外部通信インターフェース、構内通信インターフェースを使用して、車載システム3、およびスタッフ端末12a、12b、12c、データサーバ13と通信する。
【0018】
スタッフ端末12a、12b、12cの各々は、上記業者において車両2a、2bのドライバの会話相手を担当する複数人の業務スタッフが使用する車外端末であり、構内LAN回線10に接続されている。
【0019】
このスタッフ端末12a、12b、12cの各々は、CPU、RAM、ROM、HDD、構内通信インターフェース、画像表示装置、操作部、音声入力装置、音声出力装置を有する。そして、CPUがROMに記録されたプログラムを実行することで、スタッフ端末12a、12b、12cの種々の処理が実現する。当該処理においてスタッフ端末12a、12b、12cは、構内通信インターフェースを使用して、選択・中継機11と通信する。また、スタッフ端末12a、12b、12cは、音声入力装置、音声出力装置を用いて、選択・中継機11を介して車載システム3と音声通話およびデータ通信を行う。
【0020】
データサーバ13は、各種データを保存する装置であり、構内LAN回線10に接続されている。このデータサーバ13は、その他特性:CPU、RAM、ROM、HDD(不揮発性記憶媒体の一例に相当する)、構内通信インターフェースを有する。そして、CPUがROMに記録されたプログラムを実行することでデータサーバ13の後述する種々の処理が実現する。当該処理においてデータサーバ13は、構内通信インターフェースを使用して、選択・中継機11、スタッフ端末12a、12b、12cと通信し、選択・中継機11、スタッフ端末12a、12b、12cから要求されたデータを送信する。
【0021】
また、このデータサーバ13のHDDには、基本個人情報DB131、嗜好DB132、希望相手DB133、地
図DB134が記録されている。
【0022】
基本個人情報DB131には、ドライバのドライバID毎に、当該ドライバIDに対応するドライバの基本個人情報(氏名、性別、既婚・未婚の別、年齢、家族構成、勤務先)があらかじめ登録されている。
【0023】
嗜好DB132には、ドライバのドライバID毎に、当該ドライバIDに対応するドライバの嗜好(具体的には、興味の対象)を表す嗜好情報があらかじめ登録されている。興味の対象としては、例えば、ドライブ、野球、応援する野球チーム、読書、特定の作家名等がある。
【0024】
希望相手DB133には、ドライバのドライバID毎に、当該ドライバIDに対応するドライバが選んだ会話相手が複数含まれる希望相手リストがあらかじめ登録されている。希望相手リストには、例えば、複数の会話相手(例えば、配偶者、不特定の業務スタッフ、同僚A、同僚B)が順位付けされて登録されており、また、不特定の業務スタッフ以外の会話相手の各々に関連付けて、当該会話相手の宛先(例えば、携帯端末4の電話番号、端末ID等)が登録されている。なお、不特定の業務スタッフとは、ドライバによって個人が指定されていない業務スタッフをいう。
【0025】
地
図DB134には、ノード(交差点)およびリンク(道路)の位置、形状、接続関係等の地図情報が登録されている。
【0026】
車載システム3a、3bは、それぞれ、車両2a、2bに搭載され、会話提供システム1と通信することで搭載先の車両2a、2bのドライバと会話相手との通話を実現する。車載システム3a、3bは、同じ構成となっている。具体的には、車載システム3a、3bの個々は、
図2に示すように、前方カメラ31、ドライバカメラ32、生体現象センサ33、車両挙動検出器34、通信装置35、操作部36、音声入力装置37、音声出力装置38、車載機39を有している。
【0027】
前方カメラ31は、搭載先の車両の前端部および当該車両の前方の道路等の映像を表す前方画像データを繰り返し車載機39に出力する装置である。
【0028】
ドライバカメラ32は、搭載先の車両のダッシュボード、天井のウインドシールド側端部等に配置され、ドライバの顔を含む映像を表すドライバ画像データを車載機39に繰り返し出力する装置である。
【0029】
生体現象センサ33は、ドライバの心拍、発汗量等の生体現象を示す生体信号を車載機39に出力するセンサ群を有する。
【0030】
車両挙動検出器34は、車両の挙動(現在位置、車速、加速度、操舵角等)を示す検出信号を車載機39に出力する装置であり、GPS受信機、車速センサ、加速度センサ、操舵角センサ等のセンサを含む。
【0031】
通信装置35は、無線によって通信ネットワーク5と接続し、通信ネットワーク5を介して会話提供システム1と通信するための無線インターフェースである。操作部36は、運転席付近(例えばダッシュボード、ステアリングハンドル)に配置され、ドライバの操作を受け付け、操作内容に応じた信号を車載機39に出力する装置である。
【0032】
音声入力装置37は、ドライバの発した音声を信号に変換して車載機39に入力する装置である。音声出力装置38は、ドライバが聞こえるように車室内に音声を出力する装置である。車載機39は、CPU、RAM、ROM、フラッシュメモリを有し、CPUがROMに記録されたプログラムを実行することで車載機39の後述する種々の処理が実現する。
【0033】
携帯端末4は、会話提供システム1を所有、管理する業者ではない個人(例えば、ドライバーの配偶者、同僚等)が携帯する。この携帯端末4は、CPU、RAM、ROM、フラッシュメモリ、無線通信インターフェース、画像表示装置、操作部、音声入力装置、音声出力装置を有する。そして、CPUがROMに記録されたプログラムを実行することで、携帯端末4が後述する種々の処理を実現する。
【0034】
なお、本実施形態の携帯端末4のフラッシュメモリには、あらかじめ、車載システム3a、3bと通信することでドライバとの通信を媒介するための覚醒維持アプリケーションがインストールされている。そして、携帯端末4では、この覚醒維持アプリケーションは携帯端末4において、他のアプリケーションと同時並行で、常時実行される。
【0035】
以下、上記のような構成の覚醒維持システムの作動について、
図3〜
図6を用いて説明する。以下では、車両2aおよび車載システム3aについて説明するが、車両2a、車載システム3aを車両2b、車載システム3bに置き換えても同様の作動が成り立つ。また、以下の説明において、スタッフ端末12a、12b、12cと車載システム3aとの通信は、すべて選択・中継機11によって中継される。
【0036】
まず、
図3に示すように、車両2aのドライバが、車載システム3aの操作部36に対し、所定の会話要求操作を行う。この際、ドライバは、操作部36に対して会話の希望相手を指定する操作を行ってもよいし、行わなくてもよい。
【0037】
すると車載機39は、操作部36に対して会話要求操作が行われたことに基づいて、ステップ110で、通信装置35を用いて、会話要求を会話提供システム1の選択・中継機11に送信する。
【0038】
この会話要求には、ドライバのユーザIDが含まれている。このドライバのユーザIDは、例えば、当該ドライバが車両2aに搭乗する際に操作部36を用いて車載機39に登録することで、車載機39内の記憶媒体(例えば、RAM、フラッシュメモリ)に記録されている。また、ドライバが操作部36に対して会話要求操作と共に会話の希望相手を指定する操作を行った場合、この会話要求には、当該希望相手を示す情報(希望相手が携帯する携帯端末4の宛先)も含まれている。
【0039】
選択・中継機11は、上記のように車載システム3aから送信された会話要求を通信ネットワーク5を介して受信し、受信したことに基づいて、ステップ120で、会話相手の車外端末を選択するため、
図4に示す処理を実行する。
【0040】
具体的には、まずステップ210では、受信した会話要求に含まれるユーザIDをキーとしてデータサーバ13に希望相手DB133の問い合わせを行う。具体的には、当該ユーザIDと希望相手DB133の指定を含む問い合わせをデータサーバ13に送信する。
【0041】
するとデータサーバ13は、この問い合わせを受信し、受信した問い合わせで指定された希望相手DB133から、受信した問い合わせに含まれるユーザIDに対応する希望相手リストを読み出して選択・中継機11に送信する。これにより、選択・中継機11は当該ユーザIDに対応する希望相手リストを取得する。
【0042】
例えば、この希望相手リストでは、1位が当該ドライバの配偶者であり、2位が個人を特定しない業務スタッフであり、3位が当該ドライバの特定の同僚Aであったとする。
【0043】
続いてステップ215では、受信した会話要求に希望相手が含まれている場合、会話要求に含まれる希望相手が最優先になるよう、取得した希望相手リストをRAM中で変更する。
【0044】
具体的には、会話要求に含まれる希望相手を、希望相手リストの1位にし、希望相手リスト中の他の会話相手の順位を1つずつ繰り下げる。例えば、会話要求に含まれる希望相手が当該ドライバの特定の同僚Bであった場合、1位が当該同僚Bであり、2位が当該ドライバの配偶者であり、3位が個人を特定しない業務スタッフであり、4位が当該ドライバの特定の同僚Aであるように希望相手リストを変更する。
【0045】
なおステップ215では、受信した会話要求に希望相手が含まれていない場合、希望相手リストを変更しない。
【0046】
続いてステップ220では、希望相手リストの最上位の会話相手がドライバと通話可能か確認する。最上位の会話相手が業務スタッフなら、スタッフ端末12a、12b、12cのうち、業務スタッフが現在使用可能であり、かつ、他のドライバとの通話に使用されていないスタッフ端末、すなわち、スタンバイ状態のスタッフ端末が1つ以上あるか否か判定する。
【0047】
業務スタッフは、自分が使用するスタッフ端末がスタンバイ状態になる場合は、スタッフ端末の操作部に対して所定のスタンバイ開始操作を行う。そして、操作部に対してスタンバイ開始操作が行われたスタッフ端末は、自機がスタンバイ状態になることを通知するスタンバイ開始通知を選択・中継機11に送信する。
【0048】
また、業務スタッフは、自分がスタッフ端末から一時的に離れる場合等の理由で当該スタッフ端末が一時使用されなくなる場合は、使用されなくなる直前に、スタッフ端末の操作部に対して所定のスタンバイ解除操作を行う。そして、操作部に対してスタンバイ解除操作が行われたスタッフ端末は、自機がスタンバイ状態でなくなることを通知するスタンバイ解除通知を選択・中継機11に送信する。
【0049】
また、スタッフ端末12a、12b、12cの各々は、ドライバと業務スタッフの通話を媒介し始めるとき、すなわち、後述する
図3の通話・モニタ処理を開始するときも、自機がスタンバイ状態でなくなることを通知するスタンバイ解除通知を選択・中継機11に送信する。
【0050】
また、スタッフ端末12a、12b、12cの各々は、ドライバと業務スタッフの通話を媒介し始めるとき、すなわち、後述する
図3の通話・モニタ処理を開始するときも、自機がスタンバイ状態でなくなることを通知するスタンバイ解除通知を選択・中継機11に送信する。なお、スタッフ端末12a、12b、12cがドライバと業務スタッフの通話を媒介を終了した後は、当該スタッフ端末を使用する業務スタッフが上記スタンバイ開始操作を行うことで、当該スタッフ端末から選択・中継機11にスタンバイ開始通知を送信する。
【0051】
また、選択・中継機11は、スタッフ端末12a、12b、12cの各々から受信したスタンバイ開始通知、スタンバイ解除通知に基づいて、各スタッフ端末がスタンバイ状態にあるか否かを示すスタンバイデータをRAM中に保持する。選択・中継機11は、ステップ230では、最上位の会話相手が業務スタッフなら、スタンバイ状態のスタッフ端末が1つ以上あるか否かを、このスタンバイデータに基づいて判定する。
【0052】
またステップ230では、最上位の会話相手が業務スタッフなら、スタンバイ状態のスタッフ端末が1つ以上あるか否かを、このスタンバイデータに基づいて判定する。スタンバイ状態のスタッフ端末が1つ以上あれば、希望相手リストの最上位の会話相手がドライバと通話可能であると判定し、スタンバイ状態のスタッフ端末が1つもなければ、希望相手リストの最上位の会話相手がドライバと通話可能でないと判定する。
【0053】
またステップ230では、最上位の会話相手が業務スタッフ以外の個人なら、希望相手リスト中で当該会話相手に関連付けられた宛先(例えば、携帯端末4の電話番号、端末ID等)に対し、所定のリクエスト信号を送信する。これにより、選択・中継機11から通信ネットワーク5を介して、当該会話相手の携帯端末4に対し、当該リクエスト信号が送られる。
【0054】
携帯端末4は、上述の覚醒維持アプリケーションの実行において、当該リクエスト信号を受信したことに基づき、所定の問い合わせメッセージを画像表示装置に表示する。表示する問い合わせメッセージとしては、例えば、「ドライバの覚醒維持のために通話できますか?」という文字列であってもよい。
【0055】
携帯端末4を携帯する上記会話相手は、通話可能であれば、操作部に対して通話可能である旨を示す操作を行うが、通話可能でなければ、この問い合わせメッセージを無視する。
【0056】
携帯端末4は、上記問い合わせメッセージを表示した後、所定時間以内(例えば1分以内)に通話可能である旨を示す操作が行われた場合、許可信号を選択・中継機11に送信する。また携帯端末4は、上記問い合わせメッセージを表示した後、通話可能である旨を示す操作が行われないまま上記所定時間が経過した場合、拒否信号を選択・中継機11に送信する。
【0057】
選択・中継機11は、ステップ230では、最上位の会話相手が業務スタッフ以外の個人なら、上記のようにリクエスト信号を送信した後、許可信号を受信した場合は、希望相手リストの最上位の会話相手がドライバと通話可能であると判定する。しかし、拒否信号を受信した場合は、希望相手リストの最上位の会話相手がドライバと通話可能でないと判定する。
【0058】
ステップ230で、希望相手リストの最上位の会話相手がドライバと通話可能でないと判定した場合はステップ245に進み、通話可能であると判定した場合はステップ250に進む。
【0059】
ステップ245では、希望相手リストから最上位の会話相手を削除してステップ220に戻る。したがって、
ステップ220、230、245では、希望相手リストの上位から順にドライバと会話可能な相手を探し、見つかった時点でステップ250に進む。なお、ステップ245で最上位の会話相手を削除した後に希望相手リストが空になった場合は、その時点で、不特定の業務スタッフを希望相手リストに追加する。このようにすることで、スタッフ端末12a、12b、12cのうちいずれかがスタンバイ状態に戻るのを待つことが可能となる。
【0060】
ステップ250では、現時点における希望相手リスト中の最上位の相手を会話相手として選択することを決定し、その後、
図4の処理を終了する。
【0061】
図4の処理を終了した後、選択・中継機11は、ステップ130(
図3参照)で、直前のステップ120で選択した会話相手に対応する車外端末に対して、通話指示を送信する。ここで、選択した会話相手に対応する車外端末としては、選択した会話相手が不特定の業務スタッフの場合は、スタンバイ状態のスタッフ端末のうちから選んだ1台とする。また、選択した会話相手に対応する車外端末としては、選択した会話相手が個人なら、希望相手リストに含まれる当該個人の携帯端末4とする。
【0062】
この通話指示には、車載システム3aから送信された会話要求に含まれるユーザIDを含める。なお、通話指示を送信する車外端末は、スタッフ端末の場合もあれば携帯端末4の場合もある。
【0063】
当該車外端末は、この通話指示を受信したことに基づいて、この通話指示に含まれるユーザIDに対応する車載システム3aに対して、通話開始通知を送信する。この通話開始通知には、当該車外端末の宛先のデータが含まれている。なお、当該車外端末は、ユーザIDと、当該ユーザIDに対応する車載システム3aの宛先(電話番号、アドレス等)の対応関係を示す情報に基づいて、当該車載システム3aの宛先を取得する。そして、この対応関係を示す情報は、当該車外端末のHDDにあらかじめ記録されていてもよい。あるいは、この対応関係を示す情報がデータサーバ13に記録されている場合は、当該情報をデータサーバ13に問い合わせてデータサーバ13から取得してもよい。
【0064】
また当該車外端末は、上記通話開始通知を送信した後、ステップ150で、通話・モニタ処理を開始する。なお、車外端末が携帯端末4である場合は、この通話・モニタ処理は、覚醒維持アプリケーションの一部を構成するサブルーチンである。
【0065】
車載システム3aの車載機39は、通信ネットワーク5および通信装置35を介して上記通話開始通知を受信する。そして車載機39は、この通話開始通知を受信したことに基づいて、ステップ160で、通話・データ送信処理を開始する(ステップ160)。なお、車載機39は、通信相手の車外端末の宛先としては、受信した通話開始通知に含まれる宛先を用いる。
【0066】
通話・モニタ処理および通話・データ送信処理が開始した後、当該車外端末と車載機39との間で、車載機39の通話処理162と当該車外端末の通話処理164により、通話音声170の送受信が繰り返し行われることで、ドライバと会話相手の通話が実現する。具体的には、車載機39は、通話処理162において、音声入力装置37から入力されたドライバの発話内容の音声信号を、通信装置35を用いて当該車外端末に送信する。そして当該車外端末は、通話処理164において、車載機39から受信した当該音声信号を用いて、ドライバの発話内容の音声を自機の音声出力装置から出力させる。
【0067】
また当該車外端末は、通話処理164において、自機の音声入力装置から入力された会話相手の発話内容の音声信号を車載システム3aに送信する。そして車載システム3aは、通話処理162において、当該車外端末から受信した当該音声信号を用いて、会話相手の発話内容の音声を自機の音声出力装置から出力させる。
【0068】
このように、車載機と車外端末を媒介として車両のドライバと車外端末の操作者(業務スタッフまたは携帯端末4の所有者)の間で音声通話が実現する。したがって、人と人との会話による高い覚醒維持効果を得ることができる。例えば、会話相手(すなわち操作者)はドライバの覚醒効果が高くなるような話題を提供する等の工夫をすることにより、ドライバの覚醒度を高く保つことができる。
【0069】
また、車載機39は、通話・データ送信処理の一部であるデータ送信処理172において、通信装置35を用いて、当該車外端末に車両情報180を定期的に(例えば1秒周期で)繰り返し送信する。この車両情報には、生体信号に基づく生体データ、前方画像データ、ドライバ画像データ、視線方向データ、車両挙動データが含まれる。
【0070】
生体信号に基づく生体データは、生体現象センサ33から取得した最新の生体信号を含むデータである。前方画像データは、前方カメラ31から取得した最新の前方画像データである。ドライバ画像データは、ドライバカメラ32から取得した最新のドライバ画像データである。車両挙動情報は、車両挙動検出器34から取得した最新の検出信号に基づく車両の最新の挙動を示すデータである。
【0071】
視線方向データは、ドライバの視線方向に相当する前方画像上の一部分を示すデータである。ドライバの視線方向に相当する前方画像上の一部分は、一点でもよいし面領域でもよい。面領域である場合、当該面領域は、前方画像の面積の100分の1程度の円盤形状の領域であってもよいし、あるいは、前方画像を上下左右に4分割した領域の1つとしてもよい。
【0072】
車載機39は、この視線方向データを、あらかじめフラッシュメモリに記録されている顔視線対応データに基づいて特定する。顔視線対応データは、前方画像上の各位置と当該位置をドライバが見ているときの顔画像モデルとを対応付けた顔視線対応データである。車載機39は、ドライバカメラ32から入力された最新のドライバ画像データからドライバの顔の画像を抽出し、抽出した顔の画像と最も一致度が高い顔画像モデルを特定し、特定した顔画像モデルに対応する前方画像上の位置を抽出する。そして、この抽出された位置を、視線方向データとする。
【0073】
また当該車外端末は、通話・モニタ処理の一部である表示処理174において、上記車両情報を繰り返し受信して当該車両情報に基づく表示を繰り返し行う。表示処理174では、具体的には、
図5に示す処理を行う。
図5の処理では、まずステップ305で、車両情報を受信する。
【0074】
続いてステップ310〜ステップ345では、
図6に示すような表示を行う。具体的には、ステップ310では、受信した車両情報に含まれる生体データ、ドライバ画像等に基づいて、ドライバの漫然度を表す漫然モニタD1を、車外端末の操作者に見えるよう、画像表示装置に表示する。
【0075】
漫然度は、ドライバの運転に対する集中力が低下する程高くなる指標である。当該車外端末は、例えば、生体データに含まれる心拍の情報に基づいて、ドライバの心拍間隔の変動に対して周波数スペクトル分析を行い、その分析結果における特定周波数帯域内のピーク値に基づいて、漫然度を決定する。あるいは、ドライバ画像データ中のドライバの顔画像に基づいて、ドライバがサイドミラー、バックミラー等の車外確認用ミラーを見る頻度に基づいて、漫然度を決定してもよい。
【0076】
漫然モニタD1は、横に延びるバーと、当該バーの長さ方向に並んで配置された目盛りが表された画像であり、漫然度が高くなるほどバーの長さが増大する。
【0077】
続いてステップ315では、受信した車両情報に含まれる生体データ、車両挙動データ等に基づいて、ドライバの運転負荷の高さを表す負荷モニタD2を、車外端末の操作者に見えるよう、画像表示装置に表示する。
【0078】
ドライバの運転負荷は、車両の現在の状況がドライバにとって運転が困難である度合いを示す指標である。当該車外端末は、車両挙動データに含まれる車両2aの現在位置の情報をデータサーバ13に送信する。するとデータサーバ13は、当該現在位置およびその近傍の領域における地図データを基本個人情報DB131から読み出して当該車外端末に送信する。そして当該車外端末は、受信した地図データに基づいて、現在車両2aが走行している位置が交差点であれば、交差点ではない場合に比べて運転負荷を高い値にする。また当該車外端末は、受信した地図データに基づいて、現在車両2aが走行している道路の幅員が小さいほど運転負荷を高い値にする。また当該車外端末は、受信した生体データに含まれる発汗量が多いほど運転負荷を高い値にする。また当該車外端末は、受信した車両挙動データに含まれる操舵角のデータに基づいて、現在の操舵角と直進時の操舵角との差の絶対値が大きいほど運転負荷を高い値にする。
【0079】
負荷モニタD2は、横に延びるバーと、当該バーの長さ方向に並んで配置された目盛りが表された画像であり、運転負荷が高くなるほどバーの長さが増大する。
【0080】
続いてステップ320では、受信した視線方向データに基づいて、ドライバの脇見度の高さを示す脇見モニタD3を、車外端末の操作者に見えるよう、画像表示装置に表示する。当該車外端末は、受信した前方画像データに対して画像認識処理を施すことで、当該前方画像が示す前方画像中における道路の位置範囲を特定する。そして、受信した視線方向データに基づいて、過去所定時間(例えば過去30秒)における、ドライバの視線が道路の位置範囲を外れている時間を特定する。そして、特定した時間が長いほど、脇見度を高い値にする。脇見モニタD3は、横に延びるバーと、当該バーの長さ方向に並んで配置された目盛りが表された画像であり、脇見度が高くなるほどバーの長さが増大する。
【0081】
続いてステップ325は、受信した前方画像データが示す前方画像D4を、車外端末の操作者に見えるよう、画像表示装置に表示する。
【0082】
続いてステップ330では、受信した視線方向データに基づいて、ドライバの視線方向に相当する前方画像D4上の一部分に、視点画像D5を重畳表示する。
【0083】
続いてステップ335では、受信した前方画像データに対して画像認識処理を行うことで、車両の運転においてドライバが注意すべき状況を検出し、検出した状況に応じた注意喚起情報D6を、車外端末の操作者に見えるよう、画像表示装置に表示する。
【0084】
例えば、前方画像D4中の先行車両から車両2aまでの距離を画像認識処理で特定し、特定した距離が短くなるほど低くなる閾値速度を決定する。そして、受信した車両挙動データ中の車速のデータに基づいて、車両2aの走行速度を特定する。そして、車両2aの走行速度が閾値速度よりも高いことに基づいて、車間距離に注意すべき旨を示す注意喚起情報D6を、前方画像D4に重畳表示する。
【0085】
また例えば、前方画像D4中の信号機の指示内容を画像認識処理で特定し、特定した指示内容が停止を示していることに基づいて、信号機の表示内容に注意すべき旨を示す注意喚起情報D6を、前方画像D4に重畳表示してもよい。
【0086】
なお、注意喚起情報D6は、検出した状況を説明する文字を表示すると共に、検出した状況に関連する対象を指し示している。検出した状況に関連する対象は、上記の2例では、先行車両および信号機である。
【0087】
続いてステップ340では、車両2aのドライバの個人情報を取得し、取得した個人情報D7を、車外端末の操作者に見えるよう、画像表示装置に表示する。
【0088】
具体的には、受信した会話要求に含まれるユーザIDをキーとしてデータサーバ13に基本個人情報DB131、嗜好DB132の問い合わせを行う。具体的には、当該ユーザIDと基本個人情報DB131、嗜好DB132の指定を含む問い合わせをデータサーバ13に送信する。
【0089】
するとデータサーバ13は、この問い合わせを受信し、受信した問い合わせで指定された基本個人情報DB131および嗜好DB132から、受信した問い合わせに含まれるユーザIDに対応する基本個人情報および嗜好情報を読み出して選択・中継機11に送信する。これにより、選択・中継機11は当該ユーザIDに対応する基本個人情報および嗜好情報を取得する。そして、取得した基本個人情報および嗜好情報を、個人情報D7として画像表示装置に表示する。
【0090】
続いてステップ345では、ステップ340で取得したドライバの嗜好情報に基づいて、ドライバの嗜好に合った話題提供情報D8を、車外端末の操作者に見えるよう、画像表示装置に表示する。具体的には、受得した嗜好情報中で興味の対象を表す語句(例えば、ドライブ、野球、応援する野球チーム、読書、特定の作家名)を複数個抽出し、抽出した個々の語句について、例えば通信ネットワーク5上の検索サイトに入力することで、それら語句に関連する時事情報(例えばニュース情報)を取得する。そして、取得した時事情報の一部を抽出して話題提供情報D8とし、画像表示装置に表示する。
【0091】
続いてステップ350では、会話が終了したか否かを判定する。例えば、車両2aのドライバが車載システム3aの操作部36に対して通話終了の操作を行った場合、車載機39は通信装置35を用いて通話終了通知を当該車外端末に送信し、その後通話・データ送信処理を終了する。そして当該車外端末は、この通話終了通知を受信した直後のステップ350で、会話が終了したと判定し、通話終了通知を受信していない場合は会話か終了していないと判定する。
【0092】
会話が終了していないと判定した場合は、ステップ305に戻る。したがって、会話が終了しない間は、ステップ305〜345の処理が繰り返される。なお、ステップ305〜345の一巡の処理は、例えば、250ミリ秒毎に実行される。
【0093】
会話が終了したと判定した場合は、
図5の処理を終了する。これにより、当該車外端末において通話・モニタ処理が終了する。
【0094】
以上説明した通り、本実施形態の覚醒維持システムは、複数の車両2a、2bに搭載される複数の車載機39と、車両2a、2bの外部において車載機39と通信する複数の車外端末4、12a、12b、12cとを備えている。そして、複数の車載機39のうち1つの車載機39と複数の車外端末4、12a、12b、12cのうち1つの車外端末は、互いに通信することで、車両2a、2bのうち1つの車両のドライバと当該1つの車外端末の操作者の間の音声通話を媒介する。そして、当該1つの車載機39は、音声通話が行われているとき、当該1つの車両の前方の映像を表す前方画像データを当該1つの車外端末に送信する。そして、当該1つの車外端末は、音声通話を媒介しているとき、当該1つの車載機が送信した前方画像データに基づく前方画像D4を操作者に表示する。
【0095】
このように、車載機と当該1つの車外端末を媒介として車両のドライバと当該1つの車外端末の操作者の間で音声通話が実現するので、人と人との会話による高い覚醒維持効果を得ることができる。また、音声通話が行われているとき、車両の前方の映像を表す前方画像データが車載機から当該1つの車外端末に送信され、当該1つの車外端末が当該前方画像データを操作者に表示するので、もし会話によって意識の脇見が発生したとしても、当該1つの車外端末の操作者が前方画像を見て注意すべき対象をドライバに言葉で告げることができるため、車両の走行の安全性が高まる。
【0096】
また、当該1つの車載機39は、音声通話が行われているとき、ドライバの生体信号に基づく生体データを当該1つの車外端末に送信する。そして、当該1つの車外端末は、音声通話を媒介しているとき、当該1つの車載機39が送信した生体データに基づく情報D1、D2を操作者に表示する。
【0097】
このようになっていることで、操作者は、ドライバの生体信号に基づく生体データを参考にして、会話の内容を選択することができるので、ドライバの覚醒の維持効果が高まり、かつ、車両の走行の安全性が高まる。
【0098】
また、当該1つの車外端末は、音声通話を媒介しているとき、ドライバの個人情報D7を取得して操作者に表示する。このようになっていることで、操作者は、ドライバの個人情報を参考にして、会話の内容を選択することができるので、ドライバの覚醒の維持効果が高まり、かつ、車両の走行の安全性が高まる。
【0099】
また、当該1つの車外端末は、音声通話を媒介しているとき、ドライバの嗜好を表す嗜好情報D7を取得して操作者に表示する。このようになっていることで、操作者は、ドライバの嗜好情報を参考にして、会話の内容を選択することができるので、ドライバの覚醒の維持効果が高まり、かつ、車両の走行の安全性が高まる。また、どの業務スタッフでもでもドライバが興味のある内容を話すことが可能となる。
【0100】
また、当該1つの車外端末は、音声通話を媒介しているとき、前方画像D4のうちドライバの視線に応じた部分を示す視点画像D5を表示する。このようになっていることで、操作者は、前方画像のうちドライバの視線に応じた部分を示す表示を参考にして、ドライバに適切な運転アドバイスをすることができるので、車両の走行の安全性が高まる。
【0101】
また、当該1つの車外端末は、ドライバの嗜好を表す嗜好情報に関連する時事情報を取得し、音声通話を媒介しているとき、当該時事情報に基づく話題提供情報D8を操作者に表示する。
【0102】
このようになっていることで、操作者は、表示された話題提供情報を参考に、ドライバの興味を引くような時事情報の話題を提供することができる。したがって、ドライバの覚醒の維持効果が高まる。また、どの業務スタッフでもでもドライバが興味のある内容を話すことが可能となる。
【0103】
また、当該1つの車外端末は、音声通話を媒介しているとき、前方画像D4に基づいて、車両の運転においてドライバが注意すべき状況を検出し、検出した状況を示す注意喚起情報D6を操作者に表示する。
【0104】
このようにすることで、操作者は、前方画像中で注意すべき状況を自分で見つけ出させなかった場合でも、注意喚起情報を参考にドライバに注意を促すことができる。したがって、車両の走行の安全性が高まる。
【0105】
また、選択・中継機11は、複数の車外端末のうち1つを、当該1つの車外端末として選択し、選択した当該1つの車外端末に対して通話指示を送信し、当該1つの車外端末が通話指示を受信したことに基づいて、当該1つの車載機および1つの車外端末が音声通話の媒介を開始する。
【0106】
このように、複数の車外端末を用意し、選択・中継機11がそれら複数の車外端末から1つを選択し、選択された1つの車外端末が音声通話を媒介するようになっていることで、車外端末側の冗長性を高めることができる。したがって、音声通話ができない状況が発生する可能性が少なくなる。
【0107】
また、複数の車外端末は、ドライバによってあらかじめ特定された個人が携帯する1つまたは複数の携帯端末4と、ドライバによって個人が指定されない業務スタッフによって操作されるスタッフ端末12a、12b、12cとを含む。
【0108】
このようになっていれば、携帯端末4を携帯する操作者とドライバが通話する場合は、当該操作者はドライバによってあらかじめ指定された個人なので、会話の内容がよりドライバに合ったものとなる可能性が高い。また、不特定のスタッフとドライバが通話する場合は、スタッフを多くすれば、ドライバが通話可能な時間帯が拡大する。
【0109】
なお、本実施形態では、車載機39が、通話処理162を実行することで、通話手段の一例として機能し、データ送信処理172を実行することでデータ送信手段の一例として機能する。
【0110】
(第2実施形態)
次に第2実施形態について説明する。本実施形態の覚醒維持システムは、第1実施形態の覚醒維持システムに対して、車載機39の作動を一部変更するものである。
【0111】
具体的には、第1実施形態の車載機39は、
図3に示すように、操作部36に対して会話要求操作が行われたことに基づいて、ステップ110で、通信装置35を用いて、会話要求を会話提供システム1の選択・中継機11に送信するようになっている。
【0112】
これに対し、本実施形態の車載機39は、
図7に示すように、ドライバの覚醒度低下を検出したことに基づいて、ドライバが音声通話を開始する操作を操作部36に対して行わなくても、ステップ110で会話要求を選択・中継機11に送信する。
【0113】
なお、覚醒度は、ドライバの眠気が強くなるほど低下する指標である。当該車外端末は、例えば、ドライバカメラ32から取得したドライバ画像に基づいて、ドライバの瞬きの頻度および1回の瞬きにかかる時間すなわち瞬き時間を特定する。そして、特定した瞬きの頻度が高くなるほど覚醒度の値が高くなるよう、かつ、特定した瞬き時間が長くなるほど覚醒度の値が高くなるよう、覚醒度を特定する。
【0114】
このようになっていることで、ドライバが音声通話を開始する操作を行わなくても、必要時に自動的に音声通話が開始されるので、ドライバが意識していないけれども覚醒維持が必要な場面においても、音声通話を開始することができる。
【0115】
(他の実施形態)
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるもおよび原理的に明らかに不可能な場合を除き、それら複数個の値の間の値を採用することも可能である。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。また、本発明は、上記各実施形態に対する以下のような変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち任意の組み合わせを、上記実施形態に適用することができる。
【0116】
(変形例1)
上記実施形態では、車外端末としてスタッフ端末12a、12b、12cおよび携帯端末4が例示されていたが、覚醒維持システムにおいて車外端末は1個のみ存在するようになっていてもよい。その場合、車載機39と通信して音声通話を媒介するのは、当該1個の車外端末のみとなる。
【0117】
またこの場合、選択・中継機11は車外端末を選択する必要がないので、選択・中継機11を廃してもよい。その場合、車外端末が選択・中継機11のうち車外端末を選択する機能以外の機能を実現するようになっていてもよい。
【0118】
(変形例2)
上記実施形態では、視線方向データは、車載機39が作成して車外端末に送信していたが、車外端末がドライバ画像データに基づいて作成してもよい。
【0119】
(変形例3)
上記実施形態では、スタッフ端末12a、12b、12cと車載システム3a、3bとの通信は、すべて選択・中継機11によって中継されている。しかし、スタッフ端末12a、12b、12cと車載システム3a、3bとの通信は、選択・中継機11によって中継されずに実現されていてもよい。
【0120】
(変形例4)
図4の会話相手を選択する処理において、希望相手DB中の希望相手リストおよび会話要求中の希望相手に基づいた順位で、最上位から順番に通話可能な相手を探すようになっている。しかし、必ずしもこのようになっておらずともよい。例えば、ステップ215の後、常に、不特定の業務スタッフが最優先になるよう、取得した希望相手リストをRAM中で変更するようになっていてもよい。
【0121】
この場合は、まずスタンバイ状態のスタッフ端末があれば、当該スタッフ端末に最優先で通話指示が送信され、タンバイ状態のスタッフ端末がないときに初めて、スタッフの配偶者、家族、会社同僚等の個人から通話可能な相手を選ぶ。