(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175171
(43)【公開日】2022-11-25
(54)【発明の名称】車両及び車両システム
(51)【国際特許分類】
B60R 11/02 20060101AFI20221117BHJP
G06F 3/16 20060101ALI20221117BHJP
B60N 3/00 20060101ALI20221117BHJP
G06F 16/90 20190101ALI20221117BHJP
【FI】
B60R11/02 W
B60R11/02 S
B60R11/02 M
G06F3/16 610
G06F3/16 620
G06F3/16 650
B60N3/00 Z
G06F16/90 100
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2021081381
(22)【出願日】2021-05-13
(71)【出願人】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】石原 義久
(72)【発明者】
【氏名】吉田 亮彦
(72)【発明者】
【氏名】和田 俊也
(72)【発明者】
【氏名】山田 優希
【テーマコード(参考)】
3B088
3D020
5B175
【Fターム(参考)】
3B088CA15
3D020BA06
3D020BA10
3D020BA11
3D020BB01
3D020BC01
3D020BC02
3D020BC07
3D020BD05
3D020BE01
3D020BE03
5B175EA01
5B175GA04
5B175GB01
(57)【要約】
【課題】車内にプライベート空間を形成し、かつ、必要に応じて運転者と搭乗者とのコミュニケーションを図ることが可能な車両及び車両システムを提供する。
【解決手段】車両1は、運転席側空間70と後部座席側空間80との間に設けられた音を遮る防音壁60と、運転席側空間70の運転者及び/又は車両1を制御するシステムのオペレータと、後部座席側空間80の搭乗者との間でコミュニケーションを行うためのテキスト及び/又は音声を出力するコミュニケーション装置2と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
運転席側空間と後部座席側空間との間に設けられた音を遮る仕切り部材と、
前記運転席側空間の運転者及び/又は車両を制御するシステムのオペレータと、前記後部座席側空間の搭乗者との間でコミュニケーションを行うためのテキスト及び/又は音声を出力するコミュニケーション手段と、
を備える、車両。
【請求項2】
請求項1に記載の車両において、
定型文のテキストと前記定型文の音声データとを対応付けて記憶する定型文記憶部を備え、
前記コミュニケーション手段は、前記定型文記憶部を参照し、前記コミュニケーションを行う一方の者からの入力に対応する出力を、前記コミュニケーションの相手方に行う、車両。
【請求項3】
請求項2に記載の車両において、
前記コミュニケーション手段は、前記定型文記憶部に記憶された前記定型文の内容を選択可能に配置したコミュニケーション画面を、前記コミュニケーションを行ういずれかの者に対して出力する画面出力手段を備える、車両。
【請求項4】
請求項3に記載の車両において、
前記定型文記憶部は、複数の言語に対応した前記定型文のテキストを記憶し、
前記コミュニケーション画面は、前記複数の言語から一の言語を選択可能な言語選択領域を含み、
前記画面出力手段は、前記コミュニケーション画面の前記言語選択領域により前記一の言語が選択されたことに応じて、選択された前記一の言語で記載がされた前記コミュニケーション画面を出力する、車両。
【請求項5】
請求項3又は請求項4に記載の車両において、
前記定型文記憶部の前記定型文の少なくとも一部に対応付けて前記車両に対する命令情報を記憶する命令記憶部を備え、
前記コミュニケーション手段は、
前記搭乗者による前記コミュニケーション画面に対する選択操作を受け付けたことに応じて、受け付けた前記選択操作に対応する前記命令記憶部の前記命令情報を有する場合に、前記命令情報を前記車両に係る操作を行う車両操作手段に出力する命令出力手段と、
前記命令出力手段が前記命令情報を出力したことに応じて、音声出力部に通知に係る音声データを出力する通知出力手段と、
を備える、車両。
【請求項6】
請求項3から請求項5までのいずれかに記載の車両において、
前記コミュニケーション画面は、前記搭乗者の発話による前記コミュニケーションを開始するための発話選択領域を含み、
前記コミュニケーション手段は、
前記搭乗者による前記発話選択領域の選択を受け付けたことに応じて、音声入力部を介して入力された前記搭乗者の発話データを受信する搭乗者発話受信手段と、
前記搭乗者発話受信手段が受信した前記搭乗者の発話データを、音声出力部を介して出力する搭乗者発話出力手段と、
を備える、車両。
【請求項7】
請求項1から請求項6までのいずれかに記載の車両において、
前記コミュニケーション手段は、音声入力部を介して入力された前記運転者及び/又は前記オペレータの発話データをテキストに変換し、変換した前記テキストを出力する発話内容出力手段を備える、車両。
【請求項8】
請求項7に記載の車両において、
前記コミュニケーション手段は、発話内容に対応する複数の応答文を対応付けて記憶した記憶部を参照して、前記運転者及び/又は前記オペレータの前記発話データに対する応答内容をさらに選択可能に配置した画面を出力する応答内容出力手段を備える、車両。
【請求項9】
請求項7又は請求項8に記載の車両において、
前記コミュニケーション手段は、前記運転者及び/又は前記オペレータの前記発話データを、音声出力部を介して出力する運転者発話出力手段を備える、車両。
【請求項10】
請求項7から請求項9までのいずれかに記載の車両において、
前記発話内容出力手段は、前記運転者及び/又は前記オペレータの前記発話データを前記テキストに変換し、変換した前記テキストを要約した要約文を出力する、車両。
【請求項11】
請求項1から請求項10までのいずれかに記載の車両において、
前記コミュニケーション手段は、
前記運転者及び/又は前記オペレータによる前記車両に対する所定の操作に係る信号を受信する操作信号受信手段と、
操作内容と出力するテキストとを対応付けた記憶部を参照して、前記操作信号受信手段が受信した前記信号に対する操作内容を示す前記テキストを出力する操作内容出力手段と、
を備える、車両。
【請求項12】
請求項1から請求項11までのいずれかに記載の車両において、
前記後部座席側空間に、前記搭乗者の状態を取得するセンサを備え、
前記コミュニケーション手段は、
前記センサからセンサデータを取得するセンサ取得手段と、
前記センサ取得手段が取得した前記センサデータに基づく状態情報を出力する状態音声出力手段と、
を備える、車両。
【請求項13】
請求項1から請求項12までのいずれかに記載の車両において、
前記コミュニケーション手段は、
前記後部座席側空間に有する前記搭乗者が使用する会議システム装置が接続され、
前記会議システム装置の使用に係る状況を受信したことに応じて、前記使用に係る状況を、音声出力部に出力する使用状況音声出力手段を備える、車両。
【請求項14】
請求項1から請求項13までのいずれかに記載の車両において、
前記コミュニケーション手段は、ジェスチャ認識手段を有し、前記ジェスチャ認識手段が認識したジェスチャに対応するテキスト及び/又は音声を相手方に出力するデータ出力手段を備える、車両。
【請求項15】
請求項1から請求項14までのいずれかに記載の車両において、
前記コミュニケーション手段は、所定のタイミングで定期通知情報を出力する定期通知手段を備える、車両。
【請求項16】
請求項1から請求項15までのいずれかに記載の車両において、
前記仕切り部材は、視界を遮る素材により形成されたものである、車両。
【請求項17】
請求項1から請求項16までのいずれかに記載の車両と、
前記車両の前記コミュニケーション手段に対して通信可能に接続されたサーバと、
を備えた車両システムであって、
前記コミュニケーション手段は、発話に係る音声データを前記サーバに送信することで、前記音声データの発話内容をテキスト化した前記テキストを、前記サーバから受信するサーバ送受信手段を備える、車両システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、道路上を走行する車両及び車両システムに関する。
【背景技術】
【0002】
従来、タクシーは、乗客の移動手段として用いられている。タクシーには、強盗等から運転者の安全を守るため、アクリル製の防護板が設けられているものもある。
また、車両において、良質な車室空間を形成する車両に関する文献が開示されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の文献は、車内にプライベート空間を形成するものである。車内にプライベート空間があれば、乗客は、車内にいる時間を様々な用途で有効活用できる。特に、多忙なビジネスパーソン向けにおける移動時間の有効活用として、車内での会議や、執務室としてのニーズがある。しかし、車内をこのような用途で用いる場合には、会議等での内容を運転者に聞かれることが問題になる。
一方で、例えば、空調の温度変更や、行先の指示等、運転者と乗客(搭乗者)との間でのコミュニケーションが必要な場合も生じる。
【0005】
そこで、本発明は、車内にプライベート空間を形成し、かつ、必要に応じて運転者と搭乗者とのコミュニケーションを図ることが可能な車両及び車両システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、以下のような解決手段により、前記課題を解決する。
第1の発明は、運転席側空間と後部座席側空間との間に設けられた音を遮る仕切り部材と、前記運転席側空間の運転者及び/又は車両を制御するシステムのオペレータと、前記後部座席側空間の搭乗者との間でコミュニケーションを行うためのテキスト及び/又は音声を出力するコミュニケーション手段と、を備える、車両である。
第2の発明は、第1の発明の車両において、定型文のテキストと前記定型文の音声データとを対応付けて記憶する定型文記憶部を備え、前記コミュニケーション手段は、前記定型文記憶部を参照し、前記コミュニケーションを行う一方の者からの入力に対応する出力を、前記コミュニケーションの相手方に行う、車両である。
第3の発明は、第2の発明の車両において、前記コミュニケーション手段は、前記定型文記憶部に記憶された前記定型文の内容を選択可能に配置したコミュニケーション画面を、前記コミュニケーションを行ういずれかの者に対して出力する画面出力手段を備える、車両である。
第4の発明は、第3の発明の車両において、前記定型文記憶部は、複数の言語に対応した前記定型文のテキストを記憶し、前記コミュニケーション画面は、前記複数の言語から一の言語を選択可能な言語選択領域を含み、前記画面出力手段は、前記コミュニケーション画面の前記言語選択領域により前記一の言語が選択されたことに応じて、選択された前記一の言語で記載がされた前記コミュニケーション画面を出力する、車両である。
第5の発明は、第3の発明又は第4の発明の車両において、前記定型文記憶部の前記定型文の少なくとも一部に対応付けて前記車両に対する命令情報を記憶する命令記憶部を備え、前記コミュニケーション手段は、前記搭乗者による前記コミュニケーション画面に対する選択操作を受け付けたことに応じて、受け付けた前記選択操作に対応する前記命令記憶部の前記命令情報を有する場合に、前記命令情報を前記車両に係る操作を行う車両操作手段に出力する命令出力手段と、前記命令出力手段が前記命令情報を出力したことに応じて、音声出力部に通知に係る音声データを出力する通知出力手段と、を備える、車両である。
第6の発明は、第3の発明から第5の発明までのいずれかの車両において、前記コミュニケーション画面は、前記搭乗者の発話による前記コミュニケーションを開始するための発話選択領域を含み、前記コミュニケーション手段は、前記搭乗者による前記発話選択領域の選択を受け付けたことに応じて、音声入力部を介して入力された前記搭乗者の発話データを受信する搭乗者発話受信手段と、前記搭乗者発話受信手段が受信した前記搭乗者の発話データを、音声出力部を介して出力する搭乗者発話出力手段と、を備える、車両である。
第7の発明は、第1の発明から第6の発明までのいずれかの車両において、前記コミュニケーション手段は、音声入力部を介して入力された前記運転者及び/又は前記オペレータの発話データをテキストに変換し、変換した前記テキストを出力する発話内容出力手段を備える、車両である。
第8の発明は、第7の発明の車両において、前記コミュニケーション手段は、発話内容に対応する複数の応答文を対応付けて記憶した記憶部を参照して、前記運転者及び/又は前記オペレータの前記発話データに対する応答内容をさらに選択可能に配置した画面を出力する応答内容出力手段を備える、車両である。
第9の発明は、第7の発明又は第8の発明の車両において、前記コミュニケーション手段は、前記運転者及び/又は前記オペレータの前記発話データを、音声出力部を介して出力する運転者発話出力手段を備える、車両である。
第10の発明は、第7の発明から第9の発明までのいずれかの車両において、前記発話内容出力手段は、前記運転者及び/又は前記オペレータの前記発話データを前記テキストに変換し、変換した前記テキストを要約した要約文を出力する、車両である。
第11の発明は、第1の発明から第10の発明までのいずれかの車両において、前記コミュニケーション手段は、前記運転者及び/又は前記オペレータによる前記車両に対する所定の操作に係る信号を受信する操作信号受信手段と、操作内容と出力するテキストとを対応付けた記憶部を参照して、前記操作信号受信手段が受信した前記信号に対する操作内容を示す前記テキストを出力する操作内容出力手段と、を備える、車両である。
第12の発明は、第1の発明から第11の発明までのいずれかの車両において、前記後部座席側空間に、前記搭乗者の状態を取得するセンサを備え、前記コミュニケーション手段は、前記センサからセンサデータを取得するセンサ取得手段と、前記センサ取得手段が取得した前記センサデータに基づく状態情報を出力する状態音声出力手段と、を備える、車両である。
第13の発明は、第1の発明から第12の発明までのいずれかの車両において、前記コミュニケーション手段は、前記後部座席側空間に有する前記搭乗者が使用する会議システム装置が接続され、前記会議システム装置の使用に係る状況を受信したことに応じて、前記使用に係る状況を、音声出力部に出力する使用状況音声出力手段を備える、車両である。
第14の発明は、第1の発明から第13の発明までのいずれかの車両において、前記コミュニケーション手段は、ジェスチャ認識手段を有し、前記ジェスチャ認識手段が認識したジェスチャに対応するテキスト及び/又は音声を相手方に出力するデータ出力手段を備える、車両である。
第15の発明は、第1の発明から第14の発明までのいずれかの車両において、前記コミュニケーション手段は、所定のタイミングで定期通知情報を出力する定期通知手段を備える、車両である。
第16の発明は、第1の発明から第15の発明までのいずれかの車両において、前記仕切り部材は、視界を遮る素材により形成されたものである、車両である。
第17の発明は、第1の発明から第16の発明までのいずれかの車両と、前記車両の前記コミュニケーション手段に対して通信可能に接続されたサーバと、を備えた車両システムであって、前記コミュニケーション手段は、発話に係る音声データを前記サーバに送信することで、前記音声データの発話内容をテキスト化した前記テキストを、前記サーバから受信するサーバ送受信手段を備える、車両システムである。
【発明の効果】
【0007】
本発明によれば、車内にプライベート空間を形成し、かつ、必要に応じて運転者と搭乗者とのコミュニケーションを図ることが可能な車両及び車両システムを提供することができる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る車両の平面構造を示す図である。
【
図2】第1実施形態に係る車両システムの全体概要を示す図である。
【
図3】第1実施形態に係るコミュニケーション装置の機能ブロックを示す図である。
【
図4】第1実施形態に係るコミュニケーション装置のコミュニケーション画面の例を示す図である。
【
図5】第1実施形態に係るコミュニケーション装置の搭乗者側操作処理を示すフローチャートである。
【
図6】第1実施形態に係るコミュニケーション装置の表示例を示す図である。
【
図7】第1実施形態に係るコミュニケーション装置の表示例を示す図である。
【
図8】第1実施形態に係るコミュニケーション装置の運転席側発話処理を示すフローチャートである。
【
図9】第1実施形態に係るコミュニケーション装置の表示例を示す図である。
【
図10】第2実施形態に係る車両システムの全体概要を示す図である。
【
図11】第2実施形態に係るコミュニケーション装置の機能ブロックを示す図である。
【
図12】第2実施形態に係るコミュニケーション装置の選択処理部及び運転者発話処理部の機能ブロックを示す図である。
【
図13】第2実施形態に係るコミュニケーション装置の記憶部の項目例を示す図である。
【
図14】第2実施形態に係るコミュニケーション装置の搭乗者側操作処理を示すフローチャートである。
【
図15】第2実施形態に係るコミュニケーション装置のメッセージ処理を示すフローチャートである。
【
図16】第2実施形態に係るコミュニケーション装置のセンサ処理を示すフローチャートである。
【
図17】第2実施形態に係るコミュニケーション装置の運転席側発話処理を示すフローチャートである。
【
図18】第2実施形態に係るコミュニケーション装置のテキスト出力処理を示すフローチャートである。
【
図19】第2実施形態に係るコミュニケーション装置の通知処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
(第1実施形態)
<車両1の概要及び内部構成>
図1は、第1実施形態に係る車両1の平面構造を示す図である。
図1に示す車両1は、タクシーやリムジン等の、例えば、職業運転者が運転を行う商用車である。
車両1は、防音壁60(仕切り部材)を備える。防音壁60は、運転席側空間70と、後部座席側空間80との間を隔てるように設けられている。防音壁60は、運転席側空間70で生じた音を、後部座席側空間80に伝わらないようにし、また、後部座席側空間80で生じた音を、運転席側空間70に伝わらないようにするためのものである。防音壁60は、また、音だけではなく、運転席側空間70と後部座席側空間80との視界を遮る素材により形成されていてもよい。
【0010】
運転席側空間70は、防音壁60よりも前側の空間であり、運転席を含む。
後部座席側空間80は、防音壁60よりも後ろ側の空間であり、1以上の客席を含む。
後部座席側空間80には、搭乗者が用いるコミュニケーション装置2(コミュニケーション手段)を備える。後部座席側空間80の搭乗者は、例えば、運転席側空間70で車両1を運転している運転者に対して話しかけたい場合であっても、防音壁60により話かけることができない。そのため、搭乗者は、例えば、運転席側空間70で車両1を運転している運転者との間でのコミュニケーションを行うために、コミュニケーション装置2を用いる。つまり、運転者と搭乗者とは、コミュニケーション装置2を、一方から相手方に対してテキスト及び/又は音声によるコミュニケーションを行うためのコミュニケーションツールとして用いる。
【0011】
なお、以下においては、車両1における、特にコミュニケーションに係る機能を中心に説明する。車両1の運転に係る機能については、一般的な車両の機能と同様であるため、コミュニケーションに係る機能を除いて説明を省略する。
【0012】
<車両システム100>
次に、車両1を含む車両システム100について説明する。
図2は、第1実施形態に係る車両システム100の全体概要を示す図である。
図3は、第1実施形態に係るコミュニケーション装置2の機能ブロックを示す図である。
図4は、第1実施形態に係るコミュニケーション装置2のコミュニケーション画面50の例を示す図である。
【0013】
車両システム100は、車両1において、運転席側空間70の運転者と、運転者とは防音壁60により隔てられた後部座席側空間80の搭乗者との間でのコミュニケーションに用いられるシステムである。
図2に示すように、車両システム100は、車両1と、音声認識サーバ5aと、地図サーバ5bとを備える。
車両1と、音声認識サーバ5a及び地図サーバ5bとの間は、通信ネットワークNを介して接続されている。
通信ネットワークNは、例えば、公衆回線や、携帯電話回線(例えば、5G(5th Generation)やLTE(Long Term Evolution))等のインターネット接続回線のワイドエリアネットワークである。なお、通信ネットワークNは、これに限定されるものではなく、例えば、ローカルエリアネットワーク等であってもよく、複数のネットワークを含んでもよい。
【0014】
車両1の説明の前に、音声認識サーバ5aと、地図サーバ5bとについて説明する。
音声認識サーバ5aは、音声データを認識して、音声データから音声内容のテキストを生成するサーバである。
地図サーバ5bは、車両1の位置データに基づいて、地図上に車両1の位置を示した地図データを生成するサーバである。
音声認識サーバ5aと地図サーバ5bとは、図示しないが、制御部、記憶部、通信インタフェース部等を備える。また、音声認識サーバ5aと地図サーバ5bとを構成するハードウェアの数に制限はなく、必要に応じて、1又は複数で構成してもよい。さらに、音声認識サーバ5aと地図サーバ5bとは、例えば、クラウドであってもよい。
【0015】
次に、車両1について説明する。
車両1は、運転席側空間70にマイク71(音声入力部)と、スピーカ72(音声出力部)とを備え、後部座席側空間80に、上記したコミュニケーション装置2を備える。
マイク71は、運転者の発話を取得するために用いられる音声入力装置である。マイク71は、例えば、運転者の襟元に装着される。運転者の発話内容は、マイク71を介した音声データとして、例えば、UHF(Ultra High Frequency)によってコミュニケーション装置2に送信される。
【0016】
スピーカ72は、搭乗者の発話内容に係る音声や、通知音等を出力する音声出力装置である。スピーカ72は、例えば、運転者の帽子等に装着し、又は、運転者の近傍に設置される。スピーカ72は、コミュニケーション装置2から出力された音声データを、例えば、Bluetooth(登録商標)等によって受信して、音声出力をする。
なお、上記したマイク71及びスピーカ72と、コミュニケーション装置2との間におけるデータの送受信の方法については、一例であって、他の通信技術等を用いてもよい。
【0017】
コミュニケーション装置2は、上記したように、運転者と搭乗者との間のコミュニケーションに用いられる装置であり、例えば、タブレット等の端末である。コミュニケーション装置2は、その他、携帯端末等であってもよい。また、コミュニケーション装置2は、予め車両1に据え置かれたものであってもよいし、搭乗者が所持するものであってもよい。
【0018】
<コミュニケーション装置2>
次に、コミュニケーション装置2の機能ブロックについて説明する。
図3に示すように、コミュニケーション装置2は、制御部10(コミュニケーション手段)と、記憶部40と、通信インタフェース部49と、マイク81(音声入力部)と、スピーカ82(音声出力部)と、タッチパネルディスプレイ85とを備える。
【0019】
制御部10は、コミュニケーション装置2の全体を制御するCPU(中央処理装置)である。制御部10は、記憶部40に記憶されているOS(オペレーティングシステム)やアプリケーションプログラム等を適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部10は、運転者と搭乗者との間のコミュニケーションに係る制御を行う。制御部10は、画面出力部11(画面出力手段)と、選択受付部12と、選択処理部13と、運転者発話受信部21と、運転者発話処理部22とを備える。
【0020】
画面出力部11は、搭乗者が運転者との間でコミュニケーションを行うために用いるコミュニケーション画面50を、タッチパネルディスプレイ85に出力する。
図4は、タッチパネルディスプレイ85に出力するコミュニケーション画面50を示す。コミュニケーション画面50は、例えば、コミュニケーション装置2に電源投入がされると、タッチパネルディスプレイ85に表示される。
【0021】
コミュニケーション画面50は、画面右に、メッセージ送信のためのボタン領域を有する。ボタン領域は、サービス選択領域51と、応答選択領域52と、緊急選択領域53とを含む。サービス選択領域51、応答選択領域52及び緊急選択領域53は、予め用意されている各定型文に対応したボタンを選択可能に配置した領域である。サービス選択領域51、応答選択領域52及び緊急選択領域53に配置された各ボタンには、例えば、後述する定型文記憶部42の定型文を一意に特定するID(IDentification)が対応付けられている。
【0022】
ここで、応答選択領域52に出力される内容は、コミュニケーション画面50を用いて搭乗者から最初にアプローチする際に用いるものではない。そのため、最初に出力するコミュニケーション画面50では、応答選択領域52を非表示にしておき、搭乗者による最初のアプローチ後や、運転者からのアプローチがあった際に、非表示になっていた応答選択領域52を表示させるようにしてもよい。
【0023】
コミュニケーション画面50は、画面左上側にメッセージ表示領域55を有する。また、コミュニケーション画面50は、画面左下側に現在地表示ボタン58と、音声通話ボタン59(発話選択領域)とを有する。メッセージ表示領域55は、搭乗者及び運転者のメッセージや、発話の内容をテキストで出力する。テキストは、搭乗者と運転者との別を出力してもよい。また、テキストは、メッセージを送信し、及び、発話をした時刻を出力してもよい(後述する
図7参照)。現在地表示ボタン58は、車両1の現在位置を示す地図を表示させるためのボタンである。音声通話ボタン59は、運転者との間で音声による通話を開始するためのボタンである。
【0024】
図3の選択受付部12は、コミュニケーション画面50において搭乗者がした選択操作を受け付ける。
選択処理部13は、選択受付部12が受け付けた選択操作に対する処理を行う。選択処理部13は、音声出力部14と、搭乗者発話受信部17(搭乗者発話受信手段)と、搭乗者発話出力部18(搭乗者発話出力手段)とを備える。
音声出力部14は、選択受付部12が受け付けた選択操作が、サービス選択領域51、応答選択領域52又は緊急選択領域53に配置されたいずれかのボタンの選択であった場合に、選択操作を受け付けたボタンに対応する定型文の音声データを、後述する定型文記憶部42から抽出する。そして、音声出力部14は、抽出した音声データをスピーカ72に出力する。
【0025】
搭乗者発話受信部17は、選択受付部12が受け付けた選択操作が、音声通話ボタン59の選択であった場合に、マイク81を介して入力された搭乗者の発話データを受信する。
搭乗者発話出力部18は、搭乗者発話受信部17が受信した搭乗者の発話データを、スピーカ72に出力する。
【0026】
運転者発話受信部21は、マイク71を介して入力された運転者の発話データを受信する。
運転者発話処理部22は、運転者発話受信部21が受信した発話データに対する処理を行う。運転者発話処理部22は、テキスト変換部23(サーバ送受信手段)と、テキスト出力部25(発話内容出力手段)と、運転者発話出力部27(運転者発話出力手段)とを備える。
テキスト変換部23は、運転者発話受信部21が受信した発話データを、テキストに変換する。より具体的には、テキスト変換部23は、例えば、発話データを音声認識サーバ5aに送信することで、音声認識サーバ5aでは、受信した発話データを音声認識して、発話内容のテキストにテキスト化(変換)する。そして、音声認識サーバ5aは、変換がされたテキストをコミュニケーション装置2に送信するので、テキスト変換部23は、音声認識サーバ5aからテキストを取得する。
【0027】
テキスト出力部25は、テキスト変換部23が変換した発話内容を示すテキストを、コミュニケーション画面50のメッセージ表示領域55に出力する。
運転者発話出力部27は、運転者発話受信部21が受信した発話データを、スピーカ82に出力する。
【0028】
記憶部40は、制御部10を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部40は、プログラム記憶部41と、定型文記憶部42とを備える。
プログラム記憶部41は、各種のプログラムを記憶する記憶領域である。プログラム記憶部41は、上述した制御部10の各種機能を実行するためのプログラムを記憶している。
【0029】
定型文記憶部42は、予め決められた定型文のテキストと、定型文の音声データとを対応付けて記憶する記憶領域である。定型文記憶部42は、例えば、定型文を一意に示すIDをキーにして、テキストと、音声データとを対応付けて記憶する。音声データは、テキストの内容を示す音声データである。音声データには、その他、例えば、ブザー音等の注意喚起の音等を含んでもよい。
【0030】
通信インタフェース部49は、音声認識サーバ5aや地図サーバ5bの他、車両1内のマイク71及びスピーカ72との間で通信を行うためのインタフェースである。
マイク81は、搭乗者の発話を取得するために用いられる音声入力装置である。マイク81は、例えば、コミュニケーション装置2に内蔵されている。
スピーカ82は、運転者の発話内容等を出力する音声出力装置である。スピーカ82は、例えば、コミュニケーション装置2に内蔵されている。
タッチパネルディスプレイ85は、液晶パネル等で構成される表示部としての機能と、搭乗者の指による各種操作入力を行う入力部としての機能とを有する。
ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、コミュニケーション装置2は、制御部10、記憶部40等を備えた情報処理装置であり、コンピュータの概念に含まれる。
【0031】
次に、車両システム100の処理について説明する。
<搭乗者によるコミュニケーション開始処理>
まず、搭乗者からコミュニケーション開始のアプローチをする場合の処理について説明する。
図5は、第1実施形態に係るコミュニケーション装置2の搭乗者側操作処理を示すフローチャートである。
図6及び
図7は、第1実施形態に係るコミュニケーション装置2の表示例を示す図である。
【0032】
図5のステップS(以下、「ステップS」を単に「S」という。)11において、コミュニケーション装置2の制御部10(画面出力部11)は、例えば、
図4に示すコミュニケーション画面50を、タッチパネルディスプレイ85に出力する。
S12において、制御部10(選択受付部12)は、コミュニケーション画面50において搭乗者がしたタッチ操作(選択操作)を受け付ける。
【0033】
S13において、制御部10(選択受付部12)は、受け付けた選択操作が通話ボタンの選択であるか否かを判断する。搭乗者のタップ(タッチ操作)により、例えば、
図6(A)に示す音声通話ボタン59が選択された場合には、制御部10は、通話ボタンが選択されたと判断する。受け付けた選択操作が通話ボタンの選択である場合(S13:YES)には、制御部10は、処理をS14に移す。他方、受け付けた選択操作が通話ボタンの選択ではない場合(S13:NO)には、制御部10は、処理をS15に移す。
【0034】
S14において、制御部10(搭乗者発話受信部17、搭乗者発話出力部18)は、音声通話処理を行う。具体的には、制御部10は、
図6(A)に示すコミュニケーション画面50を、
図6(B)に示すコミュニケーション画面50-2に変更する。
図6(B)に示すコミュニケーション画面50-2は、通話中である旨が表示され、通話終了ボタン69のみを有するものになっている。その状態で、搭乗者がコミュニケーション装置2に向かって発話をすることで、制御部10は、マイク81を介して発話データを受信し、受信した発話データを、運転席側空間70に有するスピーカ72に出力する。運転者は、スピーカ72から出力された音声によって、搭乗者の発話内容を聞き取ることができる。
なお、例えば、搭乗者がコミュニケーション画面50-2の通話終了ボタン69をタップすることで、制御部10は、音声通話処理を終了する。
【0035】
他方、S15において、制御部10(選択受付部12)は、受け付けた選択操作がメッセージ送信のためのボタンの選択であるか否かを判断する。搭乗者のタップにより、例えば、
図7に示すボタン51aが選択された場合には、制御部10は、メッセージ送信のためのボタンが選択されたと判断する。受け付けた選択操作がメッセージ送信のためのボタンの選択である場合(S15:YES)には、制御部10は、処理をS16に移す。他方、受け付けた選択操作がメッセージ送信のためのボタンの選択ではない場合(S15:NO)には、制御部10は、例えば、図示しない選択操作に対応する処理を行った後に、本処理を終了する。
【0036】
ここで、図示しない選択操作に対応する処理の一例としては、現在地表示ボタン58(
図4参照)の選択操作が挙げられる。制御部10(選択受付部12)が受け付けた選択操作が、現在地表示ボタン58であった場合には、制御部10は、例えば、コミュニケーション装置2に有する図示しないGPS(Global Positioning System)受信部が受信した位置データを、地図サーバ5bに送信する。そうすることで、コミュニケーション装置2は、現在地が示された地図データを地図サーバ5bから受信するので、制御部10は、受信した地図データをコミュニケーション画面50に出力する。
【0037】
S16において、制御部10(音声出力部14)は、選択操作に対応する定型文の音声データを、定型文記憶部42から取得する。
S17において、制御部10(音声出力部14)は、取得した音声データを運転席側空間70に有するスピーカ72に出力する。そうすることで、運転者は、搭乗者が選択操作をしたメッセージ送信のためのボタンに対応する定型文の内容を、音声として聞き取ることができる。
【0038】
なお、制御部10は、定型文の音声データを、定型文記憶部42から取得すると共に、定型文のテキストを、定型文記憶部42から取得する。そして、制御部10は、
図7に示すコミュニケーション画面50のように、ボタン51aに対応したメッセージ55aを、メッセージ表示領域55に出力する。
【0039】
運転者は、搭乗者が選択操作に対応した定型文を音声として聞き取った場合に、音声に対する応答(返答)をする場合がある。その場合には、コミュニケーション装置2は、次に説明する運転席側発話処理を行う。
また、運転者からコミュニケーションを開始する場合にも、コミュニケーション装置2は、次に説明する運転席側発話処理を行う。
【0040】
<運転者による発話処理>
図8は、第1実施形態に係るコミュニケーション装置2の運転席側発話処理を示すフローチャートである。
図9は、第1実施形態に係るコミュニケーション装置2の表示例を示す図である。
運転者が搭乗者との間でコミュニケーションを行う際には、例えば、マイク71の電源を投入した上で発話をする。そうすることで、
図8のS51において、コミュニケーション装置2の制御部10(運転者発話受信部21)は、マイク71を介して発話データを受信する。
【0041】
S52において、制御部10(運転者発話処理部22)は、後部座席側空間80での音声出力が可能であるか否かを判断する。例えば、
図5のS14の処理が行われており、既に搭乗者が音声通話処理をしている場合には、制御部10は、音声出力が可能であると判断する。また、運転者側からコミュニケーションを開始する場合や、搭乗者による選択操作に対応した音声データの返事である場合には、制御部10は、一律に音声出力が不可であると判断してもよい。後部座席側空間80での音声出力が可能である場合(S52:YES)には、制御部10は、処理をS53に移す。他方、後部座席側空間80での音声出力が可能ではない場合(S52:NO)には、制御部10は、処理をS54に移す。
【0042】
S53において、制御部10(運転者発話出力部27)は、音声通話処理を行う。制御部10は、S51の処理でマイク71から受信した発話データを、後部座席側空間80に有するスピーカ82に出力する。搭乗者は、スピーカ82から出力された音声によって運転者の発話内容を聞き取ることができる。
【0043】
他方、S54において、制御部10(テキスト変換部23)は、マイク71から受信した発話データを、音声認識サーバ5aに送信する。そうすることで、音声認識サーバ5aの制御部は、発話データを音声認識し、発話内容のテキストに変換する。
S55において、制御部10(テキスト変換部23)は、音声認識サーバ5aから発話データに対するテキストを受信する。
S56において、制御部10(テキスト出力部25)は、受信したテキストを、コミュニケーション画面50のメッセージ表示領域55に出力する。
図9(A)は、運転者が「出発します」と発話した場合のコミュニケーション画面50の表示例を示す。
図9(A)のコミュニケーション画面50には、運転者の「出発します」との発話に対応するメッセージ55bが、メッセージ表示領域55に出力される。
【0044】
その後、搭乗者が、運転者からのメッセージに対する応答を行う場合には、例えば、
図9(B)に示すように、応答選択領域52からボタン52aを選択する。そうすると、制御部10(音声出力部14)は、選択操作に対応する定型文の音声データを、定型文記憶部42から取得する(
図5のS16)。そして、制御部10は、
図9(B)に示すように、コミュニケーション画面50のメッセージ表示領域55に、ボタン52aに対応したメッセージ55cを出力する。
また、制御部10(音声出力部14)は、取得した音声データを運転席側空間70に有するスピーカ72に出力する(
図5のS17)。そうすることで、運転者は、運転者が発話したことへの応答として、搭乗者の選択操作に対応するメッセージを、音声として聞き取ることができる。
【0045】
このように、第1実施形態によれば、車両システム100は、以下のような効果がある。
(1)運転席側空間70と、後部座席側空間80とが防音壁60により隔てられている車両1であっても、運転者と搭乗者とのコミュニケーションを、コミュニケーション装置2を用いて行うことができる。後部座席側空間80に有するコミュニケーション装置2は、タッチパネルディスプレイ85に出力するコミュニケーション画面50を介して、テキスト及び発話による前記コミュニケーションを行うことができる。そのため、搭乗者は、音声又はテキストによるコミュニケーションを行うことができ、搭乗者のニーズに応じたコミュニケーションを行うことができる。
(2)防音壁60を、運転席側空間70と後部座席側空間80との視界を遮るものにすることで、搭乗者は、運転者の視線を気にすることなく、よりプライベートな空間で過ごすことができる。
【0046】
(3)コミュニケーション装置2のタッチパネルディスプレイ85にメッセージ送信のためのボタン領域を含むコミュニケーション画面50を出力し、搭乗者によるコミュニケーション画面50に対するタップを受け付けたことに応じて、選択操作に対応する定型文記憶部42の音声データを、運転席側空間70に有するスピーカ72に出力する。よって、運転者に対しては音声によるコミュニケーションを行うので、運転者は、運転操作を行いながら安全にコミュニケーションを行うことができる。
【0047】
(4)コミュニケーション画面50は、搭乗者の発話によるコミュニケーションを開始するための音声通話ボタン59を含み、搭乗者による音声通話ボタン59のタップを受け付けたことに応じて、マイク81を介して入力された搭乗者の発話データを、運転席側空間70に有するスピーカ72に出力する。よって、搭乗者は、自身で音声通話を選んで、運転者と音声通話によるコミュニケーションを行うことができる。
【0048】
(5)運転席側空間70に有するマイク71を介して入力された運転者の発話データを受信して、受信した発話データを音声認識処理によってテキストに変換し、変換したテキストを、コミュニケーション画面50に出力する。よって、搭乗者は、運転者が発話した内容を、テキストとして確認することができる。
(6)運転席側空間70に有するマイク71を介して入力された運転者の発話データを受信して、受信した発話データを、スピーカ82を介して出力する。よって、運転者の発話を、音声として直接搭乗者が聞くことができる。
【0049】
(第2実施形態)
第2実施形態では、車両内の様々な機器のデータを用いて、特に運転者のコミュニケーションを補助するものについて説明する。なお、以降の説明において、上述した第1実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
【0050】
<車両システム200>
車両201を含む車両システム200について説明する。
図10は、第2実施形態に係る車両システム200の全体概要を示す図である。
図11は、第2実施形態に係るコミュニケーション装置202の機能ブロックを示す図である。
図12は、第2実施形態に係るコミュニケーション装置202の選択処理部213及び運転者発話処理部222の機能ブロックを示す図である。
図13は、第2実施形態に係るコミュニケーション装置202の記憶部240の項目例を示す図である。
【0051】
図示しないが、車両201の平面構造は、後部座席側空間80に、コミュニケーション装置2に代えてタブレット286を有することを除いて、第1実施形態(
図1)と同様である。なお、タブレット286は、その他、携帯端末等であってもよいし、搭乗者が所持するもの等であってもよい。
図10に示すように、車両システム200は、車両201と、音声認識サーバ5aと、地図サーバ5bとを備える。
【0052】
車両201は、運転席側空間70にマイク71と、スピーカ72とを備え、後部座席側空間80に、センサ283と、タブレット286とを備える。
センサ283は、例えば、搭乗者の状態を検出するためのものである。センサ283は、例えば、カメラであってもよいし、搭乗者の心拍数や体温、姿勢等を検出する生体センサであってもよい。
タブレット286は、コミュニケーション装置202の入出力装置としての機能を有する。
【0053】
また、車両201は、空間外領域290に、車両制御装置291(車両操作手段)と、サービスサーバ292とを備える。
ここで、
図10では、空間外領域290を、運転席側空間70及び後部座席側空間80とは異なる空間として示している。しかし、この第2実施形態では、空間外領域290を、運転席側空間70及び後部座席側空間80に限定しないという意味で用いる。よって、空間外領域290は、運転席側空間70及び後部座席側空間80の少なくとも一方の領域を含むものであってもよい。
【0054】
車両制御装置291は、車両201の各種運転操作に係る信号を、車両201に備える図示しない運転制御装置から取得する装置である。そして、車両制御装置291は、運転制御装置から取得した車両201の各種運転操作に係る信号を、後述する制御部210に送出する装置である。車両制御装置291は、例えば、ハンドルやアクセル、ブレーキといった走行に関する操作に係る操作信号を受信し、後述する制御部210に送出する。ここで、車両制御装置291は、車両201から受信した信号そのものではなく、制御部210で処理可能な信号に変換してから送信してもよい。車両制御装置291は、これらの操作信号を、例えば、車両201のECU(Electronic Control Unit)(図示せず)等から受信することで取得する。
【0055】
また、車両制御装置291は、車両201の各種操作に係る命令情報を、後述する制御部210から取得する装置である。そして、車両制御装置291は、制御部210から取得した命令情報に対応する操作信号を、車両201の各装置(図示せず)に送出する。車両制御装置291は、例えば、エアコンやカーナビの操作に係る命令情報を、制御部210から受信して、命令情報に対応する操作信号を、エアコン装置等に送出する。
図示しないが、車両制御装置291は、制御部と、記憶部と、車両インタフェース部と、通信インタフェース部等とを備える。車両インタフェース部は、車両201の各装置との間での信号を送受信するためのインタフェースである。
【0056】
サービスサーバ292は、運転者と搭乗者との間のコミュニケーションを補助するためのサーバ(装置)である。サービスサーバ292は、例えば、コンピュータであってもよい。
第2実施形態において、コミュニケーション装置202は、タブレット286と、サービスサーバ292とによって構成される。つまり、タブレット286と、サービスサーバ292とには、共に、制御部、記憶部、通信インタフェース部等を備える。しかし、次に説明するコミュニケーション装置202の制御部、記憶部、通信インタフェース部等は、タブレット286と、サービスサーバ292とのいずれかを限定するものではない。
【0057】
<コミュニケーション装置202>
次に、コミュニケーション装置202の機能ブロックについて説明する。
図11に示すように、コミュニケーション装置202は、制御部210と、記憶部240と、通信インタフェース部49と、マイク81と、スピーカ82と、タッチパネルディスプレイ85とを備える。ここで、タブレット286(
図10参照)は、コミュニケーション装置202のマイク81、スピーカ82及びタッチパネルディスプレイ85を含む。
【0058】
制御部210は、画面出力部11と、選択受付部12と、選択処理部213と、センサ取得部219(センサ取得手段)と、状態音声出力部220(状態音声出力手段)と、運転者発話受信部21と、運転者発話処理部222と、定期通知部228(定期通知手段)と、操作信号受信部229(操作信号受信手段)と、操作内容出力部230(操作内容出力手段)とを備える。
【0059】
選択処理部213は、
図12(A)に示すように、音声出力部14と、命令出力部215(命令出力手段)と、通知出力部216(通知出力手段)と、搭乗者発話受信部17と、搭乗者発話出力部18とを備える。
命令出力部215は、選択受付部12が受け付けた選択操作に対応する命令情報を、後述する命令記憶部243に有する場合に、命令情報を車両制御装置291に出力する。ここで、命令情報とは、例えば、エアコンやカーナビの操作に係る操作信号に対応する情報である。
通知出力部216は、命令出力部215が命令情報を車両制御装置291に出力した場合に、通知データ(通知に係る音声データ)を、運転席側空間70に有するスピーカ72に出力する。
【0060】
図11に示すセンサ取得部219は、センサ283からセンサデータを取得する。センサ取得部219は、常にセンサデータを取得してもよいし、例えば、1分おき等の定期的なタイミングでセンサデータを取得してもよい。
状態音声出力部220は、センサ取得部219が取得したセンサデータに基づく状態情報を、運転席側空間70に有するスピーカ72に出力する。
【0061】
運転者発話処理部222は、
図12(B)に示すように、テキスト変換部23と、要約生成部224と、テキスト出力部225(発話内容出力手段)と、追加画面出力部226(応答内容出力手段)と、運転者発話出力部27とを備える。
要約生成部224は、テキスト変換部23により変換したテキストに基づいて、テキストの内容を要約した要約文を生成する。ここで、テキストから要約文を生成する方法としては、種々の公知の技術を用いて行うことができる。
テキスト出力部225は、要約生成部224が生成した要約文のテキストを、コミュニケーション画面50のメッセージ表示領域55に出力する。
追加画面出力部226は、テキスト変換部23が変換したテキストの内容に応じて、記憶部240に記憶された発話内容に対応する複数の応答文を対応付けて記憶したテーブル(記憶部、図示せず)を参照して、発話に対する応答内容をさらに選択可能にした追加画面を、タッチパネルディスプレイ85に出力する。
【0062】
図11の定期通知部228は、後述する定期通知記憶部245を参照し、所定のタイミングで定期通知情報を、タッチパネルディスプレイ85に出力する。
操作信号受信部229は、運転者による車両201に対する所定の操作に係る信号を、車両制御装置291から受信する。ここで、所定の操作とは、例えば、急ハンドルや急ブレーキ等である。
操作内容出力部230は、後述する操作通知記憶部246を参照し、操作信号受信部229が受信した信号に対する操作内容を示すテキストを、タッチパネルディスプレイ85に出力する。
【0063】
記憶部240は、プログラム記憶部241と、定型文記憶部42と、命令記憶部243と、状態記憶部244と、定期通知記憶部245と、操作通知記憶部246とを備える。
プログラム記憶部241は、上述した制御部210の各種機能を実行するためのプログラムを記憶している。
定型文記憶部42は、例えば、
図13(A)に示すように、IDをキーにしてテキストと音声データとを対応付けて記憶する。
【0064】
命令記憶部243は、定型文記憶部42の定型文の少なくとも一部に対応付けて車両201に対する命令情報を記憶する。ここで、命令情報とは、例えば、エアコンやカーナビの操作に係る情報であり、温度設定に関するものや、目的地までの距離に関するもの等である。命令記憶部243は、例えば、
図13(B)に示すように、IDをキーにして命令情報と通知データ(音声データ)とを記憶する。ここで、IDは、定型文記憶部42のIDと同じである。
状態記憶部244は、センサデータに係る報知条件を記憶する記憶領域である。状態記憶部244は、例えば、
図13(C)に示すように、報知条件と音声データとを対応付けて記憶する。報知条件は、例えば、心拍数の場合には、1分間あたりの心拍数が100以上である、又は、心拍数が40未満である、といった心拍数の異常を示すものである。
【0065】
定期通知記憶部245は、定期的に通知する条件を記憶する記憶領域である。定期通知記憶部245は、例えば、
図13(D)に示すように、タイミング情報と通知データ(定期通知情報)とを対応付けて記憶する。タイミング情報と通知データとの組み合わせとしては、例えば、20分に一度、車両201内の換気を促す通知等がある。
操作通知記憶部246は、操作内容に応じた通知内容を記憶する記憶領域である。操作通知記憶部246は、操作内容と通知データ(テキスト)とを対応付けて記憶する。操作内容と通知データとの組み合わせとしては、例えば、急ハンドルと「急ハンドルにご注意ください」、といったものや、急ブレーキと「急ブレーキにご注意ください」といったものがある。
【0066】
次に、車両システム200の処理について説明する。
<搭乗者によるコミュニケーション開始処理>
搭乗者からコミュニケーション開始のアプローチをする場合の処理について説明する。
図14は、第2実施形態に係るコミュニケーション装置202の搭乗者側操作処理を示すフローチャートである。
図15は、第2実施形態に係るコミュニケーション装置202のメッセージ処理を示すフローチャートである。
【0067】
図14のS211からS215までの処理は、第1実施形態(
図5)のS11からS15までの処理と同様である。
図14のS216において、制御部210は、
図15に示すメッセージ処理を行う。
図15のS221において、制御部210は、受け付けた選択操作に対応する命令情報が、命令記憶部243にあるか否かを判断する。例えば、メッセージ送信のためのボタンに対応するIDが、命令記憶部243にある場合には、制御部210は、受け付けた選択操作に対応する命令情報が、命令記憶部243にあると判断する。受け付けた選択操作に対応する命令情報が、命令記憶部243にある場合(S221:YES)には、制御部210は、処理をS222に移す。他方、受け付けた選択操作に対応する命令情報が、命令記憶部243にない場合(S221:NO)には、制御部210は、処理をS224に移す。
【0068】
S222において、制御部210(命令出力部215)は、受け付けた選択操作に対応するIDに対して、さらに対応付けられた命令情報を、命令記憶部243から抽出して車両制御装置291に送信する。この処理によって、車両制御装置291は、受信した命令情報に対応する操作信号を、図示しないエアコンの装置等の対象の装置に送出する。
S223において、制御部210(通知出力部216)は、命令情報に対応する通知データを、命令記憶部243から抽出して、運転席側空間70に有するスピーカ72に出力する。
S224及びS225の処理は、第1実施形態(
図5)のS16及びS17の処理と同様である。
【0069】
なお、制御部210は、S221の処理と、S224の処理とを同時に行ってもよいし、S224の処理を先に行ってから、S221の処理を行ってもよい。
この処理によって、運転者は、搭乗者がエアコンやカーナビの操作に係る選択をし、対象の装置に操作信号が送出されたことを、通知データによって把握できる。また、運転者は、搭乗者が行った選択操作に対応する音声データを、音声によって聞くことができる。その結果、運転者は、搭乗者の操作オペレーションと、車両制御装置291への命令情報との状況を把握できる。
運転者が、搭乗者の要求を聞いてオペレーションをするのではなく、コミュニケーション装置202が自動的に車両制御装置291に命令するので、運転者の手間を省くことができて便利である。
【0070】
<センサ283による搭乗者状況確認>
次に、センサ283による搭乗者の状況を運転者が確認する処理について説明する。
図16は、第2実施形態に係るコミュニケーション装置202のセンサ処理を示すフローチャートである。
例えば、搭乗者が後部座席側空間80に乗車している間、センサ283は、常にセンサデータを送出しているものとする。
図16のS231において、制御部210(センサ取得部219)は、センサ283からセンサデータを受信する。
【0071】
S232において、制御部210は、状態記憶部244を参照し、センサデータの値が報知条件を満たすか否かを判断する。上記したように、状態記憶部244は、センサデータに係る報知条件を記憶している。センサデータの値が報知条件を満たす場合(S232:YES)には、制御部210は、処理をS233に移す。他方、センサデータの値が報知条件を満たさない場合(S232:NO)には、制御部210は、処理をS231に移す。
【0072】
S233において、制御部210(状態音声出力部220)は、状態情報に係る音声データを、運転席側空間70に有するスピーカ72に出力する。ここで、状態情報に係る音声データは、状態記憶部244の該当する報知条件に対応した音声データである。その後、制御部210は、処理をS231に移し、搭乗者が後部座席側空間80に乗車している間は、常に処理を実行する。
【0073】
<運転者による発話処理>
次に、運転者による発話処理について説明する。第2実施形態では、運転者の発話の要約を、コミュニケーション画面50に出力するものを例に説明する。
図17は、第2実施形態に係るコミュニケーション装置202の運転席側発話処理を示すフローチャートである。
図18は、第2実施形態に係るコミュニケーション装置202のテキスト出力処理を示すフローチャートである。
図17のS251からS253までの処理は、第1実施形態(
図8)のS51からS53までの処理と同様である。
【0074】
S254において、制御部210は、
図18に示すテキスト出力処理を行う。
図18のS261及びS262の処理は、第1実施形態(
図8)のS54及びS55の処理と同様である。
S263において、制御部210(要約生成部224)は、S262の処理で受信したテキストに基づいて、テキストの内容を要約した要約文を生成する。
S264において、制御部210(テキスト出力部225)は、生成した要約文のテキストを、コミュニケーション画面50のメッセージ表示領域55(
図9(A)等を参照)に出力する。
【0075】
S265において、制御部210は、発話に対する応答内容をさらに選択可能にした追加画面を出力するか否かを判断する。制御部210は、テキストの内容に基づいて、追加画面を出力するか否かを判断する。運転者の発話が、例えば、「赤と黒と白とのどれがいいですか?」というものである場合に、制御部210は、「赤」と「黒」と「白」とが示されたボタンを選択可能な追加画面を出力すると判断できる。追加画面を出力する場合(S265:YES)には、制御部210は、処理をS266に移す。他方、追加画面を出力しない場合(S265:NO)には、制御部210は、本処理を終了する。
S266において、制御部210(追加画面出力部226)は、追加画面をタッチパネルディスプレイ85に出力する。その後、制御部210は、本処理を終了する。
【0076】
なお、追加画面は、発話内容のテキストに基づいて生成するものに限定されない。例えば、
図4に例示するコミュニケーション画面50の応答選択領域52を別画面としたもの等、予め用意されたものであってもよいし、
図4に示すコミュニケーション画面50そのものであってもよい。このように、コミュニケーション装置202が追加画面を出力することで、搭乗者は、運転者の発話内容に対する応答を、追加画面から選択すればよく、搭乗者にとって応答しやすいものにできる。
【0077】
<通知処理>
次に、通知処理について説明する。通知には、上記した搭乗者側操作処理(
図14)における操作による運転者側への通知(
図15のS223参照)の他、搭乗者側への通知がある。搭乗者側への通知としては、例えば、運転者による車両201に対する所定の操作に係る信号に対する通知や、定期的な通知がある。以下において、搭乗者側への通知に係る処理について説明する。
図19は、第2実施形態に係るコミュニケーション装置202の通知処理を示すフローチャートである。
例えば、搭乗者が後部座席側空間80に乗車したことに応じて、
図19のS271において、制御部210は、計時を開始する。
【0078】
S272において、制御部210(操作信号受信部229)は、車両操作に係る信号を、車両制御装置291から受信したか否かを判断する。車両操作に係る信号とは、例えば、車両201の各種運転操作に係る信号をいう。車両操作に係る信号を受信した場合(S272:YES)には、制御部210は、処理をS273に移す。他方、車両操作に係る信号を受信していない場合(S272:NO)には、制御部210は、処理をS275に移す。
【0079】
S273において、制御部210は、操作通知記憶部246を参照し、通知が必要なものであるか否かを判断する。制御部210は、受信した車両操作に係る信号が、操作通知記憶部246の操作内容に含まれる場合に、通知が必要なものであると判断する。通知が必要なものである場合(S273:YES)には、制御部210は、処理をS274に移す。他方、通知が必要なものではない場合(S273:NO)には、制御部210は、処理をS275に移す。
【0080】
S274において、制御部210(操作内容出力部230)は、操作通知記憶部246の該当の操作内容に対応する通知データを、コミュニケーション画面50に出力する。通知データは、例えば、運転者からのメッセージとして、メッセージ表示領域55(
図9(A)等を参照)に出力される。
【0081】
S275において、制御部210(定期通知部228)は、計時開始からの時間に基づき、定期通知記憶部245を参照して通知タイミングになったか否かを判断する。通知タイミングになった場合(S275:YES)には、制御部210は、処理をS276に移す。他方、通知タイミングになっていない場合(S275:NO)には、制御部210は、処理をS272に移す。
【0082】
S276において、制御部210(定期通知部228)は、定期通知記憶部245の該当のタイミング情報に対応する通知データを、コミュニケーション画面50に出力する。通知データは、例えば、運転者からのメッセージとして、メッセージ表示領域55(
図9(A)等を参照)に出力される。その後、制御部210は、処理をS272に移し、搭乗者が後部座席側空間80に乗車している間は、常に処理を実行する。
【0083】
このように、第2実施形態の車両システム200によれば、以下のような効果がある。
(1)搭乗者が行ったコミュニケーション画面50に対する選択操作に対応する命令情報を有する場合には、命令情報を車両制御装置291に出力し、運転席側空間70に有するスピーカ72に通知に係る音声データを出力する。よって、搭乗者の操作に対応した処理を、コミュニケーション装置202が行うので、運転者の手間を省くことができる。また、通知に係る音声データによって、運転者は、搭乗者の操作を把握できる。
【0084】
(2)運転者の発話内容を要約してコミュニケーション画面50に出力するので、搭乗者は、運転者の発話を簡潔な内容で把握できる。
(3)運転者の発話に対する応答内容のための選択ボタンを、追加画面にしてタッチパネルディスプレイ85に出力するので、搭乗者は、運転者の発話に対する応答を、追加画面から選択することで実現できる。
【0085】
(4)運転者の操作信号を受信して、操作信号に対する操作内容を示すテキストを、コミュニケーション画面50に出力するので、運転者が発話しなくても、車両201に対する操作内容を搭乗者が把握できる。
(5)センサ283が送出したセンサデータを受信して、センサデータに基づく状態情報を、運転席側空間70に有するスピーカ72から音声出力するので、運転者は、搭乗者の状態を把握できる。
【0086】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【0087】
(変形形態)
(1)各実施形態では、言語について特段の記載をしていないが、複数の言語に対応するようにしてもよい。例えば、コミュニケーション画面に、言語を選択するボタンを有する言語選択領域を用意しておき、言語の選択を受け付けた場合に、画面生成手段が、選択された言語に変換して表示するようにしてもよい。定型文記憶部の各定型文について、各言語に対応したテキストを用意しておくことで実現できる。また、運転者の発話データ(日本語)を、テキストに変換した後に、翻訳ツールを用いて指定の言語に翻訳してメッセージを出力すればよい。
【0088】
(2)各実施形態では、定型文記憶部をコミュニケーション装置に備えるものを例に説明したが、これに限定されない。コミュニケーション装置に対して通信可能に接続されたサーバ(図示せず)に備えてもよい。コミュニケーション装置が備えるプログラム記憶部を除く他の記憶部についても、同様である。
【0089】
(3)各実施形態では、コミュニケーション画面を、画面右にメッセージ送信のためのボタン領域を有し、画面左上側にメッセージ表示領域を有するものを例に説明したが、これに限定されない。コミュニケーション画面のレイアウトは、固定されたものでなくてもよい。特に、使用する機器によって、例えば、画面を縦にして使用する場合や、搭乗者が所持する端末を使用する場合等、異なるレイアウトにしてもよい。
【0090】
(4)各実施形態では、後部座席側空間にタッチパネルディスプレイを用意してコミュニケーションをするものを例に説明したが、これに限定されない。運転席側空間にもタッチパネルディスプレイを有してもよい。その場合、運転者のジェスチャによる入力を、運転席側空間のタッチパネルディスプレイ(ジェスチャ認識手段)が受け付けて運転者のジェスチャを認識し、データ出力手段が、例えば、後部座席側空間のタッチパネルディスプレイ等のコミュニケーション装置に送信すればよい。ここで、運転者のジェスチャとしては、例えば、タッチパネルディスプレイへのタップやフリック操作等である。また、運転席側空間に運転者の様子が撮影できるカメラを有するようにすれば、運転者の頷き等のジェスチャを受け付けることができる。また、同様のジェスチャ認識機能を、後部座席側空間のタッチパネルディスプレイに有してもよい。
【0091】
(5)各実施形態では、搭乗者の状態について特に説明していないが、搭乗者が会議システム装置を使用した会議中であってもよい。その場合、会議システム装置と、コミュニケーション装置とを接続し、コミュニケーション装置が、会議システム装置から使用状況を受信し、使用状況音声出力手段が、受信した使用状況を、運転席側空間に有するスピーカに出力する。このようにすれば、運転者は、会議システム装置の使用中であるのでコミュニケーションを最小限にする、といった搭乗者への配慮を行うことができる。
【0092】
(6)各実施形態では、後部座席側空間への出力を、テキスト又は音声のいずれかであるものを例に説明したが、これに限定されない。テキストに加えて音声出力をするようにしてもよい。特に、第2実施形態のように、要約文のテキストを出力する場合には、有用である。そうすることで、搭乗者は、テキストでの確認に加えて、運転者の発話を、音声として直接搭乗者が聞くことができる。その結果、テキストと、音声との両方によって、運転者の発話を確認できる。
【0093】
(7)各実施形態で説明したシステム構成は、一例である。例えば、第2実施形態におけるコミュニケーション装置は、第1実施形態と同様に、後部座席側空間の端末(タブレット)のみであってもよい。また、複数のコンピュータを使用してコミュニケーション装置を形成してもよい。
【0094】
(8)各実施形態では、運転者が搭乗者とコミュニケーションをするものを例に説明したが、これに限定されない。例えば、コミュニケーション装置と、遠隔地にいるオペレータのマイク及びスピーカとに接続された通信機能を有する装置とを通信ネットワークを介して接続するようにし、オペレータが、運転者と共に、又は、運転者に代わって搭乗者とコミュニケーションをしてもよい。
【符号の説明】
【0095】
1,201 車両
2,202 コミュニケーション装置
5a 音声認識サーバ
5b 地図サーバ
6 広告主端末
10,210 制御部
11 画面出力部
12 選択受付部
14 音声出力部
17 搭乗者発話受信部
18 搭乗者発話出力部
21 運転者発話受信部
23 テキスト変換部
25,225 テキスト出力部
27 運転者発話出力部
40,240 記憶部
41,241 プログラム記憶部
42 定型文記憶部
50,50-2 コミュニケーション画面
51 サービス選択領域
52 応答選択領域
53 緊急選択領域
55 メッセージ表示領域
59 音声通話ボタン
60 防音壁
69 通話終了ボタン
70 運転席側空間
71,81 マイク
72,82 スピーカ
80 後部座席側空間
85 タッチパネルディスプレイ
100,200 車両システム
215 命令出力部
216 通知出力部
219 センサ取得部
220 状態音声出力部
224 要約生成部
226 追加画面出力部
228 定期通知部
229 操作信号受信部
230 操作内容出力部
243 命令記憶部
244 状態記憶部
245 定期通知記憶部
246 操作通知記憶部
283 センサ
286 タブレット
290 空間外領域
291 車両制御装置
292 サービスサーバ
N 通信ネットワーク