(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024124957
(43)【公開日】2024-09-13
(54)【発明の名称】コミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバー
(51)【国際特許分類】
H04N 21/854 20110101AFI20240906BHJP
H04N 21/2343 20110101ALI20240906BHJP
【FI】
H04N21/854
H04N21/2343
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023032965
(22)【出願日】2023-03-03
(71)【出願人】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】森 淳
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA06
5C164MC05P
5C164PA39
5C164SA25S
5C164SB02P
5C164SB41S
5C164UB90S
5C164YA30
(57)【要約】
【課題】ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステムを提供する。
【解決手段】 実施形態によるシステムは、車両VCLのドライバーDVRの挙動に関するドライバー情報と、車両VCLに関する車両情報とを取得する第1取得部と、ドライバー情報に対応するドライバーDVRの顔情報と、車両情報とを、出力する演算部と、ドライバーの第1音声情報を取得する第2取得部と、顔情報および車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、車両情報に基づく車両の走行する環境に対応する車両映像情報を生成する第2生成部と、ドライバーモデルの情報、車両映像情報および第1音声情報を外部プラットフォーム300に供給するとともに、外部プラットフォーム300から取得した第2音声情報をドライバーDVRに供給する通信部と、を備えたコミュニケーションシステム。
【選択図】
図2
【特許請求の範囲】
【請求項1】
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第1取得部と、
前記ドライバーの挙動に対応する前記ドライバーの顔情報と、前記車両情報とを、出力する演算部と、
前記ドライバーの第1音声情報を取得する第2取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備えたコミュニケーションシステム。
【請求項2】
前記ドライバー情報は、前記ドライバーの顔を含むドライバー映像を備え、
前記演算部は、前記ドライバー映像を用いたフェイストラッキングにより前記ドライバーの顔のパーツの位置および大きさに関する表情情報を含む前記顔情報を出力し、
前記第1生成部は、前記表情情報と前記ドライバーモデルの識別情報とを関連付けた情報を含む前記ドライバーモデルの情報を出力する、請求項1記載のコミュニケーションシステム。
【請求項3】
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記第1生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、請求項1記載のコミュニケーションシステム。
【請求項4】
前記第1取得部および前記演算部を含むコントローラと、
前記第2取得部、前記第1生成部、前記第2生成部および前記通信部を備えたサーバーと、を備えた請求項1記載のコミュニケーションシステム。
【請求項5】
前記第1取得部、前記演算部および前記第2取得部を含むコントローラと、
前記第1生成部、前記第2生成部および前記通信部を備えたサーバーと、を備えた請求項1記載のコミュニケーションシステム。
【請求項6】
請求項1記載のコミュニケーションシステムと、
前記ドライバー情報および前記車両情報を検出するセンサと、を備えた車両。
【請求項7】
車両のドライバーの挙動に関するドライバー情報および前記車両に関する車両情報を取得し、
前記ドライバー情報に対応する前記ドライバーの顔情報を生成し、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成し、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、
前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第1音声情報を外部プラットフォームに供給し、
前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する、コミュニケーション方法。
【請求項8】
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報と、前記ドライバーの第1音声情報とに基づいて、前記車両内における前記ドライバーの動作および表情を再現するドライバーモデルおよび前記車両の走行する環境を、仮想空間において構成するための情報を外部プラットフォームへ出力し、
前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する、コミュニケーション方法。
【請求項9】
コンピュータに、請求項7又は請求項8に記載のコミュニケーション方法を実行させるコンピュータプログラム。
【請求項10】
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する取得部と、
前記ドライバー情報に対応する前記ドライバーの顔情報と、前記車両情報とを出力する演算部と、を有する端末装置。
【請求項11】
車両のドライバーの第1音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備えたサーバー。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバーに関する。
【背景技術】
【0002】
従来、車両ドライバーが運転中に外部とコミュニケーションをとるための方法が提案されている。例えば、特許文献1には、音声のみの出力によるスピーカーか、音声と画像の出力によるスクリーンを選択しドライバーに情報を提供したり、マイクロホンによって車外の発信者とのリアルタイム双方向通信を実現したりするサーバーが提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば長時間の運転や深夜の休憩時間等、特定の個人との通話が難しい時間帯であった場合など、ドライバーがコミュニケーション相手を得る事が出来ない可能性があった。その場合、ドライバーは運転中の時間を楽しむことが出来ない。
【0005】
例えば、ドライバーが不特定多数とコミュニケーションの機会を得る事ができれば、特定個人と通話ができない場合にも運転を楽しむことができる。また、コミュニケーションの参加者には、あたかもドライバーと一緒にドライブを楽しんでいるかのような機会を提供することができる。
【0006】
本発明は上記事情を鑑みて成されたものであって、ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバーを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1態様によるコミュニケーションシステムは、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第1取得部と、前記ドライバー情報を用いて検出された前記ドライバーの顔情報と前記車両情報とを、出力する演算部と、前記ドライバーの第1音声情報を取得する第2取得部と、前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備える。
本発明の第2態様による車両は、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを検出するセンサと、第1態様によるコミュニケーションシステムと、を備える。
【0008】
本発明の第3態様によるコミュニケーション方法は、車両のドライバーの挙動に関するドライバー情報を用いて検出された前記ドライバーの顔情報を生成し、前記顔情報および前記車両に関する車両情報に基づいて動作するドライバーモデルの情報を生成し、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第1音声情報を外部プラットフォームに供給し、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する方法である。
【0009】
本発明の第4態様によるコンピュータプログラムは、コンピュータに、車両のドライバーの挙動に関するドライバー情報を用いて検出された前記ドライバーの顔情報および前記車両に関する車両情報に基づいて動作するドライバーモデルの情報を生成し、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第1音声情報を外部プラットフォームに供給し、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する、方法を実行させるプログラムである。
【0010】
本発明の第5態様によるコンピュータプログラムは、コンピュータに、第3態様又は第4態様によるコミュニケーション方法を実行させるプログラムである。
本発明の第6態様による端末装置は、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する取得部と、前記ドライバー情報に対応する前記ドライバーの顔情報と、前記車両情報とを出力する演算部と、を有する。
本発明の第7態様によるサーバーは、車両のドライバーの第1音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備える。
【発明の効果】
【0011】
本発明によれば、ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバーを提供できる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、一実施形態のコミュニケーションシステムの一構成例を概略的に示すブロック図である。
【
図2】
図2は、一実施形態のコミュニケーションシステムの動作の一例について説明するための図である。
【
図3】
図3は、一実施形態のコミュニケーションシステムの他の構成例を概略的に示すブロック図である。
【発明を実施するための形態】
【0013】
以下に、一実施形態のコミュニケーションシステムについて、図面を参照して詳細に説明する。
図1は、一実施形態のコミュニケーションシステムの一構成例を概略的に示すブロック図である。
本実施形態のコミュニケーションシステムは、コントローラ100と、サーバー200とを備えている。
【0014】
コントローラ100は、例えば少なくとも一つのプロセッサと、プロセッサにより実行されるプログラムが記録されたメモリと、を備えた端末装置であって、ソフトウエアにより又はソフトウエアとハードウエアとの組み合わせにより以下に説明する種々の機能を実現することができる。
【0015】
メモリは、例えば、主記憶部と、補助記憶部とを備えている。
主記憶部は、例えば、ROM(read-only memory)、RAM(random-access memory)を含み得る。ROMは、専らデータの読み出しに用いられる不揮発性メモリであり、プロセッサが各種の処理を行う上で使用するデータ及び各種の設定値などを記憶することができる。また、RAMは、プロセッサが各種の処理を行う上で一時的にデータを記憶しておく、いわゆるワークエリアとして利用され得る。
【0016】
補助記憶部は、プロセッサを中枢とするコンピュータの非一時的なコンピュータ可読記憶媒体である。補助記憶部は、例えば、EEPROM(登録商標)(electric erasable programmable read-only memory)、HDD(hard disk drive)又はSSD(solid state drive)などである。
補助記憶部は、プロセッサが各種の処理を行う上で使用するデータ、プロセッサでの処理によって生成されたデータ又は各種の設定値などを保存することができる。
【0017】
コントローラ100は、ネットワークを介して、車両VCLに搭載されたカメラCMRや位置測定器SSなどの種々のセンサ(若しくは種々のセンサの情報を取得するECU(electronic control unit))と通信可能である。
コントローラ100は、第1取得部101と、演算部102とを備える。
第1取得部101は、種々のセンサから車両VCLに関する情報(車両情報)および車両VCLのドライバーDVRの挙動に関する情報(ドライバー情報)を取得することができる。なお、コントローラ100は車両VCLに搭載されていてもよく、車両VCLに取り付け可能に構成されてもよい。また、コントローラ100は、ネットワークを介して外部のサーバー200と通信可能である。
【0018】
車両情報は、例えば、アクセル開度、ブレーキ踏力およびステアリング角度など、ドライバーDVRによる操作情報と、位置測定器SSにより測定された車両VCLの位置情報と、車両VCLの通信に用いられる情報(例えばCAN情報など)を含む。位置測定器SSにより測定される車両VCLの位置情報は、例えばGPS(global positioning system)を利用して測定される位置情報であって、車両VCLの位置座標および時刻を含む。
【0019】
ドライバー情報は、カメラCMRにより撮影されたドライバーDVRを含む映像(カメラ情報)を含む。カメラCMRは、車両VCLの車内の少なくとも1か所において、ドライバーDVRの顔を含む映像を撮影可能な位置に設置されている。複数のカメラCMRが車両VCLの複数の箇所に設置されていてもよく、ドライバーDVRの挙動に関する情報はドライバーDVRの表情や動作を様々なアングルで撮影した複数の映像を含んでいてもよい。
演算部102は、ドライバー情報を用いてドライバーの顔情報を検出し、ドライバー情報に対応する顔情報と、車両情報とを、ネットワークを介してサーバー200へ出力する。
【0020】
サーバー200は、少なくとも一つのプロセッサと、プロセッサにより実行されるプログラムが記録されたメモリと、を備え、ソフトウエアにより又はソフトウエアとハードウエアとの組み合わせにより以下に説明する種々の機能を実現することができる。
【0021】
サーバー200は、ネットワークを介して、例えばドライバーDVRに装着されたマイク及びスピーカーと、コントローラ100と、プラットフォーム300とのそれぞれと通信可能である。
【0022】
ドライバーDVRのマイクは、例えば、ドライバーDVRにより使用される携帯端末1(スマートフォンやタブレット端末など)に搭載されたマイクや、ドライバーDVRが装着したヘッドセットのマイクや、車両に搭載されたマイクである。ドライバーDVRのスピーカーは、例えば、ドライバーDVRに装着されたヘッドセットのスピーカー、車両に搭載されたスピーカー、ドライバーDVRにより使用される携帯端末1に搭載されたスピーカーである。ドライバーDVRが装着したヘッドセットのマイクやスピーカーは、携帯端末1と例えば近距離無線通信により通信可能に構成されていてもよく、携帯端末1の通信機能を介してサーバー200と音声情報を送受信することができる。
本実施形態においては、ドライバーDVRのマイク及びスピーカーは、ドライバーDVRにより使用される携帯端末1に搭載されているとする。ドライバーDVRのマイク及びスピーカーは、携帯端末1の通信機能を介して、サーバー200と音声情報を送受信することが可能であるとする。
【0023】
サーバー200は、第2取得部201と、第1生成部202と、第2生成部203と、通信部204とを備える。
第2取得部201は、ドライバーDVRの第1音声情報と、コントローラ100から出力されたドライバー顔情報および車両情報と、を取得する。
第1生成部202は、顔情報および車両情報に基づくドライバーモデルの表情および動作情報を生成する。例えば、サーバー200は、ドライバーDVRの顔情報に含まれる顔のパーツ(目、鼻、口、眉)の位置や形状などから、ドライバーモデルの表情情報を生成することができる。ドライバーモデルの表情情報は、例えば喜怒哀楽や、驚き、迷い、焦り、疲労などのドライバーDVRの感情や状態を示す情報であってもよく、具体的に顔のパーツの大きさや位置や動きを示す情報であってもよい。
【0024】
また、第1生成部202は、顔情報および操作情報に基づいて、ドライバーモデルの手足の動き、ドライバーモデルの顔の向き、頭部の位置などの動作情報を生成することができる。ドライバーモデルの動作情報は、例えばドライバーモデルの代表的な関節の位置座標や角度を含んでいてもよい。サーバー200は、例えばアクセル開度やブレーキ踏力の情報から、ドライバーモデルの足首や膝の関節の位置座標や角度を生成してもよい。また、サーバー200は、例えばステアリング角度の情報から、ドライバーモデルがハンドルを握る手の位置、ハンドルの回転方向、ハンドルの回転に伴うドライバーモデルの手首や肘の関節の位置座標や角度を生成してもよい。また、サーバー200は、ドライバーDVRの顔情報に含まれる顔のパーツ(目、鼻、口、眉)の位置や形状などから、ドライバーモデルの首の回転角度、傾き角度、頭部の位置座標などを生成してもよい。
【0025】
第2生成部203は、車両情報に含まれる位置情報に基いて車両VCLの走行する環境を判断し、走行環境に対応する車両映像情報を生成する。第2生成部203により生成される車両映像情報は、車両VCLが実際に走行している位置の環境を再現する映像情報であってもよく、車両VCLが走行している位置の特徴を再現する映像情報であってもよい。後者の場合、第2生成部203は、例えば車両VCLが走行している場所の特徴(街中、山中、海辺、高速道路、住宅街、トンネルなど)や、位置情報に含まれる時刻における環境の特徴(夜景や時刻に対応した明るさなど)や、近くにあるオブジェクト(交差点、踏切、高層ビル、タワー、寺社、公園、橋、陸橋、河川、海、森林、テーマパークなど)の特徴を再現するように車両映像情報を生成してもよい。
【0026】
車両映像情報は必ずしも車両VCLの実際の走行環境を再現するものでなくともよい。車両映像情報は、例えば実際に車両VCLが走行する場所に存在する歩行者や対向車などを削除した映像であってもよく、実際には存在しない歩行者や対向車などのオブジェクトを含む映像であってもよく、実在しない環境の映像であってもよい。この場合には、車両VCLは、車両VCLの周囲や車窓から見える景色を撮影するカメラCMR2を有しており、カメラCMR2により撮影された映像(車外環境情報)に基づいて車両映像情報が生成されてもよい。なお、カメラCMR2は必須の構成ではなく、車両映像情報が実際の走行環境を再現するものでない場合にはカメラCMR2は省略されても構わない。
【0027】
いずれの場合にも、第2生成部203は、車両VCLの位置情報に基づく車両VCLの位置、進行方向、走行速度および時刻のうち少なくともいずれかに応じて、車両VCLのドライバーDVRの前後左右の各々の窓から視認される環境に対応する車両映像情報を生成する。
なお、サーバー200は、車両映像情報を生成するための映像データやオブジェクトデータが蓄積されたデータベースを含んでいてもよく、サーバー200の外部のデータベースから映像データやオブジェクトデータを取得してもよい。
【0028】
通信部204は、ドライバーモデルの情報、車両映像情報および第1音声情報を関連付けてプラットフォーム300に供給するとともに、プラットフォーム300から取得した第2音声情報をドライバーDVRに装着されたスピーカー(若しくは車両VCLに搭載されたスピーカー)に供給する。なお、第2音声情報は、外部サービスを介してサーバー200から車載スピーカーに供給されてもよい。
【0029】
なお、コントローラ100およびサーバー200は、出発地から到着地までの走行毎に識別子(走行ID)を設定し、走行IDを用いて、ドライバーモデルの情報、車両映像情報および第1音声情報を関連付けてもよい。この場合、プラットフォーム300から供給される第2音声信号にも走行IDが付され、サーバー200は走行IDにより第2音声信号を供給すべきドライバーDVRを認識することができる。
また、本実施形態のコミュニケーションシステムにおいて、上記サーバー200の少なくとも一部の機能はコントローラ100により実現されてもよく、コントローラ100とサーバー200とが一体に構成され、車両VCLに搭載されてもよい。
【0030】
プラットフォーム300は、サーバー200により生成された情報を用いて、例えば映像やドライバーモデルや音声を組み合わせた仮想空間情報を一又は複数のユーザ端末に供給するとともに、当該ユーザ端末からの音声情報をサーバー200に供給するサービスを提供するシステムである。
【0031】
プラットフォーム300はサーバー200と通信可能である。具体例としては、OSC(Open Sound Control)により、サーバー(送信側)200とプラットフォーム(受信側)300とで通信を行い、サーバー200により生成された情報をプラットフォーム300に供給することができる。
【0032】
プラットフォーム300は、ドライバーモデルの表情情報を用いて、ドライバーモデルの顔のパーツ(目、鼻、口、眉など)の位置や形状を調整し、ドライバーモデルの表情を生成する。プラットフォーム300は、例えばドライバーDVRの感情や状態に対応する顔のパーツの位置や形状の情報を予め有していてもよく、ドライバーモデルの表情情報がドライバーDVRの感情や状態を示す場合には、設定されたようにドライバーモデルの顔のパーツの位置や形状を調整する。
【0033】
また、プラットフォーム300は、ドライバーモデルの動作の情報を用いて、ドライバーモデルの四肢や頭部や体幹部の関節の位置や角度を調整し、ドライバーモデルの動きを生成する。ドライバーDVRに対応するモデルは、ドライバーDVRの実際の姿を仮想現実空間において再現する3次元モデルであってもよく、ドライバーDVRと異なる人物やロボットなどの仮想の運転手の姿を仮想現実空間において再現する3次元モデルであってもよい。
【0034】
プラットフォーム300は、車両映像情報を用いて、車両VCLおよび車両VCLの窓越しに視認される環境を仮想現実空間において生成する。
プラットフォーム300は、ドライバーモデルの動作および表情と、第1音声情報と、車両VCLが走行する環境映像とが同期するように仮想空間情報を生成して、プラットフォーム300に接続したユーザ端末400に供給する。
また、プラットフォーム300は、仮想空間情報を提供したユーザ端末400から音声情報(第2音声情報)を取得すると、対応する走行IDを付してサーバー200へ送信する。
【0035】
ユーザ端末400によりユーザに提示される仮想空間は、例えば車両VCLの車内(助手席など)からドライバーDVRを見るように視点が設定されていてもよく、ユーザ端末400の操作により車両VCL内の任意の視点位置および方向を移動可能であってもよい。後者の場合、プラットフォーム300は、ユーザ端末400から取得した操作情報に基づいて、ユーザ端末400に供給する仮想空間内視点位置および方向を移動させる。
【0036】
図2は、一実施形態のコミュニケーションシステムの動作の一例について説明するための図である。なお、
図2では、サーバー200は車両VCLの位置情報を用いて車両映像情報を生成しており、カメラCMR2により撮影された車外環境情報を使用しない例を示している。
最初に、コントローラ100と、サーバー200と、ドライバーDVRのマイクおよびスピーカーが搭載された携帯端末1との間で初期設定を行う。例えば、マイクおよびスピーカーは、車載又は車両VCL内部でドライバーの近傍に設置されていてもよい。初期設定では、コントローラ100で取得される情報と、携帯端末1のマイクから供給される音声情報と、携帯端末1のスピーカーへ供給する音声情報との対応付けが可能であるように、コントローラ100とサーバー200と携帯端末1とで扱う情報に必要な識別子(走行ID)が設定される。
【0037】
例えば、サーバー200は、コントローラ100から供給される車両VCLの位置情報と、マイクやスピーカーが搭載された機器(例えば携帯端末1)の位置情報とに基づいて、車両VCLとマイクとスピーカーとが共通のドライバーDVRにより使用されるものであるか否かを判断する。そして、サーバー200は、判断の結果に基づいて、コントローラ100で取得される情報と、携帯端末1のマイクから供給される音声情報と、携帯端末1のスピーカーへ供給する音声情報とを対応付けることができる。
【0038】
初期設定が完了した後、コントローラ100は、車両VCLから取得した車両情報と、ドライバーDVRの挙動に関するドライバー情報と、を取得し、ドライバー情報を用いたフェイストラッキングによりドライバーDVRの顔情報を生成する(ブロックST1)。具体的には、コントローラ100は、カメラ情報(ドライバー情報)をフェイストラッキング情報(顔情報)に変換する。コントローラ100は、ドライバー情報に対応する顔情報と、車両情報とを、ネットワークを介してサーバー200へ出力する。なお、コントローラ100がドライバー情報に代えて(若しくはドライバー情報に加えて)フェイストラッキング情報を取得できる場合には、フェイストラッキング情報(顔情報)を検出する動作は省略することができる。
【0039】
サーバー200は、コントローラ100から車両情報および顔情報を取得し、ドライバーDVRに装着されたマイクから第1音声情報を取得する。サーバー200は、コントローラ100から取得した車両情報および顔情報と、マイクから取得した第1音声情報とを共通の識別情報により対応付ける(ブロックST2)。
【0040】
サーバー200は、車両情報および顔情報をドライバーモデルの動きに変換し(ブロックST3)、ドライバーモデルの動きと顔情報とに基づいて動作するドライバーモデルの情報(プラットフォーム300へのドライバーモデルの動きと、プラットフォーム300へのドライバーモデルの表情との情報を含む)を生成する。また、サーバー200は、車両情報に含まれる位置情報から車両の走行位置の風景を判別し、車両VCLの走行する環境に対応する車両映像情報(仮想空間における車窓の投影映像)を作成する(ブロックST4)。
サーバー200は、ドライバーモデルの情報、車両映像情報および第1音声情報を、共通の識別情報により関連付けて、プラットフォーム300に供給する。
【0041】
プラットフォーム300は、サーバー200から供給されたドライバーモデルの情報、車両映像情報および第1音声情報を、識別情報により対応付けて、ドライバーモデルの動作および表情と、第1音声情報と、車両VCLが走行する環境映像とが同期するように3次元の仮想空間情報および音声情報を生成して、プラットフォーム300に接続したユーザ端末に供給する。なお、プラットフォーム300に接続したユーザ端末400の数は、複数でもあり得るし、ゼロでもあり得る。
【0042】
ユーザ端末400は、コンピュータなどの電子デバイス、例えば、PC(Personal Computer)、モバイル端末(例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、など)、HMD(Head Mounted Display)、ゲーム機、テレビ受像機(インターネットテレビを含む)、などであり得るが、これらに限られない。ユーザ端末400は、供給された仮想空間情報により生成される仮想現実空間映像を視認可能な態様でユーザに提供する。
【0043】
ユーザ端末400は、ユーザによるボタン操作やユーザの頭部の動きなどにより、仮想現実空間におけるユーザの視点位置および向きを移動させるよう操作可能である。また、ユーザ端末400はマイクを含み、ユーザが話した音声を含む音声情報(第2音声情報)を取得して、識別子を付してプラットフォーム300へ送信する。
【0044】
プラットフォーム300は、ユーザ端末400から取得した第2音声情報をサーバー200へ送信する。サーバー200は、取得した第2音声情報の識別子に基づいて、対応する走行のドライバーDVRの携帯端末1の情報と第2音声情報とを関連付けて(ブロックST2)、携帯端末1を介して第2音声情報をドライバーDVRに提供する。
なお、プラットフォーム300が、ユーザ端末400から取得した第2音声情報の識別子を確認し、対応する走行のドライバーDVRに対して第2音声情報を提供してもよい。サーバー200若しくはプラットフォーム300は、外部のサービスを経由して車両VCLの車載スピーカーへ第2音声情報を供給してもよく、例えばドライバーDVRに装着された(若しくは車両VCL内部でドライバーの近傍に設置された)スピーカーに第2音声情報を供給してもよい。
【0045】
以上のように、本実施形態のコミュニケーションシステムおよびコミュニケーション方法によれば、ドライバーは不特定多数とコミュニケーションの機会を得る事ができる。また、コミュニケーション参加者(ユーザ)は実際に車両に乗ることなく、また人数の制約を受けずにドライバーの操作状態や走行している場所の情報を得る事ができる。
その結果、本実施形態のコミュニケーションシステムおよびコミュニケーション方法によれば、ドライバーは一人で運転しているときであっても、例えば多数の人の話声を聴いたり話したりすることで孤独感を低減し、システムを介したコミュニケーションにより楽しく運転することができる。また、コミュニケーション参加者(プラットフォーム300のユーザ)に対して、あたかも観光バスに乗車して車窓を楽しんだり、ドライバーと一緒にドライブを楽しんだりしているかのような体験を提供することができる。
【0046】
すなわち、本実施形態によれば、ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、コミュニケーション方法およびコンピュータプログラムを提供できる。
【0047】
(変形例)
図3は、一実施形態のコミュニケーションシステムの他の構成例を概略的に示すブロック図である。
この例では、コントローラ100が車載のマイク等を介して第1音声情報を取得するとともに取得した第1音声情報をサーバー200へ出力する。また、通信部204は、プラットフォーム300から出力された第2音声情報をコントローラ100へ供給し、コントローラ100が車載スピーカーにより第2音声情報をドライバーDVRに供給している。この例によれば、上述の実施形態と同様の効果が得られるとともに、ドライバーDVRは例えばラジオや音楽を聴くように車載スピーカーから流れる音声を楽しむことができる。また、音声情報がコントローラ100とサーバー200との間で送受信されるため、コントローラ100とサーバー200とによる初期設定が行われればよく、携帯端末1における初期設定をする必要がなくなる。
すなわち、
図3に示す変形例によれば、上述の実施形態と同様にドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、コミュニケーション方法およびコンピュータプログラムを提供できる。
【0048】
なお、上述の実施形態では、プラットフォーム300からユーザに対して3次元の仮想現実空間情報を提供するものであったが、これに限定されるものではなく、仮想現実空間の2次元の映像をユーザ端末に供給してもよい。その場合であっても、上述の実施形態と同様の効果を得ることができる。
また、例えばドライバーDVRが、運転中のBGMとして多数の人が会話している音声を聴く場合には、サーバー200およびプラットフォーム300に対する第1音声情報の供給は省略しても構わない。
【0049】
また、プラットフォーム300において、各走行に対してアクセスできるユーザ数が制限されてもよく、特定のユーザにのみアクセスが許可されてもよい。また、多数のユーザがプラットフォーム300にアクセスしているときには、サーバー200からドライバーDVRに第2音声情報を供給するときに、それぞれのユーザの音声のボリュームを調整してもよい。
また、ドライバーDVRが車両VCLを駐車場に停車させているとき等、ドライバーDVRが運転をしていないときには、ユーザの映像やアバターが車両VCLに搭載されたディスプレイに表示されてもよい。例えば、コントローラ100は、車両が停車中であるときにサーバー200に対してユーザの映像を要求する信号を送信し、サーバー200がプラットフォーム300からユーザの映像情報やアバター情報を取得してコントローラ100に供給してもよい。
【0050】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0051】
100…コントローラ
101…第1取得部
102…演算部
200…サーバー
201…第2取得部
202…第1生成部
203…第2生成部
204…通信部
300…プラットフォーム
DVR…ドライバー
VCL…車両
CMR…カメラ
SS…位置測定器
【手続補正書】
【提出日】2024-07-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第1取得部と、
前記ドライバーの挙動に対応する前記ドライバーの顔情報と、前記車両情報とを、出力する演算部と、
前記ドライバーの第1音声情報を取得する第2取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備え、
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記第1生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、コミュニケーションシステム。
【請求項2】
前記ドライバー情報は、前記ドライバーの顔を含むドライバー映像を備え、
前記演算部は、前記ドライバー映像を用いたフェイストラッキングにより前記ドライバーの顔のパーツの位置および大きさに関する表情情報を含む前記顔情報を出力し、
前記第1生成部は、前記表情情報と前記ドライバーモデルの識別情報とを関連付けた情報を含む前記ドライバーモデルの情報を出力する、請求項1記載のコミュニケーションシステム。
【請求項3】
前記第1取得部および前記演算部を含むコントローラと、
前記第2取得部、前記第1生成部、前記第2生成部および前記通信部を備えたサーバーと、を備えた請求項1記載のコミュニケーションシステム。
【請求項4】
前記第1取得部、前記演算部および前記第2取得部を含むコントローラと、
前記第1生成部、前記第2生成部および前記通信部を備えたサーバーと、を備えた請求項1記載のコミュニケーションシステム。
【請求項5】
請求項1記載のコミュニケーションシステムと、
前記ドライバー情報および前記車両情報を検出するセンサと、を備えた車両。
【請求項6】
車両のドライバーの挙動に関するドライバー情報および前記車両に関する車両情報を取得し、
前記ドライバー情報に対応する前記ドライバーの顔情報を生成し、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成し、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、
前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第1音声情報を外部プラットフォームに供給し、
前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する方法であって、
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、コミュニケーション方法。
【請求項7】
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報と、前記ドライバーの第1音声情報とに基づいて、前記車両内における前記ドライバーの動作および表情を再現するドライバーモデルおよび前記車両の走行する環境を、仮想空間において構成するための情報を外部プラットフォームへ出力し、
前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する方法であって、
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、コミュニケーション方法。
【請求項8】
コンピュータに、請求項6又は請求項7に記載のコミュニケーション方法を実行させるコンピュータプログラム。
【請求項9】
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する取得部と、
前記ドライバー情報に対応する前記ドライバーの顔情報と、前記車両情報とを出力する演算部と、を有し、
前記車両情報は、前記ドライバーによる前記車両の操作情報を含む、端末装置。
【請求項10】
車両のドライバーの第1音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備え、
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記第1生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、サーバー。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
本発明の第1態様によるコミュニケーションシステムは、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第1取得部と、前記ドライバー情報を用いて検出された前記ドライバーの顔情報と前記車両情報とを、出力する演算部と、前記ドライバーの第1音声情報を取得する第2取得部と、前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備え、前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、前記第1生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する。
本発明の第2態様による車両は、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを検出するセンサと、第1態様によるコミュニケーションシステムと、を備える。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
本発明の第3態様によるコミュニケーション方法は、車両のドライバーの挙動に関するドライバー情報を用いて検出された前記ドライバーの顔情報を生成し、前記顔情報および前記車両に関する車両情報に基づいて動作するドライバーモデルの情報を生成し、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第1音声情報を外部プラットフォームに供給し、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する方法であって、前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
本発明の第5態様によるコンピュータプログラムは、コンピュータに、第3態様によるコミュニケーション方法を実行させるプログラムである。
本発明の第6態様による端末装置は、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する取得部と、前記ドライバー情報に対応する前記ドライバーの顔情報と、前記車両情報とを出力する演算部と、を有し、前記車両情報は、前記ドライバーによる前記車両の操作情報を含む。
本発明の第7態様によるサーバーは、車両のドライバーの第1音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備え、前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、前記第1生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0050
【補正方法】変更
【補正の内容】
【0050】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
[付記1]
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第1取得部と、
前記ドライバーの挙動に対応する前記ドライバーの顔情報と、前記車両情報とを、出力する演算部と、
前記ドライバーの第1音声情報を取得する第2取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備えたコミュニケーションシステム。
[付記2]
前記ドライバー情報は、前記ドライバーの顔を含むドライバー映像を備え、
前記演算部は、前記ドライバー映像を用いたフェイストラッキングにより前記ドライバーの顔のパーツの位置および大きさに関する表情情報を含む前記顔情報を出力し、
前記第1生成部は、前記表情情報と前記ドライバーモデルの識別情報とを関連付けた情報を含む前記ドライバーモデルの情報を出力する、付記1記載のコミュニケーションシステム。
[付記3]
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記第1生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、付記1記載のコミュニケーションシステム。
[付記4]
前記第1取得部および前記演算部を含むコントローラと、
前記第2取得部、前記第1生成部、前記第2生成部および前記通信部を備えたサーバーと、を備えた付記1記載のコミュニケーションシステム。
[付記5]
前記第1取得部、前記演算部および前記第2取得部を含むコントローラと、
前記第1生成部、前記第2生成部および前記通信部を備えたサーバーと、を備えた付記1記載のコミュニケーションシステム。
[付記6]
付記1記載のコミュニケーションシステムと、
前記ドライバー情報および前記車両情報を検出するセンサと、を備えた車両。
[付記7]
車両のドライバーの挙動に関するドライバー情報および前記車両に関する車両情報を取得し、
前記ドライバー情報に対応する前記ドライバーの顔情報を生成し、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成し、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、
前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第1音声情報を外部プラットフォームに供給し、
前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する、コミュニケーション方法。
[付記8]
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報と、前記ドライバーの第1音声情報とに基づいて、前記車両内における前記ドライバーの動作および表情を再現するドライバーモデルおよび前記車両の走行する環境を、仮想空間において構成するための情報を外部プラットフォームへ出力し、
前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する、コミュニケーション方法。
[付記9]
コンピュータに、付記7又は付記8に記載のコミュニケーション方法を実行させるコンピュータプログラム。
[付記10]
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する取得部と、
前記ドライバー情報に対応する前記ドライバーの顔情報と、前記車両情報とを出力する演算部と、を有する端末装置。
[付記11]
車両のドライバーの第1音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第1生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第2生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第1音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第2音声情報を前記ドライバーに供給する通信部と、を備えたサーバー。