特許第6881444号(P6881444)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーグループ株式会社の特許一覧
特許6881444車両に情報を送信するシステムおよび方法、車両、並びに非一過性のコンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6881444
(24)【登録日】2021年5月10日
(45)【発行日】2021年6月2日
(54)【発明の名称】車両に情報を送信するシステムおよび方法、車両、並びに非一過性のコンピュータ可読記憶媒体
(51)【国際特許分類】
   G08G 1/09 20060101AFI20210524BHJP
【FI】
   G08G1/09 H
   G08G1/09 F
【請求項の数】24
【全頁数】40
(21)【出願番号】特願2018-517900(P2018-517900)
(86)(22)【出願日】2016年10月28日
(65)【公表番号】特表2019-502183(P2019-502183A)
(43)【公表日】2019年1月24日
(86)【国際出願番号】JP2016082023
(87)【国際公開番号】WO2017082075
(87)【国際公開日】20170518
【審査請求日】2019年9月12日
(31)【優先権主張番号】14/938,052
(32)【優先日】2015年11月11日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】グプタ マニッシュ
(72)【発明者】
【氏名】パル プラレイ クマール
(72)【発明者】
【氏名】サストリー ラメッシャ チェルア ラマチャンドラ
(72)【発明者】
【氏名】チンタラプーディ プラモッド
(72)【発明者】
【氏名】田中 奨
【審査官】 増子 真
(56)【参考文献】
【文献】 特開2015−176464(JP,A)
【文献】 特開2002−024994(JP,A)
【文献】 特開2014−035582(JP,A)
【文献】 欧州特許出願公開第02830341(EP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B60W 10/00 − 10/30
B60W 30/00 − 60/00
G08G 1/00 − 99/00
G01C 21/00 − 21/36
G01C 23/00 − 25/00
(57)【特許請求の範囲】
【請求項1】
表示デバイスに通信可能に接続される第1の車両の1または複数のエレクトロニックコントロールユニットに含まれる1または複数の回路であって、
ビデオストリームを受信し、
前記表示デバイス上の、前記ビデオストリームの複数の画像フレームの表示を制御し、
前記複数の画像フレームのうちの画像フレームに含まれる1または複数の車両の車両情報を、無線ネットワークを介して、前記1または複数の車両から受信し、
第1の時刻の、前記複数の画像フレームの中からの1つの画像フレームの選択に対応する第1の入力を受信し、
前記第1の時刻の、前記複数の画像フレームの中から選択された前記1つの画像フレームに含まれる前記1または複数の車両の中からの1台の車両の選択に対応する第の入力を受信し、
前記選択された車両に関係付けられた車両情報を識別し、
前記選択された車両に送信される情報の選択に対応する第の入力を受信し、
前記選択された情報を前記選択された車両に送信する
ように構成される1または複数の回路
を具備する
車両に情報を送信するシステム。
【請求項2】
請求項1に記載の車両に情報を送信するシステムであって、
前記表示デバイスは、前記第1の車両に設置され、道路部の交通を遠隔監視する交通監視センターに設置され、かつ/または携帯表示デバイスである
車両に情報を送信するシステム。
【請求項3】
請求項1に記載の車両に情報を送信するシステムであって、
前記第の入力は、前記表示デバイス上に表示される前記1つの画像フレームに含まれる前記1台の車両の領域に対するタッチ操作である
車両に情報を送信するシステム。
【請求項4】
請求項3に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記ビデオストリームと、前記第1の車両に関係する周辺車両の相対位置を示すデジタルモデル表現とを共に表示するように構成され、
前記1つの画像フレームが前記1つの画像フレームに含まれる前記1または複数の車両のうちの前記1台の車両の領域上でタッチされた場合、強調表示された印が、前記1つの画像フレームにおける前記選択された車両および前記デジタルモデル表現における前記選択された車両の両方の近傍に配置される
車両に情報を送信するシステム。
【請求項5】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記選択された車両の前記識別された車両情報に基づいて、前記選択された車両へ送信可能な複数の情報を特定し、
前記表示デバイス上の、ユーザによって選択可能である前記特定した複数の情報の表示を制御する
ように構成される
車両に情報を送信するシステム。
【請求項6】
請求項1に記載の車両に情報を送信するシステムであって、
撮像デバイスであって、当該撮像デバイスの視野内で前記ビデオストリームの前記複数の画像フレームを撮像するように構成される撮像デバイス
をさらに具備する
車両に情報を送信するシステム。
【請求項7】
請求項に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記複数の画像フレームを撮像する前記撮像デバイスに関係付けられた地理空間位置値および/または前記視野の方向を算出するように構成される
車両に情報を送信するシステム。
【請求項8】
請求項に記載の車両に情報を送信するシステムであって、
前記1または複数の車両の前記車両情報は、一意の車両識別子、車両位置、車両サイズ、走行方向、車両速度値、操舵角、車両位置精度データ、ブレーキシステム状態、車両安定制御システムの状態、ヨーレート、速度変化率、車線情報、および/または他の車両パラメータのうちの1または複数に対応する
車両に情報を送信するシステム。
【請求項9】
請求項に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記第1の時刻の前記撮像デバイスの前記算出された地理空間位置値、前記撮像デバイスの前記視野の前記算出された方向、前記視野内の領域の境界線に対応する地理空間情報、および/または1または複数の閾値のうちの1または複数に基づく前記車両情報のフィルタリングに基づいて、前記1または複数の車両から、前記第1の時刻の、前記1つの画像フレームに含まれる前記1または複数の車両を決定するように構成される
車両に情報を送信するシステム。
【請求項10】
請求項に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記1または複数の車両の前記受信した車両情報に基づいて、前記1または複数の車両のデジタルモデル表現を生成するように構成され、
前記生成されたデジタルモデル表現は、前記第1の時刻の前記撮像デバイスの前記視野を示す
車両に情報を送信するシステム。
【請求項11】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記表示デバイス上の、前記生成されたデジタルモデル表現の表示を制御する
ように構成され、
前記生成されたデジタルモデル表現は、前記第1の時刻の前記撮像デバイスの前記視野内の前記1または複数の車両のトップビューを含む
車両に情報を送信するシステム。
【請求項12】
請求項1に記載の車両に情報を送信するシステムであって、
前記トップビューは、前記車両情報に基づいて、前記第1の時刻の車両位置、1または複数の車線上の前記車両の順番および/または車両走行方向に対応する、前記生成されたデジタルモデル表現における前記1または複数の車両の配置を示す
車両に情報を送信するシステム。
【請求項13】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記生成されたデジタルモデル表現における前記1または複数の車両のそれぞれに、前記1または複数の車両と通信を確立するために一意の車両識別子を付すように構成される
車両に情報を送信するシステム。
【請求項14】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、ユーザ入力に応答して、前記表示デバイスにおける前記表示されたデジタルモデル表現からの前記車両の選択に基づいて、前記1または複数の車両から前記1台の車両を選択するように構成される
車両に情報を送信するシステム。
【請求項15】
請求項に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、複数の車両の一部が、1または複数の時刻に対応する前記撮像デバイスの前記視野内にあるときに、少なくとも前記複数の車両一部に対応する前記車両情報を含む1または複数のデータセットを受信するように構成される
車両に情報を送信するシステム。
【請求項16】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記受信した1または複数のデータセットに基づいて、車両データベースを生成するように構成される
車両に情報を送信するシステム。
【請求項17】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記生成された車両データベースに基づいて、前記撮像された複数の画像フレームのうちの1または複数の画像フレームのデジタルモデル表現を動的に生成するように
構成される
車両に情報を送信するシステム。
【請求項18】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記車両データベースの、前記受信した1または複数のデータセットに対応する複数の車両パラメータを、前記1または複数の時刻に対応して動的に更新するように構成される
車両に情報を送信するシステム。
【請求項19】
請求項1に記載の車両に情報を送信するシステムであって、
前記1または複数の回路は、前記第1の時刻の前記撮像デバイスの地理空間位置値、前記撮像デバイスの前記視野の方向、および/または前記視野内の領域の境界線に対応する地理空間情報のうちの1または複数に基づく、前記生成された車両データベースのフィルタリングに基づいて、前記第1の時刻の前記1または複数の車両に関係付けられた前記車両情報を識別するように構成される
車両に情報を送信するシステム。
【請求項20】
請求項1に記載の車両に情報を送信するシステムであって、
前記送信される情報は、或る交通状態にある前記選択された車両と調整を行うための停車要求メッセージ、交通違反通知、カスタムメッセージ、および/または状況メッセージのうちの1または複数である
車両に情報を送信するシステム。
【請求項21】
請求項1に記載の車両に情報を送信するシステムであって、
前記情報は、無線通信チャネル、1または複数の路側通信機、クラウドサーバ、またはDSRC(Dedicated Short-Range Communication)チャネルのうちの1または複数を介して、前記選択された車両に送信される
車両に情報を送信するシステム。
【請求項22】
表示デバイスに通信可能に接続される第1の車両のエレクトロニックコントロールユニットで、
ビデオストリームを受信し、
前記表示デバイス上の、前記ビデオストリームの複数の画像フレームの表示を制御し、
前記複数の画像フレームのうちの画像フレームに含まれる1または複数の車両の車両情報を、無線ネットワークを介して、前記1または複数の車両から受信し、
第1の時刻の、前記複数の画像フレームの中からの1つの画像フレームの選択に対応する第1の入力を受信し、
前記第1の時刻の、前記複数の画像フレームの中から選択された前記1つの画像フレームに含まれる前記1または複数の車両の中からの1台の車両の選択に対応する第の入力を受信し、
前記選択された車両に関係付けられた車両情報を識別し、
前記選択された車両に送信される情報の選択に対応する第の入力を受信し、
前記選択された情報を前記選択された車両に送信する
車両に情報を送信する方法。
【請求項23】
バッテリと、
1または複数のエレクトロニックコントロールユニットと、
表示デバイスに通信可能に接続される前記1または複数のエレクトロニックコントロールユニットに含まれる1または複数の回路であって、
ビデオストリームを受信し、
前記表示デバイス上の、前記ビデオストリームの複数の画像フレームの表示を制御し、
前記複数の画像フレームのうちの画像フレームに含まれる1または複数の他の車両の車両情報を、無線ネットワークを介して、前記1または複数の他の車両から受信し、
第1の時刻の、前記複数の画像フレームの中からの1つの画像フレームの選択に対応する第1の入力を受信し、
前記第1の時刻の、前記複数の画像フレームの中から選択された前記1つの画像フレームに含まれる前記1または複数の他の車両の中からの1台の車両の選択に対応する第の入力を受信し、
前記選択された車両に関係付けられた車両情報を識別し、
前記選択された車両に送信される情報の選択に対応する第の入力を受信し、
前記選択された情報を前記選択された車両に送信する
ように構成される1または複数の回路と
を具備する
車両。
【請求項24】
コンピュータ実行可能な一連の指示を記憶した非一過性のコンピュータ可読記憶媒体であって、表示デバイスに通信可能に接続される第1の車両の前記コンピュータに、
ビデオストリームを受信するステップ
前記表示デバイス上の、前記ビデオストリームの複数の画像フレームの表示を制御するステップ
前記複数の画像フレームのうちの画像フレームに含まれる1または複数の車両の車両情報を、無線ネットワークを介して、前記1または複数の車両から受信するステップ
第1の時刻の、前記複数の画像フレームの中からの1つの画像フレームの選択に対応する第1の入力を受信するステップと、
前記第1の時刻の、前記複数の画像フレームの中から選択された前記1つの画像フレームに含まれる前記1または複数の車両の中からの1台の車両の選択に対応する第の入力を受信するステップ
前記選択された車両に関係付けられた車両情報を識別するステップ
前記選択された車両に送信される情報の選択に対応する第の入力を受信するステップと、
前記選択された情報を前記選択された車両に送信するステップ
含む
処理を実行させる一連の指示を記憶した非一過性のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の種々の実施形態は、車両に情報を送信することに関する。より詳細には、本開示の種々の実施形態は、ビデオストリームを用いて車両に情報を送信することに関する。
【背景技術】
【0002】
高度道路交通システム等の高度な適用分野には、車両通信システムおよび交通管理システムに関して革新的なサービスが多数存在する。或る一定のシチュエーションでは、車両の運転者が、別の車両の運転者と通信をとりたい場合がある。例えば、運転者は、別の車両の運転者に危険な状況を知らせたい場合がある。しかしながら、意図的に選択した特定の車両の運転者と通信をとり、クラクションを鳴らす等の既存の技術によって具体的な意思を伝えることが運転者には難しい場合がある。別の例では、交通警察が、交通違反の疑いがある車両に対して停車要求合図としてランプを点滅させることによって当該車両を停車させ、この(停車させる)交通違反の疑いがある車両を追いたい場合がある。しかしながら、交通警察は交通違反の疑いがある車両を逃すことがある。また、交通違反の疑いがある車両の運転者は、停車要求合図等の種々の合図の意味を瞬時に理解することができず、停車すべきか否かの判断がつかない場合がある。したがって、メッセージの受信確認が求められるような場合、1または複数の車両にメッセージを送信する、向上した車両用メッセージ送信メカニズムが必要とされるであろう。
【0003】
また、従来手法の制約や不利点は、下記に記載のシステムを、本願に記載される本開示のいくつかの態様と比較し、図面を参照することで当業者に明らかになるだろう。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015―176464号公報
【特許文献2】特開2002―024994号公報
【特許文献3】特開2014―035582号公報
【特許文献4】欧州特許出願公開第2830341号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本技術はこのような状況に鑑みてなされたものであり、車両に情報を送信するものである
【課題を解決するための手段】
【0006】
車両に情報を送信するシステムおよび方法は、実質的に、図面のうち少なくとも一図と合わせて示しかつ/または記載し、特許請求の範囲においてより完全に記載する。
【0007】
本開示のこれらのおよび他の特徴および利点は、添付の図面と合わせて本開示の以下の詳細な説明を読むことで理解されるであろう。なお、全図を通して同様の参照符号は同様の部分を示す。
【図面の簡単な説明】
【0008】
図1】本開示の一実施形態に係る、車両にメッセージを送信するためのネットワーク環境を示すブロック図である。
図2】本開示の一実施形態に係る、車両の種々の例示的な構成要素またはシステムを示すブロック図である。
図3】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の車両データベースの例示的なデータ構造を示す図である。
図4A】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4B】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4C】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4D】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4E】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4F】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4G】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す図である。
図4H】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第2の例示的なシチュエーションを示す図である。
図4I】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第2の例示的なシチュエーションを示す図である。
図5A】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第3の例示的なシチュエーションを示す図である。
図5B】本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第3の例示的なシチュエーションを示す図である。
図6】本開示の一実施形態に係る、車両および歩行者にメッセージを送信する開示されるシステムおよび方法の実施態様の第4の例示的なシチュエーションを示す図である。
図7A】本開示の一実施形態に係る、車両にメッセージを送信する一例示的な方法を示す第1のフローチャートをまとめて示す図である。
図7B】本開示の一実施形態に係る、車両にメッセージを送信する一例示的な方法を示す第1のフローチャートをまとめて示す。
図8】本開示の一実施形態に係る、車両にメッセージを送信する別の例示的な方法を示す第2のフローチャートを示す図である。
【発明を実施するための形態】
【0009】
以下の各実施態様は、車両に情報を送信する開示されるシステムおよび方法に含まれてもよい。本開示の例示的な態様は、ビデオストリームの受信を含む方法を含んでもよい。表示デバイス上の、受信したビデオストリームの複数の画像フレームの表示が制御されてもよい。複数の画像フレームのうちの画像フレームに含まれる1または複数の車両の車両情報が、無線ネットワークを介して、1または複数の車両から受信されてもよい。画像フレームに含まれる1または複数の車両の中からの1台の車両の選択に対応する第1の入力が受信されてもよい。選択された車両に関係付けられた車両情報が識別されてもよい。選択された車両に送信される情報の選択に対応する第2の入力が受信されてもよい。選択された情報が、選択された車両に送信されてもよい。
【0010】
一実施形態によれば、表示デバイスは、第1の車両に設置されてもよく、または道路部の交通を遠隔監視する交通監視センターに設置されてもよい。一実施形態によれば、表示デバイスは携帯表示デバイスであってもよい。
【0011】
一実施形態によれば、第1の入力は、表示デバイス上に表示される画像フレームに含まれる車両の領域に対するタッチ操作であってもよい。一実施形態によれば、選択された車両の識別された車両情報に基づいて、選択された車両へ送信可能な複数の情報が特定されてもよい。表示デバイス上の、ユーザによって選択可能である特定された複数の情報の表示が制御されてもよい。
【0012】
一実施形態によれば、ビデオストリームと、第1の車両に関係する周辺車両の相対位置を示すデジタルモデル表現とが共に表示されてもよい。画像フレームが画像フレームに含まれる1または複数の車両のうちの車両の領域上でタッチされた場合、強調表示された印が、画像フレームにおける選択された車両およびデジタルモデル表現における選択された車両の両方の近傍に配置されてもよい。
【0013】
一実施形態によれば、第1の時刻の、複数の画像フレームの中からの1つの画像フレームの選択に対応する入力が受信されてもよい。第1の時刻の、複数の画像フレームの中から選択された1つの画像フレームは、1または複数の車両を含んでもよい。一実施形態によれば、撮像デバイスであって、当該撮像デバイスの視野内でビデオストリームの複数の画像フレームを撮像するように構成される撮像デバイスが設けられてもよい。
【0014】
一実施形態によれば、複数の画像フレームを撮像する撮像デバイスに関係付けられた地理空間位置値および/または視野の方向が算出される。一実施形態によれば、第1の時刻の1または複数の車両に関係付けられた車両情報を識別してもよい。選択された車両の識別された車両情報を含む、1または複数の車両に関係付けられた識別された車両情報は、一意の車両識別子、車両位置、車両サイズ、走行方向、車両速度値、操舵角、車両位置精度データ、ブレーキシステム状態、車両安定制御システムの状態、ヨーレート、速度変化率、車線情報、および/または他の車両パラメータのうちの1または複数に対応してもよい。
【0015】
一実施形態によれば、1または複数の車両の受信した車両情報に基づいて、1または複数の車両のデジタルモデル表現が生成されてもよい。生成されたデジタルモデル表現は、第1の時刻の撮像デバイスの視野を示してもよい。
【0016】
一実施形態によれば、車両情報を含む1または複数のデータセットは、複数の車両の少なくとも一部から受信されてもよい。1または複数のデータセットは、複数の車両の一部が、1または複数の時刻に対応する撮像デバイスの視野内にあるときに受信されてもよい。受信した1または複数のデータセットに基づいて、車両データベースが生成されてもよい。受信した1または複数のデータセットは、1または複数の時刻の少なくとも複数の車両の一部に対応する車両情報を含んでもよい。一実施形態によれば、生成された車両データベースに基づいて、撮像された複数の画像フレームのうちの1または複数の画像フレームのデジタルモデル表現が動的に生成されてもよい。
【0017】
一実施形態によれば、車両データベースの、受信した1または複数のデータセットに対応する複数の車両パラメータが動的に更新されてもよい。この更新は、1または複数の時刻に対応してもよい。一実施形態によれば、生成された車両データベースのフィルタリングに基づいて、第1の時刻の1または複数の車両に関係付けられた車両情報が識別されてもよい。このフィルタリングは、第1の時刻の撮像デバイスの地理空間位置値、撮像デバイスの視野の方向、および/または視野内の領域の境界線に対応する地理空間情報のうちの1または複数に基づいて行われてもよい。
【0018】
一実施形態によれば、表示デバイス上の、生成されたデジタルモデル表現の表示が制御されてもよい。生成されたデジタルモデル表現は、第1の時刻の撮像デバイスの視野内の1または複数の車両のトップビューを含んでもよい。トップビューは、識別された車両情報に基づいて、生成されたデジタルモデル表現における1または複数の車両の配置を示してもよい。1または複数の車両の配置は、第1の時刻の車両位置、1または複数の車線上の車両の順番および/または車両走行方向に対応してもよい。
【0019】
一実施形態によれば、生成されたデジタルモデル表現における1または複数の車両のそれぞれに、1または複数の車両と通信を確立するために一意の車両識別子が付されてもよい。一実施形態によれば、ユーザ入力に応答して、表示デバイスにおける表示されたデジタルモデル表現からの対象車両の選択に基づいて、1または複数の車両から対象車両が決定されてもよい。
【0020】
一実施形態によれば、識別された車両情報のフィルタリングに基づいて、1または複数の車両から対象車両が決定されてもよい。このフィルタリングは、第1の時刻の撮像デバイスの算出された地理空間位置値、撮像デバイスの視野の算出された方向、視野内の領域の境界線に対応する地理空間情報、および/または1または複数の閾値のうちの1または複数に基づいてもよい。
【0021】
一実施形態によれば、選択された車両に送信される情報は、或る交通状態にある選択された車両と調整を行うための停車要求メッセージ、交通違反通知、カスタムメッセージ、および/または状況メッセージのうちの1または複数であってもよい。このメッセージは、無線通信チャネル、1または複数の路側通信機、クラウドサーバ、またはDSRC(Dedicated Short-Range Communication)チャネルのうちの1または複数を介して、選択された車両に送信されてもよい。
【0022】
図1は、本開示の一実施形態に係る、車両にメッセージを送信するためのネットワーク環境を示すブロック図である。図1は、ネットワーク環境100を示す。ネットワーク環境100は、複数の車両102を含んでもよい。複数の車両102は、第1の車両104および第2の車両等である。以下、第2の車両は、対象車両106と称する。ネットワーク環境100は、通信デバイス108と、携帯デバイス110と、無線通信ネットワーク112と、1人または複数人のユーザとをさらに含んでもよい。これらのユーザは、(第1の車両104に関係付けられる)運転者114と、(対象車両106に関係付けられる)別の運転者116と、歩行者118とを含んでもよい。さらに、第1の車両104のエレクトロニックコントロールユニット(ECU)120および表示デバイス122が示されている。一実施形態によれば、対象車両106は、ECU124を有してもよい。
【0023】
ECU120は、第1の車両104の表示デバイス122に通信可能に接続されてもよい。ECU120は、無線通信ネットワーク112を介して、通信デバイス108に通信可能に接続されてもよい。第1の車両104のECU120は、第1の車両104の車載ネットワーク(図示せず)または無線通信ネットワーク112を介して、表示デバイス122に通信可能に接続されてもよい。第1の車両104および対象車両106は、道路部に沿って走行してもよい。一実施形態によれば、第1の車両104は、道路部の近傍に駐車されてもよい。一実施形態によれば、ECU120の代わりに、第1の車両104の運転者114等のユーザが有する携帯電話またはスマートフォン等の携帯デバイスの中央処理装置(CPU)を用いてもよい。このような実施形態では、携帯デバイスのCPUは、無線通信ネットワーク112を介して、通信デバイス108、携帯デバイス110、および/または複数の車両102と通信してもよい。また、携帯デバイスのCPUは、表示デバイス122上のコンテンツの表示を制御するように構成されてもよい。当該表示デバイス122は、第1の車両104に内蔵または装着されてもよい。
【0024】
複数の車両102は、交通管理および制御のために監視される道路部を走行する車両であってもよい。複数の車両102のうちの1または複数は、道路部に位置する撮像デバイス(図示せず)の視野に入り得る。一実施形態によれば、撮像デバイスは、第1の車両104に設置されてもよい。一実施形態によれば、撮像デバイスは、路側機等の通信デバイス108に接続されてもよい。第1の車両104および通信デバイス108に関係付けられた撮像デバイス(複数可)は、光学カメラ、超音波センサ、RADARユニット、LIDARユニット、赤外線カメラ、および/または赤外線RADAR等のセンサのうちの1つであってもよい。複数の車両102は、第1の車両104および対象車両106であってもよい。複数の車両102は、無線通信ネットワーク112に通信可能に接続されてもよい。複数の車両102の1または複数のデータセットが、第1の車両104および/または通信デバイス108に供給されてもよい。
【0025】
第1の車両104は、通信デバイス108および/または対象車両106等の他の車両と通信するように構成されるECU120を有してもよい。複数の車両102の少なくとも一部は、1または複数のECU(図示せず)を有してもよい。当該1または複数のECUは、第1の車両104のECU120と同様に構成されてもよい。
【0026】
対象車両106は、メッセージの送信先である複数の車両102のうちの1つであってもよい。対象車両106は、第1の車両104のECU120、通信デバイス108、および/または他の車両と通信するように構成されるECU124を有してもよい。複数の車両102(第1の車両104および対象車両106を含む)の例としては、限定はしないが、自動車両、ハイブリッド車両、自律車両、および/または、再生可能または再生不可能な複数の別個の動力源を用いる車両が挙げられる。再生可能または再生不可能な動力源を用いる車両は、化石燃料車両、電気推進車両、水素燃料車両、太陽電池車両、および/または、他の形態の代替エネルギーを動力とする車両を含んでもよい。
【0027】
通信デバイス108は、適した論理、回路、インタフェース、および/またはコードを具備してもよい。これらの論理、回路、インタフェース、および/またはコードは、第1の車両104および対象車両106等の1または複数の車両、および/または携帯デバイス110との通信チャネルを確立するように構成されてもよい。通信デバイス108は、道路部の近傍に予め設置されてもよい。一実施形態によれば、通信デバイス108は、撮像デバイスを有してもよい。撮像デバイスは、撮像デバイスの視野内の道路部の複数の画像フレームを撮像するように構成されてもよい。通信デバイス108の例としては、限定はしないが、移動式装置、路側機等のインフラ装置、および/または他の無線通信デバイスが挙げられる。
【0028】
携帯デバイス110は、適した論理、回路、インタフェース、および/またはコードを具備してもよい。これらの論理、回路、インタフェース、および/またはコードは、道路部の複数の画像フレームを表示するように構成されてもよい。複数の画像フレームは、撮像デバイスまたは携帯デバイス110に内蔵されたカメラによって撮像されてもよい。携帯デバイス110は、無線通信ネットワーク112を介して、複数の車両102のうちの1または複数の車両および/または通信デバイス108とさらに通信してもよい。携帯デバイス110の例としては、限定はしないが、歩行者118に関係付けられたスマートフォン、スマートグラス、スマートウォッチ、および/または他のコンピューティングデバイスが挙げられる。
【0029】
無線通信ネットワーク112は、媒体を有してもよい。この媒体を通じて、第1の車両104は、通信デバイス108および/または対象車両106等の1または複数の他の車両と通信してもよい。無線通信ネットワーク112の例としては、限定はしないが、DSRCネットワーク、モバイルアドホックネットワーク、VANET(Vehicular Ad-Hoc Network)、InVANET(Intelligent Vehicular Ad-Hoc Network)、IMANET(Internet Based Mobile Ad-Hoc Network)、無線センサネットワーク、無線メッシュネットワーク、インターネット、LTEネットワーク等の移動体通信ネットワーク、クラウドネットワーク、Wi−Fiネットワーク、および/または無線ローカルエリアネットワークが挙げられる。ネットワーク環境100における種々のデバイスは、種々の無線通信プロトコルに従って無線通信ネットワーク112に接続するように動作可能としてもよい。このような無線通信プロトコルの例としては、限定はしないが、IEEE802.11、802.11p、802.15、802.16、1609、Wi−MAX、WAVE(Wireless Access In Vehicular Environment)、携帯電話通信プロトコル、TCP/IP、UDP、HTTP、LTE、FTP、ZigBee、EDGE、赤外線および/またはBluetooth通信プロトコルが挙げられる。
【0030】
ECU120は、適した論理、回路、インタフェース、および/またはコードを具備してもよい。これらの論理、回路、インタフェース、および/またはコードは、1または複数の車両に関係付けられた車両情報を識別するように構成されてもよい。複数の車両102のうちの1または複数の車両は、視野の撮像時に撮像デバイスの視野に入っている車両に対応してもよい。ECU120は、第1の車両104のセンシングシステムからセンサデータにアクセスするように構成されてもよい。センサデータは、ECU120によって、VAN等の車載ネットワークおよび/またはCANバス等の車載データバスを介して、アクセスされてもよい。ECU120は、第1の車両104の無線通信システム(図2に示す)を介して、複数の車両102に関係付けられたデータセットを受信するように構成されてもよい。ECU120は、無線通信システムを介して、携帯デバイス110、通信デバイス108、または他の通信デバイス等の外部デバイスと通信するように構成されてもよい。当該通信は、無線通信ネットワーク112を用いて行われてもよい。一実施形態によれば、ECU120は、無線通信システムを介して、交通監視センター等のリモートサーバと通信するように構成されてもよい。一実施形態によれば、対象車両106のECU124は、第1の車両104のECU120と同様に構成されてもよい。一実施形態によれば、対象車両106のECU124は、第1の車両104のECU120と同様のものでなくてもよい。
【0031】
表示デバイス122は、適した論理、回路、インタフェース、および/またはコードを具備してもよい。これらの論理、回路、インタフェース、および/またはコードは、ECU120の制御下で、ビデオストリームの複数の画像フレームを表示するように構成されてもよい。表示デバイス122は、第1の車両104に取り付けられる液晶ディスプレイ、EL(electro luminescence)、ヘッドアップディスプレイまたは他の任意の表示デバイスであってもよい。ビデオストリームは、撮像デバイスによって撮像されてもよい。表示デバイス122は、ユーザからの入力を受け取ったり、運転者114等のユーザに出力を供給したりするように構成されてもよい。当該入力は、タッチ、音声、および/またはジェスチャによる入力であってもよい。一実施形態によれば、表示デバイス122は、第1の車両104のインフォテインメントユニットまたはヘッドユニットの一部として、または、車載ディスプレイとして、第1の車両104に設置されてもよい。代替的に、一実施形態によれば、表示デバイス122は、リモート交通監視センターに設置されてもよい。このような例では、表示デバイス122は、交通監視センターに設けられるネットワークインタフェースに通信可能に接続されてもよい。ネットワークインタフェースは、無線通信ネットワーク112を用いて、第1の車両104の無線通信システム(図2に示す)を介して、通信デバイス108および/またはECU120に通信可能に接続されてもよい。ビデオストリーム、およびECU120によって処理される他のデータは、第1の車両104の無線通信システムを介して遠隔送信されてもよい。次いで、これらのビデオストリームおよび他の処理データは、交通監視センターのネットワークインタフェースを介して受信された後、交通監視センターのデータサーバ等の記憶デバイスに記憶され、その後、視覚化(または表示)される。この視覚化は、遠隔監視および制御のために交通監視センターに設置される表示デバイス122において準リアルタイムで行われてもよい。
【0032】
別の例では、表示デバイス122は、携帯表示デバイスであってもよい。このような例では、表示デバイス122は、通信デバイス108および/または第1の車両104の無線通信システムに通信可能に接続されてもよい。表示デバイス122の例としては、限定はしないが、自動車のダッシュボードに設置されるインフォテインメントユニットまたはヘッドユニット、タブレット型コンピュータ、および/または、電子ディスプレイを備える他のコンピューティングデバイスが挙げられる。
【0033】
動作時、ECU120は、撮像デバイスから、ビデオストリームの複数の画像フレームを受信するように構成されてもよい。これらの複数の画像フレームは、撮像デバイスによって撮像デバイスの視野内で撮像されてもよい。ECU120は、撮像デバイスに関係付けられた地理空間位置値および/または視野の方向を算出するように構成されてもよい。
【0034】
一実施形態によれば、ECU120は、複数の車両102の少なくとも一部から1または複数のデータセットを受信するように構成されてもよい。1または複数のデータセットは、複数の車両102が道路部に沿って走行し、第1の車両104および/または通信デバイス108のDSRC範囲等の無線通信範囲に入ったときに受信されてもよい。1つのデータセットは、複数の車両102のうちの1または複数の車両の車両情報に対応する車両パラメータ群を含んでもよい。一実施形態によれば、1または複数のデータセットは、複数の車両102の少なくとも一部が、1または複数の時刻に対応する撮像デバイスの視野内にあるときに受信されてもよい。
【0035】
一実施形態によれば、ECU120は、受信した1または複数のデータセットに基づいて、車両データベースを生成するように構成されてもよい。ECU120は、1または複数の時刻の車両データベースの、複数の車両パラメータを動的に更新するように構成されてもよい。複数の車両パラメータは、複数の異なる時刻の受信した1または複数のデータセットに対応してもよい。
【0036】
一実施形態によれば、ECU120は、表示デバイス122上でのビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。ECU120は、第1の時刻の、複数の画像フレームの中からの1つの画像フレームの選択に対応する入力を受信するように構成されてもよい。この第1の時刻の、複数の画像フレームの中から選択された1つの画像フレームは、1または複数の車両を含んでもよい。
【0037】
一実施形態によれば、ECU120は、第1の時刻の1または複数の車両に関係付けられた車両情報を識別するように構成されてもよい。この車両情報の識別は、第1の時刻を用いて1または複数の車両に関係付けられた関連の車両情報の抽出に基づいてもよい。ECU120は、撮像デバイスの算出した地理空間位置値または第1の車両104の算出した代表的な地理空間位置に基づいて、生成された車両データベースをフィルタリングするように構成されてもよい。一実施形態によれば、ECU120は、第1の時刻の撮像デバイスの視野の算出した方向および/または視野内の領域の境界線に対応する地理空間情報に基づいて、生成された車両データベースをフィルタリングするように構成されてもよい。このフィルタリングは、第1の時刻の1または複数の車両に関係付けられた車両情報を識別するために行われる。
【0038】
一実施形態によれば、ECU120は、1または複数の車両のデジタルモデル表現(digital model representation)を生成するように構成されてもよい。デジタルモデル表現は、1または複数の車両に関係付けられた識別された車両情報に基づいて生成されてもよい。ECU120は、生成されたデジタルモデル表現における1または複数の車両のそれぞれに一意の車両識別子を付すように構成されてもよい。この生成されたデジタルモデル表現における1または複数の車両は、1または複数の車両と通信を確立するために識別子を付されてもよい。
【0039】
一実施形態によれば、ECU120は、識別された車両情報に基づいて、1または複数の車両から対象車両106を決定するように構成されてもよい。ECU120は、決定された対象車両106にメッセージを送信するように構成されてもよい。送信されるメッセージは、或る交通状態にある対象車両106と調整を行うための停車要求メッセージ、交通違反通知、カスタムメッセージ、および/または状況メッセージであってもよい。
【0040】
一実施形態によれば、対象車両106のECU124は、第1の車両104のECU120から送信されたメッセージを受信するように構成されてもよい。対象車両106のECU124は、受信したメッセージの真正性を検証するように構成されてもよい。対象車両106のECU124は、当該メッセージが、運転者114に関係付けられた第1の車両104等、権限のある送信元から受信されたものであるか否かを確認するように構成されてもよい。受信したメッセージの真正性は、交通監視センターに関係付けられたサーバ等のクラウドサーバを用いて検証されてもよい。この受信したメッセージは、第1の車両104の一意の識別子等の一定のメタデータを含んでもよい。一意の識別子は、クラウドサーバにおいて、予め記憶された識別子と比較されてもよい。この予め記憶された識別子は、運転者114等の種々の執行官に関係付けられた認証済みの識別子に対応してもよい。
【0041】
当該メッセージの真正性が認められ、かつ/または当該メッセージが権限のある送信元から受信されたものである場合、ECU124は、対象車両106のディスプレイ上での受信したメッセージの供給を制御するように構成されてもよい。例えば、受信したメッセージが停車要求メッセージである場合、「停車して下さい」等の視覚アラートを、対象車両106のディスプレイ上で光らせてもよい。しかしながら、本開示の範囲を限定することなく、他の任意の適したメッセージが表示されてもよい。上記ディスプレイは、インフォテインメントデバイス、ドライバ・インフォメーション・センター(DIC)、ヘッドアップディスプレイ、拡張現実ヘッドアップディスプレイ、および/または対象車両106における他のディスプレイであってもよい。当該メッセージの真正性が認められない、または、当該メッセージが権限のない送信元から受信されたものである場合、受信したメッセージは描画されず、このイベントは今後の使用のために記録されてもよい。
【0042】
一実施形態によれば、ECU124は、対象車両106において描画されたメッセージの受領通知を第1の車両104に送信するように構成されてもよい。第1の車両104のECU120は、第1の車両104の無線通信システムを介して、受領通知を受信するように構成されてもよい。受信したメッセージの種類に基づいて、ECU124は、メッセージの受信後の、対象車両106の速度変化率を検出しかつ/または継続して監視するように構成されてもよい。受信したメッセージが停車要求メッセージであり、かつ、検出された速度変化率が所定の閾値を下回っていない場合、ECU124の制御下で、音声アラートが生成されてもよい。この音声アラートは、例えば、数秒間隔の断続したブザー音または連続したブザー音であり、視覚アラートを補完する付加的なアラートであってもよい。
【0043】
一実施形態によれば、ECU120は、第1の時刻において、歩行者118に関係付けられた携帯デバイス110からデータセットを受信するように構成されてもよい。ECU120は、携帯デバイス110が道路部上のECU120の所定の通信範囲に入ったときに携帯デバイス110に通信可能に接続されてもよい。ECU120は、携帯デバイス110に関係付けられた情報を識別するように構成されてもよい。この携帯デバイス110に関係付けられた情報の識別は、生成された車両データベースを用いる等、車両情報の識別と同様に実行されてもよい。これは、運転者114が、携帯デバイス110(図1)または表示デバイス610(図6に示す)等の携帯デバイスにメッセージを送信したいと考えている場合に有益であり得る。
【0044】
便宜上、図1には交通監視センターを示していないが、道路部のビデオストリームの複数の画像は、無線通信ネットワーク112を介して、交通監視センター等のリモートクラウドサーバに送信されてもよいことは当業者には理解されるであろう。次いで、これらの複数の画像は、表示デバイス122と同様の表示デバイスに表示されてもよい。この表示デバイスは、交通監視センターに配置され、無線通信ネットワーク112を介して、ECU120または通信デバイス108に通信可能に接続されてもよい。このように、ECU120によって実行される動作は、交通監視センターに配置された表示デバイスで生成されてもよい。同様に、交通監視センターに配置された表示デバイス上で受け付けられる入力は、ECU120または通信デバイス108に中継されてもよい。
【0045】
図2は、本開示の一実施形態に係る、車両の種々の例示的な構成要素またはシステムを示すブロック図である。図2は、図1に示した要素と合わせて説明する。図2は、第1の車両104を示す。第1の車両104は、マイクロプロセッサ202およびメモリ204を有してもよいECU120を具備してもよい。第1の車両104は、ECU120に通信可能に接続される音声インタフェース206、および/またはI/Oデバイス208等の1または複数の他の入出力(I/O)デバイスをさらに具備してもよい。表示デバイス122(図1)は、I/Oデバイス208のうちの1つであってもよい。第1の車両104は、ボディコントロールモジュール210と、センシングシステム212と、パワートレインコントロールシステム214とをさらに具備してもよい。センシングシステム212は、物体検出デバイス212a、撮像部212b、および/または他の車載センサ(図示せず)を有してもよい。パワートレインコントロールシステム214は、ステアリングシステム216と、制動システム218とを有してもよい。第1の車両104は、バッテリ220と、車両パワーシステム222と、無線通信システム224と、車載ネットワーク226とをさらに具備してもよい。
【0046】
種々の構成要素またはシステムは、VAN等の車載ネットワーク226および/または車載データバスを介して通信可能に接続されてもよい。マイクロプロセッサ202は、メモリ204、音声インタフェース206、表示デバイス122、ボディコントロールモジュール210、センシングシステム212、パワートレインコントロールシステム214、および無線通信システム224に通信可能に接続されてもよい。マイクロプロセッサ202は、ステアリングシステム216および制動システム218に動作可能に接続されることもできる。当業者には理解されるように、第1の車両104は、本開示の機能および動作を説明するために本明細書に例示される構成要素またはシステムに加えて、他の適した構成要素またはシステムを有することもできる。
【0047】
マイクロプロセッサ202は、適した論理、回路、インタフェース、および/またはコードを具備してもよい。これらの論理、回路、インタフェース、および/またはコードは、メモリ204に記憶される一連の指示を実行するように構成されてもよい。マイクロプロセッサ202は、表示デバイス122上でのビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。ECU120は、無線通信システム224を介して、複数の車両102の少なくとも一部から1または複数のデータセットを受信するように構成されてもよい。マイクロプロセッサ202の例としては、X86系プロセッサ、RISCプロセッサ、ASICプロセッサ、CISCプロセッサ、マイクロコントローラ、CPU、グラフィックスプロセッシングユニット、ステートマシン、および/または他のプロセッサまたは回路が挙げられる。メモリ204は、1または複数のテキスト/音声変換アルゴリズム、1または複数の音声生成アルゴリズム、種々のブザー音に対応する音声データおよび/または他のデータを記憶するようにさらに構成されてもよい。メモリ204は、適した論理、回路、および/またはインタフェースを具備してもよい。これらの論理、回路、および/またはインタフェースは、機械語および/または一連の指示を、マイクロプロセッサ202が実行可能な少なくとも1つのコード部と共に記憶するように構成されてもよい。メモリ204の実施態様の例としては、限定はしないが、EEPROM、RAM、ROM、HDD、フラッシュメモリ、SDカード、SSD、および/またはCPUキャッシュメモリが挙げられる。
【0048】
音声インタフェース206は、スピーカ、チャイム、ブザー、または他のデバイスに接続されてもよい。これらのスピーカ、チャイム、ブザー、または他のデバイスは、音を生成するように動作可能としてもよい。音声インタフェース206は、マイクロフォンまたは他のデバイスに接続され、第1の車両104の乗員、例えば、運転者114からの音声入力を受け付けることもできる。音声インタフェース206は、マイクロプロセッサ202に通信可能に接続されることもできる。音声インタフェース206は、第1の車両104の車載インフォテインメント(IVI)システムまたはヘッドユニットの一部としてもよい。
【0049】
I/Oデバイス208は、第1の車両104の乗員、例えば、運転者114に対して出力を受け取り、供給する入出力デバイスであってもよい。I/Oデバイス208は、マイクロプロセッサ202に通信可能に接続されてもよい。入力デバイスの例としては、限定はしないが、表示デバイス122のタッチスクリーン等のタッチスクリーン、マイクロフォン、運動センサ、光センサ、および/またはドッキングステーションが挙げられる。出力デバイスの例としては、限定はしないが、表示デバイス122、およびヘッドアップディスプレイ、拡張現実ヘッドアップディスプレイ、DIC、透過型ディスプレイ、投影型ディスプレイ、DIC、インフォテインメントユニットのディスプレイ、スマートグラスディスプレイ、エレクトロクロミックディスプレイ等の他の車両ディスプレイ、および/またはスピーカが挙げられる。
【0050】
表示デバイス122は、I/Oデバイス208のうちの1つであってもよい。一実施形態によれば、表示デバイス122は、運転者114からの入力を受け取るタッチスクリーンディスプレイであってもよい。表示デバイス122は、運転者114に出力を供給するように構成することもできる。表示デバイス122の例としては、限定はしないが、ヘッドアップディスプレイ、拡張現実ヘッドアップディスプレイ、ドライバ・インフォメーション・コンソール(DIC)、インフォテインメントユニットまたはヘッドユニットの表示画面、透過型ディスプレイ、投影型ディスプレイ、スマートグラスディスプレイ、および/またはエレクトロクロミックディスプレイが挙げられる。表示デバイス122は、透明または半透明表示画面としてもよい。表示デバイス122は、生成されたデジタルモデル表現の二次元(2D)または三次元(3D)グラフィカルビューを生成してもよい。グラフィカルビューは、マイクロプロセッサ202の制御下で生成されてもよい。
【0051】
ボディコントロールモジュール210は、適した論理、回路、インタフェース、および/またはコードを具備する別のエレクトロニックコントロールユニットであってもよい。これらの論理、回路、インタフェース、および/またはコードは、第1の車両104の種々の電子部品またはシステムを制御するように構成されてもよい。ボディコントロールモジュール210は、マイクロプロセッサ202から命令を受け取るように構成されてもよい。ボディコントロールモジュール210は、第1の車両104のアクセス制御のための他の適した車両システムまたは構成要素に対する命令を中継してもよい。
【0052】
センシングシステム212は、第1の車両104に設けられる物体検出デバイス212a、撮像部212b、および/または1または複数の他の車両センサを具備してもよい。センシングシステム212は、マイクロプロセッサ202に動作可能に接続され、入力信号をマイクロプロセッサ202に供給してもよい。物体検出デバイス212aは、RADARデバイス、またはLIDARデバイス等のレーザ式物体検出センサとしてもよい。
【0053】
撮像部212bは、道路部の映像を撮像するように構成されてもよい。ビデオストリームは、撮像部212bの視野内に複数の画像フレームを含んでもよい。撮像部212bは、ビデオストリームの複数の画像フレームの各フレームの撮像時刻を記録するように構成されてもよい。撮像部212bは、第1の車両104の前方に設置されてもよい。撮像部212bの例としては、限定はしないが、イメージセンサ、広角カメラ、閉鎖回路テレビカメラ、カムコーダ、スマートグラスの内蔵カメラ、および/または他の車両カメラが挙げられる。撮像デバイス112bは、光学カメラ、超音波センサ、RADAR、LIDAR、赤外線カメラ、および/または赤外線RADAR等の種々のセンサのうちの1つであってもよい。
【0054】
センシングシステム212の他の1または複数の車両センサは、第1の車両104の走行方向、地理空間位置、操舵角、ヨーレート、速度、および/または速度変化率を感知または検出するのに用いてもよい。第1のセンサデータは、ヨーレートセンサ、車両速度センサ、走行距離(odometric)センサ、操舵角センサ、車両走行方向検出センサ、磁気センサ、およびGPS等のセンシングシステム212の1または複数の車両センサを用いて感知または検出されてもよい。他の1または複数の車両センサの他の例としては、限定はしないが、ヨーレートセンサ、車両速度センサ、速度計、GPS、操舵角検出センサ、車両走行方向検出センサ、磁気計(magnometer)、タッチセンサ、および/または赤外線センサが挙げられる。
【0055】
パワートレインコントロールシステム214は、第1の車両104のエンジンおよび動力伝達システム(設けられる場合)の動作を制御する第1の車両104の車中コンピュータであってもよい。パワートレインコントロールシステム214は、点火装置、燃料噴射、排気ガスシステム、および/または動力伝達システム(設けられる場合)および制動システム218の動作を制御してもよい。
【0056】
ステアリングシステム216は、マイクロプロセッサ202から1または複数の命令を受け取るように構成されてもよい。一実施形態によれば、ステアリングシステム216は、第1の車両104の操舵を自動的に制御してもよい。ステアリングシステム216の例としては、限定はしないが、当該技術分野で知られている、パワーステアリングシステム、真空/油圧式ステアリングシステム、電動油圧式パワーステアリング(EHPAS)、および/または「ステア−バイ−ワイヤ」システムが挙げられる。
【0057】
制動システム218は、摩擦力を適用して第1の車両104を停止させたり、減速させたりするために用いられてもよい。制動システム218は、第1の車両104が自立走行モードまたは半自立走行モードである場合、マイクロプロセッサ202の制御下で、パワートレインコントロールシステム214からの命令を受け取るように構成されてもよい。一実施形態によれば、制動システム218は、マイクロプロセッサ202が、急な勾配、障害物、または他の道路上の危険を事前に検出した場合、ボディコントロールモジュール210および/またはマイクロプロセッサ202からの命令を受け取るように構成されてもよい。制動システム218は、ブレーキペダルおよび/またはアクセルペダルに関係付けられてもよい。
【0058】
バッテリ220は、1または複数の電気回路または負荷(図示せず)用の電力源としてもよい。負荷の例としては、限定はしないが、ヘッドライトおよび室内灯等の種々の照明、車両座席、ミラー、窓等の電動調整式部品、および/またはラジオ、スピーカ、電子航法システム等の他の車載インフォテインメントシステム、ステアリングシステム216等の電気制御式、電動かつ/またはパワーステアリングが挙げられる。バッテリ220は、充電式バッテリとしてもよい。バッテリ220は、ECU120に対する電力源(一点鎖線で示す)、センシングシステム212、および/または、車載インフォテインメントシステムの1または複数のハードウェア部、例えば、表示デバイス122としてもよい。バッテリ220は、第1の車両104の点火システム(図示せず)に選択的に電力を供給することによって第1の車両104のエンジンを起動する電力源としてもよい。
【0059】
車両パワーシステム222は、上述したように、第1の車両104の種々の電子回路および負荷に対するバッテリの充電およびパワー出力を調整してもよい。第1の車両104は、ハイブリッド車両または自律車両である場合、車両パワーシステム222は、全構成要素に必要とされる電圧を供給し、第1の車両104が十分な時間にわたってバッテリ220の電力を利用することができるようにしてもよい。一実施形態によれば、車両パワーシステム222は、パワーエレクトロニクスに対応してもよく、(一点鎖線で示すように)車載ネットワーク226に通信可能に接続されるマイクロコントローラを含んでもよい。このような実施形態では、マイクロコントローラは、マイクロプロセッサ202の制御下においてパワートレインコントロールシステム214から命令を受信してもよい。
【0060】
無線通信システム224は、適した論理回路、回路、インタフェースおよび/またはコードを具備してもよい。これらの論理回路、回路、インタフェースおよび/またはコードは、通信デバイス108等の1または複数の外部デバイスおよび1または複数のクラウドサーバ、および/または対象車両106等の1または複数の車両と通信するように構成されてもよい。この1または複数の外部デバイスとの通信は、無線通信ネットワーク112を用いて行われてもよい。無線通信システム224は、限定はしないが、アンテナ、テレマティクスユニット、RF送受信機、1または複数の増幅器、1または複数の発振器、デジタル信号プロセッサ、CODECチップセット、および/またはSIMカードを有してもよい。無線通信システム224は、無線通信ネットワーク112(図1に示す)を用いて無線通信を行ってもよい。
【0061】
車載ネットワーク226は、媒体を有してもよい。この媒体を通じて、第1の車両104の種々の制御部、構成要素、および/またはシステム、例えば、ECU120、ボディコントロールモジュール210、センシングシステム212、パワートレインコントロールシステム214、無線通信システム224、音声インタフェース206、および表示デバイス122等が互いに通信してもよい。一実施形態によれば、マルチメディアコンポーネント用の音声/映像データの車載通信は、車載ネットワーク226のMOST(Media Oriented Systems Transport)マルチメディアネットワークプロトコルによって行われてもよい。MOSTネットワークは、CANとは別個のネットワークとしてもよい。MOSTネットワークは、プラスチック光ファイバを用いてもよい。一実施形態によれば、MOSTネットワーク、CAN、および他の車載ネットワークは、第1の車両104等の1台の車両内に一緒に設けられてもよい。車載ネットワーク226は、マイクロプロセッサ202(およびECU120)と、第1の車両104のテレマティクスコントロールユニット等の他のECUとの間のアクセス制御および/または通信を容易にしてもよい。第1の車両104の種々のデバイスまたは構成要素は、種々の有線および無線通信プロトコルに従って車載ネットワーク226に接続するように構成されてもよい。車載ネットワーク226用の有線および無線通信プロトコルの例としては、限定はしないが、VAN、CANバス、D2B、TTP、FlexRay、IEEE1394、データ通信プロトコルに基づくCSMA/CD、I2C、IEBus、SAE J1708、SAE J1939、ISO 11992、ISO 11783、MOST、MOST 25、MOST 50、MOST 150、プラスチック光ファイバ、電力線搬送通信(PLC)、シリアル・ペリフェラル・インタフェース(SPI)バス、および/またはLINバスが挙げられる。
【0062】
動作時、マイクロプロセッサ202は、車載ネットワーク226を介して、道路部のビデオストリームの複数の画像フレームを受信するように構成されてもよい。ビデオストリームは、道路部上の交通のライブストリームであってもよい。マイクロプロセッサ202は、撮像部212bからビデオストリームの複数の画像フレームのうちの各フレームの撮像時刻を受信するように構成されてもよい。受信したビデオストリームは、撮像時刻情報を各画像フレームに関係付けて、メモリ204に記憶されてもよい。
【0063】
一実施形態によれば、マイクロプロセッサ202は、センシングシステム212からセンサデータを受信するように構成されてもよい。マイクロプロセッサ202は、撮像部212bの地理空間位置値を算出するように構成されてもよい。マイクロプロセッサ202は、ビデオストリームを撮像する撮像部212bに関係付けられた視野の方向を算出するように構成されてもよい。
【0064】
一実施形態によれば、マイクロプロセッサ202は、無線通信システム224を介して、複数の車両102の少なくとも一部から1または複数のデータセットを受信するように構成されてもよい。1または複数のデータセットは、第1の車両104および/または通信デバイス108のDSRC範囲等の無線通信範囲内の場合に受信されてもよい。データセットは、複数の車両102のうちの車両の車両情報に対応し得る車両パラメータ群を有する。一実施形態によれば、1または複数のデータセットは、複数の車両102の少なくとも一部が、1または複数の時刻に対応する撮像部212bの視野内にあるときに受信されてもよい。例えば、第1の時刻に、車両に対応する車両と同数のデータセット、例えば、10台の車両に対応する10のデータセットが受信されてもよい。第2の時刻に、別の車両群、例えば、6台の車両が、道路部を走行し、無線通信システム224の無線範囲内でそれぞれ通信チャネルを確立してもよい。これにより、第2の時刻に、6台の車両に関する6つのデータセットが受信されてもよい。
【0065】
一実施形態によれば、マイクロプロセッサ202は、受信した1または複数のデータセットに基づいて車両データベースを生成するように構成されてもよい。マイクロプロセッサ202は、1または複数の時刻の車両データベースの複数の車両パラメータを動的に更新するように構成されてもよい。複数の車両パラメータは、複数の異なる時刻の受信した1または複数のデータセットに対応してもよい。車両データベースのデータ構造は、図3に詳細に示す。
【0066】
一実施形態によれば、マイクロプロセッサ202は、運転者114等のユーザから承認要求を受信し、撮像したビデオストリームを表示して道路部の交通を監視させるように構成されてもよい。マイクロプロセッサ202は、運転者114から受信した生体データ、ユーザの本人証明、および/または識別コード等のユーザ情報の検証に基づいて承認を判定するように構成されてもよい。
【0067】
一実施形態によれば、マイクロプロセッサ202は、表示デバイス122上でのビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。一実施形態によれば、複数の画像フレームの表示は、上記承認処理に続いて行われてもよい。一実施形態によれば、複数の画像フレームの表示は、運転者114によって設定される嗜好等の、予め設定されたユーザの嗜好に基づいて制御されてもよい。マイクロプロセッサ202は、第1の時刻の、複数の画像フレームの中からの1つの画像フレームの選択に対応する入力を受信するように構成されてもよい。第1の時刻の選択された複数の画像フレームは、1または複数の車両を含んでもよい。或る画像フレームにおいて1または複数の車両に交通違反の疑いがある車両が含まれていることが分かった場合、運転者114は、複数の画像フレームの中からこの画像フレームを選択してもよい。この交通違反の疑いがある車両は、メッセージが送信される対象車両106であってもよい。
【0068】
一実施形態によれば、マイクロプロセッサ202は、選択された画像フレームにおける1または複数の車両に関係付けられた車両情報を識別するように構成されてもよい。この車両情報の識別は、第1の時刻に検出された1または複数の車両に関係付けられた車両情報の抽出に基づいてもよい。第1の時刻は、画像フレームの撮像時刻に対応してもよい。換言すると、第1の時刻は、複数の車両102の少なくとも一部が第1の車両104のECU120に通信可能に接続された時点に対応する。1または複数の車両に関係付けられた識別された車両情報は、一意の車両識別子、車両位置、車両サイズ、走行方向、および/または車両速度値に対応してもよい。1または複数の車両に関係付けられた識別された車両情報は、操舵角、車両位置精度データ、ブレーキシステム状態、車両安定制御システムの状態、ヨーレート、速度変化率、車線情報、および/または他の車両パラメータにさらに対応してもよい。
【0069】
一実施形態によれば、マイクロプロセッサ202は、第1の時刻の生成された車両データベースのフィルタリングに基づいて、車両情報を識別するように構成されてもよい。マイクロプロセッサ202は、撮像部212bの算出された地理空間位置値に基づいて、生成された車両データベースをフィルタリングするように構成されてもよい。マイクロプロセッサ202は、1または複数の車両の車両位置、例えば、経緯度座標を、撮像部212bの算出された地理空間位置値、例えば、地理空間座標に変換するように構成されてもよい。車両位置は、識別された車両情報の1または複数の車両に関係付けられた車両パラメータのうちの1つの車両パラメータに対応してもよい。変換した車両位置は、複数の画像フレームのうち、選択された画像フレームに含まれる1または複数の車のデジタルモデル表現の生成に利用されてもよい。一実施形態によれば、マイクロプロセッサ202は、第1の時刻の撮像部212bの視野の算出された方向および/または視野内の領域の境界線に対応する地理空間情報に基づいて、生成された車両データベースをフィルタリングするように構成されてもよい。
【0070】
一実施形態によれば、マイクロプロセッサ202は、選択された画像フレームにおける1または複数の車両のデジタルモデル表現を生成するように構成されてもよい。生成されたデジタルモデル表現は、第1の時刻の撮像部212bの視野を示してもよい。デジタルモデル表現は、第1の時刻の1または複数の車両に関係付けられた識別された車両情報に基づいて生成されてもよい。一実施形態によれば、マイクロプロセッサ202は、生成された車両データベースに基づいて、撮像された複数の画像フレームのうちの1または複数のデジタルモデル表現を動的に生成するように構成されてもよい。
【0071】
一実施形態によれば、マイクロプロセッサ202は、生成されたデジタルモデル表現における1または複数の車両のそれぞれに一意の車両識別子を付すように構成されてもよい。生成されたデジタルモデル表現における1または複数の車両は、1または複数の車両との通信を確立するために識別子を付されてもよい。
【0072】
一実施形態によれば、マイクロプロセッサ202は、表示デバイス122上での生成されたデジタルモデル表現の表示を制御するように構成されてもよい。生成されたデジタルモデル表現は、第1の時刻の撮像部212bの視野内の1または複数の車両のトップビュー(上から見た図)を含む。このトップビューは、識別された車両情報に基づいて、生成されたデジタルモデル表現における1または複数の車両の配置を示してもよい。この配置は、第1の時刻の車両位置、1または複数の車線上の車両の順番、および/または1または複数の車両の車両走行方向に対応してもよい。
【0073】
マイクロプロセッサ202はさらに、生成されたデジタルモデル表現における1または複数の車両を配置し、かつ/または並べてもよい。生成されたトップビュー内の1または複数の車両は、1または複数の車両の一意の識別子に関連付けられてもよい。係る関連付けは、1または複数の車両と通信を確立するために有益であり得る。一実施形態によれば、マイクロプロセッサ202は、1または複数の車両に関係付けられた識別された車両情報の車両速度値を利用して、車線の幅を算出するように構成されてもよい。算出した車線の幅は、生成されたデジタルモデル表現における1または複数の車線上の車両の順番を判定するのに用いてもよい。同様に、生成されたデジタルモデル表現は、第1の時刻の撮像部212bの視野内の或る領域を表示してもよい。生成されたデジタルモデル表現に表示される当該領域は、1または複数の車両に関係付けられた車両速度値に基づいて、算出またはマッピングされてもよい。このマッピングされる領域は、1または複数の車両の平均速度が所定の閾値より高い場合、大きくしてもよい。
【0074】
撮像部212bに加えて、センシングシステム212のRADARデバイス等の物体検出デバイス212aが用いられる場合があり得る。このような場合では、マイクロプロセッサ202は、ビデオストリームにおいて検出される1または複数の車両等の物体を、ビデオストリーム内の1または複数の対話型オブジェクトに変換するように構成されてもよい。したがって、このような場合、別個のデジタルモデル表現を生成しなくてもよい。対話型オブジェクトは、第1の車両104に関係付けられた運転者114等のユーザによって行われる入力に基づいて作動するビデオストリーム内の選択可能な領域に対応してもよい。この入力は、これらの対話型オブジェクトから1つの対話型オブジェクトを選択するために行われてもよい。選択される対話型オブジェクトは、1または複数の車両のうち、対象車両106等の特定の車両に対応してもよい。
【0075】
一実施形態によれば、マイクロプロセッサ202は、識別された車両情報に基づいて、1または複数の車両から対象車両106を決定するように構成されてもよい。対象車両106は、識別された車両情報のうち、フィルタリングされた情報に基づいて決定されてもよい。識別された車両情報は、第1の時刻の撮像デバイスの算出した地理空間位置値、撮像デバイスの算出した視野の方向、視野内の領域の境界線に対応する地理空間情報、および/または1または複数の閾値に基づいてフィルタリングされてもよい。一実施形態によれば、マイクロプロセッサ202は、表示されたデジタルモデル表現から対象車両106を選択するユーザ入力に基づいて、1または複数の車両から対象車両106を決定するように構成されてもよい。
【0076】
一実施形態によれば、マイクロプロセッサ202は、決定された対象車両106にメッセージを送信するように構成されてもよい。送信されるメッセージは、停車要求メッセージ、交通違反通知、カスタムメッセージ、および/または状況メッセージであってもよい。このメッセージは、或る交通状態にある対象車両106と調整を行うのに用いてもよい。このメッセージは、DSRCチャネルまたはLTEプロトコル(車車間(V2V)通信)等の無線通信ネットワーク112を介して、対象車両106に送信されてもよい。一実施形態によれば、このメッセージは、路側通信機(路車間(I2V)通信)等の通信デバイス108、および/または交通監視センターのクラウドサーバ(クラウド−車間通信)を介して、対象車両106に送信されてもよい。一実施形態によれば、マイクロプロセッサ202は、この送信されたメッセージに対する受領通知を対象車両106のECU124から受信するように構成されてもよい。
【0077】
図3は、本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の車両データベースのデータ構造を示す。図3は、図1および図2に示した要素と合わせて説明する。図3は、相関する表300および320を示す。表300は、複数の異なる時刻の異なるデータセットに関するデータ構造を示す。表320は、各データセットにおける車両情報に関するデータ構造を示す。
【0078】
表300では、列302は、各時刻値が一意となるように日時フォーマット(例えば、日−月−年−時−分−秒−ミリ秒)の時刻に関するデータを記憶してもよい。列304、306、308および310は、表320の列322(各データセット)を参照するデータセット識別子値を記憶してもよい。このように、表300および表320間の相関するデータ構造が定義されてもよい。一例では、時刻「T1」に対応する列には、時刻「T1」に
第1の車両104に通信可能に接続された3台の車両から受信された3つの異なるデータセットに割り当てられる3つのデータセット識別子値「D1」、「D2」、および「D3」が示される。同様に、数ミリ秒または数秒後、例えば、時刻「T2」には、3つのデータセット識別子値「D4」、「D5」、および「D3」が示されている。データセット識別子値「D4」および「D5」は、次の時刻「T2」に第1の車両104に通信可能に接続された他の2台の車両から受信された2つの異なるデータセットに割り当てられてもよい。時刻「T2」では、通信可能に接続されることができない(例えば、第1の車両104の無線通信システム224のDSRC範囲外にある)、データセット識別子値「D1」および「D2」に対応する車両は除外されてもよい。時刻「T2」では、依然として通信可能に接続されることができる(例えば、第1の車両104の無線通信システム224のDSRC範囲内にある)、データセット識別子値「D3」に対応する車両(複数可)は、図3に示すように、時刻「T2」に対応する行から除外されなくてもよい。
【0079】
表320では、列324〜346は、列322(図示する)の各データセットに関する複数の異なる車両パラメータに関する値を記憶してもよい。車両パラメータの例としては、限定はしないが、DSRCmsgID324等の一意の車両識別子、緯度326、経度328、高さ330、進行方向332等の走行方向、車両位置精度334、車両速度値336、操舵角338、ブレーキシステム状態340、速度変化率342、車両安定制御システム状態344、および/または他の車両パラメータ346が挙げられる。したがって、1つのデータセットは、或る時刻に受信された当該データセットの送信元の車両の車両情報に対応する異なる複数の車両パラメータに関する値を含む。
【0080】
図4A図4Gは、本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第1の例示的なシチュエーションを示す。図4A図4Gは、図1図2および図3に示した要素と合わせて説明する。図4Aは、第1の時刻に道路部412に沿って走行する第1の自動車402、第2の自動車404、第3の自動車406、第4の自動車408、および第5の自動車410等の複数の車両を示す。以下、便宜上、ECU120、表示デバイス122、第1の車両104の撮像デバイス112b(図2)は、第1の自動車402に設置されるものとする。
【0081】
第1の例示的なシチュエーションによれば、第1の自動車402は、第1の車両104に対応する。第1の自動車402は、運転者114に関係付けられる。第2の自動車404、第3の自動車406、および第4の自動車408等の1または複数の車両は、第1の車両104の撮像部212bの視野に入っている。一実施形態によれば、ECU120は、第2の自動車404、第4の自動車408、および第5の自動車410からデータセットを受信するように構成されてもよい。これらのデータセットは、これらの自動車が道路部412に沿って走行し、第1の自動車402のDSRC範囲等の無線通信範囲に入ったときに受信されてもよい。
【0082】
図4Bは、撮像デバイス112bによって撮像され、ユーザインタフェース(UI)416に描画されたビデオストリーム414に表示された第2の自動車404、第3の自動車406、および第4の自動車408等の1または複数の車両を示す。UI416は、図示するように、第1の自動車402の表示デバイス122上に監視モードとして描画されてもよい。UI416は、種々のアイコン418〜426を含んでもよい。アイコン418は、ビデオストリーム414における表示された画像に関係付けられた静止画像を記憶するように、第1の自動車402の運転者114等のユーザによって選択されてもよい。運転者114は、アイコン420を用いて、撮像部212bによって撮像されたビデオストリーム414の記録を開始または停止させてもよい。アイコン422は、ユーザによって選択される所定の時間期間(例えば、5秒前)またはユーザ所望時間期間前から、ビデオストリーム414を再生するのに用いられるリバースアイコンであってもよい。アイコン424は、表示された画像に対してビデオストリーム414上で停止操作を行うのに用いられてもよい。アイコン426は、ビデオストリーム414に表示される画像フレーム414aを早送りするのに用いられる早送りアイコンであってもよい。「リアルタイム」という言葉等の指標428は、ビデオストリーム414がリアルタイムまたは準リアルタイムで処理されていることを示す。四角い点線430は、撮像部212bによって撮像されたビデオストリーム414の複数の画像フレームを処理することで検出された移動体を示す。
【0083】
一実施形態によれば、ECU120は、第1の自動車402の表示デバイス122上でのビデオストリーム414の複数の画像フレームの表示を制御するように構成されてもよい。ビデオストリーム414に表示された画像フレームの一例を図4Bに示す。この場合、ビデオストリーム414のリアルタイム処理される画像フレームが表示デバイス122上に表示される。運転者114は、運転者114が通信したい相手である、監視モードの特定の車両を識別してもよい。運転者114は、監視モードから通信モードに切り替える入力を行ってもよい。この場合、運転者114は、監視モードの特定の車両(図4B)を識別するときにアイコン424を選択してビデオストリーム414を停止させてもよい。この入力に応答して、UI416の表示モードが、図4Cに示されるように、通信モードに切り替わってもよい。
【0084】
図4Cは、通信モードのUI416を示す。通信モードでは、UI416は、3つの表示領域を有する。これらの3つの表示領域は、ビデオストリーム領域432と、デジタルモデル表現領域434と、情報選択領域436とを含む。ビデオストリーム領域432には、撮像部212bによって撮像されたビデオストリーム414が表示される。この場合、図4Aに示されるように、1または複数の車両のうち、第1の自動車402は、第2の自動車404および第4の自動車408からデータセットを受信する。第3の自動車406は、第1の自動車402と通信する通信デバイスを有しなくてもよい。
【0085】
1または複数の車両から受信されたデータセットに基づいて、強調表示マーク438aおよび440aならびに「1」および「2」等のシリアル番号が、データセットが受信され、表示された画像フレーム414aに含められる各車両に対して配置される。強調表示マーク438aおよび440aは、表示された画像フレーム414a上でこれらの車両をそれぞれ区別するために、シリアル番号と共に、ビデオストリーム領域432において異なる形状および/または色で表示されてもよい。本例では、強調表示マーク438aは四角形で、強調表示マーク440aは円形である。シリアル番号は、車両にそれぞれ割り当てられ、強調表示マークと共に表示される一意の番号に対応してもよい。この場合、番号「1」が第2の自動車404に割り当てられ、番号「2」が第4の自動車408に割り当てられている。受信したデータセットに基づいて、車両情報のいくつかのパラメータが、対応の車両の近傍に表示されてもよい。本例では、対応のデータセットから抽出された各車両の速度がUI要素442および444を介して表示される。UI要素442は、第2の自動車404の「現在速度50km毎時」等の1または複数の車両パラメータを表示してもよい。UI要素442は、第2の自動車404が、周囲の移動体を検出する先進運転支援システム(ADAS)等の周辺監視システムを搭載していることを示す「ADASあり」等の情報を表示することもできる。UI要素444は、第4の自動車408の「速度:90km毎時」等の1または複数の車両パラメータを表示してもよい。UI要素444は、第4の自動車408は、周囲の移動体を検出する周辺監視システムを搭載していないことを示す「ADASなし」等の情報を表示することもできる。ビデオストリーム領域432における強調表示マーク438aおよび440aまたは1または複数の車両パラメータの表示に基づいて、第1の自動車402の乗員(例えば、運転者114または乗員)は、第2の自動車404および第4の自動車408が、第1の自動車402と通信する能力を有しているかどうかを容易に理解することができる。
【0086】
UI416のデジタルモデル表現領域434には、デジタルモデル表現434aが描画されてもよい。アイコン404a、406a、および408aは、表示された画像フレーム414aに含まれる第2の自動車404、第3の自動車406、および第4の自動車408等の1または複数の車両を表すものであってもよい。アイコン402aは、撮像デバイス112bを用いてビデオストリーム414を撮像した第1の自動車402を表し、第2の自動車404、第3の自動車406、および第4の自動車408の近傍に配置されてもよい。アイコン410aは、表示された画像フレーム414aの撮像時刻に道路部412上の第1の自動車402の近傍にある第5の自動車410を表す。アイコン404a、408a、および410aは、1または複数の車両を示してもよい。これらの1または複数の車両のデータセットは、第1の自動車402に受信される。係る1または複数の車両は、撮像デバイス112bによって撮像された画像に基づいて判定されてもよい。
【0087】
デジタルモデル表現434aは、トップビューで表示されてもよい。トップビューは、描画されたデジタルモデル表現434aにおける1または複数の車両の配置を示してもよい。描画されたデジタルモデル表現434aにおける1または複数の車両の配置は、車両位置、道路部412の1または複数の車線上での車両の順番、車両サイズ、車種、および/または車両走行方向に対応してもよい。描画されたデジタルモデル表現434aにおける1または複数の車両の配置は、或るタイムインスタンスでの道路部(例えば、この場合、道路部412)に沿った1または複数の車両に関係付けられた現実世界の交通シチュエーションを容易に理解することができるようにすることもできる。当該或るタイムインスタンスは、1または複数の車両が、表示された画像フレーム414aに対応する撮像部212bによって撮像されたタイムインスタンス等である。例えば、ビデオストリーム領域432の表示された画像フレーム414aと、描画されたデジタルモデル表現434aの表示された画像フレーム414aとの対応関係を確立するため、かつ、1または複数の車両のうちのいくつかの車両からデータセット等の車両データが第1の自動車402において受信されたことを示すための強調表示マーク438bおよび438bおよび番号「1」および「2」等の一意の番号が、第2の自動車404のアイコン404aおよび第4の自動車408のアイコン408aの近傍に配置されてもよい。デジタルモデル表現領域434における強調表示マーク438bおよび438bおよび一意の番号は、受信されるデータセットの送信元である、表示された画像フレーム414aに含まれる1または複数の車両を容易に認識させるために、ビデオストリーム領域432上に示される、強調表示マーク438aおよび438aおよび番号「1」および「2」等の一意の番号と同様であってもよい。また、同様に受信されるデータセットの送信元である、第1の自動車402の近傍にいる第5の自動車410等の他の周辺車両も、強調表示マーク446および/または一意の番号「3」によって示されてもよい。また、撮像デバイス112bの視野448および四角い点線430は、第2の自動車404、第3の自動車406、および第4の自動車408等の車両のアイコン404a、406a、および408aのそれぞれの周囲に表示される。四角い点線430は、撮像デバイス112bの視野448内にあり、道路部412に沿った移動体として判定される車両に対してそれぞれ表示されてもよい。したがって、デジタルモデル表現領域434を用いて、第1の自動車402の運転者114は、複数の周辺車両のうち、どの周辺車両が、第1の自動車402(自身の車両)と通信可能であるか、および、どの車両が第1の自動車402の走行方向で(運転者114の)前方の視界に見えるかを理解してもよい。
【0088】
情報選択領域436では、第1の情報436a、第2の情報436b、および第3の情報436c等の複数の所定の情報が、選択可能であり、選択された情報を(UI要素436dによって)放送し、または(UI要素436eによって)1または複数の周辺車両に送信するために表示されてもよい。例えば、第1の情報436aは、撮像部212bおよび/またはセンシングシステム212の他のセンサまたはデバイスによって検出されたときに第1の自動車402の近傍にいる移動体の情報等の「感知情報」であってもよい。第1の情報436aは、事故を引き起こす可能性のある道路上の危険または物体に関係する情報であってもよい。例えば、歩道上
に検出される歩行者または道路部412上のくぼみを道路上の危険としてもよい。第2の情報436bは、識別された1または複数の車両に減速または停止を指示する「道をあけて下さい」等のメッセージであってもよい。第3の情報436cは、識別された車両に加速を指示する「制限速度まで加速して下さい」等のメッセージであってもよい。複数の所定の情報は、1または複数の車両の特定の車両に送信される、または通信デバイスによって周辺車両に対して放送される特定のメッセージであってもよい。例えば、「放送」ボタン等のUI要素436dは、選択された情報を通信デバイスによって周辺車両に放送するのに用いられてもよい。「送信」ボタン等のAUI要素436eは、図示されるように、第1の自動車402のユーザ(例えば、運転者114)によって識別された1または複数の車両に、選択された情報を送信するように設けられてもよい。
【0089】
図4Dは、通信モードに設定された場合にUI416を用いて行われる種々の動作をさらに説明する通信モードのUI416を示す。一実施形態によれば、ECU120は、ビデオストリーム領域432またはデジタルモデル表現領域434における1または複数の車両の選択に対応する、情報選択領域436から選択された情報を送信させるための入力を受信するように構成されてもよい。この場合、第4の自動車408は、アイコン408aを用いて選択されてもよい。一実施形態によれば、ECU120は、ビデオストリーム領域432およびデジタルモデル表現領域434の両方で、選択された車両(複数可)(第1の自動車402のユーザによって識別された車両)を強調表示するように構成されてもよい。この場合、第4の自動車408は、ビデオストリーム領域432における強調表示マーク440a(強調表示された印)およびデジタルモデル表現領域434における強調表示マーク440bによって示されるように強調表示されてもよい。この場合、選択され得ない車両に関係付けられる、四角い点線430、UI要素442および444、強調表示マーク438aおよび438b、ならびに強調表示マーク446(図4Cに示す)は、覆い隠されるか、またはUI416から除去されてもよい。
【0090】
一実施形態によれば、ECU120は、選択された車両の特徴に基づいて、所定の情報を有効または無効にするように構成されてもよい。この有効または無効化は、上述したように、強調表示および/または覆い隠す動作と同時に行われてもよい。換言すると、第4の自動車408等の選択された車両の特徴に基づいて、選択された車両、例えば、この場合、第4の自動車408に送信されることができる1または複数の情報が、決定および有効化されてもよく、かつ、選択された車両に送信されることができない他の情報が無効化されてもよい。例えば、この場合、第4の自動車408の受信された車両データ(例えば、受信されたデータセット)から抽出された、第4の自動車408の現在速度は、「90km/h」(図4BにUI要素444によって示す)である。第4の自動車408の現在速度は、道路部412の制限速度(例えば、「60km/h」)を超える。このような例では、ECU120は、「制限速度まで加速して下さい」等の第3の情報436cは、第4の自動車408に送信するのにふさわしくないものであると判定してもよい。続いて、ECU120は、第3の情報436cを無効化するように構成されてもよい。この無効化は、無効化またはディスエーブルされた状態を示すように、第3の情報436cに対応するUI要素のグレイアウト(図示する)によって行われてもよい。同様に、第4の自動車408の「90km/h」の速度が十分に高い場合、「道をあけて下さい」等の第2の情報436bも無効化されてもよい。また、この場合、1台の車両が検出されると、放送される特徴と対応するUI要素436dも無効化されてもよい。第4の自動車408が、周囲の移動体を検出するシステムを有しない場合、「感知情報」等の第1の情報436aは有効化されてもよい。結果的に、通信モードの表示は、図4Dに示すように、UI416を介して更新される。
【0091】
一実施形態によれば、ECU120は、選択および/または有効化され得る所定の情報のうちの1つの情報を選択するように構成されてもよい。この場合、第1の情報436aは、UI416を介して第1の自動車402のユーザによって選択され、第1の自動車402に設けられた表示デバイス122等の表示デバイス上に描画されてもよい。一実施形態によれば、ECU120は、第1の情報436a等の選択された情報を強調表示するように構成されてもよい。この場合、第1の自動車402の運転者114等のユーザは、UI要素436eを選択し、第4の自動車408等の選択された車両(複数可)に、第1の情報436a等の選択された情報を送信するようにしてもよい。例えば、撮像部212bまたは第1の自動車402の物体検出デバイス212aによって検出されたときの、潜在的な道路上の危険(例えば、第4の自動車408の別の運転者116の視界から隠れる可能性があり、高速で移動する可能性がある自動二輪車)の運転方向、速度、および地理的位置が第4の自動車408に送信されてもよい。
【0092】
図4Eは、通信モードのUI416による、選択された情報の送信を示す。一実施形態によれば、「送信」アイコン等のUI要素436eの選択後、ECU120は、第1の情報436a等の選択された情報を、第1の自動車402の無線通信システムを介して、選択された車両(複数可)、例えば、この場合、第4の自動車408に送信するように構成されてもよい。ECU120は、デジタルモデル表現領域434のメッセージアイコン450aおよびビデオストリーム領域432の別のメッセージアイコン450bに示すように、送信動作の完了を示すために、指標をビデオストリーム領域432およびデジタルモデル表現領域434のそれぞれに表示するように構成されてもよい。
【0093】
図4Fは、第4の自動車408におけるディスプレイ452を示す。同図はさらに、ディスプレイ452に描画されたUI454を示す。UI454は、図4Cに示したUI416のビデオストリーム領域432、デジタルモデル表現領域434、および情報選択領域436と同様に、ビデオストリーム領域456、デジタルモデル表現領域458、および情報領域460等の3つの表示領域を有してもよい。
【0094】
UI454のビデオストリーム領域456では、第4の自動車408の撮像デバイスによって撮像されるビデオストリーム462が表示される。第1の情報436aが第1の自動車402から受信されたことに続いて、第4の自動車408のECUは、送信者、例えば、この場合、第1の自動車402のアイコン402bの近傍にあるメッセージアイコン450cを、生成されたデジタルモデル表現458aに表示するように構成されてもよい。送信者のアイコン402bの近傍にメッセージアイコン450cを配置することで、(アイコン408bによって表される)第4の自動車408に関係する、送信者(例えば、アイコン402bによって表される第1の自動車402)の現在位置、現在の車両、走行方向、車種、車両サイズ、推定距離等の1または複数の特徴を、別の運転者116が識別し易くなる。このような1または複数の特徴は、UI454のデジタルモデル表現領域458におけるデジタルモデル表現458aの簡単な映像を通じて理解されてもよい。
【0095】
一実施形態によれば、受信した第1の情報436aは、UI454の情報領域460に示されてもよい。例えば、図示されるように、「高速の移動体(潜在的な道路上の危険)が第1の自動車402の後方の死角に検出されました」等の情報436aの受信された日時、タイトル、および、情報436aを開き、ディスプレイ452上に描画されたUI454の情報領域460に表示する必要があるかを確かめるための「受信した情報を開きますか?」等の問いかけが表示される。UI要素460aおよび460bによって示されるように、「開く」および「開かない」といった選択可能なアイコンが表示される。受信した情報436aの内容に基づいて、第4の自動車408のECUは、UI要素450dによって示されるように、デジタルモデル表現458a上の受信した情報436aから「死角情報」等を抜粋して表示するように構成されてもよい。
【0096】
図4Gは、メッセージアイコン450cを開くためのUI要素460aが選択された場合に第4の自動車408のディスプレイ452上に描画されるUI454を示す。第4の自動車408の別の運転者116等のユーザが、「開く」アイコン等のUI要素460aを選択した場合、第4の自動車408のECUは、図4Gに示されるように、情報436aの全容(詳細)を読み出して表示するように構成されてもよい。一実施形態によれば、この場合、受信した情報436aの内容が、自動二輪車等の潜在的な道路上の危険の位置、速度、および運転方向を示す場合、当該自動二輪車の存在、その速度および方向を示すアイコン468が、UI454のデジタルモデル表現領域458に表示されてもよい。
【0097】
図4Hおよび図4Iは、本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第2の例示的なシチュエーションを示す。図4Hおよび図4Iは、図1図2図3および図4A図4Gに示した要素と合わせて説明する。図4Hでは、車両のユーザである運転者114(図4A)に代えて、交通警察470が、第1の自動車402(例えば、第2の例示的なシチュエーションではパトカー)に関係付けられている。図4Hはさらに、第1の時刻に道路部412に沿って走行する第2の自動車404、第3の自動車406、および第4の自動車408を示す。これらは、図4Aに示したものと同様である。
【0098】
第2の例示的なシチュエーションによれば、第4の自動車408は、交通警察470に疑いをかけられている。したがって、交通警察470は、第4の自動車408を停車させたいと考えている。交通警察470は、UI416を介して、第4の自動車408が、表示デバイス122に表示されるビデオストリームに見えるか否かを確認してもよい。第4の自動車408が図4Bに示されるように見える場合、交通警察470は、表示デバイス122上に描画されるUI416を用いてアイコン424を選択することによって、表示されるビデオストリームを停止させるタッチ入力を行ってもよい。第4の自動車408が表示デバイス122上に見えない場合、交通警察470は、アイコン422および426(図4B)を用いて、ビデオストリームを巻き戻しまたは早送りする1または複数の入力操作を行ってもよい。この1または複数の入力操作は、第4の自動車408等の、停車させる車両を少なくとも含む画像フレームを見つけるように行われてもよい。代替的に、ビデオストリームを一時停止、巻き戻し、または早送りさせる入力は、「映像を一時停止」または「2秒巻き戻す」等の音声入力、および/またはジェスチャ入力であってもよい。第1の時刻等の或る時刻に撮像された画像フレームは、図4Bに示されるように、第4の自動車408に加えて、1または複数の車両(例えば、第2の自動車404および第3の自動車406)を含んでもよい。ECU120は、表示されたビデオストリームを一時停止させるように行われた入力を受信するように構成されてもよい。換言すると、受信する入力は、ビデオストリーム414における複数の画像フレームの中からの1つ(例えば、画像フレーム414a(図4C))の選択に対応してもよい。画像フレーム414aは、第1の時刻に対応する選択された画像フレームであってもよい。
【0099】
一実施形態によれば、ECU120は、選択された画像フレームにおいて、1または複数の車両(例えば、第2の自動車404、第3の自動車406、および第4の自動車408)に関係付けられた車両情報を識別するように構成されてもよい。この
車両情報の識別は、図4CにおいてUI416上に表示された強調表示マーク438a、438b、440a、および440bによって示されるように、第1の時刻および受信したデータセットから生成される車両データベースに基づいて行われてもよい。
【0100】
識別された車両情報に基づいて、ECU120は、第1の自動車402の表示デバイス122上の選択された画像フレームの1または複数の車両のデジタルモデル表現434a(図4Cに示す)を生成して、その後、その表示を制御するように構成されてもよい。生成されたデジタルモデル表現434aは、第1の時刻の撮像部212bの視野内の1または複数の車両のトップビューを含む。このトップビューは、識別された車両情報に基づいて、(図示するように)デジタルモデル表現434aにおける1または複数の車両の配置を示してもよい。
【0101】
一実施形態によれば、ECU120は、生成されたデジタルモデル表現434aから、第4の自動車408のアイコン408a等の表示を選択する入力を受信してもよい。第4の自動車408は、図1で説明した対象車両106の表示であってもよい。第4の自動車408は、図4Dに示されるように、受信した入力に基づいて、デジタルモデル表現434aにおいて強調表示されてもよい。交通警察470は、第2の例示的なシチュエーションによれば、情報選択領域436から「停車要求メッセージ」といった情報436a等のメッセージを選択し、UI要素436eを押して、選択したメッセージを送信してもよい。ECU120は、「停車して下さい」等の選択されたメッセージを第4の自動車408に送信するように構成されてもよい。一例では、生成されたデジタルモデル表現434aは、グラフィックアイコンとして1または複数の車両を対応の一意の車両識別子で表してもよい。DSRCmsgID324(図3)等の一意の車両識別子は、1または複数の車両のそれぞれの車両情報または番号「1」および「2」等の一意の番号(図4Cに示す)に対応してもよい。このような例では、交通警察470は、第4の自動車408のデジタル表現を選択するように、「車両<第4の自動車408の一意の識別子>を停車させる」等の音声コマンドを出してもよい。音声コマンドに基づいて、「停車して下さい」メッセージは、第4の自動車408に送信され、これによって、運転に関係する危険性を低下させてもよい。
【0102】
ECU120は、このようなメッセージに加えてカスタムメッセージを送信するようにさらに構成されてもよい。カスタムメッセージによって、停車要求の理由等の追加情報を第4の自動車408に提供してもよい。カスタムメッセージの例としては、限定はしないが、「スピード違反です」および/または「車線変更の合図を出さずに車線変更を行いました」が挙げられる。メッセージおよびカスタムメッセージは、DSRCチャネルまたはLTEプロトコルを介して、第4の自動車408に送信されてもよい。デジタルモデル表現領域434に表示されるメッセージアイコン450aおよびビデオストリーム領域432に表示される別のメッセージアイコン450bは、第4の自動車408に向けた「停車して下さい」メッセージの送信が問題なく完了したことを示す。
【0103】
一例では、撮像部212bに加えて、RADARデバイス等の物体検出デバイス212aを第1の自動車402の前側に設置することもできる。このような例では、1または複数の車両のデジタルモデル表現434aが生成されてもよい。識別された車両情報に基づいて、ECU120は、ビデオストリームにおける1または複数の車両が対応の一意の識別子で表示されるように、表示デバイス122におけるビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。例えば、第1の一意の識別子「V2」または一意の番号「1」が第2の自動車404の近傍に表示され、第2の一意の識別子「V3」が第3の自動車406の近傍に表示され、かつ、第3の一意の識別子「V4」または一意の番号「2」が第4の自動車408の近傍に表示されてもよい。交通警察470は、「停車して下さい」等のメッセージの送信先である対象車両の識別子を選択してもよい。例えば、交通警察470は、第3の一意の識別子「V4」または一意の番号「2」を選択し、第4の自動車408にメッセージを送信するようにしてもよい。この選択は、上述したように、「映像を一時停止」、「2秒巻き戻す」、または、運転中の危険性をさらに低下させるための「V2を停車させる」等のタッチ入力または音声コマンドに応じたものであってもよい。
【0104】
図4Iは、(対象車両106を表す)第4の自動車408の一部分472、および第4の自動車408のヘッドユニットのディスプレイ452に描画された停車要求メッセージのグラフィック表現474を示す。第4の自動車408のECUは、対象車両106のECU124と同様であってもよい。第4の自動車408のECUは、第4の自動車408のヘッドユニットにおける受信したメッセージの供給を制御するように構成されてもよい。一実施形態によれば、第4の自動車408のECUは、第4の自動車408が自律運転モードの場合、第4の自動車408のボディコントロールモジュールおよびパワートレインコントロールシステム等の1または複数の構成要素またはシステムを自動的に制御するように構成されてもよい。1または複数の構成要素またはシステムは、上述したように、図2に示した第1の自動車402の構成要素またはシステムと同様であってもよい。このような自動制御は、「停車して下さい」メッセージ等の受信したメッセージに基づいて第4の自動車408を減速・停車させるように行われてもよい。しかしながら、本開示の範囲を限定することなく、他の任意の適したメッセージが表示されてもよい。一実施形態によれば、第4の自動車408が自律運転モードではない場合、第4の自動車408の運転者は、ヘッドユニットのディスプレイに表示される受信したメッセージを視聴してもよい。この運転者は、受領通知を第1の自動車402に送信するように、ヘッドユニットのディスプレイで入力を行ってもよい。
【0105】
代替的に、受領通知は、当該メッセージが第4の自動車408に表示されたときに第1の自動車402に動的に送信されてもよい。この第1の自動車402に対する受領通知の送信は、停車要求メッセージと共に、第1の自動車402から受信される一意の識別子等のメタデータに基づいてもよい。速度低下(減速)が第4の自動車408に対して検出されない場合、第4の自動車408の別の運転者116等の運転者に、停車等の適した操作をとらせるようにさらに警告ブザー音が生成されてもよい。
【0106】
第1の自動車402のECU120は、第4の自動車408による停車要求メッセージの受信確認を示す、送信されたメッセージに対する受領通知を受信するように構成されてもよい。一実施形態によれば、受領通知は、第4の自動車408の地理空間位置(地理空間位置の連続的または断続的な更新)と共に受信されてもよい。次いで、第4の自動車408が交通警察470に従わず、停車しない場合、地図サービスを利用して第4の自動車408を追跡してもよい。したがって、上述したように、種々の動作によって、第4の自動車408等の対象車両に停車要求メッセージ等を送信する車両用メッセージ送信が可能となる。交通警察470は、受信した受領通知に基づいて、第4の自動車408によるメッセージの受信を確信することができる。
【0107】
図5Aおよび図5Bは、本開示の一実施形態に係る、車両にメッセージを送信する開示されるシステムおよび方法の実施態様の第3の例示的なシチュエーションを示す。図5Aおよび図5Bは、図1図2図3および図4A図4Iに示した要素と合わせて説明する。図5Aは、交通シチュエーション500を示す。当該交通シチュエーション500では、信号機や道路標識のない道路交差点の近傍に、第1の自動車402、第2の自動車404、および第3の自動車406等の複数の車両が存在する。
【0108】
第3の例示的なシチュエーションによれば、第1の自動車402は、運転者114の代わりに運転者502に関係付けられてもよい。第1の自動車402のECU120は、第1の自動車402の表示デバイス122上でのビデオストリームの複数の画像の表示を制御するように構成されてもよい。当該ビデオストリームの複数の画像は、撮像部212bの視野内で撮像されてもよい。交通警察や道路交差点の信号灯が存在しない中、第1の自動車402の運転者502は、道路交差点に沿って安全に走行するために、第2の自動車404等の特定の近くの車両と通信したいと考えている。
【0109】
第1の自動車402のECU120は、車両データベースに基づいて、撮像された複数のフレームのうちの1または複数のデジタルモデル表現を動的に生成するように構成されてもよい(この車両データベースは、図2および図3で説明したのと同様の方法で生成されてもよい)。トップビュー等のデジタルモデル表現は、図4Cに示したのと同様の表示デバイス122に描画されるUI416上のビデオストリームと同時に描画されてもよい。
【0110】
運転者502は、第2の自動車404との通信チャネルを確立するために、表示デバイス122において描画されたデジタルモデル表現から、この場合、第2の自動車404を選択してもよい。ECU120は、表示デバイス122で、UI416上の1または複数の所定の状況メッセージを、情報選択領域436内に描画するように構成されてもよい。ECU120は、無線通信ネットワーク112を介して、「お先にどうぞ」等の状況メッセージを第2の自動車404に送信するように構成されてもよい。一実施形態によれば、表示デバイス122上のUI416から、「待ちますから、お先にどうぞ―前方の赤色の車より」等のカスタムメッセージが運転者502によって入力されてもよい。
【0111】
図5Bは、第2の自動車404のヘッドユニットの表示に表示される状況メッセージ504を示す。第2の自動車404の運転者502は、受信した状況メッセージを選択するように入力を行ってもよい。第2の自動車404のECUは、選択に応答して、状況メッセージの受信の受領通知を送信するように構成されてもよい。第1の自動車402の表示デバイスおよび第2の自動車404のディスプレイに描画される状況メッセージ504の色は、状況メッセージ504の受信確認を示すように変更されてもよい。
【0112】
図6は、本開示の一実施形態に係る、車両および歩行者間でメッセージを送信する開示されるシステムおよび方法の実施態様の第4の例示的なシチュエーションを示す。図6は、図1図2および図3に示した要素と合わせて説明する。図6は、路側機602、スマートフォン604、複数の車両606、道路部608、および表示デバイス610を示す。スマートフォン604は、歩行者118に関係付けられてもよい。表示デバイス610は、UI416を描画し、交通警察470に関係付けられてもよい。
【0113】
第4の例示的なシチュエーションによれば、表示デバイス610は、表示デバイス122(図1)に対応してもよい。撮像部212b(図2)は、路側機602と一体としてもよい。路側機602は、第1の時刻において、歩行者118のスマートフォン604からデータセットを受信するように構成されてもよい。路側機602は、1または複数の時刻において、路側機602の近傍で、複数の車両606からデータセットをさらに受信してもよい。路側機602の撮像部212bは、撮像部212bの視野内の道路部608の映像を撮像してもよい。
【0114】
路側機602は、受信したデータセットに基づいて、道路部608に関係付けられる車両データベースを生成するように構成されてもよい。路側機602は、或る時間期間に、複数の車両606、スマートフォン604、および表示デバイス610に通信可能に接続されてもよい。この時間期間は、複数の車両606およびスマートフォン604が路側機602の所定の通信範囲内にある時間に対応してもよい。
【0115】
一実施形態によれば、表示デバイス610は、路側機602からライブビデオストリームを受信するように構成されてもよい。表示デバイス610は、表示デバイス610上でのライブビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。いくつかの例では、交通警察470は、歩行者118等の歩行者の道路部608の横断方法が交通違反となり得ると睨んでいる。係る例では、交通警察470は、歩行者118のスマートフォン604に交通違反メッセージを送信したいと考えている。交通警察470は、(図4B図4Eで先に示したように)UI416を用いて、表示デバイス610に表示された複数の画像フレームから1つを選択してもよい。第1の時刻での複数の画像フレームの中から選択された1つの画像フレームは、複数の車両606のうちの1または複数の車両、および歩行者118を含んでもよい。
【0116】
一実施形態によれば、表示デバイス610は、選択された画像フレームにおける1または複数の車両に関係付けられた車両情報を識別するように構成されてもよい。表示デバイス610は、歩行者118のスマートフォン604に関係付けられた情報を識別するようにさらに構成されてもよい。この車両情報およびスマートフォン604に関係付けられた情報の識別は、フィルタリング処理(図2に詳細に示す)で生成された車両データベースおよび第1の時刻を用いて行われてもよい。これらの識別された車両情報およびスマートフォン604に関係付けられた情報に基づいて、表示デバイス610は、複数の画像フレームの中から選択された1つの画像フレームにおける1または複数の車両および歩行者118のデジタルモデル表現(図4Cに示されるものと同様)を生成するように構成されてもよい。
【0117】
一実施形態によれば、交通警察470は、生成されたデジタルモデル表現における歩行者118の表示を選択する入力を行ってもよい。生成されたデジタルモデル表現においてスマートフォン604に関係付けられた1または複数の車両および歩行者118は、表示デバイス610との通信を確立するために一意の識別子が付されてもよい。次いで、表示デバイス610は、歩行者118のスマートフォン604に交通違反メッセージを送信してもよい。
【0118】
同様に、表示デバイス610は、識別された車両情報に基づいて、複数の車両606から1または複数の対象車両を動的に決定してもよい。一例では、識別された車両情報は、車両速度値を含んでもよい。このような例では、1または複数の対象車両の車両速度値は、閾値速度値と比較されてもよい。閾値速度値は、制限速度を算出するために、撮像部212bの地理空間位置に関係付けられてもよい。閾値速度値は、撮像部212bが位置する道路部608に対する所定の制限速度に対応してもよい。
【0119】
交通警察470は、表示デバイス610上に描画されるUI416を用いて、1または複数の対象車両に1または複数の交通違反メッセージを送信してもよい。一実施形態によれば、表示デバイス610は、1または複数の対象車両に1または複数の交通違反メッセージを同時に送信するように、生成されたデジタルモデル表現上の1または複数の入力操作を受信するように構成されてもよい。
【0120】
しかしながら、本開示はこれに限定されず、本開示の範囲から逸脱しない限り、表示デバイス610で実行される動作は、路側機602でも実行されてもよい。このような場合、表示デバイス610は、出力の最終的な提示および入力の受け取りのために利用されてもよい。また、路側機602は、今後の使用のために、交通監視センター等のリモートクラウドサーバに、撮像部212bによって撮像された映像データを送信してもよい。
【0121】
図7Aおよび図7Bは、本開示の一実施形態に係る、車両にメッセージを送信する一例示的な方法を示すフローチャートをまとめて示す。図7Aおよび図7Bは、フローチャート700を示す。フローチャート700は、図1図2図3図4A図4I図5A図5Bおよび図6と合わせて説明する。本方法は、ステップ702において開始され、ステップ704に進む。
【0122】
ステップ704において、ビデオストリームの複数の画像フレームおよび/またはセンサデータをECU120において受信してもよい。ビデオストリーム(例えば、ビデオストリーム414(図4B))および/またはセンサデータを、撮像部212bから受信してもよい。一実施形態によれば、センサデータは、センシングシステム212(図2)の、物体検出デバイス212aまたは車載センサ等の他の1または複数のセンサから受信してもよい。ビデオストリームは、道路部(例えば、道路部412(図4A)、図5Aに示す道路部、または道路部608(図6))上の交通のライブストリームとしてもよい。一実施形態によれば、ECU120は、撮像部212bから、ビデオストリームの複数の画像フレームの各フレームの撮像時刻も受信してもよい。受信したビデオストリームは、撮像時刻情報を各画像フレームに関係付けて、メモリ204に記憶してもよい。
【0123】
ステップ706において、ビデオストリームの複数の画像フレームの表示は、表示デバイス122上で制御してもよい。一実施形態によれば、複数の画像フレームの表示は、運転者114によって設定される嗜好等、予め設定されたユーザの嗜好に基づいて制御してもよい。ビデオストリーム414等の、ビデオストリームの複数の画像フレームの表示の一例は、図4BのUI416上に示す。UI416は、図示されるように、車両(例えば、第1の車両104(図1)または第1の自動車402(図4Aおよび図4B)に設置される表示デバイス122上に監視モードとして描画してもよい。
【0124】
ステップ708において、複数の画像フレームを撮像する撮像部212bに関係付けられた地理空間位置値および/または視野の方向を算出してもよい。撮像部212bに関係付けられた視野の方向の一例は、図4Aに示すように、撮像部212bから延びる2本の末広がりの一点鎖線によって表される。視野の方向の別の例は、例えば、UI416上に示される視野448であり、これは、図4C図4Dおよび図4Eに示されている。
【0125】
ステップ710において、複数の車両102の少なくとも一部から1または複数のデータセットを受信してもよい。1または複数のデータセットは、複数の車両102の一部が、1または複数の時刻に対応する撮像部212bの視野内にあるときに受信してもよい。1または複数のデータセットは、1または複数の時刻での、複数の車両102(例えば、図4Cに示すような第2の自動車404、第4の自動車408、および第5の自動車410であり、ここで、受信したデータセットは、UI416上の強調表示された印に表される)に対応する車両情報を含んでもよい。例えば、図4C中、デジタルモデル表現領域434内の強調表示マーク438bおよび438bおよび一意の番号は、強調表示マーク438aおよび438aおよび番号「1」および「2」等の一意の番号と同様であってもよい。これらは、受信されるデータセットの送信元である、表示された画像フレーム414aに含まれる1または複数の車両を容易に理解させるためにビデオストリーム領域432に示されている。同様に受信されるデータセットの送信元である、第1の自動車402の近傍にいる第5の自動車410は同様に、図4Cに示すように、強調表示マーク446、および/または一意の番号「3」によって示されてもよい。
【0126】
一実施形態によれば、1または複数のデータセットは、複数の車両102が、道路部(例えば、道路部412または道路部608)に沿って走行し、第1の車両104および/または通信デバイス108(例えば、路側機602(図6))のDSRC範囲等の無線通信範囲に入ったときに受信してもよい。データセットは、図2および図3に示すように、複数の車両102のうちの車両の車両情報に対応する車両パラメータ群を含む。
【0127】
ステップ712において、受信した1または複数のデータセットに基づいて車両データベースを生成してもよい。この車両データベースのデータ構造は、一例として図3に詳細に示す。ステップ714において、車両データベースの、受信した1または複数のデータセットに対応する複数の車両パラメータを更新してもよい。この更新は、1または複数の時刻に行ってもよい。
【0128】
ステップ716において、第1の時刻での複数の画像フレームの中からの1つの画像フレームの選択に対応する入力を受信してもよい。この第1の時刻に複数の画像フレームの中から選択された1つの画像フレームは、1または複数の車両を含む。例えば、図4Bに示されるように、アイコン424は、ビデオストリーム414を一時停止する、例えば、表示された画像に対するビデオストリーム414を一時停止するのに用いてもよい。運転者114は、運転者114は通信したい、監視モードの特定の車両を識別してもよい。運転者114は、運転者114が、監視モード(図4B)の特定の車両を識別したときに、ビデオストリーム414を一時停止するアイコン424を選択してもよい。この入力に応答して、画像フレーム414a(図4C)が選択され、UI416の表示モードは、図4Cに示すように、通信モードに変更されてもよい。
【0129】
ステップ718において、第1の時刻の1または複数の車両に関係付けられた車両情報を識別してもよい。この識別は、生成された車両データベースのフィルタリングに基づいてもよい。このフィルタリングは、第1の時刻の撮像部212bの地理空間位置値、撮像部212bの視野の方向、および/または視野内の領域の境界線に対応する地理空間情報に基づいて行わってもよい。例えば、(特定の時点での撮像部212bの視野にも対応する)ビデオストリーム414の表示された画像フレーム414aの撮像時刻は、第1の時刻としてもよい。したがって、第1の時刻において、第1の自動車402の近傍にいた車両、および受信したデータセットの送信元である車両を、上述したパラメータに基づいて車両データベースでフィルタリングしてもよい。このように、画像フレーム414aの1または複数の車両を、選択された画像フレーム414aの撮像時刻に基づいて識別してもよい。また、第1の時刻において、第1の時刻にセンシングシステム212から受信されたセンサデータから他の車両および/または車両情報を識別してもよい。このフィルタリング処理は、図2に詳細に記載されている。
【0130】
ステップ720において、1または複数の車両のデジタルモデル表現を生成してもよい。生成されたデジタルモデル表現は、第1の時刻の撮像部212bの視野を示してもよく、第1の時刻での複数の画像フレームの中から選択された1つの画像フレーム(例えば、画像フレーム414a)に対応してもよい。デジタルモデル表現の一例は、図4Cに示すように、UI416上に表示されるデジタルモデル表現434aとしてもよい。
【0131】
ステップ722において、生成されたデジタルモデル表現における1または複数の車両のそれぞれに、1または複数の車両との通信を確立するために一意の車両識別子を付してもよい。1または複数の車両に付される一意の車両識別子の一例は、図4C図4Dおよび図4E上に表示されたデジタルモデル表現領域434に示される、それぞれ、第1の自動車402、第2の自動車404、第3の自動車406、第4の自動車408、および第5の自動車410等の1または複数の車両の指標として用いられるアイコン402a、404a、406a、408a、および408aとしてもよい。
【0132】
ステップ724において、表示デバイス122上での生成されたデジタルモデル表現の表示を制御してもよい。生成されたデジタルモデル表現は、第1の時刻の撮像部212bの視野内の1または複数の車両のトップビューを含んでもよい。一実施形態によれば、トップビューは、生成されたデジタルモデル表現における1または複数の車両の配置を示してもよい。この配置は、識別された車両情報に基づいて行ってもよい。この配置は、第1の時刻の車両位置、1または複数の車線上の車両の順番、および/または車両走行方向に対応してもよい。例えば、図4C中、生成されたデジタルモデル表現434aは、第1の時刻の撮像部212bの視野内の1または複数の車両のトップビューを含む。トップビューは、識別された車両情報に基づいて、(図示するように)デジタルモデル表現434aにおける1または複数の車両の配置を示してもよい。
【0133】
ステップ726において、画像フレーム414a等の画像フレームに含まれる1または複数の車両の中からの1台の車両(例えば、対象車両106(図1)または第4の自動車408(図4F))の選択に対応する入力を受信してもよい。例えば、図4Dに示すように、ECU120は、ビデオストリーム領域432またはデジタルモデル表現領域434からの1または複数の車両の選択に対応する入力を受信するように構成されてもよい。第4の自動車408は、UI416のアイコン408aを用いて選択してもよい。第4の自動車408は、図4Dに示すように、ビデオストリーム領域432内の強調表示マーク440a(強調表示された印)およびデジタルモデル表現領域434内の強調表示マーク440bによって示されるように、強調表示してもよい。代替的に、1または複数の車両から対象車両を、識別された車両情報に基づいて動的に決定してもよい。この車両は、速度超過と判定された車両、または、照明が故障した車両、および/または誤った車線にいる車両である。一実施形態によれば、表示デバイス122において、表示されたデジタルモデル表現434a等の表示されたデジタルモデル表現から対象車両106を選択するユーザ入力に基づいて、1または複数の車両から対象車両106を決定してもよい。
【0134】
ステップ728において、選択された車両に関係付けられた車両情報を識別してもよい。この選択された車両に関係付けられた車両情報の識別は、画像フレーム414a等の選択された画像フレームに含まれる事前に1または複数の車両に関係付けられた識別された車両情報に基づいてもよい。
【0135】
ステップ730において、選択された車両の識別された車両情報に基づいて選択された車両に送信される、図4Dおよび図4Eに示すような情報436a、436b、および436c等の複数の情報を特定してもよい。一実施形態によれば、表示デバイス122上でユーザ(例えば、運転者114または交通警察470)によって選択可能な特定された複数の情報の表示を制御してもよい。例えば、特定された複数の情報の表示は、図4Dおよび図4Eに示すように、UI416の情報選択領域436において制御してもよい。
【0136】
ステップ732において、選択された車両に送信される情報の選択に対応する別の入力をECU120で受信してもよい。例えば、図4D中、第1の情報436aは、UI416を介して第1の自動車402のユーザによって選択され、第1の自動車402に設けられた表示デバイス122等の表示デバイス上に描画されてもよい。第1の情報436a等の選択された情報は、強調表示されてもよい。
【0137】
ステップ734において、選択された情報は、選択された車両(例えば、対象車両106(図1)または第4の自動車408(図4F))に送信してもよい))。送信される選択された情報は、或る交通状態にある選択された車両と調整を行うための停車要求メッセージ(図4Hおよび図4Iに示す)、交通違反通知(図6に示す)、カスタムメッセージ(図4Hおよび図4Iに示す)、および/または状況メッセージ(例えば、図5Bに示す状況メッセージ504)としてもよい。この情報は、無線通信チャネル(例えば、無線通信ネットワーク112)、1または複数の路側通信機(例えば、通信デバイス108(図1)または路側機602(図6))、クラウドサーバ(例えば、交通監視センター)、またはDSRCチャネルを介して、選択された車両に送信してもよい。例えば、図4Eに示すように、「送信」アイコン等のUI要素436eの選択後、ECU120は、第1の自動車402の無線通信システムを介して、第4の自動車408等の選択された車両(複数可)に、第1の情報436a等の選択された情報を送信するように構成されてもよい。
【0138】
ステップ736において、選択された車両から受領通知を受信してもよい。この受領通知は、選択された車両(例えば、対象車両106(図1)または第4の自動車408(図4F))による情報またはメッセージの受信の確認を示してもよい。本制御処理は、終了ステップ738に移行する。
【0139】
図8は、本開示の一実施形態に係る、車両にメッセージを送信する別の例示的な方法を示す第2のフローチャートである。図8は、フローチャート800を示す。フローチャート800は、図1図2図3図4A図4I図5A図5Bおよび図6と合わせて説明する。本方法は、ステップ802において開始され、ステップ804に進む。
【0140】
ステップ804において、第1の車両104等の車両から送信されるメッセージを受信してもよい。このメッセージは、対象車両106(例えば、第4の自動車408)のECU124等のECUによって受信してもよい。
【0141】
ステップ806において、受信したメッセージが真正であり、運転者114に関係付けられた第1の車両104等の権限のある送信元から受信されたものであるかどうかを判定してもよい。受信したメッセージに真正性が認められ、かつ/または受信したメッセージが権限のある送信元から受信された場合、本制御処理は、ステップ808に移行してもよい。受信したメッセージを検証することができない、または非真正性または権限のなさが認められた場合、本制御処理は、ステップ820に移行してもよい。
【0142】
ステップ808において、対象車両106におけるディスプレイ452(図4Fおよび図4G)等の表示デバイス上の、受信したメッセージの供給を制御してもよい。受信したメッセージの供給の一例は、図4Eに示されている。受信した第1の情報436a等の、受信した情報またはメッセージは、UI454の情報領域460に示されてもよい。また、第1の自動車402から第1の情報436aが受信されたことに続いて、第4の自動車408のECUは、図4Eに示されるように、生成されたデジタルモデル表現458aにおける第1の自動車402等の送信者のアイコン402bの近傍にメッセージアイコン450cを表示するように構成されてもよい。第4の自動車408の別の運転者116等のユーザは、「開く」アイコン等のUI要素460aを選択する場合、第4の自動車408のECUは、図4Gに示すように、情報436aの全容(詳細)を読み出して表示するように構成されてもよい。
【0143】
ステップ810において、対象車両106で描画されたメッセージの受領通知を第1の車両104に送信してもよい。例えば、図4Iに示すように、第1の自動車402への受領通知の送信は、停車要求メッセージと共に、第1の自動車402から受信される一意の識別子等のメタデータに基づいてもよい。
【0144】
ステップ812において、受信したメッセージの種類を判定してもよい。ステップ814において、メッセージの種類が停車要求メッセージに対応するかどうかを判定してもよい。受信したメッセージが停車要求メッセージであると判定された場合、本制御処理は、ステップ816に移行してもよい。受信したメッセージが停車要求メッセージではない場合、本制御処理は、ステップ822に移行してもよい。ステップ816において、対象車両106の速度変化率は、検出および/または連続監視してもよい。
【0145】
ステップ818において、検出された速度変化率が所定の閾値を上回るかどうかを判定してもよい。検出された速度変化率が所定の閾値を上回る場合、本制御処理は、ステップ820に移行してもよい。検出された速度変化率が所定の閾値を下回る場合、本制御処理は、(対象車両106が停車するまで)ステップ816に戻る。
【0146】
ステップ820において、音声アラートを出力してもよい。この音声アラートは、視覚アラート等の表示されたメッセージを補完するための付加的なアラートとしてもよい。例えば、図4Iに示すように、速度低下(減速)が第4の自動車408に対して検出されない場合、第4の自動車408の別の運転者116等の運転者に、停車等の適した操作をとらせるようにさらに警告ブザー音が生成されてもよい。本制御処理は、終了ステップ824に移行する。ステップ822において、受信したメッセージを描画せず、イベントを対象車両106に記録してもよい。本制御処理は、終了ステップ824に移行する。
【0147】
本開示の一実施形態によれば、車両にメッセージを送信するシステムが開示される。本システム(例えば、ECU120(図1)は、1または複数の回路(以下、マイクロプロセッサ202(図2)と称する)を具備してもよい。マイクロプロセッサ202は、ビデオストリーム(例えば、ビデオストリーム414)を受信するように構成されてもよい。マイクロプロセッサ202は、表示デバイス122(図1)上でのビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。マイクロプロセッサ202は、無線ネットワーク(例えば、無線通信ネットワーク112(図1))を介して、1または複数の車両から、複数の画像フレームの画像フレーム(例えば、画像フレーム414a)に含まれる1または複数の車両の車両情報を受信するように構成されてもよい。マイクロプロセッサ202は、画像フレームに含まれる1または複数の車両の中からの1台の車両(例えば、対象車両106または第4の自動車408)の選択に対応する第1の入力を受信するように構成されてもよい。マイクロプロセッサ202は、選択された車両に関係付けられた車両情報を識別するように構成されてもよい。マイクロプロセッサ202は、選択された車両に送信される情報の選択に対応する第2の入力を受信するように構成されてもよい。マイクロプロセッサ202は、選択された車両(例えば、対象車両106または第4の自動車408)に選択された情報を送信するように構成されてもよい。
【0148】
本開示の一実施形態によれば、車両(例えば、第1の車両104(図1および図2)または第1の自動車402(図4A図4E))が開示される。本車両は、バッテリ220を具備してもよい。本車両は、ECU120(図1および図2)をさらに具備してもよい。ECU120は、表示デバイス122に通信可能に接続される1または複数の回路(以下、マイクロプロセッサ202(図2)と称する)を具備してもよい。マイクロプロセッサ202は、ビデオストリーム(例えば、ビデオストリーム414)を受信するように構成されてもよい。マイクロプロセッサ202は、表示デバイス122(図1)上でのビデオストリームの複数の画像フレームの表示を制御するように構成されてもよい。マイクロプロセッサ202は、無線ネットワーク(例えば、無線通信ネットワーク112(図1))を介して、1または複数の車両から、複数の画像フレームの画像フレーム(例えば、画像フレーム414a)に含まれる1または複数の車両の車両情報を受信するように構成されてもよい。マイクロプロセッサ202は、画像フレームに含まれる1または複数の車両の中からの1台の車両(例えば、対象車両106または第4の自動車408)の選択に対応する第1の入力を受信するように構成されてもよい。マイクロプロセッサ202は、選択された車両に関係付けられた車両情報を識別するように構成されてもよい。マイクロプロセッサ202は、選択された車両に送信される情報の選択に対応する第2の入力を受信するように構成されてもよい。マイクロプロセッサ202は、選択された車両(例えば、対象車両106または第4の自動車408)に選択された情報を送信するように構成されてもよい。
【0149】
本開示の種々の実施形態は、機械および/またはコンピュータに、車両にメッセージを送信する、コンピュータ実行可能な一連の指示を記憶した非一過性のコンピュータ可読媒体および/または記憶媒体を提供してもよい。ECU120(図1)等のECUにおける、コンピュータ実行可能な一連の指示は、機械および/またはコンピュータに、ビデオストリーム(例えば、ビデオストリーム414)の受信を含む各ステップを行わせてもよい。表示デバイス122上での受信したビデオストリームの複数の画像フレームの表示が制御されてもよい。複数の画像フレームの画像フレームに含まれる1または複数の車両の車両情報は、無線ネットワーク(例えば、無線通信ネットワーク112(図1))を介して1または複数の車両から受信されてもよい。画像フレームに含まれる1または複数の車両の中からの1台の車両(例えば、対象車両106または第4の自動車408)の選択に対応する第1の入力が受信されてもよい。選択された車両に関係付けられた車両情報が識別されてもよい。選択された車両に送信される情報の選択に対応する第2の入力が受信されてもよい。選択された情報は、選択された車両(例えば、対象車両106または第4の自動車408)に送信されてもよい。
【0150】
本開示は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアとの組合せで実現してもよい。本開示は、少なくとも1つのコンピュータシステムで集中的に、または、相互接続されたいくつかのコンピュータシステムにわたって異なる要素が拡散されることで分散して、実現してもよい。本明細書に記載された各方法を実現するために適合されたコンピュータシステムまたは他の装置を適合させてもよい。ハードウェアおよびソフトウェアの組合せを、ロードされて実行されると、本明細書に記載された各方法を実現するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとしてもよい。本開示は、他の機能も実行する集積回路の一部から成るハードウェアで実現してもよい。
【0151】
本開示は、本明細書に記載の各方法の実施態様を可能にする全ての特徴を有し、コンピュータシステムにロードされると、これらの方法を実現することができるコンピュータプログラム製品に埋め込まれてもよい。文脈上、コンピュータプログラムは、情報処理能力を有するシステムに、直接、または、a)別の言語、コードまたは表記法への変換、およびb)異なるデータ形体での再生のうちの一方または両方が行われた後に、特定の機能を実行させるように意図された一連の指示を、任意の言語、コードまたは表記法で表現したものを意味する。
【0152】
本開示をいくつかの実施形態を参照して説明したが、本開示の範囲から逸脱しない限り、種々の変更が可能であり、等価物を代用してもよいことが当業者には理解されるであろう。また、本開示の範囲から逸脱しない限り、特定の状況または材料を本開示の教示に適合させる多くの変更形態が可能であり得る。したがって、本開示は、開示された特定の実施形態に限定されず、添付の特許請求の範囲内の全ての実施形態を包含することが意図されている。
図1
図2
図3
図4A
図4B
図4C
図4D
図4E
図4F
図4G
図4H
図4I
図5A
図5B
図6
図7A
図7B
図8