(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089251
(43)【公開日】2024-07-03
(54)【発明の名称】車両監視方法及び車両監視用サーバ
(51)【国際特許分類】
H04N 21/242 20110101AFI20240626BHJP
G08G 1/04 20060101ALI20240626BHJP
H04N 7/18 20060101ALI20240626BHJP
H04N 21/231 20110101ALI20240626BHJP
H04N 21/258 20110101ALI20240626BHJP
【FI】
H04N21/242
G08G1/04 D
H04N7/18 D
H04N21/231
H04N21/258
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2022204507
(22)【出願日】2022-12-21
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】110000486
【氏名又は名称】弁理士法人とこしえ特許事務所
(72)【発明者】
【氏名】明李 成博
(72)【発明者】
【氏名】中村 誠秀
(72)【発明者】
【氏名】吉松 祐香
【テーマコード(参考)】
5C054
5C164
5H181
【Fターム(参考)】
5C054CA04
5C054CC02
5C054CE12
5C054FE02
5C054HA19
5C164FA07
5C164SB10P
5C164SB29S
5C164SB36P
5C164SC11P
5C164YA21
5H181AA01
5H181BB04
5H181CC04
(57)【要約】
【課題】車両を監視する動画を適切なタイミングで監視者に表示できる車両監視方法及び車両監視用サーバを提供する。
【解決手段】車両10の制御装置15から、監視者に対して動画を表示する表示指示を、動画に車両10の表示が出現する表示開始時刻までに取得した場合は、表示開始時刻までに動画を監視者に対して表示する。また、車両10の制御装置15が推定した、車両10がカメラの撮像範囲に進入する進入時刻に、バッファリング時間を加算して表示開始時刻を算出し、制御装置15から、監視者に対して動画を表示する表示指示を表示開始時刻までに取得した場合は、表示開始時刻から動画を監視者に対して表示する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
サーバにより実行される車両監視方法において、
前記サーバは、
車両が走行中の道路に設置されたカメラから取得した画像データを、所定のバッファリング時間蓄積することで前記画像データを時系列で表示する動画を生成し、
前記カメラの撮像範囲と前記バッファリング時間を前記車両の制御装置に出力し、
前記制御装置が推定した、前記車両が前記撮像範囲に進入する進入時刻に、前記バッファリング時間が加算された、前記動画に前記車両の表示が出現する表示開始時刻を取得し、
前記制御装置から、前記車両の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視方法。
【請求項2】
前記表示開始時刻は、前記進入時刻に前記バッファリング時間を加算し、さらに、前記サーバが前記制御装置から出力された前記表示指示を取得するための時間と、複数の前記カメラに対して生成された複数の前記動画を切り替えて表示する場合に前記動画の表示を切り替えるための時間とを減算した時刻である、請求項1に記載の車両監視方法。
【請求項3】
サーバにより実行される車両監視方法において、
前記サーバは、
車両が走行中の道路に設置されたカメラから取得した画像データを、所定のバッファリング時間蓄積することで前記画像データを時系列で表示する動画を生成し、
前記カメラの撮像範囲を前記車両の制御装置に出力し、
前記制御装置が推定した、前記車両が前記撮像範囲に進入する進入時刻を取得し、
前記進入時刻に前記バッファリング時間を加算して前記動画に前記車両の表示が出現する表示開始時刻を算出し、
前記制御装置から、前記車両の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視方法。
【請求項4】
前記表示開始時刻は、前記進入時刻に前記バッファリング時間を加算し、さらに、前記サーバが、前記制御装置から前記進入時刻を取得するための時間と、複数の前記カメラに対して生成された複数の前記動画を切り替えて表示する場合に前記動画の表示を切り替えるための時間とを減算した時刻である、請求項3に記載の車両監視方法。
【請求項5】
前記サーバは、
前記制御装置が、前記車両の走行経路と、前記撮像範囲とに基づき選択した、前記車両を監視する前記カメラの前記撮像範囲において、前記制御装置により設定された、前記車両が走行可能な監視領域を取得する、請求項1~4のいずれか一項に記載の車両監視方法。
【請求項6】
前記サーバは、
前記カメラごとの前記バッファリング時間を所定の時間間隔で更新して前記制御装置に出力する場合に、選択された前記カメラの前記バッファリング時間を更新するか否かを判定するための情報を取得し、
前記情報に基づいて前記バッファリング時間を更新するか否かを判定する、請求項5に記載の車両監視方法。
【請求項7】
前記サーバは、
前記バッファリング時間を更新すると判定した場合は、選択された前記カメラの前記撮像範囲に前記車両が進入する前に、選択された前記カメラの前記撮像範囲を通過できる計測用の他車両を抽出し、
前記計測用の他車両に対し、選択された前記カメラの前記撮像範囲を通過する走行経路を設定する、請求項6に記載の車両監視方法。
【請求項8】
前記サーバは、
前記走行経路に沿って走行する前記計測用の他車両の走行位置と、前記走行位置を実際に走行した第1時刻とを取得し、
選択された前記カメラに対して生成された前記動画において、前記動画に表示された前記計測用の他車両が、前記走行位置に対応する位置を走行した時の第2時刻を取得し、
前記第1時刻と前記第2時刻との差を前記バッファリング時間として算出する、請求項7に記載の車両監視方法。
【請求項9】
前記サーバは、
前記計測用の他車両が存在しない場合は、予め定められた所定値を前記バッファリング時間に設定する又は前記車両が過去に前記撮像範囲を走行したときの前記バッファリング時間を更新後の前記バッファリング時間に設定する、請求項7に記載の車両監視方法。
【請求項10】
前記サーバは、
複数の前記カメラに対して生成された複数の前記動画を切り替えて表示する場合に、前記制御装置により、前記進入時刻に前記バッファリング時間を加算し、さらに、前記サーバが前記制御装置から出力された前記表示指示を取得するための第1時間と、複数の前記カメラに対して生成された複数の前記動画を切り替えて表示する場合に前記動画の表示を切り替えるための第2時間とを減算して算出された前記表示開始時刻を取得し、
前記制御装置により、前記制御装置が推定した、前記車両が前記撮像範囲から退出する退出時刻に前記バッファリング時間を加算し、さらに、前記第1時間及び前記第2時間を減算して算出された、前記動画から前記車両の表示が消失する表示終了時刻を取得し、
前記動画の表示を切り替える切り替え指示を前記制御装置から取得したときは、前記表示開始時刻及び前記表示終了時刻に前記動画の表示を切り替える、請求項1に記載の車両監視方法。
【請求項11】
前記サーバは、
前記車両の走行経路と、前記撮像範囲と、前記制御装置が、前記走行経路と前記撮像範囲とに基づき選択した、前記車両を監視する前記カメラの前記撮像範囲において、前記制御装置により設定された、前記車両が走行可能な監視領域とに基づき、前記制御装置が推定した前記進入時刻と前記退出時刻とを取得する、請求項10に記載の車両監視方法。
【請求項12】
前記サーバは、
他の前記カメラに対して生成された前記動画から、選択された前記カメラに対して生成された前記動画に表示を切り替える前記切り替え指示を、前記表示開始時刻より所定時間前の時刻から前記表示開始時刻までの間に取得したときは、前記切り替え指示を取得した時に前記動画に表示を切り替える、請求項11に記載の車両監視方法。
【請求項13】
前記サーバは、
選択された前記カメラに対して生成された前記動画から、他の前記カメラに対して生成された前記動画に表示を切り替える前記切り替え指示を、前記表示終了時刻から前記表示終了時刻より所定時間後の時刻までの間に取得したときは、前記切り替え指示を取得した時に前記動画に表示を切り替える、請求項11に記載の車両監視方法。
【請求項14】
車両が走行中の道路に設置されたカメラから取得した画像データを、所定のバッファリング時間蓄積することで前記画像データを時系列で表示する動画を生成し、
前記カメラの撮像範囲と前記バッファリング時間を前記車両の制御装置に出力し、
前記制御装置が推定した、前記車両が前記撮像範囲に進入する進入時刻に、前記バッファリング時間が加算された、前記動画に前記車両の表示が出現する表示開始時刻を取得し、
前記制御装置から、前記車両の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視用サーバ。
【請求項15】
車両が走行中の道路に設置されたカメラから取得した画像データを、所定のバッファリング時間蓄積することで前記画像データを時系列で表示する動画を生成し、
前記カメラの撮像範囲を前記車両の制御装置に出力し、
前記制御装置が推定した、前記車両が前記撮像範囲に進入する進入時刻を取得し、
前記進入時刻に前記バッファリング時間を加算して前記動画に前記車両の表示が出現する表示開始時刻を算出し、
前記制御装置から、前記車両の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視用サーバ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両監視方法及び車両監視用サーバに関するものである。
【背景技術】
【0002】
監視エリアを撮影する監視カメラと、監視エリアの複数箇所に設置され、その監視エリアの移動体に取り付けられた無線タグから情報を受信する受信機と、監視カメラ及び受信機と情報を送受信する監視サーバとを備え、監視サーバは、複数の受信機で受信した無線タグの情報に基づいて移動体の位置を認識すると共に、移動体の異常発生情報(例えば盗難発生の情報)に基づいて移動体の撮影を開始するように監視カメラに撮影開始指令を送信し、監視カメラで撮影した映像を記録する、移動体監視システムが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
監視カメラから取得した画像データを時系列で表示する動画を生成する場合は、ある一定時間分の画像データを蓄積する。そのため、監視カメラが取得した画像データが動画に表示されるのは、当該一定時間が経過したタイミングとなる。上記従来技術では、移動体に異常が発生したタイミングで動画を表示すると、移動体に異常が発生する前のタイミングの動画が表示されることになり、動画を用いた移動体の適切な監視ができないという問題がある。
【0005】
本発明が解決しようとする課題は、車両を監視する動画を適切なタイミングで監視者に表示できる車両監視方法及び車両監視用サーバを提供することである。
【課題を解決するための手段】
【0006】
本発明は、サーバにより車両の監視を実行する場合に、車両の制御装置から、監視者に対して動画を表示する表示指示を、動画に車両の表示が出現する表示開始時刻までに取得した場合は、表示開始時刻までに動画を監視者に対して表示することによって上記課題を解決する。また、本発明は、車両の制御装置が推定した、車両がカメラの撮像範囲に進入する進入時刻に、バッファリング時間を加算して表示開始時刻を算出し、制御装置から、監視者に対して動画を表示する表示指示を表示開始時刻までに取得した場合は、表示開始時刻から動画を監視者に対して表示することによって上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、車両を監視する動画を適切なタイミングで監視者に表示できる。
【図面の簡単な説明】
【0008】
【
図1】本発明に係る車両監視システムの実施形態の一例を示すブロック図である。
【
図2A】
図1に示す制御装置の一例を示すブロック図である。
【
図2B】
図1に示す画像処理装置の一例を示すブロック図である。
【
図3】
図1に示す車両管理システムによる監視対象である車両の走行シーンの一例を示す平面図である。
【
図4】
図3に示す走行シーンにおいて設定される監視領域の一例を示す平面図である。
【
図5】
図3に示す走行シーンにおいて、車両が実際に監視領域に進入する時刻と、動画に表示された車両が監視領域に進入する時刻との差である遅延時間を示す平面図である。
【
図6】
図5に示す遅延時間を考慮して設定された、動画の表示切り替えの指示を出力する時刻を示す平面図である。
【
図7A】
図1に示す車両監視システムにおける処理手順の一例を示すフローチャートである(その1)。
【
図7B】
図1に示す車両監視システムにおける処理手順の一例を示すフローチャートである(その2)。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を図面に基づいて説明する。
【0010】
[車両監視装置の構成]
図1は、本発明に係る車両監視装置1を示すブロック図である。車両監視装置1は、例えば車両の走行状態と、車両の周囲の交通状況とを監視する監視システムであり、当該車両を監視するのは、人間の監視者又は画像データを用いて車両を監視する装置(例えばコンピュータ)である。また、車両監視装置1は、ユーザに配車サービスを提供するシステムの一部であってもよい。配車サービスとは、ユーザを乗車地から降車地まで運ぶ車両を、ユーザに割り当てて差し向けるサービスであり、有人及び無人タクシーの配車、レンタカーやライドシェアのサービスに用いる車両の配車などが挙げられる。
【0011】
図1に示すように、車両監視装置1は、監視対象である車両10、他車両20、サーバ30、表示装置40及びカメラ50を備える。車両監視装置を構成するこれらの装置は、ネットワークNWを介して互いに情報を授受できる。ネットワークNWとは、車両10、他車両20、サーバ30、表示装置40及びカメラ50の間で情報を授受するための電気通信回線網のことを言い、例としてインターネットやLAN(local area network)などが挙げられる。ネットワークNWの通信には、公知の有線又は無線通信が利用でき、4G/LTEなどのモバイル通信を利用してもよい。
【0012】
車両10は、車両監視装置1の監視対象であり、地図情報11、インフラ情報12、自車位置検出装置13、通信装置14及び制御装置15を備える。車両10は、自律走行制御により走行する車両であってもよく、ドライバーの手動運転により走行する車両であってもよい。
【0013】
自律走行制御とは、制御装置15を用いて車両10の走行動作を自律的に制御することを言い、走行動作には、加速、減速、発進、停車、転舵など、あらゆる走行動作が含まれる。自律的に走行動作を制御するとは、制御装置15が、車両10の装置を用いて走行動作の制御を行うことを言う。制御装置15は、予め定められた範囲内でこれらの走行動作を制御し、制御装置15により制御されない走行動作については、車両10のドライバーによる手動の操作が行われる。また、手動運転とは、制御装置15が走行動作の自律制御を行わず、ドライバーの操作により車両10の走行動作が制御されることを言う。
【0014】
地図情報11は、道路情報、施設情報及びそれらの属性情報を含み、例えば、レーンごとの移動軌跡を把握できる高精細地図情報である。地図情報11としては、例えば、道路の幅、道路の曲率半径、路肩の構造物、道路交通法規、道路の合流地点及び分岐地点などの情報が挙げられる。地図情報11は、読み込み可能な状態で任意の記録媒体に記憶されている。制御装置15は、必要に応じて地図情報11を取得する。
【0015】
インフラ情報12は、道路に設置された路側機及び検出装置などの位置及び種類を示す情報である。路側機とは、ITS(Intelligent Transport Systems)スポットとも言い、要求に応じて車載の通信装置に道路交通情報などを提供する。また、道路に設置された検出装置とは、道路に存在する対象物を検出する装置であり、例えば交差点などに設置された定点カメラである。対象物としては、道路の車線境界線、中央線、標識、中央分離帯、ガードレール、縁石、信号機、横断歩道などが挙げられる。また、対象物には、他車両20、自動二輪車、自転車、歩行者など、車両10の走行に影響を与え得る障害物が含まれる。制御装置15は、必要に応じてインフラ情報12を取得する。
【0016】
自車位置検出装置13は、車両10の現在位置を検出するための測位システムであり、例えば、GPS(Global Positioning System)用の衛星から受信した電波などから車両10の現在位置を算出する。自車位置検出装置13は、図示しない車載センサから取得した車速情報及び加速度情報から車両10の現在位置を推定し、推定した現在位置を地図情報11と照合することで、車両10の現在位置を算出してもよい。制御装置15は、必要に応じて自車位置検出装置13から車両10の現在位置情報を取得する。
【0017】
通信装置14は、有線LAN規格、無線LAN規格などの各種通信規格に対応する通信インターフェースである。通信装置14は、制御装置15とネットワークNWとの間で情報を授受するための装置であり、インターネットなどのネットワークを介して他の機器との通信が可能な装置であれば特に限定されない。
【0018】
制御装置15は、車両10を構成する装置を制御して協働させることで車両10の走行を制御し、目的地まで車両10を走行させる装置である。制御装置15は、例えばコンピュータであり、プロセッサであるCPU(Central Processing Unit)と、プログラムが格納されたROM(Read Only Memory)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)とを備える。CPUは、ROMに格納されたプログラムを実行し、制御装置15が有する機能を実現するための動作回路である。
【0019】
他車両20は、車両10と同様の車両であり、自律走行制御により走行する車両であってもよく、ドライバーの手動運転により走行する車両であってもよい。他車両20の自律走行制御では、制御装置25を用いて他車両20の走行動作を自律的に制御する。制御装置25は、予め定められた範囲内で走行動作を制御し、制御装置25により制御されない走行動作については、他車両20のドライバーによる手動の操作が行われる。また、他車両20の手動運転では、制御装置25が走行動作の自律制御を行わず、ドライバーの操作により他車両20の走行動作が制御される。
【0020】
地図情報21及びインフラ情報22は、それぞれ、地図情報11及びインフラ情報12と同様の情報であり、制御装置25は、必要に応じて地図情報21及びインフラ情報22を取得する。自車位置検出装置23は、自車位置検出装置13と同様の装置であり、制御装置25は、必要に応じて自車位置検出装置23から他車両20の現在位置情報を取得する。通信装置24は、通信装置14と同様の装置であり、制御装置25とネットワークNWとの間で情報を授受する。制御装置25は、他車両20を構成する装置を制御して協働させることで他車両20の走行を制御し、目的地まで他車両20を走行させる装置である。制御装置25は、制御装置15と同様にCPU、ROM及びRAMを備える。
【0021】
サーバ30は、車両監視装置1の構成装置を制御して協働させることで車両10の監視を実現する装置であり、地図情報31、インフラ情報32、車両情報33、通信装置34及び画像処理装置35を備える。地図情報31及びインフラ情報32は、それぞれ、地図情報11,21及びインフラ情報12,22と同様の情報であり、画像処理装置35は、必要に応じて地図情報31及びインフラ情報32を取得する。また、通信装置34は、通信装置14,24と同様の装置であり、画像処理装置35とネットワークNWとの間で情報を授受する。なお、制御装置15,25及び画像処理装置35は、地図情報11,21,31及びインフラ情報12,22,32を、ネットワークNWを介して更新し、同期してもよい。また、サーバ30は、必要に応じ、車両10の制御装置15及び車両20の制御装置25に指示を出力し、処理を実行させることができる。さらに、サーバ30は、必要に応じ、車両10の制御装置15及び車両20の制御装置25から情報を取得できる。
【0022】
車両情報33は、車両10及び他車両20の走行位置及び走行状態の情報である。車両10及び他車両20の走行位置の情報は、各車両の現在位置情報として、自車位置検出装置13,23から取得し、走行状態の情報は、制御装置15,25から取得する。走行状態の情報には、車両10及び他車両20の走行速度、操舵角度、ヨーレートなどの情報が含まれる。また、車両情報33には、車両10及び他車両20に対して設定された走行経路が含まれる。
【0023】
画像処理装置35は、サーバ30を構成する装置を制御して協働させ、サーバ30として機能させるための装置である。画像処理装置35は、例えばコンピュータであり、CPU、ROM及びRAMを備える。CPUは、ROMに格納されたプログラムを実行し、画像処理装置35が有する機能を実現するための動作回路である。また、画像処理装置35は、カメラ50から画像データを取得し、表示装置40に表示する映像を生成する。この際、画像処理装置35は、カメラ50から取得した画像データを用いて動画を生成する。
【0024】
表示装置40は、車両10を監視する監視者に対して情報を表示する装置であり、液晶ディスプレイ、プロジェクターなどが挙げられる。本実施形態の監視者は、車両10の外におり、車両10の外部から車両10を監視する。表示装置40は、動画及び静止画を含む映像の表示を制御する機能を有する表示部41と、サーバ30などと通信する機能を有する通信部42とを備える。
図1には、表示部41及び通信部42を機能ブロックとして便宜的に抽出して示す。なお、表示装置40が映像を表示する対象は、画像データを用いて車両を監視する装置であってもよい。
【0025】
カメラ50は、定点カメラのような道路に設置された撮像装置であり、道路に存在する対象物を検出する。カメラ50の種類は特に限定されず、CCDなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどが挙げられる。カメラ50は、例えば信号機の信号柱などに設置され、その設置位置は、インフラ情報12に含まれる。また、インフラ情報12には、道路に設置されたカメラ50が対象物を撮影できる範囲である撮像範囲の情報も含まれる。カメラ50は、対象物の撮影を制御する機能を有する撮影部51と、サーバ30などと通信する機能を有する通信部52とを備える。
図1には、撮影部51及び通信部52を機能ブロックとして便宜的に抽出して示す。
【0026】
[機能ブロックの機能]
カメラ50が、車両10が走行中の道路に複数設置されており、車両10の走行位置に合わせて、表示装置40に映像が表示されるカメラ50を切り替える場合は、監視者に対して車両10を表示するため、適切なタイミングで、表示装置40に映像が表示されるカメラ50を切り替える必要がある。例えば、画像処理装置35が、カメラ50から取得した画像データを時系列で表示する動画を生成する場合に、画像データを蓄積する所定のバッファリング時間が設定されているときは、実際の車両10と、監視者に対して表示される車両10との間にバッファリング時間分の時間差が生じることになる。つまり、現在表示されている車両10は、バッファリング時間だけ前のタイミングの車両10であり、現在の車両10が表示されるのは、バッファリング時間だけ後のタイミングとなる。
【0027】
上述のバッファリングが設定されている場合に、実際に車両10がカメラ50の撮像範囲に進入したタイミングで表示装置40の表示を当該カメラ50の映像に切り替えると、表示装置40には、車両10が当該撮像範囲に進入する前の動画が表示される。この場合、監視者は、動画を用いた車両10の監視を行うことができない。そこで、本実施形態の制御装置15及び画像処理装置35は、監視者に対して車両10を適切に表示するため、以下の機能ブロックを備える。すなわち、制御装置15は、カメラ選択部16、時刻算出部17及び出力部18を備え、画像処理装置35は、動画生成部36、出力部37及び更新部38を備える。
図2A及び2Bには、これらを機能ブロックとして便宜的に抽出して示す。
【0028】
図3は、車両監視装置1が車両10を監視する走行シーンの一例を示す平面図である。
図3に示す道路は、車線L1,L2を有する2車線の道路である。車両10は、位置P1を走行し、他車両20は、車両10の前方において車線L2を走行している。
図3に示す走行シーンでは、車両10は、走行経路Kに沿って位置P1から位置P2まで走行するものとする。また、車両10の左側の歩道にはカメラ50a,50bが設置されており、それぞれ、破線で示す撮像範囲A1,A2を有するものとする。なお、
図3~6に示す車両10のうち、実線で示す車両10は、実際に道路を走行する車両10を表し、破線で示す車両10は、表示装置40に表示された車両10を表すものとする。
【0029】
以下、
図3に示す走行シーンを用いて、
図2A及び2Bに示す各機能ブロックが有する機能を説明する。
【0030】
カメラ選択部16は、監視者が車両10を監視できる状態か否かを判定する機能を有する。制御装置15は、インフラ情報12から道路に設置されたカメラ50の位置情報を取得し、自車位置検出装置13から車両10の現在位置情報を取得する。そして、車両10が走行中の道路にカメラ50が設置されているか否かを判定する。車両10が走行中の道路にカメラ50が設置されていないと判定した場合は、車両10を監視できる状態ではないため、車両10を監視する処理を終了する。これに対し、車両10が走行中の道路にカメラ50が設置されていると判定した場合は、車両10を監視できる状態であるため、車両10の監視の処理を継続する。
【0031】
カメラ選択部16は、車両10の走行経路と、道路に設置されたカメラ50の撮像範囲とに基づき、車両10を監視するカメラ50を選択する機能を有する。走行経路とは、車両10が現在位置から目的地まで到達するための経路であり、少なくとも、車両10が走行する道路、走行車線及び車両10の走行方向の情報を含み、線形で表示される。制御装置15は、例えば、道路に設置された複数のカメラ50から、撮像範囲と、監視対象の車両10に対して設定された走行経路とが重複するものを抽出する。カメラ50の設置位置及び撮像範囲は、車両10のインフラ情報12又はサーバ30のインフラ情報32から取得する。
図3の走行シーンでは、走行経路Kと撮像範囲A1,A2が重複するため、制御装置15は、車両10を監視するカメラ50としてカメラ50a,50bを選択する。
【0032】
カメラ選択部16は、選択されたカメラ50の撮像範囲のうち、車両10が走行可能な領域を監視領域として設定する機能を有する。制御装置15は、選択したカメラ50の撮像範囲と、走行中の道路において車両10が走行可能な領域とが重複する部分を抽出し、監視領域として設定する。車両10が走行可能な領域は、地図情報11に登録されている。監視領域の形状は、上述の重複部分の中であれば特に限定されないが、例えば、
図3に示す走行シーンのカメラ50aについて、
図4に示す監視領域Rを設定する。
図4に示す監視領域Rは、車線L1の左側の境界線のうちカメラ50aの撮像範囲A1に含まれる部分Bと、車線L2の右側の境界線のうち部分Bに対応する部分Cとで画定される範囲である。
【0033】
時刻算出部17は、車両10が、カメラ50の撮像範囲に進入する進入時刻を推定する機能を有する。制御装置15は、例えば、図示しない車載センサから取得した車速情報と、自車位置検出装置13から取得した現在位置情報とに基づき、車両10が、撮像範囲に設定された監視領域に進入するまでの所要時間を算出する。そして、現在時刻に当該所要時間を加算して進入時刻を推定する。推定した進入時刻は、サーバ30の画像処理装置35に出力してもよい。
図4に示す走行シーンでは、車載の速度計から取得した走行速度で、位置P1から、監視領域Rに進入する位置P3まで走行する時間を算出し、算出した時間を位置P1における時刻に加算して監視領域Rに進入する進入時刻Taを推定する。
【0034】
また、時刻算出部17は、車両10が撮像範囲から退出する退出時刻を推定する機能を有する。退出時刻の推定方法は、進入時刻の推定方法と同様である。推定した退出時刻は、サーバ30の画像処理装置35に出力してもよい。
図4に示す走行シーンでは、車載の速度計から取得した走行速度で、位置P1から、監視領域Rから退出する位置P4まで走行する時間を算出し、算出した時間を位置P1における時刻に加算して監視領域Rから退出する退出時刻Tbを推定する。
【0035】
なお、制御装置15,25及び画像処理装置35は、それぞれが有する時刻情報を、ネットワークNWを介して同期してもよい。つまり、画像処理装置35は、制御装置15,25から進入時刻、退出時刻などの時刻情報を必要に応じて取得する。
【0036】
時刻算出部17は、進入時刻にバッファリング時間を加算し、表示装置40に表示された動画に車両10の表示が出現する表示開始時刻を算出する機能を有する。バッファリング時間とは、サーバ30において、カメラ50から取得した画像データを時系列で表示する動画を生成するために画像データを蓄積する時間のことを言う。制御装置15は、サーバ30の画像処理装置35からバッファリング時間を取得してもよい。制御装置15は、表示開始時刻を算出する場合に、進入時刻にバッファリング時間を加算することに加えて、制御装置15から表示指示が出力されてから画像処理装置35にて当該表示指示を取得するまでに要する第1時間と、複数の動画を切り替えて表示装置40に表示する場合に動画の表示の切り替えに要する第2時間とを減算してもよい。
【0037】
ここで、第1時間について、制御装置15から出力される表示指示とは、画像処理装置35に、車両10の外の監視者に対して表示装置40により動画を表示させる指示のことを言う。表示指示は、例えば、車両10の制御装置15からサーバ30の画像処理装置35に出力される。第1時間は、例えば、ネットワークNWの通信に要する時間である。サーバ30が制御装置15から進入時刻、退出時刻、表示開始時刻及び後述する表示終了時刻を取得する場合は、サーバ30が制御装置15からこれらの時刻の情報などを取得するための時間が第1時間となる。また、第2時間について、表示装置40に切り替えて表示する複数の動画は、複数のカメラ50に対して生成された複数の動画である。第2時間は、例えば、表示部41による表示処理に要する時間である。
【0038】
図5を用いて、第1時間T1、第2時間T2及びバッファリング時間T3について具体的に説明する。
図5は、
図3に示す走行シーンにおいて、車両10が監視領域Rに進入する位置P3を走行しているシーンを示す平面図である。
図5に示す走行シーンでは、表示装置40は、何も表示されていない状態であるか、カメラ50a以外のカメラ50の動画が表示されている状態であるとする。
【0039】
例えば、バッファリング時間T3を0秒と設定した場合は、現在の車両10がそのまま表示装置40に表示される。この場合に、制御装置15が、車両10が監視領域Rに進入する進入時刻Taで表示指示を出力すると、表示装置40に車両10の表示が出現する時刻は、進入時刻Taから第1時間T1及び第2時間T2が経過した後の時刻となり、その時に表示装置40に表示される車両10の走行位置は位置Pxである。つまり、表示装置40には、車両10が位置P3から位置Pxまで走行する動画が表示されないため、監視者は、位置P3と位置Pxの間において車両10の監視ができない。
【0040】
また、第1時間T1及び第2時間T2が共に0秒であるとした場合は、現在の車両10が表示装置40に表示されるのは、現在時刻からバッファリング時間が経過した後の時刻となる。この場合に、制御装置15が進入時刻Taで表示指示を出力すると、画像処理装置35が表示指示を取得した時に表示装置40に表示される動画は、進入時刻Taからバッファリング時間T3だけ前の時刻の動画となる。この時刻における車両10の走行位置は位置Pyである。したがって、表示装置40には、車両10が位置Pyから位置P3まで走行する間(つまり、バッファリング時間T3の間)、車両10の表示が含まれない動画が表示されることになり、その間、監視者は車両10の監視ができない。
【0041】
図5に示す走行シーンにおいて、カメラ50aに対して生成された動画に表示を切り替えたタイミングで、位置P3を走行する車両10が表示装置40に表示されるためには、
図6に示すように、進入時刻Taにバッファリング時間T3を加算し、さらに第1時間T1及び第2時間T2を減算した表示開始時刻Tcに表示指示を出力すればよい。本実施形態では、第1時間T1及び第2時間T2の和からバッファリング時間T3を減算した時間を遅延時間dTとする。遅延時間dTを予め求めておくことで、進入時刻Taから遅延時間dTを減算して容易に表示開始時刻Tcを算出できる。
【0042】
退出時刻についても同様の処理を行うことで、表示装置40に表示された動画から車両10の表示が消失する表示終了時刻を算出できる。
図6に示す走行シーンでは、退出時刻Tbから遅延時間dTを減算し、表示終了時刻Tdを算出する。
【0043】
出力部18は、サーバ30(具体的には画像処理装置35)に対して表示指示を出力する機能を有する。
図6に示す走行シーンでは、制御装置15は、車両10が位置P5を走行している表示開始時刻Tcに、カメラ50aに対して生成された動画に表示を切り替える切り替え指示を出力し、車両10が位置P6を走行している表示終了時刻Tdに、カメラ50bに対して生成された動画に表示を切り替える切り替え指示を出力する。これにより、表示指示及び切り替え指示を取得したサーバ30(画像処理装置35)は、車両10が位置P3から位置P4を走行する動画を表示装置40に表示できる。また、カメラ50bに対して生成された動画に表示を切り替えた後は、撮像範囲A2に進入するタイミングから車両10を表示装置40に表示でき、複数の撮像範囲に渡って途切れずに連続して車両10の監視ができる。
【0044】
複数のカメラ50に対して生成された複数の動画を、車両10の走行位置に合わせて順次切り替えて表示装置40に表示する場合は、表示装置40に動画が表示されるカメラ50を選択し、車両10が、選択されたカメラ50の撮像範囲を通過すると、順次、次のカメラ50の動画に表示を切り替える。この場合、制御装置15は、選択されたカメラ50に対して生成された動画から、他のカメラ50に対して生成された動画に表示を切り替える場合は、
図6に示す表示終了時刻Tdから表示終了時刻Tdより所定時間後の時刻までの間に表示の切り替え指示を出力してもよい。また、他のカメラ50に対して生成された動画が表示されている状態から、選択されたカメラ50に対して生成された動画に表示を切り替える場合は、
図6に示す表示開始時刻Tcより所定時間前の時刻から表示開始時刻Tcまでの間に表示の切り替え指示を出力してもよい。これにより、撮像範囲A1(具体的には監視領域R)の全範囲において車両10を監視できる。なお、所定時間は、監視者が車両10の監視を適切に行える範囲内で適宜の時間(例えば1~5秒)を設定できる。
【0045】
図2Bに戻り、動画生成部36は、車両10が走行中の道路に設置されたカメラ50から画像データを取得する機能を有する。また、動画生成部36は、カメラ50から取得した画像データを所定のバッファリング時間蓄積して画像データを時系列で表示する動画を生成する機能を有する。バッファリング時間は、ネットワークNWの通信速度を考慮し、監視者に対して表示する動画が表示装置40において円滑に再生される範囲内で適宜の時間(例えば1~60秒)を設定できる。画像処理装置35は、ネットワークNWの通信速度に応じた所定の時間間隔でカメラ50から画像データを取得し、取得した画像データをバッファリング時間蓄積して動画を生成する。なお、各カメラ50のバッファリング時間は、インフラ情報12,22,32に含まれている。
【0046】
表示装置40に動画を表示するカメラ50は制御装置15により選択される。画像処理装置35は、制御装置15のカメラ50の選択結果を取得し、選択されたカメラ50について動画を生成する。例えば、
図3に示す走行シーンでは、画像処理装置35は、カメラ50a,50bが選択されたとの情報を取得したタイミングで、選択されたカメラ50a,50bから画像データを取得し、取得した画像データから動画を生成する。又はこれに代え、画像処理装置35は、選択されていないカメラ50を含め、各カメラ50に対して予め動画を生成しておいてもよい。なお、動画の生成は、カメラ50において行われてもよい。また、画像処理装置35又はカメラ50の生成する動画の解像度及びフレームレートは、監視者が車両10を適切に監視できる限り、特に限定されない。
【0047】
出力部37は、制御装置15から、車両10の監視者に対して動画を表示する表示指示を表示開始時刻までに取得した場合に、表示開始時刻から動画を監視者に対して表示する機能を有する。監視者に対して表示する動画は、車両10を監視するカメラとして選択されたカメラ50に対して生成されている動画である。当該動画に表示されている対象物は、バッファリング時間だけ前のタイミングでカメラ50が取得した対象物である。
【0048】
制御装置15は、車両10に異常(例えば事故、故障など)が発生した場合などに、表示指示をサーバ30に出力する。画像処理装置35は、車両10から表示指示を取得したタイミングで、選択されたカメラ50に対して生成されている動画を表示装置40に出力し、表示させる。例えば、
図6に示す走行シーンにおいて、表示開始時刻Tcに制御装置15から表示指示が出力されたとすると、画像処理装置35が表示指示を取得する取得時刻は、表示開始時刻Tcから第1時間T1だけ後の時刻となる。画像処理装置35は、当該取得時刻に、表示装置40に対して動画の表示を切り替える指示を出力する。したがって、実際に表示装置40に動画が表示されるのは、取得時刻から第2時間T2だけ後の時刻となる。
【0049】
表示開始時刻Tcはバッファリング時間T3を考慮した時刻であるため、表示装置40に動画が表示されたタイミングで、表示装置40に表示された車両10が走行する走行位置は、進入時刻Taに対応する位置P3となる。つまり、
図6に示す走行シーンにおいて、表示開始時刻Tcに制御装置15から表示指示を出力すると、表示開始時刻Tcから第1時間T1及び第2時間T2が経過したタイミングで、監視領域Rに進入する位置P3を走行中の車両10が表示装置40に表示される。
【0050】
図6に示す表示終了時刻Tdについても同様で、表示終了時刻Tdに制御装置15から表示の切り替え指示が出力されたとすると、画像処理装置35が切り替え指示を取得する取得時刻は、表示終了時刻Tdから第1時間T1だけ後の時刻となる。画像処理装置35は、当該取得時刻に、表示装置40に対して動画の表示を切り替える指示を出力する。したがって、実際に表示装置40の表示が切り替わるのは、取得時刻から第2時間T2だけ後の時刻となる。表示装置40の表示が切り替わるタイミングで、表示装置40に表示された車両10が走行する走行位置は、退出時刻Tbに対応する位置P4となる。
【0051】
また、出力部37は、動画に車両の表示が出現する表示開始時刻を、車両10の制御装置15から取得し、表示開始時刻から、表示開始時刻に生成されている動画を車両10の外の監視者に対して表示する機能を有する。つまり、動画を監視者に対して表示するタイミングの調整は、車両10の制御装置15が行ってもよく、表示開始時刻を取得したサーバ30の画像処理装置35はが行ってもよい。
【0052】
具体的には、車両10の制御装置15が表示タイミングを調整する場合は、制御装置15が、進入時刻にバッファリング時間を加算して表示開始時刻を算出し、サーバ30が表示開始時刻を取得する。そして、サーバ30は、制御装置15から、監視者に対して動画を表示する表示指示を表示開始時刻までに取得した場合は、表示開始時刻から動画を監視者に表示する。これに対し、表示指示を表示開始時刻以後に取得した場合は、表示指示を取得したタイミングから動画を監視者に表示する処理を開始し、動画を監視者に表示する。
【0053】
一方、サーバ30の画像処理装置35が表示タイミングを調整する場合は、制御装置15が進入時刻を算出し、サーバ30が進入時刻を取得し、進入時刻にバッファリング時間を加算して表示開始時刻を算出する。そして、サーバ30は、制御装置15から表示指示を取得した場合に、表示開始時刻から動画を監視者に対して表示する。画像処理装置35が表示指示を取得したタイミングが表示開始時刻より前である場合は、表示開始時刻から動画を監視者に表示する。これに対し、画像処理装置35が表示指示を取得したタイミングが表示開始時刻以後である場合は、表示指示を取得したタイミングから動画を監視者に表示する処理を開始し、動画を監視者に表示する。
【0054】
更新部38は、カメラ50aごとのバッファリング時間T3を所定の時間間隔で更新して制御装置15に出力する場合に、選択されたカメラ50のバッファリング時間を更新するか否かを判定するための情報を取得し、取得した情報に基づいてバッファリング時間を更新するか否かを判定する機能を有する。バッファリング時間を更新するか否かを判定するための情報としては、カメラ50のバッファリング時間を最後に更新した時刻、カメラ50を再起動した時刻、ネットワークNWの通信速度などが挙げられる。これらの情報は、インフラ情報32に含まれている。バッファリング時間を更新するか否かの判定は、カメラ50ごとに行い、当該判定を行うタイミングは、例えば、制御装置15からカメラ50の選択結果を取得した時である。
【0055】
画像処理装置35は、カメラ50aごとのバッファリング時間T3を所定の時間間隔(例えば、ネットワークNWの通信を妨げない範囲内で適宜の間隔)で更新し、制御装置15は、当該時間間隔で更新されたバッファリング時間T3を取得する。画像処理装置35は、インフラ情報32のバッファリング時間が古い情報(例えば、30分~3日以上前の情報)である場合、カメラ50が再起動してバッファリング時間がリセットされた場合など、バッファリング時間を更新する必要があると判定した場合は、バッファリング時間を更新する。これに対し、数分前にバッファリング時間を更新した場合など、バッファリング時間を更新する必要がないと判定した場合は、画像処理装置35は、バッファリング時間を更新しない。なお、画像処理装置35は、選択されたカメラ50以外のカメラ50についてバッファリング時間を更新するか否かの判定をしてもよい。
【0056】
画像処理装置35は、選択されたカメラ50についてバッファリング時間を更新すると判定した場合は、他車両20の中から、当該カメラ50の撮像範囲に車両10が進入する前に、その撮像範囲を通過できる計測用の他車両(以下、計測用他車両とも言う)を抽出する。例えば、画像処理装置35は、インフラ情報32から撮像範囲の位置情報を取得し、車両情報33から他車両20の走行位置の情報を取得し、撮像範囲に最も近い走行位置の他車両20を計測用他車両として抽出する。画像処理装置35は、抽出した計測用他車両に対し、選択されたカメラ50の撮像範囲を通過する走行経路を設定する。
【0057】
画像処理装置35は、設定した走行経路に沿って走行する計測用他車両の走行位置(以下、計測用走行位置とも言う)と、計測用走行位置を実際に走行した第1時刻とを取得する。計測用走行位置は、選択されたカメラ50の撮像範囲における走行経路上の位置であれば、特に限定されない。また、第1時刻は、制御装置15の時刻情報から取得する。例えば、自車位置検出装置13から取得した車両10の位置情報と、制御装置15から取得した時刻情報とを対応させ、車両10が計測用走行位置に到達した時の時刻を第1時刻として取得する。
【0058】
またこれと共に、画像処理装置35は、選択されたカメラ50に対して生成された動画において、動画に表示された計測用他車両が、計測用走行位置に対応する位置を走行した時の第2時刻を取得する。第2時刻は、画像処理装置35の時刻情報から取得する。例えば、選択されたカメラ50に対して生成された動画において、表示された車両10が、計測用走行位置に対応する位置に到達した時の時刻を第2時刻として取得する。そして、画像処理装置35は、第1時刻と第2時刻との差をバッファリング時間として算出し、インフラ情報32における選択されたカメラ50のバッファリング時間を更新する。
【0059】
これに対し、車両10より前に、選択されたカメラ50の撮像範囲を通過できる計測用他車両が存在しない場合は、画像処理装置35は、予め定められた所定値をバッファリング時間に設定する。所定値は、監視者に対して表示する動画が表示装置40において円滑に再生される範囲内で適宜の値(例えば1~60秒)を設定できる。またこれに代え、画像処理装置35は、上述の計測用他車両が存在しない場合は、車両10が、選択されたカメラ50の撮像範囲を過去に走行したときのバッファリング時間を更新後のバッファリング時間として設定してもよい。この場合、過去のバッファリング時間はインフラ情報32から取得する。
【0060】
一例として、
図3に示す走行シーンにおいて、カメラ50bのバッファリング時間が3時間前に更新されたものとすると、画像処理装置35は、カメラ50bのバッファリング時間を更新すると判定し、車両10より先に撮像範囲A2に進入できる他車両20を抽出する。
図3に示す走行シーンでは、車線L2を走行する他車両20が、車両10より先に撮像範囲A2に進入し、撮像範囲A2を通過するので、他車両20を計測用他車両として抽出する。画像処理装置35は、他車両20に対して車線L2を直進する走行経路を設定し、他車両20が計測用走行位置Pzを実際に走行した第1時刻を取得する。また、画像処理装置35は、カメラ50bに対して生成された動画において、動画に表示された他車両20が、計測用走行位置Pzに対応する位置(つまり、動画に表示された計測用走行位置Pz)を走行した時の第2時刻を取得する。そして、第1時刻と第2時刻との差をバッファリング時間として算出し、新たに算出したカメラ50bのバッファリング時間をインフラ情報32に登録する。
【0061】
なお、他車両20が配車サービスに供される車両である場合は、画像処理装置35は、現在配車サービスに利用されていない、待機状態の他車両20を計測用他車両として抽出してもよい。また、画像処理装置35は、車両情報33から各他車両20に設定された走行経路の情報を取得し、選択されたカメラ50の撮像範囲を通過する走行経路が設定された他車両20を、計測用他車両として抽出してもよい。
【0062】
[車両監視システムにおける処理]
図7A及び7Bを参照して、制御装置15及び画像処理装置35が情報を処理する際の手順を説明する。
図7A及び7Bは、本実施形態の車両監視装置1において実行される、情報の処理を示すフローチャートの一例である。以下に説明する処理は、制御装置15及び画像処理装置35がそれぞれ備えるプロセッサ(CPU)により所定の時間間隔で実行される。
【0063】
まず、
図7AのステップS1にて、制御装置15は、カメラ選択部16の機能により、自車位置検出装置13から車両10の現在位置情報を取得し、インフラ情報12からカメラ50の位置情報を取得する。また、ステップS1にて、制御装置15は、サーバ30の画像処理装置35から出力された、カメラ50の撮像範囲を取得してもよい。ステップS2にて、制御装置15は、カメラ50を用いて車両10の監視をできる状態か否かを判定する。カメラ50を用いて車両10の監視をできない状態と判定した場合は、ルーチンの実行を終了する。これに対し、カメラ50を用いて車両10の監視をできると判定した場合は、ステップS3に進み、車両の現在位置情報と走行経路とを取得する。ステップS4にて、制御装置15は、カメラ50の撮像範囲、車両の現在位置情報及び走行経路に基づいてカメラ50の中から車両10を監視するためのカメラ50を選択し、ステップS5にて、選択したカメラ50の情報を画像処理装置35に出力する。この際、制御装置15は、カメラ50の監視領域を画像処理装置35に出力してもよい。
【0064】
ステップS6にて、画像処理装置35は、更新部38の機能により、インフラ情報32から、選択されたカメラ50のバッファリング時間の更新履歴を取得し、ステップS7にて、カメラ50のバッファリング時間を更新するか否かを判定する。カメラ50のバッファリング時間を更新しないと判定した場合は、
図7BのステップS14に進む。これに対し、カメラ50のバッファリング時間を更新すると判定した場合は、ステップS8に進む。ステップS8にて、画像処理装置35は、他車両20の中から計測用他車両を抽出し、ステップS9にて、カメラ50の撮像範囲を通過する走行経路を計測用他車両に対して設定する。ステップS10にて、画像処理装置35は、計測用他車両の走行位置(計測用走行位置)と当該走行位置を実際に走行した時の第1時刻とを取得する。続くステップS11にて、画像処理装置35は、動画に表示された計測用他車両が、計測用走行位置に対応する位置を走行した時の第2時刻を取得する。そして、ステップS12にて、第1時刻と第2時刻との差をバッファリング時間として算出する。
【0065】
図7BのステップS13にて、画像処理装置35は、インフラ情報32のバッファリング時間を更新する。また、ステップS13にて、制御装置15は、バッファリング時間を車両の制御装置15に出力してもよい。この場合、バッファリング時間は更新されたバッファリング時間に限られず、予め定められたバッファリング時間又は車両10が過去に撮像範囲を走行したときのバッファリング時間であってもよい。ステップS14にて、画像処理装置35は、動画生成部36の機能により、選択されたカメラ50から画像データを取得し、続くステップS15にて、取得した画像データから、画像データを時系列で表示する動画を生成する。動画が生成されると、ステップS16に進み、制御装置15は、カメラ選択部16の機能により、撮像範囲に監視領域Rを設定する。ステップS17にて、制御装置15は、時刻算出部17の機能により、車両10が監視領域Rに進入する進入時刻と、車両10が監視領域Rから退出する退出時刻とを推定し、続くステップS18にて、第1時間、第2時間及びバッファリング時間に基づいて遅延時間を算出し、ステップS19にて、表示開始時刻と表示終了時刻を算出する。
【0066】
ステップS20にて、制御装置15は、出力部18の機能により、画像処理装置35に、表示開始時刻より所定時間前の時刻から表示開始時刻までの間に表示切り替えの指示を出力する。ステップS21にて、画像処理装置35は、出力部37の機能により、選択されたカメラ50に表示を切り替え、表示装置40における動画の表示を開始する。ステップS22にて、制御装置15は、画像処理装置35に、表示終了時刻から表示終了時刻より所定時間後の時刻までの間に表示切り替えの指示を出力する。ステップS23にて、画像処理装置35は、選択されたカメラ50から別のカメラ50に表示を切り替え、表示装置40における動画の表示を終了する又は切り替える。その後、
図7AのステップS1に進み、車両10の監視が終了するまで上述のルーチンを繰り返し実行する。
【0067】
なお、ステップS19にて、制御装置15が表示開始時刻を算出した段階で、画像処理装置35は、制御装置15から表示開始時刻を取得し、表示開始時刻に、選択されたカメラ50に表示を切り替え、表示装置40における動画の表示を開始してもよい。同様に、ステップS19にて、制御装置15が表示終了時刻を算出した段階で、画像処理装置35は、制御装置15から表示終了時刻を取得し、表示終了時刻に、選択されたカメラ50から別のカメラ50に表示を切り替え、表示装置40における動画の表示を終了する又は切り替えてもよい。
【0068】
[本発明の実施態様]
以上のとおり、本実施形態によれば、サーバ30により実行される車両監視方法において、前記サーバ30は、車両10が走行中の道路に設置されたカメラ50から取得した画像データを、所定のバッファリング時間T3蓄積することで前記画像データを時系列で表示する動画を生成し、前記カメラ50aの撮像範囲A1と前記バッファリング時間T3を前記車両10の制御装置15に出力し、前記制御装置15が推定した、前記車両10が前記撮像範囲A1に進入する進入時刻に、前記バッファリング時間T3が加算された、前記動画に前記車両10の表示が出現する表示開始時刻を取得し、前記制御装置15から、前記車両10の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視方法が提供される。これにより、車両10を監視する動画を適切なタイミングで監視者に表示できる。
【0069】
また、本実施形態の車両監視方法によれば、前記表示開始時刻は、前記進入時刻Taに前記バッファリング時間T3を加算し、さらに、前記サーバ30が前記制御装置15から出力された前記表示指示を取得するための時間と、複数の前記カメラ50に対して生成された複数の前記動画を切り替えて表示する場合に前記動画の表示を切り替えるための時間とを減算した時刻である。これにより、車両10が撮像範囲A1に進入してから退出するまでの動画を監視者に表示できる。
【0070】
また、本実施形態によれば、サーバ30により実行される車両監視方法において、前記サーバ30は、車両10が走行中の道路に設置されたカメラ50aから取得した画像データを、所定のバッファリング時間T3蓄積することで前記画像データを時系列で表示する動画を生成し、前記カメラ50aの撮像範囲A1を前記車両10の制御装置15に出力し、前記制御装置15が推定した、前記車両10が前記撮像範囲A1に進入する進入時刻を取得し、前記進入時刻に前記バッファリング時間T3を加算して前記動画に前記車両10の表示が出現する表示開始時刻を算出し、前記制御装置15から、前記車両10の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視方法が提供される。これにより、車両10を監視する動画を適切なタイミングで監視者に表示できる。
【0071】
また、本実施形態の車両監視方法によれば、前記表示開始時刻は、前記進入時刻に前記バッファリング時間T3を加算し、さらに、前記サーバ30が、前記制御装置15から前記進入時刻を取得するための時間と、複数の前記カメラ50aに対して生成された複数の前記動画を切り替えて表示する場合に前記動画の表示を切り替えるための時間とを減算した時刻である。これにより、車両10が撮像範囲A1に進入してから退出するまでの動画を監視者に表示できる。
【0072】
また、本実施形態の車両監視方法によれば、前記サーバ30は、前記制御装置15が、前記車両10の走行経路Kと、前記撮像範囲A1とに基づき選択した、前記車両10を監視する前記カメラ50の前記撮像範囲A1において、前記制御装置15により設定された、前記車両10が走行可能な監視領域Rを取得する。これにより、車両10の走行状態を監視するカメラ50を確定できる。
【0073】
また、本実施形態の車両監視方法によれば、前記サーバ30は、前記カメラ50aごとの前記バッファリング時間T3を所定の時間間隔で更新して前記制御装置15に出力する場合に、選択された前記カメラ50の前記バッファリング時間T3を更新するか否かを判定するための情報を取得し、前記情報に基づいて前記バッファリング時間T3を更新するか否かを判定する。これにより、適切なバッファリング時間T3を設定できる。
【0074】
また、本実施形態の車両監視方法によれば、前記サーバ30は、前記バッファリング時間T3を更新すると判定した場合は、選択された前記カメラ50の前記撮像範囲A1に前記車両10が進入する前に、選択された前記カメラ50の前記撮像範囲A1を通過できる計測用の他車両を抽出し、前記計測用の他車両に対し、選択された前記カメラ50の前記撮像範囲A1を通過する走行経路を設定する。これにより、他車両20を用いてバッファリング時間T3を更新できる。
【0075】
また、本実施形態の車両監視方法によれば、前記サーバ30は、前記走行経路に沿って走行する前記計測用の他車両の走行位置Pzと、前記走行位置Pzを実際に走行した第1時刻とを取得し、選択された前記カメラ50に対して生成された前記動画において、前記動画に表示された前記計測用の他車両が、前記走行位置Pzに対応する位置を走行した時の第2時刻を取得し、前記第1時刻と前記第2時刻との差を前記バッファリング時間T3として算出する。これにより、より適切なバッファリング時間T3を設定できる。
【0076】
また、本実施形態の車両監視方法によれば、前記サーバ30は、前記計測用の他車両が存在しない場合は、予め定められた所定値を前記バッファリング時間に設定する又は前記車両10が過去に前記撮像範囲を走行したときの前記バッファリング時間を更新後の前記バッファリング時間に設定する。これにより、計測用他車両が存在しない場合に、適切なバッファリング時間T3を設定できる。
【0077】
また、本実施形態の車両監視方法によれば、前記サーバ30は、複数の前記カメラ50aに対して生成された複数の前記動画を切り替えて表示する場合に、前記制御装置15により、前記進入時刻Taに前記バッファリング時間T3を加算し、さらに、前記サーバ30が前記制御装置15から出力された前記表示指示を取得するための第1時間T1と、複数の前記カメラ50に対して生成された複数の前記動画を切り替えて表示する場合に前記動画の表示を切り替えるための第2時間T2とを減算して算出された前記表示開始時刻Tcを取得し、前記制御装置15により、前記制御装置15が推定した、前記車両10が前記撮像範囲A1から退出する退出時刻Tbに前記バッファリング時間T3を加算し、さらに、前記第1時間T1及び前記第2時間T2を減算して算出された、前記動画から前記車両10の表示が消失する表示終了時刻Tdを取得し、前記動画の表示を切り替える切り替え指示を前記制御装置15から取得したときは、前記表示開始時刻及び前記表示終了時刻に前記動画の表示を切り替える。これにより、適切なタイミングで表示装置40の表示を切り替えることができる。
【0078】
また、本実施形態の車両監視方法によれば、前記サーバ30は、前記車両10の走行経路Kと、前記撮像範囲A1と、前記制御装置15が、前記走行経路Kと前記撮像範囲A1とに基づき選択した、前記車両10を監視する前記カメラ50の前記撮像範囲A1において、前記制御装置15により設定された、前記車両10が走行可能な監視領域Rとに基づき、前記制御装置15が推定した前記進入時刻Taと前記退出時刻Tbとを取得する。これにより、進入時刻Taと退出時刻Tbをより正確に推定できる。
【0079】
また、本実施形態の車両監視方法によれば、前記サーバ30は、他の前記カメラ50に対して生成された前記動画から、選択された前記カメラ50に対して生成された前記動画に表示を切り替える前記切り替え指示を、前記表示開始時刻Tcより所定時間前の時刻から前記表示開始時刻Tcまでの間に取得したときは、前記切り替え指示を取得した時に前記動画に表示を切り替える。これにより、車両10が撮像範囲A1に進入してから退出するまでの動画を確実に監視者に表示できる。
【0080】
また、本実施形態の車両監視方法によれば、前記サーバ30は、選択された前記カメラ50に対して生成された前記動画から、他の前記カメラ50に対して生成された前記動画に表示を切り替える前記切り替え指示を、前記表示終了時刻Tdから前記表示終了時刻Tdより所定時間後の時刻までの間に取得したときは、前記切り替え指示を取得した時に前記動画に表示を切り替える。これにより、車両10が撮像範囲A1に進入してから退出するまでの動画を確実に監視者に表示できる。
【0081】
また、本実施形態によれば、車両10が走行中の道路に設置されたカメラ50から取得した画像データを、所定のバッファリング時間T3蓄積することで前記画像データを時系列で表示する動画を生成し、前記カメラ50aの撮像範囲A1と前記バッファリング時間T3を前記車両10の制御装置15に出力し、前記制御装置15が推定した、前記車両10が前記撮像範囲A1に進入する進入時刻に、前記バッファリング時間T3が加算された、前記動画に前記車両10の表示が出現する表示開始時刻を取得し、前記制御装置15から、前記車両10の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視用サーバ30が提供される。これにより、車両10を監視する動画を適切なタイミングで監視者に表示できる。
【0082】
また、本実施形態によれば、車両10が走行中の道路に設置されたカメラ50aから取得した画像データを、所定のバッファリング時間T3蓄積することで前記画像データを時系列で表示する動画を生成し、前記カメラ50aの撮像範囲A1を前記車両10の制御装置15に出力し、前記制御装置15が推定した、前記車両10が前記撮像範囲A1に進入する進入時刻を取得し、前記進入時刻に前記バッファリング時間T3を加算して前記動画に前記車両10の表示が出現する表示開始時刻を算出し、前記制御装置15から、前記車両10の外の監視者に対して前記動画を表示する表示指示を前記表示開始時刻までに取得した場合は、前記表示開始時刻から前記動画を前記監視者に対して表示する、車両監視用サーバ30が提供される。これにより、車両10を監視する動画を適切なタイミングで監視者に表示できる。
【符号の説明】
【0083】
1…車両監視装置、10…車両、11…地図情報、12…インフラ情報、13…自車位置検出装置、14…通信装置、15…制御装置、16…カメラ選択部、17…時刻算出部、18…出力部、20…他車両、21…地図情報、22…インフラ情報、23…自車位置検出装置、24…通信装置、25…制御装置、30…サーバ、31…地図情報、32…インフラ情報、33…車両情報、34…通信装置、35…画像処理装置、36…動画生成部、37…出力部、38…更新部、40…表示装置、41…表示部、42…通信部、50,50a,50b…カメラ、51…撮影部、52…通信部、A1,A2…撮像範囲、B,C…部分、K…走行経路、L1,L2…車線、NW…ネットワーク、P1,P2,P3,P4,P5,P6,Px,Py…位置、R…監視領域、T1…第1時間、T2…第2時間、T3…バッファリング時間、dT…遅延時間、Ta…進入時刻、Tb…退出時刻、Tc…表示開始時刻、Td…表示終了時刻