(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023108974
(43)【公開日】2023-08-07
(54)【発明の名称】交通流計測システムおよび交通流計測方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230731BHJP
G06T 19/00 20110101ALI20230731BHJP
G08G 1/04 20060101ALI20230731BHJP
【FI】
H04N7/18 C
G06T19/00 A
G08G1/04 C
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022010314
(22)【出願日】2022-01-26
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、経済産業省「無人自動運転等の先進MaaS実装加速化推進事業」委託研究、産業技術力強化法第17条(平成12年法律第44号)の適用を受ける特許出願
(71)【出願人】
【識別番号】000005821
【氏名又は名称】パナソニックホールディングス株式会社
(74)【代理人】
【識別番号】110001379
【氏名又は名称】弁理士法人大島特許事務所
(72)【発明者】
【氏名】坪田 一広
(72)【発明者】
【氏名】湯本 紘之
【テーマコード(参考)】
5B050
5C054
5H181
【Fターム(参考)】
5B050BA08
5B050BA09
5B050BA11
5B050CA07
5B050CA08
5B050DA01
5B050DA10
5B050EA07
5B050EA12
5B050EA18
5B050EA27
5B050FA02
5B050FA09
5B050FA14
5B050GA08
5C054CA04
5C054CF06
5C054CG08
5C054FC12
5C054FC15
5C054FE09
5C054FE11
5C054FE13
5C054HA05
5C054HA26
5C054HA31
5H181AA01
5H181BB15
5H181BB18
5H181BB20
5H181CC03
5H181CC04
5H181CC14
5H181DD07
5H181EE02
5H181FF04
5H181FF10
5H181LL14
(57)【要約】
【課題】新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行えるようにして、交通流データの計測環境を効率よく構築できるようにする。
【解決手段】交通流計測サーバが、交通流の計測エリアを撮影するカメラから取得したカメラ画像212を含む基本調整画面201を生成して、その基本調整画面をユーザ端末に表示させ、ユーザ端末でのユーザの操作に応じて、計測エリアを対象にした調整済みのカメラによるカメラ画像を模擬するように予め生成されたCG画像222を、基本調整画面に表示する。
【選択図】
図9
【特許請求の範囲】
【請求項1】
交通流の計測エリアを対象にした2次元の検出結果を取得する第1のセンサと、
前記計測エリアを対象にした3次元の検出結果を取得する第2のセンサと、
前記第1及び第2のセンサと接続され、前記第1及び第2のセンサの検出結果に基づいて、交通流計測に係る処理を実行するサーバ装置と、
このサーバ装置とネットワークを介して接続され、前記第1及び第2のセンサの設置時における設置状態の調整状況をユーザが確認する端末装置と、
を備える交通流計測システムであって、
前記サーバ装置は、
前記2次元の検出結果としての第1のセンサ画像と、前記3次元の検出結果から生成された第2のセンサ画像とを含む設置調整画面を生成し、その設置調整画面を前記端末装置に送信し、
前記端末装置でのユーザの操作に応じて、前記計測エリアを対象にした調整済みの前記センサによるセンサ画像を模擬するように予めバーチャル環境で生成されたシミュレーション画像を、前記設置調整画面に表示することを特徴とする交通流計測システム。
【請求項2】
前記サーバ装置は、
前記第1のセンサによる前記2次元の検出結果であるセンサ画像に対応する前記シミュレーション画像を、前記設置調整画面に表示することを特徴とする請求項1に記載の交通流計測システム。
【請求項3】
前記サーバ装置は、
前記第2のセンサによる前記3次元の検出結果から生成されたセンサ画像に対応する前記シミュレーション画像を、前記設置調整画面に表示することを特徴とする請求項1に記載の交通流計測システム。
【請求項4】
前記サーバ装置は、
前記第1及び第2のセンサの設置状況を表す見取り図を、前記設置調整画面に表示することを特徴とする請求項1に記載の交通流計測システム。
【請求項5】
前記サーバ装置は、
前記第1及び第2のセンサの角度を調整する操作部を、前記センサ画像上に表示することを特徴とする請求項2または請求項3に記載の交通流計測システム。
【請求項6】
交通流の計測エリアを対象にした2次元の検出結果を取得する第1のセンサと、
前記計測エリアを対象にした3次元の検出結果を取得する第2のセンサと、
前記第1及び第2のセンサと接続され、前記第1及び第2のセンサの検出結果に基づいて、交通流計測に係る処理を実行するサーバ装置と、
このサーバ装置とネットワークを介して接続され、前記第1及び第2のセンサの設置時における設置状態の調整状況をユーザが確認する端末装置と、
を備える交通流計測システムにおいて、
前記サーバ装置が、
前記2次元の検出結果としての第1のセンサ画像と、前記3次元の検出結果から生成された第2のセンサ画像とを含む設置調整画面を生成し、その設置調整画面を前記端末装置に送信し、
前記端末装置でのユーザの操作に応じて、前記計測エリアを対象にした調整済みの前記センサによるセンサ画像を模擬するように予めバーチャル環境で生成されたシミュレーション画像を、前記設置調整画面に表示することを特徴とする交通流計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラやライダーなどのセンサを用いて対象地点の交通流を計測する交通流計測システムおよび交通流計測方法に関するものである。
【背景技術】
【0002】
道路交通の安全性や円滑性を高めることを目的として、交差点などの対象地点の交通状況を把握するために、交通流計測が行われる。この交通流計測では、多くの人手を要することなく、車両や歩行者などの移動体の状況に関する詳細で高精度な交通流データを取得することが望まれる。
【0003】
このような要望に対して、従来、計測エリア内の物体を検出するセンサとして、カメラの他に、近年自動運転等において注目されているライダーを用いて、移動体の軌跡を3次元空間で取得する技術が知られている(特許文献1参照)。この技術では、カメラにより取得した撮影画像と、ライダーにより取得した3D点群データとを対応付ける処理が行われる。また、異なる地点に複数設置されたライダーによる3D点群データを統合する処理が行われる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
センサを新規に設置した場合やセンサを取り替えた場合には、センサの設置状態を調整する作業が必要である。一方、従来の技術のように、センサとしてカメラとライダーとを組合せた場合や、センサを異なる地点に複数設置した場合には、センサの設置状態を調整する作業が極めて煩雑になる。このため、センサの設置状態を調整する作業を簡易に行えるようにして、交通流データの計測環境を効率よく構築することが望まれる。しかしながら、従来の技術では、そのような要望に対しては、何ら配慮されていない。
【0006】
そこで、本発明は、新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行えるようにして、交通流データの計測環境を効率よく構築することができる交通流計測システムおよび交通流計測方法を提供することを主な目的とする。
【課題を解決するための手段】
【0007】
本発明の交通流計測システムは、交通流の計測エリアを対象にした2次元の検出結果を取得する第1のセンサと、前記計測エリアを対象にした3次元の検出結果を取得する第2のセンサと、前記第1及び第2のセンサと接続され、前記第1及び第2のセンサの検出結果に基づいて、交通流計測に係る処理を実行するサーバ装置と、このサーバ装置とネットワークを介して接続され、前記第1及び第2のセンサの設置時における設置状態の調整状況をユーザが確認する端末装置と、を備える交通流計測システムであって、前記サーバ装置は、前記2次元の検出結果としての第1のセンサ画像と、前記3次元の検出結果から生成された第2のセンサ画像とを含む設置調整画面を生成し、その設置調整画面を前記端末装置に送信し、前記端末装置でのユーザの操作に応じて、前記計測エリアを対象にした調整済みの前記センサによるセンサ画像を模擬するように予めバーチャル環境で生成されたシミュレーション画像を、前記設置調整画面に表示する構成とする。
【0008】
また、本発明の交通流計測方法は、交通流の計測エリアを対象にした2次元の検出結果を取得する第1のセンサと、前記計測エリアを対象にした3次元の検出結果を取得する第2のセンサと、前記第1及び第2のセンサと接続され、前記第1及び第2のセンサの検出結果に基づいて、交通流計測に係る処理を実行するサーバ装置と、このサーバ装置とネットワークを介して接続され、前記第1及び第2のセンサの設置時における設置状態の調整状況をユーザが確認する端末装置と、を備える交通流計測システムにおいて、前記サーバ装置が、前記2次元の検出結果としての第1のセンサ画像と、前記3次元の検出結果から生成された第2のセンサ画像とを含む設置調整画面を生成し、その設置調整画面を前記端末装置に送信し、前記端末装置でのユーザの操作に応じて、前記計測エリアを対象にした調整済みの前記センサによるセンサ画像を模擬するように予めバーチャル環境で生成されたシミュレーション画像を、前記設置調整画面に表示する構成とする。
【発明の効果】
【0009】
本発明によれば、ユーザが、設置調整画面において、実際のセンサ画像とシミュレーション画像とを目視で比較しながら、センサの設置状態を調整することができる。これにより、新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行えるようにして、交通流データの計測環境を効率よく構築することができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態に係る交通流計測システムの全体構成図
【
図2】交通流計測サーバの概略構成を示すブロック図
【
図3】交通流計測サーバで生成される交通流データの内容を示す説明図
【
図4】ユーザ端末に表示される画面の遷移状況を示す説明図
【
図5】ユーザ端末に表示されるメインメニュー画面を示す説明図
【
図6】ユーザ端末に表示されるサブメニュー画面を示す説明図
【
図7】ユーザ端末に表示されるサブメニュー画面を示す説明図
【
図8】ユーザ端末に表示される基本調整画面を示す説明図
【
図9】ユーザ端末に表示される基本調整画面を示す説明図
【
図10】ユーザ端末に表示される基本調整画面を示す説明図
【
図11】ユーザ端末に表示される基本調整画面を示す説明図
【
図12】ユーザ端末に表示される位置合わせ画面を示す説明図
【
図13】ユーザ端末に表示される位置合わせ画面を示す説明図
【
図14】ユーザ端末に表示される位置合わせ画面を示す説明図
【
図15】ユーザ端末に表示される位置合わせ画面を示す説明図
【
図16】ユーザ端末に表示される設置確認画面を示す説明図
【
図17】ユーザ端末に表示される設置確認画面を示す説明図
【
図18】ユーザ端末に表示される設置確認画面を示す説明図
【
図19】ユーザ端末に表示される設置確認画面を示す説明図
【
図20】ユーザ端末に表示される設置確認画面の別例を示す説明図
【
図21】ユーザ端末に表示されるセンサデータ記録画面を示す説明図
【
図22】ユーザ端末に表示されるセンサデータ解析画面を示す説明図
【
図23】ユーザ端末に表示されるセンサデータ解析画面を示す説明図
【
図24】ユーザ端末に表示される時系列表示画面を示す説明図
【
図25】ユーザ端末に表示される時系列表示画面を示す説明図
【
図26】ユーザ端末に表示される時系列表示画面の要部を示す説明図
【
図27】ユーザ端末に表示されるシナリオ指定画面を示す説明図
【
図28】ユーザ端末に表示されるシナリオ指定画面を示す説明図
【
図29】ユーザ端末に表示される統計情報指定画面を示す説明図
【
図30】ユーザ端末に表示される指定事象閲覧画面を示す説明図
【
図31】ユーザ端末に表示される指定事象閲覧画面を示す説明図
【
図32】ユーザ端末に表示される追跡モード画面を示す説明図
【
図33】ユーザ端末に表示される追跡モード画面を示す説明図
【
図34】ユーザ端末に表示される拡張閲覧モード画面を示す説明図
【
図35】ユーザ端末に表示される拡張閲覧モード画面を示す説明図
【
図36】交通流計測サーバで行われるセンサ設置調整に係る処理の手順を示すフロー図
【
図37】交通流計測サーバで行われる交通流データ生成に係る処理の手順を示すフロー図
【
図38】交通流計測サーバで行われる交通流データ閲覧に係る処理の手順を示すフロー図
【発明を実施するための形態】
【0011】
前記課題を解決するためになされた第1の発明は、交通流の計測エリアを対象にした2次元の検出結果を取得する第1のセンサと、前記計測エリアを対象にした3次元の検出結果を取得する第2のセンサと、前記第1及び第2のセンサと接続され、前記第1及び第2のセンサの検出結果に基づいて、交通流計測に係る処理を実行するサーバ装置と、このサーバ装置とネットワークを介して接続され、前記第1及び第2のセンサの設置時における設置状態の調整状況をユーザが確認する端末装置と、を備える交通流計測システムであって、前記サーバ装置は、前記2次元の検出結果としての第1のセンサ画像と、前記3次元の検出結果から生成された第2のセンサ画像とを含む設置調整画面を生成し、その設置調整画面を前記端末装置に送信し、前記端末装置でのユーザの操作に応じて、前記計測エリアを対象にした調整済みの前記センサによるセンサ画像を模擬するように予めバーチャル環境で生成されたシミュレーション画像を、前記設置調整画面に表示する構成とする。
【0012】
これによると、ユーザが、設置調整画面において、実際のセンサ画像とシミュレーション画像とを目視で比較しながら、センサの設置状態を調整することができる。これにより、新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行えるようにして、交通流データの計測環境を効率よく構築することができる。なお、バーチャル環境で生成されたシミュレーション画像とは、例えば、CG(Computer Graphics)により生成されたCG画像である。
【0013】
また、第2の発明は、前記サーバ装置は、前記第1のセンサによる前記2次元の検出結果であるセンサ画像に対応する前記シミュレーション画像を、前記設置調整画面に表示する構成とする。
【0014】
これによると、ユーザが、第1のセンサの設置状態を調整する作業を効率的に行うことができる。
【0015】
また、第3の発明は、前記サーバ装置は、前記第2のセンサによる前記3次元の検出結果から生成されたセンサ画像に対応する前記シミュレーション画像を、前記設置調整画面に表示する構成とする。
【0016】
これによると、ユーザが、第2のセンサの設置状態を調整する作業を効率的に行うことができる。なお、第2のセンサがライダーであれば、ライダーにより取得した3D点群データにおける反射強度を明るさで表現した画像(ライダー強度画像)がセンサ画像であってもよい。
【0017】
また、第4の発明は、前記サーバ装置は、前記第1及び第2のセンサの設置状況を表す見取り図を、前記設置調整画面に表示する構成とする。
【0018】
これによると、ユーザが、見取り図によりセンサの設置状況を確認しながら、センサの設置状態を調整する作業を行うことができる。なお、見取り図は、センサの設置地点を上空から見た平面図や、センサの設置地点を側方から見た側面図でもよい。
【0019】
また、第5の発明は、前記サーバ装置は、前記第1及び第2のセンサの角度を調整する操作部を、前記センサ画像上に表示する構成とする。
【0020】
これによると、ユーザが、センサ画像上の操作部を操作してセンサの設置状態を容易に調整することができる。
【0021】
また、第6の発明は、交通流の計測エリアを対象にした2次元の検出結果を取得する第1のセンサと、前記計測エリアを対象にした3次元の検出結果を取得する第2のセンサと、前記第1及び第2のセンサと接続され、前記第1及び第2のセンサの検出結果に基づいて、交通流計測に係る処理を実行するサーバ装置と、このサーバ装置とネットワークを介して接続され、前記第1及び第2のセンサの設置時における設置状態の調整状況をユーザが確認する端末装置と、を備える交通流計測システムにおいて、前記サーバ装置が、前記2次元の検出結果としての第1のセンサ画像と、前記3次元の検出結果から生成された第2のセンサ画像とを含む設置調整画面を生成し、その設置調整画面を前記端末装置に送信し、前記端末装置でのユーザの操作に応じて、前記計測エリアを対象にした調整済みの前記センサによるセンサ画像を模擬するように予めバーチャル環境で生成されたシミュレーション画像を、前記設置調整画面に表示する構成とする。
【0022】
これによると、第1の発明と同様に、新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行えるようにして、交通流データの計測環境を効率よく構築することができる。
【0023】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【0024】
図1は、本実施形態に係る交通流計測システムの全体構成図である。
【0025】
本システムは、計測エリアの交通流を計測するものである。本システムは、カメラ1(第1のセンサ)と、ライダー2(第2のセンサ)と、交通流計測サーバ3(サーバ装置)と、ユーザ端末4(端末装置)と、管理端末5と、を備える。カメラ1およびライダー2は第1のネットワークN1を介して交通流計測サーバ3に接続されている。ユーザ端末4および管理端末は第2のネットワークN2を介して交通流計測サーバ3に接続されている。
【0026】
カメラ1は、計測エリアを撮影し、計測エリアを対象にした2次元の検出結果(2次元情報)としてカメラ画像を取得する。カメラ1は、可視光撮像素子を備え、カラー画像を取得することができる。
【0027】
ライダー2(LiDAR)は、計測エリアの物体を検出し、計測エリアを対象にした3次元の検出結果(3次元情報)として3D点群データを取得する。ライダー2は、レーザー光を照射して物体からの反射光を検出して3次元情報を取得するものである。なお、ライダー2以外の3次元センサであってもよい。
【0028】
交通流計測サーバ3は、カメラ1からカメラ画像を取得すると共に、ライダー2から3D点群データを取得して、カメラ画像および3D点群データに基づいて、計測エリアを対象にした交通流解析処理を行う。また、交通流計測サーバ3は、センサ(カメラ1およびライダー2)を新規に設置した場合やセンサを取り替えた場合に、ユーザがセンサの設置状態を調整する作業を簡易に行えるように支援する処理を行う。
【0029】
ユーザ端末4は、タブレット端末などで構成される。ユーザ端末4では、交通流計測サーバ3から送信される設定および閲覧に関する画面が表示され、この画面により、ユーザが、センサの設置状態の調整作業や、交通流解析処理の結果の閲覧などを行うことができる。
【0030】
管理端末は、PCなどで構成される。管理端末では、交通流計測サーバ3から送信される管理画面が表示され、この管理画面により、管理者が、交通流計測サーバ3で行われる処理の条件に関する設定などの管理作業を行うことができる。
【0031】
カメラ1およびライダー2は、衛星測位システム(GPSなど)による衛星信号を受信する機能を備え、衛星信号に含まれる時刻情報にてカメラ1およびライダー2内の時間情報を更新する。カメラ1およびライダー2は、衛星信号に同期した時刻を検出時刻として検出結果(カメラ画像、3D点群データ)に付加して交通流計測サーバ3に送信する。交通流計測サーバ3は、検出時刻に基づいてライダー2およびカメラ1の各々の検出結果を同期させる。カメラ1およびライダー2に衛星信号を受信する機能を有していない場合は、第1のネットワークを経由で、時刻合わせをしてもよい。
【0032】
次に、交通流計測サーバ3の概略構成について説明する。
図2は、交通流計測サーバ3の概略構成を示すブロック図である。
【0033】
交通流計測サーバ3は、通信部11と、記憶部12と、プロセッサ13と、を備えている。
【0034】
通信部11は、第1のネットワークを介してカメラ1およびライダー2と通信を行う。また、通信部11は、第2のネットワークを介してユーザ端末4および管理端末と通信を行う。
【0035】
記憶部12は、プロセッサ13で実行されるプログラムなどを記憶する。また、記憶部12は、カメラ1から取得したカメラ画像、およびライダー2から取得した3D点群データを記憶する。また、記憶部12は、プロセッサ13で生成した交通流データを記憶する。また、記憶部12は、計測地点のCG画像(シミュレーション画像)を記憶する。また、記憶部12は、基本調整、位置合わせ、および設置確認の各工程で取得したセンサ設置情報を記憶する。センサ設置情報は、センサ(カメラ1、ライダー2)の検出角度に関する情報、カメラ画像と3D点群データとの位置関係に関する情報、複数のライダー2による3D点群データ相互の位置関係に関する情報などである。
【0036】
プロセッサ13は、メモリに記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ13が、センサデータ同期処理P1、センサデータ統合処理P2、ライダー画像生成処理P3、センサ設置時支援処理P4、交通流データ生成処理P5、事象検知処理P6、事象抽出処理P7、統計処理P8、危険度判定処理P9、および交通流データ提示処理P10などを行う。
【0037】
センサデータ同期処理P1では、プロセッサ13が、各カメラ1から取得したカメラ画像、および各ライダー2から取得した3D点群データの各々を、検出時刻に基づいて対応付ける。本実施形態では、カメラ1において、受信した衛星信号に含まれる時刻が検出時刻としてカメラ画像に付加されて交通流計測サーバ3に送信される。また、ライダー2において、受信した衛星信号に含まれる時刻が検出時刻として3D点群データに付加されて交通流計測サーバ3に送信される。
【0038】
センサデータ統合処理P2では、プロセッサ13が、複数の地点に設置された複数のライダー2による複数の3D点群データを統合(合成)する。
【0039】
ライダー画像生成処理P3では、プロセッサ13が、ライダー2による3D点群データに基づいて、センサ設置地点を視点としたライダー強度画像を生成する。また、プロセッサ13が、3D点群データに基づいて、ユーザが指定した視点によるライダー点群画像を生成する。本実施形態では、ユーザ端末4において、3Dビューワを用いて3D点群データがライダー点群画像として表示され、3Dビューワの視点変更操作、例えば、表示されたライダー点群画像上でカーソルを上下左右にドラッグする操作をユーザが行うことで視点を変化させることができる。
【0040】
センサ設置時支援処理P4では、プロセッサ13が、ユーザ端末4でのユーザの操作に応じて、センサ(カメラ1、ライダー2)を設置した際に行われるユーザの調整作業を支援する処理を行う。センサ設置時支援処理P4には、センサ調整支援処理P21と、位置合わせ処理P22と、設置確認支援処理P23とが含まれる。
【0041】
センサ調整支援処理P21では、プロセッサ13が、センサ(カメラ1、ライダー2)の設置状態を調整するユーザの操作を支援する処理を行う。具体的には、プロセッサ13が、ユーザ端末4にカメラ画像、および3D点群データから生成したライダー強度画像を表示し、ユーザの調整操作に応じて、センサ(カメラ1、ライダー2)の撮影角度(画角)を制御する。
【0042】
位置合わせ処理P22では、プロセッサ13が、各センサ(カメラ1、ライダー2)の設置地点の相対的な位置関係を推定して、複数のセンサごとの検出結果の座標を対応付ける。具体的には、カメラ画像上の座標と3D点群データの座標とを対応付ける。また、プロセッサ13が、異なる地点に設置された複数のライダー2による点群データの位置ずれを補正する。
【0043】
設置確認支援処理P23では、プロセッサ13が、ユーザ端末4でのユーザの操作に応じて、ライダー2による3D点群データを含む3次元空間内に移動体の仮想オブジェクトを配置し、その位置関係に基づいて、カメラ画像およびライダー強度画像上に移動体の仮想オブジェクトを重畳する。そして、プロセッサ13が、カメラ画像およびライダー強度画像上に重畳した移動体の仮想オブジェクトに欠落が生じているか否か、すなわち、移動体の仮想オブジェクトがカメラ画像およびライダー強度画像の表示範囲からはみ出していないか否かを判定する。
【0044】
交通流データ生成処理P5では、プロセッサ13が、センサデータ(カメラ画像、3D点群データ)に基づいて、計測エリアの交通状況を表す交通流データ(
図3参照)を生成する。交通流データ生成処理P5には、センサデータ記録処理P31と、センサデータ解析処理P32(交通流解析処理)とが含まれる。
【0045】
センサデータ記録処理P31では、プロセッサ13が、ユーザ端末4でのユーザの指示に応じて、各カメラ1から取得したカメラ画像、および各ライダー2から取得した3D点群データの各々を記憶部12に蓄積する。
【0046】
センサデータ解析処理P32(交通流解析処理)では、プロセッサ13が、センサデータ記録処理P31で収集されたセンサデータ(カメラ画像、3D点群データ)に基づいて交通流データを生成する。センサデータ解析処理P32には、移動体検出処理P33と、移動体ID管理処理P34と、道路構成物検出処理P35とが含まれる。
【0047】
移動体検出処理P33では、プロセッサ13が、カメラ1によるカメラ画像から移動体を識別可能に検出する。具体的には、バス、トラック、トレーラー、乗用車、バイク、自転車、および歩行者などを検出する。また、プロセッサ13が、複数のライダー2による3D点群データを統合した3D点群データから移動体を検出する。また、プロセッサ13が、検出された移動体の位置情報を取得すると共に、検出された移動体に移動体IDを付与する。移動体検出処理P33には、ディープラーニングなどの機械学習により構築される画像認識エンジン(機械学習モデル)を用いることができる。
【0048】
移動体ID管理処理P34では、プロセッサ13が、各カメラ画像から移動体を検出した際に移動体に付与した移動体IDと、3D点群データから移動体を検出した際に移動体に付与した移動体IDとに関して、同一の移動体に同一の移動体IDが付与されるように、移動体IDを付け替える。本実施形態では、移動体IDの付け替えにおいて、優先するセンサをユーザが指定することができる。この場合、優先するセンサ以外のセンサに関して移動体に付与された移動体IDが、優先するセンサに関して移動体に付与された移動体IDに変更される。
【0049】
道路構成物検出処理P35では、プロセッサ13が、3D点群データから道路構成物を識別可能に検出する。具体的には、セグメンテーション(領域分割)により、道路構成物、すなわち、歩道、縁石、カードレールなどの地物や、白線、停止線などの路面マークの領域を検出する。道路構成物検出処理P35には、ディープラーニングなどの機械学習により構築される画像認識エンジン(機械学習モデル)を用いることができる。
【0050】
事象検知処理P6では、プロセッサ13が、センサデータ解析処理P32(交通流解析処理)の結果としての交通流データに基づいて、所定のシナリオ(事象類型)に該当する事象を検知する。具体的には、各移動体の軌跡などに基づいて、追突、右折衝突、左折巻込、逆走、あおりなどのシナリオに該当する事象を検知する。事象検知処理の結果は事象データベースに蓄積される。
【0051】
事象抽出処理P7では、プロセッサ13が、事象データベースに蓄積された事象の中から、ユーザが指定したシナリオに該当する事象を抽出する。本実施形態では、ユーザ端末4において、ユーザがシナリオを直接指定することができ、また、ユーザに統計情報を提示して、その統計情報中でユーザがシナリオを指定することができる。
【0052】
統計処理P8では、プロセッサ13が、交通流データに基づいて統計処理を行い、統計情報を生成する。例えば、複数のシナリオの各々に該当する事象の発生頻度に関する統計情報が生成される。
【0053】
危険度判定処理P9では、プロセッサ13が、交通流データに基づいて、対象地点の交通環境に関する情報、具体的には、移動体と道路構成物との位置関係などを取得して、対象地点の交通環境に関する危険度を判定する。危険度判定処理P9では、各地点に関する統計処理で取得した統計情報に基づいて、各地点における交通環境に関する危険性を評価する指標が予め作成され、その危険性を評価する指標に基づいて、対象とする地点における移動体の状況から危険度が判定される。
【0054】
交通流データ提示処理P10では、プロセッサ13が、各種画面をユーザ端末4に表示させることで、交通流データをユーザに提示する。交通流データ提示処理P10には、時系列表示処理P41と、指定事象表示処理P42と、付帯情報表示処理P43とが含まれる。
【0055】
時系列表示処理P41では、プロセッサ13が、交通流データに基づいて、移動体の挙動(状態変化)を表す情報(状態情報)を図形および文字を用いて可視化して画面表示する。本実施形態では、移動体の挙動を表す情報として、移動体の位置、速度、および加速度の各々の変化状況を表す時系列データを可視化した挙動画像(軌跡画像、速度画像、加速度画像)が、センサ画像(カメラ画像、ライダー点群画像、ライダー強度画像)上に重畳表示される。
【0056】
指定事象表示処理P42では、プロセッサ13が、ユーザが指定した条件に該当する事象に関係するセンサ画像(カメラ画像、ライダー点群画像など)をユーザ端末4に表示する。本実施形態では、ユーザが、抽出条件としてシナリオ(事象類型)を指定することができ、ユーザが指定したシナリオに該当する事象に関係するセンサ画像がユーザ端末4に表示される。
【0057】
付帯情報表示処理P43では、プロセッサ13が、計測エリアの交通環境に関係する情報、例えば白線や歩道などの道路構成物の状況や、移動体の種別(乗用車、トラックなど)などを、付帯情報として移動体と同時に画面表示する。具体的には、センサ画像(カメラ画像、ライダー点群画像、ライダー強度画像)上で、ユーザが指定した物体を識別可能に強調表示する。
【0058】
次に、交通流計測サーバ3で生成される交通流データについて説明する。
図3は、交通流データの内容を示す説明図である。
【0059】
交通流計測サーバ3では、移動体(軌跡ID)ごとに交通流データ(追跡データ)が生成される。
図3に示す表の1行が、タイムスタンプによる各時刻の単位データであり、この単位データが時系列で順次生成される。
図3に示す例は、軌跡IDが「1」となる移動体に関するものである。対象となる移動体は、属性が「0」となる乗用車であり、x方向に進行している。
【0060】
交通流データには、タイムスタンプ(年月日、時分秒)と、軌跡IDと、相対座標(x,y,z)と、属性と、車両サイズ(幅、長さ、高さ)と、走行車線と、白線との距離(左白線、右白線)と、白線の種類とが含まれる。タイムスタンプ、軌跡ID、相対座標(位置情報)が主データであり、その他は付加データである。
【0061】
なお、軌跡IDは、移動体の軌跡に付与されるものであり、移動体を識別する情報となる。相対座標(x,y,z)は、各時刻における移動体の位置を表す。属性は、移動体の種類を表すものであり、例えば乗用車が0、大型車が1、バイクが2、不明が3となる。走行車線は、左から順に1、2の数字で表される。白線の種類は、例えば実線が0、破線が1となる。
【0062】
また、絶対座標(緯度、経度、海抜高度)、移動体の進行方向(角度)、道路線形(道路曲率、道路縦勾配、道路横勾配)、道路座標(Lx,Ly,dLx,dLy)、速度、加速度(進行方向、横方向)、道路幅員、車線数、道路の種類(1:都市間高速、都市高速、国道、2:本線、合流、分岐、ランプ)、レーンマーカの種類(車両左側、車両右側)、前方車両との衝突余裕時間、前方車両の属性(乗用車、大型車、バイク、不明)、周辺車の相対速度および走行車線などが交通流データに含まれてもよい。さらに、画像認識による移動体の追尾枠に関する情報が交通流データに含まれてもよい。
【0063】
次に、ユーザ端末4に表示される画面について説明する。
図4は、ユーザ端末4に表示される画面の遷移状況を示す説明図である。
図5は、ユーザ端末4に表示されるメインメニュー画面を示す説明図である。
図6,
図7は、ユーザ端末4に表示されるサブメニュー画面を示す説明図である。
【0064】
図5に示すメインメニュー画面101には、センサ設置調整のボタン102と、交通流データ生成のボタン103と、交通流データ閲覧のボタン104と、オプションのボタン105とが設けられている。ユーザがセンサ設置調整のボタン102を操作すると、
図6(A)に示すセンサ設置調整に関するサブメニュー画面に遷移する。ユーザが交通流データ生成のボタン103を操作すると、
図6(B)に示す交通流データ生成に関するサブメニュー画面に遷移する。ユーザが交通流データ閲覧のボタン104を操作すると、
図7(A)に示す交通流データ閲覧に関するサブメニュー画面に遷移する。ユーザがオプションのボタン105を操作すると、
図7(B)に示すオプションに関するサブメニュー画面に遷移する。
【0065】
図6(A)に示すセンサ設置調整に関するサブメニュー画面111には、基本調整のボタン112と、位置合わせのボタン113と、設置確認のボタン114とが設けられている。ユーザが基本調整のボタン112を操作すると、基本調整画面201(
図8参照)に遷移する。ユーザが位置合わせのボタン113を操作すると、位置合わせ画面231(
図12参照)に遷移する。ユーザが設置確認のボタン114を操作すると、設置確認画面261(
図16参照)に遷移する。
【0066】
図6(B)に示す交通流データ生成に関するサブメニュー画面121には、センサデータ記録のボタン122と、センサデータ解析のボタン123とが設けられている。ユーザがセンサデータ記録のボタン122を操作すると、センサデータ記録画面301(
図21参照)に遷移する。ユーザがセンサデータ解析のボタン123を操作すると、センサデータ解析画面311(
図22参照)に遷移する。
【0067】
図7(A)に示す交通流データ閲覧に関するサブメニュー画面131には、時系列表示のボタンと、シナリオ指定のボタンと、統計情報指定のボタンとが設けられている。ユーザが時系列表示のボタンを操作すると、時系列表示画面401(
図24参照)に遷移する。ユーザがシナリオ指定のボタンを操作すると、シナリオ指定画面431(
図27参照)に遷移する。ユーザが統計情報指定のボタンを操作すると、統計情報指定画面461(
図29参照)に遷移する。また、シナリオ指定画面431または統計情報指定画面461において、ユーザが所定の操作を行うと、指定事象閲覧画面471(
図30参照)に遷移する。
【0068】
図7(B)に示すオプションに関するサブメニュー画面141には、追跡モードのボタン142と、拡張閲覧モードのボタン143とが設けられている。ユーザが追跡モードのボタン142を操作すると、追跡モード画面501(
図32参照)に遷移する。ユーザが拡張閲覧モードのボタン143を操作すると、拡張閲覧モード画面531(
図34参照)に遷移する。
【0069】
なお、
図4に示すように、基本調整画面201(
図8参照)および位置合わせ画面231(
図12参照)は適宜に設置調整画面と呼称される。また、時系列表示画面401(
図24参照)、シナリオ指定画面431(
図27参照)、統計情報指定画面461(
図29参照)、指定事象閲覧画面471(
図30参照)、および拡張閲覧モード画面531(
図34参照)は適宜に交通流閲覧画面と呼称される。
【0070】
また、各サブメニュー画面111,121,131,141(
図6,
図7参照)から遷移した各画面には、
図8などに示すように、サブメニューの各項目(基本調整、位置合わせ、および設置確認など)に対応するタブ161と、メニューのボタン162とが設けられている。ユーザがタブ161を操作すると、対応するサブメニューの各項目に関する画面に遷移する。ユーザがメニューのボタン162を操作すると、メインメニュー画面101(
図5参照)に戻る。
【0071】
また、各サブメニュー画面111,121,131,141(
図6,
図7参照)から遷移した各画面には、
図8などに示すように、計測地点指定部163が設けられている。計測地点指定部163では、ユーザが、プルダウンメニューの操作により、計測地点を指定することができる。
【0072】
次に、ユーザ端末4に表示される基本調整画面201について説明する。
図8は、カメラ調整時のCG画像非表示状態の基本調整画面201を示す説明図である。
図9は、カメラ調整時のCG画像表示状態の基本調整画面201を示す説明図である。
図10は、ライダー調整時のCG画像非表示状態の基本調整画面201を示す説明図である。
図11は、ライダー調整時のCG画像表示状態の基本調整画面201を示す説明図である。
【0073】
ユーザ端末4において、メインメニュー画面101(
図5参照)でセンサ設置調整のボタン102をユーザが操作することで表示されるサブメニュー画面111(
図6(A)参照)において、ユーザが基本調整のボタン112を操作すると、
図8に示す基本調整画面201が表示される。
【0074】
図8に示す基本調整画面201は、カメラ調整時のCG画像非表示状態(初期状態)の場合である。基本調整画面201には、見取り図表示部202が設けられている。見取り図表示部202には、センサ設置地点におけるセンサ(カメラ1およびライダー2)の設置状況を表す平面
図203および側面
図204が表示される。ユーザは、平面
図203および側面
図204を目視して、カメラ1およびライダー2の設置状況を確認しながら基本調整の作業を行うことができる。
【0075】
平面
図203は、計測エリアの周辺に設置されたカメラ1およびライダー2を上方から見た状態を描画したものである。側面
図204は、計測エリアの周辺に設置されたカメラ1およびライダー2を側方から見た状態を描画したものである。本例では、#1のカメラ1および#1のライダー2と#2のカメラ1および#2のライダー2とが交差点を挟んで向かい合うように設置される。
【0076】
ここで、カメラ1,ライダー2にIMU(慣性計測装置:Inertial Measurement Unit)が設けられている場合は、交通流計測サーバ3は、IMUの出力情報に基づいてライダー2の実際の検出方向を取得することができる。これにより、交通流計測サーバ3は、描画されたカメラ1,ライダー2の向きが、カメラ1,ライダー2の実際の検出方向の変化に連動して変化するように、平面
図203および側面
図204を表示させる。一方、カメラ1、ライダー2にIMUが設けられていない場合は、交通流計測サーバ3では、カメラ1の実際の検出方向が不明である。このため、平面
図203および側面
図204に描画されたカメラ1、ライダー2の向きは実際の向きとは異なる。
【0077】
また、基本調整画面201には、センサ切り替え部205が設けられている。センサ切り替え部205には、カメラ調整のボタン206と、ライダー調整のボタン207とが設けられている。ユーザがカメラ調整のボタン206を操作すると、カメラ調整モードとなり、
図8に示すカメラ調整時の基本調整画面201が表示される。一方、ユーザがライダー調整のボタン207を操作すると、ライダー調整モードとなり、
図10に示すライダー調整時の基本調整画面201が表示される。
【0078】
また、
図8に示すカメラ調整時の基本調整画面201には、センサ画像表示部211が設けられている。センサ画像表示部211には、センサ画像(センサの検出画像)として、カメラ画像212が表示される。本例では、2台のカメラ1が設置されているため、各カメラ1により撮影された2つのカメラ画像212が表示される。
【0079】
センサ画像表示部211では、カメラ画像212上にセンサ角度操作部213が重畳表示される。センサ角度操作部213では、センサとしてのカメラ1の撮影角度(画角)を指定の方向に変化させる動作、具体的には、パン(水平方向)およびチルト(垂直方向)の動作を行わせることができる。これにより、ユーザが、カメラ画像212を目視しながらカメラ1の角度を調整することができる。
【0080】
また、
図8に示す基本調整画面201には、CG画像指定部217と、CG画像表示のボタン218とが設けられている。CG画像指定部217では、ユーザが、計測地点の名称を入力して検索を指示することができる。これにより、計測地点に関するカメラ調整用のCG画像が格納されたCG画像ファイルが読み込まれ、CG画像指定部217にCG画像ファイルのファイル名が表示される。次に、ユーザがCG画像表示のボタン218を操作すると、
図9に示す基本調整画面201に遷移する。
【0081】
図9に示す基本調整画面201は、カメラ1調整時のCG画像表示状態の場合である。この場合、基本調整画面201には、CG画像表示部221が設けられる。CG画像表示部221には、センサ画像表示部211に表示されたカメラ画像212(センサ画像)に対応するCG画像222が表示される。本例では、2台のカメラ1が設置されているため、各カメラ1により撮影された2つのカメラ画像212に対応する2つのCG画像222が表示される。
【0082】
ここで、CG画像222(シミュレーション画像)は、適切な角度に調整されたカメラ1で計測エリアを撮影した場合のカメラ画像をCGで再現したものであり、CGを用いて事前に作成される。CG画像222は、カメラ1の角度(画角)を調整する際の手本となる。
【0083】
ユーザは、センサ画像表示部211に表示されたカメラ画像212(カメラ1による実際の撮影画像)とCG画像222とを目視で比較し、両者が同様の状態となるように、センサ角度操作部213によりカメラ1の角度を調整することで、カメラ1を最適な角度に設定することができる。
【0084】
図10に示す基本調整画面201は、ライダー調整時のCG画像非表示状態の場合である。この場合、基本調整画面201では、センサ画像表示部211に、センサ画像(センサの検出画像)として、ライダー強度画像215が表示される。本例では、2台のライダー2が設置されているため、各ライダー2により検出された2つのライダー強度画像215が表示される。なお、ライダー強度画像215は、ライダー2により取得した3D点群データにおける反射強度を明るさで表現した画像である。
【0085】
図10に示すライダー調整時の基本調整画面201では、ライダー強度画像215上にセンサ角度操作部213が重畳表示される。センサ角度操作部213では、センサとしてのライダー2の検出角度(画角)を指定の方向に変化させる動作、具体的には、パン(水平方向)およびチルト(垂直方向)の動作を行わせることができる。これにより、ユーザが、ライダー強度画像215を目視しながらライダー2の角度を調整することができる。
【0086】
図10に示す基本調整画面201では、基本調整画面201(
図9参照)と同様に、ユーザが、CG画像指定部217において、計測地点の名称を入力して検索を指示することで、計測地点に関するライダー調整用のCG画像が格納されたCG画像ファイルが読み出され、ついでユーザが、CG画像表示のボタン218を操作すると、
図11に示すライダー調整時のCG画像表示状態の基本調整画面201に遷移する。
【0087】
図11に示す基本調整画面201は、ライダー調整時のCG画像表示状態の場合である。この場合、基本調整画面201では、CG画像表示部221に、センサ画像表示部211に表示されたライダー強度画像215に対応するCG画像225が表示される。本例では、2台のライダー2が設置されているため、各ライダー2により検出された2つのライダー強度画像215に対応する2つのCG画像225が表示される。
【0088】
ここで、CG画像225(シミュレーション画像)は、適切な角度に調整されたライダー2で計測エリアを検出した場合のライダー強度画像をCGで再現したものであり、CGを用いて事前に作成される。CG画像225は、ライダー2の角度(画角)を調整する際の手本となる。
【0089】
ユーザは、センサ画像表示部211に表示されたライダー強度画像215(ライダー2による実際の検出画像)とCG画像225とを目視で比較し、両者が同様の状態となるように、センサ角度操作部213によりライダー2の角度を調整することで、ライダー2を最適な角度に設定することができる。
【0090】
このように基本調整画面201では、ユーザが、カメラ画像212を目視してセンサ(カメラ1およびライダー2)の角度(画角)を調整することができる。さらに、ユーザが、適切な角度に調整されたセンサで計測エリアを検出した場合のセンサ画像をCGで再現したCG画像222,225を参照して、センサの角度を調整できる。これにより、センサの新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行うことができる。なお、センサ切り替え部205により、カメラ調整モードとライダー調整モードとを切替える構成としたが、見取り図表示部202の平面
図203または側面
図204に表示されたセンサ(カメラ、ライダー)を選択するユーザの操作に基づいて、カメラ調整モードとライダー調整モードとを切替えるようにしてもよい。
【0091】
次に、ユーザ端末4に表示される位置合わせ画面231について説明する。
図12は、初期状態の位置合わせ画面231を示す説明図である。
図13は、位置合わせ結果が適正である場合の位置合わせ画面231を示す説明図である。
図14は、位置合わせ結果がエラーである場合の位置合わせ画面231を示す説明図である。
図15は、手動位置合わせ時の位置合わせ画面231を示す説明図である。
【0092】
ユーザ端末4において、メインメニュー画面101(
図5参照)でセンサ設置調整のボタン102をユーザが操作することで表示されるサブメニュー画面111(
図6(A)参照)において、ユーザが位置合わせのボタン113を操作すると、
図12に示す位置合わせ画面231が表示される。
【0093】
図12に示す位置合わせ画面231には、基本調整画面201(
図8参照)と同様に、見取り図表示部202が設けられている。見取り図表示部202には、カメラ1およびライダー2に設置状況を表す平面
図203および側面
図204が表示される。
【0094】
また、位置合わせ画面231には、センサ画像表示部232が設けられている。ユーザは、計測地点指定部163において、対象とする計測地点を指定することができる。これにより、指定された計測地点に関するカメラ画像233、ライダー強度画像234、およびライダー点群画像235が、センサ画像表示部232に表示される。なお、表示される画像は、リアルタイムの画像でもよく、また、記憶された画像でもよい。
【0095】
また、位置合わせ画面231には、位置合わせのボタン237が設けられている。ユーザが、位置合わせのボタン237を操作すると、自動位置合わせの工程に進み、交通流計測サーバ3で位置合わせ処理が実行されて、
図13に示す位置合わせ完了時の位置合わせ画面231に遷移する。
【0096】
位置合わせ処理では、2地点に設置された2台のカメラ1と2台のライダー2によるカメラ、3D点群データ相互の対応関係を推定し、その推定結果に基づいて、各ライダー2による3D点群データを統合する。このとき、必要に応じて2つの3D点群データの一方に対する他方の相対的な位置関係を補正する。具体的には、2つの3D点群データの一方に対して他方を移動させたり回転させたりする。
【0097】
図13に示す位置合わせ完了時の位置合わせ画面231では、センサ画像表示部232に、統合後のライダー点群画像241が表示される。
【0098】
また、位置合わせ完了時の位置合わせ画面231では、センサ画像表示部232に、各センサ画像(2つのカメラ画像233および2つのライダー強度画像234)における対応する部分を結ぶライン242が表示される。これにより、ユーザは、各センサ画像相互の対応関係を確認することができる。
【0099】
ユーザは、統合後のライダー点群画像241を目視して、位置合わせが十分であるか否かを確認する。位置合わせが十分でない場合には、
図14に示すように、統合後のライダー点群画像241に移動体の像が二重に現れるなどの不具合が発生する。
【0100】
図14に示す位置合わせ完了時の位置合わせ画面231には、手動位置合わせ確認部243が表示される。手動位置合わせ確認部243には、はいのボタン244と、いいえのボタン245とが設けられている。ユーザは、統合後のライダー点群画像241に不具合が発生している場合には、はいのボタン244を操作する。これにより、
図15に示す手動位置合わせ時の位置合わせ画面231に遷移する。
【0101】
図15に示す手動位置合わせ時の位置合わせ画面231には、手動位置合わせ操作部251と、再位置合わせのボタン252とが表示される。
【0102】
手動位置合わせ操作部251は、2台のライダー2による3D点群データの相対的な位置関係を補正するためにユーザが操作するものである。手動位置合わせ操作部251には、移動操作部253と、回転操作部254とが設けられている。移動操作部253では、2台のライダー2による3D点群データの一方に対して他方を指定の方向(上、下、左、右、前、後)に移動させることができる。回転操作部254では、2つのライダー2による3D点群データの一方に対して他方を指定の方向(ロール、ピッチ、ヨー)に回転させることができる。この場合、ライダー強度画像234の一方を選択する操作により、移動または回転の位置合せを操作可能にさせるとよい。
【0103】
ユーザは、統合後のライダー点群画像241を目視して、手動位置合わせ操作部251で必要な操作を行う。ライダー点群画像241の表示エリアは3次元ビューワの機能を備えており、視点を移動させる操作により、任意の視点によるライダー点群画像241を表示させることができる。これにより、ユーザは、手動の位置合わせ操作により、2つのライダー2による3D点群データの相対的な位置ずれが十分に改善されたか否かを確認することができる。
【0104】
ユーザは、2つのライダー2による3D点群データの相対的な位置ずれが十分に改善されたことを確認すると、再位置合わせのボタン252を操作する。これにより、交通流計測サーバ3では位置合わせ処理が再度実行されて、
図13に示す位置合わせ完了時の位置合わせ画面231に遷移する。
【0105】
このように位置合わせ画面231は、2地点に設置された2台のライダー2による2つの3D点群データの位置ずれを補正した上で統合した結果を表示するため、ユーザが、3D点群データの位置合わせが適切に行われたことを容易に確認することができる。また、2つの3D点群データの位置ずれが大きすぎて、自動で適切な位置合わせができない場合に、ユーザの操作に応じて、2つの3D点群データの位置ずれを手動で改善できるため、再度、位置合わせ処理を行うことで、3D点群データの位置合わせを適切に完了することができる。
【0106】
次に、ユーザ端末4に表示される設置確認画面261について説明する。
図16は、初期状態の設置確認画面261を示す説明図である。
図17は、仮想オブジェクト選択時の設置確認画面261を示す説明図である。
図18は、仮想オブジェクト重畳表示時の設置確認画面261を示す説明図である。
図19は、仮想オブジェクト重畳表示時でエラー状態の設置確認画面261を示す説明図である。
【0107】
ユーザ端末4において、メインメニュー画面101(
図5参照)でセンサ設置調整のボタン102をユーザが操作することで表示されるサブメニュー画面111(
図6(A)参照)において、ユーザが設置確認のボタン114を操作すると、
図16に示す設置確認画面261が表示される。
【0108】
図16に示す設置確認画面261には、センサ画像表示部262が設けられている。センサ画像表示部262には、カメラ画像263と、ライダー強度画像264と、ライダー点群画像265とが表示される。
【0109】
ここで、
図16に示す設置確認画面261は、交差点を挟んだ2地点にセンサ(カメラ1およびライダー2)が設置された場合である。この場合、2地点に設置された2台のカメラ1によるカメラ画像263と、2地点に設置された2台のライダー2によるライダー強度画像264と、2台のライダー2による3D点群データを統合した3D点群データに基づくライダー点群画像265とが表示される。
【0110】
また、設置確認画面261には、仮想オブジェクト指定部267が設けられている。仮想オブジェクト指定部267には、移動体の仮想オブジェクトとして、大型バス、バイク、歩行者、乗用車、およびトレーラーをそれぞれ指定するボタン268が設けられている。
【0111】
図17に示すように、ユーザが、移動体の仮想オブジェクトを指定するボタン268を操作すると、指定された移動体の仮想オブジェクトの像271が、ライダー点群画像265上に出現する。このとき、交通流計測サーバ3では、指定された移動体の仮想オブジェクトを、3次元点群データを含む3次元空間内に配置する処理が行われ、移動体の仮想オブジェクトと3次元点群データの点群とを含む3次元空間を、指定された視点から見たライダー点群画像265が生成される。
【0112】
ライダー点群画像265の表示エリアは3Dビューワの機能を備えており、ユーザが視点を移動させる操作を行うことにより、任意の視点によるライダー点群画像265を表示させることができる(自由視点表示)。また、ライダー点群画像265上に出現した仮想オブジェクトの像271に対する操作により、移動体の仮想オブジェクトの位置および角度を調整することができる。これにより、3次元点群データに対して適切な状態で移動体の仮想オブジェクトを配置することができる。具体的には、3Dビューワを操作しながら、仮想オブジェクトの位置や角度を調整することで、移動体の仮想オブジェクトの像271が道路上に適切な状態で配置される。
【0113】
また、設置確認画面261には、仮想オブジェクト重畳のボタン273と、OKのボタン274と、再設置設定のボタン275とが設けられている。ユーザは、ライダー点群画像265上の仮想オブジェクトの像271の配置状態に基づいて、移動体の仮想オブジェクトと3D点群データとの位置関係が適切に調整されたことを確認すると、仮想オブジェクト重畳のボタン273を操作する。
【0114】
図18に示すように、ユーザが、仮想オブジェクト重畳のボタン273を操作すると、センサ画像表示部262において、ライダー点群画像265上に配置された移動体の仮想オブジェクトの像271に対応する仮想オブジェクトの像277がカメラ画像263上に重畳表示され、また、同様の仮想オブジェクトの像278がライダー強度画像264上に重畳表示される。ユーザは、カメラ画像263上に移動体の仮想オブジェクトの像277が適切な状態で表示されているか否かを目視で確認し、また、ライダー強度画像264上に移動体の仮想オブジェクトの像278が適切に表示されるか否かを確認する。
【0115】
このとき、交通流計測サーバ3では、3D点群データと仮想オブジェクトとの位置関係と、位置合わせ処理により取得したカメラ画像と3D点群データとの対応関係とに基づいて、移動体の仮想オブジェクトの像277,278をそれぞれカメラ画像263およびライダー強度画像264上に重畳表示する。また、カメラ画像263およびライダー強度画像264では、移動体の仮想オブジェクトの像277,278がそれぞれ、カメラ画像263およびライダー強度画像264に対応した形状に変形された状態で表示される。
【0116】
ここで、ユーザは、移動体の仮想オブジェクトの像277,278がそれぞれカメラ画像263またはライダー強度画像264上に適切な状態で表示されていないことを確認すると、ライダー点群画像265上の移動体の仮想オブジェクトの像271の位置および角度を調整する操作を再度行うことができる。次に、ユーザは、仮想オブジェクト重畳のボタン273を再度操作することで、カメラ画像263およびライダー強度画像264上に移動体の仮想オブジェクトの像277,278が適切に表示されるか否かを再度確認することができる。ここで、ユーザは、カメラ画像263およびライダー強度画像264上に移動体の仮想オブジェクトの像277,278が適切に表示されていることを確認すると、OKのボタン274を操作する。
【0117】
なお、本例では、仮想オブジェクト重畳のボタン273の再操作により、カメラ画像263およびライダー強度画像264上の仮想オブジェクトの像277,278が更新されるが、ライダー点群画像265上での仮想オブジェクトの像271の位置および角度の調整に応じて、カメラ画像263およびライダー強度画像264上の仮想オブジェクトの像277,278がリアルタイムに更新されるようにしてもよい。
【0118】
ここで、交通流計測サーバ3は、移動体の仮想オブジェクトの像277がカメラ画像263の表示範囲からはみ出していないか否かをカメラ画像263ごとに判定し、また、移動体の仮想オブジェクトの像278がライダー強度画像264の表示範囲からはみ出していないか否かを判定する。
【0119】
このとき、例えば、
図19に示すように、移動体の仮想オブジェクトの像277がカメラ画像263の表示範囲からはみ出している場合には、ユーザに対する報知の動作として、カメラ画像263の表示枠が強調表示される。具体的には、カメラ画像263の表示枠に所定色(例えば赤色)の枠画像281が表示される。なお、移動体の仮想オブジェクトの像278がライダー強度画像264の表示範囲からはみ出している場合には、カメラ画像263の場合と同様に、ライダー強度画像264の表示枠が強調表示される。
【0120】
この場合、ユーザは、ライダー点群画像265上で移動体の仮想オブジェクトの像271の位置および角度を調整する操作を再度行うことができるが、このライダー点群画像265上での再調整で対応できない場合には、再設置設定のボタン275を操作する。これにより、センサ設置調整における基本調整の工程に戻り、基本調整画面201(
図8参照)に遷移する。
【0121】
なお、本例では、移動体の仮想オブジェクトの像277,278がセンサ画像(カメラ画像263およびライダー強度画像264)の表示範囲からはみ出している場合に、対象となるセンサ画像の強調表示として、センサ画像の表示枠が所定色(例えば赤色)で表示されるが、センサ画像の強調表示はこのよう表示枠の色の変更に限定されない。例えば、センサ画像の強調表示として、センサ画像の表示枠を点滅させたり、センサ画像の表示枠の線種(破線、点線など)を変更したりしてもよい。
【0122】
このように設置確認画面261では、移動体の仮想オブジェクトが、3D点群データを含む3D空間上に配置されるのに応じて、移動体の仮想オブジェクトの像277,278がセンサ画像(カメラ画像263、ライダー強度画像264)上に重畳表示される。これにより、センサ(カメラ1、ライダー2)の設置状態を調整した際に、計測エリア内に出現した移動体をセンサが適切に検出できる状態に設定されているか否かの確認をユーザが簡易に行うことができる。
【0123】
なお、移動体の仮想オブジェクトの像277,278がセンサ画像(カメラ画像263、ライダー強度画像264)の表示範囲からはみ出している場合に、はみ出しの程度や、はみ出しが検出されたセンサ画像の優先度などに基づいて、ユーザに対する警告のレベルを変えるものとしてもよい。
【0124】
次に、ユーザ端末4に表示される設置確認画面261の別例について説明する。
図20は、設置確認画面261の別例を示す説明図である。
【0125】
図16に示した例は、複数のセンサ(カメラ1およびライダー2)が、計測エリアの移動体を反対側から検出するように設置されている。具体的には、交差点(計測エリア)を挟んで向かい合う2地点にセンサが設置され、2地点のセンサが同じ場所を違う方向から検出する。
【0126】
一方、本例は、複数のセンサ(カメラ1およびライダー2)が、各々の計測エリアが隣接して一部重複するように設置されている。具体的には、道幅が広い交差点およびその周辺を計測エリアとする場合であり、交差点の周辺の4地点にセンサが設置されている。各地点のセンサは、主に交差点の中心部を検出し、各々の計測エリアが隣接して一部重複するものの、交差点に接続された複数の道路の各々が検出エリアに含まれるように設置されているため、各地点のセンサでは検出エリアが大きくずれている。
【0127】
本例による設置確認画面261では、センサ画像表示部262に、4つのカメラ画像263と、1つのライダー点群画像265とが表示される。4つのカメラ画像263は、4地点に設置された4台のカメラ1により撮影されたものである。1つのライダー点群画像265は、4地点に設置された4台のライダー2による3D点群データを統合した3D点群データから生成されたものである。
【0128】
本例でも、
図17に示した例と同様に、ユーザが、仮想オブジェクト指定部267において移動体の仮想オブジェクトを選択すると、指定された移動体の仮想オブジェクトの像271がライダー点群画像265上に出現し、ユーザが、仮想オブジェクト重畳のボタン273を操作すると、移動体の仮想オブジェクトの像277がカメラ画像263上に重畳表示される。
【0129】
また、本例でも、
図19に示した例と同様に、移動体の仮想オブジェクトの像277がカメラ画像263の表示範囲からはみ出している場合には、カメラ画像263が強調表示される。また、ライダー点群画像265での移動体の仮想オブジェクトの位置および角度の再調整で対応できない場合には、再設置設定のボタン275を操作することで、センサ設置調整における基本調整の工程に戻る。
【0130】
このように本例では、各地点のセンサ(カメラ1およびライダー2)が、各々の計測エリアが隣接して一部重複するものの、検出エリアが大きくずれて設置されている場合でも、計測エリア内に出現した移動体をセンサが適切に検出できる状態に設定されているか否かの確認をユーザが簡易に行うことができる。
【0131】
次に、ユーザ端末4に表示されるセンサデータ記録画面301について説明する。
図21は、センサデータ記録画面301を示す説明図である。
【0132】
ユーザ端末4において、メインメニュー画面101(
図5参照)で交通流データ生成のボタン103をユーザが操作することで表示されるサブメニュー画面121(
図6(B)参照)において、ユーザがセンサデータ記録のボタン122を操作すると、
図21に示すセンサデータ記録画面301が表示される。
【0133】
センサデータ記録画面301には、センサ画像表示部302が設けられている。センサ画像表示部302には、カメラ画像303とライダー強度画像304とが表示される。本例では、2地点にカメラ1およびライダー2が設置されているため、各カメラ1の検出結果である2つのカメラ画像303と、各ライダー2の検出結果である2つのライダー強度画像304が表示される。
【0134】
センサデータ記録画面301では、ユーザが、計測地点指定部163において、センサデータ記録の対象となる計測地点を指定することができる。これにより、指定された計測地点に設置されたカメラおよびライダーによるカメラ画像303およびライダー強度画像304がセンサ画像表示部302に表示される。なお、計測地点指定部163では、ユーザが、プルダウンメニューの操作により、予め登録された計測地点の中から計測地点を選択できるが、未登録の計測地点の場合には、ユーザが、計測地点指定部163に計測地点の名称を入力することで、計測エリアが登録される。
【0135】
また、センサデータ記録画面301には、記録開始のボタン305と記録終了のボタン306とが設けられている。ユーザが記録開始のボタン305を操作すると、交通流計測サーバ3がセンサデータ記録処理を開始する。センサデータ記録処理では、カメラ1から送信されるカメラ画像が記憶部12に蓄積される。また、ライダー2から送信されるライダー点群データが記憶部12に蓄積される。ユーザが記録終了のボタン306を操作すると、交通流計測サーバ3が交通流データの記録処理を終了する。
【0136】
なお、ユーザがタイマを設定する操作を行うことで、ユーザが指定した計測時間が経過するまでセンサデータ記録処理が行われるものとしてもよい。また、ユーザが事前にスケジュールを設定する操作を行うことで、ユーザが指定した開始時刻から終了時刻までセンサデータ記録処理が行われるものとしてもよい。
【0137】
次に、ユーザ端末4に表示されるセンサデータ解析画面311について説明する。
図22は、初期状態のセンサデータ解析画面311を示す説明図である。
図23は、センサデータ解析処理が開始された場合のセンサデータ解析画面311を示す説明図である。
【0138】
ユーザ端末4において、メインメニュー画面101(
図5参照)で交通流データ生成のボタン103をユーザが操作することで表示されるサブメニュー画面121(
図6(B)参照)において、ユーザがセンサデータ解析のボタン123を操作すると、
図22に示すセンサデータ解析画面311が表示される。
【0139】
図22に示すセンサデータ解析画面311には、センサ画像表示部312が設けられている。センサ画像表示部312には、カメラ画像313とライダー強度画像314とが表示される。本例では、2地点にカメラ1およびライダー2が設置されているため、各カメラ1の検出結果である2つのカメラ画像313と、各ライダー2の検出結果である3D点群データから生成された2つのライダー強度画像314とが表示される。
【0140】
センサデータ解析画面311では、ユーザが、計測地点指定部163において、センサデータ解析の対象となる計測地点を指定することができる。これにより、指定された計測地点に関するカメラ画像および3D点群データが読み出され、センサ画像表示部312にカメラ画像313およびライダー強度画像314が表示される。
【0141】
また、センサデータ解析画面311には、解析開始のボタン316と解析終了のボタン317とが設けられている。ユーザが解析開始のボタン316を操作すると、交通流計測サーバ3がセンサデータ解析処理(交通流解析処理)を開始する。
【0142】
センサデータ解析処理では、記憶部12に蓄積されたカメラ画像およびライダー点群データを読み出して、カメラ画像およびライダー点群データから移動体を検出する処理や、交通流データから所定のシナリオに該当する事象(交通事故など)を抽出する処理などが行われる。ユーザが解析終了のボタン317を操作すると、交通流計測サーバ3がセンサデータ解析処理を終了する。
【0143】
図23に示すように、センサデータ解析処理が開始されると、センサ画像表示部312に、カメラ画像313、およびライダー強度画像314に加えて、ライダー点群画像315が表示される。カメラ画像313、ライダー強度画像314、およびライダー点群画像315は動画で表示させることができる。ライダー点群画像315は、2地点に設置された各ライダー2の3D点群データを統合した3D点群データから生成されたものである。
【0144】
このとき、センサ画像表示部312では、カメラ画像313上に、カメラ画像313から検出された移動体の追尾枠が表示される。また、ライダー強度画像314上に、3D点群データから検出された移動体の追尾枠が表示される。また、ライダー点群画像315上に、3D点群データから検出された移動体の追尾枠が表示される。
【0145】
次に、ユーザ端末4に表示される時系列表示画面401について説明する。
図24,
図25は、時系列表示画面401を示す説明図である。
図26は、時系列表示画面401に表示される軌跡ライン407、速度ライン408、および加速度ライン409を示す説明図である。
【0146】
ユーザ端末4において、メインメニュー画面101(
図5参照)で交通流データ閲覧のボタン104をユーザが操作することで表示されるサブメニュー画面131(
図7(A)参照)において、ユーザが時系列表示のボタン132を操作すると、
図24に示す時系列表示画面401が表示される。
【0147】
時系列表示画面401には、センサ画像表示部402が設けられている。センサ画像表示部402には、カメラ画像403と、ライダー強度画像404と、ライダー点群画像405とが表示される。ライダー点群画像405の表示エリアは3Dビューワの機能を備えており、ユーザによる視点を移動させる操作により、任意の視点によるライダー点群画像405を表示させることができる。
図24,
図25は、ライダー点群画像405の視点を変化させた場合の例である。
【0148】
センサ画像表示部402では、カメラ画像403、ライダー強度画像404およびライダー点群画像405上に、移動体の挙動(状態変化)の状況を表す時系列データを可視化した挙動画像として、軌跡ライン411、速度ライン412および加速度ライン413が重畳表示される。軌跡ライン411(軌跡画像)は、移動体の位置の変化状況を表す時系列データを可視化したものである。速度ライン412(速度画像)は、移動体の速度の変化状況を表す時系列データを可視化したものである。加速度ライン413(加速度画像)は、移動体の加速度の変化状況を表す時系列データを可視化したものである。
【0149】
ここで、
図26に示すように、軌跡ライン411上には、表示時刻(現在表示中の時刻)における移動体の位置を表す軌跡ポイント414が描画される。また、速度ライン412上には、表示時刻における移動体の速度を表す速度ポイント415が描画される。また、加速度ライン413上には、表示時刻における移動体の加速度を表す加速度ポイント416が描画される。軌跡ポイント414、速度ポイント415および加速度ポイント416は、表示時刻が進むのに応じて、表示位置が変化する。
【0150】
また、表示時刻における移動体の位置を表す軌跡ポイント414を原点として、進行方向を第1の座標軸とした場合、第1の座標軸に直交する第2,第3の座標軸がそれぞれ、速度の大きさ(絶対値)および加速度の大きさ(絶対値)を表す。原点としての軌跡ポイント414から速度ポイント415までの速度軸方向の距離が、速度の大きさ(絶対値)を表す。原点としての軌跡ポイント414から加速度ポイント416までの加速度軸方向の距離が、加速度の大きさ(絶対値)を表す。
【0151】
したがって、軌跡ライン411は、各時刻の軌跡ポイント414を結んだものであり、移動体の位置の変化状況を表す。速度ライン412は、各時刻の速度ポイント415を結んだものであり、移動体の速度の変化状況を表する。加速度ライン413は、各時刻の加速度ポイント416を結んだものであり、移動体の加速度の変化状況を表す。
【0152】
また、
図24,
図25に示すように、センサ画像表示部402では、軌跡ライン411の近傍に、移動体IDが記載されたIDラベル417(ラベル画像)が表示される。速度ライン412の近傍に、速度(絶対値)が記載された速度ラベル418(ラベル画像)が表示される。加速度ライン413の近傍に、加速度(絶対値)が記載された加速度ラベル419(ラベル画像)が表示される。
【0153】
また、センサ画像表示部402では、カメラ画像403上に、そのカメラ画像403から検出された移動体の追尾枠が表示される。また、ライダー強度画像404上に、3D点群データから検出された移動体の追尾枠が表示される。また、ライダー点群画像405上に、3D点群データから検出された移動体の追尾枠が表示される。
【0154】
また、時系列表示画面401には、次フレームのボタン421と前フレームのボタン422とが設けられている。ユーザが、次フレームのボタン421を操作すると、カメラ画像403、ライダー強度画像404、およびライダー点群画像405が、1つ次のフレーム、すなわち、1つ後の時刻の画像に切り替わる。ユーザが、前フレームのボタン422を操作すると、カメラ画像403、ライダー強度画像404、およびライダー点群画像405が、1つ前のフレーム、すなわち、1つ前の時刻の画像に切り替わる。
【0155】
なお、移動体の軌跡(位置)、速度および加速度の表現方法は図示する例に限定されない。例えば、軌跡ラインの属性で速度および加速度を表現することができる。具体的には、軌跡ラインの色の濃さおよび太さが速度および加速度を表現するものとしてもよい。
【0156】
このように時系列表示画面401では、時系列による移動体の状態の変化状況が可視化して表示される。具体的には、センサ画像(カメラ画像403、ライダー強度画像404、およびライダー点群画像405)上に、位置、速度および加速度を可視化した挙動画像、具体的には、軌跡ライン411、速度ライン412、および加速度ライン413が重畳表示される。このため、ユーザが、移動体の状態(位置、速度、および加速度)の変化状況を直感的に把握することができる。なお、図示しない表示選択画面より、挙動画像の種類(軌跡ライン411、速度ライン412、加速度ライン413)およびラベル画像の種類(IDラベル417、速度ラベル418、加速度ラベル419)から任意の画像を選択して表示させるようにしてもよい。
【0157】
次に、ユーザ端末4に表示されるシナリオ指定画面431について説明する。
図27は、シナリオ指定画面431を示す説明図である。
図28は、抽出条件追加状態のシナリオ指定画面431を示す説明図である。
【0158】
ユーザ端末4において、メインメニュー画面101(
図5参照)で交通流データ閲覧のボタン104をユーザが操作することで表示されるサブメニュー画面131(
図7(A)参照)において、ユーザがシナリオ指定のボタン133を操作すると、
図27に示すシナリオ指定画面431が表示される。
【0159】
シナリオ指定画面431には、抽出条件選択部432と、概要図表示部433とが設けられている。抽出条件選択部432では、ユーザが、プルダウンメニューの操作により、抽出条件(絞り込み条件)としてのシナリオ(事象類型)を選択することができる。本例では、追突、右折衝突、左折巻込、逆走、あおりなどのシナリオをユーザが選択することができる。ユーザがシナリオを選択すると、概要図表示部433に、選択されたシナリオに関する概要
図434が表示される。概要
図434は、シナリオの状況を具体的に表すものである。
【0160】
選択されたシナリオに複数のパターンがある場合にはパターンごとの概要
図434が表示される。
図27に示す例では、第1のパターンが右折車両と直進車両との衝突であり、第2のパターンが右折車両と直進バイクとの衝突である。ユーザは、概要
図434を操作することで、パターンを選択することができる。
【0161】
また、シナリオ指定画面431には、抽出表示のボタン436が設けられている。ユーザが、抽出条件選択部432で抽出条件としてのシナリオを選択した上で、抽出表示のボタン436を操作すると、抽出処理が実行されて、その抽出結果を表示する指定事象閲覧画面471(
図30参照)に遷移する。抽出処理では、交通流解析(事象検知)により検知された事象(交通事故など)の中から、ユーザが選択したシナリオに該当する事象が抽出される。
【0162】
ここで、シナリオ指定画面431では、抽出条件選択部432において、ユーザが抽出条件としてのシナリオを選択すると、抽出条件追加指定部441(ダイアログボックス)が表示される。抽出条件追加指定部441には、はいのボタン442と、いいえのボタン443とが設けられている。ユーザがはいのボタン442を操作すると、
図28に示す抽出条件追加状態のシナリオ指定画面431に遷移する。
【0163】
図28に示す抽出条件追加状態のシナリオ指定画面431には、当初の抽出条件に関する抽出条件選択部432および概要図表示部433に加えて、追加の抽出条件に関する抽出条件選択部445および概要図表示部446が表示される。これにより、シナリオの組み合わせにより、抽出される事象を絞り込むことができる。
【0164】
このようにシナリオ指定画面431では、ユーザが、自身が注目するシナリオ(事象類型)を指定することができ、これにより、シナリオに該当する事象(交通事故など)を抽出することができる。
【0165】
なお、シナリオは、追突、右折衝突、左折巻込などの交通事故や、逆走、あおりなどの交通事故以外の交通規則違反や危険走行などでもよいが、特に限定されない。また、シナリオの内容をユーザが設定してもよい。
【0166】
次に、ユーザ端末4に表示される統計情報指定画面461について説明する。
図29は、統計情報指定画面461を示す説明図である。
【0167】
ユーザ端末4において、メインメニュー画面101(
図5参照)で交通流データ閲覧のボタン104をユーザが操作することで表示されるサブメニュー画面131(
図7(A)参照)において、ユーザが統計情報指定のボタン134を操作すると、
図29に示す統計情報指定画面461が表示される。
【0168】
統計情報指定画面461には、第1の統計情報表示部462(グラフ表示部)と、第2の統計情報表示部463(集計表表示部)とが設けられている。第1の統計情報表示部462では、統計情報として、各シナリオに該当する事象の件数(頻度)がシナリオごとの棒グラフで表示されている。第2の統計情報表示部463では、統計情報として、シナリオの組み合わせに該当する事象の件数(頻度)が集計表で表示されている。
【0169】
第1の統計情報表示部462では、ユーザがシナリオごとの棒グラフを操作することで、1つのシナリオを選択することができる。第2の統計情報表示部463では、ユーザが集計表の中の1つのセルを操作することで、シナリオの組み合わせを選択することができる。
【0170】
また、統計情報指定画面461には、抽出表示のボタン464が設けられている。ユーザが、第1の統計情報表示部462で1つのシナリオを選択した上で、抽出表示のボタン464を操作すると、選択したシナリオに該当する事象を抽出する処理が行われて、その抽出結果を表示する指定事象閲覧画面471(
図30参照)に遷移する。また、ユーザが、第2の統計情報表示部463でシナリオの組み合わせを選択した上で、抽出表示のボタン464を操作すると、選択したシナリオの組み合わせに該当する事象を抽出する処理が行われて、その抽出結果を表示する指定事象閲覧画面471(
図30参照)に遷移する。
【0171】
このように統計情報指定画面461では、ユーザが、統計情報(グラフや集計表)により、シナリオに該当する事象の状況(頻度)を確認した上で、閲覧したいシナリオを統計情報から選択して、そのシナリオに該当する事象(交通事故など)を抽出することができる。
【0172】
なお、
図27,
図28に示すシナリオ指定画面431における抽出条件選択部432,445のように、ユーザがプルダウンメニューの操作によりシナリオを選択すると、
図29に示した統計情報指定画面461における統計情報表示部462,463の統計情報(グラフや集計表)が、ユーザが選択したシナリオで限定された状態で表示されるようにしてもよい。
【0173】
次に、ユーザ端末4に表示される指定事象閲覧画面471について説明する。
図30,
図31は、指定事象閲覧画面471を示す説明図である。
【0174】
ユーザ端末4において、シナリオ指定画面431(
図27,
図28参照)や統計情報指定画面461(
図29参照)でユーザがシナリオを指定して抽出表示を指示すると、
図30に示す指定事象閲覧画面471が表示される。
【0175】
指定事象閲覧画面471には、全体画像表示部472と、詳細画像表示部473と、第1の詳細化のボタン474と、第2の詳細化のボタン475とが設けられている。
【0176】
全体画像表示部472には、全体画像として、事象の全体の状況が写るライダー点群画像476が表示される。ライダー点群画像476は、計測エリアの上空に視点を設定して、ライダー2による3D点群データから生成される。
【0177】
全体画像表示部472では、シナリオ指定画面431(
図27,
図28参照)や統計情報指定画面461(
図29参照)でユーザが指定したシナリオに該当する事象に関係する移動体が強調表示される。
図30に示す例では、特定事象としての交通事故(右折衝突)に関係する2台の車両に追尾枠が表示されている。
【0178】
詳細画像表示部473には、詳細画像として、ユーザが指定したシナリオに該当する事象の詳細が把握できるように拡大されたライダー点群画像477,478が表示される。
【0179】
ここで、ユーザが第1の詳細化のボタン474を操作すると、第1の視点による詳細画像として、ドライバーの視点によるライダー点群画像477が表示される。ここで、ドライバーは、対象とする事象に関係する移動体としての車両を運転する人物である。また、ユーザが第2の詳細化のボタン475を操作すると、第2の視点による詳細画像として、計測エリアの上空に視点が設定されたライダー点群画像478(オルソ画像)が表示される。
【0180】
このように指定事象閲覧画面471では、シナリオ指定画面431(
図27,
図28参照)や統計情報指定画面461(
図29参照)でユーザが注目するシナリオ(事象類型)を指定することで、そのシナリオに該当する事象(交通事故など)が写るセンサ画像(ライダー点群画像477,478)を閲覧することができる。これにより、ユーザが、特定のシナリオに限定して、そのシナリオに該当する事象が発生したときの状況を詳しく確認することができる。
【0181】
なお、本例では、ユーザが、ドライバーに視点が設定されたライダー点群画像476と、計測エリアの上空に視点が設定されたライダー点群画像477とのいずれかを選択することができるが、ライダー点群画像の表示枠が3Dビューアの機能を有し、ユーザが任意の視点のライダー点群画像を表示させることができるものとしてもよい。
【0182】
また、ライダー2による3D点群データから任意の視点によるライダー点群画像476,477を生成することができるが、マルチビューステレオ技術を用いて、複数のカメラ1による複数のカメラ画像から密点群を生成することで、任意の視点による画像を生成することもできる。
【0183】
次に、ユーザ端末4に表示される追跡モード画面501について説明する。
図32は、複数位置設置モードの追跡モード画面501を示す説明図である。
図33は、1か所設置モードの追跡モード画面501を示す説明図である。
【0184】
ユーザ端末4において、メインメニュー画面101(
図5参照)でオプションのボタン105をユーザが操作することで表示されるサブメニュー画面141(
図7(B)参照)において、ユーザが追跡モードのボタン142を操作すると、
図32に示す追跡モード画面501が表示される。
【0185】
追跡モード画面501には、モード選択部502が設けられている。モード選択部502には、複数位置設置モードのボタン503と、1か所設置モードのボタン504とが設けられている。ユーザが複数位置設置モードのボタン503を操作すると、
図32に示す複数位置設置モードの追跡モード画面501が表示される。ユーザが1か所設置モードのボタン504を操作すると、
図33に示す1か所設置モードの追跡モード画面501に遷移する。ここで、複数位置設置モードは、共通の計測エリアを対象にしてカメラ1およびライダー2が複数の地点に設置されている場合である。1か所設置モードは、カメラ1およびライダー2が1地点に設置されている場合である。
【0186】
追跡モード画面501には、移動体画像表示部505が設けられている。移動体画像表示部505には、カメラ画像から検出された移動体の画像506と、3D点群データから検出された移動体の画像507とが表示される。カメラ画像から検出された移動体の画像506は、カメラ画像から移動体を含む画像領域を抽出したものである。3D点群データから検出された移動体の画像507は、3D点群データから生成されたライダー点群画像から移動体を含む画像領域を抽出したものである。なお、移動体の画像507に複数の移動体が含まれる場合には、画像507上に対象とする移動体を囲む枠画像が描画されるとよい。
【0187】
ここで、
図32に示す複数位置設置モードの追跡モード画面501では、カメラ画像から検出された移動体の画像506がカメラ1ごとに表示される。本例では、2台のカメラ1が設置されているため、移動体の画像506が2つ表示される。また、複数の地点に設置された複数のライダー2による複数の3D点群データを統合した3D点群データから移動体が検出されるため、3D点群データから検出された移動体の画像507は1つ表示される。
【0188】
一方、
図33に示す1か所設置モードの追跡モード画面501では、カメラ画像から検出された移動体の画像506と、3D点群データから検出された移動体の画像507とが1つずつ表示される。
【0189】
また、移動体画像表示部505には、カメラ画像から移動体を検出した際に移動体に付与された移動体IDと、3D点群データから移動体を検出した際に移動体に付与された移動体IDとが表示される。各カメラ画像および3D点群データからの移動体の検出および移動体IDの付与は個別に行われるため、各カメラ1およびライダー2に対応する移動体IDは同一の移動体でも異なる。
【0190】
また、追跡モード画面501には、カメラ優先のボタン511と、ライダー優先のボタン512と、設定のボタン513とが設けられている。ユーザがカメラ優先のボタン511を操作すると、交通流計測サーバ3では、カメラ画像で検出された移動体に付与されたIDを優先して移動体のIDの付け替えが行われる。ユーザがライダー優先のボタン512を操作すると、交通流計測サーバ3では、ライダー点群データで検出された移動体に付与されたIDを優先して移動体のIDの付け替えが行われる。なお、カメラ画像とライダー点群データとでは、計測エリアの状況や天候などの検出シーンによって有利不利があり、例えば、移動体検出の精度が高くなると想定されるセンサを優先するようにユーザが指定してもよい。
【0191】
移動体IDの付け替えが行われると、移動体画像表示部505では、カメラ画像およびライダー点群画像の各々で検出された移動体に付与された移動体IDが更新され、同一の移動体に同一の移動体IDが表示される。ここで、ユーザが、移動体のIDの付け替えが適切に行われたことを確認すると、設定のボタン513を操作する。これにより、移動体IDが確定される。
【0192】
このように追跡モード画面501では、複数のセンサ(カメラ1、ライダー2)による複数の検出結果(カメラ画像、3D点群データ)から検出された移動体に付与された移動体IDについて、同一の移動体に共通の移動体IDが付与されるようにIDの付け替えを行う処理に際して、ユーザが優先するセンサを選択することができる。
【0193】
次に、ユーザ端末4に表示される拡張閲覧モード画面531について説明する。
図34は、ビューワモードの拡張閲覧モード画面531を示す説明図である。
図35は、危険判定モードの拡張閲覧モード画面531を示す説明図である。
【0194】
ユーザ端末4において、メインメニュー画面101(
図5参照)でオプションのボタン105をユーザが操作することで表示されるサブメニュー画面141(
図7(B)参照)において、ユーザが拡張閲覧モードのボタン143を操作すると、
図34に示す拡張閲覧モード画面531が表示される。
【0195】
拡張閲覧モード画面531には、センサ画像表示部532が設けられている。センサ画像表示部532には、カメラ画像533と、ライダー点群画像534とが表示される。本例では、2地点にカメラ1が設置されているため、各カメラ1により撮影された2つのカメラ画像533が表示される。ライダー点群画像534は、2地点に設置されたライダー2による3D点群データを統合した3D点群データに基づいて、計測エリアの上空に視点を設定して生成されたものである。
【0196】
また、拡張閲覧モード画面531には、モード指定部541と、道路構成物指定部542と、走行オブジェクト指定部543と、自動運転指定部544とが設けられている。
【0197】
モード指定部541には、ビューワのボタン551と、危険判定のボタン552とが設けられている。ユーザがビューワのボタン551を操作すると、ビューワモードの拡張閲覧モード画面531(
図34参照)が表示される。ユーザが危険判定のボタン552を操作すると、危険判定モードの拡張閲覧モード画面531(
図35参照)が表示される。
【0198】
道路構成物指定部542には、道路構成物(地物および路面マーク)を選択するボタン553が設けられている。本例では、ボタン553を操作することで、道路付帯物として、白線、停止線、縁石、横断歩道、ガードレール、および歩道を選択することができる。選択された道路構成物はカメラ画像533およびライダー点群画像534上で強調表示される。具体的には、カメラ画像533およびライダー点群画像534における対象とする道路構成物の領域に、所定の色や模様で描画された領域画像561(付帯画像)が透過状態で重畳される。本例では、停止線、横断歩道、および歩道の各領域が強調表示されている。道路構成物の領域画像561は、道路構成物の種類ごとに設定された色や模様で描画される。例えば、例えば、横断歩道の領域画像561は青色で描画され、歩道の領域画像561は赤色で描画される。これにより、ユーザは、道路構成物の種類を容易に識別することができる。なお、道路構成物は複数選択することができる。
【0199】
走行オブジェクト指定部543には、走行オブジェクト(移動体)を選択するボタン554が設けられている。本例では、ボタン554を操作することで、走行オブジェクトとして、乗用車、トラック、バイク、自転車、バス、および歩行者を選択することができる。選択された走行オブジェクトはライダー点群画像534上で強調表示される。具体的には、ライダー点群画像534における対象とする走行オブジェクトの領域に、所定の色や模様で描画された領域画像562(付帯画像)が透過状態で重畳される。走行オブジェクトの領域画像562は、走行オブジェクトの種類ごとに設定された色や模様で描画される。例えば、乗用車の領域画像562は水色で描画され、トラックの領域画像562は黄色で描画される。これにより、ユーザは、走行オブジェクトの種類を容易に識別することができる。なお、走行オブジェクトは複数選択することができる。
【0200】
自動運転指定部544には、自動運転車か否かを選択するボタン555,556が設けられている。ユーザがオンのボタン555を操作すると、ライダー点群画像534上で自動運転車両が強調表示されると共に、自動運転の文字が記載された自動運転ラベル563(付帯画像)が表示される。ユーザがオフのボタン556を操作すると、ライダー点群画像534上で自動運転車両が強調表示されない。
【0201】
また、拡張閲覧モード画面531では、ライダー点群画像534上で道路構成物を選択する、具体的には、ライダー点群画像534上に重畳表示された道路構成物の領域画像561や走行オブジェクトの領域画像562を操作すると、走行オブジェクトと道路構成物との位置関係に関する情報が記載された位置関係ラベル564(付帯画像)が表示される。
図34に示す例では、ユーザが、ライダー点群画像534上でトラックと横断歩道とを選択すると、トラックと横断歩道との間の距離が記載された位置関係ラベル564が表示される。
【0202】
また、
図35に示す危険判定モードの拡張閲覧モード画面では、危険度表示部565が設けられている。危険度表示部565には、対象地点の交通環境に関する危険度が表示される。このとき、交通流計測サーバ3では、対象地点の交通環境に関する情報、具体的には、移動体(走行オブジェクト)と道路構成物との位置関係などに基づいて、対象地点の交通環境に関する危険度が判定される。
【0203】
このように拡張閲覧モード画面531では、ライダー点群画像534において、ユーザが指定した移動体や道路構成物の領域が強調表示されるため、ユーザが、移動体と道路構成物との相対的な位置関係を容易に把握することができる。また、拡張閲覧モード画面531では、移動体と道路構成物との位置関係に関する情報(距離など)や、対象地点の交通環境に関する危険度の情報が表示されるため、ユーザが移動体の危険性を容易に認識することができる。これにより、危険度が高い地点ではガードレールを設置するなど、道路構造の改善により交通事故を少なくする上で必要な施策を検討することができる。
【0204】
次に、交通流計測サーバ3で行われるセンサ設置調整に係る処理の手順について説明する。
図36は、センサ設置調整に係る処理の手順を示すフロー図である。ここでは、ユーザ端末4に表示されたセンサ設置調整に関するサブメニュー画面111(
図6(A)参照)においてサブメニューの項目をユーザが順次選択することで、以下のような基本調整、位置合わせ、および設置確認の各工程に係る処理が順次実施される。なお、本フローに先立って、作業者がセンサ(カメラ1およびライダー2)を所定の地点に設置する。これにより、センサの位置は確定し、センサ設置調整の工程ではセンサの向き(画角)が調整される。
【0205】
交通流計測サーバ3は、まず、基本調整の工程に進み、ユーザ端末4に表示された基本調整画面201(
図8~
図11参照)におけるユーザの操作に応じて、CG画像のファイルを読み出して、そのCG画像のファイルをユーザ端末4に送信してCG画像をユーザ端末4に表示させる(ST101)。
【0206】
次に、交通流計測サーバ3は、ユーザ端末4に表示された基本調整画面201(
図8~
図11参照)におけるユーザの操作に応じて、センサ(カメラ1、ライダー2)の角度(パン・チルト)を制御する(ST102)。このとき、センサから送信されるセンサ画像(カメラ画像、ライダー強度画像)をユーザ端末4に送信してそのセンサ画像をユーザ端末4に表示させる。
【0207】
次に、交通流計測サーバ3は、位置合わせの工程に進み、ユーザ端末4に表示された位置合わせ画面231(
図12~
図15参照)でのユーザの操作に応じて、別地点に設置された複数のカメラ1とライダー2によるカメラとライダー間の3D点群データの位置ずれを補正する位置合わせ処理を行う。そして、交通流計測サーバ3は、位置合わせの後に統合された3D点群データから生成されたライダー点群画像をユーザ端末4に送信してそのライダー点群画像をユーザ端末4に表示させる(ST103)。
【0208】
なお、ST103では、交通流計測サーバ3は、自動位置合わせにより、複数のライダー2による3D点群データの位置ずれを適切に補正できない場合、手動位置合わせにより、ユーザの操作に応じて複数のライダー2による3D点群データの位置ずれを補正することができる。
【0209】
次に、交通流計測サーバ3は、設置確認の工程に進み、ユーザ端末4に表示された設置確認画面261(
図16~
図20参照)におけるユーザの操作に応じて、移動体の仮想オブジェクトを、3次元点群データを含む3次元空間内に配置して、移動体の仮想オブジェクトを含むライダー点群画像を生成する。そして、交通流計測サーバ3は、移動体の仮想オブジェクトを含むライダー点群画像をユーザ端末4に送信してそのライダー点群画像をユーザ端末4に表示させる(ST104)。
【0210】
次に、交通流計測サーバ3は、ユーザ端末4に表示された設置確認画面261(
図16~
図20参照)におけるユーザの操作に応じて、移動体の仮想オブジェクトを含むカメラ画像およびライダー強度画像を生成する。そして、交通流計測サーバ3は、移動体の仮想オブジェクトを含むカメラ画像およびライダー強度画像をユーザ端末4に送信してそのカメラ画像およびライダー強度画像をユーザ端末4に表示させる(ST105)。
【0211】
なお、ST105において、カメラ画像およびライダー強度画像における移動体の仮想オブジェクトの表示状態に不備がある場合には、移動体の仮想オブジェクトの表示状態を調整するためにST104およびST105の処理が繰り返される。
【0212】
次に、交通流計測サーバ3は、基本調整、位置合わせ、および設置確認の工程で取得したセンサ設置情報を記憶部12に保存する(ST106)。センサ設置情報は、センサ(カメラ1、ライダー2)の角度に関する情報、カメラ画像と3D点群データとの位置関係に関する情報、複数のライダー2による3D点群データ相互の位置関係に関する情報などである。
【0213】
次に、交通流計測サーバ3で行われる交通流データ生成に係る処理の手順について説明する。
図37は、交通流データ生成に係る処理の手順を示すフロー図である。ここでは、ユーザ端末4に表示された交通流データ生成に関するサブメニュー画面121(
図6(B)参照)においてサブメニューの項目をユーザが順次選択することで、以下のようなデータ記録、およびデータ解析の各工程に係る処理が順次実施される。
【0214】
交通流計測サーバ3は、まず、データ記録の工程に進み、カメラ1からカメラ画像を受信する(ST201)。また、交通流計測サーバ3は、ライダー2から3D点群データを受信する(ST202)。
【0215】
次に、交通流計測サーバ3は、カメラ1から受信したカメラ画像に付加された時刻情報と、ライダー2から受信した3D点群データに付加された時刻情報とに基づいて、カメラ画像と3D点群データとを同期させる(データ同期処理)(ST203)。なお、時刻情報は、カメラ1およびライダー2において衛星信号から取得されたものである。衛星信号を受信する機能を有していない場合は、ローカルネットワーク経由で時間情報を取得して同期させてもよい。
【0216】
次に、交通流計測サーバ3は、同期済みのカメラ画像および3D点群データを記憶部12に蓄積する(ST204)。
【0217】
次に、交通流計測サーバ3は、センサデータ解析の工程に進み、カメラ画像および3D点群データを解析する処理を行い、交通流データを生成する(ST205)。センサデータ解析処理では、カメラ画像およびライダー点群データから移動体や道路構成物を検出する処理などが行われる。
【0218】
次に、交通流計測サーバ3は、センサデータ解析処理で生成された交通流データを記憶部12に蓄積する(ST206)。交通流データには、タイムスタンプ(年月日、時分秒)、軌跡ID(移動体を識別する情報)、および相対座標(位置情報)などが含まれる。
【0219】
次に、交通流計測サーバ3で行われる交通流データ閲覧に係る処理の手順について説明する。
図38は、交通流データ閲覧に係る処理の手順を示すフロー図である。
【0220】
交通流計測サーバ3は、まず、ユーザ端末4に表示された交通流データ閲覧に関するサブメニュー画面131(
図7(A)参照)においていずれの項目をユーザが選択したかを判定する(ST301)。
【0221】
ここで、ユーザが時系列表示を選択した場合には(ST301で「時系列表示」)、交通流計測サーバ3は、ユーザ端末4を時系列表示画面401(
図24参照)に遷移させる(ST302)。そして、時系列表示画面401において、ユーザが計測地点(計測エリア)を指定すると、交通流計測サーバ3は、指定された計測地点に該当する交通流データを抽出する(ST303)。次に、交通流計測サーバ3は、時系列表示画面401において、ビューワを起動して交通流データを時系列で表示する(ST304)。このとき、交通流データとして、センサ画像(カメラ画像、ライダー強度画像、およびライダー点群画像)と共に、移動体の軌跡、速度および加速度の変化状況が表示される。
【0222】
一方、ユーザがシナリオ指定を選択した場合には(ST301で「シナリオ指定」)、交通流計測サーバ3は、ユーザ端末4をシナリオ指定画面431(
図27参照)に遷移させる(ST305)。そして、シナリオ指定画面431においてユーザがシナリオを直接指定すると、交通流計測サーバ3は、指定されたシナリオに該当する事象に関係するセンサ画像を抽出する(ST306)。
【0223】
次に、交通流計測サーバ3は、ユーザ端末4を指定事象閲覧画面471(
図30参照)に遷移させる(ST307)。次に、交通流計測サーバ3は、指定事象閲覧画面471においてセンサ画像を閲覧するためのビューワを起動し、指定事象閲覧画面471にセンサ画像を表示する(ST308)。このとき、センサ画像として、指定されたシナリオに該当する事象に関係するライダー点群画像が表示される。
【0224】
また、ユーザが統計情報指定を選択した場合には(ST301で「統計情報指定」)、交通流計測サーバ3は、ユーザ端末4を統計情報指定画面461(
図29参照)に遷移させる(ST309)。そして、統計情報指定画面461においてユーザが統計情報中からシナリオを指定すると、交通流計測サーバ3は、指定されたシナリオに該当する事象に関係するセンサ画像を抽出する(ST310)。次に、交通流計測サーバ3は、ST307,ST308の処理を行う。
【0225】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【0226】
本発明に係る交通流計測システムおよび交通流計測方法は、新設または取り替え時に、センサの設置状態を調整する作業をユーザが簡易に行えるようにして、交通流データの計測環境を効率よく構築することができる効果を有し、カメラやライダーなどのセンサを用いて対象地点の交通流を計測する交通流計測システムおよび交通流計測方法などとして有用である。
【符号の説明】
【0227】
1 カメラ(第1のセンサ)
2 ライダー(第2のセンサ)
3 交通流計測サーバ(サーバ装置)
4 ユーザ端末(端末装置)
5 管理端末