特開 2024-19819 移動速度測定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024019819

(43)【公開日】2024-02-14

(54)【発明の名称】移動速度測定装置

(51)【国際特許分類】

   G01S 17/86 20200101AFI20240206BHJP

   G01S 17/66 20060101ALI20240206BHJP

   G01S 17/89 20200101ALI20240206BHJP

   G08G 1/052 20060101ALI20240206BHJP

【ＦＩ】

G01S17/86

G01S17/66

G01S17/89

G08G1/052

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022122528

(22)【出願日】2022-08-01

(71)【出願人】

【識別番号】500327636

【氏名又は名称】株式会社ブレインズ

(74)【代理人】

【識別番号】100098729

【弁理士】

【氏名又は名称】重信 和男

(74)【代理人】

【識別番号】100204467

【弁理士】

【氏名又は名称】石川 好文

(74)【代理人】

【識別番号】100148161

【弁理士】

【氏名又は名称】秋庭 英樹

(74)【代理人】

【識別番号】100195833

【弁理士】

【氏名又は名称】林 道広

(74)【代理人】

【識別番号】100206656

【弁理士】

【氏名又は名称】林 修身

(72)【発明者】

【氏名】堀内 岳人

(72)【発明者】

【氏名】井深 真治

(72)【発明者】

【氏名】冨永 真司

【テーマコード（参考）】

5H181

5J084

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181DD07

5H181DD10

5J084AA04

5J084AA05

5J084AA07

5J084AA09

5J084AA14

5J084AB01

5J084AD01

5J084AD07

5J084BA03

5J084BA48

5J084CA65

5J084CA67

5J084EA23

(57)【要約】      （修正有）

【課題】開発コストの増大を抑えつつ、実用的に十分な精度を得ること。
【解決手段】距離画像用センサと位置合わせされた二次元イメージセンサにて撮像した二次元画像から物体を認識して抽出する手段と、第１時点と第２時点において撮像された二次元画像から抽出された物体について、同一の物体であるか否かを判定する手段と、同一物体と判定された物体の二次元画像における領域に該当する三次元点群距離画像における該当領域の点群を特定し、該特定した点群との距離と第１時点と第２時点との時間差とにもとづいて該物体の移動速度を算出する手段と、該算出した移動速度を出力可能な手段と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

距離が特定された複数の点群を含む三次元点群距離画像を生成可能な距離画像用センサを有し、該距離画像用センサによって異なる時点にて生成された三次元点群距離画像に含まれる物体の移動速度を算出して出力可能な移動速度測定装置であって、
二次元画像を撮像可能であって、前記距離画像用センサにて生成される三次元点群距離画像に含まれる点群との位置合わせがなされた二次元イメージセンサと、
前記二次元イメージセンサにて撮像された二次元画像から、物体を認識して抽出する物体認識手段と、
第１時点と第１時点後の第２時点において撮像された二次元画像から前記物体認識手段にて抽出された物体について、同一の物体であるか否かを判定する同一物体判定手段と、
前記第１時点と前記第２時点に対応する三次元点群距離画像について、前記同一物体判定手段にて同一物体と判定された物体の前記第１時点および前記第２時点にて撮像された二次元画像における領域に該当する該当領域の点群を特定し、該特定した前記第１時点の点群と前記第２時点の点群とから得られる三次元移動距離と前記第１時点と前記第２時点との時間差とにもとづいて該物体の移動速度を算出する移動速度算出手段と、
前記移動速度算出手段にて算出した移動速度を出力可能な出力手段と、
を備える、
ことを特徴とする移動速度測定装置。

【請求項2】

前記二次元イメージセンサの撮像タイミングと、前記距離画像用センサによる三次元点群距離画像の生成タイミングとが同期されている、
ことを特徴とする請求項１に記載の移動速度測定装置。

【請求項3】

前記距離画像用センサは、測定光としてレーザー光を放射出力して各点群の距離を測定可能なレーザースキャナである、
ことを特徴とする請求項１または２に記載の移動速度測定装置。

【請求項4】

前記物体認識手段は、学習データを与えることによって前記二次元イメージセンサにて撮像された二次元画像から物体を抽出可能となった深層学習機能を含む、
ことを特徴とする請求項１または２に記載の移動速度測定装置。

【請求項5】

前記移動速度算出手段は、前記該当領域に含まれる全ての点群を特定し、該特定した全ての点群の距離データを利用して移動速度を算出する、
ことを特徴とする請求項１または２に記載の移動速度測定装置。

【請求項6】

有底箱状の筐体を有し、前記二次元イメージセンサと前記距離画像用センサとが前記筐体内の所定位置に固定した状態で格納されている、
ことを特徴とする請求項１または２に記載の移動速度測定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動する物体の移動速度を測定するための移動速度測定装置に関する。

【背景技術】

【0002】

従来、移動する物体（移動体）を検出して、その移動方向や移動速度を測定する装置として、レーザー光を放射出力して、該レーザー光を反射した地点を計測点として複数取得して三次元点群距離画像を生成可能なレーザースキャナ（ＬｉＤＡＲ）を使用し、これらレーザースキャナ（ＬｉＤＡＲ）によって生成された三次元点群距離画像から移動体を検出して、その移動方向や移動速度を特定、算出して出力するものがある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１２９４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１にあっては、レーザースキャナ（ＬｉＤＡＲ）により生成された三次元点群距離画像上において、測定対象となる移動体を抽出して該移動体の点群だけを特定することは、現状において、深層学習による移動体の抽出をおこなっても実用的に十分な抽出精度が得られないとともに、これら深層学習に使用する学習データとして種々の物体に応じた膨大な数の三次元点群距離画像を生成しなければならず、これら学習データの作成 （アノテーション）に多大なコストがかかってしまうことから、装置開発のコストが非常に大きなものとなってしまうという問題があった。

【0005】

本発明は、このような問題点に着目してなされたもので、装置開発のコスト増大を抑えつつ、実用的に十分な精度を得ることのできる移動速度測定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１の移動速度測定装置は、
距離が特定された複数の点群を含む三次元点群距離画像を生成可能な距離画像用センサ（例えば、レーザースキャナ（ＬｉＤＡＲ）２０）を有し、該距離画像用センサによって異なる時点にて生成された三次元点群距離画像に含まれる物体の移動速度を算出して出力可能な移動速度測定装置であって、
二次元画像を撮像可能であって、前記距離画像用センサにて生成される三次元点群距離画像に含まれる点群との位置合わせがなされた二次元イメージセンサ（例えば、二次元イメージセンサ２１）と、
前記二次元イメージセンサにて撮像された二次元画像から、物体を認識して抽出する物体認識手段（例えば、ＤＮＮが図８の物体検知処理を実行する部分）と、
第１時点（例えば、１フレーム前の撮像タイミング）と第１時点後の第２時点（新たな撮像タイミング）において撮像された二次元画像から前記物体認識手段にて抽出された物体（例えば、車輌）について、同一の物体であるか否かを判定する同一物体判定手段（例えば、ＣＰＵが追跡処理を実行する部分）と、
前記第１時点と前記第２時点に対応する三次元点群距離画像（例えば、距離画像データ（先距離画像）と、距離画像データ（後距離画像））について、前記同一物体判定手段にて同一物体と判定された物体の前記第１時点および前記第２時点にて撮像された二次元画像における領域に該当する該当領域の点群（例えば、点群Ｑ１，Ｑ２）を特定し、該特定した前記第１時点の点群と前記第２時点の点群とから得られる三次元移動距離と前記第１時点と前記第２時点との時間差とにもとづいて該物体の移動速度を算出する移動速度算出手段（例えば、ＣＰＵが図９の速度算出処理を実行する部分）と、
前記移動速度算出手段にて算出した移動速度を出力可能な出力手段（例えば、速度算出処理にて算出した移動速度を含む速度超過車輌情報をサーバコンピュータ１００に送信する部分）と、
を備える、
ことを特徴としている。
この特徴によれば、装置開発のコスト増大を抑えつつ、実用的に十分な精度を得ることができる。

【0007】

請求項２の移動速度測定装置は、請求項１に記載の移動速度測定装置であって、
前記二次元イメージセンサの撮像タイミングと、前記距離画像用センサによる三次元点群距離画像の生成タイミングとが同期されている、
ことを特徴としている。
この特徴によれば、二次元画像と三次元点群距離画像との時間のズレを著しく少なくできるので、測定精度を向上できる。

【0008】

請求項３の移動速度測定装置は、請求項１または２に記載の移動速度測定装置であって、
前記距離画像用センサは、測定光としてレーザー光を放射出力して各点群の距離を測定可能なレーザースキャナである、
ことを特徴としている。
この特徴によれば、三次元点群距離画像の生成周期を短くできるので、高速移動する物体の速度測定が可能となる。

【0009】

請求項４の移動速度測定装置は、請求項１または２に記載の移動速度測定装置であって、
前記物体認識手段は、学習データを与えることによって前記二次元イメージセンサにて撮像された二次元画像から物体を抽出可能となった深層学習機機能を含む、
ことを特徴としている。
この特徴によれば、物体の抽出精度を向上できる。

【0010】

請求項５の移動速度測定装置は、請求項１または２に記載の移動速度測定装置であって、
前記移動速度算出手段は、前記該当領域に含まれる全ての点群を特定し、該特定した全ての点群の距離データを利用して移動速度を算出する、
ことを特徴としている。
この特徴によれば、二次元画像を使用することで高精度にて抽出された領域に対応する該当領域に含まれる点群を使用することで、これら点群に無用な点群が含まれてしまうことを防ぐことができ、これら無用な点群が含まれることを防ぐことができた全ての点群を用いて移動速度が算出されるので、算出速度の精度を向上できる。

【0011】

請求項６の移動速度測定装置は、請求項１または２に記載の移動速度測定装置であって、
有底箱状の筐体を有し、前記二次元イメージセンサと前記距離画像用センサとが前記筐体内の所定位置に固定した状態で格納されている、
ことを特徴としている。
この特徴によれば、移動速度測定装置を測定場所に搬送及び設置するときに、二次元イメージセンサや距離画像用センサが障害物等に接触する等によって位置合わせに狂いが生じて良好な測定ができなくなってしまうことを防ぐことができる。

【0012】

尚、本発明は、本発明の請求項に記載された発明特定事項のみを有するものであって良いし、本発明の請求項に記載された発明特定事項とともに該発明特定事項以外の構成を有するものであってもよい。

【図面の簡単な説明】

【0013】

【図1】実施例における移動速度測定装置の設置状況例を示す図である。

【図2】（ａ）は、実施例における移動速度測定装置の上面図であり、（ｂ）は、実施例における移動速度測定装置のＡ－Ａ断面図である。

【図3】実施例における移動速度測定装置のハードウエア構成を示すブロック図である。

【図4】実施例におけるＲＡＭ３２に記憶されるデータの構成例を示す図である。

【図5】実施例における追跡リストの構成例を示す図である。

【図6】実施例における移動速度測定装置の機能ブロック図である。

【図7】移動速度測定装置の速度測定における処理の流れを示す処理フロー図である。

【図8】物体検知処理における処理の流れを示す処理フロー図である。

【図9】速度算出処理における処理の流れを示す処理フロー図である。

【図10】サーバコンピュータに送信された物体情報の構成を示す模式図である。

【図11】変形例における物体情報の出力例である。

【発明を実施するための形態】

【0014】

本発明の移動速度測定装置を実施するための形態を実施例にもとづいて以下に説明する。

【実施例0015】

図１は、移動体である車輌の速度取り締まりに利用される本実施例の移動速度測定装置１の設置状況を示す図であり、図２は、本実施例の移動速度測定装置１を示す上面図およびＡ－Ａ断面図である。尚、本実施例では、本発明の移動速度測定装置の利用例として、移動体である車輌の速度取り締まりに利用した形態について例示するが、後述するように、移動速度測定装置の利用形態は、これら車輌の速度取り締まりに限定されるものではない。

【0016】

本実施例の移動速度測定装置１は、図１、図２に示すように、矩形箱状の装置とされており、速度取り締まりを行う道路Ｒの対象場所の１側方側に立設された円柱状の支柱Ｐに、撮像される特定空間である対象場所を通過する車輌Ｃを、該車輌Ｃと異なる他の車輌Ｃ等の障害物ができるだけ存在しないように撮像、スキャン可能な適宜な高さ位置である、例えば、地面から数メートルの高さ位置に、取付け金具３を用いて取付けされている。

【0017】

これら移動速度測定装置１の設置高さ位置としては、より詳しくは、設置位置の高さが低すぎると、例えば、車間距離が狭い車輌Ｃが連続して通過したときに、遠方側の車輌Ｃのナンバープレートが近傍側の車輌Ｃの陰となって撮像できなくなってしまうことによって、後述する追跡処理が不能となることによって速度算出がされなくなってしまうことを考慮して、車間距離が狭い車輌Ｃが連続しても遠方側の車輌Ｃを、ナンバープレート等を含めて良好に撮像、スキャンすることができる高さ位置とすることが好ましい。

【0018】

また、本実施例では、片側１車線の道路Ｒを通過する車輌Ｃを、個々の車輌Ｃがほぼ重なることなく撮像、スキャンできるように、図１に示すような位置に移動速度測定装置１を設置するようにしているが、本発明はこれに限定されるものではなく、例えば、片側１車線の道路Ｒの１方の車線のみを撮像対象とするのであれば、移動速度測定装置１を車線に近い位置であって、地面からの高さ位置も低い位置に設置するようにしたり、或いは、横断歩道橋等のように、道路Ｒの上空を横切る施設が存在する場所であれば、これら横断歩道橋等における車線の真上の位置等に設置するようにしてもよい。

【0019】

本実施例の移動速度測定装置１は、図２に示すように、上面が開閉蓋部２ａとされている方形型の有底箱状の筐体２の内部に、距離画像用センサであるレーザースキャナ（ＬｉＤＡＲ）２０と、二次元イメージセンサ２１と、これらレーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１に接続されて、移動速度測定装置１の制御とともに速度測定処理を行う処理装置２２が格納されたものとされている。尚、図１、図２における２５は、外部との無線データ通信を行うためのモバイル通信アンテナであって、処理装置２２が有するネットワークインターフェイス（Ｉ／Ｆ）３７に接続ケーブルを介して接続されている（図３参照）。

【0020】

筐体２は、上面を覆う開閉蓋部２ａと、上面が開放された有底四角箱状の格納部２ｂとから構成されており、軽量で機械強度の高いアルミ合金製とされている。尚、開閉蓋部２ａは、図示しない所定の固定治具にて格納部２ｂに固定されている。また、アルミ合金は一例であって、軽量で機械強度の高い材料であれば、これに限定されるものではない。

【0021】

格納部２ｂの１の側面には、自動車からの跳ね石等の衝突によって破損したり傷が付いてしまうことのないように強化された強化ガラス６が設けられた窓部Ｗが形成されており、該窓部Ｗにおいては、強化ガラス６とレーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１との角度や距離等が大きく変化することで、レーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１のスキャンや撮像に悪影響が生じてしまうことがないように、強化ガラス６が格納部２ｂに対して移動不能に強固に固定されている。尚、本実施例では、窓部Ｗに強化ガラス６を使用した形態を例示しているが、本発明はこれに限定されるものではなく、跳ね石等の衝突等の危険性がほぼない場所に移動速度測定装置１設置できる場合にあっては、強化ガラス６を設けないようにしてもよい。

【0022】

格納部２ｂの底面には、図２（Ａ）に示すように、該底面の大きさよりも一回り小さい大きさの方形型であって、比較的厚板の金属板から成るベースプレート４が、４つの固定ボルトＢ１によって四隅において固定されている。

【0023】

このベースプレート４上には、窓部Ｗと反対側となる後方側に処理装置２２が固定されて配置されているとともに、窓部Ｗ側となる前方側には、窓部Ｗに臨むように、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とが、レーザースキャナ（ＬｉＤＡＲ）２０のセンサ位置および二次元イメージセンサ２１のセンサ位置と強化ガラス６面との距離とが、ぼぼ同じ距離になるとともに、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１との距離が最小となるように並んで固定配置されている。このように配置することで、撮像領域の各地点とのレーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１との距離差を少なくできることで、これら距離差による精度の低下を防ぐことができる。

【0024】

また、レーザースキャナ（ＬｉＤＡＲ）２０は、図２に示すように、比較的大型の円筒形状にモジュール化されており、該モジュールが固定ボルトＢ３にてベースプレート４に直接固定されているのに対し、二次元イメージセンサ２１は、比較的小型の方形箱状にモジュール化されていて、下駄形状とされた高さ調整用台座５を介してベースプレート４に固定されている。つまり、比較的小型の二次元イメージセンサ２１を直接ベースプレート４に固定してしまうと、レーザースキャナ（ＬｉＤＡＲ）２０のセンサ位置の高さと二次元イメージセンサ２１のセンサ位置の高さが大きく異なることによって、測定精度に悪影響を生じてしまう可能性があるため、上記した前後方向の距離をレーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とで揃えることと同様に、高さ調整用台座５を使用することで、高さ位置についてもレーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とで同じ位置に揃うように固定されている。尚、高さ調整用台座５は金属製とされており、ボルトＢ２によってベースプレート４に固定されているとともに、二次元イメージセンサ２１は、高さ調整用台座５の天面にボルトＢ４によって固定されている。

【0025】

そして、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とは、処理装置２２と接続ケーブルを介して接続されている。また、筐体２の下面には、図示しないバッテリーボックスが固定配置されており、該バッテリーボックス内に格納されているバッテリーから、図示しない電源ケーブルを介して処理装置２２に電力が供給されるとともに、該処理装置２２からレーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とに動作電力が接続ケーブルを介して供給される。このように、本実施例の移動速度測定装置１は、筐体２内部を開放することなくバッテリーボックスのバッテリーを交換して動作させることかが可能とされているが、本発明はこれに限定されるものではなく、例えば、充電可能で小型で高出力なリチウムイオンバッテリーを筐体２内部に配置しておき、外部からリチウムイオンバッテリーに充電できるようにしてもよいし、移動速度測定装置１を長期に亘って連続稼働させる場合には、バッテリーを設けることなく、外部電源に直接接続して電力を供給するようにしてもよいことはいうまでもない。

【0026】

尚、本実施例では、筐体２の上面に開閉蓋部２ａを設けた構成とすることで、格納部２ｂの内部へのアクセスやレーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１が搭載されたベースプレート４の格納を容易化することができるだけではなく、筐体２の側面に開閉部を設けないことによって、筐体２の側面の機械的強度を高く保つことができ、これら側面部が障害物等との衝突等によって変形してしまうことで、窓部Ｗに配置されている強化ガラス６面とレーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１との相対的な位置関係にズレが生じて測定精度に悪影響が生じてしまうことも防ぐことができることから好ましいが、本発明はこれに限定されるものではなく、これら開閉部を筐体２の側面に設けるようにしてもよい。但し、窓部Ｗが形成されている側面を開閉扉とすると、開閉によって強化ガラス６面とレーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１との相対的な位置関係にズレが生じて測定精度が低下してしまう可能性があるので、窓部Ｗが形成されていない側面を開閉扉とすることが好ましい。

【0027】

次に、本実施例の移動速度測定装置１のハードウエア構成、特には、処理装置２２の構成について、図３を用いて説明する。

【0028】

処理装置２２は、図３に示すように、データバス３０に、移動速度測定装置１の制御処理等の各種処理を演算にて行う中央演算処理回路（ＣＰＵ）３１、深層学習ニューラルネットワーク（ＤＮＮ）に関する演算処理を主に行う画像演算処理回路（ＧＰＵ）３８と、中央演算処理回路（ＣＰＵ）３１や画像演算処理回路（ＧＰＵ）３８が処理においてワークメモリ等として使用されるランダムアクセスメモリ（ＲＡＭ）３２、中央演算処理回路（ＣＰＵ）３１や画像演算処理回路（ＧＰＵ）３８が実行する各種処理の処理プログラムや初期設定に係わる各種パラメータ等が記憶されたフラッシュメモリ（Ｆ－ＭＥＭ）３３、時間情報の出力やシステム時刻を生成するリアルタイムクロック（ＲＴＣ）３６、レーザースキャナ（ＬｉＤＡＲ）２０との各データの入出力を行うレーザースキャナインターフェイス（Ｉ／Ｆ）３４、二次元イメージセンサ２１用との各データの入出力を行うカメラインターフェイス（Ｉ／Ｆ）３５、外部のサーバコンピュータ１００やメンテナンスパソコン（ＰＣ）２００とモバイルデータ通信を行うためのネットワークインターフェイス（Ｉ／Ｆ）３７が接続された比較的小型のコンピュータとされている。尚、本実施例では、後述するように、速度超過をした車輌Ｃの速度等の情報（速度超過情報）は、サーバコンピュータ１００に送信する形態であるので、表示の画面を生成するための表示用インターフェイス（Ｉ／Ｆ）を設けていないが、例えば、後述する変形例（図１１）に示すように、処理装置２２に接続された表示装置Ｄに表示画面を表示することで、各車輌Ｃの速度等の情報を表示出力する場合には、表示用インターフェイス（Ｉ／Ｆ）を設けるようにしてもよい。

【0029】

レーザースキャナインターフェイス（Ｉ／Ｆ）３４は、レーザースキャナ（ＬｉＤＡＲ）２０に対して後述する撮像タイミング信号を出力可能とされているとともに、該撮像タイミング信号の出力に応じてレーザースキャナ（ＬｉＤＡＲ）２０から出力されてくる距離画像データを受け取って、データバス３０を介して中央演算処理回路（ＣＰＵ）３１に転送する機能を有している。

【0030】

また、カメラインターフェイス（Ｉ／Ｆ）３５は、二次元イメージセンサ２１に対して後述する撮像タイミング信号を出力可能とされているとともに、該撮像タイミング信号の出力に応じて二次元イメージセンサ２１から出力されてくる画像データを受け取って、データバス３０を介して中央演算処理回路（ＣＰＵ）３１に転送する機能を有している。

【0031】

尚、上記したレーザースキャナインターフェイス（Ｉ／Ｆ）３４やカメラインターフェイス（Ｉ／Ｆ）３５としては、具体的には、コンピュータにおいて周辺機器とのインターフェイス（Ｉ／Ｆ）として使用されている公知のＵＳＢインターフェイス（Ｉ／Ｆ）を好適に使用することができる。

【0032】

また、ネットワークインターフェイス（Ｉ／Ｆ）３７は、無線による高速データ通信であるモバイルデータ通信が可能とされたモバイルルータを使用しており、このようにすることで、移動速度測定装置１の設置時において、通信用ケーブルを架設することなく移動速度測定装置１を迅速に設置して可動させることが可能となることから好ましいが、本発明はこれに限定されるものではなく、ネットワークインターフェイス（Ｉ／Ｆ）３７として、光ケーブル等を用いた高速データ通信が可能なものとしてもよい。

【0033】

二次元イメージセンサ２１は、通常の動画のフレームレートである３０ＦＰＳ（１秒間に３０フレーム）以上のフレームレート速度で二次元画像を撮像して画像データを出力可能なものであって、外部からの信号入力に応じて撮像を行うことが可能な外部同期機能を有しており、公知の動画撮像が可能なＣＣＤカメラ等を使用することができる。

【0034】

また、レーザースキャナ（ＬｉＤＡＲ）２０は、上記した二次元イメージセンサ２１の撮像周期である３０ＦＰＳ（１秒間に３０フレーム）以上のレートにて距離画像を生成できる能力があるものを使用しているとともに、外部からの信号入力に応じてスキャンによる距離画像を生成する外部同期機能を有しているものを使用している。

【0035】

尚、本実施例では、後述するように、二次元画像の撮像と距離画像のスキャンとの時間差をほぼ無くすことによって画像補正等の複雑な処理を行うことなく速度計測の精度を向上させることができるようにするために、二次元イメージセンサ２１による撮像タイミングに同期して距離画像を生成するようにしているため、距離画像用センサとしては、二次元イメージセンサ２１の撮像周期である３０ＦＰＳ（１秒間に３０フレーム）と同じ高速のレートにてスキャンによる距離画像を生成できるとともに、屋外の環境における日光等の影響を受けにくいレーザースキャナ（ＬｉＤＡＲ）２０を使用しているが、本発明はこれに限定されるものではなく、上記のように、二次元イメージセンサ２１による撮像タイミングに同期して距離画像を生成できるものであれば、レーザースキャナ（ＬｉＤＡＲ）２０とは異なる距離画像用センサ、例えば、ＴｏＦ方式、ステレオ方式、構造化照明方式等によるＤｅｐｔｈカメラ等を使用してもよい。尚、使用する二次元イメージセンサ２１の撮像周期が、例えば、撮像対象の移動速度が比較的遅いことによって５ＦＰＳ等の低フレームレートである場合には、上記したＤｅｐｔｈカメラ等をより好適に使用することができる。

【0036】

また、本実施例では、後述するように、処理装置２２が、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１の双方に対して撮像タイミング信号を出力することで、処理装置２２が撮像やレーザースキャンのタイミングをコントロール（同期）できるようにしている形態としていることから、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１の双方が、外部同期機能を有している形態を例示しているが、本発明はこれに限定されるものではなく、例えば、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１の一方が、撮像またはレーザースキャンのタイミングを特定可能なタイミング信号を出力可能である場合には、他方であるレーザースキャナ（ＬｉＤＡＲ）２０または二次元イメージセンサ２１のいずれか一方のみを外部同期機能を有しているものとして、タイミング信号を入力することで、処理装置２２が関与することなく、撮像またはレーザースキャンのタイミングを同期させられるようにしてもよい。

【0037】

次に、ＲＡＭ３２に記憶されるデータについて、図４を用いて簡潔に説明する。ＲＡＭ３２には、図４に示すように、フラッシュメモリ（Ｆ－ＭＥＭ）３３からブートされた処理プログラムが格納されているとともに、システム時刻が付与された二次元画像データ、システム時刻が付与された距離画像データ、二次元画像データから抽出された物体が登録される物体検知リスト、新たに撮影された二次元画像データから検出された物体のうち車輌Ｃに関するデータが登録される検知車輌リスト、新たに検知された車輌Ｃが以前の撮像タイミングにて撮像された車輌Ｃと同一であるか否かを判定する追跡処理に使用される追跡リストとが主に記憶されている。

【0038】

尚、二次元画像データおよび距離画像データは、パラメータにもとづいて初期設定にて設定された所定フレーム分（例えば、５フレーム）のデータが記憶され所定フレームに対応する時間が経過した時点で、順次、消去される。

【0039】

物体検知リストは、二次元画像データから抽出された全ての物体が登録されるリストデータであって、抽出された物体の各々に個別に付与される検知番号に対応付けて、検知された物体の種別、当該物体が存在している検知領域（画像内の当該領域の中心座標、Ｘ方向Ｙ方向のピクセル数により記述される領域の大きさ）、該領域内において物体が存在する領域を特定可能とするためのマスクデータが登録されている。尚、二次元画像データから抽出される物体は、車輌Ｃだけではなく、個々の車輌Ｃのナンバープレートや、車輌Ｃに搭乗している人等も検知される。

【0040】

検知車輌リストは、物体検知リストに登録された物体のうち、物体の種別が「車輌」である物体についてまとめたリストであり、検知番号に対応付けて、時刻情報（抽出された車輌を含む二次元画像データに付与されたシステム時刻の情報）、検知領域、マスクデータ、当該車輌Ｃに対応する位置において抽出されたナンバープレートから読み取られた車番情報、追跡処理による追跡が実行済みであるかを判定するための特定済データ、が登録されている。

【0041】

追跡リストは、図５に示されるように、同一の車輌Ｃが当該追跡リストに登録されていないことにもとづいて当該車輌Ｃに固有に付与される識別情報であるＩＤに対応付けて、時刻情報、移動速度、検知領域、マスクデータ、車番情報、当該データが非更新になってからのフレーム数により記述される非更新期間、が登録されている。尚、時刻情報は、対応する検知領域やマスクデータが作成された二次元画像データに付与されたシステム時刻の情報であり、移動速度は、前回の撮像、スキャンされた二次元画像と距離画像とによって算出された当該車輌Ｃの移動速度であるため、当該追跡リストに最初に車輌Ｃが登録された段階では、移動速度は未登録となる。

【0042】

次に、処理装置２２が有する主な各機能について、図６を用いて以下に説明する。処理装置２２は、図６に示すように、方形の破線で囲まれた撮像制御機能部、画像入力機能部、距離画像入力機能部、物体検知機能部、追跡処理機能部、速度算出機能部、速度超過判定機能部を主に有している。

【0043】

撮像制御機能部は、撮像タイミングとなったときにレーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１に対して、撮像タイミング信号を出力する機能を有し、本実施例では、システムクロックのカウンタ値が所定周期である３３ミリ秒に対応する値になったことに応じて撮像タイミング信号を出力する。

【0044】

画像入力機能部は、ＲＴＣ３６からの時間情報にもとづくシステム時刻をシステムから取得し、二次元イメージセンサ２１から出力されてくる二次元画像データに対して該取得したシステム時刻を撮像時刻として付与する機能を有する。

【0045】

距離画像入力機能部は、上述したシステムから取得したシステム時刻をレーザースキャナ（ＬｉＤＡＲ）２０から出力されてくる三次元点群距離画像データにスキャン時刻として付与する機能を有する。

【0046】

物体検知機能部は、画像入力機能部により撮像時刻が付与された二次元画像データを処理して、該二次元画像に含まれる物体を抽出し、抽出した個々の物体の検知領域を特定するとともにマスクを作成する機能、並びに該抽出した物体の物体検知リストを作成する機能と、抽出した物体のうち物体の種別が「ナンバープレート」である物体について、車番情報を読取る機能と、抽出した物体のうち物体の種別が「車輌」である物体に関する検知車輌リストを作成する機能とを有しており、本実施例では、深層学習ニューラルネットワーク（ＤＮＮ）によって当該機能が形成されている。

【0047】

追跡処理機能部は、物体検知機能部において作成された検知車輌リストにもとづいて、該検知車輌リストに登録されている各車輌Ｃについて、同一の車輌Ｃが追跡リストに登録されているか否かを判定し、同一の車輌Ｃが追跡リストに存在しない場合には、該車輌Ｃの情報を追跡リストに追加して更新するとともに、同一の車輌Ｃが追跡リストに存在する場合には、当該車輌ＣのＩＤと、当該車輌Ｃの車輌データ（当該車輌の検知番号に対応付けて検知車輌リストに登録されている検知領域、マスクデータ）とを速度算出機能部に出力して、該速度算出機能部から当該車輌Ｃの移動速度を取得する機能と、該取得した移動速度、時刻情報、当該車輌Ｃに関する車輌データや車番情報とを含む追跡情報を作成し、該作成した追跡情報を速度超過判定機能部に出力する機能を有する。

【0048】

速度算出機能部は、物体検知機能部において新たな車輌Ｃの検出に供された新たな距離画像データである検知車輌距離画像データ（新）と、追跡処理機能部から出力されるＩＤに対応付けて登録されている時刻情報に対応する距離画像データである同一車輌距離画像データ（旧）をＲＡＭ３２から読み出し、これら読み出した新旧の各距離画像データと、同一判定されたことによって追跡処理機能部から出力される当該同一判定された車輌Ｃの車輌データ（検知領域、マスクデータ）と、ＩＤに対応付けて追跡リストに登録されている同一判定された車輌Ｃの車輌データ（検知領域、マスクデータ）とによって特定される、同一判定された車輌Ｃの新旧の三次元位置を特定し、該特定した三次元位置の差と時刻の差とから当該車輌Ｃの移動速度を算出する機能を有する。

【0049】

速度超過判定機能部は、追跡処理機能部から出力される追跡情報にもとづいて、当該車輌Ｃの速度が設定されている上限速度を超過しているか否かを判定し、超過している場合に当該車輌ＣのＩＤ、時刻情報、速度および検知領域にもとづいて切り出された当該車輌の車輌画像(二次元画像)等を含む速度超過車輌情報を作成してサーバコンピュータ１００に送信する機能を有する。

【0050】

次に、処理装置２２において実行される速度測定処理について、図７を用いて説明する。尚、速度測定処理は、フラッシュメモリ（Ｆ－ＭＥＭ）３３に記憶されている処理プログラムが、処理装置２２の起動によって自動的にブートロードされることによってＲＡＭ３２において当該処理プログラムが実行可能に記憶されることによって、中央演算処理回路（ＣＰＵ）３１により開始される。

【0051】

先ず、速度測定処理において中央演算処理回路（ＣＰＵ）３１は、初期化処理を実行する（ステップＳ１）。この初期化処理においては、処理装置２２に含まれる各ハードウエアの動作チェック、レーザースキャナ（ＬｉＤＡＲ）２０や二次元イメージセンサ２１の接続確認および初期化、並びにサーバコンピュータ１００との通信接続確認が実行されるとともに、各種リストデータの初期化や上限速度の設定等が実行される。

【0052】

該初期化処理の完了後、画像データの取得タイミングとなっているか否かを判定し（ステップＳ２）、画像データの取得タイミングではない場合には、メンテナンスＰＣ２００による設定操作ログインの有無を判定し（ステップＳ２０）、設定操作ログインが無ければ、ステップＳ２に戻る。

【0053】

設定操作ログインがあった場合（ステップＳ２０でＹｅｓ）には、ステップＳ２１に進んで、各種パラメータや上限速度等の設定値の変更を受付けて、フラッシュメモリ（Ｆ－ＭＥＭ）３３に記憶されている該当データを更新する設定変更処理を実行した後、ステップＳ１の初期化処理に戻る。

【0054】

一方、画像データの取得タイミング、つまり、前回の取得タイミングから１フレームに対応する３３ミリ秒が経過したタイミングである場合には、ステップＳ３に進んで、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１に対して撮像タイミング信号を出力して、二次元イメージセンサ２１から二次元画像データを取得するとともに、レーザースキャナ（ＬｉＤＡＲ）２０から距離画像データを取得し、取得した各画像データに、その時点のシステム時刻を撮像時刻並びにスキャン時刻として付与する。尚、このステップＳ３は、前述した撮影制御機能部、画像入力機能部、並びに距離画像入力機能部の各機能を用いて行われる。

【0055】

そして、ステップＳ４に進んで図８に示す物体検知処理を実行する。尚、物体検知処理は、物体検知機能部を用いて行われるようになっており、該物体検知機能部の説明において前述したように、画像演算処理回路（ＧＰＵ）３８を使用した深層学習ニューラルネットワーク（ＤＮＮ）にて処理が実行される。

【0056】

これら深層学習ニューラルネットワーク（ＤＮＮ）の物体検知の手法としては、二次元画像における画素単位で物体検知をリアルタイムで行うインスタンスセグメンテーションの１手法である、ＹＯＬＡＣＴ（Daniel Bolya Chong Zhou Fanyi Xiao Yong Jae Lee. YOLACT：Real-time Instance Segmentation.In ICCV,2019）を好適に使用することができる。尚、本実施例では、高速で二次元画像における物体検知（抽出）を高精度にて実行できることから深層学習ニューラルネットワーク（ＤＮＮ）によるＹＯＬＡＣＴを使用した形態を例示しているが、本発明はこれに限定されるものではなく、測定対象の物体の移動速度が比較的遅く、二次元画像の撮像周期が比較的長い場合であって、物体検知（抽出）の処理に十分に長い時間を費やすことによって深層学習ニューラルネットワーク（ＤＮＮ）を用いない物体検知手法によって十分な精度にて物体検知（抽出）を行える場合にあっては、深層学習ニューラルネットワーク（ＤＮＮ）を使用しない形態としてもよいし、深層学習ニューラルネットワーク（ＤＮＮ）を用いる場合であっても、上記したＹＯＬＡＣＴ以外の手法を用いるようにしてもよく、これら二次元画像における物体検知（抽出）の手法としては、速度計測の対象となる物体の移動速度に対応する撮像周期にもとづく物体検知（抽出）の処理に利用できる時間と、必要とされる認識精度とから適宜に選択すればよい。

【0057】

尚、本実施例の深層学習ニューラルネットワーク（ＤＮＮ）においては、物体として車輌（自動車）と高精度にて抽出できるように、種々の車輌（自動車）の画像を学習データとして入力して学習させるとともに、各種のナンバープレート（色、枠あり／なし、陸運局名称等）を学習データとして入力して学習させることによって、特に、車輌（自動車）の抽出精度とナンバープレートの抽出精度とが高められている深層学習ニューラルネットワーク（ＤＮＮ）を使用している。

【0058】

本実施例の物体検知処理においては、図８に示すように、まず、前述のステップＳ３において二次元イメージセンサ２１から取得した二次元画像全体について、該二次元画像に含まれる物体を全て抽出する（ステップＳ２０１）。

【0059】

そして、抽出した各物体の種別を特定するとともに、各物体について検知領域（ＲＯＩ）とマスクを作成して、各物体に付与した検知番号に対応付けて物体検知リストに登録する。

【0060】

次に、物体種別が「車輌」の検知物体リストＣと物体種別が「ナンバープレート」の検知物体リストＰを作成したのち（ステップＳ２０３）、検知物体リストＣに登録されている車輌と、検知物体リストＰに登録されているナンバープレートとを検知領域にもとづいて対応付ける（ステップＳ２０４）。

【0061】

具体的には、検知物体リストＰに登録されているナンバープレートの検知領域に近い位置が検知領域とされている車輌を検知物体リストＣに登録されている車輌から特定し、該ナンバープレートを該特定した車輌のナンバープレートとして対応付ける。

【0062】

そして、対応付けたナンバープレートから車番情報の読取り処理を行う。具体的に車番情報としては、陸運、分類、かな、一連、車輌サイズ、車輌種別を読取った後（ステップＳ２０５）、該読取ったナンバープレートの情報である車番情報を検知物体リストＣに追加記憶する（ステップＳ２０６）。

【0063】

尚、本実施例では、ナンバープレートの全ての情報を車番情報として読み取るようにしているが、本発明はこれに限定されるものではなく、読み取る内容は、これらすべての内容ではなく、これらの内容の一部のみ、例えば、「一連」の４桁の番号のみであってもよく、これら読み取る車番情報の内容は、追跡処理において同一の車輌との判断を十分な精度でできる最小限のものとしてもよい。

【0064】

次に、ステップＳ２０７に進んで、検知物体リストＣに登録されている全ての車輌について、ナンバープレートとの対応付けが全て完了したかを判定し、対応付けが全て完了していなければ（ステップＳ２０７でＮｏ）、ステップＳ２０４に戻る一方、対応付けが全て完了していれば（ステップＳ２０７でＹｅｓ）、検知物体リストＣにもとづいて、検知番号、時刻情報、検知領域、マスクデータ、車番情報、未特定に対応する特定済データが対応付けて登録された検知車輌リストを作成する。

【0065】

ステップＳ４の物体検知処理が完了すると、ステップＳ５～Ｓ１９の処理を行うことにより、検出した各車輌について、追跡リストに登録されて車輌との同一判定、同一と判定された車輌との三次元位置の差と時間差とにもとづく移動速度の算出、算出された移動速度と上限速度との対比による速度超過判定等を実行する。

【0066】

まず、ステップＳ５において、検知車輌リストに最初に登録されている車輌を特定し、当該車輌に対応する特定済データを特定済みに更新した後、ステップＳ６に進んで、特定した車輌の検知領域の中心位置と、追跡リストに登録されている各車輌の検知領域の中心位置との距離を算出する。

【0067】

そして、Ｓ６にて算出した距離の差が閾値以下の車輌が追跡リストに存在しているか否かを判定する（ステップＳ７）。

【0068】

算出した距離の差が閾値以下の車輌が追跡リストに存在していない場合（ステップＳ７でＮｏ）には、ステップＳ１４に進む一方、算出した距離の差が閾値以下の車輌が追跡リストに存在している場合には、ステップＳ８に進んで、これら距離の差が閾値以下の車輌について、車番情報が一致する車輌が存在するか否かを判定する。

【0069】

車番情報が一致する車輌が存在しない場合（ステップＳ８でＮｏ）にはステップＳ１４に進んで、ステップＳ５または後述するステップＳ１９にて特定した車輌を、未だ追跡リストに未登録の新規車輌と判定し、追跡リストに登録されている最下位のＩＤに１を加えた新たなＩＤを付与して追跡リストに追加登録して、ステップＳ１４に進む。

【0070】

車番情報が一致する車輌が存在する場合（ステップＳ８でＹｅｓ）には、車番情報が一致した車輌の追跡リストにおけるＩＤと、ステップＳ５またはステップＳ１９にて特定した車輌の検知車輌データを特定して速度算出処理に進む。

【0071】

尚、本実施例では、二車線を通過する車輌について同時に移動速度を測定するようにしているため、車輌のすれ違いによって、異なる車輌について算出した距離の差が閾値以下となる場合が有り得ることから、単に算出した距離の差が閾値以下であることのみで同一と判定するのではなく、車番情報が一致するか否かを更に判定することによって、同一判定を高精度にて実行できるようにしているが、本発明はこれに限定されるものではなく、例えば、一車線を通過する車輌についてだけ速度測定する場合等にあっては、これらの条件のいずれか一方だけを用いて同一判定するようにしてもよい。

【0072】

また、本実施例では、上記のように、車番情報を読み取って同一判定に利用しており、これら車番情報は、車輌に固有の情報であることから同一判定の正確性を著しく高めることができることから好ましいが、本発明はこれに限定されるものではなく、例えば、車番情報に変えて、車輌の色や大きさ等の情報を特徴情報として使用して、該特徴情報が一致するか否かによって同一判定を行うようにしてもよい。

【0073】

尚、これらステップＳ５～ステップＳ９並びにステップＳ１３の機能は、主に、追跡処理機能部を用いて行われる。

【0074】

ステップＳ１０では、図９に示すステップＳ３０１～ステップＳ３０８から成る速度算出処理を実行することで、同一車輌と判定された車輌の新たな三次元位置と追跡リスト更新時の古い三次元位置と、その時間差とから当該車輌の移動速度を算出する。

【0075】

具体的には、図９に示すように、まず、検知車輌を含む距離画像データ（後距離画像）と同一車輌を含む距離画像データ（先距離画像）とをＲＡＭ３２から読み出す（ステップＳ３０１）。

【0076】

次いで、ステップＳ９にて特定した車輌の検知車輌データに含まれる検知領域、マスクデータと、ＲＡＭ３２から読み出した新たに記憶された距離画像データである距離画像データ（後距離画像）とから、距離画像データ（後距離画像）における検知車輌の領域内に存在する点群（Ｑ１）を抽出する（ステップＳ３０２）。

【0077】

更に、ステップＳ９にて特定した同一車輌と判定された車輌のＩＤに対応付けて追跡リストに登録されている検知領域、マスクデータと、ＲＡＭ３２から読み出した距離画像データ（先距離画像）とから、距離画像データ（先距離画像）における同一と判定した車輌の領域内に存在する点群（Ｑ２）を抽出する（ステップＳ３０３）。

【0078】

そして、ステップＳ３０２で抽出した点群Ｑ１と、ステップＳ３０３で抽出した点群Ｑ２との各々について、代表点ｑ１，ｑ２を決定する（ステップＳ３０４）。これら代表点としては、本実施例では、抽出した点群の重心を代表点としているが、本発明はこれに限定されるものではなく、これら代表点としては、速度測定を行う対象物体の形状等に応じて適宜に選択すればよい。

【0079】

次に、ステップＳ３０４にて決定した代表点ｑ１，ｑ２の三次元座標の差分（三次元移動距離）と、各距離画像の取得時間の時間差（具体的には３３ミリ秒）とから、当該物体の三次元移動速度を算出する。

【0080】

そして、ステップＳ３０６に進んで、算出不能であるか否か、具体的には、データが不完全で算出不能であるか等を判定し、算出不能である場合（ステップＳ３０６でＮｏ）には、算出不能である旨をＩＤに対応付けて一時記憶する一方（ステップＳ３０８）、算出不能でない場合（ステップＳ３０６でＹｅｓ）には、算出した移動速度情報をＩＤに対応付けて一時記憶する（ステップＳ３０９）。尚、算出される速度としては、車輌の移動方向が車線で異なることから、算出される移動速度は、プラスの速度だけではなくマイナスの速度もあるため、得られる値の絶対値を移動速度とする。

【0081】

次に、図７に戻って、ステップＳ１０にて算出した移動速度が予め設定されている上限速度を超過しているか否かを判定し（ステップＳ１１）、超過していない場合（ステップＳ１１でＮｏ）は、ステップＳ１５に進む一方、上限速度を超過している場合には（ステップＳ１１でＹｅｓ）、ステップＳ１２に進んで、速度超過車輌情報送信設定処理を実行する。

【0082】

この速度超過車輌情報送信設定処理においては、移動速度が上限速度を超過していると判定された車輌のＩＤと移動速度、時刻情報、並びに検知領域の二次元画像とを含む所定フォーマットの速度超過車輌情報が作成されるとともに、該作成された速度超過車輌情報をサーバコンピュータ１００に送信するための設定（例えば、送信キューレジスタに当該送信データをセット）を実行する。尚、送信設定された各データは、処理装置２２において実行されているオペレーテイングシステムによって順次送信される。

【0083】

次いで、ステップＳ１３に進んで、追跡リストにおいて同一と判定された車輌のデータをステップＳ５またはステップＳ１９にて特定した車輌の検知車輌リストに登録されているデータに上書き更新した後、ステップＳ１５に進む。

【0084】

ステップＳ１５においては、検知車輌リストに登録されている全ての車輌を特定済であるか否かを、検知車輌リストの特定済みデータにもとづいて判定し、全ての車輌を特定済である場合（ステップＳ１５でＹｅｓ）には、同一車輌であるとの判定による更新が一定期間ない車輌を追跡リストから削除した後（ステップＳ１６）、ステップＳ２に戻る。

【0085】

一方、全ての車輌を特定済でない場合（ステップＳ１５でＮｏ）、つまり、ステップＳ４の物体検知処理にて抽出した車輌について、同一車輌の判定等を未だ実施していない車輌が存在する場合には、検知車輌リストにおいて次に登録されている車輌を特定し、当該車輌に対応する特定済みデータを特定済みに更新した後（ステップＳ１９）、ステップＳ６に戻る。このようにステップＳ１９にて、同一車輌の判定等を未だ実施していない車輌が順次特定されていくことで、検知車輌リストに登録された全ての車輌について、追跡処理等が実行され、同一と判定された車輌については、移動速度が算出されて上限速度を超過しているかの判定が実行され、超過している場合には、速度超過車輌情報がサーバコンピュータ１００に送信される。

【0086】

本実施例においてサーバコンピュータ１００に送信される速度超過車輌情報には、ＩＤと、時刻情報と、当該車輌の速度と、当該車輌の検知領域の切り抜き２次元画像とが含まれているので、これら速度超過車輌情報がサーバコンピュータ１００に蓄積されることによって、該サーバコンピュータ１００にアクセスすることによって、例えば、図１０に示すような速度超過をした車輌の情報を、入手することができ、速度取り締まりに活用される。

【0087】

以上、本実施例の移動速度測定装置１によれば、距離画像と位置合わせされた二次元画像を用いて移動体である車輌の領域を抽出して、該抽出した車輌の領域に対応する距離画像の点群から移動体の新旧の三次元位置を特定して移動速度を算出するので、距離画像のみを使用して該距離画像において移動体となる車輌を抽出する場合に比較して、車輌の抽出を高精度でかつリアルタイムとなる程度に迅速に行うことができるので、実用的に十分な精度と速度にて速度測定を行うことができる。

【0088】

特には、深層学習ニューラルネットワーク（ＤＮＮ）が車輌の抽出を行う画像が、距離画像ではなく二次元画像となるため、深層学習ニューラルネットワーク（ＤＮＮ）の深層学習に使用する学習データとして、既存する種々の車輌の二次元画像を使用できるため、種々の車輌に応じた膨大な数の三次元点群距離画像を準備する必要がなく、学習データの作成 （アノテーション）に多大なコストがかかってしまうことがないので、装置開発のコストの増大を抑えることもできる。

【0089】

また、本実施例の移動速度測定装置１によれば、新たに抽出された車輌が、１フレーム前に抽出されたどの車輌と同一であるのかの追跡判定を、距離画像ではなく二次元画像によって行うことができるため、これら追跡判定の精度を、距離画像を使用する場合に比較して著しく高めることができるとともに、これらの追跡判定に要する時間も著しく短縮できるので、実用的に十分な精度と速度にて速度測定を行うことができる。

【0090】

また、本実施例の移動速度測定装置１によれば、処理装置２２からレーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とに撮像タイミング信号を出力することで、二次元画像の撮像タイミングと距離画像のスキャンタイミングとを同期させるようにしているので、二次元画像の撮像時刻と距離画像のスキャン時刻との時間差を著しく少なくでき、これら時間差によって測定される速度に誤差を生じてしまうことを防ぐことができるので、測定精度を向上できる。

【0091】

また、本実施例の移動速度測定装置１によれば、二次元画像を用いた物体検知によって車輌の領域が正確に抽出されたマスクデータを使用して、該マスクデータにより特定される車輌の領域に対応する距離画像における領域の全ての点群Ｑ１、Ｑ２が特定され、該特定された点群Ｑ１、Ｑ２を用いて算出される重心の三次元位置が代表点ｑ１、ｑ２として決定されて移動速度が算出されるので、距離画像によって物体検知が行われて車輌の領域が抽出される場合に比較して、車輌の領域を高精度に抽出できることによって、車輌の領域に対応する点群Ｑ１、Ｑ２として、車輌に対応しない無用な点群がこれら点群Ｑ１、Ｑ２に含まれてしまうことを防ぐことができるので、速度算出の精度を向上できる。

【0092】

また、本実施例の移動速度測定装置１によれば、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１とが、有底箱状の筐体２の格納部２ｂ内に固定した状態で格納されているので、移動速度測定装置１を測定場所に搬送及び設置するときに、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１が障害物等に接触する等によって位置合わせに狂いが生じて良好な測定ができなくなってしまうことを防ぐことができる。

【0093】

以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

【0094】

例えば、上記実施例では、速度超過車輌情報を作成してサーバコンピュータ１００に送信する形態を例示しているが、本発明はこれに限定されるものではなく、筐体２内の処理装置２２にケーブル接続された表示装置Ｄを、例えば、道路Ｒの側方に設けられている監視場所等に設置しておき、該表示装置Ｄに、例えば、図１１に示すように、その時点の二次元画像を表示するとともに、表示されている二次元画像に含まれる車輌について、検知領域（ＲＯＩ）を示す表示と、各車輌のＩＤと算出された移動速度とをリアルタイムで表示出力するようにしてもよい。

【0095】

また、上記実施例では、１フレーム（３３ミリ秒）毎に速度超過車輌情報を作成して送信する形態を例示したが、本発明はこれに限定されるものではなく、複数のフレームの追跡情報に含まれる移動速度の平均値と上限速度とを比較して、移動速度の平均値が上限速度を超過している場合に、速度超過車輌情報を作成してサーバコンピュータ１００に送信するようにしてもよい。

【0096】

また、上記実施例では、撮像タイミング信号を全ての撮像タイミング並びにスキャンタイミングにおいて出力する形態を例示しているが、本発明はこれに限定されるものではなく、これら撮像タイミング信号を、例えば、最初の撮像タイミング並びにスキャンタイミングにおいてだけ出力し、その後は、レーザースキャナ（ＬｉＤＡＲ）２０と二次元イメージセンサ２１が所定周期である例えば３３ミリ秒毎に撮像、スキャンを行うようにしてもよいし、所定回数（例えば、１０回）の撮像タイミング並びにスキャンタイミング毎に撮像タイミング信号を出力する形態としてもよい。

【0097】

また、上記実施例では、二次元画像の撮像タイミングと距離画像のスキャンタイミングとを同期させる形態を例示したが、本発明はこれに限定されるものではなく、例えば、二次元画像の撮像タイミングと距離画像のスキャンタイミングとを同期させることなく独立したタイミングで撮像、スキャンを行い、例えば、距離画像のスキャンタイミングにおける二次元画像を、該スキャンタイミングの前後のタイミングにて撮像された二次元画像にもとづいて画像生成または画像補正して、該画像生成または画像補正した距離画像のスキャンタイミングにおける二次元画像を使用して車輌の抽出を行うようにしてもよい。但し、このように、二次元画像の撮像タイミングと距離画像のスキャンタイミングとを同期させない場合には、画像生成や画像補正による処理負荷が生じるだけではなく、これら画像生成や画像補正に処理時間がかかるだけではなく、スキャンタイミングの前後のタイミングにて撮像された二次元画像が必要となるために、後の撮像タイミング後でしか画像生成または画像補正を行うことができないことから、リアルタイムでの車輌の抽出（物体検知）が不能となるので、これらリアルタイムでの速度測定を行う必要がない用途において好適である。

【0098】

また、上記実施例では、移動速度測定装置１を移動体である車輌の速度取り締まりに利用した形態について例示しているが、本発明はこれに限定されるものではなく、これら移動速度測定装置１の利用形態としては、移動体がどのようなものであってもよく、例えば、移動体として、工場等の特定領域内を比較的低速で移動するＡＤＲ等の移動速度の測定等に利用してもよいし、地上を移動する移動体ではなく、空間を移動するドローン等の移動速度の測定に用いてもよい。

【符号の説明】

【0099】

１ 移動速度測定装置
２ 筐体
４ ベースプレート
５ 高さ調整台座
６ 強化ガラス
２０ レーザースキャナ（ＬｉＤＡＲ）
２１ 二次元イメージセンサ
２２ 処理装置
２５ アンテナ
３１ ＣＰＵ
３２ ＲＡＭ
３３ フラッシュメモリ
３４ レーザースキャナインターフェイス（Ｉ／Ｆ）
３５ カメラインターフェイス（Ｉ／Ｆ）
３６ ＲＴＣ
３７ ネットワークインターフェイス（Ｉ／Ｆ）
３８ ＧＰＵ
１００ サーバコンピュータ
２００ メンテナンスＰＣ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】