特開 2024-157889 車両推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157889

(43)【公開日】2024-11-08

(54)【発明の名称】車両推定装置

(51)【国際特許分類】

   G08G 1/015 20060101AFI20241031BHJP

   G08G 1/04 20060101ALI20241031BHJP

   G06T 7/00 20170101ALI20241031BHJP

   G01S 17/89 20200101ALI20241031BHJP

【ＦＩ】

G08G1/015 A

G08G1/04

G06T7/00 350B

G01S17/89

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023072523

(22)【出願日】2023-04-26

(71)【出願人】

【識別番号】511121768

【氏名又は名称】今井 龍一

(71)【出願人】

【識別番号】500063228

【氏名又は名称】田中 成典

(71)【出願人】

【識別番号】517305883

【氏名又は名称】山本 雄平

(71)【出願人】

【識別番号】519113745

【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】今井 龍一

(72)【発明者】

【氏名】田中 成典

(72)【発明者】

【氏名】山本 雄平

(72)【発明者】

【氏名】姜 文渊

(72)【発明者】

【氏名】中原 匡哉

(72)【発明者】

【氏名】中畑 光貴

(72)【発明者】

【氏名】高野 精久

(72)【発明者】

【氏名】山中 亮

(72)【発明者】

【氏名】平野 順俊

【テーマコード（参考）】

5H181

5J084

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC14

5J084AA05

5J084AB01

5J084AD01

5J084BA03

5J084BA31

5J084CA65

5L096AA06

5L096AA09

5L096BA04

5L096CA18

5L096FA02

5L096FA66

5L096FA67

5L096HA11

(57)【要約】

【課題】 精度良く車両の種類を判定できる車両推定装置を提供する。
【解決手段】 計測器２は、走行中の車両の表面各点までの距離を計測し、これに基づいて当該車両の三次元点群データを生成する。三次元点群データの重畳処理４においては、走行中に計測した車両の複数の三次元点群データを重ね合わせて、重畳三次元点群データを生成する。車両の種類推定処理６では、生成した重畳三次元点群データに基づいて車両の種類を推定する。上記のように、重畳三次元点群データに基づいて車両の種類を推定するようにしているので、各三次元点群データに欠損があったとしても、重畳することによって補完でき、より正確な推定を行うことができる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

走行中の車両の表面各点までの距離を計測して三次元点群データを生成する計測器を備え、
走行中の車両について複数の位置における三次元点群データを計測器から取得し、
前記複数組の三次元点群データを重ね合せて重畳三次元点群データを生成し、
重畳三次元点群データに基づいて、車両の種類を推定する車両推定装置。

【請求項2】

走行中の車両の表面各点までの距離を計測して三次元点群データを生成する計測器を備え、
少なくとも一つのプロセッサと、
当該少なくとも一つのプロセッサによって実行されるように構成された少なくとも一つのプログラムを記録するメモリと、
を備えた車両推定装置であって、
前記少なくとも一つのプログラムは、
走行中の車両について複数の位置における三次元点群データを計測器から取得し、
前記複数組の三次元点群データを重ね合せて重畳三次元点群データを生成し、
重畳三次元点群データに基づいて、車両の種類を推定する命令を備える車両推定装置。

【請求項3】

車両推定装置をコンピュータによって実現するための車両推定プログラムであって、
走行中の車両について複数の位置における三次元点群データを計測器から取得し、
前記複数組の三次元点群データを重ね合せて重畳三次元点群データを生成し、
重畳三次元点群データに基づいて、車両の種類を推定する命令を備える車両推定プログラム。

【請求項4】

請求項１～３のいずれかの装置またはプログラムにおいて、
前記計測器は、ＬＩＤＡＲであることを特徴とする装置またはプログラム。

【請求項5】

請求項１～３のいずれかの装置またはプログラムにおいて、
前記重畳三次元点群データ生成においては、複数組の三次元点群データの計測器に近い側の表面形状が合致するように、重ね合わせることを特徴とする装置またはプログラム。

【請求項6】

請求項１～３のいずれかの装置またはプログラムにおいて、
前記車両の種類の推定は、前記重畳三次元点群データの少なくとも縦、横、高さ寸法のいずれかを用いて、少なくとも大型車であるか小型車であるかを判断することを特徴とする装置またはプログラム。

【請求項7】

請求項１～３のいずれかの装置またはプログラムにおいて、
前記車両の種類の推定は、重畳三次元点群データに基づいて学習した推定モデルに、前記重畳三次元点郡データを与えて、車種を推定するものであることを特徴とする装置またはプログラム。

【請求項8】

請求項７の装置またはプログラムにおいて、
前記学習は、実際に測定することによって得た重畳三次元点群データを回転することによって得た複数の重畳三次元点群データにより生成した学習データを用いて行うことを特徴とする装置またはプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、車両の種類を推定する技術に関するものである。

【背景技術】

【0002】

交通量の調査や施設における管理のために、自動車の種類を判断する必要がある。たとえば、交通量の調査においては、交差点などで調査員が目視にて、通過する車両の種類によって分類し、その分類ごとに交通量を計数している。

【0003】

近年、ディープラーニングを用いて撮像した物体の種類を判別することが行われている（たとえばYOLOモデル）。この物体検知モデルを種々の車両によって学習し、学習済モデルにて車両の種類を判別する装置を実現することができる。

【0004】

しかしながら、上記のような学習済モデルによる装置を交通量調査などに適用すると、自動車の種類は推定できたとしても、大型車であるか小型車であるかの推定まではできなかった。特に同一の種類の自動車（たとえばトラック）における、大型・小型（たとえば、大型トラック、小型トラック）の判定は困難であった。

【0005】

そこで、発明者らは、既に大型・小型を含めた車両の種類を推定することのできるシステムを提案している（特許文献１）。このシステムによれば、撮像した画像に基づいて交通量調査を行うことができるので、交通量調査の大幅な効率化を図ることができる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２２－１６３３８７

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１のシステムでは、２次元画像による判断であるため正確な大きさを判断できず、大型車小型車の判定精度に改良の余地があった。

【0008】

一方で、仮に、ＬＩＤＡＲなどのレーザ測距による三次元点群データを用いたとしても、点群の欠損が避けられず十分な判定精度を達成できなくなるおそれがあった。

【0009】

この発明は、上記のような問題点を解決して、精度良く車両の種類を判定できる車両推定装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

この発明の独立して適用可能な特徴を以下に列挙する。

【0011】

(1)-(3)この発明に係る車両推定装置は、走行中の車両の表面各点までの距離を計測して三次元点群データを生成する計測器を備え、走行中の車両について複数の位置における三次元点群データを計測器から取得し、前記複数組の三次元点群データを重ね合せて重畳三次元点群データを生成し、重畳三次元点群データに基づいて、車両の種類を推定する。

【0012】

したがって、欠損のある三次元点群データであっても、車両推定の精度を向上させることができる。

【0013】

(4)この発明に係る車両推定装置は、計測器が、ＬＩＤＡＲであることを特徴としている。

【0014】

したがって、夜間など暗い場所においても車両推定を行うことができる。

【0015】

(5)この発明に係る車両推定装置は、重畳三次元点群データ生成においては、複数組の三次元点群データの計測器に近い側の表面形状が合致するように、重ね合わせることを特徴としている。

【0016】

したがって、精度良く重ね合せを行うことができる。

【0017】

(6)この発明に係る車両推定装置は、車両の種類の推定が、前記重畳三次元点群データの少なくとも縦、横、高さ寸法のいずれかを用いて、少なくとも大型車であるか小型車であるかを判断することを特徴としている。

【0018】

したがって、正確に大型小型の判断を行うことができる。

【0019】

(7)この発明に係る車両推定装置は、車両の種類の推定が、重畳三次元点群データに基づいて学習した推定モデルに、前記重畳三次元点郡データを与えて、車種を推定するものであることを特徴としている。

【0020】

したがって、寸法のみでは決定できない車両の種類を推定することができる。

【0021】

(8)この発明に係る車両推定装置は、学習が、実際に測定することによって得た重畳三次元点群データを回転することによって得た複数の重畳三次元点群データにより生成した学習データを用いて行うことを特徴としている。

【0022】

したがって、効率よく適切な学習データを得ることができる。

【0023】

「装置」とは、１台のコンピュータによって構成されるものだけでなく、ネットワークなどを介して接続された複数のコンピュータによって構成されるものも含む概念である。したがって、本発明の手段（あるいは手段の一部でもよい）が複数のコンピュータに分散されている場合、これら複数のコンピュータが装置に該当する。

【0024】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム、オペレーティングシステムと協働してその機能を発揮するプログラム等を含む概念である。

【図面の簡単な説明】

【0025】

【図1】一実施形態による車両推定装置の全体構成である。

【図2】ＬＩＤＡＲ２８の設置状況を示す図である。

【図3】ハードウエア構成を示す図である。

【図4】車両推定プログラム２６のフローチャートである。

【図5】三次元点群データとバウンダリーボックスを示す図である。

【図6】車両部分の三次元点群データを示す図である。

【図7】車両推定プログラム２６のフローチャートである。

【図8】重畳三次元点群データとバウンダリーボックス８０を示す図である。

【図9】車両の種類を示す図である。

【発明を実施するための形態】

【0026】

１．全体的構成としての処理の流れ
図１に、この発明の一実施形態による車両推定装置の全体構成を示す。計測器２は、走行中の車両の表面各点までの距離を計測し、これに基づいて当該車両の三次元点群データを生成する。三次元点群データの重畳処理４においては、走行中に計測した車両の複数の三次元点群データを重ね合わせて、重畳三次元点群データを生成する。

【0027】

車両の種類推定処理６では、生成した重畳三次元点群データに基づいて車両の種類を推定する。

【0028】

上記のように、重畳三次元点群データに基づいて車両の種類を推定するようにしているので、各三次元点群データに欠損があったとしても、重畳することによって補完でき、より正確な推定を行うことができる。

【0029】

２．ハードウエア構成
図２に、計測器であるＬＩＤＡＲ(Laser Imaging Detection and Ranging)２８の設置状態を示す。この実施形態では、道路の電柱などにＬＩＤＡＲ２８を設置している。

【0030】

ＬＩＤＡＲ２８は、機器の設置方向である中心軸３４を中心として、上下左右の全周方向に所定角度θの範囲にて、レーザを照射しその反射を受信するものである。ＬＩＤＡＲ２８は、照射から反射までの時間を計測し、対象物までの距離を算出する。これに基づいて対象物表面の各点の座標を算出し、三次元点群データとして出力する。なお、ＬＩＤＡＲ２８は、中心軸３４をＹ軸とし、中心軸３４に対して上下方向に垂直な軸４０をＺ軸とし、中心軸３４に対して左右方向に垂直な軸（紙面に垂直な方向）をＸ軸とした座標にて、三次元点群データを出力する。

【0031】

図３に、車両推定装置のハードウエア構成を示す。ＣＰＵ１０には、メモリ１２、ディスプレイ１４、通信回路１６、ＳＳＤ１８、ＤＶＤ－ＲＯＭドライブ２０、キーボード／マウス２２、ＬＩＤＡＲ２８が接続されている。通信回路１６は、インターネットに接続するための回路である。

【0032】

ＬＩＤＡＲ２８は、レーザ光を車両などの対象物に照射しその反射光を受光するまでの時間によって対象物表面までの距離を計測し、これに基づいて対象物表面の各点の三次元座標を示す三次元点群データを生成するものである。

【0033】

ＳＳＤ１８には、オペレーティングシステム２４、車両推定プログラム２６が記録されている。車両推定プログラム２６は、オペレーティングシステム２４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ３０に記録されていたものを、ＤＶＤ－ＲＯＭドライブ２０を介して、ＳＳＤ１８にインストールしたものである。

【0034】

３．車両推定処理
図４に、車両推定プログラム２６のフローチャートを示す。ＣＰＵ１０は、ＬＩＤＡＲ２８から１フレーム分の三次元点群データを取得する（ステップＳ２）。取得した三次元点群データの例を、図５Ａに示す。図に示すように、車両だけでなく、道路表面なども含まれた三次元点群データが得られている。なお、この三次元点群データの座標は、図２に示したように、ＬＩＤＡＲ２８の設置方向である中心軸３４をＹ軸とする三次元座標である。

【0035】

次に、ＣＰＵ１０は、この三次元点群データから車両部分の三次元点群データを抽出する（ステップＳ３）。図５Ｂに示すように、車両を囲うバウンダリーボックス４２を得て、車両を抽出するようにしている。

【0036】

この実施形態においては、三次元点群データから車両部分をバウンダリーボックスにて囲って抽出するよう学習された学習済の推定モデルを用いるようにしている。学習データとしては、図５Ａに示すような三次元点群データと、これに含まれる車両のバウンダリーボックスを特定する座標との組を用いる。なお、推定モデルとしては、三次元に適合させたＹＯＬＯであるOpenPC Detを用いることができる。

【0037】

続いて、図５Ｂに示すように、バウンダリーボックスの中心４４（座標としての中心）を算出する（ステップＳ５）。ＣＰＵ１０は、当該中心４４が、予め設定した第１面３６（図２参照）よりＬＩＤＡＲ２８に近い側にあるかどうかを判断する（ステップＳ６）。第１面３６は、道路面に対してほぼ垂直な仮想面である。

【0038】

遠い側にあれば、そのバウンダリーボックスを処理対象としない。近い側にあれば、図５Ｃに示すように、バウンダリーボックス４２の中心４４と、前回のフレームにおけるバウンダリーボックス４２Ｐの中心４４Ｐとの距離に基づいて、両者を同一の車両として関連づける（ステップＳ８）。車両は概ね所定範囲内の速度で走行しているので、前回のフレームとの移動距離に基づいて関連づけることが可能である。

【0039】

当該車両が走行し、バウンダリーボックス４２の中心４４が第２面３８よりＬＩＤＡＲ２８に近い側に位置すると（ステップＳ７）、それ以降のバウンダリーボックスは処理対象としない。また、ＣＰＵ１０は、ステップＳ８において追跡した同一車両の複数の三次元点群データを重ね合わせる（ステップＳ９）。

【0040】

ＬＩＤＡＲ２８による計測においては、レーザの影になる部分の三次元点群データを得ることができない。したがって、車両が近づいてくるにしたがって、ＬＩＤＡＲ２８と車両との距離や角度により、図６Ａ、Ｂのように、各フレームにおいて、点群の密度や三次元点群データが取得できる部分と取得できない部分が変わってくる。

【0041】

この実施形態では、各フレームの三次元点群データを重畳することにより、欠損している部分を補完し、図６Ｃに示すように重畳三次元点群データを生成するようにしている。これにより、次のステップにおける車両の種類推定の精度を向上させている。

【0042】

なお、各フレームの三次元点群データを重畳する際には、いずれのフレームにおいてもレーザが照射されて欠損のない部分（近づいてくる車両であれば前面部分、遠ざかる車であれば背面部分）の形状が合致するように重畳させる。

【0043】

続いて、ＣＰＵ１０は、重畳三次元点群データに基づいて、車両の種類を推定する（ステップＳ１０）。

【0044】

図７に、車両の種類推定の詳細フローチャートを示す。ＣＰＵ１０は、図８に示すように、重畳三次元点群データを内包する最小のバウンダリーボックス５０を生成する。ＣＰＵ１０は、生成したバウンダリーボックス５０の長さＬを算出する（ステップＳ２１）。算出した長さＬに基づいて、当該車両が大型車であるか、小型車であるか、二輪車であるかを判断する（ステップＳ２２）。

【0045】

国土交通省の定める交通量調査においては、図９に示すように車の種類が区別されている。ここでは、まず、大型車、小型車、二輪車を区別するため、長さＬが４．７ｍよりも大きいと大型車としている。また、長さＬが４．７ｍよりも小さいと小型車か二輪車としている。図９には示されていないが、一般に、二輪車は長さＬが２ｍ以下である場合がほとんどであるので、長さＬが２ｍより大きければ小型車、小さければ二輪車としている。

【0046】

以上のようにして、大型車、小型車、二輪車を判断すると、ＣＰＵ１０は、重畳三次元点群データに基づいて、大型車であればバスか普通貨物車かを推定し（ステップＳ２４）、小型車であれば乗用車か小型貨物車かを推定する（ステップＳ２５）。この実施形態では、欠損の補完された重畳三次元点群データに基づいて推定を行っているので、推定の精度を向上させることができる。

【0047】

ステップＳ２４の推定には、バスか普通貨物車かを推定するよう学習された推定モデル（ニューラルネットワーク）を用いる。学習データとしては、重畳三次元点群データと、当該重畳三次元点群データがバスまたは普通貨物車のいずれであるかを示すラベルとの組を用いる。

【0048】

ステップＳ２５の推定には、乗用車か小型貨物車かを推定するよう学習された推定モデル（ニューラルネットワーク）を用いる。学習データとしては、重畳三次元点群データと、当該三次元点群データが乗用車または小型貨物車のいずれであるかを示すラベルとの組を用いる。

【0049】

なお、ステップＳ２～ステップＳ１０はフレームごとに繰り返される。また、ステップＳ５～Ｓ１０は、フレームに映し出された車両ごとに繰り返される。

【0050】

以上のようにして、乗用車、小型貨物車、バス、普通貨物車、自動二輪車の判別を行うことができる。

【0051】

この実施形態では、レーザを用いているので、夜間であっても精度良く推定を行うことができる。

【0052】

４．その他変形例
(1)上記実施形態では、大型車・小型車の判定を行った後、種別を推定して、乗用車、小型貨物車、バス、普通貨物車、自動二輪車の判別を行っている。しかし、大型・小型の判定のみを行うようにしてもよい。また、大型・小型の判定を経ずに、種別推定を行うようにしてもよい。

【0053】

(2)上記実施形態では、乗用車、小型貨物車、バス、普通貨物車、自動二輪車の推定を行うようにしている。しかし、より詳細に、セダン、ＳＵＶなどの推定や、メーカ名と車種（セルシオ（商標）、クラウン（商標）、１０トントラック、２０トントラックなど）の推定を行うようにしてもよい。

【0054】

(3)上記実施形態では、ＬＩＤＡＲ２８の設置方向の中心軸３４をＹ軸とした座標を用いて、ステップＳ３の抽出処理、ステップＳ１０の推定処理を行うようにしている。いずれの処理においても、ＬＩＤＡＲ２８の設置方向によって、三次元点群データの座標が異なることとなる。したがって、上記推定処理に用いる推定モデルを学習する際の学習データとして、同じ三次元点群データについて異なる座標のものを多数用意することが好ましい。

【0055】

そこで、実測した三次元点群データを学習データとして用いる際に、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれについて、－１０度から＋１０度の範囲（所定角度範囲）にて、２度ごと（所定角度ごと）に回転させて、多数の学習データを生成することが好ましい。このようにすれば、大量の学習データを容易に得ることができる。

【0056】

また、上記のようにＬＩＤＡＲ２８の設置方向の中心軸３４をＹ軸にせず、道路に水平な面をＸＹ軸による平面とし、これに垂直な方向をＺ軸とした、座標を用いて三次元点群データを表現するようにしてもよい。このようにすれば、ＬＩＤＡＲ２８の設置方向に影響を受けずに三次元点群データを得ることができるので、上記のように回転を行って学習データを生成する必要がなくなる（あるいは、回転させて生成する学習データの数を減らすことができる）。

【0057】

(4)上記実施形態では、各フレームにおける同一車両の追跡のために、バウンダリーボックス４２の中心点４４を用いている。しかし、中心点４４以外のバウンダリーボックス４２を代表する点（いずれかのコーナー点、いずれかの面の中心点、三次元点群データの重心点など）を用いるようにしてもよい。

【0058】

また、三次元点群データによる形状の特徴を算出し、当該特徴に基づいて各フレームの同一車両を紐付けるようにしてもよい。

【0059】

(5)上記実施形態では、第１面３６と第２面３８を操作者が設定するようにしている。しかし、ＣＰＵ１０が、三次元点群データに映し出された道路表面に垂直な方向に、所定間隔で第１面３６、第２面３８を設定するようにしてもよい。

【0060】

(6)上記実施形態では、バウンダリーボックスの中心４４が、第１面３６を超えてから、第２面３８を超えるまでの間の、各フレームの三次元点群データを重ね合わせて重畳三次元点群データを生成している。

【0061】

しかし、中心４４以外のバウンダリーボックス４２を代表する点を用いるようにしてもよい。また、第１面３６と第２面３８において、異なる代表点を用いるようにしてもよい。

【0062】

(7)上記実施形態では、向かってくる車両を対象として車両の種類を判断するようにしている。しかし、遠ざかる車両を対象として車両の種類を判断するようにしてもよい。

【0063】

(8)上記実施形態では、車両の種類を推定するようにしている。しかし、これに代えて、あるいは加えて、通過した車両の台数を計測するようにしてもよい。

【0064】

この場合、バウンダリーボックスの中心４４が第１面３６を超えた後、第２面３８を超えれば、１台の車両が通過したと判定できる。これに、上記の車両の種類の推定を加味すれば、いずれの種類の車が何台通過したかを計測することができる。

【0065】

なお、反対車線の車両については、バウンダリーボックスの中心４４が第２面３８を超えた後、第１面３６を超えれば、通過したものと判定することができる。このように、第１面３６、第２面３８の通過順序により、向かってくる車か遠ざかる車かを判断できるので、上下車線の双方をＬＩＤＡＲ２８にて撮像し、同時に計測を行うことができる。

【0066】

(9)上記実施形態では、図８に示すバウンダリーボックスの長さＬに基づいて、大型・小型を判断している。しかし、バウンダリボックスの幅や高さに基づいて、あるいは幅や高さも併せて考慮して判断してもよい。また、これら寸法に基づいて、大型・小型以外の車両の種類（トラックかバスかなど）を判断するようにしてもよい。

【0067】

(10)上記実施形態では、図１の処理をＣＰＵを用いて実現している。しかし、その一部又は全部を論理回路によって実現するようにしてもよい。

【0068】

(11)上記変形例は、互いに組み合わせて実施可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】