特許 7468075 管制制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-08

(45)【発行日】2024-04-16

(54)【発明の名称】管制制御システム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240409BHJP

   G06T 7/00 20170101ALI20240409BHJP

   G09B 29/00 20060101ALI20240409BHJP

【ＦＩ】

G08G1/16 A

G06T7/00 650B

G09B29/00 A

【請求項の数】 6

(21)【出願番号】P 2020064397

(22)【出願日】2020-03-31

(65)【公開番号】P2021163221

(43)【公開日】2021-10-11

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】後藤 邦博

(72)【発明者】

【氏名】中村 亮裕

【審査官】増子 真

(56)【参考文献】

【文献】特開２０１４－１３７３２１（ＪＰ，Ａ）

【文献】特開２００３－３４６２８２（ＪＰ，Ａ）

【文献】特開２００１－０４３４７６（ＪＰ，Ａ）

【文献】特開平０３－１１８６９６（ＪＰ，Ａ）

【文献】特開２０１７－２０４０７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

自己位置を検出可能な移動体から取得した自己位置情報と、前記移動体の走行路を含む周辺環境の画像を取得可能に設置されたインフラカメラで取得した画像における前記移動体を示す画素の位置とに基づいて、前記インフラカメラで取得した画像における画素の位置情報と前記周辺環境における３次元座標とを対応付ける変換テーブルを生成する変換テーブル生成部と、
前記変換テーブル生成部が生成した変換テーブルを参照して前記インフラカメラで取得した画像から検出した移動体の３次元座標を算出する物体検出部と、
前記物体検出部で算出した移動体の３次元座標に基づいて交通管制を行う交通管制部と、
を含み、
前記変換テーブル生成部は、交通管制が移動体に対して制約条件を生成する箇所であって、複数の移動体の経路が交錯する交差点及び前記移動体と歩行者との干渉の可能性がある横断歩道を含む箇所を含む第１領域に対応する画素は、密に３次元座標との対応付けを有するように前記変換テーブルを生成し、前記第１領域に含まれずかつ前記箇所から離れた第２領域に対応する画素は、疎に３次元座標との対応付けを有するように前記変換テーブルを生成する管制制御システム。

【請求項2】

自己位置を検出可能な移動体から取得した自己位置情報と、前記移動体の走行路を含む周辺環境の画像を取得可能に設置されたインフラカメラで取得した画像における前記移動体を示す画素の位置とに基づいて、前記インフラカメラで取得した画像における画素の位置情報と前記周辺環境における３次元座標とを対応付ける変換テーブルを生成する変換テーブル生成部と、
前記変換テーブル生成部が生成した変換テーブルを参照して前記インフラカメラで取得した画像から検出した移動体の３次元座標を算出する物体検出部と、
前記物体検出部で算出した移動体の３次元座標に基づいて交通管制を行う交通管制部と、
を含み、
前記物体検出部は、前記インフラカメラの画像から移動体を検出した位置と、前記変換テーブルで、３次元座標との対応付けを有する画素のうち、前記移動体を検出した位置と最も近い画素との誤差に基づいて前記変換テーブルの更新の必要性を判断する管制制御システム。

【請求項3】

自己位置を検出可能な移動体から取得した自己位置情報と、前記移動体の走行路を含む周辺環境の画像を取得可能に設置されたインフラカメラで取得した画像における前記移動体を示す画素の位置とに基づいて、前記インフラカメラで取得した画像における画素の位置情報と前記周辺環境における３次元座標とを対応付ける変換テーブルを生成する変換テーブル生成部と、
前記変換テーブル生成部が生成した変換テーブルを参照して前記インフラカメラで取得した画像から検出した移動体の３次元座標を算出する物体検出部と、
前記物体検出部で算出した移動体の３次元座標に基づいて交通管制を行う交通管制部と、
を含み、
前記交通管制部は、前記変換テーブル生成部が前記変換テーブルを生成する際に、自己位置を検出可能な移動体から取得した自己位置情報と、前記インフラカメラで取得した画像における前記移動体を示す画素の位置との対応付けが可能となるように、前記変換テーブルを生成する領域を通過する前記移動体を限定する交通管制、該領域を通過する前記移動体の間隔を拡大する交通管制、及び該領域を通過する前記移動体の車速を低下させる交通管制のいずれかを行う管制制御システム。

【請求項4】

前記変換テーブルが示す３次元座標は、前記交通管制部が交通管制で利用する地図情報と対応付けられている請求項１～３のいずれか１項に記載の管制制御システム。

【請求項5】

前記物体検出部で算出した移動体の３次元座標に基づいて前記地図情報における該移動体の位置を特定した環境マップを生成する環境マップ生成部を含み、
前記交通管制部は、前記環境マップ生成部で生成した環境マップを用いて交通管制を行う請求項４に記載の管制制御システム。

【請求項6】

前記変換テーブル生成部は、自己位置を検出可能な移動体から取得した自己位置情報と、前記インフラカメラで取得した画像における前記移動体を示す画素の位置との対応付けが可能な、前記自己位置情報及び前記移動体を示す画素の位置の組み合わせに基づいて、前記変換テーブルを生成する請求項１～５のいずれか１項に記載の管制制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は管制制御システムに関する。

【背景技術】

【0002】

管制制御システムでは車両の走行路を含む周辺環境の情報を取得するために設置されたインフラセンサを用いたセンシング結果から車両等の物体の３次元位置を求めなくてはならない。しかしながら、インフラセンサとして単眼カメラ（以下、「インフラカメラ」と称する）を用いる場合には、直接的に３次元距離を求めることができない。例えば、平面の路面を仮定して、道路接地面の画像座標とインフラカメラのレンズの焦点距離等のカメラパラメータとを用いて対象物体までの距離を測定することもできるが、監視カメラのように非常に広角なレンズを使う場合では画像の歪みを補正するのは容易ではないため、かかる方法の適用が難しい。また、既設のインフラカメラは、既に高所に取り付けられている場合が多く、チェッカー図柄等の一般的なキャリブレーションボードを当該インフラカメラで撮影して得た画像に基づいて、当該インフラカメラの撮影画像の歪曲を補正するキャリブレーションそのものを行うことが困難な場合があった。

【0003】

特許文献１には、歪曲のある広角画像から世界座標系の座標値を算出し、車両の管制制御に資するマップを生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２１８２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術は車載カメラを主に想定しており、既存のインフラカメラを利用する場合には、既知の三次元座標とカメラ画像平面の座標とを対応付けるのが難しく、必要なカメラパラメータを良い精度で得られないという問題があった。

【0006】

また、交通管制システムが利用するインフラカメラは、すべてが同一機種であるわけではないので、特許文献１に記載の技術は、異なる場所に設置された複数カメラに対して、キャリブレーションを行わないといけないため、多くの手間がかかるという問題があった。

【0007】

また、マップ生成に際しての世界座標系の座標値の算出では、道路以外等の座標値の算出不要な範囲が存在するが、算出不要な範囲は、単純な矩形範囲では表現できず、かつインフラカメラの設置位置及びインフラカメラの仕様によって異なるため一意には決められない。特許文献１に記載の技術では、異なる場所に設置された複数のインフラカメラの各々に対して座標値を算出不要な範囲を手動で設定することになり、作業が煩雑であるという問題があった。

【0008】

本発明は上記事実を考慮して成されたもので、インフラカメラの画像から検出した物体の３次元座標を求めるための変換テーブルを効率的に生成及び更新する管制制御システムを得ることが目的である。

【課題を解決するための手段】

【0009】

第１の態様に係る管制制御システムは、自己位置を検出可能な移動体から取得した自己位置情報と、前記移動体の走行路を含む周辺環境の画像を取得可能に設置されたインフラカメラで取得した画像における前記移動体を示す画素の位置とに基づいて、前記インフラカメラで取得した画像における画素の位置情報と前記周辺環境における３次元座標とを対応付ける変換テーブルを生成する変換テーブル生成部と、前記変換テーブル生成部が生成した変換テーブルを参照して前記インフラカメラで取得した画像から検出した移動体の３次元座標を算出する物体検出部と、前記物体検出部で算出した移動体の３次元座標に基づいて交通管制を行う交通管制部と、を含んでいる。

【0010】

第１の態様では、自己位置を検出可能な移動体から取得した自己位置情報と、インフラカメラで取得した画像における当該移動体を示す画素の位置とに基づいて、インフラカメラで取得した画像における画素の位置情報と実際の３次元座標とを対応付ける変換テーブルを生成する。

【0011】

ここで、第１の態様では、当該移動体で検出された自己位置とインフラカメラで取得した画像における当該移動体を示す画素の位置とを対応付けるだけで変換テーブルを生成でき、キャリブレーションボードを用いたインフラカメラのキャリブレーションは不要なので、インフラカメラの画像から検出した物体の３次元座標を求めるための変換テーブルを効率的に生成及び更新することができる。

【0012】

第２の態様は、第１の態様において、前記変換テーブルが示す３次元座標は、前記交通管制部が交通管制で利用する地図情報と対応付けられている。

【0013】

これにより、交通管制部は、物体検出部が変換テーブルを参照してインフラカメラで取得した画像から検出した移動体の３次元座標によって当該移動体を交通管制することができる。

【0014】

第３の態様は、第２の態様において、前記物体検出部で算出した移動体の３次元座標に基づいて前記地図情報における該移動体の位置を特定した環境マップを生成する環境マップ生成部を含み、前記交通管制部は、前記環境マップ生成部で生成した環境マップを用いて交通管制を行う。

【0015】

これにより、移動体の地図上での位置を把握した状態で交通管制を行うことができる。

【0016】

第４の態様は、第１の態様～第３の態様の何れか１つの態様において、前記変換テーブル生成部は、自己位置を検出可能な移動体から取得した自己位置情報と、前記インフラカメラで取得した画像における前記移動体を示す画素の位置との対応付けが可能な、前記自己位置情報及び前記移動体を示す画素の位置の組み合わせに基づいて、前記変換テーブルを生成する。

【0017】

これにより、自己位置を検出可能な移動体から取得した自己位置情報と、インフラカメラで取得した画像における当該移動体を示す画素の位置と対応付けが可能な場合に変換テーブルを生成することにより、変換テーブルが格納するデータの精度を担保できる。

【0018】

第５の態様は、第１の態様～第４の態様の何れか１つの態様において、前記変換テーブル生成部は、交通管制が移動体に対して制約条件を生成する箇所を含む領域に対応する画素は、密に３次元座標との対応付けを有するように前記変換テーブルを生成し、前記箇所から離れた領域に対応する画素は、疎に３次元座標との対応付けを有するように前記変換テーブルを生成する。

【0019】

これにより、交通管制が移動体に対して制約条件を生成する箇所から遠い領域では変換テーブルのデータを疎とすることにより、変換テーブルを生成の負荷が抑制される。

【0020】

第６の態様は、第５の態様において、前記箇所は、移動体同士が交錯する干渉地点、及び前記移動体と歩行者との干渉の可能性がある地点を含む。

【0021】

第７の態様は、第１の態様～第６の態様の何れか１つの態様において、前記物体検出部は、前記インフラカメラの画像から移動体を検出した位置と、前記変換テーブルで、３次元座標との対応付けを有する画素のうち、前記移動体を検出した位置と最も近い画素との誤差に基づいて前記変換テーブルの更新の必要性を判断する。

【0022】

これにより、道路工事等によってインフラカメラの画像から移動体を検出した位置と、変換テーブルで走行路を示す位置とに誤差が生じた場合に、変換テーブルの更新の必要性を判断できる。

【0023】

第８の態様は、第１の態様～第７の態様の何れか１つの態様において、前記交通管制部は、前記変換テーブル生成部が前記変換テーブルを生成する際に、自己位置を検出可能な移動体から取得した自己位置情報と、前記インフラカメラで取得した画像における前記移動体を示す画素の位置との対応付けが可能となるように、前記移動体を交通管制する。

【0024】

これにより、自己位置を検出可能な移動体から取得した自己位置情報と、インフラカメラで取得した画像における当該移動体を示す画素の位置と対応付けを阻害するような他の移動体の影響を排除することができる。

【0025】

第９の態様は、第８の態様において、前記交通管制部は、前記変換テーブル生成部が前記変換テーブルを生成する際に前記対応付けが可能となるように、前記変換テーブルを生成する領域を通過する前記移動体を限定する交通管制、該領域を通過する前記移動体の間隔を拡大する交通管制、及び該領域を通過する前記移動体の車速を低下させる交通管制のいずれかを行う。

【発明の効果】

【0026】

本発明は、インフラカメラの画像から検出した物体の３次元座標を求めるための変換テーブルを効率的に生成及び更新する、という効果を有する。

【図面の簡単な説明】

【0027】

【図1】本発明の第１の実施形態に係る管制制御システムの構成の一例を示したブロック図である。

【図2】自動運転装置の構成の一例を示したブロック図である。

【図3】物体検出装置の構成の一例を示したブロック図である。

【図4】交通管制を行う管制エリアに設置された複数のインフラカメラの例を示した概略図である。

【図5】物体検出装置の車両検出部において、広角の画角を持つインフラカメラで取得した画像から矩形で示された領域内に車両を検出した場合を示した概略図である。

【図6】画像中の位置から周辺環境における３次元位置を示す３次元座標を求める場合の一例を示した説明図である。

【図7】交通管制で用いる環境マップの一例を示した概略図である。

【図8】道路の位置及び形状並びに接続情報などを保持した走行ルート地図の一例を示した概略図である。

【図9】２台の車両の経路が交錯する干渉地点の一例を示した概略図であり、（Ａ）は交差点を、（Ｂ）は車両が合流する地点を各々示している。

【図10】干渉地点における仮想交通ルールの管制制御ポリシーの一例を示した説明図であり、（Ａ）は車両Ｐが優先車両の場合、（Ｂ）は車両Ｑが優先車両の場合を各々示している。

【図11】変換テーブル生成装置の構成の一例を示したブロック図である。

【図12】変換テーブル生成処理の一例を示したフローチャートである。

【図13】自動運転車両である車両から無線通信により取得した車両の自己位置情報と、インフラカメラで取得した画像からの車両の検出結果とから変換テーブルを生成する場合の一例を示した説明図である。

【図14】画像からの検出結果を２台の車両のいずれかの自己位置情報と対応付ける判定が困難な場合を例示した説明図である。

【図15】画像からの検出結果を２台の車両のいずれかの自己位置情報と対応付けが可能な場合を例示した説明図である。

【図16】画像上の位置と実際の３次元座標とが対応付けられた変換テーブルのデータを、インフラカメラで取得した画像上にプロットした状態を示した概略図である。

【図17】干渉地点から遠い領域で変換テーブルを疎らに生成する場合を示した説明図である。

【図18】画像上の位置と実際の３次元座標とが対応付けられた変換テーブルのデータを、インフラカメラで取得した画像上にプロットした状態を示した概略図である。

【図19】物体検出装置の位置計測部で画像から検出した検出位置が、変換テーブルで道路を示す位置よりも大きくずれる誤差が生じた場合の一例を示した説明図である。

【発明を実施するための形態】

【0028】

［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態の一例を詳細に説明する。

【0029】

図１に示すように、本実施形態に係る管制制御システム１００は、自動運転装置１０、車両データ受信装置３０、交通管制装置３２、走行ルート地図データベース３４、インフラカメラ４０、物体検出装置５０、変換テーブル生成装置６０、変換テーブルデータベース７２、及び環境マップ生成装置８０から構成されている。

【0030】

自動運転装置１０は、各種センサで取得した情報に基づいて自己位置を推定し、推定した自己位置に基づいて移動体である車両を走路上で所定の速度で走行するように制御する等の車両の自動運転を司る装置である。車両データ受信装置３０は、自動運転装置１０を有する車両から当該車両の位置情報を受信する装置である。

【0031】

インフラカメラ４０は、道路上を走行する車両を動画撮影可能な既設の監視カメラ等である。物体検出装置５０は、インフラカメラで取得した画像から物体検出を行い、後述する変換テーブルデータベース７２に格納された変換テーブルを参照して、検出した物体の周辺環境における３次元位置を求める装置である。変換テーブル生成装置６０は、インフラカメラ４０で取得した画像における物体の位置を実際の３次元位置に変換するための変換テーブルを生成する装置である。変換テーブルデータベース７２は、変換テーブル生成装置６０で生成した変換テーブルを格納するためのデータベースである。

【0032】

環境マップ生成装置８０は、複数のインフラカメラ４０の検出結果を統合し、車両が地図上のどこに存在しているかを記述した環境マップを生成する装置である。

【0033】

交通管制装置３２は、環境マップ生成装置８０で生成された環境マップの情報と車両データ受信装置３０で受信した車両の位置等の車両データ、並びに走行ルート地図データベース３４に格納された道路の位置、道路の形状、及び交差点等での優先路の情報等を保持した走行ルート地図を用いて、交差点における車両同士の干渉を回避させるための仮想交通ルールを生成する装置である。

【0034】

図２は、自動運転装置１０の構成の一例を示したブロック図である。自動運転装置１０は、車両に取り付けられている。図２に示したように自動運転装置１０は、車載内界センサ１２、車載外界センサ１４、自己位置推定部１６、データ送信部１８、局所経路生成部２０、データ受信部２２、及び制御部２４を含む。

【0035】

車載内界センサ１２は、ジャイロセンサ、又は車輪速センサ等の車両自身の状態を検知するセンサである。車載外界センサ１４は、車載カメラ、ＧＰＳ（Global Positioning System）、又はＬＩＤＡＲ（Light Detection and Ranging）等の車両以外の状況(外界状況)を検知するセンサである。

【0036】

自己位置推定部１６は、車載内界センサ１２又は車載外界センサ１４から得られる情報と、予め保持している地図とを対応付けて、自車両の当該地図上の位置を推定する。

【0037】

データ送信部１８は、自己位置推定部１６で推定した自車両の位置と共に、自車両の速度及び制御状態等の情報を車両データ受信装置３０に送信する。車両データ受信装置３０が受信した情報は、後述するように、交通管制装置３２及び変換テーブル生成装置６０で利用される。

【0038】

データ受信部２２は、データ送信部において送信された情報と環境マップ生成装置８０で生成された環境マップの情報に基づいて交通管制装置３２で生成された仮想的な交通ルールを受信する。

【0039】

局所経路生成部２０は、データ受信部２２で受信した仮想交通ルールと、自車両の位置、自車両の姿勢、及び自車両の速度の各々の情報とを用いて、例えば、１０ｍ先までの局所的な経路を生成する。

【0040】

制御部２４は、生成された局所経路に対応した自車両の最適な制御指令値（速度、加速度、及びジャーク）を算出し、自車両の制御を行う。

【0041】

図３は、物体検出装置５０の構成の一例を示したブロック図である。物体検出装置５０は、インフラカメラ４０で取得した画像から車両を検出する車両検出部５２と、検出した車両の実際の３次元位置を推定する位置計測部５４とを含む。本実施形態では、インフラカメラで認識する対象を車両として説明するが、対象は車両以外にも歩行者や自転車としてもよい。

【0042】

車両検出部５２は、図４に示したような、交通管制を行う管制エリア４４に設置された複数のインフラカメラ４０（４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｅ、４０Ｆ、４０Ｇ、４０Ｈ、４０Ｉ、４０Ｊ、４０Ｋ、４０Ｌ、４０Ｍ）の各々が取得した画像から車両を検出する。車両の検出には、一例として、ＹＯＬＯｖ３等の既知の技術を用いる。車両検出部５２で検出した画像内の車両の位置の情報は、変換テーブル生成装置６０と、物体検出装置５０の位置計測部５４とに出力される。

【0043】

物体検出装置５０は、インフラカメラ４０で取得した画像における物体の位置を実際の３次元位置に変換するための変換テーブルがすでに存在している場合には、位置計測部５４で既存の変換テーブルを参照して画像内に存在する車両の実際の３次元位置を推定する。一方で、変換テーブルが利用できない場合（存在しないか、利用不可の場合）には、車両検出部５２の検出結果を変換テーブル生成装置６０へ出力し、変換テーブル生成装置６０で変換テーブルを生成する。

【0044】

図５は、物体検出装置５０の車両検出部５２において、広角の画角を持つインフラカメラ４０で取得した画像から矩形２０２で示された領域内に車両２００を検出した場合を示した概略図である。車両検出部５２では画像中の車両２００の位置を検出できるが、ＥＮＵ座標値のような実際の３次元位置を直接求めることができない。特に、広角の画角をもつカメラで取得した画像の端部は特に歪曲が大きく、キャリブレーションボードを用いたキャリブレーションを行った上で、正しい３次元位置を算出することは容易ではない。本実施形態では、物体検出装置５０の位置計測部５４において、画像中の位置と実際の３次元位置とを対応付けた変換テーブルを利用して、画像中の車両２００の位置から、車両２００の実際の３次元位置を求める。本実施形態に係る変換テーブルは、交通管制装置３２で利用する走行ルート地図と対応付けられているため、図５に示した画像における矩形２０２の位置座標から、車両２００の走行ルート地図上の位置（車両２００の実際の３次元位置）を必要な精度で容易に求めることができる。

【0045】

まず、変換テーブルが存在している場合について管制制御システム１００の説明をする。図６は、画像中の位置から周辺環境における３次元位置を示す３次元座標を求める場合の一例を示した説明図である。本実施形態では、図６に示したように、車両２００を検出した結果の矩形２０２の中心座標を抽出し、矩形中心座標値ともっとも近い又は一致する座標値を持つデータ３０２を変換テーブル３００から抽出し、抽出したデータ３０２に含まれるＥＮＵ座標値を画像から検出された車両２００の３次元位置とする。位置計測部５４は、画像から検出された車両２００の３次元位置の情報を環境マップ生成装置８０に出力する。

【0046】

物体検出装置５０により、管制制御システム１００が車両２００を管制する管制エリア４４に設置された複数のインフラカメラ４０で取得した各々の画像から車両２００の３次元位置を求められるが、インフラカメラ４０の視野（撮影範囲）が重なる部分では同じ車両２００を異なるインフラカメラ４０で検出している場合がある。また、誤検出によりいずれかのインフラカメラ４０でのみ車両２００ではない物体（例えば、樹木など）を誤検出していることもある。環境マップ生成装置８０では、かかる複数のインフラカメラ４０で取得した画像から車両２００の検出結果を統合し、最終的に管制エリア４４のどこに車両２００が存在しているかを記述した、図７に示すような環境マップを生成する。図７では、車両２００Ａ、２００Ｂ、２００Ｃのように、３台の車両２００の位置が示されている。車両２００の位置は、車両２００の走行により時系列で変化するので、環境マップ生成装置８０では、一例として、物体検出装置５０から車両２００の３次元位置の情報が入力される毎に環境マップを生成する。環境マップ生成装置８０が生成する環境マップには、車両２００の位置だけでなく、車両２００の速度、車両２００の姿勢角、車両２００の予測経路、車両２００の所定位置の予測通過時刻、及び車両２００が交通管制装置３２と通信できているか否かを示すコネクティッド情報又は非コネクティッド情報を保持させてもよい。

【0047】

本実施形態に係る管制制御システム１００の交通管制装置３２は、環境マップ生成装置８０で生成した環境マップの情報と、車両データ受信装置３０で受信した車両２００の位置等の車両データと、図８に示したような道路の位置及び形状並びに接続情報などを保持した走行ルート地図を用いて、例えば、交差点における車両の干渉を回避させるための仮想交通ルールを生成する。一例として、図８では、車線区間Ａが優先車線であり、制限速度が３０ｋｍ／ｈであると共に、道路上に車両２００が経由する経由点と経由点を繋いだ経由点列が表示されている。また、図８では、車線区間Ｂが非優先車線であり、制限速度が２０ｋｍ／ｈであると共に、道路上に車両２００が経由する経由点と経由点を繋いだ経由点列が表示されている。なお、交通管制装置３２は、物体検出装置５０で変換テーブルが利用できない場合は、車両データ受信装置３０で受信した車両データのみを利用して仮想交通ルールを生成してもよい。

【0048】

図９は２台の車両の経路が交錯する交点（干渉地点）の一例を示した概略図であり、（Ａ）は交差点を、（Ｂ）は車両２００が合流する地点を各々示している。

【0049】

図９に示したような２台の車両の経路が交錯する干渉地点がある場合には、交通管制装置３２は、仮想交通ルールの管制制御ポリシーに従ってどちらの車両が優先かを判定し、優先車両が干渉地点を通過する間、非優先車両が通過できないように時空間的な制約条件を仮想交通ルールとして非優先車両へ配信する。

【0050】

図１０は、干渉地点Ｘにおける仮想交通ルールの管制制御ポリシーの一例を示した説明図であり、（Ａ）は車両Ｐが優先車両の場合、（Ｂ）は車両Ｑが優先車両の場合を各々示している。

【0051】

図１０に示したように、管制制御ポリシーは、干渉地点Ｘの状態ＳＸを０、１の２値で表現し、状態ｓｘは干渉地点Ｘにおける車両Ｐ、Ｑの通過優先順位を表す。本実施形態では、車両Ｐが優先の場合は状態ＳＸ＝０、車両Ｑが優先の場合はＳＸ＝１である。

【0052】

図１０（Ａ）は、車両Ｐが優先されるＳＸ＝０の場合を示すので、車両Ｐが干渉地点Ｘを通過すると予想されている時刻ｔ^p _beginとｔ^p _endとの間は、車両Ｑは干渉地点Ｘへの進入が禁止される。

【0053】

図１０（Ｂ）は、車両Ｑが優先されるＳＸ＝１の場合を示すので、車両Ｑが干渉地点Ｘを通過すると予想されている時刻ｔ^q _beginとｔ^q _endとの間は、車両Ｐは干渉地点Ｘへの進入が禁止される。

【0054】

図１０に示した例では、状態ＳＸの値と進入禁止時間とを仮想交通ルールとする。通過優先順位は、たとえば、「２台のうちいずれかが交通管制装置３２と通信を行っていない非コネクティッド車両であれば、この非コネクティッド車両を優先と判定する」又は「干渉地点Ｘに先に進入する車両を優先とする」等が考えられる。

【0055】

図１１は、変換テーブル生成装置６０の構成の一例を示したブロック図である。変換テーブル生成装置６０は、管制制御システム１００が稼働直後である場合、又は新たにインフラカメラ４０が設置された場合等、変換テーブルが利用できない場合において変換テーブルを生成する装置である。

【0056】

図１１に示したように、変換テーブル生成装置６０は、車両データ抽出部６２と、データ利用可否判定部６４と、データ対応付け処理部６６と、データ保存部６８と、変換テーブル生成部７０とを含む。

【0057】

自動運転装置１０を備えた自動運転車両が管制制御システム１００のカバー範囲である管制エリア４４を走行している場合には、図１に示したように自動運転装置１０は車両データ受信装置３０に自己位置情報を送信する。車両データ受信装置３０は、管制制御システム１００の管制エリア４４を走行している複数の自動運転車両から自己位置情報を受信する。

【0058】

また、管制制御システム１００の管制エリア４４に設置されたインフラカメラ４０の各々では、物体検出装置５０の車両検出部５２において一定の周期で車両検出が行われている。かかる場合に、インフラカメラ４０の設置位置は走行ルート地図上における大まかな場所が既知であるので、変換テーブル生成装置６０の車両データ抽出部６２では、対応するインフラカメラ４０で撮影される可能性のある自動運転車両の自己位置情報を抽出する。

【0059】

変換テーブル生成装置６０のデータ利用可否判定部６４は、車両検出部５２で検出されたインフラカメラ４０で取得した画像からの自動運転車両の検出結果、及び自動運転車両から車両データ受信装置３０と車両データ抽出部６２とを介して取得した自己位置情報の組み合わせの各々が変換テーブル生成に利用できるかを判定する。データ利用可否判定部６４は、インフラカメラ４０で取得した画像からの自動運転車両の検出結果と自動運転車両の自己位置情報とが同一の自動運転車両のものである場合に、画像からの自動運転車両の検出結果と自動運転車両の自己位置情報との組み合わせが変換テーブル生成に利用できると判定する。

【0060】

図１３は、自動運転車両である車両２００から無線通信により取得した車両２００の自己位置情報と、インフラカメラ４０で取得した画像からの車両２００の検出結果とから変換テーブルを生成する場合の一例を示した説明図である。図1３では一例として、車両２００を検出した矩形２０２の中心座標を車両の位置としているが、矩形２０２の下端中央など別の位置を車両の位置としてもよい。

【0061】

図１３に示したように、変換テーブル生成装置６０は、車両データ受信装置３０を介して車両２００の自己位置情報を取得すると共に、物体検出装置５０によるインフラカメラ４０で取得した画像からの自動運転車両の検出結果を取得する。変換テーブル生成装置６０は、データ利用可否判定部６４で、取得した車両２００の自己位置情報と画像からの自動運転車両の検出結果とが同一の車両の情報かを判定する。

【0062】

図１３に示したように画像中に走行している車両２００が１台であり、車両データ受信装置３０を介して取得した車両２００の自己位置情報が１つの場合には、後述するデータ対応付け処理部でのデータ対応付けが容易なので、データ利用可否判定部６４は、利用可のデータと判定する。

【0063】

しかしながら、インフラカメラ４０で取得した画像中に自動運転で走行している車両と、自動運転装置１０を備えず手動で運転されている車両とが複数存在している場合には、画像から多数の車両が検出される。かかる場合には、取得した車両２００の自己位置情報の数が、画像からの自動運転車両の検出結果の数より小さくなり、画像からの検出結果と各々の車両の自己位置情報との対応が困難で、誤った対応をしてしまう可能性が高いため、データ利用可否判定部６４は、利用不可のデータと判定する。

【0064】

また、図１４に示したようにインフラカメラ４０で取得した画像中に各々自動運転されている車両Ａと車両Ｂとが重なりあっている場合には、車両Ａ、Ｂの各々の自己位置情報が得られるが、画像中から１つの検出結果しか得られないので、画像からの検出結果を２台の車両Ａ、Ｂのいずれの自己位置情報と対応付けるかの判定が困難である。従って、図１４に示したように、２台分の車両の自己位置情報を取得し、かつ車両Ａの自己位置情報と、車両Ｂの自己位置情報とが非常に近い場合、データ利用可否判定部６４は、利用不可のデータと判定する。

【0065】

また、データ利用可否判定部６４は、上記以外の場合であって、取得した車両２００の自己位置情報の数と、画像からの自動運転車両の検出結果の数とが同じ場合には、利用可のデータと判定する。

【0066】

変換テーブル生成装置６０のデータ対応付け処理部６６は、利用可と判定されたデータが、複数の車両２００の自己位置情報の数と、複数の自動運転車両の検出結果の数とが同じである場合、車両データ受信装置３０が受信した複数の自己位置情報の各々について、物体検出装置５０の車両検出部５２が検出した結果から対応するものを探索する。自己位置情報と画像からの検出結果とがそれぞれ１つずつであれば容易に対応付けが行える。しかしながら、図１５に示すように、自己位置情報が２つ、画像からの検出結果が２つの場合には、インフラカメラ４０の設置位置と向きとの情報から、画像中の大まかな３次元座標値の差異、一例としてＮ座標値の大小関係を推定できるので、かかる関係を利用してデータの対応付けを行う。

【0067】

変換テーブル生成装置６０のデータ保存部６８は、変換テーブル生成のために必要な一定量のデータが集まるまで対応付けられたデータを保存する。集めるデータは一定期間（例えば１日）としてもよいし、各画素についての最低データ数を指定してもよい。

【0068】

変換テーブル生成装置６０の変換テーブル生成部７０は、データ保存部６８に保存されたデータを用いて図１３に示したような変換テーブルを生成する。変換テーブル生成部７０は、インフラカメラ４０の画像のある画素に対して複数のデータが保存されている場合は、全データの平均位置など複数のデータを用いて３次元座標値を求めて、変換テーブルを生成する。

【0069】

図１２は、変換テーブル生成処理の一例を示したフローチャートである。図１２に示した処理は、ステップ５００～５０４で示した車両データ受信ループとステップ６００～６０４で示した車両検出ループとがそれぞれ非同期に実行されるので、ステップ７００の利用可能判定処理では、車両データと車両検出結果との各々の取得時間が近いもの同士を選択している。

【0070】

車両データ取得ループのステップ５００では、車両データ受信装置３０で車両２００の自己位置情報を示す車両データを受信する。

【0071】

ステップ５０２では、インフラカメラ４０に対応する車両データを抽出する。前述のように、インフラカメラ４０の各々は、設置位置が既知なので、一例として、ステップ５０２では、車両データが示す車両２００の自己位置がインフラカメラ４０の設置位置から一定の距離以内のすべての車両２００の車両データを抽出する。または、インフラカメラ４０の撮影範囲が既知の場合は、車両データが示す車両２００の自己位置が当該撮影範囲内の車両２００の車両データを抽出する。

【0072】

ステップ５０４では、ステップ５０２でインフラカメラ４０に対応する車両データが存在するか否かを判定する。ステップ５０４で当該車両データが存在すると判定した場合は、手順をステップ７００に移行する。ステップ５０４で当該車両データが存在しないと判定した場合は、手順をステップ５００に移行する。

【0073】

車両検出ループのステップ６００では、物体検出装置５０がインフラカメラ４０で撮影した画像を取得する。そして、ステップ６０２では、取得した画像から車両２００を検出する。

【0074】

ステップ６０４では、ステップ６０２で車両を検出したか否かを判定する。ステップ６０４で車両を検出したと判定した場合は、手順をステップ７００に移行する。ステップ６０４で車両を検出しなかったと判定した場合は、手順をステップ６００に移行する。

【0075】

ステップ７００では、変換テーブル生成装置６０のデータ利用可否判定部６４で、車両データと画像からの検出結果とが利用可能であるかを判定する利用可能判定処理を行う。

【0076】

ステップ７０２では、利用可能な場合は手順をステップ７０４に移行し、利用可能ではない場合は手順をステップ６００に移行する。

【0077】

ステップ７０４では、利用可能と判定されたデータを記憶装置に保存する。このとき、利用可能と判定されたデータについて、自己位置情報と画像からの検出結果との対応付けを行う。そしてステップ７０６では、記憶装置に保存したデータが変換テーブルの生成に必要なデータ数に達したか否かを判定し、必要なデータ数を充足する場合は手順をステップ７０８に移行し、必要なデータ数を充足しない場合は手順をステップ６００に移行する。

【0078】

ステップ７０８では、保存されたデータを用いて変換テーブルを生成して処理を終了する。

【0079】

図１２に示した処理はデータの取得に対してリアルタイムで行う必要はなく、一定期間のデータを保存しておき、保存されたデータに対して処理を行ってもよい。

【0080】

図１６は、画像上の位置と実際の３次元座標とが対応付けられた変換テーブルのデータを、インフラカメラ４０Ｆ、４０Ｇで取得した画像上にプロットした状態を示した概略図である。管制制御システム１００が管制を行う自動運転車両は、道路の走行レーン地図３０６上を走行するため、図１６において軌跡３０４で示したように、インフラカメラ４０Ｆ、４０Ｇの画像の道路上のみに変換テーブルのデータが生成される。管制制御システム１００においては、利用する走行レーン地図３０６上の位置が求められればよいので、画像の全画素に対応した変換テーブルは不要である。

【0081】

このように生成された変換テーブルは実際の３次元座標を求める際に用いるだけでなく、物体検出装置５０における誤検出除去にも利用可能である。変換テーブルから大きく離れた位置に検出されたものは、車両２００の誤検出とみなすことができる。さらには、変換テーブル周辺のみを物体検出装置５０の車両検出部５２の探索範囲に設定することができる。

【0082】

以上説明したように、本実施形態によれば、車両データ受信装置３０を介して自己位置が検出可能な車両２００から得た車両２００の位置情報と、物体検出装置５０が備える車両検出部５２によるインフラカメラ４０の画像からの検出結果とを対応させることで、インフラカメラ４０の画像から検出した物体の３次元座標を求めるための変換テーブルを効率的に生成及び更新することができる。

【0083】

管制制御システム１００が管制を行う自動運転車両は道路上を走行するため、変換テーブルの位置データは、インフラカメラ４０の画像の道路を示す画素と対応したものがあればよく、当該画像の全画素に対する位置データを要しない。従って、本実施形態によれば、インフラカメラ４０の画像から検出した物体の３次元座標を求めるための変換テーブルを簡易迅速に生成することができる。さらには、インフラカメラ４０の画像において、変換テーブルの位置データが対応する画素の周辺のみを物体検出装置５０の車両検出部５２による探索範囲とすることにより、変換テーブルの更新時における物体検出装置５０の演算負荷を抑制することができる。

【0084】

また、本実施形態によれば、生成された変換テーブルを、車両２００の実際の３次元座標を求める際に用いるだけでなく、物体検出装置５０における誤検出除去にも利用できる。例えば、インフラカメラ４０の画像において変換テーブルから大きく離れた位置に検出された物体は、物体検出装置５０による誤検出とみなすことができる。また、物体検出装置５０による変換テーブルの参照結果を時系列的に保存しておけば、インフラカメラ４０の画像において変換テーブルから大きく離れた位置に物体が検出される事例が連続して複数回生じたような場合に、変換テーブルの更新の要否を自動的に判定することができる。

【0085】

［第２の実施形態］
続いて、図面を参照して本発明の第２の実施形態の一例を詳細に説明する。本実施形態は、交差点等の干渉地点から距離に応じて生成する変換テーブルの情報の精度を変える点で第１の実施形態と相違するが、その他の構成については第１の実施形態と同じなので、かかる構成については第１の実施形態と同一の符号を付して詳細な説明は省略する。

【0086】

交通管制装置３２が車両に対して制約条件を生成し、生成した制約条件に基づいて管制を行う場所は、図９に示したような交差点等の車両同士が干渉する場所（干渉地点）、又は横断歩道等の車両と歩行者との干渉の可能性がある地点であるので、走行レーン上での位置は既知である。また、干渉を回避するには干渉地点等の周辺においては高い精度でインフラカメラ４０から検出された車両の３次元位置が求められるが、それ以外の場所では高い精度で３次元位置が必要ではない場合があり、かかる場合であれば、車両の大まかな存在位置が分かればよい。従って、干渉地点等からの距離に応じて変換テーブルの精度を変えることができる。

【0087】

図１７に具体例を示す。図１７に示したように、走行レーン地図３０６上には干渉地点３１０があるので、インフラカメラ４０Ｆに対する変換テーブルを生成する際には、第１の実施形態と同様に、干渉地点を含む領域に対応する画素は、密に３次元座標との対応付けを有するように変換テーブルを生成し、高い精度で変換テーブルを生成する。一方、インフラカメラ４０Ｇに対する変換テーブルを生成する際には、干渉地点３１０から離れているので、各画素に対して疎に３次元座標との対応付けを有するように変換テーブルを生成し、精度の低い変換テーブルを生成する。

【0088】

図１７のインフラカメラ４０Ｇのカメラ画像１１０から物体検出装置５０の車両検出部５２が車両を検出する範囲を、矩形２０４、２０６、２０８で示したように一定間隔の狭い範囲のみに限定し、この範囲内の検出結果のみを利用して変換テーブルを生成する。

【0089】

図１８は、画像上の位置と実際の３次元座標とが対応付けられた変換テーブルのデータを、インフラカメラ４０Ｆ、４０Ｇで取得した画像上にプロットした状態を示した概略図である。本実施形態で生成した変換テーブルは、インフラカメラ４０Ｇで取得した画像に基づくデータが第１の実施形態の場合よりも疎に配置される。

【0090】

図１８では、干渉地点３１０に近いインフラカメラ４０Ｆで取得した画像１１２では、変換テーブルのデータは密な軌跡３１４を示すが、干渉地点３１０から遠いインフラカメラ４０Ｇで取得した画像１１４では、変換テーブルのデータは疎な軌跡３１６を示す

【0091】

図１７、１８での例示では、インフラカメラ４０Ｆ、４０Ｇの各々の撮影範囲毎に変換テーブルのデータの粗密を変えたが、矩形２０４、２０６、２０８で示したような画像の領域毎にデータの粗密を変えてもよい。例えば、干渉地点３１０から最も遠い矩形２０４のデータを大幅に疎にし、干渉地点３１０から２番目に遠い矩形２０６のデータを中程度に疎にし、干渉地点３１０に近い矩形２０８のデータを若干疎にする。また、矩形２０４、２０６、２０８のデータの粗密は、一例として、矩形領域内の画像から車両２００を検出する場所を増減させることにより、変化させることができる。

【0092】

以上説明したように、本実施形態によれば、変換テーブルのデータの精度を状況に応じて低下させることにより、変換テーブル生成の時間短縮が可能になると共に、変換テーブルのサイズを抑制できる。

【0093】

また、本実施形態では、車両検出処理において、データが疎に配置された変換テーブルに対応する場所周辺のみを探索すればよいので、車両検出処理の高速化が可能となるという効果がある。

【0094】

［第３の実施形態］
続いて、図面を参照して本発明の第３の実施形態の一例を詳細に説明する。本実施形態は、変換テーブルの更新の必要性を判定する点で第１の実施形態と相違するが、その他の構成については第１の実施形態と同じなので、かかる構成については第１の実施形態と同一の符号を付して詳細な説明は省略する。

【0095】

変換テーブルは物体検出装置５０の位置計測部５４において利用される。本実施形態では、図６に示したように画像の検出位置から変換テーブルの最近傍の座標値を探索することで、実際の３次元位置を算出する。

【0096】

しかしながら、道路工事等で道路形状が変化した場合には、図１９に示したように、物体検出装置５０の位置計測部５４で画像から検出した検出位置３３２が、変換テーブルで道路を示す位置３１８、３２０よりも大きくずれる領域３３０が、画像中の特定の位置で発生する。

【0097】

本実施形態では、物体検出装置５０の位置計測部５４において、検出位置３３２と、最新の変換テーブルが示す最も近い位置との誤差を計測することで現状の変換テーブルの更新の必要性を判断することができる。

【0098】

［第４の実施形態］
続いて、本発明の第４の実施形態の一例を詳細に説明する。本実施形態は、変換テーブル生成時に交通管制装置３２により車両２００の通行を制限する点で第１の実施形態と相違するが、その他の構成については第１の実施形態と同じなので、かかる構成については第１の実施形態と同一の符号を付して詳細な説明は省略する。

【0099】

第１の実施形態で示したように、変換テーブルを生成する場合には、車両が近接していると生成が困難となる場合があるので、変換テーブル生成している場所では、多数の車両が同時に通過しないようにすれば、無効となるデータを減らすことができる。

【0100】

本実施形態では、交通管制装置３２により、変換テーブル生成場所を通過する車両２００を限定するよう経路を変えたり、仮想交通ルールを使って車両間隔を広げたりすることで、変換テーブルの生成をしやすくすることができる。

【0101】

また、本実施形態では、変換テーブル生成場所を通過する車両２００を限定した際に、車両２００をゆっくり走らせて変換テーブルの生成に必要なデータを密に取得することが可能となる。

【0102】

さらに本実施の形態では、車両２００の走行車線を指定して、車線毎に変換テーブルの生成に必要なデータを取得することも可能である。

【符号の説明】

【0103】

１０ 自動運転装置
１２ 車載内界センサ
１４ 車載外界センサ
１６ 自己位置推定部
１８ データ送信部
２２ データ受信部
２４ 制御部
３０ 車両データ受信装置
３２ 交通管制装置
３４ 走行ルート地図データベース
４０ インフラカメラ
５０ 物体検出装置
５２ 車両検出部
５４ 位置計測部
６０ 変換テーブル生成装置
６２ 車両データ抽出部
６４ データ利用可否判定部
６６ 処理部
６８ データ保存部
７０ 変換テーブル生成部
７２ 変換テーブルデータベース
８０ 環境マップ生成装置
１００ 管制制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】