ホーム > 特許ランキング > 株式会社豊田中央研究所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】管制装置、管制制御システム、及びプログラム
(51)【国際特許分類】
G08G 1/04 20060101AFI20240409BHJP
H04N 7/18 20060101ALI20240409BHJP
G16Y 10/40 20200101ALI20240409BHJP
G16Y 20/20 20200101ALI20240409BHJP
G16Y 40/60 20200101ALI20240409BHJP
【ＦＩ】
G08G1/04 D
H04N7/18 D
G16Y10/40
G16Y20/20
G16Y40/60
【請求項の数】
12
(21)【出願番号】P 2021027666
(22)【出願日】2021-02-24
(65)【公開番号】P2022129103
(43)【公開日】2022-09-05
【審査請求日】2023-03-15
(73)【特許権者】
【識別番号】000003609
【氏名又は名称】株式会社豊田中央研究所
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】後藤 邦博
(72)【発明者】
【氏名】奥村 文洋
(72)【発明者】
【氏名】中村 亮裕
【審査官】佐藤 吉信
(56)【参考文献】
【文献】特開２０１３－０９７５３２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
(57)【特許請求の範囲】
【請求項1】
移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、
前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備え、
前記物体検出部は、検出された前記移動体の前記画像中の位置から地図上の位置を求めることで、当該移動体の位置を推定する管制装置。
【請求項2】
移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、
前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、
前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備え、
前記物体検出部は、前記画像中の前記移動体を矩形で示す矩形情報と、前記矩形情報が前記移動体を捉えている矩形の誤差である検出の不確かさとを算出し、
前記物体検出精度推定部は、前記検出の不確かさから前記検出精度を算出する、管制装置。
【請求項3】
移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、
前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、
前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備え、
前記物体検出精度推定部は、前記物体検出部により複数の前記インフラカメラで前記移動体が検出されない場所については、最も低い検出精度が得られたものとして前記検出精度を算出する管制装置。
【請求項4】
移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、
前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、
前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備え、
前記物体検出精度推定部は、前記物体検出部の一定期間の検出結果を利用して検出精度を推定する管制装置。
【請求項5】
前記物体検出部で推定された前記移動体の位置と、前記インフラカメラネットワーク状態推定部で推定された前記インフラカメラネットワークの状態とに応じて、交通管制を行う交通管制部を備える請求項１～４の何れか１項に記載の管制装置。
【請求項6】
前記物体検出部で推定された前記移動体の位置と、前記インフラカメラネットワーク状態推定部で推定された前記インフラカメラネットワークの状態とに応じて、環境マップを生成する環境マップ生成部を備える請求項１に記載の管制装置。
【請求項7】
前記物体検出精度推定部は、前記物体検出部により推定された前記移動体の位置に相当する地図上の位置に、当該位置で検出された前記検出の不確かさを配置する検出精度マップを作成する請求項１～６の何れか１項に記載の管制装置。
【請求項8】
前記インフラカメラネットワーク状態推定部は、予め定められたエリアに対する複数の前記インフラカメラにより構築されるインフラカメラネットワークのカバーする範囲と、各前記インフラカメラの前記検出精度とを利用して、前記インフラカメラネットワークの状態を算出する請求項１～７の何れか１項に記載の管制装置。
【請求項9】
移動体を含む周辺環境の画像を取得可能に設置されたインフラカメラで取得した画像から当該移動体を検出し、当該画像中の当該移動体を矩形で示す矩形情報と、当該矩形情報が当該移動体を捉えている矩形の誤差である検出の不確かさとを算出する物体検出部と、前記画像と前記検出の不確かさとを学習データとして収集して当該学習データを機械学習することで作成された学習済みの推定モデルを使用して前記インフラカメラで取得する画像から前記検出の不確かさを推定すると共に、当該検出の不確かさに基づいて前記移動体の検出精度を推定する物体検出精度推定部と、
前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備える管制装置。
【請求項10】
前記インフラカメラネットワーク状態推定部により推定された前記インフラカメラネットワークの状態に基づいて、予め定められた条件を満たすインフラカメラの配置を求めるインフラカメラネットワーク構築支援部を備える請求項１～９の何れか１項に記載の管制装置。
【請求項11】
移動体の走行路を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出すると共に、前記画像中の位置を地図上の位置に変換することで、前記移動体の位置を推定する物体検出装置と、前記物体検出装置により検出された前記移動体の検出精度を推定する物体検出精度推定装置と、
前記物体検出精度推定装置により推定された前記検出精度に基づいて、前記インフラカメラの設置状況の状態を推定するインフラカメラネットワーク状態推定装置と、
前記物体検出装置で検出された前記移動体の位置と、前記インフラカメラネットワーク状態推定装置に基づいて推定された複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態と、に応じて、交通管制を行う交通管制装置と、
を備える管制制御システム。
【請求項12】
コンピュータを移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、
前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、
前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、して機能させ、
前記物体検出部は、検出された前記移動体の前記画像中の位置から地図上の位置を求めることで、当該移動体の位置を推定させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は管制装置、管制制御システム、及びプログラムに関する。
【背景技術】
【0002】
車両を含む周辺環境の画像を取得するために設置されたインフラカメラから得られる画像を用いて交通管制を制御する管制制御システムが知られている。管制制御システムでは、複数のインフラカメラから得られる画像から移動体の３次元位置を求めなくてはならない。しかし、各インフラカメラの設置位置や、周辺環境の変化によって、インフラカメラから得られる画像から求められる移動体の３次元位置の精度が低下する可能性がある。また、インフラカメラを適切に配置するためには、設計者の見識と経験に頼る部分が大きく、限られた設計時間の中で性能の優れた配置を実現することが困難である。かかる問題点を解消するためにセンサの配置の評価やセンサ配置の最適化を図る技術が提案されている。
【0003】
特許文献１には、障害物が存在する監視対象領域に配置された複数の監視カメラにおける配置位置の評価を適正に行えるようにする技術が開示されている。
【0004】
特許文献２には、現状のセンサ配置を評価し、それに基づいて新規センサの配置を決定する技術が開示されている。
【0005】
特許文献３には、カメラなどのセンサの設置位置を、人流を考慮して適切に決定することができる技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１１－８６９９５号公報
【文献】特開２０１８－２２２４９号公報
【文献】特開２０１７－２０７８７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１に記載の技術では、エリアカバー率を算出するために、周辺の状況を詳細に記した地図が必要となる。長期間にわたり変化の少ない構造物であれば地図作成も可能であるが、樹木など変化が大きいものや工事など一時的な構造物に対して地図を生成するのは多大なコストが必要となる可能性がある。また、センサ情報を使った処理結果の精度については考慮されていないため、システムにとって適切な評価とはならない場合がある。
【0008】
また、特許文献２に記載の技術では、エリアカバー率だけでなくセンサ性能を考慮しているが、センサからの距離のみで、構造物など周辺環境によるセンシング精度の違いについては考慮されておらず、適切な評価がされない場合がある。
【0009】
また、特許文献３に記載の技術では、センサ特性（画角や距離による検出精度）とエリアカバー率により小領域毎の計測感度を算出している。しかし、人物の検出率についてのみであり、検出位置の精度を考慮していない。検出位置精度がシステム性能に大きく影響する場合には、適用が難しい。また、計測モデル生成に詳細なレイアウト情報が必要となる。地図作成に多くの労力とコストが必要となる可能性がある。
【0010】
本発明は上記事実を考慮して成されたもので、インフラカメラから取得される画像から得られる情報に基づいて、複数のインフラカメラによって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができる管制装置、管制制御システム、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
第１の態様に係る管制装置は、移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備える。
【0012】
第１の態様の管制装置によれば、インフラカメラから取得される画像から得られる情報に基づいて、複数のインフラカメラによって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができる管制装置を提供することが可能となる。
【0013】
第２の態様に係る管制装置は、前記物体検出部は、検出された前記移動体の前記画像中の位置から地図上の位置を求めることで、当該移動体の位置を推定する。
【0014】
第２の態様の管制装置によれば、移動体の地図上の位置を把握した上で、インフラカメラネットワークの状態を推定することができる管制装置を提供することが可能となる。
【0015】
第３の態様に係る管制装置は、前記物体検出部で推定された前記移動体の位置と、前記インフラカメラネットワーク状態推定部で推定された前記インフラカメラネットワークの状態とに応じて、交通管制を行う交通管制部を備える。
【0016】
第３の態様の管制装置によれば、移動体の位置と、インフラカメラネットワークの状態とを把握した上で、交通管制を行うことができる管制装置を提供することが可能となる。
【0017】
第４の態様に係る管制装置は、前記物体検出部で推定された前記移動体の位置と、前記インフラカメラネットワーク状態推定部で推定された前記インフラカメラネットワークの状態とに応じて、環境マップを生成する環境マップ生成部を備える。
【0018】
第４の態様の管制装置によれば、インフラカメラネットワークの状態を把握した上で、環境マップを生成することができる管制装置を提供することが可能となる。
【0019】
第５の態様に係る管制装置は、前記物体検出部は、前記画像中の前記移動体を矩形で示す矩形情報と、前記矩形情報が前記移動体を捉えている矩形の誤差である検出の不確かさとを算出し、前記物体検出精度推定部は、前記検出の不確かさから前記検出精度を算出する。
【0020】
第５の態様の管制装置によれば、インフラカメラから取得される画像を元に、移動体の検出精度を算出することができる管制装置を提供することが可能となる。
【0021】
第６の態様に係る管制装置は、前記物体検出精度推定部は、前記物体検出部により推定された前記移動体の位置に相当する地図上の位置に、当該位置で検出された前記検出の不確かさを配置する検出精度マップを作成する。
【0022】
第６の態様の管制装置によれば、検出精度マップからインフラカメラによる検出の不確かさを把握することができる管制装置を提供することが可能となる。
【0023】
第７の態様に係る管制装置は、前記インフラカメラネットワーク状態推定部は、予め定められたエリアに対する複数の前記インフラカメラにより構築されるインフラカメラネットワークのカバーする範囲と、各前記インフラカメラの前記検出精度とを利用して、インフラカメラネットワークの状態を算出する。
【0024】
第７の態様の管制装置によれば、管制制御に必要なエリアに対するインフラカメラがカバーできていない範囲を考慮してインフラカメラネットワークの状態を算出することができる管制装置を提供することが可能となる。
【0025】
第８の態様に係る管制装置は、前記物体検出精度推定部は、前記物体検出部により複数の前記インフラカメラで前記移動体が検出されない場所については、最も低い検出精度が得られたものとして前記検出精度を算出する。
【0026】
第８の態様の管制装置によれば、インフラカメラで移動体が検出されない場所についても考慮してインフラカメラネットワークの状態を推定することができる管制装置を提供することが可能となる。
【0027】
第９の態様に係る管制装置は、前記物体検出精度推定部は、前記物体検出部の一定期間の検出結果を利用して検出精度を推定する。
【0028】
第９の態様の管制装置によれば、様々な検出結果を利用して検出精度を推定することができる管制装置を提供することが可能となる。
【0029】
第１０の態様に係る管制装置は、移動体を含む周辺環境の画像を取得可能に設置されたインフラカメラで取得した画像から当該移動体を検出し、当該画像中の当該移動体を矩形で示す矩形情報と、当該矩形情報が当該移動体を捉えている矩形の誤差である検出の不確かさとを算出する物体検出部と、前記画像と前記検出の不確かさとを学習データとして収集して当該学習データを機械学習することで作成された学習済みの推定モデルを使用して前記インフラカメラで取得する画像から前記検出の不確かさを推定すると共に、当該検出の不確かさに基づいて前記移動体の検出精度を推定する物体検出精度推定部と、前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、を備える。
【0030】
第１０の態様の管制装置によれば、インフラカメラから取得される画像から得られる情報に基づいて、複数のインフラカメラによって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができる管制装置を提供することが可能となる。
また、機械学習の正解データを用意することなく、インフラカメラで取得した画像からインフラカメラネットワークの状態を推定することができる管制装置を提供することが可能となる。
また、機械学習の正解データを用意することなく、インフラカメラで取得した画像からインフラカメラネットワークの状態を推定することができる管制装置を提供することが可能となる。
【0031】
第１１の態様に係る管制装置は、前記インフラカメラネットワーク状態推定部により推定された前記インフラカメラネットワークの状態に基づいて、予め定められた条件を満たすインフラカメラの配置を求めるインフラカメラネットワーク構築支援部を備える。
【0032】
第１１の態様の管制装置によれば、交通管制に適したインフラカメラの配置を決定することができる管制装置を提供することが可能となる。すなわち、インフラカメラが足りないか、過剰であるかなどを判定することが可能となる。
【0033】
第１２の態様に係る管制制御システムは、移動体の走行路を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出すると共に、前記画像中の位置を地図上の位置に変換することで、前記移動体の位置を推定する物体検出装置と、前記物体検出装置により検出された前記移動体の検出精度を推定する物体検出精度推定装置と、前記物体検出精度推定装置により推定された前記検出精度に基づいて、前記インフラカメラの設置状況の状態を推定するインフラカメラネットワーク状態推定装置と、前記物体検出装置で検出された前記移動体の位置と、前記インフラカメラネットワーク状態推定装置に基づいて推定された複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態と、に応じて、交通管制を行う交通管制装置と、を備える。
【0034】
第１２の態様の管制制御システムによれば、インフラカメラから取得される画像から得られる情報に基づいて、複数のインフラカメラによって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができる管制制御システムを提供することが可能となる。
【0035】
第１３の態様に係るプログラムは、コンピュータを移動体を含む周辺環境の画像を取得可能に複数設置されたインフラカメラで取得した画像から当該移動体を検出する物体検出部と、前記物体検出部により検出された前記移動体の検出精度を推定する物体検出精度推定部と、前記物体検出精度推定部により推定された前記検出精度に基づいて、複数の前記インフラカメラにより構築されるインフラカメラネットワークの状態を推定するインフラカメラネットワーク状態推定部と、して機能させる。
【0036】
第１３の態様のプログラムによれば、インフラカメラから取得される画像から得られる情報に基づいて、複数のインフラカメラによって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができるプログラムを提供することが可能となる。
【発明の効果】
【0037】
本発明は、インフラカメラから取得される画像から得られる情報に基づいて、複数のインフラカメラによって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができる、という効果を有する。
【図面の簡単な説明】
【0038】
【図1】本発明の第１の実施形態に係る管制制御システムの構成の一例を示したブロック図である。
【図2】自動運転装置の構成の一例を示したブロック図である。
【図3】物体検出装置の構成の一例を示したブロック図である。
【図4】交通管制を行う管制エリアに設置された複数のインフラカメラの例を示した概略図である。
【図5】交通管制で用いる環境マップの一例を示した概略図である。
【図6】道路の位置及び形状並びに接続情報などを保持した走行ルート地図の一例を示した概略図である。
【図7】２台の車両の経路が交錯する干渉地点の一例を示した概略図であり、（Ａ）は交差点を、（Ｂ）は車両が合流する地点を各々示している。
【図8】干渉地点における仮想交通ルールの管制制御ポリシーの一例を示した説明図であり、（Ａ）は車両Ｐが優先車両の場合、（Ｂ）は車両Ｑが優先車両の場合を各々示している。
【図9】物体検出精度推定装置の構成の一例を示したブロック図である。
【図10】検出精度マップの生成を説明するための説明図である。
【図11】検出精度マップの一例を示した概略図である。
【図12】重要範囲設定の一例を示した概略図である。
【図13】第１の実施形態に係る管制制御システムの構成の他の一例を示したブロック図である。
【図14】第１の実施形態に係る管制制御システムの構成の他の一例を示したブロック図である。
【図15】本発明の第２の実施形態に係る管制制御システムの構成の一例を示したブロック図である。
【図16】物体検出精度推定装置の処理の流れを示す説明図である。
【図17】検出精度画像の生成を説明するための説明図である。
【図18】本発明の第３の実施形態に係る管制制御システムの構成の一例を示したブロック図である。
【図19】インフラカメラネットワーク構築支援装置の処理の一例を示したフローチャートである。
【図20】品質低下原因の判定について説明する説明図である。
【図21】品質低下原因が低解像度による場合の対応処理について説明する説明図である。
【図22】品質低下原因がセンシング困難パターンによる場合の対応処理について説明する説明図である。
【図23】インフラカメラの間引きについて説明する説明図である。
【発明を実施するための形態】
【0039】
［第１の実施形態］
以下、図面を参照して本発明の第１の実施形態の一例を詳細に説明する。
以下、図面を参照して本発明の第１の実施形態の一例を詳細に説明する。
【0040】
図１に示すように、本実施形態に係る管制制御システム１００は、自動運転装置１０、車両データ受信装置３０、交通管制装置３２、走行ルート地図データベース（ＤＢ）３４、インフラカメラ４０、物体検出装置５０、物体検出精度推定装置７０、環境マップ生成装置８０、及びインフラカメラネットワーク状態推定装置９０から構成されている。各装置は、インターネット回線などのネットワークにより接続されている。また、インフラカメラ４０は、複数台、図１の例では２台設けられ、インフラカメラ４０毎に、物体検出装置５０及び物体検出精度推定装置７０が設けられている。
【0041】
また、各装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、各種プログラムを実行可能なコンピュータで構成されている。各種プログラムは、各装置に予めインストールされていてもよい。また、プログラムは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布し、各装置に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、メモリカード等が想定される。また、物体検出装置５０と物体検出精度推定装置７０とを１つのコンピュータで構成するようにしてもよいし、環境マップ生成装置８０とインフラカメラネットワーク状態推定装置９０とを１つのコンピュータで構成するようにしてもよい。また、物体検出装置５０、物体検出精度推定装置７０、環境マップ生成装置８０及びインフラカメラネットワーク状態推定装置９０を１つのコンピュータで構成してもよい。なお、インフラカメラ４０、物体検出装置５０及び物体検出精度推定装置７０は、２台の場合を図示しているが、これに限定されない。また、物体検出装置５０と物体検出精度推定装置７０とは、各インフラカメラ４０に設けられる場合に限定されず、複数台のインフラカメラ４０につき１台の物体検出装置５０と物体検出精度推定装置７０が設けられるようにしてもよい。また、インフラカメラ４０は、複数台であることが望ましい。
【0042】
自動運転装置１０は、各種センサで取得した情報に基づいて自己位置を推定し、推定した自己位置に基づいて移動体である車両を走路上で所定の速度で走行するように制御する等の車両の自動運転を司る装置である。
【0043】
車両データ受信装置３０は、自動運転装置１０を有する車両から当該車両の位置情報を受信する装置である。
【0044】
インフラカメラ４０は、車両を含む周辺環境の画像を取得可能に設置されたカメラであって、本実施形態では、道路上を走行する車両を動画撮影可能な既設の監視カメラ等である。ここで、車両は、本開示の移動体の一例である。
【0045】
物体検出装置５０は、インフラカメラ４０で撮影されている動画の中から取得した静止画である画像から物体検出を行い、検出した物体の位置を求める装置である。
【0046】
物体検出精度推定装置７０は、物体検出装置５０により検出された車両の検出精度を推定する装置である。
【0047】
環境マップ生成装置８０は、複数のインフラカメラ４０の検出結果を統合し、車両が地図上のどこに存在しているかを記述した環境マップを生成する装置である。かかる地図は、走行ルート地図データベース３４に記憶された走行ルート地図であるが、これに限定されず、例えば、インターネット回線などにより取得した汎用的な地図データを元にした地図であってもよい。
【0048】
インフラカメラネットワーク状態推定装置９０は、物体検出精度推定装置７０により推定された検出精度に基づいて、複数のインフラカメラ４０により構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを推定する装置である。
ここで、インフラカメラネットワークの状態は、後述するが、インフラカメラネットワークの品質、例えば、現状のインフラカメラ４０の配置が適切であるかや、インフラカメラ４０の車両検出の精度が地図上の各地点においてどれくらいあるか、などの自動運転において車両の交通管制に使用する情報が適切に取得できるかという状態を含む。
ここで、インフラカメラネットワークの状態は、後述するが、インフラカメラネットワークの品質、例えば、現状のインフラカメラ４０の配置が適切であるかや、インフラカメラ４０の車両検出の精度が地図上の各地点においてどれくらいあるか、などの自動運転において車両の交通管制に使用する情報が適切に取得できるかという状態を含む。
【0049】
交通管制装置３２は、物体検出装置５０により検出された車両の位置に基づいて環境マップ生成装置８０で生成された環境マップの情報と、インフラカメラネットワーク状態推定装置９０により推定されたインフラカメラネットワークの状態、車両データ受信装置３０で受信した車両の位置等の車両データ、並びに走行ルート地図データベース３４に格納された道路の位置、道路の形状、及び交差点等での優先路の情報等を保持した走行ルート地図を用いて、交差点における車両同士の干渉を回避させるための仮想交通ルールを生成する装置である。
【0050】
図２は、自動運転装置１０の構成の一例を示したブロック図である。自動運転装置１０は、車両に取り付けられている。図２に示したように自動運転装置１０は、車載内界センサ１２、車載外界センサ１４、自己位置推定部１６、データ送信部１８、局所経路生成部２０、データ受信部２２、及び制御部２４を含む。
【0051】
車載内界センサ１２は、ジャイロセンサ、又は車輪速センサ等の車両自身の状態を検知するセンサである。車載外界センサ１４は、車載カメラ、ＧＰＳ（Global Positioning System）、又はＬｉＤＡＲ（Light Detection and Ranging）等の車両以外の状況(外界状況)を検知するセンサである。
【0052】
自己位置推定部１６は、車載内界センサ１２又は車載外界センサ１４から得られる情報と、予め保持している地図とを対応付けて、自車両の当該地図上の位置を推定する。
【0053】
データ送信部１８は、自己位置推定部１６で推定した自車両の位置と共に、自車両の速度及び制御状態等の情報を車両データ受信装置３０に送信する。車両データ受信装置３０が受信した情報は、後述するように、交通管制装置３２で利用される。
【0054】
データ受信部２２は、データ送信部１８において送信された情報、環境マップ生成装置８０で生成された環境マップの情報、及びインフラカメラネットワーク状態推定装置９０の情報に基づいて交通管制装置３２で生成された仮想的な交通ルールを受信する。
【0055】
局所経路生成部２０は、データ受信部２２で受信した仮想交通ルールと、自車両の位置、自車両の姿勢、及び自車両の速度の各々の情報とを用いて、例えば、１０ｍ先までの局所的な経路を生成する。
【0056】
制御部２４は、生成された局所経路に対応した自車両の最適な制御指令値（速度、加速度、及びジャーク）を算出し、自車両の制御を行う。
【0057】
図３は、物体検出装置５０の構成の一例を示したブロック図である。物体検出装置５０は、インフラカメラ４０で取得した画像から車両２００を検出する車両検出部５２と、検出した車両２００の実際の３次元位置を推定する位置計測部５４とを含む。本実施形態では、インフラカメラ４０で認識する対象を車両２００として説明するが、対象は車両２００以外にも歩行者や自転車としてもよい。
【0058】
車両検出部５２は、図４に示したような、交通管制を行う管制エリア４４に設置された複数のインフラカメラ４０（４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｅ、４０Ｆ、４０Ｇ、４０Ｈ、４０Ｉ、４０Ｊ、４０Ｋ、４０Ｌ、４０Ｍ）の各々が取得した画像から車両２００を検出する。車両２００の検出には、一例として、ＹＯＬＯｖ３やＧａｕｓｓｉａｎ ＹＯＬＯｖ３等の既知の技術を用いる。車両検出部５２で検出した画像内の車両２００の位置の情報は、物体検出装置５０の位置計測部５４に出力される。ここで、車両検出部５２による車両２００の検出は、インフラカメラ４０から画像を取得する毎に行われているが、これに限定されず、予め定められた周期毎に行ってもよい。
【0059】
位置計測部５４は、車両検出部５２で検出された結果を用いて地図座標上の車両位置を求める。車両位置は、既知の技術である、インフラカメラ４０の姿勢などのカメラ外部パラメータ、インフラカメラ４０の焦点距離などのカメラ内部パラメータ、インフラカメラ４０の画像上の検出矩形位置の情報から算出してもよいし、地図上の位置と画像の位置とを変換する変換テーブルと検出矩形位置とを用いる方法（中村亮裕，加藤武男，後藤邦博，大濱吉紘，清水司，“自動・手動車両混在環境での交通管制のための車両追跡システム”、第26回画像センシングシンポジウム SSII2020）などを用いて求めてもよい。
【0060】
車両検出部５２において車両検出を行った結果（例えば、車両検出にＹＯＬＯｖ３を用いた場合は検出矩形情報と検出スコアの情報、Ｇａｕｓｓｉａｎ ＹＯＬＯｖ３を用いた場合は検出矩形、検出スコア、及び検出の不確かさの情報）と、位置計測部５４で計測された地図座標上の車両位置の情報は、物体検出精度推定装置に出力される。また、インフラカメラ４０の画像から検出された（位置計測部５４で計測された）車両位置の情報を環境マップ生成装置８０に出力する。
【0061】
物体検出装置５０により、管制制御システム１００が車両２００を管制する管制エリア４４に設置された複数のインフラカメラ４０で取得した各々の画像から車両２００の位置を求められるが、インフラカメラ４０の視野（撮影範囲）が重なる部分では同じ車両２００を異なるインフラカメラ４０で検出している場合がある。また、誤検出によりいずれかのインフラカメラ４０でのみ車両２００ではない物体（例えば、樹木など）を誤検出してしまい、車両２００を検出していないこともある。環境マップ生成装置８０では、かかる複数のインフラカメラ４０で取得した画像から車両２００の検出結果を統合し、最終的に管制エリア４４のどこに車両２００が存在しているかを記述した、図５に示すような環境マップを生成する。検出結果の統合は、既知の方法（中村亮裕，加藤武男，後藤邦博，大濱吉紘，清水司，“自動・手動車両混在環境での交通管制のための車両追跡システム”、第26回画像センシングシンポジウム SSII2020）などが利用可能である。図５では、車両２００Ａ、２００Ｂ、２００Ｃのように、３台の車両２００の位置が示されている。車両２００の位置は、車両２００の走行により時系列で変化するので、環境マップ生成装置８０では、一例として、物体検出装置５０から車両２００の位置の情報が入力される毎に環境マップを生成する。環境マップ生成装置８０が生成する環境マップには、車両２００の位置だけでなく、車両２００の速度、車両２００の姿勢角、車両２００の予測経路、車両２００の所定位置の予測通過時刻、及び車両２００が交通管制装置３２と通信できているか否かを示すコネクティッド情報又は非コネクティッド情報を保持させてもよい。
【0062】
本実施形態に係る管制制御システム１００の交通管制装置３２は、環境マップ生成装置８０で生成した環境マップの情報と、車両データ受信装置３０で受信した車両２００の位置等の車両データと、図６に示したような道路の位置及び形状並びに接続情報などを保持した走行ルート地図を用いて、例えば、交差点における車両の干渉を回避させるための仮想交通ルールを生成する。一例として、図６では、車線区間Ａが優先車線であり、制限速度が３０ｋｍ／ｈであると共に、道路上に車両２００が経由する経由点と経由点を繋いだ経由点列が表示されている。また、図６では、車線区間Ｂが非優先車線であり、制限速度が２０ｋｍ／ｈであると共に、道路上に車両２００が経由する経由点と経由点を繋いだ経由点列が表示されている。なお、交通管制装置３２は、物体検出装置５０で変換テーブルが利用できない場合は、車両データ受信装置３０で受信した車両データのみを利用して仮想交通ルールを生成してもよい。
【0063】
図７は２台の車両の経路が交錯する交点（干渉地点）の一例を示した概略図であり、（Ａ）は交差点を、（Ｂ）は車両２００が合流する地点を各々示している。
【0064】
図７に示したような２台の車両の経路が交錯する干渉地点がある場合には、交通管制装置３２は、仮想交通ルールの管制制御ポリシーに従ってどちらの車両が優先かを判定し、優先車両が干渉地点を通過する間、非優先車両が通過できないように時空間的な制約条件を仮想交通ルールとして非優先車両へ配信する。
【0065】
図８は、干渉地点Ｘにおける仮想交通ルールの管制制御ポリシーの一例を示した説明図であり、（Ａ）は車両Ｐが優先車両の場合、（Ｂ）は車両Ｑが優先車両の場合を各々示している。
【0066】
図８に示したように、管制制御ポリシーは、干渉地点Ｘの状態ＳＸを０、１の２値で表現し、状態ＳＸは干渉地点Ｘにおける車両Ｐ、Ｑの通過優先順位を表す。本実施形態では、車両Ｐが優先の場合は状態ＳＸ＝０、車両Ｑが優先の場合はＳＸ＝１である。
【0067】
図８（Ａ）は、車両Ｐが優先されるＳＸ＝０の場合を示すので、車両Ｐが干渉地点Ｘを通過すると予想されている時刻ｔp
beginとｔp
endとの間は、車両Ｑは干渉地点Ｘへの進入が禁止される。
【0068】
図８（Ｂ）は、車両Ｑが優先されるＳＸ＝１の場合を示すので、車両Ｑが干渉地点Ｘを通過すると予想されている時刻ｔq
beginとｔq
endとの間は、車両Ｐは干渉地点Ｘへの進入が禁止される。
【0069】
図８に示した例では、状態ＳＸの値と進入禁止時間とを仮想交通ルールとする。通過優先順位は、たとえば、「２台のうちいずれかが交通管制装置３２と通信を行っていない非コネクティッド車両であれば、この非コネクティッド車両を優先と判定する」又は「干渉地点Ｘに先に進入する車両を優先とする」等が考えられる。
【0070】
また、交通管制装置３２は、後述するインフラカメラネットワーク状態推定装置９０から送信されるシステムの品質低下度合いに応じて、交通管制を停止する管制や、図８に示す車両が通過すると予想されている時刻に通常より多くのマージンをとり、安全性を重要視した管制、などを行う。
【0071】
物体検出精度推定装置７０は、インフラカメラ４０の画像中の各位置における物体検出の検出精度を推定する装置である。
ここで、物体検出精度推定装置７０は常に稼働してもよいし、一定周期ごと、例えば、週１回や月１回など、或いは交通管制装置３２から指示があったときなどに稼働してもよい。
ここで、物体検出精度推定装置７０は常に稼働してもよいし、一定周期ごと、例えば、週１回や月１回など、或いは交通管制装置３２から指示があったときなどに稼働してもよい。
【0072】
図９は、物体検出精度推定装置７０の構成の一例を示したブロック図である。ここでは、車両検出手法としてＧａｕｓｓｉａｎ ＹＯＬＯｖ３を用いた場合について説明する。
【0073】
上述したように、車両検出部５２において画像中の車両位置を示す検出矩形情報（中心位置（ｘ、ｙ）と幅w、高さh）と、検出の不確かさ(xunc,yunc,wunc,hunc）の情報と、が物体検出精度推定装置７０へ送信される。ここで、検出の不確かさは、検出矩形の精度を示す値であり、小さいほど高い精度で検出されている可能性が高いことを示している。ここで、車両検出部５２は、常に車両を検出していることが望ましい。
【0074】
物体検出精度推定装置７０では、データ（検出矩形情報と検出の不確かさの情報のデータ）を受け取るとデータ保存部７２でデータを保存する。保存する期間は一定期間、例えば、１日としてもよいし、各画素についてあらかじめ設定した最低データ数が集まるまでとしてもよい。ただし、保存する期間は、例えば１ヶ月などと長く設定した方が検出精度が高くなるという利点があるが、樹木の育成や工事などの環境の変化による影響を速やかに判断するため、１日や２日などの短い方が望ましい。
【0075】
必要なデータが収集できたら、次に、検出精度推定マップ生成部７４により、地図上の位置について検出の不確かさを情報に持つ検出精度マップ７６を生成する。物体検出装置５０で求められた地図上の位置に対して図１０に示すように、検出の不確かさ(xunc,yunc,wunc,hunc ）の平均値uncを登録する。また、同一位置において複数の検出結果が存在する場合には、すべての検出の不確かさuncの平均値をその位置における検出の不確かさとする。
【0076】
なお、図１０では地図上の２次元座標に登録する説明をしているが、３次元の地図座標へ（pos_x, pos_y, pos_z）へ検出の不確かさを登録し、検出精度マップ７６を作成してもよい。
【0077】
また、インフラカメラ４０と地図上の位置との関係を検出の不確かさに考慮してもよい。一般的にインフラカメラ４０からの距離が遠くなるほど画像上の解像度が低くなり検出精度は低下する。そのため、次式のようにカメラからの距離dに応じて検出の不確かさを補正してもよい。
unc’ = unc * Rd
（ここでRdは距離dに応じた１より大きい補正係数。Dが大きくなるほどRdは大きくなる)
unc’ = unc * Rd
（ここでRdは距離dに応じた１より大きい補正係数。Dが大きくなるほどRdは大きくなる)
【0078】
上述の説明では、車両検出方法としてＧａｕｓｓｉａｎ ＹＯＬＯｖ３を用いることで得られる検出の不確かさの情報を用いたが、Ｇａｕｓｓｉａｎ ＹＯＬＯｖ３やその他一般的な車両検出手法で得られる検出スコアの情報（車両らしさを表す０から１の値、１に近いほど車両らしいことを示す）を用いてもよい。
【0079】
検出精度マップ７６の生成が完了したら、データ保存部７２のデータは削除し、次の物体検出精度推定装置７０の稼働タイミングまで待機する。次の物体検出精度推定装置７０の稼働時には、生成済みの検出精度マップ７６を利用してもよいし、新規に生成される検出精度マップ７６に置き換えてもよい。
【0080】
インフラカメラネットワーク状態推定装置９０は、物体検出精度推定装置７０により推定された検出精度、より具体的には、当該検出精度の一例である検出の不確かさを地図上の位置に登録したインフラカメラ４０毎の検出精度マップ７６を用いて、インフラカメラネットワークの状態を推定する装置である。
【0081】
図１１（Ａ）から（Ｃ）は３つのインフラカメラ４０のそれぞれの検出精度マップ７６を示しており、図１１（Ｄ）は３つのそれぞれの検出精度マップ７６を統合したものである。ここでは、各エリアの検出の不確かさの情報の最小値をとって統合しているが、平均値としてもよい。
【0082】
いま、図１１（Ｄ）の破線で示した範囲Ｆが交通管制制御に必要な範囲とすると、インフラカメラネットワーク状態のシステムに対する品質低下度合いは破線で示した範囲Ｆ内の各エリアの検出の不確かさの情報の平均値（あるいは最小値、または最大値）として求めることができる。このとき、値が小さいほどインフラカメラネットワーク状態は良いことを表している。また、図１１（Ｄ）の斜線で示した領域Ｇのように、破線で示した範囲Ｆに、検出精度マップ７６の値が存在しない、すなわち、どのインフラカメラ４０からも検出できていない領域Ｇには、最大値を持つ（最も不確かである）ものとして処理を行う。こうすることで、交通管制制御に必要な範囲に対するインフラカメラ４０のカバーする範囲（カバー率）を考慮することができる。また、インフラカメラネットワーク状態の良いエリアと悪いエリアとが分かる。なお、品質低下度合いは、破線で示した範囲Ｆ内の各エリアの検出の不確かさの情報の平均値である場合に限定されず、検出の不確かさの情報そのものであってもよい。
【0083】
図１２は、図１１（Ｄ）に、交差点Ｉの管制を行うのに特に重要な範囲であるα、βを指定した状態を重要範囲として示した図である。ここで、重要な範囲は、交差点Ｉの場合は、交差点Ｉに車両２００が移動するまで数秒前の交差点Ｉの手前に位置する範囲など、交通管制を行うために特に必要な範囲である。
【0084】
さらに、図１２に示すように交差点Ｉの交通管制を行うのに特に重要な範囲が図１２のα、βとすると、その範囲の重みを相対的に大きくして検出の不確かさの情報の平均値をとるようにしてもよい。このように構成することで、管制制御システム１００の仕様によりあった状態を推定することができる。すなわち、重要な範囲α、βのインフラカメラネットワーク状態が良い状態であるか否かで、交通管制制御に必要な範囲のインフラカメラネットワーク状態が良い状態であるか否かを推定することができる。
【0085】
インフラカメラネットワーク状態推定装置９０では、物体検出精度推定装置７０が検出精度マップを更新したタイミングで品質低下度合いを交通管制装置３２へ送信する。交通管制装置３２は、インフラカメラネットワーク状態推定装置９０から送信されるシステムの品質低下度合いに応じて、交通管制を停止する管制や、図８に示す車両通過予測時刻に通常より多くのマージンをとり、安全性を重要視した管制、などを行う。
【0086】
以上説明したように、本実施形態によれば、インフラカメラ４０から取得される画像から得られる情報に基づいて、複数のインフラカメラ４０によって構築されるインフラカメラネットワークの状態が交通管制を行うのに適切な状態かどうかを判定することができる管制制御システム１００を提供することが可能となる。
【0087】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0088】
上述した第１の実施形態では、インフラカメラネットワーク状態推定装置９０で推定されたインフラカメラネットワークの状態を交通管制装置３２へ送信していたが、これに限定されず、図１３に示すように、環境マップ生成装置８０へ送信してもよい。そして、環境マップ生成装置８０は、物体検出装置５０で推定された車両２００の位置と、インフラカメラネットワーク状態推定装置９０で推定されたインフラカメラネットワークの状態と、から環境マップを生成するようにしてもよい。
【0089】
上述したように、環境マップ生成装置８０が生成する環境マップは、インフラカメラ４０の画像から逐次検出される車両位置の情報を利用して、時系列で変化する車両２００の位置を捉えている。このとき、時刻Ｔで環境マップ中で追跡している車両２００の時刻Ｔ＋１での予測位置と、時刻Ｔ＋１でインフラカメラ４０の画像から検出された車両位置と、を用いて、カルマンフィルタなどにより時刻Ｔ＋１での環境マップ中の車両２００の位置、速度を推定することができる。例えば、カルマンフィルタを用いた環境マップ生成手法（中村亮裕，加藤武男，後藤邦博，大濱吉紘，清水司，“自動・手動車両混在環境での交通管制のための車両追跡システム”、第26回画像センシングシンポジウム SSII2020）では、インフラカメラ４０の画像から検出された車両位置に観測誤差を設定している。インフラカメラネットワーク状態推定装置９０で推定されたインフラカメラネットワークの状態を環境マップ生成装置８０へ送信することで、この観測誤差をインフラカメラネットワーク状態推定装置９０で推定された品質低下度合いに応じて設定することができる。具体的には、品質低下が大きい場所には大きな観測誤差を、品質低下が小さい場所には小さな観測誤差を与えることで、検出位置精度に応じた適切なパラメータを設定することができ、追跡性能を向上させることができる。
【0090】
なお、図１４に示すように、インフラカメラネットワーク状態推定装置９０で推定されたインフラカメラネットワークの状態を交通管制装置３２と環境マップ生成装置８０の両方で利用することができるようにしてもよい。
【0091】
［第２の実施形態］
つぎに、第２の実態形態について、図１５～図１７を用いて説明する。上述した第１の実施形態では、物体検出精度推定装置７０は、一定期間保存されたデータ（検出矩形情報と検出の不確かさの情報のデータ）から、検出精度を推定している。本第２の実施形態では、事前にインフラカメラ４０の画像と検出の不確かさとを機械学習しておき、インフラカメラ４０の画像のみを利用して検出精度を推定する。
つぎに、第２の実態形態について、図１５～図１７を用いて説明する。上述した第１の実施形態では、物体検出精度推定装置７０は、一定期間保存されたデータ（検出矩形情報と検出の不確かさの情報のデータ）から、検出精度を推定している。本第２の実施形態では、事前にインフラカメラ４０の画像と検出の不確かさとを機械学習しておき、インフラカメラ４０の画像のみを利用して検出精度を推定する。
【0092】
ここで、第２の実施形態において、第１の実施形態と同一の機能を有する構成要素には、第１の実施形態において用いた符号と同一の符号を用いている。
また、上述した第１の実施形態と異なる部分を中心に説明し、重複する部分については説明を簡略又は省略する。
また、上述した第１の実施形態と異なる部分を中心に説明し、重複する部分については説明を簡略又は省略する。
【0093】
図１５は、第２の実施形態に係る管制制御システム１００Ａの構成の一例を示したブロック図である。第１の実施形態に係る管制制御システム１００の構成の一例を示したブロック図である図１とは、推定モデルＭを備える点が主な違いである。
【0094】
【0095】
まず、図１６（Ａ）に示すように、第１の実施形態と同様に、車両検出部５２が、インフラカメラ４０で取得した画像から移動体を検出し、画像中の移動体を矩形で示す矩形情報と、矩形情報が移動体を捉えている矩形の誤差である検出の不確かさとを算出する。
上述した第１の実施形態のように、検出精度推定マップ生成部７４により検出精度マップ７６（図１０参照）を作成する際に、画像の各画素における検出の不確かさを持つ検出精度画像を生成する。具体的には、図１７に示すように、第１の実施形態では、地図上の位置に検出の不確かさを登録したが、本実施の形態では、画素座標に検出の不確かさを登録することにより検出精度画像を生成する。かかる検出の不確かさの登録を繰り返すことにより、検出精度マップ７６に相当する検出精度画像が生成される。いろいろな場所について検出精度画像が生成されると、インフラカメラ４０の画像と対応する検出精度画像とのペアが生成される。かかるインフラカメラ４０の画像と検出精度画像とのペアは、精度画像データベース７８に記憶される。かかるインフラカメラ４０の画像と検出精度画像とのペアを学習データとして、当該学習データを機械学習することで学習済みの推定モデルＭを作成する。学習済みの推定モデルＭは、ニューラルネットワークを用いて構成されている。推定モデルＭは、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いて構成されている。ＤＮＮとして、例えば、画像を対象とする畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いる。なお、機械学習は、物体検出精度推定装置７０が行う場合に限定されず、他の機械学習を行う装置が行ってもよい。
上述した第１の実施形態のように、検出精度推定マップ生成部７４により検出精度マップ７６（図１０参照）を作成する際に、画像の各画素における検出の不確かさを持つ検出精度画像を生成する。具体的には、図１７に示すように、第１の実施形態では、地図上の位置に検出の不確かさを登録したが、本実施の形態では、画素座標に検出の不確かさを登録することにより検出精度画像を生成する。かかる検出の不確かさの登録を繰り返すことにより、検出精度マップ７６に相当する検出精度画像が生成される。いろいろな場所について検出精度画像が生成されると、インフラカメラ４０の画像と対応する検出精度画像とのペアが生成される。かかるインフラカメラ４０の画像と検出精度画像とのペアは、精度画像データベース７８に記憶される。かかるインフラカメラ４０の画像と検出精度画像とのペアを学習データとして、当該学習データを機械学習することで学習済みの推定モデルＭを作成する。学習済みの推定モデルＭは、ニューラルネットワークを用いて構成されている。推定モデルＭは、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いて構成されている。ＤＮＮとして、例えば、画像を対象とする畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いる。なお、機械学習は、物体検出精度推定装置７０が行う場合に限定されず、他の機械学習を行う装置が行ってもよい。
【0096】
つぎに、図１６（Ｂ）に示すように、物体検出精度推定装置７０は、インフラカメラ４０の画像を学習済みの推定モデルＭに入力することで、検出の不確かさを推定する。
これにより、学習済みの推定モデルＭを用いて、インフラカメラ４０の画像から検出精度を直接推定することで、検出精度マップを作成する必要がなくなり、より短時間で推定することができる。
これにより、学習済みの推定モデルＭを用いて、インフラカメラ４０の画像から検出精度を直接推定することで、検出精度マップを作成する必要がなくなり、より短時間で推定することができる。
【0097】
以上説明したように、本実施形態によれば、機械学習の正解データを用意することなく、インフラカメラ４０で取得した画像からインフラカメラネットワークの状態を推定することができる管制制御システム１００Ａを提供することが可能となる。
【0098】
［第３の実施形態］
つぎに、第３の実態形態について、図１８～図２３を用いて説明する。第３の実施形態は、上述した第１の実施形態又は第２の実施形態の管制制御システム１００の構成に、インフラカメラネットワーク構築支援装置３００を備えている。
つぎに、第３の実態形態について、図１８～図２３を用いて説明する。第３の実施形態は、上述した第１の実施形態又は第２の実施形態の管制制御システム１００の構成に、インフラカメラネットワーク構築支援装置３００を備えている。
【0099】
ここで、第３の実施形態において、第１の実施形態と同一の機能を有する構成要素には、第１の実施形態において用いた符号と同一の符号を用いている。
また、上述した第１の実施形態と異なる部分を中心に説明し、重複する部分については説明を簡略又は省略する。
また、上述した第１の実施形態と異なる部分を中心に説明し、重複する部分については説明を簡略又は省略する。
【0100】
図１８は、第３の実施形態に係る管制制御システム１００Ｂの構成の一例を示したブロック図である。第１の実施形態に係る管制制御システム１００の構成の一例を示したブロック図である図１とは、インフラカメラネットワーク構築支援装置３００を備える点が主な違いである。また、図１８は、図１に示す第１の実施形態に係る管制制御システム１００にインフラカメラネットワーク構築支援装置３００を備えるように記載しているが、図１５に示す第２の実施形態に係る管制制御システム１００Ａにインフラカメラネットワーク構築支援装置３００を備えるようにしてもよい。
【0101】
インフラカメラネットワーク構築支援装置３００は、インフラカメラネットワーク状態推定装置９０で生成された検出精度マップ７６をもとに、予め設定した条件、例えば、品質低下度合いが予め定めたしきい値と略同等となること、を満たすインフラカメラ４０の配置を求めることで、インフラカメラネットワークを構築する支援をする。なお、品質低下度合いが予め定めたしきい値と略同等となることに限定されず、品質低下度合いが予め定めたしきい値よりも小さくなることを条件としてもよい。
【0102】
図１９は、インフラカメラネットワーク構築支援装置３００の処理の一例を示したフローチャートである。
【0103】
まず、ステップＳ１００において、上述したように、インフラカメラネットワーク状態推定装置９０によりインフラカメラネットワークの品質低下度合い（検出の不確かさの情報の平均値）が計測される。そして、次のステップＳ１０２に進む。
【0104】
ステップＳ１０２において、品質低下度合いが予め設定したしきい値よりも大きいか否かが判定される。ここで、上述したように、品質低下度合いは、検出の不確かさの情報の平均値であるため、品質低下度合いが大きいほど、検出が不確かであることとなる。品質低下度合いがしきい値よりも大きいと判定された場合は、次のステップＳ１０４に進む。
【0105】
ステップＳ１０４において、品質低下度合いがしきい値よりも大きくなる原因を推定する。
かかる品質低下度合いが大きくなる原因としては、主に、品質低下度合いが大きい品質低下箇所とカメラとの距離が大きいことによる低解像度及び樹木や障害物によるオクルージョンや背景パターンとの同化などによるセンシング困難パターンの２つが考えられる。この処理では、どちらの原因で品質低下が生じているかを推定する。
かかる品質低下度合いが大きくなる原因としては、主に、品質低下度合いが大きい品質低下箇所とカメラとの距離が大きいことによる低解像度及び樹木や障害物によるオクルージョンや背景パターンとの同化などによるセンシング困難パターンの２つが考えられる。この処理では、どちらの原因で品質低下が生じているかを推定する。
【0106】
品質低下が生じているかを推定する方法として、品質低下エリアと最も近いインフラカメラ４０との距離を用いることができる。図２０に、検出精度マップ７６を用いて、品質低下度合いがしきい値より大きい場合の例を示す。図２０（Ｄ）の丸で囲ったエリアＡ及びエリアＢが、品質低下度合いが大きい場所である。インフラカメラネットワーク構築支援装置３００は、この２か所のエリアＡ及びエリアＢと最も近いインフラカメラ４０までの距離Ｄａ、Ｄｂを算出する。つぎに、ＤａとＤｂが設定した距離のしきい値より大きいかを判定する。Ｄａはしきい値より小さく、Ｄｂはしきい値より大きいので、エリアＡはセンシング困難パターンが原因、エリアＢは低解像度が原因と判定される。
そして、次のステップＳ１０６に進む。
そして、次のステップＳ１０６に進む。
【0107】
ステップＳ１０６において、ステップＳ１０４において推定された品質低下度合いが大きくなる原因が低解像度による場合であると判定された場合は、次のステップＳ１０８に進む。
【0108】
ステップＳ１０８において、低解像度に対応する処理が行われる。
品質低下度合いがしきい値より大きくなる原因が低解像度である場合には、管制エリア４４をカバーできるだけのインフラカメラ４０が設置できていないと考えることができる。そのため、インフラカメラネットワーク構築支援装置３００は、品質低下箇所付近にインフラカメラ４０の設置をユーザに提案する。図２１に示すように、隣接するインフラカメラ４０の検出精度マップ７６の精度低下箇所をカバーしつつ、検出精度マップ７６の有効範囲（品質低下度合いが低いエリアの数）が増えるような設置条件Ｃ（ｐ，ｄ）を候補とする（ｐは位置、ｄはカメラ向き）。このとき、インフラカメラ設置可能箇所が既知であれば、位置ｐに最も近い設置可能位置を位置ｐ’としたときのカメラ向きｄ‘を、位置ｐのとき走行ルートと交差する点へ向くように設定し、設置条件Ｃ’（ｐ’，ｄ’）を候補とする。ここで、位置ｐとｐ’が設定した距離以上離れている場合、またはカメラ向きｄとｄ’が設定した角度以上ずれている場合は、適切な設置可能位置なしとして設置条件Ｃを参考意見として提案してもよい。
品質低下度合いがしきい値より大きくなる原因が低解像度である場合には、管制エリア４４をカバーできるだけのインフラカメラ４０が設置できていないと考えることができる。そのため、インフラカメラネットワーク構築支援装置３００は、品質低下箇所付近にインフラカメラ４０の設置をユーザに提案する。図２１に示すように、隣接するインフラカメラ４０の検出精度マップ７６の精度低下箇所をカバーしつつ、検出精度マップ７６の有効範囲（品質低下度合いが低いエリアの数）が増えるような設置条件Ｃ（ｐ，ｄ）を候補とする（ｐは位置、ｄはカメラ向き）。このとき、インフラカメラ設置可能箇所が既知であれば、位置ｐに最も近い設置可能位置を位置ｐ’としたときのカメラ向きｄ‘を、位置ｐのとき走行ルートと交差する点へ向くように設定し、設置条件Ｃ’（ｐ’，ｄ’）を候補とする。ここで、位置ｐとｐ’が設定した距離以上離れている場合、またはカメラ向きｄとｄ’が設定した角度以上ずれている場合は、適切な設置可能位置なしとして設置条件Ｃを参考意見として提案してもよい。
【0109】
このとき、新規に設置するインフラカメラ４０の検出精度マップ７６は未知であるが、初期値として、隣接する検出精度マップ７６を利用してもよいし、他の隣接するインフラカメラ４０の検出精度マップ７６を利用してもよい。また、他の検出精度マップ７６におけるインフラカメラ４０と道路領域との距離による関係を学習し、新たに設置するインフラカメラ４０と道路領域までに応じた初期値を設定するようにしてもよい。
そして、処理を終了する。
そして、処理を終了する。
【0110】
ステップＳ１０６において、ステップＳ１０４において推定された品質低下度合いが大きくなる原因が低解像度による場合であると判定されない場合、すなわち、センシング困難パターンが原因であると判定された場合は、次のステップＳ１１０に進む。
【0111】
ステップＳ１１０において、センシング困難パターンに対応する処理が行われる。
品質低下度合いが大きくなる原因がセンシング困難パターンである場合には、画像中の障害物の位置や背景パターンの変更といった対応が必要となるが、インフラカメラ４０の位置を変更することでこれらを実現することができる。
品質低下度合いが大きくなる原因がセンシング困難パターンである場合には、画像中の障害物の位置や背景パターンの変更といった対応が必要となるが、インフラカメラ４０の位置を変更することでこれらを実現することができる。
【0112】
インフラカメラネットワーク構築支援装置３００は、品質低下箇所と最も近い位置にあるインフラカメラ４０を、図２２に示すように走行ルートと反対の位置ｐに配置するよう設置条件Ｃ（ｐ，ｄ）提案する。このとき、インフラカメラ設置可能箇所が既知であれば、位置ｐに最も近い設置可能位置を位置ｐ’としたときのカメラ向きｄ‘を、位置ｐのとき走行ルートと交差する点へ向くように設定し、設置条件Ｃ’（ｐ’，ｄ’）を候補とする。
【0113】
ここで、位置ｐとｐ’が設定した距離以上離れている場合、またはカメラ向きｄとｄ’が設定した角度以上ずれている場合は、適切な設置可能位置なしとして設置条件Ｃを参考意見として提案してもよい。
そして、処理を終了する。
そして、処理を終了する。
【0114】
上述したステップＳ１０２において、品質低下度合いがしきい値よりも小さいと判定された場合は、次のステップＳ１２０に進む。
【0115】
ステップＳ１２０において、既設のインフラカメラ４０の間引き処理が行われる。
品質低下度合いが予め設定したしきい値よりも小さい場合には、インフラカメラ４０が過剰に設置されていないかを判定する。過剰と判定されれば不要なカメラは交通管制には利用しないように設定する。
品質低下度合いが予め設定したしきい値よりも小さい場合には、インフラカメラ４０が過剰に設置されていないかを判定する。過剰と判定されれば不要なカメラは交通管制には利用しないように設定する。
【0116】
図２３にインフラカメラ４０の間引きの例を示す。図２３（Ａ）に示すシーン１と図２３（Ｂ）に示すシーン２のカメラ配置は同じであるが、シーン２では道路周辺に障害物が設置されている。インフラカメラ４０の間引きでは、まず、注目するインフラカメラ４０の検出精度マップ７６に対して、あらかじめ設定した重複率のしきい値（図２３の例では６領域）より大きくかつ最も重複率の大きいインフラカメラ４０を選択する。図２３の例ではインフラカメラＡに注目すると、インフラカメラＢが最も重複するインフラカメラ４０となる。条件を満たすインフラカメラ４０があれば、次に、重複する各小領域の検出の不確かさを比較し、差分値の合計が予め設定したしきい値より小さい場合には、過剰なインフラカメラ４０と判断する。
【0117】
シーン１の例では重複領域ＡＢにおける各小領域の検出の不確かさの差が小さいので、インフラカメラＢは不要なインフラカメラ４０と判定される。そして、次に重複率の大きいカメラはＣであるが重複領域がしきい値以下なので、間引き判定は行わない。
【0118】
シーン２の例では重複領域ＡＢにおける各領域の検出の不確かさは、障害物の影響で各領域の差が大きくなるため必要なインフラカメラ４０と判断される。この場合は注目カメラをＢとして同様の処理を行う。インフラカメラＢと重複領域が大きくしきい値を超えるインフラカメラＣと間引き判定を行う。インフラカメラＣは、上述したシーン１と同様、各領域の検出の不確かさの差が大きいため必要なインフラカメラ４０と判定される。
【0119】
このように、インフラカメラ４０の重複範囲だけでなく検出精度マップ７６を利用することで、管制制御システム１００Ｂに必要なインフラカメラ４０を適切に選択することができる。
そして、処理を終了する。
そして、処理を終了する。
【0120】
本実施形態では、交通管制に適したインフラカメラ４０の配置を決定することができる管制制御システム１００Ｂを提供することが可能となる。すなわち、インフラカメラ４０が足りないか、過剰であるかなどを判定することが可能となる。
【符号の説明】
【0121】
１０ 自動運転装置
１２ 車載内界センサ
１４ 車載外界センサ
１６ 自己位置推定部
１８ データ送信部
２２ データ受信部
２４ 制御部
３０ 車両データ受信装置
３２ 交通管制装置
３４ 走行ルート地図データベース
４０ インフラカメラ
５０ 物体検出装置
５２ 車両検出部
５４ 位置計測部
７０ 物体検出精度推定装置
８０ 環境マップ生成装置
９０ インフラカメラネットワーク状態推定装置
１００ 管制制御システム
２００ 車両
３００ インフラカメラネットワーク構築支援装置
１２ 車載内界センサ
１４ 車載外界センサ
１６ 自己位置推定部
１８ データ送信部
２２ データ受信部
２４ 制御部
３０ 車両データ受信装置
３２ 交通管制装置
３４ 走行ルート地図データベース
４０ インフラカメラ
５０ 物体検出装置
５２ 車両検出部
５４ 位置計測部
７０ 物体検出精度推定装置
８０ 環境マップ生成装置
９０ インフラカメラネットワーク状態推定装置
１００ 管制制御システム
２００ 車両
３００ インフラカメラネットワーク構築支援装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
