(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、交通信号灯器などを自動で検出する機能の性能を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の自動検出システムは、交通信号灯器と道路標識との少なくともいずれかの交通安全施設を自動で検出する。
前記自動検出システムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータと特徴データとを含む情報データが登録された情報データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記情報データに含まれる位置データと前記対象施設の前記情報データに含まれるサイズデータとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲を前記対象施設の前記情報データに含まれる特徴データと照合することによって、前記対象施設を検出する検出部と、を備える。
【0007】
前記検出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記特徴データと照合する。
【0008】
前記特徴データは、前記対象施設を示す参照画像を含む。
前記検出部は、前記変換後の限定範囲を前記参照画像と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
【0009】
前記対象施設は、交通信号灯器である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記交通信号灯器に備わる1つ以上の表示部のそれぞれの領域である表示領域を示す。
前記検出部は、変換後の限定範囲から各表示領域に対応する範囲である表示範囲を抽出し、各表示範囲に対する画像処理によって前記変換後の限定範囲に映っている信号表示を判別し、判別された信号表示を撮影時の現示情報データに示される信号現示と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
【0010】
前記対象施設は、道路標識である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記道路標識に備わる表示部の領域である表示領域を示す。
前記検出部は、変換後の限定範囲から前記表示領域に対応する範囲である表示範囲を抽出し、前記表示範囲に対する画像処理によって前記表示範囲に前記道路標識の前記表示部が映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
【0011】
前記特徴データは、前記対象施設に隣接する物体である隣接物を示す隣接物データを含む。
前記検出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記隣接物が前記参照範囲に映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
【0012】
前記カメラは、視線方向を調整する指向機能を有する。
前記自動検出システムは、
前記車両位置データと前記車両姿勢データとに基づいて前記情報データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部を備える。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
【0013】
前記カメラは、画角を調整する画角調整機能を有する。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
【0014】
本発明の自動検出プログラムは、交通信号灯器と道路標識との少なくともいずれかの交通安全施設を自動で検出する。
前記自動検出プログラムは、
車両に搭載されたカメラを用いた撮影によって得られる道路画像と、撮影時の前記車両の位置を示す車両位置データと、撮影時の前記車両の姿勢を示す車両姿勢データと、を取得するデータ取得部と、
各地点に設けられた交通安全施設毎に位置データとサイズデータと特徴データとを含む情報データが登録された情報データベースから、前記車両位置データと前記車両姿勢データとに基づいて、撮影時に前記車両の進行方向に位置していた交通安全施設である対象施設の情報データを取得するデータベース検索部と、
前記車両位置データと前記車両姿勢データと前記対象施設の前記情報データに含まれる位置データと前記対象施設の前記情報データに含まれるサイズデータとに基づいて、前記道路画像から、前記対象施設が映る範囲を限定範囲として抽出する画像範囲限定部と、
前記限定範囲を前記対象施設の前記情報データに含まれる特徴データと照合することによって、前記対象施設を検出する検出部として、
コンピュータを機能させる。
【0015】
前記検出部は、前記限定範囲に対して射影変換とサイズ変換とを行い、変換後の限定範囲を前記特徴データと照合する。
【0016】
前記特徴データは、前記対象施設を示す参照画像を含む。
前記検出部は、前記変換後の限定範囲を前記参照画像と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
【0017】
前記対象施設は、交通信号灯器である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記交通信号灯器に備わる1つ以上の表示部のそれぞれの領域である表示領域を示す。
前記検出部は、変換後の限定範囲から各表示領域に対応する範囲である表示範囲を抽出し、各表示範囲に対する画像処理によって前記変換後の限定範囲に映っている信号表示を判別し、判別された信号表示を撮影時の現示情報データに示される信号現示と比較し、前記限定範囲が前記特徴データと合致しているか否かを比較結果に基づいて判定する。
【0018】
前記対象施設は、道路標識である。
前記特徴データは、表示領域データを含む。
前記表示領域データは、前記道路標識に備わる表示部の領域である表示領域を示す。
前記検出部は、変換後の限定範囲から前記表示領域に対応する範囲である表示範囲を抽出し、前記表示範囲に対する画像処理によって前記表示範囲に前記道路標識の前記表示部が映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
【0019】
前記特徴データは、前記対象施設に隣接する物体である隣接物を示す隣接物データを含む。
前記検出部は、前記限定範囲を含んだ範囲である参照範囲を前記道路画像から抽出し、前記参照範囲に対して射影変換とサイズ変換とを行い、変換後の参照範囲に対する画像処理によって前記隣接物が前記参照範囲に映っているか判定し、前記限定範囲が前記特徴データと合致しているか否かを判定結果に基づいて判定する。
【0020】
前記カメラは、視線方向を調整する指向機能を有する。
前記自動検出プログラムは、さらに、
前記車両位置データと前記車両姿勢データとに基づいて前記情報データベースから前記車両の進行方向に位置する交通安全施設である注目施設の位置データを取得し、前記注目施設の前記位置データに基づいて前記注目施設が位置する方向を前記カメラが撮影するように前記カメラの前記指向機能を制御する指向制御部として、
コンピュータを機能させる。
前記道路画像は、前記注目施設が位置する方向を前記カメラが撮影することによって得られる。
【0021】
前記カメラは、画角を調整する画角調整機能を有する。
前記指向制御部は、前記画角調整機能を制御することによって前記カメラの画角を狭める。
前記道路画像は、前記カメラの画角が狭められた後の撮影によって得られる。
【発明の効果】
【0022】
本発明によれば、交通信号灯器などを自動で検出する機能の性能を向上させることができる。
【発明を実施するための形態】
【0024】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【0025】
実施の形態1.
各地点に設けられた交通信号灯器を自動で検出する形態について、
図1から
図10に基づいて説明する。
【0026】
交通信号灯器は、交通信号機の一部である。
交通信号機は、交通信号灯器と交通信号制御機とを備える。
交通信号灯器は、交通信号を表示する。交通信号は、赤信号、青信号、黄信号および矢印信号などである。
交通信号制御機は、交通信号灯器の表示を制御する。
交通信号機は、自動車用の信号機、歩行者用の信号機またはその他の用途の信号機のいずれであってもよい。
交通信号機は、交通安全施設の一種である。
【0027】
***構成の説明***
図1に基づいて、自動検出システム100の構成を説明する。
自動検出システム100は、自動検出装置200とセンサ管理装置300とを備える。
自動検出装置200およびセンサ管理装置300は、車両110に搭載される。
また、車両110には、自動運転システム130が搭載される。
【0028】
車両110は、道路を走行しながら、各時刻に、位置および姿勢を計測すると共に撮影を行う。例えば、車両110は、モービルマッピングシステム(MMS)で使用される自動車である。
車両110の位置を示すデータを「車両位置データ」と称する。車両110の位置は、三次元座標値で識別される。
車両110の姿勢を示すデータを「車両姿勢データ」と称する。車両110の姿勢は、ロール角、ピッチ角およびヨー角で識別される。
車両110からの撮影によって得られる画像を「道路画像」と称する。道路画像には、道路周辺(道路を含む)が映る。
【0029】
自動検出装置200は、各時刻の車両位置データと、各時刻の車両姿勢データと、各時刻の道路画像と、情報データベース120と、を用いて、車両110の進行方向に位置する交通信号灯器を検出する。
【0030】
情報データベース120は、各地点に設けられた交通信号灯器の情報データが登録されたデータベースである。
交通信号灯器の情報データは、交通信号灯器の各種情報を示す。
【0031】
交通信号灯器の情報データは、識別番号と、基本データと、特徴データと、を含む。
基本データは、位置データと、姿勢データと、サイズデータと、表示内容データと、を含む。
特徴データは、表示領域データと、隣接物データと、参照画像と、を含む。
交通信号灯器の識別番号は、交通信号灯器を識別する。
交通信号灯器の位置データは、交通信号灯器の位置を示す。交通信号灯器の位置は、交通信号灯器の基準点の三次元座標値で識別される。
交通信号灯器の姿勢データは、交通信号灯器の姿勢を示す。交通信号灯器の姿勢は、交通信号灯器の正面部分の傾斜角で識別される。
交通信号灯器のサイズデータは、交通信号灯器のサイズを示す。交通信号灯器のサイズは、寸法と形状で識別される。
交通信号灯器の表示内容データは、交通信号灯器に備わる1つ以上の表示部のそれぞれの種類を示す。例えば、表示部は、赤信号、青信号、黄信号または矢印信号といった種類に分類される。
交通信号灯器の表示領域データは、交通信号灯器に備わる1つ以上の表示部のそれぞれの領域(表示領域)を示す。例えば、表示領域は、交通信号灯器の正面における二次元領域で識別される。
交通信号灯器の隣接物データは、交通信号灯器に隣接する物体(隣接物)を示す。例えば、隣接物データは、識別番号、種類識別子、相対位置データおよび相対サイズデータなどを含む。識別番号は、隣接物を識別する。種類識別子は、隣接物の種類を識別する。相対位置データは、交通信号灯器の位置に対する隣接物の相対位置を示す。相対サイズデータは、交通信号灯器のサイズに対する隣接物の相対サイズを示す。
交通信号灯器の参照画像は、交通信号灯器を示す画像である。例えば、参照画像は、正面から見た交通信号灯器を基準サイズで示す。
【0032】
情報データベース120は、センサ管理装置300、自動検出装置200、自動運転システム130またはその他の装置(例えば、データベースサーバ)のいずれで管理されてもよい。
【0033】
自動運転システム130は、自動運転用のシステムである。自動運転システム130によって実現される自動運転は、完全自動運転、一部自動運転または運転アシストなどのいずれのレベルの自動運転であっても構わない。
【0034】
センサ管理装置300は、車両位置データおよび車両姿勢データを生成する。
【0035】
図2に基づいて、車両110の構成を説明する。
車両110は、車体の屋根の上に、各種センサを備える。
具体的には、車両110は、アンテナ(111A〜111C)と、IMU112と、カメラ(113A、113B)と、レーザスキャナ114と、を備える。
これらのセンサは、MMS用の車両に備わる基本的な要素である。
【0036】
アンテナ(111A〜111C)は、衛星測位システム用のアンテナである。衛星測位システムの具体例は、Global Positioning System(GPS)である。
IMU112は、慣性計測装置である。
カメラ(113A、113B)は、MMS用のカメラである。
【0037】
車両110は、車体の前部に、カメラ119を備える。
カメラ119は、自動検出システム100用のカメラである。カメラ119は画像センサを有する。
【0038】
センサ管理装置300(
図1参照)は、カメラ119の指向性を制御する。
【0039】
図3に基づいて、カメラ119の指向性について説明する。
カメラ119は、視線方向を調整する機能(指向機能)を有する。視線方向は、カメラ119の位置を基点とする撮影方向である。撮影方向は、カメラ119によって撮影される方向である。具体的には、指向機能は、画像センサ(の視軸)の向きを調整する。但し、指向機能は、画像センサ(の視軸)の向きを調整する代わりに、カメラ119の姿勢を調整してもよい。例えば、指向機能は、画像センサ又はカメラ119を駆動する装置によって実現される。カメラ119は、指向機能によって特定の方向を撮影することができる。
カメラ119は、画角を調整する機能(画角調整機能)を有する。例えば、カメラ119は、画角調整機能によって画角を狭めて撮影を行うことができる。つまり、カメラ119は、狭視野での撮影が可能である。狭視野での撮影により、撮影範囲が狭まるため、撮影範囲の解像度が高まる。つまり、画像センサの多素子化が実現される。
【0040】
図4および
図5に基づいて、カメラ119の指向性を制御することによって得られる道路画像について説明する。
図4は、道路画像の具体例を示している。
図5は、道路画像の具体例を簡略に示している。
カメラ119の指向性が制御されない場合、広視野での撮影が行われ、交通信号灯器が端の方に小さく映った道路画像が得られる(実線の矩形を参照)。この場合、道路画像に映っている交通信号灯器を認識することが困難になる。
カメラ119の指向性が制御された場合、狭視野での撮影が行われ、交通信号灯器が中央に大きく映った道路画像が得られる(破線の矩形を参照)。この場合、道路画像に映っている交通信号灯器を認識することが容易になる。
【0041】
図6に基づいて、センサ管理装置300の構成を説明する。
センサ管理装置300は、プロセッサ301とメモリ302と補助記憶装置303と通信装置304と入出力インタフェース305といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0042】
プロセッサ301は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ301はCPUである。
ICは、Integrated Circuitの略称である。
CPUは、Central Processing Unitの略称である。
【0043】
メモリ302は揮発性または不揮発性の記憶装置である。メモリ302は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ302はRAMである。メモリ302に記憶されたデータは必要に応じて補助記憶装置303に保存される。
RAMは、Random Access Memoryの略称である。
【0044】
補助記憶装置303は不揮発性の記憶装置である。例えば、補助記憶装置303は、ROM、HDDまたはフラッシュメモリである。補助記憶装置303に記憶されたデータは必要に応じてメモリ302にロードされる。
ROMは、Read Only Memoryの略称である。
HDDは、Hard Disk Driveの略称である。
【0045】
通信装置304はレシーバ及びトランスミッタである。例えば、通信装置304は通信チップまたはNICである。
NICは、Network Interface Cardの略称である。
【0046】
入出力インタフェース305は、入出力用のポートである。例えば、各種センサとカメラ119とのそれぞれにはケーブルの一端が接続され、各ケーブルの他端が入出力インタフェース305に接続される。これにより、各種センサおよびカメラ119がセンサ管理装置300に接続される。
【0047】
センサ管理装置300は、データ収集部311とデータ処理部312と指向制御部313といった要素を備える。これらの要素はソフトウェアで実現される。
【0048】
補助記憶装置303には、データ収集部311とデータ処理部312と指向制御部313としてコンピュータを機能させるためのセンサ管理プログラムが記憶されている。センサ管理プログラムは、メモリ302にロードされて、プロセッサ301によって実行される。
補助記憶装置303には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ302にロードされて、プロセッサ301によって実行される。
プロセッサ301は、OSを実行しながら、センサ管理プログラムを実行する。
OSは、Operating Systemの略称である。
【0049】
センサ管理プログラムの入出力データは記憶部390に記憶される。
メモリ302は記憶部390として機能する。但し、補助記憶装置303、プロセッサ301内のレジスタおよびプロセッサ301内のキャッシュメモリなどの記憶装置が、メモリ302の代わりに、又は、メモリ302と共に、記憶部390として機能してもよい。
【0050】
センサ管理プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0051】
図7に基づいて、自動検出装置200の構成を説明する。
自動検出装置200は、プロセッサ201とメモリ202と補助記憶装置203と通信装置204と入出力インタフェース205といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0052】
プロセッサ201は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ201はCPUである。
【0053】
メモリ202は揮発性または不揮発性の記憶装置である。メモリ202は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ202はRAMである。メモリ202に記憶されたデータは必要に応じて補助記憶装置203に保存される。
【0054】
補助記憶装置203は不揮発性の記憶装置である。例えば、補助記憶装置203は、ROM、HDDまたはフラッシュメモリである。補助記憶装置203に記憶されたデータは必要に応じてメモリ202にロードされる。
【0055】
通信装置204はレシーバ及びトランスミッタである。例えば、通信装置204は通信チップまたはNICである。
【0056】
入出力インタフェース205は、入出力用のポートである。
【0057】
自動検出装置200は、データ取得部211とデータベース検索部212と画像範囲限定部213と検出部214と結果出力部215と現示情報取得部216といった要素を備える。これらの要素はソフトウェアで実現される。
【0058】
補助記憶装置203には、データ取得部211とデータベース検索部212と画像範囲限定部213と検出部214と結果出力部215と現示情報取得部216としてコンピュータを機能させるためのデータベース生成プログラムが記憶されている。データベース生成プログラムは、メモリ202にロードされて、プロセッサ201によって実行される。
補助記憶装置203には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ202にロードされて、プロセッサ201によって実行される。
プロセッサ201は、OSを実行しながら、データベース生成プログラムを実行する。
【0059】
データベース生成プログラムの入出力データは記憶部290に記憶される。
メモリ202は記憶部290として機能する。但し、補助記憶装置203、プロセッサ201内のレジスタおよびプロセッサ201内のキャッシュメモリなどの記憶装置が、メモリ202の代わりに、又は、メモリ202と共に、記憶部290として機能してもよい。
【0060】
データベース生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0061】
***動作の説明***
自動検出システム100の動作の手順は自動検出方法に相当する。
自動検出システム100(特に、自動検出装置200)の動作の手順は自動検出プログラムによる処理の手順に相当する。センサ管理装置300用のプログラム(センサ管理プログラム)が自動検出プログラムに含まれてもよい。
【0062】
図8に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置300の動作の手順に相当する。
【0063】
カメラ119による撮影の際、指向制御部313は、カメラ119の画角調整機能を制御することによって、カメラ119の画角を狭める。そのため、カメラ119は狭視野での撮影を行う。
【0064】
ステップS101からステップS104は、各時刻に実行される。
【0065】
ステップS101において、データ収集部311は、各センサからセンサデータを取得し、各センサデータを記憶部390に記憶する。
センサデータは、センサによって得られるデータである。
【0066】
アンテナ(111A〜111C)によって得られるセンサデータを「測位信号データ」と称する。
IMU112によって得られるセンサデータを「慣性計測データ」と称する。
カメラ119を用いた撮影によって得られるセンサデータを「道路画像」と称する。
【0067】
ステップS102において、データ処理部312は、ステップS101で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部390に記憶する。
【0068】
データ処理部312は、車両位置データと車両姿勢データとを以下のように生成する。
データ処理部312は、測位信号データを用いて衛星航法を行うことによって、車両110の位置を算出する。そして、データ処理部312は、車両110の位置を示す車両位置データを生成する。
データ処理部312は、慣性計測データを用いて慣性航法を行うことによって、車両110の姿勢を算出する。そして、データ処理部312は、車両110の姿勢を示す車両姿勢データを生成する。
【0069】
ステップS103において、指向制御部313は、車両位置データと車両姿勢データに基づいて、情報データベース120から注目信号灯器(注目施設の一例)の位置データを取得する。
【0070】
注目信号灯器は、車両110の進行方向に位置する交通信号灯器である。特に、車両110の進行方向側の錐形領域内に位置する交通信号灯器を注目信号灯器と称する。錐形領域は、車両110の位置を頂点とする錐形(例えば、四角錐)の領域である。錐形領域の大きさは予め定義される。
【0071】
車両110の進行方向は、車両110の位置を基点にして車両110の姿勢によって判別される方向である。
【0072】
例えば、指向制御部313は、車両位置データと車両姿勢データとを用いて車両110の進行方向を算出し、車両110の進行方向側の錐形領域を算出する。そして、指向制御部313は、情報データベース120を検索することによって、算出した錐形領域内に位置する交通信号灯器(注目信号灯器)の位置データを見つける。
【0073】
ステップS104において、指向制御部313は、注目信号灯器の位置データに基づいて、注目信号灯器が位置する方向をカメラ119が撮影するようにカメラ119の指向機能を制御する。
【0074】
例えば、指向制御部313は、車両110の位置と車両110の姿勢とカメラ119の視線方向とに基づいて、カメラ119の撮影方向を算出する。指向制御部313は、カメラ119から注目信号灯器の位置への方向とカメラ119の撮影方向とのずれ量を算出する。算出されるずれ量を調整量と称する。そして、指向制御部313は、カメラ119の指向機能を制御することにより、カメラ119の視線方向を調整量だけずらず。
【0075】
図9に基づいて、データベース生成方法を説明する。
【0076】
現示情報取得部216は、各時刻に、車両110の周辺に位置する交通信号灯器の現示情報データを取得する。
現示情報データは、識別番号と信号現示とを示す。識別番号は、交通信号灯器を識別する。信号現示は、当該時刻における交通信号灯器の表示である。
例えば、現示情報取得部216は、交通信号制御機または交通管制センターのコンピュータなど交通信号灯器の現示を管理する装置と通信を行い、その装置から現示情報データを受信する。
【0077】
ステップS111からステップS115は、各時刻のデータセットに対して実行される。
データセットは、車両110に搭載されたカメラ119を用いた撮影によって得られる道路画像と、撮影時の車両110の位置を示す車両位置データと、撮影時の車両110の姿勢を示す車両姿勢データと、を含む。
【0078】
ステップS111において、データ取得部211はデータセットを取得する。
例えば、データ取得部211は、センサ管理装置300と通信することによって、各時刻のデータセットをセンサ管理装置300から受信する。そして、データ取得部211は、各時刻のデータセットをメモリ302に記憶する。
【0079】
ステップS112において、データベース検索部212は、車両位置データと車両姿勢データに基づいて、情報データベース120から対象信号灯器(対象設備の一例)の情報データを取得する。
【0080】
対象信号灯器は、撮影時に車両110の進行方向に位置していた交通信号灯器である。特に、撮影時に車両110の進行方向側の錐形領域内に位置していた交通信号灯器を対象信号灯器と称する。錐形領域の大きさは予め定義される。
【0081】
例えば、データベース検索部212は、車両位置データと車両姿勢データとを用いて車両110の進行方向を算出し、車両110の進行方向側の錐形領域を算出する。そして、データベース検索部212は、情報データベース120を検索することによって、算出した錐形領域内に位置する交通信号灯器(対象信号灯器)の位置データを見つける。見つかった位置データを含む情報データが対象信号灯器の情報データである。
【0082】
ステップS113において、画像範囲限定部213は、車両位置データと車両姿勢データと対象信号灯器の位置データと対象信号灯器のサイズデータとに基づいて、道路画像から限定範囲を抽出する。
限定範囲は、道路画像の中で対象信号灯器が映る範囲である。
【0083】
例えば、画像範囲限定部213は、車両110の位置と車両110の姿勢とカメラ119の視線方向とに基づいて、カメラ119の撮影方向を算出する。画像範囲限定部213は、カメラ119の撮影方向とカメラ119の画角とに基づいて、カメラ119の撮影範囲を算出する。画像範囲限定部213は、カメラ119の撮影範囲に基づいて、道路画像の中で対象信号灯器の位置に相当する画素(対象画素)を特定する。また、画像範囲限定部213は、カメラ119から対象信号灯器までの距離と対象信号灯器のサイズとに基づいて、道路画像に映る対象信号灯器のサイズ(対象サイズ)を算出する。そして、画像範囲限定部213は、道路画像から、対象画素を基点にして対象サイズを有する範囲を抽出する。抽出される範囲が限定範囲となる。
【0084】
ステップS114において、検出部214は、限定範囲を対象信号灯器の情報データに含まれる特徴データと照合することによって、対象信号灯器を検出する。
限定範囲は、以下のように特徴データと照合される。
【0085】
検出部214は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている被写体(対象信号灯器)を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、検出部214は、車両110と対象信号灯器との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、検出部214は、変換後の限定範囲を特徴データと照合する。
【0086】
特徴データは、参照画像を含む。
参照画像は、交通信号灯器を示す画像である。
検出部214は、変換後の限定範囲を参照画像と比較する。
変換後の限定範囲が参照画像と類似する場合、限定範囲は特徴データと合致している。
変換処理後の限定範囲が参照画像と類似しない場合、限定範囲は特徴データと合致していない。
【0087】
特徴データは、表示領域データを含む。
表示領域データは、交通信号灯器に備わる1つ以上の表示部のそれぞれの領域(表示領域)を示す。
まず、検出部214は、変換後の限定範囲から各表示領域に対応する範囲を抽出する。抽出される各範囲を表示範囲と称する。
次に、検出部214は、各表示範囲に対する画像処理によって、変換後の限定範囲に映っている信号表示を判別する。
そして、検出部214は、判別された信号表示を、撮影時の現示情報データに示される信号現示と比較する。
使用される現示情報データは、対象信号灯器の情報データに含まれる識別番号と同じ識別番号を含む現示情報データである。
限定範囲の信号表示が撮影時の現示情報データに示される信号現示と一致する場合、限定範囲は特徴データと合致している。
限定範囲の信号表示が撮影時の現示情報データに示される信号現示と一致しない場合、限定範囲は特徴データと合致していない。
【0088】
特徴データは、隣接物データを含む。
隣接物データは、交通信号灯器に隣接する物体(隣接物)を示す。隣接物の具体例について後述する。
まず、検出部214は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、検出部214は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体(対象信号灯器および隣接物)を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、検出部214は、車両110と対象信号灯器との距離に応じた倍率で参照範囲を拡大または縮小する。
そして、検出部214は、変換後の参照範囲に対する画像処理によって、隣接物データに示される隣接物が参照範囲に映っているか判定する。例えば、隣接物は、種類、対象信号灯器に対する相対位置および対象信号灯器に対する相対サイズなどによって判別される。隣接物の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。
参照範囲に隣接物が映っている場合、限定範囲は特徴データと合致している。
参照範囲に隣接物が映っていない場合、限定範囲は特徴データと合致していない。
【0089】
検出部214は、各照合の結果に基づいて、対象信号灯器の検出結果を決定する。
例えば、少なくともいずれかの照合において限定範囲が特徴データと合致した場合、検出部214は、対象信号灯器が検出されたと判定する。
【0090】
図10に基づいて、対象信号灯器の隣接物の具体例を説明する。
対象信号灯器を支えている支柱は、対象信号灯器の隣接物の一例である。また、対象信号灯器の支柱に取り付けられている交通信号制御機は、対象信号灯器の隣接物の一例である。
【0091】
図9に戻り、ステップS115を説明する。
ステップS115において、結果出力部215は、検出結果データを自動運転システム130へ出力する。
検出結果データは、対象信号灯器の検出結果を示すデータである。例えば、検出結果データは、検出結果と対象データとを含む。検出結果は、対象信号灯器が検出されたか否かを示す。対象データは、対象信号灯器の各種情報(識別番号および位置など)を示す。
検出結果データは、自動運転システム130に入力され、自動運転システム130によって利用される。
【0092】
***実施の形態1の効果***
実施の形態1により、交通信号灯器を自動で検出する機能の性能を向上させることができる。
情報データベース120には、各交通信号灯器の特徴データが登録されている。各交通信号灯器の特徴データと道路画像を照合することにより、交通信号灯器を漏れなく正確に検出することが可能となる。
【0093】
実施の形態2.
各地点に設けられた道路標識を自動で検出する形態について、主に実施の形態1と異なる点を
図11から
図15に基づいて説明する。
【0094】
道路標識は、交通安全施設の一種である。
【0095】
***構成の説明***
自動検出システム100の構成は、実施の形態1における構成(
図1参照)と同じである。
但し、情報データベース120は、各地点に設けられた道路標識の情報データが登録されたデータベースである。つまり、実施の形態2では、実施の形態1で説明した情報データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
【0096】
車両110の構成は、実施の形態1における構成(
図2参照)と同じである。
【0097】
カメラ119の指向性は、実施の形態1における指向性(
図3参照)と同じである。
【0098】
図11および
図12に基づいて、カメラ119の指向性を制御することによって得られる道路画像について説明する。
図11は、道路画像の具体例を示している。
図12は、道路画像の具体例を簡略に示している。
カメラ119の指向性が制御されない場合、広視野での撮影が行われ、道路標識が端の方に小さく映った道路画像が得られる(実線の矩形を参照)。この場合、道路画像に映っている道路標識を認識することが困難になる。
カメラ119の指向性が制御された場合、狭視野での撮影が行われ、道路標識が中央に大きく映った道路画像が得られる(破線の矩形を参照)。この場合、道路画像に映っている道路標識を認識することが容易になる。
【0099】
センサ管理装置300の構成は、実施の形態1における構成(
図6参照)と同じである。
【0100】
自動検出装置200の構成は、実施の形態1における構成(
図7参照)と同じである。
【0101】
***動作の説明***
図13に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置300の動作の手順に相当する。
【0102】
カメラ119による撮影の際、指向制御部313は、カメラ119の画角調整機能を制御することによって、カメラ119の画角を狭める。そのため、カメラ119は狭視野での撮影を行う。
【0103】
ステップS201からステップS204は、各時刻に実行される。
【0104】
ステップS201において、データ収集部311は、各センサからセンサデータを取得し、各センサデータを記憶部390に記憶する。
ステップS201は、実施の形態1のステップS101(
図8参照)と同じである。
【0105】
ステップS202において、データ処理部312は、ステップS201で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部390に記憶する。
ステップS201は、実施の形態1のステップS101(
図8参照)と同じである。
【0106】
ステップS203において、指向制御部313は、車両位置データと車両姿勢データに基づいて、情報データベース120から注目標識(注目施設の一例)の位置データを取得する。
注目標識は、車両110の進行方向に位置する道路標識である。
ステップS203の処理は、実施の形態1のステップS103(
図8参照)において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
【0107】
ステップS204において、指向制御部313は、注目標識の位置データに基づいて、注目標識が位置する方向をカメラ119が撮影するようにカメラ119の指向機能を制御する。
ステップS204の処理は、実施の形態1のステップS104(
図8参照)において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
【0108】
図14に基づいて、データベース生成方法を説明する。
ステップS211からステップS215は、各時刻のデータセットに対して実行される。
【0109】
ステップS211において、データ取得部211はデータセットを取得する。
ステップS211は、実施の形態1のステップS111(
図9参照)と同じである。
【0110】
ステップS212において、データベース検索部212は、車両位置データと車両姿勢データに基づいて、情報データベース120から対象標識(対象設備の一例)の情報データを取得する。
対象標識は、撮影時に車両110の進行方向に位置していた道路標識である。
ステップS212の処理は、実施の形態1のステップS112(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
【0111】
ステップS213において、画像範囲限定部213は、対象標識の情報データと車両位置データと車両姿勢データとに基づいて、道路画像から限定範囲を抽出する。
ステップS213の処理は、実施の形態1のステップS113(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
【0112】
ステップS214において、検出部214は、限定範囲を対象標識の情報データに含まれる特徴データと照合することによって、対象標識を検出する。
ステップS214の処理は、実施の形態1のステップS114(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同様である。
限定範囲は、以下のように特徴データと照合される。
【0113】
検出部214は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている被写体(対象標識)を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、検出部214は、車両110と対象標識との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、検出部214は、変換後の限定範囲を特徴データと照合する。
【0114】
特徴データは、参照画像を含む。
参照画像は、道路標識を示す画像である。
検出部214は、変換後の限定範囲を参照画像と比較する。
変換後の限定範囲が参照画像と類似する場合、限定範囲は特徴データと合致している。
変換処理後の限定範囲が参照画像と類似しない場合、限定範囲は特徴データと合致していない。
【0115】
特徴データは、表示領域データを含む。
表示領域データは、道路標識に備わる表示部の領域(表示領域)を示す。
まず、検出部214は、変換後の限定範囲から、表示領域データに示される表示領域に対応する範囲を抽出する。抽出される範囲を表示範囲と称する。
次に、検出部214は、表示範囲に対する画像処理によって、表示範囲に道路標識の表示部が映っているか判定する。
表示範囲に道路標識の表示部が映っている場合、限定範囲は特徴データと合致している。
表示範囲に道路標識の表示部が映っていない場合、限定範囲は特徴データと合致していない。
【0116】
特徴データは、隣接物データを含む。
隣接物データは、道路標識に隣接する物体(隣接物)を示す。隣接物の具体例について後述する。
まず、検出部214は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、検出部214は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体(対象標識および隣接物)を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、検出部214は、車両110と対象標識との距離に応じた倍率で参照範囲を拡大または縮小する。
そして、検出部214は、変換後の参照範囲に対する画像処理によって、隣接物データに示される隣接物が参照範囲に映っているか判定する。例えば、隣接物は、種類、対象標識に対する相対位置および対象標識に対する相対サイズなどによって判別される。隣接物の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。
参照範囲に隣接物が映っている場合、限定範囲は特徴データと合致している。
参照範囲に隣接物が映っていない場合、限定範囲は特徴データと合致していない。
【0117】
検出部214は、各照合の結果に基づいて、対象標識の検出結果を決定する。
例えば、少なくともいずれかの照合において限定範囲が特徴データと合致した場合、検出部214は、対象標識が検出されたと判定する。
【0118】
図15に基づいて、対象標識の隣接物の具体例を説明する。
対象標識を支えている支柱は、対象標識の隣接物の一例である。また、対象標識の支柱に取り付けられている任意標識は、対象標識の隣接物の一例である。任意標識は、情報データベース120によって管理されていない道路標識である。
【0119】
図14に戻り、ステップS215を説明する。
ステップS215において、結果出力部215は、検出結果データを自動運転システム130へ出力する。
ステップS215の処理は、実施の形態1のステップS115(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
【0120】
***実施の形態2の効果***
実施の形態2により、道路標識を自動で検出する機能の性能を向上させることができる。
情報データベース120には、各道路標識の特徴データが登録されている。各道路標識の特徴データと道路画像を照合することにより、道路標識を漏れなく正確に検出することが可能となる。
【0121】
***実施の形態の補足***
センサ管理装置300と自動検出装置200と自動運転システム130は、1台または2台の装置に統合されてもよい。
【0122】
カメラ119の代わりに、MMS用のカメラ(113A、113B)が用いられてもよい。
MMS用のカメラ(113A、113B)の代わりに、カメラ119が用いられてもよい。
【0123】
車両110は、鉄道車両であってもよい。交通信号機は、鉄道用の信号機(例えば、踏切警報機)であってもよい。
【0124】
自動検出システム100は、交通信号灯器と道路標識とは別の交通安全施設を検出してもよい。
つまり、「交通信号灯器」を「他の交通安全施設」に置き換えて実施の形態1が実施されてよいし、「道路標識」を「他の交通安全施設」に置き換えて実施の形態2が実施されてもよい。
【0125】
自動検出装置200およびセンサ管理装置300のハードウェア構成について補足する。
自動検出装置200は、データ取得部211とデータベース検索部212と画像範囲限定部213と検出部214と結果出力部215と現示情報取得部216とを実現する処理回路を備える。
センサ管理装置300は、データ収集部311とデータ処理部312と指向制御部313とを実現する処理回路を備える。
処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するプロセッサであってもよい。
自動検出装置200とセンサ管理装置300とのそれぞれにおいて、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
【0126】
各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
自動検出装置200とセンサ管理装置300とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。