(58)【調査した分野】(Int.Cl.,DB名)
前記特徴抽出部は、前記対象施設に備わる1つ以上の表示部を前記変換後の限定範囲に対する前記画像処理によって検出し、前記1つ以上の表示部のそれぞれの領域を示すデータを前記対象施設の前記特徴データに含める
請求項3に記載のデータベース生成システム。
前記特徴抽出部は、前記対象施設に備わる1つ以上の表示部を前記変換後の限定範囲に対する前記画像処理によって検出し、前記1つ以上の表示部のそれぞれの領域を示すデータを前記対象施設の前記特徴データに含める
請求項9に記載のデータベース生成プログラム。
【発明を実施するための形態】
【0022】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【0023】
実施の形態1.
各地点に設けられた交通信号灯器の情報をデータベース化する形態について、
図1から
図10に基づいて説明する。
【0024】
交通信号灯器は、交通信号機の一部である。
交通信号機は、交通信号灯器と交通信号制御機とを備える。
交通信号灯器は、交通信号を表示する。交通信号は、赤信号、青信号、黄信号および矢印信号などである。
交通信号制御機は、交通信号灯器の表示を制御する。
交通信号機は、自動車用の信号機、歩行者用の信号機またはその他の用途の信号機のいずれであってもよい。
交通信号機は、交通安全施設の一種である。
【0025】
***構成の説明***
図1に基づいて、データベース生成システム100の構成を説明する。
データベース生成システム100は、車両110とデータベース生成装置200とを備える。
【0026】
車両110は、道路を走行しながら、各時刻に、位置および姿勢を計測すると共に撮影を行う。例えば、車両110は、モービルマッピングシステム(MMS)で使用される自動車である。
車両110の位置を示すデータを「車両位置データ」と称する。車両110の位置は、三次元座標値で識別される。
車両110の姿勢を示すデータを「車両姿勢データ」と称する。車両110の姿勢は、ロール角、ピッチ角およびヨー角で識別される。
車両110からの撮影によって得られる画像を「道路画像」と称する。道路画像には、道路周辺(道路を含む)が映る。
【0027】
データベース生成装置200は、各時刻の車両位置データと、各時刻の車両姿勢データと、各時刻の道路画像と、基本データベース120と、を用いて、拡張データベース130を生成する。
【0028】
基本データベース120は、各地点に設けられた交通信号灯器の基本データが登録されたデータベースである。
交通信号灯器の基本データは、交通信号灯器の基本的な情報を示す。
【0029】
交通信号灯器の基本データは、位置データと、姿勢データと、サイズデータと、表示内容データと、を含む。
交通信号灯器の位置データは、交通信号灯器の位置を示す。交通信号灯器の位置は、交通信号灯器の基準点の三次元座標値で識別される。
交通信号灯器の姿勢データは、交通信号灯器の姿勢を示す。交通信号灯器の姿勢は、交通信号灯器の正面部分の傾斜角で識別される。
交通信号灯器のサイズデータは、交通信号灯器のサイズを示す。交通信号灯器のサイズは、寸法と形状で識別される。
交通信号灯器の表示内容データは、交通信号灯器に備わる1つ以上の表示部のそれぞれの種類を示す。例えば、表示部は、赤信号、青信号、黄信号または矢印信号といった種類に分類される。
【0030】
拡張データベース130は、各地点に設けられた交通信号灯器の特徴データが登録されたデータベースである。
交通信号灯器の特徴データは、交通信号灯器の特徴を示す。
交通信号灯器の特徴データの詳細について後述する。
【0031】
図2に基づいて、車両110の構成を説明する。
車両110は、車体の屋根の上に、各種センサを備える。
具体的には、車両110は、アンテナ(111A〜111C)と、IMU112と、カメラ(113A、113B)と、レーザスキャナ114と、を備える。
これらのセンサは、MMS用の車両に備わる基本的な要素である。
【0032】
アンテナ(111A〜111C)は、衛星測位システム用のアンテナである。衛星測位システムの具体例は、Global Positioning System(GPS)である。
IMU112は、慣性計測装置である。
カメラ(113A、113B)は、MMS用のカメラである。
【0033】
車両110は、車体の前部に、カメラ119を備える。
カメラ119は、データベース生成システム100用のカメラである。カメラ119は画像センサを有する。
【0034】
車両110は、さらに、センサ管理装置300を備える。
センサ管理装置300は、車両位置データおよび車両姿勢データを生成する。また、センサ管理装置300は、カメラ119の指向性を制御する。
【0035】
図3に基づいて、カメラ119の指向性について説明する。
カメラ119は、視線方向を調整する機能(指向機能)を有する。視線方向は、カメラ119の位置を基点とする撮影方向である。撮影方向は、カメラ119によって撮影される方向である。具体的には、指向機能は、画像センサ(の視軸)の向きを調整する。但し、指向機能は、画像センサ(の視軸)の向きを調整する代わりに、カメラ119の姿勢を調整してもよい。例えば、指向機能は、画像センサ又はカメラ119を駆動する装置によって実現される。カメラ119は、指向機能によって特定の方向を撮影することができる。
カメラ119は、画角を調整する機能(画角調整機能)を有する。例えば、カメラ119は、画角調整機能によって画角を狭めて撮影を行うことができる。つまり、カメラ119は、狭視野での撮影が可能である。狭視野での撮影により、撮影範囲が狭まるため、撮影範囲の解像度が高まる。つまり、画像センサの多素子化が実現される。
【0036】
図4および
図5に基づいて、カメラ119の指向性を制御することによって得られる道路画像について説明する。
図4は、道路画像の具体例を示している。
図5は、道路画像の具体例を簡略に示している。
カメラ119の指向性が制御されない場合、広視野での撮影が行われ、交通信号灯器が端の方に小さく映った道路画像が得られる(実線の矩形を参照)。この場合、道路画像に映っている交通信号灯器を認識することが困難になる。
カメラ119の指向性が制御された場合、狭視野での撮影が行われ、交通信号灯器が中央に大きく映った道路画像が得られる(破線の矩形を参照)。この場合、道路画像に映っている交通信号灯器を認識することが容易になる。
【0037】
図6に基づいて、センサ管理装置300の構成を説明する。
センサ管理装置300は、プロセッサ301とメモリ302と補助記憶装置303と通信装置304と入出力インタフェース305といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0038】
プロセッサ301は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ301はCPUである。
ICは、Integrated Circuitの略称である。
CPUは、Central Processing Unitの略称である。
【0039】
メモリ302は揮発性または不揮発性の記憶装置である。メモリ302は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ302はRAMである。メモリ302に記憶されたデータは必要に応じて補助記憶装置303に保存される。
RAMは、Random Access Memoryの略称である。
【0040】
補助記憶装置303は不揮発性の記憶装置である。例えば、補助記憶装置303は、ROM、HDDまたはフラッシュメモリである。補助記憶装置303に記憶されたデータは必要に応じてメモリ302にロードされる。
ROMは、Read Only Memoryの略称である。
HDDは、Hard Disk Driveの略称である。
【0041】
通信装置304はレシーバ及びトランスミッタである。例えば、通信装置304は通信チップまたはNICである。
NICは、Network Interface Cardの略称である。
【0042】
入出力インタフェース305は、入出力用のポートである。例えば、各種センサとカメラ119とのそれぞれにはケーブルの一端が接続され、各ケーブルの他端が入出力インタフェース305に接続される。これにより、各種センサおよびカメラ119がセンサ管理装置300に接続される。
【0043】
センサ管理装置300は、データ収集部311とデータ処理部312と指向制御部313といった要素を備える。これらの要素はソフトウェアで実現される。
【0044】
補助記憶装置303には、データ収集部311とデータ処理部312と指向制御部313としてコンピュータを機能させるためのセンサ管理プログラムが記憶されている。センサ管理プログラムは、メモリ302にロードされて、プロセッサ301によって実行される。
補助記憶装置303には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ302にロードされて、プロセッサ301によって実行される。
プロセッサ301は、OSを実行しながら、センサ管理プログラムを実行する。
OSは、Operating Systemの略称である。
【0045】
センサ管理プログラムの入出力データは記憶部390に記憶される。
メモリ302は記憶部390として機能する。但し、補助記憶装置303、プロセッサ301内のレジスタおよびプロセッサ301内のキャッシュメモリなどの記憶装置が、メモリ302の代わりに、又は、メモリ302と共に、記憶部390として機能してもよい。
【0046】
センサ管理プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0047】
図7に基づいて、データベース生成装置200の構成を説明する。
データベース生成装置200は、プロセッサ201とメモリ202と補助記憶装置203と通信装置204と入出力インタフェース205といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【0048】
プロセッサ201は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ201はCPUである。
【0049】
メモリ202は揮発性または不揮発性の記憶装置である。メモリ202は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ202はRAMである。メモリ202に記憶されたデータは必要に応じて補助記憶装置203に保存される。
【0050】
補助記憶装置203は不揮発性の記憶装置である。例えば、補助記憶装置203は、ROM、HDDまたはフラッシュメモリである。補助記憶装置203に記憶されたデータは必要に応じてメモリ202にロードされる。
【0051】
通信装置204はレシーバ及びトランスミッタである。例えば、通信装置204は通信チップまたはNICである。
【0052】
入出力インタフェース205は、入出力用のポートである。
【0053】
データベース生成装置200は、データ取得部211とデータベース検索部212と画像範囲限定部213と特徴抽出部214と特徴登録部215といった要素を備える。これらの要素はソフトウェアで実現される。
【0054】
補助記憶装置203には、データ取得部211とデータベース検索部212と画像範囲限定部213と特徴抽出部214と特徴登録部215としてコンピュータを機能させるためのデータベース生成プログラムが記憶されている。データベース生成プログラムは、メモリ202にロードされて、プロセッサ201によって実行される。
補助記憶装置203には、さらに、OSが記憶されている。OSの少なくとも一部は、メモリ202にロードされて、プロセッサ201によって実行される。
プロセッサ201は、OSを実行しながら、データベース生成プログラムを実行する。
【0055】
データベース生成プログラムの入出力データは記憶部290に記憶される。
メモリ202は記憶部290として機能する。但し、補助記憶装置203、プロセッサ201内のレジスタおよびプロセッサ201内のキャッシュメモリなどの記憶装置が、メモリ202の代わりに、又は、メモリ202と共に、記憶部290として機能してもよい。
【0056】
データベース生成プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録(格納)することができる。
【0057】
***動作の説明***
データベース生成システム100の動作の手順はデータベース生成方法に相当する。
データベース生成システム100(特に、データベース生成装置200)の動作の手順はデータベース生成プログラムによる処理の手順に相当する。センサ管理装置300用のプログラム(センサ管理プログラム)がデータベース生成プログラムに含まれてもよい。
【0058】
図8に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置300の動作の手順に相当する。
【0059】
カメラ119による撮影の際、指向制御部313は、カメラ119の画角調整機能を制御することによって、カメラ119の画角を狭める。そのため、カメラ119は狭視野での撮影を行う。
【0060】
ステップS101からステップS104は、各時刻に実行される。
【0061】
ステップS101において、データ収集部311は、各センサからセンサデータを取得し、各センサデータを記憶部390に記憶する。
センサデータは、センサによって得られるデータである。
【0062】
アンテナ(111A〜111C)によって得られるセンサデータを「測位信号データ」と称する。
IMU112によって得られるセンサデータを「慣性計測データ」と称する。
カメラ119を用いた撮影によって得られるセンサデータを「道路画像」と称する。
【0063】
ステップS102において、データ処理部312は、ステップS101で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部390に記憶する。
【0064】
データ処理部312は、車両位置データと車両姿勢データとを以下のように生成する。
データ処理部312は、測位信号データを用いて衛星航法を行うことによって、車両110の位置を算出する。そして、データ処理部312は、車両110の位置を示す車両位置データを生成する。
データ処理部312は、慣性計測データを用いて慣性航法を行うことによって、車両110の姿勢を算出する。そして、データ処理部312は、車両110の姿勢を示す車両姿勢データを生成する。
【0065】
ステップS103において、指向制御部313は、車両位置データと車両姿勢データに基づいて、基本データベース120から注目信号灯器(注目施設の一例)の位置データを取得する。
【0066】
注目信号灯器は、車両110の進行方向に位置する交通信号灯器である。特に、車両110の進行方向側の錐形領域内に位置する交通信号灯器を注目信号灯器と称する。錐形領域は、車両110の位置を頂点とする錐形(例えば、四角錐)の領域である。錐形領域の大きさは予め定義される。
【0067】
車両110の進行方向は、車両110の位置を基点にして車両110の姿勢によって判別される方向である。
【0068】
例えば、指向制御部313は、車両位置データと車両姿勢データとを用いて車両110の進行方向を算出し、車両110の進行方向側の錐形領域を算出する。そして、指向制御部313は、基本データベース120を検索することによって、算出した錐形領域内に位置する交通信号灯器(注目信号灯器)の位置データを見つける。
【0069】
ステップS104において、指向制御部313は、注目信号灯器の位置データに基づいて、注目信号灯器が位置する方向をカメラ119が撮影するようにカメラ119の指向機能を制御する。
【0070】
例えば、指向制御部313は、車両110の位置と車両110の姿勢とカメラ119の視線方向とに基づいて、カメラ119の撮影方向を算出する。指向制御部313は、カメラ119から注目信号灯器への方向とカメラ119の撮影方向とのずれ量を算出する。算出されるずれ量を調整量と称する。そして、指向制御部313は、カメラ119の指向機能を制御することにより、カメラ119の視線方向を調整量だけずらず。
【0071】
図9に基づいて、データベース生成方法を説明する。
ステップS111からステップS115は、各時刻のデータセットに対して実行される。
データセットは、車両110に搭載されたカメラ119を用いた撮影によって得られる道路画像と、撮影時の車両110の位置を示す車両位置データと、撮影時の車両110の姿勢を示す車両姿勢データと、を含む。
【0072】
ステップS111において、データ取得部211はデータセットを取得する。
例えば、各時刻のデータセットがセンサ管理装置300の補助記憶装置303から読み出され、各時刻のデータセットがデータベース生成装置200の補助記憶装置203に記憶される。そして、データ取得部211は、各時刻のデータセットを補助記憶装置203からメモリ202へロードする。
例えば、データ取得部211は、センサ管理装置300と通信することによって、各時刻のデータセットをセンサ管理装置300から受信する。そして、データ取得部211は、各時刻のデータセットをメモリ302に記憶する。
【0073】
ステップS112において、データベース検索部212は、車両位置データと車両姿勢データに基づいて、基本データベース120から対象信号灯器(対象設備の一例)の基本データを取得する。
【0074】
対象信号灯器は、撮影時に車両110の進行方向に位置していた交通信号灯器である。特に、撮影時に車両110の進行方向側の錐形領域内に位置していた交通信号灯器を対象信号灯器と称する。錐形領域の大きさは予め定義される。
【0075】
例えば、データベース検索部212は、車両位置データと車両姿勢データとを用いて車両110の進行方向を算出し、車両110の進行方向側の錐形領域を算出する。そして、データベース検索部212は、基本データベース120を検索することによって、算出した錐形領域内に位置する交通信号灯器(対象信号灯器)の位置データを見つける。見つかった位置データを含む基本データが対象信号灯器の基本データである。
【0076】
ステップS113において、画像範囲限定部213は、対象信号灯器の基本データと車両位置データと車両姿勢データとに基づいて、道路画像から限定範囲を抽出する。
限定範囲は、道路画像の中で対象信号灯器が映る範囲である。
【0077】
例えば、画像範囲限定部213は、車両110の位置と車両110の姿勢とカメラ119の視線方向とに基づいて、カメラ119の撮影方向を算出する。画像範囲限定部213は、カメラ119の撮影方向とカメラ119の画角とに基づいて、カメラ119の撮影範囲を算出する。画像範囲限定部213は、カメラ119の撮影範囲に基づいて、道路画像の中で対象信号灯器の位置に相当する画素(対象画素)を特定する。また、画像範囲限定部213は、カメラ119から対象信号灯器までの距離と対象信号灯器のサイズとに基づいて、道路画像に映る対象信号灯器のサイズ(対象サイズ)を算出する。そして、画像範囲限定部213は、道路画像から、対象画素を基点にして対象サイズを有する範囲を抽出する。抽出される範囲が限定範囲となる。
【0078】
ステップS114において、特徴抽出部214は、限定範囲に対する画像処理によって、対象信号灯器の特徴データを生成する。
対象信号灯器の特徴データを以下のように生成される。
【0079】
特徴抽出部214は、対象信号灯器を識別する識別番号を生成し、生成した識別番号を対象信号灯器に付加する。
【0080】
特徴抽出部214は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている対象信号灯器(被写体)を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部214は、車両110と対象信号灯器との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、特徴抽出部214は、変換後の限定範囲を用いて対象信号灯器の特徴データを生成する。
【0081】
特徴抽出部214は、変換後の限定範囲を対象信号灯器の特徴データに含める。
【0082】
まず、特徴抽出部214は、変換後の限定範囲に対する画像処理によって、対象信号灯器に備わる1つ以上の表示部を検出する。例えば、表示部は、形状および色などの外観のパターンマッチングによって検出される。
次に、特徴抽出部214は、1つ以上の表示部のそれぞれの領域(表示領域)を示すデータを生成する。例えば、表示領域は、対象信号灯器の正面における二次元領域で識別される。
そして、特徴抽出部214は、生成したデータを対象信号灯器の特徴データに含める。
【0083】
まず、特徴抽出部214は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、特徴抽出部214は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体(対象信号灯器など)を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部214は、車両110と対象信号灯器との距離に応じた倍率で参照範囲を拡大または縮小する。
次に、特徴抽出部214は、変換後の参照範囲に対する画像処理によって、対象信号灯器に隣接している物体を検出する。検出される物体の具体例について後述する。
次に、特徴抽出部214は、検出された物体を示すデータを生成する。例えば、特徴抽出部214は、物体の識別番号、物体の種類識別子、物体の相対位置データおよび物体の相対サイズデータなどを生成する。物体の種類識別子は物体の種類を判別する。物体の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。物体の相対位置データは、対象信号灯器の位置に対する物体の相対位置を示す。物体の相対サイズデータは、対象信号灯器のサイズに対する物体の相対サイズを示す。
そして、特徴抽出部214は、生成したデータを対象信号灯器の特徴データに含める。
【0084】
図10に基づいて、対象信号灯器に隣接している物体(検出される物体)の具体例を説明する。
例えば、特徴抽出部214は、対象信号灯器を支えている支柱を検出する。また、特徴抽出部214は、対象信号灯器の支柱に取り付けられている交通信号制御機を検出する。
【0085】
図9に戻り、ステップS115を説明する。
ステップS115において、特徴登録部215は、対象信号灯器の識別番号と対象信号灯器の基本データと対象信号灯器の特徴データとを互いに対応付けて拡張データベース130に登録する。
【0086】
***実施の形態1の効果***
実施の形態1により、各地点に設けられた交通信号灯器の情報をデータベース化することができる。つまり、拡張データベース130を生成することができる。
拡張データベース130には、各交通信号灯器の特徴データが登録される。各交通信号灯器の特徴データと道路画像を照合することにより、交通信号灯器を漏れなく正確に検出することが可能となる。したがって、拡張データベース130は、自動車の自動運転を行うために有用である。
【0087】
実施の形態2.
各地点に設けられた道路標識の情報をデータベース化する形態について、主に実施の形態1と異なる点を
図11から
図15に基づいて説明する。
【0088】
道路標識は、交通安全施設の一種である。
【0089】
***構成の説明***
データベース生成システム100の構成は、実施の形態1における構成(
図1参照)と同じである。
但し、基本データベース120は、各地点に設けられた道路標識の基本データが登録されたデータベースである。つまり、実施の形態2では、実施の形態1で説明した基本データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
また、拡張データベース130は、各地点に設けられた道路標識の特徴データが登録されたデータベースである。つまり、実施の形態2では、実施の形態1で説明した特徴データの内容が「交通信号灯器」の情報から「道路標識」の情報に置き換わる。
【0090】
車両110の構成は、実施の形態1における構成(
図2参照)と同じである。
【0091】
カメラ119の指向性は、実施の形態1における指向性(
図3参照)と同じである。
【0092】
図11および
図12に基づいて、カメラ119の指向性を制御することによって得られる道路画像について説明する。
図11は、道路画像の具体例を示している。
図12は、道路画像の具体例を簡略に示している。
カメラ119の指向性が制御されない場合、広視野での撮影が行われ、道路標識が端の方に小さく映った道路画像が得られる(実線の矩形を参照)。この場合、道路画像に映っている道路標識を認識することが困難になる。
カメラ119の指向性が制御された場合、狭視野での撮影が行われ、道路標識が中央に大きく映った道路画像が得られる(破線の矩形を参照)。この場合、道路画像に映っている道路標識を認識することが容易になる。
【0093】
センサ管理装置300の構成は、実施の形態1における構成(
図6参照)と同じである。
【0094】
データベース生成装置200の構成は、実施の形態1における構成(
図7参照)と同じである。
【0095】
***動作の説明***
図13に基づいて、センサ管理方法を説明する。
センサ管理方法は、センサ管理装置300の動作の手順に相当する。
【0096】
カメラ119による撮影の際、指向制御部313は、カメラ119の画角調整機能を制御することによって、カメラ119の画角を狭める。そのため、カメラ119は狭視野での撮影を行う。
【0097】
ステップS201からステップS204は、各時刻に実行される。
【0098】
ステップS201において、データ収集部311は、各センサからセンサデータを取得し、各センサデータを記憶部390に記憶する。
ステップS201は、実施の形態1のステップS101(
図8参照)と同じである。
【0099】
ステップS202において、データ処理部312は、ステップS201で取得したセンサデータを用いて車両位置データと車両姿勢データを生成し、車両位置データと車両姿勢データを記憶部390に記憶する。
ステップS201は、実施の形態1のステップS101(
図8参照)と同じである。
【0100】
ステップS203において、指向制御部313は、車両位置データと車両姿勢データに基づいて、基本データベース120から注目標識(注目施設の一例)の位置データを取得する。
注目標識は、車両110の進行方向に位置する道路標識である。
ステップS203の処理は、実施の形態1のステップS103(
図8参照)において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
【0101】
ステップS204において、指向制御部313は、注目標識の位置データに基づいて、注目標識が位置する方向をカメラ119が撮影するようにカメラ119の指向機能を制御する。
ステップS204の処理は、実施の形態1のステップS104(
図8参照)において「注目信号灯器」を「注目標識」に置き換えた処理と同じである。
【0102】
図14に基づいて、データベース生成方法を説明する。
ステップS211からステップS215は、各時刻のデータセットに対して実行される。
【0103】
ステップS211において、データ取得部211はデータセットを取得する。
ステップS211は、実施の形態1のステップS111(
図9参照)と同じである。
【0104】
ステップS212において、データベース検索部212は、車両位置データと車両姿勢データに基づいて、基本データベース120から対象標識(対象設備の一例)の基本データを取得する。
対象標識は、撮影時に車両110の進行方向に位置していた道路標識である。
ステップS212の処理は、実施の形態1のステップS112(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
【0105】
ステップS213において、画像範囲限定部213は、対象標識の基本データと車両位置データと車両姿勢データとに基づいて、道路画像から限定範囲を抽出する。
ステップS213の処理は、実施の形態1のステップS113(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
【0106】
ステップS214において、特徴抽出部214は、限定範囲に対する画像処理によって、対象標識の特徴データを生成する。
ステップS214の処理は、実施の形態1のステップS114(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同様である。
対象標識の特徴データは、以下のように生成される。
【0107】
特徴抽出部214は、対象標識を識別する識別番号を生成し、生成した識別番号を対象標識に付加する。
【0108】
特徴抽出部214は、限定範囲に対して射影変換とサイズ変換とを行う。
限定範囲に対する射影変換は、限定範囲に映っている対象標識(被写体)を正面から撮影して得られる画像に変換するための処理である。
限定範囲に対するサイズ変換は、限定範囲を拡大または縮小して限定範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部214は、車両110と対象標識との距離に応じた倍率で限定範囲を拡大または縮小する。
そして、特徴抽出部214は、変換後の限定範囲を用いて対象標識の特徴データを生成する。
【0109】
特徴抽出部214は、変換後の限定範囲を対象標識の特徴データに含める。
【0110】
まず、特徴抽出部214は、変換後の限定範囲に対する画像処理によって、対象標識に備わる表示部を検出する。例えば、表示部は、形状および色などの外観のパターンマッチングによって検出される。
次に、特徴抽出部214は、表示部の領域(表示領域)を示すデータを生成する。例えば、表示領域は、対象標識の正面における二次元領域で識別される。
そして、特徴抽出部214は、生成したデータを対象標識の特徴データに含める。
【0111】
まず、特徴抽出部214は、限定範囲を含んだ範囲を道路画像から抽出する。抽出される範囲を参照範囲と称する。例えば、参照範囲の大きさは、限定範囲の大きさによって定まる。限定範囲が大きいほど参照範囲は大きく、限定範囲が小さいほど参照範囲は小さい。
次に、特徴抽出部214は、参照範囲に対して射影変換とサイズ変換とを行う。
参照範囲に対する射影変換は、参照範囲に映っている被写体(対象標識など)を正面から撮影して得られる画像に変換するための処理である。
参照範囲に対するサイズ変換は、参照範囲を拡大または縮小して参照範囲を基準サイズの画像に変換するための処理である。例えば、特徴抽出部214は、車両110と対象標識との距離に応じた倍率で参照範囲を拡大または縮小する。
次に、特徴抽出部214は、変換後の参照範囲に対する画像処理によって、対象標識に隣接している物体を検出する。検出される物体の具体例について後述する。
次に、特徴抽出部214は、検出された物体を示すデータを生成する。例えば、特徴抽出部214は、物体の識別番号、物体の種類識別子、物体の相対位置データおよび物体の相対サイズデータなどを生成する。物体の種類識別子は物体の種類を判別する。物体の種類は、例えば、形状および色などの外観のパターンマッチングによって判別される。物体の相対位置データは、対象標識の位置に対する物体の相対位置を示す。物体の相対サイズデータは、対象標識のサイズに対する物体の相対サイズを示す。
そして、特徴抽出部214は、生成したデータを対象標識の特徴データに含める。
【0112】
図15に基づいて、対象標識に隣接している物体(検出される物体)の具体例を説明する。
例えば、特徴抽出部214は、対象標識を支えている支柱を検出する。また、特徴抽出部214は、対象標識の支柱に取り付けられている任意標識を検出する。任意標識は、基本データベース120によって管理されていない道路標識である。
【0113】
図14に戻り、ステップS215を説明する。
ステップS215において、特徴登録部215は、対象標識の識別番号と対象標識の基本データと対象標識の特徴データとを互いに対応付けて拡張データベース130に登録する。
ステップS215の処理は、実施の形態1のステップS115(
図9参照)において「対象信号灯器」を「対象標識」に置き換えた処理と同じである。
【0114】
***実施の形態2の効果***
実施の形態2により、各地点に設けられた道路標識の情報をデータベース化することができる。つまり、拡張データベース130を生成することができる。
拡張データベース130には、各道路標識の特徴データが登録される。各道路標識の特徴データと道路画像を照合することにより、道路標識を漏れなく正確に検出することが可能となる。したがって、拡張データベース130は、自動車の自動運転を行うために有用である。
【0115】
***実施の形態の補足***
データベース生成装置200は、車両110に搭載されてもよい。データベース生成装置200が車両110に搭載される場合、データベース生成装置200とセンサ管理装置300が1台の装置に統合されてもよい。
【0116】
基本データベース120と拡張データベース130とのそれぞれは、データベース生成装置200、センサ管理装置300またはその他の装置(例えば、データベースサーバ)のいずれで管理されてもよい。
【0117】
カメラ119の代わりに、MMS用のカメラ(113A、113B)が用いられてもよい。
MMS用のカメラ(113A、113B)の代わりに、カメラ119が用いられてもよい。
【0118】
車両110は、鉄道車両であってもよい。交通信号機は、鉄道用の信号機(例えば、踏切警報機)であってもよい。
【0119】
データベース生成システム100は、交通信号灯器と道路標識とは別の交通安全施設の情報をデータベース化してもよい。
つまり、「交通信号灯器」を「他の交通安全施設」に置き換えて実施の形態1が実施されてよいし、「道路標識」を「他の交通安全施設」に置き換えて実施の形態2が実施されてもよい。
【0120】
データベース生成装置200およびセンサ管理装置300のハードウェア構成について補足する。
データベース生成装置200は、データ取得部211とデータベース検索部212と画像範囲限定部213と特徴抽出部214と特徴登録部215とを実現する処理回路を備える。
センサ管理装置300は、データ収集部311とデータ処理部312と指向制御部313とを実現する処理回路を備える。
処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するプロセッサであってもよい。
データベース生成装置200とセンサ管理装置300とのそれぞれにおいて、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
【0121】
各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
データベース生成装置200とセンサ管理装置300とのそれぞれの要素である「部」は、「処理」または「工程」と読み替えてもよい。