特許 6591257 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6591257

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月16日

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20191007BHJP

【ＦＩ】

   G06T7/60 150S

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2015-207247(P2015-207247)

(22)【出願日】2015年10月21日

(65)【公開番号】特開2017-78989(P2017-78989A)

(43)【公開日】2017年4月27日

【審査請求日】2018年9月25日

(73)【特許権者】

【識別番号】000135771

【氏名又は名称】株式会社パスコ

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】李 勇鶴

(72)【発明者】

【氏名】篠原 崇之

(72)【発明者】

【氏名】佐藤 俊明

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 Lutz Priese, et al.，New results on traffic sign recognition，Proceedings of the Intelligent Vehicles '94 Symposium，IEEE，１９９４年１０月２４日，pp.249-254，ＵＲＬ，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=639514

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

画像内のオブジェクトに適合する幾何学的図形を判定する画像処理装置であって、
前記オブジェクトの凸包を求める凸包作成部と、
前記凸包の隣接する辺を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、前記凸包をそれぞれ１つの前記辺又は１つの前記ポリラインである複数のセグメントに分割する凸包統合・分割部と、
前記セグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの延在方向を含む幾何特徴情報を抽出する特徴抽出部と、
前記幾何特徴情報に基づいて、前記主要セグメントに対応した辺を有する多角形を前記幾何学的図形として判定する形状判定部と、
を有することを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記幾何特徴情報は前記主要セグメントの前記延在方向と長さを示す情報を含むこと、を特徴とする画像処理装置。

【請求項3】

請求項１又は請求項２に記載の画像処理装置において、
前記形状判定部は、前記セグメントにその長さが前記下限未満のものしか存在しない場合には、楕円を前記幾何学的図形として判定すること、を特徴とする画像処理装置。

【請求項4】

請求項１から請求項３のいずれか１つに記載の画像処理装置において、
前記凸包統合・分割部は、前記凸包の隣接する任意の２辺について、その接続頂点での外角が予め設定された閾値角度以下であるもの同士を統合して暫定的なポリラインを生成し、両端間での前記向きの変化量が前記上限を超えているポリラインに対して前記外角が最大の前記接続頂点にて当該ポリラインを分割する処理を行って、前記暫定ポリラインから前記向きの変化量が前記上限以下となる前記ポリラインを生成すること、を特徴とする画像処理装置。

【請求項5】

請求項１から請求項４のいずれか１つに記載の画像処理装置において、
前記幾何特徴情報を抽出する前記セグメントの長さの前記下限は、前記凸包の周囲長に対し所定割合を占める長さに設定されること、を特徴とする画像処理装置。

【請求項6】

請求項１から請求項５のいずれか１つに記載の画像処理装置において、
前記特徴抽出部は、前記ポリラインの前記延在方向として、当該ポリラインを構成する前記各辺の長さを重みとした当該各辺の方向の重み付け平均を求めること、を特徴とする画像処理装置。

【請求項7】

請求項１から請求項６のいずれか１つに記載の画像処理装置において、
前記形状判定部は、前記オブジェクトに対応する前記幾何特徴情報を、テンプレートとする多角形について予め抽出された前記幾何特徴情報であるテンプレート特徴情報と照合して前記幾何学的図形を判定すること、を特徴とする画像処理装置。

【請求項8】

請求項７に記載の画像処理装置において、
前記形状判定部は、前記テンプレートが矩形である場合に、前記テンプレート特徴情報に対する前記幾何特徴情報の前記延在方向のずれ角度に関し、前記矩形における互いに平行な２辺と照合される２つの前記主要セグメントに対して共通のオフセットが生じることを許容して照合の成否を判定すること、を特徴とする画像処理装置。

【請求項9】

画像内のオブジェクトに適合する幾何学的図形を判定する画像処理方法であって、
前記オブジェクトの凸包を求める凸包作成ステップと、
前記凸包の隣接する辺を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、前記凸包をそれぞれ１つの前記辺又は１つの前記ポリラインである複数のセグメントに分割する凸包統合・分割ステップと、
前記セグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの長さ及び延在方向を含む幾何特徴情報を抽出する特徴抽出ステップと、
前記幾何特徴情報に基づいて、前記主要セグメントに対応した辺を有する多角形を前記幾何学的図形として判定する形状判定ステップと、
を有することを特徴とする画像処理方法。

【請求項10】

画像内のオブジェクトに適合する幾何学的図形を判定する処理をコンピュータに行わせるためのプログラムであって、当該コンピュータを、
前記オブジェクトの凸包を求める凸包作成手段、
前記凸包の隣接する辺を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、前記凸包をそれぞれ１つの前記辺又は１つの前記ポリラインである複数のセグメントに分割する凸包統合・分割手段、
前記セグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの長さ及び延在方向を含む幾何特徴情報を抽出する特徴抽出手段、及び、
前記幾何特徴情報に基づいて、前記主要セグメントに対応した辺を有する多角形を前記幾何学的図形として判定する形状判定手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像内のオブジェクトに適合する幾何学的図形を判定する画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、自動運転に関する研究が盛んに行われており、その実現には高精細な道路地図情報が必要である。道路標識はその必要不可欠な要素の一つであり、道路地図情報として事前に与えられた道路標識の情報は、走行車両における道路標識の抽出・認識の効率及び精度の向上に役立つとともに、ランドマークとして当該車両の自己位置補正にも利用される。

【0003】

一方、道路地図の作成では、モービルマッピングシステム（Mobile Mapping System：ＭＭＳ）技術の普及により、高精度な位置情報を持った画像等を効率的に取得することが可能となっている。従来、当該画像から、道路標識の色と形状の特徴を利用してオブジェクトベースの画像解析手法で道路標識を自動認識する技術が提案されている。

【0004】

オブジェクトベースの画像解析手法では、画像を類似する画素特徴を持つ複数の領域（オブジェクト）に分割し、目的とする道路標識の色を持つオブジェクト（対象オブジェクト）を抽出する。そして、隣接する対象オブジェクトを統合して道路標識オブジェクトを定義し、それが道路標識の形状であるかを判定し、さらに道路標識のテンプレート画像を用いて道路標識の種類を判定する。ここで、道路標識の形状判定は、基本的に、画像内の対象オブジェクトに適合する幾何学的図形を判定することであると言える。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】「ＭＭＳ画像データを利用した道路標識の自動認識手法の開発」崔 載永、朱 林、チャタクリ スバス、橘 菊生、島村 秀樹、応用測量論文集Ｖｏｌ．２５（２０１４年）、第２５〜３４頁

【発明の概要】

【発明が解決しようとする課題】

【0006】

道路標識は、例えば、設置位置での環境、撮影時の天候、撮影角度などに応じて異なって撮影され得、これが画像における道路標識の自動認識を難しくする要因の一つとなっている。例えば、道路標識の画像における周囲物の影や白飛びなどにより道路標識オブジェクトが複数領域に分断される場合や、斜め撮影による道路標識の画像の変形が大きい場合など、道路標識の形状を精度良く判定することが容易ではない場合があった。

【0007】

本発明はこの形状判定に関する問題点を解決するためになされたものであり、画像内のオブジェクトに適合する幾何学的図形を精度良く判定することを可能とする画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

（１）本発明に係る画像処理装置は、画像内のオブジェクトに適合する幾何学的図形を判定するものであって、前記オブジェクトの凸包を求める凸包作成部と、前記凸包の隣接する辺を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、前記凸包をそれぞれ１つの前記辺又は１つの前記ポリラインである複数のセグメントに分割する凸包統合・分割部と、前記セグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの延在方向を含む幾何特徴情報を抽出する特徴抽出部と、前記幾何特徴情報に基づいて、前記主要セグメントに対応した辺を有する多角形を前記幾何学的図形として判定する形状判定部と、を有する。

【0009】

（２）上記（１）に記載する本発明に係る画像処理装置において、前記幾何特徴情報は前記主要セグメントの前記延在方向と長さを示す情報を含む構成とすることができる。

【0010】

（３）上記（１）及び（２）に記載する本発明に係る画像処理装置において、前記形状判定部は、前記セグメントにその長さが前記下限未満のものしか存在しない場合には、楕円を前記幾何学的図形として判定する構成とすることができる。

【0011】

（４）上記（１）から（３）に記載する本発明に係る画像処理装置において、前記凸包統合・分割部は、前記凸包の隣接する任意の２辺について、その接続頂点での外角が予め設定された閾値角度以下であるもの同士を統合して暫定的なポリラインを生成し、両端間での前記向きの変化量が前記上限を超えているポリラインに対して前記外角が最大の前記接続頂点にて当該ポリラインを分割する処理を行って、前記暫定ポリラインから前記向きの変化量が前記上限以下となる前記ポリラインを生成する構成とすることができる。

【0012】

（５）上記（１）から（４）に記載する本発明に係る画像処理装置において、前記幾何特徴情報を抽出する前記セグメントの長さの前記下限は、前記凸包の周囲長に対し所定割合を占める長さに設定される構成とすることができる。

【0013】

（６）上記（１）から（５）に記載する本発明に係る画像処理装置において、前記特徴抽出部は、前記ポリラインの前記延在方向として、当該ポリラインを構成する前記各辺の長さを重みとした当該各辺の方向の重み付け平均を求める構成とすることができる。

【0014】

（７）上記（１）から（６）に記載する本発明に係る画像処理装置において、前記形状判定部は、前記オブジェクトに対応する前記幾何特徴情報を、テンプレートとする多角形について予め抽出された前記幾何特徴情報であるテンプレート特徴情報と照合して前記幾何学的図形を判定する構成とすることができる。

【0015】

（８）上記（７）に記載する本発明に係る画像処理装置において、前記形状判定部は、前記テンプレートが矩形である場合に、前記テンプレート特徴情報に対する前記幾何特徴情報の前記延在方向のずれ角度に関し、前記矩形における互いに平行な２辺と照合される２つの前記主要セグメントに対して共通のオフセットが生じることを許容して照合の成否を判定する構成とすることができる。

【0016】

（９）本発明に係る画像処理方法は、画像内のオブジェクトに適合する幾何学的図形を判定する方法であって、前記オブジェクトの凸包を求める凸包作成ステップと、前記凸包の隣接する辺を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、前記凸包をそれぞれ１つの前記辺又は１つの前記ポリラインである複数のセグメントに分割する凸包統合・分割ステップと、前記セグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの長さ及び延在方向を含む幾何特徴情報を抽出する特徴抽出ステップと、前記幾何特徴情報に基づいて、前記主要セグメントに対応した辺を有する多角形を前記幾何学的図形として判定する形状判定ステップと、を有する。

【0017】

（１０）本発明に係るプログラムは、画像内のオブジェクトに適合する幾何学的図形を判定する処理をコンピュータに行わせるためのものであって、当該コンピュータを、前記オブジェクトの凸包を求める凸包作成手段、前記凸包の隣接する辺を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、前記凸包をそれぞれ１つの前記辺又は１つの前記ポリラインである複数のセグメントに分割する凸包統合・分割手段、前記セグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの長さ及び延在方向を含む幾何特徴情報を抽出する特徴抽出手段、及び、前記幾何特徴情報に基づいて、前記主要セグメントに対応した辺を有する多角形を前記幾何学的図形として判定する形状判定手段、として機能させる。

【発明の効果】

【0018】

本発明によれば、画像内のオブジェクトに適合する幾何学的図形の判定精度の向上が図れる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態に係る道路標識認識システムの概略の構成を示すブロック図である。

【図2】本発明の実施形態に係る道路標識認識システムによる道路標識の自動認識処理の概略の流れを示す模式図である。

【図3】領域分割処理、オブジェクトの抽出処理の例を説明する模式図である。

【図4】統合処理で生成される対象オブジェクトの例を示す模式図である。

【図5】本発明の実施形態に係る道路標識認識システムにおける凸包作成に関する付属的事項を説明するための模式図である。

【図6】凸包統合・分割部の処理を説明する模式図である。

【図7】倒立した正三角形の道路標識に対応した対象オブジェクトの例について、幾何特徴情報とテンプレート特徴情報との照合処理を説明する模式図である。

【図8】水平な一辺を有する矩形の道路標識に対応した対象オブジェクトの例について、幾何特徴情報とテンプレート特徴情報との照合処理を説明する模式図である。

【図9】２０°傾斜した正方形に対応した対象オブジェクトの例について、幾何特徴情報とテンプレート特徴情報との照合処理を説明する模式図である。

【図10】平行四辺形の対象オブジェクトの例について、幾何特徴情報とテンプレート特徴情報との照合処理を説明する模式図である。

【図11】横断歩道等の五角形の道路標識に対応した対象オブジェクトの例について、幾何特徴情報とテンプレート特徴情報との照合処理を説明する模式図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施の形態（以下実施形態という）に係る画像処理装置である道路標識認識システム２について、図面に基づいて説明する。本システムは道路及びその周辺の画像に写る道路標識を自動認識する。処理対象とする画像は例えば、上述のＭＭＳのように地上を走行する車両に搭載されたカメラにより取得される。

【0021】

図１は、道路標識認識システム２の概略の構成を示すブロック図である。本システムは、演算処理装置４、記憶装置６、入力装置８及び出力装置１０を含んで構成される。演算処理装置４として、本システムの各種演算処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置４は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。

【0022】

当該コンピュータのＣＰＵ（Central Processing Unit）が演算処理装置４を構成し、後述する領域分割部２０、対象オブジェクト抽出部２２、対象オブジェクト統合部２４、凸包作成部３０、凸包統合・分割部３２、幾何特徴抽出部３４、形状判定部３６及び道路標識判別部４０として機能する。これら演算処理装置４の各手段については演算処理装置４の処理に沿って後述する。

【0023】

記憶装置６はコンピュータに内蔵されるハードディスクなどで構成される。記憶装置６は演算処理装置４を領域分割部２０、対象オブジェクト抽出部２２、対象オブジェクト統合部２４、凸包作成部３０、凸包統合・分割部３２、幾何特徴抽出部３４、形状判定部３６及び道路標識判別部４０として機能させるためのプログラム及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置６は、処理対象とされる画像（入力画像５０）を格納する。また、自動認識の対象とする道路標識のテンプレートとして、テンプレート特徴情報５２と、テンプレート画像５４とが予め記憶装置６に格納される。

【0024】

入力装置８は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。

【0025】

出力装置１０は、ディスプレイ、プリンタなどであり、入力画像にて本システムにより道路標識である認識された部分の位置や画像、また判別結果の標識に対応するテンプレート画像を画面表示、印刷等によりユーザに示す等のために用いられる。

【0026】

図２は、道路標識認識システム２による道路標識の自動認識処理の概略の流れを示す模式図である。道路標識認識システム２は記憶装置６から入力画像５０を（動画の場合は１フレームずつ）読み込み、入力画像５０に対して領域分割処理を行う（処理Ｓ２）。領域分割は色情報の類似する隣接画素を１つの領域にまとめる処理であり、それにより生成される小片領域をオブジェクトと呼ぶ。次に、オブジェクトの中から特定の色（抽出する道路標識の色）を持つオブジェクト（以下、対象オブジェクト）を抽出し（処理Ｓ４）、隣接または近隣に位置し、且つ色が類似する対象オブジェクト同士を一つに統合する（処理Ｓ６）。

【0027】

続いて道路標識認識システム２は、統合後の対象オブジェクトに対応する幾何学的図形を判定する形状判定処理を行う。当該形状判定処理では、統合後の対象オブジェクトについての凸包（Convex Hull）を作成し（処理Ｓ８）、当該凸包の周を曲がり方が大きい箇所で分割し、曲がり方が小さい複数のセグメントを生成する（処理Ｓ１０）。当該セグメントのうち凸包の周囲長に占める割合が或る程度大きい主要セグメントについてその延在方向を含む幾何特徴情報を抽出し（処理Ｓ１２）、幾何特徴情報に基づいて、主要セグメントに対応した辺を有する多角形を、統合後の対象オブジェクトの形状に対応する幾何学的図形として判定する（処理Ｓ１４）。そして、対象オブジェクトの画像（候補画像）を、判定された図形に対応した道路標識のテンプレート画像５４と照合するなどして道路標識の種類を判別する（処理Ｓ１６）。

【0028】

以下、演算処理装置４が実現する各部、及び当該各部による処理Ｓ２〜Ｓ１６をさらに詳しく説明する。

【0029】

道路標識認識システム２による道路標識の自動抽出・認識処理は、入力画像５０から道路標識の候補範囲を検出する抽出処理と、抽出された道路標識候補に対してその種類を識別する認識処理とに分けられる。抽出処理はオブジェクトベースの画像解析に基づいた手法で行い、認識処理はテンプレートマッチング手法で行う。

【0030】

抽出処理では、道路標識の色と形状の特性を利用して入力画像５０にて道路標識の候補範囲を検出する。まず領域分割部２０が画像領域分割処理Ｓ２を行う。

【0031】

領域分割は領域併合法（Region merging）を用いて行う。当該手法は、１画素の領域（オブジェクト）から出発して、特徴が似ているオブジェクトを順次併合していく手法である。当該手法では、Scale、Color／Shape、Compactness／Smoothness という３種類のパラメータを用いる。Scaleパラメータは併合したオブジェクトの均質性を規定するものである。このパラメータの値が大きいほど、より多くのオブジェクトが併合され、オブジェクトのサイズが大きくなる。Color／Shapeパラメータと、Compactness／Smoothnessパラメータはそれぞれ相補的な関係にある。Color／Shapeは、画像の画素値（色）を重視して併合するか、形状の安定性を重視して併合するかの割合である。また、Compactness／Smoothnessは、オブジェクトの形状がよりコンパクトになるように併合するか、より滑らかになるように併合するかの割合である。これらのパラメータは、使用する画像の解像度と抽出するオブジェクトの特徴を考慮して経験的に設定される。図３は領域分割処理、オブジェクトの抽出処理の例を説明する模式図であり、図３（ａ）に示す画像２５には横断歩道の標識が写っており、図３（ｂ）は当該画像を複数のオブジェクト２６に領域分割した例を示している。

【0032】

次に対象オブジェクト抽出部２２が抽出処理Ｓ４を行う。対象オブジェクト抽出部２２は分割処理Ｓ２で生成されたオブジェクトの中から道路標識に対応する対象オブジェクトを検出する。具体的には、抽出対象の道路標識の色を有するオブジェクトを対象オブジェクトとして抽出する。道路標識の色としては例えば青、赤、黄などが挙げられる。例えば、図３（ｃ）の例では、青色のオブジェクト（斜線、網掛け領域）を抽出している。本実施形態では、例として、色の判定にＨＳＶ色空間における色相及び彩度の情報を利用する。なお、撮影状況等による道路標識の色変化に対応するため、色相の許容範囲は広く設定する。

【0033】

抽出処理Ｓ４で得られた対象オブジェクトに対して、対象オブジェクト統合部２４が統合処理Ｓ６を行う。

【0034】

既に述べたように統合処理では、隣接または近隣に位置し、且つ色が類似する対象オブジェクト同士を一つに統合する。その際の色類似度の判定では、対象オブジェクト間のＲＧＢ値の絶対差分の和を評価指標とし、その値が予め設定された閾値以下である場合、色が類似すると判断する。しかし、様々な要因により、画像ごとに適切な閾値は大きく異なり、最適な閾値の設定は困難である。

【0035】

本システム２ではこの問題を解決するために、対象オブジェクト統合部２４が、対象オブジェクトに対し、隣接するもの同士を統合する隣接統合処理Ｓ２０と、直接接してはいなくても或る基準より近ければ統合する近隣統合処理Ｓ２２とをそれぞれ行い、また、色類似度の判定の閾値が異なる複数の処理を行う。例えば、隣接統合処理Ｓ２０について色類似度の判定の閾値Ｔｈをｎ通り（Ｔｈ＝α１，α２，…αｎ）設定して処理Ｓ２０-1〜Ｓ２０-nを行い、また近隣統合処理Ｓ２２について色類似度の判定の閾値をｍ通り（Ｔｈ＝β１，β２，…βｍ）設定して処理Ｓ２２-1〜Ｓ２２-mを行う。これにより（ｎ＋ｍ）通りの統合結果が得られるが、対象オブジェクト統合部２４はそれらのうち同じものを集約し整理する（処理Ｓ２４）。

【0036】

図４は統合処理で生成される対象オブジェクトの例を示す模式図である。領域２７ａ，２７ｂはそれぞれ色が類似し隣接するオブジェクトの集合である。領域２７ａと領域２７ｂとの間は例えば、周囲物の影や白飛びなどにより分断されているが、近隣統合により１つの対象オブジェクト２７として抽出され得る。

【0037】

次に、統合処理Ｓ６で得られた各対象オブジェクト（例えば図３（ｃ）の網掛け領域や、図４の対象オブジェクト２７）に対して、凸包を利用した手法で形状判定（処理Ｓ８〜Ｓ１４）を行う。道路標識の形状は円形と多角形に大別される。円形の道路標識に対応する対象オブジェクトの凸包は多数の角度の異なる短い線分から構成され、一方、多角形の道路標識に対応する対象オブジェクトの凸包には、当該多角形の複数の辺に対応して、概ね直線状で特定の角度に延在する長い部分（主要セグメント）が複数存在し得る。本システムでは、この特徴を利用して、部分欠如や変形にロバストな形状判定を可能としている。以下、この形状判定処理について詳述する。

【0038】

まず対象オブジェクトの凸包を作成する（処理Ｓ８）。ここで、図４に示す２つの領域２７ａ，２７ｂからなる対象オブジェクト２７については、それら両領域２７ａ，２７ｂを包摂する１つの凸包２８が作成される。凸包２８は分断された領域間における対象オブジェクトの輪郭を近似的に補い、これにより部分欠如に対してロバストな形状判定が可能になる。

【0039】

さて、統合処理Ｓ６で得られた対象オブジェクトには、ノイズのオブジェクトが統合され得る。例えば、道路標識の近くに色が類似した背景の細いオブジェクトが存在する場合、当該背景のオブジェクトがノイズとして対象オブジェクトに統合され、対象オブジェクトの輪郭に当該背景オブジェクトに起因する細い突起が生じ得る。そこで、道路標識認識システム２は凸包を作成する前に、当該突起部分を除去するためにモルフォロジー演算のオープニング処理を行っても良い。

【0040】

図５は凸包作成に関する付属的事項を説明するための模式図であり、単純な例として対象オブジェクト６０が矩形６０ａである場合と三角形６０ｂである場合とを示している。凸包作成部３０は、統合処理Ｓ６で得られた対象オブジェクト６０を縦方向又は横方向に伸縮し、寸法の縦横比が１：１である対象オブジェクト６２に変換する。

【0041】

凸包作成部３０は縦横比を変換した対象オブジェクト６２について周知の方法で凸包を生成する。当該凸包を構成する任意の辺は例えば、ベクトルの形式で表現できる。本実施形態では、各ベクトル６４の向きは凸包を反時計回りに巡る向きに定義する。

【0042】

図６は凸包統合・分割部３２の処理を説明する模式図である。図６（ａ）は凸包作成部３０により生成された凸包の例である。図６（ａ）の凸包６６は各辺をベクトル６４で表している。

【0043】

凸包統合・分割部３２は凸包において直線とみなせる部分を検出する処理を行う。より具体的には、凸包統合・分割部３２は凸包の隣接する辺（ライン）を順次統合した折れ線であって当該長さがその両端間での向きの変化量についての予め設定された上限に基づいて定められるポリラインを生成し、凸包をそれぞれ１つのライン又は１つのポリラインである複数のセグメントに分割する（処理Ｓ１０）。

【0044】

例えば、本実施形態では、凸包の周上で隣接する２辺での向きの変化量についての閾値角度θｉと、ポリラインの両端間での向きの変化量についての閾値角度θｄとを用いて凸包の分割を行う。θｉ及びθｄの値は予め設定される。具体的には、θｉは、それ以下であれば隣接２辺に対応する部分での対象オブジェクトの輪郭が直線であることが否定されず、一方、それを超えていれば直線ではないと推定される大きさに設定され、本実施形態では例えば、１０°とする。θｄはポリラインを直線とみなす上限の角度であり、本実施形態では例えば、２０°とする。

【0045】

凸包統合・分割部３２は、凸包の周上で隣接する任意の２辺について、その接続頂点での外角の大きさがθｉ以下であるもの同士を統合して暫定的なポリライン６８を生成する（図６（ｂ））。

【0046】

そして、両端間でのラインの向きの変化量が角度θｄを超えているポリライン６８に対して、外角が最大である接続頂点にて当該ポリラインを分割する処理を行い、暫定ポリライン６８から、両端間でのラインの向きの変化量が角度θｄ以下となるポリラインを生成する。図６の例では暫定的なポリライン６８ａの向きの変化量はθｄ以下であるので分割されない。一方、暫定的なポリライン６８ｂの向きの変化量はθｄを超えているので、凸包統合・分割部３２は外角が最大の接続頂点７０にてポリライン６８ｂを分割して、２つのポリライン６８ｃ，６８ｄにする（図６（ｃ））。なお、分割で生成されたポリラインの向きの変化量がまだθｄを超えている場合には、同様にしてさらなる分割を行う。

【0047】

以上の凸包統合・分割部３２の処理により、凸包はそれぞれライン又は、直線とみなすポリラインであるセグメントに分割される。幾何特徴抽出部３４はセグメントのうち、その長さが予め定めた下限以上である主要セグメントについて、当該セグメントの延在方向を含む幾何特徴情報を抽出する（処理Ｓ１２）。

【0048】

例えば、セグメントのうち凸包の周囲長に占める割合Ｒsが閾値γ以上であるものを主要セグメントとすることができ、本実施形態ではγは１５％とする。道路標識の本標識の形状には円と多角形とがあり、多角形のものの多くは正方形、正三角形である。凸包統合・分割部３２にて生成されるセグメントの長さには誤差が生じ得るが、γ＝１５％とすれば、正方形、正三角形の辺に対応するセグメントは安定して主要セグメントとして検出され得る。

【0049】

幾何特徴抽出部３４は幾何特徴情報として、各主要セグメントについて延在方向を算出する。ポリラインについては、延在方向として、当該ポリラインを構成する各辺の長さを重みとした当該各辺の方向の重み付け平均を求める。また本実施形態の幾何特徴情報は、各主要ポリラインについての延在方向と長さを示す情報とを含む。長さを示す情報として、凸包の周囲長に占める主要セグメントの長さの割合Ｒsを用いることができる。

【0050】

形状判定部３６は幾何特徴情報に基づいて、統合後の対象オブジェクトの形状に対応する幾何学的図形を判定する（処理Ｓ１４）。具体的には、形状判定部３６は対象オブジェクトから抽出された幾何特徴情報をテンプレート特徴情報５２と比較して、主要セグメントに対応した辺を有する多角形を対象オブジェクトの幾何学的図形として判定する。

【0051】

テンプレート特徴情報５２は道路標識に用いられる多角形の辺の方向を含む。上述した凸包の辺のベクトル表現に合わせて、テンプレートの多角形の辺もベクトル形式で表現し、辺の向きは当該多角形を反時計回りに巡る向きに定義する。またベクトルの向きを表す角度φは、水平方向右向きを０°を基点として反時計回りを正として測ることとする。

【0052】

例えば、正三角形の標識についてのテンプレート特徴情報５２は角度φの３つの値の組（６０°，１８０°，３００°）となる。ちなみにこの正三角形における角度φは、日本においては正三角形の道路標識が通常、「止まれ」の標識のように倒立した三角形であることを考慮して定義している。しかし、図形の回転操作に伴う角度シフトを考慮に入れたマッチング処理を行う場合には、テンプレート特徴情報５２は角度φの相対的関係が同じ他の値の組とすることができる。例えば、正立の正三角形の辺の角度φの組（０°，１２０°，２４０°）を用いて、正立だけでなく倒立の正三角形に適合する対象オブジェクトを検出することが可能である。なお、対象オブジェクト６０を縦横比１：１の対象オブジェクト６２に変換することを考慮すると、上述の正三角形のテンプレート特徴情報５２のφは簡易・近似的なものであり、より正確な正三角形の標識のテンプレート特徴情報５２は縦横比１：１に変換した三角形に基づいて定義することができる。例えば、倒立の正三角形についての角度φの３つの値の組は（６３°，１８０°，２９７°）となる。

【0053】

図７〜図１１はいくつかの対象オブジェクトの例について、幾何特徴情報とテンプレート特徴情報５２との照合処理を説明する模式図である。図７〜図１１に示す対象オブジェクトは図５を用いて説明した縦横比を変換した対象オブジェクト６２であり、凸包統合・分割部３２で得られるセグメントごとのベクトルの集合で当該対象オブジェクト６２の形状を表現している。また、主要セグメントから得た幾何特徴情報と、テンプレート特徴情報５２とを、横軸を角度φ、縦軸を長さの割合Ｒsとする二次元空間にて表現している。

【0054】

図７は倒立した正三角形の道路標識に対応した対象オブジェクトの例であり、図７（ａ）は上述したようにセグメントに対応したベクトルで表した対象オブジェクトの形状である。図７（ａ）に示すベクトル８０ａ〜８０ｃは主要セグメントを表している。図７（ｂ），（ｃ）は幾何特徴情報とテンプレート特徴情報５２とを上述の二次元空間にて表現した図であり、それら情報の照合処理を説明する模式図である。図７（ｂ）では倒立正三角形のテンプレート特徴情報５２の角度（６０°，１８０°，３００°）を垂直の点線で表示し、図７（ｃ）では矩形のテンプレート特徴情報５２の角度（０°，９０°，１８０°，２７０°）を垂直の点線で表示している。また、図７（ｂ），（ｃ）の小さい黒丸８２ａ〜８２ｃが幾何特徴情報であり、それぞれベクトル８０ａ〜８０ｃのφ及びＲsの組で表される座標に位置している。

【0055】

形状判定部３６は例えば、幾何特徴情報を構成する主要セグメントの延在方向の角度φの組（特徴角度パターンと称する。）と、テンプレート特徴情報５２の角度φの組（テンプレート角度パターン）との一致度を算出し、一致度が予め定めた基準値以上であれば、対象オブジェクトの形状はテンプレート特徴情報５２に対応する幾何学的図形で表されると判定する。

【0056】

特徴角度パターンを構成するξs個の角度φの値をφs(ｉ)（ｉは１≦ｉ≦ξsなる整数である。）とし、テンプレート角度パターンを構成するξt個の角度φの値をφt(ｊ)（ｊは１≦ｊ≦ξtなる整数である。）とする。一致度の評価値は例えば、各φs(ｉ)と、当該φs(ｉ)に最も近いφt(ｊ)との差の絶対値の総和（Sum of Absolute Difference：ＳＡＤ）や当該差の二乗和（Sum of Squared Difference：ＳＳＤ）をξsで除した平均値とすることができる。評価値（ＳＡＤ／ξs）や（ＳＳＤ／ξs）は小さいほど一致度が高いことを意味する。よって、形状判定部３６は例えば、（ＳＡＤ／ξs）や（ＳＳＤ／ξs）^１／２が基準角度φth（例えば１５°）以下の場合に一致と判定する。

【0057】

具体的には図７の例に示す幾何特徴情報（幾何角度パターン）は図７（ｂ）に示すテンプレート角度パターンとは一致すると判定されるが、図７（ｃ）に示すテンプレート角度パターンとは一致しないと判定される。その結果、形状判定部３６により図７（ａ）の対象オブジェクトの形状は倒立した正三角形であると判定される。

【0058】

図８は水平な一辺を有する矩形の道路標識に対応した対象オブジェクトの例であり、図８（ａ）は主要セグメント８４ａ〜８４ｄに対応したベクトルで表した対象オブジェクトの形状である。図８（ｂ），（ｃ）は図７（ｂ），（ｃ）と同様に倒立正三角形のテンプレート特徴情報５２、矩形のテンプレート特徴情報５２に幾何特徴情報をプロットした図である。図８（ｂ），（ｃ）にプロットされる黒丸８６ａ〜８６ｄが幾何特徴情報であり、それぞれベクトル８４ａ〜８４ｄのφ及びＲsの組で表される座標に位置している。

【0059】

形状判定部３６は幾何特徴情報とテンプレート特徴情報５２との一致を図７で説明したように評価し、図８の例に示す幾何特徴情報（幾何角度パターン）については図８（ｃ）に示すテンプレート角度パターンと一致すると判定され、図８（ｂ）に示すテンプレート角度パターンとは一致しないと判定される。その結果、形状判定部３６により図８（ａ）の対象オブジェクトの形状は矩形であると判定される。

【0060】

なお、図８の例では、対象オブジェクトから４つの主要セグメントが抽出されていることに基づいて、形状判定部３６は四角形以上の多角形のテンプレート特徴情報５２との照合のみ行ってもよい。つまり、この例では、三角形のテンプレート特徴情報５２との照合を省略することが可能である。

【0061】

図９は２０°傾斜した正方形に対応した対象オブジェクトの例であり、図９（ａ）は主要セグメント８８ａ〜８８ｄに対応したベクトルで表した対象オブジェクトの形状である。図９（ｂ）は図８（ｃ）と同じ矩形のテンプレート特徴情報５２に、ベクトル８８ａ〜８８ｄの幾何特徴情報を示す黒丸９０ａ〜９０ｄをプロットした図である。

【0062】

この例では、図形の回転操作に伴う角度シフトを考慮に入れたマッチング処理を説明する。傾斜した矩形は回転操作により図８に示すような正置された矩形に変換することができる。このような或る幾何学的図形Ａとこれを角度φa回転した図形Ａ’とを考えたとき、容易に理解されるように、図形Ａ’についての幾何特徴情報に対し角度φ→φ−φaなるシフト変換を施した結果は図形Ａについての幾何特徴情報と一致する。そこで、図形Ａ’についての特徴角度パターンを或る図形Ｂのテンプレート角度パターンと照合する際に、一致度が最大（ＳＡＤやＳＳＤに応じた上記評価値は最小）になるシフト角度φaを求め、そのときの一致度を基準値と比較して、図形Ａ’が図形Ｂに一致するか否かを判定することができる。図９の例で具体的に説明すると、φaは約２０°となり、黒丸９０ａ〜９０ｄで表される特徴角度パターンをφ軸の負の向きにφaシフトした点（白丸）９２ａ〜９２ｄが図８（ｃ）と同じ矩形のテンプレート特徴情報５２と一致すると判定される。これにより図９（ａ）の対象オブジェクトの形状について、矩形であること、及び図８（ａ）に示すような正置の状態から角度φaだけ回転させたものであることが判定される。

【0063】

図１０は平行四辺形の対象オブジェクトの例であり、図１０（ａ）は平行四辺形の４辺に対応する主要セグメント１００ａ〜１００ｄをベクトルで表している。図１０（ｂ）は図８（ｃ）と同じ矩形のテンプレート特徴情報５２に、ベクトル１００ａ〜１００ｄの幾何特徴情報を示す黒丸１０２ａ〜１０２ｄをプロットした図である。

【0064】

道路標識を斜めから撮影するとその画像は本来の形状から変形し得る。例えば、矩形の道路標識において隣接する辺の角度が直角からずれて平行四辺形に近い四角形となり得る。

【0065】

ここで元の道路標識が正方形やそれに近い縦横比の矩形である場合、上述した寸法の縦横比が１：１である対象オブジェクト６２に変換することで、変形が緩和されて隣接する辺の角度が直角に近づくように補正されるので、図８（ｃ）に示す矩形のテンプレート角度パターンからの許容ずれ量（例えば、基準角度φth）を比較的小さく設定しても正しく矩形であると判定され得る。

【0066】

一方、一方通行の標識のように細長い矩形である場合、縦横比１：１の対象オブジェクト６２への変換では、図１０（ａ）に示すように変形が大きくなり得、図７〜図９に示したような縦横の寸法が同程度の道路標識と同じ許容ずれ量で矩形のテンプレート角度パターンと照合しても不一致となる可能性が高くなる（図１０（ｂ）参照）。そこで、形状判定部３６は、細長い矩形の道路標識の対象オブジェクトを抽出するために平行四辺形に対応したアルゴリズムを備えてもよい。当該アルゴリズムは平行四辺形において対向する２辺が平行であることを利用するものとすることができる。具体的には、矩形のテンプレート角度パターンからの許容ずれ量に関し、矩形における互いに平行な２辺と照合される２つの主要セグメントに対して共通のオフセットが生じることを許容して照合の成否を判定する。例えば、図１０の例ではベクトル１００ａ，１００ｃの角度φsのテンプレート角度パターンからのずれ量は基準角度φth以下であるのに対し、ベクトル１００ｂ，１００ｄの角度φsのずれ量は基準角度φthを超えている。しかし、ベクトル１００ｂ，１００ｄが平行であると判断される場合にはずれ量の上限をφthより大きい角度φth’（例えば３０°）に緩和し、ベクトル１００ｂ，１００ｄのずれ量がφth’以下であれば対象オブジェクトの形状は矩形であると判定する。なお、当該アルゴリズムは例えば、主要セグメントが４つ抽出され（すなわちξs＝４）、それに対応する特徴角度パターンの角度をφs(１)＜φs(２)＜φs(３)＜φs(４)とすると、｜｛φs(３)−φs(１) ｝−１８０°｜≦φth、且つ｜｛φs(４)−φs(２) ｝−１８０°｜≦φthである場合、又は、｜｛φs(３)−φs(１) ｝−１８０°｜≦φth、且つ｜｛φs(４)−φs(３)｝−｛φs(２)−φs(１)｝｜≦φthである場合に適用することができる。

【0067】

ここで、テンプレート特徴情報５２は主要セグメントのＲsも含む構成とすることができる。具体的にはテンプレート特徴情報５２はＲsに関し、平行四辺形において対向する辺同士のＲsが等しいという情報を含み得る。幾何特徴情報とテンプレート特徴情報５２との照合において、このＲsに関する情報を考慮に入れることで、対象オブジェクトが平行四辺形であるか否かの判定精度が向上する。

【0068】

図１１は横断歩道等の五角形の道路標識に対応した対象オブジェクトの例であり、図１１（ａ）は五角形の５辺に対応するセグメント１１０ａ〜１１０ｅをベクトルで表している。道路標識の当該五角形は概ね正三角形であり、形状判定部３６は簡易的な処理として、当該道路標識の対象オブジェクトの形状を正三角形と判定する。具体的には、五角形の道路標識の辺の長さの比は、セグメント１１０ｂ，１１０ｅに対応する短辺を１とするとセグメント１１０ａ，１１０ｃ，１１０ｄに対応する長辺が３である。そのため、主要セグメントを抽出する上述の閾値γを１５％とする本実施形態では、セグメント１１０ａ，１１０ｃ，１１０ｄの３つが主要セグメントとして抽出される。図１１（ｂ）は、正立の正三角形のテンプレート特徴情報５２に、ベクトル１１０ａ，１１０ｃ，１１０ｄの幾何特徴情報を示す黒丸１１２ａ，１１２ｃ，１１２ｄをプロットした図である。図１１（ｂ）に示すように、ベクトル１１０ａ，１１０ｃ，１１０ｄの特徴角度パターンは正立の正三角形のテンプレート角度パターンとの照合で検出できる。

【0069】

一方、閾値γを小さく設定することで、セグメント１１０ａ〜１１０ｅを全て主要セグメントとして抽出することが可能である。また、道路標識の五角形の５辺全ての情報からなるテンプレート特徴情報５２は、（０°，９０°，１２０°，２４０°，２７０°）からなるテンプレート角度パターンを有する。図１１（ｃ）は当該五角形のテンプレート特徴情報５２に、ベクトル１１０ａ〜１１０ｅの幾何特徴情報を示す黒丸１１４ａ〜１１４ｅをプロットした図である。図１１（ｃ）に示すように、五角形の道路標識は、そのテンプレート特徴情報５２と、対象オブジェクトから抽出される特徴角度パターンとの照合で検出できる。ここで、テンプレート特徴情報５２は上述のように主要セグメントのＲsも含む構成とすることができる。この場合、幾何特徴情報とテンプレート特徴情報５２との照合において、ベクトル１１０ｂ，１１０ｅに対応する辺のＲsとベクトル１１０ａ，１１０ｃ，１１０ｄに対応するＲsとの違いを考慮に入れることができ、これにより対象オブジェクトが五角形の道路標識の形状であるか否かの判定精度が向上する。

【0070】

なお、対象オブジェクト６０を縦横比１：１の対象オブジェクト６２に変換することを考慮すると、上述の五角形の標識の判定に用いるテンプレート特徴情報５２のφは簡易・近似的なものであり、３つの主要セグメントを抽出する場合のより正確なテンプレート特徴情報５２の角度φの３つの値の組は（０°，１２５°，２３５°）となり、また５つの主要セグメントを抽出する場合の角度φの５つの値の組は（０°，９０°，１２５°，２３５°，２７０°）となる。

【0071】

以上、幾何特徴抽出部３４により主要セグメントから抽出された幾何特徴情報に基づいて形状判定部３６が多角形の対象オブジェクトの形状を判定する処理について説明した。一方、形状判定部３６は、凸包統合・分割部３２により主要セグメントが検出されない場合に、対象オブジェクトの幾何学的図形として楕円（円を含む）を判定することができる。すなわち本実施形態では凸包にてＲsが例えば１５％以上となるセグメントが検出されない場合の対象オブジェクトの形状は、楕円（円を含む）とすることができる。

【0072】

なお、例えば、国際連合の停止の道路標識のように八角形のものからは、γ＝１５％とすると主要セグメントが検出されないことになるが、このような角数が多い多角形は、後のテンプレート画像５４との照合処理にて円として取り扱っても道路標識の判別精度を確保できる。なお、六角形等のように主要セグメントが検出されない可能性がある場合には、γ＝１０〜１２％程度とすることも可能である。また、より正確に楕円と多角形とを区別する必要がある場合は、例えば、三角形や矩形のような比較的少ない角数の多角形の検出に好適である比較的大きなγ（例えば上述の１５％）を用いた判定とは別に、より小さな値のγを用いた判定を行い当該判定にて全てのセグメントのＲsがγ未満であるものを楕円とすることができる。

【0073】

形状判定部３６により上述のように対象オブジェクトに適合する幾何学的図形が判定されると、道路標識判別部４０は、対象オブジェクトの画像と道路標識のテンプレート画像５４とを照合するなどして道路標識の種類を判別する（処理Ｓ１６）。具体的には、入力画像５０に写る対象オブジェクトを道路標識の候補画像とし、これを当該対象オブジェクトについて判定された幾何学的図形に対応したテンプレート画像５４と照合する（処理Ｓ３０）。なお、本実施形態では各テンプレート画像のサイズは６４×６４画素とする。

【0074】

ここで、テンプレート画像５４のうち、処理Ｓ１４で判定された幾何学的図形に対応する形状を有するものが照合対象とされる。また、撮影角度等により画像上の道路標識は本来の形状から大きく変形されることも多く、当該変形は認識精度を低下させる主な要因となる。そこで、道路標識判別部４０は、処理Ｓ１４で判定された幾何学的図形に応じて候補画像の形状の正規化を行う。具体的には、判定された形状が楕円の場合には例えばＲＡＮＳＡＣ法に基づいた楕円フィッティングを行い、また多角形の場合にはＨｏｕｇｈ変換に基づいた直線検出を行い、それらの結果を基にアフィン変換を行うことで、候補画像の形状の正規化を行う。

【0075】

このテンプレートマッチング処理Ｓ３０では、形状正規化後の候補領域画像とテンプレート画像５４との相互相関係数を算出する。上述したように本システム２は統合処理Ｓ６にて隣接統合Ｓ２０及び近隣統合Ｓ２２それぞれを複数の閾値で行い、複数の対象オブジェクトが抽出される。形状判定（処理Ｓ８〜Ｓ１４）は当該各対象オブジェクトに対して行われ、また、テンプレートマッチング処理Ｓ３０も当該各対象オブジェクトに対して行われる。道路標識判別部４０はそれら複数の対象オブジェクトに対する照合結果に基づいて最終的な判別結果となる道路標識を選出する（処理Ｓ３２）。例えば、複数の対象オブジェクトに対する相互相関係数の中から値が最も高いテンプレートを認識結果とする。

【0076】

なお、最大の相互相関係数が所定の基準値（例えば０．５）以下の場合は、道路標識ではないと判断する。すなわち、道路標識判別部４０における認識処理は道路標識の識別の他に、抽出候補に対するフィルタリングの役割も有する。

【0077】

上記実施形態は、画像に写る道路標識を認識するシステムにて、対象オブジェクトに適合する幾何学的図形を判定する例を説明したが、本発明は道路標識以外の画像内のオブジェクトの幾何学的図形の判定にも適用することができる。

【符号の説明】

【0078】

２ 道路標識認識システム、４ 演算処理装置、６ 記憶装置、８ 入力装置、１０ 出力装置、２０ 領域分割部、２２ 対象オブジェクト抽出部、２４ 対象オブジェクト統合部、３０ 凸包作成部、３２ 凸包統合・分割部、３４ 幾何特徴抽出部、３６ 形状判定部、４０ 道路標識判別部、５０ 入力画像、５２ テンプレート特徴情報、５４ テンプレート画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】