特許 7408490 動画像速度検出装置、動画像速度検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】動画像速度検出装置、動画像速度検出方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20231225BHJP

   G06T 7/60 20170101ALI20231225BHJP

【ＦＩ】

G06T7/246

G06T7/60 110

【請求項の数】 5

(21)【出願番号】P 2020097463

(22)【出願日】2020-06-04

(65)【公開番号】P2021189991

(43)【公開日】2021-12-13

【審査請求日】2023-03-17

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】小柳 隆裕

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２００８－３６２５５（ＪＰ，Ａ）

【文献】特開２００７－１２２５９４（ＪＰ，Ａ）

【文献】特開２００３－２７１９７３（ＪＰ，Ａ）

【文献】特開２０１７－３０３８０（ＪＰ，Ａ）

【文献】特開２０１３－１１４２７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２４６

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

動画像を撮影して画像データを出力する撮像手段と、
前記画像データに対して、フレーム毎に輪郭画像処理を実行して輪郭強調画像を出力する輪郭強調手段と、
前記輪郭強調画像の各座標の値を、しきい値に基づいて２値化して、２値化画像を出力する２値化手段と、
前記２値化画像に対して、複数の連結パターンに基づいて連結を調査してラベルを特定し、ラベルが付与されたラベル画像と、ラベルを特定するために使用した連結パターンがラベル毎に設定された連結局所形状パターン画像を出力する連結ラベリング手段と、
前記連結局所形状パターン画像をもとにラベル毎の連結パターンの種類と数とをラベル特徴量として抽出して出力する特徴抽出手段と、
前記特徴抽出手段から出力される現フレームに対応する第１ラベル特徴量と数フレーム前に対応する第２ラベル特徴量とをもとに、フレーム間のラベルの特徴照合を実行して、フレーム間のラベルの対応を判定するフレーム間照合判定手段と、
前記フレーム間照合判定手段によるラベルの照合結果をもとに、フレーム間の対応するラベルの位置変化をもとにラベルに相当する前記動画像に撮影された物体の速度を推定して出力する速度推定手段と
を有する動画像速度検出装置。

【請求項2】

前記連結ラベリング手段は、８連結パターンを使用して前記ラベル画像を生成し、
前記特徴抽出手段は、ラベル毎の８連結パターンの種類と数とをラベル特徴量として抽出する請求項１記載の動画像速度検出装置。

【請求項3】

前記特徴抽出手段は、ラベル特徴量として、さらに前記ラベル画像をもとにして、ラベルの輪郭長、最大座標、最小座標、座標総和の何れかを抽出する請求項１または請求項２記載の動画像速度検出装置。

【請求項4】

前記速度推定手段は、フレーム中の個々のラベルの移動方向を集計して、多数決により画像中の物体の移動方向を判定し、判定された移動方向の速度を推定する請求項１または請求項２記載の動画像速度検出装置。

【請求項5】

撮像器から出力される動画像の画像データに対して、フレーム毎に輪郭画像処理を実行して輪郭強調画像を出力し、
前記輪郭強調画像の各座標の値を、しきい値に基づいて２値化して、２値化画像を出力し、
前記２値化画像に対して、複数の連結パターンに基づいて連結を調査してラベルを特定し、ラベルが付与されたラベル画像と、ラベルを特定するために使用した連結パターンがラベル毎に設定された連結局所形状パターン画像を出力し、
前記連結局所形状パターン画像をもとにラベル毎の連結パターンの種類と数とをラベル特徴量として抽出し、
現フレームに対応する第１ラベル特徴量と数フレーム前に対応する第２ラベル特徴量とをもとに、フレーム間のラベルの特徴照合を実行して、フレーム間のラベルの対応を判定し、
ラベルの照合結果をもとに、フレーム間の対応するラベルの位置変化をもとにラベルに相当する前記動画像に撮影された物体の速度を推定して出力する動画像速度検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、例えば動画像により撮影される物体の移動速度を検出する動画像速度検出装置、同装置における動画像速度検出方法に関する。

【背景技術】

【0002】

従来、動画像によって撮影された物体の速度を検出する装置として、例えば特許文献１に記載された画像処理システムが知られている。特許文献１に記載された画像処理システムは、目標検知器などに用いられるもので、赤外線カメラから出力される赤外線画像の輝度データについて、２値化処理部により２値化処理され、セグメント処理部により２値化された画像に対しセグメントの生成処理を行う。また、セグメント処理部は、２値化処理部の出力に対して８連結の連結調査を行い、素セグメント画像と、セグメント修正情報とをセグメントテーブルに出力する。評価値計算部は、各セグメントの面積と連結情報をもとに面積変化を検出する面積変化計算を実行し、またセグメントの重心座標の移動速度ベクトル（物体の移動速度）を求める移動速度計算を実行する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－５７２０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように従来の画像処理システムでは、画像中に含まれる移動物体に相当するセグメントを検出し、セグメントの重心位置の変化をもとに物体の速度を検出する。従来の画像処理システムでは、動画像により撮影された背景以外の特定の移動物体について移動速度を検出するため、移動物体に相当するセグメントの数が少なく、セグメントに対する処理負荷が大きくない。

【0005】

これに対して、例えば、カメラの向き（撮影範囲）が変更されながら撮影される動画像、あるいは移動体に搭載されたカメラによって撮影される動画像では、画像全体が変化するため、画像に含まれる全ての物体が画像中において移動する。従って、画像に含まれる全ての物体が移動速度の検出対象となるために処理負荷が増大し、処理時間が長くなってしまう。

【0006】

本発明が解決しようとする課題は、動画像により撮影された物体の速度検出を高速化することが可能な動画像速度検出装置、動画像速度検出方法を提供することである。

【課題を解決するための手段】

【0007】

実施形態によれば、動画像速度検出装置は、撮像手段、輪郭強調手段、２値化手段、連結ラベリング手段、特徴抽出手段、フレーム間照合判定手段、速度推定手段を有する。撮像手段は、動画像を撮影して画像データを出力する。輪郭強調手段は、前記画像データに対して、フレーム毎に輪郭画像処理を実行して輪郭強調画像を出力する。２値化手段は、前記輪郭強調画像の各座標の値を、しきい値に基づいて２値化して、２値化画像を出力する。連結ラベリング手段は、前記２値化画像に対して、複数の連結パターンに基づいて連結を調査してラベルを特定し、ラベルが付与されたラベル画像と、ラベルを特定するために使用した連結パターンがラベル毎に設定された連結局所形状パターン画像を出力する。特徴抽出手段は、前記連結局所形状パターン画像をもとにラベル毎の連結パターンの種類と数とをラベル特徴量として抽出して出力する。フレーム間照合判定手段は、前記特徴抽出手段から出力される現フレームに対応する第１ラベル特徴量と数フレーム前に対応する第２ラベル特徴量とをもとに、フレーム間のラベルの特徴照合を実行して、フレーム間のラベルの対応を判定する。速度推定手段は、前記フレーム間照合判定手段によるラベルの照合結果をもとに、フレーム間の対応するラベルの位置変化をもとにラベルに相当する前記動画像に撮影された物体の速度を推定して出力する。

【図面の簡単な説明】

【0008】

【図1】本実施形態における動画像速度検出装置の構成を示すブロック図。

【図2】８連結パターンの一例を示す図。

【図3】本実施形態における動画像速度検出装置の全体の処理を示すフローチャート。

【図4】本実施形態における８連結ラベリング部による８連結ラベリングの処理例を示す図。

【図5】本実施形態における８連結ラベリングの処理を示すフローチャート。

【図6】本実施形態における素ラベリング変換情報作成部による素ラベル変換情報作成とリラベリング部によるリラベリングの処理例を示す図。

【図7】本実施形態における素ラベル変換情報生成の処理を示すフローチャート。

【図8】本実施形態におけるリラベリングの処理を示すフローチャート。

【図9】本実施形態における特徴抽出部による特徴抽出の処理例を示す図。

【図10】本実施形態における特徴抽出部による特徴抽出の処理を示すフローチャート。

【図11】本実施形態における特徴抽出部によるラベル特徴量計算を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、実施の形態について、図面を参照して説明する。

【0010】

図１は、本実施形態における動画像速度検出装置の構成を示すブロック図である。動画像速度検出装置は、撮像器１１、輪郭強調部１２、２値化部１３、８連結ラベリング部１４、素ラベリング変換情報作成部１５、リラベリング部１６、特徴抽出部１７、一時記憶部１８、フレーム間照合判定部１９、及び速度推定部２０を有する。

【0011】

図１に示す撮像器１１を除く各部（あるいは一部）は、例えばコンピュータによって実現することができる。コンピュータは、メモリに記憶された動画像速度検出プログラムを実行することにより、コンピュータに設けられた記憶装置等の各種ハードウェアを利用して各部の機能を実現することができる。コンピュータは、撮像器１１によって撮影された撮影画像（画像データ）を入力して、動画像に撮影された物体の移動速度を検出するための画像処理を実行する。

【0012】

本実施形態における動画像速度検出装置は、例えば、カメラの向き（撮影範囲）が変更されながら撮影される動画像、あるいは移動体に搭載されたカメラによって撮影される動画像について、画像中の物体の速度を検出する。すなわち、画像中の物体の速度を検出することで、カメラの向きが変更される速度と方向、あるいはカメラが搭載された移動体の速度と方向を検出することができるようにする。

【0013】

撮像器１１は、動画像を撮影して、撮像された撮像画像の画像データＤ１を出力する。輪郭強調部１２は、撮像器１１から出力される画像データＤ１（撮像画像）に対して、フレーム毎に輪郭画像処理を実行して輪郭強調画像Ｄ２を出力する。２値化部１３は、輪郭強調部１２から出力される輪郭強調画像Ｄ２の各座標の値を、しきい値に基づいて２値化して（０または１）、２値化画像Ｄ３を出力する。

【0014】

８連結ラベリング部１４は、２値化部１３から出力される２値化画像Ｄ３に対して、８連結パターンに基づいて上下左右斜め方向の８連結を調査（スキャン）し、ラベルが付与された素ラベル画像Ｄ６、素ラベル修正情報Ｄ４、素ラベル数Ｄ５、及び８連結局所形状パターン画像Ｄ７を出力する。

【0015】

図２は、２値化画像Ｄ３に対して、上下左右斜め方向の８連結を調査するための８連結パターンを示している。図２に示すように、８連結パターンは、１６パターン（番号０～１５）がある。図２の８連結パターンにおいて「１」は、２値化あり又はラベルあり、「０」、２値化なし又はラベルなし、を示す。また、８連結パターンの「ａ」「ｂ」「ｃ」「ｄ」は、素ラベル画像のラベル番号位置、「ｘ」は、２値画像の位置及び素ラベル画像のラベル番号割付位置を示す。

【0016】

本実施形態における動画像速度検出装置では、８連結ラベリング部１４による２値化画像Ｄ３に対するラベリングのために使用した８連結パターンのパターン種類の種類と、各パターン種類の数とを、それぞれのラベルの特徴量として扱う。ここで、ラベリングのために使用した８連結パターンを、ラベルに対する８連結局所形状パターンとする。

【0017】

素ラベリング変換情報作成部１５は、８連結ラベリング部１４から出力される素ラベル修正情報Ｄ４及び素ラベル数Ｄ５をもとに素ラベル変換情報Ｄ９を生成して、素ラベル変換情報Ｄ９とラベル数Ｄ８を出力する。

【0018】

リラベリング部１６は、素ラベリング変換情報作成部１５から出力された素ラベル画像Ｄ６をラベル画像Ｄ１０に変換して出力する。

【0019】

特徴抽出部１７は、８連結ラベリング部１４から出力された８連結局所形状パターン画像Ｄ７と、リラベリング部１６から出力されたラベル画像Ｄ１０とからラベル特徴量Ｄ１１を抽出して出力する。ラベルの特徴量には、少なくとも図２に示す８連結局所形状パターン（パターン種類と数）を含む。また、ラベルの特徴量には、ラベルの輪郭長、最大座標、最小座標、座標総和を含むことができる。

【0020】

一時記憶部１８は、特徴抽出部１７により抽出されたラベル特徴量Ｄ１１が一時記録される。一時記憶部１８は、動画像の数フレーム前のラベル特徴量Ｄ１２をフレーム間照合判定部１９に出力することかできる。

【0021】

フレーム間照合判定部１９は、ラベル数Ｄ１３が示す各ラベルについて、特徴抽出部１７から出力される現フレームのラベル特徴量Ｄ１１と、一時記憶部１８に記憶された数フレーム前のラベル特徴量Ｄ１３との類似度により、フレーム間のラベルの特徴照合を実行して、フレーム間のラベルの対応を判定する。フレーム間照合判定部１９は、ラベル特徴量Ｄ１１，Ｄ１２に対する特徴照合の照合結果Ｄ１４を出力する。

【0022】

速度推定部２０は、フレーム間照合判定部１９によるラベルの照合結果Ｄ１４とラベル数Ｄ１５をもとに、個々のラベルの移動方向を集計して、多数決により画像中の物体の移動方向を判定し、フレーム間のラベルの位置変化をもとに物体の速度Ｄ１６を推定して出力する。

【0023】

次に、本実施形態における動画像速度検出装置の動作について、フローチャートを参照しながら説明する。

【0024】

図３は、本実施形態における動画像速度検出装置の全体の処理を示すフローチャートである。動画像速度検出装置は、図３に示す速度検出ループＬ１Ｓ～Ｌ１Ｅの各処理（ステップＳ１～Ｓ９）を、撮像器１１により撮影される画像データＤ１（動画像）について、フレーム毎に繰り返して実行する。

【0025】

輪郭強調部１２は、撮像器１１から画像データＤ１を入力して（ステップＳ１）、輪郭画像処理を実行して輪郭強調画像Ｄ２を出力する（ステップＳ２）。

【0026】

２値化部１３は、輪郭強調部１２から出力される輪郭強調画像Ｄ２を、しきい値に基づいて２値化して（０または１）、２値化画像Ｄ３を出力する（ステップＳ３）。

【0027】

８連結ラベリング部１４は、２値化部１３から出力される２値化画像Ｄ３に対して、図２に示す８連結パターンを使用して８連結ラベリングし、ラベル毎の８連結局所形状パターン（パターン種類と数）を抽出する（ステップＳ４）。

【0028】

図４は、本実施形態における８連結ラベリング部１４による８連結ラベリングの処理例を示し、図５は、本実施形態における８連結ラベリングの処理を示すフローチャートを示している。

【0029】

まず、８連結ラベリング部１４は、素ラベル修正情報Ｄ４を全て０にクリアし（ステップＡ１）、また座標ｖ、素ラベル数Ｄ５を０に初期化する（ステップＡ２）。ここでは、２値化画像Ｄ３について水平座標ｈ、垂直座標ｖとして表すものとする。

【0030】

８連結ラベリング部１４は、座標ｖループＬＡ１Ｓ～ＬＡ１Ｅを、２値化画像Ｄ３の各座標ｖについて、インクリメント（ステップＡ３）しながら繰り返して実行する。８連結ラベリング部１４は、座標ｖの水平１ライン分について、まず座標ｈを０に初期化し（ステップＡ４）、各座標ｈについてインクリメント（ステップＡ５）しながら、座標ｈループＬＡ２Ｓ～ＬＡ２Ｅを繰り返して実行する。

【0031】

８連結ラベリング部１４は、２値化画像Ｄ３の処理対象とする座標（ｖ，ｈ）の値が「１」であるか判別する。座標（ｖ，ｈ）の値が「１」でない場合（ステップＡ６、Ｎｏ）、８連結ラベリング部１４は、素ラベル画像の座標（ｖ，ｈ）の値（以下、素ラベル画像（ｖ，ｈ）と称する場合がある）を「０」に設定する（ステップＡ７）。また、８連結ラベリング部１４は、８連結局所形状パターンの座標（ｖ，ｈ）の値（以下、８連結局所形状パターン画像（ｖ，ｈ）と称する場合がある）を「０」に設定する（ステップＡ８）。

【0032】

一方、座標（ｖ，ｈ）の値が「１」である場合（ステップＡ６、Ｙｅｓ）、８連結ラベリング部１４は、以下に説明する８連結パターン（０～１５）処理のためにラベルａ，ｂ，ｃ，ｄの値を設定する（ステップＡ９）。すなわち、８連結ラベリング部１４は、ラベルａに素ラベル画像（ｖ－１，ｈ－１）を設定し、ラベルｂに素ラベル画像（ｖ－１，ｈ）を設定し、ラベルｃに素ラベル画像（ｖ－１，ｈ＋１）を設定し、ラベルｄに素ラベル画像（ｖ，ｈ－１）を設定する。

【0033】

８連結ラベリング部１４は、２値化画像Ｄ３の処理対象とする座標（ｖ，ｈ）に該当する８連結パターンが、図２に示す番号０の８連結パターンである場合（ステップＡ１０、Ｙｅｓ）、８連結パターン０処理を実行する。また、８連結ラベリング部１４は、座標（ｖ，ｈ）に該当する８連結パターンが、図２に示す番号１の８連結パターンである場合（ステップＡ１１、Ｙｅｓ）、８連結パターン１処理を実行する。

【0034】

同様にして、８連結ラベリング部１４は、座標（ｖ，ｈ）に該当する８連結パターンが、図２に示す番号２～１３の８連結パターンである場合、それぞれに対応する８連結パターン２～１４処理を実行する。

【0035】

同様にして、８連結ラベリング部１４は、座標（ｖ，ｈ）に該当する８連結パターンが、図２に示す番号１４の８連結パターンである場合（ステップＡ１４、Ｙｅｓ）、８連結パターン１４処理を実行し、番号１５の８連結パターンである場合（ステップＡ１４、Ｎｏ）、８連結パターン１５処理を実行する。

【0036】

以下、８連結パターン（０～１５）処理の詳細について説明する。

【0037】

８連結パターン０処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号０を設定する。
（２）新規ラベルのため素ラベル数をインクリメントする。
（３）素画像（ｖ，ｈ）に素ラベル数を設定する。
（４）素ラベル修正情報（素ラベル数）に素ラベル数を設定する。

【0038】

８連結パターン１処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）を設定する。

【0039】

８連結パターン２処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号２を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｂ）を設定する。

【0040】

８連結パターン３処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号３を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）と素ラベル修正情報（ラベルｂ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）と素ラベル修正情報（ラベルｂ）の大きいラベルを小さいラベルに設定する。

【0041】

８連結パターン４処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号４を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｃ）を設定する。

【0042】

８連結パターン５処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号５を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）と素ラベル修正情報（ラベルｃ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）と素ラベル修正情報（ラベルｃ）の大きいラベルを小さいラベルに設定する。

【0043】

８連結パターン６処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号６を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｂ）と素ラベル修正情報（ラベルｃ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルｂ）と素ラベル修正情報（ラベルｃ）の大きいラベルを小さいラベルに設定する。

【0044】

８連結パターン７処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号７を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｃ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｃ）の大きいラベルを小さいラベルに設定する。

【0045】

８連結パターン８処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号８を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｄ）を設定する。

【0046】

８連結パターン９処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号９を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）と素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）と素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0047】

８連結パターン１０処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１０を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｂ）と素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルｂ）と素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0048】

８連結パターン１１処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１１を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0049】

８連結パターン１２処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１２を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｃ）と素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルｃ）と素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0050】

８連結パターン１３処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１３を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｃ）、素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｃ）、素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0051】

８連結パターン１４処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１４を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｃ）、素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｃ）、素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0052】

８連結パターン１５処理
（１）８連結パターン画像（ｖ，ｈ）に局所形状パターン番号１５を設定する。
（２）素画像（ｖ，ｈ）に素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｃ）、素ラベル修正情報（ラベルｄ）の小さいラベルを設定する。
（３）素ラベル修正情報（ラベルａ）、素ラベル修正情報（ラベルｂ）、素ラベル修正情報（ラベルｃ）、素ラベル修正情報（ラベルｄ）の大きいラベルを小さいラベルに設定する。

【0053】

８連結ラベリング部１４は、２値化画像Ｄ３の各画像（ｖ，ｈ）について前述した処理を実行し、処理結果としてラベルが付与された素ラベル画像Ｄ６、素ラベル修正情報Ｄ４、素ラベル数Ｄ５、及び８連結局所形状パターン画像Ｄ７を出力する。

【0054】

例えば、図４に示す２値化画像Ｄ３の場合、８連結ラベリング部１４は、素ラベル画像Ｄ６に示すように１２のラベルを抽出して、素ラベル数Ｄ５「１２」を出力する。

【0055】

素ラベル修正情報Ｄ４は、図４に示すように、８連結パターンによるスキャンにより付された各ラベルのラベル番号１～１４に対して、修正後のラベル番号（修正番号）が設定されている。修正番号には、他の（ラベル番号が小さい）ラベルと連結されているラベルについて、８連結パターンによるスキャンにより付されたラベル番号とは異なるラベル番号が付されている。図４に示す例では、ラベル番号４のラベルがラベル番号３のラベルと連結された関係にあるため、ラベル番号４に対して修正番号３が設定されている。

【0056】

８連結局所形状パターン画像Ｄ７は、図４に示すように、８連結パターンによるスキャンにより使用された８連結パターンが、８連結局所形状パターンとして該当する画像（ｖ，ｈ）に対して設定されている。例えば、ラベル番号７のラベルについては、番号０，８，３の８連結パターンと、２つの番号２の８連結パターンが、８連結局所形状パターンとして設定されたことを示している。

【0057】

８連結ラベリング部１４による処理により素ラベル修正情報Ｄ４及び素ラベル数Ｄ５が出力されると、素ラベリング変換情報作成部１５は、素ラベル修正ループＬ２Ｓ～Ｌ２Ｅの処理を素ラベル数Ｄ５まで繰り返して、各素ラベルに対する素ラベル変換情報作成処理（ステップＳ５）を実行する。

【0058】

また、リラベリング部１６は、素ラベリング変換情報作成部１５により作成された素ラベル変換情報Ｄ９を用いて、８連結ラベリング部１４から出力された素ラベル画像Ｄ６に対して、ラベル番号を付け直すリラベリングを実行し、ラベル画像Ｄ１０を出力する（ステップＳ６）。

【0059】

特徴抽出部１７は、８連結ラベリング部１４から出力された８連結局所形状パターン画像Ｄ７と、リラベリング部１６から出力されたラベル画像Ｄ１０とからラベル特徴量Ｄ１１を抽出して出力する。

【0060】

リラベリング部１６と特徴抽出部１７は、特徴抽出ループＬ３Ｓ～Ｌ３Ｅの処理を、ラベル数Ｄ８が示す各Ｏ別について繰り返して実行する。

【0061】

図６は、本実施形態における素ラベリング変換情報作成部１５による素ラベル変換情報作成とリラベリング部１６によるリラベリングの処理例を示している。図７は、本実施形態における素ラベル変換情報生成の処理を示すフローチャート、図８は、本実施形態におけるリラベリングの処理を示すフローチャートを示している。

【0062】

まず、素ラベリング変換情報作成部１５は、素ラベル変換情報Ｄ９を全て０にクリアし（ステップＢ１）、またラベル数Ｄ８を０にし（ステップＢ２）、アドレスカウンタを０に初期化する（ステップＢ３）。

【0063】

素ラベリング変換情報作成部１５は、素ラベル修正情報Ｄ４のラベル番号が示す各素ラベルに対して、素ラベルループＬＢＳ～ＬＢＥの処理を繰り返して実行する。

【0064】

素ラベリング変換情報作成部１５は、アドレスカウンタをインクリメントして、ラベルを素ラベル修正情報Ｄ４のアドレスカウンタが示すアドレス（ラベル番号）の値に設定する（ステップＢ５）。

【0065】

ここで、ラベルとアドレスカウンタの値が同じ場合（ステップＢ６、Ｙｅｓ）、素ラベリング変換情報作成部１５は、ラベル数Ｄ８をインクリメントし（ステップＢ７）、素ラベル変換情報Ｄ９のアドレスカウンタが示すラベル番号と対応づけて、現在のラベル数を修正番号として設定する（ステップＢ８）。

【0066】

一方、ラベルとアドレスカウンタの値が異なる場合（ステップＢ６、Ｎｏ）、素ラベリング変換情報作成部１５は、素ラベル変換情報Ｄ９のアドレスカウンタが示すラベル番号と対応づけて、現在のラベルの値を修正番号として設定する（ステップＢ８）。

【0067】

以下、同様にして、アドレスカウンタを素ラベル数までインクリメントしながら、素ラベル修正情報Ｄ４に設定された情報の変換を実行する（ステップＢ４～Ｂ９）。

【0068】

例えば、図６に示す素ラベル修正情報Ｄ４の場合、素ラベリング変換情報作成部１５は、前述した素ラベル変換情報作成により、連結されたラベル画同じラベルとなるように修正番号で設定される。例えば、ラベル番号５，６に対する修正番号が同じ「４」に設定されている。また、ラベルが連結されることでラベル数が減るため、ラベル数の減少に伴って、ラベル番号７以降の修正番号が修正後のラベル数に応じた値に設定されている。

【0069】

リラベリング部１６は、素ラベリング変換情報作成部１５により素ラベル変換情報Ｄ９が生成されると、素ラベル画像Ｄ６を、素ラベル変換情報Ｄ９に基づいてリラベリングしてラベル画像Ｄ１０に変換する。

【0070】

まず、リラベリング部１６は、処理対象とする座標ｖを０に初期化する（ステップＣ１）。リラベリング部１６は、座標ｖループＬＣ１Ｓ～ＬＣ１Ｅを、素ラベル画像Ｄ６の各座標ｖについて、インクリメント（ステップＣ２）しながら繰り返して実行する。リラベリング部１６は、座標ｖの水平１ライン分について、まず座標ｈを０に初期化し（ステップＣ３）、各座標ｈについてインクリメント（ステップＣ４）しながら、座標ｈループＬＣ２Ｓ～ＬＣ２Ｅを繰り返して実行する。

【0071】

リラベリング部１６は、処理対象とするラベルを現在の素ラベル画像（ｖ，ｈ）の値に設定し（ステップＣ５）、該当する座標（ｖ，ｈ）にラベルがあるか判定する。ラベルがあると判定された場合（ステップＣ６、Ｙｅｓ）、リラベリング部１６は、現在の素ラベル画像（ｖ，ｈ）に対応するラベル画像Ｄ１０のラベル画像（ｖ，ｈ）の値を、素ラベル変換情報Ｄ９の値に設定する（ステップＣ７）。一方、ラベルがないと判定された場合（ステップＣ６、Ｎｏ）、リラベリング部１６は、現在の素ラベル画像（ｖ，ｈ）に対応するラベル画像Ｄ１０のラベル画像（ｖ，ｈ）の値を０に設定する（ステップＣ８）。

【0072】

こうしてリラベリングをすることにより、例えば図６に示す素ラベル画像Ｄ６は、ラベル画像Ｄ１０に示すように、連結されたラベルが同じラベル番号に変換される。この結果、素ラベル画像Ｄ６において設定された１２（ラベル数）のラベルは９（ラベル数）のラベルに変換される。

【0073】

図９は、本実施形態における特徴抽出部１７による特徴抽出の処理例を示している。図１０は、本実施形態における特徴抽出部１７による特徴抽出の処理を示すフローチャートを示している。

【0074】

まず、特徴抽出部１７は、ラベル特徴量Ｄ１１を初期化する（ステップＤ１）。すなわち、８連結局所形状パターン、ラベルの輪郭長、最大座標、座標総和を０に設定し、最小座標を座標の最大値に設定する。

【0075】

また、特徴抽出部１７は、処理対象とする座標ｖを０に初期化する（ステップＤ１）。特徴抽出部１７は、座標ｖループＬＤ１Ｓ～ＬＤ１Ｅを、ラベル画像Ｄ１０の各座標ｖについて、インクリメント（ステップＤ３）しながら繰り返して実行する。特徴抽出部１７は、座標ｖの水平１ライン分について、まず座標ｈを０に初期化し（ステップＤ４）、各座標ｈについてインクリメント（ステップＤ５）しながら、座標ｈループＬＤ２Ｓ～ＬＤ２Ｅを繰り返して実行する。

【0076】

特徴抽出部１７は、処理対象とするラベルを現在のラベル画像（ｖ，ｈ）の値に設定し（ステップＤ６）、該当する座標（ｖ，ｈ）にラベルがあるか判定する。ラベルがあると判定された場合（ステップＤ７、Ｙｅｓ）、特徴抽出部１７は、現在のラベル画像（ｖ，ｈ）に対応するパターンを８連結局所形状パターン画像（ｖ，ｈ）に設定する（ステップＤ８）。さらに、特徴抽出部１７は、現在のラベル画像（ｖ，ｈ）について、８連結局所形状パターン、輪郭長、最大座標、最小座標、座標総和を求めるためのラベル特徴量計算を実行する（ステップＤ９）。

【0077】

一方、ラベルがないと判定された場合（ステップＤ７、Ｎｏ）、特徴抽出部１７は、現在のラベル画像（ｖ，ｈ）に対応するパターンの設定及びラベル特徴量計算を実行しない。

【0078】

図１１は、本実施形態における特徴抽出部１７によるラベル特徴量計算を示すフローチャートである。

【0079】

特徴抽出部１７は、ラベル特徴量（ラベル、８連結局所形状パターン）をインクリメントし（ステップＥ１）、またラベル特徴量（ラベル、輪郭長）をインクリメントする（ステップＥ２）。

【0080】

ラベル特徴量計算では、まず特徴抽出部１７は、ラベル特徴量の最大座標をラベル特徴量（ラベル、最大座標ｖ）に設定する（ステップＥ２）。ここで、現在の座標ｖが最大座標より大きい場合（ステップＥ４、Ｙｅｓ）、特徴抽出部１７は、ラベル特徴量（ラベル、最大座標ｖ）を現在の座標ｖの値に更新する（ステップＥ５）。

【0081】

また、特徴抽出部１７は、ラベル特徴量の最大座標をラベル特徴量（ラベル、最大座標ｈ）に設定する（ステップＥ６）。ここで、現在の座標ｈが最大座標より大きい場合（ステップＥ７、Ｙｅｓ）、特徴抽出部１７は、ラベル特徴量（ラベル、最大座標ｈ）を現在の座標ｈの値に更新する（ステップＥ８）。

【0082】

特徴抽出部１７は、ラベル特徴量の最小座標をラベル特徴量（ラベル、最小座標ｖ）に設定する（ステップＥ９）。ここで、現在の座標ｖが最小座標より小さい場合（ステップＥ１０、Ｙｅｓ）、特徴抽出部１７は、ラベル特徴量（ラベル、最小座標ｖ）を現在の座標ｖの値に更新する（ステップＥ１１）。

【0083】

また、特徴抽出部１７は、ラベル特徴量の最小座標をラベル特徴量（ラベル、最小座標ｈ）に設定する（ステップＥ１２）。ここで、現在の座標ｈが最小座標より小さい場合（ステップＥ１３、Ｙｅｓ）、特徴抽出部１７は、ラベル特徴量（ラベル、最小座標ｈ）を現在の座標ｈの値に更新する（ステップＥ１４）。

【0084】

次に、特徴抽出部１７は、ラベル特徴量（ラベル、座標総和ｖ）に座標ｖを加算し（ステップＥ１５）、ラベル特徴量（ラベル、座標総和ｈ）に座標ｈを加算する（ステップＥ１６）。

【0085】

特徴抽出部１７による特徴抽出の処理を実行することで、各ラベル（ラベル番号）に対応するラベル特徴量Ｄ１１が求められる。例えば、図９に示すように、ラベル画像Ｄ１０に対して、ラベル番号１～９の各ラベルに対する特徴量（８連結局所形状パターン、輪郭長、最大座標、最小座標、座標総和）がラベル特徴量Ｄ１１として抽出されている。

【0086】

例えば、ラベル番号２のラベルについては、ラベル特徴量の８連結局所形状パターンとして、番号０の８連結パターンが「２」、番号１の８連結パターンが「１」、番号１０の８連結パターンが「１」、番号１２の８連結パターンが「１」が抽出されている。

【0087】

特徴抽出部１７は、特徴抽出により抽出した、現在の処理対象とするフレームのラベル特徴量Ｄ１１として一時記憶部１８に記憶させる。一時記憶部１８には、少なくともフレーム間照合判定部１９による照合対象とするフレーム間数分のフレームに対応するラベル特徴量Ｄ１１が記憶されるものとする。

【0088】

フレーム間照合判定部１９は、特徴抽出ループが終了し、現在の対象とするフレームのラベル特徴量Ｄ１１が出力されると、照合判定ループＬ４Ｓ～Ｌ４Ｅによって、フレーム中の各ラベルに対するフレーム間の対応を照合するフレーム間照合判定の処理を実行する（ステップＳ８）。

【0089】

すなわち、フレーム間照合判定部１９は、特徴抽出部１７により抽出された現在の対象とするフレームのラベル特徴量Ｄ１１と、一時記憶部１８に記憶された数フレーム前のラベル特徴量Ｄ１２とを照合して、フレーム中のラベル数Ｄ１３が示す各ラベルの対応を判別する。

【0090】

ここで、フレーム間照合判定部１９は、図９に示すラベル特徴量Ｄ１１のように、各ラベルについて８連結局所形状パターン（パターン種類と数）が特徴量として抽出されているため、８連結局所形状パターンの照合によってラベルの対応を判定することができる。すなわち、ラベルの照合をするために、画像中の各ラベルについて重心位置を算出するなどの画像処理を改めて実行する必要無く、ラベリングに使用した８連結パターンをラベルの特徴量として使用することで照合の処理負荷を軽減して、処理時間の短縮を図ることができる。

【0091】

さらに、フレーム間照合判定部１９は、８連結局所形状パターンだけでなく、図９のラベル特徴量Ｄ１１に示す輪郭長、最大座標、最小座標、座標総和を用いて、ラベルの対応を判定することができる。従って、精度高くラベルの照合をすることができる。

【0092】

フレーム間照合判定部１９は、フレーム間照合判定が完了すると照合結果Ｄ１４を出力する。速度推定部２０は、フレーム間照合判定部１９から出力される照合結果Ｄ１４をもとに、ラベル数Ｄ１５が示すフレーム間の各ラベルの位置変化を求める。ここでは、フレーム間照合判定部１９による照合対象とした数フレーム前のフレームと現在のフレームとの位置変化によりラベル毎に移動方向を特定できる。なお、各ラベルの位置変化を求める際に、ラベルの位置を、例えばラベルの重心位置とすることができる。ラベルの重心位置は、ラベル特徴量Ｄ１１に示す輪郭長と座標総和を用いて、「重心位置＝座標総和÷輪郭長」として求めることができる。

【0093】

フレーム間照合判定部１９は、各ラベルの移動方向を集計して、多数決により画像中のラベルの移動方向を判定する。すなわち、本実施形態では、カメラの向き（撮影範囲）が変更されながら撮影される動画像、あるいは移動体に搭載されたカメラによって撮影される動画像を処理対象としているため、本来、画像に含まれる全てのラベルが同じ方向に移動される。このため、複数のラベルのうち移動方向が異なると判定される数が少ない方のラベルについてはエラーとして速度推定の対象としない。

【0094】

速度推定部２０は、フレーム間照合判定部１９による照合対象としたフレーム間の時間と、フレーム中のラベルの位置変化量をもとに、画像中のラベル（物体）の速度を推定する（ステップＳ９）。速度推定部２０は、推定された速度Ｄ１６を出力する。

【0095】

なお、前述した説明では、ラベリングにおいて８連結パターンを用いるものとして説明しているが、８連結パターン以外の連結パターン（例えば、４連結パターン）を用いることができる。この場合、前述したように、ラベリングに用いた連結パターンの種類と数とをラベル毎のラベル特徴量とすることで、前述と同様に処理を実行することができる。

【0096】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0097】

また、実施形態に記載した手法は、コンピュータに実行させることができるプログラムとして、例えば磁気ディスク、光ディスク、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

【符号の説明】

【0098】

１１…撮像器、１２…輪郭強調部、１３…２値化部、１４…８連結ラベリング部、１５…素ラベリング変換情報作成部、１６…リラベリング部、１７…特徴抽出部、１８…一時記憶部、１９…フレーム間照合判定部、２０…速度推定部、Ｄ１…画像データ、Ｄ２…輪郭強調画像、Ｄ３…２値化画像、Ｄ４…素ラベル修正情報、Ｄ５…素ラベル数、Ｄ６…素ラベル画像、Ｄ７…８連結局所形状パターン画像、Ｄ８，Ｄ１３，Ｄ１５…ラベル数、Ｄ９…素ラベル変換情報、Ｄ１０…ラベル画像、Ｄ１１…ラベル特徴量、Ｄ１２…ラベル特徴量、Ｄ１４…照合結果、Ｄ１６…速度。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】