特開 2016-186780 移動体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-186780(P2016-186780A)

(43)【公開日】2016年10月27日

(54)【発明の名称】移動体検出装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160930BHJP

   G06T 7/20 20060101ALI20160930BHJP

   H04N 7/18 20060101ALI20160930BHJP

   G08B 25/00 20060101ALI20160930BHJP

【ＦＩ】

   G06T1/00 330B

   G06T7/20 B

   G06T7/20 C

   H04N7/18 D

   G08B25/00 510M

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【全頁数】26

(21)【出願番号】特願2015-67747(P2015-67747)

(22)【出願日】2015年3月27日

(71)【出願人】

【識別番号】505398952

【氏名又は名称】中日本高速道路株式会社

(71)【出願人】

【識別番号】390010054

【氏名又は名称】コイト電工株式会社

(74)【代理人】

【識別番号】100096770

【弁理士】

【氏名又は名称】四宮 通

(72)【発明者】

【氏名】前田 武頼

(72)【発明者】

【氏名】内山 知大

(72)【発明者】

【氏名】細谷 大輔

【テーマコード（参考）】

5B057

5C054

5C087

5L096

【Ｆターム（参考）】

5B057AA16

5B057AA19

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE09

5B057CE12

5B057DA08

5B057DA15

5B057DB02

5B057DB08

5B057DC03

5B057DC04

5B057DC06

5B057DC14

5B057DC32

5C054FC01

5C054FC12

5C054FC13

5C054HA19

5C087AA02

5C087AA03

5C087DD03

5C087EE14

5C087FF01

5C087FF02

5C087GG02

5C087GG08

5C087GG66

5C087GG70

5C087GG83

5L096AA06

5L096BA02

5L096CA04

5L096DA03

5L096EA05

5L096EA35

5L096EA37

5L096EA43

5L096FA32

5L096FA53

5L096FA54

5L096FA59

5L096FA62

5L096FA66

5L096FA69

5L096GA06

5L096GA08

5L096GA28

5L096GA34

5L096HA03

(57)【要約】

【課題】テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる、移動体検出装置を提供する。
【解決手段】カメラ１は、所定領域を撮像する。処理部２は、カメラ１から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定領域を撮像する撮像手段と、
前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、
同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、
を備えたことを特徴とする移動体検出装置。

【請求項2】

前記形状変化の様子を示す指標値を得る指標値取得手段を備え、
前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定する、
ことを特徴とする請求項１記載の移動体検出装置。

【請求項3】

前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第１の値の変化に基づいて前記指標値を取得することを特徴とする請求項２記載の移動体検出装置。

【請求項4】

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。

【請求項5】

前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの前記第２の所定数の前記第２の値の平均値であることを特徴とする請求項４記載の移動体検出装置。

【請求項6】

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第２の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。

【請求項7】

前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの前記所定数の前記第１の値の平均値であることを特徴とする請求項６記載の移動体検出装置。

【請求項8】

前記基準値は所定の一定値であることを特徴とする請求項４又は６記載の移動体検出装置。

【請求項9】

前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた回数が所定回数以上である場合に、前記移動体が前記所定の移動体であると判定する、
ことを特徴とする請求項４乃至８のいずれかに記載の移動体検出装置。

【請求項10】

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。

【請求項11】

前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第２の演算手段と、を有する、
ことを特徴とする請求項３記載の移動体検出装置。

【請求項12】

前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定する、
ことを特徴とする請求項１０又は１１記載の移動体検出装置。

【請求項13】

前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を２値化する２値化処理手段と、該２値化処理手段により２値化された各画像に対してラベリングを行うラベリング手段と、前記２値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有することを特徴とする請求項１乃至１２のいずれかに記載の移動体検出装置。

【請求項14】

前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたことを特徴とする請求項１３記載の移動体検出装置。

【請求項15】

前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向であることを特徴とする請求項３乃至１４のいずれかに記載の移動体検出装置

【請求項16】

前記所定の移動体が乗物に乗っていない人であることを特徴とする請求項１乃至１５のいずれかに記載の移動体検出装置。

【請求項17】

前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたことを特徴とする請求項１６記載の移動体検出装置。

【請求項18】

前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたことを特徴とする請求項１６又は１７記載の移動体検出装置。

【請求項19】

同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられることを特徴とする請求項１乃至１８のいずれかに記載の移動体検出装置。

【請求項20】

前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、
前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、
を備え、
同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、
前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、
前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定することを特徴とする請求項１６記載の移動体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、他の移動体から判別して検出することができる移動体検出装置に関するものである。

【背景技術】

【0002】

下記特許文献１には、自転車や二輪車及びそれらの乗員と歩行者との判別精度を向上させた画像認識装置として、画像内の被写体を認識する画像認識装置において、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段と、被写体の移動速度を検出する移動速度検出手段と、前記移動速度検出手段で検出した被写体の移動速度に基づいて、複数の辞書中から前記認識手段において被写体認識のために利用する辞書を選択する辞書選択手段と、を備えた画像認識装置が、開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２４９８４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前記従来の装置では、画像内の被写体を含む一部画像領域と、予め定められた辞書に格納されたテンプレート画像を比較することで、被写体を認識する認識手段が用いられており、画像のパターンマッチングにより歩行者を自転車等から判別して検出するものであるため、画像のパターンマッチングの処理に多大な処理量を要する。

【0005】

本発明は、このような事情に鑑みてなされたもので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

前記課題を解決するための手段として、以下の各態様を提示する。第１の態様による移動体検出装置は、所定領域を撮像する撮像手段と、前記撮像手段から時間経過に従って得られる各画像について、当該画像における移動体領域を得る移動体領域取得手段と、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定する判定手段と、を備えたものである。

【0007】

この第１の態様によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、前記移動体が所定の移動体であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる。

【0008】

第２の態様による移動体検出装置は、前記第１の態様において、前記形状変化の様子を示す指標値を得る指標値取得手段を備え、前記判定手段は、前記指標値に基づいて、前記移動体が前記所定の移動体であるか否かを判定するものである。

【0009】

この第２の態様によれば、前記形状変化の様子を示す指標値を得て、この指標値に基づいて前記移動体が前記所定の移動体であるか否かを判定するので、前記移動体が前記所定の移動体であるか否かの判定をより容易に行うことができる。

【0010】

第３の態様による移動体検出装置は、前記第２の態様において、前記指標値取得手段は、同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求めて、同一の移動体によるものと推定される前記各画像の前記移動体領域に関する前記第１の値の変化に基づいて前記指標値を取得するものである。

【0011】

この第３の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する例を挙げたものである。

【0012】

第４の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第３の演算手段と、を有するものである。

【0013】

この第４の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の具体例を挙げたものである。

【0014】

第５の態様による移動体検出装置は、前記第４の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの前記第２の所定数の前記第２の値の平均値であるものである。

【0015】

この第５の態様は、前記基準値の例として前記平均値を挙げたものである。

【0016】

第６の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線が、基準値に対して上下に又は下から上に又は上から下に交差する回数を、前記指標値として求める第２の演算手段と、を有するものである。

【0017】

この第６の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。

【0018】

第７の態様による移動体検出装置は、前記第６の態様において、前記基準値は、同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの前記所定数の前記第１の値の平均値であるものである。

【0019】

この第７の態様は、前記基準値の例として前記平均値を挙げたものである。

【0020】

第８の態様による移動体検出装置は、前記第４又は第６の態様において、前記基準値は所定の一定値であるものである。

【0021】

この第７の態様は、前記基準値の例として所定の一定値を挙げたものである。

【0022】

第９の態様による移動体検出装置は、前記第４乃至第８のいずれかの態様において、前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた回数が所定回数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。

【0023】

この第９の態様は、前記判定手段による判定の具体例を挙げたものである。

【0024】

第１０の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域までの時系列順の第１の所定数の前記移動体領域の各々について求められた前記第１の値の平均値に応じた第２の値を求める第２の演算手段と、（iii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第２の演算手段により求められた最新までの第２の所定数の前記第２の値の時系列の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第３の演算手段と、を有するものである。

【0025】

この第１０の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。

【0026】

第１１の態様による移動体検出装置は、前記第３の態様において、前記指標値取得手段は、（i）同一の移動体によるものと推定される前記各画像の前記移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値を求める第１の演算手段と、（ii）同一の移動体によるものと推定される前記各画像の前記移動体領域について前記第１の演算手段により求められた最新までの所定数の前記第１の値の時系列の近似曲線の、極大の数、極小の数又はそれらの合計の数を、前記指標値として求める第２の演算手段と、を有するものである。

【0027】

この第１１の態様は、前記面積の比率に応じた第１の値を利用して指標値を取得する場合の他の具体例を挙げたものである。

【0028】

第１２の態様による移動体検出装置は、前記第１０又は第１１の態様において、前記判定手段は、前記第３の演算手段又は前記第２の演算手段により求められた数が所定数以上である場合に、前記移動体が前記所定の移動体であると判定するものである。

【0029】

この第１２の態様は、前記判定手段による判定の具体例を挙げたものである。

【0030】

第１３の態様による移動体検出装置は、前記第１乃至第１２のいずれかの態様において、前記移動体領域取得手段は、前記撮像手段から時間経過に従って得られる前記各画像について、当該画像から背景画像を差し引いた差分画像を得る差分画像取得手段と、前記差分画像を２値化する２値化処理手段と、該２値化処理手段により２値化された各画像に対してラベリングを行うラベリング手段と、前記２値化された各画像のラベル領域又はそのラベル領域のうち所定大きさ以上のラベル領域を前記移動体領域として求める手段と、を有するものである。

【0031】

この第１３の態様は、移動体領域の取得の具体例を挙げたものである。

【0032】

第１４の態様による移動体検出装置は、前記第１３の態様において、前記撮像手段により撮像された前記画像のうち前記移動体領域を除く部分に基づいて、前記背景画像を更新する更新手段を備えたものである。

【0033】

この第１４の態様によれば、前記背景画像を更新する更新手段を備えているので、周囲の状況（日照条件や照明など）が変化しても、より高い精度で移動体領域を取得することができ、ひいては、所定の移動体をより高い精度で他の移動体から判別して検出することができる。

【0034】

第１５の態様による移動体検出装置は、前記第３乃至第１４のいずれかの態様において、前記所定方向は、前記画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向であるものである。

【0035】

この第１５の態様によれば、例えば前記所定の移動体が乗物に乗っていない人である場合における腕の振りによる移動体領域の形状変化のように、水平方向の形状変化が大きい場合、その形状変化を感度良く捉えることができ、ひいては、前記所定の移動体をより高い精度で他の移動体から判別して検出することができる。

【0036】

第１６の態様による移動体検出装置は、前記第１乃至第１５のいずれかの態様において、前記所定の移動体が乗物に乗っていない人であるものである。

【0037】

この第１６の態様は、前記所定の移動体の例を挙げたものである。乗物に乗っていない人と自転車（人が乗っている自転車）とは一般的に判別が困難であるが、前記第１乃至前記第１５の態様では、そのような判別も容易となる。

【0038】

第１７の態様による移動体検出装置は、前記第１６の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段を備えたものである。

【0039】

この第１７の態様によれば、自動車も判別して検出することができる。

【0040】

第１８の態様による移動体検出装置は、前記第１６又は第１７の態様において、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段を備えたものである。

【0041】

この第１８の態様によれば、原動機を備えた二輪車も判別して検出することができる。

【0042】

第１９の態様による移動体検出装置は、前記第１乃至第１８のいずれかの態様において、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられるものである。

【0043】

この第１９の態様によれば、判定手段は移動体領域のうち所定条件を満たすものについて所定の移動体であるか否かを判定するので、前記判定手段は、前記所定条件を満たさずに前記所定の移動体である可能性がない移動体領域については、前記移動体領域の時間経過に従った形状変化に基づく判定を行わずに済む。

【0044】

第２０の態様による移動体検出装置は、前記第１６の態様において、前記移動体領域取得手段により得られた前記移動体領域が自動車によるものであるか否かを判定する自動車判定手段と、前記移動体領域取得手段により得られた前記移動体領域が原動機を備えた二輪車によるものであるか否かを判定する二輪車判定手段と、を備え、同一の移動体によるものと推定される前記各画像の前記移動体領域として、同一の移動体によるものと推定されかつ所定条件を満たす前記各画像の前記移動体領域が用いられ、前記所定条件は、前記自動車判定手段により前記移動体領域が自動車によるものではないと判定されかつ前記二輪車判定手段により前記移動体領域が二輪車ではないと判定されたという条件であり、前記判定手段は、前記移動体が乗物に乗っていない人ではないと判定する場合に、前記移動体が自転車であると判定するものである。

【0045】

この第２０の態様によれば、前記撮像手段が、乗物に乗っていない人と自転車の他に、自動車や原動機を備えた二輪車を撮像し得る場合であっても、それらを判別して検出することができる。

【発明の効果】

【0046】

本発明によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、例えば乗物に乗っていない人（歩行者等）などの所定の移動体を、高い精度で他の移動体から判別して検出することができる移動体検出装置を提供することができる。

【図面の簡単な説明】

【0047】

【図1】本発明の第１の実施の形態による移動体検出装置を示す概略ブロック図である。

【図2】撮像された画像の例を模式的に示す概略図である。

【図3】図１に示す移動体検出装置の動作の一部を示す概略フローチャートである。

【図4】図１に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【図5】２値化された差分画像中の実際の移動体の像の各具体例を示す図である。

【図6】撮像された各フレームと、当該フレームの２値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率及び右側面積比率との関係の実際の一例を示す図である。

【図7】撮像された各フレームと、当該フレームの２値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率及び右側面積比率との関係の実際の一例を示す図である。

【図8】撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図６に示すデータから算出されたものである。

【図9】撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図７に示すデータから算出されたものである。

【図10】本発明の第２の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。

【図11】本発明の第２の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【図12】本発明の第３の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。

【図13】本発明の第３の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【図14】各移動体を示す移動体領域の画像中の位置と、各移動体を示す移動体領域の画像中の面積及び判別用基準値との関係の実際の一例を示す図である。

【図15】本発明の第４の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。

【図16】本発明の第４の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【図17】本発明の第５の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【発明を実施するための形態】

【0048】

以下、本発明による移動体検出装置について、図面を参照して説明する。

【0049】

［第１の実施の形態］

【0050】

図１は、本発明の第１の実施の形態による移動体検出装置を示す概略ブロック図である。

【0051】

本実施の形態による移動体検出装置は、図１に示すように、所定領域を撮像する撮像手段としてのテレビカメラ１と、テレビカメラ１からの画像信号をＡ／Ｄ変換して画像メモリ３にサンプリングして取り込み、このサンプリングされた画像に基づいて処理を行って検出対象となる移動体を他の移動体から判別して検出する処理部２と、前記画像メモリ３とを備えている。なお、図面には示していないが、処理部２は、Ａ／Ｄ変換器の他、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。

【0052】

本実施の形態による移動体検出装置は、具体的には、自転車の走行が禁止されている歩道において、人が乗っている自転車（以下、単に「自転車」という場合がある。）を、乗物に乗っていない人（以下、「歩行者等」という場合がある。）から判別して検出するように構成されている。歩行者等には、歩行者の他にジョガーやランナーも含まれる。処理部２から出力される自転車を検出した旨を示す自転車検出信号は、例えば、図示しない警報装置において、当該歩道を走行する自転車に対して警報（例えば、自転車はこの歩道を走行してはならない旨の音声）を発生するために用いられる。

【0053】

図２は、テレビカメラ１により撮像された画像の例を模式的に示す概略図である。本実施の形態では、図面には示していないが、テレビカメラ１は、自転車の走行が禁止されている歩道を含む領域を撮像するように、歩道の斜め上方に設置されている。図２において、１１は自転車の走行が禁止されている歩道の像、１２は車道の像、１３は歩行者等の像、１４は人が乗っている自転車の像である。

【0054】

図２に示すように、互いに直交するＸ軸及びＹ軸を定義する。Ｘ軸方向のうち矢印の向きを＋Ｘ方向又は＋Ｘ側又は右側、その反対の向きを−Ｘ方向又は−Ｘ側又は左側と呼び、＋Ｘ方向のＸ座標の値は大きく、−Ｘ方向のＸ座標の値は小さく、Ｙ軸についても同様である。本実施の形態では、テレビカメラ１による画像は長方形をなし、その長辺方向がＸ軸方向と一致し、その短辺方向がＹ軸方向と一致している。図２からわかるように、テレビカメラ１により撮像される画像の中心を通る前記画像中のＹ軸方向の直線（図示せず）は、ほぼ鉛直方向に対応する方向に延びている。これにより、本実施の形態では、Ｘ軸方向が、テレビカメラ１により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度がほぼ９０゜の角度をなす方向になっている。Ｘ軸方向が、テレビカメラ１により撮像される画像の中心を通りかつ鉛直方向に対応する方向に延びる前記画像中の直線に対して小さい方の角度が４５゜以上の角度をなす方向となるように、テレビカメラ１を設置することが、歩行者等の腕の振りによる形状変化を感度良く捉えるために好ましい。

【0055】

次に、本実施の形態による移動体検出装置の動作について、図３及び図４を参照して説明する。

【0056】

図３は、図１に示す移動体検出装置の動作の一部を示す概略フローチャートである。図４は、図１に示す移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【0057】

本実施の形態による移動体検出装置では、動作を開始すると、まず、処理部２は、初期の背景画像を作成する（ステップＳ１）。具体的には、処理部２は、例えば、歩行者等や自転車などの移動体が存在しない状態でテレビカメラ１により撮像された画像をサンプリングして画像メモリ３に取り込み、この画像を初期の背景画像とする。

【0058】

以下の説明において、背景画像は、ステップＳ２１で更新されるまでは、ステップＳ１で作成された初期の背景画像を意味し、ステップＳ２１で更新された後には、ステップＳ２１で最新に更新された背景画像を意味する。

【0059】

次に、処理部２は、テレビカメラ１からの現在の画像をサンプリングして画像メモリ３に取り込む（ステップＳ２）。このステップＳ２で最新にサンプリングされた画像を、現画像と呼ぶ。なお、本実施の形態では、テレビカメラ１は所定のフレームレート（例えば、３０ｆｐｓ）で順次撮像し、ステップＳ２の後に以下に説明する処理を経てステップＳ２に戻ることを繰り返すが、ステップＳ２間で行われる処理は１フレーム周期内に終了し、各回のステップＳ２で、テレビカメラ１で所定のフレームレートで順次撮像される１フレームずつが順次取り込まれるようなっている。もっとも、本発明では必ずしもこれに限らない。

【0060】

なお、本実施の形態では、テレビカメラ１により撮像された画像の全領域を後述する処理の対象とするが、撮像画像中に検出すべき移動体（本実施の形態では、歩道上の自転車）が存在し得ない領域がある場合には、その領域をマスク処理して後述する処理の対象から除外してもよい。

【0061】

次いで、処理部２は、現画像と背景画像との差分画像（背景差分画像）を作成し（ステップＳ３）、この背景差分画像を所定閾値で２値化する（ステップＳ４）。ここでは、２値化後の背景差分画像において、現画像の画素と背景画像の画素との差が大きい画素は黒画素となるものとする。したがって、移動体が存在する箇所の画素は黒画素となる。なお、背景差分画像の２値化に用いる閾値は、固定閾値でもよいし、例えば判別分析法などによる可変閾値でもよい。

【0062】

図５は、ステップＳ４で２値化された差分画像中の実際の移動体領域の各具体例を示す図である。図５（ａ）は、あるフレームの２値化された差分画像中の歩行者の像を示している。図５（ｂ）は、他のフレームの２値化された差分画像中の同じ歩行者の像を示している。図５（ａ）に示す像では当該歩行者は歩行動作に従って左手及び右足を前に出しているのに対し、図５（ｂ）に示す像では当該歩行者は歩行動作に従って右手及び左足を前に出している。図５（ｃ）は、あるフレームの２値化された差分画像中の人が乗っている自転車の像を示している。

【0063】

引き続いて、処理部２は、ステップＳ４で得られた２値化後の背景差分画像に対してラベリングを行う（ステップＳ５）。

【0064】

その後、処理部２は、ステップＳ５でラベリングされた各ラベル領域のうち所定の大きさ以上のラベル領域のみを、それぞれ移動体領域として判別する（ステップＳ６）。あまりに小さいラベル領域は、移動体ではなくノイズ等であるので、本実施の形態のように、ラベル領域の大きさで移動体領域を選別することが好ましい。もっとも、処理部２は、ステップＳ６を行う代わりに、ラベル領域の大きさに拘わらず、全てのラベル領域をそれぞれ移動体領域として判別してもよい。なお、ステップＳ６で判別される移動体領域は１つに限らない。なお、ステップＳ６で所定の大きさ以上のラベル領域が存在しない場合には、ステップＳ２へ戻るが、その図示は省略している。

【0065】

次に、処理部２は、ステップＳ６で判別された移動体領域のうち、当該ステップＳ７で今回未だ選択されていない１つの移動体領域を選択する（ステップＳ７）。

【0066】

次いで、処理部２は、ステップＳ７で最新に選択された移動体領域について、当該移動体領域の全領域の面積に対する当該移動体領域における所定方向の一方側の部分領域の面積の比率に応じた第１の値として、当該移動体領域の左側面積比率を算出する（ステップＳ８）。ここでは、左側面積比率は、当該移動体領域の画素のうちもっとも小さいＸ座標を有する画素の当該Ｘ座標をｘ１とし、当該移動体領域の画素のうちもっとも大きいＸ座標を有する画素の当該Ｘ座標をｘ２とするとき、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を、当該移動体領域の全画素数で除算した値である。前記左側面積比率は、必ずしもこれに限らず、例えば、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．４｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．６｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、αを小さい値としたとき、当該移動体領域の画素のうちの（ｘ１＋α）から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を、当該移動体領域の全画素数で除算した値でもよい。前記第１の値は、前記左側面積比率に限らず、例えば、前記左側面積比率に比例定数を乗算した値や、前記左側面積比率の逆数などでもよい。

【0067】

また、前記第１の値は、当該移動体領域の右側面積比率でもよいし、前記右側面積比率に比例定数を乗算した値や、前記右側面積比率の逆数などでもよい。前記右側面積比率は、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．４｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．６｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよいし、当該移動体領域の画素のうちの［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］から（ｘ２−α）までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値でもよい。

【0068】

図６は、テレビカメラ１により撮像された各フレームと、当該フレームの２値化された差分画像中の同一の歩行者を示す移動体領域の左側面積比率（左比率）及び右側面積比率（右比率）との関係の実際の一例を示す図であり、実験により得たものである。図７は、撮像された各フレームと、当該フレームの２値化された差分画像中の同一の人が乗っている自転車を示す移動体領域の左側面積比率（左比率）及び右側面積比率（右比率）との関係の実際の一例を示す図であり、実験により得たものである。図６及び図７中の横軸の数値ｐのフレームは、この実験で３０ｆｐｓで順次得たフレームのうちのｐ番目のフレームを示している。例えば、図６中の横軸の数値「４００」のフレームは、この実験で３０ｆｐｓで順次得たフレームのうちの４００番目のフレームを示している。

【0069】

図６及び図７において、左側面積比率（左比率）は、ステップＳ８で算出されるものと同様に、当該移動体領域の画素のうちｘ１から［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。また、図６及び図７において、右側面積比率（右比率）は、当該移動体領域の画素のうち［｛（ｘ２−ｘ１）×０．５｝＋ｘ１］からｘ２までのＸ座標を有する画素の数を当該移動体領域の全画素数で除算した値とした。よって、同一フレームの左側面積比率（左比率）と右側面積比率（右比率）との和は、１となっている。

【0070】

図６からわかるように、移動体が歩行者である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することが判明した。これは、移動体が歩行者である場合には、その歩行動作に従って、図５（ａ）のように左手及び右足を前に出している状態と図５（ｂ）のように右手及び左足を前に出す状態（特に腕の振り）を、周期的に繰り返すことによるものであることが判明した。移動体が歩行者ではなくジョガーやランナーであっても、移動体が乗物に乗っていない人である場合には、腕の振りによって左側面積比率及び右側面積比率はそれぞれ周期的に上下する。

【0071】

一方、図７からわかるように、移動体が人が乗っている自転車である場合には、左側面積比率及び右側面積比率はそれぞれ周期的に上下することはないことが判明した。これは、図５（ｃ）に示すような姿勢を保って腕を振ることがないことによるものであることが判明した。

【0072】

このように、移動体が歩行者等である場合と人が乗っている自転車である場合とで、その移動体による移動体領域の時間経過に従った形状変化に差異が生じて、前記第１の値の変化に差異が生じ、左側面積比率又は右側面積比率が周期的に上下するか否かが異なる。したがって、左側面積比率又は右側面積比率が周期的に上下するか否かによって、当該移動体領域の移動体が歩行者等であるか人が乗っている自転車であるかを判別することができる。

【0073】

図６及び図７からわかるように、左側面積比率及び右側面積比率はノイズによる影響を受け易い。これに対し、図６に示すデータを処理して得た図８、及び、図７に示すデータを処理して得た図９では、ノイズの影響を低減することができることが判明した。図８は、撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の歩行者を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図６に示すデータから算出されたものである。図９は、撮像された各フレームと、当該フレームまでの最新の１０フレームの同一の人が乗っている自転車を示す移動体領域の左側面積比率の平均値及び右側面積比率の平均値との関係の実際の一例を示す図であって、図７に示すデータから算出されたものである。例えば、図８における４００番目のフレームの左側面積比率平均（左比率平均）は、図６における３９１番目から４００番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値であり、図８における４００番目のフレームの右側面積比率平均（右比率平均）は、図６における３９１番目から４００番目までのフレームの右側面積比率（１０個の右側面積比率）の平均値である。例えば、図９における２５０番目のフレームの左側面積比率平均（左比率平均）は、図７における２４１番目から２５０番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値であり、図８における２５０番目のフレームの右側面積比率平均（右比率平均）は、図９における２４１番目から２５０番目までのフレームの右側面積比率（１０個の右側面積比率）の平均値である。

【0074】

図８及び図９では、このように１０個の比率の平均値を得ているが、２個以上の比率の平均値を得れば、ノイズの影響を低減することができる。もっとも、平均する比率の個数があまりに多ければ、人が乗っている自転車に関する左側面積比率又は右側面積比率の時間経過に従った周期的な上下が現れ難くなってしまう。したがって、平均する比率の個数（後述する値Ｍ）は、ノイズの影響の低減効果及び周期的な上下の顕在化の両方を考慮して適宜定めればよい。

【0075】

ステップＳ８の後に、処理部２は、ステップＳ７で最新に選択された移動体領域と同一の移動体によるものと推定される前回の画像（前回のステップＳ２で取り込まれた画像）の移動体領域が、存在するか否かを判定する（ステップＳ９）。例えば、今回の画像中のステップＳ７で最新に選択された移動体領域の中心座標と前回の画像中の移動体領域の中心座標との間を距離を求め、その距離が所定の距離以下である場合に両者の移動体領域は同一の移動体によるものであると推定するものとし、ステップＳ９の判定は、具体的には、例えば、今回の画像中のステップＳ７で最新に選択された移動体領域の中心座標に対して所定距離内に位置する中心座標を持つ前回の画像中の移動体領域が存在するか否かによって判定することができる。もっとも、両者の移動体領域が同一の移動体によるものと推定されるか否かの判定手法は、これに限らない。

【0076】

ステップＳ９で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｍ，ｎを０にした（ステップＳ１０）後に、当該移動体に関するカウント値ｍを１だけインクリメントする（ステップＳ１１）。一方、ステップＳ９で存在すると判定されると、処理部２は、ステップＳ１０を経ることなくステップＳ１１へ移行して、当該移動体に関するカウント値ｍを１だけインクリメントする。したがって、カウント値ｍは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。カウント値ｎは、後述するように、同一の移動体についてステップＳ１３で算出された左側面積比率の平均値の数を示すことになる。なお、カウント値ｍ，ｎは、移動体毎に設けられる。

【0077】

ステップＳ１１の後、処理部２は、当該移動体に関するカウント値ｍが所定値Ｍ以上であるか否かを判定する（ステップＳ１２）。前述したように、所定値Ｍは、平均する左側面積比率の個数を示し、ノイズの影響の低減効果及び人が乗っている自転車についての周期的な上下の顕在化の両方を考慮して、２以上の任意の値に設定され、例えば１０とされる。

【0078】

ステップＳ１２で所定値Ｍ以上であると判定されると、ステップＳ１３へ移行する一方、ステップＳ１２で所定値Ｍ以上ではないと判定されると、ステップＳ２０へ移行する。

【0079】

ステップＳ１３において、処理部２は、当該移動体について、ステップＳ７で最新に選択された移動体領域までの時系列順のＭ個の移動体領域の各々について求められた前記第１の値の平均値（本実施の形態では、左側面積比率平均）に応じた第２の値として、その左側面積比率平均を算出する。例えば、Ｍ＝１０であり、ステップＳ７で最新に選択された移動体領域が図６中の４００番目のフレームの画像中の移動体領域（歩行者による移動体領域）である場合には、ステップＳ１３において、処理部２は、図６における３９１番目から４００番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値（図８における４００番目のフレームの左側面積比率平均）を算出する。また、例えば、Ｍ＝１０であり、ステップＳ７で最新に選択された移動体領域が図７中の２５０番目のフレームの画像中の移動体領域（人が乗っている自転車による移動体領域）である場合には、ステップＳ１３において、処理部２は、図７における２４１番目から２５０番目までのフレームの左側面積比率（１０個の左側面積比率）の平均値（図９における２５０番目のフレームの左側面積比率平均）を算出する。なお、前記第２の値は、前記左側面積比率平均に限らず、例えば、前記左側面積比率平均に比例定数を乗算した値や、前記左側面積比率平均の逆数などでもよい。

【0080】

次に、処理部２は、当該移動体に関するカウント値ｎを１だけインクリメントする（ステップＳ１４）。したがって、カウント値ｎは、同一の移動体についてステップＳ１３で算出された左側面積比率の平均値の数を示すことになる。

【0081】

次いで、処理部２は、当該移動体に関するカウント値ｎが所定値Ｎ以上であるか否かを判定する（ステップＳ１５）。この所定値Ｎは、ステップＳ１３で算出された平均値の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図８や図９において、Ｎフレーム分の範囲について、ステップＳ１３で算出された平均値の時間的な変化を、ステップＳ１７で調べることになる。

【0082】

ステップＳ１５で所定値Ｎ以上であると判定されると、ステップＳ１６へ移行する一方、ステップＳ１５で所定値Ｎ以上ではないと判定されると、ステップＳ２０へ移行する。

【0083】

ステップＳ１６において、処理部２は、当該移動体について、各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の平均値を、基準値として算出する。

【0084】

引き続いて、処理部２は、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列が、ステップＳ１６で最新に算出された基準値に対して上下に交差する数ｃを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ１７）。例えば、Ｎ＝７０であり、ステップＳ７で最新に選択された移動体領域が図８中の４００番目のフレームの画像中の移動体領域（歩行者による移動体領域）である場合には、図８中の３３１番目のフレームから４００番目のフレームまでの７０個の左側面積比率平均の時系列が、その７０個の左側面積比率平均の平均値である基準値に対して上下に交差する数ｃを、指標値として求める。また、例えば、Ｎ＝７０であり、ステップＳ７で最新に選択された移動体領域が図９中の２９０番目のフレームの画像中の移動体領域（人が乗っている自転車による移動体領域）である場合には、図９中の２２１番目のフレームから２９０番目のフレームまでの７０個の左側面積比率平均の時系列が、その７０個の左側面積比率平均の平均値である基準値に対して上下に交差する数ｃを、指標値として求める。なお、ステップＳ１７で用いる基準値は、ステップＳ１６で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ１６を取り除き、ステップＳ１５でＹＥＳの場合は直ちにステップＳ１７へ移行すればよい。

【0085】

なお、ステップＳ１７で求める指標値は、前述した例に限らず、例えば、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列が、ステップＳ１６で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ１７で求める指標値は、例えば、当該移動体について各ステップＳ１３で求められた最新までのＮ個の左側面積比率平均の時系列の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ１８でその数が所定数以上であるか否かを判定することになる。

【0086】

ステップＳ１７の後、処理部２は、ステップＳ１７で最新に求められた数ｃが所定数Ｃ以上であるか否かを判定する（ステップＳ１８）。この所定数Ｃは、左側面積比率平均が周期的に上下するか否かを判別するための閾値である。ステップＳ１８の判定によって、図８に示すような左側面積比率平均の変化と図９に示すような左側面積比率平均の変化とが判別され、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。

【0087】

ステップＳ１８で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、ステップＳ２０へ移行する。一方、ステップＳ１８で所定数Ｃ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ１９）後に、ステップＳ２０へ移行する。なお、ステップＳ１８で所定数Ｃ以上であると判定された場合、処理部２は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップＳ２０へ移行してもよい。

【0088】

ステップＳ２０において、処理部２は、ステップＳ６で最新に判別された移動体領域の全てについてステップＳ７の選択が終了したか否かを判定し、終了していなければステップＳ７へ戻り、終了していればステップＳ２１を経てステップＳ２へ戻る。

【0089】

ステップＳ２１において、処理部２は背景画像を更新する。具体的には、例えば、現在の背景画像をｆ（ｔ−１）とし、更新後の背景画像をｆ（ｔ）とし、ステップＳ２で最新にサンプリングされた画像（現画像）をｇ（ｔ）とし、βを０＜β＜１を満たす重み係数であるとすると、ステップＳ６で最新に判別された移動体領域については、ｆ（ｔ）＝ｆ（ｔ−１）とし、ステップＳ６で最新に判別された移動体領域以外の領域については、ｆ（ｔ）＝βｆ（ｔ−１）＋（１−β）ｇ（ｔ）とすればよい。なお、本実施の形態では、ステップＳ２で現画像が得られる度にステップＳ２１で背景画像の更新が行われることになるが、必ずしもこれに限らない。

【0090】

本実施の形態による移動体検出装置によれば、自転車の走行が禁止されている歩道において、人が乗っている自転車を、歩行者等から判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部２から出力される自転車検出信号に応答して、図示しない警報装置から当該歩道を走行する自転車に対して警報（例えば、自転車はこの歩道を走行してはならない旨の音声）を発生させることができる。

【0091】

本実施の形態によれば、同一の移動体によるものと推定される前記各画像の前記移動体領域の時間経過に従った形状変化に基づいて、ステップＳ１８で前記移動体が歩行者等であるか否かを判定するので、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。

【0092】

また、本実施の形態によれば、ステップＳ１７で前記形状変化の様子を示す指標値を得て、ステップＳ１８でこの指標値に基づいて前記移動体が歩行者等であるか否かを判定するので、前記移動体が歩行者等であるか否かの判定をより容易に行うことができる。

【0093】

［第２の実施の形態］

【0094】

図１０は、本発明の第２の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１１は、本発明の第２の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【0095】

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、図３及び図４に示す動作に代えて、図１０及び図１１に示す動作を行う点である。

【0096】

図１０及び図１１に示す動作が図３及び図４に示す動作と異なる所は、主に、図３及び図４に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図１０及び図１１に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図１０及び図１１に示す動作について、具体的に説明する。

【0097】

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ３１〜Ｓ３９において、前述したステップＳ１〜Ｓ９とそれぞれ同一の処理を行う。

【0098】

ステップＳ３９で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｋを０にした（ステップＳ４０）後に、当該移動体に関するカウント値ｋを１だけインクリメントする（ステップＳ４１）。一方、ステップＳ３９で存在すると判定されると、処理部２は、ステップＳ４０を経ることなくステップＳ４１へ移行して、当該移動体に関するカウント値ｋを１だけインクリメントする。したがって、カウント値ｋは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。なお、カウント値ｋは、移動体毎に設けられる。

【0099】

ステップＳ４１の後、処理部２は、当該移動体に関するカウント値ｋが所定値Ｋ以上であるか否かを判定する（ステップＳ４２）。この所定値Ｋは、ステップＳ３８で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図６や図７において、Ｋフレーム分の範囲について、ステップＳ３８で算出された左側面積比率の近似曲線の時間的な変化を、ステップＳ４５で調べることになる。

【0100】

ステップＳ４２で所定値Ｋ以上であると判定されると、ステップＳ４３へ移行する一方、ステップＳ４２で所定値Ｋ以上ではないと判定されると、ステップＳ４８へ移行する。

【0101】

ステップＳ４３において、処理部２は、当該移動体について、ステップＳ３７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の近似曲線を取得する。この近似曲線は公知の種々の手法で得ることができる。

【0102】

その後、処理部２は、当該移動体について、ステップＳ３７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の平均値を、基準値として算出する（ステップＳ４４）。

【0103】

引き続いて、処理部２は、当該移動体についてステップＳ４３で最新に求められた近似曲線が、ステップＳ４４で最新に算出された基準値に対して上下に交差する数ｄを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ４５）。なお、ステップＳ４５で用いる基準値は、ステップＳ４４で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ４４を取り除き、ステップＳ４３の後に直ちにステップＳ４５へ移行すればよい。

【0104】

なお、ステップＳ４５で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップＳ４３で最新に求められた近似曲線が、ステップＳ４４で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ４５で求める指標値は、例えば、当該移動体についてステップＳ４３で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ４６でその数が所定数以上であるか否かを判定することになる。

【0105】

ステップＳ４５の後、処理部２は、ステップＳ４５で最新に求められた数ｄが所定数Ｄ以上であるか否かを判定する（ステップＳ４６）。この所定数Ｄは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップＳ４６の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。

【0106】

ステップＳ４６で所定数Ｄ以上である（すなわち、当該移動体が歩行者等である）と判定されると、ステップＳ４８へ移行する。一方、ステップＳ４６で所定数Ｄ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ４７）後に、ステップＳ４８へ移行する。なお、ステップＳ４６で所定数Ｄ以上であると判定された場合、処理部２は、必要に応じて、歩行者等を検出した旨を示す歩行者等検出信号を出力した後に、ステップＳ４８へ移行してもよい。

【0107】

ステップＳ４８において、処理部２は、ステップＳ３６で最新に判別された移動体領域の全てについてステップＳ３７の選択が終了したか否かを判定し、終了していなければステップＳ３７へ戻り、終了していればステップＳ４９を経てステップＳ３２へ戻る。ステップＳ４９において、処理部２は、前述したステップＳ２１と同様に、背景画像を更新する。

【0108】

本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。

【0109】

［第３の実施の形態］

【0110】

図１２は、本発明の第３の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１３は、本発明の第３の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【0111】

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、テレビカメラ１が高速道路の入口などを撮像するように設置されている点と、図３及び図４に示す動作に代えて、図１２及び図１３に示す動作を行い、移動体として、歩行者等、人が乗っている自転車、自動車、及び、原動機を備えた二輪車（以下、「自動二輪車」と呼ぶ。）を互いに判別して検出する点である。以下に、図１２及び図１３に示す動作について、説明する。

【0112】

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ５１〜Ｓ５７において、前述したステップＳ１〜Ｓ７とそれぞれ同一の処理を行う。

【0113】

次に、処理部２は、ステップＳ５７で最新に選択された移動体領域について、当該移動体領域の画像中の面積Ｓ及び位置を算出する（ステップＳ５８）。同じ移動体であっても、撮像画像中ではテレビカメラ１に近いほど大きく映る。そこで、本実施の形態では、後述するステップＳ５９，Ｓ６１において当該移動体領域の面積Ｓに基づいて自動車や自動二輪車を他の移動体から判別するために、ステップＳ５８において当該移動体領域の画像中の面積Ｓの他に当該移動体領域の画像中の位置も算出している。本実施の形態では、図面には示していないが、テレビカメラ１からの移動体の遠近方向が略々Ｙ軸方向と一致している。このため、本実施の形態では、ステップＳ５８において、当該移動体領域の画像中の位置として、当該移動体領域の画像中の中心のＹ座標位置ｙを算出する。もっとも、必要に応じて、例えばＸＹ座標位置を算出してもよい。この場合、後述する判別用基準値はＸＹ座標位置のパラメータとして予め定めておけばよい。

【0114】

図１４は、各移動体を示す移動体領域の画像中の位置（Ｙ座標位置ｙ）と、各移動体を示す移動体領域の画像中の面積Ｓ及び判別用基準値Ｓ１（ｙ），Ｓ２（ｙ）との関係の実際の一例を示す図であり、実験により得たものである。図１４の横軸はＹ座標位置ｙを示し、図１４ではｙの値が大きい程テレビカメラ１に近いものとしている。図１４の縦軸は、移動体領域の画像中の面積Ｓとしての、当該移動体領域の画素数を示している。図１４には、歩行者の面積、人が乗った自転車の面積、「原付」（原動機を備えた二輪車のうち、５０ｃｃ以下の原動機を備えた二輪車）の面積、「自動２輪」（「原付」以外の原動機を備えた二輪車）の面積、自動車の面積が示されている。図１４において、歩行者の面積と人が乗った自転車の面積とはほぼ同じであり、両者は重なってしまい、両者を判別することは困難である。図１４に示すように、同じＹ座標位置ｙでは、歩行者の面積及び人が乗った自転車の面積に対して、「原付」の面積、「自動２輪」の面積及び自動車の面積の順に大きくなっている。図１４において、判別用基準値Ｓ１（ｙ）は、各Ｙ座標位置ｙにおいて自動車の面積と「自動２輪」の面積とを判別するための基準値であり、各Ｙ座標位置ｙにおける自動車の面積と「自動２輪」の面積とのほぼ平均値となっている。判別用基準値Ｓ２（ｙ）は、各Ｙ座標位置ｙにおいて「原付」の面積と歩行者の面積及び人が乗った自転車の面積とを判別するための基準値であり、各Ｙ座標位置ｙにおける「原付」の面積と歩行者の面積又は人が乗った自転車の面積とのほぼ平均値となっている。なお、判別用基準値Ｓ１（ｙ），Ｓ２（ｙ）は、テレビカメラ１の設置場所等に応じて、図１４に示すような実験データから予め求めておき、ｙを変数とする式の形式又はルックアップテーブルの形式などで、処理部２のメモリ等に格納しておけばよい。

【0115】

ステップＳ５８の後に、処理部２は、ステップＳ５８で最新に算出された当該移動体領域の面積Ｓが、ステップＳ５８で最新に算出された当該移動体領域の位置ｙでの判別用基準値Ｓ１（ｙ）以上であるか否かを判定する（ステップＳ５９）。この判別用基準値Ｓ１（ｙ）は、当該移動体領域が自動車によるものであるか否かを判別するための閾値となる。このステップＳ５９は、当該移動体領域が自動車によるものであるか否かを判定する自動車判定手段に相当している。もっとも、自動車判定手段はこれに限らない。

【0116】

ステップＳ５９で判別用基準値Ｓ１（ｙ）以上である（すなわち、当該移動体が自動車である）と判定されると、処理部２は、自動車を検出した旨を示す自動車検出信号を出力した（ステップＳ６０）後に、ステップＳ７６へ移行する。一方、ステップＳ５９で判別用基準値Ｓ１（ｙ）以上ではないと判定されると、ステップＳ６１へ移行する。

【0117】

ステップＳ６１において、処理部２は、ステップＳ５８で最新に算出された当該移動体領域の面積Ｓが、ステップＳ５８で最新に算出された当該移動体領域の位置ｙでの判別用基準値Ｓ２（ｙ）以上であるか否かを判定する。この判別用基準値Ｓ２（ｙ）は、当該移動体領域が自動二輪車（原動機を備えた二輪車であり、「原付」及び「自動２輪」を含む。）によるものであるか否かを判別するための閾値となる。ステップＳ５９，Ｓ６１は全体として、当該移動体領域が自動二輪車によるものであるか否かを判定する二輪車判定手段に相当している。もっとも、二輪車判定手段はこれに限らない。

【0118】

ステップＳ６１で判別用基準値Ｓ２（ｙ）以上である（すなわち、当該移動体が自動二輪車である）と判定されると、処理部２は、自動二輪車を検出した旨を示す自動二輪車検出信号を出力した（ステップＳ６２）後に、ステップＳ７６へ移行する。一方、ステップＳ６１で判別用基準値Ｓ２（ｙ）以上ではないと判定されると、ステップＳ６３へ移行する。

【0119】

処理部２は、ステップＳ６３〜Ｓ７３において、前述したステップＳ８〜Ｓ１８とそれぞれ同一の処理を行う。

【0120】

ステップＳ７３で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ７４）後に、ステップＳ７６へ移行する。一方、ステップＳ７３で所定数Ｃ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ７５）後に、ステップＳ７６へ移行する。

【0121】

ステップＳ７６において、処理部２は、ステップＳ５６で最新に判別された移動体領域の全てについてステップＳ５７の選択が終了したか否かを判定し、終了していなければステップＳ５７へ戻り、終了していればステップＳ７７を経てステップＳ５２へ戻る。ステップＳ７７において、処理部２は、前述したステップＳ２１と同様に、背景画像を更新する。

【0122】

本実施の形態によれば、前記第１の実施の形態と同様に、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等と人が乗っている自転車とを高い精度で判別して検出することができる。

【0123】

また、本実施の形態による移動体検出装置によれば、高速道路の入口などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出することができる。例えば、本実施の形態による移動体検出装置の処理部２から出力される自動車検出信号、自動二輪車検出信号、歩行者等検出信号及び自転車検出信号は、交通管制センターに送られ、高速道路の管理等に役立てられる。例えば、交通管制センターは、歩行者等検出信号や自転車検出信号に応答して、交通機動隊等へ指示を発することで、高速道路に誤って進入した歩行者や自転車を迅速に保護することができる。

【0124】

なお、本実施の形態による移動体検出装置は、例えば、交差点などにおいて、移動体として、歩行者等、人が乗っている自転車、自動車、及び、自動二輪車を互いに判別して検出するために用いてもよい。

【0125】

［第４の実施の形態］

【0126】

図１５は、本発明の第４の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートである。図１６は、本発明の第４の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【0127】

本実施の形態による移動体検出装置が前記第３の実施の形態による移動体検出装置と異なる所は、図１２及び図１３に示す動作に代えて、図１５及び図１６に示す動作を行う点である。

【0128】

図１５及び図１６に示す動作が図１２及び図１３に示す動作と異なる所は、主に、図１２及び図１３に示す動作では、左側面積比率平均の平均値を利用することでノイズの影響を低減しているのに対し、図１５及び図１６に示す動作では、左側面積比率平均の近似曲線を利用することでノイズの影響を低減している点である。以下に、図１５及び図１６に示す動作について、具体的に説明する。

【0129】

本実施の形態による移動体検出装置では、動作を開始すると、処理部２は、ステップＳ８１〜Ｓ９４において、前述したステップＳ５１〜Ｓ６４それぞれ同一の処理を行う。ただし、ステップＳ９０の後にステップＳ１０４へ移行し、ステップＳ９２の後にステップＳ１０４へ移行する。

【0130】

ステップＳ９４で存在しないと判定されると、処理部２は、当該移動体に関するカウント値ｋを０にした（ステップＳ９５）後に、当該移動体に関するカウント値ｋを１だけインクリメントする（ステップＳ９６）。一方、ステップＳ９４で存在すると判定されると、処理部２は、ステップＳ９５を経ることなくステップＳ９６へ移行して、当該移動体に関するカウント値ｋを１だけインクリメントする。したがって、カウント値ｋは、同一の移動体についての追跡回数（撮像画像数）を示すことになる。なお、カウント値ｋは、移動体毎に設けられる。

【0131】

ステップＳ９６の後、処理部２は、当該移動体に関するカウント値ｋが所定値Ｋ以上であるか否かを判定する（ステップＳ９７）。この所定値Ｋは、ステップＳ９３で算出された左側面積比率の時間的な変化を調べる範囲を定める値であり、例えば、７０にされる。例えば、図６や図７において、Ｋフレーム分の範囲について、ステップＳ９３で算出された左側面積比率の近似曲線の時間的な変化を、ステップＳ１００で調べることになる。

【0132】

ステップＳ９７で所定値Ｋ以上であると判定されると、ステップＳ９８へ移行する一方、ステップＳ９７で所定値Ｋ以上ではないと判定されると、ステップＳ１０４へ移行する。

【0133】

ステップＳ９８において、処理部２は、当該移動体について、ステップＳ５７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の近似曲線を取得する。

【0134】

その後、処理部２は、当該移動体について、ステップＳ５７で最新に選択された移動体領域までの時系列順のＫ個の移動体領域の各々について求められた前記第１の値（本実施の形態では、左側面積比率）の平均値を、基準値として算出する（ステップＳ９９）。

【0135】

引き続いて、処理部２は、当該移動体についてステップＳ９８で最新に求められた近似曲線が、ステップＳ９９で最新に算出された基準値に対して上下に交差する数ｄを、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求める（ステップＳ１００）。なお、ステップＳ１００で用いる基準値は、ステップＳ９９で算出した基準値に限らず、予め定めた所定の一定値でもよい。この場合、ステップＳ９９を取り除き、ステップＳ９８の後に直ちにステップＳ１００へ移行すればよい。

【0136】

なお、ステップＳ１００で求める指標値は、前述した例に限らず、例えば、当該移動体についてステップＳ９８で最新に求められた近似曲線が、ステップＳ９９で最新に算出された基準値に対して下から上に交差する数又は上から下に交差する数を、当該移動体領域の時間経過に従った形状変化の様子を示す指標値として求めてもよい。また、ステップＳ１００で求める指標値は、例えば、当該移動体についてステップＳ９８で最新に求められた近似曲線の、極大の数、極小の数又はそれらの合計の数であってもよい。これらの場合は、ステップＳ１０１でその数が所定数以上であるか否かを判定することになる。

【0137】

ステップＳ１００の後、処理部２は、ステップＳ１００で最新に求められた数ｄが所定数Ｄ以上であるか否かを判定する（ステップＳ１０１）。この所定数Ｄは、前記近似曲線が周期的に上下するか否かを判別するための閾値である。ステップＳ１０１の判定によって、当該移動体が歩行者等であるか人が乗っている自転車であるかが判別される。

【0138】

ステップＳ１０１で所定数Ｄ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ１０２）後に、ステップＳ１０４へ移行する。一方、ステップＳ１０１で所定数Ｄ以上ではない（すなわち、当該移動体が人が乗っている自転車である）と判定されると、処理部２は、人が乗っている自転車を検出した旨を示す自転車検出信号を出力した（ステップＳ１０３）後に、ステップＳ１０４へ移行する。

【0139】

ステップＳ１０４において、処理部２は、ステップＳ８６で最新に判別された移動体領域の全てについてステップＳ８７の選択が終了したか否かを判定し、終了していなければステップＳ８７へ戻り、終了していればステップＳ１０５を経てステップＳ８２へ戻る。ステップＳ１０５において、処理部２は、前述したステップＳ７７と同様に、背景画像を更新する。

【0140】

本実施の形態によっても、前記第３の実施の形態と同様の利点が得られる。

【0141】

［第５の実施の形態］

【0142】

図３は、本発明の第５の実施の形態による移動体検出装置の動作の一部を示す概略フローチャートでもある。図１７は、本発明の第５の実施の形態による移動体検出装置の動作の残りの部分を示す概略フローチャートである。

【0143】

本実施の形態による移動体検出装置が前記第１の実施の形態による移動体検出装置と異なる所は、テレビカメラ１が、歩行者等及びその他の任意の移動体（人が乗っている自転車、自動車及び自動二輪車のうちの少なくとも１種類の移動体）が通過する所定領域を撮像するように設定されている点と、図３及び図４に示す動作に代えて、図３及び図１７に示す動作を行い、歩行者等のみを他の移動体から判別して検出する点である。

【0144】

図３及び図１７に示す動作が図３及び図４に示す動作と異なる所は、ステップＳ１８で所定数Ｃ以上である（すなわち、当該移動体が歩行者等である）と判定されると、処理部２は、歩行者等を検出した旨を示す歩行者等検出信号を出力した（ステップＳ２２）後に、ステップＳ２０へ移行する一方で、ステップＳ１８で所定数Ｃ以上ではない（すなわち、当該移動体が歩行者等ではない）と判定されると、直ちにステップＳ２０へ移行する点のみである。

【0145】

本実施の形態によれば、テンプレート画像の辞書を用いた画像のパターンマッチングを行うことなく、歩行者等を他の移動体から高い精度で判別して検出することができる。
。

【0146】

以上、本発明の各実施の形態及びその変形例について説明したが、本発明はこれらに限定されるものではない。例えば、本発明では、移動体の移動速度も考慮して当該移動体を判別して検出するようにしてもよい。

【符号の説明】

【0147】

１ テレビカメラ
２ 処理部
３ 画像メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図10】

【図11】

【図12】

【図13】

【図15】

【図16】

【図17】

【図6】

【図7】

【図8】

【図9】

【図14】