特許 5950991 広義的通行人検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5950991

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月13日

(54)【発明の名称】広義的通行人検出方法及び装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20160630BHJP

   G06T 7/00 20060101ALI20160630BHJP

【ＦＩ】

   G06T1/00 330Z

   G06T1/00 340B

   G06T7/00 300D

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2014-258123(P2014-258123)

(22)【出願日】2014年12月19日

(65)【公開番号】特開2015-127959(P2015-127959A)

(43)【公開日】2015年7月9日

【審査請求日】2014年12月19日

(31)【優先権主張番号】201310738021.9

(32)【優先日】2013年12月27日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】511138010

【氏名又は名称】ニューソフト コーポレーション

【氏名又は名称原語表記】Ｎｅｕｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(74)【代理人】

【識別番号】100118278

【弁理士】

【氏名又は名称】村松 聡

(72)【発明者】

【氏名】リウ、ウェイ

(72)【発明者】

【氏名】ドゥァン、チォンウェイ

(72)【発明者】

【氏名】チャイ、リーイン

(72)【発明者】

【氏名】ユー、ビン

(72)【発明者】

【氏名】ユアン、ファイ

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１０−２１１４２７（ＪＰ，Ａ）

【文献】 特開２００７−１８７６１８（ＪＰ，Ａ）

【文献】 特開２０１３−２１０９６８（ＪＰ，Ａ）

【文献】 特開２００７−１３４９６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／６０

(57)【特許請求の範囲】

【請求項1】

広義的通行人検出方法であって、
入力画像を取得し、
前記入力画像において予め設定した車輪共通特徴が存在するか否かを判断し、前記入力画像において前記予め設定した車輪共通特徴が存在する場合に、前記車輪共通特徴領域の左右側又は上側で画像ウィンドウを選択し、前記選択した画像ウィンドウを予め設定した上半身分類器に入力して、前記選択した画像ウィンドウにおいて通行人上半身が存在するか否かを検出し、第1の検出結果を出力することを含み、
前記予め設定した上半身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、前記広義的通行人共通特徴は人体共通特徴を含み、前記車輪共通特徴は円形特徴と楕円形特徴を含むことを特徴とする広義的通行人検出方法。

【請求項2】

前記入力画像に対して前処理を行って、前記前処理した画像を予め設定した全身分類器に入力して、前記前処理した画像において通行人全身が存在するか否かを検出し、第2の検出結果を出力することをさらに含み、
前記予め設定した全身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、前記広義的通行人共通特徴は人体共通特徴を含むことを特徴とする請求項1に記載の広義的通行人検出方法。

【請求項3】

前記入力画像に対して前処理を行って、前記前処理した画像を予め設定した全身分類器に入力することは、前記入力画像をピラミッドダウンサンプリング技術により少なくとも二つの解像度が異なる画像を取得し、前記異なる解像度の画像を、上記予め設定した全身分類器のトレーニングサンプルのサイズと同じな複数の小窓画像に区分し、順に前記小窓画像を前記予め設定した全身分類器に入力することを含むことを特徴とする請求項2に記載の広義的通行人検出方法。

【請求項4】

前記入力画像において前記予め設定した車輪共通特徴が存在する場合に、前記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択することは、前記車輪共通特徴領域のサイズに基づいて、前記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択することを含み、前記画像ウィンドウを選択することは、前記画像ウィンドウの幅w=2krを選択し、前記画像ウィンドウの長さl=3krを選択することを含み、前記画像ウィンドウの横方向の値の範囲が[x-6r，x+6r]であり、前記画像ウィンドウの縦方向の値の範囲が[y-3r，y+3r]であり、ここで、kはスケーリング因子であり、rは前記車輪共通特徴領域の半径であって、x、yはそれぞれ前記共通特徴領域の中心座標であることを特徴とする請求項１に記載の広義的通行人検出方法。

【請求項5】

前記人体共通特徴は、頭部特徴、肩部特徴、胴体特徴を含み、
前記頭部特徴が、第1の色で表す前記頭部領域と第2の色で表す背景領域を含み、前記頭部領域と前記背景領域とが長方形であり、頭部領域が前記背景領域の中に位置し、且つ前記頭部領域と前記背景領域とが下縁のみ重なり、前記第2の色領域の面積が前記第1の色領域の面積のN1倍であり、前記頭部特徴の特徴値がal=|bl-cl|となって、ここで、blが前記第2の色領域内の画素値の和であって、clはN1倍の前記第1の色領域内の画素値の和であって、前記N1は正の値であり、
前記肩部特徴が、前記第1の色で表す前記肩部領域と前記第2の色で表す背景領域を含み、前記肩部領域と前記背景領域とが長方形であり、前記肩部領域が前記背景領域の左下隅に位置し且つ前記背景領域の左縁と下縁に重なり、又は、前記背景領域の右下隅に位置し且つ前記背景領域の右縁と下縁に重なり、前記第2の色領域の面積が前記第1の色領域の面積のN2倍であり、前記肩部特徴の特徴値がa2=|b2-c2|となり、ここで、b2が前記第2の色領域内の画素値の和であり、c2がN2倍の前記第1の色領域内の画素値の和であって、N2が正の値であり、
前記胴体特徴が垂直胴体特徴と傾斜胴体特徴を含み、前記垂直胴体特徴が第1の垂直胴体特徴と第2の垂直胴体特徴を含み、前記第1の垂直胴体特徴が前記第1の色で表す前記第1の垂直胴体領域と前記第2の色で表す前記背景領域を含み、前記第1の垂直胴体領域と前記背景領域とが同一長方形内に位置し、垂直方向で、前記第2の色領域の面積が前記第1の色領域の面積のN3倍であり、前記第1の垂直胴体特徴の特徴値がa3=|b3-c3|となり、ここで、b3は前記第2の色領域内の画素値の和であって、c3はN3倍の前記第1の色領域内の画素値の和であり、N3は正の値であり、前記第2の垂直胴体特徴が前記第1の色で表す前記第2の垂直胴体領域と前記第2の色で表す前記背景領域を含み、前記第2の垂直胴体特徴と前記背景領域とが長方形であり、前記第2の垂直胴体領域と前記背景領域とが垂直方向で平行となり、前記第1の色領域の面積と前記第2の色領域の面積とが等しく、前記第1の色領域と前記第2の色領域との間にMl個の画素を隔てて、前記第1の垂直胴体特徴の特徴値がa4=|b4-c4|となり、ここで、b4は前記第2の色領域内の画素値の和であり、c4は前記第1の色領域内の画素値の和であり、
前記傾斜胴体特徴が前記第1の色で表す前記傾斜胴体領域と前記第2の色で表す上記背景領域を含み、前記傾斜胴体領域と前記背景領域とが長方形であり、前記傾斜胴体領域と前記背景領域の傾斜角度が同じで、且つ前記背景領域が上記傾斜胴体領域左右側又は上側に位置し、前記第1の色領域と前記第2の色領域との面積が等しく、前記第1の色領域と前記第2の色領域とがM2個の画素を隔てて、前記傾斜胴体特徴の特徴値がa5=|b5-c5|となり、ここで、b5は前記第2の色領域内の画素値の和であり、c5は前記第1の色領域内の画素値の和であることを特徴とする請求項１に記載の広義的通行人検出方法。

【請求項6】

広義的通行人検出装置であって、
入力画像を取得するための取得ユニットと、
前記入力画像において予め設定した車輪共通特徴が存在するか否かを判断し、前記入力画像において前記予め設定した車輪共通特徴が存在する場合に、前記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、前記選択した画像ウィンドウを予め設定した上半身分類器に入力して、前記選択した画像ウィンドウにおいて通行人上半身が存在するか否かを検出し、第1の検出結果を出力するための第1の検出ユニットとを含み、
前記予め設定した上半身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、前記広義的通行人共通特徴は人体共通特徴を含み、前記車輪共通特徴は円形特徴と楕円形特徴を含むことを特徴とする広義的通行人検出装置。

【請求項7】

前記入力画像に対して前処理を行って、前記前処理した画像を予め設定した全身分類器に入力して、前記前処理した画像において通行人全身が存在するか否かを検出し、第2の検出結果を出力するための第2の検出ユニットをさらに含み、
前記予め設定した全身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、前記広義的通行人共通特徴は人体共通特徴を含むことを特徴とする請求項6に記載の広義的通行人検出装置。

【請求項8】

前記第2の検出ユニットは、前記入力画像をピラミッドダウンサンプリング技術により少なくとも二つの解像度が異なる画像を取得し、前記異なる解像度の画像を、前記予め設定した全身分類器トレーニングサンプルのサイズと同じな複数の小窓画像に区分し、順に前記小窓画像を前記予め設定した全身分類器に入力するためのものであることを特徴とする請求項7に記載の広義的通行人検出装置。

【請求項9】

前記第1の検出ユニットは、前記車輪共通特徴領域のサイズに基づいて、前記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択するためのものであり、前記の画像ウィンドウを選択することは、幅がw=2kr、長さがl=3kr、横方向の値の範囲が[x−6r，x+6r]、縦方向の値の範囲が[y-3r，y+3r]である画像ウィンドウを選択することを含み、ここで、kはスケーリング因子であって、kの値の範囲は1以上且つ3以下であって、rは前記車輪共通特徴領域の半径であり、x、yはそれぞれ前記共通特徴領域の中心座標であることを特徴とする請求項6に記載の広義的通行人検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インテリジェンス交通システム分野に関し、特に広義的通行人検出方法及び装置に関する。

【背景技術】

【0002】

現在、視覚に基づくセンサーは、より多くの人に注目されている。環境認識の角度から、視覚センサーは、取得する情報量がより多く、豊富で、サンプリング周期が短く、磁場又はセンサーの間の干渉による影響が小さく、軽量で、消費電力が低く、使用しやすく、廉価などの利点を有し、都市道路向けの主動安全分野でより重要な作用を発揮している。国内外で、視覚に基づく通行人などの傷つきやすい道路ユーザー主動安全技術は、既に緊急に解決する必要がある重要な問題と続けられている研究の焦点となっている。

【0003】

広義的通行人は、歩いている通行人や、自転車の搭乗者、オートバイの搭乗者などの傷つきやすい道路ユーザーを指す。従来の視覚に基づく通行人などの傷つきやすい道路ユーザーアクティブプロテクション技術の研究は、主に一般的な意義の通行人に限り、即ち、歩いている通行人のみに対して検出を行い、自転車、オートバイの搭乗者などの同様に傷つきやすい広義的通行人道路ユーザーに関する研究が少ない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術案において、自転車とオートバイの搭乗者を通行人と異なる対象と見なしている。搭乗者に対して、それぞれ、自転車搭乗者のサンプルとオートバイ搭乗者のサンプルを収集し、予め設定した搭乗者サンプルデータベースを用いて自転車搭乗者とオートバイ搭乗者の特徴を抽出し、抽出した特徴に基づいて自転車搭乗者とオートバイ搭乗者の分類器をトレーニングして生成し、分類器により入力画像を検出して、入力画像において自転車搭乗者又はオートバイ搭乗者が存在するかどうかを判断する必要がある。

【0005】

上記の方案は、サンプルを収集し、特徴を抽出して分類器をトレーニングするのに多く時間がかかって、検出時間が長く、検出効率が低くなってしまう。

【課題を解決するための手段】

【0006】

本発明の解決しようとする問題は、如何にサンプル収集時間を低減して、広義的通行人の検出効率を向上させるかである。

【0007】

上記問題を解決するために、本発明は、広義的通行人検出方法を提供し、入力画像を取得し、上記入力画像において予め設定した車輪共通特徴が存在するか否かを判断し、上記入力画像において上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域の左右側又は上側で画像ウィンドウを選択し、上記選択した画像ウィンドウを予め設定した上半身分類器に入力して、上記選択した画像ウィンドウにおいて通行人上半身が存在するか否かを検出し、第1の検出結果を出力することを含み、上記予め設定した上半身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴は人体共通特徴を含み、上記車輪共通特徴は円形特徴と楕円形特徴を含む。

【0008】

必要に応じて、上記広義的通行人検出方法は、上記入力画像に対して前処理を行って、上記前処理した画像を予め設定した全身分類器に入力して、上記前処理した画像において通行人全身が存在するか否かを検出し、第2の検出結果を出力することをさらに含み、上記予め設定した全身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴は人体共通特徴を含む。

【0009】

必要に応じて、上記入力画像に対して前処理を行って、上記の前処理した画像を予め設定した全身分類器に入力することは、上記入力画像をピラミッドダウンサンプリング技術により少なくとも二つの解像度が異なる画像を取得し、上記異なる解像度の画像を、上記予め設定した全身分類器トレーニングサンプルのサイズと同じな複数の小窓画像に区分し、順に上記小窓画像を上記予め設定した全身分類器に入力することを含む。

【0010】

必要に応じて、上記入力画像において上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択することは、上記車輪共通特徴領域のサイズに基づいて、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択することを含み、上記の画像ウィンドウを選択することは、上記画像ウィンドウの幅w=2krを選択し、上記画像ウィンドウの長さl=3krを選択することを含み、上記画像ウィンドウの横方向の値の範囲が[x-6r，x+6r]であって、上記画像ウィンドウの縦方向の値の範囲が[y-3r，y+3r]であり、ここで、kはスケーリング因子であって、rは上記車輪共通特徴領域の半径であり、x、yはそれぞれ上記共通特徴領域の中心座標である。

【0011】

必要に応じて、上記人体共通特徴は、頭部特徴、肩部特徴、胴体特徴を含み、上記頭部特徴が、第1の色で表す上記頭部領域と第2の色で表す背景領域を含み、上記頭部領域と上記背景領域とが長方形であり、上記頭部領域が上記背景領域に位置し、且つ上記頭部領域と上記背景領域とが下縁のみ重なり、上記第2の色領域の面積が上記第1の色領域の面積のN1倍であり、上記頭部特徴の特徴値がal=|bl-cl|となり、ここで、blは上記第2の色領域内の画素値の和であり、上記clがN1倍の上記第1の色領域内の画素値の和であり、N1が正の値であり、上記肩部特徴が、上記第1の色で表す上記肩部領域と上記第2の色で表す背景領域を含み、上記肩部領域と上記背景領域とが長方形であり、上記肩部領域が上記背景領域の左下隅に位置し且つ上記背景領域左縁と下縁に重なり、又は、上記背景領域右下隅に位置し且つ上記背景領域右縁と下縁に重なり、上記第2の色領域の面積が上記第1の色領域の面積のN2倍であり、上記肩部特徴の特徴値がa2=|b2-c2|となり、ここで、b2は上記第2の色領域内の画素値の和であり、c2はN2倍の上記第1の色領域内の画素値の和であり、N2は正の値であり、上記胴体特徴が垂直胴体特徴と傾斜胴体特徴を含み、上記垂直胴体特徴が第1の垂直胴体特徴と第2の垂直胴体特徴を含み、上記第1の垂直胴体特徴が上記第1の色で表す上記第1の垂直胴体領域と上記第2の色で表す上記背景領域を含み、上記第1の垂直胴体領域と上記背景領域とが同一長方形内に位置し、垂直方向で、上記第2の色領域の面積が上記第1の色領域の面積のN3倍であり、上記第1の垂直胴体特徴の特徴値がa3=|b3-c3|となり、ここで、b3は上記第2の色領域内の画素値の和であり、c3がN3倍の上記第1の色領域内の画素値の和であり、N3は正の値であり、上記第2の垂直胴体特徴が上記第1の色で表す上記第2の垂直胴体領域と上記第2の色で表す上記背景領域を含み、上記第2の垂直胴体特徴と上記背景領域とが長方形であり、上記第2の垂直胴体領域と上記背景領域とが垂直方向で平行となり、上記第1の色領域の面積と上記第2の色領域の面積とが等しく、上記第1の色領域と上記第2の色領域との間にMl個の画素を隔てて、上記第1の垂直胴体特徴の特徴値がa4=|b4-c4|となり、ここで、b4は上記第2の色領域内の画素値の和であり、c4は上記第1の色領域内の画素値の和であり、上記傾斜胴体特徴が上記第1の色で表す上記傾斜胴体領域と上記第2の色で表す上記背景領域を含み、上記傾斜胴体領域と上記背景領域とが長方形であり、上記傾斜胴体領域と上記背景領域との傾斜角度が同じで、且つ上記背景領域が上記傾斜胴体領域の左右側又は上側に位置し、上記第1の色領域と上記第2の色領域との面積が等しく、上記第1の色領域と上記第2の色領域とがM2個の画素を隔てて、上記傾斜胴体特徴の特徴値がa5=|b5-c5|となり、ここで、b5は上記第2の色領域内の画素値の和であり、c5は上記第1の色領域内の画素値の和である。

【0012】

上記問題を解決するために、本発明実施例は、広義的通行人検出装置を提供し、入力画像を取得するための取得ユニットと、上記入力画像において予め設定した車輪共通特徴が存在するか否かを判断し、上記入力画像において上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、上記選択した画像ウィンドウを予め設定した上半身分類器に入力して、上記選択した画像ウィンドウにおいて通行人上半身が存在するか否かを検出し、第1の検出結果を出力するための第1の検出ユニットとを含み、上記予め設定した上半身分類器は予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴は人体共通特徴を含み、上記車輪共通特徴は円形特徴と楕円形特徴を含む。

【0013】

必要に応じて、上記広義的通行人検出装置は、上記入力画像に対して前処理を行って、上記前処理した画像を予め設定した全身分類器に入力して、上記前処理した画像において通行人全身が存在するか否かを検出し、第2の検出結果を出力する第2の検出ユニットをさらに含み、上記予め設定した全身分類器が予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴は人体共通特徴を含む。

【0014】

必要に応じて、上記第2の検出ユニットは、上記入力画像をピラミッドダウンサンプリング技術により少なくとも二つの解像度が異なる画像を取得し、上記異なる解像度の画像を、上記予め設定した全身分類器トレーニングサンプルのサイズと同じな複数の小窓画像に区分し、順に上記小窓画像を上記予め設定した全身分類器に入力するためのものである。

【0015】

必要に応じて、上記第1の検出ユニットは、上記車輪共通特徴領域のサイズに基づいて、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択するためのものであり、上記の画像ウィンドウを選択することは、幅がw=2kr、長さがl=3kr、横方向の値の範囲が[x−6r，x+6r]、縦方向の値の範囲が[y-3r，y+3r]である画像ウィンドウを選択することを含み、ここで、kはスケーリング因子であり、kの値の範囲が1以上且つ3以下であり、rは上記車輪共通特徴領域の半径であり、x、yはそれぞれ上記共通特徴領域の中心座標である。

【発明の効果】

【0016】

従来の技術と比べると、本発明は、以下の利点がある。

【0017】

入力画像において車輪共通特徴が存在するかどうかを判断することにより、上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、選択した画像ウィンドウを予め設定した上半身分類器に入力して、上記画像ウィンドウを検出し検出結果を出力する。上記上半身分類器が広義的通行人の共通特徴によりトレーニングされて生成され、且つ入力画像において車輪共通特徴が存在する場合に、車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、選択した画像ウィンドウを上半身分類器に入力して検出し、上記選択した画像ウィンドウにおいて通行人上半身が存在する場合に搭乗者と判定すればよく、搭乗者サンプルを収集し、搭乗者の共通特徴を抽出し、搭乗者分類器をトレーニングする必要がないので、サンプルを収集する時間を低減させ、広義的通行人の検出効率を向上させることができる。

【0018】

さらに、上記入力画像をピラミッドサンプリング技術により前処理を行って、少なくとも二つのサイズが異なる画像を取得し、異なる解像度の画像を順に予め設定した全身分類器に入力して、入力画像において通行人全身が存在するかどうかを検出し、検出結果を出力することにより、広義的通行人検出の精度を効果的に向上させることができる。

【0019】

また、上記入力画像において車輪共通特徴が存在する場合に、上記車輪共通特徴が存在する領域を取得し、上記車輪共通特徴領域のサイズに基づいて、画像ウィンドウのサイズと位置を調整し、予め設定した広義的通行人上半身分類器で上記画像ウィンドウを検出することにより、さらに検出結果の精度を向上させることができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態における広義的通行人検出方法のアルゴリズムのフローチャートである。

【図2】本発明の実施の形態における広義的通行人の共通特徴である。

【図3】本発明の実施の形態における車輪共通特徴である。

【図4】本発明の実施の形態における他の広義的通行人検出方法のアルゴリズムのフローチャートである。

【図5】本発明の実施の形態における広義的通行人検出装置の構成模式図である。

【発明を実施するための最良の形態】

【0021】

従来の技術案において、自転車とオートバイの搭乗者を異なる対象と見なしている。搭乗者に対して、それぞれ、自転車搭乗者とオートバイ搭乗者のサンプルを収集して、自転車搭乗者のサンプルデータベースとオートバイ搭乗者のサンプルデータベースを作成し、搭乗者サンプルデータベースによりそれぞれ自転車搭乗者の特徴とオートバイ搭乗者の特徴を抽出し、抽出した特徴を用いて自転車搭乗者分類器とオートバイ搭乗者分類器をトレーニングして生成する必要がある。しかし、搭乗者の姿勢が多様性を有し且つ様々な型番、様々なタイプの自転車とオートバイがあるので、大量の搭乗者サンプルを収集して複雑で多様な特徴を抽出し、異なる分類器をトレーニングして、それぞれ、入力した画像を検出する必要がある。全体の方案が、サンプルを収集して、特徴を抽出し分類器をトレーニングするのに時間がかかるので、検出時間が長く、検出効率が低くなってしまう。

【0022】

入力画像において車輪共通特徴が存在するか否かを判断することにより、上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、選択した画像ウィンドウを予め設定した上半身分類器に入力し、上記画像ウィンドウを検出し、検出結果を出力する。上記上半身分類器は、広義的通行人の共通特徴によりトレーニングされて生成され、入力画像において車輪共通特徴が存在する場合に、車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、選択した画像ウィンドウを上半身分類器に入力して検出し、上記選択した画像ウィンドウにおいて通行人上半身が存在すると搭乗者であると判定し、搭乗者サンプルを収集し、搭乗者の共通特徴を抽出し、搭乗者分類器をトレーニングする必要がないので、サンプルを収集する時間を低減させ、広義的通行人の検出効率を向上させることができる。

【0023】

本発明の実施の形態の上記目的、特徴、利点を明らかにするために、以下図面を参照しながら、本発明の具体的実施例を詳細に説明する。

【0024】

本発明の実施の形態は、広義的通行人検出方法を提供し、図1を参照し、以下具体的方式により詳細に説明する。

【0025】

ステップS101において、入力画像を取得する。

【0026】

具体的実施において、入力画像は、予め取得したものであってもよく、予め設定した画像取得装置によりリアルタイムに取得するものであってもよく、例えばカメラなどによりリアルタイムに画像を取得してもよい。

【0027】

ステップS102において、上記入力画像において予め設定した車輪共通特徴が存在するか否かを判断し、上記入力画像において上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択する。

【0028】

具体的実施の形態において、車輪共通特徴は図3を参照することができ、なお、車輪共通特徴の円形特徴は301によって記述してもよく、301が円形であり、撮影角度に垂直な車輪の特徴と表現することができ、車輪共通特徴の楕円形特徴は302によって記述してもよく、302が楕円であり、撮影角度と一定の夾角を成す車輪の特徴と表現することができる。

【0029】

具体的実施の形態において、入力画像を取得した後に、まず、円形検出アルゴリズム又は楕円形検出アルゴリズムによって、入力画像を検出し、入力画像において円形又は楕円形が存在するか否かを判断することができる。例えば、まず、入力画像において縁を抽出し、hough変換、快速径方向対称アルゴリズムなどのアルゴリズムによって円形又は楕円形が存在するか否かを検出し、円形又は楕円形候補領域を確定し、透視投影原理と取得した画像装置のパラメータに基づいて、幾何学的制約を満足しない円形又は楕円形領域を除去し、残った円形又は楕円形領域に対して、その半径のサイズに基づいて、上記入力画像において画像ウィンドウを選択することができる。

【0030】

ステップS103において、上記選択した画像ウィンドウを、予め設定した上半身分類器に入力して、上記選択した画像ウィンドウにおいて通行人上半身が存在するかどうかを検出し、第1の検出結果を出力し、上記予め設定した上半身分類器は、予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴が人体共通特徴を含み、上記車輪共通特徴が円形特徴と楕円形特徴とを含む。

【0031】

具体的実施の形態において、上記第1の検出結果は、上記通行人上半身が存在する画像ウィンドウのサイズであってもよく、上記通行人上半身が存在する画像ウィンドウが上記入力画像での領域であってもよく、また、同時に上記した通行人上半身が存在する画像ウィンドウのサイズと上記入力画像での領域とを含んでもよい。

【0032】

具体的実施の形態において、上半身分類器が上記車輪共通特徴領域中心の左右側又は上側で選択された画像ウィンドウにおいて通行人上半身を含み、即ち、車輪上方又は左右側で通行人上半身が存在することを検出した場合に、上記入力画像に搭乗者があると認定する。

【0033】

具体的実施の形態において、上記人体共通特徴は、頭部特徴、肩部特徴、胴体特徴を含んでもよく、以下図2により上記人体共通特徴について詳細に説明する。

【0034】

具体的実施の形態において、上記頭部特徴は、第1の色で表す頭部領域と第2の色で表す背景領域に表してもよく、上記頭部領域と上記背景領域がともに長方形であり、図2において201で示すように、頭部領域を黒で示し、背景領域を白で示してもよく、頭部領域が白領域に位置し、頭部領域の下縁と背景領域の下縁とが重なる。上記第2の色領域の面積が上記第1の色領域の面積のN1倍であり、上記頭部特徴の特徴値がal=|bl-cl|となり、ここで、blは上記第2の色領域内の画素値の和であり、clはN1倍の上記第1の色領域内の画素値の和である。N1は正の値であって、N1の範囲は１より大きく3以下である。

【0035】

具体的実施の形態において、上記肩部特徴は、上記第1の色で表す肩部領域と上記第2の色で表す背景領域に表してもよく、上記肩部領域と上記背景領域とがともに長方形であり、図2において202で示すように、肩部領域を黒で示し、背景領域を白で示してもよく、肩部領域が背景領域の左下隅に位置し、且つ背景領域の左縁と下縁に重なり、又は上記背景領域の右下隅に位置し且つ上記背景領域の右縁と下縁に重なり、図2において203で示すように、肩部領域を黒で示し、背景領域を白で示してもよく、肩部領域が背景領域の右下隅に位置し且つ背景領域右縁と下縁に重なる。上記第2の色領域の面積は、上記第1の色領域の面積のN2倍であり、上記肩部特徴の特徴値がa2=|b2-c2|となり、ここで、b2は上記第2の色領域内の画素値の和であって、c2はN2倍の上記第1の色領域内の画素値の和であり、N2は正の値であり、N2の範囲は2より大きく4以下である。

【0036】

具体的実施の形態において、上記胴体特徴は、垂直胴体特徴と傾斜胴体特徴に表してもよい。ここで、垂直胴体特徴は、第1の垂直胴体特徴と第2の垂直胴体特徴を含むことができる。上記第1の垂直胴体特徴は、上記第1の色で表す上記第1の垂直胴体領域と上記第2の色で表す上記背景領域に表してもよく、上記第1の垂直胴体領域と上記背景領域とが同一長方形に位置し、図2において204で示すように、第1の垂直胴体領域を黒で示し、背景領域を白で示してもよく、第1の垂直胴体領域と背景領域とが同一長方形に位置し、垂直方向で背景領域の面積が第1の垂直胴体領域より大きい。上記第1の垂直胴体特徴の特徴値は、a3=|b3-c3|となって、ここで、b3は上記第2の色領域内の画素値の和であって、c3はN3倍の上記第1の色領域内の画素値の和であり、上記N3は正の値であり、N3の範囲は1より大きい。

【0037】

具体的実施の形態において、上記第2の垂直胴体特徴は、上記第1の色で表す上記第2の垂直胴体領域と上記第2の色で表す上記背景領域に表してもよく、上記第2の垂直胴体特徴と上記背景領域とがともに長方形であり、図2において205で示すように、第2の垂直胴体領域を黒で示し、背景領域を白で示してもよく、第2の垂直胴体領域と背景領域とが平行であり、第2の垂直胴体領域と背景領域との間にギャップがあり且つ両方の面積が等しい。上記第1の色領域と上記第2の色領域は、Ml個の画素を隔てて、上記第1の垂直胴体特徴の特徴値がa4=|b4-c4|となる。ここで、b4は上記第2の色領域内の画素値の和であり、c4は上記第1の色領域内の画素値の和であり、Mlの範囲は１以上且つ3以下である。

【0038】

具体的実施の形態において、上記傾斜胴体特徴は、上記第1の色で表す上記傾斜胴体領域と上記第2の色で表す上記背景領域に表してもよく、上記傾斜胴体領域と上記背景領域とがともに長方形であり、上記傾斜胴体領域と上記背景領域の傾斜角度が同じで、且つ上記背景領域が上記傾斜胴体領域左右側又は上側に位置し、図2において206と207で示すように、図2の206と207において、傾斜胴体領域を黒で示し、背景領域を白で示してもよく、背景領域が傾斜胴体領域の上側に位置し且つ傾斜胴体領域と平行である。上記第1の色領域と上記第2の色領域の面積とが等しく、上記第1の色領域と上記第2の色領域がM2個の画素を隔てて、上記傾斜胴体特徴の特徴値がa5=|b5-c5|となる。ここで、b5は上記第2の色領域内の画素値の和であり、c5は上記第1の色領域内の画素値の和であり、M2の範囲は１以上且つ3以下である。

【0039】

本発明の実施の形態において、図2に示すように、第1の色が黒であって、第2の色が白であってもよい。理解できるように、第1の色が黒色であって、第2の色が白であってもよく、上記人体共通特徴と背景との関係を満足すればよい。同様に、他の色を用いて第1の色と第2の色としてもよく、さらなる説明を要しない。

【0040】

本発明の実施の形態における方案を採用すると、入力画像において車輪共通特徴が存在するか否かを判断することにより、上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、選択した画像ウィンドウを予め設定した上半身分類器に入力して、上記画像ウィンドウを検出し検出結果を出力する。上記上半身分類器が広義的通行人の共通特徴によりトレーニングされて生成されることができ、入力画像において車輪共通特徴が存在する場合に、車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、選択した画像ウィンドウを上半身分類器に入力して検出し、上記選択した画像ウィンドウにおいて通行人上半身が存在すると、搭乗者と判定すればよく、搭乗者サンプルを収集し、搭乗者の共通特徴を抽出し、搭乗者分類器をトレーニングする必要がないので、サンプルを収集する時間を低減させ、広義的通行人の検出効率を向上させることができる。

【0041】

本発明実施の形態は、さらに他の広義的通行人検出方法を提供し、図4を参照しながら、以下で具体的ステップに詳細に説明する。

【0042】

ステップS401において、入力画像を取得する。

【0043】

ステップS402において、入力画像に対して前処理を行う。

【0044】

本発明実施の形態において、入力画像に対して前処理を行うことは、入力画像をピラミッド・ダウンサンプリングの技術により処理して、少なくとも二つの異なる解像度の画像を得て、異なる解像度の画像を、予め設定した全身分類器のトレーニングサンプルサイズと同じな複数の小窓画像に区分することであってもよい。他の技術を用いて入力画像に対して前処理を行ってもよく、前処理したイメージが予め設定した全身分類器に検出されることを満足すればよく、さらに説明を要しない。

【0045】

ステップS403において、小窓の画像を順に予め設定した全身分類器に入力する。

【0046】

本発明の実施の形態において、予め設定した全身分類器は以下の方式で取得でき、通行人サンプルデータベースを収集して、通行人サンプルデータベースに基づいて人体共通特徴を抽出し、人体共通特徴により全身分類器をトレーニングして生成する。

【0047】

ステップS404において、全身分類器は、入力した画像ウィンドウにおいて通行人全身が存在するか否かを検出し、第2の検出結果を出力する。

【0048】

ステップS404を実行した後に、入力画像において通行人全身が存在するか否かを得ることができる。

【0049】

本発明の実施の形態において、ステップS404で得られた第2の検出結果に対して更なる検出を行ってもよい。

【0050】

ステップS405において、予め設定した全身微細認識分類器を用いて、上記第2の検出結果に対して微細な認識を行う。

【0051】

本発明の実施の形態において、全身微細認識分類器は以下の方式で取得でき、全身通行人サンプルイメージと背景イメージを収集し、勾配方向ヒストグラム(Histogram of Oriented Gradient, HOG)特徴、ローカルバイナリパターン(Local Binary Pattern, LBP)特徴などにより、サポートベクターマシン(SupportVector Machine, SVM)分類器をトレーニングして生成でき、また、全身通行人の姿態に基づいて、異なる全身姿態分類器をトレーニングし、異なる全身姿態分類器を全身微細認識分類器として集成することもできる。

【0052】

本発明の実施の形態の方案を採用すると、上記入力画像をピラミッドサンプリング技術により前処理を行って、少なくとも二つのサイズが異なる画像を取得し、異なる解像度の画像を順に予め設定した全身分類器に入力して、入力画像において通行人全身が存在するか否かを検出し、検出結果を出力することにより、広義的通行人検出の精度を効果的に向上させることができる。

【0053】

本発明の実施の形態において、ステップS402〜ステップS405は、入力画像において通行人全身が存在するか否かを検出することができ、即ち、入力画像において歩いている通行人が存在するか否かを検出できる。具体的実施において、さらに、上記方案を拡張してもよく、以上の本発明の実施の形態における搭乗者検出方法と組み合わせてもよく、以下のステップを参照する。

【0054】

ステップS406において、入力画像において予め設定した車輪共通特徴が存在するかどうかを判断する。

【0055】

本発明の実施の形態において、予め設定した円形検出アルゴリズム又は楕円形検出アルゴリズムにより入力画像を検出して、入力画像において円形又は楕円形領域が存在するか否かを判断し、幾何学的制約を満足しない円形又は楕円形領域を除去し、残った円形又は楕円形領域を車輪共通特徴の位置する領域としてもよい。

【0056】

ステップS407において、入力画像に予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択する。

【0057】

本発明の実施の形態において、以下の過程により画像ウィンドウを選択することができ、即ち、幅がw=2kr、長さがl=3krである画像ウィンドウを選択し、ここで、kはケーリング因子であり、上記画像ウィンドウの横方向の値範囲は[x-6r，x+6r]であり、上記画像ウィンドウの縦方向の値範囲が[y-3r，y+3r]であり、なお、rは上記車輪共通特徴領域の半径であり、x、yはそれぞれ上記共通特徴領域の中心座標である。具体的実施の形態において、kの値範囲は、3≧k≧10であってもよい。

【0058】

本発明の実施の形態において、画像ウィンドウが横方向の値の範囲内でスライドしてもよく、縦方向の値の範囲内でスライドしてもよく、また、横方向の値の範囲内と縦方向の値の範囲内とで同時にスライドしてもよい。スライドのステップ幅が一つの画素であってもよく、二つの画素又は複数の画素であってもよく、実際のニーズに応じてスライドステップ幅を選択してもよい。

【0059】

ステップS408において、ステップS407で選択された画像ウィンドウを予め設定した上半身分類器に入力して、上記画像ウィンドウにおいて通行人上半身が存在するか否かを検出し、第1の検出結果を出力する。

【0060】

本発明の実施の形態において、上記画像ウィンドウにおいて通行人上半身が存在する場合に、入力画像において搭乗者が存在すると認定する。第1の検出結果は、通行人上半身が存在する画像ウィンドウのサイズであってもよく、通行人上半身が存在する画像ウィンドウが入力画像での領域であってもよく、通行人上半身が存在する画像ウィンドウのサイズと入力画像での領域を同時に含んでもよい。

【0061】

本発明実施例において、また、ステップS408で出力する第1の検出結果に対して更なる検出を行うことができる。

【0062】

ステップS409において、予め設定した上半身微細認識分類器により上記第1の検出結果に対して微細な認識を行う。

【0063】

本発明の実施の形態において、上半身微細認識分類器は、以下の方式で取得でき、上半身通行人サンプルイメージと背景イメージを収集し、HOG特徴、LBP特徴などにより上半身SVM分類器をトレーニングでき、また、上半身通行人の姿態に基づいて、異なる上半身姿態分類器をトレーニングし、異なる上半身姿態分類器を上半身微細認識分類器として集成することもできる。

【0064】

上記から理解できるように、ステップS401を実行した後に、まずステップS402〜ステップS405を実行してもよく、まずステップS406〜ステップS409を実行してもよく、また、同時にステップS402〜ステップS405とステップS406〜ステップS409を実行してもよい。

【0065】

本発明の実施の形態の方案を採用すると、上記入力画像において車輪共通特徴が存在する場合に、上記車輪共通特徴が存在する領域を取得し、上記車輪共通特徴領域のサイズに基づいて、画像ウィンドウのサイズと位置を調整し、予め設定した上半身分類器で上記画像ウィンドウを検出することにより、さらに、検出結果の精度を向上させることができる。

【0066】

図5を参照し、本発明の実施の形態は、さらに、取得ユニット501と、第1の検出ユニット502と、第2の検出ユニット503とを含む広義的通行人検出装置50を提供する。

【0067】

取得ユニット501は、入力画像を取得するためのものである。

【0068】

第1の検出ユニット502は、上記入力画像において予め設定した車輪共通特徴が存在するか否かを判断し、上記入力画像において上記予め設定した車輪共通特徴が存在する場合に、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択し、上記選択した画像ウィンドウを予め設定した上半身分類器に入力して、上記選択した画像ウィンドウにおいて通行人上半身が存在するかどうかを検出し、第1の検出結果を出力するためのものであり、上記予め設定した上半身分類器は、予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴が人体共通特徴を含み、上記車輪共通特徴が円形特徴と楕円形特徴を含む。

【0069】

具体的実施の形態において、第1の検出ユニット502は、判断サブユニット5021、画像ウィンドウ選択サブユニット5022、第1の検出サブユニット5023を含み、判断サブユニット5021は、上記入力画像において予め設定した車輪共通特徴が存在するか否を判断し、画像ウィンドウ選択サブユニット5022は、上記入力画像において上記予め設定した車輪共通特徴が存在する場合に、上記入力画像で画像ウィンドウを選択し、上記選択した画像ウィンドウを予め設定した上半身分類器に入力し、第1の検出サブユニット5023は、上記選択した画像ウィンドウにおいて通行人上半身が存在するか否かを検出し、第1の検出結果を出力する。

【0070】

具体的実施の形態において、上記画像ウィンドウ選択サブユニット5022は、上記車輪共通特徴領域のサイズに基づいて、上記車輪共通特徴領域中心の左右側又は上側で画像ウィンドウを選択するためのものである。

【0071】

具体的実施の形態において、上記画像ウィンドウ選択サブユニット5022は、幅がw=2kr、長さがl=3kr、横方向の値の範囲が[x-6r, x+6r]、縦方向の値の範囲が[y-3r, y+3r]である画像ウィンドウを選択するためのものであり、ここで、kがスケーリング因子であり、kの値の範囲は1以上且つ3以下であり、rは上記車輪共通特徴領域の半径であり、x、yはそれぞれ上記共通特徴領域の中心座標である。

【0072】

具体的実施の形態において、上記広義的通行人検出装置50は、上記入力画像に対して前処理を行って、上記前処理した画像を予め設定した全身分類器に入力して、上記前処理した画像において通行人全身が存在するかどうかを検出し、第2の検出結果を出力する第2の検出ユニット503をさらに含むことができ、上記予め設定した全身分類器は、予め設定した広義的通行人の共通特徴によりトレーニングされて生成され、上記広義的通行人共通特徴が人体共通特徴を含む。

【0073】

具体的実施の形態において、第2の検出ユニット503は、上記入力画像に対して前処理を行い、上記前処理した画像を予め設定した全身分類器に入力するための前処理サブユニット5031と、上記前処理サブユニット5031の入力した上記前処理した画像において通行人全身が存在するか否を検出し、第2の検出結果を出力するための第2の検出サブユニット5032とを含むことができる。

【0074】

具体的実施の形態において、上記前処理サブユニット5031は、上記入力画像をピラミッドダウンサンプリング技術により少なくとも二つの解像度が異なる画像を取得し、上記した異なる解像度の画像を、上記予め設定した全身分類器トレーニングサンプルのサイズと同じな複数の小窓画像に区分して、順に上記小窓の画像を上記予め設定した全身分類器に入力するためのものである。

【0075】

当業者は、上記実施例の様々な方法の全部又は一部のステップは、プログラムにより相関するハードウェアを指令して完成できることを理解すべきであり、当該プログラムが、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、記憶媒体がROM、RAM、磁気ディスク又は光ディスクなどを含んでもよい。

【0076】

本発明は以上のように開示されたが、本発明はこれに限られるものではない。当業者は、本発明から逸脱しない精神と範囲内で、いくつかの変更、修正を行うことができるので、本発明の保護範囲は、特許請求の範囲を基準とする。

【符号の説明】

【0077】

50 広義的通行人検出装置
501 取得ユニット
502 第1の検出ユニット
503 第2の検出ユニット
5021 判断サブユニット
5022 画像ウィンドウ選択ユニット
5023 第1の検出サブユニット
5031 前処理サブユニット
5032 第2の検出サブユニット

【図1】

【図4】

【図2】

【図3】

【図5】