特許第6863461号(P6863461)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
<>
  • 特許6863461-解析装置、解析方法及びプログラム 図000002
  • 特許6863461-解析装置、解析方法及びプログラム 図000003
  • 特許6863461-解析装置、解析方法及びプログラム 図000004
  • 特許6863461-解析装置、解析方法及びプログラム 図000005
  • 特許6863461-解析装置、解析方法及びプログラム 図000006
  • 特許6863461-解析装置、解析方法及びプログラム 図000007
  • 特許6863461-解析装置、解析方法及びプログラム 図000008
  • 特許6863461-解析装置、解析方法及びプログラム 図000009
  • 特許6863461-解析装置、解析方法及びプログラム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6863461
(24)【登録日】2021年4月5日
(45)【発行日】2021年4月21日
(54)【発明の名称】解析装置、解析方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20210412BHJP
【FI】
   G06T7/00 650Z
   G06T7/00 660A
【請求項の数】14
【全頁数】24
(21)【出願番号】特願2019-528334(P2019-528334)
(86)(22)【出願日】2017年10月23日
(86)【国際出願番号】JP2017038132
(87)【国際公開番号】WO2019008789
(87)【国際公開日】20190110
【審査請求日】2019年10月31日
(31)【優先権主張番号】特願2017-131088(P2017-131088)
(32)【優先日】2017年7月4日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】林 晴之
(72)【発明者】
【氏名】今井 悠介
【審査官】 松浦 功
(56)【参考文献】
【文献】 国際公開第2015/052896(WO,A1)
【文献】 特開2012−128862(JP,A)
【文献】 米国特許出願公開第2009/0309974(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
G08G 1/04
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
グループの数をカウントするカウント手段と、
を有し、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析装置。
【請求項2】
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
グループの数をカウントするカウント手段と、
を有し、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析装置。
【請求項3】
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
グループの数をカウントするカウント手段と、
を有し、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析装置。
【請求項4】
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
グループの数をカウントするカウント手段と、
を有し、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析装置。
【請求項5】
請求項1又は2に記載の解析装置において、
前記グループ化手段は、
前記第1の人を含む前記画像の撮影タイミングに基づき決定した前記画像に含まれる前記人の画像の特徴量と、前記第1の人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析装置。
【請求項6】
請求項1から5のいずれか1項に記載の解析装置において、
前記画像解析手段は、前記画像から人の顔を検出し、前記座標系における前記顔の座標を検出する解析装置。
【請求項7】
コンピュータが、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
グループの数をカウントするカウント工程と、
を実行し、
前記グループ化工程では、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析方法。
【請求項8】
コンピュータが、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
グループの数をカウントするカウント工程と、
を実行し、
前記グループ化工程では、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析方法。
【請求項9】
コンピュータが、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
グループの数をカウントするカウント工程と、
を実行し、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化工程では、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析方法。
【請求項10】
コンピュータが、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
グループの数をカウントするカウント工程と、
を実行し、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化工程では、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析方法。
【請求項11】
コンピュータを、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、及び、
グループの数をカウントするカウント手段、
として機能させ、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定するプログラム。
【請求項12】
コンピュータを、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、及び、
グループの数をカウントするカウント手段、
として機能させ、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定するプログラム。
【請求項13】
コンピュータを、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、及び、
グループの数をカウントするカウント手段、
として機能させ、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化するプログラム。
【請求項14】
コンピュータを、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、及び、
グループの数をカウントするカウント手段、
として機能させ、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解析装置、解析方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1及び2に、車両に乗車している人の数を検出する装置が開示されている。
【0003】
特許文献1には、車両を横から撮影した画像を解析して人物の横顔を検出し、検出結果に基づき車両に乗車している人の数を決定する装置が開示されている。
【0004】
特許文献2には、車両を連続的に撮影した複数の画像各々を解析して人物を検出し、各画像における車両の見え方に基づき検出した人各々が車内のどの座席に座っているかを推定し、人が座っていると判断された座席の数に基づき車両に乗車している人の数を決定する装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2014/061195号パンフレット
【特許文献2】国際公開第2014/064898号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、車両に乗車している人の数を検出する新たな技術を提供することを課題とする。
【課題を解決するための手段】
【0007】
本発明によれば、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
グループの数をカウントするカウント手段と、
を有し、
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析装置が提供される。
【0008】
また、本発明によれば、
コンピュータが、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
グループの数をカウントするカウント工程と、
を実行し、
前記グループ化工程では、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析方法が提供される。
【0009】
また、本発明によれば、
コンピュータを、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、及び、
グループの数をカウントするカウント手段、
として機能させ
前記グループ化手段は、
異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化し、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化し、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定するプログラムが提供される。
【発明の効果】
【0010】
本発明によれば、車両に乗車している人の数を検出する新たな技術が実現される。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
図1】本実施形態の解析装置のハードウエア構成の一例を示す図である。
図2】本実施形態の解析装置の機能ブロック図の一例である。
図3】本実施形態の画像の撮影方法の一例を説明するための図である。
図4】本実施形態の車両座標系の一例を説明するための図である。
図5】本実施形態の解析装置により生成されるデータの一例を模式的に示す図である。
図6】本実施形態の解析装置により生成されるデータの一例を模式的に示す図である。
図7】本実施形態の解析装置の処理の流れの一例を示すフローチャートである。
図8】本実施形態の解析装置の課題の一例を説明するための図である。
図9】本実施形態の解析装置により生成されるデータの一例を模式的に示す図である。
【発明を実施するための形態】
【0013】
<第1の実施形態>
まず、本実施形態の解析装置の概要を説明する。解析装置は、同一の車両を連続的に撮影した複数の画像各々の解析結果に基づき、その車両に乗車している人の数を検出する。
【0014】
まず、解析装置は、同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出する。また、解析装置は、検出した車両の所定箇所を基準とする座標系における複数の人各々の座標を検出する。そして、解析装置は、異なる画像から検出された人同士を、座標に基づきグループ化する。解析装置は、座標が近いもの同士でまとめてグループ化する。そして、解析装置は、グループの数をカウントし、グループの数を車両に乗車している人の数として出力する。
【0015】
以上説明した本実施形態の解析装置によれば、車両に乗車している人の数を検出する新たな技術が実現される。また、本実施形態の解析装置の場合、「検出した顔毎に、検出した車両の所定箇所を原点とした2次元座標系の座標を検出し、座標が近いもの同士をグループ化」すればよく、特許文献2に開示の技術のように「検出した人各々が座っている座席」を検出する必要がない。車両や車種によって車内における座席の位置は異なり、予め保持しておいた座席位置の情報を用いる場合には乗員人数検知の精度が十分でないことがあった。本実施形態の解析装置によれば、特許文献2に開示の技術に比べて乗員人数検知の精度が向上する。
【0016】
以下、解析装置の構成を詳細に説明する。まず、解析装置のハードウエア構成の一例について説明する。本実施形態の解析装置が備える各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0017】
図1は、本実施形態の解析装置のハードウエア構成を例示するブロック図である。図1に示すように、解析装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、解析装置は物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有してもよい。
【0018】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPUやGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等)、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0019】
次に、解析装置の機能構成を説明する。図2に解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、画像解析部11と、グループ化部12と、カウント部13とを有する。
【0020】
画像解析部11は、同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出する。なお、本実施形態では人の顔を検出する。そして、画像解析部11は、検出した車両の所定箇所を基準(例:原点)とした2次元座標系における検出した複数の顔各々の座標を検出する。以下、検出した車両の所定箇所を原点とした2次元座標系を「車両座標系」という場合がある。
【0021】
まず、画像解析部11により処理される複数の画像を生成する構成の一例を説明する。図3に示すように、車両が通過する道路沿いにセンサ101及びカメラ102を設置する。
【0022】
センサ101は、道路上の所定位置を車両が通過したことを検出する。このような検出を実現できるセンサ101であればよく、詳細は制限されない。例えば、センサ101は、光(例:レーザ)を所定方向(例:図示する矢印の方向)に放出する手段、及び、その反射光を受光する手段を備えてもよい。そして、反射光の受光具合に基づき放出した光の進行を妨げる障害物の存在を検出することで、車両の通過を検出してもよい。その他、重量センサ等で所定位置を車両が通過したことを検出してもよい。センサ101は、道路上の所定位置を車両が通過したことを検出すると、その旨を示す信号をカメラ102に入力する。
【0023】
カメラ102は、センサ101により車両の通過を検出されると、それに応じて撮影する。例えば、カメラ102は、センサ101による検出に応じて所定数の静止画を連続撮影(例:1秒間に数十枚からは百枚程度)し、複数の静止画ファイルを生成してもよい。その他、カメラ102は、センサ101による検出に応じて所定の撮影時間の間、動画像を撮影し、複数のフレームからなる動画ファイルを生成してもよい。上記所定数及び所定の撮影時間は、予め、カメラ102のスペック、車両の移動速度等に応じて任意に定めることができる。カメラ102の位置及び向きは、センサ101による検出に応じた撮影で、センサ101により検出された車両を撮影するよう設定されている。
【0024】
カメラ102により生成された画像ファイルは、リアルタイム処理又はバッチ処理で、解析装置10に入力される。解析装置10とカメラ102は任意の通信手段で通信可能に構成されてもよい。
【0025】
図2に戻り、画像解析部11は、同一の車両を撮影した複数の画像を処理対象とし、複数の画像各々から車両及び人の顔を検出する。例えば、センサ101による1回の検出に応じて、カメラ102が撮影した所定数の静止画、又は、所定の撮影時間分の動画を、処理対象とすることができる。
【0026】
車両及び人の顔の検出は、テンプレートマッチングで実現してもよい。また、多数の画像を用いた機械学習で構築した検出器で実現してもよい。検出器としては、例えば、SVM(サポートベクターマシン)、LDA(線形判別分析)、GLVQ(一般化学習ベクトル量子化)、ニューラルネットワーク等を利用できる。
【0027】
なお、検出する人の顔は、検出した車両内にいる人の顔、すなわち検出した車両の輪郭より内側に存在する顔とすることができる。このようにすることで、車両に乗車している人の顔のみを検出し、車外にいる例えば通行人や交通誘導員等の人の顔を検出対象から除外できる。
【0028】
複数の画像各々から車両を検出した後、画像解析部11は、検出した車両の所定箇所及び所定方向を複数の画像各々から検出する。そして、検出した所定箇所を原点、検出した所定方向をx軸方向及びy軸方向とした2次元座標系(車両座標系)を画像毎に定める。
【0029】
所定箇所及び所定方向の一例を説明するがこれに限定されない。図4に、1つの画像Fに設定された車両座標系の一例を示す。図示する例では、車両のボディーのうしろに取り付けられたバンパーの後方端部を所定箇所とし、車両の前後方向及び高さ方向を所定方向としている。そして、バンパーの後方端部を原点とし、車両の前後方向をx軸とし、高さ方向をy軸とした車両座標系が定められている。
【0030】
画像毎に車両座標系を設定した後、画像解析部11は、各画像から検出した人の顔の座標を検出する。本実施形態では、人の顔の検出の仕方に応じた方法で、複数の顔各々の座標を求めることができる。
【0031】
例えば、人の顔の検出処理において、図4に示すように人の顔が存在するエリアBが検出される場合、このエリアBの代表点(例:中心、右上、左上、右下、左下等)を、そのエリアBに存在する顔の座標として求めることができる。その他、人の顔の検出処理において、人の目、鼻、口等が検出される場合、目、鼻、口の座標(例:目、鼻、口が占めるエリアの代表座標)を、その目、鼻、口を有する顔の座標として求めることができる。
【0032】
画像解析部11による上記画像解析により、図5に示すような解析結果が得られる。図5では、複数の画像から検出された複数の顔各々を識別する「顔ID(identifier)」と、複数の顔各々の車両座標系における「座標」と、各顔が検出された画像を識別する「フレームID」とが互いに対応付けられている。
【0033】
同じ人の顔が複数の画像に跨って存在する場合、複数の画像から検出された同じ人の顔各々に対して異なる顔IDが付される。以下で説明するグループ化部12は、同じ人の顔に対して付された複数の顔IDをグループ化する。
【0034】
図2に戻り、グループ化部12は、複数の画像から検出された複数の人を、車両座標系の座標に基づきグループ化する。本実施形態では、グループ化部12は、複数の画像から検出された複数の顔を、車両座標系の座標に基づきグループ化する。
【0035】
グループ化部12は、異なる画像から検出された人同士を、座標に基づきグループ化する。グループ化部12は、車両座標系の座標が近いもの同士でまとめてグループ化する。例えば、グループ化部12は、複数の画像から検出された複数の顔を、座標間の距離を用いてグループ化することができる。結果、例えば図6に示すようなデータが得られる。得られたデータは、メモリ等の記憶媒体に記憶されても良い。図6に示すデータでは、画像解析部11により検出された複数の顔各々に、各々が属するグループのIDが対応付けられている。また、車両座標系の座標が近い顔の顔IDには同一のグループIDが対応付けられている。以下、グループ化の方法を例示するが、他の方法でグループ化を行ってもよい。
【0036】
「方法1」
グループ化部12は、処理対象の複数の画像の中の最初の処理対象(例:一番初めに撮影された画像)である第1の画像から検出された1つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第1の画像から検出された各々の顔の顔IDに異なるグループIDを対応付けてメモリ等の記憶媒体に記憶させる。第1の画像からM個(Mは1以上の整数)の顔が検出された場合、グループ化部12はM個のグループを生成し、各グループにM個の顔各々を属させる。例えば、M個の新たなグループIDを生成し、第1の画像から検出されたM個の顔各々のIDに異なるグループIDを対応付ける(図6参照)。
【0037】
その後、グループ化部12は、第1の画像から検出された1つ又は複数の顔各々の座標と、その直後に撮影された第2の画像から検出された1つ又は複数の顔各々の座標との距離を算出する。そして、グループ化部12は、算出した距離と所定値との比較に応じて比較対象の2つの人の顔を同じグループに属させる。例えば、グループ化部12は、算出した距離が所定値未満であるとの距離条件を満たす場合、処理対象の2つの顔を同じグループに属させる。所定値は予め任意に定めることができる。
【0038】
例えば、第2の画像から検出された第2−1の顔の座標と、第1の画像から検出された第1−1の顔の座標との距離が上記距離条件を満たす場合、グループ化部12は、第2−1の顔を第1−1の顔と同じグループに属させる。例えば、第1−1の顔の顔IDと第2−1の顔の顔IDに同じグループIDを対応付ける(図6参照)。
【0039】
また、第2の画像から検出された第2−2の顔が、第1の画像から検出されたいずれの顔とも上記距離条件を満たさない場合、グループ化部12は、新たなグループを生成し、第2−2の顔をそのグループに属させる。例えば、新たなグループIDを生成し、第2−2の顔の顔IDにそのグループIDを対応付ける(図6参照)。
【0040】
グループ化部12は、上記処理を、第Nの画像とその直後に撮影された第N+1の画像とからなるすべてのペアに対して行い、複数の顔をグループ化する。
【0041】
「方法2」
グループ化部12は、処理対象の複数の画像の中の最初の処理対象(例:一番初めに撮影された画像)である第1の画像から検出された1つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第1の画像から検出された各々の顔の顔IDに異なるグループIDを対応付けてメモリ等の記憶媒体に記憶させる。第1の画像からM個(Mは1以上の整数)の顔が検出された場合、グループ化部12はM個のグループを生成し、各グループにM個の顔各々を属させる。例えば、M個の新たなグループIDを生成し、第1の画像から検出されたM個の顔各々のIDに異なるグループIDを対応付ける(図6参照)。
【0042】
その後、グループ化部12は、車両座標系の座標に基づき、第1の画像から検出された1つ又は複数の顔各々と、その直後に撮影された第2の画像から検出された1つ又は複数の顔各々とのx軸方向の距離及びy軸方向の距離を算出する。そして、グループ化部12は、「x軸方向の距離が第1の所定値未満、かつ、y軸方向の距離が第2の所定値未満」の距離条件を満たす2つの顔を同じグループに属させる。すなわち、グループ化部12は、距離条件を満たす場合、処理対象の2つの顔を同じグループに属させる。第1の所定値及び第2の所定値は予め任意に定めることができる。
【0043】
例えば、第2の画像から検出された第2−1の顔と、第1の画像から検出された第1−1の顔とが上記距離条件を満たす場合、グループ化部12は、第2−1の顔を第1−1の顔と同じグループに属させる。例えば、第1−1の顔の顔IDと第2−1の顔の顔IDに同じグループIDを対応付ける(図6参照)。
【0044】
また、第2の画像から検出された第2−2の顔が、第1の画像から検出されたいずれの顔とも上記距離条件を満たさない場合、グループ化部12は、新たなグループを生成し、第2−2の顔をそのグループに属させる。例えば、新たなグループIDを生成し、第2−2の顔の顔IDにそのグループIDを対応付ける(図6参照)。
【0045】
グループ化部12は、上記処理を、第Nの画像とその直後に撮影された第N+1の画像とからなるすべてのペアに対して行い、複数の顔をグループ化する。
【0046】
「方法3」
グループ化部12は、処理対象の複数の画像の中の最初の処理対象(例:一番初めに撮影された画像)である第1の画像から検出された1つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第1の画像から検出された各々の顔の顔IDに異なるグループIDを対応付けてメモリ等の記憶媒体に記憶させる。第1の画像からM個(Mは1以上の整数)の顔が検出された場合、グループ化部12はM個のグループを生成し、各グループにM個の顔各々を属させる。例えば、M個の新たなグループIDを生成し、第1の画像から検出されたM個の顔各々のIDに異なるグループIDを対応付ける(図6参照)。
【0047】
そして、グループ化部12は、グループ毎に代表座標を決定する。メンバの数が1の当該タイミングでは、例えばメンバの座標を各グループの代表座標とする。メンバは、各グループに属する顔であり、すなわち各グループIDを対応付けられている顔IDで特定される顔である。そして、同じグループIDを対応付けられている顔IDの数がメンバの数である。メンバの座標は、各顔の車両座標系の座標である。
【0048】
その後、グループ化部12は、複数のグループ各々の代表座標と、グループに属していない人の座標との距離を算出する。すなわち、グループ化部12は、第1の画像の直後に撮影された第2の画像から検出された1つ又は複数の顔各々と、M個のグループ各々の代表座標との距離を算出する。そして、グループ化部12は、算出した距離と所定値との比較に応じて、グループに属していない顔を所定のグループに属させる。すなわち、グループ化部12は、第2の画像から検出された1つ又は複数の顔各々を、「距離が所定値未満」の距離条件を満たすグループに属させる。例えば、第2の画像から検出された1つ又は複数の顔各々の顔IDに、距離条件を満たすグループのグループIDを対応付ける(図6参照)。所定値は予め任意に定めることができる。
【0049】
その後、グループ化部12は、新たなメンバが加わったグループの代表座標を決定し直す。複数のメンバがいる場合の代表座標の決定の仕方としては、例えば、複数のメンバのx座標の統計値(例:平均)を代表座標のx座標とし、複数のメンバのy座標の統計値(例:平均)を代表座標のy座標とする例が挙げられるが、これに限定されない。
【0050】
なお、距離条件を満たすグループがない場合、グループ化部12は、第2の画像から検出されたその顔に対応して新たなグループを生成し、その顔をそのグループに属させる。例えば、新たなグループIDを生成し、その顔の顔IDにそのグループIDを対応付ける(図6参照)。また、グループ化部12は、その顔の座標をそのグループの代表座標とする。
【0051】
グループ化部12は、上記処理を処理対象の複数の画像すべてに対して行い、複数の顔をグループ化する。
【0052】
このように、グループ化部12は、車両座標系の座標に基づき、1つ又は複数の顔が属する複数のグループ各々の代表座標と、グループに属していない顔との距離を算出し、グループに属していない顔を、「距離が所定値未満」の距離条件を満たすグループに属させることができる。
【0053】
「方法4」
グループ化部12は、処理対象の複数の画像の中の最初の処理対象(例:一番初めに撮影された画像)である第1の画像から検出された1つ又は複数の顔各々を、互いに異なるグループに属させる。例えば第1の画像から検出された各々の顔の顔IDに異なるグループIDを対応付けてメモリ等の記憶媒体に記憶させる。第1の画像からM個(Mは1以上の整数)の顔が検出された場合、グループ化部12はM個のグループを生成し、各グループにM個の顔各々を属させる。例えば、M個の新たなグループIDを生成し、第1の画像から検出されたM個の顔各々のIDに異なるグループIDを対応付ける(図6参照)。
【0054】
そして、グループ化部12は、グループ毎に代表座標を決定する。メンバの数が1の当該タイミングでは、例えばメンバの座標を各グループの代表座標とする。
【0055】
その後、グループ化部12は、複数のグループ各々の代表座標と、グループに属していない人の座標との距離を算出する。すなわち、グループ化部12は、第1の画像の直後に撮影された第2の画像から検出された1つ又は複数の顔各々と、M個のグループ各々の代表座標とのx軸方向の距離及びy軸方向の距離を算出する。そして、グループ化部12は、第2の画像から検出された1つ又は複数の顔各々を、「x軸方向の距離が第1の所定値未満、かつ、y軸方向の距離が第2の所定値未満」の距離条件を満たすグループに属させる。例えば、第2の画像から検出された1つ又は複数の顔各々の顔IDに、距離条件を満たすグループのグループIDを対応付ける(図6参照)。第1の所定値及び第2の所定値は予め任意に定めることができる。
【0056】
その後、グループ化部12は、新たなメンバが加わったグループの代表座標を決定し直す。複数のメンバがいる場合の代表座標の決定の仕方としては、例えば、複数のメンバのx座標の統計値(例:平均)を代表座標のx座標とし、複数のメンバのy座標の統計値(例:平均)を代表座標のy座標とする例が挙げられるが、これに限定されない。
【0057】
なお、距離条件を満たすグループがない場合、グループ化部12は、第2の画像から検出されたその顔に対応して新たなグループを生成し、その顔をそのグループに属させる。例えば、新たなグループIDを生成し、その顔の顔IDにそのグループIDを対応付ける(図6参照)。また、グループ化部12は、その顔の座標をそのグループの代表座標とする。
【0058】
グループ化部12は、上記処理を処理対象の複数の画像すべてに対して行い、複数の顔をグループ化する。
【0059】
このように、グループ化部12は、車両座標系の座標に基づき、1つ又は複数の顔が属する複数のグループ各々の代表座標と、グループに属していない顔とのx軸方向の距離及びy軸方向の距離を算出し、グループに属していない顔を、「x軸方向の距離が第1の所定値未満、かつ、y軸方向の距離が第2の所定値未満」の距離条件を満たすグループに属させることができる。
【0060】
図2に戻り、カウント部13は、グループの数をカウントする。例えば、図6のようなデータを用いて、グループIDの数をカウントする。解析装置10は、グループの数を、車両に乗車している人の数として出力する。例えば、解析装置10は、カウント数を画像等と対応付けて記憶装置に記憶する。
【0061】
その後、解析装置10は、ユーザ操作に応じて、乗車している人の数が所定条件(例:2人以上、3人以上、4人以上等)を満たさない車両を撮影した画像を上記記憶装置から抽出し、出力してもよい。
【0062】
次に、図7のフローチャートを用いて、本実施形態の解析装置10の処理の流れの一例を説明する。
【0063】
S11の画像解析工程で、画像解析部11は、同一の車両を異なる方向から複数回撮影することで得られた複数の画像を処理対象とし、複数の画像各々から車両の所定箇所及び人(例:顔)を検出する。そして、画像解析部11は、検出した車両の所定箇所を基準(例:原点)とする座標系(車両座標系)における複数の人各々の座標(例:複数の顔各々の座標)を検出する。複数の画像は、例えば、図3に示すカメラ102により撮影された画像であって、センサ101による1回の検出に応じてカメラ102に連続的に撮影された画像である。
【0064】
S12のグループ化工程では、グループ化部12は、異なる画像から検出された人同士(例:顔同士)を、車両座標系の座標に基づきグループ化する。グループ化部12は、車両座標系の座標が近いもの同士でまとめてグループ化する。これにより、複数の画像に跨って存在する同一人物の顔がグループ化される。
【0065】
S13のカウント工程では、カウント部13は、グループの数をカウントする。解析装置10は、グループの数を、車両に乗車している人の数として出力する。例えば、解析装置10は、カウント数を画像等と対応付けて記憶する。
【0066】
次に、本実施形態の作用効果を説明する。
【0067】
本実施形態の解析装置10によれば、複数の画像各々の解析結果に基づき、検出結果(乗車人数)を決定することができる。
【0068】
例えば、車両に人物A、B及びCの3人が乗車している場合であっても、第1のタイミングで撮影された第1の画像には、人物Aが障害物(車両の一部、他の乗員等)に隠れて画像に含まれない場合がある。しかし、異なるタイミングで撮影された際には、車両が移動し、カメラと人物Aと障害物との位置関係が変わる結果、第1のタイミングに含まれていなかった人物Aが画像に含まれる場合がある。
【0069】
本実施形態の解析装置10によれば、カメラと人と障害物との位置関係により乗員の少なくとも一部が特定の画像に含まれない場合でも、複数の画像の解析結果に基づき検出結果を決定することで車両に乗っている全ての人物をカウントできる可能性が高まる。結果、検出精度が向上する。
【0070】
また、本実施形態の解析装置10の場合、「検出した顔毎に、検出した車両の所定箇所を原点とした車両座標系の座標を検出し、座標が近いもの同士をグループ化」すればよく、特許文献2に開示の技術のように「検出した人各々が座っている座席」を検出する必要がない。車両や車種によって車内における座席の位置は異なり、予め保持しておいた座席位置の情報を用いる場合には乗員人数検知の精度が十分でないことがあった。本実施形態の解析装置によれば、特許文献2に開示の技術に比べて乗員人数検知の精度が向上する。
【0071】
<第2の実施形態>
本実施形態の解析装置10は、画像解析部11及びグループ化部12の機能構成が第1の実施形態と異なる。以下、説明する。
【0072】
解析装置10のハードウエア構成は、第1の実施形態と同様である。
【0073】
図2に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、画像解析部11と、グループ化部12と、カウント部13とを有する。カウント部13の構成は、第1の実施形態と同様である。
【0074】
画像解析部11は、画像に含まれる人の顔の画像の特徴量を抽出する機能を有する。「画像に含まれる人」は、画像解析で画像から検出された人を意味する。
【0075】
グループ化部12は、距離条件に基づき決定される所属先のグループが複数存在する人(以下、「第1の人」という場合がある)がある場合、第1の人の顔(以下、「第1の顔」という場合がある)の画像の特徴量と、グループ各々に属する顔の画像の特徴量とに基づき、第1の顔を属させるグループを決定する。すなわち、第1の人は、距離と所定値との比較に基づいた場合に複数のグループに属する人である。
【0076】
まず、第1の実施形態で説明した方法1及び2でグループ化処理を行う場合について説明する。
【0077】
方法1及び2では、グループ化部12は、第2の画像から検出された1つ又は複数の顔各々を、直前の第1の画像から検出された1つ又は複数の顔の中の上記距離条件を満たすものと同じグループに属させる。
【0078】
第2の画像から検出された1つの顔に対して上記距離条件を満たす顔(第1の画像から検出された顔)が複数ある場合、第2の画像から検出されたその顔は第1の顔となる。この場合、グループ化部12は、顔の画像の特徴量に基づき、第1の顔を所属させるグループを決定する。
【0079】
例えば、第2の画像から検出された第2−1の顔は、第1の画像から検出された第1−1の顔及び第1−2の顔の2つと上記距離条件を満たすとする。この場合、画像解析部11は、第1−1の顔、第1−2の顔、及び、第2−1の顔各々の画像の特徴量を抽出する。そして、グループ化部12は、第2−1の顔の画像の特徴量と第1−1の顔の画像の特徴量とを照合する。同様に、グループ化部12は、第2−1の顔の画像の特徴量と第1−2の顔の画像の特徴量とを照合する。
【0080】
そして、グループ化部12は、第2−1の顔を、第1−1の顔及び第1−2の顔のうちの例えばより類似している方と同じグループに属させる。つまり、照合の結果、第2−1の顔の画像の特徴量との類似度が高い方の顔と同じグループに属させる。例えば、第2−1の顔の画像の特徴量との類似度が高い方の顔が第1−1の顔である場合、第1−1の顔の顔IDと、第2−1の顔の顔IDとに同じグループIDを対応付ける(図6参照)。
【0081】
なお、グループ化部12は、第1−1の顔及び第1−2の顔のいずれも、第2−1の顔との類似度が所定の閾値を超えない場合、第2−1の顔を新たなグループに属させてもよい。すなわち、第2−1の顔を、第1−1の顔及び第1−2の顔両方と異なるグループに属させてもよい。例えば、グループ化部12は、新たなグループIDを生成し、第2−1の顔の顔IDにそのグループIDを対応付ける(図6参照)。
【0082】
このように、画像解析部11は、第1の顔が存在する場合、当該第1の顔、及び、当該第1の顔との間で上記距離条件を満たす複数の顔各々の画像の特徴量を抽出する。なお、画像解析部11は、その他の顔の画像の特徴量を抽出しなくてもよい。そして、グループ化部12は、顔の画像の特徴量の類似度に基づき第1の顔をいずれかのグループに属させるか否かを決定する。
【0083】
次に、第1の実施形態で説明した方法3及び4でグループ化処理を行う場合について説明する。
【0084】
方法3及び4では、グループ化部12は、ある画像から検出された1つ又は複数の顔各々を、その時点で存在する複数のグループの中の代表座標との間で上記距離条件を満たすグループに属させる。
【0085】
そして、ある画像から検出された1つの顔に対して上記距離条件を満たすグループが複数ある場合、その画像から検出されたその顔は第1の顔となる。この場合、グループ化部12は、顔の画像の特徴量に基づき、第1の顔を属させるグループを決定する。具体的には、グループ化部12は、第1の顔との間で上記距離条件を満たす複数のグループの中の、メンバの顔が第1の顔と最も類似しているグループに、第1の顔を属させる。
【0086】
なお、第1の顔との間で上記距離条件を満たす複数のグループが複数のメンバを有する場合、グループ化部12は、そのグループの中から代表メンバを決定し、決定した代表メンバと第1の顔との間で類似度を判断することができる。グループ化部12は、第1の人を含む画像の撮影タイミングに基づき代表メンバを決定することができる。例えば、グループ化部12は、複数のメンバの中の、第1の顔を含む画像に撮影タイミングが最も近い画像に含まれるメンバを、代表メンバとしてもよい。その他、第1の人を含む画像の撮影タイミングから所定時間以内に撮影された画像に含まれるメンバや、第1の人を含む画像から所定フレーム数以内に撮影された画像に含まれるメンバ等を、代表メンバとしてもよい。
【0087】
所定時間及び所定フレーム数は、小さい方が好ましい。撮影タイミングが近い場合、同じ向き、同じ表情等で撮影されている可能性が高い。このため、同一人物か否かを精度よく判断できる。
【0088】
画像解析部11及びグループ化部12のその他の構成は、第1の実施形態と同様である。
【0089】
以上説明した本実施形態の解析装置10によれば、第1の実施形態と同様の作用効果を実現できる。
【0090】
また、本実施形態の解析装置10によれば、複数の画像に跨る同一人物をグループ化する処理において、距離条件に基づき属させるグループを決定できない顔(第1の顔)が存在する場合、顔の画像の特徴量に基づきその顔を属させるグループを決定することができる。
【0091】
すなわち、本実施形態の解析装置10によれば、距離条件を優先的に利用して複数の画像に跨る同一人物をグループ化し、距離条件で決定できない場合のみ顔の画像の特徴量を利用する。このような本実施形態の解析装置10は、距離条件を利用せず、顔の画像の特徴量のみでグループ化する処理に比べて、コンピュータの処理負担を軽減できる。また、顔の画像の特徴量を利用せず、距離条件のみでグループ化する処理に比べて、グループ化の精度が向上する。
【0092】
また、本実施形態の解析装置10によれば、上記方法1乃至4いずれでグループ化する場合であっても、第1の顔と画像が類似するか否かを判断する処理を、第1の顔を含む画像と撮影タイミングが近い画像に含まれる顔との間で行うことができる。撮影タイミングが近い場合、撮影タイミングが離れている場合に比べて、顔の向きや表情などが同じ又はあまり変化していない可能性が高い。このため、精度よく、第1の顔と画像が類似する顔が属するグループを検出し、そのグループに第1の顔を属させることができる。
【0093】
<第3の実施形態>
まず、本実施形態の解析装置10が解決する課題を説明する。解析装置10により処理される画像は、図3に示すように車両の横から撮影されたものである。斜め前方から撮影してもよいし、真横から撮影してもよいし、斜め後方から撮影してもよい。カメラの光軸の向きを調整することで、撮影向きを調整できる。
【0094】
本実施形態では、カメラの向きを固定して移動する車両を撮影する。このため、画像毎に、撮影タイミングにおけるカメラの光軸と車両との相対的な関係が変化していく。そして、車両内で横に並んだ2人(例:運転席と助手席、又は、後部座席の隣同士等)の画像内の横方向の間隔が、画像毎に異なって見える。
【0095】
図8を用いて一例を説明する。図8は、連続的に撮影された3枚の画像Fを示す。矢印で撮影順を示している。当該図では、車両内で横に並んだ2人(人物A1及びA2)の画像における写り方の遷移を示す。図では、当該2人の顔のみを抽出して示して、車両等のその他を省略している。なお、車両の進行方向は、図の左から右方向である。画像内における人物A1及びA2の位置(車両の位置)は、図示するように左から右に移る((1)→(2)→(3))。
【0096】
図8は、車両の斜め前方から撮影した場合の例である。斜め前方から撮影する場合、連続的に撮影している間(画像に車両が含まれる間)の車両とカメラの位置関係は、時間経過とともに互いに近づくこととなる。これに伴い、人物A1及びA2の画像内の横方向の間隔Dxは徐々に小さくなる。
【0097】
図示しないが、車両の斜め後方から撮影した場合、撮影している間(画像に車両が含まれる間)の車両とカメラの位置関係は、時間経過とともに互いに遠ざかることとなる。これに伴い、車両内で横に並んだ人物A1及びA2の画像内の横方向の間隔Dxは徐々に大きくなる。
【0098】
また、図示しないが、車両の横から撮影した場合、撮影している間(画像に車両が含まれる間)の車両とカメラの位置関係は、時間経過とともに互いに近づき、その後、遠ざかることとなる。これに伴い、車両内で横に並んだ人物A1及びA2の画像内の横方向の間隔Dxは徐々に小さくなり、その後、徐々に大きくなる。
【0099】
なお、車両の斜め前方や斜め後方から撮影する場合であっても、カメラの光軸の向き等の設定の仕方によっては、撮影している間(画像に車両が含まれる間)の車両とカメラの位置関係は、時間経過とともに互いに近づき、その後、遠ざかる場合もある。そして、車両内で横に並んだ人物A1及びA2の画像内の横方向の間隔Dxは徐々に小さくなり、その後、徐々に大きくなる。
【0100】
本実施形態の解析装置10は、上述のような現象を考慮した処理を行うことで、距離条件に基づき複数の画像に跨る同一人物をグループ化する処理の精度を向上させる。
【0101】
解析装置10のハードウエア構成は、第1及び第2の実施形態と同様である。
【0102】
図2に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、画像解析部11と、グループ化部12と、カウント部13とを有する。カウント部13の構成は、第1及び第2の実施形態と同様である。
【0103】
画像解析部11は、画像から検出した複数の人(例:顔)各々の画像内における位置を検出する。例えば、画像解析部11は、画像の任意の位置(例:左下)を原点とし、任意の方向(例:横方向及び縦方向)をx軸及びy軸とした2次元座標系における複数の顔各々の座標を検出する。本実施形態の画像解析部11による画像解析により、図9に示すような解析結果が得られる。図9の解析結果は、第1の実施形態で説明した図5の解析結果に対し、各顔のフレーム内の位置を示す「フレーム内座標」を有する点で異なる。
【0104】
グループ化部12は、複数の画像から検出された複数の人(例:顔)各々の車両座標系の座標を人(例:顔)各々の画像内における位置(フレーム内座標)に基づき補正し、補正後の座標に基づき複数の人(例:顔)をグループ化する。以下、説明する。
【0105】
まず、グループ化部12は、1つの画像から検出した顔の中に、互いのx軸方向の距離(画像の横方向)が所定値以下の顔のペアが存在するか判断する。存在する場合、そのペアに含まれる2つの顔の車両座標系のx座標(車両の前後方向の座標)を、その2つの顔の画像内における位置に基づき補正する。なお、所定値は予め任意に定めることができる。
【0106】
補正内容は、その2つの顔のフレーム内座標のx座標(画像の横方向の位置)の代表値(例:平均)に応じたものとなる。
【0107】
2つの顔のフレーム内座標のx座標の代表値が、「上記間隔Dxが相対的に大きく見える画像内の位置」を示している場合、間隔Dxが小さくなるように、車両座標系のx座標を補正する。例えば、一方の顔(xの値が小さい方)の車両座標系のx座標に所定値を加え、他方の顔(xの値が大きい方)の車両座標系のx座標から所定値を減らす。所定値は、フレーム内座標のx座標の代表値に応じたものとすることができる。
【0108】
また、フレーム内座標のx座標の代表値が、「上記間隔Dxが相対的に小さく見える画像内の位置」を示している場合、間隔Dxが大きくなるように、車両座標系のx座標を補正する。例えば、一方の顔(xの値が小さい方)の車両座標系のx座標から所定値を減らし、他方の顔(xの値が大きい方)の車両座標系のx座標に所定値を加える。所定値は、フレーム内座標のx座標の代表値に応じたものとすることができる。
【0109】
例えば、グループ化部12は、予め、フレーム内座標のx座標の代表値に応じて補正内容を定めた補正情報を保持しておいてもよい。そして、グループ化部12は、補正情報を利用して補正内容を決定し、決定した補正を行ってもよい。
【0110】
補正後の車両座標系の座標に基づき複数の顔をグループ化する処理は、第1及び第2の実施形態で説明した車両座標系の座標に基づき複数の顔をグループ化する処理と同様である。また、画像解析部11及びグループ化部12のその他の構成は、第1及び第2の実施形態と同様である。
【0111】
以上説明した本実施形態の解析装置10によれば、第1及び第2の実施形態と同様の作用効果を実現できる。また、本実施形態の解析装置10によれば、図8を用いて説明した上述のような現象を考慮した処理を行うことで、距離条件に基づき複数の画像に跨る同一人物をグループ化する処理の精度を向上させることができる。
【0112】
<第4の実施形態>
本実施形態の解析装置10は、第3の実施形態と同じ課題を異なる手段で解決する。以下、説明する。
【0113】
解析装置10のハードウエア構成は、第1乃至第3の実施形態と同様である。
【0114】
図2に、本実施形態の解析装置10の機能ブロック図の一例を示す。図示するように、解析装置10は、画像解析部11と、グループ化部12と、カウント部13とを有する。画像解析部11及びカウント部13の構成は、第1及び第2の実施形態と同様である。
【0115】
グループ化部12は、第1の実施形態で説明した方法2で、画像から検出した複数の顔をグループ化する。すなわち、グループ化部12は、車両座標系の座標に基づき、第1の画像から検出された1つ又は複数の顔各々と、その直後に撮影された第2の画像から検出された1つ又は複数の顔各々とのx軸方向の距離及びy軸方向の距離を算出し、「x軸方向の距離が第1の所定値未満、かつ、y軸方向の距離が第2の所定値未満」の距離条件を満たす2つの顔を同じグループに属させる。
【0116】
そして、本実施形態のグループ化部12は、第2の所定値を固定値とし、第1の所定値を顔の画像内における位置に基づき決定する可変値とする。
【0117】
例えば、第1の画像から検出した第1の顔と、第2の画像から検出した第2の顔とが距離条件を満たすか判定する際、グループ化部12は、第1の顔のフレーム内座標のx座標と、第2の顔のフレーム内座標のx座標とに基づき代表値を決定する。例えば、両方のフレーム内座標のx座標の平均を代表値とする。なお、フレーム内座標は第3の実施形態と同じ概念である。
【0118】
そして、グループ化部12は、第1の顔及び第2の顔のフレーム内座標のx座標の代表値に基づき、第1の所定値を決定する。
【0119】
第1の顔及び第2の顔のフレーム内座標のx座標の代表値が、「上記間隔Dxが相対的に大きく見える画像内の位置」を示している場合、第1の所定値を大きくする。一方、第1の顔及び第2の顔のフレーム内座標のx座標の代表値が、「上記間隔Dxが相対的に小さく見える画像内の位置」を示している場合、第1の所定値を小さくする。このように、画像での複数の人の見え方に応じて、距離条件を最適化することができる。
【0120】
例えば、グループ化部12は、予め、第1の顔及び第2の顔のフレーム内座標のx座標の代表値に応じて第1の所定値を定めた対応情報(テーブル、関数等)を保持しておいてもよい。そして、グループ化部12は、対応情報を利用して距離条件を決定してもよい。
【0121】
グループ化部12のその他の構成は、第1及び第2の実施形態と同様である。
【0122】
以上説明した本実施形態の解析装置10によれば、第1及び第2の実施形態と同様の作用効果を実現できる。また、本実施形態の解析装置10によれば、図8を用いて説明した上述のような現象を考慮した処理を行うことで、距離条件に基づき複数の画像に跨る同一人物をグループ化する処理の精度を向上させることができる。
【0123】
以下、参考形態の例を付記する。
1. 同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段と、
グループの数をカウントするカウント手段と、
を有する解析装置。
2. 1に記載の解析装置において、
前記グループ化手段は、異なる前記画像から検出された前記人同士を、前記座標間の距離を用いてグループ化する解析装置。
3. 2に記載の解析装置において、
前記グループ化手段は、
第1の前記画像から検出された1つ又は複数の前記人各々の座標と、第2の前記画像から検出された1つ又は複数の前記人各々の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化する解析装置。
4. 2に記載の解析装置において、
前記グループ化手段は、
複数の前記グループ各々の代表座標と、前記グループに属していない前記人の座標との距離を算出し、
前記距離と所定値との比較に応じて、異なる前記画像から検出された前記人同士をグループ化する解析装置。
5. 3又は4に記載の解析装置において、
前記グループ化手段は、
複数の前記グループに属する人である第1の人がある場合、前記第1の人の画像の特徴量と、前記グループ各々に属する前記人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析装置。
6. 5に記載の解析装置において、
前記グループ化手段は、
前記第1の人を含む前記画像の撮影タイミングに基づき決定した前記画像に含まれる前記人の画像の特徴量と、前記第1の人の画像の特徴量とに基づき、前記第1の人をいずれかの前記グループに属させるか否かを決定する解析装置。
7. 3から6のいずれかに記載の解析装置において、
前記画像は、前記車両を前記車両の横から撮影した画像であり、
前記グループ化手段は、複数の前記画像から検出された複数の前記人各々の前記座標を前記人各々の前記画像内における位置に基づき補正し、補正後の座標に基づき複数の前記人をグループ化する解析装置。
8. 1から7のいずれかに記載の解析装置において、
前記画像解析手段は、前記画像から人の顔を検出し、前記座標系における前記顔の座標を検出する解析装置。
9. コンピュータが、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析工程と、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化工程と、
グループの数をカウントするカウント工程と、
を実行する解析方法。
10. コンピュータを、
同一の車両を異なる方向から複数回撮影することで得られた複数の画像の各々から車両の所定箇所及び人を検出し、検出した前記所定箇所を基準とする座標系における複数の前記人各々の座標を検出する画像解析手段、
異なる前記画像から検出された前記人同士を、前記座標に基づきグループ化するグループ化手段、
グループの数をカウントするカウント手段、
として機能させるプログラム。
【0124】
この出願は、2017年7月4日に出願された日本出願特願2017−131088号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
図1
図2
図3
図4
図5
図6
図7
図8
図9