特許 6607308 乗車人数計測装置、システム、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6607308

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月27日

(54)【発明の名称】乗車人数計測装置、システム、方法およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20191118BHJP

   G06T 1/00 20060101ALI20191118BHJP

【ＦＩ】

   G06T7/60 110

   G06T1/00 330B

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2018-505559(P2018-505559)

(86)(22)【出願日】2016年3月17日

(86)【国際出願番号】JP2016001557

(87)【国際公開番号】WO2017158648

(87)【国際公開日】20170921

【審査請求日】2018年6月11日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】宮本 伸一

【審査官】 笠田 和宏

(56)【参考文献】

【文献】 特開２００３−０１６４２５（ＪＰ，Ａ）

【文献】 国際公開第２００８／０９９１４６（ＷＯ，Ａ１）

【文献】 特開２０１３−２３６９６２（ＪＰ，Ａ）

【文献】 Ioannis Pavlidis，外２名，"A Vehicle Occupant Counting System Based on Near-Infrared Phenomenology and Fuzzy Neural Classification"，IEEE Transactions on Intelligent Transportation Systems，IEEE，２０００年 ６月，Volume 1，Issue 2，pp. 72-85

(58)【調査した分野】（Int.Cl.，ＤＢ名）

ＩＰＣ Ｇ０６Ｔ １／００ − １／４０

３／００ − ９／４０

Ｇ０８Ｇ １／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で前記車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定する特定手段と、
特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
ことを特徴とする乗車人数計測装置。

【請求項2】

前記乗車人数決定手段は、前記映り込みが低減された分離画像に対して顔検出を行い、検出された顔の数を前記車両の乗車人数として決定する
請求項１記載の乗車人数計測装置。

【請求項3】

前記特定手段は、前記複数の分離画像のそれぞれにおける人物の部位の数に応じて前記映り込みが低減された分離画像を特定する
請求項１または請求項２記載の乗車人数計測装置。

【請求項4】

乗車人数決定手段は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定する
請求項１から請求項３のうちのいずれか１項に記載の乗車人数計測装置。

【請求項5】

画像分離手段は、独立成分分析を用いて画像分離を行う
請求項１から請求項４のうちのいずれか１項に記載の乗車人数計測装置。

【請求項6】

画像分離手段は、前記第１画像と、前記第２画像と、前記第１特定波長帯と異なる第２特定波長帯の光を受光した状態で前記車両が撮影されて取得された第３画像とにもとづいて、複数の分離画像を取得し、
特定手段は、前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定し、
乗車人数決定手段は、特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する
請求項１から請求項５のうちのいずれか１項に記載の乗車人数計測装置。

【請求項7】

車両を撮影して第１画像を取得する第１撮影手段と、
第１特定波長帯の光を受光した状態で前記車両を撮影して第２画像を取得する第２撮影手段と、
前記第１画像と前記第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、
前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定する特定手段と、
特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定手段とを備えた
ことを特徴とする乗車人数計測システム。

【請求項8】

車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で前記車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得し、
前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定し、
特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する
ことを特徴とする乗車人数計測方法。

【請求項9】

コンピュータに、
車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で前記車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離処理と、
前記複数の分離画像から、前記第１画像に比して車両への映り込みが低減された分離画像を特定する特定処理と、
特定された前記映り込みが低減された分離画像にもとづいて、前記車両の乗車人数を決定する乗車人数決定処理とを
実行させるための乗車人数計測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の乗車人数を計測する乗車人数計測装置、システム、方法およびプログラムに関する。

【背景技術】

【0002】

近年、車両の乗車人数に応じて通行料金を割り引きしたり、乗車人数が所定人数以上である車両にのみ道路の通行を許可するＨＯＶ（Ｈｉｇｈ Ｏｃｃｕｐａｎｃｙ Ｖｅｈｉｃｌｅ）システムが用いられている。ＨＯＶシステムにおいて、カメラにより車両を撮影し、撮影した画像に対して顔検出を行うことにより、乗車人数を計測する技術が用いられている。

【0003】

特許文献１〜３に、顔検出により車両の乗車人数を計測するシステムが開示されている。特許文献１には、人物の横顔を検出することにより車両の乗車人数を計測する技術が開示されている。特許文献２には、人物を検出し、人物が車両のどの位置に乗車しているかを推定することにより乗車人数を計測する技術が開示されている。特許文献３には、車両の移動量と人物検出結果を用いて乗車人数を計測する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１４／０６１１９５号

【特許文献2】国際公開第２０１４／０６４８９８号

【特許文献3】国際公開第２０１５／０５２８９６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両を撮影して取得された画像において、車両の窓に車外の人または物が映り込む場合がある。その場合、取得された画像において、車両の窓の反射により、車内にいる人に顔検出を行う際に誤検出をする可能性がある。

【0006】

そこで、本発明は、車両の乗車人数を精度良く計測することができる乗車人数計測装置、システム、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明による乗車人数計測装置は、車両が撮影されて取得された第１画像と、第１特定波長帯の光を受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像から、第１画像に比して車両への映り込みが低減された分離画像を特定する特定手段と、特定された映り込みが低減された分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする。
本発明による乗車人数計測装置は、車両が撮影されて取得された第１画像と、第１特定波長帯の光のみを受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする

【0008】

本発明による乗車人数計測システムは、車両を撮影して第１画像を取得する第１撮影手段と、第１特定波長帯の光のみを受光した状態で車両を撮影して第２画像を取得する第２撮影手段と、第１画像と第２画像とにもとづいて、複数の分離画像を取得する画像分離手段と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段とを備えたことを特徴とする。

【0009】

本発明による乗車人数計測方法は、車両が撮影されて取得された第１画像と、第１特定波長帯の光のみを受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得し、複数の分離画像にもとづいて、車両の乗車人数を決定することを特徴とする。

【0010】

本発明による乗車人数計測プログラムは、コンピュータに、車両が撮影されて取得された第１画像と、第１特定波長帯の光のみを受光した状態で車両が撮影されて取得された第２画像とにもとづいて、複数の分離画像を取得する画像分離処理と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定処理とを実行させることを特徴とする。

【発明の効果】

【0011】

本発明によれば、車両の乗車人数を精度良く計測することができる。

【図面の簡単な説明】

【0012】

【図1】本発明による乗車人数計測システムの第１の実施形態の構成を示すブロック図である。

【図2】本発明による乗車人数計測システムの第１の実施形態のハードウェア構成を示すブロック図である。

【図3】本発明による乗車人数計測システムの第１の実施形態の動作を示すフローチャートである。

【図4】第１撮影部が取得する第１画像を示す説明図である。

【図5】第１の実施形態における分離画像を示す説明図である。

【図6】本発明による乗車人数計測システムの第２の実施形態の構成を示すブロック図である。

【図7】本発明による乗車人数計測システムの第２の実施形態のハードウェア構成を示すブロック図である。

【図8】本発明による乗車人数計測システムの第２の実施形態の動作を示すフローチャートである。

【図9】第２の実施形態における分離画像を示す説明図である。

【図10】本発明による乗車人数計測システムの第３の実施形態の動作を示すフローチャートである。

【図11】本発明による乗車人数計測装置が実装されるコンピュータの構成例を示す概略ブロック図である。

【図12】本発明による乗車人数計測システムの主要部の構成を示すブロック図である。

【発明を実施するための形態】

【0013】

実施形態１．
本実施形態の乗車人数計測システムの構成を、図１および図２を参照して説明する。図１は、本実施形態の乗車人数計測システムの構成を示すブロック図である。乗車人数計測システムは、第１撮影部１０と、第２撮影部１１と、乗車人数計数装置１００とを備える。また、乗車人数計測装置１００は、画像分離部１２と、乗車人数決定部１３とを備える。

【0014】

第１撮影部１０は、車両を撮影して第１画像を取得する。第１撮影部１０は、一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。

【0015】

第２撮影部１１は、第１特定波長帯のみを受光した状態で車両を撮影して第２画像を取得する。第２撮影部１１は、第１撮影部１０と同様に一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。第２撮影部１１は、少なくとも第１特定波長帯の光の感度を有している。

【0016】

画像分離部１２は、第１撮影部１０が取得した第１画像と、第２撮影部１１が取得した第２画像とにもとづいて画像分離を行い、ガラス窓への映り込みが低減された分離画像を含む複数の分離画像を取得する。具体的には、画像分離部１２は、独立成分分析を用いて、第１撮影部１０および第２撮影部１１からの距離が異なる２つの画像に分離する。

【0017】

乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像にもとづいて、車両の乗車人数として決定する。具体的には、乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像を取得して映り込みが低減された分離画像に顔検出を行い、人物の顔であると判定した部分の数を、車両の乗車人数として決定する。

【0018】

図２は、本実施形態の乗車人数計測システムのハードウェア構成を示す説明図である。第１撮影部１０、第２撮影部１１は、路側など、車両を撮影できる位置に設置されている。第１撮影部１０の前方（第１撮影部１０と車両の間）に、ハーフミラー２０が設置されている。第２撮影部１１の前方（ハーフミラー２０からの反射光を受ける位置）に、反射ミラー２１が設置されている。また、第２撮影部１１と反射ミラー２１の間に、バンドパスフィルタ２２が設置されている。バンドパスフィルタ２２は、第１特定波長帯λ_１の光のみを通すことができるフィルタである。

【0019】

車両の方向から入射する光の一部は、ハーフミラー２０を通り第１撮影部１０に入射する。また、車両の方向から入射する光の残りの一部は、ハーフミラー２０で反射し、反射ミラー２１に入射する。反射ミラー２１に入射した光は、反射して、バンドパスフィルタ２２を通り、第１の特定波長体λ_１の光のみが第２撮影部１１に入射する。

【0020】

図２に示す構成において、第１撮影部１０から車両までの光路長と、第２撮影部１１から前記車両までの光路長とが同一となるように各装置が設置される。また、第１撮影部１０の撮影範囲と第２撮影部１１の撮影範囲とが同一となるように第１撮影部１０および第２撮影部１１は撮影を行う。

【0021】

また、通過する車両を照射できる位置に、第１特定波長帯λ_１の光を照射する照明２３が設置され、車両全体を照射する。バンドパスフィルタ２２を光が通過することにより、通過前と比べて光量は減少している。しかし、照明２３が第１の特定波長帯λ_１の光を車両に照射していることにより、第２撮影部１１は、十分な光量を得ることができるので明瞭な車両画像を取得することができる。

【0022】

以上の構成により、第１撮影部１０は、入射する光の波長が限定されていない状態で、通常の車両画像を撮影することができる。第２撮影部１１は、第１特定波長体λ_１の光のみ入射する状態で、車両画像を撮影することができる。

【0023】

次に、本実施形態の乗車人数計測システムの動作を説明する。図２は、本実施形態の乗車人数計測システムの動作を示すフローチャートである。

【0024】

第１撮影部１０は、車両を撮影し、画像を取得する（ステップＳ１０）。第１撮影部１０は、例えば、路側に設置されており、横方向（車両の進行方向に対して垂直方向）から車両を撮影する。

【0025】

第２撮影部１１は、第１特定波長帯の光のみを受光した状態で車両を撮影し、画像を取得する（ステップＳ１１）。第２撮影部１１は、第１撮影部１０と同様に、例えば路側に設置されており、横方向（車両の進行方向に対して垂直方向）から車両を撮影する。第２撮影部１１の前方にバンドパスフィルタ２２が設置されているので、第２撮影部１１は、第１特定波長体λ_１の光のみを入射した状態で車両を撮影する。

【0026】

ただし、第１撮影部１０および第２撮影部１１の設置位置は上記の位置に限定されず、車両の前方や斜め前方から撮影可能な位置に設定されていてもよい。第１撮影部１０および第２撮影部１１は、例えば、ＨＯＶシステムを利用した料金所に設置される。

【0027】

第１撮影部１０および第２撮影部１１は、同一のタイミングで車両を撮影する。撮影タイミングを同期させるために、例えば、乗車人数計測装置１００が、第１撮影部１０および第２撮影部１１に、指示信号を送信する。車両を通過するタイミングを検知するために、例えば、赤外線センサ等の検知手段が設置されており、乗車人数計測装置１００が、検知手段から車両が通過したことを示す信号を受信したタイミングで第１撮影部１０および第２撮影部１１に、指示信号を送信してもよい。または、第１撮影部１０および第２撮影部１１は、検知手段から車両が通過したことを示す信号を直接受信し、その信号を受信したタイミングで撮影をしてもよい。

【0028】

画像分離部１２は、第１撮影部１０が車両を撮影して得られた第１画像と、第２撮影部１１が車両を撮影して得られた第２画像とにもとづいて画像分離を行い、ガラス窓への映り込みが低減された分離画像を含む複数の分離画像を取得する（ステップＳ１２）。具体的には、画像分離部１２は、第１画像および第２画像を示す画像データに独立成分分析を行い、車両内部を示す画像と、ガラス窓への映り込み（ガラス窓に映る人や物など）を示す画像とを分離する。

【0029】

独立成分分析による画像分離について、具体的に説明する。第１画像を示す画像データをｘ_１と表し、第２画像を示す画像データをｘ_２と表す。また、車両内部を示す実際の像をｓ_１と表し、ガラス窓への映り込みを示す実際の像をｓ_２と表す。そして、取得した画像をベクトルＸ＝（ｘ_１，ｘ_２）^Ｔと表し、実際の像をベクトルＳ＝（ｓ_１，ｓ_２）^Ｔと表す。画像データｘ_１，ｘ_２は、ｓ_１，ｓ_２が混合して得られるものであるため、混合行列をＡとすると、以下の式（１）が成り立つ。

【0030】

Ｘ＝ＡＳ （１）

【0031】

Ａは未知の行列であるから、ＸからＳを推定する必要がある。画像分離部１２は、以下の式（２）において、ベクトルＹ＝（ｙ_１，ｙ_２）のｙ_１、ｙ_２が独立となるような行列Ｗを算出することにより、ｙ_１、ｙ_２を推定する。

【0032】

Ｙ＝ＷＸ （２）

【0033】

上記のように処理により得られたｙ_１、ｙ_２は、一方が車両内部を示すｓ_１の近似値となっており、他方がガラス窓への映り込みを示すｓ_２の近似値となっている。画像分離部１２は、画像データを示すｙ_１、ｙ_２のうち、車両内部を示すｓ_１の近似値となっている画像データを映り込みが低減された分離画像として出力する。画像分離部１２は、例えば、ｙ_１、ｙ_２の画像を分析し、人物の顔や車内設備の有無により、車両内の画像であるか否か判定する。または、画像分離部１２は、ｙ_１、ｙ_２が示す画像を外部の表示装置に出力し、ユーザーにどちらの画像が車両内の画像であるか選択させ、選択された画像を映り込みが低減された分離画像として出力してもよい。また、画像分離部１２は、特定の手法により、どちらの画像が映り込みが低減された画像かを判定し、判定された画像を映り込みが低減された分離画像として出力してもよい。具体的には、画像分離部１２は、ｙ_１、ｙ_２が示す画像に対して、顔を検出するアルゴリズムを適用し、顔の数を取得する。その後、画像分離部１２は、顔の数が多い方の画像を映り込みが低減された分離画像として選択して、出力してもよい。ここで、特に顔の数に限定される必要は無く、検出可能な人物の部位出ればどこでも良く、鼻、目、腕、首などを検出対象とすることもできる。なお、乗車人数計測装置１００は、画像分離部１２とは別に、複数の分離画像の中から、映り込みが低減された画像を選択する選択手段と、複数の分離画像に対して、人物の特定部位の数を取得する取得手段を備えていてもよい。

【0034】

図４は、第１撮影部１０が取得する第１画像を示す説明図である。図５は、本実施形態における分離画像を示す説明図である。図４に示す画像では、車両のガラス窓に車外の木が映り込んでおり、車両内の人物の顔と重複して表示されている。図５に示す分離画像では、ガラス窓への映り込みが低減されており、車両内の人物の顔が明確に表示されている。なお、図示しないが、分離された他の画像には、ガラス窓への映り込みが表示されている。すなわち、第１画像と第２画像とにもとづいて、第１撮影部１０および第２撮影部１１からの距離が異なる２つの画像に分離されている。

【0035】

乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像にもとづいて、車両の乗車人数を決定する（ステップＳ１３）。具体的には、乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像を取得して映り込みが低減された分離画像に顔検出を行い、人物の顔であると判定した部分の数を、車両の乗車人数として決定する。

【0036】

横顔に近い角度で乗車人物の顔が映る場合、乗車人数決定部１３は、横顔の検出器を用いて人物を検出する。または、正面顔に近い角度で乗車人物の顔が映る場合、乗車人数決定部１３は、正面顔の検出器を用いて人物を検出する。これらの検出器は、横や正面から撮影した数多くの顔画像を用いて機械学習を行うことによって予め構築され、記憶部（例えば、後述する補助記憶装置１００３）に記憶されている。検出に用いる検出器は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ＬＤＡ（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ、線形判別分析）、またはＧＬＶＱ（Ｇｅｎｅｒａｌｉｓｅｄ Ｌｅａｒｎｉｎｇ Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ、一般化学習ベクトル量子化）により得られた検出器である。

【0037】

以上のように、本実施形態の乗車人数計測システムは、独立成分分析を用いて画像分離を行うことにより車両のガラス窓への映り込みを低減することができるので、車両の乗車人数を精度良く計測することができる。

【0038】

実施形態２．
本実施形態の乗車人数計測システムを、図面を参照して説明する。なお、以下の説明は、主に第１の実施形態（実施形態１）と異なる構成および機能に関する内容であり、特に説明しない構成および機能は、第１の実施形態と同様であるとする。図６は、本実施形態の乗車人数計測システムの構成を示すブロック図である。乗車人数計測システムは、第１撮影部１０、第２撮影部１１、第３撮影部１４、乗車人数計数装置１００を備える。また、乗車人数計測装置１００は、画像分離部１２、乗車人数決定部１３とを備える。本実施形態の乗車人数計測システムは、第１の実施形態における乗車人数計測システムに第３撮影部１４を加えた構成となっている。

【0039】

第３撮影部１４は、第１特定波長帯と異なる第２特定波長帯のみを受光した状態で車両を撮影して第３画像を取得する。第３撮影部１４は、第１撮影部１０、第２撮影部１１と同様に一般的なカメラであり、被写体である車両を撮影しデジタル画像を生成する。第３撮影部１４は、少なくとも第２特定波長帯の光の感度を有している。

【0040】

図７は、本実施形態の乗車人数計測システムのハードウェア構成を示す説明図である。第３撮影部１４は、車両を撮影することができる位置に設置されている。第３撮影部１４の前方に、バンドパスフィルタ２６が設置されている。バンドパスフィルタ２６は、第２特定波長帯λ_２の光のみを通すことができるフィルタである。第１撮影部１０の前方にハーフミラー２５が設置されている。車両の方向からハーフミラー２５に入射する光の一部は、反射して、反射ミラー２７に入射する。反射ミラー２７に入射した光は、反射してバンドパスフィルタ２６を通り第３撮影部１４に入射する。また、車両を照射できる位置に、第２特定波長帯λ_２の光を照射する照明２４が設置され、車両全体を照射する。他の構成は、第１の実施形態と同様であるため、説明を省略する。

【0041】

図７に示す構成において、第１撮影部１０から車両までの光路長と、第２撮影部１１から前記車両までの光路長と、第３撮影部１４から車両までの光路長とが同一となるように各装置が設置される。また、第１撮影部１０の撮影範囲と第２撮影部１１の撮影範囲と第３撮影部１４の撮影範囲とが同一となるように第１撮影部１０、第２撮影部１１、および第３撮影部１４は撮影を行う。

【0042】

以上の構成により、第３撮影部１４は、第２特定波長体λ_２の光のみ入射する状態において、車両画像を撮影することができる。バンドパスフィルタ２６を光が通過することにより、光量は減少する。しかし、照明２４が第２特定波長帯λ_２の光を車両に照射していることにより、第３撮影部１４は、十分な光量を得ることができるので明瞭な車両画像を取得することができる。

【0043】

次に、本実施形態の乗車人数計測システムの動作を説明する。図２は、本実施形態の乗車人数計測システムの動作を示すフローチャートである。なお、図２に示すステップＳ１０、ステップＳ１１、ステップＳ１３の処理は、第１の実施形態と同様であるため、説明を省略する。

【0044】

第３撮影部１４は、第２特定波長帯の光のみを受光した状態で車両を撮影し、画像を取得する（ステップＳ１１’）。第３撮影部１４の設置位置は、第１の実施形態で説明した第１撮影部１０、第２撮影部１１の設置位置と同様に車両が撮影できる位置であればよい。例えば、第３撮影部１４は、路側に設置されており、横方向（車両の進行方向と垂直方向）から車両を撮影する。第３撮影部１４の前方にバンドパスフィルタ２６が設置されているので、第３撮影部１４は、第２特定波長体λ_２の光のみを入射した状態で車両を撮影する。また、第３撮影部１４は、第１撮影部１０および第２撮影部１１と同一のタイミングで車両を撮影する。

【0045】

画像分離部１２は、第１撮影部１０が車両を撮影して取得された第１画像と、第２撮影部１１が車両を撮影して取得された第２画像と、第３撮影部１４が車両を撮影して取得された第３画像とにもとづいて画像分離を行い、ガラス窓への映り込みおよび前記車両の車体部分の濃度が低減された分離画像を取得する（ステップＳ１２’）。具体的には、画像分離部１２は、第１画像、第２画像および第３画像を示す画像データに独立成分分析を行い、車両内部を示す画像と、ガラス窓への映り込み（ガラス窓に映る人や物など）を示す画像と、車両のガラス窓を除いた部分（以下、車体部分と記載する）とを分離する。

【0046】

独立成分分析による画像分離について、具体的に説明する。第１画像を示す画像データをｘ_１と表し、第２画像を示す画像データをｘ_２と表し、第３画像を示す画像データをｘ_３と表す。また、車両内部を示す実際の像をｓ_１と表し、ガラス窓への映り込みを示す実際の像をｓ_２と表し、車両の車体部分を示す実際の像をｓ_３と表す。そして、取得した画像をベクトルＸ＝（ｘ_１，ｘ_２，ｘ_３）^Ｔと表し、実際の像をベクトルＳ＝（ｓ_１，ｓ_２，ｓ_３）^Ｔと表す。画像データｘ_１，ｘ_２，ｘ_３は、ｓ_１，ｓ_２，ｓ_３が混合して得られるものであるため、混合行列をＡとすると、第１の実施形態と同様に式（１）が成り立つ。

【0047】

画像分離部１２は、第１の実施形態と同様に、式（２）においてベクトルＹを算出する。本実施形態では、ベクトルＹ＝（ｙ_１，ｙ_２、ｙ_３）と表される。画像分離部１２は、ｙ_１、ｙ_２、ｙ_３が独立となるような行列Ｗを算出することにより、ｙ_１、ｙ_２、ｙ_３を推定する。

【0048】

上記のようにして得られたｙ_１，ｙ_２，ｙ_３は、一つが車両内部を示すｓ_１の近似値となっており、他の一つがガラス窓への映り込みを示すｓ_２の近似値となっており、他の一つが車両の車体部分を示すｓ_３の近似値となる。画像分離部１２は、画像データを示すｙ_１，ｙ_２，ｙ_３のうち、車両内部を示すｓ_１の近似値となっている画像データを映り込みおよび車両の車体部分の濃度が低減された分離画像として出力する。画像分離部１２は、例えば、ｙ_１，ｙ_２，ｙ_３の画像を分析し、人物の顔や車内設備の有無により、車両内の画像であるか否か判定する。または、画像分離部１２は、ｙ_１，ｙ_２，ｙ_３が示す画像を外部の表示装置に出力し、ユーザーにどの画像が車両内の画像であるか選択させ、選択された画像データを映り込みおよび車両の車体部分の濃度が低減された分離画像として出力してもよい。

【0049】

図９は、本実施形態における分離画像を示す説明図である。図９に示す分離画像では、ガラス窓への映り込みが低減されており、車両内の人物の顔が明確に表示されている。さらに、車両の本体部分の濃度が低減されている。なお、図示しないが、分離された他の画像には、ガラス窓への映り込みと車両の本体部分がそれぞれ表示されている。

【0050】

車両の画像が車体部分を含む場合、顔検出を行う前に、ユーザーが画像処理を行い、車両の車体部分を予め排除することが好ましい。しかし、図９に示すように、本実施形態の分離画像はすでに車両の車体部分が除かれている。そのため、乗車人数決定部１３は、顔検出を行い、車両の乗車人数を決定する処理において、精度良く乗車人数を決定することができる。

【0051】

以上のように、本実施形態の乗車人数計測システムは、独立成分分析を用いて画像分離を行うことにより、車両のガラス窓への映り込みだけでなく車両の車体部分の濃度を低減することができる。そのため、本実施形態の乗車人数計測システムによれば、ユーザーが車両の車体部分を除去する画像処理を行わなくても、車両の乗車人数を精度良く計測することができる。

【0052】

実施形態３．
本実施形態の乗車人数計測システムを、図面を参照して説明する。本実施形態では、乗車人数決定部１３の機能のみ第１の実施形態と異なり、他の構成は同じであるため、構成の説明を省略する。特に説明しない構成および機能は、第１の実施形態と同様であるとする。

【0053】

図１０は、第３の実施形態の乗車人数計測システムの動作を示すフローチャートである。図１０において、ステップＳ１０〜ステップＳ１２は第１の実施形態の処理（図３参照）と同じであるため、説明を省略する。

【0054】

乗車人数決定部１３は、画像分離部１２によって出力された複数の分離画像を取得するが、どの分離画像が映り込みが低減された分離画像か判断することが困難な場合がある。そのため、乗車人数決定部１３は、取得した全ての分離画像に顔検出処理を行い、各分離画像における乗車人数を取得する（ステップＳ１３ａ）。

【0055】

そして、乗車人数決定部１３は、各分離画像の乗車人数のうちの最大値を実際の乗車人数として決定する（ステップＳ１３ｂ）。

【0056】

第１の実施形態では、画像分離部１２が、映り込みが低減された分離画像がどれであるかを判定したり、ユーザに選択させる処理を行っていたが、本実施形態ではそれらの処理を省略してもよい。

【0057】

本実施形態では、第１の実施形態における乗車人数計測システムの乗車人数決定部１３を変更した例を示したが、第２の実施形態における乗車人数計測システムの構成において本実施形態の乗車人数決定部１３を適用してもよい。

【0058】

本実施形態の乗車人数計測システムによれば、どの分離画像が映り込みが低減された分離画像か判断することが困難な場合であっても、精度良く乗車人数を決定することができる。

【0059】

図１１は、第１〜３の実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。

【0060】

第１〜３の実施形態の乗車人数計測装置１００は、コンピュータ１０００に実装される。乗車人数計数装置１００は、プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の処理を実行する。

【0061】

補助記憶装置１００３は、一時的でない有形の媒体であって、例えば、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等である。コンピュータ１０００は、インタフェース１００４を介して補助記憶装置１００３に接続されていてもよい。このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。

【0062】

また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。また、コンピュータ１０００が備えるプロセッサーはＣＰＵ１００１に限らず、プログラムを実行可能なプロセッサーを備えていればよい。また、コンピュータ１０００は、回路を含んでいる。

【0063】

図１２は、本発明による乗車人数計測システムの主要部を示すブロック図である。本発明による乗車人数計測システムは、車両を撮影して第１画像を取得する第１撮影手段３０と、第１特定波長帯の光のみを受光した状態で車両を撮影して第２画像を取得する第２撮影手段３１と、乗車人数計測装置２００とを備える。乗車人数計測装置２００は、第１画像と第２画像とにもとづいて、複数の分離画像を取得する画像分離手段４２と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段４３とを備える。

【0064】

また、上記の実施形態では、以下の（１）〜（７）に示す乗車人数計測システムも開示されている。

【0065】

（１）乗車人数計測システムは、乗車人数決定手段（例えば、乗車人数決定部１３）は、複数の分離画像のそれぞれに対して、乗車人数を取得し、取得した前記乗車人数の最大値を車両の乗車人数として決定するように構成されていてもよい。

【0066】

（２）乗車人数計測システムは、画像分離手段（例えば、画像分離部１２）は、独立成分分析を用いて画像分離を行うように構成されていてもよい。そのような乗車人数計測システムによれば、第１画像と第２画像のみから画像分離を実行することができる。

【0067】

（３）乗車人数計測システムは、画像分離手段（例えば、画像分離部１２）は、第１画像と第２画像とにもとづいて、第１撮影手段（例えば、第１撮影部１０）および第２撮影手段（例えば、第２撮影部１１）からの距離が異なる２つの画像に分離するように構成されていてもよい。

【0068】

（４）乗車人数計測システムは、第１特定波長帯の光を車両に照射する照射手段（例えば、照明２３）を備えたように構成されていてもよい。そのような乗車人数計測システムによれば、第１特定波長帯の光のみを受光した状態でも光量の低下を補うことができる。

【0069】

（５）乗車人数計測システムは、第１撮影手段から車両までの光路長と、第２撮影手段から前記車両までの光路長とが同一であるように構成されていてもよい。

【0070】

（６）乗車人数計測システムは、第１撮影手段の撮影範囲と第２撮影手段の撮影範囲とが同一であるように構成されていてもよい。

【0071】

（７）車両を撮影して第１画像を取得する第１撮影手段（例えば、第１撮影部１０）と、第１特定波長帯の光のみを受光した状態で車両を撮影して第２画像を取得する第２撮影手段（例えば、第２撮影部１１）と、第１特定波長帯と異なる第２特定波長帯の光のみを受光した状態で車両を撮影して第３画像を取得する第３撮影手段（例えば、第３撮影部１４）と、第１画像、第２画像および第３画像とにもとづいて、複数の分離画像を取得する画像分離手段（例えば画像分離部１２）と、複数の分離画像にもとづいて、車両の乗車人数を決定する乗車人数決定手段（例えば、乗車人数決定部１３）とを備えた乗車人数計測システム。そのような乗車人数計測システムによれば、ガラス窓への映り込みだけでなく、車両の車体部分の濃度を低減することができるので、ユーザーがそれらを除去する手間を省くことができる。

【0072】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本願発明は、各実施形態の構成を適宜組み合わせたものであってもよい。

【符号の説明】

【0073】

１０ 第１撮影部
１１ 第２撮影部
１２ 画像分離部
１３ 乗車人数決定部
１４ 第３撮影部
３０ 第１撮影手段
３１ 第２撮影手段
４２ 画像分離手段
４３ 乗車人数決定手段
１００、２００ 乗車人数計測装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】