ホーム > 特許ランキング > 株式会社デンソーテン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-20
(45)【発行日】2023-11-29
(54)【発明の名称】車載装置及び乗降車判定方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20231121BHJP
【ＦＩ】
G06T7/20 300B
【請求項の数】
6
(21)【出願番号】P 2020137304
(22)【出願日】2020-08-17
(65)【公開番号】P2022033426
(43)【公開日】2022-03-02
【審査請求日】2022-12-28
(73)【特許権者】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】北原 俊夫
【審査官】佐藤 実
(56)【参考文献】
【文献】特開２０１３－２５５２３（ＪＰ，Ａ）
【文献】特開２００６－１７７０８６（ＪＰ，Ａ）
【文献】特開２０１４－２１９９１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
乗客を輸送する車両に搭載される車載装置であって、前記車両に設置され、所定の撮影領域内の撮影を行うことで時系列上に並ぶカメラ画像列を取得するカメラ部と、
前記カメラ画像列を形成する各カメラ画像から人物の顔の画像である顔画像を検出する顔検出部と、
各カメラ画像における前記顔画像のサイズ、及び、前記カメラ画像列における前記顔画像の動きに基づき、前記顔画像に対応する人物が、前記車両に乗車する人物であるか否か、又は、前記車両から降車する人物であるか否かを判定する判定部と、を備えた
、車載装置。
【請求項2】
前記カメラ部は、前記車両に乗車するために移動する人物を撮影可能な位置に設置された乗車客用カメラを有し、前記乗車客用カメラにて前記カメラ画像列が取得され、
前記判定部は、前記カメラ画像列における特定のカメラ画像において、所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両に乗車する人物であると判定する
、請求項１に記載の車載装置。
【請求項3】
前記判定部は、前記カメラ画像列における前記特定のカメラ画像以前の複数のカメラ画像において前記顔画像のサイズが時間経過とともに増大し、且つ、前記特定のカメラ画像において、前記所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の前記所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両に乗車する人物であると判定する、請求項２に記載の車載装置。
【請求項4】
前記カメラ部は、前記車両から降車するために移動する人物を撮影可能な位置に設置された降車客用カメラを有し、前記降車客用カメラにて前記カメラ画像列が取得され、
前記判定部は、前記カメラ画像列における特定のカメラ画像において、所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両から降車する人物であると判定する
、請求項１に記載の車載装置。
【請求項5】
前記判定部は、前記カメラ画像列における前記特定のカメラ画像以前の複数のカメラ画像において前記顔画像のサイズが時間経過とともに増大し、且つ、前記特定のカメラ画像において、前記所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の前記所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両から降車する人物であると判定する、請求項４に記載の車載装置。
【請求項6】
乗客を輸送する車両に設置されたカメラ部にて所定の撮影領域内の撮影を行うことで時系列上に並ぶカメラ画像列を取得する取得ステップと、前記カメラ画像列を形成する各カメラ画像から人物の顔の画像である顔画像を検出する顔検出ステップと、
各カメラ画像における前記顔画像のサイズ、及び、前記カメラ画像列における前記顔画像の動きに基づき、前記顔画像に対応する人物が、前記車両に乗車する人物であるか否か、又は、前記車両から降車する人物であるか否かを判定する判定ステップと、を備えた
、乗降車判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置及び乗降車判定方法に関する。
【背景技術】
【0002】
バスに乗車する人物又はバスから降車する人物をバスに設置されたカメラの撮影画像を用いて検出する方法が提案されており、それらの方法の一種では人物の顔画像の撮影を通じて、乗車する人物又は降車する人物を検出する（下記特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平１１－１７５７８２号公報
【文献】特開２０１８－１０６３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
但し、乗車する者を撮影するカメラ（以下、乗車客用カメラと称することがある）の撮影フレームに人物の顔が映り込んだだけで、当該人物がバスに乗り込む乗客であると判断する方法では、誤検出のおそれがある。例えば、運転手にバスの行き先を尋ねるべく一時的にバス内に入って来たものの、その結果を受けてそのままバスから出ていく人物を、誤ってバスに乗車した人物と誤検出する場合がある。降車に関しても同様である。
【0005】
本発明は、人物の車両への乗車又は車両からの降車の検出高精度化に寄与する車載装置及び乗降車判定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る車載装置は、乗客を輸送する車両に搭載される車載装置であって、前記車両に設置され、所定の撮影領域内の撮影を行うことで時系列上に並ぶカメラ画像列を取得するカメラ部と、前記カメラ画像列を形成する各カメラ画像から人物の顔の画像である顔画像を検出する顔検出部と、各カメラ画像における前記顔画像のサイズ、及び、前記カメラ画像列における前記顔画像の動きに基づき、前記顔画像に対応する人物が、前記車両に乗車する人物であるか否か、又は、前記車両から降車する人物であるか否かを判定する判定部と、を備えた構成（第１の構成）である。
【0007】
上記第１の構成に係る車載装置において、前記カメラ部は、前記車両に乗車するために移動する人物を撮影可能な位置に設置された乗車客用カメラを有し、前記乗車客用カメラにて前記カメラ画像列が取得され、前記判定部は、前記カメラ画像列における特定のカメラ画像において、所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両に乗車する人物であると判定する構成（第２の構成）であっても良い。
【0008】
上記第２の構成に係る車載装置において、前記判定部は、前記カメラ画像列における前記特定のカメラ画像以前の複数のカメラ画像において前記顔画像のサイズが時間経過とともに増大し、且つ、前記特定のカメラ画像において、前記所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の前記所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両に乗車する人物であると判定する構成（第３の構成）であっても良い。
【0009】
上記第１の構成に係る車載装置において、前記カメラ部は、前記車両から降車するために移動する人物を撮影可能な位置に設置された降車客用カメラを有し、前記降車客用カメラにて前記カメラ画像列が取得され、前記判定部は、前記カメラ画像列における特定のカメラ画像において、所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両から降車する人物であると判定する構成（第４の構成）であっても良い。
【0010】
上記第４の構成に係る車載装置において、前記判定部は、前記カメラ画像列における前記特定のカメラ画像以前の複数のカメラ画像において前記顔画像のサイズが時間経過とともに増大し、且つ、前記特定のカメラ画像において、前記所定の基準サイズ以上のサイズを有する前記顔画像が検出された後、前記カメラ画像列における前記特定のカメラ画像以降の複数のカメラ画像において前記顔画像の前記所定の向きへの移動が検出されたとき、前記顔画像に対応する人物が、前記車両から降車する人物であると判定する構成（第５の構成）であっても良い。
【0011】
本発明に係る乗降車判定方法は、乗客を輸送する車両に設置されたカメラ部にて所定の撮影領域内の撮影を行うことで時系列上に並ぶカメラ画像列を取得する取得ステップと、前記カメラ画像列を形成する各カメラ画像から人物の顔の画像である顔画像を検出する顔検出ステップと、各カメラ画像における前記顔画像のサイズ、及び、前記カメラ画像列における前記顔画像の動きに基づき、前記顔画像に対応する人物が、前記車両に乗車する人物であるか否か、又は、前記車両から降車する人物であるか否かを判定する判定ステップと、を備えた構成（第６の構成）である。
【発明の効果】
【0012】
本発明によれば、人物の車両への乗車又は車両からの降車の検出高精度化に寄与する車載装置及び乗降車判定方法を提供することが可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係るバスの概略的な平面構造図である。
【図2】本発明の実施形態に係るバスサービスシステムの構成図である。
【図3】本発明の実施形態に係るカメラ画像列の構成図である。
【図4】本発明の実施形態に係り、カメラ画像が定義される画像座標系の説明図である。
【図5】本発明の実施形態に係り、顔画像の特性の説明図である。
【図6】本発明の実施形態に係る乗降車データベースの構成図である。
【図7】本発明の第１実施例に係り、カメラの撮影領域を示す図である。
【図8】本発明の第１実施例に係り、バスに乗車する人物の移動の様子を示す図である。
【図9】本発明の第１実施例に係り、人物がバスに乗車する過程で得られるカメラ画像列を示す図である。
【図10】本発明の第１実施例に係り、乗車判定処理のフローチャートである。
【図11】本発明の第１実施例に係り、乗車判定処理の第１変形フローチャートである。
【図12】本発明の第１実施例に係り、乗車判定処理の第２変形フローチャートである。
【図13】本発明の第２実施例に係り、カメラの撮影領域を示す図である。
【図14】本発明の第２実施例に係り、バスから降車する人物の移動の様子を示す図である。
【図15】本発明の第２実施例に係り、人物がバスから降車する過程で得られるカメラ画像列を示す図である。
【図16】本発明の第２実施例に係り、降車判定処理のフローチャートである。
【図17】本発明の第２実施例に係り、降車判定処理の第１変形フローチャートである。
【図18】本発明の第２実施例に係り、降車判定処理の第２変形フローチャートである。
【図19】本発明の第３実施例に係り、カメラの撮影領域を示す図である。
【図20】本発明の第３実施例に係り、バスに乗車する人物の移動の様子を示す図である。
【図21】本発明の第４実施例に係り、カメラの撮影領域を示す図である。
【図22】本発明の第４実施例に係り、バスに乗車する人物の移動の様子を示す図である。
【図23】本発明の第５実施例に係り、２つのカメラの撮影領域を示す図である。
【図24】本発明の第５実施例に係り、バスから降車する人物の移動の様子を示す図である（第１降車パターン）。
【図25】本発明の第５実施例に係り、バスから降車する人物の移動の様子を示す図である（第２降車パターン）。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“３３”によって参照される個人識別用データ保持部は（図２参照）、個人識別用データ保持部３３と表記されることもあるし、保持部３３と略記されることもあり得るが、それらは全て同じものを指す。
【0015】
図１に本発明の実施形態に係る車載装置（後述する図２の車載装置１０に相当）が搭載されるバス１の、概略的な平面構造図を示す。バス１は多くの乗客を輸送することのできる大型輸送車両であり、乗客は輸送の対価として運賃をバス１の運転手又はバス１の運営会社に支払う。バス１には実際には屋根が設けられているが、図１では、屋根を除いたバス１の内部の様子（上面図）が示されている。
【0016】
バス１の車内には、運転席２と、運賃箱３と、扉４及び５と、複数の座席６と、が設けられている。ここでは、説明の具体化のため、バス１の前後方向との関係において、実空間上のワールド座標系を以下のように定義する。ワールド座標系は互いに直交するＷＸ軸、ＷＹ軸及びＷＺ軸から成る三次元座標系である。バス１が水平面に平行な路面上に位置しているとき、ＷＺ軸は鉛直面（重力の働く方向に平行な面）に平行であり、ＷＸ軸及びＷＹ軸は水平面に平行である。バス１が前進する向きが前向きあり、ＷＹ軸は前後方向に平行である。バス１の後端から前端に向かう向きはＷＹ軸の正側に向かう向きに相当し、バス１の前端から後端に向かう向きはＷＹ軸の負側に向かう向きに相当する。バス１の車内であって且つバス１の前端付近にバス１を操舵するためのステアリングホイール及び運転手の座席である運転席２が設置される。運転手は運転席２において前を向いて座っている。右側、左側は、運転手から見た右側、左側に相当する。バス１の左端から右端に向かう向きはＷＸ軸の正側に向かう向きに相当し、バス１の右端から左端に向かう向きはＷＹ軸の負側に向かう向きに相当する。
【0017】
運賃箱３は運転席２の左側に設置される。乗客は現金を運賃箱３に投入することで運賃の支払いを行うことができる。また、運賃箱３にはカードリーダ（不図示）が設けられており、乗客は所定のカードをカードリーダに読み込ませることで、プリペイド方式又はポストペイ方式で運賃の支払いを行うこともできる。
【0018】
扉４及び５はバス１の車体の一部を構成し、バス１の左端側側面部に設けられる。より具体的には、扉４はバス１の左端側側面部における運転席２の左横に設置され、扉５は左端側側面部における中央付近に設置される。扉４は扉５よりも前方側に設置される。バス１の走行中には扉４及び５は閉鎖状態にある。バス１の停止中には、バス１の所定機器に対する運転手の操作に基づき扉４又は５が開放状態となる。扉４が閉鎖状態にあるとき乗客は扉４を通じて乗車又は降車することはできず、扉４が開放状態にあるときに限り乗客は扉４を通じて乗車又は降車することができる。同様に、扉５が閉鎖状態にあるとき乗客は扉５を通じて乗車又は降車することはできず、扉５が開放状態にあるときに限り乗客は扉５を通じて乗車又は降車することができる。
【0019】
本実施形態において、乗車とは、或る人物がバス１の外部空間から扉４又は５を通じてバス１の車内（バス１の内部空間）に入ってバス１の乗客となることを指す。降車とは、バス１の車内（バス１の内部空間）にいる乗客が扉４又は５を通じてバス１の外部空間に出ることを指す。或る人物がバス１に乗車する地点を乗車地点と称し、或る人物がバス１から降車する地点を降車地点と称する。
【0020】
図１において、符号７及び８はバス１の車内における通路を表している。通路７は運線席２と扉４との間に位置される通路である。扉４を通じてバス１に乗車する乗客又は扉４を通じてバス１から降車する乗客は通路７を通る。通路８は通路７よりも後方側に設けられる。扉５を通じてバス１に乗車する乗客又は扉５を通じてバス１から降車する乗客は通路８を通る。尚、乗車する乗客とは、換言すれば、バス１に乗るためにバス１の外側からバス１の内側（車内）へと移動する人物を指す。降車する乗客とは、換言すれば、バス１から降りるためにバス１の内側（車内）からバス１の外側へと出てゆく人物を指す。
【0021】
乗降車に関するバス１の構造として乗降車口専用構造及び乗降車口兼用構造があり、バス１は乗降車口専用構造及び乗降車口兼用構造の何れをも採用しうる。乗降車口専用構造に係るバス１は、バス１に乗車する乗客専用の入り口である乗車口と、バス１から降車する乗客専用の出口である降車口と、を別個に備える。乗降車口兼用構造に係るバス１は、バス１に乗車する乗客の入り口及びバス１から降車する乗客の出口の双方として機能する乗降車口を備える。乗降車口兼用構造に係るバス１において乗降車口が複数設けられることがあっても良い。
【0022】
扉４及び通路７にて、乗車口、降車口及び乗降車口の何れかを形成することができ、同様に、扉５及び通路８にて、乗車口、降車口及び乗降車口の何れかを形成することができる。
【0023】
乗降車口専用構造に係るバス１においては、扉４及び通路７にて乗車口が形成され且つ扉５及び通路８にて降車口が形成される第１構造パターンと、扉４及び通路７にて降車口が形成され且つ扉５及び通路８にて乗車口が形成される第２構造パターンと、があり、それらの何れの構造パターンをも採用可能である。乗降車口兼用構造に係るバス１においては、扉４及び通路７にて乗降車口が形成される第３構造パターンと、扉５及び通路８にて乗降車口が形成される第４構造パターンと、扉４及び通路７にて第１乗降車口が形成され且つ扉５及び通路８にて第２乗降車口が形成される第５構造パターンと、があり、それらの何れの構造パターンをも採用可能である。第３構造パターンの採用時にはバス１から扉５及び通路８が削除されて良く、第４構造パターンの採用時にはバス１から扉４及び通路７が削除されて良い。
【0024】
図２に、本実施形態に係るバスサービスシステムＳＹＳの構成図を示す。バスサービスシステムＳＹＳは、バス１に搭載される車載装置１０と、バス１及び車載装置１０の外部に設けられる外部装置であるサーバ装置ＳＶと、を備える。サーバ装置ＳＶは１以上のコンピュータ装置にて構成されていて良い。サーバ装置ＳＶが複数のコンピュータ装置にて構成される場合、所定の通信網を介して接続された複数のコンピュータ装置が協働することでサーバ装置ＳＶの機能が実現される。また、サーバ装置ＳＶは、クラウドコンピューティングサービスを利用して実現しても良い。車載装置１０は、カメラ部２０、信号処理部３０及び通信部４０を備える。
【0025】
カメラ部２０はバス１に設置された１以上のカメラから成り、カメラ部２０に設けられる個々のカメラを単位カメラと称する。単位カメラは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge-Coupled Device）イメージセンサなどの撮像素子及び光学系を備え、自身の撮影領域（換言すれば視野）内の撮影を行って、撮影により得られた画像（即ち撮影領域内の像）を示す画像データを生成する。撮影領域内の撮影とは、詳細には、撮影領域内の被写体の撮影を意味する。単位カメラにより生成された画像データを、以下、カメラ画像データと称し、カメラ画像データにて表される二次元画像をカメラ画像ＣＩと称する（但し、単にカメラ画像と称されることもある）。単位カメラにより生成されたカメラ画像データは信号処理部３０に出力される。単位カメラは所定の撮影フレームレートにて自身の撮影領域内の撮影を周期的に繰り返し行う。撮影フレームレートは１秒間当たりの撮影の回数に相当する。撮影フレームレートは任意であるが、例えば３０［フレーム／秒］である。単位カメラにおいて撮影フレームレートの逆数の間隔で静止画像としての１枚のカメラ画像ＣＩが得られる。
【0026】
時系列上に並ぶ複数枚の静止画像により動画像が形成されるが、図３に示す如く時系列上に並ぶ複数枚のカメラ画像ＣＩを特にカメラ画像列と称する。カメラ画像列は撮影フレームレートの逆数の間隔で並ぶ複数枚のカメラ画像ＣＩから成る。時刻ｔ［ｉ］の撮影により得られたカメラ画像ＣＩを特にカメラ画像ＣＩ［ｉ］と称する。ｉは任意の整数を表す。任意の整数ｉに関し、時刻ｔ［ｉ＋１］は時刻ｔ［ｉ］よりも後の時刻であるとする。また、図４に示す如く、カメラ画像ＣＩは、互いに直交するＩＸ軸及びＩＹ軸から成る二次元の画像座標系に定義される。ＩＸ軸方向はカメラ画像ＣＩの水平方向（横方向）に対応し、ＩＹ軸方向はカメラ画像ＣＩの垂直方向（縦方向）に対応する。カメラ画像ＣＩは、ＩＸ軸及びＩ軸方向にマトリクス状に配列された複数の画素から構成される二次元画像である。
【0027】
図２を再度参照し、信号処理部３０は、顔検出部３１、乗降車判定部３２、個人識別用データ保持部３３、個人識別部３４、日時データ取得部３５、地点データ取得部３６及び乗降車管理部３７を備える。
【0028】
顔検出部３１は、カメラ画像データに基づき顔検出処理を実行する。顔検出処理において、顔検出部３１は、カメラ画像ＣＩ内に人物の顔の画像が含まれているか否かを検出する。カメラ画像ＣＩ内に人物の顔の画像が含まれている場合、顔検出部３１は、カメラ画像ＣＩ内に含まれる人物の顔の画像を顔画像として検出して顔画像データを生成及び出力する。顔検出処理はカメラ画像ＣＩごとに実行される。このため、カメラ画像列を形成する各カメラ画像ＣＩから顔画像が検出される（但し、各カメラ画像ＣＩに顔画像が含まれていることが前提）。顔検出処理の方法自体は周知であるので、その詳細な説明は割愛する。尚、カメラ画像ＣＩにおいて、顔画像の画像データが存在する画像領域を顔画像領域と称することがある。
【0029】
図５に、或るカメラ画像ＣＩと、当該カメラ画像ＣＩから検出された顔画像ＦＩとの関係を示す。顔画像ＦＩの形状は任意であって良いが、ここでは、ＩＸ軸方向及びＩＹ軸方向に平行な辺を有する矩形画像として顔画像ＦＩが検出されるものとする。顔画像ＦＩは、顔の画像データが存在する画像領域を内包する最小の矩形画像であって良い。図５において、ＰＰは顔画像ＰＩの中心位置を表し、ＸＳＩＺＥは顔画像ＦＩのＩＸ軸方向のサイズ（即ちＩＸ軸方向の大きさ）を表し、ＹＳＩＺＥは顔画像ＦＩのＩＹ軸方向のサイズ（即ちＩＹ軸方向の大きさ）を表す。中心位置ＰＰは、画像座標系上の座標値として表現される。顔画像ＦＩのＩＸ軸方向、ＩＹ軸方向における画素数を、夫々、サイズＸＳＩＺＥ、ＹＳＩＺＥとすることができる。サイズＸＳＩＺＥ及びＹＳＩＺＥの積を記号“ＳＳＩＺＥ”にて表す。即ち“ＳＳＩＺＥ＝（ＸＳＩＺＥ×ＹＳＩＺＥ）”である。サイズＸＳＩＺＥ、ＹＳＩＺＥ及びＳＳＩＺＥは何れも顔画像ＦＩのサイズを表す量である。サイズＸＳＩＺＥ及びＹＳＩＺＥは顔画像ＦＩの一次元方向の大きさで顔画像ＦＩのサイズを表しており、サイズＳＳＩＺＥは顔画像ＦＩの面積で顔画像ＦＩのサイズを表している。顔検出処理においてカメラ画像ＣＩから顔画像ＦＩが検出されたとき、顔検出部３１は、顔画像ＦＩの中心位置ＰＰ並びに顔画像ＦＩのサイズＸＳＩＺＥ、ＹＳＩＺＥ及びＳＳＩＺＥを含む顔検出データを生成する（図２参照）。顔検出データは乗降車判定部３２及び個人識別部３４に送られる。図５に示される記号“ＦＳＩＺＥ”については後述される。
【0030】
乗降車判定部３２は動き検出部３２ａを有する。動き検出部３２ａは、顔検出データに基づき、必要に応じてカメラ画像データを参照しつつ顔画像ＦＩの動きを検出する。検出される顔画像ＦＩの動きは、カメラ画像列内における画像座標系上の顔画像ＦＩの動きである。実空間上で（即ちワールド座標系上で）顔画像ＦＩに対応する顔の位置が変化すれば、変化の方向に依るが、画像座標系上においても顔画像ＦＩの位置が変化する。詳細な具体例は後述されるが、カメラ部２０に含まれる１以上の単位カメラは、乗車する乗客の顔又は降車する乗客の顔を撮影可能な位置及び取り付け角度にてバス１に設置されている。このため、乗車する乗客又は降車する乗客の顔の画像を含んだカメラ画像ＣＩをカメラ部２０にて取得することができる。
【0031】
乗降車判定部３２は、各カメラ画像ＣＩにおける顔画像ＦＩのサイズと、カメラ画像列における顔画像ＦＩの動き（即ち動き検出部３２の検出結果）と、に基づいて、乗降車判定処理を行う。乗降車判定処理は後述の乗車判定処理及び降車判定処理から成り、乗降車判定処理において、乗降車判定部３２は、顔画像ＦＩに対応する人物が、バス１に乗車する人物（乗客）であるのか否か、又は、バス１から降車する人物（乗客）であるのか否かを判定する。この判定に参照される顔画像ＦＩのサイズを、以下、顔画像サイズと称し、必要に応じて記号“ＦＳＩＺＥ”により参照する。乗降車判定部３２は、サイズＸＳＩＺＥ、ＹＳＩＺＥ及びＳＳＩＺＥの内の任意の何れかに比例する量を顔画像サイズＦＳＩＺＥとして用いることができるが（図５参照；比例係数は１でも良い）、通常は、サイズＳＳＩＺＥを顔画像サイズＦＳＩＺＥとして用いて良い。
【0032】
バス１に乗り込むべく乗車口又は乗降車口を通過する人物の顔を所定位置に設置されたカメラで撮影したとき、顔画像サイズＦＳＩＺＥ及び顔画像ＦＩの動きに、乗車する乗客固有の特徴が内在する。同様に、バス１から降りるべく降車口又は乗降車口を通過する人物の顔を所定位置に設置されたカメラで撮影したとき、顔画像サイズＦＳＩＺＥ及び顔画像ＦＩの動きに、降車する乗客固有の特徴が内在する。これに着眼し、上述の乗降車判定部３２を設ける。これにより、乗客の乗車又は降車を精度良く検出することが可能となる。
【0033】
個人識別用データ保持部３３は登録人物についての個人識別用データを保持する。個人識別用データ保持部３３は、個人識別用データを不揮発メモリによって保持しても良い。登録人物の人数は１以上であり、登録人物が複数存在するとき、登録人物ごとの個人識別用データが保持部３３に保持される。登録人物は、バスサービスシステムＳＹＳに対して予め登録された人物である。以下では、登録人物が複数存在するものとする。
【0034】
個人識別部３４は、カメラ画像データ及び顔検出データと保持部３３に保持される個人識別用データとに基づいて、カメラ画像ＣＩに含まれる顔画像ＦＩに対応する人物の個人識別（換言すれば個人認証）を行う。個人識別により、顔画像ＦＩに対応する人物が何れの登録人物と合致するかが特定される、或いは、顔画像ＦＩに対応する人物が何れの登録人物にも合致しないと判断される。
【0035】
個人識別用データはバス１を利用する人物の個人識別を行うために有益なデータであり、或る登録人物についての個人識別用データは当該登録人物の顔情報を含む。登録人物の顔情報は、登録人物の顔を撮影した画像そのものであっても良いし、それに加えて又はそれに代えて、登録人物の顔の撮影画像から抽出した登録人物の顔の特徴量データであっても良い。何れにせよ、カメラ画像ＣＩに或る人物の顔画像ＦＩが含まれている場合において、当該人物が特定の登録人物と一致するとき、特定の登録人物の個人識別用データと、特定の登録人物の顔画像ＦＩを含むカメラ画像ＣＩとに基づき、必要に応じて顔検出データを参照しつつ、個人識別部３４により、当該カメラ画像ＣＩ中の顔画像ＦＩに対応する人物は特定の登録人物であると判断される。尚、個人識別用データは、サーバ装置ＳＶから通信部４０を介して信号処理部３０に提供されるものであって良い。
【0036】
日時データ取得部３５は現在の日付及び時刻を表す日時データを取得する。地点データ取得部３６はバス１の現在地を表す地点データを取得する。地点データ取得部３６はＧＰＳ（Global Positioning System）を用いて地点データを取得して良い。
【0037】
乗降車管理部３７は、メモリ３７ａを有し、バス１の乗客に関する情報を管理して管理情報をメモリ３７ａに保存する。メモリ３７ａは、フラッシュメモリ等の不揮発性メモリで構成されて良い。例えば、乗降車管理部３７は、特定の時間帯又は特定のバス運行区間内においてバス１に乗車した乗客の人数をカウントする乗車客数カウント処理、及び、特定の時間帯又は特定のバス運行区間内においてバス１から降車した乗客の人数をカウントする降車客数カウント処理を実行できて良く、この場合、乗車客数カウント処理によるカウント値及び降車客数カウント処理によるカウント値をメモリ３７ａに保存することができる。
【0038】
また、乗降車管理部３７は、図６に示すような、１以上の乗降車データセットから成る乗降車データベースＤＢを生成してメモリ３７ａに保存しても良い。特定の登録人物がバス１の乗客となったとき、日時データ及び地点データを利用しつつ乗降車データセットが生成され、特定の登録人物に対する乗降車データセットは、特定の登録人物の個人ＩＤと、特定の登録人物のバス１への乗車日時及びバス１からの降車日時を表すデータと、特定の登録人物のバス１への乗車地点を表すデータ（例えば乗車したバス停）及びバス１からの降車地点を表すデータ（例えば降車したバス停）と、を互いに関連付けた状態で含む。
【0039】
通信部４０は、所定の無線通信網を介しサーバ装置ＳＶと任意の信号及びデータの双方向通信を行う。信号処理部３０は、通信部４０を用いてサーバ装置ＳＶと双方向通信が可能である。メモリ３７ａに保存される任意の情報が通信部４０を介してサーバ装置ＳＶに提供されて良い。乗降車管理部３７又はメモリ３７ａはサーバ装置ＳＶに設けられるものであっても良い。故に、乗降車データベースＤＢはサーバ装置ＳＶにて生成又は管理されるデータベースであっても良い。
【0040】
登録人物は、バスサービスシステムＳＹＳにおいて、オート決裁機能を利用できる。オート決裁機能において、サーバ装置ＳＶは、乗降車データベースＤＢを用い、各登録人物のバス１の利用に対する運賃の自動決済を行う。尚、サーバ装置ＳＶは、決裁を行うために必要な各登録人物の決済情報（クレジットカード情報又は銀行口座情報や、それらに紐付けられた電子決済サービスの個人情報）を保持している。オート決裁機能を利用する際、登録人物は、バス１の乗車又は降車に際し、運賃箱３への現金投入により運賃の支払いを行う必要はなく、所定のカードを運賃箱３のカードリーダに読み込ませることによる運賃の支払いを行う必要も無い。
【0041】
以下、複数の実施例の中で、バスサービスシステムＳＹＳに関する幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。
【0042】
＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、乗客の乗車の検出にのみ注目し、乗車の検出のための構成及び動作の例を説明する。第１実施例では、単位カメラの１つとしてカメラ２１がカメラ部２０に設けられ、図７に示す如く、カメラ２１は運転席２の近傍の所定位置Ｐ２１に設置される。図７において、斜線領域ＳＲ２１はカメラ２１の撮影領域を表している。カメラ２１の光軸はＷＸ軸に平行であって且つ所定位置Ｐ２１から扉４に向けて伸びており、撮影領域ＳＲ２１は所定位置Ｐ２１から扉４に向けて（即ちＷＸ軸の負側に向けて）広がる扇型状の領域である。当該扇型の中心角はカメラ２１の撮影画角に対応する値を持つ。第１実施例において、扉４及び通路７によりバス１の乗車口又は乗降車口が形成される。カメラ２１は、扉４及び通路７を通じて乗車する人物（バス１に乗車するために移動する人物）を撮影可能な位置に配置される。第１実施例における以下のカメラ画像ＣＩは、カメラ２１の撮影に基づくカメラ画像ＣＩを指す。
第１実施例を説明する。第１実施例では、乗客の乗車の検出にのみ注目し、乗車の検出のための構成及び動作の例を説明する。第１実施例では、単位カメラの１つとしてカメラ２１がカメラ部２０に設けられ、図７に示す如く、カメラ２１は運転席２の近傍の所定位置Ｐ２１に設置される。図７において、斜線領域ＳＲ２１はカメラ２１の撮影領域を表している。カメラ２１の光軸はＷＸ軸に平行であって且つ所定位置Ｐ２１から扉４に向けて伸びており、撮影領域ＳＲ２１は所定位置Ｐ２１から扉４に向けて（即ちＷＸ軸の負側に向けて）広がる扇型状の領域である。当該扇型の中心角はカメラ２１の撮影画角に対応する値を持つ。第１実施例において、扉４及び通路７によりバス１の乗車口又は乗降車口が形成される。カメラ２１は、扉４及び通路７を通じて乗車する人物（バス１に乗車するために移動する人物）を撮影可能な位置に配置される。第１実施例における以下のカメラ画像ＣＩは、カメラ２１の撮影に基づくカメラ画像ＣＩを指す。
【0043】
今、図８に示す如く、人物ＰＳが、移動軌跡５１１に沿って移動した後、移動軌跡５１２に沿って移動することで、バス１に乗車するケースを考える。移動軌跡５１１は、バス１の外側の位置５１３からバス１内の位置であって運賃箱３の左横の位置５１４に向かう軌跡である。移動軌跡５１２は、バス１内の位置５１４からバス１内の位置５１５に向かう軌跡であって、位置５１５は位置５１４をＷＹ軸に沿ってＷＹ軸の負側に所定距離だけ平行移動した位置であるとする。つまり、人物ＰＳは、バス１へ乗車する際、移動軌跡５１１に沿ってバス１の外側から内側に移動し、その移動の過程で扉４及び通路７から成る乗車口又は乗降車口を通過し、その後、移動軌跡５１２に沿って（バス１の後側に向けて）移動する。
【0044】
乗降車判定部３２は顔検出部３１と協働してカメラ画像ＣＩに基づく乗車判定処理を行う。人物ＰＳが図８に示す移動軌跡５１１及び５１２に沿って移動することでバス１に乗車する際、図９に示す如く、移動軌跡５１１に沿って人物ＰＳが移動する過程で、カメラ画像ＣＩ中の人物ＰＳの顔画像サイズは徐々に増大していった後に所定の基準サイズ以上となることが期待され、更に、移動軌跡５１２に沿って人物ＰＳが移動する過程で人物ＰＳの顔画像が画像座標系上で所定の向きに移動していって、最終的には所謂フレームアウトが発生することが期待される。このような特性を考慮して乗車判定処理を行う。
【0045】
図１０は乗車判定処理のフローチャートである。撮影領域ＳＲ２１内に位置する人物であって顔検出部３１により顔が検出された人物の夫々が対象人物として取り扱われ、各対象人物に対し乗車判定処理を行うことができる。図１０の対象人物に関する乗車判定処理において、顔画像サイズＦＳＩＺＥとは対象人物の顔画像サイズＦＳＩＺＥを指す。対象人物（例えば人物ＰＳ）の顔画像ＦＩを夫々に含んだ複数のカメラ画像ＣＩを有するカメラ画像列５２０（図９参照）に注目する。カメラ画像列５２０は、カメラ２１の撮影結果に基づく時系列上に並んだカメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］から成る。図９には、カメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］の全部又は一部であるカメラ画像ＣＩ［ｋ－４］～ＣＩ［ｋ＋４］が示されている。ｋ、ＮＡ及びＮＢは任意の正の整数である（但し、本例において“ＮＡ≧４”且つ“ＮＢ≧４”）。カメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］は、夫々、時刻ｔ［ｋ－ＮＡ］～ｔ［ｋ＋ＮＢ］にて撮影及び取得されたカメラ画像ＣＩである。カメラ画像列５２０の撮影期間５３０は、時刻ｔ［ｋ－ＮＡ］から時刻ｔ［ｋ＋ＮＢ］までの期間である。対象人物の顔がカメラ２１により撮影される期間の全部が、撮影期間５３０に相当する、又は、撮影期間５３０に内包される。
【0046】
乗車判定処理では、対象人物がバス１に乗車したか否かが判定される。図１０の乗車判定処理はステップＳ１１～Ｓ１５の処理から成る。
【0047】
図１０の乗車判定処理では、まずステップＳ１１の処理が実行される。ステップＳ１１では、第１乗車判定条件の充足又は不充足が判定される。具体的には、ステップＳ１１では、対象人物について顔画像サイズ増大期間が存在するか否かが判定される。対象人物について、顔画像サイズ増大期間が存在するとき、第１乗車判定条件が充足して（ステップＳ１１においてＹ）ステップＳ１１からステップＳ１２に進み、顔画像サイズ増大期間が存在しないとき、第１乗車判定条件が充足せずに（ステップＳ１１においてＮ）ステップＳ１１からステップＳ１５に進む。
【0048】
対象人物について、顔画像サイズ増大期間とは、時間経過と共に対象人物の顔画像サイズＦＳＩＺＥが増大する期間（例えば徐々に増大する期間）を指す。例えば、撮影期間５３０内にて検出される顔画像サイズＦＳＩＺＥを所定間隔（例えば０．２秒間隔）で抽出し、抽出した複数の顔画像サイズＦＳＩＺＥにおいて、顔画像サイズＦＳＩＺＥが徐々に増大する期間が存在するとき顔画像サイズ増大期間が存在すると判定し、顔画像サイズＦＳＩＺＥが徐々に増大する期間が存在しないとき顔画像サイズ増大期間が存在しないと判定する。図９の例では、時刻ｔ［ｋ－４］及びｔ［ｋ－１］間の期間において時間経過と共に顔画像サイズＦＳＩＺＥが増大しているため、顔画像サイズ増大期間が存在すると判定される。尚、所定時間（例えば１秒）以上の期間に亘って時間経過と共に顔画像サイズＦＳＩＺＥが増大している期間が存在しているときに限り、当該期間を顔画像サイズ増大期間とみなすようにして良い。微小期間だけ顔画像サイズＦＳＩＺＥが増大するような状況を無視するためである。
【0049】
ステップＳ１２では、第２乗車判定条件の充足又は不充足が判定される。具体的には、ステップＳ１２では、第１乗車判定条件の充足を経て所定の基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥが検出されたか否かが判定され、その判定が“肯定”であるとき第２乗車判定条件が充足し（ステップＳ１２においてＹ）、その判定が“否定”であるとき第２乗車判定条件は不充足となる（ステップＳ１２においてＮ）。即ち、対象人物について、顔画像サイズ増大期間の後、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥが検出されたときに第２乗車判定条件が充足し、それ以外では第２乗車判定条件が充足しない。
【0050】
図９の例では、時刻ｔ［ｋ－４］及びｔ［ｋ－１］間の期間（顔画像サイズ増大期間）の後、時刻ｔ［ｋ］で撮影及び取得されるカメラ画像ＣＩ［ｋ］から基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥが検出されることが想定されている。このため、第２乗車判定条件が充足する。ステップＳ１２において、第２乗車判定条件が充足する場合にはステップＳ１３に進み、第２乗車判定条件が充足しない場合にはステップＳ１５に進む。
【0051】
ステップＳ１３では、第３乗車判定条件の充足又は不充足が判定される。具体的には、ステップＳ１３では、第２乗車判定条件の充足を経て対象人物の顔画像ＦＩが所定の乗車対応向きに移動したか否かが判定され、その判定が“肯定”であるとき第３乗車判定条件が充足し（ステップＳ１３においてＹ）、その判定が“否定”であるとき第３乗車判定条件は不充足となる（ステップＳ１３においてＮ）。つまり、図９のカメラ画像列５２０において、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出されたことを前提に、その後に取得される複数のカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋ＮＢ］において（換言すればカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋ＮＢ］から成る動画像において）顔画像ＦＩが所定の乗車対応向きに移動している場合に第３乗車判定条件が充足する。
【0052】
図８の如く設置されたカメラ２１が用いられる場合において、被写体が位置５１４から位置５１５へと移動すると、当該被写体は画像座標系上でＩＸ軸の負側から正側に移動するものとする（図４参照）。この移動の向きが乗車対応向きに設定される。故に、第１実施例において、乗車対応向きはＩＸ軸の負側から正側に向かう向きである。図９の例では、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出された後、カメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋４］から成る動画像の中で顔画像ＦＩが乗車対応向き（ＩＸ軸の負側から正側に向かう向き）に向けて移動することが想定されている。このため、第３乗車判定条件が充足する。
【0053】
尚、顔画像ＦＩが乗車対応向きに向けて移動するとは、顔画像ＦＩの移動が乗車対応向きへの移動の成分を含んでいるという意味であり、顔画像ＦＩの移動が乗車対応向きに直交する方向への移動成分を含んでいても、顔画像ＦＩの移動が乗車対応向きへの移動の成分を含んでいるのであれば、顔画像ＦＩが乗車対応向きに向けて移動すると解釈される。また、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出された後（即ち時刻ｔ［ｋ］の後）、所定時間（例えば０．５秒）以上の期間に亘って顔画像ＦＩが乗車対応向きに向けて移動する期間が存在しているときに限り、第３乗車判定条件が充足すると判定するようにしても良い。微小期間だけ顔画像ＦＩが移動するような状況を無視するためである。ステップＳ１３において、第３乗車判定条件が充足する場合にはステップＳ１４に進み、第３乗車判定条件が充足しない場合にはステップＳ１５に進む。
【0054】
ステップＳ１４では対象人物がバス１に乗車したと判定される（即ち対象人物がバス１に乗車する乗客であると判定される）。ステップＳ１５では対象人物がバス１に乗車していないと判定される。ステップＳ１４又はＳ１５の判定を以って図１０の乗車判定処理が終了する。
【0055】
図１０の乗車判定処理からステップＳ１１の処理を省略しても良い。即ち、図１０の乗車判定処理を変形し、図１１の乗車判定処理を行うようにしても良い。図１１の乗車判定処理では、ステップＳ１１が省略されているので第１乗車判定条件の充足又は不充足は判定されない。図１１の乗車判定処理では、第１乗車判定条件の充足又は不充足に関係なく、第２及び第３乗車判定条件の双方が充足している場合には（ステップＳ１２及びＳ１３の双方においてＹ）対象人物がバス１に乗車したと判定され、それ以外の場合には（ステップＳ１２又はＳ１３においてＮ）対象人物がバス１に乗車していないと判定される。図１１の乗車判定処理では、ステップＳ１１が省略されているが故に、ステップＳ１２において第１乗車判定条件に関わる考慮は行われない。即ち、図１１の乗車判定処理におけるステップＳ１２では、顔画像サイズ増大期間の存否に関係なく、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥが検出されたときに第２乗車判定条件が充足する。
【0056】
このように、乗車客用カメラとして機能するカメラ２１はバス１に乗車する人物（詳細にはバス１に乗車するために移動する人物）を撮影可能な位置に配置され、カメラ２１にて対象人物（例えば人物ＰＳ）の顔画像ＦＩを含むカメラ画像列（５２０）が取得される。図１０又は図１１の乗車判定処理を用いる場合、乗降車判定部３２は、カメラ画像列（５２０）における特定のカメラ画像ＣＩ（図９の例においてカメラ画像ＣＩ［ｋ］）において所定の基準サイズＲＥＦ１以上のサイズを有する顔画像ＦＩが検出された後（ステップＳ１２のＹ）、カメラ画像列（５２０）における特定のカメラ画像ＣＩ以降の複数のカメラ画像ＣＩ（図９の例においてカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋４］）において顔画像ＦＩの所定の乗車対応向きへの移動が検出されたとき（ステップＳ１３のＹ）、顔画像ＦＩに対応する対象人物（例えば人物ＰＳ）が、バス１に乗車する人物（バス１に乗車するために移動する人物）であると判定する（ステップＳ１４）。
【0057】
このような乗車判定処理により乗客の乗車を精度良く検出することが可能となる。特に、第３乗車判定条件を考慮することにより、運賃箱３付近までバス１内に入って来たものの、そのままバス１から出ていく人物（例えば運転手にバス１の行き先を尋ねて、その結果を受けてバス１から出ていく人物）を、誤ってバス１に乗車した人物と誤認識することが抑制される。
【0058】
図１０の乗車判定処理を用いる場合にあっては、乗降車判定部３２は、カメラ画像列（５２０）における特定のカメラ画像ＣＩ以前の複数のカメラ画像（図９の例においてカメラ画像ＣＩ［ｋ－４］～ＣＩ［ｋ－１］）において顔画像ＦＩのサイズが時間経過とともに増大し（ステップＳ１１のＹ）、且つ、特定のカメラ画像ＣＩ（図９の例においてカメラ画像ＣＩ［ｋ］）において所定の基準サイズＲＥＦ１以上のサイズを有する顔画像ＦＩが検出された後（ステップＳ１２のＹ）、カメラ画像列（５２０）における特定のカメラ画像ＣＩ以降の複数のカメラ画像ＣＩ（図９の例においてカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋４］）において顔画像ＦＩの所定の乗車対応向きへの移動が検出されたとき（ステップＳ１３のＹ）、顔画像ＦＩに対応する対象人物（例えば人物ＰＳ）が、バス１に乗車する人物（バス１に乗車するために移動する人物）であると判定する（ステップＳ１４）。このような乗車判定処理により乗客の乗車を更に精度良く検出することが可能となる。
【0059】
【0060】
第１乗車判定条件の充足又は不充足を考慮して、信頼度を付加した形で乗車の有無判定を行っても良い。即ち図１２の乗車判定処理を行うようにしても良い。図１２の乗車判定処理もステップＳ１１～Ｓ１５の処理から成る。但し、図１０の乗車判定処理とは以下の点で相違する。
【0061】
図１２の乗車判定処理では、ステップＳ１１の第１乗車判定条件の充足又は不充足の判定は行うが、第１乗車判定条件の充足又は不充足に関係なく、ステップＳ１２に進んで第２乗車判定条件の充足又は不充足を判定するようにする。この際、ステップＳ１１にて第１乗車判定条件が充足している場合に限り（ステップＳ１１においてＹ）、初期値がゼロの所定の評価値ＶＡに“１”を加算する。そして、第１乗車判定条件が充足している場合にあっては、顔画像サイズ増大期間の後、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥが検出されたときに第２乗車判定条件が充足すると判定し（ステップＳ１１のＹを経由してステップＳ１２においてＹ）、それ以外では第２乗車判定条件が充足しないと判定する（ステップＳ１１のＹを経由してステップＳ１２においてＮ）。第１乗車判定条件が充足していない場合にあっては（ステップＳ１１においてＮ）、顔画像サイズ増大期間が検出されていないので顔画像サイズ増大期間の存否に関係なく、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥが検出されたときに第２乗車判定条件が充足すると判定し（ステップＳ１１のＮを経由してステップＳ１２においてＹ）、それ以外では第２乗車判定条件が充足しないと判定する（ステップＳ１１のＮを経由してステップＳ１２においてＮ）。ステップＳ１２において第２乗車判定条件が充足すると判定された場合に限り（ステップＳ１２においてＹ）、評価値ＶＡに“１”を加算する。第２乗車判定条件の充足後に進むステップＳ１３の処理は上述したとおりである。但し、ステップＳ１３において第３乗車判定条件が充足すると判定された場合に限り（ステップＳ１３においてＹ）、評価値ＶＡに“１”を加算する。
【0062】
これにより、図１２の乗車判定処理において、第１～第３乗車判定条件が全て充足する場合には“ＶＡ＝３”の状態でステップＳ１４に進み、第１乗車判定条件が不充足で且つ第２及び第３乗車判定条件が充足する場合には“ＶＡ＝２”の状態でステップＳ１４に進む。第２又は第３乗車判定条件が充足しない場合にはステップＳ１５に進む。ステップＳ１４では対象人物がバス１に乗車したと判定される（即ち対象人物がバス１に乗車する乗客であると判定される）。ステップＳ１５では対象人物がバス１に乗車してないと判定される。ステップＳ１４又はＳ１５の判定を以って図１２の乗車判定処理が終了する。
【0063】
評価値ＶＡは対象人物がバス１に乗車したとの判定の信頼度を表す。乗降車判定部３２は、信頼度を表す評価値ＶＡを付加した乗車判定処理の結果を乗降車管理部３７に出力することができる。乗降車管理部３７は、例えば、対象人物がバス１に乗車したと判定された場合において、評価値ＶＡの値が“２”であるときには対象人物に対してオート決裁機能による決済（クレジット決済等）を許可せず、評価値ＶＡの値が“３”であるときには対象人物に対してオート決裁機能による決済を許可する、といったことが可能である。乗車人数を単にカウントする用途では“ＶＡ＝２”であっても問題は生じない又は少ないかもしれないが、オート決裁機能による決済（クレジット決済等）を利用する場合には高い信頼度を要求すべきだからである。
【0064】
＜＜第２実施例＞＞
第２実施例を説明する。第２実施例では、乗客の降車の検出にのみ注目し、降車の検出のための構成及び動作の例を説明する。第２実施例では、単位カメラの１つとしてカメラ２２がカメラ部２０に設けられ、図１３に示す如く、カメラ２２は運転席２の近傍の所定位置Ｐ２２に設置される。図１３において、斜線領域ＳＲ２２はカメラ２２の撮影領域を表している。カメラ２２の光軸はＷＹ軸に平行であって且つ所定位置Ｐ２２からバス１の後方に向けて伸びており、撮影領域ＳＲ２２は所定位置Ｐ２２からバス１の後方に向けて（即ちＷＹ軸の負側に向けて）広がる扇型状の領域である。当該扇型の中心角はカメラ２２の撮影画角に対応する値を持つ。第２実施例において、扉４及び通路７によりバス１の降車口又は乗降車口が形成される。カメラ２２は、扉４及び通路７を通じて降車する人物（バス１から降車するために移動する人物）を撮影可能な位置に配置される。第２実施例における以下のカメラ画像ＣＩは、カメラ２２の撮影に基づくカメラ画像ＣＩを指す。
第２実施例を説明する。第２実施例では、乗客の降車の検出にのみ注目し、降車の検出のための構成及び動作の例を説明する。第２実施例では、単位カメラの１つとしてカメラ２２がカメラ部２０に設けられ、図１３に示す如く、カメラ２２は運転席２の近傍の所定位置Ｐ２２に設置される。図１３において、斜線領域ＳＲ２２はカメラ２２の撮影領域を表している。カメラ２２の光軸はＷＹ軸に平行であって且つ所定位置Ｐ２２からバス１の後方に向けて伸びており、撮影領域ＳＲ２２は所定位置Ｐ２２からバス１の後方に向けて（即ちＷＹ軸の負側に向けて）広がる扇型状の領域である。当該扇型の中心角はカメラ２２の撮影画角に対応する値を持つ。第２実施例において、扉４及び通路７によりバス１の降車口又は乗降車口が形成される。カメラ２２は、扉４及び通路７を通じて降車する人物（バス１から降車するために移動する人物）を撮影可能な位置に配置される。第２実施例における以下のカメラ画像ＣＩは、カメラ２２の撮影に基づくカメラ画像ＣＩを指す。
【0065】
今、図１４に示す如く、人物ＰＳが、移動軌跡５６１に沿って移動した後、移動軌跡５６２に沿って移動することで、バス１から降車するケースを考える。移動軌跡５６１は、バス１内の中央付近の位置５６３からバス１内の位置であって運賃箱３の左横の位置５６４に向かう軌跡である。移動軌跡５６２は、バス１内の位置５６４からバス１外の位置５６５に向かう軌跡であって、位置５６５は位置５６４をＷＸ軸に沿ってＷＸ軸の負側に所定距離だけ平行移動した位置であるとする。つまり、人物ＰＳは、バス１から降車する際、移動軌跡５６１に沿ってバス１内を移動した後、移動軌跡５６２に沿って扉４及び通路７から成る降車口又は乗降車口を通過する。
【0066】
乗降車判定部３２は顔検出部３１と協働してカメラ画像ＣＩに基づく降車判定処理を行う。人物ＰＳが図１４に示す移動軌跡５６１及び５６２に沿って移動することでバス１から降車する際、図１５に示す如く、移動軌跡５６１に沿って人物ＰＳが移動する過程で、カメラ画像ＣＩ中の人物ＰＳの顔画像サイズは徐々に増大していった後に所定の基準サイズ以上となることが期待され、更に、移動軌跡５６２に沿って人物ＰＳが移動する過程で人物ＰＳの顔画像が画像座標系上で所定の向きに移動していって、最終的には所謂フレームアウトが発生することが期待される。このような特性を考慮して降車判定処理を行う。
【0067】
図１６は降車判定処理のフローチャートである。撮影領域ＳＲ２２内に位置する人物であって顔検出部３１により顔が検出された人物の夫々が対象人物として取り扱われ、各対象人物に対し降車判定処理を行うことができる。図１６の対象人物に関する降車判定処理において、顔画像サイズＦＳＩＺＥとは対象人物の顔画像サイズＦＳＩＺＥを指す。対象人物（例えば人物ＰＳ）の顔画像ＦＩを夫々に含んだ複数のカメラ画像ＣＩを有するカメラ画像列５７０（図１５参照）に注目する。カメラ画像列５７０は、カメラ２２の撮影結果に基づく時系列上に並んだカメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］から成る。図１５には、カメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］の全部又は一部であるカメラ画像ＣＩ［ｋ－４］～ＣＩ［ｋ＋４］が示されている。ｋ、ＮＡ及びＮＢは任意の正の整数である（但し、本例において“ＮＡ≧４”且つ“ＮＢ≧４”）。カメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］は、夫々、時刻ｔ［ｋ－ＮＡ］～ｔ［ｋ＋ＮＢ］にて撮影及び取得されたカメラ画像ＣＩである。カメラ画像列５７０の撮影期間５８０は、時刻ｔ［ｋ－ＮＡ］から時刻ｔ［ｋ＋ＮＢ］までの期間である。対象人物の顔がカメラ２２により撮影される期間の全部が、撮影期間５８０に相当する、又は、撮影期間５８０に内包される。
【0068】
降車判定処理では、対象人物がバス１から降車したか否かが判定される。図１６の降車判定処理はステップＳ２１～Ｓ２５の処理から成る。
【0069】
図１６の降車判定処理では、まずステップＳ２１の処理が実行される。ステップＳ２１では、第１降車判定条件の充足又は不充足が判定される。具体的には、ステップＳ２１では、対象人物について顔画像サイズ増大期間が存在するか否かが判定される。対象人物について、顔画像サイズ増大期間が存在するとき、第１降車判定条件が充足して（ステップＳ２１においてＹ）ステップＳ２１からステップＳ２２に進み、顔画像サイズ増大期間が存在しないとき、第１降車判定条件が充足せずに（ステップＳ２１においてＮ）ステップＳ２１からステップＳ２５に進む。
【0070】
対象人物について、顔画像サイズ増大期間とは、上述したように、時間経過と共に対象人物の顔画像サイズＦＳＩＺＥが増大する期間（例えば徐々に増大する期間）を指す。例えば、撮影期間５８０内にて検出される顔画像サイズＦＳＩＺＥを所定間隔（例えば０．２秒間隔）で抽出し、抽出した複数の顔画像サイズＦＳＩＺＥにおいて、顔画像サイズＦＳＩＺＥが徐々に増大する期間が存在するとき顔画像サイズ増大期間が存在すると判定し、顔画像サイズＦＳＩＺＥが徐々に増大する期間が存在しないとき顔画像サイズ増大期間が存在しないと判定する。図１５の例では、時刻ｔ［ｋ－４］及びｔ［ｋ－１］間の期間において時間経過と共に顔画像サイズＦＳＩＺＥが増大しているため、顔画像サイズ増大期間が存在すると判定される。尚、所定時間（例えば１秒）以上の期間に亘って時間経過と共に顔画像サイズＦＳＩＺＥが増大している期間が存在しているときに限り、当該期間を顔画像サイズ増大期間とみなすようにして良い。微小期間だけ顔画像サイズＦＳＩＺＥが増大するような状況を無視するためである。
【0071】
ステップＳ２２では、第２降車判定条件の充足又は不充足が判定される。具体的には、ステップＳ２２では、第１降車判定条件の充足を経て所定の基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されたか否かが判定され、その判定が“肯定”であるとき第２降車判定条件が充足し（ステップＳ２２においてＹ）、その判定が“否定”であるとき第２降車判定条件は不充足となる（ステップＳ２２においてＮ）。即ち、対象人物について、顔画像サイズ増大期間の後、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されたときに第２降車判定条件が充足し、それ以外では第２降車判定条件が充足しない。尚、基準サイズＲＥＦ２は上述の基準サイズＲＥＦ１とは異なる（但し、それらの値が偶然一致することもあり得る）。
【0072】
図１５の例では、時刻ｔ［ｋ－４］及びｔ［ｋ－１］間の期間（顔画像サイズ増大期間）の後、時刻ｔ［ｋ］で撮影及び取得されるカメラ画像ＣＩ［ｋ］から基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されることが想定されている。このため、第２降車判定条件が充足する。ステップＳ２２において、第２降車判定条件が充足する場合にはステップＳ２３に進み、第２降車判定条件が充足しない場合にはステップＳ２５に進む。
【0073】
ステップＳ２３では、第３降車判定条件の充足又は不充足が判定される。具体的には、ステップＳ２３では、第２降車判定条件の充足を経て対象人物の顔画像ＦＩが所定の降車対応向きに移動したか否かが判定され、その判定が“肯定”であるとき（ステップＳ２３においてＹ）第３降車判定条件が充足し、その判定が“否定”であるとき（ステップＳ２３においてＮ）第３降車判定条件は不充足となる。つまり、図１５のカメラ画像列５７０において、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出されたことを前提に、その後に取得される複数のカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋ＮＢ］において（換言すればカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋ＮＢ］から成る動画像において）顔画像ＦＩが所定の降車対応向きに移動している場合に第３降車判定条件が充足する。
【0074】
図１４の如く設置されたカメラ２２が用いられる場合において、被写体が位置５６４から位置５６５へと移動すると、当該被写体は画像座標系上でＩＸ軸の正側から負側に移動するものとする（図４参照）。この移動の向きが降車対応向きに設定される。故に、第２実施例において、降車対応向きはＩＸ軸の正側から負側に向かう向きである。図１５の例では、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出された後、カメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋４］から成る動画像の中で顔画像ＦＩが降車対応向き（ＩＸ軸の正側から負側に向かう向き）に向けて移動することが想定されている。このため、第３降車判定条件が充足する。
【0075】
尚、顔画像ＦＩが降車対応向きに向けて移動するとは、顔画像ＦＩの移動が降車対応向きへの移動の成分を含んでいるという意味であり、顔画像ＦＩの移動が降車対応向きに直交する方向への移動成分を含んでいても、顔画像ＦＩの移動が降車対応向きへの移動の成分を含んでいるのであれば、顔画像ＦＩが降車対応向きに向けて移動すると解釈される。また、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出された後（即ち時刻ｔ［ｋ］の後）、所定時間（例えば０．５秒）以上の期間に亘って顔画像ＦＩが降車対応向きに向けて移動する期間が存在しているときに限り、第３降車判定条件が充足すると判定するようにしても良い。微小期間だけ顔画像ＦＩが移動するような状況を無視するためである。ステップＳ２３において、第３降車判定条件が充足する場合には（ステップＳ２３においてＹ）ステップＳ２４に進み、第３降車判定条件が充足しない場合には（ステップＳ２３においてＮ）ステップＳ２５に進む。
【0076】
ステップＳ２４では対象人物がバス１から降車したと判定される（即ち対象人物がバス１から降車した乗客であると判定される）。ステップＳ２５では対象人物がバス１から降車していないと判定される。ステップＳ２４又はＳ２５の判定を以って図１６の降車判定処理が終了する。
【0077】
図１６の降車判定処理からステップＳ２１の処理を省略しても良い。即ち、図１６の降車判定処理を変形し、図１７の降車判定処理を行うようにしても良い。図１７の降車判定処理では、ステップＳ２１が省略されているので第１降車判定条件の充足又は不充足は判定されない。図１７の降車判定処理では、第１降車判定条件の充足又は不充足に関係なく、第２及び第３降車判定条件の双方が充足している場合には（ステップＳ２２及びＳ２３の双方においてＹ）対象人物がバス１から降車したと判定され、それ以外の場合には（ステップＳ２２又はＳ２３においてＮ）対象人物がバス１から降車していないと判定される。図１７の降車判定処理では、ステップＳ２１が省略されているが故に、ステップＳ２２において第１降車判定条件に関わる考慮は行われない。即ち、図１７の降車判定処理におけるステップＳ２２では、顔画像サイズ増大期間の存否に関係なく、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されたときに第２降車判定条件が充足する。
【0078】
このように、降車客用カメラとして機能するカメラ２２はバス１から降車する人物（詳細にはバス１から降車するために移動する人物）を撮影可能な位置に配置され、カメラ２２にて対象人物（例えば人物ＰＳ）の顔画像ＦＩを含むカメラ画像列（５７０）が取得される。図１６又は図１７の降車判定処理を用いる場合、乗降車判定部３２は、カメラ画像列（５７０）における特定のカメラ画像ＣＩ（図１５の例においてカメラ画像ＣＩ［ｋ］）において所定の基準サイズＲＥＦ２以上のサイズを有する顔画像ＦＩが検出された後（ステップＳ２２のＹ）、カメラ画像列（５７０）における特定のカメラ画像ＣＩ以降の複数のカメラ画像ＣＩ（図１５の例においてカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋４］）において顔画像ＦＩの所定の降車対応向きへの移動が検出されたとき（ステップＳ２３のＹ）、顔画像ＦＩに対応する対象人物（例えば人物ＰＳ）が、バス１から降車する人物（バス１から降車するために移動する人物）であると判定する（ステップＳ２４）。
【0079】
このような降車判定処理により乗客の降車を精度良く検出することが可能となる。第２及び第３降車判定条件の双方を考慮することにより、バス１の座席６の最前列付近において降車することなくうろつく人物を、誤ってバス１から降車した人物と誤認識することが抑制される。このためにも、対象人物が運賃箱３近辺にまで近づいて初めて対象人物の顔画像サイズＦＳＩＺＥが基準サイズＲＥＦ２に達するよう、基準サイズＲＥＦ２を定めておくと良い。
【0080】
図１６の降車判定処理を用いる場合にあっては、乗降車判定部３２は、カメラ画像列（５７０）における特定のカメラ画像ＣＩ以前の複数のカメラ画像（図１５の例においてカメラ画像ＣＩ［ｋ－４］～ＣＩ［ｋ－１］）において顔画像ＦＩのサイズが時間経過とともに増大し（ステップＳ２１のＹ）、且つ、特定のカメラ画像ＣＩ（図１５の例においてカメラ画像ＣＩ［ｋ］）において所定の基準サイズＲＥＦ２以上のサイズを有する顔画像ＦＩが検出された後（ステップＳ２２のＹ）、カメラ画像列（５７０）における特定のカメラ画像ＣＩ以降の複数のカメラ画像ＣＩ（図１５の例においてカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋４］）において顔画像ＦＩの所定の降車対応向きへの移動が検出されたとき（ステップＳ２３のＹ）、顔画像ＦＩに対応する対象人物（例えば人物ＰＳ）が、バス１から降車する人物（バス１から降車するために移動する人物）であると判定する（ステップＳ２４）。このような降車判定処理により乗客の降車を更に精度良く検出することが可能となる。
【0081】
【0082】
第１降車判定条件の充足又は不充足を考慮して、信頼度を付加した形で降車の有無判定を行っても良い。即ち図１８の降車判定処理を行うようにしても良い。図１８の降車判定処理もステップＳ２１～Ｓ２５の処理から成る。但し、図１６の降車判定処理とは以下の点で相違する。
【0083】
図１８の降車判定処理では、ステップＳ２１の第１降車判定条件の充足又は不充足の判定は行うが、第１降車判定条件の充足又は不充足に関係なく、ステップＳ２２に進んで第２降車判定条件の充足又は不充足を判定するようにする。この際、ステップＳ２１にて第１降車判定条件が充足している場合に限り（ステップＳ２１においてＹ）、初期値がゼロの所定の評価値ＶＢに“１”を加算する。そして、第１降車判定条件が充足している場合にあっては、顔画像サイズ増大期間の後、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されたときに（ステップＳ２１のＹを経由してステップＳ２２においてＹ）第２降車判定条件が充足すると判定し、それ以外では（ステップＳ２１のＹを経由してステップＳ２２においてＮ）第２降車判定条件が充足しないと判定する。第１降車判定条件が充足していない場合にあっては、顔画像サイズ増大期間が検出されていないので顔画像サイズ増大期間の存否に関係なく、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されたときに（ステップＳ２１のＮを経由してステップＳ２２においてＹ）第２降車判定条件が充足すると判定し、それ以外では（ステップＳ２１のＮを経由してステップＳ２２においてＮ）第２降車判定条件が充足しないと判定する。ステップＳ２２において第２降車判定条件が充足すると判定された場合に限り（ステップＳ２２においてＹ）、評価値ＶＢに“１”を加算する。第２降車判定条件の充足後に進むステップＳ２３の処理は上述したとおりである。但し、ステップＳ２３において第３降車判定条件が充足すると判定された場合に限り（ステップＳ２３においてＹ）、評価値ＶＢに“１”を加算する。
【0084】
これにより、図１８の降車判定処理において、第１～第３降車判定条件が全て充足する場合には“ＶＢ＝３”の状態でステップＳ２４に進み、第１降車判定条件が不充足で且つ第２及び第３降車判定条件が充足する場合には“ＶＢ＝２”の状態でステップＳ２４に進む。第２又は第３降車判定条件が充足しない場合にはステップＳ２５に進む。ステップＳ２４では対象人物がバス１から降車したと判定される（即ち対象人物がバス１から降車する乗客であると判定される）。ステップＳ２５では対象人物がバス１から降車してないと判定される。ステップＳ２４又はＳ２５の判定を以って図１８の降車判定処理が終了する。
【0085】
評価値ＶＢは対象人物がバス１から降車したとの判定の信頼度を表す。乗降車判定部３２は、信頼度を表す評価値ＶＢを付加した降車判定処理の結果を乗降車管理部３７に出力することができる。乗降車管理部３７は、例えば、対象人物がバス１から降車したと判定された場合において、評価値ＶＢの値が“２”であるときには対象人物に対してオート決裁機能による決済（クレジット決済等）を許可せず、評価値ＶＢの値が“３”であるときには対象人物に対してオート決裁機能による決済を許可する、といったことが可能である。降車人数を単にカウントする用途では“ＶＢ＝２”であっても問題は生じない又は少ないかもしれないが、オート決裁機能による決済（クレジット決済等）を利用する場合には高い信頼度を要求すべきだからである。
【0086】
尚、バス１の座席構造によるが、座席６の最前列に座っていた乗客がバス１から降車するべく立ち上がって運賃箱３付近に向かうとき、顔画像サイズ増大期間の検出を経ずに、基準サイズＲＥＦ２以上の顔画像サイズＦＳＩＺＥが検出されることもあり得る。このような事情を考慮して、図１６、図１７及び図１８の何れかの降車判定処理を実行すれば良い。
【0087】
＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、乗客の乗車の検出にのみ注目し、乗車の検出のための構成及び動作の例を説明する。第３実施例では、単位カメラの１つとしてカメラ２３がカメラ部２０に設けられ、図１９に示す如く、カメラ２３はバス１の車内中央付近且つ右端側の所定位置Ｐ２３に設置される。図１９において、斜線領域ＳＲ２３はカメラ２３の撮影領域を表している。カメラ２３の光軸はＷＸ軸に平行であって且つ所定位置Ｐ２３からＷＸ軸の負側に向けて且つ扉５に向けて伸びている。故に、撮影領域ＳＲ２３は所定位置Ｐ２３から扉５に向けて（即ちＷＸ軸の負側に向けて）広がる扇型状の領域である。当該扇型の中心角はカメラ２３の撮影画角に対応する値を持つ。第３実施例において、扉５及び通路８によりバス１の乗車口又は乗降車口が形成される。カメラ２３は、扉５及び通路８を通じて乗車する人物（乗車するために移動する人物）を撮影可能な位置に配置される。第３実施例における以下のカメラ画像ＣＩは、カメラ２３の撮影に基づくカメラ画像ＣＩを指す。
第３実施例を説明する。第３実施例では、乗客の乗車の検出にのみ注目し、乗車の検出のための構成及び動作の例を説明する。第３実施例では、単位カメラの１つとしてカメラ２３がカメラ部２０に設けられ、図１９に示す如く、カメラ２３はバス１の車内中央付近且つ右端側の所定位置Ｐ２３に設置される。図１９において、斜線領域ＳＲ２３はカメラ２３の撮影領域を表している。カメラ２３の光軸はＷＸ軸に平行であって且つ所定位置Ｐ２３からＷＸ軸の負側に向けて且つ扉５に向けて伸びている。故に、撮影領域ＳＲ２３は所定位置Ｐ２３から扉５に向けて（即ちＷＸ軸の負側に向けて）広がる扇型状の領域である。当該扇型の中心角はカメラ２３の撮影画角に対応する値を持つ。第３実施例において、扉５及び通路８によりバス１の乗車口又は乗降車口が形成される。カメラ２３は、扉５及び通路８を通じて乗車する人物（乗車するために移動する人物）を撮影可能な位置に配置される。第３実施例における以下のカメラ画像ＣＩは、カメラ２３の撮影に基づくカメラ画像ＣＩを指す。
【0088】
今、図２０に示す如く、人物ＰＳが、移動軌跡６１１に沿って移動した後、移動軌跡６１２ａ又は６１２ｂに沿って移動することで、バス１に乗車するケースを考える。移動軌跡６１１はバス１の外側の位置６１３からバス１内の位置６１４に向かう軌跡である。位置６１４は位置６１３をＷＸ軸に沿ってＷＸ軸の正側に所定距離だけ平行移動した位置であるとする。移動軌跡６１２ａはバス１内の位置６１４からバス１内の位置６１５ａに向かう軌跡であり、移動軌跡６１２ｂはバス１内の位置６１４からバス１内の位置６１５ｂに向かう軌跡である。位置６１５ａは位置６１４をＷＹ軸に沿ってＷＹ軸の負側に所定距離だけ平行移動した位置であるとし、位置６１５ｂは位置６１４をＷＹ軸に沿ってＷＹ軸の正側に所定距離だけ平行移動した位置であるとする。つまり、人物ＰＳは、バス１へ乗車する際、移動軌跡６１１に沿ってバス１の外側から内側に移動し、その移動の過程で扉５及び通路８から成る乗車口又は乗降車口を通過し、その後、移動軌跡６１２ａ又は６１２ｂに沿って（バス１の後側又は前側に向けて）移動する。
【0089】
乗降車判定部３２は顔検出部３１と協働してカメラ画像ＣＩに基づく乗車判定処理を行う。人物ＰＳが図２０に示す移動軌跡６１１と移動軌跡６１２ａ又は６１２ｂとに沿って移動することでバス１に乗車する際、移動軌跡６１１に沿って人物ＰＳが移動する過程で、カメラ画像ＣＩ中の人物ＰＳの顔画像サイズは徐々に増大していった後に所定の基準サイズ以上となることが期待され、更に、移動軌跡６１２ａ又は６１２ｂに沿って人物ＰＳが移動する過程で人物ＰＳの顔画像が画像座標系上で所定の向きに移動していって、最終的には所謂フレームアウトが発生することが期待される。このような特性を考慮して乗車判定処理を行う。
【0090】
第３実施例において、乗車判定処理の内容は第１実施例で示したものと同様であり、カメラ画像列５２０に基づいて乗車判定処理を行うことができる。但し、第３実施例において、カメラ画像列５２０は、カメラ２３の撮影結果に基づく時系列上に並んだカメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］から成ると解される（図９参照）。
【0091】
また、図２０の如く設置されたカメラ２３が用いられる場合において、被写体が位置６１４から位置６１５ａへと移動すると当該被写体は画像座標系上でＩＸ軸の負側から正側に移動するものとし、被写体が位置６１４から位置６１５ｂへと移動すると当該被写体は画像座標系上でＩＸ軸の正側から負側に移動するものとする（図４参照）。第３実施例では、これらの移動の向きが乗車対応向きに設定される。つまり、第３実施例において、乗車対応向き（図１０のステップＳ１３参照）には、ＩＸ軸の負側から正側に向かう向きである第１乗車対応向きと、ＩＸ軸の正側から負側に向かう向きである第２乗車対応向きとがある。故に、ステップＳ１３では、第２乗車判定条件の充足を経て対象人物の顔画像ＦＩが第１又は第２乗車対応向きに移動したか否かが判定され、その判定が“肯定”であるとき第３乗車判定条件が充足し、その判定が“否定”であるとき第３乗車判定条件は不充足となる。例えば、カメラ２３の撮影結果に基づくカメラ画像列５２０（図９参照）において、基準サイズＲＥＦ１以上の顔画像サイズＦＳＩＺＥがカメラ画像ＣＩ［ｋ］にて検出されたことを前提に、その後に取得される複数のカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋ＮＢ］において（換言すればカメラ画像ＣＩ［ｋ＋１］～ＣＩ［ｋ＋ＮＢ］から成る動画像において）顔画像ＦＩが第１又は第２乗車対応向きに移動している場合に第３乗車判定条件が充足する。
【0092】
【0093】
＜＜第４実施例＞＞
第４実施例を説明する。第４実施例では、乗客の乗車の検出にのみ注目し、乗車の検出のための構成及び動作の例を説明する。第４実施例では、単位カメラの１つとしてカメラ２４がカメラ部２０に設けられ、図２１に示す如く、カメラ２４はバス１の車内中央付近且つ扉５の近傍の所定位置Ｐ２４に設置される。図２１において、斜線領域ＳＲ２４はカメラ２４の撮影領域を表している。カメラ２４の光軸はＷＸ軸及びＷＹ軸に対して斜めを向いており、その向きはＷＸ軸の負側に向かう成分とＷＹ軸の正側に向かう成分を含む。撮影領域ＳＲ２４は所定位置Ｐ２４から扉５に向けて斜め向きに広がる扇型状の領域である。当該扇型の中心角はカメラ２４の撮影画角に対応する値を持つ。第４実施例において、扉５及び通路８によりバス１の乗車口又は乗降車口が形成される。カメラ２４は、扉５及び通路８を通じて乗車する人物（乗車するために移動する人物）を撮影可能な位置に配置される。第４実施例における以下のカメラ画像ＣＩは、カメラ２４の撮影に基づくカメラ画像ＣＩを指す。
第４実施例を説明する。第４実施例では、乗客の乗車の検出にのみ注目し、乗車の検出のための構成及び動作の例を説明する。第４実施例では、単位カメラの１つとしてカメラ２４がカメラ部２０に設けられ、図２１に示す如く、カメラ２４はバス１の車内中央付近且つ扉５の近傍の所定位置Ｐ２４に設置される。図２１において、斜線領域ＳＲ２４はカメラ２４の撮影領域を表している。カメラ２４の光軸はＷＸ軸及びＷＹ軸に対して斜めを向いており、その向きはＷＸ軸の負側に向かう成分とＷＹ軸の正側に向かう成分を含む。撮影領域ＳＲ２４は所定位置Ｐ２４から扉５に向けて斜め向きに広がる扇型状の領域である。当該扇型の中心角はカメラ２４の撮影画角に対応する値を持つ。第４実施例において、扉５及び通路８によりバス１の乗車口又は乗降車口が形成される。カメラ２４は、扉５及び通路８を通じて乗車する人物（乗車するために移動する人物）を撮影可能な位置に配置される。第４実施例における以下のカメラ画像ＣＩは、カメラ２４の撮影に基づくカメラ画像ＣＩを指す。
【0094】
今、図２２に示す如く、人物ＰＳが、移動軌跡６３１に沿って移動することでバス１に乗車するケースを考える。移動軌跡６３１はバス１の外側の位置６３３からバス１内の位置６３４に向かう軌跡である。位置６３４は位置６３３をＷＸ軸に沿ってＷＸ軸の正側に所定距離だけ平行移動した位置であるとする。つまり、人物ＰＳは、バス１へ乗車する際、移動軌跡６３１に沿ってバス１の外側から内側に移動し、その移動の過程で扉５及び通路８から成る乗車口又は乗降車口を通過する。位置６３４は撮影領域ＳＲ２４外である。位置６３４に達した後の、人物ＰＳのバス１内の移動は任意である。
【0095】
乗降車判定部３２は顔検出部３１と協働してカメラ画像ＣＩに基づく乗車判定処理を行う。人物ＰＳが図２２に示す移動軌跡６３１に沿って移動することでバス１に乗車する際、カメラ画像ＣＩ中の人物ＰＳの顔画像サイズは徐々に増大していった後に基準サイズ以上となることが期待され、その後、人物ＰＳの顔画像が画像座標系上で所定の向きに移動していって、最終的には所謂フレームアウトが発生することが期待される。このような特性を考慮して乗車判定処理を行う。
【0096】
第４実施例において、乗車判定処理の内容は第１実施例で示したものと同様であり、カメラ画像列５２０に基づいて乗車判定処理を行うことができる。但し、第４実施例において、カメラ画像列５２０は、カメラ２４の撮影結果に基づく時系列上に並んだカメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］から成ると解される（図９参照）。
【0097】
また、図２２の如く設置されたカメラ２４が用いられる場合において、被写体が位置６３３から位置６３４へと移動する過程で当該被写体は画像座標系上でＩＸ軸の正側から負側に移動するものとする（図４参照）。第４実施例では、この移動の向きが乗車対応向きに設定される。つまり、第４実施例において、乗車対応向き（図１０のステップＳ１３参照）はＩＸ軸の正側から負側に向かう向きである。
【0098】
【0099】
第３実施例に示したカメラ２３（図２０参照）及び第４実施例に示したカメラ２４（図２２参照）の双方をカメラ部２０に設け、カメラ２３及び２４の各カメラ画像ＣＩに基づいて対象人物のバス１への乗車有無を判定するようにしても良い。複数のカメラのカメラ画像ＣＩを参照することで乗車有無判定の精度向上が期待される。
【0100】
＜＜第５実施例＞＞
第５実施例を説明する。第５実施例では、乗客の降車の検出にのみ注目し、降車の検出のための構成及び動作の例を説明する。第５実施例では、２つの単位カメラとしてカメラ２５及び２６がカメラ部２０に設けられ、図２３に示す如く、カメラ２５は扉５近傍の所定位置Ｐ２５に設置され、カメラ２６は扉５近傍の所定位置Ｐ２６に設置される。図２３において（後述の図２４及び図２５も参照）、斜線領域ＳＲ２５はカメラ２５の撮影領域を表しており、ドット領域ＳＲ２６はカメラ２６の撮影領域を表している。カメラ２５の光軸はＷＸ軸及びＷＹ軸に対して斜めを向いており、その向きはＷＸ軸の正側に向かう成分とＷＹ軸の正側に向かう成分を含む。撮影領域ＳＲ２５は所定位置Ｐ２５からバス１の前方斜め向きに広がる扇型状の領域であって、当該扇型の中心角はカメラ２５の撮影画角に対応する値を持つ。カメラ２６の光軸はＷＸ軸及びＷＹ軸に対して斜めを向いており、その向きはＷＸ軸の正側に向かう成分とＷＹ軸の負側に向かう成分を含む。撮影領域ＳＲ２６は所定位置Ｐ２６からバス１の後方斜め向きに広がる扇型状の領域であって、当該扇型の中心角はカメラ２６の撮影画角に対応する値を持つ。第５実施例において、扉５及び通路８によりバス１の降車口又は乗降車口が形成される。図２３の例において、位置Ｐ２６は位置Ｐ２５をＷＹ軸の正側に向け所定距離だけ平行移動した位置に相当するが、位置Ｐ２５及びＰ２６の関係は任意である。何れにせよ、カメラ２５及び２６の夫々は、扉５及び通路８を通じて降車する人物（降車するために移動する人物）を撮影可能な位置に配置される。第５実施例における以下のカメラ画像ＣＩは、カメラ２５又は２６の撮影に基づくカメラ画像ＣＩを指す。
第５実施例を説明する。第５実施例では、乗客の降車の検出にのみ注目し、降車の検出のための構成及び動作の例を説明する。第５実施例では、２つの単位カメラとしてカメラ２５及び２６がカメラ部２０に設けられ、図２３に示す如く、カメラ２５は扉５近傍の所定位置Ｐ２５に設置され、カメラ２６は扉５近傍の所定位置Ｐ２６に設置される。図２３において（後述の図２４及び図２５も参照）、斜線領域ＳＲ２５はカメラ２５の撮影領域を表しており、ドット領域ＳＲ２６はカメラ２６の撮影領域を表している。カメラ２５の光軸はＷＸ軸及びＷＹ軸に対して斜めを向いており、その向きはＷＸ軸の正側に向かう成分とＷＹ軸の正側に向かう成分を含む。撮影領域ＳＲ２５は所定位置Ｐ２５からバス１の前方斜め向きに広がる扇型状の領域であって、当該扇型の中心角はカメラ２５の撮影画角に対応する値を持つ。カメラ２６の光軸はＷＸ軸及びＷＹ軸に対して斜めを向いており、その向きはＷＸ軸の正側に向かう成分とＷＹ軸の負側に向かう成分を含む。撮影領域ＳＲ２６は所定位置Ｐ２６からバス１の後方斜め向きに広がる扇型状の領域であって、当該扇型の中心角はカメラ２６の撮影画角に対応する値を持つ。第５実施例において、扉５及び通路８によりバス１の降車口又は乗降車口が形成される。図２３の例において、位置Ｐ２６は位置Ｐ２５をＷＹ軸の正側に向け所定距離だけ平行移動した位置に相当するが、位置Ｐ２５及びＰ２６の関係は任意である。何れにせよ、カメラ２５及び２６の夫々は、扉５及び通路８を通じて降車する人物（降車するために移動する人物）を撮影可能な位置に配置される。第５実施例における以下のカメラ画像ＣＩは、カメラ２５又は２６の撮影に基づくカメラ画像ＣＩを指す。
【0101】
【0102】
第１降車パターンにおいて、人物ＰＳは、バス１内をバス１の後方側に向けて移動した後、扉５を通過してバス１から降車する。具体的には、図２４の第１降車パターンでは、人物ＰＳが移動軌跡６６１に沿って位置６６３から位置６６４までの移動した後、移動軌跡６６２に沿って位置６６４から位置６６５まで移動する。位置６６３及び６６４はバス内の位置であって、位置６６５はバス１外の位置である。移動軌跡６６１はＷＹ軸に平行であって、位置６６４は位置６６３をＷＹ軸に沿ってＷＹ軸の負側に所定距離だけ平行移動した位置であるとする。移動軌跡６６２はＷＸ軸に平行であって、位置６６５は位置６６４をＷＸ軸に沿ってＷＸ軸の負側に所定距離だけ平行移動した位置であるとする。
【0103】
第２降車パターンにおいて、人物ＰＳは、バス１内をバス１の前方側に向けて移動した後、扉５を通過してバス１から降車する。具体的には、図２５の第２降車パターンでは、人物ＰＳが移動軌跡６７１に沿って位置６７３から位置６７４までの移動した後、移動軌跡６７２に沿って位置６７４から位置６７５まで移動する。位置６７３及び６７４はバス内の位置であって、位置６７５はバス１外の位置である。移動軌跡６７１はＷＹ軸に平行であって、位置６７４は位置６７３をＷＹ軸に沿ってＷＹ軸の正側に所定距離だけ平行移動した位置であるとする。移動軌跡６７２はＷＸ軸に平行であって、位置６７５は位置６７４をＷＸ軸に沿ってＷＸ軸の負側に所定距離だけ平行移動した位置であるとする。
【0104】
第５実施例では、カメラ２５の撮影結果に基づくカメラ画像ＣＩを用いて第１降車パターンによる乗客の降車の有無を判定し、カメラ２６の撮影結果に基づくカメラ画像ＣＩを用いて第２降車パターンによる乗客の降車の有無を判定する。人物ＰＳが図２４の第１降車パターンにてバス１から降車する際、移動軌跡６６１に沿って人物ＰＳが移動する過程で、カメラ２５のカメラ画像ＣＩ中の人物ＰＳの顔画像サイズは徐々に増大していった後所定の基準サイズ以上となることが期待され、更に、移動軌跡６６２に沿って人物ＰＳが移動する過程で人物ＰＳの顔画像が画像座標系上で所定の向きに移動していって、最終的には所謂フレームアウトが発生することが期待される。図２５の第２降車パターンにてバス１から降車する際も同様である。このような特性を考慮して降車判定処理を行えば良い。
【0105】
第５実施例において、乗降車判定部３２は、カメラ２５の撮影結果に基づく降車判定処理（以下、特に第１降車判定処理と称する）とカメラ２６の撮影結果に基づく降車判定処理（以下、特に第２降車判定処理と称する）とを行う。それらの降車判定処理の内容は第２実施例で示したものと同様である。但し、第２実施例の記載を第５実施例に適用する際、第１降車判定処理においてカメラ画像列５７０（図１５参照）は、カメラ２５の撮影結果に基づく時系列上に並んだカメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］から成ると解され、且つ、第２降車判定処理においてカメラ画像列５７０は、カメラ２６の撮影結果に基づく時系列上に並んだカメラ画像ＣＩ［ｋ－ＮＡ］～ＣＩ［ｋ＋ＮＢ］から成ると解される。
【0106】
また、図２４の如く設置されたカメラ２５が用いられる場合において、被写体が位置６６４から位置６６５へと移動すると（図２４参照）当該被写体はカメラ２５の画像座標系上でＩＸ軸の負側から正側に移動するものとする。故に、第１降車判定処理における降車対応向き（図１６のステップＳ２３参照）は、ＩＸ軸の負側から正側に向かう向きに設定される。図２５の如く設置されたカメラ２６が用いられる場合において、被写体が位置６７４から位置６７５へと移動すると（図２５参照）当該被写体はカメラ２６の画像座標系上でＩＸ軸の正側から負側に移動するものとする。故に、第２降車判定処理における降車対応向き（図１６のステップＳ２３参照）は、ＩＸ軸の正側から負側に向かう向きに設定される。
【0107】
【0108】
＜＜第６実施例＞＞
第６実施例を説明する。バス１の構造等に応じて第１～第５実施例を任意の組み合わせることができる。
第６実施例を説明する。バス１の構造等に応じて第１～第５実施例を任意の組み合わせることができる。
【0109】
例えば、図７及び図８に対応する第１実施例と図１３及び図１４に対応する第２実施例とを組み合わせることができ、この場合、扉４及び通路７によりバス１の乗降車口が形成される（この際、扉５及び通路８は削除されても良い）。勿論、図７及び図８に対応する第１実施例と図２３～図２５に対応する第５実施例とを組み合わせても良い。
【0110】
また例えば、図１９及び図２０に対応する第３実施例又は図２１及び図２２に対応する第４実施例と、図２３～図２５に対応する第５実施例とを組み合わせることができ、この場合、扉５及び通路８によりバス１の乗降車口が形成される（この際、扉４及び通路７は削除されても良い）。勿論、図１９及び図２０に対応する第３実施例又は図２１及び図２２に対応する第４実施例と、図１３及び図１４に対応する第２実施例とを組み合わせても良い。
【0111】
尚、カメラ部２０に１台又は２台のカメラが設けられる場合を想定した幾つかの実施例を上述したが、カメラ部２０に設けられるカメラの台数は１以上であれば任意であり、複数のカメラを用いることで、バス１への乗車又はバス１からの降車の判定精度を高めることが可能である。
【0112】
上述の各実施例において想定したカメラの設置状況に応じた乗車対応向き及び降車対応向きを説明したが、乗車対応向き及び降車対応向きは、実際のカメラの設置状況及びバス１の構造に応じて様々となる。
【0113】
乗車を輸送する車両としてバスを想定したが、本発明に係る車載装置１０が搭載されるべき車両はバスに分類されない車両であっても良い。
【0114】
乗降車判定部３２は、乗車判定処理及び降車判定処理の双方を行う判定部であっても良いし、乗車判定処理及び降車判定処理の内、一方の処理のみを行う判定部であっても良い。
【0115】
本発明に係る任意の装置（例えば車載装置１０又は信号処理部３０）である対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なメモリに保存しておいても良い。そして、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体は対象装置と異なる機器に搭載又は接続されても良い。
【0116】
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
【符号の説明】
【0117】
１ バス
２ 運転席
３ 運賃箱
４、５ 扉
６ 座席
７、８ 通路
１０ 車載装置
２０ カメラ部
２１～２６ カメラ
３０ 信号処理部
３１ 顔検出部
３２ 乗降車判定部
３３ 個人識別用データ保持部
３４ 個人識別部
３５ 日時データ取得部
３６ 地点データ取得部
３７ 乗降車管理部
４０ 通信部
２ 運転席
３ 運賃箱
４、５ 扉
６ 座席
７、８ 通路
１０ 車載装置
２０ カメラ部
２１～２６ カメラ
３０ 信号処理部
３１ 顔検出部
３２ 乗降車判定部
３３ 個人識別用データ保持部
３４ 個人識別部
３５ 日時データ取得部
３６ 地点データ取得部
３７ 乗降車管理部
４０ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
