特開 2022-169086 乗客乗降データ生成システムおよび乗客乗降データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022169086

(43)【公開日】2022-11-09

(54)【発明の名称】乗客乗降データ生成システムおよび乗客乗降データ生成方法

(51)【国際特許分類】

   G07C 9/00 20200101AFI20221101BHJP

   G06Q 50/30 20120101ALI20221101BHJP

【ＦＩ】

G07C9/00 A

G06Q50/30

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021074914

(22)【出願日】2021-04-27

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】奈良 憲和

(72)【発明者】

【氏名】坂田 直人

(72)【発明者】

【氏名】村上 哲郎

【テーマコード（参考）】

3E138

5L049

【Ｆターム（参考）】

3E138AA01

3E138AA09

3E138BA01

3E138JA03

3E138JB16

3E138JC19

3E138JD05

3E138JD09

5L049CC42

(57)【要約】      （修正有）

【課題】簡便に乗客乗降データを構築する技術を提供する。
【解決手段】乗客乗降データ生成システムは、乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部３２１と、時刻を取得する時刻取得部３２２と、移動体の入口から乗る乗客を撮像する乗客撮像部３２３と、移動体の出口から降りる乗客を撮像する降客撮像部３２４と、乗客撮像部３２３および降客撮像部３２４により撮像された画像に移動体の識別情報と、移動体の位置情報と、時刻と、乗客撮像部３２３あるいは降客撮像部３２４のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成部２２３と、画像に含まれる乗客の顔の特徴情報が共通する画像に係る乗降情報を仕分け、乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成部１２６と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部と、
時刻を取得する時刻取得部と、
前記移動体の入口から乗る前記乗客を撮像する乗客撮像部と、
前記移動体の出口から降りる前記乗客を撮像する降客撮像部と、
前記乗客撮像部および前記降客撮像部により撮像された画像に前記移動体の識別情報と、前記移動体の位置情報と、前記時刻と、前記乗客撮像部あるいは前記降客撮像部のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成部と、
前記画像に含まれる前記乗客の顔の特徴情報が共通する前記画像に係る前記乗降情報を仕分け、前記乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成部と、
を備える乗客乗降データ生成システム。

【請求項2】

請求項１に記載の乗客乗降データ生成システムであって、
前記乗客撮像部および前記降客撮像部のいずれかは、前記移動体のそれぞれ前記入口あるいは前記出口のうちいずれかが開いている期間に撮像する、
ことを特徴とする乗客乗降データ生成システム。

【請求項3】

請求項１または２に記載の乗客乗降データ生成システムであって、
前記乗客乗降データ生成部は、前記乗客撮像部が撮像した画像については写っている前記乗客が前記移動体に乗ったと推定し、前記降客撮像部が撮像した画像については写っている前記乗客が前記移動体から降りたと推定する、
ことを特徴とする乗客乗降データ生成システム。

【請求項4】

請求項１～３のいずれか一項に記載の乗客乗降データ生成システムであって、
前記乗客乗降データ生成部は、前記乗客撮像部が前記画像を撮像した時刻については写っている前記乗客が前記移動体に乗った時刻と推定し、前記降客撮像部が前記画像を撮像した時刻については写っている前記乗客が前記移動体から降りた時刻と推定する、
ことを特徴とする乗客乗降データ生成システム。

【請求項5】

請求項１～４のいずれか一項に記載の乗客乗降データ生成システムであって、
前記乗客乗降データ生成部は、前記乗客撮像部が前記画像を撮像した位置については写っている前記乗客が前記移動体に乗った位置と推定し、前記降客撮像部が前記画像を撮像した位置については写っている前記乗客が前記移動体から降りた位置と推定する、
ことを特徴とする乗客乗降データ生成システム。

【請求項6】

乗客乗降データ生成システムを用いた乗客乗降データ生成方法であって、
前記乗客乗降データ生成システムは、
乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部と、
時刻を取得する時刻取得部と、
前記移動体の入口から乗る前記乗客を撮像する乗客撮像部と、
前記移動体の出口から降りる前記乗客を撮像する降客撮像部と、処理部と、を備え、
前記処理部は、
前記乗客撮像部および前記降客撮像部により撮像された画像に前記移動体の識別情報と、前記移動体の位置情報と、前記時刻と、前記乗客撮像部あるいは前記降客撮像部のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成ステップと、
前記画像に含まれる前記乗客の顔の特徴情報が共通する前記画像に係る前記乗降情報を仕分け、前記乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成ステップと、
を実施する乗客乗降データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、乗客乗降データ生成システムおよび乗客乗降データ生成方法の技術に関するものである。

【背景技術】

【0002】

「乗車客用カメラと、降車客用カメラと、乗車客用カメラで撮像された画像を撮像時刻と関連付けて記憶する乗車客画像記憶部と、降車客用カメラで撮像された画像を撮像時刻と関連付けて記憶する降車客画像記憶部と、乗車客画像記憶部及び降車客画像記憶部に記憶された情報に基づいて、乗客数を検出する乗客数検出部と、検出された乗客数を報知する乗客数報知部と、乗車客画像記憶部及び降車客画像記憶部に記憶された情報に基づいて、乗車後に降車した客と降車後に乗車してきた客とを照合する乗降客照合部と、照合結果を報知する照合結果報知部とを装備する」乗客管理装置に係る技術が、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１０６３１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような技術では、あくまで乗客の帰還状態及び乗客数を適切に管理することを目的としており、同一地点における乗客の乗降確認しかできない。

【0005】

本発明の目的は、簡便に乗客乗降データを構築する技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る乗客乗降データ生成システムは、乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部と、時刻を取得する時刻取得部と、前記移動体の入口から乗る前記乗客を撮像する乗客撮像部と、前記移動体の出口から降りる前記乗客を撮像する降客撮像部と、前記乗客撮像部および前記降客撮像部により撮像された画像に前記移動体の識別情報と、前記移動体の位置情報と、前記時刻と、前記乗客撮像部あるいは前記降客撮像部のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成部と、前記画像に含まれる前記乗客の顔の特徴情報が共通する前記画像に係る前記乗降情報を仕分け、前記乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成部と、を備える。

【発明の効果】

【0007】

本願発明によれば、簡便に乗客乗降データを構築する技術を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】乗客乗降データ生成システムの構成例を示す図である。

【図2】停留所位置情報のデータ構造の例を示す図である。

【図3】乗客乗降データのデータ構造の例を示す図である。

【図4】乗客乗降データ生成装置のハードウェア構成例を示す図である。

【図5】移動体搭載装置のハードウェア構成例を示す図である。

【図6】移動体搭載装置のバスへの設置例を示す図である。

【図7】停車時処理の処理フローの例を示す図である。

【図8】サマリー処理の処理フローの例を示す図である。

【図9】蓄積処理の処理フローの例を示す図である。

【図10】ＯＤデータ生成処理の処理フローの例を示す図である。

【図11】ＯＤデータの生成例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明の実施形態に係る乗客乗降データ生成システムについて、図面を参照して説明する。なお、図１～図１１は、乗客乗降データ生成システムの全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。なお、本明細書においては、移動体に乗降する客を総称して乗客と称呼し、乗客のうち特に移動体から降りる者を区別する必要がある場合には降客と称呼するものとする。

【0010】

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0011】

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0012】

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、数値および範囲についても同様である。

【0013】

なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する場合がある。また、以下の実施の形態において、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。

【0014】

以下の説明では、「通信部」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス（例えば一つ以上のＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ））であってもよいし二つ以上の異種の通信インターフェースデバイス（例えばＮＩＣとＨＢＡ（Ｈｏｓｔ Ｂｕｓ Ａｄａｐｔｅｒ））であってもよい。

【0015】

また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。

【0016】

また、以下の説明では、「ストレージ装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよく、具体的には、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＮＶＭＥ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ Ｅｘｐｒｅｓｓ）ドライブ、又は、ＳＣＭ（Ｓｔｏｒａｇｅ Ｃｌａｓｓ Ｍｅｍｏｒｙ）でよい。

【0017】

また、以下の説明では、「記憶部」は、メモリとストレージ装置のうちメモリかまたはメモリとストレージ装置の両方であってもよい。

【0018】

また、以下の説明では、「処理部」または「プロセッサー」は、一つ以上のプロセッサーデバイスでよい。少なくとも一つのプロセッサーデバイスは、典型的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなマイクロプロセッサーデバイスでよいが、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような他種のプロセッサーデバイスでもよい。少なくとも一つのプロセッサーデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサーデバイスは、プロセッサーコアでもよい。少なくとも一つのプロセッサーデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路（例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））といった広義のプロセッサーデバイスでもよい。

【0019】

また、以下の説明では、「ｙｙｙ部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサーによって実行されることで実現されてもよいし、一つ以上のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサーによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／又はインターフェース装置等を用いながら行われるため、機能はプロセッサーの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサーあるいはそのプロセッサーを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

【0020】

また、以下の説明では、「プログラム」や「処理部」を主語として処理を説明する場合には、プログラムや処理部を主語として説明された処理は、プロセッサーあるいはそのプロセッサーを有する装置が行う処理としてもよい。また、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。

【0021】

また、以下の説明では、「ｘｘｘテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のテーブルでもよいし、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「ｘｘｘテーブル」を「ｘｘｘ情報」あるいは「ｘｘｘデータ」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。

【0022】

また、以下の説明では、「乗客乗降データ生成システム」は、一つ以上の物理的な計算機（例えば、カーナビゲーション装置等のナビゲーション装置、車両制御装置、サーバー装置、データセンター）で構成されたシステムでもよいし、物理的な計算リソース群（例えば、クラウド基盤）上に実現されたシステム（例えば、クラウドコンピューティングシステム）でもよい。乗客乗降データ生成システムが表示用情報を「表示する」ことは、乗客乗降データ生成システムが有するいずれかの表示デバイスに表示用情報を表示することであってもよいし、乗客乗降データ生成システムが表示用計算機（スマートフォンやタブレットパソコン等）に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。

【0023】

［実施例１］本実施例では、乗客が所定の経路上の任意の停留所から乗り、他の停留所にて降りて利用する移動体として、公共交通機関のバスを例示する。しかし、バスに限られず、列車、電車、ボート、フェリー等の移動体であれば適用できることはいうまでもない。本実施例では、バスへ乗る乗客を撮像したカメラ画像と、降客を撮像したカメラ画像から共通する乗客を特定し停留所と関連付けてＯＤデータを生成する例である。

【0024】

図１は、乗客乗降データ生成システムの構成の例を示す図である。乗客乗降データ生成システム１は、クラウドサービス等として提供されている顔認識サービス１０と、顔認識サービス１０をネットワーク５０を介して利用できる乗客乗降データ生成装置１００と、乗客乗降データ生成装置１００とネットワーク６０を介して通信可能に接続される映像記録装置２００と、映像記録装置２００とネットワーク７０を介して通信可能に接続される移動体搭載装置３００と、を含む。

【0025】

顔認識サービス１０は、画像情報を送信元から受け付けると、画像に含まれる人物の顔を認識して固有の顔ＩＤを付して送信元へ返信するクラウドサービスである。その際、複数の画像情報を受け付けた場合には、顔認識サービス１０では所定のアルゴリズムあるいは学習済みニューラルネットワーク等を用いて顔の特徴点の類似距離に基づいて同一人物と推定される人物の顔の重複は排除して人物ごとに顔ＩＤを付して送信元へ返信する。これにより、一定期間に重複する人物が含まれる複数の画像や映像を顔認識サービス１０に受け渡しても、重複を排除した顔ＩＤを得ることができる。

【0026】

ネットワーク５０、６０、７０は、インターネットあるいはイントラネット等のネットワークである。ネットワーク５０、６０、７０は、これに限られず、さらに、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、携帯電話網等、あるいはこれらが複合した通信網であってもよい。また、ネットワーク５０、６０、７０は、携帯電話通信網等の無線通信網上のＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等であってもよい。

【0027】

乗客乗降データ生成装置１００は、記憶部１１０と、処理部１２０と、通信部１３０と、を有する。記憶部１１０には、停留所位置情報１１１と、乗客乗降データ１１２と、顔ＩＤ一時保管情報１１３と、が含まれる。処理部１２０には、乗客情報受付部１２１と、顔認識情報付与部１２２と、乗降人員統合部１２３と、位置クラスタ部１２４と、時刻クラスタ部１２５と、乗客乗降データ生成部１２６と、が含まれる。

【0028】

図２は、停留所位置情報のデータ構造の例を示す図である。停留所位置情報１１１では、所定の停留所を特定する停留所ＩＤ１１１ａごとに、停留所名１１１ｂと、方向１１１ｃと、座標範囲１１１ｄとが対応付けられる。

【0029】

方向１１１ｃは、停留所が移動体の移動方向に応じて設けられている場合に、いずれの移動方向に向かう停留所であるのかを示す情報、すなわち進行方向を特定する情報である。座標範囲１１１ｄは、停留所として用いられる位置には通常所定の誤差範囲があることも多く、その座標範囲を特定する情報である。ここで、座標は、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の緯度経度により特定される座標をいう。

【0030】

図３は、乗客乗降データのデータ構造の例を示す図である。乗客乗降データ１１２では、乗客の一回の乗降ごとに、乗客ＩＤ１１２ａと、日付１１２ｂと、乗車停留所１１２ｃと、乗車時刻１１２ｄと、降車停留所１１２ｅと、降車時刻１１２ｆと、が対応付けられる。

【0031】

乗客ＩＤ１１２ａは、移動体（バス）の乗客を他の乗客から識別する情報である。日付１１２ｂは、乗客ＩＤ１１２ａにより識別される乗客が移動体を利用した日付を示す情報である。乗車停留所１１２ｃは、乗客ＩＤ１１２ａにより識別される乗客が移動体に乗り込んだ停留所を特定する情報である。乗車時刻１１２ｄは、乗客ＩＤ１１２ａにより識別される乗客が移動体に乗り込んだ時刻を特定する情報である。降車停留所１１２ｅは、乗客ＩＤ１１２ａにより識別される乗客が移動体から降りた停留所を特定する情報である。降車時刻１１２ｆは、乗客ＩＤ１１２ａにより識別される乗客が移動体から降りた時刻を特定する情報である。すなわち、乗客乗降データ１１２は、ＯＤデータ（ＯｒｉｇｉｎＤｅｓｔｉｎａｔｉｏｎ）に相当する。

【0032】

顔ＩＤ一時保管情報１１３は、顔認識サービス１０が決定する所定の期間においては、顔ＩＤが同じであれば強く同一人物と推定できることから、当該所定の期間は顔ＩＤを人物の一致に用いることが可能となるため、顔ＩＤと後述の乗客情報との対応付けを保管するための情報である。例えば、顔認識サービス１０が初回の顔認識から２４時間は同じ人物に対して同一の顔ＩＤを付与する場合、朝に通勤でバスに乗車した利用者が夕方に帰宅のために逆方向のバスに乗車することも多く、その場合その利用者は朝と夕方で同じ顔ＩＤを付与されるのが望ましい。ＯＤデータ上も同一人物であると扱うことができると、乗降の関係づけの精度が高くなる。

【0033】

乗客情報受付部１２１は、映像記録装置２００からネットワーク６０を介して乗客情報を受領する。乗客情報とは、車両ＩＤ、カメラＩＤ、時刻、位置、乗車／降車の情報を関連付けられた乗客の情報である。乗客情報受付部１２１は、顔認識情報付与部１２２により顔ＩＤを特定されると、顔ＩＤと乗客情報とを顔ＩＤ一時保管情報１１３として記憶部１１０に格納する。

【0034】

顔認識情報付与部１２２は、顔認識サービス１０に画像を送信して、顔ＩＤを重複なく取得し、乗客情報受付部１２１に受け渡す。

【0035】

乗降人員統合部１２３は、複数の顔画像の類似距離を求めて乗客情報をクラスタリングし、乗客ＩＤを付与することで乗客と降客の人員の乗客情報を統合する。例えば、同一人物であれば基本的に顔画像の特徴点は同じとなるが、表情や周囲の明るさ等により若干のずれが生じる。乗降人員統合部１２３は、所定の類似範囲にあるものは同一人物とみなすための処理を行うものである。

【0036】

位置クラスタ部１２４は、停留所において移動体が停車する位置をクラスタリングし、乗客情報に含まれる類似する位置のずれを代表点で代替して同一の停留所に統合する。例えば、同一の路線のバスは停留所内でほぼ同じ位置に停車するが、道路や停留所そのものが混雑している場合には望ましい位置に停車できず車両数台分のずれが生じることもある。位置クラスタ部１２４は、所定の類似範囲にあるものは同一位置にあるとみなすための処理を行うものである。

【0037】

時刻クラスタ部１２５は、停留所において移動体が停車する時刻をクラスタリングし、乗客情報に含まれる類似する時刻のずれを代表時刻で代替して同一の時刻に統合する。例えば、バスは停留所内で停車して出入口を開放することで乗客、降客を移動させるが、乗客、降客が多い場合や料金支払い等の手続きの不備があると出入口の開放開始から閉鎖までに時間経過が著しく起こり、撮像した時刻にずれが生じることもある。時刻クラスタ部１２５は、所定の類似範囲にあるものは同一時刻にあるとみなすための処理を行うものである。

【0038】

乗客乗降データ生成部１２６は、画像に含まれる乗客の顔の特徴情報が共通する画像に係る乗降情報を仕分け、乗客毎に乗降した停留所を対応付けて乗客乗降データ１１２を生成する。この処理には、乗客乗降データ生成部１２６は、乗客情報受付部１２１と、顔認識情報付与部１２２と、乗降人員統合部１２３と、位置クラスタ部１２４と、時刻クラスタ部１２５と、を用いる。

【0039】

なお、乗客乗降データ生成部１２６は、後述する乗客撮像部３２３が撮像した画像については写っている乗客が当該時刻、位置にて移動体に乗ったと推定し、降客撮像部３２４が撮像した画像については写っている乗客が当該時刻、位置にて移動体から降りたと推定する。

【0040】

通信部１３０は、ネットワーク５０を介して顔認識サービス１０との通信を実施する。また、通信部１３０は、ネットワーク６０を介して映像記録装置２００との通信を実施する。

【0041】

映像記録装置２００は、映像記憶部２１０と、処理部２２０と、通信部２３０と、を備える。映像記憶部２１０には、移動体搭載装置３００から送信された映像データが例えばファイル単位等で格納される。なお、映像記憶部２１０は、映像データ（画像）と車両ＩＤ、カメラＩＤ、時刻、位置の情報を例えばＥＸＩＦ情報等のメタ情報により関連づけて格納する。

【0042】

処理部２２０には、映像受付部２２１と、乗降情報作成部２２２と、乗客情報生成部２２３と、が含まれる。映像受付部２２１は、ネットワーク７０を介して、移動体搭載装置３００から送信された映像データ（画像）、車両ＩＤ、カメラＩＤ、時刻、位置の情報を受信し、映像記憶部２１０に随時格納する。その際、映像受付部２２１は、画像に含まれる顔領域を認識し、同一人物と認識される顔の画像については重複を排除する。

【0043】

乗降情報作成部２２２は、映像受付部２２１が格納した映像データについて、乗客撮像部３２３か降客撮像部３２４のいずれで撮像されたのか、カメラＩＤを用いて特定する。具体的には、乗降情報作成部２２２は、乗客撮像部３２３により撮像された画像は、乗車時の撮像であると特定し、降客撮像部３２４により撮像された画像は、降車時の撮像であると特定する。

【0044】

乗客情報生成部２２３は、顔画像に乗客情報を関連付け、乗客乗降データ生成装置へ送信する。

【0045】

通信部２３０は、ネットワーク６０を介して乗客乗降データ生成装置１００との通信を実施する。また、通信部２３０は、ネットワーク７０を介して移動体搭載装置３００との通信を実施する。

【0046】

移動体搭載装置３００は、処理部３２０と、通信部３３０と、を備える。処理部３２０には、位置取得部３２１と、時刻取得部３２２と、乗客撮像部３２３と、降客撮像部３２４と、が含まれる。

【0047】

位置取得部３２１は、ＧＰＳ、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ガリレオ等の全地球測位システム等から移動体搭載装置３００が搭載されている移動体（バス）の位置、すなわち緯度経度の情報を取得する。

【0048】

時刻取得部３２２は、時刻情報を取得する。乗客撮像部３２３は、移動体（バス）の入口から移動体に入ってくる乗客の顔を写せるように、画角と撮像方向を調整されて移動体に取り付けられた後述する乗車人員撮像装置３０６を制御する。また、乗客撮像部３２３は、撮像した画像データを映像記録装置２００に送信する。

【0049】

降客撮像部３２４は、移動体（バス）の出口から移動体を出る降客の顔を写せるように、画角と撮像方向を調整されて移動体に取り付けられた後述する降車人員撮像装置３０７を制御する。また、降客撮像部３２４は、撮像した画像データを映像記録装置２００に送信する。つまり、乗客撮像部３２３と、降客撮像部３２４とは、ネットワーク７０を介して、映像記録装置２００に、映像データ（画像）、車両ＩＤ、カメラＩＤ、時刻、位置の情報を随時送信する。

【0050】

通信部３３０は、ネットワーク７０を介して映像記録装置２００との通信を実施する。

【0051】

図４は、乗客乗降データ生成装置のハードウェア構成例を示す図である。乗客乗降データ生成装置１００は、プロセッサー（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、あるいはＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリ１０２と、ハードディスク装置（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などのストレージ装置１０３と、ネットワーク５０、６０を介した通信の接続を行うインターフェースを担う通信装置１０４と、これらを互いに接続するバス１０７と、を備えた一般的な情報処理装置により実現できる。

【0052】

上記した処理部１２０の各機能部、すなわち乗客情報受付部１２１と、顔認識情報付与部１２２と、乗降人員統合部１２３と、位置クラスタ部１２４と、時刻クラスタ部１２５と、乗客乗降データ生成部１２６とは、プロセッサー１０１が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ１０２またはストレージ装置１０３には、各機能部の処理を実現するためのプログラムが記憶されている。そして、そのプログラムは、実行時にメモリ１０２にロードされ、プロセッサー１０１に処理を行わせる。

【0053】

記憶部１１０の各情報、すなわち停留所位置情報１１１、乗客乗降データ１１２、顔ＩＤ一時保管情報１１３は、メモリ１０２またはストレージ装置１０３により実現される。通信部１３０は、通信装置１０４により実現される。

【0054】

なお、映像記録装置２００についても、図４に示すハードウェア構成例と同様の構成を備えるものであるため、説明は割愛する。

【0055】

図５は、移動体搭載装置のハードウェア構成例を示す図である。移動体搭載装置３００は、プロセッサー（例えば、ＣＰＵ、あるいはＧＰＵ）３０１と、ＲＡＭ等のメモリ３０２と、ハードディスク装置やＳＳＤなどのストレージ装置３０３と、ネットワーク７０を介した通信の接続を行うインターフェースを担う通信装置３０４と、乗車人員撮像装置３０６および降車人員撮像装置３０７と通信可能につながる外部ＩＦ（Ｉｎｔｅｒ Ｆａｃｅ）３０５と、ＧＰＳ等の全地球測位システムから位置情報を取得するＧＰＳ受信装置３０８と、これらを互いに接続するバス３０９と、を備えた一般的な情報処理装置により実現できる。

【0056】

上記した処理部３２０の各機能部、すなわち位置取得部３２１と、時刻取得部３２２と、乗客撮像部３２３と、降客撮像部３２４とは、プロセッサー３０１が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ３０２またはストレージ装置３０３には、各機能部の処理を実現するためのプログラムが記憶されている。そして、そのプログラムは、実行時にメモリ３０２にロードされ、プロセッサー３０１に処理を行わせる。通信部３３０は、通信装置３０４により実現される。

【0057】

図６は、移動体搭載装置のバスへの設置例を示す図である。バス３５０は、車両の前方に入口専用の扉を備え、車両の前後中央に出口専用の扉を備える。乗車人員撮像装置３０６は、入口方向に撮像方向（図内点線三角）を向けて天井等に取り付けられる。また、降車人員撮像装置３０７は、出口付近に車内部を撮影する方向に撮像方向（図内点線三角）を向けて天井等に取り付けられる。

【0058】

図７は、停車時処理の処理フローの例を示す図である。停車時処理は、移動体搭載装置３００が取り付けられたバスが停車して、入口ドアあるいは出口ドアのいずれかまたは両方を開けると開始され、ステップＳ００２～ステップＳ００５の処理を繰り返し行い、入口ドアあるいは出口ドアのいずれかまたは両方が閉じると終了する（ステップＳ００１、ステップＳ００６）。

【0059】

まず、位置取得部３２１は、移動体の現在地を取得する（ステップＳ００２）。具体的には、位置取得部３２１は、ＧＰＳ受信装置３０８から移動体の現在地の座標を取得する。

【0060】

そして、時刻取得部３２２は、現在時刻を取得する（ステップＳ００３）。具体的には、時刻取得部３２２は、システムの時刻情報を取得する。

【0061】

そして、乗客撮像部３２３と降客撮像部３２４は、それぞれの撮像視野の乗降客を撮像する（ステップＳ００４）。なお、乗客撮像部３２３と降客撮像部３２４は静止画ではなく動画により撮影するものであってもよい。

【0062】

そして、乗客撮像部３２３と降客撮像部３２４は、それぞれが撮像した画像に、移動体の車両ＩＤと、撮像装置のカメラＩＤと、時刻と、位置とを関連付けて映像記録装置２００に送信する（ステップＳ００５）。

【0063】

以上が、停車時処理の処理フローである。停車時処理によれば、停留所で停車して出入口を開けた際に、乗降客の顔画像を得ることができる。

【0064】

図８は、サマリー処理の処理フローの例を示す図である。サマリー処理は、映像記録装置２００の映像受付部２２１が移動体搭載装置３００から画像および該画像に関連付けられた移動体の車両ＩＤと、撮像装置のカメラＩＤと、時刻と、位置との情報を受信すると、開始される。

【0065】

映像受付部２２１は、画像に含まれる顔領域を認識し、同一人物と認識される顔の画像については重複を排除して映像記憶部２１０に随時格納する（ステップＳ１０１）。

【0066】

そして、乗降情報作成部２２２は、映像受付部２２１が受信した画像を撮像したカメラＩＤを用いて、乗降客ごとに乗車・降車を特定する（ステップＳ１０２）。具体的には、乗降情報作成部２２２は、画像に関連付けられているカメラＩＤに応じて、乗車用の入口にて撮像した画像か、降車用の出口にて撮像した画像か、を特定する。

【0067】

乗客情報生成部２２３は、顔画像に乗客情報（車両ＩＤ、カメラＩＤ、時刻、位置、乗車／降車）を関連付けて乗客乗降データ生成装置１００に送信する（ステップＳ１０３）。具体的には、乗客情報生成部２２３は、ステップＳ１０１において抽出した顔画像について、関連付けられた車両ＩＤ、カメラＩＤ、時刻、位置の情報に加えて、ステップＳ１０２において特定された乗車／降車の別を示す情報を関連付けて乗客乗降データ生成装置１００に送信する。

【0068】

以上が、サマリー処理の処理フローである。サマリー処理によれば、乗客あるいは降客が、乗車／降車の際に複数撮像された結果、複数の画像に写った同一人物の顔画像について重複を排除して乗車情報を関連付けて乗客乗降データ生成装置１００に送信することができる。

【0069】

図９は、蓄積処理の処理フローの例を示す図である。蓄積処理は、乗客乗降データ生成装置１００の乗客情報受付部１２１が映像記録装置２００から画像および該画像に関連付けられた乗客情報（移動体の車両ＩＤと、撮像装置のカメラＩＤと、時刻と、位置と、乗車／降車の別を示す情報）の情報を受信すると、開始される。

【0070】

顔認識情報付与部１２２は、乗客情報受付部１２１が受信した画像（顔画像）ごとに特徴点を認識し、顔ＩＤを付与する（ステップＳ２０１）。具体的には、顔認識情報付与部１２２は、ネットワーク５０を介して顔認識サービス１０に受信した画像（顔画像）を送信し、顔ＩＤを受け取る。顔認識情報付与部１２２は、受け取った顔ＩＤをそのまま顔ＩＤとして該顔画像に関連付ける。

【0071】

そして、乗客情報受付部１２１は、乗客情報（移動体の車両ＩＤと、撮像装置のカメラＩＤと、時刻と、位置と、乗車／降車の別を示す情報）に、付与された顔ＩＤを関連付けて顔ＩＤ一時保管情報１１３として記憶部１１０に格納する（ステップＳ２０２）。

【0072】

以上が、蓄積処理の処理フローである。蓄積処理によれば、乗車あるいは降車ごとに重複なく乗客に顔ＩＤが付与され、乗車情報と関連付けて記憶部１１０に格納することができる。蓄積した乗車情報等は、所定の期間が経過すると（例えば、バス運行の営業日が終了すると）集計されて分析するＯＤデータ生成処理が開始されるため、この蓄積処理は集計までの間の一時的な蓄積を担う。

【0073】

図１０は、ＯＤデータ生成処理の処理フローの例を示す図である。ＯＤデータ（乗客乗降データ）生成処理は、例えば、バス運行の営業日が終了した深夜の時間起動処理等において自動で、あるいは管理者等により手動で、指示を受け付けて開始される。

【0074】

まず、乗客乗降データ生成部１２６は、車両ＩＤごとにステップＳ３０２～ステップＳ３１０の処理を繰り返し行う（ステップＳ３０１、ステップＳ３１１）。

【0075】

乗客乗降データ生成部１２６は、車両ＩＤに係る乗客情報と顔ＩＤとを特定する（ステップＳ３０２）。具体的には、乗客乗降データ生成部１２６は、記憶部１１０の顔ＩＤ一時保管情報１１３を読み出し、車両ＩＤが現ループの車両ＩＤと一致する乗客情報と、関連付けられた顔ＩＤとを特定する。

【0076】

そして、乗降人員統合部１２３は、顔画像でクラスタリングし乗客ＩＤを付与する（ステップＳ３０３）。具体的には、乗降人員統合部１２３は、ステップＳ３０２において特定した乗客情報と顔ＩＤに関して、顔画像の類似距離によりクラスタリングを行い、所定の類似距離以下となる顔画像を有する乗客情報については、同一の乗客ＩＤを付与する。つまり、乗降人員統合部１２３は、顔が所定以上類似する人物は同一人物とみなして、同一の乗客ＩＤを付与することで、乗客情報を人物により統合するといえる。

【0077】

そして、位置クラスタ部１２４は、乗客情報を位置情報でクラスタリングし停留所ＩＤを付与する（ステップＳ３０４）。具体的には、位置クラスタ部１２４は、停留所において移動体が停車する位置をクラスタリングし、乗客情報に含まれる類似する位置のずれを代表点で代替して同一の停留所に統合する。例えば、同一の路線のバスは停留所内でほぼ同じ位置に停車するが、道路や停留所そのものが混雑している場合には望ましい位置に停車できず車両数台分のずれが生じることもある。位置クラスタ部１２４は、所定の類似範囲にあるものは同一位置により統合するといえる。

【0078】

そして、時刻クラスタ部１２５は、乗客情報を時刻でクラスタリングし代表時刻を付与する（ステップＳ３０５）。具体的には、時刻クラスタ部１２５は、停留所において移動体が停車する時刻をクラスタリングし、乗客情報に含まれる類似する時刻のずれを代表時刻で代替して同一の時刻に統合する。例えば、バスは停留所内で停車して出入口を開放することで乗客、降客を移動させるが、乗客、降客が多い場合や料金支払い等の手続きの不備があると出入口の開放開始から閉鎖までに時間経過が著しく起こり、撮像した時刻にずれが生じることもある。時刻クラスタ部１２５は、所定の類似範囲にあるものは同一時刻により統合するといえる。

【0079】

次に、乗客乗降データ生成部１２６は、乗客ＩＤごとにステップＳ３０７～ステップＳ３０９の処理を繰り返し行う（ステップＳ３０６、ステップＳ３１０）。

【0080】

乗客乗降データ生成部１２６は、当該乗客ＩＤの乗車情報と降車情報を抽出する（ステップＳ３０７）。

【0081】

そして、乗客乗降データ生成部１２６は、抽出された乗車情報と降車情報を時系列に整列する（ステップＳ３０８）。

【0082】

そして、乗客乗降データ生成部１２６は、乗車－降車のペアを特定し関連付ける（ステップＳ３０９）。具体的には、乗客乗降データ生成部１２６は、ステップＳ３０８において時系列に整列された乗車情報と降車情報とを、時刻の早い順に乗車情報と降車情報とを一対一で組み合わせて一乗車として仕分け、関連付ける。

【0083】

そして、乗客乗降データ生成部１２６は、ステップＳ３０１～ステップＳ３１１の処理において関連付けられた乗員ＩＤごとの乗車情報と降車情報とを、乗客乗降データ１１２として記憶部１１０に格納する（ステップＳ３１２）。

【0084】

以上が、ＯＤデータ生成処理の処理フローの例である。ＯＤデータ生成処理によれば、所定期間（例えば、一営業日）の全車両について、乗客を統合して乗車と降車の情報を整理格納することができる。つまり、簡便に乗客乗降データを構築することができるといえる。

【0085】

図１１は、ＯＤデータの生成例を示す図である。図１１に示すように、あるバス車両について、「停留所Ａ」にて「ＡＭ７：１５」に「Ｍｒ．Ｘ」が乗車し、「停留所Ｂ」にて「ＡＭ７：２０」に「Ｍｒ．Ｙ」が乗車し、「停留所Ｅ」にて「ＡＭ７：５０」に「Ｍｒ．Ｙ」が降車し、「停留所Ｇ」にて「ＡＭ８：１０」に「Ｍｒ．Ｘ」が降車した事実があるとする。また、その後、「停留所Ｅ」にて「ＰＭ８：００」に「Ｍｒ．Ｙ」が乗車し、「停留所Ｂ」にて「ＰＭ８：１５」に「Ｍｒ．Ｙ」が降車した事実があるとする。

【0086】

このような場合に、生成されるＯＤデータは、図１１の矢印下の表のように、乗客ＩＤが「００１（これをＭｒ．Ｘとする）」なる乗客は乗車停留所「Ａ」に「ＡＭ７：１５」にて乗車し、降車停留所「Ｇ」に「ＡＭ８：１０」にて降車した、となる。これは、Ｍｒ．Ｘと思しき顔画像の人物の乗車情報と降車情報とが統合されて乗客ＩＤ「００１」の一回の乗車として統合された結果といえる。また、乗車停留所が「Ａ」、降車停留所が「Ｇ」となるのも、位置情報のずれが統合された結果所定の停留所の代表位置とみなされた結果といえる。また、乗車時刻が「ＡＭ７：１５」、降車時刻が「ＡＭ８：１０」となるのも、撮像された時刻情報のずれ（開扉から閉扉までの時刻の差）が統合された結果所定の代表時刻とみなされた結果といえる。

【0087】

同様に、「Ｍｒ．Ｙ」については、同日に同じ区間の往復を行っているが、それぞれの乗車には本来関連がない。しかし、撮像された顔画像の類似からいずれも「Ｍｒ．Ｙ」の乗車であることが強く推定されるため、乗客ＩＤが「００２」として統合されていることがわかる。

【0088】

以上が、実施例に係る乗客乗降データ生成システムである。実施例に係る乗客乗降データ生成システムによれば、簡便に乗客乗降データを構築することができる。

【0089】

ただし、本発明は、上記の実施例に制限されない。上記の実施例は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の実施例では、乗客とその乗降の画像を扱って乗客乗降データを生成していたが、これに限られない。乗客撮像部３２３および降客撮像部３２４において動画を映像データとして取得するようにしてもよい。このようにすることで、撮像のインターバルにおいて乗降が俊敏になされたことにより乗客の撮像漏れを回避することができる。

【0090】

また例えば、上記の実施例では、乗客情報には車両ＩＤ、カメラＩＤ、時刻、位置、乗車／降車の情報が含まれるものとしているが、これに限られず、車両ＩＤ、カメラＩＤ、時刻、位置が含まれるものとしてもよい。その場合には、乗降情報作成部２２２に相当する処理部を乗客乗降データ生成装置１００の処理部１２０に設けて、サマリー処理のステップＳ１０２の処理に相当する処理、すなわちカメラＩＤを用いて乗車側カメラか降車側カメラかを判定し、乗降情報を作成する処理をＯＤデータ生成処理のステップＳ３０６とＳ３０７の間において実施するようにすればよい。また、これに伴い、乗客乗降データ生成装置１００の記憶部１１０に、カメラＩＤごとに乗車側カメラか降車側カメラかを特定する情報を対応付けて記憶するテーブルを備えるようにすればよい。

【0091】

また例えば、顔認識サービス１０を利用した顔ＩＤの付与を乗客乗降データ生成装置１００において行うのではなく、移動体搭載装置３００が直接行うようにしてもよい。このようにすることで、リアルタイムにＯＤデータに反映することが可能となる。

【0092】

他にも、例えば、乗客乗降データに、外部から取得した乗降時の天気や気温、カレンダー情報あるいは地域のイベント情報等を併せ持つことで、雨天時や大型連休、あるいはイベント開催時の条件に合致する乗客乗降データを抽出することができるようになる。

【0093】

以上、様々な変形例について説明した。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の構成に置き換えることが可能であり、また、ある実施例の構成に他の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0094】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサーがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0095】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0096】

１：乗客乗降データ生成システム、１０：顔認識サービス、５０，６０，７０：ネットワーク、１００：乗客乗降データ生成装置、１１０：記憶部、１１１：停留所位置情報、１１２：乗客乗降データ、１１３：顔ＩＤ一時保管情報、１２０：処理部、１２１：乗客情報受付部、１２２：顔認識情報付与部、１２３：乗降人員統合部、１２４：位置クラスタ部、１２５：時刻クラスタ部、１２６：乗客乗降データ生成部、１３０：通信部、２００：映像記録装置、２１０：映像記憶部、２２０：処理部、２２１：映像受付部、２２２：乗降情報作成部、２２３：乗客情報生成部、２３０：通信部、３００：移動体搭載装置、３２０：処理部、３２１：位置取得部、３２２：時刻取得部、３２３：乗客撮像部、３２４：降客撮像部、３３０：通信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】