特開 2024-77198 改札システム、乗車券システム及び乗客画像特定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077198

(43)【公開日】2024-06-07

(54)【発明の名称】改札システム、乗車券システム及び乗客画像特定方法

(51)【国際特許分類】

   G06Q 50/40 20240101AFI20240531BHJP

   G07B 15/00 20110101ALI20240531BHJP

   H04N 7/18 20060101ALI20240531BHJP

【ＦＩ】

G06Q50/30

G07B15/00 C

G07B15/00 H

H04N7/18 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022189123

(22)【出願日】2022-11-28

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(71)【出願人】

【識別番号】504158881

【氏名又は名称】東京地下鉄株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】米原 三揮

(72)【発明者】

【氏名】足立 進吾

(72)【発明者】

【氏名】長谷川 陽平

(72)【発明者】

【氏名】山内 司

(72)【発明者】

【氏名】池田 健士

(72)【発明者】

【氏名】梶山 航

(72)【発明者】

【氏名】大西 彩月

(72)【発明者】

【氏名】鄭 守志

(72)【発明者】

【氏名】鈴木 竜三郎

(72)【発明者】

【氏名】鈴木 雅昭

【テーマコード（参考）】

3E127

5C054

5L049

5L050

【Ｆターム（参考）】

3E127AA03

3E127BA16

3E127CA02

3E127DA19

5C054CE14

5C054FC12

5C054FE09

5C054HA26

5L049CC43

5L050CC43

(57)【要約】

【課題】多数の乗客画像の中から改札異常の生じたユーザ端末を所持する乗客の乗客画像を特定可能な改札システムを提供する。
【解決手段】改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、第１のグループデータの乗客画像と関連グループデータの乗客画像との画像類似度に基づき、第１のグループデータまたは関連グループデータのユーザＩＤに乗客画像を割り当て、改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する。
【選択図】図４Ａ

【特許請求の範囲】

【請求項1】

ユーザ端末の位置を示す位置データを蓄積する端末追跡部と、
前記端末追跡部に蓄積された位置データから、前記ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築する旅程構築部と、
駅構内の所定の改札領域を撮像した画像から前記改札領域を通過する乗客を特定して追跡する人物追跡部と、
前記画像から前記改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、前記端末追跡部に蓄積された位置データに基づき特定される、当該グループが前記改札領域を通過した通過期間に前記改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録するグループ作成部と、
前記グループデータに改札異常が生じていると判定される場合には、前記改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、前記第１のグループデータの乗客画像と前記関連グループデータの乗客画像との画像類似度に基づき、前記第１のグループデータまたは前記関連グループデータのユーザＩＤに乗客画像を割り当て、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する特定部と、を有し、
前記端末追跡部、前記旅程構築部、前記人物追跡部、前記グループ作成部及び前記特定部はそれぞれ、ストレージ装置に格納されたプログラムをプロセッサにより実行することで所定の処理を行うことを特徴とする改札システム。

【請求項2】

請求項１において、
前記グループ作成部は、グループデータとして登録されたユーザＩＤに対応するユーザ端末の位置データから当該グループが前記改札領域を通過した通過期間における第１の時系列特徴量を、前記画像から推定される乗客画像の位置情報から当該グループが前記改札領域を通過した通過期間における第２の時系列特徴量を算出し、前記第１の時系列特徴量と前記第２の時系列特徴量との類似度が所定値以上である場合、前記第２の時系列特徴量を算出した乗客画像を、前記第１の時系列特徴量を算出したユーザＩＤの割当可能画像として特定することを特徴とする改札システム。

【請求項3】

請求項１において、
前記第１のグループデータの改札異常は、無効チケットの所持であり、
前記特定部は、前記第１のグループデータ以外に、無効チケットを所持するユーザＩＤまたは、前記無効チケットを所持するユーザＩＤに対応するユーザ端末とは前記位置データに基づき区別不可能なユーザ端末に対応するユーザＩＤを含むグループデータを前記関連グループデータとして特定することを特徴とする改札システム。

【請求項4】

請求項１において、
前記第１のグループデータの改札異常は、前記第１のグループデータにおける乗客画像の数とユーザＩＤの数との不一致であり、
前記特定部は、前記第１のグループデータの乗客となりうる、前記第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータであって、前記旅程データに異常が生じているユーザ端末に対応するユーザＩＤを含むグループデータを前記関連グループデータとして特定することを特徴とする改札システム。

【請求項5】

請求項４において、
前記特定部は、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像が撮像された駅を出場駅として前記旅程データを更新することを特徴とする改札システム。

【請求項6】

請求項１において、
前記グループ作成部は、直前に前記改札領域を通過した乗客から、所定値未満の時間差で前記改札領域を通過した乗客を同じグループとし、同じグループとする時間差は、前記ユーザ端末の位置データの測位精度に基づき定められることを特徴とする改札システム。

【請求項7】

改札システムと、
前記改札システムと接続され、運賃の精算を行う運賃精算システムとを有し、
前記改札システムは、
ユーザ端末の位置を示す位置データを蓄積する端末追跡部と、
前記端末追跡部に蓄積された位置データから、前記ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築する旅程構築部と、
駅構内の所定の改札領域を撮像した画像から前記改札領域を通過する乗客を特定して追跡する人物追跡部と、
前記画像から前記改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、前記端末追跡部に蓄積された位置データに基づき特定される、当該グループが前記改札領域を通過した通過期間に前記改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録するグループ作成部と、
前記グループデータに改札異常が生じていると判定される場合には、前記改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、前記第１のグループデータの乗客画像と前記関連グループデータの乗客画像との画像類似度に基づき、前記第１のグループデータまたは前記関連グループデータのユーザＩＤに乗客画像を割り当て、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する特定部と、
乗客の旅程データに基づき、前記運賃精算システムに運賃請求を行う精算依頼部と、
を有し、
前記端末追跡部、前記旅程構築部、前記人物追跡部、前記グループ作成部、前記特定部及び前記精算依頼部はそれぞれ、ストレージ装置に格納されたプログラムをプロセッサにより実行することで所定の処理を行うことを特徴とする乗車券システム。

【請求項8】

請求項７において、
駅員が確認可能な運用端末を有し、
前記運用端末は、前記特定部が特定した前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を他の乗客画像とは識別可能に表示することを特徴とする乗車券システム。

【請求項9】

端末追跡部と旅程構築部と人物追跡部とグループ作成部と特定部とを備える改札システムを備え、
前記端末追跡部は、ユーザ端末の位置を示す位置データを蓄積し、
前記旅程構築部は、前記端末追跡部に蓄積された位置データから、前記ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築し、
前記人物追跡部は、駅構内の所定の改札領域を撮像した画像から前記改札領域を通過する乗客を特定して追跡し、
前記グループ作成部は、前記画像から前記改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、前記端末追跡部に蓄積された位置データに基づき特定される、当該グループが前記改札領域を通過した通過期間に前記改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録し、
前記特定部は、前記グループデータに改札異常が生じていると判定される場合には、前記改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の前記改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、前記第１のグループデータの乗客画像と前記関連グループデータの乗客画像との画像類似度に基づき、前記第１のグループデータまたは前記関連グループデータのユーザＩＤに乗客画像を割り当て、前記改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する、
ことを特徴とする乗客画像特定方法。

【請求項10】

請求項９において、
前記グループ作成部は、グループデータとして登録されたユーザＩＤに対応するユーザ端末の位置データから当該グループが前記改札領域を通過した通過期間における第１の時系列特徴量を、前記画像から推定される乗客画像の位置情報から当該グループが前記改札領域を通過した通過期間における第２の時系列特徴量を算出し、前記第１の時系列特徴量と前記第２の時系列特徴量との類似度が所定値以上である場合、前記第２の時系列特徴量を算出した乗客画像を、前記第１の時系列特徴量を算出したユーザＩＤの割当可能画像として特定することを特徴とする乗客画像特定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、改札システム、乗車券システム及び乗客画像特定方法に関する。

【背景技術】

【0002】

特許文献１には、旅客が所持するモバイルデバイスを測位することによって旅客の移動経路を収集して旅程を構築することが開示されている。これにより、交通事業者はチケット専用媒体の発行や改札機の設置を不要として旅客への運賃請求が可能になり、旅客はチケット専用媒体の管理が不要にすることができる。

【0003】

特許文献２には、人物の特定が曖昧なセンサ、具体的には人物が所持するモバイル端末が無線信号発信機から受信した無線信号の受信強度と組み合わせて、多視点から撮影された映像中の人物を簡易に特定して、人物の行動を監視する技術が開示されている。あらかじめ取得された各画像に映る同一人物の位置と、同時に取得された当該人物を検知したセンサデータとを組み合わせた訓練データを生成しておく。連続する時系列に取得された各映像に映る人物の位置におけるセンサデータの推定値を訓練データに基づいて算出し、推定値と取得されたセンサデータとの類似度の時系列変化に基づいて、人物の識別情報を特定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２１／１３００２４号

【特許文献2】特開２０１８－６１１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

モバイルデバイスにインストールされた乗車券アプリケーションにより公共交通機関を利用可能にすることにより乗客の利便性を増すことができる一方で、モバイルデバイスに不調が生じたり、乗車券アプリケーションが無効となっていたり（以下、無効チケットの所持ともいう）といった改札異常への対処が必要となる。

【0006】

発明者らはこのような改札異常の生じたモバイルデバイスを所持する乗客を特定する手段として、駅構内に設けたカメラからの画像（動画像）を用いて改札異常の生じたモバイルデバイスを所持する乗客を特定することで改札機能を実現することを検討した。例えば、特許文献２はモバイル端末を所持する人物の映像を特定する技術が開示されている。しかしながら、公共交通機関の改札機能を実現するには、比較的狭い領域（通路）をおよそ同じ方向に移動する多数の乗客の中から改札異常の生じたモバイルデバイスを所持する乗客を特定する必要がある。特許文献２の技術では、センサデータの識別精度で識別できないほど近接し、同様の振る舞いをする人物同士を識別することは困難である。

【課題を解決するための手段】

【0007】

本発明の一実施の態様である改札システムは、ユーザ端末の位置を示す位置データを蓄積する端末追跡部と、端末追跡部に蓄積された位置データから、ユーザ端末を所持する乗客の入場駅と出場駅とを特定して当該乗客の旅程データを構築する旅程構築部と、駅構内の所定の改札領域を撮像した画像から改札領域を通過する乗客を特定して追跡する人物追跡部と、画像から改札領域を互いに接近した状態で通過した乗客のグループを作成し、グループごとに当該グループに含まれる乗客の乗客画像と、端末追跡部に蓄積された位置データに基づき特定される、当該グループが改札領域を通過した通過期間に改札領域を通過したユーザ端末に対応するユーザＩＤとをグループデータとして登録するグループ作成部と、グループデータに改札異常が生じていると判定される場合には、改札異常の生じた第１のグループデータの乗客画像が撮像された駅とは別の駅構内の改札領域を撮像した画像から作成されたグループデータである関連グループデータを特定し、第１のグループデータの乗客画像と関連グループデータの乗客画像との画像類似度に基づき、第１のグループデータまたは関連グループデータのユーザＩＤに乗客画像を割り当て、改札異常を生じさせたユーザ端末を所持する乗客の乗客画像を特定する特定部と、を有し、端末追跡部、旅程構築部、人物追跡部、グループ作成部及び特定部はそれぞれ、ストレージ装置に格納されたプログラムをプロセッサにより実行することで所定の処理を行う。

【発明の効果】

【0008】

多数の乗客画像の中から改札異常の生じたユーザ端末を所持する乗客の乗客画像を特定可能な改札システムを提供する。

【0009】

その他、本願が開示する課題、およびその解決方法は、発明を実施するための形態の欄、および図面により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】改札システムが適用される駅の様子を示す図である。

【図2A】「無効チケットタイプ」の改札異常の事例である。

【図2B】乗客画像を特徴量空間にプロットした図である。

【図2C】乗客画像を特徴量空間にプロットした図である。

【図3】「電池切れタイプ」の改札異常の事例である。

【図4A】改札システムの機能ブロック図である。

【図4B】情報処理装置のブロック図である。

【図5】改札機能のフローチャートである。

【図6】グループ作成フローチャートである。

【図7】「電池切れタイプ」の改札異常対応処理のフローチャートである。

【図8】「無効チケットタイプ」の改札異常対応処理のフローチャートである。

【図9】クラスタリング処理のフローチャートである。

【図10A】グループデータ（画像）のデータ構造例である。

【図10B】グループデータ（ユーザＩＤ）のデータ構造例である。

【図11A】ユーザ割当情報（初期値）の例である。

【図11B】画像割当情報（初期値）の例である。

【図12A】ユーザ割当情報（処理結果）の例である。

【図12B】画像割当情報（処理結果）の例である。

【図13】旅程データのデータ構造例である。

【図14】運用端末への表示画面例である。

【図15】ユーザ端末への問い合わせ画面例である。

【発明を実施するための形態】

【0011】

図１に、本実施例の改札システムが適用される駅１の様子を示す。乗客はスマートフォン、スマートウォッチのようなモバイルデバイス２を所持している。モバイルデバイス２には鉄道を利用するための乗車券アプリケーションがインストールされている。駅構内または車両内には多数の無線基地局３が設けられており、常にいずれかの無線基地局３がモバイルデバイス２と交信することによって死活監視が行われている。これにより、モバイルデバイス２がＸ駅に入場し、Ｙ駅から出場した、という旅程が把握され、モバイルデバイス２の保持者（乗客）の乗車券アプリケーションに紐づけられた運賃決済手段（例えば、クレジットカードなど）から、旅程に応じた運賃の決済が行われる。

【0012】

モバイルデバイス２と無線基地局３とにより、乗客が鉄道を利用している期間中、シームレスに乗客の所在確認を行い、乗客の旅程を把握することによって、駅から改札ゲートをなくすことができる。改札ゲートは人の流れを妨げる原因になるため、改札ゲートをなくすことで、乗降客が多くても駅への入出場をよりスムーズに行えるようになる利点がある。

【0013】

しかしながら、モバイルデバイス２の不具合によりモバイルデバイス２と無線基地局３とが交信できず旅程が確認できない、あるいは乗車券アプリケーションが無効になっており運賃決済ができない、といったことが生じ得るため、改札ゲートに代えて、改札異常を生じさせたモバイルデバイス２を所持する乗客に直接アクセスすることを可能にする何らかの改札機能は必要である。

【0014】

本実施例ではホームと駅出入口との間の通路にカメラ４を設け、カメラ４からの画像情報を併用することで改札機能を実現する。以下では、カメラ４の撮影領域を改札領域という。近年の無線を利用した測位ではおよそ50cm程度の識別精度で対象を区別できるため、カメラ４に撮影された画像情報と改札領域を通過したモバイルデバイス２の位置情報とを照合することで、測位精度の限度でモバイルデバイス２と乗客の画像とを紐づけることができる。

【0015】

しかしながら、測位精度は向上しているものの、駅通路が混雑している、あるいはマルチパスや遮蔽等の影響で測位精度が低下した等の理由でモバイルデバイス２同士が測位精度の限界以下の距離で改札領域を通過した場合には、カメラ４の撮影画像に写る乗客の画像とモバイルデバイス２とを１対１で紐づけることができなくなる。このような場合にでも、撮影画像中の乗客画像から、改札異常を生じさせたモバイルデバイスを所持している乗客画像を特定できることが望まれる。本実施例の改札システムでは、別駅でのカメラ４で撮影された画像データと当該改札領域を通過したモバイルデバイス２の位置データとをあわせて解析することにより、ある駅で他のモバイルデバイスと測位精度の限界以下の距離で改札領域を通過したモバイルデバイス２の所持者についても、画像による特定を可能とする。

【0016】

図４Ａに改札システム１０の機能ブロック図を示す。なお、改札システム１０がネットワークを通じて端末や他システムと協調動作することにより、乗車券システムとして機能する。図４Ａは、乗車券システムを構築する他の要素とともに改札システム１０を示している。

【0017】

改札システム１０は具体的には、図４Ｂに示すようなプロセッサ（ＣＰＵ）５１、メモリ５２、ストレージ装置５３、入出力装置５４、通信装置５５、バス５６を主要な構成として含む情報処理装置により実現される。プロセッサ５１は、メモリ５２にロードされたプログラムに従って処理を実行することによって、所定の機能を提供する機能部として機能する。ストレージ装置５３は、機能部で使用するデータやプログラムを格納する。入出力装置５４は、キーボード、ポインティングデバイスなどの入力装置と、ディスプレイなどの出力装置とを含む。通信装置５５は、ネットワークを介して他の情報処理装置と通信を可能にする。これらはバス５６により互いに通信可能に接続されている。なお、改札システム１０の全ての機能を１台の情報処理装置で実現する必要はなく、複数台の情報処理装置で実現してもよい。

【0018】

図４Ａにおいて、ユーザ端末３２、駅構内カメラ３５はそれぞれ、図１に示したモバイルデバイス２、カメラ４に相当する。ユーザ端末３２の位置情報は測位部３３により算出される。測位部３３の測位方法は特に限定されず、駅１に設置されたビーコン５からの信号を受信して測位を行ってもよいし、複数の無線基地局３との送受信信号の受信強度に基づく測位を行ってもよい。また、受信強度のみならず、到来角や到達時間推定による測位を行ってもよい。測位部３３は所定の頻度でユーザ端末３２の位置情報を算出し、算出されたユーザ端末の位置データは改札システム１０の端末追跡部１２に蓄積される。旅程構築部１３は端末追跡部１２に蓄積された位置データに基づき、ユーザ端末３２の入場駅と出場駅とを特定することでユーザ端末３２を所持した乗客の旅程を構築する。構築された旅程データは旅程データベース１４に格納される。なお、ここではユーザ端末３２で測位を行う例を示しているが、基地局側で測位を実行する構成も可能である。この場合は、ユーザ端末３２の位置情報が基地局からユーザ端末を特定する情報とともに端末追跡部１２に送られ、蓄積される。

【0019】

図１３に旅程データ１００のデータ構造例を示す。旅程データ１００は、ユーザＩＤ１０１、利用日１０２、入場時刻１０３、入場駅１０４、出場時刻１０５、出場駅１０６、異常内容１０７、対応結果１０８、精算日１０９、精算方法１１０を含む。ユーザＩＤ１０１は、ユーザ端末３２に一意に割り当てられたＩＤ（識別情報）である。入場駅１０４及び出場駅１０６は、ユーザ端末３２の位置データに基づき特定され、その日時とともに、旅程データ１００に登録される。改札異常が生じていなければ、異常内容１０７には異常なしと登録され、運賃精算システム４２（図４Ａ参照）によって行われる精算処理の結果が精算日１０９、精算方法１１０に登録される。一方、改札異常が生じた場合には、異常内容１０７にその内容が、対応結果１０８にその対応結果が登録されることになる。旅程データ１００は端末追跡部１２に蓄積されるユーザ端末の位置データによって随時更新される。また、後述する特定部１１が特定した情報によっても旅程データ１００は更新される。

【0020】

図４Ａの説明に戻る。駅構内カメラ３５の画像（動画像）は、駅構内カメラ３５から改札システム１０の人物追跡部１５に送られ、人物追跡部１５において画像に写っている乗客を抽出する。この処理には画像の特徴量から画像に写っている人物を他の人物と識別し、追跡する公知の技術が利用できる。詳細は後述するが、グループ作成部１６では互いに接近した状態で改札領域を通過した複数の乗客の画像データと当該画像の撮影時間帯に改札領域を通過したユーザ端末３２のユーザＩＤをグループデータとしてグループデータベース１７に格納する。特定部１１ではグループデータベース１７に格納されたグループデータを用いて、改札異常を生じさせたユーザ端末３２を所持する乗客の特定を行い、その対応結果に応じて旅程データ１００の更新が行われる。

【0021】

図５に改札システム１０による改札機能のフローチャートを示す。フローチャートの左側には、各ステップを実行する改札システム１０の機能部を表示している。

【0022】

まず、特定部１１はグループデータベース１７にグループ作成部１６によって新しいグループデータが格納されているかどうか確認する（Ｓ０１）。新しいグループデータが格納されていれば以下の処理を行う。なお、グループデータの詳細、作成方法については後述する。

【0023】

新規登録されたグループデータにおけるユーザＩＤ数ｎと乗客画像データ数ｍとを比較する（Ｓ０２）。ｎ＜ｍの場合には、不一致の原因となっているユーザＩＤに対応する乗客画像データを特定する（Ｓ０３）。このような改札異常を、その代表的な原因に基づき、以下では「電池切れタイプ」の改札異常と呼ぶ。一方、ｎ＝ｍの場合には、無効なチケットとなっているユーザＩＤがあるかどうかを確認する（Ｓ０４）。ｎ＝ｍかつ無効なチケットのユーザＩＤがなければ正常であり、当該グループデータの解析は不要である。一方、ｎ＝ｍかつ無効なチケットのユーザＩＤが存在する場合には、無効なチケットのユーザＩＤと対応する乗客画像データを特定する（Ｓ０５）。このような改札異常を、以下では「無効チケットタイプ」の改札異常という。改札異常に対して、ステップＳ０３またはステップＳ０５によってユーザＩＤや乗客画像を特定した結果に基づき、旅程データベース１４の旅程データ１００を更新する（Ｓ０６）。

【0024】

続いて、通知部１８は特定部１１で特定した改札異常の種類に応じて、次のような対応を行う。「電池切れタイプ」の改札異常では、ユーザ端末の復旧後、特定部１１が行った補完が正しいかどうか、ユーザ端末に問合せを出力し、その回答結果を受けて旅程データ１００の入出場駅を最終的に確定する（Ｓ０７）。精算依頼部２０では、確定した旅程データをもとに運賃精算システム４２に運賃請求を行い、その結果を元に旅程データ１００を更新する（Ｓ０８）。

【0025】

一方、「無効チケットタイプ」の改札異常では、解析結果を駅員が確認可能な運用端末３１に表示する（Ｓ０９）。駅員は、運用端末３１に表示された乗客画像情報から無効チケットとなっているユーザ端末を所持している乗客を画像に基づいて特定し、精算対応を行う。駅員は精算対応の結果を反映させるよう通知部１８を介して旅程データ１００を更新する（Ｓ１０）。

【0026】

図６にグループ作成部１６が実施するグループ作成フローチャートを示す。また、図１０Ａ，Ｂに本フローによって作成されるグループデータの例を示す。

【0027】

最初に空の新規グループを作成する（Ｓ１１）。新たに改札領域に乗客画像を検知すると（Ｓ１２）、そのグループに含まれている最後の乗客画像の改札領域の通過時間の差が所定値以上であるかどうかを判定し（Ｓ１３）、所定値未満であればグループにその乗客画像を追加し、所定値以上であればその乗客画像は当該グループに追加することなく、グループを画定する。ここで、グループへの追加可否を判定する所定値は、ユーザ端末３２の測位精度に基づき定めておく。これにより、位置情報からは識別できないユーザ端末３２を所持する乗客の画像がグループに含まれる。ステップＳ１１～１４により、図１０Ａに示すようなグループデータ（画像）が作成される。グループ６１にはステップＳ１１～１４で作成されるグループを特定するグループＩＤが登録されており、画像６２には乗客画像を特定する乗客画像ＩＤが登録されている。例えば、グループＩには、ＩＭＧ１～４からなる４つの乗客画像が含まれることを示している。

【0028】

グループが画定されると、グループの開始時刻（グループ最初の乗客が改札領域を通過した時刻）と終了時刻（グループ最後の乗客が改札領域を通過した時刻）の範囲（通過期間という）で取得されたユーザ端末のユーザＩＤとその位置データを端末追跡部１２から取得する（Ｓ１５）。次に、ユーザ端末の位置データの時系列特徴量を算出し、類似度が所定の値以上のユーザ端末を近接ユーザとする（Ｓ１６）。すなわち、近接ユーザは位置データに基づいては区別不可能なユーザである。次に、画像データから推定されるユーザ端末位置の時系列特徴量とユーザ端末の位置データの時系列特徴量とを比較し、類似度が所定の値以上の乗客画像を割当可能画像とする（Ｓ１７）。

【0029】

ステップＳ１５～１７により、図１０Ｂに示すようなグループデータ（ユーザＩＤ）が作成される。グループ６６は図１０Ａのグループ６１と同じグループＩＤであり、ユーザＩＤ６７にはステップＳ１５で特定されたユーザＩＤ、近接ユーザ６８にはステップＳ１６で特定された近接ユーザのユーザＩＤ、割当可能画像６９にはステップＳ１７で割当可能画像として特定された乗客画像ＩＤが登録されている。図１０Ａ，Ｂのグループデータの例は、図２Ａに示す事例に対応しているので、図１０Ｂ及び図２Ａの例に沿って、ステップＳ１５～１７での処理を説明する。

【0030】

図１０Ｂ及び図２Ａにおいて、グループＩの通過期間におけるユーザＩＤとしてはユーザＩＤ Ｂ～Ｅが特定されている。図２Ａにおいては、ステップＳ１６で求められる各ユーザＩＤの時系列特徴量を、ユーザＩＤを示すアルファベットを囲む円として表示している。時系列特徴量は通過期間におけるユーザＩＤの位置データの変化を特徴量としたものであり、グループＩの通過期間においてユーザＩＤ同士が改札領域内を接近して通過するほど時系列特徴量は同等の値を示し、グループＩの通過期間においてユーザＩＤ同士が改札領域内を離れて通過するほど時系列特徴量は違った値を示す。そこで、位置データでは区別できないユーザ端末所持者である近接ユーザを、時系列特徴量の類似度に基づいて特定する。グループＩの例では、例えば、ユーザＩＤ Ｂの時系列特徴量はユーザＩＤ Ｃの時系列特徴量と類似している（円が重なっている）ため、ユーザＩＤ ＣはユーザＩＤ Ｂの近接ユーザである。これに対して、ユーザＩＤ Ｂの時系列特徴量はユーザＩＤ Ｄ，Ｅの時系列特徴量と類似していない（円が重なっていない）ため、ユーザＩＤ Ｄ，ＥはユーザＩＤ Ｂの近接ユーザではない。同様にして、グループに含まれるすべてのユーザＩＤごとに近接ユーザを求めることができる。

【0031】

一方、画像データからもユーザ端末位置を推定できるので、ステップＳ１７では画像から得られる位置情報を用いて、ステップＳ１６と同様にユーザ端末位置の推定時系列特徴量を算出する。これにより、乗客画像データと位置データとを関連付けることが可能になる。具体的には、グループＩの例では、ユーザＩＤ Ｂの時系列特徴量と乗客画像ＩＤ ＩＭＧ１～４の推定時系列特徴量とを比較し、ユーザＩＤ Ｂの時系列特徴量と類似した推定時系列特徴量をもつ乗客画像ＩＤを割当可能画像として特定する。図１０Ｂに示されるように、図２Ａの事例では、乗客画像ＩＤ ＩＭＧ１～２がユーザＩＤ Ｂの割当可能画像として特定されている。

【0032】

このようにして得られたグループデータ６０，６５をグループデータベース１７に登録し（Ｓ１８）、グループ作成部１６によるグループ登録処理は終了する。グループ作成部１６は、駅構内カメラ３５からの画像から乗客画像が検知される度に図６のフローチャートを実行し、グループデータの作成及びグループデータベース１７への登録を実行する。

【0033】

続いて、改札異常が生じたときに、特定部１１がグループデータベース１７に登録されたグループデータをもとに実行する処理について説明する。

【0034】

図７に「電池切れタイプ」の改札異常対応処理（図５のフローチャートにおけるステップＳ０３）のフローチャートを示す。また、「電池切れタイプ」の改札異常の事例を図３に示す。

【0035】

まず、不一致の発生しているグループの場所と時刻と運行ダイヤから本グループから到達可能、または本グループに到達可能な関連グループ候補のリストを作成する（Ｓ２１）。運行ダイヤは運行ダイヤ取得部１９（図４Ａ参照）が運行管理システム４１から取得する。図３の例において、不一致の発生しているグループはグループｉである。グループｉは出場駅であるので、関連グループ候補としては、グループｉがＹ駅を出場する時間に到達可能になるように、いずれかの駅に入場したグループということになる。なお、以降の処理の計算量を削減するため、到達可能なグループを一度にすべて抽出しなくてもよい。例えば、過去の利用実績をもとにユーザの鉄道利用区間を推定し、利用率が一定以上の区間から関連グループ候補を優先的に抽出し、関連グループ候補を抽出する区間を順次広げていくようにしてもよい。

【0036】

次に、各関連グループ候補に含まれるユーザＩＤの旅程データ１００の異常内容１０７（図１３参照）を取得し、「異常なし」以外の内容となっているユーザＩＤを含むグループを関連グループとして抽出する（Ｓ２２）。ユーザ端末３２は常時死活管理されているため、途中で電池切れを起こして位置情報が把握できなくなった場合には、その旨が旅程データ１００の異常内容１０７に登録されている。このため、旅程データ１００に登録された異常内容から、ステップＳ２１で抽出された関連グループ候補から、不一致ユーザの候補となるユーザＩＤを含む関連グループのグループＩＤを抽出できる。図３の例では、関連グループとして、グループｉｉ（ユーザＩＤ Ｃが不一致ユーザの候補）及びグループｉｉｉ（ユーザＩＤ Ｇが不一致ユーザの候補）が抽出されている。

【0037】

不一致ユーザの候補が１つしかない場合には、唯一の候補を不一致ユーザとして特定し（Ｓ２３，２４）、不一致ユーザの旅程データ１００の異常内容１０７を「旅程途中終了」に更新する（Ｓ２８）。

【0038】

これに対して、図３のように不一致ユーザの候補が複数ある場合には、乗客画像の類似性をもとに、不一致ユーザの候補から不一致ユーザを特定する（Ｓ２３～Ｓ２７）。乗客画像の類似性を評価するため、乗客画像のそれぞれについて、あらかじめ定めた複数の画像特徴量を算出し、複数の画像特徴量で張られる特徴量空間にそれぞれの乗客画像をプロットする。乗客画像の類似性は、特徴量空間における乗客画像の距離によって判定する。そのため、各不一致ユーザ候補について、ユーザＩＤとその近接ユーザのユーザＩＤとを乗客画像の類似性を判定するためのクラスタリング対象として取得し（Ｓ２５）、クラスタリング対象の乗客画像に対してクラスタリングを実行し、ユーザＩＤを乗客画像に割り当てる（Ｓ２６）。この詳細については後述する。その結果、不一致の発生しているグループ（図３の例ではグループｉ）の乗客画像に割り当てられ、かつ当該グループに含まれていないユーザＩＤを不一致ユーザとして特定する（Ｓ２７）。その後、不一致ユーザの旅程データ１００の異常内容１０７を「旅程途中終了」に更新する（Ｓ２８）。

【0039】

図８に「無効チケットタイプ」の改札異常対応処理（図５のフローチャートにおけるステップＳ０５）のフローチャートを示す。また、「無効チケットタイプ」の改札異常の事例を図２Ａに示す。

【0040】

まず、グループデータを監視し、無効チケットを所持しているユーザが含まれるグループが２つ以上になるまで待つ（Ｓ３１）。図２Ａの例では、グループＩのユーザＩＤ Ｃが無効チケットを所持するユーザのユーザＩＤであり、当該ユーザがＹ駅から出場したことにより、無効チケットを所持しているユーザが含まれる２つ目のグループであるグループＩＩがグループ作成部１６によって作成される。

【0041】

その後、無効チケットを所持しているユーザが含まれるすべてのグループをグループデータベース１７から特定し、無効チケットを所持しているユーザＩＤまたはその近接ユーザのユーザＩＤを含むグループを関連グループとする（Ｓ３２）。図２Ａの例では、グループＩＩのユーザＩＤ Ｃの近接ユーザであるユーザＩＤ Ａをグループに含むグループＩＩＩを関連グループに含めて、クラスタリング対象とする。

【0042】

その後、クラスタリング対象の乗客画像に対してクラスタリングを実行し、ユーザＩＤを乗客画像に割り当てる（Ｓ３３）。この詳細は図７のフローチャートにおけるステップＳ２６と同様であり、後述する。これにより特定された無効チケットを所持しているユーザについて、旅程データ１００の異常内容１０７を「無効チケット」に更新する（Ｓ３４）。

【0043】

図９にクラスタリング処理（図７のフローチャートにおけるステップＳ２６、図８のフローチャートにおけるステップＳ３３）のフローチャートを示す。クラスタリング処理においては、所定のユーザＩＤに対応する乗客画像が直接的に特定できないことから、乗客画像の類似性を利用して、まず近接ユーザの乗客画像を特定し、消去法により所定のユーザＩＤに対応する乗客画像を特定する。

【0044】

まず、グループデータベース１７に格納されたグループデータ（図１０Ａ，Ｂ参照）から、クラスタリング対象とする全乗客画像を取得する（Ｓ４１）とともに、ユーザ割当情報及び画像割当情報を初期化する（Ｓ４２～Ｓ４３）。クラスタリング対象は、改札異常の生じたグループデータとその関連グループデータである。さらに、その中から改札異常が生じさせたユーザ端末に対応するユーザＩＤ及びその近接ユーザのユーザＩＤ、それらに割り当て可能な乗客画像に絞り込んで処理するとよい。図１１Ａに初期化されたユーザ割当情報７０を、図１１Ｂに初期化された画像割当情報７５を示す。なお、図１１Ａ，Ｂは図２Ａに示した事例に基づくものである。

【0045】

図１１Ａに示されるユーザ割当情報７０のユーザＩＤ７１は図７のフローチャートにおけるステップＳ２５または図８のフローチャートにおけるステップＳ３２で取得されたクラスタリング対象のユーザＩＤが登録され、完了状況７２はクラスタリングにおける乗客画像の割当状況が登録され、割当画像７３には当該ユーザＩＤに対して割り当てられた乗客画像ＩＤが登録される。初期化により、完了状況７２は「未完了」が登録され、割当画像７３には何も割り当てられていない状態となる。

【0046】

図１１Ｂに示される画像割当情報７５の乗客画像ＩＤ７６は乗客画像ＩＤが登録され、画像特徴量７７は特徴量空間における乗客画像のプロット位置が登録され、割当候補ユーザＩＤラベル７８は乗客画像ＩＤに対して割当候補となるユーザＩＤのリストが登録され、割当回数７９は、乗客画像ＩＤに対してユーザＩＤが割り当てられた回数が登録される。初期化により、グループデータベース１７に格納されたグループデータに基づき、乗客画像ＩＤ７６、画像特徴量７７、割当候補ユーザＩＤラベル７８の内容が登録される。割当候補ユーザＩＤラベル７８は、「グループ－ユーザＩＤ」の形式で登録されている。例えば、「Ｉ－Ｂ」とあるのは、「グループＩのユーザＩＤ Ｂ」を示している。割当回数の初期値は０である。

【0047】

図２Ｂに画像特徴量７７に対応する乗客画像の特徴量空間へのプロットを示す。画像割当情報７５における画像特徴量７７のプロット位置は（画像特徴量１，画像特徴量２）として表現されている。

【0048】

図９の説明に戻る。ユーザ割当情報７０の完了状況７２が未完了のユーザＩＤを１つ選択し（Ｓ４４）、選択したユーザＩＤが２以上のグループに含まれる場合には、ユーザＩＤが未割当の乗客画像のうち、割当回数が１回未満の画像について、画像類似度が一定値以上のクラスタを算出する（Ｓ４８）。選択したユーザＩＤが１つのグループのみに含まれる場合（Ｓ４５でNo）または、ステップＳ４８で算出されたクラスタにおいて要素数２以上のクラスタが複数得られた場合（Ｓ４９でNo）には、選択したユーザＩＤを割当候補ユーザＩＤラベル７８に含む乗客画像ＩＤを、選択したユーザＩＤの割当画像に設定し（Ｓ４６）、ユーザ割当情報７０の完了状況を仮割当とする。

【0049】

図２Ａの例では、１つのグループのみに含まれる（Ｓ４５でNo）ユーザＩＤは、Ｄ，Ｆ，Ｇが挙げられる。これらのユーザＩＤに対応する乗客画像には、同一ユーザの乗客画像が他に存在しないため、本来であればクラスタリングされる乗客画像は存在しない。しかしながら、画像特徴量は、同一人物であれば近い値となるが、別人であっても近いことがある。すなわち、偽陰性は低いが偽陽性が高い。このため、これらのユーザＩＤには、位置情報に基づき割当可能性のあるすべての乗客画像ＩＤを仮割当しておき、他のユーザＩＤに割り当てが確定した乗客画像ＩＤを外していくことで対応する乗客画像ＩＤの特定を図る。例えば、ユーザＩＤ Ｄの割当画像７３には乗客画像ＩＤ ＩＭＧ２，３，４が機械的に仮割り当てされる。

【0050】

図２Ｃは、図２Ｂの乗客画像のプロット位置に、クラスタリング結果を重畳したものである。この例ではクラスタ８１～８４の４つのクラスタが得られている。選択したユーザＩＤが対応する可能性のある乗客画像を含むクラスタが複数存在している場合には、選択したユーザＩＤに対応する乗客画像を絞り込むことはできない。このため、この場合にも（Ｓ４９でNo）で割当可能性のある乗客画像ＩＤを仮割当し、特定可能なユーザＩＤを先行して特定する。

【0051】

ユーザＩＤの割当画像を確定可能になるのは、選択したユーザＩＤについて、要素数２以上のクラスタが１つだけ見つかった場合である。この場合に、乗客画像の類似度情報に基づき、ユーザＩＤを乗客画像に割り当てる。

【0052】

このため、選択したユーザＩＤのユーザ割当情報７０の割当画像７３にクラスタの乗客画像ＩＤを設定する（Ｓ５０）。なお、クラスタに同じグループの乗客画像が複数含まれている場合には、クラスタに含まれる乗客画像について、画像割当情報７５の割当回数７９にクラスタに含まれる同じグループの乗客画像の逆数を加算する（Ｓ５１）。その後、割当確定したユーザＩＤを画像割当情報７５の割当候補ユーザＩＤラベル７８から除外し（Ｓ５２）、ユーザ割当情報７０について、選択したユーザＩＤの完了状況７２を完了に、仮割当のユーザＩＤの完了状況７２を未完了とし（Ｓ５３）、全ユーザが未完了でなくなるまで、ステップＳ４４からステップＳ５４までの処理を繰り返す。本フローにより更新されたユーザ割当情報７０と画像割当情報７５とをそれぞれ図１２Ａ，Ｂに示す。

【0053】

図２Ｃの場合、以下のようになる。

【0054】

選択されたユーザＩＤがＥである場合、割当可能な乗客画像ＩＤはグループＩのＩＭＧ３，４、グループＩＩのＩＭＧ５，６であるから、クラスタ８３を構成する乗客画像ＩＤ ＩＭＧ４，５がユーザＩＤ Ｅであると特定される。

【0055】

選択されたユーザＩＤがＡである場合、グループＩＩＩの乗客画像ＩＤ ＩＭＧ１０を含むクラスタ８１がユーザＩＤ Ａの乗客画像を含むクラスタであることは特定できるが、同じグループＩＩに属する乗客画像ＩＤ ＩＭＧ７，８のどちらがユーザＩＤ Ａの乗客画像か特定できない。この場合、ステップＳ５１において、乗客画像ＩＤ ＩＭＧ７，８の割当回数が０．５とされる。続いて、選択されたユーザＩＤがＢである場合、ユーザＩＤ Ｂの乗客画像を含むクラスタは、グループＩＩの乗客画像ＩＤ ＩＭＧ７またはＩＭＧ８を含む必要があり、クラスタ８１は確定済みであるため、クラスタ８２がユーザＩＤ Ａの乗客画像を含むクラスタであることが確定される。この場合も同じグループＩＩに属する乗客画像ＩＤ ＩＭＧ７，８のどちらがユーザＩＤ Ｂの乗客画像か特定できないため、ステップＳ５１において、乗客画像ＩＤ ＩＭＧ７，８の割当回数に０．５がさらに加算され、割当回数が１となる。結局、この場合はユーザＩＤ Ａは乗客画像ＩＤ ＩＭＧ７，８のどちらかである、ということで確定する。

【0056】

その結果、ユーザＩＤ Ｃの乗客画像は、当初、乗客画像ＩＤ ＩＭＧ５，６，７である可能性があったものの、ユーザＩＤ Ｅが乗客画像ＩＤ ＩＭＧ５に割当確定し、ユーザＩＤ Ａが乗客画像ＩＤ ＩＭＧ７またはＩＭＧ８に割当確定したことにより、乗客画像ＩＤ ＩＭＧ６を含むクラスタ８４がユーザＩＤ Ｃの乗客画像であることが分かる。すなわち、無効なチケットを有するユーザＩＤの乗客画像はグループＩの乗客画像ＩＤ ＩＭＧ２、グループＩＩの乗客画像ＩＤ ＩＭＧ６の乗客画像であると特定される。

【0057】

以上のように、改札異常を生じさせたユーザ端末のユーザＩＤ及び／または所持者の画像が特定される。この特定に基づき対応した結果が、図１３に示す旅程データ１００において最終的に反映される。レコード９１は「無効チケットタイプ」の改札異常に対して、駅員が対応した結果が登録されている例である（図５のフローチャートのステップＳ９，Ｓ１０）。また、レコード９２は、「電池切れタイプ」の改札異常に対して、出場駅を推定し（この場合、「システム復元」と表示されている）、ユーザに確認の上、精算が完了したことが登録されている例である（図５のフローチャートのステップＳ７，Ｓ８）。

【0058】

図１４に、改札異常が生じた場合に、駅員に対応を促すための運用端末３１への表示画面例を示す。表示画面１２０は改札異常が生じたことを駅員等に周知し、直接対応を促すものである。改札異常が発生したときに駅員等が直接利用者と対応可能することにより、悪意の不正乗車を抑制する効果が期待できる。

【0059】

表示画面１２０には改札異常の内容（ここでは無効チケット所持）１２１、ユーザＩＤ１２２、入出場駅及びその通過時間１２３，１２５、入出場駅での画像１２４，１２６が表示されている。例えば、図２Ａの事例であれば、画像１２４はグループＩの画像、画像１２６はグループＩＩの画像であり、さらに画像１２４，１２６にはそれぞれ、無効チケット所持ユーザの乗客画像がハイライト表示されている。

【0060】

図１５に、「電池切れタイプ」の改札異常が生じた場合に、通知部１８がユーザ端末３２の結果確認部３４に旅程を確認するための問い合わせ画面例を示す。問い合わせ画面１３０には、改札システム１０が復元した利用者の旅程１３１を表示する。利用者は、復元された旅程が正しければ確認ボタン１３２を押下し、間違っている場合には訂正ボタン１３３を押下し、正しい旅程を入力する。このように、改札システム１０が復元した旅程をシステム上で行えることにより、窓口対応を不要とし、利用者と事業者の双方の負担を低減することができる。

【0061】

以上、本発明の実施形態につき説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また例えば、上記した実施形態は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0062】

また上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また実施形態で示した各機能を実現するソフトウェアのプログラムコードによっても実現できる。

【0063】

以上の実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。また以上では各種の情報を表形式で例示したが、これらの情報は表以外の形式で管理してもよい。

【符号の説明】

【0064】

１：駅、２：モバイルデバイス、３：無線基地局、４：カメラ、５：ビーコン、１０：改札システム、１１：特定部、１２：端末追跡部、１３：旅程構築部、１４：旅程データベース、１５：人物追跡部、１６：グループ作成部、１７：グループデータベース、１８：通知部、１９：運行ダイヤ取得部、２０：精算依頼部、３１：運用端末、３２：ユーザ端末、３３：測位部、３４：結果確認部、３５：駅構内カメラ、４１：運行管理システム、４２：運賃精算システム、５１：プロセッサ、５２：メモリ、５３：ストレージ装置、５４：入出力装置、５５：通信装置、５６：バス、６０：グループデータ（画像）、６１：グループ、６２：画像、６５：グループデータ（ユーザＩＤ）、６６：グループ、６７：ユーザＩＤ、６８：近接ユーザ、６９：割当可能画像、７０：ユーザ割当情報、７１：ユーザＩＤ、７２：完了状況、７３：割当画像、７５：画像割当情報、７６：乗客画像ＩＤ、７７：画像特徴量、７８：割当候補ユーザＩＤラベル、７９：割当回数、８１，８２，８３，８４：クラスタ、９１，９２：レコード、１００：旅程データ、１０１：ユーザＩＤ、１０２：利用日、１０３：入場時刻、１０４：入場駅、１０５：出場時刻、１０６：出場駅、１０７：異常内容、１０８：対応結果、１０９：精算日、１１０：精算方法、１２０：表示画面、１２１：改札異常の内容、１２２：ユーザＩＤ、１２３：入場駅及びその通過時間、１２４：入場駅での画像、１２５：出場駅及びその通過時間、１２６：出場駅での画像、１３０：問い合わせ画面、１３１：旅程、１３２：確認ボタン、１３３：訂正ボタン。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13】

【図14】

【図15】