(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135205
(43)【公開日】2024-10-04
(54)【発明の名称】通行管理プログラム、通行管理方法、及び通行管理装置
(51)【国際特許分類】
G07C 9/25 20200101AFI20240927BHJP
G06T 7/00 20170101ALI20240927BHJP
G06V 40/16 20220101ALI20240927BHJP
G07C 9/27 20200101ALI20240927BHJP
G07C 9/29 20200101ALI20240927BHJP
【FI】
G07C9/25
G06T7/00 510F
G06V40/16 A
G07C9/27
G07C9/29
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2023045772
(22)【出願日】2023-03-22
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】山口 修
(72)【発明者】
【氏名】齊藤 廣大
【テーマコード(参考)】
3E138
5B043
【Fターム(参考)】
3E138AA01
3E138JA03
3E138JB12
3E138JB16
3E138JC05
3E138JC14
3E138JD02
5B043AA04
5B043AA09
5B043BA04
5B043DA05
5B043EA05
5B043GA02
5B043GA18
5B043HA02
(57)【要約】
【課題】通行に関するセキュリティの向上を図りつつ、利便性を向上させる。
【解決手段】一実施形態に係る通行管理プログラムは、特定ステップ及び認証ステップをコンピュータに実行させる。特定ステップは、通行領域の撮影画像に含まれる複数の顔画像領域のうち、認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、第1ユーザに随伴するユーザである第2ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の他方として特定する。認証ステップは、通行者顔画像と随伴者顔画像のいずれかが認証媒体に記録されている識別情報に対応付けられた正解顔画像と一致する場合、第1ユーザ及び第2ユーザを通行許可対象として認証する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する識別情報取得ステップと、
前記通行領域の撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する特定ステップと、
前記通行者顔画像と前記随伴者顔画像のいずれかが前記識別情報に対応する正解顔画像と一致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する認証ステップと、
をコンピュータに実行させるための通行管理プログラム。
【請求項2】
前記認証ステップは、前記通行者顔画像と前記随伴者顔画像のいずれもが前記正解顔画像と不一致である場合、前記第1ユーザ及び前記第2ユーザを通行許可対象外として認証する、請求項1に記載の通行管理プログラム。
【請求項3】
通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する識別情報取得ステップと、
前記通行領域の撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する特定ステップと、
前記通行者顔画像と前記随伴者顔画像のいずれもが前記識別情報に対応する正解顔画像と不一致である場合、前記第1ユーザ及び前記第2ユーザを通行許可対象外として認証する認証ステップと、
をコンピュータに実行させるための通行管理プログラム。
【請求項4】
前記識別情報に対応する前記正解顔画像は、前記識別情報により特定される正規通行者の顔画像と、前記正規通行者と一緒に前記通行領域を通過することを許可される正規随伴者の顔画像と、を備え、
前記認証ステップは、前記通行者顔画像が前記正規通行者の前記顔画像に一致する、且つ、前記随伴者顔画像が前記正規随伴者の前記顔画像に一致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項5】
前記識別情報に対応する前記正解顔画像は、前記識別情報により特定される正規通行者の顔画像を備え、
前記認証ステップは、前記通行者顔画像が前記正規通行者の前記顔画像に一致する、且つ、前記随伴者顔画像が予め登録される前記通行領域を通行することを許可される代表随伴者の顔画像に一致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項6】
前記特定ステップは、
前記撮影画像に含まれる複数のユーザの属性情報を特定するステップと、
前記特定された属性情報に基づいて、前記第1ユーザが前記識別情報により特定される正規通行者であるか否かを判断するステップと、
を備える、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項7】
前記識別情報に対応する前記正解顔画像は、前記正規通行者の顔画像を備え、
前記認証ステップは、前記通行者顔画像が前記正規通行者の前記顔画像に一致する、且つ、前記第1ユーザ及び前記第2ユーザのうち前記正規通行者に該当しないユーザの前記特定された属性情報が予め定められた属性に合致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する、
請求項6に記載の通行管理プログラム。
【請求項8】
前記識別情報に対応する前記正解顔画像は、前記正規通行者と一緒に前記通行領域を通過することを許可される正規随伴者の顔画像を備え、
前記認証ステップは、前記随伴者顔画像が前記正規随伴者の前記顔画像に一致する、且つ、前記第1ユーザ及び前記第2ユーザのうち前記正規通行者に該当するユーザの前記特定された属性情報が予め定められた属性に合致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する、
請求項6に記載の通行管理プログラム。
【請求項9】
前記特定ステップは、前記撮影画像に含まれる複数のユーザのうち、前記読取部による前記認証媒体からの前記識別情報の読み取り時に前記認証媒体を携帯するユーザを前記第1ユーザとして特定するステップを備える、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項10】
前記特定ステップは、前記撮影画像に含まれる複数のユーザのうち、前記第1ユーザと一緒に前記通行領域を通行可能なユーザを前記第2ユーザとして特定するステップを備える、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項11】
前記特定ステップは、
前記撮影画像から、前記撮影画像に含まれるユーザの身体における前記認証媒体の携帯部位を特定する携帯部位特定ステップと、
前記撮影画像に含まれる複数のユーザのうち、前記特定された携帯部位を身体の一部として有するユーザを前記第1ユーザとして特定する第1ユーザ特定ステップと、
を備える、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項12】
前記第1ユーザ特定ステップは、前記携帯部位の位置と、前記複数の顔画像領域の位置と、前記撮影画像から抽出される前記複数のユーザの骨格情報と、に基づいて、前記撮影画像に含まれる複数のユーザのうち、前記特定された携帯部位を身体の一部として有するユーザを前記第1ユーザとして特定する、
請求項11に記載の通行管理プログラム。
【請求項13】
前記携帯部位は、ユーザの手である、
請求項11に記載の通行管理プログラム。
【請求項14】
前記撮影画像取得ステップは、少なくとも前記識別情報の前記読取部による読み取り時の前記撮影画像を取得する、
請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項15】
前記撮影画像取得ステップは、前記通行領域を時系列に沿って撮影した複数の前記撮影画像を取得し、
前記携帯部位特定ステップは、前記複数の撮影画像に基づいて、前記読取部による前記識別情報の読み取り時の前記認証媒体の前記携帯部位を推測することによって前記携帯部位を特定する、
請求項11に記載の通行管理プログラム。
【請求項16】
前記認証ステップによる認証結果を出力する出力制御ステップを前記コンピュータにさらに実行させる、請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項17】
前記認証ステップによる認証結果に応じて前記通行領域のユーザの通過を許可又は制限するように、前記通行領域に設けられた通行口開閉駆動部を制御する通行制御ステップを前記コンピュータにさらに実行させる、請求項1乃至3のいずれか1項に記載の通行管理プログラム。
【請求項18】
コンピュータにより実行される通行管理方法であって、
通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する識別情報取得ステップと、
前記通行領域の撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する特定ステップと、
前記通行者顔画像と前記随伴者顔画像のいずれかが前記識別情報に対応する正解顔画像と一致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する認証ステップと、
を備える通行管理方法。
【請求項19】
コンピュータにより実行される通行管理方法であって、
通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する識別情報取得ステップと、
前記通行領域の撮影画像を取得する撮影画像取得ステップと、
前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する特定ステップと、
前記通行者顔画像と前記随伴者顔画像のいずれもが前記識別情報に対応する正解顔画像と不一致である場合、前記第1ユーザ及び前記第2ユーザを通行許可対象外として認証する認証ステップと、
を備える通行管理方法。
【請求項20】
通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する識別情報取得部と、
前記通行領域の撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する特定部と、
前記通行者顔画像と前記随伴者顔画像のいずれかが前記識別情報に対応する正解顔画像と一致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する認証部と、
を備える通行管理装置。
【請求項21】
通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する識別情報取得部と、
前記通行領域の撮影画像を取得する撮影画像取得部と、
前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する特定部と、
前記通行者顔画像と前記随伴者顔画像のいずれもが前記識別情報に対応する正解顔画像と不一致である場合、前記第1ユーザ及び前記第2ユーザを通行許可対象外として認証する認証部と、
を備える通行管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、通行管理プログラム、通行管理方法、及び通行管理装置に関する。
【背景技術】
【0002】
通行領域を通行するユーザを認証するシステムが知られている。例えば、通行者の撮影画像における顔の位置と顔以外の部位の位置との位置関係が異常である場合、認証不可と判定するシステムが開示されている。また、非正規通行者が正規通行者と一緒に通行領域を通行する不正通行を防止するシステムが開示されている。また、認証媒体から読み取った識別情報と予め記憶されている識別情報とが不一致である場合、認証不可と判定する技術が知られている。
【0003】
しかしながら、従来技術では、通行許可対象のユーザと通行許可対象外のユーザとの双方が検証対象の撮影画像に同時に写り込んでいる場合や、通行許可対象外のユーザが通行許可対象のユーザの認証媒体を携帯していた場合、不正検出が困難となる場合がある。すなわち、従来技術では、通行に関するセキュリティが低下する場合がある。
【0004】
一方、ゲート通行において複数ユーザの同時通行を認めるシステムがある。ここで、通行許可対象外のユーザが通行許可対象のユーザの認証媒体を携帯している場合で、通行を許可したい場合がある。例えば、車椅子に乗車したユーザを介助するユーザが代理で車椅子に乗車したユーザの認証媒体を携帯し、通行を試みる場合がある。この場合は、なりすましを禁じたゲートシステムにおいては、通行ができないことになるが、利便性の向上のために通過を認める必要がある。また、通行許可対象のユーザが未就学児を連れて通過を試みる場合がある。未就学児がシステムに登録されていない場合には、同時通行が許可されないことがあり、利便性が低い。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開第2020/152917号公報
【特許文献2】特開2004-265232号公報
【特許文献3】特許第3617373号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、通行に関するセキュリティの向上を図りつつ、利便性を向上させることができる通行管理プログラム、通行管理方法、及び通行管理装置を提供することである。
【課題を解決するための手段】
【0007】
一実施形態に係る通行管理プログラムは、識別情報取得ステップ、撮影画像取得ステップ、特定ステップ、及び認証ステップをコンピュータに実行させる。識別情報取得ステップは、通行領域に設置された読取部によって認証媒体から読み取られた識別情報を取得する。撮影画像取得ステップは、前記通行領域の撮影画像を取得する。特定ステップは、前記撮影画像に含まれる複数の顔画像領域のうち、前記認証媒体を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、前記撮影画像に含まれる前記複数の顔画像領域のうち、前記第1ユーザに随伴するユーザである第2ユーザの顔画像領域を前記通行者顔画像及び前記随伴者顔画像の他方として特定する。認証ステップは、前記通行者顔画像と前記随伴者顔画像のいずれかが前記識別情報に対応する正解顔画像と一致する場合、前記第1ユーザ及び前記第2ユーザを通行許可対象として認証する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る通行管理システムを示す模式図である。
【
図2】
図2は、
図1に示した通行管理装置の機能構成を示すブロック図である。
【
図3】
図3は、
図2に示した記憶部に記憶されているユーザ管理情報を示す図である。
【
図4】
図4は、
図1に示した撮影部により得られる撮影画像の例を示す図である。
【
図5】
図5は、
図1に示した撮影部により得られる撮影画像の他の例を示す図である。
【
図6】
図6は、通行者を特定する処理を説明するための図である。
【
図7】
図7は、通行者を特定する処理を説明するための図である。
【
図8】
図8は、通行者を特定する処理を説明するための図である。
【
図9】
図9は、通行者を特定する処理を説明するための図である。
【
図10】
図10は、通行者を特定する処理を説明するための図である。
【
図11A】
図11Aは、
図2に示した通行管理装置により実行される通行管理処理の手順を示すフローチャートである。
【
図11B】
図11Bは、
図2に示した通行管理装置により実行される通行管理処理の手順を示すフローチャートである。
【
図12】
図12は、
図2に示した通行管理装置を実装し得るコンピュータのハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら実施形態を説明する。
【0010】
図1は、実施形態に係る通行管理システム1の構成例を概略的に示している。
図1に示すように、通行管理システム1は、通行管理装置10、読取部20、及び撮影部22を備える。通行管理装置10は、読取部20及び撮影部22に通信可能に接続されている。
【0011】
通行管理装置10は、通行領域Sの通過を試みるユーザUの通行を管理するための情報処理装置である。
【0012】
通行領域Sとは、通行管理装置10がユーザUの通行を管理する対象となる領域である。通行領域Sは、例えば、所定領域への入退室時に用いられる通行口、ある領域と他の領域との境界を含む領域などである。所定領域とは、入退室を管理する対象となる領域である。所定領域は、例えば、特定の建物内の領域、電車などの交通機関を利用可能な領域、特定の屋外の領域などであるが、これらに限定されない。
【0013】
通行領域Sには、例えば、通行口筐体24が設けられている。通行口筐体24は、通行領域Sに設置された筐体である。通行口筐体24には、読取部20、通行口開閉駆動部26、及びドア部材28が設けられている。
【0014】
読取部20は、認証媒体30からユーザUの識別情報を読み取る読取装置である。読取部20は、通行領域Sに設置されている。
図1に示す例では、読取部20は、通行領域Sに設置された通行口筐体24に設けられている。読取部20は、認証媒体30が接触又は非接触により近接することで、認証媒体30から識別情報を読み取り、読み取った識別情報を通行管理装置10へ送信する。近接とは、認証媒体30と読取部20とが通信可能な距離範囲内に位置することを意味する。
【0015】
読取部20は、例えば、バーコードを読み取り識別情報を送信するバーコードリーダ、磁気情報を読み取ることで識別情報を送信する磁気カードリーダ、撮影画像から識別情報を読み取り送信する機器、メモリカードなどの記録媒体から識別情報を読み取り送信する機器などである。バーコードは、例えば、一次元バーコード、二次元バーコードなどである。
【0016】
認証媒体30は、ユーザUによって携帯可能な媒体であって、ユーザUの識別情報を読取部20に対して読み取り可能に提供可能な媒体である。ユーザUの識別情報は、ユーザUを一意に識別可能な情報であればよい。ユーザUの識別情報は、例えば、社員番号などのユーザUの管理番号、ユーザUに対して予め付与された旅券番号などの番号などであるが、これらに限定されない。
【0017】
例えば、認証媒体30は、ユーザUの識別情報を表すバーコードを表示画面に表示可能な携帯端末である。この場合、認証媒体30は、例えば、表示部を備えるスマートフォン、タブレット端末などである。また、例えば、認証媒体30は、ユーザUの識別情報を表す文字やバーコードなどが印字などにより記録された紙や樹脂などの媒体である。この場合、認証媒体30は、例えば、旅券などの交通チケット、社員証などである。また、例えば、認証媒体30は、ユーザUの識別情報を記憶した記録媒体を有し、読取部20に接触又は近接することで記録媒体に記憶された識別情報を読取部20が読み取り可能な媒体である。この場合、認証媒体30は、例えば、通信機能及び記録媒体を備える機器である。
【0018】
本実施形態では、認証媒体30が、識別情報を表す文字若しくはバーコードが記録された紙媒体、又は識別情報を表す文字若しくはバーコードを表示可能な携帯端末である形態を想定して説明する。また、本実施形態では、読取部20は、認証媒体30における識別情報を表す文字又はバーコードが読取部20に接触又は近接されることで、該認証媒体30から識別情報を読み取り、通行管理装置10へ送信する形態を想定して説明する。
【0019】
撮影部22は、通行領域Sを撮影し撮影画像データを通行管理装置10へ送信する装置である。以下では、撮影画像データを単に撮影画像と称する。撮影部22は、通行領域Sに含まれる読取部20を含み、読取部20の近傍にユーザUが存在するときの該ユーザUの顔及び顔以外の身体の部位を含む領域を撮影可能となるように、撮影画角及び撮影方向が予め調整されている。本実施形態では、撮影部22は、通行領域Sを時系列に沿って順次撮影し、撮影した撮影画像を順次通行管理装置10へ送信する形態を一例として説明する。また、撮影部22は、撮影画像に撮影時刻を付与し、撮影時刻が付与された撮影画像を通行管理装置10へ送信する。
【0020】
通行口開閉駆動部26は、ドア部材28を駆動する駆動機構である。通行口開閉駆動部26は通行管理装置10に通信可能に接続されている。通行口開閉駆動部26は通行管理装置10の制御に応じてドア部材28を駆動する。通行口開閉駆動部26は、ドア部材28を駆動することで、通行領域SのユーザUの通過を許可又は制限するようにドア部材28の状態を切り替える。例えば、ドア部材28は、開閉可能に設けられている。通行口開閉駆動部26がドア部材28を開状態に切り替えることで、ユーザUは通行領域Sを例えば矢印X方向に通過可能となる。通行口開閉駆動部26がドア部材28を閉状態に切り替えることで、ユーザUが通行領域Sを通過することが制限される。
【0021】
上述したように、認証媒体30は、ユーザUによって携帯可能な媒体であって、ユーザUの識別情報を読取部20に対して読み取り可能に提供可能な媒体である。ユーザUは、認証媒体30を携帯して通行領域Sへ侵入し、認証媒体30を読取部20へ接触又は近接させることで、通行領域Sを例えば矢印X方向に通過することを試みる。通行領域Sの通過を試みるユーザUの通行は、通行管理装置10によって管理される。
【0022】
複数のユーザUが一緒に通行領域Sの通過を試みる場合がある。
図1に示す例では、ユーザUyは、車椅子に乗ったユーザUxを介助する介助者であり、ユーザUxの認証媒体30を代理で携帯し、ユーザUxと一緒に通行領域Sを通過することを試みる。ユーザUx、UyはユーザUの例である。認証媒体30にはユーザUxの識別情報(UxID)が記録されており、ユーザUxが正規通行者に相当する。正規通行者は、通行領域Sの通過を可能とするために、その識別情報が通行管理装置10に登録されているユーザを示す。通行管理装置10は、ユーザUyがユーザUxと一緒に通行領域Sを通過することを許可するように構成される。ユーザUx、Uyが一緒に通行領域Sを通過することが許可される状況については、後述する。
【0023】
図1に示す例では、1つの通行領域Sが設けられ、その通行領域Sに通行口筐体24が設置されている。他の実施形態では、複数の通行領域Sが設けられ、複数の通行領域Sのそれぞれに通行口筐体24が設置されていてもよい。この場合、通行管理装置10は、通行領域Sごとにユーザの通行を管理し、すなわち、通行領域Sごとに、通行口筐体24に設けられた読取部20、撮影部22、及び通行口開閉駆動部26を管理する。本実施形態では、1つの通行領域Sに1つの読取部20、撮影部22、及び通行口開閉駆動部26が設けられ、通行管理装置10は、読取部20、撮影部22、及び通行口開閉駆動部26を管理する形態を一例として説明する。
【0024】
図2は、通行管理装置10の機能構成の一例を概略的に示している。
図2には、説明のために、撮影部22、読取部20、及び通行口開閉駆動部26を併せて示す。
【0025】
通行管理装置10は、記憶部12、UI(ユーザ・インタフェース)部14、通信部16、及び制御部18を備える。記憶部12、UI部14、通信部16、及び制御部18は、例えばバス17を介して、互いに通信可能に接続されている。
【0026】
記憶部12は、各種のデータを記憶する。本実施形態では、記憶部12は、ユーザ管理情報121を予め記憶する。
【0027】
図3は、ユーザ管理情報121のデータ構成の一例を概略的に示している。ユーザ管理情報121は、通行許可対象のユーザに関する情報を管理するためのデータベースである。ユーザ管理情報121のデータ形式は、データベースに限定されない。
図3に示すように、ユーザ管理情報121は、ユーザUの識別情報と正解顔画像とを対応付けたデータベースである。正解顔画像は、対応する識別情報によって識別されるユーザU(すなわち正規通行者)の顔画像であり得る。ユーザUの顔画像は、例えば、ユーザUを撮影して得られる画像から顔画像領域を抽出したデータなどである。ユーザ管理情報121には、例えば、制御部18による事前の登録処理などによって、識別情報と該識別情報によって識別されるユーザUの正解顔画像とが対応付けて登録される。
【0028】
正解顔画像には、正規随伴者の顔画像が登録される場合もある。正規随伴者は、正規通行者に随伴することを認められるユーザ、すなわち、正規通行者と一緒に通行領域Sを通過することを認められるユーザを示す。正解顔画像は、正規通行者の顔画像と正規随伴者の顔画像との少なくとも一方を備える。すなわち、正解顔画像は、正規通行者の顔画像、正規随伴者の顔画像、又は正規通行者の顔画像と正規随伴者の顔画像の両方を備える。複数の正規随伴者それぞれの顔画像が正解顔画像に登録されてもよい。
【0029】
ユーザ管理情報121は、識別情報に対応付けられた補助属性情報をさらに備えていてもよい。補助属性情報は、通行者に関する通行様式に関する情報を示す。例えば、補助属性情報は、正規通行者が要介助者であることを示す「要介助」、認証に正規通行者の顔画像を使用できないことを示す「代理通行」、正規通行者が幼児を同伴することを示す「幼児同伴」などの予め定められる複数のカテゴリのうちのいずれかを指定する情報を含み得る。補助属性情報は、後述する顔画像特定と認証とを含む処理の仕方を切り替えるために使用される。
【0030】
図2を再び参照すると、UI部14は、各種の情報を表示する表示機能、及びユーザによる操作入力を受付ける入力機能を有する。表示機能は、例えば、ディスプレイ、投影装置などである。入力機能は、例えば、マウス及びタッチパッドなどのポインティングデバイス、キーボードなどである。表示機能と入力機能とを一体的に構成したタッチパネルとしてもよい。
【0031】
通信部16は、通行管理装置10の外部の情報処理装置などと通信するための通信インタフェースである。本実施形態では、通信部16は、通行領域Sの通行口筐体24に設けられた撮影部22、読取部20、及び通行口開閉駆動部26と、ネットワークなどを介して無線又は有線により通信する。
【0032】
なお、記憶部12及びUI部14の少なくとも一方は、通行管理装置10の外部に設けられていてもよい。この場合、記憶部12及びUI部14の少なくとも一方は、ネットワーク及び通信部16を介して通行管理装置10と通信可能であればよい。
【0033】
また、記憶部12、UI部14、及び制御部18に含まれる後述する1又は複数の機能部の少なくとも1つを、ネットワークなどを介して通行管理装置10に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。
【0034】
制御部18は、通行管理装置10において情報処理を実行する。制御部18は、撮影画像解析部181、識別情報取得部182、撮影画像取得部183、特定部184、認証部185、通行制御部186、及び出力制御部187を備える。
【0035】
撮影画像解析部181、識別情報取得部182、撮影画像取得部183、特定部184、認証部185、通行制御部186、及び出力制御部187は、例えば、1又は複数のプロセッサにより実現される。例えば上記各部は、CPU(Central Processing Unit)などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のICや回路などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアとハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち1つを実施するように構成されてもよく、各部のうち2以上を実施するように構成されてもよい。
【0036】
撮影画像解析部181は、撮影部22から撮影画像40を順次受け付ける。上述したように、撮影部22は、通行領域Sを撮影し、撮影時刻が付与された撮影画像40を通行管理装置10へ順次送信する。撮影画像解析部181は、通信部16を介して撮影部22から、撮影時刻が付与された撮影画像40を順次受け付ける。撮影画像40に付与される撮影時刻は、その撮影画像40が撮影された時刻である。
【0037】
図4及び
図5は、撮影部22により得られる撮影画像40の例を概略的に示している。
図4に示す撮影画像40Aは、ユーザUyが車椅子に乗ったユーザUxの認証媒体30を代理で読取部20にタッチした場面を撮影したものである。
図5に示す撮影画像40Bは、2名のユーザUx、Uyが順次に通行領域Sを通行しようとしており、ユーザUxが自身の認証媒体30を読取部20にタッチした場面を撮影したものである。
【0038】
図2を再び参照すると、撮影画像解析部181は、新たな撮影画像40を受け付けるごとに撮影画像40を解析し、解析結果を生成する。撮影画像解析部181は、撮影画像40に写り込んだユーザUの顔画像領域F及びユーザUの骨格情報Bを、解析結果として得る。
【0039】
顔画像領域Fとは、撮影画像40に含まれるユーザUの顔を表す顔領域である。撮影画像解析部181は、画像から顔画像領域を特定する公知の画像処理技術により、撮影画像40に含まれるユーザUの顔画像領域Fを解析すればよい。画像から顔画像領域を特定する公知の画像処理技術としては、例えば、“Henry A. Rowley, Shumeet Baluja, and Takeo Kanade:Neural Network-Based Face Detection,IEEE Transactions on Pattern Analysis and Machine Intelligence Vol.20, 1, Jan. 1998, pp. 23--38.”などが挙げられるが、これに限定されない。
【0040】
図4に示す撮影画像40Aの場合、撮影画像解析部181は、撮影画像40AからユーザUxの顔画像領域Fa及びユーザUyの顔画像領域Fbを特定する。顔画像領域Fa及び顔画像領域Fbは、顔画像領域Fの例である。
【0041】
骨格情報Bとは、撮影画像40に含まれるユーザUの骨格を表す情報である。骨格情報は、ユーザUを構成する複数の骨格の各々の撮影画像40における位置及び骨格の形状などを表す情報である。骨格情報Bによって、撮影画像40に写り込んだユーザUの身体の各部位の撮影画像40における位置が特定可能となる。
【0042】
撮影画像解析部181は、画像から骨格情報を解析する公知の画像処理技術により、骨格情報Bを解析すればよい。画像から骨格情報を解析する公知の画像処理技術としては、例えば、“Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and Y. A. Sheikh:OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.43, 1, Jan. 2021, 172--186.”などが挙げられるが、これに限定されない。
【0043】
図4に示す撮影画像40Aの場合、撮影画像解析部181は、撮影画像40AからユーザUxの骨格情報Ba及びユーザUyの骨格情報Bbを特定する。骨格情報Ba及び骨格情報Bbは、骨格情報Bの例である。
【0044】
図2を再び参照すると、撮影画像解析部181は、物体検出により撮影画像40に含まれる物体を認識して物体認識情報を生成してよい。撮影画像40の解析結果は、物体認識情報を含んでよい。例えば、画像から車椅子や白杖などの所定の物体を検出する物体検出器を事前に用意しておき、撮影画像解析部181は、物体検出器を使用して撮影画像40に対して所定の物体を検出する処理を行う。物体検出手法としては、Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg,”SSD: Single Shot MultiBox Detector”, In Proc. ECCV(2016)などの手法を用いればよいが、これに限定されるものではない。撮影画像解析部181は、撮影画像40から所定の物体を検出した場合に、撮影画像40に所定の物体が含まれていることを示す物体認識情報を生成し、撮影画像40から所定の物体を検出できなかった場合に、撮影画像40に所定の物体が含まれていないことを示す物体認識情報を生成する。
【0045】
撮影画像解析部181は、新たな撮影画像40を撮影部22から受け付けるごとに、撮影画像40を解析して、撮影画像40と解析結果と撮影時刻とを対応付けて記憶部12へ記憶させる。なお、撮影画像解析部181は、予め定めた枚数又はデータ量となるまで撮影画像40を記憶部12へ記憶してよい。そして、撮影画像解析部181は、該枚数又は該データ量を超える新たな撮影画像40を記憶部12へ記憶する際に、撮影時刻の古い撮影画像40から順に記憶部12から削除し、新たに受け付けた撮影画像40と解析結果と撮影時刻とを対応付けて記憶部12へ記憶してよい。また、撮影画像解析部181は、現在から過去に向かって所定期間の撮影画像40が記憶部12へ記憶されるように、記憶部12へ記憶する撮影画像40を記憶制御してもよい。
【0046】
識別情報取得部182は、通行領域Sに設置された読取部20により認証媒体30から読み取られた識別情報を取得する。例えば、認証媒体30を携帯したユーザUが認証媒体30を読取部20へ近接させると、読取部20は認証媒体30から識別情報を読み取る。読取部20は、認証媒体30から識別情報を読み取るごとに、読み取った識別情報及び読取時刻を対応付けて通行管理装置10へ送信する。読取時刻は、識別情報を読み取った時刻である。識別情報取得部182は、通信部16を介して読取部20から識別情報及び該識別情報に対応する読取時刻を取得する。
【0047】
撮影画像取得部183は、通行領域Sの撮影画像40を取得する。撮影画像取得部183は、撮影画像解析部181により解析された撮影画像40を記憶部12から読み取ることで、通行領域Sの撮影画像40を取得する。
【0048】
撮影画像取得部183は、少なくとも読取部20による識別情報の読み取り時の撮影画像40を取得する。例えば、識別情報取得部182が識別情報を取得するたびに、撮影画像取得部183は、該識別情報に対応する読取時刻と同一の撮影時刻に対応付けられた撮影画像40を記憶部12から読み取ることで、読取部20による識別情報の読み取り時の撮影画像40を取得する。
【0049】
なお、撮影画像取得部183は、識別情報取得部182により取得された識別情報に対応する読取時刻から所定時間内の撮影時刻に対応付けられた撮影画像40を記憶部12から読み取ることで、読取部20による識別情報の読み取り時の撮影画像40を取得してもよい。所定時間は、識別情報の読取時刻と撮影画像40の撮影時刻とが一致すると判別可能な期間であればよい。本実施形態では、撮影画像取得部183は、上記条件を満たす撮影画像40及び該撮影画像40に対応する解析結果を記憶部12から読み取ることで、撮影画像40及び解析結果を取得する。
【0050】
特定部184は、撮影画像40に含まれる1又は複数の顔画像領域Fのうち、認証媒体30を携帯するユーザUの顔画像領域Fを通行者顔画像及び随伴者顔画像の一方として特定し、撮影画像40に含まれる1又は複数の顔画像領域Fのうち、認証媒体30を携帯するユーザUに随伴するユーザUの顔画像領域Fを通行者顔画像及び随伴者顔画像の他方として特定する。例えば、特定部184は、例えば撮影画像40の解析結果に基づいて、認証媒体30を携帯するユーザUが単独で通行領域Sを通行しようとしているのか、他のユーザと一緒に通行領域Sを通行しようとしているのかを判断する。特定部184は、認証媒体30を携帯するユーザUが単独で通行領域Sを通行しようとしていると判断した場合、認証媒体30を携帯するユーザUを正規通行者と判断し、認証媒体30を携帯するユーザUの顔画像領域Fを通行者顔画像として特定する。特定部184は、認証媒体30を携帯するユーザUが他のユーザと一緒に通行領域Sを通行しようとしていると判断した場合、例えば撮影画像40の解析結果に基づいて、認証媒体30を携帯するユーザUが正規通行者であるのか正規通行者に随伴する随伴者であるのかを判断する。特定部184は、認証媒体30を携帯するユーザUが正規通行者であると判断した場合、認証媒体30を携帯するユーザUの顔画像領域Fを通行者顔画像として特定し、認証媒体30を携帯するユーザUに随伴するユーザUの顔画像領域Fを随伴者顔画像の他方として特定する。特定部184は、認証媒体30を携帯するユーザUが随伴者であると判断した場合、認証媒体30を携帯するユーザUの顔画像領域Fを随伴者顔画像として特定し、認証媒体30を携帯するユーザUに随伴するユーザUの顔画像領域Fを通行者顔画像として特定する。
【0051】
特定部184は、撮影画像取得部183により取得された撮影画像40を用いて、顔画像の特定処理を実行する。上述したように、撮影画像取得部183は、少なくとも読取部20による識別情報の読み取り時の撮影画像40を取得する。そして、特定部184は、撮影画像取得部183により取得された撮影画像40を用いて顔画像の特定処理を実行する。このため、特定部184は、撮影画像40に含まれる1又は複数の顔画像領域Fのうち、読取部20による認証媒体30からの識別情報の読み取り時に該認証媒体30を携帯するユーザUの顔画像領域Fを通行者顔画像又は随伴者顔画像として特定する。
【0052】
通行者顔画像とは、通行領域Sを通行する、正規通行者と判断されたユーザUの顔の画像である。随伴者顔画像とは、正規通行者と判断されたユーザUと一緒に通行領域Sを通行するユーザUの顔の画像である。特定部184は、認証媒体30を携帯して通行領域Sを通行するユーザUの顔の画像を通行者顔画像又は随伴者顔画像として特定する。例えば、特定部184は、読取部20による認証媒体30からの識別情報の読み取り時に認証媒体30を携帯していたユーザUを正規通行者と判断した場合、該ユーザUの顔画像領域Fを通行者顔画像として特定する。
【0053】
読取部20による認証媒体30からの識別情報の読み取り時の撮影画像40には、認証媒体30を携帯したユーザUの手が写り込んでいる。そこで、特定部184は、撮影画像取得部183によって取得された少なくとも読取部20による識別情報の読み取り時の撮影画像40を用いて、該撮影画像40に含まれる通行者顔画像又は随伴者顔画像を特定する。
【0054】
特定部184の処理について詳細に説明する。
【0055】
特定部184は、属性情報特定部1841、携帯部位特定部1842、顔画像特定部1843を備える。顔画像特定部1843は、通行者顔画像特定部1844及び随伴者顔画像特定部1845を備える。
【0056】
属性情報特定部1841は、撮影画像40に含まれるユーザ(人物)の属性情報を特定する。ここでの属性情報とは、年齢、身長、若しくは服装などのユーザ個別の属性を示す情報、及び又は複数のユーザ間の関係を示す情報を含み得る。ユーザ個別の属性を示す情報は、撮影画像解析部181により属性認識情報として生成されてもよい。
【0057】
属性情報特定部1841は、撮影画像40を画像認識することにより、年齢、身長、若しくは服装などの属性情報を特定してよい。例えば、年齢は、R. Rothe, R. Timofte, and L. V. Gool, “DEX: Deep EXpectation of apparent age from a single image," in Proc. of ICCV, 2015.に記載される手法を使用して推定することができるが、この手法に限定されるものではない。また、身長は、人物検出手法、例えば、Kim, C.E., Oghaz, M.M., Fajtl, J., Argyriou, V., & Remagnino, P. (2018). A Comparison of Embedded Deep Learning Methods for Person Detection. CoRR.に記載される手法を用いて検出された矩形から推定することができる。また、身長は、撮影画像解析部181により得られる骨格情報に基づいて推定されてもよい。服装は、M. Hadi Kiapour, Xufeng Han, Svetlana Lazebnik, Alexander C. Berg, and Tamara L. Berg. Where to Buy It: Matching Street Clothing Photos in Online Shops. In Proc. ICCV. 2015.に記載される手法など使用して推定することができる。例えば、駅員の制服などを予め識別クラスに登録しておくことで、属性を与えるのに利用できる。
【0058】
属性情報特定部1841は、撮影画像40の解析結果に基づいて、撮影画像40に含まれるユーザの属性情報を特定してよい。例えば、属性情報特定部1841は、撮影画像40の解析結果に含まれる骨格情報から、着座姿勢のユーザがいることを認識し、撮影画像40の解析情報に含まれる物体認識情報から、車椅子が存在することを認識する。これにより、属性情報特定部1841は、車椅子に乗ったユーザがいることを認識し、そのユーザの属性情報を車椅子と設定し、2名のユーザが一緒に通行領域Sを通行する可能性があることを認識する。また、属性情報特定部1841は、撮影画像40の解析結果に代えて又は追加して、識別情報に対応付けられた正解顔画像及び又は補助属性情報に基づいて、撮影画像40に含まれるユーザの属性情報を特定してよい。例えば、属性情報特定部1841は、補助属性情報がカテゴリ「幼児同伴」を指定することに基づいて、撮影画像40に含まれる2名のユーザが親子であることを特定し、2名のユーザが一緒に通行領域Sを通行することを認識する。また、属性情報特定部1841は、正解顔画像に随伴者の顔画像が登録されていることに応答して、2名のユーザが一緒に通行領域Sを通行する可能性があることを認識する。
【0059】
また、属性情報特定部1841は、撮影画像40の解析結果に含まれる骨格情報に基づいて各ユーザの姿勢を推定することにより、撮影画像40に含まれる複数のユーザ間の関係を示す情報を生成してよい。例えば、属性情報特定部1841は、
図8に示すようにあるユーザが他のユーザと手をつないでいる、
図9に示すようにあるユーザが他のユーザに抱かれている、といった姿勢情報から属性を割り当ててよい。例えば、属性情報特定部1841は、複数のユーザ間の位置関係と各ユーザの姿勢情報を組み合わせることにより、2名のユーザに保護者と子供という属性を割り当てることができる。
【0060】
このように、属性情報特定部1841は、認証媒体30を携帯するユーザが単独で通行領域Sを通行しようとしているのか、他のユーザと一緒に通行領域Sを通行しようとしているのかを判断する。属性情報特定部1841は、複数のユーザが一緒に通行領域Sを通行しようとしていると判断した場合に、その旨を顔画像特定部1843に通知する。一例として、属性情報特定部1841は、正規通行者が車椅子に乗っていることを示す情報など、撮影画像40に含まれる顔画像領域Fのうちのいずれが正規通行者の顔画像であるかを特定することを可能にする情報を、顔画像特定部1843に与えてよい。
【0061】
まず、ユーザが単独で通行領域Sを通行するケースについて説明する。このケースでは、随伴者顔画像特定部1845は動作しない。
【0062】
携帯部位特定部1842は、撮影画像40から、撮影画像40に写り込んだユーザUの身体における認証媒体30の携帯部位を特定する。通行者顔画像特定部1844は、撮影画像40に含まれる1又は複数の顔画像領域Fのうち、携帯部位特定部1842で特定した携帯部位を身体の一部として有するユーザUの顔画像領域Fを、通行者顔画像として特定する。
【0063】
例えば、携帯部位特定部1842は、撮影画像40に含まれる認証媒体30の領域を特定する。撮影画像40に含まれる認証媒体30の領域の特定には、パターンマッチングなどの公知の画像処理技術を用いればよい。そして、特定部184は、撮影画像40における、特定した認証媒体30の領域に重複又は隣接するユーザUの身体の部位を、ユーザUによる認証媒体30の携帯部位Pとして特定する。携帯部位Pとは、ユーザUの身体を構成する手足などの複数の部位のうち、認証媒体30を携帯している部位である。
【0064】
詳細には、携帯部位特定部1842は、撮影画像取得部183で取得した撮影画像40の解析結果を用いて、撮影画像40に写り込んだ携帯部位Pを特定する。上述したように、撮影画像解析部181による撮影画像40の解析結果には、骨格情報Bが含まれる。また、上述したように、骨格情報Bによって、撮影画像40に写り込んだユーザUの身体の各部位の撮影画像40における位置が特定可能となる。
【0065】
このため、特定部184は、撮影画像40における骨格情報Bによって特定されるユーザUの身体の各部位のうち、特定した認証媒体30の領域に重複又は隣接して写り込んでいる部位を携帯部位Pとして特定する。ユーザUが認証媒体30を手で把持した状態で該認証媒体30を読取部20へ接触又は近接させることで読取部20が該認証媒体30から識別情報を読み取った場合を想定する。この場合、特定部184は、ユーザUの手を携帯部位Pとして特定する。
【0066】
なお、ユーザUが認証媒体30を携帯する部位は、手に限定されない。例えば、ユーザUは、腕、衣服のポケットなどに認証媒体30を携帯した状態で、該認証媒体30から識別情報を読取部20に読取らせてもよい。この場合、特定部184は、ユーザの腕又はポケットの存在する胸部などの身体の部位を、携帯部位Pとして特定する。
図5に示す撮影画像40Bの場合、特定部184は、ユーザUxの手を携帯部位Pとして特定する。
【0067】
通行者顔画像特定部1844は、撮影画像40に含まれる1又は複数の顔画像領域F(顔画像領域Fa、顔画像領域Fb)のうち、携帯部位特定部1842で特定された携帯部位Pを身体の一部として有するユーザUの顔画像領域Fを、通行者顔画像として特定する。
【0068】
通行者顔画像特定部1844は、撮影画像40に含まれるユーザUの骨格情報Bに基づく携帯部位Pと、撮影画像40に含まれる骨格情報Bに基づく1又は複数の顔画像領域Fの各々の顔位置Qと、の位置関係を用いて、携帯部位Pを身体の一部として有するユーザUの顔画像領域Fを通行者顔画像として特定する。
【0069】
図5に示す撮影画像40Bの場合、通行者顔画像特定部1844は、撮影画像40Bの解析結果に含まれる複数の顔画像領域Fとして、顔画像領域Fa及び顔画像領域Fbを特定する。また、通行者顔画像特定部1844は、撮影画像40Bにおける顔画像領域Faの顔位置Qa及び顔画像領域Fbの顔位置Qbをそれぞれ特定する。顔位置Qa及び顔位置Qbは、撮影画像40における顔画像領域Fの顔位置Qの例である。
【0070】
また、通行者顔画像特定部1844は、撮影画像40Bの解析結果に含まれる骨格情報Bとして、骨格情報Ba及び骨格情報Bbを特定する。
【0071】
次に、通行者顔画像特定部1844は、撮影画像40Bにおける携帯部位特定部1842で特定された携帯部位Pの位置と、骨格情報Ba及び骨格情報Bbと、顔画像領域Faの顔位置Qa及び顔画像領域Fbの顔位置Qbと、を用いて、該携帯部位Pを備えるユーザUと同一のユーザUの顔画像領域Faを、通行者顔画像として特定する。
【0072】
詳細には、通行者顔画像特定部1844は、骨格情報Bを用いて、ユーザUの身体の部位の1つである携帯部位Pに対して、人体の位置関係として適切であり且つ該携帯部位Pを有するユーザUと同一人物と判定されるユーザUの頭部の位置に存在する顔位置Qの顔画像領域Fを、通行者顔画像として特定する。携帯部位Pと同一人物のユーザUの頭部の位置を判定するための判定基準は、携帯部位Pの種類に応じて予め記憶部12に記憶しておけばよい。そして、通行者顔画像特定部1844は、携帯部位Pの種類及び対応する判定基準を用いて、該携帯部位Pを備えるユーザUと同一のユーザUの顔画像領域Fを特定する。
【0073】
図5に示す撮影画像40Bの場合、通行者顔画像特定部1844は、携帯部位Pを備えるユーザUxと同一のユーザUの顔画像領域Fとして、該携帯部位Pに対して1人の人体の位置関係として適切であり且つ携帯部位Pと同一ユーザUの頭部の位置に相当する顔位置Qaに配置された顔画像領域Faを特定する。そして、通行者顔画像特定部1844は、特定した顔画像領域Faを通行者顔画像として特定する。
【0074】
これらの処理により、通行者顔画像特定部1844は、撮影画像40Bに含まれる顔画像領域Fa及び顔画像領域Fbのうち、読取部20による識別情報の読み取り時に認証媒体30を携帯するユーザUxの顔画像領域Faを、通行者顔画像として特定する。すなわち、撮影画像40Bの場合、通行者顔画像特定部1844は、認証媒体30を携帯した携帯部位Pである手を身体の一部として有するユーザUxの顔画像領域Faを、通行者顔画像として特定する。
【0075】
【0076】
なお、撮影画像取得部183は、読取部20による識別情報の読み取り時のユーザUの携帯部位Pを特定部184で推定可能な撮影画像40を、記憶部12から取得すればよい。このため、撮影画像取得部183で取得する撮影画像40は、読取部20による識別情報の読み取り時の1枚の撮影画像40に限定されない。
【0077】
例えば、撮影画像取得部183は、通行領域Sを時系列に沿って撮影した複数の撮影画像40を記憶部12から取得してよい。詳細には、撮影画像取得部183は、識別情報取得部182が取得した識別情報に対応する読取時刻と同一の撮影時刻から過去の時刻に向かって時系列に連続する複数の撮影画像40、該読取時刻と同一の撮影時刻から未来の時刻に向かって時系列に連続する複数の撮影画像40、該読取時刻から過去及び未来の双方の時刻に向かって時系列に連続する複数の撮影画像40、の何れかの複数の撮影画像40を記憶部12から取得してよい。このとき、撮影画像取得部183は、複数の撮影画像40の各々に対応する解析結果も併せて記憶部12から読み取る。
【0078】
この場合、特定部184の携帯部位特定部1842は、撮影画像取得部183により取得された複数の撮影画像40に基づいて読取部20による識別情報の読み取り時の認証媒体30の携帯部位Pを推測することによって、携帯部位Pを特定すればよい。
【0079】
例えば、携帯部位特定部1842は、時系列に連続する複数の撮影画像40の各々における携帯部位Pを特定することで、時系列に沿った携帯部位Pの動きを追跡する。この追跡処理には、Alex Bewley,Zongyuan Ge, Lionel Ott, Fabio Ramos, Ben Upcroft, ”Simple Online and Realtime Tracking”, In Proc. ICIP (2016)などの公知の画像処理技術などを用いればよいが、これに限定されない。そして、携帯部位特定部1842は、携帯部位Pの動きの追跡結果を用いて、識別情報の読取時刻の携帯部位Pの位置を推測することで、該携帯部位Pの位置を特定すればよい。
【0080】
この場合、携帯部位特定部1842は、読取部20による識別情報の読取時刻の撮影画像40から携帯部位Pの位置を特定することが困難な場合であっても、上記追跡処理により、識別情報の読取時刻の携帯部位Pの位置を推定することができる。
【0081】
次に、複数のユーザが一緒に通行領域Sを通行するケースについて簡単に説明する。この場合、撮影画像40からは複数の顔画像領域Fが抽出されることになる。ユーザが単独で通行領域Sを通行するケースと複数のユーザが一緒に通行領域Sを通行するケースとで共通する処理については、説明を省略する。
【0082】
顔画像特定部1843は、読取部20による識別情報の読み取り時に認証媒体30を携帯するユーザUの顔画像領域Fを通行者顔画像又は随伴者顔画像として特定する。通行者顔画像特定部1844は、撮影画像40に含まれる複数の顔画像領域Fのうち、正規通行者に相当するユーザUの顔画像領域Fを通行者顔画像として特定する。随伴者顔画像特定部1845は、撮影画像40に含まれる複数の顔画像領域Fのうち、正規通行者に相当するユーザUに随伴するユーザUの顔画像領域Fを随伴者顔画像として特定する。
図4に示す撮影画像40Aの場合、正規通行者に相当するユーザUxの顔画像領域Faが通行者顔画像として特定され、ユーザUxの認証媒体30を携帯するユーザUyの顔画像領域Fbが随伴者顔画像として特定される。通行者顔画像及び随伴者顔画像の特定処理については、具体例を挙げて後に説明する。
【0083】
次に、認証部185について説明する。
【0084】
ユーザUが単独で通行領域Sを通過するケースでは、認証部185は、特定部184によって特定された通行者顔画像が識別情報取得部182により取得された識別情報に対応する正解顔画像と一致するか否かを判断する。
【0085】
認証部185は、識別情報取得部182により取得された識別情報に対応する正解顔画像をユーザ管理情報121から読み取る。そして、認証部185は、特定部184により特定された通行者顔画像がユーザ管理情報121から読み取った正解顔画像(具体的には正解顔画像に含まれる正規通行者の顔画像)と一致するか否かを判断する。認証部185は、通行者顔画像の特徴量が正解顔画像の特徴量と同一又は類似する場合、通行者顔画像が正解顔画像と一致すると判断する。画像から特徴量を導出する方法には、公知の画像処理技術を用いればよい。類似の判断には、通行者顔画像と正解顔画像とが同一人物の顔の画像であると判断可能な特徴量の差の閾値を予め定めればよい。そして、認証部185は、特徴量の差が該閾値未満である場合、通行者顔画像が正解顔画像と一致すると判断すればよい。
【0086】
認証部185は、通行者顔画像が正解顔画像と一致すると判断した場合、認証媒体30を携帯するユーザUを通行許可対象として認証する。認証媒体30を携帯するユーザUとは、識別情報取得部182が取得した識別情報の読取元の認証媒体30を携帯するユーザUである。言い換えると、認証媒体30を携帯するユーザUとは、読取部20による識別情報の読み取り時に該認証媒体30を携帯していたユーザUである。
【0087】
一方、認証部185は、正解顔画像と通行者顔画像とが不一致であると判断した場合、認証媒体30を携帯するユーザUを通行許可対象外として認証する。すなわち、認証部185は、通行者顔画像が正解顔画像と不一致である場合、読取部20による識別情報の読み取り時に該認証媒体30を携帯していたユーザUを、通行許可対象外として認証する。
【0088】
なお、識別情報取得部182が取得した識別情報がユーザ管理情報121に登録されていない場合がある。このため、認証部185は、識別情報取得部182が取得した識別情報がユーザ管理情報121に登録されていない場合、該識別情報によって識別されるユーザUを、通行許可対象外として認証すればよい。
【0089】
また、通行者顔画像特定部1844が通行者顔画像を特定できない場合がある。例えば、ユーザUが自身の顔を隠して通行領域Sに侵入した場合などである。この場合、認証媒体30の携帯部位Pを身体の一部として有するユーザUの顔画像領域Fが撮影画像40に写り込まない状態となる。この場合、認証部185は、識別情報取得部182が取得した識別情報によって識別されるユーザUを、通行許可対象外として認証すればよい。
【0090】
複数のユーザUx、Uyが一緒に通行領域Sを通行するケースでは、認証部185は、特定部184から通行者顔画像及び随伴者顔画像を受け取る。認証部185は、識別情報取得部182により取得された識別情報に対応する正解顔画像をユーザ管理情報121から読み取る。そして、認証部185は、通行者顔画像と随伴者顔画像のいずれかが正解顔画像と一致するか否かを判断する。
【0091】
正解顔画像が正規通行者の顔画像のみを備える場合、認証部185は、通行者顔画像が正解顔画像(具体的には正規通行者の顔画像)と一致するか否かを判断する。認証部185は、通行者顔画像が正解顔画像と一致すると判断した場合、ユーザUx、Uyを通行許可対象として認証し得る。一方、認証部185は、通行者顔画像が正解顔画像と不一致であると判断した場合、ユーザUx、Uyを通行許可対象外として認証する。
【0092】
正解顔画像が正規随伴者の顔画像のみを備える場合、認証部185は、随伴者顔画像が正解顔画像(具体的には正規随伴者の顔画像)と一致するか否かを判断する。認証部185は、随伴者顔画像が正解顔画像と一致すると判断した場合、ユーザUx、Uyを通行許可対象として認証し得る。一方、認証部185は、随伴者顔画像が正解顔画像と不一致であると判断した場合、ユーザUx、Uyを通行許可対象外として認証する。
【0093】
正解顔画像が正規通行者の顔画像と正規随伴者の顔画像の両方を備える場合、認証部185は、通行者顔画像が正規通行者の顔画像と一致するか否かを判断し、さらに、随伴者顔画像が正解顔画像に含まれる正規随伴者の顔画像と一致するか否かを判断する。認証部185は、通行者顔画像が正規通行者の顔画像と一致する、且つ、随伴者顔画像が正解顔画像に含まれる正規随伴者の顔画像と一致すると判断した場合、ユーザUx、Uyを通行許可対象として認証する。一方、認証部185は、通行者顔画像と随伴者顔画像のいずれもが正解顔画像と一致しないと判断した場合、すなわち、通行者顔画像が正規通行者の顔画像と一致しない又は随伴者顔画像が正解顔画像に含まれる正規随伴者の顔画像と一致しないと判断した場合、ユーザUx、Uyを通行許可対象外として認証する。
【0094】
通行制御部186は、認証部185による認証結果に応じて、通行領域SのユーザUの通過を許可又は制限するように、通行領域Sに設けられた通行口開閉駆動部26を制御する。
【0095】
ユーザUが通行許可対象と認証されたことを認証部185による認証結果が示す場合、通行制御部186は、ドア部材28を開状態に切り替えるように通行口開閉駆動部26を制御する。通行制御部186による通行口開閉駆動部26の制御によって、通行口開閉駆動部26は、ドア部材28の状態を開状態に切り替える。通行口開閉駆動部26がドア部材28を開状態に切り替えることで、通行領域Sの通過を試みるユーザUは通行領域Sを通過可能となる。
【0096】
ユーザUが通行許可対象外と認証されたことを認証部185による認証結果が示す場合、通行制御部186は、ドア部材28を閉状態に切り替えるように通行口開閉駆動部26を制御する。通行制御部186による通行口開閉駆動部26の制御によって、通行口開閉駆動部26は、ドア部材28の状態を閉状態に切り替える。通行口開閉駆動部26がドア部材28を閉状態に切り替えることで、通行領域Sの通過を試みるユーザUは通行領域Sの通過を制限される。
【0097】
出力制御部187は、認証部185による認証結果を出力する。例えば、出力制御部187は、認証部185による認証結果をUI部14に表示する。出力制御部187は、認証部185による認証結果を、通信部16を介して外部の情報処理装置に送信してもよい。また、出力制御部187は、認証部185による認証結果を、通行口筐体24に設けられた出力機構に出力してもよい。出力機構は、例えば、画像を表示するディスプレイ、音を出力するスピーカ、光を発するライトなどであるが、これらに限定されない。
【0098】
通行者顔画像及び随伴者顔画像を特定する処理について説明する。ここでは、ユーザUxが正規通行者であり、ユーザUyが随伴者である。
【0099】
図1に示す例では、ユーザUxが車椅子に乗っており、ユーザUxを介助するユーザUyが代理でユーザUxの認証媒体30を読取部20にタッチする。この例では、識別情報「UxID」に対応する正解顔画像において、ユーザUxの顔画像が正規通行者の顔画像として登録され、ユーザUyの顔画像が正規随伴者の顔画像として登録されている。
【0100】
ユーザUyが認証媒体30のタッチを行うことから、特定部184は、ユーザUyの手を携帯部位として特定し、それにより、ユーザUyを正規通行者の候補と特定する。特定部184は、撮影画像40から抽出されるユーザUyの顔画像と正解顔画像を比較し、ユーザUyの顔画像が正解顔画像に含まれる正規随伴者の顔画像と一致することを認識し、それにより、ユーザUyを随伴者と判断する。特定部184は、撮影画像40において随伴者と判断したユーザUyの顔画像領域の下に顔画像領域があること、又は撮影画像40から車椅子を検出したことに応じて、正規通行者が車椅子に乗っていることを認識し、それにより、ユーザUxを正規通行者と判断する。
【0101】
このようにして、特定部184は、ユーザUxを正規通行者と判断し、ユーザUyを随伴者と判断し、撮影画像40から、ユーザUxの顔画像領域を通行者顔画像として、ユーザUyの顔画像領域を随伴者顔画像として抽出する。
【0102】
その後、認証部185は、通行者顔画像が正解顔画像に含まれる正規通行者の顔画像と一致すること、及び随伴者顔画像が正解顔画像に含まれる正規随伴者の顔画像と一致することを認識し、ユーザUx、Uyに通行許可を出す。この例では、随伴者顔画像が正規随伴者の顔画像と一致することは特定部184により確認されており、認証部185は、特定部184から、随伴者顔画像が正規随伴者の顔画像と一致することを示す情報を受け取る。
【0103】
図6に示す例では、ユーザUyは、施設管理側係員(例えば駅員)であり、車椅子に乗ったユーザUxの認証媒体30を代理で読取部20にタッチする。施設管理側係員は、任意の正規通行者に随伴する可能性があり、全ての正規通行者とともに通行領域Sを通行することを許可される代表随伴者として予め登録される。施設管理側係員の顔画像が代表随伴者の顔画像として記憶部12に記憶されている。識別情報「UxID」に対応する正解顔画像には、正規通行者(すなわちユーザUx)の顔画像のみが登録されていてもよく、正規通行者の顔画像及び正規随伴者の顔画像が登録されていてもよい。
【0104】
ユーザUyが認証媒体30のタッチを行うことから、特定部184は、ユーザUyの手を携帯部位として特定し、それにより、ユーザUyを正規通行者の候補と特定する。特定部184は、撮影画像40から抽出されるユーザUyの顔画像と正解顔画像を比較し、ユーザUyの顔画像が正解顔画像と一致しないことを認識する。続いて、特定部184は、ユーザUyの顔画像と代表随伴者の顔画像を比較し、ユーザUyの顔画像が代表随伴者の顔画像と一致することを認識し、それにより、ユーザUyを随伴者と判断する。特定部184は、随伴者と判断されたユーザUyの顔画像領域の下に顔画像領域があることを検出したこと、又は撮影画像40から車椅子が検出されたことに応じて、正規通行者が車椅子に乗っていることを認識し、それにより、ユーザUxを正規通行者と判断する。
【0105】
このようにして、特定部184は、ユーザUxを正規通行者と判断し、ユーザUyを随伴者と判断し、撮影画像40から、ユーザUxの顔画像領域を通行者顔画像として、ユーザUyの顔画像領域を随伴者顔画像として抽出する。
【0106】
その後、認証部185は、通行者顔画像が正解顔画像に含まれる正規通行者の顔画像と一致すること、及び随伴者顔画像が代表随伴者の顔画像と一致することを認識し、ユーザUx、Uyに通行許可を出す。この例では、随伴者顔画像が代表随伴者の顔画像と一致することは特定部184により確認されており、認証部185は、特定部184から、随伴者顔画像が代表随伴者の顔画像と一致することを示す情報を受け取る。
【0107】
上記のケースにおいて、施設管理側係員の顔画像が予め登録されていない場合もある。この場合、特定部184は、正規随伴者と判断されたユーザUxに随伴するユーザUyの属性情報を特定する。例えば、特定部184は、撮影画像40からユーザUyの服装を推定し、服装の推定結果からユーザUyの属性情報を施設管理側係員に設定する。この場合、認証部185は、通行者顔画像が正解顔画像に含まれる正規通行者の顔画像と一致すること、及び随伴者の属性情報が施設管理側係員に合致することに応答して、ユーザUx、Uyに通行許可を出す。
【0108】
図7に示す例では、ユーザUyが車椅子に乗ったユーザUxを介助しており、ユーザUxが自身の認証媒体30を自身で読取部20にタッチする。この例では、識別情報「UxID」に対応する正解顔画像において、ユーザUxの顔画像が正規通行者の顔画像として登録され、ユーザUyの顔画像が正規随伴者の顔画像として登録されている。
【0109】
ユーザUxが認証媒体30のタッチを行うことから、特定部184は、ユーザUxの手を携帯部位として特定し、それにより、ユーザUxを正規通行者の候補と特定する。特定部184は、撮影画像40から抽出されるユーザUxの顔画像と正解顔画像を比較し、ユーザUxの顔画像が正解顔画像に含まれる正規通行者の顔画像と一致することを認識し、それにより、ユーザUxを正規通行者と判断する。特定部184は、正解顔画像に正規随伴者の顔画像が含まれていることから、別のユーザがユーザUxに随伴する可能性を認識する。特定部184は、撮影画像40から抽出される骨格情報と、撮影画像40から検出される車椅子と、に基づいて、ユーザUxが車椅子に乗っていることを認識する。正規通行者が車椅子に乗っており随伴者が正規通行者に随伴する場合、撮影画像40において、随伴者に対応する顔画像領域は正規通行者に対応する顔画像領域の上に位置することになる。特定部184は、撮影画像40からユーザUxの顔画像領域の上にある顔画像領域を随伴者の候補の顔画像として抽出し、随伴者候補の顔画像が正解顔画像に含まれる随伴者の顔画像と一致することを認識し、それにより、ユーザUyを随伴者と判断する。
【0110】
このようにして、特定部184は、ユーザUxを正規通行者と判断し、ユーザUyを随伴者と判断し、撮影画像40から、ユーザUxの顔画像領域を通行者顔画像として、ユーザUyの顔画像領域を随伴者顔画像として抽出する。
【0111】
その後、認証部185は、通行者顔画像が正解顔画像に含まれる正規通行者の顔画像と一致すること、及び随伴者顔画像が正解顔画像に含まれる正規随伴者の顔画像と一致することを認識し、ユーザUx、Uyに通行許可を出す。この例では、通行者顔画像が正規通行者の顔画像と一致すること及び随伴者顔画像が正規随伴者の顔画像と一致することは特定部184により確認されており、認証部185は、特定部184から、通行者顔画像及び随伴者顔画像が正解顔画像一致することを示す情報を受け取る。
【0112】
図7に示すケースを参照して説明した特定処理は、ユーザUx、Uyが親子である場合などにおいても適用可能である。例えば、ユーザUxがユーザUyの親であり、ユーザUyが交通機関の運賃が発生しない未就学児である。この場合、
図8に示すようにユーザUx、Uyが手をつないだ状態で、又は
図9に示すようにユーザUyがユーザUxに抱かれた状態で、又はユーザUyがベビーカーに乗った状態で、ユーザUx、Uyが通行領域Sの通過を試みることが想定される。正解顔画像にユーザUxの顔画像及びユーザUyの顔画像を登録しておくことで、ユーザUx、Uyの通行許可が得られ、スムーズな通行が確保される。
【0113】
図8又は
図9に示すようなユーザUx、Uyが親子であるケースにおいては、正解顔画像に正規随伴者(ユーザUy)の顔画像が登録されていなくてもよい。正解顔画像に正規通行者(ユーザUx)の顔画像のみが含まれる場合、特定部184がユーザUyに未就学児又は子供などといった属性を割り当てたときに、認証部185はユーザUx、Uyに通行許可を出す。属性は、年齢の推定結果、身長の推定結果、姿勢情報、及びベビーカーの検出などに基づいて、特定されてもよい。
【0114】
具体的には、ユーザUxが自身の認証媒体30を自身で読取部20にタッチすることから、特定部184は、ユーザUxを正規通行者の候補と特定する。特定部184は、撮影画像40から抽出されるユーザUxの顔画像と正解顔画像を比較し、ユーザUxの顔画像が正解顔画像に含まれる正規通行者の顔画像と一致することを認識し、それにより、ユーザUxを正規通行者と判断する。
【0115】
特定部184は、ユーザUxに対応する顔画像領域とユーザUyに対応する顔画像領域との位置関係、又は、撮影画像40から特定されるユーザUx、Uyの属性情報から、ユーザUyを随伴者と判断する。ユーザUyの属性情報が「子供」を示すことから、認証部185は、ユーザUx、Uyを通行許可対象として認証する。
【0116】
このように、随伴者と判断されたユーザUyの顔画像が正解顔画像に一致しない場合でも、認証部185は、正規通行者と判断されたユーザUxの顔画像が正解顔画像に一致し、且つ、ユーザUyの属性情報が「子供」などの予め定められた属性のいずれかに合致すれば、ユーザUx、Uyを通行許可対象として認証する。認証部185は、ユーザUyの属性情報が予め定められた属性のいずれにも合致しない場合には、ユーザUx、Uyを通行許可対象外として認証する。
【0117】
この処理は、駅員が目の不自由なユーザに随伴して通行領域Sを通行するケースにも適用可能である。
【0118】
図10を参照して、ユーザUxの顔に包帯が巻かれている場合など、ユーザUxの顔による認証が難しいケースについて説明する。このケースでは、識別情報「UxID」に対応する正解顔画像には、ユーザUxの顔画像は登録されず、ユーザUyの顔画像が正規随伴者の顔画像として登録される。認証部185は、ユーザUxの属性が予め定められた属性に合致し、ユーザUyの顔画像が正規随伴者の顔画像に一致する場合に、ユーザUx、Uyに通行許可を出す。
【0119】
具体的には、ユーザUyがユーザUxの認証媒体30を代理で読取部20にタッチすることから、特定部184は、ユーザUyを正規通行者の候補と特定する。特定部184は、ユーザUyの顔画像が正解顔画像に一致するか否かを判定する。ユーザUyの顔画像が正解顔画像に含まれる正規随伴者の顔画像に一致することから、特定部184は、ユーザUyを随伴者と判断する。さらに、特定部184は、随伴者と判断されたユーザUyの顔画像領域の下に顔画像領域があること、又は撮影画像40から車椅子を検出したことに応じて、正規通行者が車椅子に乗っていることを認識し、それにより、ユーザUxを正規通行者と判断する。
【0120】
識別情報「UxID」に対応する補助属性情報がカテゴリ「代理通行」を指定する情報を含む場合、特定部184は、ユーザUxの属性が正規通行者について顔による認証が不可能である例外事例であることを認識し、認証部185は、ユーザUyの顔の認証結果に応じて通行許可の判定を行う。或いは、特定部184は、ユーザUxの顔画像領域の内容から、ユーザUxの属性が例外事例であることを認識してもよい。
【0121】
以上のケースに示すように、認証部185は、通行者顔画像及び随伴者顔画像の両方が識別情報に対応する正解顔画像に一致する場合、又は、通行者顔画像が識別情報に対応する正解顔画像に一致する、且つ、随伴者と判断されたユーザの属性が予め定められる1以上の属性のいずれかに合致する場合、又は、随伴者顔画像が識別情報に対応する正解顔画像に一致する、且つ、正規通行者と判断されたユーザの属性が予め定められる1以上の属性のいずれかに合致する場合に、ユーザUx、Uyを通行許可対象として認証する。
【0122】
次に、本実施形態に係る通行管理装置10の動作について説明する。ここでは、
図1に示すような、車椅子に乗ったユーザUxを介助するユーザUyがユーザUxの認証媒体30を代理で読取部20にタッチするケースを例に挙げて説明を行う。
【0123】
図11A及び
図11Bは、本実施形態に係る通行管理装置10により実行される情報処理の流れの一例を概略的に示している。
【0124】
図11AのステップS102において、撮影画像解析部181は、撮影部22から撮影画像40を受け取る。ステップS104において、撮影画像解析部181は、ステップS102で受け取った撮影画像40を解析して解析結果を生成する。ステップS106において、撮影画像解析部181は、ステップS102で受け取った撮影画像40、ステップS104で得られた解析結果、及び撮影画像40の撮影時刻を対応付けて記憶部12へ記憶させる。撮影画像40の解析結果は、顔画像領域、骨格情報、属性認識情報、及び物体認識情報を含む。複数の人物又は物体が存在する場合には、撮影画像40の解析結果は、それらの各々についての情報を含む。
【0125】
撮影画像解析部181が撮影画像40を解析することで、特定部184が撮影画像40を解析して解析結果を導出した上で特定処理を実行する場合に比べて、認証媒体30からの識別情報の読み取りから認証結果が出力されるまでの処理時間の短縮を図ることができる。
【0126】
ステップS108において、識別情報取得部182は、読取部20から識別情報を取得したか否かを判断する。識別情報取得部182が読取部20から識別情報を取得していない場合(ステップS108;No)、フローはステップS102へ戻り、ステップS102、S104、S106に示す一連の処理が繰り返される。識別情報取得部182が読取部20から識別情報を取得した場合(ステップS108;Yes)、フローはステップS110へ進む。
【0127】
ステップS110において、認証部185は、ステップS108で取得された識別情報がユーザ管理情報121に登録されているか否かを判断する。認証部185が未登録と判断した場合(ステップS110;No)、フローはステップS144へ進む。ステップS144において、認証部185は、通行領域Sを通行しようとしているユーザU(具体的にはユーザUx、Uy)を通行許可対象外として認証する。ステップS146において、通行制御部186は、通行領域SにおけるユーザUの通過を制限するように、通行口開閉駆動部26を制御する。ステップS148において、出力制御部187は、通行許可対象外を表す認証結果を出力する。そして、本フローは終了となる。
【0128】
一方、認証部185が登録済と判断した場合(ステップS110;Yes)、フローはステップS112へ進む。ステップS112において、撮影画像取得部183は、通行領域Sの撮影画像40を取得する。例えば、撮影画像取得部183は、撮影画像解析部181が解析した撮影画像40のうち、ステップS108で取得された識別情報の読取時刻に一致する撮影時刻の撮影画像40を取得する。
【0129】
ステップS114において、特定部184は、ユーザ管理情報121から、ステップS108で取得された識別情報に対応する補助属性情報を取得する。補助属性情報は、後段の処理の切り替えを行うために使用される。ここでは、ステップS108で取得された識別情報に補助属性情報が対応付けられていない場合での処理について述べる。
【0130】
ステップS116において、携帯部位特定部1842は、ステップS112で取得された撮影画像40から、該撮影画像40に写り込んだユーザUの身体における認証媒体30の携帯部位Pを特定する。本ケースでは、ユーザUyの手が携帯部位として特定される。
【0131】
ステップS118において、属性情報特定部1841は、ステップS110で取得された撮影画像40に含まれる人物及び物体の属性情報を生成する。属性情報は、顔画像の特定に使用される。補助属性情報がある場合には、属性情報は、補助属性情報も勘案して生成される。本ケースでは、属性情報特定部1841は、解析結果に含まれる骨格情報及び又は属性認識情報から、着座姿勢であるユーザがいるといった情報、及び解析結果に含まれる物体認識情報から車椅子が存在しているという情報を属性情報として得る。さらに、属性情報特定部1841は、正解顔画像に随伴者の顔画像が登録されているという情報から2名が一緒に通行領域Sを通行する可能性があることを認識する。このとき、属性情報特定部1841は、顔画像の位置から通行者と随伴者の識別を行うことを可能にする情報を顔画像特定部1843に伝達する。
【0132】
ステップS120において、通行者顔画像特定部1844は、ステップS110で取得された撮影画像40に含まれる1又は複数の顔画像領域のうち、正規通行者に相当するユーザUxの顔画像領域を通行者顔画像として特定する。本ケースでは、通行者顔画像特定部1844は、属性情報特定部1841から得られた情報から車椅子に乗ったユーザUxを正規通行者と特定し、ユーザUxの顔画像領域を通行者顔画像として特定する。
【0133】
ステップS122において、随伴者顔画像特定部1845は、ステップS110で取得された撮影画像40に含まれる1又は複数の顔画像領域Fのうち、正規通行者に随伴するユーザUyの顔画像領域を随伴者顔画像として特定する。本ケースでは、随伴者顔画像特定部1845は、属性情報特定部1841から得られた情報から、ステップS118で特定された携帯部位を身体の一部として有するユーザUyを随伴者と特定し、ユーザUyの顔画像領域を随伴者顔画像として特定する。
【0134】
図11BのステップS124において、認証部185は、顔画像の特定が成功したか否かを判断する。本ケースでは、認証部185は、ステップS120で通行者顔画像特定部1844が通行者顔画像を特定できたか否かを判断し、ステップS122で随伴者顔画像特定部1845が随伴者顔画像を特定できたか否かを判断する。認証部185は、通行者顔画像特定部1844が通行者顔画像を特定できた、且つ、随伴者顔画像特定部1845が随伴者顔画像を特定できた場合に、顔画像の特定が成功したと判断し、そうでなければ、顔画像の特定が失敗したと判断する。顔画像の特定が成功したと認証部185が判断した場合、フローはステップS126へ進み、顔画像の特定が失敗したと認証部185が判断した場合、フローはステップS138へ進む。
【0135】
ステップS126において、認証部185は、ステップS108で取得された識別情報に対応する正解顔画像を記憶部12から読み取る。
【0136】
ステップS128において、ステップS120で特定された通行者顔画像が正解顔画像と一致するか否かを判断する。通行者顔画像が正解顔画像と一致すると認証部185が判断した場合(ステップS128;Yes)、フローはステップS130へ進む。
【0137】
ステップS130において、認証部185は、ステップS122で特定された随伴者顔画像が正解顔画像と一致するか否かを判断する。随伴者顔画像が正解顔画像と一致すると認証部185が判断した場合(ステップS130;Yes)、フローはステップS132へ進む。
【0138】
ステップS132において、認証部185は、ステップS106で取得した識別情報が記録された認証媒体30を携帯するユーザUyとそれに随伴するユーザUxを通行許可対象として認証する。
【0139】
ステップS134において、通行制御部186は、通行領域SにおけるユーザUx及びユーザUyの通過を許可するように、通行領域Sに設けられた通行口開閉駆動部26を制御する。ステップS136において、出力制御部187は、通行許可対象を表す認証結果を出力する。これにより、フローは終了となる。
【0140】
一方、ステップS128又はステップS130において認証部185が不一致と判断した場合(ステップS128又はステップS130;No)、フローはステップS138へ進む。
【0141】
ステップS138では、認証部185は、ユーザUx及びユーザUyを通行許可対象外として認証する。ステップS128の処理により、認証部185は、ステップS106で取得した識別情報が記録された認証媒体30を読取部20による該識別情報の読み取り時に携帯していたユーザUy及びそれに随伴するユーザUxを通行許可対象外として認証する。
【0142】
ステップS140において、通行制御部186は、通行領域SにおけるユーザUx及びユーザUyの通過を制限するように、通行領域Sに設けられた通行口開閉駆動部26を制御する。ステップS142において、出力制御部187は、通行許可対象外を表す認証結果を出力する。これにより、フローは終了となる。
【0143】
図11A及び
図11Bに示す手順は一例であり、実施形態に係る通行管理処理の手順は、
図11A及び
図11Bに示すものに限定されない。例えば、正解顔画像が正規随伴者の顔画像を備えない場合において、ステップS128において通行者顔画像が正解顔画像と一致すると認証部185が判断した後には、フローは、ユーザUyの属性情報が予め定められた属性のいずれに合致するかを認証部185が判断するステップに進んでよい。ユーザUyの属性情報がいずれかの属性に合致する場合、フローはステップS132に進み、ユーザUyの属性情報がいずれの属性にも合致しない場合、フローはステップS138に進む。また、駅員などの代表随伴者の顔画像が登録されているケースにおいて、ステップS130において随伴者顔画像が正解顔画像と一致しないと認証部185が判断した場合には、フローは、随伴者顔画像が代表随伴者の顔画像に一致するか否かを判断するステップに進んでもよい。このとき、随伴者顔画像が代表随伴者の顔画像に一致すると認証部185が判断した場合に、フローは、ステップS132に進み、認証部185がユーザUx、Uyを通行許可対象として認証する。随伴者顔画像が代表随伴者の顔画像に一致しないと認証部185が判断した場合には、フローは、ステップS138に進み、認証部185がユーザUx、Uyを通行許可対象外として認証する。
【0144】
以上のように、通行管理装置10は、識別情報取得部182、撮影画像取得部183、特定部184、及び認証部185を備える。識別情報取得部182は、通行領域Sに設置された読取部20によって認証媒体30から読み取られた識別情報を取得する。撮影画像取得部183は、通行領域Sを撮影することにより得られる画像40を取得する。
【0145】
認証媒体30を携帯するユーザが他のユーザと一緒に通行領域Sを通行する場合には、特定部184は、画像40に含まれる複数の顔画像領域のうち、認証媒体30を携帯するユーザである第1ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の一方として特定し、画像40に含まれる複数の顔画像領域のうち、第1ユーザに随伴するユーザである第2ユーザの顔画像領域を通行者顔画像及び随伴者顔画像の他方として特定する。例えば、特定部184は、第1ユーザと第2ユーザのいずれが正規通行者であるかを判定する。特定部184は、第1ユーザが正規通行者であると判定した場合、第1ユーザの顔画像領域を通行者顔画像として特定し、第2ユーザの顔画像領域を随伴者顔画像として特定する。特定部184は、第2ユーザが正規通行者であると判定した場合、第2ユーザの顔画像領域を通行者顔画像として特定し、第1ユーザの顔画像領域を随伴者顔画像として特定する。
【0146】
認証部185は、通行者顔画像と随伴者顔画像のいずれかが識別情報に対応する正解顔画像と一致する場合、第1ユーザ及び第2ユーザを通行許可対象として認証し、通行者顔画像と随伴者顔画像のいずれもが正解顔画像と不一致である場合、第1ユーザ及び第2ユーザを通行許可対象外として認証する。
【0147】
認証媒体30を携帯する第1ユーザの顔画像と第1ユーザに随伴する第2ユーザの顔画像のいずれかが正解顔画像に一致する場合に、第1ユーザ及び第2ユーザが通行許可対象として認証される。これにより、認証媒体30に記録された識別情報により識別されるユーザに随伴して他のユーザが通行領域Sの通過を試みるケースにおいて、他のユーザが認証媒体30を代理で携帯している場合にも、通行領域Sの通行が可能となる。すなわち、通行管理装置10は、通行に関するセキュリティの向上を図りつつ、利便性を向上させることを可能にする。
【0148】
正解顔画像が正規通行者の顔画像と正規随伴者の顔画像とを備える場合において、認証部185は、通行者顔画像が正規通行者の顔画像に一致する、且つ、随伴者顔画像が正規随伴者の顔画像に一致する場合、第1ユーザ及び第2ユーザを通行許可対象として認証する。
【0149】
正解顔画像が正規通行者の顔画像を備える場合において、認証部185は、通行者顔画像が正規通行者の顔画像に一致する、且つ、随伴者顔画像が予め登録される通行領域を通行することを許可される代表随伴者の顔画像に一致する場合、第1ユーザ及び第2ユーザを通行許可対象として認証する。
【0150】
特定部184は、撮影画像40に含まれる複数のユーザの属性情報を特定し、特定された属性情報に基づいて、第1ユーザが正規通行者であるか否かを判断する。正解顔画像が正規通行者の顔画像を備える場合において、認証部185は、通行者顔画像が正規通行者の顔画像に一致する、且つ、第1ユーザ及び第2ユーザのうち正規通行者に該当しないユーザの属性情報が予め定められた属性に合致する場合、第1ユーザ及び第2ユーザを通行許可対象として認証する。正解顔画像が正規随伴者の顔画像を備える場合において、認証部185は、随伴者顔画像が正規随伴者の顔画像に一致する、且つ、第1ユーザ及び第2ユーザのうち正規通行者に該当するユーザの属性情報が予め定められた属性に合致する場合、第1ユーザ及び第2ユーザを通行許可対象として認証する。
【0151】
認証媒体30を携帯する第1ユーザ及び第1ユーザに随伴する第2ユーザについて、顔画像及び又は属性情報を用いた認証が行われる。これにより、通行に関するセキュリティをより向上させることができる。
【0152】
図12は、通行管理装置10を実装し得るコンピュータ1200のハードウェア構成の一例を概略的に示している。
図12に示すように、コンピュータ1200は、ハードウェア構成要素として、CPU1201、RAM(Random Access Memory)1202、補助記憶装置1203、入出力インタフェース1204、及び通信インタフェース1205を備えている。CPU1201は、バス1206を介して、RAM1202、補助記憶装置1203、入出力インタフェース1204、及び通信インタフェース1205と通信可能に接続されている。
【0153】
CPU1201、プログラムを実行可能な汎用プロセッサの一例である。RAM1202は、SDRAM(Synchronous Dynamic Random Access Memory)などの揮発性メモリを含み、CPU1201の作業領域として使用される。補助記憶装置1203は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性メモリを含み、通行管理プログラムを含むプログラム群及び各種データを記憶する。
【0154】
CPU1201は、補助記憶装置1203に記憶されているプログラムに従って動作する。通行管理プログラムは、CPU1201により実行されたときに、通行管理装置10に関して説明した処理をCPU1201に行わせる。CPU1201は、通行管理プログラムに従って、通行管理装置10に含まれる制御部18として動作する。具体的には、CPU1201は、通行管理プログラムに従って、撮影画像解析部181、識別情報取得部182、撮影画像取得部183、特定部184、認証部185、通行制御部186、及び出力制御部187として動作する。補助記憶装置1203は、
図2に示した記憶部12として機能する。
【0155】
入出力インタフェース1204は、入力装置及び出力装置を接続するためのインタフェースを含む。入力装置は、システム利用者が情報を入力することを可能にする装置であり、例えば、キーボード、マウスを含む。出力装置は、情報を出力する装置であり、例えば、表示装置、スピーカを含む。入出力インタフェース1204、入力装置、及び出力装置は、
図2に示したUI部14として機能する。
【0156】
通信インタフェース1205は、コンピュータ1200の外部の情報処理装置と通信するためのインタフェースである。例えば、CPU1201は、通信インタフェース1205を介して読取部20から識別情報を受信する。CPU1201は、通信インタフェース1205を介して撮影部22から撮影画像40を受信する。CPU1201は、通信インタフェース1205を介して通行口開閉駆動部26を制御する。通信インタフェース1205は、
図2に示した通信部16として機能する。
【0157】
なお、コンピュータ1200は、汎用プロセッサに代えて又は追加して、FPGA(Field Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)などの専用プロセッサを備えていてもよい。処理回路は、汎用プロセッサ、専用プロセッサ、又は汎用プロセッサと専用プロセッサの組み合わせを指す。処理回路は、通行管理装置10に含まれる制御部18として動作するように構成される。
【0158】
通行管理プログラムなどのプログラムは、コンピュータで読み取り可能な記録媒体に記憶された状態でコンピュータ1200に提供されてよい。この場合、コンピュータ1200は、記録媒体からデータを読み出すドライブを備え、記録媒体からプログラムを取得する。記録媒体の例は、磁気ディスク、光ディスク(CD-ROM、CD-R、DVD-ROM、DVD-Rなど)、光磁気ディスク(MOなど)、及び半導体メモリを含む。また、プログラムは通信ネットワークを通じて配布するようにしてもよい。具体的には、プログラムを通信ネットワーク上のサーバに記憶させ、コンピュータ1200がサーバからプログラムをダウンロードするようにしてもよい。
【0159】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0160】
1…通行管理システム、10…通行管理装置、12…記憶部、14…UI部、16…通信部、17…バス、18…制御部、20…読取部、22…撮影部、24…通行口筐体、26…通行口開閉駆動部、28…ドア部材、30…認証媒体、40…撮影画像、181…撮影画像解析部、182…識別情報取得部、183…撮影画像取得部、184…特定部、185…認証部、186…通行制御部、187…出力制御部、1200…コンピュータ、1201…CPU、1202…RAM、1203…補助記憶装置、1204…入出力インタフェース、1205…通信インタフェース、1206…バス、1841…属性情報特定部、1842…携帯部位特定部、1843…顔画像特定部、1844…通行者顔画像特定部、1845…随伴者顔画像特定部。