(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-24
(45)【発行日】2024-11-01
(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241025BHJP
G07C 9/37 20200101ALI20241025BHJP
【FI】
G06T7/00 510F
G07C9/37
(21)【出願番号】P 2020160447
(22)【出願日】2020-09-25
【審査請求日】2023-08-16
(73)【特許権者】
【識別番号】000001432
【氏名又は名称】グローリー株式会社
(74)【代理人】
【識別番号】100117673
【氏名又は名称】中島 了
(72)【発明者】
【氏名】古川 勇輔
(72)【発明者】
【氏名】松尾 友暉
【審査官】合田 幸裕
(56)【参考文献】
【文献】特開2020-057191(JP,A)
【文献】国際公開第2017/146160(WO,A1)
【文献】特開2019-057284(JP,A)
【文献】国際公開第2020/179374(WO,A1)
【文献】特開2019-071126(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G07C 9/37
IEEE Xplore
JSTPlus(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
画像処理装置であって、
少なくとも1つの第1撮影画像と、前記少なくとも1つの第1撮影画像よりも後に撮影される第2撮影画像とを取得する制御部、
を備え、
前記制御部は、
前記少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行し、
前記第2撮影画像に含まれる認証対象人物の顔画像情報を前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行し、
前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、
前記制御部である第1制御部は、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートについて前記第1認証処理および前記第2認証処理を実行することによって、前記第1ゲートを通過しようとする人物の認証処理を実行し、
前記画像処理装置の前記第1制御部、あるいは前記画像処理装置以外の装置の制御部である第2制御部は、前記複数のゲートのうちの第2ゲートについて前記第1認証処理および前記第2認証処理を実行し、
前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする、画像処理装置。
【請求項2】
前記第1認証処理においては、前記少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を前記多数の人物の顔画像情報と照合して人物を認証する処理、を繰り返し実行することにより、前記少なくとも1人の人物として複数の人物が認証されることを特徴とする、請求項1に記載の画像処理装置。
【請求項3】
前記少なくとも1つの第1撮影画像は、複数の第1撮影画像を含み、
前記第1認証処理においては、前記複数の第1撮影画像のいずれかに含まれる人物の顔画像情報を前記多数の人物の顔画像情報と照合して人物を認証する処理、を繰り返し実行することにより、前記少なくとも1人の人物として複数の人物が認証されることを特徴とする、請求項1または請求項2に記載の画像処理装置。
【請求項4】
前記第1認証処理においては、前記少なくとも1つの第1撮影画像に含まれる一の人物に関する顔画像情報を前記多数の人物の顔画像情報と照合することにより前記一の人物が認証されることを特徴とする、請求項1に記載の画像処理装置。
【請求項5】
前記第2認証処理における照合先の顔画像情報は、前記第1認証処理で認証された前記少なくとも1人の人物の顔画像情報であって前記少なくとも1つの第1撮影画像から抽出された顔画像情報であることを特徴とする、請求項1から請求項4のいずれかに記載の画像処理装置。
【請求項6】
前記第2認証処理における照合先の顔画像情報は、予め登録された前記多数の人物の顔画像情報を備えて構成されるテンプレート顔画像情報のうち前記第1認証処理で認証された前記少なくとも1人の人物に対応する顔画像情報であることを特徴とする、請求項1から請求項4のいずれかに記載の画像処理装置。
【請求項7】
前記第2認証処理は、前記第2撮影画像に含まれる人物を照合元人物とし且つ前記第1認証処理で認証された前記少なくとも1人の人物を照合先人物とするとともに、前記照合元人物に関する顔画像情報と前記照合先人物に関する顔画像情報とを照合することにより前記照合元人物を認証する処理であり、
前記制御部は、前記第1認証処理にて複数の人物が認証される場合において、当該複数の人物のうちの第1人物を前記照合元人物とする前記第2認証処理によって前記第1人物を認証した後、前記複数の人物のうち前記第1人物とは別の第2人物を前記照合元人物とする新たな第2認証処理を実行する際には、当該新たな第2認証処理における前記照合先人物から前記第1人物を除外することを特徴とする、請求項1から請求項6のいずれかに記載の画像処理装置。
【請求項8】
前記第2認証処理は、前記第2撮影画像に含まれる人物を照合元人物とし且つ前記第1認証処理で認証された前記少なくとも1人の人物を照合先人物とするとともに、前記照合元人物に関する顔画像情報と前記照合先人物に関する顔画像情報とを照合することにより前記照合元人物を認証する処理であり、
前記制御部は、前記第1認証処理にて複数の人物が認証される場合において、当該複数の人物のうちの第1人物を前記照合元人物とする前記第2認証処理によって前記第1人物を認証した後であり且つ当該複数の人物のうちの第2人物が前記第1認証処理によって認証されてから所定期間が経過した後に、前記第1人物とは別の人物を前記照合元人物とする新たな第2認証処理を実行する際には、当該新たな第2認証処理における前記照合先人物から前記第2人物を除外することを特徴とする、請求項1から請求項6のいずれかに記載の画像処理装置。
【請求項9】
前記制御部は、前記第2認証処理の照合先情報を一時的に記憶するデータベースに、前記第1認証処理で認証された人物に関する情報を前記照合先情報として随時登録し、
前記第2認証処理においては、前記第2撮影画像に含まれる前記認証対象人物の顔画像情報を、前記データベースに記憶された前記照合先情報と照合することによって、前記認証対象人物が認証されることを特徴とする、請求項1から請求項8のいずれかに記載の画像処理装置。
【請求項10】
前記第1認証処理は、仮に同数の照合先との照合を実行すれば所要処理時間が前記第2認証処理よりも大きくなる処理であって、前記第2認証処理よりも高精度の認証を実現する処理であることを特徴とする、請求項1から請求項9のいずれかに記載の画像処理装置。
【請求項11】
前記第1認証処理における照合のために顔画像から抽出される特徴量のデータ量は、前記第2認証処理における照合のために顔画像から抽出される特徴量のデータ量よりも大きいことを特徴とする、請求項1から請求項10のいずれかに記載の画像処理装置。
【請求項12】
少なくとも1つの第1撮影画像と、前記少なくとも1つの第1撮影画像よりも後に撮影される第2撮影画像とを撮影する撮影部と、
前記少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行し、前記第2撮影画像に含まれる認証対象人物の顔画像情報を前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行する制御部と、
を備え、
前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、
同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのそれぞれについて前記第1認証処理および前記第2認証処理が実行されることによって、各ゲートを通過しようとする人物の認証処理がそれぞれ実行され、
前記複数のゲートのうちの第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記複数のゲートのうちの第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする画像処理システム。
【請求項13】
前記撮影部は、前記少なくとも1つの第1撮影画像を撮影するカメラと前記第2撮影画像を撮影するカメラとを別個に備えることを特徴とする、請求項12に記載の画像処理システム。
【請求項14】
a)コンピュータが、少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、
b)コンピュータが、前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、
を備え、
前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、
前記ステップa)は、
a-1)第1のコンピュータが、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、
a-2)第2のコンピュータが、前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、
a-3)前記第1のコンピュータが、前記第1ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第1ゲート用の第1データベースに登録するステップと、
a-4)前記第2のコンピュータが、前記第2ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第2ゲート用の第2データベースと前記第1ゲート用の前記第1データベースとの双方に登録するステップと、
を備え、
前記ステップb)は、
b-1)前記第1のコンピュータが、前記第1データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、
b-2)前記第2のコンピュータが、前記第2データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、
を備え、
前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする画像処理方法。
【請求項15】
a)コンピュータが、少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、
b)前記コンピュータが、前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、
を備え、
前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、
前記ステップa)は、
a-1)前記コンピュータが、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、
a-2)前記コンピュータが、前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、
a-3)前記コンピュータが、前記第1ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第1ゲート用の第1データベースに登録するステップと、
a-4)前記コンピュータが、前記第2ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第2ゲート用の第2データベースと前記第1ゲート用の前記第1データベースとの双方に登録するステップと、
を備え、
前記ステップb)は、
b-1)前記コンピュータが、前記第1データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、
b-2)前記コンピュータが、前記第2データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、
を備え、
前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする画像処理方法。
【請求項16】
a)少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、
b)前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、
をコンピュータに実行させるためのプログラムであって、
前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、
前記ステップa)は、
a-1)同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、
a-2)前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、
を備え、
前記ステップb)は、
b-1)前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、
b-2)前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、
を備え、
前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とするプログラム。
【請求項17】
a)少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、
b)前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、
を第1および第2のコンピュータに実行させるためのプログラムであって、
前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、
前記ステップa)は、
a-1)前記第1のコンピュータが、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、
a-2)前記第2のコンピュータが、前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、
を備え、
前記ステップb)は、
b-1)前記第1のコンピュータが、前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、
b-2)前記第2のコンピュータが、前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、
を備え、
前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置およびそれに関連する技術に関する。
【背景技術】
【0002】
撮影画像内の顔画像に基づいて人物を認証する技術が存在する(特許文献1等)。詳細には、撮影された撮影画像を解析して当該撮影画像の中から人物の顔画像を抽出し、当該顔画像に基づき人物を認証する技術が存在する。
【0003】
多数の人物の中から一の人物を特定する際には、一般的には1対多認証(1対N認証とも称する)が行われる。1対多認証は、たとえば、撮影画像内から抽出された一の人物(詳細にはその顔画像等)を照合元とするとともに、予め登録された多数の人物(詳細にはその顔画像等)を照合先とし、一の照合元を多数の照合先と照合することによって一の照合元の人物を特定する技術である。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上記のような顔認証処理技術等は、たとえば鉄道駅の改札に設けられたゲート付近での認証等に対して応用されることが期待されている。
【0006】
ただし、鉄道の駅の改札等に設けられたゲート付近において人物を認証する場合等においては、非常に高速な処理が求められる。たとえば、ゲートに向かって歩いている人物がゲートに到達する直前に撮影された撮影画像に基づく認証処理は、当該人物のゲートへの到達までの非常に微小な期間(数百ミリ秒)内に完了することが求められる。
【0007】
上述の1対多認証を、このような非常に微小な期間内に完了することは必ずしも現実的ではない。
【0008】
一方、特許文献1の技術では、対象者によって所持される無線タグ内の識別情報が読み取られ、当該識別情報に基づき照合先が特定される。その上で、当該照合先に関して予め登録された特徴量(照合先の特徴量)と撮影画像から取得された特徴量(照合元の特徴量)とを照合する所謂1対1の認証処理が行われる。このような技術によれば、識別情報に基づき照合先を特定した上で1対1の認証処理が行われるので、処理の高速化を図ることが可能である。詳細には、ゲート直前で撮影された撮影画像に基づき1対多の認証処理が行われる場合に比べて、高速な処理が実現される。
【0009】
しかしながら、特許文献1の技術を用いる場合、全ての利用者が無線タグを所持することを要する。無線タグの所持を前提とする技術は、利用者等にとって制約的である。
【0010】
そこで、本発明は、無線タグの所持を前提とすることなく迅速な認証処理を実現することが可能な画像処理装置、およびそれに関連する技術を提供することを課題とする。
【課題を解決するための手段】
【0011】
上記課題を解決すべく、本発明に係る画像処理装置は、少なくとも1つの第1撮影画像と、前記少なくとも1つの第1撮影画像よりも後に撮影される第2撮影画像とを取得する制御部、を備え、前記制御部は、前記少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行し、前記第2撮影画像に含まれる認証対象人物の顔画像情報を前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行し、前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、前記制御部である第1制御部は、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートについて前記第1認証処理および前記第2認証処理を実行することによって、前記第1ゲートを通過しようとする人物の認証処理を実行し、前記画像処理装置の前記第1制御部、あるいは前記画像処理装置以外の装置の制御部である第2制御部は、前記複数のゲートのうちの第2ゲートについて前記第1認証処理および前記第2認証処理を実行し、前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする。
【0012】
前記第1認証処理においては、前記少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を前記多数の人物の顔画像情報と照合して人物を認証する処理、を繰り返し実行することにより、前記少なくとも1人の人物として複数の人物が認証されてもよい。
【0013】
前記少なくとも1つの第1撮影画像は、複数の第1撮影画像を含み、前記第1認証処理においては、前記複数の第1撮影画像のいずれかに含まれる人物の顔画像情報を前記多数の人物の顔画像情報と照合して人物を認証する処理、を繰り返し実行することにより、前記少なくとも1人の人物として複数の人物が認証されてもよい。
【0014】
前記第1認証処理においては、前記少なくとも1つの第1撮影画像に含まれる一の人物に関する顔画像情報を前記多数の人物の顔画像情報と照合することにより前記一の人物が認証されてもよい。
【0015】
前記第2認証処理における照合先の顔画像情報は、前記第1認証処理で認証された前記少なくとも1人の人物の顔画像情報であって前記少なくとも1つの第1撮影画像から抽出された顔画像情報であってもよい。
【0016】
前記第2認証処理における照合先の顔画像情報は、予め登録された前記多数の人物の顔画像情報を備えて構成されるテンプレート顔画像情報のうち前記第1認証処理で認証された前記少なくとも1人の人物に対応する顔画像情報であってもよい。
【0017】
前記第2認証処理は、前記第2撮影画像に含まれる人物を照合元人物とし且つ前記第1認証処理で認証された前記少なくとも1人の人物を照合先人物とするとともに、前記照合元人物に関する顔画像情報と前記照合先人物に関する顔画像情報とを照合することにより前記照合元人物を認証する処理であり、前記制御部は、前記第1認証処理にて複数の人物が認証される場合において、当該複数の人物のうちの第1人物を前記照合元人物とする前記第2認証処理によって前記第1人物を認証した後、前記複数の人物のうち前記第1人物とは別の第2人物を前記照合元人物とする新たな第2認証処理を実行する際には、当該新たな第2認証処理における前記照合先人物から前記第1人物を除外してもよい。
【0018】
前記第2認証処理は、前記第2撮影画像に含まれる人物を照合元人物とし且つ前記第1認証処理で認証された前記少なくとも1人の人物を照合先人物とするとともに、前記照合元人物に関する顔画像情報と前記照合先人物に関する顔画像情報とを照合することにより前記照合元人物を認証する処理であり、前記制御部は、前記第1認証処理にて複数の人物が認証される場合において、当該複数の人物のうちの第1人物を前記照合元人物とする前記第2認証処理によって前記第1人物を認証した後であり且つ当該複数の人物のうちの第2人物が前記第1認証処理によって認証されてから所定期間が経過した後に、前記第1人物とは別の人物を前記照合元人物とする新たな第2認証処理を実行する際には、当該新たな第2認証処理における前記照合先人物から前記第2人物を除外してもよい。
【0019】
前記制御部は、前記第2認証処理の照合先情報を一時的に記憶するデータベースに、前記第1認証処理で認証された人物に関する情報を前記照合先情報として随時登録し、前記第2認証処理においては、前記第2撮影画像に含まれる前記認証対象人物の顔画像情報を、前記データベースに記憶された前記照合先情報と照合することによって、前記認証対象人物が認証されてもよい。
【0020】
前記第1認証処理は、仮に同数の照合先との照合を実行すれば所要処理時間が前記第2認証処理よりも大きくなる処理であって、前記第2認証処理よりも高精度の認証を実現する処理であってもよい。
【0021】
前記第1認証処理における照合のために顔画像から抽出される特徴量のデータ量は、前記第2認証処理における照合のために顔画像から抽出される特徴量のデータ量よりも大きくてもよい。
【0025】
上記課題を解決すべく、本発明に係る画像処理システムは、少なくとも1つの第1撮影画像と、前記少なくとも1つの第1撮影画像よりも後に撮影される第2撮影画像とを撮影する撮影部と、前記少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行し、前記第2撮影画像に含まれる認証対象人物の顔画像情報を前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行する制御部と、を備え、前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのそれぞれについて前記第1認証処理および前記第2認証処理が実行されることによって、各ゲートを通過しようとする人物の認証処理がそれぞれ実行され、前記複数のゲートのうちの第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記複数のゲートのうちの第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする。
【0026】
前記撮影部は、前記少なくとも1つの第1撮影画像を撮影するカメラと前記第2撮影画像を撮影するカメラとを別個に備えてもよい。
【0030】
上記課題を解決すべく、本発明に係る画像処理方法は、a)コンピュータが、少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、b)コンピュータが、前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、を備え、前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、前記ステップa)は、a-1)第1のコンピュータが、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、a-2)第2のコンピュータが、前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、a-3)前記第1のコンピュータが、前記第1ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第1ゲート用の第1データベースに登録するステップと、a-4)前記第2のコンピュータが、前記第2ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第2ゲート用の第2データベースと前記第1ゲート用の前記第1データベースとの双方に登録するステップと、を備え、前記ステップb)は、b-1)前記第1のコンピュータが、前記第1データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、b-2)前記第2のコンピュータが、前記第2データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、を備え、前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする。
上記課題を解決すべく、本発明に係る画像処理方法は、a)コンピュータが、少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、b)前記コンピュータが、前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、を備え、前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、前記ステップa)は、a-1)前記コンピュータが、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、a-2)前記コンピュータが、前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、a-3)前記コンピュータが、前記第1ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第1ゲート用の第1データベースに登録するステップと、a-4)前記コンピュータが、前記第2ゲートに関する前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報を、前記第2ゲート用の第2データベースと前記第1ゲート用の前記第1データベースとの双方に登録するステップと、を備え、前記ステップb)は、b-1)前記コンピュータが、前記第1データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、b-2)前記コンピュータが、前記第2データベースに登録された顔画像情報に基づき、前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、を備え、前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする。
【0031】
上記課題を解決すべく、本発明に係るプログラムは、a)少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、b)前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、をコンピュータに実行させるためのプログラムであって、前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、前記ステップa)は、a-1)同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、a-2)前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、を備え、前記ステップb)は、b-1)前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、b-2)前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、を備え、前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする。
上記課題を解決すべく、本発明に係るプログラムは、a)少なくとも1つの第1撮影画像に含まれる人物の顔画像情報を、予め登録された多数の人物の顔画像情報と照合することにより、人物を認証する第1認証処理を実行するステップと、b)前記少なくとも1つの第1撮影画像よりも後に撮影された第2撮影画像に含まれる認証対象人物の顔画像情報を、前記第1認証処理によって認証された少なくとも1人の人物の顔画像情報と照合することにより、前記認証対象人物を認証する第2認証処理を実行するステップと、を第1および第2のコンピュータに実行させるためのプログラムであって、前記第2認証処理における照合先の人物数は、前記第1認証処理における照合先の人物数よりも少なく、前記ステップa)は、a-1)前記第1のコンピュータが、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲートのうちの第1ゲートに関して前記第1認証処理を実行するステップと、a-2)前記第2のコンピュータが、前記複数のゲートのうちの第2ゲートに関して前記第1認証処理を実行するステップと、を備え、前記ステップb)は、b-1)前記第1のコンピュータが、前記複数のゲートのうちの前記第1ゲートに関して前記第2認証処理を実行するステップと、b-2)前記第2のコンピュータが、前記複数のゲートのうちの前記第2ゲートに関して前記第2認証処理を実行するステップと、を備え、前記ステップb-1)における前記第1ゲートに関する前記第2認証処理は、前記第1ゲートを通過しようとする人物を撮影した撮影画像内の顔画像に関する顔画像情報を照合元とし、且つ、前記第1ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報と前記第2ゲートに関する前記第1認証処理で認証された人物に関する顔画像情報との双方を照合先として実行されることを特徴とする。
【発明の効果】
【0032】
本発明によれば、無線タグの所持を前提とすることなく迅速な認証処理を実現することが可能である。
【図面の簡単な説明】
【0033】
【
図1】第1実施形態に係る画像処理システムを示すブロック図である。
【
図2】入場用サブシステムおよび退場用サブシステムの各ゲート装置を示す図である。
【
図4】第1認証処理に利用される撮影画像が撮影される様子等を示す図である。
【
図5】第2認証処理に利用される撮影画像が撮影される様子等を示す図である。
【
図6】第1認証処理に利用される撮影画像が撮影される様子等を示す図である。
【
図7】第2認証処理に利用される撮影画像が撮影される様子等を示す図である。
【
図10】第1認証処理(予備認証処理)を示すフローチャートである。
【
図11】第2認証処理(本認証処理)を示すフローチャートである。
【
図12】第1認証処理にて或る人物が認証される様子を示す図である。
【
図13】第1認証処理にて別の人物が認証される様子を示す図である。
【
図14】第1認証処理にて複数の人物が認証される様子を示す図である。
【
図15】第2認証処理にて或る人物が認証される様子を示す図である。
【
図16】別の第2認証処理にて別の人物が認証される様子を示す図である。
【
図17】変形例に係る第2認証処理を示す図である。
【
図18】第1認証処理および第2認証処理の実行タイミングを示すタイミングチャートである。
【
図19】第1認証処理および第2認証処理の別の実行タイミングを示すタイミングチャートである。
【
図20】第2実施形態に係る画像処理システムを示すブロック図である。
【
図21】第2実施形態に係る入場用サブシステムに設けられる複数の入場ゲート付近を上方から見た図である。
【
図22】第3実施形態に係る画像処理システムを示すブロック図である。
【
図23】第3実施形態に係る認証装置を示すブロック図である。
【
図24】第3実施形態に係る入場用サブシステムに設けられる複数の入場ゲート付近を上方から見た図である。
【
図25】第4実施形態に係る画像処理システムを示すブロック図である。
【
図26】第4実施形態に係る画像処理システムにおける認証タイミング等を示す図である。
【発明を実施するための形態】
【0034】
以下、本発明の実施形態を図面に基づいて説明する。
【0035】
<1.第1実施形態>
<1-1.システム概要>
図1は、画像処理システム1(認証システムとも称する)を示すブロック図である。
図1に示されるように、第1実施形態に係る画像処理システム1(1Aとも称する)は、入場ゲート装置等を制御する入場用サブシステム2(2Aとも称する)と、退場ゲート装置等を制御する退場用サブシステム3(3Aとも称する)とを備える。入場用サブシステム2および退場用サブシステム3は、たとえば複数の駅(鉄道駅等)のそれぞれに設けられる。
【0036】
図2は、入場用サブシステム2のゲート装置91(入場ゲート装置92とも称する)、および退場用サブシステム3のゲート装置91(退場ゲート装置93とも称する)を示す図である。各ゲート装置91(92,93)は、たとえば改札通路に設けられる通路開閉型のゲート装置であり、後述する認証装置による認証結果に基づいて、当該ゲート装置を通過する人物の通行等を制御する。なお、以下、ゲート装置を単にゲートとも称する。
【0037】
図2の入場ゲート92は、乗車駅の入場改札口に設けられたゲートであり、駅構内等の所定領域内に入場するためのゲートである。
図2の退場ゲート93は、下車駅の退場改札口に設けられたゲートであり、駅構内等の所定領域内から退場するためのゲートである。
図2に示されるように、利用者(鉄道利用者等)は、乗車駅の入場改札口の入場ゲート92から入場し、下車駅の退場改札口の退場ゲート93から退場する。
【0038】
入場用サブシステム2と退場用サブシステム3とは、互いに同様の構成を有している。以下では、入場用サブシステム2について主に説明し、退場用サブシステム3については説明を省略する。
【0039】
入場用サブシステム2は、認証装置10とゲート91(92)とを有している。また、ゲート91(92)の付近には、カメラ21,22(
図2等参照)が配置されている。認証装置10は、カメラ21,22によって撮影された画像に基づき、ゲート91を通過しようとする人物に関する認証処理を実行し、当該認証処理の結果に基づいて当該人物の通行の可否等を決定する。ゲート91は、認証装置10による認証処理の結果および通行可否の決定に基づいて、当該人物の通行を制御する。具体的には、当該人物の通行が許可される場合には、ゲート91は当該ゲート91の開閉扉を開いて、人物を通過させる。逆に、当該人物の通行が許可されない場合には、ゲート91は、人物を通過させないように当該ゲート91の開閉扉を閉じる。
【0040】
図3は、認証装置10の構成を示すブロック図である。
図3に示されるように、認証装置10は、撮影部20と画像処理装置30とを備える。
【0041】
撮影部20は、第1カメラ21と第2カメラ22とを有する。各カメラ21,22は、2次元画像を撮像する撮像センサ等を備えている。たとえば、各カメラ21,22は、可視光画像(カラー画像等)を撮像するRGB画像センサ等を備えており、カラー画像(あるいはグレースケール画像)を撮影することが可能である。第2カメラ22は、当該ゲート91を通過しようとする人物(通過対象人物)をゲート91の直前で撮影することが可能である(
図5等参照)。一方、第1カメラ21は、ゲート91の直前位置よりも更に手前側の位置(ゲート91から離れた位置)に存在する人物を撮影することが可能である(
図4等参照)。
【0042】
画像処理装置30は、カメラ21,22で撮影された各撮影画像に対する画像処理等を実行する装置である。また、画像処理装置30は、後述する2段階の認証処理(第1認証処理および第2認証処理)を行うことによって、ゲート91を通過しようとする人物に関する認証処理を実行する。
【0043】
画像処理装置30は、コントローラ31と記憶部32と通信部34と操作部35とを備える。
【0044】
コントローラ31(制御部とも称する)は、画像処理装置30に内蔵され、画像処理装置30の動作を制御する制御装置である。
【0045】
コントローラ31は、1又は複数のハードウェアプロセッサ(例えば、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit))等を備えるコンピュータシステムとして構成される。コントローラ31は、CPU等において、記憶部(ROMおよび/またはハードディスクなどの不揮発性記憶部)32内に格納されている所定のソフトウエアプログラム(以下、単にプログラムとも称する)を実行することによって、各種の処理を実現する。なお、当該プログラム(詳細にはプログラムモジュール群)は、USBメモリなどの可搬性の記録媒体に記録され、当該記録媒体から読み出されて画像処理装置30にインストールされるようにしてもよい。あるいは、当該プログラムは、通信ネットワーク等を経由してダウンロードされて画像処理装置30にインストールされるようにしてもよい。
【0046】
コントローラ31は、第1撮影画像110と第2撮影画像210とを撮影部20から取得する。第1撮影画像110は、第2撮影画像の撮影タイミングよりも前のタイミングで(たとえば、1秒~数十秒前に)撮影される画像である。具体的には、コントローラ31は、第1カメラ21による撮影画像を第1撮影画像110として取得し、第2カメラ22による撮影画像を第2撮影画像210として取得する。これらの撮影画像110,210は、ほぼ同じ場所(ないし近接する場所)を撮影した画像である。コントローラ31は、これらの撮影画像110,210に基づき、ゲート91を通過しようとする人物の認証処理を実行する。
【0047】
記憶部32は、ハードディスクドライブ(HDD)あるいはソリッドステートドライブ(SSD)等の記憶装置で構成される。記憶部32は、利用者登録データベース32Aと第1認証成功データベース32Bとを格納する。
【0048】
利用者登録データベース32Aは、本システム1の利用者に関する情報(正規情報)を予め登録したデータベースである。利用者登録データベース32Aには、各利用者の顔画像に関する顔画像情報(当該顔画像自体、および当該顔画像に関する特徴量データ等)が各利用者の登録者ID(登録者を識別する識別情報)にそれぞれ関連付けられて予め格納されている。たとえば定期券購入時等において、各利用者の顔画像が定期券購入装置(自動券売機等)の近傍に設けられたカメラ等によって撮像されるとともに、当該顔画像に関する情報(正規情報)が当該利用者登録データベース32Aに登録される。なお、各利用者の顔画像に関して予め登録された顔画像情報は、テンプレート顔画像情報とも称される。換言すれば、テンプレート顔画像情報は、予め登録された多数の人物の顔画像情報を備えて構成される情報である。
【0049】
第1認証成功データベース32Bは、第1認証処理E1(後述)によって認証された人物の情報(顔画像情報等)を一時的に記憶する(登録する)データベースである。換言すれば、第1認証成功データベース32Bは、本認証処理E2の照合先情報を一時的に記憶するデータベースである。第1認証成功データベース32Bに登録される情報は、この実施形態では、高い頻度で(時々刻々と)随時更新される。
【0050】
通信部34は、ネットワークを介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、TCP/IP(Transmission Control Protocol / Internet Protocol)等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、画像処理装置30は、所望の相手先(たとえば、撮影部20、および他の画像処理装置30等)との間で各種のデータを授受することが可能である。
【0051】
操作部35は、画像処理装置30に対する操作入力を受け付ける操作入力部35aと、各種情報の表示出力を行う表示部35bとを備えている。操作入力部35aとしてはマウス、キーボード等が用いられ、表示部35bとしてはディスプレイ(液晶ディスプレイ等)が用いられる。また、操作入力部35aの一部としても機能し且つ表示部35bの一部としても機能するタッチパネルが設けられてもよい。
【0052】
<1-2.基本概念等>
本実施形態の基本概念について説明する前に、まず比較例に係る技術について説明する。
【0053】
図5において、ゲート91(入場ゲート92等)の遠方(
図5の左側)から当該ゲート91に向かって歩いてきた人物U1が当該ゲート91の直前にまで到達した時点で、当該人物U1に関する画像(撮影画像)210が撮影されている。
【0054】
比較例に係る技術においては、撮影画像210のみに基づいて1対多(1対N)の認証処理(詳細には顔認証処理)が行われる。この1対多(1対N)の認証処理においては、撮影画像210に含まれる人物(たとえばU1)の顔画像を、予め登録された多数(N人)の人物(たとえば、N=数百~数百万(人))の顔画像と照合することによって、当該人物が認証される。
【0055】
そして、当該認証処理の処理結果に応じて人物U1のゲート通過の許否が決定される。人物U1のゲート通過が許可される場合には、人物U1の通行が可能となるようにゲート91の扉(ないしバー)が開けられる。逆に、人物U1のゲート通過が許可されない場合には、人物U1の通行を妨げるためにゲート91の扉(ないしバー)が閉じられる。
【0056】
このように、撮影画像210に基づく認証処理の処理結果に応じて、ゲート91の扉等の開閉動作等が行われる。それ故、当該認証処理の処理時間(撮影画像210の撮影時点以降の認証処理時間)は短いことが好ましい。特に、撮影画像210の撮影後に当該撮影画像210の撮影対象人物U1(認証対象人物)とは別の人物が待ち行列の横から割り込んでゲート91に進入すると、認証漏れおよび/または認証エラー等が発生する可能性がある。このようなゲート直前での割り込みに起因する異常発生を防止するためには、撮影画像210の撮影タイミングは、人物U1のゲート91への進入タイミングにできる限り近いタイミングであることが好ましい。このような要請に応えるためには、撮影画像210の撮影時点からの認証処理の処理時間は、数百ミリ秒(たとえば500ミリ秒)以内であることが好ましい。
【0057】
しかしながら、撮影画像210の撮影時点から1対多(1対N)の認証処理が実行される場合、撮影画像210の撮影時点から比較的長い時間(たとえば1秒)を要することもある。その場合、上記のような認証処理時間の制約を充足することが困難である。
【0058】
そこで、この実施形態では、撮影画像210に基づく認証処理(本認証処理とも称する)に先立って、予備的な撮影画像110(
図4参照)に基づく予備的な認証処理(予備認証処理)が実行される。換言すれば、第1認証処理E1として予備認証処理が実行され、第2認証処理E2として本認証処理が実行される。
【0059】
つぎに、本実施形態の基本概念について、
図4および
図5等を参照しつつ説明する。
図4は、第1認証処理(予備認証処理)E1に利用される撮影画像110(予備撮影画像とも称する)がカメラ21によって撮影される様子等を示す図である。一方、
図5は、第2認証処理(本認証処理)E2に利用される撮影画像210(本撮影画像とも称する)がカメラ22によって撮影される様子等を示す図である。
【0060】
予備認証処理(第1認証処理)E1では、本撮影画像210の撮影タイミングよりも前のタイミングで撮影される予備撮影画像(第1撮影画像)110(
図4参照)に基づいて、1対多(1対N)(たとえば、N=数百~数百万(人))の認証処理が実行される。詳細には、予備撮影画像110内の人物U1の顔画像に関する顔画像情報を照合元とし、予め登録されている多数の人物の顔画像に関する顔画像情報を照合先とする、1対多(1対N)の認証処理が実行される。これにより、当該人物U1が認証される(予備認証あるいは仮認証される)。なお、予備撮影画像110に基づく予備認証処理E1が本撮影画像210に基づく本認証処理E2の開始までに完了するように、予備撮影画像110は、本撮影画像210よりも或る程度前の時点で(たとえば2秒前に)撮影される。
【0061】
そして、予備認証処理E1の後に本認証処理E2(第2認証処理)が行われる(
図5参照)。本認証処理E2では、予備認証処理E1で認証された1又は複数の人物を照合先として、本認証処理の認証対象人物U1(本撮影画像210内の人物U1)が認証される。本認証処理E2は、本撮影画像(第2撮影画像)210に含まれる認証対象人物U1の顔画像に関する顔画像情報を照合元とし且つ予備認証処理E1によって認証された少なくとも1人(M人)の人物の顔画像に関する顔画像情報を照合先として実行される。すなわち、本認証処理E2は、1対少数(1対M)の認証処理である。なお、予備認証処理E1によって認証された少なくとも1人の人物(M人)は、予備認証人物あるいは一次認証人物とも称される。
【0062】
このように、本認証処理E2は、本撮影画像210に含まれる人物を照合元人物とし且つ予備撮影画像110で認証されたM人の人物を照合先人物とする認証処理である。詳細には、本認証処理E2は、照合元人物の顔画像情報と照合先人物の顔画像情報とを照合することにより照合元人物を認証する処理である。このような処理により、本認証処理E2の認証対象人物U1が認証(本認証)される。
【0063】
なお、人物の顔画像情報は、たとえば、当該人物の顔画像から抽出された特徴量(顔の特徴を示すデータ)である。当該特徴量は、当該顔画像に対して特定の画像処理を施すことによって抽出されればよい。あるいは、当該特徴量は、機械学習(ディープラーニング等)によって学習された学習器(学習済みモデル)を用いて、当該顔画像から抽出されてもよい。
【0064】
ただし、これに限定されず、人物の顔画像情報は、当該人物の顔画像自体であってもよく、あるいは、顔画像自体と顔画像から抽出された特徴量との双方等であってもよい。
【0065】
図4に示されるように、たとえば、予備撮影画像110に単一の人物U1のみが含まれる場合には、予備認証処理E1では、予備撮影画像110内の人物U1を照合元とし、予め登録されている多数の人物を照合先とする1対多(1対N)の認証処理が実行される。その結果、予備認証処理E1では当該単一の人物U1が認証される。
【0066】
そして、
図5に示されるように、本撮影画像210内の人物U1を認証対象人物(照合元)とする本認証処理E2では、予備認証処理E1で認証された当該単一の人物U1を照合先として照合処理(1対1の認証処理)が実行される。
【0067】
1対1の認証処理の照合先の数(人物数(顔画像数))(1人)は1対多の認証処理の照合先の数Nよりも少ないので、1対1の認証処理は1対多の認証処理よりも高速に実行される。それ故、上述の認証処理時間の制約(撮影画像210の撮影時点からの処理時間の制約)を充足することが可能である。
【0068】
また、
図6(および
図8)等に示されるように、予備撮影画像110に複数の人物(
図6では5人の人物U1~U5)が含まれる場合には、予備認証処理E1では、1対多(1対N)の認証処理が繰り返し実行される。詳細には、予備撮影画像110内の各人物(人物U1~U5のそれぞれ)を照合元とし且つ予め登録されている多数の人物を照合先とする1対多(1対N)の認証処理が繰り返し実行される。その結果、予備認証処理E1によって複数(M人)の人物U1~U5(N人よりも少数の人物)が認証される。なお、
図6は、複数の人物を含む予備撮影画像110が撮影される様子等を示す図であり、
図8は、当該予備撮影画像110を拡大して示す図である。
【0069】
具体的には、予備撮影画像110内の複数の人物U1~U5の顔画像に関する顔画像情報のそれぞれを多数の顔画像に関する顔画像情報と照合することにより各人物を認証する処理を、繰り返し実行することにより、複数(M人)の人物U1~U5が認証される。
【0070】
より詳細には、予備撮影画像110内の人物U1を照合元とする1対多(1対N)の認証処理が実行されて、人物U1が認証される。また、予備撮影画像110内の人物U2を照合元とする1対多(1対N)の認証処理が実行されて、人物U2が認証される。さらに、予備撮影画像110内の人物U3を照合元とする1対多(1対N)の認証処理が実行されて、人物U3が認証される。同様にして、予備撮影画像110内の人物U4,U5をそれぞれ照合元とする1対多(1対N)の認証処理が実行されて、人物U4,U5が認証される。
【0071】
その後、本撮影画像210内の人物U1(
図9参照)を認証対象人物(照合元)とする本認証処理E2(
図7参照)では、予備認証処理E1で認証された少数(M人)の人物U1~U5を照合先とする照合処理が実行される。すなわち、1対M(1対少数)(ここでは、M=5)の認証処理が実行される。このように、本認証処理E2では、N人(比較的多数の人物)の中から絞り込まれたM人の人物(比較的少数の人物)を照合先として、認証処理が実行される。
【0072】
1対Mの認証処理における照合先の数M(人物数(顔画像数))は、1対多の認証処理における照合先の数Nよりも少ないので、1対Mの認証処理は1対Nの認証処理よりも高速に実行される。それ故、上述の認証処理時間の制約を充足することが可能である。
【0073】
以上のようにして、本実施形態では、予備認証処理E1および本認証処理E2(第2認証処理)が行われる。
【0074】
また、その後、本認証処理E2(第2認証処理)の処理結果に応じて人物U1のゲート通過の許否が決定される。人物U1のゲート通過が許可される場合には、人物U1の通行が可能となるようにゲート91の扉(ないしバー)が開けられる。逆に、人物U1のゲート通過が許可されない場合には、人物U1の通行が不可能となるようにゲート91の扉(ないしバー)が閉じられる。
【0075】
このような態様においては、顔画像に基づく認証処理の処理結果によって人物の通行の許否を判断することが可能である。換言すれば、当該人物が定期券あるいは交通カード等の媒体を所持しない場合であっても、当該人物の通行の許否を判断することが可能である。これによれば、定期券等の媒体を所持することなくゲート91を(歩いて)通過すること(いわゆるウォークスルー)が実現される。
【0076】
ここにおいて、上記における予備認証処理E1での照合処理は、1対N認証での正確性を期すため、本認証処理E2での照合処理よりも重い処理であることが好ましい。換言すれば、予備認証処理E1は、本認証処理E2よりも高精度の認証を実現する処理であることが好ましい。具体的には、予備認証処理E1は、仮に同数の照合先との照合を実行すればその所要処理時間が本認証処理E2よりも大きくなる処理であることが好ましい。詳細には、予備認証処理E1における照合のために顔画像から抽出される特徴量のデータ量(パラメータ数およびパラーメータサイズ等)は、本認証処理E2における照合のために顔画像から抽出される特徴量のデータ量よりも大きいことが好ましい。照合対象の当該特徴量のデータ量が大きい(多い)ほど、より高精度の認証が実現され得る。予備認証処理E1においては、たとえば、所定レベル以上の高精度の認証が可能な学習済みモデル(第1学習済みモデル)を用いて抽出された比較的大量の特徴量が用いられればよい。
【0077】
一方、本認証処理E2は、予備認証処理E1での認証済み人物(認証済み顔画像)を照合先とする処理であるので、本認証処理E2での照合処理は、高速性を優先し、予備認証処理E1での照合処理よりも軽い処理であることが好ましい。詳細には、本認証処理E2における照合のために顔画像から抽出される特徴量のデータ量は、予備認証処理E1における照合のために顔画像から抽出される特徴量のデータ量よりも小さいことが好ましい。本認証処理E2においては、たとえば、上記の第1学習済みモデルとは別の学習済みモデル(第2学習済みモデル)を用いて抽出される比較的少量の特徴量が用いられればよい。第2学習済みモデルは、第1学習済みモデルよりも低い認証精度を有するものの、第1学習済みモデルよりも高速にその特徴量を抽出することが可能な学習済みモデルである。
【0078】
この実施形態では、予備認証処理E1においては、比較的重い処理(比較的多量のデータに基づく照合処理)が行われて正確な認証が実行される。一方、本認証処理E2においては、比較的軽い処理(比較的少量のデータに基づく照合処理)が行われて高速な処理(迅速な処理)が実行される。
【0079】
<1-3.処理詳細>
つぎに、本実施形態に係る処理について更に詳細に説明する。
【0080】
図10および
図11は、コントローラ31の処理を示すフローチャートである。
図10は、予備認証処理E1を示すフローチャートであり、
図11は、本認証処理E2を示すフローチャートである。
【0081】
この実施形態では、互いに異なるタイミングで撮影された複数の予備撮影画像110が順次に取得される。詳細には、複数の予備撮影画像110が所定時間間隔(たとえば250ミリ秒間隔)で順次に取得される。そして、当該複数の予備撮影画像110のそれぞれに対して
図10のフローチャートの処理が順次に実行される(
図18も参照)。
【0082】
図10のフローチャートは、各予備撮影画像110に対して実行される処理を示している。
図10のフローチャートの処理は、たとえば、概ね1秒程度を要する。複数の予備撮影画像110のそれぞれに対する
図10の処理は、互いに並行して実行される(
図18も参照)。また、各予備撮影画像110に対する
図10の処理によって認証された人物(第1認証に成功した人物)に関する情報(顔画像情報等)は、第1認証成功データベース32Bに随時格納される。
【0083】
また、
図11のフローチャートの処理は、認証すべき人物がゲート91の直前位置に到来したことに応じて実行される。
図11のフローチャートの処理は、たとえば、数ミリ秒~数百ミリ秒(たとえば最大でも400ミリ秒)以内で完了する。なお、
図18は、複数の予備撮影画像110に対する予備認証処理E1、および複数の本撮影画像210に対する本認証処理E2の実行タイミングを示すタイミングチャートである。
【0084】
換言すれば、この実施形態においては、各予備撮影画像110に対する
図10の処理(予備撮影画像110内の各人物を照合元とする1対多認証処理等)は所定時間間隔で随時実行される。そして、当該1対多認証処理で認証(仮認証)された人物に関する情報は、随時、第1認証成功データベース32Bに追加登録される。また、本認証処理E2は、ゲート91に新たな人物が到来するたびに実行される。各本認証処理E2は、第1認証成功データベース32Bに登録されている顔画像情報(複数の予備撮影画像110に基づく予備認証処理E1で認証されたM人の人物の顔画像に関する顔画像情報)を照合先として実行される。
【0085】
なお、ここでは複数の予備撮影画像110のいずれかに含まれる人物を照合元とする1対多の認証処理によって認証された少なくとも1人の人物が、本認証処理E2の照合先として採用される。これによれば、カメラ21の視界から一時的に外れた人物がゲート91の直前位置に移動(復帰)した瞬間に本撮影画像210が撮影されて当該人物が認証対象人物とされる場合においても、当該人物が予備認証処理E1で予め認証されている可能性を高めることが可能である。ただし、これに限定されず、複数の予備撮影画像110のうち、本撮影画像210の直前に(なるべく近いタイミングで)撮影された(最新の)予備撮影画像110に関する1対多の認証処理によって認証された少なくとも1人の人物が、本認証処理E2の照合先として採用されてもよい。換言すれば、本認証処理E2の開始時点で完了済みの予備認証処理E1(一の予備撮影画像110に基づく予備認証処理E1)にて認証された少なくとも1人の人物が、本認証処理E2の照合先として採用されてもよい。
【0086】
まず、
図10を参照しつつ予備認証処理E1について説明する。
【0087】
図10に示されるように、ステップS11において、コントローラ31は、カメラ21によって撮影された予備撮影画像110(
図4あるいは
図6等参照)を取得する。
【0088】
カメラ21は、ゲート91の遠方からゲート91に向かって歩いてくる人物が当該ゲート91から少し離れた位置に到達した時点で当該人物を撮影することが可能である。カメラ21は、ゲート91の直前位置よりも一定程度手前側に存在する人物の顔を撮影することが可能となるように、その設置位置および視点等が調整されている。たとえば、カメラ21は、その視点がゲート91に近づいてくる人物に向かうように設置される。また、カメラ21は、ゲート91に近づいてくる複数の人物の顔をその重複を回避しつつ比較的上方から撮影できるように一定程度以上の高さ(たとえば床上3メートルの高さ)に設置される。また、カメラ21は、なるべく広い範囲を撮影できるように、カメラ22よりも広い視野角度を有することが好ましい。
【0089】
このように、カメラ21は、ゲート91に進入しそうな人物を事前に撮影するためのカメラである。換言すれば、カメラ21によって撮影される予備撮影画像110は、その後にゲート91に進入する人物を事前に撮影した画像である。なお、予備撮影画像110は、静止画像であってもよく、動画像(詳細には動画像内のフレーム画像)であってもよい。
【0090】
次のステップS12において、コントローラ31は、当該予備撮影画像110から人物の顔画像を抽出する。たとえば、予備撮影画像110に少数の人物(たとえばM人)の顔画像が含まれている(写っている)場合には、当該少数の人物(M人)の顔画像を予備撮影画像110から抽出する。ここで、値Mは、1以上の整数である(
図6等では、M=5)。
図12の左側には、予備撮影画像110から人物U1の顔画像が抽出される様子が示されており、
図13の左側には、予備撮影画像110から人物U2の顔画像が抽出される様子が示されている。他の各人物(U3~U5等)についても同様に、それぞれの顔画像が抽出される。なお、ステップS12にて予備撮影画像110内の顔画像の全て(予備撮影画像110内の全ての人物の顔画像)が抽出されることを必ずしも要しない。たとえば、一定以上の大きさの顔画像のみ(ひいては一定サイズ以上の顔画像に対応する一部の人物(ゲートに一定程度よりも近づいた人物等)のみ)が抽出されてもよい。換言すれば、予備撮影画像110に含まれる複数の人物のうちの一部の人物(単一あるいは2以上の人物)のみが、次のステップS13における各予備認証処理E1(各1対N認証)の照合元とされてもよい。
【0091】
ステップS13では、コントローラ31は、予備認証処理E1を実行する。予備認証処理E1は、予備撮影画像110に含まれる人物(一の人物、または複数の人物のそれぞれ)の顔画像に関する顔画像情報を、予め登録された多数の顔画像に関する顔画像情報と照合する処理を繰り返すことにより、少なくとも1人の人物を認証する処理である。より具体的には、予備撮影画像110に含まれるM人の人物のそれぞれの顔画像に関する顔画像情報を照合元とし、利用者登録データベース32Aに予め登録されたN人の人物の顔画像に関する顔画像情報を照合先とする、1対N認証(1対多認証)が実行される。これにより、少数の人物(たとえばM人の人物)が認証される。
【0092】
たとえば、予備撮影画像110内に複数の人物U1~U5が存在する場合(
図6参照)、当該複数の人物U1~U5の顔画像に関する顔画像情報のそれぞれを多数の顔画像に関する顔画像情報と照合することにより各人物を認証する処理(1対多認証)が、繰り返し実行される。これにより、複数(M人)の人物U1~U5が認証される。
【0093】
詳細には、予備撮影画像110内の人物U1を照合元とする1対多(1対N)の認証処理が実行されて、人物U1が認証される。具体的には、
図12に示されるように、予備撮影画像110から抽出された顔画像120(人物U1の顔画像121)に関する顔画像情報を、利用者登録データベース32Aに予め登録されているN人の人物の顔画像320(N個の顔画像320)に関する顔画像情報と照合する認証処理が実行される。より詳細には、たとえば、顔画像121から抽出される顔特徴量データと、利用者登録データベース32Aに予め登録されたN人の人物Riの顔画像320に関する顔特徴量データとが照合される。この結果、人物U1が認証(仮認証)される。詳細には、たとえば人物Rjの顔画像と人物U1の顔画像とが合致することが判定されると、当該人物U1は登録済みの人物Rjであると判定される。
【0094】
また、予備撮影画像110内の人物U2を照合元とする1対多(1対N)の認証処理が実行されて、人物U2が認証される。具体的には、
図13に示されるように、予備撮影画像110から抽出された顔画像120(人物U2の顔画像122)に関する顔画像情報を、利用者登録データベース32Aに予め登録されたN人の人物の顔画像に関する顔画像情報と照合する認証処理が実行される。これにより、人物U2が認証(仮認証)される。
【0095】
他の各人物(U3~U5等)についても同様に、認証処理が実行され、当該各人物が認証(仮認証)される。
【0096】
このような予備認証処理E1の結果、
図14に示されるように、予備撮影画像110内の複数の人物U1~U5が認証(仮認証)される。換言すれば、本認証処理E2の照合先人物は、N人の登録者のうちM人に絞り込まれる。
【0097】
ステップS14では、コントローラ31は、ステップS13で認証されたM人の人物に関する情報(顔画像情報等)を第1認証成功データベース32Bに登録(記憶)する。
【0098】
具体的には、ステップS13で認証されたM人の人物に関する情報として、予備撮影画像110内に含まれる顔画像に関する顔画像情報(予備撮影画像110から抽出された顔画像(顔画像データ)自体、および/または当該顔画像から抽出された特徴量データ等)が第1認証成功データベース32Bに登録される。
【0099】
なお、ここでは、利用者登録データベース32Aで規定されている登録者ID(登録者を識別する識別情報)を用いて重複登録が排除される。具体的には、仮認証された人物の顔画像情報に加えて当該人物の登録者IDもが第1認証成功データベース32Bに登録される。そして、第1認証成功データベース32Bへの重複登録を防止するため、第1認証成功データベース32Bに既に登録されている人物以外の人物が追加的に登録される。より具体的には、ステップS13で認証された人物の登録者IDと同じ登録者IDが未だ登録されていないことを条件に、当該人物に関する顔画像情報がその登録者IDとともに第1認証成功データベース32Bに登録される。
【0100】
つぎに、
図11を参照しつつ本認証処理E2について説明する。
【0101】
ステップS21において、コントローラ31は、カメラ22によって撮影された本撮影画像210(
図5あるいは
図7等参照)を取得する。カメラ22は、ゲート91の直前の所定位置に存在する人物の顔を大きく(一定程度の大きさ以上に)撮影することが可能となるように、その設置位置および視点等が調整されている。なお、本撮影画像210は、静止画像であってもよく、動画像(詳細には動画像内のフレーム画像)であってもよい。
【0102】
具体的には、コントローラ31は、カメラ22の撮影画像(ここでは動画像)内の顔画像を微少時間間隔で(たとえば1/30秒ごとに)検出する。そして、コントローラ31は、当該顔画像が所定サイズ(所定の大きさ)よりも大きくなった時点で、人物がゲート91の直前の所定位置に到達した旨を判定し、当該時点でカメラ22によって撮影された撮影画像(動画像内のフレーム画像等)を本撮影画像210として取得する。
【0103】
次のステップS22において、コントローラ31は、本撮影画像210から人物の顔画像220を抽出し(
図15の左側参照)、本認証処理E2における認証対象人物(認証対象顔画像)を特定する。具体的には、所定サイズ以上の大きさを有する顔画像が認証対象顔画像として特定され、当該認証対象顔画像に対応する人物が認証対応人物として特定される。なお、所定の大きさ以上を有する複数の顔画像が本撮影画像210内に含まれている場合には、当該複数の顔画像のうち最も大きな顔画像(あるいは最も手前側の顔画像)が認証対象顔画像として特定されればよい。
【0104】
次のステップS23において、コントローラ31は、当該認証対象人物を、予備認証処理で予め認証された少数(M人)の人物(たとえば人物U1~U5)と照合する本認証処理E2(1対Mの認証処理)を実行する(
図15参照)。本認証処理E2は、本撮影画像210に含まれる認証対象人物の顔画像に関する顔画像情報を、予備認証処理E1によって認証されたM人の人物の顔画像に関する顔画像情報と照合することにより、認証対象人物を認証(本認証)する処理である。上述したように、本認証処理E2では、N人(比較的多数の人物)の中から絞り込まれたM人の人物(比較的少数の人物)を照合先として、認証処理が実行される。
【0105】
具体的には、コントローラ31は、認証対象人物の顔画像220に関する顔画像情報を、第1認証成功データベース32Bに登録されている人物(
図15では5人の人物U1~U5)の顔画像情報(照合先情報)と照合して、認証対象人物を認証する。
【0106】
たとえば、認証対象人物U1の顔画像220(221)(
図15参照)に関する顔画像情報が、第1認証成功データベース32Bに登録されている5人の人物U1~U5のうちの人物U1の顔画像情報と合致する場合、当該認証対象人物U1が認証される。
【0107】
また、認証対象人物U2の顔画像220(222)(
図16参照)に関する顔画像情報が、第1認証成功データベース32Bに登録されている5人の人物U1~U5のうちの人物U2の顔画像情報と合致する場合、当該認証対象人物U2が認証される。
【0108】
なお、ステップS24,S25については後述する。
【0109】
以上のような動作が行われることによれば、本認証処理E2における照合先の顔画像数Mは、予備認証処理E1における照合先の顔画像数N(1対多の認証処理における照合先の数N)よりも少ない。したがって、ゲート91直前で撮影された本撮影画像210に基づく本認証処理E2を高速に実行することが可能である。それ故、無線タグの所持を前提とすることなく、迅速な認証処理を実現することが可能である。
【0110】
なお、上記実施形態では、予備認証処理E1(ステップS13)で認証されたM人の人物に関する情報として、予備撮影画像110から抽出された顔画像情報が第1認証成功データベース32Bに登録されている。より具体的には、予備撮影画像110から抽出された顔画像121~125に関する顔画像情報(顔画像121~125の各画像データ、および顔画像データから抽出された特徴量等)が登録されている(
図15の右側等参照)。そして、本認証処理E2では、当該顔画像情報に基づいて照合処理が実行されている。換言すれば、本認証処理E2における照合先の顔画像情報は、予備認証処理E1で認証されたM人の人物の顔画像であって予備撮影画像110内の顔画像に関する顔画像情報を含んでいる。
【0111】
しかしながら、これに限定されず、本認証処理E2における照合先の顔画像情報は、多数の顔画像(多数の人物の顔画像)に関する顔画像情報を予め登録したテンプレート顔画像情報(多数のテンプレート顔画像に関する顔画像情報)であってもよい。なお、上述のように、当該テンプレート顔画像情報は、利用者登録データベース32Aに予め格納された情報である。
【0112】
より詳細には、本認証処理E2における照合先の顔画像情報は、当該テンプレート顔画像情報のうち、予備認証処理E1によって認証された1又は複数の人物に対応する顔画像情報であってもよい。
【0113】
たとえば、当該テンプレート顔画像情報のうち、予備認証処理E1によって認証された1又は複数の人物に対応する顔画像情報等が、利用者登録データベース32Aから第1認証成功データベース32Bにコピーされて格納されればよい。そして、第1認証成功データベース32Bにコピーして格納された顔画像情報(テンプレート顔画像情報の一部)を照合先として、本認証処理E2が実行されてもよい。
【0114】
あるいは、予備認証処理E1で認証されたM人の人物(U1~U5等)に対応するM個の登録者IDのみが第1認証成功データベース32Bに登録されてもよい(
図17参照)。そして、本認証処理E2の際において、第1認証成功データベース32Bに登録された登録者IDに対応するM人の人物の顔画像情報が、利用者登録データベース32Aから抽出されて照合先情報として利用されてもよい。端的に言えば、本認証処理E2の照合時には、利用者登録データベース32A内の顔画像情報が用いられてもよい。具体的には、
図17に示されるように、予備認証処理E1によって認証された人物U1~U5の登録者ID(第1認証成功データベース32Bに登録されている登録者ID)に対応するテンプレート顔画像320に関する顔画像情報を照合先として、本認証処理E2が実行されてもよい。これによれば、第1認証成功データベース32Bの容量を抑制することが可能である。
【0115】
ただし、人物の顔画像の当初の登録時からの経時変化(顔の経年変化、およびマスクの着用の有無等を含む)による影響を抑制するとの観点からは、(利用者登録データベース32A内のテンプレート顔画像に関する顔画像情報よりも)予備撮影画像110から抽出された顔画像に関する情報が用いられることが好ましい。詳細には、予備認証処理E1で認証されたM人の人物の顔画像であって予備撮影画像110内に含まれる顔画像に関する顔画像情報が、本認証処理E2において本撮影画像210内の認証対象顔画像に関する顔画像情報との照合に用いられることが好ましい。これによれば、人物に対して予め登録されたテンプレート顔画像が照合元画像との照合に用いられる場合に比べて、人物の顔画像の経時変化による影響を抑制することが可能である。
【0116】
たとえば、
図16に示されるように、本撮影画像210内の人物U2の顔画像220(222)がマスクを着用した顔の画像である場合を想定する。この場合、当該本撮影画像210の直前に撮影された予備撮影画像110から抽出される顔画像(人物U2の顔画像)120(122)(ひいては本認証処理E2での照合先の顔画像)も、マスクをした顔画像であることが多い。したがって、当該2つの顔画像120,220(詳細にはその顔画像情報)を照合する照合処理においては、経時変化の影響が抑制されている。それ故、本認証処理E2において高速性を優先し比較的簡易な照合を行う場合であっても、人物の顔画像の経時変化(マスクの着用の有無を含む)による影響が抑制され、十分な認証精度を得ることが可能である。
【0117】
なお、この場合、予備認証処理E1においては、マスクを着用した顔画像(予備撮影画像110から抽出された顔画像120)に関する顔画像情報と、マスクを着用していない顔画像(予め登録された顔画像320)に関する顔画像情報とが照合される。ただし、上述のように予備認証処理E1では比較的高精度の照合処理(認証処理)が行われる。したがって、マスクの着用の有無が異なる2つの顔画像に関する照合が行われるとしても、正確に照合(認証)することが可能である。
【0118】
<1-4.本認証処理E2での照合先の調整処理等>
上述のように、この実施形態においては、予備認証処理E1は、所定時間間隔で随時実行される。そして、予備認証処理E1で仮認証(予備認証)された人物に関する情報は、随時、第1認証成功データベース32Bに追加登録される。また、本認証処理E2は、ゲート91に新たな人物が到来するたびに随時実行される。
【0119】
本認証処理E2は、第1認証成功データベース32Bに登録された顔画像情報(予備認証処理E1にて認証された人物の顔画像に関する顔画像情報)を照合先として実行される。ここにおいて、第1認証成功データベース32Bに登録されている人物の数は、最小限であることが好ましい。すなわち、本認証処理E2での照合先は、最小限であることが好ましい。
【0120】
それ故、或る本認証処理E2にて認証済み人物は、次の本認証処理E2における照合先から除外されることが好ましい。
【0121】
たとえば、予備認証処理E1にて複数の人物U1~U5が認証され、当該複数の人物U1~U5のうちの人物U1を照合元人物とする本認証処理E2によって人物U1が認証された状況を想定する。その後、別の人物U2を照合元人物とする新たな第2認証処理を実行する際には、当該新たな第2認証処理における照合先人物から人物U1を除外することが好ましい。
【0122】
そこで、コントローラ31は、或る本認証処理E2にて人物U1を認証(本認証)する(ステップS23(
図11))と、本認証された当該人物U1の情報(顔画像情報等)を第1認証成功データベース32Bから削除する(ステップS24(
図11))。具体的には、当該人物U1の顔画像120(あるいは320)、当該顔画像の特徴量データ、および当該人物U1の登録者ID等を第1認証成功データベース32Bから削除する。これによれば、新たな本認証処理E2(人物U1とは別の人物U2を照合元人物とする本認証処理E2)に用いる照合先人物から、先の第2認証処理(人物U1を照合元人物とする本認証処理E2)にて認証済みの人物U1が除外される。したがって、本認証処理E2における照合先人物が適切に絞り込まれ、本認証処理E2における処理時間を低減することが可能である。
【0123】
また、第1認証成功データベース32Bに登録された顔画像情報のうち、その登録時点から所定期間が経過した顔画像情報は、本認証処理E2における照合先から除外されることが好ましい。
【0124】
たとえば、予備認証処理E1にて複数の人物U1~U5が認証され、人物U3を照合元人物とする本認証処理E2によって人物U3が認証され、その後、別の人物U4を照合元人物とする新たな本認証処理E2を実行する状況を想定する。このような状況において、予備認証処理E1によって人物U5が認証されてから所定期間(たとえば数十秒)が経過している場合、当該人物U5は予備認証処理E1による検出後(仮認証後)に別の場所に移動している可能性が高い。それ故、当該新たな第2認証処理における照合先人物から人物U5を除外することが好ましい。換言すれば、第1認証処理によって認証された人物U5が第1認証成功データベース32Bに登録されてから、所定期間(たとえば数十秒)が経過すると、当該新たな第2認証処理における照合先人物から人物U5が除外されることが好ましい。
【0125】
そこで、コントローラ31は、予備認証処理E1で認証された人物のうち第1認証成功データベース32Bへの登録時点から所定期間が経過した人物U5の情報(詳細には、当該人物U5の顔画像に関する顔画像情報等)を、第1認証成功データベース32Bから削除する(ステップS25)。
【0126】
これによれば、予備認証処理E1での検出後に別の場所に移動するなどしてその検出時点(仮認証時点)から所定期間が経過しても本認証処理E2で本認証されることなく残っている人物U5は、本認証処理E2の照合先人物から除外される。したがって、本認証処理E2における照合先人物が適切に絞り込まれ、処理時間を低減することが可能である。
【0127】
<1-5.変形例等>
なお、上記実施形態においては、或る本認証処理E2の前に、複数の予備撮影画像110に対する
図10の処理(1対多認証処理等)が並列的に実行される(
図18参照)。そして、複数の1対多認証の処理結果(複数の1対多認証で仮認証された人物に関する顔画像情報)に基づいて当該或る本認証処理E2が実行される。たとえば、人物U2の本認証処理E2は、各時刻T11~T16の予備撮影画像110に基づく予備認証処理E1で認証された人物の顔画像情報を照合先として実行される。これによれば、本認証処理E2で認証されるべき認証対象人物に対する予備認証処理E1を、当該本認証処理E2の前に一層確実に行っておくことが可能である。
【0128】
しかしながら、本発明は、これに限定されない。たとえば、
図19に示されるように、予備撮影画像110に対する
図10の処理(1対多認証処理等)が(並列的ではなく)逐次的に実行されてもよい。また、或る本認証処理E2(たとえば、人物U1の本認証処理E2)に対して単一の予備撮影画像110に対する
図10の処理の処理結果のみが利用されてもよい。換言すれば、本認証処理E2は、単一の予備撮影画像110に基づく予備認証処理E1で認証された人物(詳細には、当該人物の顔画像に関する顔画像情報)を照合先として実行されてもよい。また、或る予備撮影画像110に対する
図10の処理の処理結果が、複数の本認証処理E2に対して共用されてもよい。たとえば、時点T1にて撮像された予備撮影画像110に基づく予備認証処理E1の処理結果が、人物U1に関する本認証処理E2と次の人物U2に関する本認証処理E2との双方に共用されてもよい。
【0129】
また、上記実施形態等においては、複数の予備撮影画像110が異なるタイミングで撮影されているが、これに限定されない。たとえば、複数の予備撮影画像110が同じタイミングで取得されてもよい。また、上記実施形態においては、複数の予備撮影画像110は、同じ場所を撮影した画像であるが、これに限定されない。たとえば、複数の予備撮影画像110は、互いに隣接する場所を撮影した画像であってもよい。より詳細には、たとえば、カメラ21の視野範囲(あるいはそれよりも広範囲の視野範囲)に相当する範囲を複数台のカメラで分担して撮影した複数の予備撮影画像110が撮影されてもよい。そして、当該複数の予備撮影画像110に基づいて予備認証処理E1が実行されてもよい。
【0130】
また、上記実施形態等においては、入場用サブシステム2について主に説明しているが、退場用サブシステム3も同様である。具体的には、退場用サブシステム3においても、入場用サブシステム2と同様に、予備認証処理E1および本認証処理E2が実行される。詳細には、ゲート91(退場ゲート93)を通過しようとする人物に関する認証処理が実行される。
【0131】
たとえば、退場用サブシステム3における画像処理装置30のコントローラ31は、退場用サブシステム3の本認証処理E2を、退場用サブシステム3の予備認証処理E1によって認証された少なくとも1人の人物に関する顔画像を照合先として実行する。
【0132】
より具体的には、退場用サブシステム3は、独自の第1認証成功データベース32B(入場用サブシステム2用の第1認証成功データベース32Bとは別のデータベース)を有している。そして、退場用サブシステム3のコントローラ31は、退場用サブシステム3の予備認証処理E1による認証処理結果を当該独自の第1認証成功データベース32Bに登録する。換言すれば、入場用サブシステム2の本認証処理E2に関する照合先情報と退場用サブシステム3の本認証処理E2に関する照合先情報とは、互いに異なるデータベースに登録される。
【0133】
そして、退場用サブシステム3においては、当該独自の第1認証成功データベース32Bに登録された顔画像情報(退場用サブシステム3の予備認証処理E1で認証された人物の顔画像に関する顔画像情報)を照合先として、本認証処理E2が実行される。
【0134】
これによれば、各サブシステム2,3の本認証処理E2は、互いに異なるデータベースに登録された独自の照合先情報(顔画像情報)に基づいてそれぞれ実行される。したがって、両サブシステム2,3で第1認証成功データベース32Bを共用する場合に比べて、各サブシステムの本認証処理E2における照合先の数(人物数(顔画像数))をそれぞれ抑制することが可能である。
【0135】
また、上記実施形態等では、入場用サブシステム2と退場用サブシステム3との双方に本発明の思想が適用されているが、これに限定されない。たとえば、両サブシステム2,3の一方(たとえば、入場用サブシステム2)のみに本発明の思想が適用されてもよい。自由退場を認めるシステム等においては、入場用サブシステム2のみに上記思想を適用するようにしてもよい。
【0136】
また、上記実施形態等では、第1認証処理で複数の人物が認証(仮認証)され且つ第2認証処理では当該複数の人物のうちの一の人物が認証(本認証)される態様を主に例示している(
図6および
図7参照)。しかしながら、本発明は、これに限定されない。たとえば、第1認証処理で(常に)単一の人物が認証(仮認証)され且つ第2認証処理でも同じ当該単一の人物が認証(本認証)されてもよい(
図4および
図5参照)。
【0137】
また、上記実施形態では、第1撮影画像110を撮影するカメラ21と第2撮影画像210を撮影するカメラ22とが別個に備えられているが、これに限定されない。1台のカメラで第1撮影画像110と第2撮影画像210との双方が撮影されてもよい。
【0138】
<2.第2実施形態>
上記第1実施形態においては、各サブシステム2,3において単一のゲート91が設けられているが、これに限定されない。たとえば、入場用サブシステム2において複数のゲート91が設けられてもよい。より具体的には、入場用サブシステム2において、同一方向(駅構内へと向かう方向)に進行する複数の人物が並列的に通過することが可能な複数のゲート91(複数の入場ゲート92a,92b,92c等)が設けられてもよい(
図21参照)。そして、当該複数のゲート91のそれぞれについて上述の予備認証処理E1および本認証処理E2が実行されることによって、各ゲート91(92a,92b,92c)を通過しようとする人物の認証処理がそれぞれ実行されてもよい。退場用サブシステム3についても同様である。
【0139】
第2実施形態においては、このような態様について説明する。
【0140】
図20は、第2実施形態に係る画像処理システム1(1B)を示すブロック図である。また、
図21は、第2実施形態に係る入場用サブシステム2(2B)に設けられた複数の入場ゲート92付近を上方から見た図である。なお、
図21では、各カメラ21の視野範囲が両矢印付きの円弧状曲線で示されている。
【0141】
第2実施形態に係る入場用サブシステム2(2B)は、複数の認証装置10(詳細には、3つの認証装置)を備えている。より詳細には、第1ゲート92a用の認証装置10a、第2ゲート92b用の認証装置10b、および第3ゲート92c用の認証装置10cが設けられている。各認証装置10は、それぞれ、第1実施形態の認証装置10(
図3参照)と同様の構成を備えている。
【0142】
各認証装置10(および画像処理装置30等)は、上記第1実施形態と同様の処理をそれぞれ実行してもよい。ただし、この第2実施形態においては、或る認証装置10(たとえば10a)は、別の認証装置10(10b)における予備認証処理E1で認証された人物に関する顔画像情報をも利用して、本認証処理E2を実行する態様を例示する。
【0143】
具体的には、認証装置10aは、入場ゲート92a用のカメラ21で撮影された予備撮影画像110に基づく予備認証処理E1の処理結果のみならず、隣接する入場ゲート92b用のカメラ21で撮影された予備撮影画像110に基づく予備認証処理E1の処理結果をも利用する。
【0144】
詳細には、認証装置10a(詳細にはその画像処理装置30(30a))は、入場ゲート92a用のカメラ21で撮影された予備撮影画像110に基づき、予備認証処理E1を実行する。たとえば、
図21に示されるような状況においては、認証装置10aは、人物U3,U4を含む予備撮影画像110に基づき、予備認証処理E1を実行し、当該人物U3,U4を認証(仮認証)する。そして、認証装置10aは、仮認証された人物U3,U4に関する顔画像情報を、自装置10a用の第1認証成功データベース32Bに登録する。さらに、認証装置10aは、仮認証された人物U3,U4に関する顔画像情報を、隣接する認証装置10b用の第1認証成功データベース32Bにも登録する。
【0145】
同様に、認証装置10c(詳細にはその画像処理装置30(30c))は、入場ゲート92c用のカメラ21で撮影された予備撮影画像110に基づき、予備認証処理E1を実行する。たとえば、
図21に示されるような状況においては、認証装置10cは、人物U5,U6を含む予備撮影画像110に基づき予備認証処理E1を実行し、当該人物U5,U6を認証(仮認証)する。そして、認証装置10cは、仮認証された人物U5,U6に関する顔画像情報を、自装置10c用の第1認証成功データベース32Bに登録する。さらに、認証装置10cは、仮認証された人物U5,U6に関する顔画像情報を、隣接する認証装置10b用の第1認証成功データベース32Bにも登録する。
【0146】
また、認証装置10b(詳細にはその画像処理装置30(30b))は、入場ゲート92b用のカメラ21で撮影された予備撮影画像110に基づき、予備認証処理E1を実行する。たとえば、
図21に示されるような状況においては、認証装置10bは、人物U1,U2を含む予備撮影画像110に基づき予備認証処理E1を実行し、当該人物U1,U2を認証(仮認証)する。そして、認証装置10bは、仮認証された人物U1,U2に関する顔画像情報を、自装置10b用の第1認証成功データベース32Bに登録する。さらに、認証装置10bは、仮認証された人物U1,U2に関する顔画像情報を、隣接する認証装置10a用の第1認証成功データベース32Bと、隣接する他の認証装置10c用の第1認証成功データベース32Bとにも登録する。
【0147】
この結果、認証装置10a用の第1認証成功データベース32Bには、人物U1~U4に関する顔情報が登録され、認証装置10b用の第1認証成功データベース32Bには、人物U1~U6に関する顔情報が登録される。また、認証装置10c用の第1認証成功データベース32Bには、人物U1,U2,U5,U6に関する顔情報が登録される。
【0148】
その後、認証装置10aは、入場ゲート92a用のカメラ22で撮影された本撮影画像210に基づき本認証処理E2を実行する。より具体的には、認証装置10aは、自装置10aの第1認証成功データベース32Bに登録されている顔画像情報を照合先として照合処理を実行する。ここにおいて、上述のように、認証装置10aの第1認証成功データベース32Bには、自装置10aの予備認証処理E1で認証された人物の顔画像情報のみならず、隣接する認証装置10bの予備認証処理E1で認証された人物の顔画像情報もが登録されている。
【0149】
たとえば、
図21に示されるような状況において、認証装置10aは、人物U3を含む本撮影画像210に基づき本認証処理E2を実行し、当該人物U3を認証(本認証)する。その後、次の本撮影画像210の撮影タイミングの待機中に、ゲート92bの待ち行列に並んでいた人物U2が、急に進路を変更しゲート92aに向けて移動することが考えられる。この場合、当該人物U2を含む本撮影画像210が入場ゲート92aのカメラ22にて撮影され、本認証処理E2内の人物U2を照合元とする認証処理が実行される。この際、当該本認証処理E2の照合先の人物には、隣接する認証装置10bの予備認証処理E1で仮認証された人物U1,U2もが含まれている。この結果、当該本認証処理E2において人物U2を適切に認証することが可能である。
【0150】
このように、入場ゲート92aを通過しようとする人物U2を撮影した本撮影画像210に基づく本認証処理E2は、当該本撮影画像210内の人物U2の顔画像に関する顔画像情報を照合元として実行される。特に、当該本認証処理E2は、入場ゲート92aに関する予備認証処理E1で認証された人物U3,U4の顔画像に関する顔画像情報のみならず、隣接する入場ゲート92bに関する予備認証処理E1で認証された人物U1,U2の顔画像に関する顔画像情報をもを照合先として実行される。すなわち、当該本認証処理E2は、両ゲート92a,92bに関する2つの予備認証処理E1の双方で認証された人物(U3,U4,U1,U2)の顔画像情報を照合先として実行される。
【0151】
仮に、各認証装置10が独立して自装置での予備認証処理E1のみを利用して本認証処理E2を実行する場合、急激に進路を変更した人物U2は、入場ゲート92aに関する予備認証処理E1では仮認証されていないことがある。ひいては、本認証処理E2において人物U2を認証できない可能性がある。
【0152】
これに対して、この第2実施形態によれば、隣接する認証装置10bでの予備認証処理E1の処理結果に係る顔画像情報(具体的には、隣の入場ゲート92bの待ち行列に並んでいた人物U2の顔画像情報)もが、ゲート92aに関する本認証処理E2の照合先に含められる。したがって、ゲート92aに関する本認証処理E2において人物U2を認証できない事態を回避することが可能である。
【0153】
また、ゲート92cの待ち行列に並んでいた人物U6が、急に進路を変更しゲート92bに向けて移動し、当該人物U6を含む本撮影画像210に基づく本認証処理E2が認証装置10bで実行される場合も、同様である。この場合、隣接する認証装置10cでの予備認証処理E1の処理結果に係る顔画像情報(具体的には、入場ゲート92cの待ち行列に並んでいた人物U6の顔画像情報)もが照合先に含められる。したがって、ゲート92bに関する本認証処理E2において人物U6を認証できない事態を回避することが可能である。
【0154】
なお、ここでは、各認証装置10がゲート91ごとに設けられているが、これに限定されない。たとえば、複数のゲート91のそれぞれに対する予備認証処理E1および本認証処理E2が単一の認証装置10によって実行されてもよい。また、その場合において、上記と同様に、各ゲート用に個別の第1認証成功データベース32Bが設けられ、或るゲートに関する本認証処理E2が、隣接するゲートに関する予備認証処理E1で認証された人物の顔画像情報をも照合先に加えて実行されてもよい。
【0155】
また、ここでは、入場用サブシステム2(2B)について主に説明したが、退場用サブシステム3(3B)についても同様である。
【0156】
<3.第3実施形態>
第3実施形態は、第2実施形態の変形例である。以下では、第2実施形態との相違点を中心に説明する。なお、第2実施形態と同様に、入場用サブシステム2について主に説明する。
【0157】
第3実施形態においても、同一方向に進行する複数の人物が並列的に(ほぼ同時に)通過することが可能な複数のゲート91(複数の入場ゲート92a,92b,92c等)が設けられる(
図24参照)。
【0158】
ただし、この第3実施形態では、第2実施形態にて複数のゲート91に個別に設けられていた複数のカメラ21の代わりに、複数のゲート91に共通のカメラ23が設けられる(
図24参照)。また、各ゲート91向けの予備認証処理E1は、各ゲート単位で行われるのではなく、当該複数のゲート91に共通して実行される。
【0159】
図22は、第3実施形態に係る画像処理システム1(1C)を示すブロック図である。また、
図23は、第3実施形態に係る認証装置10を示すブロック図である。
図23に示されるように、各認証装置10は、本撮影画像210を撮像するカメラ22を有するものの、予備撮影画像110を撮像するカメラ21を有しない。
図22に示されるように、予備撮影画像110を撮影するカメラ23が、入場用サブシステム2(2C)の複数の認証装置10(10a,10b,10c)に対して共通に設けられる。そして、当該カメラ23によって撮影された予備撮影画像110に基づく共通の予備認証処理E1が、複数の認証装置10(10a,10b,10c)のうちの一の認証装置10aによって実行される。
【0160】
また、各認証装置10は、個別の第1認証成功データベース32Bを有しない(
図23参照)。当該共通の予備認証処理E1によって認証された人物の顔画像情報は、入場用サブシステム2(2C)における共通の第1認証成功データベース38(
図22参照)に登録(記憶)される。なお、当該共通の第1認証成功データベース38(
図22参照)は、サーバ装置等に設けられればよい。ただし、これに限定されず、一の認証装置10a内に設けられてもよい。
【0161】
第3実施形態においても、同一方向に進行する複数の人物が並列的に通過することが可能な複数のゲート91のそれぞれについて予備認証処理E1および本認証処理E2が実行される。これによって、各ゲート91を通過しようとする人物の認証処理がそれぞれ実行される。ただし、各ゲート91に関する予備認証処理E1は、複数のゲート91に向かう複数の人物を撮影した共通の予備撮影画像110内の顔画像を照合元とし、当該複数のゲートに共通する処理として実行される。
【0162】
たとえば、
図24に示される状況においては、次のような処理が実行される。
【0163】
まず、共通の予備撮影画像110がカメラ23によって取得される。カメラ23は、たとえば広角レンズ等を備えて構成され、広い視野範囲を有している。当該共通の予備撮影画像110によって複数の人物U1~U6が撮影されると、当該共通の予備撮影画像110に基づく共通の予備認証処理E1が実行される。なお、共通の予備認証処理E1は、複数のゲート91のそれぞれについての予備認証処理E1でもあるとも表現される。
【0164】
そして、共通の予備認証処理E1によって複数の人物U1~U6が仮認証されると、当該人物U1~U6に関する顔画像情報が共通の第1認証成功データベース38に登録される。
【0165】
その後、各ゲート91に関する本認証処理E2は、当該各ゲートを通過しようとする各人物を、予備撮影画像110の撮影タイミングよりも後のタイミングで撮影した各本撮影画像210の各顔画像に関する顔画像情報を照合元として実行される。当該各本認証処理E2は、各ゲート91に固有の処理として実行される。より具体的には、各ゲート91に関する本認証処理E2は、当該各ゲート91に対応する認証装置10によってそれぞれ実行される。また、当該各ゲート91に関する本認証処理E2は、複数のゲート91に共通する予備認証処理E1で認証された複数の人物U1~U6の顔画像に関する顔画像情報を照合先として実行される。
【0166】
この第3実施形態では、複数のゲート91に対して共通の予備認証処理E1が実行される。したがって、複数のゲート91に関して個別の予備認証処理E1が実行される場合に比べて重複処理を回避することが可能である。それ故、システム全体(少なくともサブシステム全体)として処理の効率化を図ることが可能である。
【0167】
また、たとえば、入場ゲート92aを通過しようとする人物U3の本認証処理E2が完了した後に、ゲート92bの待ち行列に並んでいた人物U2が、急に進路を変更しゲート92aに向けて移動し、当該人物U2を含む本撮影画像210に基づく本認証処理E2が認証装置10aで実行されることがある。ここにおいて、広い視野角を有する共通のカメラ23によって複数のゲート91に進入する可能性のある複数の人物U1~U6の全てが予備撮影画像110にて撮影されている。そして、当該予備撮影画像110に基づく予備認証処理E1によって当該複数の人物U1~U6が認証され、当該複数の人物U1~U6の顔画像情報が第1認証成功データベース38に登録されている。さらに、各ゲートに関する本認証処理E2は、第1認証成功データベース38に登録された複数の人物U1~U6の顔画像情報を照合先として実行される。したがって、複数のゲート91のうちの一のゲートから別のゲートへと向かって急に進路を変更した人物U2を認証対象人物とする本認証処理E2においても、当該人物U2を適切に認証することが可能である。
【0168】
なお、上記においては、カメラ23によって撮影された予備撮影画像110に基づく共通の予備認証処理E1が、複数の認証装置10のうちの一の認証装置10aによって実行されているが、これに限定されない。たとえば、当該共通の予備認証処理E1は、複数の認証装置10とは別に設けられた装置(たとえば、共通の予備認証処理E1のみを実行する専用装置等)によって実行されてもよい。
【0169】
また、ここでは、各認証装置10がゲート91ごとに設けられているが、これに限定されない。たとえば、複数のゲート91のそれぞれに関する各本認証処理E2もが単一の認証装置10(例えば10a)によって実行されてもよい。
【0170】
また、ここでは、入場用サブシステム2(2C)について主に説明したが、退場用サブシステム3(3C)についても同様である。
【0171】
<4.第4実施形態>
上記各実施形態においては、入場用サブシステム2等に対して本発明の思想が適用される態様が例示されているが、これに限定されない。たとえば、パーソナルコンピュータ(PC)の利用者の離席等を管理する離席管理システムに対して本発明の思想が適用されてもよい。第4実施形態では、このような態様について説明する。
【0172】
この離席管理システムにおいては、利用者の離席を検知することが可能であるとともに、当該利用者の同一性を確認することが可能である。具体的には、たとえば、利用者が途中で入れ替わっていないか(真の利用者の離席中に別の利用者が当該PCを利用していないか等)を定期的に確認することが可能である。利用者の同一性検知等に本発明の思想が適用される。
【0173】
第4実施形態では、第1認証処理E1としてログイン認証処理が行われ、第2認証処理E2として定期的な確認認証処理が行われる。
【0174】
図25は、第4実施形態に係る画像処理システム1(詳細には、離席管理システム1D)を示す図である。離席管理システム1Dは、認証装置10Dを備えている。
【0175】
認証装置10Dは、第1実施形態の認証装置10と同様の構成を備えている。ただし、認証装置10Dは、カメラを有していない。
【0176】
認証装置10Dは、遠隔地のパーソナルコンピュータ60とネットワーク通信を行うことが可能である。認証装置10Dは、パーソナルコンピュータ60から或るシステム(ネットワーク上の別システム)へのログイン要求(ネットワーク経由のログイン要求)を受け付け、当該ログイン要求に対する認証処理(顔画像による認証処理)を行うことが可能である。
【0177】
パーソナルコンピュータ60は、CPU等を有するコントローラ61と、カメラ63を有する撮影部62と、他の装置との間でネットワーク通信等を行う通信部64とを備えている。
【0178】
たとえば、認証装置10Dはサーバ装置として実現され、パーソナルコンピュータ60はクライアント装置として実現される。
【0179】
認証装置10Dは、パーソナルコンピュータ60からのログイン要求(ネットワーク経由のログイン要求)に応じて第1認証処理E1を実行する(
図26の最も左側の部分参照)。具体的には、ログイン要求時点で、パーソナルコンピュータ60のカメラ63によって、パーソナルコンピュータ60の前に存在する人物(利用者)U1の撮影画像110が撮影される。そして、撮影画像110がパーソナルコンピュータ60から認証装置10Dに送信され、当該認証装置10Dは、当該撮影画像110に基づき第1認証処理E1を実行する。具体的には、撮影画像110から抽出された人物U1の顔情報を予め登録された多数(N人)の人物(離席管理システムの多数の登録ユーザ)の顔画像情報と照合する認証処理(1対N認証処理)によって、当該人物U1が認証される。そして、人物U1のログインが許可される。また、第1認証処理E1にて認証された人物U1の顔画像情報は、第1認証成功データベース32Bに登録される。
【0180】
その後、定期的に(たとえば数秒~数十秒ごとに)、第2認証処理E2等が実行される(
図26の中央部分参照)。具体的には、パーソナルコンピュータ60のカメラ63によって、パーソナルコンピュータ60の前にその各時点で存在する人物U1の撮影画像210が撮影される。そして、撮影画像210がパーソナルコンピュータ60から認証装置10Dに送信され、当該認証装置10Dは、当該撮影画像210に基づき第2認証処理E2を実行する。具体的には、撮影画像210から抽出された人物U1の顔情報を、第1認証処理E1にて認証された人物U1の顔画像情報(第1認証成功データベース32Bに登録された顔画像情報)と照合する認証処理(1対1認証処理)によって、当該人物U1が認証される。なお、この実施形態では、第1撮影画像110と第2撮影画像210とは同じカメラ63で撮影される。
【0181】
このような処理によれば、第2認証処理E2では1対多認証ではなく1対1認証が行われるので、第2認証処理E2での認証処理時間は非常に短くて済む。換言すれば、認証装置10Dの処理負荷を低減することが可能である。
【0182】
なお、定期的な第2認証処理E2において、人物U1以外の人物(U2等)を撮影した撮影画像210に基づき、当該人物U2を照合元とする照合処理が行われると、人物U1の認証処理に失敗する。具体的には、本来の人物U1以外の人物U2がパーソナルコンピュータ60の前に存在すると判定される(
図26の右側部分参照)。この場合、認証装置10Dは、パーソナルコンピュータ60に関する強制的なログアウト処理を実行する。
【0183】
このように、まず第1認証処理として初期認証処理(ログイン認証処理)が行われ、その後に第2認証処理として確認認証処理(定期的な確認認証処理)が行われる。このような態様によっても、第2認証処理において迅速な処理を実現することが可能である。
【0184】
なお、上記第4実施形態においては、ネットワークを介した別システム(パーソナルコンピュータ60の外部システム)へのログインを伴う態様を例示したがこれに限定されない。
【0185】
たとえば、パーソナルコンピュータ60自体へのログイン処理(初期認証処理)およびそれに引き続く定期的な確認処理(利用者同一性確認処理)に上記の思想を適用してもよい。具体的には、上記第4実施形態の認証装置10Dにて実行されていた各種処理がパーソナルコンピュータ60にて実行されればよい。
【0186】
あるいは、他のシステムにおいて上記の思想を適用してもよい。たとえば、患者側サブシステムを備えるAI診断システムにおいて、患者の認証処理に本発明の思想が適用されてもよい。特に、第4実施形態に係る認証装置10Dと同様の認証装置10と、患者が利用するパーソナルコンピュータ60との間で、上記第4実施形態と同様の処理が行われればよい。より具体的には、まず第1認証処理E1として初期認証処理(患者の初期認証処理)が行われ、その後に第2認証処理E2として確認認証処理(患者の定期的な同一性認証処理)が行われてもよい。これによれば、第2認証処理において迅速な処理を実現することが可能である。
【0187】
<5.その他>
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0188】
たとえば、上記各実施形態等におけるゲートは、駅、空港、劇場等に設けられる通路型(通路開閉型)のゲート装置に限定されず、部屋等の出入口に設けられる扉(ドア)の施錠および/または解錠等を伴って扉(ドア)を開閉するドア開閉型(施解錠型)のゲート装置等であってもよい。換言すれば、入場ゲートは、部屋等(所定領域)に入場するためのドア開閉型のゲート装置等であってもよく、退場ゲートは、部屋等(所定領域)から退場するためのドア開閉型のゲート装置等であってもよい。
【符号の説明】
【0189】
1 画像処理システム
2 入場用サブシステム
3 退場用サブシステム
10 認証装置
21,22,23 カメラ
30 画像処理装置
32A 利用者登録データベース
32B,38 第1認証成功データベース
60 パーソナルコンピュータ
63 カメラ
91 ゲート装置
92 入場ゲート装置
93 退場ゲート装置
110 第1撮影画像(予備撮影画像)
120,121~125,220 顔画像
210 第2撮影画像(本撮影画像)
320 テンプレート顔画像
E1 第1認証処理(予備認証処理)
E2 第2認証処理(本認証処理)