IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7548306画像提供装置、画像提供システム、画像提供方法及び画像提供プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】画像提供装置、画像提供システム、画像提供方法及び画像提供プログラム
(51)【国際特許分類】
   H04N 5/77 20060101AFI20240903BHJP
   H04N 5/92 20060101ALI20240903BHJP
   H04N 5/93 20060101ALI20240903BHJP
   H04N 23/60 20230101ALI20240903BHJP
【FI】
H04N5/77
H04N5/92 010
H04N5/93
H04N23/60 300
【請求項の数】 24
(21)【出願番号】P 2022530431
(86)(22)【出願日】2020-06-10
(86)【国際出願番号】 JP2020022860
(87)【国際公開番号】W WO2021250817
(87)【国際公開日】2021-12-16
【審査請求日】2022-11-30
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】田川 理沙
(72)【発明者】
【氏名】平本 憲由
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2015-128259(JP,A)
【文献】特開2013-041416(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/76 - 5/956
H04N 23/40 - 23/76
(57)【特許請求の範囲】
【請求項1】
複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序に従って順番に表示させ出力する出力手段と、
を備える画像提供装置。
【請求項2】
前記2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
前記出力手段は、前記2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
請求項1に記載の画像提供装置。
【請求項3】
前記特定画像に含まれる前記ユーザの顔領域に対する顔認証を制御する認証制御手段
前記顔認証に成功した場合に、前記2以上の地点撮影画像を特定する特定手段と、
をさらに備える請求項1又は2に記載の画像提供装置。
【請求項4】
前記認証制御手段は、
複数の人物の顔特徴情報を記憶した認証装置を用いて前記顔認証を制御する
請求項3に記載の画像提供装置。
【請求項5】
前記記憶手段は、複数の人物の顔特徴情報を記憶し、
前記認証制御手段は、前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報と、前記記憶手段に記憶された顔特徴情報とを照合することにより前記顔認証を制御する
請求項3に記載の画像提供装置。
【請求項6】
前記認証制御手段は、
前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域に対する前記顔認証を制御し、
前記登録手段は、
前記顔認証に成功した地点における撮影画像と前記撮影時刻とを対応付けて前記記憶手段に登録する、
請求項3乃至5のいずれか1項に記載の画像提供装置。
【請求項7】
前記特定手段は、
前記特定の地点において前記顔認証に成功し、かつ、前記複数の地点のうち前記顔認証に成功していた地点が所定数以上である場合、前記地点撮影画像を特定する
請求項6に記載の画像提供装置。
【請求項8】
前記登録手段は、
前記複数の地点のうち第1の地点において撮影された第1の撮影画像から前記ユーザの第1の顔特徴情報を抽出し、当該第1の撮影画像と当該第1の顔特徴情報と当該第1の撮影画像が撮影された第1の時刻とを対応付けて前記記憶手段に登録し、
前記複数の地点のうち第2の地点において、前記第1の撮影画像の後に撮影された第2の撮影画像から前記ユーザの第2の顔特徴情報を抽出し、当該第2の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、当該第2の撮影画像と当該第2の撮影画像が撮影された第2の時刻とを前記第1の顔特徴情報と対応付けて前記記憶手段に登録し、
前記認証制御手段は、
前記特定画像に含まれる前記ユーザの顔領域から抽出された第3の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、前記顔認証に成功したと判定し、
前記特定手段は、
前記顔認証に成功した場合、前記複数の撮影画像の中から、前記第1の顔特徴情報と対応付けられた前記第1の撮影画像及び前記第2の撮影画像のそれぞれを前記地点撮影画像として特定する
請求項3に記載の画像提供装置。
【請求項9】
前記登録手段は、
各地点における前記ユーザの行動履歴を、地点に対応する撮影画像と対応付けて前記記憶手段に登録し、
前記特定手段は、
前記特定の地点において前記顔認証に成功し、かつ、前記行動履歴が第1の条件を満たす場合、前記地点撮影画像を特定する
請求項3乃至8のいずれか1項に記載の画像提供装置。
【請求項10】
前記第1の条件は、前記ユーザによる決済履歴が所定金額以上であることを含む
請求項9に記載の画像提供装置。
【請求項11】
前記特定手段は、
前記顔認証に成功した場合、前記ユーザの属性情報を特定し、
前記特定した属性情報が第2の条件を満たす場合、前記地点撮影画像を特定する
請求項3乃至10のいずれか1項に記載の画像提供装置。
【請求項12】
前記登録手段は、
前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域から顔特徴情報を抽出し、当該抽出した顔特徴情報と抽出元の撮影画像と当該撮影画像の撮影時刻とを対応付けて前記記憶手段に登録し、
前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報との一致度が所定値以上の顔特徴情報と対応付けられた撮影画像を前記地点撮影画像として特定する特定手段をさらに備える
請求項1又は2に記載の画像提供装置。
【請求項13】
前記記憶手段は、
前記複数の地点のそれぞれへの第1のアクセス情報をさらに記憶し、
前記生成手段は、
前記地点撮影画像が撮影された地点における前記第1のアクセス情報を前記記憶手段から取得し、
前記地点撮影画像に前記取得した第1のアクセス情報を組み込んで前記合成画像を生成する
請求項2又は請求項2を引用する請求項3乃至12のいずれか1項に記載の画像提供装置。
【請求項14】
前記出力手段は、
前記合成画像を当該合成画像の保存先へ出力し、
前記生成手段は、
前記合成画像の保存先を示す第2のアクセス情報を生成し、
前記出力手段は、
前記第2のアクセス情報を前記ユーザに対して提示する
請求項2又は請求項2を引用する請求項3乃至13のいずれか1項に記載の画像提供装置。
【請求項15】
前記特定の地点は、空港の搭乗ゲートである
請求項1乃至14のいずれか1項に記載の画像提供装置。
【請求項16】
前記特定の地点は、テーマパークの出口である
請求項1乃至14のいずれか1項に記載の画像提供装置。
【請求項17】
前記出力手段は、
第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を非表示、かつ、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
請求項1乃至16のいずれか1項に記載の画像提供装置。
【請求項18】
前記出力手段は、
第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を表示させたままで当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
請求項1乃至16のいずれか1項に記載の画像提供装置。
【請求項19】
複数の地点のそれぞれに設置された複数の第1の撮影装置と、
特定の地点に設置された第2の撮影装置と、
前記複数の第1の撮影装置並びに前記第2の撮影装置と接続された画像提供装置と、
を備え、
前記画像提供装置は、
記憶手段と、
所定のユーザが前記複数の第1の撮影装置のそれぞれにより撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて前記記憶手段に登録する登録手段と、
前記第2の撮影装置により前記ユーザが撮影された第1の画像を取得する取得手段と、
前記複数の撮影画像の中から、前記第2の撮影装置により前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序に従って順番に表示させ出力する出力手段と、
を備える画像提供システム。
【請求項20】
コンピュータが、
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序に従って順番に表示させ出力する、
画像提供方法。
【請求項21】
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序に従って順番に表示させ出力する出力処理と、
をコンピュータに実行させる画像提供プログラム。
【請求項22】
複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
を備え、
前記出力手段は、第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
画像提供装置。
【請求項23】
コンピュータが、
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序で表示させるように出力する、
画像提供方法であって、
第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
画像提供方法。
【請求項24】
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力処理と、
をコンピュータに実行させ、
前記出力処理は、第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
画像提供プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体に関し、特に、画像提供を行うための画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
特許文献1には、複数の地点を訪問することで目的を達成するいわゆるスタンプラリー(ポイントラリー)において、各地点に設置されたカメラで顔認証を行うことにより各地点での訪問の確証とする技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2013-41416号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、特許文献1に開示された技術では、スタンプラリーの活用が不十分であった。例えば、各地点を訪問した記録をユーザに提供することができなかった。
【0005】
本開示は、このような問題点を解決するためになされたものであり、各地点を実際に訪問したユーザに対して各地点の訪問を記録した画像を提供するための画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の第1の態様にかかる画像提供装置は、
複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
を備える。
【0007】
本開示の第2の態様にかかる画像提供システムは、
複数の地点のそれぞれに設置された複数の第1の撮影装置と、
特定の地点に設置された第2の撮影装置と、
前記複数の第1の撮影装置並びに前記第2の撮影装置と接続された画像提供装置と、
を備え、
前記画像提供装置は、
記憶手段と、
所定のユーザが前記複数の第1の撮影装置のそれぞれにより撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて前記記憶手段に登録する登録手段と、
前記第2の撮影装置により前記ユーザが撮影された第1の画像を取得する取得手段と、
前記複数の撮影画像の中から、前記第2の撮影装置により前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
を備える。
【0008】
本開示の第3の態様にかかる画像提供方法は、
コンピュータが、
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定し、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する。
【0009】
本開示の第4の態様にかかる画像提供プログラムが格納された非一時的なコンピュータ可読媒体は、
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定処理と、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力処理と、
をコンピュータに実行させる。
【発明の効果】
【0010】
本開示により、各地点を実際に訪問したユーザに対して各地点の訪問を記録した画像を提供するための画像提供装置、画像提供システム、画像提供方法及び非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【0011】
図1】本実施形態1にかかる画像提供装置の構成を示すブロック図である。
図2】本実施形態1にかかる画像提供方法の流れを示すフローチャートである。
図3】本実施形態2にかかる画像提供システムの全体構成を示すブロック図である。
図4】本実施形態2にかかる認証装置の構成を示すブロック図である。
図5】本実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。
図6】本実施形態2にかかる顔認証処理の流れを示すフローチャートである。
図7】本実施形態2にかかる顔認証端末の構成を示すブロック図である。
図8】本実施形態2にかかるユーザ端末の構成を示すブロック図である。
図9】本実施形態2にかかる画像提供装置の構成を示すブロック図である。
図10】本実施形態2にかかる撮影画像登録処理の流れを示すフローチャートである。
図11】本実施形態2にかかる画像提供処理の流れを示すフローチャートである。
図12】本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。
図13】本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。
図14】本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。
図15】本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。
図16】本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。
図17】本実施形態2にかかる地点撮影画像の撮影時刻に従った表示例を示す図である。
図18】本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。
図19】本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。
図20】本実施形態2にかかるダウンロード案内画面の例を示す図である。
図21】本実施形態2にかかる合成画像の例を示す図である。
図22】本実施形態3にかかる画像提供システムの全体構成を示すブロック図である。
図23】本実施形態3にかかる画像提供装置の構成を示すブロック図である。
図24】本実施形態3にかかる撮影画像登録処理(顔特徴情報の登録)の流れを示すフローチャートである。
図25】本実施形態3にかかる画像提供処理の流れを示すフローチャートである。
図26】本実施形態4にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。
図27】本実施形態5にかかる画像提供装置の構成を示すブロック図である。
図28】本実施形態5にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0013】
<実施形態1>
図1は、本実施形態1にかかる画像提供装置10の構成を示すブロック図である。画像提供装置10は、複数の地点のそれぞれにおいて自身を含む撮影を行ったユーザに対して、各地点での撮影画像をまとめた合成画像を特定の地点において提供するための情報処理装置である。ここで、画像提供装置10は、ネットワーク(不図示)に接続される。ネットワークは、有線であっても無線であってもよい。また、当該ネットワークには、各地点に設置された撮影装置(不図示)と接続されている。尚、撮影装置は、顔認証端末、カメラ付きのデジタルサイネージ等であっても良い。
【0014】
画像提供装置10は、記憶部11と、登録部12と、特定部13と、生成部14と、出力部15とを備える。記憶部11は、撮影画像を記憶するための記憶領域である。登録部12は、複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶部11に登録する。特定部13は、複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する。尚、特定の地点は、複数の地点に含まれていてもいなくてもよい。生成部14は、特定した2以上の地点撮影画像を含めた合成画像を生成する。ここで、合成画像は、各地点撮影画像が個別に識別可能に合成された画像とする。また、合成画像は、所定のテンプレートと各地点撮影画像とが合成された画像であってもよい。出力部15は、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力し、その後、合成画像を出力する。尚、地点撮影画像及び合成画像の出力先は、例えば、特定の地点に設置された顔認証端末、デジタルサイネージ、画像保存サーバ、又は、ユーザが所持する情報処理端末等である。
【0015】
図2は、本実施形態1にかかる画像提供方法の流れを示すフローチャートである。まず、登録部12は、複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶部11に登録する(S11)。次に、特定部13は、複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する(S12)。そして、生成部14は、特定した地点撮影画像を含めた合成画像を生成する(S13)。そして、出力部15は、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力する(S14)。その後、出力部15は、合成画像を出力する(S15)。
【0016】
このように、本実施形態により、各地点を実際に訪問したユーザに対して各地点の訪問の記録である(各地点で撮影された)撮影画像を含む画像を提供することができる。例えば、観光地の各地点を訪問したユーザは、現地でしか取れない撮影画像を自動的に集約した画像を帰りの地点において取得できる。特に、ユーザは、各地点で自身が撮影された撮影画像(地点撮影画像)を撮影時刻の順序に従って見ることができ、旅の思い出を効果的に振り返ることができる。
【0017】
尚、本実施形態1において、生成部14は必須ではない。その場合、出力部15は、合成画像の出力を行わない。また、この場合、図2のステップS13及びS15は行われない。
【0018】
尚、画像提供装置10は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態にかかる画像提供方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、登録部12、特定部13、生成部14及び出力部15の機能を実現する。
【0019】
または、登録部12、特定部13、生成部14及び出力部15は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)等を用いることができる。
【0020】
また、画像提供装置10の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、画像提供装置10の機能がSaaS(Software as a Service)形式で提供されてもよい。
【0021】
<実施形態2>
実施形態2は、上述した実施形態1の具体例である。図3は、本実施形態2にかかる画像提供システム1000の全体構成を示すブロック図である。画像提供システム1000は、認証装置100、画像提供装置200、画像保存サーバ300、顔認証端末400~40n(nは2以上の自然数。)及びユーザ端末500を備える。認証装置100、画像提供装置200、画像保存サーバ300、顔認証端末400~40n及びユーザ端末500のそれぞれは、ネットワークNを介して接続されている。ここで、ネットワークNは、有線又は無線の通信回線である。
【0022】
また、顔認証端末400、401、402、・・・40nのそれぞれは、地点A0、A1、A2、・・・Anに設置されている。ここで、地点A0~Anは、ある地域Aにおける異なる観光スポットであるとする。また、地点A0~Anは、地域Aにおける顔認証によるスタンプラリーのチェックポイントとする。そのため、ユーザUは、地点A0を出発地点として、A1~An-1を訪問し、地点Anを最終地点とする。ここで、地点Anは、「特定の地点」であるものとする。例えば、地点Anは、顔認証によるスタンプラリーの最終目的地とする。また、例えば、地点Anは、空港の搭乗ゲート又はテーマパークの出口であってもよい。または、地点Anは、空港の搭乗口であってもよい。つまり、顔認証端末40nは、空港の搭乗ゲート前や搭乗口前その他空港施設内に設置されたデジタルサイネージ等であってもよい。そして、ユーザUは、地点A0において自身の顔情報を登録し、地点A1~An-1で顔認証端末を用いて記念撮影を行い、地点Anにおいて顔認証に成功した場合、各地点の撮影画像を撮影順序に従った表示を見て、その後、集約した合成画像を取得できるものとする。尚、顔情報の登録は、ユーザUが希望する任意の顔認証端末又はユーザ端末500で行っても良い。
【0023】
認証装置100は、複数の人物の顔特徴情報を記憶する情報処理装置である。また、認証装置100は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行い、照合結果(認証結果)を要求元へ返信する。
【0024】
図4は、本実施形態2にかかる認証装置100の構成を示すブロック図である。認証装置100は、顔情報DB(DataBase)110と、顔検出部120と、特徴点抽出部130と、登録部140と、認証部150とを備える。顔情報DB110は、ユーザID111と当該ユーザIDの顔特徴情報112とを対応付けて記憶する。顔特徴情報112は、顔画像から抽出された特徴点の集合である。尚、認証装置100は、顔特徴情報112の登録ユーザからの要望に応じて、顔特徴DB110内の顔特徴情報112を削除してもよい。または、認証装置100は、顔特徴情報112の登録から一定期間経過後に削除してもよい。
【0025】
顔検出部120は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部130に出力する。特徴点抽出部130は、顔検出部120が検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を出力する。また、特徴点抽出部130は、画像提供装置200から受信した顔画像に含まれる特徴点を抽出し、認証部150に顔特徴情報を出力する。
【0026】
登録部140は、顔特徴情報の登録に際して、ユーザID111を新規に発行する。登録部140は、発行したユーザID111と、登録画像から抽出した顔特徴情報112とを対応付けて顔情報DB110へ登録する。認証部150は、顔特徴情報112を用いた顔認証を行う。具体的には、認証部150は、顔画像から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との照合を行う。認証部150は、顔特徴情報の一致の有無を画像提供装置200に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する(一致有)とは、一致度が所定値以上である場合をいうものとする。
【0027】
図5は、本実施形態2にかかる顔情報登録処理の流れを示すフローチャートである。まず、認証装置100は、顔情報登録要求に含まれる登録画像を取得する(S21)。例えば、認証装置100は、顔情報登録要求を、顔認証端末400又はユーザ端末500等からネットワークNを介して受け付ける。次に、顔検出部120は、登録画像に含まれる顔領域を検出する(S22)。次に、特徴点抽出部130は、ステップS22で検出した顔領域から特徴点を抽出し、登録部140に顔特徴情報を出力する(S23)。最後に、登録部140は、ユーザID111を発行し、当該ユーザID111と顔特徴情報112とを対応付けて顔情報DB110に登録する(S24)。なお、認証装置100は、ユーザ端末500等から顔特徴情報112を受信し、ユーザID111と対応付けて顔情報DB110に登録してもよい。
【0028】
図6は、本実施形態2にかかる認証装置100による顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部130は、顔認証要求に含まれる認証用の顔画像を取得する(S31)。例えば、認証装置100は、画像提供装置200からネットワークNを介して顔認証要求を受信し、顔認証要求に含まれる顔画像からステップS21からS23のように顔特徴情報を抽出する。または、認証装置100は、画像提供装置200から顔特徴情報を受信してもよい。次に、認証部150は、取得した顔特徴情報を、顔情報DB110の顔特徴情報112と照合する(S32)。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合(S33のYes)、認証部150は、顔特徴情報が一致したユーザのユーザID111を特定し(S34)、顔認証に成功した旨と特定したユーザID111とを画像提供装置200に返信する(S35)。一致する顔特徴情報が存在しない場合(S33のNo)、認証部150は、顔認証に失敗した旨を画像提供装置200に返信する(S36)。
【0029】
尚、ステップS32において、認証部150は、顔情報DB110内の全ての顔特徴情報112との照合を試みる必要はない。例えば、認証部150は、顔認証要求を受け付けた当日から数日前までの期間に登録が行われた顔特徴情報と優先的に照合を試みるとよい。または、当該期間以前に顔特徴情報の登録が行われていたとしても、予め特定日に所定の遅延を訪問する旨を予約していた場合、認証部150は、予約したユーザの顔特徴情報と優先的に照合を試みるとよい。これらにより、照合速度が向上し得る。また、上記優先的な照合に失敗した場合、残り全ての顔特徴情報と照合を行うようにするとよい。
【0030】
図3に戻り説明を続ける。顔認証端末400、401、402、・・・40nのそれぞれは、カメラと表示装置を含む情報処理装置である。
【0031】
顔認証端末400は、ユーザUの顔認証に用いる登録画像を撮影する。顔認証端末400は、登録画像を含めた顔情報登録要求をネットワークNを介して認証装置100へ送信する。尚、ユーザUは、ユーザ端末500を用いて登録画像を撮影し、顔情報登録を行っても良い。
【0032】
顔認証端末401~40nは、ユーザUの顔認証に用いる認証用の顔画像を撮影する。例えば、顔認証端末401等は、設置された各地点においてユーザUの記念撮影用に撮影した撮影画像を認証用の画像とする。顔認証端末401等は、認証用の画像を含めた顔認証要求をネットワークNを介して画像提供装置200へ送信する。このとき、顔認証端末401等は、自身が設置された地点を識別する地点IDを顔認証要求に含めるものとする。また、顔認証端末401等は、撮影時刻を顔認証要求に含めてもよい。また、顔認証端末401等は、画像提供装置200からネットワークNを介して顔認証結果を受信し、画面に表示する。ここで、顔認証端末401等は、顔認証による電子決済を行う決済装置の機能を有していてもよい。その場合、顔認証端末401等は、顔認証に成功した場合に、電子決済を行い、決済履歴をネットワークNを介して画像提供装置200へ送信する。尚、顔認証端末40nは、必ずしも決済を行う必要はない。そして、顔認証端末40nは、顔認証要求と共に合成画像要求を送信する。または、顔認証端末40nは、顔認証に成功した場合に、合成画像要求を送信する。そして、顔認証端末40nは、画像提供装置200からネットワークNを介して合成画像又は合成画像の保存先のアクセス情報を受信し、画面に表示する。
【0033】
次に、顔認証端末400について詳細に説明する。図7は、本実施形態2にかかる顔認証端末400の構成を示すブロック図である。尚、顔認証端末401~40nについても同等であるため、これらの図示を省略する。顔認証端末400は、カメラ410と、記憶部420と、通信部430と、表示部440と、制御部450とを備える。
【0034】
カメラ410は、制御部450の制御に応じて撮影を行う撮影装置である。記憶部420は、顔認証端末400の各機能を実現するためのプログラムが格納される記憶装置である。通信部430は、ネットワークNとの通信インタフェースである。表示部440は、少なくとも表示装置である。または、表示部440は、表示装置と入力装置を含む入出力部、例えば、タッチパネルであってもよい。制御部450は、顔認証端末400が有するハードウェアの制御を行う。制御部450は、撮影制御部451と、登録部452と、認証制御部453と、表示制御部454と、決済部455とを備える。但し、決済部455は必須ではない。また、認証制御部453は、地点A0に設置された顔認証端末400において必須ではない。また、登録部452は、地点A1からAnに設置された顔認証端末401~40nにおいて必須ではない。
【0035】
撮影制御部451は、カメラ410を制御し、ユーザUの登録画像又は認証用画像を撮影する。登録画像及び認証用画像は、少なくとも当該ユーザの顔領域を含む画像である。尚、地点A1等における撮影画像(認証用画像)は、背景に当該地点に特有の風景等を含んでもよい。撮影制御部451は、登録画像を登録部452へ出力する。また、撮影制御部451は、認証用画像を認証制御部453へ出力する。また、撮影制御部451は、カメラ410により決済時のユーザUを撮影してもよい。
【0036】
登録部452は、登録画像を含む顔情報登録要求をネットワークNを介して認証装置100へ送信する。認証制御部453は、認証用画像を含む顔認証要求をネットワークNを介して画像提供装置200へ送信し、顔認証結果を受信し、顔認証結果を表示制御部454及び決済部455へ出力する。また、認証制御部453は、上述した合成画像要求をネットワークNを介して画像提供装置200へ送信し、合成画像又は合成画像の保存先のアクセス情報を受信し、表示制御部454へ出力する。また、顔認証端末40nの認証制御部453は、画像提供装置200からネットワークNを介して地点撮影画像を受信し、表示制御部454へ出力する。
【0037】
表示制御部454は、顔認証結果に応じた表示内容を表示部440へ表示する。また、顔認証端末40nの表示制御部454は、地点撮影画像を受信した順序で表示部440へ表示する。また、表示制御部454は、合成画像を又は合成画像の保存先のアクセス情報を表示部440へ表示する。
【0038】
決済部455は、顔認証結果が顔認証の成功を示す場合、所定の電子決済手段による電子決済を行い、決済履歴をネットワークNを介して画像提供装置200へ送信する。
【0039】
図3に戻り説明を続ける。ユーザ端末500は、ユーザUが所持する情報端末である。ユーザ端末500は、例えば、携帯電話端末、スマートフォン、タブレット端末、カメラを搭載又は接続したPC(Personal Computer)等である。ユーザ端末500は、ユーザUのユーザID又は顔特徴情報と対応付けられている。つまり、ユーザ端末500は、画像提供装置200においてユーザID又は顔特徴情報により特定可能な表示端末である。例えば、ユーザ端末500は、ユーザUが自身のユーザIDによりログイン済みの端末である。
【0040】
ユーザ端末500は、ユーザUの顔認証に用いる登録画像を認証装置100に送信し、顔情報登録要求を行う。なお、ユーザ端末500は、登録画像から抽出された顔特徴情報を認証装置100に送信し、顔情報登録要求を行ってもよい。また、ユーザ端末500は、合成画像の保存先のアクセス情報を読み取り、アクセス情報に対応する画像保存サーバ300に対してネットワークNを介してアクセスする。そして、ユーザ端末500は、保存先から合成画像を取得し、表示する。
【0041】
次に、ユーザ端末500について詳細に説明する。図8は、本実施形態2にかかるユーザ端末500の構成を示すブロック図である。ユーザ端末500は、カメラ510と、記憶部520と、通信部530と、表示部540と、制御部550とを備える。
【0042】
カメラ510は、制御部550の制御に応じて撮影を行う撮影装置である。記憶部520は、顔認証端末500の各機能を実現するためのプログラムが格納される記憶装置である。通信部530は、ネットワークNとの通信インタフェースである。表示部540は、表示装置と入力装置を含む入出力部、例えば、タッチパネルである。制御部550は、ユーザ端末500が有するハードウェアの制御を行う。制御部550は、撮影制御部551と、登録部552と、取得部553と、表示制御部554とを備える。
【0043】
撮影制御部551は、カメラ510を制御し、ユーザUの登録画像を撮影する。撮影制御部551は、登録画像を登録部552へ出力する。撮影制御部551は、地点Anに設置された顔認証端末40nの表示部440に表示された合成画像の保存先のアクセス情報をカメラ510により撮影し、撮影画像を取得部553へ出力する。
【0044】
登録部552は、登録画像を含む顔情報登録要求をネットワークNを介して認証装置100へ送信する。取得部553は、撮影画像を解析してアクセス情報に復元し、アクセス情報が示すアドレスに対してネットワークNを介してアクセスを行う。ここで、アクセス情報は、例えば、画像保存サーバ300の合成画像の保存先のURL(Uniform Resource Locator)を二次元バーコード化したQR(Quick Response)コード(登録商標)とする。その場合、取得部553は、QRコードを解析してURLに変換し、変換後のURLに対してアクセスを行う。取得部553は、アクセス先からネットワークNを介して合成画像を取得し、表示制御部554へ出力する。表示制御部554は、合成画像を表示部540へ表示する。
【0045】
図3に戻り説明を続ける。画像提供装置200は、地点A0からAnを訪問したユーザUが地点Anにおいて顔認証に成功した場合、ユーザUが各地点で撮影された撮影画像(地点撮影画像)を集約した合成画像を生成し、ユーザUに対して提供する情報処理装置である。特に、画像提供装置200は、複数の地点撮影画像を撮影時刻の順序に従って表示させる。画像提供装置200は、複数台のサーバに冗長化されてもよく、各機能ブロックが複数台のコンピュータで実現されてもよい。
【0046】
画像保存サーバ300は、画像提供装置200により生成された合成画像310を保存するための1台以上のファイルサーバである。画像保存サーバ300は、ネットワークNを介して要求元に対して合成画像310を提供する。例えば、画像保存サーバ300は、ユーザ端末500からネットワークNを介してサーバ内の所定の保存先へのリクエストを受信した場合、当該リクエストで指定された保存先に保存された合成画像310を読み出し、合成画像310を応答に含めてネットワークNを介してユーザ端末500へ送信する。
【0047】
次に、画像提供装置200について詳細に説明する。図9は、本実施形態2にかかる画像提供装置200の構成を示すブロック図である。画像提供装置200は、記憶部210と、メモリ220と、通信部230と、制御部240とを備える。記憶部210は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部210は、プログラム211と、履歴情報212と、地点情報213とを記憶する。プログラム211は、本実施形態2にかかる画像提供方法の処理が実装されたコンピュータプログラムである。
【0048】
履歴情報212は、各地点における顔認証端末を利用したユーザUの行動履歴である。すなわち、履歴情報212は、顔認証端末401等によるユーザUの顔認証の成功履歴、各地点における決済履歴等である。具体的には、履歴情報212は、ユーザID2121、地点ID2122、日時2123、撮影画像2124及び決済情報2125を対応付けた情報である。尚、決済情報2125は必須ではない。ユーザID2121は、ユーザUを識別する情報であり、顔認証に成功した場合に顔認証結果に含まれるユーザIDである。地点ID2122は、顔認証用の撮影画像を撮影した顔認証端末が設置された地点を識別する情報である。日時2123は、顔認証用の撮影画像が撮影された日時又は顔認証が行われた日時であり、本実施形態ではいずれの日時も「撮影時刻」と呼ぶものとする。撮影画像2124は、地点ID2122が示す地点に設置された顔認証端末によりユーザUが撮影された画像である。決済情報2125は、地点ID2122が示す地点に設置された顔認証端末によりユーザUが顔認証により行った決済の履歴である。決済情報2125は、例えば、決済金額、商品等を含む。
【0049】
地点情報213は、各地点A0~Anの地点ID2131と、アクセス情報2132とを対応付けた情報である。アクセス情報は、第1のアクセス情報の一例であり、例えば各地点A0~Anに対応したWEB情報へのリンク情報であり、具体的にはURL等である。
【0050】
メモリ220は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部240の動作時に一時的に情報を保持するための記憶領域である。通信部230は、ネットワークNとの通信インタフェースである。
【0051】
制御部240は、画像提供装置200の各構成を制御するプロセッサつまり制御装置である。制御部240は、記憶部210からプログラム211をメモリ220へ読み込ませ、プログラム211を実行する。これにより、制御部240は、取得部241、認証制御部242、登録部243、特定部244、生成部245及び出力部246の機能を実現する。
【0052】
取得部241は、ネットワークNを介して顔認証端末401~40nから顔認証要求を受信し、顔認証要求に含まれる撮影画像を取得し、取得した撮影画像を認証制御部242及び登録部243へ出力する。また、取得部241は、受信した顔認証要求から地点IDを取得する。また、取得部241は、ネットワークNを介して顔認証端末40nから合成画像要求を受信する。また、取得部241は、ネットワークNを介して顔認証端末401~40nから決済履歴を取得し、決済履歴を登録部243へ出力する。
【0053】
認証制御部242は、撮影画像に含まれるユーザUの顔領域に対する顔認証を制御する。つまり、認証制御部242は、地点A1~Anー1で撮影された複数の撮影画像のそれぞれに含まれるユーザUの顔領域に対する顔認証を制御する。また、認証制御部242は、地点Anで撮影された特定画像に含まれるユーザUの顔領域に対する顔認証を制御する。すなわち、認証制御部242は、取得部241により取得された撮影画像について、認証装置100に対して顔認証を行わせる。例えば、認証制御部242は、取得された撮影画像を含めた顔認証要求を、ネットワークNを介して認証装置100へ送信し、認証装置100から顔認証結果を受信する。尚、認証制御部242は、撮影画像からユーザUの顔領域を検出し、顔領域の画像を顔認証要求に含めてもよい。または、認証制御部242は、顔領域から顔特徴情報を抽出し、顔特徴情報を顔認証要求に含めてもよい。
【0054】
登録部243は、上述した登録部12の一例である。登録部243は、地点A1等における顔認証及び決済の履歴を履歴情報212として記憶部210に登録する。登録部243は、顔認証に成功した地点における撮影画像と撮影時刻を少なくとも対応付けて記憶部210に登録する。また、登録部243は、各地点におけるユーザUの行動履歴を、地点に対応する撮影画像と対応付けて記憶部210に登録する。具体的には、登録部243は、顔認証に成功したユーザID2121、顔認証要求に含まれる地点ID2122、撮影時刻を示す日時2123、顔認証要求に含まれる撮影画像2124、顔認証による決済情報2125を対応付けて記憶部210に保存する。
【0055】
特定部244は、上述した特定部13の一例である。特定部244は、地点Anにおける顔認証に成功した場合、履歴情報212の撮影画像2124の中から、上述した地点撮影画像を特定する。具体的には、特定部244は、顔認証結果に含まれるユーザIDを特定し、特定したユーザIDと対応付けられた撮影画像を地点撮影画像として特定する。ここで、顔認証結果にユーザIDが含まれる場合は、認証装置100における顔認証に成功した場合である。そして、当該ユーザIDは、認証装置100の顔情報DB110内のユーザID111である。また、顔認証に成功するとは、地点Anにおける撮影画像に含まれるユーザUの顔領域から抽出された顔特徴情報と、顔情報DB110内の顔特徴情報112との一致度が所定値以上の場合である。よって、特定部244は、複数の撮影画像のうち、特定画像に含まれるユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像を地点撮影画像として特定するものといえる。
【0056】
尚、ユーザUは1地点において複数回撮影を行う場合もある。その場合、履歴情報212には、同一のユーザID2121及び地点ID2122の組に対して複数の撮影画像2124が対応付けられていることとなる。この場合、日時2123や決済情報2125が異なることとなる。そこで、特定部244は、特定したユーザID及び地点IDの組に、複数の撮影画像が対応付けられている場合、地点ID当たり1画像を選択して第2の画像とするものとする。尚、選択の仕方は任意である。これにより、合成画像に、1つの場所の撮影画像が集中することなく、様々な地点の撮影画像が含まれる。よって、思い出写真としてよりユーザに求められるものを提供できる。
【0057】
特定部244は、地点Anにおける顔認証に成功した場合に加えて、合成画像の所定の提供条件を満たす場合に、上述した地点撮影画像を特定する。ここで、提供条件は、例えば、複数の地点のうち顔認証に成功していた地点が所定数以上である場合であってもよい。また、提供条件は、行動履歴が第1の条件を満たす場合であってもよい。つまり、履歴情報212が何らかの条件を満たす場合であってもよい。第1の条件は、例えば、ユーザによる決済履歴の総額が所定金額以上であることを含む。この場合、特定部244は、履歴情報212のうち顔認証に成功したユーザID2121と対応付けられた決済情報2125の合計を算出し、合計額が所定金額以上である場合に、第1の条件を満たすと判定する。また、第1の条件は、顔認証による決済額が各地点のそれぞれにおいて所定金額以上であることであってもよい。この場合、まず、特定部244は、履歴情報212のうち顔認証に成功したユーザID2121と対応付けられた決済情報2125のそれぞれの決済金額を特定する。そして、特定部244は、特定した各決済金額が所定金額以上である場合、第1の条件を満たすと判定する。つまり、当該ユーザが訪問し、顔認証による決済を行った全ての地点において所定金額以上である場合、(第1の条件を満たし)合成画像を提供するようにしてもよい。例えば、ユーザがショッピングモールやテーマパークや動物園等の各施設において設置された顔認証端末により決済を行い、各施設における購入金額が最低X円以上である場合がこれに該当する。また、施設に限らず、観光地においても同様である。
【0058】
尚、複数の地点が存在し、各地点に複数の店舗が存在する場合であっても構わない。例えば、第1の地点が複数店舗を含むテーマパークであり、第2の地点が複数店舗を含むショッピングモールが挙げられる。その場合、第1の条件は、各地点における各店舗のそれぞれにおける決済金額が所定金額以上であることであってもよい。または、第1の条件は、地点ごとの店舗における決済金額の合計額が所定金額以上であることであってもよい。例えば、地点A1に存在する10店舗のうち3店舗での決済金額の合計が1万円以上であれば、第1の条件を満たすとしてもよい。または、第1の条件は、地点ごとにおいて、所属する店舗のうち最高の決済額が所定金額以上であることであってもよい。例えば、地点A1に存在する10店舗のうち1店舗での決済金額が1万円以上であれば、第1の条件を満たすとしてもよい。または、第1の条件は、全店舗で決済履歴が存在することとしても構わない。
【0059】
また、特定部244は、地点Anにおける顔認証に成功した場合にユーザUの属性情報を特定し、特定した属性情報が第2の条件を満たす場合、地点撮影画像を特定してもよい。ここで、属性情報とは、ユーザUのステータス情報等であってもよい。ステータス情報とは、例えば、航空会社における利用量、獲得マイル又は契約等により決まるランク、グレード(ビジネス/ファーストクラス)等である。また、第2の条件とは、例えば、ステータスが所定値以上であることを示す。また、属性情報が会員登録の有無である場合、第2の条件は、事前登録された会員であることを示す。また、属性情報がテーマパークの会員属性である場合、第2の条件は年間パス会員であることとしてもよい。また、属性情報は、ユーザUのフライト情報(搭乗時間を含む)であってもよい。その場合、第2の条件は、搭乗時間の30分以上前であることとしてもよい。尚、時間は任意である。これにより、ユーザUが搭乗に遅れることを回避できる。また、地点Anが空港の場合、属性情報は、チェックイン、荷物預け、セキュリティ検査のそれぞれの済か否か等の空港における各手続の完了状態であってもよい。その場合、第2の条件は、当該ユーザがその空港にてチェックイン済、荷物預け済及びセキュリティ検査済である場合としてもよい。尚、空港における各手続が顔認証により行われ、顔認証による履歴が保存されていても良い。その場合、空港の管理サーバにおいて航空券やパスポートと顔情報とが対応付けて登録されていればよい。そのため、特定部244は、空港の管理サーバから、ユーザUの各手続の履歴を属性情報として取得すればよい。例えば、第2の条件をチェックイン済みであることとする。そして、ユーザUは、チェックインロビーに設置されたサイネージ(顔認証端末40n)において顔認証を行う。このとき、特定部244は、空港の管理サーバから、ユーザUがチェックイン済か否かを属性情報として取得する。そして、特定部244は、チェックイン済みである場合、第2の条件及び提供条件を満たすものとする。これにより、ユーザへの合成画像の提供をインセンティブとしてチェックインを促進できる。
【0060】
生成部245は、上述した生成部14の一例である。生成部245は、特定部244により特定された地点撮影画像(撮影画像2124)を履歴情報212から読み出し、これらと所定のテンプレートとを一画像に集約するように合成して、合成画像を生成する。さらに、生成部245は、特定された撮影画像2124に対応付けられた地点ID2122に対応するアクセス情報2132を地点情報213から読み出し、対応する撮影画像2124に組み込んで合成画像を生成してもよい。例えば、生成部245は、撮影画像2124におけるリンク先としてアクセス情報2132を設定する。また、生成部245は、顔認証に成功したユーザに対応するユーザ名や各撮影画像に対応する日時から求まる撮影期間を合成画像に含めても良い。
【0061】
出力部246は、上述した出力部15の一例である。出力部246は、特定した2以上の地点撮影画像について撮影時刻の順序で表示させるように出力する。このとき、出力部246は、第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を非表示、かつ、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力するとよい。または、出力部246は、第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を表示させたままで当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力してもよい。
【0062】
また、出力部246は、生成部245により生成された合成画像をネットワークNを介して画像保存サーバ300の保存先へ送信する。このとき、生成部245は、画像保存サーバ300における合成画像の保存先を示す第2のアクセス情報を生成する。ここで、第2のアクセス情報は、例えば、二次元バーコード等であってもよい。そして、出力部246は、第2のアクセス情報をネットワークNを介して顔認証端末40nへ送信する。つまり、出力部246は、第2のアクセス情報をユーザUに対して提示する。または、出力部246は、合成画像をネットワークNを介して顔認証端末40nへ送信してもよい。
【0063】
図10は、本実施形態2にかかる撮影画像登録処理の流れを示すフローチャートである。まず、取得部241は、上述したように要求元からネットワークNを介して顔認証要求を受信して撮影画像を取得する(S401)。ここでは、要求元は、顔認証端末401から40n-1のいずれかとする。
【0064】
次に、認証制御部242は、認証装置100に対してネットワークNを介して顔認証要求を送信する(S402)。このとき、認証制御部242は、ステップS401で取得した撮影画像、当該撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、認証制御部242は、認証装置100からネットワークNを介して顔認証結果を受信する(S403)。顔認証結果は、顔認証に成功した場合、その旨及びユーザIDを含み、顔認証に失敗した場合、その旨を含む。
【0065】
認証制御部242は、顔認証に成功したか否かを判定する(S404)。顔認証に失敗したと判定した場合、出力部246は、顔認証に失敗した旨を出力する(S409)。具体的には、出力部246は、ネットワークNを介して要求元に対して顔認証に失敗した旨を示すメッセージを送信する。
【0066】
ステップS404において顔認証に成功したと判定した場合、特定部244は、顔認証に成功したユーザIDを特定する(S405)。具体的には、特定部244は、顔認証結果に含まれるユーザIDを抽出する。そして、出力部246は、顔認証に成功した旨を出力する(S406)。具体的には、出力部246は、ネットワークNを介して要求元に対して顔認証に成功した旨を示すメッセージを送信する。
【0067】
その後、要求元である顔認証端末401等において決済処理が行われる。取得部241は、顔認証端末401等からネットワークNを介して決済履歴を取得する(S407)。そして、登録部243は、ステップS405で特定したユーザIDと、ステップS401で取得した撮影画像と、撮影時刻とを対応付けた履歴情報212を記憶部210へ登録する(S408)。併せて、登録部243は、顔認証要求に含まれる地点ID、ステップS407で取得した決済履歴をさらに対応付けて履歴情報212を登録する。
【0068】
図11は、本実施形態2にかかる画像提供処理の流れを示すフローチャートである。まず、取得部241は、顔認証端末40nからネットワークNを介して顔認証要求及び合成画像要求を受信し、顔認証要求から撮影画像を取得する(S501)。
【0069】
次に、認証制御部242は、認証装置100に対してネットワークNを介して顔認証要求を送信する(S502)。このとき、認証制御部242は、ステップS501で取得した撮影画像、当該撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、認証制御部242は、認証装置100からネットワークNを介して顔認証結果を受信する(S503)。
【0070】
認証制御部242は、顔認証に成功したか否かを判定する(S504)。顔認証に成功したと判定した場合、特定部244は、合成画像の提供条件を満たすか否かを判定する(S505)。提供条件を満たすと判定した場合、特定部244は、顔認証に成功したユーザID2121に対応する撮影画像2124を特定する(S506)。そして、生成部245は、特定した撮影画像2124を用いて合成画像を生成する(S507)。
【0071】
続いて、出力部246は、合成画像を画像保存サーバ300の保存先へ出力する(S508)。そして、生成部245は、保存先を示すアクセス情報を生成する(S509)。ここで、出力部246は、特定した撮影画像(地点撮影画像)を撮影時刻の順序でネットワークNを介して顔認証端末40nへ出力(送信)する(S510)。例えば、出力部246は、履歴情報212を参照し、特定した複数の地点撮影画像を、対応付けられた日時2123により昇順でソートし、昇順で順次、地点撮影画像を出力する。その後、出力部246は、合成画像をネットワークNを介して顔認証端末40nへ出力(送信)する(S511)。そして、出力部246は、アクセス情報をネットワークNを介して顔認証端末40nへ出力(送信)する(S512)。尚、ステップS510は、ステップS507からS509と並行して実行してもよい。また、ステップS511は必須ではない。
【0072】
尚、ステップS504において顔認証に失敗した場合、又は、ステップS505において提供条件を満たさないと判定した場合、出力部246は、ネットワークNを介して顔認証端末40nに対して合成画像を提供不可の旨を示すメッセージを送信する(S513)。
【0073】
図12図13図14図15及び図16は、本実施形態2にかかる画像提供処理の流れを示すシーケンス図である。まず、地点A0において、顔認証端末400は、ユーザUを撮影し(S601)、撮影画像を含む顔情報登録要求をネットワークNを介して認証装置100へ送信する(S602)。そして、認証装置100は、受信した顔情報登録要求に含まれる撮影画像に基づいて、ユーザUの顔情報(顔特徴情報)を登録する(S603)。そして、ユーザUは、地点A1に移動する。
【0074】
次に、地点A1において、顔認証端末401は、ユーザUを撮影し(S604)、撮影画像を含む顔認証要求をネットワークNを介して画像提供装置200へ送信する(S605)。画像提供装置200は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域に対する顔認証要求をネットワークNを介して認証装置100へ送信する(S606)。そして、認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S607)。ここでは、顔認証に成功したものとする。認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して画像提供装置200へ送信する(S608)。画像提供装置200は、顔認証結果をネットワークNを介して顔認証端末401へ送信する(S609)。尚、顔認証端末401は、決済処理を行わないものとする。そこで、画像提供装置200は、顔認証に成功したユーザについての履歴情報212を記憶部210へ登録する(S610)。そして、ユーザUは、地点A2に移動する。
【0075】
続いて、地点A2において、顔認証端末402は、ユーザUを撮影し(S611)、撮影画像を含む顔認証要求をネットワークNを介して画像提供装置200へ送信する(S612)。画像提供装置200は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域に対する顔認証要求をネットワークNを介して認証装置100へ送信する(S613)。そして、認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S614)。ここでは、顔認証に成功したものとする。認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して画像提供装置200へ送信する(S615)。画像提供装置200は、顔認証結果をネットワークNを介して顔認証端末402へ送信する(S616)。ここで、顔認証端末402は、ユーザUについて決済処理を行い(S617)、決済履歴を含めた履歴登録要求をネットワークNを介して画像提供装置200へ送信する(S618)。履歴登録要求には、例えば、ユーザID、地点ID、日時及び決済情報を含むものとする。画像提供装置200は、受信した履歴登録要求に基づいて履歴情報212を生成し、記憶部210へ登録する(S619)。そして、ユーザUは、地点Anに移動する。
【0076】
そして、地点Anにおいて、顔認証端末40nは、ユーザUを撮影し(S621)、撮影画像を含む顔認証要求及び合成画像要求をネットワークNを介して画像提供装置200へ送信する(S622)。画像提供装置200は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域に対する顔認証要求をネットワークNを介して認証装置100へ送信する(S623)。そして、認証装置100は、受信した顔認証要求に含まれる撮影画像内のユーザUの顔領域について顔認証を行う(S624)。ここでは、顔認証に成功したものとする。認証装置100は、顔認証に成功した旨及びユーザIDを含めた顔認証結果を、ネットワークNを介して画像提供装置200へ送信する(S625)。
【0077】
そして、画像提供装置200は、提供条件を判定する(S626)。ここでは、提供条件を満たすものとする。続いて、画像提供装置200は、顔認証に成功したユーザに対応する撮影画像を特定し(S627)、合成画像を生成する(S628)。そして、画像提供装置200は、合成画像をネットワークNを画像保存サーバ300へ送信する(S629)。画像保存サーバ300は、受信した合成画像を所定の保存先へ保存する(S630)。ここで、画像提供装置200は、合成画像の保存先を示すアクセス情報を生成し、当該アクセス情報を含むダウンロード案内画面を生成する(S631)。
【0078】
そして、画像提供装置200は、複数の地点撮影画像を撮影時刻の昇順でソートする。画像提供装置200は、最も早い第1の撮影時刻に対応する第1の地点撮影画像をネットワークNを介して顔認証端末40nへ送信する(S632-1)。これにより、顔認証端末40nは、受信した第1の地点撮影画像を表示する(S633-1)。次に、画像提供装置200は、第1の撮影時刻の次に早い第2の撮影時刻に対応する第2の地点撮影画像をネットワークNを介して顔認証端末40nへ送信する(S632-2)。これにより、顔認証端末40nは、受信した第2の地点撮影画像を表示する(S633-2)。以降、画像提供装置200は、特定された地点撮影画像分、同様に実行する。その後、画像提供装置200は、地点Anで撮影された特定地点撮影画像をネットワークNを介して顔認証端末40nへ送信する(S632-n)。これにより、顔認証端末40nは、受信した特定地点撮影画像を表示する(S633-n)。そして、画像提供装置200は、合成画像をネットワークNを介して顔認証端末40nへ送信する(S634)。これにより、顔認証端末40nは、受信した合成画像を表示する(S635)。
【0079】
ここで、図17は、本実施形態2にかかる地点撮影画像の撮影時刻に従った表示例を示す図である。図17では、ステップS633-1~S633-4にて地点撮影画像を個別に表示する際に、直前に表示された地点撮影画像を非表示とし、次の時刻の地点撮影画像を表示していることを示す。ステップS633-nの特定地点撮影画像も同様である。その後、ステップS635にて合成画像が表示されたことを示す。
【0080】
図18は、本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。図18では、ステップS633-1~S633-4にて地点撮影画像を撮影時刻の順序に従って表示する際に、直前に表示された地点撮影画像を表示させたままで、次の時刻の地点撮影画像を表示していることを示す。この場合、ステップS633-n又はS635のいずれか一方を実行すればよい。
【0081】
図19は、本実施形態2にかかる地点撮影画像の撮影時刻に従った他の表示例を示す図である。図19では、図17との違いとして、表示する各地点撮影画像を全画面で表示させたものである。
【0082】
その後、図16において、画像提供装置200は、ダウンロード案内画面をネットワークNを介して顔認証端末40nへ送信する(S636)。これにより、顔認証端末40nは、受信したダウンロード案内画面を表示する(S637)。
【0083】
図20は、本実施形態2にかかるダウンロード案内画面610の例を示す図である。ダウンロード案内画面610は、顔認証端末40nに表示されていることを示す。ダウンロード案内画面610は、(第2の)アクセス情報611を含む。つまり、アクセス情報611がユーザUに提示されたことを示す。
【0084】
ここで、図16において、ユーザ端末500は、ユーザUの操作に応じて顔認証端末40nに表示されたダウンロード案内画面610内のアクセス情報611を読み取る(S638)。そして、ユーザ端末500は、読み取ったアクセス情報611を解析して、解析結果に基づきネットワークNを介して画像保存サーバ300に対して合成画像取得要求を送信する(S639)。尚、合成画像取得要求は、単に、ユーザ端末500から画像保存サーバ300の所定の保存先へのアクセス(リクエストメッセージ)であってもよい。画像保存サーバ300は、ユーザ端末500からの合成画像取得要求が示す保存先に格納された合成画像を読み出し、合成画像を含めた応答をネットワークNを介してユーザ端末500へ送信する(S640)。ユーザ端末500は、受信した合成画像を表示する(S641)。
【0085】
図21は、本実施形態2にかかる合成画像620の例を示す図である。合成画像620は、ユーザUの氏名や撮影期間と共に、撮影画像621~62nを含む。例えば、撮影画像621は、地点A1でユーザUが撮影された画像である。同様に、撮影画像622は地点A2、撮影画像623は地点A3、撮影画像624は地点A4、撮影画像62nは地点AnでそれぞれユーザUが撮影された画像である。尚、各撮影画像には、撮影地点に対応するウェブサイトへのリンクが設定されていてもよい。これにより、旅行後も各地点の観光スポットの情報を参照でき、ユーザが実際に巡った地を紹介し易くなる。
【0086】
尚、合成画像620には、アクセス情報611が含まれていても良い。例えば、生成部245は、ステップS628において予めアクセス情報611を生成し、アクセス情報611を含めて合成画像620を生成する。また、ダウンロード案内画面はなくてもよい。その場合、ステップS631において生成部245は、合成画像620にアクセス情報611を追加してもよい。そして、出力部246は、ステップS632においてアクセス情報611を含めた合成画像620を顔認証端末40nへ送信し、ステップS633において顔認証端末40nは、合成画像620と共にアクセス情報611を表示する。そのため、ユーザUは、合成画像620の内容を確認した上で、アクセス情報611を介して自身のユーザ端末500へ合成画像620をダウンロードできる。
【0087】
また、ユーザがダウンロードできるのは、合成画像に限らず、撮影時刻に従って地点撮影画像(及び合成画像)を表示する動画であってもよい。その場合、例えば、生成部245は、特定した複数の撮影画像2124を撮影時刻に従って表示する動画データを生成する。尚、動画データは、図17から図19に示したように、特定地点撮影画像や合成画像を含むものであってもよい。そして、出力部246は、動画データを画像保存サーバ300の保存先へ出力する。そして、生成部245は、動画データの保存先を示すアクセス情報を生成する。その後、出力部246は、合成画像の保存先を示すアクセス情報と共に、又は代わりに、動画データの保存先を示すアクセス情報を、上述したように出力する。
【0088】
このように、本実施形態により、各地点を訪問したユーザUは、特定の地点での顔認証により、各地で顔認証を行った際に撮影された撮影画像を集約した合成画像を取得することができる。そのため、ユーザUは、自身が実際に巡った地を紹介し易くなり、合成画像620をSNS(Social Networking Service)等で公開し易くなる。よって、各地点への訪問が促進され、経済の活性化に寄与できる。
【0089】
また、旅の思い出写真としてこのような合成画像を取得できるため、ユーザUが地点A0において自身の顔情報を事前登録することを促進できる。また、顔認証によるスタンプラリーの普及に寄与できる。また、合成画像の提供条件により、より多くの地点を訪問することや、各地点で決済を行うことを促進できる。
【0090】
<実施形態3>
本実施形態3は、上述した実施形態2の変形例であり、顔特徴情報の事前登録が不要なものである。図22は、本実施形態3にかかる画像提供システム2000の全体構成を示すブロック図である。画像提供システム2000は、上述した画像提供システム1000と比べて、認証装置100及び顔認証端末400が削除され、画像提供装置200が画像提供装置200aに置き換わったものである。尚、それ以外の構成は、実施形態2と同等であるため重複する説明を適宜省略する。ここでは、顔特徴情報の事前登録のための地点A0が不要となり、地点A1がスタンプラリーの開始地点となる。
【0091】
図23は、本実施形態3にかかる画像提供装置200aの構成を示すブロック図である。画像提供装置200aは、上述した画像提供装置200と比べて、プログラム211a、顔特徴情報2121a、認証制御部242a、登録部243a及び特定部244aが異なる。プログラム211aは、本実施形態3にかかる画像提供方法の処理が実装されたコンピュータプログラムである。
【0092】
顔特徴情報2121aは、各地点の撮影画像から抽出されたユーザUの顔特徴情報である。つまり、本実施形態にかかる履歴情報212は、ユーザIDの一例として顔特徴情報を用いるものである。
【0093】
登録部243aは、複数の撮影画像のそれぞれに含まれるユーザUの顔領域から顔特徴情報を抽出し、当該抽出した顔特徴情報2121aと抽出元の撮影画像2124と当該撮影画像の撮影時刻(日時2123)とを対応付けて履歴情報212に登録する。認証制御部242aは、特定の地点で撮影された撮影画像に含まれるユーザUの顔領域から顔特徴情報を抽出し、履歴情報212に登録された顔特徴情報と照合を行う。特定部244aは、特定画像に含まれるユーザUの顔領域から抽出された顔特徴情報との一致度が所定値以上の顔特徴情報と対応付けられた撮影画像を地点撮影画像として特定する。
【0094】
図24は、本実施形態3にかかる撮影画像登録処理(顔特徴情報の登録)の流れを示すフローチャートである。まず、取得部241は、上述したように要求元からネットワークNを介して顔認証要求を受信して撮影画像を取得する(S401)。ここでは、要求元は、顔認証端末401から40n-1のいずれかとする。
【0095】
次に、登録部243aは、取得した撮影画像内の顔領域から顔特徴情報を抽出する(S402a)。ここで、顔認証端末401等は、電子決済を行い、決済履歴を画像提供装置200aへ送信する。そして、取得部241は、要求元から決済履歴を取得する(S407)。つまり、本実施形態では、顔認証による決済を行わない。そして、登録部243aは、抽出した顔特徴情報と撮影画像と決済履歴とを対応付けた履歴情報212を記憶部210に登録する(S408a)。
【0096】
このように、本実施形態では、画像提供装置200aは、顔認証端末401から40n-1において撮影された撮影画像について、都度、顔特徴情報を抽出し、ユーザIDの代わりに履歴情報212に含めて登録する。
【0097】
図25は、本実施形態3にかかる画像提供処理の流れを示すフローチャートである。ここでは、上述した図11との違いを中心に説明する。ステップS501の後、認証制御部242aは、(地点Anの顔認証端末40nで撮影された)撮影画像内の顔領域から顔特徴情報を抽出する(S502a)。そして、認証制御部242aは、抽出した顔特徴情報と、履歴情報212内の顔特徴情報2121aとを照合する(S502b)。
【0098】
認証制御部242aは、顔特徴情報の一致度が所定値以上であるか否かを判定する(S502c)。一致度が所定値以上であると判定した場合、特定部244aは、合成画像の提供条件を満たすか否かを判定する(S505)。提供条件を満たすと判定した場合、特定部244aは、ステップS502aで抽出した顔特徴情報との一致度が所定値以上の顔特徴情報2121aと対応付けられた撮影画像2124を特定する(S506a)。以降は、図11と同様である。
【0099】
このように、本実施形態では、各地点を訪問したユーザUは、特定の地点での顔照合により、各地で撮影された撮影画像を集約した合成画像を取得することができる。また、実施形態2と異なり、顔特徴情報の事前登録が不要であるため、スタンプラリーの普及に寄与できる。
【0100】
<実施形態4>
本実施形態4は、上述した実施形態2及び3の変形例であり、顔特徴情報の事前登録が不要なものである。具体的には、地点A1がスタンプラリーの開始地点とし、地点A1における撮影画像から抽出された顔特徴情報を用いて、以後の地点での顔認証を行うものである。尚、本実施形態4にかかる画像提供システム2000及び画像提供装置200aは、図22及び図23と同等であるため、図示及び説明を省略する。また、本実施形態4では、地点A1に設置された顔認証端末401により撮影された撮影画像に対して、画像提供装置200aは、上述した図24の撮影画像登録処理(顔特徴情報の登録)を実施するものとする。一方、地点A2~An-1に設置された顔認証端末402~40n-1により撮影された撮影画像に対して、画像提供装置200aは、次の撮影画像登録処理(顔特徴情報の照合)を行うものとする。
【0101】
図26は、本実施形態4にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。前提として、ユーザUは、地点A1で顔認証端末401により撮影済みであり、画像提供装置200aは、ユーザUの顔特徴情報2121aが対応付けれた履歴情報212を登録済みとする。そして、例えば、地点A2において顔認証端末402によりユーザUが撮影されたものとする。
【0102】
ステップS401の後、認証制御部242aは、取得した撮影画像内の顔領域から顔特徴情報を抽出する(S402a)。そして、認証制御部242aは、抽出した顔特徴情報と、履歴情報212内の顔特徴情報2121aとを照合する(S402b)。
【0103】
認証制御部242aは、顔特徴情報の一致度が所定値以上であるか否かを判定する(S402c)。一致度が所定値以上であると判定した場合、上述したステップS406及びS407を行う。そして、登録部243aは、抽出した顔特徴情報と撮影画像と決済履歴とを対応付けた履歴情報212を記憶部210に登録する(S408b)。尚、登録部243aは、ステップS402aで抽出した顔特徴情報に代えて、地点A1での撮影画像から抽出され、登録済みである顔特徴情報と、ステップS401で取得した撮影画像とを対応付けて履歴情報212として記憶部210に登録してもよい。尚、ステップS402cで一致度が所定値未満であると判定した場合、登録部243aは、ステップS408bと同様に、抽出した顔特徴情報と撮影画像と決済履歴とを対応付けた履歴情報212を記憶部210に登録してもよい。つまり、地点A1で顔情報の登録が行われなかった場合でも、以後の地点で初めて顔認証端末を利用した際に、顔情報が登録される。尚、本実施形態4にかかる画像提供処理の流れは、上述した図25と同様である。
【0104】
このように、本実施形態では、画像提供装置200aは、顔認証端末401から40n-1において撮影された撮影画像について、都度、顔特徴情報を抽出する。但し、地点A1の顔認証端末401以外、つまり、顔認証端末402から40n-1において撮影された撮影画像について、画像提供装置200aは、顔認証を行う。これにより、顔認証によるスタンプラリーを事前登録なしに実現できる。
【0105】
尚、本実施形態は、次のようにも表現できる。すなわち、前記登録手段は、前記複数の地点のうち第1の地点において撮影された第1の撮影画像から前記ユーザの第1の顔特徴情報を抽出し、当該第1の撮影画像と当該第1の顔特徴情報と当該第1の撮影画像が撮影された第1の時刻とを対応付けて前記記憶手段に登録する。そして、前記登録手段は、前記複数の地点のうち第2の地点において、前記第1の撮影画像の後に撮影された第2の撮影画像から前記ユーザの第2の顔特徴情報を抽出し、当該第2の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、当該第2の撮影画像と当該第2の撮影画像が撮影された第2の時刻とを前記第1の顔特徴情報と対応付けて前記記憶手段に登録する。そして、前記認証制御手段は、前記特定画像に含まれる前記ユーザの顔領域から抽出された第3の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、前記顔認証に成功したと判定する。そして、前記特定手段は、前記顔認証に成功した場合、前記複数の撮影画像の中から、前記第1の顔特徴情報と対応付けられた前記第1の撮影画像及び前記第2の撮影画像のそれぞれを前記地点撮影画像として特定する。
【0106】
<実施形態5>
本実施形態5は、上述した実施形態2の変形例である。図27は、本実施形態5にかかる画像提供装置200bの構成を示すブロック図である。画像提供装置200bは、上述した画像提供装置200と比べて、プログラム211b、顔情報214、認証制御部242b及び登録部243bが異なる。プログラム211bは、本実施形態5にかかる画像提供方法の処理が実装されたコンピュータプログラムである。
【0107】
顔情報214は、上述した認証装置100の顔情報DB110に相当するものであり、複数のユーザID2141と顔特徴情報2142が対応付けられている。
【0108】
認証制御部242bは、取得した撮影画像に含まれるユーザの顔領域から抽出された顔特徴情報と、記憶部210に記憶された顔特徴情報2142とを照合することにより顔認証を制御する。
【0109】
登録部243bは、上述した登録部243の機能に加え、上述した顔検出部120、特徴点抽出部130及び登録部140相当の機能を有する。つまり、登録部243bは、顔認証端末400等から受信した顔情報登録要求に含まれる撮影画像から顔領域を検出し、顔特徴情報を抽出し、ユーザIDを発行し、ユーザID2141と顔特徴情報2142とを対応付けた顔情報214を記憶部210に登録する。
【0110】
図28は、本実施形態5にかかる撮影画像登録処理(顔特徴情報の照合)の流れを示すフローチャートである。図28は、上述した図10のステップS402~S404がステップS402a、S402d及びS402cに置き換わったものである。
【0111】
ステップS401の後、認証制御部242bは、取得した撮影画像内の顔領域から顔特徴情報を抽出する(S402a)。そして、認証制御部242bは、抽出した顔特徴情報と、顔情報214内の顔特徴情報2142とを照合する(S402d)。
【0112】
認証制御部242bは、顔特徴情報の一致度が所定値以上であるか否かを判定する(S402c)。一致度が所定値以上であると判定した場合、上述したステップS405、S406及びS407を行う。そして、登録部243bは、ステップS405で特定したユーザIDと、ステップS401で取得した撮影画像を対応付けた履歴情報212を記憶部210へ登録する(S408)。
【0113】
また、本実施形態の画像提供処理では、図11のステップS502、S503及びS504に代えて、上述したステップS402a、S402d及びS402cを行う。つまり、認証制御部242bは、特定画像に含まれるユーザの顔領域から抽出された顔特徴情報と、記憶部210に記憶された顔特徴情報2142とを照合することにより顔認証を制御する。そして、提供条件を満たすと判定した場合、特定部244bは、顔情報214から顔認証に成功したユーザID2141を特定する。
【0114】
このように、本実施形態5においても上述した実施形態2と同様の効果を奏することができる。
【0115】
<その他の実施形態>
尚、上述した各実施形態は、次のように変更してよい。例えば、地点Anに設置された顔認証端末40nは、カメラの410による撮影画像に含まれるユーザが笑顔であるか否かを判定する笑顔エンジンを搭載していてもよい。この場合、顔認証端末40nは、笑顔と判定された場合に、撮影画像を顔認証要求に含めてネットワークNを介して画像提供装置200等へ送信する。また、笑顔エンジンは、笑顔の度合いに応じて笑顔ポイントを設定してもよい。その場合、顔認証端末40nは、顔認証要求に笑顔ポイントを含める。
【0116】
または、画像提供装置200が笑顔エンジンを搭載していてもよい。この場合、画像提供装置200は、顔認証端末401等から受信した顔認証要求に含まれる撮影画像に含まれるユーザが笑顔である場合に、顔認証を行う。また、画像提供装置200は、合成画像を生成する際に、笑顔ポイントに応じたフォトフレーム(テンプレート)を選択し、合成に用いても良い。
【0117】
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
【0118】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0119】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【0120】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
複数の地点のそれぞれにおいて所定のユーザが撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録手段と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
を備える画像提供装置。
(付記2)
前記特定した2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
前記出力手段は、前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
付記1に記載の画像提供装置。
(付記3)
前記特定画像に含まれる前記ユーザの顔領域に対する顔認証を制御する認証制御手段をさらに備え、
前記特定手段は、前記顔認証に成功した場合に、前記地点撮影画像を特定する
付記1又は2に記載の画像提供装置。
(付記4)
前記認証制御手段は、
複数の人物の顔特徴情報を記憶した認証装置を用いて前記顔認証を制御する
付記3に記載の画像提供装置。
(付記5)
前記記憶手段は、複数の人物の顔特徴情報を記憶し、
前記認証制御手段は、前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報と、前記記憶手段に記憶された顔特徴情報とを照合することにより前記顔認証を制御する
付記3に記載の画像提供装置。
(付記6)
前記認証制御手段は、
前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域に対する前記顔認証を制御し、
前記登録手段は、
前記顔認証に成功した地点における撮影画像と前記撮影時刻とを対応付けて前記記憶手段に登録する、
付記3乃至5のいずれか1項に記載の画像提供装置。
(付記7)
前記特定手段は、
前記特定の地点において前記顔認証に成功し、かつ、前記複数の地点のうち前記顔認証に成功していた地点が所定数以上である場合、前記地点撮影画像を特定する
付記6に記載の画像提供装置。
(付記8)
前記登録手段は、
前記複数の地点のうち第1の地点において撮影された第1の撮影画像から前記ユーザの第1の顔特徴情報を抽出し、当該第1の撮影画像と当該第1の顔特徴情報と当該第1の撮影画像が撮影された第1の時刻とを対応付けて前記記憶手段に登録し、
前記複数の地点のうち第2の地点において、前記第1の撮影画像の後に撮影された第2の撮影画像から前記ユーザの第2の顔特徴情報を抽出し、当該第2の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、当該第2の撮影画像と当該第2の撮影画像が撮影された第2の時刻とを前記第1の顔特徴情報と対応付けて前記記憶手段に登録し、
前記認証制御手段は、
前記特定画像に含まれる前記ユーザの顔領域から抽出された第3の顔特徴情報と前記第1の顔特徴情報との一致度が所定値以上である場合、前記顔認証に成功したと判定し、
前記特定手段は、
前記顔認証に成功した場合、前記複数の撮影画像の中から、前記第1の顔特徴情報と対応付けられた前記第1の撮影画像及び前記第2の撮影画像のそれぞれを前記地点撮影画像として特定する
付記3に記載の画像提供装置。
(付記9)
前記登録手段は、
各地点における前記ユーザの行動履歴を、地点に対応する撮影画像と対応付けて前記記憶手段に登録し、
前記特定手段は、
前記特定の地点において前記顔認証に成功し、かつ、前記行動履歴が第1の条件を満たす場合、前記地点撮影画像を特定する
付記3乃至8のいずれか1項に記載の画像提供装置。
(付記10)
前記第1の条件は、前記ユーザによる決済履歴が所定金額以上であることを含む
付記9に記載の画像提供装置。
(付記11)
前記特定手段は、
前記顔認証に成功した場合、前記ユーザの属性情報を特定し、
前記特定した属性情報が第2の条件を満たす場合、前記地点撮影画像を特定する
付記3乃至10のいずれか1項に記載の画像提供装置。
(付記12)
前記登録手段は、
前記複数の撮影画像のそれぞれに含まれる前記ユーザの顔領域から顔特徴情報を抽出し、当該抽出した顔特徴情報と抽出元の撮影画像と当該撮影画像の撮影時刻とを対応付けて前記記憶手段に登録し、
前記特定手段は、
前記特定画像に含まれる前記ユーザの顔領域から抽出された顔特徴情報との一致度が所定値以上の顔特徴情報と対応付けられた撮影画像を前記地点撮影画像として特定する
付記1又は2に記載の画像提供装置。
(付記13)
前記記憶手段は、
前記複数の地点のそれぞれへの第1のアクセス情報をさらに記憶し、
前記生成手段は、
前記特定した地点撮影画像が撮影された地点における前記第1のアクセス情報を前記記憶手段から取得し、
前記特定した地点撮影画像に前記取得した第1のアクセス情報を組み込んで前記合成画像を生成する
付記2又は付記2を引用する付記3乃至12のいずれか1項に記載の画像提供装置。
(付記14)
前記出力手段は、
前記合成画像を前記保存先へ出力し、
前記生成手段は、
前記合成画像の保存先を示す第2のアクセス情報を生成し、
前記出力手段は、
前記第2のアクセス情報を前記ユーザに対して提示する
付記2又は付記2を引用する付記3乃至13のいずれか1項に記載の画像提供装置。
(付記15)
前記特定の地点は、空港の搭乗ゲートである
付記1乃至14のいずれか1項に記載の画像提供装置。
(付記16)
前記特定の地点は、テーマパークの出口である
付記1乃至14のいずれか1項に記載の画像提供装置。
(付記17)
前記出力手段は、
第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を非表示、かつ、当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
付記1乃至16のいずれか1項に記載の画像提供装置。
(付記18)
前記出力手段は、
第1の撮影時刻に対応する第1の地点撮影画像を表示させた後、当該第1の地点撮影画像を表示させたままで当該第1の撮影時刻の後の第2の撮影時刻に対応する第2の地点撮影画像を表示させるように出力する
付記1乃至16のいずれか1項に記載の画像提供装置。
(付記19)
複数の地点のそれぞれに設置された複数の第1の撮影装置と、
特定の地点に設置された第2の撮影装置と、
前記複数の第1の撮影装置並びに前記第2の撮影装置と接続された画像提供装置と、
を備え、
前記画像提供装置は、
記憶手段と、
所定のユーザが前記複数の第1の撮影装置のそれぞれにより撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて前記記憶手段に登録する登録手段と、
前記第2の撮影装置により前記ユーザが撮影された第1の画像を取得する取得手段と、
前記複数の撮影画像の中から、前記第2の撮影装置により前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定手段と、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力手段と、
を備える画像提供システム。
(付記20)
前記画像提供装置は、
前記特定した2以上の地点撮影画像を含めた合成画像を生成する生成手段をさらに備え、
前記出力手段は、前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力した後、前記合成画像を出力する
付記19に記載の画像提供システム。
(付記21)
コンピュータが、
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶装置に登録し、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定し、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する、
画像提供方法。
(付記22)
所定のユーザが複数の地点のそれぞれにおいて撮影された複数の撮影画像とそれぞれの撮影時刻とを対応付けて記憶手段に登録する登録処理と、
前記複数の撮影画像の中から、特定の地点で前記ユーザが撮影された特定画像に含まれる前記ユーザの顔領域との一致度が所定値以上である顔領域を含む2以上の画像である地点撮影画像を特定する特定処理と、
前記特定した2以上の地点撮影画像について前記撮影時刻の順序で表示させるように出力する出力処理と、
をコンピュータに実行させる画像提供プログラムが格納された非一時的なコンピュータ可読媒体。
【0121】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0122】
10 画像提供装置
11 記憶部
12 登録部
13 特定部
14 生成部
15 出力部
1000 画像提供システム
100 認証装置
110 顔情報DB
111 ユーザID
112 顔特徴情報
120 顔検出部
130 特徴点抽出部
140 登録部
150 認証部
200 画像提供装置
200a 画像提供装置
200b 画像提供装置
210 記憶部
211 プログラム
211a プログラム
211b プログラム
212 履歴情報
2121 ユーザID
2121a 顔特徴情報
2122 地点ID
2123 日時
2124 撮影画像
2125 決済情報
213 地点情報
2131 地点ID
2132 アクセス情報
214 顔情報
2141 ユーザID
2142 顔特徴情報
220 メモリ
230 通信部
240 制御部
241 取得部
242 認証制御部
242a 認証制御部
242b 認証制御部
243 登録部
243a 登録部
243b 登録部
244 特定部
244a 特定部
245 生成部
246 出力部
300 画像保存サーバ
310 合成画像
400 顔認証端末
401 顔認証端末
402 顔認証端末
40n 顔認証端末
410 カメラ
420 記憶部
430 通信部
440 表示部
450 制御部
451 撮影制御部
452 登録部
453 認証制御部
454 表示制御部
455 決済部
500 ユーザ端末
510 カメラ
520 記憶部
530 通信部
540 表示部
550 制御部
551 撮影制御部
552 登録部
553 取得部
554 表示制御部
A0 地点
A1 地点
A2 地点
An 地点
610 ダウンロード案内画面
611 アクセス情報
620 合成画像
621 撮影画像
622 撮影画像
623 撮影画像
624 撮影画像
62n 撮影画像
N ネットワーク
U ユーザ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28