(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】店舗システム、処理方法及びプログラム
(51)【国際特許分類】
G07C 9/37 20200101AFI20241112BHJP
G06Q 30/06 20230101ALI20241112BHJP
A61B 5/1171 20160101ALI20241112BHJP
【FI】
G07C9/37
G06Q30/06
A61B5/1171 200
(21)【出願番号】P 2022514386
(86)(22)【出願日】2021-03-24
(86)【国際出願番号】 JP2021012195
(87)【国際公開番号】W WO2021205875
(87)【国際公開日】2021-10-14
【審査請求日】2024-02-06
(31)【優先権主張番号】P 2020070797
(32)【優先日】2020-04-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】程 悦
(72)【発明者】
【氏名】森崎 充敬
【審査官】山本 裕太
(56)【参考文献】
【文献】特開2005-056213(JP,A)
【文献】特開2002-236683(JP,A)
【文献】特開2006-244301(JP,A)
【文献】特開2006-202014(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G07C 9/37
G06Q 30/06
A61B 5/1171
(57)【特許請求の範囲】
【請求項1】
店舗入口に設置されたカメラが生成した入口画像を取得する取得手段と、
前記入口画像内で人物の顔を検出する検出手段と、
人物の顔が検出された前記入口画像を加工した加工画像を生成する加工手段と、
前記加工画像を表示手段に表示させる表示制御手段と、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断する判断手段と、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理手段と、
を有する店舗システム。
【請求項2】
前記表示手段は、前記店舗入口に設置されたカメラが撮影している人物が閲覧できるように前記加工画像を表示する請求項1に記載の店舗システム。
【請求項3】
前記所定条件は、人物の顔の所定の特徴量が抽出できていることである請求項1又は2に記載の店舗システム。
【請求項4】
前記入口画像に含まれる人物の顔から抽出される特徴量と、前記加工画像に含まれる人物の顔から抽出される特徴量とは一致しない請求項1から3のいずれか1項に記載の店舗システム。
【請求項5】
前記処理手段は、前記所定の撮影タイミングで前記表示手段が表示している前記加工画像を前記記憶手段に記憶させ、来店者に提供する処理を実行する請求項1から4のいずれか1項に記載の店舗システム。
【請求項6】
前記処理手段は、前記記憶手段に記憶されている前記入口画像及び前記加工画像を所定のタイミングで前記記憶手段から削除し、
前記加工画像を削除するタイミングは、前記入口画像を削除するタイミングよりも早い請求項5に記載の店舗システム。
【請求項7】
前記加工手段は、前記入口画像内で検出された人物の顔に基づき人物属性を推定し、推定結果に応じた手法で前記入口画像を加工する請求項1から6のいずれか1項に記載の店舗システム。
【請求項8】
コンピュータが、
店舗入口に設置されたカメラが生成した入口画像を取得し、
前記入口画像内で人物の顔を検出し、
人物の顔が検出された前記入口画像を加工した加工画像を生成し、
前記加工画像を表示手段に表示させ、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断し、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理方法。
【請求項9】
コンピュータを、
店舗入口に設置されたカメラが生成した入口画像を取得する取得手段、
前記入口画像内で人物の顔を検出する検出手段、
人物の顔が検出された前記入口画像を加工した加工画像を生成する加工手段、
前記加工画像を表示手段に表示させる表示制御手段、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断する判断手段、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、店舗システム、処理方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1は、無人店舗で利用されるシステムであって、入口で顔を撮影すると入店できるようになるシステムを開示している。
【0003】
特許文献1は、キオスク端末を操作するユーザ及びその背後にいる人物を含むように撮影した画像を解析し、不審者を検知すると、ユーザと不審者とを識別する情報を付加した画像を生成し、コールセンター等に常駐するオペレータ用のオペレータ端末に当該画像を表示する技術を開示している。
【0004】
特許文献2は、顔認証で入場制御を行う技術を開示している。
【0005】
特許文献3は、プレビュー表示において、撮影画像をそのまま表示せず、撮影画像を加工した加工画像を表示する技術を開示している。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2019-149625号公報
【文献】特開2018-128970号公報
【文献】特開2011-97519号公報
【非特許文献】
【0007】
【文献】"顔写真を撮って入店...人手不足対策でローソンが深夜無人営業の実証実験"、[online]、2019年8月23日、FNN PRIME、[2020年3月12日検索]、インターネット<URL: https://www.fnn.jp/posts/00047868HDK/201908232030_livenewsalpha_HDK>
【発明の概要】
【発明が解決しようとする課題】
【0008】
無人店舗や省人店舗では、安全な取引を確保するため、入店した人を特定するための技術が必要となる。一例として、非特許文献1に開示の技術のように顔撮影を入店の条件とする技術が考えられる。この場合、入店者の顔写真により入店した人を特定できる。しかし、入店時の顔撮影に抵抗を感じる人もいる。このため、顔撮影を入店の条件とすると、店舗利用者数が減る恐れがある。特許文献1乃至3及び非特許文献1はいずれも、当該課題を開示していない。
【0009】
本発明の課題は、顔撮影を入店の条件とすることによる店舗利用者数の減少を抑制することである。
【課題を解決するための手段】
【0010】
本発明によれば、
店舗入口に設置されたカメラが生成した入口画像を取得する取得手段と、
前記入口画像内で人物の顔を検出する検出手段と、
人物の顔が検出された前記入口画像を加工した加工画像を生成する加工手段と、
前記加工画像を表示手段に表示させる表示制御手段と、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断する判断手段と、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理手段と、
を有する店舗システムが提供される。
【0011】
また、本発明によれば、
コンピュータが、
店舗入口に設置されたカメラが生成した入口画像を取得し、
前記入口画像内で人物の顔を検出し、
人物の顔が検出された前記入口画像を加工した加工画像を生成し、
前記加工画像を表示手段に表示させ、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断し、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理方法が提供される。
【0012】
また、本発明によれば、
コンピュータを、
店舗入口に設置されたカメラが生成した入口画像を取得する取得手段、
前記入口画像内で人物の顔を検出する検出手段、
人物の顔が検出された前記入口画像を加工した加工画像を生成する加工手段、
前記加工画像を表示手段に表示させる表示制御手段、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断する判断手段、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理手段、
として機能させるプログラムが提供される。
【発明の効果】
【0013】
本発明によれば、顔撮影を入店の条件とすることによる店舗利用者数の減少が抑制される。
【図面の簡単な説明】
【0014】
【
図1】本実施形態の店舗システムの概要を説明するための図である。
【
図2】本実施形態の店舗システムのハードウエア構成の一例を示す図である。
【
図3】本実施形態の店舗システムの機能ブロック図の一例である。
【
図4】本実施形態の店舗システムが実行する画像加工の一例を説明するための図である。
【
図5】本実施形態の店舗システムが処理する情報の一例を模式的に示す図である。
【
図6】本実施形態の店舗システムの処理の流れの一例を示すフローチャートである。
【
図7】本実施形態の店舗システムの処理の流れの一例を示すフローチャートである。
【
図8】本実施形態の店舗システムの処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【0015】
<第1の実施形態>
「概要」
まず、
図1を用いて、本実施形態の店舗システムの概要を説明する。
図1には、入店制御装置20、コントローラ30、カメラ40及び表示装置50が示されている。店舗システムは、少なくともコントローラ30を有する。店舗システムは、さらに入店制御装置20、カメラ40及び表示装置50の中の少なくとも1つを有してもよい。コントローラ30と、入店制御装置20、カメラ40及び表示装置50各々とは、有線及び/又は無線で接続し、通信可能になっている。
【0016】
入店制御装置20、カメラ40及び表示装置50は、店舗の入口に設置される。入店制御装置20は、店舗への入店を制御する装置であり、例えば、ゲート、自動ドア等が例示される。カメラ40は、来店者の顔を撮影するために設置される。表示装置50は、カメラ40が生成した画像を来店者が閲覧できるように表示する。なお、「入店」は、入店制御装置20を通過し、店舗の中に入ることを意味する。「来店」は、店舗に来ることを意味し、店舗の中に入ったか否かは特に示さない。
【0017】
来店者は、入店前にカメラ40に自身の顔を撮影させる作業を行う。具体的には、まず、来店者は、カメラ40の前に自身の顔を位置させた後、表示装置50が表示している画像を閲覧し、自身の顔の位置や表情を調整する。この時、コントローラ30は、カメラ40が生成した画像をそのまま表示装置50に表示させるのでなく、その画像を加工した後の加工画像を表示装置50に表示させる。このように、入店のための撮影作業を行っている間、来店者の顔を撮影した画像そのものでなく、その画像を加工した加工画像が閲覧可能に表示されるので、来店者はその加工画像を楽しみながら、入店のための撮影作業を行うことができる。
【0018】
入店のための撮影作業が正常に完了すると、コントローラ30は、入店制御装置20を入店可能な状態にする。当該制御により、ゲート(入店制御装置20)が開いた状態になったり、自動ドア(入店制御装置20)が開いた状態になったりする。
【0019】
このような店舗システムによれば、来店者は楽しみながら入店のための撮影作業を行うことができる。このため、当該撮影作業に対する来店者の抵抗を軽減することができる。結果、顔撮影を入店の条件とすることによる店舗利用者数の減少が抑制される。
【0020】
「ハードウエア構成」
次に、店舗システムのハードウエア構成の一例を説明する。本実施形態の店舗システムが備える機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0021】
図2は、本実施形態の店舗システムのハードウエア構成を例示するブロック図である。
図2に示すように、店舗システムは、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、周辺回路4Aは有さなくてもよい。なお、店舗システムは物理的及び/又は論理的に一体となった1つの装置で構成されてもよいし、物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0022】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)等の演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)等のメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサ、入店制御装置20、カメラ40、表示装置50等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ、入店制御装置20、カメラ40、表示装置50等に情報を出力するためのインターフェイス等を含む。入力装置は、例えばキーボード、マウス、マイク、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0023】
「機能構成」
次に、店舗システム10の機能構成を説明する。
図3に、店舗システム10の機能ブロック図の一例を示す。図示するように、店舗システム10は、取得部11と、検出部12と、加工部13と、表示制御部14と、判断部15と、処理部16と、記憶部17とを有する。
【0024】
取得部11は、店舗入口に設置されたカメラ40が生成した画像(以下、「入口画像」という)を取得する。取得部11は、リアルタイム処理でカメラ40から入口画像を取得する。
【0025】
検出部12は、入口画像内で人物の顔を検出する。「画像内で人物の顔を検出する技術」は広く知られているので、ここでの説明は省略する。
【0026】
加工部13は、人物の顔が検出された入口画像を加工した加工画像を生成する。なお、加工部13は、人物の顔が検出されていない入口画像に対しては、加工処理を実行してもよいし、しなくてもよい。しかし、人物の顔が検出されていない入口画像は誰にも閲覧されない可能性が高い。このような入口画像に対する加工処理を省略することで、加工部13の処理負担を軽減できる。
【0027】
加工の内容は様々である。例えば、
図4に示すように、画像内の人物の顔部分に加工処理を行ってもよい。具体的には、入口画像に含まれる人物の顔から抽出される特徴量と、加工画像に含まれる人物の顔から抽出される特徴量とが一致しなくなるように加工処理を行ってもよい。図示する例では、加工により、人物の目の大きさが変わっている。
【0028】
その他、画像内のその他の部分(背景部分、人物の身体部分等)に加工処理を行ってもよい。例えば、背景部分にフレームや装飾等を重畳表示する加工を行ってもよいし、人物の身体部分に所定の服装(タキシード、ドレス等)を重畳表示する加工を行ってもよいし、その他の加工を行ってもよい。
【0029】
表示制御部14は、加工部13が生成した加工画像を表示装置50(表示手段)に表示させる。表示装置50は、カメラ40の前で入店のための撮影作業を行っている来店者(カメラ40が撮影している来店者)が閲覧できるように加工画像を表示する。例えば、表示装置50は、カメラ40の前で入店のための撮影作業を行っている来店者が閲覧できる位置及び向きで設置されたディスプレイであってもよい。その他、表示装置50は、カメラ40の前で入店のための撮影作業を行っている来店者が閲覧できる位置に情報を投影する投影装置であってもよい。
【0030】
判断部15は、所定の撮影タイミングで表示装置50が表示している加工画像の加工前の入口画像が所定条件を満たすか判断する。
【0031】
所定の撮影タイミングは、来店者が撮影指示を入力したタイミングであってもよい。この場合、来店者は、タッチパネル、物理ボタン、マイク、マウス、キーボード等の任意の入力装置を介して、撮影指示を入力する。その他、所定の撮影タイミングは、所定の基準時点から所定時間経過したタイミングであってもよい。所定の基準時点は、例えば、人感センサやカメラなどで来店者がカメラ40に接近したことを検知したタイミングであってもよいし、その来店者の顔を含む入口画像を加工した加工画像の表示(表示装置50による表示)を開始したタイミングであってもよいし、その他であってもよい。
【0032】
判断部15は、所定の撮影タイミングの到来を検知すると、その時点で表示装置50が表示している加工画像を特定し、次いで、特定した加工画像の加工前の入口画像を取得する。例えば、取得部11が取得した入口画像、及び、加工部13が生成した加工画像は、互いに紐づけて記憶部17に一時的に記憶されてもよい。そして、判断部15は、記憶部17に記憶されている入口画像の中から、特定した加工画像に紐づけられている入口画像を取得してもよい。その他、判断部15は、加工画像を入口画像に戻す加工を行うことで、特定した加工画像の加工前の入口画像を取得してもよい。
【0033】
判断部15は、特定した加工画像の加工前の入口画像を取得した後、取得した入口画像が所定条件を満たすか判断する。所定条件は、「入口画像の内容が個人を特定し得る内容となっていること」であり、例えば、「人物の顔の所定の特徴量が抽出できていること」、「人物の顔の所定のパーツ(目、鼻、口等)が抽出できていること」等が例示される。
【0034】
処理部16は、判断部15が所定条件を満たすと判断した場合、所定条件を満たすと判断された入口画像を記憶部17が記憶する入店者情報に登録するとともに、入店制御装置20を入店可能な状態にする。
【0035】
図5に、入店者情報の一例を模式的に示す。図示する例では、入店者を互いに識別するための入店者識別情報と、所定条件を満たすと判断された入口画像を識別する情報(ファイル名等)とが互いに紐付けて登録されている。当該入店者情報により、入店者を特定することが可能となる。
【0036】
なお、娯楽の提供を主目的として画像を加工し、閲覧可能に表示する技術の場合、撮影タイミングで表示されている加工画像が保存され、加工前の画像は保存されない。これに対し、入店者を特定するための情報(顔画像)の取得を主目的とし、撮影への抵抗を減らすために加工画像を生成し表示する店舗システム10は、撮影タイミングで表示されている加工画像の加工前の画像を保存する。この点で、娯楽の提供を主目的として画像を加工し、閲覧可能に表示する技術と、店舗システム10とは異なる。
【0037】
入店制御装置20は、店舗への入店を制御する装置であり、例えばゲートや自動ドアである。入店制御装置120、通過(店舗への入店)を許可する第1の状態(ゲートやドアが開いた状態)と、通過(店舗への入店)を拒否する第2の状態(ゲートやドアが閉じた状態)とを取り得る。そして、入店制御装置20は、処理部16が送信した制御信号(電気信号)に基づき、第1の状態及び第2の状態間を遷移する動作を実行する。
【0038】
処理部16は、判断部15が所定条件を満たすと判断した場合、第1の状態となる制御信号を入店制御装置20に送信する。入店制御装置20は当該制御信号に基づき、第1の状態となる。
【0039】
次に、
図6のフローチャートを用いて、店舗システム10の処理の流れの一例を説明する。
【0040】
まず、取得部11は、店舗入口に設置されたカメラ40が生成した画像(入口画像)を取得する(S10)。取得部11は、リアルタイム処理でカメラ40から入口画像を取得する。カメラ40は、常時画像の生成を実行していてもよい。その他、カメラ40は、人感センサ等でカメラ40前の所定位置に人物がいることを検出している間、画像の生成を実行してもよい。
【0041】
その後、検出部12は、入口画像内で人物の顔を検出する(S11)。入口画像内で人物の顔が検出されなかった場合(S11のNo)、S10に戻り同様の処理を繰り返す。
【0042】
一方、入口画像内で人物の顔が検出された場合(S11のYes)、加工部13は、その入口画像を加工して、加工画像を生成する(S12)。そして、表示制御部14は、生成された加工画像を表示装置50に表示させる(S13)。
【0043】
なお、表示制御部14は、加工画像の表示前においては、取得部11がカメラ40から取得したライブ画像(人物の顔が含まれない画像)を表示装置50に表示させていてもよいし、その他の情報(広告、天気、ニュース等)を表示させていてもよいし、何も表示させていなくてもよい。
【0044】
その後、所定の撮影タイミングとなっていなければ(S14のNo)、S10に戻り同様の処理を繰り返す。上述の通り、所定の撮影タイミングは、来店者が撮影指示を入力したタイミングであってもよいし、所定の基準時点から所定時間経過したタイミングであってもよいし、その他であってもよい。
【0045】
所定の撮影タイミングになると(S14のYes)、判断部15は、その時点で表示装置50が表示している加工画像を特定し、次いで、特定した加工画像の加工前の入口画像を取得する(S15)。そして、判断部15は、取得した入口画像が所定条件を満たすか判断する。上述の通り、所定条件は、「入口画像の内容が個人を特定し得る内容となっていること」であり、例えば、「人物の顔の所定の特徴量が抽出できていること」、「人物の顔の所定のパーツ(目、鼻、口等)が抽出できていること」等が例示される。
【0046】
取得した入口画像が所定条件を満たさない場合(S16のNo)、S10に戻り同様の処理を繰り返す。なお、この時、店舗システム10は、「正しく顔画像を撮影できませんでした。もう一度撮影し直してください。」等のエラーメッセージを表示装置50に表示させてもよい。
【0047】
一方、取得した入口画像が所定条件を満たす場合(S16のYes)、処理部16は、取得した入口画像を記憶部17が記憶する入店者情報に新たに登録する(S17)。次いで、処理部16は、入店制御装置20を入店可能な状態(ゲートやドアが開いた状態)にする制御を行う(S18)。
【0048】
「作用効果」
以上説明したように、本実施形態の店舗システム10は、来店者が入店前の顔を撮影する作業を行っている間、来店者の顔を撮影した画像そのものでなく、その画像を加工した加工画像をその来店者が閲覧できるように表示する。このような店舗システム10によれば、来店者は、加工画像を楽しみながら、入店のための撮影作業を行うことができる。このため、当該撮影作業に対する来店者の抵抗を軽減することができる。結果、顔撮影を入店の条件とすることによる店舗利用者数の減少が抑制される。
【0049】
また、店舗システム10は、入口画像に含まれる人物の顔から抽出される特徴量と、加工画像に含まれる人物の顔から抽出される特徴量とが一致しないように、画像を加工することができる。このように人物の顔を加工することで、加工画像の閲覧がより楽しくなる。結果、入店前の撮影作業に対する来店者の抵抗をより軽減することができる。
【0050】
<第2の実施形態>
本実施形態の店舗システム10は、撮影タイミングで表示されていた加工画像を保存し、顧客に提供する機能を有する点で、第1の実施形態と異なる。
【0051】
処理部16は、所定の撮影タイミングで表示装置50が表示している加工画像を記憶部17に記憶させ、来店者に提供する処理を実行する。すなわち、本実施形態の処理部16は、「所定の撮影タイミングで表示装置50が表示している加工画像」、及び、「その加工画像の加工前の入口画像」の両方を記憶部17に記憶させる。
【0052】
ここで、保存した加工画像を来店者に提供する処理の一例を説明する。なお、ここでの例示はあくまで一例であり、実現手段はこれに限定されない。
【0053】
「例1」
処理部16は、加工画像の保存場所情報(URL等)を来店者に提供する。処理部16は、保存場所情報を示すコード(2次元コード等)を作成し、表示装置50に表示させてもよい。この場合、来店者は、自身のユーザ端末を操作して当該コードを読み取る操作を行うことで、保存場所情報を取得することができる。その他、処理部16は、来店者によるユーザ端末(スマートフォン、スマートウォッチ、タブレット端末、携帯電話等)を所定位置にかざす操作に応じて、近距離無線通信で、保存場所情報を当該ユーザ端末に送信してもよい。保存場所情報を取得後、来店者は、自身のユーザ端末を操作して保存場所情報で示される保存場所にアクセスし、加工画像を取得する。
【0054】
「例2」
処理部16は、顧客識別情報の入力を受付け、その顧客識別情報で識別される顧客に対して加工画像を提供する。例えば、予め顧客識別情報とメールアドレスとが紐づけてセンタサーバに登録されていてもよい。そして、処理部16は、入力された顧客識別情報に紐づけられたメールアドレス宛で、加工画像、又は、上記保存場所情報を送信してもよい。
【0055】
その他、処理部16は、アプリやホームページのマイページ(顧客識別情報を利用したログイン後のページ)上で、加工画像や上記保存場所情報を提供してもよい。
【0056】
なお、処理部16は、入店のための撮影作業を行っている間の任意のタイミングで、加工画像の取得を希望するか否かの意思の入力を来店者から受付けてもよい。そして、希望する旨の入力を受付けた場合に、加工画像の保存、及び、来店者への提供を実行し、希望しない旨の入力を受付けた場合には、これらの処理を実行しなくてもよい。
【0057】
処理部16は、記憶部17に記憶されている入口画像及び加工画像を所定のタイミングで記憶部17から削除する。これにより、プライバシーの保護等が実現される。なお、加工画像の保存、及び、入口画像の保存の目的の違いから、各々を削除するタイミングは異なる。具体的には、加工画像を削除するタイミングは、入口画像を削除するタイミングよりも早い。
【0058】
次に、
図7のフローチャートを用いて、店舗システム10の処理の流れの一例を説明する。
【0059】
まず、取得部11は、店舗入口に設置されたカメラ40が生成した画像(入口画像)を取得する(S20)。取得部11は、リアルタイム処理でカメラ40から入口画像を取得する。カメラ40は、常時画像の生成を実行していてもよい。その他、カメラ40は、人感センサ等でカメラ40前の所定位置に人物がいることを検出している間、画像の生成を実行してもよい。
【0060】
その後、検出部12は、入口画像内で人物の顔を検出する(S21)。入口画像内で人物の顔が検出されなかった場合(S21のNo)、S20に戻り同様の処理を繰り返す。
【0061】
一方、入口画像内で人物の顔が検出された場合(S21のYes)、加工部13は、その入口画像を加工して、加工画像を生成する(S22)。そして、表示制御部14は、生成された加工画像を表示装置50に表示させる(S23)。
【0062】
なお、表示制御部14は、加工画像の表示前においては、取得部11がカメラ40から取得したライブ画像(人物の顔が含まれない画像)を表示装置50に表示させていてもよいし、その他の情報(広告、天気、ニュース等)を表示させていてもよいし、何も表示させていなくてもよい。
【0063】
その後、所定の撮影タイミングとなっていなければ(S24のNo)、S20に戻り同様の処理を繰り返す。上述の通り、所定の撮影タイミングは、来店者が撮影指示を入力したタイミングであってもよいし、所定の基準時点から所定時間経過したタイミングであってもよいし、その他であってもよい。
【0064】
所定の撮影タイミングになると(S24のYes)、判断部15は、その時点で表示装置50が表示している加工画像を特定し、次いで、特定した加工画像の加工前の入口画像を取得する(S25)。そして、判断部15は、取得した入口画像が所定条件を満たすか判断する。上述の通り、所定条件は、「入口画像の内容が個人を特定し得る内容となっていること」であり、例えば、「人物の顔の所定の特徴量が抽出できていること」、「人物の顔の所定のパーツ(目、鼻、口等)が抽出できていること」等が例示される。
【0065】
取得した入口画像が所定条件を満たさない場合(S26のNo)、S20に戻り同様の処理を繰り返す。なお、この時、店舗システム10は、「正しく顔画像を撮影できませんでした。もう一度撮影し直してください。」等のエラーメッセージを表示装置50に表示させてもよい。
【0066】
一方、取得した入口画像が所定条件を満たす場合(S26のYes)、処理部16は、取得した入口画像を記憶部17が記憶する入店者情報に新たに登録する(S27)。また、処理部16は、所定の撮影タイミングで表示装置50が表示していた加工画像を保存し、顧客に提供する処理を実行する(S28)。顧客に加工画像を提供する処理の一例は、上述の通りである。
【0067】
なお、処理部16は、入店のための撮影作業を行っている間の任意のタイミングで、加工画像の取得を希望するか否かの意思の入力を来店者から受付けてもよい。そして、希望する旨の入力を受付けた場合にS28の処理を実行し、希望しない旨の入力を受付けた場合にはS28の処理を実行しなくてもよい。
【0068】
その後、処理部16は、入店制御装置20を入店可能な状態(ゲートやドアが開いた状態)にする制御を行う(S29)。
【0069】
店舗システム10のその他の構成は、第1の実施形態と同様である。
【0070】
本実施形態の店舗システム10によれば、第1の実施形態と同様の作用効果が実現される。また、本実施形態の店舗システム10によれば、加工画像を保存し、来店者に提供することができる。これにより、来店者は、入店前の撮影作業が楽しみになる。結果、入店前の撮影作業に対する抵抗をより軽減することができる。
【0071】
<第3の実施形態>
本実施形態の店舗システム10は、入口画像に含まれる顔画像に基づき人物属性を推定し、推定結果に応じた手法で入口画像を加工する点で、第1及び第2の実施形態と異なる。
【0072】
加工部13は、入口画像内で検出された人物の顔に基づき人物属性を推定する。例えば、加工部13は、性別、年令、国籍等の、顔画像から推定可能な属性の中の任意の属性を推定する。
【0073】
そして、加工部13は、推定結果(人物属性)に応じた手法で入口画像を加工する。例えば、予め、人物属性毎に加工の手法が定められている。人物属性と加工の手法の組み合わせの例としては、人物属性「女性」かつ「10代」の場合に「髪型を角刈りにする」、人物属性「男性」かつ「10代」の場合に「髪型を三つ編みにする」、人物属性「女性」かつ「20代、30代」の場合に「目を大きくする」等が例示されるが、これらに限定されない。
【0074】
次に、
図8のフローチャートを用いて、店舗システム10の処理の流れの一例を説明する。
【0075】
まず、取得部11は、店舗入口に設置されたカメラ40が生成した画像(入口画像)を取得する(S40)。取得部11は、リアルタイム処理でカメラ40から入口画像を取得する。カメラ40は、常時画像の生成を実行していてもよい。その他、カメラ40は、人感センサ等でカメラ40前の所定位置に人物がいることを検出している間、画像の生成を実行してもよい。
【0076】
その後、検出部12は、入口画像内で人物の顔を検出する(S41)。入口画像内で人物の顔が検出されなかった場合(S41のNo)、S40に戻り同様の処理を繰り返す。
【0077】
一方、入口画像内で人物の顔が検出された場合(S41のYes)、加工部13は、その入口画像に含まれる人物の顔に基づき、その人物の人物属性を推定する(S42)。次いで、加工部13は、S42の推定結果に応じた手法でその入口画像を加工して、加工画像を生成する(S43)。そして、表示制御部14は、生成された加工画像を表示装置50に表示させる(S44)。
【0078】
なお、表示制御部14は、加工画像の表示前においては、取得部11がカメラ40から取得したライブ画像(人物の顔が含まれない画像)を表示装置50に表示させていてもよいし、その他の情報(広告、天気、ニュース等)を表示させていてもよいし、何も表示させていなくてもよい。
【0079】
その後、所定の撮影タイミングとなっていなければ(S45のNo)、S40に戻り同様の処理を繰り返す。上述の通り、所定の撮影タイミングは、来店者が撮影指示を入力したタイミングであってもよいし、所定の基準時点から所定時間経過したタイミングであってもよいし、その他であってもよい。
【0080】
所定の撮影タイミングになると(S45のYes)、判断部15は、その時点で表示装置50が表示している加工画像を特定し、次いで、特定した加工画像の加工前の入口画像を取得する(S46)。そして、判断部15は、取得した入口画像が所定条件を満たすか判断する。上述の通り、所定条件は、「入口画像の内容が個人を特定し得る内容となっていること」であり、例えば、「人物の顔の所定の特徴量が抽出できていること」、「人物の顔の所定のパーツ(目、鼻、口等)が抽出できていること」等が例示される。
【0081】
取得した入口画像が所定条件を満たさない場合(S47のNo)、S40に戻り同様の処理を繰り返す。なお、この時、店舗システム10は、「正しく顔画像を撮影できませんでした。もう一度撮影し直してください。」等のエラーメッセージを表示装置50に表示させてもよい。
【0082】
一方、取得した入口画像が所定条件を満たす場合(S47のYes)、処理部16は、取得した入口画像を記憶部17が記憶する入店者情報に新たに登録する(S48)。次いで、処理部16は、入店制御装置20を入店可能な状態(ゲートやドアが開いた状態)にする制御を行う(S49)。
【0083】
なお、S48の後に、第2の実施形態で説明した「撮影タイミングで表示装置50が表示している加工画像を保存し、来店者に提供するための処理(
図7のS28)」を実行してもよい。
【0084】
ここで、本実施形態の変形例を説明する。
【0085】
表示装置50は、加工の手法を選択可能に表示してもよい。そして、加工部13は、選択された手法で入口画像を加工してもよい。
【0086】
また、記憶部17が記憶する入店者情報において、各来店者に紐づけて、実行した加工の手法が登録されてもよい。そして、加工部13は、次回の来店時には、過去に行った手法と異なる手法で入口画像を加工してもよい。なお、来店者の顔画像の特徴量に基づき、来店者情報に登録されている情報の中から各来店者の過去の来店時の情報を取り出すことができる。
【0087】
店舗システム10のその他の構成は、第1及び第2の実施形態と同様である。
【0088】
本実施形態の店舗システム10によれば、第1及び第2の実施形態と同様の作用効果が実現される。また、本実施形態の店舗システム10によれば、すべての来店者に対して同様の手法で画像を加工するのでなく、来店者の人物属性に応じた手法で加工することができる。各来店者に適した手法で画像を加工できるので、加工画像への満足度が高まる。これにより、来店者は、入店前の撮影作業が楽しみになる。結果、入店前の撮影作業に対する抵抗をより軽減することができる。
【0089】
<変形例>
ここで、すべての実施形態に適用可能な変形例を説明する。上記実施形態で説明したように、入店のための撮影作業を行っている間、来店者の顔を撮影した画像そのものでなく、その画像を加工した加工画像を閲覧可能に表示させる場合、集団(家族、仲間等)で来店した複数の来店者は互いの加工画像を閲覧して楽しむことを希望すると考えられる。それにも関わらず、1人ずつ撮影及び入店を行う構成となると利便性が悪い。
【0090】
そこで、店舗システム10は、来店者の人数を指定する入力を来店者から受付ける手段を有してもよい。そして、処理部16は、指定された人数分の入口画像を入店者情報に登録したことに応じて、入店制御装置20を入店可能な状態にしてもよい。
【0091】
集団の来店者が撮影作業を行っている時に、各来店者の入口画像を入店者情報に登録する毎に入店制御装置20を入店可能な状態にしていると、各来店者は自身の撮影作業が終わったことに応じて入店制御装置20が入店可能な状態になったときに入店しないといけないのではと考えてしまう。また、不要なタイミングで入店制御装置20を入店可能な状態にすると、関係ない人がその隙に入店してしまうという不都合や、入店制御装置20を不要に動作させることにより処理負担が増加する等の不都合が発生し得る。当該変形例のように、指定された人数分の入口画像を入店者情報に登録したことに応じて入店制御装置20を入店可能な状態にする構成の場合、当該不都合を軽減できる。
【0092】
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
【0093】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
1. 店舗入口に設置されたカメラが生成した入口画像を取得する取得手段と、
前記入口画像内で人物の顔を検出する検出手段と、
人物の顔が検出された前記入口画像を加工した加工画像を生成する加工手段と、
前記加工画像を表示手段に表示させる表示制御手段と、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断する判断手段と、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理手段と、
を有する店舗システム。
2. 前記表示手段は、前記店舗入口に設置されたカメラが撮影している人物が閲覧できるように前記加工画像を表示する1に記載の店舗システム。
3. 前記所定条件は、人物の顔の所定の特徴量が抽出できていることである1又は2に記載の店舗システム。
4. 前記入口画像に含まれる人物の顔から抽出される特徴量と、前記加工画像に含まれる人物の顔から抽出される特徴量とは一致しない1から3のいずれかに記載の店舗システム。
5. 前記処理手段は、前記所定の撮影タイミングで前記表示手段が表示している前記加工画像を前記記憶手段に記憶させ、来店者に提供する処理を実行する1から4のいずれかに記載の店舗システム。
6. 前記処理手段は、前記記憶手段に記憶されている前記入口画像及び前記加工画像を所定のタイミングで前記記憶手段から削除し、
前記加工画像を削除するタイミングは、前記入口画像を削除するタイミングよりも早い5に記載の店舗システム。
7. 前記加工手段は、前記入口画像内で検出された人物の顔に基づき人物属性を推定し、推定結果に応じた手法で前記入口画像を加工する1から6のいずれかに記載の店舗システム。
8. コンピュータが、
店舗入口に設置されたカメラが生成した入口画像を取得し、
前記入口画像内で人物の顔を検出し、
人物の顔が検出された前記入口画像を加工した加工画像を生成し、
前記加工画像を表示手段に表示させ、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断し、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理方法。
9. コンピュータを、
店舗入口に設置されたカメラが生成した入口画像を取得する取得手段、
前記入口画像内で人物の顔を検出する検出手段、
人物の顔が検出された前記入口画像を加工した加工画像を生成する加工手段、
前記加工画像を表示手段に表示させる表示制御手段、
所定の撮影タイミングで前記表示手段が表示している前記加工画像の加工前の前記入口画像が所定条件を満たすか判断する判断手段、
前記所定条件を満たす場合、前記所定条件を満たすと判断された前記入口画像を記憶手段が記憶する入店者情報に登録するとともに、店舗入口に設置された入店制御装置を入店可能な状態にする処理手段、
として機能させるプログラム。
【0094】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0095】
この出願は、2020年4月10日に出願された日本出願特願2020-070797号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【0096】
1A プロセッサ
2A メモリ
3A 入出力I/F
4A 周辺回路
5A バス
10 店舗システム
11 取得部
12 検出部
13 加工部
14 表示制御部
15 判断部
16 処理部
17 記憶部
20 入店制御装置
30 コントローラ
40 カメラ
50 表示装置