(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】決済システム、決済方法、及びコンピュータプログラム
(51)【国際特許分類】
G06Q 20/30 20120101AFI20240910BHJP
G06Q 20/20 20120101ALI20240910BHJP
【FI】
G06Q20/30
G06Q20/20 340
(21)【出願番号】P 2023504886
(86)(22)【出願日】2021-03-08
(86)【国際出願番号】 JP2021008957
(87)【国際公開番号】W WO2022190164
(87)【国際公開日】2022-09-15
【審査請求日】2023-07-03
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100104765
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100107331
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100131015
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】小勝 俊亘
(72)【発明者】
【氏名】大網 亮磨
(72)【発明者】
【氏名】田中 秀和
(72)【発明者】
【氏名】山崎 ゆり子
【審査官】深津 始
(56)【参考文献】
【文献】特開2020-166642(JP,A)
【文献】特開2005-242677(JP,A)
【文献】米国特許出願公開第2015/0358594(US,A1)
【文献】国際公開第2019/150807(WO,A1)
【文献】大網 亮麿,顔と虹彩をワンアクションで認証できる高精度な生体認証技術,[online],日本,日本電気株式会社,2020年05月14日,1-3,[検索日 2021.06.01], インターネット:<URL: https://jpn.nec.com/rd/technologies/202004/index.html>,第2ページ第14~18行, 写真「顔と虹彩により本人認証OKシーン」
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 -G06Q 99/00
(57)【特許請求の範囲】
【請求項1】
商品を読み取る商品読取手段と、
読み取った前記商品に関する商品情報を取得する商品情報取得手段と、
前記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段と、
前記確認情報に対する前記顧客からの入力を受け付ける受付手段と、
前記入力に基づき、前記顧客に決済の意思があることを判定する判定手段と、
前記顧客の顔画像
及び虹彩画像を含む生体情報を取得する
生体情報取得手段と、
前記虹彩画像から推定した前記顧客の視線の動きに基づいて、前記顧客の生体らしさを判定する生体判定手段と、
前記判定手段が、前記顧客に決済の意思があると判定した場合、前記
生体情報に基づいて、
生体認証処理を実行する認証手段と、
前記認証手段の認証結果と、前記生体判定手段の判定結果と、前記商品情報と、に基づき、前記商品の決済処理を実行する決済処理手段と
を備え
、
前記認証手段は、前記生体らしさが所定閾値より高い場合には、前記顔画像に基づいて前記生体認証処理を実行し、前記生体らしさが前記所定閾値より低い場合には、前記顔画像及び前記虹彩画像に基づいて前記生体認証処理を実行する
ことを特徴とする決済システム。
【請求項2】
前記
生体情報取得手段は、一体的に駆動する顔カメラ及び虹彩カメラから、前記顔画像及び前記虹彩画像を取得することを特徴とする請求項1に記載の決済システム。
【請求項3】
前記商品読取手段は、前記
生体情報取得手段が前記顔画像を取得する顔カメラを用いて前記商品を読み取り、
前記顔カメラは、前記商品を読み取る際に少なくとも1方向に駆動して撮像範囲を変更する
ことを特徴とする請求項1又は2に記載の決済システム。
【請求項4】
前記受付手段は、前記顔画像及び前記虹彩画像の少なくとも一方から推定した前記顧客の視線方向に基づいて、前記顧客からの入力を受け付けることを特徴とする請求項1から3のいずれか一項に記載の決済システム。
【請求項5】
前記確認情報出力手段は、前記決済の意思に対応する少なくとも1つの注視領域を表示させ、
前記受付手段は、前記顧客が注視している前記注視領域に対応する情報を、前記顧客からの入力として受け付ける
ことを特徴とする請求項4に記載の決済システム。
【請求項6】
前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の外側から前記注視領域に向けて徐々に収束する枠を表示させることを特徴とする請求項5に記載の決済システム。
【請求項7】
前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の色を画面外側に向けて徐々に変化させることを特徴とする請求項5又は6に記載の決済システム。
【請求項8】
少なくとも1つのコンピュータによって、
商品を読み取り、
読み取った前記商品に関する商品情報を取得し、
前記商品の決済の意思を顧客に確認するための確認情報を出力し、
前記確認情報に対する前記顧客からの入力を受け付け、
前記入力に基づき、前記顧客に決済の意思があることを判定し、
前記顧客の顔画像
及び虹彩画像を含む生体情報を取得し、
前記虹彩画像から推定した前記顧客の視線の動きに基づいて、前記顧客の生体らしさを判定し、
前記顧客に決済の意思があると判定した場合、前記
生体情報に基づいて、
生体認証処理を実行し、
前記生体認証処理の認証結果と、前記生体らしさの判定結果と、前記商品情報と、に基づき、前記商品の決済処理を実行
し、
前記生体認証処理は、前記生体らしさが所定閾値より高い場合には、前記顔画像に基づいて実行され、前記生体らしさが前記所定閾値より低い場合には、前記顔画像及び前記虹彩画像に基づいて実行される
ことを特徴とする決済方法。
【請求項9】
商品を読み取り、
読み取った前記商品に関する商品情報を取得し、
前記商品の決済の意思を顧客に確認するための確認情報を出力し、
前記確認情報に対する前記顧客からの入力を受け付け、
前記入力に基づき、前記顧客に決済の意思があることを判定し、
前記顧客の顔画像
及び虹彩画像を含む生体情報を取得し、
前記虹彩画像から推定した前記顧客の視線の動きに基づいて、前記顧客の生体らしさを判定し、
前記顧客に決済の意思があると判定した場合、前記
生体情報に基づいて、
生体認証処理を実行し、
前記生体認証処理の認証結果と、前記生体らしさの判定結果と、前記商品情報と、に基づき、前記商品の決済処理を実行
し、
前記生体認証処理は、前記生体らしさが所定閾値より高い場合には、前記顔画像に基づいて実行され、前記生体らしさが前記所定閾値より低い場合には、前記顔画像及び前記虹彩画像に基づいて実行される
ようにコンピュータを動作させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、商品の決済処理を行う決済システム、決済方法、及びコンピュータプログラムの技術分野に関する。
【背景技術】
【0002】
人物等の対象者を認証可能な認証装置の一例として、複数の生体情報を用いた認証処理(即ち、複合型の生体認証、或いはマルチモーダル生体認証)を行う認証装置が知られている。例えば特許文献1では、複数の生体認証器からの出力を融合して認証処理を行う技術が開示されている。特許文献2では、2つの認証方法の認証度を重み付け加算し、その結果として得られた認証度に基づいて本人確認を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-10625号公報
【文献】特開2009-237643号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
この開示は、例えば上記各引用文献に鑑みてなされたものであり、商品の決済処理を適切に実行することが可能な決済システム、決済方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
この開示の決済システムの一の態様は、商品を読み取る商品読取手段と、読み取った前記商品に関する商品情報を取得する商品情報取得手段と、前記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段と、前記確認情報に対する前記顧客からの入力を受け付ける受付手段と、前記顧客の顔画像を取得する顔取得手段と、前記顧客の虹彩画像を取得する虹彩取得手段と、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する決済処理手段とを備える。
【0006】
この開示の決済方法の一の態様は、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する。
【0007】
この開示のコンピュータプログラムの一の態様は、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行するようにコンピュータを動作させる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態に係る決済システムのハードウェア構成を示すブロック図である。
【
図2】第1実施形態に係る決済システムの機能的構成を示すブロック図である。
【
図3】第1実施形態に係る決済システムの動作の流れを示すフローチャートである。
【
図4】第2実施形態に係るカメラの構成を示す概略図(その1)である。
【
図5】第2実施形態に係るカメラの構成を示す概略図(その2)である。
【
図6】顔カメラの撮像範囲と虹彩カメラの撮像範囲との関係を示す平面図である。
【
図7】照明部に設けられる可視光フィルタの一例を示す概略図である。
【
図8】モータが装置外部の固定部に固定される構成を示す概略図である。
【
図9】第2実施形態に係るカメラの駆動方向を示す概念図である。
【
図10】第2実施形態に係るカメラの動作の流れを示すフローチャートである。
【
図11】顔位置に基づく撮像範囲の調整方法の一例を示す概念図である。
【
図12】第3実施形態に係る決済システムの機能的構成を示すブロック図である。
【
図13】商品を読み取る際の表示例を示す概念図である。
【
図14】第4実施形態に係る決済システムの機能的構成を示すブロック図である
【
図15】第4実施形態に係る決済システムの動作の流れを示すフローチャートである。
【
図16】第5実施形態に係る決済システムの機能的構成を示すブロック図である。
【
図18】カメラの位置を考慮した注視領域の表示例を示す概念図である。
【
図19】第6実施形態に係る決済システムの機能的構成を示すブロック図である。
【
図20】注視領域に徐々に収束する枠の表示例を示す概念図である。
【
図21】第7実施形態に係る決済システムの機能的構成を示すブロック図である。
【
図22】注視領域の色を画面外側に向けて徐々に変化させる表示例を示す概念図である。
【
図23】第8実施形態に係る決済システムの機能的構成を示すブロック図である。
【
図24】第8実施形態に係る決済システムの動作の流れを示すフローチャートである。
【
図25】決済意思の最終確認をする際の表示例を示す概念図である。
【
図26】カメラとの距離を適正範囲にする際の表示例を示す概念図である。
【
図27】虹彩認証する際の視線方向を通知するための表示例を示す概念図である。
【
図28】装着物の取り外しを促すための表示例を示す概念図である。
【
図29】目を開くように通知するための表示例を示す概念図である。
【
図31】キャンセルボタンの表示例を示す概念図である。
【
図32】キャンセル後の表示例を示す概念図である。
【
図33】個数変更ボタンの表示例を示す概念図である。
【
図34】金額変更ボタンの表示例を示す概念図である。
【
図35】年齢確認が必要な商品がある場合の表示例を示す概念図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、決済システム、決済方法、及びコンピュータプログラムの実施形態について説明する。
【0010】
<第1実施形態>
第1実施形態に係る決済システムについて、
図1から
図3を参照して説明する。
【0011】
(ハードウェア構成)
まず、
図1を参照しながら、第1実施形態に係る決済システム10のハードウェア構成について説明する。
図1は、第1実施形態に係る決済システムのハードウェア構成を示すブロック図である。
【0012】
図1に示すように、第1実施形態に係る決済システム10は、プロセッサ11と、RAM(Random Access Memory)12と、ROM(Read Only Memory)13と、記憶装置14とを備えている。決済システム10は更に、入力装置15と、出力装置16と、カメラ20とを備えていてもよい。プロセッサ11と、RAM12と、ROM13と、記憶装置14と、入力装置15と、出力装置16と、カメラ20とは、データバス17を介して接続されている。
【0013】
プロセッサ11は、コンピュータプログラムを読み込む。例えば、プロセッサ11は、RAM12、ROM13及び記憶装置14のうちの少なくとも一つが記憶しているコンピュータプログラムを読み込むように構成されている。或いは、プロセッサ11は、コンピュータで読み取り可能な記録媒体が記憶しているコンピュータプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。プロセッサ11は、ネットワークインタフェースを介して、決済システム10の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい(つまり、読み込んでもよい)。プロセッサ11は、読み込んだコンピュータプログラムを実行することで、RAM12、記憶装置14、入力装置15及び出力装置16を制御する。本実施形態では特に、プロセッサ11が読み込んだコンピュータプログラムを実行すると、プロセッサ11内には、商品の決済に関する処理を実行するための機能ブロックが実現される。また、プロセッサ11として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(field-programmable gate array)、DSP(Demand-Side Platform)、ASIC(Application Specific Integrated Circuit)のうち一つを用いてもよいし、複数を並列で用いてもよい。
【0014】
RAM12は、プロセッサ11が実行するコンピュータプログラムを一時的に記憶する。RAM12は、プロセッサ11がコンピュータプログラムを実行している際にプロセッサ11が一時的に使用するデータを一時的に記憶する。RAM12は、例えば、D-RAM(Dynamic RAM)であってもよい。
【0015】
ROM13は、プロセッサ11が実行するコンピュータプログラムを記憶する。ROM13は、その他に固定的なデータを記憶していてもよい。ROM13は、例えば、P-ROM(Programmable ROM)であってもよい。
【0016】
記憶装置14は、決済システム10が長期的に保存するデータを記憶する。記憶装置14は、プロセッサ11の一時記憶装置として動作してもよい。記憶装置14は、例えば、ハードディスク装置、光磁気ディスク装置、SSD(Solid State Drive)及びディスクアレイ装置のうちの少なくとも一つを含んでいてもよい。
【0017】
入力装置15は、決済システム10のユーザからの入力指示を受け取る装置である。入力装置15は、例えば、キーボード、マウス及びタッチパネルのうちの少なくとも一つを含んでいてもよい。
【0018】
出力装置16は、決済システム10に関する情報を外部に対して出力する装置である。例えば、出力装置16は、決済システム10に関する情報を表示可能な表示装置(例えば、ディスプレイ)であってもよい。
【0019】
カメラ20は、生体の虹彩や顔を撮像可能なカメラである。カメラ20は、例えば近赤外線カメラとして構成されてよい。カメラ20は、その撮像範囲に生体の顔周辺が含まれるような位置に配置されていればよい。カメラ20は、静止画を撮像するカメラであってもよいし、動画を撮像するカメラであってもよい。また、カメラは後述するように、1台だけでなく2台あってもよい。そして、一台は可視光のカメラで、もう一台は近赤外のカメラというように、撮像する光の波長帯が異なっており、可視光のカメラで顔が撮像可能であり、近赤外のカメラで虹彩が撮像可能になっていてもよい。あるいは、両方とも近赤外のカメラであってもよいし、両方とも可視光カメラであってもよい。
【0020】
(機能的構成)
次に、
図2を参照しながら、第1実施形態に係る決済システム10の機能的構成について説明する。
図2は、第1実施形態に係る決済システムの機能的構成を示すブロック図である。
【0021】
図2に示すように、第1実施形態に係る決済システム10は、その機能を実現するための処理ブロックとして、商品読取部110と、商品情報取得部120と、確認情報出力部130と、入力受付部140と、顔画像取得部150と、虹彩画像取得部160と、決済処理部170とを備えて構成されている。商品読取部110、商品情報取得部120、確認情報出力部130、入力受付部140、顔画像取得部150、虹彩画像取得部160、及び決済処理部170の各々は、例えば上述したプロセッサ11において実現されてよい。また、商品読取部110、顔画像取得部150、及び虹彩画像取得部160は、上述したカメラ20を含んで構成されてよい。入力受付部140は、上述した入力装置15やカメラ20を含んで構成されてよい。確認情報出力部130は、上述した出力装置16(より具体的には、ディスプレイ等の表示装置)を含んで構成されてよい。
【0022】
商品読取部110は、商品を読み取り可能に構成されている。例えば、商品読取部110は、カメラ20を用いて商品の画像を取得することで、商品を読取り可能に構成されてよい。或いは、商品読取部110は、各種リーダやスキャナ(例えば、バーコードスキャナ等)を用いて商品を読取り可能に構成されてもよい。商品読取部110は、所定の位置に置かれた商品を読取り可能に構成されてもよいし、顧客が持ったままの商品を読取り可能に構成されてもよい。
【0023】
商品情報取得部120は、商品読取部110で読み取った商品に関する商品情報を取得可能に構成されている。商品情報の一例としては、例えば、バーコード情報、価格、品名、在庫数等が挙げられる。商品情報取得部120は、予め商品情報が記憶されたデータベース等から商品情報を読み出して取得してよい。
【0024】
確認情報出力部130は、商品読取部110で読み取った商品について、顧客の決済意思(即ち、その商品を購入する意思があるか否か)を確認するための確認情報を出力可能に構成されている。確認情報出力部130は、例えば表示装置等を用いて画像情報を出力するように構成されてもよい。確認情報出力部130は、例えばスピーカ等を用いて音声情報を出力するように構成されてもよい。確認情報の具体例については、後述する他の実施形態において詳しく説明する。
【0025】
入力受付部140は、確認情報に対する顧客からの入力(言い換えれば、決済の意思に関する情報)を受付可能に構成されている。入力受付部140は、例えばカメラを用いて顧客からの入力を受け付けてもよい。入力受付部140は、例えば入力装置15を用いて顧客からの入力を受け付けてもよい。顧客からの入力を受け付ける具体的な方法については、後述する他の実施形態において詳しく説明する。
【0026】
顔画像取得部150は、顧客の顔画像を取得可能に構成されている。顔画像は、顧客の顔を含む画像であり、典型的には顔全体が収まるように撮像された画像である。また、顔画像は、顧客の顔以外の部分を含む画像であってもよい。顔画像取得部150は、カメラ20で撮像された画像を、顔画像として取得してよい。
【0027】
虹彩画像取得部160は、顧客の虹彩画像を取得可能に構成されている。虹彩画像は、顧客の虹彩を含む画像であり、典型的には虹彩の模様が分かる程度に高精細な画像である。また、虹彩顔画像は、顧客の虹彩以外の部分を含む画像であってもよい。虹彩画像取得部160は、カメラ20で撮像された画像を、虹彩画像として取得してよい。この場合、カメラ20は、上述した顔画像及び虹彩画像の各々を撮像する複数のカメラを備えていてよい。このようなカメラ20の具体例については、後述する他の実施形態で詳しく説明する。
【0028】
決済処理部170は、商品読取部110で読み取った商品の決済処理を実行可能に構成されている。決済処理部170は、入力受付部140で受け付けた顧客からの入力と、顔画像取得部150で取得された顔画像及び虹彩画像取得部160で取得された虹彩画像の少なくとも一方とに基づいて、決済処理を実行する。決済処理部170は、例えば入力受付部140で受け付けた顧客からの入力に基づいて、決済処理を実行するか否かを判定してもよい。また、決済処理部170は、顔画像取得部150で取得された顔画像及び虹彩画像取得部160で取得された虹彩画像の少なくとも一方とに基づいて、認証処理(即ち、本人確認)を行ってもよい。なお、決済サービスのデータベースには、顧客の生体情報(例えば、認証処理に用いた顔画像や虹彩画像等に関する情報)と、金融機関の情報とが関連づいて記憶されていてもよい。この場合、認証処理後の決済処理では、認証処理で特定した顧客の金融機関の口座から決済金額が引き落とされる。また、顧客の生体情報が、上述した金融機関の情報に代えて、クレジットカードの情報、電子決済サービスのアカウント情報(この場合、チャージされている残高からの引き落とし)、携帯電話の電話番号等(この場合、携帯電話の使用料と合算されての請求)に関連づいて記憶されてもよい。更に、これらのうち複数の決済方法が顧客の生体情報に関連づいている場合には、後述する他の実施形態で説明するように、決済方法を視線方向推定により選択させる画面を表示して、決済方法をユーザに選択させてもよい。
【0029】
(動作の流れ)
次に、
図3を参照しながら、第1実施形態に係る決済システム10の動作の流れについて説明する。
図3は、第1実施形態に係る決済システムの動作の流れを示すフローチャートである。
【0030】
図3に示すように、第1実施形態に係る決済システム10が動作する際には、まず商品読取部110が商品を読み取る(ステップS101)。そして、商品情報取得部120が、商品読取部110で読み取った商品の商品情報を取得する(ステップS102)。なお、上述したステップS101及びステップS102の処理は、複数の商品について、まとめて実行されてもよい。
【0031】
続いて、確認情報出力部130が、決済の意思を確認するための確認情報を出力する(ステップS103)。そして、入力受付部140は、顧客からの入力に基づいて、顧客に生体認証を用いた決済の意思があるか否かを判定する(ステップS104)。ここで判定される決済の意思は、例えば読みとった商品が正しいか否か(例えば、足りない商品がないか、或いは不要な商品が読み取られていなか等)を確認するものであってよい。なお、入力受付部140は、顧客からの入力があった場合に決済の意思があると判定し、顧客からの入力がなかった場合に決済の意思がないと判定してもよい。
【0032】
顧客に生体認証を用いた決済の意思がないと判定された場合(ステップS104:NO)、一連の処理は終了する。即ち、決済処理部170は、顧客に生体認証を用いて商品を購入する意思がないと判断し、決済処理を実行せずに動作を終了する。この場合は、顧客は決済を中止するか、あるいは、生体認証以外の手段で決済する。一方で、顧客に生体認証を用いた決済の意思があると判定された場合(ステップS104:YES)、顔画像取得部150が顧客の顔画像を取得する(ステップS105)。また、虹彩画像取得部160が顧客の虹彩画像を取得する(ステップS106)。そして、決済処理部170は、取得した顔画像及び虹彩画像の少なくとも一方に基づいて、顧客の認証処理を実行する(ステップS107)。なお、顔画像及び虹彩画像を用いた認証処理については、既存の技術を適宜採用することができるため、ここでの詳しい説明は省略する。また、ステップS105とステップS106は同時に行ってもよい。
【0033】
顧客の認証処理が成功しなかった場合(ステップS107:NO)、一連の処理は終了する。即ち、決済処理部170は、顧客が本人ではない(例えば、なりすましである)と判断し、決済処理を実行せずに動作を終了する。あるいは、再度生体認証による決済を行うかどうか顧客に確認するようにしてもよい。一方で、顧客の認証処理が成功した場合(ステップS107:YES)、決済処理部170は、商品情報を用いて商品の決済処理を実行する(ステップS108)。
【0034】
なお、上述した例では、決済意思を確認する処理(即ち、ステップS104)を、商品を読み取った後に(即ち、ステップS101の後に)実行しているが、商品を読み取る前に実行してもよい。また、決済意思を確認する処理を、認証処理の後に(即ち、ステップS107の後に)実行してもよい。また、決済意思を確認する処理は、複数段階で実行されてもよい。例えば、上述した例のように認証処理の前に決済意思を確認する処理を行った後、認証処理の後に再び決済意思を確認する処理を行ってもよい。認証処理の前後で決済意思を確認する場合、その内容は、互いに異なるものであってもよい。例えば、認証処理前の決済意思確認が、上述したように、読み取った商品が正しいか否かを確認するものである一方で、認証処理後の決済意思確認は、生体認証の認証結果が正しいか否かを顧客本人に確認するものであってよい。この場合、本人確認と同時に自動的に決済処理が行われるようにしてもよいし、本人確認後に決済方法を顧客に選択してもらうようにしてもよい。例えば、生体情報と紐付けられた決済方法で決済するのか、それとも他の方法で決済するのかを顧客に選択してもらうようにしてもよい。
【0035】
(技術的効果)
次に、第1実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0036】
図1から
図3で説明したように、第1実施形態に係る決済システム10では、顧客の生体認証による決済意思が確認され、且つ、顧客の認証処理が成功した場合に、商品の決済処理が実行される。このようにすれば、不適切な決済処理が実行されてしまうことを回避可能である。例えば、顧客に決済の意思がないにもかかわらず決済処理が実行されてしまったり、顧客になりすました他人によって決済処理が実行されてしまったりすることを回避できる。
【0037】
<第2実施形態>
第2実施形態に係る決済システム10について、
図4から
図11を参照して説明する。なお、第2実施形態は、決済システム10で用いられるカメラ20について詳しく説明するものであり、システム全体の構成や動作の流れ等については、第1実施形態(
図1から
図3参照)と同一であってよい。このため、以下では、すでに説明した第1実施形態と重複する部分について適宜説明を省略するものとする。
【0038】
(カメラの構成)
第2実施形態に係る決済システムで用いられるカメラ20の構成について、
図4から
図9を参照しながら説明する。
図4は、第2実施形態に係るカメラの構成を示す概略図(その1)である。
図5は、第2実施形態に係るカメラの構成を示す概略図(その2)である。
図6は、顔カメラの撮像範囲と虹彩カメラの撮像範囲との関係を示す平面図である。
図7は、照明部に設けられる可視光フィルタの一例を示す概略図である。
図8は、モータが装置外部の固定部に固定される構成を示す概略図である。
図9は、第2実施形態に係るカメラの駆動方向を示す概念図である。なお、
図4から
図9では、説明の便宜上、主な構成要素のみを図示し、本実施形態に関連の薄い構成要素についての図示を省略している。
図4は、認証用撮像装置を前面側(言い換えれば、撮像対象者側)から見た図であり、
図5は、認証用撮像装置を後面側(即ち、
図1とは反対側)から見た図である。
【0039】
図4及び
図5に示すように、第2実施形態に係る決済システム10が備えるカメラ20は、虹彩カメラ210と、顔カメラ220と、照明部230と、保持部250と、空冷ファン260と、モータ270とを備えている。
【0040】
顔カメラ220は、顔認証に用いる顔画像を撮像するための可視光カメラとして構成されている。虹彩カメラ210は、虹彩認証に用いる虹彩画像を撮像するための近赤外カメラとして構成されており、顔カメラ220と比較すると撮像範囲(視野とも呼ぶ)が狭い。顔カメラ220と虹彩カメラ210とは、撮像範囲が重なるように配置されており、例えば、顔カメラ220の撮像範囲の中心付近に虹彩カメラ210の撮像範囲が位置するように調整されている(
図6参照)。顔カメラ220及び虹彩カメラ210は、カメラユニット225として一体的に構成されている。顔カメラ220及び虹彩カメラ210は、保持部250に固定されており、後述するモータ270によって一体的に駆動可能とされている。
【0041】
照明部230は、虹彩カメラ210の撮像を補助する照明光(即ち、近赤外光)を照射可能に構成されている。なお、照明部230には、照明光(即ち、近赤外光)を透過する一方で、可視光の透過率が低い可視光カットフィルタが設けられていてもよい。可視光カットフィルタは、照明部230の光源の少なくとも一部(望ましくは全体)を覆うように設けられる(
図7参照)。この場合、照明部230側から、カメラ20の外部(言い換えれば、撮像対象者側)に抜けていく可視光を少なくすることができる。この結果、カメラ20の外部から、照明部230の存在を認識し難くすることができる。照明部230は、顔カメラ220及び虹彩カメラ210と共に保持部250に固定されており、後述するモータ270によって、顔カメラ220及び虹彩カメラ210と一体的に駆動可能とされている。
【0042】
空冷ファン260は、カメラ20を冷却するために送風を行うファンである。空冷ファン260は、保持部250に固定されていてもよいし、固定されていなくともよい。言い換えれば、空冷ファン260は、顔カメラ220、虹彩カメラ210、及び照明部230と一体的に駆動可能とされてもよいし、一体的に駆動されないように構成されてもよい(この場合、空冷ファン260は、保持部250以外の固定部材(例えば、装置外部の部材)に固定されていればよい)。なお、冷却が不要な場合には、空冷ファン260はなくてもよい。
【0043】
モータ270は、カメラユニット225(言い換えれば、顔カメラ220及び虹彩カメラ210)に連結されており、顔カメラ220、虹彩カメラ210、及び照明部230の各々の向きを上下方向(図中の矢印参照)に一体的に駆動することが可能である。具体的には、モータ270が駆動すると、顔カメラ220及び虹彩カメラ210が同軸上で回転するように駆動され、顔カメラ220及び虹彩カメラ210の撮像範囲が上下方向に同じ角度だけ変更される。なお、ここでのモータの駆動方向はあくまで一例であり、顔カメラ220、虹彩カメラ210、及び照明部230は、上下方向以外の方向に駆動されてもよい。また、モータ270が複数の駆動軸を有することで、より複雑な動きが実現されてもよい。
【0044】
モータ270は、保持部250に固定されていてもよいし、固定されていなくともよい。モータ270が保持部250に固定されていない場合、モータ270が駆動してもモータ270自身は動かず、保持部250に固定された、顔カメラ220、虹彩カメラ210、及び照明部230が動く。この場合、モータ270は、例えば筐体280等に固定されていればよい。一方で、モータ270が保持部250に固定されている場合、保持部250に固定された、顔カメラ220、虹彩カメラ210、及び照明部230と一緒にモータ270自身も動く(この場合、モータの駆動軸は装置外部と連結されていればよい)。この場合、モータ270の駆動軸は、例えば装置外部の固定部275に固定されていればよい(
図8参照)。
【0045】
図9に示すように、顔カメラ220、虹彩カメラ210、照明部230、保持部250、空冷ファン260、及びモータ270は、円筒形の筐体280の内部に配置される。そして特に、
図9に示すように、モータ270による駆動は、筐体280の中心軸(即ち、円筒形の中心軸)を回転軸とする回転動作である。このようにすれば、顔カメラ220及び虹彩カメラ210を筐体280内部でスムーズに駆動することができる。なお、モータ270が駆動されても、筐体280の内部の顔カメラ220や虹彩カメラ210が動くのみで、筐体280自身は動かない。この構成は、例えば、チルト機構によって実現される。このようにすれば、撮像対象者に筐体280の内部での動きを認識し難くすることができる。
【0046】
筐体280の少なくとも一部(具体的には、顔カメラ220及び虹彩カメラ210を覆う部分)は、外部からの光に対する透過率が高く、内部からの光に対する透過率が低い材料で形成されていてもよい。具体的には、筐体280は、例えばハーフミラーやスモークミラーとして構成されていてもよい。このように、筐体280の少なくとも一部が透過率を調整するカバー部として機能することで、撮像画像の画質を悪化させることなく、顔カメラ220や虹彩カメラ210の動きを外部から認識し難くすることができる。
【0047】
モータ270の駆動は、駆動制御部290によって制御されている。駆動制御部290は、モータ270の駆動量(言い換えれば、顔カメラ220及び虹彩カメラ210の撮像範囲の移動量)を演算して、モータ270の駆動を制御する。駆動制御部290によるモータ270の具体的な制御方法については、後に詳述する。駆動制御部290は、筐体280の外部に設けられていてもよいし、筐体280の内部に設けられていてもよい。
【0048】
(撮像時の動作)
次に、第2実施形態に係る決済システム10が備えるカメラ20の動作の流れについて、
図10及び
図11を参照しながら説明する。
図10は、第2実施形態に係るカメラの動作の流れを示すフローチャートである。
図11は、顔位置に基づく撮像範囲の調整方法の一例を示す概念図である。
【0049】
図10に示すように、第2実施形態に係るカメラ20の動作時には、まず撮像対象者となる顧客が存在しているか否かを顔カメラ220が検出する(ステップS201)。顧客の存在は、例えば図示せぬセンサ等で検出されてもよいし、顔カメラ220自体で検出されてもよい。或いは、顧客による装置の操作があった場合に、顧客の存在が検出されるようにしてもよい。なお、顧客が検出されない場合(ステップS201:NO)、以降の処理は省略され、一連の動作は終了することになる。この場合、所定期間経過後に、再びステップS201の処理が実行されるようにしてもよい。
【0050】
顧客が検出された場合(ステップS201:YES)、顔カメラ220が顧客の顔画像を撮像する(ステップS202)。なお、顧客の身長や立ち位置等によって顧客の顔の位置は変化するが、顔カメラ220の撮像範囲は比較的広く設定されているため、特に撮像範囲を調整せずとも顧客の顔画像を撮像することができる。ただし、顧客が検出されているにもかかわらず、その顔画像を正常に撮像できない場合、図示せぬ表示部等を用いて、顧客を撮像範囲に誘導するようにしてもよい。或いは、顔全体が撮像されていなくとも、部分的に撮像されている場合であれば(即ち、顔画像から顔位置が検出できるのであれば)、後述するように、駆動制御部290が虹彩カメラ210の撮像範囲を変更した後で、顔カメラ220は再び顔画像を撮像するようにしてもよい。
【0051】
顔カメラ220により顔画像が撮像されると、駆動制御部290は、顔カメラ220から、顔画像を取得し、顔画像から顧客の顔位置(顔領域とも呼ぶ)を検出する(ステップS203)。即ち、顧客の顔が、顔カメラ220の撮像範囲のどの位置に存在しているかを検出する。なお、顔位置の具体的な検出方法については、既存の手法を適宜採用することができるため、ここでの詳細な説明は省略する。
【0052】
続いて、駆動制御部290は、検出した顧客の顔位置に基づいて、顧客の虹彩位置(目領域とも呼ぶ)を推定する(ステップS204)。ここでの推定は、例えば顧客の顔位置と虹彩位置との関係を予め記憶しておくことで実現できる。例えば、駆動制御部290は、検出された顔領域の中心付近に目領域が存在すると推定する(
図11a参照)。あるいは、顔の位置に基づいて、画像から目を直接検出するようにしてもよい。顧客の虹彩位置が推定されると、駆動制御部290は、顧客の虹彩が虹彩カメラ210の撮像範囲内に収まるようにするため、モータ270の駆動量を演算する(ステップS205)。言い換えれば、どれだけ虹彩カメラ210の撮像範囲を移動させれば、顧客の虹彩が虹彩カメラ210の撮像範囲内に収まるかを演算する。
【0053】
続いて、駆動制御部290は、演算したモータ270の駆動量に基づいて、モータ270の駆動を制御する(ステップS206)。これにより、虹彩カメラ210の撮像範囲が変更され、虹彩カメラ210で確実に顧客の虹彩画像を撮像できる状態となる。より具体的には、虹彩カメラ210の撮像範囲内に推定された目領域が収まる状態となる(
図11b参照)。そして、その状態で、虹彩カメラ210が顧客の虹彩画像を撮像する(ステップS207)。なお、虹彩カメラ210と共に照明部230も駆動されている(即ち、虹彩カメラ210の撮像範囲に合わせて照明が照射される位置も移動する)ため、より画質のよい虹彩画像を撮像することができる。
【0054】
なお、駆動制御部290が虹彩カメラ210の撮像範囲を変更した後に、顔カメラ220は顔画像を再度撮像するようにしてもよい。虹彩カメラ210は顔カメラ220と一体的に駆動されるため、虹彩カメラ210の撮像範囲を変更した状態であれば、顔カメラ220の撮像範囲もより適切な位置へと変更されている。よって、このタイミングで再び顔画像を撮像すれことで、より適切に顧客の顔画像を撮像できる。このようにすれば、例えばステップS202で撮像した顔画像が顔認証に利用できない画像(例えば、顔の一部しか撮像されていない画像等)であったとしても、調整後に顔カメラ220が撮像した顔画像を用いて確実に顔認証を実行することができる。
【0055】
(技術的効果)
次に、第2実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0056】
図4から
図11で説明したように、第2実施形態に係る決済システム10では、顔画像を撮像する顔カメラ220と、虹彩画像を撮像する虹彩カメラ210とが一体的に駆動される。このようにすれば、決済システム10を利用する顧客の顔画像及び虹彩画像を適切に撮像(取得)することが可能となる。
【0057】
<第3実施形態>
第3実施形態に係る決済システム10について、
図12及び
図13を参照して説明する。なお、第3実施形態は、上述した第1及び第2実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第1及び第2実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分について適宜説明を省略するものとする。
【0058】
(機能的構成)
まず、
図12を参照しながら、第3実施形態に係る決済システム10の機能的構成について説明する。
図12は、第3実施形態に係る決済システムの機能的構成を示すブロック図である。なお、
図12では、
図2で示した構成要素と同様の要素に同一の符号を付しており、
図2で示した構成要素のうち本実施形態との関連が薄いものについては図示を省略している。
【0059】
図12に示すように、第3実施形態に係る決済システム10では、商品読取部110及び顔画像取得部150が、顔カメラ220で撮像された画像を取得可能に構成されている。即ち、商品読取部110及び顔画像取得部150の各々が、共通する1つのカメラから画像を取得可能に構成されている。
【0060】
第3実施形態に係る商品読取部110は、顔カメラ220で撮像された画像から商品を読取り可能に構成されている。例えば、商品読取部110は、顔カメラで撮像された商品を含む画像(以下、適宜「商品画像」と称する)について物体認識を行い、商品画像から検出された物体が商品であると認識する。なお、物体認識の具体的な手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略するものとする。
【0061】
顔カメラ220が撮像する商品画像には、顧客の顔は含まれていなくともよい。即ち、この場合の顔カメラ220は、顧客の顔ではなく、顧客が購入しようとしている商品を優先的に撮像するカメラとして機能してよい。顔カメラ220は、商品を確実に撮像するために、駆動制御部290によって駆動可能に構成されている。具体的には、顔カメラ220は、撮像範囲に商品が収まるように、撮像範囲を移動可能に構成されている。駆動制御部290は、例えば第2実施形態で説明したように顔カメラ220を上下方向に駆動して(例えば、
図9参照)、商品を撮像するようにしてよい。
【0062】
(顔カメラを駆動する際の表示例)
次に、
図13を参照しながら、顔カメラ220を駆動する際の表示例(顧客への提示例)について説明する。
図13は、商品を読み取る際の表示例を示す概念図である。なお、
図13では、顔カメラ220が上下方向に駆動する場合の表示例を示している。
【0063】
図13に示すように、駆動制御部290が顔カメラ220を駆動する際には、顔カメラ220のチルト角が分かるように、顔カメラ220で撮像された商品画像を顧客に対して表示するようにしてもよい。すなわち、表示部において、チルト位置に対応した領域に顔カメラ220により撮影された画像を表示する。なお、図中の「撮像画像表示領域」は、顔カメラ220で撮像された商品画像が表示部において表示される領域である。「駆動可能領域」は、顔カメラ220を駆動可能な領域(言い換えれば、顔カメラ220の撮像範囲を動かせる領域)を示す領域である。「情報表示領域」は、その他の各種情報を表示可能な領域であり、例えば商品情報や決済に関する情報等が適宜表示されてよい。
【0064】
図13(a)に示すように、顔カメラ220のチルト位置が真ん中の場合(言い換えれば、上にも下にも動かせる場合)、撮像画像表示領域は、駆動可能領域の真ん中に表示される。即ち、撮像画像表示領域の上側にも下側にも駆動可能領域が存在するように表示される。一方、
図13(b)に示すように、顔カメラ220のチルト位置が上限の場合(言い換えれば、それ以上、上方向に動かせない場合)の場合、撮像画像表示領域は、駆動可能領域の最上部に表示される。即ち、撮像画像表示領域の下側にしか駆動可能領域が存在しないように表示される。
【0065】
上記のような表示を行うことで、顧客が商品画像の撮像状況を直感的に知ることができ、例えば顧客に対して商品の位置の移動を促すことが可能となる。例えば、顔カメラ220のチルト位置が上限であるにもかかわらず、商品が撮像範囲に収まっていない場合、商品画像を適切に撮像するためには、もう少し商品の位置を下側に移動させることが望まれる。このような状況において、上述した表示を顧客に対して行えば、顧客が自発的に商品を下方向に移動させることが期待される。なお、上記の表示例に加えて、例えば「商品を下側に移動させてください」等のメッセージを表示するようにしてもよい。
【0066】
(技術的効果)
次に、第3実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0067】
図12及び
図13で説明したように、第3実施形態に係る決済システム10では、商品の読取りが顔カメラ220で撮像された画像を用いて行われ、その画像を撮像する際には、顔カメラ220が商品を撮像できるように駆動される。このように、顔カメラ220を商品の読取りに用いれば、商品を読み取るための装置を別途設ける必要がなくなる。また、商品画像を撮像する際に顔カメラ220を駆動することで、(通常は顔の位置を想定した撮像範囲が設定されていたとしても)確実に商品が含まれる画像を撮像することが可能である。
【0068】
<第4実施形態>
第4実施形態に係る決済システム10について、
図14及び
図15を参照して説明する。なお、第4実施形態は、上述した第1から第3実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第1から第3実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0069】
(機能的構成)
まず、
図14を参照しながら、第4実施形態に係る決済システム10の機能的構成について説明する。
図14は、第4実施形態に係る決済システムの機能的構成を示すブロック図である。なお、
図14では、
図2で示した構成要素と同様の要素に同一の符号を付している。
【0070】
図14に示すように、第4実施形態に係る決済システム10は、その機能を実現するための処理ブロックとして、商品読取部110と、商品情報取得部120と、確認情報出力部130と、入力受付部140と、顔画像取得部150と、虹彩画像取得部160と、決済処理部170とを備えて構成されている。そして特に、第4実施形態に係る入力受付部140は、視線方向推定部141を備えている。
【0071】
視線方向推定部141は、顔画像で取得された顔画像及び虹彩画像取得部160で取得された虹彩画像の少なくとも一方を用いて、顧客の視線方向を推定可能に構成されている。視線方向推定部141が視線方向を推定する際には、カメラ20の座標系の中心が顧客の目線位置(両目の中心)となるようにカメラの位置を調整するのが望ましい。なお、顔画像及び虹彩画像から視線方向を推定する手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。第4実施形態に係る入力受付部140は、視線方向推定部141で推定された顧客の視線方向に関する情報を、決済意思を示す顧客からの入力として受け付ける。
【0072】
入力受付部140は、例えば視線方向が所定の方向(例えば、顧客の正面に対して右方向)である情報を、顧客に決済意思があるという情報として受け付け、所定の方向以外の方向(例えば、顧客の正面に対して左方向)であるという情報を、顧客に決済意思がないという情報として受け付けてもよい。
【0073】
また、入力受付部140は、顧客の視線方向が所定時間維持されている場合に、視線方向に関する情報を顧客からの入力として受け付けるようにしてもよい。例えば、顧客の視線方向が同じ方向のまま所定時間(例えば、数秒程度)維持されている場合には、その視線方向に関する情報を、顧客からの入力として受け付けるようにしてよい。なお、所定時間は、予め設定された固定の値であってもよいし、状況に応じて変動する値であってもよい。例えば、顧客の視線方向が所定方向に大きく傾いている場合は所定時間を短め(例えば、2秒)に設定し、所定方向に小さく傾いている場合は所定時間を長め(例えば、4秒)に設定してもよい。また、所定方向には所定の範囲を設けてもよい。例えば、顧客の正面方向から正面方向に対して右に90度の範囲をすべて「右方向」としてもよい。ただし、数値はこれに限定されず、また、方向は左、上、下のいずれかでもよい。さらに、この場合、顧客の視線方向が移動したとしても、この範囲内での視線方向の移動であるならば「視線方向が同じ方向のまま維持されている」状態としてもよい。
【0074】
なお、上述した第2及び第3実施形態のように、カメラ20を駆動させる場合(即ち、カメラの撮像範囲を変更する場合)、カメラのチルト角によって視線方向を推定する難易度が変化する。例えば、カメラ20のチルト角が水平からずれている割合が高いほど、カメラ20と顧客の顔とが正対していない可能性が高くなり、視線方向が推定しにくくなる。また、カメラ20が上から見下ろすような場合は、伏し目がちになったりすることで、視線方向が推定しにくくなる。このような場合、入力受付部140は、視線方向の判定しにくさ(即ち、カメラ20のチルト角)に応じて、上述した所定時間を変更するようにしてもよい。例えば、チルト角が大きいほど、所定時間を長く設定するようにしてよい。或いは、入力受付部は、視線方向の判定しにくさ(即ち、カメラ20のチルト角)に応じて、顧客の視線方向を判定する閾値(例えば、視線方向の角度に対する閾値)を変更するようにしてもよい。例えば、チルト角が大きいほど、視線方向を判定する閾値を大きく変更する(即ち、大きく視線方向を振らないと、その方向を向いていると認識されない)ようにしてもよい。あるいは、チルト角によって視線推定に用いる方式、アルゴリズムを変えるようにしてもよい。例えば、深層学習ベースの推定方式の場合、チルト角ごとに学習させた視線推定エンジンを構築し、チルト角に応じて切り替えて用いるようにしてもよい。
【0075】
視線方向推定部141で視線方向を正常に推定できない場合(例えば、視線の角度が閾値を超えない場合)、顧客に対してより大きく視線を振るように誘導してもよい。例えば、表示装置に視線位置マーカ(どこを見ているのかを示すポインタ)を表示する際に、視線を大きく動かさないとマーカが動かないように、視線の角度変化に対する感度を下げてもよい。或いは、大きく視線を振るように音声やメッセージ等を出力してもよい。
【0076】
(動作の流れ)
次に、
図15を参照しながら、第4実施形態に係る決済システム10の動作の流れについて説明する。
図15は、第4実施形態に係る決済システムの動作の流れを示すフローチャートである。なお、
図15では、
図3に示した処理と同様の処理に同一の符号を付している。
【0077】
図15に示すように、第4実施形態に係る決済システム10が動作する際には、まず商品読取部110が商品を読み取る(ステップS101)。そして、商品情報取得部120が、商品読取部110で読み取った商品の商品情報を取得する(ステップS102)。
【0078】
続いて、確認情報出力部130が、決済の意思を確認するための確認情報を出力する(ステップS103)。なお、決済の意思を確認とは、例えば商品リストが正しいかどうか(例えば、金額、商品名、数量などのうち少なくとも一つ)が正しいかどうかの確認を含む。ここで第4実施形態では特に、顔画像取得部150及び虹彩画像取得部160の少なくとも一方が、顧客の視線方向を推定するための顔画像及び虹彩画像を取得する(ステップS401)。そして、視線方向推定部141が、取得された顔画像及び虹彩画像の少なくとも一方に基づいて、顧客の視線方向を推定する(ステップS402)。
【0079】
続いて、入力受付部140が、顧客の視線方向に基づいて、顧客に生体認証による決済の意思があるか否かを判定する(ステップS104)。顧客に生体認証による決済の意思がないと判定された場合(ステップS104:NO)、一連の処理は終了する。一方で、顧客に生体認証による決済の意思があると判定された場合(ステップS104:YES)、顔画像取得部150が顧客の顔画像を取得する(ステップS105)。また、虹彩画像取得部160が顧客の虹彩画像を取得する(ステップS106)。なお、視線方向を推定する際に取得した顔画像及び虹彩画像を流用する場合には、上述したステップS105及びS106の処理は省略されてもよい。
【0080】
続いて、決済処理部170が、取得した顔画像及び虹彩画像の少なくとも一方に基づいて、顧客の認証処理を実行する(ステップS107)。顧客の認証処理が成功しなかった場合(ステップS107:NO)、一連の処理は終了する。一方で、顧客の認証処理が成功した場合(ステップS107:YES)、決済処理部170は、商品情報を用いて商品の決済処理を実行する(ステップS108)。
【0081】
ステップS104:YESのあとに、生体認証による決済を行うか生体認証以外の決済を行うかを顧客に選択させるための情報を出力してもよい。例えば、「生体認証による決済を行いますか」というガイダンスと「はい」「いいえ」のボタンを表視してもよい。顧客が「はい」を選択した場合、S105の処理に移る。ここで、「いいえ」を選択した場合は、他の決済方法(例えば、現金、電子マネー、クレジットカードなど)を選択させる画面を表示してもよい。また、「生体認証による決済を行いますか」というガイダンスとともに生体認証による決済と生体認証以外の決済とを含めた選択画面(例えば、「生体認証」のボタンと、「現金」「電子マネー」「クレジットカード」のうち少なくとも一つのボタン)を表示してもよい。また、決済の意思を確認するための確認情報に、生体認証による決済を行うか生体認証以外の決済を行うかを顧客に選択させるための情報を含めて出力してもよい。
【0082】
なお、ステップS107:YESとステップS108の間で、決済処理を実行するか否かを示す情報を出力してもよい。例えば、顧客の認証処理が成功した場合、決済処理を実行するか否かを顧客に確認する画面を表示する。この画面表示は、決済金額、顧客の個人ID、及び顧客の氏名のうち少なくとも一つを含んでいてもよいし、決済処理実行するか否かを確認するための情報のみを表示してもよい。決済処理実行するか否かを確認するための情報は、例えば、確定ボタンと戻るボタンであり、顧客からの入力に応じて決済処理を実行するか、前の処理の画面(例えば、読み込んだ商品の一覧を表示する画面)に戻る。ここで、戻るボタンに代えて、または加えて、決済処理をキャンセルするボタンを表示してもよい。
【0083】
(技術的効果)
次に、第4実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0084】
図14及び
図15で説明したように、第4実施形態に係る決済システム10では、顧客の視線方向に基づいて、顧客の決済意思が判定される。このようにすれば、顧客が装置に触れて操作を行わずとも、決済意思を判定することができる。よって、例えば商品を持っていることで顧客の手がふさがっている場合であっても、適切に決済意思を判定することが可能となる。
【0085】
<第5実施形態>
第5実施形態に係る決済システム10について、
図16から
図18を参照して説明する。なお、第5実施形態は、上述した第4実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第1から第4実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0086】
(機能的構成)
まず、
図16を参照しながら、第5実施形態に係る決済システム10の機能的構成について説明する。
図16は、第5実施形態に係る決済システムの機能的構成を示すブロック図である。なお、
図16では、
図14で示した構成要素と同様の要素に同一の符号を付している。
【0087】
図16に示すように、第5実施形態に係る決済システム10は、その機能を実現するための処理ブロックとして、商品読取部110と、商品情報取得部120と、確認情報出力部130と、入力受付部140と、顔画像取得部150と、虹彩画像取得部160と、決済処理部170とを備えて構成されている。第5実施形態に係る入力受付部140は、第4実施形態と同様に、視線方向推定部141を備えている。そして第5実施形態では特に、確認情報出力部130が、注視領域表示部131を備えている。
【0088】
注視領域表示部131は、顧客に決済意思を確認するための確認情報として、注視領域を表示可能に構成されている。注視領域表示部131は、例えば出力装置16(
図1参照)であるディスプレイ等に注視領域を表示すればよい。注視領域は、顧客に視線方向の移動を促すために表示される領域である。注視領域は、決済意思に対応する少なくとも1つの領域として表示されればよいが、複数の注視領域が表示されてもよい。例えば、決済意思がある場合の視線方向に対応する1つの注視領域のみが表示されてもよいし、決済意思がある場合の視線方向に対応する第1の注視領域と、決済意思がない場合の視線方向に対応する第2の注視領域とが表示されてもよい。
【0089】
(注視領域の表示例)
次に、
図17及び
図18を参照しながら、上述した注視領域表示部131による注視領域の表示例について具体的に説明する。
図17は、注視領域の表示例を示す概念図である。
図18は、カメラの位置を考慮した注視領域の表示例を示す概念図である。
【0090】
図17(a)に示すように、注視領域は、ディスプレイの左半分及び右半分の領域として表示されてよい。具体的には、ディスプレイの左半分は、決済意思がある場合の視線方向に対応する領域であり、顧客が画面の左半分を見ると(即ち、視線を左方向に振ると)、決済意思があるという入力が受け付けられることになる。一方、ディスプレイの右半分は、決済意思がない場合の視線方向に対応する領域であり、顧客が画面の右半分を見ると(即ち、視線を右方向に振ると)、決済意思がないという入力が受け付けられることになる。
図17(b)に示すように、注視領域はディスプレイの一部に表示されるものであってもよい。具体的には、ボタンのような領域として表示されてもよい。
【0091】
図18に示すように、注視領域の表示位置は、カメラ20の位置によって決定されてもよい。具体的には、ディスプレイにおけるカメラ20に近い側に表示されてもよい。例えば、
図18(a)に示す例では、カメラ20がディスプレイの下側に配置されている。このような場合、注視領域は、ディスプレイの下側に配置されてよい。一方、
図18(b)に示す例では、カメラ20がディスプレイの上側に配置されている。このような場合、注視領域は、ディスプレイの上側に配置されてよい。上述したように注視領域を配置することで、カメラ20で撮像した画像から、視線方向を判定しやすくなる。具体的には、注視領域を注視した場合に、カメラ20に対する視線位置の角度がより大きくなるため、視線方向が右側によっているか又は左側によっているかを判定しやすくなる。
【0092】
(技術的効果)
次に、第5実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0093】
図16から
図18で説明したように、第5実施形態に係る決済システム10では、顧客の決済意思を確認するための注視領域が表示される。このようにすれば、顧客に注視領域を見るように促すことができるため、顧客の視線方向から適切に決済意思を判定することが可能となる。
【0094】
<第6実施形態>
第6実施形態に係る決済システム10について、
図19及び
図20を参照して説明する。なお、第6実施形態は、上述した第5実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第1から第5実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0095】
(機能的構成)
まず、
図19を参照しながら、第6実施形態に係る決済システム10の機能的構成について説明する。
図19は、第6実施形態に係る決済システムの機能的構成を示すブロック図である。なお、
図19では、
図16で示した構成要素と同様の要素に同一の符号を付している。
【0096】
図19に示すように、第6実施形態に係る決済システム10は、その機能を実現するための処理ブロックとして、商品読取部110と、商品情報取得部120と、確認情報出力部130と、入力受付部140と、顔画像取得部150と、虹彩画像取得部160と、決済処理部170とを備えて構成されている。第6実施形態に係る入力受付部140は、第4及び第5実施形態と同様に、視線方向推定部141を備えている。そして第6実施形態では特に、確認情報出力部130が、第5実施形態で説明した注視領域表示部131に加えて、枠表示部132を更に備えている。
【0097】
枠表示部132は、顧客が注視領域を注視している時間に応じて、注視領域の外側から注視領域の輪郭に向けて徐々に収束する枠を表示可能に構成されている。枠表示部132は、例えば顧客の視線方向が1つの注視領域に向いていると判断できたタイミングで、枠の表示を開始してよい。枠表示部132は、枠の大きさが注視領域の輪郭と同じになった(重なった)タイミングで、枠の表示を終了してもよいし、注視領域の輪郭と同じ大きさになった(重なった)枠をそのまま表示し続けてもよい。なお、枠が収束するスピードは予め設定された値であってもよいし、顧客の視線方向に応じて変化する値であってもよい。例えば、顧客が注視領域の方向に大きく視線を振っている場合は比較的早く枠が収束するようにし、顧客が注視領域の方向に小さく視線を振っている場合は比較的遅く枠が収束するようにしてもよい。また、枠を動かす速度は一定でなくてもよく、途中で変えてもよい。例えば、収束のし始めは枠を早く動かし、注視領域に近づくにつれ、動かす速度を下げるようにしてもよい。これにより、注視領域を素早く認知させることができるとともに、注視領域をしばらく安定して注視し続ける必要があることを顧客に効果的に印象付けることができる。
【0098】
(枠の表示例)
次に、
図20を参照しながら、上述した枠表示部132による枠の表示例について具体的に説明する。
図20は、注視領域に徐々に収束する枠の表示例を示す概念図である。
【0099】
図20に示す例では、ディスプレイの中央付近に商品や決済に関する情報(例えば、読み取った商品の名称、個数、価格等)が表示されている。また、ディスプレイの左下には、決済意思がない場合に注視することになる「中止」というボタンが表示されている。ディスプレイの右下には、決済意思がある場合に注視することになる「支払い」というボタンが表示されている。すなわち、この場合は、ボタンが注視領域となる。このような状況において、顧客が支払いボタンを注視すると、まず支払いボタンより外側に支払いボタンより大きな枠が表示される。そして、顧客が支払いボタンを注視し続けると、枠は徐々に支払いボタンに向けて収束していく。即ち、顧客が支払いボタンを注視し続けている間は、枠が支払いボタンに向けて小さくなっていく。そして、支払いボタンの輪郭に重なった状態で止まり、枠を一定時間表示し続ける。なお、顧客が途中で視線方向を変えた場合、枠の表示は中止されてよい。また、顧客の視線方向が別の注視領域にうつった場合には、別の注視領域の外側に新たに枠を表示してもよい。例えば、支払いボタンを注視し続けていた顧客が、途中で中止ボタンを注視するようになった場合、支払いボタン側に表示されていた枠は消え、新たに中止ボタン側に枠が表示されてよい。なお、顧客が途中で視線方向を変えた場合、枠が元の大きさに向けて徐々に大きくなってもよい。さらにこの場合、再度支払いボタンに視線方向が戻ったら、視線方向が戻ったタイミングで大きくなることを中止し、再度支払いボタンに向けて枠が徐々に小さくなってもよい。また、枠の色は、支払いボタンを注視した場合と、中止ボタンを注視した場合とで変えてもよい。例えば、支払いボタン側を注視した場合は緑色で枠を表示し、中止ボタン側を注視した場合はオレンジ色で枠を表示してもよい。
【0100】
なお、当該実施形態の表示は、
図15のS104の決済意思確認の際に表示されてもよいし、ステップS107:YESとステップS108の間で、決済処理を実行するか否かを示す情報を出力する場合に表示してもよい。
【0101】
(技術的効果)
次に、第6実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0102】
図19及び
図20で説明したように、第6実施形態に係る決済システム10では、注視領域に徐々に収束する枠がされる。注視している領域側に枠を表示すれば、どのように視線方向が認識されているのかを顧客自身が知ることができる。また、枠が徐々に注視領域の輪郭に向けて収束していくことにより、顧客の視線がより注視領域に向けられることになる。例えば、最初は注視領域側に視線方向を小さく振っていた場合でも、枠が徐々に収束することで、注視領域側に視線方向を大きく振るように誘導することができる。よって、顧客の視線方向をより適切に判定することが可能となる。
【0103】
<第7実施形態>
第7実施形態に係る決済システム10について、
図21及び
図22を参照して説明する。なお、第7実施形態は、上述した第5及び第6実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第1から第6実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0104】
(機能的構成)
まず、
図21を参照しながら、第7実施形態に係る決済システム10の機能的構成について説明する。
図21は、第7実施形態に係る決済システムの機能的構成を示すブロック図である。なお、
図21では、
図16で示した構成要素と同様の要素に同一の符号を付している。
【0105】
図21に示すように、第7実施形態に係る決済システム10は、その機能を実現するための処理ブロックとして、商品読取部110と、商品情報取得部120と、確認情報出力部130と、入力受付部140と、顔画像取得部150と、虹彩画像取得部160と、決済処理部170とを備えて構成されている。第7実施形態に係る入力受付部140は、第4から第6実施形態と同様に、視線方向推定部141を備えている。そして第7実施形態では特に、確認情報出力部130が、第5実施形態で説明した注視領域表示部131に加えて、領域色変更部133を更に備えている。
【0106】
領域色変更部133は、顧客が注視領域を注視している時間に応じて、画面の外側(言い換えれば、他の注視領域とは反対側)に向けて、注視領域の色を徐々に変更可能に構成されている。なお、変更後の色は、色が変わっていることが顧客にとって認識しやすい色であることが好ましい。変更後の色は、例えば赤や黄色等の目立つ色であってもよいし、変更前の色の補色等であってもよい。領域色変更部133は、例えば顧客の視線方向が1つの注視領域に向いていると判断できたタイミングで、注視領域の色変更を開始してよい。なお、注視領域の色を変更するスピードは予め設定された値であってもよいし、顧客の視線方向に応じて変化する値であってもよい。例えば、顧客が注視領域の方向に大きく視線を振っている場合は比較的早く色が変化するようにし、顧客が注視領域の方向に小さく視線を振っている場合は比較的遅く色が変化するようにしてもよい。また、色を変化させる速度は一定でなくてもよく、途中で変えてもよい。例えば、最初は色を変更するスピードを大きめにしておき、徐々に変更するスピードを下げるようにしてもよい。これにより、注視領域を素早く認知させることができるとともに、注視領域をしばらく安定して注視し続ける必要があることを顧客に効果的に印象付けることができる。
【0107】
(色変更の例)
次に、
図22を参照しながら、上述した領域色変更部133による注視領域の色変更について具体的に説明する。
図22は、注視領域の色を画面外側に向けて徐々に変化させる表示例を示す概念図である。
【0108】
図22に示す例では、
図20と同様に、ディスプレイの中央付近に商品や決済に関する情報(例えば、読み取った商品の名称、個数、価格等)が表示されている。また、ディスプレイの左下には、決済意思がない場合に注視することになる「中止」というボタンが表示されている。ディスプレイの右下には、決済意思がある場合に注視することになる「支払い」というボタンが表示されている。このような状況において、顧客が支払いボタンを注視すると、支払いボタンの画面内側部分(即ち、支払いボタンの左端部分)から徐々に注視領域の色が変更される。そして、顧客が支払いボタンを注視し続けると、画面外側に向けて注視領域の色が変化していき、最終的には支払いボタン全部の色が変更される。即ち、顧客が支払いボタンを注視し続けることで、メータが貯まっていくような表示が行われることになる。なお、顧客が途中で視線方向を変えた場合、色の変更は中止されてよい。色の変更が中止された場合、注視領域の色は変更前の色に戻ってもよい。また、顧客の視線方向が別の注視領域にうつった場合には、別の注視領域の色が変更されてよい。例えば、支払いボタンを注視し続けていた顧客が、途中で中止ボタンを注視するようになった場合、支払いボタンは元の色に戻り、新たに中止ボタンの色変更が開始されてよい。なお、顧客が途中で視線方向を変えた場合、画面内側に向けて注視領域の色が変更するようにしてもよい。さらにこの場合、再度支払いボタンに視線方向が戻ったら、視線方向が戻ったタイミングで内側に向けて色が変更することを中止し、再度外側に向けて色が変更されてもよい。また、変更する色は、支払いボタンを注視した場合と、中止ボタンを注視した場合とで変えてもよい。例えば、支払いボタン側を注視した場合は緑色に変更するようにし、中止ボタン側を注視した場合はオレンジ色に変更するようにしてもよい。
【0109】
なお、上述した注視領域の色変更は、第6実施形態で説明した枠表示(
図20参照)と組み合わせて実行されてもよい。例えば、枠表示部132によって表示される枠が注視領域に収束した後に、領域色変更部133による色変更が開始されてよい。
【0110】
なお、当該実施形態の表示は、
図15のS104の決済意思確認の際に表示されてもよいし、ステップS107:YESとステップS108の間で、決済処理を実行するか否かを示す情報を出力する場合に表示してもよい。
【0111】
(技術的効果)
次に、第7実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0112】
図21及び
図22で説明したように、第7実施形態に係る決済システム10では、第6実施形態に係る決済システム10では、注視領域の色が画面外側に向けて徐々に変更される。このようすれば、顧客の視線がより画面外側(言い換えれば、他の注視領域とは反対側)に向けられることになる。例えば、最初は注視領域側に視線方向を小さく振っていた場合でも、注視領域の色が徐々に変化することで、注視領域側に視線方向を大きく振るように誘導することができる。よって、顧客の視線方向をより適切に判定することが可能となる。
【0113】
<第8実施形態>
第8実施形態に係る決済システム10について、
図23及び
図24を参照して説明する。なお、第8実施形態に係る決済システム10は、上述した第1から第7実施形態と比べて一部の構成及び動作が異なるのみで、その他の部分については第1から第7実施形態と同一であってよい。このため、以下では、すでに説明した実施形態と重複する部分については適宜説明を省略するものとする。
【0114】
(機能的構成)
まず、
図23を参照しながら、第8実施形態に係る決済システム10の機能的構成について説明する。
図23は、第8実施形態に係る決済システムの機能的構成を示すブロック図である。なお、
図23では、
図2で示した構成要素と同様の要素に同一の符号を付している。
【0115】
図23に示すように、第8実施形態に係る決済システム10は、その機能を実現するための処理ブロックとして、商品読取部110と、商品情報取得部120と、確認情報出力部130と、入力受付部140と、顔画像取得部150と、虹彩画像取得部160と、決済処理部170と、生体判定部180とを備えて構成されている。即ち、第8実施形態に係る決済システム10は、第1実施形態の構成(
図2参照)に加えて、生体判定部180を更に備えている。生体判定部180は、例えば上述したプロセッサ11(
図1参照)において実現されてよい。
【0116】
生体判定部180は、虹彩画像取得部160で取得された虹彩画像から推定した顧客の視線の動きに基づいて、顧客の生体らしさを判定可能に構成されている。ここでの「生体らしさ」とは、顧客が生体である可能性を示す度合いである。生体判定部180は、顧客の視線の動きが生体と同様の動き(言い換えれば、なりすましでは再現できないような動き)であるか否かによって、生体らしさを判定してもよい。また、生体判定部180は、顧客の視線の動きに加えて、他の情報(例えば、顧客の顔画像から得られる情報等)を用いて、生体判定を行ってもよい。生体判定部180の判定結果は、決済処理部170に出力される構成となっている。
【0117】
第8実施形態に係る決済処理部170は、生体判定部180における判定結果(即ち、顧客の生体らしさ)に基づいて、認証処理の態様を変更するように構成されている。具体的には、決済処理部170は、生体らしさが所定閾値よりも高いか否かによって、認証処理の態様を変更するように構成されている。ここでの「所定閾値」は、顧客が生体である(例えば、なりすましでない)と判定できる程度に生体らしさ高いか否かを判定するための閾値であり、事前の実験やシミュレーション等によって適切な値を求めて、予め設定しておけばよい。生体らしさに応じた認証処理の変化については、以下で詳しく説明する。
【0118】
(動作の流れ)
次に、
図24を参照しながら、第8実施形態に係る決済システム10の動作の流れについて説明する。
図24は、第8実施形態に係る決済システムの動作の流れを示すフローチャートである。なお、
図24では、
図3に示した処理と同様の処理に同一の符号を付している。
【0119】
図24に示すように、第8実施形態に係る決済システム10が動作する際には、まず商品読取部110が商品を読み取る(ステップS101)。そして、商品情報取得部120が、商品読取部110で読み取った商品の商品情報を取得する(ステップS102)。
【0120】
続いて、確認情報出力部130が、決済の意思を確認するための確認情報を出力する(ステップS103)。そして、入力受付部140は、顧客からの入力に基づいて、顧客に生体認証を用いた決済の意思があるか否かを判定する(ステップS104)。
【0121】
顧客に生体認証を用いた決済の意思がないと判定された場合(ステップS104:NO)、一連の処理は終了する。一方で、顧客に生体認証を用いた決済の意思があると判定された場合(ステップS104:YES)、顔画像取得部150が顧客の顔画像を取得する(ステップS105)。また、虹彩画像取得部160が顧客の虹彩画像を取得する(ステップS106)。
【0122】
ここで特に、生体判定部180が、虹彩画像から推定される視線の動きに基づいて、顧客の生体らしさを判定する(ステップS801)。そして、顧客の生体らしさが所定閾値よりも高い場合(ステップS801:YES)、決済処理部170は、顔画像取得部150で取得された顔画像に基づいて認証を行う(ステップS802)。一方で、顧客の生体らしさが所定閾値よりも低い場合(ステップS801:NO)、決済処理部170は、顔画像取得部150で取得された顔画像及び虹彩画像取得部160で取得された虹彩画像に基づいて認証を行う(ステップS803)。
【0123】
ステップS802(即ち、顔認証のみ)、又はステップS803(即ち、顔認証及び虹彩認証)の結果、顧客の認証が成功しなかった場合(ステップS107:NO)、一連の処理は終了する。一方で、顧客の認証が成功した場合(ステップS107:YES)、決済処理部170は、商品情報を用いて商品の決済処理を実行する(ステップS108)。なお、この図ではステップS802で顔認証を用いる場合について述べたが、顔認証のかわりに虹彩認証を行うようにしてもよい。
【0124】
(技術的効果)
次に、第8実施形態に係る決済システム10によって得られる技術的効果について説明する。
【0125】
図23及び
図24で説明したように、第8実施形態に係る決済システム10では、顧客の視線方向に基づく生体判定が行われ、その判定結果に応じて異なる認証処理が実行される。このようにすれば、顧客の生体らしさが高い場合には、認証処理を簡略化して処理負荷を減らしつつ決済処理を実行することが可能となる。また、顧客の生体らしさが低い場合には、より厳重な認証処理を実行して、なりすまし等による不正な決済処理が実行されてしまうことを防止できる。
【0126】
<その他の表示例>
上述した第1から第8実施形態に係る決済システム10に適用可能な他の表示例について、
図25から
図28を参照して説明する。
図25は、決済意思の最終確認をする際の表示例を示す概念図である。
図26は、顧客とカメラとの距離を適正範囲にする際の表示例を示す概念図である。
図27は、虹彩認証する際の視線方向を通知するための表示例を示す概念図である。
図28は、装着物の取り外しを促すための表示例を示す概念図である。
図29は、目を開くように通知するための表示例を示す概念図である。
【0127】
図25に示すように、本実施形態に係る決済システム10は、注視領域を表示して顧客の決済意思を確認した後、実際に決済処理を実行する前に、再び決済意思を確認するようにしてもよい。この場合、最終的な決済意思を確認する際にも、最初に決済意思を確認した際と同様に注視領域を表示してよい。そして特に、最終的な決済意思を確認する際の注視領域は、最初に決済意思を確認した際と比べて、各領域の位置が反対になるように表示されてよい。
図25に示す例では、最初の決済意思を確認する際に、「はい(即ち、決済意思あり)」のボタンが左側、「いいえ(即ち、決済意思なし)」のボタンが右側に表示されている。そして、最終的な決済意思を確認する際には、「はい(即ち、決済意思あり)」のボタンが右側、「いいえ(即ち、決済意思なし)」のボタンが左側に表示されている。このようにすれば、顧客は決済意思の確認が求められる度に視線方向を動かすことになり、例えばなんとなく視線方向を変えないままでいる場合には、決済処理が実行されない。よって、顧客の意思に反した決済が行われてしまうことを効果的に抑制できる。
【0128】
なお、最終的に決済意思を確認する際には、最初に決済意思を確認した際とは別の方法(即ち、視線方向以外で)確認が行われてよい。例えば、最終的に決済意思を確認する際には、首を縦に振る又は横に振る(或いは、首をよこにかしげる)ことで、決済意思が確認されてよい。この場合は、顔カメラ220により顔の位置に加えて顔の向きを検出し、その向きが時系列にどのように変化したかを判定することによって、動作を判定する。
【0129】
図26に示すように、顔カメラ220で顧客の顔画像を撮像する場合、顔カメラ220と顧客との距離を適正にするための表示が行われてよい。具体的には、顧客の現在位置と適正範囲との関係を示すインジゲータが表示されてよい。インジケータには、顧客とカメラとの距離を推定した結果が示されており、上側に行くほど距離が小さく、下側に行くほど距離が大きいことを示している。そして、インジケータ内で推定した距離に相当する部分が強調表示される(例えば明るくなったり、横幅が少し広くなったり、点滅したりする)ようになっている。例えば、
図26(a)に示す例では、顔カメラ220と顧客とが近づきすぎて、顔を収めるべき枠から顧客の顔がはみ出てしまっている。このような場合には、インジゲータの現在位置を示す表示が、適正範囲よりも上側に表示される。また、顧客に対して「下がってください」というメッセージが表示されてもよい。
図26(b)に示す例では、顔カメラ220と顧客とが離れすぎて、顔を収めるべき枠よりも顧客の顔がかなり小さくなってしまっている。このような場合には、インジゲータの現在位置を示す表示が、適正範囲よりも下側に表示される。また、顧客に対して「近づいてください」というメッセージが表示されてもよい。
図26(c)に示す例では、顔カメラ220と顧客とが適正範囲にあるため、顔を収めるべき枠に顧客の顔がちょうど収まっている。このような場合には、インジゲータの現在位置を示す表示が、適正範囲内に表示される。また、顧客に対して「その位置をキープしてください」というメッセージが表示されてもよい。このような表示を行えば、顧客に対して立ち位置の移動を促し、適切な距離で顔画像の撮像を行うことが可能となる。なお、インジケータの色は適正範囲かそれ以外かで色を変えるようにしてもよい。例えば、適正範囲では緑色でインジケータを表示し、それ以外ではオレンジ色でインジケータを表示するようにしてもよい。
【0130】
なお、顧客とカメラの距離は、距離センサを用いて測定してもよいし、カメラによって撮影された画像から推定するようになっていてもよい。後者の場合には、顔の特徴点間の距離や部分領域の大きさに基づいて推定するようになっていてもよい。例えば、目間距離に基づいて、カメラと顧客の距離を推定するようになっていてもよいし、検知された虹彩の大きさからカメラと顧客の距離を推定するようになっていてもよい。
【0131】
図27に示すように、虹彩カメラ210で顧客の虹彩画像を撮像する場合、顧客の視線方向を適正に誘導するための表示が行われてもよい。具体的には、顧客が注視すべき方向を示すマーク(例えば、図中の二重円のようなマーク)が表示されてよい。ここで、二重円は、サイズが大きくなったり、小さくなったり、周期的に変動(振動)するようになっている。これにより、顧客の視線をその方向に向けさせることができる。また、マークに加えて、「ここを見てください」等のメッセージが表示されてもよい。このようにすれば、視線方向を適正方向に移動させ、そのまま視線方向を固定することを顧客に対して促すことができる。よって、適切な虹彩画像を撮像することが可能となる。また、視線の向きに応じてサイズを振動させる速度を変化させてもよい。例えば、視線が二重円の中央に近いほど速度を緩め、ずれている場合には振動させる速度を速めるようにしてもよい。これにより、視線の向きが適正かどうか、顧客にフィードバックすることができ、より適正な方向に視線を誘導することができる。あるいは、顧客と虹彩カメラ210との距離に応じて速度を変えてもよい。すなわち、距離が近すぎたり、遠すぎたりする場合には、振動させる速度を速めるようにし、適正な場合は振動させる速度を遅くしてもよい。これにより、カメラとの距離が適正かどうか、顧客にフィードバックすることができ、より適正な位置で虹彩を撮影できるようになる。
【0132】
図28に示すように、顧客の顔画像又は虹彩画像を撮像する際には、顧客に装着物を取り外すように促す表示が行われてよい。例えば、
図28(a)に示すように、顧客に対して眼鏡を外すことを促すメッセージ及び画像が表示されてよい。
図28(b)に示すように、顧客に対してサングラスを外すことを促すメッセージ及び画像が表示されてよい。
図28(c)に示すように、顧客に対してマスクを外すことを促すメッセージ及び画像が表示されてよい。このような表示は、顧客の画像を撮像する際に常に実行されるようにしてもよいし、顧客の画像から該当する装着物が検出された場合にのみ実行されるようにしてもよい。装着物の取り外しを促すことにより、顔認証や虹彩認証を実行しやすい画像を取得することが可能となる。
【0133】
図29に示すように、虹彩カメラ210で顧客の虹彩画像を撮像する場合、顧客に対して目を開くよう促すための表示が行われてもよい。具体的には、閉じていた目が少しずつ開いていくようなアニメーションが表示されてもよい。この際、最初の半分だけ開いた状態の絵で少し停止させた後、段階的に目を開いた状態のアニメーションに移行する。目を開いた状態のアニメーションでは目を開く速度を加速するようにし、最大の状態になったところで停止する。これにより、顧客に対し、目を開くことをより効果的に意識づけることができる。また、このようなアニメーションに加えて、「目をよく開いてください」等のメッセージが表示されてもよい。このような表示を行えば、顧客に対して目をしっかりと開くように意識させることができ、適切な虹彩画像を撮像することが可能となる。なお、目を段階的に開くアニメーションの速度を、検知された目の開き具合によって変えるようにしてもよい。例えば、目の開き度合いを判定する方式によって目の開き具合が小さいと判定された場合には、目を開くアニメーションの速度を上げることによって、より目を開くことを強調させるようにしてもよい。また、アニメーションは繰り返し表示するようにしてよい。例えば、虹彩を取得して照合している間、複数回繰り返すことによって、より目を開くように顧客を誘導することが可能となる。
【0134】
<カメラの変形例>
第2実施形態で詳しく説明したカメラ20の変形例について、
図30を参照して説明する。
図30は、カメラの変形例を示す概略図である。なお、
図30では、
図9で示した構成要素と同様のものに同一の符号を付している。
【0135】
図30に示すように、カメラ20は、スキャナ300を備えて構成されてよい。スキャナ300は、商品を読み取り可能なスキャナであり、例えばバーコードスキャナとして構成されている。この場合、例えばカメラ20の下部に商品を配置すると、スキャナ300によって商品の読み取りが実行される。この際、スキャナ300による商品の読み取りが適切に行えるように、駆動制御部290によってカメラ20が駆動されてもよい(すなわち、スキャナ300による走査位置が変化するような駆動が行われてもよい)。なお、スキャナ300は商品に添付、または貼り付けられている電子タグを読み取るスキャナでもよい。
【0136】
<決済に関する表示例>
決済における表示例について、
図31から
図35を参照して説明する。
図31は、キャンセルボタンの表示例を示す概念図である。
図32は、キャンセル後の表示例を示す概念図である。
図33は、個数変更ボタンの表示例を示す概念図である。
図34は、金額変更ボタンの表示例を示す概念図である。
図35は、年齢確認が必要な商品がある場合の表示例を示す概念図である。
【0137】
図31に示すように、読み取った商品を示す商品情報の横には、「キャンセル」ボタン(購入を取り消すボタン)が表示されてもよい。この場合、例えば、顧客がキャンセルボタンを注視すると、第7実施形態で説明したように(
図22参照)、キャンセルボタンの色が徐々に変わっていく。そして、キャンセルボタンの色がすべて変化すると、その商品の購入がキャンセルされる。キャンセルされた商品については、商品一覧から削除される。
【0138】
図32(a)に示すように、キャンセルされた商品は、削除されずにグレーアウトされてよい。グレーアウトされる場合、キャンセルボタンの代わりに「再購入(キャンセル取り消し)」ボタンが表示されてよい。再購入ボタンは、上述したキャンセルボタンと同様に顧客が注視することで、キャンセルを取り消すことができる(再び購入可能な状態に戻すことができる)。なお、再購入ボタンについても、キャンセルボタンと同様に、色が徐々に変化するような表示を行ってもよい。
【0139】
図32(b)に示すように、商品がキャンセルされた場合には、キャンセル後の合計金額に加えて、キャンセル前の合計金額が表示されてもよい。すなわち、キャンセル前後の合計金額を並べて表示し、比較できるようにしてもよい。あるいは、キャンセル後の合計金額に加えて、キャンセル前との差額を表示するようにしてもよい。
【0140】
図33に示すように、自動販売機等の決済後に商品を自動で受け取れるようなシステムの場合(自動販売機自体に決済端末が組み込まれていてもよいし、自動販売機の横に決済端末が設置されていてもよい)、購入しようとしている商品の横に「個数変更」ボタンを表示してもよい。個数変更ボタンは、顧客が注視することで、商品の個数を変更することができるボタンである。具体的には、顧客が個数変更ボタンを注視すると、上述したキャンセルボタンと同様に、個数変更ボタンの色が徐々に変わっていく。そして、個数変更ボタンの色がすべて変化すると、数量の欄の表示が変更(例えば、数字が点滅、数字の背景色が変わる、空欄になる、等)され、数量が変更可能となったことを顧客に知らせる。この状態で、顧客が数量を変更する動作を行うと、商品の数量が変更される。例えば、
図33に示す例のように、数字の左右に矢印を表示した場合、右の矢印を注視すると数量が増加し、左の矢印を注視すると数量が減少する。なお、この矢印は、キャンセルボタンの色が変化し終わると同時に表示されてもよいし、
図33に示すようにキャンセルボタンの色が変化し終わり、数量の欄が変更可能になってから所定時間経過後(例えば、1秒経過後)に矢印の表示を開始してもよい。あるいは、数量の欄を注視し続けると、1秒ごとに数量が1→2→3と変わるようにしてもよい。あるいは、右目で瞬きすると瞬き1回ごとに数量が1増加し、左目で瞬きすると瞬き1回ごとに数量が1減少するようにしてもよい。あるいは、首を右に振ると1回振るごとに数量が1増加し、首を左に振ると1回振るごとに数量が1減少するようにしてもよい。また、上記の数量の欄を注視し続ける場合と、瞬きする場合と、首を振る場合は、数量の欄の左右の矢印を表示しなくてもよい。瞬きや首を振る動作は、上記と左右が逆(右目で瞬きすると瞬き1回ごとに数量が1減少し、左目で瞬きすると瞬き1回ごとに数量が1増加する。あるいは、首を右に振ると1回振るごとに数量が1減少し、首を左に振ると1回振るごとに数量が1増加する)でもよい。なお、数量変更中は、個数変更ボタンが「確定」ボタンに変化してよい。この場合、数量を変更後、顧客が確定ボタンを注視すると、変更した数量が確定し、合計金額が変更される(なお、合計金額は、数量を変更するたびに変更されてもよい)。
【0141】
図34(a)に示すように、読み取った商品情報を示す画面上には、「金額変更」ボタンが表示されてよい。金額変更ボタンは、読み取った商品情報に齟齬がある場合(例えば読み取った商品と表示される商品名とに齟齬がある場合、チラシや店内の値札に表示されている金額と表示されている金額とに齟齬がある場合等)に使用するボタンであり、顧客が注視することで金額の変更を要求することができる。顧客から金額の変更が要求されると、係員(店員等)に呼び出しをかける処理が実行される。この際、
図35(b)に示すように「係員を呼び出しています。しばらくお待ち下さい」等のメッセージが表示されてよい。
【0142】
図35(a)に示すように、年齢確認が必要な商品を購入する場合、商品を読み取った際に、年齢確認が必要なことが分かるような表示を行ってもよい。具体的には、決済画面で年齢確認の「不要/未/済」を表示してよい。この際、顧客に対して、年齢を確認する動作を促す通知を行ってもよい。例えば、
図35(a)の例に示すように「年齢確認が必要な商品があります。カメラに身分証をかざしてください」等の表示を行ってよい。
【0143】
図35(b)に示すように、顧客の年齢確認が完了すると、表示されていた「未」が「済」に変更される。この際、「年齢確認が正常に完了しました」等のメッセージを表示してもよい。なお、年齢確認が「未」の商品がある場合には、決済処理が行えないようにしてもよい。例えば、支払いボタン(
図20や
図22等を参照)への入力を不可(受け付けなくする、ボタンを非表示にする、グレーアウトする等)としてもよい。
【0144】
なお、
図31から
図35で説明した表示は、あくまで一例である。よって、上述した各ボタンの配置位置やサイズ等については、特に限定されるものではない。なお、これらのボタンは、1種類のみの表示だけではなく、複数種類を組みわせて表示してもよい。
【0145】
上述した各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【0146】
記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0147】
この開示は、請求の範囲及び明細書全体から読み取ることのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う決済システム、決済方法、及びコンピュータプログラムもまたこの開示の技術思想に含まれる。
【0148】
<付記>
以上説明した実施形態に関して、更に以下の付記のようにも記載されうるが、以下には限られない。
【0149】
(付記1)
付記1に記載の決済システムは、商品を読み取る商品読取手段と、読み取った前記商品に関する商品情報を取得する商品情報取得手段と、前記商品の決済の意思を顧客に確認するための確認情報を出力する確認情報出力手段と、前記確認情報に対する前記顧客からの入力を受け付ける受付手段と、前記顧客の顔画像を取得する顔取得手段と、前記顧客の虹彩画像を取得する虹彩取得手段と、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行する決済処理手段とを備えることを特徴とする決済システムである。
【0150】
(付記2)
付記2に記載の決済システムは、前記顔取得手段及び前記虹彩取得手段は、一体的に駆動する顔カメラ及び虹彩カメラから、前記顔画像及び前記虹彩画像を取得することを特徴とする付記1に記載の決済システムである。
【0151】
(付記3)
付記3に記載の決済システムは、前記商品読取手段は、前記顔取得手段が前記顔画像を取得する顔カメラを用いて前記商品を読み取り、前記顔カメラは、前記商品を読み取る際に少なくとも1方向に駆動して撮像範囲を変更することを特徴とする付記1又は2に記載の決済システムである。
【0152】
(付記4)
前記推定手段は、前記受付手段は、前記顔画像及び前記虹彩画像の少なくとも一方から推定した前記顧客の視線方向に基づいて、前記顧客からの入力を受け付けることを特徴とする付記1から3のいずれか一項に記載の決済システムである。
【0153】
(付記5)
付記5に記載の決済システムは、前記確認情報出力手段は、前記決済の意思に対応する少なくとも1つの注視領域を表示させ、前記受付手段は、前記顧客が注視している前記注視領域に対応する情報を、前記顧客からの入力として受け付けることを特徴とする付記4に記載の決済システムである。
【0154】
(付記6)
付記6に記載の決済システムは、前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の外側から前記注視領域に向けて徐々に収束する枠を表示させることを特徴とする付記5に記載の決済システムである。
【0155】
(付記7)
付記7に記載の決済システムは、前記確認情報出力手段は、前記顧客が前記注視領域を注視している時間に応じて、前記注視領域の色を画面外側に向けて徐々に変化させることを特徴とする付記5又は6に記載の決済システムである。
【0156】
(付記8)
付記8に記載の決済システムは、前記虹彩画像から推定した前記顧客の視線の動きに基づいて、前記顧客の生体らしさを判定する生体判定手段を更に備え、前記決済処理手段は、前記生体らしさが所定閾値より高い場合には、前記顔画像に基づいて前記決済処理を実行するか否かを判定し、前記生体らしさが前記所定閾値より低い場合には、前記顔画像及び前記虹彩画像に基づいて前記決済処理を実行するか否かを判定することを特徴とする請求項1から7のいずれか一項に記載の決済システムである。
【0157】
(付記9)
付記9に記載の決済方法は、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行することを特徴とする決済方法である。
【0158】
(付記10)
付記10に記載のコンピュータプログラムは、商品を読み取り、読み取った前記商品に関する商品情報を取得し、前記商品の決済の意思を顧客に確認するための確認情報を出力し、前記確認情報に対する前記顧客からの入力を受け付け、前記顧客の顔画像を取得し、前記顧客の虹彩画像を取得し、前記顧客からの入力と、前記顔画像及び前記虹彩画像の少なくとも一方と、に基づいて、前記商品の決済処理を実行するようにコンピュータを動作させることを特徴とするコンピュータプログラムである。
【0159】
(付記11)
付記11に記載の記録媒体は、付記10に記載のコンピュータプログラムを記録していることを特徴とする記録媒体である。
【符号の説明】
【0160】
10 決済システム
11 プロセッサ
20 カメラ
110 商品読取部
120 商品情報取得部
130 確認情報出力部
131 注視領域表示部
132 枠表示部
133 領域色変更部
140 入力受付部
141 視線方向推定部
150 顔画像取得部
160 虹彩画像取得部
170 決済処理部
180 生体判定部
210 虹彩カメラ
220 顔カメラ
225 カメラユニット
230 照明部
235 可視光フィルタ
250 保持部
260 空冷ファン
270 モータ
275 固定部
280 筐体
290 駆動制御部
300 スキャナ