(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138104
(43)【公開日】2024-10-07
(54)【発明の名称】処理装置、処理方法及びプログラム
(51)【国際特許分類】
G07G 1/12 20060101AFI20240927BHJP
G07G 1/00 20060101ALI20240927BHJP
G07F 9/00 20060101ALI20240927BHJP
G06Q 30/06 20230101ALI20240927BHJP
【FI】
G07G1/12 311Z
G07G1/00 311D
G07F9/00 110A
G06Q30/06
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2024120792
(22)【出願日】2024-07-26
(62)【分割の表示】P 2023132836の分割
【原出願日】2020-01-23
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】荒井 観
(72)【発明者】
【氏名】古川 あずさ
(72)【発明者】
【氏名】渋谷 恵
(72)【発明者】
【氏名】橋本 博志
(72)【発明者】
【氏名】秋口 万貴子
(72)【発明者】
【氏名】花沢 健
(57)【要約】
【課題】レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムを実現する。
【解決手段】本発明の処理装置は、画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録部と、画像処理により商品を取り出した顧客が所定の動作を実施したことを検出すると、登録部による登録内容に基づく所定の処理を行う処理部と、登録部による登録内容に基づく所定の処理の確認を促す通知部とを有する。通知部は、商品識別情報が顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、登録内容に基づく所定の処理の確認を促す通知を顧客の端末装置に送信する。
【選択図】
図7
【特許請求の範囲】
【請求項1】
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく所定の処理を行う処理手段と、
前記登録手段による登録内容に基づく前記所定の処理の確認を促す通知手段と、
を有し、
前記通知手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記登録内容に基づく前記所定の処理の確認を促す通知を顧客の端末装置に送信する処理装置。
【請求項2】
前記登録手段は、
前記顧客が前記商品を把持している状態から前記商品を把持していない状態に変化する前の画像内での前記商品の移動軌跡に基づき、前記顧客が前記商品を前記商品載置スペースに戻したことを検出する請求項1に記載の処理装置。
【請求項3】
前記登録手段は、
前記商品の移動軌跡で示される移動方向、通過した位置、及びフレームアウトする直前に移り込んだ位置の中の少なくとも1つに基づき、前記顧客が前記商品を前記商品載置スペースに戻したことを検出する請求項2に記載の処理装置。
【請求項4】
前記登録手段は、
前記顧客の性別、年齢層、購買履歴、前記商品の在庫、及び前記商品の売れ行きの中の少なくとも1つに基づき前記商品の単価を決定し、前記顧客識別情報及び前記商品識別情報に紐づけて決定した単価を登録する請求項1から3のいずれか1項に記載の処理装置。
【請求項5】
前記処理手段は、
前記顧客が画像からフレームアウトしたことを検出すると、前記所定の処理を行う請求項1から4のいずれか1項に記載の処理装置。
【請求項6】
前記処理手段は、
前記商品載置スペースを基準に顧客毎に定められた基準範囲の外に前記顧客が移動したことを検出すると、前記所定の処理を行う請求項1から5のいずれか1項に記載の処理装置。
【請求項7】
前記処理手段は、
商品を手に取ったが購入しなかった時の各顧客の移動軌跡に基づき、各顧客の前記基準範囲を決定する請求項6に記載の処理装置。
【請求項8】
前記所定の処理は決済である請求項2から7のいずれか1項に記載の処理装置。
【請求項9】
1つ以上のコンピュータが、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録工程と、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録工程での登録内容に基づく所定の処理を行う処理工程と、
前記登録工程での登録内容に基づく前記所定の処理の確認を促す通知工程と、
を実行し、
前記通知工程では、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記登録内容に基づく前記所定の処理の確認を促す通知を顧客の端末装置に送信する処理方法。
【請求項10】
コンピュータを、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく所定の処理を行う処理手段、
前記登録手段による登録内容に基づく前記所定の処理の確認を促す通知手段、
として機能させ、
前記通知手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記登録内容に基づく前記所定の処理の確認を促す通知を顧客の端末装置に送信するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献1、特許文献1及び2は、レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムを開示している。
【0003】
具体的には、非特許文献1に開示の店舗システムでは、店舗の出入口にゲートを設置し、当該ゲートに設置したリーダーで読み取った情報に基づき、店舗内に入場した顧客を認識する。そして、当該店舗システムは、画像処理等で顧客が手に取った商品を認識し、顧客が当該ゲートを通って店舗外に出たタイミングで決済を行う。
【0004】
特許文献1に開示の購入商品精算支援システムでは、ゲートが設置され、当該ゲートを通過する顧客の入退店を管理するとともに、当該ゲートを通過して退店した後に、顧客が店舗から持ち出した商品の決済処理を行う。
【0005】
特許文献2に開示の車両用決済システムでは、車両の車室内に商品載置部を設け、車両の外部への商品の移動が検知されてから所定の条件が成立した時、その商品の決済処理を行う。
【0006】
非特許文献2は、オフィスの一画に菓子や飲み物等の商品を陳列するとともに、キャッシュレス決済端末や現金回収ボックス等の決済手段を設置し、そのオフィスの従業員がセルフサービスで商品を購入する店舗を開示している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2019-86832号公報
【特許文献2】特開2019-117473号公報
【非特許文献】
【0008】
【非特許文献1】宮田拓弥、“Amazon Goの仕組み「カメラとマイク」で実現するレジなしスーパー”、[online]、2016年12月10日、[2019年12月6日検索]、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html>
【非特許文献2】“オフィスコンビニおすすめ比較12選 仕組み・評判・導入メリット”、[online]、2019年11月18日、[2019年12月6日検索]、インターネット<URL:https://boxil.jp/mag/a5253/?utm_source=google&utm_medium=cpc&utm_campaign=office_c-z&gclid=EAIaIQobChMIzJbdxKOg5gIVT3RgCh26uAb8EAAYAiAAEgKK-vD_BwE>
【発明の概要】
【発明が解決しようとする課題】
【0009】
非特許文献1、特許文献1及び特許文献2に開示の技術を用いてレジカウンターでの決済処理をなくすことにより、利用者の利便性が向上するとともに、店舗の手間も省ける。しかし、非特許文献1及び特許文献1に開示の技術はゲートの存在が必須の技術であり、ゲートを設置できない環境では使用できない。また、特許文献1に開示の技術は車両の存在が必須の技術であり、車両を利用できない環境では使用できない。例えば、非特許文献2に開示のようなオフィスの一画に設置された店舗においては、コストやスペースの問題から、ゲートや車両を利用できない場合がある。
【0010】
本発明の課題は、従来にない新たな手法で、レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムを実現することである。
【課題を解決するための手段】
【0011】
本発明によれば、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
前記登録手段による登録内容に基づく決済の確認を促す通知手段と、
を有し、
前記通知手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記登録内容に基づく決済の確認を促す通知を顧客の端末装置に送信する処理装置が提供される。
【0012】
また、本発明によれば、
コンピュータが、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録ステップと、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録ステップによる登録内容に基づく決済を行う決済ステップと、
前記登録ステップによる登録内容に基づく決済の確認を促す通知ステップと、
を実行し、
前記通知ステップでは、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記登録内容に基づく決済の確認を促す通知を顧客の端末装置に送信する処理方法が提供される。
【0013】
また、本発明によれば、
コンピュータを、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
前記登録手段による登録内容に基づく決済の確認を促す通知手段、
として機能させ、
前記通知手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記登録内容に基づく決済の確認を促す通知を顧客の端末装置に送信するプログラムが提供される。
【発明の効果】
【0014】
本発明によれば、従来にない新たな手法で、レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムが実現される。
【図面の簡単な説明】
【0015】
上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
【0016】
【
図1】本実施形態の処理装置の概要を説明するための図である。
【
図2】本実施形態の処理装置の概要を説明するための図である。
【
図3】本実施形態の処理装置の概要を説明するための図である。
【
図4】本実施形態の処理装置の概要を説明するための図である。
【
図5】本実施形態の処理装置の概要を説明するための図である。
【
図6】本実施形態の処理装置のハードウエア構成の一例を示す図である。
【
図7】本実施形態の処理装置の機能ブロック図の一例である。
【
図8】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【
図9】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【
図10】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【
図11】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【
図12】本実施形態の商品載置スペースの一例を示す図である。
【
図13】本実施形態の商品載置スペースの一例を示す図である。
【
図14】本実施形態の処理装置の機能ブロック図の一例である。
【
図15】顧客の端末装置に表示される決済完了通知の一例を示す図である。
【発明を実施するための形態】
【0017】
<第1の実施形態>
まず、
図1乃至
図5を用いて、本実施形態の処理装置の全体像及び概要を説明する。本実施形態の処理装置は、例えば、オフィスの一画に菓子や飲み物等の商品を陳列し、そのオフィスの従業員がセルフサービスで商品を購入する店舗で利用される。
【0018】
図1に示すように、オフィス等の一画に商品3を載置する商品載置スペース2が設けられる。枠4に設置されたカメラ5は、商品載置スペース2から商品3を取り出す顧客1を撮影する。
【0019】
図2に示すように、カメラ5が生成した画像には商品載置スペース2の前に位置する顧客1が含まれる。処理装置は、当該画像を解析し、画像に含まれる顧客1を認識する。
【0020】
また、
図3に示すように、カメラ5が生成した画像には商品載置スペース2の前に位置する顧客1が把持している商品3が含まれる。処理装置は、当該画像を解析し、顧客1が把持している商品3を認識する。
【0021】
そして、処理装置は、画像を解析し、商品3を把持している顧客1が所定の動作を実施したことを検出すると、当該検出に応じて上記認識結果に基づく決済処理を行う。本実施形態における「所定の動作」は、「顧客1が基準範囲6の外に出たこと」であるとして説明する。より具体的に、処理装置は、商品3を把持している顧客1が基準範囲6の外に出たことを検出すると(
図4及び
図5参照)、当該検出に応じて上記認識結果に基づく決済処理を行う。本実施形態では、商品載置スペース2を基準に基準範囲6が定められる。例えば、商品載置スペース2の前方の所定エリア(商品3の購入を検討している顧客1が商品3を把持した状態で移動すると考えられるエリア)が基準範囲6として定められる。
【0022】
このような本実施形態の処理装置によれば、従来にない新たな手法で、レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムが実現される。
【0023】
次に、処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例を説明する。
【0024】
処理装置の各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0025】
図6は、処理装置のハードウエア構成を例示するブロック図である。
図6に示すように、処理装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。処理装置は周辺回路4Aを有さなくてもよい。なお、処理装置は物理的及び/又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び/又は論理的に一体となった1つの装置で構成されてもよい。処理装置が物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0026】
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0027】
図7に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、画像取得部11と、登録部12と、決済部13と、記憶部14とを有する。なお、処理装置10は記憶部14を備えなくてもよい。この場合、処理装置10と通信可能に構成された外部装置が記憶部14を備える。
【0028】
記憶部14は、各種情報を記憶する。例えば、記憶部14は、
図8に示すような顧客情報や
図9に示すような商品情報を記憶する。
【0029】
顧客情報は、オフィス等の一画に設けられた店舗を利用する顧客1に関する情報である。当該店舗を利用する顧客1による事前の登録作業により、各顧客1の顧客情報が記憶部14に記憶される。
【0030】
図示する顧客情報では、複数の顧客を互いに識別するための顧客識別情報と、氏名と、連絡先と、顔画像と、当該顔画像から抽出された特徴量と、決済手段情報とが互いに紐づけられている。決済手段情報は、店舗での決済を行うための情報であり、例えば、クレジットカード情報や、口座情報や、給料からの天引きを希望する旨やその処理を実現するための情報や、決済サービス(コード決済サービス、電子マネーサービス、ポイントサービス等)のユーザ識別情報等が例示されるが、これらに限定されない。なお、図示する顧客情報はあくまで一例であり、その他の項目の情報を含んでもよいし、図示する項目の一部を含まなくてもよい。
【0031】
商品情報は、店舗で扱っている商品3に関する情報である。図示する商品情報では、複数の商品を互いに識別するための商品識別情報と、商品名と、単価と、画像と、当該画像から抽出された特徴量とが互いに紐づけられている。なお、各商品3の画像は、商品3を複数の方向から撮影した複数の画像を含んでもよい。
【0032】
画像取得部11は、商品載置スペース2の前方(商品3を取り出す側)のエリアを撮影するカメラ5が生成した画像を取得する。処理装置10とカメラ5とは有線及び/又は無線で接続され、互いに通信可能に構成される。画像取得部11は、カメラ5が生成した画像をリアルタイム処理で取得する。
【0033】
カメラ5は、「商品載置スペース2の前方に位置する顧客1の顔」及び「当該顧客1が把持している商品3」を含む画像を生成する位置及び向きで設置される。なお、カメラ5は、上記撮影対象に加えて、さらに「基準範囲6の境界」及び「商品載置スペース2に載置された商品3」の少なくとも一方を含む画像を生成する位置及び向きで設置されてもよい。
【0034】
本実施形態では、1台のカメラ5が上述のような撮影対象を含む画像を生成する。カメラ5は、魚眼レンズを備えてもよいし、標準レンズ(例えば画角40°前後~60°前後)を備えてもよい。
【0035】
カメラ5は、動画像を生成する。カメラ5は、常時撮影を行ってもよいし、所定の間だけ(例:人感センサーで商品載置スペース2の前方に存在する人を検知している間)撮影を行ってもよい。
【0036】
登録部12は、画像に含まれる顧客1の顧客識別情報を認識する。例えば、登録部12は、画像から人物の顔を検出すると、検出した人物の顔から抽出した特徴量と、記憶部14に記憶されている顧客1の特徴量(
図8参照)とに基づく照合処理により、画像に含まれる顧客1を認識してもよい。
【0037】
また、登録部12は、画像処理により商品載置スペース2から取り出された商品3の商品識別情報を認識する。例えば、登録部12は、認識した顧客1が物体を把持していることを検出すると、その物体から抽出した特徴量と、記憶部14に記憶されている商品3の特徴量(
図9参照)とに基づく照合処理により、顧客1が把持している商品3(商品載置スペース2から取り出した商品3)を認識してもよい。
【0038】
そして、登録部12は、認識結果を記憶部14に記憶させる。
図10に、登録部12が記憶部14に記憶させた情報(認識情報)の一例を模式的に示す。図示するように、登録部12は、認識した顧客識別情報を認識情報に登録する。そして、登録部12は、認識した商品識別情報を、認識した顧客識別情報に紐づけて認識情報に登録する。なお、登録部12は、さらに、認識した商品識別情報に紐づけられた単価等を商品情報(
図9参照)から読み出し、認識情報に登録してもよい。
【0039】
また、登録部12は、画像処理により、顧客1が把持している商品3を商品載置スペース2に戻したことを検出する。そして、登録部12は、顧客1が把持している商品3を商品載置スペース2に戻したことを検出すると、それに応じて認識情報(
図10参照)を更新する。具体的には、登録部12は、商品載置スペース2に戻した商品3の商品識別情報等を認識情報から削除する。
【0040】
ここで、顧客1が把持している商品3を商品載置スペース2に戻したことを検出するアルゴリズムの一例を説明する。例えば、登録部12は、「顧客1が商品3を把持している状態」から「顧客1が商品3を把持していない状態」への状態変化を検出すると、顧客1が把持している商品3を商品載置スペース2に戻したと判定してもよい。しかし、このアルゴリズムでは、例えば顧客1が把持している商品3を自身のカバンの中に収納した場合、商品3を商品載置スペース2に戻したと誤検出してしまう。そこで、このような誤検出を回避するため、以下のようなアルゴリズムで当該検出を行ってもよい。
【0041】
例えば、登録部12は、「顧客1が商品3を把持している状態」から「顧客1が商品3を把持していない状態」への状態変化を検出すると、その状態変化の前における商品3の画像内での移動軌跡が所定条件を満たすか判定してもよい。そして、所定条件を満たす場合、顧客1が把持している商品3を商品載置スペース2に戻したと判定してもよい。
【0042】
移動軌跡の所定条件は、「商品載置スペース2の方に向かう移動」や、「商品載置スペース2の方に向かい、かつ、画像内の所定位置に到達する移動」や、「画像内の所定位置に到達する移動」等である。画像内の所定位置は、画像に商品載置スペース2が含まれる場合は商品載置スペース2であり、画像に商品載置スペース2が含まれない場合は商品載置スペース2に向かう商品3がフレームアウトする直前に写り込む位置等である。
【0043】
このような移動軌跡の所定条件を判定することで、顧客1が商品3をカバンや袋等に入れる動作や、顧客1が商品3を食べてしまう動作や、商品3の把持の仕方により商品3がカメラ5の死角になってしまう事象等に起因して、誤って認識情報を更新する不都合を抑制できる。
【0044】
図7に戻り、決済部13は、商品3を商品載置スペース2から取り出し、かつ、商品3を商品載置スペース2に戻していない顧客1が商品載置スペース2を基準に定められた基準範囲6の外に移動したことを画像処理により検出したことに応じて、登録部12による登録内容に基づく決済を行う。より具体的には、決済部13は、認識情報(
図10参照)において少なくとも1つの商品識別情報が登録されている顧客1が基準範囲6の外に移動したことを画像処理により検出したことに応じて、登録部12による登録内容に基づく決済を行う。
【0045】
基準範囲6は、商品載置スペース2の前方(商品3を取り出す側)のエリア(商品3の購入を検討している顧客1が商品3を把持した状態で移動すると考えられるエリア)である。基準範囲6の大きさや形状は、設計的事項である。予め、画像の中の基準範囲6を示す情報が記憶部14に記憶されていてもよい。
【0046】
例えば、カメラ5が基準範囲6の境界を含む画像を生成する場合、決済部13は、画像処理により、顧客1の体の一部が基準範囲6の中にあるか否かを監視してもよい。たとえば、決済部13は、顧客1の足が基準範囲6の外に出たことの検出に応じて、顧客1が基準範囲6の外に移動したと判定してもよい。なお、決済部13は、顧客1の身体の足以外の部分が、画像内の所定のエリアの中にあるか否かを監視し、顧客1の身体のその部分が所定のエリアの外に出たことの検出に応じて、顧客1が基準範囲6の外に移動したと判定してもよい。
【0047】
決済部13は、予め顧客1毎に登録されている決済手段情報(
図8参照)に基づき、所定の代金の決済を行う。
【0048】
なお、1台のカメラ5が設置される本実施形態の場合、登録部12及び決済部13は、同一のカメラ5が生成した画像を処理して、顧客1や商品3の認識、及び、顧客1が基準範囲6の外に移動したことの検出を行うこととなる。
【0049】
次に、
図11のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
【0050】
画像取得部11が画像を取得すると(S10)、登録部12は、画像から人物の顔を検出する処理を行う(S11)。画像から人物の顔を検出しなかった場合(S11のNo)、S21に進む。一方、画像から人物の顔を検出すると(S11のYes)、登録部12は、検出した人物の顔から抽出した特徴量と、記憶部14に記憶されている顧客1の特徴量(
図8参照)とに基づく照合処理を含む顧客認識処理により、画像に含まれる顧客1を認識する(S12)。
【0051】
そして、登録部12は、認識した顧客1の顧客識別情報が認識情報(
図10参照)に登録されていない場合(S13のNo)、その顧客識別情報を認識情報に登録する(S14)。この時、その他の顧客情報が認識情報に登録されてもよい。その他の顧客情報は、その人の決済手段情報などである。決済手段情報は、予めアプリやホームページ等を介した顧客自身による登録処理により、記憶部14に記憶されていてもよい。そして、登録部12は、記憶部14に記憶されている決済手段情報等を認識情報に登録してもよい。その他、その場で所定の入力装置を介して顧客から決済手段情報の入力を受付けてもよい。そして、登録部12は、その場で入力された決済手段情報等を認識情報に登録してもよい。一方、認識した顧客1の顧客識別情報がすでに認識情報(
図10参照)に登録されている場合(S13のYes)、登録部12は認識情報の更新を行わない。
【0052】
その後、登録部12は、画像に基づき、顧客1が物体を把持しているか判断する(S15)。顧客1が物体を把持していることを検出しなかった場合(S15のNo)、S19に進む。一方、顧客1が物体を把持していることを検出した場合(S15のYes)、登録部12は、その物体から抽出した特徴量と、記憶部14に記憶されている商品3の特徴量(
図9参照)とに基づく照合処理により、顧客1が把持している商品(顧客1が商品載置スペース2から取り出した商品3)を認識する(S16)。
【0053】
そして、登録部12は、認識した商品3の商品識別情報が認識情報(
図10参照)に登録されていない場合(S17のNo)、その商品識別情報を認識情報に登録する(S18)。この時、登録部12は、商品情報(
図9参照)から、その商品識別情報に紐づけられた情報(単価、商品名等)を読み出し、認識情報に登録してもよい。一方、認識した商品3の商品識別情報がすでに認識情報(
図10参照)に登録されている場合(S17のYes)、登録部12は認識情報の更新を行わない。
【0054】
なお、商品の単価は、「性別、年齢層及び購買履歴の少なくとも1つを含む顧客情報」、及び、「その時点の商品の在庫及び売れ行きの少なくとも一方に関する在庫等情報」の少なくとも一方に基づき動的に決定されてもよい。
【0055】
例えば、顧客情報及び/又は在庫等情報に含まれる所定のパラメータの値を入力すると単価を出力する関数や、顧客情報及び/又は在庫等情報に含まれる所定のパラメータの値と単価の対応関係を示すテーブル等が、記憶部14に記憶されていてもよい。また、商品の在庫や売れ行きを示す情報が記憶部14に記憶されていてもよい。また、上述のような顧客情報が記憶部14に記憶されていてもよい。そして、登録部12は、これらの情報に基づき、顧客毎に単価を決定してもよい。
【0056】
そして、決済部13は、画像処理により、その顧客1が基準範囲6の中にいるか判定する(S19)。顧客1の位置が基準範囲6の外である場合(S19のNo)、決済部13は、その時点の認識情報(
図10参照)に基づき決済処理を行う(S20)。すなわち、決済部13は、認識情報に基づき算出される支払代金を特定する。そして、特定した支払代金が「0」でない場合、決済部13は、予めその顧客1に紐づけて登録されている決済手段情報を用いて、特定した支払代金の支払い処理を行う。特定した支払代金が「0」である場合、検出部13は、決済手段情報を用いた支払処理を行わない。なお、顧客1の位置が基準範囲6の中である場合(S19のYes)、決済部13は決済処理を実行しない。以降、S10に戻り、同様の処理が繰り返される。
【0057】
次に、本実施形態の処理装置10の作用効果を説明する。本実施形態の処理装置10によれば、従来にない新たな手法で、レジカウンターでの決済処理(商品登録及び支払い等)をなくした店舗システムが実現される。このため、ゲートや車両を利用できない店舗においても、レジカウンターでの決済処理(商品登録及び支払い等)をなくすことによる利用者の利便性の向上や、店舗の手間の省略化が実現される。
【0058】
また、本実施形態の処理装置10によれば、1台のカメラ5が生成した画像に基づき、顧客1や商品3の認識や、顧客1が基準範囲6の外に移動したことの検出などを行うことができる。このため、設備費用等のコスト負担が軽減される。
【0059】
ここで、本実施形態の変形例を説明する。
【0060】
上記例では、処理装置10は、例えばオフィス等の一画に菓子や飲み物等の商品を陳列し、そのオフィス等の従業員がセルフサービスで商品を購入する店舗で利用されることを前提に説明した。しかし、処理装置10の利用場面はこれに限定されない。処理装置10は、オフィス以外の場所で利用されてもよい。
【0061】
また、商品載置スペース2は商品を載置できればよく、
図1に示す台に代えて、棚、箱、椅子等のその他の物品で商品載置スペース2を構成してもよい。
【0062】
図13に一例を示す。
図12は、
図13の枠4を抽出した図である。枠4を構成する2つの部品各々には、カメラ5と照明とが設けられる。
【0063】
照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、LEDなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がLEDの場合、照明が延在する方向(図において上下方向)に、複数のLEDが並んでいる。
【0064】
そしてカメラ5は、直線状に延伸する枠4の部品の一端側に設けられており、照明の光が放射される方向を撮像範囲としている。例えば
図12の左側の枠4の部品において、カメラ5は下方及び右斜め下を撮像範囲としている。また、
図12の右側の枠4の部品において、カメラ5は上方及び左斜め上を撮像範囲としている。
【0065】
図13に示すように、枠4は、商品載置スペースを構成する商品棚の前面フレーム(又は両側の側壁の前面)に取り付けられる。この際、枠4の部品の一方は、一方の前面フレームに、カメラ5が下方に位置する向きに取り付けられ、枠4の部品の他方は、他方の前面フレームに、カメラ5が上方に位置する向きに取り付けられる。そして、枠4の部品の一方に取り付けられたカメラ5は、商品棚の開口部を撮像範囲に含むように、上方及び斜め上方を撮像する。一方、枠4の部品の他方に取り付けられたカメラ5は、商品棚の開口部を撮像範囲に含むように、下方及び斜め下方を撮像する。このように2つのカメラ5を用いることで、商品棚の開口部の全範囲を撮影することができる。
【0066】
そして処理装置10は、2つのカメラ5が撮像した画像を処理することにより、上記実施形態に示した各種の情報を生成する。例えば、一方のカメラ5は、上方及び斜め上方を撮像する。
【0067】
また、
図1に示す例では、カメラ5は枠4に設置されたが、この構成に代えて、天井、壁、支柱等のその他の物にカメラ5を設置してもよい。
【0068】
また、上記例では、1台のカメラ5を設置し、1台のカメラで顧客1、商品3、基準範囲6等を含む撮影対象を撮影した。しかし、複数台のカメラ5を設置し、複数のカメラ5で分けて撮影対象を撮影してもよい。この場合、各カメラ5が撮影すべき撮影対象は限られるので(すなわち、すべての撮影対象を撮影する必要がない)、各カメラ5の設置などが比較的容易になる。
【0069】
また、上記例では、画像に基づく顔認証で顧客1を認識した。しかし、画像解析以外の手段で顧客1を認識してもよい。例えば、処理装置10は、所定の入力装置(指紋センサー、マイク等)を介して入力された指紋、声紋、虹彩などの生体情報に基づき顧客1を認識してもよい。その他、処理装置10は、リーダー等を介して、顧客の携帯装置(ICカード、スマートフォン、スマートウォッチ、タブレット端末、携帯電話等)から顧客識別情報を取得してもよい。この例の場合、カメラ5が生成する画像は、顧客1の顔を含まなくてもよい。これによりカメラ5が撮影すべき撮影対象が少なくなるので、必要なカメラ5の台数が減ったり、カメラ5の設置が容易になったりする。
【0070】
また、決済部13は、顧客1がカメラ5の画像からフレームアウトしたことをトリガにして、決済を行ってもよい。このようにすれば、予め、画像の中の基準範囲6を示す情報を記憶部14に記憶させておく必要がなくなるので、オペレータの処理負担が軽減される。
【0071】
その他、決済部13は、顧客1が所定の動作を実施したことの検出として、「顧客1が所定方向(商品載置スペースから遠ざかる方向)に所定歩数移動したこと」の検出や、「顧客1が所定方向(商品載置スペースから遠ざかる方向)に所定時間移動したこと」の検出に応じて、決済を行ってもよい。このようにすれば、予め、画像の中の基準範囲6を示す情報を記憶部14に記憶させておく必要がなくなるので、オペレータの処理負担が軽減される。
【0072】
<第2の実施形態>
商品3の購入を検討している顧客1が商品3を把持した状態で移動すると考えられるエリアは、顧客1毎に異なると考えられる。すなわち、検討中、商品載置スペース2の前でじっとしている顧客1もいれば、商品載置スペース2から比較的離れた位置まで移動してしまう顧客1もいると考えられる。当該事情に鑑み、本実施形態の処理装置10は、顧客1毎に適切な基準範囲6を設定する機能を備える。以下、詳細に説明する。
【0073】
図14に、本実施形態の処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、画像取得部11と、登録部12と、決済部13と、記憶部14と、完了通知部15と、基準範囲修正部16とを有する。
【0074】
記憶部14は、各顧客1の基準範囲6を示す情報(画像の中の基準範囲6を示す情報)を記憶している。そして、決済部13は、顧客1各々の基準範囲6を示す情報に基づき、顧客1各々の基準範囲6を特定し、各顧客1がその基準範囲6の外に移動したことを検出する。
【0075】
完了通知部15は、決済部13による決済後に、決済完了通知を顧客1の端末に送信し、決済完了通知に対する回答を顧客1の端末装置から受信する。決済完了通知は、例えば顧客1の端末にインストールされた所定のアプリケーションを介して実現されてもよいし、その他の手段で実現されてもよい。
図15に、顧客1の端末装置7に表示される決済完了通知の一例を示す。図示する決済完了通知は、決済対象の商品3の名称、代金、決済日等を含む。
【0076】
図示しないが、端末装置7は、この決済完了通知の画面から、それに対する回答として、「問題ない旨の入力」及び「その商品3を購入していない旨の入力」を受付けてもよい。そして、そして、端末装置7は、その回答を処理装置10に送信してもよい。
【0077】
基準範囲修正部16は、決済完了通知に対する回答が、決済完了通知で示される商品3を購入していない旨を示す場合、その顧客1の基準範囲6を広くする方向に修正し、修正後の内容を示す情報を記憶部14に記憶させる。
【0078】
ここで、顧客1毎に基準範囲6を修正する処理のアルゴリズムの一例を説明する。例えば、基準範囲修正部16は、カメラ5が生成した画像に基づき、その商品3(購入していない旨の入力がなされた商品3)を把持した状態でのその顧客1(「その商品3を購入していない旨の入力」を行った顧客1)の移動軌跡を特定してもよい。そして、基準範囲修正部16は、特定した移動軌跡に基づき、その顧客1の基準範囲6を決定してもよい。例えば、基準範囲修正部16は、特定した移動軌跡を内包するように、その顧客の基準範囲6を決定してもよい。なお、上記特定した移動軌跡を学習データとした機械学習により、各顧客1の基準範囲6が決定されてもよい。
【0079】
本実施形態の処理装置10のその他の構成は、第1の実施形態と同様である。
【0080】
以上、説明した本実施形態の処理装置10によれば、第1の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、顧客1毎に適切な基準範囲6が設定される。このため、顧客1が把持している商品3の購入を決定する前に誤って決済処理を行ってしまう不都合を軽減できる。
【0081】
<第3の実施形態>
本実施形態の決済部13は、商品識別情報が顧客識別情報に紐づけられた後、その商品3が商品載置スペース2に戻されたことや顧客1が基準範囲6の外に移動したことが検出されていない間、商品識別情報が顧客識別情報に紐づけられてからの経過時間を監視する。そして、決済部13は、当該経過時間が閾値を超えた場合、顧客1が基準範囲6の外に移動したことの検出なしで、登録部12による登録内容に基づく決済を行う。
【0082】
本実施形態の処理装置10のその他の構成は、第1及び第2の実施形態と同様である。
【0083】
以上、説明した本実施形態の処理装置10によれば、第1及び第2の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、何らかの不具合により商品3を把持した顧客1(認識情報(
図10参照)において、顧客識別情報に紐づけて商品識別情報が登録されている顧客1)が基準範囲6の外に移動したことが検出されなかった場合でも、所定の時間経過に応じて決済処理を行うことができる。結果、決済漏れを抑制することができる。
【0084】
<第4の実施形態>
本実施形態の決済部13は、画像処理により顧客1の身体の向きの変化を検出し、その検出結果に基づき決済処理を行う。例えば、決済部13は、商品3を把持している顧客1(認識情報(
図10参照)において、顧客識別情報に紐づけて商品識別情報が登録されている顧客1)の身体の向きが所定の条件(商品載置スペース2に正対した状態から180°反対側を向く)満たす場合、顧客1が基準範囲6の外に移動したことの検出なしで、登録部12による登録内容に基づく決済を行ってもよい。
【0085】
把持している商品3の購入を決めた顧客1は、身体の向きを変えて商品載置スペース2の前から離れると考えられる。一方で、把持している商品3を購入するか検討中の顧客1は、概ね商品載置スペース2の方を向いたまま、商品載置スペース2の周辺に位置すると考えられる。そこで、決済部13は、当該例のように、顧客1の身体の向きが所定の条件を満たしたことに応じて、決済を行ってもよい。
【0086】
その他、決済部13は、商品3を把持している顧客1(認識情報(
図10参照)において、顧客識別情報に紐づけて商品識別情報が登録されている顧客1)の身体の向きが所定の条件(商品載置スペース2に正対した状態から180°反対側を向く)満たし、かつ、顧客1が基準範囲6の外に移動したことの検出に応じて、登録部12による登録内容に基づく決済を行ってもよい。
【0087】
上述の通り、把持している商品3を購入するか検討中の顧客1は、概ね商品載置スペース2の方を向いたまま、商品載置スペース2の周辺に位置すると考えられる。しかし、顧客1によっては、検討中、商品載置スペース2の方を向いたまま、基準範囲6の外に出てしまう場合がある。単に基準範囲6の外に移動したことを条件に決済を行うと、商品購入を検討中に決済を行うという不都合が発生し得る。そこで、決済部13は、顧客1の身体の向きが所定の条件(商品載置スペース2に正対した状態から180°反対側を向く)を満たし、かつ、顧客1が基準範囲6の外に移動したことの検出に応じて、決済を行ってもよい。このようにすることで、上記不都合の発生を抑制できる。
【0088】
本実施形態の処理装置10のその他の構成は、第1乃至第3の実施形態と同様である。
【0089】
以上、説明した本実施形態の処理装置10によれば、第1乃至第3の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば適切なタイミングで決済を行うことができる。
【0090】
<第5の実施形態>
本実施形態の決済部13は、顧客1が基準範囲6の外に移動したことの検出に応じて決済を行うが、顧客1が基準範囲6の外に移動したことの検出をトリガにして決済を行うのでなく、顧客1が基準範囲6の外に移動したことの検出をトリガにして行われる所定の処理が行われたことの検出をトリガにして決済を行う。
【0091】
具体的には、決済部13は、顧客1が基準範囲6の外に移動したことの検出をトリガにして、登録部12による登録内容に基づき決定された決済内容を示す情報を顧客1の端末装置7に送信し、決済内容が正しいか否かの回答を顧客1の端末装置7から受信する。
【0092】
決済内容を示す情報は、決済対象の商品3の名称、代金等を含む。顧客1の端末装置7への決済内容を示す情報の送信、及び、顧客1の端末装置7からの回答の受信は、例えば顧客1の端末にインストールされた所定のアプリケーションを介して実現されてもよいし、その他の手段で実現されてもよい。
【0093】
そして、決済部13は、決済内容が正しい旨の回答の受信をトリガにして、決済内容で示される代金の決済を行う。
【0094】
本実施形態の処理装置10のその他の構成は、第1乃至第3の実施形態と同様である。
【0095】
以上、説明した本実施形態の処理装置10によれば、第1乃至第3の実施形態と同様な作用効果が実現される。また、本実施形態の処理装置10によれば、決済前に事前に顧客1に確認する処理が行われるので、誤った内容で決済を行う不都合を抑制できる。
【0096】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0097】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
1. 画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段と、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段と、
を有する処理装置。
2. 前記登録手段は、画像に含まれる前記顧客の顧客識別情報を認識し、認識した前記顧客識別情報に、認識した前記商品識別情報を紐づけて登録する1に記載の処理装置。
3. 前記登録手段及び前記決済手段は、同一のカメラが生成した画像を処理して、前記商品識別情報の認識、及び、前記顧客が前記所定の動作を実施したことの検出を行う1又は2に記載の処理装置。
4. 前記決済手段は、
前記顧客が前記所定の動作を実施したことの検出に応じて、前記登録内容に基づき決定された決済内容を示す情報を前記顧客の端末装置に送信し、
前記決済内容が正しいか否かの回答を前記顧客の端末装置から受信し、
前記決済内容が正しい旨の回答の受信に応じて、前記決済内容で示される代金の決済を行う1から3のいずれかに記載の処理装置。
5. 前記決済手段は、前記商品識別情報が前記顧客識別情報に紐づけられてからの経過時間が閾値を超えた場合、前記顧客が所定の動作を実施したことの検出なしで、前記登録内容に基づく決済を行う1から4のいずれかに記載の処理装置。
6. 前記登録手段は、顔画像又は虹彩で特定した前記顧客識別情報に前記商品識別情報を紐づけて登録する1から5のいずれかに記載の処理装置。
7. 前記登録手段は、画像処理により、前記顧客が前記商品を前記商品載置スペースに戻したことを検出し、前記商品識別情報と前記顧客識別情報とを紐づけた情報から前記商品載置スペースに戻した前記商品の前記商品識別情報を削除する1から6いずれかに記載の処理装置。
8. 前記決済手段は、画像処理により前記顧客の身体の向きが所定の条件を満たしたことの検出、前記顧客が所定方向に所定歩数移動したことの検出、又は、前記顧客が所定方向に所定時間移動したことを前記所定の動作として検出する1から7のいずれかに記載の処理装置。
9. 前記決済手段は、前記顧客が前記商品載置スペースを基準に定められた基準範囲の外に移動したことを前記所定の動作として検出する、1から8のいずれかに記載の処理装置。
10. 前記基準範囲は、前記商品載置スペースの前方のエリアである9に記載の処理装置。
11. 前記決済手段は、前記顧客各々の前記基準範囲を示す情報に基づき、前記顧客各々の前記基準範囲を特定し、
前記決済手段による決済後に、決済完了通知を前記顧客の端末装置に送信し、前記決済完了通知に対する回答を前記顧客の端末装置から受信する完了通知手段と、
前記決済完了通知に対する回答が、前記決済完了通知で示される商品を購入していない旨を示す場合、その前記顧客の前記基準範囲を広くする基準範囲修正手段と、
をさらに有する9又は10に記載の処理装置。
12. コンピュータが、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録し、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記商品識別情報の登録内容に基づく決済を行う処理方法。
13. コンピュータを、
画像処理により商品載置スペースから取り出された商品の商品識別情報を認識し、認識した前記商品識別情報を顧客識別情報に紐づけて登録する登録手段、
画像処理により前記商品を取り出した顧客が所定の動作を実施したことを検出すると、前記登録手段による登録内容に基づく決済を行う決済手段、
として機能させるプログラム。