特許 7248689 自動販売方法および装置、ならびにコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-20

(45)【発行日】2023-03-29

(54)【発明の名称】自動販売方法および装置、ならびにコンピュータ可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230322BHJP

   G07F 11/40 20060101ALI20230322BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 300F

G07F11/40

【請求項の数】 10

(21)【出願番号】P 2020542656

(86)(22)【出願日】2019-02-14

(65)【公表番号】

(43)【公表日】2021-06-17

(86)【国際出願番号】 CN2019075078

(87)【国際公開番号】W WO2019165892

(87)【国際公開日】2019-09-06

【審査請求日】2021-11-17

(31)【優先権主張番号】201810174847.X

(32)【優先日】2018-03-02

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】519274389

【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ

(73)【特許権者】

【識別番号】517241916

【氏名又は名称】北京京東世紀貿易有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲譚▼ 志羽

(72)【発明者】

【氏名】▲張▼ 屹峰

(72)【発明者】

【氏名】王 永杰

(72)【発明者】

【氏名】▲陳▼ 宇

【審査官】藤原 敬利

(56)【参考文献】

【文献】中国特許出願公開第１０６７８１０１４（ＣＮ，Ａ）

【文献】特表２０１７－５２１７８０（ＪＰ，Ａ）

【文献】特開２００９－００９２３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｆ １１／４０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

(57)【特許請求の範囲】

【請求項1】

自動販売方法であって、
自動販売機内の商品の撮影されたビデオストリームから、画像を取得するステップと、
前記画像から、ユーザが手に取った商品の画像を位置決めするステップと、
前記ユーザが前記商品を手に取る棚の積載重量の変化値を取得するステップと、
前記自動販売機内の各商品の重量に従って、前記積載重量の変化値に対応する、可能性のある商品の組合せを決定するステップであって、前記可能性のある商品の組合せが、少なくとも1つの可能性のある商品を含む、ステップと、
前記可能性のある商品の組合せとともに、あらかじめ確立された商品特徴ライブラリに従って、前記ユーザが手に取った商品の画像に対応する商品の情報を認識するステップと、
前記商品の認識された情報に従って、前記ユーザのために自動的に決済を行うステップと、
を含み、
ビデオストリーム取り込み装置が、キャビネットのドアに近接した前記自動販売機の上端部の内壁に設けられ、
ビデオストリーム取り込み装置が、前記自動販売機内の各棚の側面の内壁に設けられ、前記ビデオストリーム取り込み装置が、2つの隣接した棚の両方の側面の内壁に交互に設けられる
ようにして設けられた前記自動販売機内のビデオストリーム取り込み装置によって前記ビデオストリームが取り込まれる、自動販売方法。

【請求項2】

前記画像から、ユーザが手に取った商品の画像を位置決めするステップが、
商品位置決めモデルに前記画像を入力するステップであって、前記商品位置決めモデルが、前記ユーザが手に取った商品の画像を出力し、前記商品位置決めモデルが、複数の商品の画像と前記商品の位置のマーク付き情報とを使用してトレーニングすることによって取得される、ステップを含む、請求項1に記載の自動販売方法。

【請求項3】

前記ユーザが手に取った商品の画像に対応する商品の情報を認識するステップが、
商品認識モデルに、前記ユーザが手に取った商品の画像を入力するステップであって、前記商品認識モデルが、前記ユーザが手に取った商品の画像に対応する商品特徴を出力し、前記商品認識モデルが、複数の商品の画像と前記商品の分類のマーク付き情報とを使用してトレーニングすることによって取得される、ステップと、
前記商品認識モデルによって出力された商品特徴を、前記商品特徴ライブラリ内の商品特徴とマッチングし、前記商品特徴ライブラリ内でマッチした商品特徴に対応する分類のマーク付き情報に、前記ユーザが手に取った商品の画像に対応する候補商品の情報としての役割をさせるステップと、
前記候補商品が前記可能性のある商品の組合せである場合に、前記候補商品の情報が、前記ユーザが手に取った商品の画像に対応する商品の情報であると判定するステップと、
を含む、請求項1に記載の自動販売方法。

【請求項4】

前記商品特徴ライブラリが、以下の方法、すなわち、
前記商品認識モデルに商品の画像を入力するステップであって、前記商品認識モデルが、前記商品の画像に対応する商品特徴を出力し、前記商品の画像が、前記商品の分類のマーク付き情報を有し、既存の商品の画像および新しい商品の画像のうちの少なくとも1つを含む、ステップと、
前記商品認識モデルによって出力された前記商品の画像に対応する商品特徴、および前記商品の分類のマーク付き情報を、前記商品特徴ライブラリに記憶するステップと、
を使用して確立または更新される、請求項3に記載の自動販売方法。

【請求項5】

前記ユーザが手に取った商品の複数の画像に従って、前記ユーザが手に取った商品の移動軌跡を追跡するステップと、
前記ユーザが手に取った商品の移動範囲が、指定されたエリアを超えるとき、自動決済動作をトリガするステップと、
をさらに含む、請求項1に記載の自動販売方法。

【請求項6】

前記画像から、ユーザが手に取った商品の画像を位置決めし、前記ユーザが手に取った商品の画像に対応する商品の情報を認識するために、畳み込みニューラルネットワークモデルが使用される、請求項1から5のいずれか一項に記載の自動販売方法。

【請求項7】

あらかじめ設定された条件に従って、前記可能性のある商品の組合せの信頼度を決定するステップであって、前記あらかじめ設定された条件が、前記可能性のある商品の組合せの重量と前記積載重量の変化値との間の差の情報、または前記可能性のある商品の組合せにおける商品の数量のうちの少なくとも1つを含む、ステップをさらに含み、
前記ユーザが手に取った商品の画像に対応する商品の情報を認識するステップが、
あらかじめ設定された値よりも高い信頼度を有する前記可能性のある商品の組合せとともに前記商品特徴ライブラリに従って、前記ユーザが手に取った商品の画像に対応する商品の情報を認識するステップを含む、請求項1に記載の自動販売方法。

【請求項8】

自動販売装置であって、
メモリと、
前記メモリに結合されたプロセッサと、を備え、前記プロセッサが、前記メモリに記憶された命令に基づいて、請求項1から7のいずれか一項に記載の自動販売方法を実行するように構成された、自動販売装置。

【請求項9】

プロセッサによって実行されるとき、請求項1から7のいずれか一項に記載の自動販売方法を実行するコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体。

【請求項10】

請求項8に記載の自動販売装置と、
1つまたは複数のビデオストリーム取り込み装置と、
各々が前記自動販売機内の各棚に設置された1つまたは複数の計量装置と、
を備え、
ビデオストリーム取り込み装置が、キャビネットのドアに近接した前記自動販売機の上端部の内壁に設けられ、
ビデオストリーム取り込み装置が、前記自動販売機内の各棚の側面の内壁に設けられ、前記ビデオストリーム取り込み装置が、2つの隣接した棚の両方の側面の内壁に交互に設けられる
ようにして前記ビデオストリーム取り込み装置が設けられた、自動販売機。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本開示は、2018年3月2日に出願された中国特許出願第201810174847.Xに基づいており、その優先権を主張する、2019年2月14日に出願された国際特許出願PCT/CN2019/075078号の日本国内段階出願であり、その両方の開示の全体が参照により本開示に組み込まれる。

【0002】

本開示は、自動販売機の分野に関し、詳細には、自動販売方法および装置、ならびにコンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

技術の開発とともに、無人のスーパーマーケットおよび無人のコンビニエンスストアが、従来の小売店を打ち壊す革命的な形態になっており、様々な自動販売機も必要に応じて現れている。

【0004】

関連技術では、自動販売機の購入プロセスは、ユーザが最初に自動販売機のガラス越しに商品を認識し、次いで、画面をタッチするかまたはボタンを押すことによって商品を選択し、次に、硬貨投入または支払いアプリケーションなどの方法で商品の代金を支払い、最後に、商品が自動販売機の商品出口から滑り出るというものである。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の一態様によれば、自動販売方法が提供される。方法は、自動販売機内の商品の撮影されたビデオストリームから、画像を取得するステップと、画像から、ユーザが手に取った商品の画像を位置決めするステップと、あらかじめ確立された商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するステップと、商品の認識された情報に従って、ユーザのために自動的に決済を行うステップとを含む。

【0006】

いくつかの実施形態では、画像から、ユーザが手に取った商品の画像を位置決めするステップが、商品位置決めモデルに画像を入力するステップであって、商品位置決めモデルが、ユーザが手に取った商品の画像を出力し、商品位置決めモデルが、複数の商品の画像と商品の位置のマーク付き情報とを使用してトレーニングすることによって取得される、ステップを含む。

【0007】

いくつかの実施形態では、ユーザが手に取った商品の画像に対応する商品の情報を認識するステップが、商品認識モデルに、ユーザが手に取った商品の画像を入力するステップであって、商品認識モデルが、ユーザが手に取った商品の画像に対応する商品特徴を出力し、商品認識モデルが、複数の商品の画像と商品の分類のマーク付き情報とを使用してトレーニングすることによって取得される、ステップと、商品認識モデルによって出力された商品特徴を、商品特徴ライブラリ内の商品特徴とマッチングし、商品特徴ライブラリ内でマッチした商品特徴に対応する分類のマーク付き情報に、ユーザが手に取った商品の画像に対応する商品の情報としての役割をさせるステップとを含む。

【0008】

いくつかの実施形態では、商品特徴ライブラリが、以下の方法、すなわち、商品認識モデルに商品の画像を入力するステップであって、商品認識モデルが、商品の画像に対応する商品特徴を出力し、商品の画像が、商品の分類のマーク付き情報を有し、既存の商品の画像および新しい商品の画像のうちの少なくとも1つを含む、ステップと、商品認識モデルによって出力された商品の画像に対応する商品特徴、および商品の分類のマーク付き情報を、商品特徴ライブラリに記憶するステップとを使用して、確立または更新される。

【0009】

いくつかの実施形態では、方法が、ユーザが手に取った商品の複数の画像に従って、ユーザが手に取った商品の移動軌跡を追跡するステップと、ユーザが手に取った商品の移動範囲が、指定されたエリアを超えるとき、自動決済動作をトリガするステップとをさらに含む。

【0010】

いくつかの実施形態では、画像から、ユーザが手に取った商品の画像を位置決めし、ユーザが手に取った商品の画像に対応する商品の情報を認識するために、畳み込みニューラルネットワークモデルを使用して画像処理が行われる。

【0011】

いくつかの実施形態では、ビデオストリーム取り込み装置が、キャビネットのドアに近接した自動販売機の上端部の内壁に設けられ、ビデオストリーム取り込み装置が、自動販売機内の各棚の側面の内壁に設けられ、ビデオストリーム取り込み装置が、2つの隣接した棚の両方の側面の内壁に交互に設けられるようにして自動販売機内のビデオストリーム取り込み装置が設けられる。

【0012】

いくつかの実施形態では、方法が、ユーザが商品を手に取る棚の積載重量の変化値を取得するステップと、自動販売機内の各商品の重量に従って、積載重量の変化値に対応する、可能性のある商品の組合せを決定するステップであって、可能性のある商品の組合せが、少なくとも1つの可能性のある商品を含む、ステップと、をさらに含み、ユーザが手に取った商品の画像に対応する商品の情報を認識するステップが、可能性のある商品の組合せとともに商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するステップを含む。

【0013】

いくつかの実施形態では、方法が、あらかじめ設定された条件に従って、可能性のある商品の組合せの信頼度を決定するステップであって、あらかじめ設定された条件が、可能性のある商品の組合せの重量と積載重量の変化値との間の差の情報、または可能性のある商品の組合せにおける商品の数量のうちの少なくとも1つを含む、ステップをさらに含み、ユーザが手に取った商品の画像に対応する商品の情報を認識するステップが、あらかじめ設定された値よりも高い信頼度を有する前記可能性のある商品の組合せとともに商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するステップを含む。

【0014】

本開示の別の態様によれば、自動販売装置が提供される。装置は、自動販売機内の商品の撮影されたビデオストリームから、画像を取得するように構成された画像取得モジュールと、画像から、ユーザが手に取った商品の画像を位置決めするように構成された商品位置決めモジュールと、あらかじめ確立された商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するように構成された商品認識モジュールと、商品の認識された情報に従って、ユーザのために自動的に決済を行うように構成された決済モジュールと、を備える。

【0015】

いくつかの実施形態では、商品位置決めモジュールが、商品位置決めモデルに画像を入力するように構成され、商品位置決めモデルが、ユーザが手に取った商品の画像を出力し、商品位置決めモデルが、複数の商品の画像と商品の位置のマーク付き情報とを使用してトレーニングすることによって取得される。

【0016】

いくつかの実施形態では、商品認識モジュールが、商品認識モデルに、ユーザが手に取った商品の画像を入力するように構成され、商品認識モデルが、ユーザが手に取った商品の画像に対応する商品特徴を出力し、商品認識モデルが、複数の商品の画像と商品の分類のマーク付き情報とを使用してトレーニングすることによって取得され、商品認識モジュールが、商品認識モデルによって出力された商品特徴を、商品特徴ライブラリ内の商品特徴とマッチングし、商品特徴ライブラリ内でマッチした商品特徴に対応する分類のマーク付き情報に、ユーザが手に取った商品の画像に対応する商品の情報としての役割をさせるように構成される。

【0017】

いくつかの実施形態では、装置が、商品認識モデルに商品の画像を入力するように構成された特徴ライブラリモジュールであって、商品認識モデルが、商品の画像に対応する商品特徴を出力し、商品の画像が、商品の分類のマーク付き情報を有し、既存の商品の画像および新しい商品の画像のうちの少なくとも1つを含み、商品認識モデルによって出力された商品の画像に対応する商品特徴、および商品の分類のマーク付き情報を、商品特徴ライブラリに記憶するように構成された特徴ライブラリモジュールをさらに備える。

【0018】

いくつかの実施形態では、装置が、ユーザが手に取った商品の複数の画像に従って、ユーザが手に取った商品の移動軌跡を追跡し、ユーザが手に取った商品の移動範囲が、指定されたエリアを超えるとき、自動決済動作をトリガするように構成された商品追跡モジュールをさらに備える。

【0019】

いくつかの実施形態では、商品位置決めモジュールが、画像から、ユーザが手に取った商品の画像を位置決めするために、畳み込みニューラルネットワークモデルを使用して画像処理を行い、商品認識モジュールが、ユーザが手に取った商品の画像に対応する商品の情報を認識するために、畳み込みニューラルネットワークモデルを使用して画像処理を行う。

【0020】

いくつかの実施形態では、装置が、ユーザが手に取った商品が置かれる棚の積載重量の変化値を取得し、自動販売機内の各商品の重量に従って、積載重量の変化値に対応する、可能性のある商品の組合せを決定するように構成された補助認識モジュールであって、可能性のある商品の組合せが、少なくとも1つの可能性のある商品を含む、補助認識モジュールをさらに備え、商品認識モジュールが、可能性のある商品の組合せとともに商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するように構成される。

【0021】

いくつかの実施形態では、補助認識モジュールが、あらかじめ設定された条件に従って、可能性のある商品の組合せの信頼度を決定するようにさらに構成され、あらかじめ設定された条件が、可能性のある商品の組合せの重量と積載重量の変化値との間の差の情報、または可能性のある商品の組合せにおける商品の数量のうちの少なくとも1つを含み、商品認識モジュールが、あらかじめ設定された値よりも高い信頼度を有する前記可能性のある商品の組合せとともに商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するように構成される。

【0022】

本開示の別の態様によれば、自動販売装置が提供される。装置は、メモリと、メモリに結合されたプロセッサと、を備え、プロセッサが、メモリに記憶された命令に従って、上記で説明した自動販売方法を実行するように構成される。

【0023】

本開示の別の態様によれば、プロセッサによって実行されるとき、上記で説明した自動販売方法を実行するコンピュータプログラムを記憶したコンピュータ可読記憶媒体が提供される。

【0024】

本開示の別の態様によれば、上記で説明した自動販売装置と、1つまたは複数のビデオストリーム取り込み装置と、各々が自動販売機内の各棚に設置された1つまたは複数の計量装置と、を備える自動販売機が提供される。

【0025】

実施形態または関連技術の説明において使用する必要がある添付の図面について、簡単な導入が以下で与えられる。本開示は、添付の図面を参照しながら、以下の詳細な説明に従って、より明確に理解され得る。

【0026】

以下のように示された図面は、本開示の実施形態のいくつかにすぎないことは明らかである。当業者であれば、発明的な努力を伴わないことを前提として、そのような図面に従って、他の図面を獲得することもできる。

【図面の簡単な説明】

【0027】

【図1】本開示の自動販売機のいくつかの実施形態の概略図である。

【図2】本開示の自動販売方法のいくつかの実施形態の概略フローチャートである。

【図3】本開示の自動販売方法の他の実施形態の概略フローチャートである。

【図4】本開示の自動販売装置のいくつかの実施形態の概略構造図である。

【図5】本開示の自動販売装置の他の実施形態の概略構造図である。

【図6】本開示の自動販売装置のいくつかの実施形態の概略構造図である。

【発明を実施するための形態】

【0028】

次に、本開示の実施形態における技術的解決策について、本開示の実施形態における添付の図面と組み合わせて、明示的かつ十分に説明する。

【0029】

発明者は、背景技術のセクションにおいて言及した関連技術において、購入前のユーザにとって利用可能な商品の情報が制限されていること、および支払い後に商品が取得されることに気づいた。購入時に誤りがある場合、商品を返品することが不可能であるので、ショッピング体験を向上させる必要がある。

【0030】

本開示の実施形態によって解決される1つの技術的問題は、自動販売シナリオにおけるショッピング体験を向上させることである。

【0031】

図1は、本開示の自動販売機のいくつかの実施形態の概略図である。

【0032】

図1に示されるように、自動販売機は、一般に商品が配列され得る複数の棚11を有し、自動販売機には、ビデオストリーム取り込み装置12が内部に設けられている。商品、ならびに商品を手に取る状態、および商品を元に戻す状態をより包括的に取り込むために、キャビネットのドアに近接した自動販売機の上端部の内壁に、ビデオストリーム取り込み装置を設けること、および自動販売機内の各棚の側面の内壁に、ビデオストリーム取り込み装置を設けることが可能であり、ビデオストリーム取り込み装置が、2つの隣接した棚の両方の側面の内壁に交互に配置される。たとえば、上から下まで、取り込み装置が第1の棚の右内壁に設けられ、取り込み装置が第2の棚の左内壁に設けられ、取り込み装置が第3の棚の右内壁に設けられ、取り込み装置が第4の棚の左内壁に設けられる。

【0033】

自動販売アプリケーションシナリオでは、ユーザが自動販売機のキャビネットのドアを開き、開かれた環境において商品を購入し、その間に、取り込み装置が、自動販売機内、および周囲のあらかじめ設定された範囲内のビデオを記録し、記録されたビデオストリームを自動販売装置に送信する。自動販売装置は、ビデオ画像処理および重量検出などの技術によって、ユーザが購入しようと意図した商品を正確に認識し、決済を自動的に行う。いくつかの実施形態では、自動販売装置は、たとえば、サーバまたはクラウドサーバであり得る。サーバまたはクラウドサーバは、いくつかの自動販売機のためのサービスを提供する。自動販売プロセスについて、図2および図3とともに以下で説明する。

【0034】

図2は、本開示の自動販売方法のいくつかの実施形態の概略フローチャートである。

【0035】

図2に示されるように、この実施形態の自動販売方法は、たとえば、自動販売装置によって行われ得るステップ210～240を含む。

【0036】

ステップ210で、自動販売機内の商品の撮影されたビデオストリームから、画像が取得される。

【0037】

複数のビデオストリームがある場合、各ビデオストリームからそれぞれ画像を取得し、取得された各画像において、後続の画像処理を行うことが可能である。

【0038】

ステップ220で、ユーザが手に取った商品の画像が、画像から位置決めされる。

【0039】

いくつかの実施形態では、画像が商品位置決めモデルに入力され、商品位置決めモデルが、ユーザが手に取った商品の画像を位置特定および出力する。商品位置決めモデルは、たとえば、畳み込みニューラルネットワークモデルであり得る。

【0040】

商品位置決めモデルは、使用前にトレーニングされ得る。商品位置決めモデルは、複数の商品の画像と商品の位置のマーク付き情報とを使用してトレーニングすることによって取得される。具体的には、複数の商品の画像について、たとえば、画像内の商品の位置が、たとえば、手動のマーク付け方法を使用してマーク付けされ、次いで、複数の商品の画像、および商品の位置のマーク付き情報が、商品位置決めモデルに入力され、商品位置決めモデルは、トレーニングによって、商品が画像内に存在するか否か、ならびに商品のおおよその位置を取得する。モデルによって認識された商品のおおよその位置が、商品のマーク付けされた位置と比較されて、比較結果が、商品の位置について構築された損失関数の要件を満たすか否かが決定される。繰返しの反復によって、比較結果が最終的に、商品の位置について構築された損失関数の要件を満たすように、商品位置決めモデルのパラメータが最適化および調整され、商品位置決めモデルが保存される。

【0041】

ステップ230で、ユーザが手に取った商品の画像に対応する商品の情報が、あらかじめ確立された商品特徴ライブラリに従って認識される。

【0042】

いくつかの実施形態では、ユーザが手に取った商品の画像が商品認識モデルに入力され、商品認識モデルは、ユーザが手に取った商品の画像に対応する商品特徴を出力する。ここにおいて、商品認識モデルは、たとえば、畳み込みニューラルネットワークモデルであり得る。次いで、商品認識モデルによって出力された商品特徴が、商品特徴ライブラリ内の商品特徴とマッチングされ、商品特徴ライブラリ内でマッチした商品特徴に対応する商品の分類のマーク付き情報が、ユーザが手に取った商品の画像に対応する商品の情報としての役割をするようにされる。

【0043】

商品認識モデルは、使用前にトレーニングされ得る。商品認識モデルは、複数の商品の画像と商品の分類のマーク付き情報とを使用してトレーニングすることによって取得される。具体的には、複数の商品の画像について、たとえば、手動のマーク付け方法を使用してマーク付けされる画像内の商品の分類は、商品が属するカテゴリーのみでなく、商品のSKU(最小在庫管理単位)レベルに固有であり得る。次いで、複数の商品の画像、および商品の分類のマーク付き情報が、商品認識モデルに入力され、商品認識モデルは、トレーニングによって画像内の商品の分類の確率情報を取得するので、最大確率をもつ商品分類が商品認識結果として決定され得るようになる。次いで、モデルによって認識された商品の分類が、商品のマーク付けされた分類と比較されて、比較結果が、商品の分類について構築された損失関数の要件を満たすか否かが決定される。繰返しの反復によって、比較結果が最終的に、商品の分類について構築された損失関数の要件を満たすように、商品認識モデルのパラメータが最適化および調整され、商品認識モデルが保存される。

【0044】

いくつかの実施形態では、商品特徴ライブラリは、以下の方法によって確立され得、すなわち、既存の商品の画像が商品認識モデルに入力され、商品認識モデルが、商品の画像に対応する商品特徴を出力し、既存の商品の画像は、商品の分類のマーク付き情報を有する。次いで、商品認識モデルによって出力された商品の画像に対応する商品特徴、および商品の分類のマーク付き情報が、商品特徴ライブラリ内に一緒に記憶される。

【0045】

いくつかの実施形態では、商品特徴ライブラリは、以下の方法によって更新され得、すなわち、新しい商品の画像が商品認識モデルに入力され、商品認識モデルが、商品の画像に対応する商品特徴を出力し、新しい商品の画像は、商品の分類のマーク付き情報を有する。次いで、商品認識モデルによって出力された商品の画像に対応する商品特徴、および商品の分類のマーク付き情報が、商品特徴ライブラリ内に一緒に記憶される。商品データベースが、モデルを再トレーニングすることなしに、商品特徴を特徴ライブラリに追加することによって更新され得ることがわかり得る。

【0046】

ステップ240で、商品の認識された情報に従って、ユーザのために決済が自動的に行われる。

【0047】

いくつかの実施形態では、ステップ241で、ユーザが手に取った商品の複数の画像に従って、ユーザが手に取った商品の移動軌跡が追跡される。ステップ242で、ユーザが手に取った商品の移動範囲が、指定されたエリアを超えるとき、自動決済動作がトリガされる。反対に、ユーザが手に取った商品の移動範囲が、依然として指定されたエリア内にあるとき、たとえば、ユーザがもっている商品は、依然として棚の範囲内にあり、決済が一時的に行われないことになる。

【0048】

ビデオ画像処理技術によって、ユーザが購入しようと意図した商品が位置決めおよび認識され、決済が商品認識結果に基づいて自動的に行われる。この販売方法によって、ユーザが支払い前に商品を手に取ることが可能になるので、ユーザは、購入前に商品に触れて、商品について十分に知ることができるようになる。その上、決済が自動的に行われるので、列に並ぶこと、またはQRコード(登録商標)スキャンなどの追加の決済動作を行うことなしに、決済がより簡単であり、それによって、自動販売シナリオにおけるショッピング体験が向上する。

【0049】

図3は、本開示の自動販売方法の他の実施形態の概略フローチャートである。

【0050】

図3に示されるように、この実施形態の自動販売方法は、たとえば、自動販売装置によって行われ得るステップ310～340を含む。

【0051】

ステップ310で、自動販売機内の商品の撮影されたビデオストリームから、画像が取得される。

【0052】

ステップ320で、ユーザが手に取った商品の画像が、画像から位置決めされる。具体的には、ステップ220を参照することができる。

【0053】

ステップ325で、ユーザが商品を手に取るところの棚の積載重量の変化値が取得され、積載重量の変化値に対応する、可能性のある商品の組合せが、自動販売機内の各商品の重量に従って決定される。可能性のある商品の組合せは、少なくとも1つの可能性のある商品を含む。

【0054】

いくつかの実施形態では、積載重量の変化値に対応する、可能性のある商品の組合せは、未決済の商品から決定される。ここにおいて、未決済の商品は、棚の上の商品およびこれから決済されることになる商品のうちの少なくとも1つを含む。いくつかの実施形態では、棚の積載重量が減少する場合、ユーザが棚から商品を手に取る可能性のある行動があることが示されるので、積載重量の変化値に対応する、可能性のある商品の組合せが、棚の上の商品から決定され得るようになる。棚の積載重量が増加する場合、商品を棚に戻す可能性のある行動があることが示され、積載重量の変化値に対応する、可能性のある商品の組合せが、これから決済されることになる商品から決定され得るようになる。場合によっては、商品を手に取り、同時に商品を元に戻す行動もあり得、その行動もまた、棚の積載重量が増加または減少する場合に起こり得る。このとき、積載重量の変化値に対応する、可能性のある商品の組合せは、棚の上の商品およびこれから決済されることになる商品から決定され得るので、商品を手に取り、同時に商品を元に戻す場合には、手に取られる商品および元に戻される商品を認識することが依然として可能になる。ここにおいて、棚の上の商品は、棚の積載重量が変化する前の棚の上の商品である。ここにおいて、これから決済されることになる商品は、棚の積載重量が変化する前に決済されることになる商品であり、すなわち、ユーザが棚から手に取っているが、決済されていない商品である。これから決済されることになる商品は、ユーザがショッピングカートに入れた商品と見なされ得る。「ショッピングカート」は、物理的な装置または仮想の装置であり得る。商品の名称またはラベル、ならびに数量に加えて、商品の組合せもまた、商品のソースを備えることがあり、すなわち、商品が棚の上の商品であるか、これから決済されることになる商品であるかを示すためのものである。

【0055】

たとえば、現在の棚の上で、商品Aが単独で210gの重量を有し、商品Bが単独で250gの重量を有する場合、1つの商品Aおよび2つの商品Bがあり、ショッピングカート内に商品Cがあり、380gの重量であると仮定する。次いで、未決済の商品のすべての組合せが、表1内に示されている。組合せ{A}は、ユーザが棚からAを手に取ることを示し、組合せ{C}は、ユーザが、ショッピングカート内でこれから決済されることになるCを棚に戻すことを示し、組合せ{B、C}は、ユーザが棚からBを手に取り、同時にショッピングカート内でこれから決済されることになるCを棚に戻すことを示す。本実施形態が、商品を手に取る、商品を元に戻す、および商品を手に取り、同時に商品を元に戻すなどの状態における商品の認識をサポートすることがわかり得る。

【0056】

棚の計量装置は、低減した重量の250gを検知し、250gの積載重量の変化値に対応する、可能性のある商品の組合せは、{B}である。

【0057】

【表1】

【0058】

ステップ330で、ユーザが手に取った商品の画像に対応する商品の情報が、事前に確立された商品特徴ライブラリに従って、および可能性のある商品の組合せとともに認識される。

【0059】

いくつかの実施形態では、ユーザが手に取った商品の画像に対応する商品の候補情報が、事前に確立された商品特徴ライブラリに基づいて認識される。商品の候補情報もまた、可能性のある商品の組合せである場合、商品の候補情報が、ユーザが手に取った商品の画像に対応する商品の情報であると決定される。他の場合、商品の候補情報が、可能性のある商品の組合せではない場合、商品の候補情報の認識が不正確であり、商品の他の候補情報が選択される。

【0060】

さらに、可能性のある商品の組合せの信頼度が、あらかじめ設定された条件に従って決定され、あらかじめ設定された条件は、可能性のある商品の組合せの重量と積載重量の変化値との間の差の情報、および可能性のある商品の組合せにおける商品の数量、のうちの少なくとも1つを含む。重量の差が小さいほど、信頼度は高くなる。可能性のある商品の組合せにおける商品の数量が少ないほど、信頼度は高くなる。商品特徴ライブラリに基づいて、およびあらかじめ設定された値よりも高い信頼度をもつ、可能性のある商品の組合せとともに、ユーザが手に取った商品の画像に対応する商品の情報が認識される。

【0061】

ステップ340で、商品の認識された情報に従って、ユーザのために自動的に決済が行われる。具体的には、ステップ240を参照することができる。

【0062】

ビデオ画像処理技術および重量検出技術によって、ユーザが購入しようと意図した商品をより正確に認識することが可能である。その上、決済が商品認識結果に基づいて自動的に行われるので、決済がより正確かつ簡単になり、それによって、自動販売シナリオにおけるショッピング体験が向上する。

【0063】

図4は、本開示の自動販売装置のいくつかの実施形態の概略構造図である。

【0064】

図4に示されるように、この実施形態の自動販売装置は、自動販売機内の商品の撮影されたビデオストリームから、画像を取得するように構成された、画像取得モジュール410と、画像から、ユーザが手に取った商品の画像を位置決めするように構成された、商品位置決めモジュール420と、あらかじめ確立された商品特徴ライブラリに従って、ユーザが手に取った商品の画像に対応する商品の情報を認識するように構成された、商品認識モジュール430と、商品の認識された情報に従って、ユーザのために自動的に決済を行うように構成された、決済モジュール440とを備える。

【0065】

いくつかの実施形態では、商品位置決めモジュール420は、商品位置決めモデルに画像を入力するように構成され、商品位置決めモデルが、ユーザが手に取った商品の画像を出力し、商品位置決めモデルが、複数の商品の画像と商品の位置のマーク付き情報とを使用してトレーニングすることによって取得される。

【0066】

いくつかの実施形態では、商品位置決めモジュール420は、画像から、ユーザが手に取った商品の画像を位置決めするために、畳み込みニューラルネットワークモデルを使用して、画像処理を行う。

【0067】

いくつかの実施形態では、商品認識モジュール430は、商品認識モデルに、ユーザが手に取った商品の画像を入力することであって、商品認識モデルが、ユーザが手に取った商品の画像に対応する商品特徴を出力し、商品認識モデルが、複数の商品の画像と商品の分類のマーク付き情報とを使用してトレーニングすることによって取得される、こと、および、商品認識モデルによって出力された商品特徴を、商品特徴ライブラリ内の商品特徴とマッチングし、商品特徴ライブラリ内でマッチした商品特徴に対応する分類のマーク付き情報に、ユーザが手に取った商品の画像に対応する商品の情報としての役割をさせることを行うように構成される。

【0068】

いくつかの実施形態では、商品認識モジュール430は、ユーザが手に取った商品の画像に対応する商品の情報を認識するために、畳み込みニューラルネットワークモデルを使用して、画像処理を行う。

【0069】

図5は、本開示の自動販売装置の他の実施形態の概略構造図である。

【0070】

いくつかの実施形態では、自動販売装置は、商品認識モデルに商品の画像を入力することであって、商品認識モデルが、商品の画像に対応する商品特徴を出力し、商品の画像が、商品の分類のマーク付き情報を有し、既存の商品の画像および新しい商品の画像のうちの少なくとも1つを含む、こと、ならびに、商品認識モデルによって出力された商品の画像に対応する商品特徴、および商品の分類のマーク付き情報を、商品特徴ライブラリに記憶することを行うように構成された、特徴ライブラリモジュール550をさらに備える。

【0071】

いくつかの実施形態では、自動販売装置は、ユーザが手に取った商品の複数の画像に従って、ユーザが手に取った商品の移動軌跡を追跡すること、および、ユーザが手に取った商品の移動範囲が、指定されたエリアを超えるとき、自動決済動作をトリガすることを行うように構成された、商品追跡モジュール560をさらに備える。

【0072】

いくつかの実施形態では、自動販売装置は、ユーザが手に取った商品が置かれる棚の積載重量の変化値を取得すること、および、自動販売機内の各商品の重量に従って、積載重量の変化値に対応する、可能性のある商品の組合せを決定することであって、可能性のある商品の組合せが、少なくとも1つの可能性のある商品を含む、ことを行うように構成された、補助認識モジュール570と、商品特徴ライブラリに従って、および可能性のある商品の組合せとともに、ユーザが手に取った商品の画像に対応する商品の情報を認識するように構成された、商品認識モジュール430とをさらに備える。

【0073】

いくつかの実施形態では、補助認識モジュール570は、あらかじめ設定された条件に従って、可能性のある商品の組合せの信頼度を決定することであって、あらかじめ設定された条件が、可能性のある商品の組合せの重量と積載重量の変化値との間の差の情報、または可能性のある商品の組合せにおける商品の数量のうちの少なくとも1つを含む、ことを行うようにさらに構成される。商品認識モジュール430は、商品特徴ライブラリに従って、およびあらかじめ設定された値よりも高い信頼度をもつ、可能性のある商品の組合せとともに、ユーザが手に取った商品の画像に対応する商品の情報を認識するように構成される。

【0074】

図6は、本開示の自動販売装置のいくつかの実施形態の概略構造図である。図6に示されるように、この実施形態の装置600は、メモリ610と、メモリ610に結合されたプロセッサ620とを備える。プロセッサ620は、メモリ610に記憶された命令に基づいて、上記の実施形態のいずれかにおける自動販売方法を実行するように構成される。

【0075】

メモリ610は、たとえば、システムメモリ、固定された不揮発性記憶媒体などを備え得る。システムメモリは、たとえば、動作システム、アプリケーションプログラム、ブートローダ(Boot Loader)、および他のプログラムを記憶する。

【0076】

装置600は、I/O(入出力)インターフェース630、ネットワークインターフェース640、記憶インターフェース650などをさらに備え得る。これらのインターフェース630、640、650、ならびにメモリ610およびプロセッサ620は、たとえば、バス660を介してそれらの間で接続され得る。ここにおいて、I/Oインターフェース630は、ディスプレイ、マウス、キーボード、およびタッチスクリーンなどの入出力装置のための接続インターフェースを提供する。ネットワークインターフェース640は、様々なネットワーク化された装置のための接続インターフェースを提供する。記憶インターフェース650は、SDカードまたはUSBフラッシュディスクなど、外部記憶装置のための接続インターフェースを提供する。

【0077】

本開示はまた、プロセッサによって実行されると、上記の実施形態のいずれかにおける自動販売方法を実行する、コンピュータプログラムを記憶する、コンピュータ可読記憶媒体も提案する。

【0078】

本開示の実施形態が、方法、システム、またはコンピュータプログラム商品として提供され得ることを、当業者は諒解されよう。したがって、本開示は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェアの態様およびハードウェアの態様の組合せの形態をとり得る。その上、本開示は、コンピュータ使用可能プログラムコードをその中に含む、1つまたは複数のコンピュータ使用可能な非一時的記憶媒体(限定はしないが、ディスクメモリ、CD-ROM、光メモリなどを含む)において具現化された、コンピュータプログラム商品の形態をとり得る。

【0079】

本開示について、本開示の実施形態による方法、装置(システム)、およびコンピュータプログラム商品のフローチャートおよび/またはブロック図とともに説明する。フローチャートおよび/またはブロック図の各ステップおよび/またはブロック、ならびにフローチャートおよび/またはブロック図のステップおよび/またはブロックの組合せが、コンピュータプログラム命令によって実装され得ることは理解されよう。これらのコンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、組込み処理マシン、または他のプログラマブルデータ処理装置のプロセッサに提供されることがあり、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行された命令が、フローチャートの1つもしくは複数のステップ、および/またはブロック図における1つもしくは複数のブロックにおいて指定された機能を実現するための装置を作り出すようになる。

【0080】

これらのコンピュータプログラム命令はまた、コンピュータ可読メモリに記憶されることもあり、コンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置を、特定の方法で動作するようにガイドすることができ、コンピュータ可読メモリに記憶された命令が、命令装置を含む製造品を作り出すようになる。命令装置は、フローチャートにおける1つもしくは複数のステップ、またはブロック図における1つもしくは複数のブロックにおいて指定された機能を実現する。

【0081】

これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理装置上にロードされることもあり、一連の動作可能ステップが、コンピュータまたは他のプログラマブル装置上で行われて、コンピュータ実装処理を生じるようになり、コンピュータまたは他のプログラマブル装置上で実行された命令が、フローチャートの1つもしくは複数のステップ、および/またはブロック図における1つもしくは複数のブロックにおいて指定された機能を実現するためのステップを提供するようになる。

【0082】

上記の説明は、本開示の好ましい実施形態にすぎず、本開示を限定する役割をするものではない。本開示の趣旨および原理内で行われるいかなる修正、等価的な置換、改善なども、すべて本開示の保護範囲内に含まれるべきである。

【符号の説明】

【0083】

11 棚
12 ビデオストリーム取り込み装置
410 画像取得モジュール
420 商品位置決めモジュール
430 商品認識モジュール
440 決済モジュール
550 特徴ライブラリモジュール
560 商品追跡モジュール
570 補助認識モジュール
600 装置
610 メモリ
620 プロセッサ
630 I/O(入出力)インターフェース、インターフェース、I/Oインターフェース
640 ネットワークインターフェース、インターフェース
650 記憶インターフェース、インターフェース
660 バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】