特許 7105826 注文書生成方法及びその装置、商品棚、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-14

(45)【発行日】2022-07-25

(54)【発明の名称】注文書生成方法及びその装置、商品棚、記憶媒体

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20220715BHJP

   G06Q 20/18 20120101ALI20220715BHJP

   G06T 7/90 20170101ALI20220715BHJP

【ＦＩ】

G06Q30/06

G06Q20/18

G06T7/90 C

【請求項の数】 4

(21)【出願番号】P 2020085622

(22)【出願日】2020-05-15

(65)【公開番号】P2021135992

(43)【公開日】2021-09-13

【審査請求日】2020-05-15

(31)【優先権主張番号】202010127461.0

(32)【優先日】2020-02-27

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】520168790

【氏名又は名称】▲創▼新奇智（上海）科技有限公司

(74)【代理人】

【識別番号】110003339

【氏名又は名称】特許業務法人南青山国際特許事務所

(72)【発明者】

【氏名】チャン、ファーエン

(72)【発明者】

【氏名】ワン、ジュー

(72)【発明者】

【氏名】クー、チェンユアン

(72)【発明者】

【氏名】シュー、フイ

【審査官】牧 裕子

(56)【参考文献】

【文献】特開２０１９－０７９３２２（ＪＰ，Ａ）

【文献】特開２０１５－１４８９５５（ＪＰ，Ａ）

【文献】特表２０１６－５３２９３２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

第１取得モジュールにより取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得するステップと、
第２取得モジュールにより取り出し操作が完了した後の目標商品棚の結果画像を取得するステップと、
第１生成モジュールにより前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成するステップと、
検知モジュールにより、前記結果画像に対して検知処理を行い、それぞれ１件の商品を有する複数の第２商品枠を含む第２検知画像を取得するステップと、
前記検知モジュールにより、前記ＲＧＢ差分画像に基づいて前記第２検知画像に対してフィルタ処理を行い、ＲＧＢ差分値が第１既設値より小さい第２商品枠及び対応する商品を前記第２検知画像から削除して、第２目標検知画像を得るステップと、
前記検知モジュールにより、前記第２目標検知画像に対して識別処理を行って、前記第２目標検知画像における各第２商品枠内の第２標識情報を取得するステップと、
第２生成モジュールにより、前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得し、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠および対応する商品を前記第１検知画像から削除して、第１目標検知画像を得、前記第１目標検知画像から第２目標検知画像における第２標識情報に対応する商品を削除して第１目標検知画像における残りの第１標識情報に対応する商品に基づいて、取り出された商品に対応する商品注文書を生成するステップと、
を含むことを特徴とする注文書生成方法。

【請求項2】

前記第１取得モジュールにより取り出し操作が発生する前の目標商品棚の初期画像と、第１検知結果とを取得するステップは、
前記第１取得モジュールにより実行される、
取り出し操作が発生する前の目標商品棚の初期画像を取得するステップと、
前記初期画像に対して検知処理を行って、それぞれ１件の商品を有する複数の第１商品枠を含む第１検知画像を取得するステップと、
前記第１検知画像に対して識別処理を行って、前記第１検知画像における各前記第１商品枠内の商品の第１標識情報を取得するステップと、
を含むことを特徴とする請求項１に記載の注文書生成方法。

【請求項3】

取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得する第１取得モジュールと、
取り出し操作が完了した後の目標商品棚の結果画像を取得する第２取得モジュールと、
前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成する第１生成モジュールと、
前記結果画像に対して検知処理を行い、それぞれ１件の商品を有する複数の第２商品枠を含む第２検知画像を取得し、前記ＲＧＢ差分画像に基づいて前記第２検知画像に対してフィルタ処理を行い、ＲＧＢ差分値が第１既設値より小さい第２商品枠及び対応する商品を前記第２検知画像から削除して、第２目標検知画像を得、前記第２目標検知画像に対して識別処理を行って、前記第２目標検知画像における各第２商品枠内の第２標識情報を取得する検知モジュールと、
前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得し、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠および対応する商品を前記第１検知画像から削除して、第１目標検知画像を得、前記第１目標検知画像から第２目標検知画像における第２標識情報に対応する商品を削除して第１目標検知画像における残りの第１標識情報に対応する商品に基づいて、取り出された商品に対応する商品注文書を生成する第２生成モジュールと、
を有することを特徴とする注文書生成装置。

【請求項4】

コンピュータプログラムが記憶されている記憶媒体において、前記コンピュータプログラムがプロセッサーにより実行されるとき、請求項１または２に記載の方法を実行することを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、コンピュータネットワークの技術分野に属し、具体的に、注文書生成方法及びその装置、商品棚、記憶媒体に関する。

【背景技術】

【0002】

従来のインテリジェントシェルフの自動決済のアルゴリズムは、一般的に、ディープニューラルネットを用いてインテリジェントシェルフから取得した画像情報に対して検知処理及び分類識別処理を行って、商品棚における商品の種類及び数量を得るものである。そして、これらを、前回の注文の画像から識別した商品の種類及び数量と比較して、顧客が取った商品の情報を得て、自動決済を実現する。しかしながら、最終の注文自動決済結果の正確性が該注文の画像及び前回の注文の画像におけるすべての商品に対する検知及び分類の正確性に左右されるので、検知問題及び分類問題に対する許容度が十分ではなく、正確率が低い。
上記の問題に対して、いまだに有効な技術的解決案がなかった。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本出願における実施例は、注文書生成の正確率を向上させる注文書生成方法及びその装置、電子設備、記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0004】

第１の局面として、本出願における実施例による注文書生成方法は、
取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得するステップと、
取り出し操作が完了した後の目標商品棚の結果画像を取得するステップと、
前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成するステップと、
前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成するステップと、を含む。
本出願における実施例は、取り出し前後の画像を利用して生成したＲＧＢ差分画像に基づいて、各商品の取り出しの有無を判断し、対応する商品注文書を生成するため、注文書の正確率を向上させることができる。

【0005】

好ましくは、本出願における実施例による注文書生成方法において、前記前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成するステップは、
前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得するステップと、
前記第１目標商品枠及び対応する第１標識情報に基づいて、取り出された商品に対応する商品注文書を生成するステップと、を含む。

【0006】

好ましくは、本出願における実施例による注文書生成方法において、取り出し操作が完了した後の目標商品棚の結果画像を取得するステップのあと、
前記結果画像に対して検知処理を行って、前記結果画像を処理して得た複数の第２商品枠を含む第２検知画像及び各前記第２商品枠における商品に対応する第２標識情報を含む第２検知結果を取得するステップをさらに含み、
前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成するステップは、
前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得するステップと、
前記ＲＧＢ差分画像に基づいて、前記第２検知画像におけるすべての第２商品枠から、ＲＧＢ差分値が第１既設値より小さい第２目標商品枠を選出し、対応する第２標識情報を取得するステップと、
前記第１目標商品枠、前記第１標識情報、前記第２目標商品枠及び前記第２標識情報に基づいて、取り出された商品に対応する商品注文書を生成するステップと、を含む。
本出願における実施例は、ＲＧＢ差分画像を利用して第１検知画像及び第２検知画像のそれぞれに対してフィルタを行い、両方の結果を合わせて商品注文書を算出するため、商品の位置変更に起因した取り出しの有無に対する誤判断を避けることができ、注文書の正確率を向上させることができる。

【0007】

好ましくは、本出願における実施例による注文書生成方法において、前記結果画像に対して検知を行って第２検知結果を取得するステップは、
前記結果画像に対して検知処理を行い、それぞれ１件の商品を有する複数の第２商品枠を含む第２検知画像を取得するステップと、
前記ＲＧＢ差分画像に基づいて前記第２検知画像に対してフィルタ処理を行い、ＲＧＢ差分値が第１既設値より小さい第２商品枠及び対応する商品を前記第２検知画像から削除して、第２目標検知画像を得るステップと、
前記第２目標検知画像に対して識別処理を行って、前記目標検知画像における各第２商品枠内の第２標識情報を取得するステップと、を含む。
本出願における実施例は、結果画像に対して検知処理を行うとき、先にフィルタを行い、そして識別操作を行うため、計算効率を向上させ、仕事量を低減することができる。

【0008】

好ましくは、本出願における実施例による注文書生成方法において、前記結果画像及び前記第２検知結果を記憶し、次の取り出し操作の初期画像及び第１検知結果とするステップをさらに含む。

【0009】

好ましくは、本出願における実施例による注文書生成方法において、取り出し操作が発生する前の目標商品棚の初期画像と第１検知結果とを取得するステップは、
取り出し操作が発生する前の目標商品棚の初期画像を取得するステップと、
前記初期画像に対して検知処理を行って、それぞれ１件の商品を有する複数の第１商品枠を含む第１検知画像を取得するステップと、
前記第１検知画像に対して識別処理を行って、前記第１検知画像における各前記第１商品枠内の商品の第１標識情報を取得するステップと、を含む。

【0010】

第２の局面として、本出願における実施例による注文書生成装置は、
取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得する第１取得モジュールと、
取り出し操作が完了した後の目標商品棚の結果画像を取得する第２取得モジュールと、
前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成する第１生成モジュールと、
前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成する第２生成モジュールと、を有する。

【0011】

好ましくは、本出願における実施例による注文書生成装置において、前記第２生成モジュールは、
前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得する第１取得手段と、
前記第１目標商品枠及び対応する第１標識情報に基づいて、取り出された商品に対応する商品注文書を生成する第１生成手段と、を有する。

【0012】

第３の局面として、本出願における実施例による電子設備は、プロセッサーとメモリとを有し、前記メモリにコンピュータ読み取り可能な命令が記憶され、前記コンピュータ読み取り可能な命令が前記プロセッサーにより実行されるとき、上記の第１の局面による前記方法のステップを実行する。

【0013】

第４の局面として、本出願における実施例による記憶媒体は、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサーにより実行されるとき、上記の第１の局面による前記方法のステップを実行する。

【0014】

上記から分かるように、本出願における実施例は、取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得し、取り出し操作が完了した後の目標商品棚の結果画像を取得し、前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成し、前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成することによって、商品注文書の自動生成を実現させる。前後の画像を利用してＲＧＢ差分画像を生成し、差分画像に基づいて商品の取り出しの有無を判断することを実現させるため、誤検知率が低下し、検知の正確率を向上させた。

【0015】

本出願のその他の特徴及び利点は、明細書の他部分で説明され、そして、その一部が明細書から自明になり、又は本出願における実施例を実施することにより理解できる。本出願の目的及びその他の利点は、明細書、特許請求の範囲及び図面に特定される構成により実現、獲得することができる。

【0016】

本出願の実施例の技術案をより明瞭に説明するため、以下、本出願の実施例の説明に必要な図面を簡単に説明する。以下の図面は、本出願の一部の実施例を示すものに過ぎず、範囲を限定するものではない。当業者は、発明能力を用いなくても、これらの図面に基づいてその他の関連図面を得ることが可能である。

【図面の簡単な説明】

【0017】

【図1】本出願における実施例による注文書生成方法のフローチャートである。

【図2】本出願における実施例によるその他の注文書生成方法のフローチャートである。

【図3】本出願における実施例による注文書生成装置の構成模式図である。

【図4】本出願における実施例によるその他の注文書生成装置の構成模式図である。

【図5】本出願における実施例による電子設備の構成模式図である。

【発明を実施するための形態】

【0018】

以下、本出願における実施例の図面を参照しながら、本出願における実施例の技術案を明瞭且つ完全に説明する。説明する実施例は、本出願の一部の実施例にすぎず、全部の実施例ではない。ここで図面を用いて示した本出願における実施例における部品は、様々な配置方法で配置、設計することが可能である。このため、以下の、図面に示された本出願における実施例に対する詳細な説明は、本出願の選択された実施例を示すものにすぎず、保護しようとする本出願の範囲を限定するものではない。本出願における実施例をもとに、当業者が発明能力を用いることなく得たすべての他の実施例は、いずれも本出願の保護範囲に属する。

【0019】

なお、同様な符号は、図面において同様なものを示すので、１つの図面で定義された場合、その他の図面でその符号をさらに定義、解釈することは不要になる。また、本出願の説明では、「第１」、「第２」等の用語は、区別して説明するためのものにすぎず、相対重要性を明示又は暗示するものではない。

【0020】

図１は、本出願における一部の実施例による注文書生成方法のフローチャートである。該注文書生成方法は、無人インテリジェントシェルフに適用するものである。該方法は、図１に示すように、サーバ又は端末設備等の電子設備に適用することができる。該注文書生成方法は、以下のステップを含む。

【0021】

ステップＳ１０１は、取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得する。

【0022】

ステップＳ１０２は、取り出し操作が完了した後の目標商品棚の結果画像を取得する。

【0023】

ステップＳ１０３は、前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成する。

【0024】

ステップＳ１０４は、前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成する。

【0025】

該ステップＳ１０１において、該目標商品棚内に商品室が形成され、該商品室内に、顧客が選択できる間隔をあけて配置される複数の商品が置かれる。該初期画像は、該目標商品棚の内部の天井に設置されるカメラで撮られるものである。該目標商品棚内の明るさを一定に保つ。電子設備は、カメラで撮られた初期画像を取得したあと、既設のモデルを用いて該初期画像に対して処理を行って、検知結果を取得する。具体的に、該初期画像に対して領域を区画し、即ち、１件の商品を１つの商品枠に割り当て、そして各商品枠における商品をそれぞれ識別する。

【0026】

具体的に、一部の実施例において、該ステップＳ１０１は、取り出し操作が発生する前の目標商品棚の初期画像を取得するステップＳ１０１１と、前記初期画像に対して検知処理を行って、それぞれ１件の商品を有する複数の第１商品枠を含む第１検知画像を取得するステップＳ１０１２と、前記第１検知画像に対して識別処理を行って、前記第１検知画像における各前記第１商品枠内の商品の第１標識情報を取得するステップＳ１０１３と、を含む。

【0027】

該ステップＳ１０１２において、既設の検知モデルを用いて該検知処理操作を実施することによって、第１商品枠で該初期画像における各商品をマーキングすることを実現する。１つの第１商品枠に１件の商品を有する。該ステップＳ１０１３において、既設の識別モデル又は分類モデルを用いて各第１商品枠における商品を識別し、該商品の第１標識情報を取得する。

【0028】

該ステップＳ１０２において、顧客の購買が完了したあと、決済がクリックされたとき、該目標商品棚内のカメラが最終の結果画像を撮影する。該結果画像には、顧客に選択されて取り出された商品がもうなくなった。

【0029】

該ステップＳ１０３において、購買前後の初期画像及び結果画像の各画素のＲＧＢの３つのチャンネルにおける差の絶対値の大きさを算出することにより、前後画像差異の情報を反映できるｄｉｆｆ画像、即ちＲＧＢ差分画像を得ることができる。ｄｉｆｆ情報画像、即ちＲＧＢ差分画像は、該取り出し操作の前後の画像変化状況を反映するものである。商品枠内におけるＲＧＢ差分値の変化の平均値が閾値より低くなる場合、該商品枠内における商品に変化がないと認められる。

【0030】

該ステップＳ１０４において、商品枠内のうちの、ＲＧＢ差分値の比較的に大きい、即ち第１既設値より大きい商品枠を、その中の商品が取り出された枠と認められるため、取り出された商品の第１標識情報に基づいて商品注文書を生成することができる。

【0031】

具体的に、一部の実施例において、該ステップＳ１０４は、前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得するステップＳ１０４１と、前記第１目標商品枠及び対応する第１標識情報に基づいて、取り出された商品に対応する商品注文書を生成するステップＳ１０４２とを含む。該第１既設値の設定には、カメラの撮影誤差等に起因した明るさの変化を考慮する必要がある。該第１目標商品枠内における商品が顧客に取り出されたので、第１目標商品枠内における商品を商品注文書に加えて金額を算出する。

【0032】

一部の実施例において、該注文書生成方法は、前記結果画像及び前記第２検知結果を記憶し、次の取り出し操作の初期画像及び第１検知結果とするステップＳ１０５をさらに含む。次の取り出し操作が発生するとき、直接該初期画像及び第１検知結果を利用して計算を行い、効率を向上させることができる。

【0033】

上記から分かるように、本出願における実施例は、取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得し、取り出し操作が完了した後の目標商品棚の結果画像を取得し、そして前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成し、前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成することによって、商品注文書の自動生成を実現させる。前後の画像を利用してＲＧＢ差分画像を生成し、差分画像に基づいて商品の取り出しの有無を判断することを実現させるため、誤検知率が低下し、検知の正確率を向上させた。

【0034】

図２は、本出願における一部の実施例による注文書生成方法のフローチャートである。該注文書生成方法は、無人インテリジェントシェルフに適用する方法である。該方法は、サーバ又は端末設備等の電子設備に適用することができる。該注文書生成方法は、図２に示すように、以下のステップを含む。

【0035】

ステップＳ２０１は、取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得する。

【0036】

ステップＳ２０２は、取り出し操作が完了した後の目標商品棚の結果画像を取得する。

【0037】

ステップＳ２０３は、前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成する。

【0038】

ステップＳ２０４は、前記結果画像に対して検知処理を行って、前記結果画像を処理して得た複数の第２商品枠を含む第２検知画像及び各前記第２商品枠における商品に対応する第２標識情報を含む第２検知結果を取得する。

【0039】

ステップＳ２０５は、前記ＲＧＢ差分画像、前記第２検知結果及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成する。

【0040】

該ステップＳ２０１において、該目標商品棚内に商品室が形成され、該商品室内に、顧客が選択できる間隔をあけて配置される複数の商品が置かれる。該初期画像は、該目標商品棚の内部の天井に設置されるカメラで撮られるものである。該目標商品棚内の明るさを一定に保つ。電子設備は、カメラで撮られた初期画像を取得したあと、既設のモデルを用いて該初期画像に対して処理を行って、検知結果を取得する。具体的に、該初期画像に対して領域を区画し、即ち、１件の商品を１つの商品枠に割り当て、そして各商品枠における商品をそれぞれ識別する。

【0041】

具体的に、一部の実施例において、該ステップＳ２０１は、取り出し操作が発生する前の目標商品棚の初期画像を取得するステップＳ２０１１と、前記初期画像に対して検知処理を行って、それぞれ１件の商品を有する複数の第１商品枠を含む第１検知画像を取得するステップＳ２０１２と、前記第１検知画像に対して識別処理を行って、前記第１検知画像における各前記第１商品枠内の商品の第１標識情報を取得するステップＳ２０１３と、を含む。

【0042】

該ステップＳ２０１２において、既設の検知モデルを用いて該検知の処理操作を実施することによって、第１商品枠で該初期画像における各商品をマーキングすることを実現する。１つの第１商品枠に１件の商品を有する。該ステップＳ２０１３において、既設の識別モデル又は分類モデルを用いて各第１商品枠における商品を識別し、該商品の第１標識情報を取得する。

【0043】

該ステップＳ２０２において、顧客の購買が完了したあと、決済がクリックされたとき、該目標商品棚内のカメラが最終の結果画像を撮影する。該結果画像には、顧客に選択されて取り出された商品がもうなくなった。

【0044】

該ステップＳ２０３において、購買前後の初期画像及び結果画像の各画素のＲＧＢの３つのチャンネルにおける差の絶対値の大きさを算出することにより、前後画像差異の情報を反映できるｄｉｆｆ情報画像、即ちＲＧＢ差分画像を得ることができる。ｄｉｆｆ情報画像、即ちＲＧＢ差分画像は、該取り出し操作の前後の画像の変化領域を反映するものである。商品枠内におけるＲＧＢ差分値が閾値より低くなる場合、該商品枠内における商品に変化がないと認められる。

【0045】

該ステップＳ２０４において、既設の検知処理モデルにより該結果画像に対して検知処理を行い、第２商品枠で該結果画像における各商品をマーキングする。そして、マーキングされた商品を識別し、その第２標識情報を取得する。

【0046】

具体的に、一部の実施例において、該ステップＳ２０４は、前記結果画像に対して検知処理を行い、それぞれ１件の商品を有する複数の第２商品枠を含む第２検知画像を取得するステップＳ２０４１と、前記ＲＧＢ差分画像に基づいて前記第２検知画像に対してフィルタ処理を行い、ＲＧＢ差分値が第１既設値より小さい第２商品枠及び対応する商品を前記第２検知画像から削除して、第２目標検知画像を得るステップＳ２０４２と、前記第２目標検知画像に対して識別処理を行って、前記目標検知画像における各第２商品枠内の第２標識情報を取得するステップＳ２０４３と、を含む。該ステップＳ２０４２において、ＲＧＢ差分値が第１既設値より小さい第２商品枠及び対応する商品を該画像から削除することによって、そのあとに実行される識別処理操作の仕事量を減少させ、計算速度を向上させることができる。該ステップＳ２０４３において、既設の識別モデル又は分類モデルを用いて該第２目標検知画像における商品を識別して、対応する第２標識情報を取得する。

【0047】

該ステップＳ２０５において、該ステップＳ２０３により取得した第１目標商品枠及び対応する第１標識情報と、ステップＳ２０４により取得した第２目標商品枠及び対応する第２標識情報とを合わせて、取り出された商品を正確に算出することができる。これよって、取り出された商品を商品注文書に加えて金額を算出し、商品注文書を生成する。

【0048】

ただし、顧客が商品を取ったり置いたりするうちに商品の位置が変わることがあるので、ステップＳ２０３により算出した第１目標商品枠において、取り出されたのではなくただ位置が変化したことに起因して該第１目標商品枠に対応する領域のＲＧＢ差分値の変化が比較的に大きくなる場合がある。この場合、該領域における第１目標商品が、取り出された商品とされるようになり、注文書が不正確になる。このため、本実施例に訂正ステップが加えられる。ステップＳ２０４により取得した第２目標検知画像における各第２商品枠内の商品が、位置が変動し取り出されていない商品であり、該位置が変動し取り出されていない商品を、該ステップＳ２０３により取得した第１目標商品枠における商品から除去して、顧客により取り出された商品を得る。したがって、検知の正確率を向上させ、商品注文書の間違いを避けることができる。

【0049】

一部の実施例において、該注文書生成方法は、前記結果画像及び前記第２検知結果を記憶し、次の取り出し操作の初期画像及び第１検知結果とするステップＳ２０６をさらに含む。次の取り出し操作が発生するとき、直接該初期画像及び第１検知結果を利用して計算を行い、効率を向上させることができる。

【0050】

図３は、本出願における一部の実施例による注文書生成装置の構成模式図である。該注文書生成装置は、図３に示すように、第１取得モジュール３０１と、第２取得モジュール３０２と、第１生成モジュール３０３と、第２生成モジュール３０４とを有する。

【0051】

該第１取得モジュール３０１は、取り出し操作が発生する前の目標商品棚の初期画像と、前記初期画像を処理して得た複数の第１商品枠を含む第１検知画像及び各前記第１商品枠における商品に対応する第１標識情報を含む第１検知結果と、を取得する。該目標商品棚内に商品室が形成され、該商品室内に、顧客が選択できる間隔をあけて配置される複数の商品が置かれる。該初期画像は、該目標商品棚の内部の天井に設置されるカメラで撮られるものである。該目標商品棚内の明るさを一定に保つ。電子設備は、カメラで撮られた初期画像を取得したあと、既設のモデルを用いて該初期画像に対して処理を行って、検知結果を取得する。具体的に、該初期画像に対して領域を区画し、即ち、１件の商品を１つの商品枠に割り当て、そして各商品枠における商品をそれぞれ識別する。

【0052】

具体的に、一部の実施例において、該第１取得モジュール３０１は、取り出し操作が発生する前の目標商品棚の初期画像を取得し、前記初期画像に対して検知処理を行って、それぞれ１件の商品を有する複数の第１商品枠を含む第１検知画像を取得し、前記第１検知画像に対して識別処理を行って、前記第１検知画像における各前記第１商品枠内の商品の第１標識情報を取得する。

【0053】

該第２取得モジュール３０２は、取り出し操作が完了した後の目標商品棚の結果画像を取得する。顧客の購買が完了したあと、決済がクリックされたとき、該目標商品棚内のカメラが最終の結果画像を撮影する。該結果画像には、顧客に選択されて取り出された商品がもうなくなった。

【0054】

該第１生成モジュール３０３は、前記結果画像及び前記初期画像に基づいて購買前後のＲＧＢ差分画像を生成する。購買前後の初期画像及び結果画像の各画素のＲＧＢの３つのチャンネルにおける差の絶対値の大きさを算出することにより、前後画像差異の情報を反映できるｄｉｆｆ情報画像、即ち、ＲＧＢ差分画像を得ることができる。ｄｉｆｆ情報画像、即ちＲＧＢ差分画像は、該取り出し操作の前後の画像の変化領域を反映するものである。商品枠内におけるＲＧＢ差分値が閾値より低くなる場合、該商品枠内における商品に変化がないと認められる。

【0055】

該第２生成モジュール３０４は、前記ＲＧＢ差分画像及び前記第１検知結果に基づいて、取り出された商品に対応する商品注文書を生成する。

【0056】

一部の実施例において、該第２生成モジュール３０４は、前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得する第１取得手段と、前記第１目標商品枠及び対応する第１標識情報に基づいて、取り出された商品に対応する商品注文書を生成する第１生成手段と、を有する。該第１既設値の設定には、カメラの撮影誤差等に起因した明るさの変化を考慮する必要がある。該第１目標商品枠内における商品が顧客に取り出されたので、第１目標商品枠内における商品を商品注文書に加えて金額を算出する。

【0057】

図４に示すように、一部の実施例において、該注文書生成装置は、検知モジュール３０５をさらに有する。検知モジュール３０５は、前記結果画像に対して検知処理を行って、前記結果画像を処理して得た複数の第２商品枠を含む第２検知画像及び各前記第２商品枠における商品に対応する第２標識情報を含む第２検知結果を取得する。対応に、該実施例において、該第２生成モジュール３０４は、前記ＲＧＢ差分画像に基づいて前記第１検知画像におけるすべての第１商品枠から、ＲＧＢ差分値が第１既設値より小さい第１目標商品枠を選出し、対応する第１標識情報を取得し、前記ＲＧＢ差分画像に基づいて、前記第２検知画像におけるすべての第２商品枠から、ＲＧＢ差分値が第１既設値より小さい第２目標商品枠を選出し、対応する第２標識情報を取得し、前記第１目標商品枠、前記第１標識情報、前記第２目標商品枠及び前記第２標識情報に基づいて、取り出された商品に対応する商品注文書を生成する。

【0058】

図５は、本出願における実施例による電子設備の構成模式図である。図５に示すように、本出願による電子設備４は、プロセッサー４０１とメモリ４０２とを有する。プロセッサー４０１とメモリ４０２とは、通信バス４０３及び／又は他の形式の接続機構（図示せず）により接続されて通信する。メモリ４０２には、プロセッサー４０１の実行可能なコンピュータプログラムが記憶され、演算設備が作動するとき、プロセッサー４０１が該コンピュータプログラムを実行して、上記の実施例によるいずれか１つの実現方式における方法を実行する。

【0059】

一部の実施例において、該電子設備の各機能を、１つのシステムにおける異なる設備に割り当てることができる。検知処理及び識別処理は、第１設備及び第２設備の２つのＧＰＵで実行されることができる。よって、システムが相応の信号プロセスに従って並行処理を行うことができるので、注文書処理の速度を向上させる一方、空き時間帯の演算資源をよりよく利用できる。

【0060】

本出願における実施例は、記憶媒体を提供し、前記コンピュータプログラムがプロセッサーにより実行されるとき、上記の実施例によるいずれか１つの実現方式における方法を実行する。記憶媒体は、任意タイプの揮発性又は不揮発性の記憶設備又はこれらの組み合わせにより実現されることが可能である。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭと略称する）、電気的に消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＥＰＲＯＭと略称する）、消去可能なプログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭと略称する）、プログラマブル読み出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＰＲＯＭと略称する）、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭと略称する）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクが挙げられる。

【0061】

本出願による実施例において、記載された装置及び方法は、その他の方式により実現されることが可能である。上記に説明された装置の実施例は、例示的なものにすぎない。例えば、前記のユニットの区分は、単に論理的な機能区分であり、実際の実現では別の区分であってもよい。例えば、複数のユニット又はコンポーネントを組み合わせ、又は別のシステムに統合してもよく、或いは一部の特徴が省略又は不実行にしてもよい。また、表示されもしくは論述された相互結合又は直接結合又は通信接続は、いくつかのインターフェース、装置又はユニットを介する間接結合又は通信接続であってもよく、電気的、機械的又は他の形式による接続であってもよい。

【0062】

また、別個の部品として説明されたユニットは、物理的に別個であってもなくてもよい。ユニットとして表示されている部品は、物理的なユニットであってもなくてもよく、つまり、同一場所に位置してもよく、複数のネットワークユニットに分散してもよい。本実施例の案の目的を達成するために、実際の要求に応じて一部又は全部のユニットを選択することが可能である。

【0063】

また、本出願の各実施例における各機能モジュールは、１つの独立部分に集積されてもよく、各モジュールが単独に存在していてもよく、２つ又は２つ以上のモジュールが１つの独立部分に集積されていてもよい。

【0064】

本明細書において、第１及び第２などのような関係用語は、１つのエンティティ若しくはアクションを別のエンティティ若しくはアクションから、必ずしもそのようなエンティティ若しくはアクション間に如何なる事実上のそのような関係又は順序も要求又は暗示することなく、区別するためだけに用いられることができる。

【0065】

上記の記載は、本出願における実施例にすぎず、本出願の保護範囲を限定するものでははい。当業者から見て、本出願に各種の変更や変化を有してもよい。本出願の精神及び主旨から逸脱しない限り、行った如何なる変更、均等置換、改良等も、本出願の保護範囲内に属する。

【図1】

【図2】

【図3】

【図4】

【図5】