特許 6908814 セルフチェックアウトシステムのバックエンド商品の登録方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6908814

(24)【登録日】2021年7月6日

(45)【発行日】2021年7月28日

(54)【発明の名称】セルフチェックアウトシステムのバックエンド商品の登録方法

(51)【国際特許分類】

   G06Q 30/06 20120101AFI20210715BHJP

   G07G 1/12 20060101ALI20210715BHJP

   G07G 1/00 20060101ALI20210715BHJP

   G06T 7/00 20170101ALI20210715BHJP

   G06N 3/04 20060101ALI20210715BHJP

【ＦＩ】

   G06Q30/06

   G07G1/12 311B

   G07G1/00 311D

   G06T7/00 350C

   G06N3/04

【請求項の数】10

【外国語出願】

【全頁数】16

(21)【出願番号】特願2020-25519(P2020-25519)

(22)【出願日】2020年2月18日

(65)【公開番号】特開2021-56992(P2021-56992A)

(43)【公開日】2021年4月8日

【審査請求日】2020年5月20日

(31)【優先権主張番号】108135552

(32)【優先日】2019年10月1日

(33)【優先権主張国】TW

(73)【特許権者】

【識別番号】520058354

【氏名又は名称】創意引晴股▲ふん▼有限公司

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】陳柏翔

(72)【発明者】

【氏名】周俊川

(72)【発明者】

【氏名】趙▲がい▼文

(72)【発明者】

【氏名】謝少航

【審査官】 岡北 有平

(56)【参考文献】

【文献】 米国特許出願公開第２０１８／０２１１１３８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１９／０２３６３６２（ＵＳ，Ａ１）

【文献】 特開２０１７−１４６８５４（ＪＰ，Ａ）

【文献】 中国特許出願公開第１１０２４５５９４（ＣＮ，Ａ）

【文献】 中国特許出願公開第１１００３５２３２（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０７Ｇ １／１２

Ｇ０７Ｇ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

学習済みの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）モデル、及び複数の写真から構成される識別パッケージを格納するデータベースと、プロセッサとを少なくとも有するバックエンドサーバに用いられるセルフチェックアウトシステムのバックエンド商品の登録方法であって、
画像取得ユニットは、登録しようとする商品に対応する商品番号が記録された商品写真を撮影するステップ（ａ）と、
前記プロセッサは、デフォルトパラメータに基づいて前記商品写真を変形処理して、複数のシミュレーション写真を生成するステップ（ｂ）と、
前記プロセッサは、前記ニューラルネットワークモデルにより、前記商品写真及び前記複数のシミュレーション写真と前記データベース内の前記複数の写真とをそれぞれ対比し、対比結果に基づいて認識率を生成する自己認証プログラムを実行するステップ（ｃ）と、
前記プロセッサが、前記認識率が閾値を満たすと判定した場合、前記商品写真を前記識別パッケージに追加して、前記商品の登録プログラムを完了するステップ（ｄ）と、
前記プロセッサが、前記認識率が前記閾値を満たさないと判定した場合、前記商品写真を再撮影する指示メッセージを発行するステップ（ｅ）と、
を含む、セルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項2】

前記ステップ（ａ）の後に、
前記商品写真から前記商品の具体的な画像を取得するために、前記商品写真に対して前景分離プログラムを実行するステップ（ａ１１）と、
前記具体的な画像に基づいて、前記商品写真を更新するステップ（ａ１２）と、をさらに含む、請求項１に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項3】

前記ステップ（ａ１１）において、顕著性モデル（Ｓａｌｉｅｎｃｙ Ｍｏｄｅｌ）及び深度分割アルゴリズム（Ｄｅｐｔｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）により前記前景分離プログラムを実行する、請求項２に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項4】

前記ステップ（ａ１１）は、
前記商品写真において前記商品の輪郭を識別するステップ（ａ１１１）と、
前記輪郭に基づいて前記商品のマスクを生成して前記商品を位置決めするステップ（ａ１１２）と、
前記マスク内の画像を取得して、前記具体的な画像を生成するステップ（ａ１１３）と、を含む、請求項２に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項5】

前記ステップ（ａ１１）は、
前記マスクに基づいて、前記商品をカバー可能なマーク枠を生成するステップ（ａ１１４）をさらに含む、請求項４に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項6】

前記ステップ（ａ）の前に、
表示ユニットにより、前記画像取得ユニットの取得範囲内においての前記商品の推奨配置位置を表示するステップ（ａ０１）をさらに含む、請求項２に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項7】

前記プロセッサにより、前記商品写真の数が所定数を満たすか否かを判定するステップ（ｆ）と、
前記表示ユニットにより、前記商品写真の数が前記所定数を満たさない場合、前記商品の次の推奨配置位置を表示し、前記ステップ（ａ）を再度実行するステップ（ｇ）と、を含む、請求項６に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項8】

前記デフォルトパラメータは、前記商品のサイズ、配置位置、回転角度、光と影の状態、陰影位置、反射効果、及び商品特徴のうちの少なくとも１つを含む、請求項１に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項9】

フロントエンドのセルフチェックアウトシステムが、カメラにより購入商品の認識対象画像を取得するステップ（ｈ）と、
前記セルフチェックアウトシステムが、前記ニューラルネットワークモデルにより、前記認識対象画像と前記データベース内の前記複数の写真とを対比して、対比結果を生成するステップ（ｉ）と、
前記対比結果に基づいて識別された合致する１枚の写真に対応する前記商品番号を取得して、前記購入商品の識別動作を完了するステップ（ｊ）と、
前記商品番号に基づいて対応する前記商品の商品名及び価格を取得するステップ（ｋ）と、
前記商品名及び前記価格をフロントエンドのＰＯＳレジスタに送信してチェックアウト動作を行うステップ（ｌ）と、を含む、請求項１に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【請求項10】

前記ステップ（ｈ）の後に、
前記認識対象画像における前記購入商品の輪郭を識別するステップ（ｈ１）と、
前記輪郭に基づいて前記購入商品のマスクを生成し、前記購入商品を位置決めするステップ（ｈ２）と、
前記マスクの画像を取得し、購入商品画像を生成するステップ（ｈ３）と、
前記マスクに基づいて、前記購入商品をカバー可能なマーク枠を生成して表示するステップ（ｈ４）と、
前記購入商品画像に基づいて、前記認識対象画像を更新するステップ（ｈ５）と、を含む、請求項９に記載のセルフチェックアウトシステムのバックエンド商品の登録方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、セルフチェックアウトシステムに関し、特に、セルフチェックアウトシステムに用いられるバックエンド商品の登録方法に関する。

【背景技術】

【0002】

時代が進むにつれて、従業員によるチェックアウトを必要としないセルフチェックアウトシステムを導入する店舗が増えている。さらに、現在、一部の国が、運営コストの削減を図るために、全く従業員を必要としない無人店舗を展開している。

【0003】

一般に、セルフチェックアウトシステムは、予めデータベースに大量の商品写真を格納しておき、チェックアウト時に消費者がセルフチェックアウトシステムにあるカメラで購入する商品の画像を取得し、システム対比を経て商品の関連情報（例えば商品名や販売価格等）を得て、チェックアウト動作を実行する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したように、効率的な対比を可能にするために、セルフチェックアウトシステムには、大量の商品写真が格納されなければならない。これらの商品写真は、主に商品のメーカが商品を登録する前に撮影し、セルフチェックアウトシステムに格納したものである。一般に、１つの商品の商品写真の数が多いほど、その商品の認識精度が高くなる。しかし、数量が多すぎる商品写真は、格納容量の不足を招き、さらにセルフチェックアウトシステムのハードウェアコストの上昇を招く。

【0005】

また、上記商品写真は、主に商品の供給メーカが手動で撮影してアノテーション（即ち、各写真がどの商品を表すかをマーキング）したものであり、メーカに登録する商品毎に大量の写真（例えば、５００枚や１０００枚）を撮影するよう要求すると、かなりの時間がかかる。このように、１つの新商品の登録時間は、数日から数週間を要する可能性があり、これはセルフチェックアウトシステムの使用にとって非常に困難である。

【0006】

さらに、商品写真の撮影もアノテーションも人的資源に頼るため、必要な商品写真の数が膨大になると、それに伴って商品登録に要するコストも高くなる。

【0007】

本発明の主な目的は、ユーザが少量の商品写真だけで新しい商品をセルフチェックアウトシステムに登録することを支援可能なセルフチェックアウトシステムのバックエンド商品の登録方法を提供することにある。

【課題を解決するための手段】

【0008】

上述の目的を達成するために、本発明に係るバックエンド商品の登録方法は、学習済みのＣＮＮモデル、及び複数の写真から構成される識別パッケージを格納するデータベースと、プロセッサとを少なくとも有するバックエンドサーバに用いられ、登録しようとする商品の商品写真を撮影するステップと、前記プロセッサは、デフォルトパラメータに基づいて前記商品写真を変形処理して、前記商品写真の複数のシミュレーション写真を生成するステップと、前記プロセッサは、前記ＣＮＮモデルによって前記商品写真及び前記複数のシミュレーション写真と、前記データベース内の前記複数の写真とをそれぞれ対比し、対比結果に基づいて認識率を生成するステップと、前記プロセッサは、前記認識率が閾値を満たすと判定した場合、前記商品写真を前記識別パッケージに追加して、前記商品の登録動作を完了するステップと、前記プロセッサは、前記認識率が前記閾値を満たさないと判定した場合、ユーザに前記商品写真を再撮影するように要求するステップと、を含む。

【発明の効果】

【0009】

本発明が関連技術に対して達成可能な技術的効果は、プロセッサによって自動的に生成されたシミュレーション写真に基づいて自己認証プログラムを実行することで、ユーザが撮影した大量の商品写真をシミュレーションすることができる点にある。このように、ユーザは、少量の商品写真を撮影するだけで、１つの商品に高い認識率を持たせて、商品をセルフチェックアウトシステムに登録することができる。これにより、本発明は、セルフチェックアウトシステムに商品を登録する手間を効果的に省き、商品を登録するのに要する時間とコストを大幅に短縮する。

【図面の簡単な説明】

【0010】

【図1】本発明の撮影の概略図の第１の具体例である。

【図2】本発明の登録システムのブロック図の第１の具体例である。

【図3A】本発明の第１の商品登録の概略図である。

【図3B】本発明の第２の商品登録の概略図である。

【図3C】本発明の第３の商品登録の概略図である。

【図4】本発明の商品登録のフローチャートの第１の具体例である。

【図5A】本発明の商品写真の概略図である。

【図5B】本発明のシミュレーション写真の概略図の第１の具体例である。

【図5C】本発明のシミュレーション写真の概略図の第２の具体例である。

【図5D】本発明のシミュレーション写真の概略図の第３の具体例である。

【図5E】本発明のシミュレーション写真の概略図の第４の具体例である。

【図6】本発明の前景分離のフローチャートの第１の具体例である。

【図7】本発明の画像処理の概略図の第１の具体例である。

【図8】本発明のセルフチェックアウトシステムの概略図の第１の具体例である。

【図9】本発明のセルフチェックアウトのフローチャートの第１の具体例である。

【発明を実施するための形態】

【0011】

本発明の好ましい実施形態について、図面を参照して詳細に説明する。

【0012】

図１及び図２を参照すると、図１は、本発明の撮影の概略図の第１の具体例であり、図２は、本発明の登録システムのブロック図の第１の具体例である。本発明は、セルフチェックアウトシステムのバックエンド商品の登録方法（以下、本明細書では単に登録方法と称する）を開示し、上記登録方法は、主にセルフチェックアウトシステムのバックエンドの登録システム１に用いられる。

【0013】

図１及び図２に示すように、上記登録システム１は、バックエンドサーバ２と、画像取得ユニット３と、表示ユニット４とを主に含む。一実施形態では、バックエンドサーバ２は、画像取得ユニット３及び表示ユニット４と同じ場所に配置され、ケーブルを介して画像取得ユニット３及び表示ユニット４と電気的に接続される。

【0014】

他の実施形態では、バックエンドサーバ２は、様々な無線伝送方式で画像取得ユニット３及び表示ユニット４に無線接続することができる。例えば、バックエンドサーバ２は、システム開発者に提供されるクラウドサーバであってもよく、画像取得ユニット３及び表示ユニット４は、ユーザ（例えば、商品の供給メーカ）のオフィス内に配置されてもよい。これにより、ユーザは、バックエンドサーバ２を遠隔接続することで、本発明の登録方法を使用することができる。

【0015】

図２に示すように、バックエンドサーバ２は、プロセッサ２１と、プロセッサ２１に電気的に接続されたデータベース２２とを少なくとも有している。データベース２２には、学習済みの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）モデル２２１と、複数の写真からなる識別パッケージ２２２とが格納されている。本発明では、プロセッサ２１は、主に、ＣＮＮモデル２２１と識別パッケージ２２２とによって、商品の登録プログラム（詳細は後述する）を実行する。

【0016】

上記ＣＮＮモデル２２１の原理及び学習方法は、当技術分野において一般的な技術的手段であり、ここでは説明を省略する。

【0017】

図３Ａは、本発明の第１の商品登録の概略図である。図３Ａは、登録システム１が表示ユニット４上に表示可能な第１の登録ページ４１を示す。図３Ａに示すように、上記第１の登録ページ４１では、ユーザは、現在登録されている全ての商品の商品情報を明確に見ることができる。一実施形態では、上記商品情報は、少なくとも、商品番号（ＩＤ）、バーコード、商品名、価格、及び格納された写真数等を含むが、これらに限定されない。ユーザは、第１の登録ページ４１上の商品追加ボタンをトリガーすると、登録しようとする商品の関連情報を追加することで、商品の登録プログラムを行うことができる。

【0018】

具体的には、１つの商品の登録プログラムを完了するには、１枚以上の商品写真を撮影しなければならず、商品写真の内容及び数は、ＣＮＮモデル２２１が十分に認識できる程度（例えば、図３Ａの実施形態では、ポテトチップスの写真数が５枚、パンの写真数が８枚、飲料の写真数が３枚）である必要がある。商品が登録されると、これらの商品写真が識別パッケージ１１１に追加されている。言い換えれば、本発明の識別パッケージ２２２は、複数の登録された商品の商品写真から構成されており、登録された商品の数が多いほど、識別パッケージ２２２内の写真の数も多くなり、両者は正比例の関係にある。

【0019】

一実施形態では、プロセッサ２１は、ＣＮＮモデル２２１により、識別パッケージ２２２内の写真を圧縮処理して、複数の識別可能なベクトル値（ｖｅｃｔｏｒ）を生成する。言い換えれば、識別パッケージ２２２には、複数の写真及び／又は圧縮処理された複数のベクトル値が格納されていてもよいが、これらに限定されない。

【0020】

図１に示すように、ユーザは、新しい商品５を登録しようとする場合、画像取得ユニット３によって商品５の商品写真を撮影することができる。プロセッサ２１は、この商品写真を上記識別パッケージ２２２内の複数の写真と対比し、対比結果の認識率（Ｃｏｎｆｉｄｅｎｔ ｒａｔｅ）により、この商品５の登録プログラムを完了することができるかどうか、又はユーザが商品５の他の写真を撮影する必要があるかどうかを判定することができる。本発明において、上記認識率とは、商品５の商品写真が識別パッケージ２２２から認識され得る確率を意味する。

【0021】

なお、一実施形態では、プロセッサ２１は、ＣＮＮモデル２２１により、画像取得ユニット３によって撮影された商品写真を圧縮処理して、対応するベクトル値を生成する。そして、プロセッサ２１は、主に、この商品５に対応するベクトル値と、識別パッケージ２２２に格納されている複数のベクトル値とを対比して、上記認識率を得る。ただし、上述の実施形態は、本発明の具体例に過ぎず、本発明は上述の実施形態に限定されない。

【0022】

続いて、図３Ｂを併せて参照する。図３Ｂは、本発明の第２の商品登録の概略図である。ユーザが商品５の写真を撮影する場合、プロセッサ２１は、表示ユニット４により、第２の登録ページ４２を表示し、画像取得ユニット３の取得範囲内においての商品５の推奨配置位置４２１を、第２の登録ページ４２上に表示することができる。この実施形態では、ユーザは、撮影した写真が登録システム１の要件をさらに満たすために、上記推奨配置位置４２１に商品５を配置して画像取得ユニット３によって商品５の写真を撮影することができる。

【0023】

一実施形態では、上記画像取得ユニット３の取得範囲は、現在商品５を積載するためのトレイ５０のサイズに設定してもよいが、これに限定されない。

【0024】

一実施形態では、プロセッサ２１はまた、様々なパラメータ（例えば、商品の形状、商品のカテゴリ、認識の難易度等）に基づいて必要な商品写真の数を設定してもよい。プロセッサ２１は、ユーザが商品写真を１枚撮影すると、現在の商品写真の数が所定数（例えば５枚）を満たすか否かを判定することができる。商品写真の数がまだ所定数に達していない場合、プロセッサ２１は、商品写真の数が所定数を満たすまで設定に従って上記第２の登録ページ４２上に次の推奨配置位置４２１を表示して、前の商品写真と差異性を有する次の商品写真を撮影するようにユーザを誘導することができる。

【0025】

続いて、図３Ｃを併せて参照する。図３Ｃは、本発明の第３の商品登録の概略図である。ユーザが新しい商品５の登録プログラムを行う場合、登録システム１は、表示ユニット４上に第３の登録ページ４３を表示することができる。図３Ｃに示すように、ユーザは、第３の登録ページ４３の左半分の欄に商品５の商品番号（ＩＤ）、バーコード、商品名、価格等の商品情報を入力し、第３の登録ページ４３の右半分の欄に上記商品５の商品写真６をインポートすることができる。

【0026】

ユーザは、商品５の商品写真６をインポートした後、第３の登録ページ４３上の次へボタンをトリガーして、登録システム１を商品写真６に対して自己認証プログラムを実行させることができる。上記自己認証プログラムが成功した後、登録システム１は、商品写真６をデータベース２２の識別パッケージ２２２に追加して、識別パッケージ２２２を更新し、新しい商品５の登録プログラムを完了することができる。

【0027】

具体的には、上述した自己認証プログラムは、主として、既存の識別パッケージ２２２に新たな商品写真６が加わった後に、識別パッケージ２２２が安定状態のままであるか否かを確認するとともに、ＣＮＮモデル２２１が識別パッケージ２２２に基づいて各商品の識別動作を行う際に、閾値よりも高い認識率を依然として得られるか否かを確認するためのものである（詳細は後述する）。

【0028】

続いて、図４を参照する。図４は、本発明の商品登録のフローチャートの第１の具体例であり、主に、本発明の登録方法の具体的な実行ステップを示す。

【0029】

図４に示すように、１つの商品に対して登録プログラムを行うには、まず、ユーザは、登録しようとする商品５を１つの撮影位置（例えば、図１に示すトレイ５０上）に置き、登録システム１の画像取得ユニット３により商品５の商品写真６を少なくとも１枚撮影する（ステップＳ１０）。具体的には、ステップＳ１０において、バックエンドサーバ２のプロセッサ２１は、画像取得ユニット３の取得範囲内においての商品５の推奨配置位置４２１を表示ユニット４上に表示して、商品５を上記推奨配置位置４２１に配置するようにユーザを誘導することで、画像取得ユニット３による商品写真６の撮影を容易にすることができる。

【0030】

なお、上記商品写真６には、上述した第３の登録ページ４３の設定によって、対応する商品５の商品番号（ＩＤ）、商品名、バーコード、価格等の商品情報が記録されているが、これらに限定されない。

【0031】

本発明では、プロセッサ２１は、商品の形状、商品のカテゴリ、認識の難易度等のパラメータに応じて、必要な商品写真の所定数を設定することができる。ステップＳ１０の後、プロセッサ２１は、現在撮影された商品写真６の数が所定数を満たすか否かを判定する（ステップＳ１２）。商品写真６の数が所定数を満たさない場合、プロセッサ２１は、ステップＳ１０に戻り、次の商品写真６を撮影するようにユーザを要求する。

【0032】

本実施形態では、商品写真６の数を増やす目的は、商品５の異なる様子を予測することであるため、プロセッサ２１は、異なる商品写真６同士に内容の差異があることを確実にする必要がある。例えば、プロセッサ２１は、ステップＳ１０に戻った後、画像取得ユニット３の取得範囲内においての商品５の次の推奨配置位置４２１を、表示ユニット４によって表示することで、内容の異なる商品写真６を撮影するようにユーザを誘導することができる。

【0033】

ユーザが商品５の商品写真６を複数撮影して、商品写真６の数が上記所定数を満たした後、プロセッサ２１は、複数の商品写真６を用いて、後続のステップＳ１４の変形処理及びステップＳ１６の自己認証プログラムを同時に実行することにより、ステップＳ２０で得られた認識率を向上させることができる。

【0034】

別の実施形態では、上記商品写真の所定数は１枚である。この実施形態では、ステップＳ１２は必ずしも存在しなくてもよい。理解を容易にするために、以下では、商品写真を１枚のみ撮影する例を挙げて説明する。

【0035】

次に、バックエンドサーバ２は、撮影された商品写真６を取得し、データベース２２に予め格納されたデフォルトパラメータ２２３に基づいて、商品写真６を変形処理して複数のシミュレーション写真を生成する（ステップＳ１４）。一実施形態では、上記デフォルトパラメータ２２３は、上記商品５のサイズ、配置位置、回転角度、光と影の状態、陰影位置、反射効果、及び商品特徴等のうちの少なくとも１つを含んでもよいが、これらに限定されない。

【0036】

図５Ａ〜図５Ｅを同時に参照する。図５Ａは、本発明の商品写真の概略図であり、図５Ｂ〜図５Ｅは、それぞれ本発明のシミュレーション写真の概略図の第１の具体例〜第４の具体例である。

【0037】

図５Ａは、ユーザが上述のステップＳ１０で撮影した商品写真６を示している（図５Ａではパンを例にしている）。上述のステップＳ１４では、プロセッサ２１は、デフォルトパラメータ２２３に基づいて商品写真６を変形処理して、図５Ｂ〜図５Ｅに示すような複数のシミュレーション写真６１〜６４を自動的に生成する。

【0038】

第１の実施形態では、プロセッサ２１は、パンの商品特徴（例えば、ゴマ粒）の数、分布や位置を変更することにより、図５Ｂに示すようなシミュレーション写真６１を生成する。第２の実施形態では、プロセッサ２１は、パンの回転角度を変更することにより、図５Ｃに示すようなシミュレーション写真６２を生成する。第３の実施形態では、プロセッサ２１は、パンの陰影位置を変更することにより、図５Ｄに示すようなシミュレーション写真６３を生成する。第４の実施形態では、プロセッサ２１は、パンの反射効果を変更することにより、図５Ｅに示すようなシミュレーション写真６４を生成する。

【0039】

上記実施形態は本発明の具体例に過ぎない。識別精度を高めるために、プロセッサ２１は、異なるパラメータに応じて１枚の商品写真６に対して５００〜１０００枚程度のシミュレーション写真６１〜６４を生成してもよいが、本発明は上述の数に限定されない。

【0040】

本発明の１つの技術的特徴は、ユーザが画像取得ユニット３により撮影した商品写真６に加えて、プロセッサ２１が複数のシミュレーション写真６１〜６４を同時に自動的に生成して上記自己認証プログラムを実行することである。より具体的には、本発明は、自動生成されたシミュレーション写真６１〜６４により、従来の手動で商品５を撮影した大量の商品写真６をシミュレーションする。

【0041】

上述の技術的特徴により、ユーザは、ごく少数の商品写真６を撮影するだけで、新しい商品５を識別パッケージ２２２内に閾値よりも高い認識率を持たせることができ、新しい商品５の登録プログラムを完了することができる（好ましい場合には、商品写真６を１枚のみ撮影するだけで、商品５の登録プログラムを完了することができる）。これにより、商品の登録コストを効果的に節約するとともに、登録に要する時間を大幅に短縮することができる。

【0042】

図４に戻り、ステップＳ１４の後、プロセッサ２１は、ＣＮＮモデル２２１により、商品写真６及び複数のシミュレーション写真６１〜６４をそれぞれデータベース２２内の識別パッケージ２２２と対比するために、上記自己認証プログラムを実行する（ステップＳ１６）。一実施形態では、ＣＮＮモデル２２１は、商品写真６及び複数のシミュレーション写真６１〜６４をそれぞれ識別パッケージ２２２に記録された複数の写真と対比する。他の実施形態では、ＣＮＮモデル２２１は、商品写真６及び複数のシミュレーション写真６１〜６４をそれぞれ識別可能なベクトル値に圧縮し、これらのベクトル値をそれぞれ識別パッケージ２２２内の複数のベクトル値と対比する。

【0043】

例えば、識別パッケージ２２２の中に２０００枚の写真が保存されており、プロセッサ２１が商品写真６に対して５００枚のシミュレーション写真６１〜６４を生成した場合、本発明では、プロセッサ２１は、この５０１枚の写真６，６１〜６４をそれぞれ識別パッケージ２２２内の２０００枚の写真と逐一対比する。対比処理では、プロセッサ２１は、対比が完了したか否かを継続して判定し（ステップＳ１８）、対比が完了するまではステップＳ１６を継続して実行し、対比が完了すると、対比結果に基づいて認識率を生成する（ステップＳ２０）。

【0044】

本実施形態では、上述の認識率とは、上記商品写真６及びシミュレーション写真６１〜６４が、データベース２２の既存の識別パッケージ２２２において正常に認識された確率を意味する。具体的には、上記認識率が高いことは、商品写真６が識別パッケージ２２２内の他の写真（即ち、他の商品）と混同しにくいことを意味する。逆に、認識率が低いことは、商品写真６が識別パッケージ２２２内の他の写真（即ち、他の商品）と混同しやすいことを意味する。

【0045】

次に、プロセッサ２１は、上記認識率が予め設定された閾値よりも大きいか否かを判定する（ステップＳ２２）。認識率が閾値（例えば、９５％）よりも大きい場合、商品写真６が識別パッケージ２２２内の他の写真と混同しないことを示し、識別パッケージ２２２に商品写真６が追加されても、識別パッケージ２２２の認識率は安定したままである。したがって、プロセッサ２１は、識別パッケージ２２２の内容を更新するために、識別パッケージ２２２に商品写真６を追加することができる（ステップＳ２４）。

【0046】

逆に、認識率が閾値より大きくない場合、現在取得されている商品写真６が識別パッケージ２２２内の他の写真と混同する可能性があることを示し、商品写真６が識別パッケージ２２２に追加されると、識別パッケージ２２２のパフォーマンス（即ち、認識精度）に影響を及ぼす可能性がある。この場合、プロセッサ２１は、上記商品写真６が使用不可であると判定し、撮影した商品写真６を削除するとともに、表示ユニット４により、ユーザに商品写真６の再撮影を要求する指示メッセージを発行する（ステップＳ２６）。

【0047】

なお、商品写真６又はシミュレーション写真６１〜６４のいずれかが正常に認識されない場合、プロセッサ２１は、ＣＮＮモデル２２１に認識問題が生じていると判定することができる。このとき、プロセッサ２１は、バックエンドサーバ２の担当者にエラー報告を行い、認識できない商品写真６及び／又はシミュレーション写真６１〜６４を提出することができる。これにより、担当者は、ＣＮＮモデル２２１を微調整（ｆｉｎｅ ｔｕｎｅ）するために、商品写真６及びシミュレーション写真６１〜６４によってＣＮＮモデル２２１をさらに学習させることができる。

【0048】

上述したように、本発明では、新しい商品５の１枚以上の商品写真６が識別パッケージ２２２に追加されて、識別パッケージ２２２の認識率に影響を及ぼさない（即ち、認識率が閾値よりも大きい）場合に、商品５の登録プログラムを許可して完了する（ステップＳ２８）。また、本発明では、識別パッケージ２２２に商品写真６を追加する前の自己認証プログラムが、自動的に生成された複数のシミュレーション写真６１〜６４によって実現されるので、ユーザが大量の商品写真６を自ら撮影するのに要する時間及び人件費を効果的に省くことができる。

【0049】

上述したように、本発明の画像取得ユニット３は、主に、取得範囲全体を撮影するものであるため、撮影した写真には、前景（例えば、１つ以上の商品５）と背景（例えば、トレイ５１）の画像が同時に含まれる。ＣＮＮモデル２２１による対比に使用可能な商品写真６を取得するには、プロセッサ２１は、まず、画像取得ユニット３によって撮影された写真に対して前景分離プログラムを実行して、商品５の具体的な画像を取得した後、この具体的な画像を上述の商品写真６とする場合がある。

【0050】

一実施形態では、プロセッサ２１は、主に、顕著性モデル（Ｓａｌｉｅｎｃｙ Ｍｏｄｅｌ）及び深度分割アルゴリズム（Ｄｅｐｔｈ Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）によって前景分離プログラムを実行することができる。上述の顕著性モデル及び深度分割アルゴリズムは、当技術分野において一般的な技術的手段であり、ここでは説明を省略する。

【0051】

続いて、図６及び図７を参照する。図６は、本発明の前景分離のフローチャートの第１の具体例であり、図７は、本発明の画像処理の概略図の第１の具体例である。図６を参照しながら、本発明のプロセッサ２１が商品５の具体的な画像をどのように取得するかをさらに説明する。

【0052】

本実施形態では、プロセッサ２１が画像取得ユニット３によって撮影された商品写真６を取得した後、まず、商品写真６において１つのオブジェクト（即ち、商品５）の輪郭を識別し（ステップＳ４０）、この輪郭に基づいて商品５のマスク７１を生成することで、商品５を位置決めする（ステップＳ４２）。マスク７１の生成により、プロセッサ２１は、商品写真６内においての商品５の位置を取得することができる。

【0053】

具体的には、図７に示すように、マスク７１は、商品写真６における商品５の輪郭に沿って生成されて、商品写真６全体における商品５の輪郭の位置を記述するためのものである。上述のアルゴリズムは、マスク７１の位置を得るとともに、マスク７１内の画像を取得して商品５の具体的な画像を生成することができる（ステップＳ４４）。

【0054】

本実施形態では、プロセッサ２１は、ステップＳ４４で生成された具体的な画像により上記商品写真６を更新する。上述の図４のステップＳ１４及びステップＳ１６において、プロセッサ２１は、更新された商品写真６に基づいて、複数のシミュレーション写真６１〜６４を生成して識別パッケージ２２２と対比する。これにより、プロセッサ２１は、より正確な対比結果を得ることができる。

【0055】

一実施形態では、プロセッサ２１は、さらに、上記マスク７１に基づいて、商品５を完全にカバー可能なマーク枠７２を生成して表示する（ステップＳ４６）。上記マーク枠７２は、多角形（例えば、矩形、三角形や菱形等）の枠であってもよい。ユーザは、マーク枠７２の生成と表示により、表示ユニット４上で商品写真６から商品５の位置を迅速かつ明確に確認し、後続の処理動作をより効率的に行うことができる。

【0056】

上述したように、メーカは、新しい商品５を登録する場合、主として、商品５の商品情報及び商品写真６をバックエンドサーバ２にアップロードし、最終的に商品写真６を識別パッケージ２２２に追加して、商品５の登録プログラムを完了する。一方、店舗が商品５を陳列した後、フロントエンドのセルフチェックアウトシステム（図８に示すセルフチェックアウトシステム１）は、ネットワークによってバックエンドサーバ２に接続され、バックエンドサーバ２内のＣＮＮモデル２２１及び識別パッケージ２２２により、セルフチェックアウトプログラムに必要な識別動作を実現することができる。

【0057】

別の実施形態では、ユーザは、ＣＮＮモデル２２１及び識別パッケージ２２２を、セルフチェックアウトシステム１に予めインポートすることもできる。これにより、セルフチェックアウトシステム１は、ネットワークによってバックエンドサーバ２に接続される必要がなく、セルフチェックアウトプログラムを自ら実現することができる。なお、新しい商品５が登録され、バックエンドサーバ２が識別パッケージ２２２を更新した後、ユーザは、セルフチェックアウトシステム１が新しい登録された商品５を支援できるように、更新された識別パッケージ２２２に基づいてセルフチェックアウトシステム１を更新しなければならない。

【0058】

続いて、図８及び図９を参照する。図８は、本発明のセルフチェックアウトシステムの概略図の第１の具体例であり、図９は、本発明のセルフチェックアウトのフローチャートの第１の具体例である。

【0059】

図８及び図９に示すように、消費者は、店舗内でセルフチェックアウトシステム８を介して購入商品８４を購入する場合、主にセルフチェックアウトシステム８に搭載されたカメラ８１の下方に購入商品８４を置き、カメラ８１により購入商品８４の認識対象画像８５を取得することができる（ステップＳ５０）。次に、セルフチェックアウトシステム８は、取得した認識対象画像８５に対して前景分離プログラムを実行する（ステップＳ５２）。

【0060】

本実施形態では、セルフチェックアウトシステム８は、主に、上述の図６に近い方法で、認識対象画像８５に対して前景分離プログラムを行う。具体的には、セルフチェックアウトシステム８は、まず、認識対象画像８５において購入商品８４の輪郭を識別し、次いで、輪郭に基づいて購入商品８４のマスク（例えば、図７に示すマスク７１）を生成して、購入商品８４を位置決めする。また、セルフチェックアウトシステム８は、マスク内の画像をさらに取得することで、購入商品８４に完全に焦点を合わせた購入商品画像を生成する。最後に、セルフチェックアウトシステム８は、上記購入商品画像に基づいて認識対象画像８５を更新することにより、後続の識別動作が購入商品８４に焦点を合わせることができ、その結果、認識精度を向上させる。

【0061】

なお、カメラ８１によって撮影された認識対象画像８５に複数の購入商品８４が同時に含まれている場合には、セルフチェックアウトシステム８は、ステップＳ５２において、それぞれの購入商品８４に対して上記マスクを生成して、購入商品８４ごとに位置決めを行い、更新後に複数の認識対象画像８５を生成する。これにより、セルフチェックアウトシステム８は、カメラ８１により複数の購入商品８４を同時に認識することで、セルフチェックアウトプログラムの進行を速めることができる。

【0062】

図８に示すように、セルフチェックアウトシステム８は、更新された認識対象画像８５をスクリーン８２上に表示して消費者に見せることができる。また、セルフチェックアウトシステム８は、前景分離プログラムを実行する際に、上記マスクに基づいて購入商品８４を完全にカバー可能なマーク枠７２を生成し、認識対象画像８５及びマーク枠７２をスクリーン８２上に同時に表示することもできる。これにより、消費者は、購入商品８４をより迅速かつ明確に見ることができる。

【0063】

図９に戻り、ステップＳ５２の後、セルフチェックアウトシステム８は、ＣＮＮモデル２２１により、認識対象画像８５をデータベース２２内の識別パッケージ２２２と対比して、対比結果を生成する（ステップＳ５４）。一実施形態では、セルフチェックアウトシステム８は、ＣＮＮモデル２２１により、認識対象画像８５を識別パッケージ２２２内の複数の写真と直接対比する。他の実施形態では、セルフチェックアウトシステム８は、ＣＮＮモデル２２１により、認識対象画像８５を識別可能なベクトル値に圧縮し、このベクトル値を識別パッケージ２２２内の複数のベクトル値と対比する。

【0064】

上述した図３Ｃに示すように、識別パッケージ２２２に追加された各商品写真６には、少なくとも対応する商品５の商品番号（ＩＤ）が記録されている。ステップＳ５４の後、セルフチェックアウトシステム８は、対比結果を取得することができる。この対比結果には、上記認識対象画像８５に最も近い、識別パッケージ２２２内の写真が１枚以上記録されている。従って、ステップＳ５４の後、セルフチェックアウトシステム８は、対比結果に基づいて識別された合致する写真に対応する商品番号を取得することにより（ステップＳ５６）、上記購入商品８４の識別動作を完了することができる。

【0065】

ステップＳ５６の後、セルフチェックアウトシステム８は、商品番号に基づいて購入商品８４のバーコード、商品名及び価格等の商品情報を取得し（ステップＳ５８）、商品情報をフロントエンドの販売時点情報管理（Ｐｏｉｎｔ ｏｆ Ｓａｌｅ、ＰＯＳ）レジスタ８３に転送して、ＰＯＳレジスタ８３によりスクリーン８２上に商品情報を表示して消費者に確認させるとともに、ＰＯＳレジスタ８３によりチェックアウト動作を実行する（ステップＳ６０）。このようにして、消費者はセルフチェックアウト作業を完了することができ、かなり便利である。

【0066】

別の実施形態では、セルフチェックアウトシステム８は、ステップＳ５６の後に購入商品８４に対応する商品番号を取得し、ＰＯＳレジスタ８３によって読み取り可能なデータフォーマットで商品番号をＰＯＳレジスタ８３に直接送信することにより、従来のＰＯＳレジスタ８３がバーコードスキャナ（Ｂａｒｃｏｄｅ Ｓｃａｎｎｅｒ）から商品番号及びコードを直接取得する技術的手段をシミュレーションすることができる。本実施形態では、ＰＯＳレジスタ８３は、商品番号及びコードを受信した後、さらに商品番号及びコードに基づいて内部データベースを検索し、購入商品８４の商品名、価格等の商品情報を取得して表示することができる。

【0067】

上述の実施形態によれば、店舗は、従来のＰＯＳレジスタ８３のソフトウェアとハードウェアのアーキテクチャを変更する必要がなく、コストを効果的に低減することができる。また、セルフチェックアウトシステム８が商品写真６の対比結果から購入商品８４の商品情報を取得してＰＯＳレジスタ８３に送信する処理方式は、従来の店舗がバーコードスキャナで購入商品８４の商品情報を取得してＰＯＳレジスタ８３に送信する処理方式をシミュレーションすることができ、その結果、ＰＯＳレジスタ８３は、バーコードを有しない商品（例えばパン）に対するチェックアウト動作が可能となり、利便性が向上する。

【0068】

以上のように、本発明では、１枚の商品写真に基づいて大量のシミュレーション写真を自動的に生成することにより、ユーザは、少量の商品写真を撮影するだけで、１つの商品に高い認識率を持たせて商品の登録プログラムを正常に完成することができる。このようにすれば、商品の登録に要する時間及び人件費を効果的に節約することができる。

【0069】

以上の説明は、本発明の好ましい具体例に過ぎず、本発明の特許請求の範囲を限定するものではないので、本発明の内容を適用した等価な変形例であれば、いずれも本発明の範囲に含まれる。

【符号の説明】

【0070】

１…登録システム
２…バックエンドサーバ
２１…プロセッサ
２２…データベース
２２１…畳み込みニューラルネットワークモデル
２２２…識別パッケージ
２２３…デフォルトパラメータ
３…画像取得ユニット
４…表示ユニット
４１…第１の登録ページ
４２…第２の登録ページ
４２１…推奨配置位置
４３…第３の登録ページ
５０…トレイ
５…商品
６…商品写真
６１〜６４…シミュレーション写真
７１…マスク
７２…マーク枠
８…セルフチェックアウトシステム
８１…カメラ
８２…スクリーン
８３…ＰＯＳレジスタ
８４…購入商品
８５…認識対象画像
８６…商品情報
Ｓ１０〜Ｓ２８…登録ステップ
Ｓ１０〜Ｓ２８…前景分離ステップ
Ｓ１０〜Ｓ２８…チェックアウトステップ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6】

【図7】

【図8】

【図9】