特表 2023-543640 酒ラベル識別方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-17

(54)【発明の名称】酒ラベル識別方法、酒製品情報管理方法及びその装置、デバイス及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231010BHJP

   G06V 10/82 20220101ALI20231010BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023543251

(86)(22)【出願日】2020-10-26

(85)【翻訳文提出日】2023-03-27

(86)【国際出願番号】 CN2020123638

(87)【国際公開番号】W WO2022062028

(87)【国際公開日】2022-03-31

(31)【優先権主張番号】202011040731.0

(32)【優先日】2020-09-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】523111038

【氏名又は名称】郭 杰

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】郭 杰

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA17

5L096CA02

5L096DA02

5L096EA35

5L096GA51

5L096HA11

5L096JA03

5L096KA04

(57)【要約】

酒ラベル識別方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体を提供する。酒製品画像を取得し、所定のＯＣＲ識別方式で酒製品画像のＯＣＲ識別を行うことで、酒製品画像に含まれる文字を得る（Ｓ２１）。所定の深層学習識別方式で酒製品画像の深層学習識別を行うことで、酒製品画像に含まれる画像特徴を得る（Ｓ２２）。文字と画像特徴に基づいて、文字及び画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、目標酒ラベルを酒製品画像に対応する酒ラベルとする（Ｓ３３）。酒製品の所在する複雑な環境下でＯＣＲ文字識別による酒ラベル文字識別の欠点を深層学習を用いて克服し、深層学習による酒ラベル画像識別の欠点をＯＣＲ文字識別を十分に利用して克服することで、酒ラベル識別の正確性と効率を高め、酒製品情報管理の自動化効率を高める。
【選択図】図２

【特許請求の範囲】

【請求項1】

酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るステップと、
所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、
前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、を含む、
ことを特徴とする酒ラベル識別方法。

【請求項2】

前記の前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、
前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るステップと、
前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、を含む、
ことを特徴とする請求項１に記載の酒ラベル識別方法。

【請求項3】

前記酒製品画像は、同一の目標酒製品の複数の画像を含み、
前記の前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、
各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップを含み、
前記の各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップの後に、
すべての前記画像のそれぞれに対応する酒ラベルのうち、同じ酒ラベルに属する酒ラベルを同一種類の酒ラベルに帰属するステップと、
各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数を統計するステップと、
各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数に基づいて、すべての前記同一種類の酒ラベルのうち、数値が最も大きい酒ラベルを選別し、前記目標酒製品に対応する目標酒製品ラベルとするステップと、を更に含む、
ことを特徴とする請求項１又は２に記載の酒ラベル識別方法。

【請求項4】

サーバ側に適用される酒製品情報管理方法であって、
酒製品画像を含む酒製品情報を取得するステップと、
請求項１～３のいずれか一項に記載の酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るステップと、
前記酒ラベルに基づいて、前記酒製品情報を管理するステップと、を含む、
ことを特徴とする酒製品情報管理方法。

【請求項5】

端末に適用される酒製品情報管理方法であって、
ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、請求項１～３のいずれか一項に記載の酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、
前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、
前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップと、を含む、
ことを特徴とする酒製品情報管理方法。

【請求項6】

酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るための第１の識別ユニットと、
所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るための第２の識別ユニットと、
前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするための第１の選別ユニットと、を含む、
ことを特徴とする酒ラベル識別装置。

【請求項7】

サーバ側に適用される酒製品情報管理装置であって、
酒製品画像を含む酒製品情報を取得するための取得ユニットと、
請求項１～３のいずれか一項に記載の酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るための第３の識別ユニットと、
前記酒ラベルに基づいて、前記酒製品情報を管理するための管理ユニットと、を含む、
ことを特徴とする酒製品情報管理装置。

【請求項8】

端末に適用される酒製品情報管理装置であって、
ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するための送信ユニットであって、前記所定のサーバが、請求項１～３のいずれか一項に記載の酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするための送信ユニットと、
前記所定のサーバから送信された前記目標酒製品情報を受信するための受信ユニットと、
前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するための表示ユニットと、を含む、
ことを特徴とする酒製品情報管理装置。

【請求項9】

コンピュータプログラムを格納するためのメモリと、
前記メモリに接続されたプロセッサであって、前記コンピュータプログラムを実行して、請求項１～３のいずれか一項に記載の方法のステップを実行し、又は請求項４に記載の方法のステップを実行し、又は請求項５に記載の方法のステップを実行するためのプロセッサと、を含む、
ことを特徴とするコンピュータデバイス。

【請求項10】

コンピュータ可読記憶媒体であって、
前記記憶媒体にはコンピュータプログラムが格納されており、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１～３のいずれか一項に記載の方法のステップが実現され、又は請求項４に記載の方法のステップが実現され、又は請求項５に記載の方法のステップが実現される、
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、出願番号２０２０１１０４０７３１．０、出願日２０２０年９月２８日の中国特許出願を基礎として、その優先権を主張しており、その全てがここでは全体として本願に導入されている。

【0002】

（技術分野）
本願は、酒製品情報管理の技術分野に関し、特に酒ラベル識別方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

酒類は、古くから今に至って社交の中で重要な役割を果たしてきた。例えば、ワインは、現在の社交の中でますます重要な役割を果たしている。酒類の貯蔵は、一般的に酒蔵に貯蔵される。酒類の貯蔵は、酒蔵に対して特定の環境条件を必要とし、また、酒蔵中の酒製品を管理する必要がある。例えば、ワインの貯蔵について、特に温度と湿度に対する要求が極めて厳しい。また、伝統的なワインセラーについて、その機能の限界から、ワインセラー中に貯蔵されたワイン製品の管理が主に人工的に行われており、ワインの管理効率が低い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、酒ラベル識別方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体を提供し、従来技術の中で酒ラベル識別の正確性が低いという問題を解決することができ、それによって従来技術の中で酒製品の自動化管理効率が低いという問題を解決することができる。

【課題を解決するための手段】

【0005】

第１の態様では、本願は、酒ラベル識別方法を提供する。前記方法は、酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るステップと、所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、を含む。

【0006】

第２の態様では、本願は、サーバ側に適用される酒製品情報管理方法を提供する。前記方法は、酒製品画像を含む酒製品情報を取得するステップと、前記酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るステップと、前記酒ラベルに基づいて、前記酒製品情報を管理するステップと、を含む。

【0007】

第３の態様では、本願は、端末に適用される酒製品情報管理方法を提供する。前記方法は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップと、を含む。

【0008】

第４の態様では、本願は、更に酒ラベル識別装置を提供し、酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るための第１の識別ユニットと、所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るための第２の識別ユニットと、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするための第１の選別ユニットと、を含む。

【0009】

第５の態様では、本願は、更に、サーバ側に適用される酒製品情報管理装置を提供し、酒製品画像を含む酒製品情報を取得するための取得ユニットと、前記酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るための第３の識別ユニットと、前記酒ラベルに基づいて、前記酒製品情報を管理するための管理ユニットと、を含む。

【0010】

第６の態様では、本願は、更に、端末に適用される酒製品情報管理装置を提供し、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するための送信ユニットであって、前記所定のサーバが、前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするための送信ユニットと、前記所定のサーバから送信された前記目標酒製品情報を受信するための受信ユニットと、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するための表示ユニットと、を含む。

【0011】

第７の態様では、本願は、更に、コンピュータデバイスを提供し、コンピュータプログラムを格納するためのメモリと、前記メモリに接続されたプロセッサであって、前記コンピュータプログラムを実行すると、前記酒ラベル識別方法のステップを実行し、又はサーバ側に適用される前記酒製品情報管理方法のステップを実行し、又は端末に適用される前記酒製品情報管理方法のステップを実行するためのプロセッサとを含む。

【0012】

第８の態様では、本願は、更に、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラムが格納されている。前記コンピュータプログラムは、プロセッサによって実行されると、前記酒ラベル識別方法のステップ、又はサーバ側に適用される前記酒製品情報管理方法のステップ、又は端末に適用される前記酒製品情報管理方法のステップを前記プロセッサに実現させる。

【発明の効果】

【0013】

本願は、酒ラベル識別方法、酒製品情報管理方法及びその装置、コンピュータデバイス及びコンピュータ可読記憶媒体を提供する。本願において、酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得る。所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得る。前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとする。本願は、ＯＣＲ文字識別と深層学習画像識別を結合して、機械視覚に基づく酒ラベルの自動識別を実現する。ＯＣＲ光学識別と深層学習識別の優位性を十分に融合したため、規範文字の識別が速く且つ正確であるというＯＣＲ文字識別の利点を十分に利用して、前記酒製品画像に含まれる規範フォントの文字を迅速に識別し、そして、深層学習による画像識別の利点を用いて、酒製品の所在する複雑な環境下でＯＣＲ文字識別による酒ラベル文字識別の欠点を克服することができるとともに、深層学習による画像識別が比較的正確であるという利点を十分に利用することもできる。機械視覚に基づく深層学習識別は、多言語文字に対する良好な互換性を実現し、そしてＯＣＲ文字識別による規範文字識別の利点を十分に利用して深層学習の検索範囲を縮小し、それによって、深層学習による酒ラベル画像識別の訓練データ量の要求が高すぎ、計算量が大きいという欠点を克服することができる。同時に、深層学習に基づく酒ラベル画像識別は、ＯＣＲ文字識別を経た小さい目標酒ラベルの範囲内から検索すればよいため、システムの計算資源に対する需要を低減し、リアルタイムで効率的に酒ラベルを正確に識別することができ、酒ラベル識別の正確性と効率を高める。酒ラベルの正確な識別に基づいて、酒蔵中の酒製品に対する自動化管理を実現し、酒製品に対する自動化管理の効率を高める。例えば、ワインを貯蔵するワインセラーの中で、ワインに対してリアルタイムで自動的及び高品質の管理を行うことができ、それによってワインに対する自動化管理の効率を高める。

【図面の簡単な説明】

【0014】

本願の実施例の技術的態様をより明確に説明するために、以下に、実施例の説明において使用する必要がある図面を簡単に紹介する。明らかに、以下の説明における図面は、本願の一部の実施例であり、当業者にとっては、創造的な労働を払わずに、これらの図面に基づいて他の図面を得ることができる。

【0015】

【図1】本願の実施例による酒ラベル識別方法の適用環境図である。

【図2】本願の実施例による酒ラベル識別方法のフローの概略図である。

【図3】本願の実施例による酒ラベル識別方法における第１のサブフローの概略図である。

【図4】本願の実施例による酒ラベル識別方法における第２のサブフローの概略図である。

【図5】本願の実施例によるサーバ側に適用される酒製品情報管理方法のフローの概略図である。

【図6】本願の実施例による端末に適用される酒製品情報管理方法のフローの概略図である。

【図7】本願の実施例による酒ラベル識別装置のブロック概略図である。

【図8】本発明の実施例によるサーバ側に適用される酒製品情報管理装置のブロック概略図である。

【図9】本願の実施例による端末に適用される酒製品情報管理装置のブロック概略図である。

【図10】本発明の実施例によるコンピュータデバイスのブロック概略図である。

【発明を実施するための形態】

【0016】

以下、本願の実施例の図面に関連して、本願の実施例の技術的態様を明確に、完全に説明する。明らかに、説明された実施例は、本願の一部の実施例であり、すべての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働を行うことなく取得した他のすべての実施例は、本願の保護範囲に属する。

【0017】

なお、本明細書及び添付の特許請求の範囲で使用される場合、用語「含む」及び「からなる」は、説明された特徴、全体、ステップ、動作、要素及び／又はコンポーネントの存在を示すが、１つ又は複数の他の特徴、全体、ステップ、動作、要素、コンポーネント、及び／又はそれらの集合の存在又は追加を排除するものではない。

【0018】

図１を参照する。図１は、本願の実施例による酒ラベル識別方法の適用環境図である。図１に示すように、この適用環境は、以下を含む。
（１）酒蔵
酒蔵の異なる位置には、複数のカメラが設置されている。図１に示すように、この例の酒蔵には、酒蔵の中の酒製品を撮影するためのカメラ１、カメラ２、カメラ３及びカメラ４が設置されている。引き続き図を参照する。図１に示すように、この例では、ワイン１、ワイン２及びワイン３が含まれている。カメラ１とカメラ２は、ワイン１を撮影するために用いられ、カメラ３は、ワイン２を撮影するために用いられ、カメラ４は、ワイン３を撮影するために用いられる。酒製品は、酒キャビネットに格納された酒製品であってもよい。また、酒製品は、酒蔵の出入り口に出入りする酒製品であってもよい。その場合、酒蔵の出入り口にカメラを設置する必要があり、酒蔵に出入りする酒製品を酒蔵の出入り口のカメラで撮影し、酒製品の自動化管理を行う。
（２）サーバ
カメラが撮影してアップロードした酒製品に対応する酒製品画像を受信し、酒製品画像に対して酒ラベル識別を行い、酒ラベル識別に対応する酒ラベル識別結果に基づいて、酒製品画像に対応する酒製品に対して酒製品情報を管理するために使用される。
（３）端末
酒製品に対応する酒製品情報に対するユーザの照会、編集、削除などの操作を受信し、ユーザの操作に応答して、サーバからユーザの操作に対応する酒製品情報を取得するために使用される。端末にインストールされた酒製品情報管理のＡＰＰを通じて、酒製品情報に対する操作を行うことができる。

【0019】

以上の各主体の動作過程は、以下の通りである。
１）酒蔵の中のカメラは、酒蔵の中の酒製品に対応する酒製品画像を撮影し、そして酒製品画像をサーバにアップロードする。例えば、図１のカメラ１とカメラ２は、ワイン１に対応するワイン製品画像１を撮影し、カメラ３は、ワイン２に対応するワイン製品画像２を撮影し、カメラ４は、ワイン３に対応するワイン製品画像３を撮影し、そしてワイン製品画像１、ワイン製品画像２及びワイン製品画像３をサーバにアップロードする。
２）サーバは、酒製品画像を含む酒製品情報を受信し、例えば、ワイン製品画像１、ワイン製品画像２又はワイン製品画像３を受信する。酒製品画像を受信した後に、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得る。所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得る。前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとする。識別された酒ラベルに基づいて、前記酒製品画像に対応する酒製品の酒製品情報に対して、記録、削除、編集などの酒製品情報の管理を行う。
３）ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信する。それによって、前記所定のサーバが、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする。前記目標酒製品情報は、前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含む。前記所定のサーバから送信された前記目標酒製品情報を受信する。前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示する。

【0020】

図２を参照する。図２は、本願の実施例による酒ラベル識別方法のフローの概略図である。図２に示すように、本方法は、以下のステップＳ２１～Ｓ２３を含む。

【0021】

Ｓ２１において、酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得る。

【0022】

ここで、光学文字識別ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）は、光学的な方法で文書中の文字を白黒格子の画像ファイルに変換し、識別ソフトウェアを通じて画像中の文字をテキストフォーマットに変換する。

【0023】

具体的には、酒ラベル識別を行う際には、ユーザがスマートフォンなどのカメラ付き画像収集装置を介して酒製品に対応する酒製品画像を収集するようにしてもよいし、酒蔵に設置されたカメラを介して酒蔵の中の酒製品画像を収集するようにしてもよい。酒ラベル識別を行うコンピュータデバイスに酒製品画像をアップロードして、前記コンピュータデバイスは、識別すべき酒製品画像を取得する。次いで、前記コンピュータデバイスは、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を抽出し、前記文字を目標文字とする。ＯＣＲ技術は、規範的な文字などの文字型コンテンツを識別するのが得意なため、酒製品画像に含まれる文字を正確に識別することができる。例えば、ワインセラーにおいてワインに対して酒ラベルの自動化識別をしてワイン製品情報を管理する場合、ワインセラーにおいて、ワインセラーに配置された複数のカメラを介してワイン製品の酒製品画像を撮影する。前記酒製品画像は、カメラを介して撮影された１枚の画像（即ちピクチャ形式の画面）であり、バックグラウンドのワイン製品情報サーバにアップロードされてもよいし、カメラによって収集されたビデオであってもよく、バックグラウンドのワイン製品情報サーバにアップロードされてもよい。その後、前記ビデオ中のビデオフレームから得られた画像を抽出することによって、バックグラウンドのワイン製品情報サーバは、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得て、前記文字を酒ラベルに対応する目標文字とする。また、別の応用シーンにおいて、ワイン製品情報を管理する際に、携帯電話のカメラでワイン製品のワインラベルビデオを撮影し、ワインラベルビデオに含まれる画像を抽出することでワインラベル画像を得たり、ワイン製品のワインラベル画像を直接撮影して、所定のＯＣＲ識別方式で前記ワインラベル画像のＯＣＲ識別を行うことによって、前記ワインラベル画像に含まれる文字を得て、前記文字を目標文字とする。

【0024】

更に、前記の酒製品画像を取得するステップの前に、前記酒製品画像に対応する初期酒製品画像を取得するステップと、前記初期酒製品画像を分割し、前記初期酒製品画像に所定の酒ラベルを含む部分画像に対応する酒製品画像を得るステップとを更に含む。

【0025】

具体的には、異なる物体間、又は同じ物体の異なる部分間、例えば、酒製品と周囲の環境との間、異なる酒製品の間、又は同じ酒製品の異なる部分の間で、異なる輝度、テクスチャ、又は色などの画像特徴を示す確率が高い。これに鑑みて、管理が必要な酒製品は所定の酒製品範囲内にあり、また、識別が必要な酒ラベルも所定の酒ラベル範囲内にあるため、酒ラベルを自動識別するステップの前に、前記酒製品画像に対応する初期酒製品画像を取得した後であって酒ラベルの自動識別を行う前に、取得された初期酒製品画像を分割して、初期酒製品画像に含まれる酒製品以外の環境画像、酒ラベル以外の酒瓶などの酒製品の他の部分画像をスマートに分割し、分割後の所定の酒ラベルを含む部分画像を目標酒ラベル画像の略位置とし、前記目標酒ラベル画像を、酒ラベルの識別を行う酒製品画像とする。識別すべき画像を酒ラベルを含む部分画像に絞ることで、特に酒蔵など多くの環境要素を含む複雑な環境下で、酒瓶に対応する酒製品画像を正確に識別することができ、対応する正確な画像特徴を得ることができる。それによって後続の酒ラベル識別の正確性を高めることができ、また初期酒製品画像全体を識別するよりもデータ処理量を低減することができ、これにより、酒ラベル識別の効率が向上する。

【0026】

更に、前記の前記初期酒製品画像を分割するステップの後に、前記初期酒製品画像に所定の酒類ラベルが含まれているか否かを判断するステップと、前記初期酒製品画像に所定の酒ラベルが含まれていれば、前記の前記初期酒製品画像に所定の酒ラベルを含む部分画像に対応する酒製品画像を得るステップと、前記初期酒製品画像に所定の酒ラベルが含まれていなければ、前記初期酒製品画像のエラーの提示を出すステップとを更に含む。

【0027】

具体的には、異なる物体間、又は同じ物体の異なる部分間、例えば、酒製品と周囲の環境との間、異なる酒製品の間、又は同じ酒製品の異なる部分の間で、異なる輝度、テクスチャ、又は色などの画像特徴を示す確率が高い。各種類の酒製品に酒ラベルを含む部分画像に対応する画像特徴は、ユニークであり、画像特徴的には、酒ラベルを含む酒瓶中の部分画像に対応する画像特徴は、唯一で顕著である。前記初期酒製品画像を分割した後、前記初期酒製品画像を分割した画像特徴に基づいて、酒ラベルを含む所定の部分画像に対応する顕著な酒ラベル画像特徴と結合して、前記初期酒製品画像に所定の酒ラベルが含まれているかどうかを初歩的に判断する。前記初期酒製品画像に所定の酒ラベルが含まれていれば、前記の前記初期酒製品画像に所定の酒ラベルを含む部分画像に対応する酒製品画像を得るステップを実行して、前記初期酒製品画像に対してより詳細な画像識別を行い、前記初期酒製品画像に含まれる酒ラベルを識別する。前記初期酒製品画像に所定の酒ラベルが含まれていなければ、例えば酒瓶本体画像、酒瓶キャップ画像など、酒ラベル以外の酒瓶中の他の部位の画像であったり、又は、前記画像が顔画像、酒キャビネット画像又は周囲環境画像などの非酒ラベル画像であったりすると、前記初期酒製品画像を更に処理する必要はなく、前記初期酒製品画像が必要な画像ではなく捨ててもよい旨の、前記初期酒製品画像のエラーの提示を出す。酒ラベルを含む酒瓶中の部分画像に対応する画像特徴に対応する画像データ量が相対的に少ないため、前記初期酒製品画像に所定の酒ラベルが含まれていなければ、前記初期酒製品画像に対して大画像データ量の責任処理を行う必要がなく、前記酒製品画像に対する識別結果をできるだけ早く得ることができ、酒ラベル識別の流れを短縮することができ、酒ラベル画像に対する識別効率を高めることができる。また、前記初期酒製品画像を撮像し直す提示を出すことができ、酒ラベル識別の処理効率を高めることができる。

【0028】

Ｓ２２において、所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を抽出する。

【0029】

ここで、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）は、人間の脳が分析学習を行うニューラルネットワークを構築してシミュレーションし、人間の脳のメカニズムを模倣してデータを解釈する。深層学習のモデルは、Ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ＦＦ ｏｒ ＦＦＮＮ）ａｎｄ ｐｅｒｃｅｐｔｒｏｎｓ（Ｐ）、Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ（ＢＭ）などを含み、テストサンプルを通じて、多くの深層学習モデルから、酒ラベルの識別効果が比較的良い深層学習モデルを選別する。

【0030】

具体的には、酒製品画像を取得した後、所定の深層学習識別方式で前記酒製品画像の深層学習識別を行う。深層学習は、特徴学習（又は表現学習と呼ぶ）であるため、特徴工学であり、深層学習によって、前記酒製品画像に含まれる画像特徴を得ることができる。深層学習は、訓練サンプル画像及び前記訓練サンプル画像に対応するタグの学習が得意であるため、事前訓練後の深層学習に基づく深層学習モデルは、画像特徴の識別が得意であり、それによって、前記酒製品画像に含まれる画像特徴を正確に識別し、前記画像特徴を前記酒製品画像に対応する目標画像特徴とすることを実現することができる。例えば、ワインに対して、ワインラベルの自動化識別を行ってワイン製品情報を管理する場合、ワイン製品に対応するワイン製品画像を取得した後、所定の深層学習識別方式で前記ワイン製品画像の深層学習識別を行うことによって、前記ワイン製品画像に含まれる画像特徴を識別し、前記画像特徴を前記ワイン製品画像に対応する目標画像特徴とする。

【0031】

ここで、前記所定の深層学習識別方式に対応する所定の深層学習モデルを訓練するプロセスは、以下のステップを含む。
１）所定の酒製品に対応する酒ラベル画像にタグを付け、酒ラベル画像の事前訓練サンプルを得る。前記酒ラベル画像の事前訓練サンプルは、前記訓練酒ラベル画像及び前記訓練酒ラベル画像に対応する訓練酒ラベルタグを含む。具体的には、管理が必要な酒製品に対応する酒類ラベルに対して酒ラベル画像を撮影し、特に当該酒製品上の酒類ラベル画像を様々な角度から撮影し、撮影した酒類ラベル画像にタグを付ける。いわゆるタグを付けることは、即ち、撮影した酒類ラベル画像とその酒ラベルに対応する酒ラベル名とを対応的に関連付け、その酒ラベル画像がその酒類ラベル名に対応することを記述する。この酒ラベル名は、その酒ラベル画像に対応する酒ラベルタグである。
２）前記所定の深層学習モデルに対して、前記酒ラベル画像の事前訓練サンプルを用いて訓練を行う。具体的には、酒ラベル画像の事前訓練サンプルを所定の深層学習モデルに入力し、所定の深層学習モデルは、前記訓練酒ラベル画像及び前記訓練酒ラベル画像に対応する訓練酒ラベルタグに基づいて自動学習し、訓練酒ラベル画像に対応する訓練画像特徴と訓練酒ラベルタグとの関連関係を学習して深層学習モデルの訓練を完成する。
３）酒ラベル画像テストサンプルを用いて、前記所定の深層学習モデルをテストする。前記酒ラベル画像テストサンプルは、前記テスト酒ラベル画像及び前記テスト酒ラベル画像に対応するテスト酒ラベルタグを含む。具体的には、訓練後の所定の深層学習モデルを酒ラベル画像テストサンプルを用いてテストする。所定の深層学習モデルは、前記テスト酒ラベル画像を識別して、テスト目標酒ラベルを得る。前記テスト目標酒ラベルを前記テスト酒ラベル画像に対応するテスト酒ラベルタグと比較して、前記テスト目標酒ラベルと前記テスト酒ラベル画像に対応するテスト酒ラベルタグが一致するかどうかを判断する。前記テスト目標酒ラベルが前記テスト酒ラベル画像に対応するテスト酒ラベルタグと一致する場合、深層学習モデルが所定の酒ラベル識別に対して比較的に正確な識別効果を有することを示す。前記テスト目標酒ラベルが前記テスト酒ラベル画像に対応するテスト酒ラベルタグと一致しない場合、深層学習モデルが所定の酒ラベル識別に対して比較的に正確な識別効果を持たないことを示す。それによって、所定の深層学習モデルが所期の目標に達したかどうかを判断する。所期の目標に達した場合、前記所定の深層学習モデルを生産環境に投入する。所期の目標に達していない場合、より多くの訓練サンプル、訓練サンプルの調整、及び所定の深層学習モデルの調整により、所定の深層学習モデルが最終的に所期の目標に合致するまで訓練を再開する。

【0032】

Ｓ２３において、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとする。

【0033】

具体的には、酒ラベルを識別する際に、酒ラベルの範囲については予め決定することができ、例えば、酒蔵にどの種類の酒製品が存在するかについては予め決定することができるので、管理が必要な酒製品に対応する酒ラベルに基づいて所定の酒ラベルデータベースを構成し、酒製品画像から酒製品画像に含まれる文字と画像特徴を抽出した後、前記文字と前記画像特徴に基づいて、前記文字と前記画像特徴を結合し、前記文字及び前記画像特徴に整合する酒ラベルを目標酒ラベルとして所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとし、それによって、前記酒製品画像に対応する酒ラベルを識別し、識別された酒ラベルに基づいて酒製品情報を自動化管理する。例えば、ワインセラーによる酒製品情報の管理時に、ワイン製品画像を取得した後、前記ワイン製品画像中の文字と画像特徴を識別し、前記文字と前記画像特徴に基づいて、前記ワイン製品画像に対応するワインラベルを識別し、識別したワインラベルに基づいてワイン製品情報を管理する。

【0034】

本願の実施例において、酒ラベルは、一般的に文字と画像からなり、しかも異なる酒ラベルには大きな差が存在し、特にワインラベルについて、異なるメーカーが生産するワインの酒ラベルのフォントの種類、文字の大きさ及び言語などは、すべて大きなフォントの差が存在し、特に複雑な酒蔵環境条件の下で、しかも多言語などの多くの酒ラベルの差が存在する。酒製品に対して統一的な自動化管理を実現する際、従来技術では光学文字識別のみに基づいて酒ラベルを自動識別する場合、フォントの違いのほか、多言語文字の互換性が悪いという問題もあり、酒ラベル文字の識別精度が低いことによる識別効果の不安定化が発生する。従来の深層学習技術は、比較的正確な深層学習識別モデルを訓練するには、訓練サンプルデータ量に対する要求が高すぎる。深層学習技術に基づく画像識別は、計算量が大きく、訓練サンプルが十分に大きくない場合には、酒ラベルの識別効率も低い。一般的には、酒製品情報管理の応用環境に対して、十分に大きい酒ラベル訓練データサンプルを蓄積するのは難しい。そのため、コンピュータデバイスによる多種類の酒ラベルの正確な識別は、非常に困難である。本願の実施例の出願人は、複雑な環境下で多種類の酒ラベルに大きな差が存在し、統一的に正確な識別を行う必要があることに直面し、酒ラベルが文字と画像からなる特徴に基づいて、ＯＣＲ文字識別と深層学習画像識別を結合して酒ラベルに対して機械視覚に基づく自動識別を実現する。ＯＣＲ光学識別と深層学習識別の優位性を十分に融合したため、規範文字の識別が速く且つ正確であるというＯＣＲ文字識別の利点を十分に利用して、前記酒製品画像に含まれる規範フォントの文字を迅速に識別することがのみならず、深層学習による画像識別が正確であるという利点を十分に利用することもできる。機械視覚に基づく深層学習識別は、深層学習による画像識別の利点を採用してＯＣＲ文字識別の欠点を克服して、同時に多言語文字に対する良好な互換性を実現する。従って、ＯＣＲ文字識別の利点を十分に利用して深層学習の検索範囲を縮小し、深層学習による画像識別の訓練データ量の要求が高すぎ、計算量が大きいという欠点を克服する。同時に、深層学習に基づく画像識別は、小さい検索範囲内から検索するだけで、深層学習モデルのネットワーク構造を最適化し、システムの計算資源に対する需要を低減することができる。従って、光学文字識別と深層学習識別を結合することにより、２種類の識別方式のそれぞれの識別結果を総合し、多種類の酒ラベルに対して、おおざっぱから精密、正確な知能識別過程を実現し、特にワインラベルに対して多言語の大きな差異が存在し、酒ラベル訓練サンプルデータ量が十分に大きくできないという状態に対して、酒ラベルに対する識別速度と精度を高めることができ、深層学習による訓練の酒ラベル識別を満たし、リアルタイムで効率的に酒製品ラベルに対して正確な識別を行うことができ、酒製品ラベル識別の正確性と効率を高める。

【0035】

一実施例において、前記の前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るステップと、前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップとを含む。

【0036】

具体的には、画像からＯＣＲ識別によって前記画像に含まれる文字を抽出した後、前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、そして前記所定の酒ラベルを集合に構成して、目標酒ラベル集合を得る。それによって、ＯＣＲの規範文字識別が速くて正確である利点を十分に利用して、深層学習による酒ラベル検索範囲を目標酒ラベル集合に縮小する。

【0037】

更に、一般的には、酒ラベルは、文字と画像からなるか、又は識別された文字が正確ではない。例えば、識別された文字は、他の文字と類似し又は同一であり、又は他の文字組み合わせに含まれる。そのため、識別された文字だけで酒製品画像に対応する酒ラベルを正確に特定することはできない。前記目標酒ラベル集合を得た後、前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、即ち、前記画像特徴と最も整合する酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとすることによって、前記酒製品画像に対応する酒ラベルを識別する。事前訓練された深層学習モデルは、画像識別が比較的に正確であるという特徴から、深層学習モデルの酒ラベル検査範囲がすでに目標酒ラベル集合に縮小された場合、所定の酒ラベルデータベースから直接検索して目標酒ラベルを得るよりも、深層学習モデルの計算量を大幅に削減することができ、酒蔵などの複雑な環境の中でＯＣＲモデルによる文字識別の際の識別正確度が低いという欠点を克服する。これにより、目標酒ラベル集合から正確な目標酒ラベルを選別し、正確な前記酒製品画像に対応する酒ラベルを得ることができ、前記酒製品画像に対応する酒ラベルを識別する正確性と効率を高める。

【0038】

更に、前記の前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るステップの前に、更に、前記文字と、前記所定の酒ラベルデータベース中の所定の酒ラベルに対応する所定の酒ラベル文字との文字類似度を統計するステップと、前記文字類似度が所定の文字類似度閾値以上であるか否かを判断するステップと、前記文字類似度が所定の文字類似度閾値以上であれば、前記所定の酒ラベル文字を目標文字とし、前記目標文字を前記酒製品画像に対応する文字とするステップを含む。

【0039】

更に、前記の前記文字類似度が所定の文字類似度閾値以上であれば、前記所定の酒ラベル文字を目標文字とし、前記目標文字を前記酒製品画像に対応する文字とするステップは、前記文字類似度が所定の文字類似度閾値以上であれば、前記文字類似度が最も高い所定の酒ラベル文字を目標文字とするステップを含む。

【0040】

具体的には、識別された前記酒製品画像に含まれる文字と、所定の酒ラベル文字との文字類似度を判断し、前記文字と、前記所定の酒ラベルデータベース中の所定の酒ラベルに対応する所定の酒ラベル文字との文字類似度を統計し、前記文字類似度が所定の文字類似度閾値以上であるか否かを判断する。前記文字類似度が所定の文字類似度閾値以上であれば、前記文字と所定の酒ラベル文字とが同一又は類似であると判断し、前記所定の酒ラベル文字を目標文字とし、前記目標文字を前記酒製品画像に対応する文字とする。前記文字類似度が所定の文字類似度閾値未満であれば、前記文字と所定の酒ラベル文字との差異が大きすぎると判断し、酒ラベルの識別ミス又は酒ラベルの識別失敗の提示を出して、そして前記酒製品画像を再撮影する提示を出して、目標酒ラベルを所定の文字類似度閾値で更に濾過して、酒ラベルの識別の正確性と酒ラベルの識別の効率を更に高めることができる。

【0041】

更に、前記所定の酒ラベル文字を目標文字とする。同一又は類似の所定の酒ラベル文字を目標文字とするため、目標文字は、複数の所定の酒ラベル文字を含む場合がある。文字の目標範囲を更に縮小し、酒ラベルの識別範囲を縮小し、酒ラベルの識別効率を高めるために、前記文字類似度が最も高い所定の酒ラベル文字を目標文字とすることによって、唯一の目標文字を特定し、目標酒ラベルの範囲を縮小し、酒ラベル識別の効率を高めることができる。

【0042】

更に、前記の前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、前記画像特徴と、前記目標酒ラベル集合に含まれる所定の酒ラベルとの画像類似度を統計して、すべての前記画像類似度を得るステップと、すべての画像類似のうち画像類似度が最も高い目標画像類似度を選別するステップと、前記目標画像類似度が所定の画像類似度閾値以上であるか否かを判断するステップと、前記目標画像類似度が所定の画像類似度閾値以上であれば、前記目標画像類似度に対応する所定の酒ラベルを目標酒ラベルとし、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップを含む。

【0043】

具体的には、識別された前記酒製品画像に含まれる画像特徴と、前記目標酒ラベル集合に含まれる所定の酒ラベルとの画像類似度を判断し、前記画像特徴と、前記目標酒ラベル集合に含まれる所定の酒ラベルとの画像類似度を統計してすべての前記画像類似度を得る。すべての画像類似度の中で画像類似度が最も高い目標画像類似度を選別し、前記目標画像類似度が所定の画像類似度閾値以上であるか否かを判断する。前記目標画像類似度が所定の画像類似度閾値以上であれば、前記目標画像類似度に対応する所定の酒ラベルが前記酒製品画像に含まれる酒ラベルと同一又は類似であることを示し、前記目標画像類似度に対応する所定の酒ラベルを目標酒ラベルとし、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとする。前記目標画像類似度が所定の画像類似度閾値未満であれば、前記目標画像類似度に対応する所定の酒ラベルと前記酒製品画像に含まれる酒ラベルとの差異が大きすぎ、前記酒製品画像に含まれる酒ラベルを所定範囲内の目標酒ラベルとして正確に識別するには不十分であることを示し、酒ラベルの識別ミス又は酒ラベルの識別失敗の提示を出して、そして前記酒製品画像を再撮影する提示を出し、目標酒ラベルを所定の画像類似度閾値で更に濾過して、酒ラベルの識別の正確性を更に高めることができる。

【0044】

図３を参照する。図３は、本願の実施例による酒ラベル識別方法における第１のサブフローの概略図である。図３に示すように、この実施例において、前記目標酒ラベル集合は、複数の初期目標酒ラベルを含み、前記の前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、以下を含む。
Ｓ３１において、前記画像特徴と前記初期目標酒ラベルのそれぞれとの画像類似度を計算する。
Ｓ３２において、すべての前記画像類似度を高い順にソートしてソートキューを得る。
Ｓ３３において、前記ソートキューから第１位の画像類似度を目標画像類似度として選択し、前記目標画像類似度に対応する初期目標酒ラベルを目標酒ラベルとする。
Ｓ３４において、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとする。

【0045】

具体的には、画像に対してサンプリングと量子化を経て、画像を画像ベクトルに量子化し、画像特徴及び初期目標酒ラベルの各々を画像ベクトルに変換して、画像特徴及び初期目標酒ラベルの各々を量子化し、更に２つの画像ベクトル間の類似度を計算する。例えば画像ベクトル間の余弦類似度を計算して、前記画像特徴と前記初期目標酒ラベルの各々との画像類似度を計算する。前記画像特徴と前記初期目標酒ラベルの各々との画像類似度を得た後、すべての前記画像類似度を高い順にソートして、ソートキューを得る。各画像の類似度は、前記画像特徴と前記初期目標酒ラベルのそれぞれとの画像類似度であることに対応し、ソートキューは、前記初期目標酒ラベルのソートを記述する。前記ソートキューから第１位の目標画像類似度を選択し、前記目標画像類似度に対応する初期目標酒ラベルを目標酒ラベルとし、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとし、それによって前記目標酒ラベル集合から前記画像特徴との整合度が最も高い酒ラベルを目標酒ラベルとして選別する。前記目標酒ラベル集合は、すでにＯＣＲ識別によって縮小された酒ラベル範囲であるため、また前記目標酒ラベル集合から前記画像特徴と最も整合する酒ラベルを目標酒ラベルとして選別するので、前記酒製品画像に対応する酒ラベルを識別する効率と正確性を高める。

【0046】

一実施例において、前記の前記目標画像類似度に対応する初期目標酒ラベルを目標酒ラベルとするステップの前に、更に、前記目標画像類似度が所定の画像類似度閾値以上であるか否かを判断するステップと、前記目標画像類似度が所定の画像類似度閾値以上であれば、前記の前記目標画像類似度に対応する初期目標酒ラベルを目標酒ラベルとするステップを実行するステップを含む。

【0047】

具体的には、酒ラベルの識別正確度を更に向上させるために、目標画像類似度に画像類似度閾値を設定し、前記目標画像類似度が所定の画像類似度閾値以上であるか否かを判断する。前記目標画像類似度が所定の画像類似度閾値以上であれば、前記目標画像類似度に対応する初期目標酒ラベルを目標酒ラベルとし、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとすることにより、前記酒製品画像に対応する酒ラベルを識別する。前記目標画像類似度が所定の画像類似度閾値未満の場合、前記画像特徴と所定の酒ラベルデータベース中の酒ラベルとの画像類似度が要求を満たしておらず、識別が正確でないリスクが大きいことを示す。後続の酒製品情報の錯乱を避けるため、前記目標画像類似度に対応する初期目標酒ラベルを目標酒ラベルとしない。酒ラベルの識別誤りによる酒製品情報の混乱を避けるために、酒製品画像を再取得し、再取得した酒製品画像を再度に酒ラベル自動識別する必要があり、識別すべき酒ラベルに対応する酒製品画像を再撮影する提示を出す。更に、識別すべき酒ラベルに対応する酒製品画像を撮像する提示を出す際には、前記酒製品画像には完全な酒ラベル画像が含まれるべきであったり、真正面から酒ラベル画像を撮像する必要があるなど、酒製品画像を撮像するためのアドバイスを与えることもできる。

【0048】

図４を参照する。図４は、本願の実施例による酒ラベル識別方法における第２のサブフローの概略図である。図４に示すように、この実施例において、前記酒製品画像は、同一の目標酒製品の複数の画像を含み、前記の前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、以下を含む。
Ｓ４１において、各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとする。

【0049】

前記の各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップの後に、更に以下を含む。
Ｓ４２において、すべての前記画像のそれぞれに対応する酒ラベルのうち、同じ酒ラベルに属する酒ラベルを同一種類の酒ラベルに帰属する。
Ｓ４３において、各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数を統計する。
Ｓ４４において、各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数に基づいて、すべての前記同一種類の酒ラベルのうち、数値が最も大きい酒ラベルを選別し、前記目標酒製品に対応する目標酒製品ラベルとする。

【0050】

具体的には、１つの適用環境において、同一の目標酒製品の複数の画像を取得する。各画像に対して上記酒ラベル識別方法をそれぞれ実行して、各画像のそれぞれに対応する目標酒類ラベルを得る。各画像のそれぞれに対応する目標酒類ラベルを該画像に対応する酒類ラベルとする。その後、すべての前記画像のそれぞれに対応する酒ラベルから目標酒製品に対応する目標酒製品類ラベルを選別する。同一の目標酒製品の複数の画像に対してそれぞれ酒ラベルを識別し、その中から最も要求に合った酒ラベルを目標酒製品に対応する目標酒ラベルとして選別するため、目標酒製品に対応する酒ラベル識別の正確性を高める。例えば、ワイン管理システムでは、ワインセラーに異なる角度でカメラを設置し、同一の目標酒製品を複数のカメラで撮影するのが一般的である。各カメラがビデオを撮影し、ビデオをサーバのバックグラウンドにアップロードする。サーバのバックグラウンドは、複数のカメラで撮影された複数のビデオから同一の目標酒製品の複数の画像を抽出し、複数の画像に対してそれぞれ酒ラベルを識別する。画像の撮像角度が異なるため、画像毎に対応する目標酒ラベルを識別する場合、同一の目標酒製品であるが、識別結果に差がある可能性があり、同一の目標酒製品に対する酒レベル識別結果が複数であることになる。すべての前記画像のそれぞれに対応する酒ラベルの中から最も所期に合った酒ラベルを選別し、最も所期に合った酒ラベルを目標酒製品の対応する目標酒製品ラベルとする必要がある。例えば、すべての前記画像のそれぞれに対応する酒ラベルの中から、識別される確率が最も大きい酒ラベルを最も所期に合う酒ラベルとして選別するか、又は、画像と所定の酒ラベルデータベースの中の酒ラベル画像との類似度から、すべての前記画像のそれぞれに対応する酒ラベルの中から、画像と所定の酒ラベルデータベースの中の酒ラベル画像との類似度が最も大きい酒ラベルを最も所期に合う酒ラベルとして選別し、目標酒製品に対応する目標酒製品酒ラベル識別の正確性を高めることができる。

【0051】

更に、すべての前記画像のそれぞれに対応する酒ラベルの中から、識別される確率が最も大きい酒ラベルを前記酒製品画像の対応する最も所期に合う酒ラベルとして選別する場合、すべての前記画像のそれぞれに対応する酒ラベルを分類し、すべての前記画像のそれぞれに対応する酒ラベルの中で同じ酒ラベルに属する酒ラベルを同一種類の酒ラベルに帰属して、異なる類別の同一種類の酒ラベルを得る。各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数量を統計し、酒ラベルを含む数が最大の酒ラベルを目標酒製品に対応する目標酒製品ラベルとする。酒ラベルを含む数が最大の酒ラベルは、識別される確率が最大の酒ラベルに対応するため、目標酒製品に対応する目標酒製品酒ラベル識別の正確性を高める。例えば、ワイン製品管理システムにおいて、同一の目標酒製品に対して酒ラベルの識別を行う場合、同一の目標酒ラベルに対して５０枚の画像を取得し、そのうち３０枚は、酒ラベルＡと識別され、１５枚は、酒ラベルＢと識別され、５枚は、酒ラベルＣと識別される。酒ラベルを含む数が最大の酒ラベルが、識別された確率が最大の酒ラベルに対応する選別方式に基づいて、酒ラベルＡが当該目標酒製品の酒ラベルである確率が最大であると判定することができ、これにより、酒ラベルＡを目標酒製品の酒ラベルとして決定する。

【0052】

一実施例において、前記の酒製品画像を取得するステップは、端末からアップロードされた酒製品画像を受信するステップを含む。前記酒製品画像は、前記端末によって撮影されてアップロードされる。前記端末は、酒蔵に予め設置されたカメラを含む。

【0053】

具体的には、酒製品画像は、スマートフォンなどのカメラ付き端末がピクチャ又はビデオ（ビデオ中のビデオフレームが即ち酒製品画像である）を撮影した後、端末から酒レベル識別を行うコンピュータデバイスにアップロードされる。又は、酒蔵に予め設置されたカメラなどの端末収集装置を通じて酒製品画像を収集する。前記酒製品画像は、酒蔵中のカメラがピクチャ又はビデオ（ビデオ中のビデオフレームが即ち酒製品画像である）を撮影した後、酒製品情報管理を行うサーババックグラウンドなど、酒ラベル識別を行うコンピュータデバイスにアップロードされる。

【0054】

一実施例において、前記酒製品画像が前記端末によって撮影してアップロードされるステップは、複数の前記画像が所定の酒蔵に予め設置された複数のカメラによって取得されることを含み、前記酒製品画像は、複数の画像を含み、複数の前記カメラは、前記酒蔵の中で異なる所定の位置に設置される。

【0055】

具体的には、酒蔵に予め設置された複数のカメラによって複数の画像が取得され、複数のカメラが前記酒蔵の異なる所定位置に設置され、異なる角度から同じ目標酒製品を撮影する。酒製品情報自動管理システムでは、携帯電話などのカメラ付き撮影装置で酒製品のピクチャを撮影したり、酒製品のビデオを撮影したり、ビデオを抽出してビデオフレームを抽出することで酒製品画像を得る。その後、酒製品画像を識別して酒ラベルの自動識別を実現する。更に、識別した酒ラベルに基づいて酒製品について酒製品情報の取得と管理を行う。一方、酒蔵に対応する酒製品情報自動管理システム、例えばワインセラー自動管理システムでは、ワインセラーにおけるワイン製品の酒製品情報自動管理を実現するために、一般にワインセラーに複数のカメラを設置し、複数の前記カメラを前記ワインセラーの異なる所定位置に設置し、異なる位置又は同じ位置の異なる角度から目標ワイン製品を撮影する。ワインセラーに予め設置された複数のカメラで酒製品のピクチャ又はビデオを取得することで、酒製品の複数の画像を取得した後、撮影された酒製品画像を識別し、目標ワイン製品の酒ラベルを識別し、識別された酒ラベルに基づいて、目標ワインの酒製品情報を取得し、それから酒製品情報を処理することで、目標ワインに対して自動的管理を行うことができる。

【0056】

なお、上述した各実施例に記載された酒ラベル識別方法は、必要に応じて異なる実施例に含まれる技術的特徴を組み合わせ直して、組み合わせられた実施態様を取得することができるが、いずれも本願で要求される保護範囲内である。

【0057】

図５を参照する。図５は、本願の実施例によるサーバ側に適用される酒製品情報管理方法のフローの概略図である。図５に示すように、本方法は、以下のステップＳ５１～Ｓ５３を含む。
Ｓ５１において、酒製品画像を含む酒製品情報を取得する。
Ｓ５２において、前記酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得る。
Ｓ５３において、前記酒ラベルに基づいて、前記酒製品情報を管理する。

【0058】

具体的には、サーバが酒製品に対応する酒製品情報を自動化管理する際には、酒製品画像を取得し、上記各実施例に記載の酒ラベル識別方法で前記酒製品画像の酒ラベルを識別して、前記酒製品画像に対応する酒ラベルを取得するだけでなく、酒製品年度、酒製品産地、生産日、及び酒蔵への出入り時間など、酒製品の他の面の酒製品情報を取得し、そして、前記酒製品画像に対応する酒ラベルを識別した後、前記酒ラベルに基づいて、前記酒製品情報に対して添加、修正、編集などの記録操作を行い、前記酒製品に対する自動化管理を実現する。酒製品の酒ラベル識別の正確性と効率を高めたため、酒ラベルの正確及び迅速な識別に基づいて、酒蔵中の酒製品を自動化管理する時、酒製品を自動化管理する効率と正確性を高めることもできる。例えば、ワインを貯蔵するワインセラーにおいて、ワインの酒ラベル識別の正確性と迅速さにより、ワインをリアルタイムで自動的に高品質に管理することができ、ワインの自動管理効率を高めることができる。

【0059】

図６を参照する。図６は、本願の実施例による端末に適用される酒製品情報管理方法のフローの概略図である。図６に示すように、本方法は、以下のステップＳ６１～Ｓ６３を含む。
Ｓ６１において、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信する。それによって、前記所定のサーバが、前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする。
Ｓ６２において、前記所定のサーバから送信された前記目標酒製品情報を受信する。
Ｓ６３において、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示する。

【0060】

具体的には、ユーザが端末を介して酒製品情報に対して照会、修正、追加又は削除等の編集操作を行う場合、端末は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信する。それによって、前記所定のサーバが、以上の各実施例で記載した前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする。端末は、前記所定のサーバから送信された前記目標酒製品情報を受信し、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示する。酒製品の酒ラベル識別の正確性と効率が向上するため、酒ラベルの正確及び迅速な識別に基づいて、酒蔵の中の酒製品に対して自動化管理を実現する場合、ユーザが酒製品に対する自動化管理の効率、正確性と利便性の向上を実現しやすくなる。例えば、ワインを貯蔵するワインセラーの中で、ワインの酒ラベルの識別の正確性と迅速さのため、ワインに対してリアルタイムで自動的に高品質の管理を行うことができ、従来技術の中で人工的に酒蔵の中の酒製品を管理する方式に比べて、ワインの自動化管理効率、利便性と管理品質を高める。

【0061】

図７を参照する。図７は、本願の実施例による酒ラベル識別装置のブロック概略図である。上記の前記酒ラベル識別方法に対応して、本願の実施例は、更に酒ラベル識別装置を提供する。図７に示すように、この酒ラベル識別装置は、上記の前記酒ラベル識別方法を実行するためのユニットを含み、この酒ラベル識別装置は、サーバなどのコンピュータデバイスに配置される。具体的には、図７を参照し、この酒ラベル識別装置７０は、第１の識別ユニット７１と、第２の識別ユニット７２と、第１の選別ユニット７３を含む。

【0062】

ここで、第１の識別ユニット７１は、酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るために使用される。第２の識別ユニット７２は、所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るために使用される。第１の選別ユニット７３は、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするために使用される。

【0063】

一実施例において、前記第１の選別ユニット７３は、前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るための第１の選別サブユニットと、前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするための第２の選別サブユニットとを含む。

【0064】

一実施例において、前記酒製品画像は、同一の目標酒製品の複数の画像を含み、前記第１の選別ユニット７３は、各画像のそれぞれに対応する前記文字及び前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするために使用される。

【0065】

前記酒ラベル識別装置７０は、すべての前記画像のそれぞれに対応する酒ラベルのうち、同じ酒ラベルに属する酒ラベルを同一種類の酒ラベルに帰属するための帰属ユニットと、各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数を統計するための統計ユニットと、各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数に基づいて、すべての前記同一種類の酒ラベルのうち、数値が最も大きい酒ラベルを選別し、前記目標酒製品に対応する目標酒製品ラベルとするための第２の選別ユニットとを更に含む。

【0066】

図８を参照する。図８は、本願の実施例によるサーバ側に適用される酒製品情報管理装置のブロック概略図である。上記サーバ側に適用された前記酒製品情報管理方法に対応して、本願の実施例は、更に、サーバ側に適用された酒製品情報管理装置を提供する。図８に示すように、このサーバ側に適用される酒製品情報管理装置８０は、上記の前記サーバ側に適用される酒製品情報管理方法を実行するためのユニットを含み、この酒製品情報管理装置８０は、サーバなどのコンピュータデバイスに配置される。具体的には、図８を参照して、この酒製品情報管理装置８０は、取得ユニット８１と、第３の識別ユニット８２と、管理ユニット８３とを含む。

【0067】

ここで、取得ユニット８１は、酒製品画像を含む酒製品情報を取得するために使用される。第３の識別ユニット８２は、前記酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るために使用される。管理ユニット８３は、前記酒ラベルに基づいて、前記酒製品情報を管理するために使用される。

【0068】

図９を参照する。図９は、本願の実施例による端末に適用される酒製品情報管理装置のブロック概略図である。上記の端末に適用される前記酒製品情報管理方法に対応して、本願の実施例は、更に、端末に適用される酒製品情報管理装置を提供する。図９に示すように、この端末に適用される酒製品情報管理装置９０は、上記の前記端末に適用される酒製品情報管理方法を実行するためのユニットを含み、この酒製品情報管理装置９０は、スマートフォンなどの端末機器に配置される。具体的には、図９を参照して、この酒製品情報管理装置９０は、送信ユニット９１と、受信ユニット９２と、表示ユニット９３を含む。

【0069】

ここで、送信ユニット９１は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するために使用される。それによって、前記所定のサーバが、前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにする。受信ユニット９２は、前記所定のサーバから送信された前記目標酒製品情報を受信するために使用される。表示ユニット９３は、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するために使用される。

【0070】

一適用例において、上記サーバ側に適用される前記酒製品情報管理方法及び端末に適用される前記酒製品情報管理方法の両方は、酒蔵、端末及びサーバを含む酒製品情報管理システムに使用される。ここで、前記酒蔵には、酒製品を置くための酒キャビネットが設置されている。酒蔵の所定位置にカメラが設置されている。前記カメラを通じて前記酒製品に対応する酒製品画像を撮影し、前記酒製品画像を前記サーバにアップロードする。前記サーバは、以上の各実施例で説明したサーバ側に適用される前記酒製品情報管理方法のステップを実行するために使用される。前記端末は、以上の各実施例で説明した端末に適用される前記酒製品情報管理方法のステップを実行するために使用される。

【0071】

なお、上記酒ラベル識別装置及び各ユニットの具体的な実現過程、上記サーバ側に適用される酒製品情報管理装置及び各ユニットの具体的な実現過程、上記端末に適用される酒製品情報管理装置及び各ユニットの具体的な実現過程は、当業者が上記各実施例でそれぞれの対応する方法の実施例での対応する説明を参照して明らかであり、説明の便利さと簡潔さのために、ここでは詳しく説明しない。

【0072】

同時に、前記酒ラベル識別装置、前記サーバ側に適用される酒製品情報管理装置、又は前記端末に適用される酒製品情報管理装置における各ユニットの区分及び接続形態は、例示的な説明のみに使用される。他の実施例では、酒ラベル識別装置、前記サーバ側に適用される酒製品情報管理装置又は前記端末に適用される酒製品情報管理装置は、必要に応じて異なるユニットに区分されていてもよい。酒ラベル識別装置、前記サーバ側に適用される酒製品情報管理装置又は前記端末に適用される酒製品情報管理装置の各ユニットは、前記酒ラベル識別装置、前記サーバ側に適用される酒製品情報管理装置又は前記端末に適用される酒製品情報管理装置の全部又は一部の機能を完成するために、異なる接続順序及び方式を用いてもよい。

【0073】

前記酒ラベル識別装置、前記サーバ側に適用される酒製品情報管理装置、又は前記端末に適用される酒製品情報管理装置は、それぞれ図１０に示すようなコンピュータデバイス上で実行可能なコンピュータプログラムの形態として実現することができる。

【0074】

図１０を参照する。図１０は、本願の実施例によるコンピュータデバイスのブロック概略図である。このコンピュータデバイス５００は、デスクトップコンピュータやサーバなどのコンピュータデバイスであってもよいし、他の機器におけるコンポーネントや部品であってもよい。

【0075】

図１０を参照すると、このコンピュータデバイス５００は、システムバス５０１を介して接続されたプロセッサ５０２、メモリ及びネットワークインターフェース５０５を含む。ここで、メモリは、不揮発性記憶媒体５０３及び内部記憶装置５０４を含んでもよく、揮発性コンピュータ可読記憶媒体であってもよい。

【0076】

この不揮発性記憶媒体５０３は、オペレーティングシステム５０３１及びコンピュータプログラム５０３２を記憶することができる。このコンピュータプログラム５０３２が実行されると、上記酒ラベル識別方法、上記のサーバ側に適用される前記酒製品情報管理方法、又は上記の端末に適用される酒製品情報管理方法をプロセッサ５０２に実行させることができる。このプロセッサ５０２は、コンピュータデバイス５００全体の動作をサポートするための計算及び制御能力を提供するために使用される。この内部記憶装置５０４は、不揮発性記憶媒体５０３中のコンピュータプログラム５０３２の実行に環境を提供する。このコンピュータプログラム５０３２がプロセッサ５０２によって実行されると、上記酒ラベル識別方法、上記のサーバ側に適用される前記酒製品情報管理方法、又は上記の端末に適用される酒製品情報管理方法をプロセッサ５０２に実行させることができる。このネットワークインターフェース５０５は、他の機器とネットワーク通信するために使用される。図１０に示す構成は、本願の態様に関連する一部の構成のブロック図にすぎず、本願の態様が適用されるコンピュータデバイス５００の限定を構成するものではない。具体的なコンピュータデバイス５００は、図示よりも多く又は少ない部品を含んだり、又はいくつかの部品を組み合わせたり、異なる部品配置を有したりすることができる。これは、当業者にとって明らかである。例えば、いくつかの実施例において、コンピュータデバイスは、メモリ及びプロセッサのみを含む。そのような実施例において、メモリ及びプロセッサの構造及び機能は、図１０に示す実施例に一致し、ここでは説明しない。

【0077】

一実施例において、前記プロセッサ５０２は、メモリに格納されたコンピュータプログラム５０３２を実行するために使用される。それによって、上記酒ラベル識別方法を実現する際に、前記プロセッサ５０２は、酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るステップと、所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップを実行する。

【0078】

一実施例において、前記プロセッサ５０２は、前記の前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップを実現する際に、具体的に、前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るステップと、前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップとを実現する。

【0079】

一実施例において、前記酒製品画像は、同一の目標酒製品の複数の画像を含み、前記プロセッサ５０２は、前記の前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップを実現する際に、具体的に、各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップを実現する。前記プロセッサ５０２は、前記の各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップを実現した後に、更に、すべての前記画像のそれぞれに対応する酒ラベルのうち、同じ酒ラベルに属する酒ラベルを同一種類の酒ラベルに帰属するステップと、各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数を統計するステップと、各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数に基づいて、すべての前記同一種類の酒ラベルのうち、数値が最も大きい酒ラベルを選別して、前記目標酒製品に対応する目標酒製品ラベルとするステップとを実現する。

【0080】

一実施例において、前記プロセッサ５０２は、メモリに格納されたコンピュータプログラム５０３２を実行するために使用される。それによって、上記のサーバ側に適用される前記酒製品情報管理方法を実現する際に、前記プロセッサ５０２は、酒製品画像を含む酒製品情報を取得するステップと、上記実施例で記載した前記酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るステップと、前記酒ラベルに基づいて、前記酒製品情報を管理するステップとを実行する。

【0081】

一実施例において、前記プロセッサ５０２は、メモリに格納されたコンピュータプログラム５０３２を実行するために使用される。それによって、上記の端末に適用される前記酒製品情報管理方法を実現する際に、前記プロセッサ５０２は、ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、上記実施例で説明した前記酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップとを実行する。

【0082】

なお、本願の実施例において、プロセッサ５０２は、中央処理ユニットＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、専用集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよい。ここで、汎用プロセッサは、マイクロプロセッサであってもよく、又は任意の従来のプロセッサなどであってもよい。

【0083】

上記実施例の方法のすべて又は一部の流れの実現は、コンピュータ可読記憶媒体に格納されたコンピュータプログラムによって完成することができる。これは、当業者にとって明らかである。このコンピュータプログラムは、このコンピュータシステムのうちの少なくとも１つのプロセッサによって実行され、上記方法の実施例のステップを実現する。

【0084】

従って、本願は、更にコンピュータ可読記憶媒体を提供する。このコンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体であってもよいし、揮発性のコンピュータ可読記憶媒体であってもよい。このコンピュータ可読記憶媒体にはコンピュータプログラムが格納されている。このコンピュータプログラムがプロセッサによって実行されると、以上の各実施例で説明した前記酒ラベル識別方法のステップをプロセッサに実行させ、又は、以上の各実施例で説明した上記のサーバ側に適用される前記酒製品情報管理方法をプロセッサに実行させ、又は、以上の各実施例で説明した上記の端末に適用される酒製品情報管理方法をプロセッサに実行させる。

【0085】

前記コンピュータ可読記憶媒体は、デバイスのハードディスク又はメモリなど、前記デバイスの内部記憶ユニットであってもよい。前記コンピュータ可読記憶媒体は、前記デバイスに搭載されたソケットハードディスク、スマートメモリカードＳＭＣ（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ）、セキュアデジタルＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード、フラッシュメモリカード（Ｆｌａｓｈ Ｃａｒｄ）など、前記デバイスの外部記憶デバイスであってもよい。更に、前記コンピュータ可読記憶媒体は、前記デバイスの内部記憶ユニットと外部記憶機器の両方を含むこともできる。

【0086】

上述したデバイス、装置、ユニットの具体的な動作手順は、当業者にとって、上述した方法の実施例における対応手順を参照して明らかである。説明の容易さと簡潔さのために、ここではこれ以上説明しない。

【0087】

前記記憶媒体は、実体的で非瞬時的な記憶媒体であり、例えば、Ｕディスク、リムーバブルハードディスク、読み取り専用メモリＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、）、磁気ディスク、又は光ディスクなど、コンピュータプログラムを記憶可能な各種の実体記憶媒体であってもよい。

【0088】

本明細書に開示された実施例に関連して説明された各例のユニット及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせで実現することができ、ハードウェアとソフトウェアの互換性を明確に説明するために、上記の説明では、各例の構成及びステップが機能的に一般的に説明されている。これは、当業者にとって明らかである。これらの機能がハードウェアそれともソフトウェアで実行されるかは、技術的態様の特定のアプリケーション及び設計制約に決められる。当業者は、それぞれの特定のアプリケーションに対して、異なる方法を使用し、説明された機能を実現してもよいが、このような実現は、本願の範囲を超えているとは考えられない。

【0089】

本願によるいくつかの実施例において、開示された装置及び方法は、他の方法で実現されてもよいことを理解すべきである。例えば、上述した装置の実施例は、単なる例示的なものである。例えば、各ユニットの分割は、単なる論理機能分割であり、実際に実現する際には別の分割方式があってもよい。例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに統合してもよいし、いくつかの特徴を無視してもよいし、実行しなくてもよい。

【0090】

本願の実施例の方法のステップは、実際の必要に応じて順序の調整、合併及び削減を行うことができる。本願の実施例の装置におけるユニットは、実際の必要に応じて合併、分割及び削減することができる。また、本願の各実施例における各機能ユニットは、１つの処理ユニットに集積されていてもよいし、各ユニットが単独で物理的に存在していてもよいし、２つ以上のユニットが１つのユニットに集積されていてもよい。

【0091】

この集積されたユニットは、ソフトウェア機能ユニットとして実現され、独立した製品として販売又は使用される場合、１つの記憶媒体に記憶することができる。このような理解に基づいて、本願の技術的態様は、本質的に、あるいは既存の技術に貢献した部分、あるいはその技術的態様の全部又は一部がソフトウェア製品の形で具現化することができる。１つの記憶媒体に記憶されたこのコンピュータソフトウェア製品は、１台の電子機器（パーソナルコンピュータ、端末又はネットワーク装置などであってもよい）が本願の各実施例に記載された方法のすべて又は一部のステップを実行するようにするためのいくつかの命令を含む。

【0092】

上述したのは、本願の具体的な実施形態にすぎないが、本願の保護範囲は、これに限定されるものではない。当技術分野に詳しいいかなる技術者も、本願に開示された技術範囲内で、さまざまな等価な修正又は置換を容易に思いつくことができ、これらの修正又は置換は、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は、請求項の保護範囲に準じなければならない。

【0093】

（付記）
（付記１）
酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るステップと、
所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るステップと、
前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、を含む、
ことを特徴とする酒ラベル識別方法。

【0094】

（付記２）
前記の前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、
前記文字に基づいて、前記文字に整合する所定の酒ラベルを所定の酒ラベルデータベースから選別し、前記所定の酒ラベルを集合に構成して目標酒ラベル集合を得るステップと、
前記画像特徴に基づいて、前記画像特徴との整合度が最も高い酒ラベルを前記目標酒ラベル集合から目標酒ラベルとして選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップと、を含む、
ことを特徴とする付記１に記載の酒ラベル識別方法。

【0095】

（付記３）
前記酒製品画像は、同一の目標酒製品の複数の画像を含み、
前記の前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするステップは、
各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップを含み、
前記の各画像のそれぞれに対応する目標酒ラベルを当該画像に対応する酒ラベルとするステップの後に、
すべての前記画像のそれぞれに対応する酒ラベルのうち、同じ酒ラベルに属する酒ラベルを同一種類の酒ラベルに帰属するステップと、
各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数を統計するステップと、
各種類の前記同一種類の酒ラベルに含まれる酒ラベルの数に基づいて、すべての前記同一種類の酒ラベルのうち、数値が最も大きい酒ラベルを選別し、前記目標酒製品に対応する目標酒製品ラベルとするステップと、を更に含む、
ことを特徴とする付記１又は２に記載の酒ラベル識別方法。

【0096】

（付記４）
サーバ側に適用される酒製品情報管理方法であって、
酒製品画像を含む酒製品情報を取得するステップと、
付記１～３のいずれか一つに記載の酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るステップと、
前記酒ラベルに基づいて、前記酒製品情報を管理するステップと、を含む、
ことを特徴とする酒製品情報管理方法。

【0097】

（付記５）
端末に適用される酒製品情報管理方法であって、
ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するステップであって、それによって、前記所定のサーバが、付記１～３のいずれか一つに記載の酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするステップと、
前記所定のサーバから送信された前記目標酒製品情報を受信するステップと、
前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するステップと、を含む、
ことを特徴とする酒製品情報管理方法。

【0098】

（付記６）
酒製品画像を取得し、所定のＯＣＲ識別方式で前記酒製品画像のＯＣＲ識別を行うことによって、前記酒製品画像に含まれる文字を得るための第１の識別ユニットと、
所定の深層学習識別方式で前記酒製品画像の深層学習識別を行うことによって、前記酒製品画像に含まれる画像特徴を得るための第２の識別ユニットと、
前記文字と前記画像特徴に基づいて、前記文字及び前記画像特徴に整合する目標酒ラベルを所定の酒ラベルデータベースから選別し、前記目標酒ラベルを前記酒製品画像に対応する酒ラベルとするための第１の選別ユニットと、を含む、
ことを特徴とする酒ラベル識別装置。

【0099】

（付記７）
サーバ側に適用される酒製品情報管理装置であって、
酒製品画像を含む酒製品情報を取得するための取得ユニットと、
付記１～３のいずれか一つに記載の酒ラベル識別方法で前記酒製品画像の識別を行うことによって、前記酒製品画像に含まれる酒ラベルを得るための第３の識別ユニットと、
前記酒ラベルに基づいて、前記酒製品情報を管理するための管理ユニットと、を含む、
ことを特徴とする酒製品情報管理装置。

【0100】

（付記８）
端末に適用される酒製品情報管理装置であって、
ユーザの操作に応答して、酒製品情報取得要求を所定のサーバに送信するための送信ユニットであって、前記所定のサーバが、付記１～３のいずれか一つに記載の酒ラベル識別方法で酒製品画像を識別して得られた所定の酒ラベルに基づいて関連付けられた酒製品情報を含み、前記酒製品情報取得要求に対応する目標酒製品情報を前記酒製品情報取得要求に基づいて取得し、前記目標酒製品情報を前記端末に返信するようにするための送信ユニットと、
前記所定のサーバから送信された前記目標酒製品情報を受信するための受信ユニットと、
前記ユーザが前記目標酒製品情報を取得するよう、前記目標酒製品情報を表示するための表示ユニットと、を含む、
ことを特徴とする酒製品情報管理装置。

【0101】

（付記９）
コンピュータプログラムを格納するためのメモリと、
前記メモリに接続されたプロセッサであって、前記コンピュータプログラムを実行して、付記１～３のいずれか一つに記載の方法のステップを実行し、又は付記４に記載の方法のステップを実行し、又は付記５に記載の方法のステップを実行するためのプロセッサと、を含む、
ことを特徴とするコンピュータデバイス。

【0102】

（付記１０）
コンピュータ可読記憶媒体であって、
前記記憶媒体にはコンピュータプログラムが格納されており、
前記コンピュータプログラムがプロセッサによって実行されると、付記１～３のいずれか一つに記載の方法のステップが実現され、又は付記４に記載の方法のステップが実現され、又は付記５に記載の方法のステップが実現される、
ことを特徴とするコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】