特表2023-545874 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ センスタイムインターナショナルピーティーイー．リミテッドの特許一覧

特表2023-545874物品認識方法、装置、機器及びコンピュータ可読記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3A
3B
4
5
6
7
8
9
10
11
12

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-01

(54)【発明の名称】物品認識方法、装置、機器及びコンピュータ可読記憶媒体

(51)【国際特許分類】

G06T 7/00 20170101AFI20231025BHJP

G06V 10/70 20220101ALI20231025BHJP

【ＦＩ】

G06T7/00 300F

G06V10/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021570836

(86)(22)【出願日】2021-09-27

(85)【翻訳文提出日】2021-11-29

(86)【国際出願番号】 IB2021058775

(87)【国際公開番号】W WO2023047163

(87)【国際公開日】2023-03-30

(31)【優先権主張番号】10202110505W

(32)【優先日】2021-09-22

(33)【優先権主張国・地域又は機関】SG

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＢＬＵＥＴＯＯＴＨ

３．ＦＲＡＭ

(71)【出願人】

【識別番号】520176212

【氏名又は名称】センスタイムインターナショナルピーティーイー．リミテッド

【氏名又は名称原語表記】ＳｅｎｓｅＴｉｍｅＩｎｔｅｒｎａｔｉｏｎａｌＰＴＥ．ＬＴＤ．

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】ニウダミン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096FA02

5L096FA52

5L096FA67

5L096FA69

5L096FA74

5L096HA11

5L096KA04

(57)【要約】

物品認識方法、装置、機器及びコンピュータ可読記憶媒体である。該方法は、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、１組の認識待ち物品に含まれる物品のカテゴリ、及び該組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することであって、各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、ことと、収集された該組の認識待ち物品の画像に対して認識を行い、該組の認識待ち物品の画像認識結果を得ることであって、画像認識結果は、該組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、ことと、数量情報及び画像認識結果に基づいて、該組の認識待ち物品の物品認識結果を決定することと、を含む。

【特許請求の範囲】

【請求項1】

物品認識方法であって、
シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することであって、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、ことと、
収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得ることであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、ことと、
前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することと、を含む、物品認識方法。

【請求項2】

前記シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することは、
前記シーン領域に予め架設された第１通信コンポーネントにより、前記シーン領域における前記１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得することと、
前記物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することと、を含むことを特徴とする
請求項１に記載の物品認識方法。

【請求項3】

前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することは、
前記画像認識結果及び所定の信頼度閾値に基づいて、前記１組の認識待ち物品の前記画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定することと、
前記マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定することと、
前記マッチング済み物品の数量情報及び前記各カテゴリの物品の数量情報に基づいて、前記各カテゴリのマッチング待ち物品の数量情報を決定することと、
前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することと、
前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定することと、を含むことを特徴とする
請求項１又は２に記載の物品認識方法。

【請求項4】

前記各物品のカテゴリ認識結果は、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率を含み、ｋは、１以上の整数量であり、
前記マッチング済み画像認識結果は、前記１組の認識待ち物品のうちのマッチング済み物品のカテゴリ認識結果を含み、前記マッチング済み物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値よりも大きい物品を含み、
前記マッチング待ち画像認識結果は、前記１組の認識待ち物品のうちのマッチング待ち物品のカテゴリ認識結果を含み、前記マッチング待ち物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値以下である物品を含むことを特徴とする
請求項３に記載の物品認識方法。

【請求項5】

前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することは、
各カテゴリの物品要素集合を構築することであって、前記物品要素集合における物品要素の総数量情報は、対応するカテゴリの前記マッチング待ち物品の数量情報である、ことと、
前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率に基づいて、各マッチング待ち物品の候補カテゴリを決定することと、
各マッチング待ち物品に対して、重み付き２部グラフを構築することであって、前記重み付き２部グラフは、前記マッチング待ち物品を第１ノードとし、各前記候補カテゴリの物品要素集合における各物品要素を第２ノードとし、各第２ノードに対応する候補カテゴリの確率は、前記第１ノードと前記各第２ノードを連結する辺に対応する重みであり、前記各第２ノードに対応する候補カテゴリは、前記各第２ノードで表される物品要素が属する物品要素集合に対応するカテゴリである、ことと、
前記重み付き２部グラフに基づいて、最大２部グラフマッチングを行い、各マッチング待ち物品のカテゴリを得て、前記二次認識結果とすることと、を含むことを特徴とする
請求項４に記載の物品認識方法。

【請求項6】

前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することは、
各マッチング待ち物品に対して、前記重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、前記マッチング待ち物品と各前記物品要素とのマッチングがいずれも成功していないことである場合、前記マッチング待ち物品の確率が最も大きい候補カテゴリを前記マッチング待ち物品の二次認識結果とすることを更に含むことを特徴とする
請求項５に記載の物品認識方法。

【請求項7】

前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定することは、
前記マッチング済み画像認識結果におけるマッチング済み物品のカテゴリ認識結果、及び前記マッチング待ち物品の二次認識結果を融合し、前記物品認識結果を得ることを含むことを特徴とする
請求項４に記載の物品認識方法。

【請求項8】

物品認識装置であって、
シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定するように構成される通信ユニットであって、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、通信ユニットと、
収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得るように構成される認識ユニットであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、認識ユニットと、
前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定するように構成される決定ユニットと、を備える、物品認識装置。

【請求項9】

電子機器であって、メモリと、プロセッサと、を備え、
前記メモリは、実行可能なコンピュータプログラムを記憶するように構成され、
ここで、前記プロセッサは、前記メモリに記憶されている実行可能なコンピュータプログラムを実行して、
シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することであって、ここで、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、ことと、
収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得ることであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、ことと、
前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することと、を実行するように構成される、電子機器。

【請求項10】

シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定する場合、前記プロセッサは、
前記シーン領域に予め架設された第１通信コンポーネントにより、前記シーン領域における前記１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得することと、
前記物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することと、を実行するように構成されることを特徴とする
請求項９に記載の電子機器。

【請求項11】

前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定する場合、前記プロセッサは、
前記画像認識結果及び所定の信頼度閾値に基づいて、前記１組の認識待ち物品の前記画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定することと、
前記マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定することと、
前記マッチング済み物品の数量情報及び前記各カテゴリの物品の数量情報に基づいて、前記各カテゴリのマッチング待ち物品の数量情報を決定することと、
前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することと、
前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定することと、を実行するように構成されることを特徴とする
請求項９又は１０に記載の電子機器。

【請求項12】

【請求項13】

前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定する場合、前記プロセッサは、
各カテゴリの物品要素集合を構築することであって、前記物品要素集合における物品要素の総数量情報は、対応するカテゴリの前記マッチング待ち物品の数量情報である、ことと、
前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率に基づいて、各マッチング待ち物品の候補カテゴリを決定することと、
各マッチング待ち物品に対して、重み付き２部グラフを構築することであって、ここで、前記重み付き２部グラフは、前記マッチング待ち物品を第１ノードとし、各前記候補カテゴリの物品要素集合における各物品要素を第２ノードとし、各第２ノードに対応する候補カテゴリの確率は、前記第１ノードと前記各第２ノードを連結する辺に対応する重みであり、前記各第２ノードに対応する候補カテゴリは、前記各第２ノードで表される物品要素が属する物品要素集合に対応するカテゴリである、ことと、
前記重み付き２部グラフに基づいて、最大２部グラフマッチングを行い、各マッチング待ち物品のカテゴリを得て、前記二次認識結果とすることと、を実行するように構成されることを特徴とする
請求項１２に記載の電子機器。

【請求項14】

前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定する場合、前記プロセッサは更に、
各マッチング待ち物品に対して、前記重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、前記マッチング待ち物品と各前記物品要素とのマッチングがいずれも成功していないことである場合、前記マッチング待ち物品の確率が最も大きい候補カテゴリを前記マッチング待ち物品の二次認識結果とするように構成されることを特徴とする
請求項１３に記載の電子機器。

【請求項15】

前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定する場合、前記プロセッサは、
前記マッチング済み画像認識結果におけるマッチング済み物品のカテゴリ認識結果、及び前記マッチング待ち物品の二次認識結果を融合し、前記物品認識結果を得るように構成されることを特徴とする
請求項１２に記載の電子機器。

【請求項16】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサにより実行される時、前記プロセッサに、
シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することであって、ここで、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、ことと、
収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得ることであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、ことと、
前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することと、を実行させる、コンピュータ可読記憶媒体。

【請求項17】

シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定する場合、前記コンピュータプログラムは、前記プロセッサに、
前記シーン領域に予め架設された第１通信コンポーネントにより、前記シーン領域における前記１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得することと、
前記物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することと、を実行させることを特徴とする
請求項１６に記載のコンピュータ可読記憶媒体。

【請求項18】

前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定する場合、前記コンピュータプログラムは、前記プロセッサに、
前記画像認識結果及び所定の信頼度閾値に基づいて、前記１組の認識待ち物品の前記画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定することと、
前記マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定することと、
前記マッチング済み物品の数量情報及び前記各カテゴリの物品の数量情報に基づいて、前記各カテゴリのマッチング待ち物品の数量情報を決定することと、
前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することと、
前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定することと、を実行させることを特徴とする
請求項１６又は１７に記載のコンピュータ可読記憶媒体。

【請求項19】

【請求項20】

コンピュータプログラムであって、電子機器により実行されるコンピュータ命令を含み、ここで、前記コンピュータ命令は前記電子機器におけるプロセッサにより実行される時、前記プロセッサに、
シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することであって、ここで、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、ことと、
収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得ることであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、ことと、
前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することと、を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年９月２２日にシンガポール知的財産事務所に提出された、出願番号が１０２０２１１０５０５Ｗであるシンガポール特許出願に基づく優先権を主張し、該シンガポール特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願は、画像処理技術に関し、特に物品認識方法、装置、機器及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

画像認識は、ロボット、自動運転などの種々の分野に広く用いられている。短距離無線通信、例えば無線周波数認識技術は、主に、ゲート、スマートシェルフ、モノのインターネットなどの分野に用いられる。画像認識でも、短距離無線通信でも、物品に対してスマート認識を行うプロセスにおいて、いずれも一定の欠陥が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の実施例は、認識結果の正確度及び網羅性を向上させることができる物品認識方法、装置、機器及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本願の実施例の技術的解決手段は以下のように実現する。

【0006】

本願の実施例は、物品認識方法を提供する。前記物品認識方法は、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することであって、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、ことと、収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得ることであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、ことと、前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することと、を含む。

【0007】

上記方法において、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することは、前記シーン領域に予め架設された第１通信コンポーネントにより、前記シーン領域における前記１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得することと、前記物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定することと、を含む。

【0008】

上記方法において、前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定することは、前記画像認識結果及び所定の信頼度閾値に基づいて、前記１組の認識待ち物品の前記画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定することと、前記マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定することと、前記マッチング済み物品の数量情報及び前記各カテゴリの物品の数量情報に基づいて、前記各カテゴリのマッチング待ち物品の数量情報を決定することと、前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することと、前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定することと、を含む。

【0009】

上記方法において、前記各物品のカテゴリ認識結果は、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率を含み、ｋは、１以上の整数量であり、前記マッチング済み画像認識結果は、前記１組の認識待ち物品のうちのマッチング済み物品のカテゴリ認識結果を含み、前記マッチング済み物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値よりも大きい物品を含み、前記マッチング待ち画像認識結果は、前記１組の認識待ち物品のうちのマッチング待ち物品のカテゴリ認識結果を含み、前記マッチング待ち物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値以下である物品を含む。

【0010】

上記方法において、前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することは、各カテゴリの物品要素集合を構築することであって、前記物品要素集合における物品要素の総数量情報は、対応するカテゴリの前記マッチング待ち物品の数量情報である、ことと、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率に基づいて、各マッチング待ち物品の候補カテゴリを決定することと、各マッチング待ち物品に対して、重み付き２部グラフを構築することであって、ここで、前記重み付き２部グラフは、前記マッチング待ち物品を第１ノードとし、各前記候補カテゴリの物品要素集合における各物品要素を第２ノードとし、各第２ノードに対応する候補カテゴリの確率は、前記第１ノードと前記各第２ノードを連結する辺に対応する重みであり、前記各第２ノードに対応する候補カテゴリは、前記各第２ノードで表される物品要素が属する物品要素集合に対応するカテゴリである、ことと、前記重み付き２部グラフに基づいて、最大２部グラフマッチングを行い、各マッチング待ち物品のカテゴリを得て、前記二次認識結果とすることと、を含む。

【0011】

上記方法において、前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定することは、各マッチング待ち物品に対して、前記重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、前記マッチング待ち物品と各前記物品要素とのマッチングがいずれも成功していないことである場合、前記マッチング待ち物品の確率が最も大きい候補カテゴリを前記マッチング待ち物品の二次認識結果とすることを更に含む。

【0012】

上記方法において、前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定することは、前記マッチング済み画像認識結果におけるマッチング済み物品のカテゴリ認識結果、及び前記マッチング待ち物品の二次認識結果を融合し、前記物品認識結果を得ることを含む。

【0013】

本願の実施例は、物品認識装置を提供する。前記物品認識装置は、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定するように構成される通信ユニットであって、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、通信ユニットと、収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得るように構成される認識ユニットであって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、認識ユニットと、前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定するように構成される決定ユニットと、を備える。

【0014】

上記装置において、前記通信ユニットは更に、前記シーン領域に予め架設された第１通信コンポーネントにより、前記シーン領域における前記１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得し、前記物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定するように構成される。

【0015】

上記装置において、前記決定ユニットは更に、前記画像認識結果及び所定の信頼度閾値に基づいて、前記１組の認識待ち物品の前記画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定し、前記マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定し、前記マッチング済み物品の数量情報及び前記各カテゴリの物品の数量情報に基づいて、前記各カテゴリのマッチング待ち物品の数量情報を決定し、前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定し、前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定するように構成される。

【0016】

上記装置において、前記各物品のカテゴリ認識結果は、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率を含み、ｋは、１以上の整数量であり、前記マッチング済み画像認識結果は、前記１組の認識待ち物品のうちのマッチング済み物品のカテゴリ認識結果を含み、前記マッチング済み物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値よりも大きい物品を含み、前記マッチング待ち画像認識結果は、前記１組の認識待ち物品のうちのマッチング待ち物品のカテゴリ認識結果を含み、前記マッチング待ち物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値以下である物品を含む。

【0017】

上記装置において、前記決定ユニットは更に、各カテゴリの物品要素集合を構築することであって、前記物品要素集合における物品要素の総数量情報は、対応するカテゴリの前記マッチング待ち物品の数量情報である、ことと、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率に基づいて、各マッチング待ち物品の候補カテゴリを決定することと、各マッチング待ち物品に対して、重み付き２部グラフを構築することであって、前記重み付き２部グラフは、前記マッチング待ち物品を第１ノードとし、各前記候補カテゴリの物品要素集合における各物品要素を第２ノードとし、各第２ノードに対応する候補カテゴリの確率は、前記第１ノードと前記各第２ノードを連結する辺に対応する重みであり、前記各第２ノードに対応する候補カテゴリは、前記各第２ノードで表される物品要素が属する物品要素集合に対応するカテゴリである、ことと、前記重み付き２部グラフに基づいて、最大２部グラフマッチングを行い、各マッチング待ち物品のカテゴリを得て、前記二次認識結果とすることと、を実行するように構成される。

【0018】

上記装置において、前記決定ユニットは更に、各マッチング待ち物品に対して、前記重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、前記マッチング待ち物品と各前記物品要素とのマッチングがいずれも成功していないことである場合、前記マッチング待ち物品の確率が最も大きい候補カテゴリを前記マッチング待ち物品の二次認識結果とするように構成される。

【0019】

上記装置において、前記決定ユニットは更に、前記マッチング済み画像認識結果におけるマッチング済み物品のカテゴリ認識結果、及び前記マッチング待ち物品の二次認識結果を融合し、前記物品認識結果を得るように構成される。

【0020】

本願の実施例は、電子機器を提供する。前記電子機器は、実行可能なコンピュータプログラムを記憶するように構成されるメモリと、前記メモリに記憶されている実行可能なコンピュータプログラムを実行して、上記物品認識方法を実行するように構成されるプロセッサと、を備える。

【0021】

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサにより実行される時、前記プロセッサに上記物品認識方法を実行させるように構成される。

【発明の効果】

【0022】

本願の実施例で提供される物品認識方法、装置、機器及びコンピュータ可読記憶媒体において、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、該組の認識待ち物品に含まれる物品のカテゴリ、及び該組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定し、各物品は、該物品のカテゴリに対応する短距離無線通信タグを含み、収集された該組の認識待ち物品の画像に対して認識を行い、該組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む画像認識結果を得、数量情報及び画像認識結果に基づいて、該組の認識待ち物品の物品認識結果を決定する。画像認識結果と短距離無線通信認識結果により、最終的な物品認識結果を決定するため、画像認識結果又は短距離無線通信認識結果に比べて、最終的に得られた認識結果はより正確であり、より全面的であり、網羅する情報がより多く、それにより認識結果の正確度及び網羅性を向上させる。

【0023】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願の実施例を限定するものではないことが理解されるべきである。

【図面の簡単な説明】

【0024】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、これらの図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の実施例の技術的解決手段を解釈することに用いられる。

【図1】本願の実施例による物品認識方法を示す選択可能なフローチャートである。

【図2】本願の実施例による物品認識方法を示す選択可能なフローチャートである。

【図3A】本願の実施例による例示的なゲームシーンを示す概略図である。

【図3B】本願の実施例による例示的な図３Ａに示すゲームテーブル上のゲーム領域を示す概略図である。

【図4】本願の実施例による物品認識方法を示す選択可能なフローチャートである。

【図5】本願の実施例による例示的な所定の姿勢にある３部のトークンを示す概略図である。

【図6】本願の実施例による画像認識により１組の認識待ち物品の数量認識結果、各物品の領域情報、カテゴリ認識結果及び位置認識結果を得るプロセスを示す概略図である。

【図7】本願の実施例による物品認識方法を示す選択可能なフローチャートである。

【図8】本願の実施例による物品認識方法を示す選択可能なフローチャートである。

【図9】本願の実施例によるサブ画像認識結果ｉと３つの物品との間に例示的に構築された重み付き辺を示す概略図である。

【図10】本願の実施例によるブツ品認識方法を示す選択可能なフローチャートである。

【図11】本願の実施例による物品認識装置の構造を示す概略図である。

【図12】本願の実施例による電子機器の構造を示す概略図である。

【発明を実施するための形態】

【0025】

本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら、本願を更に詳しく説明する。記述される実施例は、本願を限定するものと見なされるべきではない。当業者が創造的な労力なしに得られる全ての他の実施例は、いずれも本願の保護範囲に含まれる。

【0026】

本願の実施例を更に詳しく説明する前に、本願の実施例に係る名詞及び用語を説明する。本願の実施例に係る名詞及び用語は、下記解釈に適用される。

【0027】

１）無線周波数認識技術の英語表記は、ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎであり、ＲＦＩＤと略称される。その原理は、リーダーとタグとの間で非接触式データ通信を行い、ターゲットを認識するという目的を達成することである。ＲＦＩＤの用途は非常に広範であり、典型的な用途は、動物チップ、自動車チップイモビライザ、ゲート管理、駐車場管理、生産ライン自動化、材料管理である。

【0028】

２）ブルートゥースの英語表記は、Ｂｌｕｅｔｏｏｔｈであり、ＢＴと略称される。ブルートゥース技術は、無線データ及び音声通信公開のグローバル規範である。それは、コストが低い近距離無線接続に基づいて、固定機器及び携帯機器のために、通信環境を確立する特殊な近距離無線技術接続である。

【0029】

３）近距離通信技術の英語表記は、ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎであり、ＮＦＣと略称される。それは、新興の技術である。ＮＦＣ技術を用いた機器（例えば、携帯電話）は、互いに近接する場合にデータ交換を行うことができる。

【0030】

４）身元識別番号の英語表記は、Ｉｄｅｎｔｉｔｙｄｏｃｕｍｅｎｔであり、ＩＤと略称される。

【0031】

本願の実施例は、認識結果の正確度を向上させることができる物品認識方法を提供する。本願の実施例で提供される物品認識方法は、電子機器に適用される。本願の実施例で提供される電子機器は、ＡＲメガネ、ノートパソコン、タブレット、デスクトップコンピュータ、セットトップボックス、携帯機器（例えば、携帯電話、携帯型音楽プレーヤ、パーソナルデジタルアシスタント、専用メッセージング機器、携帯型ゲーム機器）などの種々のタイプのユーザ端末（以下、端末と略称される）として実施されてもよく、サーバとして実施されてもよい。

【0032】

図１は、本願の実施例による物品認識方法を示す選択可能なフローチャートである。図１に示すステップを参照しながら、説明する。

【0033】

Ｓ１０１において、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、１組の認識待ち物品に含まれる物品のカテゴリ、及び１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定し、ここで、各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む。

【0034】

本願の実施例において、端末は、ＲＦＩＤ、ＢＴ又はＮＦＣなどの技術を用いて、あるシーン領域における１組の認識待ち物品のうちの各認識待ち物品（「物品」と略称される）に含まれる、該物品のカテゴリに対応する短距離無線通信タグと短距離無線通信を行うことによって、該１組の認識待ち物品のうちの各物品の物品カテゴリ（「カテゴリ」と略称される）を決定し、各カテゴリの物品の数量を決定することができる。例示的に、１つの物品の短距離無線通信タグは、該物品を標識するか又は該物品のカテゴリを標識するための電子タグであってもよく、該物品内に含まれてもよい。

【0035】

本願の実施例において、１組の認識待ち物品は、少なくとも１つの物品を含んでもよく、２つ又は２つ以上の物品を含んでもよく、１組の認識待ち物品のうちの１つ又は２つ以上の物品は、分散して広げられる状態、又は積み重ね物又は物体シーケンスとなるように積み重ねられる状態などであってもよく、本願の実施例は、これを限定しない。シーン領域において、複数組の認識待ち物品が存在してもよく、本願の実施例において、各組の認識待ち物品に対して説明する。

【0036】

本願の実施例において、認識待ち物品は、任意の物品であってもよく、例えば、トークン、パッケージ、シェルフ上での貨物などであってもよく、本願の実施例は、これを限定しない。

【0037】

いくつかの実施例において、認識待ち物品がトークンである場合、シーン領域は、ゲームテーブル上でのトークン載置領域であってもよく、認識待ち物品がシェルフ上での貨物である場合、シーン領域は、倉庫のシェルフ領域であってもよく、又は、ある店舗内の貨物載置領域などであってもよく、本願の実施例は、シーン領域に対しても限定しない。以下では、認識待ち物品がトークンであり、シーン領域がゲームテーブル上でのトークン載置領域であることを例として、本願の実施例で提供される解決手段を説明する。

【0038】

Ｓ１０２において、収集された１組の認識待ち物品の画像に対して認識を行い、１組の認識待ち物品の画像認識結果を得、画像認識結果は、１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む。

【0039】

本願の実施例において、端末は、予め訓練されたモデル（例えば、深層学習モデル）を用いて、収集された１組の認識待ち物品の画像に対して認識を行い、該組の認識待ち物品の画像認識結果を得ることができる。また、該組の認識待ち物品の画像認識結果に各物品のカテゴリ認識結果が含まれてもよい。

【0040】

【0041】

いくつかの実施例において、１組の認識待ち物品の画像は、端末が例えばカメラのような収集装置により該組の認識待ち物品に対して撮影を行うことによって収集したものであってもよい。別のいくつかの実施例において、１組の認識待ち物品の画像は、他の機器により収集され、且つ端末が該他の機器から取得したものであってもよく、本願の実施例は、これを限定しない。

【0042】

Ｓ１０３において、数量情報及び画像認識結果に基づいて、１組の認識待ち物品の物品認識結果を決定する。

【0043】

本願の実施例において、端末は、１組の認識待ち物品のうちの各カテゴリの物品数量、各物品のカテゴリ認識結果を得た場合、最終的な該組の認識待ち物品の物品認識結果、例えば該組の認識待ち物品のうの各カテゴリの最終的な物品数量、該組の認識待ち物品のうちの物品総数量などを決定することができる。

【0044】

本願のいくつかの実施例において、１組の認識待ち物品に対応する画像認識結果は、少なくとも１つのサブ画像認識結果を含み、且つ各サブ画像認識結果は、認識された１つの物品に対応する画像領域、該物品が各カテゴリに属する確率（上記カテゴリ認識結果）及び該画像領域の位置認識結果（即ち、該画像領域の配列順番）を含んでもよく、また、１組の認識待ち物品に対応する画像認識結果が画像領域の数量（即ち、対応する物品の数量、各画像領域が１つの物品である領域）を更に含む場合、端末は、１組の認識待ち物品のうちの各カテゴリの物品数量を得、且つ認識された各物品に対応する画像領域、各物品が各カテゴリに属する確率、各画像領域の位置認識結果及び画像領域の数量（即ち、対応する物品の数量）などの情報を含む画像認識結果を得た場合、該組の認識待ち物品のうちの全ての物品の総数量、及び各カテゴリの物品の、該組の認識待ち物品における位置（例えば、各カテゴリの物品が該組の認識待ち物品のうちの何番目の物品であるか）などの物品認識結果を最終的に決定することができる。

【0045】

本願のいくつかの実施例において、端末は、該組の認識待ち物品の物品認識結果に基づいて、属するシーンの状態に対してリアルタイムに記録を行うこともできる。例えば、認識待ち物品がトークンであり、シーン領域がゲームテーブル上でのトークン載置領域である場合、端末は、１部のトークンのうちの各種のトークン額面（例えば、５０、１００など）のトークン数量、及び各トークンの画像認識結果を得た場合、該１部のトークンのうちの各種のトークン額面のトークン数量及び各トークンの、該１部のトークンにおける位置を最終的に決定し、最終的に決定された該１部のトークンのうちの各種のトークン額面のトークン数量及び各トークンの、該１部のトークンにおける位置に基づいて、プレイヤーがトークン載置領域に載せたトークンの総価値及びプレイヤーのゲーム方式などに対してリアルタイムに記録を行うことができる。

【0046】

本願の実施例において、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、該組の認識待ち物品に含まれる物品のカテゴリ、及び該組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定し、収集された該組の認識待ち物品の画像に対して認識を行い、該組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む画像認識結果を得、数量情報及び画像認識結果に基づいて、該組の認識待ち物品の物品認識結果を決定する。画像認識結果と短距離無線通信認識結果により、最終的な物品認識結果を決定するため、画像認識結果又は短距離無線通信認識結果に比べて、最終的に得られた認識結果はより正確であり、より全面的であり、網羅する情報がより多く、それにより認識結果の正確度及び網羅性を向上させる。

【0047】

本願の実施例において、得られた１組の認識待ち物品の物品認識結果がより正確かつより全面的であるため、正確かつ全面的な認識結果を用いて記録されるシーン状態は、より正確であり、網羅する情報がより多い。

【0048】

本願のいくつかの実施例において、上記Ｓ１０１は、Ｓ１０１１－Ｓ１０１２により実現されてもよい。図２に示すステップを参照しながら、説明する。

【0049】

Ｓ１０１１において、シーン領域に予め架設された第１通信コンポーネントにより、シーン領域における１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得する。

【0050】

本願の実施例において、端末は、シーン領域に予め架設された第１通信コンポーネントを用いて、短距離無線通信方式により、該組の認識待ち物品のうちの各物品の第２通信コンポーネントと短距離無線通信を行うことができ、それにより各物品の第２通信コンポーネントに記憶されている物品識別子を取得する。複数の異なる物品に対応する物品識別子は異なる。第２通信コンポーネントは、各物品のカテゴリに対応する短距離無線通信タグであってもよいことに留意されたい。

【0051】

例示的に、第１通信コンポーネントがＲＦＩＤ検出アンテナである場合、第２通信コンポーネントは、ＲＦＩＤチップであってもよい。ＲＦＩＤ検出アンテナは、ＲＦＩＤチップにおける情報を読み取ることによって、物品識別子を得ることができる。第１通信コンポーネントがＢＴ装置である場合、第２通信コンポーネントはＢＴ装置であってもよい。それぞれの２つのＢＴ装置は、ブルートゥースペアリング接続によりブルートゥース通信を行い、物品識別子の取得を実現させる。また、第１通信コンポーネントがＮＦＣカードリーダである場合、第２通信コンポーネントは、ＮＦＣチップであってもよい。ＮＦＣカードリーダは、ＮＦＣチップにおける情報を読み取ることによって、物品識別子を得る。

【0052】

本願の実施例において、シーン領域に第１通信コンポーネントが予め架設されてもよい。該第１通信コンポーネントは、シーン領域における１つの所定のサブ領域内の第２通信コンポーネントと通信するように構成される。それと同時に、各物品に第２通信コンポーネントが設けられてもよい。各物品が該シーン領域に置かれるか又は該シーン領域に入る場合、第１通信コンポーネントと該物品上での第２通信コンポーネントとの短距離無線通信をトリガする。

【0053】

いくつかの実施例において、第２通信コンポーネントの物品識別子は、第２通信コンポーネントのＩＤであってもよい。例えば、第２通信コンポーネントがＲＦＩＤチップである場合、物品識別子は、ＲＦＩＤのＩＤであってもよく、且つ、異なる物品に対応するＲＦＩＤチップのＩＤは異なる。

【0054】

Ｓ１０１２において、物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、１組の認識待ち物品に含まれる物品のカテゴリ、及び１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定する。

【0055】

本願の実施例において、端末は、各物品と短距離無線通信を行い、各物品の物品識別子を得た場合、各物品識別子に対して、該物品識別子に基づいて、予め記憶された物品識別子と物品カテゴリとの所定の対応関係を検索し、該物品識別子に対応する物品のカテゴリを得ることができる。それと同時に、端末は更に、各カテゴリの物品識別子の総数量を統計することによって、該組の認識待ち物品のうちの各カテゴリの物品の数量情報を得る。

【0056】

いくつかの実施例において、物品識別子と物品カテゴリとの所定の対応関係において、ある物品識別子が１つの物品カテゴリに対応してもよい。例えば、物品識別子がアルファベットである場合、物品カテゴリＡに対応し、物品識別子が数字である場合、物品カテゴリＢに対応する。別のいくつかの実施例において、ある数値範囲内の物品識別子が１つの物品カテゴリに対応してもよい。例えば、物品識別子が数値範囲［０，３０］に属する場合、物品カテゴリＡに対応する。本願の実施例は、物品識別子と物品カテゴリとの所定の対応関係を限定しない。

【0057】

いくつかの実施例において、第１通信コンポーネントをＲＦＩＤ検出アンテナとし、第２通信コンポーネントをＲＦＩＤチップとすることによって、端末は、ＲＦＩＤ技術により、各組の認識待ち物品のうちの各カテゴリの物品の数量を迅速かつ正確に得ることができる。

【0058】

例示的に、上記Ｓ１０１１－Ｓ１０１２に対して、図３Ａは、本願の実施例による例示的なゲームシーンを示す概略図である。図３Ｂは、本願の実施例による例示的な図３に示すゲームテーブル上でのゲーム領域を示す概略図である。

【0059】

ゲームシーンにおいて、図３Ａと図３Ｂから分かるように、シーン領域は、ゲームテーブル３上でのトークン載置領域１１である。図３Ｂに示すように、８個のプレイヤーに対応するゲーム領域を示し、かつ各プレイヤーのゲーム領域１０にいずれも１つのトークン載置領域１１が含まれる。図３Ａに示すように、１組の認識待ち物品は、トークン載置領域１１（図３Ａに示されず）に置かれる１部のトークン１２である。第１通信コンポーネントは、トークン載置領域１１内に予め設けられたＲＦＩＤ検出アンテナ（図３Ａと図３Ｂに示されず）であり、第２通信コンポーネントは、各トークン内に内蔵されているＲＦＩＤチップ（図３Ａと図３Ｂに示されず）である。図３Ａに示すように、プレイヤーＭが１部のトークン１２をトークン載置領域１１に置く場合、端末は、ＲＦＩＤ検出アンテナを用いて、該１部のトークンのうちの各トークン内のＲＦＩＤチップのＩＤを読み取り、ＩＤ及び予め記憶されたＩＤとトークン額面との所定の対応関係に基づいて、各トークンの額面を得、該１部のトークンのうちの各種のトークン額面のトークンの数量を統計する。

【0060】

本願のいくつかの実施例において、上記Ｓ１０２は、Ｓ１０２１－Ｓ１０２５により実現されてもよい。図４を参照しながら、説明する。

【0061】

Ｓ１０２１において、収集された１組の認識待ち物品の画像を認識し、各物品の領域情報を決定する。

【0062】

Ｓ１０２２において、各物品の領域情報に基づいて、画像分類モデルを用いて、各領域情報に対応する物品に対して分類を行い、各物品のカテゴリ認識結果を得る。

【0063】

本願の実施例において、端末は、予め訓練された画像認識モデルを用いて、収集された１組の認識待ち物品の画像に対して認識を行い、認識された各物品の画像領域（即ち領域情報）を得、予め訓練された画像分類モデルを用いて、各領域情報に対応する物品に対して分類を行い、各物品が各カテゴリに属する確率を得、各物品が各カテゴリに属する確率を該物品のカテゴリ認識結果とすることができる。

【0064】

Ｓ１０２３において、各物品の領域情報の配列順番に基づいて、各物品の位置認識結果を決定する。

【0065】

Ｓ１０２４において、各物品の領域情報の数量に基づいて、１組の認識待ち物品の数量認識結果を決定する。

【0066】

本願の実施例において、１組の認識待ち物品の１枚の画像に対して、端末は、該画像における全ての領域情報を得た場合、各領域情報の配列順番に基づいて、各領域情報に対応する物品の位置認識結果を決定することができる。例えば、１つの領域情報の配列順番が３である場合、該領域情報に対応する物品の位置認識結果は、該組の認識待ち物品のうちの３番目に位置することである。端末は、該画像の領域情報の数量を統計し、認識された該組の認識待ち物品のうちの物品数量を得、該物品数量を該組の認識待ち物品の数量認識結果とすることもできる。

【0067】

Ｓ１０２５において、１組の認識待ち物品の数量認識結果、各物品のカテゴリ認識結果及び位置認識結果を１組の認識待ち物品の画像認識結果とする。

【0068】

本願の実施例において、端末は、１組の認識待ち物品の数量認識結果、各物品のカテゴリ認識結果及び位置認識結果を得た場合、数量認識結果、各物品のカテゴリ認識結果及び位置認識結果を該組の認識待ち物品の画像認識結果とすることができる。

【0069】

いくつかの実施例において、１組の認識待ち物品に対して画像認識を行う前に、まず、該組の認識待ち物品の画像に対して姿勢認識を行うことによって、該組の認識待ち物品の姿勢が所定の姿勢であるかどうかを決定し、該組の認識待ち物品の姿勢が所定の姿勢である場合、該組の認識待ち物品に対して画像認識を行い、対応する画像認識結果を得ることができる。所定の姿勢は、実際の需要に応じて設定されてもよく、例えば、互いに積み重ねられる状態であってもよく、水平放置状態などであってもよく、本願の実施例はこれを限定しないことに留意されたい。例えば、図５は、認識待ち物品がトークンである場合、所定の姿勢にある３部のトークンを示す。図５に示すように、トークン載置領域１１に位置する３部のトークンのうちの各トークン１２に対して、端末は、該１部のトークンが側立姿勢であることを認識した場合、該１部のトークンの姿勢が所定の姿勢であると決定し、該１部のトークンに対して画像認識を行うことができる。

【0070】

例示的に、図６は、本願の実施例による画像認識により１組の認識待ち物品の数量認識結果、各物品の領域情報、カテゴリ認識結果及び位置認識結果を得るプロセスを示す概略図である。図６に示すように、１組の認識待ち物品が１部のトークンである場合、端末は、まず、画像認識モデルを用いて、該１部のトークンの画像Ｉに対してエッジ検出を行い、エッジ検出結果に基づいて、画像Ｉに対してセグメンテーション分割を行い、認識された各トークンに対応する領域情報を得ることができ、かつ各トークンに対応する領域情報の配列順番は、該トークンの認識結果である。例えば、図６における領域情報Ｙ１は、上からの２番目の位置に配列され、領域情報Ｙ１に対応するトークンの位置認識結果は、該１部のトークンの上からの２番目に位置することである。各認識されたトークンの領域情報を得た場合、端末は、引き続き、画像分類モデルを用いて、各領域情報に対して分類を行い、各領域情報に対応するトークンが各額面に属する確率（図６に示されず）を決定し、それにより各領域情報に対応するトークンのカテゴリ認識結果を得る。

【0071】

本願の実施例により、端末は、認識された各物品の、該組の認識待ち物品における位置を正確に得ることができる。

【0072】

本願のいくつかの実施例において、上記Ｓ１０３は、Ｓ１０３１－Ｓ１０３５により実現されてもよい。図７に示すステップを参照しながら、説明する。

【0073】

Ｓ１０３１において、画像認識結果及び所定の信頼度閾値に基づいて、１組の認識待ち物品の画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定する。

【0074】

本願の実施例において、端末は、１組の認識待ち物品の画像認識結果を得た場合、所定の信頼度閾値に基づいて、画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定することができる。

【0075】

いくつかの実施例において、各物品のカテゴリ認識結果は、該物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率を含み、ｋは、１以上の整数量であり、マッチング済み画像認識結果は、１組の認識待ち物品のうちのマッチング済み物品のカテゴリ認識結果を含み、マッチング済み物品は、ｋ個の確率のうちの最大確率が前記所定の信頼度閾値よりも大きい物品を含む。

【0076】

いくつかの実施例において、マッチング待ち画像認識結果は、１組の認識待ち物品のうちのマッチング待ち物品のカテゴリ認識結果を含み、マッチング待ち物品は、ｋ個の確率のうちの最大確率が所定の信頼度閾値以下である物品を含む。

【0077】

ここで、ｋは実際の需要に応じて設定されてもよく、本願の実施例は、ｋの値を限定しない。

【0078】

本願のいくつかの実施例において、画像認識結果は、少なくとも１つのサブ画像認識結果を含み、各サブ画像認識結果は、１つの物品に対応し、且つ該サブ画像認識結果は、該物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率（即ち、ｋ個の確率）を含む。端末は、各サブ画像認識結果に対応する物品のｋ個の確率のうちの最大確率と所定の信頼度閾値との大小関係に基づいて、該サブ画像認識結果がマッチング待ち画像認識結果又はマッチング済み画像認識結果であるかどうかを決定することができる。１つのサブ画像認識結果に対して、該サブ画像認識結果に対応する物品のｋ個の確率のうちの最大確率が所定の信頼度閾値以下である場合、該サブ画像認識結果は、マッチング待ち画像認識結果であり、該サブ画像認識結果に対応する物品のｋ個の確率のうちの最大確率が所定の信頼度閾値よりも大きい場合、該サブ画像認識結果は、マッチング済み画像認識結果である。例えば、１つのサブ画像認識結果が物品ａに対応し、且つ物品ａが、カテゴリＡに属する確率Ｐ_Ａ、カテゴリＢに属する確率Ｐ_Ｂ及びカテゴリＣに属する確率Ｐ_Ｃという３つの確率に対応し、Ｐ_Ｃの値が最も大きい場合、Ｐ_Ｃが所定の信頼度閾値ｔよりも大きいと、物品ａに対応する該サブ画像認識結果は、マッチング済み画像認識結果であり、Ｐ_Ｃが所定の信頼度閾値ｔ以下であると、物品ａに対応する該サブ画像認識結果は、マッチング待ち画像認識結果である。全てのマッチング待ち画像認識結果と全てのマッチング済み画像認識結果の数量の和は、該組の認識待ち物品の画像認識結果に含まれるサブ画像認識結果の総数量と同じである。

【0079】

別のいくつかの実施例において、マッチング待ち画像認識結果の数量が０であってもよく、１組の認識待ち物品の画像認識結果における如何なるサブ画像認識結果がいずれもマッチング待ち画像認識結果にも属しない場合、全てのサブ画像認識結果が信頼できることを示し、後続の二次認識ステップを必要とせず、画像認識結果を直接的に物品認識結果とすることができることに留意されたい。本願の実施例において、主に、マッチング待ち画像認識結果が０よりも大きい場合について説明する。

【0080】

本願の実施例により、所定の信頼度閾値を用いて、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定することによって、画像認識結果の検証時の正確度を向上させる。

【0081】

Ｓ１０３２において、マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定する。

【0082】

本願の実施例において、１組の認識待ち物品に対して、端末は、該組の認識待ち物品の全てのマッチング済み画像認識結果を得た場合、各マッチング済み画像認識結果に対応するマッチング済み物品のｋ個の確率のうちの最大確率に基づいて、各マッチング済み物品のカテゴリを決定し、それにより、全てのマッチング画像認識結果に対応する全てのマッチング済み物品のカテゴリを得、全てのマッチング済み物品のカテゴリを得た場合、各マッチング済み物品に対して分類を行い、各カテゴリのマッチング済み物品の数量情報を決定することができる。

【0083】

Ｓ１０３３において、マッチング済み物品の数量情報及び各カテゴリの物品の数量情報に基づいて、各カテゴリのマッチング待ち物品の数量情報を決定する。

【0084】

本願の実施例において、１組の認識待ち物品に対して、端末は、各カテゴリのマッチング済み物品の数量情報を得た場合、短距離無線通信方式により決定された各カテゴリの物品の数量情報に基づいて、各カテゴリのマッチング待ち物品の数量情報を得ることができる。

【0085】

理解されるであろうように、本願の実施例において、１組の認識待ち物品について言えば、短距離無線通信方式により、該組の認識待ち物品の各カテゴリの物品の数量情報を正確に決定することができ、画像認識の正確度が、短距離無線通信方式で認識を行う場合の正確度よりも低いため、マッチング済み画像認識結果に基づいて決定された各カテゴリの物品の数量は短距離無線通信方式により得られた各カテゴリの物品の数量よりも小さい可能性がある。従って、マッチング済み画像認識結果に基づいて決定された各カテゴリの物品の数量と短距離無線通信方式により決定された各カテゴリの物品の数量を比較することによって、各カテゴリのうち、画像認識により正確に認識されていない物品の数量を決定することができる。これらの物品の数量は、各カテゴリのマッチング待ち物品の数量である。

【0086】

ここで、各カテゴリの物品に対して、端末は、短距離無線通信方式により決定された該カテゴリの物品の数量情報で表される第１数量から、マッチング済み画像認識結果に基づいて決定された該カテゴリのマッチング済み物品の数量情報で表される第２数量を減算し、該カテゴリのマッチング待ち物品の数量情報を得ることができる。例えば、端末は、マッチング済み画像認識結果に基づいて、カテゴリＡに属するマッチング済み物品の数量が１であり、カテゴリＢに属するマッチング済み物品の数量が３であり、カテゴリＣに属するマッチング済み物品の数量が２であると決定し、且つ、この前に、短距離無線通信方式により、カテゴリＡの物品数量が３であり、カテゴリＢの物品数量が４であり、カテゴリＣの物品数量が２であると決定した場合、得られた、カテゴリＡの物品数量３から、カテゴリＡに属するマッチング済み物品の数量１を減算し、残りの２個の、カテゴリＡに属する物品を、カテゴリＡのマッチング待ち物品の数量２とする。また、得られた、カテゴリＢの物品数量４から、カテゴリＢに属するマッチング済み物品の数量３を減算し、残りの１個の、カテゴリＢに属する物品を、カテゴリＢのマッチング待ち物品の数量１とする。また、得られた、カテゴリＣの物品数量２から、カテゴリＣに属するマッチング済み物品の数量２を減算する。その結果が０であるため、カテゴリＣのマッチング待ち物品の数量が０であると決定し、カテゴリＣのマッチング待ち物品が存在しないことを表す。

【0087】

Ｓ１０３４において、各カテゴリのマッチング待ち物品の数量情報及びマッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定する。

【0088】

本願の実施例において、端末は、各カテゴリのマッチング待ち物品の数量情報及び全てのマッチング待ち画像認識結果を得た場合、各カテゴリのマッチング待ち物品の数量情報及び対応するカテゴリと各マッチング待ち画像認識結果に対してマッチング検証を行い、各マッチング待ち画像認識結果に対応するマッチング待ち物品のカテゴリを決定し、得られた各マッチング待ち画像認識結果に対応するマッチング待ち物品のカテゴリを該対応するマッチング待ち物品の二次認識結果とすることができる。マッチング待ち物品の総数量は、マッチング待ち画像認識結果の総数量と同じであることに留意されたい。

【0089】

Ｓ１０３５において、マッチング済み画像認識結果及び二次認識結果に基づいて、物品認識結果を決定する。

【0090】

本願の実施例において、１組の認識待ち物品について言えば、端末は、各マッチング待ち画像認識結果に対応するマッチング待ち物品の二次認識結果を得た場合、全てのマッチング済み画像認識結果及び全てのマッチング待ち物品の二次認識結果に基づいて、該組の認識待ち物品の物品認識結果を得ることができる。

【0091】

いくつかの実施例において、端末は、マッチング済み画像認識結果におけるマッチング済み物品のカテゴリ認識結果、及びマッチング待ち物品の二次認識結果を融合し、物品認識結果を得ることができる。

【0092】

端末は、全てのマッチング済み画像認識結果に対応するマッチング済み物品のカテゴリ認識結果及び全てのマッチング待ち物品の二次認識結果を物品認識結果とすることができることは、理解されるべきである。

【0093】

いくつかの実施例において、上記Ｓ１０３４は、Ｓ３０１－Ｓ３０４により実現されてもよい。図８を参照しながら、説明する。

【0094】

Ｓ３０１において、各カテゴリの物品要素集合を構築し、物品要素集合における物品要素の総数量情報は、対応するカテゴリのマッチング待ち物品の数量情報であり、即ち、物品要素集合における物品要素は、対応するカテゴリのマッチング待ち物品に一対一に対応する。

【0095】

本願の実施例において、各カテゴリのマッチング待ち物品に対して、端末は、上記Ｓ１０３３で決定された該カテゴリのマッチング待ち物品の数量情報に基づいて、該カテゴリの物品要素集合を構築することができ、また、該カテゴリの物品要素集合に含まれる物品要素の総数量は、該カテゴリのマッチング待ち物品の数量情報と同じである。また、各物品要素は、１つのマッチング待ち物品に対応し、且つ、該マッチング待ち物品のカテゴリは、短距離無線通信方式により決定される。例えば、物品カテゴリがトークン額面であり、物品がトークンであり、短距離無線通信方式がＲＦＩＤ方式であることを例として切見えする。各トークン額面に対して、端末は、上記Ｓ１０１で得られた該トークン額面のトークン数量から、上記Ｓ１０３３で得られた該トークン額面のマッチング済みトークン数量を減算することによって、該トークン額面の残りの、ＲＦＩＤ方式によりトークン額面が認識されたトークン、及び該残りの、ＲＦＩＤ方式によりトークン額面が認識されたトークン数量（該カテゴリのマッチング待ちトークンの数量）を得、該トークン額面の残りの、ＲＦＩＤ方式によりトークン額面が認識されたトークンを、該トークン額面の物品要素集合とすることができる。また、該物品要素集合における各物品要素は、残りの、ＲＦＩＤ方式によりトークン額面が認識された１つのトークンである。

【0096】

Ｓ３０２において、各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率に基づいて、各マッチング待ち物品の候補カテゴリを決定する。

【0097】

本願の実施例において、各マッチング待ち画像認識結果に対応するマッチング待ち物品に対して、端末は、該マッチング待ち物品のｋ個の確率から、ターゲットカテゴリ確率を決定し、ターゲットカテゴリ確率に基づいて、該マッチング待ち物品の候補カテゴリを決定することができる。例えば、端末は、ｋ個の確率のうちの上位ｚ個の最も大きい確率を決定することができる。ここで、ｚは、０よりも大きい整数量であり、且つｚは、実際の需要に応じて設定されてもよい。例えば、ｚが３である場合、端末は、各マッチング待ち画像認識結果に対応するマッチング待ち物品のｋ個の確率から、上位３個の最も大きい確率を３個のターゲットカテゴリ確率とし、該３個のターゲットカテゴリ確率に対応する３個のカテゴリを該マッチング待ち物品の３個の候補カテゴリとすることができる。

【0098】

Ｓ３０３において、各マッチング待ち物品に対して、重み付き２部グラフを構築し、ここで、重み付き２部グラフは、マッチング待ち物品を第１ノードとし、各候補カテゴリの物品要素集合における各物品要素を第２ノードとし、各第２ノードに対応する候補カテゴリの確率は、第１ノードと各第２ノードを連結する辺に対応する重みであり、前記各第２ノードに対応する候補カテゴリは、前記各第２ノードで表される物品要素が属する物品要素集合に対応するカテゴリである。

【0099】

本願の実施例において、端末は、各マッチング待ち物品を第１ノードとし、カテゴリが該マッチング待ち物品の１つの候補カテゴリと同じである第１物品要素集合における各物品要素を第２ノードとし、第１ノードと各第２ノードを連結し、該第２ノードに対応する候補カテゴリの確率を、第１ノードと第２ノードを連結する辺に対応する重みとすることができる。例えば、マッチング待ち物品ｉの１つの候補カテゴリがＡであり、候補カテゴリＡに対応するターゲットカテゴリ確率がｋ１であり、且つ候補カテゴリがＡである第１物品要素集合に３個の物品要素（物品要素１、物品要素２及び物品要素３）が含まれる場合、端末は、マッチング待ち物品ｉを第１ノードとし、物品要素１、物品要素２及び物品要素３を３個の第２ノード（第２ノード１、第２ノード２及び第２ノード３）とし、第１ノードとこれら３個の第２ノードをそれぞれ連結し、対応する３本の辺を得、ｋ１を各辺の重みとする。例示的に、図９は、マッチング待ち物品ｉと３個の物品要素との間の重み付き辺を示す概略図である。ここで、各マッチング待ち物品と各候補カテゴリに対応する全ての物品要素との間の重み付き辺を構築した場合、全てのマッチング待ち物品の重み付き２部グラフを得ることができる。

【0100】

Ｓ３０４において、重み付き２部グラフに基づいて、最大２部グラフマッチングを行い、各マッチング待ち物品のカテゴリを得、二次認識結果とする。

【0101】

本願の実施例において、端末は、重み付き２部グラフを得た場合、重み付き２部グラフに基づいて最大２部グラフマッチングを行い、マッチング結果に基づいて、各マッチング待ち物品が属するカテゴリを決定することができ、それにより各マッチング待ち物品の二次認識結果を得る。

【0102】

例示的に、端末は、ＫＭ（Ｋｕｈｎ－Ｍｕｎｋｒａｓ）とも呼ばれる２部グラフ最大重みマッチングアルゴリズムを用いて、マッチング待ち画像認識結果に対応するマッチング待ち物品を全ての第１物品要素集合における物品要素とマッチングすることができる。

【0103】

本願の実施例において、端末は、２部グラフを構築し、且つ重み付き２部グラフに対して最大２部グラフマッチングを行うことによって、各マッチング待ち物品のカテゴリを決定する。決定された各マッチング待ち物品のカテゴリの正確性を向上させる。

【0104】

本願のいくつかの実施例において、上記Ｓ３０４は、Ｓ３０４１又はＳ３０４２により実現されてもよい。図１０を例として説明する。

【0105】

Ｓ３０４１において、各マッチング待ち物品に対して、重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、該マッチング待ち物品とターゲット物品要素とのマッチングが成功したことである場合、ターゲット物品要素に対応する物品カテゴリを該マッチング待ち物品の二次認識結果とし、ここで、ターゲット物品要素は、各物品要素集合におけるいずれか１つである。

【0106】

本願の実施例において、１つのマッチング待ち画像認識結果に対応するマッチング待ち物品と全ての物品要素集合におけるいずれか１つの物品要素とのペアリングに成功した場合、端末は、該物品要素に対応するカテゴリを該マッチング待ち画像認識結果に対応するマッチング待ち物品のカテゴリとし、それによりマッチング待ち画像認識結果に対応するマッチング待ち物品の二次認識結果を得ることができる。

【0107】

Ｓ３０４２において、各マッチング待ち物品に対して、重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、該マッチング待ち物品と各物品要素とのマッチングがいずれも成功していないことである場合、確率が最も大きい候補カテゴリを該マッチング待ち物品の二次認識結果とする。

【0108】

本願の実施例において、１つのマッチング待ち画像認識結果に対応するマッチング待ち物品と全ての第１物品要素集合におけるいずれか１つの物品要素とのペアリングにいずれも成功していない場合、端末は、該マッチング待ち物品に対応する全ての候補カテゴリから、対応する確率が最も大きい１つの候補カテゴリを決定し、確率が最も大きい該候補カテゴリを該マッチング待ち物品の二次認識結果とすることができる。

【0109】

本願の実施例において、端末は、該方式により、決定された各マッチング待ち物品のカテゴリの正確性を向上させる。

【0110】

以下では、実際のシーンにおける応用を参照しながら、本願で提供される物品認識の解決手段を説明する。

【0111】

Ｓ１において、ゲームテーブルのトークン載置領域内のＲＦＩＤアンテナにより、トークン載置領域に位置する各１部のトークンのうち、各トークン内のＲＦＩＤチップのＩＤを読み取り、各トークン内のＲＦＩＤチップのＩＤを得る。

【0112】

Ｓ２において、得られた各トークン内のＲＦＩＤチップのＩＤ、及び予め記憶されたＩＤとトークン額面との所定の対応関係に基づいて、各トークン額面のトークン数量を得る。

【0113】

Ｓ３において、収集された該１部のトークンの画像に対して姿勢認識を行い、該１部のトークンが側立姿勢である場合、該１部のトークンに対して画像認識を行い、該１部のトークンのうちの各トークンの、該１部のトークンにおける位置、該トークンが各額面に属する確率を認識し、該方式により、認識された各トークンのサブ画像認識結果を得、該１部のトークンのトークン総数量を統計し、該１部のトークンのトークン総数量及び認識された各トークンのサブ画像認識結果を該１部のトークンの画像認識結果とする。

【0114】

Ｓ４１において、認識された各トークンに対して、該トークンに対応する最大確率が所定の信頼度閾値よりも大きい場合、該トークンの認識結果が正確であると決定し、該トークンに対応するサブ画像認識結果をマッチング済み認識結果として決定し、最終的に、複数のマッチング待ち認識結果を得、該複数のマッチング済み認識結果に対応する複数のマッチング済みトークンのうち、各額面に属するマッチング済みトークン数量を決定し、ここで、各マッチング済み認識結果に対応する１つのトークンは、マッチング済みトークンであり、各マッチング済み認識結果は、マッチング済みトークンがｋ種のトークン額面のうちの各種のトークン額面に属する確率、マッチング済みトークンの、該１部のトークンにおける位置を含み、ｋは、１以上の整数量である。

【0115】

Ｓ４２において、認識された各トークンに対して、該トークンに対応する最大確率が所定の信頼度閾値以下である場合、該トークンに対応するサブ画像認識結果をマッチング待ち認識結果として決定し、最終的に、複数のマッチング待ち認識結果を得、ここで、各マッチング待ち認識結果に対応する１つのトークンは、マッチング待ちトークンであり、各マッチング待ち認識結果は、各マッチング待ちトークンがｋ種のトークン額面のうちの各種のトークン額面に属する確率、各マッチング待ちトークンの、該１部のトークンにおける位置を含む。

【0116】

Ｓ５において、各種のトークン額面に対して、Ｓ１で得られた該トークン額面のトークン数量から、Ｓ４１で得られた該トークン額面のマッチング済みトークン数量を減算し、該トークン額面の残りの、ＲＦＩＤによりトークン額面が認識されたトークン、及び残りの、ＲＦＩＤによりトークン額面が認識されたトークン数量（即ち、マッチング待ちトークンの数量）を得る。

【0117】

Ｓ６において、Ｓ５で得られた各種のトークン額面の残りの、ＲＦＩＤによりトークン額面が認識されたトークンを、対応するトークン額面の物品要素集合とし、各残りの、ＲＦＩＤによりトークン額面が認識されたトークンを該物品要素集合における１つの物品要素とする。

【0118】

Ｓ７において、各マッチング待ち認識結果に対応するマッチング待ちトークンに対して、該マッチング待ちトークンに対応するｋ個の確率から、上位３個の最も大きい確率を決定し、該上位３個の最も大きい確率に対応するトークン額面を該マッチング待ちトークンの候補額面（候補カテゴリ）とする。

【0119】

Ｓ７において、各マッチング待ちトークンに対して、重み付き２部グラフを構築し、ここで、重み付き２部グラフは、該マッチング待ちトークンを第１ノードとして、各候補額面の第１物品要素集合における各物品要素を第２ノードとして、各第２ノードに対応する候補額面の確率は、第１ノードと各第２ノードを連結する辺に対応する重みである。

【0120】

Ｓ８において、ＫＭアルゴリズムを用いて、該重み付き２部グラフに対して最大２部グラフマッチングを行い、各マッチング待ちトークンに対して、重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、該マッチング待ちトークンとターゲット物品要素とのマッチングに成功したことである場合、ターゲット物品要素に対応するトークン額面を該マッチング待ちトークンの二次認識結果とし、ここで、ターゲット物品要素は、各第１物品要素集合におけるいずれか１つであり、重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、該マッチング待ち物品と各物品要素とのマッチングがいずれも成功していない場合、確率が最も大きい候補額面を該マッチング待ちトークンの二次認識結果とする。

【0121】

Ｓ９において、ＲＦＩＤチップの読み取りにより得られた該１部のトークンのうちの各トークン額面のトークン数量、最大２部グラフマッチングにより得られた各マッチング待ちトークンの額面、画像認識により得られたマッチング済み画像認識結果に対応するマッチング済みトークンの額面、及び画像認識により得られた各トークンの、該１部のトークンにおける位置に基づいて、該１部のトークンの配列方式が有効であるかどうかを決定し、該１部のトークンの配列方式が有効である場合、該トークンの総価値を決定し、該総価値を、該１部のトークンを置くプレイヤーと関連付け、該プレイヤーにより置かれたトークンの総価値を記録する。

【0122】

本願の実施例は、物品認識装置を更に提供する。図１１は、本願の実施例による物品認識装置の構造を示す概略図である。図１１に示すように、物品認識装置１は、シーン領域における１組の認識待ち物品のうちの各物品と短距離無線通信を行うことによって、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定するように構成される通信ユニット１０であって、ここで、前記各物品は、各物品のカテゴリに対応する短距離無線通信タグを含む、通信ユニット１０と、収集された前記１組の認識待ち物品の画像に対して認識を行い、前記１組の認識待ち物品の画像認識結果を得るように構成される認識ユニット２０であって、前記画像認識結果は、前記１組の認識待ち物品のうちの各物品のカテゴリ認識結果を含む、認識ユニット２０と、前記数量情報及び前記画像認識結果に基づいて、前記１組の認識待ち物品の物品認識結果を決定するように構成される決定ユニット３０と、を備える。

【0123】

本願のいくつかの実施例において、前記通信ユニット１０は更に、前記シーン領域に予め架設された第１通信コンポーネントにより、前記シーン領域における前記１組の認識待ち物品のうちの各認識待ち物品の第２通信コンポーネントと短距離無線通信を行い、各物品の第２通信コンポーネントに記憶されている物品識別子を取得し、前記物品識別子及び予め記憶された物品識別子と物品カテゴリとの所定の対応関係に基づいて、前記１組の認識待ち物品に含まれる物品のカテゴリ、及び前記１組の認識待ち物品に含まれる各カテゴリの物品の数量情報を決定するように構成される。

【0124】

本願のいくつかの実施例において、前記決定ユニット３０は更に、前記画像認識結果及び所定の信頼度閾値に基づいて、前記１組の認識待ち物品の前記画像認識結果から、マッチング待ち画像認識結果及びマッチング済み画像認識結果を決定し、前記マッチング済み画像認識結果に基づいて、各カテゴリの物品のマッチング済み物品の数量情報を決定し、前記マッチング済み物品の数量情報及び前記各カテゴリの物品の数量情報に基づいて、前記各カテゴリのマッチング待ち物品の数量情報を決定し、前記各カテゴリのマッチング待ち物品の数量情報及び前記マッチング待ち画像認識結果に基づいて、マッチング検証を行い、二次認識結果を決定し、前記マッチング済み画像認識結果及び前記二次認識結果に基づいて、前記物品認識結果を決定するように構成される。

【0125】

本願のいくつかの実施例において、前記各物品のカテゴリ認識結果は、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率を含み、ｋは、１以上の整数量であり、前記マッチング済み画像認識結果は、前記１組の認識待ち物品のうちのマッチング済み物品のカテゴリ認識結果を含み、前記マッチング済み物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値よりも大きい物品を含み、前記マッチング待ち画像認識結果は、前記１組の認識待ち物品のうちのマッチング待ち物品のカテゴリ認識結果を含み、前記マッチング待ち物品は、ｋ個の前記確率のうちの最大確率が前記所定の信頼度閾値以下である物品を含む。

【0126】

本願のいくつかの実施例において、前記決定ユニット２０は更に、各カテゴリの物品要素集合を構築することであって、前記物品要素集合における物品要素の総数量情報は、対応するカテゴリの前記マッチング待ち物品の数量情報である、ことと、前記各物品がそれぞれｋ個のカテゴリのうちの各カテゴリに属する確率に基づいて、各マッチング待ち物品の候補カテゴリを決定することと、各マッチング待ち物品に対して、重み付き２部グラフを構築することであって、ここで、前記重み付き２部グラフは、前記マッチング待ち物品を第１ノードとし、各前記候補カテゴリの物品要素集合における各物品要素を第２ノードとし、各第２ノードに対応する候補カテゴリの確率は、前記第１ノードと前記各第２ノードを連結する辺に対応する重みであり、前記各第２ノードに対応する候補カテゴリは、前記各第２ノードで表される物品要素が属する物品要素集合に対応するカテゴリである、ことと、前記重み付き２部グラフに基づいて、最大２部グラフマッチングを行い、各マッチング待ち物品のカテゴリを得て、前記二次認識結果とすることと、を実行するように構成される。

【0127】

本願のいくつかの実施例において、前記決定ユニット３０は更に、各マッチング待ち物品に対して、前記重み付き２部グラフに基づいて最大２部グラフマッチングを行った結果が、前記マッチング待ち物品と各前記物品要素とのマッチングがいずれも成功していないことである場合、前記マッチング待ち物品の確率が最も大きい候補カテゴリを前記マッチング待ち物品の二次認識結果とするように構成される。

【0128】

本願のいくつかの実施例において、前記決定ユニット３０は更に、前記マッチング済み画像認識結果におけるマッチング済み物品のカテゴリ認識結果、及び前記マッチング待ち物品の二次認識結果を融合し、前記物品認識結果を得るように構成される。

【0129】

本願の実施例は、電子機器を更に提供する。図１２は、本願の実施例による電子機器の構造を示す概略図である。図１２に示すように、電子機器２は、メモリ２２と、プロセッサ２３と、を備え、ここで、メモリ２２とプロセッサ２３は、通信バス２１を介して接続され、メモリ２２は、実行可能なコンピュータプログラムを記憶するように構成され、プロセッサ２３は、メモリ２２に記憶されている実行可能なコンピュータプログラムを実行して、本願の実施例で提供される方法、例えば本願の実施例で提供される物品認識方法を実行するように構成される。

【0130】

本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサ２３により実行される時、プロセッサ２３に本願の実施例で提供される方法、例えば本願の実施例で提供される物品認識方法を実行させるように構成される。

【0131】

本願のいくつかの実施例において、記憶媒体は、ＦＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気表面メモリ、光ディスク又はＣＤ－ＲＯＭなどのメモリであってもよく、上記メモリの１つ又は任意の組み合わせを含む種々の機器であってもよい。

【0132】

本願のいくつかの実施例において、実行可能な命令は、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト又はコードの形態で、任意の形式のプログラミング言語（コンパイラ又はインタプリタ型言語、宣言型又は手続き型言語を含む）で書かれ、任意の形式で配置されてもよい。独立したプログラムとして配置されてもよく、モジュール、コンポーネント、サブルーチン又はコンピューティング環境に適用される他のユニットとして配置されてもよい。

【0133】

例として、実行可能な命令は、ファイルシステムにおけるファイルに対応してもよいが、これに限定されない。他のプログラム又はデータを記憶するファイルの一部に記憶されてもよい。例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ：ＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ）ドキュメントにおける１つ又は複数のスクリプトに記憶され、検討されるプログラム専用の単一のファイルに記憶され、又は、複数のコラボレーションファイル（例えば、１つ又は複数のモジュール、サブプログラム又はコードを記憶するファイル）に記憶される。

【0134】

例として、実行可能な命令は、１つのコンピューティング機器で実行されてもよく、１つのサイトに位置する複数のコンピューティング機器で実行されてもよく、又は、複数のサイトに分布して通信ネットワークを介して相互接続される複数のコンピューティング機器で実行されてもよい。

【0135】

要するに、本技術的解決手段によれば、画像認識結果と短距離無線通信認識結果により、最終的な物品認識結果を決定するため、画像認識結果又は短距離無線通信認識結果に比べて、最終的に得られた認識結果はより正確であり、より全面的であり、網羅する情報がより多く、それにより認識結果の正確度及び網羅性を向上させる。また、正確かつ全面的な認識結果を用いることによって記録されるシーン状態をより正確かつ全面的にする。

【0136】

以上は本願の実施例に過ぎず、本願の保護範囲を限定するものではなく、本願に開示された精神及び範囲内で行われる如何なる修正、均等物による置き換え及び改良などはいずれも、本願の保護範囲内に含まれるべきである。

【図1】