IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 商▲湯▼国▲際▼私人有限公司の特許一覧

特表2022-523279目標対象の認識方法、装置及びシステム
<>
  • 特表-目標対象の認識方法、装置及びシステム 図1
  • 特表-目標対象の認識方法、装置及びシステム 図2
  • 特表-目標対象の認識方法、装置及びシステム 図3A
  • 特表-目標対象の認識方法、装置及びシステム 図3B
  • 特表-目標対象の認識方法、装置及びシステム 図4
  • 特表-目標対象の認識方法、装置及びシステム 図5
  • 特表-目標対象の認識方法、装置及びシステム 図6
  • 特表-目標対象の認識方法、装置及びシステム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-22
(54)【発明の名称】目標対象の認識方法、装置及びシステム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20220415BHJP
   G06K 7/00 20060101ALI20220415BHJP
   G06K 7/10 20060101ALI20220415BHJP
【FI】
G06T7/00 C
G06T7/00 350C
G06K7/00 004
G06K7/10 100
G06K7/10 372
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2020544438
(86)(22)【出願日】2020-03-20
(85)【翻訳文提出日】2020-08-21
(86)【国際出願番号】 IB2020052583
(87)【国際公開番号】W WO2021130551
(87)【国際公開日】2021-07-01
(31)【優先権主張番号】10201913005Y
(32)【優先日】2019-12-23
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】520238082
【氏名又は名称】商▲湯▼国▲際▼私人有限公司
【氏名又は名称原語表記】SENSETIME INTERNATIONAL PTE. LTD.
【住所又は居所原語表記】7500A Beach Road, #05-318,The Plaza 199591 Singapore Singapore
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】牛 ▲達▼明
(72)【発明者】
【氏名】▲呉▼ ▲進▼
(72)【発明者】
【氏名】▲陳▼ ▲凱▼歌
(72)【発明者】
【氏名】▲趙▼ 海宇
(72)【発明者】
【氏名】伊 ▲帥▼
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA02
5L096DA02
5L096HA11
5L096JA11
5L096JA22
5L096KA04
(57)【要約】
本明細書の実施例は、目標認識の方法、装置及びシステムを提供し、前記方法は、目標領域における目標対象の画像認識結果と無線周波数認識結果を取得し、前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップを含む。無線周波数認識結果と画像認識結果を融合するので、前記目標領域における目標対象を正確に認識でき、認識精度が高くなる。
【選択図】図1
【特許請求の範囲】
【請求項1】
目標対象の認識方法であって、
当該方法は、
目標領域の画像を取得するステップと、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップと、
前記目標領域における前記目標対象の無線周波数認識結果を取得するステップと、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップと、を含むことを特徴とする方法。
【請求項2】
前記画像によって前記目標領域における前記目標対象の画像認識結果を決定するステップは、
ニューラルネットワークを用いて前記画像を処理して前記目標領域における前記目標対象の画像認識結果を出力するステップを含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記目標領域における前記目標対象の無線周波数認識結果を取得するステップは、
前記目標領域内に配置された無線周波数検出アンテナによる前記目標領域における目標対象の無線周波数認識結果を取得するステップを含むことを特徴とする請求項1に記載の方法。
【請求項4】
前記無線周波数認識結果は、前記無線周波数検出アンテナによって各前記目標対象に設置された無線周波数認識タグを読み取ることによって取得されることを特徴とする請求項3に記載の方法。
【請求項5】
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含むことを特徴とする請求項1に記載の方法。
【請求項6】
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含むことを特徴とする請求項5に記載の方法。
【請求項7】
前記方法は、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するステップと、
第mサブ領域をマッチング待ちのサブ領域とするステップと、を更に含むことを特徴とする請求項6に記載の方法。
【請求項8】
マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定するステップ、
前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとするステップ、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含むことを特徴とする請求項7に記載の方法。
【請求項9】
マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れていないと決定し、
信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含むことを特徴とする請求項7に記載の方法。
【請求項10】
マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在することに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするステップと、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を更に含むことを特徴とする請求項7に記載の方法。
【請求項11】
前記画像は前記目標対象の俯瞰画像又は側面画像であることを特徴とする請求項1に記載の方法。
【請求項12】
前記俯瞰画像は前記目標領域上部画像取得デバイスによって取得され、前記側面画像は前記目標領域側面画像取得デバイスによって取得されることを特徴とする請求項11に記載の方法。
【請求項13】
目標対象の認識装置であって、
当該装置は、第1取得モジュールと、第1決定モジュールと、前記第2取得モジュールと、第2決定モジュールと、を含み、
前記第1取得モジュールは、目標領域の画像を取得するために用いられ、
前記第1決定モジュールは、前記画像によって前記目標領域における目標対象の画像認識結果を決定するために用いられ、
前記第2取得モジュールは、前記目標領域における前記目標対象の無線周波数認識結果を取得するために用いられ、
前記第2決定モジュールは、前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられることを特徴とする装置。
【請求項14】
前記第1決定モジュールは、
ニューラルネットワークを用いて前記画像を処理して前記目標領域における前記目標対象の画像認識結果を出力するために用いられることを特徴とする請求項13に記載の装置。
【請求項15】
前記第2取得モジュールは、
前記目標領域内に配置された無線周波数検出アンテナによる前記目標領域における前記目標対象の無線周波数認識結果を取得するために用いられることを特徴とする請求項13に記載の装置。
【請求項16】
前記無線周波数認識結果は、前記無線周波数検出アンテナによって各前記目標対象に設置された無線周波数認識タグを読み取ることによって取得されるものであることを特徴とする請求項15に記載の装置。
【請求項17】
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記第2決定モジュールは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、
各前記サブ領域における目標対象のカテゴリーと数量を得るために用いられることを特徴とする請求項13に記載の装置。
【請求項18】
前記第2決定モジュールは、マッチングユニットと、決定ユニットと、調整ユニットを含み、
前記マッチングユニットは、第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングするために用いられ、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであり、
前記決定ユニットは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するために用いられ、
前記調整ユニットは、前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられることを特徴とする請求項17に記載の装置。
【請求項19】
前記装置は、第3決定モジュールと、第4決定モジュールと、を更に含み、
前記第3決定モジュールは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するために用いられ、
前記第4決定モジュールは、第mサブ領域をマッチング待ちのサブ領域とするために用いられることを特徴とする請求項18に記載の装置。
【請求項20】
マッチング待ちのサブ領域が存在すると決定された時に、前記装置は、第5決定モジュールを更に含み、
前記第5決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項19に記載の装置。
【請求項21】
マッチング待ちのサブ領域が存在すると決定された時に、前記装置は、第6決定モジュールを更に含み、
前記第6決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくなく、1つのマッチング待ちのサブ領域中のN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないことを決定したことに応えて、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項19に記載の装置。
【請求項22】
マッチング待ちのサブ領域が存在すると決定された時に、前記装置は、第7決定モジュールと、調整モジュールとを更に含み、
前記第7決定モジュールは、前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするために用いられ、
前記調整モジュールは、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられることを特徴とする請求項19に記載の装置。
【請求項23】
前記画像は前記目標対象の俯瞰画像又は側面画像であることを特徴とする請求項13に記載の装置。
【請求項24】
前記俯瞰画像は前記目標領域上部画像取得デバイスによって取得され、前記側面画像は前記目標領域側面画像取得デバイスによって取得されることを特徴とする請求項23に記載の装置。
【請求項25】
前記装置は、画像取得装置と、無線周波数検出装置と、プロセッサと、を含み、
前記画像取得装置は、目標領域の画像を取得するために用いられ、
前記無線周波数検出装置は、前記目標領域における目標対象の無線周波数認識結果を取得するために用いられ、
前記プロセッサは、前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられることを特徴とするシステム。
【請求項26】
前記無線周波数検出装置は、
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含むことを特徴とする請求項25に記載のシステム。
【請求項27】
前記無線周波数認識タグが前記目標対象に内蔵されるか、又は前記目標対象表面に貼り付けられることを特徴とする請求項26に記載のシステム。
【請求項28】
前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み、
前記目標領域の数量は、複数であり、
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられることを特徴とする請求項25に記載のシステム。
【請求項29】
前記隔離装置は金属材質を採用することを特徴とする請求項28に記載のシステム。
【請求項30】
前記画像取得装置は、前記目標領域の上部に設置される第1画像取得装置及び/又は前記目標領域の側面に設置される第2画像取得装置を含むことを特徴とする請求項29に記載のシステム。
【請求項31】
前記プロセッサを用いて前記画像によって前記目標領域における前記目標対象の画像認識結果を決定するステップは、
ニューラルネットワークを用いて前記画像を処理して前記目標領域における前記目標対象の画像認識結果を出力するステップを含むことを特徴とする請求項25に記載のシステム。
【請求項32】
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含むことを特徴とする請求項25に記載のシステム。
【請求項33】
前記プロセッサを用いて前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含むことを特徴とする請求項32に記載のシステム。
【請求項34】
前記プロセッサは、更に、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするために用いられることを特徴とする請求項33に記載のシステム。
【請求項35】
マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項34に記載のシステム。
【請求項36】
マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、
信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項34に記載のシステム。
【請求項37】
マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられることを特徴とする請求項34に記載のシステム。
【請求項38】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項1から12のいずれか一項に記載の方法を実現することを特徴とする記憶媒体。
【請求項39】
メモリと、プロセッサと、メモリに記憶される、プロセッサ上で作動可能なコンピュータプログラムと、を含むコンピュータデバイスであって、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項1から12のいずれか一項に記載の方法を実現することを特徴とするコンピュータデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、2020年3月20日に提出された、出願名称が「目標対象の認識方法、装置及びシステム」で、出願番号がPCT/IB2020/052583であるPCT出願の国家段階出願であり、このPCTは2019年12月23日に提出された、出願番号が10201913005Yのシンガポール特許出願の優先権を主張し、この出願の全てが参照によって本開示に組み込まれる。
本開示は、コンピュータビジョン技術に関し、特に、目標対象の認識方法、装置及びシステムに関する。
【背景技術】
【0002】
日常の生産や生活において目標対象を認識する必要がある場合が多い。テーブルゲームといった娯楽シーンを例とすると、テーブル上のゲームコインを認識してゲームコインのテーブルでの位置、カテゴリー及び数量を取得する必要がある。しかしながら、従来の認識手段の認識精度が低い。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、目標対象の認識方法、装置及びシステムを提供する。
具体的には、本開示は、以下のような技術的解決手段によって実現される。
【課題を解決するための手段】
【0004】
本開示の実施例の第1態様によれば、目標対象の認識方法を提供し、
前記方法は、
目標領域の画像を取得するステップと、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップと、
前記目標領域における前記目標対象の無線周波数認識結果を取得するステップと、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップと、を含む。
【0005】
いくつかの実施例では、前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップは、ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するステップを含む。
【0006】
いくつかの実施例では、前記目標領域における前記目標対象の無線周波数認識結果を取得するステップは、前記目標領域内に配置された無線周波数検出アンテナによる前記目標領域における目標対象の無線周波数認識結果を取得するステップを含む。
【0007】
いくつかの実施例では、前記無線周波数認識結果は、前記無線周波数検出アンテナによって各目標対象に設置された無線周波数認識タグを読み取ることによって取得されるものである。
【0008】
いくつかの実施例では、前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記無線周波数認識結果と前記画像認識結果によって目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。
【0009】
いくつかの実施例では、前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含む。
【0010】
いくつかの実施例では、前記方法は、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するステップと、
第mサブ領域をマッチング待ちのサブ領域とするステップと、を更に含む。
【0011】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含む。
【0012】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含む。
【0013】
いくつかの実施例では、少なくとも1つのマッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在することに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするステップと、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を更に含む。
【0014】
いくつかの実施例では、前記画像は前記目標対象の俯瞰画像又は側面画像である。
【0015】
いくつかの実施例では、前記俯瞰画像は前記目標領域上部画像取得デバイスによって取得され、前記側面画像は前記目標領域側面画像取得デバイスによって取得される。
【0016】
本開示の実施例の第2態様によれば、目標対象の認識装置を提供し、前記認識装置は、第1取得モジュールと、第1決定モジュールと、第2取得モジュールと、第2決定モジュールとを含み、
前記第1取得モジュールは、目標領域の画像を取得するために用いられ、
前記第1決定モジュールは、前記画像によって前記目標領域における目標対象の画像認識結果を決定するために用いられ、
前記第2取得モジュールは、前記目標領域における前記目標対象の無線周波数認識結果を取得するために用いられ、
前記第2決定モジュールは、前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられる。
【0017】
いくつかの実施例では、前記第1取得モジュールは、ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するために用いられる。
【0018】
いくつかの実施例では、前記第2取得モジュールは、前記目標領域内に配置された無線周波数検出アンテナによる前記目標領域における目標対象の無線周波数認識結果を取得するために用いられる。
【0019】
いくつかの実施例では、前記無線周波数認識結果は、前記無線周波数検出アンテナによって各目標対象に設置された無線周波数認識タグを読み取ることによって取得されるものである。
【0020】
いくつかの実施例では、前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記第2決定モジュールは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、
各サブ領域における目標対象のカテゴリーと数量を取得するために用いられる。
【0021】
いくつかの実施例では、前記第2決定モジュールは、マッチングユニットと、決定ユニットと、調整ユニットと、を含み、
前記マッチングユニットは、第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるために用いられ、
前記決定ユニットは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するために用いられ、
前記調整ユニットは、前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
【0022】
いくつかの実施例では、前記装置は、第3決定モジュールと、第4決定モジュールと、を更に含み、
第3決定モジュールは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないか、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するために用いられ、
第4決定モジュールは、第mサブ領域をマッチング待ちのサブ領域とするために用いられる。
【0023】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された時に、前記装置は、第5決定モジュールを更に含み、
前記第5決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0024】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された時に、前記装置は、第6決定モジュールを更に含み、
前記第6決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0025】
いくつかの実施例では、少なくとも1つのマッチング待ちのサブ領域が存在すると決定された時に、前記装置は、第7決定モジュールと、調整モジュールと、を更に含み、
前記第7決定モジュールは、前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするために用いられ、
前記調整モジュールは、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
【0026】
いくつかの実施例では、前記画像は前記目標対象の俯瞰画像又は側面画像である。
【0027】
いくつかの実施例では、前記俯瞰画像は前記目標領域上部画像取得デバイスによって取得され、前記側面画像は前記目標領域側面画像取得デバイスによって取得される。
【0028】
本開示の実施例の第3態様によれば、目標対象の認識システムを提供し、前記システムは、画像取得装置と、無線周波数検出装置と、プロセッサと、を含み、
前記画像取得装置は、目標領域の画像を取得するために用いられ、
前記無線周波数検出装置は、前記目標領域における目標対象の無線周波数認識結果を取得するために用いられ、
前記プロセッサは、前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられる。
【0029】
いくつかの実施例では、前記無線周波数検出装置は、
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含む。
【0030】
いくつかの実施例では、前記無線周波数認識タグが前記目標対象に内蔵されるか、又は前記目標対象表面に貼り付けられる。
【0031】
いくつかの実施例では、前記目標領域の数量が複数である時に、
前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み、
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられる。
【0032】
いくつかの実施例では、前記隔離装置は金属材質を採用する。
【0033】
いくつかの実施例では、前記画像取得装置は、前記目標領域の上部に設置される第1画像取得装置及び/又は前記目標領域の側面に設置される第2画像取得装置を含む。
【0034】
いくつかの実施例では、前記プロセッサを用いて前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップは、
ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するステップを含む。
【0035】
いくつかの実施例では、前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって各目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。
【0036】
いくつかの実施例では、前記プロセッサを用いて前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含む。
【0037】
いくつかの実施例では、前記プロセッサは、更に、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするために用いられる。
【0038】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度が最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記の現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0039】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0040】
いくつかの実施例では、少なくとも1つのマッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
【0041】
本開示の実施例の第4態様によれば、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、プロセッサは、このコンピュータプログラムを実行する時に、いずれか1つの実施例に記載の方法を実現する。
【0042】
本開示の実施例の第5態様によれば、メモリと、プロセッサと、メモリに記憶される、プロセッサ上で作動可能なコンピュータプログラムと、を含むコンピュータデバイスを提供し、前記プロセッサは、前記コンピュータプログラムを実行する時にいずれか1つの実施例に記載の方法を実現する。
【0043】
本開示の実施例は、前記目標領域における目標対象の画像認識結果と無線周波数認識結果を取得し、更に前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定することで、無線周波数認識結果と画像認識結果を融合して、前記目標領域における目標対象を正確に認識でき、認識精度が高くなる。
【0044】
以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本開示を制限しないことを理解すべきである。
【図面の簡単な説明】
【0045】
ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
図1】本開示の実施例の目標対象の認識方法のフローチャートである。
図2】本開示の実施例の目標領域の模式図である。
図3A】本開示の一実施例の目標対象の模式図である。
図3B】本開示の別の実施例の目標対象の模式図である。
図4】本開示の実施例の各サブ領域における目標対象の模式図である。
図5】本開示の実施例の目標対象の認識装置のブロック図である。
図6】本開示の実施例の目標対象の認識システムの模式図である。
図7】本開示の実施例の本開示方法を実施するためのコンピュータデバイスの構造模式図である。
【発明を実施するための形態】
【0046】
ここで、例示的実施例を詳細に説明し、その例を図面に示す。図面に関する説明があった時に、特に断らない限り、別々の図面での同じ数字は同じ要素又は類似する要素を表す。以下の例示的な実施例で説明された実施形態は本願に一致する全ての実施形態を表すというわけでない。まったく逆に、それらは添付された特許請求の範囲に詳細に記載された本願のいくつかの態様に一致する装置と方法の例に過ぎない。
【0047】
本願において使用された用語は、単に特定の実施例を説明するためのものにすぎず、本願を限定するものではない。本願および添付の特許請求の範囲において使用された単数形「一種」、「前記」および「該」は、文脈に特に示さない限り、複数形も含むことを意図する。なお、本明細書において使用された用語「および/又は」は、関連して列挙された項目の一つ以上の任意の又は全ての可能な組み合わせを意味し、かつこれらの組み合わせを含む。また、本明細書における用語「少なくとも一種」は、複数種のいずれか一つ又は複数種の少なくとも二つの任意の組み合わせを意味する。
【0048】
なお、本願において用語第一、第二、第三などを使用して各種の情報を説明することがあるが、これらの情報はこれらの用語に限定されないことを理解されたい。これらの用語は同一タイプの情報を互いに区別するためのものにすぎない。例えば、本願の範囲から逸脱することなく、第一情報は第二情報と呼ばれてもよく、同様に、第二情報は第一情報と呼ばれてもよい。文脈によって、ここで使用された字句「場合」は、「時」又は「にあたり」又は「決定/特定/判定に応じて」という意味に解釈され得る。
【0049】
本開示の実施例における技術的解決手段を当業者により明瞭に理解させ、且つ本開示の実施例の上記目的、特徴やメリットをより分かりやすくするために、以下、図面を参照しながら本開示の実施例における技術的解決手段を更に詳細に説明する。
【0050】
図1に本開示の実施例の目標対象の認識方法のフローチャートを示す。前記方法は、
ステップS101:目標領域の画像を取得し、
ステップS102:前記画像によって前記目標領域における目標対象の画像認識結果を決定し、
ステップS103:前記目標領域における前記目標対象の無線周波数認識結果を取得し、
ステップS104と:前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定することを含む。
【0051】
ステップS101については、目標領域は、目標対象が置かれる領域であり、例えば、平面(例えば、テーブルの表面)、容器(例えば、ボックス)等であってよい。目標対象は1つ又は複数の物体であってよく、一般の場合に、目標対象は各種形状のシート状物体、例えば、ゲームコインである。図2にテーブルゲームの場合のテーブル表面の一部の模式図を示し、前記テーブルには複数の目標領域を含み、ここで、各閉鎖領域がそれぞれ1つの目標領域を表す。この場合の目標対象は前記テーブル上のゲームコインである。
【0052】
各目標対象は前記目標領域内で積み重ねられてよく、積み重ね方式は目標対象を垂直方向に積み重ねる第1積み重ね方式及び目標対象を水平方向に積み重ねる第2積み重ね方式を含んで良い。第1積み重ね方式は図3Aに示され、第2積み重ね方式は図3Bに示される。図3A図3Bに示す実施例では、各目標対象の形状が円柱形であり、各目標対象は相互に平行であり且つ大きさが同様である2つの底面とこれら2つの底面を連結する曲面を含む。第1積み重ね方式において、最も下方の目標対象の底面が目標領域に接触し且つ各目標対象の底面の中心の連結線が目標領域、例えばテーブルの表面に垂直である。第2積み重ね方式において、各目標対象の曲面が目標領域に接触し且つ各目標対象の底面の中心の連結線が目標領域、例えばテーブルの表面と平行する。
【0053】
目標領域付近の画像取得装置(例えば、カメラ又は監視カメラ)によって前記目標対象を含む目標領域の画像を撮影してよい。第1積み重ね方式と第2積み重ね方式で積み重ねられた目標対象を明瞭に画像に表示するために、目標領域の側面に設置された画像取得装置によって、第1積み重ね方式で積み重ねられた目標対象を含む第1画像を撮影し、且つ目標領域の上部に設置された画像取得装置によって、第2積み重ね方式で積み重ねられた目標対象を含む第2画像を撮影するようにしてよい。更に、目標領域全体の画像を完全に取得するために、目標領域の両側にそれぞれ少なくとも1つの画像取得装置を設置してもよい。図2に示す複数の目標領域については、テーブル表面全体の左右両側にそれぞれ1つの画像取得装置を設置して、左側画像取得装置によってテーブル表面の左半分(例えば、点線B左側)の目標領域を撮影し、右側画像取得装置によってテーブル表面の右半分(例えば、点線A右側)の目標領域を撮影するようにしてよい。
【0054】
ステップS102については、先に各目標領域の画素座標範囲及び目標対象の画素座標範囲によって各目標対象の所属する目標領域を決定してよい。前記目標対象の画素座標範囲はある目標領域の画素座標範囲に入る場合、前記目標対象がこの目標領域に属すると判定する。各目標対象の所属する目標領域が決定された後、前記目標領域における目標対象の画像認識結果を取得する。画像認識結果はこの目標領域における目標対象の数量、位置及びカテゴリーを含む。
【0055】
いくつかの実施例では、ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力してよい。前記ニューラルネットワークはこの目標領域における目標対象の位置、カテゴリー及び数量を予測可能である。いくつかの実施例では、前記目標領域は複数のサブ領域を含み、前記ニューラルネットワークの出力する目標対象の位置情報は各目標対象の所在するサブ領域であり、前記ニューラルネットワークの出力するカテゴリー情報は各サブ領域における目標対象のカテゴリーであり、前記ニューラルネットワークの出力する数量情報は各サブ領域における目標対象の数量である。
【0056】
例えば、テーブル上のゲームコインは白色の仕切り(即ち、隔板)によって複数のサブ領域に仕切られてもよく、図4に1つの目標領域における目標対象を複数のサブ領域に分けた模式図を示す。ここで、各灰色方形ブロックがそれぞれ1つの目標対象となり、別々の黒色枠内の目標対象が別々のサブ領域に属するものである。前記ニューラルネットワークは各サブ領域の検出枠(bounding box)、即ち図4に示す黒色枠を取得してから、各サブ領域における目標対象のカテゴリー予測結果及び各サブ領域における目標対象の数量予測結果を出力することができる。
【0057】
ここで、前記カテゴリー予測結果は前記サブ領域における目標対象の所属するカテゴリーの信頼度を含み、一般的には信頼度が最も高い3つのカテゴリー予測結果を出力してよい。例えば、前記目標対象がカテゴリー1に属する信頼度が0.5、カテゴリー2に属する信頼度が0.3、カテゴリー3に属する信頼度が0.1、……の場合に、前記ニューラルネットワークは{カテゴリー1:0.5;カテゴリー2:0.3;カテゴリー3:0.1}といったカテゴリー予測結果を出力可能である。数量予測結果は前記サブ領域の長さで表してもよい。各目標対象の占める画素高さがN個の画素値であり、前記サブ領域の画素高さがM個の画素値である場合、前記サブ領域における目標対象の数量がM/Nである。
【0058】
ステップS103については、前記目標領域に設置された無線周波数検出アンテナによって前記目標領域における前記目標対象を認識して、前記目標領域における前記目標対象の無線周波数認識結果を取得してもよい。
【0059】
前記無線周波数検出アンテナの前記目標領域での取り付け位置は、前記目標領域における前記目標対象を認識できる位置であればよく、本開示では限定されない。テーブルゲームの応用シーンで、前記無線周波数検出アンテナは、前記目標領域のテーブルクロスの下方に配置されてもよく、ゲームコインを収容する容器の底部に配置されてもよい。
【0060】
目標領域が複数である場合、各目標領域にそれぞれ無線周波数検出アンテナを設置してもよく、1つの目標領域内の無線周波数検出アンテナがこの目標領域における目標対象のみを認識する。各目標領域が互いに妨害することを回避するために、各目標領域間に隔離装置を設置してもよく、それによって、1つの目標領域における無線周波数検出アンテナがこの領域における目標対象しかを検出できない。隔離装置は金属材質の物体、例えば金属片であってよい。前記隔離装置は各目標領域を囲むように配置されてよい。容器の底部に配置された無線周波数検出アンテナの場合、この容器を囲むように隔離装置を配置してもよい。
【0061】
前記無線周波数検出アンテナと組み合わせて使用される無線周波数認識タグを各目標対象に事前に設置してもよく、この無線周波数認識タグは目標対象に内蔵してもよいし、目標対象の表面に貼り付けてもよい。前記無線周波数検出アンテナが読み取った無線周波数認識タグのタグ情報を取得し、且つ前記タグ情報によって前記目標領域における前記目標対象の無線周波数認識結果を取得してもよい。前記無線周波数認識結果には各目標領域における目標対象のカテゴリーと数量を含んでよい。
【0062】
画像に基づいて目標対象を認識することは、目標対象の位置と数量を正確に認識できるが、場所の光線等の要因の影響で、目標対象のカテゴリーの検出において誤検出が発生することがある。無線周波技術に基づいて目標対象を認識することは、目標対象のカテゴリーを正確に認識できるが、電磁波妨害、素子損傷等の要因の影響で、目標対象の数量の検出において誤検出が発生することがあり、そして、無線周波数認識結果によって目標対象の目標領域での位置を決定できない。
【0063】
従って、ステップS104において、画像認識結果によって目標対象の位置と数量を認識し、無線周波数認識結果によって画像認識結果で取得されたカテゴリーを検証して、正確なカテゴリー情報を取得してもよい。ここで、サブ領域における目標対象のカテゴリーは無線周波数認識結果によって決定されてよく、サブ領域における目標対象の数量は画像認識結果によって決定されてよい。
【0064】
いくつかの実施例では、前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各サブ領域における目標対象の数量を含み、前記無線周波数認識結果と前記画像認識結果によって目標対象の前記目標領域での分布を決定するステップは、前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。Nが1以上の整数である。
【0065】
ここで、候補カテゴリーとしては、一般的には信頼度が最も大きい3種のカテゴリーを採用してよい。画像認識結果は、目標領域に3つのサブ領域が含まれ、サブ領域iにKi個の目標対象を含み(i=1、2又は3、K1>K2>K3、Kiが1以上の整数)、各サブ領域がいずれも、top1候補カテゴリーと称される信頼度が最も大きい候補カテゴリー、top2候補カテゴリーと称される信頼度が2番目に大きい候補カテゴリー、top3候補カテゴリーと称される信頼度が3番目に大きい候補カテゴリーといった3つの候補カテゴリーに対応するものと仮定する。まず、サブ領域1、サブ領域2及びサブ領域3における目標対象のtop1候補カテゴリーを順に無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、更にサブ領域1、サブ領域2及びサブ領域3における目標対象のtop2候補カテゴリーを順に無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、最後にサブ領域1、サブ領域2及びサブ領域3における目標対象のtop3候補カテゴリーを順に無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、上記マッチング結果からサブ領域1、サブ領域2及びサブ領域3における目標対象のカテゴリーと数量を取得してよい。
【0066】
具体的には、第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、前記無線周波数認識結果中のカテゴリーには第mサブ領域における目標対象の第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きい場合に、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定し、前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得してもよい。
【0067】
ここで、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものである。
【0068】
以上の例に基づいて説明を継続する。無線周波数認識結果は前記目標領域にカテゴリーC1に属する目標対象J1個、カテゴリーC2に属する目標対象J2個及びカテゴリーC3に属する目標対象J3個を含むものと仮定する。J1、J2及びJ3が1以上の整数である。前記画像認識結果中の各サブ領域における目標対象の数量及びその異なる信頼度の候補カテゴリーを、前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングする時に、一回目のマッチングの時に、第1サブ領域における目標対象の第1候補カテゴリー(C11と表記する)と第1サブ領域における目標対象の数量(K1と表記する)を、前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングする。前記C1、C2及びC3の中で、C11と同じカテゴリーがあり(C1がC11と同じであるものと仮定する)、且つ無線周波数認識結果中のC11と同じカテゴリーの目標対象の数量が0より大きい場合に、第1サブ領域中の目標対象のカテゴリーがC11であり、第1サブ領域における目標対象の数量がK1であると決定する。次に、前記無線周波数認識結果中のカテゴリーC1に対応する数量J1から目標対象の数量K1個を差し引いて、J1-K1個のC1カテゴリーに属する目標対象、J2個のC2カテゴリーに属する目標対象及びJ3個のC3カテゴリーに属する目標対象といった一回目の調整後の無線周波数認識結果を得る。
【0069】
二回目のマッチングの時に、第2サブ領域における目標対象の第1候補カテゴリー(C21と表記する)と第2サブ領域における目標対象の数量(K2と表記する)を、前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングする。前記C1、C2及びC3の中で、C21と同じカテゴリーがあり(C2がC21と同じであると仮定する)、且つ無線周波数認識結果中のC21と同じカテゴリーの目標対象の数量が0より大きい場合に、第2サブ領域中の目標対象のカテゴリーがC21であり、第2サブ領域における目標対象の数量がK2であると決定する。次に、前記一回目の調整後の無線周波数認識結果中のカテゴリーC2に対応する数量J2から目標対象の数量K2個を差し引いて、J1-K1個のC1カテゴリーに属する目標対象、J2-K2個のC2カテゴリーに属する目標対象及びJ3個のC3カテゴリーに属する目標対象といった二回目の調整後の無線周波数認識結果を得る。
【0070】
最後に、三回目のマッチングの時に、第3サブ領域における目標対象の第1候補カテゴリー(C31と表記する)と第3サブ領域における目標対象の数量(K3と表記する)を、前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングする。前記C1、C2及びC3の中で、C31と同じカテゴリーがあり(C3がC31と同じであると仮定する)、且つ無線周波数認識結果中のC31と同じカテゴリーの目標対象の数量が0より大きい場合に、第3サブ領域における目標対象のカテゴリーがC31であり、第3サブ領域における目標対象の数量がK3であると決定する。次に、前記二回目の調整後の無線周波数認識結果中のカテゴリーC3に対応する数量J3から目標対象の数量K3個を差し引いて、J1-K1個のC1カテゴリーに属する目標対象、J2-K2個のC2カテゴリーに属する目標対象及びJ3-K3個のC3カテゴリーに属する目標対象といった三回目の調整後の無線周波数認識結果を得る。
【0071】
理想的なマッチングの場合、画像認識結果中の各カテゴリーは、無線周波数認識結果のいずれにおいても、対応するカテゴリーのマッチングに成功する(無線周波数認識結果中の各カテゴリーの目標対象の数量が0であるか否かを問わず、画像認識結果中の各サブ領域の目標対象のカテゴリーと数量が決定できればマッチングが成功したと考えられる)。しかしながら、画像認識結果には誤って認識したカテゴリーが存在する可能性があるので、画像認識結果中のある候補カテゴリーは無線周波数認識結果に存在しないことがある。
【0072】
いくつかの実施例では、前記無線周波数認識結果中のカテゴリーが第mサブ領域における目標対象の第k候補カテゴリーを含まない場合に、又は前記無線周波数認識結果中のカテゴリーが第mサブ領域における目標対象の第k候補カテゴリーを含むが、前記無線周波数認識結果中の第mサブ領域における目標対象の第k候補カテゴリーと同じカテゴリーの目標対象の数量が0より大きくない場合に、マッチングが失敗したと決定し、第mサブ領域をマッチング待ちのサブ領域とする。
【0073】
例えば、上記実施例では、第3サブ領域における目標対象の候補カテゴリーと数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングする時に、前記無線周波数認識結果中のカテゴリーC1、C2及びC3のいずれにも画像認識結果中のC31を含まない場合に、又は無線周波数認識結果にC31と同じカテゴリーを含むが、無線周波数認識結果中のC31と同じカテゴリーに対応する数量が0より大きくない(例えば、画像認識結果中の第3サブ領域の候補カテゴリーC31が無線周波数認識結果中のカテゴリーC1と同じであるが、第1サブ領域に対して一回のマッチングの後、一回目の調整後の無線周波数認識結果中のC1カテゴリーに属する目標対象の数量が0に調整された)場合に、今回の第3サブ領域のマッチングが失敗したとし、第3サブ領域をマッチング待ちのサブ領域としてよい。
【0074】
実際に応用するに際して、各サブ領域における目標対象の候補カテゴリーはいずれも上記カテゴリーC31と同様にマッチングが失敗することが可能である。他のサブ領域における目標対象の候補カテゴリーはマッチングが失敗した時に、以上と同様にこのサブ領域をマッチング待ちのサブ領域とし、簡略化するために、ここで詳細な説明を省略する。
【0075】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された場合に、前記方法は、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないと決定し、且つ1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定した場合に、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含む。
【0076】
少なくとも一回のマッチングの後マッチング待ちのサブ領域が存在し(再度サブ領域3にする)、無線周波数認識結果中のカテゴリーC1、C2及びC3に対応する目標対象の数量がいずれも0より大きくなく、且つサブ領域3における目標対象のtop2候補カテゴリーC32とtop3候補カテゴリーC33が共に前記無線周波数認識結果のカテゴリーに現れる(例えば、C2がC32と同じであり、C3がC33と同じである)場合に、サブ領域3における目標対象のtop2候補カテゴリーをサブ領域3における目標対象のカテゴリーとし、且つK3をサブ領域3における目標対象の数量とする。
【0077】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された場合に、前記方法は、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないと決定し、且つ1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れていないと決定した場合に、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含む。
【0078】
少なくとも一回のマッチングの後マッチング待ちのサブ領域が存在し(再度サブ領域3にする)、無線周波数認識結果中のカテゴリーC1、C2及びC3に対応する目標対象の数量がいずれも0より大きくなく、且つサブ領域3における目標対象のtop1候補カテゴリーC31、top2候補カテゴリーC32及びtop3候補カテゴリーC33が前記無線周波数認識結果のカテゴリーに現れないた場合に、サブ領域3における目標対象のtop1候補カテゴリーをサブ領域3における目標対象のカテゴリーとし、且つK3をサブ領域3における目標対象の数量とする。
【0079】
いくつかの実施例では、少なくとも1つのマッチング待ちのサブ領域が存在すると決定された場合に、前記方法は、前記無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在すると決定した場合に、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするステップと、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を更に含む。
【0080】
少なくとも一回のマッチングの後マッチング待ちのサブ領域が存在し(サブ領域2とサブ領域3にする)、無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在し(C2とC3にする)、且つC2の目標対象の数量J2がC3の目標対象の数量J3より大きい場合に、サブ領域2における目標対象の数量K2がサブ領域3における目標対象の数量K3より大きいので、C2をサブ領域2における目標対象のカテゴリーとし、且つK2をサブ領域2における目標対象の数量とする。次に、無線周波数認識結果中のカテゴリーC2の目標対象の数量J2からK2を差し引いて、カテゴリーC2の目標対象の数量がJ2-K2であり、カテゴリーC3の目標対象の数量がJ3であるといった調整後の無線周波数認識結果を得る。
【0081】
以上から分かるように、本開示の実施例の認識過程は以下の状況を含んでよい。
ステップ1:画像認識結果中の各サブ領域における目標対象の数量の降順に、まず各サブ領域のtop1候補カテゴリーをトラバースし、次に各サブ領域のtop2候補カテゴリーをトラバースし、最後に各サブ領域のtop3候補カテゴリーをトラバースする。分類されるサブ領域に対応する候補カテゴリーの無線周波数認識結果での残りの目標対象の数量が0より大きい場合に、このサブ領域に対応するカテゴリーがこの候補カテゴリーであると考えられ、このサブ領域を分類待ちの隊列から除去し(このサブ領域の他の候補カテゴリーについての判断を直接省略する)、また、無線周波数認識結果中のこの候補カテゴリーと同じカテゴリーの残りの目標対象の数量からこのサブ領域の目標対象数量を差し引く。
【0082】
ステップ1が終了した後4種の状況がある。
A)無線周波数認識結果中の各カテゴリーの残りの目標対象数量が0となり、目標領域の各サブ領域には分類結果があり、即ち各サブ領域における目標対象のカテゴリーと数量が全て決定された。この場合に、認識過程を終了する。
B)無線周波数認識結果中の各カテゴリーの残りの目標対象数量が0となり、且つ分類結果を取得できなかったマッチング待ちのサブ領域が存在する。各マッチング待ちのサブ領域については、無線周波数認識結果中のカテゴリーにtop1~topN候補カテゴリーのうちの1つ又は複数の候補カテゴリーを含む場合に、この1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、無線周波数認識結果にN種の候補カテゴリーのうちのいずれか1つの候補カテゴリーも含まない場合に、top1候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とする。各マッチング待ちのサブ領域における目標対象のカテゴリーと数量が全て決定された後、認識過程を終了する。
C)無線周波数認識結果中の1つ又は複数のカテゴリーの残りの目標対象数量が0でないが、各サブ領域に分類結果があった場合に、認識過程を終了する。
D)無線周波数認識結果中の1つ又は複数のカテゴリーの残りの目標対象数量が0でなく、且つ分類結果を取得できなかったマッチング待ちのサブ領域が少なくとも1つ存在する。ステップ1から分かるように、無線周波数認識結果中のこの1つ又は複数のカテゴリーがマッチング待ちのサブ領域のN種の候補カテゴリーと異なる。無線周波数認識結果中のこの1つ又は複数のカテゴリーのうち、残りの目標対象数量が最も大きいカテゴリーを目標対象数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、この目標対象数量の最も大きいマッチング待ちのサブ領域を分類待ちの隊列から除去し、無線周波数認識結果中の残りの目標対象数量の最も大きいカテゴリーの残りの目標対象数量からこの目標対象数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引き、調整後の無線周波数認識結果を取得する。上記ステップを順に実行し、実行後の状況に応じて以上のA、B、Cといった3種の状態に移行して判断する。
【0083】
以下、1つの実施例によって本開示の技術的解決手段を説明する。
【0084】
目標領域にサブ領域1、サブ領域2及びサブ領域3を含むと仮定し、ここで、画像認識結果は以下のとおりである。
(1)サブ領域1:合計13個の目標対象があり、信頼度が最も大きい3つの候補カテゴリーが降順にカテゴリー5、カテゴリー10及びカテゴリー20である。
(2)サブ領域2:合計11個の目標対象があり、信頼度が最も大きい3つの候補カテゴリーが降順にカテゴリー5、カテゴリー10及びカテゴリー20である。
(3)サブ領域3:合計4個の目標対象があり、信頼度が最も大きい3つの候補カテゴリーが降順にカテゴリー20、カテゴリー5及びカテゴリー10である。
無線周波数認識結果は以下のとおりである。
(1)カテゴリー5:目標対象の数量が13である。(2)カテゴリー10:目標対象の数量が10である。(3)カテゴリー50:目標対象の数量が4である。
【0085】
無線周波数認識結果に基づいて、無線周波数認識結果中の各カテゴリー及びそれらに対応する目標対象の数量を記録する統計表を作成してよい。画像認識結果中の各サブ領域における目標対象の数量を順に並べた後、まずサブ領域1のtop1候補カテゴリーのマッチングを実行し、サブ領域1においては、top1候補カテゴリーがカテゴリー5であり、統計表にカテゴリー5が存在するので、サブ領域1における目標対象のカテゴリーをカテゴリー5と表記する。画像認識結果によれば、サブ領域1における目標対象の数量が13である。統計表におけるカテゴリー5の目標対象の数量から13を差し引き、0になった。次に、サブ領域2のtop1候補カテゴリー(即ち、カテゴリー5)のマッチングを実行する時に、統計表におけるカテゴリー5の目標対象の数量が0であり、マッチングが失敗した。次に、サブ領域3のtop1候補カテゴリー(即ち、カテゴリー20)のマッチングの時に、統計表にカテゴリー20が存在しなく、マッチングが失敗した。
【0086】
次にサブ領域2のtop2候補カテゴリーのマッチングを実行し、サブ領域2においては、top2候補カテゴリーがカテゴリー10であり、統計表にカテゴリー10が存在するので、サブ領域2における目標対象のカテゴリーをカテゴリー10と表記する。画像認識結果によれば、サブ領域2における目標対象の数量が11である。統計表におけるカテゴリー10の目標対象の数量から11を差し引き、-1を得たが、0にする。次に、サブ領域3のtop2候補カテゴリー(即ち、カテゴリー5)のマッチングの時に、統計表におけるカテゴリー5の目標対象の数量が0であり、マッチングが失敗した。
【0087】
最後にサブ領域3のtop3候補カテゴリーのマッチングを実行し、サブ領域3のtop3候補カテゴリー(即ち、カテゴリー10)が統計表に存在しない。この時に統計表におけるカテゴリー50の目標対象の数量が4であり、0より大きく、サブ領域3のカテゴリーをカテゴリー50と表記する。画像認識結果によれば、サブ領域3における目標対象の数量が4である。統計表におけるカテゴリー50の目標対象の数量から4を差し引き、0を得た。
【0088】
最後の出力結果は目標領域の各サブ領域における目標対象のカテゴリーと数量を含み、シーン再現に用いられる。複数の目標領域がある場合に、各目標領域に対してそれぞれ上記方法で本領域内の目標対象を認識する。
【0089】
本開示の実施例は以下のメリットを有する。
(1)本開示の実施例は、画像認識方式による物体位置情報と数量情報の認識精度が高い特徴、及び無線周波数認識方式による物体カテゴリーの認識精度が高い特徴を集め、2種の認識結果を融合したので、単一のセンサによる手段に比べてより多い情報を取得でき、結果がより正確になり、目標領域内の目標対象の分布を真実に再現できる。
(2)処理論理が簡単であり、安定性が高く、リアルタイム処理システムに適合する。
(3)本開示の実施例は各種シート状物体の認識手段に適合し、適用範囲が広い。
【0090】
本開示の実施例は、知能化賭博の用途に利用可能であり、この用途では、目標対象はチップ(chip/counter)であり、各額面のチップはそれぞれ1種のカテゴリーに対応し、目標領域は、賭け領域(一般に第1積み重ね方式で積み重ねられるチップを置くために用いられる)及び第2積み重ね方式で積み重ねられるチップを収容する領域(floating chip領域と称する)を含む賭博用テーブル領域である。floating chip領域において、1つのサブ領域は2枚の白色の仕切りの間の領域であってよい。賭け領域において、1つのサブ領域は1枚のチップの検出枠に対応する領域であってよい。本開示の実施例によって、各サブ領域におけるチップのカテゴリーと数量を認識できる。
【0091】
具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが当業者に理解される。
【0092】
図5に示すように、本開示は、更に、目標対象の認識装置を提供し、
前記認識装置は、
目標領域の画像を取得するための第1取得モジュール501と、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するための第1決定モジュール502と、
前記目標領域における前記目標対象の無線周波数認識結果を取得するための第2取得モジュール503と、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するための第2決定モジュール504と、を含む。
【0093】
いくつかの実施例では、前記第1取得モジュールは、ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するために用いられる。
【0094】
いくつかの実施例では、前記第2取得モジュールは、前記目標領域内に配置された無線周波数検出アンテナによる前記目標領域における目標対象の無線周波数認識結果を取得するために用いられる。
【0095】
いくつかの実施例では、前記無線周波数認識結果は、前記無線周波数検出アンテナによって各目標対象に設置された無線周波数認識タグを読み取ることによって取得されるものである。
【0096】
いくつかの実施例では、前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記第2決定モジュールは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、
各サブ領域における目標対象のカテゴリーと数量を取得するステップとに用いられる。
【0097】
いくつかの実施例では、前記第2決定モジュールは、マッチングユニットと、決定ユニットと、調整ユニットとを含み、
前記マッチングユニットは、第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングするためのものであって、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるために用いられ、
前記決定ユニットは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するために用いられ、
前記調整ユニットは、前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
【0098】
いくつかの実施例では、前記装置は、第3決定モジュールと、第4決定モジュールと、を更に含み、
前記第3決定モジュールは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないか、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するために用いられ、
前記第4決定モジュールは、第mサブ領域をマッチング待ちのサブ領域とするために用いられる。
【0099】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された場合に、前記装置は、第5決定モジュールを更に含み、
前記第5決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0100】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された場合に、前記装置は、第6決定モジュールを更に含み、
前記第6決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0101】
いくつかの実施例では、少なくとも1つのマッチング待ちのサブ領域が存在すると決定された場合に、前記装置は、第7決定モジュールと、調整モジュールと、を更に含み、
前記第7決定モジュールは、前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするために用いられ、
前記調整モジュールは、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
【0102】
いくつかの実施例では、前記画像は前記目標対象の俯瞰画像又は側面画像である。
【0103】
いくつかの実施例では、前記俯瞰画像は前記目標領域上部画像取得デバイスによって取得され、前記側面画像は前記目標領域側面画像取得デバイスによって取得される。
【0104】
いくつかの実施例では、本開示の実施例で提供された装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。
【0105】
上述した装置の実施例は例示的なものに過ぎなく、ここで、前記の分離部材として説明したモジュールは物理的に分離されたものであってもなくてもよく、モジュール表示の部材としては物理モジュールであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークモジュールに分布してもよい。実際の必要に応じてその一部又は全てのモジュールを選択して本明細書の解決手段の目的を実現できる。当業者であれば、創造的な労力を要することなく、それを理解して実施することができる。
【0106】
図6に示すように、本開示の実施例は、更に、目標対象の認識システムを提供し、
前記目標対象の認識システムは、
目標領域の画像を取得するための画像取得装置601と、
前記目標領域における目標対象の無線周波数認識結果を取得するための無線周波数検出装置602と、
前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するためのプロセッサ603と、を含む。
【0107】
いくつかの実施例では、前記無線周波数検出装置は、
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含む。
【0108】
いくつかの実施例では、前記無線周波数認識タグが前記目標対象に内蔵されるか、又は前記目標対象表面に貼り付けられる。
【0109】
いくつかの実施例では、前記目標領域の数量が複数であり、
前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられる。
【0110】
いくつかの実施例では、前記隔離装置は金属材質を採用する。
【0111】
いくつかの実施例では、前記画像取得装置は、前記目標領域の上部に設置される第1画像取得装置及び/又は前記目標領域の側面に設置される第2画像取得装置を含む。
【0112】
いくつかの実施例では、前記プロセッサを用いて前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップは、
ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するステップを含む。
【0113】
いくつかの実施例では、前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって各目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。
【0114】
いくつかの実施例では、前記プロセッサを用いて前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングするステップであって、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含む。
【0115】
いくつかの実施例では、前記プロセッサは、更に、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするステップとに用いられる。
【0116】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された場合に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、又は1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定した、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0117】
いくつかの実施例では、マッチング待ちのサブ領域が存在すると決定された場合に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
【0118】
いくつかの実施例では、少なくとも1つのマッチング待ちのサブ領域が存在すると決定された場合に、前記プロセッサは、更に、
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
【0119】
上記プロセッサによって実行される他の方法の実施例は本開示の明細書における方法の実施例と同様であり、ここで詳細な説明を省略する。
【0120】
本開示の装置の実施例は、例えばサーバ又は端末機器のようなコンピュータ機器に用いることができる。装置の実施例はソフトウェアで実現してもよく、ハードウェア又はハードウェアとソフトウェアの組み合わせの形で実現してもよい。ソフトウェアで実現することを例にすると、論理的な意味での装置として、それはプロセッサによって不揮発的メモリ内の対応するコンピュータプログラム命令を内部メモリに読み込んで実行するように形成される。ハードウェアの面から言えば、図7の本明細書の装置が存在するコンピュータ機器のハードウェア構成図に示すように、図7のプロセッサ701、内部メモリ702、ネットワークインタフェース703、および非揮発性メモリ704に加えて、実施例における装置が存在するサーバ又は電子機器は、該コンピュータ機器の実際の機能に応じて、他のハードウェアをさらに含んでもよく、簡潔化のために、ここでは説明を省略する。
【0121】
それに対応するように、本開示の実施例は、更に、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体において、このコンピュータプログラムがプロセッサにより実行される時にいずれか1つの実施例に記載の方法を実現するコンピュータ可読記憶媒体を提供する。
【0122】
それに対応するように、本開示の実施例は、更に、メモリと、プロセッサと、メモリに記憶される、プロセッサ上で作動可能なコンピュータプログラムと、を含むコンピュータデバイスであって、前記プロセッサが前記コンピュータプログラムを実行する時にいずれか1つの実施例に記載の方法を実現するコンピュータデバイスを提供する。
【0123】
本開示はプログラムコードが含まれている一つ以上の記憶媒体(磁気ディスクメモリ、CD-ROM、光学メモリなどを含むが、これらに限定されない)において実施されるコンピュータプログラム製品の形を採用してもよい。コンピュータ利用可能記憶媒体は永続的および非永続的、移動可能および移動不能な媒体を含み、任意の方法又は技術によって、コンピュータ可読命令、データ構造、プログラムのモジュール又は他のデータであり得る情報の記憶を実現可能である。コンピュータの記憶媒体の例として、相変化メモリ(PRAM)、静的ランダムアクセスメモリ(SRAM)、動的ランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリ又は他の内部メモリ技術、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)又は他の光学メモリ、磁気カートリッジ型磁気テープ、磁気テープ磁気ディスクメモリ又は他の磁気記憶デバイス又は任意の他の非伝送媒体を含むが、これらに限定されず、それらはコンピュータ機器がアクセス可能な情報を記憶するために用いることができる。
【0124】
本開示の他の実施形態は、本明細書の考察と本明細書での本開示の実施により、当業者には自明であろう。本開示は本開示のあらゆる変形、用途又は適応的な変化を包含することを意図し、これらの変形、用途又は適応的な変化は、本開示の一般原理に従い本開示に掲示されていない当技術分野での技術常識又は慣用される技術手段を含む。明細書および実施例は単に例示的なものとみなされ、本開示の真の範囲および趣旨は以下の請求項によって示される。
【0125】
本開示は以上で説明され且つ図面に示された精確な構造に限定されるものでなく、その範囲を逸脱しない限り様々な修正や変更を加えることができるのを理解すべきである。本開示の範囲は添付される請求項のみに限定される。
【0126】
上述したのは本開示の好ましい実施例に過ぎなく、本開示を限定するものでなく、本開示の主旨や原則を逸脱しない限り、行われた修正、等価な取り換え、改良等は全て本開示の保護範囲に含まれる。
【0127】
以上の各実施例についての説明は各実施例の相違点を重点として強調する傾向があり、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで繰り返して説明しない。
図1
図2
図3A
図3B
図4
図5
図6
図7
【手続補正書】
【提出日】2020-08-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
目標対象の認識方法であって、
当該方法は、
目標領域の画像を取得するステップと、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップと、
前記目標領域における前記目標対象の無線周波数認識結果を取得するステップと、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップと、を含むことを特徴とする方法。
【請求項2】
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含むことを特徴とする請求項1に記載の方法。
【請求項3】
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含むことを特徴とする請求項2に記載の方法。
【請求項4】
前記方法は、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するステップと、
第mサブ領域をマッチング待ちのサブ領域とするステップと、を更に含むことを特徴とする請求項3に記載の方法。
【請求項5】
マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定するステップ、
前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとするステップ、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含むことを特徴とする請求項4に記載の方法。
【請求項6】
マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れていないと決定し、
信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含むことを特徴とする請求項4に記載の方法。
【請求項7】
マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在することに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするステップと、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を更に含むことを特徴とする請求項4に記載の方法。
【請求項8】
目標対象の認識装置であって、
当該装置は、第1取得モジュールと、第1決定モジュールと、前記第2取得モジュールと、第2決定モジュールと、を含み、
前記第1取得モジュールは、目標領域の画像を取得するために用いられ、
前記第1決定モジュールは、前記画像によって前記目標領域における目標対象の画像認識結果を決定するために用いられ、
前記第2取得モジュールは、前記目標領域における前記目標対象の無線周波数認識結果を取得するために用いられ、
前記第2決定モジュールは、前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられることを特徴とする装置。
【請求項9】
前記装置は、画像取得装置と、無線周波数検出装置と、プロセッサと、を含み、
前記画像取得装置は、目標領域の画像を取得するために用いられ、
前記無線周波数検出装置は、前記目標領域における目標対象の無線周波数認識結果を取得するために用いられ、
前記プロセッサは、前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられることを特徴とするシステム。
【請求項10】
前記無線周波数検出装置は、
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含むことを特徴とする請求項9に記載のシステム。
【請求項11】
前記無線周波数認識タグが前記目標対象に内蔵されるか、又は前記目標対象表面に貼り付けられることを特徴とする請求項10に記載のシステム。
【請求項12】
前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み、
前記目標領域の数量は、複数であり、
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられることを特徴とする請求項9に記載のシステム。
【請求項13】
前記画像取得装置は、前記目標領域の上部に設置される第1画像取得装置及び/又は前記目標領域の側面に設置される第2画像取得装置を含むことを特徴とする請求項12に記載のシステム。
【請求項14】
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含むことを特徴とする請求項9に記載のシステム。
【請求項15】
前記プロセッサを用いて前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含むことを特徴とする請求項14に記載のシステム。
【請求項16】
前記プロセッサは、更に、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするために用いられることを特徴とする請求項15に記載のシステム。
【請求項17】
マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項16に記載のシステム。
【請求項18】
マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、
信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項16に記載のシステム。
【請求項19】
マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられることを特徴とする請求項16に記載のシステム。
【請求項20】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項1から7のいずれか一項に記載の方法を実現することを特徴とする記憶媒体。
【請求項21】
メモリと、プロセッサと、メモリに記憶される、プロセッサ上で作動可能なコンピュータプログラムと、を含むコンピュータデバイスであって、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項1から7のいずれか一項に記載の方法を実現することを特徴とするコンピュータデバイス。
【国際調査報告】