▶ センスタイム インターナショナル プライベート リミテッドの特許一覧
特表2022-518982画像認識方法および装置、ならびにコンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-18
(54)【発明の名称】画像認識方法および装置、ならびにコンピュータ可読記憶媒体
(51)【国際特許分類】
G06T 7/55 20170101AFI20220311BHJP
【ＦＩ】
G06T7/55
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2020540766
(86)(22)【出願日】2020-04-17
(85)【翻訳文提出日】2020-07-22
(86)【国際出願番号】 IB2020053639
(87)【国際公開番号】W WO2021136980
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】10201913955V
(32)【優先日】2019-12-31
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】520132724
【氏名又は名称】センスタイム インターナショナル プライベート リミテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ウー， ジンイー
(72)【発明者】
【氏名】ジャオ， ハイユー
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096CA04
5L096DA02
5L096HA02
5L096JA03
5L096JA11
(57)【要約】
本開示は画像認識方法および装置、ならびにコンピュータ可読記憶媒体を提供する。前記画像認識方法は、検出領域の少なくとも１群の目標オブジェクトの状態変化に基づき、変化オブジェクトを決定するステップと、検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するステップと、少なくとも１つのマッチング対象画像フレームから、関連画像フレームを決定するステップと、側面視画像フレーム集合から、関連画像フレームに対応する側面視画像フレームを取得するステップと、関連画像フレームおよび側面視画像フレームに基づき、少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するステップと、を含む。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するステップと、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するステップであって、前記少なくとも１つのマッチング対象画像フレームは、前記検出領域上方に位置する画像収集機器により前記検出領域の少なくとも１つの画像を収集して取得され、前記側面視画像フレームは、前記検出領域側面に位置する画像収集機器により前記検出領域の画像を収集して取得されるステップと、
前記少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するステップと、
前記側面視画像フレーム集合から、前記関連画像フレームに対応する側面視画像フレームを取得するステップであって、前記関連画像フレームに対応する側面視画像フレームは、前記変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含むステップと、
前記関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから、前記変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するステップと、を含むことを特徴とする、画像認識方法。
【請求項2】
前記関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから、前記変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定する前記ステップの後に、さらに、前記関連画像フレームに対応する前記側面視画像フレームから、前記変化オブジェクトの側面画像を取得するステップと、
前記変化オブジェクトの側面画像に基づき、前記変化オブジェクトのオブジェクト値を取得するステップであって、前記オブジェクト値は、前記変化オブジェクトを構成する少なくとも１つの変化サブオブジェクトの値の総和であり、前記変化オブジェクトの側面画像は、異なる値を特徴付ける前記少なくとも１つの変化サブオブジェクトの各々の側面画像を含むステップと、
前記目標干渉オブジェクトと前記オブジェクト値とを関連付けるステップと、を含むことを特徴とする、請求項１に記載の方法。
【請求項3】
前記少なくとも１つのマッチング対象画像フレームから、関連画像フレームを決定する前記ステップは、前記少なくとも１つのマッチング対象画像フレームのうちの各マッチング対象画像フレームから、前記少なくとも１つの干渉オブジェクトが１つのマッチング対象画像フレームにおいて現れる部位である少なくとも１つの干渉部位を認識するステップと、
前記変化オブジェクトと認識された少なくとも１つの干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得るステップと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから、関連度が最も高い組み合わせを決定するステップであって、前記関連度が最も高い組み合わせのうちの干渉部位は目標干渉部位であるステップと、
前記関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、前記関連画像フレームとするステップと、を含むことを特徴とする、請求項１または２に記載の方法。
【請求項4】
前記関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから前記変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定する前記ステップは、前記関連画像フレームと前記関連画像フレームに対応する前記側面視画像フレームとの画像融合を行い、前記目標干渉部位の側面視画像を得るステップであって、前記目標干渉部位の側面視画像は、前記関連画像フレームに対応する前記側面視画像フレームにおける前記目標干渉部位の画像であるステップと、
少なくとも１つの干渉オブジェクトの側面視画像を含む前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記目標干渉部位の側面視画像に関連する目標干渉オブジェクトの側面視画像を得るステップと、
前記目標干渉オブジェクトの側面視画像に基づき、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係から、前記目標干渉オブジェクトのアイデンティティ情報を決定するステップと、を含むことを特徴とする、請求項３に記載の方法。
【請求項5】
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定する前記ステップは、前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせのうちの各組み合わせの変化オブジェクトから干渉部位までの距離を取得するステップと、
前記距離のうちの最小距離を決定するステップと、
前記最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、前記関連度が最も高い組み合わせとするステップと、を含むことを特徴とする、請求項３に記載の方法。
【請求項6】
前記距離のうちの最小距離を決定する前記ステップは、前記距離を反比例計算し、前記距離のうちの各距離の計算結果を得るステップと、
前記計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を前記最小距離と決定するステップと、を含むことを特徴とする、請求項５に記載の方法。
【請求項7】
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定する前記ステップは、前記認識された少なくとも１つの干渉部位のうちの各干渉部位の実移動軌跡を取得するステップと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから、各組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡を取得するステップであって、１つの組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡は、前記組み合わせのうちの干渉部位と変化オブジェクトとを結んだ軌跡であるステップと、
各実移動軌跡と各模擬移動軌跡との類似度を比較するステップと、
１つの実移動軌跡との類似度が最も高い模擬移動軌跡に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせと決定するステップと、を含むことを特徴とする、請求項３に記載の方法。
【請求項8】
前記認識された少なくとも１つの干渉部位ののうちの各干渉部位の実移動軌跡を取得する前記ステップは、前記目標オブジェクトの状態に変化が発生するトリガ時点を取得するステップと、
前記トリガ時点前の第２所定時間内で収集された少なくとも１つの移動軌跡画像フレームを取得するステップであって、前記少なくとも１つの移動軌跡画像フレームは前記検出領域上方に位置する前記画像収集機器により取得されるステップと、
認識された各干渉部位の、前記少なくとも１つの移動軌跡画像フレームにおける対応する位置情報を取得するステップと、
前記少なくとも１つの移動軌跡画像フレームの時系列に基づき、前記位置情報をベクトル化して連結し、認識された少なくとも１つの干渉部位の実移動軌跡を得るステップと、を含むことを特徴とする、請求項７に記載の方法。
【請求項9】
前記検出領域の少なくとも１群の目標オブジェクトの状態の変化は、前記検出領域上方に位置する前記画像収集機器によって、前記検出領域での新たな１群の目標オブジェクトの出現、または前記検出領域の元の任意の少なくとも１群の目標オブジェクトの消失を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定することを含むことを特徴とする、請求項１に記載の方法。
【請求項10】
前記少なくとも１群の目標オブジェクトは少なくとも１つのサブオブジェクトを積み上げてなるものであり、前記検出領域の少なくとも１群の目標オブジェクトの状態の変化は、前記検出領域側面に位置する前記画像収集機器によって、前記少なくとも１群の目標オブジェクトのいずれか１群に含まれるサブオブジェクトの数または外観の変化を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定することを含むことを特徴とする、請求項１に記載の方法。
【請求項11】
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するための第１決定ユニットと、検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するための第１取得ユニットであって、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の少なくとも１つの画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得される、第１取得ユニットと、
少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するための第２決定ユニットと、
側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い前記干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレームに対応する側面視画像フレームを取得するための第２取得ユニットと、
関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するための第３決定ユニットと、を含むことを特徴とする、画像認識装置。
【請求項12】
前記画像認識装置はさらに、前記関連画像フレームに対応する前記側面視画像フレームから前記変化オブジェクトの側面画像を取得するための第３取得ユニットと、
前記変化オブジェクトの側面画像に基づき、前記変化オブジェクトのオブジェクト値を取得するための第４取得ユニットであって、前記オブジェクト値は前記変化オブジェクトを構成する少なくとも１つの変化サブオブジェクトの値の総和であり、前記変化オブジェクトの側面画像は、異なる値を特徴付ける前記少なくとも１つの変化サブオブジェクトの各々の側面画像を含む、第４取得ユニットと、
前記目標干渉オブジェクトと前記オブジェクト値とを関連付けるための第１関連付けユニットと、を含むことを特徴とする、請求項１１に記載の画像認識装置。
【請求項13】
前記第２決定ユニットは、前記少なくとも１つのマッチング対象画像フレームのうちの各マッチング対象画像フレームから、前記少なくとも１つの干渉オブジェクトが１つのマッチング対象画像フレームにおいて現れる部位である少なくとも１つの干渉部位を認識するための認識ユニットと、
前記変化オブジェクトと認識された少なくとも１つの干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得るための組み合わせユニットと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定するための第１決定サブユニットであって、前記関連度が最も高い組み合わせのうちの干渉部位は目標干渉部位である、第１決定サブユニットと、
前記関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、前記関連画像フレームとするための第２決定サブユニットと、を含むことを特徴とする、請求項１１または１２に記載の画像認識装置。
【請求項14】
前記第３決定ユニットは、前記関連画像フレームと前記関連画像フレームに対応する前記側面視画像フレームとの画像融合を行い、前記目標干渉部位の側面視画像を得るための融合ユニットであって、前記目標干渉部位の側面視画像は、前記関連画像フレームに対応する前記側面視画像フレームにおける前記目標干渉部位の画像である、融合ユニットと、
少なくとも１つの干渉オブジェクトの側面視画像を含む前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記目標干渉部位の側面視画像に関連する目標干渉オブジェクトの側面視画像を得るための第２関連付けユニットと、
前記目標干渉オブジェクトの側面視画像に基づき、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係から、前記目標干渉オブジェクトのアイデンティティ情報を決定するための第３決定サブユニットと、を含むことを特徴とする、請求項１３に記載の画像認識装置。
【請求項15】
前記第１決定サブユニットは、前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせののうちの各組み合わせの変化オブジェクトから干渉部位までの距離を取得するための第５取得ユニットと、
前記距離のうちの最小距離を決定するための第４決定サブユニットと、
前記最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、前記関連度が最も高い組み合わせとするための第５決定サブユニットと、を含むことを特徴とする、請求項１３に記載の画像認識装置。
【請求項16】
第４決定サブユニットは、前記距離を反比例計算し、前記距離のうちの各距離の計算結果を得るステップと、
前記計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を前記最小距離と決定するステップと、を実行するために用いられることを特徴とする、請求項１５に記載の画像認識装置。
【請求項17】
前記第１決定サブユニットは、前記認識された少なくとも１つの干渉部位のうちの各干渉部位の実移動軌跡を取得するための第６取得ユニットと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから、各組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡を取得するための第７取得ユニットであって、１つの組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡は、前記組み合わせのうちの干渉部位と変化オブジェクトとを結んだ軌跡である、第７取得ユニットと、
各実移動軌跡と各模擬移動軌跡との類似度を比較するための比較ユニットと、
１つの実移動軌跡との類似度が最も高い模擬移動軌跡に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせと決定するための第６決定サブユニットと、を含むことを特徴とする、請求項１３に記載の画像認識装置。
【請求項18】
前記第６取得ユニットは、前記目標オブジェクトの状態に変化が発生するトリガ時点を取得するための第８取得ユニットと、
前記トリガ時点前の第２所定時間内で収集された少なくとも１つの移動軌跡画像フレームを取得するための第９取得ユニットであって、前記少なくとも１つの移動軌跡画像フレームは前記検出領域上方に位置する前記画像収集機器により取得される第９取得ユニットと、
認識された各干渉部位の、前記少なくとも１つの移動軌跡画像フレームにおける対応する位置情報を取得するための第１０取得ユニットと、
前記少なくとも１つの移動軌跡画像フレームの時系列に基づき、前記位置情報をベクトル化して連結し、前記認識された少なくとも１つの干渉部位の実移動軌跡を得るための連結ユニットと、を含むことを特徴とする、請求項１７に記載の画像認識装置。
【請求項19】
前記画像認識装置はさらに、前記検出領域上方に位置する前記画像収集機器によって、前記検出領域での新たな１群の目標オブジェクトの出現、または前記検出領域の元の任意の少なくとも１群の目標オブジェクトの消失を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するための第１監視ユニットを含むことを特徴とする、請求項１１に記載の画像認識装置。
【請求項20】
前記少なくとも１群の目標オブジェクトは少なくとも１つのサブオブジェクトを積み上げてなる少なくとも１群の目標オブジェクトであり、前記画像認識装置はさらに、
前記検出領域側面に位置する前記画像収集機器によって、前記少なくとも１群の目標オブジェクトのいずれか１群に含まれるサブオブジェクトの数または外観の変化を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するための第２監視ユニットを含むことを特徴とする、請求項１１に記載の画像認識装置。
【請求項21】
プロセッサ、メモリおよび通信バスを含む画像認識装置であって、前記メモリが前記通信バスを介して前記プロセッサと通信し、前記メモリに前記プロセッサの実行可能な１つ以上のプログラムが記憶され、前記１つ以上のプログラムが実行される時、前記プロセッサが請求項１から１０のいずれか１項に記載の方法を実行することを特徴とする、画像認識装置。
【請求項22】
１つ以上のプログラムが記憶されているコンピュータ可読記憶媒体であって、請求項１から１０のいずれか１項に記載の方法を実行するように、前記１つ以上のプログラムが１つ以上のプロセッサにより実行可能であることを特徴とする、コンピュータ可読記憶媒体。
【請求項23】
コンピュータ実行可能命令を含むコンピュータプログラム製品であって、前記コンピュータ実行可能命令が機器のプロセッサで実行される時に前記プロセッサが請求項１から１０のいずれか１項に記載の画像認識方法に対応するステップを実行することを特徴とする、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年１２月３１日にシンガポール特許庁に提出された、出願番号１０２０１９１３９５５Ｖ、タイトル「画像認識方法および装置ならびにコンピュータ可読記憶媒体」のシンガポール特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は、２０１９年１２月３１日にシンガポール特許庁に提出された、出願番号１０２０１９１３９５５Ｖ、タイトル「画像認識方法および装置ならびにコンピュータ可読記憶媒体」のシンガポール特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【0002】
本開示は人工知能の分野に関し、特に画像認識方法および装置、ならびにコンピュータ可読記憶媒体に関する。
【背景技術】
【0003】
近年、人工知能技術の普及および発展に伴い、コンピュータまたはカメラにより実行される画像認識はますます多くのシーンに適用されてきた。例えば、現在のビデオモニターおよび画像認識システムにおいて、目標オブジェクトと周囲の複数の干渉オブジェクトとの関連関係、例えば物品と周囲の人物との間の収納および取り出しの関係を認識するために、カメラが使用されている。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示は画像認識方法および装置、ならびにコンピュータ可読記憶媒体を提供する。
【0005】
本開示の実施例は、
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するステップと、
前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するステップであって、前記少なくとも１つのマッチング対象画像フレームは前記検出領域上方に位置する画像収集機器により前記検出領域の画像を収集して取得され、前記側面視画像フレームは前記検出領域側面に位置する画像収集機器により前記検出領域の画像を収集して取得されるステップと、
前記少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するステップと、
前記側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含む、前記関連画像フレームに対応する側面視画像フレームを取得するステップと、
前記関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから前記変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するステップと、を含む画像認識方法を提供する。
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するステップと、
前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するステップであって、前記少なくとも１つのマッチング対象画像フレームは前記検出領域上方に位置する画像収集機器により前記検出領域の画像を収集して取得され、前記側面視画像フレームは前記検出領域側面に位置する画像収集機器により前記検出領域の画像を収集して取得されるステップと、
前記少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するステップと、
前記側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含む、前記関連画像フレームに対応する側面視画像フレームを取得するステップと、
前記関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから前記変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するステップと、を含む画像認識方法を提供する。
【0006】
本開示の実施例は、
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するための第１決定ユニットと、
検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するための第１取得ユニットであって、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得される、第１取得ユニットと、
少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するための第２決定ユニットと、
側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレームに対応する側面視画像フレームを取得するための第２取得ユニットと、
関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するための第３決定ユニットと、を含む画像認識装置を提供する。
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するための第１決定ユニットと、
検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するための第１取得ユニットであって、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得される、第１取得ユニットと、
少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するための第２決定ユニットと、
側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレームに対応する側面視画像フレームを取得するための第２取得ユニットと、
関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するための第３決定ユニットと、を含む画像認識装置を提供する。
【0007】
本開示の実施例は、プロセッサ、メモリおよび通信バスを含み、前記メモリが前記通信バスを介して前記プロセッサと通信し、前記メモリに前記プロセッサの実行可能な１つ以上のプログラムが記憶され、前記１つ以上のプログラムが実行される時、前記プロセッサが上記いずれかの画像認識方法を実行する、画像認識装置を提供する。
【0008】
本開示の実施例は、１つ以上のプロセッサにより実行されて、上記いずれかの画像認識方法を実現可能な１つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体を提供する。
【図面の簡単な説明】
【0009】
【図1】本開示の実施例によって提供される画像認識シーンの模式図である。
【図2】本開示の実施例によって提供される画像認識方法の第１代替フローチャートである。
【図3】本開示の実施例によって提供される画像認識方法の第２代替フローチャートである。
【図4】本開示の実施例によって提供される画像認識方法の第３代替フローチャートである。
【図5】本開示の実施例によって提供される画像認識方法の第４代替フローチャートである。
【図6】本開示の実施例によって提供される画像認識方法の第５代替フローチャートである。
【図7】本開示の実施例によって提供される画像認識装置の第１構成模式図である。
【図8】本開示の実施例によって提供される画像認識装置の第２構成模式図である。
【発明を実施するための形態】
【0010】
現在のビデオ監視および画像認識システムにおいて、従来のカメラが目標オブジェクトと周囲の複数の干渉オブジェクトとの関連関係を認識する場合、例えば物品と周囲の人物との間の収納および取り出しの関係を認識する場合、収集された画像に多くの重要な情報が欠失していることにより、目標オブジェクトに変化が発生したとき、目標オブジェクトに変化を発生させる干渉オブジェクトへ正確に関連付けることができず、および収集された干渉オブジェクトの情報が完全でなく、一部の干渉オブジェクトの情報から具体的な目標干渉オブジェクトをマッチングによって見出すことができないなどの問題が起こり、最終的に、目標オブジェクトとの関連度が最も高い目標干渉オブジェクトを正確に認識することができなくなる。
【0011】
本開示の実施例は、検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するステップと、検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するステップであって、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得されるステップと、少なくとも１つのマッチング対象画像フレームから、変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するステップと、側面視画像フレーム集合から、変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレーム対応する側面視画像フレームを取得するステップと、関連画像フレームおよび側面視画像フレームに基づき、少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するステップと、を含む画像認識方法および装置、ならびにコンピュータ可読記憶媒体を提供する。
【0012】
上記方法による解決手段を採用すれば、俯瞰角度で変化オブジェクトとの関連度が最も高い干渉部位を得ることができ、俯瞰角度での位置情報と実際の位置情報とが比例するため、俯瞰角度で得られた変化オブジェクトと干渉部位との位置関係は側面視角度でのより正確である。さらに、関連画像フレームと、対応する側面視画像フレームとを結合することで、変化オブジェクトから変化オブジェクトとの関連度が最も高い干渉部位への決定（関連画像フレームに基づく決定）を実現し、変化オブジェクトとの関連度が最も高い干渉部位から目標干渉オブジェクトへの決定（対応する側面視画像フレームに基づく決定）をさらに実現し、それにより変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定しており、目標オブジェクトの変化と干渉オブジェクトとの関連付けの正確度が向上する。
【0013】
以下に本開示の実施例における図面に基づき、本開示の実施例における技術的解決手段を明確に、完全に説明する。
【0014】
本開示の実施例は画像認識シーンを提供し、図１は本開示の実施例によって提供される画像認識シーンの模式図である。図１に示すように、検出領域５００上方に位置して実際の応用において通常垂直角度で検出領域から画像を収集する画像収集機器１００、および検出領域５００側面に位置して実際の応用において通常平行角度で検出領域から画像を収集する画像収集機器２００＿１と画像収集機器２００＿２を含む。そのうち、画像収集機器１００、画像収集機器２００＿１および画像収集機器２００＿２は、それぞれの方位および角度に応じて検出領域５００を継続的に検出する。検出領域５００に少なくとも１群の目標オブジェクト３００＿１から３００＿ｎが配置され、ここで、各群の目標オブジェクト３００＿１……３００＿ｎは少なくとも１つのサブオブジェクトを積み上げてなる。検出領域５００の周囲は少なくとも１つの干渉オブジェクト４００＿１から４００＿ｎを含み、ここで、干渉オブジェクト４００＿１から４００＿ｎは画像収集機器１００、画像収集機器２００＿１および画像収集機器２００＿２の収集範囲内にある。本開示の実施例によって提供される画像認識シーンにおいて、画像収集機器はウェブカメラまたはカメラなどであってもよく、干渉オブジェクトは人物であってもよく、目標オブジェクトは積み上げ可能な物品であってもよく、人物４００＿１から４００＿ｎのうちの誰かが検出領域５００へ物品の出し入れをする場合、カメラ１００は前記人物の手が検出領域５００に伸びる上方からの平面視画像を捕捉することができ、カメラ２００＿１およびカメラ２００＿２は対応する時刻での人物４００＿１から４００＿ｎの異なる側面視画像を捕捉することができる。
【0015】
本開示の実施例では、画像収集機器１００は通常、検出領域５００の上方、例えば、検出領域の中心点の直上または直上の近くに設置され、収集範囲が少なくとも検出領域全体をカバーする。画像収集機器２００＿１および２００＿２は検出領域の側面に位置し、検出領域の両対向側にそれぞれ設置され、設置高さが検出領域内の目標オブジェクトの高さと同じであり、収集範囲が検出領域全体および検出領域周囲の干渉オブジェクトをカバーする。
【0016】
いくつかの実施例では、検出領域がテーブル上の１つの方形領域である場合、画像収集機器１００は方形領域の中心点の直上に設置されてもよく、その設置高さは、収集範囲が検出領域全体の方形領域をカバーできるように、画像収集機器の具体的な視野角に応じて調整されてもよい。画像収集機器２００＿１および２００＿２は検出領域の両対向側にそれぞれ設置され、その設置高さは検出領域の目標オブジェクト３００＿１から３００＿ｎの高さと同じであってもよく、検出領域との距離は、収集範囲が検出領域全体および検出領域周囲の干渉オブジェクトをカバーできるように、画像収集機器の具体的な視野角に応じて調整されてもよい。
【0017】
説明すべきは、実際の使用において、画像収集機器２００＿１および２００＿２に加えて、検出領域側面に位置する画像収集機器を必要に応じてより多く設置してもよく、本開示の実施例はこれを限定しない点である。
【0018】
【0019】
Ｓ１０１で、検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定する。
【0020】
本開示の実施例によって提供される画像認識方法は複数の物体または人物から監視対象に変化を発生させる目標物体または人物を認識するために適する。例示的に、本開示の実施例によって提供される画像認識方法は自動課金による小売システム、スマート物品監視などのシーンに適する。
【0021】
本開示の実施例では、少なくとも１群の目標オブジェクトのうちの各群の目標オブジェクトは少なくとも１つのサブオブジェクトを積み上げるように構成されてもよい。
【0022】
いくつかの実施例では、少なくとも１群の目標オブジェクトは積み上げられたいくつかの本の束であってもよく、各本の束はそれぞれ１群の目標オブジェクトとなり、また、積み上げられたコインであってもよく、各コインの束はそれぞれ１群の目標オブジェクトとなる。
【0023】
本開示の実施例では、少なくとも１群の目標オブジェクトに含まれるサブオブジェクトを継続的に監視し、少なくとも１群の目標オブジェクトに含まれるサブオブジェクトに変化が発生した場合、または検出領域での新たな１群の目標オブジェクトの出現、または検出領域の元の任意の１群の目標オブジェクトの消失を監視した場合、少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するために、検出領域の上方に画像収集機器を設置してもよい。
【0024】
本開示の実施例では、少なくとも１群の目標オブジェクトに含まれるサブオブジェクトを継続的に監視し、任意の１群の目標オブジェクトに含まれるサブオブジェクトの数または外観の変化を監視した場合、少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するために、検出領域側面において平行角度で画像収集機器を設置してもよい。
【0025】
説明すべきは、本開示の実施例では、側面視角度から監視する時に目標オブジェクト同士が互いに遮蔽するようになるという問題が存在するため、監視の正確性を保証するよう、検出領域の側面に、検出領域に既存の少なくとも１群の目標オブジェクトの数または外観を監視する少なくとも２つの画像収集機器を設置してもよい点である。
【0026】
本開示の実施例では、全ての検出領域を画像収集機器の検出枠で囲んでもよく、検出枠内の少なくとも１群の目標オブジェクトの数に変化がない場合、検出領域の画像特徴統計は連続した収集時点上で１つの平滑な曲線と表現され、検出枠内の少なくとも１群の目標オブジェクトの数に変化が発生した場合、例示的に、総群数が増加または減少した場合、少なくとも１群の目標オブジェクトの画像特徴に対応する曲線は急激に変化し、少なくとも１群の目標オブジェクトの画像内容に変化が発生したと特徴付け、それにより少なくとも１群の目標オブジェクトの画像特徴曲線を監視することで検出領域の少なくとも１群の目標オブジェクトに変化が発生したかどうかが把握される。
【0027】
本開示の実施例では、検出の正確性を保証するために、少なくとも１群の目標オブジェクトに変化が発生したことが所定のフレーム数を超えるように持続すると、少なくとも１群の目標オブジェクトの状態に変化が発生したと判定してもよい。
【0028】
いくつかの実施例では、検出領域において新たに増えた少なくとも１群の目標オブジェクトが５フレームを超えるように持続的に存在していると検出すると、またはなくなった少なくとも１群の目標オブジェクトが２０フレームを超えるように持続的に消えていると検出すると、少なくとも１群の目標オブジェクトの数に変化が発生したと判定する。
【0029】
いくつかの実施例では、積み上げられた３つの本の束を少なくとも１群の目標オブジェクトとし、各本の束はそれぞれ１群の目標オブジェクトに対応し、そのうち１つの本の束には２０冊の本が含まれ、そして側面視カメラを検出領域側面に位置する平行角度の画像収集機器とし、それぞれ左右の両側面角度から検出領域において画像を継続的に収集し、２０冊の本を含む本の束から５冊の本が取り出された場合、側面視カメラは積み上げられた３つの本の束のうち２０冊の本を含む本の束の冊数が減少したと監視し、なくなった５冊の本が検出領域から２０フレームを超えるように消えていると、少なくとも１群の目標オブジェクト内の少なくとも１つのサブオブジェクトの数に変化が発生したと判定する。
【0030】
本発明の実施例では、少なくとも１群の目標オブジェクトのうち状態に変化が発生した少なくとも１つのサブオブジェクトを、変化オブジェクトと決定する。
【0031】
いくつかの実施例では、俯瞰カメラは検出領域上方に位置する画像収集機器であり、俯瞰カメラは検出領域の新位置に目標オブジェクトが１群増えたと検出した場合、増えた１群の目標オブジェクトを変化オブジェクトとし、俯瞰カメラは検出領域内の元の目標オブジェクトが１群消えたと検出した場合、消えた目標オブジェクトを変化オブジェクトとする。
【0032】
いくつかの実施例では、側面視カメラは検出領域側面に位置する画像収集機器であり、側面視カメラは既存の１群の目標オブジェクトのうちサブオブジェクトの数が２０個増えたと検出した場合、増えた２０個のサブオブジェクトを変化オブジェクトとし、側面視カメラは既存の１群の目標オブジェクトのうちサブオブジェクトの数が２０個減少したと検出した場合、なくなった２０個のサブオブジェクトを変化オブジェクトとする。
【0033】
Ｓ１０２で、検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを収集する。ここで、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の少なくとも１つの画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得される。
【0034】
本開示の実施例では、検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生した場合、少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを、画像収集機器によって取得する。
【0035】
本開示の実施例では、画像収集機器は検出領域および検出領域周囲の干渉オブジェクトから画像を継続的に収集するために用いられ、本開示の実施例における画像収集機器はウェブカメラであってもよく、カメラであってもよく、または画像収集機能を有する他の機器であってもよく、本開示の実施例はこれを限定しない。
【0036】
本開示の実施例では、少なくとも１群の目標オブジェクトの俯瞰角度での画像を継続的に監視するために、検出領域上方に画像収集機器を設置し、少なくとも１群の目標オブジェクトの側面視角度での画像を継続的に監視するために、検出領域側面に画像収集機器を設置する。少なくとも１群の目標オブジェクトの状態に変化が発生した場合、検出領域上方に位置する画像収集機器によって、状態変化時点前の第１所定時間内で収集された画像フレームを、少なくとも１つのマッチング対象画像フレームとして取得し、同時に、検出領域側面に位置する画像収集機器によって、少なくとも１つのマッチング対象画像フレームと同期に収集された画像フレームを、側面視画像フレーム集合として取得する。
【0037】
いくつかの実施例では、検出領域上方に俯瞰カメラを、検出領域側面に側面視カメラを画像収集機器として設置し、少なくとも１群の目標オブジェクトの数は時点Ｂで変化し、第１所定時間は２秒とし、そして俯瞰カメラによりＢ－２からＢ時刻の間で収集された画像フレームを、少なくとも１つのマッチング対象画像フレームとして取得し、側面視カメラによりＢ－２からＢ時刻の間で収集された画像フレームを、側面視画像フレーム集合として取得する。
【0038】
なお、本開示の実施例では、検出領域の少なくとも１群の目標オブジェクトの数に変化が発生した場合、少なくとも１群の目標オブジェクトが干渉されて変化した画像を俯瞰角度から捕捉することができ、側面視角度で目標オブジェクト同士が互いに遮蔽するという問題が回避され、同時に、目標オブジェクトの近くの少なくとも１つの干渉オブジェクトの側面全体画像を側面視角度で捕捉することができ、俯瞰角度で捕捉された干渉オブジェクトの全体画像が完全でないという問題が回避されることが理解される。
【0039】
Ｓ１０３で、少なくとも１つのマッチング対象画像フレームから、変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定する。
【0040】
本開示の実施例では、変化オブジェクトが決定された後、少なくとも１つのマッチング対象画像フレームから、変化オブジェクトとの関連度が最も高い関連画像フレームを決定する。
【0041】
本開示の実施例では、図２に基づき、少なくとも１つのマッチング対象画像フレームから、変化オブジェクトとの関連度が最も高い関連画像フレームを決定するステップは、図３に示すように、以下のＳ１０３１～Ｓ１０３４を含んでもよい。
【0042】
Ｓ１０３１で、少なくとも１つのマッチング対象画像フレームのうちの各マッチング対象画像フレームから、少なくとも１つの干渉オブジェクトが少なくとも１つのマッチング対象画像フレームにおいて現れる部位である少なくとも１つの干渉部位を認識する。
【0043】
本開示の実施例では、少なくとも１つのマッチング対象画像フレームが得られた後、各マッチング対象画像フレームに対して干渉部位の認識を行い、各マッチング対象画像フレームにおける干渉部位を認識し、それにより少なくとも１つの干渉部位を得る。
【0044】
本開示の実施例では、画像認識アルゴリズムを使用して各マッチング対象画像フレームから少なくとも１つの干渉部位を認識してもよく、また他の方法を使用してもよく、本開示の実施例はこれを限定しない。
【0045】
本開示の実施例では、干渉部位は干渉オブジェクトが目標オブジェクトを干渉することにより目標オブジェクトの状態に変化が発生する部位であり、少なくとも１つのマッチング対象画像フレームにおいて現れ得る部位でもある。
【0046】
本開示の実施例では、干渉オブジェクトの一部が画像収集機器の検出領域に進入した場合、変化オブジェクトとの接触があるかどうかに関わらず、マッチング対象画像フレームにおいて干渉オブジェクトの一部の画像を捕捉し、捕捉された少なくとも１つの干渉オブジェクトの一部の画像を、少なくとも１つの干渉部位とすることができる。
【0047】
いくつかの実施例では、俯瞰カメラは検出領域上方に位置する画像収集機器として設置され、干渉オブジェクトが人物である場合、俯瞰カメラによって手が検出領域に伸びる画像を捕捉し、少なくとも１つのマッチング対象画像フレームにおいて捕捉された少なくとも１つの手画像を少なくとも１つの干渉部位とすることができる。
【0048】
Ｓ１０３２で、変化オブジェクトと認識された干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得る。
【0049】
本開示の実施例では、少なくとも１つの干渉部位が認識された後、変化オブジェクトと認識された干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得る。
【0050】
説明すべきは、本開示の実施例では、各マッチング対象画像フレームから前記マッチング対象画像フレームに含まれる干渉部位を認識する必要があるため、少なくとも１つの干渉部位には同じ干渉部位が含まれる可能性があり、変化オブジェクトと少なくとも１つの干渉部位とを一対一で組み合わせる時、変化オブジェクトと各干渉部位とがそれぞれ１回のみ組み合わせられるように保証する必要がある。
【0051】
Ｓ１０３３で、変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定する。ここで、関連度が最も高い組み合わせのうちの干渉部位は目標干渉部位であり、つまり、目標干渉部位は各干渉部位のうち変化オブジェクトとの関連度が最も高い干渉部位である。
【0052】
本開示の実施例では、少なくとも１群の変化オブジェクトと干渉オブジェクト部位との組み合わせから関連度が最も高い組み合わせを決定するステップは以下のＳ２０１～Ｓ２０２によって実現してもよい。
【0053】
Ｓ２０１で、変化オブジェクトと干渉部位との少なくとも１群の組み合わせのうちの各組み合わせの変化オブジェクトから干渉部位までの距離を取得する。
【0054】
本開示の実施例では、検出領域上方に位置する画像収集機器によって、変化オブジェクトと干渉部位との少なくとも１群の組み合わせのうちの、各組み合わせの変化オブジェクトから干渉部位までの距離を取得することができる。
【0055】
本開示の実施例では、側面視角度で、干渉部位から変化オブジェクトの距離とその実際の距離とが比例しないため、側面視角度で得られた干渉部位から変化オブジェクトの距離によって実際の距離を推算できない。検出領域上方に位置する画像収集機器によって、俯瞰角度から各変化オブジェクトと干渉部位との組み合わせのうちの変化オブジェクトから干渉部位までの距離を取得し、少なくとも１つの変化オブジェクトから干渉部位までの距離を得る。
【0056】
Ｓ２０２で、距離のうちの最小距離を決定する。
【0057】
本開示の実施例では、少なくとも１つの変化オブジェクトと干渉部位との距離から最小値を、最小距離として探し出す。
【0058】
本開示のいくつかの実施例では、少なくとも１つの変化オブジェクトと干渉部位との距離から最小距離を決定する方法は以下のＳ２０２１～Ｓ２０２２をさらに含んでもよい。
【0059】
Ｓ２０２１で、距離を反比例計算し、少なくとも１つの変化オブジェクトと干渉部位との距離のうちの各距離の計算結果を得る。
【0060】
本開示の実施例では、距離を反比例計算する方法は距離と逆相関する関係になる任意の式で計算し、対応する計算結果を得るようにしてもよい。
【0061】
本開示の実施例では、距離と逆相関する関数であれば計算に用いることができ、本開示の実施例はこれを限定しない。
【0062】
いくつかの実施例では、各組み合わせの変化オブジェクトと干渉部位との距離はｄとし、
【0063】
【数1】
【0064】
または
【0065】
【数2】
【0066】
を計算することで距離反比例計算の結果を得てもよい。
【0067】
本開示の実施例では、距離を反比例計算する方法は他の方法であってもよく、本開示の実施例はこれを限定しない。
【0068】
Ｓ２０２２で、計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を最小距離と決定する。
【0069】
本開示の実施例では、距離の反比例計算結果が得られた後、計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を、最小距離とする。
【0070】
なお、距離反比例計算の最大計算結果に対応する干渉部位は、変化オブジェクトに最も近い干渉部位であることが理解される。
【0071】
Ｓ２０３で、最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせとする。
【0072】
本開示の実施例では、最小距離に対応する干渉部位は少なくとも１つの干渉部位のうち変化オブジェクトに最も近い干渉部位であり、前記干渉部位が変化オブジェクトと関連付けられる可能性が最も高いため、最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせとする。
【0073】
いくつかの実施例では、検出領域において積み上げられた本の束が１つ増えた場合、俯瞰カメラによって少なくとも１群のマッチング対象画像フレームを取得し、少なくとも１群のマッチング対象画像フレームにおいて検出領域に進入した手の少なくとも１つの画像を捕捉する。増えた本を少なくとも１つの手画像と一対一で組み合わせ、各組み合わせのうちの増えた本から手画像までの距離を計算し、さらに最小距離に対応する増えた本と手画像との組み合わせを、関連度が最も高い組み合わせとする。
【0074】
なお、本開示の実施例では、関連度が最も高い組み合わせのうちの干渉部位は変化オブジェクトと接触する可能性が最も高い干渉部位であることが理解される。俯瞰角度で得られた距離と実際の距離とが比例するため、側面視角度で取得された干渉部位と変化オブジェクトとの距離が比例せず、側面視角度で干渉部位と変化オブジェクトとを関連付けると不正確になるという問題が解決され、変化オブジェクトと干渉部位との関連付けの正確度が向上し、さらに変化オブジェクトと目標干渉オブジェクトとの関連付けの正確度が向上する。
【0075】
本開示のいくつかの実施例では、変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定するステップは以下のＳ３０１～Ｓ３０２をさらに含んでもよい。
【0076】
Ｓ３０１で、認識された各干渉部位のそれぞれの実移動軌跡を取得する。
【0077】
本開示の実施例では、認識された各干渉部位のそれぞれの実移動軌跡を取得するステップは以下のＳ３０１１～Ｓ３０１４を含んでもよい。
【0078】
Ｓ３０１１で、目標オブジェクトの状態に変化が発生するトリガ時点を取得する。
【0079】
本開示の実施例では、目標オブジェクトの状態に変化が発生する時点を記録および取得し、トリガ時点とする。
【0080】
Ｓ３０１２で、トリガ時点前の第２所定時間内で収集された少なくとも１つの移動軌跡画像フレームを取得する。ここで、少なくとも１つの移動軌跡画像フレームは検出領域上方に位置する画像収集機器により取得される。
【0081】
本開示の実施例では、トリガ時点が得られた後、検出領域上方に位置する画像収集機器によって、トリガ時点前の第２所定時間内で収集された少なくとも１つの画像フレームを、少なくとも１つの移動軌跡画像フレームとして取得する。
【0082】
いくつかの実施例では、干渉部位は手画像であり、第２所定時間は５秒であり、俯瞰カメラが５秒内で収集した１０フレームの画像フレームを取得し、いずれの画像フレームにも異なる位置にある少なくとも１つの手画像が含まれ、そして１０フレームの画像フレームを少なくとも１つの移動軌跡画像フレームとする。
【0083】
説明すべきは、本発明の実施例では、干渉部位の移動軌跡をより正確にするために、第２所定時間は通常、第１所定時間よりも長い時間帯として設定されるため、トリガ時点前の第２所定時間内で収集された少なくとも１つの移動軌跡画像フレームには一般的に、第１所定時間内で収集された少なくとも１つのマッチング対象画像フレームが含まれる。
【0084】
Ｓ３０１３で、認識された各干渉部位の、少なくとも１つの移動軌跡画像フレームにおける対応する位置情報を取得する。
【0085】
本開示の実施例では、少なくとも１つの移動軌跡画像フレームには各干渉部位が異なる位置にある画像が含まれ、同一の干渉部位について、少なくとも１つの移動軌跡画像フレームにおいて前記干渉部位の、各移動軌跡画像フレームにおけるそれぞれの対応する位置情報を取得する。
【0086】
本開示の実施例では、各干渉部位について、各干渉部位の、各移動軌跡画像フレームにおけるそれぞれの対応する位置情報を決定する。
【0087】
いくつかの実施例では、干渉部位が手画像である場合、前記手画像の、１０フレームの移動軌跡画像フレームのうちの各フレームの画像における異なる位置を、前記手画像に対応する位置情報として取得する。
【0088】
Ｓ３０１４で、少なくとも１つの移動軌跡画像フレームの時系列に基づき、位置情報をベクトル化して連結し、認識された各干渉部位の実移動軌跡を得る。
【0089】
本開示の実施例では、同一の干渉部位について、前記干渉部位に対応する位置情報が決定された後、少なくとも１つの移動軌跡画像フレームの時系列に基づき、時系列の始点から終点への順に、前記干渉部位に対応する位置情報を順にリンクし、前記干渉部位に対応する１つのベクトル軌跡を、前記干渉部位の実移動軌跡として得る。
【0090】
本開示の実施例では、認識された各干渉部位について、認識された各干渉部位の実移動軌跡を決定する。
【0091】
いくつかの実施例では、片手の画像に対応する位置情報が取得された後、１０フレームの移動軌跡画像フレームの異なる収集時間に基づき、１フレーム目の移動軌跡画像フレームにおける前記手画像の対応する位置から、順に次の移動軌跡画像フレームにおける前記手画像の対応する位置へリンクし、最終的に前記手画像に対応する実移動軌跡を得る。
【0092】
Ｓ３０２で、変化オブジェクトと干渉部位との少なくとも１群の組み合わせから、各組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡を取得する。ここで、１つの組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡は、前記組み合わせのうちの干渉部位と変化オブジェクトとを結んだ軌跡である。
【0093】
本開示の実施例では、１つの変化オブジェクトと干渉部位との組み合わせについて、前記組み合わせの干渉部位から変化オブジェクトまでリンクし、得られたベクトル軌跡を前記組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡とする。
【0094】
Ｓ３０３で、各実移動軌跡と各模擬移動軌跡との類似度を比較する。
【0095】
本開示の実施例では、１つの変化オブジェクトと干渉部位との組み合わせについて、前記組み合わせに含まれる干渉部位の実移動軌跡と、前記組み合わせに対応する模擬移動軌跡との類似度を比較する。
【0096】
本開示の実施例では、２つのベクトル軌跡間の類似度を比較する方法は従来技術であるので、その説明を省略する。
【0097】
Ｓ３０４で、１つの実移動軌跡との類似度が最も高い模擬移動軌跡に対応する変化オブジェクトと干渉部位との組み合わせを関連度が最も高い組み合わせと決定する。
【0098】
本開示の実施例では、模擬移動軌跡との類似度が最も高い実移動軌跡は、変化オブジェクトへ移動して変化オブジェクトに接触する可能性が最も高い移動軌跡であるため、１つの実移動軌跡との類似度が最も高い模擬移動軌跡に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせと決定する。
【0099】
説明すべきは、Ｓ２０１～Ｓ２０３およびＳ３０１～Ｓ３０３は変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定する２つの代替的な方法であり、具体的な応用では実情に応じてそれらのいずれかまたは両者を同時に選択してもよく、本開示の実施例はこれを限定しない点である。
【0100】
Ｓ１０３４で、関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、関連画像フレームとする。つまり、関連画像フレームには変化オブジェクトとの関連度が最も高い干渉部位、すなわち目標干渉部位が含まれる。
【0101】
本開示の実施例では、関連度が最も高い組み合わせが決定された後、関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、関連画像フレームとする。つまり、関連画像フレームには変化オブジェクトとの関連度が最も高い干渉部位の情報が含まれる。
【0102】
【0103】
Ｓ１０４で、側面視画像フレーム集合から、変化オブジェクトとの関連度が最も高い干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレームに対応する側面視画像フレームを取得する。
【0104】
本開示の実施例では、関連画像フレームが得られた後、側面視画像フレーム集合から、関連画像フレームと同期に収集された側面視画像フレームを取得する。
【0105】
本開示の実施例では、検出領域上方に位置する画像収集機器および検出領域側面に位置する画像収集機器は検出領域について同期に収集を行うため、検出領域上方に位置する画像収集機器が関連画像フレームを収集した時刻で、検出領域側面に位置する画像収集機器も同一シーンの側面視画像フレームを同期に収集できる。
【0106】
本開示の実施例では、側面視画像フレームにおいて変化オブジェクトに関連する少なくとも１つの干渉オブジェクトの完全な側面画像を捕捉することができる。
【0107】
いくつかの実施例では、少なくとも１つの人物が検出領域の本を出し入れする動作を検出する際に、俯瞰カメラによって、本の数が変化した時に検出領域に進入した、変化オブジェクトとの関連度が最も高い手の画像を決定し、前記手画像が存在する画像フレームを関連画像フレームとし、そして関連画像フレームと同期に収集された側面視カメラ内の側面視画像フレームを取得し、ここで、側面視画像フレームには、少なくとも１つの人物の側面顔画像、少なくとも１つの人物の側面身体画像、および少なくとも１つの人物の側面手画像を含む少なくとも１つの人物の側面画像が含まれ、少なくとも１つの人物の側面画像のうち、各人物の側面顔画像、側面身体画像および側面手画像は互いに関連している。
【0108】
なお、本開示の実施例では、関連画像フレームに含まれる干渉部位画像は俯瞰角度で収集された画像であり、俯瞰角度で干渉オブジェクトの重要な識別情報、例えば顔情報を収集しにくく、俯瞰角度での干渉部位画像だけで変化オブジェクトを干渉オブジェクトの識別情報と直接関連付けることができないため、俯瞰角度での干渉部位画像を干渉オブジェクトの側面全体画像と先に関連付けるために、同期の側面視画像フレームを取得する必要があることが理解される。
【0109】
Ｓ１０５で、関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定する。
【0110】
本開示の実施例では、画像認識装置は側面視画像フレームを得た後、関連画像フレームと側面視画像フレームとの画像融合を行い、干渉部位と干渉オブジェクトの異なる角度で取得された同期の画像情報を融合し、それによって少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定し、さらに、変化オブジェクトを目標干渉オブジェクトと関連付ける画像認識プロセスを完了する。
【0111】
本開示の実施例では、図３に基づき、関連画像フレームおよび前記関連画像フレームに対応する前記側面視画像フレームに基づき、少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するステップは、図４に示すように、以下のＳ１０５１～Ｓ１０５３を含んでもよい。
【0112】
Ｓ１０５１で、関連画像フレームと前記関連画像フレームに対応する前記側面視画像フレームとの画像融合を行い、目標干渉部位の側面視画像を得る。ここで、目標干渉部位の側面視画像は目標干渉部位の、前記関連画像フレームに対応する前記側面視画像フレームにおける画像である。
【0113】
本開示の実施例では、関連画像フレームおよび側面視画像フレームは異なる角度で検出領域から同期に収集された画像フレームであるため、画像融合により、同一の物体から俯瞰角度および側面視角度で得られた画像情報を互いに関連付け、俯瞰角度での目標干渉部位の、側面視画像フレームにおける対応する側面角度での画像を、目標干渉部位の側面視画像として得ることができる。
【0114】
いくつかの実施例では、干渉部位は手画像であり、干渉オブジェクトは人物であり、俯瞰角度の関連画像フレームに含まれる目標干渉部位は手画像Ａ１であり、側面視人物画像フレームには側面手画像Ａ１’、側面手画像Ｂ１’および側面手画像Ｃ１’が含まれる。関連画像フレームと側面視画像フレームとの画像融合を行い、俯瞰角度で得られた手画像情報と側面視角度で得られた手画像情報との画像融合を行うと、側面手画像Ａ１’と俯瞰角度での手画像Ａ１とが同一の手である情報を得て、側面手画像Ａ１’を目標干渉部位の側面視画像とすることができる。
【0115】
Ｓ１０５２で、少なくとも１つの干渉オブジェクトの側面視画像を含む前記関連画像フレームに対応する前記側面視画像フレームに基づき、目標干渉部位の側面視画像に関連する目標干渉オブジェクトの側面視画像を得る。
【0116】
本開示の実施例では、側面視画像フレームは少なくとも１つの干渉オブジェクトの完全な側面画像を含み、目標干渉部位の側面視画像はその１つの干渉オブジェクトの部分的な側面画像であり、つまり、目標干渉部位の側面視画像は対応する干渉オブジェクトの側面視画像の一部であり、かつ干渉オブジェクトの側面視画像の他の部分に関連する。側面視画像フレームに基づき、目標干渉部位の側面視画像に関連する干渉オブジェクトの側面視画像を、目標干渉オブジェクトの側面視画像とする。
【0117】
いくつかの実施例では、目標干渉部位の側面視画像は側面手画像Ａ１’であり、側面視画像フレームには人物側面画像Ａ’、人物側面画像Ｂ’および人物側面画像Ｃ’が含まれる。人物側面画像Ａ’には側面身体画像Ａ２’および側面顔画像Ａ３’がさらに含まれており、側面視画像フレームにおいて、側面角度での手画像Ａ１’と側面身体画像Ａ２’が互いに連結されるため、Ａ１’をＡ２’と関連付けることができ、また側面身体画像Ａ２’と側面顔画像Ａ３’が互いに連結されており、さらに側面角度での手画像Ａ１’を側面顔画像Ａ３’と関連付け、側面顔画像Ａ３’を目標干渉オブジェクトの側面視画像とする。
【0118】
なお、目標干渉部位が存在する関連画像フレームと側面視画像フレームとの多角度での画像融合を行うと、俯瞰角度での目標干渉部位と側面視角度での目標干渉オブジェクトとの側面視画像関連関係が得られ、こうしてさらに目標干渉オブジェクトの側面視画像に含まれる情報に基づいて目標干渉オブジェクトのアイデンティティを認識することができ、それによって俯瞰角度で干渉オブジェクトの識別情報を収集できず、俯瞰角度での干渉部位画像だけで干渉オブジェクトの識別情報と直接関連付けることができないという問題が解決されることが理解される。
【0119】
Ｓ１０５３で、目標干渉オブジェクトの側面視画像に基づき、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係から、目標干渉オブジェクトのアイデンティティ情報を決定する。
【0120】
本開示の実施例では、１つの干渉オブジェクトについて、前記干渉オブジェクトの画像と前記干渉オブジェクトのアイデンティティ情報との対応関係を予め記憶しており、前記干渉オブジェクト画像の一意性によって前記干渉オブジェクトのアイデンティティ情報と対応付けることができる。
【0121】
いくつかの実施例では、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係は各人物の正面顔画像と前記人物のアイデンティティＩＤとの対応関係であってもよく、例示的に、正面顔画像Ａは人物Ａに対応し、正面顔画像Ｂは人物Ｂに対応し、正面顔画像Ｃは人物Ｃに対応する。目標干渉オブジェクトの側面視画像、即ち側面視野角での顔画像Ａ３’に基づき、マッチングによってＡ３’に対応する正面顔画像Ａを得て、続いて各人物の正面顔画像と前記人物のアイデンティティＩＤとの予め記憶された対応関係に応じて、側面視野角での顔画像Ａ３’を正面顔画像Ａに対応する人物Ａとさらに関連付け、人物Ａを目標干渉オブジェクトとする。
【0122】
なお、本開示の実施例では、俯瞰角度から正確度がより高くて変化オブジェクトに関連する目標干渉部位情報を得て、画像融合により、俯瞰角度での目標干渉部位情報と側面視角度での干渉オブジェクトの完全な情報とを結合することができ、俯瞰角度での目標干渉部位情報と側面視角度での目標干渉オブジェクトの情報との関連付けが実現され、目標干渉オブジェクトの情報と予め記憶された干渉オブジェクトの識別情報とをさらに関連付けることで、目標干渉オブジェクトの認識正確度が向上する。
【0123】
本開示の実施例では、Ｓ１０５の後に、さらに以下のＳ１０６～Ｓ１０７を含む。
【0124】
Ｓ１０６で、側面視画像フレームから変化オブジェクトの側面画像を取得する。
【0125】
Ｓ１０７で、変化オブジェクトの側面画像に基づき、変化オブジェクトのオブジェクト値を取得する。ここで、オブジェクト値は変化オブジェクトを構成する少なくとも１つの変化サブオブジェクトの値の総和であり、変化オブジェクトの側面画像は少なくとも１つの変化サブオブジェクトのうちの各々の側面画像を含み、少なくとも１つの変化サブオブジェクトのうちの各々の側面画像は異なる値を特徴付ける。
【0126】
本開示の実施例では、少なくとも１群の目標オブジェクトは少なくとも１つのサブオブジェクトを積み上げてなるものであり、変化オブジェクトは少なくとも１群の目標オブジェクトの一部であるため、検出領域側面に位置する画像収集機器によって、変化オブジェクトの側面視角度での画像を取得し、変化オブジェクトの異なる側面視角度での画像に基づき、変化オブジェクトのオブジェクト値を取得することができる。
【0127】
本開示の実施例では、変化オブジェクトは少なくとも１つの変化サブオブジェクトを含み、そのうち、変化サブオブジェクトの側面視角度での画像は異なる色、模様または認識可能なパターンもしくは文字を含んでもよく、各異なる色、模様または認識可能なパターンもしくは文字は異なる値情報を特徴付けることができる。
【0128】
本開示の実施例では、変化オブジェクトのオブジェクト値は変化オブジェクトを構成する各変化サブオブジェクトの側面視角度での画像により特徴付けられる値の総和である。
【0129】
Ｓ１０８で、目標干渉オブジェクトとオブジェクト値とを関連付け、それにより目標干渉オブジェクトの、対応するオブジェクト値を受け取りまたは払い出す情報を得る。
【0130】
いくつかの実施例では、赤色の本は１冊あたり１０元の値であり、緑色の本は１冊あたり２０元の値であり、側面視野角でのカメラによって、積み上げられたある本の束の高さが低くなり、本の数が減少したと検出し、かつ側面視カメラによって、なくなった本の側面画像を取得し、本の側面の色から赤色の本が１０冊、緑色の本が５冊なくなったと検出すると、なくなった本のオブジェクト値は２００元であると把握でき、Ｓ１０１～Ｓ１０５で得られた目標干渉オブジェクトが人物Ａであることから、目標干渉オブジェクトとオブジェクト値とを関連付けると、人物Ａが２００元の値である本を取り出した情報が得られる。
【0131】
なお、側面視野角でのカメラによって少なくとも１群の変化オブジェクトのオブジェクト値を取得して目標人物と関連付けることで、少なくとも１群の変化オブジェクトに対する目標人物の操作の具体的な情報がさらに補完される。
【0132】
本開示のいくつかの実施例では、変化オブジェクトに関連する目標干渉オブジェクトを認識し、目標干渉オブジェクトとオブジェクト値とを関連付ける一実施方法は、図５に示すように、以下のＳ６０１～Ｓ６１６を含んでもよい。
【0133】
Ｓ６０１で、検出領域上方に位置する画像収集機器によって、検出領域での新たな１群の目標オブジェクトの出現、または検出領域の元の任意の１群の目標オブジェクトの消失を検出した場合、少なくとも１群の目標オブジェクトから、変化オブジェクトを決定する。
【0134】
Ｓ６０２で、現在時点前の第１所定時間内で収集された少なくとも１つのマッチング対象画像フレームおよび側面視画像フレーム集合を取得する。
【0135】
Ｓ６０３で、各マッチング対象画像フレームから少なくとも１つの干渉部位を認識する。
【0136】
Ｓ６０４で、変化オブジェクトと認識された干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得る。
【0137】
Ｓ６０５で、変化オブジェクトと干渉部位との少なくとも１群の組み合わせのうちの各組み合わせの変化オブジェクトから干渉部位までの距離を取得する。
【0138】
Ｓ６０６で、距離を反比例計算し、距離のうちの各距離の計算結果を得る。
【0139】
Ｓ６０７で、計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を最小距離と決定する。
【0140】
Ｓ６０８で、最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせとする。
【0141】
Ｓ６０９で、関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、関連画像フレームとする。
【0142】
Ｓ６１０で、関連度が最も高い組み合わせのうちの干渉部位を、目標干渉部位と決定する。
【0143】
Ｓ６１１で、関連画像フレームと側面視画像フレームとの画像融合を行い、目標干渉部位の側面視画像を得る。ここで、目標干渉部位の側面視画像は、側面視画像フレームにおける目標干渉部位の画像である。
【0144】
Ｓ６１２で、少なくとも１つの干渉オブジェクトの側面視画像を含む側面視画像フレームに基づき、目標干渉部位の側面視画像に関連する目標干渉オブジェクトの側面視画像を得る。
【0145】
Ｓ６１３で、目標干渉オブジェクトの側面視画像に基づき、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係から、目標干渉オブジェクトを決定する。
【0146】
Ｓ６１４で、側面視画像フレームから変化オブジェクトの側面画像（即ち側面視角度での画像）を取得する。
【0147】
Ｓ６１５で、変化オブジェクトの側面画像に基づき、変化オブジェクトのオブジェクト値を取得する。
【0148】
Ｓ６１６で、目標干渉オブジェクトとオブジェクト値とを関連付け、それによって変化オブジェクトに関連する目標干渉オブジェクトを認識し、目標干渉オブジェクトとオブジェクト値とを関連付けるプロセスを完了する。
【0149】
説明すべきは、本開示の実施例によって提供される画像認識方法は変化オブジェクトに関連する目標干渉オブジェクトを認識した後、検出領域の少なくとも１つの目標オブジェクトを引き続き監視し、少なくとも１つの目標オブジェクトの数に再び変化が発生した場合、引き続き同様な処理方法で目標干渉オブジェクトを認識する点である。
【0150】
本開示の実施例は、ゲームチップの投入または引き戻しに対するスマート監視シーンに適する画像認識方法をさらに提供し、図１の画像認識シーンの模式図に基づき、本開示の実施例における少なくとも１群の目標オブジェクトは、図１の目標オブジェクト３００＿１から３００＿ｎに対応する少なくとも１群のゲームチップであってもよく、少なくとも１つの干渉オブジェクトは、図１の干渉オブジェクト４００＿１から４００＿ｎに対応する少なくとも１つのゲームに参加するプレイヤーであってもよく、当然ながら、ディーラであってもよく、検出領域上方に位置する画像収集機器は、図１の画像収集機器１００に対応する俯瞰カメラであってもよく、検出領域側面に位置する画像収集機器は、図１の画像収集機器２００＿１および２００＿２に対応する側面視カメラであってもよい。本開示の実施例によって提供される画像認識方法は、図６に示すように、以下のＳ７０１～Ｓ７２１を含んでもよい。
【0151】
Ｓ７０１で、検出領域に既存の１セットのゲームチップ上にもう１セットのゲームチップが積み重ねられたと検出した場合、側面視カメラによって検出領域の少なくとも１セットのゲームチップの数に変化が発生したと判定する。
【0152】
本発明の実施例では、少なくとも１群の目標オブジェクトは少なくとも１セットのゲームチップである。
【0153】
本発明の実施例では、検出領域に既存の１セットのゲームチップ上にまたもう１セットのゲームチップが積み重ねられた場合、側面視カメラによって、検出領域に既存の１セットのゲームチップに含まれるゲームチップ数が増えたと検出し、検出領域の少なくとも１セットのゲームチップの状態に変化が発生したと判定することができる。
【0154】
Ｓ７０２で、検出領域の少なくとも１セットのゲームチップから、新たに増えたゲームチップを決定する。
【0155】
本発明の実施例では、変化オブジェクトは新たに増えたゲームチップである。
【0156】
Ｓ７０３で、俯瞰カメラから、現在時点前の２秒内で収集された３フレームの画像フレームを、少なくとも１つのマッチング対象画像フレームとして取得し、そして側面視カメラにより対応する時間帯で収集された画像フレームを、側面視画像フレーム集合として取得する。
【0157】
本開示の実施例では、第１所定時間は２秒である。
【0158】
Ｓ７０４で、各マッチング対象画像フレームから、少なくとも１つの手画像を認識する。
【0159】
本発明の実施例では、少なくとも１つの干渉部位は少なくとも１つの手画像である。
【0160】
なお、本開示の実施例では、検出領域に既存の１セットのゲームチップ上にもう１セットのゲームチップを積み重ねる時、人の手が必然的に検出領域に伸びることになり、俯瞰カメラによって、少なくとも１セットのゲームチップの数変化時点前の少なくとも１つのマッチング対象画像フレームを捕捉し、少なくとも１つのマッチング対象画像フレームから少なくとも１つの手画像を認識でき、ここで、少なくとも１つの手画像にはゲームチップを積み重ねる手画像が含まれ、また他の手画像も含まれ得るため、少なくとも１つの手画像からゲームチップを積み重ねる手を決定する必要があることが理解される。
【0161】
Ｓ７０５で、俯瞰カメラでの新たに増えたゲームチップ画像と少なくとも１つの手画像とを一対一で組み合わせ、新たに増えたゲームチップ画像と手画像との少なくとも１群の組み合わせを得る。
【0162】
本開示の実施例では、新たに増えたゲームチップ画像と少なくとも１つの手画像とを一対一で組み合わせ、新たに増えたゲームチップ画像と少なくとも１つの手画像のうちの各手画像とが１回のみ組み合わせられるように保証し、新たに増えたゲームチップ画像と手画像との少なくとも１群の組み合わせを得る。
【0163】
Ｓ７０６で、少なくとも１セットのゲームチップの数に変化が発生する時点をトリガ時点とし、俯瞰カメラがトリガ時点前の４秒内で収集した６個フレームの画像フレームを、少なくとも１つの移動軌跡画像フレームとして取得する。
【0164】
本開示の実施例では、第２所定時間は４秒である。
【0165】
Ｓ７０７で、認識された各手画像について、各手画像の、少なくとも１つの移動軌跡画像フレームのうちの各移動軌跡画像フレームにおける対応する位置情報を取得する。
【0166】
本開示の実施例では、１つの手画像について、６フレームの移動軌跡画像フレームにおいて前記手画像に対応する６個の異なる位置情報を取得でき、認識された各手画像について、同じ方法で、認識された各手画像の、少なくとも１つの移動軌跡画像フレームのうちの各移動軌跡画像フレームにおけるそれぞれの対応する位置情報を取得することができる。
【0167】
Ｓ７０８で、少なくとも１つの移動軌跡画像フレームが収集された時間的順序に従って、各手画像に対応する位置情報を順に連結し、連結して得られたベクトル軌跡を各手画像の実移動軌跡とする。
【0168】
本発明の実施例では、少なくとも１つの移動軌跡画像フレームの時系列は少なくとも１つの移動軌跡画像フレームが収集された時間的順序である。
【0169】
Ｓ７０９で、新たに増えたゲームチップ画像と手画像との少なくとも１群の組み合わせにおいて、各組み合わせのうちの手画像から新たに増えたゲームチップ画像までの経路を、各組み合わせの手画像から新たに増えたゲームチップ画像までの模擬移動軌跡とする。
【0170】
Ｓ７１０で、新たに増えたゲームチップ画像と手画像との各組み合わせについて、各組み合わせの模擬移動軌跡と手画像の実移動軌跡との類似度を比較する。
【0171】
本開示の実施例では、新たに増えたゲームチップ画像と手画像との少なくとも１つの組み合わせのうちの各組み合わせについて、同様な方法で処理し、各実移動軌跡と各模擬移動軌跡との類似度を比較することができる。
【0172】
Ｓ７１１で、１つの実移動軌跡との類似度が最も高い組み合わせを関連度が最も高い組み合わせと決定する。
【0173】
Ｓ７１２で、関連度が最も高い組み合わせに対応するマッチング対象画像フレームを、関連画像フレームとする。
【0174】
Ｓ７１３で、関連度が最も高い組み合わせのうちの手画像を、目標手画像と決定する。
【0175】
Ｓ７１４で、側面視画像フレーム集合から、新たに増えたゲームチップ画像に関連する人（プレイヤーまたはディーラ）の側面画像を含む、関連画像フレームに対応する側面視画像フレームを取得する。
【0176】
本開示の実施例における側面画像は平面視角度での画像に対するものであり、つまり側面視野角での画像である。
【0177】
本開示の実施例では、関連画像フレームに対応する側面視画像フレームは側面視カメラが関連画像フレームと同期の画像フレームを収集したものである。
【0178】
Ｓ７１５で、関連画像フレームと側面視画像フレームとの画像融合を行い、目標手画像の、側面視画像フレームにおける対応する目標手の側面画像を得る。
【0179】
本発明の実施例では、目標干渉部位の側面視画像は目標手の側面画像である。
【0180】
本開示の実施例では、関連画像フレームと側面視画像フレームとの画像融合を行い、関連画像フレームの俯瞰角度での手画像と側面視画像フレームにおける側面視角度での手画像との画像情報の関連付けを行い、俯瞰角度での目標手画像の、側面視画像フレームにおける対応する画像、即ち目標手の側面画像を得る。
【0181】
Ｓ７１６で、側面視画像フレームに基づき、目標手の側面画像に関連する目標プレイヤーの側面身体画像（即ち側面視角度での身体画像）を得る。
【0182】
本開示の実施例では、側面視画像フレームには、少なくとも１つの人の側面手画像、少なくとも１つの人の側面顔画像および少なくとも１つの人の側面身体画像を含む少なくとも１つの人（プレイヤーおよびディーラ）の身体の側面画像が含まれ、そのうち、同一人の側面手画像、側面顔画像および側面身体画像は互いに関連している全体である。したがって、側面視画像フレームに基づき、目標手の側面画像がどの人に属する側面手画像であるかを判明し、それにより目標手の側面画像に関連する目標人物の側面身体画像を得ることができる。
【0183】
Ｓ７１７で、側面視画像フレームに基づき、目標人物の側面身体画像に関連する目標人物の顔画像を得る。
【0184】
本発明の実施例では、目標干渉オブジェクトの側面視画像は目標人物の側面顔画像である。
【0185】
本開示の実施例では、目標人物の側面身体画像を得た後、引き続き側面視画像フレームにおける側面身体画像と顔画像との関連関係に基づき、目標人物の側面身体画像を目標人物の顔画像と関連付ける。
【0186】
Ｓ７１８で、目標人物の顔画像に基づき、各人物の正面顔画像と前記プレイヤーのアイデンティティ情報との予め記憶された対応関係から、目標人物のアイデンティティ情報を決定する。
【0187】
本発明の実施例では、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係は各人の正面顔画像と前記プレイヤーのアイデンティティ情報との予め記憶された対応関係である。
【0188】
なお、目標手画像を側面視角度での目標手の側面画像と関連付け、続いて側面視画像フレームにおける手、身体および顔の関連関係に応じて、目標手の側面画像を目標人物の側面身体画像と関連付け、さらに目標プレイヤーの側面身体画像に基づいて目標人物の顔画像へ関連付け、最後に目標人物の顔画像と予め記憶された少なくとも１つの人の正面顔画像とをマッチすることで、俯瞰角度で取得された、変化オブジェクトに関連する目標手画像と、正面から収集された目標プレイヤーの正面顔画像との関連付けが実現され、変化オブジェクトが属する目標人物のアイデンティティの認識が完了されることが理解される。
【0189】
Ｓ７１９で、側面視画像フレームから新たに増えたゲームチップの側面画像を取得する。
【0190】
Ｓ７２０で、新たに増えたゲームチップの側面画像に基づき、新たに増えたゲームチップのオブジェクト値を取得する。
【0191】
本開示の実施例では、新たに増えたゲームチップには少なくとも１つの色および模様が異なるゲームチップが含まれ、ゲームチップの各異なる色および模様は異なるゲームチップの値を表し、新たに増えたゲームチップの側面画像に基づき、新たに増えたゲームチップのオブジェクト値を取得することができる。
【0192】
Ｓ７２１で、目標人物とオブジェクト値とを関連付け、目標人物がオブジェクト値のゲームチップを投入する情報を得る。
【0193】
なお、本開示の実施例では、側面視カメラによって、検出領域に既存の１セットのゲームチップ上に新たなゲームチップが積み重ねられる状況を監視でき、俯瞰カメラによってゲームチップの積み重ね状況を効果的に監視できないことを回避し、同時に、俯瞰カメラでの手からゲームチップまでの移動軌跡によって目標手画像を決定することで、側面視カメラで取得された手から新たに増えたゲームチップまでの移動軌跡に歪曲が存在し、新たに増えたゲームチップを目標手画像へ正確に関連付けることができないことを回避し、さらに、側面視カメラによってプレイヤーの身体側面画像を取得し、俯瞰角度での目標手画像と側面視角度でのプレイヤーの身体側面画像との情報融合を行い、目標手画像と目標人物の顔画像との関連を確立することで、目標人物の顔画像によって、予め記憶された少なくとも１つの人の正面顔画像へ関連付けることができるようになり、俯瞰角度での、変化オブジェクトに関連する目標手画像からプレイヤーの正面顔画像への関連付けが実現され、最終的に変化オブジェクトが属する人物のアイデンティティ情報の認識正確度が向上することが理解される。
【0194】
本開示の実施例は画像認識方法に対応する画像認識装置を提供し、図７は本開示の実施例によって提供される画像認識装置の第１構成模式図であり、図７に示すように、前記画像認識装置４は、
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するための第１決定ユニット４００と、
検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するための第１取得ユニット４０１であって、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得される、第１取得ユニット４０１と、
少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するための第２決定ユニット４０２と、
側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い前記干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレームに対応する側面視画像フレームを取得するための第２取得ユニット４０３と、
関連画像フレームおよび側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するための第３決定ユニット４０４と、を含む。
検出領域の少なくとも１群の目標オブジェクトの状態の変化に基づき、変化オブジェクトを決定するための第１決定ユニット４００と、
検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生する前の第１所定時間内で収集された側面視画像フレームからなる側面視画像フレーム集合、および少なくとも１つのマッチング対象画像フレームを取得するための第１取得ユニット４０１であって、少なくとも１つのマッチング対象画像フレームは検出領域上方に位置する画像収集機器により検出領域の画像を収集して取得され、側面視画像フレームは検出領域側面に位置する画像収集機器により検出領域の画像を収集して取得される、第１取得ユニット４０１と、
少なくとも１つのマッチング対象画像フレームから、前記変化オブジェクトとの関連度が最も高い干渉部位を含む関連画像フレームを決定するための第２決定ユニット４０２と、
側面視画像フレーム集合から、前記変化オブジェクトとの関連度が最も高い前記干渉部位および少なくとも１つの干渉オブジェクトを含む、関連画像フレームに対応する側面視画像フレームを取得するための第２取得ユニット４０３と、
関連画像フレームおよび側面視画像フレームに基づき、前記少なくとも１つの干渉オブジェクトから変化オブジェクトとの関連度が最も高い目標干渉オブジェクトを決定するための第３決定ユニット４０４と、を含む。
【0195】
いくつかの実施例では、前記画像認識装置４はさらに、
前記側面視画像フレームから前記変化オブジェクトの側面画像を取得するための第３取得ユニットと、
前記変化オブジェクトの側面画像に基づき、前記変化オブジェクトのオブジェクト値を取得するための第４取得ユニットであって、前記オブジェクト値は前記変化オブジェクトを構成する少なくとも１つの変化サブオブジェクトの値の総和であり、前記変化オブジェクトの側面画像は、異なる値を特徴付ける前記少なくとも１つの変化サブオブジェクトの各々の側面画像を含む、第４取得ユニットと、
前記目標干渉オブジェクトと前記オブジェクト値とを関連付けるための第１関連付けユニットと、を含む。
前記側面視画像フレームから前記変化オブジェクトの側面画像を取得するための第３取得ユニットと、
前記変化オブジェクトの側面画像に基づき、前記変化オブジェクトのオブジェクト値を取得するための第４取得ユニットであって、前記オブジェクト値は前記変化オブジェクトを構成する少なくとも１つの変化サブオブジェクトの値の総和であり、前記変化オブジェクトの側面画像は、異なる値を特徴付ける前記少なくとも１つの変化サブオブジェクトの各々の側面画像を含む、第４取得ユニットと、
前記目標干渉オブジェクトと前記オブジェクト値とを関連付けるための第１関連付けユニットと、を含む。
【0196】
いくつかの実施例では、前記第２決定ユニット４０２は、
前記少なくとも１つのマッチング対象画像フレームのうちの各マッチング対象画像フレームから、前記少なくとも１つの干渉オブジェクトが１つのマッチング対象画像フレームにおいて現れる部位である少なくとも１つの干渉部位を認識するための認識ユニットと、
前記変化オブジェクトと認識された干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得るための組み合わせユニットと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定するための第１決定サブユニットであって、前記関連度が最も高い組み合わせのうちの干渉部位は目標干渉部位である、第１決定サブユニットと、
前記関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、前記関連画像フレームとするための第２決定サブユニットと、を含む。
前記少なくとも１つのマッチング対象画像フレームのうちの各マッチング対象画像フレームから、前記少なくとも１つの干渉オブジェクトが１つのマッチング対象画像フレームにおいて現れる部位である少なくとも１つの干渉部位を認識するための認識ユニットと、
前記変化オブジェクトと認識された干渉部位とを一対一で組み合わせ、変化オブジェクトと干渉部位との少なくとも１群の組み合わせを得るための組み合わせユニットと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから関連度が最も高い組み合わせを決定するための第１決定サブユニットであって、前記関連度が最も高い組み合わせのうちの干渉部位は目標干渉部位である、第１決定サブユニットと、
前記関連度が最も高い組み合わせのうちの干渉部位が存在するマッチング対象画像フレームを、前記関連画像フレームとするための第２決定サブユニットと、を含む。
【0197】
いくつかの実施例では、前記第３決定ユニット４０４は、
前記関連画像フレームと前記側面視画像フレームとの画像融合を行い、前記目標干渉部位の側面視画像を得るための融合ユニットであって、前記目標干渉部位の側面視画像は前記目標干渉部位の、前記側面視画像フレームにおける画像である、融合ユニットと、
少なくとも１つの干渉オブジェクトのうちの各々の側面視画像を含む前記側面視画像フレームに基づき、前記目標干渉部位の側面視画像に関連する目標干渉オブジェクトの側面視画像を得るための第２関連付けユニットと、
前記目標干渉オブジェクトの側面視画像に基づき、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係から、前記目標干渉オブジェクトのアイデンティティ情報を決定するための第３決定サブユニットと、を含む。
前記関連画像フレームと前記側面視画像フレームとの画像融合を行い、前記目標干渉部位の側面視画像を得るための融合ユニットであって、前記目標干渉部位の側面視画像は前記目標干渉部位の、前記側面視画像フレームにおける画像である、融合ユニットと、
少なくとも１つの干渉オブジェクトのうちの各々の側面視画像を含む前記側面視画像フレームに基づき、前記目標干渉部位の側面視画像に関連する目標干渉オブジェクトの側面視画像を得るための第２関連付けユニットと、
前記目標干渉オブジェクトの側面視画像に基づき、干渉オブジェクトの画像と干渉オブジェクトのアイデンティティ情報との予め記憶された対応関係から、前記目標干渉オブジェクトのアイデンティティ情報を決定するための第３決定サブユニットと、を含む。
【0198】
いくつかの実施例では、前記第１決定サブユニットはさらに、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせのうちの各組み合わせの変化オブジェクトから干渉部位までの距離を取得するための第５取得ユニットと、
前記距離のうちの最小距離を決定するための第４決定サブユニットと、
前記最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、前記関連度が最も高い組み合わせとするための第５決定サブユニットと、を含む。
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせのうちの各組み合わせの変化オブジェクトから干渉部位までの距離を取得するための第５取得ユニットと、
前記距離のうちの最小距離を決定するための第４決定サブユニットと、
前記最小距離に対応する変化オブジェクトと干渉部位との組み合わせを、前記関連度が最も高い組み合わせとするための第５決定サブユニットと、を含む。
【0199】
いくつかの実施例では、前記第４決定サブユニットは、
前記距離を反比例計算し、前記距離のうちの各距離の計算結果を得るステップと、
前記計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を前記最小距離と決定するステップと、を実行するために用いられる。
前記距離を反比例計算し、前記距離のうちの各距離の計算結果を得るステップと、
前記計算結果のうちの最大計算結果を決定し、最大計算結果に対応する距離を前記最小距離と決定するステップと、を実行するために用いられる。
【0200】
いくつかの実施例では、前記第１決定サブユニットはさらに、
認識された各干渉部位のそれぞれの実移動軌跡を取得するための第６取得ユニットと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから、各組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡を取得するための第７取得ユニットであって、１つの組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡は、前記組み合わせのうちの干渉部位と変化オブジェクトとを結んだ軌跡である、第７取得ユニットと、
各実移動軌跡と各模擬移動軌跡との類似度を比較するための比較ユニットと、
１つの実移動軌跡との類似度が最も高い模擬移動軌跡に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせと決定するための第６決定サブユニットと、を含む。
認識された各干渉部位のそれぞれの実移動軌跡を取得するための第６取得ユニットと、
前記変化オブジェクトと干渉部位との少なくとも１群の組み合わせから、各組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡を取得するための第７取得ユニットであって、１つの組み合わせのうちの干渉部位から変化オブジェクトまでの模擬移動軌跡は、前記組み合わせのうちの干渉部位と変化オブジェクトとを結んだ軌跡である、第７取得ユニットと、
各実移動軌跡と各模擬移動軌跡との類似度を比較するための比較ユニットと、
１つの実移動軌跡との類似度が最も高い模擬移動軌跡に対応する変化オブジェクトと干渉部位との組み合わせを、関連度が最も高い組み合わせと決定するための第６決定サブユニットと、を含む。
【0201】
いくつかの実施例では、前記第６取得ユニットは、
前記目標オブジェクトの状態に変化が発生するトリガ時点を取得するための第８取得ユニットと、
前記トリガ時点前の第２所定時間内で収集された少なくとも１つの移動軌跡画像フレームを取得するための第９取得ユニットであって、前記少なくとも１つの移動軌跡画像フレームは前記検出領域上方に位置する前記画像収集機器により取得される、第９取得ユニットと、
認識された各干渉部位の、前記少なくとも１つの移動軌跡画像フレームにおける対応する位置情報を取得するための第１０取得ユニットと、
前記少なくとも１つの移動軌跡画像フレームの時系列に基づき、前記位置情報をベクトル化して連結し、認識された各干渉部位の実移動軌跡を得るための連結ユニットと、を含む。
前記目標オブジェクトの状態に変化が発生するトリガ時点を取得するための第８取得ユニットと、
前記トリガ時点前の第２所定時間内で収集された少なくとも１つの移動軌跡画像フレームを取得するための第９取得ユニットであって、前記少なくとも１つの移動軌跡画像フレームは前記検出領域上方に位置する前記画像収集機器により取得される、第９取得ユニットと、
認識された各干渉部位の、前記少なくとも１つの移動軌跡画像フレームにおける対応する位置情報を取得するための第１０取得ユニットと、
前記少なくとも１つの移動軌跡画像フレームの時系列に基づき、前記位置情報をベクトル化して連結し、認識された各干渉部位の実移動軌跡を得るための連結ユニットと、を含む。
【0202】
いくつかの実施例では、前記画像認識装置４はさらに、
前記検出領域上方に位置する前記画像収集機器によって、前記検出領域での新たな１群の目標オブジェクトの出現、または前記検出領域の元の任意の少なくとも１群の目標オブジェクトの消失を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するための第１監視ユニットを含む。
前記検出領域上方に位置する前記画像収集機器によって、前記検出領域での新たな１群の目標オブジェクトの出現、または前記検出領域の元の任意の少なくとも１群の目標オブジェクトの消失を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するための第１監視ユニットを含む。
【0203】
いくつかの実施例では、前記少なくとも１群の目標オブジェクトは少なくとも１つのサブオブジェクトを積み上げてなる少なくとも１群の目標オブジェクトであり、前記画像認識装置４はさらに、
前記検出領域側面に位置する前記画像収集機器によって、前記少なくとも１群の目標オブジェクトのいずれか１群に含まれるサブオブジェクトの数または外観の変化を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するための第２監視ユニットを含む。
前記検出領域側面に位置する前記画像収集機器によって、前記少なくとも１群の目標オブジェクトのいずれか１群に含まれるサブオブジェクトの数または外観の変化を監視した場合、前記検出領域の少なくとも１群の目標オブジェクトの状態に変化が発生したと判定するための第２監視ユニットを含む。
【0204】
説明すべきは、実際の応用において、上記第１決定ユニット４００、第１取得ユニット４０１、第２決定ユニット４０２、第２取得ユニット４０３および第３決定ユニット４０４は画像認識装置２に位置するプロセッサ５４によって実現されてもよく、具体的には、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ、ＭＰＵ）、ディジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）などによって実現される点である。
【0205】
本開示の実施例は画像認識方法に対応する画像認識装置を提供し、図８は本開示の実施例によって提供される画像認識装置の第２構成模式図であり、図８に示すように、前記画像認識装置５は、プロセッサ５４、メモリ５５および通信バス５６を含み、メモリ５５が通信バス５６を介してプロセッサ５４と通信し、メモリ５５にプロセッサ５４の実行可能な１つ以上のプログラムが記憶され、１つ以上のプログラムが実行される時、プロセッサ５４によって前記実施例のいずれかの画像認識方法が実行される。
【0206】
なお、本開示の実施例では、画像認識装置は俯瞰角度から正確度がより高い目標干渉部位情報を得て、画像融合により、俯瞰角度での目標干渉部位情報と側面視角度での干渉オブジェクトの完全な側面情報とを結合することができ、俯瞰角度での目標干渉部位情報と側面視角度での目標干渉オブジェクトの側面情報との関連付けが実現され、さらに、予め記憶された干渉オブジェクトの画像情報と関連付けることで、目標干渉オブジェクトの認識正確度が向上することが理解される。
【0207】
本開示の実施例は、１つ以上のプロセッサ５４により実行されて、本開示の実施例の画像認識方法を実現可能な１つ以上のプログラムが記憶されている、コンピュータ可読記憶媒体を提供する。
【0208】
当業者であれば、本開示の実施例が方法、システムまたはコンピュータプログラム製品として提供されてもよいことを理解すべきである。したがって、本開示は、ハードウェア実施例、ソフトウェア実施例またはソフトウェアとハードウェアを組み合わせた実施例の形態を採用してもよい。また、本開示は、コンピュータ利用可能プログラムコードを含む１つ以上のコンピュータ利用可能記憶媒体（ディスクメモリや光学的メモリ等を含むが、それらに限定されない）で実施されるコンピュータプログラム製品の形態を採用してもよい。
【0209】
本開示は本開示の実施例に係る方法、機器（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明している。なお、フローチャートおよび／またはブロック図におけるそれぞれのフローおよび／またはブロック、ならびにフローチャートおよび／またはブロック図におけるフローおよび／またはブロックの組み合わせはコンピュータプログラム命令によって実現できることを理解すべきである。これらのコンピュータプログラム命令は、機械を製造するために、共通コンピュータ、専用コンピュータ、組み込みプロセッサまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令は、フローチャートの１つ以上のフローおよび／またはブロック図の１つ以上のブロックにおいて指定された機能を実現する手段を創出する。
【0210】
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置を決定の方式で動作させるように指導可能なコンピュータ可読メモリに記憶されてもよく、それによって前記コンピュータ可読メモリに記憶された命令は、フローチャートの１つ以上のフローおよび／またはブロック図の１つ以上のブロックにおいて指定された機能を実現する命令手段を含む製品を創出する。
【0211】
これらのコンピュータプログラム命令はコンピュータまたは他のプログラマブルデータ処理装置にロードすることにより、コンピュータ実行処理を生成するように、コンピュータまたは他のプログラマブルデータ処理装置において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータまたは他のプログラマブルデータ処理装置において実行される命令はフローチャートの１つ以上のフローおよび／またはブロック図の１つ以上のブロックにおいて指定された機能を実現するためのステップを提供する。
【0212】
上述したものは、本開示の保護範囲を限定するためのものではなく、本開示の好ましい実施例に過ぎない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】