特表2022-523282 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 商▲湯▼国▲際▼私人有限公司の特許一覧

特表2022-523282画像選別方法、装置、及び電子デバイス

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3A
3B
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-22

(54)【発明の名称】画像選別方法、装置、及び電子デバイス

(51)【国際特許分類】

G06T 7/00 20170101AFI20220415BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021518868

(86)(22)【出願日】2020-04-14

(85)【翻訳文提出日】2021-04-06

(86)【国際出願番号】 IB2020053494

(87)【国際公開番号】W WO2021130554

(87)【国際公開日】2021-07-01

(31)【優先権主張番号】10201913146V

(32)【優先日】2019-12-24

(33)【優先権主張国・地域又は機関】SG

(81)【指定国・地域】

(71)【出願人】

【識別番号】520238082

【氏名又は名称】商▲湯▼国▲際▼私人有限公司

【氏名又は名称原語表記】ＳＥＮＳＥＴＩＭＥＩＮＴＥＲＮＡＴＩＯＮＡＬＰＴＥ．ＬＴＤ．

【住所又は居所原語表記】７５００ＡＢｅａｃｈＲｏａｄ，＃０５－３１８，ＴｈｅＰｌａｚａ１９９５９１ＳｉｎｇａｐｏｒｅＳｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】▲呉▼ ▲進▼

(72)【発明者】

【氏名】▲陳▼ ▲凱▼歌

(72)【発明者】

【氏名】伊 ▲帥▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096CA05

5L096DA02

5L096EA35

5L096FA02

5L096FA52

5L096FA66

5L096FA69

5L096GA34

5L096GA51

5L096HA11

5L096JA11

5L096JA16

(57)【要約】

本発明は、画像選別方法、装置、及び電子デバイスを開示し、当該方法は、目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得することと、前記第１画像に対して検出を実行して、前記第１画像内の目標対象の第１検出結果を取得することと、前記第１画像内の前記目標対象の前記第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の前記状態を確定すし、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定することと、を含み、ここで、前記状態確定待ちの目標対象の前記検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定される。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像選別方法であって、
目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得することと、
前記第１画像に対して検出を実行して、前記第１画像内の目標対象の第１検出結果を取得することと、
前記第１画像内の前記目標対象の前記第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の状態を確定することと、
前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定することと、を含み、
前記状態確定待ちの目標対象は、前記第１画像内の１つの目標対象であり、前記状態確定待ちの目標対象の前記第２検出結果は、第２画像に対して検出を実行して得られた、前記状態確定待ちの目標対象の前記第２画像における検出結果であり、前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームの画像であり、Ｎは正の整数であり、
前記状態確定待ちの目標対象の前記検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定される
ことを特徴とする画像選別方法。

【請求項2】

前記状態確定待ちの目標対象の前記状態は、遮蔽状態と運動状態を含み、
前記第１画像内の前記目標対象の前記第１検出結果と前記状態確定待ちの目標対象の前記第２検出結果に基づいて、前記状態確定待ちの目標対象の前記状態を確定することは、
前記状態確定待ちの目標対象の前記第１検出結果および前記状態確定待ちの目標対象の前記第２検出結果に基づいて、前記状態確定待ちの目標対象の運動状態を確定することと、
前記状態確定待ちの目標対象の前記運動状態が所定の運動状態条件を満たすか否かを確定することと、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記第１検出結果、および、前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象の第１検出結果に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定することと、を含む
ことを特徴とする請求項１に記載の画像選別方法。

【請求項3】

前記第１画像内の目標対象の前記第１検出結果は、前記第１画像内の前記目標対象の検出フレームを含み、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記第１検出結果、および、前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象の前記第１検出結果に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定することは、
前記状態確定待ちの目標対象の前記運動状態が所定の前記運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定することを含む
ことを特徴とする請求項２に記載の画像選別方法。

【請求項4】

前記状態確定待ちの目標対象は、第１種類の目標対象であり、前記ビデオストリームは、前記目標領域の上面からの視角で収集して得られたものであり、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の前記交差比に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定することは、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の前記交差比がいずれも０以下であることに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定することと、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定することと、を含む
ことを特徴とする請求項３に記載の画像選別方法。

【請求項5】

【請求項6】

前記状態確定待ちの目標対象は、第２種類の目標対象であり、前記ビデオストリームは、前記目標領域の側面からの視角で収集して得られたものであり、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の前記交差比に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定することは、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、前記状態確定待ちの目標対象の同期化画像における位置、側面遮蔽対象の前記同期化画像における位置、および、前記ビデオストリームを収集した画像収集デバイスの位置に基づいて、前記状態確定待ちの目標対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離が、各々の側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも小さいか否かを確定することと、
前記状態確定待ちの目標対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離が、任意の側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも小さいことに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定することと、
前記状態確定待ちの目標対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離が、１つの側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも大きいことに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定することと、を含み、
前記同期化画像は、前記目標領域の上面からの視角で、前記第１画像と同期的に収集して得られたものであり、前記側面遮蔽対象は、検出フレームと前記状態確定待ちの目標対象の検出フレームとの交差比がゼロよりも大きい目標対象である
ことを特徴とする請求項３に記載の画像選別方法。

【請求項7】

前記状態確定待ちの目標対象の前記第１検出結果および前記状態確定待ちの目標対象の前記第２検出結果に基づいて、前記状態確定待ちの目標対象の前記運動状態を確定することは、
前記状態確定待ちの目標対象の前記第１検出結果に基づいて前記状態確定待ちの目標対象の前記第１画像における第１位置を確定することと、
前記状態確定待ちの目標対象の前記第２検出結果に基づいて前記状態確定待ちの目標対象の前記第２画像における第２位置を確定することと、
前記第１位置、前記第２位置、前記第１画像を収集した時間、および、前記第２画像を収集した時間に基づいて、前記状態確定待ちの目標対象の運動速度を確定することと、
前記状態確定待ちの目標対象の前記運動速度に基づいて前記状態確定待ちの目標対象の前記運動状態を確定することと、を含み、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定することは、
前記状態確定待ちの目標対象の前記運動速度、および、前記ビデオストリームを収集した画像収集デバイスの画像収集フレームレートに基づいて、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定することを含む
ことを特徴とする請求項２乃至６の中のいずれか１項に記載の画像選別方法。

【請求項8】

前記状態確定待ちの目標対象の前記状態は、遮蔽状態と運動状態を含み、前記状態確定待ちの目標対象の前記遮蔽状態は、遮られていない状態と遮られている状態を含み、前記状態確定待ちの目標対象の前記運動状態は、所定の運動状態条件を満たす運動状態、および、前記所定の運動状態条件を満たさない運動状態を含み、
前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定することは、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が前記遮られていない状態にいる場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第１品質画像であると確定することと、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が前記遮られている状態にいる場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第２品質画像であると確定することと、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たさない場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第３品質画像であると確定することと、を含む
ことを特徴とする請求項１乃至７の中のいずれか１項に記載の画像選別方法。

【請求項9】

ニューラルネットワークを利用して前記第１画像内の前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の品質分類結果を確定することと、
前記ニューラルネットワークを利用して確定した前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質分類結果が、前記状態確定待ちの目標対象の前記状態に基づいて確定した前記状態確定待ちの目標対象の前記検出フレーム内の画像の前記品質レベルと一致することに応答して、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の目標品質レベルとすることと、をさらに含み、
前記ニューラルネットワークは、品質レベルがラベリングされたサンプル画像を使用して訓練して得られたものであり、１つのサンプル画像内には、少なくとも１つの状態確定待ちの目標対象が含まれる
ことを特徴とする請求項１乃至８の中のいずれか１項に記載の画像選別方法。

【請求項10】

画像選別装置であって、
目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得するための画像取得ユニットと、
前記第１画像に対して検出を実行して、第１画像内の目標対象の前記第１検出結果を取得するための検出結果取得ユニットと、
前記第１画像内の前記目標対象の前記第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の状態を確定するための状態確定ユニットと、
前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定するための品質確定ユニットと、備え、
前記状態確定待ちの目標対象は、前記第１画像内の１つの目標対象であり、前記状態確定待ちの目標対象の前記第２検出結果は、第２画像に対して検出を実行して得られた、前記状態確定待ちの目標対象の前記第２画像における検出結果であり、前記前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームの画像であり、Ｎは正の整数であり、
前記状態確定待ちの目標対象の前記検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定される
ことを特徴とする画像選別装置。

【請求項11】

前記状態確定ユニットは、具体的に、前記状態確定待ちの目標対象の前記第１検出結果および前記状態確定待ちの目標対象の前記第２検出結果に基づいて、前記状態確定待ちの目標対象の運動状態を確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記第１検出結果、および、前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象の第１検出結果に基づいて、前記状態確定待ちの目標対象の遮蔽状態を確定する
ことを特徴とする請求項１０に記載の画像選別装置。

【請求項12】

前記第１画像内の前記目標対象の前記第１検出結果は、前記第１画像内の前記目標対象の検出フレームを含み、
前記状態確定ユニットは、さらに、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定する
ことを特徴とする請求項１１に記載の画像選別装置。

【請求項13】

前記状態確定待ちの目標対象は、第１種類の目標対象であり、前記ビデオストリームは、前記目標領域の上面からの視角で収集して得られたものであり、
前記状態確定ユニットは、さらに、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満し、かつ、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の交差比がいずれも０以下であることに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定し、
前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定する
ことを特徴とする請求項１２に記載の画像選別装置。

【請求項14】

前記状態確定待ちの目標対象は、第２種類の目標対象であり、前記ビデオストリームは、前記目標領域の側面からの視角で収集して得られたものであり、
前記状態確定ユニットは、さらに、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の交差比がいずれも０以下であることに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定する
ことを特徴とする請求項１２に記載の画像選別装置。

【請求項15】

前記状態確定待ちの目標対象は、第２種類の目標対象であり、前記ビデオストリームは、前記目標領域の側面からの視角で収集して得られたものであり、
前記状態確定ユニットは、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、前記状態確定待ちの目標対象の同期化画像における位置、側面遮蔽対象の前記同期化画像における位置、および、前記ビデオストリームを収集した画像収集デバイスの位置に基づいて、前記状態確定待ちの目標対象と前記前記ビデオストリームを収集した画像収集デバイスとの間の距離が、各々の側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも小さいか否かを確定し、
前記状態確定待ちの目標対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離が、任意の側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも小さいことに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定し、
前記状態確定待ちの目標対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離が、１つの側面遮蔽対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離よりも大きいことに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定し、
前記同期化画像は、前記目標領域の上面からの視角で、前記第１画像と同期的に収集して得られたものであり、側面遮蔽対象は、検出フレームと前記状態確定待ちの目標対象の検出フレームとの交差比がゼロよりも大きい目標対象である
ことを特徴とする請求項１２に記載の画像選別装置。

【請求項16】

前記状態確定ユニットは、前記状態確定待ちの目標対象の第１検出結果に基づいて前記状態確定待ちの目標対象の前記第１画像における第１位置を確定し、前記状態確定待ちの目標対象の第２検出結果に基づいて前記状態確定待ちの目標対象の前記第２画像における第２位置を確定し、前記第１位置、前記第２位置、前記第１画像を収集した時間、および、前記第２画像を収集した時間に基づいて、前記状態確定待ちの目標対象の運動速度を確定し、前記状態確定待ちの目標対象の前記運動速度に基づいて前記状態確定待ちの目標対象の前記運動状態を確定し、
前記状態確定ユニットは、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定する場合、具体的に、前記状態確定待ちの目標対象の前記運動速度、および、前記ビデオストリームを収集した画像収集デバイスの画像収集フレームレートに基づいて、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定する
ことを特徴とする請求項１１乃至１５の中のいずれか１項に記載の画像選別装置。

【請求項17】

前記状態確定待ちの目標対象の前記状態は、遮蔽状態と運動状態を含み、前記状態確定待ちの目標対象の前記遮蔽状態は、遮られていない状態と遮られている状態を含み、前記状態確定待ちの目標対象の前記運動状態は、所定の運動状態条件を満たす運動状態、および、前記所定の運動状態条件を満たさない運動状態を含み、
品質確定ユニットは、具体的に、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が遮られていない状態にいる場合、前記状態確定待ちの目標対象の検出フレーム内の画像が第１品質画像であると確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が前記遮られている状態にいる場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第２品質画像であると確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たさない場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第３品質画像であると確定する
ことを特徴とする請求項１０乃至１６の中のいずれか１項に記載の画像選別装置。

【請求項18】

ニューラルネットワークを利用して前記第１画像内の前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の品質分類結果を確定し、前記ニューラルネットワークを利用して確定した前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質分類結果が、前記状態確定待ちの目標対象の前記状態に基づいて確定した前記状態確定待ちの目標対象の前記検出フレーム内の画像の前記品質レベルと一致することに応答して、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の目標品質レベルとするための分類ユニットをさらに備え、
前記ニューラルネットワークは、品質レベルがラベリングされたサンプル画像を使用して訓練して得られたものであり、１つのサンプル画像内には、少なくとも１つの状態確定待ちの目標対象が含まれる
ことを特徴とする請求項１０乃至１７の中のいずれか１項に記載の画像選別装置。

【請求項19】

電子デバイスであって、
前記電子デバイスは、メモリとプロセッサとを備え、前記メモリは、前記プロセッサ上で実行できるコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令を実行するときに、請求項１乃至９の中のいずれか１項に記載の方法が実現される
ことを特徴とする電子デバイス。

【請求項20】

コンピュータプログラムが記憶されているコンピュータ可読記録媒体であって、
前記プログラムがプロセッサによって実行されるときに、前記プロセッサが請求項１乃至９の中のいずれか１項に記載の方法を実現するようにする
ことを特徴とする記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータ視覚技術の分野に関し、特に、画像選別方法、装置、及び電子デバイスに関する。
＜関連出願の相互引用＞
本願は、出願番号が１０２０１９１３１４６Ｖであり、出願日が２０１９年１２月２４日であり、名称が「画像選別方法、装置、及び電子デバイス」である、シンガポール特許出願に基づいて提出されたものであり、当該特許出願の優先権を主張し、当該特許出願の全ての内容が参照のために本願に援用される。

【背景技術】

【0002】

近年、人工知能技術の継続的な発展により、人工知能技術は、コンピュータ視覚、音声認識などにおいて、いずれも比較的良好な効果を得た。デスクトップゲームシーンのような、いくつかの相対的に特殊なシーンにおいて、デスクトップ物体を認識する需要が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、画像選別方法の解決策を提供する。

【課題を解決するための手段】

【0004】

具体的に、本発明は、以下の技術的解決策によって実現される。

【0005】

本発明の実施例の第１態様によると、画像選別方法を提供する。前記方法は、目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得することと、前記第１画像に対して検出を実行して、前記第１画像内の目標対象の第１検出結果を取得することと、前記第１画像内の前記目標対象の前記第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の状態を確定することと、前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定することと、を含み、前記状態確定待ちの目標対象は、前記第１画像内の１つの目標対象であり、前記状態確定待ちの目標対象の前記第２検出結果は、第２画像に対して検出を実行して得られた、前記状態確定待ちの目標対象の前記第２画像における検出結果であり、前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームの画像であり、Ｎは正の整数であり、前記状態確定待ちの目標対象の前記検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定される。

【0006】

本発明の実施例の第２態様によると、画像選別装置を提供し、前記装置は、目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得するための画像取得ユニットと、前記第１画像に対して検出を実行して、第１画像内の目標対象の前記第１検出結果を取得するための検出結果取得ユニットと、前記第１画像内の前記目標対象の前記第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の状態を確定するための状態確定ユニットと、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定するための品質確定ユニットと、備え、前記状態確定待ちの目標対象は、前記第１画像内の１つの目標対象であり、前記状態確定待ちの目標対象の前記第２検出結果は、第２画像に対して検出を実行して得られた、前記状態確定待ちの目標対象の前記第２画像における検出結果であり、前記前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームの画像であり、Ｎは正の整数であり、前記状態確定待ちの目標対象の前記検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定される。

【0007】

本発明の実施例の第３態様によると、電子デバイスをさらに提供し、前記電子デバイスは、メモリとプロセッサとを備え、前記メモリは、前記プロセッサ上で実行できるコンピュータ命令を記憶し、前記プロセッサは、前記コンピュータ命令が実行されるときに、本発明の実施例によって提供される第１態様の画像選別方法を実現する。

【0008】

本発明の実施例の第４態様によると、コンピュータプログラムが記憶されているコンピュータ可読記録媒体をさらに提供し、前記プログラムがプロセッサによって実行されるときに、前記プロセッサが本発明の実施例によって提供される第１態様の画像選別方法を実現するようにする。

【発明の効果】

【0009】

本発明の実施例によると、目標領域の画像を収集して得られたビデオストリーム中の第１画像内の目標対象の第１検出結果、および、第２画像内の状態確定待ちの目標対象の第２検出結果に基づいて、前記第１画像内の前記状態確定待ちの目標対象の状態を確定し、ここで、前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームの画像である。このようにして、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定することができ、さらに、確定された品質レベルに基づいてビデオストリーム中のフレーム画像をフィルタリングすることによって、認識効率を向上させることができる。

【0010】

上記の一般的な説明および以下の詳細な説明は、例示的および解釈的なものに過ぎず、本発明を限定するものではないことを理解すべきである。

【図面の簡単な説明】

【0011】

ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、これら図面は本発明に一致する実施例を示し、明細書とともに本発明の技術的解決策を説明する。

【図1】本発明の少なくとも１つの実施例によって提供される画像選別方法のフローチャートである。

【図2】本発明の少なくとも１つの実施例によって提供される適用シーン模式図である。

【図3A】本発明の少なくとも一実施例によって提供される目標対象の模式図である。

【図3B】本発明の少なくとも一実施例によって提供されるもう１つの目標対象の模式図である。

【図4】本発明の少なくとも１つの実施例によって提供される状態確定待ちの目標対象の運動状態を確定する方法のフローチャートである。

【図5】本発明の少なくとも一実施例によって提供される画像選別装置の模式図である。

【図6】本発明の少なくとも一実施例によって提供される電子デバイスの構成の模式図である。

【発明を実施するための形態】

【0012】

ここで、例示的な実施例を詳細に説明し、その例を図面に示す。以下の説明が図面を言及している場合、特に明記しない限り、異なる図面での同じ符号は同じまたは類似の要素を表す。以下の例示的な実施例で説明する実施形態は、本発明と一致するすべての実施形態を表すわけではない。逆に、それらは、添付の特許請求の範囲に詳述されているように、本発明のいくつかの態様と一致する装置と方法の単なる例である。

【0013】

本発明で使用する用語は、特定の実施例を説明することのみを目的としており、本発明を限定することを意図するものではない。本発明および添付の特許請求の範囲で使用される「１種」、「前記」、および、「当該」の単数形も、文脈が他の意味を明確に示さない限り、複数形を含むことを意図する。本明細書で使用される「および／または」という用語は、１つまたは複数の関連するリストされた項目の任意またはすべての可能な組み合わせを指すことをさらに理解すべきである。また、本明細書における「少なくとも１つ」という用語は、複数種類の中の任意の１種または複数種類の中の少なくとも２種類の任意の組み合わせを意味する。

【0014】

本発明では、第１、第２、第３などの用語を使用してさまざまな情報を説明することができるが、これら情報はこれら用語に限定されるべきではないことを理解すべきである。これら用語は、同じタイプの情報を互いに区別するためにのみ使用される。たとえば、本発明の範囲から逸脱することなく、第１情報はまた第２情報と呼ばれ得、同様に、第２情報もまた第１情報と呼ばれ得る。文脈に応じて、ここで使用される「もし」という単語は、「……と」または「……場合」または「確定されたことに応答して」と解釈することができる。

【0015】

本発明の実施例の技術的解決策を当業者がよりよく理解することを可能にし、本発明の実施例の目的、特徴、および利点をより明白かつ理解可能にするために、以下、図面を参照して本発明の実施例の技術的解決策さらに詳細に説明する。

【0016】

本発明の１例のデスクトップゲームシーンにおいて、複数の人が１つのゲームテーブルの周りに座ることができ、当該ゲームテーブル上には複数のゲーム領域が含まれることができる。異なるゲーム領域は、異なるゲーム内容を含むことができる。また、マルチプレイヤーゲームにおいて、ユーザは、被交換物品（たとえばゲームコイン）を使用してゲームをプレイする。

【0017】

たとえば、ユーザは、自分の物品のいくつかで当該ゲームコインを交換し、ゲームコインをゲームテーブルの異なる積み重ね領域に置いてゲームをプレイすることができる。例を挙げて説明すると、第１ユーザは、自分が所有している複数の水彩ペンでゲームで使用される駒を交換し、駒を利用してゲームテーブル上異なる積み重ね領域間でゲームルールに従ってゲームをプレイすることができ、第２ユーザがゲームで第１ユーザを勝った場合、当該第１ユーザの駒を第２ユーザに属させることができる。たとえば、上述した当該ゲームは、休日などの余暇時間に複数の家族の間でのレクリエーション活動に適している。

【0018】

人工知能技術の継続的な発展により、多くの場所で知能化の構築を試している。たとえば、課題の１つは、スマートゲーム場所の構築である。そうすれば、スマートゲーム場所の１つの需要は、ゲームで使用するゲームコインを自動的に認識することであり、たとえば、ゲームコインの数量を自動的に認識することである。

【0019】

図１は、本発明の少なくとも１つの実施例によって提供される画像選別方法のフローチャートである。図１に示すように、当該方法は、ステップ１０１～１０４を含み得る。

【0020】

ステップ１０１において、目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得する。

【0021】

本発明の実施例において、目標領域は、目標対象が置かれている領域であり、たとえば、目標領域は、平面（たとえば、デスクトップ）、容器（たとえば、ボックス）などであり得る。目標対象は、１つまたは複数の物体であり得、いくつかのより一般的な状況において、目標対象は、ゲームコイン、紙幣、カードなどの、さまざまな形状のシート状の物体である。図２は、デスクトップゲームシーンでのデスクトップの一部の模式図であり、前記デスクトップは、複数の目標領域を含み、ここで、囲まれた各々の領域は、１つの目標領域を示す。当該シーンでの目標対象は、たとえば前記デスクトップ上のゲームコインである。

【0022】

ステップ１０２において、前記第１画像に対して検出を実行して、第１画像内の目標対象の第１検出結果を取得する。

【0023】

いくつかの実施例において、前記第１画像を予め訓練された目標検出ネットワークに入力することによって、前記第１画像内の目標対象の第１検出結果を取得することができる。当該目標検出ネットワークは、目標対象の種類がラベリングされたサンプル画像を利用して訓練することができ、前記第１検出結果は、各々の目標対象の検出フレーム、検出フレームの位置、および、前記各々の目標対象の分類結果を含む。

【0024】

ステップ１０３において、前記第１画像内の目標対象の第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の状態を確定する。

【0025】

本発明の実施例において、前記状態確定待ちの目標対象は、前記第１画像内の１つの目標対象であり、前記状態確定待ちの目標対象の第２検出結果は、第２画像に対して検出を実行して得られた、前記状態確定待ちの目標対象の前記第２画像における検出結果であり、前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームであり、Ｎは正の整数である。

【0026】

いくつかの実施例において、前記状態確定待ちの目標対象の状態は、遮蔽状態と運動状態を含み得る。遮蔽状態は、状態確定待ちの目標対象が他の目標対象によって遮られたか否かを表し、運動状態は、状態確定待ちの目標対象が所定の運動状態条件を満たすか否かを表す。当業者は、状態確定待ちの目標対象の状態は、他の状態をさらに含んでもよく、上記に限定されないことを理解すべきである。

【0027】

前記第１画像がビデオストリーム中の第１フレーム画像である場合、前記第１画像の後に位置するＮフレームの画像の中の少なくとも１フレームの画像である第２画像に対して検出を実行して、前記状態確定待ちの目標対象の前記第２画像における検出結果を得ることができ、したがって、前記状態確定待ちの目標対象の状態を確定することができる。前記第１画像がビデオストリーム中のフレーム画像ではない第１フレーム画像である場合、前記第１画像の前に位置するＮフレームの画像の中の少なくとも１フレームの画像である第２画像に基づいて検出を実行して、前記状態確定待ちの目標対象の前記第２画像における検出結果を得ることができ、したがって、前記状態確定待ちの目標対象の状態を確定することができる。

【0028】

ステップ１０４において、前記状態確定待ちの目標対象の状態に基づいて、前記状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを確定する。

【0029】

本発明の実施例において、前記状態確定待ちの目標対象の検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定される。

【0030】

１例において、前記第１検出結果中の状態確定待ちの目標対象の検出フレームに対して、前記検出フレーム内の画像をカッティングして、前記状態確定待ちの目標対象の状態に基づいてカッティングされた画像の品質レベルを確定することができる。さらに、前記状態確定待ちの目標対象の状態に基づいて、前記第１画像内の状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを確定することもできる。

【0031】

本発明の実施例において、目標領域の画像を収集して得られたビデオストリーム中の第１画像内の目標対象の第１検出結果、および、隣接する複数のフレームの画像の中の第２画像内の状態確定待ちの目標対象の第２検出結果に基づいて、前記第１画像内の前記状態確定待ちの目標対象の状態を確定することによって、前記状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを確定し、さらに、前記品質レベルに基づいて状態確定待ちの目標対象に対して高品質の画像を選別することができて、認識効率を向上させることができる。

【0032】

いくつかの実施例において、前記状態確定待ちの目標対象の状態は、遮蔽状態と運動状態を含み、前記状態確定待ちの目標対象の状態は、以下の方式によって確定することができる。

【0033】

まず、前記状態確定待ちの目標対象の第１検出結果および前記状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の運動状態を確定する。すなわち、前記状態確定待ちの目標対象の、第１画像（現在フレーム画像とも呼ばれる）における第１検出結果、および、前記状態確定待ちの目標対象の、第２画像（前記第１画像の前の１フレームの画像または前記第１画像の後の１フレームの画像）における第２検出結果に基づいて、前記状態確定待ちの目標対象の位置変化を確定し、第１画像と第２画像との間の時間間隔を収集し、当該位置変化と当該時間間隔を結合して、前記状態確定待ちの目標対象の運動状態を確定することができる。

【0034】

続いて、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たすか否かを確定する。

【0035】

１例において、所定の運動状態条件を、運動速度が所定の運動速度閾値よりも小さいことに設定することができる。

【0036】

前記状態確定待ちの目標対象の第１画像および第２画像における位置変化、および、時間間隔に基づいて、当該状態確定待ちの目標対象の運動速度を確定することができる。運動速度がゼロであることに応答して、当該状態確定待ちの目標対象が静止状態にいると確定でき、そうすれば、その運動状態が所定の運動状態条件を満たすと確定することができる。運動速度が運動速度閾値よりも小さいことに応答して、同様に、その運動状態が所定の運動状態条件を満たすと確定することができる。当業者は、当該運動速度閾値は、画像品質に対する要求によって具体的に設定することができ、本発明の実施例は、これに対して限定しないことを理解すべきである。

【0037】

前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の第１検出結果、および、前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象の第１検出結果に基づいて、前記状態確定待ちの目標対象の遮蔽状態を確定する。

【0038】

状態確定待ちの目標対象の運動状態が設定状態条件を満たさない場合、たとえば運動速度が運動速度閾値以上である場合は、当該状態確定待ちの目標対象の運動速度がより高いことを意味し、この場合、一般的にデスクトップ上の物体が遮られ、たとえば手によって移動されるときに手によって遮られる。また、運動速度がより高い目標対象に対しては、その認識の正確率がより低い。したがって、本発明の実施例において、運動状態が所定の運動状態条件を満たす状態確定待ちの目標対象の遮蔽状態をのみ判断し、すなわち、運動状態が所定の運動状態条件を満たす状態確定待ちの目標対象にのみ対して、当該目標対象の第１画像における第１検出結果および他の目標対象の第１画像における第１検出結果に基づいて、遮蔽状態を確定する。

【0039】

いくつかの実施例において、第１画像内の目標対象の第１検出結果は、前記第１画像内の目標対象の検出フレームを含む。前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比に基づいて、前記状態確定待ちの目標対象の遮蔽状態を確定する。

【0040】

１例において、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たす場合、前記状態確定待ちの目標対象の検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比を得る。各々の他の目標対象と状態確定待ちの目標対象の検出フレームとの交差比がいずれも所定の閾値以下であることに応答して、たとえば０以下であることに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定し、他の目標対象中の少なくとも１つの目標対象と状態確定待ちの目標対象の検出フレームとの交差比が所定の閾値よりも大きいことに応答して、たとえばゼロよりも大きいことに応答して、前記状態確定待ちの目標対象可能が遮られている状態にいると確定する。ここでは２つの状況に分けられ、その中の１つは、状態確定待ちの目標対象が少なくとも１つの他の目標対象を遮った状況であり、もう１つは、状態確定待ちの目標対象が少なくとも１つの他の目標対象によって遮られた状況である。

【0041】

本発明の実施例において、第１画像内の他の目標対象と状態確定待ちの目標対象の検出フレームとの交差比に基づいて前記状態確定待ちの目標対象の遮蔽状態を確定し、前記遮蔽状態に基づいて前記状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを確定するため、当該品質レベルに基づいて状態確定待ちの目標対象に対して高品質の画像を選別することができ、認識効率を向上させることができる。

【0042】

本発明の実施例において、目標領域の周辺に画像収集デバイスを設置して、目標領域のビデオストリームを収集することができる。例示的に、目標領域の上方に画像収集デバイス（すなわち、オーバーヘッド画像収集デバイス）を設置することによって、前記画像収集デバイスが上面からの視角で前記目標領域のビデオストリームを収集するようにすることができる。目標領域の左側および／または右側（または複数の側面）に画像収集デバイス（すなわちサイト画像収集デバイス）を設置することによって、前記画像収集デバイスが側面からの視角で前記目標領域のビデオストリームを収集するようにすることができる。さらに、目標領域の上方および左側と右側（または複数の側面）に画像収集デバイスを設置することによって、前記画像収集デバイスが上面からの視角および側面からの視角で前記目標領域のビデオストリームを同期的に収集するようにすることができる。

【0043】

前記状態確定待ちの目標対象の第１検出結果および／または第２検出結果に基づいて、前記状態確定待ちの目標対象の分類を確定することができる。第１種類の目標対象の場合、前記ビデオストリームは、前記目標領域の上面からの視角で収集して得られたものであり、すなわち、目標領域の上方に設置した画像収集デバイスを利用して、上面からの視角で前記目標領域のビデオストリームを収集する。前記第１種類の目標対象は、通貨、カードなどを含み、水平方向に沿って積み重ねられたゲームコインなどをさらに含み得る。図３Ａは、水平方向に沿って積み重ねられたゲームコインを示す模式図であり、当該積み重ね方式は、フロート（ｆｌｏａｔ）積み重ねと呼ばれる。当業者は、第１種類の目標対象は、他の物品、または、他の形態で置かれた物品をさらに含み得、上記に限定されないことを理解すべきである。

【0044】

前記状態確定待ちの目標対象が第１種類の目標対象であり、前記ビデオストリームが前記目標領域の上面からの視角で収集して得られたものである場合、以下の方式によって前記状態確定待ちの目標対象の遮蔽状態を確定することができる。前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比がいずれも０以下であることに応答して、すなわち上面からの視角で収集した第１画像において両者の検出フレームに重畳領域が存在しないと、前記状態確定待ちの目標対象が遮られていない状態にいると確定する。ここで、前記他の目標対象は、たとえば手、ウォーターカップなどであり、当業者は、前記他の目標対象は、需要に応じて具体的に設定することができ、本発明はこれに対して限定しないことを理解すべきである。

【0045】

前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、すなわち上面からの視角で収集した第１画像において両者の検出フレームに重畳領域が存在すると、前記状態確定待ちの目標対象が遮られている状態にいると確定する。

【0046】

第２種類の目標対象の場合、前記ビデオストリームは、前記目標領域の側面からの視角で収集して得られたものであり、すなわち目標領域の側面（左側と右側または複数の側面）に設置した画像収集デバイスを利用して、側面からの視角で前記目標領域のビデオストリームを収集する。前記第２種類の目標対象は、垂直方向に沿って積み重ねられたゲームコインを含む。図３Ｂは、垂直方向に沿って積み重ねられた被交換物品の模式図であり、当該積み重ね方式は、スタンド（ｓｔａｎｄ）積み重ねと呼ばれる。当業者は、第２目標対象は、他の物品、または、他の形態で置かれた物品をさらに含み得、上記に限定されないことを理解すべきである。

【0047】

前記状態確定待ちの目標対象が第２種類の目標対像であり、前記ビデオストリームが前記目標領域の側面からの視角で収集して得られたものである場合、以下の方式によって前記状態確定待ちの目標対象の遮蔽状態を確定することができる。前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比がいずれも０以下であることに応答して、すなわち側面からの視角で収集した第１画像において両者の検出フレームに重畳領域が存在しないと、前記状態確定待ちの目標対象が遮られていない状態にいると確定する。

【0048】

前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、すなわち側面からの視角で収集した第１画像において両者の検出フレームに重畳領域が存在する場合、側面からの視角で収集した第１画像において２つの検出フレームに重畳領域が存在することは、２つの検出フレームに対応する目標対象の間の相対的な位置、および、２つの目標対象と画像収集デバイスとの間の相対的な位置と関係があるため、さらに、前記目標領域の上面からの視角で、前記第１画像と同期的に収集して得られた同期化画像に基づいて、前記状態確定待ちの目標対象の遮蔽状態を確定することができる。説明を容易にするために、側面からの視角で収集した第１画像において、検出フレームと前記状態確定待ちの目標対象の検出フレームとの交差比がゼロよりも大きい目標対象を、側面遮蔽対象と呼ぶことができる。前記側面遮蔽対象の数は、１つまたは複数であり得る。

【0049】

すなわち、状態確定待ちの目標対象の同期化画像における位置、前記各々の側面遮蔽対象の前記同期化画像における位置、および、前記ビデオストリームを収集した画像収集デバイスの位置に基づいて、状態確定待ちの目標対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離と、各々の前記側面遮蔽対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離と、の間の関係を確定することができる。同期化画像がオーバーヘッド画像収集デバイスを利用して上面からの視角で収集したものであるため、状態確定待ちの目標対象および側面遮蔽対象の同期化画像における位置を確定した後に、ビデオストリームを収集するサイト画像収集デバイスの位置と結合して、水平方向における前記状態確定待ちの目標対象および側面遮蔽対象と、前記サイト画像収集デバイスと、の距離関係を確定することができる。

【0050】

状態確定待ちの目標対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離が、前記側面遮蔽対象中の任意の１つと前記ビデオストリームを収集した画像収集デバイスとの間の距離よりも小さいことに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定する。すなわち、各々の側面遮蔽対象に対して、前記状態確定待ちの目標対象と画像収集デバイスとの距離が、当該側面遮蔽対象との距離より相対的に近いと、前記状態確定待ちの目標対象が当該側面遮蔽対象によって遮られていないと確定することができ、また、複数の側面遮蔽対象中のすべての側面遮蔽対象がいずれも状態確定待ちの目標対象を遮れないと、前記状態確定待ちの目標対象が遮られていない状態にいると確定することができる。

【0051】

状態確定待ちの目標対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離が、前記側面遮蔽対象中の１つと前記ビデオストリームを収集した画像収集デバイスとの間の距離以上であることに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定する。すなわち、１つの側面遮蔽対象に対して、状態確定待ち前記状態確定待ちの目標対象と画像収集デバイスとの距離が、側面遮蔽対象との距離より相対的に遠いと、前記状態確定待ちの目標対象が当該側面遮蔽対象によって遮られていると確定することができ、前記状態確定待ちの目標対象が遮られている状態にいると確定することができる。

【0052】

図４は、本発明の少なくとも１つの実施例によって提供される状態確定待ちの目標対象の運動状態を確定する方法のフローチャートである。図４に示すように、前記方法は、ステップ４０１～ステップ４０４を含む。

【0053】

ステップ４０１において、前記状態確定待ちの目標対象の第１検出結果に基づいて前記状態確定待ちの目標対象の前記第１画像における第１位置を確定する。

【0054】

第１検出結果中の前記状態確定待ちの目標対象の検出フレームの位置に基づいて、前記状態確定待ちの目標対象の前記第１画像における第１位置を確定することができる。たとえば、前記検出フレームの中心位置を状態確定待ちの目標対象の第１位置とすることができる。

【0055】

ステップ４０２において、前記状態確定待ちの目標対象の第２検出結果に基づいて前記状態確定待ちの目標対象の前記第２画像における第２位置を確定する。

【0056】

ステップ４０１と類似に、第２検出結果中の前記状態確定待ちの目標対象の検出フレームの位置に基づいて、前記状態確定待ちの目標対象の前記第２画像における第２位置を確定することができる。

【0057】

ステップ４０３において、前記第１位置と前記第２位置、および、前記第１画像を収集した時間と前記第２画像を収集した時間に基づいて、前記状態確定待ちの目標対象の運動速度を確定する。

【0058】

前記第１位置と前記第２位置に基づいて、前記状態確定待ちの目標対象の前記第１画像および前記第２画像における位置変化を確定することができ、前記第１画像を収集した時間と前記第２画像を収集した時間と結合すると、上述位置変化が発生された対応する時間を確定することができるため、前記状態確定待ちの目標対象のピクセル平面座標系（ｕｖ座標系）における運動速度を確定することができる。

【0059】

ステップ４０４において、前記状態確定待ちの目標対象の運動速度に基づいて前記状態確定待ちの目標対象の運動状態を確定する。

【0060】

前記状態確定待ちの目標対象の運動状態を確定した後に、運動速度、および、前記ビデオストリームを収集した画像収集デバイスの画像収集フレームレートに基づいて、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たすか否かを確定することができる。

【0061】

ビデオストリームを収集した画像収集デバイスの画像収集フレームレートに基づいて、１つの運動速度閾値を確定することができる。状態確定待ちの目標対象のｕｖ座標系における運動速度が当該運動速度閾値よりも小さいと、画像収集デバイスによって捕捉された当該目標対象が明晰状態にいるため、運動速度が当該運動速度閾値よりも小さいときの運動状態が、所定の運動状態条件を満たすと確定することができる。状態確定待ちの目標対象のｕｖ座標系における運動速度が当該運動速度閾値を超えるときに、画像収集デバイスによって捕捉された当該目標対象が運動ぼけ状態にあり、そうすれば、運動速度が当該運動速度閾値を超えるときの運動状態が、所定の運動状態条件を満たさないと確定することができる。

【0062】

本発明の実施例において、状態確定待ちの目標対象の運動速度に基づいて、その運動状態を確定し、また、その運動状態が所定の運動状態条件を満たすか否かを確定する。このようにして、状態確定待ちの目標対象の明晰な画像を選別することができるため、認識効率を向上させることができる。

【0063】

いくつかの実施例において、前記状態確定待ちの目標対象の状態は、遮蔽状態と運動状態を含み、前記状態確定待ちの目標対象の遮蔽状態は、遮られていない状態と遮蔽状態を含み、前記状態確定待ちの目標対象の運動状態は、所定の運動状態条件を満たす運動状態、および、所定の運動状態条件を満たさない運動状態を含む。

【0064】

上記の状態に基づいて、以下の方式によって前記状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを確定することができる。

【0065】

方式１において、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が遮られていない状態にいる場合、前記状態確定待ちの目標対象の検出フレーム内の画像が第１品質画像であると確定する。すなわち、他の物体によって遮られていないし、かつ、運動ぼけ状態にいない状態確定待ちの目標対象に対応する検出フレーム内の画像を、第１品質画像として確定することができ、すなわち高品質画像として確定する。

【0066】

方式２において、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が遮られている状態にいる場合、前記状態確定待ちの目標対象の検出フレーム内の画像が第２品質画像であると確定する。すなわち、他の物体によって遮られており、かつ、運動ぼけ状態にいない状態確定待ちの目標対象に対応する検出フレーム内の画像を、第２品質画像として確定することができ、すなわち中品質画像として確定する。

【0067】

方式３において、前記状態確定待ちの目標対象の運動状態が所定の運動状態条件を満たさない場合、前記状態確定待ちの目標対象の検出フレーム内の画像が第３品質画像であると確定する。すなわち、運動ぼけ状態にいる状態確定待ちの目標対象に対応する検出フレーム内の画像を、第３品質画像として確定することができ、すなわち低品質画像として確定する。

【0068】

本発明の実施例において、状態確定待ちの目標対象の遮蔽状態、および、運動状態が所定の運動状態条件を満たすか否かに基づいて、当該目標対象の検出フレーム内の画像の品質レベルを確定することによって、確定した品質レベルに基づいてビデオストリーム中のフレーム画像を選別することができるため、選別後の画像を利用して目標対象の認識を実行するときに、目標対象に対する認識正確率を向上させることができる。

【0069】

上述した方法によって状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを得た後に、さらに、ニューラルネットワークを利用して当該画像の品質分類結果を得て、確定した品質レベルを検証して、最終の目標品質レベルを得ることができる。

【0070】

まず、ニューラルネットワークを利用して前記第１画像内の状態確定待ちの目標対象の検出フレーム内の画像の品質分類結果を確定する。

【0071】

当該ニューラルネットワークは、品質レベルがラベリングされたサンプル画像を使用して訓練して得られたものであり得、１つのサンプル画像内には、少なくとも１つの状態確定待ちの目標対象が含まれる。ここで、当該サンプル画像に対して、本発明の少なくとも１つの実施例によって提供される画像選別方法を利用して品質レベルを確定し、確定した品質レベルを利用してラベリングを実行することができる。例を挙げて説明すると、本発明の１つの実施例によって提供される画像選別方法を利用して、１画像内の状態確定待ちの目標対象の検出フレームの画像が第１品質画像であると確定した場合、当該画像を第１品質画像としてラベリングし、当該画像をサンプル画像として前記ニューラルネットワークを訓練することができる。当業者は、他の方法を利用して品質レベルを確定した画像をサンプル画像として、前記ニューラルネットワークを訓練してもよいことを理解すべきである。前記サンプル画像のラベリングされた品質レベルは、本発明の実施例によって提供される画像選別方法を利用して確定した画像品質レベルと同一である必要があることに留意されたい。

【0072】

前記ニューラルネットワークを利用して確定した前記状態確定待ちの目標対象の検出フレーム内の画像の品質分類結果が、前記状態確定待ちの目標対象の状態に基づいて確定した前記状態確定待ちの目標対象の検出フレーム内の画像の品質レベルと一致することに応答して、前記状態確定待ちの目標対象の検出フレーム内の画像の品質レベルを、前記状態確定待ちの目標対象の検出フレーム内の画像の目標品質レベルとする。

【0073】

ビデオストリーム中の１フレームの画像に対して、まず、本発明の実施例によって提供される画像選別方法を利用して、前記画像内の状態確定待ちの目標対象の状態に基づいて自身に対応する検出フレーム内の画像の品質レベルを確定する。その後、前記ニューラルネットワークを利用して前記画像内の状態確定待ちの目標対象の検出フレーム内の品質分類結果を得る。前記ニューラルネットワークを利用して得られた品質分類結果と、本発明の実施例によって提供される画像選別方法を利用して確定した品質レベルとが一致する場合、当該品質レベルを目標品質レベルとして確定することができる。

【0074】

例を挙げて説明すると、本発明の１つの実施例によって提供される画像選別方法によると、１画像内の状態確定待ちの目標対象の検出フレームの画像が第１品質画像であると確定した場合、前記ニューラルネットワークを利用して得られた品質分類結果も第１品質画像であると、前記画像内の状態確定待ちの目標対象の検出フレーム内の画像が第１品質画像であると確定することができる。

【0075】

本発明の実施例において、ニューラルネットワークを利用して状態確定待ちの目標対象の検出フレームの画像の品質分類結果を確定することによって、さらに当該画像の品質レベルを検証し、画像の品質レベル分類の正確率を向上させることができる。

【0076】

以下、図２に示したデスクトップ目標領域２００を例として、本発明の少なくとも１つの実施例の画像選別方法を説明する。当業者は、当該画像選別方法は他の目標領域にも適用され、デスクトップ目標領域に限定されないことを理解すべきである。

【0077】

破線Ａの左側の領域２０１に設置した画像収集デバイス２１１をサイト画像収集デバイスと見なし、当該デバイスは、左側の側面からの視角で目標領域の画像を収集する。破線Ｂの右側の領域２０２に設置した画像収集デバイス２１２もサイト画像収集デバイスと見なし、当該デバイスは、右側の側面からの視角で目標領域の画像を収集する。また、デスクトップの目標領域２００の上方に、さらに、オーバーヘッド画像収集デバイス（図２には示されていない）を設置して、上面からの視角で目標領域の画像を収集する。

【0078】

まず、上述した任意の画像収集デバイスを利用して目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像を収集し、当該フレーム画像を第１画像と呼ぶ。前記第１画像は、上面からの視角で収集した画像であり得、側面からの視角で収集した画像でもあり得る。

【0079】

続いて、前記第１画像に対して検出を実行して、第１画像内の目標対象の第１検出結果を取得する。ここで、前記第１画像内の目標対象は、状態確定待ちの目標対象を含み得、当該状態確定待ちの目標対象は、画像品質選別を実行しようとする目標対象である。デスクトップゲームシーンにおいて、前記状態確定待ちの目標対象は、水平方向に沿って積み重ねられたゲームコイン（たとえば図３Ａに示すとおりである）などの第１種類の目標対象、および、垂直方向に沿って積み重ねられたゲームコイン（たとえば図３Ｂに示すとおりである）などの第２種類の目標対象を含み得、状態確定待ちの目標対象以外の他の目標対象は、手を含み得る。得られた第１検出結果は、状態確定待ちの目標対象および他の目標対象の検出フレーム、位置、および、分類結果を含む。

【0080】

続いて、待ち状態の目標対象の、第２画像における第２検出結果を取得し、ここで、第２画像は、第１画像と隣接するＮフレームの画像の中の少なくとも１フレームの画像である。前記第１検出結果と第２検出結果に基づいて、前記状態確定待ちの目標対象の、遮蔽状態と運動状態を含む状態を確定することができる。ここで、前記遮蔽状態は、遮蔽状態と遮られていない状態を含み、前記運動状態は、所定の運動状態条件を満たす運動状態および所定の運動状態条件を満たさない運動状態を含む。

【0081】

以下、遮蔽状態を確定する方法を説明する。

【0082】

水平方向に沿って積み重ねられたゲームコインなどの、第１種類の目標対象に対して、オーバーヘッド画像収集デバイスによって収集された第１画像を利用して、前記第１種類の目標対象の遮蔽状態を確定することができる。たとえば、第１画像内の水平に積み重ねられたゲームコインの検出フレームと検出された各々の手の検出フレームとの交差比がいずれも０以下であるの場合、当該水平に積み重ねられたゲームコインが遮られていない状態にいると確定し、逆の場合、第１画像内の水平に積み重ねられたゲームコインの検出フレームと検出された１つの手の検出フレームとの交差比がゼロよりも大きい場合、当該水平に積み重ねられたゲームコインが遮られている状態にいると確定する。

【0083】

垂直方向に沿って積み重ねられたゲームコインなどの、第２種類の目標対象に対して、サイト画像収集デバイスによって収集された第１画像を利用して前記第２種類の目標対象の遮蔽状態を確定することができる。たとえば、第１画像内の垂直に積み重ねられたゲームコインの検出フレームと検出された各々の手の検出フレームとの交差比がいずれも０以下であるの場合、当該垂直に積み重ねられたゲームコインが遮られていない状態にいると確定する。

【0084】

第１画像内の垂直に積み重ねられたゲームコインの検出フレームと検出された１つの手の検出フレームとの交差比がゼロよりも大きい場合、さらに、垂直に積み重ねられたゲームコインと手とサイト画像収集デバイスとの間の位置関係に基づいて、当該垂直に積み重ねられたゲームコインの遮蔽状態を確定する必要がある。説明を容易にするために、検出フレームの交差比がゼロよりも大きい手を遮られた手と呼ぶことができる。

【0085】

１例において、オーバーヘッド画像収集デバイスによって収集された同期化画像を利用して垂直に積み重ねられたゲームコインと手とサイト画像収集デバイスとの間の位置関係を確定することができる。たとえば、当該垂直に積み重ねられたゲームコインの同期化画像における位置、遮られた手の同期化画像における位置、および、サイト画像収集デバイスの位置に基づいて、垂直に積み重ねられたゲームコインとサイト画像収集デバイスとの間の距離、および、遮られた手と当該サイト画像収集デバイスとの間の距離を確定することができる。

【0086】

垂直に積み重ねられたゲームコインとサイト画像収集デバイスとの間の距離が、遮られた手と当該サイト画像収集デバイスとの間の距離よりも小さい場合、当該垂直に積み重ねられたゲームコインが遮られていない状態にいると確定することができ、逆の場合、垂直に積み重ねられたゲームコインとサイト画像収集デバイスとの間の距離が、遮られた手と当該サイト画像収集デバイスとの間の距離よりも大きい場合、当該垂直に積み重ねられたゲームコインが遮られている状態にいると確定することができる。

【0087】

以下、運動状態を確定する方法を説明する。

【0088】

まず、前記状態確定待ちの目標対象の第１検出結果に基づいて前記自身の前記第１画像における第１位置を確定する。前記状態確定待ちの目標対象は、水平方向に沿って積み重ねられたゲームコインおよび／または垂直方向に沿って積み重ねられたゲームコインとを含み、説明を容易にするために、積み重ねゲームコインと総称する。すなわち、まず、積み重ねゲームコインの第１画像における第１位置を確定する。

【0089】

続いて、前記積み重ねゲームコインの第２検出結果に基づいて自身の第２画像における第２位置を確定する。前記第２画像が前記第１画像隣接するＮフレームの画像の中の１フレームである例を挙げると、第１画像の前の１フレームの画像における積み重ねゲームコインの位置を得たことである。

【0090】

第１画像を収集した時間と第２画像を収集した時間、および、前記第１位置と第２位置に基づいて、積み重ねゲームコインのｕｖ座標系における運動速度を確定することができるため、前記積み重ねゲームコインの運動状態を確定することができる。

【0091】

前記ビデオストリームを収集した画像収集デバイスの画像収集フレームレートに基づいて、該当する運動速度閾値を得ることができる。当該積み重ねゲームコインのｕｖ座標系における運動速度が当該運動速度閾値以下である場合、その運動状態が所定の運動状態条件を満たすと確定することができ、当該積み重ねゲームコインのｕｖ座標系における運動速度が当該運動速度閾値よりも大きい場合、その運動状態が所定の運動状態条件を満たさないと確定することができる。

【0092】

確定した積み重ねゲームコインの遮蔽状態と運動状態に基づいて、積み重ねゲームコインの検出フレーム内の画像の品質レベルを確定することができる。

【0093】

たとえば、積み重ねゲームコインの運動状態が所定の運動状態条件を満たし、かつ、前記積み重ねゲームコインが遮られていない状態にいる場合、積み重ねゲームコインの検出フレーム内の画像が第１品質画像であると確定し、積み重ねゲームコインの運動状態が所定の運動状態条件を満たし、かつ、前記積み重ねゲームコインが遮られている状態にいる場合、積み重ねゲームコインの検出フレーム内の画像が第２品質画像であると確定し、積み重ねゲームコインの運動状態が所定の運動状態条件を満たさない場合、積み重ねゲームコインの検出フレーム内の画像が第３品質画像であると確定することができる。

【0094】

積み重ねゲームコインの検出フレーム内の画像の品質レベルに基づいて、第１画像または第１画像内の積み重ねゲームコインの検出フレーム内の画像を選別することによって、選別した画像を使用して積み重ねゲームコインを認識するときの認識効率と正確度を向上させることができる。

【0095】

図５に示すように、本発明の少なくとも１つの実施例は、画像選別装置をさらに提供し、前記装置は、目標領域の画像を収集して得られたビデオストリーム中の１フレームの画像である第１画像を取得するための画像取得ユニット５０１と、前記第１画像に対して検出を実行して、前記第１画像内の目標対象の第１検出結果を取得するための検出結果取得ユニット５０２と、前記第１画像内の前記目標対象の前記第１検出結果と状態確定待ちの目標対象の第２検出結果に基づいて、前記状態確定待ちの目標対象の状態を確定するための状態確定ユニット５０３と、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを前記状態確定待ちの目標対象の前記状態に基づいて、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを確定するための品質確定ユニット５０４と、を備え、前記状態確定待ちの目標対象は、前記第１画像内の１つの目標対象であり、前記状態確定待ちの目標対象の第２検出結果は、第２画像に対して検出を実行して得られた、前記状態確定待ちの目標対象の前記第２画像における検出結果であり、Ｎは正の整数であり、前記状態確定待ちの目標対象の検出フレームは、前記状態確定待ちの目標対象の第１検出結果に基づいて確定され、前記第２画像は、前記ビデオストリーム中の前記第１画像と隣接するＮフレームの画像の中の少なくとも１フレームである。

【0096】

いくつかの実施例において、状態確定ユニット５０３は、具体的に、前記状態確定待ちの目標対象の前記第１検出結果および前記状態確定待ちの目標対象の前記第２検出結果に基づいて、前記状態確定待ちの目標対象の運動状態を確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記第１検出結果、および、前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象の第１検出結果に基づいて、前記状態確定待ちの目標対象の遮蔽状態を確定する。

【0097】

いくつかの実施例において、前記第１画像内の前記目標対象の前記第１検出結果は、前記第１画像内の前記目標対象の検出フレームを含み、状態確定ユニット５０３は、具体的に、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすことに応答して、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の検出フレームと、の交差比に基づいて、前記状態確定待ちの目標対象の前記遮蔽状態を確定する。

【0098】

いくつかの実施例において、前記状態確定待ちの目標対象は、第１種類の目標対象であり、前記ビデオストリームは、前記目標領域の上面からの視角で収集して得られたものであり、状態確定ユニット５０３は、具体的に、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の前記交差比がいずれも０以下であることに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定する。

【0099】

いくつかの実施例において、前記状態確定待ちの目標対象は、第２種類の目標対象であり、前記ビデオストリームは、前記目標領域の側面からの視角で収集して得られたものであり、状態確定ユニット５０３は、具体的に、前記状態確定待ちの目標対象の前記運動状態が所定の前記運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと、前記第１画像内の前記状態確定待ちの目標対象以外の各々の他の目標対象の前記検出フレームと、の前記交差比がいずれも０以下であることに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定する。

【0100】

いくつかの実施例において、前記状態確定待ちの目標対象は、第２種類の目標対象であり、前記ビデオストリームは、前記目標領域の側面からの視角で収集して得られたものであり、前記状態確定ユニットは、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象の前記検出フレームと前記第１画像内の前記状態確定待ちの目標対象以外の他の目標対象中の少なくとも１つの目標対象の検出フレームとの交差比がゼロよりも大きいことに応答して、前記状態確定待ちの目標対象の同期化画像における位置、側面遮蔽対象の前記同期化画像における位置、および、前記ビデオストリームを収集した画像収集デバイスの位置に基づいて、前記状態確定待ちの目標対象と前記前記ビデオストリームを収集した画像収集デバイスとの間の距離が、各々の側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも小さいか否かを確定し、前記状態確定待ちの目標対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離が、任意の側面遮蔽対象と前記ビデオストリームを収集した前記画像収集デバイスとの間の距離よりも小さいことに応答して、前記状態確定待ちの目標対象が遮られていない状態にいると確定し、前記状態確定待ちの目標対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離が、１つの側面遮蔽対象と前記ビデオストリームを収集した画像収集デバイスとの間の距離よりも大きいことに応答して、前記状態確定待ちの目標対象が遮られている状態にいると確定し、前記同期化画像は、前記目標領域の上面からの視角で、前記第１画像と同期的に収集して得られたものであり、側面遮蔽対象は、検出フレームと前記状態確定待ちの目標対象の検出フレームとの交差比がゼロよりも大きい目標対象である。

【0101】

いくつかの実施例において、状態確定ユニット５０３は、具体的に、前記状態確定待ちの目標対象の前記第１検出結果に基づいて前記状態確定待ちの目標対象の前記第１画像における第１位置を確定し、前記状態確定待ちの目標対象の前記第２検出結果に基づいて前記確定状態の目標対象の前記第２画像における第２位置を確定し、前記第１位置、前記第２位置、前記第１画像を収集した時間、および、前記第２画像を収集した時間に基づいて、前記状態確定待ちの目標対象の運動速度を確定し、前記状態確定待ちの目標対象の前記運動速度に基づいて前記状態確定待ちの目標対象の前記運動状態を確定する。前記状態確定ユニットは、具体的に、前記状態確定待ちの目標対象の前記運動速度、および、前記ビデオストリームを収集した画像収集デバイスの画像収集フレームレートに基づいて、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たすか否かを確定する。

【0102】

いくつかの実施例において、前記状態確定待ちの目標対象の前記状態は、遮蔽状態と運動状態を含み、前記状態確定待ちの目標対象の前記遮蔽状態は、遮られていない状態と遮られている状態を含み、前記状態確定待ちの目標対象の前記運動状態は、所定の運動状態条件を満たす運動状態、および、前記所定の運動状態条件を満たさない運動状態を含み、品質確定ユニット５０４は、具体的に、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が遮られていない状態にいる場合、前記状態確定待ちの目標対象の検出フレーム内の画像が第１品質画像であると確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たし、かつ、前記状態確定待ちの目標対象が前記遮られている状態にいる場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第２品質画像であると確定し、前記状態確定待ちの目標対象の前記運動状態が前記所定の運動状態条件を満たさない場合、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像が第３品質画像であると確定する。

【0103】

本発明によって提供される任意の実施形態と結合して、前記装置は、ニューラルネットワークを利用して前記第１画像内の前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の品質分類結果を確定し、前記ニューラルネットワークを利用して確定した前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質分類結果が、前記状態確定待ちの目標対象の前記状態に基づいて確定した前記状態確定待ちの目標対象の前記検出フレーム内の画像の前記品質レベルと一致することに応答して、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の前記品質レベルを、前記状態確定待ちの目標対象の前記検出フレーム内の前記画像の目標品質レベルとするための分類ユニットをさらに備え、前記ニューラルネットワークは、品質レベルがラベリングされたサンプル画像を使用して訓練して得られたものであり、１つのサンプル画像内には、少なくとも１つの状態確定待ちの目標対象が含まれる。

【0104】

いくつかの実施例において、本発明の実施例によって提供される装置が有する機能または含むモジュールは、上記の方法の実施例で説明した方法を実行することができ、その具体的な実現は上記の方法の実施例の説明を参照することができ、簡潔にするために、ここでは繰り返して説明しない。

【0105】

上記で説明した装置の実施例は、単に模式的なものであり、ここで前記の分離された構成要素として説明されたモジュールは、物理的に分離されていてもされなくてもよい。モジュールとして表した構成要素は、物理的なモジュールであってもなくてもよい。すなわち、１つの場所に位置されてもよいし、複数のネットワークモジュールに分散されてもよい。実際のニーズによってここでの一部または全部のモジュールを選択して本明細書の解決策の目的を実現することができる。当業者は、創造的な作業なしで理解して実行することができる。

【0106】

本明細書の装置の実施例は、サーバまたは端末デバイスなどの、コンピュータデバイスに適用されることができる。装置の実施例は、ソフトウェアによって実現されてもよいし、ハードウェアまたはソフトウェアとハードウェアの組み合わせの方式によって実現されてもよい。ソフトウェアによって実現される例を挙げると、１つの論理的な意味での装置として、不揮発性メモリ内の対応するコンピュータプログラム命令をメモリに読み込んで実行されて形成される。ハードウェアの観点から、図６に示すように、本明細書の装置が位置する電子デバイスのハードウェアの構成図であり、図６に示したプロセッサ６０１、内部バス６０４、ネットワークインターフェース６０３、および、不揮発性メモリ６０２に加えて、実施例の装置が位置するサーバまたは電子デバイスは、一般的に、当該コンピュータデバイスの実際の機能に従ってその他のハードウェアをさらに含むことができ、これに対して繰り返して説明しない。

【0107】

これに応じて、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ記録媒体をさらに提供し、当該プログラムがプロセッサによって実行されるときに、前記プロセッサが任意の実施例に記載の画像選別方法を実現するようにする。

【0108】

これに応じて、本発明の実施例は、コンピュータデバイスをさらに提供し、当該コンピュータデバイスは、メモリと、プロセッサと、メモリに記憶されており、前記プロセッサ上で実行できるコンピュータプログラムと、を備え、前記プロセッサが前記プログラムが実行されるときに、任意の実施例に記載の画像選別方法が実現される。

【0109】

本発明は、プログラムコードが含まれた１つまたは複数の記録媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形態を採用することができる。コンピュータ使用可能な記録媒体は、永続的および非永続的、リムーバブルおよび非リムーバブル媒体が含まれ、情報の記憶は任意の方法または技術で実現できる。情報は、コンピュータ可読命令、データ構造、プログラムモジュール、または、その他のデータであり得る。コンピュータの記録媒体の例は、位相変化メモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリ技術、読み取り専用光ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途光ディスク（ＤＶＤ）またはその他の光学メモリ、磁気カセットテープを含むが、これらに限定されない。磁気テープ式磁気ディスクメモリ、その他の磁気記憶デバイスまたは任意のその他の非伝送媒体は、計算デバイスによってアクセスできる情報を記憶することができる。

【0110】

当業者は、本明細書を検討し、本明細書に開示された本明細書を実施した後、本発明の他の実施形態を容易に考えることができる。本発明は、本発明の任意の変形、用途変化、または適応変化をカバーすることを意図している。これら変形、用途変化、または適応変化は、本発明の一般的な原理に従い、本発明に開示されていない本技術分野における周知の常識または通常の技術的手段を含む。明細書と実施例は、例示的なものとしてのみ見なされ、本発明の真の範囲および精神は、以下の特許請求の範囲によって指摘される。

【0111】

本発明は、上記に記載されており、また、図面で示されている精確な構成に限定されず、その範囲から逸脱することなく、様々な修正および変更を行うことができることを理解すべきである。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。

【0112】

上記の説明は、本発明の好ましい実施例に過ぎず、本発明を限定することを意図するものではない。本発明の精神と原則の範囲内で行われるいかなる修正、同等の置換、改善などは、いずれも本発明が保護する範囲内に含まれるべきである。

【0113】

上記の各々の実施例の説明は、各々の実施例間の違いを強調する傾向があり、同じまたは類似なところは互いに参考すればよく、簡潔にするために、本明細書では繰り返して説明しない。

【図1】