特表 2022-552754 画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-20

(54)【発明の名称】画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221213BHJP

   G06V 40/16 20220101ALI20221213BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 510F

G06V40/16 A

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021564951

(86)(22)【出願日】2021-04-21

(85)【翻訳文提出日】2021-11-02

(86)【国際出願番号】 CN2021088718

(87)【国際公開番号】W WO2022062379

(87)【国際公開日】2022-03-31

(31)【優先権主張番号】202011002322.1

(32)【優先日】2020-09-22

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】シー ジャン

(72)【発明者】

【氏名】イエン イエン

【テーマコード（参考）】

5B043

5L096

【Ｆターム（参考）】

5B043AA09

5B043BA04

5L096DA03

5L096EA37

5L096FA59

5L096FA67

5L096GA51

5L096HA11

5L096JA03

(57)【要約】

本願の実施例は画像検出方法及び関連装置、機器、並びに記憶媒体を開示し、前記画像検出方法は、検出対象目標を含む第１画像を取得するステップと、第１画像を検出し、第１画像の検出結果を得るステップであって、検出結果は第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含むステップと、検出結果に合致する所定操作を実行するステップと、を含む。

【特許請求の範囲】

【請求項1】

検出対象目標を含む第１画像を取得するステップと、
前記第１画像を検出し、前記第１画像の検出結果を得るステップであって、前記検出結果は、前記第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含むステップと、
前記検出結果に合致する所定操作を実行するステップと、を含む、画像検出方法。

【請求項2】

前記検出結果は、ニューラルネットワークにより前記第１画像を検出して得られたものである、請求項１に記載の方法。

【請求項3】

前記検出結果に合致する所定操作を実行するステップは、
前記検出対象目標が前記予め設定された物体に遮蔽されていない場合、第１リマインドを通知するステップを含み、前記第１リマインドは、前記予め設定された物体で前記検出対象目標を遮蔽するように通知するためのものである、
請求項１又は２に記載の方法。

【請求項4】

前記検出結果は、前記検出対象目標の予め設定された物体での遮蔽方式が所定遮蔽方式であるか否かを含み、前記検出結果に合致する所定操作を実行するステップは、
前記検出対象目標が前記予め設定された物体に遮蔽され、且つ前記遮蔽方式が前記所定遮蔽方式でない場合、第２リマインドを通知するステップを含み、前記第２リマインドは、前記予め設定された物体での遮蔽方式を調整するように通知するためのものである
請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記検出結果に合致する所定操作を実行するステップは、
前記検出対象目標が前記予め設定された物体に遮蔽された場合、前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を、前記検出対象目標の認識待ち特徴として抽出するステップと、
前記認識待ち特徴を利用して前記検出対象目標を認識し、認識結果を得るステップと、を含む
請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を、前記検出対象目標の認識待ち特徴として抽出するステップは、
前記第１画像から前記検出対象目標の未遮蔽部分の第１特徴を抽出し、前記検出対象目標の被遮蔽部分の第２特徴を取得するステップと、
前記第１特徴及び第２特徴を前記検出対象目標の認識待ち特徴とするステップと、を含む
請求項５に記載の方法。

【請求項7】

前記検出対象目標の被遮蔽部分の第２特徴を取得するステップは、
前記第１画像から前記被遮蔽部分の特徴を前記第２特徴として抽出するステップ、又は、
前記被遮蔽部分の所定特徴を前記第２特徴として取得するステップであって、前記所定特徴は、少なくとも１つの参考特徴に基づいて得られた特徴を含み、各前記参考特徴は、前記被遮蔽部分が存在しない参考目標内の、前記被遮蔽部分に対応する領域から抽出して得られたものであるステップを含む
請求項６に記載の方法。

【請求項8】

前記認識待ち特徴を利用して前記検出対象目標を認識し、認識結果を得るステップは、
予め設定された目標が１つ含まれる場合、前記認識待ち特徴と前記予め設定された目標の予め記憶された特徴との第１類似度を取得し、前記第１類似度が第１所定条件を満たす場合、前記認識結果が前記検出対象目標の身元認証に成功したことを含むことを決定するステップと、
前記予め設定された目標が複数含まれる場合、前記認識待ち特徴と各前記予め設定された目標の予め記憶された特徴との第２類似度をそれぞれ取得し、前記認識結果が、前記検出対象目標の身元を、第２所定条件を満たす第２類似度に対応する予め設定された目標の身元として特定することを含むことを決定するステップと、のうちの少なくとも１つを含む
請求項５から７のいずれか１項に記載の方法。

【請求項9】

前記第１所定条件は前記第１類似度が第１類似度閾値より大きいことを含むことと、
前記第２所定条件は前記第２類似度が第２類似度閾値より大きいことを含むことと、のうちの少なくとも１つを含む
請求項８に記載の方法。

【請求項10】

前記認識待ち特徴が前記検出対象目標の被遮蔽部分の第２特徴を含む場合の前記第１類似度閾値を、前記認識待ち特徴が前記第２特徴を含まない場合の前記第１類似度閾値より小さくすることと、
前記認識待ち特徴が前記第２特徴を含む場合の前記第２類似度閾値を、前記認識待ち特徴が前記第２特徴を含まない場合の前記第２類似度閾値より小さくすることと、のうちの少なくとも１つを含む
請求項９に記載の方法。

【請求項11】

前記認識待ち特徴と前記予め設定された目標の予め記憶された特徴との第１類似度を取得する前に、さらに、
アカウント登録要求に応答して、ユーザのアカウントを登録するステップと、
前記ユーザを撮影して得られた少なくとも１つのフレームの第２画像から、所定品質要件を満たす前記第２画像を特定し、特定された前記第２画像から前記ユーザの所定部位の特徴を抽出するステップと、
前記所定部位の特徴と前記アカウントとを関連付け、前記所定部位の特徴を前記予め設定された目標の予め記憶された特徴として保存するステップと、を含む
請求項８から１０のいずれか１項に記載の方法。

【請求項12】

前記検出対象目標が前記予め設定された物体に遮蔽された場合、前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を抽出する前に、さらに、
前記検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす前記第１画像を後続の特徴抽出用の前記第１画像として特定するステップと、
後続の特徴抽出用の前記第１画像を前処理するステップと、
後続の特徴抽出用の前記第１画像に対して生体検出を行い、前記検出対象目標が生体である生体検出結果である場合、前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を抽出するステップ及び後続のステップを実行することを決定するステップと、のうちの少なくとも１つを含む、
請求項５から１１のいずれか１項に記載の方法。

【請求項13】

前記検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす前記第１画像を後続の特徴抽出用の前記第１画像として特定するステップは、
各フレームの前記第１画像の品質因子に基づき、各フレームの前記第１画像の対応する品質スコアを得るステップであって、前記第１画像の品質因子は、撮影デバイスに対する前記検出対象目標の姿勢情報、前記第１画像内の検出対象目標の大きさを表すためのパラメータ情報、前記第１画像の輝度情報のうちの少なくとも１つを含むステップと、
前記品質スコアに基づき、所定品質要件を満たす前記第１画像を後続の特徴抽出用の前記第１画像として特定するステップであって、前記選択された第１画像の前記品質スコアは他の前記第１画像の品質スコアより高いステップと、を含む
請求項１２に記載の方法。

【請求項14】

後続の特徴抽出用の前記第１画像を前処理するステップは、
前記第１画像が複数の前記検出対象目標を含む場合、所定抽出要件を満たす前記検出対象目標の前記第１画像における目標領域を特定し、前記第１画像内の前記目標領域以外の画像部分を除去するステップ、及び／又は、
前記第１画像内の前記検出対象目標の傾斜角度が所定角度より大きいことを検出し、前記検出対象目標の傾斜角度が前記所定角度以下になるように前記第１画像を回転するステップを含む
請求項１２又は１３に記載の方法。

【請求項15】

前記所定抽出要件は、前記検出対象目標の対応する領域の面積が他の検出対象目標の対応する領域の面積より大きいことを含み、前記他の検出対象目標は前記検出対象目標以外の目標を含む
請求項１４に記載の方法。

【請求項16】

前記検出対象目標は顔を含み、前記予め設定された物体はマスクを含む
請求項１０に記載の方法。

【請求項17】

検出対象目標を含む第１画像を取得するように構成される画像取得モジュールと、
前記第１画像を検出し、前記第１画像の検出結果を得るように構成される目標検出モジュールであって、前記検出結果は、前記第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含む目標検出モジュールと、
前記検出結果に合致する所定操作を実行するように構成される操作実行モジュールと、を含む、画像検出装置。

【請求項18】

メモリ及びプロセッサを含み、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、請求項１から１６のいずれか１項に記載の方法を実現するために用いられる、電子機器。

【請求項19】

プログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記プログラム命令は、プロセッサに、請求項１から１６のいずれか１項に記載の方法を実行させる、コンピュータ可読記憶媒体。

【請求項20】

電子機器で実行されると、前記電子機器内のプロセッサに請求項１から１６のいずれか１項に記載の方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は出願番号が２０２０１１００２３２２．１であり、出願日が２０２０年０９月２２日であり、発明の名称が「画像検出方法及び関連装置、機器、並びに記憶媒体」である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全てが参照によって本願に組み込まれる。

【0002】

本願は画像処理の技術分野に関し、特に画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラムに関する。

【背景技術】

【0003】

現在、画像処理、特に画像内の目標に対する検出及び認識は、様々な応用シーンにおいて広く使用されている。顔を例にし、画像内の顔に対する検出及び認識は、金融、税関検査、政府、航空、電気、工場、教育、医療等の分野において広く使用されている。従来技術では撮影機器を用いて顔を含む画像又はビデオストリームを収集し、画像において顔を自動的に検出し、さらに検出された顔に対して顔認識を行い、認識結果に基づいて対応する処理を行う。

【発明の概要】

【0004】

本願の実施例は少なくとも画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラムを提供する。

【0005】

本願の実施例は画像検出方法を提供する。前記画像検出方法は、検出対象目標を含む第１画像を取得するステップと、第１画像を検出し、第１画像の検出結果を得るステップであって、検出結果は第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含むステップと、検出結果に合致する所定操作を実行するステップと、を含む。

【0006】

従って、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かの検出結果を得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かの判断を実現し、それにより検出結果に合致する後続の所定操作を実行することができ、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0007】

いくつかの実施例において、検出結果はニューラルネットワークにより第１画像を検出して得られたものである。

【0008】

従って、事前に訓練されたニューラルネットワークによって検出することで、より正確な検出結果及びより速い検出速度が得られる。

【0009】

いくつかの実施例において、検出結果に合致する所定操作を実行するステップは、検出対象目標が予め設定された物体に遮蔽されていない場合、第１リマインドを通知するステップを含み、第１リマインドは、予め設定された物体で検出対象目標を遮蔽するように通知するためのものである。

【0010】

従って、検出対象目標が遮蔽されていないときに第１リマインドを通知することで、検出対象目標が予め設定された物体に遮蔽されていない状況を適時に通知し、それによって、被通知者が対応する措置を適時に取ることができる。

【0011】

いくつかの実施例において、検出結果は、検出対象目標の予め設定された物体での遮蔽方式が所定遮蔽方式であるか否かをさらに含み、検出結果に合致する所定操作を実行するステップは、検出対象目標が予め設定された物体に遮蔽され、且つ遮蔽方式が所定遮蔽方式でない場合、第２リマインドを通知するステップを含み、第２リマインドは、予め設定された物体での遮蔽方式を調整するように通知するためのものである。

【0012】

従って、遮蔽方式が正確でない場合、検出対象目標の遮蔽方式を適時に調整するように、第２リマインドを通知する。

【0013】

いくつかの実施例において、検出結果に合致する所定操作を実行するステップは、検出対象目標が予め設定された物体に遮蔽された場合、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を、検出対象目標の認識待ち特徴として抽出するステップと、認識待ち特徴を利用して検出対象目標を認識し、認識結果を得るステップと、を含む。

【0014】

従って、検出対象目標が予め設定された物体に遮蔽された場合、未遮蔽部分の特徴を抽出して認識することで、検出対象目標の局所特徴に基づく認識を実現し、また、該局所特徴は遮蔽されていないため、検出対象目標を表すことができ、一定程度、認識の正確性が保証される。

【0015】

いくつかの実施例において、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を、検出対象目標の認識待ち特徴として抽出するステップは、第１画像から検出対象目標の未遮蔽部分の第１特徴を抽出し、検出対象目標の被遮蔽部分の第２特徴を取得するステップと、第１特徴及び第２特徴を検出対象目標の認識待ち特徴とするステップと、を含む。

【0016】

従って、検出対象目標の未遮蔽部分の特徴を採用する以外に、被遮蔽部分の特徴も採用し、これにより検出対象目標の特徴をさらに多様にすることができる。

【0017】

いくつかの実施例において、検出対象目標の被遮蔽部分の第２特徴を取得するステップは、第１画像から被遮蔽部分の特徴を第２特徴として抽出するステップ、又は、被遮蔽部分の所定特徴を第２特徴として取得するステップであって、所定特徴は、少なくとも１つの参考特徴に基づいて得られた特徴を含み、各参考特徴は、被遮蔽部分が存在しない参考目標内の、被遮蔽部分に対応する領域から抽出して得られたものであるステップを含む。

【0018】

従って、被遮蔽部分の特徴特定方法については、被遮蔽部分の特徴を直接抽出してもよく、被遮蔽部分の特徴は一定程度、検出対象目標に応じて相違するため、この方法は認識の正確性を向上させることができ、又は、所定特徴を被遮蔽部分の特徴として取得してもよく、この方法は被遮蔽部分に対して特徴抽出を行う必要がなく、消費される処理リソースを節約し、処理効率を高めることができる。

【0019】

いくつかの実施例において、認識待ち特徴を利用して検出対象目標を認識し、認識結果を得るステップは、予め設定された目標が１つ含まれる場合、認識待ち特徴と予め設定された目標の予め記憶された特徴との第１類似度を取得し、第１類似度が第１所定条件を満たす場合、認識結果が検出対象目標の身元認証に成功したことを含むことを決定するステップと、予め設定された目標が複数含まれる場合、認識待ち特徴と各予め設定された目標の予め記憶された特徴との第２類似度をそれぞれ取得し、認識結果が、検出対象目標の身元を、第２所定条件を満たす第２類似度に対応する予め設定された目標の身元として特定することを含むことを決定するステップと、のうちの少なくとも１つを含む。

【0020】

従って、特定の予め設定された目標の予め記憶された特徴との第１類似度を計算するか、又は複数の予め設定された目標の予め記憶された特徴との類似度を計算することで、実際のシーンの要件に応じて検出対象目標を、特定のある予め設定された目標と比較するか、又はあるデータベース内の予め設定された目標と比較することができる。

【0021】

いくつかの実施例において、前記画像検出方法は、第１所定条件は第１類似度が第１類似度閾値より大きいことを含むことと、第２所定条件は第２類似度が第２類似度閾値より大きいことを含むことと、のうちの少なくとも１つを含む。

【0022】

従って、異なるシーンにおいて第１類似度閾値をそれぞれ設定することで、より正確な認識結果が得られる。

【0023】

いくつかの実施例において、前記画像検出方法は、認識待ち特徴が検出対象目標の被遮蔽部分の第２特徴を含む場合の第１類似度閾値を、認識待ち特徴が第２特徴を含まない場合の第１類似度閾値より小さくすることと、認識待ち特徴が第２特徴を含む場合の第２類似度閾値を、認識待ち特徴が第２特徴を含まない場合の第２類似度閾値より小さくすることと、のうちの少なくとも１つを含む。

【0024】

従って、認識待ち特徴に第２特徴が含まれる場合、第２特徴が検出対象目標の被遮蔽部分のキーポイントの実特徴と相違し得るため、この場合に類似度閾値を適宜低下させれば認識の正確性を向上させることができる。

【0025】

いくつかの実施例において、認識待ち特徴と予め設定された目標の予め記憶された特徴との第１類似度を取得する前に、前記画像検出方法はさらに、アカウント登録要求に応答して、ユーザのアカウントを登録するステップと、ユーザを撮影して得られた少なくとも１つのフレームの第２画像から、所定品質要件を満たす第２画像を特定し、特定された第２画像からユーザの所定部位の特徴を抽出するステップと、所定部位の特徴とアカウントとを関連付け、所定部位の特徴を予め設定された目標の予め記憶された特徴として保存するステップと、を含む。

【0026】

従って、先に品質要件を満たす第２画像を特定して所定部位の特徴を抽出することで、より正確な特徴が抽出される。

【0027】

いくつかの実施例において、検出対象目標が予め設定された物体に遮蔽された場合、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を抽出する前に、前記画像検出方法はさらに、検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として抽出するステップと、後続の特徴抽出用の第１画像を前処理するステップと、後続の特徴抽出用の第１画像に対して生体検出を行い、検出対象目標が生体である生体検出結果である場合、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を抽出するステップ及び後続のステップを実行することを決定するステップと、のうちの少なくとも１つを含む。

【0028】

従って、特徴抽出前に、まず前処理を行うことで、より正確な特徴を抽出し、検出対象目標が生体である場合のみに検出対象目標を認識することで、認識の安全性が向上し、一定程度、偽造物攻撃を防止することができる。

【0029】

いくつかの実施例において、検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定するステップは、各フレームの第１画像の品質因子に基づき、各フレームの第１画像の対応する品質スコアを得るステップであって、第１画像の品質因子は、撮影デバイスに対する検出対象目標の姿勢情報、第１画像内の検出対象目標の大きさを表すためのパラメータ情報、第１画像の輝度情報のうちの少なくとも１つを含むステップと、品質スコアに基づき、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定するステップであって、選択された第１画像の品質スコアは他の第１画像の品質スコアより高いステップと、を含む。

【0030】

従って、品質スコアが要件を満たす画像を特定して特徴抽出を行うことで、検出対象目標をさらに表すことができる特徴が抽出される。

【0031】

いくつかの実施例において、後続の特徴抽出用の第１画像を前処理するステップは、第１画像が複数の検出対象目標を含む場合、所定抽出要件を満たす検出対象目標の第１画像における目標領域を特定し、第１画像内の目標領域以外の画像部分を除去するステップ、及び／又は、第１画像内の検出対象目標の傾斜角度が所定角度より大きいことを検出し、検出対象目標の傾斜角度が所定角度以下になるように第１画像を回転するステップを含む。

【0032】

従って、第１画像に複数の検出対象目標が存在する場合、所定抽出要件を満たす検出対象目標のみを特定し、要件を満たさない検出対象目標を破棄することで、要件を満たさない検出対象目標が認識結果に与える影響が軽減され、次に、第１画像内の検出対象目標の傾斜角度が所定角度より大きい場合、検出対象目標の位置を正すことで、検出対象目標の傾斜による影響が軽減される。

【0033】

いくつかの実施例において、所定抽出要件は検出対象目標の対応する領域の面積が他の検出対象目標の対応する領域の面積より大きいことを含み、他の検出対象目標は検出対象目標以外の目標を含む。

【0034】

従って、検出対象目標の面積が大きいほど、抽出される特徴が正確であるため、面積がより大きい検出対象目標を選択することで、より正確な検出結果が得られる。

【0035】

いくつかの実施例において、検出対象目標は顔を含み、予め設定された物体はマスクを含む。

【0036】

従って、顔のマスク着用有無を判断し、対応する操作を実行し、例えば、顔にマスクが着用されていない場合又はマスクのかけ方が正確でない場合、対応するリマインドを通知することで、ユーザは適時に調整することができ、顔にマスクが着用されている場合、顔に対して認識等を行う。

【0037】

本願の実施例は画像検出装置を提供する。前記画像検出装置は、検出対象目標を含む第１画像を取得するように構成される画像取得モジュールと、第１画像を検出し、第１画像の検出結果を得るように構成される目標検出モジュールであって、検出結果は第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含む目標検出モジュールと、検出結果に合致する所定操作を実行するように構成される操作実行モジュールと、を含む。

【0038】

本願の実施例は電子機器を提供する。前記電子機器はメモリ及びプロセッサを含み、プロセッサは、上記画像検出方法を実現するように、メモリに記憶されたプログラム命令を実行するために用いられる。

【0039】

本願の実施例はプログラム命令が記憶されているコンピュータ可読記憶媒体を提供し、プログラム命令はプロセッサにより実行されると、上記画像検出方法を実現する。

【0040】

本願の実施例は、電子機器で実行されると、前記電子機器内のプロセッサに上記画像検出方法を実行させるためのコンピュータ可読コードを含むコンピュータプログラムを提供する。

【0041】

本願の実施例は画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラムを提供し、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かを判断でき、それにより検出結果に合致する後続の所定操作を実行でき、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0042】

以上の一般説明と以下の詳細説明は解釈するための例示的なものに過ぎず、本願を制限しないことを理解すべきである。

【図面の簡単な説明】

【0043】

【図1】本願の実施例に係る画像検出方法の一実施例のフローチャートである。

【図2】本願の実施例に係る画像検出方法の一実施例における第１画像の模式図である。

【図3】本願の実施例に係る画像検出方法の一実施例における前処理後の第１画像の模式図である。

【図4】本願の実施例に係る画像検出装置の一実施例の構成図である。

【図5】本願の実施例に係る電子機器の一実施例の構成図である。

【図6】本願の実施例に係るコンピュータ可読記憶媒体の一実施例の構成図である。

【発明を実施するための形態】

【0044】

ここの図面は明細書に組み込まれて明細書の一部を構成し、これらの図面は本願に合致する実施例を示し、明細書と共に本願の技術的解決手段を説明するために用いられる。

【0045】

以下において、明細書の図面を参照し、本願の実施例の解決手段を詳細に説明する。

【0046】

以下の記述において、限定ではなく説明のために、特定のシステム構成、インタフェース、技術等の具体的な詳細を提供し、それによって本願に対する徹底的な理解を助ける。

【0047】

本明細書の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本明細書における文字「／」は、一般に、前後の関連する対象が「又は」の関係であることを示す。また、本明細書における「複数」は２つ又は２つ以上を意味する。また、本明細書の用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つは、Ａ、Ｂ及びＣからなる集合から選択されるいずれか１つ又は複数の要素を含むことを示してもよい。

【0048】

本願の実施例における画像検出方法は画像処理能力を備える機器に用いることができる。また、該機器は画像収集又はビデオ収集の機能を備えてもよく、例えば、該機器はカメラ等のような画像又はビデオ収集用のコンポーネントを含んでもよい。あるいは、該機器は他の機器とのデータ伝送又はデータ交換という方式で、他の機器から所要のビデオストリーム又は画像を取得したり、他の機器の記憶リソースから所要のビデオストリーム又は画像にアクセスしたりしてもよい。他の機器は画像収集又はビデオ収集の機能を備え、且つ該機器との通信接続を有し、例えば、該機器はブルートゥース、無線ネットワーク等の方式で他の機器とのデータ伝送又はデータ交換を行うことができ、本願の実施例はここで両者間の通信方式を限定せず、上記で挙げられたケースを含んでもよいが、それらに限定されない。一実施形態において、該機器は携帯電話、タブレット、インタラクティブスクリーン等を含んでもよく、ここでは限定しない。

【0049】

図１は、本願の実施例に係る画像検出方法の一実施例のフローチャートである。ここで、前記画像検出方法は電子機器により実行され、前記方法は以下のステップを含んでもよい。

【0050】

ステップＳ１１で、検出対象目標を含む第１画像を取得する。

【0051】

検出対象目標を含む第１画像は本機器のカメラを直接呼び出して収集された、目標対象を含む初期画像であってもよく、当然ながら、他の機器から取得された画像であってもよく、又はフレーム選択、輝度や解像度調整等を経た画像であってもよい。検出対象目標は顔、他の動物の顔面部又は四肢等を含んでもよい。従って、検出対象目標を含む第１画像を取得する方法は限定されない。他の機器とは、それぞれの中央処理ユニットに頼らなければ操作できない機器を指している。

【0052】

ステップＳ１２で、第１画像を検出し、第１画像の検出結果を得て、検出結果は第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含む。

【0053】

予め設定された物体とは検出対象目標を遮蔽できるあらゆる物体を指しており、例えばマスク、マフラー、眼鏡又は腕、紙等の可視物体である。

【0054】

第１画像を検出し、検出過程で第１画像に検出待ち画像が含まれるか否かを検出する必要があり、検出対象目標が存在する場合、検出対象目標が予め設定された物体に遮蔽されたか否かを判断する。検出対象目標が予め設定された物体に遮蔽されたか否かを判断する方法は、第１画像を検出する前に、まず遮蔽検出モデルを訓練し、第１画像を遮蔽検出モデル（例えば、遮蔽検出機能を備えるニューラルネットワークであってもよい）に入力することで、第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを把握してもよい。当然ながら、いくつかの実施例において、検出対象目標が予め設定された物体に遮蔽されたか否かを判断する方法は、検出対象目標における所定の検出位置が遮蔽されたか否か、及び所定の検出位置を遮蔽する物体が予め設定された物体の条件を満たすか否かを判断してもよい。遮蔽物体及び所定の遮蔽物体の特徴を抽出し、類似度を判断することで、検出対象目標が遮蔽されたか否かを含む検出結果を得てもよい。

【0055】

ステップＳ１３で、検出結果に合致する所定操作を実行する。

【0056】

検出結果は、検出対象目標が遮蔽されたが、予め設定された物体に遮蔽されたわけではないこと、検出対象目標が予め設定された物体に遮蔽されたが、遮蔽方式が予め設定された方式ではないこと、検出対象目標が予め設定された物体に遮蔽され、しかも遮蔽方式が予め設定された方式と同じであること、又は検出対象目標が全く遮蔽されていないことであり得る。本願の実施例において、第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かの状況を考慮する。当然ながら、いくつかの実施例において、予め設定された物体をいかなる物体として設定してもよく、つまり、遮蔽検出モデルを採用し、検出対象目標が遮蔽されたことを判断できれば、対応する所定操作を実行する。所定操作は目標検出に関するいかなる操作、例えば認識等であってもよい。

【0057】

上記解決手段は、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かの判断を実現し、それにより検出結果に合致する後続の所定操作を実行することができ、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0058】

いくつかの実施例において、検出結果はニューラルネットワークにより第１画像を検出して得られたものである。第１画像を検出する前に、まず、予め設定された物体遮蔽モデルを訓練し、それによって、予め設定された物体遮蔽モデルが第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを検出できる。予め設定された物体は１つであってもよく、複数、例えば２つ、３つの異なる物体であってもよく、予め設定された物体が複数であるならば、予め設定された物体遮蔽モデルは、検出対象目標が予め設定された物体に遮蔽されたか否かを判断できるとともに検出対象目標が所定のどの物体に遮蔽されたかを検出できる。検出対象目標は顔であってもよく、予め設定された物体はマスクであってもよい。それに応じて、予め設定された物体遮蔽モデルはマスク検出モデルである。マスク検出モデルは検出対象目標のマスク着用有無を検出でき、当然ながら、いくつかの実施例において、検出対象目標にマスクが着用されている場合、マスクのかけ方が正確であるか否かも検出できる。事前に訓練されたニューラルネットワークによって検出することで、より正確な検出結果及びより速い検出速度が得られる。

【0059】

検出対象目標が予め設定された物体に遮蔽されていない場合、第１リマインドを通知し、第１リマインドは、予め設定された物体で検出対象目標を遮蔽するように通知するためのものである。第１リマインドは、顔に枠を付けることを含む様々なリマインド形式を有してもよく、検出対象目標が予め設定された物体に遮蔽されていないことを検出すると、顔領域を枠の形で枠付け、このときの顔の枠付けは警告用の色、例えば赤色又は黄色を付けてもよく、第１リマインドは、顔の枠付けとリマインド文言との組み合わせであってもよく、リマインド文言は例えば「マスクを着用していないため、マスクを着用してください」であり、当然ながら、第１リマインドはリマインド音声又はリマインドランプ点滅等の形式であってもよく、明らかに、これらの形式は複数組み合わせて使用してもよく、単独で使用してもよく、ここでは限定しない。例えば、顔にマスクが着用されていないことをマスク検出モデルが検出した場合、該顔にマスクを着用して顔の口鼻を覆うことを通知するように第１リマインドを通知する。検出対象目標が遮蔽されていないときに第１リマインドを通知することで、検出対象目標が予め設定された物体に遮蔽されていない状況を適時に通知し、それによって、被通知者が対応する措置を適時に取ることができる。

【0060】

いくつかの実施例において、検出結果は、検出対象目標の予め設定された物体での遮蔽方式が所定遮蔽方式であるか否かをさらに含む。予め設定された物体遮蔽モデルというニューラルネットワークを訓練する際に、訓練サンプルに所定遮蔽方式をラベル付けしてもよく、ここで所定遮蔽方式は正確な遮蔽方式であってもよく、これにより、検出対象目標が予め設定された物体に遮蔽されたことを検出した場合、予め設定された物体での遮蔽方式が所定遮蔽方式であるか否かを予め設定された物体遮蔽モデルが判断できるように、予め設定された物体遮蔽モデルを訓練する。検出対象目標が予め設定された物体に遮蔽され、且つ前記遮蔽方式が所定遮蔽方式でない場合、第２リマインドを通知する。第２リマインドは、予め設定された物体での遮蔽方式を調整するように通知するためのものである。例えば、検出対象目標が顔であり、予め設定された物体がマスクであり、所定遮蔽方式が正確なマスクのかけ方である。顔にマスクが着用されていることを検出した場合、マスクのかけ方が正確なマスクのかけ方であるか否かを判断し、正確でなければ、予め設定された物体による顔の遮蔽方式を調整することを通知するように第２リマインドを通知する。当然ながら、いくつかの実施例において、所定遮蔽方式は様々にしてもよく、例えば正確な遮蔽方式、第１誤り遮蔽方式、第２誤り遮蔽方式等が挙げられ、検出対象目標の予め設定された物体での遮蔽方式が第１誤り遮蔽方式であることを検出した場合、第１誤り遮蔽方式に対応するリマインドを通知し、検出対象目標の予め設定された物体での遮蔽方式が第２誤り遮蔽方式であることを検出した場合、第２誤り遮蔽方式に対応するリマインドを通知し、それによって、検出対象目標の遮蔽方式を正確な遮蔽方式に調整することを通知する。例えば、同様に検出対象目標が顔、予め設定された物体がマスクである場合、正確な遮蔽方式はマスクが鼻と口を共に覆うことであり、第１誤り遮蔽方式はマスクが鼻を覆っているが口を覆っていないことであり、第１誤り遮蔽方式に対応するリマインドは顔の口も共に覆うことを通知するものとなり、第２誤り遮蔽方式はマスクが口を覆っているが鼻を覆っていないことであり、第２誤り遮蔽方式に対応するリマインドは顔の鼻も共に覆うことを通知するものとなる。遮蔽方式が正確でない場合、検出対象目標の遮蔽方式を適時に調整するように、第２リマインドを通知する。第２リマインドの形式も第１リマインドの形式に類似し、顔の枠付けとリマインド文言との組み合わせ、及び顔の枠付けとリマインド音声との組み合わせ、又は単独のリマインド文言又は単独のリマインド音声又はリマインドランプの点滅等の形式にしてもよく、当然ながら、複数の異なる所定遮蔽方式が存在する場合、リマインド文言又は音声もそれに応じて複数設定され、例えば、所定遮蔽方式が第１誤り遮蔽方式であれば、リマインド文言は第１誤り遮蔽方式に対応付けられる。

【0061】

いくつかの実施例において、何らかの業務シーンで検出対象目標が予め設定された物体に遮蔽された場合、検出対象目標を認識する。別の業務シーンで、検出対象目標が予め設定された物体に遮蔽されていない場合、検出対象目標を認識せず、例えば、ある時期又は特殊の期間に高速列車又は航空機等の公共の場でマスクをかける必要がある場合、顔にマスクが着用されていないことを検出すると、顔に対して顔認識は行わず、マスクを着用していない顔は顔認識によって入場することができない。当然、業務シーンの要件によれば、検出対象目標が予め設定された物体に遮蔽されていないことを検出したとしても、検出対象目標を認識することができる。検出対象目標を認識するには、検出対象目標に対して特徴抽出を行う必要があるが、特徴抽出前に、検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定してもよい。所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定する方法は、各フレームの第１画像の品質因子に基づき、各フレームの第１画像の対応する品質スコアを得てもよく、第１画像の品質因子は、撮影デバイスに対する検出対象目標の姿勢情報、第１画像内の検出対象目標の大きさを表すためのパラメータ情報、第１画像の輝度情報のうちの少なくとも１つを含む。撮影デバイスに対する検出対象目標の姿勢情報は撮影デバイスに対する検出対象目標の角度情報であってもよい。ここの撮影デバイスに対する検出対象目標の角度情報は撮影時のレンズに対する検出対象目標の角度情報であってもよい。例えば、レンズを原点として、三次元座標系を構築し、レンズと地心との結線はＸ軸とし、レンズの直前に延在し且つＸ軸に垂直である線はＹ軸とし、Ｘ軸とＹ軸とに共に垂直である線はＺ軸とする。三次元座標系は単に検出対象目標と撮影デバイスとの角度を表すためのものに過ぎず、いくつかの実施例において、三次元座標系の原点又は３つの方向は本願の実施例と異なって選択してもよい。角度はレンズに対するＸＹＺ方向の角度に分けてもよく、例えば、検出対象目標がレンズの正面に向ける場合、ＸＹＺ方向の角度はいずれも０°（度）となり、検出対象目標の側面が第１画像収集コンポーネントの正面に向ける場合、第１画像収集コンポーネントに対する検出対象目標のＸ方向の角度は９０°となり、Ｙ方向の角度は０°となり、Ｚ方向の角度も０°となり、ここで検出対象目標がＸ軸回りに９０°回転したため、検出対象目標とＸ軸との角度、即ちＸ方向に対する検出対象目標の角度は、９０°となる。当然、各方向の角度は小さいほど好適である。第１画像内の検出対象目標の大きさを表すためのパラメータ情報は検出対象目標が第１画像を占める面積の大きさを含み、面積の大きさは検出対象目標が第１画像を占める領域の大きさで表すことができる。当然、これは検出対象目標が第１画像内に完全に含まれることを前提としており、第１画像に検出対象目標の一部のみが含まれる場合、このフレームの第１画像において検出対象目標の大きさという品質因子に関するスコアが低くなる。第１画像の輝度情報は高いほど好適であるわけではなく、現在の時刻の自然光の輝度に近いほど好適であり、この品質因子のスコアもそれに伴い比較的高くなる。画像品質に対する上記３つの品質因子の影響度の関係に基づいて上記３つの品質因子が占める重みを設定する。例えば、角度の重みを０．４とし、残りの２つをそれぞれ０．３とし、当然、これは例に過ぎず、各品質因子間の重みは必要に応じて設定してもよく、且ついくつかの実施例において、この３つの品質因子以外に、さらに第１画像のボケ度等の要因を含んでもよく、画像品質に影響し得る要因であれば画像の品質スコアの計算に用いることができる。品質スコアが要件を満たす画像を選択して特徴抽出を行うことで、検出対象目標をさらに表すことができる特徴が抽出される。当然、重みの設定は実際の画像検出精度上の要件及び画像検出機器の処理能力、リソースの占有状況等を考慮してもよい。例えば、いくつかの実施例において、画像検出機器の処理能力が強く、占有されるリソースが少ない場合、複数の品質因子を考慮して品質スコアを計算してもよく、画像検出機器の処理能力が非常に低い場合、いくつかの品質因子を適宜用いて品質スコアを計算してもよく、例えば、各品質因子を計算するために必要な時間又は占有されるメモリ空間に応じて適切な品質因子を選択する。従って、いくつの品質因子を用いるか又はどの品質因子を用いるかについては、柔軟に選択できる。当然、いくつかの実施例において、低い品質スコア閾値を決定し、第１画像の品質スコアが品質スコア閾値より低くなれば、それを排除し、品質スコアが該品質スコア閾値より大きい第１画像を保持してもよい。

【0062】

いくつかの実施例において、第１画像に対して特徴抽出を行って認識する前に、後続の特徴抽出用の第１画像を前処理してもよい。前処理方法は、第１画像に複数の検出対象目標が含まれる場合、所定抽出要件を満たす検出対象目標の第１画像における目標領域を特定し、第１画像内の目標領域以外の画像部分を除去してもよい。ここの目標領域は１つの検出対象目標を含む領域であってもよい。つまり、第１画像に複数の検出対象目標が含まれる場合、完全な第１画像を認識するのではなく、所定抽出要件を満たす検出対象目標の目標領域のみを認識するため、一定程度、認識過程での他の検出対象目標によるノイズが低減され、それにより要件を満たさない検出対象目標が認識結果に与える影響が軽減される。所定抽出要件は検出対象目標の対応する領域の面積が他の検出対象目標の対応する領域の面積より大きいことであってもよく、他の検出対象目標は検出対象目標以外の目標を含む。第１画像に複数の検出対象目標が存在する場合、複数の検出対象目標が占める面積は一致しないことがあり、面積がより大きい検出対象目標は認識過程での認識率が比較的高いので、面積がより大きい検出対象目標を選択して認識する。面積が同じである複数の検出対象目標が存在する場合、中心が第１画像の中心により近い検出対象目標を認識してもよく、あるいは、別のいくつかの実施例において、全ての検出対象目標に対応する目標領域をそれぞれ取得して目標検出を行ってもよく、当然、後者に記載の全ての検出対象目標とは面積の大きさが共に１位となり、又は面積が共に所定の面積抽出閾値より大きい検出対象目標を指している。

【0063】

いくつかの実施例において、第１画像に対して特徴抽出を行って認識する前に、後続の特徴抽出用の第１画像を前処理するステップは、第１画像内の検出対象目標の傾斜角度が所定角度より大きいことを検出し、検出対象目標の傾斜角度が所定角度以下になるように第１画像を回転するようにしてもよい。いくつかの実施例において、回転方法は第１画像全体を回転する以外に、検出対象目標、又は検出対象目標を含む目標領域のみを回転してもよく、従って、検出対象目標の位置を正す方法はここで限定しない。所定角度は時計回り又は反時計回り０°から１８０°以内であってもよく、本願の実施例では所定角度を０°にし、いくつかの実施例では所定角度は３０°、３５°等であってもよい。検出対象目標が所定角度で傾斜したか否かを判断する方法は、検出対象目標内の所定の第１キーポイントと所定の第２キーポイントとの結線と、垂直線との夾角を取得し、該夾角が所定角度より大きくなるか否かを判断し、大きくなる場合、該夾角が所定角度以下になり且つ回転後の所定の第１キーポイントが所定の第２キーポイントの上方に位置するように、第１画像を回転してもよく、ここの上方は第１画像の底辺に対して決定される。当然、傾斜角度は第１画像のある位置に対する検出対象目標の傾斜角度、例えば第１画像の中心に対する検出対象目標の傾斜角度であってもよい。当然、ここの所定角度は異なるシーンの要件に応じて設定してもよく、例えば検出対象目標の所在する領域が第１画像を占める面積に応じて決定してもよい。例えば、検出対象目標の所在する領域の面積が第１面積の所定値より大きくなる場合、所定角度を３０°より大きくしてもよく、検出対象目標の所在する領域の面積が第２面積の所定値より小さくなる場合、所定角度を３０°より小さくしてもよい。検出対象目標の所在する領域の面積が大きいほど検出対象目標の面積が大きくなり、つまり、検出対象目標が角度から受ける影響が小さくなるので、検出対象目標の傾斜角度に対する許容度が高くなり、逆に、検出対象目標が傾斜角度から受ける影響が大きくなるので、検出対象目標の傾斜角度に対する許容度が低くなる。当然、これは例に過ぎず、いくつかの実施例において、面積と所定角度との他の対応関係の設定等も可能であり、ここでは限定しない。

【0064】

例えば、図２は、本願の実施例に係る画像検出方法の一実施例における第１画像の模式図であり、図３は本願の実施例に係る画像検出方法の一実施例における前処理後の第１画像の模式図である。図２に示すように、第１画像２０内の検出対象目標２１の下半部が予め設定された物体２２に遮蔽され、且つ検出対象目標２１が明らかに左に傾斜し、つまり、検出対象目標２１の左上隅点（第１所定キーポイント）と左下隅点（第２所定キーポイント）とを結ぶ直線と、垂直線との夾角が３０°であり、つまり、検出対象目標２１の傾斜角度が所定角度０°より大きい３０°であり、このとき第１画像２０を右に、即ち時計回りに３０°回転し、回転後の第１画像は図３に示されるとおりであり、図３内の検出対象目標２１の左上隅点（第１所定キーポイント）と左下隅点（第２所定キーポイント）とを結ぶ直線と、垂直線との夾角が所定角度０°に等しい０°となる。

【0065】

第１画像内の検出対象目標の傾斜角度が所定角度より大きい場合、検出対象目標の位置を正すことで、後続で検出対象目標に対して生体検出又は目標認識を行う過程で、検出対象目標の傾斜による影響が軽減される。

【0066】

いくつかの実施例において、第１画像に対して特徴抽出を行って認識する前に、後続の特徴抽出用の第１画像に対して生体検出を行い、検出対象目標が生体である生体検出結果である場合、前記第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を抽出するステップ及び後続のステップを実行することを決定してもよい。第１画像に複数の検出対象目標が存在する場合、面積が最も大きい検出対象目標を選択して生体検出を行う。検出対象目標に対応する目標領域を生体検出モデルに入力することで生体検出を行ってもよく、生体検出モデルは予め設定された物体に遮蔽された検出対象目標を含む複数の画像で訓練して得られたものである。検出対象目標が生体である場合のみに検出対象目標を認識することで、認識の安全性が向上し、一定程度、偽造物攻撃を防止することができる。

【0067】

検出対象目標を認識するプロセスにおいて、まず第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を、検出対象目標の認識待ち特徴として抽出する。第１特徴とは検出対象目標内の未遮蔽キーポイントの特徴を指している。第１画像から検出対象目標の未遮蔽部分の第１特徴を抽出し、検出対象目標の被遮蔽部分の第２特徴を取得し、第１特徴及び第２特徴を検出対象目標の認識待ち特徴としてもよい。ここの第２特徴は検出対象目標の被遮蔽部分のキーポイントの特徴である。被遮蔽部分の第２特徴の取得方法は２つにしてもよく、その１つは第１画像から被遮蔽部分の特徴を第２特徴として抽出することである。つまり、この部分が予め設定された物体に遮蔽されたが、未遮蔽として第１特徴を抽出する方法で遮蔽部分の第２特徴を抽出し、つまり、検出対象目標が予め設定された物体に遮蔽された否かにかかわらず、同じ処理メカニズムを採用し、言い換えれば、予め設定された物体に遮蔽されたか否かは特徴の抽出プロセスに影響しない。当然、いくつかの実施例において、検出対象目標を遮蔽する予め設定された物体がないとしても、この方法で検出対象目標内のキーポイントの特徴を抽出することができる。例えば、検出対象目標が顔、予め設定された物体がマスクである場合、第２特徴を抽出する方法は、顔がマスクに遮蔽されていないとして、顔における各キーポイントの特徴を抽出し、つまり、マスクを着用している顔及びマスクを着用していない顔に対して同じ処理メカニズムを採用し、言い換えれば、マスクの着用は特徴の抽出プロセスに影響しない。もう１つの方法は被遮蔽部分の所定特徴を第２特徴として取得することであり、所定特徴は少なくとも１つの参考特徴に基づいて得られた特徴であってもよく、各参考特徴は、被遮蔽部分が存在しない参考目標内の、被遮蔽部分に対応する領域から抽出して得られたものである。つまり、第１画像を認識する前に、まず被遮蔽部分のキーポイントに対して参考特徴を予め設定し、つまり、まず被遮蔽部分の特徴を補完する。例えば、被遮蔽部分が存在しない検出結果の検出対象目標内の対応する所定部位の特徴を予め複数抽出し、その後、抽出された複数の特徴の平均値を補完して物体に遮蔽された部分の参考特徴とし、ここでは予め設定された物体に遮蔽されていない検出結果の検出対象目標内の対応する所定部位の特徴を予め複数抽出し、その後、抽出された複数の特徴の平均値を補完して予め設定された物体に遮蔽された部分の参考特徴としてもよい。例えば、マスクを着用していない顔における対応する所定部位の特徴、即ち、鼻、口等のマスクをかけるべき部分の特徴を予め複数抽出し、抽出された複数の特徴の平均値を補完し、マスクに覆われる部分の所定の参考特徴とする。被遮蔽部分の特徴の特定方法については、被遮蔽部分の特徴を直接抽出してもよく、被遮蔽部分の特徴は一定程度、検出対象目標に応じて相違するため、この方法は認識の正確性を向上させることができ、又は、所定特徴を被遮蔽部分の特徴として取得してもよく、この方法は被遮蔽部分に対して特徴抽出を行う必要がなく、消費される処理リソースを低減し、処理効率を高めることができる。

【0068】

いくつかの実施例において、検出対象目標の認識待ち特徴を得た後、認識待ち特徴を利用して検出対象目標を認識する。認識のシーンは１：１のシーン、及び１：Ｎのシーンに分けることができ、１：１とは２つの特徴間の比較を指しており、１：Ｎとは１つの特徴と複数の特徴との比較を指している。１：１のシーンにおいて、即ち、予め設定された目標が１つ含まれる場合において、認識待ち特徴と予め設定された目標の予め記憶された特徴との第１類似度を取得し、第１類似度が第１所定条件を満たす場合、認識結果が検出対象目標の身元認証に成功したことを含むことを決定する。第１所定条件は第１類似度が第１類似度閾値より大きいことであってもよい。認識待ち特徴が検出対象目標の被遮蔽部分の第２特徴を含む場合の第１類似度閾値を、認識待ち特徴が第２特徴を含まない場合の第１類似度閾値より小さくする。認識待ち特徴に第２特徴が含まれる場合、第２特徴が検出対象目標の被遮蔽部分のキーポイントの実特徴と相違し得るため、この場合に類似度閾値を適宜低下させれば認識の正確性を向上させることができる。認識待ち特徴に第２特徴が含まれない場合、第１類似度閾値は、被遮蔽のキーポイントの数が検出対象目標のキーポイントの総数を占める比率に基づいて決定して選択してもよい。例えば、被遮蔽部分のキーポイントが検出対象目標のキーポイント総数の３分の１である場合、第１類似度閾値が未遮蔽の検出対象目標を認識する類似度閾値の３分の１であると決定してもよい。このとき、認識待ち特徴に第２特徴が含まれる場合、第１類似度閾値が認識待ち特徴に第２特徴が含まれない場合の第１類似度閾値より０．１小さく設定し、又は他の値で小さく設定してもよく、ここでは限定しない。例えば、未遮蔽の検出対象目標を認識する類似度閾値は０．６から１であってもよい。当然、これは例に過ぎず、いくつかの実施例において、認識待ち特徴が検出対象目標の被遮蔽部分の第２特徴を含む場合の第１類似度閾値は、認識待ち特徴が第２特徴を含まない場合の第１類似度閾値に等しくしてもよく、認識待ち特徴に第２特徴が含まれる場合、上記方法で実際の状況に応じて決定してもよい。

【0069】

いくつかの実施例において、認識待ち特徴と予め設定された目標の予め記憶された特徴との第１類似度を取得する前に、まずユーザアカウントと予め設定された目標の予め記憶された特徴とを関連付ける。その実施形態は以下のとおりである。アカウント登録要求に応答して、ユーザのアカウントを登録する。ここのアカウントは何らかの電子決済アカウントであってもよく、目標認識を行うことができるアプリケーションであれば、いずれもアカウント登録要求に応答して、ユーザのアカウントを登録することができる。ユーザは対応するアプリケーションにおいて携帯電話番号で登録でき、登録に成功した後、ユーザはユーザ名、パスワード等の情報を得る。ユーザを撮影して得られた少なくとも１つのフレームの第２画像から、所定品質要件を満たす第２画像を特定し、特定された第２画像からユーザの所定部位の特徴を抽出する。ここの所定部位は検出対象目標の所定部位と同じである。所定品質要件を満たす第２画像を選択するステップは、上記で所定品質要件を満たす第１画像を選択するステップと同じである。最後に、所定部位の特徴とアカウントとを関連付け、所定部位の特徴を予め設定された目標の予め記憶された特徴として保存する。つまり、ユーザの所定部位は予め設定された目標である。

【0070】

１：Ｎのシーンにおいて、即ち、予め設定された目標が複数含まれる場合において、認識待ち特徴と各予め設定された目標の予め記憶された特徴との第２類似度をそれぞれ取得し、認識結果が、検出対象目標の身元を、第２所定条件を満たす第２類似度に対応する予め設定された目標の身元として特定することを含むことを決定する。第２所定条件は第２類似度が第２類似度閾値より大きいことであってもよい。一般的には、ここでいう第２所定条件を満たすことは、第２類似度閾値より大きいことであるだけでなく、多くの場合、全ての第２類似度から、最大値を選択し、即ち、最大の第２類似度に対応する予め設定された目標の身元を検出対象目標の身元として選択する。認識待ち特徴が第２特徴を含む場合の第２類似度閾値を、認識待ち特徴が第２特徴を含まない場合の第２類似度閾値より小さくする。認識待ち特徴に第２特徴が含まれる場合、第２特徴が検出対象目標の被遮蔽部分のキーポイントの実特徴と相違し得るため、この場合に類似度閾値を適宜低下させれば認識の正確性を向上させることができる。第２類似度閾値の決定方法は第１類似度閾値の決定方法と同じである。

【0071】

１：Ｎは、複数の顔に関わるシーン、例えば、オフィスビル又は会社の出入口に顔認識ゲートが実装されているシーンであってもよく、このようなシーンにおいてビル又は会社の範囲内に、出入しようとする各人を登録し、顔ライブラリを形成する必要があり、登録された人がゲートの前に現れた時、ゲート上のカメラは顔を検出し、スナップ撮影し、スナップ撮影された顔を顔ライブラリ内のものと比較し、比較に成功したら、ゲートを開き、登録されていない人がゲートに現れた時、比較に成功せず、ゲートは応答しない。

【0072】

上記解決手段は、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かを判断でき、それにより検出結果に合致する後続の所定操作を実行でき、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0073】

前記実施例に基づき、本願の実施例はさらに画像検出方法を提供する。前記画像検出方法は深層学習アルゴリズムに基づくモデル検出能力を利用したものであり、顔検証シーンから着手し、１：１及び１：Ｎのシーンにおける画像検出フローを実現するとともに、マスクの着用有無を検査する方法を提供し、及びマスクを着用している場合のプロセスにおける顔比較及び顔検索の実施形態を提供する。

【0074】

（１）顔検証シーンは主に１：１及び１：Ｎという２つのシーンを含む。

【0075】

例えば、決済シーンでの１：１とはリアルタイムにスナップ撮影した顔写真と、会員にバインドされたライブラリ画像との１：１の検証を行い、同一のユーザであると確認した場合、認証に成功する。また例えば、１：Ｎのシーンは顔検索に関わることが多く、例えばオフィスビル又は会社の出入口に顔認識ゲートが実装されているシーンが挙げられ、このようなシーンにおいてビル又は会社の範囲内に、出入しようとする各ユーザを登録し、顔ライブラリを形成する必要がある。ユーザがゲートの前に現れた時、ゲート上のカメラは顔を検出し、スナップ撮影し、スナップ撮影された顔を顔ライブラリ内の画像と比較し、比較に成功したら、ゲートを開き、比較が失敗したら、ゲートは応答せず、つまり、ゲートは閉じるままである。

【0076】

いくつかの実施例において、１：１及び１：Ｎのいずれのシーンにおいても、生体であるかの防犯が必要である。例えば写真（人物を撮影して得られた写真、電子合成写真等）、覆面等によるダミー攻撃を防犯する必要がある。

【0077】

（２）１：１のシーンでの画像検出方法は、以下のように実現してもよい。

【0078】

まず、ユーザはアカウント、例えば電子決済アカウントを有する。ユーザは前記電子決済アカウントに対応するアプリケーションシステムにおいて携帯電話番号で登録し、登録に成功した後、ユーザはユーザ名、パスワード等の情報を入手し、つまり、電子決済アカウントを得る。次に、前記アプリケーションシステムは何らかのイベントによって、顔のバインド操作を行うようにユーザを誘導し、ユーザが生体認証に成功したら、顔認識を行い、ビデオにおける顔の品質が顔収集の要件を満たす場合、ユーザの顔画像を収集する。撮影過程での最も品質が高い１つのフレームを選択してもよく、前記品質の評価基準は顔の角度、照明の強さ、顔の大きさ等の次元のうちの１つ又は複数を含む。

【0079】

収集されたユーザの顔画像を該アカウントと関連付けてもよく、具体的にはアカウントの識別子と関連付けて、顔ライブラリの比較画像とすることができる。ユーザがオンラインで支払う際に、注文が確認された後に決済段階に入り、このときユーザが顔画像のバインドを遂行し、顔決済を選択したならば、顔スナップ撮影の段階に入る。顔検出際にマスク着用の検査（即ち、顔属性検出）を行い、マスクが着用されている場合、後続のフローを継続し、マスクが着用されていない場合、音声再生又は文言表示等の方式でマスクをかけるようにユーザに通知してもよい。

【0080】

ユーザがマスクを着用している場合、顔検出を行い、撮影プロセスのこの期間内に、最も品質が高い１つのフレームを選択し、選択されたこの１つのフレームの画像に対して顔の位置合わせを行い（例えば顔に一定の傾斜角度が存在すれば、顔位置を正す）、位置合わせ後の顔画像に基づいて顔特徴値を抽出する。

【0081】

顔特徴値の抽出及び比較は２つの方法があり、１つ目はマスク部分を含む顔特徴値を抽出することであり、例えば、顔ライブラリの画像のうちのマスクを着用していない顔の特徴値をＡとし、同様な方法でマスクを着用している顔に対して特徴抽出を行い、特徴値Ａ１を抽出し、さらにマスクを着用している場合の特徴値Ａ１とマスクを着用していない場合の特徴値Ａの特徴ベクトルを比較する。２つ目はマスクから上の可視部分の顔特徴値を抽出することであり、全ての顔に１２８個のキーポイントがあり、マスクから上に６４個のキーポイントがあると仮定すると、マスクから上の可視部分の６４個のキーポイントから抽出された特徴値と、前記顔ライブラリの画像内の対応する６４個のキーポイントから抽出された特徴値とを比較する。さらに、生成された特徴値と該ユーザの前記顔ライブラリ内の画像の特徴値とを比較し、比較閾値を超えた場合（例えば比較閾値は０．８とし、類似度が０．８を超えれば同一のユーザと見なす）、比較に成功し、顔検証フローを終了する。

【0082】

（３）１：Ｎのシーンでの画像検出方法は、以下のように実現してもよい。

【0083】

まず、オフィスビルのスタッフ管理業務システムにおいて、ビルに入る権限を有する各ユーザの写真を入力し（ビルの通行シーンでの顔ライブラリの比較画像を形成する）、このとき前記顔ライブラリ内の画像とビルのユーザとは一対一の対応関係にある。次に、前記顔ライブラリ内の画像をゲートの顔認識機器とバインドして関連付け、それによって、ゲートの顔認識機器が前記顔ライブラリ内の画像を読み取ることができるようにする。スタッフがゲートを通過しようとする場合、ゲート上の顔認識機器は顔情報を検出すると、顔スナップ撮影状態に入る（このとき前記顔認識機器における撮影モジュールは常に起動されていてもよく、顔が追跡され、顔枠は常に顔の移動に追跡している）。

【0084】

続いて、顔検出際にマスク着用の検査（即ち、顔属性検出）を行い、検査結果によって操作を行い、具体的な操作内容は上記１：１のシーンでの記述内容を参照すればよい。

【0085】

１：Ｎのシーンでの顔特徴値の抽出及び検索も２つの方法があり、１つ目はマスク部分を含む顔特徴値を抽出することであり、前記顔ライブラリの比較画像のうちのＡ、Ｂ、Ｃ、Ｄ及びＥという５つのマスクを着用していない顔の特徴値があると仮定すると、同様な方法でマスクを着用している顔に対して特徴抽出を行い、Ａ１、Ｂ１、Ｃ１、Ｄ１及びＥ１という５つの特徴値を抽出し、マスクを着用している場合の特徴値Ａ１を検索する際に、特徴値Ａ１と特徴値Ａの特徴ベクトルの距離が最も短い場合、対応する特徴値Ａが検索できる。２つ目はマスクから上の可視部分の顔特徴値を抽出することであり、特徴値の生成という部分は上記１：１のシーンでの方法と同じであり、上記説明を参照すればよい。特徴値を生成した後、さらに生成された特徴値に対して、全ビルの全てのユーザの顔ライブラリの画像で顔特徴検索（１：Ｎの検索）を行い、比較閾値を超える特徴値が存在する場合、検索に成功したと見なす。検索に成功したら、顔認識機器が開き信号を伝送し、ゲートが開き、顔検証フローが終了する。

【0086】

本願の実施例では、上記方法によって、顔認識前に、ユーザのマスク着用有無を検査しリマインドを通知し、及びユーザがマスクを着用している場合、正確な顔認識を行い、顔検証フローを完了することができ、通行の効率が大幅に向上し、マスクを外すことによるリスクが低減される。

【0087】

画像検出方法の実行主体は画像検出装置であってもよく、例えば、画像検出方法はユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥと略称）、携帯機器、端末、セルラー電話、コードレス電話機、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡと略称）、携帯型デバイス、計算装置、車載装置、ウェアラブル装置等の端末装置又は他の処理装置により実行してもよい。いくつかの可能な実施形態において、該画像検出方法はプロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。

【0088】

図４は、本願の実施例に係る画像検出装置の一実施例の構成図である。画像検出装置４０は画像取得モジュール４１、目標検出モジュール４２及び操作実行モジュール４３を含む。画像取得モジュール４１は検出対象目標を含む第１画像を取得するように構成され、目標検出モジュール４２は第１画像を検出し、第１画像の検出結果を得るように構成され、検出結果は第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含み、操作実行モジュール４３は、検出結果に合致する所定操作を実行するように構成される。

【0089】

上記解決手段は、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かを判断でき、それにより検出結果に合致する後続の所定操作を実行でき、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0090】

いくつかの実施例において、検出結果は目標検出モジュール４２がニューラルネットワークにより第１画像を検出して得たものである。

【0091】

上記解決手段は、事前に訓練されたニューラルネットワークによって検出し、より正確な検出結果及びより速い検出速度が得られる。

【0092】

いくつかの実施例において、操作実行モジュール４３が検出結果に合致する所定操作を実行するステップは、検出対象目標が予め設定された物体に遮蔽されていない場合、第１リマインドを通知するステップを含み、第１リマインドは、予め設定された物体で検出対象目標を遮蔽するように通知するためのものである。

【0093】

上記解決手段は、検出対象目標が遮蔽されていないときに第１リマインドを通知することで、検出対象目標が予め設定された物体に遮蔽されていない状況を適時に通知し、それによって、被通知者が対応する措置を適時に取ることができる。

【0094】

いくつかの実施例において、検出結果は、検出対象目標の予め設定された物体での遮蔽方式が所定遮蔽方式であるか否かをさらに含み、操作実行モジュール４３が検出結果に合致する所定操作を実行するステップは、検出対象目標が予め設定された物体に遮蔽され、且つ遮蔽方式が所定遮蔽方式でない場合、第２リマインドを通知するステップを含み、第２リマインドは、予め設定された物体での遮蔽方式を調整するように通知するためのものである。

【0095】

上記解決手段は、遮蔽方式が正確でない場合、検出対象目標の遮蔽方式を適時に調整するように、第２リマインドを通知する。

【0096】

いくつかの実施例において、操作実行モジュール４３が検出結果に合致する所定操作を実行するステップは、検出対象目標が予め設定された物体に遮蔽された場合、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を、検出対象目標の認識待ち特徴として抽出するステップと、認識待ち特徴を利用して検出対象目標を認識し、認識結果を得るステップと、を含む。

【0097】

上記解決手段は、検出対象目標が予め設定された物体に遮蔽された場合、未遮蔽部分の特徴を抽出して認識することで、検出対象目標の局所特徴に基づく認識を実現し、また、該局所特徴は遮蔽されていないため、検出対象目標を表すことができ、一定程度、認識の正確性が保証される。

【0098】

いくつかの実施例において、操作実行モジュール４３が第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を、検出対象目標の認識待ち特徴として抽出するステップは、第１画像から検出対象目標の未遮蔽部分の第１特徴を抽出し、検出対象目標の被遮蔽部分の第２特徴を取得するステップと、第１特徴及び第２特徴を検出対象目標の認識待ち特徴とするステップと、を含む。

【0099】

上記解決手段は、検出対象目標の未遮蔽部分の特徴を採用する以外に、被遮蔽部分の特徴も採用し、これにより検出対象目標の特徴をさらに多様にすることができる。

【0100】

いくつかの実施例において、操作実行モジュール４３が検出対象目標の被遮蔽部分の第２特徴を取得するステップは、第１画像から被遮蔽部分の特徴を第２特徴として抽出するステップ、又は、被遮蔽部分の所定特徴を第２特徴として取得するステップであって、所定特徴は、少なくとも１つの参考特徴に基づいて得られた特徴を含み、各参考特徴は、被遮蔽部分が存在しない参考目標内の、被遮蔽部分に対応する領域から抽出して得られたものであるステップを含む。

【0101】

上記解決手段は、被遮蔽部分の特徴特定方法については、被遮蔽部分の特徴を直接抽出してもよく、被遮蔽部分の特徴は一定程度、検出対象目標に応じて相違するため、この方法は認識の正確性を向上させることができ、又は、所定特徴を被遮蔽部分の特徴として取得してもよく、この方法は被遮蔽部分に対して特徴抽出を行う必要がなく、消費される処理リソースを節約し、処理効率を高めることができる。

【0102】

いくつかの実施例において、操作実行モジュール４３が認識待ち特徴を利用して検出対象目標を認識し、認識結果を得るステップは、予め設定された目標が１つ含まれる場合、認識待ち特徴と予め設定された目標の予め記憶された特徴との第１類似度を取得し、第１類似度が第１所定条件を満たす場合、認識結果が検出対象目標の身元認証に成功したことを含むことを決定するステップと、予め設定された目標が複数含まれる場合、認識待ち特徴と各予め設定された目標の予め記憶された特徴との第２類似度をそれぞれ取得し、認識結果が、検出対象目標の身元を、第２所定条件を満たす第２類似度に対応する予め設定された目標の身元として特定することを含むことを決定するステップと、のうちの少なくとも１つを含む。

【0103】

上記解決手段は、特定の予め設定された目標の予め記憶された特徴との第１類似度を計算するか、又は複数の予め設定された目標の予め記憶された特徴との類似度を計算することで、実際のシーンの要件に応じて検出対象目標を、特定のある予め設定された目標と比較するか、又はあるデータベース内の予め設定された目標と比較することができる。

【0104】

いくつかの実施例において、第１所定条件は第１類似度が第１類似度閾値より大きいことを含み、第２所定条件は第２類似度が第２類似度閾値より大きいことを含む。

【0105】

上記解決手段は、異なるシーンにおいて第１類似度閾値をそれぞれ設定することで、より正確な認識結果が得られる。

【0106】

いくつかの実施例において、認識待ち特徴が検出対象目標の被遮蔽部分の第２特徴を含む場合の第１類似度閾値は、認識待ち特徴が第２特徴を含まない場合の第１類似度閾値より小さく、認識待ち特徴が第２特徴を含む場合の第２類似度閾値を、認識待ち特徴が第２特徴を含まない場合の第２類似度閾値より小さくする。

【0107】

上記解決手段は、認識待ち特徴に第２特徴が含まれる場合、第２特徴が検出対象目標の被遮蔽部分のキーポイントの実特徴と相違し得るため、この場合に類似度閾値を適宜低下させれば認識の正確性を向上させることができる。

【0108】

いくつかの実施例において、画像検出装置４０は予め記憶モジュール（図示せず）をさらに含む。操作実行モジュール４３が認識待ち特徴と予め設定された目標の予め記憶された特徴との第１類似度を取得する前に、予め記憶モジュールは、アカウント登録要求に応答して、ユーザのアカウントを登録し、ユーザを撮影して得られた少なくとも１つのフレームの第２画像から、所定品質要件を満たす第２画像を特定し、特定された第２画像からユーザの所定部位の特徴を抽出し、そして所定部位の特徴とアカウントとを関連付け、所定部位の特徴を予め設定された目標の予め記憶された特徴として保存するように構成される。

【0109】

上記解決手段は、まず品質要件を満たす第２画像を特定して所定部位の特徴を抽出することで、より正確な特徴が抽出される。

【0110】

いくつかの実施例において、検出対象目標が予め設定された物体に遮蔽された場合、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を抽出する前に、操作実行モジュール４３はさらに、検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定するステップと、後続の特徴抽出用の第１画像を前処理するステップと、後続の特徴抽出用の第１画像に対して生体検出を行い、検出対象目標が生体である生体検出結果である場合、第１画像から少なくとも検出対象目標の未遮蔽部分の第１特徴を抽出するステップ及び後続のステップを実行することを決定するステップと、のうちの少なくとも１つを実行するように構成される。

【0111】

上記解決手段は、特徴抽出前に、まず前処理を行うことで、より正確な特徴を抽出し、検出対象目標が生体である場合のみに検出対象目標を認識することで、認識の安全性が向上し、一定程度、偽造物攻撃を防止することができる。

【0112】

いくつかの実施例において、操作実行モジュール４３が検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定するステップは、各フレームの第１画像の品質因子に基づき、各フレームの第１画像の対応する品質スコアを得るステップであって、第１画像の品質因子は、撮影デバイスに対する検出対象目標の位姿情報、第１画像内の検出対象目標の大きさを表すためのパラメータ情報、第１画像の輝度情報のうちの少なくとも１つを含むステップと、品質スコアに基づき、所定品質要件を満たす第１画像を後続の特徴抽出用の第１画像として特定するステップであって、選択された第１画像の品質スコアは他の第１画像の品質スコアより高いステップと、を含む。

【0113】

上記解決手段は、品質スコアが要件を満たす画像を特定して特徴抽出を行うことで、検出対象目標をさらに表すことができる特徴が抽出される。

【0114】

いくつかの実施例において、操作実行モジュール４３が後続の特徴抽出用の第１画像を前処理するステップは、第１画像が複数の検出対象目標を含む場合、所定抽出要件を満たす検出対象目標の第１画像における目標領域を特定し、第１画像内の目標領域以外の画像部分を除去するステップ、及び／又は、第１画像内の検出対象目標の傾斜角度が所定角度より大きいことを検出し、検出対象目標の傾斜角度が所定角度より小さくなるまで第１画像を回転するステップを含む。

【0115】

上記解決手段は、第１画像に複数の検出対象目標が存在する場合、所定抽出要件を満たす検出対象目標のみを特定し、要件を満たさない検出対象目標を破棄することで、要件を満たさない検出対象目標が認識結果に与える影響が軽減され、次に、第１画像内の検出対象目標の傾斜角度が所定角度より大きい場合、検出対象目標の位置を正すことで、検出対象目標の傾斜による影響が軽減される。

【0116】

いくつかの実施例において、所定抽出要件は検出対象目標の対応する領域の面積が他の検出対象目標の対応する領域の面積より大きいことを含み、他の検出対象目標は検出対象目標以外の目標を含む。

【0117】

上記解決手段は、検出対象目標の面積が大きいほど、抽出された特徴が正確であるため、面積がより大きい検出対象目標を選択することで、より正確な検出結果が得られる。

【0118】

いくつかの実施例において、検出対象目標は顔を含み、予め設定された物体はマスクを含む。

【0119】

上記解決手段は、顔のマスク着用有無を判断し、対応する操作を実行し、例えば、顔にマスクが着用されていない場合又はマスクのかけ方が正確でない場合、対応するリマインドを通知することで、ユーザは適時に調整することができ、顔にマスクが着用されている場合、顔に対して認識等を行う。

【0120】

上記解決手段は、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かを判断でき、それにより検出結果に合致する後続の所定操作を実行でき、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0121】

図５は、本願の実施例に係る電子機器の一実施例の構成図である。電子機器５０はメモリ５１及びプロセッサ５２を含み、プロセッサ５２は、上記いずれかの画像検出方法の実施例におけるステップを実現するように、メモリ５１に記憶されたプログラム命令を実行するために用いられる。一実施シーンにおいて、電子機器５０は、マイクロコンピュータ、サーバを含んでもよいが、これらに限定されず、また、電子機器５０はノートパソコン、タブレット等の携帯型デバイスを含んでもよく、ここでは限定しない。

【0122】

プロセッサ５２は、上記いずれかの画像検出方法の実施例におけるステップを実現するように、それ自体及びメモリ５１を制御するために用いられる。プロセッサ５２は中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵと略称）と呼ばれてもよい。プロセッサ５２は信号処理能力を有する集積回路チップであり得る。プロセッサ５２は共通プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰと略称）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣと略称）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡと略称）又は他のプログラマブル論理デバイス、離散ゲート又はトランジスタ論理デバイス、離散ハードウェアコンポーネント等であってもよい。共通プロセッサはマイクロプロセッサ又は任意の一般的なプロセッサ等であってもよい。また、プロセッサ５２は集積回路チップにより共同で実現されてもよい。

【0123】

上記解決手段は、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かを判断でき、それにより検出結果に合致する後続の所定操作を実行でき、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0124】

図６は、本願の実施例に係るコンピュータ可読記憶媒体の一実施例の構成図である。コンピュータ可読記憶媒体６０にはプロセッサにより実行可能なプログラム命令６１が記憶されており、プログラム命令６１は上記いずれかの画像検出方法の実施例におけるステップを実現するために用いられる。

【0125】

上記解決手段は、検出対象目標を含む第１画像を検出して検出対象目標が遮蔽されたか否かを得て、その後、検出結果に合致する所定操作を実行することで、検出対象目標が遮蔽されたか否かを判断でき、それにより検出結果に合致する後続の所定操作を実行でき、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【0126】

いくつかの実施例において、本願の実施例は、電子機器で実行されると、前記電子機器内のプロセッサに上記方法を実行させるためのコンピュータ可読コードを含むコンピュータプログラムを提供する。

【0127】

いくつかの実施例において、本願の実施例により提供される装置に備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、簡単化するために、その具体的な実施形態については上記方法実施例の説明を参照してよい。

【0128】

各実施例についての上記説明はそれぞれの実施例の相違点を強調する傾向にあり、簡単化するために、その同一又は類似の部分は相互に参照すればよい。

【0129】

本願により提供されるいくつかの実施例において、開示した方法及び装置は、他の形態で実現することができることを理解すべきである。例えば、上述した装置の実施形態は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際に実現時に別の形態で分割してもよく、例えば複数のユニット又はコンポーネントは組み合わせてもよく、又は別のシステムに統合してもよく、又はいくつかの特徴を省略もしくは実行しなくてもよい。一方、図示又は説明した相互の結合又は直接結合又は通信接続はいくつかのインタフェース、機器又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

【0130】

また、本願の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、２つ又は２つ以上で１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。統合されたユニットがソフトウェア機能ユニットの形式で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的に又は従来技術に寄与する部分又は該技術的解決手段の全て又は一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）又はプロセッサ（Ｐｒｏｃｅｓｓｏｒ）に本願の実施例に係る各実施形態の方法の全て又は一部のステップを実行させる。前記記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭと略称）、磁気ディスクまたは光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。

【産業上の利用可能性】

【0131】

本願の実施例は画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラムを提供し、前記方法は、検出対象目標を含む第１画像を取得するステップと、前記第１画像を検出し、前記第１画像の検出結果を得るステップであって、前記検出結果は、前記第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含むステップと、前記検出結果に合致する所定操作を実行するステップと、を含む。本願の実施例により提供される画像検出方法によれば、検出対象目標が遮蔽されたか否かを判断し、それにより検出結果に合致する後続の所定操作を実行することができ、画像内の検出対象目標の遮蔽状態に応じる柔軟な処理を実現する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2021-11-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

検出対象目標を含む第１画像を取得するステップと、
前記第１画像を検出し、前記第１画像の検出結果を得るステップであって、前記検出結果は、前記第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含むステップと、
前記検出結果に合致する所定操作を実行するステップと、を含み、
前記検出結果は、ニューラルネットワークにより前記第１画像を検出して得られたものである、画像検出方法。

【請求項2】

前記検出結果に合致する所定操作を実行するステップは、
前記検出対象目標が前記予め設定された物体に遮蔽されていない場合、第１リマインドを通知するステップを含み、前記第１リマインドは、前記予め設定された物体で前記検出対象目標を遮蔽するように通知するためのものであり、及び／又は、
前記検出結果は、前記検出対象目標の予め設定された物体での遮蔽方式が所定遮蔽方式であるか否かを含み、前記検出結果に合致する所定操作を実行するステップは、
前記検出対象目標が前記予め設定された物体に遮蔽され、且つ前記遮蔽方式が前記所定遮蔽方式でない場合、第２リマインドを通知するステップを含み、前記第２リマインドは、前記予め設定された物体での遮蔽方式を調整するように通知するためのものであり、及び／又は、
前記検出結果に合致する所定操作を実行するステップは、
前記検出対象目標が前記予め設定された物体に遮蔽された場合、前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を、前記検出対象目標の認識待ち特徴として抽出するステップと、
前記認識待ち特徴を利用して前記検出対象目標を認識し、認識結果を得るステップと、を含む
請求項１に記載の方法。

【請求項3】

前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を、前記検出対象目標の認識待ち特徴として抽出するステップは、
前記第１画像から前記検出対象目標の未遮蔽部分の第１特徴を抽出し、前記検出対象目標の被遮蔽部分の第２特徴を取得するステップと、
前記第１特徴及び第２特徴を前記検出対象目標の認識待ち特徴とするステップと、を含む
請求項２に記載の方法。

【請求項4】

前記検出対象目標の被遮蔽部分の第２特徴を取得するステップは、
前記第１画像から前記被遮蔽部分の特徴を前記第２特徴として抽出するステップ、又は、
前記被遮蔽部分の所定特徴を前記第２特徴として取得するステップであって、前記所定特徴は、少なくとも１つの参考特徴に基づいて得られた特徴を含み、各前記参考特徴は、前記被遮蔽部分が存在しない参考目標内の、前記被遮蔽部分に対応する領域から抽出して得られたものであるステップを含む
請求項３に記載の方法。

【請求項5】

前記認識待ち特徴を利用して前記検出対象目標を認識し、認識結果を得るステップは、
予め設定された目標が１つ含まれる場合、前記認識待ち特徴と前記予め設定された目標の予め記憶された特徴との第１類似度を取得し、前記第１類似度が第１所定条件を満たす場合、前記認識結果が前記検出対象目標の身元認証に成功したことを含むことを決定するステップと、
前記予め設定された目標が複数含まれる場合、前記認識待ち特徴と各前記予め設定された目標の予め記憶された特徴との第２類似度をそれぞれ取得し、前記認識結果が、前記検出対象目標の身元を、第２所定条件を満たす第２類似度に対応する予め設定された目標の身元として特定することを含むことを決定するステップと、のうちの少なくとも１つを含み、
前記画像検出方法は、
前記第１所定条件は前記第１類似度が第１類似度閾値より大きいことを含むことと、
前記第２所定条件は前記第２類似度が第２類似度閾値より大きいことを含むことと、のうちの少なくとも１つをさらに含む
請求項２から４のいずれか１項に記載の方法。

【請求項6】

前記認識待ち特徴が前記検出対象目標の被遮蔽部分の第２特徴を含む場合の前記第１類似度閾値を、前記認識待ち特徴が前記第２特徴を含まない場合の前記第１類似度閾値より小さくすることと、
前記認識待ち特徴が前記第２特徴を含む場合の前記第２類似度閾値を、前記認識待ち特徴が前記第２特徴を含まない場合の前記第２類似度閾値より小さくすることと、のうちの少なくとも１つを含む
請求項５に記載の方法。

【請求項7】

前記認識待ち特徴と前記予め設定された目標の予め記憶された特徴との第１類似度を取得する前に、さらに、
アカウント登録要求に応答して、ユーザのアカウントを登録するステップと、
前記ユーザを撮影して得られた少なくとも１つのフレームの第２画像から、所定品質要件を満たす前記第２画像を特定し、特定された前記第２画像から前記ユーザの所定部位の特徴を抽出するステップと、
前記所定部位の特徴と前記アカウントとを関連付け、前記所定部位の特徴を前記予め設定された目標の予め記憶された特徴として保存するステップと、を含む
請求項５又は６に記載の方法。

【請求項8】

前記検出対象目標が前記予め設定された物体に遮蔽された場合、前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を抽出する前に、さらに、
前記検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす前記第１画像を後続の特徴抽出用の前記第１画像として特定するステップと、
後続の特徴抽出用の前記第１画像を前処理するステップと、
後続の特徴抽出用の前記第１画像に対して生体検出を行い、前記検出対象目標が生体である生体検出結果である場合、前記第１画像から少なくとも前記検出対象目標の未遮蔽部分の第１特徴を抽出するステップ及び後続のステップを実行することを決定するステップと、のうちの少なくとも１つを含む、
請求項２から７のいずれか１項に記載の方法。

【請求項9】

前記検出対象目標を含む複数のフレームの第１画像から、所定品質要件を満たす前記第１画像を後続の特徴抽出用の前記第１画像として特定するステップは、
各フレームの前記第１画像の品質因子に基づき、各フレームの前記第１画像の対応する品質スコアを得るステップであって、前記第１画像の品質因子は、撮影デバイスに対する前記検出対象目標の姿勢情報、前記第１画像内の検出対象目標の大きさを表すためのパラメータ情報、前記第１画像の輝度情報のうちの少なくとも１つを含むステップと、
前記品質スコアに基づき、所定品質要件を満たす前記第１画像を後続の特徴抽出用の前記第１画像として特定するステップであって、前記選択された第１画像の前記品質スコアは他の前記第１画像の品質スコアより高いステップと、を含み、
後続の特徴抽出用の前記第１画像を前処理するステップは、
前記第１画像が複数の前記検出対象目標を含む場合、所定抽出要件を満たす前記検出対象目標の前記第１画像における目標領域を特定し、前記第１画像内の前記目標領域以外の画像部分を除去するステップ、及び／又は、
前記第１画像内の前記検出対象目標の傾斜角度が所定角度より大きいことを検出し、前記検出対象目標の傾斜角度が前記所定角度以下になるように前記第１画像を回転するステップを含む
請求項８に記載の方法。

【請求項10】

前記所定抽出要件は、前記検出対象目標の対応する領域の面積が他の検出対象目標の対応する領域の面積より大きいことを含み、前記他の検出対象目標は前記検出対象目標以外の目標を含む
請求項９に記載の方法。

【請求項11】

前記検出対象目標は顔を含み、前記予め設定された物体はマスクを含む
請求項６に記載の方法。

【請求項12】

検出対象目標を含む第１画像を取得するように構成される画像取得モジュールと、
前記第１画像を検出し、前記第１画像の検出結果を得るように構成される目標検出モジュールであって、前記検出結果は、前記第１画像内の検出対象目標が予め設定された物体に遮蔽されたか否かを含む目標検出モジュールと、
前記検出結果に合致する所定操作を実行するように構成される操作実行モジュールと、を含む、画像検出装置。

【請求項13】

メモリ及びプロセッサを含み、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、請求項１から１１のいずれか１項に記載の方法を実現するために用いられる、電子機器。

【請求項14】

プログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記プログラム命令は、プロセッサに、請求項１から１１のいずれか１項に記載の方法を実行させる、コンピュータ可読記憶媒体。

【請求項15】

電子機器で実行されると、前記電子機器内のプロセッサに請求項１から１１のいずれか１項に記載の方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。

【国際調査報告】