(58)【調査した分野】(Int.Cl.,DB名)
前記画像データベースは、同一人に属する少なくとも1つの第2の顔画像及び各前記第2の顔画像に対応する取得時間と取得位置を保存した少なくとも1つの画像群を含み、
前記方法は、更に、前記事前保存顔画像情報に対応する出現回数が2より大きいことに応答して、前記事前保存顔画像情報の所在する画像群中の少なくとも1つの第2の顔画像及び前記少なくとも1つの第2の顔画像のうちの各第2の顔画像の取得時間と取得位置に基づいて、前記事前保存顔画像情報に対応する人の挙動軌跡を確立する工程を含むことを特徴とする請求項6に記載の方法。
コンピュータ読み取り可能コードを備えるコンピュータプログラムであって、前記コンピュータ読み取り可能コードを機器上で動作する時に、前記機器におけるプロセッサーにより請求項1〜16のいずれか一項に記載の顔画像を動的にデータベースに追加する方法を実現するためのコマンドを実行することを特徴とするコンピュータプログラム。
【発明の概要】
【0005】
本願の実施形態は、顔画像を動的にデータベースに追加する技術を提供する。
【0006】
本願の実施形態の一態様によれば、提供される顔画像を動的にデータベースに追加する方法は、取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する工程と、前記第1の顔画像が前記画像データベースにマッチングする事前保存顔画像情報を有さないことを表す照合結果に応答して、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する工程と、を含む。
【0007】
可能な実現態様において、事前保存顔画像情報は事前保存顔画像及び事前保存顔画像特徴(又は事前保存顔特徴)中の少なくとも一つを含む。
【0008】
可能な実現態様において、前記第1の顔画像を前記画像データベースに格納するか否かを確定してもよく、前記第1の顔画像を前記画像データベースに格納してもよい。別の可能な実現態様において、前記第1の顔画像の特徴情報を前記画像データベースに格納するか否かを確定してもよく、前記第1の顔画像の特徴情報を前記画像データベースに格納してもよい。
【0009】
可能な実現態様において、事前保存顔画像情報に事前保存顔画像を含むことに対応して、取得された第1の顔画像を画像データベース中の事前保存顔画像と照合し、前記第1の顔画像が前記画像データベースにマッチングする事前保存顔画像を有さないことを表す照合結果に応答して、前記第1の顔画像をデータベースに格納するか前記画像データベースに格納しない。
【0010】
別の可能な実現態様において、事前保存顔画像情報に事前保存顔画像特徴を含むことに対応して、取得された第1の顔画像を画像データベース中の事前保存顔画像特徴と照合し、例えば、第1の顔画像の特徴情報と画像データベース中の事前保存顔画像特徴との類似度を確定し、前記第1の顔画像が前記画像データベースにマッチングする事前保存顔画像特徴を有さないことを表す照合結果に応答して、前記第1の顔画像の特徴情報をデータベースに格納するか前記画像データベースに格納しない。
【0011】
任意選択的に、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する前記工程には、
プリセットモードに基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する工程を含む。
【0012】
任意選択的に、前記プリセットモードは、
マッチングする事前保存顔画像情報を有さない前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納する第1のプリセットモードを含む。
【0013】
第1のプリセットモードでは、顔画像が画像データベースにマッチングする事前保存顔画像情報を有さない場合に、該顔画像及び/又は該顔画像の特徴情報を画像データベースに格納する。
【0014】
任意選択的に、前記プリセットモードは、
マッチングする事前保存顔画像情報を有さない前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しない第2のプリセットモードを含む。
【0015】
第2のプリセットモードでは、顔画像が画像データベースにマッチングする事前保存顔画像情報を有さない場合に、該顔画像及び/又は該顔画像の特徴情報を画像データベースに格納しない。
【0016】
任意選択的に、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する前記工程には、
取得された操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する工程を含む。
【0017】
任意選択的に、前記操作指示情報は格納する操作指示情報及び格納しない操作指示情報を含み、前記の格納する操作指示情報は前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するように指示するのを目的とし、前記の格納しない操作指示情報は前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しないように指示するのを目的とする。
【0018】
任意選択的に、取得された操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する前記工程には、
格納する操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納することを確定する工程、又は、
格納しない操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しないことを確定する工程を含む。
【0019】
任意選択的に、取得された操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する前記工程の前に、更に、
操作通知情報を送信する工程と、
前記操作通知情報に基づいてフィードバックされる前記操作指示情報を受信する工程と、を含む。
【0020】
任意選択的に、前記方法は、更に、
プリセット時間内に前記操作通知情報に基づいてフィードバックされる操作指示情報が受信されていないことに応答して、前記操作通知情報を重複して送信し、又は前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しないことを確定する工程を含む。
【0021】
任意選択的に、前記画像データベースには少なくとも1つの事前保存顔画像情報及び各前記事前保存顔画像情報に対応する出現回数を含み、
前記方法は、更に、
前記第1の顔画像が前記画像データベースにマッチングする事前保存顔画像情報を有することを表す前記照合結果に応答して、前記画像データベースにおける前記第1の顔画像とマッチングする事前保存顔画像情報に対応する出現回数に1をプラスする工程を含む。
【0022】
具体的には、事前保存顔画像情報に対応する出現回数は、事前保存顔画像情報に対応する人が検出される回数、即ち事前保存顔画像情報に対応する人の出現回数を指示することができる。
【0023】
可能な実現態様において、顔画像が画像データベースにマッチングする事前保存顔画像情報を有する場合に、該顔画像に対応する時間情報及び位置情報、例えば取得時間及び取得位置を保存することができる。
【0024】
可能な実現態様において、顔画像が画像データベースにマッチングする事前保存顔画像情報を有する場合に、該顔画像を保存することができる。
【0025】
任意選択的に、前記画像データベースは、同一人に属する少なくとも1つの第2の顔画像及び各前記第2の顔画像に対応する取得時間と取得位置を保存した少なくとも1つの画像群を含み、
前記方法は、更に、前記事前保存顔画像情報に対応する出現回数が2より大きいことに応答して、前記事前保存顔画像情報の所在する画像群中の少なくとも1つの第2の顔画像及び前記少なくとも1つの第2の顔画像のうちの各第2の顔画像の取得時間と取得位置に基づいて、前記事前保存顔画像情報に対応する人の挙動軌跡を確立する工程を含む。
【0026】
可能な実現態様において、画像データベース中の事前保存顔画像情報に対応する出現回数が2より大きい場合に、該事前保存顔画像情報に対応する人が毎回出現する時間情報及び位置情報に基づいて、即ち、事前保存顔画像情報に対応する複数の取得時間及び複数の取得位置に基づいて、該事前保存顔画像情報に対応する人の挙動軌跡を確立することができる。
【0027】
可能な実現態様において、画像群には設定顔画像情報とマッチングする少なくとも1つの第2の顔画像及びこの少なくとも1つの第2の顔画像のうちの各第2の顔画像の取得時間と取得位置が保存されていてもよく、即ち、設定顔画像情報に対応する人の出現時間、出現位置及び毎回出現する時の画像が保存されていてもよい。
【0028】
任意選択的に、前記画像データベースは、同一人に属する複数の第2の顔画像を保存するための少なくとも1つの画像群を含み、
取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する前記工程には、取得された第1の顔画像を複数の第2の顔画像を保存した画像群中の1つの第2の顔画像と照合する工程を含む。
【0029】
可能な実現態様において、事前保存顔画像情報は、同一人に属する複数の第2の顔画像のうちの1つの第2の顔画像である事前保存顔画像を含む。
【0030】
任意選択的に、取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する前記工程の前に、更に、
ビデオストリームから顔画像を含む少なくとも1フレームのビデオ画像を取得する工程と、
前記ビデオ画像に対して画像分割を行い、前記第1の顔画像を含む少なくとも1つの顔画像を取得する工程と、を含む。
【0031】
任意選択的に、取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する前記工程の前に、更に、
取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、前記第1の顔画像を含む少なくとも1つの顔画像を取得する工程を含む。
【0032】
任意選択的に、取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する前記工程の前に、更に、
端末装置により取得された複数の顔画像に対して重複削除・フィルタリング操作を実行して取得され前記第1の顔画像を含む、端末装置から送信される少なくとも1つの顔画像を受信する工程を含む。
【0033】
可能な実現態様において、端末装置は、取得された複数の顔画像に対して重複削除・フィルタリング処理を行い、サーバに重複削除・フィルタリング処理を行った少なくとも1つの顔画像を送信する。
【0034】
任意選択的に、取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する前記工程には、
前記複数の顔画像のうちの第3の顔画像を画像キューにおける少なくとも1つの顔画像とマッチングし、マッチング結果を取得する工程と、
前記第3の顔画像が前記画像キューにマッチング画像を有することを表す前記マッチング結果に応答して、前記第3の顔画像が重複画像であることを確定し、及び/又は、前記第3の顔画像を前記画像キューに格納しない工程と、を含む。
【0035】
画像キューは異なる人に対応する少なくとも1つの第3の顔画像を含んでもよく、例えば、画像キューにおける異なる顔画像が異なる人に対応する。
【0036】
可能な実現態様において、画像キューは上記照合処理を行おうとする少なくとも1つの顔画像を含んでもよく、例えば、第1の顔画像は画像キューにおける顔画像であってもよい。
【0037】
可能な実現態様において、画像キューは重複削除・フィルタリング処理がすでに行われ且つ重複顔画像ではないと確定された少なくとも1つの顔画像を含んでもよい。
【0038】
可能な実現態様において、複数の顔画像に対して重複削除・フィルタリング処理を行い、画像キューを取得するようにしてもよい。
【0039】
可能な実現態様において、複数の顔画像のうちの各顔画像に対して重複削除・フィルタリング処理を行い、該顔画像が重複画像であるか否かを確定する。
【0040】
任意選択的に、該顔画像が重複画像である場合に、該顔画像に対して後続の照合処理を行わなく、例えば、該顔画像を画像キューに添加しない。
【0041】
任意選択的に、該顔画像が重複画像ではない場合に、該顔画像に対して後続の照合処理を行い、例えば、該顔画像を画像キューに添加する。
【0042】
1つの例において、複数の顔画像のうちの顔画像1を画像キューに添加し、複数の顔画像のうちの顔画像2に対して、画像キューには顔画像2とマッチングする顔画像を有するか否かを確定し、即ち、顔画像1と顔画像2とがマッチングするか否かを確定し、 マッチングすれば、顔画像2が重複画像であることを確定し、及び/又は顔画像2を画像キューに添加しないようにしてもよい。マッチングしなければ、顔画像2が重複画像ではないことを確定し、及び/又は顔画像2を画像キューに添加する。これによって類推する。
【0043】
任意選択的に、前記方法は、更に、
前記第3の顔画像が前記画像キューにマッチング画像を有さないことを表す前記マッチング結果に応答して、前記第3の顔画像が重複画像ではないことを確定し、及び/又は、前記第3の顔画像を前記画像キューに加える工程を含む。
【0044】
任意選択的に、前記複数の顔画像のうちの第3の顔画像を画像キューにおける少なくとも1つの顔画像とマッチングし、マッチング結果を取得する前記工程には、
前記第3の顔画像に対応する顔特徴及び前記画像キューにおける少なくとも1つの顔画像のうちの各顔画像に対応する顔特徴に基づいて、前記第3の顔画像と前記画像キューにおける前記各顔画像との類似度を取得する工程と、
前記第3の顔画像と前記画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得する工程と、を含む。
【0045】
任意選択的に、前記第3の顔画像と前記画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得する前記工程には、
前記画像キューに前記第3の顔画像との類似度が設定類似度と同等以上である顔画像を有することに応答して、前記第3の顔画像が前記画像キューにマッチング画像を有することを表すマッチング結果を取得する工程、及び/又は、
前記画像キューに前記第3の顔画像との類似度が前記設定類似度と同等以上である顔画像を有さないことに応答して、前記第3の顔画像が前記画像キューにマッチング画像を有さないことを表すマッチング結果を取得する工程を含む。
【0046】
任意選択的に、取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する前記工程の前に、前記方法は、更に、
取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した複数の顔画像を取得する工程を含む。
【0047】
任意選択的に、取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行する前記工程には、
前記第4の顔画像における顔の表示品質を表すために用いられる、前記第4の顔画像に対応する顔属性に基づいて、取得された複数の前記第4の顔画像をフィルタリングする工程、
及び/又は、
前記第4の顔画像における顔の振れ角度を表すために用いられる、前記第4の顔画像における顔の角度に基づいて、取得された複数の前記第4の顔画像をフィルタリングする工程を含む。
【0048】
任意選択的に、前記顔属性は、顔角度、顔幅高値、顔ボケ度のいずれか1つ又は複数を含み、
前記第4の顔画像に対応する顔属性に基づいて、取得された複数の前記第4の顔画像をフィルタリングする前記工程には、
前記顔角度が第1のプリセット範囲にあること、前記顔幅高値が第2のプリセット閾値より大きいこと、前記顔ボケ度が第3のプリセット閾値より小さいことの少なくとも1つを含む第1の条件を満たすことに応答して、前記第4の顔画像の画像品質が第1のプリセット条件に到達したことを確定する工程を含む。
【0049】
任意選択的に、取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した複数の顔画像を取得する前記工程には、
複数の第4の顔画像から同一人に対応する少なくとも1つの第4の顔画像を識別する工程と、
前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する工程と、を含む。
【0050】
任意選択的に、前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する前記工程には、
前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した1つの顔画像を取得する工程を含み、
取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する前記工程には、
取得された異なる人に対応する複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する工程を含む。
【0051】
可能な実現態様において、異なる人追跡マークに対応する複数の顔画像に対して重複削除・フィルタリング操作を実行することができる。
【0052】
任意選択的に、前記顔角度は、顔水平振れ角度、顔俯仰角度、顔傾斜角度のいずれか1つ又は複数を含む。
【0053】
可能な実現態様において、顔角度に基づいて、前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する。
【0054】
任意選択的に、前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する前記工程には、
各前記第4の顔画像に対応する顔水平振れ角度、顔俯仰角度及び顔傾斜角度を1つの3次元ベクトルに変換する工程と、
前記3次元ベクトルの、値が全て0となる3次元ベクトルである基準点までの距離に基づいて前記少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する工程と、を含む。
【0055】
可能な実現態様において、少なくとも1つの第4の顔画像から品質が第1のプリセット条件に到達した1つの顔画像を選択することができる。
【0056】
可能な実現態様において、前記少なくとも1つの第4の顔画像は同一の人追跡マークに対応する。
【0057】
本願の実施形態の別の態様によれば、提供される顔画像を動的にデータベースに追加する装置は、
取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合するために用いられる照合ユニットと、
前記第1の顔画像が前記画像データベースにマッチングする事前保存顔画像情報を有さないことを表す照合結果に応答して、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定するために用いられる記憶ユニットと、を含む。
【0058】
任意選択的に、前記記憶ユニットは、プリセットモードに基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定するために用いられる。
【0059】
任意選択的に、前記プリセットモードは、
マッチングする事前保存顔画像情報を有さない前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納する第1のプリセットモードを含む。
【0060】
任意選択的に、前記プリセットモードは、
マッチングする事前保存顔画像情報を有さない前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しない第2のプリセットモードを含む。
【0061】
任意選択的に、前記記憶ユニットは、取得された操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定するために用いられる。
【0062】
任意選択的に、前記操作指示情報は格納する操作指示情報及び格納しない操作指示情報を含み、前記の格納する操作指示情報は前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するように指示するのを目的とし、前記の格納しない操作指示情報は前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しないように指示するのを目的とする。
【0063】
任意選択的に、前記記憶ユニットは、格納する操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納することを確定し、又は、格納しない操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しないことを確定するために用いられる。
【0064】
任意選択的に、前記記憶ユニットは、操作指示情報に基づいて、前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納するか否かを確定する前に、更に、
操作通知情報を送信するために用いられる通知モジュールと、
前記操作通知情報に基づいてフィードバックされる操作指示情報を受信するために用いられるフィードバック操作モジュールと、を含む。
【0065】
任意選択的に、前記記憶ユニットは、更に、
プリセット時間内に前記操作通知情報に基づいてフィードバックされる操作指示情報が受信されていないことに応答して、操作通知情報を重複して送信し、又は前記第1の顔画像及び前記第1の顔画像の特徴情報のうちの少なくとも一つを前記画像データベースに格納しないことを確定するために用いられるタイムアウトモジュールを含む。
【0066】
任意選択的に、前記画像データベースには少なくとも1つの事前保存顔画像情報及び各前記事前保存顔画像情報の出現回数を含み、
前記装置は、更に、
前記第1の顔画像が前記画像データベースにマッチングする事前保存顔画像情報を有することを表す照合結果に応答して、前記画像データベースにおける前記第1の顔画像とマッチングする事前保存顔画像情報に対応する出現回数に1をプラスするために用いられる累計ユニットを含む。
【0067】
任意選択的に、前記画像データベースは、同一人に属する複数の第2の顔画像及び各前記第2の顔画像に対応する取得時間と取得位置を保存した少なくとも1つの画像群を含み、
前記装置は、更に、
前記事前保存顔画像情報の出現回数が2より大きいことに応答して、前記事前保存顔画像情報の所在する画像群中の少なくとも1つの第2の顔画像及び前記少なくとも1つの第2の顔画像のうちの各第2の顔画像の取得時間と取得位置に基づいて、前記事前保存顔画像情報に対応する人の挙動軌跡を確立するために用いられる軌跡確立ユニットを含む。
【0068】
任意選択的に、前記画像データベースは、同一人に属する複数の第2の顔画像を保存するための少なくとも1つの画像群を含み、
前記照合ユニットは、取得された第1の顔画像を複数の第2の顔画像を保存した画像群中の1つの第2の顔画像と照合するために用いられる。
【0069】
任意選択的に、前記装置は、更に、
ビデオストリームから顔画像を含む少なくとも1フレームのビデオ画像を取得するために用いられるビデオ取得ユニットと、
前記ビデオ画像に対して画像分割を行い、前記第1の顔画像を含む少なくとも1つの顔画像を取得するために用いられる画像分割ユニットと、を含む。
【0070】
任意選択的に、更に、
取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、前記第1の顔画像を含む少なくとも1つの顔画像を取得し、又は、前記端末装置により取得された複数の顔画像に対して重複削除・フィルタリング操作を実行して取得され前記第1の顔画像を含む、端末装置から送信される少なくとも1つの顔画像を受信するために用いられる重複削除・フィルタリングユニットを含む。
【0071】
任意選択的に、前記重複削除・フィルタリングユニットは、
前記複数の顔画像のうちの第3の顔画像を画像キューにおける少なくとも1つの顔画像とマッチングし、マッチング結果を取得するために用いられるマッチングモジュールと、
前記第3の顔画像が前記画像キューにマッチング画像を有することを表す前記マッチング結果に応答して、前記第3の顔画像が重複画像であることを確定し、及び/又は、前記第3の顔画像を前記画像キューに格納しないために用いられる重複削除モジュールと、を含む。
【0072】
任意選択的に、前記重複削除モジュールは、更に、前記第3の顔画像が前記画像キューにマッチング画像を有さないことを表す前記マッチング結果に応答して、前記第3の顔画像が重複画像ではないことを確定し、及び/又は、前記第3の顔画像を前記画像キューに加えるために用いられる。
【0073】
任意選択的に、前記マッチングモジュールは、
前記第3の顔画像に対応する顔特徴及び前記画像キューにおける少なくとも1つの顔画像のうちの各顔画像に対応する顔特徴に基づいて、前記第3の顔画像と前記画像キューにおける前記各顔画像との類似度を取得し、
前記第3の顔画像と前記画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得するために用いられる。
【0074】
任意選択的に、前記マッチングモジュールは、前記第3の顔画像と前記画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得する時に、前記画像キューに前記第3の顔画像との類似度が設定類似度と同等以上である顔画像を有することに応答して、前記第3の顔画像が前記画像キューにマッチング画像を有することを表すマッチング結果を取得し、及び/又は
前記画像キューに前記第3の顔画像との類似度が前記設定類似度と同等以上である顔画像を有さないことに応答して、前記第3の顔画像が前記画像キューにマッチング画像を有さないことを表すマッチング結果を取得するために用いられる。
【0075】
任意選択的に、前記装置は、更に、
取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した複数の顔画像を取得するために用いられるフィルタリングモジュールを含む。
【0076】
任意選択的に、前記フィルタリングモジュールは、
前記第4の顔画像における顔の表示品質を表すために用いられる、前記第4の顔画像に対応する顔属性に基づいて、取得された複数の前記第4の顔画像をフィルタリングするために用いられる属性フィルタリングモジュール、
及び/又は、
前記第4の顔画像における顔の振れ角度を表すために用いられる、前記第4の顔画像における顔の角度に基づいて、取得された複数の前記第4の顔画像をフィルタリングするために用いられる角度フィルタリングモジュールを含む。
【0077】
任意選択的に、前記顔属性は、顔角度、顔幅高値、顔ボケ度のいずれか1つ又は複数を含み、
前記属性フィルタリングモジュールは、前記顔角度が第1のプリセット範囲にあること、前記顔幅高値が第2のプリセット閾値より大きいこと、前記顔ボケ度が第3のプリセット閾値より小さいことの少なくとも1つを含む第1の条件を満たすことに応答して、前記第4の顔画像の画像品質が第1のプリセット条件に到達したことを確定するために用いられる。
【0078】
任意選択的に、前記フィルタリングモジュールは、複数の第4の顔画像から同一人に対応する少なくとも1つの第4の顔画像を識別し、前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得するために用いられる。
【0079】
任意選択的に、前記フィルタリングモジュールは、具体的には、前記の同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した1つの顔画像を取得するために用いられ、
前記重複削除・フィルタリングユニットは、取得された異なる人に対応する複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得するために用いられる。
【0080】
任意選択的に、前記顔角度は、顔水平振れ角度、顔俯仰角度、顔傾斜角度のいずれか1つ又は複数を含む。
【0081】
前記フィルタリングモジュールは、
各前記第4の顔画像に対応する顔水平振れ角度、顔俯仰角度及び顔傾斜角度を1つの3次元ベクトルに変換するために用いられる角度変換モジュールと、
前記3次元ベクトルの、値が全て0となる3次元ベクトルである基準点までの距離に基づいて前記少なくとも1つの第4の顔画像をフィルタリングし、前記少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得するために用いられるベクトルフィルタリングモジュールと、を含む。
【0082】
本願の実施形態の別の態様によれば、提供される電子機器は、上記の顔画像を動的にデータベースに追加する装置を備えるプロセッサーを含む。
【0083】
本願の実施形態の別の態様によれば、提供される電子機器は、実行可能コマンドを記憶するために用いられるメモリーと、
前記メモリーと通信して前記実行可能コマンドを実行して上記の顔画像を動的にデータベースに追加する方法を完成するために用いられるプロセッサーとを含む。
【0084】
本願の実施形態の別の態様によれば、提供されるコンピュータ記憶媒体は、コンピュータ読み取り可能コマンドを記憶するために用いられ、前記コマンドが実行される時に上記の顔画像を動的にデータベースに追加する方法の操作を実行する。
【0085】
本願の実施形態の別の態様によれば、提供されるコンピュータプログラムは、コンピュータ読み取り可能コードを備え、前記コンピュータ読み取り可能コードを機器上で動作する時に、前記機器におけるプロセッサーにより上記の顔画像を動的にデータベースに追加する方法を実現するためのコマンドを実行する。
【0086】
本願の実施形態に係る顔画像を動的にデータベースに追加する方法及び装置、電子機器、媒体、プログラムにおいて、取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合し、第1の顔画像が画像データベースにマッチングする事前保存顔画像情報を有さない場合に、該第1の顔画像が初めて出現したものであるかその前に画像データベースから削除されたものである可能性が高いことを示し、この時に、第1の顔画像が画像データベースにマッチングする事前保存顔画像情報を有さない照合結果に応答して、第1の顔画像及び/又は第1の顔画像の特徴情報を画像データベースに格納するか否かを確定し、それにより顔画像及び/又は顔画像の特徴情報を動的にデータベースに追加することの実現に寄与する。
【0087】
以下、図面及び実施形態により本願の技術手段を更に詳細に記載する。
【発明を実施するための形態】
【0089】
ここで、図面を参照しながら本願の様々な例示的実施形態を詳細に説明する。なお、特に断らない限り、これらの実施形態で記述した部材及びステップの相対的配置、数式及び数値は本願の範囲を限定するものではないことに注意すべきである。
【0090】
同時に、説明の便宜上、図面に示した各部の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
【0091】
以下の少なくとも一つの例示的実施形態に対する説明は実際に説明的なものに過ぎず、本願及びその適用又は使用へのなんらの制限にもならない。
【0092】
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
【0093】
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
【0094】
本願の実施形態はコンピュータシステム/サーバに適用可能であり、それは他の様々な共通又は専用計算システム環境又は構成と共に動作可能である。コンピュータシステム/サーバとの併用に適する公知の計算システム、環境及び/又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ち又はラップトップデバイス、マイクロプロセッサーに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
【0095】
コンピュータシステム/サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド(例えば、プログラムモジュール)の一般的な言語環境において記載できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでもよく、それらは特定のタスクを実行するか又は特定の抽象データ型を実現する。コンピュータシステム/サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカル又は遠隔計算システムの記憶媒体に存在してもよい。
【0096】
図1は本願に係る顔画像を動的にデータベースに追加する方法の一実施形態のフローチャートである。該方法は、例えば端末装置、サーバなどの顔画像を動的にデータベースに追加する装置により実行可能であり、本願の実施形態はこの顔画像を動的にデータベースに追加する装置の具体的な実現を限定しない。
図1に示すように、該実施形態の方法は、以下のステップを含む。
【0097】
ステップ101において、取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する。
【0098】
ここで、いくつかの実施形態において、画像データベースは1つ又は複数の顔画像を保存するためのものであり、ここで、区別しやすくするために、以下、画像データベースに保存される顔画像を事前保存顔画像と呼ぶ。この時に、任意選択的に、第1の顔画像と画像データベース中の事前保存顔画像を照合することにより、例えば、第1の顔画像と事前保存顔画像との類似度を確定することにより、画像データベースに第1の顔画像とマッチングする事前保存顔画像を有するか否かを確定することができる。
【0099】
他の実施形態において、画像データベースは顔画像の特徴情報を保存するためのものであり、ここで、区別しやすくするために、以下、画像データベースに保存される顔画像の特徴情報を事前保存顔画像特徴と呼ぶ。この時に、任意選択的に、第1の顔画像と画像データベース中の事前保存顔画像特徴を照合することにより、例えば、第1の顔画像の特徴情報と事前保存顔画像特徴との類似度を確定することにより、画像データベースに第1の顔画像とマッチングする事前保存顔画像特徴を有するか否かを確定することができる。
【0100】
他の実施形態において、画像データベースは更に顔画像の他の属性情報を保存してもよく、ここで開示される実施形態はこれについて限定しない。
【0101】
ここで開示される実施形態において、事前保存顔画像情報は事前保存顔画像及び/又は事前保存顔画像の属性情報、例えば特徴情報を含んでもよく、ここで開示される実施形態はこれについて限定しない。
【0102】
任意選択的に、初期状態の画像データベースは空のもの又は顔画像及び/又は顔画像の属性情報を記憶したものであり、本願の実施形態の方法を絶えず実施することにより、要求に合致する多くの顔画像及び/又はその属性情報が自動的に画像データベースに格納され、画像データベースの構築が実現される。
【0103】
1つの選択可能な例において、このステップ101はプロセッサーによりメモリーに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサーで動作する照合ユニット21により実行されてもよい。
【0104】
ステップ102において、第1の顔画像が画像データベースにマッチングする事前保存顔画像情報を有さないことを表す照合結果に応答して、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定する。
【0105】
1つの選択可能な例において、このステップ102はプロセッサーによりメモリーに記憶された対応するコマンドを呼び出して実行されてもよく、プロセッサーで動作する記憶ユニット22により実行されてもよい。
【0106】
本願の上記実施形態に基づいて提供される顔画像を動的にデータベースに追加する方法において、取得された顔画像を画像データベース中の事前保存顔画像情報と照合し、顔画像が画像データベースに対応する事前保存顔画像情報を有さない場合に、該顔画像が初めて出現したものであるかその前に画像データベースから削除されたものである可能性が高いことを示し、この時に、顔画像が画像データベースにマッチングする事前保存顔画像情報を有さない照合結果に応答して、顔画像及び該顔画像の特徴情報中の少なくとも一つを画像データベースに格納するか否かを確定し、それにより事前に顔基準データベースがないか顔基準データベースデータが不完全である場合に、顔画像の検索及びデータベースへの格納を実現することに寄与し、動的にデータベースに追加することが実現され、顔照合を絶えず行う過程で、要求に合致する顔画像及び/又はその特徴情報を画像データベースに加え、それにより動的にデータベースに追加する方式に基づく画像データベースを構築する。
【0107】
本願に係る顔画像を動的にデータベースに追加する方法の上記実施形態の1つの選択可能な例において、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定する工程には、
プリセットモードに基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定する工程を含む。
【0108】
本実施形態では、第1の顔画像とマッチングする対象がない場合に対して、該第1の顔画像に対応する人が新人であると認められ、この時に、予め設定されたプリセットモードに基づいて、該顔画像を操作することができ、任意選択的に、プリセットモードは以下の1種又は複数種を含む。
【0109】
マッチングする事前保存顔画像情報を有さない第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納する第1のプリセットモードであって、実際の適用において、画像データベースを動的に確立するか拡大する必要がある時に、通常、第1のプリセットモードが採用され、全ての新人の顔画像及び/又は顔画像の特徴情報を画像データベースに格納し、記憶する時に、顔画像を画像データベースに格納するか、顔画像の特徴情報を画像データベースに格納するか、顔画像及び顔画像の特徴情報を共に画像データベースに格納して、画像データベースの更新を実現することができ、それにより後で更新された後の画像データベースに基づいて新たに取得された顔画像が新人の顔画像であるか否かを識別する。
【0110】
マッチングする事前保存顔画像情報を有さない第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しない第2のプリセットモードであって、実際の適用において、現在取得された第1の顔画像及び/又は第1の顔画像の特徴情報を判断する必要があるが、これらの第1の顔画像及び/又は第1の顔画像の特徴情報が全て一時データとなるので、記憶する必要がなく、例えば、ある場所に入る人及び顔の画像を統計し、離れる人を入った人と照合する必要があるが、記憶する必要がないような場合があり、この時に、第2のプリセットモードに設定して、マッチングする対象を有さない第1の顔画像及び/又は第1の顔画像の特徴情報を画像データベースに格納しないようにしてよい。
【0111】
取得された操作指示情報に基づいてマッチングする対象を有さない第1の顔画像及び/又は第1の顔画像の特徴情報を画像データベースに格納するか格納しない第3のプリセットモードであって、実際の適用において、現在マッチングする対象を有さない第1の顔画像の情報を、通知情報によりユーザに通知して操作し、ユーザからフィードバックされる操作指示情報に基づいてマッチングする対象を有さない顔画像に対して対応する操作を行うような他の場合がある。
【0112】
任意選択的に、取得された操作指示情報に基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定する。
【0113】
任意選択的に、操作指示情報は格納する操作指示情報及び格納しない操作指示情報を含み、
ここで、格納する操作指示情報は第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するように指示するのを目的とし、格納しない操作指示情報は第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しないように指示することを目的とする。
【0114】
取得された操作指示情報が格納する操作指示情報である時に、格納する操作指示情報に基づいて、該第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納することを確定し、又は、
取得された操作指示情報が格納しない操作指示情報である時に、格納しない操作指示情報に基づいて、該第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しないことを確定する。本実施形態に示すように、プリセットモードで、更に、ユーザ操作情報により第1の顔画像及び/又は第1の顔画像の特徴情報を記憶するか記憶しないように予め設定してもよく、この時にユーザ操作情報により操作を実行するように設定すればよく、該モードでユーザの関与性が増加され、ユーザにより個別的なサービスが提供されるようになり、任意選択的に、モードを手動(manual)モードに配置してもよく、ユーザからフィードバックされる、「データベースに格納する」及び「データベースに格納しない」の2種を含む確認情報によりデータベースに格納するか否かを決定する。
【0115】
第1の顔画像及び/又は第1の顔画像の特徴情報を画像データベースに格納するか否かについて、格納するか格納しないという2種の場合が存在し、更に2種の場合が同時に発生することがないので、通常、第1のプリセットモードと第2のプリセットモードが同時に出現することがなく、しかし、第3のプリセットモードはユーザの操作に基づいて顔画像をデータベースに格納するか否かを決定するため、より可変的になり、格納するか格納しないという2種の場合が同時に存在する。
【0116】
いくつかの選択可能な実施形態において、プリセットモードに基づいて顔画像を画像データベースに格納する工程には、
プリセットモードが前記第1のプリセットモードであることに応答して、顔画像を画像データベースに格納する工程、
及び/又は、プリセットモードが第3のプリセットモードであることに応答して、格納する操作指示情報に基づいて顔画像を画像データベースに格納する工程、を含む。
【0117】
1つ又は複数の選択可能な実施形態において、プリセットモードに基づいて顔画像を画像データベースに格納しない工程には、
プリセットモードが第2のプリセットモードであることに応答して、顔画像を画像データベースに格納しない工程、
及び/又は、プリセットモードが第3のプリセットモードであることに応答して、格納しない操作指示情報に基づいて顔画像を画像データベースに格納しない工程、を含む。
【0118】
本実施形態において、予め設定したモードにより、新たな顔画像をデータベースに格納するか否かを制御することができ、例えば、モードを自動的に保存するモード(auto)(第1のプリセットモードに対応する)に配置すれば、画像データベースに対応する顔画像を有さないと検索された顔画像を全て自動的にデータベースに格納し、モードを自動的に保存しないモード(no)(第2のプリセットモードに対応する)に配置すれば、画像データベースに対応する顔画像を有すると検索されたか否かを問わず、該顔画像をデータベースに格納しなく、モードを予め設定する手段により、顔画像を画像データベースに格納するか否かについて統一的に全体として調節することができ、データベースに格納する全過程への人為的な関与を必要としない。
【0119】
本願に係る顔画像を動的にデータベースに追加する方法の上記各実施形態の1つの選択可能な例において、操作指示情報に基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定する工程の前に、更に、
操作通知情報を送信する工程と、
操作通知情報に基づいてフィードバックされる操作指示情報を受信する工程と、を含む。
【0120】
任意選択的に、プリセット時間内に操作通知情報に基づいてフィードバックされる操作指示情報を受信したことに応答する。
【0121】
本実施形態では、操作指示情報のみにより採取された顔画像に対して「データベースに格納する」又は「データベースに格納しない」という操作を行うことを提案し、「データベースに格納する」とは画像データベースに格納することを指し、「データベースに格納しない」とは画像データベースに格納しないことを指し、本願に示す画像データベースはクラウド(クラウドに限定されない)に設置されてよく、クラウドに設置するメリットは記憶容量が大きくコストが低いことにあり、この時にクライアント端末に操作通知情報を送信する必要があり、ユーザが操作通知情報を受信した後、一般的に「データベースに格納する」及び「データベースに格納しない」という2種を含む操作指示をフィードバックし、該操作指示に基づいて顔画像を画像データベースに格納するか格納しない。
【0122】
任意選択的に、プリセット時間内に操作通知情報に基づいてフィードバックされるユーザ操作情報が受信されていないことに応答して、操作通知情報を重複して送信し、又は第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しないことを確定する。
【0123】
本実施形態では、一般的には操作通知情報を送信した後、無期限にフィードバックを待つことが不可能であり、時間を設定することになり、プリセット時間内にフィードバックされるユーザ操作情報が受信されていない場合に、この人をデータベースに格納するか否かを決定し操作することができなく、この時に、フィードバックが受信されるまで操作通知情報を再送信し、フィードバックされるユーザ操作情報により第1の顔画像及び/又は第1の顔画像の特徴情報を操作するようにしてもよく、該第1の顔画像及び/又は第1の顔画像の特徴情報を無視し、次の第1の顔画像の検索動作を実行するようにしてもよいという特別な例が提供される。
【0124】
本願に係る顔画像を動的にデータベースに追加する方法の更に別の実施形態において、上記各実施形態の基礎の上で、画像データベースには少なくとも1つの顔画像及び対応する前記顔画像の出現回数を含み、
該実施形態の方法は、更に、
第1の顔画像が画像データベースにマッチングする事前保存顔画像情報を有することを表す照合結果に応答して、画像データベースにおける第1の顔画像とマッチングする事前保存顔画像情報に対応する出現回数に1をプラスする工程を含む。
【0125】
任意選択的に、この時に第1の顔画像を画像データベースに格納しない。
【0126】
本実施形態では、重複して出現する顔の出現回数の統計が実現可能であり、顔の出現回数を統計することで、実際の適用においてユーザに必要なデータを提供することができ、例えば、純価値の高い産業に勤めているユーザは毎日の来場顧客から高い頻度で来場する人を統計したい場合がある。統計経験によれば、高い頻度で来場する顧客は買い物の望みがより強く、セールスマンはこのような顧客に重点的に販売する。動的にデータベースに追加する方式により画像データベースを非誘導的に確立し、顔照合及び重複して出現する顔に対する回数統計等の技術を組み合わせ、ユーザの要求を実現した。
【0127】
任意選択的に、画像データベースは、同一人に属する少なくとも1つの第2の顔画像及び各第2の顔画像に対応する取得時間と取得位置を保存した少なくとも1つの画像群を含み、
この実施方法は、更に、事前保存顔画像情報に対応する出現回数が2より大きいことに応答して、事前保存顔画像情報の所在する画像群中の少なくとも1つの第2の顔画像及び少なくとも1つの第2の顔画像のうちの各第2の顔画像の取得時間と取得位置に基づいて、事前保存顔画像情報に対応する人の挙動軌跡を確立する工程を含む。
【0128】
1つの選択可能な例において、画像データベース中の少なくとも1つの事前保存顔画像情報が少なくとも1つの画像群に対応し(例えば、各事前保存顔画像情報が一つ毎に1つの画像群に対応する)、画像群には同一人に属する顔画像情報及び各顔画像情報の取得時間と取得位置が保存され、
該実施形態の方法は、更に、
顔画像の出現回数が2より大きいことに応答して、顔画像の所在する画像群中の複数枚の顔画像及びその取得時間と取得位置に基づいて同一人の挙動軌跡を確立する工程を含んでもよい。
【0129】
本実施形態において、少なくとも一人の顔画像に対して少なくとも1つの画像群を確立し(例えば、一人の顔画像毎に1つの画像群を確立する)、それにより後で新たな顔画像を受信し探索する時に同一人の顔画像を重複して照合することなく、検索時間を節約すると共に、検索効率が高くなり、更に人の挙動軌跡の確立のために素材が提供された。取得された顔画像について、画像データベースに存在しない新たな画像となる場合、本実施形態に示すように画像データベースにこの人に対応する顔画像がすでに存在する場合があり、この時に該顔画像及び画像データベースに記憶されたこの人に対応する顔画像に基づいてこの人に対応する挙動軌跡を確立することができる。より完全な人に基づく挙動軌跡を確立するために、更に、新たに採取された顔画像をこの人に対応する画像群に格納し、この次に挙動軌跡を確立する必要がある時に、今回採取された顔画像が利用可能なものになる。
【0130】
1つ又は複数の選択可能な実施形態において、画像データベースには同一人に属する複数の第2の顔画像を保存するための少なくとも1つの画像群を含み、
区別しやすくするために、画像群に保存される顔画像を第2の顔画像と呼ぶ。
【0131】
任意選択的に、画像群に保存されるのは第2の顔画像であってもよく、第2の顔画像の特徴情報であってもよく、又は第2の顔画像及び第2の顔画像の特徴情報を全て画像群に保存する。
【0132】
取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合する工程には、取得された第1の顔画像を複数の第2の顔画像を保存した画像群に保存された1つの第2の顔画像と照合する工程を含む。
【0133】
本実施形態では、画像データベースにおいてそれぞれ異なる人に対して画像群を確立し、画像群に基づければ、顔画像の照合は、取得された第1の顔画像を画像群中のいずれか1つの第2の顔画像及び/又は第2の顔画像の特徴情報と照合すれば、取得された第1の顔画像がこの人に対応する顔画像であるか否かを識別できるように簡単化することが可能であり、この時に画像群中の顔画像及び/又は第2の顔画像の特徴情報について、記憶時間及び位置の制限がなく、顔画像が同一人に対応するか否かを判断するだけで該顔画像がどの画像群に属するかを判断可能であり、実際の適用において、大きい範囲に新来者を識別する必要がある時に、本実施形態における顔画像照合方法が利用可能なものになる。
【0134】
本願に係る顔画像を動的にデータベースに追加する方法のまた1つの実施形態において、上記各実施形態の基礎の上で、操作101の前に、更に、
ビデオストリームから顔画像を含む少なくとも1フレームのビデオ画像を取得する工程と、
ビデオ画像に対して画像分割を行い、少なくとも1つの顔画像を取得する工程と、を含む。
【0135】
ここで、少なくとも1つの顔画像は第1の顔画像を含む。
【0136】
本実施形態において、顔画像を取得する手段として、一般的には、設置されたカメラ等の画像取得装置によりビデオストリームを取得し、ビデオストリームを分解し、ビデオ画像を取得し、ビデオ画像に対して顔識別技術(例えば、畳み込みニューラルネットワーク、Convolutional Neural Network、CNN)により顔画像を有するビデオ画像を識別し、画像分割技術により該顔画像をビデオ画像から分割し、それにより顔画像が取得され、1フレームのビデオ画像に少なくとも1つの顔画像を含む可能性があり、顔画像を有さない可能性もあり、顔画像を有さないビデオ画像に対して、本願の実施形態では取得しなく、更に、分解して取得されたビデオ画像に対して顔画像切り抜きを行い、ソフトウェア開発キット検出(Software Development Kit、SDK−detect)を行うようにしてもよく、同一の切り抜き画像から複数枚の顔を検出(detect)した場合に一枚目のものを採取し、顔がない場合にフィルタリングして除去する。
【0137】
本願に係る顔画像を動的にデータベースに追加する方法の更に1つの実施形態において、上記各実施形態の基礎の上で、取得された顔画像を画像データベース中の事前保存顔画像情報と照合する工程の前に、更に、
取得された顔画像に対して重複削除・フィルタリング操作を実行する工程、又は、
取得された顔画像に対して実行重複削除・フィルタリング操作を実行し、重複削除・フィルタリング操作を行った顔画像をクラウドサーバに送信し、取得された顔画像を画像データベースに存在する顔画像と照合する工程を含む。
【0138】
任意選択的に、取得された顔画像を画像データベース中の事前保存顔画像情報と照合する工程の前に、更に、
取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、前記第1の顔画像を含む少なくとも1つの顔画像を取得する工程、又は、
端末装置により取得された複数の顔画像に対して重複削除・フィルタリング操作を実行して取得され第1の顔画像を含む、端末装置から送信される少なくとも1つの顔画像を受信する工程を含んでもよい。
【0139】
本実施形態では、採取された顔画像に対して前処理を行い、前処理の目的は取得された顔画像の効果を好適にし、検索及び識別を容易にすることにあり、また、重複削除・フィルタリングすることにより、大量の重複顔画像から効果の高い1つの顔画像を取得可能であり、画像の処理量が小さくなり、顔画像を受信する圧力が低くなり、検索及びデータベースへの格納の効率が高くなり、後続の顔画像に基づく照合検索結果の正確率及びリコール率が高くなった。
【0140】
任意選択的に、画像データベースがクラウドサーバに設置され、重複削除・フィルタリングがクライアント端末又はサーバ端末に適用される時に、
取得されたビデオストリームから顔画像を含む少なくとも1フレームのビデオ画像を取得し、全てのビデオ画像に対して画像分割を行い、少なくとも1つの顔画像を取得することをクライアント端末又はサーバ端末で実行する。
【0141】
取得された顔画像に対して重複削除・フィルタリング操作を実行して顔画像を取得してクラウドに送信する。
【0142】
サーバ端末から受信される顔画像を画像データベースに保存された顔画像と照合し、取得された顔画像が画像データベースに対応する顔画像を有するか否かを判断することをクラウドサーバで実行する。
【0143】
ここで、画像データベースは、判断して格納された、採取により取得された顔画像を保存するためのものであり、任意選択的に、初期状態の画像データベースは空のもの又は顔画像を記憶したものであり、本願の実施形態の方法を絶えず実施することにより、要求に合致する多くの顔画像が自動的に画像データベースに格納され、画像データベースの構築が実現される。
【0144】
本実施形態では、サーバ端末とクラウドの相互作用により、採取された顔画像を動的にデータベースに追加することを実現し、顔検索を絶えず行う過程で、要求に合致する顔画像を画像データベースに加え、それにより動的にデータベースに追加する方式に基づく画像データベースを構築し、更に、サーバ端末で顔画像の重複削除・フィルタリング操作を行うことで、取得された顔画像の表示効果が従来技術における顔マークデータベース中の基準画像効果に類似的になり、後続の識別及び検索過程の効率を高めた。
【0145】
1つの選択可能な例において、所定の時間範囲内に少なくとも一人に対して選択された顔特徴(feature)をローカル特徴(feature)キューと照合し、所定の閾値と比較し、閾値より高ければ、この顔がクラウドサーバにアップロードされたものであることを示し、再度アップロードする必要がなく、閾値より低ければ、この顔がクラウドサーバにアップロードされていないものであることを示し、今回この顔をクラウドサーバにアップロードし、且つその特徴を特徴キューに保存する。
【0146】
顔画像に対して特徴を抽出し、プリセット時間(設定可能、例えば、300S)範囲内に、キューと照合し、設定値(設定可能、例えば、0.86)を閾値とし、類似するものをフィルタリングして除去し、類似しないものをサーバ端末に送信し、且つその特徴をキューに保存する。
【0147】
1つ又は複数の選択可能な実施形態において、取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する工程には、
複数の顔画像のうちの第3の顔画像を画像キューにおける少なくとも1つの顔画像とマッチングし、マッチング結果を取得する工程と、
第3の顔画像が画像キューにマッチング画像を有することを表すマッチング結果に応答して、第3の顔画像が重複画像であることを確定し、及び/又は、第3の顔画像を画像キューに格納しない工程と、を含む
任意選択的に、第3の顔画像を画像キュー中の顔画像とマッチングする時に、第3の顔画像の特徴と画像キュー中の顔画像の特徴に基づいてマッチングして、特徴のマッチング結果に基づいて第3の顔画像が重複画像であるか否かを確定することができる。
【0148】
任意選択的に、更に、第3の顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果に応答して、第3の顔画像が重複画像ではないことを確定し、及び/又は、第3の顔画像を画像キューに加える工程を含んでもよい。
【0149】
1つの選択可能な例において、取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する工程には、
取得された顔画像に対してフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した少なくとも1つの顔画像を取得する工程と、
少なくとも1つの顔画像を画像キューに予め保存された少なくとも1枚の顔画像とマッチングし、マッチング結果を取得する工程と、
顔画像が画像キューにマッチング画像を有することを表すマッチング結果に応答して、顔画像が重複画像であることを確定し、及び/又は、顔画像を画像キューに格納しない工程、
及び/又は、
顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果に応答して、顔画像が重複画像ではないことを確定し、及び/又は、顔画像を画像キューに格納する工程と、を含む。
【0150】
1つ又は複数の選択可能な実施形態において、画像キューには、それぞれ異なる人に対応する少なくとも1つの顔画像及び/又は顔画像に対応する顔特徴を含み、画像キューにおいて各顔画像がそれぞれ異なる人に対応してもよく、画像キューにそれぞれ異なる人に対応する一部の画像を含んでもよく、具体的には、2つの顔画像がマッチングするか否かを識別するには、顔画像に対応する顔特徴の間の距離に基づいて実現することができ、顔特徴の間の距離は、コサイン距離、ユークリッド距離等を含むが、本実施形態は具体的な特徴の間の距離の計算方法に制限を加えない。
【0151】
任意選択的に、フィルタリングした後取得された顔画像が予め保存された顔画像と同一人に対応する場合に、該顔画像が重複画像となり、この人に対応する顔画像がフィルタリング・重複削除処理を行われたことを示し、この時に、該顔画像を廃棄すること又は該顔画像を採用してこの人の画像キューでの対応する顔画像を交換することのどちらにしてもよく、フィルタリングした後取得された顔画像が予め保存された顔画像と同一人に対応しない場合に、該顔画像が重複画像ではなく、この顔画像に対応する人が新たに現れたものであることを示し、後で識別するためにキューに格納する必要がある。
【0152】
取得された複数の顔画像に対してフィルタリング操作を実行することで、画像品質が第1のプリセット条件に到達した少なくとも1つの顔画像が取得され、品質に基づくフィルタリングが実現され、顔画像の数量が低減され、取得された顔画像の品質が後続の顔画像に対する処理要求を満たすことができ、また、大量の顔画像を重複して処理する問題が回避され、更に、少なくとも1つの顔画像を画像キューに予め保存された少なくとも1つの顔画像とマッチングしてマッチング結果を取得し、マッチング結果に基づいて顔画像に対して重複削除操作を実行するか否かを確定し、既知の画像キューに基づいて該顔画像を記憶したか否かを判断し、速い重複顔識別を実現した。
【0153】
任意選択的に、複数の顔画像のうちの第3の顔画像を画像キューにおける少なくとも1つの顔画像とマッチングし、マッチング結果を取得する工程には、
第3の顔画像に対応する顔特徴及び画像キューにおける少なくとも1つの顔画像のうちの各顔画像に対応する顔特徴に基づいて、第3の顔画像と画像キューにおける各顔画像との類似度を取得する工程と、
第3の顔画像と画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得する工程と、を含む。
【0154】
任意選択的に、第3の顔画像に対応する顔特徴と画像キューにおける顔画像に対応する顔特徴との距離(例えば、ユークリッド距離、コサイン距離等)により、第3の顔画像と画像キューにおける各顔画像との類似度を確定し、従って、画像キューには顔画像及び/又は顔画像に対応する顔特徴が保存されてもよく、画像キューに顔特徴が保存された時に、類似度を判断する時に、第3の顔画像に対応する顔特徴と画像キュー中の顔特徴とを直接マッチングすればよく、識別速度を加速することができる。
【0155】
任意選択的に、第3の顔画像と画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得する工程には、
画像キューに第3の顔画像との類似度が設定類似度と同等以上である顔画像を有することに応答して、第3の顔画像が画像キューにマッチング画像を有することを表すマッチング結果を取得する工程、及び/又は、
画像キューに第3の顔画像との類似度が設定類似度と同等以上である顔画像を有さないことに応答して、第3の顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果を取得する工程を含む。
【0156】
1つ又は複数の選択可能な実施形態において、取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する前記工程の前に、本実施形態の方法は、更に、
取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した複数の顔画像を取得する工程を含む。
【0157】
任意選択的に、取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行する工程には、
顔画像における顔の表示品質を表すために用いられる、第4の顔画像に対応する顔属性に基づいて、取得された複数の第4の顔画像をフィルタリングする工程、
及び/又は、
顔画像における顔の振れ角度を表すために用いられる、顔画像における顔の角度に基づいて、取得された複数の第4の顔画像をフィルタリングする工程を含んでもよく、本実施形態では、顔属性は第4の顔画像における顔の表示品質を表すために用いられ、顔角度は第4の顔画像における顔の振れ角度を表すために用いられる。
【0158】
任意選択的に、顔属性は、顔角度、顔幅高値、顔ボケ度のいずれか1つ又は複数を含むが、これらに限定されるものではなく、任意選択的に、顔角度は、顔の水平方向での振れ角度を表すために用いられる水平振れ角度(yaw)、顔の垂直方向での転動角度を表すために用いられる俯仰角度(pitch)、顔の垂直方向での振れ角度を表すために用いられる傾斜角度(roll)を含むが、これらに限定されるものではない。
【0159】
1つ又は複数の選択可能な実施形態において、第4の顔画像に対応する顔属性に基づいて、取得された複数の第4の顔画像をフィルタリングする前記工程には、
顔角度が第1のプリセット範囲内にあること、顔幅高値が第2のプリセット閾値より大きいこと、顔ボケ度が第3のプリセット閾値より小さいことの少なくとも1つを含む第1の条件を満たすことに応答して、第4の顔画像の画像品質が第1のプリセット条件に到達したことを確定する工程、
又は、顔画像における顔に対応する顔属性を取得し、顔属性を判断する工程を含み、
少なくとも1つの顔画像を画像キューに予め保存された顔画像とマッチングする工程には、
顔角度が第1のプリセット範囲内にあること、顔幅高値が第2のプリセット閾値より大きいこと、顔ボケ度が第3のプリセット閾値より小さいことの少なくとも1つの条件を満たすことに応答して、
少なくとも1つの顔画像を画像キューに予め保存された顔画像とマッチングする工程を含む。
【0160】
1つ又は複数の選択可能な実施形態において、取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した複数の顔画像を取得する工程には、
複数の第4の顔画像から同一人に対応する少なくとも1つの第4の顔画像を識別する工程と、
同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する工程と、を含む。
【0161】
任意選択的に、同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した1つの顔画像を取得する工程を含み、
取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する工程には、
取得された異なる人に対応する複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得する工程を含む。
【0162】
更に、
顔角度が第1のプリセット範囲に存在しないこと、顔幅高値が第2のプリセット閾値と同等以下であること、顔ボケ度が第3のプリセット閾値と同等以上であることの少なくとも1つの条件を満たすことに応答して、
該顔画像を削除する工程を含む。
【0163】
任意選択的に、顔角度のうちの水平振れ角度、俯仰角度及び傾斜角度が共に±20°の範囲にある時に(3つの角度を同様な範囲又は異なる範囲に設定してもよい)、第1のプリセット範囲は±20°に設定してもよい(具体的な値を具体的な場合に応じて設定してもよい)。顔幅高は、顔の幅、顔の高さ(一般的には検出(detect)によりフェードバックされ、設定することでフィルタリングしてもよく、例えば、50画素に設定し、幅及び高さが50画素より小さい顔画像が条件に合致しないものと認められ、幅及び高さを異なる値又は同一値に設定してもよい)、顔ボケ度(一般的にはキューツールキット(SDK−alignment)によりフェードバックされ、異なる値に設定してもよく、例えば、0.7に設定し、ボケ度が0.7より大きい場合に品質が悪い顔画像と認められる)を含んでもよい。ここで取る値の±20°、50画素、0.7はプリセット閾値であり、実際に応じて設定してもよい。
【0164】
及び/又は、取得された複数の顔画像をそれぞれ前記顔画像における顔の角度に基づいてフィルタリングし、前記顔角度は前記顔画像における顔の振れ角度を表すために用いられる。振れ角度は基準的な前向きの顔に対するものであり、基準的な前向きの顔とは顔の水平、垂直及び傾斜方向での角度が全て0である顔を意味し、この顔を原点として顔の振れ角度を計算することができる。
【0165】
1つ又は複数の選択可能な実施形態において、取得された複数の顔画像に対してフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した少なくとも1つの顔画像を取得する工程には、
複数の顔画像から同一人に対応する少なくとも1つの顔画像を識別する工程と、
同一人に対応する少なくとも1つの顔画像に基づいて顔軌跡を取得する工程と、
顔画像に対応する顔角度に基づいて顔軌跡における顔画像をフィルタリングし、顔軌跡における品質が第1のプリセット条件に到達した顔画像を取得する工程と、を含む。
【0166】
本実施形態では、顔軌跡における顔画像をフィルタリングすることにより、品質の高い1枚の画像を取得することが実現され(例えば、それぞれの人に対して品質の高い1枚の画像を取得することが実現される)、顔角度により該顔画像の品質が第1のプリセット条件に到達したか否かを判断してもよく、この第1のプリセット条件はユーザの設定に基づいて調整可能であり、角度範囲値であってもよく、顔品質の高い1枚の画像を取るように設定してもよい。
【0167】
1つ又は複数の選択可能な実施形態において、顔角度は、顔水平振れ角度、顔俯仰角度、顔傾斜角度のいずれか一項を含むが、それらに限定されない。
【0168】
任意選択的に、同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する工程には、
各第4の顔画像に対応する顔水平振れ角度、顔俯仰角度及び顔傾斜角度を1つの3次元ベクトルに変換する工程と、
3次元ベクトルの、値が全て0となる3次元ベクトルである基準点までの距離に基づいて少なくとも1つの第4の顔画像をフィルタリングし、少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得する工程と、を含む。
【0169】
任意選択的に、3次元ベクトルの、値が全て0である3次元ベクトルである基準点までの距離に基づいて顔軌跡における顔画像をフィルタリングする。
【0170】
本実施形態において、顔水平振れ角度、顔俯仰角度及び顔傾斜角度を変換して取得された3次元ベクトルの二乗差を計算することにより距離値を取得することができ、この距離値により顔画像の品質を評価し、距離が小さいほど顔画像の品質が高いことを示し、即ち顔画像における顔が前向きの顔に似ており、ただし、本実施形態は、二乗差を計算することにより距離値を取得することに限定されず、更に他の方法により取得してもよく、また、速くフィルタリングするために、設定された時間期間内(例えば、5秒以内、10秒以内等)に顔軌跡における顔画像をフィルタリングするようにしてもよい。
【0171】
1つ又は複数の選択可能な実施形態において、少なくとも1つの顔画像を画像キューに予め保存された少なくとも1つの顔画像とマッチングし、マッチング結果を取得する工程には、
少なくとも1つの顔画像に対応する顔特徴、及び画像キューにおける顔画像に対応する顔特徴に基づいて、少なくとも1つの顔画像と画像キューにおける顔画像との類似度を取得する工程と、
類似度が設定類似度と同等以上であることに応答して、顔画像が画像キューにマッチング画像を有することを表すマッチング結果を取得する工程と、
類似度が設定類似度より小さいことに応答して、顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果を取得する工程と、を含む。
【0172】
本実施形態は、顔重複削除を実現し、取得された品質が高い顔画像と保存された画像キューにおける顔画像との類似度照合を行い、顔特徴に基づいて行ってもよく、顔画像の顔特徴の取得はニューラルネットワークにより行ってもよく、また、画像キューに顔画像を記憶してもよく、顔画像及びそれに対応する顔特徴を記憶してもよく、顔画像を記憶した場合に、類似度照合を行うことが必要とされる時に、まずニューラルネットワークにより予め保存された顔画像に対応する顔特徴を取得する。
【0173】
上記実施形態で提供される重複削除・フィルタリングにより、リアルタイムで採取されるビデオにおける顔に対して属性検出及び顔照合を行う時に、同一の顔を含む連続的な複数のフレームの画像から処理に適する1フレームの画像を選択する必要があるという問題が解決され、属性検出及び顔照合をより好適に行うことが実現された。
【0174】
上記実施形態で提供される重複削除・フィルタリングは、クライアント端末でビデオストリームを処理し、要求に合致する顔画像をクラウドに送信する場合に、全ての顔画像をクラウドに直接送信すれば、クラウドの圧力が大き過ぎ、更に重複した品質の低い顔画像の意義が大きくないため、クライアント端末で画像をクラウドにアップロードする前に重複削除・フィルタリングを行う必要があるという場合に更に利用可能である。この時に品質がより高い顔画像を選択するには、本実施形態が必要とされる。
【0175】
上記実施形態で提供される重複削除・フィルタリングは、サーバ端末に適用可能であり、サーバ端末に適用するメリットは速度が速く、クラウドに大き過ぎる負担を加えなく、選択された画像をクラウドに送信して画像データベースに格納することにある。
【0176】
本願の実施形態で提供される顔画像を動的にデータベースに追加する方法は以下のシーンに利用可能であるが、それらに限定されない。
【0177】
シーン1:純価値の高い産業に勤めているユーザ1は毎日の来場顧客から高い頻度で来場する人を統計したい場合がある。統計経験によれば、高い頻度で来場する顧客は買い物の望みがより強く、セールスマンはこのような顧客に重点的に販売する。動的にデータベースに追加する方式により顔画像データベースを非誘導的に確立し、顔照合等の技術を組み合わせ、ユーザの要求を実現した。
【0178】
シーン2:新型小売業に勤めているユーザ2は無人スーパーマーケットで、それぞれの顧客の位置、歩行軌跡を識別し、且つそのショッピング、興味を持つ領域等に関連付ける一連の操作を行いたい場合がある。動的にデータベースに追加する方式により、顔基準データベースを確立する。顔データベースに更に時間、カメラ位置等の情報を組み合わせて、顧客の異なる位置での挙動を関連付ける。
【0179】
シーン3:飲食業に勤めているユーザ3は、顧客が以前毎回よく注文した料理に基づいて、顧客が次回来店する時に、積極的に顧客に喜ばれる食品を提供して、顧客の消費体験を高めたい場合がある。動的にデータベースに追加する方式により、顔基準データベースを確立し、顧客が次回来店する時にその身分を快速且つ正確に識別することができる。
【0180】
本願の実施形態で提供されるいずれか1種の方法はデータ処理能力を有するいかなる適宜な機器により実行されてもよく、該機器は端末装置及びサーバ等を含むが、それらに限定されない。又は、本願の実施形態で提供されるいずれか1種の方法はプロセッサーにより実行されてもよく、例えば、プロセッサーはメモリーに記憶された対応するコマンドを呼び出すことにより本願の実施形態に係るいずれか1種の方法を実行してもよい。以下、これについての詳細の説明を省略する。
【0181】
上記方法の実施形態のステップの全部又は一部を実現するには、プログラムコマンドに関するハードウェアにより完成することができ、前述したプログラムを、ROM、RAM、磁気ディスク又は光ディスク等のプログラムコードを記憶することができる様々のコンピュータ読み取り可能記憶媒体に記憶してよく、該プログラムを実行する時に、上記方法の実施形態を含むステップが実行されることは当業者に理解可能である。
【0182】
ここで開示される実施形態において、画像データベースには顔画像及び/又は顔画像の特徴情報を含んでもよく、顔画像及び/又は顔画像の特徴情報を含まなくてもよく、事前に顔基準データベースがないか顔基準データベースデータが不完全である場合に、顔画像の検索及びデータベースへの格納が実現され、顔照合を絶えず行う過程で、要求に合致する顔画像及び/又はその特徴情報を画像データベースに加え、動的にデータベースに追加する方式により画像データベース(又は基礎データベースと呼ぶ)の構築を実現する。
【0183】
図2は本願に係る顔画像を動的にデータベースに追加する装置の一実施形態の構造模式図である。該実施形態の装置は本願の上記各方法の実施形態を実現するために利用可能である。
図2に示すように、該実施形態の装置は、
取得された第1の顔画像を画像データベース中の事前保存顔画像情報と照合するために用いられる照合ユニット21と、
第1の顔画像が画像データベースにマッチングする事前保存顔画像情報を有さないことを表す照合結果に応答して、第1の顔画像を画像データベースに格納するか否かを確定するために用いられる記憶ユニット22と、を含む。
【0184】
本願の上記実施形態に基づいて提供される顔画像を動的にデータベースに追加する装置は、事前に顔基準データベースがないか顔基準データベースデータが不完全である場合に、顔画像の検索及びデータベースへの格納を実現し、動的にデータベースに追加することを実現しており、顔照合を絶えず行う過程で、要求に合致する顔画像を画像データベースに加え、それにより動的にデータベースに追加する方式に基づく画像データベースを構築する。
【0185】
本願に係る顔画像を動的にデータベースに追加する方法の上記実施形態の1つの選択可能な例において、記憶ユニット22は、プリセットモードに基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定するために利用可能である。即ち、画像データベースに格納するか画像データベースに格納しないかを選択可能である。
【0186】
任意選択的に、プリセットモードは、マッチングする事前保存顔画像情報を有さない第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納する第1のプリセットモードを含む。
【0187】
任意選択的に、プリセットモードは、マッチングする事前保存顔画像情報を有さない第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しない第2のプリセットモードを含む。
【0188】
任意選択的に、プリセットモードは、取得された操作指示情報に基づいてマッチングしない顔画像を画像データベースに格納するか格納しない第3のプリセットモードを含む。
【0189】
1つ又は複数の選択可能な実施形態において、第3のプリセットモード中の操作指示情報は格納する操作指示情報及び格納しない操作指示情報を含み、格納する操作指示情報は顔画像を画像データベースに格納するように指示するのを目的とし、格納しない操作指示情報は顔画像を画像データベースに格納しないように指示することを目的とする。
【0190】
1つ又は複数の選択可能な実施形態において、記憶ユニット22はプリセットモードに基づいて顔画像を前記画像データベースに格納する時に、プリセットモードが第1のプリセットモードであることに応答して、顔画像を画像データベースに格納するために利用可能である。
【0191】
任意選択的に、記憶ユニット22はプリセットモードに基づいて顔画像を画像データベースに格納する時に、プリセットモードが第3のプリセットモードであることに応答して、格納する操作指示情報に基づいて顔画像を画像データベースに格納するために利用可能である。
【0192】
1つ又は複数の選択可能な実施形態において、記憶ユニット22はプリセットモードに基づいて顔画像を画像データベースに格納しない時に、プリセットモードが第2のプリセットモードであることに応答して、顔画像を画像データベースに格納しないために利用可能であり、
任意選択的に、記憶ユニット22はプリセットモードに基づいて顔画像を画像データベースに格納しない時に、プリセットモードが第3のプリセットモードであることに応答して、格納しない操作指示情報に基づいて顔画像を画像データベースに格納しないために利用可能である。
【0193】
1つ又は複数の選択可能な実施形態において、記憶ユニットは、取得された操作指示情報に基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定するために用いられる。
【0194】
任意選択的に、操作指示情報は格納する操作指示情報及び格納しない操作指示情報を含み、格納する操作指示情報は第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するように指示するのを目的とし、格納しない操作指示情報は第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しないように指示するのを目的とする。
【0195】
任意選択的に、記憶ユニットは、格納する操作指示情報に基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納することを確定し、又は、格納しない操作指示情報に基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しないことを確定するために用いられる。
【0196】
1つ又は複数の選択可能な実施形態において、記憶ユニット22は、操作指示情報に基づいて、第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納するか否かを確定する前に、更に、
操作通知情報を送信するために用いられる通知モジュールと、
操作通知情報に基づいてフィードバックされる操作指示情報を受信するために用いられるフィードバック操作モジュールと、を含む。
【0197】
任意選択的に、記憶ユニット22は、更に、
プリセット時間内に前記操作通知情報に基づいてフィードバックされる操作指示情報が受信されていないことに応答して、操作通知情報を重複して送信し、又は第1の顔画像及び第1の顔画像の特徴情報のうちの少なくとも一つを画像データベースに格納しないことを確定するために用いられるタイムアウトモジュールを含む。
【0198】
本願に係る顔画像を動的にデータベースに追加する装置の更に別の実施形態において、上記各実施形態の基礎の上で、画像データベースには少なくとも1つの事前保存顔画像情報及び各事前保存顔画像情報の出現回数を含み、
該実施形態の装置は、更に、
第1の顔画像が画像データベースにマッチングする事前保存顔画像情報を有することを表す照合結果に応答して、画像データベースにおける前記第1の顔画像とマッチングする事前保存顔画像情報の出現回数に1をプラスするために用いられる累計ユニットを含む。
【0199】
本実施形態では、重複して出現する顔の出現回数の統計が実現可能であり、顔の出現回数を統計することで、実際の適用においてユーザに必要なデータを提供することができ、例えば、純価値の高い産業に勤めているユーザは毎日の来場顧客から高い頻度で来場する人を統計したい場合がある。統計経験によれば、高い頻度で来場する顧客は買い物の望みがより強く、セールスマンはこのような顧客に重点的に販売する。動的にデータベースに追加する方式により画像データベースを非誘導的に確立し、顔照合及び重複して出現する顔に対する回数統計等の技術を組み合わせ、ユーザの要求を実現した。
【0200】
本願に係る顔画像を動的にデータベースに追加する装置の上記各実施形態の1つの選択可能な例において、画像データベースは、同一人に属する複数の第2の顔画像及び各第2の顔画像の取得時間と取得位置を保存した少なくとも1つの画像群を含み、
該実施形態の装置は、更に、
事前保存顔画像情報の出現回数が2より大きいことに応答して、事前保存顔画像情報の所在する画像群中の少なくとも1つの第2の顔画像及び少なくとも1つの第2の顔画像のうちの各第2の顔画像の取得時間と取得位置に基づいて、事前保存顔画像情報に対応する人の挙動軌跡を確立するために用いられる軌跡確立ユニットを含む。
【0201】
1つ又は複数の選択可能な実施形態において、画像データベースは、同一人に属する複数の第2の顔画像を保存するための少なくとも1つの画像群を含み、
照合ユニットは、取得された第1の顔画像を複数の第2の顔画像を保存した画像群中の1つの第2の顔画像と照合するために用いられる。
【0202】
本願に係る顔画像を動的にデータベースに追加する装置のまた1つの実施形態において、上記各実施形態の基礎の上で、更に、
ビデオストリームから顔画像を含む少なくとも1フレームのビデオ画像を取得するために用いられるビデオ取得ユニットと、
ビデオ画像に対して画像分割を行い、第1の顔画像を含む少なくとも1つの顔画像を取得するために用いられる画像分割ユニットと、を含む。
【0203】
本実施形態において、顔画像を取得する手段として、一般的には、設置されたカメラ等の画像取得装置によりビデオストリームを取得し、ビデオストリームを分解し、ビデオ画像を取得し、ビデオ画像に対して顔識別技術(例えば、畳み込みニューラルネットワーク、Convolutional Neural Network、CNN)により顔画像を有するビデオ画像を識別し、画像分割技術により該顔画像をビデオ画像から分割し、それにより顔画像が取得され、1フレームのビデオ画像に少なくとも1つの顔画像を含む可能性があり、顔画像を有さない可能性もあり、顔画像を有さないビデオ画像に対して、本願では取得しなく、更に、分解して取得されたビデオ画像に対して顔画像切り抜きを行い、ソフトウェア開発キット検出(Software Development Kit、SDK−detect)を行うようにしてもよく、同一の切り抜き画像から複数枚の顔を検出(detect)した場合に一枚目のものを採取し、顔がない場合にフィルタリングして除去する。
【0204】
本願に係る顔画像を動的にデータベースに追加する装置の更に1つの実施形態において、上記各実施形態の基礎の上で、更に、
取得された複数の顔画像に対して重複削除・フィルタリング操作を実行し、第1の顔画像を含む少なくとも1つの顔画像を取得し、
又は、端末装置により取得された複数の顔画像に対して重複削除・フィルタリング操作を実行して取得され前記第1の顔画像を含む、端末装置から送信される少なくとも1つの顔画像を受信するために用いられる重複削除・フィルタリングユニットを含む。
【0205】
本実施形態では、採取された顔画像に対して前処理を行い、前処理の目的は取得された顔画像の効果を好適にし、検索及び識別を容易にすることにあり、また、重複削除・フィルタリングすることにより、大量の重複顔画像から効果の高い1つの顔画像を取得可能であり、画像の処理量が小さくなり、顔画像を受信する圧力が低くなり、検索及びデータベースへの格納の効率が高くなり、後続の顔画像に基づく照合検索結果の正確率及びリコール率が大幅に高くなった。
【0206】
1つ又は複数の選択可能な実施形態において、重複削除・フィルタリングユニットは、
複数の顔画像のうちの第3の顔画像を画像キューにおける少なくとも1つの顔画像とマッチングし、マッチング結果を取得するために用いられるマッチングモジュールと、
第3の顔画像が画像キューにマッチング画像を有することを表すマッチング結果に応答して、第3の顔画像が重複画像であることを確定し、及び/又は、第3の顔画像を画像キューに格納しないために用いられる重複削除モジュールと、を含む。
【0207】
任意選択的に、重複削除モジュールは、更に、第3の顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果に応答して、第3の顔画像が重複画像ではないことを確定し、及び/又は、第3の顔画像を画像キューに加えるために用いられる。
【0208】
1つ又は複数の選択可能な実施形態において、重複削除・フィルタリングユニットは、
取得された顔画像に対してフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した少なくとも1つの顔画像を取得するために用いられるフィルタリングモジュールと、
少なくとも1つの顔画像を画像キューに予め保存された少なくとも1枚の顔画像とマッチングし、マッチング結果を取得するために用いられるマッチングモジュールと、
顔画像が画像キューにマッチング画像を有することを表すマッチング結果に応答して、顔画像が重複画像であることを確定し、及び/又は、顔画像を画像キューに格納しなく、及び/又は、
顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果に応答して、顔画像が重複画像ではないことを確定し、及び/又は、顔画像を画像キューに格納するために用いられる重複削除モジュールと、を含む。
【0209】
任意選択的に、マッチングモジュールは、
第3の顔画像に対応する顔特徴及び画像キューにおける少なくとも1つの顔画像のうちの各顔画像に対応する顔特徴に基づいて、第3の顔画像と画像キューにおける各顔画像との類似度を取得し、
第3の顔画像と画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得するために用いられる。
【0210】
任意選択的に、マッチングモジュールは、第3の顔画像と画像キューにおける各顔画像との類似度に基づいて、マッチング結果を取得する時に、画像キューに第3の顔画像との類似度が設定類似度と同等以上である顔画像を有することに応答して、第3の顔画像が画像キューにマッチング画像を有することを表すマッチング結果を取得し、及び/又は
画像キューに第3の顔画像との類似度が設定類似度と同等以上である顔画像を有さないことに応答して、第3の顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果を取得するために用いられる。
【0211】
任意選択的に、該装置は、更に、
取得された複数の第4の顔画像に対して品質に基づくフィルタリング操作を実行し、画像品質が第1のプリセット条件に到達した複数の顔画像を取得するために用いられるフィルタリングモジュールを含む。
【0212】
任意選択的に、フィルタリングモジュールは、
顔画像における顔の表示品質を表すために用いられる、第4の顔画像に対応する顔属性に基づいて、取得された複数の第4の顔画像をフィルタリングするために用いられる属性フィルタリングモジュール、
及び/又は、
顔画像における顔の振れ角度を表すために用いられる、第4の顔画像における顔の角度に基づいて、取得された複数の第4の顔画像をフィルタリングするために用いられる角度フィルタリングモジュールを含み、
本実施形態で顔属性は第4の顔画像における顔の表示品質を表すために用いられ、本実施形態で顔角度は第4の顔画像における顔の振れ角度を表すために用いられる。
【0213】
任意選択的に、顔属性は、顔角度、顔幅高値、顔ボケ度のいずれか1つ又は複数を含むが、これらに限定されるものではなく、
属性フィルタリングモジュールは、顔角度が第1のプリセット範囲にあること、顔幅高値が第2のプリセット閾値より大きいこと、顔ボケ度が第3のプリセット閾値より小さいことの少なくとも1つを含む第1の条件を満たすことに応答して、第4の顔画像の画像品質が第1のプリセット条件に到達したことを確定し、
少なくとも1つの顔画像を画像キューに予め保存された顔画像とマッチングするために用いられる。
【0214】
本願に係る顔画像を動的にデータベースに追加する装置の上記各実施形態の1つの選択可能な例において、属性フィルタリングモジュールは、更に、顔角度が第1のプリセット範囲に存在しないこと、顔幅高値が第2のプリセット閾値と同等以下であること、顔ボケ度が第3のプリセット閾値と同等以上であることの少なくとも1つの条件を満たすことに応答して、
顔画像を削除するために用いられる。
【0215】
本願に係る顔画像を動的にデータベースに追加する装置の上記各実施形態の1つの選択可能な例において、フィルタリングモジュールは、複数の第4の顔画像から同一人に対応する少なくとも1つの第4の顔画像を識別し、同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した顔画像を取得するために用いられる。
【0216】
同一人に対応する少なくとも1つの顔画像に基づいて顔軌跡を取得し、
顔画像に対応する顔角度に基づいて顔軌跡における顔画像をフィルタリングし、顔軌跡における品質が第1のプリセット条件に到達した顔画像を取得するために用いられる。
【0217】
任意選択的に、フィルタリングモジュールは、具体的には、同一人に対応する少なくとも1つの第4の顔画像をフィルタリングし、少なくとも1つの第4の顔画像のうちの品質が第1のプリセット条件に到達した1つの顔画像を取得するために用いられ、
重複削除・フィルタリングユニットは、取得された異なる人に対応する複数の顔画像に対して重複削除・フィルタリング操作を実行し、少なくとも1つの顔画像を取得するために用いられる。
【0218】
本願に係る顔画像を動的にデータベースに追加する装置の上記各実施形態の1つの選択可能な例において、顔角度は、顔水平振れ角度、顔俯仰角度、顔傾斜角度のいずれか1つ又は複数を含むが、これらに限定されるものではない。
【0219】
フィルタリングモジュールは、
顔画像に対応する顔水平振れ角度、顔俯仰角度及び顔傾斜角度を1つの3次元ベクトルに変換するために用いられる角度変換モジュールと、
3次元ベクトルの、値が全て0となる3次元ベクトルである基準点までの距離に基づいて顔軌跡における顔画像をフィルタリングするために用いられるベクトルフィルタリングモジュールと、を含む。
【0220】
本願に係る顔画像を動的にデータベースに追加する装置の上記各実施形態の1つの選択可能な例において、マッチングモジュールは、
少なくとも1つの顔画像に対応する顔特徴、及び画像キュー中の顔画像に対応する顔特徴に基づいて、少なくとも1つの顔画像と画像キュー中の顔画像との類似度を取得し、
類似度が設定類似度と同等以上であることに応答して、顔画像が画像キューにマッチング画像を有することを表すマッチング結果を取得し、
類似度が設定類似度より小さいことに応答して、顔画像が画像キューにマッチング画像を有さないことを表すマッチング結果を取得することに選択的に用いられる。
【0221】
本願の実施形態の別の態様によれば、提供される電子機器は、本願の上記のいずれか1つの実施形態の顔画像重複削除装置を備えるプロセッサーを含む。
【0222】
本願の実施形態の別の態様によれば、提供される電子機器は、実行可能コマンドを記憶するために用いられるメモリーと、
メモリーと通信して実行可能コマンドを実行して本願の顔画像重複削除方法の上記のいずれか1つの実施形態の操作を完成するために用いられるプロセッサーと、を含む。
【0223】
本願の実施形態の別の態様によれば、提供されるコンピュータ記憶媒体は、コンピュータ読み取り可能コマンドを記憶するために用いられ、コマンドが実行される時に本願の顔画像重複削除方法の上記のいずれか1つの実施形態の操作を実行する。
【0224】
本願の実施形態の別の態様によれば、提供されるコンピュータプログラムは、コンピュータ読み取り可能コードを備え、コンピュータ読み取り可能コードを機器上で動作する時に、該機器におけるプロセッサーにより本願の顔画像重複削除方法のいずれか1つの実施形態を実現するためのコマンドを実行する。
【0225】
本願の実施形態は更に携帯端末、パーソナルコンピュータ(PC)、タブレットコンピュータ、サーバ等であってよい電子機器を提供した。以下、本願の実施形態の端末装置又はサーバを実現することに適する電子機器300の構造模式図を示す
図3に示すように、電子機器300は、例えば、1つ又は複数の中央処理装置(CPU)301及び/又は1つ又は複数の画像処理装置(GPU)313等であり、読み出し専用メモリー(ROM)302に記憶された実行可能コマンド又は記憶部308からランダムアクセスメモリー(RAM)303にロードされた実行可能コマンドに基づいて様々の適宜な動作及び処理を実行することができる1つ又は複数のプロセッサー、及び通信部等を含む。通信部312はネットワークカードを含むが、それに限定されなく、前記ネットワークカードはIB(Infiniband)ネットワークカードを含むが、それに限定されない。
【0226】
プロセッサーは読み出し専用メモリー302及び/又はランダムアクセスメモリー303と通信して実行可能コマンドを実行することができ、バス304により通信部312に接続され、通信部312を介して他の目的機器と通信し、それにより本願の実施形態で提供されるいずれか1つの方法に対応する操作を完成し、例えば、取得された顔画像を画像データベース中の事前保存顔画像と照合し、顔画像が画像データベースにマッチングする顔画像を有さないことを表す照合結果に応答して、顔画像をデータベースに格納するか画像データベースに格納しない。
【0227】
なお、RAM 303には更に装置操作に必要な様々のプログラム及びデータが記憶されていてもよい。CPU301、ROM302及びRAM303はバス304により相互に接続される。RAM303が存在する場合に、ROM302は選択可能なモジュールである。RAM303は、中央処理装置(CPU)301に上記通信方法に対応する操作を実行させる実行可能コマンドを記憶し、動作する時にROM302に実行可能コマンドを読み込む。入力/出力(I/O)インターフェース305をもバス304に接続する。通信部312は集積設置されてもよく、複数のサブモジュール(例えば、複数のIBネットワークカード)を有し且つバスリンクにあるように設置されてもよい。
【0228】
I/Oインターフェース305には、キーボード、マウス等を含む入力部306と、例えば陰極線管(CRT)、液晶表示装置(LCD)等及びスピーカ等を含む出力部307と、ハードディスク等を含む記憶部308と、例えばLANカード、モデム等のネットワークインターフェースカードを含む通信部309とが接続される。通信部309は例えばインターネットのネットワークを介して通信処理を実行する。ドライバー310は必要に応じてI/Oインターフェース305にも接続される。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等のようなリムーバブルメディア311は、必要に応じてドライバー310に実装され、それによりその中から読み出すコンピュータプログラムを必要に応じて記憶部308にインストールする。
【0229】
図3に示す構造が選択可能な実現態様に過ぎず、具体的な実現過程で、実際の要求に応じて上記
図3の部材の数量及び種類を選択し、削減し、増加し、取り替えるようにしてもよく、異なる機能の部材の設置について、分離設置又は集積設置等の実現態様を採用可能であり、例えば、GPU313及びCPU301を分離して設置してもよく、GPU313をCPU301に集積してもよく、通信部を分離して設置してもよく、CPU301又はGPU313に集積設置してもよいことを説明すべきである。これらの取り替え可能な実施態様は全て本願の開示する保護範囲に含まれる。
【0230】
特に、本願の実施形態によれば、以上でフローチャートを参照して記載した過程はコンピュータソフトウェアプログラムとして実現可能である。例えば、本願の実施形態は、機器読み取り可能媒体に有形的に含まれるコンピュータプログラムを備えるコンピュータプログラム製品を含み、コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含み、プログラムコードは本願の実施形態で提供される方法のステップを対応して実行するための対応するコマンドを含んでもよく、例えば、取得された顔画像を画像データベース中の事前保存顔画像と照合し、顔画像が画像データベースにマッチングする顔画像を有さないことを表す照合結果に応答して、顔画像をデータベースに格納するか画像データベースに格納しない。このような実施形態において、該コンピュータプログラムは通信部309によりネットワークからダウンロードされインストールされ、及び/又はリムーバブルメディア311からインストールされることが可能である。このコンピュータプログラムが中央処理装置(CPU)301により実行される時に、本願の方法で限定される上記機能が実行される。
【0231】
本明細書において、各実施形態は全て漸進する方式を用いて記載したものであり、各実施形態で重点として説明したのは全て他の実施形態との相違点であり、各実施形態の間の同様又は類似的な部分については相互に参照すればよい。システムの実施形態に関しては、方法の実施形態に基本的に対応するので、簡単に記載し、関連するところについては方法の実施形態の一部の説明を参照すればよい。
【0232】
多くの方式により本願の方法及び装置を実現することができる。例えば、ソフトウェア、ハードウェア、ファームウエア又はソフトウェア、ハードウェア、ファームウエアのいかなる組合せにより本願の方法及び装置を実現することができる。前記方法のステップのための上記手順は説明するためのものに過ぎず、本願の方法のステップは、特に他の方式により説明しない限り、以上で具体的に記載した手順に限定されない。なお、いくつかの実施形態において、更に本願は記録媒体に記録されるプログラムとして実施可能であり、これらのプログラムは本願に係る方法を実現するための機器読み取り可能コマンドを含む。従って、本願は更に本願に係る方法を実行するためのプログラムを記憶する記録媒体を含む。
【0233】
本願に対する記載は例を挙げ説明するためのものであり、漏れることなく、又は本願を開示された形式に限定するものではない。多くの修正及び変化は当業者にとって明らかなことである。実施形態を選択し説明する目的は本願の原理及び実際の適用をより好適に説明し、当業者に本願を理解させて特定の用途に適する様々の修正を行った各種の実施形態を設計させることにある。