▶ シェンチェン センスタイム テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-29
(45)【発行日】2022-08-08
(54)【発明の名称】画像処理方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20220801BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 350B
【請求項の数】
11
(21)【出願番号】P 2021526214
(86)(22)【出願日】2020-03-26
(65)【公表番号】
(43)【公表日】2022-05-02
(86)【国際出願番号】 CN2020081364
(87)【国際公開番号】W WO2021164100
(87)【国際公開日】2021-08-26
【審査請求日】2021-05-12
(31)【優先権主張番号】202010098842.0
(32)【優先日】2020-02-18
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518209698
【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100186716
【弁理士】
【氏名又は名称】真能 清志
(72)【発明者】
【氏名】グォ センフイ
(72)【発明者】
【氏名】シュイ ジン
(72)【発明者】
【氏名】チェン ダーポン
(72)【発明者】
【氏名】ジャオ ルイ
【審査官】伊知地 和之
(56)【参考文献】
【文献】中国特許出願公開第１１０７８１９７５（ＣＮ，Ａ）
【文献】中国特許出願公開第１１０１３５２９５（ＣＮ，Ａ）
【文献】韓国公開特許第２０１０－０１１６４０４（ＫＲ，Ａ）
【文献】中国特許出願公開第１０８７７６７８７（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定することと、いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ（ｉは、正の整数でかつ１＜ｉ≦Ｎ）番目の特徴は前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴は前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴は前記Ｎ個の特徴のうちの１番目であることと、
各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得ることと、
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得ることと、を含む
ことを特徴とする画像処理方法。
【請求項2】
前記目標特徴に対応する密度チェーン情報は、前記Ｎ個の特徴の第２隣接特徴をさらに含み、前記Ｎ個の特徴のｉ－１番目の特徴の第２隣接特徴は、前記ｉ－１番目の特徴との間の距離が第３距離閾値以下である少なくとも１つの第１特徴を含み、各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得ることは、
前記目標特徴に対して、前記Ｎ個の特徴と前記Ｎ個の特徴の第２隣接特徴をそれぞれ融合させて前記目標特徴のＮ個の融合特徴を得ることと、
前記目標特徴のＮ個の融合特徴に基づいて、前記Ｎ個の融合特徴間の関連特徴を決定することと、
前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定することと、を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定することは、前記関連特徴と前記Ｎ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴を得ることと、
前記Ｎ個のスティッチング特徴を正規化して前記Ｎ個の融合特徴のＮ個の重み値を得ることと、
前記Ｎ個の重み値に基づいて、前記Ｎ個の融合特徴を融合させて前記目標特徴に対応する第１画像の第２特徴を得ることと、を含むことを特徴とする請求項２に記載の方法。
【請求項4】
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の密度をそれぞれ決定する前にさらに、前記複数の第１画像の第３特徴に基づいて、それぞれが１つの前記第３特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位Ｋ（Ｋは正の整数である）個のノードを含むことと、
前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第１画像の第１特徴を得ることと、を含む
ことを特徴とする請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記Ｎ個の特徴のｉ番目の特徴は、前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうち、密度が最大の特徴であることを特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記複数の第１画像の第３特徴に基づいて、特徴マップネットワークを構築する前にさらに、前記複数の第１画像のそれぞれに対して特徴抽出を行って、前記複数の第１画像の第３特徴を得ることを含む
ことを特徴とする請求項４に記載の方法。
【請求項7】
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得ることは、前記複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定することと、
前記少なくとも１つの画像群に対応する、前記第１画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、
前記処理結果は前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含む
ことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定する密度決定モジュールと、いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ（ｉは、正の整数でかつ１＜ｉ≦Ｎ）番目の特徴は前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴は前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴は前記Ｎ個の特徴のうちの１番目である密度チェーン決定モジュールと、
各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得る特徴調整モジュールと、
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得る結果決定モジュールと、を含む
ことを特徴とする画像処理装置。
【請求項9】
プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、請求項１～７のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。
【請求項10】
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、請求項１～７のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項11】
コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項１～７のいずれか１項に記載の方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、２０２０年２月１８日に中国国家知識産権局に提出された、出願番号が２０２０１００９８８４２．０で、発明の名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本出願に組み込まれる。
【技術分野】
【0002】
本開示は、コンピュータテクノロジーの分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
クラスタリングでは、同一カテゴリに属する複数の目標（例えば、顔）を集めることができ、例えば、画像ライブラリ内の同じ人に属する画像をクラスタ化して、異なる人の画像を区別することができる。関連技術では、画像における目標の特徴を抽出し、特徴をクラスタリングすることができる。
【発明の概要】
【0004】
本開示は、画像処理の技術的手段を提案している。
【0005】
本開示の一側面によれば、処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定することと、いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ（ｉは、正の整数でかつ１＜ｉ≦Ｎ）番目の特徴が前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴が、前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴が前記Ｎ個の特徴のうちの１番目であることと、各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得ることと、前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得ることと、を含む画像処理方法が提供される。
【0006】
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は、前記Ｎ個の特徴の第２隣接特徴をさらに含み、前記Ｎ個の特徴のｉ－１番目の特徴の第２隣接特徴は、前記ｉ－１番目の特徴との間の距離が第３距離閾値以下である少なくとも１つの第１特徴を含み、各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得ることは、前記目標特徴に対して、前記Ｎ個の特徴と前記Ｎ個の特徴の第２隣接特徴をそれぞれ融合させて前記目標特徴のＮ個の融合特徴を得ることと、前記目標特徴のＮ個の融合特徴に基づいて、前記Ｎ個の融合特徴間の関連特徴を決定することと、前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定することと、を含む。
【0007】
可能な一実施形態では、前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定することは、前記関連特徴と前記Ｎ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴を得ることと、前記Ｎ個のスティッチング特徴を正規化して前記Ｎ個の融合特徴のＮ個の重み値を得ることと、前記Ｎ個の重み値に基づいて、前記Ｎ個の融合特徴を融合させて前記目標特徴に対応する第１画像の第２特徴を得ることと、を含む。
【0008】
可能な一実施形態では、処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の密度をそれぞれ決定する前にさらに、前記複数の第１画像の第３特徴に基づいて、それぞれが１つの前記第３特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位Ｋ（Ｋは正の整数である）個のノードを含むことと、前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第１画像の第１特徴を得ることと、を含む。
【0009】
可能な一実施形態では、前記Ｎ個の特徴のｉ番目の特徴は、前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうち、密度が最大の特徴である。
【0010】
可能な一実施形態では、前記複数の第１画像の第３特徴に基づいて、特徴マップネットワークを構築する前にさらに、前記複数の第１画像のそれぞれに対して特徴抽出を行って、前記複数の第１画像の第３特徴を得ることを含む。
【0011】
可能な一実施形態では、前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得ることは、前記複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定することと、前記少なくとも１つの画像群に対応する、前記第１画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、前記処理結果が前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含む。
【0012】
本開示の一側面によれば、処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定する密度決定モジュールと、いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ番目の特徴が前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴が、前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴が前記Ｎ個の特徴のうちの１番目である密度チェーン決定モジュールと、各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得る特徴調整モジュールと、前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得る結果決定モジュールと、を含む画像処理装置が提供される。
【0013】
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は、前記Ｎ個の特徴の第２隣接特徴をさらに含み、前記Ｎ個の特徴のｉ－１番目の特徴の第２隣接特徴は、前記ｉ－１番目の特徴との間の距離が第３距離閾値以下である少なくとも１つの第１特徴を含み、前記特徴調整モジュールは、前記目標特徴に対して、前記Ｎ個の特徴と前記Ｎ個の特徴の第２隣接特徴をそれぞれ融合させて前記目標特徴のＮ個の融合特徴を得るための融合サブモジュールと、前記目標特徴のＮ個の融合特徴に基づいて、前記Ｎ個の融合特徴間の関連特徴を決定するための特徴サブモジュールと、前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定するための特徴決定サブモジュールと、を含む。
【0014】
可能な一実施形態では、前記特徴決定サブモジュールは、前記関連特徴と前記Ｎ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴を得ることと、前記Ｎ個のスティッチング特徴を正規化して前記Ｎ個の融合特徴のＮ個の重み値を得ることと、前記Ｎ個の重み値に基づいて、前記Ｎ個の融合特徴を融合させて前記目標特徴に対応する第１画像の第２特徴を得ることに用いられる。
【0015】
可能な一実施形態では、前記装置は、前記密度決定モジュールの前にさらに、前記複数の第１画像の第３特徴に基づいて、それぞれが１つの前記第３特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位Ｋ（Ｋは正の整数である）個のノードを含む特徴マップネットワーク構築モジュールと、前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第１画像の第１特徴を得るためのグラフ畳み込みモジュールと、を含む。
【0016】
可能な一実施形態では、前記Ｎ個の特徴のｉ番目の特徴は、前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうち、密度が最大の特徴である。
【0017】
可能な一実施形態では、前記装置は、前記特徴マップネットワーク構築モジュールの前にさらに、前記複数の第１画像のそれぞれに対して特徴抽出を行って、前記複数の第１画像の第３特徴を得るための特徴抽出モジュールを含む。
【0018】
可能な一実施形態では、前記結果決定モジュールは、前記複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定するためのクラスタリングサブモジュールと、前記少なくとも１つの画像群に対応する、前記第１画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定するためのカテゴリ決定サブモジュールと、を含み、前記処理結果が前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含む。
【0019】
本開示の一側面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器が提供される。
【0020】
本開示の一側面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令はプロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体が提供される。
本開示の一側面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに前記方法を実行させるコンピュータプログラムが提供される。
本開示の一側面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに前記方法を実行させるコンピュータプログラムが提供される。
【0021】
本開示の実施例によれば、複数の画像特徴の密度を決定し、特徴密度に基づいて特徴の密度チェーン情報を決定し、密度チェーン情報に基づいて特徴を調整し、調整後の特徴をクラスタリングして処理結果が得られ、特徴の空間密度分布に基づいて特徴を調整することができることによって、画像のクラスタリング効果を向上することができる。
【0022】
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び側面は明瞭になる。
【図面の簡単な説明】
【0023】
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
【図1】本開示の実施例に係る画像処理方法のフローチャートを示す。
【図2】本開示の実施例に係る画像処理方法における密度チェーン決定手順の模式図を示す。
【図3】本開示の実施例に係る画像処理方法における密度チェーン情報の模式図を示す。
【図5】本開示の実施例に係る画像処理装置のブロック図を示す。
【図6】本開示の実施例に係る電子機器のブロック図を示す。
【図7】本開示の実施例に係る電子機器のブロック図を示す。
【0024】
以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および側面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な側面を示したが、特に断らない限り、比例に従って図面を描く必要がない。
【0025】
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。
【0026】
本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
【0027】
また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。
【0028】
図１は本開示の実施例に係る画像処理方法のフローチャートを示す。図１に示すように、前記方法は、
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定するステップＳ１１と、
いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ（ｉは、正の整数でかつ１＜ｉ≦Ｎ）番目の特徴が前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴が、前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴が前記Ｎ個の特徴のうちの１番目であるステップＳ１２と、
各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得るステップＳ１３と、
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得るステップＳ１４と、を含む。
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定するステップＳ１１と、
いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ（ｉは、正の整数でかつ１＜ｉ≦Ｎ）番目の特徴が前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴が、前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴が前記Ｎ個の特徴のうちの１番目であるステップＳ１２と、
各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得るステップＳ１３と、
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得るステップＳ１４と、を含む。
【0029】
可能な一実施形態では、前記画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレスフォン電話機、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、計算装置、車載装置、ウェアラブル装置等の端末装置、又はサーバ等の電子機器によって実行されてよく、前記方法はプロセッサによってメモリに記憶されたコンピュータ読み取り可能なコマンドを呼び出す形態で実現されてよい。又は、サーバによって前記方法を実行してもよい。
【0030】
可能な一実施形態では、処理対象となる複数の第１画像は、画像取得装置（例えば、カメラ）によって取得された画像、または取得された画像から切り出された局所画像などであってもよい。第１画像において認識待ちの目標（例えば、顔、人体、車両等）が含まれている。ここで、複数の第１画像における目標は、同一カテゴリの目標（例えば、同一人の顔）である可能性があるため、クラスタリングにより同一カテゴリの目標を集めて後続の処理を容易にすることができる。本開示では、第１画像の取得方法及び第１画像における目標の具体的な種類については限定しない。
【0031】
可能な一実施形態では、例えば、複数の第１画像の特徴情報を畳み込みニューラルネットワークにより抽出し、抽出された特徴情報を第１特徴とするようにしてもよいし、抽出された特徴情報に対して前処理を行い、処理後の特徴情報を第１特徴とするようにしてもよい。本開示では、第１特徴の取得方法及び特徴抽出ための畳み込みニューラルネットワークの種類については限定しない。
【0032】
可能な一実施形態では、ステップＳ１１において、処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の密度をそれぞれ決定することができる。第１特徴の密度は、当該第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す。つまり、空間における特徴の分布に基づいて、各第１特徴からの一定範囲内の周囲特徴の数を、各第１特徴の位置する位置の密度として決定することができる。当業者は、実際の状況に応じて第１距離閾値の具体的な値を設定することができるが、本開示ではこれが限定されない。
【0033】
可能な一実施形態では、ステップＳ１２において、複数の第１特徴のいずれか（目標特徴と呼んでもよい）に対して、当該目標特徴の密度に基づいて、当該目標特徴の周囲における密度が大きい１つの第１特徴（目標特徴の密度より大きい）、または目標特徴の密度より大きい第１特徴のうち密度が最大の第１特徴を探し、当該第１特徴を指すマークを作成することができる。各第１特徴に対して上記処理をそれぞれ行い、ツリー状構造を形成することができる。各第１特徴に対して、ツリー状構造に沿って密度が最大の１つの第１特徴が見つけられ、このようにして密度チェーンが取得され、密度チェーン情報と呼ばれる。
【0034】
可能な一実施形態では、目標特徴に対して、当該目標特徴に対応する密度チェーン情報を決定してもよい。当該密度チェーン情報がＮ個の特徴を含むとすれば、目標特徴はＮ個の特徴のうちの１番目である。目標特徴の第１隣接特徴は見つけられ、当該目標特徴との間の距離が第２距離閾値以下である第１特徴を含み、各第１隣接特徴の密度がいずれも目標特徴の密度以下であれば、Ｎ＝１となり、すなわち、当該目標特徴に対応する密度チェーン情報は目標特徴自体を含む。密度が目標特徴の密度より大きい第１隣接特徴があれば、当該第１隣接特徴を密度チェーン情報における次の特徴とする。本開示では、第２距離閾値の具体的な値については限定しない。
【0035】
可能な一実施形態では、Ｎ（Ｎは正の整数である）個の特徴のうちのｉ－１（ｉは正の整数でかつ１＜ｉ≦Ｎ）番目の特徴に対して、ｉ－１番目の特徴の第１隣接特徴が見つけられ、前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、密度が前記ｉ－１番目の特徴の密度より大きい１つの第１隣接特徴を、Ｎ個の特徴のｉ番目の特徴として決定してもよい。これから類推して全てのＮ個の特徴が得られ、すなわち、当該目標特徴に対応する密度チェーン情報が得られる。
【0036】
可能な一実施形態では、ステップＳ１３において、各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得る。例えば、密度チェーン情報を長短期記憶ネットワーク（Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ、ＬＳＴＭ）に入力して処理し、密度チェーン情報における各特徴間の依存関係を学習して、新たな特徴、すなわち、当該密度チェーン情報に対応する第１画像の第２特徴を得ることで、対応する第１特徴の調整を実現できる。
【0037】
可能な一実施形態では、ステップＳ１４において、前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得ることができる。当該処理結果は、クラスタリングされた１つまたは複数の画像群（または、画像特徴群）及び各画像群に対応する目標カテゴリを含み得る。例えば、第１画像が顔画像である場合、処理結果は同一人物の顔画像群及びこの人物のアイデンティティを含む。本開示では、クラスタリングの具体的な方法については限定しない。
【0038】
本開示の実施例によれば、複数の画像特徴の密度を決定し、特徴密度に基づいて特徴の密度チェーン情報を決定し、密度チェーン情報に基づいて特徴を調整し、調整後の特徴をクラスタリングして処理結果を得ることができ、特徴の空間密度分布に基づいて特徴を調整することで画像のクラスタリング効果が向上できる。
【0039】
可能な一実施形態では、前記方法は、ステップＳ１１の前にさらに、前記複数の第１画像のそれぞれに対して特徴抽出を行って、前記複数の第１画像の第３特徴を得ることを含む。
【0040】
例として説明すると、処理対象となる複数の第１画像に対して、各第１画像を例えば畳み込みニューラルネットワークにそれぞれ入力して特徴抽出を行って、各第１画像の特徴情報（呼んでもよい）を得、第３特徴と呼ぶことができる。抽出された第３特徴を第１特徴としてもよいし、抽出された第３特徴に対して前処理を行い、処理後の特徴を第１特徴とするようにしてもよい。本開示では、特徴抽出の具体的な方法については限定しない。
【0041】
このような形態によって、画像における目標の特徴情報を得て後続の処理を容易にすることができる。
【0042】
可能な一実施形態では、前記方法は、第３特徴が抽出された後、かつステップＳ１１の前にさらに、
前記複数の第１画像の第３特徴に基づいて、それぞれが１つの前記第３特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位Ｋ（Ｋは正の整数である）個のノードを含むことと、
前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第１画像の第１特徴を得ることと、を含む。
前記複数の第１画像の第３特徴に基づいて、それぞれが１つの前記第３特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位Ｋ（Ｋは正の整数である）個のノードを含むことと、
前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第１画像の第１特徴を得ることと、を含む。
【0043】
例として説明すると、抽出された画像特徴に対して、グラフ畳み込みによって前処理を行うことができる。複数の第１画像の第３特徴をマッピングして、特徴マップネットワークを構築できる。当該特徴マップネットワークは複数のノードを含み、各ノードのそれぞれが１つの第３特徴である。各ノードに対して、当該ノードに近い（すなわち、距離が小さい）順の上位Ｋ個の隣接ノードを探し、当該ノードとＫ個の隣接ノードとの間の結線（または、エッジと呼ぶ）を構築し、各結線に値を与える。結線の値は、当該ノードと当該ノードの隣接ノードとの間の距離（または、類似度）を示してもよい。各ノードに対して上記処理をそれぞれ行い、構築した複数のノード及び各ノード間の結線を含む特徴マップネットワークを得ることができる。当業者は関連技術における様々な方法により各ノードの隣接ノードを決定することができるが、本開示では、隣接ノードを決定する方法及び隣接ノードの数すなわちＫについては限定しない。
【0044】
可能な一実施形態では、特徴マップネットワークが構築された後、グラフ畳み込みにより特徴マップネットワークに対して計算し、各ノードに対して、隣接特徴情報を融合した総合的特徴である第１特徴と呼ばれる１つの特徴を再計算するようにしてもよい。このようにして、複数の第１画像の第１特徴が得られる。本開示では、グラフ畳み込みの具体的な計算方法については限定しない。
【0045】
このような方法によれば、各特徴の周囲の近接した隣接特徴の情報を融合して、局所的な特徴融合を実現することで、後続のクラスタリング処理の効果を向上する。
【0046】
可能な一実施形態では、複数の第１画像の第１特徴が得られた後、空間における特徴の分布に基づいて、ステップＳ１１において各第１特徴の密度、すなわち各第１特徴の一定範囲内の周囲特徴の個数を決定するようにしてもよい。ステップＳ１２において、複数の第１特徴のいずれか（目標特徴と呼ぶ）に対して、当該目標特徴の密度チェーン情報を得ることができる。当該密度チェーン情報はＮ個の特徴を含み、当該目標特徴はＮ個の特徴のうちの１番目である。
【0047】
可能な一実施形態では、前記Ｎ個の特徴のｉ番目の特徴は、前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうち密度が最大の特徴である。つまり、ｉ－１番目の特徴の第１隣接特徴は見つけられ、前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、第１隣接特徴のうち密度がｉ－１番目の特徴の密度より大きくかつ密度が最大のものを、Ｎ個の特徴のｉ番目の特徴として決定するようにしてもよい。
【0048】
図２は本開示の実施例に係る画像処理方法における密度チェーン決定手順の模式図を示す。図２に示すように、各丸印は第１特徴を示し、丸印の色が濃いほど特徴の密度が大きくなり、浅いほど特徴の密度が小さくなる。いずれかの第１特徴、すなわち目標特徴ｖｋについて、その密度チェーン情報は、Ｃ（ｖｋ）で示され、目標特徴ｖｋを起点として密度が昇順で並べられる一組の第１特徴を含む。ｋは特徴の番号を示し、正の整数である。
【0049】
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は前記Ｎ個の特徴の第２隣接特徴をさらに含み、前記Ｎ個の特徴のｉ－１番目の特徴の第２隣接特徴は、前記ｉ－１番目の特徴との間の距離が第３距離閾値以下である少なくとも１つの第１特徴を含む。つまり、密度チェーンにおける各特徴はいずれもその最も近いいくつかの隣接特徴（第２隣接特徴と呼ぶ）に関連付けられ、密度チェーンにおけるＮ個の特徴及びＮ個の特徴の第２隣接特徴は共に密度チェーン情報とされる。本開示では、第３距離閾値の具体的な値については限定しない。
【0050】
図３は本開示の実施例に係る画像処理方法における密度チェーン情報の模式図を示す。図３に示すように、目標特徴ｖｋに対して、密度チェーン情報はＣ（ｖｋ）で示され、密度チェーン情報Ｃ（ｖｋ）はＮ個の特徴
及びＮ個の特徴の第２隣接特徴
を含む。
【数1】
及びＮ個の特徴の第２隣接特徴
【数2】
を含む。
【0051】
可能な一実施形態では、ステップＳ１３において、各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得る。ステップＳ１３は、
前記目標特徴に対して、前記Ｎ個の特徴と前記Ｎ個の特徴の第２隣接特徴をそれぞれ融合させて前記目標特徴のＮ個の融合特徴を得ることと、
前記目標特徴のＮ個の融合特徴に基づいて、前記Ｎ個の融合特徴間の関連特徴を決定することと、
前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定することと、を含んでもよい。
前記目標特徴に対して、前記Ｎ個の特徴と前記Ｎ個の特徴の第２隣接特徴をそれぞれ融合させて前記目標特徴のＮ個の融合特徴を得ることと、
前記目標特徴のＮ個の融合特徴に基づいて、前記Ｎ個の融合特徴間の関連特徴を決定することと、
前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定することと、を含んでもよい。
【0052】
例として説明すると、目標特徴の密度チェーン情報におけるｉ番目の特徴に対して、当該ｉ番目の特徴と当該ｉ番目の特徴の第２隣接特徴を融合し、すなわちｉ番目の特徴と当該ｉ番目の特徴の第２隣接特徴を直接重畳（ｃｏｎｃａｔ）したり、予め設定された重み値に基づいてｉ番目の特徴と当該ｉ番目の特徴の第２隣接特徴を重み付け重畳（ｃｏｎｃａｔ）したりすることによってｉ番目の融合特徴を得るようにしてもよい。Ｎ個の特徴のそれぞれに対してこのような処理を行い、Ｎ個の融合特徴を得ることが可能となる。
【0053】
可能な一実施形態では、目標特徴のＮ個の融合特徴を、予めトレーニングされたＬＳＴＭネットワークに入力して処理し、Ｎ個の融合特徴間の依存関係を学習し、Ｎ個の融合特徴間の関連特徴（クエリ特徴Ｑｕｅｒｙと呼んでもよい）を出力してもよい。当業者は、実際の状況に応じてＬＳＴＭネットワークを設定することができるが、本開示では、ＬＳＴＭネットワークのネットワーク構造については限定しない。
【0054】
可能な一実施形態では、目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定するステップは、
前記関連特徴と前記Ｎ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴を得ることと、
前記Ｎ個のスティッチング特徴を正規化して前記Ｎ個の融合特徴のＮ個の重み値を得ることと、
前記Ｎ個の重み値に基づいて、前記Ｎ個の融合特徴を融合させて前記目標特徴に対応する第１画像の第２特徴を得ることと、を含んでもよい。
前記関連特徴と前記Ｎ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴を得ることと、
前記Ｎ個のスティッチング特徴を正規化して前記Ｎ個の融合特徴のＮ個の重み値を得ることと、
前記Ｎ個の重み値に基づいて、前記Ｎ個の融合特徴を融合させて前記目標特徴に対応する第１画像の第２特徴を得ることと、を含んでもよい。
【0055】
つまり、関連特徴とＮ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴（キー特徴Ｋｅｙと呼んでもよい）を得、例えばＳｏｆｔｍａｘ関数によりＮ個のスティッチング特徴に対してそれぞれ正規化処理を行い、各融合特徴の重み値、合計でＮ個の重み値を得、さらに、各融合特徴の重み値に基づいて、Ｎ個の融合特徴に対して重み付け平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）を行い、新たな特徴、すなわち当該目標特徴に対応する第１画像の第２特徴を得ることによって、目標特徴に対する調整手順を実現するようにしてもよい。このように、各第１特徴に対して上記処理を行い、前記複数の第１画像の第２特徴を得ることが可能となる。
【0056】
このような形態によれば、特徴の空間密度分布に基づいて特徴を調整することによって、画像のクラスタリング効果を向上することができる。
【0057】
図４ａ、図４ｂ、図４ｃ及び図４ｄは本開示の実施例に係る画像処理手順の模式図を示す。例としては、複数の第１画像に対して特徴抽出を行って複数の第３特徴を得ることができる。ここで、円形と三角形はそれぞれ異なるカテゴリの目標の特徴を示すことができる。図４ａは初期の特徴分布状況を示している。図４ａに示すように、第３特徴の分布はやや分散しているため、直接クラスタリングすると効果が悪くなってしまう。
【0058】
例としては、複数の第３特徴をマッピングして、複数のノード及び隣接ノード間の結線を含む特徴マップネットワークを得、マップの構築が完了した後にグラフ畳み込みにより計算を行い、局所的な特徴融合を実現し、複数の第１特徴を得ることができる。図４ｂはグラフ畳み込み処理後の特徴分布状況を示している。図４ｂに示すように、グラフ畳み込み処理後、隣接する第１特徴間の距離が小さくなることによって、クラスタリングの効果を向上することができる。
【0059】
例としては、各第１特徴の密度に基づいて、図４ｃに示すように、密度の昇順で指向マークを確立し、ツリー状構造を形成することができる。これにより、各第１特徴の密度チェーン情報を決定することができる。
【0060】
例としては、各第１特徴の密度チェーン情報をＬＳＴＭネットワークにそれぞれ入力し、各第１特徴を調整して、調整後の複数の第２特徴を得ることができる。図４ｄは最終的な特徴分布状況を示している。図４ｄに示すように、調整後、同一カテゴリの第２特徴間の距離が明らかに小さくなり、クラスタリングがより容易となり、クラスタリングの効果を顕著に向上することができることがわかる。
【0061】
可能な一実施形態では、特徴調整（特徴再学習と呼んでもよい）が完了した後、ステップＳ１４において、前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得るようにしてもよい。ここで、ステップＳ１４は、
前記複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定することと、
前記少なくとも１つの画像群に対応する、前記第１画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、
前記処理結果が前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含んでもよい。
前記複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定することと、
前記少なくとも１つの画像群に対応する、前記第１画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定することと、を含み、
前記処理結果が前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含んでもよい。
【0062】
例として説明すると、同一カテゴリの目標を含む第１画像をクラスタリングにより集めることができる。複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定できる。当業者は、関連技術における任意のクラスタリング方法を用いてこのクラスタリング手順を実現することができるが、本開示ではこれが限定されない。
【0063】
可能な一実施形態では、前記少なくとも１つの画像群に対応する目標カテゴリーをそれぞれ決定してもよい。第１画像における目標が顔または人体である場合、目標カテゴリは第１画像における人のアイデンティティ（例えば、顧客Ａ）を示し、顔認識によって各画像群における人のアイデンティティ情報を決定することができる。このように、クラスタリング及び認識が行われた後、前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含む処理結果が最終的に得られる。このような形態によれば、閲覧または後続の解析処理を容易にするように異なる人の画像を区別することができる。
【0064】
本開示の実施例の方法によれば、密度を基にした考え方を採用し、特徴の空間密度分布に基づいて特徴を再学習し、グラフ畳み込みとＬＳＴＭネットワークによって特徴の個性化の学習及び調整を行うことによって、速度及び効果のいずれも従来の学習アルゴリズムより優れており、従来の方法による細粒度が悪く、アルゴリズム全体の効果が良くないという問題を解決している。
【0065】
本開示の実施例の方法によれば、関連技術におけるクラスタリング方法と重畳することができ、優れたスケーラビリティを持つ。すなわち、関連技術におけるクラスタリング方法のフローは特徴取得→クラスタリングというステップを含む場合、重畳後のフローは、特徴取得→特徴再学習→新たな特徴→クラスタリングというステップを含むようになる。重畳後、関連技術におけるクラスタリング方法による効果を向上することができる。
【0066】
本開示の実施例の方法によれば、応用場面は顔のクラスタリング、一般的なデータのクラスタリング等を含むが、これらに限定されず、インテリジェント映像解析、セキュリティモニタリング等の分野に適用することができ、画像の解析処理効果を効果的に向上することができる。
【0067】
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。また、当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
【0068】
また、本開示では、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムがさらに提供される。これらはいずれも本開示に係る画像処理方法のいずれか１つを実現するために利用できる。対応する技術的手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
【0069】
図５は本開示の実施例に係る画像処理装置のブロック図を示す。図５に示すように、前記装置は、
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定する密度決定モジュール５１と、
いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ番目の特徴は前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴は前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴は前記Ｎ個の特徴のうちの１番目である密度チェーン決定モジュール５２と、
各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得る特徴調整モジュール５３と、
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得る結果決定モジュール５４と、を含む。
処理対象となる複数の第１画像の第１特徴に基づいて、各前記第１特徴の、前記第１特徴との間の距離が第１距離閾値以下である第１特徴の数を示す密度をそれぞれ決定する密度決定モジュール５１と、
いずれかの第１特徴である目標特徴の密度に基づいて、前記目標特徴に対応する、Ｎ（Ｎは、正の整数である）個の特徴を含む密度チェーン情報を決定し、ここで、前記Ｎ個の特徴のｉ番目の特徴は前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうちの１つであり、かつ前記ｉ番目の特徴の密度が前記ｉ－１番目の特徴の密度より大きく、前記第１隣接特徴は前記ｉ－１番目の特徴との間の距離が第２距離閾値以下である少なくとも１つの第１特徴を含み、前記目標特徴は前記Ｎ個の特徴のうちの１番目である密度チェーン決定モジュール５２と、
各前記第１特徴に対応する密度チェーン情報に基づいて、各前記第１特徴をそれぞれ調整して前記複数の第１画像の第２特徴を得る特徴調整モジュール５３と、
前記複数の第１画像の第２特徴をクラスタリングして前記複数の第１画像の処理結果を得る結果決定モジュール５４と、を含む。
【0070】
可能な一実施形態では、前記目標特徴に対応する密度チェーン情報は、前記Ｎ個の特徴の第２隣接特徴をさらに含み、前記Ｎ個の特徴のｉ－１番目の特徴の第２隣接特徴は、前記ｉ－１番目の特徴との間の距離が第３距離閾値以下である少なくとも１つの第１特徴を含み、前記特徴調整モジュールは、前記目標特徴に対して、前記Ｎ個の特徴と前記Ｎ個の特徴の第２隣接特徴をそれぞれ融合させて前記目標特徴のＮ個の融合特徴を得るための融合サブモジュールと、前記目標特徴のＮ個の融合特徴に基づいて、前記Ｎ個の融合特徴間の関連特徴を決定するための特徴サブモジュールと、前記目標特徴のＮ個の融合特徴及び前記関連特徴に基づいて、前記目標特徴に対応する第１画像の第２特徴を決定するための特徴決定サブモジュールと、を含む。
【0071】
可能な一実施形態では、前記特徴決定サブモジュールは、前記関連特徴と前記Ｎ個の融合特徴とをそれぞれスティッチングしてＮ個のスティッチング特徴を得ることと、前記Ｎ個のスティッチング特徴を正規化して前記Ｎ個の融合特徴のＮ個の重み値を得ることと、前記Ｎ個の重み値に基づいて、前記Ｎ個の融合特徴を融合させて前記目標特徴に対応する第１画像の第２特徴を得ることに用いられる。
【0072】
可能な一実施形態では、前記装置は、前記密度決定モジュールの前にさらに、前記複数の第１画像の第３特徴に基づいて、それぞれが１つの前記第３特徴を含む複数のノードと、前記ノード間の結線とを含む特徴マップネットワークを構築し、ここで、前記結線の値は前記ノードと前記ノードの隣接ノードとの間の距離を示し、前記ノードの隣接ノードは前記ノードとの間の距離が小さい順の上位Ｋ（Ｋは正の整数である）個のノードを含む特徴マップネットワーク構築モジュールと、前記特徴マップネットワークに対してグラフ畳み込み処理を行って、前記複数の第１画像の第１特徴を得るためのグラフ畳み込みモジュールと、を含む。
【0073】
可能な一実施形態では、前記Ｎ個の特徴のｉ番目の特徴は、前記Ｎ個の特徴のｉ－１番目の特徴の第１隣接特徴のうち、密度が最大の特徴である。
【0074】
可能な一実施形態では、前記装置は、前記特徴マップネットワーク構築モジュールの前にさらに、前記複数の第１画像のそれぞれに対して特徴抽出を行って、前記複数の第１画像の第３特徴を得るための特徴抽出モジュールを含む。
【0075】
可能な一実施形態では、前記結果決定モジュールは、前記複数の第１画像の第２特徴をクラスタリングして、それぞれが少なくとも１つの第１画像を含む少なくとも１つの画像群を決定するためのクラスタリングサブモジュールと、前記少なくとも１つの画像群に対応する、前記第１画像における目標のアイデンティティを示す目標カテゴリーをそれぞれ決定するためのカテゴリ決定サブモジュールと、を含み、前記処理結果が前記少なくとも１つの画像群及び前記少なくとも１つの画像群に対応する目標カテゴリーを含む。
【0076】
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上述した方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここで詳細な説明を省略する。
【0077】
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。当該コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体または揮発性のコンピュータ可読記憶媒体であってもよい。
【0078】
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリに記憶されている命令を呼び出すことにより、上記方法を実行するように構成される電子機器がさらに提供される。
【0079】
本開示の実施例では、コンピュータ読み取り可能なコードを含むコンピュータプログラム製品であって、当該コンピュータ読み取り可能なコードは機器において動作すると、機器のプロセッサに上述したいずれかの実施例に係る画像処理方法を実現するための命令を実行させるコンピュータプログラム製品がさらに提供される。
【0080】
本開示の実施例では、コンピュータ読み取り可能な命令が記憶されているコンピュータプログラム製品であって、命令が実行されると、コンピュータに上述したいずれかの実施例に係る画像処理方法の動作を実行させる別のコンピュータプログラム製品がさらに提供される。
【0081】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0082】
図６は本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
【0083】
図６を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
【0084】
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
【0085】
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
【0086】
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
【0087】
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
【0088】
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
【0089】
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
【0090】
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
【0091】
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
【0092】
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
【0093】
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。
【0094】
図７は本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図７を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
【0095】
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されいるオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。
【0096】
例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されと、上記方法を実行させることができる。
【0097】
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。
【0098】
コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
【0099】
ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。
【0100】
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することににより、本開示の各方面を実現するようにしてもよい。
【0101】
ここで、本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
【0102】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現ように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
【0103】
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
【0104】
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
【0105】
当該コンピュータプログラム製品は、ハードウェア、ソフトウェア、又はそれらの組み合わせによって具体的に実現できる。選択可能的な一実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。選択可能的な別の実施例では、コンピュータプログラム製品はソフトウェア製品、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、略称ＳＤＫ）等として具現化される。
論理に違反しない限り、本開示のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。
論理に違反しない限り、本開示のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。
【0106】
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
