特表 2022-523243 画像処理方法及び装置、電子機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-04-21

(54)【発明の名称】画像処理方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220414BHJP

   G06F 16/55 20190101ALI20220414BHJP

【ＦＩ】

G06T7/00 660

G06F16/55

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021552939

(86)(22)【出願日】2020-06-01

(85)【翻訳文提出日】2021-09-06

(86)【国際出願番号】 CN2020093779

(87)【国際公開番号】W WO2021036382

(87)【国際公開日】2021-03-04

(31)【優先権主張番号】201910818028.9

(32)【優先日】2019-08-30

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェン センスタイム テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100186716

【弁理士】

【氏名又は名称】真能 清志

(72)【発明者】

【氏名】チュー チェンカイ

(72)【発明者】

【氏名】チャン シュエセン

(72)【発明者】

【氏名】ウー ウェイ

(72)【発明者】

【氏名】ファン リーウェイ

(72)【発明者】

【氏名】リャン ドォン

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175FA01

5B175FA03

5B175HA01

5L096AA02

5L096CA02

5L096DA02

5L096FA62

5L096FA64

5L096FA69

5L096HA11

5L096MA07

(57)【要約】

本開示は、画像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、被処理画像の画像特徴を得ることであって、画像特徴は顔特徴及び／又は人体特徴を含み、前記被処理画像は第１の画像及び第２の画像を含むことと、顔特徴が抽出された前記第１の画像に対して、抽出された顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることと、顔特徴が抽出されなかった第２の画像に対して、顔クラスタリング結果、第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることと、顔クラスタリング結果及び人体クラスタリング結果に基づいて、被処理画像に対するクラスタリング結果を得ることと、を含む。本開示の実施例によれば、クラスタリング結果の正解率を確保しつつ、クラスタリング結果の再現率を向上させることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、前記被処理画像の画像特徴を得ることであって、前記画像特徴は顔特徴及び／又は人体特徴を含み、前記被処理画像は第１の画像及び第２の画像を含むことと、
顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることと、
顔特徴が抽出されなかった前記第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることと、
前記顔クラスタリング結果及び前記人体クラスタリング結果に基づいて、前記被処理画像に対するクラスタリング結果を得ることと、を含むことを特徴とする画像処理方法。

【請求項2】

前記顔クラスタリング結果は第１の結果を含み、前記顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることは、
画像データベースにおける少なくとも１つの既存クラスタの顔クラスタ中心を取得することと、
前記少なくとも１つの既存クラスタの顔クラスタ中心及び前記第１の画像から抽出された前記顔特徴に基づいて顔クラスタリングを行って、前記第１の画像を前記既存クラスタにクラスタリングし、前記第１の画像の前記第１の結果を得ることと、を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記顔クラスタリング結果は、第２の結果をさらに含み、前記顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることは、
前記既存クラスタにクラスタリングされなかった前記第１の画像に対して顔クラスタリング操作を行って、前記第１の画像の前記第２の結果を得ることをさらに含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記人体クラスタリング結果は第３の結果を含み、前記顔特徴が抽出されなかった第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることは、
前記第２の画像のいずれか一つに対して、人体特徴が抽出された前記第１の画像の前記人体特徴及び前記第２の画像の前記人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリングサブ結果を得ることと、
前記人体クラスタリングサブ結果に基づいて、前記第２の画像と同じ人体クラスタに属する前記第１の画像を決定することと、
前記顔クラスタリング結果に基づいて、前記第２の画像を、前記第２の画像と同じ人体クラスタに属する前記第１の画像の属するクラスタに追加して、前記第３の結果を得ることと、を含むことを特徴とする請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記人体クラスタリング結果は、第４の結果をさらに含み、前記顔特徴が抽出されなかった第２の画像のいずれか一つに対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された前記第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることは、
画像データベースにおける少なくとも１つの既存クラスタの人体クラスタ中心を取得することと、
顔クラスタにクラスタリングされなかった前記第２の画像に対して、前記第２の画像の前記人体特徴及び前記少なくとも１つの既存クラスタの前記人体クラスタ中心に基づいて人体クラスタリング操作を行って、前記第２の画像を前記既存クラスタにクラスタリングし、前記第４の結果を得ることと、を含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記クラスタリング結果に基づいて、前記被処理画像を画像データベースに追加することと、
前記被処理画像に基づいて前記画像データベースにおける少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心を更新することと、をさらに含むことを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項7】

被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、前記被処理画像の画像特徴を得るための抽出モジュールであって、前記画像特徴は顔特徴及び／又は人体特徴を含み、前記被処理画像は第１の画像及び第２の画像を含む抽出モジュールと、
顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得るための第１のクラスタリングモジュールと、
顔特徴が抽出されなかった前記第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得るための第２のクラスタリングモジュールと、
前記顔クラスタリング結果及び前記人体クラスタリング結果に基づいて、前記被処理画像に対するクラスタリング結果を得るための第３のクラスタリングモジュールと、を含むことを特徴とする画像処理装置。

【請求項8】

前記顔クラスタリング結果は第１の結果を含み、前記第１のクラスタリングモジュールはさらに、
画像データベースにおける少なくとも１つの既存クラスタの顔クラスタ中心を取得することと、
前記少なくとも１つの既存クラスタの顔クラスタ中心及び前記第１の画像から抽出された前記顔特徴に基づいて顔クラスタリングを行って、前記第１の画像を前記既存クラスタにクラスタリングし、前記第１の画像の前記第１の結果を得ることとに用いられることを特徴とする請求項７に記載の装置。

【請求項9】

前記顔クラスタリング結果は、第２の結果をさらに含み、前記第１のクラスタリングモジュールはさらに、
前記既存クラスタにクラスタリングされなかった前記第１の画像に対して顔クラスタリング操作を行って、前記第１の画像の前記第２の結果を得ることに用いられることを特徴とする請求項８に記載の装置。

【請求項10】

前記人体クラスタリング結果は第３の結果を含み、前記第２のクラスタリングモジュールはさらに、
前記第２の画像のいずれか一つに対して、人体特徴が抽出された前記第１の画像の前記人体特徴、及び前記第２の画像の前記人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリングサブ結果を得ることと、
前記人体クラスタリングサブ結果に基づいて、前記第２の画像と同じ人体クラスタに属する前記第１の画像を決定することと、
前記顔クラスタリング結果に基づいて、前記第２の画像を、前記第２の画像と同じ人体クラスタに属する前記第１の画像の属するクラスタに追加して、前記第３の結果を得ることとに用いられることを特徴とする請求項７～９のいずれか１項に記載の装置。

【請求項11】

前記人体クラスタリング結果は、第４の結果をさらに含み、前記第２のクラスタリングモジュールはさらに、
画像データベースにおける少なくとも１つの既存クラスタの人体クラスタ中心を取得することと、
顔クラスタにクラスタリングされなかった前記第２の画像に対して、前記第２の画像の前記人体特徴及び前記少なくとも１つの既存クラスタの前記人体クラスタ中心に基づいて人体クラスタリング操作を行って、前記第２の画像を前記既存クラスタにクラスタリングし、前記第４の結果を得ることとに用いられることを特徴とする請求項１０に記載の装置。

【請求項12】

前記クラスタリング結果に基づいて、前記被処理画像を画像データベースに追加するための追加モジュールと、
前記被処理画像に基づいて前記画像データベースにおける少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心を更新するための更新モジュールと、をさらに含むことを特徴とする請求項７～１１のいずれか１項に記載の装置。

【請求項13】

プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、請求項１～６のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。

【請求項14】

コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、請求項１～６のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項15】

コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で実行されると、前記電子機器のプロセッサに、請求項１～６のいずれか１項に記載の方法を実現させるための命令を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

「関連出願の相互参照」
本願は、２０１９年８月３０日に中国国家知識産権局に提出された、出願番号２０１９１０８１８０２８．９、発明の名称「画像処理方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その内容の全てが援用によって本願に組み込まれる。

【0002】

本開示は、人工知能の技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

関連技術の発展に伴い、顔検索は幅広く応用されており、特に公安業界で事件を解決する際には、身元不明の容疑者の画像に基づいて大規模な肖像画データベースで検索する必要がある。そのため、１人１ファイルのデータベースを構築する必要がある。当該データベースにおいて同じ人物の画像は同じクラスタに属する。

【0004】

関連技術では、上記データベースを構築するために、顔クラスタリングの方法によって画像をクラスタリングすることができる。

【発明の概要】

【0005】

本開示は、画像処理の技術的解決手段を提供する。

【0006】

本開示の一方面によれば、
被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、前記被処理画像の画像特徴を得ることであって、前記画像特徴は顔特徴及び／又は人体特徴を含み、前記被処理画像は第１の画像及び第２の画像を含むことと、
顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることと、
顔特徴が抽出されなかった前記第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることと、
前記顔クラスタリング結果及び前記人体クラスタリング結果に基づいて、前記被処理画像に対するクラスタリング結果を得ることと、を含む画像処理方法を提供する。

【0007】

可能な一実現形態では、前記顔クラスタリング結果は第１の結果を含み、前記顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることは、
画像データベースにおける少なくとも１つの既存クラスタの顔クラスタ中心を取得することと、
前記少なくとも１つの既存クラスタの顔クラスタ中心及び前記第１の画像から抽出された前記顔特徴に基づいて顔クラスタリングを行って、前記第１の画像を前記既存クラスタにクラスタリングし、前記第１の画像の前記第１の結果を得ることと、を含む。

【0008】

可能な一実現形態では、前記顔クラスタリング結果は、第２の結果をさらに含み、前記顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることは、
前記既存クラスタにクラスタリングされなかった前記第１の画像に対して顔クラスタリング操作を行って、前記第１の画像の前記第２の結果を得ることをさらに含む。

【0009】

可能な一実現形態では、前記人体クラスタリング結果は第３の結果を含み、前記顔特徴が抽出されなかった第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることは、
前記第２の画像のいずれか一つに対して、人体特徴が抽出された前記第１の画像の前記人体特徴及び前記第２の画像の前記人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリングサブ結果を得ることと、
前記人体クラスタリングサブ結果に基づいて、前記第２の画像と同じ人体クラスタに属する前記第１の画像を決定することと、
前記顔クラスタリング結果に基づいて、前記第２の画像を、前記第２の画像と同じ人体クラスタに属する前記第１の画像の属するクラスタに追加して、前記第３の結果を得ることと、を含む。

【0010】

可能な一実現形態では、前記人体クラスタリング結果は、第４の結果をさらに含み、前記顔特徴が抽出されなかった第２の画像のいずれか一つに対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された前記第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることは、
画像データベースにおける少なくとも１つの既存クラスタの人体クラスタ中心を取得することと、
顔クラスタにクラスタリングされなかった前記第２の画像に対して、前記第２の画像の前記人体特徴及び前記少なくとも１つの既存クラスタの前記人体クラスタ中心に基づいて人体クラスタリング操作を行って、前記第２の画像を前記既存クラスタにクラスタリングし、前記第４の結果を得ることと、を含む。

【0011】

可能な一実現形態では、前記方法は、
前記クラスタリング結果に基づいて、前記被処理画像を画像データベースに追加することと、
前記被処理画像に基づいて前記画像データベースにおける少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心を更新することと、をさらに含む。

【0012】

本開示の一方面によれば、
被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、前記被処理画像の画像特徴を得るための抽出モジュールであって、前記画像特徴は顔特徴及び／又は人体特徴を含み、前記被処理画像は第１の画像及び第２の画像を含む抽出モジュールと、
顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得るための第１のクラスタリングモジュールと、
顔特徴が抽出されなかった前記第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得るための第２のクラスタリングモジュールと、
前記顔クラスタリング結果及び前記人体クラスタリング結果に基づいて、前記被処理画像に対するクラスタリング結果を得るための第３のクラスタリングモジュールと、を含む画像処理装置を提供する。

【0013】

可能な一実現形態では、前記顔クラスタリング結果は第１の結果を含み、前記第１のクラスタリングモジュールはさらに、
画像データベースにおける少なくとも１つの既存クラスタの顔クラスタ中心を取得することと、
前記少なくとも１つの既存クラスタの顔クラスタ中心及び前記第１の画像から抽出された前記顔特徴に基づいて顔クラスタリングを行って、前記第１の画像を前記既存クラスタにクラスタリングし、前記第１の画像の前記第１の結果を得ることとに用いられる。

【0014】

可能な一実現形態では、前記顔クラスタリング結果は、第２の結果をさらに含み、前記第１のクラスタリングモジュールはさらに、
前記既存クラスタにクラスタリングされなかった前記第１の画像に対して顔クラスタリング操作を行って、前記第１の画像の前記第２の結果を得ることに用いられる。

【0015】

可能な一実現形態では、前記人体クラスタリング結果は第３の結果を含み、前記第２のクラスタリングモジュールはさらに、
前記第２の画像のいずれか一つに対して、人体特徴が抽出された前記第１の画像の前記人体特徴及び前記第２の画像の前記人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリングサブ結果を得ることと、
前記人体クラスタリングサブ結果に基づいて、前記第２の画像と同じ人体クラスタに属する前記第１の画像を決定することと、
前記顔クラスタリング結果に基づいて、前記第２の画像を、前記第２の画像と同じ人体クラスタに属する前記第１の画像の属するクラスタに追加して、前記第３の結果を得ることとに用いられる。

【0016】

可能な一実現形態では、前記人体クラスタリング結果は、第４の結果をさらに含み、前記第２のクラスタリングモジュールはさらに、
画像データベースにおける少なくとも１つの既存クラスタの人体クラスタ中心を取得することと、
顔クラスタにクラスタリングされなかった前記第２の画像に対して、前記第２の画像の前記人体特徴及び前記少なくとも１つの既存クラスタの前記人体クラスタ中心に基づいて人体クラスタリング操作を行って、前記第２の画像を前記既存クラスタにクラスタリングし、前記第４の結果を得ることとに用いられる。

【0017】

可能な一実現形態では、前記装置は、
前記クラスタリング結果に基づいて、前記被処理画像を画像データベースに追加するための追加モジュールと、
前記被処理画像に基づいて前記画像データベースにおける少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心を更新するための更新モジュールと、をさらに含む。

【0018】

本開示の一方面によれば、
プロセッサと、
プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、上記画像処理方法を実行するように構成される電子機器を提供する。

【0019】

本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記画像処理方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。

【0020】

本開示の一方面によれば、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で実行されると、前記電子機器のプロセッサに、上記画像処理方法を実現させるための命令を実行させるコンピュータプログラムを提供する。

【0021】

このように、本開示の実施例による画像処理方法及び装置によれば、顔クラスタリングの方法によって顔特徴を抽出できる第１の画像に対して顔クラスタリングを行って、第１の画像の属するクラスタを決定し、顔クラスタリング結果を得ることができる。人体クラスタリングの方法によって顔特徴が抽出されなかった第２の画像と第１の画像に対して人体クラスタリングを行って、第１の画像の顔クラスタリング結果に基づいて第２の画像の属するクラスタを決定することにより、被処理画像に対するクラスタリング結果が得られる。本開示の実施例では、顔クラスタリングと人体クラスタリングとを組み合わせる形態を採用しているため、クラスタリング結果の正解率を確保しつつ、クラスタリング結果の再現率が向上される。

【0022】

以上の一般説明及び以下の詳細説明は、本開示を限定するのではなく、単なる例示的及び解釈的なものであることを理解されたい。

【0023】

以下、図面を参照しながら例示的な実施例について詳細に説明することによって、本開示の他の特徴及び方面は明瞭になる。

【図面の簡単な説明】

【0024】

明細書の一部として組み込まれた図面は、本開示に合致する実施例を示し、さらに明細書と共に本開示の技術的手段を説明するために用いられる。

【図1】本開示の実施例に係る画像処理方法のフローチャートを示す。

【図2】本開示の実施例に係る画像処理方法の模式図を示す。

【図3】本開示の実施例による画像処理装置の構造模式図を示す。

【図4】一例示的実施例に係る電子機器８００のブロック図である。

【図5】一例示的実施例に係る電子機器１９００のブロック図である。

【発明を実施するための形態】

【0025】

以下、図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

【0026】

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましいまたは優れるものであると理解すべきではない。

【0027】

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣから構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。

【0028】

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素及び回路について、詳細な説明を行わない。

【0029】

図１は、本開示の実施例に係る画像処理方法のフローチャートを示す。この画像処理方法は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、移動機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算機器、車載機器、ウエアラブル機器などの端末機器又は他の処理機器により実行されてもよい。他の処理装置は、サーバやクラウドサーバなどであってもよい。いくつかの可能な実施形態では、この画像処理方法は、プロセッサがメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことで実現されてもよい。

【0030】

図１に示すように、前記方法は、以下のステップを含む。

【0031】

ステップＳ１１：第１の画像及び第２の画像を含む被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、前記被処理画像の顔特徴及び／又は人体特徴を含む画像特徴を得る。

【0032】

例えば、前記被処理画像は、画像収集装置（例えば、カメラ）によって収集された画像であってもよいし、直接入力された保存済みの画像又は映像フレームであってもよい。

【0033】

例えば、畳み込みニューラルネットワークなどのニューラルネットワークを用いて被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、被処理画像の画像特徴（顔特徴及び／又は人体特徴）を得ることができる。例えば、複数枚の被処理画像に対して顔特徴抽出及び人体特徴抽出を行った後、一部の被処理画像から顔特徴を収集した場合、当該一部の被処理画像を第１の画像として決定することができる。当該第１の画像はさらに、顔特徴のみが収集されたものの人体特徴が収集されなかった画像、及び、顔特徴も人体特徴も収集された画像に分けることができる。顔特徴が収集されなかったものの人体特徴が収集された別の部分の被処理画像を第２の画像として決定することができる。本開示では、ニューラルネットワークの種類が限定されず、顔特徴及び人体特徴を抽出する形態が限定されない。

【0034】

可能な一実現形態では、顔特徴は、顔のキーポイントによって決定される例えば五官の位置や形状などの特徴情報であってもよく、皮膚の色などの情報をさらに含んでもよい。人体特徴は、人体のキーポイントによって決定される例えば身長、体型、足の長さや腕の長さなどの特徴情報であってもよく、服のデザインや色などの情報をさらに含んでもよい。

【0035】

ステップＳ１２：前記顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得る。

【0036】

例えば、顔特徴が抽出された被処理画像を第１の画像として決定し、顔特徴が抽出されなかったものの人体特徴が抽出された被処理画像を第２の画像として決定することができる。当該第１の画像から抽出された顔特徴に基づいて顔クラスタリング操作を行って、例えば、複数枚の第１の画像に対して顔クラスタリングを行って、顔クラスタリング結果を得るか、又は、現在のクラスタリング操作の前に、予め履歴画像に基づいてクラスタリングを行ったことがあり、画像データベースにおいて既存クラスタに基づいて画像を記憶している場合、第１の画像を既存クラスタにクラスタリングし、既存クラスタにクラスタリングできない第１の画像を再クラスタリングし、顔クラスタリング結果を得ることができる。

【0037】

例示的には、上記顔クラスタリング操作は、Ｋ－ＭＥＡＮＳアルゴリズム、Ｋ－ＭＥＤＯＩＤＳアルゴリズム、ＣＬＡＲＡＮＳアルゴリズムなどのいずれか一つのクラスタリング方法を用いることができる。本開示では、顔クラスタリング操作に用いるクラスタリング方法については具体的に限定されない。

【0038】

ステップＳ１３：顔特徴が抽出されなかった前記第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得る。

【0039】

ステップＳ１４：前記顔クラスタリング結果及び前記人体クラスタリング結果に基づいて、前記被処理画像に対するクラスタリング結果を得る。

【0040】

顔特徴も人体特徴も抽出された第１の画像及び顔画像が抽出されなかった第２の画像に対して、抽出された人体特徴に基づいて両者同士の人体クラスタリング操作を行って、第２の画像と同じクラスタに属する第１の画像を決定し、人体クラスタリング結果を得ることができる。

【0041】

さらに、顔クラスタリング結果と人体クラスタリング結果とを融合して、被処理画像に対するクラスタリング結果を得ることができる。

【0042】

例示的には、上記人体クラスタリング操作は、Ｋ－ＭＥＡＮＳアルゴリズム、Ｋ－ＭＥＤＯＩＤＳアルゴリズム、ＣＬＡＲＡＮＳアルゴリズムなどのいずれか一つのクラスタリング方法を用いることができる。本開示では、人体クラスタリング操作に用いるクラスタリング方法について具体的に限定されない。

【0043】

このように、本開示の実施例による画像処理方法によれば、顔クラスタリングの方法によって顔特徴を抽出できる第１の画像に対して顔クラスタリングを行って、第１の画像の属するクラスタを決定し、顔クラスタリング結果を得ることができる。人体クラスタリングの方法によって顔特徴が抽出されなかった第２の画像と第１の画像に対して人体クラスタリングを行って、第１の画像の顔クラスタリング結果に基づいて第２の画像の属するクラスタを決定することにより、被処理画像に対するクラスタリング結果を得ることができる。本開示の実施例では、顔クラスタリングと人体クラスタリングとを組み合わせる形態を採用しているため、クラスタリング結果の正解率を確保しつつ、クラスタリング結果の再現率が向上される。

【0044】

可能な一実現形態では、上記顔クラスタリング結果は第１の結果を含んでよく、上記顔特徴が抽出された前記第１の画像に対して、抽出された顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることは、
画像データベースにおける少なくとも１つの既存クラスタの顔クラスタ中心を取得することと、
前記少なくとも１つの既存クラスタの前記顔クラスタ中心及び前記第１の画像から抽出された前記顔特徴に基づいて顔クラスタリングを行って、前記第１の画像を前記既存クラスタにクラスタリングし、前記第１の画像の第１の結果を得ることと、を含んでよい。

【0045】

例えば、現在のクラスタリング操作の前に、予め履歴画像に基づいてクラスタリングを行ったことがあり、履歴画像をクラスタリング結果によって決定されたクラスタに基づいて画像データベースに記憶しており、当該画像データベースには、クラスタリング操作によって得られた少なくとも１つの既存クラスタの顔クラスタ中心及び人体クラスタ中心がさらに記憶されている。ただし、いずれかの既存クラスタに対して、顔クラスタ中心は、当該既存クラスタに対応する画像から抽出された顔特徴の平均値であってもよく、人体クラスタ中心は、当該既存クラスタに対応する画像から抽出された人体特徴の平均値であってもよい。

【0046】

画像データベースから少なくとも１つの既存クラスタの顔クラスタ中心を取得し、第１の画像の顔特徴と少なくとも１つの既存クラスタの顔クラスタ中心との類似度を決定し、さらに当該類似度に基づいて第１の画像の属するクラスタを決定し、第１の画像を既存クラスタにクラスタリングし、第１の画像の第１の結果を得ることができる。

【0047】

可能な一実現形態では、前記顔クラスタリング結果は第２の結果を含んでよく、上記顔特徴が抽出された第１の画像に対して、抽出された顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得ることは、
前記既存クラスタにクラスタリングされなかった前記第１の画像に対して顔クラスタリング操作を行って、第１の画像の第２の結果を得ることをさらに含んでよい。

【0048】

例えば、既存クラスタにクラスタリングされなかった少なくとも１枚の第１の画像に対して、第１の画像から抽出された顔特徴に基づいて顔クラスタリング操作を再度行って、当該複数枚の第１の画像を新たなクラスタにクラスタリングし、第１の画像の第２の結果を得る。

【0049】

例示的には、現在、７枚の第１の画像（被処理画像１、被処理画像２、被処理画像３、被処理画像４、被処理画像５、被処理画像６、被処理画像７）があり、画像データベースには、６つの既存クラスタ（人物１、人物２、人物３、人物４、人物５、人物６）がある。６つの既存クラスタの顔クラスタ中心をそれぞれ取得し、それぞれ７枚の第１の画像から抽出された顔特徴及び６つの既存クラスタの顔クラスタ中心に基づいて顔クラスタリング操作を行って、被処理画像１が人物１に属し、被処理画像３及び被処理画像５が人物４に属するという第１の結果を得ることができる。既存クラスタにクラスタリングされなかった被処理画像２、被処理画像４、被処理画像６、被処理画像７に対して、抽出された顔特徴に基づいて顔クラスタリング操作を行って、被処理画像２及び被処理画像６が同じクラスタ（人物７）に属し、被処理画像４が１クラスタ（人物８）に属し、被処理画像７が１クラスタ（人物９）に属するという第２の結果を得ることができる。第１の結果と第２の結果とを組み合わせることにより、第１の画像に対する顔クラスタリング結果が得られる。

【0050】

可能な一実現形態では、人体クラスタリング結果は第３の結果を含んでよく、顔クラスタリング操作の完了後、上記顔特徴が抽出されなかった前記第２の画像に対して、上記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることは、
前記第２の画像のいずれか一つに対して、人体特徴が抽出された前記第１の画像の人体特徴及び当該第２の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリングサブ結果を得ることと、
前記人体クラスタリング結果に基づいて前記第２の画像と同じ人体クラスタに属する前記第１の画像を決定することと、
前記顔クラスタリング結果に基づいて、前記第２の画像を、前記第２の画像と同じ人体クラスタに属する前記第１の画像の属するクラスタに追加して、第３の結果を得ることと、を含む。

【0051】

第２の画像のいずれか一つに対して、それをクラスタリング操作が完了した第１の画像の属するクラスタにクラスタリングすることができる。例えば、人体特徴が抽出された第１の画像を決定し、当該第１の画像から抽出された人体特徴及び第２の画像から抽出された人体特徴に基づいて、第２の画像と当該第１の画像の人体クラスタリング操作を完了し、第２の画像と同じクラスタに属する第１の画像を決定する。また、顔クラスタリング結果に基づいて、第２の画像と同じクラスタに属する第１の画像の属するクラスタを決定し、さらに第２の画像が当該第１の画像の属するクラスタに属することを決定し、第３の結果を得る。顔クラスタリング結果及び第３の結果に基づいて被処理画像に対するクラスタリング操作を完了し、クラスタリング結果を得ることができる。

【0052】

可能な一実現形態では、人体クラスタリング結果は第４の結果を含んでよく、上記顔特徴が抽出されなかった第２の画像のいずれか一つに対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された前記第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得ることは、
画像データベースにおける少なくとも１つの既存クラスタの人体クラスタ中心を取得することと、
顔クラスタにクラスタリングされなかった前記第２の画像に対して、前記第２の画像の人体特徴及び前記少なくとも１つの既存クラスタの人体クラスタ中心に基づいて人体クラスタリングを行って、前記第２の画像を既存クラスタにクラスタリングし、第４の結果を得ることと、を含む。

【0053】

例えば、画像データベースから少なくとも１つの既存クラスタの人体クラスタ中心を取得し、第２の画像の人体特徴と少なくとも１つの既存クラスタの人体クラスタ中心との類似度を決定し、さらに第２の画像の属する既存クラスタを決定し、第２の画像を当該既存クラスタにクラスタリングし、第２の画像の第４の結果を得ることができる。顔クラスタリング結果、第３の結果、及び第４の結果に基づいて、被処理画像に対するクラスタリング操作を完了し、クラスタリング結果を得ることができる。

【0054】

例示的には、現在、１２枚の被処理画像があり、顔画像が抽出された７枚の第１の画像（被処理画像１、被処理画像２、被処理画像３、被処理画像４、被処理画像５から人体特徴が抽出され、被処理画像６及び被処理画像７から人体特徴が抽出されなかった）、顔画像が抽出されなかった５枚の第２の画像（被処理画像８、被処理画像９、被処理画像１０、被処理画像１１、被処理画像１２）を含む。７枚の第１の画像に対する顔クラスタリング操作は、前述の例を参照することができるため、本例では、詳細な説明を省略する。

【0055】

５枚の第２の画像に対して、それぞれ第２の画像から抽出された人体特徴及び上記人体特徴が抽出された第１の画像（被処理画像１、被処理画像２、被処理画像３、被処理画像４、被処理画像５）の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング操作によって得られる第３の結果は、被処理画像９及び被処理画像２が同じクラスタ（人物７）に属し、被処理画像１０及び被処理画像３が同じクラスタ（人物４）に属し、被処理画像１２及び被処理画像４が同じクラスタ（人物８）に属することである。

【0056】

顔クラスタにクラスタリングされなかった被処理画像８及び被処理画像１１に対して、６つの既存クラスタの人体クラスタ中心をそれぞれ取得することができる。それぞれ２枚の第２の画像から抽出された人体特徴及び６つの既存クラスタの人体クラスタ中心に基づいて人体クラスタリング操作を行って得られた第４の結果は、被処理画像８が人物１に属し、被処理画像１１が人物３に属することである。

【0057】

これにより、１２枚の被処理画像に対するクラスタリング操作が完了し、被処理画像１及び被処理画像８が同じクラスタ（人物１）に属し、被処理画像２、被処理画像６及び被処理画像９が同じクラスタ（人物７）に属し、被処理画像３、被処理画像５及び被処理画像１０が同じクラスタ（人物４）に属し、被処理画像４及び被処理画像１２が同じクラスタ（人物８）に属し、被処理画像７が１クラスタ（人物９）に属し、被処理画像１１が人物３に属するという１２枚の被処理画像に対するクラスタリング結果が得られる。

【0058】

可能な一実現形態では、上記方法は、
前記クラスタリング結果に基づいて、前記被処理画像を画像データベースに追加することと、
前記被処理画像に基づいて前記画像データベースにおける少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心を更新することと、をさらに含むことができる。

【0059】

例えば、被処理画像に対するクラスタリング操作の完了後、クラスタリング結果に基づいて少なくとも１つの被処理画像の属するクラスタを決定し、さらに画像データベースにおいて少なくとも１つの被処理画像を対応するクラスタに応じて記憶し、少なくとも１つのクラスタに記憶された被処理画像に基づいて少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心の更新を行うことができる。

【0060】

当業者が本願の実施例をよりよく理解できるようにするために、以下、図２に示す例に基づいて本願の実施例を説明する。

【0061】

被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、顔特徴が抽出された被処理画像を第１の画像として決定し、顔特徴が抽出されなかった被処理画像を第２の画像として決定する。

【0062】

第１の画像に対してその抽出された顔特徴に基づいて顔クラスタリング操作を行うことは、画像データベースにおける既存クラスタの顔クラスタ中心に基づいて第１の画像を既存クラスタにクラスタリングし、第１の結果を得ることと、既存クラスタにクラスタリングされなかった第１の画像に対して顔クラスタリング操作を再度行って、新たなクラスタを生成し、第２の結果を得ることと、を含む。これにより、少なくとも１つの第１の画像の属するクラスタが決定され、第１の結果及び第２の結果に基づいて顔クラスタリング結果が最終的に得られる。

【0063】

第２の画像に対してその抽出された人体特徴に基づいて人体クラスタリング操作を行うことは、第２の画像及び人体特徴が抽出された第１の画像に対してクラスタリング操作を行って、第２の画像と同じクラスタに属する第１の画像を決定し、第２の画像を顔クラスタにクラスタリングし、第３の結果を得ることと、顔クラスタにクラスタリングされなかった第２の画像に対して、画像データにおける既存クラスタの人体クラスタ中心に基づいて第２の画像を既存クラスタにクラスタリングし、第４の結果を得ることと、を含む。これにより、少なくとも１つの第２の画像の属するクラスタが決定され、第３の結果及び第４の結果に基づいて人体クラスタリング結果が最終的に得られる。

【0064】

人体クラスタリング結果と顔クラスタリング結果を融合し、最終的なクラスタリング結果を得て、被処理画像をクラスタリング結果に基づいて画像データベースに記憶し、被処理画像に基づいて各クラスタの顔クラスタ中心及び人体クラスタ中心を更新することができる。

【0065】

例示的には、本開示の実施例に係る画像処理方法によれば、被処理画像に対してクラスタリング操作を行って、クラスタリング結果に基づいて被処理画像をその属するクラスタに応じて記憶することができる。例えば、公安機関は、顔と人体の視覚的な手がかりに基づいて、人物を次元とするファイルをより正確に構築することができるため、容疑者の情報をよりよく把握し、容疑者の軌跡を追跡し、早期警戒や事件解決などに寄与する。

【0066】

本開示で言及される上記各方法の実施例は、原理や論理に違反しない限り、相互に組み合わせて組み合わせ後の実施例を形成することができることが理解され、紙数に限りがあるので、詳細は本開示では再度説明しない。

【0067】

本開示は、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムをさらに提供し、これらはいずれも本開示で提供される画像処理方法のいずれか１つを実現するために用いることができ、対応する技術的解決手段及び説明は、方法部分の対応する記載を参照すればよく、詳細は再度説明しない。

【0068】

当業者であれば、具体的な実施形態の上記方法において、各ステップの記述順序は厳密な実行順序を意味して実施過程を何ら限定するものではなく、各ステップの具体的な実行順序はその機能及び可能な内在的論理によって決定されるべきであることが理解される。

【0069】

図３は、本開示の実施例による画像処理装置の構造模式図を示す。図３に示すように、当該装置は、
被処理画像に対して顔特徴抽出及び人体特徴抽出を行って、前記被処理画像の画像特徴を得るための抽出モジュールであって、前記画像特徴は顔特徴及び／又は人体特徴を含み、前記被処理画像は第１の画像及び第２の画像を含む抽出モジュール３０１と、
顔特徴が抽出された前記第１の画像に対して、抽出された前記顔特徴に基づいて顔クラスタリング操作を行って、顔クラスタリング結果を得るための第１のクラスタリングモジュール３０２と、
顔特徴が抽出されなかった前記第２の画像に対して、前記顔クラスタリング結果、前記第２の画像から抽出された人体特徴、及び人体特徴が抽出された第１の画像の人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリング結果を得るための第２のクラスタリングモジュール３０３と、
前記顔クラスタリング結果及び前記人体クラスタリング結果に基づいて、前記被処理画像に対するクラスタリング結果を得るための第３のクラスタリングモジュール３０４と、を含んでよい。

【0070】

本開示のいくつかの実施例では、本開示の実施例で提供された装置が備える機能又は含まれるモジュールは、上記方法の実施例に記載の方法を実行するために用いることができ、その具体的な実現及び技術的効果は上記方法の実施例の説明を参照すればよく、簡潔にするために、詳細はここでは再度説明しない。

【0071】

可能な一実現形態では、前記顔クラスタリング結果は第１の結果を含み、前記第１のクラスタリングモジュールはさらに、
画像データベースにおける少なくとも１つの既存クラスタの顔クラスタ中心を取得することと、
前記少なくとも１つの既存クラスタの顔クラスタ中心及び前記第１の画像から抽出された前記顔特徴に基づいて顔クラスタリングを行って、前記第１の画像を前記既存クラスタにクラスタリングし、前記第１の画像の前記第１の結果を得ることとに用いられる。

【0072】

可能な一実現形態では、前記顔クラスタリング結果は、第２の結果をさらに含み、前記第１のクラスタリングモジュールはさらに、
前記既存クラスタにクラスタリングされなかった前記第１の画像に対して顔クラスタリング操作を行って、前記第１の画像の前記第２の結果を得ることに用いられる。

【0073】

可能な一実現形態では、前記人体クラスタリング結果は第３の結果を含み、前記第２のクラスタリングモジュールはさらに、
前記第２の画像のいずれか一つに対して、人体特徴が抽出された前記第１の画像の前記人体特徴及び前記第２の画像の前記人体特徴に基づいて人体クラスタリング操作を行って、人体クラスタリングサブ結果を得ることと、
前記人体クラスタリングサブ結果に基づいて、前記第２の画像と同じ人体クラスタに属する前記第１の画像を決定することと、
前記顔クラスタリング結果に基づいて、前記第２の画像を、前記第２の画像と同じ人体クラスタに属する前記第１の画像の属するクラスタに追加して、前記第３の結果を得ることとに用いられる。

【0074】

可能な一実現形態では、前記人体クラスタリング結果は、第４の結果をさらに含み、前記第２のクラスタリングモジュールはさらに、
画像データベースにおける少なくとも１つの既存クラスタの人体クラスタ中心を取得することと、
顔クラスタにクラスタリングされなかった前記第２の画像に対して、前記第２の画像の前記人体特徴及び前記少なくとも１つの既存クラスタの前記人体クラスタ中心に基づいて人体クラスタリング操作を行って、前記第２の画像を前記既存クラスタにクラスタリングし、前記第４の結果を得ることとに用いられる。

【0075】

可能な一実現形態では、前記装置は、
前記クラスタリング結果に基づいて、前記被処理画像を画像データベースに追加するための追加モジュールと、
前記被処理画像に基づいて前記画像データベースにおける少なくとも１つのクラスタの顔クラスタ中心及び人体クラスタ中心を更新するための更新モジュールと、をさらに含む。

【0076】

いくつかの実施例では、本開示の実施例で提供された装置が備える機能又は含まれるモジュールは、上記方法の実施例に記載の方法を実行するために用いることができ、その具体的な実現は上記方法の実施例の説明を参照すればよく、簡潔にするために、詳細はここでは再度説明しない。

【0077】

本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体をさらに提供する。コンピュータ読み取り可能な記憶媒体は、不揮発性コンピュータ読み取り可能な記憶媒体であってもよい。

【0078】

本開示の実施例は、プロセッサと、プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、上記方法を実行するように構成される電子機器をさらに提供する。

【0079】

本開示の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で実行されると、前記電子機器のプロセッサに、上記画像処理方法を実現させるための命令を実行させるコンピュータプログラムをさらに提供する。

【0080】

電子機器は、端末、サーバ又はその他の形態の機器として提供されてもよい。

【0081】

図４は、一例示的実施例に係る電子機器８００のブロック図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。

【0082】

図４を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

【0083】

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

【0084】

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。

【0085】

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

【0086】

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

【0087】

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

【0088】

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

【0089】

センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

【0090】

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

【0091】

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

【0092】

例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。

【0093】

図５は、一例示的実施例に係る電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図５を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。

【0094】

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、および入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

【0095】

例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。

【0096】

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令を有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0097】

コンピュータ読み取り可能な記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

【0098】

ここで記述したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。

【0099】

本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することににより、本開示の各方面を実現するようにしてもよい。

【0100】

ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。

【0101】

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように、装置を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

【0102】

コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実施されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

【0103】

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

【0104】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】