知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5795650
(24)【登録日】2015年8月21日
(45)【発行日】2015年10月14日
(54)【発明の名称】顔認識
(51)【国際特許分類】
G06T 7/00 20060101AFI20150928BHJP
G06T 1/00 20060101ALI20150928BHJP
【ＦＩ】
G06T7/00 300D
G06T1/00 340A
【請求項の数】29
【全頁数】26
(21)【出願番号】特願2013-554676(P2013-554676)
(86)(22)【出願日】2012年2月21日
(65)【公表番号】特表2014-515842(P2014-515842A)
(43)【公表日】2014年7月3日
(86)【国際出願番号】US2012025934
(87)【国際公開番号】WO2012112992
(87)【国際公開日】20120823
【審査請求日】2013年10月25日
(31)【優先権主張番号】61/444,425
(32)【優先日】2011年2月18日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】505073967
【氏名又は名称】グーグル・インク
(74)【代理人】
【識別番号】100071010
【弁理士】
【氏名又は名称】山崎 行造
(74)【代理人】
【識別番号】100118647
【弁理士】
【氏名又は名称】赤松 利昭
(74)【代理人】
【識別番号】100138438
【弁理士】
【氏名又は名称】尾首 亘聰
(74)【代理人】
【識別番号】100138519
【弁理士】
【氏名又は名称】奥谷 雅子
(74)【代理人】
【識別番号】100123892
【弁理士】
【氏名又は名称】内藤 忠雄
(74)【代理人】
【識別番号】100169993
【弁理士】
【氏名又は名称】今井 千裕
(74)【代理人】
【識別番号】100161539
【弁理士】
【氏名又は名称】武山 美子
(74)【代理人】
【識別番号】100166637
【弁理士】
【氏名又は名称】木内 圭
(72)【発明者】
【氏名】シュタイナー、マシュー・エス
【審査官】
佐藤 実
(56)【参考文献】
【文献】
特開２００３−１５０６１７（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０６Ｆ １７／３０
(57)【特許請求の範囲】
【請求項1】
データ処理装置により実行される方法であって、
データ処理装置において第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
ユーザー識別子により、写真にインデックスを付けるデジタル写真インデックスへアクセスし、ユーザー識別子は、デジタル写真の各々について、且つこのデジタル写真にインデックスを付けているユーザー識別子の各々について、ユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域を指定すること、
第２のユーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によってインデックスを付けられたデジタル写真の予め規定された領域においてユーザーの顔の各々からの第２のユーザー識別子のために第２の顔テンプレートを生成すること、
第２の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含む方法。
データ処理装置において第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
ユーザー識別子により、写真にインデックスを付けるデジタル写真インデックスへアクセスし、ユーザー識別子は、デジタル写真の各々について、且つこのデジタル写真にインデックスを付けているユーザー識別子の各々について、ユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域を指定すること、
第２のユーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によってインデックスを付けられたデジタル写真の予め規定された領域においてユーザーの顔の各々からの第２のユーザー識別子のために第２の顔テンプレートを生成すること、
第２の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含む方法。
【請求項2】
請求項１の方法において、各々の顔テンプレートは非持続性メモリに記憶されて、第２の顔テンプレートに整合する第１の顔テンプレートを特定する後は持続されない方法。
【請求項3】
請求項１の方法において、
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子によって特定された第２のユーザー識別子に対する第１のユーザー識別子によって特定された第１のユーザーの関係を表す類縁性スコアを生成すること、
閾値を満たす類縁性スコアを有する第２のユーザー識別子が第１のユーザー識別子に関連していることを決定することを含む方法。
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子によって特定された第２のユーザー識別子に対する第１のユーザー識別子によって特定された第１のユーザーの関係を表す類縁性スコアを生成すること、
閾値を満たす類縁性スコアを有する第２のユーザー識別子が第１のユーザー識別子に関連していることを決定することを含む方法。
【請求項4】
請求項３の方法において、
前記類縁性スコアに応じて第２のユーザー識別子を順序付けること、
第２のユーザー識別子を選択し、この第２のユーザー識別子についての第２の顔テンプレートを生成し、前記順序に応じて第２の顔テンプレートに整合する第１の顔テンプレートを特定することを更に含む方法。
前記類縁性スコアに応じて第２のユーザー識別子を順序付けること、
第２のユーザー識別子を選択し、この第２のユーザー識別子についての第２の顔テンプレートを生成し、前記順序に応じて第２の顔テンプレートに整合する第１の顔テンプレートを特定することを更に含む方法。
【請求項5】
請求項３の方法において、複数の第２のユーザー識別子の各々について類縁性スコアを生成することは、
第１のユーザー識別子によりインデックスを付けられているデジタル写真の各々について、デジタル写真にインデックスを付けている第２のユーザー識別子を決定すること、
第２のユーザー識別子の各々について、前記類縁性スコアを、第１のユーザー識別子と第２のユーザー識別子との両方によってインデックスを付けられているデジタル写真の数に比例する値に部分的に基づいて決定することを含む方法。
第１のユーザー識別子によりインデックスを付けられているデジタル写真の各々について、デジタル写真にインデックスを付けている第２のユーザー識別子を決定すること、
第２のユーザー識別子の各々について、前記類縁性スコアを、第１のユーザー識別子と第２のユーザー識別子との両方によってインデックスを付けられているデジタル写真の数に比例する値に部分的に基づいて決定することを含む方法。
【請求項6】
請求項５の方法において、前記類縁性スコアは更に、前記デジタル写真の各々が生成された時間に部分的に基づいている方法。
【請求項7】
請求項３の方法において、複数の第２のユーザー識別子の各々について類縁性スコアを生成することは、前記類縁性スコアを、第１のユーザーが第２のユーザーの識別子によるタグ付けを有する第２のユーザーのデジタル写真の数に比例する値に部分的に基づいて決定することを含む方法。
【請求項8】
請求項７の方法において、前記類縁性スコアは更に、第１のユーザーが前記デジタル写真の各々にタグを付けた時間に部分的に基づいている方法。
【請求項9】
請求項１の方法において、
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、
第１のユーザー識別子についての接触者リストによって第１のユーザー識別子に関連している第２のユーザー識別子を選択することを含む方法。
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、
第１のユーザー識別子についての接触者リストによって第１のユーザー識別子に関連している第２のユーザー識別子を選択することを含む方法。
【請求項10】
請求項１の方法において、
第３のユーザー識別子を選択し、各々の第３のユーザー識別子は、第１のユーザー識別子と第２のユーザー識別子との一つ以上によってもインデックスを付けられている前記デジタル写真インデックスにおけるデジタル写真にインデックスを付けるユーザー識別子であることと第２のユーザー識別子であり、
選択された第３のユーザー識別子の各について、第３のユーザー識別子によってインデックスを付けられた前記デジタル写真の前記予め規定された領域内で前記ユーザーの顔の各々から第３のユーザー識別子についての第３の顔テンプレートを生成すること、
第３の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第３の顔テンプレートに整合する第１の顔テンプレートの各について、第３の顔テンプレートの第３のユーザー識別子によって特定される第３のユーザーの顔が位置する第１のデジタル写真内の前記領域を指定するデータを生成することを更に含む方法。
第３のユーザー識別子を選択し、各々の第３のユーザー識別子は、第１のユーザー識別子と第２のユーザー識別子との一つ以上によってもインデックスを付けられている前記デジタル写真インデックスにおけるデジタル写真にインデックスを付けるユーザー識別子であることと第２のユーザー識別子であり、
選択された第３のユーザー識別子の各について、第３のユーザー識別子によってインデックスを付けられた前記デジタル写真の前記予め規定された領域内で前記ユーザーの顔の各々から第３のユーザー識別子についての第３の顔テンプレートを生成すること、
第３の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第３の顔テンプレートに整合する第１の顔テンプレートの各について、第３の顔テンプレートの第３のユーザー識別子によって特定される第３のユーザーの顔が位置する第１のデジタル写真内の前記領域を指定するデータを生成することを更に含む方法。
【請求項11】
請求項１の方法において、第２のユーザー識別子について第２の顔テンプレートに整合する第１の顔テンプレートの各々について、
第１の顔テンプレートについての品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真にインデックスを付けるデータを前記デジタル写真内に記憶し、これは、第２のユーザー識別子によって特定された第２のユーザーの顔が位置する前記デジタル写真内の領域を指定することを更に含む方法。
第１の顔テンプレートについての品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真にインデックスを付けるデータを前記デジタル写真内に記憶し、これは、第２のユーザー識別子によって特定された第２のユーザーの顔が位置する前記デジタル写真内の領域を指定することを更に含む方法。
【請求項12】
コンピュータ・プログラムによりコード化されたコンピュータ記憶媒体であり、前記プログラムは指令を含み、この指令はデータ処理装置により実行されたときに、前記データ処理装置に操作を実行させ、この操作は、
第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
ユーザー識別子により、写真にインデックスを付けるデジタル写真インデックスへアクセスし、ユーザー識別子は、デジタル写真の各々について、且つこのデジタル写真にインデックスを付けているユーザー識別子の各々について、ユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域を指定すること、
第２のユーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によってインデックスを付けられたデジタル写真の予め規定された領域においてユーザーの顔の各々からの第２のユーザー識別子のために第２の顔テンプレートを生成すること、
第２の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含むコンピュータ記憶媒体。
第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
ユーザー識別子により、写真にインデックスを付けるデジタル写真インデックスへアクセスし、ユーザー識別子は、デジタル写真の各々について、且つこのデジタル写真にインデックスを付けているユーザー識別子の各々について、ユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域を指定すること、
第２のユーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によってインデックスを付けられたデジタル写真の予め規定された領域においてユーザーの顔の各々からの第２のユーザー識別子のために第２の顔テンプレートを生成すること、
第２の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含むコンピュータ記憶媒体。
【請求項13】
請求項１２のコンピュータ記憶媒体において、
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子によって特定された第２のユーザー識別子に対する第１のユーザー識別子によって特定された第１のユーザーの関係を表す類縁性スコアを生成すること、及び
閾値を満たす類縁性スコアを有する第２のユーザー識別子が第１のユーザー識別子に関連していることを決定することを含むコンピュータ記憶媒体。
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子によって特定された第２のユーザー識別子に対する第１のユーザー識別子によって特定された第１のユーザーの関係を表す類縁性スコアを生成すること、及び
閾値を満たす類縁性スコアを有する第２のユーザー識別子が第１のユーザー識別子に関連していることを決定することを含むコンピュータ記憶媒体。
【請求項14】
請求項１３のコンピュータ記憶媒体において、前記操作は、
前記類縁性スコアに応じて第２のユーザー識別子を順序付けること、及び
第２のユーザー識別子を選択し、この第２のユーザー識別子についての第２の顔テンプレートを生成し、前記順序に応じて第２の顔テンプレートに整合する第１の顔テンプレートを特定することを更に含むコンピュータ記憶媒体。
前記類縁性スコアに応じて第２のユーザー識別子を順序付けること、及び
第２のユーザー識別子を選択し、この第２のユーザー識別子についての第２の顔テンプレートを生成し、前記順序に応じて第２の顔テンプレートに整合する第１の顔テンプレートを特定することを更に含むコンピュータ記憶媒体。
【請求項15】
請求項１４のコンピュータ記憶媒体において、複数の第２のユーザー識別子の各々について類縁性スコアを生成することは、
第１のユーザー識別子によりインデックスを付けられているデジタル写真の各々について、デジタル写真にインデックスを付けている第２のユーザー識別子を決定すること、及び
第２のユーザー識別子の各々について、前記類縁性スコアを、第１のユーザー識別子と第２のユーザー識別子との両方によってインデックスを付けられているデジタル写真の数に比例する値に部分的に基づいて決定することを含むコンピュータ記憶媒体。
第１のユーザー識別子によりインデックスを付けられているデジタル写真の各々について、デジタル写真にインデックスを付けている第２のユーザー識別子を決定すること、及び
第２のユーザー識別子の各々について、前記類縁性スコアを、第１のユーザー識別子と第２のユーザー識別子との両方によってインデックスを付けられているデジタル写真の数に比例する値に部分的に基づいて決定することを含むコンピュータ記憶媒体。
【請求項16】
請求項１２のコンピュータ記憶媒体において、前記操作は、第２のユーザー識別子について第２の顔テンプレートに整合する第１の顔テンプレートの各々について、
第１の顔テンプレートについての品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真にインデックスを付けるデータを前記デジタル写真内に記憶し、これは、第２のユーザー識別子によって特定された第２のユーザーの顔が位置する前記デジタル写真内の領域を指定することを更に含むコンピュータ記憶媒体。
第１の顔テンプレートについての品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真にインデックスを付けるデータを前記デジタル写真内に記憶し、これは、第２のユーザー識別子によって特定された第２のユーザーの顔が位置する前記デジタル写真内の領域を指定することを更に含むコンピュータ記憶媒体。
【請求項17】
システムであって、
データ処理装置と、
メモリ記憶装置であり、前記データ処理装置とデータ通信し、前記データ処理装置より実行可能な指令を記憶し、そのような実行がされると、前記データ処理装置に操作を実行させ、この操作は、
第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
ユーザー識別子により、写真にインデックスを付けるデジタル写真インデックスへアクセスし、ユーザー識別子は、デジタル写真の各々について、且つこのデジタル写真にインデックスを付けているユーザー識別子の各々について、ユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域を指定すること、
第２のユーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によってインデックスを付けられたデジタル写真の予め規定された領域においてユーザーの顔の各々からの第２のユーザー識別子のために第２の顔テンプレートを生成すること、
第２の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含むシステム。
データ処理装置と、
メモリ記憶装置であり、前記データ処理装置とデータ通信し、前記データ処理装置より実行可能な指令を記憶し、そのような実行がされると、前記データ処理装置に操作を実行させ、この操作は、
第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
ユーザー識別子により、写真にインデックスを付けるデジタル写真インデックスへアクセスし、ユーザー識別子は、デジタル写真の各々について、且つこのデジタル写真にインデックスを付けているユーザー識別子の各々について、ユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域を指定すること、
第２のユーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によってインデックスを付けられたデジタル写真の予め規定された領域においてユーザーの顔の各々からの第２のユーザー識別子のために第２の顔テンプレートを生成すること、
第２の顔テンプレートに整合する第１の顔テンプレートを特定すること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含むシステム。
【請求項18】
請求項１７のシステムにおいて、
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子によって特定された第２のユーザー識別子に対する第１のユーザー識別子によって特定された第１のユーザーの関係を表す類縁性スコアを生成すること、及び
閾値を満たす類縁性スコアを有する第２のユーザー識別子が第１のユーザー識別子に関連していることを決定することを含むシステム。
第１のユーザー識別子に関連している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子によって特定された第２のユーザー識別子に対する第１のユーザー識別子によって特定された第１のユーザーの関係を表す類縁性スコアを生成すること、及び
閾値を満たす類縁性スコアを有する第２のユーザー識別子が第１のユーザー識別子に関連していることを決定することを含むシステム。
【請求項19】
請求項１７のシステムにおいて、複数の第２のユーザー識別子の各々について類縁性スコアを生成することは、
第１のユーザー識別子によりインデックスを付けられているデジタル写真の各々について、デジタル写真にインデックスを付けている第２のユーザー識別子を決定すること、及び
第２のユーザー識別子の各々について、前記類縁性スコアを、第１のユーザー識別子と第２のユーザー識別子との両方によってインデックスを付けられているデジタル写真の数に比例する値に部分的に基づいて決定することを含むシステム。
第１のユーザー識別子によりインデックスを付けられているデジタル写真の各々について、デジタル写真にインデックスを付けている第２のユーザー識別子を決定すること、及び
第２のユーザー識別子の各々について、前記類縁性スコアを、第１のユーザー識別子と第２のユーザー識別子との両方によってインデックスを付けられているデジタル写真の数に比例する値に部分的に基づいて決定することを含むシステム。
【請求項20】
請求項１７のシステムにおいて、前記操作は、第２のユーザー識別子について第２の顔テンプレートに整合する第１の顔テンプレートの各々について、
第１の顔テンプレートについての品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真にインデックスを付けるデータを前記デジタル写真内に記憶し、これは、第２のユーザー識別子によって特定された第２のユーザーの顔が位置する前記デジタル写真内の領域を指定することを更に含むシステム。
第１の顔テンプレートについての品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真にインデックスを付けるデータを前記デジタル写真内に記憶し、これは、第２のユーザー識別子によって特定された第２のユーザーの顔が位置する前記デジタル写真内の領域を指定することを更に含むシステム。
【請求項21】
データ処理装置により実行される方法であって、
データ処理装置において第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について顔テンプレートを生成すること、
各々の顔テンプレートについて、
ユーザー識別子を特定し、各々のユーザー識別子は、第１のデジタル写真内に検出された顔が前記顔テンプレートを生成するのに用いられたユーザーを特定すること、
前記顔テンプレートについて品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、前記顔テンプレート、前記品質スコア、及び第１のユーザー識別子によって特定されたユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータについて決定されたユーザー識別子により第１の写真にインデックスを付けるデータをデジタル写真インデックス内に記憶し、
第１のユーザー識別子に関連した第２のーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によりインデックスを付けられたデジタル写真の各々の予め規定された領域においてユーザーの顔の各々から第２のユーザー識別子のために第２の顔テンプレートを生成し、
第２の顔テンプレートに整合する第１の顔テンプレートを特定することを含む方法。
データ処理装置において第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について顔テンプレートを生成すること、
各々の顔テンプレートについて、
ユーザー識別子を特定し、各々のユーザー識別子は、第１のデジタル写真内に検出された顔が前記顔テンプレートを生成するのに用いられたユーザーを特定すること、
前記顔テンプレートについて品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、及び
前記品質スコアが前記品質スコア閾値を越えるならば、前記顔テンプレート、前記品質スコア、及び第１のユーザー識別子によって特定されたユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータについて決定されたユーザー識別子により第１の写真にインデックスを付けるデータをデジタル写真インデックス内に記憶し、
第１のユーザー識別子に関連した第２のーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によりインデックスを付けられたデジタル写真の各々の予め規定された領域においてユーザーの顔の各々から第２のユーザー識別子のために第２の顔テンプレートを生成し、
第２の顔テンプレートに整合する第１の顔テンプレートを特定することを含む方法。
【請求項22】
請求項２１の方法において、前記品質スコアが品質スコア閾値を越えるか否かを決定することは、
前記ユーザー識別子によって前記デジタル写真インデックスにアクセスすること、
前記デジタル写真インデックスから前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの品質スコアを取り出して、前記他の顔テンプレートの各々は、ユーザー識別子によって特定されたユーザーの顔が位置する異なるデジタル写真内の領域から生成されており、及び
第１のデジタル写真についての前記顔テンプレートの前記品質スコアが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとき、前記品質スコアが品質スコア閾値を越えると決定することを含む方法。
前記ユーザー識別子によって前記デジタル写真インデックスにアクセスすること、
前記デジタル写真インデックスから前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの品質スコアを取り出して、前記他の顔テンプレートの各々は、ユーザー識別子によって特定されたユーザーの顔が位置する異なるデジタル写真内の領域から生成されており、及び
第１のデジタル写真についての前記顔テンプレートの前記品質スコアが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとき、前記品質スコアが品質スコア閾値を越えると決定することを含む方法。
【請求項23】
請求項２２の方法において、
第１のデジタル写真についての前記顔テンプレートが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとの決定に応じて、第１のデジタル写真から、ユーザー識別子によって特定されたユーザーの顔が位置し、且つそこから対応する前記品質スコアの一つが生成された異なるデジタル写真をインデックス付けするデータを取り除くことを更に含む方法。
第１のデジタル写真についての前記顔テンプレートが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとの決定に応じて、第１のデジタル写真から、ユーザー識別子によって特定されたユーザーの顔が位置し、且つそこから対応する前記品質スコアの一つが生成された異なるデジタル写真をインデックス付けするデータを取り除くことを更に含む方法。
【請求項24】
請求項２１の方法において、
第１のデジタル写真にアクセスすること;
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
デジタル写真インデックスへアクセスすること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含む方法。
第１のデジタル写真にアクセスすること;
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
デジタル写真インデックスへアクセスすること、及び
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含む方法。
【請求項25】
コンピュータ・プログラムによりコード化されたコンピュータ記憶媒体であり、前記プログラムは指令を含み、この指令はデータ処理装置により実行されたときに、前記データ処理装置に請求項２１乃至２４の何れか一項に記載の方法を実行させることを含むコンピュータ記憶媒体。
【請求項26】
システムであって、
データ処理装置と、
メモリ記憶装置であり、前記データ処理装置とデータ通信し、前記データ処理装置より実行可能な指令を記憶し、そのような実行がされると、前記データ処理装置に操作を実行させ、この操作は、
第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について顔テンプレートを生成すること、
ユーザー識別子を決定し、各々のユーザー識別子は前記顔テンプレートを生成するのに用いられた第１のデジタル写真内に顔が検出されているユーザーを特定していること、
前記顔テンプレートについて品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、
前記品質スコアが前記品質スコア閾値を越えるならば、前記顔テンプレート、前記品質スコア、及び第１のユーザー識別子によって特定されたユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータについて決定されたユーザー識別子により第１の写真にインデックスを付けるデータをデジタル写真インデックス内に記憶すること、
第１のユーザー識別子に関連した第２のーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によりインデックスを付けられたデジタル写真の各々の予め規定された領域においてユーザーの顔の各々から第２のユーザー識別子のために第２の顔テンプレートを生成し、
第２の顔テンプレートに整合する第１の顔テンプレートを特定することを含むシステム。
データ処理装置と、
メモリ記憶装置であり、前記データ処理装置とデータ通信し、前記データ処理装置より実行可能な指令を記憶し、そのような実行がされると、前記データ処理装置に操作を実行させ、この操作は、
第１のデジタル写真へアクセスすること、
第１のデジタル写真内に検出された各々の顔について顔テンプレートを生成すること、
ユーザー識別子を決定し、各々のユーザー識別子は前記顔テンプレートを生成するのに用いられた第１のデジタル写真内に顔が検出されているユーザーを特定していること、
前記顔テンプレートについて品質スコアを生成すること、
前記品質スコアが品質スコア閾値を越えるか否かを決定すること、
前記品質スコアが前記品質スコア閾値を越えるならば、前記顔テンプレート、前記品質スコア、及び第１のユーザー識別子によって特定されたユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータについて決定されたユーザー識別子により第１の写真にインデックスを付けるデータをデジタル写真インデックス内に記憶すること、
第１のユーザー識別子に関連した第２のーザー識別子を選択し、この選択された第２のユーザー識別子の各々について、第２のユーザー識別子によりインデックスを付けられたデジタル写真の各々の予め規定された領域においてユーザーの顔の各々から第２のユーザー識別子のために第２の顔テンプレートを生成し、
第２の顔テンプレートに整合する第１の顔テンプレートを特定することを含むシステム。
【請求項27】
請求項２６のシステムにおいて、前記品質スコアが品質スコア閾値を越えるか否かを決定することは、
前記ユーザー識別子によって前記デジタル写真インデックスにアクセスすること、
前記デジタル写真インデックスから前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの品質スコアを取り出して、前記他の顔テンプレートの各々は、ユーザー識別子によって特定されたユーザーの顔が位置する 異なるデジタル写真内の領域から生成されており、及び
第１のデジタル写真についての前記顔テンプレートの前記品質スコアが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとき、前記品質スコアが品質スコア閾値を越えると決定することを含むシステム。
前記ユーザー識別子によって前記デジタル写真インデックスにアクセスすること、
前記デジタル写真インデックスから前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの品質スコアを取り出して、前記他の顔テンプレートの各々は、ユーザー識別子によって特定されたユーザーの顔が位置する 異なるデジタル写真内の領域から生成されており、及び
第１のデジタル写真についての前記顔テンプレートの前記品質スコアが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとき、前記品質スコアが品質スコア閾値を越えると決定することを含むシステム。
【請求項28】
請求項２７のシステムにおいて、前記操作は更に、
第１のデジタル写真についての前記顔テンプレートが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとの決定に応じて、第１のデジタル写真から、ユーザー識別子によって特定されたユーザーの顔が位置し、且つそこから対応する前記品質スコアの一つが生成された異なるデジタル写真をインデックス付けするデータを取り除くことを更に含むシステム。
第１のデジタル写真についての前記顔テンプレートが前記ユーザー識別子によって特定されたユーザーの他の顔テンプレートの前記デジタル写真インデックスから取り出された前記品質スコアの少なくとも一つを越えるとの決定に応じて、第１のデジタル写真から、ユーザー識別子によって特定されたユーザーの顔が位置し、且つそこから対応する前記品質スコアの一つが生成された異なるデジタル写真をインデックス付けするデータを取り除くことを更に含むシステム。
【請求項29】
請求項２８のシステムにおいて、前記操作は更に、
第１のデジタル写真にアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
デジタル写真インデックスへアクセスすること、及び、
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含むシステム。
第１のデジタル写真にアクセスすること、
第１のデジタル写真内に検出された各々の顔について第１の顔テンプレートを生成すること、
第１のユーザー識別子に関連している第２のユーザー識別子を決定し、第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定していること、
デジタル写真インデックスへアクセスすること、及び、
第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第２の顔テンプレートの第２のユーザー識別子によって特定された第２のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成することを含むシステム。
【発明の詳細な説明】
【優先権の主張】
【0001】
本願は米国特許法第１１９（ｅ）条の下で米国特許出願第６１／４４４，４２５号（２０１１年２月１８日出願）の優先権を主張しており、その全ての内容は参照により本明細書に組み込まれている。
【発明の背景】
【0002】
本明細書は生体測定情報の長期記憶を必要とすることなく顔認識を実行する方法に関する。今日では、デジタル画像を人間の顔の存在と位置を特定するために処理することができるシステムが存在する。これらのシステムの一部は、特徴値（例えば、目、鼻、顎の相対的な位置と間隔）を決定して、人間の顔が画像内に存在することを決定する。
【0003】
今日では、自動的に顔の名前を特定するように特定された顔の認識のためのシステムも存在する。これらのシステムの多くは、既知の人の顔の生体的測定モデルを定式化し、その生体測定モデルを顔認識テンプレートの形態で記憶することに基づく。未知の顔がデジタル画像内に後に検出されたとき、未知の顔は特徴情報を抽出するために分析されて、その情報は既知の顔の記憶された生体測定モデルの集まりに対して比較されて、互角なものが決定される。その結果、未知の顔は、整合する生体測定モデルに関連した識別子と関連付けられる。
【0004】
しかしながら、しばしば、そのようなテンプレートのデータベースを維持することは、非実用的である。実行不可能なことは、システム資産制約と他の非システム資産制約によることもある。例えば、メモリ・ストレージ（例えば、システム資産制約）とプライバシー懸念、法的要求、関係者の間の合意（非システム資産制約）は、テンプレートのデータベースを維持する能力を制限するであろう。一つの解決策は、オンザフライ（ｏｎ ｔｈｅ ｆｌｙ）で、即ち、顔認識処理が必要とされる時点で、 顔認識テンプレートを生成する。しかしながら、システムは何百万もの写真を維持して、テンプレートの生成には、多くの資産が写真を処理することを要求されるので、時間がかかるであろう。
【発明の概要】
【0005】
本明細書は、記憶された生体測定情報の使用を実質的に伴うことなく、自動化された顔認識を実行するための方法及び技法に関する技術を開示する。
【0006】
一般に、本明細書に説明された主題の一つの革新的な態様は、方法に実現することができ、この方法は、データ処理装置にて、第１のデジタル写真にアクセスする動作、第１のデジタル写真内に検出された各々の顔についてのテンプレートの生成、第１のユーザー識別子に関係している第２のユーザー識別子を決定し(第１のユーザー識別子及び第２のユーザー識別子はユーザーを特定する)、デジタル写真インデックスにアクセスし、そのデジタル写真インデックスはデジタル写真にユーザー識別子によりインデックスを付け、各々のデジタル写真ごとに、且つデジタル写真をインデックス付けする各々のユーザー識別子ごとに、ユーザー識別子により特定されたユーザーの顔が位置するデジタル写真内の領域を指定し、第２のユーザー識別子を選択し、選択された第２のユーザー識別子ごとに、第２のユーザー識別子によりインデックス付けされたデジタル写真の予め規定された領域におけるユーザーの顔の各々からの第２のユーザー識別子についての第２の顔テンプレートを生成し、第２の顔テンプレートに整合する各々の第１の顔テンプレートについて、第２の顔テンプレートの第２のユーザー識別子により特定された第２のユーザーの顔が位置する第１のデジタル写真における領域を指定するデータを生成することを含む。この態様の他の実施形態は、対応するシステム、装置、 及びコンピュータ・プログラムを含み、そのシステム、装置、 及びプログラムは、方法の動作を実行するように構成されて、コンピュータ記憶デバイス上でコード化される。
【0007】
様々な実施形態は、以下の特徴の幾つか、全てを含むことができるが、全く含まないこともできる。各々の顔テンプレートは非持続性メモリに記憶することができ、第２の顔にテンプレートに合致する第１の顔テンプレートを特定した後は持続されないこともある。第１のユーザー識別子に関係している第２のユーザー識別子を決定することは、複数の第２のユーザー識別子の各々について、第２のユーザー識別子により特定された第２のユーザーに対する第１のユーザー識別子により特定された第１のユーザーの関係を表す類縁性スコアを生成すること及び、第１のユーザー識別子に関係している閾値に整合しない類縁性スコアを有する第２のユーザー識別子を決定することを含むことができる。この動作は、第２のユーザー識別子を類縁性スコアに応じて順序付けて、第２のユーザー識別子を選択して、第２のユーザー識別子についての第２の顔テンプレートを生成し、順序に従って第２の顔テンプレートに整合する第１の顔テンプレートを特定することを更に含むことができる。複数の第２のユーザー識別子の各々についての類縁性スコアを生成することは、第１のユーザー識別子によりインデックス付けされたデジタル写真ごとに、デジタル写真をインデックス付けする第２のユーザー識別子を決定し、各々の第２のユーザー識別子ごとに、第１のユーザー識別子と第２のユーザー識別子との両方によりインデックス付けされたデジタル写真の数に比例する値に部分的に基づいて、類縁性スコアを決定することを含むことができる。類縁性スコアは更に、デジタル写真の各々が生成された時間に部分的に基づくことができる。複数の第２のユーザー識別子の各々についての類縁性スコアを生成することは、第１のユーザーが第２のユーザーの識別子によりタグ付けされた第２のユーザーのデジタル写真の数に比例する値に部分的に基づいて類縁性スコアを決定することを含むことができる。類縁性スコアは更に、第１のユーザーがデジタル写真の各々にタグ付けされた時間に部分的に基づくことができる。第１のユーザー識別子に関係している第２のユーザー識別子を決定することは、第１のユーザー識別子の接触者リストによって第１のユーザー識別子に関係している第２のユーザー識別子を選択することを含むことができる。この動作は更に、第３のユーザー識別子を選択することを含むことができ、各々の第３のユーザー識別子は、選択された第３のユーザー識別子の各々について、一つ以上の第１のユーザー識別子及び第２のユーザー識別子によってもインデックス付けされたデジタル写真インデックス内のデジタル写真をインデック付けするユーザー識別子であり、第３のユーザー識別子によってインデックス付けされたデジタル写真の予め規定された領域でユーザーの顔から第３のユーザー識別子についての第３の顔テンプレートを生成し、第３の顔にテンプレートに整合する第１の顔テンプレートを特定し、第３の顔テンプレートに整合する第１の顔テンプレートの各々について、第３の顔テンプレートの第３のユーザー識別子によって特定された第３のユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータを生成する。この動作は更に、第２のユーザー識別子についての第２の顔テンプレートに整合する第１の顔テンプレートの各々について、第１の顔テンプレートについての品質スコアを生成し、品質スコアが品質スコア閾値を越えるか否かを判定し、品質スコアが品質スコア閾値を越えるならば、第２のユーザー識別子により第１の写真をインデックス付けするデジタル写真インデック・データを記憶し、第２のユーザー識別子によって特定された第２のユーザーの顔が位置するデジタル写真における領域を特定する。
【0008】
本明細書に説明される主題の他の革新的な態様は、方法に実現することができ、この方法は、データ処理装置において、第１のデジタル写真にアクセスする動作と、第１のデジタル写真内に検出された各々の顔についての顔テンプレートを生成し、各々の顔テンプレートについて、ユーザー識別子を決定し、各々のユーザー識別子は顔テンプレートを生成するのに用いられた第１のデジタル写真において顔が検出されたユーザーを特定し、顔テンプレートについての品質スコアを生成し、この品質スコアが品質スコア閾値を越えるか否かを判定し、品質スコアが品質スコア閾値を越えるならば、顔テンプレート、品質スコア、及び第１のユーザー識別子により特定されたユーザーの顔が位置する第１のデジタル写真内の領域を指定するデータについて決定されたユーザー識別子によって第１の写真をインデックス付けするインデックス・データをデジタル写真に記憶することを含むことができる。この態様の他の実施形態は、対応するシステム、装置、及びコンピュータ・プログラムを含み、システム、装置、及びコンピュータ・プログラムは、方法の動作を実行するように構成され、コンピュータ記憶デバイスにコード化される。
【0009】
様々な実施形態は、以下の特徴の幾つか、全てを含むことができるが、全く含まないこともできる。品質スコアが品質スコア閾値を越えるか否かを判定することは、ユーザー識別子によってデジタル写真インデックスにアクセスすること、ユーザー識別子によって特定されたユーザーの他の顔テンプレートのデジタル写真インデックス品質スコアから読み出して、他の顔テンプレートの各々は、ユーザー識別子によって特定されたユーザーの顔が位置する異なるデジタル写真内の領域から生成されており、第１のデジタル写真についての顔テンプレートの品質スコアが、ユーザー識別子によって特定されたユーザーの他の顔テンプレートのデジタル写真インデックスから読み出された少なくとも一つの品質スコアを越えるとき、品質スコアが品質スコア閾値を越えることを決定する。第１のデジタル写真についての顔テンプレートが、ユーザー識別子によって特定されたユーザーの他の顔テンプレートのデジタル写真インデックから読み出された少なくとも一つの品質スコアを越えることの決定に応じて、ユーザー識別子によって特定されたユーザーの顔が位置し、ここから対応する品質スコアの一つについての顔テンプレートが生成された異なるデジタル写真をインデックス付けするインデックス・データをデジタル写真から除去することを含む。
【0010】
本明細書に説明された主題の特定の実施形態は以下の利点の一つ以上を実現するように実施することができる。ユーザー識別子の選択されたセットについて顔テンプレートを選択的に生成することによって、写真の非常により大きなセットについての顔テンプレートを生成することに比べて、顔認識処理を実行するために要求される処理資産及び時間が低減される。必須の時間は、ユーザーによって知覚される遅れがユーザーの経験の低下をもたらさないにすることができる。更に、顔テンプレートは長期記憶を持続する必要が無く、顔認識処理を実行した後にメモリから削除することができるので、一つ以上の非システム資産制約の遵守を確実にする。
【0011】
本明細書で説明される主題の一つ以上の実施形態の詳細は、添付の図面と以下説明に記載される。
【0012】
主題の他の特徴、態様、及び利点は、説明、図面及び特許請求の範囲から明らかになる。
【図面の簡単な説明】
【0013】
【0014】
図面における同様な番号及び記号表示は同様な要素を示す。
【詳細な説明】
【0015】
本文書は、特に本開示事項の実施形態によるソーシャル・ネットワークの状況の範囲内で、記憶された生体測定データの使用を伴うこと無く顔認識を実行するためのシステム及び技法を説明する。以下に説明するように、コンピュータ・システムへ提出されたデジタル写真における顔画像は、人々が属するその人々の識別子に関連付けるために、手動で、半自動的に、又は自動的にタグを付けられる。そのようなシステムに参加することを選択し、彼らの顔が自動的に認識されることの許可を与える人々に、特定された顔を有するデジタル写真の集まりは、写真内に描写された様々な人々のオンライン識別子に関係している。必要なとき、写真の集まり又はそれらの範囲内の顔画像は、特定の人に関係しており、その人についての一時的な顔認識モデルを形成するために分析される。次いで、そのモデルは、整合の可能性があると特定するために未知の顔画像から抽出された特徴に対して比較されて、次いでそのモデルは削除される。
【0016】
特定された人に関連するテンプレート又は他の生体測定データが将来の認識操作のために維持されている或る顔認識システムとは異なっている。生体測定データの長期記憶は様々な人々の間でプライバシー懸念を引き起こすかもしれず、或る法的権限の管轄区域内では、そのような生体測定データの長期記憶は、法的要求の影響下にある場合がある。以下に説明するシステム及び技法は、自動顔認識のための生体測定データの長期記憶を廃することによって、これらの懸念に対処する。
【0017】
図１は本開示事項の実施形態によるデジタル画像内で顔認識を実行するためのシステム１００のブロック図である。一般に、ユーザーはデジタル写真をシステム１００に提示することができ、システム１００は、写真内でユーザーに関連した他のユーザーのグループ内の他の人々に属する（例えば、列挙された識別子のリスト、接触者グループ、友人リスト、或いは、ユーザー識別子のセットを規定するのに用いることができる他の関係に基づく）人の顔を特定しようと試みる。
【0018】
グループは、例えば、他のユーザーに対するユーザーの関係のカテゴリーに基づく。或る例では、関係は潜在的又は明白であることができる。例えば、ユーザーは彼のソーシャル・ネットワーキングの接触者を割り当てることができて、ソーシャル・ネットワーキング・ポストの分布及び可視性をより良く制御することができる。
【0019】
説明の都合上、例示的実施例は、グループの状況内で説明される。グループは、コンピュータに実装されたソーシャル・ネットワーキング・サービスにおいて相互に関係している接触者の集まりを規定するデータセットによって規定される。グループは、社会的に相互に結びついた人々の特定の集まりの中心である個人の視点から、或いは社会的に相互に結びついた人々の特定の集まりの集約的視点から説明することができる。或る例では、狭く規定された境界を持つことができる。例えば、或るグループは、互いによく知っているメンバーを持ち、グループにメンバーが加わるためには許可が必要とされるであろう。或る実施例においては、ソーシャル・ネットワーキング・サービスのユーザーがグループを規定し、このグループは接触者の集まりを規定するデータセットとして、ユーザーの実生活の社会的グループを反映するであろう。これらは、本明細書で用いられるグループの例である。しかしながら、グループはこれらの例に限定される必要はない。
【0020】
潜在的な関係によって特定されるグループの例は、全てのユーザーのより多数のグループから区別されるグループを形成するように、潜在的に特定された複数のユーザーである。そのような潜在的な関係は、単に幾つかの例を挙げると、ユーザーと他のユーザーとの間の頻繁な接触、写真内のユーザー他のユーザーとの共起性、ユーザーが写真を撮ったユーザー、及び写真を撮られたユーザーに基づくことができる。
【0021】
例えば、システム１００は、ユーザーが社会的関係を有する他のユーザーを特定するために、ユーザーの接触者リスト、通信（例えば、ユーザーがしばしば電子メールを送る人々）、二次的及びより高度の接触者（例えば、友人の友人）、ソーシャル・ネットワーク・グループと提携（例えば、登録ファン・ページ、卒業生グループ・メンバーシップ）、又は、特定の社会的グループによって規定される他のユーザーのグループを検査することができる。次いで、これらの他のユーザーの既に特定された画像は、非持続性メモリ内で一時的な顔認識モデルを構築するのに用いられる。次いで一時的顔認識モデルは、提示された写真内に位置する顔について生成された一時的顔認識テンプレートに対して比較される。整合が見つかったならば、整合された識別子は提示された写真内で特定された顔に関連付けられる。或る実施例では、一時的顔認識テンプレートは持続的ではなく、一時的顔テンプレートは、顔認識操作が実行された後にメモリから解放される。
【0022】
システム１００の例においては、ユーザ−「Ｂｒａｄ」がユーザー・デバイス１０４（例えば、パ−ソナル・コンピュータ、携帯電話、パッド・コンピュータ、タブレット型コンピューター、個人用デジタル情報端末、写真をアップロードするように構成されるカメラ）とやりとりして、デジタル写真１０６をサーバー・デバイス１０８へネットワーク１１０（例えば、無線又は有線の公衆ネットワーク、例えばインターネット）を通じてアップロードする。このデジタル写真１０６はユーザーＢｒａｄの顔画像１１２、ユーザーＣｈａｎｎｉｎｇの顔画像１１４，及びユーザーＮｅｉｌの顔画像１１６を含む。
【0023】
或る実施例では、サーバー・システム１０８は、単独のサーバー、或いはウェブサーバの機能を実行する複数のサーバー・コンピュータの集まり、通信サービス、ソーシャル・ネットワーキング・サービス、デジタル写真ホスティングサービス又はデジタル写真の提示を受け入れることができる他の適切なコンピュータ・サービスとすることができる。サーバー・システム１０８は、デジタル写真１０６をデジタル写真インデックス１１８に保存する。デジタル写真インデックス１１８は、ユーザーによって提示されたデジタル写真及びユーザー識別子を写真について記憶するのに用いることができる電子ファイル貯蔵所又はデータベースである。
【0024】
ユーザーＢｒａｄはユーザー識別子１２０と関係しており、図解内では「ＵＩＤ１」として分類されている。このように、サーバー・デバイス１０８は、デジタル写真１０６をユーザーＢｒａｄの識別子「ＵＩＤ１」１２０に関連付ける。或る実施例においては、デジタル写真１０６は、デジタル写真１０６を提示したユーザーの識別子に関連するであろう。或る実施例においては、デジタル写真は、デジタル写真を撮ったユーザーの識別子（例えば、写真内のメタデータとして埋設されたユーザーＩＤ）、或いは、写真を撮るのに使用されたデバイスに関連するユーザーの識別子（例えば、特定のユーザーによって管理されていることが知られているネットワーク・カメラの媒体アクセス制御（ＭＡＣ）ＩＤ）に関連するであろう。
【0025】
ユーザーＢｒａｄの識別子「ＵＩＤ１」１２０は、他のユーザー識別子１２２の集まりに関連している。他のユーザー識別子１２２の集まりは、ユーザーＢｒａｄの社会的グループにおける他のユーザーの識別子を含む。或る実施例においては、他のユーザー識別子１２２の集まりは、明確に決定された接触者を含むことができる。例えば、ユーザーＢｒａｄは、サーバー１０８へユーザーＣｈａｎｎｉｎｇが彼の妻であると申告（例えばオンライン・プロフィールを構成することの一部として）するかもしれず、或いはソーシャル・ネットワーキング・サービスを通じてユーザーＮｅｉｌと「友達になる」ことを申告するかもしれない。他の例においては、ユーザーＢｒａｄは、接触者を電子メール接触者の集まりへ明白に加え得る。
【0026】
或る実施例においては、他の識別子１２２の集まりは、潜在的に決定された接触者を含むことができる。例えば、集まり１２２は、ユーザーＢｒａｄがしばしば電子メールを送るか、連絡する人々、ユーザーＢｒａｄがしばしば写真を撮られる人々、共通ソーシャル・ネットワーキング・グループ又はクラブのメンバーである人々、共通の個人又は主題のファン又はフォロワー、二人のユーザーを潜在的に互いに結びつけることに用いる事ができる他の適切な交友関係の識別子を自動的に含むことができる。或る実施例では、独立に申告された共通の特質に基づいて、二人以上のユーザーを互いに潜在的に関連付け得る。例えば、ソーシャル・ネットワーキング・サイトは、ユーザーが彼らの高校と卒業年を特定することを要求することがあり、この情報はユーザーＢｒａｄの識別子「ＵＩＤ１」１２０を彼の同級生の識別子と潜在的に関連付けるために用い得る。
【0027】
サーバー・システム１０８は、デジタル写真１０６を分析して人の顔の画像の存在を検出する。例えば、サーバー・システム１０８は、人の顔の風貌に普通に現れる特徴のパターン（例えば、間隔を持った二つの目を有し、鼻梁に対して概ね垂直な線を形成する卵形の頭部）についてデジタル写真１０６を走査し得る。一人以上の人の顔の存在がデジタル写真１０６内に検出されるならば、次いでサーバー・システム１０８はＢｒａｄの識別子「ＵＩＤ１」１２０、他のユーザー識別子１２２の集まり、Ｂｒａｄが以前にデジタル写真インデックス１１８に提示した他のデジタル写真、及び他のユーザー識別子１２２の集まり内で特定された他のユーザーによって、デジタル写真インデックス１１８にアップロードされた他のデジタル写真に基づいて、一時的な顔のテンプレートを構築する。
【0028】
図示の例では、ユーザーＢｒａｄの識別子「ＵＩＤ１」が、ユーザーＢｒａｄの顔の画像を含むことが知られている顔領域１３２ａ−１３２ｎの集まりを含むデジタル写真１３０ａ−１３０ｎの集まりを特定するのに用いられる。一般に、顔領域はデジタル写真の従属領域であり、実質的に単一の顔の画像により占められており、即ち、各々の顔領域はユーザー識別子によって特定されたユーザーの顔が位置するデジタル写真内の領域である。
【0029】
デジタル写真インデックス１１８に保存されるデジタル写真は、幾つかの異なる処理によってユーザー識別子に関連している場合がある。或る実施例においては、この関連は手動でなされるかもしれない。例えば、ユーザーはサーバー・システム１０８により提供されるツールを使用して、デジタル写真を検討し、写真内の一つ以上の顔領域を特定して、顔領域に現れるユーザーを特定し得る。或る実施例においては、関連性は半自動的に実行し得る。例えば、サーバー・システム１０８はデジタル写真内の特定された顔領域内の人の顔の存在を検出し、顔領域をユーザーの各々のユーザー識別子へ関連付けるようにユーザーへ要請し得る。他の例においては、サーバー・システム１０８は更なるステップへ進み、写真内で検出された顔についての提案されたユーザー識別子を決定し、ユーザーへこの提案を承認又は却下ることを要請し得る。或る実施例においては、関連性は自動的に実行し得る。例えば、サーバー・システム１０８は未確認の顔と、所定の閾値を越える既知のユーザーの風貌との間の相関関係を判定し、既知のユーザーの身元を未確認の顔に、実質的にユーザーが介在すること無く、関連付ける。
【0030】
識別子「ＵＩＤＺ」１２４（それはユーザーＮｅｉｌを特定し、他のユーザー識別子１２２の集まりに含まれる）は、デジタル写真１４０ａ−１４０ｍの集まりを特定するのに用いられる。デジタル写真１４０ａ−１４０ｍは、ユーザーＮｅｉｌの顔領域１４２ａ−１４２ｍの集まりを含む。特定のユーザー識別子について各々の顔領域を記述するデータは、インデックス１１８にも記憶され、顔領域の場所を指定して、特定の顔写真の毎回の初期顔認識走査が処理される必要性を排除する。
【0031】
或る実施例においては、若干のデジタル写真は、一つ以上の集まりに現れるかもしれない。図示の実施例においては、デジタル写真１３０ａと１４０ａとは、同じ写真であり、ここではユーザーＢｒａｄとＮｅｉｌとは共に「写真１」の異なる顔領域に現れる。「写真１は」ユーザーＢｒａｄに関連した集まり１３０ａ-１３０ｎにおけるデジタル写真１３０ａとして、及びユーザーＮｅｉｌにと関連した写真集まり１４０ａ-１４０ｍ内のデジタル写真１４０ａとして現れる。
【0032】
顔領域１３２ａ−１３２ｎ，１４２ａ−１４２ｎの集まりが処理されて、その中に画像化されたユーザーの一時的顔認識テンプレートを形成する。顔領域１３２ａ−１３２ｎが分析されて、一時的な顔テンプレート１３４ａ-１３４ｎの集まりを決定する（例えば、顔画像内の可視的な目標物又は構造の他の機械的に特定可能な特性）。例えば、一時的顔認識テンプレートは、顔領域１３２ａ-１３２ｎ，１４２ａ−１４２ｍの集まりを処理することにより、形成することができ、顔の全ての特徴（例えば、目、耳、鼻、口角、頬骨）の間の距離を測定し、それらの距離についての比較比を生成することができる。次いで、一時的顔テンプレート１３４ａ-１３４ｎの集まりは、数学的に結合されて、一時的顔モデル１５０ａを形成し、これはユーザーＢｒａｄの識別子「ＵＩＤ１」１２０に関連している。同様に、顔領域１４２ａ-１４２ｍは分析されて一時的顔テンプレート１４４ａ-１４４ｍの集まりを決定する。次いで一時的顔テンプレート１４４ａ-１４４ｍの集まりは、数学的に結合されて、一時的顔モデル１５０ｚを形成し、これはユーザーＮｅｉｌの識別子「ＵＩＤＺ」１２４に関連している。例えば、或る実施例においては、各一時的顔モデル１５０は顔テンプレートのセットである。例えば、一時的顔モデル１５０ａは、セット表記｛ＦＴａ１，ＦＴａ２，．．．ＦＴａｎ｝により表示された顔テンプレート１３４ａ，１３４ｂ，．．．１３４ｎのセットである。他の実施例においては、一時的顔モデル１５０ａは、単独顔テンプレートとすることができ、これはセット内の構成顔テンプレートの各々の測定に基づいている。単独の顔テンプレートは、例えば、顔テンプレートのセットにおける対応する値に基づく中心傾向値に基づくことができる。
【0033】
次いで、一時的顔モデル１５０ａ−１５０ｚは、デジタル写真１０６内に描写された顔画像１１２−１１６を特定する試みに用いられる。これらの一時的顔モデル１５０ａ-１５０ｚを使用するための処理は、図２-７の説明内で記述される。顔認識処理が実質的に終了したるとき、一時的顔テンプレート１３４ａ-１３４n，１４４ａ-１４４m及び一時的顔モデル１５０ａ-１５０ｚは破壊されて、記憶されない。或いは、テンプレート及びモデルは破壊されないが、それらを恒久的保管ストレージに収容させることなく、メモリにキャッシュされる。キャッシュ資産が利用可能な限り、テンプレート及びモデルはメモリ内に維持される。
【0034】
或る実施例においては、サーバー・システム１０８は決定された順序で一時的顔モデル１５０ａ-１５０zを構築し得るか及び／又は使用し得る。例えば、サーバー・システム１０８は、先ず一時的顔モデル１５０ａを用いる構築により開始され、というのは写真を提示したユーザー（例えば、ユーザーＢｒａｄ，ＵＩＤ１）が写真内に描写されていることは大いにあり得るためである。同様に、サーバー・システム１０８は一時的顔テンプレートを構築して、顔を検索し、この顔は、他のユーザーに対する提示するユーザーを反映する順序で示される。例えば、処理及び検索順序は、提示ユーザー彼自身/彼女自身、提示ユーザーによってしばしば写真を撮られる他のユーザー、提示ユーザーがしばしば描かれる他のユーザー、提示ユーザーがしばしば写真を撮られる他のユーザー、提示ユーザーの接触者リストにおける接触者、提示ユーザーがしばしば連絡する他の人々、提示ユーザーの接触者の友人、及び他の適切なユーザーを探すことを含み得る。
【0035】
或る実施例においては、決定された順序で顔を特定しようとすることによって、不必要な処理を回避し得る。例えば、決定された順序で顔を処理して、特定することによって（例えば、最も重要又は適した顔は最初に検索される）、顔は処理における早期に特定されて、更なる一時的顔テンプレートを構築することの必要性を回避し得る。
【0036】
図２は、本開示事項の実施形態による顔認識処理における顔画像を使用するための概念的モデル２００を図解する。モデル２００において、デジタル写真１０６が処理されて、人の顔の存在を判定し、判定された人の顔を含む顔領域を特定する。図示の例では、顔領域２０２ａ、顔領域２０２b及び顔領域２０２ｃは、デジタル写真１０６内で特定された。
【0037】
顔領域２０２ａ-２０２ｃは、一時的顔テンプレート２１０ａを形成するために、顔領域２０２ａに含まれた顔、顔領域２０２ｂに含まれた顔に基づく一時的顔テンプレート２１Ob、及び顔領域２０２ｃに含まれた顔に基づく一時的顔テンプレート２１０ｃに基づいて分析される。
【0038】
一時的顔モデル２２０ａは、以前にユーザーＢｒａｄの識別子１２０に関連していた画像から形成され、一時的顔モデル２２０ｃは、以前にユーザーＮｅｉｌの識別子「ＵＩＤＺ」１２４に関連していた画像から形成される。更なる一時的顔モデル、例えば一時的顔モデル２２０ｂは、他のユーザー、例えば識別子「ＵＩＤ５」２２２と関連したユーザーであり、提示ユーザーに対して社会的関係を有するユーザー（例えば、図１の他のユーザー識別子１２２の集まりによって特定されるユーザー）の以前に特定された画像から形成されている。
【0039】
テンプレート整合処理２３０は、一時的顔テンプレート２１０ａ−２１０ｃを一時的顔モデル２２０ａ−２２０ｚに対して比較して、デジタル写真１０６内に描かれた未知の人を既に特定された既知の人の識別子に関連付ける。例えば、顔テンプレートＦＴａは各々の顔モデルＦＭにおける各々の顔テンプレートと比較されて、顔モデルＦＭのテンプレートのセットにおけるテンプレートの一つに対して顔テンプレートＦＴａの整合があるならば、次いで顔テンプレートＦＴａは顔モデルＦＭに整合すると判定される。
【0040】
図示の例においては、一時的顔テンプレート２１０ａは一時的顔モデル２２０ａに対応を有することが見いだされており（ＦＴａ＝ＦＭ１）、一時的顔テンプレート２１０ｃは一時的顔モデル２２０ｚに対応を有することが見いだされている（ＦＴｃ＝ＦＭＺ）。しかしながら、一時的顔テンプレート２１０ｂについては、不整合が見いだされている（ＦＴｂ＝零）（例えば、ユーザーＣｈａｎｎｉｎｇとユーザーＢｒａｄとはソーシャル・ネットワーク上の友人ではない場合があり、ユーザーＣｈａｎｎｉｎｇはソーシャル・ネットワーク上で識別子を持っていない場合があり、ユーザーＣｈａｎｎｉｎｇが既に特定されたデジタル写真が無い場合がある）。テンプレートが整合し、デジタル写真１０６内の対応する人物が特定された後、一時的顔テンプレート及びモデルは破壊されるか、或いは、キャッシュメモリ内に記憶される。
【0041】
図３は本開示事項の実施形態による顔認識処理におけるデジタル写真１０６内に見いだされた顔画像１１２-１１６を使用するための他の概念的モデル３００を図解する。一般に、概念的モデル３００は、図２の概念的モデル２００により示される処理の拡張である。概念的モデル２００は、一時的顔モデルが提示ユーザーのソーシャル・ネットワークの画像から構築されていることを図解し、概念的モデル３００は、図２の顔テンプレートに加えて、一時的顔モデルが二次又はより高次の接触者に基づいて構築できることを図解する。或る実施例においては、高次の接触者は、友人の友人、他のユーザーと同一の写真内に現れるユーザー、実質的に同じ場所で撮られた写真に個別に現れるユーザー、実質的におよそ同じ時間に撮られた写真に個別に現れるユーザー、又は共通の人々、場所、及び時間を通じて互いに間接的に関係できる他のユーザーを含む。
【0042】
概念的モデル２００の例においては、不整合は一時的顔テンプレート２１０ｂについて見いだされている。再度、図３及び概念的モデル３００を参照すると、一時的顔テンプレート２１０ｂの整合は探し求められている。
【0043】
テンプレート整合処理２３０は、より高次のユーザー識別子を特定する。ユーザーＮｅｉｌの識別子「ＵＩＤＺ」１２４は、他のユーザー３１０に関連している。或る実施例においては、他のユーザー識別子の集まり３１０は、ユーザーＮｅｉｌのソーシャル・ネットワーキング友人、電子メール接触者、ユーザーＮｅｉｌが頻繁に連絡する人々、ユーザーＮｅｉｌが写真を頻繁に撮る人々、ユーザーＮｅｉｌの写真を撮る人々、ユーザーＮｅｉｌと共に写真内に頻繁に現れる人々、ユーザーＮｅｉｌが現れる写真と実質的に同じ場所及び／又は位置で撮られた写真で現れる人々、又は他の適切なユーザー識別子を含むことができる。同様に、ユーザー識別子「ＵＩＤ５」２２２は、他のユーザー識別子の集まり３２０に関係している。他のユーザー識別子の集まり３１０及び３２０は共にユーザーＢｒａｄの識別子「ＵＤＩ１」を含み、というのは、ユーザーＮｅｉｌ及びユーザー識別子「ＵＩＤ５」２２２に関連したユーザーがユーザーＢｒａｄにソーシャル・ネットワーク経由で相互に接続されるためである。
【0044】
他のユーザー識別子の集まり３１０、３２０に含まれるユーザー識別子の選択された各々について、既にデジタル写真内で特定されたそれらのユーザーの顔の画像から一時的顔テンプレートが構築される。一例として、ユーザー識別子「ＵＩＤ５１」３３０はユーザー識別子「ＵＩＤ５」に関連している（例えば、ＵＩＤ５及びＵＩＤ５１によって表されるユーザーはソーシャル・ネットワーク経由で接続される）。次いで、一時的顔テンプレートの集まり３４０は、ＵＩＤ５１によって表されるユーザーが既に特定された既存の写真（図示せず）のコレクションから得られる。一時的顔テンプレートの集まり３４０は、数学的に結合されて、一時的顔モデル３５０を形成する。次いでテンプレート整合処理２３０は、一時的顔モデル３５０は一時的顔テンプレート２１０ｂに対して相関関係を有すると判定する（ＦＭ５１=ＦＴb）。テンプレートが整合し、且つデジタル写真１０６内の対応する個人が特定された後、一時的顔テンプレート及びモデルは破壊されるか、或いは、キャッシュメモリに記憶される。
【0045】
従って、図２の処理がユーザー識別子及び関連する写真データの二つのレベルを処理する（例えば、ユーザー識別子ＵＩＤ１は第１のユーザー識別子となり、ユーザー識別子ＵＩＤ２，ＵＩＤ５．．．ＵＩＤＺは第２のユーザー識別子となる）が、図３の処理はユーザー識別子の複数のレベルを処理する。例えば、第３のユーザー識別子ＵＩＤ１，ＵＩＤ５１，ＵＩＤ５２．．．ＵＩＤ５Ｚは、第２のレベルのユーザー識別子ＵＩＤ５のために選択される。各々の第３のユーザー識別子は、第２のユーザー識別子の一つ以上によってもインデックスを付けられたデジタル写真インデックスにおけるデジタル写真にインデックスを付けるユーザー識別子である。各々の第３のユーザー識別子にインデックスを付けられた写真データから生成されたテンプレートは、次いで、写真１０６から生成されたテンプレートと比較される。
【0046】
図４は、本開示事項の実施形態による顔認識を実行する例示的処理４００のフロー図である。或る実施例においては、処理４００は図１のサーバー・システム１０８により実行されるか、図２及び図３のテンプレート整合処理２３０である場合がある。
【0047】
顔がデジタル写真内に検出されたとき、処理４００はステップ４０５において開始される。例えば、サーバー・システム１０８はデジタル写真１０６を分析し、人の顔となり得るデジタル写真１０６内のパターンを探すであろう（例えば、目、口、鼻のパターン及び間隔を分析する）。この写真は第１のユーザー識別子によって特定されたユーザーによって提示される。
【0048】
ステップ４１０において、デジタル写真内の未知の顔についての一時的顔テンプレートが構築される。例えば、デジタル写真１０６は、三つの顔の画像１１２，１１４及び１１６を含む。顔画像１１２−１１６の各々について、一時的顔テンプレートが構築される。
【0049】
ステップ４１５において、ユーザーの接触者、写真内でユーザーと共に頻繁に現れる人々、及びユーザーが写真を撮る人々の特定がなされ、第２のユーザー識別子の特定がもたらされる。或る実施例においては、ユーザーに間接的に提携する他のユーザーの特定をなすことができる。例えば、相互接触者の友人であるユーザーは特定され得る。他の例では、ユーザーは社交イベント（例えばクラス会）のデジタル写真をアップロードし得る。明確にユーザーと関連していない他のユーザーは、同じ社交イベントの写真を提示し得る。サーバー・システム１０８は、写真１０８のこの二つのセットが実質的に同じ時間及び場所で撮られたことを検出し（例えば、タイムスタンプ及びジオタグを通じて）、その二人のユーザーが潜在的に関係している（例えば、彼らは旧来の同級生である）と判定し得る。
【0050】
ステップ４２０において、ユーザー識別子の一つに対応するユーザーの顔写真のインデックスが調べられる。例えば、デジタル写真１０６はユーザーＢｒａｄによって提示され、彼はユーザー識別子「ＵＩＤ１」１２０を有し、従って、処理４００はＢｒａｄのユーザー識別子により開始される。顔領域１３２ａ−１３２ｎのコレクションは、ユーザーＢｒａｄの顔画像を含み、デジタル写真インデックス１１８から取り出される。ステップ４２５において、一時的ユーザー顔テンプレートは、各々の写真内のユーザーの顔について生成される。例えば、顔領域１３２ａ-１３２ｎのコレクションのために、対応する一時的顔テンプレート１３４ａ-１３４ｎが生成されて、持続性のないメモリに保管される。
【0051】
ステップ４３０において、最良のユーザー顔テンプレートの集まりは、一時的ユーザー顔テンプレートの生成されたセットから特定される。例えば、一時的顔テンプレート１３４ａ-１３４ｎの一部は、目的の顔が振り返っているか、部分的に隠されるか、ぼやけているか、不適当に輝くか、焦点がずれているか、或いはさもなければ一時的顔テンプレートの作成にふさわしくない顔領域から構築され得る。サーバー・システム１０８は、選択されたユーザーについての顔認識処理において使用するためのそれらの適合性によって、一時的顔テンプレート１３４ａ−１３４ｎに順位を付けて、デジタル写真内で最良の一時的顔テンプレートのそれぞれの顔領域のインデックスを維持し得る。ユーザーの顔の更なる例が、デジタル写真インデックス１１８に記憶されたデジタル写真内で特定されるにつれて、新たに特定された顔領域が顔認識を実行するのにより適していると判定されることがあるので、それらの顔領域に関連した写真をインデックス内の既存の適当でない写真に代える場合がある。顔認識処理において使用するためのデジタル画像のインデックスを決定する例示的処理は、図７の説明に論じられている。
【0052】
ステップ４３５において、ユーザー顔テンプレートの各々は、各々の未知の顔と比較されて、候補整合を特定する。或る実施例においては、ユーザー顔テンプレートは復合一時的顔モデルへ数学的に結合されて、それに対して未知の顔テンプレートを比較し得る。例えば、顔モデルがユーザー顔テンプレートのセットであるならば、各々のユーザー顔テンプレートは各々の未知の顔テンプレートと比較されて、候補整合を特定する。或いは、顔モデルがユーザー顔テンプレートの各々から導かれた単独の顔テンプレートであるならば、次いで、この単独のテンプレートは各々の未知の顔テンプレートと比較される。
【0053】
ステップ４４０において、より多くのユーザー識別子が処理されたか否かに関する判定がなされる。より多くのユーザー識別子が処理されるならば（例えば、より多くの接触者又は人々が、ユーザーについて明確に又は潜在的に特定されて、アップロードされた写真から生成されたテンプレートの全てが整合しているとは限らない）、次いで、他のユーザー識別子がステップ４４５において選択され、処理はステップ４２０へ続く。しかしながら、処理されるべきユーザー識別子がもはや残っていないならば、処理４００は終了する。
【0054】
或る実施例において、一時的顔テンプレート及びモデルが、それらの処理４００のために必要とされるよりも実質的に長く持続せず、処理４００が終了するとき、その一時的顔テンプレート及びモデルは、非持続性メモリから削除される。
【0055】
図５は本開示事項の実施形態により実行される顔認識のためのユーザーのユーザー識別子を選択する例示的処理５００のフロー図である。一般に、処理５００はデジタル写真内の顔を特定してそれらの各々の顔テンプレートを優先させる目的で、提示ユーザーが知っているであろう他のユーザーを特定し、提示ユーザーとは関係が薄いか若しくは関係が無い他のユーザーを除去する。或る実施例においては、処理５００は図１のサーバー・システム１０８で実行されるか、或いは、図２及び図３のテンプレート整合処理２３０である場合がある。或る実施例においては、処理５００は図４のステップ４１５の一部であり得る。
【0056】
この処理５００はステップ５１０において開始され、そこでは第１のユーザー識別子に関連する第２のユーザー識別子が、特定された第２のユーザー識別子の集まりから選択される。例えば、ユーザー識別子が全てのユーザーの集まりから採り得るか、或いは、第１のユーザーに対する明白又は潜在的な関係の第１、第２、又は他の適切な所定の高次を有するユーザーの集まりがサーバー・システム１０８で選択され得る。
【0057】
ステップ５２０において、第２のユーザーに対する第１のユーザーの関係を表す類縁性スコアが生成される。例えば、第２のユーザーは、第１のユーザーの接触者であることがあり、第１のユーザーによって撮られる複数の写真内に現れることがあり、しばしば第１のユーザーと連絡することがあると、これらの交流二人のユーザーの間の強い社会的関係を示し得るので、従って比較的に高い類縁性スコアが与えられるであろう。他の例においては。第２のユーザーは第１のユーザーの友人の友人であって、二人の間には他の既知の関係は無いと、これらの事実は希薄な社会的関係を示し得るので、比較的に低い類縁性スコアが与えられるであろう。
【0058】
或る実施例においては、提示ユーザーの識別子によってインデックス付けされたデジタル写真の各々について、そのデジタル写真にインデックスを付けている他のユーザー識別子も決定することによって、類縁性スコアを生成し得る。他のユーザー識別子の各々について、類縁性スコアは、提示ユーザーの識別子と他のユーザーの識別子との両方によりインデックス付けされたデジタル写真の数に比例する値に部分的に基づいて決定される。或る実施例においては、類縁性スコアは、デジタル写真の各々が生成された時間に部分的に基づくこともできる。例えば、二人のユーザーの両方が最近の写真内で特定されるならば、類縁性スコアは、より最近に撮られたのではない類似した写真について生成され得る類縁性スコアよりも比較的に高い場合がある。
【0059】
或る実施例においては、提示ユーザー及び他のユーザーについての類縁性スコアは、提示ユーザーが他のユーザーの識別子によるタグ付けを有する他のユーザーのデジタル写真の数に比例している数に部分的に基づき得る。或る実施例においては、これらの類縁性スコアは更に、提示ユーザーがデジタル写真の各々にタグを付けた時間に部分的に基づき得る。例えば、類縁性スコアは、提示ユーザーが最近タグを付けた他のユーザーについては比較的に高く、類縁性スコアは、かつてタグを付けられたユーザーについては比較的に低い場合がある。
【0060】
ステップ５３０において判定がなされる。類縁性スコアが閾値を満たさないならば、処理５００はステップ５４０へ続く。例えば、第１のユーザーと第２のユーザーとの間の社会的関係が非常に希薄であるならば、第２のユーザー識別子は第１のユーザー識別子には関連していない。しかしながら、ステップ５３０において、類縁性スコアが閾値を満たすならば、ステップ５５０において、第２のユーザー識別子は第１のユーザー識別子に関連している。例えば、第２のユーザー識別子は、ユーザーＢｒａｄの識別子「ＵＩＤ１」１２０に関連した他のユーザー識別子１２２の集まりに加え得る。
【0061】
ステップ５４０において、判定がなされる。特定された第２のユーザー識別子の集まり内に多くの第２のユーザー識別子があるならば、処理５００はステップ５１０へ続く。第２のユーザー識別子がもはや存在しないならば、処理５００は終了する。
【0062】
図６は本開示事項の実施形態によるデジタル画像内の選択されたユーザーを認識するための例示的処理のフロー図である。一般に、処理６００は、デジタル写真内の顔を特定する目的で、提示ユーザーと他のユーザーとのソーシャル・ネットワーキング関係の見掛けの強さに応じて他のユーザーに順位を付ける。或る実施例においては、処理６００は図１のサーバー・システム１０８で実行され得るか、或いは図２及び３のテンプレート整合処理２３０であり得る。或る実施例においては、処理６００は処理５００の継続である場合がある。
【0063】
処理６００はステップ６１０において開始され、そこでは第２のユーザー識別子が類縁性スコアに従って順位を付けられる。例えば、図５のステップ５２０において決定された類縁性スコアに従って、他のユーザー識別子１２２の集まりは順位を付け得る。
【0064】
ステップ６２０において、第２のユーザー識別子が選択されて、ステップ６３０において第２の顔テンプレートが第２のユーザー識別子について生成される。例えば、他のユーザー識別子１２２の各々のために、選択された他のユーザーの画像を含むことが知られている画像のコレクションは、サーバー・システム１０８から取り出されて、処理させて、選択された他のユーザーの顔テンプレートを生成する。
【0065】
ステップ６４０において、第２の顔テンプレートに整合する第１の顔テンプレートは、順位に従って特定される。例えば、サーバー・システム１０８は先ず提示ユーザー１１２の顔に対してのデジタル写真１０６内の未知の顔を整合させようと試みて、次いで、ユーザー１１２の接触者、次いで写真内でユーザー１１２と共に頻繁に現れる他のユーザーの顔、次いでユーザー１１２が写真を頻繁に撮るユーザーなどに整合させようと試みるであろう。
【0066】
或る実施例においては、検索は制限されるであろう。例えば、デジタル写真内の全ての顔が特定されたとき、検索は終了するであろう。他の例においては、充分な品質であるデジタル写真内の顔だけが検索される（例えば、背景における人々の顔は、非常に小さいか焦点がずれているので、省略されるであろう）。他の例においては、最も高い類縁性スコアを有する第２のユーザーのみの所定の数がデジタル写真内の未知の顔に対して比較されることもある。更に他の例においては、検索は、所定の時間が経過した後か、又は所定の処理労力が費やされたときに、終了させる場合がある（例えば、それを通じて検索するには非常に大きなソーシャル・ネットワークによる多数の顔及び／又はユーザーを有する写真によって消費される処理負荷の量を制限するため）。
【0067】
図７は本開示事項の実施形態による顔認識処理で使用するためにデジタル画像のインデックスを更新する例示的処理７００のフロー図である。一般に、顔認識の処理は、高品質一時的顔テンプレートを形成するのに用いられる選択されたユーザーの顔の画像を含む写真のコレクションを予め特定することより強化することができ、それらの写真内の顔領域を特定し、選択されたユーザーの識別子に関係する情報を記憶するので、予め特定された顔領域を迅速に取り出して、一時的顔モデルを形成するために処理することができる。一時的顔テンプレート及びモデルはデジタル写真内で顔を認識するのに用いることができ、次いで、持続されるのではなく、削除される。
【0068】
或る実施例においては、写真のコレクションは、所定の数の写真に制限され得る。例えば、コレクションは最高「N」（例えば、１０，２０，５０，１００）のインデックスを付けられた写真に限定され得る。顔の領域のより良い例が特定されると、既にインデックスを付けられたが、適当ではない写真は、新たに特定されたものによるインデックスに代えられ得る。そのように、一時的顔モデルを生成するのに用いられたインデックスの全体的な品質が使用と共に向上し得る。或る実施例においては、処理７００は図１のサーバー・システム１０８により実行し得る。
【0069】
この処理７００は、デジタル写真がアクセスされるとステップ７１０において開始される。例えば、サーバー・システム１０８はデジタル写真１０６をデジタル写真インデックス１１８から取り出し得る。ステップ７２０において、顔テンプレートは、デジタル写真内で検出された各々の顔について生成される。例えば、サーバー・システム１０８は顔領域２０２ａ−２０２ｃから一時的顔テンプレート２１０ａ−２１０ｃを生成することができる。
【0070】
ステップ７３０において、生成された顔テンプレートの一つが選択される。ステップ７４０において、検出された顔が選択された顔テンプレートを生成するのに用いられたユーザーを特定するユーザー識別子が決定される。例えば、サーバー・システム１０８は、一時的顔テンプレート２１Oｃが一時的顔モデル２２０ａに整合することを判定でき、顔領域２０２cがユーザーＮｅｉｌの識別子「ＵＩＤＺ」１２４を表すものと判定する。
【0071】
ステップ７５０において、顔テンプレートのための品質スコアが生成される。例えば、一時的顔テンプレート２１０ｃ及び／又は顔領域２０２cは分析することができ、顔テンプレートの品質は、テンプレートが得られた写真のぼけ又は鮮明さ、写真における光状態（例えば、正確な測定をなすには明るすぎるか暗すぎる）、或いは既存のテンプレートにどのくらい類似しているか（例えば、同じテンプレートの二つのコピーを保つ必要はない）に、部分的に基づくことができる。或る実施例においては、多様なテンプレートをモデルのために使用し得る。例えば、ユーザーが微笑んでいて、しかめっ面をしていて、笑っていて、異なる角度からの視点、様々な照明状況下の視点のテンプレートであり、或いは、ユーザーの他の適切な視点がユーザーの一時的な顔のモデルを改善するのに用いることができる。
【0072】
ステップ７６０において品質スコアが閾値を満たすか否かの判定がなされる。品質スコアが閾値を満たさないならば、処理７００はステップ７３０へ続き、ここでは他の顔テンプレートが選択される。ステップ７６０において、品質スコアが閾値を満たすならば、処理７００はステップ７７０へ続く。ステップ７７０において、品質スコアと、特定されたユーザーの顔が位置する領域を指定するデータとが記憶される。例えば、サーバー・システム１０８は、品質スコア、デジタル写真１０６の識別子、ユーザー識別子、及びデジタル写真インデックス１１８における顔領域２０２cの説明を記憶し得る。
【0073】
或る実施例においては、品質スコアは対応するユーザー識別子に関連して既に記憶された品質スコアを越えて、より高い品質スコアに対応する情報は、より低い品質スコアに関して記憶された情報に代えるのに用いられるであろう。例えば、ユーザー識別子に関連した最低の品質スコアは、品質スコア閾値として使用し得る。より高い品質スコアが関連するユーザーのために決定されるとき、より高品質スコアとそれに関連した情報は、品質スコア閾値と関連した情報に代えられる。従って、デジタル写真インデックスは、ユーザー識別子の各々について、一番上のＮ品質格付けされた写真にインデックスを付けるために、絶えず更新される。
【0074】
この主題の実施形態及び本明細書で説明された操作は、デジタル電子回路に、又は、コンピュータ・ソフトウェア、ファームウェア又はハードウェア（本明細書において開示された構造及びそれらの構造的均等物を含む）、或いは、それらの一つ以上の組み合わせに実装することができる。本明細書において説明された主題の実施形態は、一つ以上のコンピュータ・プログラム、即ち、データ処理装置により実行されるか、又はデータ処理装置の操作を制御するために、コンピュータ記憶媒体上にコード化されたコンピュータ・プログラム指令の一つ以上のモジュールとして実施することができる。コンピュータ記憶媒体は、コンピュータ読み取り可能記憶デバイス、コンピュータ読み取り可能記憶基板、ランダム又はシリアル・アクセス・メモリ配列若しくはデバイス、或いはこれらの一つ以上の組み合わせとすることができるか、或いはそれらに包含させることができる。コンピュータ記憶媒体は、一つ以上の個別の物理的部品又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）とすることもできるか、或いはそれらに包含させることもできる。
【0075】
本明細書において説明された操作は、一つ以上のコンピュータ読み取り可能記憶デバイスに記憶された又は他の源から受け取ったデータに関するデータ処理装置により実行される操作として実施することができる。
【0076】
用語「データ処理装置」は、データを処理する装置、デバイス、及び機械の全ての種類を包含し、例としてプログラマブル・プロセッサ、コンピュータ、チップ上のシステム、或いはそれらの複数のもの又は組合せを含む。その装置は特殊用途論理回路、例えば、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）又はＡＳＩＣ（特定用途向け集積回路）を含むことができる。この装置は、ハードウェアに加えて、対象のコンピュータ・プログラムのための実行環境を形成するコード、例えば、プロセッサ・ファームウェアを構成するコード、プロトコル・スタック、データベース管理システム、オペレーティング・システム、クロス・プラットフォーム実行時環境、仮想マシン、或いはそれらの一つ以上の組合せも含むことができる。この装置及び実行環境は、様々な異なるコンピューティング・モデル基盤、例えばウェブ・サービス、分散コンピューティング及びグリッド・コンピューティング基盤を実現することができる。
【0077】
コンピュータ・プログラム（プログラム、ソフトウェア、ソフトウェア・アプリケーション、スクリプト又はコードとしても知られる）は任意の形態のプログラミング言語で書くことができ、これはコンパイラ型又はインタープリタ型言語、宣言型又は手続き的言語を含み、これは任意の形態に展開することができ、これは独立型プログラムとして、或いはモジュール、構成要素、サブルーチン、オブジェクト、又は、コンピューティング環境における使用に適している他のユニットとして含まれる。コンピュータ・プログラムは、ファイルシステムにおけるファイルに対応し得るが、必ずしもその必要はない。プログラムは、問題のプログラムに専用された単独のファイル内の、又は複数の組織的ファイル（例えば、一つ以上のモジュール、サブ・プログラム又はコードの部分を記憶するファイル）内の、他のプログラム又はデータ（例えば、マークアップ言語文書に記憶された一つ以上のスクリプト）を保持するファイルの一部に記憶することができる。コンピュータ・プログラムは、一つのコンピュータで、又は複数のコンピュータ、即ち、一つサイトに位置するか、又は複数のサイトに亘って分散されて通信ネットワークによって相互接続された複数のコンピュータで実行するために展開することができる。
【0078】
本明細書において説明された処理及び論理フローは、入力データを操作して出力を生成することによって行動を実行するために一つ以上のコンピュータ・プログラムを実行する一つ以上のプログラマブル・プロセッサにより実行することができる。処理及びフローも特殊用途論理回路、例えばＦＰＡ（フィールド・プログラマブル・ゲート・アレイ）又はＡＳＩＣ（特定用途向け集積回路）により実行することができ、装置もこれらにより実装することができる。
【0079】
コンピュータ・プログラムの実行に適するプロセッサは、例として、汎用と特殊用途用との両方のマイクロプロセッサ、及び任意の種類のデジタル・コンピュータの一つ以上の任意のプロセッサを含む。一般に、プロセッサは読出し専用メモリ又はランダム・アクセス・メモリ又はそれらの両方から指令及びデータを受け取る。コンピュータの必須要素は、指令に従って行動を実行するためのプロセッサと、指令及びデータを記憶する一つ以上のメモリ・デバイスである。一般に、コンピュータは、一つ以上のマス・ストレージ・デバイス、例えば、磁気、磁気光ディスク、又は光ディスクを含むか、或いはそれに対して操作可能に接続されて、それに対してデータを受信するか送信するか、又は送受信をなす。しかしながら、コンピュータはそのようなデバイスを有する必要はない。更に、コンピュータは他のデバイス、例えば、単に幾つかの例を挙げると、携帯電話、個人用携帯情報機器（ＰＤＡ）、モバイル・オーディオ又はビデオ・プレーヤー、ゲーム・コンソール、全地球位置測定システム（ＧＰＳ）レシーバー又は携帯用記憶デバイス（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）フラッシュドライブ）に埋設することができる。コンピュータ・プログラム指令及びデータを記憶するために適するデバイスは、不揮発性メモリ、媒体及びメモリ・デバイスの全ての携帯を含み、例として半導体メモリ・デバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュ・メモリ・デバイス、磁気ディスク（例えば、内蔵ハードディスク又はリムーバブル・ディスク）、光磁気ディスク、並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む。プロセッサ及びメモリは、特殊用途論理回路によって補うことができるか、それに組み込むことができる。
【0080】
ユーザーとの対話を提供するために、本明細書で説明される主題の実施形態は、コンピュータで実行することができ、このコンピュータは、ユーザーへ情報を表示するためのディスプレイ・デバイス、例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）並びにユーザーがコンピュータへ入力を与えることができるキーボード及びポインティング・デバイス、例えば、マウス又はトラックボールを有する。他の種類のデバイスは、同様にユーザーとの対話を提供するために用いることができ、例えば、ユーザーへ提供されるフィードバックは、感覚的フィードバックの任意の形態、例えば、視覚的フィードバック、聴覚的フィードバック又は触覚型フィードバックとすることができ、ユーザーからの入力は、音響、発話、又は触覚型入力を含む任意の形態で受け取ることができる。更に、コンピュータは、ユーザーにより使用されるデバイスに対して文書を送受信することにより、ユーザーと交流することができ、これは例えば、ウェブ・ブラウザから受信した要請に応じて、ウェブ・ページをユーザーのクライアントのウェブ・ブラウザへ送ることによる。
【0081】
本明細書で説明される主題の実施形態は、コンピュータ・システムで実行することができ、そのコンピュータ・システムは、バック・エンド構成要素、例えば、データ・サーバーを含み、或いはミドルウェア構成要素、例えば、アプリケーション・サーバーを含み、或いはフロント・エンド構成要素、例えば、グラフィカル・ユーザ・インタフェースを有するクライアント・コンピュータ、又はそれを通じてユーザーが本明細書で説明される主題の実施と交流できるウェブ・ブラウザを含み、或いは、そのようなバック・エンド、ミドルウェア又はフロント・エンド構成要素の任意の組合せを含む。システムの構成要素は、任意の形式或いはデジタル・データ通信の媒体、例えば、通信ネットワークにより相互接続することができる。通信ネットワークの例は、ローカル・エリア・ネットワーク（「ＬＡＮ」）及びワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）及びピアツーピア・ネットワーク（例えば、ホック・ピアツーピア・ネットワーク）を含む。
【0082】
コンピュータ・システムは、クライアント及びサーバーを含むことができる。クライアントとサーバーとは、一般に互い離隔しており、代表的には通信ネットワーク経由で相互作用する。クライアントとサーバーとの関係は、それぞれのコンピュータで作動するコンピュータ・プログラムによって生じ、且つ互いにクライアント−サーバー関係を有する。或る実施形態において、サーバーはデータ（例えば、ＨＴＭＬページ）をクライアント・デバイスへ送信する（例えば、データを表示して、クライアント・デバイスと相互作用しているユーザーからのユーザー入力データを受信する目的のため）。クライアント・デバイスにて生成されたデータ（例えば、ユーザー相互作用の結果）は、サーバーにおいてクライアント・デバイスから受け取ることができる。
【0083】
そのような種類のコンピュータの一例は図８に示されており、これは本明細書で説明される主題の様々な態様の装置を実施又は方法を実行するのに適するプログラマブル処理システム８００のブロック図を示す。このシステム８００は、プロセッサ８１０、ランダム・アクセス・メモリ（ＲＡＭ）８２０、記憶デバイス８３０、及びプロセッサ（ＣＰＵ）バス８５０により接続された入力／出力（Ｉ／Ｏ）コントローラ８４０を含む。このシステム８００は、ＲＯＭに予めプログラムすることができ、例えば或いは、それは、他の源（例えば、フロッピー・ディスク、ＣＤ―ＲＯＭ、又は他のコンピュータから）プログラムをロードすることによって、プログラム（及び再プログラム）することができ）。
【0084】
記憶デバイス８３０は、実行可能なコンピュータ・プログラムを実行するのに適しており、これは本明細書で説明される主題の態様を実施するプログラムと、デジタル写真、ユーザー識別子、顔の領域情報、ユーザー関係、類縁性スコア、品質スコア、デジタル写真によりユーザー識別子に関係する情報、及び他の適切なデータとを含む。
【0085】
Ｉ／Ｏコントローラ８４０は、データ（例えば、構成へインポートするためのスチール、ピクチャ、ムービー、アニメーション）を通信リンク、例えば、シリアル・リンク、ローカル・エリア・ネットワーク、無線リンク、並行リンク上をアナログ又はデジタル形態で受信及び送信する。 また、Ｉ／Ｏコントローラ８４０に接続されているのは、出力デバイス８６０であり、これは様々な実施形態においては、ディスプレイ、キーボード、プリンター、及び他の入出力周辺機器を含むことができる。
【0086】
本明細書は多くの特定の実施の詳細を含むが、これらは任意の発明の要旨又は請求されるであろうものを限定するように構成されるべきものではなく、むしろ特定の発明の特定の実施例を指定する特徴の説明としてのものである。個別の実施形態の状況において本明細書で説明された特定の特徴は、単独の実施形態において組合せで実施することもできる。逆に、単独の実施形態の状況で説明された様々な特徴は、個別の複数の実施形態において、又は、任意の適宜なサブ・コンビネーションにおいて実行することもできる。更に、特徴が特定の組合せにおいて実行されるものとして上述し、そのように請求すらしたが、請求された組み合わせからの一つ以上の特徴は、場合によっては、組み合わせから削除することができ、請求された組合せはサブ・コンビネーション又はサブ・コンビネーションの変更例を意図している。
【0087】
同様に、操作は図中では順序で図示したが、これは、このような操作が図示の特定の順序又は連続的順序で実行されることを要求するものとして理解されるべきではなく、或いは図示された全ての操作を実行することが、望ましい結果を達成するものとして理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利である場合がある。更に上述の実施形態における様々なシステム構成要素の分離は、そのような分離が全ての実施形態に要求されるものとして理解されるべきではなく、説明されたプログラム構成要素及びシステムは一般に単独のソフトウェア製品に一緒に集積することができるか、又は複数のソフトウェア製品にパッケージができることを理解すべきである。
【0088】
このように、主題の特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲の要旨内にある。場合によっては、請求項において記載された行動は、異なる順序で実行されることができ、依然として望ましい結果を達成することができる。更に、添付図面に図示された処理は、望ましい結果を達成するために、図示の特定の順序又は連続的順序を必ずしも必要とするというわけではない。特定の実施例においては、マルチタスキング及び並列処理が有益であろう。