特表 2022-513978 表情グループに基づく操作決定方法、装置及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-09

(54)【発明の名称】表情グループに基づく操作決定方法、装置及び電子機器

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220202BHJP

   G06F 21/32 20130101ALI20220202BHJP

【ＦＩ】

G06T7/00 510F

G06F21/32

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021534727

(86)(22)【出願日】2019-12-13

(85)【翻訳文提出日】2021-06-16

(86)【国際出願番号】 CN2019125062

(87)【国際公開番号】W WO2020135096

(87)【国際公開日】2020-07-02

(31)【優先権主張番号】201811617580.3

(32)【優先日】2018-12-26

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521240697

【氏名又は名称】巽騰（広東）科技有限公司

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】簡 偉明

(72)【発明者】

【氏名】皮 愛平

(72)【発明者】

【氏名】梁 華貴

(72)【発明者】

【氏名】黄 飛鷹

(72)【発明者】

【氏名】陳 秋榕

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA01

5B043AA09

5B043AA10

5B043DA05

5B043EA02

5B043GA01

5B043GA17

(57)【要約】

本願は、表情グループに基づく操作決定方法、装置及び電子機器を提供し、画像処理の技術分野に係る。該方法は、電子機器によって実行される。該方法は、目標対象の現在の顔画像を取得するステップと、現在の顔画像に基づいて、生体識別と顔識別を含む生体顔識別を目標対象に対して行い、識別結果に基づいて、目標対象の身元が正当か否かを判断するステップと、正当である場合、現在の顔画像の現在の表情グループを取得するステップと、現在の表情グループに対応する実行待ち指令を決定するステップと、実行待ち指令に対応する操作を実行するステップとを含む。本願は、顔識別技術を採用するため、顔認識の身元認証機能を引き継ぐとともに、ユーザがカスタマイズした表情動作を加え、仕事、睡眠又は昏睡などの無意識な状態でユーザがこれらの動作をすることがないことを確保し、ユーザの顔の使用の安全性を大きく保護し、電子機器による操作決定の安全性及び信頼性を向上させることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子機器によって実行される表情グループに基づく操作決定方法において、
目標対象の現在の顔画像を取得するステップと、
前記現在の顔画像に基づいて、生体識別と顔識別を含む生体顔識別を目標対象に対して行い、識別結果に基づいて、前記目標対象の身元が正当か否かを判断するステップと、
正当である場合、前記現在の顔画像の現在の表情グループを取得するステップと、
前記現在の表情グループに対応する実行待ち指令を決定するステップと、
前記実行待ち指令に対応する操作を実行するステップとを含むことを特徴とする表情グループに基づく操作決定方法。

【請求項2】

前記の前記現在の顔画像に基づいて生体顔識別を目標対象に対して行うことは、
前記現在の顔画像に対して生体識別を行い、前記現在の顔画像情報が真の生体から直接由来するものかを判断することと、
前記現在の顔画像情報が真の生体から直接由来するものである場合、前記現在の顔画像に対して顔識別を行い、事前保存顔画像リストにおける各事前保存顔画像に前記現在の顔画像がマッチするか否かを判断することと、
そうである場合、前記目標対象の身元が正当であると確認することとを含むことを特徴とする請求項１に記載の表情グループに基づく操作決定方法。

【請求項3】

前記の前記現在の顔画像の現在の表情グループを取得するステップは、
前記現在の顔画像と前記事前保存顔画像リストに基づいて、前記現在の顔画像の現在の表情グループを決定するステップを含むことを特徴とする請求項２に記載の表情グループに基づく操作決定方法。

【請求項4】

前記の前記現在の顔画像と前記事前保存顔画像リストに基づいて、前記現在の顔画像の現在の表情グループを決定するステップは、
前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップと、
前記第１表情特徴モデルと前記各第２表情特徴モデルを比較し、前記現在の顔画像と前記各事前保存顔画像との類似値を決定するステップと、
前記類似値に基づいて、前記現在の顔画像に対応する目標顔画像を決定するステップと、
前記目標顔画像に対応するユーザアカウントを取得するステップと、
前記ユーザアカウントに基づいて、前記現在の顔画像に対応する現在の表情グループを決定するステップとを含むことを特徴とする請求項３に記載の表情グループに基づく操作決定方法。

【請求項5】

前記の前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップは、
前記現在の顔画像に基づいて、前記現在の顔画像における複数の顔重要特徴点の第１位置座標セットを決定するステップと、
前記第１位置座標セットを、前記現在の顔画像に対応する第１表情特徴モデルとするステップと、
前記事前保存顔画像リストにおける各事前保存顔画像の複数の顔重要特徴点の各第２位置座標集を決定するステップと、
前記各第２位置座標セットを、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴セットとするステップとを含むことを特徴とする請求項４に記載の表情グループに基づく操作決定方法。

【請求項6】

前記の前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップは、
前記現在の顔画像を表情識別ニューラルネットワークに入力し、前記現在の顔画像に対応する第１表情特徴モデルを前記表情特徴識別ネットワークに決定させるステップと、
前記顔画像リストにおける各顔画像を前記表情識別ニューラルネットワークに入力し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを前記表情識別ニューラルネットワークに決定させるステップとを更に含むことを特徴とする請求項４に記載の表情グループに基づく操作決定方法。

【請求項7】

前記の前記ユーザアカウントに基づいて、前記現在の顔画像に対応する現在の表情グループを決定するステップは、
前記ユーザアカウントに対応する複数の表情グループを、予め確立されているグループデータベースから検索するステップと、
前記現在の顔画像に対応する表情グループを取得するステップと、
前記現在の顔画像に対応する表情グループを、現在の表情グループに決定するステップとを含むことを特徴とする請求項４に記載の表情グループに基づく操作決定方法。

【請求項8】

前記の前記現在の表情グループに対応する実行待ち指令を決定するステップは、
前記現在の表情グループに対応する実行待ち指令を、予め確立されている指令データベースから検索するステップを含み、
ここで、前記指令データベースには、前記表情グループと前記実行待ち指令との対応関係が記憶されており、
前記実行待ち指令は、少なくとも１つの前記表情グループに対応することを特徴とする請求項１に記載の表情グループに基づく操作決定方法。

【請求項9】

前記指令データベースは、少なくとも、パス指令、決済指令及び／又は通報指令を含み、
ここで、前記通報指令は、少なくとも１種の通報指令を含み、各種類の前記通報指令は、１種の通報方式に対応し、異なる種類の前記通報指令に対応する表情グループが異なり、
前記決済指令は、少なくとも１種の決済指令を含み、各種類の前記決済指令は、１種の決済限度額に対応し、異なる種類の前記決済指令に対応する表情グループが異なることを特徴とする請求項８に記載の表情グループに基づく操作決定方法。

【請求項10】

ユーザ登録時に、前記ユーザのユーザアカウントを取得し、前記ユーザの事前保存顔画像を収集するステップと、
前記事前保存顔画像の第２表情特徴モデルを決定し、前記ユーザアカウントと前記第２表情特徴モデルとの対応関係を記憶し、前記ユーザアカウントと前記事前保存顔画像との対応関係を記憶するステップと、
前記各第２表情特徴モデルに基づいて、前記各顔画像の表情グループを決定するステップと、
前記ユーザによって設定されている前記表情グループと前記実行待ち指令との対応関係を記憶するステップとを更に含むことを特徴とする請求項１に記載の表情グループに基づく操作決定方法。

【請求項11】

電子機器によって実行される表情グループに基づく操作決定装置において、
目標対象の現在の顔画像を取得するように構成される顔画像取得モジュールと、
前記現在の顔画像が真の生体から直接由来するものかを判断するように構成される生体識別モジュールと、
前記現在の顔画像に基づいて顔識別を目標対象に対して行い、識別結果に基づいて、前記目標対象の身元が正当か否かを判断するように構成される顔識別モジュールと、
前記顔識別モジュールの識別結果として身元が正当である場合、前記現在の顔画像の現在の表情グループを取得するように構成される顔特徴取得モジュールと、
前記現在の表情グループに対応する実行待ち指令を決定するように構成される指令決定モジュールと、
前記実行待ち指令に対応する操作を実行するように構成される操作実行モジュールとを含むことを特徴とする操作決定装置。

【請求項12】

画像収集装置、プロセッサ及び記憶装置を含む電子機器であって、
前記画像収集装置は、画像情報を収集するように構成され、
前記記憶装置には、前記プロセッサによって実行されると請求項１～１０のいずれかに記載の方法を実行するコンピュータプログラムが記憶されていることを特徴とする電子機器。

【請求項13】

プログラムが記憶されているチップであって、
前記プログラムがプロセッサによって実行されると、請求項１～１０のいずれかに記載の方法のステップが実行されることを特徴とするチップ。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１８年１２月２６日に中国特許庁に出願された出願番号ＣＮ２０１８１１６１７５８０．３、「表情グループに基づく操作決定方法、装置及び電子機器」という名称の中国特許出願の優先権を主張し、その内容のすべては、参照により本願に組み込まれる。

【0002】

（技術分野）
本願は、画像処理の技術分野に関し、特に表情グループに基づく操作決定方法、装置及び電子機器に関する。

【背景技術】

【0003】

技術の発展に伴い、電子機器は、ユーザのニーズに応じた多くの業務応用を提供することができ、例えば携帯電話による振り込みや銀行ＡＴＭ機によって、振り込みや入出金などのサービスを、ユーザの指令に応じてユーザに提供することができる。通常の場合、携帯電話による振り込みや銀行ＡＴＭ機は、ユーザＩＤ及びユーザから入力したパスワードとからユーザの身元の正当性を判断し、ユーザからの各種の指令に従って、指令に対応する操作を実行する。従来技術では、操作実行の安全性及び信頼性を保障するために、ユーザの身元を確認する必要があり、そのユーザが正当なユーザであることを確保した上で、指令に対応する操作を実行することが多い。従来の操作決定方式は、非常に簡単であり、単に数字／文字パスワード、ワード、指紋又は顔方式を用いてユーザの身元を決定し、更にそのユーザからの指令に対応する操作を実行することが多い。しかしながら、このような単にパスワードやワード等の方式を採用しただけでは安全性や信頼性が低く、不正者に盗まれやすく、指紋や顔を採用した方式ではコピーされやすく攻撃を受けやすいため、不正者からの指令に対応する操作を電子機器が直接実行することになり、正当なユーザに一定の損害を与えてしまう。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、上記に鑑みてなされたものであって、電子機器による操作決定の安全性及び信頼性を効果的に向上させることができる顔識別及び表情グループに基づく操作決定方法、装置及び電子機器を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本願の実施例は、以下の技術手段を採用する。

【0006】

第１の態様として、本願の実施例は、表情グループに基づく操作決定方法を提供する。該方法において、目標対象の現在の顔画像を取得するステップと、現在の顔画像に基づいて、生体識別と顔識別を含む生体顔識別を目標対象に対して行い、識別結果に基づいて、目標対象の身元が正当か否かを判断するステップと、正当である場合、現在の顔画像の現在の表情グループを取得するステップと、現在の表情グループに対応する実行待ち指令を決定するステップと、実行待ち指令に対応する操作を実行するステップとを含む。

【0007】

第１の態様に関連し、本願の実施例は、第１の態様の第１の可能な実施形態を提供する。ここで、現在の顔画像に基づいて生体顔識別を目標対象に対して行うことは、現在の顔画像に対して生体識別を行い、現在の顔画像情報が真の生体から直接由来するものかを判断することと、現在の顔画像情報が真の生体から直接由来するものである場合、現在の顔画像に対して顔識別を行い、事前保存顔画像リストにおける各事前保存顔画像に現在の顔画像がマッチするか否かを判断することと、そうである場合、目標対象の身元が正当であると確認することとを含む。

【0008】

第１の態様の第１の可能な実施形態に関連し、本願の実施例は、第１の態様の第２の可能な実施形態を提供する。ここで、顔画像の現在の表情グループを取得するステップは、現在の顔画像と事前保存顔画像リストに基づいて、顔画像の現在の表情グループを決定するステップを含む。

【0009】

第１の態様の第２の可能な実施形態に関連し、本願の実施例は、第１の態様の第３の可能な実施形態を提供する。ここで、現在の顔画像と事前保存顔画像リストに基づいて、顔画像の現在の表情グループを決定するステップは、現在の顔画像に対応する第１表情特徴モデルを取得し、事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップと、第１表情特徴モデルと各第２表情特徴モデルを比較し、現在の顔画像と各事前保存顔画像との類似値を決定するステップと、類似値に基づいて、現在の顔画像に対応する目標顔画像を決定するステップと、目標顔画像に対応するユーザアカウントを取得するステップと、ユーザアカウントに基づいて、現在の顔画像に対応する現在の表情グループを決定するステップとを含む。

【0010】

第１の態様の第３の可能な実施形態に関連し、本願の実施例は、第１の態様の第４の可能な実施形態を提供する。ここで、現在の顔画像に対応する第１表情特徴モデルを取得し、事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップは、現在の顔画像に基づいて、現在の顔画像における複数の顔重要特徴点の第１位置座標セットを決定するステップと、第１位置座標セットを、現在の顔画像に対応する第１表情特徴モデルとするステップと、事前保存顔画像リストにおける各事前保存顔画像の複数の顔重要特徴点の各第２位置座標集を決定するステップと、各第２位置座標セットを、事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴セットとするステップとを含む。

【0011】

第１の態様の第３の可能な実施形態に関連し、本願の実施例は、第１の態様の第５の可能な実施形態を提供する。ここで、現在の顔画像に対応する第１表情特徴モデルを取得し、事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップは、現在の顔画像を表情識別ニューラルネットワークに入力し、現在の顔画像に対応する第１表情特徴モデルを表情特徴識別ネットワークに決定させるステップと、顔画像リストにおける各顔画像を表情識別ニューラルネットワークに入力し、事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを表情識別ニューラルネットワークに決定させるステップとを更に含む。

【0012】

第１の態様の第３の可能な実施形態に関連し、本願の実施例は、第１の態様の第６の可能な実施形態を提供する。ここで、ユーザアカウントに基づいて、現在の顔画像に対応する現在の表情グループを決定するステップは、ユーザアカウントに対応する複数の表情グループを、予め確立されているグループデータベースから検索するステップと、現在の顔画像に対応する表情グループを取得するステップと、現在の顔画像に対応する表情グループを、現在の表情グループに決定するステップとを含む。

【0013】

第１の態様に関連し、本願の実施例は、第１の態様の第７の可能な実施形態を提供する。ここで、現在の表情グループに対応する実行待ち指令を決定するステップは、現在の表情グループに対応する実行待ち指令を、予め確立されている指令データベースから検索するステップを含み、ここで、指令データベースには、表情グループと実行待ち指令との対応関係が記憶されており、実行待ち指令は、少なくとも１つの表情グループに対応する。

【0014】

第１の態様の第７の可能な実施形態に関連し、本願の実施例は、第１の態様の第８の可能な実施形態を提供する。ここで、指令データベースは、少なくとも、パス指令、決済指令及び／又は通報指令を含む。ここで、通報指令は、少なくとも１種の通報指令を含み、各種類の通報指令は、１種の通報方式に対応し、異なる種類の通報指令に対応する表情グループが異なる。決済指令は、少なくとも１種の決済指令を含み、各種類の決済指令は、１種の決済限度額に対応し、異なる種類の決済指令に対応する表情グループが異なる。

【0015】

第１の態様に関連し、本願の実施例は、第１の態様の第９の可能な実施形態を提供する。ここで、方法において、ユーザ登録時に、ユーザのユーザアカウントを取得し、ユーザの事前保存顔画像を収集するステップと、事前保存顔画像の第２表情特徴モデルを決定し、ユーザアカウントと第２表情特徴モデルとの対応関係を記憶し、ユーザアカウントと事前保存顔画像との対応関係を記憶するステップと、各第２表情特徴モデルに基づいて、各顔画像の表情グループを決定するステップと、ユーザによって設定されている表情グループと実行待ち指令との対応関係を記憶するステップとを更に含む。

【0016】

第２の態様として、本願の実施例は、電子機器によって実行される表情グループに基づく操作決定装置を更に提供する。該装置は、目標対象の現在の顔画像を取得するように構成される顔画像取得モジュールと、現在の顔画像が真の生体から直接由来するものかを判断するように構成される生体識別モジュールと、現在の顔画像に基づいて顔識別を目標対象に対して行い、識別結果に基づいて、目標対象の身元が正当か否かを判断するように構成される顔識別モジュールと、顔識別モジュールの識別結果として身元が正当である場合、現在の顔画像の現在の表情グループを取得するように構成される顔特徴取得モジュールと、現在の表情グループに対応する実行待ち指令を決定するように構成される指令決定モジュールと、実行待ち指令に対応する操作を実行するように構成される操作実行モジュールとを含む。

【0017】

第３の態様として、本願の実施例は、画像収集装置、プロセッサ及び記憶装置を含む電子機器を提供する。画像収集装置は、画像情報を収集するように構成される。記憶装置には、プロセッサによって実行されると、第１の態様～第１の態様の第９の可能な実施形態のいずれかに記載の方法を実行するコンピュータプログラムが記憶されている。

【0018】

第４の態様として、本願の実施例は、プログラムが記憶されているチップを提供し、プログラムがプロセッサによって実行されると、上記第１の態様～第１の態様の第９の可能な実施形態のいずれかに記載の方法のステップが実行される。

【発明の効果】

【0019】

本願の実施例は、表情グループに基づく操作決定方法、装置及び電子機器を提供し、目標対象の顔画像を取得し、その顔画像に基づいて目標対象に対して生体顔識別を行い、更に目標対象の身元が正当か否かを判断し、正当である場合、取得した目標対象の現在の表情特徴に対応する実行待ち指令を決定し、更にその実行待ち指令に対応する操作を実行する。このような表情グループに基づいて実行待ち指令を決定し、対応する操作を実行する方式は、従来の単にパスワードやワードなどを用いる簡単な認証方式に比べて、安全性及び信頼性が高く、不正者がパスワードを盗用して正当なユーザに経済的な損失を与えることを回避することができる。また、顔識別技術を採用するため、顔認識の身元認証機能を引き継ぐとともに、ユーザがカスタマイズした表情動作を加え、仕事、睡眠又は昏睡などの無意識な状態でユーザがこれらの動作をすることがないことを確保し、ユーザの顔の使用の安全性を大きく保護することができる。

【0020】

本願の他の特徴及び利点は、以下の説明において記載され、一部は、明細書から明らかとなるか、又は本願を実施することによって理解される。本願の目的及び他の利点は、明細書、特許請求の範囲及び図面に具体的に示された構造によって実現及び達成される。

【0021】

本願の上記目的、特徴及び利点をより分かりやすくするために、以下に好ましい実施例を挙げ、添付図面と合わせて詳細に説明する。

【図面の簡単な説明】

【0022】

本願の具体的な実施形態又は従来技術の技術手段をより明確に説明するために、以下、具体的な実施形態又は従来技術の記載に必要される図面を簡単に説明する。明らかに、以下の記載における図面は、本願の実施形態の一部であり、当業者であれば、創造性のある作業を付することなく、これらの図面から他の図面を取得することもできる。

【0023】

【図1】本願の実施例によって提供される表情グループに基づく操作決定方法のフローチャートである。

【図2】本願の実施例によって提供される別の表情グループに基づく操作決定方法のフローチャートである。

【図3】本願の実施例によって提供される端末機器の構造図である。

【図4】本願の実施例によって提供される表情グループに基づく操作装置の構造図である。

【図5】本願の実施例によって提供される別の表情グループに基づく操作装置の構造図である。

【図6】本願の実施例によって提供される別の表情グループに基づく操作装置の構造図である。

【図7】本願の実施例によって提供される別の表情グループに基づく操作決定装置の構造図である。

【図8】本願の実施例によって提供される電子機器の構造図である。

【発明を実施するための形態】

【0024】

本願の実施例の目的、技術手段及び利点をより明確にするために、以下、添付図面と併せて本願の技術手段を明確且つ完全に説明するが、記載された実施例は、本願の一部の実施例であり、全ての実施例ではないことが明らかである。本願における実施例に基づいて、当業者が創造的な作業を付することなく得られる全ての他の実施例は、本願の保護範囲に属するものである。

【0025】

現在の顔決済技術は、決済手段として顔識別を用いているため、写真や動画などの手段によりユーザの身元になりすまして決済振込や何らかの認証行為が行われ、ユーザの利益を害する。また、支払手段として端正な顔姿勢を用いることにより、ユーザが無意識のうちに盗用された顔情報を用いて決済振り込みや何らかの認証行為を行うことが容易となり、ユーザの利益を大きく損なう。従来の電子機器の指令操作確認方式の安全性も信頼性も低く、不正者に利用されやすいことを考慮して、この問題を改善するために、本願実施例による表情グループに基づく操作決定方法、装置及び電子機器は、ユーザが真の本人であることを確認し、ユーザが予め設定した異なる操作指令をユーザの異なる表情で確認することができ、電子機器の決定操作の安全性及び信頼性を大幅に向上させることができる。また、生体顔技術を使用するため、ユーザ本人が操作をしなければ認証に成功しないので、ユーザの利益を大きく保護する。また、表情を作ることで所定の指令動作を行うことができるため、通常、仕事、娯楽、睡眠、昏睡、酔い、日常生活中、あるいは知らない場合にユーザがこれらの表情を作ることは極めて少ないので、顔情報の盗用を効果的に防止することができる。以下、本願の実施例について詳細に説明する。

【0026】

図１に示す表情グループに基づく操作決定方法のフローチャートを参照すると、この方法は、電子機器によって実行される。ここで、電子機器は、カメラ、生体顔カメラ、銀行ＡＴＭ機、セルフ端末、カメラ付きＵシールド、カメラ付き銀行Ｕシールド、カメラ付き税盤、携帯電話、スマートテレビ、パーソナルコンピュータ、ノートパソコン、タブレット、カメラ付きパーソナルコンピュータ、カメラ付き工作機械、ＰＤＡ、ハンドヘルド装置、スマートウォッチ、スマートグラス、スマートＰＯＳ機、スマートスキャンガン、スマートロボット、スマートカー、スマートマンダ、スマートハウス、スマート課金端末、カメラ付きスマートテレビなどである。この方法は、以下のステップを含む。

【0027】

ステップＳ１０２において、目標対象の現在の顔画像を取得する。

【0028】

具体的には、目標対象の顔画像を画像収集機器によって収集する。ここで、画像収集機器は、カメラや生体顔カメラ等のカメラ装置や、携帯電話、カメラ付きＵシールド、カメラ付き税盤等のカメラ付き装置を含む。

【0029】

ステップＳ１０４において、現在の顔画像に基づいて目標対象に対して生体顔識別を行い、識別結果に基づいて目標対象の身元が正当であるかを判断する。

【0030】

目標対象の身元が正当であるかを判断するために、現在の顔画像に対して生体顔識別を行う必要があり、生体識別と顔識別とを組み合わせることにより、身元が正当であるかの判断の正確性及び安全性が更に向上する。具体的には、まず、生体識別を用いて、現在の顔画像が真の生体から直接由来するか否かを判断し、顔識別技術を用いて、収集した顔画像の顔識別を行う。具体的には、現在の顔画像と、予め記憶されている顔画像とを一対一に比較し、現在の顔画像が少なくとも１つの予め記憶されている顔画像にマッチするかのマッチ顔画像を判断し、目標対象の身元情報が正当であるかを判断する。ここで、予め記憶されている顔画像は、所定のあるユーザの顔画像又は顔画像セットであってもよく、複数のユーザの顔画像セットであってもよく、全てのユーザの顔画像セットであってもよい。好ましくは、顔識別を行う前に、他人が写真などの物品を通じてユーザの顔情報をなりすますことを防ぐために生体識別を行う。

【0031】

ステップＳ１０６において、正当である場合、現在の顔画像の現在の表情グループを取得する。

【0032】

目標対象の身元が正当である場合、更に現在の顔画像の現在の表情グループを取得する必要があり、現在の表情グループに基づいて、対応する操作を完了する。具体的には、まず、現在の顔画像と事前保存顔画像リストにおける各事前保存顔画像とを一対一に比較して、現在の顔と各事前保存顔画像との類似値を得て、類似値に基づいて、現在の顔画像に対応する目標顔画像を決定し、現在の顔画像に対応する現在の表情グループを目標顔画像によって取得することができる。ここで、類似閾値を予め設定し、類似値が所定の類似閾値よりも大きくなると、目標顔画像を決定することができる。

【0033】

ステップＳ１０８において、現在の表情グループに対応する実行待ち指令を決定する。

【0034】

具体的には、表情グループに対応する実行待ち指令を、予め確立されている指令データベースから検索する。その指令データベースには、表情グループと実行待ち指令との対応関係が記憶されている。ここで、実行待ち指令は、少なくとも、認証パス指令、決済指令及び／又は通報指令を含む。実際の応用において、認証パス指令は、身元認証完成指令、又は電子機器の権限開放指令などである。決済指令は、複数種類の決済指令を含み、各種類の決済指令は、１種の決済限度額に対応し、異なる種類の決済指令に対応する表情グループが異なる。支払限度額は、具体的には、小額、高額、超高額等に分類される。通報指令は、複数種類の通報指令を含み、各種類の通報指令は、１種の通報方式に対応し、異なる種類の通報指令に対応する表情グループが異なる。通報方式は、資金口座凍結通報、偽振込通報、実振込通報等に分類される。通報指令に対応する表情グループを設定することによって、不正者を驚かせることなく通報操作を行うことができ、ユーザの人身の安全、財産の安全性を効果的に確保することができる。重要点位置差の対応関係に基づいて、目標対象の表情グループを決定することができ、表情グループ情報を予め確立されている指令データベースに入力して、表情グループに対応する実行待ち指令を検索することができる。

【0035】

ステップＳ１１０において、実行待ち指令に対応する操作を実行する。

【0036】

例えば、実行待ち指令は、認証パス指令である場合、認証パス指令に対応する操作は、権限開放操作である。具体的には、該権限開放操作は、ユーザによるインターフェースの指定を許容すること、及びユーザによる電子機器の特定機能の使用を許容するなどを含む。実行待ち指令が高額決済指令である場合、対応する操作は、少額振込や小額入出金などの取引操作を許容することである。実行待ち指令がショートメッセージ通報指令である場合、対応する操作は、電子機器から関連端末にショートメッセージ通報情報を送信することである。

【0037】

本願の実施例は、表情グループに基づく操作決定方法を提供する。該方法は、目標対象の顔画像を取得し、その顔画像に基づいて目標対象に対して生体顔識別を行い、更に目標対象の身元が正当か否かを判断し、正当である場合、現在の顔画像に対応する現在の表情グループを取得し、更に取得した目標対象の現在の表情特徴に対応する実行待ち指令を決定し、更にその実行待ち指令に対応する操作を実行する。このような表情グループに基づいて、対応する実行待ち指令を決定し、対応する操作を実行する方式は、電子機器による操作実行の安全性及び信頼性を向上させ、不正者がパスワードを盗用して正当なユーザに経済的な損失を与えることを回避することができる。また、顔識別技術を採用するため、顔認識の身元認証機能を引き継ぐとともに、ユーザがカスタマイズした表情動作を加え、仕事、睡眠又は昏睡などの無意識な状態でユーザがこれらの動作をすることがないことを確保し、ユーザの顔の使用の安全性を大きく保護することができる。

【0038】

理解を容易にするために、以下に示す具体的な実施形態を示す。
（１）ユーザＡが登録すると、電子機器が、異なるカスタマイズ表情を作るようにユーザＡに指示することによって、ユーザＡの異なるカスタマイズ表情の顔画像をカメラで収集する。ユーザＡは、表情特徴と実行待ち指令との対応関係を自ら設定することができる。例えば、左目を開き右目を閉じた表情は、アカウントログインの実行待ち指令に対応し、両目を閉じ眉を閉じた表情は、小額振込の実行待ち指令に対応し、口を開き左目を閉じる表情は、ショートメッセージ通報の実行待ち指令に対応する。具体的な実施に際して、ユーザの顔画像を収集する場合、電子機器は、顔外郭、眉、目、鼻、口などの顔の部位に重要点を設定する。具体的には、重要点の数及び位置は、ユーザの顔の表情特徴を表すことが好ましい。例えば、目の特徴点は、少なくとも目尻、上下端、眼球中心等の点を含み、眉の特徴点は、少なくとも眉両端、中間位置の３つの点を含み、鼻の特徴点は、少なくとも上端、下部の左右両端、鼻の突起点等の点を含み、口は、少なくとも上唇の上下左右の４点、下唇の上下左右の４点を含む。上記表情特徴から、ユーザの表情グループを決定することができる。
電子機器は、ユーザによって設定された表情グループに対応する実行待ち指令を記録し、指令データベースを確立して、表情グループと実行待ち指令との対応関係を記憶する。
（２）左目を開き右目を閉じる表情、両目を閉じ眉を閉じる表情、口を開き左目を閉じるなどの特定の表情をユーザＡが画像収集機器の前で作ると、電子機器は、ユーザＡの現在の顔画像をカメラで収集し、現在の顔画像と事前保存顔画像リストにおける各事前保存顔画像とを比較し、ユーザＡに対応する目標顔画像を決定し、目標顔画像に基づいて顔画像の表情グループを決定する。
（３）ユーザＡの現在の表情グループに対応する実行待ち指令を予め確立されている指令データベースから検索し、指令に対応する操作を実行する。例えば、ユーザＡの表情グループが口を開き左目を閉じるものであると決定した場合、指令データベースから、ユーザＡがショートメッセージ通報を送信した実行待ち指令に決定し、対応する操作を実行し、ユーザＡが予め設定した関連端末にショートメッセージを送信して通報する。

【0039】

また、顔画像は、収集角度、光の照射環境、顔筋肉制御の違いなど、様々な要因によって影響を受けることが考えられ、これらの影響によって、同一の顔表情であっても収集結果が異なる。従って、同一の顔表情を同一の表情グループとし、表情グループによって実行待ち指令を決定することによって、実行待ち指令の決定への上記要因による影響を少なくする。例えば、収集角度の要因について、収集機器の角度が高すぎる、低すぎる、左に偏った、又は右に偏った場合などがあり、頭が下がる、頭が上がる、頭が右へ振る、頭が左へ振るなどの収集効果となる。例えば、顔筋肉制御の相違の要素について、ユーザが口を開くという表情を作る際に、口を開く力が異なることにより、口の開き具合が異なる場合がある。また、採取角度の影響を受け、口の開きの採取効果に更に影響を与える。これにより、同一の顔表情に対して、顔画像を少なくとも１つ収集して同一の表情グループとし、実行待ち指令の決定における正確性を向上させる。好ましくは、顔画像を対応する表情グループに分類する場合、まず、該表情特徴について、該ユーザの他の表情グループの顔表情に似るかを判断し、顔表情が似ることに起因する表情グループの誤判定を防止し、更に実行待ち指令の決定における正確性及び安全性を向上させる。

【0040】

表情グループによって実行待ち指令を決定する方式は、正当なユーザのアカウントパスワードを不正者が盗んで電子機器を操作して、正当なユーザに損失を与えることを防止することができる。また、正当なユーザから表情方式によって指令を送信する方式も不正者に気付かれにくい。例えば、ＡＴＭ機で振り込みを行うように不正者から脅迫される場合、正当なユーザが通報表情を作ることで、暗にＡＴＭにショートメッセージを送信させたりバックボーンからネットワークを通じて通報したりして、自身の財産の安全を保障する。

【0041】

理解を容易にするために、本実施例によって提供される別の表情グループに基づく操作決定方法に基づく具体的な実施形態を以下に示す。図２に示す別の表情グループに基づく動作決定方法のフローチャートを参照すると、この方法は、以下のステップを含む。

【0042】

ステップＳ２０２において、目標対象の現在の顔画像を取得する。

【0043】

１つの具体的な実施形態において、カメラによって目標対象の顔画像を取得し、画像収集機器のカメラは、目標顔から所定距離の区間内に存在し、所定距離の区間内においてカメラの画像収集効果が優れ、画像収集に寄与する。

【0044】

ステップＳ２０４において、現在の顔画像に基づいて目標対象に対して生体識別を行い、現在の顔画像が真の生体から直接由来するものかを判断する。そうである場合、ステップＳ２０６を実行し、そうでなければ、終了する。

【0045】

生体識別を行うことによって、目標対象の身元情報を他人がなりすますことを更に防止することができる。

【0046】

ステップＳ２０６において、現在の顔画像が真の生体から直接由来する場合、現在の顔画像に対して顔識別を行い、現在の顔画像について、事前保存顔画像リストにおける各事前保存顔画像にマッチするかを判断する。そうである場合、ステップＳ２０８を実行し、そうでなければ、終了する。

【0047】

１つの実施形態において、基準顔画像を予め記憶し、目標対象の顔画像を取得すると、目標対象の顔画像を各基準顔画像と照合し、目標対象に対応する基準顔画像にマッチした場合、目標対象の身元が正当であると決定する。

【0048】

ステップＳ２０８において、目標対象の身元が正当であると確認する。

【0049】

ステップＳ２１０において、現在の顔画像と事前保存顔画像リストを比較し、現在の顔画像の現在の表情グループを決定する。

【0050】

具体的には、現在の顔画像の第１表情特徴モデル、事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルをそれぞれ取得し、そして、第１表情特徴モデルと各第２表情特徴モデルを比較し、現在の顔画像と各事前保存顔画像との類似値を得て、類似値に基づいて、現在の顔画像に対応する目標顔画像を決定し、その後、目標顔画像に対応するユーザアカウントを取得し、現在の顔画像に対応する現在の表情グループを決定する。現在の表情グループから実行待ち指令を決定することができる。

【0051】

現在の顔画像に対応する表情グループを決定することで、現在の顔画像の収集角度の違いによる実行待ち指令確認失敗の問題を効果的に軽減することができる。目標対象が決済操作を必要とする場合を想定して、目標対象の現在の顔画像を取得する際に、その都度収集する角度に多少の差が生じるため、上記の現在の表情グループの決定方法では、同一の決済操作顔表情の各角度の現在の顔画像を、全て決済操作に対応する現在の表情グループに決定する。現在の表情グループを決定する異なる角度の事前保存顔画像の数を増やすことで、現在の表情グループの決定における正確性を効果的に高めることができる。

【0052】

上記実施例によって提供される方法の理解を容易にするために、本願の実施例は、前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得する方法を更に提供する。この方法は、以下のステップを含む。

【0053】

（１）現在の顔画像に基づいて、現在の顔画像における複数の顔重要特徴点の第１位置座標セットを決定する。
まず、所定の重要点を複数決定し、これらの所定の重要点を顔重要特徴点として、現在の顔画像における複数の顔重要特徴点の位置座標を決定して第１位置座標セットを得る。
具体的には、所定の重要点は、顔における代表性のある特徴点に設定することが好ましい。具体的には、目の特徴点、唇の特徴点、鼻の特徴点、眉の特徴点などが挙げられる。ここで、各部位の特徴点の選択数は、柔軟に設定され、特徴点選択数は、最終的に顔の全体的特徴を表すことができる。第１位置座標セットから現在の顔画像の第１表情特徴モデルを決定することができる。例えば、現在の顔画像における唇の特徴点の位置座標情報を読み取り、現在の顔画像における目の特徴点の座標位置情報を読み取り、上記唇の特徴点の座標位置情報と目の特徴点の座標位置情報を第１位置座標セットに決定する。もちろん、以上は、単に唇の特徴点と目の特徴点を例として説明したが、実際の応用において、顔のすべての所定重要点について逐一に比較して分析する。
（２）第１位置座標セットを、現在の顔画像に対応する第１表情特徴モデルとする。
（３）事前保存顔画像リストにおける各事前保存顔画像の複数の顔重要特徴点の各第２位置座標集を決定する。
具体的には、上記の第１位置座標セットの決定方法によって、各第２位置座標セットを決定する。
（４）前記各第２位置座標セットを、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴セットとする。

【0054】

また、深層学習ニューラルネットワーク等の技術の発展に伴い、深層学習ニューラルネットワークによって表情特徴を学習及び識別を行う。具体的には、予め学習して得られた表情識別ニューラルネットワークに現在の顔画像を入力し、表情識別モデルによって、現在の顔画像に対応する第１表情特徴モデルを識別する。また、事前保存顔画像リストにおける各事前保存顔画像を表情識別ニューラルネットワークに入力し、各事前保存顔画像に対応する第２表情特徴モデルを得る。学習データによってニューラルネットワークモデルを学習することによって、上記の表情特徴モデルの識別が可能な表情識別ニューラルネットワークを得ることができる。深層学習で表情特徴モデルを識別することによって、表情特徴モデルの決定における正確性を更に向上させることができる。

【0055】

ステップＳ２１２において、現在の表情グループに対応する実行待ち指令を決定する。

【0056】

現在の表情グループに対応する実行待ち命令を、予め確立されている命令データベースから検索する。この命令データベースには、表情グループと実行待ち命令との対応関係が記憶されている。

【0057】

ステップＳ２１４において、実行待ち指令に対応する操作を実行する。

【0058】

本願の実施例による上記方法において、収取されたユーザの顔画像に対して電子機器が顔識別を行い、現在の顔画像と事前保存顔画像とが対応付けられた表情特徴モデルを複数の方法で確認し、それぞれの表情特徴モデルを比較して、現在の顔画像に対応する目標顔画像を決定し、更に現在の表情グループを決定し、目標対象の現在の表情グループとそれに対応する実行待ち指令を決定し、実行待ち指令に対応する操作を実行する。このように、ユーザの現在の顔画像を決定してユーザに対応する現在の表情グループを決定することにより、電子機器の決定操作の安全性及び信頼性をより向上させることができる。

【0059】

１つの実施形態において、上記表情グループに基づく操作方法は、端末機器によって実行される。具体的には、本願の実施例による端末機器の構造図は、図３に示される。該端末機器は、携帯電話やコンピュータなどのパーソナルデバイス又はチップである。該端末機器は、カメラ、顔識別モジュール、生体識別モジュール、表情識別モジュール、及び、ユーザの基準顔画像と特定の顔画像リストを記憶するように構成されるデータベースを含む。カメラによってユーザの現在の顔画像を収集し、顔識別モジュールによってユーザの現在の顔画像に対して顔識別を行う。生体識別モジュールによって、ユーザの現在の顔画像が真の生体から直接由来するか否かの生体識別を行う。表情識別モジュールによって、ユーザの現在の顔画像における表情特徴を識別する。なお、上述した顔識別、生体識別、表情識別の順序は、限定されるものではなく、顔識別、生体識別、表情識別の順で行う他、生体識別、表情識別、顔識別の順で行うなど、様々な順序で行うことができる。

【0060】

また、端末機器とサーバとの間でインタラクションを行い、表情グループに基づく操作方法を完了する。ここで、端末機器とサーバとの間のインタラクション過程は、特に限定されない。理解を容易にするために、本願の実施例において、端末機器とサーバとの間のインタラクション過程を提供する。例えば、図４は、表情グループに基づく操作装置の構造図である。ここで、端末機器は、ユーザの現在の顔画像の収集をカメラによって完了し、現在の顔画像をサーバに送信する。サーバは、データベースに基づいて顔識別、表情識別又は生体識別を完了する。例えば、図５は、別の表情グループに基づく操作装置の構造図である。ここで、端末機器は、ユーザの現在の顔画像の収集作業をカメラによって完了し、現在の顔画像に対して生体識別を行い、生体識別結果として、現在の顔画像が真の生体から直接由来する場合、現在の顔画像をサーバに送信する。サーバは、データベースに基づいて顔識別及び表情識別を完了する。例えば図６は、別の表情グループに基づく操作装置の構造図である。ここで、端末機器は、ユーザの現在の顔画像の収集作業をカメラによって完了し、現在の顔画像に対して生体識別を行い、更にユーザの表情特徴に対して初回の識別を行い、そして、表情特徴識別結果と現在の顔画像をサーバに送信する。サーバは、データベースに基づいて顔識別を完了し、表情識別によって、更に現在の顔画像に対応する表情特徴を決定する。上記端末は、携帯電話、コンピュータ、セルフ端末又はＡＴＭ機などである。

【0061】

本願の実施例は、表情グループに基づく操作決定装置を提供する。図７に示す表情グループに基づく操作決定装置の構造ブロック図を参照すると、該装置は、目標対象の現在の顔画像を取得するように構成される顔画像取得モジュール７０２と、現在の顔画像に基づいて顔識別を目標対象に対して行い、識別結果に基づいて、目標対象の身元が正当か否かを判断するように構成される判断モジュール７０４と、判断モジュールの識別結果としてＹＥＳである場合、現在の顔画像の現在の表情グループを取得するように構成される表情取得モジュール７０６と、現在の表情グループに対応する実行待ち指令を決定するように構成される指令決定モジュール７０８と、実行待ち指令に対応する操作を実行するように構成される操作実行モジュール７１０とを含む。

【0062】

本願の実施例は、表情グループに基づく操作決定装置を提供する。該装置は、顔画像取得モジュールによって目標対象の顔画像を取得し、その顔画像に基づいて目標対象に対して生体顔識別を行い、更に判断モジュールによって目標対象の身元が正当か否かを判断し、正当である場合、表情取得モジュールによって現在の顔画像に対応する現在の表情グループを取得し、更に指令決定モジュールによって、取得した目標対象の現在の表情特徴に対応する実行待ち指令を決定することで、操作実行モジュールによってその実行待ち指令に対応する操作を実行する。このような表情グループに基づいて、対応する実行待ち指令を決定し、対応する操作を実行する方式は、電子機器による操作実行の安全性及び信頼性を向上させ、不正者がパスワードを盗用して正当なユーザに経済的な損失を与えることを回避することができる。また、顔識別技術を採用するため、顔認識の身元認証機能を引き継ぐとともに、ユーザがカスタマイズした表情動作を加え、仕事、睡眠又は昏睡などの無意識な状態でユーザがこれらの動作をすることがないことを確保し、ユーザの顔の使用の安全性を大きく保護することができる。当業者にとって、記述の便宜と簡潔さのために、以上に記載した表情グループに基づく操作決定装置の具体的な動作過程は、前記の実施例における対応過程を参照することができ、ここではその説明を省略する。

【0063】

本願の実施例は、電子機器を提供する。図８に示す電子機器の構造図を参照すると、該電子機器は、画像収集装置８０、プロセッサ８１、記憶装置８２及びバス８３を含む。画像収集装置８０は、カメラを含む。記憶装置８２には、プロセッサによって実行されると前記実施例のいずれかに記載の方法を実行するコンピュータプログラムが記憶されている。

【0064】

ここで、メモリ８２は、高速ランダムアクセスメモリＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよく、また、非不安定メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つのディスクメモリを含んでもよい。バス８３は、ＩＳＡバス、ＰＣＩバス、ＥＩＳＡバス等である。バスは、アドレスバス、データバス及び制御バスなどに分類される。図８では、表示の便宜上、双方向の矢印を１つだけ示しているが、バスの数は１つだけ、あるいは１種類だけを示しているわけではない。

【0065】

ここで、メモリ８２は、実行指令を受信した後にプロセッサ８１によって実行されるプログラムを記憶するように構成され、前述の本願の実施例のいずれかによって開示されるフロープロセスで定義される装置によって実行される方法は、プロセッサ８１に適用され、又はプロセッサ８１によって実現される。

【0066】

プロセッサ８１は、信号の処理能力を有する集積回路チップであってもよい。実現の過程で、上記方法の各ステップは、プロセッサ８１内のハードウェアの集積論理回路又はソフトウェア形態の指令によって実行される。上記プロセッサ８１は、中央プロセッサＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びネットワークプロセッサＮＰ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ）などを含む汎用プロセッサであってもよく、デジタル信号プロセッサＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、決定用途向け集積回路ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、既存のプログラマブルゲートアレイＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタロジックデバイス、及びディスクリートハードウェアコンポーネントであってもよい。本願の実施例に開示された各方法、ステップ、及び論理ブロック図は、実現されるか、又は実行される。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、任意の従来のプロセッサなどであってもよい。本願の実施例に関連して開示される方法のステップは、ハードウェアデコーディングプロセッサ実行として直接的に、又は、デコーディングプロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせで実行されるとして具現化される。ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ及び／又は読み取り専用メモリ、プログラム可能読み取り専用メモリ、又は電気的に消去可能なプログラム可能メモリ、及びレジスタなどの当技術分野で熟練した記憶媒体内に配置される。この記憶媒体は、メモリ８２に位置し、プロセッサ８１は、メモリ８２の情報を読み取り、そのハードウェアとともに上述した方法のステップを完成する。

【0067】

本願の実施例は、プログラムが記憶されているチップを更に提供し、プログラムがプロセッサによって実行されると、前記実施例のいずれかに記載の方法のステップが実行される。

【0068】

当業者には明らかなように、説明の便宜及び簡潔にするために、上記で説明したシステムの具体的な動作過程は、前述の実施例における対応する過程を参照してもよく、ここでその説明が省略される。

【0069】

本願によって提供されるいくつかの実施例において、開示されたシステム、装置及び方法は、他の方式で実施されることを理解されたい。以上記載した装置の実施例は、単に例示的なものである。例えば、ユニットの区分は、単に論理機能の区分であり、実際に実現する際に別の区分方式がある。例えば、複数のユニット又はコンポーネントは、組み合わせてもよく、別のシステムに一体化されてもよく、又は、一部の特徴は、無視されてもよく、又は実行されなくてもよい。また、示されており又は議論されている各構成部分の相互間の結合や直接結合や通信接続は、インターフェース、装置又はユニットを介した間接結合や通信接続であってもよく、電気的、機械的、又は他の形式であってもよい。

【0070】

以上個別部品として説明したユニットは、物理的に離間したものであってもよく、そうでなくてもよい。ユニットとして示した部品は、物理ユニットであってもよく、そうでなくてもよい。即ち、一箇所に位置してもよく、複数のネットワークユニットに位置してもよい。実際の必要に応じてそのうちの一部又はすべてのユニットを選択して本実施例の目的を実現する。

【0071】

また、本願の各実施例における各機能的ユニットは、全て１つの処理ユニットに一体化されていてもよいし、別々に１つのユニットとしてもよいし、２つ以上のユニットが１つのユニットに一体化されてもよい。

【0072】

また、前記機能がソフトウェア的な機能単位で実現され、独立した製品として販売又は使用される場合には、コンピュータ読み取り可能な記録媒体に格納されてもよい。このような理解に基づいて、本願の技術的手段の本質又は従来技術に寄与する部分、又は該技術手段の部分は、１つのコンピュータデバイス（パーソナルコンピュータ、サーバ、又はネットワークデバイスなどである）に本願の各実施例に記載の方法のステップの全て又は一部を実行させるための複数の指令を含む１つの記憶媒体に記憶されたソフトウェア製品の形態で具現化される。前記記憶媒体としては、Ｕ－ディスク、リムーバブルハードディスク、リードオンリーメモリＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、光ディスク等のプログラムコードを記憶できる種々の媒体を含む。

【0073】

本願の説明において、「中心」、「上」、「下」、「左」、「右」、「垂直」、「水平」、「内」及び「外」などの用語が示す向き又は位置関係は、図示に基づく向き又は位置関係であり、本願の説明を容易にし、説明を簡略化するためのものに過ぎず、言及された装置又は要素が特定の向き、特定の向きで構成及び動作しなければならないことを示し又は示唆するものではない。従って、本願を限定するものと解釈されるべきではない。更に、「第１」、「第２」、及び「第３」という用語は、説明の目的のためだけに使用され、相対的な重要性を示す又は暗示するものと理解されるべきではない。

【0074】

最後に、上述の実施例は、本願の具体的な実施形態に過ぎず、本願の技術手段を説明するためのものであって、本願を限定するものではなく、本願の保護範囲は、これに限定されるものではない。上述の実施例を参照して本願を詳細に説明したが、当業者であれば、本願によって開示された技術範囲内で、上述の実施例に記載された技術手段に対して修正や容易に想到できる変更を行い、又はそのうちの一部の技術的特徴に対して等価な置換を行うことができる。これらの修正、変更又は置換によって、対応する技術手段の本質は、本願の実施例の技術手段の趣旨や範囲から逸脱することがなく、本願の保護範囲に含まれるべきである。従って、本願の保護範囲は、請求項の保護範囲を基準とするべきである。

【0075】

（付記）
（付記１）
電子機器によって実行される表情グループに基づく操作決定方法において、
目標対象の現在の顔画像を取得するステップと、
前記現在の顔画像に基づいて、生体識別と顔識別を含む生体顔識別を目標対象に対して行い、識別結果に基づいて、前記目標対象の身元が正当か否かを判断するステップと、
正当である場合、前記現在の顔画像の現在の表情グループを取得するステップと、
前記現在の表情グループに対応する実行待ち指令を決定するステップと、
前記実行待ち指令に対応する操作を実行するステップとを含むことを特徴とする表情グループに基づく操作決定方法。

【0076】

（付記２）
前記の前記現在の顔画像に基づいて生体顔識別を目標対象に対して行うことは、
前記現在の顔画像に対して生体識別を行い、前記現在の顔画像情報が真の生体から直接由来するものかを判断することと、
前記現在の顔画像情報が真の生体から直接由来するものである場合、前記現在の顔画像に対して顔識別を行い、事前保存顔画像リストにおける各事前保存顔画像に前記現在の顔画像がマッチするか否かを判断することと、
そうである場合、前記目標対象の身元が正当であると確認することとを含むことを特徴とする付記１に記載の表情グループに基づく操作決定方法。

【0077】

（付記３）
前記の前記現在の顔画像の現在の表情グループを取得するステップは、
前記現在の顔画像と前記事前保存顔画像リストに基づいて、前記現在の顔画像の現在の表情グループを決定するステップを含むことを特徴とする付記２に記載の表情グループに基づく操作決定方法。

【0078】

（付記４）
前記の前記現在の顔画像と前記事前保存顔画像リストに基づいて、前記現在の顔画像の現在の表情グループを決定するステップは、
前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップと、
前記第１表情特徴モデルと前記各第２表情特徴モデルを比較し、前記現在の顔画像と前記各事前保存顔画像との類似値を決定するステップと、
前記類似値に基づいて、前記現在の顔画像に対応する目標顔画像を決定するステップと、
前記目標顔画像に対応するユーザアカウントを取得するステップと、
前記ユーザアカウントに基づいて、前記現在の顔画像に対応する現在の表情グループを決定するステップとを含むことを特徴とする付記３に記載の表情グループに基づく操作決定方法。

【0079】

（付記５）
前記の前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップは、
前記現在の顔画像に基づいて、前記現在の顔画像における複数の顔重要特徴点の第１位置座標セットを決定するステップと、
前記第１位置座標セットを、前記現在の顔画像に対応する第１表情特徴モデルとするステップと、
前記事前保存顔画像リストにおける各事前保存顔画像の複数の顔重要特徴点の各第２位置座標集を決定するステップと、
前記各第２位置座標セットを、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴セットとするステップとを含むことを特徴とする付記４に記載の表情グループに基づく操作決定方法。

【0080】

（付記６）
前記の前記現在の顔画像に対応する第１表情特徴モデルを取得し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを取得するステップは、
前記現在の顔画像を表情識別ニューラルネットワークに入力し、前記現在の顔画像に対応する第１表情特徴モデルを前記表情特徴識別ネットワークに決定させるステップと、
前記顔画像リストにおける各顔画像を前記表情識別ニューラルネットワークに入力し、前記事前保存顔画像リストにおける各事前保存顔画像に対応する第２表情特徴モデルを前記表情識別ニューラルネットワークに決定させるステップとを更に含むことを特徴とする付記４に記載の表情グループに基づく操作決定方法。

【0081】

（付記７）
前記の前記ユーザアカウントに基づいて、前記現在の顔画像に対応する現在の表情グループを決定するステップは、
前記ユーザアカウントに対応する複数の表情グループを、予め確立されているグループデータベースから検索するステップと、
前記現在の顔画像に対応する表情グループを取得するステップと、
前記現在の顔画像に対応する表情グループを、現在の表情グループに決定するステップとを含むことを特徴とする付記４に記載の表情グループに基づく操作決定方法。

【0082】

（付記８）
前記の前記現在の表情グループに対応する実行待ち指令を決定するステップは、
前記現在の表情グループに対応する実行待ち指令を、予め確立されている指令データベースから検索するステップを含み、
ここで、前記指令データベースには、前記表情グループと前記実行待ち指令との対応関係が記憶されており、
前記実行待ち指令は、少なくとも１つの前記表情グループに対応することを特徴とする付記１に記載の表情グループに基づく操作決定方法。

【0083】

（付記９）
前記指令データベースは、少なくとも、パス指令、決済指令及び／又は通報指令を含み、
ここで、前記通報指令は、少なくとも１種の通報指令を含み、各種類の前記通報指令は、１種の通報方式に対応し、異なる種類の前記通報指令に対応する表情グループが異なり、
前記決済指令は、少なくとも１種の決済指令を含み、各種類の前記決済指令は、１種の決済限度額に対応し、異なる種類の前記決済指令に対応する表情グループが異なることを特徴とする付記８に記載の表情グループに基づく操作決定方法。

【0084】

（付記１０）
ユーザ登録時に、前記ユーザのユーザアカウントを取得し、前記ユーザの事前保存顔画像を収集するステップと、
前記事前保存顔画像の第２表情特徴モデルを決定し、前記ユーザアカウントと前記第２表情特徴モデルとの対応関係を記憶し、前記ユーザアカウントと前記事前保存顔画像との対応関係を記憶するステップと、
前記各第２表情特徴モデルに基づいて、前記各顔画像の表情グループを決定するステップと、
前記ユーザによって設定されている前記表情グループと前記実行待ち指令との対応関係を記憶するステップとを更に含むことを特徴とする付記１に記載の表情グループに基づく操作決定方法。

【0085】

（付記１１）
電子機器によって実行される表情グループに基づく操作決定装置において、
目標対象の現在の顔画像を取得するように構成される顔画像取得モジュールと、
前記現在の顔画像が真の生体から直接由来するものかを判断するように構成される生体識別モジュールと、
前記現在の顔画像に基づいて顔識別を目標対象に対して行い、識別結果に基づいて、前記目標対象の身元が正当か否かを判断するように構成される顔識別モジュールと、
前記顔識別モジュールの識別結果として身元が正当である場合、前記現在の顔画像の現在の表情グループを取得するように構成される顔特徴取得モジュールと、
前記現在の表情グループに対応する実行待ち指令を決定するように構成される指令決定モジュールと、
前記実行待ち指令に対応する操作を実行するように構成される操作実行モジュールとを含むことを特徴とする操作決定装置。

【0086】

（付記１２）
画像収集装置、プロセッサ及び記憶装置を含む電子機器であって、
前記画像収集装置は、画像情報を収集するように構成され、
前記記憶装置には、前記プロセッサによって実行されると付記１～１０のいずれかに記載の方法を実行するコンピュータプログラムが記憶されていることを特徴とする電子機器。

【0087】

（付記１３）
プログラムが記憶されているチップであって、
前記プログラムがプロセッサによって実行されると、付記１～１０のいずれかに記載の方法のステップが実行されることを特徴とするチップ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】