特許 6937440 マイクロ表現を用いて信ぴょう性を決定するコンピュータ化されたシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6937440

(24)【登録日】2021年9月1日

(45)【発行日】2021年9月22日

(54)【発明の名称】マイクロ表現を用いて信ぴょう性を決定するコンピュータ化されたシステムおよび方法

(51)【国際特許分類】

   G06F 21/30 20130101AFI20210909BHJP

   G06Q 20/40 20120101ALI20210909BHJP

   G06Q 40/02 20120101ALI20210909BHJP

   G06N 3/04 20060101ALI20210909BHJP

   G06F 3/01 20060101ALI20210909BHJP

   G06T 7/00 20170101ALI20210909BHJP

   G06T 7/20 20170101ALI20210909BHJP

【ＦＩ】

   G06F21/30

   G06Q20/40

   G06Q40/02 300

   G06N3/04 154

   G06F3/01 510

   G06T7/00 350C

   G06T7/00 660A

   G06T7/20 300B

【請求項の数】20

【全頁数】15

(21)【出願番号】特願2020-537706(P2020-537706)

(86)(22)【出願日】2020年3月31日

(65)【公表番号】特表2021-517287(P2021-517287A)

(43)【公表日】2021年7月15日

(86)【国際出願番号】IB2020053049

(87)【国際公開番号】WO2020208470

(87)【国際公開日】20201015

【審査請求日】2020年9月25日

(31)【優先権主張番号】16/383,297

(32)【優先日】2019年4月12日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520244544

【氏名又は名称】クーパン コーポレイション

(74)【代理人】

【識別番号】230104019

【弁護士】

【氏名又は名称】大野 聖二

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】ファン，シャオジュン

【審査官】 宮司 卓佳

(56)【参考文献】

【文献】 国際公開第２０１８／０５８５５４（ＷＯ，Ａ１）

【文献】 特開２０１８−０３２１６４（ＪＰ，Ａ）

【文献】 特開２０１６−１４９０６３（ＪＰ，Ａ）

【文献】 上村祥之他，ディープニューラルネットワークによる微表情の検出と分類，電気学会研究会資料，日本，一般社団法人電気学会，2018年03月01日，p.33-p.38

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ２１／３０

Ｇ０６Ｑ ２０／４０

Ｇ０６Ｑ ４０／０２

Ｇ０６Ｎ ３／０４

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを有するデバイスによって実行される、人間のユーザの信ぴょう性を計算する方法であって、
ネットワークを介して、ユーザデバイスから、前記ユーザデバイスとの接続をインスタンス化する電子的な要求を受信すること、
質問のデータベースを用いて、前記要求に関する第１の質問を生成すること、
前記ネットワークを介して、前記生成された質問を前記ユーザデバイスに提供すること、
前記接続を介して受信される映像データおよび音声データを解析することであって、この解析は、前記映像データから複数の顔表現を抽出することを含む、こと、
第１の畳み込みニューラルネットワークを用い、少なくとも１つの抽出された顔表現に基づいて、１以上の所定の感情に対応する第１のデータを計算するとともに、第２の畳み込みニューラルネットワークを用い、少なくとも２つの抽出された顔表現および音声データに基づいて、前記１以上の所定の感情に対応する第２のデータを計算すること、
前記第１のデータおよび第２のデータを用いて、候補となる感情データを生成すること、
前記候補となる感情データが所定の感情を予測するか否かを判定すること、
前記候補となる感情データが前記１以上の所定の感情を予測するかどうかの判断に基づいて、
前記第１のデータおよび前記第２のデータを集計するための追加データを収集すべく、第２の質問を生成すること、または、
前記ユーザの信ぴょう性を決定し、決定した信ぴょう性を使用して前記電子的な要求を決定すること、
を含む、方法。

【請求項2】

前記第１の畳み込みニューラルネットワークは、空間畳み込みニューラルネットワークを含み、
前記第２の畳み込みニューラルネットワークは、時間畳み込みニューラルネットワークを含む、請求項１に記載の方法。

【請求項3】

リソースのデータベースを使用して前記畳み込みニューラルネットワークの少なくとも１つをトレーニングすることをさらに含み、
前記リソースのデータベースは、前記所定の感情の正解を確立するためにラベル付けされた顔データを含む、請求項１に記載の方法。

【請求項4】

時間補間を使用して前記リソースのデータベースを正規化すること、
前記正規化されたリソースのデータベースを使用して、前記第１および第２の畳み込みニューラルネットワークの少なくとも１つをトレーニングすること、を含む、請求項３に記載の方法。

【請求項5】

前記２つの畳み込みニューラルネットワークは、前記ユーザのミクロ表現を解析する、請求項１に記載の方法。

【請求項6】

前記時間畳み込みニューラルネットワークは、前記音声データを分析する、請求項２に記載の方法。

【請求項7】

前記１以上の所定の感情は、驚き、嫌悪感または抑圧を含む、請求項１に記載の方法。

【請求項8】

前記第２の質問を生成することは、少なくとも前記第１の質問に対する受信された回答に基づく、請求項１に記載の方法。

【請求項9】

前記人間のユーザはローン申請者である、請求項１に記載の方法。

【請求項10】

人間のユーザの信ぴょう性を計算するコンピューティングシステムであって、
少なくとも１つのプロセッサと、
命令を格納した少なくとも１つのメモリと、を備え、
前記命令は、前記少なくとも１つのプロセッサに、
ネットワークを介して、ユーザデバイスから、前記ユーザデバイスとの接続をインスタンス化する電子的な要求を受信すること、
質問のデータベースを用いて、前記要求に関する第１の質問を生成すること、
前記ネットワークを介して、前記生成された質問を前記ユーザデバイスに提供すること、
前記接続を介して受信される映像データおよび音声データを解析することであって、この解析は、前記映像データから複数の顔表現を抽出することを含む、こと、
第１の畳み込みニューラルネットワークを用い、少なくとも１つの抽出された顔表現に基づいて、１以上の所定の感情に対応する第１のデータを計算するとともに、第２の畳み込みニューラルネットワークを用い、少なくとも２つの抽出された顔表現および音声データに基づいて、前記１以上の所定の感情に対応する第２のデータを計算すること、
前記第１のデータおよび第２のデータを用いて、候補となる感情データを生成すること、
前記候補となる感情データが所定の感情を予測するか否かを判定すること、
前記候補となる感情データが前記１以上の所定の感情を予測するかどうかの判断に基づいて、
前記第１のデータおよび前記第２のデータを集計するための追加データを収集すべく、第２の質問を生成すること、または、
前記ユーザの信ぴょう性を決定し、決定した信ぴょう性を使用して前記ユーザの要求を決定すること、
を実行させる、コンピューティングシステム。

【請求項11】

前記第１の畳み込みニューラルネットワークは、空間畳み込みニューラルネットワークを含み、
前記第２の畳み込みニューラルネットワークは、時間畳み込みニューラルネットワークを含む、請求項１０に記載のコンピューティングシステム。

【請求項12】

前記命令は、前記１以上のプロセッサに、リソースのデータベースを使用して前記畳み込みニューラルネットワークの少なくとも１つをトレーニングすることをさらに実行させ、
前記リソースのデータベースは、前記所定の感情の正解を確立するためにラベル付けされた顔データを含む、請求項１０に記載のコンピューティングシステム。

【請求項13】

前記命令は、前記１以上のプロセッサに、
時間補間を使用して前記リソースのデータベースを正規化すること、
前記正規化されたリソースのデータベースを使用して、前記第１および第２の畳み込みニューラルネットワークの少なくとも１つをトレーニングすること、を実行させる、請求項１２に記載のコンピューティングシステム。

【請求項14】

前記２つの畳み込みニューラルネットワークは、前記ユーザのミクロ表現を解析する、請求項１０に記載のコンピューティングシステム。

【請求項15】

前記時間畳み込みニューラルネットワークは、前記音声データを分析する、請求項１１に記載のコンピューティングシステム。

【請求項16】

前記１以上の所定の感情は、驚き、嫌悪感または抑圧を含む、請求項１０に記載のコンピューティングシステム。

【請求項17】

前記第２の質問を生成することは、少なくとも前記第１の質問に対する受信された回答に基づく、請求項１０に記載のコンピューティングシステム。

【請求項18】

前記人間のユーザはローン申請者である、請求項１０に記載のコンピューティングシステム。

【請求項19】

前記コンピューティングシステムは、少なくとも７つの質問を前記ユーザに提供する、請求項１０に記載のコンピューティングシステム。

【請求項20】

少なくとも１つのプロセッサを有するデバイスによって実行される、ローン申請者の信ぴょう性を計算する方法であって、
ネットワークを介して、ユーザデバイスから、前記ユーザデバイスとのビデオ接続をインスタンス化する電子的な要求を受信すること、
質問のデータベースを用いて、前記要求に関する第１の質問を生成すること、
前記ネットワークを介して、前記生成された質問を前記ユーザデバイスに提供すること、
前記接続を介して受信される映像データおよび音声データを解析することであって、この解析は、前記映像データから複数の顔表現を抽出することを含む、こと、
空間畳み込みニューラルネットワークを用い、少なくとも１つの抽出された顔表現に基づいて、１以上の所定の感情に対応する第１のデータを計算するとともに、時間畳み込みニューラルネットワークを用い、少なくとも２つの抽出された顔表現および音声データに基づいて、前記１以上の所定の感情に対応する第２のデータを計算すること、
前記第１のデータおよび第２のデータを用いて、候補となる感情データを生成すること、
前記候補となる感情データが所定の感情を予測するか否かを判定すること、
前記候補となる感情データが所定の感情を予測するかどうかの判断に基づいて、
前記第１のデータおよび前記第２のデータを集計するための追加データを収集すべく、第２の質問を生成すること、または、
前記ローン申請者の信ぴょう性を決定し、決定した信ぴょう性を使用して前記電子的な要求を決定すること、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、信ぴょう性（authenticity）を判定するためのコンピュータ化されたシステムおよび方法に関する。特に、本開示の実施形態は、人間のユーザの微小表現を使用して信ぴょう性を判定するための、発明的かつ非従来型のシステムに関する。

【背景技術】

【0002】

インターネットが広く普及するにつれて、電子取引は、対面取引に取って代わってきた。電子取引のタイプは、アイテムの購入および金銭の借用を含めて、様々であり得る。対面相互作用なしに取引相手の信ぴょう性を判定することは困難であるため、詐欺を検出する様々な方法が存在する。

【0003】

しかしながら、信ぴょう性を決定するための既存の方法は、本質的に完全ではない。それらは、取引または信用履歴を使用して申請者の信頼性を評価し、したがって、申請者に関連するデータの小集合に限定される。さらに、トランザクションまたはクレジット履歴をでっちあげることもできるので、判定が正確でない場合がある。この理由のために、既存の方法は、しばしば、取引に従事する人との対面対話または電話会話を必要とする。しかしながら、これを行うことにより、取引のコストが増加し、プロセスが遅延する。したがって、電子的な方法で信ぴょう性を正確に判定するための改善されたシステムおよび方法が必要とされている。

【発明の概要】

【0004】

本開示の一態様は、人間のユーザの信ぴょう性を計算する方法に関する。この方法は、少なくとも１つのプロセッサを有するデバイスによって実行され得る。方法は、ネットワークを介して、ユーザデバイスから、前記ユーザデバイスとの接続をインスタンス化する電子的な要求を受信することを有し得る。方法は、質問のデータベースを用いて、前記要求に関する第１の質問を生成することを有してよい。方法は、前記ネットワークを介して、前記生成された質問を前記ユーザデバイスに提供することを有し得る。方法は、前記接続を介して受信される映像データおよび音声データを解析することであって、この解析は、前記映像データから複数の顔表情を抽出することを含む、ことを有し得る。方法は、第１の畳み込みニューラルネットワークを用い、少なくとも１つの抽出された顔表現に基づいて、１以上の所定の感情に対応する第１のデータを計算するとともに、第２の畳み込みニューラルネットワークを用い、少なくとも２つの抽出された顔表現および音声データに基づいて、前記１以上の所定の感情に対応する第２のデータを計算することを有し得る。方法は、前記第１のデータおよび第２のデータを用いて、候補となる感情データを生成することを有し得る。方法は、前記候補となる感情データが所定の感情を予測するか否かを判定することを有し得る。方法は、前記候補となる感情データが前記１以上の所定の感情を予測するかどうかの判断に基づいて、前記第１のデータおよび前記第２のデータを集計するための追加データを収集すべく、第２の質問を生成すること、または、前記ユーザの信ぴょう性を決定し、決定した信ぴょう頼性を使用して前記電子的な要求を決定することを有し得る。

【0005】

本開示の別の態様は、人間のユーザの信ぴょう性を計算するコンピューティングシステムに関する。システムは、少なくとも１つのプロセッサと、命令を格納した少なくとも１つのメモリと、を備え得る。システムは、ネットワークを介して、ユーザデバイスから、前記ユーザデバイスとの接続をインスタンス化する電子的な要求を受信し得る。システムは、質問のデータベースを用いて、前記要求に関する第１の質問を生成し得る。システムは、前記ネットワークを介して、前記生成された質問を前記ユーザデバイスに提供し得る。システムは、前記接続を介して受信される映像データおよび音声データを解析することであって、この解析は、前記映像データから複数の顔表情を抽出することを含み得る。システムは、第１の畳み込みニューラルネットワークを用い、少なくとも１つの抽出された顔表現に基づいて、１以上の所定の感情に対応する第１のデータを計算するとともに、第２の畳み込みニューラルネットワークを用い、少なくとも２つの抽出された顔表現および音声データに基づいて、前記１以上の所定の感情に対応する第２のデータを計算し得る。システムは、前記第１のデータおよび第２のデータを用いて、候補となる感情データを生成し得る。システムは、前記候補となる感情データが所定の感情を予測するか否かを判定し得る。システムは、前記候補となる感情データが前記１以上の所定の感情を予測するかどうかの判断に基づいて、前記第１のデータおよび前記第２のデータを集計するための追加データを収集すべく、第２の質問を生成すること、または、前記ユーザの信ぴょう性を決定し、決定した信ぴょう頼性を使用して前記ユーザの要求を決定し得る。

【0006】

本開示のまた別の態様は、ローン申請者の信ぴょう性を計算する方法に関する。方法は、少なくとも１つのプロセッサを有するデバイスによって実行され得る。方法は、ネットワークを介して、ユーザデバイスから、前記ユーザデバイスとのビデオ接続をインスタンス化する電子的な要求を受信し得る。方法は、質問のデータベースを用いて、前記要求に関する第１の質問を生成し得る。方法は、前記ネットワークを介して、前記生成された質問を前記ユーザデバイスに提供し得る。方法は、前記接続を介して受信される映像データおよび音声データを解析することであって、この解析は、前記映像データから複数の顔表情を抽出し得る。方法は、空間畳み込みニューラルネットワークを用い、少なくとも１つの抽出された顔表現に基づいて、１以上の所定の感情に対応する第１のデータを計算するとともに、時間畳み込みニューラルネットワークを用い、少なくとも２つの抽出された顔表現および音声データに基づいて、前記１以上の所定の感情に対応する第２のデータを計算し得る。方法は、前記第１のデータおよび第２のデータを用いて、候補となる感情データを生成し得る。方法は、前記候補となる感情データが所定の感情を予測するか否かを判定し得る。方法は、前記候補となる感情データが所定の感情を予測するかどうかの判断に基づいて、前記第１のデータおよび前記第２のデータを集計するための追加データを収集すべく、第２の質問を生成すること、または、前記ローン申請者の信ぴょう性を決定し、決定した信ぴょう性を使用して前記電子的な要求を決定すること、をし得る。

【0007】

他のシステム、方法、およびコンピュータ可読媒体も、本明細書で説明される。

【図面の簡単な説明】

【0008】

【図1】開示された実施形態と一致する、偽造検出システム（ＤＤＳ）と通信するデバイスの例示的なネットワークを示す。

【図2】開示された実施形態と一致する、ディープラーニングアルゴリズムエンジン（ＤＬＡＥ）によって実行される例示的な方法のフローチャートである。

【図3A】開示された実施形態に一致する、クライアント動作に関してＤＤＳによって実行される例示的な機能を示す。

【図3B】開示された実施形態に一致する、サーバ動作に関してＤＤＳによって実行される例示的な機能を示す。

【図4】開示された実施形態と一致する、信ぴょう性を決定するための例示的な方法のフローチャートである。

【発明を実施するための形態】

【0009】

本開示の実施形態は、人間のユーザの信ぴょう性を判定するように構成されたシステムおよび方法を対象とする。開示された実施形態は、有利には、電子的な方法で微小表現を使用して信ぴょう性を判定することができる。微小表情は、不随意のつかの間の（fleeting）顔の動きを含むことができ、これは、わずか数分の１秒しか続かない。微小表現はまた、微小な目の動きまたは音声の微小な震えを含んでもよい。それらは微妙であり、抑圧や偽造はほとんど不可能である。微小表現は、人々が隠そうとしているかもしれない感情を明らかにすることができるので、微小表現を認識することは、ユーザの信ぴょう性を決定するのに役立つことができる。

【0010】

一実施形態では、ユーザ装置は、電子要求をサーバに送信することができる。要求に応じて、サーバーはユーザーに対して１つ以上の質問を生成することがある。ユーザデバイスは、生成された質問を受信し、ユーザの質問を表示することができる。ユーザデバイスは、ユーザから回答を受信し、その回答を深層学習アルゴリズムエンジン（ＤＬＡＥ）に送信することができる。ＤＬＡＥは、２つの畳み込みニューラルネットワーク（ＣＮＮ）を使用して、ユーザが提供する回答を分析することができる。ＣＮＮは、脳が視覚情報を処理する視覚皮質の挙動を模倣するように設計された多層パーセプトロンの生物学的に刺激された変異体である。２つのＣＮＮからの結果は、ユーザの微小表現に関連する感情を予測する単一の分類器に統合される。感情が決定されない場合、サーバーは感情が決定されるまで、より多くの質問を生成する。感情が決定されると、決定された感情を用いてユーザの信ぴょう性が決定されてもよい。ユーザの回答は分析され、システム、例えばデータベースに保存される。

【0011】

いくつかの実施形態では、ユーザは、ローン申請者であってもよく、記載されたシステムは、銀行のような金融機関によって使用されてもよい。ユーザがローン申請者である場合、システムは、２つのＣＮＮを使用して申請者の回答を分析することによって、申請者の信ぴょう性を判定することができる。２つのＣＮＮは、空間ＣＮＮおよび時間ＣＮＮを含むことができる。２つのＣＮＮからの結果は、申請者の微小表現に関連する感情を予測する単一の分類器に統合される。本システムおよび方法は、申請者の信ぴょう性を効率的かつ正確に決定し、プロセス全体を電子的に管理することができる。

【0012】

図１を参照すると、偽造検出システム（ＤＤＳ）１１０と通信するデバイスの例示的なネットワークが示されている。図１Ａに示すように、ＤＤＳ １１０は、ネットワーク１００を介して、ディープ・ラーニング・アルゴリズム・エンジン（ＤＬＡＥ）１２０およびユーザ・デバイス１３０Ａ〜１３０Ｃと通信することができる。いくつかの実施形態では、ＤＤＳ １１０は、例えばケーブルを使用して、直接接続を介してＤＬＡＥ １２０またはユーザデバイスと通信することができる。

【0013】

ＤＤＳ １１０は、いくつかの実施形態では、ユーザの信ぴょう性を判定するコンピュータシステムとして実装されてもよい。ＤＤＳ １１０は、単一のコンピュータを備えてもよく、または開示された例に関連する１つ以上のプロセスおよび機能性を実行するために相互運用する複数のコンピュータを含む分散コンピュータシステムとして構成されてもよい。いくつかの実施形態では、ＤＤＳ １１０は、ユーザデバイス１３０Ａ〜１３０Ｃから電子要求を受信すると、ユーザ１４０に尋ねるための質問を生成する。

【0014】

図１に示すように、ＤＤＳ １１０は、プロセッサ１１２およびデータベース１１４を含むことができる。プロセッサ１１２は、インテル社製のペンティアムＴＭファミリーのマイクロプロセッサーやＡＭＤＴＭ社製のチュリオンＴＭファミリーなど、１つ以上の既知のプロセッシング装置であってもよい。プロセッサ１１２は、並列処理を同時に実行する単一コアまたは複数コアのプロセッサを構成してもよい。例えば、プロセッサ１１２は、論理プロセッサを使用して、複数のプロセスを同時に実行し、制御することができる。プロセッサ１１２は、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、実行、操作、格納などする能力を提供するために、仮想マシン技術または他の既知の技術を実装することができる。別の例では、プロセッサ１１２は、ＤＤＳ １１０が複数のプロセスを同時に実行することを可能にする並列処理機能性を提供するように構成された複数コアプロセッサ配置を含んでもよい。当業者は、本明細書で開示される能力を提供する他のタイプのプロセッサ構成が実装され得ることを理解するであろう。

【0015】

図１には示されていないが、ＤＤＳ １１０はメモリを含むことができる。メモリは、プロセッサ１１２によって実行されるとき、既知のオペレーティング・システム機能を実行する１つ以上のオペレーティング・システムを記憶することができる。一例として、オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、Ｕｎｉｘ、Ｌｉｎｕｘ、Ａｎｄｒｏｉｄ、Ｍａｃ ＯＳ、ｉＯＳ、または他のタイプのオペレーティングシステムを含むことができる。したがって、開示された発明の例は、任意のタイプのオペレーティングシステムを実行するコンピュータシステムで動作し、機能することができる。メモリは、揮発性または不揮発性、磁気、半導体、テープ、光学、取外し可能、取外し不可能、または他のタイプの記憶装置または有形のコンピュータ可読媒体とすることができる。

【0016】

ＤＤＳ １１０は、少なくとも１つのデータベース１１４を含むことができる。データベース１１４は、開示された例に関連する方法およびプロセスを実行するためにプロセッサ１１２によって使用され得るデータを格納し得る。データベース１１４は、図１に示すようにＤＤＳ １１０内に配置されてもよく、あるいは、ＤＤＳ １１０の外部に配置された外部記憶装置内に配置されてもよい。データベース１１４に記憶されたデータは、ユーザに尋ねる潜在的な質問に関連する情報など、任意の適切なデータを含んでもよい。質問には、任意のユーザに尋ねられる典型的な質問、またはＤＤＳ １１０と対話するユーザ用にカスタマイズされた質問が含まれることがある。例示的な質問には、「収入は何ですか」、「職業は何ですか」、「現在の住所にどれだけ長く滞在したか」、「電話番号は何ですか」、および「識別番号は何ですか」が含まれ得る。

【0017】

深層学習アルゴリズムエンジン（ＤＬＡＥ）１２０は、図１に示すように、ＤＤＳ １１０の外部に配置されてもよい。代替的に、または追加的に、いくつかの実施形態では、ＤＬＡＥ １２０は、ＤＤＳ １１０の内側に配置されてもよい。ＤＬＡＥ １２０は、２つのＣＮＮを使用してユーザの回答を分析することができる。図２に関して以下で論じるように、いくつかの実施形態では、２つのＣＮＮは、空間ＣＮＮ １２０Ａおよび時間ＣＮＮ １２０Ｂを含むことができる。空間ＣＮＮ １２０Ａおよび時間ＣＮＮは、既知のニューラルネットワーク、例えば、ＶＧＧ−１６およびＲｅｓＮｅｔ ５０であってもよい。

【0018】

空間ＣＮＮ １２０Ａは、画像ソースからの顔について事前トレーニングされてもよく、時間ＣＮＮ １２０Ｂは、ビデオソースを使用して事前トレーニングされてもよい。ＣＮＮは、各感情についてラベル付けされたデータを有するデータセットを使用して、１つ以上の所定の感情クラスについてトレーニングされてもよい。そのようなデータセットの１つの既知の例は、ＩｍａｇｅＮｅｔである。ＩｍａｇｅＮｅｔは、視覚物体認識ソフトウェア研究に使用するために設計された大きな視覚データセットである。

【0019】

いくつかの実施形態では、所定の感情は、任意の数の所定の感情クラスを含むことができる。例えば、所定の感情クラスは、幸福、驚き、嫌悪、及び抑圧を含むことができる。トレーニングされたＣＮＮは、感情クラスごとに確立された正解を有することができる。いくつかの実施形態では、ＣＮＮがトレーニングされた後、１つまたは複数の追加のデータセットを使用して、確立された正解（ground truth）の精度をチェックすることができる。正解は、ユーザの感情が測定される基準となる標準的な感情である。例えば、ユーザの微小な顔の表情が、幸福のための正解に完全に一致する場合、ユーザは１００％幸福である。しかし、ユーザの微小表現が幸福のための地上の真実と一致するのは５０％だけならば、ユーザは５０％幸福である。２つのＣＮＮからの結果は、ユーザの微小表現に関連する感情を予測する単一の分類器に統合される。

【0020】

いくつかの実施形態では、ビデオおよびオーディオを含むユーザの描写は、ＤＬＡＥ １２０が描写を分析する前に前処理されてもよい。いくつかの実施形態では、ＤＬＡＥ １２０は、ＤＬＡＥ １２０がユーザを表すビデオを受信した後に、ビデオからフレームを抽出することができる。作成される抽出周波数は、予め決定される。いくつかの実施形態では、ＤＬＡＥ １２０は、受信したビデオから１０秒ごとにフレームを抽出することができる。正確な画像は、空間ＣＮＮ １２０Ａ及び時間的ＣＮＮ １２０Ｂを用いて解析することができる。

【0021】

上述したように、抽出されたフレームを使用して、ＤＬＡＥ １２０は、各感情クラスについて、ユーザの顔表現が正解にどの程度類似しているかを決定することができる。例えば、ＤＬＡＥ １２０は、空間ＣＮＮ １２０Ａを使用して、抽出されたフレーム内の目、まぶた、鼻、口などの位置および動作を分析することができる。例えば、フレームは、確立された正解と比較して、ユーザが３０％不安、５０％抑制、７０％驚き、および２０％幸せであることを示すユーザの微小表現を含むことができる。分析された結果は、時間的ＣＮＮ １２０Ｂの入力として使用されてもよい。時間的ＣＮＮ １２０Ｂは、時間の経過に伴うユーザの微小表現の変化を分析することができる。いくつかの実施形態では、時間的ＣＮＮは、ユーザの頭の揺れ、頭のうなずき、または微小眼球運動を分析することができる。時間的ＣＮＮ １２０Ｂはまた、音声微小振動を認識することができる。

【0022】

空間ＣＮＮ １２０Ａと時間的ＣＮＮ １２０Ｂからの結果を組み合わせてもよい。いくつかの実施形態では、ＤＬＡＥ １２０は、アンサンブル方法、すなわち、複数の学習アルゴリズムを使用して、２つの結果を組み合わせることができる。いくつかの実施形態では、結合された結果は、ロジスティック回帰モデルを使用してさらに分析されてもよい。

【0023】

結合された結果１２０Ｃに基づいて、ＤＬＡＥ １２０は、ユーザの信ぴょう性を決定するために使用されることができるユーザの感情を決定することができる。感情が決定されない場合、ＤＤＳ １１０は、より多くの質問を生成することができる。追加の質問に対する回答は、ＤＬＡＥ １２０によってさらに分析することができる。ＤＤＳ １１０は、ユーザの感情が決定されるまで質問を生成し続けることができる。

【0024】

ＤＤＳ １１０およびＤＬＡＥ １２０は、タブレット１３０Ａ、モバイルデバイス／ＰＤＡ １３０Ｂ、コンピュータ１３０Ｃなどのユーザデバイスと通信することができる。ユーザデバイス１３０Ａ〜１３０Ｃは、ディスプレイを含むことができる。ディスプレイは、例えば、液晶ディスプレイ、発光ダイオードスクリーン、有機発光ダイオードスクリーン、タッチスクリーン、および他の公知のディスプレイデバイスを含んでもよい。ディスプレイは、ユーザに様々な情報を表示することができる。例えば、これは、サーバによって生成された質問、またはＤＬＡＥ １２０によって決定された結果を表示することができる。

【0025】

ユーザデバイス１３０Ａ〜１３０Ｃは、１つまたは複数の入出力（Ｉ／Ｏ）デバイスを含むことができる。Ｉ／Ｏデバイスは、ユーザデバイス１３０Ａ〜１３０Ｃがユーザ１４０Ａ〜１４０Ｃまたは別のデバイスから情報を送受信することを可能にする１つまたは複数のデバイスを含むことができる。Ｉ／Ｏデバイスは、様々な入出力デバイス、カメラ、マイクロフォン、キーボード、マウスタイプのデバイス、ジェスチャセンサ、アクションセンサ、物理ボタン、口頭入力などを含むことができる。例えば、ユーザは、ユーザデバイス１３０Ａ〜１３０Ｃのカメラおよびマイクロフォンを介して、ユーザの顔のビデオをＤＤＳ １１０に提供することができる。Ｉ／Ｏデバイスはまた、例えば、ユーザデバイス１３０Ａ〜１３０Ｃとネットワーク１００との間の有線または無線接続を確立することによって、ＤＤＳ １１０から情報を送受信するための１つまたは複数の通信モジュール（図示せず）を含むことができる。

【0026】

ユーザ装置１３０Ａ〜１３０Ｃは、ビデオカメラを備えていてもよく、あるいは、遠隔ビデオカメラに接続されていてもよい。ユーザデバイス１３０Ａ〜１３０Ｃは、ビデオ信号およびオーディオ信号をＤＤＳ １１０に送信することができる。いくつかの実施形態では、ビデオ信号およびオーディオ信号は、例えば、ＭＰＥＧ−４、ＭＰＥＧ−２、ロスレスコーデック、または他のコーデックを含むコーデックを使用して圧縮され得る。一部の実施形態では、ＭＰＥＧ−４およびＭＰＥＧ−２を使ってシグナルを圧縮することができる。いくつかの実施形態では、ビデオ信号およびオーディオ信号は、異なるコーデックを使用して別々に符号化および／または圧縮されてもよい。

【0027】

ユーザ１４０Ａ〜１４０Ｃは、ＤＤＳ １１０に電子要求を提供する任意の人であってもよい。いくつかの実施形態では、ユーザ１４０Ａ〜１４０Ｃは、ローン申請者であってもよい。場合によっては、ＤＤＳは、銀行および信用組合などの金融機関によって採用されてもよい。ユーザ１４０Ａ〜１４０Ｃは、ユーザデバイス１３０Ａ〜１３０Ｃを使用して、ＤＤＳ １１０から質問を受信し、ＤＤＳ １１０に回答を提供することができる。申請者の回答は、ＤＬＡＥ １２０によって分析することができる。

【0028】

図２は、開示された実施形態と一致する、ディープラーニングアルゴリズムエンジン（ＤＬＡＥ）によって実行される例示的な方法のフローチャートである。ＤＬＡＥ １２０は、ユーザデバイス１３０Ａ〜１３０Ｃを介してユーザ１４０Ａ〜１４０Ｃからロウデータ（raw data）２１０を受信することができる。ロウデータ２１０は、１つ以上の質問に応答して、ユーザの回答にビデオおよび／または音声を含むことができる。上で説明したように、ロウデータ２１０内の表情および音声は、２つの畳み込みニューラルネットワーク（ＣＮＮ）を使用して分析することができる。

【0029】

ＣＮＮを使用する分析を通して、ＤＬＡＥ １２０は、微小表情、微小眼球運動、および音声微小震えなどのユーザの微小表情を検出することができる。上記で説明したように、ＤＬＡＥ １２０は、空間ＣＮＮ １２０Ａおよび時間ＣＮＮ １２０Ｂを使用して、ユーザのビデオおよび／またはオーディオを分析することができる。結合された結果を使用して、ＤＬＡＥ １２０は、感情を中間結果２２０として決定することができる。中間結果２２０は、予め決定された感情にわたる確率分布であってもよい。

【0030】

いくつかの実施形態では、中間結果を使用して、ユーザの信ぴょう性を判定することができる。信ぴょう性は、決定された感情に基づいてスコア付けされてもよい。スコアがしきい値を上回る場合、ユーザは真実（truthful）であると見なされてもよく、スコアがしきい値を下回る場合、ユーザは真実でない（untruthful）と見なされてもよい。

【0031】

図３Ａは、ＤＤＳ １１０のクライアント側における例示的なモジュールを示す。これらのモジュールは、クライアント対話に関してＤＤＳ １１０によって実行される機能を例示する。クライアント側とサーバ側の間の分割は説明目的であり、分割はすべての実施形態において要求されるわけではない。ＤＤＳ １１０のクライアント側は、問題ベース対話モジュール３００、オーディオ及びビデオ取得モジュール３１０、並びにオーディオ及びビデオ特徴抽出モジュール３２０を含むことができる。問題ベース対話モジュール３００は、質問生成モジュール３０２、質問選択モジュール３０４、問い合わせ決定モジュール３０６、および問題ヒントモジュール３０８を含むことができる。

【0032】

質問生成モジュール３０２は、ユーザデバイス１３０Ａ〜１３０Ｃから電子要求を受信すると、質問を生成することができる。質問選択モジュール３０４は、ユーザ１４０に問い合わせるために、１つ以上の質問を選択することができる。いくつかの実施形態では、質問の生成および質問は、例えば、テキスト質問を提示することによって、またはテキスト音声モジュールを使用することによって、電子的に行うことができる。

【0033】

質問選択モジュール３０４は、ユーザに尋ねることができる潜在的な質問を含む適切なデータセットを格納するデータベース１１４を使用することができる。例えば、データベース１１４は、ユーザの収入、職業、住所、電話番号、または識別に関する潜在的な質問を含むことができる。ユーザ１４０Ａ〜１４０Ｃのための質問を選択する際に、質問選択モジュール３０４は、１つまたは複数の以前の質問に対するユーザの以前の回答を含む、ユーザが提供した任意の情報を考慮することができる。いくつかの実施形態では、質問に対するユーザの回答が曖昧である場合、質問選択モジュール３０４は、次の質問を選択して、質問に対する回答を明確にすることができる。いくつかの実施形態では、質問選択モジュール３０４は、生成された質問を、その重要性および必要性に従ってランク付けすることができる。

【0034】

問い合せ決定モジュール３０６は、ＤＤＳ １１０が、ユーザの感情を決定するためにさらなる質問をする必要があるかどうかを決定することができる。例えば、１つ以上のユーザの以前の回答の分析結果は、ユーザの感情を決定するのに十分ではなく、問い合わせ決定モジュール３０６は、さらなる質問が必要であることをＤＤＳ １１０に信号で伝えることができる。

【0035】

問題ヒントモジュール３０８は、ユーザの回答が様々な予想される潜在的な回答から予想以上に逸脱したときに、ユーザ１４０Ａ〜１４０Ｃに１つまたは複数のヒントを提供することができる。いくつかの実施形態では、問題ヒントモジュール３０８は、現在の質問に対する適切な回答を提案するように機能することができる。例えば、ＤＤＳ １１０は、ローン申請者に、「どの月のどの日にローンのための分割払いを支払うか」を尋ねることができる。

【0036】

ユーザは質問を誤解し、「水曜日」と答えるかもしれない。その場合、ＤＤＳ １１０は問題のヒント３０８を提供し、「毎月どの日付？」と尋ねてもよい。オーディオおよびビデオ収集モジュール３１０は、オーディオ／ビデオ符号化モジュール３１２を含み、サーバモジュール３１４を保存およびアップロードすることができる。オーディオ／ビデオ符号化モジュール３１２は、ユーザデバイス１３０Ａ〜１３０Ｃから受信されたロウデータが保存され、ＤＤＳ １１０にアップロードされる前に、それらのロウデータを符号化することができる。コーディングは、ロウデータ２１０を、ＤＤＳ １１０および／またはＤＬＡＥ １２０によってアクセスされ、修正され、または分析され得る異なるフォーマットに変更し得る。上述したように、コーデックは、ＭＰＥＧ−４、ＭＰＥＧ−２、可逆コーデック、または他のコーデックを含むことができる。保存およびアップロードサーバモジュール３１４は、符号化されたロウデータをＤＤＳ １１０に保存することができる。

【0037】

ユーザのオーディオ及びビデオが保存され、ＤＤＳ １１０にアップロードされた後、オーディオ及びビデオの特徴が抽出され得る。オーディオおよびビデオ特徴抽出モジュール３２０は、オーディオ特徴モジュール３２２、ビデオ特徴モジュール３２４、および特徴データアップロードサーバモジュール３２６を含み得る。いくつかの実施形態では、オーディオ特徴モジュール３３２はオーディオデータを抽出することができ、ビデオ特徴モジュール３２４はビデオデータを抽出することができる。抽出は、所定の周波数で行われてもよい。例えば、オーディオ機能モジュール３２２およびビデオ機能モジュール３２４は、受信されたビデオから１０秒ごとにオーディオおよび／またはフレームを抽出することができる。正確な画像は、空間ＣＮＮ １２０Ａ及び時間的ＣＮＮ １２０Ｂを用いて解析することができる。

【0038】

図３Ｂは、ＤＤＳ １１０のサーバ側における例示的なモジュールを示す。これらのモジュールは、ＤＬＡＥ １２０などのシステム間の内部対話に関してＤＤＳ １１０によって実行される機能を例示する。上述したように、クライアント側とサーバ側との間の分割は、例示の目的のためであり、分割は、全ての実施形態において必要とされるわけではない。ＤＤＳ １１０におけるサーバ側モジュールは、ストリーミングメディアモジュール３３０、ビジネスインターフェースモジュール３４０、オーディオおよびビデオ分析モジュール３５０、ならびにモデル計算モジュール３６０を含み得る。

【0039】

ストリーミング・メディア・モジュール３３０は、記録および保存モジュール３３２およびブロードキャスト・モジュール３３４を含むことができる。オーディオおよびビデオ特徴抽出モジュール３２０を介して抽出されたデータは、記録および保存モジュール３３２によって、放送のためにサーバに記録および保存され得る。サーバは、図３Ａで抽出されたデータを保存するために使用されるサーバと同じサーバであってもよいが、ＤＤＳ １１０に配置された異なるサーバであってもよい。いくつかの実施形態では、サーバは、ＤＤＳ １１０の外部に配置されてもよい。ＭＰＥＧ−４、ＭＰＥＧ−２、可逆コーデック、または他のビデオコーデックなどのコーデックを使用して、オーディオおよびビデオデータを保存することができる。

【0040】

放送モジュール３３４は、記録および保存モジュール３３２によってサーバに保存されたビデオおよびオーディオデータを放送することができる。上述したように、オーディオ及びビデオは、放送される前に前処理されてもよい。放送３３４されることによって、記録され、保存されたオーディオおよびビデオは、それらのピクセルデータおよびオプティカルフローデータを空間ＣＮＮ １２０Ａおよび時間ＣＮＮ １２０Ｂに送ることができる。

【0041】

ビジネス・インターフェース・モジュール３４０は、問題ベース論理モジュール３４２およびビジネス・システム・モジュール３４４を含むことができる。いくつかの実施形態では、ビジネスインターフェースモジュール３４０は、ビジネスシステムモジュール３４４とＤＳＳ １１０および／またはＤＬＡＥ １２０との間の通信を実行することができる。いくつかの実施形態では、ビジネスインターフェースモジュール３４０は、ＤＬＡＥ １２０をビジネスシステム３４４に接続するためのソフトウェアインターフェースである。ソフトウェアインタフェースは、アプリケーションが通信するために使用する言語とコードである可能性がある。

【0042】

ビジネスシステムモジュール３４４は、ＤＬＡＥ １２０と通信し、決定されたユーザの信ぴょう性データをＤＬＡＥ １２０から受信することができる。上述したように、信ぴょう性は、決定された感情に基づいてスコア付けされてもよい。いくつかの実施形態では、スコアがしきい値を上回る場合、ユーザは真実であると見なされてもよい。ユーザが決定した信ぴょう性に基づいて、ビジネス・システム・モジュール３４４は、ビジネス決定、例えば、ローン承認または拒否決定を行うことができる。

【0043】

問題ベース論理モジュール３４２は、ビジネス・システム・モジュール３４４がビジネス決定を行うのを支援することができる。問題ベース論理モジュール３４２は、ユーザの回答、またはユーザによって提供される任意の追加情報を分析して、ユーザとビジネスを行う価値があるかどうかを判定することができる。例えば、ユーザが、ユーザの収入が平均よりはるかに低いと答えた場合、および／または、ユーザが年間収入の２倍を超える負債を有する場合、ビジネスシステムモジュール３４４は、ユーザが強力な財務能力を有さない可能性があると判断することができ、これは、ユーザとのビジネスを行う可能性を低下させることができる。

【0044】

いくつかの実施形態では、ユーザはローン申請者であってもよい。実施形態では、ビジネスシステムモジュール３４４は、申請者の決定された信ぴょう性に基づいてローン承認決定を行うことができる。ビジネス・インターフェース・モジュール３４０を介して、ビジネス・システム・モジュール３４４は、ＤＤＳ １１０および／またはＤＬＡＥ １２０から、決定された申請者の信ぴょう性を受け取ることができる。問題ベース論理モジュール３４２は、ローン申請者の回答または提出されたローン申込を分析して、申請者の財務能力を評価することができる。評価された申請者の財務能力に基づいて、ビジネスシステムモジュール３４４は、承認されたローンの金利をさらに決定することもできる。例えば、ビジネス・システム・モジュール３４４は、より良好な金融能力を有する者に対して、より低い金利を決定することができる。

【0045】

オーディオおよびビデオ分析モジュール３５０は、空間ＣＮＮ １２０Ａおよび時間１２０Ｂを使用して、ブロードキャストされたオーディオおよびビデオデータを分析することができる。オーディオ及びビデオ分析モジュール３５０は、顔特徴モジュール３５２及び声紋特徴モジュール３５４を含むことができる。顔面特徴モジュール３５２は、２つのＣＮＮ、空間ＣＮＮ １２０Ａおよび時間ＣＮＮ １２０Ｂを使用して分析され得る。２つのＣＮＮからの結果は、ユーザの微小表現に関連する感情を予測する単一の結合結果１２０Ｃに統合される。声紋特徴モジュール３５４は、時間的ＣＮＮ １２０Ｂを使用して、ブロードキャストされたオーディオデータを分析することができる。上述したように、時間的ＣＮＮは、スピーチマイクロトレンブリングを検出することができる。

【0046】

モデル計算モジュール３６０は、表現分析モジュール３６２および声紋分析モジュール３６４を含むことができる。表情分析モジュール３６２は、顔特徴モデル３５２から結果を受け取り、ユーザの表情から示されるユーザの感情を計算することができる。声紋分析モジュール３６２は、声紋特徴３５４から結果を受信し、ユーザの声の震えから示されるユーザの感情を計算することができる。いくつかの実施形態では、音声は、音声データを含むデータベースを使用してトレーニングされた１つ以上のＣＮＮを使用して分析されてもよい。表現分析モジュール３６２および声紋分析モジュール３６４からの計算が組み合わされる。結合された結果に基づいて、モデル計算モジュール３６０は、ユーザの感情を決定することができる。

【0047】

図４は、偽装検出方法の一例を示すフローチャートである。偽装検出方法は、ユーザデバイス１３０Ａ〜１３０Ｃ、偽装検出システム（ＤＤＳ）１１０、深層学習アルゴリズムエンジン（ＤＬＡＥ）１２０、およびデータベース１１４を含むステップを備えることができる。

【0048】

ステップ４０２において、ユーザデバイス１３０Ａ〜１３０Ｃは、ユーザ（例えば、図１のユーザ１４０Ａ）のための電子要求を生成することができる。いくつかの実施形態では、ユーザ１４０Ａは、ローン申請者であってもよく、電子要求は、申請者がローン申請を提出するときに生成されてもよい。ステップ４１２において、ＤＤＳ １１０は、要求を受信することができ、ユーザ１４０Ａ〜１４０Ｃのための１つまたは複数の質問を生成することができる。質問は、ユーザの収入、職業、住所、電話番号、または識別に関するものとすることができる。ステップ４０４において、ユーザデバイス１３０Ａ〜１３０Ｃは、生成された質問をＤＤＳ １１０から受信し、その質問をユーザデバイス１３０Ａ〜１３０Ｃ上に表示することができる。

【0049】

ステップ４０６において、ユーザデバイス１３０Ａ〜１３０Ｃは、ユーザ１４０Ａ〜１４０Ｃから回答を受信し、その回答をＤＬＡＥ １２０に送信することができる。ステップ４２２において、ＤＬＡＥ １２０は、上記で説明したように、２つのＣＮＮを使用して、受信した応答を分析することができる。ステップ４２４において、ＤＬＡＥ １２０は、分析結果を使用して、ユーザの感情が判定されるかどうかを判定することができる（４２４）。ＤＬＡＥ １２０が感情検出について明確な結果を得ると、感情が決定されたと考えることができる。ステップ４３２において、分析結果は、ＤＤＳ １１０が将来使用することができるデータベース１１４に記憶される。

【0050】

ステップ４２６において、ＤＬＡＥ １２０は、ユーザの感情を決定し、これをユーザ装置１３０Ａ〜１３０Ｃと通信する。図３Ｂで上述したように、決定された感情は、ＤＤＳ １１０がユーザの信ぴょう性を計算し、最終的にビジネス決定を行うために使用されてもよい。ステップ４０８において、ユーザデバイス１３０Ａ〜１３０Ｃは、ユーザの電子要求に応答して、決定されたビジネス決定を表示することができる。

【0051】

ステップ４２４でユーザの感情が判定されない場合、ＤＬＡＥ １２０は、追加の質問が必要であることをＤＤＳ １１０に信号で伝えることができる。したがって、ステップ４１２において、ＤＤＳ １００は、１つまたは複数のさらなる質問を生成することができる。上述したように、ステップ４２２において、ＤＬＡＥ １２０は、ユーザの追加の回答を分析することができる。ＤＤＳ １１０は、ＤＬＡＥ １２０がユーザの感情が決定されると決定するまで、追加の質問を生成することができる。分析された回答は、データベース１１４に記憶されてもよい。上で説明したように、ＤＤＳ １１０は、適応学習能力を有し、ユーザと対話し、ユーザからのより多くのデータを記憶し、顧客が嘘をついているかもしれないことを検出したときにより鋭い質問を生成することができるので、改善することができる。

【図1】

【図2】

【図3A】

【図3B】

【図4】