特許 7001738 人工知能決定による表情に基づくビデオコールルーティング及び管理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-28

(45)【発行日】2022-01-20

(54)【発明の名称】人工知能決定による表情に基づくビデオコールルーティング及び管理

(51)【国際特許分類】

   H04M 3/51 20060101AFI20220113BHJP

   G06Q 10/00 20120101ALI20220113BHJP

   H04M 3/56 20060101ALI20220113BHJP

   H04M 11/06 20060101ALI20220113BHJP

【ＦＩ】

H04M3/51

G06Q10/00

H04M3/56 C

H04M11/06

【請求項の数】 10

【外国語出願】

(21)【出願番号】P 2020081776

(22)【出願日】2020-05-07

(65)【公開番号】P2020184763

(43)【公開日】2020-11-12

【審査請求日】2020-06-10

(31)【優先権主張番号】16/405,023

(32)【優先日】2019-05-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516044864

【氏名又は名称】アバイア インコーポレーテッド

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100114915

【弁理士】

【氏名又は名称】三村 治彦

(74)【代理人】

【識別番号】100125139

【弁理士】

【氏名又は名称】岡部 洋

(74)【代理人】

【識別番号】100209808

【弁理士】

【氏名又は名称】三宅 高志

(72)【発明者】

【氏名】ジェラード カーティ

(72)【発明者】

【氏名】トーマス モラン

【審査官】田畑 利幸

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０３３７５２７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３５３６０５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２５６６７５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０００５２７２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／０１５１０３８（ＵＳ，Ａ１）

【文献】特開２０１６－１４９０６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｍ ３／３８－ ３／５８

Ｈ０４Ｍ １１／００－１１／１０

Ｇ０６Ｔ １／００－ １／４０

Ｇ０６Ｔ ３／００－ ５／００

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｔ ９／００－ ９／４０

Ｇ０６Ｑ １０／００

(57)【特許請求の範囲】

【請求項1】

第１のコンタクトセンターであって、
マイクロプロセッサと、
コンピュータ可読媒体であって、前記マイクロプロセッサに結合され、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、
顧客の通信エンドポイントと第１のコンタクトセンターエージェントの第１の通信エンドポイントとの間のリアルタイムビデオコールのビデオストリームを受信させ、
リアルタイムで、前記リアルタイムビデオコールの前記ビデオストリームを処理させて第１のリアルタイム感情トランスクリプトを生成させ、該第１のリアルタイム感情トランスクリプトは前記リアルタイムビデオコールの前記ビデオストリームに発生する複数の非言語的表現に基づいて複数の別個の感情を追跡するものであり、
前記第１のリアルタイム感情トランスクリプトを少なくとも１つの以前のビデオコールの第２の感情トランスクリプトと比較させて、前記リアルタイムビデオコールが前記第１のコンタクトセンターにおいて異なる態様で扱われるべきであるかを判定させ、
前記リアルタイムビデオコールが前記第１のコンタクトセンターにおいて異なる態様で扱われるべきと判定したことに応じて、前記リアルタイムビデオコールがどのように前記第１のコンタクトセンターにおいて管理されるかを変更するアクションを決定させる
マイクロプロセッサ可読及び実行可能命令を備えるコンピュータ可読媒体と
を備える第１のコンタクトセンター。

【請求項2】

前記複数の非言語的表現が、前記マイクロプロセッサの補助なしに人間によって視覚的に検出可能でない少なくとも１つのマイクロエクスプレッションを備える、請求項１に記載の第１のコンタクトセンター。

【請求項3】

前記リアルタイムビデオコールがどのように前記第１のコンタクトセンターにおいて管理されるかを変更する前記アクションが、前記第１のコンタクトセンターにおいて前記リアルタイムビデオコールを再ルーティングすることを備え、前記第１のコンタクトセンターにおいて前記リアルタイムビデオコールを再ルーティングすることが、監督者通信エンドポイントを前記リアルタイムビデオコールに参加させること、前記リアルタイムビデオコールをインタラクティブボイスレスポンス（ＩＶＲ）システムにルーティングすること、前記リアルタイムビデオコールを第２のコンタクトセンターエージェントの第２の通信エンドポイントにルーティングすること、前記リアルタイムビデオコールをコンタクトセンターキューにルーティングすること、前記リアルタイムビデオコールを第２のコンタクトセンターにルーティングすること、前記リアルタイムビデオコールを保留にすること、前記リアルタイムビデオコールを音消しすること、及び前記リアルタイムビデオコールを異なる媒体タイプに変更することのうちの少なくとも１つを備える、請求項１に記載の第１のコンタクトセンター。

【請求項4】

前記第１のリアルタイム感情トランスクリプトが、第１のリアルタイム顧客感情トランスクリプト及び第１のリアルタイムエージェント感情トランスクリプトを備え、前記第２の感情トランスクリプトが複数の先行ビデオコールの複数の先行顧客感情トランスクリプト及び複数の先行エージェント感情トランスクリプトを備え、前記第１のリアルタイム感情トランスクリプトを前記第２の感情トランスクリプトと比較することが、前記複数の先行ビデオコールのうちの、前記第１のリアルタイム顧客感情トランスクリプトに類似する顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトに類似するエージェント感情トランスクリプトを有する少なくとも１つの先行ビデオコールを識別することを備える、請求項１に記載の第１のコンタクトセンター。

【請求項5】

前記第１のリアルタイム感情トランスクリプトが第１のリアルタイム顧客感情トランスクリプトを備え、前記第２の感情トランスクリプトが第２の顧客感情トランスクリプトを備え、前記第１のリアルタイム顧客感情トランスクリプト及び前記第２の顧客感情トランスクリプトが同じ顧客についてのものであり、前記第１のリアルタイム感情トランスクリプト及び前記第２の感情トランスクリプトが特定タイプのリアルタイムビデオコールに関連するトランスクリプトであり、前記特定タイプのリアルタイムビデオコールが、サポートされるタイプのサービス、コンタクトセンターキュー、サポートされる商品及びエージェント技量レベルの少なくとも１つに関連付けられる、請求項１に記載の第１のコンタクトセンター。

【請求項6】

前記第１のリアルタイム感情トランスクリプトが、第１のリアルタイム顧客感情トランスクリプト及び第１のリアルタイムエージェント感情トランスクリプトを備え、前記リアルタイムビデオコールが、監督者通信エンドポイントに転送され又は監督者通信エンドポイントによって参加されるものの１つであり、前記マイクロプロセッサ可読及び実行可能命令が、前記マイクロプロセッサに、さらに、
前記第１のコンタクトセンターエージェントの前記第１の通信エンドポイントにおいて、表示用に、前記第１のリアルタイム顧客感情トランスクリプト及び前記リアルタイムエージェント感情トランスクリプトのうちの少なくとも一方を生成させ、
前記監督者通信エンドポイントにおいて、表示用に、前記第１のリアルタイム顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトを生成させ、
前記複数の追跡される別個の感情の個々の１つずつについて１以上の変更点を識別させ、
前記監督者通信エンドポイントにおいて、表示用に、前記第１のリアルタイム顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトの少なくとも一方における１以上の変更点を識別するマーカを生成させ、
前記マーカの１つの選択を受信させ、
前記監督者通信エンドポイントにおいて、表示用に、前記マーカの前記１つの前記選択されたものに関連する前記リアルタイムビデオコールの部分のテキストトランスクリプトを生成させる、請求項１に記載の第１のコンタクトセンター。

【請求項7】

前記第１のリアルタイム感情トランスクリプトは前記リアルタイムビデオコールにおける全ての参加者の合成感情トランスクリプトであり、前記第２の感情トランスクリプトが前記少なくとも１つの以前のビデオコールにおける全ての参加者の合成感情トランスクリプトである、請求項１に記載の第１のコンタクトセンター。

【請求項8】

方法であって、
第１のコンタクトセンターにおけるマイクロプロセッサによって、顧客の通信エンドポイントと第１のコンタクトセンターエージェントの第１の通信エンドポイントとの間のリアルタイムビデオコールのビデオストリームを受信するステップと、
前記マイクロプロセッサによって、リアルタイムで、前記リアルタイムビデオコールの前記ビデオストリームを処理して第１のリアルタイム感情トランスクリプトを生成するステップであって、該第１のリアルタイム感情トランスクリプトは前記リアルタイムビデオコールの前記ビデオストリームに発生する複数の非言語的表現に基づいて複数の別個の感情を追跡する、ステップと、
前記マイクロプロセッサによって、前記第１のリアルタイム感情トランスクリプトを少なくとも１つの以前のビデオコールの第２の感情トランスクリプトと比較して、前記リアルタイムビデオコールが前記第１のコンタクトセンターにおいて異なる態様で扱われるべきであるかを判定するステップと、
前記リアルタイムビデオコールが前記第１のコンタクトセンターにおいて異なる態様で扱われるべきと判定したことに応じて、前記マイクロプロセッサによって、前記第１のコンタクトセンターにおいて前記リアルタイムビデオコールがどのように管理されるかを変更するアクションを決定するステップと
を備える方法。

【請求項9】

前記複数の非言語的表現が、前記マイクロプロセッサの補助なしに人間によって視覚的に検出可能でない少なくとも１つのマイクロエクスプレッションを備え、
前記リアルタイムビデオコールがどのように管理されるかを変更する前記アクションが、前記第１のコンタクトセンターにおいて前記リアルタイムビデオコールを再ルーティングすることを備え、前記第１のコンタクトセンターにおいて前記リアルタイムビデオコールを再ルーティングすることが、監督者通信エンドポイントを前記リアルタイムビデオコールに参加させること、前記リアルタイムビデオコールをインタラクティブボイスレスポンス（ＩＶＲ）システムにルーティングすること、前記リアルタイムビデオコールを第２のコンタクトセンターエージェントの第２の通信エンドポイントにルーティングすること、前記リアルタイムビデオコールをコンタクトセンターキューにルーティングすること、前記リアルタイムビデオコールを第２のコンタクトセンターにルーティングすること、前記リアルタイムビデオコールを保留にすること、前記リアルタイムビデオコールを音消しすること、及び前記リアルタイムビデオコールを異なる媒体タイプに変更することのうちの少なくとも１つを備え、
前記第１のリアルタイム感情トランスクリプトが、第１のリアルタイム顧客感情トランスクリプト及び第１のリアルタイムエージェント感情トランスクリプトを備え、前記第２の感情トランスクリプトが複数の先行ビデオコールの複数の先行顧客感情トランスクリプト及び複数の先行エージェント感情トランスクリプトを備え、前記第１のリアルタイム感情トランスクリプトを前記第２の感情トランスクリプトと比較することが、前記複数の先行ビデオコールのうちの、前記第１のリアルタイム顧客感情トランスクリプトに類似する顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトに類似するエージェント感情トランスクリプトを有する少なくとも１つの先行ビデオコールを識別することを備え、
前記方法は、前記第１のコンタクトセンターエージェントの前記第１の通信エンドポイントにおいて、表示用に、前記第１のリアルタイム顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトのうちの少なくとも一方を生成するステップをさらに備え、
前記第１のコンタクトセンターにおいて前記リアルタイムビデオコールを再ルーティングすることが、少なくとも前記監督者通信エンドポイントへの転送又は前記監督者通信エンドポイントの参加をさらに備え、前記リアルタイムビデオコールが前記監督者通信エンドポイントに転送され又は前記監督者通信エンドポイントによって参加されるものの１つであり、
前記方法は、前記監督者通信エンドポイントにおいて、表示用に、前記第１のリアルタイム顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトを生成するステップと、前記複数の追跡される別個の感情の個々の１つずつについて１以上の変更点を識別するステップと、前記監督者通信エンドポイントにおいて、表示用に、前記第１のリアルタイム顧客感情トランスクリプト及び前記第１のリアルタイムエージェント感情トランスクリプトの少なくとも一方における１以上の変更点を識別するマーカを生成するステップと、前記マーカの１つの選択を受信するステップと、前記監督者通信エンドポイントにおいて、表示用に、前記マーカの前記１つの前記選択されたものに関連する前記リアルタイムビデオコールの部分のテキストトランスクリプトを生成するステップとをさらに備える請求項８に記載の方法。

【請求項10】

システムであって、
マイクロプロセッサと、
コンピュータ可読媒体であって、前記マイクロプロセッサに結合され、前記マイクロプロセッサによって実行されると、前記マイクロプロセッサに、
第１の通信エンドポイントと第２の通信エンドポイントとの間のリアルタイムビデオコールのビデオストリームを受信させ、
リアルタイムで、前記リアルタイムビデオコールの前記ビデオストリームを処理させて第１のリアルタイム感情トランスクリプトを生成させ、該第１のリアルタイム感情トランスクリプトは前記リアルタイムビデオコールの前記ビデオストリームに発生する複数の非言語的表現に基づいて複数の別個の感情を追跡するものであり、
前記第１のリアルタイム感情トランスクリプトを少なくとも１つの以前のビデオコールの第２の感情トランスクリプトと比較させて、前記リアルタイムビデオコールが異なる態様で扱われるべきであるかを判定させ、
前記リアルタイムビデオコールが異なる態様で扱われるべきと判定したことに応じて、前記リアルタイムビデオコールをコンピュータネットワークにおいて再ルーティングさせる
マイクロプロセッサ可読及び実行可能命令を備えるコンピュータ可読媒体と
を備えるシステム。

【発明の詳細な説明】

【背景技術】

【0001】

我々が意思疎通する相手の感情を理解することは、その人との関係を構築することにおいて非常に重要な部分である。人がどのように感じているかを理解するプロセスは時間を伴うものであり、多くの場合、相手が与える非言語的な「ヒント」を理解することができることから来るものである。これらの非言語的な「ヒント」の一部は、時間をかけても検出するのが難しい。さらに、非言語的な「ヒント」によっては、何を求めるかを人間が知っている場合でさえも人間によっては検出不能なこともある。例えば、参照によりその全体においてここに取り込まれるＤａｖｉｄ Ｍａｔｓｕｍｏｔｏ及びＨｙｉ Ｓｗａｎｇ ＨｗａｎｇによるＰｓｙｃｈｏｌｏｇｉｃａｌ Ｓｃｉｅｎｃｅ Ａｇｅｎｄａ、「Ｒｅａｄｉｎｇ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ ｏｆ ｅｍｏｔｉｏｎ」、２０１１年５月（https://www.apa.org/science/about/psa/2011/05/facial-expressions.aspx）は、マイクロエクスプレッションといわれるものを記載している。マイクロエクスプレッション「は、一瞬に、場合によっては１／３０秒もの速さにおいて、顔に現れては消える表現。・・・それらは非常に速く発生するため、ほとんどの人はリアルタイムでは確認又は認識できない」（Ｉｄ参照）。

【0002】

コンタクトセンターでは、これらの非言語的な「ヒント」を捉えるのは一層難しい。例えば、コンタクトセンターエージェントは初めて顧客と話していることもあれば、文化的な差が伴うことなどもある。さらに、フレームレート、圧縮比、制限された帯域幅、輻輳（すなわち、喪失パケット）などのために、マイクロエクスプレッションは、微妙なマイクロエクスプレッションを検出するビデオプロセッサの補助なしには完全に検出不能となり得る。顧客の感情状態の非言語的な「ヒント」をコンタクトセンターエージェントが理解できないことによって、顧客のフラストレーションの増加、コール回数の増加、歳入の喪失、不満を募らせる作業要員、効率的でないコンタクトセンターなどがもたらされてしまう。

【発明の概要】

【0003】

これら及び他のニーズが、本開示の種々の実施形態及び構成によって対処される。顧客の通信エンドポイントとコンタクトセンターエージェントの通信エンドポイントとの間のビデオコールのビデオストリームが受信される。ビデオコールのビデオストリームは、リアルタイム感情トランスクリプトを生成するようにリアルタイムで処理される。リアルタイム感情トランスクリプトは、ビデオコールのビデオストリームにおいて発生する非言語的表現（例えば、マイクロエクスプレッション）に基づいて複数の別個の感情を追跡する。例えば、顧客及びコンタクトセンターエージェントの双方の異なる感情が、リアルタイム感情トランスクリプトにおいて追跡され得る。リアルタイム感情トランスクリプトは、ビデオコールがコンタクトセンターにおいて異なる態様で扱われるべきかを判定するように、少なくとも１つの以前のビデオコールの感情トランスクリプトと比較される。ビデオコールがコンタクトセンターにおいて異なる態様で扱われるべきかを判定することに応じて、どのようにしてビデオコールがコンタクトセンターにおいて管理されるかを変更するアクションが決定される。例えば、ビデオコールは、コンタクトセンター内でコンタクトセンターキュー、他のコンタクトセンターエージェント又は監督者の通信エンドポイントなどに再ルーティングされ得る。

【0004】

文言「少なくとも１つ」、「１以上」、「又は（若しくは）」及び「及び／又は」は、用法において接続的かつ離接的なオープンエンドな表現である。例えば、「Ａ、Ｂ及びＣの少なくとも１つ」、「Ａ、Ｂ又はＣの少なくとも１つ」、「Ａ、Ｂ及びＣの１以上」、「Ａ、Ｂ又はＣの１以上」、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ又はＣ」という表現の各々は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの双方、Ａ及びＣの双方、Ｂ及びＣの双方、又はＡ、Ｂ及びＣの全てを意味する。

【0005】

用語「ａ」又は「ａｎ」エンティティは、そのエンティティの１以上をいう。このように、用語「ａ」（又は「ａｎ」）、「１以上」及び「少なくとも１つ」は、ここでは互換可能に使用され得る。また、用語「備える」、「含む」及び「有する」も互換可能に使用され得ることを注記する。

【0006】

ここで使用する用語「自動的」及びその変化形とは、その処理又は動作が実行されると実質的な人間の入力なしに行われる任意の処理又は動作であって通常は連続的又は準連続的であるものをいう。ただし、処理又は動作の実行が実質的又は非実質的な人間の入力を用いるとしても、その入力がその処理又は動作の実行前に受信される場合にはその処理又は動作は自動的となり得る。人間の入力は、どのようにして処理又は動作が実行されるかにその入力が影響を与える場合に実質的であるとみなされる。処理又は動作の実行に同意する人間の入力は、「実質的」とはみなされない。

【0007】

本開示の態様は、ここでは全て一般に「回路」、「モジュール」又は「システム」ともいう全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）又はソフトウェア及びハードウェアの態様を組み合わせた実施形態の形式を採り得る。１以上のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であり得る。

【0008】

コンピュータ可読記憶媒体は、例えば、ただし限定的にではなく、電子、磁気、光学、電磁、赤外若しくは半導体システム、装置若しくはデバイス又は上記の任意の適宜の組合せであればよい。コンピュータ可読記憶媒体のより具体的な例（網羅的リストではない）は以下：１以上の配線を有する電気接続、可搬コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、可搬コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記の任意の適宜の組合せを含むことになる。この書類の背景において、コンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによる又はそれとの関連における使用のためにプログラムを含み又は記憶することができる任意の有形媒体となり得る。

【0009】

コンピュータ可読信号媒体は、例えば、ベースバンドにおいて又は搬送波の一部としてここに具現化されるコンピュータ可読プログラムコードを有する伝搬データ信号を含み得る。そのような伝搬信号は、これに限定されないが、電磁気、光又はこれらの任意の適切な組合せを含む種々の形態のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置若しくはデバイスによって又はそれとの接続において使用するためにプログラムを通信、伝搬又は搬送することができる任意のコンピュータ可読媒体であり得る。コンピュータ可読媒体上で具現化されるプログラムコードは、これに限定されないが、無線、有線、光ファイバケーブル、ＲＦなど又は上記の任意の適切な組合せを含む任意の適切な媒体を用いて送信され得る。

【0010】

ここで使用される用語「判定する／決定する」、「算出する」及び「計算する」並びにその変化形は、互換可能に使用され、任意のタイプの方法、処理、数学的演算又は技術を含む。

【0011】

ここで使用される用語「手段」は米国特許法第１１２条（ｆ）及び／又は１１２条、第６項によるその最も広い可能な解釈で与えられるべきである。したがって、用語「手段」を含む請求項は、全ての構造物、材料又はここに説明する動作及びその均等物の全てを包含するものである。また、構造物、材料又は動作及びその均等物は、概要、図面の簡単な説明、詳細な説明、要約書及び特許請求の範囲自体に記載される全てのものを含むものである。

【0012】

ここに及び特許請求の範囲において規定される用語「顧客」は、コンタクトセンター、通信システム及び／又は他の当事者とビデオコールを行う任意の人間であり得る。

【0013】

ここに及び特許請求の範囲において記載されるように、ビデオコールの「再ルーティング」という用語は、ビデオコールの接続特性が変化する任意のシナリオであってもよいし、それを含んでいてもよい。再ルーティングは、他の通信エンドポイントをビデオコールに参加させること、媒体の（例えば、ビデオコールからオーディオのみのコールへの）変更、ボイスコールを他のデバイス又は要素（例えば、コンタクトセンターキュー、インタラクティブボイスレスポンス（ＩＶＲ）、他のエージェント通信エンドポイント、他のコンタクトセンターなど）にルーティングすること、ビデオコールを保留すること、ビデオコールを音消しすることなどを含む。上記タイプの再ルーティングの全ては、自動的に達成され得る。

【0014】

前述のものは、開示の幾つかの態様の理解を与える簡略化された概要である。この概要は、開示及びその種々の実施形態の広範な概観でも網羅的な概観でもない。それは、開示の鍵となる又は重要な要素を特定するものでも、開示の範囲を境界付けるものでもなく、以下に提示されるより詳細な説明への導入として簡略化された態様において開示の選択的コンセプトを提示するものである。理解されるように、開示の他の実施形態は、以上に記載され又は以下に詳細に説明される構成の１以上を単独又は組合せにおいて利用して可能となる。また、開示は例示の実施形態の観点において提示されるが、開示の個々の態様が個別に特許請求され得ることが理解されるべきである。

【図面の簡単な説明】

【0015】

【図1】図１は、ビデオコールのビデオストリームにおける表情の感情を検出するリアルタイムビデオ処理に基づいてビデオコールを管理するための第１の例示的システムのブロック図である。

【図2】図２は、顧客とコンタクトセンターエージェントの間のビデオコールについてのリアルタイム感情トランスクリプトを示す例示のユーザインターフェースである。

【図3】図３は、監督者に対して表示される、顧客とコンタクトセンターエージェントの間のビデオコールについてのリアルタイム感情トランスクリプトを示す例示のユーザインターフェースである。

【図4】図４は、表情検出に基づくビデオコールを管理するための処理のフロー図である。

【図5】図５は、リアルタイム感情トランスクリプトを先行ボイスコールの感情トランスクリプトと比較するための処理のフロー図である。

【発明を実施するための形態】

【0016】

図１は、ビデオコールのビデオストリームにおける表情の感情を検出するリアルタイムビデオ処理に基づいてビデオコールを管理するための第１の例示的システム１００のブロック図である。第１の例示的システム１００は、通信エンドポイント１０１Ａ～１０１Ｎ、ネットワーク１１０、コンタクトセンター１２０、エージェント通信エンドポイント１３０Ａ～１３０Ｎ及び監督者通信エンドポイント１３２を備える。さらに、図１は、顧客１０５Ａ～１０５Ｎ、コンタクトセンターエージェント１３１Ａ～１３１Ｎ及び監督者１３３を示す。

【0017】

通信エンドポイント１０１Ａ～１０１Ｎは、パーソナルコンピュータ（ＰＣ）、ビデオフォン、ビデオシステム、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、タブレットデバイス、ノートブックデバイス、スマートフォンなどのような、ビデオ通信に対応するとともにネットワーク１１０上で通信可能な任意の通信エンドポイントデバイスであってもよいし、それを含んでいてもよい。通信エンドポイント１０１Ａ～１０１Ｎは、通信セッションを終端するデバイスである。通信エンドポイント１０１Ａ～１０１Ｎは、通信マネージャ１２１又はルータのような、ネットワークにおいて通信セッションを促進及び／又は中継するネットワーク要素ではない。図１に示すように、任意数の通信エンドポイント１０１Ａ～１０１Ｎが、ネットワーク１１０に接続され得る。

【0018】

通信エンドポイント１０１Ａは、マイクロプロセッサ１０２Ａ、カメラ１０３Ａ及びディスプレイ１０４Ａを備える。便宜上不図示であるが、通信エンドポイント１０１Ｂ～１０１Ｎも、マイクロプロセッサ１０２、カメラ１０３及びディスプレイ１０４を備える。

【0019】

マイクロプロセッサ１０２Ａは、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ、マルチコアプロセッサ、特定用途向けプロセッサなどのような任意のハードウェアプロセッサであってもよいし、それを含んでいてもよい。

【0020】

カメラ１０３Ａは、ビデオストリームを取り込むのに使用される任意のハードウェア要素であってもよいし、それを含んでいてもよい。カメラ１０３Ａは、ビデオコールのビデオストリームを送信するビデオアプリケーションを備える。

【0021】

ネットワーク１１０は、インターネット、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ボイスオーバーＩＰネットワーク（ＶｏＩＰ）、公衆電話交換網（ＰＳＴＮ）、パケット交換ネットワーク、回路交換ネットワーク、セルラネットワーク、これらの組合せなどのような、電子通信を送受信することができる通信機器の任意の集合であってもよいし、それを含んでいてもよい。ネットワーク１１０は、イーサネット、インターネットプロトコル（ＩＰ）、セッション開始プロトコル（ＳＩＰ）、サービス総合デジタル網（ＩＳＤＮ）、ビデオプロトコルなどのような、多様な電子プロトコルを用いることができる。したがって、ネットワーク１１０は、パケット及び／又は回路交換通信を介してメッセージを搬送するように構成された電子通信ネットワークである。

【0022】

コンタクトセンター１２０は、通信エンドポイント１０１Ａ～１０１Ｎ、エージェント通信エンドポイント１３０Ａ～１３０Ｎ及び監督者通信エンドポイント１３２との通信を管理及びルーティングすることができる任意のコンタクトセンター１２０であってもよいし、それを含んでいてもよい。コンタクトセンター１２０は、ビデオコール、オーディオコール、インスタントメッセージ、ｅメール、テキストメッセージ、仮想現実コール、マルチメディアコールなどのような種々のタイプの通信を管理及びルーティングすることができる。

【0023】

コンタクトセンター１２０は、通信マネージャ１２１、コンタクトセンターキュー１２２、インタラクティブボイスレスポンス（ＩＶＲ）システム１２３、ビデオシグナリングプロセッサ１２４、ビデオコール管理モジュール１２５及び履歴感情トランスクリプトデータベース１２６を備える。通信マネージャ１２１は、構内交換機（ＰＢＸ）、セッションマネージャ、スイッチ、プロキシサーバなどのような、コンタクトセンター１２０における通信をルーティング及び管理することができるソフトウェアに結合された任意のハードウェアであってもよいし、それを含んでいてもよい。通信マネージャ１２１は、ボイスコール、ビデオコール、インスタントメッセージコール、ｅメール、テキストメッセージなどのような種々のタイプの通信を管理及びルーティングすることができる。

【0024】

コンタクトセンターキュー１２２は、１以上の通信／コールを保持するコンピュータ構築物である。コンタクトセンターキュー１２２は、同じタイプの通信又は異なるタイプの通信（例えば、ボイスコール及びビデオコール）を保持し得る。コンタクトセンターキュー１２２は、特定のタイプのサービス、特定の商品、熟練レベル（例えば、特定の商品又はサービスについてのフロントラインサポート／バックラインサポート）などをサポートし得る。

【0025】

ＩＶＲシステム１２３は、顧客１０５とボイスインタラクション又はビデオ／ボイスインタラクションのいずれかを提供することができるソフトウェアに結合された任意のハードウェアであってもよいし、それを含んでいてもよい。ＩＶＲシステム１２３は、顧客１０５が種々のコンタクトセンターキュー１２２／エージェント通信エンドポイント１３０Ａ～１３０Ｎに誘導されることを可能とする。

【0026】

ビデオシグナリングプロセッサ１２４は、デジタルシグナリングプロセッサ、マルチコアプロセッサ、特定用途向けプロセッサなどのような、ビデオストリーム（例えば、リアルタイムビデオストリーム）を処理することができるソフトウェアに結合された任意のハードウェアであってもよいし、それを含んでいてもよい。ビデオシグナリングプロセッサ１２４は、（例えば、通信エンドポイント１０１Ａとエージェント通信エンドポイント１３０Ａの間の）リアルタイムビデオストリームを処理して、任意数の参加者についてのビデオストリームにおいて非言語的表現（例えば、微笑んでいる参加者）を識別する。ビデオストリームは、３人以上の顧客１０５／コンタクトセンターエージェント１３１／監督者１３３とのビデオ会議コールであってもよい。ビデオシグナリングプロセッサ１２４は、人間でないエンティティに顧客１０５が接続される場合に顧客１０５のビデオストリームを処理し得る。例えば、顧客１０５がＩＶＲシステム１２３（この事例におけるビデオＩＶＲシステム１２３）と対話し、又はコンタクトセンターキュー１２２で待機している間に、ビデオシグナリングプロセッサ１２４は非言語的表現を識別することができる。

【0027】

ビデオシグナリングプロセッサ１２４は、ビデオコールにおける参加者の一部又は全部についてのビデオストリーム内の非言語的表現を識別する。非言語的表現は、怒り、不満、嫌悪、恐怖、喜び、悲しみ、驚きなどのような全てのタイプの感情について検出され得る。行動科学者による研究調査は、７種の感情：怒り、不満、嫌悪、恐怖、喜び、悲しみ及び驚きを表現するのに本質的に同じ表情が用いられるということが全世界の文化にわたって一致することについての強力な証拠があることを示した。視力がなく生まれた個人は正常な視力がある個人と同じ表情を作ることも示された。感情状態は、自然に１／２秒～約４秒にわたって起こり、マクロエクスプレッションと言われる。

【0028】

行動科学者による他の重要な発見は、マイクロエクスプレッションである。マイクロエクスプレッションは、一瞬に顔に現れては消える表情である。通常、マイクロエクスプレッションは、約１／３０秒の継続時間にわたって発生し、表情を見ている者によって観察さえされないことがある。ある科学者は、そのようなマイクロエクスプレッションは個人によって直接制御可能でないと考えている。マイクロエクスプレッションは、無意識の感情状態又は個人が隠したいと思う感情状態を表し得るようなものでもある。ビデオシグナリングプロセッサ１２４は、双方とも非言語的表現の形態であるマクロエクスプレッション及びマイクロエクスプレッションの双方を検出することができる。

【0029】

ビデオストリームにおける検出された非言語的表現に基づいて、ビデオシグナリングプロセッサ１２４は、１以上のリアルタイム感情トランスクリプトを生成する。リアルタイム感情トランスクリプトは、個々の感情を追跡してビデオコールにおける個々の参加者（例えば、顧客１０５）についての感情の集合を形成する。ビデオシグナリングプロセッサ１２４は、ビデオコールにおける各参加者について（又は参加者の部分集合について）別個のリアルタイム感情トランスクリプトを生成することができる。

【0030】

ビデオコール管理モジュール１２５は、ビデオシグナリングプロセッサ１２４／通信マネージャ１２１との関連において作用する。ビデオコール管理モジュール１２５は、生成されたリアルタイム感情トランスクリプトとの関連において規定のルールを用いて、リアルタイムでビデオコールの種々の態様を管理する。ビデオコール管理モジュール１２５はまた、履歴感情トランスクリプトデータベース１２６に記憶される先行ビデオコールの感情トランスクリプトを用いることによってどのようにしてより良くビデオコールを管理するかを時間をかけて学習することができる人工知能（ＡＩ）モジュールを含み得る。

【0031】

履歴感情トランスクリプトデータベース１２６は、リレーショナルデータベース、ファイルシステム、ディレクトリサービス、オブジェクト指向データベースなどのような任意のタイプのデータベースであってもよいし、それを含んでいてもよい。履歴感情トランスクリプトデータベース１２６は、ビデオコール管理モジュール１２５によって取得され得る先行ビデオコールから感情トランスクリプトを記憶し、どのようにしてライブのリアルタイムビデオコールをより良く管理するかについての判断を補助するのに使用される。

【0032】

エージェント通信エンドポイント１３０Ａ～１３０Ｎは、コンタクトセンターエージェント１３１Ａ～１３１Ｎがビデオコールで対話することを可能とする任意の通信デバイスであり得る。エージェント通信エンドポイント１３０Ａ～１３０Ｎは、通信エンドポイント１０１であってもよい。

【0033】

監督者通信エンドポイント１３２は、コンタクトセンター１２０におけるビデオコールを管理するのに監督者１３３に使用される通信エンドポイント１０１である。監督者１３３は、監督者通信エンドポイント１３２を用いて、ビデオコールを監視し、ビデオコールに参加し、統計を閲覧することなどができる。

【0034】

図１はコンタクトセンター１２０においてビデオシグナリングプロセッサ１２４／ビデオコール管理モジュール１２５を示すが、他の実施形態では、ビデオシグナリングプロセッサ１２４／ビデオコール管理モジュール１２５はコンタクトセンター１２０と１以上の通信エンドポイント１０１／１３０との間に分散され得る。

【0035】

他の実施形態では、ビデオシグナリングプロセッサ１２４／ビデオコール管理モジュール１２５は、非コンタクトセンター環境で作用し得る。例えば、ビデオシグナリングプロセッサ１２４／ビデオコール管理モジュール１２５は、サーバ又は通信エンドポイント１０１に位置していてもよい。あるいは、ビデオシグナリングプロセッサ１２４／ビデオコール管理モジュール１２５は、通信エンドポイント１０１と、通信システムなどの非コンタクトセンター要素との間に分散されてもよい。

【0036】

図２は、顧客１０５とコンタクトセンターエージェント１３１の間のビデオコールについてのリアルタイム感情トランスクリプト２１０／２１１を示す例示のユーザインターフェース２００である。例示として、通信エンドポイント１０１Ａ～１０１Ｎ、コンタクトセンター１２０、通信マネージャ１２１、コンタクトセンターキュー１２２、ＩＶＲシステム１２３、ビデオシグナリングプロセッサ１２４、ビデオコール管理モジュール１２５、履歴感情トランスクリプトデータベース１２６、エージェント通信エンドポイント１３０Ａ～１３０Ｎ及び監督者通信エンドポイント１３２は、メモリ（すなわち、コンピュータメモリ、ハードディスクなど）などのコンピュータ可読記憶媒体に記憶されたプログラム命令を実行することによって、図２～５の方法及びここに記載される処理を実行するコンピュータ又はマイクロプロセッサのような記憶プログラム制御によるエンティティである。図２～５に記載される方法は特定の順序で示されるが、当業者であれば図２～５におけるステップは異なる順序で実施され及び／又はマルチスレッド環境で実施され得ることを認識するはずである。さらに、種々のステップが、実施に基づいて省略又は追加され得る。

【0037】

ユーザインターフェース２００は、エージェント通信エンドポイント１３０を介してコンタクトセンターエージェント１３１に対して表示される例示のユーザインターフェースである。ユーザインターフェース２００は、コンタクトセンターエージェント１３１が彼／彼女の感情状態を知るだけでなく、顧客１０５の感情状態も知るようにリアルタイムで表示され得る。ユーザインターフェース２００は、ライブのリアルタイムビデオコールのリアルタイム顧客感情トランスクリプト２１０及びリアルタイムエージェント感情トランスクリプト２１１を備える。リアルタイム顧客感情トランスクリプト２１０／リアルタイムエージェント感情トランスクリプト２１１は、この例では（７種のうちの）４種の感情：怒り、悲しみ、驚き及び喜びのみを示す。ただし、リアルタイム顧客感情トランスクリプト２１０／リアルタイムエージェント感情トランスクリプト２１１は、任意数の感情を示してもよい。ビデオコールが複数の顧客１０５を含む場合、ユーザインターフェース２００は、ビデオコールにおける各顧客１０５についてリアルタイム顧客感情トランスクリプト２１０を示すことができる。

【0038】

リアルタイム顧客感情トランスクリプト２１０／リアルタイムエージェント感情トランスクリプト２１１は、ビデオコール全体のリアルタイムトランスクリプト２１０／２１１を示す。ただし、他の実施形態では、リアルタイム顧客感情トランスクリプト２１０／リアルタイムエージェント感情トランスクリプト２１１は、（例えば、最後の５分間の）ローリングトランスクリプトであってもよい。

【0039】

一実施形態では、リアルタイム顧客感情トランスクリプト２１０又はリアルタイムエージェント感情トランスクリプト２１１のうちの１つのみが、同時に示されてもよい。例えば、コンタクトセンターエージェント１３１は、リアルタイム顧客感情トランスクリプト２１０のみを確認し得る。

【0040】

図３は、監督者１３３に対して表示される、顧客１０５とコンタクトセンターエージェント１３１の間のビデオコールについてのリアルタイム感情トランスクリプト２１０／２１１を示す例示のユーザインターフェース３００である。ただし、一実施形態では、ユーザインターフェース３００は、コンタクトセンターエージェント１３１に対して表示されてもよい。ユーザインターフェース３００は、リアルタイム顧客感情トランスクリプト２１０及びリアルタイムエージェント感情トランスクリプト２１１を備える。ユーザインターフェース３００は、種々の基準に基づいて監督者１３３に対して表示され得る。例えば、ユーザインターフェース３００は、ビデオコールが監督者１３３に転送された場合、監督者１３３がビデオコールに参加する場合、監督者１３３がビデオコールのリアルタイム感情トランスクリプト２１０／２１１を監視したい場合などに監督者１３３に対して表示され得る。

【0041】

リアルタイム顧客感情トランスクリプト２１０は、変化点マーカ３１２Ａ及び３１２Ｂをさらに備える。さらに、リアルタイムエージェント感情トランスクリプト２１１は、変化点マーカ３１２Ｃを備える。変化点マーカ３１２は、リアルタイムビデオコールにおいて顧客１０５及び／又はコンタクトセンターエージェント１３１が感情状態（肯定的／否定的）を変化させた点を識別する。変化点マーカ３１２Ａは、顧客の驚きの感情が変化した箇所を識別する。変化点マーカ３１２Ｂは、顧客の怒りの感情が特定レベルまで増加した箇所を識別する。変化点マーカ３１２Ｃは、コンタクトセンターエージェントの驚きの感情が大幅に変化した箇所を識別する。

【0042】

ビデオコール管理モジュール１２５は、種々のルールを用いて、いつ変化点マーカ３１２をユーザインターフェース３００に示すかを決定する。例えば、変化点マーカ３１２は、特定の感情が特定レベルに達した時に示されてもよい。ビデオコール管理モジュール１２５は、（ルールに加えて又はルールとは別個に）先行感情トランスクリプトを用いて、いつ変化点マーカ１３２を示すかを決定してもよい。例えば、コンタクトセンターエージェント１３１が以前のビデオコールについてエージェント感情トランスクリプトにおいて驚きの感情の変化をほとんど示さなかった場合には、リアルタイムエージェント感情トランスクリプト２１１における驚きの感情の劇的な変化は、変化点マーカ３１２Ｃを生成するための手段となり得る。

【0043】

監督者１３３は、変化点マーカ３１２Ａ～３１２Ｃの１つを（例えば、変化点マーカ３１２をクリックすることによって）選択することができる。例えば、ステップ３１３に示すように、監督者１３３は、変化点マーカ３１２Ｃを選択している。変化点マーカ３１２Ｃの選択によって、リアルタイムビデオコールのテキストトランスクリプトの部分が（例えば、コンタクトセンターエージェント１３１の驚きの感情がピークとなるまでの２分間）テキストトランスクリプトウインドウ３１５において監督者１３３に対して表示される。そして、監督者１３３は、進む／戻るボタン３１４を用いて、ライブのビデオコールのテキストトランスクリプトを前方又は後方にスクロールすることができる。

【0044】

図４は、表情検出に基づくビデオコールを管理するための処理のフロー図である。処理は、ステップ４００で開始する。通信マネージャ１２１は、ステップ４０２において、ビデオコール（又は会議ビデオコール）がステップ４０２において確立されたかを判定する。ビデオコールがステップ４０２において確立されていない場合、ステップ４０２の処理が繰り返される。

【0045】

一方、ビデオコールがステップ４０２において確立された場合、ビデオシグナリングプロセッサ１２４は、ステップ４０４において、ビデオストリームを処理してリアルタイム感情トランスクリプト２１０／２１１を生成し始める。例えば、ビデオシグナリングプロセッサ１２４は、マクロエクスプレッション／マイクロエクスプレッションに基づいて感情を識別するように学習可能な確率的近傍埋め込みと併せてＫ平均法などの機械学習アルゴリズムに基づいてリアルタイム顧客感情トランスクリプト２１０及びリアルタイムエージェント感情トランスクリプト２１１を生成し得る。

【0046】

あるいは、単一の感情トランスクリプト２１０／２１１のみが、ステップ４０４において生成されてもよい。例えば、顧客１０５がＩＶＲシステム１２３とのみ対話してきたために、又はルールがリアルタイム顧客感情トランスクリプト２１０の生成のみを指示するために、リアルタイム顧客感情トランスクリプト２１０のみが生成されてもよい。

【0047】

一実施形態では、合成リアルタイム感情トランスクリプトが、ステップ４０４において生成され得る。合成リアルタイム感情トランスクリプトは、ビデオコールの参加者の２人以上の合成感情トランスクリプトであり得る。例えば、合成感情トランスクリプトは、リアルタイム感情トランスクリプト２１０／２１１の合成であってもよい。

【0048】

リアルタイム感情トランスクリプト２１０／２１１及び／又は合成感情トランスクリプトは、マクロエクスプレッション及び／又はマイクロエクスプレッションを用いて生成される。背景の章で上述したように、マイクロエクスプレッションは、人間によってはマイクロプロセッサの補助なしに検出不能であり得る。これは、極めて短い継続時間に起因し、及び／又はビデオストリームを取り込んでそのビデオストリームをネットワーク１１０にわたって送信することに関する問題のためである。一実施形態では、他のソースからの感情情報は、リアルタイム感情トランスクリプト２１０／２１１及び／又は合成感情トランスクリプトを生成するための追加の入力として取り込まれて使用され得る。例えば、リアルタイム感情トランスクリプト２１０／２１１及び／又は合成感情トランスクリプトを強化するのに役立つように、ジェスチャーが検出され、声の感情が検出されるなどしてもよい。

【0049】

通信マネージャ１２１は、ステップ４０６において、ビデオコールが終了したかを判定する。ステップ４０６においてビデオコールが終了していた場合、処理はステップ４０２に戻る。一方、ステップ４０６においてビデオコールが終了していない場合、ビデオシグナリングプロセッサ１２４は、ステップ４０８において、リアルタイム感情トランスクリプト２１０／２１１及び／又は合成リアルタイム感情トランスクリプトを生成するのにビデオストリームに充分な映像があるかを判定する。例えば、ビデオシグナリングプロセッサ１２４は、リアルタイム感情トランスクリプト２１０／２１１及び／又は合成リアルタイム感情トランスクリプトを生成するためにビデオストリームにマクロエクスプレッション／マイクロエクスプレッションを識別するために短い期間を必要としすることがある。充分な映像があるかを判定するのに必要な時間は、種々のルールに基づき得る。

【0050】

リアルタイム感情トランスクリプト２１０／２１１及び／又は合成リアルタイム感情トランスクリプトを生成するのにビデオストリームに充分な映像がない場合、処理はステップ４０４に戻る。一方、ステップ４０８においてリアルタイム感情トランスクリプト２１０／２１１及び／又は合成リアルタイム感情トランスクリプトを生成するのに充分な映像がある場合、ビデオコール管理モジュール１２５は、ステップ４１０において、リアルタイム感情トランスクリプト２１０／２１１及び／又は合成リアルタイム感情トランスクリプトを以前のビデオコールの感情トランスクリプトと比較する。

【0051】

ビデオコール管理モジュール１２５は、種々の態様で、リアルタイム感情トランスクリプト２１０／２１１及び／又は合成リアルタイム感情トランスクリプトを以前のビデオコールの感情トランスクリプトと比較することができる。例えば、ビデオコール管理モジュール１２５は、リアルタイム顧客感情トランスクリプト２１０を先行ビデオコールにおける異なる顧客１０５の顧客感情トランスクリプトと比較してもよい。ビデオコール管理モジュール１２５は、リアルタイム顧客感情トランスクリプト２１０を同じ顧客１０５についての以前の顧客感情トランスクリプトと比較してもよい。

【0052】

ビデオコール管理モジュール１２５は、ステップ４１０において、リアルタイム合成感情トランスクリプトを先行ビデオコールの合成感情トランスクリプトと比較し得る。ビデオコール管理モジュール１２５は、ステップ４１０において、複数の感情トランスクリプトを相互に比較してもよい。例えば、ビデオコール管理モジュール１２５は、リアルタイムエージェント感情トランスクリプト２１１を先行エージェント感情トランスクリプトと比較するのと併せて、リアルタイム顧客感情トランスクリプト２１０を先行顧客感情トランスクリプトと比較してもよい。

【0053】

ステップ４１０の比較は、具体的なタイプのビデオコールを比較することに基づいていてもよい。例えば、感情トランスクリプトの比較は、コンタクトセンター１２０によって提供されるサービスに関連するビデオコール、コンタクトセンターキュー１２２に関連するビデオコール、サポートされる商品に関連するビデオコール、コンタクトセンターエージェント１３１の技量（例えば、より高い技量レベル）に関連するビデオコールなどに対するものであり得る。

【0054】

ビデオコール管理モジュール１２５は、ステップ４１０の比較に基づいて、ステップ４１２においてビデオコールが異なる態様で扱われる必要があるかを判定する。例えば、リアルタイム顧客感情トランスクリプト２１０が、典型的には顧客１０５が先行ビデオコールを切った場合の先行顧客感情トランスクリプトと類似パターンを有する（例えば、顧客１０５が低いレベルの喜びとともに高いレベルの怒り及び悲しみを示している）場合、ビデオコール管理モジュール１２５は、フィードバックをコンタクトセンターエージェント１３１に提供すること、ビデオコールを（例えば、同様に感情的には反応しない別のエージェントに）転送すること、ビデオコールに監督者を参加させることなどを決定し得る。リアルタイム顧客感情トランスクリプト２１０が、肯定的なフィードバックが受信された先行コールの顧客感情トランスクリプトと類似するパターンを有する場合、ビデオコール管理モジュール１２５は、ステップ４１２において、ビデオコールを異なる態様では扱わないことを判断し得る。例えば、識別された先行ビデオコールについてのリアルタイム顧客感情トランスクリプトが、顧客１０５が満足している可能性が高いことを示した場合、ビデオコール管理モジュール１２５は、ステップ４１２において、ビデオコールを異なる態様では管理しないことを判断し得る。

【0055】

ビデオコール管理モジュール１２５は、種々の態様で感情トランスクリプト間で類似のパターンを判定することができる。例えば、分散が使用され得る（例えば、個々の感情が１０％以内である）。分散は、追跡されている複数の感情の間の合成分散であり得る。

【0056】

ステップ４１２においてビデオコールが異なる態様で扱われない場合、処理はステップ４０４に進む。一方、ステップ４１２においてビデオコールが異なる態様で扱われる場合、ビデオコール管理モジュール１２５は、ステップ４１４において、どのようにしてビデオコールがコンタクトセンター１２０において管理されるのかを変更する。ビデオコールは、種々の態様で管理され得る。例えば、ビデオコールは、監督者通信エンドポイント１３２をビデオコールに参加させること、ビデオコールを第２のコンタクトセンターエージェント１３１の第２の通信エンドポイント１０１にルーティングすること、ビデオコールをインタラクティブボイスレスポンス（ＩＶＲ）システム１２３にルーティングすること、ビデオコールをコンタクトセンターキュー１２２にルーティングすること、ビデオコールを第２のコンタクトセンター１２０にルーティングすること、ビデオコールを保留又は音消しとすること、ビデオコールの媒体を変更することなどによって再ルーティングされ得る。ビデオコールは、メッセージをコンタクトセンターエージェント１３１に送信すること、リアルタイム顧客感情トランスクリプト２１０及び／又はリアルタイムエージェント感情トランスクリプト２１１をデータベースにフラグ付け及び記憶することなどによって管理されてもよい。ステップ４１４においてビデオコールが管理された後、処理はステップ４０４に進む。

【0057】

図５は、リアルタイム感情トランスクリプト２１０／２１１を先行ボイスコールの感情トランスクリプトと比較するための処理のフロー図である。図５の処理は、図４のステップ４１０／４１２の例示の実施形態である。ビデオコール管理モジュール１２５は、ステップ４０８においてリアルタイム感情トランスクリプトを生成するのに充分な映像があると判定した後に、ステップ５００において、リアルタイム顧客感情トランスクリプト２１０及びリアルタイムエージェント感情トランスクリプト２１１を取得する。ビデオコール管理モジュール１２５は、ステップ５０２において、リアルタイム感情トランスクリプト２１０／２１１を先行ビデオコールの感情トランスクリプトと比較する。リアルタイム感情トランスクリプト２１０／２１１の比較は、先行ビデオコール及び／又はリアルタイムビデオコールの一部分のみを比較してもよい。例えば、リアルタイムビデオコールが３分間しかない場合、リアルタイム感情トランスクリプト２１０／２１１は３分間超又は未満の継続時間を有する先行ビデオコールと比較され得る。

【0058】

先行ビデオコールは、同じ顧客１０５／同じコンタクトセンターエージェント１３１、同じ顧客１０５／異なるコンタクトセンターエージェント１３１、異なる顧客１０５／同じコンタクトセンターエージェント１３１、異なる顧客１０５／異なるコンタクトセンターエージェント１３１などでのものであり得る。さらに、時間（例えば、時刻、週の時刻）、ビデオコールタイプ（特定の商品に対するコール）などのような他の要因が、ステップ５０２の比較において使用される要因となり得る。

【0059】

リアルタイム感情トランスクリプト２１０／２１１は、ステップ５０４において、先行ビデオコールのマッチングする感情トランスクリプトを識別するように比較される。例えば、ビデオコール管理モジュール１２５は、ビデオコールのリアルタイム顧客感情トランスクリプト２１０及びリアルタイムエージェント感情トランスクリプト２１１をコンタクトセンター１２０における先行ビデオコールの直近１００個の顧客感情トランスクリプト／エージェント感情トランスクリプトと比較して、類似の特性を有する１以上の以前のビデオコールを識別することができる。例えば、ビデオコール管理モジュール１２５は、直近１００個の先行ビデオコールを検索して、リアルタイム感情トランスクリプト２１０／２１１と類似するパターンがあるかを確認し得る。

【0060】

ビデオコール管理モジュール１２５は、ステップ５０６において、類似する先行ビデオコールの結果を判定する。例えば、ビデオコール管理モジュール１２５が１００個の先行ビデオコールのうちの類似する顧客感情トランスクリプト／エージェント感情トランスクリプトを有する３個のビデオコールを識別した場合には、ビデオコール管理モジュール１２５はその３個が肯定的又は否定的結果を有するかを判定する。肯定的又は否定的結果は、識別された先行コールの平均値に基づき得る。肯定的／否定的結果は、調査を行うこと、商品の購入、商品を購入しないこと、顧客１０５がコールを切ったこと、顧客１０５が怒り出すこと、ビデオコールが通常よりも長引くこと、ビデオコールが通常よりも時間を要さないこと、識別された先行コールの監督者評価などのような種々の要因に基づき得る。例えば、３個の識別された先行ビデオコールの各々が、顧客１０５が商品を購入することなく平均コール時間よりも３～４倍長く続く場合、これらの先行コールの結果は、ルールに従って否定的な結果として識別され得る。ステップ５０６において先行ビデオコールの結果が肯定的である（リアルタイムビデオコールが異なる態様で管理される必要がない）場合、処理はステップ４０４に進む。一方、ステップ５０６において先行ビデオコールの結果が否定的である（リアルタイムビデオコールが異なる態様で管理される必要がある）場合、処理はステップ４１４に進む。

【0061】

上記処理は、コンタクトセンター１２０の環境において記載される。ただし、上記説明は、コンタクトセンター１２０の環境に限定されず、任意のビデオコールについて用いられ得る。例えば、感情トランスクリプトは、ビデオコールをユーザにルーティングする通信システムにおいて使用され得る。

【0062】

ここに記載されるプロセッサの例は、これに限定されないが、Ｑｕａｌｃｏｍｍ（登録商標）Ｓｎａｐｄｒａｇｏｎ（登録商標）８００及び８０１、４Ｇ ＬＴＥ Ｉｎｔｅｇｒａｔｉｏｎ及び６４ビットコンピューティングでのＱｕａｌｃｏｍｍ（登録商標）Ｓｎａｐｄｒａｇｏｎ（登録商標）６１０及び６１５、６４ビットアーキテクチャでのＡｐｐｌｅ（登録商標）Ａ７プロセッサ、Ａｐｐｌｅ（登録商標）Ｍ７モーション・コプロセッサ、Ｓａｍｓｕｎｇ（登録商標）Ｅｘｙｎｏｓ（登録商標）シリーズ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（登録商標）ファミリのプロセッサ、Ｉｎｔｅｌ（登録商標）Ｘｅｏｎ（登録商標）ファミリのプロセッサ、Ｉｎｔｅｌ（登録商標）Ａｔｏｍ（登録商標）ファミリのプロセッサ、Ｉｎｔｅｌ Ｉｔａｎｉｕｍ（登録商標）ファミリのプロセッサ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（登録商標）ｉ５－４６７０Ｋ及びｉ７－４７７０Ｋ ２２ｎｍ Ｈａｓｗｅｌｌ、Ｉｎｔｅｌ（登録商標）Ｃｏｒｅ（登録商標）ｉ５－３５７０Ｋ ２２ｎｍ Ｉｖｙ Ｂｒｉｄｇｅ、ＡＭＤ（登録商標）ＦＸ（登録商標）ファミリのプロセッサ、ＡＭＤ（登録商標）ＦＸ－４３００、ＦＸ－６３００及びＦＸ－８３５０ ３２ｎｍ Ｖｉｓｈｅｒａ、ＡＭＤ（登録商標）Ｋａｖｅｒｉプロセッサ、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ（登録商標）Ｊａｃｉｎｔｏ Ｃ６０００（登録商標）車載インフォテイメントプロセッサ、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ（登録商標）ＯＭＡＰ（登録商標）車載グレードモバイルプロセッサ、ＡＲＭ（登録商標）Ｃｏｒｔｅｘ（登録商標）－Ｍプロセッサ、ＡＲＭ（登録商標）Ｃｏｒｔｅｘ－Ａ及びＡＲＭ９２６ＥＪ－Ｓ（登録商標）プロセッサ、その他工業用の同等のプロセッサの少なくとも１つを含み得るものであり、いずれかの周知又は将来開発される標準、命令セット、ライブラリ及び／又はアーキテクチャを用いる計算機能を実行し得る。

【0063】

ここに記載されるステップ、機能及び動作のいずれも、連続的及び自動的に実行され得る。

【0064】

ただし、本開示を無用に曖昧にすることを回避するため、前述の説明は多数の周知の構造及びデバイスを省略している。この省略は、特許請求される開示の範囲の限定として解釈されるべきではない。具体的詳細が、本開示の理解を与えるように説明される。ただし、本開示は、ここに説明する具体的詳細を超える様々な態様で実施され得ることが理解されるべきである。

【0065】

ここに説明する例示の実施形態は共配置されるシステムの種々の構成要素を示すが、システムの特定の構成要素はＬＡＮ及び／又はインターネットなどの分散ネットワークの離れた部分において又は専用システム内で遠隔に配置されてもよい。したがって、システムの構成要素は１以上のデバイスに組み合わされ、アナログ及び／又はデジタル電気通信ネットワーク、パケット交換ネットワーク又は回路交換ネットワークのような分散ネットワークの特定のノードにおいて共配置され得ることが理解されるべきである。前述の説明から、及び計算効率の理由のために、システムの構成要素はシステムの動作に影響を与えることなく構成要素の分散ネットワーク内の任意の位置において配置され得ることが分かるはずである。例えば、種々の構成要素が、ＰＢＸ及びメディアサーバ、ゲートウェイのようなスイッチに、１以上の通信デバイスに、１以上のユーザ施設に、又はこれらの組合せに位置し得る。同様に、システムの１以上の機能部分が、電気通信デバイスと関連のコンピューティングデバイスとの間に分散され得る。

【0066】

またさらに、要素を接続する種々のリンクは有線若しくは無線リンク又はその任意の組合せ、又は接続された要素に並びに要素からデータを供給及び／若しくは通信することができる他の任意の周知の若しくは後に開発される要素であればよいことが理解されるべきである。これらの有線又は無線リンクは、安全なリンクであってもよく、暗号化された情報を通信することができる。リンクとして使用される伝送メディアは、例えば、同軸ケーブル、銅配線及びファイバ光学系を含む、電気信号に対する任意の適切なキャリアであればよく、電磁波及び赤外線データ通信中に生成されるものなどの音響又は光波の形式を採り得る。

【0067】

また、フローチャートが特定のシーケンスのイベントとの関連で記載及び図示されたが、このシーケンスに対する変更、付加及び省略が開示の動作に実質的に影響を与えることなく行われ得ることが理解されるべきである。

【0068】

本開示の多数のバリエーション及び変形例が使用され得る。開示の幾つかの構成について他を提供することなく提供することが可能となる。

【0069】

さらに他の実施形態では、この開示のシステム及び方法は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路などのハード配線電子又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬなどのプログラマブル論理デバイス又はゲートアレイ、専用コンピュータ、任意の比較手段などとの関連において実施可能である。一般に、ここに説明する方法を実施することができる任意のデバイス又は手段は、この開示の種々の態様を実施するのに使用され得る。本開示に使用され得る例示のハードウェアは、コンピュータ、ハンドヘルドデバイス、電話機（例えば、セルラ、インターネット可能な、デジタル、アナログ、ハイブリッド及びその他）及び当技術で周知の他のハードウェアを含む。これらのデバイスの一部は、プロセッサ（例えば、単一又は複数のマイクロプロセッサ）、メモリ、不揮発性ストレージ、入力デバイス及び出力デバイスを含む。またさらに、ただし限定することなく、分散処理又はコンポーネント／オブジェクト分散処理、並列処理又は仮想機械処理を含む代替のソフトウェア実施例も、ここに記載される方法を実施するのに構築され得る。

【0070】

さらに他の実施形態では、開示の方法は、様々なコンピュータ又はワークステーションプラットフォームにおいて使用可能な可搬ソースコードを提供するオブジェクト又はオブジェクト指向ソフトウェア開発環境を用いてソフトウェアとの関連で直ちに実施され得る。あるいは、開示のシステムは、標準論理回路又はＶＬＳＩ設計を用いてハードウェアにおいて部分的又は完全に実施され得る。本開示に応じたシステムを実施するのにソフトウェアが使用されるのかハードウェアが使用されるのかは、システムの速度及び／又は効率要件、特定の機能、並びに利用される特定のソフトウェア若しくはハードウェアシステム又はマイクロプロセッサ若しくはマイクロコンピュータシステムに依存する。

【0071】

さらに他の実施形態では、開示の方法は、記憶媒体に記憶され、プログラムされた汎用コンピュータにおいてコントローラ及びメモリ、専用コンピュータ、マイクロプロセッサなどの協働によって実行され得るソフトウェアにおいて部分的に実施され得る。これらのインスタンスにおいて、この開示のシステム及び方法は、アプレット、ＪＡＶＡ（登録商標）又はＣＧＩスクリプトのようなパーソナルコンピュータに組み込まれたプログラムとして、サーバ又はコンピュータワークステーションに常駐するリソースとして、専用測定システム、システムコンポーネントなどに組み込まれたルーチンとして実施され得る。システムはまた、システム及び／又は方法をソフトウェア及び／又はハードウェアシステムに物理的に含むことによって実施され得る。

【0072】

本開示は特定の標準及びプロトコルを参照して実施形態において実施される構成要素及び機能を説明するが、開示はそのような標準及びプロトコルに限定されない。ここに言及されない他の類似の標準及びプロトコルが存在しており、本開示に含まれるものとみなされる。さらに、ここに言及される標準及びプロトコル並びにここに言及されない他の類似の標準及びプロトコルは、本質的に同じ機能を有するより速い又はより有効な均等物によって定期的に代替される。そのような同じ機能を有する代替の標準及びプロトコルは、本開示に含まれる均等物とみなされる。

【0073】

本開示は、種々の実施形態、機器構成及び態様において、種々の実施形態、部分的組合せ及びその部分集合を含む、ここに実質的に図示及び記載する構成要素、方法、処理、システム及び／又は装置を含む。当業者は、本開示を理解すれば、ここに開示されたシステム及び方法をどのように製造及び使用するかを理解するはずである。本開示は、種々の実施形態、機器構成及び態様において、例えば、性能を向上し、容易性を実現し、及び／又は実施のコストを低減するために従来のデバイス又は処理において使用されてきたようなアイテムがないことを含み、ここに図示及び／若しくは記載されていないアイテムがなくても、又はその種々の実施形態、機器構成若しくは態様において、デバイス及び処理を提供することを含む。

【0074】

本開示の以上の説明は、説明及び図示の目的で提示された。上記は、ここに開示される単数又は複数の形態に開示を限定することを意図するものではない。以上の詳細な説明では、例えば、開示の種々の構成が、開示の合理化の目的で１以上の実施形態、機器構成又は態様においてともにグループ化されている。開示の実施形態、機器構成又は態様の構成は、上述したもの以外の代替の実施形態、機器構成又は態様と組み合わせられ得る。この開示の方法は、特許請求される開示が、各請求項に明示的に記載されるよりも多くの構成を要件とする意図を反映するものとして解釈されてはならない。そうではなく、以降の特許請求の範囲が反映するように、進歩的な態様は上記の単一の開示の実施形態、機器構成又は態様の全ての構成よりも少ないものに存在する。したがって、以降の特許請求の範囲は、独立した開示の好ましい実施形態として各請求項がそれ自体で成立する状態でこの詳細な説明にそれにより含まれる。

【0075】

さらに、開示の説明は１以上の実施形態、機器構成又は態様並びに特定のバリエーション及び変形例の記載を含んでいるが、他のバリエーション、組合せ及び変形例は、例えば、本開示を理解した後に当業者の技術及び知識内となるように、開示の範囲内となる。いずれの特許可能な事項も公に特化させることを意図することなく、そのような代替の、互換可能な及び／又は均等の構造、機能、範囲若しくはステップがここに開示されるか否かにかかわらず、請求項に記載されるものに対する代替の、互換可能な及び／又は均等の構造、機能、範囲若しくはステップを含み、許可される程度で代替の実施形態、機器構成又は態様を含む権利を取得することが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】