特表 2024-519723 仮想会議における顔の表情の提示

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-21

(54)【発明の名称】仮想会議における顔の表情の提示

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240514BHJP

   G06F 3/01 20060101ALI20240514BHJP

   G06F 3/048 20130101ALI20240514BHJP

   H04M 1/72439 20210101ALI20240514BHJP

【ＦＩ】

H04N7/15 170

G06F3/01 510

G06F3/048

H04M1/72439

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023568078

(86)(22)【出願日】2022-02-23

(85)【翻訳文提出日】2023-11-02

(86)【国際出願番号】 US2022017431

(87)【国際公開番号】W WO2022240464

(87)【国際公開日】2022-11-17

(31)【優先権主張番号】17/320,627

(32)【優先日】2021-05-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＢＬＵＥＴＯＯＴＨ

３．Ｌｉｎｕｘ

４．ＯＳ Ｘ

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ジェ－ウォン・チェ

(72)【発明者】

【氏名】サンラック・ユン

(72)【発明者】

【氏名】ジャンフン・チョ

(72)【発明者】

【氏名】ハヌル・キム

(72)【発明者】

【氏名】ヒョンウ・パク

(72)【発明者】

【氏名】スンハン・ヤン

(72)【発明者】

【氏名】キョ・ウン・ファン

【テーマコード（参考）】

5C164

5E555

5K127

【Ｆターム（参考）】

5C164FA10

5C164MA03S

5C164UB90P

5C164VA04S

5C164VA07P

5C164VA11S

5C164VA35P

5E555AA27

5E555BA01

5E555BA04

5E555BA16

5E555BA20

5E555BA22

5E555BA23

5E555BA76

5E555BB01

5E555BB04

5E555BB16

5E555BB20

5E555BB22

5E555BB23

5E555BC04

5E555BD09

5E555BE16

5E555BE17

5E555CA42

5E555CA47

5E555CB67

5E555CC22

5E555DA01

5E555DA08

5E555DA09

5E555DB05

5E555DB20

5E555DB32

5E555DB41

5E555DC09

5E555DD08

5E555EA05

5E555EA07

5E555EA14

5E555EA22

5E555EA23

5E555FA00

5K127AA36

5K127BA03

5K127CA34

5K127CB23

5K127GB72

5K127JA34

5K127KA05

(57)【要約】

顔の表情を仮想会議において提示するための実施形態システムおよび方法は、コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるとの決定に応答して、検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、提示するために承認される顔の表情を表すアバターを生成するステップと、生成されたアバターを仮想会議において提示するステップとを含み得る。

【特許請求の範囲】

【請求項1】

顔の表情を仮想会議においてアバター上に提示するためにコンピューティングデバイスのプロセッサによって実行される方法であって、
前記コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するステップと、
前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップと、
前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されるとの決定に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成するステップと、
前記生成されたアバターを前記仮想会議において提示するステップと
を含む、方法。

【請求項2】

前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されないとの決定に応答して、現在提示されているアバターを提示し続けるステップをさらに含む、請求項1に記載の方法。

【請求項3】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、前記仮想会議においてアバター上に提示するために承認されるが、前記検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するステップをさらに含む、請求項1に記載の方法。

【請求項4】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、前記仮想会議においてアバター上に提示するために承認されるが、前記検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを前記生成するステップが、提示のために承認された最近の表情を表すアバターを生成するステップを含む、請求項3に記載の方法。

【請求項5】

前記コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を前記検出するステップが、前記コンピューティングデバイスの画像センサから受信された情報に基づいて、前記ユーザの顔の表情を検出するステップを含む、請求項1に記載の方法。

【請求項6】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するステップが、前記ユーザの顔の表情が前記仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定するステップを含み、
前記生成されたアバターを前記仮想会議において前記提示するステップが、前記ユーザの顔の表情が前記仮想会議において前記アバター上に提示するために以前に承認されたとの決定に応答して、以前に承認された前記顔の表情を表す、前記生成されたアバターを前記仮想会議において提示するステップを含む
請求項1に記載の方法。

【請求項7】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するステップが、
前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを前記ユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするステップと、
前記ユーザの顔の表情が前記仮想会議において提示するために承認されることを示す入力の前記コンピューティングデバイスのユーザインターフェース上での受信に応答して、前記検出されたユーザの顔の表情が承認されると決定するステップと
を含む、請求項1に記載の方法。

【請求項8】

しきい値時間期間内に前記ユーザインターフェースへの応答入力がない場合、前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されると決定するステップ
をさらに含む、請求項7に記載の方法。

【請求項9】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す入力の前記コンピューティングデバイスのユーザインターフェース上での受信に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターが前記仮想会議において提示するために承認されるまたは承認されないという指示をメモリ内に記憶するステップ
をさらに含む、請求項1に記載の方法。

【請求項10】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するステップが、
前記検出されたユーザの顔の表情が承認されるとしてまたは承認されないとしてプリセットリスト内に記憶されていると決定するステップと、
前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを前記ユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするステップと、
前記ユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す、前記プリセットリストとは異なる入力の受信に応答して、前記プリセットリストを更新するステップと
を含む、請求項1に記載の方法。

【請求項11】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するステップが、前記ユーザの表現的音声に基づいて、前記検出されたユーザの顔の表情が前記仮想会議において前記アバター上に提示するために承認されるかどうかを決定するステップを含む、請求項1に記載の方法。

【請求項12】

前記生成されたアバターを前記仮想会議において前記提示するステップが、前記生成されたアバターを前記仮想会議において提示することと併せて、前記ユーザの表現的音声の表現を前記仮想会議においてレンダリングするステップを含む、請求項1に記載の方法。

【請求項13】

コンピューティングデバイスであって、
前記コンピューティングデバイスのユーザの顔の表情を検出するように構成されたセンサと、
前記センサに結合されたプロセッサと
を備え、前記プロセッサが、
前記センサから受信された情報に基づいて、ユーザの顔の表情を検出することと、
前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定することと、
前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されるとの決定に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成することと、
前記生成されたアバターを前記仮想会議において提示することと
を行うためのプロセッサ実行可能命令で構成される
コンピューティングデバイス。

【請求項14】

前記プロセッサが、前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されないとの決定に応答して、現在提示されているアバターを提示し続けるためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項15】

前記プロセッサが、前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、前記仮想会議においてアバター上に提示するために承認されるが、前記検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項16】

前記プロセッサが、提示のために承認された最近の表情を表すアバターを生成するためのプロセッサ実行可能命令でさらに構成される、請求項15に記載のコンピューティングデバイス。

【請求項17】

前記センサが画像センサである、請求項13に記載のコンピューティングデバイス。

【請求項18】

前記プロセッサが、
前記ユーザの顔の表情が前記仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定することと、
前記ユーザの顔の表情が前記仮想会議において前記アバター上に提示するために以前に承認されたとの決定に応答して、以前に承認された前記顔の表情を表す、前記生成されたアバターを前記仮想会議において提示することと
を行うためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項19】

前記プロセッサが、
前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを前記ユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングすることと、
前記ユーザの顔の表情が前記仮想会議において提示するために承認されることを示す入力の前記コンピューティングデバイスのユーザインターフェース上での受信に応答して、前記検出されたユーザの顔の表情が承認されると決定することと
を行うためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項20】

前記プロセッサが、
しきい値時間期間内に前記ユーザインターフェースへの応答入力がない場合、前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されると決定する
ためのプロセッサ実行可能命令でさらに構成される、請求項19に記載のコンピューティングデバイス。

【請求項21】

前記プロセッサが、
前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す入力の前記コンピューティングデバイスのユーザインターフェース上での受信に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターが前記仮想会議において提示するために承認されるまたは承認されないという指示をメモリ内に記憶する
ためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項22】

前記プロセッサが、
前記検出されたユーザの顔の表情が承認されるとしてまたは承認されないとしてプリセットリスト内に記憶されていると決定することと、
前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを前記ユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングすることと、
前記ユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す、前記プリセットリストとは異なる入力の受信に応答して、前記プリセットリストを更新することと
を行うためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項23】

前記プロセッサに結合されたマイクロフォンをさらに含み、前記プロセッサが、前記マイクロフォンによって検出された前記ユーザの表現的音声に基づいて、前記検出されたユーザの顔の表情が前記仮想会議において前記アバター上に提示するために承認されるかどうかを決定するためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項24】

前記プロセッサが、前記生成されたアバターを前記仮想会議において提示することと併せて、前記ユーザの表現的音声の表現を前記仮想会議においてレンダリングするためのプロセッサ実行可能命令でさらに構成される、請求項13に記載のコンピューティングデバイス。

【請求項25】

コンピューティングデバイスであって、
前記コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するための手段と、
前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するための手段と、
前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されるとの決定に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成するための手段と、
前記生成されたアバターを前記仮想会議において提示するための手段と
を含む、コンピューティングデバイス。

【請求項26】

前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されないとの決定に応答して、現在提示されているアバターを提示し続けるための手段をさらに含む、請求項25に記載のコンピューティングデバイス。

【請求項27】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、前記仮想会議においてアバター上に提示するために承認されるが、前記検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するための手段をさらに含む、請求項25に記載のコンピューティングデバイス。

【請求項28】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、前記仮想会議においてアバター上に提示するために承認されるが、前記検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを前記生成するための手段が、提示のために承認された最近の表情を表すアバターを生成するための手段を含む、請求項27に記載のコンピューティングデバイス。

【請求項29】

前記コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を前記検出するための手段が、前記コンピューティングデバイスの画像センサから受信された情報に基づいて、前記ユーザの顔の表情を検出するための手段を含む、請求項27に記載のコンピューティングデバイス。

【請求項30】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するための手段が、前記ユーザの顔の表情が前記仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定するための手段を含み、
前記生成されたアバターを前記仮想会議において前記提示するための手段が、前記ユーザの顔の表情が前記仮想会議において前記アバター上に提示するために以前に承認されたとの決定に応答して、以前に承認された前記顔の表情を表す、前記生成されたアバターを前記仮想会議において提示するための手段を含む
請求項27に記載のコンピューティングデバイス。

【請求項31】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するための手段が、
前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを前記ユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするための手段と、
前記ユーザの顔の表情が前記仮想会議において提示するために承認されることを示す入力の前記コンピューティングデバイスのユーザインターフェース上での受信に応答して、前記検出されたユーザの顔の表情が承認されると決定するための手段と
を含む、請求項27に記載のコンピューティングデバイス。

【請求項32】

しきい値時間期間内に前記ユーザインターフェースへの応答入力がない場合、前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されると決定するための手段
をさらに含む、請求項31に記載のコンピューティングデバイス。

【請求項33】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す入力の前記コンピューティングデバイスのユーザインターフェース上での受信に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターが前記仮想会議において提示するために承認されるまたは承認されないという指示をメモリ内に記憶するための手段
をさらに含む、請求項27に記載のコンピューティングデバイス。

【請求項34】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するための手段が、
前記検出されたユーザの顔の表情が承認されるとしてまたは承認されないとしてプリセットリスト内に記憶されていると決定するための手段と、
前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを前記ユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするための手段と、
前記ユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す、前記プリセットリストとは異なる入力の受信に応答して、前記プリセットリストを更新するための手段と
を含む、請求項27に記載のコンピューティングデバイス。

【請求項35】

前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを前記決定するための手段が、前記ユーザの表現的音声に基づいて、前記検出されたユーザの顔の表情が前記仮想会議において前記アバター上に提示するために承認されるかどうかを決定するための手段を含む、請求項27に記載のコンピューティングデバイス。

【請求項36】

前記生成されたアバターを前記仮想会議において前記提示するための手段が、前記生成されたアバターを前記仮想会議において提示することと併せて、前記ユーザの表現的音声の表現を前記仮想会議においてレンダリングするための手段を含む、請求項27に記載のコンピューティングデバイス。

【請求項37】

プロセッサ実行可能命令を記憶した非一時的プロセッサ可読媒体であって、前記命令が、コンピューティングデバイスのプロセッサに、
前記コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出することと、
前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定することと、
前記検出されたユーザの顔の表情が前記仮想会議においてアバター上に提示するために承認されるとの決定に応答して、前記検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成することと、
前記検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、前記仮想会議においてアバター上に提示するために承認されるが、前記検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成することと、
前記生成されたアバターを前記仮想会議において提示することと
を含む動作を実行させるように構成される、非一時的プロセッサ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、その内容全体が参照により本明細書に組み込まれる、2021年5月14日に出願し「Presenting A Facial Expression In A Virtual Meeting」と題する米国特許出願第17/320,627号の優先権の利益を主張するものである。

【背景技術】

【0002】

通信ネットワークは、オンライン会議および集会のためのアプリケーションおよびサービスの開発を可能にした。いくつかのシステムは、単純化した画像またはカートゥーンのような画像からフォトリアリスティック画像まで及ぶことがある「アバター」として知られる出席者の視覚表現を提示する仮想環境を提供する。これらのシステムのうちのいくつかは、ユーザの動きおよび声を記録する、仮想現実(VR)ヘッドセットまたは他のVR機器など、VRデバイスを含む。そのようなシステムは、ユーザの動きおよび発話に基づいて、ユーザのアバター上に顔の表情を生成し得る。

【0003】

しかしながら、仮想会議出席者の表情、言葉、およびアクションは会議に関係しないことがある。ユーザは、子ども、ペット、または他者からの妨害、外部雑音、電話呼、および他の妨害など、ユーザの実世界環境において生じるいくつもの事柄に反応することがある。また、システムは、怒り、不快感、フラストレーションなど、ユーザがオンライン会議で他者に表示することを望まない表情を検出して示すことがある。さらに、システムは、表情を不正確にキャプチャし表示し、結果として、ユーザが伝えようとしていることと表示される表情との間にミスマッチを引き起こすことがあり、気まずくなること、当惑すること、または無礼であることがある。現在のシステムは、ユーザがユーザのアバター上に表示するための顔の表情を検討または承認するための機構を提供しない。

【発明の概要】

【課題を解決するための手段】

【0004】

様々な態様は、顔の表情を仮想会議において提示するための方法およびその方法を実行するように構成されたコンピューティングデバイスを含む。様々な態様は、コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるとの決定に応答して、検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、仮想会議においてアバター上に提示するために承認されるが、検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するステップと、生成されたアバターを仮想会議において提示するステップとを含み得る。いくつかの態様は、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、現在提示されているアバターを提示し続けるステップをさらに含み得る。いくつかの態様は、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、仮想会議においてアバター上に提示するために承認されるが、検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するステップをさらに含み得る。

【0005】

いくつかの態様では、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、仮想会議においてアバター上に提示するために承認されるが、検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するステップは、提示のために承認された最近の表情を表すアバターを生成するステップを含み得る。いくつかの態様では、コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するステップは、コンピューティングデバイスの画像センサから受信された情報に基づいて、ユーザの顔の表情を検出するステップを含み得る。

【0006】

いくつかの態様では、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップは、ユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定するステップを含み得、生成されたアバターを仮想会議において提示するステップは、ユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたとの決定に応答して、以前に承認された顔の表情を表す、生成されたアバターを仮想会議において提示するステップを含み得る。いくつかの態様では、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップは、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするステップと、ユーザの顔の表情が仮想会議において提示するために承認されることを示す入力のコンピューティングデバイスのユーザインターフェース上での受信に応答して、検出されたユーザの顔の表情が承認されると決定するステップとを含み得る。

【0007】

いくつかの態様は、しきい値時間期間内にユーザインターフェースへの応答入力がない場合、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されると決定するステップを含み得る。いくつかの態様は、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す入力のコンピューティングデバイスのユーザインターフェース上での受信に応答して、検出されたユーザの顔の表情に整合する顔の表情を表すアバターが仮想会議において提示するために承認されるまたは承認されないという指示をメモリ内に記憶するステップを含み得る。

【0008】

いくつかの態様では、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップは、検出されたユーザの顔の表情が承認されるとしてまたは承認されないとしてプリセットリスト内に記憶されていると決定するステップと、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするステップと、ユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す、プリセットリストとは異なる入力の受信に応答して、プリセットリストを更新するステップとを含み得る。

【0009】

いくつかの態様では、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップは、ユーザの表現的音声に基づいて、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップを含み得る。いくつかの態様では、生成されたアバターを仮想会議において提示するステップは、生成されたアバターを仮想会議において提示することと併せて、ユーザの表現的音声の表現を仮想会議においてレンダリングするステップを含み得る。

【0010】

さらなる態様は、メモリと、メモリに結合されたプロセッサとを含むコンピューティングデバイスであって、プロセッサが、上記で説明した方法のうちのいずれかの動作を実行するためのプロセッサ実行可能命令で構成される、コンピューティングデバイスを含み得る。さらなる態様は、コンピューティングデバイスのコントローラに上記で説明した方法のいずれかの動作作を実行させるように構成されたプロセッサ実行可能命令を記憶したプロセッサ可読記憶媒体を含み得る。さらなる態様は、上記で説明した方法のうちのいずれかの機能を実行するための手段を含むコンピューティングデバイスを含み得る。

【0011】

本明細書に組み込まれるとともに本明細書の一部を構成する添付の図面は、例示的な実施形態を示し、上記で与えられた概略的な説明および以下に与えられる詳細な説明とともに、いくつかの実施形態の特徴を説明するのに役立つ。

【図面の簡単な説明】

【0012】

【図1】様々な実施形態のいずれかを実装するのに適した例示的な通信システムを示すシステムブロック図である。

【図2】様々な実施形態のいずれかを実装するのに適した例示的なコンピューティングデバイスの構成要素ブロック図である。

【図3】様々な実施形態のいずれかを実装するのに適した例示的なコンピューティングシステムアーキテクチャを示す構成要素ブロック図である。

【図4】様々な実施形態による、顔の表情を仮想会議において提示するための方法の態様を示す概念図である。

【図5】様々な実施形態による、顔の表情を仮想会議において提示するための方法を示すプロセスフロー図である。

【図6A】様々な実施形態による、顔の表情を仮想会議において提示するための方法の一部として実行され得る動作を示す図である。

【図6B】様々な実施形態による、顔の表情を仮想会議において提示するための方法の一部として実行され得る動作を示す図である。

【発明を実施するための形態】

【0013】

添付の図面を参照しながら、様々な実施形態について詳細に説明する。可能な場合はいつでも、同じまたは同様の部分を指すために、図面全体にわたって同じ参照番号が使用される。特定の例および実装形態に対して行われる言及は、説明を目的とし、様々な実施形態または特許請求の範囲を限定するものではない。

【0014】

様々な実施形態は、参加者が適切であると見なす顔の表情を仮想会議において参加者のアバター上に提示するための方法を提供し、これはモバイルコンピューティングデバイスなどのデバイス内での実装であり得る。様々な実施形態は、コンピューティングデバイスが仮想会議においてユーザのアバター上に提示するためにユーザが承認した顔の表情およびユーザが承認しない顔の表情を学習することを可能にする。様々な実施形態は、仮想現実ヘッドセットおよび同様のデバイスなど、追加の粗大かつ高価な周辺機器の必要をなくす。様々な実施形態は、仮想会議の実施を改善するために、参加者のアバター上にレンダリングされた顔の表情の自動的フィルタリングを可能にすることによって、コンピューティングデバイスおよび仮想会議システムの動作を改善する。

【0015】

「構成要素」、「モジュール」、「システム」などの用語は、限定はしないが、特定の動作または機能を実行するように構成される、ハードウェア、ファームウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアなど、コンピュータ関連エンティティを含むものとする。たとえば、構成要素は、限定はしないが、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行スレッド、プログラム、および/またはコンピュータであってもよい。例として、コンピューティングデバイス上で実行しているアプリケーションとコンピューティングデバイスの両方は、構成要素と呼ばれる場合がある。1つまたは複数の構成要素は、プロセスおよび/または実行スレッド内に存在してもよく、構成要素は、1つのプロセッサもしくはコア上で局所化されてもよく、かつ/または2つ以上のプロセッサもしくはコアの間で分散されてもよい。加えて、これらの構成要素は、様々な命令および/またはデータ構造を記憶した様々な非一時的コンピュータ可読媒体から実行してもよい。構成要素は、ローカルプロセスおよび/またはリモートプロセス、関数またはプロシージャ呼出し、電子信号、データパケット、メモリ読取り/書込み、ならびに知られている他のコンピュータ、プロセッサ、および/またはプロセス関連の通信方法によって、通信してもよい。

【0016】

「コンピューティングデバイス」という用語は、セルラー電話、スマートフォン、ポータブルコンピューティングデバイス、パーソナルまたはモバイルマルチメディアプレーヤ、ラップトップコンピュータ、タブレットコンピュータ、スマートブック、ウルトラブック、パームトップコンピュータ、電子メール受信機、マルチメディアインターネット対応セルラー電話、ルータデバイス、医療デバイスおよび機器、生体センサ/デバイス、スマートウオッチと、スマートクロージングと、スマートグラスと、スマートリストバンドと、スマートジュエリー(たとえば、スマートリング、スマートブレスレットなど)とを含むウェアラブルデバイス、エンターテインメントデバイス(たとえば、ゲームコントローラ、音楽およびビデオプレーヤ、衛星ラジオなど)、スマートメーター/センサと、産業用製造機器と、家庭または企業使用のための大型および小型機械およびアプライアンスとを含むモノのインターネット(IoT)デバイス、自律走行および半自律走行車両内のコンピューティングデバイス、様々なモバイルプラットフォームに固定されるかまたは組み込まれたモバイルデバイス、全地球測位システムデバイス、ならびにメモリとプログラマブルプロセッサとを含む、同様の電子デバイスのいずれか1つまたはすべてを指すために、本明細書で使用される。

【0017】

「システムオンチップ」(SOC)という用語は、単一の基板上に統合された複数のリソースおよび/またはプロセッサを含んでいる、単一の集積回路(IC)チップを指すために、本明細書で使用される。単一のSOCは、デジタル、アナログ、混合信号、および無線周波数機能のための回路を含んでもよい。単一のSOCはまた、任意の数の汎用および/または専用プロセッサ(デジタル信号プロセッサ、モデムプロセッサ、ビデオプロセッサなど)、メモリブロック(たとえば、ROM、RAM、フラッシュなど)、ならびにリソース(たとえば、タイマー、電圧調整器、発振器など)を含んでもよい。SOCはまた、統合されたリソースおよびプロセッサを制御するため、ならびに周辺デバイスを制御するためのソフトウェアを含んでもよい。

【0018】

「システムインパッケージ」(SIP)という用語は、2つ以上のICチップ、基板、またはSOC上で複数のリソース、計算ユニット、コア、および/またはプロセッサを含んでいる、単一のモジュールまたはパッケージを指すために、本明細書で使用されてもよい。たとえば、SIPは、その上で複数のICチップまたは半導体ダイが垂直構成で積層される、単一の基板を含んでもよい。同様に、SIPは、その上で複数のICまたは半導体ダイが単一化基板(unifying substrate)にパッケージングされる、1つまたは複数のマルチチップモジュール(MCM)を含んでもよい。SIPはまた、単一のマザーボード上、または単一のワイヤレスデバイス内などで、高速通信回路を介して互いに結合され、極めて近接してパッケージングされた、複数の独立したSOCを含んでもよい。SOCの近接性によって、高速通信、ならびにメモリおよびリソースの共有が容易になる。

【0019】

本明細書で使用する「ネットワーク」、「システム」、「ワイヤレスネットワーク」、「セルラーネットワーク」、および「ワイヤレス通信ネットワーク」という用語は、ワイヤレスデバイスに関連するキャリアのワイヤレスネットワークおよび/またはワイヤレスデバイスの加入の部分またはすべてを互換的に指すことがある。本明細書で説明する技法は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、FDMA、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、および他のネットワークなど、様々なワイヤレス通信ネットワークに関して使用され得る。一般に、任意の数のワイヤレスネットワークが所与の地理的エリアにおいて展開され得る。各ワイヤレスネットワークは、少なくとも1つの無線アクセス技術をサポートしてよく、無線アクセス技術は、1つもしくは複数の周波数または周波数の範囲上で動作してよい。たとえば、CDMAネットワークは、ユニバーサル地上波無線アクセス(UTRA)(広帯域符号分割多元接続(WCDMA(登録商標))規格を含む)、CDMA2000(IS-2000、IS-95、および/またはIS-856規格を含む)などを実装し得る。別の例では、TDMAネットワークは、モバイル通信用グローバルシステム(GSM)、GSM進化型高速データレート(EDGE)を実装し得る。別の例では、OFDMAネットワークは、発展型UTRA(E-UTRA)(LTE規格を含む)、米国電気電子技術者協会(IEEE)802.11(WiFi)、IEEE802.16(WiMAX)、IEEE802.20、フラッシュOFDM(登録商標)などを実装し得る。LTE規格を使用するワイヤレスネットワークについて言及することがあり、したがって、「発展型ユニバーサル地上波無線アクセス」、「E-UTRAN」、および「eノードB」という用語も、本明細書でワイヤレスネットワークを指すために互換的に使用されることがある。しかしながら、そのような言及は、単なる例であり、他の通信規格を使用するワイヤレスネットワークを排除することを意図しない。たとえば、様々な第3世代(3G)システム、第4世代(4G)システム、および第5世代(5G)システムについて本明細書で論じるが、それらのシステムは、単なる例として言及され、様々な例において、将来世代のシステム(たとえば、第6世代(6G)以上のシステム)に置換され得る。

【0020】

いくつかのオンライン会議および集会システムは、単なる名前ラベルまたはライブ画像の代わりに、出席者の視覚的「アバター」を提示する仮想環境を提供する。そのようなアバターは、単純化した画像またはカートゥーンのような画像からフォトリアリスティック画像まで及ぶことがある。仮想会議をサポートするいくつかのシステムは、ユーザの動きおよび声を記録し、次いで、ユーザの動きおよび発話に基づいて、ユーザのアバター上に顔の表情を生成する、VRデバイスを含む。

【0021】

上述のように、仮想会議出席者の表情、言葉、およびアクションは様々な状況の下で会議に関係しないことがある。たとえば、ユーザは、子ども、ペット、または他者からの妨害、外部雑音、電話呼、および他の妨害など、ユーザの実世界環境において生じるいくつもの事柄に反応することがある。また、時には、仮想会議の参加者は、会議で言われたことまたは提示されたことに対して否定的または未熟に反応することがあり、これらの参加者が、彼らのアバターがオンライン会議において他者に表示することをユーザが望まない不適切な表情を示すことを回避することが最善である。たとえば、会議参加者は、怒り、不快感、フラストレーションなどの瞬時の表情が彼らの会議アバター上に提示されることを望まないことがある。さらに、仮想会議ソフトウェアは、参加者の表情を誤解するかまたは不正確に検出することがあり、これは、参加者が会議において伝えようとしていることと参加者のアバター上に表される表情との間にミスマッチを引き起こすことがあり、他の会議参加者に対して気まずくなること、当惑すること、または無礼であることがある。

【0022】

様々な実施形態は、参加者が表示することを望まない表情を参加者のアバター上にレンダリングすることをフィルタで除去するかまたは回避するステップを含む、顔の表情を仮想会議において参加者のアバター上に提示するための方法、およびそれらの方法を実行するように構成されたコンピューティングデバイスを含む。様々な実施形態では、コンピューティングデバイスは、コンピューティングデバイスの1つまたは複数のセンサ(たとえば、カメラ)から受信された情報に基づいて、ユーザの顔の表情または感情を検出し得る。コンピューティングデバイスは、検出されたユーザの顔の表情が仮想会議において参加者のアバター上に提示するために承認されるかどうかを決定し得る。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるとの決定に応答して、コンピューティングデバイスは、検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成し得る。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、コンピューティングデバイスは、提示するために承認された顔の表情を表すアバターを生成すること、かつ/または参加者のアバター上に現在表されている表情を変更しないことによってなど、検出されたユーザの顔の表情に整合する顔の表情を参加者のアバター上にレンダリングすることを回避し得る。いくつかの実施形態では、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、コンピューティングデバイスは、提示するために承認された最近のまたは直近の表情を表すアバターを生成し得る。いくつかの実施形態では、コンピューティングデバイスは、提示のために承認された最近のまたは直近の表情に整合する表情を表すアバターを生成し得る。コンピューティングデバイスは、ユーザの顔の表情の生成された表現を備えたアバターを仮想会議において提示し得る。様々な実施形態では、アバター上に提示される顔の表情は、意味または感情(たとえば、喜び、悲しみ、驚き、怒り、軽蔑、嫌悪感、不安など)を断定的に伝える表情、表現的なアクション(たとえば、笑い、溜息、ウィンク、微笑、あえぎ、など)、はっきりしない表情、「安静している」顔、または「無」表情を含み得る。

【0023】

いくつかの実施形態では、コンピューティングデバイスは、コンピューティングデバイスの画像センサから受信された画像および/または情報に基づいて、ユーザの顔の表情を検出し得る。いくつかの実施形態では、コンピューティングデバイスは、ユーザの顔の画像(単一画像またはビデオであってよい)を処理して、顔の表情を検出し得る。いくつかの実施形態では、コンピューティングデバイスは、ユーザの顔の画像またはビデオをキャプチャするための画像センサを含むマルチモードセンサまたはセンサのグループを含み得る。様々な実施形態では、システムは、VRシステムなど、追加のデバイスを使用しないか、または必要としない。

【0024】

いくつかの実施形態では、コンピューティングデバイスはまた、スピーチおよび/または他の有意味な音声を記憶し処理し、一定の顔の表情に伴うまたはそれに対応する語、句、および音声を決定し得る。いくつかの実施形態では、コンピューティングデバイスは、ユーザのスピーチおよび他の表現的音声(溜息、笑い、など)をマイクロフォンまたは別の好適なオーディオセンサでキャプチャし得る。いくつかの実施形態では、コンピューティングデバイスは、たとえば、コンピューティングデバイスのマイクロフォンを介して受信された、ユーザの表現的音声に基づいて、ユーザの顔の表情を検出し得る。「表現的音声」という用語は、語および句(すなわち、言語)ならびに有意味な音声を総称するために本明細書で使用される。有意味な音声の例は、笑い、溜息、ハミング、咳、躊躇する声(たとえば、「えー」、「うーん」、「あのー」、「んー」、など)、あえぎ、または別の人物に意味を伝える別の音声を含む。いくつかの実施形態では、コンピューティングデバイスは、仮想の顔の表情をユーザの表現的音声に相関し得るかまたは関連付け得る。いくつかの実施形態では、コンピューティングデバイスは、ユーザの顔の様々な表情に関連するかまたはそれと相関する語、句、および/または音声を学習し得る。

【0025】

いくつかの実施形態では、コンピューティングデバイスは、生成された仮想の顔の表情が仮想会議において提示されるユーザのアバター上にレンダリングされるべきかどうかを自動的に決定し得る。いくつかの実施形態では、システムは、生成された仮想の顔の表情をデータベース、リスト、または許可されるもしくは許容できる表情(たとえば、微笑、笑い、熱心さ、など)の他の好適なデータ構造および/または許容できない表情(たとえば、怒り、しかめ面、嫌悪感、など)のデータベースと比較し、生成された仮想の顔の表情が許可されるまたは許容できる表情リスト上にある場合、コンピューティングデバイスは、その表情をユーザのアバター上にレンダリングし得る。許可されるもしくは許容できる表情のリストおよび/または許容できない表情のリストは、デフォルトリスト、もしくは製造会社によって提供されるプリセットリスト、または(たとえば、仮想会議に関するソフトウェアの)セットアップ手順中に設定された、ユーザ選択もしくは生成されたリストの中でなど、コンピューティングデバイス内で事前に構成され得る。

【0026】

いくつかの実施形態では、コンピューティングデバイスは、ユーザ対話を通して許可されるもしくは許容できる表情のデータベース、リスト、または他の好適なデータ構造、および/または許可されないもしくは許容できない表情のリストを学習および/または調整し得る。たとえば、コンピューティングデバイスは、検出された顔の表情が(たとえば、プリセットリスト内で、または以前に承認されたもしくは拒否された顔の表情のデータベースもしくはリスト内で)提示のために承認も非承認もされないと決定し得る。検出されたユーザの顔の表情が提示のために承認も非承認もされないとの決定、言い換えれば、検出された顔の表情の許容性に対する未決定に応答して、コンピューティングデバイスは、承認または不承認のユーザ入力を受信するように構成されたユーザインターフェース内で検出されたユーザの顔の表情に整合する表情を表すアバターをコンピューティングデバイスのユーザインターフェース上に提示し得る。いくつかの実施形態では、コンピューティングデバイスは、ユーザが検出されたユーザの顔の表情が提示のために承認されるかまたは承認されないかを示すことを要求する勧誘またはプロンプトを用いて、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをコンピューティングデバイスのユーザインターフェース上にレンダリングし得る。ユーザの顔の表情が仮想会議において提示するために承認されることを示す入力のコンピューティングデバイスのユーザインターフェース上での受信に応じて、コンピューティングデバイスは、検出されたユーザの顔の表情が承認されると決定し得る。いくつかの実施形態では、コンピューティングデバイスは、承認された顔の表情のデータベースもしくはリスト内または拒否された顔の表情のデータベースもしくはリスト内でのアバター用の顔の表情のリスティングなど、ユーザの顔の表情を表すアバターが承認されるまたは承認されないという指示を記憶し得る。

【0027】

いくつかの実施形態では、コンピューティングデバイスは、ユーザが表示される仮想の顔の表情を承認するかまたは承認しないかに関する入力を行うことを可能にするために、仮想の顔の表情をユーザインターフェース上に表示し得、承認または拒否を選択してユーザインターフェースに応答するための短い時間期間(たとえば、3～5秒)をユーザに与え得る。この検討機会は、顔の表情が仮想会議においてユーザのアバター上にレンダリングされる前に、ユーザが顔の表情をフィルタリングまたはスクリーニングすることを可能にし得る。ユーザが、顔の表情がユーザインターフェース上に出されるたびに入力を必要とせずに、表示された仮想の顔の表情を承認するかまたは承認しないことを可能にするために、システムは、ユーザが、しきい値時間期間の失効の前など、短い時間期間内に応答しない場合、デフォルトアクションをとることができる。ユーザインターフェース上に提示された仮想の顔の表情の承認または不承認のデフォルト決定は、ユーザ定義されてよい(たとえば、ユーザは、構成インターフェース内の設定に入り、ユーザインターフェースプロンプトを無視することが承認として解釈されるべきかまたは不承認として解釈されるべきかを選択し得る)。

【0028】

いくつかの実施形態では、コンピューティングデバイスは、ユーザの表現的音声に基づいて、生成された仮想の顔の表情がユーザのアバター上にレンダリングされるべきかどうかを決定し得る。たとえば、ユーザの表現的音声は、嘲笑および軽蔑的な顔の表情、または笑いおよび驚きまたは不信の顔の表情など、許容できない表情に関連付けられ得る。いくつかの実施形態では、コンピューティングデバイスは、ユーザの表現的音声に基づいて、検出されたユーザの顔の表情がユーザのアバター上に提示するために承認されるかどうかを決定し得る。たとえば、コンピューティングデバイスは、ユーザの表現的音声が許容できない表情に関連付けられると決定し得る。応答して、承認されない顔の表情ではなく、コンピューティングデバイスは、提示するために承認される(または以前に承認されている)顔の表情を表すアバターを生成し得る。

【0029】

いくつかの実施形態では、コンピューティングデバイスは、ユーザが表示することを望むユーザ表情およびユーザが表示されることを望まないユーザ表情(すなわち、許容される表情および許容されない表情)を経時的に(たとえば、学習アルゴリズムによって)学習するように構成され得る。コンピューティングデバイスはまた、ユーザの顔の画像があいまいであるとき、使用が許容できるかまたは使用に適するユーザ表情を学習するように構成され得る。コンピューティングデバイスはまた、承認される表情および承認されない表情に関連付けられた表現的音声を学習するように構成され得る。いくつかの実施形態では、コンピューティングデバイスは、(たとえば、データベース、リスト、などに基づいて)検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定するように構成され得、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたとの決定に応答して、コンピューティングデバイスは、検出されたユーザの顔の表情に整合する顔の表情を表すアバターを自動的に生成し得る。上述のように、コンピューティングデバイスは、プリセットされたまたはデフォルトの顔の表情とは異なる入力の受信に応答して、プリセットされたまたはデフォルトの顔の表情を確認および/または更新し得る。このように、コンピューティングデバイスは、許容されるおよび許容されないユーザの顔の表情を学習して、プリセットされた顔の表情を更新するか、または許容できるおよび許容できない顔の表情のデータベースを更新し、新しい顔の表情を追加し得る。

【0030】

このように、コンピューティングデバイスは、ユーザに応答をプロンプトせずに、仮想の顔の表情を表示するかどうかをどのように自動的に決定するかを学習し得る。いくつかの一貫したユーザ決定に応答してなど、経時的に、コンピューティングデバイスは、コンピューティングデバイスが承認または不承認のために表示するプロンプトの数および頻度を低減するように構成され得る。最終的に、コンピューティングデバイスは、表示のために常に許容される、または表示のために決して許容されない表情についてユーザにプロンプトすることを停止し、特定の仮想アバターの表情を承認するためまたは承認しないためのプロンプトでユーザを煩わせることなく、許容される表情を直ちに実装し得る。

【0031】

様々な実施形態は、仮想会議において許容できない仮想アバターの表情の生成をフィルタリングまたは防止することによって、コンピューティングデバイスおよび仮想会議システムの動作を改善する。様々な実施形態はまた、仮想会議において提示するために承認されるまたは承認されない様々な顔の表情を学習することによって、コンピューティングデバイスおよび仮想会議システムの動作を改善し、このようにして、経時的にますます少ないユーザプロンプトを必要とする、ますますシームレスな様式で動作する。様々な実施形態はまた、コンピューティングデバイスおよび仮想会議システムの動作の速度および効率を改善することによって、それらの動作を改善する。様々な実施形態はさらに、コンピューティングデバイスおよび仮想会議システムのオペラビリティおよびユーザ対話性の速度および効率を改善することによって、それらの動作を改善する。

【0032】

図1は、例示的な通信システム100を示すシステムブロック図である。通信システム100は、5G新無線(NR)ネットワーク、またはロングタームエボリューション(LTE)ネットワークなどの任意の他の好適なネットワークであり得る。図1は5Gネットワークを示すが、後世代ネットワークは同じまたは同様の要素を含み得る。したがって、以下の説明における5Gネットワークおよび5Gネットワーク要素の言及は、例示のためであり、限定的であることを意図しない。

【0033】

通信システム100は、コアネットワーク140と、様々なワイヤレスデバイス(図1においてワイヤレスデバイス120a～120eとして示される)とを含む、異種ネットワークアーキテクチャを含み得る。通信システム100はまた、いくつかの基地局(BS110a、BS110b、BS110c、およびBS110dとして示される)と、他のネットワークエンティティとを含み得る。基地局は、ワイヤレスデバイスと通信するエンティティであり、また、ノードB、LTE発展型ノードB(eノードBまたはeNB)、アクセスポイント(AP)、無線ヘッド、送信受信ポイント(TRP)、新無線基地局(NR BS)、5GノードB(NB)、次世代ノードB(gノードBまたはgNB)などと呼ばれることもある。各基地局は、特定の地理的エリアに通信カバレージを提供し得る。3GPP(登録商標)では、「セル」という用語は、この用語が使用される文脈に応じて、基地局のカバレージエリア、このカバレージエリアにサービスする基地局サブシステム、またはそれらの組合せを指すことがある。コアネットワーク140は、LTEコアネットワーク(たとえば、発展型パケットコア(EPC)ネットワーク)、5Gコアネットワーク、など、任意のタイプのコアネットワークであってよい。

【0034】

基地局110a～110dは、マクロセル、ピコセル、フェムトセル、別のタイプのセル、またはそれらの組合せに通信カバレージを提供し得る。マクロセルは、比較的大きい地理的エリア(たとえば、半径数キロメートル)をカバーすることがあり、サービスに加入しているワイヤレスデバイスによる無制限アクセスを可能にすることがある。ピコセルは、比較的小さい地理的エリアをカバーすることがあり、サービスに加入しているワイヤレスデバイスによる無制限アクセスを可能にすることがある。フェムトセルは、比較的小さい地理的エリア(たとえば、自宅)をカバーすることがあり、フェムトセルとの関連を有するワイヤレスデバイス(たとえば、限定加入者グループ(CSG)の中のワイヤレスデバイス)による制限付きアクセスを可能にすることがある。マクロセルのための基地局は、マクロBSと呼ばれることがある。ピコセルのための基地局は、ピコBSと呼ばれることがある。フェムトセルのための基地局は、フェムトBSまたはホームBSと呼ばれることがある。図1に示す例では、基地局110aは、マクロセル102aのためのマクロBSであってよく、基地局110bは、ピコセル102bのためのピコBSであってよく、基地局110cは、フェムトセル102cのためのフェムトBSであってよい。基地局110a～110dは、1つまたは複数(たとえば、3つ)のセルをサポートし得る。「eNB」、「基地局」、「NR BS」、「gNB」、「TRP」、「AP」、「ノードB」、「5G NB」、および「セル」という用語が、本明細書では互換的に使用され得る。

【0035】

いくつかの例では、セルは、静止していないことがあり、セルの地理的エリアは、モバイル基地局のロケーションに従って移動し得る。いくつかの例では、基地局110a～110dは、任意の好適なトランスポートネットワークを使用して、直接物理接続、仮想ネットワーク、またはそれらの組合せなど、様々なタイプのバックホールインターフェースを通して、通信システム100において互いに、ならびに、1つもしくは複数の他の基地局またはネットワークノード(図示せず)に相互接続され得る。

【0036】

基地局110a～110dは、ワイヤードまたはワイヤレス通信リンク126上で、コアネットワーク140と通信し得る。ワイヤレスデバイス120a～120eは、ワイヤレス通信リンク122上で、基地局110a～110dと通信し得る。

【0037】

ワイヤード通信リンク126は、イーサネット、ポイントツーポイントプロトコル、ハイレベルデータリンク制御(HDLC)、高度データ通信制御プロトコル(ADCCP:Advanced Data Communication Control Protocol)、および送信制御プロトコル/インターネットプロトコル(TCP/IP)など、1つまたは複数のワイヤード通信プロトコルを使用し得る、様々なワイヤードネットワーク(たとえば、イーサネット、TVケーブル、テレフォニー、光ファイバー、および他の形態の物理ネットワーク接続など)を使用し得る。

【0038】

通信システム100はまた、中継局(中継BS110dなど)を含み得る。中継局は、上流局(たとえば、基地局またはワイヤレスデバイス)からデータの送信を受信し、データの送信を下流局(たとえば、ワイヤレスデバイスまたは基地局)に送ることができる、エンティティである。中継局はまた、他のワイヤレスデバイスのための送信を中継することができるワイヤレスデバイスであり得る。図1に示す例では、中継局110dは、基地局110aとワイヤレスデバイス120dとの間の通信を容易にするために、マクロ基地局110aおよびワイヤレスデバイス120dと通信し得る。中継局はまた、中継基地局、中継基地局、中継器などと呼ばれることもある。

【0039】

通信システム100は、異なるタイプの基地局、たとえば、マクロ基地局、ピコ基地局、フェムト基地局、中継基地局などを含む異種ネットワークであり得る。これらの異なるタイプの基地局は、異なる送信電力レベル、異なるカバレージエリア、および通信システム100における干渉に対して異なる影響を有することがある。たとえば、マクロ基地局は、高い送信電力レベル(たとえば、5～40ワット)を有し得るのに対して、ピコ基地局、フェムト基地局、および中継基地局は、より低い送信電力レベル(たとえば、0.1～2ワット)を有し得る。

【0040】

ネットワークコントローラ130は、基地局のセットに結合し得、これらの基地局のための協調および制御を提供し得る。ネットワークコントローラ130は、バックホールを介して、基地局と通信し得る。基地局はまた、たとえば、直接、あるいはワイヤレスまたはワイヤラインバックホールを介して間接的に、互いと通信し得る。

【0041】

ワイヤレスデバイス120a、120b、120cは、通信システム100の全体にわたって分散されることがあり、各ワイヤレスデバイスは、固定またはモバイルであり得る。ワイヤレスデバイスは、アクセス端末、端末、移動局、加入者ユニット、局、ユーザ機器(UE)、などと呼ばれる場合もある。

【0042】

マクロ基地局110aは、ワイヤードまたはワイヤレス通信リンク126上で、コアネットワーク140と通信し得る。ワイヤレスデバイス120a、120b、120cは、ワイヤレス通信リンク122上で、基地局110a～110dと通信し得る。

【0043】

ワイヤレス通信リンク122および124は、複数のキャリア信号、周波数、または周波数帯域を含んでもよく、その各々は、複数の論理チャネルを含んでもよい。ワイヤレス通信リンク122および124は、1つまたは複数の無線アクセス技術(RAT)を利用し得る。ワイヤレス通信リンクにおいて使用され得るRATの例は、3GPP(登録商標) LTE、3G、4G、5G(NRなど)、GSM、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA(登録商標))、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)、時分割多元接続(TDMA)、および他のモバイルテレフォニー通信技術セルラーRATを含む。通信システム100内の様々なワイヤレス通信リンクのうちの1つまたは複数において使用され得るRATのさらなる例は、Wi-Fi、LTE-U、LTE-Direct、LAA、MuLTEfireなどの中距離プロトコル、ならびに、ZigBee、Bluetooth、およびBluetooth低エネルギー(LE)などの比較的短距離のRATを含む。

【0044】

いくつかのワイヤレスネットワーク(たとえば、LTE)は、ダウンリンク上で直交周波数分割多重化(OFDM)を、またアップリンク上でシングルキャリア周波数分割多重化(SC-FDM)を利用する。OFDMおよびSC-FDMは、システム帯域幅を、一般にトーン、ビンなどとも呼ばれる複数(K個)の直交サブキャリアに区分する。各サブキャリアは、データで変調され得る。概して、変調シンボルは、周波数領域においてOFDMを用いて、また時間領域においてSC-FDMを用いて送られる。隣接するサブキャリアの間の間隔は、固定されてよく、サブキャリアの総本数(K)は、システム帯域幅に依存し得る。たとえば、サブキャリアの間隔は、15kHzであることがあり、最小リソース割振り(「リソースブロック」と呼ばれる)は、12個のサブキャリア(または、180kHz)であることがある。結果として、公称の高速ファイル転送(FFT)サイズは、1.25、2.5、5、10、または20メガヘルツ(MHz)のシステム帯域幅に対して、それぞれ、128、256、512、1024、または2048に等しくなり得る。システム帯域幅はまた、サブバンドに区分され得る。たとえば、サブバンドは、1.08MHz(すなわち、6個のリソースブロック)をカバーすることができ、1.25、2.5、5、10または20MHzのシステム帯域幅に対して、それぞれ、1、2、4、8または16個のサブバンドが存在し得る。

【0045】

いくつかの実装形態の説明は、LTE技術に関連する専門用語および例を使用し得るが、いくつかの実装形態が、新無線(NR)または5Gネットワークなど、他のワイヤレス通信システムに適用可能であり得る。NRは、アップリンク(UL)およびダウンリンク(DL)上でサイクリックプレフィックス(CP)を用いてOFDMを利用し得、時分割複信(TDD)を使用する半二重動作のためのサポートを含み得る。100MHzの単一のコンポーネントキャリア帯域幅がサポートされ得る。NRリソースブロックは、0.1ミリ秒(ms)の持続時間にわたって、75kHzのサブキャリア帯域幅を有する12個のサブキャリアにまたがり得る。各無線フレームは、10msの長さを有する50個のサブフレームで構成され得る。結果的に、各サブフレームは0.2msの長さを有し得る。各サブフレームはデータ送信のためのリンク方向(すなわち、DLまたはUL)を示し得、サブフレームごとのリンク方向は動的に切り替えられてよい。各サブフレームは、DL/ULデータならびにDL/UL制御データを含んでよい。ビームフォーミングがサポートされてよく、ビーム方向は動的に構成され得る。プリコーディングを用いた多入力多出力(MIMO)送信もまたサポートされ得る。DLにおけるMIMO構成は、最大8つのストリームおよびワイヤレスデバイスごとに最大2つのストリームのマルチレイヤDL送信とともに、最大8つの送信アンテナをサポートし得る。ワイヤレスデバイスごとに最大2つのストリームを伴うマルチレイヤ送信がサポートされ得る。

【0046】

複数のセルのアグリゲーションは、最大8つのサービングセルとともにサポートされ得る。代替として、NRは、OFDMベースのエアインターフェースとは異なるエアインターフェースをサポートし得る。

【0047】

いくつかのワイヤレスデバイスは、マシンタイプ通信(MTC)、または発展型もしくは拡張マシンタイプ通信(eMTC)ワイヤレスデバイスと見なされ得る。MTCおよびeMTCワイヤレスデバイスは、たとえば、基地局、別のデバイス(たとえば、リモートデバイス)、または何らかの他のエンティティと通信し得るロボット、ドローン、リモートデバイス、センサ、メーター、モニタ、ロケーションタグなどを含む。ワイヤレスコンピューティングプラットフォームは、たとえば、ワイヤードまたはワイヤレス通信リンクを介して、ネットワーク(たとえば、インターネットもしくはセルラーネットワークなどのワイドエリアネットワーク)のための、またはネットワークへの接続性を提供し得る。いくつかのワイヤレスデバイスは、モノのインターネット(IoT)デバイスと見なされ得るか、またはNB-IoT(狭帯域モノのインターネット)デバイスとして実装され得る。ワイヤレスデバイス120a～120eは、プロセッサ構成要素、メモリ構成要素、同様の構成要素、またはそれらの組合せなど、ワイヤレスデバイス120a～120eの構成要素を収容するハウジングの内部に含まれ得る。

【0048】

一般に、任意の数の通信システムおよび任意の数のワイヤレスネットワークが、所与の地理的エリアにおいて展開され得る。各通信システムおよびワイヤレスネットワークは、特定の無線アクセス技術(RAT)をサポートしてよく、1つまたは複数の周波数上で動作し得る。RATは、無線技術、エアインターフェースなどと呼ばれることもある。周波数は、キャリア、周波数チャネルなどと呼ばれることもある。各周波数は、異なるRATの通信システム間の干渉を回避するために、所与の地理的エリアにおいて単一のRATをサポートし得る。場合によっては、4G/LTEおよび/または5G/NR RATネットワークが展開されることがある。たとえば、5G非スタンドアロン(NSA)ネットワークは、5G NSAネットワークの4G/LTE RANサイドで4G/LTE RATと、5G NSAネットワークの5G/NR RANサイドで5G/NR RATの両方を利用し得る。4G/LTE RANと5G/NR RANは両方とも、互いに、また5G NSAネットワーク内で4G/LTEコアネットワーク(たとえば、発展型パケットコア(EPC)ネットワーク)に接続し得る。他の例示的なネットワーク構成は、5G/NR RANが5Gコアネットワークに接続する5Gスタンドアロン(SA)ネットワークを含み得る。

【0049】

いくつかの実装形態では、2つ以上のワイヤレスデバイス(たとえば、ワイヤレスデバイス120aおよびワイヤレスデバイス120eとして示される)は、1つまたは複数のサイドリンクチャネルを使用して(たとえば、互いと通信するための媒介として基地局110a～110dを使用せずに)直接通信し得る。たとえば、ワイヤレスデバイス120a～120eは、ピアツーピア(P2P)通信、デバイス間(D2D)通信、(車両間(V2V)プロトコル、路車間(V2I)プロトコル、もしくは同様のプロトコルを含み得る)ビークルツーエブリシング(V2X)プロトコル、メッシュネットワーク、または同様のネットワーク、あるいはそれらの組合せを使用して通信し得る。この場合、ワイヤレスデバイス120a～120eは、スケジューリング動作、リソース選択動作、ならびに本明細書の他の箇所で基地局110a～110dによって実行されるものとして説明する他の動作を実行し得る。

【0050】

図2は、様々な実施形態のうちのいずれかを実装するのに適した例示的なコンピューティングデバイス200の構成要素ブロック図である。図1～図2を参照すると、コンピューティングデバイス200は、第2のシステムオンチップ(SOC)204(たとえば、5G対応SOCなど)に結合された第1のSOCプロセッサ202(たとえば、SOC-CPUなど)を含み得る。第1のSOC202および第2のSOC204は、内部メモリ206、216、ディスプレイ212、およびスピーカー214に結合され得る。加えて、コンピューティングデバイス200は、第1のSOC202および/または第2のSOC204における1つまたは複数のプロセッサに結合された、ワイヤレスデータリンクおよび/またはワイヤレストランシーバ208に接続され得る、電磁放射を送信および受信するためのアンテナ218を含み得る。1つまたは複数のプロセッサは、アンテナ218によって受信された信号の信号強度レベルを決定するように構成され得る。コンピューティングデバイス200はまた、ユーザ入力を受信するためのメニュー選択ボタンまたはロッカースイッチ220を含み得る。加えて、ユーザ入力を受信するためのソフト仮想ボタンがディスプレイ212上に提示され得る。

【0051】

コンピューティングデバイス200はまた、マイクロフォンから受信された音をワイヤレス送信に好適なデータパケットにデジタル化するとともに、受信された音データパケットを復号して、音を生成するためにスピーカーに提供されるアナログ信号を生成する、音声符号化/復号(コーデック)回路210を含み得る。また、第1のSOC202および第2のSOC204におけるプロセッサ、ワイヤレストランシーバ208、およびコーデック210のうちの1つまたは複数は、デジタル信号プロセッサ(DSP)回路(個別に図示せず)を含み得る。コンピューティングデバイス200また、カメラなど、1つまたは複数の光センサ222を含み得る。光センサ222は、光センサ222からの情報(たとえば、画像、ビデオ、など)の動作を制御し、またそれを受信するために、第1のSOC202および/または第2のSOC204内の1つまたは複数のプロセッサに結合され得る。

【0052】

コンピューティングデバイス200のプロセッサ(たとえば、SOC202、204)は、以下で説明する様々な実施形態の機能を含む、様々な機能を実行するようにソフトウェア命令(アプリケーション)によって構成され得る、任意のプログラマブルマイクロプロセッサ、マイクロコンピュータ、または1つまたは複数の多重プロセッサチップであり得る。いくつかのワイヤレスデバイスでは、ワイヤレス通信機能専用のSOC204内の1つのプロセッサ、および他のアプリケーションの実行専用のSOC202内の1つのプロセッサなど、複数のプロセッサが設けられ得る。一般に、プロセッサ実行可能命令を含むソフトウェアアプリケーションは、プロセッサ実行可能命令がアクセスされて、プロセッサ内にロードされる前に、メモリ206、216など、非一時的プロセッサ可読記憶媒体内に記憶され得る。プロセッサ202、204は、アプリケーションソフトウェア命令を記憶するのに十分な内部メモリを含み得る。モバイルデバイス102a～102eはまた、カメラ(図示せず)などの光センサを含み得る。

【0053】

図3は、様々な実施形態のいずれかを実装するのに適した例示的なコンピューティングシステム300アーキテクチャを示す構成要素ブロック図である。図1～図3を参照すると、様々な実施形態は、システムオンチップ(SOC)またはシステムインパッケージ(SIP)を含む、いくつかのシングルプロセッサおよびマルチプロセッサコンピュータシステム上で実装され得る。コンピューティングシステム300は、2つのSOC302、304と、クロック306と、電圧調節器308とを含み得る。いくつかの実施形態では、第1のSOC302は、命令によって指定された算術、論理、制御、および入力/出力(I/O)動作を実行することによって、ソフトウェアアプリケーションプログラムの命令を実践する、ワイヤレスデバイスの中央処理ユニット(CPU)として動作する。いくつかの実施形態では、第2のSOC304は、専用処理ユニットとして動作してもよい。たとえば、第2のSOC304は、大容量、高速(たとえば、5Gbpsなど)、および/または超短波の短波長(たとえば、28GHz mmWaveスペクトルなど)通信を管理することを担う、専用5G処理ユニットとして動作してもよい。

【0054】

第1のSOC302は、デジタル信号プロセッサ(DSP)310と、モデムプロセッサ312と、グラフィックスプロセッサ314と、アプリケーションプロセッサ316と、プロセッサのうちの1つまたは複数に接続された1つまたは複数のコプロセッサ318(ベクトルコプロセッサなど)と、メモリ320と、カスタム回路322と、システム構成要素およびリソース324と、相互接続/バスモジュール326と、1つまたは複数の温度センサ330と、熱管理ユニット332と、熱電力エンベロープ(TPE:thermal power envelope)構成要素334とを含み得る。第2のSOC304は、5Gモデムプロセッサ352と、電力管理ユニット354と、相互接続/バスモジュール364と、複数のmmWaveトランシーバ356と、メモリ358と、アプリケーションプロセッサ、パケットプロセッサなど様々な追加のプロセッサ360とを含み得る。

【0055】

各プロセッサ310、312、314、316、318、352、360は、1つまたは複数のコアを含んでもよく、各プロセッサ/コアは、他のプロセッサ/コアとは無関係の動作を実行してもよい。たとえば、第1のSOC302は、第1のタイプのオペレーティングシステム(たとえば、FreeBSD、LINUX、OS Xなど)を実行するプロセッサと、第2のタイプのオペレーティングシステム(たとえば、MICROSOFT WINDOWS(登録商標) 10)を実行するプロセッサとを含んでもよい。加えて、プロセッサ310、312、314、316、318、352、360のいずれかまたはすべては、プロセッサクラスタアーキテクチャ(たとえば、同期プロセッサクラスタアーキテクチャ、非同期または異種プロセッサクラスタアーキテクチャなど)の一部として含まれ得る。

【0056】

第1のSOC302および第2のSOC304は、センサデータ、アナログデジタル変換、ワイヤレスデータ送信を管理するため、ならびに、データパケットを復号すること、およびウェブブラウザにおいてレンダリングするために、符号化されたオーディオおよびビデオ信号を処理することなど、他の専用動作を実行するための、様々なシステム構成要素、リソース、およびカスタム回路を含んでもよい。たとえば、第1のSOC302のシステム構成要素およびリソース324は、電力増幅器、電圧調節器、発振器、位相ロックループ、周辺ブリッジ、データコントローラ、メモリコントローラ、システムコントローラ、アクセスポート、タイマー、ならびに、ワイヤレスデバイス上で実行しているプロセッサおよびソフトウェアクライアントをサポートするために使用される他の同様の構成要素を含んでもよい。システム構成要素およびリソース324、および/またはカスタム回路322はまた、カメラ、電子ディスプレイ、ワイヤレス通信デバイス、外部メモリチップなど、周辺デバイスとインターフェースするための回路を含んでもよい。

【0057】

第1のSOC302および第2のSOC304は、相互接続/バスモジュール350を介して通信してもよい。様々なプロセッサ310、312、314、316、318は、相互接続/バスモジュール326を介して、1つまたは複数のメモリ要素320、システム構成要素およびリソース324、およびカスタム回路322、ならびに熱管理ユニット332に相互接続されてもよい。同様に、プロセッサ352は、相互接続/バスモジュール364を介して、電力管理ユニット354、mmWaveトランシーバ356、メモリ358、および様々な追加のプロセッサ360に相互接続されてもよい。相互接続/バスモジュール326、350、364は、再構成可能な論理ゲートのアレイを含んでもよく、かつ/またはバスアーキテクチャ(たとえば、CoreConnect、AMBAなど)を実装してもよい。通信は、高性能ネットワークオンチップ(NoC)などの高度な相互接続部によって行われてもよい。

【0058】

第1のSOC302および/または第2のSOC304は、クロック306および電圧調節器308など、SOCの外部にあるリソースと通信するための入力/出力モジュール(図示せず)をさらに含んでもよい。SOCの外部にあるリソース(たとえば、クロック306、電圧調節器308)は、内部SOCプロセッサ/コアのうちの2つ以上によって共有されてもよい。

【0059】

様々な実施形態は、上記で説明した例示的なコンピューティングシステム300に加えて、多種多様なコンピューティングシステムにおいて実装されてもよく、コンピューティングシステムは、単一のプロセッサ、複数のプロセッサ、マルチコアプロセッサ、またはそれらの任意の組合せを含んでもよい。

【0060】

図4は、様々な実施形態による、顔の表情を仮想会議において提示するための方法400の態様を示す概念図である。図1～図4を参照すると、コンピューティングデバイス402は、通信ネットワークまたは通信システム(その態様については通信システム100に関して上記で論じた)を介して仮想会議430に参加するように構成され得る。いくつかの実施形態では、仮想会議430は、その各々がコンピューティングデバイス402などのコンピューティングデバイスを介して参加し得る、様々なユーザの1つまたは複数のアバター432、434を含み得る。

【0061】

コンピューティングデバイス402は、カメラ404などの1つまたは複数の画像センサと、マイクロフォン406などの1つまたは複数の音声センサとを含み得る。カメラ404は、ユーザの顔410の画像など、画像のキャプチャをするように指示され得る。マイクロフォン406は、ユーザの1つまたは複数の表現的音声412をキャプチャし得る。

【0062】

コンピューティングデバイス402は、カメラ404および／またはマイクロフォン406など、コンピューティングデバイス402のセンサから受信された情報に基づいて、ユーザの顔の表情を検出するように構成され得る。コンピューティングデバイス402は、ユーザの顔の表情420の表現を生成するようにさらに構成され得る。いくつかの実施形態では、ユーザの顔の表情420の表現は、仮想会議430においてユーザのアバター432上に提示され得るかまたはその中に組み込まれ得る1つまたは複数の画像を含み得る。いくつかの実施形態では、ユーザの顔の表情420の表現は、仮想会議430をホストしているかまたは実行しているデバイスがユーザの顔の表情を仮想会議430においてアバター上に提示するために処理し得る1つまたは複数の命令を含み得る。ユーザの顔の表情420の表現は、仮想会議430において(たとえば、アバター434に関連付けられる)他の参加者が知覚可能な様式で仮想会議430内のアバター上に提示され得る。

【0063】

コンピューティングデバイス402はまた、表現的音声422の表現を生成するように構成され得る。様々な実施形態では、表現的音声422の表現は、音声ファイル、デジタルビットストリーム、または別の好適な表現であってよい。いくつかの実施形態では、表現的音声422の表現は、ユーザの顔の表情420の表現と併せて、仮想会議430において提示され得る。

【0064】

下でさらに説明するように、コンピューティングデバイス402は、検出されたユーザの顔の表情が仮想会議430において提示するために承認されるかまたは承認されないかを決定するように構成され得る。いくつかの実施形態では、コンピューティングデバイス402は、ユーザによる承認のために検出されたユーザの顔の表情を提示するように構成され得る。たとえば、コンピューティングデバイス402は、コンピューティングデバイス402が、たとえば、スクリーンなどのディスプレイデバイス上でアバター上に表示し得るプロンプト412を生成するように構成され得る。プロンプトは、ユーザが仮想会議430においてアバター上に提示するために顔の表情を承認するまたは承認しない/拒否する入力を提供することを可能にする1つまたは複数のユーザインターフェース要素を含み得る。コンピューティングデバイス402は、提示のためにユーザの顔の表情を承認するかまたは承認しない入力の受信に応答して、ユーザの顔の表情がアバター上にレンダリングするために承認されるまたは承認されないという指示を記憶し得る。いくつかの実施形態では、検出された顔の表情がアバター上に提示するために承認されるとしてまたは承認されないとしてプリセットされている場合、コンピューティングデバイスは、プリセットとは異なるユーザ入力に応答して、プリセットを更新し得る。このように、コンピューティングデバイス402は、ユーザ対話を通じて許可されるもしくは許容できる表情のリストおよび/または許容できない表情のリストを学習および/または調整し得る。

【0065】

さらに、コンピューティングデバイス402は、ユーザに応答するようにプロンプトせずに、仮想の顔の表情を表示するかどうかを自動的に決定することを学習し得る。いくつかの実施形態では、検出された表情は、ユーザが仮想会議430においてアバター432上に提示するために以前に承認したまたは承認しなかった表情であり得る。そのような実施形態では、コンピューティングデバイス402は、プロンプト412をバイパスするかまたはそれを提示しなくてよく、仮想会議430においてアバター432上に提示するために承認されたユーザの顔の表情420の表現の送信に進んでよい。いくつかの実施形態では、コンピューティングデバイス402は、検出された顔の表情がユーザによって以前に承認されなかったまたは以前に拒否されたと決定し得る。そのような実施形態では、コンピューティングデバイス402は、仮想会議430においてアバター432上に提示するために承認されるまたは承認されている顔の表情の表現を生成し得る。

【0066】

図5は、様々な実施形態による、顔の表情を仮想会議において提示するための方法500を示すプロセスフロー図である。図1～図5を参照すると、方法500は、コンピューティングデバイス(たとえば、120a～120e、200、404)のプロセッサ(たとえば、202、204、310～318、352、360)によって実装され得る。

【0067】

ブロック502において、プロセッサは、コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出し得る。いくつかの実施形態では、プロセッサは、コンピューティングデバイスのカメラ(たとえば、カメラ404)から受信された情報に基づいて、ユーザの顔の表情を検出し得る。いくつかの実施形態では、プロセッサは、コンピューティングデバイスのマイクロフォン(たとえば、マイクロフォン406)から受信された情報に基づいて、ユーザの顔の表情を検出し得る。いくつかの実施形態では、プロセッサは、ユーザの表現的音声を検出し得、ユーザの顔の表情を検出する際に表現的音声を使用し得る。

【0068】

決定ブロック504において、プロセッサは、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定し得る。いくつかの実施形態では、プロセッサは、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定し得る。いくつかの実施形態では、プロセッサは、検出されたユーザの顔の表情が、デフォルトリストまたはプリセットリストなど、事前に承認されたまたは事前に承認されなかった顔の表情のリスト内に含まれているかどうかを決定し得る。いくつかの実施形態では、プロセッサは、ユーザの表現的音声に基づいて、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定し得る。いくつかの実施形態では、表現的音声は、顔の表情と相関され得るか、またはそれに関連付けられ得る。

【0069】

検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定(すなわち、決定ブロック504=「No」)に応答して、プロセッサは、ブロック506において、提示するために承認されるが、検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成し得る。いくつかの実施形態では、プロセッサは、ユーザの会議のアバター上に提示するために承認された最近の表情を表すアバターを生成し得る。いくつかの実施形態では、プロセッサは、直近に承認されたユーザの顔の表情を表すアバターを生成し得る。いくつかの実施形態では、プロセッサは、検出されたユーザの顔の表情に整合するかまたは最も近い、直近に承認されたユーザの顔の表情を表すアバターを生成し得る。いくつかの実施形態では、プロセッサは、ユーザの顔の表情を検出するのに先立って、アバター上にレンダリングされた顔の表情を維持すること、言い換えれば、現在提示されているアバターを提示し続けることができる。

【0070】

検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるとの決定(すなわち、決定ブロック504=「Yes」)に応答して、プロセッサは、検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成し得る。

【0071】

ブロック506または508の動作の実行に続いて、プロセッサは、任意のブロック510において、ユーザの顔の表情が仮想会議において提示するために承認されることまたは承認されないことを示す入力のコンピューティングデバイスのユーザインターフェース上での受信に応答して、ユーザの顔の表情を表すアバターが承認されるまたは承認されないという指示をメモリ内に記憶し得る。

【0072】

ブロック512において、プロセッサは、ユーザの顔の表情の生成された表現を備えたアバターを仮想会議において提示し得る。たとえば、プロセッサは、仮想会議430においてユーザのアバター432上にレンダリングするためにユーザの顔の表情420の表現を送り得る。

【0073】

任意のブロック514において、プロセッサは、生成されたアバターを仮想会議において提示する(すなわち、ユーザの顔の表情の表現を備えた、生成されたアバターを提示する)のと併せて、ユーザの表現的音声の表現を仮想会議においてレンダリングし得る。たとえば、プロセッサは、生成されたアバターを提示するのと併せて、表現的音声422の表現を仮想会議(たとえば、430)においてレンダリングし得る。

【0074】

プロセッサは、この場合も、仮想会議を通して説明したように、ブロック502において、ユーザの次の顔の表情を検出し、ブロック504～512の動作を実行することによって、方法500を周期的または連続的に実行し得る。

【0075】

図6Aおよび図6Bは、様々な実施形態による、顔の表情を仮想会議において提示するための方法500の一部として実行され得る動作600aおよび600bを示す。図1～図6Bを参照すると、動作600aおよび600bは、コンピューティングデバイス(たとえば、120a～120e、200、404)のプロセッサ(たとえば、202、204、310～318、352、360)によって実装され得る。

【0076】

図6Aを参照すると、ブロック502(図5)の動作の実行に続いて、プロセッサは、ブロック602において、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングし得る。たとえば、プロセッサは、提示されたアバターの顔の表情を承認するまたは承認しない、ユーザインターフェース要素に対する入力を受信するように構成されたプロンプト(たとえば、412)を生成し得る。

【0077】

決定ブロック602において、プロセッサは、ユーザインターフェースに応答して、提示されたアバターの顔の表情を承認または拒否する入力が受信されたかどうかを決定し得る。

【0078】

提示されたアバターの顔の表情を拒否する入力の受信(すなわち、決定ブロック604=「拒否」)に応答して、プロセッサは、説明したような方法500のブロック506の動作を実行し得る。

【0079】

顔の表情を承認する入力の受信(すなわち、決定ブロック604=「承認」)に応答して、プロセッサは、説明したような方法500のブロック508の動作を実行し得る。

【0080】

しきい値(TH)時間期間内にユーザインターフェースへの応答入力がない場合(すなわち、決定ブロック604=「TH時間期間内に応答なし」)、プロセッサはブロック606においてデフォルトアクションを実行し得る。いくつかの実施形態では、プロセッサは、しきい値時間期間内にユーザインターフェースへの応答入力がない場合、提示されたアバターの顔の表情が仮想会議において使用するために承認されると決定し、説明したようなブロック508の動作を実行し得る。いくつかの実施形態では、プロセッサは、しきい値時間期間内にユーザインターフェースへの応答入力がない場合、提示されたアバターの顔の表情が仮想会議において使用するために承認されないと決定し、説明したようなブロック506の動作を実行し得る。

【0081】

図6Bを参照すると、方法500のブロック502の動作の実行に続いて、いくつかの実施形態では、仮想会議においてユーザのアバター上に提示するための顔の表情を承認するまたは拒否する/承認しないユーザの入力に基づいて、プロセッサは、ユーザの入力に基づいてプリセットリストを更新し得る。

【0082】

たとえば、ブロック610において、プロセッサは、提示されたアバターの顔の表情が承認されるとしてまたは承認されないとしてプリセットリスト内に記憶されていると決定し得る。

【0083】

ブロック612において、プロセッサは、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングし得る。たとえば、プロセッサは、ディスプレイ上にプロンプト412を提示し得る。

【0084】

ブロック614において、プロセッサは、ユーザの顔の表情が仮想会議において提示するために承認されることまたは承認されないことを示す、プリセットリストとは異なる入力の受信に応答して、承認されるまたは承認されないアバターの表情のプリセットリストを更新し得る。

【0085】

図示および説明する様々な実施形態は、特許請求の範囲の様々な特徴を示すための例として提供されるにすぎない。しかしながら、任意の所与の実施形態に関して図示および説明する特徴は、必ずしも関連する実施形態に限定されるとは限らず、図示および説明する他の実施形態とともに使用されてよく、またはそれらと組み合わせられてもよい。さらに、特許請求の範囲は、いかなる例示的な一実施形態によっても限定されるものでない。たとえば、方法および動作方法500、600a、および600bのうちの1つまたは複数は、方法500、600a、および600bの1つまたは複数の動作と置換されるかまたはそれらと組み合わされてもよい。

【0086】

実装例について、以下の段落において説明する。以下の実装例のうちのいくつかについて、例示的な方法に関して説明するが、さらなる例示的な実装形態は、以下の実装例の方法の動作を実行するようにプロセッサ実行可能命令で構成されたプロセッサを含むコンピューティングデバイスによって実装される、以下の段落において説明する例示的な方法と、以下の実装例の方法の機能を実行するための手段を含む、コンピューティングデバイスによって実装される、以下の段落において説明する例示的な方法と、コンピューティングデバイスのプロセッサに以下の実装例の方法の動作を実行させるように構成されたプロセッサ実行可能命令を記憶した、非一時的プロセッサ可読記憶媒体として実装され得る、以下の段落において説明する例示的な方法とを含んでもよい。

【0087】

例1。顔の表情を仮想会議においてアバター上に提示するためにコンピューティングデバイスのプロセッサによって実行される方法であって、コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップと、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるとの決定に応答して、検出されたユーザの顔の表情に整合する顔の表情を表すアバターを生成するステップと、生成されたアバターを仮想会議において提示するステップとを含む、方法。

【0088】

例2。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、現在提示されているアバターを提示し続けるステップをさらに含む、例1の方法。

【0089】

例3。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、仮想会議においてアバター上に提示するために承認されるが、検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するステップをさらに含む、例1の方法。

【0090】

例4。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されないとの決定に応答して、仮想会議においてアバター上に提示するために承認されるが、検出されたユーザの顔の表情とは異なる、顔の表情を表すアバターを生成するステップが、提示のために承認された最近の表情を表すアバターを生成するステップを含む、例1から3のいずれかの方法。

【0091】

例5。コンピューティングデバイスのセンサから受信された情報に基づいて、ユーザの顔の表情を検出するステップが、コンピューティングデバイスの画像センサから受信された情報に基づいて、ユーザの顔の表情を検出するステップを含む、例1から4のいずれかの方法。

【0092】

例6。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップが、ユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたかどうかを決定するステップを含み、生成されたアバターを仮想会議において提示するステップが、ユーザの顔の表情が仮想会議においてアバター上に提示するために以前に承認されたとの決定に応答して、以前に承認された顔の表情を表す、生成されたアバターを仮想会議において提示するステップを含む、例1から5のいずれかの方法。

【0093】

例7。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップが、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするステップと、ユーザの顔の表情が仮想会議において提示するために承認されることを示す入力のコンピューティングデバイスのユーザインターフェース上での受信に応答して、検出されたユーザの顔の表情が承認されると決定するステップとを含む、例1から6のいずれかの方法。

【0094】

例8。しきい値時間期間内にユーザインターフェースへの応答入力がない場合、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されると決定するステップをさらに含む、例7の方法。

【0095】

例9。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す入力のコンピューティングデバイスのユーザインターフェース上での受信に応答して、検出されたユーザの顔の表情に整合する顔の表情を表すアバターが仮想会議において提示するために承認されるまたは承認されないという指示をメモリ内に記憶するステップをさらに含む、例1から8のいずれかの方法。

【0096】

例10。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップが、検出されたユーザの顔の表情が承認されるとしてまたは承認されないとしてプリセットリスト内に記憶されていると決定するステップと、検出されたユーザの顔の表情に整合する顔の表情を表すアバターをユーザによる承認または拒否を受信するように構成されたユーザインターフェース上にレンダリングするステップと、ユーザの顔の表情が仮想会議においてアバター上に提示するために承認されることまたは承認されないことを示す、プリセットリストとは異なる入力の受信に応答して、プリセットリストを更新するステップとを含む、例1から9のいずれかの方法。

【0097】

例11。検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップが、ユーザの表現的音声に基づいて、検出されたユーザの顔の表情が仮想会議においてアバター上に提示するために承認されるかどうかを決定するステップを含む、例1から10のいずれかの方法。

【0098】

例12。生成されたアバターを仮想会議において提示するステップが、生成されたアバターを仮想会議において提示するステップと併せて、ユーザの表現的音声の表現を仮想会議においてレンダリングするステップを含む、例1から11のいずれかの方法。

【0099】

上記の方法の説明およびプロセスフロー図は、例示的な例として提供されるにすぎず、様々な実施形態の動作が、提示された順序で実行されなければならないことを要求または暗示するものではない。当業者によって諒解されるように、上述の実施形態における動作の順序は、任意の順序で実行されてよい。「その後」、「次いで」、「次に」などの語は、動作の順序を限定するものではなく、これらの語は、方法の説明を通じて読者を導くために使用される。さらに、たとえば、冠詞「a」、「an」または「the」を使用する単数形での請求項要素へのいかなる言及も、要素を単数形に限定するものとして解釈されるべきではない。

【0100】

本明細書で開示する実施形態に関して説明する様々な例示的な論理ブロック、モジュール、構成要素、回路、およびアルゴリズム動作は、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得る。ハードウェアおよびソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路および動作について、概してそれらの機能性に関して上記で説明してきた。そのような機能性がハードウェアそれともソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課された設計制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実装してよいが、そのような実施形態の決定は、特許請求の範囲からの逸脱を引き起こすものとして解釈されるべきではない。

【0101】

本明細書で開示する実施形態に関して説明した様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサはまた、受信機スマートオブジェクトの組合せ、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。代替的に、いくつかの動作または方法は、所与の機能に固有の回路によって実施され得る。

【0102】

1つまたは複数の実施形態では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアにおいて実装される場合、機能は、非一時的コンピュータ可読記憶媒体または非一時的プロセッサ可読記憶媒体上に1つまたは複数の命令またはコードとして記憶され得る。本明細書で開示する方法またはアルゴリズムの動作は、非一時的コンピュータ可読またはプロセッサ可読記憶媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールまたはプロセッサ実行可能命令において具現化され得る。非一時的コンピュータ可読またはプロセッサ可読記憶媒体は、コンピュータまたはプロセッサによってアクセスされ得る任意の記憶媒体であり得る。限定ではなく例として、そのような非一時的コンピュータ可読またはプロセッサ可読記憶媒体は、RAM、ROM、EEPROM、FLASHメモリ、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージスマートオブジェクト、または命令もしくはデータ構造の形態で所望のプログラムコードを記憶するために使用される場合があり、コンピュータによってアクセスされる場合がある任意の他の媒体を含み得る。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、非一時的コンピュータ可読媒体および非一時的プロセッサ可読媒体の範囲内に含まれる。さらに、方法またはアルゴリズムの動作は、非一時的プロセッサ可読記憶媒体および/または非一時的コンピュータ可読記憶媒体上のコードおよび/または命令の1つまたは任意の組合せまたはセットとして存在してもよく、これらの記憶媒体は、コンピュータプログラム製品内に組み込まれてもよい。

【0103】

開示する実施形態の前述の説明は、任意の当業者が特許請求の範囲を製作または使用することを可能にするために提供される。これらの実施形態への様々な修正が当業者には容易に明らかになり、本明細書で定義される一般原理は、特許請求の範囲から逸脱することなく他の実施形態に適用されてよい。したがって、本開示は、本明細書で示される実施形態に限定されるように意図されるものではなく、以下の特許請求の範囲ならびに本明細書において開示する原理および新規の特徴に一致する最も広い範囲を与えられるべきである。

【符号の説明】

【0104】

100 通信システム
102a マクロセル、モバイルデバイス
102b ピコセル、モバイルデバイス
102c フェムトセル、モバイルデバイス
102d モバイルデバイス
102e モバイルデバイス
110a 基地局(BS)、マクロ基地局
110b 基地局(BS)
110c 基地局(BS)
110d 基地局(BS)、中継BS
120a～120e ワイヤレスデバイス
122 ワイヤレス通信リンク
124 ワイヤレス通信リンク
126 ワイヤードまたはワイヤレス通信リンク
130 ネットワークコントローラ
140 コアネットワーク
200 コンピューティングデバイス
202 第1のSOCプロセッサ、SOC、プロセッサ
204 第2のシステムオンチップ(SOC)、プロセッサ
206 内部メモリ、メモリ
208 ワイヤレストランシーバ
210 音声符号化/復号(コーデック)回路
212 ディスプレイ
214 スピーカー
216 内部メモリ、メモリ
218 アンテナ
220 メニュー選択ボタンまたはロッカースイッチ
222 光センサ
300 コンピューティングシステム
302 SOC、第1のSOC
304 SOC、第2のSOC
306 クロック
308 電圧調節器
310 デジタル信号プロセッサ(DSP)、プロセッサ、
312 モデムプロセッサ、プロセッサ
314 グラフィックスプロセッサ、プロセッサ
316 アプリケーションプロセッサ、プロセッサ
318 コプロセッサ、プロセッサ
320 メモリ、メモリ要素
322 カスタム回路
324 システム構成要素およびリソース
326 相互接続/バスモジュール
330 温度センサ
332 熱管理ユニット
334 熱電力エンベロープ(TPE)構成要素
350 相互接続/バスモジュール
352 5Gモデムプロセッサ、プロセッサ
354 電力管理ユニット
356 mmWaveトランシーバ
358 メモリ
360 プロセッサ
364 相互接続/バスモジュール
400 方法
402 コンピューティングデバイス
404 カメラ
406 マイクロフォン
410 ユーザの顔
412 表現的音声、プロンプト
420 ユーザの顔の表情
422 表現的音声
430 仮想会議
432 アバター
434 アバター
500 方法
600a 動作
600b 動作

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【国際調査報告】