特表2024-516491 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ クアルコム，インコーポレイテッドの特許一覧

特表2024-516491ビデオ通話の連続性

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2A
2B
2C
2D
3
4
5
6
7A
7B
7C
8
9
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-16

(54)【発明の名称】ビデオ通話の連続性

(51)【国際特許分類】

H04N 7/14 20060101AFI20240409BHJP

H04W 76/19 20180101ALI20240409BHJP

H04W 28/18 20090101ALI20240409BHJP

H04W 76/25 20180101ALI20240409BHJP

G06N 3/0475 20230101ALI20240409BHJP

G06T 7/00 20170101ALI20240409BHJP

【ＦＩ】

H04N7/14 110

H04W76/19

H04W28/18 110

H04W76/25

G06N3/0475

G06T7/00 660A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023554880

(86)(22)【出願日】2022-03-02

(85)【翻訳文提出日】2023-09-07

(86)【国際出願番号】 US2022018554

(87)【国際公開番号】W WO2022211961

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/217,857

(32)【優先日】2021-03-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田晋平

(72)【発明者】

【氏名】アンシュ・アバイ・バルデ

(72)【発明者】

【氏名】ヴェンカタ・ファニ・クリシュナ・アケラ

(72)【発明者】

【氏名】ラジェシュ・ポリセッティ

(72)【発明者】

【氏名】ヘマンス・イェルヴァ

(72)【発明者】

【氏名】サンディープ・パドゥビドリ・ラマムルティ

【テーマコード（参考）】

5C164

5K067

5L096

【Ｆターム（参考）】

5C164FA09

5C164UB90S

5C164VA07P

5C164VA11S

5C164VA16P

5C164VA35P

5K067AA01

5K067AA21

5K067EE02

5K067EE10

5K067GG07

5K067HH21

5L096CA04

5L096FA09

5L096KA04

(57)【要約】

本開示は、たとえばUEなど、装置のワイヤレス通信のための方法およびデバイスに関する。一態様では、装置は、ビデオ通話の接続が中断されるかどうかを決定し得、ビデオ通話は複数の復号されたフレームを含む。装置はまた、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定し得る。装置はまた、1つまたは複数の復号されたフレームと、送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成し得る。加えて、装置は、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定し得る。装置はまた、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立し得る。

【特許請求の範囲】

【請求項1】

ワイヤレスデバイスのワイヤレス通信の方法であって、
ビデオ通話の接続が中断されるかどうかを決定するステップであり、前記ビデオ通話が複数の復号されたフレームを含む、決定するステップと、
前記ビデオ通話の前記接続が中断された場合、前記複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定するステップと、
前記1つまたは複数の復号されたフレームが適している場合、前記1つまたは複数の復号されたフレームと、前記ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成するステップと、
前記1つまたは複数の人工フレームを生成すると、前記1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定するステップと、
前記1つまたは複数の人工フレームが適している場合、前記1つまたは複数の人工フレームと前記送信デバイスからの前記オーディオフィードとの組合せに基づいて顔モデル通話を確立するステップと
を含む方法。

【請求項2】

前記ビデオ通話の前記接続が中断された場合、前記複数のフレームのしきい値量が受信されたかどうかを決定するステップであり、前記複数のフレームの前記しきい値量が受信されたかどうかに基づいて、前記1つまたは複数の復号されたフレームが適していると決定される、決定するステップ
をさらに含む、請求項1に記載の方法。

【請求項3】

前記1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、前記1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別するステップであり、前記1つまたは複数の人工フレームの各々が、前記1つまたは複数の顔ランドマークに基づいて生成される、識別するステップ
をさらに含む、請求項1に記載の方法。

【請求項4】

前記1つまたは複数の復号されたフレームの各々における前記1つまたは複数の顔ランドマークが、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づいて調整される、請求項3に記載の方法。

【請求項5】

前記ビデオ通話の前記接続がもはや中断されないとき、前記顔モデル通話から従来のビデオ通話に切り替えるステップ
をさらに含む、請求項1に記載の方法。

【請求項6】

前記1つもしくは複数の人工フレームが、前記1つもしくは複数の人工フレームと前記オーディオフィードとの同期、前記1つもしくは複数の人工フレームと前記1つもしくは複数の復号されたフレームとの比較、または前記1つもしくは複数の人工フレームのシーケンスのうちの少なくとも1つに基づいて適していると決定される、請求項1に記載の方法。

【請求項7】

前記1つまたは複数の復号されたフレームとの前記比較が、前記1つまたは複数の人工フレームの品質または定義に基づく、請求項6に記載の方法。

【請求項8】

前記1つまたは複数の人工フレームの前記シーケンスが、連続するフレーム間の調整がしきい値未満であることに基づく、請求項6に記載の方法。

【請求項9】

前記1つまたは複数の人工フレームが、1つまたは複数の感情重みに基づいて生成される、請求項1に記載の方法。

【請求項10】

前記1つもしくは複数の感情重みが、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づく、請求項9に記載の方法。

【請求項11】

前記1つまたは複数の人工フレームが適していると決定すると、前記1つまたは複数の人工フレームを前記送信デバイスの前記オーディオフィードと組み合わせるステップ
をさらに含む、請求項1に記載の方法。

【請求項12】

前記1つまたは複数の復号されたフレームの各々が、前記フレームの顔視認性、前記フレームのビットレート、または前記フレームのパケットロスまたは破損のうちの少なくとも1つに基づいて、人工フレーム生成に適していると決定される、請求項1に記載の方法。

【請求項13】

前記フレームの前記顔視認性、前記フレームの前記ビットレート、または前記フレームの前記パケットロスもしくは破損のうちの少なくとも1つに対応する情報が、ビデオモジュールまたはビデオファームウェアから受信される、請求項12に記載の方法。

【請求項14】

前記ビデオ通話のための複数のフレームを受信するステップと、
前記複数のフレームが前記複数の復号されたフレームに対応するように、前記ビデオ通話のための前記複数のフレームの各々を復号するステップと
をさらに含む、請求項1に記載の方法。

【請求項15】

前記ワイヤレスデバイスが、ユーザ機器(UE)であり、前記1つまたは複数の人工フレームが、前記UEのローカルメモリに記憶される、請求項1に記載の方法。

【請求項16】

前記1つまたは複数の人工フレームが、少なくとも1つのニューラルネットワーク(NN)または少なくとも1つの弁別器によって適していると決定される、請求項1に記載の方法。

【請求項17】

ワイヤレスデバイスである、ワイヤレス通信のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサが、
ビデオ通話の接続が中断されるかどうかを決定することであり、前記ビデオ通話が複数の復号されたフレームを含む、決定することと、
前記ビデオ通話の前記接続が中断された場合、前記複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定することと、
前記1つまたは複数の復号されたフレームが適している場合、前記1つまたは複数の復号されたフレームと、前記ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成することと、
前記1つまたは複数の人工フレームを生成すると、前記1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定することと、
前記1つまたは複数の人工フレームが適している場合、前記1つまたは複数の人工フレームと前記送信デバイスからの前記オーディオフィードとの組合せに基づいて顔モデル通話を確立することと
を行うように構成されている、
装置。

【請求項18】

前記少なくとも1つのプロセッサが、
前記ビデオ通話の前記接続が中断された場合、前記複数のフレームのしきい値量が受信されたかどうかを決定することであり、前記複数のフレームの前記しきい値量が受信されたかどうかに基づいて、前記1つまたは複数の復号されたフレームが適していると決定される、決定すること
を行うようにさらに構成されている、請求項17に記載の装置。

【請求項19】

前記少なくとも1つのプロセッサが、
前記1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、前記1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別することであり、前記1つまたは複数の人工フレームの各々が、前記1つまたは複数の顔ランドマークに基づいて生成される、識別すること
を行うようにさらに構成されている、請求項17に記載の装置。

【請求項20】

前記1つまたは複数の復号されたフレームの各々における前記1つまたは複数の顔ランドマークが、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づいて調整される、請求項19に記載の装置。

【請求項21】

前記少なくとも1つのプロセッサが、
前記ビデオ通話の前記接続がもはや中断されないとき、前記顔モデル通話から従来のビデオ通話に切り替える
ようにさらに構成されている、請求項17に記載の装置。

【請求項22】

【請求項23】

前記1つまたは複数の復号されたフレームとの前記比較が、前記1つまたは複数の人工フレームの品質または定義に基づき、前記1つまたは複数の人工フレームの前記シーケンスが、連続するフレーム間の調整がしきい値未満であることに基づく、請求項22に記載の装置。

【請求項24】

前記1つまたは複数の人工フレームが、1つまたは複数の感情重みに基づいて生成され、前記1つまたは複数の感情重みが、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づく、請求項17に記載の装置。

【請求項25】

前記少なくとも1つのプロセッサが、
前記1つまたは複数の人工フレームが適していると決定すると、前記1つまたは複数の人工フレームを前記送信デバイスの前記オーディオフィードと組み合わせる
ようにさらに構成されている、請求項17に記載の装置。

【請求項26】

前記1つまたは複数の復号されたフレームの各々が、前記フレームの顔視認性、前記フレームのビットレート、または前記フレームのパケットロスもしくは破損のうちの少なくとも1つに基づいて人工フレーム生成に適していると決定され、前記フレームの前記顔視認性、前記フレームの前記ビットレート、または前記フレームの前記パケットロスもしくは破損のうちの少なくとも1つに対応する情報が、ビデオモジュールまたはビデオファームウェアから受信される、請求項17に記載の装置。

【請求項27】

前記少なくとも1つのプロセッサが、
前記ビデオ通話のための複数のフレームを受信し、
前記複数のフレームが前記複数の復号されたフレームに対応するように、前記ビデオ通話のための前記複数のフレームの各々を復号する
ようにさらに構成されている、請求項17に記載の装置。

【請求項28】

前記ワイヤレスデバイスが、ユーザ機器(UE)であり、前記1つまたは複数の人工フレームが、前記UEのローカルメモリに記憶される、請求項17に記載の装置。

【請求項29】

ワイヤレス通信のための装置であって、
ビデオ通話の接続が中断されるかどうかを決定するための手段であり、前記ビデオ通話が複数の復号されたフレームを含む、決定するための手段と、
前記ビデオ通話の前記接続が中断された場合、前記複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定するための手段と、
前記1つまたは複数の復号されたフレームが適している場合、前記1つまたは複数の復号されたフレームと、前記ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成するための手段と、
前記1つまたは複数の人工フレームを生成すると、前記1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定するための手段と、
前記1つまたは複数の人工フレームが適している場合、前記1つまたは複数の人工フレームと前記送信デバイスからの前記オーディオフィードとの組合せに基づいて顔モデル通話を確立するための手段と
を備える装置。

【請求項30】

ワイヤレスのためのコンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、前記コードが、プロセッサによって実行されると、前記プロセッサに、
ビデオ通話の接続が中断されるかどうかを決定することであり、前記ビデオ通話が複数の復号されたフレームを含む、決定することと、
前記ビデオ通話の前記接続が中断された場合、前記複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定することと、
前記1つまたは複数の復号されたフレームが適している場合、前記1つまたは複数の復号されたフレームと、前記ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成することと、
前記1つまたは複数の人工フレームを生成すると、前記1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定することと、
前記1つまたは複数の人工フレームが適している場合、前記1つまたは複数の人工フレームと前記送信デバイスからの前記オーディオフィードとの組合せに基づいて顔モデル通話を確立することと
を行わせる、
コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、その全体が参照により本明細書に明確に組み込まれる、2021年3月30日に出願された「METHODS AND APPARATUS FOR CONTINUITY OF VIDEO CALLS」という名称の米国特許出願第17/217,857号の利益を主張する。

【0002】

本開示は、一般に、通信システムに関し、より詳細には、ワイヤレス通信システムにおけるビデオ通話に関する。

【背景技術】

【0003】

ワイヤレス通信システムは、電話、ビデオ、データ、メッセージング、およびブロードキャストなどの、様々な電気通信サービスを提供するために広く展開されている。典型的なワイヤレス通信システムは、利用可能なシステムリソースを共有することによって複数のユーザとの通信をサポートすることが可能な多元接続技術を採用し得る。そのような多元接続技術の例には、符号分割多元接続(CDMA)システム、時分割多元接続(TDMA)システム、周波数分割多元接続(FDMA)システム、直交周波数分割多元接続(OFDMA)システム、シングルキャリア周波数分割多元接続(SC-FDMA)システム、および時分割同期符号分割多元接続(TD-SCDMA)システムがある。

【0004】

これらの多元接続技術は、異なるワイヤレスデバイスが都市、国家、地域、さらには地球規模で通信することを可能にする共通プロトコルを提供するために様々な電気通信規格において採用されている。例示的な電気通信規格は5Gニューラジオ(NR:New Radio)である。5G NRは、レイテンシ、信頼性、セキュリティ、(たとえば、モノのインターネット(IoT)を伴う)スケーラビリティに関連する新たな要件、および他の要件を満たすように、第3世代パートナーシッププロジェクト(3GPP(登録商標))によって公表された継続的なモバイルブロードバンド進化の一部である。5G NRは、拡張モバイルブロードバンド(eMBB)、大規模機械タイプ通信(mMTC)、および超高信頼低遅延通信(URLLC)に関連付けられたサービスを含む。5G NRのいくつかの態様は、4Gロングタームエボリューション(LTE)規格に基づいてよい。5G NR技術においてさらなる改善の必要がある。これらの改善はまた、他の多元接続技術、およびこれらの技術を利用する電気通信規格にも適用可能であり得る。

【発明の概要】

【課題を解決するための手段】

【0005】

以下は、1つ以上の態様の基本的理解をもたらすために、そのような態様の簡略化された概要を提示する。本概要は、すべての企図される態様の広範な概説ではなく、すべての態様の主要または重要な要素を識別するものでもなく、いずれかまたはすべての態様の範囲を定めるものでもない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、1つ以上の態様のいくつかの概念を簡略化された形で提示することである。

【0006】

本開示の一態様では、方法、コンピュータ可読媒体、および装置が提供される。装置はワイヤレスデバイスまたはユーザ機器(UE)であり得る。装置は、ビデオ通話のための複数のフレームを受信し、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号し得る。装置はまた、ビデオ通話の接続が中断されるかどうかを決定し得、ビデオ通話は複数の復号されたフレームを含む。装置はまた、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定し得、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される。加えて、装置は、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定し得る。装置はまた、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別し得、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される。装置はまた、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成し得る。さらに、装置は、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定し得る。装置はまた、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせ得る。装置はまた、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立し得る。さらに、装置は、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替え得る。

【0007】

上記の目的および関係する目的の達成のために、1つまたは複数の態様は、以下で十分に説明され、特に特許請求の範囲の中で指摘される特徴を備える。以下の説明および添付の図面は、1つ以上の態様のいくつかの例示的な特徴を詳細に記載する。しかしながら、これらの特徴は、様々な態様の原理が採用されてもよい様々な方法のうちのほんのいくつかを示すものであり、この説明は、すべてのそのような態様およびそれらの均等物を含むものとすることが意図される。

【図面の簡単な説明】

【0008】

【図1】ワイヤレス通信システムおよびアクセスネットワークの一例を示す図である。

【図2A】本開示の様々な態様による、第1のフレームの一例を示す図である。

【図2B】本開示の様々な態様による、サブフレーム内のDLチャネルの一例を示す図である。

【図2C】本開示の様々な態様による、第2のフレームの一例を示す図である。

【図2D】本開示の様々な態様による、サブフレーム内のULチャネルの一例を示す図である。

【図3】アクセスネットワークの中の基地局およびユーザ機器(UE)の一例を示す図である。

【図4】例示的な顔モデル生成を示す図である。

【図5】例示的な顔ランドマーク識別を示す図である。

【図6】例示的な顔モデル生成を示す図である。

【図7A】ワイヤレス通信の方法のフローチャートである。

【図7B】ワイヤレス通信の方法のフローチャートである。

【図7C】ワイヤレス通信の方法のフローチャートである。

【図8】UEと基地局との間の例示的な通信を示す図である。

【図9】ワイヤレス通信の方法のフローチャートである。

【図10】例示的装置のためのハードウェア実装形態の一例を示す図である。

【発明を実施するための形態】

【0009】

たとえば、4G LTEおよび5Gニューラジオ(NR)技術により、ビデオ通話のためのワイヤレス技術がますます進歩するにつれて、ネットワーク接続性の問題が依然として蔓延している。いくつかの事例では、これらのネットワーク接続性の問題によって、ビデオ通話の連続性が妨げられたり、中断されたりする可能性がある。たとえば、デバイスAおよびデバイスBなどの複数のデバイスが通常のビデオ通話を介して通信している可能性があるが、デバイスAが接続性の問題を経験することがある。すなわち、デバイスAのフレームがドロップしたり、デバイスAが音声通話にシフトしたりする可能性がある。デバイスBは、接続性の問題を経験することはないが、依然としてデバイスAの接続性の問題に悩まされる可能性がある。したがって、デバイスBのユーザにとって、自分側に接続性の問題がなかったとき、ビデオ通話の中断を経験するのは苛立たしい可能性がある。ビデオ通話のいくつかの態様では、通話の中断または接続性の問題によって、通話の1つまたは複数のフレームがドロップすることがある。さらに、複数のデバイスを用いたビデオ通話のいくつかの態様では、たとえばデバイスAなど一方のデバイスのフレームがドロップし、たとえばデバイスBなど他方のデバイスが通話の中断または接続性の問題を被り得る。本開示の態様は、ビデオ通話中のビデオ通話の中断および/またはネットワーク接続性の問題に対するソリューションを提供し得る。たとえば、本開示の態様は、1つまたは複数のフレームが別のデバイスからドロップされたとき、あるデバイスにおいてビデオ通話接続を維持することを助け得る。さらに、本開示の態様は、別のデバイスが接続性の問題を経験したとき、あるデバイスがビデオ通話中にネットワーク接続性を維持することを可能にし得る。

【0010】

添付の図面とともに以下に記載する詳細な説明は、様々な構成の説明として意図され、本明細書で説明する概念が実践され得る唯一の構成を表すものではない。詳細な説明は、様々な概念の完全な理解を与える目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしに実践され得ることは、当業者には明らかとなろう。いくつかの事例では、よく知られている構造および構成要素は、そのような概念を不明瞭にすることを避けるためにブロック図の形で示される。

【0011】

電気通信システムのいくつかの態様が、ここで、様々な装置および方法に関して提示される。これらの装置および方法は、以下の詳細な説明において説明され、(「要素」と総称される)様々なブロック、構成要素、回路、プロセス、アルゴリズムなどによって添付図面において示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、またはそれらの任意の組合せを使用して実装され得る。そのような要素がハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約に依存する。

【0012】

例として、要素または要素の任意の部分または要素の任意の組合せは、1つ以上のプロセッサを含む「処理システム」として実装されてもよい。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、グラフィックス処理装置(GPU)、中央処理装置(CPU)、アプリケーションプロセッサ、デジタル信号プロセッサ(DSP)、縮小命令セットコンピューティング(RISC)プロセッサ、システムオンチップ(SoC)、ベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、ステートマシン、ゲート論理、個別ハードウェア回路、および本開示全体にわたって説明する様々な機能を実行するように構成された他の好適なハードウェアを含む。処理システムの中の1つ以上のプロセッサは、ソフトウェアを実行し得る。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれ以外で呼ばれるかどうかにかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアコンポーネント、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数などを意味するように広く解釈されるものとする。

【0013】

したがって、1つまたは複数の例示的な実施形態では、説明する機能は、ハードウェア、ソフトウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、コンピュータ可読媒体上に記憶され得るか、またはコンピュータ可読媒体上に1つもしくは複数の命令もしくはコードとして符号化され得る。コンピュータ可読媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってもよい。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、電気的消去可能プログラマブルROM(EEPROM)、光ディスクストレージ、磁気ディスクストレージ、他の磁気記憶デバイス、上述のタイプのコンピュータ可読媒体の組合せ、またはコンピュータによってアクセスできる命令もしくはデータ構造の形態のコンピュータ実行可能コードを記憶するために使用できる任意の他の媒体を備えることができる。

【0014】

図1は、ワイヤレス通信システムおよびアクセスネットワーク100の一例を示す図である。ワイヤレス通信システム(ワイヤレスワイドエリアネットワーク(WWAN)とも呼ばれる)は、基地局102、UE104、発展型パケットコア(EPC)160、および別のコアネットワーク190(たとえば、5Gコア(5GC))を含む。基地局102は、マクロセル(大電力セルラー基地局)および/またはスモールセル(小電力セルラー基地局)を含んでよい。マクロセルは基地局を含む。スモールセルは、フェムトセル、ピコセル、およびマイクロセルを含む。

【0015】

4G LTE(発展型ユニバーサルモバイル電気通信システム(UMTS)地上波無線アクセスネットワーク(E-UTRAN)と総称される)のために構成された基地局102は、第1のバックホールリンク132(たとえば、S1インターフェース)を通してEPC160とインターフェースし得る。5G NR(次世代RAN(NG-RAN)と総称される)のために構成された基地局102は、第2のバックホールリンク184を通してコアネットワーク190とインターフェースし得る。他の機能に加えて、基地局102は、以下の機能、すなわち、ユーザデータの転送、無線チャネルの暗号化および解読、完全性保護、ヘッダ圧縮、モビリティ制御機能(たとえば、ハンドオーバ、デュアル接続性)、セル間干渉協調、接続のセットアップおよび解放、負荷分散、非アクセス層(NAS)メッセージのための配信、NASノード選択、同期、無線アクセスネットワーク(RAN)共有、マルチメディアブロードキャストマルチキャストサービス(MBMS)、加入者および機器の追跡、RAN情報管理(RIM)、ページング、測位、ならびに警告メッセージの配送のうちの、1つ以上を実行してもよい。基地局102は、第3のバックホールリンク134(たとえば、X2インターフェース)を介して互いに直接または間接的に(たとえば、EPC160またはコアネットワーク190を通じて)通信し得る。第1のバックホールリンク132、第2のバックホールリンク184、および第3のバックホールリンク134は、ワイヤードまたはワイヤレスであってよい。

【0016】

基地局102は、UE104とワイヤレスに通信してもよい。基地局102の各々は、それぞれの地理的カバレージエリア110に通信カバレージを提供してもよい。重複する地理的カバレージエリア110がある場合がある。たとえば、スモールセル102'は、1つまたは複数のマクロ基地局102のカバレージエリア110と重複するカバレージエリア110'を有する場合がある。スモールセルとマクロセルの両方を含むネットワークは、ヘテロジニアスネットワークと呼ばれることがある。ヘテロジニアスネットワークはまた、限定加入者グループ(CSG:Closed Subscriber Group)と呼ばれる制限付きグループにサービスを提供し得るホーム発展型ノードB(eNB)(HeNB:Home evolved Node B)を含んでよい。基地局102とUE104との間の通信リンク120は、UE104から基地局102へのアップリンク(UL)(逆方向リンクとも呼ばれる)送信、および/または基地局102からUE104へのダウンリンク(DL)(順方向リンクとも呼ばれる)送信を含んでよい。通信リンク120は、空間多重化、ビームフォーミング、および/または送信ダイバーシティを含む、多入力多出力(MIMO)アンテナ技術を使用することがある。通信リンクは、1つまたは複数のキャリアを通じてよい。基地局102/UE104は、各方向における送信のために使用される合計YxMHz(x本のコンポーネントキャリア)までのキャリアアグリゲーションにおいて割り振られた、キャリア当たりYMHz(たとえば、5、10、15、20、100、400MHzなど)までの帯域幅のスペクトルを使用し得る。キャリアは、互いに隣接してもまたはしなくてもよい。キャリアの割振りは、DLおよびULに関して非対称であってよい(たとえば、UL用よりも多数または少数のキャリアがDL用に割り振られてよい)。コンポーネントキャリアは、1次コンポーネントキャリアおよび1つまたは複数の2次コンポーネントキャリアを含んでよい。1次コンポーネントキャリアは1次セル(PCell:Primary Cell)と呼ばれることがあり、2次コンポーネントキャリアは2次セル(SCell:Secondary Cell)と呼ばれることがある。

【0017】

いくつかのUE104は、デバイス間(D2D)通信リンク158を使用して互いに通信し得る。D2D通信リンク158は、DL/UL WWANスペクトルを使用してよい。D2D通信リンク158は、物理サイドリンクブロードキャストチャネル(PSBCH)、物理サイドリンクディスカバリチャネル(PSDCH)、物理サイドリンク共有チャネル(PSSCH)、および物理サイドリンク制御チャネル(PSCCH)など、1つ以上のサイドリンクチャネルを使用してもよい。D2D通信は、たとえば、WiMedia、Bluetooth、ZigBee、米国電気電子技術者協会(IEEE)802.11規格に基づくWi-Fi、LTE、またはNRなど、様々なワイヤレスD2D通信システムを通したものであってよい。

【0018】

ワイヤレス通信システムは、通信リンク154を介して、たとえば5GHz無認可周波数スペクトルなどにおいて、Wi-Fi局(STA)152と通信しているWi-Fiアクセスポイント(AP)150をさらに含んでよい。無認可周波数スペクトルにおいて通信するとき、STA152/AP150は、チャネルが利用可能であるかどうかを決定するために、通信する前にクリアチャネルアセスメント(CCA)を実行し得る。

【0019】

スモールセル102'は、認可および/または無認可周波数スペクトルにおいて動作し得る。無認可周波数スペクトルの中で動作するとき、スモールセル102'は、NRを利用してよく、Wi-Fi AP150によって使用されるのと同じ無認可周波数スペクトル(たとえば、5GHzなど)を使用し得る。無認可周波数スペクトルにおいてNRを利用するスモールセル102'は、アクセスネットワークへのカバレージを増強し、および/またはアクセスネットワークの容量を増大させる場合がある。

【0020】

電磁スペクトルはしばしば、周波数/波長に基づいて、様々なクラス、帯域、チャネルなどへと再分割される。5G NRでは、2つの初期の動作帯域が、周波数範囲の呼称FR1(410MHz～7.125GHz)およびFR2(24.25GHz～52.6GHz)として特定されている。FR1とFR2との間の周波数は、しばしば、ミッドバンド周波数と呼ばれる。FR1の一部分は6GHzよりも高いが、FR1は、しばしば、様々な文書および論文において(互換的に)「サブ6GHz」帯域と呼ばれる。同様の命名法上の問題がFR2に関して生じることがあるが、これは、国際電気通信連合(ITU)によって「ミリ波」帯域として識別される極高周波(EHF)帯域(30GHz～300GHz)とは異なるにもかかわらず、文書および論文において、しばしば、「ミリ波」帯域と(互換的に)呼ばれる。

【0021】

上記の態様を念頭に置いて、別段に明記されていない限り、「サブ6GHz」などの用語が、本明細書で使用される場合、6GHzに満たないことがあり得るか、FR1内であり得るか、またはミッドバンド周波数を含み得る周波数を、広く表す場合があることを理解されたい。さらに、別段に明記されていない限り、「ミリ波」などの用語が、本明細書で使用される場合、ミッドバンド周波数を含み得るか、FR2内であり得るか、またはEHF帯域内であり得る周波数を、広く表してよいことを理解されたい。

【0022】

基地局102は、スモールセル102'であろうとラージセル(たとえば、マクロ基地局)であろうと、eNB、gNodeB(gNB)、もしくは別のタイプの基地局を含んでもよく、および/またはそのように呼ばれてもよい。gNB180などのいくつかの基地局は、UE104と通信して、従来のサブ6GHzスペクトルで、ミリ波周波数、および/または準ミリ波周波数で動作し得る。gNB180がミリ波周波数または準ミリ波周波数の中で動作するとき、gNB180はミリ波基地局と呼ばれることがある。ミリ波基地局180は、経路損失および短い距離を補償するために、UE104と一緒にビームフォーミング182を使用し得る。基地局180およびUE104は各々、ビームフォーミングを促進するために、アンテナ要素、アンテナパネル、および/またはアンテナアレイなどの複数のアンテナを含み得る。

【0023】

基地局180は、1つまたは複数の送信方向182'においてUE104にビームフォーミングされた信号を送信し得る。UE104は、1つまたは複数の受信方向182''において基地局180からビームフォーミングされた信号を受信してもよい。UE104はまた、1つまたは複数の送信方向において基地局180にビームフォーミングされた信号を送信してもよい。基地局180は、1つまたは複数の受信方向においてUE104からビームフォーミングされた信号を受信してもよい。基地局180/UE104は、基地局180/UE104の各々に対する最良の受信方向および送信方向を決定するためにビーム訓練を実行してもよい。基地局180に対する送信方向および受信方向は、同じであっても同じでなくてもよい。UE104に対する送信方向および受信方向は、同じであっても同じでなくてもよい。

【0024】

EPC160は、モビリティ管理エンティティ(MME)162、他のMME164、サービングゲートウェイ166、マルチメディアブロードキャストマルチキャストサービス(MBMS)ゲートウェイ168、ブロードキャストマルチキャストサービスセンター(BM-SC)170、およびパケットデータネットワーク(PDN)ゲートウェイ172を含み得る。MME162は、ホーム加入者サーバ(HSS)174と通信していてもよい。MME162は、UE104とEPC160との間のシグナリングを処理する制御ノードである。一般に、MME162はベアラおよび接続の管理を行う。すべてのユーザインターネットプロトコル(IP)パケットは、サービングゲートウェイ166を通じて転送され、サービングゲートウェイ166自体は、PDNゲートウェイ172に接続される。PDNゲートウェイ172は、UE IPアドレス割振りならびに他の機能を提供する。PDNゲートウェイ172およびBM-SC170は、IPサービス176に接続される。IPサービス176は、インターネット、イントラネット、IPマルチメディアサブシステム(IMS)、PSストリーミングサービス、および/または他のIPサービスを含み得る。BM-SC170は、MBMSユーザサービスプロビジョニングおよび配信のための機能を提供することができる。BM-SC170は、コンテンツプロバイダMBMS送信のためのエントリポイントとして働いてよく、パブリックランドモバイルネットワーク(PLMN:Public Land Mobile Network)内のMBMSベアラサービスを許可および起動するために使用されてよく、MBMS送信をスケジュールするために使用されてよい。MBMSゲートウェイ168は、特定のサービスをブロードキャストするマルチキャストブロードキャスト単一周波数ネットワーク(MBSFN:Multicast Broadcast Single Frequency Network)エリアに属する基地局102にMBMSトラフィックを配信するために使用されてよく、セッション管理(開始/停止)およびeMBMS関連の課金情報を収集することを担当してよい。

【0025】

コアネットワーク190は、アクセスおよびモビリティ管理機能(AMF)192、他のAMF193、セッション管理機能(SMF)194、ならびにユーザプレーン機能(UPF)195を含み得る。AMF192は、統合データ管理(UDM)196と通信していることがある。AMF192は、UE104とコアネットワーク190との間のシグナリングを処理する制御ノードである。一般に、AMF192は、QoSフローおよびセッション管理を提供する。すべてのユーザインターネットプロトコル(IP)パケットは、UPF195を通じて転送される。UPF195は、UEのIPアドレス割振りならびに他の機能を提供する。UPF195は、IPサービス197に接続される。IPサービス197は、インターネット、イントラネット、IPマルチメディアサブシステム(IMS)、パケット交換(PS)ストリーミング(PSS)サービス、および/または他のIPサービスを含み得る。

【0026】

基地局は、gNB、ノードB、eNB、アクセスポイント、トランシーバ基地局、無線基地局、無線トランシーバ、トランシーバ機能、基本サービスセット(BSS)、拡張サービスセット(ESS)、送信受信ポイント(TRP)、もしくは何らかの他の適切な用語を含むことがあり、および/またはそれらとして呼ばれることがある。基地局102は、EPC160またはコアネットワーク190へのアクセスポイントをUE104に提供する。UE104の例は、セルラーフォン、スマートフォン、セッション開始プロトコル(SIP)電話、ラップトップ、携帯情報端末(PDA)、衛星ラジオ、全地球測位システム、マルチメディアデバイス、ビデオデバイス、デジタルオーディオプレーヤ(たとえば、MP3プレーヤ)、カメラ、ゲーム機、タブレット、スマートデバイス、ウェアラブルデバイス、車両、電気メーター、ガスポンプ、大型もしくは小型の調理家電、健康管理デバイス、インプラント、センサー/アクチュエータ、ディスプレイ、または任意の他の類似の機能デバイスを含む。UE104のうちのいくつかは、IoTデバイス(たとえば、パーキングメーター、ガスポンプ、トースター、車両、心臓モニタなど)と呼ばれることがある。UE104は、局、移動局、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、移動加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、または他の何らかの好適な用語で呼ばれることもある。

【0027】

再び図1を参照すると、いくつかの態様では、UE104は、ビデオ通話のための複数のフレームを受信し、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号するように構成された決定コンポーネント198を含み得る。決定コンポーネント198はまた、ビデオ通話の接続が中断されるかどうかを決定するように構成され得、ビデオ通話は複数の復号されたフレームを含む。決定コンポーネント198はまた、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定するように構成され得、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される。決定コンポーネント198はまた、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定するように構成され得る。決定コンポーネント198はまた、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別するように構成され得、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される。決定コンポーネント198はまた、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成するように構成され得る。決定コンポーネント198はまた、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定するように構成され得る。決定コンポーネント198はまた、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせるように構成され得る。決定コンポーネント198はまた、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立するように構成され得る。決定コンポーネント198はまた、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替えるように構成され得る。

【0028】

以下の説明では、5G NRに焦点を当てる場合があるが、本明細書で説明する概念は、LTE、LTE-A、CDMA、GSM、および他のワイヤレス技術など、他の同様の分野に適用可能であり得る。

【0029】

図2Aは、5G NRフレーム構造内の第1のサブフレームの一例を示す図200である。図2Bは、5G NRサブフレーム内のDLチャネルの例を示す図230である。図2Cは、5G NRフレーム構造内の第2のサブフレームの例を示す図250である。図2Dは、5G NRサブフレーム内のULチャネルの例を示す図280である。5G NRフレーム構造は、サブキャリアの特定のセット(キャリアシステム帯域幅)に対してサブキャリアのセット内のサブフレームがDLもしくはULのいずれかに専用である周波数分割複信(FDD)であってよく、または、サブキャリアの特定のセット(キャリアシステム帯域幅)に対してサブキャリアのセット内のサブフレームがDLとULの両方に専用である時分割複信(TDD)であってよい。図2A、図2Cによって提供される例では、5G/NRフレーム構造はTDDであると想定され、サブフレーム4は(大部分がDLを有する)スロットフォーマット28を用いて構成され、ここで、DはDLであり、UはULであり、Fは、DL/ULの間での使用にとってフレキシブルであり、サブフレーム3は(すべてのULを有する)スロットフォーマット1を用いて構成される。サブフレーム3、4は、それぞれ、スロットフォーマット1、28を用いて示されるが、任意の特定のサブフレームが、様々な利用可能なスロットフォーマット0～61のうちのいずれかを用いて構成されてよい。スロットフォーマット0、1は、それぞれ、すべてがDL、ULである。他のスロットフォーマット2～61は、DL、UL、およびフレキシブルなシンボルの混合を含む。UEは、受信されるスロットフォーマットインジケータ(SFI)を通じて、スロットフォーマットを用いて(DL制御情報(DCI)を通じて動的に、または無線リソース制御(RRC)シグナリングを通じて半静的に/静的に)構成される。以下の説明はTDDである5G NRフレーム構造にも当てはまることに留意されたい。

【0030】

他のワイヤレス通信技術は、異なるフレーム構造および/または異なるチャネルを有してよい。フレーム(10ms)は、サイズが等しい10個のサブフレーム(1ms)に分割され得る。各サブフレームは、1つ以上のタイムスロットを含んでよい。サブフレームはまた、7個、4個、または2個のシンボルを含み得る、ミニスロットを含んでよい。各スロットは、スロット構成に応じて7個または14個のシンボルを含んでよい。スロット構成0の場合、各スロットは14個のシンボルを含んでよく、スロット構成1の場合、各スロットは7個のシンボルを含んでよい。DL上のシンボルは、サイクリックプレフィックス(CP)直交周波数分割多重(OFDM)(CP-OFDM)シンボルであってもよい。UL上のシンボルは、CP-OFDMシンボル(高スループットシナリオ用)または離散フーリエ変換(DFT)拡散OFDM(DFT-s-OFDM)シンボル(シングルキャリア周波数分割多元接続(SC-FDMA)シンボルとも呼ばれる)(電力制限シナリオ用であって、単一のストリーム送信に限定される)であってよい。サブフレーム内のスロットの数は、スロット構成およびヌメロロジーに基づく。スロット構成0では、異なるヌメロロジーμ0～4がそれぞれ、サブフレーム当たり1個、2個、4個、8個、および16個のスロットを許容する。スロット構成1では、異なるヌメロロジー0～2がそれぞれ、サブフレーム当たり2個、4個、および8個のスロットを許容する。したがって、スロット構成0およびヌメロロジーμのために、14個のシンボル/スロットおよび2^μ個のスロット/サブフレームがある。サブキャリア間隔およびシンボル長/持続時間は、ヌメロロジーの機能である。サブキャリア間隔は2^μ*15kHzに等しくてよく、ただし、μはヌメロロジー0～4である。したがって、ヌメロロジーμ=0は15kHzのサブキャリア間隔を有し、ヌメロロジーμ=4は240kHzのサブキャリア間隔を有する。シンボル長/持続時間は、サブキャリア間隔と反比例する。図2A～図2Dは、スロット当たり14個のシンボルがあるスロット構成0およびサブフレーム当たり4個のスロットがあるヌメロロジーμ=2の例を与える。スロット持続時間は0.25msであり、サブキャリア間隔は60kHzであり、シンボル持続時間はほぼ16.67μsである。フレームのセット内には、周波数分割多重化される1つまたは複数の異なる帯域幅部分(BWP)(図2B参照)があり得る。各BWPは、特定のヌメロロジーを有し得る。

【0031】

リソースグリッドは、フレーム構造を表すために使用され得る。各タイムスロットは、12個の連続するサブキャリアに及ぶリソースブロック(RB)(物理RB(PRB)とも呼ばれる)を含む。リソースグリッドは複数のリソース要素(RE)に分割される。各REによって搬送されるビット数は、変調方式に依存する。

【0032】

図2Aに示されるように、REのうちのいくつかは、UEのための参照(パイロット)信号(RS)を搬送する。RSは、UEにおけるチャネル推定のために、復調RS(DM-RS)(ある特定の構成のためにRとして示されるが、他のDM-RS構成が可能である)と、チャネル状態情報参照信号(CSI-RS)とを含み得る。RSはまた、ビーム測定RS(BRS)、ビーム改善RS(BRRS)、および位相追跡RS(PT-RS)を含み得る。

【0033】

図2Bは、フレームのサブフレーム内の様々なDLチャネルの一例を示す。物理ダウンリンク制御チャネル(PDCCH)は、1つ以上の制御チャネル要素(CCE)(たとえば、1、2、4、8、または16個のCCE)内でDCIを搬送し、各CCEは6個のREグループ(REG)を含み、各REGはRBのOFDMシンボルの中に12個の連続するREを含む。1つのBWP内のPDCCHは、制御リソースセット(CORESET)と呼ばれ得る。UEは、CORESET上でのPDCCH監視機会の間にPDCCHサーチスペース(たとえば、共通サーチスペース、UE固有サーチスペース)の中のPDCCH候補を監視するように構成され、ここで、PDCCH候補は、異なるDCIフォーマットおよび異なるアグリゲーションレベルを有する。追加BWPが、チャネル帯域幅にわたる、より大きいおよび/またはより低い周波数にあってよい。1次同期信号(PSS)は、フレームの特定のサブフレームのシンボル2内にあってよい。PSSは、サブフレーム/シンボルタイミングおよび物理レイヤ識別情報を判断するためにUE104によって使われる。2次同期信号(SSS)は、フレームの特定のサブフレームのシンボル4内にあってよい。SSSは、物理レイヤセル識別情報グループ番号および無線フレームタイミングを判断するためにUEによって使われる。物理レイヤ識別情報および物理レイヤセル識別情報グループ番号に基づいて、UEは物理セル識別子(PCI)を判断することができる。PCIに基づいて、UEは上述のDM-RSのロケーションを判断することができる。マスタ情報ブロック(MIB)を搬送する物理ブロードキャストチャネル(PBCH)は、PSSおよびSSSと論理的にグループ化されて、同期信号(SS)/PBCHブロック(SSブロック(SSB)とも呼ばれる)を形成し得る。MIBは、システム帯域幅の中のRBの数およびシステムフレーム番号(SFN)を提供する。物理ダウンリンク共有チャネル(PDSCH)は、ユーザデータ、システム情報ブロック(SIB)などのPBCHを通じて送信されないブロードキャストシステム情報、およびページングメッセージを搬送する。

【0034】

図2Cに示されるように、REのうちのいくつかが、基地局におけるチャネル推定のためのDM-RS(1つの特定の構成のためにRとして示されるが、他のDM-RS構成が可能である)を搬送する。UEは、物理アップリンク制御チャネル(PUCCH)用のDM-RS、および物理アップリンク共有チャネル(PUSCH)用のDM-RSを送信し得る。PUSCH DM-RSは、PUSCHの最初の1つまたは2つのシンボルの中で送信され得る。PUCCH DM-RSは、短いPUCCHが送信されるのかそれとも長いPUCCHが送信されるのかに応じて、かつ使用される特定のPUCCHフォーマットに応じて、異なる構成で送信され得る。UEは、サウンディング参照信号(SRS)を送信し得る。SRSは、サブフレームの最後のシンボルにおいて送信され得る。SRSはコム構造を有することがあり、UEはコムのうちの1つでSRSを送信することがある。SRSは、UL上での周波数依存スケジューリングを可能にするために、チャネル品質推定のために基地局によって使用され得る。

【0035】

図2Dは、フレームのサブフレーム内の様々なULチャネルの一例を示す。PUCCHは、一構成では、図示のように位置し得る。PUCCHは、スケジューリング要求、チャネル品質インジケータ(CQI)、プリコーディング行列インジケータ(PMI)、ランクインジケータ(RI)、およびハイブリッド自動再送要求(HARQ)肯定応答(ACK)(HARQ-ACK)情報(ACK/否定ACK(NACK))フィードバックなどのアップリンク制御情報(UCI)を搬送する。PUSCHは、データを搬送し、バッファステータス報告(BSR)、パワーヘッドルーム報告(PHR)、および/またはUCIを搬送するためにさらに使用されることがある。

【0036】

図3は、アクセスネットワークにおいて基地局310がUE350と通信しているブロック図である。DLでは、EPC160からのIPパケットが、コントローラ/プロセッサ375に提供され得る。コントローラ/プロセッサ375は、レイヤ3およびレイヤ2の機能を実装する。レイヤ3は、無線リソース制御(RRC)レイヤを含み、レイヤ2は、サービスデータ適合プロトコル(SDAP)レイヤ、パケットデータコンバージェンスプロトコル(PDCP)レイヤ、無線リンク制御(RLC)レイヤ、および媒体アクセス制御(MAC)レイヤを含む。コントローラ/プロセッサ375は、システム情報(たとえば、MIB、SIB)のブロードキャスティング、RRC接続制御(たとえば、RRC接続ページング、RRC接続確立、RRC接続修正、およびRRC接続解放)、無線アクセス技術(RAT)間モビリティ、ならびにUE測定報告のための測定構成に関連するRRCレイヤ機能性と、ヘッダ圧縮/解凍、セキュリティ(暗号化、解読、完全性保護、完全性検証)、およびハンドオーバサポート機能に関連するPDCPレイヤ機能性と、上位レイヤパケットデータユニット(PDU)の転送、ARQを介した誤り訂正、RLCサービスデータユニット(SDU)の連結、セグメンテーション、およびリアセンブリ、RLCデータPDUの再セグメンテーション、ならびにRLCデータPDUの並べ替えに関連するRLCレイヤ機能性と、論理チャネルとトランスポートチャネルとの間のマッピング、トランスポートブロック(TB)上へのMAC SDUの多重化、TBからのMAC SDUの逆多重化、スケジューリング情報報告、HARQを介した誤り訂正、優先度処理、および論理チャネル優先順位付けに関連するMACレイヤ機能性とを提供する。

【0037】

送信(TX)プロセッサ316および受信(RX)プロセッサ370は、様々な信号処理機能に関連するレイヤ1機能を実施する。物理(PHY)レイヤを含むレイヤ1は、トランスポートチャネル上の誤り検出、トランスポートチャネルの前方誤り訂正(FEC)コーディング/復号、インターリービング、レートマッチング、物理チャネル上へのマッピング、物理チャネルの変調/復調、およびMIMOアンテナ処理を含んでよい。TXプロセッサ316は、様々な変調方式(たとえば、2位相シフトキーイング(BPSK)、4位相シフトキーイング(QPSK)、M位相シフトキーイング(M-PSK)、M相直交振幅変調(M-QAM))に基づく信号コンスタレーションへのマッピングを処理する。コーディングおよび変調されたシンボルは、次いで、並列ストリームに分割され得る。各ストリームは、次いで、OFDMサブキャリアにマッピングされ、時間領域および/または周波数領域において参照信号(たとえば、パイロット)と多重化され、次いで、逆高速フーリエ変換(IFFT)を使用して一緒に合成されて、時間領域OFDMシンボルストリームを搬送する物理チャネルを生成し得る。OFDMストリームは、複数の空間ストリームを生成するために空間的にプリコーディングされる。チャネル推定器374からのチャネル推定値は、コーディングおよび変調方式を決定するために、かつ空間処理のために使用され得る。チャネル推定値は、UE350によって送信された参照信号および/またはチャネル状態フィードバックから導出され得る。各空間ストリームは、次いで、別個の送信機318TXを介して異なるアンテナ320に提供され得る。各送信機318TXは、送信のためにそれぞれの空間ストリームを用いてRFキャリアを変調し得る。

【0038】

UE350において、各受信機354RXは、そのそれぞれのアンテナ352を通じて信号を受信する。各受信機354RXは、RFキャリア上に変調された情報を復元し、その情報を受信(RX)プロセッサ356に提供する。TXプロセッサ368およびRXプロセッサ356は、様々な信号処理機能に関連するレイヤ1機能を実装する。RXプロセッサ356は、UE350に向けられた任意の空間ストリームを復元するために、情報に対して空間処理を実行してもよい。複数の空間ストリームは、UE350に宛てられている場合、RXプロセッサ356によって単一のOFDMシンボルストリームに結合され得る。RXプロセッサ356は、次いで、高速フーリエ変換(FFT)を使用して、OFDMシンボルストリームを時間領域から周波数領域に変換する。周波数領域信号は、OFDM信号の各サブキャリアに対して別々のOFDMシンボルストリームを備える。各サブキャリア上のシンボル、および参照信号は、基地局310によって送信された最も可能性の高い信号コンスタレーションポイントを決定することによって復元および復調される。これらの軟判定は、チャネル推定器358によって算出されたチャネル推定値に基づいてもよい。軟判定は、次いで、復号およびデインターリーブされて、物理チャネル上で基地局310によって当初送信されたデータおよび制御信号を復元する。データおよび制御信号は、次いで、レイヤ3機能およびレイヤ2機能を実施するコントローラ/プロセッサ359に提供される。

【0039】

コントローラ/プロセッサ359は、プログラムコードとデータとを記憶するメモリ360に関連付けられ得る。メモリ360は、コンピュータ可読媒体と呼ばれる場合がある。ULでは、コントローラ/プロセッサ359は、EPC160からのIPパケットを復元するために、トランスポートチャネルと論理チャネルとの間の逆多重化、パケットリアセンブリ、解読、ヘッダ解凍、および制御信号処理を行う。コントローラ/プロセッサ359はまた、HARQ動作をサポートするために、ACKおよび/またはNACKプロトコルを使用する誤り検出に関与する。

【0040】

基地局310によるDL送信に関して説明された機能と同様に、コントローラ/プロセッサ359は、システム情報(たとえば、MIB、SIB)収集、RRC接続、および測定報告と関連付けられるRRCレイヤ機能と、ヘッダ圧縮/解凍およびセキュリティ(暗号化、解読、完全性保護、完全性検証)と関連付けられるPDCPレイヤ機能と、上位レイヤPDUの転送、ARQを介した誤り訂正、RLC SDUの連結、セグメンテーション、およびリアセンブリ、RLCデータPDUの再セグメンテーション、ならびにRLCデータPDUの並べ替えと関連付けられるRLCレイヤ機能と、論理チャネルとトランスポートチャネルとの間のマッピング、TB上へのMAC SDUの多重化、TBからのMAC SDUの逆多重化、スケジューリング情報報告、HARQを通じた誤り訂正、優先度処理、および論理チャネル優先順位付けと関連付けられるMACレイヤ機能とを提供する。

【0041】

基地局310によって送信された参照信号またはフィードバックからチャネル推定器358によって導出されるチャネル推定値は、適切なコーディングおよび変調方式を選択するとともに空間処理を容易にするために、TXプロセッサ368によって使用されてもよい。TXプロセッサ368によって生成された空間ストリームは、別個のトランスミッタ354TXを介して異なるアンテナ352に提供されてもよい。各送信機354TXは、送信のためにそれぞれの空間ストリームでRFキャリアを変調し得る。

【0042】

UL送信は、UE350における受信機機能に関して説明した方式と同様の方式で基地局310において処理される。各受信機318RXは、それぞれのアンテナ320を通じて信号を受信する。各受信機318RXは、RFキャリア上に変調された情報を復元し、その情報をRXプロセッサ370に提供する。

【0043】

コントローラ/プロセッサ375は、プログラムコードとデータとを記憶するメモリ376に関連付けられ得る。メモリ376は、コンピュータ可読媒体と呼ばれる場合がある。ULでは、コントローラ/プロセッサ375は、UE350からのIPパケットを復元するために、トランスポートチャネルと論理チャネルとの間の逆多重化、パケットリアセンブリ、解読、ヘッダ解凍、制御信号処理を行う。コントローラ/プロセッサ375からのIPパケットは、EPC160に提供され得る。コントローラ/プロセッサ375はまた、HARQ動作をサポートするために、ACKおよび/またはNACKプロトコルを使用する誤り検出に関与する。

【0044】

TXプロセッサ368、RXプロセッサ356、およびコントローラ/プロセッサ359のうちの少なくとも1つが、図1の198に関連した態様を実行するように構成され得る。

【0045】

【0046】

本明細書で示されるように、ビデオ通話のいくつかの態様では、通話の中断または接続性の問題によって、通話の1つまたは複数のフレームがドロップすることがある。さらに、複数のデバイスを用いたビデオ通話のいくつかの態様では、たとえばデバイスAなど一方のデバイスのフレームがドロップし、たとえばデバイスBなど他方のデバイスが通話の中断または接続性の問題を被り得る。これに基づいて、ビデオ通話中のビデオ通話の中断および/またはネットワーク接続性の問題に対するソリューションを提供することが有益であり得る。たとえば、1つまたは複数のフレームが別のデバイスからドロップされたとき、あるデバイスにおいてビデオ通話接続を維持することが有益であり得る。したがって、デバイスのいずれかが接続性の問題を経験したとき、両方のデバイスがビデオ通話中にネットワーク接続性を維持することが有益であり得る。

【0047】

本開示の態様は、ビデオ通話中のビデオ通話の中断および/またはネットワーク接続性の問題に対する解決策を提供し得る。たとえば、本開示の態様は、1つまたは複数のフレームが別のデバイスからドロップされたとき、あるデバイスにおいてビデオ通話接続を維持することを助け得る。さらに、本開示の態様は、別のデバイスが接続性の問題を経験したとき、あるデバイスがビデオ通話中にネットワーク接続性を維持することを可能にし得る。

【0048】

ビデオ通話の一例では、ビデオ通話は、たとえばデバイスAおよびデバイスBなどの複数のデバイスを含み得る。ビデオ通話の開始時に、デバイスAのフレームがデバイスBにスムーズに転送され得る。本開示の態様は、顔モデル通話のための人工フレームを生成するために、デバイスBによってすでに受信されているフレームを潜在的に利用し得る。いくつかの事例では、通話のビデオ部分が中断された場合、デバイスAのユーザ、すなわちユーザAと、デバイスBのユーザ、すなわちユーザBの両方がオーディオフィードのみを使用してスムーズな体験を有し得る。本開示の態様はまた、生成的敵対ネットワーク(GAN)またはニューラルネットワーク(NN)を使用することなどによって、1つまたは複数の技法に基づいて顔モデルを構築するために顔合成を利用することができる。

【0049】

ビデオ通話が確立された後、本開示の態様は、デバイスB上に、デバイスAのユーザの顔モデル、すなわちユーザAの顔のモデルを構築し得る。この顔モデルは、ビデオ通話のある持続時間の後に構築され得る。加えて、ある持続時間の後、本開示の態様は、デバイスA上に、デバイスBのユーザ、すなわちユーザBの顔モデルを構築し得る。すなわち、顔モデルを作成する前に、ビデオ通話のある持続時間を確立する必要があり得る。ビデオ通話のこの持続時間は、いくつかの要因、たとえば、特定のプロセッサの計算能力に依存し得、および/または様々なテスト手順に基づいて決定され得る。

【0050】

図4は、例示的な顔モデル生成を示す図400である。図4に示されるように、図400は、ネットワーク410、データレイヤ412、リアルタイムトランスポートプロトコル(RTP)コンポーネント414、ジッタバッファ416、デコーダ418、およびレンダリングコンポーネント480を含む。図4に示されるように、これらのコンポーネントの各々は、たとえばデバイス404またはデバイスBなど受信デバイスの標準ビデオ通話に関与し得る。図400はまた、ハードウェアトリガコンポーネント420(すなわち、適切なフレームを検出するために使用される)、復号されたフレーム430、マルチタスクカスケード畳み込みニューラルネットワーク(MTCNN)モデル432、GANモデル434、および顔モデル生成コンポーネント436を含む。図4に示されるように、前述のコンポーネントの各々は、ビデオモジュールの一部であり得る。図400はまた、(デバイス402とデバイス404との間の)音声会話450、(デバイス402またはデバイスAのための)音声検出コンポーネント452、トーントリガ454、キーワードトリガ456、感情分析460、およびジェネレータ重み462を含む。図4に示されるように、これらのコンポーネントの各々は、音声モジュールの一部であり得る。

【0051】

図4に示されるように、図400は、たとえばデバイス402またはデバイスAなどの送信デバイスとのビデオ通話における、たとえばデバイス404またはデバイスBなどの受信デバイスにおけるパイプラインを含む。図400は、顔モデルが、たとえばデバイス402またはデバイスAなどの送信デバイスとのビデオ通話に基づいて、たとえばデバイス404またはデバイスBなどの受信デバイスにおいて構築され得ることを示す。図4に示されるように、たとえばデバイス404またはデバイスBなどの受信デバイスのためのビデオ通話は、ネットワーク410と、データレイヤ412と、RTPコンポーネント414と、ジッタバッファ416と、デコーダ418と、レンダリングコンポーネント480との間の通信を伴い得る。いくつかの態様では、ハードウェアトリガ420は、適切なフレームを検出し、デコーダ418から適切な復号されたフレーム430を通信し、顔モデル生成コンポーネント436において顔モデルを生成するためにMTCNNモデル432およびGANモデル434を利用し得る。顔モデル生成はまた、デバイスAとデバイスBとの間の音声会話450、デバイスAにおける音声検出452、トーントリガ454、キーワードトリガ456、感情分析460、およびジェネレータ重みを利用し得る。より具体的には、音声検出コンポーネント452およびジェネレータ重み462は、顔モデル生成コンポーネント436において顔モデルを生成するために、GANモデル434によって利用され得る。さらに、顔モデル生成コンポーネント436によって生成された顔モデルは、デバイス404またはデバイスBにおいて顔モデル通話をレンダリングまたは確立するために、レンダリングコンポーネント480によって利用され得る。

【0052】

図4に示されるように、本開示のいくつかの態様は、たとえばハードウェアトリガコンポーネント420などのハードウェアトリガを含み得る。いくつかの事例では、このハードウェアトリガは、適切なまたは許容可能なビデオフレームをモデルに提供し得る。適切なフレームは、パケットロスまたは破損がない受信フレームに対応し得る。加えて、適切なまたは許容可能なフレームは、顔の視認性、受信フレーム中の最適なビットレート、および/またはモデルに送られるフレームの品質を改善するための人工知能(AI)アップスケーリングの使用に基づき得る。

【0053】

さらに、図4に示されるように、本開示の態様は、たとえば感情分析460などの感情分析を含み得る。たとえば、本開示の態様は、生成されたビデオに加えてリアルタイム音声サンプルを利用し得る。さらに、本開示の態様は、ユーザが経験している可能性がある様々な種類の感情に従って顔の表情を修正することができる。いくつかの態様では、感情分析モジュールは、ある感情を出力することができる外挿技法を含むことができ、これは、次いで、ジェネレータに供給され得る。

【0054】

いくつかの事例では、ビデオ通話のための様々なフレームにわたって、ビデオ通話の背景は同じままであり得、したがって、たとえばGANモデル434などのGANモデルは、ユーザの顔情報を与えられ得る。たとえば、マルチタスクカスケードニューラルネットワーク(MTCNN)、たとえば、MTCNNモデル432が、このプロセスに使用され得る。さらに、MTCNNは、顔情報を提供する以外の目的に利用されてもよい。たとえば、本開示の態様は、ユーザの主要な顔の位置または顔のランドマーク、たとえば5つの顔のランドマーク、たとえば目についての2つのランドマーク、口についての2つのランドマーク、および鼻についての1つのランドマークを識別し得る。これらの特徴は、オーディオフィードからの感情トリガに従ってジェネレータの重みを変更するために使用され得る。また、トーントリガは、言語分析に基づき得る。いくつかの事例では、たとえば「おめでとう」、「ため息」などのいくつかのキーワードトリガが、顔モデル通話における顔を制御するように設定され得る。

【0055】

図5は、例示的な顔ランドマーク識別を示す図500である。より具体的には、図5は、顔モデル通話のためのフレーム502内のユーザ510の顔の図500を表示する。図5に示されるように、フレーム502内のユーザ510の顔は、顔モデル通話のための1つまたは複数の人工フレームを生成するために利用され得る。上記で示したように、顔モデル通話のための人工フレームを生成するとき、本開示の態様は、たとえば5つの顔のランドマークなど、ユーザの顔のランドマークの主要な位置を識別し得る。たとえば、本開示の態様は、たとえばランドマーク511および512など、ユーザ510の目についての2つの顔ランドマーク、たとえばランドマーク513など、ユーザ510の鼻についての1つの顔ランドマーク、ならびにランドマーク514および515など、ユーザ510の口についての2つの顔ランドマークを識別することができる。

【0056】

いくつかの態様では、人工フレーム生成プロセスは、複数のニューラルネットワーク、たとえば、生成的ネットワークおよび敵対的ネットワークを利用し得る。これらの複数のタイプのニューラルネットワークは、人工フレームの生成のためのトレーニングプロセスにおいて利用され得る。生成的ネットワークは、順方向伝搬、すなわち、生成および分類を利用することができる。また、識別的または敵対的ネットワークは、逆方向伝播、すなわち、敵対的トレーニングを利用することができる。場合によっては、顔モデルトレーニングプロセスの後、ユーザは、人工フレームと比較して実際のフレームを区別することができないことがある。

【0057】

図6は、例示的な顔モデル生成を示す図600である。より具体的には、図6は、GANまたはニューラルネットワークを利用する、本開示による人工フレーム生成プロセスまたは顔合成プロセスを示す。図6に示されるように、図600は、音声610、復号されたフレーム620、ジェネレータ630、感情重み632、実際のフレーム640、同期弁別器642、生成フレーム650、フレーム弁別器652、およびシーケンス弁別器660を含む。図600は、ジェネレータ630が、音声610、復号されたフレーム620、および感情重み632に基づいて、たとえば生成フレーム650などのフレームを生成し得ることを示す。音声610の音声条件は、実際のフレーム640および生成フレーム650とともに、同期弁別器642によって分析され得る。また、復号されたフレーム620の識別条件は、実際のフレーム640および生成フレーム650とともに、フレーム弁別器652によって分析され得る。シーケンス弁別器660はまた、生成フレーム650および実際のフレーム640を分析し得る。図6に示されるように、音声条件ステップおよび識別条件ステップは、条件付き入力であってもよく、図600における他のステップは、入力であってもよい。

【0058】

一態様では、デバイスAのユーザは、デバイスBのユーザとのビデオ通話を確立し、デバイスAとデバイスBの両方は、最初は良好な接続を有し得る。ある持続時間、たとえば長さ「n」の持続時間の後、本開示の態様は、デバイスB上にデバイスAのユーザのビデオ通話モデルを構築し得る。たとえば、ユーザA、すなわち、デバイスAのユーザの顔モデルが、デバイスB、たとえば、UEまたはスマートフォン上に構築され得る。同様に、ユーザB、すなわち、デバイスBのユーザの顔モデルが、ユーザAのデバイス、たとえば、UEまたはスマートフォン上に構築され得る。ビデオ通信がドロップまたは中断した場合、本開示の態様は、構築された顔モデルとともに他のデバイスからのオーディオフィードを利用することによって、顔モデル通話を実施し得る。たとえば、デバイスAからのビデオ通信がドロップまたは中断した場合、デバイスAからのオーディオフィードをユーザAの構築された顔モデルと組み合わせて利用することによって、デバイスBにおいて顔モデル通話が起動され得る。したがって、デバイスBにおける顔モデル通話は、デバイスBにおいて生成されるユーザAの1つまたは複数の人工フレームと、デバイスAからのオーディオフィードとを含み得る。同様に、デバイスAにおける顔モデル通話は、デバイスAにおいて生成されるユーザBの1つまたは複数の人工フレームと、デバイスBからのオーディオフィードとを含み得る。

【0059】

図7A、図7B、および図7Cは、それぞれ、ワイヤレス通信の方法のフローチャート700、720、および740を表示する。図7Aに示されるように、一例では、702において、デバイスAのユーザとデバイスBのユーザとの間でビデオ通話が確立され得る。704において、ある持続時間、たとえば長さ「n」の持続時間の後、ビデオ通話が中断され得るか、または通話中の1つまたは複数のフレームがドロップされ得る。706において、デバイスAおよびデバイスBにおいて作成された顔モデルは、両方のデバイス、すなわち、デバイスAおよびデバイスBにおける従来のリアルタイムのビデオ通話を置き換え得る。したがって、デバイスAおよびデバイスBは、顔モデル通話を生成するために1つまたは複数の人工フレームと組み合わせるために、他のデバイスからのオーディオフィードを利用し得る。

【0060】

図7Bに示されるように、別の例では、722において、デバイスAのユーザ、すなわちユーザAと、デバイスBのユーザ、すなわちユーザBとの間でビデオ通話が確立され得る。724において、ビデオ通話の長さが比較的短い、すなわち、しきい値持続時間を超えないことが決定され得、ビデオ通話が中断され得るか、または少なくとも1つのフレームがドロップされ得る。726において、顔モデルがしきい値持続時間の前に構築されない場合があるので、音声通話への従来の切り替えが行われる場合がある。この状況では、しきい値持続時間の前に顔モデルが作成されない場合があるので、本開示の態様は、顔モデル通話を実施しない場合があり、したがって、中断されたビデオ通話は、従来の音声通話に移行する場合がある。

【0061】

図7Cに示されるように、別の例では、742において、デバイスAのユーザ、すなわちユーザAと、デバイスBのユーザ、すなわちユーザBとの間で顔モデル通話が確立され得る。顔モデル通話中に、ビデオ接続が中断され得るか、または1つまたは複数のフレームがドロップされ得る。しかしながら、744において、ビデオ接続は、比較的短時間で再確立され得る。746において、ビデオ接続が迅速に再確立されると、本開示の態様は、従来のビデオ通話に切り替えて、顔モデル通話の実施を停止し得る。したがって、通常のビデオ接続が適時に復元される場合、顔モデル通話は必要とされないことがある。

【0062】

本開示の態様は、デバイスに連続通話を導入し、いかなる通話のドロップもなしにビデオ通話を維持する機会をユーザに提供することができる。本開示の態様は、ハードウェアにおいて実装することができ、ハードウェアトリガを使用して、どのフレームが顔モデルの作成に使用されるのに適しているか、または許容可能であるかを識別することができる。これは、人工知能(AI)または機械学習(ML)の任意の標準的な適用よりも高速な方法であり得、これは、どのフレームが顔モデルの作成に適しているか、または許容可能であるかを決定するために、すべてのフレームを通るという追加のオーバーヘッドを伴う。本開示の態様は、連続ビデオ通話のこの機能においてハードウェアを活用することができる。本開示の態様は、許容可能なビデオ通話を再作成するための感情分析モジュールを含み得、これは、標準的なソフトウェアソリューションと比較して高速であり得る。さらに、本開示の態様は、たとえば、ネットワーク接続性が復帰したとき、顔モデル通話とリアルタイムビデオ通話との間の通話切り替え機能を含み得る。

【0063】

いくつかの事例では、本開示の態様は、通話がドロップするのと同じ瞬間に、通話中の顔モデルを置き換えるリアルタイム同期を含み得る。さらに、送信デバイスのモデルは、その特定の通話のために受信デバイス上で生成され得る。したがって、このモデルは、通話の持続時間の間、受信デバイスにおいて一時メモリに記憶され得る。さらに、本開示の態様は、通話の開始時に2つのユーザの顔が存在する場合、2つの別個のモデルを作成することができる。しかしながら、通話が中断された持続時間に第2のユーザが参加した場合、それらのフレームを再作成する方法がない場合があり、したがって、オーディオフィードが第2のユーザのために利用され得る。

【0064】

図8は、ワイヤレスデバイスまたはUE802とワイヤレスデバイスまたはUE804との間の通信を示す図800である。ワイヤレスデバイス802は、UE 104、350、デバイス402、デバイス404、および装置1002に対応し得る。

【0065】

810において、ワイヤレスデバイス802は、たとえばビデオ通話812などビデオ通話のための複数のフレームを受信し、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号し得る。ワイヤレスデバイス802は、UEであり得、1つまたは複数の人工フレームは、UEのローカルメモリに記憶され得る。

【0066】

820において、ワイヤレスデバイス802は、たとえばビデオ通話812などビデオ通話の接続が中断されるかどうかを決定し得、ビデオ通話は複数の復号されたフレームを含む。

【0067】

822において、ワイヤレスデバイス802は、たとえばビデオ通話812などビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定し得、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される。

【0068】

830において、ワイヤレスデバイス802は、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定し得る。いくつかの事例では、1つまたは複数の復号されたフレームの各々は、フレームの顔視認性、フレームのビットレート、またはフレームのパケットロスもしくは破損のうちの少なくとも1つに基づいて、人工フレーム生成に適していると決定され得る。また、フレームの顔視認性、フレームのビットレート、またはフレームのパケットロスもしくは破損のうちの少なくとも1つに対応する情報は、ビデオモジュールまたはビデオファームウェアから受信され得る。

【0069】

840において、ワイヤレスデバイス802は、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別し得、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される。1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークは、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づいて調整され得る。

【0070】

850において、ワイヤレスデバイス802は、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成し得る。1つまたは複数の人工フレームは、1つまたは複数の感情重みに基づいて生成され得る。また、1つまたは複数の感情重みは、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づき得る。

【0071】

860において、ワイヤレスデバイス802は、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定し得る。1つまたは複数の人工フレームは、1つもしくは複数の人工フレームとオーディオフィードとの同期、1つもしくは複数の人工フレームと1つもしくは複数の復号されたフレームとの比較、または1つもしくは複数の人工フレームのシーケンスのうちの少なくとも1つに基づいて適していると決定され得る。1つまたは複数の復号されたフレームとの比較は、1つまたは複数の人工フレームの品質または定義に基づき得る。1つまたは複数の人工フレームのシーケンスは、連続するフレーム間の調整がしきい値未満であることに基づき得る。1つまたは複数の人工フレームは、少なくとも1つのニューラルネットワーク(NN)または少なくとも1つの弁別器によって適していると決定され得る。

【0072】

870において、ワイヤレスデバイス802は、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせ得る。

【0073】

880において、ワイヤレスデバイス802は、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて、たとえば顔モデル通話882などの顔モデル通話を確立し得る。

【0074】

890において、ワイヤレスデバイス802は、ビデオ通話の接続がもはや中断されないとき、たとえば顔モデル通話882などの顔モデル通話から、たとえばビデオ通話892などの従来のビデオ通話に切り替え得る。

【0075】

図9は、ワイヤレス通信の方法のフローチャート900である。方法は、ワイヤレスデバイス、UE、またはUEのコンポーネント(たとえば、UE 104、350、デバイス402/404、装置1002)などの装置によって実行され得る。随意の態様が、破線で示されている。本明細書で説明する方法は、通信シグナリング、リソース利用、および/または電力節約を改善するなど、いくつかの利益を提供することができる。

【0076】

902において、装置は、図4～図8の例に関連して説明したように、ビデオ通話のための複数のフレームを受信し、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号し得る。たとえば、図8の810に記載されているように、ワイヤレスデバイス802は、ビデオ通話のための複数のフレームを受信し、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号し得る。さらに、902は、図10の決定コンポーネント1040によって実行され得る。ワイヤレスデバイスは、UEであり得、1つまたは複数の人工フレームは、UEのローカルメモリに記憶される。

【0077】

904において、装置は、図4～図8の例に関連して説明したように、ビデオ通話の接続が中断されるかどうかを決定し得、ビデオ通話は複数の復号されたフレームを含む。たとえば、図8の820に記載されているように、ワイヤレスデバイス802は、ビデオ通話の接続が中断されるかどうかを決定し得、ビデオ通話は複数の復号されたフレームを含む。さらに、904は、図10の決定コンポーネント1040によって実行され得る。

【0078】

906において、装置は、図4～図8の例に関連して説明したように、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定し得、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される。たとえば、図8の822に記載されているように、ワイヤレスデバイス802は、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定し得、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される。さらに、906は、図10の決定コンポーネント1040によって実行され得る。

【0079】

908において、装置は、図4～図8の例に関連して説明したように、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定し得る。たとえば、図8の830に記載されているように、ワイヤレスデバイス802は、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定し得る。さらに、908は、図10の決定コンポーネント1040によって実行され得る。いくつかの事例では、1つまたは複数の復号されたフレームの各々は、フレームの顔視認性、フレームのビットレート、またはフレームのパケットロスもしくは破損のうちの少なくとも1つに基づいて、人工フレーム生成に適していると決定され得る。また、フレームの顔視認性、フレームのビットレート、またはフレームのパケットロスもしくは破損のうちの少なくとも1つに対応する情報は、ビデオモジュールまたはビデオファームウェアから受信され得る。

【0080】

910において、装置は、図4～図8の例に関連して説明したように、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別し得、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される。たとえば、図8の840に記載されているように、ワイヤレスデバイス802は、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別し得、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される。さらに、910は、図10の決定コンポーネント1040によって実行され得る。1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークは、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づいて調整され得る。

【0081】

912において、装置は、図4～図8の例に関連して説明したように、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成し得る。たとえば、図8の850に記載されているように、ワイヤレスデバイス802は、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成し得る。さらに、912は、図10の決定コンポーネント1040によって実行され得る。1つまたは複数の人工フレームは、1つまたは複数の感情重みに基づいて生成され得る。また、1つまたは複数の感情重みは、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づき得る。

【0082】

914において、装置は、図4～図8の例に関連して説明したように、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定し得る。たとえば、図8の860に記載されているように、ワイヤレスデバイス802は、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定し得る。さらに、914は、図10の決定コンポーネント1040によって実行され得る。1つまたは複数の人工フレームは、1つもしくは複数の人工フレームとオーディオフィードとの同期、1つもしくは複数の人工フレームと1つもしくは複数の復号されたフレームとの比較、または1つもしくは複数の人工フレームのシーケンスのうちの少なくとも1つに基づいて適していると決定され得る。1つまたは複数の復号されたフレームとの比較は、1つまたは複数の人工フレームの品質または定義に基づき得る。1つまたは複数の人工フレームのシーケンスは、連続するフレーム間の調整がしきい値未満であることに基づき得る。1つまたは複数の人工フレームは、少なくとも1つのニューラルネットワーク(NN)または少なくとも1つの弁別器によって適していると決定され得る。

【0083】

916において、装置は、図4～図8の例に関連して説明したように、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせ得る。たとえば、図8の870に記載されているように、ワイヤレスデバイス802は、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせ得る。さらに、916は、図10の決定コンポーネント1040によって実行され得る。

【0084】

918において、装置は、図4～図8の例に関連して説明したように、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立し得る。たとえば、図8の880に記載されているように、ワイヤレスデバイス802は、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立し得る。さらに、918は、図10の決定コンポーネント1040によって実行され得る。

【0085】

920において、装置は、図4～図8の例に関連して説明したように、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替え得る。たとえば、図8の890に記載されているように、ワイヤレスデバイス802は、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替え得る。さらに、920は、図10の決定コンポーネント1040によって実行され得る。

【0086】

図10は、装置1002のハードウェア実装形態の例を示す図1000である。装置1002は、UEであり、セルラーRFトランシーバ1022および1つまたは複数の加入者アイデンティティモジュール(SIM)カード1020に結合されたセルラーベースバンドプロセッサ1004(モデムとも呼ばれる)と、セキュアデジタル(SD)カード1008およびスクリーン1010に結合されたアプリケーションプロセッサ1006と、Bluetoothモジュール1012と、ワイヤレスローカルエリアネットワーク(WLAN)モジュール1014と、全地球測位システム(GPS)モジュール1016と、電源1018とを含む。セルラーベースバンドプロセッサ1004は、セルラーRFトランシーバ1022を通して、UE104および/またはBS102/180と通信する。セルラーベースバンドプロセッサ1004は、コンピュータ可読媒体/メモリを含み得る。コンピュータ可読媒体/メモリは非一時的であり得る。セルラーベースバンドプロセッサ1004は、コンピュータ可読媒体/メモリ上に記憶されたソフトウェアの実行を含む、一般的な処理を担当する。ソフトウェアは、セルラーベースバンドプロセッサ1004によって実行されると、セルラーベースバンドプロセッサ1004に、上に記載した様々な機能を実施させる。コンピュータ可読媒体/メモリは、ソフトウェアを実行するとき、セルラーベースバンドプロセッサ1004によって操作されるデータを記憶するために使用されてもよい。セルラーベースバンドプロセッサ1004は、受信コンポーネント1030、通信マネージャ1032、および送信コンポーネント1034をさらに含む。通信マネージャ1032は、1つまたは複数の図示されるコンポーネントを含む。通信マネージャ1032内のコンポーネントは、コンピュータ可読媒体/メモリに格納され、かつ/またはセルラーベースバンドプロセッサ1004内のハードウェアとして構成されてよい。セルラーベースバンドプロセッサ1004は、UE350のコンポーネントであってよく、メモリ360ならびに/またはTXプロセッサ368、RXプロセッサ356、およびコントローラ/プロセッサ359のうちの少なくとも1つを含み得る。一構成では、装置1002は、モデムチップであってよく、ベースバンドプロセッサ1004だけを含めばよく、別の構成では、装置1002は、UE全体(たとえば、図3の350参照)であってよく、装置1002の前述の追加モジュールを含み得る。

【0087】

通信マネージャ1032は、たとえば、図9の902に関連して説明したように、ビデオ通話のための複数のフレームを受信し、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号するように構成され得る決定コンポーネント1040を含む。決定コンポーネント1040はまた、たとえば、図9の904に関連して説明したように、ビデオ通話の接続が中断されるかどうかを決定するように構成され得、ビデオ通話は複数の復号されたフレームを含む。決定コンポーネント1040はまた、たとえば、図9の906に関連して説明したように、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定するように構成され得、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される。決定コンポーネント1040はまた、たとえば、図9の908に関連して説明したように、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定するように構成され得る。決定コンポーネント1040はまた、たとえば、図9の910に関連して説明したように、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別するように構成され得、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される。決定コンポーネント1040はまた、たとえば、図9の912に関連して説明したように、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成するように構成され得る。決定コンポーネント1040はまた、たとえば、図9の914に関連して説明したように、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定するように構成され得る。決定コンポーネント1040はまた、たとえば、図9の916に関連して説明したように、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせるように構成され得る。決定コンポーネント1040はまた、たとえば、図9の918に関連して説明したように、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立するように構成され得る。決定コンポーネント1040はまた、たとえば、図9の920に関連して説明したように、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替えるように構成され得る。

【0088】

装置は、図8および図9の前述のフローチャートにおけるアルゴリズムのブロックの各々を実行する追加のコンポーネントを含み得る。したがって、図8および図9の前述のフローチャートにおける各ブロックは、コンポーネントによって実行され得、装置は、それらのコンポーネントのうちの1つまたは複数を含み得る。コンポーネントは、述べられたプロセス/アルゴリズムを遂行するように具体的に構成された1つもしくは複数のハードウェアコンポーネントであるか、述べられたプロセス/アルゴリズムを実施するように構成されたプロセッサによって実装されるか、プロセッサによる実装のためにコンピュータ可読媒体内に記憶されるか、またはそれらの何らかの組合せであってよい。

【0089】

一構成において、装置1002、および特にセルラーベースバンドプロセッサ1004は、ビデオ通話のための複数のフレームを受信するための手段と、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号するための手段と、ビデオ通話の接続が中断されるかどうかを決定するための手段であり、ビデオ通話が複数の復号されたフレームを含む、決定するための手段と、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定するための手段であり、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される、決定するための手段と、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定するための手段と、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別するための手段であり、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される、識別するための手段と、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成するための手段と、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定するための手段と、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせるための手段と、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立するための手段と、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替えるための手段とを含む。上述の手段は、上述の手段によって列挙された機能を実施するように構成された、装置1002の上述のコンポーネントのうちの1つまたは複数であり得る。上記で説明したように、装置1002は、TXプロセッサ368と、RXプロセッサ356と、コントローラ/プロセッサ359とを含み得る。したがって、一構成では、上述の手段は、上述の手段によって列挙された機能を実施するように構成されたTXプロセッサ368、RXプロセッサ356、およびコントローラ/プロセッサ359であってよい。

【0090】

開示するプロセス/フローチャートにおけるブロックの特定の順序または階層が例示的な手法の例示であることが理解される。設計選好に基づいて、プロセス/フローチャートにおけるブロックの特定の順序または階層が並べ替えられてよいことが理解される。さらに、いくつかのブロックが組み合わせられてよく、または省略されてもよい。添付の方法請求項は、様々なブロックの要素を例示的な順序で提示しており、提示された特定の順序または階層に限定されるものでない。

【0091】

上記の説明は、本明細書で説明した様々な態様を任意の当業者が実践することを可能にするように提供される。これらの態様に対する様々な修正は当業者には容易に明らかであり、本明細書で定義する一般原理は他の態様に適用され得る。したがって、特許請求の範囲は、本明細書に示される態様に限定することは意図されず、クレーム文言に矛盾しない最大の範囲を与えられるべきであり、単数形での要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、「1つまたは複数の」を意味するものである。「場合(if)」、「とき(when)」、および「間(while)」などの用語は、即時的時間関係または反応を含意するのではなく、「という条件の下で」を意味するように解釈されるべきである。つまり、これらのフレーズ、たとえば、「とき(when)」は、アクションに応答するか、またはアクションの出現中の即時的アクションを含意するのではなく、条件が満たされた場合に、ただしアクションが起こるための特定の、または即時的な時間制約を要さずにアクションが起こることを単に含意する。「例示的」という語は、「例、事例、または例示として機能すること」を意味するように本明細書で使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきでない。別段に明記されていない限り、「いくつかの」という用語は1つまたは複数を指す。「A、B、またはCのうちの少なくとも1つ」、「A、B、またはCのうちの1つまたは複数」、「A、B、およびCのうちの少なくとも1つ」、「A、B、およびCのうちの1つまたは複数」、「A、B、C、またはそれらの任意の組合せ」などの組合せは、A、B、および/またはCの任意の組合せを含み、複数のA、複数のB、または複数のCを含み得る。具体的には、「A、B、またはCのうちの少なくとも1つ」、「A、B、またはCのうちの1つまたは複数」、「A、B、およびCのうちの少なくとも1つ」、「A、B、およびCのうちの1つまたは複数」、「A、B、C、またはそれらの任意の組合せ」などの組合せは、Aのみ、Bのみ、Cのみ、AおよびB、AおよびC、BおよびC、またはAおよびBおよびCであってもよく、任意のそのような組合せは、A、B、またはCのうちの1つまたは複数のメンバーを含んでもよい。当業者に知られているか、または後に知られることになる、本開示全体を通じて説明された様々な態様の要素に対するすべての構造的および機能的均等物が、参照により本明細書に明確に組み込まれ、特許請求の範囲によって包含されることが意図される。さらに、本明細書で開示されたものは、そのような開示が特許請求の範囲に明示的に列挙されているかどうかにかかわらず、公に供されるものではない。「モジュール」、「機構」、「要素」、「デバイス」などの語は、「手段」という語の代用ではないことがある。したがって、いかなるクレーム要素も、その要素が「のための手段」という語句を使用して明確に列挙されていない限り、ミーンズプラスファンクションとして解釈されるべきではない。

【0092】

以下の態様は、例示的なものにすぎず、限定なしで、本明細書に記載する他の態様または教示と組み合わされてもよい。

【0093】

態様1は、ワイヤレスデバイスのワイヤレス通信の方法である。方法は、ビデオ通話の接続が中断されるかどうかを決定するステップであり、ビデオ通話が複数の復号されたフレームを含む、決定するステップと、ビデオ通話の接続が中断された場合、複数の復号されたフレームのうちの1つまたは複数の復号されたフレームが人工フレーム生成に適しているかどうかを決定するステップと、1つまたは複数の復号されたフレームが適している場合、1つまたは複数の復号されたフレームと、ビデオ通話の送信デバイスからのオーディオフィードとに基づいて、1つまたは複数の人工フレームを生成するステップと、1つまたは複数の人工フレームを生成すると、1つまたは複数の人工フレームが顔モデル通話に適しているかどうかを決定するステップと、1つまたは複数の人工フレームが適している場合、1つまたは複数の人工フレームと送信デバイスからのオーディオフィードとの組合せに基づいて顔モデル通話を確立するステップとを含む。

【0094】

態様2は、態様1に記載の方法であって、ビデオ通話の接続が中断された場合、複数のフレームのしきい値量が受信されたかどうかを決定するステップであり、複数のフレームのしきい値量が受信されたかどうかに基づいて、1つまたは複数の復号されたフレームが適していると決定される、決定するステップをさらに含む方法である。

【0095】

態様3は、態様1および2のいずれかに記載の方法であって、1つまたは複数の復号されたフレームが人工フレーム生成に適している場合、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークを識別するステップであり、1つまたは複数の人工フレームの各々が、1つまたは複数の顔ランドマークに基づいて生成される、識別するステップをさらに含む方法である。

【0096】

態様4は、態様1から3のいずれかに記載の方法であって、1つまたは複数の復号されたフレームの各々における1つまたは複数の顔ランドマークが、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づいて調整される、方法である。

【0097】

態様5は、態様1から4のいずれかに記載の方法であって、ビデオ通話の接続がもはや中断されないとき、顔モデル通話から従来のビデオ通話に切り替えるステップをさらに含む方法である。

【0098】

態様6は、態様1から5のいずれかに記載の方法であって、1つもしくは複数の人工フレームが、1つもしくは複数の人工フレームとオーディオフィードとの同期、1つもしくは複数の人工フレームと1つもしくは複数の復号されたフレームとの比較、または1つもしくは複数の人工フレームのシーケンスのうちの少なくとも1つに基づいて適していると決定される、方法である。

【0099】

態様7は、態様1から6のいずれかに記載の方法であって、1つまたは複数の復号されたフレームとの比較が、1つまたは複数の人工フレームの品質または定義に基づく、方法である。

【0100】

態様8は、態様1から7のいずれかに記載の方法であって、1つまたは複数の人工フレームのシーケンスが、連続するフレーム間の調整がしきい値未満であることに基づく、方法である。

【0101】

態様9は、態様1から8のいずれかに記載の方法であって、1つまたは複数の人工フレームが、1つまたは複数の感情重みに基づいて生成される、方法である。

【0102】

態様10は、態様1から9のいずれかに記載の方法であって、1つもしくは複数の感情重みが、1つもしくは複数のトーントリガまたは1つもしくは複数のキーワードトリガのうちの少なくとも1つに基づく、方法である。

【0103】

態様11は、態様1から10のいずれかに記載の方法であって、1つまたは複数の人工フレームが適していると決定すると、1つまたは複数の人工フレームを送信デバイスのオーディオフィードと組み合わせるステップをさらに含む方法である。

【0104】

態様12は、態様1から11のいずれかに記載の方法であって、1つまたは複数の復号されたフレームの各々が、フレームの顔視認性、フレームのビットレート、またはフレームのパケットロスもしくは破損のうちの少なくとも1つに基づいて、人工フレーム生成に適していると決定される、方法である。

【0105】

態様13は、態様1から12のいずれかに記載の方法であって、フレームの顔視認性、フレームのビットレート、またはフレームのパケットロスもしくは破損のうちの少なくとも1つに対応する情報が、ビデオモジュールまたはビデオファームウェアから受信される、方法である。

【0106】

態様14は、態様1から13のいずれかに記載の方法であって、ビデオ通話のための複数のフレームを受信するステップと、複数のフレームが複数の復号されたフレームに対応するように、ビデオ通話のための複数のフレームの各々を復号するステップとをさらに含む方法である。

【0107】

態様15は、態様1から14のいずれかに記載の方法であって、ワイヤレスデバイスが、ユーザ機器(UE)であり、1つまたは複数の人工フレームが、UEのローカルメモリに記憶される、方法である。

【0108】

態様16は、態様1から15のいずれかに記載の方法であって、1つまたは複数の人工フレームが、少なくとも1つのニューラルネットワーク(NN)または少なくとも1つの弁別器によって適していると決定される、方法である。

【0109】

態様17は、メモリに結合され、態様1から16のいずれかに記載の方法を実装するように構成された少なくとも1つのプロセッサを含む、ワイヤレス通信のための装置である。

【0110】

態様18は、態様1から16のいずれかに記載の方法を実装するための手段を含む、ワイヤレス通信のための装置である。

【0111】

態様19は、コンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、コードが、プロセッサによって実行されると、プロセッサに態様1から16のいずれかに記載の方法を実装させる、コンピュータ可読媒体である。

【符号の説明】

【0112】

100 アクセスネットワーク
102 基地局
102' スモールセル
104 ユーザ機器(UE)
110 地理的カバレッジエリア
110' カバレージエリア
120 通信リンク
132 第1のバックホールリンク
134 第3のバックホールリンク
150 Wi-Fiアクセスポイント(AP)
152 Wi-Fi局(STA)
154 通信リンク
158 デバイス間(D2D)通信リンク
160 発展型パケットコア(EPC)
162 モビリティ管理エンティティ(MME)
164 他のMME
166 サービングゲートウェイ
168 マルチメディアブロードキャストマルチキャストサービス(MBMS)ゲートウェイ
170 ブロードキャストマルチキャストサービスセンター(BM-SC)
172 パケットデータネットワーク(PDN)ゲートウェイ
174 ホーム加入者サーバ(HSS)
176 IPサービス
180 基地局
182 ビームフォーミング
182' 送信方向
182'' 受信方向
184 第2のバックホールリンク
190 コアネットワーク
192 アクセスおよびモビリティ管理機能(AMF)
193 他のAMF
194 セッション管理機能(SMF)
195 ユーザプレーン機能(UPF)
196 統合データ管理(UDM)
197 IPサービス
198 決定コンポーネント
310 基地局
316 送信(TX)プロセッサ
318 送信機
318 受信機
320 アンテナ
350 UE
352 アンテナ
354 受信機
354 トランスミッタ
354 送信機
356 受信(RX)プロセッサ
358 チャネル推定器
359 コントローラ/プロセッサ
360 メモリ
368 TXプロセッサ
370 受信(RX)プロセッサ
374 チャネル推定器
375 コントローラ/プロセッサ
376 メモリ
402 デバイス
404 デバイス
410 ネットワーク
412 データレイヤ
414 リアルタイムトランスポートプロトコル(RTP)コンポーネント
416 ジッタバッファ
418 デコーダ
420 ハードウェアトリガコンポーネント
430 復号されたフレーム
432 マルチタスクカスケード畳み込みニューラルネットワーク(MTCNN)モデル
434 GANモデル
436 顔モデル生成コンポーネント
450 音声会話
452 音声検出コンポーネント
454 トーントリガ
456 キーワードトリガ
460 感情分析
462 ジェネレータ重み
480 レンダリングコンポーネント
510 ユーザ
502 フレーム
511 ランドマーク
512 ランドマーク
513 ランドマーク
514 ランドマーク
515 ランドマーク
610 音声
620 復号されたフレーム
630 ジェネレータ
632 感情重み
640 実際のフレーム
642 同期弁別器
650 生成フレーム
652 フレーム弁別器
660 シーケンス弁別器
802 ワイヤレスデバイス
804 ワイヤレスデバイス
812 ビデオ通話
882 顔モデル通話
1002 装置
1004 セルラーベースバンドプロセッサ
1006 アプリケーションプロセッサ
1008 セキュアデジタル(SD)カード
1010 スクリーン
1012 Bluetoothモジュール
1014 ワイヤレスローカルエリアネットワーク(WLAN)モジュール
1016 全地球測位システム(GPS)モジュール
1018 電源
1020 加入者アイデンティティモジュール(SIM)カード
1022 セルラーRFトランシーバ
1030 受信コンポーネント
1032 通信マネージャ
1034 送信コンポーネント
1040 決定コンポーネント

【図1】