特表 2023-506364 メッセージングプラットフォーム上のオーディオメッセージングインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-16

(54)【発明の名称】メッセージングプラットフォーム上のオーディオメッセージングインターフェース

(51)【国際特許分類】

   H04N 21/854 20110101AFI20230209BHJP

   H04N 21/437 20110101ALI20230209BHJP

   G11B 20/10 20060101ALI20230209BHJP

   G11B 27/00 20060101ALI20230209BHJP

   G11B 27/02 20060101ALI20230209BHJP

   G10L 19/00 20130101ALI20230209BHJP

   G06F 3/0484 20220101ALI20230209BHJP

   H04L 51/10 20220101ALI20230209BHJP

【ＦＩ】

H04N21/854

H04N21/437

G11B20/10 301Z

G11B27/00 A

G11B27/02 H

G10L19/00 312F

G06F3/0484

H04L51/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022522998

(86)(22)【出願日】2021-06-16

(85)【翻訳文提出日】2022-06-14

(86)【国際出願番号】 US2021037707

(87)【国際公開番号】W WO2021257750

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】16/904,526

(32)【優先日】2020-06-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

２．ＪＡＶＡ

(71)【出願人】

【識別番号】515202036

【氏名又は名称】ツイッター インコーポレイテッド

【氏名又は名称原語表記】Ｔｗｉｔｔｅｒ， Ｉｎｃ．

【住所又は居所原語表記】１３５５ Ｍａｒｋｅｔ Ｓｔｒｅｅｔ， Ｓｕｉｔｅ ９００， Ｓａｎ Ｆｒａｎｃｉｓｃｏ ＣＡ ９４１０３ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】リチャード・プロム

(72)【発明者】

【氏名】リード・マーティン

(72)【発明者】

【氏名】マックス・ローズ

【テーマコード（参考）】

5C164

5D044

5D110

5E555

【Ｆターム（参考）】

5C164FA06

5C164MC01P

5C164UA41S

5C164UB26P

5D044AB05

5D044AB07

5D044DE17

5D044DE22

5D110AA27

5D110DA04

5D110DA11

5D110FA02

5D110FA05

5E555AA09

5E555AA68

5E555BA02

5E555BA03

5E555BA05

5E555BA06

5E555BA46

5E555BB02

5E555BB03

5E555BB05

5E555BB06

5E555BC18

5E555BD01

5E555CA02

5E555CA12

5E555CA47

5E555CB02

5E555CB12

5E555CB33

5E555CC01

5E555DB51

5E555DB53

5E555DB56

5E555DC09

5E555DC13

5E555DC84

5E555DD06

5E555EA14

5E555EA23

5E555FA00

(57)【要約】

メッセージングプラットフォームに対するオーディオメッセージングインターフェースのための、コンピュータ記憶媒体上で符号化されたコンピュータプログラムを含む、方法、システム、および装置。方法のうちの1つは、第1のユーザデバイス上の第1のクライアントによって、オーディオメッセージを記録するための要求を受信するステップであって、第1のクライアントが、プラットフォーム上のユーザアカウントにログインされた第1のユーザデバイスを使用するユーザ用のプラットフォームのためのユーザインターフェースを提供するように構成される、受信するステップと、第1のユーザデバイスのマイクロフォンを通してオーディオを記録するステップと、(i)ビデオファイルのオーディオ部分として、記録されたオーディオと、ビデオファイルのビデオ部分として、プログラム的に生成された最小ビデオコンテンツとを含むビデオファイルを生成し、(ii)ビデオファイルをプラットフォームメッセージ内に含めることによって、プラットフォームメッセージを生成するステップと、第1のクライアントによって、ポスティング要求に応じて、プラットフォームメッセージをプラットフォームにポスティングするステップとを含む。

【特許請求の範囲】

【請求項1】

ユーザデバイス上で実行しているクライアントによって、ソーシャルメッセージングプラットフォームに対するオーディオメッセージを記録するための要求を受信するステップであって、前記クライアントが、前記ユーザデバイス上で実行しているソフトウェアであり、前記クライアントが、前記プラットフォーム上のユーザアカウントにログインされた前記ユーザデバイスを使用するユーザ用の前記プラットフォームのためのユーザインターフェースを提供するように構成され、前記要求が、前記ユーザインターフェースを通して受信される、受信するステップと、
前記クライアントによって、前記要求に応答して、前記ユーザデバイスのマイクロフォンを通して受信されたオーディオを記録するステップと、
(i)ビデオファイルのオーディオ部分として、前記記録されたオーディオと、前記ビデオファイルのビデオ部分として、プログラム的に生成された最小ビデオコンテンツとを含む、前記ビデオファイルを生成し、(ii)前記ビデオファイルを前記プラットフォームメッセージ内に含めることによって、プラットフォームメッセージを生成するステップと、
前記クライアントによって、前記クライアントによって受信されたポスティング要求に応じて、前記プラットフォームメッセージを前記プラットフォームにポスティングするステップと
を含む、方法。

【請求項2】

前記最小ビデオコンテンツが、前記オーディオ記録の持続時間内の移動波形の外観を提示し、前記方法が、
前記クライアントによって、前記オーディオ記録の特定の時点において効果音を挿入するための要求を受信するステップと、
前記クライアントによって、効果音に対応するビジュアルマーカーの選択、および前記記録されたオーディオ内に前記効果音をいつ含めるかを示す時間入力を受信するステップであって、前記ビジュアルマーカーが、前記ユーザインターフェース上に表示された1つまたは複数のビジュアルマーカーの中から選択される、受信するステップと、
前記ビジュアルマーカーの前記選択および前記時間入力に応じて、
前記記録されたオーディオ内で前記受信された時間入力において前記効果音を再生するために、前記記録されたオーディオを修正するステップと、
前記時間入力に対応する位置において前記ビジュアルマーカーを前記移動波形上に表示するために、前記最小ビデオコンテンツを修正するステップと
を含む、請求項1に記載の方法。

【請求項3】

前記記録されたオーディオを修正するステップが、
前記受信された時間入力において前記効果音を前記記録されたオーディオ内に挿入するステップ、または
前記受信された時間入力において前記記録されたオーディオ上に前記効果音をオーバーレイするステップであって、前記オーディオ記録が、前記受信された時間入力において再生されるとき、前記受信された時間入力と前記効果音の両方を含むとき、オーバーレイするステップと
を含む、請求項2に記載の方法。

【請求項4】

前記最小ビデオコンテンツが、不変画像、モノクローム画像、または静的背景に対する波形のループであり、前記波形が、前記記録されたオーディオの少なくとも一部分の視覚的表現である、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記ビデオファイルがMPEG-4ファイルである、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記動作が、
音声テキスト要求を受信するステップと、
前記音声テキスト要求に応じて、
前記記録されたオーディオ内の音声を検出するステップと、
前記検出された音声に対応するテキストを生成するステップと、
前記検出された音声に対応する、前記生成されたテキストを表示するステップと
をさらに含み、
前記プラットフォームメッセージを生成するステップが、検索のために前記プラットフォームによって前記プラットフォームメッセージに索引付けする際に使用するために、前記生成されたテキストを前記プラットフォームメッセージに追加するステップを含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

クライアントがユーザデバイスによって実行されると、前記クライアントに請求項1から6のいずれか一項に記載の動作を実行させるように動作可能である前記クライアントの命令が記憶されたユーザデバイス。

【請求項8】

ユーザデバイスによって実行されると、クライアントに、請求項1から6のいずれか一項に記載の動作を実行させる、前記クライアントの命令で符号化された、1つまたは複数の非一時的コンピュータ可読記憶媒体。

【請求項9】

ユーザデバイス上で実行しているクライアントによって、プラットフォームメッセージをソーシャルメッセージングプラットフォームから受信するステップであって、前記プラットフォームメッセージが、ビデオファイルを含み、前記ビデオファイルが、ビデオ部分およびオーディオ部分を有し、前記クライアントが、前記プラットフォーム上のユーザアカウントにログインされた前記ユーザデバイスを使用するユーザ用の前記プラットフォームのためのユーザインターフェースを提供するように構成される、受信するステップと、
前記ビデオファイルの前記ビデオ部分が、プログラム的に生成されている最小ビデオコンテンツを含むと決定するステップと、それに応じて、
第2のビデオコンテンツを取得するステップであって、前記第2のビデオコンテンツが、前記最小ビデオコンテンツとは異なる、取得するステップと、
前記プラットフォームメッセージの前記ビデオファイルの前記オーディオ部分を再生しながら、前記第2のビデオコンテンツを前記ユーザデバイスのディスプレイ上に表示するステップと
を含む、方法。

【請求項10】

前記第2のビデオコンテンツを取得するステップが、前記クライアントによって、前記第2のビデオコンテンツを生成するステップを含む、請求項9に記載の方法。

【請求項11】

前記ビデオファイルの前記ビデオ部分が前記最小ビデオコンテンツを含むと決定するステップが、
前記ビデオファイルの前記ビデオ部分を指定するデータの署名がプログラム的に生成された最小ビデオコンテンツに対応するデータのあらかじめ決定された署名にマッチすると決定するステップ
を含む、請求項9または10に記載の方法。

【請求項12】

1つまたは複数のコンピュータと、1つまたは複数の記憶デバイスとを備え、前記1つまたは複数の記憶デバイスが、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに請求項9から11のいずれか一項に記載の動作を実行させるように動作可能である命令を記憶した
システム。

【請求項13】

クライアントの命令で符号化された、1つまたは複数の非一時的コンピュータ可読記憶媒体であって、前記命令が、ユーザデバイスによって実行されると、前記クライアントに請求項9から11のいずれか一項に記載の動作を実行させる、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、オーディオビジュアルコンテンツを生成し、オンラインソーシャルメッセージングプラットフォーム上に表示することに関する。

【背景技術】

【0002】

ソーシャルメッセージングプラットフォームおよびネットワーク接続されたパーソナルコンピューティングデバイスは、ユーザがコンテンツを作成し、複数のデバイスにわたってリアルタイムで共有することを可能にする。

【0003】

スマートフォンおよびタブレットなど、高度なモバイルコンピューティングデバイスは、人々、会社、および他のエンティティが、オンラインソーシャルネットワーキングメッセージングプラットフォームおよびアプリケーションを使用することを容易かつ好都合にする。人気のあるソーシャルメッセージングプラットフォームは、概して、ユーザが、同期的におよび非同期的に、の両方で、メッセージを起草し、他のユーザにポスティングするための機能性を提供する。他の一般的な特徴は、オーサリングユーザによる特定の指定なしに、プラットフォームの1人または複数の識別された他のユーザに見える、またはプラットフォームのあらゆるユーザに公的にすら見える、メッセージをポスティングするための能力を含む。

【発明の概要】

【課題を解決するための手段】

【0004】

本明細書は、オンラインソーシャルメッセージングプラットフォームへのオーディオビジュアルコンテンツの記録、編集、およびポスティングを円滑にするユーザインターフェースに関する技術について説明する。これらの技術は、概して、オーディオメッセージ用のオーディオを記録するためのユーザデバイスによる要求を受信することを必要とする。オーディオメッセージは、サウンドトラックを有するビデオを含めて、オーディオコンテンツを含むオンラインソーシャルメッセージングプラットフォームのメッセージである。その要求に応じて、ユーザデバイスは、ユーザデバイス上のマイクロフォンによってオーディオを記録する。記録が完了した後、ユーザデバイスは、記録されたオーディオを備えたオーディオメッセージを自動的に生成し、オーディオメッセージをプラットフォームにポスティングする。

【0005】

ユーザデバイスは、オーディオが記録されていた間に表示されたグラフィックまたは動画とともに、記録されたオーディオを再生し得る。ユーザデバイスは、オーディオ記録がオーディオメッセージの部分としてポスティングされ得る状態にあるという確認を受信し得る。ユーザデバイスは、オーディオを記録し、対応するビデオを生成し得る。ビデオは、オーディオ記録のサウンドトラック、およびユーザデバイスがオーディオを記録した間に再生された動画を表すビデオフレームを含む。いくつかの実装形態では、ユーザデバイスは、ビデオに行うべき編集を示す入力を受信する。ユーザデバイスは、入力に応じて、たとえば、ビデオのサウンドトラックに効果音を加えることによって、ビデオのオーディオビジュアル特性を修正し得る。ビデオフレームは、記録されたオーディオを、純粋なオーディオフォーマットの代わりに、オーディオビジュアルフォーマットで符号化するためのプレースホルダーとして機能する、低解像度画像またはソリッドカラー(solid color)など最小ビデオコンテンツのものであり得る。オーディオビジュアルファイルフォーマット、たとえば、MPEG-4、に対するコーデックが様々な異なるデバイス上で広く利用可能であり、ユーザデバイスは、記録されたオーディオを符号化するために、純粋なオーディオフォーマットよりも利用可能なを活用する。

【0006】

このようにして、ネットワーク帯域幅利用率が低減されるが、これは、最小ビデオコンテンツを有する(たとえば、キロバイト単位のデータを有する)オーディオメッセージが受信側ユーザデバイスに送信され得、ビデオコンテンツを置換するためのコンテンツの決定およびレンダリングがユーザデバイスによって実行されたクライアント側であり得るためである。記録されたオーディオがあらゆるオーディオビジュアルコーデックを使用して処理され再生されることを可能にする間中ずっと、ネットワーク利用率を抑えながら、ユーザ体験が改善される。

【0007】

ユーザデバイスは、オーディオ記録サウンドトラックを備えたビデオの生成の部分として、好適な音声テキスト技術を使用してオーディオ記録を処理して、オーディオ内に記録された音声に対応するテキストを生成し得る。オーディオメッセージをプラットフォームにポスティングする一環として、ユーザデバイスは、生成されたビデオとともに、生成されたテキストの少なくとも一部分をオーディオメッセージ内にさらに含めることができる。

【0008】

ユーザデバイスは、オーディオを記録し、対応するグラフィックまたは動画を表示し、次いで、プラットフォームを実装する1つまたは複数のサーバにオーディオ記録を送信することができる。サーバは、ユーザデバイス上に表示されるグラフィックまたは動画に対応する、局所的に記憶またはレンダリングされたグラフィックまたは動画を使用して、オーディオ記録に対するビデオを生成し得る。生成されたビデオは、ユーザデバイスのピクセル解像度よりも高いピクセル解像度、たとえば、3840x2160(「4K」解像度)、を有し得る、局所的に記憶またはレンダリングされたグラフィックまたは動画を使用して、プラットフォームサーバによって生成される。プラットフォームサーバは、次いで、ユーザデバイス生成されたビデオの解像度よりも高い解像度のものであり得る、サーバ生成されたビデオを備えたオーディオメッセージを自動的にポスティングする。

【0009】

いくつかの実装形態では、ユーザデバイスは、オーディオメッセージを受信し、記録されたオーディオは、最小ビデオコンテンツを有するフレームを備えたビデオとして符号化される。ユーザデバイスがオーディオメッセージを再生するとき、ユーザデバイスは、ビデオフレームを廃棄し、代わりに、それを再生するにつれて、メッセージの記録されたオーディオを添付するために、グラフィック、画像、または動画をレンダリングする。グラフィック、画像、または動画を再生のために適時にレンダリングすることによって、ユーザデバイスは、詳細な、高解像度のビデオコンテンツがオーディオメッセージの部分として記憶される必要をなくし、ユーザ体験のコンテンツ品質を犠牲にせずに、これを行う。

【0010】

本明細書で説明する主題は、以下の利点のうちの1つまたは複数を実現するために、特定の実施形態で実装され得る。オーディオは、ソーシャルメッセージングプラットフォームにポスティングされる前に、効率的に記録され編集され得る。本明細書で説明するようなユーザインターフェースは、記録するユーザデバイス付近で生じる音の記録を円滑にする。オーディオメッセージは、テキストのみを含むメッセージよりも多くの情報およびコンテキストを提供し得るオーディオを含めることによって、情報をプラットフォームに配布することを円滑にする。

【0011】

記録の後、オーディオは、自動的に再生され得、ユーザインターフェースは、記録されたオーディオを記録の異なる時点で修正するためのユーザ入力を受信するためのいくつかのオプションを提供する。オーディオが記録および修正された後、記録は、プラットフォームのユーザがアクセス可能なメッセージストリーム内のメッセージとして、メッセージングプラットフォームに自動的にポスティングされ得る。ユーザデバイスは、同じユーザインターフェースによって、別のオーディオメッセージを記録するように自動的に準備されることが可能であり、これは、メッセージを生成および編集するための合理化された効率的なユーザ体験により、情報がプラットフォームに配布される速度を改善し得る。

【0012】

記録されたオーディオは、テキストに変換され、テキストを含み、オーディオを添付したメッセージとして、メッセージングプラットフォームに自動的にポスティングされることも可能である。このようにして、情報配布はさらに改善されるが、これは、オーディオメッセージが複数のフォーマットで情報を含み、プラットフォームのユーザによって異なる方法で消費され得る状態にあるからである。

【0013】

ユーザデバイスは、ユーザデバイスのディスプレイの固有の解像度と同じかまたはそれに満たないピクセル解像度でグラフィックまたは画像を表示し得る。しかしながら、対応するビデオを生成するために、プラットフォームを実装している1つまたは複数のサーバにオーディオ記録を送信することによって、1つまたは複数のサーバは、ユーザデバイスが単独で生成し得るものよりも潜在的に高い解像度でビデオを生成し得る。1つまたは複数のサーバ上またはオーサリングデバイス上のいずれかで、記録は、複数のバージョン、複数のフォーマット、フォームフォーマット、または特定のデバイスが消費するために最適化されている解像度にレンダリングされ得る。最適化は、たとえば、ファイルサイズ、記録をダウンロードまたはアップロードする際の速度、ユーザデバイス上の記録の再生品質、またはこれらのまたは他の基準の組合せに基づき得る。

【0014】

本明細書の主題の1つまたは複数の実施形態の詳細は、添付の図面および以下の説明に記載される。主題の他の特徴、態様、および利点は、この説明、図面、および特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0015】

【図1】例示的なオンラインソーシャルメッセージングプラットフォームおよび例示的なユーザデバイスを示す図である。

【図2】オンラインソーシャルメッセージングプラットフォームに対するオーディオメッセージを生成するための例示的なプロセスのフローチャートである。

【図3】オーディオを記録し、オーディオメッセージをプラットフォームにポスティングするための例示的なユーザインターフェースを示す図である。

【図4】オーディオ記録をオーディオメッセージの部分としてプラットフォームにポスティングする前にオーディオ記録を修正するための例示的なユーザインターフェースを示す図である。

【図5】オーディオメッセージを含むメッセージストリームを表示する例示的なユーザインターフェースを示す図である。

【図6】記録されたオーディオからテキストを生成し、生成されたテキストを含むメッセージをオンラインソーシャルメッセージングプラットフォームにポスティングするための例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0016】

様々な図面における同様の参照番号および表示は、同様の要素を示す。

【0017】

図1は、オンラインソーシャルメッセージングプラットフォーム100、およびユーザ102a～102nによって動作させられるユーザデバイス104a～104nを含む例示的なオンラインソーシャルメッセージングシステムを示す。

【0018】

ユーザは、プラットフォーム100の、ユーザアカウントのアカウント所有者、またはアカウントの許可されたユーザであってよい。ユーザデバイスは、任意のインターネット接続デバイス、たとえば、ラップトップコンピュータもしくはデスクトップコンピュータ、スマートフォン、または電子タブレットであってよい。ユーザデバイスは、モバイルネットワークを通して、インターネットサービスプロバイダ(ISP)を通して、などによって、インターネットに接続され得る。ユーザデバイスは、オーディオおよびビデオを記録するための、マイクロフォン、ディスプレイ、およびクライアントソフトウェアを含む。

【0019】

ユーザデバイス104aは、オーディオメッセージエンジン108aを含むクライアントソフトウェア106aで構成される。オーディオメッセージエンジン108aの機能性については、以下で詳細に説明する。クライアントソフトウェア106aはまた、ユーザデバイス104aがユーザ102aから入力を受信し、オーディオメッセージを生成および修正した後にそのメッセージをプラットフォーム100にポスティングするためにユーザインターフェースを実装する。いくつかの実装形態では、以下でより詳細に説明するように、クライアントソフトウェア106aは、ユーザデバイス104aによって記録された音声に対応するテキストを含むメッセージを生成および修正し、またそのメッセージをプラットフォーム100にポスティングするように構成される。クライアントソフトウェア106aはまた、ユーザ102aがプラットフォーム100と対話するためのユーザインターフェースを提供するように構成される。

【0020】

クライアントソフトウェアは、ウェブブラウザまたはウェブブラウザによってレンダリングされたHTML(ハイパーテキストマークアップ言語)文書であってよい。またはクライアントソフトウェアは、スクリプトまたは別のタイプのソフトウェアコード、たとえば、JavaScriptコードまたはJavaコードであってよい。またはクライアントソフトウェアは、専用ソフトウェア、たとえば、特にプラットフォーム100と協働するように設計された、インストールされたアプリまたはインストールされたアプリケーションであってよい。またはクライアントソフトウェアは、たとえば、ショートメッセージングサービス(SMS)インターフェース、インスタントメッセージングインターフェース、電子メールベースのインターフェース、またはAPI機能ベースのインターフェースであってよいか、またはそれを含んでよい。

【0021】

プラットフォーム100は、各々が1つまたは複数のロケーションに位置する1つまたは複数のコンピュータ上で実装される、1つまたは複数のプラットフォームサーバ110a～110m上で実装される。各プラットフォームサーバ110a～110mは、1つまたは複数のデータ通信ネットワーク120の有線ネットワークまたは無線ネットワークを介してユーザデバイスとの間の接続をサポートする。プラットフォームサーバ110aは、その機能性について以下で説明するオーディオメッセージエンジン112aで構成される。

【0022】

プラットフォームソフトウェアおよびクライアントソフトウェア106a～106nは、ユーザ102a～102nが、プラットフォーム100を使用してメッセージ122をプラットフォームにポスティングすること、プラットフォーム100を使用して、他のユーザによってポスティングされたメッセージ124を受信すること、ならびに他のソーシャルアクティビティに参加することを可能にするように構成される。本明細書において、プラットフォーム100にポスティングされたメッセージは、メッセージのオーサーによって提供されたコンテンツを表すデータを含み得る。オーサーは、対応するユーザアカウントによって識別されるプラットフォームのユーザであってよい。メッセージは、コンテンツデータを記憶するコンテナデータタイプであってよい。メッセージ内に記憶され得るデータのタイプは、たとえば、テキスト、グラフィック、画像、ビデオ、およびコンピュータコード、たとえば、ユニフォームリソースロケータ(URL)を含む。

【0023】

また本明細書において、オーディオメッセージは、オーディオコンテンツを含むメッセージである。オーディオは、任意のオーディオフォーマット、たとえば、WAV(波形オーディオファイル)、FLAC(フリーロスレスオーディオコーデックス)、またはMP3で記憶され得る。オーディオコンテンツは、オーディオビジュアルフォーマット、たとえば、MP4、AVI(オーディオビデオインターリーブ)、またはWMV(ウィンドウズ(登録商標)メディアビデオ)で記憶されてもよい。純粋なオーディオコンテンツ、すなわち、対応するビデオを伴わないオーディオコンテンツは、依然としてオーディオビジュアルフォーマットで記憶され得る。オーディオコンテンツをビデオファイル内に記憶する1つの理由は、ユーザデバイスは概して、広く受け入れられるオーディオビジュアルフォーマット、たとえばMP4を符号化および復号するように構成されるが、他の厳密なオーディオフォーマット、たとえばWAVを符号化および復号するように構成されないことである。

【0024】

オーディオメッセージがビデオファイルを含むとき、ビデオファイルは、オーディオ部分、およびビデオファイルを構成するビデオ部分としてビデオコンテンツを含む。ビデオコンテンツは、1つまたは複数のビデオフレームを含む。フレームは、オーディオコンテンツの持続時間にわたってループする、単一のグラフィックまたは動画、たとえば、動画波形、動画アバター、動画グラフィックのものであってよい。

【0025】

いくつかの実装形態では、ビデオコンテンツは最小ビデオコンテンツである。最小ビデオコンテンツは、ビデオを含めるためにオーディオメッセージを生成するとき、プレースホルダーとして機能するビデオコンテンツを指す。最小ビデオコンテンツは、添付のオーディオと比較してファイルサイズにあまり寄与しないが、MPEG-4など、広く受け入れられるコーデックを備えたデバイスによるより広いアクセス可能性を可能にするために、オーディオはオーディオビジュアルフォーマットで保存されることを可能にする。たとえば、最小ビデオコンテンツは、ソリッドカラーまたは不変のグラフィックまたは画像であってよい。最小ビデオコンテンツのメモリサイズをさらに低減するために、最小ビデオコンテンツは、フルカラーのグラフィックまたは画像に必要とされる追加の画素データを除いて、モノクロームである不変のグラフィックまたは画像を含み得る。加えて、最小ビデオコンテンツは、動画アバターまたは起状波形など、ループ動画であってよい。

【0026】

最小ビデオコンテンツは、オーディオビジュアルコーデックを使用して、記録されたオーディオを符号化するためのビデオコンテンツを提供するためにプログラム的に生成され得る。オーディオメッセージを生成し、メッセージをプラットフォームにポスティングした後、受信側ユーザデバイスは、オーディオメッセージをメッセージストリームの部分として受信し、オーディオメッセージが最小ビデオコンテンツを含むと判定し、最小ビデオコンテンツを、受信側ユーザデバイス上にインストールされたクライアントによってレンダリングされる、表示のためのより高い解像度のより動的なビデオコンテンツに置換し得る。最小ビデオコンテンツのメモリサイズを小さく維持するために、最小ビデオコンテンツは、たとえば、ユーザデバイス上のカメラによって記録された、すなわち「自然のままの」ビデオコンテンツではない。代わりに、最小ビデオコンテンツは、「人工的」であり、すなわち、複数の技法のうちのいずれか1つを使用して、たとえば、単一の色またはパターン、たとえば、波形、を有するビデオコンテンツのフレームを生成して、プログラム的に生成される。最小ビデオコンテンツの人工的な性質は、記録されたオーディオをオーディオビジュアルフォーマット、たとえばmp4で符号化しながら、また最小ビデオコンテンツのサイズを小さく維持しながら、コンテンツがビデオデータに対するプレースホルダーとして使用されることを可能にする。オーディオメッセージに対して生成されるビデオファイルのビデオコンテンツは、何らかの形で、オーディオコンテンツに関する画像を含み得るが、この関係性は不要である。ビデオフレームは、オーディオコンテンツを説明する情報、たとえば、オーディオコンテンツがユーザによってオーサリングされた時間、またはオーディオコンテンツの何らかのユーザがオーサリングしたテキスト、を含んでもよい。

【0027】

動作中、クライアントソフトウェアは、ユーザが、メッセージをポスティングおよび受信し、ユーザのストリームを閲覧し、整理し、コンテンツ項目のリストを閲覧してそれと対話することができるように、プラットフォームにアクセスし得る。ストリームは、1つまたは複数のストリーム基準を満たすプラットフォーム上のメッセージのストリームである。ストリームは、プラットフォームのユーザによってポスティングされたメッセージを含めるためのストリーム基準によって定義され得る。

【0028】

図2は、オンラインソーシャルメッセージングプラットフォームに対するオーディオメッセージを生成するための例示的なプロセス200のフローチャートである。便宜上、プロセス200は、本明細書に従って適切にプログラムされたユーザデバイスによって実行されるとして説明されることになる。たとえば、オーディオメッセージエンジン108aで適切にプログラムされた、図1のユーザデバイス104aのうちのいずれか1つがプロセス200を実行し得る。以下の説明において、単一のユーザデバイスが参照されるが、2つ以上のユーザデバイスが例示的なプロセス200を平行して実行し得ることを理解されたい。

【0029】

ユーザデバイスは、オーディオを受信し、オーディオメッセージをプラットフォームにポスティングするためのユーザインターフェースを表示する(205)。ユーザデバイスのクライアントソフトウェアは、ユーザインターフェースを表示するように構成される。ユーザインターフェースは、ユーザがオーディオ記録を開始および終了するための対話可能な要素、すなわち、ユーザが対話し得る要素を含む。以下の図3は、オーディオを記録し、オーディオメッセージをプラットフォームにポスティングするためのユーザデバイス上の例示的なユーザインターフェースを示す。

【0030】

ユーザデバイスは、マイクロフォンを使用して、オーディオを記録する(210)。ユーザデバイスは、たとえば、オーディオ記録を開始および終了するための入力を受信するように構成されたユーザインターフェース要素において連続的なタッチ入力またはマウス押下を受信しながらオーディオを記録することによって、オーディオ記録を開始するための入力をユーザインターフェースにおいて受信する。いくつかの実装形態では、ユーザインターフェースは、オーディオ記録をトグルするためのボタン押下または何らかの他の要素によって、オーディオ記録を開始および終了するための入力を受信するように構成される。

【0031】

記録されたオーディオコンテンツは、ユーザデバイスのマイクロフォンの知覚範囲内の任意のオーディオであり得る。たとえば、オーディオコンテンツは、ユーザデバイスに近接して生じるライブの現実のイベント、たとえば、会議、ショー、またはプレゼンテーションのものであってよい。別の例として、オーディオコンテンツは、1つまたは複数のソース、たとえばユーザデバイスのユーザからの音声を含み得る。

【0032】

いくつかの実装形態では、ユーザデバイスがオーディオを記録する間、ユーザデバイスは、ユーザデバイスがオーディオをアクティブに記録していることを示すグラフィックまたは動画を表示する。いくつかの実装形態では、ユーザデバイスは、オーディオを記録しながら、変調波形を表示し得る。波形は、ループされた、事前にレンダリングされた動画であってよく、またはいくつかの実装形態では、波形をシミュレートするためのランダムな振幅および波長を含む波形関数を使用してレンダリングされ得る。いくつかの実装形態では、ユーザデバイスは、振幅および周波数をサンプリングすることによって、動画波形をシミュレートする。

【0033】

シミュレートされた波形は、記録されているオーディオに対応する波形よりも、リアルタイムで生成するためにより少ない計算リソースを必要とする。いくつかの実装形態では、しかしながら、ユーザデバイスは、入ってくるオーディオの振幅および周波数に正確にマッチするための波形を生成する。

【0034】

他の動画、グラフィック、および(静止と動画の両方の)画像も可能である。別の例として、ユーザデバイスがオーディオを記録する間、ユーザインターフェースは、たとえば、ユーザのまたは動物の動画アバターを表示し得る。動画アバターは、アバターが、話している、または、音をたてている、たとえば楽器を演奏しているという外観を与えるためにレンダリングされ得る。

【0035】

オーディオを記録した後、ユーザデバイスは、ビデオを任意のオーディオビジュアルフォーマット、たとえばMP4で生成する(215)。ビデオのサウンドトラックは、記録されたオーディオであり、ビデオのフレームは、ユーザデバイスがオーディオを記録した間にユーザデバイス上に表示された動画またはグラフィックを表す。

【0036】

いくつかの実装形態では、ビデオのフレームは、図1を参照しながら上記で説明したような、最小ビデオコンテンツ、たとえばソリッドカラーまたは静止画像のものである。以下でより詳細に説明するように、生成されたビデオを備えたオーディオメッセージが要求側ユーザデバイス上で再生されるとき、ユーザデバイスのクライアントソフトウェアは、それが再生されるときにメッセージのオーディオに添付するために、グラフィック、画像、または動画をレンダリングし得る。ビデオ自体は最小ビデオコンテンツのものであってよく、したがって、事前にレンダリングされた動画またはグラフィックがビデオの部分として生成された場合よりも小さなファイルサイズのものであってよい。

【0037】

ビデオ用のメタデータは、ユーザデバイスが要求されたオーディオメッセージのビデオをどのようにレンダリングするかを修正するための構成オプションを含み得る。たとえば、メタデータは、レンダリングおよび表示するためのグラフィックまたは動画のタイプ、およびレンダリングされたグラフィックまたは動画の外観、持続時間、または他の視覚的品質を修正するためのオプションを指定し得る。

【0038】

場合によっては、ユーザデバイスが記録を完了するとき、ユーザデバイスは、オーディオ記録を含むビデオを再生する(220)。ユーザは、オーディオメッセージの部分としてプラットフォームにポスティングされるときに聴かれることになるオーディオをレビューする機会を有する。ユーザインターフェースは、ユーザデバイスにオーディオメッセージをポスティングさせる入力を受信するように構成される。いくつかの実装形態では、ユーザデバイスにオーディオメッセージをポスティングさせる入力は、オーディオの記録を停止するための入力でもある。

【0039】

再生のためにオーディオ記録を提供する一環として、ユーザデバイスは、ユーザデバイスがオーディオを記録していた間に表示された動画またはグラフィックと同じであってよくまたはそれとは異なってもよい動画またはグラフィックをレンダリングおよび表示し得る。たとえば、ユーザデバイスは、記録の異なる部分を再生するためにユーザ入力によってスクラブされ得る動画波形をレンダリングし得る。動画またはグラフィックがビデオメタデータ内で指定される場合、ユーザデバイスは、メタデータに従って動画またはグラフィックをレンダリングおよび表示し得る。ユーザデバイスは、上記で説明したように、オーディオ記録に対する実際の波形をシミュレートすることができるか、またはユーザデバイスは、それがユーザレビューのために再生されるとき、オーディオ記録に対する視覚的カウンターパートとして正確な波形を生成し得る。

【0040】

いくつかの実装形態では、オーディオの再生(220)、およびビデオの修正(225)は、複数回繰り返されてよい。たとえば、ビデオを修正した(225)後、ビデオは、再生され(220)、さらに修正されて(225)、再度再生され得る。ユーザデバイスがオーディオメッセージの部分としてビデオをプラットフォームにポスティングする(230)ための入力を受信するまで、再生および修正の交番が繰り返され得る。

【0041】

いくつかの実装形態では、ビデオを再生する代わりに、ユーザデバイスは、オーディオメッセージの部分として、ビデオをプラットフォームに自動的にポスティングする(230)。それらの実装形態では、ユーザデバイスは、入力を受信せず、代わりに、ビデオが生成された後にオーディオメッセージをポスティングする。オーディオメッセージをポスティングした後、ユーザデバイスは、追加のオーディオを記録するためにユーザインターフェースを表示し得る(205)。このようにして、ユーザデバイスは、単純なインターフェースを用いて迅速にオーディオメッセージを記録してプラットフォームにポスティングすることができ、ユーザからの入力は最小限ですむ。

【0042】

場合によっては、ユーザデバイスは、プラットフォームにポスティングする(230)前にオーディオを修正する(225)。ユーザデバイスは、(i)生成されたビデオのサウンドトラック、(ii)ビデオのビデオフレーム、または(iii)それらの両方を修正するための入力を受信し得る。ユーザデバイスは、編集段階が終了したことを示す確認入力を、たとえば、ユーザから受信するまで、入力を受信し続ける。ユーザデバイスがビデオのビデオフレームを修正するための入力を受信した場合、ユーザデバイスは、入力によって指定された編集をビデオメタデータ内に保存し得る。後で、ビデオを含むオーディオメッセージが別のユーザデバイスによって受信されるとき、ユーザデバイスは、ビデオメタデータに従って、適切なグラフィックまたは動画をレンダリングおよび表示し得る。

【0043】

概して、ユーザデバイスは、任意のオーディオビジュアル編集技法に従って、生成されたビデオを修正し得る。たとえば、ユーザデバイスは、記録されたオーディオのオーディオ特性、たとえば、音の高低、音量、トレブル、または低音域、を編集し得る。別の例として、ユーザデバイスは、オーディオフィルタをビデオに加えることができるか、または再生中にユーザデバイスによってレンダリングおよび表示される波形の外観を修正すること、たとえば、色、形状、または動画スタイルを修正すること、ができる。

【0044】

いくつかの実装形態では、ユーザデバイスは、オーディオ記録に加えることができる異なる効果音に対応する入力を受信する。効果音は、記録のオーディオに加えて再生する楽器または他の音源の短い、たとえば1～4秒の記録を含み得る。効果音は、他の記録されたオーディオから何らかの事前定義された長さのオーディオであってよい。

【0045】

効果音は、オーディオ記録の部分として挿入またはオーバーレイされ得る。ユーザデバイスは、その間に挿入またはオーバーレイのために効果音が選択されるオーディオ記録に対するタイムスタンプを指定する入力を受信する。効果音が挿入されるとき、オーディオ記録は、効果音の長さだけ延長される。効果音が再生された後、記録からのオーディオが再開する。効果音がオーディオ記録上にオーバーレイされるとき、指定されたタイムスタンプにおいて効果音とオーディオの両方が同時に再生される。複数の効果音がタイムスタンプによって示された同じ時点に追加され得る。

【0046】

いくつかの実装形態では、ユーザデバイスは、効果音が記録のある時間において挿入されていることを示すマーカーを波形内にオーバーレイする。効果音を選択および挿入するためのユーザ入力は、ユーザデバイスによって検出されるドラッグアンドドロップジェスチャを通してユーザデバイスによって受信され得るが、その際に、特定の効果音に対応するビジュアルマーカーがドラッグされて、同じく表示される波形の一部分の上に置かれる。ビジュアルマーカーは、ユーザデバイスが編集を完了するための入力をユーザから受信するまで表示される。これらの実装形態では、波形は、各々がオーディオ記録の持続時間内のタイムスタンプに対応する一連の点を含む。

【0047】

ユーザデバイスは、ビデオを含むオーディオメッセージをプラットフォームにポスティングする(225)。いくつかの実装形態では、ユーザデバイスは、追加のユーザ入力を受信せずに、オーディオ記録を完了した後、オーディオメッセージを自動的にポスティングする。生成されたビデオの編集は随意であるため、いくつかの実装形態では、ユーザデバイスは、ユーザからポスティング要求を受信した後にオーディオメッセージをポスティングする。ユーザデバイスのユーザは、オーディオコンテンツをリアルタイムで提供し得る。結果として、ユーザデバイスは、オーディオメッセージをプラットフォームに迅速に送信することおよび単純なインターフェースを使用することを円滑にする。

【0048】

ビデオを生成する代わりに、いくつかの実装形態では、ユーザデバイスは、オーディオを記録し、オーディオをメッセージングプラットフォームに送信する。プラットフォームサーバ、たとえば、図1のプラットフォームサーバ110aは、上記で説明したように、オーディオメッセージエンジン112aを通して、受信されたオーディオ記録を処理し、オーディオ記録サウンドトラックを備えたビデオを生成するように構成される。オーディオ記録をプラットフォームに送信することによって、プラットフォームは、ユーザデバイスの固有の解像度によって可能なものよりも高いピクセル解像度ビデオを生成し得る。

【0049】

プラットフォームがビデオを生成した後、プラットフォームは、ユーザデバイスのユーザの代わりに、ビデオを備えたオーディオメッセージをポスティングし得る。オーディオメッセージがポスティングされるとき、含まれたビデオは、任意のユーザデバイスのディスプレイの解像度以上のソース解像度でポスティングされる。オーディオメッセージがユーザデバイスによって取り出されるとき、メッセージは、ユーザデバイスが、含まれたビデオを、ビデオを生成するために使用されるソース解像度以下であり得る、デバイス固有の解像度で表示することを可能にするために、必要に応じて、取り出されてダウンサンプリングされる。

【0050】

ビデオを生成するためにオーディオ記録がプラットフォームに送信される、いくつかの実装形態では、ユーザデバイスはまた、ビデオを編集するためにユーザデバイスによって受信された編集を指定するビデオメタデータを送信する。プラットフォームは、受信されたオーディオ記録およびメタデータに従って、オーディオメッセージ用のビデオを生成し得る。

【0051】

オーディオメッセージを受信するユーザデバイスは、オーディオメッセージのビデオファイルのビデオコンテンツがプログラム的に生成された最小ビデオコンテンツのものであるかどうかを決定し得る。それに応じて、ユーザデバイスは、最小ビデオコンテンツの代わりに、ユーザデバイスによってレンダリングされたビデオコンテンツを含むオーディオメッセージ内のビデオファイルを再生し、オーディオ記録をやはり再生し得る。レンダリングされたビデオコンテンツは、ユーザデバイス上に局所的に記憶され得るか、またはユーザデバイスによって生成され得、概して、最小ビデオコンテンツよりも高い解像度のものである。より高い解像度の(したがって、より大きい)ビデオを備えたオーディオメッセージを送信するのではなく、受信側ユーザデバイスは、最小ビデオコンテンツを、局所的に、かつユーザデバイス上に表示する前に、レンダリングされたビデオコンテンツで置換し、それにより、ネットワーク利用率を低減し得る。

【0052】

概して、ユーザデバイスは、オーディオメッセージ内のビデオのビデオ部分を指定するデータを、最小ビデオコンテンツを指定するデータに対して知られている署名と比較することによって、本明細書で説明するように、オーディオメッセージが最小ビデオコンテンツを含むと決定する。たとえば、最小ビデオコンテンツは、プラットフォームのオーディオメッセージ内に均等に生成および挿入され得、これは、すべての最小ビデオコンテンツがメッセージ間で同じであることを意味する。この例では、署名は、最小ビデオコンテンツのハッシュ値であってよく、受信側ユーザデバイスに対するクライアントは、ハッシュを知られているハッシュ値と比較して、オーディオメッセージが最小ビデオコンテンツを含むと決定し得る。

【0053】

いくつかの実装形態では、最小ビデオコンテンツは、メッセージ間で異なるが、上記で説明したように、コンテンツがプログラム的に生成されていること、したがって、記録されたオーディオセットをオーディオビジュアルフォーマットで符号化することを可能にするためのプレースホルダーとして使用されていること、を示すフラグを含み得る。これらの実装形態では、オーディオメッセージを受信するユーザデバイスに対するクライアントは、指定されたフラグの存在または不在を検査することによって、メッセージが最小ビデオコンテンツを含むと決定する。

【0054】

図3は、オーディオを記録し、オーディオメッセージをプラットフォームにポスティングするための例示的なユーザインターフェース300を示す。このインターフェースおよび本明細書で説明する他のインターフェースは、ユーザアクセス性を円滑にするための何らかの追加の特徴、たとえば、視覚障害を有するユーザのためのハイコントラストディスプレイおよび音声テキスト機能性、聴覚障害を有するユーザのためのユーザインターフェースの部分として提供されるオーディオコンテンツ用の字幕、および表示されるユーザインターフェースの要素と対話するための触覚入力の代替または追加としての音声入力機能性、で実装され得る。ユーザインターフェース300は、インターフェース300を表示しているユーザデバイス310のユーザがマイクロフォン315を使用してオーディオの記録を開始するために対話し得る記録入力要素305、たとえばボタンを含む。ユーザは、触覚入力、たとえば、ユーザデバイス310のディスプレイをタップすることによって、または任意の他の方法、たとえばボイス入力を通して、インターフェース300と対話し得る。マイクロフォン315がオーディオを記憶するとき、ユーザデバイス310は、動画波形320を表示する。動画波形320は、オーディオがアクティブに記録されているという視覚的インジケータとして変調または脈動し得る。いくつかの実装形態では、ユーザインターフェース300は、オーディオメッセージの部分としてオーディオ記録をポスティングするための入力を受信するためのメッセージポスティング要素を含む。

【0055】

いくつかの実装形態では、オーディオを記録およびポスティングするためのユーザインターフェースは、ユーザと対話するとき、上記で説明したように、ユーザデバイスにオーディオを記録させ、オーディオ記録をポスティングさせる、単一のUI要素として簡素化され(condensed)得る。単一のUI要素はボタンであってよく、いくつかの実装形態では、ボタンは、ユーザデバイス上に表示される現在のユーザインターフェース上に「浮動する」ようにオーバーレイされ得る。ボタンは、任意の形状であってよいか、または最高でユーザデバイスのディスプレイのサイズまでであってよい。これらの実装形態では、ボタンは、基礎をなすユーザインターフェースにかかわらず、ユーザデバイスのディスプレイをあちこち移動され得る。

【0056】

図4は、オーディオ記録をオーディオメッセージの部分としてプラットフォームにポスティングする前にオーディオ記録を修正するための例示的なユーザインターフェース400を示す。ユーザインターフェース400は、波形405およびタイムスライダー要素410を含む。波形405およびタイムスライダー要素410は、ユーザデバイス310のディスプレイの幅に広がり、ユーザ入力に従って、たとえば、ユーザからのタッチアンドドラッグジェスチャにあわせて後方へかつ前方へスクラブされ得る。

【0057】

波形405は正弦波として示されているが、ユーザデバイスは、他の好適な波フォーマット、たとえば、矩形波、鋸波、または三角波で、またはラインまたはサークルに沿って配置された脈動バーなど、他の非波フォーマットで、波形405を表示し得る。波形405がスクラブされるとき、タイムスライダー要素410も波形405の可視部分に対応するオーディオ記録の時間を示すためにスクラブされる。

【0058】

ユーザインターフェース400は、ユーザがオーディオ記録を追加、除去、および修正するために対話する効果音マーカー415も含む。効果音マーカーは、短い、たとえば、1秒から4秒の効果音を表し得る。効果音マーカーは、対応する効果音、たとえば、演奏される楽器のピクチャを図で、または、たとえば、効果音において演奏される楽器の名前をテキストで表す。ユーザインターフェース400は、効果音マーカーを選択する第1の入力、および効果音がオーディオ記録内で再生されるべき、波形405内の一部分を選択する第2の入力を受信し得る。

【0059】

波形405は、波形405が1つまたは複数の効果音によって修正されるオーディオ効果音マーカー420で注釈付けされる。各マーカー420の幅は、再生されるときの対応する効果音の長さを示す。ユーザインターフェース400は、マーカー420が波形405上に置かれた後、マーカー420の位置を追加、除去、または修正するための追加の入力を受信し得る。

【0060】

ユーザインターフェース400は、再生要素425も含む。再生要素425が入力を受信するとき、ユーザデバイス310は、時間マーカー430によって示される現在の時間からオーディオ記録の再生を開始または終了し得る。ユーザインターフェース400は、入力を受信し、ユーザデバイスに(何らかの編集を伴う)オーディオ記録を含むオーディオメッセージをプラットフォームにポスティングさせ得る、ポスティング要素425も含む。

【0061】

図5は、オーディオメッセージ510を含むメッセージストリーム505を表示する例示的なユーザインターフェース500を示す。オーディオメッセージ510は、メッセージ510がユーザデバイス310のディスプレイ上に見えているとき、その対応するオーディオコンテンツを再生する。代替として、ユーザインターフェース500が、入力、たとえば、再生のためにオーディオメッセージ510が選択されたことを示す、ユーザインターフェース500に対するジェスチャを受信しない限り、オーディオメッセージ510は、そのオーディオコンテンツを再生しない。

【0062】

図6は、記録されたオーディオからテキストを生成し、生成されたテキストを含むメッセージをオンラインソーシャルメッセージングプラットフォームにポスティングするための例示的なプロセス600のフローチャートである。便宜上、プロセス600は、本明細書に従って適切にプログラムされたユーザデバイスによって実行されるとして説明される。たとえば、適切にプログラムされた、図1のユーザデバイス104a～nのうちのいずれか1つがプロセス600を実行し得る。以下の説明において、単一のユーザデバイスを参照するが、2つ以上のユーザデバイスが例示的なプロセス600を並行して実行し得ることを理解されたい。

【0063】

ユーザデバイスは、オーディオを記録するためのユーザインターフェースを表示する(605)。ユーザインターフェースは、たとえば、図3に示し、上記で説明したようなユーザインターフェースであってよく、概して、記録を開始および停止するための入力要素を含む。

【0064】

ユーザデバイスは、オーディオを記録する(610)。図2を参照しながら上記で説明したように、ユーザデバイスは、デバイスが記録していることを示すグラフィックまたは動画、たとえば動画波形を表示しながら、ユーザデバイス上のマイクロフォンを使用してオーディオを記録する。

【0065】

ユーザデバイスは、オーディオ記録内の検出された音声からテキストを生成する(615)。ユーザデバイスは、任意の好適な音声テキストソフトウェア技法を使用して、テキストを生成し得る。いくつかの実装形態では、ユーザデバイスは、オーディオを同時に記録しながら、テキストを生成し、ユーザデバイス上に表示する。

【0066】

いくつかの実装形態では、ユーザデバイスがオーディオ記録内で検出された音声からテキストを生成する代わりに、ユーザデバイスは、オーディオ記録をプラットフォームに送信し、プラットフォームは、記録を処理して、テキストを生成する。いくつかの実装形態では、ユーザデバイスは、図2を参照しながら上記で説明したように、受信された入力に従って、オーディオ記録を修正する。

【0067】

ユーザデバイスは、生成されたテキストを含むオーディオメッセージをポスティングする(620)。ユーザデバイスは、再生なしに、生成されたテキストを備えたオーディオメッセージを自動的にポスティングし(620)、オーディオメッセージを受信するユーザがコンテンツを消費する異なるフォーマットも提供した間にプラットフォームに対するコンテンツの迅速な配布を円滑にする。いくつかの実装形態では、ユーザデバイスは、オーディオメッセージをプラットフォームにポスティングする前に、再生および確認のために、生成されたテキスト、生成されたビデオ、またはそれらの両方を表示する。

【0068】

生成されたテキストが、オーディオメッセージがポスティングされる前に表示されるいくつかの実装形態では、ユーザデバイスは、テキストに対する編集を示す入力を受信するように構成される。たとえば、ユーザデバイスは、たとえば、音声テキスト生成が十分に正確でなかったために、テキストを編集するための入力、またはポスティングされる前にメッセージとともに含めるための追加のテキストを提供するための入力を受信し得る。生成されたテキスト内の用語は、ポスティングされたオーディオメッセージに索引付けするためにプラットフォームによって使用されてもよい。プラットフォームは、生成されたテキストから用語を抽出および記憶し、後で、プラットフォームにポスティングされたメッセージのインデックスを検索することによって検索要求にサービスし得る。インデックスは、ポスティングされたオーディオメッセージに対する抽出された用語を含み得る。

【0069】

プラットフォームがテキスト制限、たとえば、メッセージ内のテキストに対する文字または語の制限を課す場合、生成されるテキストは、テキスト制限に適合するように編集される。ユーザデバイスは、テキストを自動的に編集して、テキスト制限まで、生成されたテキストの開始部分のみを含めることができる。代替として、ユーザインターフェースは、生成されたテキストを表示し、テキスト制限を満たすためにどのテキストを除去するかを示す入力、たとえば、タッチジェスチャまたはスワイプジェスチャを受信するようにさらに構成される。代替的として、プラットフォームは、オーディオから生成されたテキストを例外とすることができ、添付テキストに対して、制限までの、また制限をまったく含まない、異なるテキスト制限が設定され得る。添付テキストは、定期的に表示されるテキストにマッチするようなスタイルを用いてレンダリングされてよいか、または異なるスタイル、たとえば、テキストが関連するオーディオ記録に対して生成されたという視覚的指示をユーザに提供するフォントに従ってレンダリングされてよい。

【0070】

本明細書で説明した主題ならびにアクションおよび動作の実施形態は、デジタル電子回路で、有形に実施されたコンピュータソフトウェアまたはコンピュータファームウェアで、本明細書で開示した構造およびそれらの構造的均等物を含めて、コンピュータハードウェアで、またはこれらのうちの1つまたは複数の組合せで、実装され得る。本明細書で説明した主題の実施形態は、データ処理装置による実行のために、またはデータ処理装置の動作を制御するために、コンピュータプログラムキャリア上に符号化された、1つまたは複数のコンピュータプログラム、たとえば、コンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。キャリアは、有形の非一時的コンピュータ記憶媒体であってよい。代替または追加として、キャリアは、データ処理装置による実行のために適した受信機装置に送信するための情報を符号化するために生成された、人工的に生成された伝搬信号、たとえば、機械生成された電気信号、光信号、または電磁信号であってよい。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムアクセスメモリデバイスもしくはシリアルアクセスメモリデバイス、またはこれらのうちの1つまたは複数の組合せであってよいか、またはその部分であってよい。コンピュータ記憶媒体は、伝搬信号ではない。

【0071】

「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサまたはコンピュータを含めて、データを処理するためのすべての種類の装置、デバイス、および機械を含む。データ処理装置は、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、ASIC(特定用途向け集積回路)、またはGPU(グラフィックス処理ユニット)を含み得る。装置はまた、ハードウェアに加えて、コンピュータプログラムに対する実行環境を生み出すコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの1つまたは複数の組合せを構成するコード、を含み得る。

【0072】

コンピュータプログラムは、コンパイラ言語もしくはインタープリタ型言語、または宣言型言語もしくは手続き型言語を含めて、任意の形態のプログラミング言語で書き込まれてよく、コンピュータプログラムは、スタンドアロンプログラムとして、たとえば、アプリとして、もしくはモジュール、構成要素、エンジン、サブルーチン、または1つまたは複数のロケーションにおいてデータ通信ネットワークによって相互接続された1つまたは複数のコンピュータを含み得るコンピューティング環境において実行するのに適した他のユニットとして、を含めて、任意の形態で展開されてよい。

【0073】

コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、そうでなくてもよい。コンピュータプログラムは、他のプログラムまたはデータ、たとえば、マークアップ言語文書の中に、当該プログラム専用の単一ファイルの中に、または、複数の協調ファイル、たとえば、1つまたは複数のモジュール、サブプログラム、またはコードの部分を記憶するファイルの中に、記憶された1つまたは複数のスクリプトを保持するファイルの一部分の中に記憶され得る。

【0074】

本明細書で説明したプロセスおよび論理のフローは、入力データを実行し、出力を生成することによって動作を実行するために、1つまたは複数のコンピュータプログラムを実行する、1つまたは複数のコンピュータによって実行され得る。プロセスおよび論理のフローは、専用論理回路、たとえば、FPGA、ASIC、またはGPUによって、または専用論理回路と1つまたは複数のプログラムされたコンピュータとの組合せによって、実行されてもよい。

【0075】

コンピュータプログラムの実行に適したコンピュータは、汎用マイクロプロセッサもしくは専用マイクロプロセッサまたはそれらの両方、あるいは任意の他の種類の中央処理装置に基づき得る。概して、中央処理装置は、読取り専用メモリもしくはランダムアクセスメモリまたはそれらの両方から命令およびデータを受信することになる。コンピュータの必須要素は、命令を実行するための中央処理装置、および命令およびデータを記憶するための1つまたは複数のメモリデバイスである。中央処理装置およびメモリは、専用論理回路によって補足されてよく、またはその中に組み込まれてよい。

【0076】

概して、コンピュータはまた、1つまたは複数の大量記憶デバイスを含むことになるか、またはそれに動作可能に結合されることになり、大量記憶デバイスからデータを受信し、そこにデータを転送するように構成されることになる。大量記憶デバイスは、たとえば、磁気ディスク、光磁気ディスク、もしくは光ディスク、または固体ドライブであってよい。しかしながら、コンピュータは、そのようなデバイスを有さなくてもよい。さらに、コンピュータは、別のデバイス、たとえば、ほんのいくつかを挙げると、モバイル電話、携帯情報端末(PDA)、モバイルオーディオプレーヤもしくはモバイルビデオプレーヤ、ゲーム機、全地球測位システム(GPS)受信機、またはポータブル記憶デバイス、たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブの中に埋め込まれてもよい。

【0077】

ユーザとの対話を提供するために、本明細書で説明する主題の実施形態は、情報をユーザに表示するためのディスプレイデバイス、たとえば、LCD(液晶ディスプレイ)モニタまたは有機発光ダイオード(OLED)モニタ、仮想現実(VR)ディスプレイまたは拡張現実(AR)ディスプレイ、およびそれによりユーザが入力をコンピュータに提供することができる入力デバイス、たとえば、キーボードおよびポインティングデバイス、たとえば、マウス、トラックボールまたはタッチパッドを有するか、またはそれと通信するように構成された、1つまたは複数のコンピュータ上で実装され得る。他の種類のデバイスがユーザとの対話を提供するために使用され得ることもできる。たとえば、ユーザに提供されるフィードバックおよび応答は、任意の知覚フィードバック、たとえば、視覚、聴覚、音声、または触覚であってよく、ユーザからの入力は、音響入力、音声入力、あるいはタッチ運動もしくはタッチジェスチャ、またはキネティック(kinetic)運動もしくはキネティックジェスチャ、またはオリエンテーション(orientation)運動もしくはオリエンテーションジェスチャを含む触覚入力、を含めて、任意の形態で受信され得る。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信し、そこから文書を受信することによって、たとえば、ウェブブラウザから受信された要求に応じて、ユーザのデバイス上のウェブブラウザにウェブページを送信することによって、またはユーザデバイス、たとえば、スマートフォンまたは電子タブレットの上で実行しているアプリと対話することによって、ユーザと対話し得る。また、コンピュータは、テキストメッセージまたは他の形態のメッセージをパーソナルデバイス、たとえば、メッセージングアプリケーションを実行しているスマートフォンに送信し、返答として、ユーザから応答メッセージを受信することによって、ユーザと対話し得る。

【0078】

本明細書は、システム、装置、およびコンピュータプログラム構成要素に関して「構成される」という用語を使用する。1つまたは複数のコンピュータのシステムが特定の動作またはアクションを実行するように構成されるということは、そのシステムが、動作中に、システムにそれらの動作またはアクションを実行させる、ソフトウェア、ファームウェア、ハードウェア、またはこれらの組合せをその上にインストールしていることを意味する。1つまたは複数のコンピュータプログラムが特定の動作またはアクションを実行するように構成されるということは、1つまたは複数のプログラムが、データ処理装置によって実行されると、装置にそれらの動作またはアクションを実行させる命令を含むことを意味する。専用論理回路が特定の動作またはアクションを実行するように構成されることは、その回路がそれらの動作またはアクションを実行する電子論理を有することを意味する。

【0079】

本明細書で説明した主題の実施形態は、たとえば、データサーバとして、バックエンド構成要素を含む、もしくはミドルウェア構成要素、たとえば、アプリケーションサーバを含む、またはフロントエンド構成要素、たとえば、グラフィカルユーザインターフェース、ウェブブラウザ、もしくはそれを通してユーザが本明細書で説明した主題の実装形態と対話し得るアプリを有するクライアントコンピュータ、または1つまたは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステム内で実装され得る。システムの構成要素は、任意の形態のまたは任意の媒体のデジタルデータ通信、たとえば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(LAN)および広域ネットワーク(WAN)、たとえばインターネットを含む。

【0080】

コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、概して、互いからリモートにあり、一般に、通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行する、互いに対してクライアント-サーバ関係を有する、コンピュータプログラムにより生じる。いくつかの実施形態では、サーバは、たとえば、クライアントとして機能する、デバイスと対話しているユーザにデータを表示し、そこからユーザ入力を受信するために、データ、たとえば、HTMLページをユーザデバイスに送信する。ユーザデバイスにおいて生成されたデータ、たとえば、ユーザ対話の結果は、サーバにおいてデバイスから受信され得る。

【0081】

添付の特許請求の範囲の実施形態および上記で説明した実施形態に加えて、以下の番号付けされた実施形態も革新的である:

【0082】

実施形態1は、第1のユーザデバイス上の第1のクライアントによって、ソーシャルメッセージングプラットフォームに対するオーディオメッセージを記録するための要求を受信するステップであって、第1のクライアントが、第1のユーザデバイス上で実行しているソフトウェアであり、第1のクライアントが、プラットフォーム上のユーザアカウントにログインされた第1のユーザデバイスを使用するユーザ用のプラットフォームのためのユーザインターフェースを提供するように構成され、要求が、ユーザインターフェースを通して受信される、受信するステップと、第1のユーザデバイスのマイクロフォンを通してオーディオを記録するステップと、(i)ビデオファイルのオーディオ部分として、記録されたオーディオと、ビデオファイルのビデオ部分として、プログラム的に生成された最小ビデオコンテンツとを含むビデオファイルを生成し、(ii)ビデオファイルをプラットフォームメッセージ内に含めることによって、プラットフォームメッセージを生成するステップと、第1のクライアントによって、第1のクライアントによって受信されたポスティング要求に応じて、プラットフォームメッセージをプラットフォームにポスティングするステップとを含む方法である。

【0083】

実施形態2は、第1のユーザデバイス上の第1のクライアントによって、記録されたオーディオを編集するための1つまたは複数の編集要求を受信するステップと、1つまたは複数の編集要求に応じて、プラットフォームメッセージを生成する前に、記録されたオーディオを編集するステップとをさらに含む、実施形態1の方法である。

【0084】

実施形態3は、最小ビデオコンテンツが、オーディオ記録の持続時間内の移動波形の外観を表し、方法が、第1のユーザデバイス上の第1のクライアントによって、オーディオ記録内の特定の時点で効果音を挿入するための要求を受信するステップと、第1のユーザデバイス上の第1のクライアントによって、効果音に対応するビジュアルマーカーの選択、および記録されたオーディオ内に効果音をいつ含めるかを示す時間入力を受信するステップであって、ビジュアルマーカーが、ユーザインターフェース上に表示された1つまたは複数のビジュアルマーカーの中から選択される、受信するステップと、ビジュアルマーカーの選択および時間入力に応じて、記録されたオーディオ内で受信された時間入力において効果音を再生するために、記録されたオーディオを修正するステップと、時間入力に対応する位置においてビジュアルマーカーを移動波形上に表示するために最小ビデオコンテンツを修正するステップとを含む、実施形態1または2の方法である。

【0085】

実施形態4は、記録されたオーディオを修正するステップが、受信された時間入力において効果音をリコーデッドオーディオ内に挿入するステップを含む、実施形態3の方法である。

【0086】

実施形態5は、記録オーディオを修正するステップが、受信された時間入力において、記録されたオーディオ上に効果音をオーバーレイするステップであって、オーディオ記録が、受信された時間入力において再生されるとき、受信された時間入力と効果音の両方を含むとき、オーバーレイするステップを含む、実施形態3または4の方法である。

【0087】

実施形態6は、最小ビデオコンテンツが、不変画像、モノクローム画像、または静的背景に対する波形のループである、実施形態1から5のいずれか1つの方法である。

【0088】

実施形態7は、波形が、第1のユーザデバイスに対する、記録されたオーディオの少なくとも一部分の視覚的表現である、実施形態6の方法である。

【0089】

実施形態8は、ビデオファイルがMPEG-4ファイルである、実施形態1から7のいずれか1つの方法である。

【0090】

実施形態9は、方法が、第1のクライアントによって、音声テキスト要求を受信するステップと、音声テキスト要求に応じて、記録されたオーディオ内の音声を検出するステップと、検出された音声に対応するテキストを生成するステップと、検出された音声に対応する、生成されたテキストを表示するステップとをさらに含み、プラットフォームメッセージを生成するステップが、生成されたテキストをプラットフォームメッセージに追加するステップと、ソーシャルメッセージングプラットフォームによって、検索のためのプラットフォームメッセージを索引付けするために、生成されたテキストを使用するステップとを含む、実施形態1から8のいずれか1つの方法である。

【0091】

実施形態10は、ユーザデバイス上のクライアントによって、ビデオファイルを含むプラットフォームメッセージを受信するステップであって、ビデオファイルが、ビデオ部分およびオーディオ部分を有する、受信するステップと、クライアントによって、ビデオファイルのビデオ部分がプログラム的に生成されている最小ビデオコンテンツを含むと決定するステップと、応答して、クライアントによって、第2のビデオコンテンツを取得するステップであって、第2のビデオコンテンツが、最小ビデオコンテンツとは異なる、取得するステップと、プラットフォームメッセージのビデオファイルのオーディオ部分を再生しながら、ユーザデバイスのディスプレイ上に、第2のビデオコンテンツを表示するステップとを含む方法である。

【0092】

実施形態11は、第2のビデオコンテンツを取得するステップが、クライアントによって、第2のビデオコンテンツを生成するステップを含む、実施形態10の方法である。

【0093】

実施形態12は、ビデオファイルのビデオ部分が最小ビデオコンテンツを含むと決定するステップが、ビデオファイルのビデオ部分を指定するデータの署名がプログラム的に生成された最小ビデオコンテンツに対応するデータのあらかじめ決定された署名にマッチすると決定するステップを含む、実施形態10または11の方法である。

【0094】

実施形態13は、1つまたは複数のコンピュータと、1つまたは複数の記憶デバイスとを備えたシステムであって、1つまたは複数の記憶デバイスが、1つまたは複数のコンピュータによって実行されると、1つまたは複数のコンピュータに請求項1から12のいずれか1つの方法を実行させるように動作可能である命令を記憶する、システムである。

【0095】

実施形態14は、コンピュータプログラムで符号化されたコンピュータ記憶媒体であって、プログラムが、データ処理装置によって実行されると、データ処理装置に請求項1から12のいずれか1つの方法を実行させるように動作可能である命令を含む、コンピュータ記憶媒体である。

【0096】

本明細書は多くの特定の実装形態詳細を含むが、これらは、特許請求の範囲自体によって定義される、特許請求されるものの範囲に対する限定としてでなく、特定の発明の特定の実施形態に固有であり得る特徴の説明として解釈されるべきである。本明細書において別々の実施形態の文脈で説明したいくつかの特徴は、単一の実施形態において組み合わされて実装されてもよい。反対に、単一の実施形態の文脈で説明した様々な特徴は、複数の実施形態で別々にまたは任意の好適な部分組合せで実装されてもよい。さらに、特徴はいくつかの組合せで動作するとして上記で説明されている場合があり、当初、そのように特許請求されている場合すらあるが、特許請求される組合せからの1つまたは複数の特徴は、場合によっては、その組合せから削除されてよく、その請求項は、部分組合せまたは部分組合せの変形体に関する場合がある。

【0097】

同様に、動作は特定の順序で図面において示され、また特許請求の範囲において列挙されるが、これは、そのような動作が示される特定の順序でまたは順番で実行されること、または所望の結果を達成するために、すべての示された動作が実行されることを必要とすると理解されるべきではない。状況によっては、マルチタスキングおよび並列処理が有利であり得る。さらに、上記で説明した実施形態における様々なシステムモジュールおよび構成要素の分離は、そのような分離がすべての実施形態で必要とされると解釈されるべきではなく、説明したプログラム構成要素およびシステムは、概して、単一のソフトウェア製品内に一緒に統合されてよいか、または複数のソフトウェア製品にパッケージ化されてよいことを理解されたい。

【0098】

主題の特定の実施形態について説明した。他の実施形態は、以下の特許請求の範囲内である。たとえば、特許請求の範囲で記載されるアクションは、異なる順序で実行され、所望の結果を依然として達成することができる。一例として、添付の図面に示したプロセスは、所望の結果を達成するために、必ずしも示された特定の順序または連続した順番を必要とするとは限らない。場合によっては、マルチタスキングおよび並列処理が有利であり得る。

【符号の説明】

【0099】

100 オンラインソーシャルメッセージングプラットフォーム、プラットフォーム
102a～102n ユーザ
104a～104n ユーザデバイス
106a～106n クライアントソフトウェア
108a オーディオメッセージエンジン
110a～110m プラットフォームサーバ
112a オーディオデータメッセージエンジン
120 データ通信ネットワーク
122 メッセージ
124 メッセージ
200 プロセス
220 再生
225 修正
300 ユーザインターフェース、インターフェース
305 記録入力要素
310 ユーザデバイス
315 マイクロフォン
320 動画波形
400 ユーザインターフェース
405 波形
410 タイムスライダー要素
415 効果音マーカー
420 オーディオ効果音マーカー、マーカー
425 再生要素
430 時間マーカー
500 ユーザインターフェース
505 メッセージストリーム
510 オーディオメッセージ、メッセージ
600 プロセス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2022-06-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

第1のユーザデバイス上で実行しているクライアントによって、ソーシャルメッセージングプラットフォームに対するオーディオメッセージを記録するための要求を受信するステップであって、前記クライアントが、前記第1のユーザデバイス上で実行しているソフトウェアであり、前記クライアントが、前記プラットフォーム上のユーザアカウントにログインされた前記第1のユーザデバイスを使用するユーザ用の前記プラットフォームのためのユーザインターフェースを提供するように構成され、前記要求が、前記ユーザインターフェースを通して受信される、受信するステップと、
前記クライアントによって、前記要求に応じて、前記第1のユーザデバイスのマイクロフォンを通して受信されたオーディオを記録するステップと、
前記記録されたオーディオをオーディオビジュアルフォーマットで符号化しながら、ビデオデータに対するプレースホルダーとして提供されることになるビデオコンテンツをプログラム的に生成するステップと、
(i)ビデオファイルのオーディオ部分として、前記記録されたオーディオと、前記ビデオファイルのビデオ部分をオーディオビジュアルフォーマットで含めるための前記プレースホルダーとして、前記プログラム的に生成されたビデオコンテンツとを符号化することによって、前記ビデオファイルを生成し、(ii)前記ビデオファイルをプラットフォームメッセージ内に含めることによって、前記プラットフォームメッセージを生成するステップと、
前記クライアントによって、前記クライアントによって受信されたポスティング要求に応じて、前記プラットフォームメッセージを前記プラットフォームにポスティングするステップであって、第2のユーザデバイスが、前記プラットフォームメッセージの受信に応じて、前記ビデオファイルが前記プログラム的に生成されたビデオコンテンツを含むと決定するように構成され、前記第2のユーザデバイスが、i)前記ビデオコンテンツの代わりに、前記第2のユーザデバイスによってレンダリングされたビデオコンテンツを含む前記プラットフォームメッセージ内の前記ビデオファイルを再生し、ii)前記ビデオファイルの前記オーディオ部分を再生するように構成される、ポスティングするステップと
を含む、方法。

【請求項2】

前記ビデオコンテンツが、オーディオ記録の持続時間内の移動波形の外観を提示し、前記方法が、
前記クライアントによって、前記オーディオ記録の特定の時点において効果音を挿入するための要求を受信するステップと、
前記クライアントによって、効果音に対応するビジュアルマーカーの選択、および前記記録されたオーディオ内に前記効果音をいつ含めるかを示す時間入力を受信するステップであって、前記ビジュアルマーカーが、前記ユーザインターフェース上に表示された1つまたは複数のビジュアルマーカーの中から選択される、受信するステップと、
前記ビジュアルマーカーの前記選択および前記時間入力に応じて、
前記記録されたオーディオ内で前記受信された時間入力において前記効果音を再生するために、前記記録されたオーディオを修正するステップと、
前記時間入力に対応する位置において前記ビジュアルマーカーを前記移動波形上に表示するために、前記ビデオコンテンツを修正するステップと
を含む、請求項1に記載の方法。

【請求項3】

前記記録されたオーディオを修正するステップが、
前記受信された時間入力において前記効果音を前記記録されたオーディオ内に挿入するステップ、または
前記受信された時間入力において前記記録されたオーディオ上に前記効果音をオーバーレイするステップであって、前記オーディオ記録が、前記受信された時間入力において再生されるとき、前記受信された時間入力と前記効果音の両方を含むとき、オーバーレイするステップと
を含む、請求項2に記載の方法。

【請求項4】

前記ビデオコンテンツが、不変画像、モノクローム画像、または静的背景に対する波形のループであり、前記波形が、前記記録されたオーディオの少なくとも一部分の視覚的表現である、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記ビデオファイルがMPEG-4ファイルである、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記動作が、
音声テキスト要求を受信するステップと、
前記音声テキスト要求に応じて、
前記記録されたオーディオ内の音声を検出するステップと、
前記検出された音声に対応するテキストを生成するステップと、
前記検出された音声に対応する、前記生成されたテキストを表示するステップと
をさらに含み、
前記プラットフォームメッセージを生成するステップが、検索のために前記プラットフォームによって前記プラットフォームメッセージに索引付けする際に使用するために、前記生成されたテキストを前記プラットフォームメッセージに追加するステップを含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

前記ビデオコンテンツが、前記ビデオコンテンツがプログラム的に生成されていることを示すフラグを含み、
前記ビデオファイルが前記プログラム的に生成されたビデオコンテンツを含むと決定するステップが、前記ビデオコンテンツが前記フラグを含むと決定するステップを含む、]
請求項1から6のいずれか一項に記載の方法。

【請求項8】

クライアントがユーザデバイスによって実行されると、前記クライアントに請求項1から7のいずれか一項に記載の動作を実行させるように動作可能である前記クライアントの命令が記憶されたユーザデバイス。

【請求項9】

ユーザデバイス上で実行しているクライアントによって、プラットフォームメッセージをソーシャルメッセージングプラットフォームから受信するステップであって、前記プラットフォームメッセージが、ビデオファイルをオーディオビジュアルフォーマットで含み、前記ビデオファイルが、ビデオ部分およびオーディオ部分を有し、前記クライアントが、前記プラットフォーム上のユーザアカウントにログインされた前記ユーザデバイスを使用するユーザ用の前記プラットフォームのためのユーザインターフェースを提供するように構成される、受信するステップと、
前記ビデオファイルの前記ビデオ部分が、プログラム的に生成されているビデオコンテンツを含むと決定するステップと、それに応じて、
第2のビデオコンテンツを取得するステップであって、前記第2のビデオコンテンツが、前記ビデオコンテンツとは異なる、取得するステップと、
前記プラットフォームメッセージの前記ビデオファイルの前記オーディオ部分を再生しながら、前記ビデオファイルの前記ビデオ部分を置換するために、前記第2のビデオコンテンツをレンダリングすることによって、前記プラットフォームメッセージの前記ビデオファイルを前記ユーザデバイスのディスプレイ上に表示するステップと
を含む、方法。

【請求項10】

前記第2のビデオコンテンツを取得するステップが、前記クライアントによって、前記第2のビデオコンテンツを生成するステップを含む、請求項9に記載の方法。

【請求項11】

前記ビデオファイルの前記ビデオ部分が前記ビデオコンテンツを含むと決定するステップが、
前記ビデオファイルの前記ビデオ部分を指定するデータの署名がプログラム的に生成されたビデオコンテンツに対応するデータのあらかじめ決定された署名にマッチすると決定するステップ
を含む、請求項9または10に記載の方法。

【請求項12】

前記ビデオファイルの前記ビデオ部分が前記ビデオコンテンツを含むと決定するステップが、
前記ビデオ部分が、前記ビデオコンテンツがプログラム的に生成されたことを示すフラグを含むと決定するステップ
を含む、請求項9から11のいずれか一項に記載の方法。

【請求項13】

前記プログラム的に生成されたビデオコンテンツが、前記オーディオ部分よりも少なく前記ビデオファイルのファイルサイズに寄与する、請求項1から12のいずれか一項に記載の方法。

【請求項14】

1つまたは複数のコンピュータと、1つまたは複数の記憶デバイスとを備え、前記1つまたは複数の記憶デバイスが、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに請求項1から13のいずれか一項に記載の動作を実行させるように動作可能である命令を記憶した、
システム。

【請求項15】

クライアントの命令で符号化された、1つまたは複数の非一時的コンピュータ可読記憶媒体であって、前記命令が、ユーザデバイスによって実行されると、前記クライアントに請求項1から13のいずれか一項に記載の動作を実行させる、非一時的コンピュータ可読記憶媒体。

【国際調査報告】