特許 7465486 画像認識のためのシステム、方法、及びコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-03

(45)【発行日】2024-04-11

(54)【発明の名称】画像認識のためのシステム、方法、及びコンピュータ可読媒体

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240404BHJP

【ＦＩ】

H04N7/15

【請求項の数】 15

(21)【出願番号】P 2022522349

(86)(22)【出願日】2021-12-30

(65)【公表番号】

(43)【公表日】2024-02-02

(86)【国際出願番号】 US2021073182

(87)【国際公開番号】W WO2023129181

(87)【国際公開日】2023-07-06

【審査請求日】2022-04-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】517287224

【氏名又は名称】１７ＬＩＶＥ株式会社

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(72)【発明者】

【氏名】チャン，ユーチュアン

(72)【発明者】

【氏名】チウ，ポ－シェン

(72)【発明者】

【氏名】ウー，シャオ ユアン

(72)【発明者】

【氏名】チェン，ミン－チュ

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０２１－０８７１５０（ＪＰ，Ａ）

【文献】特開２０２０－０４４１３２（ＪＰ，Ａ）

【文献】特開２０１３－１９２８０４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１７７８２３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

第１ユーザの映像を含む第１表示領域と、前記第１ユーザとの通話に参加している第２ユーザの映像を含む第２表示領域と、を含む通話画面をユーザ端末に表示する工程と、
前記通話画面に第１のパターンを表示する工程と、
前記第１のパターンを、前記通話画面に表示された前記第１ユーザの映像の一部及び前記第２ユーザの映像の一部と比較する工程と、
前記比較の結果に基づいて、前記通話画面に特殊効果を表示する工程と、
を含むことを特徴とする、方法。

【請求項2】

前記第１ユーザの映像の前記一部の位置及び前記第２ユーザの映像の前記一部の位置がリアルタイムで調整されることを特徴とする、請求項１に記載の方法。

【請求項3】

前記第１のパターンと前記第１ユーザの映像の前記一部及び前記第２ユーザの映像の前記一部との比較が、前記第１のパターンと、前記第１ユーザの映像の前記一部及び前記第２ユーザの映像の前記一部で構成される第２のパターン間の類似度係数の算出を含む、ことを特徴とする、請求項１に記載の方法。

【請求項4】

さらに、前記類似度係数が所定値以上である場合、前記特殊効果を表示する工程を含む、ことを特徴とする、請求項３に記載の方法。

【請求項5】

さらに、
前記第１のパターンと前記第２のパターン間の前記類似度係数を周期的に算出する工程、
を含む、請求項３に記載の方法。

【請求項6】

さらに、周期的に算出される前記類似度係数が、所定の期間にわたり所定値以上である場合、前記ユーザ端末上に同期が許容可能であることを示すメッセージを表示する工程を含む、ことを特徴とする、請求項５に記載の方法。

【請求項7】

さらに、ジェスチャ認識処理、皮膚認識処理、輪郭認識処理、形状検出処理、オブジェクト認識処理、画像比較処理、または移動体検出処理で、前記第２のパターンを認識する工程を含む、ことを特徴とする、請求項３に記載の方法。

【請求項8】

前記第１ユーザの映像の前記一部が、前記第１ユーザの身体部分または非身体部分の映像を含む、ことを特徴とする、請求項１に記載の方法。

【請求項9】

前記第１のパターンと前記第２のパターン間の前記類似度係数の算出が、相関計算処理、軌跡重畳処理、正規化処理、または最小距離判定処理を含む、ことを特徴とする、請求項３に記載の方法。

【請求項10】

さらに、前記通話画面において前記第１表示領域と前記第２表示領域とを入れ替える工程を含む、ことを特徴とする、請求項１に記載の方法。

【請求項11】

前記第１のパターンが、前記第１表示領域及び前記第２表示領域に跨ることを特徴とする、請求項１に記載の方法。

【請求項12】

さらに、前記比較の結果に基づき、贈り物の送信を実現する工程を含む、ことを特徴とする、請求項１に記載の方法。

【請求項13】

前記贈り物の価値が、前記第１のパターンのマッチング難易度に対応する、ことを特徴とする、請求項１２に記載の方法。

【請求項14】

１以上のプロセッサを備え、そのうち、前記１以上のプロセッサが機械可読命令を実行して、
第１ユーザの映像を含む第１表示領域と、前記第１ユーザとの通話に参加している第２ユーザの映像を含む第２表示領域と、を含む通話画面をユーザ端末に表示する工程と、
前記通話画面に第１のパターンを表示する工程と、
前記第１のパターンを、前記通話画面に表示された前記第１ユーザの映像の一部及び前記第２ユーザの映像の一部と比較する工程と、
前記比較の結果に基づいて、前記通話画面に特殊効果を表示する工程と、
を実行させることを特徴とする、システム。

【請求項15】

画像認識のためのプログラムを含む非一時的なコンピュータ可読媒体であって、そのうち、前記プログラムが、１以上のコンピュータに、
第１ユーザの映像を含む第１表示領域と、前記第１ユーザとの通話に参加している第２ユーザの映像を含む第２表示領域と、を含む通話画面をユーザ端末に表示する工程と、
前記通話画面に第１のパターンを表示する工程と、
前記第１のパターンを、前記通話画面に表示された前記第１ユーザの映像の一部及び前記第２ユーザの映像の一部と比較する工程と、
前記比較の結果に基づいて、前記通話画面に特殊効果を表示する工程と、
を実行させることを特徴とする、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ライブビデオストリーミングまたはビデオ電話会議における画像処理または映像処理に関する。

【背景技術】

【0002】

ユーザ同士のオンライン通信に参加することを可能にするさまざまな技術が知られている。そのアプリケーションには、ライブストリーミング、ライブ電話会議などが含まれる。これらアプリケーションの普及に伴い、コミュニケーション中の交流体験の向上とより円滑な同期に対するユーザからの要望が高まっている。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様に係る方法は、画像認識方法である。本発明の方法は、ユーザ端末に表示する第１のパターンを取得する工程と、当該第１のパターンと当該ユーザ端末に表示されているユーザの部分を比較する工程と、当該比較の結果を更新する工程と、を含む。

【0004】

本発明の一実施態様に係るシステムは、１以上のプロセッサを含む画像認識のためのシステムであり、当該１以上のプロセッサが機械可読命令を実行し、ユーザ端末に表示する第１のパターンを取得する工程と、当該第１のパターンを当該ユーザ端末に表示されるユーザの部分と比較する工程と、当該比較の結果を更新する工程と、を実行する。

【0005】

本発明の一実施態様に係るコンピュータ可読媒体は、画像認識のためのプログラムを含む非一時的なコンピュータ可読媒体であり、当該プログラムが、１または複数のコンピュータに、ユーザ端末に表示される第１のパターンを取得する工程と、当該第１のパターンを当該ユーザ端末に表示されるユーザの部分と比較する工程と、当該比較の結果を更新する工程と、を実行させる。

【図面の簡単な説明】

【0006】

【図1】グループ通話の一例を示す概略図である。

【図2A】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図2B】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図2C】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図3A】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図3B】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図4】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図5】本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図である。

【図6】本発明の一部の実施態様に基づくライブストリーミングにおける例示的な交流を示す概略図である。

【図7】本発明の一部の実施態様に基づく通信システムの構成を示す概略図である。

【図8】本発明の一部の実施態様に基づく通信システムの動作を示す例示的なシーケンス図である。

【図9】本発明の一部の実施態様に基づく通信システムの例示的な機能構成図である。

【発明を実施するための形態】

【0007】

ライブストリーミングサービス、アプリケーション（ＡＰＰ）またはプラットフォームの一部では、複数のユーザ（配信者、視聴者、放送者、アンカーなど）がグループ通話モードや電話会議モードで参加することが可能であり、そのうち、複数のユーザの映像がユーザ端末の画面上に同時に表示され、そのグループ通話またはグループ通話への参加を表示する。当該ユーザ端末は、スマートフォンやタブレット、パソコン、ノートパソコンとすることができ、それを使用して当該ユーザの１人が当該グループ通話に参加する。

【0008】

図１にグループ通話の一例を示す概略図を示す。Ｓ１は当該グループ通話を表示するユーザ端末の画面である。ＲＡは、当該画面Ｓ１内の表示領域であり、ユーザＡのライブ映像を表示する。ＲＢは、当該画面Ｓ１内の表示領域であり、ユーザＢのライブ映像を表示する。ＲＣは、当該画面Ｓ１内の表示領域であり、ユーザＣのライブ映像を表示する。ＲＤは、当該画面Ｓ１内の表示領域であり、ユーザＤのライブ映像を表示する。当該ユーザＡのライブ映像は、ユーザＡの近傍に配置されたカメラなどの映像撮影装置によって撮影され、提供されてもよい。当該ユーザＢのライブ映像は、ユーザＢの近傍に配置されたカメラなどの映像撮影装置によって撮影され、提供されてもよい。当該ユーザＣのライブ映像は、ユーザＣの近傍に配置されたカメラなどの映像撮影装置によって撮影され、提供されてもよい。当該ユーザＤのライブ映像は、ユーザＤの近傍に配置されたカメラなどの映像撮影装置によって撮影され、提供されてもよい。

【0009】

従来、ユーザＡ、Ｂ、Ｃ、Ｄはそれぞれの表示領域で行動しており、異なる表示領域を横断する集合的な交流は欠如していた。ユーザがグループ通話に参加するモチベーションを高めるためには、より集合的、あるいは興味深い交流が望まれる。

【0010】

従来、グループ通話中にユーザＡ、Ｂ、Ｃ、Ｄ間の接続に遅延、遅れ、非同期などの問題が発生したとき、あるユーザは接続の問題にすぐに気づかず、他のユーザが自分のメッセージ（音声や映像）を同期して、または円滑に受信できていないまま話し続けることがある。あるいは、非同期問題が起きているのではないかという懸念や疑いがあっても、ユーザがそれをテストしたり明らかにしたりする便利な方法がない。したがって、グループ通話接続の同期状態をテストする便利な方法をユーザが開始できることが望ましい。

【0011】

図２Ａ、図２Ｂ、図２Ｃに本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す概略図を示す。

【0012】

図２Ａに示すように、軌跡または輪郭Ｏ１が当該画面Ｓ１上に表示される。当該輪郭Ｏ１は、当該表示領域ＲＡ、ＲＢ、ＲＣ、ＲＤにわたって表示される。各表示領域に当該輪郭Ｏ１の１部分が表示される。本実施態様において、当該表示領域ＲＡ、ＲＢ、ＲＣ、ＲＤは相互に分離されている。一部の実施態様において、当該表示領域ＲＡ、ＲＢ、ＲＣ、ＲＤは一部が重なり合ってもよい。本実施態様において、当該輪郭Ｏ１はハート形である。一部の実施態様において、当該輪郭は円形、楕円形、四角形など、任意の形状とすることができる。当該輪郭Ｏ１は、第１のパターンと呼んでもよい。当該輪郭Ｏ１は、サーバまたはユーザ端末から取得されてもよい。

【0013】

図２Ｂに示すように、ユーザＡ、Ｂ、Ｃ、Ｄは当該輪郭Ｏ１に合わせようとする。当該輪郭Ｏ１は、ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤの部分と比較される。ユーザＡは、手や腕を使用して（部分的に衣服で覆われていてもよい）、当該表示領域ＲＡ内に表示されている当該輪郭Ｏ１の当該部分に合わせたり、適合させたりする。ユーザＢは、手や腕を使用して（部分的に衣服で覆われていてもよい）、当該表示領域ＲＢ内に表示されている当該輪郭Ｏ１の当該部分に合わせたり、適合させたりする。ユーザＣは、手や腕を使用して（部分的に衣服で覆われていてもよい）、当該表示領域ＲＣ内に表示されている当該輪郭Ｏ１の当該部分に合わせたり、適合させたりする。ユーザＤは、手や腕を使用して（部分的に衣服で覆われていてもよい）、当該表示領域ＲＤ内に表示されている当該輪郭Ｏ１の当該部分に合わせたり、適合させたりする。

【0014】

図２Ｃに示すように、当該画面Ｓ１上に特殊効果Ｏ１１が表示される。当該特殊効果Ｏ１１は、当該輪郭Ｏ１とユーザＡ、ユーザＢ、ユーザＣ、ユーザＤの部分との比較結果の更新として機能することができる。当該特殊効果Ｏ１１は、当該輪郭Ｏ１のグラフィックオブジェクト、アニメーションオブジェクト、または具現化オブジェクトであってもよい。一部の実施態様において、当該特殊効果Ｏ１１は、ユーザの当該部分（ユーザＡ、Ｂ、Ｃ、Ｄの身体部分または非身体部分など）によって形成または構成される集合形状または集合パターンが、当該輪郭Ｏ１に一致または適合する場合に表示される。当該集合パターンは、表示領域ＲＡ、ＲＢ、ＲＣ、ＲＤにわたって形成される。

【0015】

一部の実施態様において、当該ユーザらにより形成される当該集合パターンは、ユーザ端末またはパターン認識処理を有する当該グループ通話のサービスを提供するシステムによって認識されてもよい。一部の実施態様において、当該パターン認識処理は、ジェスチャ認識処理、皮膚認識処理、輪郭認識処理、形状認識処理またはオブジェクト認識処理を含んでもよい。一部の実施態様において、当該パターン認識処理は、画像比較処理（一連の画像と各ユーザの表示領域に既定の初期背景画像との比較など）または移動体検出処理を含んでもよい。一部の実施態様において、動き推定（ＭＥ）法または動き補償（ＭＣ）法が使用されてもよい。一部の実施態様において、当該集合パターンは、第２のパターンと呼んでもよい。

【0016】

当該集合パターンが当該輪郭Ｏ１と一致するか否かの判定（あるいは、当該輪郭Ｏ１と当該ユーザの部分の比較）は、画像またはパターンの比較／照合処理によって行われてもよく、これは、当該集合パターンと当該輪郭Ｏ１との間の類似度係数（相関値など）を算出することを含んでもよい。一部の実施態様において、当該類似度係数の算出は、相関計算処理、軌跡重畳処理、正規化処理、または最小距離判定処理を含んでもよい。当該画像またはパターン比較処理は、ユーザ端末または当該グループ通話のサービスを提供するシステムによって実行されてもよい。一部の実施態様において、当該特殊効果Ｏ１１は、当該類似度係数が所定値以上である場合に表示される。

【0017】

図３Ａ、図３Ｂに、本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す別の概略図を示す。

【0018】

図３Ａに示すように、当該輪郭Ｏ１はオフセットにより移動し続け、当該ユーザの部分（手などの）の位置がリアルタイムに調整される。本実施態様において、当該輪郭Ｏ１は横方向に移動される。別の実施態様において、当該輪郭Ｏ１は縦方向、対角方向、または任意の方向に移動されてもよい。一部の実施態様において、当該輪郭Ｏ１は前後方向に移動されてもよい。一部の実施態様において、当該輪郭Ｏ１は、１秒、２秒、または３秒などの時間周期で周期的に移動されてもよい。一部の実施態様において、当該輪郭Ｏ１は、異なる時間周期で間欠的に移動されてもよい。

【0019】

図３Ｂに示すように、特殊効果Ｏ１１は当該画面Ｓ１上に表示される。当該特殊効果Ｏ１１は、当該輪郭Ｏ１のグラフィックオブジェクト、アニメーションオブジェクト、または具現化オブジェクトであってもよい。一部の実施態様において、当該特殊効果Ｏ１１は、ユーザの当該部分（ユーザＡ、Ｂ、Ｃ、Ｄの身体部分または非身体部分など）によって形成または構成される集合形状または集合パターンが、当該輪郭Ｏ１に一致または適合する場合に表示される。本実施態様において、当該輪郭Ｏ１は移動する輪郭または移動体である。したがって、ユーザＡ、Ｂ、Ｃ、Ｄは、その集合パターンが連続的または周期的に当該輪郭Ｏ１に一致または適合するように、当該輪郭Ｏ１の動きに合わせて自分の部分を移動させる必要がある。

【0020】

当該集合パターンは、当該ユーザ端末またはパターン認識処理を有する当該グループ通話のサービスを提供するシステムによって連続的または周期的に認識されてもよい。当該集合パターンが当該輪郭Ｏ１と一致するか否かの判定は、画像またはパターン比較処理によって行われてもよく、この処理は、移動する集合パターンと移動する当該輪郭Ｏ１との間の類似度係数（相関値など）を連続的または周期的に算出することを含んでもよい。当該画像またはパターン比較処理は、ユーザ端末または当該グループ通話のサービスを提供するシステムによって実行されてもよい。一部の実施態様において、当該特殊効果Ｏ１１は、当該類似度係数が連続的または周期的に所定値以上である場合に表示される。例えば、当該特殊効果Ｏ１１は、当該類似度係数が所定の期間（５秒や１０秒など）、または所定のサイクル数（当該輪郭Ｏ１の動作回数が３回や５回など）に所定値以上である場合に表示される。

【0021】

図４に本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す別の概略図を示す。

【0022】

図４に示すように、当該輪郭Ｏ１は、オフセット角度で連続的、周期的または間欠的に回転される。一部の実施態様において、当該輪郭Ｏ１は前後方向に回転されてもよい。一部の実施態様において、当該輪郭Ｏ１は、１秒、２秒、または３秒などの時間周期で周期的に回転されてもよい。一部の実施態様において、当該輪郭Ｏ１は、異なる時間周期で間欠的に回転されてもよい。

【0023】

特殊効果Ｏ１１は当該画面Ｓ１上に表示される。当該特殊効果Ｏ１１は、当該輪郭Ｏ１のグラフィックオブジェクト、アニメーションオブジェクト、または具現化オブジェクトであってもよい。一部の実施態様において、当該特殊効果Ｏ１１は、ユーザの当該部分（ユーザＡ、Ｂ、Ｃ、Ｄの身体部分または非身体部分など）によって形成または構成される集合形状または集合パターンが、当該輪郭Ｏ１に一致または適合する場合に表示される。本実施態様において、当該輪郭Ｏ１は移動する輪郭または移動体である（ここで「移動」は「回転」を含む）。したがって、ユーザＡ、Ｂ、Ｃ、Ｄは、その集合パターンが連続的または周期的に当該輪郭Ｏ１に一致または適合するように、当該輪郭Ｏ１の動き（または回転）に合わせて自分の部分を移動させる必要がある。

【0024】

当該集合パターンは、当該ユーザ端末またはパターン認識処理を有する当該グループ通話のサービスを提供するシステムによって連続的または周期的に認識されてもよい。当該集合パターンが当該輪郭Ｏ１と一致するか否かの判定は、画像またはパターン比較処理によって行われてもよく、この処理は、移動／回転する集合パターンと移動／回転する当該輪郭Ｏ１との間の類似度係数（相関値など）を継続的または周期的に算出することを含んでもよい。当該画像またはパターン比較処理は、ユーザ端末または当該グループ通話のサービスを提供するシステムによって実行されてもよい。一部の実施態様において、当該特殊効果Ｏ１１は、当該類似度係数が連続的または周期的に所定値以上である場合に表示される。例えば、当該特殊効果Ｏ１１は、当該類似度係数が所定の期間（５秒や１０秒など）、または所定のサイクル数（当該輪郭Ｏ１の動作回数が３回や５回など）に所定値以上である場合に表示される。

【0025】

一部の実施態様において、当該輪郭Ｏ１とユーザにより形成される当該集合パターンのマッチングを連続的または周期的に行うことは、当該グループ通話の当該ユーザ間の接続の同期状態または同期レベルをテストする方法として利用することもできる。例えば、あるユーザは通信が円滑でないと感じた場合、当該ユーザはユーザ端末を通じて、当該輪郭Ｏ１を表示する工程と、当該輪郭Ｏ１を周期的に移動させる工程と、当該ユーザが形成する集合パターンを周期的に認識させる工程と、当該集合パターンと当該輪郭Ｏ１を周期的に比較する工程などの一連の工程を開始することができる。周期的なマッチング（例えば、所定期間や所定サイクル数のマッチング）が達成された場合、同期レベルが許容可能であると判断されてもよい。

【0026】

例えば、当該輪郭Ｏ１と当該集合パターン間の当該類似度係数が所定の期間にわたり所定値以上である場合、同期レベルが許容可能であることを示すメッセージが当該ユーザ端末上に表示されてもよい。当該メッセージは、特殊効果Ｏ１１のような特殊効果、またはその他任意の形態とすることができる。反対に、当該輪郭Ｏ１と当該集合パターン間の当該類似度係数が所定値未満である場合、同期レベルが許容不可であることを示すメッセージが当該ユーザ端末上に表示されてもよい。その場合、ユーザは、接続状態が良くないことを知ることができ、通信のペースを遅くしたり、別の通信方法に変更したりすることができる。一部の実施態様において、上述の同期テストは、オンラインゲームまたはユーザ間の円滑な接続を必要とする任意のイベントを開始する前に行われてもよい。

【0027】

図５に本発明の一部の実施態様に基づくグループ通話における例示的な交流を示す別の概略図を示す。

【0028】

本実施態様において、ユーザＡ、Ｂ、Ｃ、Ｄは当該輪郭Ｏ１に一致または適合するように、オブジェクトまたはツールＴ１を使用する。当該ツールＴ１は、柔軟な材料を含み、特定の形状に適合するように曲げたり変形させたりすることができる。例えば、ユーザＡは当該ツールＴ１を曲げて、当該表示領域ＲＡに表示された当該輪郭Ｏ１の当該部分に合わせることができる。一部の実施態様において、当該ツールＴ１の色や形状などの情報をユーザ端末または当該グループ通話のサービスを提供するシステムに教えることができる。当該ユーザ端末または当該システムは、当該ツールＴ１の当該情報を使用して、ユーザＡ、Ｂ、Ｃ、Ｄにより形成される当該集合パターンを認識することができる。

【0029】

図６に本発明の一部の実施態様に基づくライブストリーミング（グループ通話の形式またはグループ通話以外の形式であってもよい）における例示的な交流を示す別の概略図を示す。

【0030】

本実施態様において、ユーザＡ、Ｂ、Ｃ、Ｄは、ユーザ端末の画面Ｓ１上の単一の表示領域内に表示される。ユーザＡ、Ｂ、Ｃ、Ｄは、実際に同一の空間内にいてもよい。あるいは、ユーザＡ、Ｂ、Ｃ、Ｄは別々の空間内におり、それぞれの画像または映像がユーザ端末または当該ストリーミングサービスに参加またはこれを提供するシステムにより実行される画像処理または映像処理を通じて、１つの表示領域内に結合されてもよい。前述した実施態様と同様に、ユーザＡ、Ｂ、Ｃ、Ｄは当該輪郭Ｏ１に一致する集合パターンを形成しようとする。一致が達成された場合、特殊効果が発生してもよい。

【0031】

一部の実施態様において、（ユーザの部分で形成される）集合パターンと所定の輪郭のマッチングに成功した場合の特殊効果を報酬と見なすこともできる。また、マッチングの仕組みは、複数のユーザが参加するライブストリーミングの雰囲気や交流を盛り上げる手法と見なされてもよい。例えば、マッチングが成功すると、寄付が開始されたり、そのトリガーとなったり、マッチングプロセスを開始したユーザから贈り物が送付されたりしてもよい。マッチングプロセスを開始するユーザは、ストリーマー（またはアンカー、ブロードキャスター）、あるいはストリーミングの視聴者（またはファン）であってもよい。したがって、ストリーミングやライブ配信に関わるユーザ間における、より集団的な、あるいは面白い交流が実現される。これにより、贈り物の送信が増加し、ストリーミングサービスプロバイダーまたはストリーマーの収益が向上し、さらに、プラットフォームの性能向上やコンテンツ制作の向上につながる可能性がある。一部の実施態様において、当該輪郭Ｏ１とユーザの当該部分との比較結果に基づき、贈り物の送信がトリガーまたは実現される。

【0032】

図７に本発明の一部の実施態様に基づく通信システムの構成を示す概略図を示す。通信システム１は、コンテンツを介したインタラクションを伴うライブストリーミングサービスを提供することができる。ここで言う「コンテンツ」とは、コンピュータ装置で再生可能なデジタルコンテンツを指す。当該通信システム１は、ユーザがオンラインで他のユーザとのリアルタイムの交流に参加することを可能にする。通信システム１は、複数のユーザ端末１０と、バックエンドサーバ３０と、ストリーミングサーバ４０とを含む。ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０は、ネットワーク９０（例えばインターネットとしてもよい）を介して接続される。バックエンドサーバ３０は、ユーザ端末および／またはストリーミングサーバ４０との間のインタラクションを同期させるサーバとすることができる。一部の実施態様において、バックエンドサーバ３０は、アプリケーション（ＡPP）プロバイダーのオリジンサーバとしてもよい。ストリーミングサーバ４０は、ストリーミングデータまたはビデオデータを取り扱う、または提供するためのサーバである。一部の実施態様において、バックエンドサーバ３０とストリーミングサーバ４０は、独立したサーバとしてもよい。一部の実施態様において、バックエンドサーバ３０とストリーミングサーバ４０は、１つのサーバに統合してもよい。一部の実施態様において、ユーザ端末１０は、ライブストリーミングのためのクライアント装置である。一部の実施態様において、ユーザ端末１０は、視聴者、ストリーマー、アンカー、ポッドキャスター、オーディエンス、リスナーなどと呼ばれることがある。各当該ユーザ端末１０、当該バックエンドサーバ３０、及び当該ストリーミングサーバ４０はそれぞれ情報処理装置の一例である。一部の実施態様において、ストリーミングは、ライブストリーミングまたはビデオ再生とすることができる。一部の実施態様において、ストリーミングは、オーディオストリーミングおよび／またはビデオストリーミングとすることができる。一部の実施態様において、ストリーミングは、オンラインショッピング、トークショー、タレントショー、娯楽イベント、スポーツイベント、音楽ビデオ、映画、コメディ、コンサート、グループ通話、電話会議などのコンテンツを含むことができる。

【0033】

図８に本発明の一部の実施態様に基づく通信システムの動作を示す例示的なシーケンス図を示す。

【0034】

当該処理ユニットセット１２０は、ユーザＡにより使用されるユーザ端末１０Ａのコンポーネントまたはデバイスを含むことができる。例えば、処理ユニットセット１２０は、レンダラー、エンコーダー、デコーダー、ＣＰＵ、ＧＰＵ、コントローラー、プロセッサ及び（または）カメラなどの画像／ 映像撮影装置を含むことができる。

【0035】

当該ディスプレイ１２２は、ユーザＡにより使用される当該ユーザ端末１０Ａの当該ディスプレイを指してもよい。

【0036】

当該処理ユニットセット１４０は、ユーザＢにより使用されるユーザ端末１０Ｂのコンポーネントまたはデバイスを含むことができる。例えば、処理ユニットセット１４０は、レンダラー、エンコーダー、デコーダー、ＣＰＵ、ＧＰＵ、コントローラー、プロセッサ及び（または）カメラなどの画像／ 映像撮影装置を含むことができる。

【0037】

当該ディスプレイ１４２は、ユーザＢにより使用される当該ユーザ端末の当該ディスプレイを指してもよい。

【0038】

当該メッセージユニット３２は、ユーザ端末、バックエンドサーバまたはストリーミングサーバ等のデバイスとメッセージまたは信号の通信を行うように構成される。一部の実施態様において、当該メッセージユニット３２はバックエンドサーバ内に実装されてもよい。一部の実施態様において、当該メッセージユニット３２はバックエンドサーバから独立して実装されてもよい。

【0039】

形状認識ユニット５０は、ジェスチャ認識処理、皮膚認識処理、輪郭認識処理,及び／またはオブジェクト認識処理を含む、形状／パターン検出／認識処理を実行するように構成される。当該形状認識ユニット５０は、２つのパターン間の類似度係数または相関値を算出する工程を含む、パターン比較処理を実行するように構成されてもよい。別の一実施態様によれば、当該形状認識ユニット５０は、ユーザ端末、バックエンドサーバ内に実装されても、独立して実装されてもよい。本実施態様において、当該パターン認識処理と当該パターン比較処理はいずれも当該形状認識ユニット５０により実行される。一部の実施態様において、これら２つの処理は異なるユニットにより実行されてもよく、実際の応用に基づいてそれぞれがユーザ端末、バックエンドサーバ内に実装されても、独立して実装されてもよい。

【0040】

工程Ｓ８００において、当該処理ユニットセット１２０は、当該ディスプレイ１２２上に表示するためのビデオデータをレンダリングし、これは映像撮影装置により撮影されたユーザＡの映像を含んでもよい。

【0041】

工程Ｓ８０２において、当該処理ユニットセット１２０はエンコードされたビデオデータを当該ストリーミングサーバ４０に送信する。当該エンコードされたビデオデータは、エンコーダーによりエンコードされたユーザＡの映像を含んでもよい。

【0042】

工程Ｓ８０４において、当該処理ユニットセット１４０は、当該ディスプレイ１４２上に表示するためのビデオデータをレンダリングし、これは映像撮影装置により撮影されたユーザＢの映像を含んでもよい。

【0043】

工程Ｓ８０６において、当該処理ユニットセット１４０はエンコードされたビデオデータを当該ストリーミングサーバ４０に送信する。当該エンコードされたビデオデータは、エンコーダーによりエンコードされたユーザＢの映像を含んでもよい。

【0044】

工程Ｓ８０８において、ユーザＢのビデオデータが当該ストリーミングサーバ４０から引き出され、当該ディスプレイ１２２上に表示される。なお、ここでは引き出されたビデオデータのデコード、加工、レンダリングなど一部の処理が省略されている。

【0045】

工程Ｓ８１０において、ユーザＡのビデオデータが当該ストリーミングサーバ４０から引き出され、当該ディスプレイ１４２上に表示される。なお、ここでは引き出されたビデオデータのデコード、加工、レンダリングなど一部の処理が省略されている。

【0046】

工程Ｓ８１２において、形状またはパターン情報が当該メッセージユニット３２から当該処理ユニットセット１２０に送信される。

【0047】

工程Ｓ８１４において、形状またはパターン情報が当該メッセージユニット３２から当該処理ユニットセット１４０に送信される。工程Ｓ８１２と工程Ｓ８１４は同時に行われてもよい。

【0048】

一部の実施態様において、形状情報の送信は、ユーザ端末を介したユーザの操作によりトリガーされてもよい。当該ユーザは、ストリーマー、ブロードキャスター、アンカー、視聴者であってもよい。一部の実施態様において、形状情報の送信は、通信またはストリーミングサービスのプロバイダーによりトリガーされてもよい。

【0049】

工程Ｓ８１６において、当該処理ユニットセット１２０は、受信または取得した形状情報に対応する形状またはパターンをレンダリングして当該ディスプレイ１２２に表示する。したがって、ユーザＡは、適合させる必要のあるパターン（例えば、ユーザＡの表示領域におけるパターンの部分）を画面上で確認することができる。

【0050】

工程Ｓ８１８において、当該処理ユニットセット１４０は、受信または取得した形状情報に対応する形状またはパターンをレンダリングして当該ディスプレイ１４２に表示する。したがって、ユーザＢは、適合させる必要のあるパターン（例えば、ユーザＢの表示領域におけるパターンの部分）を画面上で確認することができる。

【0051】

工程Ｓ８２０において、ユーザＡは、当該形状を埋める、合わせる、または当該形状に適合させようとする。例えば、ユーザＡは、ユーザＡまたはユーザＡが使用する（当該ディスプレイ１２２に表示された）ツールの部分が、ユーザＡの表示領域に表示される当該形状の当該部分に適合するように振る舞おうとする。

【0052】

工程Ｓ８２２において、ユーザは、当該形状を埋める、合わせる、または当該形状に適合させようとする。例えば、ユーザＢは、ユーザＢまたはユーザＢが使用する（当該ディスプレイ１４２に表示された）ツールの部分が、ユーザＢの表示領域に表示される当該形状の当該部分に適合するように振る舞おうとする。

【0053】

工程Ｓ８２４において、当該形状認識ユニット５０は、ユーザＡとユーザＢにより形成される集合形状または集合パターンを検出または認識する。認識される当該集合形状は当該ディスプレイ１２２上に表示されてもよい。本実施態様において、当該形状認識ユニット５０は、当該集合形状と、工程Ｓ８１２で受信した当該形状情報に対応して（例えば、工程Ｓ８１６で）当該ディスプレイ１２２上に表示された初期形状（または所定の形状）とを比較する。当該形状認識ユニット５０は、当該集合形状と当該所定の形状との類似度係数または相関値を算出し、所定の閾値でマッチングが成立するか否かを判定してもよい。

【0054】

工程Ｓ８２８において、当該マッチング結果が当該形状認識ユニット５０から当該メッセージユニット３２に送信される。

【0055】

工程Ｓ８３０において、当該メッセージユニット３２は当該マッチング結果を当該処理ユニットセット１２０に通知する。

【0056】

工程Ｓ８３２において、当該メッセージユニット３２は当該マッチング結果を当該処理ユニットセット１４０に通知する。工程Ｓ８３０と工程Ｓ８３２は同時に行われてもよい。

【0057】

工程Ｓ８３４において、マッチングが成功した場合、当該ディスプレイ１２２上に特殊効果がレンダリングされる。当該特殊効果には、ユーザＡとユーザＢ間の通信がスムーズに同期したことを示すメッセージが含まれてもよい。

【0058】

工程Ｓ８３６において、マッチングが成功した場合、当該ディスプレイ１４２上に特殊効果がレンダリングされる。当該特殊効果には、ユーザＡとユーザＢ間の通信がスムーズに同期したことを示すメッセージが含まれてもよい。

【0059】

一部の実施態様において、当該メッセージユニット３２は各ユーザ端末に周期的に形状情報を送信し、当該形状情報に毎回オフセットを含めることができる。したがって、各ユーザ端末のディスプレイ上に移動または回転する形状を表示することができる。その後のパターン認識処理、パターンマッチング処理も周期的に実行し、通信の同期レベルチェックとして利用してもよい。例えば、ユーザはディスプレイを見ることで、同期の状態を視覚的に知ることができる。

【0060】

図１（または図２Ａ）の当該画面Ｓ１については、当該画面Ｓ１が、ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤのいずれかのユーザ端末上に実装されるものとすることができる。一部の実施態様において、当該通信システムは、当該ユーザのうち任意の２人の当該表示領域を入れ替えるように構成されてもよい。当該通信システムは、ユーザ端末の１つから入れ替えの指示を受信してもよい。これにより、アレンジの自由度が増し、ユーザ間の交流がさらに向上される。

【0061】

一部の実施態様において、図１（または図２Ａ）の当該画面Ｓ１は、ストリーマーのユーザ端末上に実装されてもよい。この場合、当該ストリーマーがユーザＡ～Ｄに何をするか指示することで、両者の交流が深まる。これは、当該ストリーマーと当該ユーザＡ～Ｄの一体感を強める。当該ユーザＡ～Ｄの誰がストリーマー、または視聴者になることができる。

【0062】

一部の実施態様において、軌跡または当該輪郭Ｏ１は、ユーザの１人または投票により、候補の輪郭のリストから選択され、その各々が、それぞれの贈り物の量に結び付けられる、または価値の量でそのそれぞれの贈り物に結び付けられる。当該量（または価値の量）は、量が多いほど、それぞれの輪郭に一致することがより困難になるように設定されてもよい。一部の実施態様において、贈り物の価値は、輪郭／パターンのマッチング難易度に対応する。あるいは、当該輪郭Ｏ１は、候補の輪郭のリストから任意に選択されても、参加しているユーザＡ～Ｄのプロファイルに基づき当該輪郭Ｏ１が決定されてもよい。

【0063】

図９に本発明の一部の実施態様に基づく通信システムの例示的な機能構成図を示す。本実施態様において、形状認識ユニット５０は、バックエンドサーバ３０、ストリーミングサーバ４０またはユーザ端末内ではなく、独立して実装されてもよい。別の一実施態様において、当該形状認識ユニット５０は、バックエンドサーバ、ストリーミングサーバ、キャッシュサーバ、またはユーザ端末内に実装されてもよい。本実施態様において、当該メッセージユニット３２は、当該バックエンドサーバ３０内に実装される。別の一実施態様において、当該メッセージユニット３２は、当該バックエンドサーバ３０の外部に実装されてもよい。例えば、当該メッセージユニット３２は、独立して実装されても、ストリーミングサーバ、キャッシュサーバ、またはユーザ端末内に実装されてもよい。

【0064】

ユーザ端末１０Ａは、ユーザＡにより使用されるユーザ端末である。当該ユーザ端末１０Ａは、処理ユニットセット１２０と、ディスプレイ１２２を含む。当該処理ユニットセット１２０は、レンダラー、エンコーダー、デコーダー、ＣＰＵ、ＧＰＵ、コントローラー、プロセッサ及び（または）カメラなどの画像／ 映像撮影装置を含むことができる。

【0065】

ユーザ端末１０Ｂは、ユーザＢにより使用されるユーザ端末である。当該ユーザ端末１０Ｂは、処理ユニットセット１４０と、ディスプレイ１４２を含む。当該処理ユニットセット１２０は、レンダラー、エンコーダー、デコーダー、ＣＰＵ、ＧＰＵ、コントローラー、プロセッサ及び（または）カメラなどの画像／ 映像撮影装置を含むことができる。

【0066】

図８と図９に示すように、当該メッセージユニット３２は、当該ユーザ端末１０Ａの当該処理ユニットセット１２０と当該ユーザ端末１０Ｂの当該処理ユニットセット１４０に形状またはパターン情報を送信してもよい。上述のパターン情報の送信は、ユーザ端末（ストリーマーや視聴者のユーザ端末など）、システム内のサーバ、または通信をサポートするアプリケーションによりトリガーされてもよく、そのうち、当該処理ユニットセット１２０は、受信または取得した形状情報に対応する形状またはパターンをレンダリングして当該ディスプレイ１２２に表示する。したがって、ユーザＡは、適合させる必要のあるパターン（例えば、ユーザＡの表示領域におけるパターンの部分）を画面上で確認することができる。

【0067】

当該処理ユニットセット１４０は、受信または取得した形状情報に対応する形状またはパターンをレンダリングして当該ディスプレイ１４２に表示する。したがって、ユーザＢは、適合させる必要のあるパターン（例えば、ユーザＢの表示領域におけるパターンの部分）を画面上で確認することができる。

【0068】

その後当該処理ユニットセット１２０と当該処理ユニットセット１４０はユーザＡとユーザＢがパターンのそれぞれの部分に合わせようとする映像／画像データを収集し、当該データを形状認識ユニット５０に送信する。

【0069】

当該形状認識ユニット５０は、ユーザＡとユーザＢにより形成される集合形状または集合パターンを検出または認識する。本実施態様において、当該形状認識ユニット５０は、当該集合形状と、図８の工程Ｓ８１２で受信した当該形状情報に対応して（例えば、図８の工程Ｓ８１６で）当該ディスプレイ１２２上に表示された初期形状（または所定の形状）とを比較する。当該形状認識ユニット５０は、当該集合形状と当該所定の形状との類似度係数または相関値を算出し、所定の閾値でマッチングが成立するか否かを判定してもよい。その後当該形状認識ユニット５０は当該マッチング結果を当該メッセージユニット３２に送信する。

【0070】

当該メッセージユニット３２は、当該処理ユニットセット１２０と当該処理ユニットセット１４０に当該マッチング結果を通知する。マッチングが成功した場合、当該処理ユニットセット１２０および当該処理ユニットセット１４０により、当該ディスプレイ１２２と当該ディスプレイ１４２に表示するための特殊効果がレンダリングされてもよい。当該特殊効果には、ユーザＡとユーザＢ間の通信がスムーズに同期したことを示すメッセージが含まれてもよい。

【0071】

本発明は、電話会議またはグループ通話中の交流を改善し、オンライン通信の同期を促進するとともに、オンライン通信サービスプロバイダーの収益を向上させる。

【0072】

本発明で説明した処理及び手順は、明示的に説明したものに加えて、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせにより実現することができる。例えば、本明細書で説明した処理および手順は、その処理および手順に対応するロジックを集積回路、揮発性メモリ、不揮発性メモリ、非一過性のコンピュータ可読媒体、磁気ディスクなどの媒体に実装することにより実現することができる。さらに、本明細書に記載された処理および手順は、その処理および手順に対応するコンピュータプログラムとして実現することができ、各種のコンピュータにより実行することができる。

【0073】

上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読媒体に格納されたプログラムに統合されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされ、プロセッサにより実行されるものとしてもよい。

【0074】

以上、本発明の技術的内容及び特徴を説明したが、本発明の属する技術分野において通常の知識を有する者であれば、本発明の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本発明の範囲は、既に開示された実施態様に限定されず、本発明から逸脱しない別の変形や修正を含み、特許請求の範囲に含まれる範囲である。

【符号の説明】

【0075】

Ｓ１ 画面
ＲＡ 領域
ＲＢ 領域
ＲＣ 領域
ＲＤ 領域
Ｏ１ オブジェクト
Ｏ１１ 特殊効果
Ｔ１ ツール
１ システム
１０ ユーザ端末
１２０ 処理ユニットセット
１２２ ディスプレイ
１４０ 処理ユニットセット
１４２ ディスプレイ
３０ バックエンドサーバ
３２ メッセージユニット
４０ ストリーミングサーバ
５０ 形状検出ユニット
９０ ネットワーク
Ｓ８００、Ｓ８０２、Ｓ８０４、Ｓ８０６、Ｓ８０８、Ｓ８１０、Ｓ８１２、Ｓ８１４、Ｓ８１６、Ｓ８１８、Ｓ８２０、Ｓ８２２、Ｓ８２４、Ｓ８２８、Ｓ８３０、Ｓ８３２、Ｓ８３４、Ｓ８３６ 工程
１０Ａ ユーザ端末
１０Ｂ ユーザ端末

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】