特表 2023-543369 映像処理のためのシステム、方法、及びコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-16

(54)【発明の名称】映像処理のためのシステム、方法、及びコンピュータ可読媒体

(51)【国際特許分類】

   H04N 7/15 20060101AFI20231006BHJP

   H04N 21/431 20110101ALI20231006BHJP

【ＦＩ】

H04N7/15

H04N21/431

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022522347

(86)(22)【出願日】2021-09-30

(85)【翻訳文提出日】2022-04-13

(86)【国際出願番号】 US2021052779

(87)【国際公開番号】W WO2023055365

(87)【国際公開日】2023-04-06

(81)【指定国・地域】

(71)【出願人】

【識別番号】517287224

【氏名又は名称】１７ＬＩＶＥ株式会社

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(72)【発明者】

【氏名】ウー，シャオ ユアン

(72)【発明者】

【氏名】チウ，ポ－シェン

(72)【発明者】

【氏名】チャン，ユーチュアン

(72)【発明者】

【氏名】チェン，ミン－チュ

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164UB41S

5C164UB81P

5C164VA07P

5C164YA12

5C164YA21

(57)【要約】

【課題】映像処理のためのシステム、方法、及びコンピュータ可読媒体の提供。
【解決手段】本発明は映像処理のためのシステム、方法、及びコンピュータ可読媒体に関し、当該方法が、第１ユーザのライブ映像をユーザ端末の第１領域に表示する工程と、第２ユーザの映像を当該ユーザ端末の第２領域に表示する工程を含み、当該第１ユーザの当該ライブ映像の一部が、当該ユーザ端末の当該第２領域まで延伸され、本発明は電話会議またはグループ通話中の交流を改善することができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

映像処理方法であって、
ユーザ端末上の第１領域内に第１ユーザのライブ映像を表示する工程と、
当該ユーザ端末上の第２領域内に第２ユーザの映像を表示する工程と、
を含み、そのうち、前記第１ユーザの前記ライブ映像の一部が、前記ユーザ端末上の前記第２領域まで延伸される、ことを特徴とする、映像処理方法。

【請求項2】

さらに、前記第１領域内にインタラクティブ領域を定義する工程と、
前記インタラクティブ領域内の前記第１ユーザの部分を検出する工程と、
前記第２領域内に前記第１ユーザの前記部分を表示する工程と、
を含むことを特徴とする、請求項１に記載の映像処理方法。

【請求項3】

前記インタラクティブ領域内の前記第１ユーザの前記部分を検出する工程が、マッティングプロセスを含むことを特徴とする、請求項２に記載の映像処理方法。

【請求項4】

前記インタラクティブ領域内の前記第１ユーザの前記部分を検出する工程がオブジェクト認識処理を含む、ことを特徴とする、請求項２に記載の映像処理方法。

【請求項5】

さらに、前記オブジェクト認識処理が、前記第１ユーザの前記部分に所定のパターンを認識した場合、前記ユーザ端末上に特殊効果を表示する工程を含む、ことを特徴とする、請求項４に記載の映像処理方法。

【請求項6】

前記オブジェクト認識処理が、ジェスチャ認識処理または皮膚認識処理を含む、ことを特徴とする、請求項４に記載の映像処理方法。

【請求項7】

前記インタラクティブ領域内の前記第１ユーザの前記部分を検出する工程が、画像比較処理または移動体検出処理を含む、ことを特徴とする、請求項２に記載の映像処理方法。

【請求項8】

前記第１ユーザと前記第２ユーザが、前記ユーザ端末上で横方向に並んでおり、前記第１ユーザの前記ライブ映像の前記部分が、前記第１領域内において前記第２ユーザに向かって延伸される、ことを特徴とする、請求項１に記載の映像処理方法。

【請求項9】

前記第１ユーザと前記第２ユーザが、前記ユーザ端末上で垂直方向に並んでおり、前記第１ユーザの前記ライブ映像の前記部分が、前記第１領域内において前記第２ユーザに向かって延伸される、ことを特徴とする、請求項１に記載の映像処理方法。

【請求項10】

前記第１ユーザと前記第２ユーザが、前記ユーザ端末上で対角方向に並んでおり、前記第１ユーザの前記ライブ映像の前記部分が、前記第１領域内において前記第２ユーザに向かって延伸される、ことを特徴とする、請求項１に記載の映像処理方法。

【請求項11】

さらに、前記インタラクティブ領域内の前記第１ユーザの前記部分の位置を検出する工程と、
前記インタラクティブ領域内の前記第１ユーザの前記部分の前記位置に基づき、前記第２領域の位置を判断する工程と、
を含むことを特徴とする、請求項２に記載の映像処理方法。

【請求項12】

さらに、前記ユーザ端末上の前記第１領域内の境界線を超えている前記第１ユーザの部分を検出することにより、前記第１ユーザの前記ライブ映像の前記部分を決定する工程を含む、ことを特徴とする、請求項１に記載の映像処理方法。

【請求項13】

前記境界線の位置が、前記第１ユーザにより決定される、ことを特徴とする、請求項１２に記載の映像処理方法。

【請求項14】

前記境界線が、前記第１領域に対する前記第２領域の方向に対応し、かつ前記第１領域と前記第２領域の間にある、ことを特徴とする、請求項１２に記載の映像処理方法。

【請求項15】

前記第２ユーザの前記映像がライブ映像であることを特徴とする、請求項１に記載の映像処理方法。

【請求項16】

前記第２領域へ延伸された前記第１ユーザの前記ライブ映像の前記部分が、グラフィカルオブジェクトとして表現されることを特徴とする、請求項１に記載の映像処理方法。

【請求項17】

さらに。前記第１ユーザの前記ライブ映像の前記部分が延伸されて前記第２ユーザの前記第２領域に触れる場合、前記第２領域に特殊効果を表示する工程を含むことを特徴とする、請求項１に記載の映像処理方法。

【請求項18】

映像処理システムであって、１以上のプロセッサを備え、前記１以上のプロセッサが機械可読命令を実行して、
ユーザ端末上の第１領域内に第１ユーザのライブ映像を表示する工程と、
当該ユーザ端末上の第２領域内に第２ユーザの映像を表示する工程と、
を実行し、そのうち、前記第１ユーザの前記ライブ映像の一部が、前記ユーザ端末上の前記第２領域まで延伸される、ことを特徴とする、映像処理システム。

【請求項19】

前記１以上のプロセッサが、前記機械可読命令を実行して、さらに、
前記第１領域内にインタラクティブ領域を定義する工程と、
前記インタラクティブ領域内の前記第１ユーザの部分を検出する工程と、
前記第２領域内に前記第１ユーザの前記部分を表示する工程と、
を実行することを特徴とする、請求項１８に記載の映像処理システム。

【請求項20】

映像処理のためのプログラムを含む非一時的なコンピュータ可読媒体であって、そのうち、前記プログラムが、１以上のコンピュータに、
ユーザ端末上の第１領域内に第１ユーザのライブ映像を表示する工程と、
当該ユーザ端末上の第２領域内に第２ユーザの映像を表示する工程と、
を実行させ、そのうち、前記第１ユーザの前記ライブ映像の一部が、前記ユーザ端末上の前記第２領域まで延伸される、ことを特徴とする、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ライブビデオストリーミングまたはビデオ電話会議における画像処理または映像処理に関する。

【背景技術】

【0002】

ユーザ同士のオンライン通信に参加することを可能にするさまざまな技術が知られている。そのアプリケーションには、ライブストリーミング、ライブ電話会議などが含まれる。これらアプリケーションの普及に伴い、コミュニケーション中の交流体験の向上に対するユーザからの要望が高まっている。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様に係る方法は、映像処理方法である。当該方法が、第１ユーザのライブ映像をユーザ端末の第１領域に表示する工程と、第２ユーザの映像を当該ユーザ端末の第２領域に表示する工程を含み、当該第１ユーザの当該ライブ映像の一部が、当該ユーザ端末の当該第２領域まで延伸される。

【0004】

本発明の一実施態様に係るシステムは、映像処理のためのシステムであり、１以上のプロセッサを含み、当該１以上のプロセッサが機械可読命令を実行して、第１ユーザのライブ映像をユーザ端末上の第１領域に表示する工程と、第２ユーザの映像を当該ユーザ端末の第２領域に表示する工程と、を実行する。当該第１ユーザの当該ライブ映像の一部が、当該ユーザ端末の当該第２領域まで延伸される。

【0005】

本発明の一実施態様に係るコンピュータ可読媒体は、非一時的なコンピュータ可読媒体であり、映像処理のためのプログラムを含み、当該プログラムが１以上のコンピュータに、第１ユーザのライブ映像をユーザ端末上の第１領域に表示する工程と、第２ユーザの映像を当該ユーザ端末の第２領域に表示する工程と、を実行させる。当該第１ユーザの当該ライブ映像の一部が、当該ユーザ端末の当該第２領域まで延伸される。

【図面の簡単な説明】

【0006】

【図1】グループ通話の一例を示す概略図である。

【図2】本発明の一部の実施態様に基づくグループ通話の一例を示す概略図である。

【図3】本発明の一部の実施態様に基づくグループ通話の一例を示す概略図である。

【図4】本発明の一部の実施態様に基づくグループ通話の一例を示す概略図である。

【図5】本発明の一部の実施態様に基づくグループ通話の一例を示す概略図である。

【図6】本発明の一部の実施態様に基づくグループ通話の一例を示す概略図である。

【図7】本発明の一部の実施態様に基づく通信システムの構成を示す概略図である。

【図8】本発明の一部の実施態様に基づく通信システムの例示的な機能構成図である。

【図9】本発明の一部の実施態様に基づく通信システムの動作を示す例示的なシーケンス図である。

【発明を実施するための形態】

【0007】

ライブストリーミングサービス、アプリケーション（ＡＰＰ）またはプラットフォームの一部では、複数のユーザ（配信者、視聴者、放送者、アンカーなど）がグループ通話モードや電話会議モードで参加することが可能であり、そのうち、複数のユーザの映像がユーザ端末の画面上に同時に表示され、そのグループ通話またはグループ通話への参加を表示する。当該ユーザ端末は、スマートフォンやタブレット、パソコン、ノートパソコンとすることができ、それを使用して当該ユーザの１人が当該グループ通話に参加する。

【0008】

図１にグループ通話の一例を示す概略図を示す。Ｓ１は当該グループ通話を表示するユーザ端末の画面である。ＲＡは、当該画面Ｓ１内の１領域であり、ユーザＡのライブ映像を表示する。ＲＢは、当該画面Ｓ１内の１領域であり、ユーザＢのライブ映像を表示する。当該ユーザＡのライブ映像は、ユーザＡの近傍に配置されたカメラなどの映像撮影装置によって撮影され、提供されてもよい。当該ユーザＢのライブ映像は、ユーザＢの近傍に配置されたカメラなどの映像撮影装置によって撮影され、提供されてもよい。

【0009】

従来、当該ユーザＡの映像は領域ＲＡ内にのみ表示でき、領域ＲＢ内に表示することはできない。同様に、当該ユーザＢの映像は領域ＲＢ内にのみ表示でき、領域ＲＡ内に表示することはできない。そのため、コミュニケーション中に不便を感じたり、アプリケーションに支障をきたしたりする場合がある。例えば、ユーザＢが当該グループ通話でユーザＡに新たに開発した製品を提示する例示的なシナリオにおいて、ユーザＡは詳細な議論のために製品の一部または部分を正確に指し示すことができない。そのため、グループ通話や電話会議では、より多くの交流を行うことが望まれる。

【0010】

図２は本発明の一部の実施態様に基づくグループ通話の一例を示す概略図である。図２に示すように、ユーザＡの部分Ａ１が、ユーザＢが表示されている領域ＲＢまで延伸されている、または再現／複製されている。本実施態様において、当該部分Ａ１は、領域ＲＡにおけるユーザＡの手であり、当該部分Ａ１１は、領域ＲＢに表示される当該部分Ａ１の延伸、再現、または複製されたバージョンである。当該部分Ａ１１は、領域ＲＢ内のオブジェクトＢ１を指し示す、またはその方向に向けられている。一部の実施態様において、領域ＲＢ内に表示されているユーザＢの映像はライブ映像である。一部の実施態様において、領域ＲＢ内に表示されているユーザＢの映像は再生映像である。

【0011】

一部の実施態様において、当該部分Ａ１１は当該部分Ａ１の動きまたは軌跡を追従する。一部の実施態様において、当該部分Ａ１１は当該部分Ａ１と同時に移動する。当該ユーザＡは、当該部分Ａ１となっている手を動かすだけで、当該ユーザＡが議論したい領域ＲＢ内の位置を指し示すように、当該部分Ａ１１を制御したり、動かしたりすることができる。一部の実施態様において、当該部分Ａ１１は、グラフィカルオブジェクトまたはアニメーションオブジェクトとして表現または表示されてもよい。

【0012】

図２に示すように、領域ＲＡ内には境界Ａ３がある。当該境界Ａ３は、領域ＲＡ内で領域Ａ３１と領域Ａ３２を定義する。本実施態様において、当該領域Ａ３１は当該領域Ａ３２を囲んでいる。当該領域Ａ３１は、インタラクティブ領域と呼ぶ、または定義することができる。領域ＲＢ内に延伸される、または再現される当該部分Ａ１は、当該インタラクティブ領域Ａ３１内にある。当該部分Ａ１は、領域ＲＡ内のユーザＢに向けて延伸される。一部の実施態様において、当該インタラクティブ領域Ａ３１内の部分のみを領域ＲＢ内に延伸または表示することができる。一部の実施態様において、ユーザＡがユーザＡの１部分を領域ＲＢに延伸することによりユーザＢと交流したい場合、ユーザＡは当該部分を当該インタラクティブ領域Ａ３１へ移動するだけで、当該部分が領域ＲＢ内に表示される。本実施態様において、当該領域ＲＡと当該領域ＲＢは相互に分離されている。一部の実施態様において、当該領域ＲＡと当該領域ＲＢは、当該画面Ｓ１上で少なくとも一部が重なり合ってもよい。

【0013】

図２に示すように、領域ＲＢ内には境界Ｂ３がある。当該境界Ｂ３は、領域ＲＢ内で領域Ｂ３１と領域Ｂ３２を定義する。本実施態様において、当該領域Ｂ３１は当該領域Ｂ３２を囲んでいる。当該領域Ｂ３１は、インタラクティブ領域と呼ぶ、または定義することができる。一部の実施態様において、当該インタラクティブ領域Ｂ３１内の部分を領域ＲＡ内に延伸または表示することができる。一部の実施態様において、ユーザＢがユーザＢの１部分を領域ＲＡに延伸することによりユーザＡと交流したい場合、ユーザＢは当該部分を当該インタラクティブ領域Ｂ３１へ移動するだけで、当該部分が領域ＲＡ内に表示される。一部の実施態様において、当該境界Ａ３及び／または当該境界Ｂ３は、当該領域ＲＡ及び／または当該領域ＲＢ上に表示されなくてもよい。

【0014】

図２において、ユーザＡとユーザＢ、または領域ＲＡと領域ＲＢは、当該ユーザ端末の当該画面Ｓ１上で横方向に並んでおり、当該ユーザＡのライブ映像の当該部分Ａ１が当該領域ＲＡにおいてユーザＢに向かって延伸されている。

【0015】

図３に本発明の一部の実施態様に基づくグループ通話の別の一例を示す概略図を示す。当該グループ通話には、少なくとも４人のユーザ、すなわちユーザＡ、ユーザＢ、ユーザＣ、ユーザＤが参加している。図３において、ユーザＡとユーザＢは当該ユーザ端末の当該画面Ｓ１上で縦方向に並んでいる。図３に示すように、ユーザＡの部分Ａ２が、ユーザＢが表示されている領域ＲＢまで延伸されている、または再現／複製されている。本実施態様において、当該部分Ａ２はユーザＡの手と、その手に保持されたオブジェクトを含み、当該部分Ａ２１は領域ＲＢ内に表示される当該部分Ａ２の延伸、再現、または複製されたバージョンである。当該部分Ａ２１は、領域ＲＢ内のユーザＢに近づく、またはその方向に向けられている。当該部分Ａ２１がユーザＢに接触すると、領域ＲＢに特殊効果ＳＰ１が表示される。当該特殊効果ＳＰ１は、グラフィックオブジェクトまたはアニメーションオブジェクトを含んでもよい。一部の実施態様において、当該特殊効果ＳＰ１は効果音を含んでもよい。

【0016】

一部の実施態様において、当該部分Ａ２１は当該部分Ａ２の動きまたは軌跡を追従する。一部の実施態様において、当該部分Ａ２１は当該部分Ａ２と同時に移動する。当該ユーザＡは、当該ユーザＡの手（オブジェクトを持っていてもよい）を動かすだけで、当該ユーザＡが交流したい領域ＲＢ内の１つの位置を指し示す、または触れるように、当該部分Ａ２１を制御したり、動かしたりすることができる。一部の実施態様において、当該部分Ａ２１は、グラフィカルオブジェクトまたはアニメーションオブジェクトとして表現または表示されてもよい。

【0017】

図３に示すように、領域ＲＡ内には境界Ａ３がある。当該境界Ａ３は、領域ＲＡ内で領域Ａ３１と領域Ａ３２を定義する。本実施態様において、当該領域Ａ３１は当該領域Ａ３２を囲んでいる。当該領域Ａ３１は、インタラクティブ領域と呼ぶ、または定義することができる。領域ＲＢ内に延伸される、または再現される当該部分Ａ２は、当該インタラクティブ領域Ａ３１内にある。当該部分Ａ２は、領域ＲＡ内のユーザＢに向けて延伸される。一部の実施態様において、当該インタラクティブ領域Ａ３１内の部分のみを領域ＲＢ内に延伸または表示することができる。一部の実施態様において、ユーザＡがユーザＡの１部分を領域ＲＢに延伸することによりユーザＢと交流したい場合、ユーザＡは当該部分を当該インタラクティブ領域Ａ３１へ移動するだけで、当該部分が領域ＲＢ内に表示される。

【0018】

図４に本発明の一部の実施態様に基づくグループ通話の別の一例を示す概略図を示す。当該グループ通話には、少なくとも４人のユーザ、すなわちユーザＡ、ユーザＢ、ユーザＣ、ユーザＤが参加している。図４において、ユーザＡとユーザＤは当該ユーザ端末の当該画面Ｓ１上で対角方向に並んでいる。図４に示すように、ユーザＡの部分Ａ１が、ユーザＤが表示されている領域ＲＤまで延伸されている、または再現／複製されている。本実施態様において、当該部分Ａ１はユーザＡの手であり、当該部分Ａ１１は、領域ＲＤに表示される当該部分Ａ１の延伸、再現、または複製されたバージョンである。当該部分Ａ１１は、領域ＲＤ内のユーザＤを指し示す、またはその方向に向けられている。

【0019】

一部の実施態様において、当該部分Ａ１１は当該部分Ａ１の動きまたは軌跡を追従する。一部の実施態様において、当該部分Ａ１１は当該部分Ａ１と同時に移動する。当該ユーザＡは、当該部分Ａ１となっている手を動かすだけで、当該ユーザＡが交流したい領域ＲＤ内の位置を指し示すように、当該部分Ａ１１を制御したり、動かしたりすることができる。一部の実施態様において、当該部分Ａ１１は、グラフィカルオブジェクトまたはアニメーションオブジェクトとして表現または表示されてもよい。

【0020】

図４に示すように、領域ＲＡ内には境界Ａ３がある。当該境界Ａ３は、領域ＲＡ内で領域Ａ３１と領域Ａ３２を定義する。当該領域Ａ３１は当該領域Ａ３２を囲んでいる。当該領域Ａ３１は、インタラクティブ領域と呼ぶ、または定義することができる。本実施態様において、当該インタラクティブ領域Ａ３１はサブ領域Ａ３１１を含む。領域ＲＤ内に延伸される、または再現される当該部分Ａ１は、当該サブ領域Ａ３１１内にある。当該サブ領域Ａ３１１は、ユーザＡとユーザＤの間にある。当該サブ領域Ａ３１１は、領域ＲＡのうち、ユーザＡから見て領域ＲＤの方を向いた位置にある。

【0021】

図２、図３、図４の例に示すように、領域ＲＡにおいてユーザＡの部分が延伸される方向によって、ユーザＡの延伸、複製、再現されたバージョンの当該部分が表示される領域が決定されてもよい。したがって、ユーザＡは、ユーザＡの当該部分を対応する方向へ移動または伸長させるだけで、どの領域（および対応するユーザ）と交流するかを決定することができる。例えば、ユーザＡは横方向に部分を伸長させ、表示領域が当該画面Ｓ１上でユーザＡに対して横方向に並んだ、または配置されているユーザと交流することができる。別の例で、ユーザＡは縦方向に部分を伸長させ、表示領域が当該画面Ｓ１上でユーザＡに対して縦方向に並んだ、または配置されているユーザと交流することができる。さらに別の例で、ユーザＡは対角方向に部分を伸長させ、表示領域が当該画面Ｓ１上でユーザＡに対して対角方向に並んだ、または配置されているユーザと交流することができる。

【0022】

一部の実施態様において、ユーザは別のユーザとより便利に交流できるように、当該インタラクティブ領域の形状を調整することができる。図５に本発明の一部の実施態様に基づくグループ通話の別の一例を示す概略図を示す。当該グループ通話には、少なくとも４人のユーザ、すなわちユーザＡ、ユーザＢ、ユーザＣ、ユーザＤが参加している。図５に示すように、当該境界Ａ３は、前の例示的実施態様で説明したように、ユーザＡが他のユーザと交流するために利用する領域である当該インタラクティブ領域Ａ３１を定義する。当該インタラクティブ領域Ａ３１はサブ領域Ａ３１１を含む。当該境界Ａ３は、少なくとも境界線ＢＲ１と境界線ＢＲ２を含む。一部の実施態様において、ユーザＡが別のユーザとより便利に交流したい場合、ユーザＡは当該境界線ＢＲ１の位置及び／または当該境界線ＢＲ２の位置を調整し、当該インタラクティブ領域Ａ３１の形状と当該当該サブ領域Ａ３１１の形状を調整することができる。当該境界線ＢＲ１は、当該領域ＲＡに対するユーザＣまたは当該領域ＲＣの方向に対応し、かつ当該領域ＲＡと当該領域ＲＣの間にある。当該境界線ＢＲ２は、当該領域ＲＡに対するユーザＢまたは当該領域ＲＢの方向に対応し、かつ当該領域ＲＡと当該領域ＲＢの間にある。

【0023】

例えば、ユーザＡは、ユーザＡとユーザＣの間にある当該インタラクティブ領域Ａ３１のサブ領域Ａ３１２がより幅広になり、ユーザＡにより近くなるように、当該境界線ＢＲ１をユーザＡに近づけてドラッグまたは移動することができる。これにより、ユーザＡはユーザＡの部分を使用してユーザＣとより交流しやすくなる。ユーザＡは、ユーザＡの当該部分を比較的短い距離だけ伸長し、当該境界線ＢＲ１を越えて当該インタラクティブ領域Ａ３１の当該サブ領域Ａ３１２に到達すればよく、そうするとユーザＣが表示される領域ＲＣにおいて当該部分が延伸、複製または再現される。

【0024】

別の一例で、ユーザＡは、ユーザＡとユーザＢの間にある当該インタラクティブ領域Ａ３１のサブ領域Ａ３１３がより幅広になり、ユーザＡにより近くなるように、当該境界線ＢＲ２をユーザＡに近づけてドラッグまたは移動することができる。これにより、ユーザＡはユーザＡの部分を使用してユーザＢとより交流しやすくなる。ユーザＡは、ユーザＡの当該部分を比較的短い距離だけ伸長し、当該境界線ＢＲ２を越えて当該インタラクティブ領域Ａ３１の当該サブ領域Ａ３１２に到達すればよく、そうするとユーザＢが表示される領域ＲＢにおいて当該部分が延伸、複製または再現される。

【0025】

さらに別の一例で、ユーザＡは、ユーザＡとユーザＤの間にある当該インタラクティブ領域Ａ３１のサブ領域Ａ３１１がより幅広になり、ユーザＡにより近くなるように、当該境界線ＢＲ１及び／または境界線ＢＲ２をユーザＡに近づけてドラッグまたは移動することができる。これにより、ユーザＡはユーザＡの部分を使用してユーザＤとより交流しやすくなる。ユーザＡは、ユーザＡの当該部分を比較的短い距離だけ対角方向に伸長し、当該インタラクティブ領域Ａ３１の当該サブ領域Ａ３１１に到達すればよく、そうするとユーザＤが表示される領域ＲＤにおいて当該部分が延伸、複製または再現される。

【0026】

図６に本発明の一部の実施態様に基づくグループ通話の別の一例を示す概略図を示す。一部の実施態様において、当該インタラクティブ領域の外側のみが抽出され、当該画面Ｓ１上に表示される。より具体的に、ユーザＡに対しては、当該境界Ａ３で囲まれた領域のみが当該画面Ｓ１に表示される。ユーザＢ、ユーザＣ、ユーザＤに対しては、当該境界Ｂ３、Ｃ３、Ｄ３で囲まれた領域のみが当該画面Ｓ１に表示される。それにより、交流の臨場感を向上させることができる。例えば、ユーザＡが部分を別のユーザの表示領域に伸長したとき、当該部分はユーザＡの表示領域に表示されない。

【0027】

図７に本発明の一部の実施態様に基づく通信システム１の構成を示す概略図を示す。通信システム１は、コンテンツを介したインタラクションを伴うライブストリーミングサービスを提供することができる。ここで言う「コンテンツ」とは、コンピュータ装置で再生可能なデジタルコンテンツを指す。当該通信システム１は、ユーザがオンラインで他のユーザとのリアルタイムの交流に参加することを可能にする。通信システム１は、複数のユーザ端末１０と、バックエンドサーバ３０と、ストリーミングサーバ４０とを含む。ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０は、ネットワーク９０（例えばインターネットとしてもよい）を介して接続される。バックエンドサーバ３０は、ユーザ端末および／またはストリーミングサーバ４０との間のインタラクションを同期させるサーバとすることができる。一部の実施態様において、バックエンドサーバ３０は、アプリケーション（ＡＰＰ）プロバイダのオリジンサーバとしてもよい。ストリーミングサーバ４０は、ストリーミングデータまたはビデオデータを取り扱う、または提供するためのサーバである。一部の実施態様において、バックエンドサーバ３０とストリーミングサーバ４０は、独立したサーバとしてもよい。一部の実施態様において、バックエンドサーバ３０とストリーミングサーバ４０は、１つのサーバに統合してもよい。一部の実施態様において、ユーザ端末１０は、ライブストリーミングのためのクライアント装置である。一部の実施態様において、ユーザ端末１０は、視聴者、ストリーマー、アンカー、ポッドキャスター、オーディエンス、リスナーなどと呼ばれることがある。ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０はそれぞれ情報処理装置の一例である。一部の実施態様において、ストリーミングは、ライブストリーミングまたはビデオ再生とすることができる。一部の実施態様において、ストリーミングは、オーディオストリーミングおよび／またはビデオストリーミングとすることができる。一部の実施態様において、ストリーミングは、オンラインショッピング、トークショー、タレントショー、娯楽イベント、スポーツイベント、音楽ビデオ、映画、コメディ、コンサート、グループ通話、電話会議などのコンテンツを含むことができる。

【0028】

図８に本発明の一部の実施態様に基づく通信システムの例示的な機能構成図を示す。図８において、ネットワーク９０は省略されている。

【0029】

当該バックエンドサーバ３０は、メッセージユニット３２を含む。当該メッセージユニット３２は、ユーザ端末からデータまたは情報を受け取り、それらデータを処理及び／または保存し、当該データをユーザ端末に送信するように構成される。一部の実施態様において、当該メッセージユニット３２は当該バックエンドサーバ３０とは別個のユニットとしてもよい。

【0030】

当該ストリーミングサーバ４０は、データ受信装置４００と、データ送信装置４０２を含む。当該データ受信装置４００は、さまざまなユーザ端末からストリーミングデータやビデオデータなどのデータまたは情報を受信するように構成される。当該データ送信装置４０２は、さまざまなユーザ端末にストリーミングデータやビデオデータなどのデータまたは情報を送信するように構成される。

【0031】

当該ユーザ端末１０Ａは、ユーザＡにより操作されるユーザ端末であってもよい。当該ユーザ端末１０Ａは、カメラ７００と、レンダラー７０２と、ディスプレイ７０４と、エンコーダー７０６と、デコーダー７０８と、結果送信装置７１０と、マッティングユニット７１２と、オブジェクト認識ユニット７１４を含む。

【0032】

当該カメラ７００は、任意の種類の映像撮影装置である、またはこれを含むことができる。当該カメラ７００は、例えばユーザＡの、ビデオデータを撮影するように構成される。

【0033】

当該レンダラー７０２は、当該カメラ７００からのビデオデータ（ユーザＡのビデオデータ）を受信、当該デコーダー７０８からのビデオデータ（ユーザＢからのビデオデータを含んでもよい）を受信して、当該ディスプレイ７０４に表示するレンダリングされた映像（ユーザＡとユーザＢが表示されているグループ通話を表示する映像など）を生成するように構成される。

【0034】

当該ディスプレイ７０４は、当該レンダラー７０２からのレンダリングされた映像を表示するように構成される。一部の実施態様において、当該ディスプレイ７０４はユーザ端末１０Ａ上の画面であってもよい。

【0035】

当該エンコーダー７０６は当該カメラ７００からのビデオデータをエンコードし、エンコードした当該ビデオデータを当該ストリーミングサーバ４０の当該データ受信装置４００に送信するように構成される。エンコードしたデータはストリーミングデータとして送信されてもよい。

【0036】

当該デコーダー７０８は、当該ストリーミングサーバ４０の当該データ送信装置４０２からビデオデータまたはストリーミングデータ（ユーザＢからのビデオデータを含んでもよい）を受信し、それらをデコードしてデコードしたビデオデータとし、当該デコードしたビデオデータを当該レンダラー７０２に送信してレンダリングさせるように構成される。

【0037】

当該マッティングユニット７１２は、当該カメラ７００からの当該ビデオデータ（ユーザＡのビデオデータ）にマッティング処理（画像マッティングまたは映像マッティング）を実行するように構成される。当該マッティング処理は、輪郭認識処理、画像比較処理、移動体検出処理、及び／または切り出し処理が含まれてもよい。当該マッティング処理は、定色マッティング（ｃｏｎｓｔａｎｔ－ｃｏｌｏｒ ｍａｔｔｉｎｇ）、差分マッティング（ｄｉｆｆｅｒｅｎｃｅ ｍａｔｔｉｎｇ）、自然画像マッティング（ｎａｔｕｒａｌ ｉｍａｇｅ ｍａｔｔｉｎｇ）を含む手法で実行されてもよい。また、当該マッティング処理に関わるアルゴリズムは、ベイジアンマッティング（Ｂａｙｅｓｉａｎ ｍａｔｔｉｎｇ）、ポアソンマッティング（Ｐｏｉｓｓｏｎ ｍａｔｔｉｎｇ）、またはロバストマッティング（Ｒｏｂｕｓｔ ｍａｔｔｉｎｇ）を含んでもよい。一部の実施態様において、画像比較プロセスは、初期またはデフォルトの背景画像と現在のまたはライブ画像とを定期的に比較し、インタラクティブ領域におけるユーザＡの部分を検出する。

【0038】

例えば、当該マッティングユニット７１２は、カメラ７００からユーザＡのビデオデータを受け取る。当該ビデオデータは、図２、図３、図４、図５で例に挙げて上述したようにインタラクティブ領域を含むことができる。一部の実施態様において、当該マッティングユニット７１２は、ビデオデータ中のユーザＡの輪郭を検出または抽出するためのマッティング処理を実行する。一部の実施態様において、当該マッティングユニット７１２は、当該インタラクティブ領域内のユーザＡの部分（ユーザＡの手や、オブジェクトを持っているユーザＡの手など）を検出または抽出するマッティング処理を実行する。一部の実施態様において、当該マッティングユニット７１２は、ユーザＡのビデオデータから当該インタラクティブ領域外側の領域または部分を削除する切り出し処理を実行する。一部の実施態様において、当該マッティングユニット７１２は、ユーザＡの当該部分が検出された当該インタラクティブ領域内の位置を検出、認識、または判断する。一部の実施態様において、切り出し処理の前に輪郭認識処理または画像比較処理を実行し、当該インタラクティブ領域におけるユーザＡの当該部分の検出精度を向上させてもよい。

【0039】

一部の実施態様において、当該インタラクティブ領域、及び対応する境界または境界線は、当該ユーザ端末１０Ａのプロセッサ（図示しない）または当該グループ通話を有効にしているアプリケーションにより定義されてもよい。一部の実施態様において、当該インタラクティブ領域と、対応する境界または境界線は、ユーザＡにより当該ユーザ端末１０ＡのＵＩ（ユーザインターフェイス）ユニット（図示しない）で決定されてもよい。一部の実施態様において、当該マッティングユニット７１２は、領域ＲＡ内の境界線を越えたユーザＡの部分を検出することにより、当該インタラクティブ領域内のユーザＡの当該部分（またはユーザＡのライブ映像の当該部分）を検出または判断する。当該領域ＲＡ内の当該境界線は、例えば、図５における当該境界線ＢＲ１または当該境界線ＢＲ２であってもよい。

【0040】

当該オブジェクト認識ユニット７１４は、当該マッティングユニット７１２からの出力データに対してオブジェクト認識処理を実行するように構成される。当該出力データは、ユーザＡの検出された部分または抽出された部分（ユーザＡの手や、オブジェクトを持っているユーザＡの手など）を含むことができる。当該オブジェクト認識ユニット７１４は、当該ユーザＡの検出された部分が任意の所定のパターン、オブジェクト及び／またはジェスチャを含むか否かを判定するオブジェクト認識処理を実行する。一部の実施態様において、当該オブジェクト認識処理は、テンプレートマッチング、パターンマッチング、輪郭マッチング、ジェスチャ認識、皮膚認識、外形マッチング、色または形状マッチング、および特徴に基づくマッチングなどの技術を含むことができる。一部の実施態様において、当該オブジェクト認識ユニット７１４は、当該ユーザＡの検出された部分（またはその一部）と所定のパターンのセットとのマッチング相関を計算し、当該ユーザＡの検出された部分内で任意のパターンが一致する、または認識されるか否かを判断する。一部の実施態様において、当該オブジェクト認識ユニット７１４は、ユーザＡの当該部分が検出された当該インタラクティブ領域内の位置を検出、認識、または判断する。一部の実施態様において、当該オブジェクト認識処理は、切り出し処理が行われていない当該マッティングユニット７１２からの画像または映像に対して行われてもよく、それにより、当該オブジェクト認識処理の精度を向上させることができる。一部の実施態様において、当該オブジェクト認識ユニット７１４は当該インタラクティブ領域内でユーザＡの当該部分の画像または映像を認識及び抽出し、当該結果送信装置７１０に抽出された当該画像または映像を送信する。

【0041】

当該結果送信装置７１０は、当該オブジェクト認識ユニット７１４の出力結果（当該マッティングユニット７１２の出力を含んでもよい）を当該バックエンドサーバ３０の当該メッセージユニット３２に送信するように構成される。一部の実施態様において、当該結果送信装置７１０は、当該メッセージユニット３２を介して送信する代わりに、当該結果受信装置８１０に当該出力を直接送信してもよい。

【0042】

当該ユーザ端末１０Ｂは、ユーザＢにより操作されるユーザ端末であってもよい。当該ユーザ端末１０Ｂは、カメラ８００と、レンダラー８０２と、ディスプレイ８０４と、エンコーダー８０６と、デコーダー８０８と、結果受信装置８１０と、画像処理装置８１２を含む。

【0043】

当該カメラ８００は、任意の種類の映像撮影装置である、またはこれを含むことができる。当該カメラ８００は、例えばユーザＢの、ビデオデータを撮影するように構成される。当該カメラ８００は、撮影したビデオデータを当該エンコーダー８０６、当該レンダラー８０２、及び／または当該画像処理装置８１２に送信する。

【0044】

当該レンダラー８０２は、当該カメラ８００からのビデオデータ（例：ユーザＢのビデオデータ）を受信、当該デコーダー８０８からのビデオデータ（ユーザＡなど、別のユーザからのビデオデータを含んでもよい）を受信、当該画像処理装置８１２の出力データを受信して、当該ディスプレイ８０４に表示するレンダリングされた映像（ユーザＡとユーザＢが表示されているグループ通話を表示する映像など）を生成するように構成される。

【0045】

当該ディスプレイ８０４は、当該レンダラー８０２からのレンダリングされた映像を表示するように構成される。一部の実施態様において、当該ディスプレイ８０４は当該ユーザ端末１０Ｂ上の画面であってもよい。

【0046】

当該エンコーダー８０６は、当該カメラ８００からの当該ビデオデータ、及び／または当該画像処理装置８１２からのビデオデータを含む、データをエンコードするように構成される。当該エンコーダー８０６は、エンコードした当該ビデオデータを当該ストリーミングサーバ４０の当該データ受信装置４００に送信する。エンコードしたデータはストリーミングデータとして送信されてもよい。

【0047】

当該デコーダー８０８は、当該ストリーミングサーバ４０の当該データ送信装置４０２からビデオデータまたはストリーミングデータ（ユーザＡからのビデオデータを含んでもよい）を受信し、それらをデコードしてデコードしたビデオデータとし、当該デコードしたビデオデータを当該レンダラー８０２に送信してレンダリングさせるように構成される。

【0048】

当該結果受信装置８１０は、当該バックエンドサーバ３０の当該メッセージユニット３２から出力データを受信し、当該データを当該画像処理装置８１２に送信するように構成される。当該メッセージユニット３２からの当該出力データは、当該マッティングユニット７１２と当該オブジェクト認識ユニット７１４からのデータまたは情報を含む。一部の実施態様において、当該メッセージユニット３２からの当該出力データは、当該オブジェクト認識ユニット７１４により実行された当該オブジェクト認識処理の結果を含む。例えば、当該メッセージユニット３２からの当該出力データは、一致した、または認識されたパターン、オブジェクトまたはジェスチャについての情報を含んでもよい。一部の実施態様において、当該メッセージユニット３２からの当該出力データは、（当該ユーザ端末１０Ａ上の）当該インタラクティブ領域内における位置に関する情報を含み、そのうち、ユーザＡの当該部分が、例えば、当該ユーザ端末１０Ａの当該マッティングユニット７１２、または当該オブジェクト認識ユニット７１４により、検出される。一部の実施態様において、当該メッセージユニット３２からの当該出力データは、当該インタラクティブ領域内で検出／認識されたユーザＡの部分の映像または画像を含む。

【0049】

当該画像処理装置８１２は、当該カメラ８００からのビデオデータ、及び／または当該結果受信装置８１０からのデータまたは情報を受信するように構成される。一部の実施態様において、当該画像処理装置８１２は、当該結果受信装置８１０から受信したデータまたは情報に基づいて、当該カメラ８００から受信した当該ビデオデータに対して画像処理または映像処理を実行する。例えば、当該オブジェクト認識ユニット７１４により実行された当該オブジェクト認識処理が（当該ユーザ端末１０Ａの画面上の当該インタラクティブ領域にある）ユーザＡの当該部分に所定のパターンを正常に認識したことを当該結果受信装置８１０から受信した当該データが示す場合、当該画像処理装置８１２は、当該カメラ８００から受信した当該ビデオデータ上に、当該所定のパターンに対応する特殊効果を含める、レンダリングする、重ねることができる。重ねられた当該映像がその後当該レンダラー８０２に送信され、その後当該ユーザ端末８０４上に表示されてもよい。一部の実施態様において、当該特殊効果データは、当該ユーザ端末１０Ｂ（図示しない）上のストレージに保存されてもよい。

【0050】

一部の実施態様において、当該メッセージユニット３２は、当該マッティングユニット７１２からのデータ及び／または当該オブジェクト認識ユニット７１４からのデータに基づいて、当該メッセージユニット３２の出力データの宛先を決定する。一部の実施態様において、当該メッセージユニット３２は、当該インタラクティブ領域内で検出されたユーザＡ当該部分の位置に基づいて、ユーザＡの当該部分を延伸、複製または再現する領域を決定する。

【0051】

例えば、図５に示すように、当該マッティングユニット７１２（または当該オブジェクト認識ユニット７１４）によりユーザＡの当該部分が検出された当該インタラクティブ領域Ａ３１の位置が、当該サブ領域Ａ３１２内にある場合、当該メッセージユニット３２は、当該メッセージユニット３２の当該出力データを送信する宛先にユーザＣの当該ユーザ端末を決定することができる。その後ユーザＡの当該部分が領域ＲＣ内に延伸または複製／再現／表示され、これはユーザＣの当該ユーザ端末の画像処理装置により実行されてもよい。

【0052】

別の一例において、当該マッティングユニット７１２によりユーザＡの当該部分検出された当該インタラクティブ領域Ａ３１の位置が、当該サブ領域Ａ３１１内にある場合、当該メッセージユニット３２は、当該メッセージユニット３２の当該出力データを送信する宛先にユーザＤの当該ユーザ端末を決定することができる。その後ユーザＡの当該部分が領域ＲＤ内に延伸または複製／再現／表示され、これはユーザＤの当該ユーザ端末における画像処理装置及び／またはレンダラーとの連携により実行されてもよい。

【0053】

さらに別の一例において、当該マッティングユニット７１２によりユーザＡの当該部分が検出された当該インタラクティブ領域Ａ３１の位置が、当該サブ領域Ａ３１３内にある場合、当該メッセージユニット３２は、当該メッセージユニット３２の当該出力データを送信する宛先にユーザＢの当該ユーザ端末を決定することができる。その後ユーザＡの当該部分が領域ＲＢ内に延伸または複製／再現／表示され、これはユーザＢの当該ユーザ端末における画像処理装置及び／またはレンダラーとの連携により実行されてもよい。

【0054】

一部の実施態様において、当該メッセージユニット３２の当該出力データは、領域ＲＡの当該インタラクティブ領域で検出されたユーザＡの当該部分の画像または映像を含んでもよい。当該画像処理装置８１２は、その後、当該カメラ８００から受信したユーザＢの当該映像上にユーザＡの当該部分を重ねる、複製する、または再現することができる。この方法において、当該インタラクティブ領域内のユーザＡの当該部分は、グラフィカルオブジェクトまたはアニメーションオブジェクトとして表現として表現されることなく、当該領域Ｂへ延伸されてもよい。

【0055】

一部の実施態様において、当該画像処理装置８１２は、当該デコーダー８０８を通じてユーザＡの画像またはビデオデータを受信した後、当該メッセージユニット３２からの情報（当該インタラクティブ領域内で検出されたユーザＡの当該部分に関する範囲、外形、または輪郭情報を含んでもよい）を利用して、当該カメラ８００から受信したユーザＢの映像上に、当該インタラクティブ領域内のユーザＡの当該部分を重ねる、複製する、または再現することができる。この方法において、当該インタラクティブ領域内のユーザＡの当該部分は、グラフィカルオブジェクトまたはアニメーションオブジェクトとして表現として表現されることなく、当該領域Ｂへ延伸されてもよい。

【0056】

一部の実施態様において、当該マッティングユニット７１２及び／または当該オブジェクト認識ユニット７１４は、当該ユーザ端末１０Ａ内に実装されなくてもよい。例えば、当該マッティングユニット７１２と当該オブジェクト認識ユニット７１４は、当該バックエンドサーバ３０または当該ストリーミングサーバ４０内に実装されてもよい。

【0057】

図９に本発明の一部の実施態様に基づく通信システムの動作を示す例示的なシーケンス図を示す。一部の実施態様において、図９に、ユーザ（例えば、ユーザＡ）の部分が、どのように別のユーザ（例えば、ユーザＢ）が表示されている領域に延伸されるかを示す。

【0058】

工程Ｓ２００において、当該ユーザ端末１０Ａの当該カメラ７００は、ユーザＡの当該ビデオデータを当該ユーザ端末１０Ａの当該マッティングユニット７１２に送信する。

【0059】

工程Ｓ２０２において、当該マッティングユニット７１２は、当該ユーザ端末１０Ａの画面上の当該インタラクティブ領域内でユーザＡの部分を検出する。この検出は、マッティングプロセス及び／またはクロッピングプロセスを含んでもよい。一部の実施態様において、当該マッティングユニット７１２は、ユーザＡの当該部分が検出された当該インタラクティブ領域内の位置を判断する。

【0060】

工程Ｓ２０４において、当該ユーザ端末１０Ａの当該オブジェクト認識ユニット７１４は、当該マッティングユニット７１２から出力データを受信し、当該マッティングユニット７１２の当該出力に対してオブジェクト認識処理を実行して、当該インタラクティブ領域内で検出されたユーザＡの当該部分に任意の所定のパターン、ジェスチャまたはオブジェクトが認識されるか否かを判断する。一部の実施態様において、当該オブジェクト認識処理は、マッチング処理、ジェスチャ認識処理及び／または皮膚認識処理を含んでもよい。

【0061】

工程Ｓ２０６において、当該オブジェクト認識ユニット７１４が所定のパターン、ジェスチャまたはオブジェクトを認識すると、当該オブジェクト認識ユニット７１４は当該所定のパターン、ジェスチャまたはオブジェクトについて位置や大きさなどの関連情報を収集し、データの送信先となる宛先を決定する。

【0062】

工程Ｓ２０８において、当該オブジェクト認識ユニット７１４の当該出力は、当該ユーザ端末１０Ａの当該結果送信装置７１０を介して当該バックエンドサーバ３０の当該メッセージユニット３２に送信される。

【0063】

工程Ｓ２１０において、当該メッセージユニット３２は、当該ユーザ端末１０Ａからのデータに含まれる、当該インタラクティブ領域内のユーザＡの当該部分の位置に関する情報に基づいて、当該ユーザ端末１０Ａからのデータを送信する宛先を決定する。当該情報は、例えば工程Ｓ２０６で決定されてもよい。

【0064】

工程Ｓ２１１において、当該メッセージユニット３２は、当該ユーザ端末１０Ａからの当該データを当該ユーザ端末１０Ｂの当該結果受信装置８１０に送信する（当該メッセージユニット３２が宛先をユーザＢまたは領域ＲＢと決定した例示的なシナリオの場合）。

【0065】

工程Ｓ２１２において、当該結果受信装置８１０は受信した当該データを当該ユーザ端末１０Ｂの当該画像処理装置８１２に送信する。

【0066】

工程Ｓ２１４において、当該画像処理装置８１２は、ユーザＡの検出された当該部分（または領域ＲＡの当該インタラクティブ領域内にある、ユーザＡの検出された当該部分の一部）を、ユーザＢの当該ビデオデータ上に重畳する、または重ね合わせる。一部の実施態様において、ユーザＡの検出された当該部分の当該画像またはビデオデータが、当該ストリーミングサーバ４０を介して当該ユーザ端末１０Ｂに送信される。一部の実施態様において、ユーザＡの検出された当該部分の当該画像またはビデオデータが、当該メッセージユニット３２を介して当該ユーザ端末１０Ｂに送信される。ユーザＢの当該画像またはビデオデータは、当該ユーザ端末１０Ｂの当該カメラ８００から当該画像処理装置８１２に送信される。

【0067】

工程Ｓ２１６において、当該画像処理装置８１２は処理された当該画像またはビデオデータをレンダリングのため当該ユーザ端末１０Ｂの当該レンダラー８０２に送信する。例えば、処理された当該画像またはビデオデータは、当該ユーザ端末１０Ｂの当該デコーダー８０８からのビデオデータ及び／または当該カメラ８００からのビデオデータと共にレンダリングされてもよい。

【0068】

工程Ｓ２１８において、レンダリングされた当該ビデオデータが、当該ユーザ端末１０Ｂの画面上に表示するため、当該ユーザ端末１０Ｂの当該ディスプレイ８０４に送信される。

【0069】

工程Ｓ２２０において、当該画像処理装置８１２は、処理された当該画像またはビデオデータをエンコーディングプロセスのため当該ユーザ端末１０Ｂの当該エンコーダー８０６に送信する。

【0070】

工程Ｓ２２２において、エンコーディングされた当該ビデオデータが、当該ストリーミングサーバ４０に送信される。

【0071】

工程Ｓ２２４において、当該ストリーミングサーバ４０はエンコードされた当該ビデオデータを（当該ユーザ端末１０Ｂから）デコーディングプロセスのため当該ユーザ端末１０Ａの当該デコーダー７０８に送信する。

【0072】

工程Ｓ２２６において、デコーディングされた当該ビデオデータが、レンダリングプロセスのため当該ユーザ端末１０Ａの当該レンダラー７０２に送信される。

【0073】

工程Ｓ２２８において、レンダリングされた当該ビデオデータが、当該ユーザ端末１０Ａの画面上に表示するため当該ディスプレイ８０４に送信される。

【0074】

上述の例示的な工程またはステップは、連続的にまたは周期的に実行されてもよい。例えば、当該マッティングユニット７１２は、当該インタラクティブ領域内のユーザＡの部分を連続的にまたは周期的に検出する。当該オブジェクト認識ユニット７１４は、当該インタラクティブ領域内のユーザＡの当該部分に対して連続的にまたは周期的に認識処理を実行する。当該メッセージユニット３２は、当該ユーザ端末１０Ａから受信した当該データを送信する宛先を連続的にまたは周期的に判断する。当該ユーザ端末１０Ｂの当該画像処理装置８１２は、当該メッセージユニット３２から受信した情報に基づいて連続的にまたは周期的に重畳または重ね合わせのプロセスを実行し、領域ＲＢ内の延伸または再現／複製されたユーザＡの当該部分が、当該領域ＲＡ内のユーザＡの当該部分と同期して移動するように確約する。一部の実施態様において、当該ユーザ端末１０ＢはＣＰUやGＰU等の処理ユニットを備え、当該領域ＲＢ内のユーザＡの延伸または再現された当該部分が、ユーザＢの画像または映像に触れるか否かを判断する。この判断の結果は、当該画像処理装置８１２が当該領域ＲＢ内に特殊効果を含めるか否かを決定するために使用することができる。

【0075】

本発明は電話会議やグループ通話をより便利に、楽しく、またはインタラクティブにするものである。本発明は、ユーザが別のユーザの表示領域内にあるオブジェクトについて話したいとき、誤解を防止することができる。本発明は、グループ通話チャットルーム（ライブストリーミングの形式であってもよい）へのユーザの参加意欲を高めることができる。本発明は、より多くのストリーマーや視聴者を引き付け、ライブストリーミングによるグループ通話に参加してもらうことができる。

【0076】

本発明で説明した処理及び手順は、明示的に説明したものに加えて、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせにより実現することができる。例えば、本明細書で説明した処理および手順は、その処理および手順に対応するロジックを集積回路、揮発性メモリ、不揮発性メモリ、非一過性のコンピュータ可読媒体、磁気ディスクなどの媒体に実装することにより実現することができる。さらに、本明細書に記載された処理および手順は、その処理および手順に対応するコンピュータプログラムとして実現することができ、各種のコンピュータにより実行することができる。

【0077】

上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読媒体に格納されたプログラムに統合されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされ、プロセッサにより実行されるものとしてもよい。

【0078】

以上、本発明の技術的内容及び特徴を説明したが、本発明の属する技術分野において通常の知識を有する者であれば、本発明の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本発明の範囲は、既に開示された実施態様に限定されず、本発明から逸脱しない別の変形や修正を含み、特許請求の範囲に含まれる範囲である。

【符号の説明】

【0079】

Ｓ１ 画面
ＲＡ 領域
ＲＢ 領域
ＲＣ 領域
ＲＤ 領域
Ａ１ 部分
Ａ１１ 部分
Ａ２ 部分
Ａ２１ 部分
Ａ３ 境界
Ａ３１ インタラクティブ領域
Ａ３１１ サブ領域
Ａ３１２ サブ領域
Ａ３１３ サブ領域
Ａ３２ 領域
Ｂ１ オブジェクト
Ｂ３ 境界
Ｂ３１ インタラクティブ領域
Ｂ３２ 領域
ＢＲ１ 境界線
ＢＲ２ 境界線
ＳＰ１ 特殊効果
１ システム
１０ ユーザ端末
３０ バックエンドサーバ
３２ メッセージユニット
４０ ストリーミングサーバ
４００ データ受信装置
４０２ データ送信装置
９０ ネットワーク
７００ カメラ
７０２ レンダラー
７０４ ディスプレイ
７０６ エンコーダー
７０８ デコーダー
７１０ 結果送信装置
７１２ マッティングユニット
７１４ オブジェクト認識ユニット
８００ カメラ
８０２ レンダラー
８０４ ディスプレイ
８０６ エンコーダー
８０８ デコーダー
８１０ 結果受信装置
８１２ 画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】