特開 2023-103662 プログラム、情報処理方法、情報処理装置、および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023103662

(43)【公開日】2023-07-27

(54)【発明の名称】プログラム、情報処理方法、情報処理装置、および情報処理システム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20230720BHJP

   G06T 19/00 20110101ALI20230720BHJP

   G06F 3/01 20060101ALI20230720BHJP

   G06F 3/0481 20220101ALI20230720BHJP

【ＦＩ】

H04N7/15 170

G06T19/00 600

G06F3/01 510

G06F3/0481

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022004304

(22)【出願日】2022-01-14

(11)【特許番号】

(45)【特許公報発行日】2022-09-08

(71)【出願人】

【識別番号】514323800

【氏名又は名称】株式会社キッズプレート

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】茂出木 謙太郎

【テーマコード（参考）】

5B050

5C164

5E555

【Ｆターム（参考）】

5B050AA08

5B050BA06

5B050BA09

5B050BA11

5B050BA12

5B050BA20

5B050CA07

5B050CA08

5B050DA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA10

5B050GA08

5C164FA10

5C164UB88S

5C164UB90S

5C164VA06S

5C164VA07P

5C164VA21S

5C164VA35P

5E555AA61

5E555BA11

5E555BB11

5E555BC04

5E555BC16

5E555BD06

5E555BE17

5E555CA42

5E555CB66

5E555DA01

5E555DB32

5E555DB57

5E555DC09

5E555FA00

(57)【要約】

【課題】オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現する。
【解決手段】プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、ユーザの撮像データを取得するステップと、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップと、生成された映像データを出力するステップと、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した映像データを出力するステップと、を実行させるプログラムが提供される。
【選択図】図５

【特許請求の範囲】

【請求項1】

プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、
ユーザの撮像データを取得するステップと、
前記撮像データに基づいて、前記ユーザをアバターに変換した映像データを生成するステップと、
前記生成された映像データを出力するステップと、
他のユーザの操作に応答して、当該他のユーザのアバターを前記ユーザの映像データに合成した合成データを出力するステップと、を実行させるプログラム。

【請求項2】

前記合成データを出力するステップでは、前記他のユーザとして、前記アプリケーションが提供するオンラインビデオコミュニケーションに参加しているユーザの操作を受け付ける、請求項１に記載のプログラム。

【請求項3】

前記合成データを出力するステップにおいて、前記他のユーザのアバターと前記ユーザのアバターとが１つの仮想空間内に表示された合成データを、前記アプリケーションに出力させる、請求項１または請求項２に記載のプログラム。

【請求項4】

前記合成データを出力するステップにおいて、前記アプリケーションに、前記ユーザの使用する端末の画面に当該ユーザのアバターと前記他のユーザのアバターとを表示させる、請求項１または請求項２に記載のプログラム。

【請求項5】

前記ユーザの動きをトラッキングしたトラッキングデータを取得し、前記他のユーザのトラッキングデータを受信し、両方のトラッキングデータに基づいて合成された合成データを前記アプリケーションに出力させる、請求項１～請求項４のいずれかに記載のプログラム。

【請求項6】

認証が成功した前記他のユーザをアバターに変換した映像データを、前記ユーザの使用する端末の画面に出力させる、請求項１～請求項５のいずれかに記載のプログラム。

【請求項7】

前記ユーザが予め設定した前記認証に必要な情報を、前記他のユーザから受け付ける、請求項６に記載のプログラム。

【請求項8】

ユーザからの操作に応答して前記ユーザの使用する端末の画面に表示されたアバターの動きを制御させる、請求項１～請求項７のいずれかに記載のプログラム。

【請求項9】

プロセッサを備えるコンピュータにより実行される情報処理方法であって、
前記プロセッサに、請求項１～請求項８のいずれかに記載のプログラムを実行させる、情報処理方法。

【請求項10】

プロセッサを備える情報処理装置であって、
前記プロセッサに、請求項１～請求項８のいずれかに記載のプログラムを実行させる、情報処理装置。

【請求項11】

プロセッサを備えるコンピュータを含む情報処理システムであって、
前記プロセッサに、請求項１～請求項８のいずれかに記載のプログラムを実行させる、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置および方法に関する。

【背景技術】

【0002】

近年、インターネットなどのネットワークを利用して、オンラインでコミュニケーションを行う技術が開発されている。例えば、特許文献１には、仮想会議に参加している参加者が自身の分身であるアバターとなって１つの仮想空間内に表示される会議システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０２０－５２５９４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方で、インターネットを利用したオンラインミーティングやオンラインセミナーなどを実現するオンラインビデオコミュニケーションツールが普及している。このようなオンラインビデオコミュニケーションツールを利用する際に、より多様なコミュニケーションを実現したいというニーズがある。

【0005】

本発明の目的は、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することである。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、ユーザの撮像データを取得するステップと、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップと、生成された映像データを出力するステップと、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した映像データを出力するステップと、を実行させるプログラムが提供される。

【0007】

本開示によれば、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することができる。

【図面の簡単な説明】

【0008】

【図1】映像出力システム１の機能の概要を説明する図である。

【図2】映像出力システム１のハードウェア構成を示すブロック図である。

【図3】ユーザ端末１０の機能構成を示すブロック図である。

【図4】管理サーバ２０の機能構成を示すブロック図である。

【図5】映像出力システム１の処理の流れの一例を示すフロー図である。

【図6】ビデオコミュニケーション処理（Ｓ６００）の処理の流れの一例を示す

【図7】コネクト申請処理（Ｓ７００）の処理の流れの一例を示すフロー図である。

【図8】コネクト実施処理（Ｓ８００）の処理の流れの一例を示すフロー図である。

【図9】ユーザ端末１０に表示される画面例を示す図である。

【図10】ユーザ端末１０に表示される画面例を示す図である。

【図11】変形例１における画面例を説明する図である。

【図12】変形例２における画面例を説明する図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0010】

＜１．第１実施形態＞
（１．映像出力システム１の概要）
図１を参照して、映像出力システム１の概要を説明する。ユーザＵ１は、ユーザ端末１０が備えるカメラ１６０を用いて、オンラインビデオコミュニケーションツールを利用することができる。オンラインビデオコミュニケーションツールとは、オンライン会議やオンラインセミナー、動画配信による配信者と視聴者とのコミュニケーションなどを実現し、インターネット上に配信されたユーザのビデオ（映像）データを介してユーザ同士のコミュニケーションを可能とするアプリケーションを指す。

【0011】

オンラインビデオコミュニケーションツールは、予めユーザ端末１０にインストールされていてもよいし、クラウドサーバに対してウェブブラウザからアクセスして利用してもよい。一般に普及しているオンラインビデオコミュニケーションツールの一例としては、Ｚｏｏｍ，Ｓｋｙｐｅ，ＧｏｏｇｌｅＭｅｅｔ（いずれも登録商標）などを挙げることができる。

【0012】

図１Ａに示すように、オンラインビデオコミュニケーションツールを利用する場合、通常はユーザ端末１０が備えるカメラ１６０が撮像した撮像データＤ１が他のユーザの使用する端末に表示される。これにより、ユーザＵ１は他のユーザとビデオデータを介したコミュニケーションを実現することができる。

【0013】

一方、映像出力システム１では、図１Ｂに示すように、撮像データＤ１におけるユーザＵ１をアバターＡ１に変換した映像データＥ１を、オンラインビデオコミュニケーションツールに出力する。このように、映像出力システム１は、いわゆる仮想カメラソフトウェアとしての機能を備える。これにより、ユーザＵ１は、他のユーザが利用する端末の画面に自身の顔を出すことなく、オンラインビデオコミュニケーションを実施することができる。

【0014】

映像出力システム１は、さらに、他のユーザＵ２からのリクエストに応答して、ユーザＵ１をアバターＡ１に変換した映像データにユーザＵ２をアバターＡ２に変換した映像を合成した合成データをオンラインビデオコミュニケーションツールに出力することができる。そのため、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することが可能となる。以下、各構成を詳細に説明する。

【0015】

（２．映像出力システム１のハードウェア構成）
図２は、映像出力システム１の全体構成の例を示すブロック図である。映像出力システム１は、ユーザ端末１０と、管理サーバ２０を備える。ユーザ端末１０、管理サーバ２０は、例えば、ネットワーク４０を介して通信接続する。ネットワーク４０は、例えば、インターネット及び／又は通信事業者が提供する通信網等により実現される。

【0016】

本実施形態において、複数の装置の集合体を１つのサーバとしてもよい。１つ又は複数のハードウェアに対して本実施形態に係る管理サーバ２０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び／又は各サーバに求められる仕様等に鑑みて適宜決定することができる。

【0017】

ユーザ端末１０は、例えば、据え置き型のＰＣ（Personal Computer）、又はラップトップＰＣ等により実現される。また、ユーザ端末１０は、スマートフォン、又はタブレット等の携帯端末により実現されてもよい。

【0018】

ユーザ端末１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１７とを備える。

【0019】

通信ＩＦ１２は、ユーザ端末１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。

【0020】

入力装置１３は、ユーザからの入力操作を受け付けるための装置（例えば、キーボード、マウス等のポインティングデバイス、タッチパネル、タッチパッド等）である。

【0021】

出力装置１４は、ユーザに対して情報を提示するための装置（ディスプレイ、スピーカ等）である。

【0022】

メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0023】

ストレージ１６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。

【0024】

プロセッサ１７は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0025】

管理サーバ２０は、映像出力システム１を利用するユーザの管理およびユーザ認証（ログイン／ログアウト）を行う。管理サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２７とを備える。

【0026】

通信ＩＦ２２は、管理サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。

【0027】

入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し、情報を提示するための出力装置とのインタフェースとして機能する。

【0028】

メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリである。

【0029】

ストレージ２６は、データを保存するためのものであり、例えばフラッシュメモリ、ＨＤＤである。

【0030】

プロセッサ２７は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

【0031】

（３．映像出力システム１の機能構成）
以下、図３～図５を参照して、映像出力システム１の機能構成を説明する。

【0032】

（３－１．ユーザ端末１０の機能構成）
図３は、第１実施形態の映像出力システム１を構成するユーザ端末１０の構成を示す図である。ユーザ端末１０は、インターネットなどのネットワークを介して管理サーバ２０と通信可能に接続される。ユーザ端末１０は、５Ｇ、ＬＴＥ（Long Term Evolution）などの通信規格に対応した無線基地局、またはＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１などの無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ等の通信機器と通信することによりネットワークに接続される。

【0033】

図３に示すように、ユーザ端末１０は、アンテナ１１０と、アンテナ１１０に対応する無線通信部１２０と、操作受付部１３０（キーボード１３１およびマウス１３２を含む）と、音声処理部１４０（マイク１４１およびスピーカ１４２を含む）と、ディスプレイ１５０と、カメラ１６０と、記憶部１７０と、制御部１８０とを含む構成としてもよい。

【0034】

なお、ユーザ端末１０は、図３では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路など）も有している。図３においてブロックで示される各構成は、バス等により電気的に接続される。

【0035】

アンテナ１１０は、ユーザ端末１０が発する信号を電波として放射する。また、アンテナ１１０は、空間から電波を受信して受信信号を無線通信部１２０へ与える。

【0036】

無線通信部１２０は、ユーザ端末１０が他の無線機器と通信するため、アンテナ１１０を介して信号を送受信するための変復調処理などを行う。無線通信部１２０は、ユーザ端末１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１８０へ与える。

【0037】

操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、キーボード１３１と、マウス１３２とを含むことができる。

【0038】

音声処理部１４０は、音声信号の変復調を行い、マイク１４１から与えられる信号を変調して、変調後の信号を制御部１８０へ与える。また、音声処理部１４０は、音声信号をスピーカ１４２へ与える。音声処理部１４０は、例えば音声処理用のプロセッサによって実現される。マイク１４１は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部１４０へ与える。スピーカ１４２は、音声処理部１４０から与えられる音声信号を音声に変換して当該音声をユーザ端末１０の外部へ出力する。

【0039】

ディスプレイ１５０は、制御部１８０の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ１５０は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現され得る。

【0040】

カメラ１６０は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ１６０は、例えば、撮影した画像をリアルタイムでネットワーク４０へ転送可能なリアルタイムカメラ（いわゆるウェブカメラを含む）であってもよい。

【0041】

記憶部１７０は、例えばメモリ１５またはストレージ１６で構成され、ユーザ端末１０が使用するデータおよびプログラムを記憶する。記憶部１７０には、一例として、アバターデータベース２８２が記憶されている。アバターデータベース２８２はユーザが使用可能なアバターについての情報である。アバターとは、コンピュータの画面上に表示される仮想空間においてユーザの分身として表示されるキャラクターを指す。アバターデータベース２８２は、ユーザが使用可能なアバターの外見、属性（名称、性別、種等）、声などの情報を保持する。

【0042】

制御部１８０は、プロセッサ１７が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現され、ユーザ端末１０の動作を制御する。制御部１８０は、例えば予めユーザ端末１０にインストールされているアプリケーションとして実現してもよい。制御部１８０は、プログラムに従って動作することにより、操作受付モジュール１８０１と、送受信モジュール１８０２と、通知モジュール１８０３と、撮像モジュール１８０４と、映像生成モジュール１８０５と、映像出力モジュール１８０６と、認証モジュール１８０７としての機能を発揮する。

【0043】

操作受付モジュール１８０１は、キーボード１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。

【0044】

送受信モジュール１８０２は、ユーザ端末１０が、管理サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。

【0045】

通知モジュール１８０３は、ユーザに対し情報を通知する処理を行う。具体的には、通知制御部１８４は、表示画像をディスプレイ１５０に表示させる処理、音声をスピーカ１４２に出力させる処理、振動をカメラ１６０に発生させる処理等を行う。

【0046】

撮像モジュール１８０４は、カメラ１６０を機能させてユーザの撮像データを取得する。撮像モジュール１８０４の処理の詳細は後述する。

【0047】

映像生成モジュール１８０５は、撮像モジュール１８０４が取得した撮像データに基づいて、ユーザをアバターに変換した映像データを生成する。映像生成モジュール１８０５の処理の詳細は後述する。

【0048】

映像出力モジュール１８０６は、映像生成モジュール１８０５が生成した映像データを、オンラインビデオコミュニケーションツールに出力する。映像出力モジュール１８０６の処理の詳細は後述する。

【0049】

認証モジュール１８０７は、他のユーザからのコネクトのリクエストの認証を行う。認証モジュール１８０７の処理の詳細は後述する。

【0050】

ユーザは、映像出力システム１が提供するサービスを利用するために、所定のアプリケーションをユーザ端末１０にインストールしてもよい。ユーザ端末１０は、ユーザから、クレジットカード情報、携帯決済サービス事業者が提供する決済サービスに関する情報の登録を受け付けてもよい。

【0051】

（３－２．管理サーバ２０の機能構成）
図４は、管理サーバ２０の構成を示す図である。図４に示すように、管理サーバ２０は、通信部２０１と、記憶部２０２と、入出力部２０３と、制御部２０４を備える。

【0052】

通信部２０１は、管理サーバ２０がユーザ端末１０等の外部の装置と通信するための処理を行う。

【0053】

記憶部２０２は、メモリ２５またはストレージ２６で実現され、管理サーバ２０が使用するデータ及びプログラムを記憶する。一例として、記憶部２０２には、ユーザデータベース２０２１が記憶されている。ユーザデータベース２０２１は、映像出力システム１を利用するユーザの情報（氏名、性別、年齢、住所、ＩＤ、パスワード等）を記憶する。

【0054】

入出力部２０３は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。

【0055】

制御部２０４は、プロセッサ２７がプログラムに従って処理を行うことにより、以下に示す各種モジュールとして示す機能を発揮する。

【0056】

送受信モジュール２０４１は、管理サーバ２０が外部の装置から通信プロトコルに従って信号を送受信する処理を制御する。

【0057】

認証モジュール２０４２は、ユーザ認証を行う。認証モジュール２０４２の処理の詳細は後述する。

【0058】

（４．処理の流れ）
以下、図５～図８を参照し、映像出力システム１の処理の流れについて説明する。

【0059】

（４－１．映像出力システム１の処理）
図５を参照して、映像出力システム１の処理の流れの一例を説明する。ステップＳ５１１において、ユーザ端末１０は、ユーザからＩＤとパスワードを受け付けて管理サーバ２０へ送信する。ステップＳ５２１において、管理サーバ２０は、ユーザ端末１０が送信したＩＤとパスワードを受信する。

【0060】

ステップＳ５２２において、管理サーバ２０の認証モジュール２０４２は、記憶部２０２内のユーザデータベース２０２１を参照し、ＩＤとパスワードによるログイン認証を実行する。ステップＳ５１２において、ユーザ端末１０の通知モジュール１８０３は、管理サーバ２０からの通知に基づき、ログイン認証が成功したことをディスプレイ１５０に表示する。

【0061】

ステップＳ６００において、ユーザ端末１０は、ビデオコミュニケーション処理を実行する。ビデオコミュニケーション処理の詳細は後述する。

【0062】

ステップＳ５１３において、ユーザ端末１０は、ユーザからログアウトの操作を受け付ける。ステップＳ５２３において、管理サーバ２０は、ログアウト処理のリクエストを受信する。

【0063】

ステップＳ５２４において、管理サーバ２０の認証モジュール２０４２は、ログアウト処理を実行する。ステップＳ５１４において、ユーザ端末１０の通知モジュール１８０３は、管理サーバ２０からの通知に基づき、ログアウトしたことをディスプレイ１５０に表示する。

【0064】

（４－２．ビデオコミュニケーション処理の流れ）
図６を参照して、ビデオコミュニケーション処理（Ｓ６００）の処理の流れの一例を説明する。ステップＳ６１０において、ユーザ端末１０の撮像モジュール１８０４は、カメラ１６０を機能させてユーザの撮像データを取得する。

【0065】

ステップＳ６２０において、ユーザ端末１０の映像生成モジュール１８０５は、撮像モジュール１８０４が取得した撮像データに基づいて、ユーザをアバターに変換した映像データを生成する。具体的には、例えば、撮像データにおけるユーザの顔における特徴点を抽出し、当該特徴点の動きをトラッキングする。その上で、アバターにおける当該特徴点に該当する箇所をトラッキングした動きに合わせて動かした動画を生成する。

【0066】

ステップＳ６３０において、ユーザ端末１０の映像出力モジュール１８６は、映像生成モジュール１８０５が生成した映像データを、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ出力する。一例として、映像出力モジュール１８６は、オンラインビデオコミュニケーションツールとして機能するアプリケーションに設定されている仮想カメラソフトウェアからの入力を受け付ける入力チャネルに対して、映像データを出力する。

【0067】

ステップＳ７００において、コネクト申請処理が実行される。コネクト申請処理の詳細は後述する。

【0068】

ステップＳ８００において、コネクト実施処理が実行される。コネクト実施処理の詳細は後述する。

【0069】

（４－３．コネクト申請処理の流れ）
図７を参照して、コネクト申請処理（Ｓ７００）の流れの一例を説明する。なお、以下の説明において、自身が使用するユーザ端末１０のディスプレイ１５０に、他のユーザのアバターを表示させるユーザをオーナーともいい、当該他のユーザをゲストともいう。オーナーとゲストは、ともにオンラインビデオコミュニケーションに参加してコミュニケーションをとるユーザである。また、オーナーが使用するユーザ端末１０のディスプレイ１５０にゲストのアバターを表示させることをコネクトともいう。また、コネクトの１単位をセッションともいい、コネクトはセッションＩＤで一意に管理される。

【0070】

ステップＳ７１１において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（オーナー）から受け付けたセッションＩＤを管理サーバ２０へ送信する。ステップＳ７２１において、管理サーバ２０の送受信モジュール２０４１は、セッションＩＤを受信する。

【0071】

ステップＳ７１２において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（オーナー）からコネクトを許可するための操作を受け付け、管理サーバ２０へ送信する。ステップＳ７２２において、管理サーバ２０の送受信モジュール２０４１は、ユーザ（オーナー）がコネクトを許可したことを受信する。

【0072】

ステップＳ７３１において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（ゲスト）から受け付けたセッションＩＤを管理サーバ２０へ送信する。ステップＳ７２３において、管理サーバ２０の送受信モジュール２０４１は、セッションＩＤを受信する。

【0073】

ステップＳ７３２において、ユーザ端末１０の送受信モジュール１８０２は、ユーザ（ゲスト）からコネクトのリクエストを受け付け、管理サーバ２０へ送信する。ステップＳ７２４において、管理サーバ２０の送受信モジュール２０４１は、コネクトのリクエストを受信する。

【0074】

ステップＳ７２５において、管理サーバ２０の送受信モジュール２０４１は、コネクトのリクエストをユーザ（オーナー）のユーザ端末１０へ送信する。ユーザ端末１０の送受信モジュール１８０２は、リクエストを受信する。

【0075】

ステップＳ７１４において、ユーザ端末１０の認証モジュール１８０７は、ユーザ（オーナー）の操作に基づいてリクエストを承認する。ステップＳ７２６において、管理サーバ２０の送受信モジュール２０４１は、リクエストが承認されたことを受信する。これにより、ユーザ（ゲスト）によるコネクトの申請が承認され、コネクト実施処理（Ｓ８００）が実行される。

【0076】

（４－４．コネクト実施処理の流れ）
図８を参照して、コネクト実施処理（Ｓ８００）の流れの一例を説明する。ステップＳ８１１およびステップＳ８３１において、ユーザ端末１０の撮像モジュール１８０４は、カメラ１６０を機能させてユーザの撮像データを取得する。ステップＳ８１２およびステップＳ８３２において、ユーザ端末１０の映像生成モジュール１８０５は、撮像モジュール１８０４が取得した撮像データに基づいて、ユーザをアバターに変換した映像データを生成する。

【0077】

ステップＳ８３３において、ユーザ端末１０（ゲスト）の送受信モジュール１８０２は、撮像データにおけるユーザの動きをトラッキングしたトラッキングデータを、管理サーバ２０へ送信する。ステップＳ８２１において、管理サーバ２０の送受信モジュール２０４１は、トラッキングデータを受信する。

【0078】

ステップＳ８２２において、管理サーバ２０の送受信モジュール２０４１は、トラッキングデータをユーザ端末１０（オーナー）へ送信する。ステップＳ８１３において、ユーザ端末１０（オーナー）の送受信モジュール１８０２は、トラッキングデータを受信する。

【0079】

ステップＳ８１４において、ユーザ端末１０（ゲスト）の映像生成モジュール１８０５は、ステップＳ８１２で生成した映像データと、受信したトラッキングデータとに基づいて、オーナーのアバターとゲストのアバターとが１つの仮想空間内に表示されている合成データを生成する。

【0080】

ステップＳ８１５において、ユーザ端末１０（ゲスト）の映像出力モジュール１８０６は、合成データをオンラインビデオコミュニケーションツールとして機能するアプリケーションへ出力する。ステップＳ８３４において、ユーザ端末１０（ゲスト）の映像出力モジュール１８０６は、ステップＳ８３２で生成した映像データからゲストのアバターを削除した映像データを、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ出力する。

【0081】

（５．画面例）
図９および図１０を参照して、ユーザ端末１０のディスプレイ１５０に表示される画面例を説明する。

【0082】

図９Ａには、オーナーとしてのユーザのアバターＡ１が表示された映像データＥ１と、ゲストとしてのユーザのアバターＡ２が表示された映像データＥ２が表示されている。ステップＳ７１１において、ユーザ（オーナー）は、セッションＩＤ受付欄Ｐ１に任意のセッションＩＤを入力する。ステップＳ７１２において、ユーザ（オーナー）は、接続ボタンＱ１を押下してコネクトの受付を管理サーバ２０へ送信する。

【0083】

図９Ｂに示すように、ステップＳ７３１において、ユーザ（ゲスト）は、セッションＩＤ受付欄Ｐ２ａにセッションＩＤを入力する。ステップＳ７３２において、ユーザ（ゲスト）は、接続ボタンＱ２を押下してコネクトのリクエストを管理サーバ２０へ送信する。ここで、ユーザ（ゲスト）が入力したセッションＩＤがユーザ（オーナー）によって設定されたセッションＩＤと一致する場合（セッションＩＤの認証が成功した場合）、ステップＳ７２５において、当該コネクトのリクエストがあることを管理サーバ２０がユーザ端末１０（オーナー）に通知される。なお、コネクト実行時にゲストのアバターＡ２がオーナーのアバターＡ１の左右どちら側に表示されるかを設定する表示サイド設定ボタンＰ２ｂを設けてもよい。

【0084】

図１０Ａに示すように、ステップＳ７２５において、当該コネクトのリクエストがあることを管理サーバ２０がユーザ端末１０（オーナー）に通知されると、オーナー側の画面にはゲストからのリクエストがあることが表示される。ステップＳ７１４において、オーナーが承認ボタンＲ１ａを押下することにより、リクエストが承認される

【0085】

なお、オーナーは拒否ボタンＲ１ｂを押下して、当該リクエストを拒否してもよい。また、ゲストは、キャンセルボタンＲ２を押下してリクエストをキャンセルしてもよい。

【0086】

コネクト実施処理（Ｓ８００）が実行されると、オーナーのアバターＡ１とゲストのアバターＡ２とが同一の仮想空間内で表示された合成データＥ３がオーナーのユーザ端末１０のディスプレイ１５０に表示される。ここで、アバターＡ１およびアバターＡ２はそれぞれオーナーおよびゲストの動きをトラッキングして生成されているため、オーナーおよびゲストの動きが反映されて表示される。

【0087】

以上のように、本実施の形態においては、映像出力システム１は、ユーザの撮像データを取得するステップと、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップと、生成された映像データを出力するステップと、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した映像データを出力するステップと、を実行する。

【0088】

これにより、オンラインビデオコミュニケーションツールを利用するユーザ同士の多様なコミュニケーションを実現することができる。また、特別なシステムを用意することなく、一般に普及しているオンラインビデオコミュニケーションツールと仮想カメラソフトウェアのみで、複数のユーザのアバター映像を合成し、アバターによるコミュニケーションを実現することができる。

【0089】

（６．変形例１）
図１１を参照して、本実施形態の変形例１について相違点を中心に説明する。変形例１では、３人のユーザのアバターを合成して１つの画面に表示させる。具体的には、図１１Ａおよび図１１Ｂに示すように、オーナーとしてのユーザのアバターＡ１と、ゲストとしてのユーザのアバターＡ２およびＡ３を合成させた合成データＥ４を生成して、オーナーが使用するユーザ端末１０のディスプレイ１５０に表示させる。このように、本開示における技術的思想は、３以上のユーザに対して適用することも可能であり、アバターを用いたコミュニケーションをより多様なものにすることができる。

【0090】

（７．変形例２）
図１２を参照して、本実施形態の変形例２について相違点を中心に説明する。変形例２では、合成データ内に表示されたアバターをユーザの操作によって移動させることが可能となっている。図１２Ａおよび図１２Ｂに示すように、オーナーまたはゲストが使用するユーザ端末１０の操作受付部１３０を使用した操作により、合成データＥ１内のアバターの動きを制御することが可能となっている。具体的には、映像生成モジュール１８０５が操作受付部１３０からの操作の内容に基づいて、アバターの動きを変化させた映像を生成し、当該映像を映像出力モジュール１８０６がオンラインビデオコミュニケーションとして機能するアプリケーションへ出力する。このような仕様とすることにより、合成データ内でのアバター同士によるコミュニケーションをより多様なものとすることが可能となる。

【0091】

＜２．その他の実施形態＞
以上、本発明における実施形態およびその変形例について説明したが、本開示の適用は上述の内容に限定されるものではない。

【0092】

例えば、コネクト申請処理（Ｓ７００）およびコネクト実施処理（Ｓ８００）の内容はあくまでも一例であり、上述した態様に限定されるわけではない。例えば、ユーザ端末１０が記憶部１７０に備えるアバターデータベース２８２の情報は、共通するアバターデータベース２８２の情報をそれぞれの端末が記憶部１７０に記憶していてもよいし、ゲストが使用するユーザ端末１０からオーナーが使用するユーザ端末に送信してもよい。一例として、ゲストが使用するユーザ端末１０からアバターデータベース２８２の情報を送信するタイミングとしては、コネクトをリクエストするタイミング（Ｓ７３２）であってもよい。また、オーナーが使用するユーザ端末１０は、コネクト実施処理（Ｓ８００）の終了後に、受信したアバターデータベース２８２の情報を削除する仕様としてもよい。

【0093】

また、上記実施形態では、ゲストが使用するユーザ端末１０から管理サーバ２０を介してトラッキングデータをオーナーが使用するユーザ端末１０に送信しているが、管理サーバを介さずに送受信をしてもよい。

【0094】

また、上記実施形態において、ゲストが使用するユーザ端末１０とオーナーが使用するユーザ端末１０とは同様の機能を備えているため、オンラインビデオコミュニケーションを行うごとに、または、オンラインビデオコミュニケーションの間に、ゲストとオーナーが入れ替わる形でコネクト申請処理（Ｓ７００）およびコネクト実施処理（Ｓ８００）を実行してもよい。

【0095】

また、通信回線を介した所定情報の共有は、主にインターネットなどのＷＡＮを介して行われるが、情報処理装置間では、ＷＡＮを介さずにＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等のみを介して行われてもよい。

【0096】

また、上記実施形態では、各機能をユーザ端末１０、管理サーバ２０が備える態様の一例について説明したが、この形態に限定されることはない。すなわち、本開示における一部または全部の機能を、上記実施形態と異なる態様でユーザ端末１０、管理サーバ２０の一部または全部が備える構成としてもよい。

【0097】

さらに、本発明は、上述のプログラムを格納する、コンピュータ読み取り可能な非一時的な記録媒体として実現してもよい。

【0098】

以上、本発明に係る種々の実施形態を説明したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0099】

＜付記＞
以上の各実施の形態で説明した事項を以下に付記する。
（付記１）
プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力させるプログラムであって、ユーザの撮像データを取得するステップ（Ｓ６１０）と、撮像データに基づいて、ユーザをアバターに変換した映像データを生成するステップ（Ｓ６２０）と、生成された映像データを出力するステップ（Ｓ６３０）と、他のユーザの操作に応答して、当該他のユーザのアバターをユーザの映像データに合成した合成データを出力するステップ（Ｓ８００）と、を実行させるプログラム。
（付記２）
合成データを出力するステップでは、他のユーザとして、アプリケーションが提供するオンラインビデオコミュニケーションに参加しているユーザの操作を受け付ける、付記１に記載のプログラム。
（付記３）
合成データを出力するステップにおいて、他のユーザのアバターとユーザのアバターとが１つの仮想空間内に表示された合成データを、アプリケーションに出力させる、付記１または付記２に記載のプログラム。
（付記４）
合成データを出力するステップにおいて、アプリケーションに、ユーザの使用する端末の画面に当該ユーザのアバターと他のユーザのアバターとを表示させる、付記１または付記２に記載のプログラム。
（付記５）
ユーザの動きをトラッキングしたトラッキングデータを取得し、他のユーザのトラッキングデータを受信し、両方のトラッキングデータに基づいて合成された合成データをアプリケーションに出力させる、付記１～付記４のいずれかに記載のプログラム。
（付記６）
認証が成功した他のユーザをアバターに変換した映像データを、ユーザの使用する端末の画面に出力させる、付記１～付記５のいずれかに記載のプログラム。
（付記７）
ユーザが予め設定した認証に必要な情報を、他のユーザから受け付ける、付記６に記載のプログラム。
（付記８）
ユーザからの操作に応答してユーザの使用する端末の画面に表示されたアバターの動きを制御させる、付記１～付記７のいずれかに記載のプログラム。

【符号の説明】

【0100】

１：映像出力システム、１０：ユーザ端末、１３：入力装置、１４：出力装置、１５：メモリ、１６：ストレージ、１７：プロセッサ、２０：管理サーバ、２５：メモリ、２６：ストレージ、２７：プロセッサ、４０：ネットワーク、１１０：アンテナ、１２０：無線通信部、１３０：操作受付部、１３１：キーボード、１３２：マウス、１４０：音声処理部、１４１：マイク、１４２：スピーカ、１５０：ディスプレイ、１６０：カメラ、１７０：記憶部、１８０：制御部、１８４：通知制御部、１８６：映像出力モジュール、２０１：通信部、２０２：記憶部、２０３：入出力部、２０４：制御部、２８２：アバターデータベース、１８０１：操作受付モジュール、１８０２：送受信モジュール、１８０３：通知モジュール、１８０４：撮像モジュール、１８０５：映像生成モジュール、１８０６：映像出力モジュール、１８０７：認証モジュール、２０２１：ユーザデータベース、２０４１：送受信モジュール、２０４２：認証モジュール。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2022-06-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

プロセッサを備えるコンピュータに、オンラインビデオコミュニケーションツールとして機能するアプリケーションへ映像データを出力する仮想カメラソフトウェアとしての機能を実行させるプログラムであって、
前記プログラムは、ユーザ端末に、
ユーザの撮像データを取得するステップと、
前記撮像データに基づいて、前記ユーザをアバターに変換した映像データを生成するステップと、
前記生成された映像データを前記アプリケーションへ出力する第１の出力ステップと、
他のユーザの操作に応答して、当該他のユーザのアバターを前記ユーザの映像データに合成した合成データを前記アプリケーションへ出力する第２の出力ステップと、を実行させるプログラム。

【請求項2】

前記プログラムは、前記ユーザ端末に、
前記他のユーザの操作に応答して、前記第１の出力ステップと、前記第２の出力ステップとを切り替えて実行させる、請求項１に記載のプログラム。

【請求項3】

前記合成データを出力するステップでは、前記他のユーザとして、前記アプリケーションが提供するオンラインビデオコミュニケーションに参加しているユーザの操作を受け付ける、請求項１または請求項２に記載のプログラム。

【請求項4】

前記合成データを出力するステップにおいて、前記他のユーザのアバターと前記ユーザのアバターとが１つの仮想空間内に表示された合成データを、前記アプリケーションに出力させる、請求項１～請求項３のいずれかに記載のプログラム。

【請求項5】

前記合成データを出力するステップにおいて、前記アプリケーションに、前記ユーザの使用する端末の画面に当該ユーザのアバターと前記他のユーザのアバターとを表示させる、請求項１～請求項３のいずれかに記載のプログラム。

【請求項6】

前記ユーザの動きをトラッキングしたトラッキングデータを取得し、前記他のユーザのトラッキングデータを受信し、両方のトラッキングデータに基づいて合成された合成データを前記アプリケーションに出力させる、請求項１～請求項５のいずれかに記載のプログラム。

【請求項7】

認証が成功した前記他のユーザをアバターに変換した映像データを、前記ユーザの使用する端末の画面に出力させる、請求項１～請求項６のいずれかに記載のプログラム。

【請求項8】

前記ユーザが予め設定した前記認証に必要な情報を、前記他のユーザから受け付ける、請求項７に記載のプログラム。

【請求項9】

ユーザからの操作に応答して前記ユーザの使用する端末の画面に表示されたアバターの動きを制御させる、請求項１～請求項８のいずれかに記載のプログラム。

【請求項10】

プロセッサを備えるコンピュータにより実行される情報処理方法であって、
前記プロセッサに、請求項１～請求項９のいずれかに記載のプログラムを実行させる、情報処理方法。

【請求項11】

プロセッサを備える情報処理装置であって、
前記プロセッサに、請求項１～請求項９のいずれかに記載のプログラムを実行させる、情報処理装置。

【請求項12】

プロセッサを備えるコンピュータを含む情報処理システムであって、
前記プロセッサに、請求項１～請求項９のいずれかに記載のプログラムを実行させる、情報処理システム。