特許 7326805 データ処理装置、データ処理方法、プログラム、及び、データ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-07

(45)【発行日】2023-08-16

(54)【発明の名称】データ処理装置、データ処理方法、プログラム、及び、データ処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230808BHJP

   G06F 3/01 20060101ALI20230808BHJP

   G06F 3/04845 20220101ALI20230808BHJP

   G06F 3/16 20060101ALI20230808BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 570

G06F3/04845

G06F3/16 610

G06F3/16 620

G06F3/16 650

【請求項の数】 67

(21)【出願番号】P 2019057697

(22)【出願日】2019-03-26

(65)【公開番号】P2020160645

(43)【公開日】2020-10-01

【審査請求日】2021-11-05

【前置審査】

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】勝俣 祐輝

(72)【発明者】

【氏名】栗山 孝司

(72)【発明者】

【氏名】宮川 嘉明

(72)【発明者】

【氏名】細見 幸司

【審査官】中田 剛史

(56)【参考文献】

【文献】特開２０１４－１４３７５５（ＪＰ，Ａ）

【文献】特開２０２０－０８７２７８（ＪＰ，Ａ）

【文献】特開２０１４－０３９１８６（ＪＰ，Ａ）

【文献】特開２０１２－１８２５８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／１６

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４５

(57)【特許請求の範囲】

【請求項1】

第１被写体の画像情報を取得するための第１取得部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための第２取得部と、
前記画像情報に基づく画像と、前記動き情報に基づいて変化する仮想オブジェクトとを表示面に表示させる処理部とを備え、
前記処理部は、前記動き情報が特定の動き情報の場合、視覚効果または音響効果を有するエフェクトを付加するデータ処理装置。

【請求項2】

前記処理部は、前記エフェクトとして、視覚効果を有するエフェクト画像を前記表示面に表示させる請求項１に記載のデータ処理装置。

【請求項3】

前記エフェクト画像は、静止画像を有する請求項２に記載のデータ処理装置。

【請求項4】

前記エフェクト画像は、動画像を有する請求項２または請求項３に記載のデータ処理装置。

【請求項5】

前記エフェクト画像は、文字画像を有する請求項２から請求項４のいずれか一項に記載のデータ処理装置。

【請求項6】

前記処理部は、前記エフェクトとして、オーディオデータを再生する請求項２から請求項５のいずれか一項に記載のデータ処理装置。

【請求項7】

前記オーディオデータは、音声データを有する請求項６に記載のデータ処理装置。

【請求項8】

前記オーディオデータは、音楽データを有する請求項６または請求項７に記載のデータ処理装置。

【請求項9】

第１被写体の画像情報を取得するための第１取得部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための第２取得部と、
音響に関する音響情報を取得するための音響取得部と、
前記画像情報に基づく画像と、前記動き情報に基づいて変化する仮想オブジェクトと、前記音響情報に基づく画像とを表示面に表示させる処理部とを備えるデータ処理装置。

【請求項10】

前記処理部は、前記音響情報に基づく文字画像を前記表示面に表示させる請求項９に記載のデータ処理装置。

【請求項11】

前記処理部は、前記音響情報からテキストデータを生成し、前記文字画像として前記テキストデータに基づく画像を前記表示面に表示させる請求項１０に記載のデータ処理装置。

【請求項12】

前記処理部は、前記画像情報に基づく画像に対して前記仮想オブジェクトを重ねた画像を前記表示面に表示させる請求項１から請求項１１のいずれか一項に記載のデータ処理装置。

【請求項13】

前記第１被写体を撮像する撮像部と、
前記第２被写体を検出する検出部と
を備える請求項１から請求項１２のいずれか一項に記載のデータ処理装置。

【請求項14】

前記検出部は、前記第２被写体までの距離を検出する請求項１３に記載のデータ処理装置。

【請求項15】

前記検出部は、前記第２被写体までの距離を複数箇所で検出する請求項１４に記載のデータ処理装置。

【請求項16】

前記検出部は、赤外線を投光する投光部と、前記投光部から投光された赤外線の反射光を検出する赤外線検出部とを有する請求項１３から請求項１５のいずれか一項に記載のデータ処理装置。

【請求項17】

前記表示面を有する表示部を備え、
前記検出部は、前記表示面が配置される面に配置され、
前記撮像部は、前記表示面が配置される面とは異なる面に配置される請求項１３に記載のデータ処理装置。

【請求項18】

前記撮像部は、前記表示面が配置される面とは反対側の面に配置される請求項１７に記載のデータ処理装置。

【請求項19】

前記表示面において位置を指定する位置入力部を備え、
前記処理部は、前記位置入力部で指定された位置に、前記仮想オブジェクトを表示させる請求項１から請求項１８のいずれか一項に記載のデータ処理装置。

【請求項20】

位置に関する位置情報を取得するための情報取得部を備え、
前記処理部は、前記位置情報に基づいて前記仮想オブジェクトを変化させる請求項１から請求項１８のいずれか一項に記載のデータ処理装置。

【請求項21】

加速度に関する情報または角速度に関する情報を検出するセンサを備える請求項２０に記載のデータ処理装置。

【請求項22】

前記画像情報に基づく画像のデータと、前記動き情報に基づいて変化する仮想オブジェクトのデータとのうち、少なくとも一方のデータを送信する通信部を備える請求項１から請求項２１のいずれか一項に記載のデータ処理装置。

【請求項23】

第１被写体の画像情報を取得し、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得し、
前記画像情報に基づく画像と、前記動き情報に基づいて変化する仮想オブジェクトとを表示面に表示させ、
前記動き情報が特定の動き情報の場合、視覚効果または音響効果を有するエフェクトを付加する
データ処理方法。

【請求項24】

第１被写体の画像情報を取得し、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得し、
前記画像情報に基づく画像と、前記動き情報に基づいて変化する仮想オブジェクトと、音響情報に基づく画像とを表示面に表示させる
データ処理方法。

【請求項25】

データ処理装置を、
第１被写体の画像情報の画像と、前記第１被写体とは異なる第２被写体の動きに関する動き情報に基づいて変化する仮想オブジェクトとを表示面に表示させ、
前記動き情報が特定の動き情報の場合、視覚効果または音響効果を有するエフェクトを付加する処理部
として機能させるプログラム。

【請求項26】

データ処理装置を、
第１被写体の画像情報の画像と、前記第１被写体とは異なる第２被写体の動きに関する動き情報に基づいて変化する仮想オブジェクトと、音響情報に基づく画像とを表示面に表示させる処理部
として機能させるプログラム。

【請求項27】

第１被写体の画像情報を取得するための第１取得部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための第２取得部と、
前記画像情報に基づく画像と、前記動き情報に基づいて変化する仮想オブジェクトとを端末装置に配信する処理部と備え、
前記処理部は、前記動き情報が特定の動き情報の場合、視覚効果または音響効果を有するエフェクトを更に前記端末装置に配信する
データ処理システム。

【請求項28】

第１被写体の画像情報を取得するための第１取得部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための第２取得部と、
音響に関する音響情報を取得するための音響取得部と、
前記画像情報に基づく画像と、前記動き情報に基づいて変化する仮想オブジェクトと、前記音響情報に基づく画像とを端末装置に配信する処理部と
を備えるデータ処理システム。

【請求項29】

前記処理部は、前記画像情報に基づく画像と前記仮想オブジェクトとをライブ配信する請求項２７または請求項２８に記載のデータ処理システム。

【請求項30】

前記処理部は、前記画像情報に基づく画像と前記仮想オブジェクトとを配信時刻になったとき配信する請求項２７または請求項２８に記載のデータ処理システム。

【請求項31】

第１被写体を撮像する第１撮像部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための検出部と、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトとを表示面に表示させる処理部とを備え、
前記処理部は、前記動き情報が特定の動き情報である場合、視覚効果または音響効果を有するエフェクトを付加するデータ処理装置。

【請求項32】

前記検出部は、赤外線を投光する投光部と、前記投光部から投光された赤外線の反射光を検出する赤外線検出部とを有する請求項３１に記載のデータ処理装置。

【請求項33】

前記第２被写体を撮像する第２撮像部を備える請求項３１または請求項３２に記載のデータ処理装置。

【請求項34】

前記処理部は、前記第２撮像部で撮像された前記第２被写体の画像情報に基づいて前記仮想オブジェクトを変化させる請求項３３に記載のデータ処理装置。

【請求項35】

前記第２撮像部は、前記表示面が配置される面に配置される請求項３３または請求項３４に記載のデータ処理装置。

【請求項36】

前記処理部は、前記エフェクトとして、視覚効果を有するエフェクト画像を前記表示面に表示させる請求項３１から請求項３５のいずれか一項に記載のデータ処理装置。

【請求項37】

前記エフェクト画像は、静止画像を有する請求項３６に記載のデータ処理装置。

【請求項38】

前記エフェクト画像は、動画像を有する請求項３６または請求項３７に記載のデータ処理装置。

【請求項39】

前記エフェクト画像は、文字画像を有する請求項３６から請求項３８のいずれか一項に記載のデータ処理装置。

【請求項40】

前記処理部は、前記エフェクトとして、オーディオデータを再生する請求項３１から請求項３９のいずれか一項に記載のデータ処理装置。

【請求項41】

前記オーディオデータは、音声データを有する請求項４０に記載のデータ処理装置。

【請求項42】

前記オーディオデータは、音楽データを有する請求項４０または請求項４１に記載のデータ処理装置。

【請求項43】

音響に関する音響情報を取得するための音響取得部を備え、
前記処理部は、前記音響情報に基づく画像を前記表示面に表示させる請求項３１から請求項４２のいずれか一項に記載のデータ処理装置。

【請求項44】

前記処理部は、前記音響情報に基づく文字画像を前記表示面に表示させる請求項４３に記載のデータ処理装置。

【請求項45】

前記処理部は、前記音響情報からテキストデータを生成し、前記文字画像として前記テキストデータに基づく画像を前記表示面に表示させる請求項４４に記載のデータ処理装置。

【請求項46】

第１被写体を撮像する第１撮像部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための検出部と、
音響に関する音響情報を取得するための音響取得部と、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトと、前記音響情報に基づく画像とを表示面に表示させる処理部とを備えるデータ処理装置。

【請求項47】

前記検出部は、赤外線を投光する投光部と、前記投光部から投光された赤外線の反射光を検出する赤外線検出部とを有する請求項４６に記載のデータ処理装置。

【請求項48】

前記第２被写体を撮像する第２撮像部を備える請求項４６または請求項４７に記載のデータ処理装置。

【請求項49】

前記処理部は、前記第２撮像部で撮像された前記第２被写体の画像情報に基づいて前記仮想オブジェクトを変化させる請求項４８に記載のデータ処理装置。

【請求項50】

前記第２撮像部は、前記表示面が配置される面に配置される請求項４８または請求項４９に記載のデータ処理装置。

【請求項51】

前記検出部は、前記第２被写体までの距離を検出し、
前記処理部は、前記検出部で検出された前記第２被写体までの距離に基づいて前記動き情報を生成する請求項３１から請求項５０のいずれか一項に記載のデータ処理装置。

【請求項52】

前記検出部は、前記第２被写体までの距離を複数箇所で検出し、
前記動き情報は、複数箇所での前記第２被写体までの距離に基づいて生成される請求項５１に記載のデータ処理装置。

【請求項53】

前記処理部は、前記第１被写体の画像と、前記仮想オブジェクトとの合成画像を前記表示面に表示させる請求項３１から請求項５２のいずれか一項に記載のデータ処理装置。

【請求項54】

前記検出部は、前記表示面が配置される面に配置される請求項３１から請求項５３のいずれか一項に記載のデータ処理装置。

【請求項55】

前記第１撮像部は、前記表示面が配置される面とは異なる面に配置される請求項３１から請求項５４のいずれか一項に記載のデータ処理装置。

【請求項56】

前記第１撮像部は、前記表示面が配置される面とは反対側の面に配置される請求項５５に記載のデータ処理装置。

【請求項57】

前記表示面において位置を指定する位置入力部を備え、
前記処理部は、前記位置入力部で指定された位置に、前記仮想オブジェクトを表示させる請求項３１から請求項５６のいずれか一項に記載のデータ処理装置。

【請求項58】

位置に関する位置情報を取得するための情報取得部を備え、
前記処理部は、前記位置情報に基づいて前記仮想オブジェクトを変化させる請求項３１から請求項５７のいずれか一項に記載のデータ処理装置。

【請求項59】

加速度に関する情報または角速度に関する情報を検出するセンサを備える請求項５８に記載のデータ処理装置。

【請求項60】

前記情報取得部は、前記第２被写体の歩数に関する歩数情報を取得するために用いられ、
前記処理部は、前記歩数情報に基づいて前記仮想オブジェクトを変化させる請求項５８または請求項５９に記載のデータ処理装置。

【請求項61】

前記第１撮像部で撮像された前記第１被写体のデータと、前記仮想オブジェクトのデータとのうち、少なくとも一方のデータを送信する通信部を備える請求項３１から請求項６０のいずれか一項に記載のデータ処理装置。

【請求項62】

被写体を撮像する第１撮像部で第１被写体を撮像し、
被写体を検出する検出部を用いて、前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得し、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトとを処理部が表示面に表示し、
前記動き情報が特定の動き情報である場合、前記処理部が視覚効果または音響効果を有するエフェクトを付加する
データ処理方法。

【請求項63】

データ処理装置を、
第１被写体を撮像する第１撮像部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための検出部と、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトとを表示面に表示させる処理部であって、前記動き情報が特定の動き情報である場合、視覚効果または音響効果を有するエフェクトを付加する前記処理部と
として機能させるプログラム。

【請求項64】

第１被写体を撮像する第１撮像部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための検出部と、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトとを端末装置に配信する処理部とを備え、
前記処理部は、前記動き情報が特定の動き情報である場合、視覚効果または音響効果を有するエフェクトを付加するデータ処理システム。

【請求項65】

被写体を撮像する第１撮像部で第１被写体を撮像し、
被写体を検出する検出部を用いて、前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得し、
音響に関する音響情報を取得し、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトと、前記音響情報に基づく画像とを処理部が表示面に表示する
データ処理方法。

【請求項66】

データ処理装置を、
第１被写体を撮像する第１撮像部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための検出部と、
音響に関する音響情報を取得するための音響取得部と、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトと、前記音響情報に基づく画像とを表示面に表示させる処理部
として機能させるプログラム。

【請求項67】

第１被写体を撮像する第１撮像部と、
前記第１被写体とは異なる第２被写体の動きに関する動き情報を取得するための検出部と、
音響に関する音響情報を取得する音響取得部と、
前記第１撮像部で撮像された前記第１被写体の画像と、前記動き情報に基づいて変化する仮想オブジェクトと、前記音響情報に基づく画像とを端末装置に配信する処理部と
を備えるデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理方法、プログラム、及び、データ処理システムに関する。

【背景技術】

【0002】

実空間の画像に仮想オブジェクトを重ねた合成画像を表示する技術が知られている（特許文献１等）。従来の技術では当該合成画像が不自然に見える場合があった。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１８４６８９号公報

【発明の概要】

【0004】

本発明の一態様によれば、第１被写体の画像情報を取得する第１取得部と、前記第１被写体とは異なる第２被写体の動き情報を取得する第２取得部と、前記第１取得部で取得した前記画像情報に基づく画像と、前記第２取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させる処理部とを備えるデータ処理装置が提供される。

【0005】

本発明の他の態様によれば、第１取得部から第１被写体の画像情報を取得し、第２取得部から前記第１被写体とは異なる第２被写体の動き情報を取得し、前記第１取得部で取得した前記画像情報に基づく画像と、前記第２取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させるデータ処理方法が提供される。

【0006】

本発明の他の態様によれば、データ処理装置を、第１取得部から取得した第１被写体の画像情報の画像と、第２取得部から取得した前記第１被写体とは異なる第２被写体の動き情報とに基づいて変化する仮想オブジェクトと、を表示面に表示させる処理部として機能させるプログラムが提供される。プログラムは、可搬性の記録媒体やネットワークを介して拡布され、データ処理装置やサーバなどのコンピュータにインストールされる。

【0007】

本発明の他の態様によれば、第１被写体の画像情報を取得する第１取得部と、前記第１被写体とは異なる第２被写体の動き情報を取得する第２取得部と、前記第１取得部で取得した前記画像情報に基づく画像と、前記第２取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を端末装置に配信する処理部とを備えるデータ処理システムが提供される。

【図面の簡単な説明】

【0008】

【図1】配信システムの全体構成を示す図。

【図2】ユーザ端末装置のブロック図。

【図3】サーバのブロック図。

【図4】配信準備処理のフローチャート。

【図5】ユーザが静止している場合における配信処理のフローチャート。

【図6】（ａ）はアバターオブジェクトの向きを定義する図、（ｂ）はアバターオブジェクトが奥を向いている状態から右方向に９０度回転する場合の遷移図、（ｃ）はアバターオブジェクトが奥を向いている状態から左方向に２７０度回転する場合の遷移図。

【図7】ユーザが手前から奥方向に移動するときの加速度の変化を示す図。

【図8】ユーザが歩いたり走ったりして移動する場合における配信処理のフローチャート。

【図9】（ａ）は特定の動作を検出したときアバターオブジェクトに加えエフェクトオブジェクトを付加する例を示す図、（ｂ）はエフェクトオブジェクトを付加する例を示す図。

【図10】外面と内面の各々の面にデプスセンサを備えたユーザ端末装置のブロック図。

【図11】（ａ）は３６０度カメラを用いる場合の模式図、（ｂ）は、半天球カメラを２台用いる場合の模式図、（ｃ）は、半天球カメラを１台用いる場合の模式図、（ｄ）はアウトカメラ及びインカメラの受像素子を共用し１枚とした場合の模式図。

【発明を実施するための形態】

【0009】

以下、図１－図１１を参照して、本発明の一実施形態である配信システムについて説明する。
〔配信システムの概要〕
図１に示すように、配信システム１は、ユーザ端末装置１０と、サーバ３０と、視聴者端末装置５０とを備える。なお、ユーザ端末装置１０及び視聴者端末装置５０の各々は、複数台であってよく、各々がサーバ３０に対して接続可能である。

【0010】

ユーザ端末装置１０は、複数のカメラを備えるデータ処理装置である。ユーザ端末装置１０は、一例として、スマートフォン、タブレットなどである。ユーザは、ユーザ端末装置１０を操作する者であり、また、ユーザ端末装置１０のカメラを使用する撮像者である。また、ユーザ端末装置１０を用いて画像を配信する配信者である。

【0011】

ユーザ端末装置１０は、ユーザ端末装置１０を持ったユーザとは反対側の外面と、ユーザ側を向く内面とを備える。ユーザ端末装置１０は、外面にアウトカメラ１１を備え、内面にインカメラ１３を備える。アウトカメラ１１は、一例として、第１方向となるユーザの視線方向における景色などを被写体（第１被写体）として撮像する。したがって、アウトカメラ１１により撮像される被写体にはユーザが含まれない。

【0012】

一方、インカメラ１３は、一例として、上述の第１方向とは反対方向である第２方向の被写体を撮像する。すなわち、インカメラ１３は、ユーザ方向の被写体（第２被写体）を撮像する。したがって、インカメラ１３により撮像される被写体にはユーザが含まれる。ユーザ端末装置１０は、操作部２２を備える支持部材３を取り付けることができる。ユーザ端末装置１０は、支持部材３を取り付けることで、アウトカメラ１１では、ユーザからより離れた位置から第１方向側の被写体の撮像を行うことができる。また、インカメラ１３では、ユーザからより離れた位置から第２方向側の被写体を撮像することができる。

【0013】

なお、アウトカメラ１１及びインカメラ１３のうち少なくとも一方のカメラは、ユーザ端末装置１０に対して有線又は無線で接続される外付けカメラであってもよい。
ユーザ端末装置１０は、デプスセンサ１５を備える。デプスセンサ１５は、インカメラ１３が配置された面である内面に配置される。デプスセンサ１５は、インカメラ１３の近くに配置されている。デプスセンサ１５は、一例として、インカメラ１３と同様に、第２方向であるユーザ方向を検出範囲とし、デプスセンサ１５とユーザとの間の距離を検出する。デプスセンサ１５は、一例として、ユーザの頭、顔、胴体、手、腕、脚等を検出する。デプスセンサ１５は、一例として、検出範囲におけるユーザの動きを検出し、ユーザの動きに基づく動き情報を生成し出力する。デプスセンサ１５は、アウトカメラ１１により撮像される画像１０１と同時期の動き情報を生成する。すなわち、動き情報は、一例として、画像１０１と同期している。

【0014】

ユーザ端末装置１０は、センサ１７を備える。センサ１７は、一例として加速度センサ、ジャイロセンサなどである。ユーザ端末装置１０は、位置情報検出部としてのセンサ１７によって、ユーザ端末装置１０の移動方向や傾きなどを検出する。これにより、ユーザ端末装置１０の位置情報を算出する。また、ユーザ端末装置１０は、センサ１７が検出した加速度や角度や角速度のデータを利用することによって、歩数計としても機能する。歩数計は、アプリケーションプログラムをユーザ端末装置１０にインストールすることによって実現することができる。ユーザ端末装置１０は、ＧＮＳＳ機能を備えており、現在位置を特定することができる。

【0015】

ユーザ端末装置１０は、画像が表示される表示面を有する表示部１９と表示面に設けられたタッチパネル２０を備える。表示部１９及びタッチパネル２０は、ユーザ端末装置１０において、インカメラ１３が配置された内面に配置される。表示部１９の表示面には、アウトカメラ１１やインカメラ１３で撮像された被写体の画像が表示される。一例として、アウトカメラ１１で撮像された被写体の画像と、インカメラ１３で撮像された被写体の動き情報に基づく仮想オブジェクトと、が表示される。具体的には、アウトカメラ１１で撮像された被写体の画像に対してインカメラ１３で検出されたユーザの動き情報に基づく仮想オブジェクトを重ねた合成画像が表示される。仮想オブジェクトは、例えばアバターオブジェクト１０２である。表示面において、アバターオブジェクト１０２の表示位置は、ユーザがインカメラ１３によって撮像された位置に対応する。また、アバターオブジェクト１０２の表示位置は、デプスセンサ１５に対するユーザの位置に対応する。また、アバターオブジェクト１０２の表示位置は、表示面の所定位置をタッチすることによってタッチパネル２０で指定された位置であり、表示面において、アバターオブジェクト１０２は、指定された位置に表示される。

【0016】

アバターオブジェクト１０２は、ユーザ端末装置１０を操作しているユーザの化身である。アバターオブジェクト１０２は、一例として、著名人、有名人、一般人等の人物を模した人物オブジェクト、動物の形を模した動物オブジェクト、アニメーションに登場するキャラクタオブジェクト、ユーザが自ら作成したオリジナルオブジェクトなどである。

【0017】

アバターオブジェクト１０２は、デプスセンサ１５で検出したユーザの動き情報に従って変化する。また、アバターオブジェクト１０２は、センサ１７での検出結果に従って変化する。一例として、デプスセンサ１５が検出しているユーザが手を動かしたときは、デプスセンサ１５が検出した被写体の手の動き情報に従ってアバターオブジェクト１０２も同じように動く。一例として、ユーザが歩いているときは、センサ１７の検出結果に従ってアバターオブジェクト１０２も歩いているように動き、ユーザが走っているときには、アバターオブジェクト１０２も走っているように動く。すなわち、ユーザが歩いたり走ったりして場所を移動しているときは、デプスセンサ１５で検出したユーザの動き情報に加えて、センサ１７やＧＮＳＳに従って、移動方向や移動速度を検出し、アバターオブジェクト１０２が歩いたり走ったりしているように動く。

【0018】

ユーザ端末装置１０は、サーバ３０との間で通信を行う通信機能を備えた通信機器である。ユーザは、アウトカメラ１１により撮像された現在いる場所、例えば観光地、名所、旧跡、風景などの画像１０１に対して仮想オブジェクトとしてアバターオブジェクト１０２を重ねた合成画像の合成データ１００を配信することができる。ユーザ端末装置１０が生成した合成データ１００は、サーバ３０に送信され視聴者端末装置５０に対して配信される配信用データである。ユーザ端末装置１０がこのような合成データ１００をサーバ３０に送信することで、サーバ３０は、合成データ１００をライブ配信する。視聴者端末装置５０では、サーバ３０で配信されている合成データ１００をリアルタイムに受信し視聴することができる。また、サーバ３０は、番組表を有しており、指定された時間帯に配信することもできる。

【0019】

視聴者端末装置５０は、スマートフォン、タブレットなどのデータ処理装置である。視聴者端末装置５０は、少なくとも、サーバ３０との間で通信可能な通信機能と、画像が表示される表示面を有する表示部を備える。視聴者端末装置５０は、サーバ３０が合成データ１００をライブ配信しているときは合成データ１００の合成画像が表示面に表示され、リアルタイムに視聴することができる。また、視聴者端末装置５０は、サーバ３０にアクセスして、番組表を確認することによって、配信時刻に所定の合成データ１００の画像を視聴することができる。また、視聴者端末装置５０は、一例として、ライブ配信のときには、サーバ３０を通じてリクエストコメントをユーザ端末装置１０に送信することができる。これにより、ユーザと視聴者は会話することができる。一例として、ユーザは、視聴者からのリクエストコメントに従って撮像を行うことができる。

【0020】

〔ユーザ端末装置１０〕
図２に示すように、ユーザ端末装置１０は、アウトカメラ１１と、アウトカメラインタフェース（以下、「インタフェース」を単に「ＩＦ」という。）１２と、インカメラ１３と、インカメラＩＦ１４と、デプスセンサ１５と、デプスセンサＩＦ１６と、センサ１７と、センサＩＦ１８とを備える。また、ユーザ端末装置１０は、表示部１９と、タッチパネル２０と、通信ＩＦ２１とを備える。通信ＩＦ２１には支持部材３の操作部２２が接続される。更に、ユーザ端末装置１０は、ＧＮＳＳ受信部２３と、オーディオ入力機器２４と、オーディオ出力機器２５と、オーディオＩＦ２６とを備える。更に、ユーザ端末装置１０は、ネットワークＩＦ２７と、記憶部２８と、処理部２９とを備える。

【0021】

アウトカメラ１１及びインカメラ１３は、ＣＣＤセンサ、ＣＭＯＳセンサなどの撮像素子を備える。アウトカメラ１１は、ユーザ端末装置１０を持ったユーザとは反対側の外面に配置されている。インカメラ１３は、ユーザ端末装置１０を持ったユーザ側の内面に配置されている。内面は、表示部１９が配置されており、インカメラ１３は、表示部１９の周囲に配置されている。

【0022】

第１検出部としてのアウトカメラ１１は、第１取得部としてのアウトカメラＩＦ１２に接続され、アウトカメラＩＦ１２に対して撮像データを出力する。アウトカメラＩＦ１２は、アウトカメラ１１で撮像された被写体の撮像データを処理部２９に出力する。インカメラ１３は、インカメラＩＦ１４に接続され、インカメラＩＦ１４に対して撮像データを出力する。インカメラＩＦ１４は、インカメラ１３で撮像された被写体の撮像データを処理部２９に出力する。

【0023】

アウトカメラ１１は、第１方向となるユーザの視線方向の景色などの被写体を撮像する。アウトカメラ１１では、ユーザを含まない被写体が撮像されることになる。インカメラ１３は、ユーザの視線方向とは反対方向であって第１方向とは異なる第２方向であるユーザ方向を撮像し、自撮りを可能とする。インカメラ１３が撮像する被写体には、ユーザは含まれるが、アウトカメラ１１が撮像した被写体には、ユーザは含まれない。

【0024】

アウトカメラ１１は、第１解像度を有し、インカメラ１３は、第２解像度を有している。アウトカメラ１１及びインカメラ１３は、同じ解像度でもよいし、何れか一方のカメラが他方のカメラに対して高解像度であってもよい。一例として、景色などを被写体として撮像することの多いアウトカメラ１１の方がユーザを被写体として撮像することの多いインカメラ１３よりも高解像度である。

【0025】

アウトカメラ１１は、第１画角を有し、インカメラ１３は、第２画角を有している。アウトカメラ１１及びインカメラ１３は、同じ画角であってもよいし、何れか一方のカメラが他方のカメラに対して広角であってもよい。

【0026】

アウトカメラ１１及びインカメラ１３は、ズームレンズを備え、ズームレンズを光軸方向に変化させることによって焦点距離を変化させ、撮像画像を拡大又は縮小することができる。また、アウトカメラ１１及びインカメラ１３は、デジタルズーム機能を備えていてもよい。

【0027】

アウトカメラ１１は、ユーザ視線方向の景色などを被写体として撮像する撮像部である。アウトカメラ１１は、複数配置されていてもよい。一例として、アウトカメラ１１が２つ配置されているときには視差を有する立体表示用の２つの画像（右目用画像と左目用画像）を生成することができる。インカメラ１３も、複数配置されていてもよい。このような場合には、インカメラ１３を使用する場合も、視差を有する立体表示用の２つの画像を生成することができる。

【0028】

デプスセンサ１５は、検出部であって、インカメラ１３の近くに配置される。デプスセンサ１５の検出範囲は、インカメラ１３の撮像範囲とほぼ同じである。なお、デプスセンサ１５の検出範囲は、インカメラ１３の撮像範囲よりも広くても狭くてもよい。

【0029】

デプスセンサ１５は、一例として、赤外線カメラである。赤外線カメラは、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備える。デプスセンサ１５は、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における三次元位置情報等の深度情報を取得する。デプスセンサ１５は、デプスセンサ１５から被写体までの距離である深度情報等を取得するものであり、一例として、デプスセンサ１５とユーザの各所（頭部、上半身、腕、手、下半身、足等）との距離である深度情報等を取得する。そして、デプスセンサ１５は、各所の深度情報の変化に従った動き情報を生成する。デプスセンサ１５は、第２取得部としてのデプスセンサＩＦ１６に接続され、デプスセンサＩＦ１６に対して動き情報を出力する。デプスセンサＩＦ１６は、デプスセンサ１５で撮像した被写体の動き情報を処理部２９に出力する。デプスセンサ１５は、ユーザがモーションセンサを体の各所に取り付けるまでもなく、ユーザの各所の深度情報を取得することができる。

【0030】

具体的には、デプスセンサ１５は、一例として、ユーザの人物領域を抽出し、人物領域と非人物領域とに区分する。一例として、赤外線量により領域抽出を行い、その上で人体として認識できる形状のものを人物領域と判定する。デプスセンサ１５は、一例として、ユーザの各々の２５カ所の骨格位置を骨格データとして取得し、更に、各骨格位置の深度情報を算出している。骨格位置としては、一例として左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等の骨格位置が含まれている。なお、取得する骨格位置の数は、好ましくは２５カ所であるが、これに限定されるものではない。また、人物領域がデプスセンサ１５の検出範囲から外れる場合、骨格位置の数は、２５カ所より少なくなる。また、骨格位置の数を２５カ所より多くした場合は、動きをより正確に再現可能となる。

【0031】

ここで、深度情報は、一例としてデプスセンサ１５の前方の対物レンズ又はセンサ面からユーザの骨格位置までの距離である。骨格位置は、人物領域における各所の深度情報を取得し、深度と形状の特徴量に基づいて、人物領域に写る人物の実空間上の部位（左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等）を特定し、各部位における中心位置に設定される。また、骨格位置は、記憶部に記憶された特徴量辞書を用いて、人物領域から決定される特徴量を、当該特徴量辞書に登録されている各部位の特徴量と照合することにより、人物領域における各部位を特定する。また、デプスセンサ１５は、人物の凹凸（掌の形状、衣服の皺等の凹凸、髪型の凹凸等）を検出する。これにより、デプスセンサ１５は、各所を追跡可能となり、各所の深度情報の変化に従った動き情報を生成する（骨格及び各骨格の動き＝動き情報）。以上のようなモーションキャプチャ処理は、ユーザに対してマーカを付けることなく行うものであり、手軽に動き情報を取得することができる。

【0032】

なお、深度情報を算出するにあたっては、投光した赤外線パターンを読み取り、パターンのゆがみから深度情報を得る方式であってもよい（Light Coding方式）。更にまた、深度情報は、二眼カメラまたは複数のカメラによる視差情報から算出するようにしてもよい。更に、深度情報は、インカメラ１３で取得した映像を画像認識し、画像解析することで算出することもできる。この場合、インカメラ１３が検出部として機能し、インカメラＩＦ１４が第２取得部として機能することからデプスセンサ１５やデプスセンサＩＦ１６は不要となる。インカメラ１３により撮像された被写体の画像から骨格位置を検出する場合は、ディープラーニングを利用したＡＩを利用することによって骨格位置を検出することができる。モーションキャプチャ処理におけるユーザのモーション（骨格及び各骨格の動き＝動作）の検出認識処理についても、インカメラ１３により撮像された被写体の画像をディープラーニング等による学習結果に基づく認識処理にかけることで実施することもできる。

【0033】

センサ１７は、一例として加速度センサやジャイロセンサであり、加速度検出部である。また、センサ１７は、歩数計プログラムと連動して歩数検出部として機能する。センサ１７は、種々のセンサ素子からの出力に従ってユーザ端末装置１０の加速度データや角度データや角速度データ等の検出データを生成する。センサ１７は、センサＩＦ１８に接続され、センサＩＦ１８に対して検出データを出力する。センサＩＦ１８は、センサ１７で検出した検出データを処理部２９に出力する。ユーザ端末装置１０はユーザに所持されて使用される。したがって、センサ１７は、ユーザが歩いたり走ったりする移動に伴うユーザ端末装置１０の移動情報となる検出データを算出して処理部２９に出力する。また、ユーザが静止しているときであっても、ユーザ端末装置１０の加速度データや角度データや角速度データ等を検出し、ユーザ端末装置１０の姿勢情報（ユーザ端末装置１０の上向き状態か、下向きの状態か、右向きの状態が、左向きの状態か、上下、前後及び左右に移動したか等の情報）となる検出データを生成し処理部２９に出力する。

【0034】

表示部１９は、ユーザ端末装置１０を持ったユーザ側に位置するユーザ端末装置１０の内面に配置されている。表示部１９は、内面の大部分に配置されている。表示部１９は、一例として、液晶表示パネルや有機ＥＬパネルなどのフラット表示パネルである。表示部１９は、表示面を備える。表示面は、表示面における位置を入力する位置入力部としてのタッチパネル２０が配置されている。タッチパネル２０において、入力位置は、ユーザの指によって指定されてもよいし、スタイラスペンで指定されてもよい。タッチパネル２０は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等のものが用いられる。また、静電容量方式は、表面型であってもよいし、投影型であってもよい。投影型では、マルチタッチによるマルチ入力が可能であり、一例として、アバターオブジェクト１０２の大きさを２本の指（例えば親指と人差し指）を開いたり閉じたりして調整することができる。

【0035】

表示面には、アウトカメラ１１やインカメラ１３で撮像された被写体の画像や映像が表示される。また、アウトカメラで撮像した被写体の画像１０１の上にアバターオブジェクト１０２が重ねて表示される。アバターオブジェクト１０２が表示される位置は、タッチパネル２０によって指定することができる。そして、アバターオブジェクト１０２は、デプスセンサ１５が検出したユーザの動き情報などに従って表示面を移動する。

【0036】

通信ＩＦ２１は、他の機器と通信する有線又は無線の通信部であって、一例として、ＵＳＢＩＦ、ブルートゥース（登録商標）である。ユーザ端末装置１０は、支持部材３を装着可能である。支持部材３には、操作部２２が設けられている。操作部２２は、通信ＩＦ２１を介してユーザ端末装置１０と接続され、操作入力可能となる。操作部２２は、一例として、複数の押しボタン、スライドスイッチ、回転スイッチ、十字キー、ジョイスティック、トラックボールなどで構成されている。操作部２２からは、一例として、アウトカメラ１１及び／又はインカメラ１３を使用して被写体の撮像を行っているとき、記録開始、記録停止、一時停止、再生開始、再生停止、配信開始、配信停止、ズームなどの操作を行うことができる。

【0037】

なお、通信ＩＦ２１には、他の外部機器が接続することもできる。例えば、アウトカメラ１１やインカメラ１３やデプスセンサ１５の代わりとなるカメラが接続される。この場合、通信ＩＦ２１は、画像１０１を取得する第１取得部や動き情報を取得する第２取得部などの取得部として機能することになる。

【0038】

ＧＮＳＳ受信部２３は、ユーザ端末装置１０の位置を、ＧＮＳＳ（全地球測位システム（Global Navigation Satellite System））の信号を受信することによって現在位置を検出する。ＧＮＳＳの一例としては、ＧＰＳ（Global Positioning System）である。このような測位システムによれば、ユーザ端末装置１０の現在位置を特定することができるし、移動履歴を把握することができる。更に、ユーザが移動しているときにはどの程度の速度で移動しているかを算出することができる。

【0039】

オーディオ入力機器２４は、マイクロフォンなどの音響電気変換素子であって、音響取得部としてのオーディオＩＦ２６と接続されている。オーディオ入力機器２４は、ユーザ端末装置１０に内蔵された機器であってもよいし、外付けの機器であってもよい。外付けの機器である場合は、有線又は無線でオーディオＩＦ２６と接続される。オーディオ入力機器２４は、アウトカメラ１１及び／又はインカメラ１３を使用して被写体の撮像を行っているとき、同時にその撮像場所での音響を集音する。

【0040】

オーディオ出力機器２５は、スピーカ、イヤホン、ヘッドフォン等の電気音響変換機器であって、オーディオＩＦ２６と接続されている。オーディオ出力機器２５の中でもスピーカは、ユーザ端末装置１０に内蔵された機器であってもよいし、外付けの機器であってもよい。外付けの機器である場合は、有線又は無線でオーディオＩＦ２６と接続される。オーディオ出力機器２５は、再生する映像に同期して音響信号を放音する。また、撮像中にユーザが発した音声を元にした音響信号や周囲の環境音を放音する。

【0041】

ネットワークＩＦ２７は、ワイドエリアネットワークやローカルエリアネットワーク等のネットワーク２を介してサーバ３０と通信する通信部である。ネットワークＩＦ２７は、ＩＥＥＥ８０２．１１規格を使用した無線ＬＡＮ（Ｗｉ－Ｆｉ）、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ等の移動体通信網介してサーバ３０と通信する。ユーザ端末装置１０では、サーバ３０に対して合成データ１００を送信し、サーバ３０を通じてライブ又は所定時刻に配信することができる。

【0042】

記憶部２８は、不揮発性メモリなどの記憶媒体であり、一例として、ハードディスクやフラッシュメモリである。また、記憶部２８は、ユーザ端末装置１０に内蔵された記憶媒体の他に、ユーザ端末装置１０に対して着脱可能なリムーバル記憶媒体によっても構成されていてもよい。処理部２９は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されており、プログラムに従ってユーザ端末装置１０の全体の動作を制御する。

【0043】

記憶部２８は、アウトカメラ１１で被写体を撮像している画像を配信する配信プログラム２８ａがインストールされている。また、記憶部２８には、アウトカメラ１１やインカメラ１３で撮像した被写体の画像や映像が保存される。更に、記憶部２８には、画像１０１に対して重畳するアバターオブジェクト１０２の三次元データが配信プログラム２８ａに関連付いて保存されている。アバターオブジェクト１０２は、デプスセンサ１５が検出する骨格位置に対応する節点が設定されている。

【0044】

配信プログラム２８ａは、アウトカメラ１１の画像１０１と同時期にデプスセンサ１５でユーザの動き情報やセンサ１７の検出データやＧＮＳＳの位置情報や画像１０１の撮像現場における音響を取得する機能を備える。また、配信プログラム２８ａは、アウトカメラ１１で撮像している画像１０１に対してアバターオブジェクト１０２を重ねアバターオブジェクト１０２をユーザの動き情報などの情報やデータによって変化させる合成データ１００を生成する機能を備える。更に、配信プログラム２８ａは、合成データ１００を表示部１９の表示面に表示させながら、合成データ１００をサーバ３０に送信する機能を備える。更に、配信プログラム２８ａは、視聴者端末装置５０において、合成データ１００を視聴する機能を備える。処理部２９は、配信プログラム２８ａの機能を、ユーザの操作に従って実行する。

【0045】

なお、ユーザ端末装置１０にインストールされている配信プログラム２８ａは、配信のための機能部分が使用され、視聴者端末装置５０にインストールされている配信プログラム２８ａは、視聴する機能部分やユーザ端末装置１０に対してコメントを送信する機能部分が利用される。

【0046】

更に、記憶部２８には、歩数計プログラム２８ｂがインストールされている。歩数計プログラム２８ｂは、少なくとも加速度に関し、静止しているのか歩いているのかを判定する第１閾値、歩いているか走っているかを判定する第２閾値などの閾値を有している。歩数計プログラム２８ｂでは、第１閾値を用いて、歩いているか静止しているかを判定し、第２閾値を用いて歩いているか走っているかを判定することができる。処理部２９は、歩数計プログラム２８ｂが起動されると、センサ１７で検出した加速度や角度や角速度によって上下及び前後の動きを検知し、その結果に基づいて歩数をカウントする。なお、歩数計がユーザ端末装置１０に対して外付けされるものであってもよい。また、角度や角速度についても第１閾値や第２閾値を有していてもよい。

【0047】

一例として、配信プログラム２８ａ及び歩数計プログラム２８ｂは連動している。例えば、歩数計プログラム２８ｂは、配信プログラム２８ａのバックグラウンドで動作する。配信プログラム２８ａ及び歩数計プログラム２８ｂは、連動させることで、ユーザの移動とユーザ端末装置１０の移動とを分離して検出することができる。一例として、ユーザ端末装置１０を持ったユーザが静止した状態でユーザ端末装置１０を前後左右に移動させているときは、センサ１７が加速度などを検出していても、歩数計プログラム２８ｂで歩数をカウントしない。これに対して、ユーザ端末装置１０を持ったユーザが歩いたり走ったりして移動しているときは、センサ１７が加速度などを検出し、歩数計プログラム２８ｂが第１閾値を超えるとき歩数をカウントする。処理部２９は、配信プログラム２８ａに従って、アウトカメラ１１で撮像している画像１０１に対してユーザの動き情報にあわせて変化するアバターオブジェクト１０２を重ね合成データ１００を生成する処理を行う。この際、処理部２９は、歩数計プログラム２８ｂに従ってユーザが歩いたり走ったりしていることを検出しているとき、アバターオブジェクト１０２も歩いたり走ったりしているように変化する合成データ１００を生成する。

【0048】

更に、記憶部２８には、音声認識プログラム２８ｃがインストールされている。音声認識プログラム２８ｃは、オーディオ入力機器２４が集音したユーザの音声データから音声認識処理を行ってテキストデータを生成する。一例として、音声認識プログラム２８ｃは、音声波形から音素を特定し、音素の並びを予め登録した辞書とマッチングし、単語に変換し、変換された文のテキストデータを生成する。一例として、音声認識プログラム２８ｃも配信プログラム２８ａと連動している。処理部２９は、配信プログラム２８ａに従って、アウトカメラ１１で撮像している画像１０１に対してアバターオブジェクト１０２を重ね合成データ１００を生成する処理を行っているとき、並行して、音声認識処理を行ってテキストデータを生成しエフェクトオブジェクトを画像１０１に付加する処理行う。

【0049】

〔視聴者端末装置５０〕
視聴者端末装置５０は、ユーザ端末装置１０とほぼ同様な構成を有したデータ処理装置である。なお、以下、視聴者端末装置５０の各部の構成は、ユーザ端末装置１０と同じ符号を付して詳細は省略する。視聴者端末装置５０は、ユーザ端末装置１０がサーバ３０を通じて配信した、ユーザがアウトカメラ１１で撮像している画像１０１に対してユーザの動き情報にあわせて変化するアバターオブジェクト１０２を重ねた合成データ１００を視聴する端末である。なお、この合成データ１００は、視聴者端末装置５０が生成してもよいし、次に説明するサーバ３０が生成してもよい。したがって、視聴者端末装置５０は、少なくとも、通信機器としての機能と、表示装置としての機能を備えていればよい。また、視聴者端末装置５０は、ユーザ端末装置１０とほぼ同様な構成を有していれば、ユーザ端末装置１０としても使用することもできる。

【0050】

〔サーバ３０〕
サーバ３０は、クライアントとなるユーザ端末装置１０及び視聴者端末装置５０からの要求に対して情報や処理結果を提供する。

【0051】

図３に示すように、サーバ３０は、配信システム１を管理する装置であり、配信管理データベース３１と、記憶部３２と、ネットワークＩＦ３３と、制御部３４とを備える。
配信管理データベース３１は、ユーザ端末装置１０の所有者であるユーザ、すなわち配信者を一意に特定する配信者アカウントに関連付けて、配信するコンテンツを一意に特定するコンテンツＩＤと、配信時刻と、視聴者に対する配信先を一意に特定する視聴者アカウントとを管理している。配信者アカウントは、一例として、配信者ＩＤ、配信者パスワード等である。視聴者アカウントは、一例として、視聴者ＩＤ、視聴者パスワード等である。

【0052】

例えば、配信者アカウント「ＡＡＡ」は、コンテンツＩＤ「Ａ１２３」をユーザ端末装置１０を通じてライブ配信していることが管理されている。また、コンテンツＩＤ「Ａ１２３」は、視聴者端末ＩＤ「ＸＸＸ」、「ＹＹＹ」、「ＺＺＺ」が視聴していることが管理されている。また、配信者アカウント「ＢＢＢ」は、コンテンツＩＤ「Ｂ４５６」を２０１８年１２月２５日１７：００～１８：００まで配信することが管理されている。この場合、配信対象となるコンテンツＩＤ「Ｂ４５６」は、事前に、ユーザ端末装置１０からアップロードされ、記憶部３２に保存されている。また、再生配信時間帯においては、コンテンツＩＤ「Ｂ４５６」を視聴者アカウント「ＸＹＺ」、「ＰＰＰ」、「ＱＱＱ」が視聴者端末装置５０を通じて視聴していることが管理されている。このように、配信時において、視聴者アカウントを関連付けることで、例えば、視聴者端末装置５０から送信されたコメントをユーザ端末装置１０に対して送信することも可能となる。

【0053】

記憶部３２は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリであり、配信管理プログラム３２ａや上述の配信管理データベース３１などを格納している。ネットワークＩＦ３３は、ネットワーク２を介してユーザ端末装置１０及び視聴者端末装置５０と通信を行うためのＩＦである。制御部３４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されており、プログラムに従ってユーザ端末装置１０の全体の動作を制御する。

【0054】

制御部３４は、ネットワークＩＦ３３でユーザ端末装置１０から配信要求を受信したとき、ユーザ端末装置１０から送信された合成データ１００の配信制御を行う配信部である。例えば、制御部３４は、ライブ配信要求を受信したとき、ユーザ端末装置１０から順次送信されてくる合成データ１００を所定のチャンネルで配信可能な状態とする。また、制御部３４は、所定の時刻及び時間帯に配信する配信要求を受信したとき、番組表にチャンネルと配信の時間帯を登録し、登録した所定の時刻及び時間帯になると配信可能な状態とする。制御部３４は、視聴者端末装置５０から視聴要求を受信すると、受信した視聴要求に応じたコンテンツＩＤの合成データ１００を視聴者端末装置５０で視聴可能とする。視聴者端末装置５０では、ストリーミング再生される。勿論、視聴者端末装置５０は、合成データ１００をダウンロードし、記憶部２８に保存するようにしてもよい。

【0055】

以下、配信システムの作用について説明する。
〔配信準備処理〕
ユーザは、現在いる場所、例えば観光地、名所、旧跡、風景などを撮像しながら、当該場所での画像１０１をサーバ３０を介して配信する準備を行う。先ず、ユーザは、ユーザ端末装置１０に、支持部材３を接続し、よりユーザ自身から離れた位置から第１方向や第２方向の撮像を行うことができるようにする。なお、支持部材３は接続しなくてもよい。

【0056】

ユーザは、自らが所持するユーザ端末装置１０を操作して配信プログラム２８ａを起動する。これに連動して、ユーザ端末装置１０の処理部２９は、デプスセンサ１５を起動する。デプスセンサ１５は、ユーザの骨格位置を特定することで人物領域における各部位を特定する。そして、デプスセンサ１５は、デプスセンサ１５とユーザの各所（頭部、上半身、腕、手、下半身、足等）との距離を示す深度情報等を取得し、各所を追跡可能な状態となり、各所の深度情報の変化に従った動き情報を生成する。

【0057】

図４に示すように、ステップＳ１において、処理部２９は、デプスセンサ１５からユーザの動き情報をデプスセンサＩＦ１６を通じて取得する。すなわち、処理部２９は、ユーザをデプスセンサ１５で検出し、ユーザを認識して、ユーザの動きを追跡できる状態となる。あわせて、処理部２９は、インカメラ１３も起動しデプスセンサ１５が検出しているユーザの画像や動画を取得するようにしてもよい。

【0058】

また、ユーザの身体の動きだけでなく、表情すなわち目や口の形状変化を検出してもよい。その検出結果は、アバタの表情に反映させることができる。さらに、ユーザの動きや表情は、デプスセンサ１５だけでなくインカメラ１３からの映像を使って検出してもよいし、両センサからの情報を併用して検出してもよい。

【0059】

ステップＳ２において、処理部２９は、動き情報をデプスセンサＩＦ１６を通じて取得できたかどうかの判断を繰り返し、動き情報を取得できたとき、ステップＳ４に進む。また、ステップＳ３において、処理部２９は、アウトカメラ１１を起動し、ユーザの視線方向となる第１方向の画像１０１をアウトカメラＩＦ１２を通じて取得する。この画像１０１は、アバターオブジェクト１０２の背景映像となり、一例として、ユーザがアバターオブジェクト１０２を介して視聴者に紹介したい画像である。これにより、処理部２９は、同時期のデプスセンサ１５からの動き情報とアウトカメラ１１からの画像１０１とを取得することができ、これらを関連付けることができる。

【0060】

なお、処理部２９は、アウトカメラ１１が撮像している画像１０１を表示部１９に表示しながら、画像１０１に、同時期にインカメラ１３で撮像しデプスセンサ１５で検出しているユーザのユーザ画像オブジェクトを重ねて表示する合成データを生成し、表示部１９の表示面に表示するようにしてもよい。この場合、処理部２９は、一例として、デプスセンサ１５からの検出結果に従ってインカメラ１３で撮像している画像の中からユーザ画像オブジェクトを抽出する。そして、画像１０１に対してユーザ画像オブジェクトが表示されるようにする。表示面においてユーザ画像オブジェクトを表示する位置は、配信プログラム２８ａによって、画像１０１または表示部１９の表示面上に予め決められた初期位置である。アバターオブジェクト１０２は、ユーザの化身となる仮想オブジェクトであり、ユーザは、表示面のどの位置にアバターオブジェクト１０２が表示されるかをユーザ画像オブジェクトを通じて予測することができる。

【0061】

なお、正式にアバターオブジェクト１０２が決定するまでは、ユーザ画像オブジェクトではなく仮のアバターオブジェクトを初期位置に表示してもよい。また、このようなユーザ画像オブジェクト又は仮のアバターオブジェクトを画像１０１に表示する処理は省略してもよい。

【0062】

処理部２９は、表示部１９の表示面にアバターオブジェクト１０２の選択画面を表示する。一例として、配信プログラム２８ａに関連づいて記憶部２８に保存されている複数のアバターオブジェクト１０２を一覧表示する。表示面に全てのアバターオブジェクトを一度に一覧表示できない場合は、上下または左右に一覧表示をスクロールし、選択候補となる全てのアバターオブジェクトをユーザが確認できるようにする。ユーザは、指やスタイラスペンを使って所望のアバターオブジェクトをタッチする。ステップＳ４において、処理部２９は、一覧表示されている複数のアバターオブジェクトの中でタッチした位置にあるアバターオブジェクトを選択し、選択されたアバターオブジェクトを特定し、使用するアバターオブジェクト１０２を決定する。なお、更に候補となるアバターオブジェクトをサーバ３０からダウンロードするようにしてもよい。

【0063】

ステップＳ５において、処理部２９は、所定期間内にアバターオブジェクト１０２を表示する表示位置が指定されたかを判断する。具体的には、処理部２９は、所定期間内において、ユーザが指やスタイラスペン等を使用して表示部１９の表示面の所定位置がタッチされかを判定する。そして、処理部２９は、タッチされたとき、タッチされた位置を、アバターオブジェクト１０２を表示する位置に指定する。また、タッチされなかったとき、ステップＳ５－１において、配信プログラム２８ａによって画像１０１または表示部１９の表示面上に予め決められた初期位置をアバターオブジェクト１０２を表示する位置とする。

【0064】

ステップＳ６において、処理部２９は、表示面に背景となる画像１０１を表示するとともに、表示面における所定表示位置にアバターオブジェクト１０２が表示されるように画像１０１にアバターオブジェクト１０２を重ねた合成データ１００を生成し、表示部１９の表示面に合成画像を表示する。具体的には、インカメラ１３で撮像しているユーザのユーザ画像オブジェクトが画像１０１上に表示されている場合、処理部２９は、ユーザ画像オブジェクト又は仮のアバターオブジェクトが表示されている位置に、ユーザ画像オブジェクト又は仮のアバターオブジェクトに代わってアバターオブジェクト１０２を重ねて合成データ１００を生成する。そして、処理部２９は、合成データ１００に基づく合成画像を表示部１９の表示面に表示する。

【0065】

このように、画像１０１には、インカメラ１３が撮像したユーザオブジェクトに対してアバターオブジェクト１０２が重ねられるわけではない。したがって、ユーザオブジェクトに対してアバターオブジェクト１０２がはみ出して表示されることを防ぐことができる。一例として、ユーザ画像オブジェクトまたは仮のアバターオブジェクトよりも小さなアバターオブジェクト１０２を表示することもできる。

【0066】

ところで、アバターオブジェクト１０２は、画像１０１が表示されている表示面内において所定領域を占有するオブジェクトである。したがって、一例として、処理部２９は、アバターオブジェクト１０２の表示位置として一点が指定された場合、指定された位置がアバターオブジェクト１０２の中心となるように表示面に表示する。また、一例として、アバターオブジェクト１０２の表示位置を指やスタイラスペン等を使用して領域を有するように指定した場合、処理部２９は、当該領域の中心を算出し、当該中心とアバターオブジェクト１０２の中心とが一致するように表示部１９の表示面に表示する。

【0067】

アバターオブジェクト１０２の表示部分は、一例として、デプスセンサ１５のユーザの検出している範囲に対応する。すなわち、デプスセンサ１５がユーザの上半身しか検出していないときには、アバターオブジェクト１０２の表示される範囲も上半身となる。また、デプスセンサ１５がユーザの全身を検出しているときには、アバターオブジェクト１０２の表示される範囲も全身となる。また、アバターオブジェクト１０２の表示部分は、一例として、デプスセンサ１５のユーザの検出している範囲に対応していなくてもよい。この場合、デプスセンサ１５がユーザの上半身しか検出していなくても、アバターオブジェクト１０２は全身（頭からつま先まで）を表示する。又は、デプスセンサ１５がユーザの全身を検出していても、アバターオブジェクト１０２は上半身を表示する。更に、デプスセンサ１５が検出していない部分は、静止状態であってもよいが、センサ１７の検出結果に従って変化させることも可能である。又は、デプスセンサ１５が検出している部分の動きを利用して、検出していない部分の動きを推測して変化させることもできる。

【0068】

ところで、表示部１９の表示面に表示される画像１０１の中でアバターオブジェクト１０２の大きさが大き過ぎる又は小さ過ぎる場合がある。また、ユーザが自分の好みでアバターオブジェクト１０２の大きさを調整したい場合がある。このような場合に対応するため、ステップＳ７において、処理部２９は、表示面に大きさ決定ボタンを表示する。そして、処理部２９は、大きさ決定ボタンがタッチされたかを判断し、決定ボタンがタッチされるまでの間、ステップＳ８において、ユーザによるアバターオブジェクト１０２の大きさの調整処理を実行する。

【0069】

一例として、支持部材３を使っている場合、ユーザとユーザ端末装置１０のデプスセンサ１５との距離を変化させることで、表示面に表示される画像１０１の中でのアバターオブジェクト１０２の大きさを変化させることができる。具体的には、支持部材３を使って、ユーザとユーザ端末装置１０のデプスセンサ１５とを離すことで、表示面に表示される画像１０１の中でアバターオブジェクト１０２を小さくすることができる。また、ユーザとユーザ端末装置１０のデプスセンサ１５とを近づけることで、表示面に表示される画像１０１の中でアバターオブジェクト１０２を大きくすることができる。また、インカメラ１３のズーム機能を使ってアバターオブジェクト１０２の大きさを変化させることができる。例えば、インカメラ１３において、焦点距離を広角方向に変化させたときにはアバターオブジェクト１０２は縮小され、望遠方向に変化させたときにはアバターオブジェクト１０２は拡大される。

【0070】

また、タッチパネル２０が静電容量方式であって投影型である場合、マルチタッチが可能であり、２本の指を開いたり閉じたりしてアバターオブジェクト１０２の大きさを調整することができる。例えば、２本の指を開いたときには、２本の指の開き量に応じてアバターオブジェクト１０２を大きくすることができ、また、２本の指を閉じたときには、２本の指の閉じ量に応じてアバターオブジェクト１０２を小さくすることができる。

【0071】

処理部２９は、ステップＳ７において、大きさ決定ボタンがタッチされると、ステップＳ９に進む。なお、支持部材３を使って、ユーザとユーザ端末装置１０のデプスセンサ１５との距離を変化させる場合は、支持部材３の操作部２２で大きさ決定ボタンをタッチした場合と同じ決定処理を行うこともできる。これにより、アバターオブジェクト１０２は、決定処理されたときのアバターオブジェクト１０２の大きさで画像１０１に対して重ねられる。

【0072】

アバターオブジェクト１０２の大きさ調整の次に、アバターオブジェクト１０２の向きが設定される。ユーザは、顔がユーザ端末装置１０のデプスセンサ１５と対峙した状態にあり、デプスセンサ１５とは向き合っている。したがって、アバターオブジェクト１０２も、顔が手前を向いた状態、すなわち顔が写った状態にある。一方で、ユーザが前進している場合、アバターオブジェクト１０２はユーザの化身であることからして、ユーザと同方向を向いて歩いている状態、すなわちアバターオブジェクト１０２の後頭部及び背中が表示された後ろ姿の状態になることも好ましい。更に、背景の画像１０１に写っている名所、旧跡等をユーザに代わってアバターオブジェクト１０２が口頭で紹介しているとき等は、アバターオブジェクト１０２も、顔が手前を向いた状態、すなわち顔が写った状態が好ましい。また、撮像状況に応じては、ユーザの向きにかかわらず、アバターオブジェクト１０２が横を向いている方が好ましい場合もある。

【0073】

そこで、処理部２９は、表示面に向き決定ボタンを表示する。そして、ステップＳ９において、処理部２９は、向き決定ボタンがタッチされたかを判断し、向き決定ボタンがタッチされるまでの間、ステップＳ１０において、ユーザによるアバターオブジェクト１０２の向きの調整処理を実行する。

【0074】

一例として、支持部材３を使っている場合、支持部材３の操作部２２でアバターオブジェクト１０２の向きを変化させることができる。例えば、操作部２２の十字キー、ジョイスティック、トラックボールなどを使用して、アバターオブジェクト１０２を向かせたい方向に操作することでアバターオブジェクト１０２の向きを容易に変えることができる。また、タッチパネル２０を用いてアバターオブジェクト１０２の向きを変えることができる。一例として、タッチパネル２０が静電容量方式であって投影型である場合、ユーザが指をアバターオブジェクト１０２を向かせたい方向になぞることでアバターオブジェクト１０２の向きを容易に変えることができる。そして、ここで設定したアバターオブジェクト１０２の大きさと向きが配信開始時に基準となる。すなわち、配信時は、この設定されたアバターオブジェクト１０２の表示状態に対して動き情報などに応じて変化することになる。

【0075】

処理部２９は、ステップＳ９において、向き決定ボタンがタッチされると、ステップＳ１１に進む。なお、支持部材３の操作部２２で向き決定ボタンをタッチした場合と同じ決定処理を行うこともできる。

【0076】

ステップＳ１１において、処理部２９は、表示面に配信開始ボタンを表示する。そして、配信開始ボタンがタッチされると、配信が開始されることになる。なお、支持部材３の操作部２２で配信開始ボタンをタッチした場合と同じ決定処理を行うこともできる。

【0077】

処理部２９は、配信者アカウント及びコンテンツＩＤに関連付けて、ライブ配信をするか、配信日時及び時間帯を指定し配信する場合配信日及び配信時間帯をネットワークＩＦ２７を通じてサーバ３０に送信し、これを、サーバ３０の制御部３４は、配信管理データベース３１に登録する。

【0078】

配信開始処理がされると、処理部２９は、アバターオブジェクト１０２が重ねられた画像１０１の合成データ１００を生成し、表示部１９に表示させながら、合成データ１００をサーバ３０に送信する。そして、サーバ３０の制御部３４は、割り当てたチャンネル（例えばＵＲＬ）でネットワークＩＦ３３を通じてユーザ端末装置１０から送信された合成データ１００の配信を開始する。

【0079】

〔配信処理例１〕
配信処理例１は、ユーザが前進又は後進もせず停止している場合である。図５に示すように、処理部２９は、ステップＳ２１において、デプスセンサ１５からユーザの動き情報を取得する。ステップＳ２２において、処理部２９は、動き情報に応じてアバターオブジェクト１０２が変化する映像と音響を含む合成データ１００を生成し、サーバ３０に送信する。

【0080】

デプスセンサ１５では、ユーザが話をしているときには、一例として、目や唇の動きを検出し、手を動かせば手の動きを検出する。また、ユーザが横を向けば横を向く動きを検出する。処理部２９は、デプスセンサ１５からのユーザの動き情報に応じて、アバターオブジェクト１０２を変化させる。すなわち、ユーザが話しているときには、ユーザと同じようにアバターオブジェクト１０２の唇を変化させ、ユーザが手を動かしたときには、ユーザの手の動きと同じようにアバターオブジェクト１０２の手を変化させる。更に、ユーザが横を向いたときには、アバターオブジェクト１０２を横に向かせる。なお、ユーザの動きは、デプスセンサ１５からだけではなく、インカメラ１３からの画像から取得するようにしてもよい。

【0081】

処理部２９は、サーバ３０に送信している合成データ１００を表示部１９の表示面にも表示している。したがって、ユーザは、自分に代わってアバターオブジェクト１０２がどのように表示されているのかを確認しながら配信のために撮像することができる（図１参照）。

【0082】

視聴者端末装置５０は、サーバ３０の所定チャンネルにアクセスすることによって配信中の合成データ１００に基づく合成画像を視聴することができる。合成データ１００は、ユーザの唇の動き情報に合わせてアバターオブジェクト１０２の唇も動いているデータである。したがって、視聴者は、恰もアバターオブジェクト１０２が話しているように見えることになる。

【0083】

図６（ａ）に示すように、アバターオブジェクト１０２のデータは三次元データである。したがって、アバターオブジェクト１０２は、顔が奥を向いているとき後頭部が表示され、顔が手前を向いているとき顔が表示され、右を向いているときは右横顔が表示され、左を向いているときには左横顔が表示される。一例として、処理部２９は、動作前の状態に対してデプスセンサ１５からの動き情報やセンサ１７からの検出データに基づいてアバターオブジェクト１０２を変化させる。図６（ｂ）に示すように、一例として、アバターオブジェクト１０２が奥を向いている状態から右方向に９０度回転する場合、アバターオブジェクト１０２は、順に右方向に回転する。

【0084】

図６（ｃ）は、アバターオブジェクト１０２が奥を向いている状態から左方向に２７０度回転し右向きになる場合を示している。このような場合、アバターオブジェクト１０２は、順に左方向に回転する。ただし、回転後の状態は、アバターオブジェクト１０２が奥を向いている状態から右向きに９０度回転した右向きの状態と同じである。このような場合、図６（ａ）に示すように、処理部２９は、アバターオブジェクト１０２の回転角が小さくなる方向、すなわち右向きにアバターオブジェクト１０２を回転させる処理を行うようにしてもよい。これにより、処理部２９におけるアバターオブジェクト１０２を回転させるための演算処理を軽減することができる。また、アバターオブジェクト１０２の動きが少なくなり、よりアバターオブジェクト１０２のより自然な振り向き方を再現することきる。

【0085】

〔配信処理例２〕
配信処理例２は、ユーザが移動している場合である。センサ１７は、加速度センサやジャイロセンサであり、これらのセンサ素子からの出力に従ってユーザ端末装置１０の加速度データや角度データや角速度データ等の検出データを算出する。図７は、ユーザが手前から奥方向に移動するときのセンサ１７が検出する加速度の変化の一例を示している。時刻ｔ１において、ユーザは静止しており、加速度は０である。時刻ｔ２において奥方向に歩行を開始すると、プラスの加速度が出力され、時刻ｔ３において定速歩行になると、加速度は０に近づく。歩行停止するときは、時刻ｔ４においてマイナスの加速度が出力される。時刻ｔ５において奥方向に歩行を再開するとプラスの加速度が出力され、時刻ｔ６において定速歩行のとき、加速度は０に近づく。時刻ｔ７において奥方向に走り出すときは、歩行開始時より高いプラスの加速度が出力され、時刻ｔ８のように定速で走っていると、加速度は０に近づく。

【0086】

以上のようにユーザが歩いたり走ったりして移動する場合、ユーザ端末装置１０の処理部２９は、センサ１７による加速度や角度や角速度によって移動方向や移動速度を検出することができる。図８に示すように、ステップＳ３１において、処理部２９は、加速度が変化したかどうかを判定し、ステップＳ３２において、加速度に応じてアバターオブジェクト１０２を変化させる。歩いているときや走っているときは、上下及び前後の動きが生じ、走っているときは、歩いているときよりもその変化が速く大きくなる。

【0087】

具体的には、処理部２９は、配信プログラム２８ａに連動している歩数計プログラム２８ｂを動作させる。そして、処理部２９は、加速度が第１閾値より大きいかどうかを判定し、第１閾値より小さいとき、静止していると判定し、第１閾値以上のとき、歩いていると判定する。また、処理部２９は、加速度が第２閾値より大きいかどうかを判定し、第２閾値より小さいとき、歩いている判定し、第２閾値以上のとき、走っていると判定する。

【0088】

処理部２９は、歩いているときや走っているとき、アバターオブジェクト１０２の上下及び前後に変化させ、走っているときには、歩いているときより変化量が大きくなるように変化させる。アバターオブジェクト１０２の全身が表示面に表示されている場合、処理部２９は、デプスセンサ１５が手足を検出していなくても、手足を走ったり歩いているときのように変化させる。アバターオブジェクト１０２の上半身のみが表示面に表示されているときにも、アバターオブジェクト１０２を上下に移動させるように変化させる。

【0089】

図７の例では、ユーザは手前から奥方向に前進している。そこで、実際には、ユーザ端末装置１０のデプスセンサ１５は、ユーザの顔と対峙しているが、処理部２９は、アバターオブジェクト１０２が手前から奥方向に移動しているようにアバターオブジェクト１０２の後頭部及び背中が表示させる。そして、時刻ｔ４から時刻ｔ５のようにユーザが静止しているとき、処理部２９は、アバターオブジェクト１０２の向きを反転させ、顔が手前を向いた状態に変化させる。名所、旧跡等を話して説明するときは、静止しているときが多く、説明時はアバターオブジェクト１０２の顔が見ている方が視聴者に対してアバターオブジェクト１０２に再現されている表情等を通じてユーザの表情なども伝わり易いからである。なお、以上の例では、ユーザが移動しているときは、アバターオブジェクト１０２の後ろ姿を表示するようにしているが、アバターオブジェクト１０２は、常時正面を向いているようにしてもよい。

【0090】

なお、ユーザの移動は、センサ１７だけでなく、他の手段と組み合わせて検出してもよい。例えば、センサ１７とＧＮＳＳを併用して検出してもよい。さらに、デプスセンサ１５およびＳＬＭＡ（Simultaneous Localization and Mapping）を併用してもよい。さらに、写真測量術(VisualSLAM)による位置情報の時間的変化を歩く方向の決定に補足的に使用するようにしてもよい。

【0091】

〔その他の配信処理例〕
また、処理部２９は、デプスセンサ１５からの動き情報に基づいて特定の動作を検出したとき、アバターオブジェクト１０２に加えて、その動作に関連するエフェクトオブジェクト１０３を追加表示する。一例として、人が一方の手の掌を他方の握り拳でたたいたときは閃き時である。そこで、図９（ａ）に示すように、処理部２９は、デプスセンサ１５からの動き情報でユーザが一方の手の掌を他方の握り拳でたたいた動作を検出したとき、電球を模した追加仮想オブジェクトとしてのエフェクトオブジェクト１０３をアバターオブジェクト１０２の近くに表示する。エフェクトオブジェクト１０３としては、静止しているオブジェクトでもよいし、動くオブジェクトであってもよいし、更に閃きを連想させる音声や音楽などのオーディオデータが再生されてもよい。

【0092】

また、図９（ｂ）に示すように、配信プログラム２８ａに従って、アウトカメラ１１で撮像している画像１０１に対してアバターオブジェクト１０２を重ね合成データ１００を生成する処理を行っているとき、並列して、音声認識処理を行ってテキストデータを生成しエフェクトオブジェクト１０４を画像１０１に付加する処理行う。ここでのエフェクトオブジェクト１０４は、アバターオブジェクト１０２に吹き出しのオブジェクトを付加し、吹き出しのオブジェクトの中にテキストを表示して構成することができる。また、合成データ１００に基づく合成画像において、上部、下部、左部、右部の何れかの欄オブジェクトにテキストを表示することによって構成してもよい。

【0093】

更に、処理部２９は、デプスセンサ１５からの動き情報に基づいて特定の動作を検出したとき、アバターオブジェクト１０２に吹き出しのオブジェクトを付加し、吹き出しのオブジェクトの中にテキストを表示してエフェクトオブジェクト１０４を構成するようにしてもよい。この場合、特定の動作は、一例として、物事を紹介するときの特定のジェスチャであり、片方の掌を上にして肩の高さまで上げるような動作である。

【0094】

更に、視聴者端末装置５０で視聴している視聴者は、配信をしているユーザに対してコメントを送信することができる。サーバ３０において、配信管理データベース３１では、配信者アカウントに関連付けて視聴者アカウントを関連付けて管理している。サーバ３０の制御部３４は、視聴者端末装置５０から配信者アカウントやコンテンツＩＤに関連付いたコメントデータを受信したとき、該当する配信者のユーザ端末装置１０に対してコメントを送信する。このような場合、ユーザ端末装置１０には、表示部１９の表示面に、視聴者からのコメントが表示される。例えばユーザが観光地を歩きながら配信を行っている場合、視聴者は、次にユーザに行ってもらいたい場所をリクエストするコメントを視聴者端末装置５０からサーバ３０を通じてユーザ端末装置１０に送信することができる。このように、視聴者からユーザに対してコメントを送ることができるので、ユーザは、視聴者と意思疎通を図りながら撮像を行うことができる。

【0095】

さらに、視聴者は、視聴者端末装置５０を通じて視聴者自身に関連する仮想オブジェクトを通じで画像１０１に表示させることができる。例えば、合成データ１００に基づく合成画像に対して、視聴者自身のアバターオブジェクトを付加することができる。視聴者の仮想オブジェクトであるアバターオブジェクトは、視聴者端末装置５０が備えるデプスセンサ１５により生成された動き情報に基づいて変化されるものであって、視聴者端末装置５０からサーバ３０に送信され、更にサーバ３０を経由してユーザ端末装置１０で表示される。この場合、配信者のアバターオブジェクト１０２および視聴者のアバターオブジェクトを含む合成データは、視聴者端末装置５０、サーバ３０、ユーザ端末装置１０の何れの装置で生成されてもよい。そして、合成データ１００に基づく合成画像には、配信者のアバターオブジェクト１０２および視聴者のアバターオブジェクトが表示されることになる。視聴者のアバターオブジェクトも、画像１０１に表示させるアバターオブジェクトが視聴者端末装置５０で選択され、選択されたアバターオブジェクトが画像１０１の所定位置に表示されることになる。さらに、アバターオブジェクトではなく、アバターオブジェクト１０２に対するプレゼントのような仮想オブジェクトを表示させるようにしてもよい。例えば、仮想オブジェクトとして、さい銭、配信用のマイクロフォン、花束、眼鏡、衣服などの装飾品などがある。視聴者は、このようなプレゼントをプレゼント一覧の画面から選択することができる。そして、選択された仮想オブジェクトをサーバ３０に送信し、
上記配信システム１によれば、以下に列挙する効果を得ることができる。

【0096】

（１）アバターオブジェクト１０２は、ユーザ自身のユーザオブジェクトにアバターオブジェクト１０２を重ねるのではなく、ユーザオブジェクトに代えてアバターオブジェクト１０２が画像１０１に重ねられる。したがって、アバターオブジェクト１０２の動きがユーザオブジェクトの動きに追従できず、アバターオブジェクト１０２に対してユーザオブジェクトがはみ出してしまうことを防ぐことができる。または、ユーザオブジェクトの方がアバターオブジェクト１０２よりも小さい場合にも、ユーザオブジェクトがアバターオブジェクト１０２からはみ出してしまうことを防ぐことができる。このように、アバターオブジェクト１０２の合成画像において不自然な表示がされることを防ぐことができる。

【0097】

（２）アバターオブジェクト１０２を画像１０１に自動的に付加することができる。または、タッチパネル２０によって、アバターオブジェクト１０２を表示する位置を容易に指定することができる。

【0098】

（３）ユーザ端末装置１０が備えたアウトカメラ１１を用いて背景となる被写体を撮像して画像１０１を生成し、更にデプスセンサ１５で撮像者であるユーザを検出してアバターオブジェクト１０２を画像１０１に付加することができる。

【0099】

（４）ユーザ端末装置１０がセンサ１７を備えるので、デプスセンサ１５でユーザの動きを検出できない箇所もセンサ１７からの検出データを利用してアバターオブジェクト１０２を変化させることができる。

【0100】

（５）ユーザ端末装置１０が歩数計の機能を備える。したがって、ユーザの移動とユーザ端末装置１０の移動とを分離して検出することができる、すなわち、ユーザが静止した状態において手でユーザ端末装置１０だけを移動させているのか、ユーザが実際に歩いているのかを判別することができる。そして、ユーザが歩いていることを検出したときには、アバターオブジェクト１０２も歩いているように変化させることもできる。更に、走っているどうかも検出し、走っているときには、アバターオブジェクト１０２を走っているように変化させることができる。そして、デプスセンサ１５、アウトカメラ１１及びセンサ１７や歩数計の機能によって、配信者は後ろ歩きをすることなく、視聴者よりも先頭に立って歩いて、さも観光ガイドをしているかのように演出することができる。

【0101】

（６）処理部２９は、動き情報から特定の動きを検出したとき、エフェクトオブジェクト１０３を付加する。これにより、アバターオブジェクト１０２による表現形式を多様化し、更に娯楽性を高めることができる。

【0102】

（７）処理部２９は、ユーザの音声を音声認識してテキストに変換しテキストを画像１０１に付加する。これにより、ユーザによる発言を視聴者に対して分かり易くすることができる。

【0103】

なお、上記ライブ配信システムは、以下のように適宜変更して実施することもできる。
・ユーザ端末装置１０は図１０のように構成してもよい。ずなわち、図１０に示すユーザ端末装置１０は、ユーザ端末装置１０を持ったユーザとは反対側の外面にアウトデプスセンサ４１を備え、アウトデプスセンサ４１は、アウトカメラＩＦ４２に接続されている。アウトデプスセンサ４１は、一例として、アウトカメラ１１の近くに配置されている。なお、図１０では、ユーザ側の内面に配置されているデプスセンサがインデプスセンサ１５であり、インデプスセンサＩＦ１６に接続される。インデプスセンサ１５及びインデプスセンサＩＦ１６は、それぞれ図２のデプスセンサ１５及びデプスセンサＩＦ１６に対応する。

【0104】

アウトデプスセンサ４１は、インデプスセンサ１５と同様な構成を有するものであり、一例として、赤外線カメラであり、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備える。そして、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における三次元位置情報等の深度情報を取得する。

【0105】

インデプスセンサ１５は、主としてユーザ端末装置１０を手に持っているユーザを検出するものである。すなわち、インデプスセンサ１５は、比較的インデプスセンサ１５から近い物体を検出するものである。これに対して、アウトデプスセンサ４１は、インデプスセンサ１５の検出対象までの距離に比べ遠方の物体を検出するものである。このため、一例として、アウトデプスセンサ４１は、投光部がインデプスセンサ１５のものより高出力であり、検出部がインデプスセンサ１５のものより高感度とすることが好ましい。

【0106】

アウトデプスセンサ４１は、アウトカメラ１１の近くに配置され、その検出範囲は、アウトカメラ１１の撮像範囲とほぼ同じである。なお、アウトデプスセンサ４１の検出範囲は、アウトカメラ１１の撮像範囲よりも広くても狭くてもよい。アウトデプスセンサ４１は、検出範囲に存在する物体の深度情報を検出する。一例として、ユーザの進行方向に人が歩いているときには、その人の動きを検出する。また、前方に階段が存在しているときには、階段の各段を検出する。更に、前方の人が階段を上っているときは、その動きを検出する。そして、深度情報取得部としてのアウトカメラＩＦ４２は、アウトデプスセンサ４１からの深度情報を取得する。

【0107】

アバターオブジェクト１０２が重ねられた画像１０１の合成データ１００を生成し合成データ１００をサーバ３０を通じて配信するとき、処理部２９は、アウトデプスセンサ４１からの深度情報や動き情報は次のように利用する。一例として、前方の人が階段を上っているときは、これに次ぐユーザも階段を上る蓋然性が高い。アウトデプスセンサ４１は、階段や前方の人の動作を検出する。処理部２９は、アウトデプスセンサ４１からの深度情報や動き情報に従って、ユーザが階段に至ったことを検出する。処理部２９は、インデプスセンサ１５からの動き情報やセンサ１７からの検出データに基づいて、ユーザが階段を上っている状態に移行したことを検出すると、アバターオブジェクト１０２に対して前の人が階段を上っているときの動き情報を適用し、階段をアバターオブジェクト１０２が上っているように変化させる。これにより、実空間に階段が存在している場合に、アバターオブジェクト１０２も階段を上っているように表示させることができ、画像１０１に対してアバターオブジェクト１０２が不自然に変化してしまうことを防ぐことができる。

【0108】

ここでは、前の人に合わせてユーザが階段を上る場合を説明したが、これは一例である。例えば、進行方向となる前方に花壇や机や椅子などの障害物が存在している場合は、ユーザは、障害物を避けるように動作する。処理部２９は、アウトデプスセンサ４１が検出した障害物の深度情報に基づいて、アバターオブジェクト１０２を障害物を避けるように変化させることができる。すなわち、花壇や机や椅子などの実物体との前後関係を考慮してアバターオブジェクト１０２を表示することができる。このようにアウトデプスセンサ４１を備えたユーザ端末装置１０では、アウトカメラ１１が撮像している実空間の物体に合わせてアバターオブジェクト１０２を変化させることができる。

【0109】

・ユーザ端末装置１０は、内蔵型のアウトカメラ１１及びインカメラ１３を用いるのではなく、第１取得部及び第２取得部となる通信ＩＦ２１を通じて有線又は無線によってペアリングされた３６０度カメラ装置２０１を利用してもよい。図１１（ａ）に示すように、３６０度カメラ装置２０１は、第１面に第１方向を向いた第１カメラ２０２を備え、第１面と反対側の第２面に第２方向を向いた第２カメラ２０３を備える。そして、第１カメラ２０２及び第２カメラ２０３の各々が受像素子を備える。この場合、第１カメラ２０２及び第２カメラ２０３の何れか一方が上述したアウトカメラ１１に対応し、他方が上述したインカメラ１３に対応する。また、少なくともインカメラ１３に対応する側のカメラのレンズの近くには、デプスセンサを配置する。これにより、図２と同様なユーザ端末装置１０となり、両方のカメラの近くにデプスセンサを配置したときには図１０と同様なユーザ端末装置１０となる。

【0110】

なお、３６０度カメラ装置２０１が図２や図１０のユーザ端末装置１０と同様な構成を備える場合、３６０度カメラ装置２０１そのものが図２や図１０のユーザ端末装置１０となる。

【0111】

このような構成を備えた３６０度カメラ装置２０１は、カメラをヘルメットに固定する取付装置、リストマウントに取り付けたカメラを手の甲や手首、腕などに装着する取付装置、固定用クランプで自転車のハンドルバーなどに挟みカメラを固定する取付装置、カメラを体に固定する取付装置、カメラを吸着板で固定する取付装置、長さ固定のハンディースティックなどに取り付けて使用することが好ましい。

【0112】

・図１１（ｂ）に示すように、第１カメラ２０６と第２カメラ２０７とが分離されていてもよい。すなわち、半天球カメラを２台用いる。この場合、少なくともインカメラ１３に対応する側のカメラには、デプスセンサを配置する。これにより、図２と同様なユーザ端末装置１０となり、両方のカメラにデプスセンサを配置したときには図１０と同様なユーザ端末装置１０となる。第１カメラ２０６と第２カメラ２０７とは、分離しているため、アウトカメラ１１に対応する側のカメラとインカメラ１３に対応する側のカメラとが同じ場所に存在しなくてもよい。一例として、ユーザ端末装置１０に対して第１カメラ２０６と第２カメラ２０７とが有線又は無線で接続されることで、アウトカメラ１１に対応する側のカメラの設置場所に、ユーザ及びインカメラ１３に対応する側のカメラが存在していなくてもよい。ユーザは、ユーザ自身の家など居場所に対して遠隔地にアウトカメラ１１に対応する側のカメラを設置し、家などの居場所に居ながら合成データ１００のライブ配信を行うこともできる。

【0113】

・図１１（ｃ）の例は、半天球カメラ２１１を１台用いる。半天球カメラ２１１は、一例として、広角カメラである。半天球カメラ２１１は、通信ＩＦ２１を通じて有線又は無線でペアリングされる。この場合、例えばその画角は１７０度程度～１８５度程度であり、広角である。１つのレンズ部２１２から入射した像は１つの受像素子で受光される。撮像画像２１３には、その一部の領域２１４にユーザが写り、他の領域２１５を画像１０１となる領域とする。

【0114】

半天球カメラ２１１は、デプスセンサを備えておらず、ユーザの深度情報や動き情報は、写真測量技術等を用いて画像解析することで算出する。ユーザの深度情報や動き情報は、ディープラーニングを利用したＡＩを利用することによって検出することができる。処理部２９は、領域２１４で検出されたユーザの動き情報に合わせて変化するアバターオブジェクト１０２を領域２１５の画像１０１に対して重ね、合成データ１００を生成する。この合成データ１００を、ユーザ端末装置１０は、サーバ３０を通じて視聴者端末装置５０に対して配信することになる。

【0115】

・図１１（ｄ）は、図２に示したユーザ端末装置１０の変形例である。ユーザ端末装置１０は、アウトカメラ１１及びインカメラ１３を備えるが、その受像素子２３０が１枚であり、第１受像領域２３１と第２受像領域２３２とに分割されている。第１受像領域２３１には、アウトカメラ１１での像が受像され、第２受像領域２３２には、インカメラ１３での像が受像される。第１受像領域２３１には、アウトカメラ１１での像が受像され、処理部２９は、背景映像となる画像１０１を生成する。第２受像領域２３２にはユーザが受像される。処理部２９は、第２受像領域２３２の映像から画像解析することによってユーザの動き情報を生成する。処理部２９は、第２受像領域２３２で検出されたユーザの動き情報に合わせて変化するアバターオブジェクト１０２を第１受像領域２３１で受像した像から生成された画像１０１に対して重ね、合成データ１００を生成する。この合成データ１００を、ユーザ端末装置１０は、サーバ３０を通じて視聴者端末装置５０に対して配信することになる。

【0116】

なお、インカメラ１３は、デプスセンサ１５としてもよい。この場合、第２受像領域２３２は赤外線を検出する赤外線検出部となる。このような場合には、受光素子が１枚になることで、ユーザ端末装置１０において部品点数を削減することができる。

【0117】

・画像１０１に対してアバターオブジェクト１０２を重ね合成データ１００を生成する機能は、ユーザ端末装置１０が備えるのではなく、サーバ３０が備えていてもよい。この場合、ユーザ端末装置１０からは、アウトカメラ１１が撮像した被写体の画像１０１及びデプスセンサ１５が検出した動き情報がサーバ３０に対して送信されることになる。そして、ネットワークＩＦ３３が第１取得部や第２取得部として機能することになる。そして、サーバ３０は、画像１０１に対して動き情報に基づいて動くアバターオブジェクト１０２を重ねて合成データ１００を生成すると、合成データ１００をユーザ端末装置１０に対して送信するとともに、視聴者端末装置５０に対して配信する。

【0118】

・サーバ３０が行う処理は、エッジサーバに分散させるようにしてもよい。
・合成データ１００は、ユーザ端末装置１０の他に視聴者端末装置５０またはサーバ３０で行ってもよい。

【0119】

・ユーザ端末装置１０は、音声認識処理を行ってテキストデータを生成しテキストオブジェクトを画像１０１に付加する機能を備えていなくてもよい。特に、音声だけで視聴者に意思伝達をすることができるからである。

【0120】

・ユーザ端末装置１０は、ユーザの特定の動作を検出したとき、アバターオブジェクト１０２に加えて、その動作に関連するエフェクトオブジェクト１０３を付加する処理を行わなくてもよい。エフェクトオブジェクト１０３が付加されなくても、視聴者に意思伝達をすることができるからである。

【0121】

・ユーザ端末装置１０は、歩数計機能を備えていなくてもよい。この場合、センサ１７が検出する検出データでユーザ端末装置１０の移動をユーザの移動とし、アバターオブジェクト１０２を変化させることになる。

【0122】

・センサ１７を備えていなくてもよい。アバターオブジェクト１０２が歩行しているように変化しなくても、少なくともユーザの顔が検出され、ユーザの化身であるアバターオブジェクト１０２がユーザの表情に合わせて変化すれば、視聴者にユーザの表情がアバターオブジェクト１０２を介して伝わるからである。また、アウトカメラ１１やインカメラの１３映像変化によりユーザの移動方向を検出し、これにより、アバターオブジェクト１０２の歩行表示を変化させるようにしてもよい。

【0123】

・センサ１７としては、少なくとも加速度センサを備えて加速度を検出できればよい。
・ユーザ端末装置１０は、映像を取得する取得部を備えていればく、アウトカメラ１１を備えていなくてもよい。図１１（ａ）及び（ｂ）のように、外付けでカメラを接続すればよいからである。この場合、通信ＩＦ２１は、画像１０１を取得する第１取得部や動き情報を取得する第２取得部などの取得部として機能することになる。

【0124】

・表示部１９は必ずしもタッチパネル２０を備えていなくてもよい。ユーザ端末装置１０に、マウスなどのポインティングデバイスが有線又は無線で接続されている場合は、表示面に表示されるポインタによって位置を入力することができるからである。

【0125】

・ユーザ端末装置１０は、入力された音声を加工して違う音声に聞こえるように変換するボイスチェンジャのプログラムがインストールされていてもよい。一例として、合成データ１００を配信するとき、マイクロフォンなどの音響電気変換機器で集音した音声を、ボイスチェンジャによって異なる音声に変換し、変換後の音声で配信することができる。例えば、ボイスチェンジャでは、ＰＣＭ（パルス符号変調）でデジタル化した音声データに対して、音声データのサンプリング周期を変えて声のピッチを変えたり、音声データに時間遅れを持たせディレイさせたり、ディレイをかけた音声データを、元の音声データと合成してエコーをかけたりすることができる。

【0126】

・ユーザ端末装置１０は、テキストデータを読み上げる等の音声読み上げプログラムがインストールされていてもよい。一例として、ユーザ端末装置１０は、視聴者端末装置５０から視聴者からのリクエストコメントをテキストデータで受信したとき、音声に変換し、テキストデータを読み上げる。この場合の音声は、一例として、合成音声であり、また、声優、俳優等の音声である。また、アバターオブジェクト１０２がアニメーションに登場するキャラクタオブジェクトなどである場合は、そのキャラクタの声優であってもよい。また、アバターオブジェクト１０２が著名人、有名人、一般人等の人物を模した人物オブジェクトである場合、その人物の音声であってもよい。

【0127】

・合成データ１００は、アバターオブジェクト１０２が重ねられた画像１０１と音響とで構成されるが、画像１０１と同時期に取得するユーザの動き情報やセンサ１７の検出データやＧＮＳＳの位置情報や画像１０１の撮像現場における音響は、完全に同期していることが好ましい。また、画像１０１及び動き情報に視聴者が不快に感じない程度であれば若干時間的にずれがあってもよい。このような場合、画像１０１に対してアバターオブジェクト１０２の動きなどが若干ずれることになる。一例として、図１１（ｂ）に示すように、ユーザ端末装置１０と第１カメラ２０６と第２カメラ２０７とが分離しているときは、通信環境によって、画像１０１及び動き情報の何れか一方に対して他方が遅延する事態が生じることもある。このような場合、画像１０１及び動き情報に時間的にずれがあってもよい。

【0128】

・ライブ配信を行わない場合などは、ＧＮＳＳや、ＮＴＰサーバや、ユーザ端末装置１０やサーバ３０の内蔵時計等から取得した時刻を基準にして、画像１０１に付与された基準時刻と同時刻のユーザの動き情報やセンサ１７の検出データやＧＮＳＳの位置情報や画像１０１の撮像現場における音響を取得するようにしてもよい。図１１（ｂ）に示すように、ユーザ端末装置１０と第１カメラ２０６と第２カメラ２０７とが分離しているときは、各々の機器の内蔵時計に従って、各同時期の情報やデータを取得し合成データ１００を生成するようにしてもよい。

【0129】

・ユーザの動作情報は、インカメラ１３で取得した映像に基づいて、フレーム間差分や動きベクトルを算出して生成するようにしてもよい。

【符号の説明】

【0130】

１…配信システム、２…ネットワーク、３…支持部材、１０…ユーザ端末装置、１１…アウトカメラ、１２…アウトカメラＩＦ、１３…インカメラ、１４…インカメラＩＦ、１５…デプスセンサ、１６…デプスセンサＩＦ、１７…センサ、１８…センサＩＦ、１９…表示部、２０…タッチパネル、２１…通信ＩＦ、２２…操作部、２３…ＧＮＳＳ受信部、２４…オーディオ入力機器、２５…オーディオ出力機器、２６…オーディオＩＦ、２７…ネットワークＩＦ、２８…記憶部、２８ａ…配信プログラム、２８ｂ…歩数計プログラム、２８ｃ…音声認識プログラム、２９…処理部、３０…サーバ、３１…配信管理データベース、３２…記憶部、３３…ネットワークＩＦ、３２ａ…配信管理プログラム、３４…制御部、４１…アウトデプスセンサ、４２…アウトカメラＩＦ、５０…視聴者端末装置、１００…合成データ、１０１…画像、１０２…アバターオブジェクト、１０３…エフェクトオブジェクト、１０４…エフェクトオブジェクト、２０１…３６０度カメラ装置、２０２…第１カメラ、２０３…第２カメラ、２０６…第１カメラ、２０７…第２カメラ、２１１…半天球カメラ、２１２…レンズ部、２１３…撮像画像、２１４…領域、２１５…領域、２３０…受像素子、２３１…第１受像領域、２３２…第２受像領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】