特開2020-160645(P2020-160645A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧
特開2020-160645データ処理装置、データ処理方法、プログラム、及び、データ処理システム
<>
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000003
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000004
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000005
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000006
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000007
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000008
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000009
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000010
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000011
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000012
  • 特開2020160645-データ処理装置、データ処理方法、プログラム、及び、データ処理システム 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-160645(P2020-160645A)
(43)【公開日】2020年10月1日
(54)【発明の名称】データ処理装置、データ処理方法、プログラム、及び、データ処理システム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20200904BHJP
   G06F 3/16 20060101ALI20200904BHJP
   G06F 3/01 20060101ALI20200904BHJP
   G06F 3/0484 20130101ALI20200904BHJP
【FI】
   G06T19/00 600
   G06F3/16 610
   G06F3/16 620
   G06F3/16 650
   G06F3/01 570
   G06F3/0484 150
【審査請求】未請求
【請求項の数】17
【出願形態】OL
【全頁数】27
(21)【出願番号】特願2019-57697(P2019-57697)
(22)【出願日】2019年3月26日
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】勝俣 祐輝
(72)【発明者】
【氏名】栗山 孝司
(72)【発明者】
【氏名】宮川 嘉明
(72)【発明者】
【氏名】細見 幸司
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA09
5B050BA11
5B050CA07
5B050CA08
5B050DA04
5B050EA06
5B050EA13
5B050EA19
5B050EA27
5B050FA02
5B050FA05
5E555AA27
5E555AA46
5E555AA63
5E555AA64
5E555AA76
5E555BA06
5E555BB06
5E555BC04
5E555BD08
5E555CA12
5E555CA31
5E555CA42
5E555CA44
5E555CA45
5E555CA47
5E555CB14
5E555CB17
5E555CB23
5E555CB64
5E555CC19
5E555CC24
5E555CC25
5E555CC26
5E555DB32
5E555DB41
5E555DC13
5E555DC19
5E555DC26
5E555DC27
5E555EA23
5E555FA00
(57)【要約】
【課題】画像に仮想オブジェクトを重ねて表示する。
【解決手段】アウトカメラ11で撮像された第1被写体の画像情報を取得するアウトカメラIFと、デプスセンサ15で検出された第1被写体とは異なる第2被写体の動き情報を取得するデプスセンサIFと、アウトカメラIFで取得した画像情報に基づく画像101と、デプスセンサIFで取得した動き情報に基づいて変化する仮想オブジェクト102と、を表示面に表示させる処理部とを備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1被写体の画像情報を取得する第1取得部と、
前記第1被写体とは異なる第2被写体の動き情報を取得する第2取得部と、
前記第1取得部で取得した前記画像情報に基づく画像と、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させる処理部と、
を備えるデータ処理装置。
【請求項2】
前記処理部は、前記第1取得部で取得した前記画像情報に基づく画像に対して前記仮想オブジェクトを重ねた画像を前記表示面に表示させる請求項1に記載のデータ処理装置。
【請求項3】
前記第1被写体を撮像する撮像部と、
前記第2被写体を検出する検出部と、を備え、
前記第1取得部は、前記撮像部により撮像された前記第1被写体の前記画像情報を取得し、
前記第2取得部は、前記検出部により検出された前記第2被写体の前記動き情報を取得する請求項1又は請求項2に記載のデータ処理装置。
【請求項4】
前記表示面を有する表示部を備え、
前記検出部は、前記表示面が配置される面に配置され、
前記撮像部は、前記表示面が配置される面とは異なる面に配置される請求項3に記載のデータ処理装置。
【請求項5】
前記撮像部は、前記表示面が配置される面とは反対側の面に配置される請求項4に記載のデータ処理装置。
【請求項6】
前記表示面において位置を指定する位置入力部を備え、
前記処理部は、前記位置入力部で指定された位置に、前記仮想オブジェクトを表示させる請求項1から請求項5のいずれか一項に記載のデータ処理装置。
【請求項7】
前記データ処理装置の位置情報を検出する位置情報検出部を備え、
前記処理部は、前記動き情報及び前記位置情報に基づいて前記仮想オブジェクトを変化させる請求項1から請求項6のいずれか一項に記載のデータ処理装置。
【請求項8】
前記位置情報検出部は、前記データ処理装置の加速度情報から前記位置情報を検出する請求項7に記載のデータ処理装置。
【請求項9】
前記処理部は、前記第2取得部で取得した前記動き情報のうち、特定の動き情報を取得すると、前記表示面にエフェクトオブジェクトを表示させる請求項1から請求項8のいずれか一項に記載のデータ処理装置。
【請求項10】
音響を取得する音響取得部を備え、
前記処理部は、前記音響取得部で取得した音響の中から検出した音声をテキストデータに変換し前記表示面に表示させる請求項1から請求項9のいずれか一項に記載のデータ処理装置。
【請求項11】
深度情報を取得する深度情報取得部を備え、
前記処理部は、前記動き情報及び前記深度情報に応じて前記仮想オブジェクトを変化させる請求項1から請求項10のいずれか一項に記載のデータ処理装置。
【請求項12】
前記第1取得部で取得した前記画像情報に基づく画像のデータと、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトのデータと、のうち、少なくとも一方のデータを送信する通信部を備える請求項1から請求項11のいずれか一項に記載のデータ処理装置。
【請求項13】
第1取得部から第1被写体の画像情報を取得し、
第2取得部から前記第1被写体とは異なる第2被写体の動き情報を取得し、
前記第1取得部で取得した前記画像情報に基づく画像と、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させる
データ処理方法。
【請求項14】
データ処理装置を、
第1取得部から取得した第1被写体の画像情報の画像と、第2取得部から取得した前記第1被写体とは異なる第2被写体の動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させる処理部
として機能させるプログラム。
【請求項15】
第1被写体の画像情報を取得する第1取得部と、
前記第1被写体とは異なる第2被写体の動き情報を取得する第2取得部と、
前記第1取得部で取得した前記画像情報に基づく画像と、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を端末装置に配信する処理部と、
備えるデータ処理システム。
【請求項16】
前記処理部は、前記画像情報に基づく画像と前記仮想オブジェクトとをライブ配信する請求項15に記載のデータ処理システム。
【請求項17】
前記処理部は、前記画像情報に基づく画像と前記仮想オブジェクトとを配信時刻になったとき配信する請求項15に記載のデータ処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理装置、データ処理方法、プログラム、及び、データ処理システムに関する。
【背景技術】
【0002】
実空間の画像に仮想オブジェクトを重ねた合成画像を表示する技術が知られている(特許文献1等)。従来の技術では当該合成画像が不自然に見える場合があった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015−184689号公報
【発明の概要】
【0004】
本発明の一態様によれば、第1被写体の画像情報を取得する第1取得部と、前記第1被写体とは異なる第2被写体の動き情報を取得する第2取得部と、前記第1取得部で取得した前記画像情報に基づく画像と、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させる処理部とを備えるデータ処理装置が提供される。
【0005】
本発明の他の態様によれば、第1取得部から第1被写体の画像情報を取得し、第2取得部から前記第1被写体とは異なる第2被写体の動き情報を取得し、前記第1取得部で取得した前記画像情報に基づく画像と、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を表示面に表示させるデータ処理方法が提供される。
【0006】
本発明の他の態様によれば、データ処理装置を、第1取得部から取得した第1被写体の画像情報の画像と、第2取得部から取得した前記第1被写体とは異なる第2被写体の動き情報とに基づいて変化する仮想オブジェクトと、を表示面に表示させる処理部として機能させるプログラムが提供される。プログラムは、可搬性の記録媒体やネットワークを介して拡布され、データ処理装置やサーバなどのコンピュータにインストールされる。
【0007】
本発明の他の態様によれば、第1被写体の画像情報を取得する第1取得部と、前記第1被写体とは異なる第2被写体の動き情報を取得する第2取得部と、前記第1取得部で取得した前記画像情報に基づく画像と、前記第2取得部で取得した前記動き情報に基づいて変化する仮想オブジェクトと、を端末装置に配信する処理部とを備えるデータ処理システムが提供される。
【図面の簡単な説明】
【0008】
図1】配信システムの全体構成を示す図。
図2】ユーザ端末装置のブロック図。
図3】サーバのブロック図。
図4】配信準備処理のフローチャート。
図5】ユーザが静止している場合における配信処理のフローチャート。
図6】(a)はアバターオブジェクトの向きを定義する図、(b)はアバターオブジェクトが奥を向いている状態から右方向に90度回転する場合の遷移図、(c)はアバターオブジェクトが奥を向いている状態から左方向に270度回転する場合の遷移図。
図7】ユーザが手前から奥方向に移動するときの加速度の変化を示す図。
図8】ユーザが歩いたり走ったりして移動する場合における配信処理のフローチャート。
図9】(a)は特定の動作を検出したときアバターオブジェクトに加えエフェクトオブジェクトを付加する例を示す図、(b)はエフェクトオブジェクトを付加する例を示す図。
図10】外面と内面の各々の面にデプスセンサを備えたユーザ端末装置のブロック図。
図11】(a)は360度カメラを用いる場合の模式図、(b)は、半天球カメラを2台用いる場合の模式図、(c)は、半天球カメラを1台用いる場合の模式図、(d)はアウトカメラ及びインカメラの受像素子を共用し1枚とした場合の模式図。
【発明を実施するための形態】
【0009】
以下、図1図11を参照して、本発明の一実施形態である配信システムについて説明する。
〔配信システムの概要〕
図1に示すように、配信システム1は、ユーザ端末装置10と、サーバ30と、視聴者端末装置50とを備える。なお、ユーザ端末装置10及び視聴者端末装置50の各々は、複数台であってよく、各々がサーバ30に対して接続可能である。
【0010】
ユーザ端末装置10は、複数のカメラを備えるデータ処理装置である。ユーザ端末装置10は、一例として、スマートフォン、タブレットなどである。ユーザは、ユーザ端末装置10を操作する者であり、また、ユーザ端末装置10のカメラを使用する撮像者である。また、ユーザ端末装置10を用いて画像を配信する配信者である。
【0011】
ユーザ端末装置10は、ユーザ端末装置10を持ったユーザとは反対側の外面と、ユーザ側を向く内面とを備える。ユーザ端末装置10は、外面にアウトカメラ11を備え、内面にインカメラ13を備える。アウトカメラ11は、一例として、第1方向となるユーザの視線方向における景色などを被写体(第1被写体)として撮像する。したがって、アウトカメラ11により撮像される被写体にはユーザが含まれない。
【0012】
一方、インカメラ13は、一例として、上述の第1方向とは反対方向である第2方向の被写体を撮像する。すなわち、インカメラ13は、ユーザ方向の被写体(第2被写体)を撮像する。したがって、インカメラ13により撮像される被写体にはユーザが含まれる。ユーザ端末装置10は、操作部22を備える支持部材3を取り付けることができる。ユーザ端末装置10は、支持部材3を取り付けることで、アウトカメラ11では、ユーザからより離れた位置から第1方向側の被写体の撮像を行うことができる。また、インカメラ13では、ユーザからより離れた位置から第2方向側の被写体を撮像することができる。
【0013】
なお、アウトカメラ11及びインカメラ13のうち少なくとも一方のカメラは、ユーザ端末装置10に対して有線又は無線で接続される外付けカメラであってもよい。
ユーザ端末装置10は、デプスセンサ15を備える。デプスセンサ15は、インカメラ13が配置された面である内面に配置される。デプスセンサ15は、インカメラ13の近くに配置されている。デプスセンサ15は、一例として、インカメラ13と同様に、第2方向であるユーザ方向を検出範囲とし、デプスセンサ15とユーザとの間の距離を検出する。デプスセンサ15は、一例として、ユーザの頭、顔、胴体、手、腕、脚等を検出する。デプスセンサ15は、一例として、検出範囲におけるユーザの動きを検出し、ユーザの動きに基づく動き情報を生成し出力する。デプスセンサ15は、アウトカメラ11により撮像される画像101と同時期の動き情報を生成する。すなわち、動き情報は、一例として、画像101と同期している。
【0014】
ユーザ端末装置10は、センサ17を備える。センサ17は、一例として加速度センサ、ジャイロセンサなどである。ユーザ端末装置10は、位置情報検出部としてのセンサ17によって、ユーザ端末装置10の移動方向や傾きなどを検出する。これにより、ユーザ端末装置10の位置情報を算出する。また、ユーザ端末装置10は、センサ17が検出した加速度や角度や角速度のデータを利用することによって、歩数計としても機能する。歩数計は、アプリケーションプログラムをユーザ端末装置10にインストールすることによって実現することができる。ユーザ端末装置10は、GNSS機能を備えており、現在位置を特定することができる。
【0015】
ユーザ端末装置10は、画像が表示される表示面を有する表示部19と表示面に設けられたタッチパネル20を備える。表示部19及びタッチパネル20は、ユーザ端末装置10において、インカメラ13が配置された内面に配置される。表示部19の表示面には、アウトカメラ11やインカメラ13で撮像された被写体の画像が表示される。一例として、アウトカメラ11で撮像された被写体の画像と、インカメラ13で撮像された被写体の動き情報に基づく仮想オブジェクトと、が表示される。具体的には、アウトカメラ11で撮像された被写体の画像に対してインカメラ13で検出されたユーザの動き情報に基づく仮想オブジェクトを重ねた合成画像が表示される。仮想オブジェクトは、例えばアバターオブジェクト102である。表示面において、アバターオブジェクト102の表示位置は、ユーザがインカメラ13によって撮像された位置に対応する。また、アバターオブジェクト102の表示位置は、デプスセンサ15に対するユーザの位置に対応する。また、アバターオブジェクト102の表示位置は、表示面の所定位置をタッチすることによってタッチパネル20で指定された位置であり、表示面において、アバターオブジェクト102は、指定された位置に表示される。
【0016】
アバターオブジェクト102は、ユーザ端末装置10を操作しているユーザの化身である。アバターオブジェクト102は、一例として、著名人、有名人、一般人等の人物を模した人物オブジェクト、動物の形を模した動物オブジェクト、アニメーションに登場するキャラクタオブジェクト、ユーザが自ら作成したオリジナルオブジェクトなどである。
【0017】
アバターオブジェクト102は、デプスセンサ15で検出したユーザの動き情報に従って変化する。また、アバターオブジェクト102は、センサ17での検出結果に従って変化する。一例として、デプスセンサ15が検出しているユーザが手を動かしたときは、デプスセンサ15が検出した被写体の手の動き情報に従ってアバターオブジェクト102も同じように動く。一例として、ユーザが歩いているときは、センサ17の検出結果に従ってアバターオブジェクト102も歩いているように動き、ユーザが走っているときには、アバターオブジェクト102も走っているように動く。すなわち、ユーザが歩いたり走ったりして場所を移動しているときは、デプスセンサ15で検出したユーザの動き情報に加えて、センサ17やGNSSに従って、移動方向や移動速度を検出し、アバターオブジェクト102が歩いたり走ったりしているように動く。
【0018】
ユーザ端末装置10は、サーバ30との間で通信を行う通信機能を備えた通信機器である。ユーザは、アウトカメラ11により撮像された現在いる場所、例えば観光地、名所、旧跡、風景などの画像101に対して仮想オブジェクトとしてアバターオブジェクト102を重ねた合成画像の合成データ100を配信することができる。ユーザ端末装置10が生成した合成データ100は、サーバ30に送信され視聴者端末装置50に対して配信される配信用データである。ユーザ端末装置10がこのような合成データ100をサーバ30に送信することで、サーバ30は、合成データ100をライブ配信する。視聴者端末装置50では、サーバ30で配信されている合成データ100をリアルタイムに受信し視聴することができる。また、サーバ30は、番組表を有しており、指定された時間帯に配信することもできる。
【0019】
視聴者端末装置50は、スマートフォン、タブレットなどのデータ処理装置である。視聴者端末装置50は、少なくとも、サーバ30との間で通信可能な通信機能と、画像が表示される表示面を有する表示部を備える。視聴者端末装置50は、サーバ30が合成データ100をライブ配信しているときは合成データ100の合成画像が表示面に表示され、リアルタイムに視聴することができる。また、視聴者端末装置50は、サーバ30にアクセスして、番組表を確認することによって、配信時刻に所定の合成データ100の画像を視聴することができる。また、視聴者端末装置50は、一例として、ライブ配信のときには、サーバ30を通じてリクエストコメントをユーザ端末装置10に送信することができる。これにより、ユーザと視聴者は会話することができる。一例として、ユーザは、視聴者からのリクエストコメントに従って撮像を行うことができる。
【0020】
〔ユーザ端末装置10〕
図2に示すように、ユーザ端末装置10は、アウトカメラ11と、アウトカメラインタフェース(以下、「インタフェース」を単に「IF」という。)12と、インカメラ13と、インカメラIF14と、デプスセンサ15と、デプスセンサIF16と、センサ17と、センサIF18とを備える。また、ユーザ端末装置10は、表示部19と、タッチパネル20と、通信IF21とを備える。通信IF21には支持部材3の操作部22が接続される。更に、ユーザ端末装置10は、GNSS受信部23と、オーディオ入力機器24と、オーディオ出力機器25と、オーディオIF26とを備える。更に、ユーザ端末装置10は、ネットワークIF27と、記憶部28と、処理部29とを備える。
【0021】
アウトカメラ11及びインカメラ13は、CCDセンサ、CMOSセンサなどの撮像素子を備える。アウトカメラ11は、ユーザ端末装置10を持ったユーザとは反対側の外面に配置されている。インカメラ13は、ユーザ端末装置10を持ったユーザ側の内面に配置されている。内面は、表示部19が配置されており、インカメラ13は、表示部19の周囲に配置されている。
【0022】
第1検出部としてのアウトカメラ11は、第1取得部としてのアウトカメラIF12に接続され、アウトカメラIF12に対して撮像データを出力する。アウトカメラIF12は、アウトカメラ11で撮像された被写体の撮像データを処理部29に出力する。インカメラ13は、インカメラIF14に接続され、インカメラIF14に対して撮像データを出力する。インカメラIF14は、インカメラ13で撮像された被写体の撮像データを処理部29に出力する。
【0023】
アウトカメラ11は、第1方向となるユーザの視線方向の景色などの被写体を撮像する。アウトカメラ11では、ユーザを含まない被写体が撮像されることになる。インカメラ13は、ユーザの視線方向とは反対方向であって第1方向とは異なる第2方向であるユーザ方向を撮像し、自撮りを可能とする。インカメラ13が撮像する被写体には、ユーザは含まれるが、アウトカメラ11が撮像した被写体には、ユーザは含まれない。
【0024】
アウトカメラ11は、第1解像度を有し、インカメラ13は、第2解像度を有している。アウトカメラ11及びインカメラ13は、同じ解像度でもよいし、何れか一方のカメラが他方のカメラに対して高解像度であってもよい。一例として、景色などを被写体として撮像することの多いアウトカメラ11の方がユーザを被写体として撮像することの多いインカメラ13よりも高解像度である。
【0025】
アウトカメラ11は、第1画角を有し、インカメラ13は、第2画角を有している。アウトカメラ11及びインカメラ13は、同じ画角であってもよいし、何れか一方のカメラが他方のカメラに対して広角であってもよい。
【0026】
アウトカメラ11及びインカメラ13は、ズームレンズを備え、ズームレンズを光軸方向に変化させることによって焦点距離を変化させ、撮像画像を拡大又は縮小することができる。また、アウトカメラ11及びインカメラ13は、デジタルズーム機能を備えていてもよい。
【0027】
アウトカメラ11は、ユーザ視線方向の景色などを被写体として撮像する撮像部である。アウトカメラ11は、複数配置されていてもよい。一例として、アウトカメラ11が2つ配置されているときには視差を有する立体表示用の2つの画像(右目用画像と左目用画像)を生成することができる。インカメラ13も、複数配置されていてもよい。このような場合には、インカメラ13を使用する場合も、視差を有する立体表示用の2つの画像を生成することができる。
【0028】
デプスセンサ15は、検出部であって、インカメラ13の近くに配置される。デプスセンサ15の検出範囲は、インカメラ13の撮像範囲とほぼ同じである。なお、デプスセンサ15の検出範囲は、インカメラ13の撮像範囲よりも広くても狭くてもよい。
【0029】
デプスセンサ15は、一例として、赤外線カメラである。赤外線カメラは、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備える。デプスセンサ15は、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における三次元位置情報等の深度情報を取得する。デプスセンサ15は、デプスセンサ15から被写体までの距離である深度情報等を取得するものであり、一例として、デプスセンサ15とユーザの各所(頭部、上半身、腕、手、下半身、足等)との距離である深度情報等を取得する。そして、デプスセンサ15は、各所の深度情報の変化に従った動き情報を生成する。デプスセンサ15は、第2取得部としてのデプスセンサIF16に接続され、デプスセンサIF16に対して動き情報を出力する。デプスセンサIF16は、デプスセンサ15で撮像した被写体の動き情報を処理部29に出力する。デプスセンサ15は、ユーザがモーションセンサを体の各所に取り付けるまでもなく、ユーザの各所の深度情報を取得することができる。
【0030】
具体的には、デプスセンサ15は、一例として、ユーザの人物領域を抽出し、人物領域と非人物領域とに区分する。一例として、赤外線量により領域抽出を行い、その上で人体として認識できる形状のものを人物領域と判定する。デプスセンサ15は、一例として、ユーザの各々の25カ所の骨格位置を骨格データとして取得し、更に、各骨格位置の深度情報を算出している。骨格位置としては、一例として左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等の骨格位置が含まれている。なお、取得する骨格位置の数は、好ましくは25カ所であるが、これに限定されるものではない。また、人物領域がデプスセンサ15の検出範囲から外れる場合、骨格位置の数は、25カ所より少なくなる。また、骨格位置の数を25カ所より多くした場合は、動きをより正確に再現可能となる。
【0031】
ここで、深度情報は、一例としてデプスセンサ15の前方の対物レンズ又はセンサ面からユーザの骨格位置までの距離である。骨格位置は、人物領域における各所の深度情報を取得し、深度と形状の特徴量に基づいて、人物領域に写る人物の実空間上の部位(左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等)を特定し、各部位における中心位置に設定される。また、骨格位置は、記憶部に記憶された特徴量辞書を用いて、人物領域から決定される特徴量を、当該特徴量辞書に登録されている各部位の特徴量と照合することにより、人物領域における各部位を特定する。また、デプスセンサ15は、人物の凹凸(掌の形状、衣服の皺等の凹凸、髪型の凹凸等)を検出する。これにより、デプスセンサ15は、各所を追跡可能となり、各所の深度情報の変化に従った動き情報を生成する(骨格及び各骨格の動き=動き情報)。以上のようなモーションキャプチャ処理は、ユーザに対してマーカを付けることなく行うものであり、手軽に動き情報を取得することができる。
【0032】
なお、深度情報を算出するにあたっては、投光した赤外線パターンを読み取り、パターンのゆがみから深度情報を得る方式であってもよい(Light Coding方式)。更にまた、深度情報は、二眼カメラまたは複数のカメラによる視差情報から算出するようにしてもよい。更に、深度情報は、インカメラ13で取得した映像を画像認識し、画像解析することで算出することもできる。この場合、インカメラ13が検出部として機能し、インカメラIF14が第2取得部として機能することからデプスセンサ15やデプスセンサIF16は不要となる。インカメラ13により撮像された被写体の画像から骨格位置を検出する場合は、ディープラーニングを利用したAIを利用することによって骨格位置を検出することができる。モーションキャプチャ処理におけるユーザのモーション(骨格及び各骨格の動き=動作)の検出認識処理についても、インカメラ13により撮像された被写体の画像をディープラーニング等による学習結果に基づく認識処理にかけることで実施することもできる。
【0033】
センサ17は、一例として加速度センサやジャイロセンサであり、加速度検出部である。また、センサ17は、歩数計プログラムと連動して歩数検出部として機能する。センサ17は、種々のセンサ素子からの出力に従ってユーザ端末装置10の加速度データや角度データや角速度データ等の検出データを生成する。センサ17は、センサIF18に接続され、センサIF18に対して検出データを出力する。センサIF18は、センサ17で検出した検出データを処理部29に出力する。ユーザ端末装置10はユーザに所持されて使用される。したがって、センサ17は、ユーザが歩いたり走ったりする移動に伴うユーザ端末装置10の移動情報となる検出データを算出して処理部29に出力する。また、ユーザが静止しているときであっても、ユーザ端末装置10の加速度データや角度データや角速度データ等を検出し、ユーザ端末装置10の姿勢情報(ユーザ端末装置10の上向き状態か、下向きの状態か、右向きの状態が、左向きの状態か、上下、前後及び左右に移動したか等の情報)となる検出データを生成し処理部29に出力する。
【0034】
表示部19は、ユーザ端末装置10を持ったユーザ側に位置するユーザ端末装置10の内面に配置されている。表示部19は、内面の大部分に配置されている。表示部19は、一例として、液晶表示パネルや有機ELパネルなどのフラット表示パネルである。表示部19は、表示面を備える。表示面は、表示面における位置を入力する位置入力部としてのタッチパネル20が配置されている。タッチパネル20において、入力位置は、ユーザの指によって指定されてもよいし、スタイラスペンで指定されてもよい。タッチパネル20は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等のものが用いられる。また、静電容量方式は、表面型であってもよいし、投影型であってもよい。投影型では、マルチタッチによるマルチ入力が可能であり、一例として、アバターオブジェクト102の大きさを2本の指(例えば親指と人差し指)を開いたり閉じたりして調整することができる。
【0035】
表示面には、アウトカメラ11やインカメラ13で撮像された被写体の画像や映像が表示される。また、アウトカメラで撮像した被写体の画像101の上にアバターオブジェクト102が重ねて表示される。アバターオブジェクト102が表示される位置は、タッチパネル20によって指定することができる。そして、アバターオブジェクト102は、デプスセンサ15が検出したユーザの動き情報などに従って表示面を移動する。
【0036】
通信IF21は、他の機器と通信する有線又は無線の通信部であって、一例として、USBIF、ブルートゥース(登録商標)である。ユーザ端末装置10は、支持部材3を装着可能である。支持部材3には、操作部22が設けられている。操作部22は、通信IF21を介してユーザ端末装置10と接続され、操作入力可能となる。操作部22は、一例として、複数の押しボタン、スライドスイッチ、回転スイッチ、十字キー、ジョイスティック、トラックボールなどで構成されている。操作部22からは、一例として、アウトカメラ11及び/又はインカメラ13を使用して被写体の撮像を行っているとき、記録開始、記録停止、一時停止、再生開始、再生停止、配信開始、配信停止、ズームなどの操作を行うことができる。
【0037】
なお、通信IF21には、他の外部機器が接続することもできる。例えば、アウトカメラ11やインカメラ13やデプスセンサ15の代わりとなるカメラが接続される。この場合、通信IF21は、画像101を取得する第1取得部や動き情報を取得する第2取得部などの取得部として機能することになる。
【0038】
GNSS受信部23は、ユーザ端末装置10の位置を、GNSS(全地球測位システム(Global Navigation Satellite System))の信号を受信することによって現在位置を検出する。GNSSの一例としては、GPS(Global Positioning System)である。このような測位システムによれば、ユーザ端末装置10の現在位置を特定することができるし、移動履歴を把握することができる。更に、ユーザが移動しているときにはどの程度の速度で移動しているかを算出することができる。
【0039】
オーディオ入力機器24は、マイクロフォンなどの音響電気変換素子であって、音響取得部としてのオーディオIF26と接続されている。オーディオ入力機器24は、ユーザ端末装置10に内蔵された機器であってもよいし、外付けの機器であってもよい。外付けの機器である場合は、有線又は無線でオーディオIF26と接続される。オーディオ入力機器24は、アウトカメラ11及び/又はインカメラ13を使用して被写体の撮像を行っているとき、同時にその撮像場所での音響を集音する。
【0040】
オーディオ出力機器25は、スピーカ、イヤホン、ヘッドフォン等の電気音響変換機器であって、オーディオIF26と接続されている。オーディオ出力機器25の中でもスピーカは、ユーザ端末装置10に内蔵された機器であってもよいし、外付けの機器であってもよい。外付けの機器である場合は、有線又は無線でオーディオIF26と接続される。オーディオ出力機器25は、再生する映像に同期して音響信号を放音する。また、撮像中にユーザが発した音声を元にした音響信号や周囲の環境音を放音する。
【0041】
ネットワークIF27は、ワイドエリアネットワークやローカルエリアネットワーク等のネットワーク2を介してサーバ30と通信する通信部である。ネットワークIF27は、IEEE802.11規格を使用した無線LAN(Wi−Fi)、3G、4G/LTE、5G等の移動体通信網介してサーバ30と通信する。ユーザ端末装置10では、サーバ30に対して合成データ100を送信し、サーバ30を通じてライブ又は所定時刻に配信することができる。
【0042】
記憶部28は、不揮発性メモリなどの記憶媒体であり、一例として、ハードディスクやフラッシュメモリである。また、記憶部28は、ユーザ端末装置10に内蔵された記憶媒体の他に、ユーザ端末装置10に対して着脱可能なリムーバル記憶媒体によっても構成されていてもよい。処理部29は、CPU、RAM、ROM等で構成されており、プログラムに従ってユーザ端末装置10の全体の動作を制御する。
【0043】
記憶部28は、アウトカメラ11で被写体を撮像している画像を配信する配信プログラム28aがインストールされている。また、記憶部28には、アウトカメラ11やインカメラ13で撮像した被写体の画像や映像が保存される。更に、記憶部28には、画像101に対して重畳するアバターオブジェクト102の三次元データが配信プログラム28aに関連付いて保存されている。アバターオブジェクト102は、デプスセンサ15が検出する骨格位置に対応する節点が設定されている。
【0044】
配信プログラム28aは、アウトカメラ11の画像101と同時期にデプスセンサ15でユーザの動き情報やセンサ17の検出データやGNSSの位置情報や画像101の撮像現場における音響を取得する機能を備える。また、配信プログラム28aは、アウトカメラ11で撮像している画像101に対してアバターオブジェクト102を重ねアバターオブジェクト102をユーザの動き情報などの情報やデータによって変化させる合成データ100を生成する機能を備える。更に、配信プログラム28aは、合成データ100を表示部19の表示面に表示させながら、合成データ100をサーバ30に送信する機能を備える。更に、配信プログラム28aは、視聴者端末装置50において、合成データ100を視聴する機能を備える。処理部29は、配信プログラム28aの機能を、ユーザの操作に従って実行する。
【0045】
なお、ユーザ端末装置10にインストールされている配信プログラム28aは、配信のための機能部分が使用され、視聴者端末装置50にインストールされている配信プログラム28aは、視聴する機能部分やユーザ端末装置10に対してコメントを送信する機能部分が利用される。
【0046】
更に、記憶部28には、歩数計プログラム28bがインストールされている。歩数計プログラム28bは、少なくとも加速度に関し、静止しているのか歩いているのかを判定する第1閾値、歩いているか走っているかを判定する第2閾値などの閾値を有している。歩数計プログラム28bでは、第1閾値を用いて、歩いているか静止しているかを判定し、第2閾値を用いて歩いているか走っているかを判定することができる。処理部29は、歩数計プログラム28bが起動されると、センサ17で検出した加速度や角度や角速度によって上下及び前後の動きを検知し、その結果に基づいて歩数をカウントする。なお、歩数計がユーザ端末装置10に対して外付けされるものであってもよい。また、角度や角速度についても第1閾値や第2閾値を有していてもよい。
【0047】
一例として、配信プログラム28a及び歩数計プログラム28bは連動している。例えば、歩数計プログラム28bは、配信プログラム28aのバックグラウンドで動作する。配信プログラム28a及び歩数計プログラム28bは、連動させることで、ユーザの移動とユーザ端末装置10の移動とを分離して検出することができる。一例として、ユーザ端末装置10を持ったユーザが静止した状態でユーザ端末装置10を前後左右に移動させているときは、センサ17が加速度などを検出していても、歩数計プログラム28bで歩数をカウントしない。これに対して、ユーザ端末装置10を持ったユーザが歩いたり走ったりして移動しているときは、センサ17が加速度などを検出し、歩数計プログラム28bが第1閾値を超えるとき歩数をカウントする。処理部29は、配信プログラム28aに従って、アウトカメラ11で撮像している画像101に対してユーザの動き情報にあわせて変化するアバターオブジェクト102を重ね合成データ100を生成する処理を行う。この際、処理部29は、歩数計プログラム28bに従ってユーザが歩いたり走ったりしていることを検出しているとき、アバターオブジェクト102も歩いたり走ったりしているように変化する合成データ100を生成する。
【0048】
更に、記憶部28には、音声認識プログラム28cがインストールされている。音声認識プログラム28cは、オーディオ入力機器24が集音したユーザの音声データから音声認識処理を行ってテキストデータを生成する。一例として、音声認識プログラム28cは、音声波形から音素を特定し、音素の並びを予め登録した辞書とマッチングし、単語に変換し、変換された文のテキストデータを生成する。一例として、音声認識プログラム28cも配信プログラム28aと連動している。処理部29は、配信プログラム28aに従って、アウトカメラ11で撮像している画像101に対してアバターオブジェクト102を重ね合成データ100を生成する処理を行っているとき、並行して、音声認識処理を行ってテキストデータを生成しエフェクトオブジェクトを画像101に付加する処理行う。
【0049】
〔視聴者端末装置50〕
視聴者端末装置50は、ユーザ端末装置10とほぼ同様な構成を有したデータ処理装置である。なお、以下、視聴者端末装置50の各部の構成は、ユーザ端末装置10と同じ符号を付して詳細は省略する。視聴者端末装置50は、ユーザ端末装置10がサーバ30を通じて配信した、ユーザがアウトカメラ11で撮像している画像101に対してユーザの動き情報にあわせて変化するアバターオブジェクト102を重ねた合成データ100を視聴する端末である。なお、この合成データ100は、視聴者端末装置50が生成してもよいし、次に説明するサーバ30が生成してもよい。したがって、視聴者端末装置50は、少なくとも、通信機器としての機能と、表示装置としての機能を備えていればよい。また、視聴者端末装置50は、ユーザ端末装置10とほぼ同様な構成を有していれば、ユーザ端末装置10としても使用することもできる。
【0050】
〔サーバ30〕
サーバ30は、クライアントとなるユーザ端末装置10及び視聴者端末装置50からの要求に対して情報や処理結果を提供する。
【0051】
図3に示すように、サーバ30は、配信システム1を管理する装置であり、配信管理データベース31と、記憶部32と、ネットワークIF33と、制御部34とを備える。
配信管理データベース31は、ユーザ端末装置10の所有者であるユーザ、すなわち配信者を一意に特定する配信者アカウントに関連付けて、配信するコンテンツを一意に特定するコンテンツIDと、配信時刻と、視聴者に対する配信先を一意に特定する視聴者アカウントとを管理している。配信者アカウントは、一例として、配信者ID、配信者パスワード等である。視聴者アカウントは、一例として、視聴者ID、視聴者パスワード等である。
【0052】
例えば、配信者アカウント「AAA」は、コンテンツID「A123」をユーザ端末装置10を通じてライブ配信していることが管理されている。また、コンテンツID「A123」は、視聴者端末ID「XXX」、「YYY」、「ZZZ」が視聴していることが管理されている。また、配信者アカウント「BBB」は、コンテンツID「B456」を2018年12月25日17:00〜18:00まで配信することが管理されている。この場合、配信対象となるコンテンツID「B456」は、事前に、ユーザ端末装置10からアップロードされ、記憶部32に保存されている。また、再生配信時間帯においては、コンテンツID「B456」を視聴者アカウント「XYZ」、「PPP」、「QQQ」が視聴者端末装置50を通じて視聴していることが管理されている。このように、配信時において、視聴者アカウントを関連付けることで、例えば、視聴者端末装置50から送信されたコメントをユーザ端末装置10に対して送信することも可能となる。
【0053】
記憶部32は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリであり、配信管理プログラム32aや上述の配信管理データベース31などを格納している。ネットワークIF33は、ネットワーク2を介してユーザ端末装置10及び視聴者端末装置50と通信を行うためのIFである。制御部34は、CPU、RAM、ROM等で構成されており、プログラムに従ってユーザ端末装置10の全体の動作を制御する。
【0054】
制御部34は、ネットワークIF33でユーザ端末装置10から配信要求を受信したとき、ユーザ端末装置10から送信された合成データ100の配信制御を行う配信部である。例えば、制御部34は、ライブ配信要求を受信したとき、ユーザ端末装置10から順次送信されてくる合成データ100を所定のチャンネルで配信可能な状態とする。また、制御部34は、所定の時刻及び時間帯に配信する配信要求を受信したとき、番組表にチャンネルと配信の時間帯を登録し、登録した所定の時刻及び時間帯になると配信可能な状態とする。制御部34は、視聴者端末装置50から視聴要求を受信すると、受信した視聴要求に応じたコンテンツIDの合成データ100を視聴者端末装置50で視聴可能とする。視聴者端末装置50では、ストリーミング再生される。勿論、視聴者端末装置50は、合成データ100をダウンロードし、記憶部28に保存するようにしてもよい。
【0055】
以下、配信システムの作用について説明する。
〔配信準備処理〕
ユーザは、現在いる場所、例えば観光地、名所、旧跡、風景などを撮像しながら、当該場所での画像101をサーバ30を介して配信する準備を行う。先ず、ユーザは、ユーザ端末装置10に、支持部材3を接続し、よりユーザ自身から離れた位置から第1方向や第2方向の撮像を行うことができるようにする。なお、支持部材3は接続しなくてもよい。
【0056】
ユーザは、自らが所持するユーザ端末装置10を操作して配信プログラム28aを起動する。これに連動して、ユーザ端末装置10の処理部29は、デプスセンサ15を起動する。デプスセンサ15は、ユーザの骨格位置を特定することで人物領域における各部位を特定する。そして、デプスセンサ15は、デプスセンサ15とユーザの各所(頭部、上半身、腕、手、下半身、足等)との距離を示す深度情報等を取得し、各所を追跡可能な状態となり、各所の深度情報の変化に従った動き情報を生成する。
【0057】
図4に示すように、ステップS1において、処理部29は、デプスセンサ15からユーザの動き情報をデプスセンサIF16を通じて取得する。すなわち、処理部29は、ユーザをデプスセンサ15で検出し、ユーザを認識して、ユーザの動きを追跡できる状態となる。あわせて、処理部29は、インカメラ13も起動しデプスセンサ15が検出しているユーザの画像や動画を取得するようにしてもよい。
【0058】
また、ユーザの身体の動きだけでなく、表情すなわち目や口の形状変化を検出してもよい。その検出結果は、アバタの表情に反映させることができる。さらに、ユーザの動きや表情は、デプスセンサ15だけでなくインカメラ13からの映像を使って検出してもよいし、両センサからの情報を併用して検出してもよい。
【0059】
ステップS2において、処理部29は、動き情報をデプスセンサIF16を通じて取得できたかどうかの判断を繰り返し、動き情報を取得できたとき、ステップS4に進む。また、ステップS3において、処理部29は、アウトカメラ11を起動し、ユーザの視線方向となる第1方向の画像101をアウトカメラIF12を通じて取得する。この画像101は、アバターオブジェクト102の背景映像となり、一例として、ユーザがアバターオブジェクト102を介して視聴者に紹介したい画像である。これにより、処理部29は、同時期のデプスセンサ15からの動き情報とアウトカメラ11からの画像101とを取得することができ、これらを関連付けることができる。
【0060】
なお、処理部29は、アウトカメラ11が撮像している画像101を表示部19に表示しながら、画像101に、同時期にインカメラ13で撮像しデプスセンサ15で検出しているユーザのユーザ画像オブジェクトを重ねて表示する合成データを生成し、表示部19の表示面に表示するようにしてもよい。この場合、処理部29は、一例として、デプスセンサ15からの検出結果に従ってインカメラ13で撮像している画像の中からユーザ画像オブジェクトを抽出する。そして、画像101に対してユーザ画像オブジェクトが表示されるようにする。表示面においてユーザ画像オブジェクトを表示する位置は、配信プログラム28aによって、画像101または表示部19の表示面上に予め決められた初期位置である。アバターオブジェクト102は、ユーザの化身となる仮想オブジェクトであり、ユーザは、表示面のどの位置にアバターオブジェクト102が表示されるかをユーザ画像オブジェクトを通じて予測することができる。
【0061】
なお、正式にアバターオブジェクト102が決定するまでは、ユーザ画像オブジェクトではなく仮のアバターオブジェクトを初期位置に表示してもよい。また、このようなユーザ画像オブジェクト又は仮のアバターオブジェクトを画像101に表示する処理は省略してもよい。
【0062】
処理部29は、表示部19の表示面にアバターオブジェクト102の選択画面を表示する。一例として、配信プログラム28aに関連づいて記憶部28に保存されている複数のアバターオブジェクト102を一覧表示する。表示面に全てのアバターオブジェクトを一度に一覧表示できない場合は、上下または左右に一覧表示をスクロールし、選択候補となる全てのアバターオブジェクトをユーザが確認できるようにする。ユーザは、指やスタイラスペンを使って所望のアバターオブジェクトをタッチする。ステップS4において、処理部29は、一覧表示されている複数のアバターオブジェクトの中でタッチした位置にあるアバターオブジェクトを選択し、選択されたアバターオブジェクトを特定し、使用するアバターオブジェクト102を決定する。なお、更に候補となるアバターオブジェクトをサーバ30からダウンロードするようにしてもよい。
【0063】
ステップS5において、処理部29は、所定期間内にアバターオブジェクト102を表示する表示位置が指定されたかを判断する。具体的には、処理部29は、所定期間内において、ユーザが指やスタイラスペン等を使用して表示部19の表示面の所定位置がタッチされかを判定する。そして、処理部29は、タッチされたとき、タッチされた位置を、アバターオブジェクト102を表示する位置に指定する。また、タッチされなかったとき、ステップS5−1において、配信プログラム28aによって画像101または表示部19の表示面上に予め決められた初期位置をアバターオブジェクト102を表示する位置とする。
【0064】
ステップS6において、処理部29は、表示面に背景となる画像101を表示するとともに、表示面における所定表示位置にアバターオブジェクト102が表示されるように画像101にアバターオブジェクト102を重ねた合成データ100を生成し、表示部19の表示面に合成画像を表示する。具体的には、インカメラ13で撮像しているユーザのユーザ画像オブジェクトが画像101上に表示されている場合、処理部29は、ユーザ画像オブジェクト又は仮のアバターオブジェクトが表示されている位置に、ユーザ画像オブジェクト又は仮のアバターオブジェクトに代わってアバターオブジェクト102を重ねて合成データ100を生成する。そして、処理部29は、合成データ100に基づく合成画像を表示部19の表示面に表示する。
【0065】
このように、画像101には、インカメラ13が撮像したユーザオブジェクトに対してアバターオブジェクト102が重ねられるわけではない。したがって、ユーザオブジェクトに対してアバターオブジェクト102がはみ出して表示されることを防ぐことができる。一例として、ユーザ画像オブジェクトまたは仮のアバターオブジェクトよりも小さなアバターオブジェクト102を表示することもできる。
【0066】
ところで、アバターオブジェクト102は、画像101が表示されている表示面内において所定領域を占有するオブジェクトである。したがって、一例として、処理部29は、アバターオブジェクト102の表示位置として一点が指定された場合、指定された位置がアバターオブジェクト102の中心となるように表示面に表示する。また、一例として、アバターオブジェクト102の表示位置を指やスタイラスペン等を使用して領域を有するように指定した場合、処理部29は、当該領域の中心を算出し、当該中心とアバターオブジェクト102の中心とが一致するように表示部19の表示面に表示する。
【0067】
アバターオブジェクト102の表示部分は、一例として、デプスセンサ15のユーザの検出している範囲に対応する。すなわち、デプスセンサ15がユーザの上半身しか検出していないときには、アバターオブジェクト102の表示される範囲も上半身となる。また、デプスセンサ15がユーザの全身を検出しているときには、アバターオブジェクト102の表示される範囲も全身となる。また、アバターオブジェクト102の表示部分は、一例として、デプスセンサ15のユーザの検出している範囲に対応していなくてもよい。この場合、デプスセンサ15がユーザの上半身しか検出していなくても、アバターオブジェクト102は全身(頭からつま先まで)を表示する。又は、デプスセンサ15がユーザの全身を検出していても、アバターオブジェクト102は上半身を表示する。更に、デプスセンサ15が検出していない部分は、静止状態であってもよいが、センサ17の検出結果に従って変化させることも可能である。又は、デプスセンサ15が検出している部分の動きを利用して、検出していない部分の動きを推測して変化させることもできる。
【0068】
ところで、表示部19の表示面に表示される画像101の中でアバターオブジェクト102の大きさが大き過ぎる又は小さ過ぎる場合がある。また、ユーザが自分の好みでアバターオブジェクト102の大きさを調整したい場合がある。このような場合に対応するため、ステップS7において、処理部29は、表示面に大きさ決定ボタンを表示する。そして、処理部29は、大きさ決定ボタンがタッチされたかを判断し、決定ボタンがタッチされるまでの間、ステップS8において、ユーザによるアバターオブジェクト102の大きさの調整処理を実行する。
【0069】
一例として、支持部材3を使っている場合、ユーザとユーザ端末装置10のデプスセンサ15との距離を変化させることで、表示面に表示される画像101の中でのアバターオブジェクト102の大きさを変化させることができる。具体的には、支持部材3を使って、ユーザとユーザ端末装置10のデプスセンサ15とを離すことで、表示面に表示される画像101の中でアバターオブジェクト102を小さくすることができる。また、ユーザとユーザ端末装置10のデプスセンサ15とを近づけることで、表示面に表示される画像101の中でアバターオブジェクト102を大きくすることができる。また、インカメラ13のズーム機能を使ってアバターオブジェクト102の大きさを変化させることができる。例えば、インカメラ13において、焦点距離を広角方向に変化させたときにはアバターオブジェクト102は縮小され、望遠方向に変化させたときにはアバターオブジェクト102は拡大される。
【0070】
また、タッチパネル20が静電容量方式であって投影型である場合、マルチタッチが可能であり、2本の指を開いたり閉じたりしてアバターオブジェクト102の大きさを調整することができる。例えば、2本の指を開いたときには、2本の指の開き量に応じてアバターオブジェクト102を大きくすることができ、また、2本の指を閉じたときには、2本の指の閉じ量に応じてアバターオブジェクト102を小さくすることができる。
【0071】
処理部29は、ステップS7において、大きさ決定ボタンがタッチされると、ステップS9に進む。なお、支持部材3を使って、ユーザとユーザ端末装置10のデプスセンサ15との距離を変化させる場合は、支持部材3の操作部22で大きさ決定ボタンをタッチした場合と同じ決定処理を行うこともできる。これにより、アバターオブジェクト102は、決定処理されたときのアバターオブジェクト102の大きさで画像101に対して重ねられる。
【0072】
アバターオブジェクト102の大きさ調整の次に、アバターオブジェクト102の向きが設定される。ユーザは、顔がユーザ端末装置10のデプスセンサ15と対峙した状態にあり、デプスセンサ15とは向き合っている。したがって、アバターオブジェクト102も、顔が手前を向いた状態、すなわち顔が写った状態にある。一方で、ユーザが前進している場合、アバターオブジェクト102はユーザの化身であることからして、ユーザと同方向を向いて歩いている状態、すなわちアバターオブジェクト102の後頭部及び背中が表示された後ろ姿の状態になることも好ましい。更に、背景の画像101に写っている名所、旧跡等をユーザに代わってアバターオブジェクト102が口頭で紹介しているとき等は、アバターオブジェクト102も、顔が手前を向いた状態、すなわち顔が写った状態が好ましい。また、撮像状況に応じては、ユーザの向きにかかわらず、アバターオブジェクト102が横を向いている方が好ましい場合もある。
【0073】
そこで、処理部29は、表示面に向き決定ボタンを表示する。そして、ステップS9において、処理部29は、向き決定ボタンがタッチされたかを判断し、向き決定ボタンがタッチされるまでの間、ステップS10において、ユーザによるアバターオブジェクト102の向きの調整処理を実行する。
【0074】
一例として、支持部材3を使っている場合、支持部材3の操作部22でアバターオブジェクト102の向きを変化させることができる。例えば、操作部22の十字キー、ジョイスティック、トラックボールなどを使用して、アバターオブジェクト102を向かせたい方向に操作することでアバターオブジェクト102の向きを容易に変えることができる。また、タッチパネル20を用いてアバターオブジェクト102の向きを変えることができる。一例として、タッチパネル20が静電容量方式であって投影型である場合、ユーザが指をアバターオブジェクト102を向かせたい方向になぞることでアバターオブジェクト102の向きを容易に変えることができる。そして、ここで設定したアバターオブジェクト102の大きさと向きが配信開始時に基準となる。すなわち、配信時は、この設定されたアバターオブジェクト102の表示状態に対して動き情報などに応じて変化することになる。
【0075】
処理部29は、ステップS9において、向き決定ボタンがタッチされると、ステップS11に進む。なお、支持部材3の操作部22で向き決定ボタンをタッチした場合と同じ決定処理を行うこともできる。
【0076】
ステップS11において、処理部29は、表示面に配信開始ボタンを表示する。そして、配信開始ボタンがタッチされると、配信が開始されることになる。なお、支持部材3の操作部22で配信開始ボタンをタッチした場合と同じ決定処理を行うこともできる。
【0077】
処理部29は、配信者アカウント及びコンテンツIDに関連付けて、ライブ配信をするか、配信日時及び時間帯を指定し配信する場合配信日及び配信時間帯をネットワークIF27を通じてサーバ30に送信し、これを、サーバ30の制御部34は、配信管理データベース31に登録する。
【0078】
配信開始処理がされると、処理部29は、アバターオブジェクト102が重ねられた画像101の合成データ100を生成し、表示部19に表示させながら、合成データ100をサーバ30に送信する。そして、サーバ30の制御部34は、割り当てたチャンネル(例えばURL)でネットワークIF33を通じてユーザ端末装置10から送信された合成データ100の配信を開始する。
【0079】
〔配信処理例1〕
配信処理例1は、ユーザが前進又は後進もせず停止している場合である。図5に示すように、処理部29は、ステップS21において、デプスセンサ15からユーザの動き情報を取得する。ステップS22において、処理部29は、動き情報に応じてアバターオブジェクト102が変化する映像と音響を含む合成データ100を生成し、サーバ30に送信する。
【0080】
デプスセンサ15では、ユーザが話をしているときには、一例として、目や唇の動きを検出し、手を動かせば手の動きを検出する。また、ユーザが横を向けば横を向く動きを検出する。処理部29は、デプスセンサ15からのユーザの動き情報に応じて、アバターオブジェクト102を変化させる。すなわち、ユーザが話しているときには、ユーザと同じようにアバターオブジェクト102の唇を変化させ、ユーザが手を動かしたときには、ユーザの手の動きと同じようにアバターオブジェクト102の手を変化させる。更に、ユーザが横を向いたときには、アバターオブジェクト102を横に向かせる。なお、ユーザの動きは、デプスセンサ15からだけではなく、インカメラ13からの画像から取得するようにしてもよい。
【0081】
処理部29は、サーバ30に送信している合成データ100を表示部19の表示面にも表示している。したがって、ユーザは、自分に代わってアバターオブジェクト102がどのように表示されているのかを確認しながら配信のために撮像することができる(図1参照)。
【0082】
視聴者端末装置50は、サーバ30の所定チャンネルにアクセスすることによって配信中の合成データ100に基づく合成画像を視聴することができる。合成データ100は、ユーザの唇の動き情報に合わせてアバターオブジェクト102の唇も動いているデータである。したがって、視聴者は、恰もアバターオブジェクト102が話しているように見えることになる。
【0083】
図6(a)に示すように、アバターオブジェクト102のデータは三次元データである。したがって、アバターオブジェクト102は、顔が奥を向いているとき後頭部が表示され、顔が手前を向いているとき顔が表示され、右を向いているときは右横顔が表示され、左を向いているときには左横顔が表示される。一例として、処理部29は、動作前の状態に対してデプスセンサ15からの動き情報やセンサ17からの検出データに基づいてアバターオブジェクト102を変化させる。図6(b)に示すように、一例として、アバターオブジェクト102が奥を向いている状態から右方向に90度回転する場合、アバターオブジェクト102は、順に右方向に回転する。
【0084】
図6(c)は、アバターオブジェクト102が奥を向いている状態から左方向に270度回転し右向きになる場合を示している。このような場合、アバターオブジェクト102は、順に左方向に回転する。ただし、回転後の状態は、アバターオブジェクト102が奥を向いている状態から右向きに90度回転した右向きの状態と同じである。このような場合、図6(a)に示すように、処理部29は、アバターオブジェクト102の回転角が小さくなる方向、すなわち右向きにアバターオブジェクト102を回転させる処理を行うようにしてもよい。これにより、処理部29におけるアバターオブジェクト102を回転させるための演算処理を軽減することができる。また、アバターオブジェクト102の動きが少なくなり、よりアバターオブジェクト102のより自然な振り向き方を再現することきる。
【0085】
〔配信処理例2〕
配信処理例2は、ユーザが移動している場合である。センサ17は、加速度センサやジャイロセンサであり、これらのセンサ素子からの出力に従ってユーザ端末装置10の加速度データや角度データや角速度データ等の検出データを算出する。図7は、ユーザが手前から奥方向に移動するときのセンサ17が検出する加速度の変化の一例を示している。時刻t1において、ユーザは静止しており、加速度は0である。時刻t2において奥方向に歩行を開始すると、プラスの加速度が出力され、時刻t3において定速歩行になると、加速度は0に近づく。歩行停止するときは、時刻t4においてマイナスの加速度が出力される。時刻t5において奥方向に歩行を再開するとプラスの加速度が出力され、時刻t6において定速歩行のとき、加速度は0に近づく。時刻t7において奥方向に走り出すときは、歩行開始時より高いプラスの加速度が出力され、時刻t8のように定速で走っていると、加速度は0に近づく。
【0086】
以上のようにユーザが歩いたり走ったりして移動する場合、ユーザ端末装置10の処理部29は、センサ17による加速度や角度や角速度によって移動方向や移動速度を検出することができる。図8に示すように、ステップS31において、処理部29は、加速度が変化したかどうかを判定し、ステップS32において、加速度に応じてアバターオブジェクト102を変化させる。歩いているときや走っているときは、上下及び前後の動きが生じ、走っているときは、歩いているときよりもその変化が速く大きくなる。
【0087】
具体的には、処理部29は、配信プログラム28aに連動している歩数計プログラム28bを動作させる。そして、処理部29は、加速度が第1閾値より大きいかどうかを判定し、第1閾値より小さいとき、静止していると判定し、第1閾値以上のとき、歩いていると判定する。また、処理部29は、加速度が第2閾値より大きいかどうかを判定し、第2閾値より小さいとき、歩いている判定し、第2閾値以上のとき、走っていると判定する。
【0088】
処理部29は、歩いているときや走っているとき、アバターオブジェクト102の上下及び前後に変化させ、走っているときには、歩いているときより変化量が大きくなるように変化させる。アバターオブジェクト102の全身が表示面に表示されている場合、処理部29は、デプスセンサ15が手足を検出していなくても、手足を走ったり歩いているときのように変化させる。アバターオブジェクト102の上半身のみが表示面に表示されているときにも、アバターオブジェクト102を上下に移動させるように変化させる。
【0089】
図7の例では、ユーザは手前から奥方向に前進している。そこで、実際には、ユーザ端末装置10のデプスセンサ15は、ユーザの顔と対峙しているが、処理部29は、アバターオブジェクト102が手前から奥方向に移動しているようにアバターオブジェクト102の後頭部及び背中が表示させる。そして、時刻t4から時刻t5のようにユーザが静止しているとき、処理部29は、アバターオブジェクト102の向きを反転させ、顔が手前を向いた状態に変化させる。名所、旧跡等を話して説明するときは、静止しているときが多く、説明時はアバターオブジェクト102の顔が見ている方が視聴者に対してアバターオブジェクト102に再現されている表情等を通じてユーザの表情なども伝わり易いからである。なお、以上の例では、ユーザが移動しているときは、アバターオブジェクト102の後ろ姿を表示するようにしているが、アバターオブジェクト102は、常時正面を向いているようにしてもよい。
【0090】
なお、ユーザの移動は、センサ17だけでなく、他の手段と組み合わせて検出してもよい。例えば、センサ17とGNSSを併用して検出してもよい。さらに、デプスセンサ15およびSLMA(Simultaneous Localization and Mapping)を併用してもよい。さらに、写真測量術(VisualSLAM)による位置情報の時間的変化を歩く方向の決定に補足的に使用するようにしてもよい。
【0091】
〔その他の配信処理例〕
また、処理部29は、デプスセンサ15からの動き情報に基づいて特定の動作を検出したとき、アバターオブジェクト102に加えて、その動作に関連するエフェクトオブジェクト103を追加表示する。一例として、人が一方の手の掌を他方の握り拳でたたいたときは閃き時である。そこで、図9(a)に示すように、処理部29は、デプスセンサ15からの動き情報でユーザが一方の手の掌を他方の握り拳でたたいた動作を検出したとき、電球を模した追加仮想オブジェクトとしてのエフェクトオブジェクト103をアバターオブジェクト102の近くに表示する。エフェクトオブジェクト103としては、静止しているオブジェクトでもよいし、動くオブジェクトであってもよいし、更に閃きを連想させる音声や音楽などのオーディオデータが再生されてもよい。
【0092】
また、図9(b)に示すように、配信プログラム28aに従って、アウトカメラ11で撮像している画像101に対してアバターオブジェクト102を重ね合成データ100を生成する処理を行っているとき、並列して、音声認識処理を行ってテキストデータを生成しエフェクトオブジェクト104を画像101に付加する処理行う。ここでのエフェクトオブジェクト104は、アバターオブジェクト102に吹き出しのオブジェクトを付加し、吹き出しのオブジェクトの中にテキストを表示して構成することができる。また、合成データ100に基づく合成画像において、上部、下部、左部、右部の何れかの欄オブジェクトにテキストを表示することによって構成してもよい。
【0093】
更に、処理部29は、デプスセンサ15からの動き情報に基づいて特定の動作を検出したとき、アバターオブジェクト102に吹き出しのオブジェクトを付加し、吹き出しのオブジェクトの中にテキストを表示してエフェクトオブジェクト104を構成するようにしてもよい。この場合、特定の動作は、一例として、物事を紹介するときの特定のジェスチャであり、片方の掌を上にして肩の高さまで上げるような動作である。
【0094】
更に、視聴者端末装置50で視聴している視聴者は、配信をしているユーザに対してコメントを送信することができる。サーバ30において、配信管理データベース31では、配信者アカウントに関連付けて視聴者アカウントを関連付けて管理している。サーバ30の制御部34は、視聴者端末装置50から配信者アカウントやコンテンツIDに関連付いたコメントデータを受信したとき、該当する配信者のユーザ端末装置10に対してコメントを送信する。このような場合、ユーザ端末装置10には、表示部19の表示面に、視聴者からのコメントが表示される。例えばユーザが観光地を歩きながら配信を行っている場合、視聴者は、次にユーザに行ってもらいたい場所をリクエストするコメントを視聴者端末装置50からサーバ30を通じてユーザ端末装置10に送信することができる。このように、視聴者からユーザに対してコメントを送ることができるので、ユーザは、視聴者と意思疎通を図りながら撮像を行うことができる。
【0095】
さらに、視聴者は、視聴者端末装置50を通じて視聴者自身に関連する仮想オブジェクトを通じで画像101に表示させることができる。例えば、合成データ100に基づく合成画像に対して、視聴者自身のアバターオブジェクトを付加することができる。視聴者の仮想オブジェクトであるアバターオブジェクトは、視聴者端末装置50が備えるデプスセンサ15により生成された動き情報に基づいて変化されるものであって、視聴者端末装置50からサーバ30に送信され、更にサーバ30を経由してユーザ端末装置10で表示される。この場合、配信者のアバターオブジェクト102および視聴者のアバターオブジェクトを含む合成データは、視聴者端末装置50、サーバ30、ユーザ端末装置10の何れの装置で生成されてもよい。そして、合成データ100に基づく合成画像には、配信者のアバターオブジェクト102および視聴者のアバターオブジェクトが表示されることになる。視聴者のアバターオブジェクトも、画像101に表示させるアバターオブジェクトが視聴者端末装置50で選択され、選択されたアバターオブジェクトが画像101の所定位置に表示されることになる。さらに、アバターオブジェクトではなく、アバターオブジェクト102に対するプレゼントのような仮想オブジェクトを表示させるようにしてもよい。例えば、仮想オブジェクトとして、さい銭、配信用のマイクロフォン、花束、眼鏡、衣服などの装飾品などがある。視聴者は、このようなプレゼントをプレゼント一覧の画面から選択することができる。そして、選択された仮想オブジェクトをサーバ30に送信し、
上記配信システム1によれば、以下に列挙する効果を得ることができる。
【0096】
(1)アバターオブジェクト102は、ユーザ自身のユーザオブジェクトにアバターオブジェクト102を重ねるのではなく、ユーザオブジェクトに代えてアバターオブジェクト102が画像101に重ねられる。したがって、アバターオブジェクト102の動きがユーザオブジェクトの動きに追従できず、アバターオブジェクト102に対してユーザオブジェクトがはみ出してしまうことを防ぐことができる。または、ユーザオブジェクトの方がアバターオブジェクト102よりも小さい場合にも、ユーザオブジェクトがアバターオブジェクト102からはみ出してしまうことを防ぐことができる。このように、アバターオブジェクト102の合成画像において不自然な表示がされることを防ぐことができる。
【0097】
(2)アバターオブジェクト102を画像101に自動的に付加することができる。または、タッチパネル20によって、アバターオブジェクト102を表示する位置を容易に指定することができる。
【0098】
(3)ユーザ端末装置10が備えたアウトカメラ11を用いて背景となる被写体を撮像して画像101を生成し、更にデプスセンサ15で撮像者であるユーザを検出してアバターオブジェクト102を画像101に付加することができる。
【0099】
(4)ユーザ端末装置10がセンサ17を備えるので、デプスセンサ15でユーザの動きを検出できない箇所もセンサ17からの検出データを利用してアバターオブジェクト102を変化させることができる。
【0100】
(5)ユーザ端末装置10が歩数計の機能を備える。したがって、ユーザの移動とユーザ端末装置10の移動とを分離して検出することができる、すなわち、ユーザが静止した状態において手でユーザ端末装置10だけを移動させているのか、ユーザが実際に歩いているのかを判別することができる。そして、ユーザが歩いていることを検出したときには、アバターオブジェクト102も歩いているように変化させることもできる。更に、走っているどうかも検出し、走っているときには、アバターオブジェクト102を走っているように変化させることができる。そして、デプスセンサ15、アウトカメラ11及びセンサ17や歩数計の機能によって、配信者は後ろ歩きをすることなく、視聴者よりも先頭に立って歩いて、さも観光ガイドをしているかのように演出することができる。
【0101】
(6)処理部29は、動き情報から特定の動きを検出したとき、エフェクトオブジェクト103を付加する。これにより、アバターオブジェクト102による表現形式を多様化し、更に娯楽性を高めることができる。
【0102】
(7)処理部29は、ユーザの音声を音声認識してテキストに変換しテキストを画像101に付加する。これにより、ユーザによる発言を視聴者に対して分かり易くすることができる。
【0103】
なお、上記ライブ配信システムは、以下のように適宜変更して実施することもできる。
・ユーザ端末装置10は図10のように構成してもよい。ずなわち、図10に示すユーザ端末装置10は、ユーザ端末装置10を持ったユーザとは反対側の外面にアウトデプスセンサ41を備え、アウトデプスセンサ41は、アウトカメラIF42に接続されている。アウトデプスセンサ41は、一例として、アウトカメラ11の近くに配置されている。なお、図10では、ユーザ側の内面に配置されているデプスセンサがインデプスセンサ15であり、インデプスセンサIF16に接続される。インデプスセンサ15及びインデプスセンサIF16は、それぞれ図2のデプスセンサ15及びデプスセンサIF16に対応する。
【0104】
アウトデプスセンサ41は、インデプスセンサ15と同様な構成を有するものであり、一例として、赤外線カメラであり、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備える。そして、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における三次元位置情報等の深度情報を取得する。
【0105】
インデプスセンサ15は、主としてユーザ端末装置10を手に持っているユーザを検出するものである。すなわち、インデプスセンサ15は、比較的インデプスセンサ15から近い物体を検出するものである。これに対して、アウトデプスセンサ41は、インデプスセンサ15の検出対象までの距離に比べ遠方の物体を検出するものである。このため、一例として、アウトデプスセンサ41は、投光部がインデプスセンサ15のものより高出力であり、検出部がインデプスセンサ15のものより高感度とすることが好ましい。
【0106】
アウトデプスセンサ41は、アウトカメラ11の近くに配置され、その検出範囲は、アウトカメラ11の撮像範囲とほぼ同じである。なお、アウトデプスセンサ41の検出範囲は、アウトカメラ11の撮像範囲よりも広くても狭くてもよい。アウトデプスセンサ41は、検出範囲に存在する物体の深度情報を検出する。一例として、ユーザの進行方向に人が歩いているときには、その人の動きを検出する。また、前方に階段が存在しているときには、階段の各段を検出する。更に、前方の人が階段を上っているときは、その動きを検出する。そして、深度情報取得部としてのアウトカメラIF42は、アウトデプスセンサ41からの深度情報を取得する。
【0107】
アバターオブジェクト102が重ねられた画像101の合成データ100を生成し合成データ100をサーバ30を通じて配信するとき、処理部29は、アウトデプスセンサ41からの深度情報や動き情報は次のように利用する。一例として、前方の人が階段を上っているときは、これに次ぐユーザも階段を上る蓋然性が高い。アウトデプスセンサ41は、階段や前方の人の動作を検出する。処理部29は、アウトデプスセンサ41からの深度情報や動き情報に従って、ユーザが階段に至ったことを検出する。処理部29は、インデプスセンサ15からの動き情報やセンサ17からの検出データに基づいて、ユーザが階段を上っている状態に移行したことを検出すると、アバターオブジェクト102に対して前の人が階段を上っているときの動き情報を適用し、階段をアバターオブジェクト102が上っているように変化させる。これにより、実空間に階段が存在している場合に、アバターオブジェクト102も階段を上っているように表示させることができ、画像101に対してアバターオブジェクト102が不自然に変化してしまうことを防ぐことができる。
【0108】
ここでは、前の人に合わせてユーザが階段を上る場合を説明したが、これは一例である。例えば、進行方向となる前方に花壇や机や椅子などの障害物が存在している場合は、ユーザは、障害物を避けるように動作する。処理部29は、アウトデプスセンサ41が検出した障害物の深度情報に基づいて、アバターオブジェクト102を障害物を避けるように変化させることができる。すなわち、花壇や机や椅子などの実物体との前後関係を考慮してアバターオブジェクト102を表示することができる。このようにアウトデプスセンサ41を備えたユーザ端末装置10では、アウトカメラ11が撮像している実空間の物体に合わせてアバターオブジェクト102を変化させることができる。
【0109】
・ユーザ端末装置10は、内蔵型のアウトカメラ11及びインカメラ13を用いるのではなく、第1取得部及び第2取得部となる通信IF21を通じて有線又は無線によってペアリングされた360度カメラ装置201を利用してもよい。図11(a)に示すように、360度カメラ装置201は、第1面に第1方向を向いた第1カメラ202を備え、第1面と反対側の第2面に第2方向を向いた第2カメラ203を備える。そして、第1カメラ202及び第2カメラ203の各々が受像素子を備える。この場合、第1カメラ202及び第2カメラ203の何れか一方が上述したアウトカメラ11に対応し、他方が上述したインカメラ13に対応する。また、少なくともインカメラ13に対応する側のカメラのレンズの近くには、デプスセンサを配置する。これにより、図2と同様なユーザ端末装置10となり、両方のカメラの近くにデプスセンサを配置したときには図10と同様なユーザ端末装置10となる。
【0110】
なお、360度カメラ装置201が図2図10のユーザ端末装置10と同様な構成を備える場合、360度カメラ装置201そのものが図2図10のユーザ端末装置10となる。
【0111】
このような構成を備えた360度カメラ装置201は、カメラをヘルメットに固定する取付装置、リストマウントに取り付けたカメラを手の甲や手首、腕などに装着する取付装置、固定用クランプで自転車のハンドルバーなどに挟みカメラを固定する取付装置、カメラを体に固定する取付装置、カメラを吸着板で固定する取付装置、長さ固定のハンディースティックなどに取り付けて使用することが好ましい。
【0112】
図11(b)に示すように、第1カメラ206と第2カメラ207とが分離されていてもよい。すなわち、半天球カメラを2台用いる。この場合、少なくともインカメラ13に対応する側のカメラには、デプスセンサを配置する。これにより、図2と同様なユーザ端末装置10となり、両方のカメラにデプスセンサを配置したときには図10と同様なユーザ端末装置10となる。第1カメラ206と第2カメラ207とは、分離しているため、アウトカメラ11に対応する側のカメラとインカメラ13に対応する側のカメラとが同じ場所に存在しなくてもよい。一例として、ユーザ端末装置10に対して第1カメラ206と第2カメラ207とが有線又は無線で接続されることで、アウトカメラ11に対応する側のカメラの設置場所に、ユーザ及びインカメラ13に対応する側のカメラが存在していなくてもよい。ユーザは、ユーザ自身の家など居場所に対して遠隔地にアウトカメラ11に対応する側のカメラを設置し、家などの居場所に居ながら合成データ100のライブ配信を行うこともできる。
【0113】
図11(c)の例は、半天球カメラ211を1台用いる。半天球カメラ211は、一例として、広角カメラである。半天球カメラ211は、通信IF21を通じて有線又は無線でペアリングされる。この場合、例えばその画角は170度程度〜185度程度であり、広角である。1つのレンズ部212から入射した像は1つの受像素子で受光される。撮像画像213には、その一部の領域214にユーザが写り、他の領域215を画像101となる領域とする。
【0114】
半天球カメラ211は、デプスセンサを備えておらず、ユーザの深度情報や動き情報は、写真測量技術等を用いて画像解析することで算出する。ユーザの深度情報や動き情報は、ディープラーニングを利用したAIを利用することによって検出することができる。処理部29は、領域214で検出されたユーザの動き情報に合わせて変化するアバターオブジェクト102を領域215の画像101に対して重ね、合成データ100を生成する。この合成データ100を、ユーザ端末装置10は、サーバ30を通じて視聴者端末装置50に対して配信することになる。
【0115】
図11(d)は、図2に示したユーザ端末装置10の変形例である。ユーザ端末装置10は、アウトカメラ11及びインカメラ13を備えるが、その受像素子230が1枚であり、第1受像領域231と第2受像領域232とに分割されている。第1受像領域231には、アウトカメラ11での像が受像され、第2受像領域232には、インカメラ13での像が受像される。第1受像領域231には、アウトカメラ11での像が受像され、処理部29は、背景映像となる画像101を生成する。第2受像領域232にはユーザが受像される。処理部29は、第2受像領域232の映像から画像解析することによってユーザの動き情報を生成する。処理部29は、第2受像領域232で検出されたユーザの動き情報に合わせて変化するアバターオブジェクト102を第1受像領域231で受像した像から生成された画像101に対して重ね、合成データ100を生成する。この合成データ100を、ユーザ端末装置10は、サーバ30を通じて視聴者端末装置50に対して配信することになる。
【0116】
なお、インカメラ13は、デプスセンサ15としてもよい。この場合、第2受像領域232は赤外線を検出する赤外線検出部となる。このような場合には、受光素子が1枚になることで、ユーザ端末装置10において部品点数を削減することができる。
【0117】
・画像101に対してアバターオブジェクト102を重ね合成データ100を生成する機能は、ユーザ端末装置10が備えるのではなく、サーバ30が備えていてもよい。この場合、ユーザ端末装置10からは、アウトカメラ11が撮像した被写体の画像101及びデプスセンサ15が検出した動き情報がサーバ30に対して送信されることになる。そして、ネットワークIF33が第1取得部や第2取得部として機能することになる。そして、サーバ30は、画像101に対して動き情報に基づいて動くアバターオブジェクト102を重ねて合成データ100を生成すると、合成データ100をユーザ端末装置10に対して送信するとともに、視聴者端末装置50に対して配信する。
【0118】
・サーバ30が行う処理は、エッジサーバに分散させるようにしてもよい。
・合成データ100は、ユーザ端末装置10の他に視聴者端末装置50またはサーバ30で行ってもよい。
【0119】
・ユーザ端末装置10は、音声認識処理を行ってテキストデータを生成しテキストオブジェクトを画像101に付加する機能を備えていなくてもよい。特に、音声だけで視聴者に意思伝達をすることができるからである。
【0120】
・ユーザ端末装置10は、ユーザの特定の動作を検出したとき、アバターオブジェクト102に加えて、その動作に関連するエフェクトオブジェクト103を付加する処理を行わなくてもよい。エフェクトオブジェクト103が付加されなくても、視聴者に意思伝達をすることができるからである。
【0121】
・ユーザ端末装置10は、歩数計機能を備えていなくてもよい。この場合、センサ17が検出する検出データでユーザ端末装置10の移動をユーザの移動とし、アバターオブジェクト102を変化させることになる。
【0122】
・センサ17を備えていなくてもよい。アバターオブジェクト102が歩行しているように変化しなくても、少なくともユーザの顔が検出され、ユーザの化身であるアバターオブジェクト102がユーザの表情に合わせて変化すれば、視聴者にユーザの表情がアバターオブジェクト102を介して伝わるからである。また、アウトカメラ11やインカメラの13映像変化によりユーザの移動方向を検出し、これにより、アバターオブジェクト102の歩行表示を変化させるようにしてもよい。
【0123】
・センサ17としては、少なくとも加速度センサを備えて加速度を検出できればよい。
・ユーザ端末装置10は、映像を取得する取得部を備えていればく、アウトカメラ11を備えていなくてもよい。図11(a)及び(b)のように、外付けでカメラを接続すればよいからである。この場合、通信IF21は、画像101を取得する第1取得部や動き情報を取得する第2取得部などの取得部として機能することになる。
【0124】
・表示部19は必ずしもタッチパネル20を備えていなくてもよい。ユーザ端末装置10に、マウスなどのポインティングデバイスが有線又は無線で接続されている場合は、表示面に表示されるポインタによって位置を入力することができるからである。
【0125】
・ユーザ端末装置10は、入力された音声を加工して違う音声に聞こえるように変換するボイスチェンジャのプログラムがインストールされていてもよい。一例として、合成データ100を配信するとき、マイクロフォンなどの音響電気変換機器で集音した音声を、ボイスチェンジャによって異なる音声に変換し、変換後の音声で配信することができる。例えば、ボイスチェンジャでは、PCM(パルス符号変調)でデジタル化した音声データに対して、音声データのサンプリング周期を変えて声のピッチを変えたり、音声データに時間遅れを持たせディレイさせたり、ディレイをかけた音声データを、元の音声データと合成してエコーをかけたりすることができる。
【0126】
・ユーザ端末装置10は、テキストデータを読み上げる等の音声読み上げプログラムがインストールされていてもよい。一例として、ユーザ端末装置10は、視聴者端末装置50から視聴者からのリクエストコメントをテキストデータで受信したとき、音声に変換し、テキストデータを読み上げる。この場合の音声は、一例として、合成音声であり、また、声優、俳優等の音声である。また、アバターオブジェクト102がアニメーションに登場するキャラクタオブジェクトなどである場合は、そのキャラクタの声優であってもよい。また、アバターオブジェクト102が著名人、有名人、一般人等の人物を模した人物オブジェクトである場合、その人物の音声であってもよい。
【0127】
・合成データ100は、アバターオブジェクト102が重ねられた画像101と音響とで構成されるが、画像101と同時期に取得するユーザの動き情報やセンサ17の検出データやGNSSの位置情報や画像101の撮像現場における音響は、完全に同期していることが好ましい。また、画像101及び動き情報に視聴者が不快に感じない程度であれば若干時間的にずれがあってもよい。このような場合、画像101に対してアバターオブジェクト102の動きなどが若干ずれることになる。一例として、図11(b)に示すように、ユーザ端末装置10と第1カメラ206と第2カメラ207とが分離しているときは、通信環境によって、画像101及び動き情報の何れか一方に対して他方が遅延する事態が生じることもある。このような場合、画像101及び動き情報に時間的にずれがあってもよい。
【0128】
・ライブ配信を行わない場合などは、GNSSや、NTPサーバや、ユーザ端末装置10やサーバ30の内蔵時計等から取得した時刻を基準にして、画像101に付与された基準時刻と同時刻のユーザの動き情報やセンサ17の検出データやGNSSの位置情報や画像101の撮像現場における音響を取得するようにしてもよい。図11(b)に示すように、ユーザ端末装置10と第1カメラ206と第2カメラ207とが分離しているときは、各々の機器の内蔵時計に従って、各同時期の情報やデータを取得し合成データ100を生成するようにしてもよい。
【0129】
・ユーザの動作情報は、インカメラ13で取得した映像に基づいて、フレーム間差分や動きベクトルを算出して生成するようにしてもよい。
【符号の説明】
【0130】
1…配信システム、2…ネットワーク、3…支持部材、10…ユーザ端末装置、11…アウトカメラ、12…アウトカメラIF、13…インカメラ、14…インカメラIF、15…デプスセンサ、16…デプスセンサIF、17…センサ、18…センサIF、19…表示部、20…タッチパネル、21…通信IF、22…操作部、23…GNSS受信部、24…オーディオ入力機器、25…オーディオ出力機器、26…オーディオIF、27…ネットワークIF、28…記憶部、28a…配信プログラム、28b…歩数計プログラム、28c…音声認識プログラム、29…処理部、30…サーバ、31…配信管理データベース、32…記憶部、33…ネットワークIF、32a…配信管理プログラム、34…制御部、41…アウトデプスセンサ、42…アウトカメラIF、50…視聴者端末装置、100…合成データ、101…画像、102…アバターオブジェクト、103…エフェクトオブジェクト、104…エフェクトオブジェクト、201…360度カメラ装置、202…第1カメラ、203…第2カメラ、206…第1カメラ、207…第2カメラ、211…半天球カメラ、212…レンズ部、213…撮像画像、214…領域、215…領域、230…受像素子、231…第1受像領域、232…第2受像領域。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11