特許 7616401 映像送信システム、端末装置および映像送信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】映像送信システム、端末装置および映像送信方法

(51)【国際特許分類】

   H04N 21/442 20110101AFI20250109BHJP

   G06T 7/50 20170101ALI20250109BHJP

   G06T 7/00 20170101ALI20250109BHJP

【ＦＩ】

H04N21/442

G06T7/50

G06T7/00 Z

【請求項の数】 9

(21)【出願番号】P 2023544878

(86)(22)【出願日】2021-09-01

(86)【国際出願番号】 JP2021032150

(87)【国際公開番号】W WO2023032085

(87)【国際公開日】2023-03-09

【審査請求日】2024-02-16

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】野上 耕介

【審査官】大西 宏

(56)【参考文献】

【文献】特開２０１２－１７８１３３（ＪＰ，Ａ）

【文献】特開２０１５－１９７３２９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／０２１１７２２（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０６５５３６（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１４２８３４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０１３２４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信する送信手段と、
ユーザの視線に関する視線情報に応じて、前記第２の点群データを受信する受信手段と、
前記第２の点群データに基づいて、前記ユーザに対して表示する画像を出力する出力手段と、を備え、
前記第２の点群データは、前記第１の点群データから抽出した、前記第１の点群データと点群密度が異なる複数の点群データを含み、
前記受信手段は、前記視線情報に応じて、点群密度が異なる前記複数の点群データの中から少なくとも１つの点群データを選択して前記第１の領域に表示すべき点群データとして受信し、
前記出力手段は、前記第１の領域に表示すべき点群データに基づいて、前記ユーザに対して表示する画像を出力する
映像送信システム。

【請求項2】

前記ユーザに表示する画質を特定する特定手段を備え、
前記受信手段は、前記特定した画質に応じて、前記第２の点群データを受信する、請求項１に記載の映像送信システム。

【請求項3】

前記送信手段は、
前記三次元空間における、前記第１の領域とは異なる第２の領域を表す第３の点群データから抽出した第４の点群データを送信し、
前記受信手段は、前記視線情報に応じて、前記第４の点群データを受信し、
前記出力手段は、前記第２の点群データと前記第４の点群データとに基づいて、前記ユーザに対して表示する画像を出力する、請求項１又は２に記載の映像送信システム。

【請求項4】

前記映像送信システムは、前記第２の点群データに関する送信情報を生成する送信情報生成手段を備え、
前記送信手段は、前記第２の点群データおよび前記送信情報を送信し、
前記受信手段は、前記視線情報及び受信した前記送信情報に応じて、前記第２の点群データを受信し、
前記出力手段は、前記第２の点群データおよび前記送信情報に基づいて、前記ユーザに対して表示する画像を出力する、請求項１～３のいずれか１項に記載の映像送信システム。

【請求項5】

前記送信情報は、
前記第１の領域の前記三次元空間内での位置に関する情報、
前記第１の領域と前記第２の点群データとの対応関係に関する情報、および
前記第２の点群データの点群密度に関する情報
の少なくともいずれか１つを含む、請求項４に記載の映像送信システム。

【請求項6】

前記送信手段は、前記ユーザの視線情報に応じて、前記第２の点群データを送信する、請求項１～５のいずれか１項に記載の映像送信システム。

【請求項7】

ユーザの視線を示す視線情報を取得する視線情報取得手段と、
三次元空間内の第１の領域を表す第１の点群データから抽出された第２の点群データを、前記視線情報に応じて受信する受信手段と、
前記受信手段が受信した前記第２の点群データに基づいて、前記ユーザに対して表示する画像を出力する出力手段と、を備え、
前記第２の点群データは、前記第１の点群データから抽出した、前記第１の点群データと点群密度が異なる複数の点群データを含み、
前記受信手段は、前記視線情報に応じて、点群密度が異なる前記複数の点群データの中から少なくとも１つの点群データを選択して前記第１の領域に表示すべき点群データとして受信し、
前記出力手段は、前記第１の領域に表示すべき点群データに基づいて、前記ユーザに対して表示する画像を出力する
端末装置。

【請求項8】

前記ユーザに表示する画質を特定する特定手段を備え、
前記受信手段は、前記特定した画質に応じて、前記第２の点群データを受信する、請求項７に記載の端末装置。

【請求項9】

三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信すること、
ユーザの視線に関する視線情報に応じて、前記第２の点群データを受信すること、及び
前記第２の点群データに基づいて、前記ユーザに対して表示する画像を出力すること
を含み、
前記第２の点群データは、前記第１の点群データから抽出した、前記第１の点群データと点群密度が異なる複数の点群データを含み、
前記受信することにおいて、前記視線情報に応じて、点群密度が異なる前記複数の点群データの中から少なくとも１つの点群データを選択して前記第１の領域に表示すべき点群データとして受信し、
前記出力することにおいて、前記第１の領域に表示すべき点群データに基づいて、前記ユーザに対して表示する画像を出力する
映像送信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像送信システム、端末装置および映像送信方法に関する。

【背景技術】

【0002】

従来、コンピュータ画面、テレビ画面等で物体の３次元形状を表すためのデータの１つとして、点群データが用いられている。これに関連する技術として、下記の特許文献１および特許文献２に開示された発明がある。

【0003】

特許文献１は、通信ネットワークを介して点群データを送信するための技術に関する。特許文献１に開示された点群データ通信システムでは、ユーザにより指定された視点および視線の方向の少なくとも一方を立体形状の表示状態に関する指定として含む表示要求を送信装置に送信する。送信装置は、点群データ記憶部に記憶される点群データの中から、表示要求に含まれる視点および視線の方向の少なくとも一方に応じて、３次元空間の中で立体形状を表示する際に優先されるべき部分の点群データを抽出する。

【0004】

特許文献２は、点群を用いたデータ処理の効率を高めるための技術に関する。特許文献２に開示されたデータ処理装置では、可視判定部が、ユーザ（または仮想カメラ）の視点位置や姿勢、視線方向にしたがって、撮影空間内の複数のブロックの中でどのブロックがユーザから視認されるかを判定する。そして、可視判定部は、ユーザから視認される複数のブロックを描画対象ブロックとして特定する。

【先行技術文献】

【特許文献】

【0005】

【文献】日本国特開２０２０－１３６８８２号公報

【文献】日本国特開２０１８－０３２１１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示された点群データ通信システムにおいては、送信装置が、複数のユーザの端末にマルチキャスト配信またはブロードキャスト配信によってデータを送信する場合、ユーザによって視線が異なるため、複数のユーザのそれぞれに適した映像を配信することができない。

【0007】

また、特許文献２に開示されたデータ処理装置においては、可視判定部が、ユーザから視認される複数のブロックを描画対象ブロックとして特定する。しかしながら、特許文献１と同様に、送信装置が、複数のユーザの端末にマルチキャスト配信またはブロードキャスト配信によってデータを送信する場合、ユーザによって視線が異なるため、複数のユーザのそれぞれに適した映像を配信することができない。

【0008】

本発明の一態様は、上記の問題に鑑みてなされたものであり、複数のユーザの視線に応じた好適な映像を配信することが可能な技術を提供することを一目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係る映像送信システムは、三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信する送信手段と、ユーザの視線に関する視線情報に応じて、第２の点群データを受信する受信手段と、第２の点群データに基づいて、ユーザに対して表示する画像を出力する出力手段と、を備える。

【0010】

本発明の一態様に係る端末装置は、ユーザの視線を示す視線情報を取得する視線情報取得手段と、三次元空間内の第１の領域を表す第１の点群データから抽出された第２の点群データを、視線情報に応じて受信する受信手段と、受信手段が受信した第２の点群データに基づいて、ユーザに対して表示する画像を出力する出力手段と、を備える。

【0011】

本発明の一態様に係る映像送信方法は、三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信し、ユーザの視線に関する視線情報に応じて、第２の点群データを受信し、第２の点群データに基づいて、ユーザに対して表示する画像を出力する。

【発明の効果】

【0012】

本発明の一態様によれば、複数のユーザの視線に応じた好適な映像を配信することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の例示的実施形態１に係る映像送信システムの機能的構成を示すブロック図である。

【図2】三次元空間内の第１の領域の一例を示す図である。

【図3】点群データの抽出方法の例を説明するための図である。

【図4】第１の点群データから１／２の点群データを抽出する場合の具体例を示す図である。

【図5】映像送信方法の流れを示すフロー図である。

【図6】本発明の例示的実施形態２に係る映像送信システムの機能的構成を示すブロック図である。

【図7】受信部による点群データの受信方法を説明するための図である。

【図8】複数のユーザが点群データを受信する場合を説明するための図である。

【図9】視聴品質に関する評価関数を説明するための図である。

【図10】本発明の例示的実施形態２に係る映像送信システムによる映像送信方法の流れを示すシーケンス図である。

【図11】本発明の例示的実施形態２に係る端末装置による映像受信方法の流れを示すフロー図である。

【図12】本発明の例示的実施形態３に係る映像送信システムの機能的構成を示すブロック図である。

【図13】複数のユーザの注視領域数に応じて配信優先度を決定する方法を説明するための図である。

【図14】本発明の例示的実施形態３に係る映像送信システムによる映像送信方法の流れを示すフロー図である。

【図15】本発明の例示的実施形態４に係る映像送信システムの機能的構成を示すブロック図である。

【図16】本発明の例示的実施形態５に係る映像送信システムの機能的構成を示すブロック図である。

【図17】本発明の例示的実施形態６に係る映像送信システムの機能的構成を示すブロック図である。

【図18】コンピュータのハードウェアの一例を示す図である。

【発明を実施するための形態】

【0014】

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。

【0015】

＜映像送信システム１００の概要＞
本例示的実施形態に係る映像送信システム１００は、概略的に言えば、ユーザの視線情報に応じて第２の点群データを選択して受信し、受信した第２の点群データを出力するものである。

【0016】

＜映像送信システム１００の構成＞
本例示的実施形態に係る映像送信システム１００の構成について、図１を参照して説明する。図１は、映像送信システム１００の構成を示すブロック図である。

【0017】

図１に示すように、映像送信システム１００は、送信部１１と、受信部２１と、出力部２２とを備えている。送信部１１は、本例示的実施形態において送信手段を実現する構成である。受信部２１は、本例示的実施形態において受信手段を実現する構成である。出力部２２は、本例示的実施形態において出力手段を実現する構成である。

【0018】

送信部１１は、三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信する。

【0019】

図２は、三次元空間内の第１の領域の一例を示す図である。例えばＬｉＤＡＲ（Light Detection and Ranging）、深度カメラ等によって三次元空間が撮影される。以下、センサによる撮影の対象となる三次元空間を、撮影対象空間と呼ぶことにする。なお、三次元空間とは、現実の場所や、仮想空間の場所等の３次元の空間を含む概念である。

【0020】

本例示的実施形態において、撮影対象空間は複数の領域に分割される。一例として、図２に示すように、撮影対象空間が３×３×４の領域に分割される。分割された領域の１つを第１の領域と呼ぶ。なお、図２に示す撮影対象空間の分割数は一例であって、これ以外の数であっても構わない。

【0021】

撮影対象空間を表す点群データは、撮影対象空間の領域ごとに送信される。例えば、図２に示すように、撮影対象空間が立方体で構成されているとしたときの、立方体の１つであってもよい。また、三次元空間に存在する特定の人物を１つの領域としてもよい。また、人物の顔、腕、足のようなパーツをそれぞれ１つの領域としてもよい。さらに、車、木のようなオブジェクトをそれぞれ１つの領域としてもよい。

【0022】

第１の点群データは、撮影対象空間の第１の領域を表している。点群データとは、三次元空間を表すデータ点の集合であり、一例として、上述したＬｉＤＡＲ、又は、深度カメラ等によって生成されるデータ、又は、そのようなデータを加工して得られるデータである。データ点には、三次元空間内の物体の位置や色に関する情報が含まれる。

【0023】

本例示的実施形態において、第１の点群データから第２の点群データを抽出するとは、一例として、第１の点群データから抽出して得られる分割データの少なくともいずれか１つを、第２の点群データが含むように、第１の点群データから第２の点群データを生成することを意味する。第１の点群データから第２の点群データを抽出する具体的な方法については、後述する。なお、分割データとは、抽出前の元のデータ、例えば、第１の点群データの一部のみを含み、第１の点群データの全てを含むものではないことを意味する。

【0024】

受信部２１は、ユーザの視線に関する視線情報に応じて、第２の点群データを受信する。

【0025】

視線情報とは、端末装置を利用しているユーザの視線の方向に関する情報である。視線情報は、ユーザの眼球の動きや、ユーザの顔の向き等の情報を含んでもよい。視線情報は、出力部２２を備える端末装置に搭載されたセンサや、ユーザのいる場所に備えられたセンサを用いて収集される。

【0026】

端末装置が、ＶＲ（Virtual Reality）ゴーグルなどの場合には、当該ＶＲゴーグルが備える加速度センサや角速度センサ等を用いてユーザの視線情報を収集してもよい。また、ユーザがいる視聴場所に備えられたカメラによる撮像データを端末装置が取得し、端末装置において当該撮像データを解析することによって、ユーザの視線情報を収集してもよい。

【0027】

出力部２２は、第２の点群データに基づいて、ユーザに対して表示する画像を出力する。

【0028】

出力部２２は、端末装置に画像を表示するための装置であり、一例として表示パネルを備えて構成される。ここで、本例示的実施形態において、画像とは、静止画像であってもよいし、動画像（映像）であってもよい。また、画像を出力するとは、一例として、画像を表示することを示す。出力部２２は、第２の点群データによって表される画像を表示する。

【0029】

出力部２２は、一例として、第２の点群データの点サイズの変更やメッシュ処理などの視聴品質を高める処理を第２の点群データに適用したうえで、当該適用後の点群データが表す画像を表示する構成としてもよい。なお、端末装置は、一例として、ＶＲゴーグル、テレビ、ＰＣ（Personal Computer）、タブレット端末、スマートフォン等を挙げることができるが、これは本例示的実施形態を限定するものではない。

【0030】

（点群データの抽出）
図３は、点群データの抽出方法の例を説明するための図である。図３に示すように、本例示的実施形態では、一例として、第１の点群データを階層的に抽出する。図３に示す例では、より具体的に、二分木的に点群データを抽出する。すなわち、点群データから階層的に点群密度が１／２の点群データを抽出し、点群密度を半分にする。抽出方法としては、一定間隔でサンプリングするダウンサンプリングや、ランダムにサンプリングする方法等が用いられる。

【0031】

図３に示す例では、第１の点群データから点群密度が１／２の点群データを抽出することによって、一方の点群データである分割データＡと、分割データＡとは異なるもう一方の点群データとが得られる。そして、当該もう一方の点群データから、更に点群密度が１／２の点群データを抽出する。これにより、一方の点群データである分割データＢと、分割データＢとは異なるもう一方の点群データとが得られる。そして、当該もう一方の点群データから、更に点群密度が１／２の点群データを抽出する。これにより、一方の点群データである分割データＣと、分割データＣとは異なるもう一方の分割データＤとが得られる。ここで、分割データＣまたは分割データＤの一方からさらに点群密度が１／２の点群データを抽出するようにしてもよい。また、このような抽出処理の終了条件として、事前指定された点群数に到達する、指定された抽出回数に到達する、等の条件を用いてもよい。

【0032】

図４は、第１の点群データから点群密度が１／２の点群データを抽出する場合の具体例を示す図である。図４に示すように、第１の点群データの１行目の「○」で示す１つおきの点群が分割データＡとして抽出される。また、第１の点群データの１行目の「△」で示す１つおきの点群がもう一方の分割データとして抽出される。

【0033】

第１の点群データの２行目においては、１行目の「△」の下に位置する「○」で示す１つおきの点群が分割データＡとして抽出される。また、１行目の「○」の下に位置する「△」で示す１つおきの点群がもう一方の分割データとして抽出される。このように、上下左右に互いに隣接しない１つおきの点群データが抽出されて、点群密度が１／２の点群データが作成される。

【0034】

また、図４の例の場合、第１の点群データから抽出されたもう一方の点群データから１／２の点群データを作成する場合も、同様の方法によって分割データが作成される。また、分割データＢの他方の点群データから分割データＣおよび分割データＤを作成する場合も、同様の方法によって分割データが作成される。

【0035】

図４における「〇」「△」は、第1の点群データに含まれるデータ１点を表していてもよく、また、複数の点のデータを表していてもよい。

【0036】

図３に示す例では、第１の点群データから、分割データＡ～分割データＤが抽出されており、ある分割データに含まれる点群と、他の分割データに含まれる点群とが重複することはない。また、第１の点群データに含まれる点群は、分割データＡ～分割データＤの何れかに含まれている。したがって、分割データＡ～分割データＤを合成することによって、第１の点群データを再構成することが可能である。

【0037】

なお、図３、図４の例では、階層的な抽出について説明したが、これは本例示的実施形態を限定するものではなく、非階層的な抽出を用いる構成としてもよい。例えば、点群データから非階層的に点群密度が１／Ｎの点群データを抽出し、同じ点群数の分割データをＮ個生成するようにしてもよい。ここで、Ｎとして、一例として２のべき乗によって表現される正の整数（Ｎ＝２，４，８，１６等）を用いることができるがこれは本例示的実施形態を限定するものではなく、その他のＮを用いてもよい。

【0038】

上述のように、点群データを抽出する方法は、点群データから点群密度が１／２の点群データを抽出する方法に限定されない。また、以下の説明において、第１の点群データから抽出した点群データを点群データＡ～Ｄと呼称することがあるが、以下の点群データＡ～Ｄは図３の抽出方法の一例によって抽出されたデータに限定されるものではない。

【0039】

なお、点群データを抽出するのではなく、点群データに含まれる点群を集約することによって点群密度を低くするようにしてもよい。例えば、ある点のデータについて、周辺の点のデータとの平均値を求めて、複数の点のデータを１つの点のデータとすることにより、点群密度を低くする構成としてもよい。

【0040】

上述のように、送信部１１は、第１の点群データから抽出した第２の点群データを送信する。ここで、第１の点群データから第２の点群データを抽出するとは、上述したように、第１の点群データを分割して得られる分割データの少なくともいずれか１つを、第２の点群データが含むように、第１の点群データから第２の点群データを生成することを意味する。

【0041】

したがって、第２の点群データは、一例として、第１の点群データと点群密度が異なるデータである。

【0042】

また、第２の点群データは、第１の点群データから抽出した、第１の点群データと点群密度が異なる複数の点群データを含んでいてもよい。

【0043】

例えば、送信部１１は、図３に示す分割データＡ～分割データＤの全てを第２の点群データが含むように、第１の点群データから第２の点群データを抽出してもよい。また、送信部１１は、図３に示す分割データＡ～分割データＤの少なくともいずれか１つを第２の点群データが含むように、第１の点群データから第２の点群データを抽出してもよい。送信部１１は、ブロードキャスト配信、またはマルチキャスト配信によって、複数のユーザに対して同じ第２の点群データを配信することができる。

【0044】

なお、送信部１１が、第２の点群データを圧縮して配信する場合、第２の点群データに含まれる分割データ毎に圧縮を行う。例えば、送信部１１が、分割データＡ～分割データＤの全てを含む第２の点群データを配信する場合、分割データＡを圧縮して圧縮データＡを作成する。同様に、送信部１１は、分割データＢ～分割データＤを個別に圧縮して圧縮データＢ～Ｄを作成する。そして、送信部１１は、圧縮データＡ～Ｄを含む第２の点群データを配信する。

【0045】

また、上述したように、受信部２１は、ユーザの視線情報に応じて、第２の点群データを受信する。例えば、図２に示す第１の領域にユーザの視線が向いている場合、受信部２１は、第１の領域の点群密度が高くなるように、分割データＡ（１／２）、分割データＢ（１／４）および分割データＣ（１／８）を受信する。そして、出力部２２は、分割データＡ（１／２）、分割データＢ（１／４）および分割データＣ（１／８）を合成して表示してもよい。

【0046】

第１の領域にユーザの視線が向いている場合、一例として、受信部２１は、第１の領域に隣接する領域について、分割データＡ（１／２）、および分割データＣ（１／８）を受信する。そして、出力部２２は、分割データＡ（１／２）および分割データＣ（１／８）を合成して表示する。したがって、一例として、第１の領域よりも点群密度が低くなる。

【0047】

また、第１の領域にユーザの視線が向いている場合、一例として、受信部２１は、第１の領域から離れた領域については、分割データＣ（１／８）のみを受信する。そして、出力部２２は、分割データＣ（１／８）を表示する。したがって、一例として、第１の領域に隣接する領域よりもさらに点群密度が低くなる。

【0048】

＜映像送信システム１００の効果＞
以上説明したように、本例示的実施形態に係る映像送信システム１００によれば、受信部２１が、ユーザの視線に関する視線情報に応じて、第２の点群データを受信する。したがって、ユーザの視線が向いている領域については点群密度を高くし、ユーザの視線が向いていない領域については点群密度を低くして表示することができ、ユーザに対して高品質な映像を提供することができる。

【0049】

また、受信部２１が、ユーザの視線情報に応じて点群データを受信するため、受信するデータ量を削減することができ、通信の負荷を軽減することが可能となる。また、上述のように、ユーザの視線が向いている領域の点群密度を高くし、その領域から離れるに従って徐々に点群密度を低くするので、より人間の視界に近い映像を提供することができる。

【0050】

また、送信部１１が、ブロードキャスト配信、またはマルチキャスト配信によって、複数のユーザに対して第２の点群データを配信し、各々のユーザに対応する受信部２１が、当該ユーザの視線に関する視線情報に応じて、第２の点群データを受信し、各々のユーザに対応する出力部２２が、当該第２の点群データに基づいて画像を出力するので、複数のユーザ各々の視線に応じた高品質な映像を配信することが可能となる。

【0051】

例えば、送信部１１は、複数のユーザに対してマルチキャスト配信を行う場合、複数のユーザの各々に対して分割データを配信するマルチキャストグループを通知する。複数のユーザが、どの分割データを受信するかに応じて、どのマルチキャストグループに属するかが決定される。

【0052】

例えば、マルチキャストグループ（以下、ＭＣＧと略す。）１に属するユーザには（分割データＡ～分割データＤ）が配信され、ＭＣＧ２に属するユーザには（分割データＢ～分割データＤ）が配信され、ＭＣＧ３に属するユーザには（分割データＣ、分割データＤ）が配信されるとする。また、例えば、ＭＣＧ１では分割データＡが配信され、ＭＣＧ２では分割データＢが配信され、ＭＣＧ３では分割データＣが配信される場合、受信部２１はユーザの視線情報に応じ、１または複数のＭＣＧに属するデータを受信してもよい。

【0053】

受信部２１は、自身が属するマルチキャストグループの分割データであって、ユーザの視線情報に応じた第２の点群データを受信する。例えば、受信部２１は、自身が属するマルチキャストグループがＭＣＧ２であるとすると、分割データＢ～分割データＤの中からユーザの視線情報に応じた第２の点群データを受信することになる。

【0054】

＜映像送信システム１００による映像送信方法の流れ＞
以上のように構成された映像送信システム１００が実行する映像送信方法の流れについて、図５を参照して説明する。図５は、映像送信方法の流れを示すフロー図である。図５に示すように、映像送信方法は、ステップＳ１～Ｓ３を含む。

【0055】

まず、送信部１１は、三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信する（Ｓ１）。次に、受信部２１は、ユーザの視線に関する視線情報に応じて、第２の点群データを受信する（Ｓ２）。最後に、出力部２２は、第２の点群データに基づいて、ユーザに対して表示する画像を出力する（Ｓ３）。

【0056】

＜映像送信方法の効果＞
以上説明したように、本例示的実施形態に係る映像送信方法によれば、ステップＳ２において、ユーザの視線に関する視線情報に応じて、第２の点群データを受信する。したがって、ユーザの視線が向いている領域については点群密度を高くし、ユーザの視線が向いていない領域については点群密度を低くして表示することができ、ユーザに対して高品質な映像を提供することができる。

【0057】

また、ステップＳ２において、ユーザの視線情報に応じて点群データを受信するため、受信するデータ量を削減することができ、通信の負荷を軽減することが可能となる。また、上述のように、ユーザの視線が向いている領域の点群密度を高くし、その領域から離れるに従って徐々に点群密度を低くするので、より人間の視界に近い映像を提供することができる。

【0058】

また、ステップＳ１において、例えば、ブロードキャスト配信、またはマルチキャスト配信によって、複数のユーザに対して第２の点群データを配信し、ステップＳ２において、各々のユーザの視線に関する視線情報に応じて、第２の点群データを受信し、ステップＳ３において、各々のユーザに対応して、当該第２の点群データに基づいて画像を出力するので、複数のユーザの視線に応じた高品質な映像を配信することが可能となる。

【0059】

また、送信部１１は、第２の点群データのマルチキャスト配信またはブロードキャスト配信を行うことで、追加の通信資源を必要とせずに、複数ユーザへのデータ配信が可能となる。

【0060】

なお、配信方法は、上述のようなブロードキャスト配信、マルチキャスト配信に限定されるものではない。

【0061】

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0062】

＜映像送信システム１００’の構成＞
本例示的実施形態に係る映像送信システム１００’の構成について、図６を参照して説明する。図６は、映像送信システム１００’の機能的構成を示すブロック図である。図６に示すように、映像送信システム１００’は、サーバ装置１と、端末装置２とを備えている。

【0063】

（サーバ装置）
図６に示すように、サーバ装置１は、送信部１１と、空間分割部１２と、点群データ抽出部１３と、送信情報生成部１４とを備えている。

【0064】

送信部１１は、本例示的実施形態において送信手段を実現する構成である。空間分割部１２は、本例示的実施形態において空間分割手段を実現する構成である。点群データ抽出部１３は、本例示的実施形態において点群データ抽出手段を実現する構成である。送信情報生成部１４は、本例示的実施形態において送信情報生成手段を実現する構成である。

【0065】

空間分割部１２は、三次元空間内の撮影対象空間の映像を複数の領域に分割する。空間分割部１２は、例えば、図２に示すように、撮影対象空間を複数の領域に分割する。空間分割部１２が分割した領域の１つを、第１の領域と呼ぶ。撮影対象空間の第１の領域には、第１の点群データが含まれる。

【0066】

点群データ抽出部１３は、空間分割部１２によって分割された後の第１の領域を表す点群データから第２の点群データを抽出する。ここで、第１の点群データから第２の点群データを抽出するとは、例示的実施形態１において説明したように、一例として、第１の点群データを分割して得られる分割データの少なくともいずれか１つを、第２の点群データが含むように、第１の点群データから第２の点群データを生成することを意味する。

【0067】

また、点群データ抽出部１３は、第１の点群データを分割して、点群密度が異なる複数の点群データを含む第２の点群データを抽出するようにしてもよい。一例として、点群データ抽出部１３は、第１の点群データを複数の点群データ、例えば、図３に示すように分割データＡ～分割データＤに分割し、第２の点群データとして抽出する構成としてもよい。例示的実施形態１で説明したように、分割データＡ～分割データＤを合成することによって、第１の点群データを再構成することが可能である。

【0068】

送信部１１は、第２の点群データを送信する。ここで、第２の点群データの送信は、一例としてネットワークを介して行われる。当該ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。

【0069】

また、送信部１１は、三次元空間における、第１の領域とは異なる第２の領域を表す第３の点群データから抽出した第４の点群データを送信するようにしてもよい。例えば、図２に示す第１の領域に隣接する領域の１つが第２の領域であり、点群データ抽出部１３が、第２の領域を表す第３の点群データを分割して、第４の点群データを抽出する。ここで、第３の点群データから第４の点群データを抽出する具体的な方法としては、上述した第１の点群データから第２の点群データを抽出する方法と同様の方法を用いることができる。

【0070】

送信情報生成部１４は、第２の点群データに関する送信情報を生成する。送信情報生成部１４は、例えば、分割された領域の空間情報、分割データ毎の点群データに含まれる点の数、点群データのビットレート、第２の点群データを配信するチャネル情報等を含む送信情報を生成し、送信部１１に出力する。

【0071】

空間情報の一例として、分割された各空間を構成する直方体の８個のコーナーの座標等を挙げることができる。また、送信情報には、例えば、図３に示す分割データＡ～分割データＤの点群数や、その分割データを配信するチャネル情報（ＩＰマルチキャストにおけるマルチキャストグループのＩＰアドレス等）が含まれる。なお、図７に示すように、分割した領域自体に名称を付け、空間情報としてもよい。

【0072】

送信情報は、第２の点群データの大きさに関する情報を含む。第２の点群データの大きさに関する情報とは、例えば、第２の点群データの点群数や第２の点群データの点群密度第２の点群データのデータ容量である。また、送信情報は、撮影対象空間内で第１の領域が占める位置に関する情報、第１の領域と第２の点群データとの対応関係に関する情報、第２の点群データのビットレートに関する情報の少なくともいずれか１つを含んでいてもよい。ここで、第１の領域と第２の点群データの対応関係に関する情報とは、一例として、第２の点群データが、分割された領域の中の何れの領域に対応するかを示す情報である。また、第２の点群データを送信する伝送路の情報を含んでもよい。

【0073】

送信部１１は、第２の点群データおよび送信情報を送信する。このとき、送信部１１は、第２の点群データに複数の分割データが含まれる場合、複数の分割データのそれぞれに対応付けて送信情報を端末装置２に送信する。

【0074】

なお、サーバ装置１が、三次元映像を配信する際、分割データ毎に異なる伝送路を用いるようにしてもよい。分割データ毎に異なる伝送路を用いる場合、送信情報は分割データを伝送する伝送路の情報を含んでもよい。例えば、点群密度が高い分割データは、高速で送信できる伝送路を用いて配信する。また、点群密度が低い分割データは、比較的低速な別の伝送路を用いて配信する。

【0075】

（端末装置）
図６に示すように、端末装置２は、ユーザの視線を示す視線情報を取得する視線情報収集部２３と、三次元空間内の第１の領域を表す第１の点群データから抽出された第２の点群データを、視線情報に応じて受信する受信部２１と、受信部２１が受信した第２の点群データに基づいて、ユーザに対して表示する画像を出力する出力部２２と、取得する点群データを特定する取得データ特定部２４とを備えている。端末装置２が備える各部による具体的な処理については後述する。

【0076】

なお、端末装置２の受信部２１は、点群データによって表される三次元空間をユーザがどの方向から見るかを示す視点の情報を受信してもよい。例えば、図７においては、ユーザが点群データによって表される三次元空間を左側の視点から見ている。

【0077】

受信部２１は、本例示的実施形態において受信手段を実現する構成である。出力部２２は、本例示的実施形態において出力手段を実現する構成である。視線情報収集部２３は、本例示的実施形態において視線情報取得手段を実現する構成である。取得データ特定部２４は、本例示的実施形態において特定手段を実現する構成である。

【0078】

図７は、受信部２１による点群データの受信方法を説明するための図である。受信部２１は、ＶＲゴーグル等の視線情報収集部２３によって収集されたユーザの視線情報に応じて、第２の点群データを受信する。例えば、図７に示すように、領域ｂ２にユーザの視線が向いている場合、受信部２１は、領域ｂ２の点群密度が高くなるように、領域ｂ２の第２の点群データを受信する。なお、視線情報収集部２３による視線情報の具体的な収集処理は本例示的実施形態を限定するものではないが、一例として、例示的実施形態１において説明したように、ＶＲゴーグルが備える加速度センサや角速度センサ等を用いてユーザの視線情報を収集してもよい。また、ユーザがいる視聴場所に備えられたカメラによる撮像データを視線情報収集部２３が取得し、視線情報収集部２３において当該撮像データを解析することによって、ユーザの視線情報を収集する構成としてもよい。

【0079】

また、受信部２１は、領域ｂ２に隣接する領域ｂ１、ｂ３、ｂ５、ｂ８については、領域ｂ２よりも点群密度が低くなるように、領域ｂ１、ｂ３、ｂ５、ｂ８の第２の点群データを受信する。

【0080】

また、受信部２１は、領域ｂ２から離れた領域ｂ４、ｂ６、ｂ７、ｂ９については、領域ｂ１、ｂ３、ｂ５、ｂ８よりもさらに点群密度が低くなるように、領域ｂ４、ｂ６、ｂ７、ｂ９の第２の点群データを受信する。

【0081】

端末装置２は、ユーザに表示する画質を特定する取得データ特定部２４を備え、受信部２１は、特定した画質に応じて、第２の点群データを受信するようにしてもよい。受信部２１は、例えば、図２に示す第１の領域にユーザの視線が向いている場合、第１の領域の映像が高画質となるように、第２の点群データに含まれる点群密度が高い分割データを特定して受信する。また、ユーザの視線が向いていない第１の領域以外の領域の映像は、第１の領域の映像よりも画質が低くなるように、第２の点群データに含まれる点群密度が低い分割データを特定して受信する。

【0082】

また、サーバ装置１の送信部１１が、三次元空間における、第１の領域とは異なる第２の領域を表す第３の点群データから第４の点群データを抽出して更に送信する場合、端末装置２の受信部２１が、視線情報に応じて、第４の点群データを受信し、出力部２２が、第２の点群データと第４の点群データとに基づいて、ユーザに対して表示する画像を出力するようにしてもよい。

【0083】

また、サーバ装置１の送信部１１が、第２の点群データおよび送信情報を送信する場合、端末装置２の受信部２１が、視線情報及び受信した送信情報に応じて、第２の点群データを受信し、出力部２２が、第２の点群データおよび送信情報に基づいて、ユーザに対して表示する画像を出力するようにしてもよい。

【0084】

図８は、複数のユーザが点群データを受信する場合を説明するための図である。図８に示すように、領域ｂ２に第１のユーザの視線が向いている場合、第１のユーザの端末装置２の受信部２１は、領域ｂ２の点群密度が高くなるように、領域ｂ２の第２の点群データを受信する。また、第１のユーザの端末装置２の受信部２１は、領域ｂ２に隣接する領域ｂ１、ｂ３、ｂ５等については、領域ｂ２よりも点群密度が低くなるように、領域ｂ１、ｂ３、ｂ５等の第２の点群データを受信する。また、第１のユーザの端末装置２の受信部２１は、領域ｂ２から離れた領域ｂ４、ｂ６等については、領域ｂ１、ｂ３、ｂ５等よりもさらに点群密度が低くなるように、領域ｂ４、ｂ６等の第２の点群データを受信する。

【0085】

一方、領域ｂ８に第２のユーザの視線が向いている場合、第２のユーザの端末装置２の受信部２１は、領域ｂ８の点群密度が高くなるように、領域ｂ８の第２の点群データを受信する。また、第２のユーザの端末装置２の受信部２１は、領域ｂ８に隣接する領域ｂ５、ｂ７、ｂ９等については、領域ｂ８よりも点群密度が低くなるように、領域ｂ５、ｂ７、ｂ９等の第２の点群データを受信する。また、第２のユーザの端末装置２の受信部２１は、領域ｂ８から離れた領域ｂ４、ｂ６等については、領域ｂ５、ｂ７、ｂ９等よりもさらに点群密度が低くなるように、領域ｂ４、ｂ６等の第２の点群データを受信する。

【0086】

このように、第１のユーザおよび第２のユーザの端末装置２は、各々の視線情報に応じて、最適な点群密度の点群データを受信して出力することができる。

【0087】

取得データ特定部２４は、第１の領域の表示距離、および第２の点群データの点群密度によって特定される視聴品質に関する評価関数に基づいて、取得する第２の点群データを特定する。表示距離とは、点群データによって表される三次元空間内における、ユーザの視点から任意の領域までの距離を表す。例えば、第１の領域の表示距離の場合、点群データによって表される三次元空間内における、ユーザの視点から第1の領域までの距離を表す。

【0088】

図９は、視聴品質に関する評価関数を説明するための図である。図９に示すように、視聴品質（ＱｏＥ）は、点群データの点群密度（Density）と、ユーザの視線が向いている領域（以下、注視領域と呼ぶこともある。）までの表示距離（Distance）と、によって表すことができる。この点群密度と注視領域までの表示距離との関係を関数で表したものを、視聴品質に関する評価関数とする。

【0089】

取得データ特定部２４は、例えば、分割領域毎の点群密度（配信される点群データが分割されている場合は各分割データの点群密度の合計値）と表示距離によって決定される視聴品質の合計値を最大化するように、領域毎に、分割データの優先度を特定する。受信部２１は、取得データ特定部２４によって特定された優先度に応じて、サーバ装置１から分割データを受信する。

【0090】

また、取得データ特定部２４は、サーバ装置１から配信される各領域を表す点群データのビットレートと、表示距離とによって決定される視聴品質の合計値を最大化するように、領域毎に、分割データの優先度を特定するようにしてもよい。

【0091】

受信可能な領域ｎのビットレートをｂ（ｎ，ｉ）とし、領域ｎまでの距離をｄ（ｎ）とすると、分割領域の視聴品質の評価関数はＵ（ｂ，ｄ）となる。したがって、総視聴品質は、（式１）で表すことができる。制約条件は、（式２）の通りである。なお、点群データが分割されている場合には、ｉは１～分割数となる。例えば、点群データが４つに分割されている場合、ｉ＝１～４となる。

【0092】

総視聴品質＝ΣＵ（ｂ（ｎ，ｉ），ｄ（ｎ）) ・・・（式１）
Σｂ（ｎ，ｉ）≦ｍｉｎ（無線帯域，処理能力最大受信レート） ・・・（式２）
取得データ特定部２４は、（式２）の制約条件を満たす範囲で、（式１）の総視聴品質が最大となるように、領域毎に、分割データの優先度を特定する。

【0093】

点群データの受信は、端末装置２の端末能力や常時変化するネットワーク帯域によって取得可能な点群データの点群数の上限に制約が生じるため、受信部２１は、点群データの点群数の上限以下となるように、優先度に応じて点群データを受信する。

【0094】

出力部２２は、各分割領域に対応して受信した点群データを統合するように合成し、表示処理を行う。出力部２２は、一例として、第２の点群データの点サイズの変更やメッシュ処理などの視聴品質を高める処理を第２の点群データに適用したうえで、当該適用後の点群データが表す画像を表示する構成としてもよい。なお、端末装置は、一例として、ＶＲゴーグル、テレビ、ＰＣ（Personal Computer）、タブレット端末、スマートフォン等を挙げることができるが、これは本例示的実施形態を限定するものではない。

【0095】

＜映像送信システム１００による映像送信方法の流れ＞
以上のように構成された映像送信システム１００が実行する映像送信方法の流れについて、図１０を参照して説明する。図１０は、映像送信方法の流れを示すフロー図である。図１０に示すように、映像送信方法は、ステップＳ１１～Ｓ１８を含む。

【0096】

まず、サーバ装置１の空間分割部１２は、撮影対象空間を複数の領域に分割する（Ｓ１１）。そして、サーバ装置１の点群データ抽出部１３は、第１の領域を表す第１の点群データを分割して、点群密度が異なる複数の点群データを含む第２の点群データを抽出する（Ｓ１２）。

【0097】

次に、サーバ装置１の送信情報生成部１４は、点群データ抽出部１３によって抽出された点群データの領域、点群データの点群密度等から送信情報を生成し（Ｓ１３）、送信部１１が、送信情報を端末装置２に送信する。

【0098】

一方、端末装置２の取得データ特定部２４は、視線情報収集部２３によって収集されたユーザの視線情報を取得する（Ｓ１４）。取得データ特定部２４は、受信部２１が、サーバ装置１から送信情報を受信すると、当該送信情報を取得し、ユーザの視線情報と当該送信情報とから、取得する点群データを特定し（Ｓ１５）、特定した点群データを受信部２１に通知する。

【0099】

サーバ装置１から、各領域における抽出された点群データが送信されると、端末装置２の受信部２１は、取得データ特定部２４から通知された点群データのみを受信し（Ｓ１６）、受信した点群データを出力部２２に出力する。

【0100】

そして、端末装置２の出力部２２は、受信部２１によって受信された点群データを合成し（Ｓ１７）、合成した画像を出力する（Ｓ１８）。以降、ステップＳ１１～Ｓ１８の処理が繰り返し行われる。したがって、ユーザの視線情報が変更されるごとに、ステップＳ１５～Ｓ１８において、変更された視線情報に応じた点群データの受信が行われ、点群データの合成および画像の出力が行われることになる。

【0101】

＜端末装置２による映像受信方法の流れ＞
以下、映像送信システム１００の端末装置２が実行する映像受信方法の流れについて、図１１を参照して説明する。図１１は、本発明の例示的実施形態２に係る端末装置２による映像受信方法の流れを示すフロー図である。

【0102】

まず、取得データ特定部２４は、視線情報収集部２３によって収集されたユーザの視線情報から得られた注視領域までの対象距離、サーバ装置１から受信した送信情報、および対象距離と点群密度とによって特定される視聴品質に関する評価関数に基づいて、取得する点群データの優先度を特定する（Ｓ２１）。

【0103】

次に、受信部２１は、取得データ特定部２４によって特定された点群データの優先度に基づいて、サーバ装置１から配信された複数の点群データの中から、三次元映像を構成するために必要な点群データを受信する（Ｓ２２）。

【0104】

最後に、出力部２２は、各領域に対応して受信した点群データを統合・合成し、表示処理を行う（Ｓ２３）。

【0105】

なお、サーバ装置１の各部がクラウド上で別々の装置に実装されてもよい。例えば、送信部１１と空間分割部１２とが１つの装置であってもよく、点群データ抽出部１３と送信情報生成部１４とが１つの装置であってもよい。これらは、１つの装置内に実装されてもよいし、別々の装置に実装されてもよい。例えば、別々の装置に実装される場合、通信ネットワークを介して各部の情報が送受信されて処理が進められる。

【0106】

同様に、端末装置２の各部がクラウド上で別々の装置に実装されてもよい。例えば、受信部２１と出力部２２とが１つの装置であってもよく、視線情報収集部２３と取得データ特定部２４とが１つの装置であってもよい。これらは、１つの装置内に実装されてもよいし、別々の装置に実装されてもよい。例えば、別々の装置に実装される場合、通信ネットワークを介して各部の情報が送受信されて処理が進められる。

【0107】

＜映像送信システム１００’の効果＞
以上説明したように、本例示的実施形態に係る映像送信システム１００’によれば、送信情報生成部１４は、撮影対象空間内で第１の領域が占める位置に関する情報、第１の領域と第２の点群データとの対応関係に関する情報、および第２の点群データのビットレートに関する情報の少なくともいずれか１つを含む送信情報を生成する。したがって、出力部２２は、送信情報に基づいて、第２の点群データを適切に合成して表示することが可能となる。

【0108】

また、取得データ特定部２４は、第１の領域までの表示距離、および第２の点群データの点群密度によって特定される視聴品質に関する評価関数に基づいて、取得する第２の点群データを特定する。したがって、出力部２２は、視聴品質が高くなるように三次元映像を表示することが可能となる。

【0109】

また、本例示的実施形態に係る端末装置２は、ユーザの視線に応じて、第２の点群データを取得するので、サーバ装置１側で各ユーザの視線に合わせて各領域の点群データを抽出する場合と比較して、サーバ装置１の負荷を軽減することが可能となる。

【0110】

〔例示的実施形態３〕
本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１および２において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0111】

サーバ装置１が、例えば、無線通信によって点群データを配信する場合、無線帯域が不足して、全ての点群データを配信できないことが想定される。本例示的実施形態においては、サーバ装置１が、端末装置２からユーザの視線情報（注視領域）を取得し、複数のユーザの視線情報に基づいて点群データを配信することによって、消費帯域を削減するものである。

【0112】

図１２は、本発明の例示的実施形態３に係る映像送信システム１００Ａの機能的構成を示すブロック図である。映像送信システム１００Ａは、サーバ装置１Ａと、端末装置２Ａとを備えている。

【0113】

また、サーバ装置１Ａは、空間分割部１２と、点群データ抽出部１３と、送信情報生成部１４と、通信部１５と、送信データ特定部１６とを含む。通信部１５は、第２の点群データおよび送信情報を端末装置２Ａに送信し、端末装置２Ａからユーザの注視領域を受信する。このように、サーバ装置１Ａは、概要として、例示的実施形態２に係るサーバ装置１が備える構成に加えて、送信データ特定部１６を更に備えており、送信部１１に代えて、通信部１５を備えている。

【0114】

通信部（送信部）１５が、ユーザの視線情報に応じて、第２の点群データを送信する。具体的には、まず、送信データ特定部１６が、通信部１５によって受信された複数のユーザの視線情報（注視領域）に基づいて、点群データに対する配信優先度を決定し、サーバ装置１Ａの配信性能やネットワーク帯域の制約に合わせて送信する点群データを特定する。そして、通信部１５が、送信データ特定部１６によって決定された配信優先度に応じて点群データを配信する。

【0115】

例えば、送信データ特定部１６は、全ての領域について、分割を行った最小の点群密度を持つ点群データ（例えば、図３に示す分割データＣ）を配信することとし、処理性能やネットワーク帯域に余裕がある限り、ユーザの注視領域数に応じて、分割された複数の点群データのうち、点群密度がより高い点群データから順次、空いている帯域に点群データを割当てていくようにしてもよい。

【0116】

図１３は、複数のユーザの注視領域数に応じて配信優先度を決定する方法を説明するための図である。複数のユーザのそれぞれと各分割領域との距離に応じてスコアを割り当てる。図１３に示すように、左側のユーザが注視している領域に近い領域に最も小さいスコアを割り当て、距離が大きくなるほど大きなスコアを割り当てる。

【0117】

同様に、右側のユーザが注視している領域に近い領域に最も小さいスコアを割り当て、距離が大きくなるほど大きなスコアを割り当てる。送信データ特定部１６は、各分割領域において、全てのユーザのスコアを合計してスコア付けを行う。スコアの最小値となっている領域の配信優先度を高くし、スコアが大きくなるに従って配信優先度を低くする。

【0118】

図１４は、本発明の例示的実施形態３に係る映像送信システム１００Ａによる映像送信方法の流れを示すフロー図である。まず、空間分割部１２は、撮影対象空間の点群データを取得し（Ｓ３１）、点群データを空間的に分割する（Ｓ３２）。

【0119】

次に、点群データ抽出部１３は、空間分割部１２によって空間的に分割された第１の領域を表す第１の点群データを、それぞれの点群密度が異なる点群データとなるように抽出する（Ｓ３３）。通信部１５は、抽出された点群データの全てを配信可能なサーバ装置１Ａの処理性能および、端末装置２Ａと通信網との間の通信帯域があるか否かを判定する（Ｓ３４）。

【0120】

抽出された点群データの全てを配信可能であれば（Ｓ３４，Ｙｅｓ）、ステップＳ３６に処理が進む。また、抽出された全ての点群データの一部でも配信不可能であれば（Ｓ３４，Ｎｏ）、送信データ特定部１６は、複数のユーザの注視領域および距離情報に基づいて、配信対象の点群データを決定する（Ｓ３５）。

【0121】

ステップＳ３６において、通信部１５は、送信データ特定部１６によって配信対象に決定された点群データをブロードキャスト配信またはマルチキャスト配信によって配信し、処理を終了する。

【0122】

（録画した三次元映像の再配信）
サーバ装置１は、生成した分割データをサーバ装置１に保存し、端末装置２は、サーバ装置１にアクセスしてユーザの視線に応じた分割データを受信することで、オンデマンドで映像を視聴可能な構成とすることもできる。

【0123】

サーバ装置１が、録画した三次元映像を再配信する場合、前に三次元映像を配信したときの複数ユーザの注視領域を参照して第２の点群データを準備しておき、録画した三次元映像を再配信するようにしてもよい。

【0124】

例えば、サーバ装置１Ａが、三次元映像を配信するときに、三次元映像の各場面に対応付けて複数ユーザの注視領域を記録しておく。そして、サーバ装置１Ａが、同じ三次元映像を再配信するときに、前の複数ユーザの注視領域を参照して配信対象の点群データを決定し、三次元映像を送信する。したがって、前回複数のユーザが注視していた箇所については高画質となるように分割データを配信することができる。

【0125】

また、サーバ装置１Ａが、１人のユーザの注視領域を参照して第２の点群データを準備し、録画した三次元映像を再配信するようにしてもよい。例えば、サーバ装置１Ａが、三次元映像を配信するときに、三次元映像の各場面に対応付けて、あるユーザの注視領域を記録しておく。そして、サーバ装置１Ａが、同じユーザに三次元映像を再配信するときに、そのユーザの注視領域を参照して配信対象の点群データを決定し、三次元映像を送信する。したがって、そのユーザが注視していた箇所については高画質となるように分割データを配信することができる。

【0126】

＜映像送信システム１００Ａの効果＞
以上説明したように、本例示的実施形態に係る映像送信システム１００Ａによれば、送信データ特定部１６は、通信部１５によって受信された複数のユーザの注視領域に基づいて、点群データに対する配信優先度を決定し、送信する点群データを特定する。したがって、通信部１５は、サーバ装置１Ａの配信性能やネットワーク帯域の制約に合わせて点群データを送信することが可能となる。

【0127】

〔例示的実施形態４〕
本発明の第４の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0128】

図１５は、本発明の例示的実施形態４に係る映像送信システム１００Ｂの機能的構成を示すブロック図である。映像送信システム１００Ｂは、サーバ装置１Ｂと、端末装置２とを備えている。

【0129】

また、サーバ装置１Ｂは、送信部１１と、空間分割部１２と、点群データ抽出部１３と、送信情報生成部１４と、分割領域認識部１７とを含む。分割領域認識部１７は、人物や物体を認識し、人物や物体ごと、または人の体のパーツごとに領域を特定する。

【0130】

空間分割部１２は、分割領域認識部１７によって特定された領域に応じて、空間を分割する。例えば、人の体のパーツごとに領域が分けられ、その領域に対応する空間が分割される。例えば、ユーザが、サッカーの試合を観戦している場合、サッカー選手の足の点群データを１つの単位とし、点群データ抽出部１３は、その点群データを抽出して第２の点群データを抽出する。それ以降の処理については、例示的実施形態１～３において説明したものと同様である。

【0131】

＜映像送信システム１００Ｂの効果＞
以上説明したように、本例示的実施形態に係る映像送信システム１００Ｂによれば、分割領域認識部１７が、人物や物体ごと、または人の体のパーツごとに領域を特定するようにした。したがって、人物や物体ごと、または人の体のパーツごとに同じ品質で三次元映像を提供することが可能となる。

【0132】

〔例示的実施形態５〕
本発明の第５の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0133】

図１６は、本発明の例示的実施形態５に係る映像送信システム１００Ｃの機能的構成を示すブロック図である。映像送信システム１００Ｃは、サーバ装置１Ｃと、端末装置２とを備えている。

【0134】

また、サーバ装置１Ｃは、送信部１１と、空間分割部１２と、点群データ抽出部１３と、送信情報生成部１４と、注視箇所特定部１８とを含む。注視箇所特定部１８は、配信側で、視聴者に注目してほしい人物や物体等の領域を指定し、当該領域（以下、注視指定箇所と呼ぶ。）が高画質となるように指定する。例えば、注目させたい対象や領域にセンサから検知できる印を付けておく。そして、注視箇所特定部１８が、取得した映像を解析し、注目させたい印が付けられた対象を認識する、等の方法で注目させたい領域を特定する。

【0135】

例えば、サーバ装置１Ｃが、劇などの舞台の映像を配信する場合、注目させたい人物や対象物に上記センサから検知できる印を付けておく。これによって、注視箇所特定部１８が、注目させたい印が付けられた対象を認識することができる。また、上記センサとして、撮影対象空間の情報を取得するセンサであれば各種のセンサを用いることができる。上記センサの一例として、カメラ等を使用することができる。

【0136】

送信情報生成部１４は、注視箇所特定部１８によって特定された注目させたい領域が高画質となるように送信情報を生成する。また、点群データ抽出部１３は、注視箇所特定部１８によって特定された注目させたい領域が高画質となるように第２の点群データを抽出する。それ以降の処理については、例示的実施形態１～３において説明したものと同様である。

【0137】

また、サーバ装置１Ｃが、視聴者の視線を制限する構成を有していてもよい。例えば、サーバ装置１Ｃが、端末装置２に対して視線情報収集部２３によって収集された視線情報を無効とする指示を送信する。端末装置２の取得データ特定部２４は、視聴者の視線情報に関係なく点群データを特定することになる。これによって、視聴者の視線に関係なく、注目させたい人物や対象物を高画質で端末装置２に表示させることができる。

【0138】

例えば、観劇等の場合には、配信された映像においてユーザが見ることができる方向を制限する構成を備えていてもよい。これにより、ユーザは観劇に適した方向から映像を見ることができる。

【0139】

＜映像送信システム１００Ｃの効果＞
以上説明したように、本例示的実施形態に係る映像送信システム１００Ｃによれば、注視箇所特定部１８が、注視指定箇所が高画質となるように指定するようにした。したがって、配信側が、視聴者に注目してほしい人物や物体等の領域を特定し、特定した領域の三次元映像を高画質で提供することが可能となる。

【0140】

〔例示的実施形態６〕
本発明の第６の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１～３において説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。

【0141】

本例示的実施形態においては、端末装置２Ａへ送信する三次元映像にイラストや写真等を重畳するものである。例えば、ユーザが行っているゲームの映像にイラスト等を入れることを可能にする。なお、三次元映像ではなく、三次元画像にイラストや写真等を重畳するようにしてもよい。

【0142】

図１７は、本発明の例示的実施形態６に係る映像送信システム１００Ｄの機能的構成を示すブロック図である。映像送信システム１００Ｄは、サーバ装置１Ｄと、端末装置２Ａとを備えている。また、サーバ装置１Ｄは、空間分割部１２と、点群データ抽出部１３と、送信情報生成部１４と、通信部１５と、合成データ受信部１９とを含む。

【0143】

合成データ受信部１９は、映像を配信しているユーザから、送信中の３次元空間の点群データに重畳させるイラストを表すデータを受信する。サーバ装置１Ｄの通信部１５は、受信したイラストを表すデータを点群データと共に端末装置２Ａに送信する。端末装置２Ａの出力部２２は、受信したイラストを点群データに重畳して表示する。

【0144】

また、以下のような構成であってもよい。端末装置２Ａの通信部２５は、映像を視聴しているユーザが指定したイラスト等のデータをサーバ装置１Ｄに送信する。

【0145】

サーバ装置１Ｄの通信部１５は、端末装置２Ａから送信されたイラスト等のデータを受信する。また、合成データ受信部１９は、通信部１５によって受信されたイラスト等のデータを受け、イラストの位置や色などを送信情報生成部１４に通知する。

【0146】

送信情報生成部１４は、合成データ受信部１９からの通知に応じて、イラスト、当該イラストの位置や色等から送信情報を生成する。また、点群データ抽出部１３は、イラストを点群データに重畳し、イラストが重畳された点群データを抽出して第２の点群データを抽出する。それ以降の処理については、例示的実施形態１～３において説明したものと同様である。

【0147】

配信されている映像を視聴するユーザがイラスト等を表示したい場合、サーバ装置１Ｄに対してイラスト等のデータを送信せず、視聴するユーザの端末装置２Ａに対してイラスト等のデータを送信するようにしてもよい。

【0148】

また、イラスト等を映像に重畳する機能を、端末装置２Ａが有していてもよい。その場合、端末装置２Ａは、映像を視聴しているユーザから、ユーザが指定したイラスト等のデータを受信する。そして、サーバ装置１Ｄから受信した映像に、ユーザから受信したイラスト等のデータを重畳して表示する。

【0149】

＜映像送信システム１００Ｄの効果＞
以上説明したように、本例示的実施形態に係る映像送信システム１００Ｄによれば、点群データ抽出部１３が、イラストを点群データに重畳し、イラストが重畳された点群データから第２の点群データを抽出するようにした。したがって、三次元映像にユーザが好みのイラスト等を入れることが可能となる。

【0150】

〔ソフトウェアによる実現例〕
サーバ装置１，１Ａ～１Ｄ、端末装置２，２Ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

【0151】

後者の場合、サーバ装置１，１Ａ～１Ｄ、端末装置２，２Ａは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１８に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣをサーバ装置１，１Ａ～１Ｄ、端末装置２，２Ａとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、サーバ装置１，１Ａ～１Ｄ、端末装置２，２Ａの各機能が実現される。

【0152】

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。

【0153】

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

【0154】

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。

【0155】

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

【0156】

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。

【0157】

（付記１）
三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信する送信手段と、
ユーザの視線に関する視線情報に応じて、前記第２の点群データを受信する受信手段と、
前記第２の点群データに基づいて、前記ユーザに対して表示する画像を出力する出力手段と、を備える、映像送信システム。

【0158】

上記の構成によれば、複数のユーザの視線に応じた好適な映像を配信することが可能となる。

【0159】

（付記２）
前記ユーザに表示する画質を特定する特定手段を備え、
前記受信手段は、前記特定した画質に応じて、前記第２の点群データを受信する、付記１に記載の映像送信システム。

【0160】

上記の構成によれば、受信手段が、映像の画質に応じた第２の点群データを受信することが可能となる。

【0161】

（付記３）
前記第２の点群データは、前記第１の点群データから抽出した、前記第１の点群データと点群密度が異なる複数の点群データを含む、付記１または２に記載の映像送信システム。

【0162】

上記の構成によれば、出力手段が、複数の点群データのいずれかを合成して出力することにより、品質が異なる映像を表示することが可能となる。

【0163】

（付記４）
前記送信手段は、
前記三次元空間における、前記第１の領域とは異なる第２の領域を表す第３の点群データから抽出した第４の点群データを送信し、
前記受信手段は、前記視線情報に応じて、前記第４の点群データを受信し、
前記出力手段は、前記第２の点群データと前記第４の点群データとに基づいて、前記ユーザに対して表示する画像を出力する、付記１～３のいずれかに記載の映像送信システム。

【0164】

上記の構成によれば、送信手段が、三次元空間における領域ごとに異なる点群密度の点群データを送信することが可能となる。

【0165】

（付記５）
前記映像送信システムは、前記第２の点群データに関する送信情報を生成する送信情報生成手段を備え、
前記送信手段は、前記第２の点群データおよび前記送信情報を送信し、
前記受信手段は、前記視線情報及び受信した前記送信情報に応じて、前記第２の点群データを受信し、
前記出力手段は、前記第２の点群データおよび前記送信情報に基づいて、前記ユーザに対して表示する画像を出力する、付記１～４のいずれかに記載の映像送信システム。

【0166】

上記の構成によれば、出力手段が、送信情報に応じて第２の点群データに基づく画像を出力することができ、三次元映像を好適に表示することが可能となる。

【0167】

（付記６）
前記送信情報は、
前記第１の領域の前記三次元空間内での位置に関する情報、
前記第１の領域と前記第２の点群データとの対応関係に関する情報、および
前記第２の点群データの点群密度に関する情報
の少なくともいずれか１つを含む、付記５に記載の映像送信システム。

【0168】

上記の構成によれば、出力手段が、三次元映像をさらに好適に表示することが可能となる。

【0169】

（付記７）
前記送信手段は、前記ユーザの視線情報に応じて、前記第２の点群データを送信する、付記１～６のいずれかに記載の映像送信システム。

【0170】

上記の構成によれば、送信手段が、ユーザの視線情報に応じて、送信すべき第２の点群データを容易に特定することが可能となる。

【0171】

（付記８）
ユーザの視線を示す視線情報を取得する視線情報取得手段と、
三次元空間内の第１の領域を表す第１の点群データから抽出された第２の点群データを、前記視線情報に応じて受信する受信手段と、
前記受信手段が受信した前記第２の点群データに基づいて、前記ユーザに対して表示する画像を出力する出力手段と、を備える、端末装置。

【0172】

上記の構成によれば、受信手段が、ユーザの視線に応じた好適な映像を受信することが可能となる。

【0173】

（付記９）
前記ユーザに表示する画質を特定する特定手段を備え、
前記受信手段は、前記特定した画質に応じて、前記第２の点群データを受信する、付記８に記載の端末装置。

【0174】

上記の構成によれば、受信手段が、映像の画質に応じた第２の点群データを受信することが可能となる。

【0175】

（付記１０）
前記第２の点群データは、前記第１の点群データから抽出した、前記第１の点群データと点群密度が異なる複数の点群データを含む、付記８または９に記載の端末装置。

【0176】

上記の構成によれば、出力手段が、複数の点群データのいずれかを合成して出力することにより、品質が異なる映像を表示することが可能となる。

【0177】

（付記１１）
前記受信手段は、前記視線情報に応じて、前記三次元空間における、前記第１の領域とは異なる第２の領域を表す第３の点群データから抽出した第４の点群データを受信し、
前記出力手段は、前記第２の点群データと前記第４の点群データとに基づいて、前記ユーザに対して表示する画像を出力する、付記８～１０のいずれかに記載の端末装置。

【0178】

上記の構成によれば、受信手段が、三次元空間における領域ごとに異なる点群密度の点群データを受信することが可能となる。

【0179】

（付記１２）
前記受信手段は、前記視線情報及び受信した前記第２の点群データに関する送信情報に応じて、前記第２の点群データを受信し、
前記出力手段は、前記第２の点群データおよび前記送信情報に基づいて、前記ユーザに対して表示する画像を出力する、付記８～１１のいずれかに記載の端末装置。

【0180】

上記の構成によれば、出力手段が、送信情報に応じて第２の点群データに基づく画像を出力することができ、三次元映像を好適に表示することが可能となる。

【0181】

（付記１３）
三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信し、
ユーザの視線に関する視線情報に応じて、前記第２の点群データを受信し、
前記第２の点群データに基づいて、前記ユーザに対して表示する画像を出力する、映像送信方法。

【0182】

上記の構成によれば、複数のユーザの視線に応じた好適な映像を配信することが可能となる。

【0183】

（付記１４）
前記第２の点群データを受信する工程では、
前記ユーザに表示する画質を特定し、
前記特定した画質に応じて、前記第２の点群データを受信する、付記１３に記載の映像送信方法。

【0184】

上記の構成によれば、映像の画質に応じた第２の点群データを受信することが可能となる。

【0185】

（付記１５）
前記第２の点群データは、前記第１の点群データから抽出した、前記第１の点群データと点群密度が異なる複数の点群データを含む、付記１３または１４に記載の映像送信方法。

【0186】

上記の構成によれば、複数の点群データのいずれかを合成して出力することにより、品質が異なる映像を表示することが可能となる。

【0187】

（付記１６）
前記第２の点群データを送信する工程では、
前記三次元空間における、前記第１の領域とは異なる第２の領域を表す第３の点群データから抽出した第４の点群データを送信し、
前記第２の点群データを受信する工程では、
前記視線情報に応じて、前記第４の点群データを受信し、
前記画像を出力する工程では、
前記第２の点群データと前記第４の点群データとに基づいて、前記ユーザに対して表示する画像を出力する、付記１３～１５のいずれかに記載の映像送信方法。

【0188】

上記の構成によれば、三次元空間における領域ごとに異なる点群密度の点群データを送信することが可能となる。

【0189】

（付記１７）
前記映像送信方法は、
前記第２の点群データに関する送信情報を生成する工程を含み、
前記第２の点群データを送信する工程では、
前記第２の点群データおよび前記送信情報を送信し、
前記第２の点群データを受信する工程では、
前記視線情報及び受信した前記送信情報に応じて、前記第２の点群データを受信し、
前記画像を出力する工程では、
前記第２の点群データおよび前記送信情報に基づいて、前記ユーザに対して表示する画像を出力する、付記１３～１６のいずれかに記載の映像送信方法。

【0190】

上記の構成によれば、送信情報に応じて第２の点群データに基づく画像を出力することができ、三次元映像を好適に表示することが可能となる。

【0191】

（付記１８）
前記第１の領域の前記三次元空間内での位置に関する情報、
前記第１の領域と前記第２の点群データとの対応関係に関する情報、および
前記第２の点群データの点群密度に関する情報
の少なくともいずれか１つを含む、付記１７に記載の映像送信方法。

【0192】

上記の構成によれば、三次元映像をさらに好適に表示することが可能となる。

【0193】

（付記１９）
前記第２の点群データを送信する工程では、
前記ユーザの視線情報を収集し、当該視線情報に応じて、前記第２の点群データを送信する、付記１３～１８のいずれかに記載の映像送信方法。

【0194】

上記の構成によれば、ユーザの視線情報に応じて、送信すべき第２の点群データを容易に特定することが可能となる。

【0195】

（付記２０）
三次元空間内の撮影対象空間の映像を複数の領域に分割する空間分割手段と、
前記空間分割手段による分割によって得られた第１の領域を表す点群データから第２の点群データを抽出する点群データ抽出手段と、
前記第２の点群データを送信する送信手段と、を備える、サーバ装置。

【0196】

（付記２１）
前記点群データ抽出手段は、前記第１の点群データから、複数の点群データを含む前記第２の点群データを抽出する、付記２０に記載のサーバ装置。

【0197】

（付記２１）
前記取得データ特定手段は、前記視聴品質の合計値が最大となるように、前記取得する点群データを特定する、付記８に記載の映像送信システム。

【0198】

（付記２２）
前記出力手段は、前記第２の点群データに含まれる複数の点群データを合成して表示する、付記１～８のいずれかに記載の映像送信システム。

【0199】

（付記２３）
少なくとも１つのプロセッサを備え、前記プロセッサは、三次元空間内の第１の領域を表す第１の点群データから抽出した第２の点群データを送信する処理と、
ユーザの視線に関する視線情報に応じて、前記第２の点群データを受信する処理と、
前記第２の点群データに基づいて、画像を出力する処理と、を実行する映像送信システム。

【0200】

なお、この映像送信システムは、更にメモリを備えていてもよく、このメモリには、前記送信する処理と、前記受信する処理と、前記出力する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【0201】

（付記２４）
少なくとも１つのプロセッサを備え、前記プロセッサは、ユーザの視線を示す視線情報を取得する処理と、
三次元空間内の第１の領域を表す第１の点群データから抽出された第２の点群データを、前記視線情報に応じて受信する処理と、
受信した前記第２の点群データに基づいて、画像を出力する処理と、を実行する、端末装置。

【0202】

なお、この端末装置は、更にメモリを備えていてもよく、このメモリには、前記取得する処理と、前記受信する処理と、前記出力する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【0203】

（付記２５）
少なくとも１つのプロセッサを備え、前記プロセッサは、三次元空間内の撮影対象空間の映像を複数の領域に分割する処理と、
分割された後の第１の領域を表す点群データから第２の点群データを抽出する処理と、
前記第２の点群データを送信する処理と、を実行する、サーバ装置。

【0204】

なお、このサーバ装置は、更にメモリを備えていてもよく、このメモリには、前記分割する処理と、前記抽出する処理と、前記送信する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。

【符号の説明】

【0205】

１，１Ａ～１Ｄ サーバ装置
２，２Ａ 端末装置
１１ 送信部
１２ 空間分割部
１３ 点群データ抽出部
１４ 送信情報生成部
１５，２５ 通信部
１６ 送信データ特定部
１７ 分割領域認識部
１８ 注視箇所特定部
１９ 合成データ受信部
２１ 受信部
２２ 出力部
２３ 視線情報収集部
２４ 取得データ特定部
１００，１００Ａ～１００Ｄ 映像送信システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】