特許 7498459 映像伝送システム、映像伝送装置、および、映像伝送プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-04

(45)【発行日】2024-06-12

(54)【発明の名称】映像伝送システム、映像伝送装置、および、映像伝送プログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20240605BHJP

【ＦＩ】

H04N7/15

【請求項の数】 11

(21)【出願番号】P 2023045660

(22)【出願日】2023-03-22

(62)【分割の表示】P 2018171410の分割

【原出願日】2018-09-13

(65)【公開番号】P2023068121

(43)【公開日】2023-05-16

【審査請求日】2023-03-22

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】名塚 一郎

(72)【発明者】

【氏名】荻野 孝士

(72)【発明者】

【氏名】暦本 純一

(72)【発明者】

【氏名】味八木 崇

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００５－１３０２５１（ＪＰ，Ａ）

【文献】特開２００６－１２８９９７（ＪＰ，Ａ）

【文献】特開２００６－１５５１７８（ＪＰ，Ａ）

【文献】特開２００９－００５２３９（ＪＰ，Ａ）

【文献】特開２０１３－０４８３５６（ＪＰ，Ａ）

【文献】特開２０１５－２１３２７７（ＪＰ，Ａ）

【文献】特開２０１６－０７２９６４（ＪＰ，Ａ）

【文献】国際公開第２０１８／０３７８９０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

第１空間内の状況を撮影する撮影部を備える映像伝送装置と、前記映像伝送装置にネットワークを介して接続され、第２空間に配置される表示部を備える映像出力装置とを含み、前記表示部に前記第１空間の映像が表示される映像伝送システムであって、
前記映像伝送装置は、
前記第２空間に位置する視聴者が前記第１空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、
前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、
前記撮影部の撮影データから、前記映像品質設定部が設定した前記優先領域の映像品質と前記他の領域の映像品質とに従って映像データを生成する映像データ生成部と、
前記映像データを前記映像出力装置に送信する送信部と、を備え、
前記映像品質設定部は、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む前記優先領域と、前記注目位置を含まない非優先領域と、前記優先領域と前記非優先領域との間に挟まれた境界領域とに区分けし、前記優先領域の映像品質よりも前記非優先領域の映像品質を低く設定するとともに、前記境界領域に像をぼかすフィルタを適用するように前記境界領域の映像品質を設定し、
前記映像出力装置は、
前記映像データを前記映像伝送装置から受信する受信部と、
前記映像データを用いて、前記第１空間内の状況を示す映像を前記表示部に表示させる出力処理部と、を備える
映像伝送システム。

【請求項2】

前記映像品質設定部は、画質とフレームレートとのいずれを優先するかを判断し、前記画質を優先する場合と前記フレームレートを優先する場合とで、前記映像データに適用する１フレームあたりのビット数およびフレームレートを異ならせる
請求項１に記載の映像伝送システム。

【請求項3】

前記映像伝送装置は、
前記第１空間に位置する対象物の位置を検出するための情報を収集する位置情報収集部をさらに備え、
前記注目位置設定部は、前記位置情報収集部が収集した情報に基づいて、前記注目位置を設定する
請求項１または２に記載の映像伝送システム。

【請求項4】

前記注目位置設定部は、前記映像伝送装置の向きに基づいて、前記注目位置を設定する
請求項１または２に記載の映像伝送システム。

【請求項5】

前記映像伝送装置は、前記視聴者による遠隔操作によって、前記映像伝送装置の向きを変更可能に構成されている
請求項４に記載の映像伝送システム。

【請求項6】

前記映像出力装置は、
前記第２空間における前記視聴者の視線方向を検出するための情報を収集する視聴者情報収集部と、
前記視聴者情報収集部が収集した情報に基づく視線情報を前記映像伝送装置に送信する送信部と、をさらに備え、
前記映像伝送装置は、
前記視線情報を前記映像出力装置から受信する受信部をさらに備え、
前記注目位置設定部は、前記視線情報に基づいて、前記注目位置を設定する
請求項１または２に記載の映像伝送システム。

【請求項7】

前記映像品質設定部は、
前記ネットワークを利用した前記映像伝送装置と前記映像出力装置との間の通信状況を示すネットワーク情報に基づいて、前記優先領域および前記他の領域の映像品質を設定する
請求項１～６のいずれか一項に記載の映像伝送システム。

【請求項8】

前記映像品質には、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が含まれる
請求項１～７のいずれか一項に記載の映像伝送システム。

【請求項9】

前記映像品質設定部が、前記優先領域の映像品質よりも前記他の領域の映像品質を低く設定することには、前記優先領域における単位区画あたりのビットレートよりも前記他の領域における単位区画あたりのビットレートを低く設定することが含まれる
請求項１～８のいずれか一項に記載の映像伝送システム。

【請求項10】

第１空間の映像が表示される表示部を第２空間に備える映像出力装置とネットワークを介して接続される映像伝送装置であって、
前記第１空間内の状況を撮影する撮影部と、
前記第２空間に位置する視聴者が前記第１空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、
前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、
前記撮影部の撮影データから、前記映像品質設定部が設定した前記優先領域の映像品質と前記他の領域の映像品質とに従って映像データを生成する映像データ生成部と、
前記映像データを前記映像出力装置に送信する送信部と、を備え、
前記映像品質設定部は、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む前記優先領域と、前記注目位置を含まない非優先領域と、前記優先領域と前記非優先領域との間に挟まれた境界領域とに区分けし、前記優先領域の映像品質よりも前記非優先領域の映像品質を低く設定するとともに、前記境界領域に像をぼかすフィルタを適用するように前記境界領域の映像品質を設定する
映像伝送装置。

【請求項11】

第１空間の映像が表示される表示部を第２空間に備える映像出力装置とネットワークを介して接続され、前記第１空間内の状況を撮影する撮影部を備える映像伝送装置を、
前記第２空間に位置する視聴者が前記第１空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、
前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、
前記撮影部の撮影データから、前記映像品質設定部が設定した前記優先領域の映像品質と前記他の領域の映像品質とに従って映像データを生成し、当該映像データを前記映像出力装置に送信させる映像データ生成部と、として機能させるプログラムであって、
前記映像品質設定部は、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む前記優先領域と、前記注目位置を含まない非優先領域と、前記優先領域と前記非優先領域との間に挟まれた境界領域とに区分けし、前記優先領域の映像品質よりも前記非優先領域の映像品質を低く設定するとともに、前記境界領域に像をぼかすフィルタを適用するように前記境界領域の映像品質を設定する
映像伝送プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔地へ映像を伝送する映像伝送システム、映像伝送装置、および、映像伝送プログラムに関する。

【背景技術】

【0002】

遠隔会議等に用いられるシステムとして、第１空間内の状況を示す映像を、第１空間から離れた第２空間に配置されている表示装置に表示させるシステムが知られている。映像のデータは、インターネット等のネットワークを通じて伝送される。第２空間に位置する視聴者は、表示装置に映し出される映像を見ることで、第１空間の状況を知ることが可能であり、例えば、第１空間に位置する人物とコミュニケーションをとることができる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－７４４５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

第２空間の表示装置に、第１空間内の広い範囲の状況を映像で表示する構成は、第１空間に身を置いているかのような感覚を視聴者に与えて臨場感を高めることを可能とする。しかしながら、広い範囲の状況を示すための映像は、データの大容量化とともに通信負荷の増大を招き、結果として、映像品質の低下を引き起こしてしまう。

【0005】

本発明は、映像データの伝送に際しての通信負荷の増大を抑えつつ視聴者の臨場感を高めることのできる映像伝送システム、映像伝送装置、および、映像伝送プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決する映像伝送システムは、第１空間内の状況を撮影する撮影部を備える映像伝送装置と、前記映像伝送装置にネットワークを介して接続され、第２空間に配置される表示部を備える映像出力装置とを含み、前記表示部に前記第１空間の映像が表示される映像伝送システムであって、前記映像伝送装置は、前記第２空間に位置する視聴者が前記第１空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、前記撮影部の撮影データから、前記映像品質設定部が設定した映像品質に従って映像データを生成する映像データ生成部と、前記映像データを前記映像出力装置に送信する送信部と、を備え、前記映像出力装置は、前記映像データを前記映像伝送装置から受信する受信部と、前記映像データを用いて、前記第１空間内の状況を示す映像を前記表示部に表示させる出力処理部と、を備える。

【0007】

上記課題を解決する映像伝送装置は、第１空間の映像が表示される表示部を第２空間に備える映像出力装置とネットワークを介して接続される映像伝送装置であって、前記第１空間内の状況を撮影する撮影部と、前記第２空間に位置する視聴者が前記第１空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、前記撮影部の撮影データから、前記映像品質設定部が設定した映像品質に従って映像データを生成する映像データ生成部と、前記映像データを前記映像出力装置に送信する送信部と、を備える。

【0008】

上記課題を解決する映像伝送プログラムは、第１空間の映像が表示される表示部を第２空間に備える映像出力装置とネットワークを介して接続され、前記第１空間内の状況を撮影する撮影部を備える映像伝送装置を、前記第２空間に位置する視聴者が前記第１空間内の状況に対して注目すると推定される位置である注目位置を設定する注目位置設定部と、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域を含めた複数の領域に区分けし、前記優先領域の映像品質よりも他の領域の映像品質を低く設定する映像品質設定部と、前記撮影部の撮影データから、前記映像品質設定部が設定した映像品質に従って映像データを生成し、当該映像データを前記映像出力装置に送信させる映像データ生成部と、として機能させる。

【0009】

上記構成によれば、撮影部が撮影した映像に含まれる範囲の全体に、優先領域の映像品質と同じ映像品質を適用する場合と比較して、映像データの容量を削減することができる。したがって、広範囲の状況を表示するための映像データを伝送する場合にも、通信負荷の増大が抑えられる。そして、優先領域が注目位置を含むため、視聴者が注目すると推定される領域の映像品質が相対的に高く、それ以外の領域の映像品質が相対的に低い映像が表示部に表示される。すなわち、視聴者の視点に応じた映像が表示部に表示されるため、視聴者の臨場感が高められる。したがって、映像データの伝送に際しての通信負荷の増大を抑えつつ視聴者の臨場感を高めることができる。

【0010】

上記構成において、前記映像伝送装置は、前記第１空間に位置する対象物の位置を検出するための情報を収集する位置情報収集部をさらに備え、前記注目位置設定部は、前記位置情報収集部が収集した情報に基づいて、前記注目位置を設定してもよい。

【0011】

上記構成によれば、第１空間における対象物の位置に応じて、映像品質が高くされる優先領域が設定される。したがって、視聴者が注目すると推定される対象を優先領域に的確に含めることができる。

【0012】

上記構成において、前記注目位置設定部は、前記映像伝送装置の向きに基づいて、前記注目位置を設定してもよい。
上記構成によれば、映像伝送装置の向きの制御によって、優先領域となる領域を制御することができる。したがって、映像伝送システムの利用者の利便性が高められるとともに、利用者が優先領域となる領域を客観的に把握しやすくなる。

【0013】

上記構成において、前記映像伝送装置は、前記視聴者による遠隔操作によって、前記映像伝送装置の向きを変更可能に構成されていてもよい。
上記構成によれば、優先領域の設定に視聴者の意思が反映されるため、視聴者の希望に的確に沿った映像を表示部に表示することができる。

【0014】

上記構成において、前記映像出力装置は、前記第２空間における前記視聴者の視線方向を検出するための情報を収集する視聴者情報収集部と、前記視聴者情報収集部が収集した情報に基づく視線情報を前記映像伝送装置に送信する送信部と、をさらに備え、前記映像伝送装置は、前記視線情報を前記映像出力装置から受信する受信部をさらに備え、前記注目位置設定部は、前記視線情報に基づいて、前記注目位置を設定してもよい。

【0015】

上記構成によれば、第２空間における視聴者の視線の方向に応じて、映像品質が高くされる優先領域が設定される。したがって、優先領域の設定に視聴者の意思が反映されやすいため、視聴者の希望に的確に沿った映像を表示部に表示することができる。また、表示部に表示される映像が、視聴者の視点に的確に沿った映像となるため、視聴者の臨場感がより高められる。

【0016】

上記構成において、前記映像品質設定部は、前記ネットワークを利用した前記映像伝送装置と前記映像出力装置との間の通信状況を示すネットワーク情報に基づいて、前記優先領域および前記他の領域の映像品質を設定してもよい。

【0017】

上記構成によれば、映像品質の設定に通信状況が加味される。すなわち、各領域の映像品質を、通信状況の良否に応じた品質に設定することができるため、映像データの伝送に際しての通信負荷の増大が的確に抑えられる。

【0018】

上記構成において、前記映像品質設定部は、前記撮影部が撮影した映像に含まれる範囲を、前記注目位置を含む優先領域と、前記注目位置を含まない非優先領域と、前記優先領域と前記非優先領域との間に挟まれた境界領域とに区分けし、前記優先領域の映像品質よりも前記境界領域の映像品質を低く設定するとともに、前記境界領域の映像品質よりも前記非優先領域の映像品質を低く設定してもよい。

【0019】

上記構成によれば、優先領域、境界領域、非優先領域の順に映像品質が低くなるため、優先領域から非優先領域へ急激に映像品質が変化する場合と比較して、映像品質の差に起因した違和感を視聴者に与えることが抑えられる。

【0020】

上記構成において、前記映像品質には、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が含まれてもよい。
上記構成によれば、優先領域以外の映像品質を低くすることで、映像データの容量の的確な削減が可能である。

【0021】

上記構成において、前記映像品質設定部が、前記優先領域の映像品質よりも前記他の領域の映像品質を低く設定することには、前記優先領域における単位区画あたりのビットレートよりも前記他の領域における単位区画あたりのビットレートを低く設定することが含まれてもよい。

【0022】

上記構成によれば、映像品質の設定が容易であり、また、映像データの容量の的確な削減が可能である。

【発明の効果】

【0023】

本発明によれば、映像データの伝送に際しての通信負荷の増大を抑えつつ、視聴者の臨場感を高めることができる。

【図面の簡単な説明】

【0024】

【図1】映像伝送システムの第１実施形態について、映像伝送システムが利用される環境を模式的に示す図。

【図2】第１実施形態の映像伝送システムを構成する装置の構成を示す図。

【図3】第１実施形態の映像伝送システムの処理手順の概略を示すシーケンス図。

【図4】第１実施形態の映像伝送システムにおける対象物の位置の検出の態様を示す図。

【図5】第１実施形態の映像伝送システムにおける映像範囲の分割態様を示す図。

【図6】第１実施形態の映像伝送システムにおける注目位置の設定および映像品質の設定の処理手順の一例を示すフローチャート。

【図7】映像伝送システムの第２実施形態について、第２実施形態の映像伝送システムを構成する装置の構成を示す図。

【図8】第２実施形態の映像伝送システムの処理手順の概略を示すシーケンス図。

【図9】第２実施形態の映像伝送システムにおける視聴者情報収集部の配置を示す図。

【図10】第２実施形態の映像伝送システムにおける視聴者の視線方向の検出の態様を示す図。

【発明を実施するための形態】

【0025】

（第１実施形態）
図１～図６を参照して、映像伝送システム、映像伝送装置、および、映像伝送プログラムの第１実施形態を説明する。以下では、例として、映像伝送システムが、遠隔でのコミュニケーション、例えば、遠隔会議に利用される形態を説明する。

【0026】

［映像伝送システムの利用環境］
本実施形態の映像伝送システムは、ネットワークを通じて、遠隔地へ映像データを伝送する。まず、映像伝送システムが利用される環境について説明する。

【0027】

図１が示すように、本実施形態の映像伝送システムは、第１空間Ｒ１の映像を、第２空間Ｒ２に配置された映像出力装置２００の表示部２１に表示させる。第１空間Ｒ１と第２空間Ｒ２とは、互いに離れた空間である。例えば、第１空間Ｒ１と第２空間Ｒ２とは、別々の拠点の会議室である。

【0028】

第１空間Ｒ１には、映像の撮影機能および送信機能を有する映像伝送装置１００が配備されている。映像伝送装置１００が備える撮影部１１の撮影範囲には、会議への参加者Ｐｒや、室内装飾品等の物品Ｇｓが含まれる。第２空間Ｒ２には、表示部２１に表示される映像を視聴する１人の視聴者Ｐｄが位置する。

【0029】

［映像伝送システムの構成］
映像伝送システムの機能的な構成について説明する。図２が示すように、映像伝送システムは、第１空間Ｒ１に配備される上述の映像伝送装置１００と、第２空間Ｒ２に配備される上述の映像出力装置２００とを備える。映像伝送装置１００と映像出力装置２００とは、ネットワークＮＷを通じて、相互にデータの送信および受信を行う。ネットワークＮＷは、インターネット、Ｗｉ－Ｆｉ（登録商標）等の無線ＬＡＮあるいは有線ＬＡＮによるネットワーク、モバイルデータ通信用のネットワーク等を含む汎用の通信網であってもよいし、イントラネット等の閉域網であってもよい。

【0030】

映像伝送装置１００は、撮影部１１、通信部１２、制御部１３、位置情報収集部１４、および、記憶部１５を備える。映像伝送装置１００が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部１３と制御部１３以外の構成部とは、有線または無線で接続されていてもよい。映像伝送装置１００は、例えば、テレプレゼンスロボットに具体化される。テレプレゼンスロボットは、自身の位置および向きを変更可能に構成されている。なお、映像伝送装置１００は、自身の向きを変更可能であって、撮影機能および通信機能を有する装置であれば、テレプレゼンスロボットに限定されない。ただし、映像伝送装置１００は、利用者に装着されて用いられる装置ではない。

【0031】

撮影部１１は、動画の撮影機能を有し、第１空間Ｒ１内の状況を撮影する。撮影部１１は、１以上のカメラから構成される。撮影部１１を構成するカメラには、例えば、標準的な画角を有するカメラ、広角レンズを有するカメラ、カメラを中心に３６０°の範囲を撮影可能なカメラ等が含まれる。

【0032】

視聴者Ｐｄの臨場感を高めるためには、左右方向における撮影部１１の撮影範囲は、人間の水平視野よりも広い範囲であることが好ましい。具体的には、撮影部１１は、撮影部１１を中心として、撮影部１１の正面から左右の各々に、中心角が６０°以上となる範囲を撮影可能であることが好ましい。また、視聴者Ｐｄの臨場感を高めるためには、上下方向における撮影部１１の撮影範囲は、人間の垂直視野よりも広い範囲であることが好ましい。具体的には、撮影部１１は、撮影部１１を中心として、撮影部１１の正面から上下の各々に、中心角が６０°以上となる範囲を撮影可能であることが好ましい。なお、撮影部１１の撮影範囲は、すなわち、撮影部１１の撮影した映像に含まれる範囲である。

【0033】

通信部１２は、ネットワークＮＷを通じて、映像伝送装置１００と映像出力装置２００との接続処理を実行し、これらの装置間でデータの送信および受信を行う。すなわち、通信部１２は、送信部および受信部として機能する。

【0034】

制御部１３は、ＣＰＵ、および、ＲＡＭ等の揮発性メモリを含む構成を有する。制御部１３は、記憶部１５に記憶されたプログラムやデータに基づいて、撮影部１１や通信部１２や位置情報収集部１４による処理の制御、記憶部１５における情報の読み出しや書き込み、各種の演算処理等、映像伝送装置１００が備える各部の制御を行う。こうした制御部１３は、映像伝送システムを構成する機能部として、ネットワーク情報取得部１３ａと、注目位置設定部１３ｂと、映像品質設定部１３ｃと、映像データ生成部１３ｄとを含んでいる。

【0035】

ネットワーク情報取得部１３ａは、通信部１２を通じて、ネットワーク情報Ｉｎを取得する。ネットワーク情報Ｉｎは、ネットワークＮＷを利用した映像伝送装置１００と映像出力装置２００との間の通信状況を示す情報であり、言い換えれば、どの程度のデータ量であればネットワークＮＷを通じて円滑に伝送できるかを判断するための情報である。ネットワーク情報Ｉｎには、例えば、通信速度、データ帯域、バンド幅、レイテンシーが含まれる。第１実施形態では、ネットワーク情報Ｉｎは、映像伝送装置１００から見て、映像伝送装置１００から映像出力装置２００への上り方向の通信経路に含まれる少なくとも１つの回線についての情報である。

【0036】

注目位置設定部１３ｂは、位置情報収集部１４が収集した情報に基づき、第１空間Ｒ１内に注目位置Ｔｐを設定する。注目位置Ｔｐは、撮影部１１の撮影範囲に含まれる位置であって、視聴者Ｐｄが、第１空間Ｒ１内の状況に対して注目すると推定される位置である。言い換えれば、注目位置Ｔｐは、映像出力装置２００に表示される映像において視聴者Ｐｄが注目すると推定される位置である。

【0037】

映像品質設定部１３ｃは、ネットワーク情報Ｉｎおよび注目位置Ｔｐを含む情報に基づいて、撮影部１１の撮影した映像に含まれる範囲である映像範囲Ｓｏを複数の領域に区分けするとともに、各領域の映像品質を決定する。そして、映像品質設定部１３ｃは、各領域の映像品質を示す映像品質情報Ｉｖを出力する。具体的には、映像品質設定部１３ｃは、注目位置Ｔｐを含む領域よりも他の領域の映像品質が低くなるように、各領域の映像品質を設定する。

【0038】

映像データ生成部１３ｄは、撮影部１１の撮影データＤｒから、映像品質設定部１３ｃが設定した映像品質に従って、すなわち映像品質情報Ｉｖに従って、映像データＤｖを生成する。そして、映像データ生成部１３ｄは、映像データＤｖを、通信部１２を介して、映像出力装置２００に送信する。

【0039】

位置情報収集部１４は、注目位置Ｔｐの設定に用いられる情報である位置設定用情報Ｉｐを収集する。位置設定用情報Ｉｐは、例えば、第１空間Ｒ１に位置する対象物Ｏｂの、映像伝送装置１００に対する相対的な位置の特定に寄与する情報である。位置設定用情報Ｉｐが、上記相対的な位置の特定に寄与する情報であるとき、位置情報収集部１４には、例えば、赤外線レーザー装置とその受光装置、ミリ波レーダー装置、カメラ等の画像撮影装置、音声の受信装置等が含まれる。位置情報収集部１４は、これらの装置からの出力を、位置設定用情報Ｉｐとして制御部１３に出力する。

【0040】

記憶部１５は、不揮発性メモリを含む構成を有し、制御部１３が実行する処理に必要なプログラムやデータを記憶している。なお、制御部１３におけるネットワーク情報取得部１３ａ、注目位置設定部１３ｂ、映像品質設定部１３ｃ、および、映像データ生成部１３ｄの機能は、複数のＣＰＵや、ＲＡＭ等からなるメモリ等の各種のハードウェアと、これらを機能させるソフトウェアとによって各別に具体化されてもよく、あるいは、共通する１つのハードウェアに複数の機能を与えるソフトウェアによって具体化されてもよい。こうしたソフトウェアは、映像伝送プログラムとして、記憶部１５に記憶されている。

【0041】

映像出力装置２００は、表示部２１、通信部２２、制御部２３、および、記憶部２４を備える。映像出力装置２００が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部２３と制御部２３以外の構成部とは、有線または無線で接続されていてもよい。

【0042】

表示部２１は映像の表示機能を有する。表示部２１は、例えば、液晶や有機ＥＬやＬＥＤ等を利用したディスプレイ、あるいは、スクリーンおよび投影機から構成されて投影により映像を表示する装置等である。表示部２１における表示領域の形状、すなわち、ディスプレイやスクリーンの形状は特に限定されず、例えば、矩形形状等の平面型、視聴者Ｐｄを囲むように配置される円筒型や多角形筒型、視聴者Ｐｄの上下左右前後を囲むキューブ型等の形状が採用される。視聴者Ｐｄの臨場感を高めるためには、表示部２１の表示領域は、視聴者Ｐｄの周囲を囲む形状を有していることが好ましい。

【0043】

撮影部１１の撮影範囲と同様に、視聴者Ｐｄの臨場感を高めるためには、表示領域は、視聴者Ｐｄの視聴予定位置を中心として、当該位置の正面から左右の各々に、中心角が６０°以上の大きさを有することが好ましい。また、視聴者Ｐｄの臨場感を高めるためには、表示領域は、視聴者Ｐｄの視聴予定位置を中心として、当該位置の正面から上下の各々に、中心角が６０°以上の大きさを有することが好ましい。視聴予定位置は、標準的な身長の視聴者Ｐｄが表示部２１を見るときに、視聴者Ｐｄの頭部が配置される位置として予め設定される位置である。

【0044】

通信部２２は、ネットワークＮＷを通じて、映像出力装置２００と映像伝送装置１００との接続処理を実行し、これらの装置間でデータの送信および受信を行う。すなわち、通信部２２は、送信部および受信部として機能する。

【0045】

制御部２３は、ＣＰＵ、および、ＲＡＭ等の揮発性メモリを含む構成を有する。制御部２３は、記憶部２４に記憶されたプログラムやデータに基づいて、表示部２１や通信部２２による処理の制御、記憶部２４における情報の読み出しや書き込み、各種の演算処理等、映像出力装置２００が備える各部の制御を行う。こうした制御部２３は、映像伝送システムを構成する機能部として、出力処理部２３ａを含んでいる。

【0046】

出力処理部２３ａは、映像伝送装置１００から通信部２２が受信した映像データＤｖに対し、表示領域の形状等に応じて必要な変換を加え、映像データＤｖに基づく映像を表示部２１に表示させる。

【0047】

記憶部２４は、不揮発性メモリを含む構成を有し、制御部２３が実行する処理に必要なプログラムやデータを記憶している。制御部２３における出力処理部２３ａの機能は、複数のＣＰＵや、ＲＡＭ等からなるメモリ等の各種のハードウェアと、これらを機能させるソフトウェアとによって各別に具体化されてもよく、あるいは、共通する１つのハードウェアに複数の機能を与えるソフトウェアによって具体化されてもよい。こうしたソフトウェアは、記憶部２４に記憶されている。

【0048】

［映像伝送システムの動作］
図３を参照して、映像伝送システムの処理手順の概略を説明する。映像伝送装置１００の撮影部１１が第１空間Ｒ１の撮影を開始すると、当該撮影によって生成された撮影データＤｒは逐次、制御部１３に入力される。図３が示す処理は、撮影部１１が撮影を継続している期間に行われる処理である。

【0049】

まず、映像伝送装置１００の制御部１３が、位置情報収集部１４の収集した位置設定用情報Ｉｐ、および、ネットワーク情報Ｉｎを取得する（ステップＳ１０）。
続いて、制御部１３は、注目位置Ｔｐを設定し、映像範囲Ｓｏを複数の領域に区分けして、各領域の映像品質を設定する（ステップＳ１１）。

【0050】

続いて、制御部１３は、ステップＳ１１で設定された映像品質を示す映像品質情報Ｉｖに従って撮影データＤｒを変換して、映像データＤｖを生成する（ステップＳ１２）。
映像データＤｖが生成されると、制御部１３は、映像データＤｖを、通信部１２を介して、映像出力装置２００に送信する（ステップＳ１３）。

【0051】

映像データＤｖを受信すると、映像出力装置２００の制御部２３は、映像データＤｖを用いて、表示部２１に映像を表示させる（ステップＳ１４）。
図３に示す処理において、ステップＳ１０およびステップＳ１１の処理は、撮影部１１が撮影を継続している間、所定の間隔で行われてもよい。あるいは、ステップＳ１０の処理が所定の間隔で行われ、ネットワーク情報Ｉｎおよび位置設定用情報Ｉｐのいずれかが前回の取得時から変化した場合にのみ、ステップＳ１１の処理が行われてもよい。ステップＳ１２の処理では最新の映像品質情報Ｉｖが用いられ、制御部１３に入力される撮影データＤｒに対してステップＳ１２～ステップＳ１４の処理が順々に行われることにより、第１空間Ｒ１内の状況を示す映像が第２空間Ｒ２の映像出力装置２００に表示される。

【0052】

［注目位置の設定処理］
図４を参照して、映像伝送装置１００における制御部１３の注目位置設定部１３ｂが行う注目位置Ｔｐの設定処理について、詳細に説明する。

【0053】

注目位置設定部１３ｂは、位置情報収集部１４が収集した位置設定用情報Ｉｐに基づき、第１空間Ｒ１に位置する対象物Ｏｂの、映像伝送装置１００に対する相対的な位置を特定し、当該位置を注目位置Ｔｐとする。図４に矢印Ａ１として示すように、上記相対的な位置は、映像伝送装置１００に対して対象物Ｏｂが位置する方向と、映像伝送装置１００から対象物Ｏｂまでの距離とによって規定される。対象物Ｏｂは、視聴者Ｐｄが注目すると推定される対象であり、映像伝送システムが遠隔会議に利用されるとき、対象物Ｏｂは、例えば、会議の参加者である。さらには、対象物Ｏｂは、複数の参加者のうちの発言中の参加者であってもよいし、参加者の顔部分のように人物の一部であってもよい。対象物Ｏｂが移動もしくは変更されると、注目位置Ｔｐが移動される。

【0054】

位置情報収集部１４は、対象物Ｏｂの特性に応じ、対象物Ｏｂの位置の特定に寄与する情報を位置設定用情報Ｉｐとして収集可能なように構成されていればよい。例えば、位置設定用情報Ｉｐに基づき、人物の動きや発声の検出や、画像解析による顔部分の検出が行われ、これに基づき、対象物Ｏｂの特定とその位置の算出とが行われる。

【0055】

対象物Ｏｂの特定には、映像伝送装置１００の向きが加味されることが好ましい。例えば、映像伝送装置１００がテレプレゼンスロボットである場合のように、映像伝送装置１００の向きが変更可能に構成されているとき、映像伝送装置１００の正面およびその近傍の範囲のなかで、対象物Ｏｂの特定が、上述のような人物の動きや発声や顔部分の検出に基づき行われる。

【0056】

そして、映像伝送装置１００の向きは、第２空間Ｒ２の視聴者Ｐｄによる遠隔操作が可能であってもよい。例えば、第２空間Ｒ２に配備された操作部を視聴者Ｐｄが操作し、その操作情報が、映像出力装置２００から映像伝送装置１００に送られる。映像伝送装置１００は、映像伝送装置１００の向きを変更するためのモーター等を含む駆動部を備え、制御部１３は、操作情報に基づいて、駆動部に、映像伝送装置１００の向きを変更させる。こうした構成によれば、注目位置Ｔｐの設定される範囲を視聴者Ｐｄが制御できる。すなわち、注目位置Ｔｐの決定に視聴者Ｐｄの意思が反映されるため、視聴者Ｐｄの希望に沿った映像の出力が可能である。

【0057】

映像伝送装置１００の向きは、駆動部におけるモーターの回転量等に基づいて、注目位置設定部１３ｂによって算出されてもよい。あるいは、位置情報収集部１４が、映像伝送装置１００の向きを検出するためのセンサ等を含むとともに、こうしたセンサの出力を位置設定用情報Ｉｐが含み、位置設定用情報Ｉｐに基づいて、注目位置設定部１３ｂが映像伝送装置１００の向きを算出してもよい。上記センサとしては、例えば、ジャイロセンサ、加速度センサ、地磁気センサ等が挙げられる。

【0058】

なお、注目位置設定部１３ｂによって特定される対象物Ｏｂの位置は、第１空間Ｒ１内における基準点に対する相対的な位置であればよい。基準点を、映像伝送装置１００を構成するいずれかの部材の位置に設定するとき、対象物Ｏｂの位置は、映像伝送装置１００に対する位置である。さらには、特定される対象物Ｏｂの位置は、第１空間Ｒ１に設定された三次元直交座標系を基準とする絶対的な位置であってもよい。要は、特定される対象物Ｏｂの位置、すなわち、注目位置Ｔｐは、映像のなかでの位置、すなわち、映像範囲Ｓｏ内での位置と対応付けて管理される位置であればよい。また、注目位置Ｔｐは、点であってもよいし、二次元的または三次元的な広さを有する範囲であってもよい。

【0059】

なお、上述のような人物の動きや発声や顔部分の検出に基づく対象物Ｏｂの特定に拠らず、映像伝送装置１００の向きのみに基づいて、注目位置Ｔｐが設定されてもよい。例えば、映像伝送装置１００の正面に位置し、映像伝送装置１００から所定の距離だけ離れた位置が、注目位置Ｔｐとされてもよい。映像伝送装置１００の向きは、映像伝送装置１００における撮影部１１等の所定の部位の向きであって、基準となる部位は予め設定されている。

【0060】

また、対象物Ｏｂが所定の人物に固定される場合等には、対象物Ｏｂに、対象物Ｏｂの位置の検出のためのセンサ等の機器を付してもよい。こうした機器も、位置情報収集部１４を構成する。

【0061】

［映像品質の設定処理］
映像伝送装置１００における制御部１３の映像品質設定部１３ｃが行う映像品質の設定処理について、詳細に説明する。

【0062】

映像品質設定部１３ｃは、注目位置Ｔｐの位置情報に基づいて、映像範囲Ｓｏ内での注目位置Ｔｐ、すなわち、撮影された注目位置Ｔｐを特定し、映像範囲Ｓｏを、優先領域Ｓｐを含む複数の領域に区分けする。

【0063】

以下では、図５が示すように、映像範囲Ｓｏが、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの３種類の領域に区分けされる形態について説明する。優先領域Ｓｐは、注目位置Ｔｐを含む領域である。優先領域Ｓｐは、例えば、注目位置Ｔｐを中心とする所定の大きさの領域であってもよいし、注目位置Ｔｐが広さを有する範囲である場合には、注目位置Ｔｐと一致する領域であってもよい。境界領域Ｓｂは、優先領域Ｓｐと非優先領域Ｓｎとに挟まれる領域であって、優先領域Ｓｐおよび非優先領域Ｓｎの各々よりも狭い。非優先領域Ｓｎは、優先領域Ｓｐ以外の領域から、さらに境界領域Ｓｂを除いた領域である。注目位置Ｔｐが移動すると、優先領域Ｓｐも移動され、それに付随して、優先領域Ｓｐ以外の領域も移動される。

【0064】

例えば、注目位置Ｔｐに基づいて、優先領域Ｓｐとなる予定の優先予定領域が設定され、優先予定領域以外の領域が、非優先領域Ｓｎとなる予定の非優先予定領域に設定される。そして、優先予定領域と非優先予定領域との境界を含む部分に、所定の大きさの境界領域Ｓｂが設定される。優先予定領域から境界領域Ｓｂを除いた部分が優先領域Ｓｐとして確定され、非優先予定領域から境界領域Ｓｂを除いた部分が非優先領域Ｓｎとして確定される。

【0065】

映像出力装置２００の表示部２１における表示領域が、上下方向よりも左右方向に長い形状を有するとき、映像範囲Ｓｏは、少なくとも左右方向において、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとに分割されることが好ましい。映像範囲Ｓｏが、左右方向のみに各領域Ｓｐ，Ｓｎ，Ｓｂに分割される場合、映像範囲Ｓｏにおける左右方向の各位置において、上下方向の全体は、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとのいずれか１種類の領域に含まれる。映像範囲Ｓｏは、さらに、上下方向においても、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとに分割されていてもよい。

【0066】

なお、図５においては、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの各々が矩形形状である形態を例示したが、各領域の形状は任意である。例えば、優先領域Ｓｐは円形状や楕円形状であってもよい。

【0067】

続いて、映像品質設定部１３ｃは、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの映像品質を設定する。優先領域Ｓｐの映像品質が最も高く、非優先領域Ｓｎの映像品質が最も低い。すなわち、優先領域Ｓｐ、境界領域Ｓｂ、非優先領域Ｓｎの順に映像品質が低くなるように、映像品質設定部１３ｃは、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質を決定する。

【0068】

映像品質が高いとは、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が高いことを示す。さらに、映像品質は、映像品質が低いほど、映像データＤｖの容量の削減に寄与する特性である。

【0069】

例えば、映像品質を規定する要素には、ビットレート、解像度、コーデック、フレームレートが含まれ、映像品質設定部１３ｃは、これらのうちの少なくとも１つを各領域Ｓｐ，Ｓｎ，Ｓｂ間で異ならせることによって、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質に差をつける。上記要素のうち、ビットレートは、表示部２１や撮影部１１の仕様に関わらず設定可能である。したがって、映像品質設定部１３ｃは、ビットレートを異ならせることによって、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質に差をつけることが好ましい。すなわち、映像品質設定部１３ｃは、各領域Ｓｐ，Ｓｎ，Ｓｂに所定のフレームレートが適用されている場合において、１ピクセルあたりのビットレートを、優先領域Ｓｐが最も大きく、次いで、境界領域Ｓｂ、非優先領域Ｓｎの順に小さくなるように設定する。

【0070】

また、映像品質設定部１３ｃは、画像処理のための各種のフィルタを適用することによって、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質に差をつけてもよい。こうした画像フィルタとしては、例えば、輝度の平滑化等の処理によって像をぼかすフィルタのように、像の鮮明さを低減させるフィルタが挙げられる。具体的には、移動平均フィルタやガウシアンフィルタである。例えば、映像品質設定部１３ｃは、非優先領域Ｓｎと境界領域Ｓｂとに、非優先領域Ｓｎの方が平滑化の単位区画が大きくなるように、上記フィルタを適用する。

【0071】

あるいは、映像品質設定部１３ｃは、上述したビットレート等の映像品質を規定する要素の設定と画像フィルタの適用との組み合わせによって、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質に差をつけてもよい。例えば、優先領域Ｓｐよりも非優先領域Ｓｎのビットレートが小さくされ、さらに、境界領域Ｓｂに像をぼかすフィルタが適用されると、各領域Ｓｐ，Ｓｎ，Ｓｂの境界が視聴者Ｐｄに認識されにくくなるため、映像品質の差に起因した違和感を視聴者Ｐｄが覚えることが抑えられる。

【0072】

また、映像品質設定部１３ｃは、非優先領域Ｓｎを任意のフレームで固定して静止画とすることによって、非優先領域Ｓｎの映像品質を、他の領域よりも低くしてもよい。非優先領域Ｓｎに含まれる像が、室内装飾品のように動きのない物品である場合、非優先領域Ｓｎが静止画であっても、視聴者Ｐｄに与える違和感は小さい。

【0073】

要は、優先領域Ｓｐ、境界領域Ｓｂ、非優先領域Ｓｎの順に映像品質が低くなり、すべての領域が優先領域Ｓｐと同じ映像品質を有している場合と比較して、映像データＤｖの容量が小さくなればよい。

【0074】

なお、映像範囲Ｓｏは、優先領域Ｓｐと非優先領域Ｓｎとを含む少なくとも２つの領域に区分けされればよく、映像品質が異なる領域は、３種類に限らず、２種類であってもよいし、４種類以上であってもよい。映像範囲Ｓｏが優先領域Ｓｐと非優先領域Ｓｎとの２種類の領域に区分けされる場合、例えば、対象物Ｏｂである人物の顔部分が優先領域Ｓｐとされ、優先領域Ｓｐ以外が非優先領域Ｓｎとされてもよい。この場合において、非優先領域Ｓｎを静止画とすると、人物の顔部分のみが動く映像が表示部２１に表示されることとなる。

【0075】

また、映像範囲Ｓｏが３種類の領域に区分けされる場合、優先領域Ｓｐと非優先領域Ｓｎとの間に境界領域Ｓｂが設定されず、他の基準によって、映像範囲Ｓｏが３種類の領域に区分けされてもよい。例えば、対象物Ｏｂである人物の顔部分が優先領域Ｓｐとされ、当該人物の胴体部分が準優先領域とされ、これらの領域以外が非優先領域Ｓｎとされる。あるいは、対象物Ｏｂである人物の部分が優先領域Ｓｐとされ、当該人物を囲む部分が準優先領域とされ、これらの領域以外が非優先領域Ｓｎとされる。そして、優先領域Ｓｐ、準優先領域、非優先領域Ｓｎの順に映像品質が低くされる。

【0076】

［映像品質の設定処理の具体例］
図６を参照して、映像品質の設定処理の具体例を説明する。図６は、先の図３で説明したステップＳ１１の処理、すなわち、注目位置Ｔｐの設定処理と映像品質の設定処理とを含む一連の処理のフローを示す。当該フローでは、映像範囲Ｓｏを、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの３つの領域に区分けし、ビットレートの差によって、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質に差をつける。当該フローにおいては、映像品質の設定のために、画質／フレームレート優先フラグＦｇと、映像特徴情報Ｉｃと、映像品質学習モデルＭｌとを利用する。まず、これらについて説明する。

【0077】

画質／フレームレート優先フラグＦｇは、画質とフレームレートとのいずれを優先するかを規定するフラグである。画質を優先することは、各フレームにおける像の鮮明さを高めることを重視することを意味し、フレームレートを優先することは、動画としての滑らかさを高めることを重視することを意味する。画質／フレームレート優先フラグＦｇは、例えば、会議の参加者等である映像伝送システムの利用者の意思に基づき設定されて、記憶部１５に記録されている。

【0078】

映像特徴情報Ｉｃは、撮影データＤｒにおける映像範囲Ｓｏ内での階調の分布の特徴を示す情報である。例えば、映像特徴情報Ｉｃは、単位区画あたりにおけるベクトル量での輝度変化量である。輝度変化量が大きいことは、撮影データＤｒの示す映像が、エッジのある映像、すなわち、明るさの局所的な変化が大きい映像であることを示す。

【0079】

映像品質学習モデルＭｌは、映像特徴情報Ｉｃと、各領域Ｓｐ，Ｓｎ，Ｓｂへの分配ビット数との相関を示すモデルである。分配ビット数は、ビットレートとして規定される１秒間のデータ量のうち、１フレームあたりにおいて領域Ｓｐ，Ｓｎ，Ｓｂの各々に割り当てられるビット数を示す。分配ビット数は、１ピクセルあたりのビット数が、優先領域Ｓｐにて最も大きく、境界領域Ｓｂ、非優先領域Ｓｎの順に小さくなるように設定される。これにより、優先領域Ｓｐ、境界領域Ｓｂ、非優先領域Ｓｎの１ピクセルあたりのビットレートはこの順に小さくなる。映像品質学習モデルＭｌは、記憶部１５に記憶されている。

【0080】

上述のように、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの映像品質には差がつけられるが、その差が大きすぎると、各領域Ｓｐ，Ｓｎ，Ｓｂ間での映像の繋がりが不自然となり、視聴者Ｐｄが違和感を覚える可能性がある。各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質の差がどの程度であることが適切かは、映像における階調の分布の特徴によって変わる。例えば、上記輝度変化量が大きい映像と、上記輝度変化量が小さい映像とを比較すると、輝度変化量が小さい映像の方が、各領域Ｓｐ，Ｓｎ，Ｓｂの映像品質の差を大きくした場合でも視聴者Ｐｄが違和感を覚えにくい。映像品質学習モデルＭｌは、こうした事象を加味して構築されたモデルであって、映像特徴情報Ｉｃに適した分配ビット数を演算するモデルである。具体的には、映像特徴情報Ｉｃとしての輝度変化量が大きいほど、優先領域Ｓｐと他の領域との映像品質の差、すなわち、１ピクセルあたりのビットレートの差が小さくなるように、分配ビット数が算出される。

【0081】

映像品質学習モデルＭｌの説明変数には、映像特徴情報Ｉｃに加えて、音声と映像とのうちの映像に割り当てられるビットレートである映像ビットレートや、フレームレートが含まれてもよい。実際の値が入力されない説明変数には仮定値が設定されればよい。あるいは、映像品質学習モデルＭｌの目的変数に、分配ビット数に加えて、映像ビットレートやフレームレートが含まれてもよい。映像品質学習モデルＭｌが、映像特徴情報Ｉｃとともに、最終的に適用されるビットレート、フレームレート、分配ビット数を含むデータセットを学習することで、当該モデルが修正されていく。

【0082】

続いて、図６が示すフローを説明する。まず、ステップＳ２０の処理として、制御部１３は、画質／フレームレート優先フラグＦｇが、画質とフレームレートとのいずれに設定されているかを判断する。画質／フレームレート優先フラグＦｇが、画質の優先を示すとき、ステップＳ２１の処理に進み、画質／フレームレート優先フラグＦｇが、フレームレートの優先を示すとき、ステップＳ３０の処理に進む。

【0083】

ステップＳ２１以降の処理、すなわち、画質／フレームレート優先フラグＦｇが、画質の優先を示す場合の処理について説明する。制御部１３は、ステップＳ２１の処理として、ネットワーク情報Ｉｎに基づき、円滑にデータの伝送が可能なビットレートを算出し、さらに、映像に割り当てることのできるビットレートである最適映像ビットレートＢＲｂを算出する。続いて、制御部１３は、ステップＳ２２の処理として、位置設定用情報Ｉｐを用いて注目位置Ｔｐを設定し、注目位置Ｔｐに基づいて、映像範囲Ｓｏに、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとを設定する。

【0084】

続いて、制御部１３は、ステップＳ２３の処理として、撮影データＤｒから例えば所定の基準で抽出したフレームを対象として、映像特徴情報Ｉｃを抽出する。なお、ステップＳ２１～ステップＳ２３の処理の順序は上述と異なってもよい。

【0085】

続いて、制御部１３は、ステップＳ２４の処理として、映像特徴情報Ｉｃを映像品質学習モデルＭｌに入力して、各領域Ｓｐ，Ｓｎ，Ｓｂへの分配ビット数Ｂｓを得る。続いて、制御部１３は、ステップＳ２５の処理として、算出された分配ビット数Ｂｓと最大フレームレートＦＲｍとを適用した場合に必要となる映像ビットレートである仮定映像ビットレートＢＲｅを算出する。最大フレームレートＦＲｍは、撮影データＤｒにおけるフレームレートであって、適用可能な最大のフレームレートである。

【0086】

制御部１３は、ステップＳ２６の処理として、仮定映像ビットレートＢＲｅが、最適映像ビットレートＢＲｂ以下であるか否かを判定する。仮定映像ビットレートＢＲｅが、最適映像ビットレートＢＲｂを超えているとき（ステップＳ２６で否定判定）、ステップＳ２７の処理に進み、制御部１３は、最大フレームレートＦＲｍから所定値を減算した値を新たなフレームレートとして、この新たなフレームレートと上記分配ビット数Ｂｓとから、仮定映像ビットレートＢＲｅを再度算出する。ステップＳ２６およびステップＳ２７の処理は、仮定映像ビットレートＢＲｅが最適映像ビットレートＢＲｂ以下となるまで繰り返される。

【0087】

仮定映像ビットレートＢＲｅが、最適映像ビットレートＢＲｂ以下であるとき（ステップＳ２６で肯定判定）、ステップＳ２８の処理に進む。ステップＳ２８の処理において、制御部１３は、当該仮定映像ビットレートＢＲｅの算出時に適用したフレームレートを、映像データＤｖに適用するフレームレートとして確定し、当該仮定映像ビットレートＢＲｅを、映像データＤｖに適用する映像ビットレートとして確定する。そして、制御部１３は、確定した映像ビットレートおよびフレームレート、分配ビット数Ｂｓ、映像特徴情報Ｉｃを含むデータセットを映像品質学習モデルＭｌに学習させる。

【0088】

続いて、制御部１３は、ステップＳ２９の処理として、ステップＳ２２で設定した優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの範囲、ステップＳ２８で確定した映像ビットレートおよびフレームレート、ステップＳ２４で得た分配ビット数Ｂｓを含む映像品質情報Ｉｖを生成して処理を終了する。

【0089】

次に、ステップＳ３０以降の処理、すなわち、画質／フレームレート優先フラグＦｇが、フレームレートの優先を示す場合の処理について説明する。制御部１３は、ステップＳ３０の処理として、ネットワーク情報Ｉｎに基づき、円滑にデータの伝送が可能なビットレートを算出し、さらに、最適映像ビットレートＢＲｂを算出する。

【0090】

続いて、制御部１３は、ステップＳ３１の処理として、最適映像ビットレートＢＲｂに最大フレームレートＦＲｍを適用した場合における、１フレームあたりのビット数を算出する。続いて、制御部１３は、ステップＳ３２の処理として、位置設定用情報Ｉｐを用いて注目位置Ｔｐを設定し、注目位置Ｔｐに基づいて、映像範囲Ｓｏに、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとを設定する。

【0091】

続いて、制御部１３は、ステップＳ３３の処理として、撮影データＤｒから例えば所定の基準で抽出したフレームを対象として、映像特徴情報Ｉｃを抽出する。なお、ステップＳ３０，Ｓ３１と、ステップＳ３２と、ステップＳ３３との処理の順序は上述と異なってもよい。

【0092】

続いて、制御部１３は、ステップＳ３４の処理として、ステップＳ３１で算出した１フレームあたりのビット数と映像特徴情報Ｉｃとを映像品質学習モデルＭｌに入力して、各領域Ｓｐ，Ｓｎ，Ｓｂへの分配ビット数Ｂｓを得る。この分配ビット数Ｂｓは、上記１フレームあたりのビット数を分割した値として算出される。

【0093】

続いて、制御部１３は、ステップＳ２８の処理として、最適映像ビットレートＢＲｂを、映像データＤｖに適用する映像ビットレートとして確定し、最大フレームレートＦＲｍを、映像データＤｖに適用するフレームレートとして確定する。そして、制御部１３は、確定した映像ビットレートおよびフレームレート、分配ビット数Ｂｓ、映像特徴情報Ｉｃを含むデータセットを映像品質学習モデルＭｌに学習させる。

【0094】

続いて、制御部１３は、ステップＳ２９の処理として、ステップＳ３２で設定した優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの範囲、ステップＳ２８で確定した映像ビットレートおよびフレームレート、ステップＳ３４で得た分配ビット数Ｂｓを含む映像品質情報Ｉｖを生成して処理を終了する。

【0095】

上述のフローにおいては、映像特徴情報Ｉｃを映像品質学習モデルＭｌに入力して、分配ビット数Ｂｓを出力させた。映像品質学習モデルＭｌの入力パラメータには、少なくとも映像特徴情報Ｉｃが含まれていればよく、映像特徴情報Ｉｃに加えて、最適映像ビットレートＢＲｂや最大フレームレートＦＲｍが含まれてもよい。また、映像品質学習モデルＭｌの出力パラメータには、少なくとも分配ビット数Ｂｓが含まれていればよく、分配ビット数Ｂｓに加えて、映像データＤｖに適用される映像ビットレートやフレームレートが含まれてもよい。

【0096】

また、画像フィルタの適用によって映像品質に差をつける場合には、入力パラメータあるいは出力パラメータに、画像フィルタを規定する定数等のパラメータが含まれてもよい。

【0097】

なお、上述では、画質／フレームレート優先フラグＦｇが映像伝送システムの利用者の意思に基づいて設定される例を説明したが、ネットワーク情報Ｉｎや映像特徴情報Ｉｃ等に基づいて、制御部１３が、画質／フレームレート優先フラグＦｇを設定してもよい。

【0098】

［映像データの生成処理］
映像伝送装置１００における制御部１３の映像データ生成部１３ｄが行う映像データＤｖの生成処理について、詳細に説明する。

【0099】

映像データ生成部１３ｄは、映像品質情報Ｉｖを用いて、撮影データＤｒから映像データＤｖを生成する。映像品質情報Ｉｖには、映像品質設定部１３ｃが設定した映像品質を有する映像データＤｖを生成するための各種のパラメータ等の情報が含まれる。

【0100】

また、映像データＤｖの生成処理には、撮影部１１が撮影した映像を、映像出力装置２００の表示部２１の表示領域の形状に適合させて表示部２１に表示するための加工が含まれる。こうした加工には、例えば、複数の領域の撮像映像を繋ぎ合わせて全周映像を生成するスティッチング処理や、正距円筒図法に従った映像への加工が含まれる。なお、正距円筒図法に従った映像を生成する場合、描画時と伝送時の幾何学的整合性を保ちつつ映像データＤｖの容量を的確に削減するためには、優先領域Ｓｐの中心が、正距円筒図法における中心となるように変換が行われることが好ましい。

【0101】

［作用］
第１実施形態の映像伝送システムの作用を説明する。映像伝送システムにおいては、優先領域Ｓｐ以外の領域の映像品質が、優先領域Ｓｐの映像品質よりも低くされる。したがって、映像範囲Ｓｏの全範囲が、優先領域Ｓｐと同じ映像品質を有する場合と比較して、映像データＤｖの容量の削減が可能である。それゆえ、映像伝送装置１００から映像出力装置２００へ広範囲の状況を表示するための映像データＤｖを伝送する場合であっても、通信負荷の増大が抑えられる。

【0102】

そして、優先領域Ｓｐが注目位置Ｔｐを含むため、視聴者Ｐｄが注目すると推定される領域の映像品質が相対的に高く、それ以外の領域の映像品質が相対的に低い映像が表示部２１に表示される。すなわち、視聴者Ｐｄの視野の中央部で映像品質が高く、視聴者Ｐｄの視野の周縁部で映像品質が低くなる。したがって、視聴者Ｐｄには、視聴者Ｐｄが第１空間Ｒ１内にいる場合の見え方に近しい見え方で、第１空間Ｒ１内の状況が視認される。さらに、対象物Ｏｂの移動に応じて注目位置Ｔｐが移動し、それに伴って優先領域Ｓｐが移動する。これらによれば、視聴者Ｐｄの視点に応じた映像が表示部２１に表示されるため、視聴者Ｐｄの臨場感が高められる。
したがって、映像データＤｖの伝送に際しての通信負荷の増大を抑えつつ、視聴者Ｐｄの臨場感を高めることができる。

【0103】

また、優先領域Ｓｐと他の領域との映像品質の差が、ネットワーク情報Ｉｎに基づいて決定される。すなわち、映像品質の設定に映像伝送装置１００と映像出力装置２００との間の通信状況が加味される。したがって、優先領域Ｓｐおよび他の領域の映像品質を、通信状況の良否に応じた品質に設定することができるため、映像データＤｖの伝送に際しての通信負荷の増大が的確に抑えられる。

【0104】

また、第１空間Ｒ１における対象物Ｏｂの位置が検出されることに基づいて注目位置Ｔｐが設定され、それに基づき優先領域Ｓｐが設定される形態であれば、視聴者Ｐｄが注目すると推定される対象を優先領域Ｓｐに的確に含めることができる。また、映像伝送装置１００が自身で収集した情報のみに基づいて注目位置Ｔｐおよび優先領域Ｓｐを設定するため、映像伝送装置１００による処理が円滑に進む。

【0105】

また、映像伝送装置１００の向きに基づいて注目位置Ｔｐが設定され、それに基づき優先領域Ｓｐが設定される形態であれば、映像伝送装置１００の向きの制御によって優先領域Ｓｐとなる領域を制御することができる。特に、映像伝送装置１００の向きが、視聴者Ｐｄによる遠隔操作によって変更可能とされる形態であれば、優先領域Ｓｐの設定に視聴者Ｐｄの意思が反映されるため、視聴者Ｐｄの希望に的確に沿った映像の出力が可能である。

【0106】

また、映像範囲Ｓｏが、優先領域Ｓｐと境界領域Ｓｂと非優先領域Ｓｎとの３種類の領域に区分けされ、優先領域Ｓｐ、境界領域Ｓｂ、非優先領域Ｓｎの順に映像品質が段階的に低くなる形態であれば、優先領域Ｓｐから非優先領域Ｓｎへ急激に映像品質が変化する場合と比較して、映像品質の差に起因した違和感を視聴者Ｐｄが覚えることが抑えられる。

【0107】

以上説明したように、第１実施形態によれば、以下に列挙する効果を得ることができる。
（１）映像伝送装置１００は、撮影部１１が撮影した映像に含まれる映像範囲Ｓｏを、注目位置Ｔｐを含む優先領域Ｓｐを含めた複数の領域に区分けし、優先領域Ｓｐの映像品質よりも他の領域の映像品質を低く設定する。こうした構成によれば、映像範囲Ｓｏの全体に、優先領域Ｓｐの映像品質と同じ映像品質を適用する場合と比較して、映像データＤｖの容量を削減することができる。そして、優先領域Ｓｐが注目位置を含むため、視聴者Ｐｄが注目すると推定される領域の映像品質が相対的に高く、それ以外の領域の映像品質が相対的に低い映像が表示部２１に表示される。すなわち、視聴者Ｐｄの視点に応じた映像が表示部２１に表示されるため、視聴者Ｐｄの臨場感が高められる。

【0108】

（２）対象物Ｏｂの位置を検出するための位置設定用情報Ｉｐに基づいて、注目位置Ｔｐが設定される構成であれば、第１空間Ｒ１における対象物Ｏｂの位置に応じて、映像品質が高くされる優先領域Ｓｐが設定される。したがって、視聴者Ｐｄが注目すると推定される対象を優先領域Ｓｐに的確に含めることができる。

【0109】

（３）映像伝送装置１００の向きに基づいて、注目位置Ｔｐが設定される構成であれば、映像伝送装置１００の向きの制御によって、優先領域Ｓｐとなる領域を制御することができる。したがって、映像伝送システムの利用者の利便性が高められるとともに、利用者が優先領域Ｓｐとなる領域を客観的に把握しやすくなる。特に、映像伝送装置１００が、視聴者Ｐｄによる遠隔操作によって、映像伝送装置１００の向きを変更可能に構成されている形態であれば、優先領域Ｓｐの設定に視聴者Ｐｄの意思が反映されるため、視聴者Ｐｄの希望に的確に沿った映像の出力が可能である。

【0110】

（４）ネットワーク情報Ｉｎに基づいて、優先領域Ｓｐおよび他の領域の映像品質が設定されるため、映像品質の設定に通信状況が加味される。すなわち、各領域の映像品質を、通信状況の良否に応じた品質に設定することができるため、映像データＤｖの伝送に際しての通信負荷の増大が的確に抑えられる。

【0111】

（５）映像範囲Ｓｏが、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとに区分けされ、優先領域Ｓｐの映像品質よりも境界領域Ｓｂの映像品質が低く設定されるとともに、境界領域Ｓｂの映像品質よりも非優先領域Ｓｎの映像品質が低く設定される。こうした構成によれば、優先領域Ｓｐから非優先領域Ｓｎへ急激に映像品質が変化する場合と比較して、映像品質の差に起因した違和感を視聴者Ｐｄに与えることが抑えられる。

【0112】

（６）映像品質に、映像が含む像の鮮明さ、および、動画としての滑らかさの少なくとも一方が含まれる。これによれば、優先領域Ｓｐ以外の映像品質を低くすることで、映像データＤｖの容量の的確な削減が可能である。

【0113】

（７）優先領域Ｓｐのビットレートよりも他の領域のビットレートを低く設定することで、優先領域Ｓｐよりも他の領域の映像品質を低くする構成であれば、映像品質の設定が容易であり、また、映像データＤｖの容量の的確な削減が可能である。

【0114】

（８）映像品質の設定に映像特徴情報Ｉｃとして輝度変化量を用い、輝度変化量が大きいほど、優先領域Ｓｐと他の領域との映像品質の差を小さくする構成では、映像を構成する画像内での明るさの変化が大きいほど、映像品質の差が小さくなる。したがって、映像品質の差が認識されやすい特性を映像が有するほど、各領域間での映像品質の差が小さくされるため、映像品質の差に起因した違和感を視聴者Ｐｄに与えることが抑えられる。

【0115】

（９）画質が高いことを優先する場合と、フレームレートが高いことを優先する場合とで、映像品質、すなわち、優先領域Ｓｐと他の領域とのビットレート、および、フレームレートを異ならせる構成であれば、状況に応じた映像品質の設定が可能である。したがって、映像伝送システムの利用者の利便性が高められる。

【0116】

（第２実施形態）
図７～図１０を参照して、映像伝送システム、映像伝送装置、および、映像伝送プログラムの第２実施形態を説明する。第２実施形態においては、注目位置Ｔｐの設定のための情報の収集と、ネットワーク情報Ｉｎの取得とが、第２空間Ｒ２の映像出力装置にて行われる点が、第１実施形態と異なっている。以下では、第２実施形態と第１実施形態との相違点を中心に説明し、第１実施形態と同様の構成については同じ符号を付してその説明を省略する。

【0117】

［映像伝送システムの構成］
第２実施形態の映像伝送システムの機能的な構成について説明する。第２実施形態においても、映像伝送システムは、第１空間Ｒ１に配備される映像伝送装置１１０と、第２空間Ｒ２に配備される映像出力装置２１０とを備える。映像伝送装置１１０と映像出力装置２１０とは、ネットワークＮＷを通じて、相互にデータの送信および受信を行う。

【0118】

映像伝送装置１１０は、撮影部１１、通信部１２、制御部１３、および、記憶部１５を備える。第２実施形態の映像伝送装置１１０は、位置情報収集部１４を備えていない。映像伝送装置１１０が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部１３と制御部１３以外の構成部とは、有線または無線で接続されていてもよい。映像伝送装置１１０は、例えば、テレプレゼンスロボットに具体化される。

【0119】

撮影部１１、通信部１２、および、記憶部１５の各々は、第１実施形態と同様の構成を有する。制御部１３は、映像伝送システムを構成する機能部として、注目位置設定部１３ｂと、映像品質設定部１３ｃと、映像データ生成部１３ｄとを含んでいる。制御部１３は、ネットワーク情報取得部１３ａを含んでいない。

【0120】

注目位置設定部１３ｂは、映像出力装置２１０から通信部１２を介して受信した視線情報Ｉｗに基づき、第１空間Ｒ１内に注目位置Ｔｐを設定する。
映像品質設定部１３ｃは、映像出力装置２１０から通信部１２を介して受信したネットワーク情報Ｉｎ、および、注目位置Ｔｐを含む情報に基づいて、映像範囲Ｓｏを複数の領域に区分けするとともに、各領域の映像品質を設定する。すなわち、映像品質設定部１３ｃは、注目位置Ｔｐを含む優先領域Ｓｐよりも他の領域の映像品質が低くなるように、各領域の映像品質を設定する。そして、映像品質設定部１３ｃは、各領域の映像品質を示す映像品質情報Ｉｖを出力する。

【0121】

映像データ生成部１３ｄは、撮影部１１の撮影データＤｒから、映像品質情報Ｉｖに従って、映像データＤｖを生成する。そして、映像データ生成部１３ｄは、映像データＤｖを、通信部１２を介して、映像出力装置２１０に送信する。

【0122】

映像出力装置２１０は、表示部２１、通信部２２、制御部２３、記憶部２４に加えて、視聴者情報収集部２５を備える。映像出力装置２１０が備えるこれらの構成部は、一体に組み付けられていてもよいし、複数の構成部の少なくとも一部が他の部と分離して配置されていてもよい。制御部２３と制御部１３以外の構成部とは、有線または無線で接続されていてもよい。

【0123】

表示部２１、通信部２２、および、記憶部２４の各々は、第１実施形態と同様の構成を有する。視聴者情報収集部２５は、視聴者Ｐｄの視線方向を検出するための情報を収集する。視聴者情報収集部２５には、例えば、赤外線レーザー装置とその受光装置、ミリ波レーダー装置、カメラ等の画像撮影装置等が含まれる。

【0124】

制御部２３は、映像伝送システムを構成する機能部として、出力処理部２３ａに加えて、ネットワーク情報取得部２３ｂと、視聴者情報管理部２３ｃとを含んでいる。
ネットワーク情報取得部２３ｂは、通信部２２を通じて、ネットワーク情報Ｉｎを取得する。ネットワーク情報Ｉｎは、ネットワークＮＷを利用した映像伝送装置１１０と映像出力装置２１０との間の通信状況を示す情報であり、第２実施形態では、映像出力装置２１０からみて、映像伝送装置１１０から映像出力装置２１０への下り方向の通信経路に含まれる少なくとも１つの回線についての情報である。

【0125】

視聴者情報管理部２３ｃは、視聴者情報収集部２５が収集した情報に基づく視線情報Ｉｗを生成する。ネットワーク情報Ｉｎおよび視線情報Ｉｗは、通信部２２を介して、映像伝送装置１１０に送信される。視線情報Ｉｗは、視聴者Ｐｄの視線方向を示す情報、もしくは、視聴者Ｐｄの視線方向を算出可能な情報である。視線情報Ｉｗは、視聴者情報収集部２５から出力された情報を用いた演算の結果として導出される情報であってもよいし、視聴者情報収集部２５から出力された情報そのものであってもよい。

【0126】

出力処理部２３ａは、映像伝送装置１１０から通信部２２が受信した映像データＤｖに対し、表示領域の形状等に応じて必要な変換を加え、映像データＤｖに基づく映像を表示部２１に表示させる。

【0127】

［映像伝送システムの動作］
図８を参照して、第２実施形態の映像伝送システムの処理手順の概略を説明する。図８が示す処理は、撮影部１１が撮影を継続している期間に行われる処理である。

【0128】

まず、映像出力装置２１０の制御部２３が、視聴者情報収集部２５による情報の収集に基づいて視線情報Ｉｗを取得するとともに、ネットワーク情報Ｉｎを取得する（ステップＳ４０）。

【0129】

続いて、制御部２３は、視線情報Ｉｗとネットワーク情報Ｉｎとを、通信部２２を介して映像伝送装置１１０に送信する（ステップＳ４１）。
視線情報Ｉｗおよびネットワーク情報Ｉｎを受信すると、映像伝送装置１１０の制御部１３は、受信した情報を用いて、注目位置Ｔｐを設定し、映像範囲Ｓｏを複数の領域に区分けして、各領域の映像品質を設定する（ステップＳ４２）。

【0130】

続いて、制御部１３は、ステップＳ４２で設定された映像品質を示す映像品質情報Ｉｖに従って撮影データＤｒを変換して、映像データＤｖを生成する（ステップＳ４３）。
映像データＤｖが生成されると、制御部１３は、映像データＤｖを、通信部１２を介して、映像出力装置２１０に送信する（ステップＳ４４）。

【0131】

映像データＤｖを受信すると、映像出力装置２１０の制御部２３は、映像データＤｖを用いて、表示部２１に映像を表示させる（ステップＳ４５）。
図８に示す処理において、ステップＳ４０～ステップＳ４２の処理は、撮影部１１が撮影を継続している間、所定の間隔で行われてもよい。あるいは、ステップＳ４０の処理が所定の間隔で行われ、視線情報Ｉｗおよびネットワーク情報Ｉｎのいずれかが前回の取得時から変化した場合にのみ、ステップＳ４１およびステップＳ４２の処理が行われてもよい。あるいは、ステップＳ４０およびステップＳ４１の処理が所定の間隔で行われ、視線情報Ｉｗおよびネットワーク情報Ｉｎのいずれかが前回の取得時から変化した場合にのみ、ステップＳ４２の処理が行われてもよい。

【0132】

ステップＳ４３の処理では最新の映像品質情報Ｉｖが用いられ、制御部１３に入力される撮影データＤｒに対してステップＳ４３～ステップＳ４５の処理が順々に行われることにより、第１空間Ｒ１内の状況を示す映像が第２空間Ｒ２の映像出力装置２１０に表示される。

【0133】

［視線情報の生成処理および注目位置の設定処理］
映像出力装置２１０における制御部２３の視聴者情報管理部２３ｃが行う視線情報Ｉｗの生成処理、および、映像伝送装置１１０における制御部１３の注目位置設定部１３ｂが行う注目位置Ｔｐの設定処理について、詳細に説明する。

【0134】

図９が示すように、映像出力装置２１０の視聴者情報収集部２５を構成する装置は、例えば、第２空間Ｒ２の上部に設置され、視聴者Ｐｄの視線方向を検出するための情報を収集する。視聴者情報収集部２５が出力する情報に基づき、例えば、人物の位置や動きの検出や、画像解析による頭部の位置の検出が行われ、これに基づき、視聴者Ｐｄの視線方向が算出される。

【0135】

視聴者Ｐｄの視線方向の算出は、映像出力装置２１０が行ってもよいし、映像伝送装置１１０が行ってもよい。すなわち、視聴者情報管理部２３ｃは、視聴者情報収集部２５が出力する情報に基づき算出した視線方向を示す情報を、視線情報Ｉｗとして映像伝送装置１１０に送信してもよい。あるいは、視聴者情報管理部２３ｃは、視聴者情報収集部２５の出力に基づく情報であって、映像伝送装置１１０にて視聴者Ｐｄの視線方向を算出可能な情報を、視線情報Ｉｗとして映像伝送装置１１０に送信してもよい。

【0136】

視聴者Ｐｄの視線方向は、視聴者Ｐｄが見ている方向であって、例えば、図１０に矢印Ａ２として示すように、水平面内における視聴者Ｐｄの頭部の向き、すなわち、視聴者Ｐｄの真上から見た場合の視聴者Ｐｄの頭部の向きによって規定される。視聴者Ｐｄの顔部分から前方に直進する方向が、視聴者Ｐｄの視線方向である。

【0137】

あるいは、視聴者Ｐｄの視線方向は、三次元直交座標系における視聴者Ｐｄの向き、もしくは向きおよび位置によって規定されてもよい。視聴者情報収集部２５は、視線方向の算出方法に応じた情報を収集可能なように構成されていればよい。また、視聴者Ｐｄに、視線方向の算出のためのセンサ等の機器が装着されてもよい。上記センサとしては、例えば、ジャイロセンサ、加速度センサ、地磁気センサ等が挙げられる。こうした機器も、視聴者情報収集部２５を構成する。あるいは、視聴者Ｐｄに装着される上記センサ等の機器のみから視聴者情報収集部２５が構成されてもよい。

【0138】

映像伝送装置１１０の注目位置設定部１３ｂは、視線情報Ｉｗに基づく視線方向に応じて、第１空間Ｒ１内に、注目位置Ｔｐを設定する。例えば、注目位置Ｔｐの初期位置が、第１空間Ｒ１内の所定の位置に設定され、視線方向の変化に合わせて、例えば映像伝送装置１１０の位置である基準点から注目位置Ｔｐに向かう方向が変化するように、注目位置Ｔｐが移動される。あるいは、第１空間Ｒ１と第２空間Ｒ２との各々に三次元直交座標系が設定されるとともに上下左右前後の方向が一致するように軸方向が共有され、第２空間Ｒ２の座標系によって規定される視線方向に応じて、第１空間Ｒ１の座標系によって規定される注目位置Ｔｐが設定される。

【0139】

要は、注目位置Ｔｐは、視線方向の変化に同期して移動するように設定されればよい。すなわち、視線方向の変化に合わせて注目位置Ｔｐが移動され、注目位置Ｔｐの移動に伴って、優先領域Ｓｐが移動される。第２実施形態においても、映像品質の設定処理および映像データＤｖの生成処理は、第１実施形態と同様に行われる。

【0140】

なお、第２実施形態においても、映像伝送装置１１０の向きは、第２空間Ｒ２の視聴者Ｐｄによる遠隔操作が可能であってもよい。ただし、第２実施形態の構成によれば、映像伝送装置１１０の向きを変更せずとも、視聴者Ｐｄの視線方向の変更、すなわち、視聴者Ｐｄ自身の向きの変更によって、優先領域Ｓｐの移動が可能である。なお、視聴者Ｐｄの遠隔操作に依らず、注目位置Ｔｐが設定されることに基づき、映像伝送装置１１０が注目位置Ｔｐの方を向くように、映像伝送装置１１０の向きが変更されてもよい。

【0141】

［作用］
第２実施形態の映像伝送システムの作用を説明する。第２実施形態においても、優先領域Ｓｐ以外の映像品質が、優先領域Ｓｐの映像品質よりも低くされる。したがって、映像データＤｖの容量の削減が可能であるため、通信負荷の増大が抑えられる。そして、優先領域Ｓｐが注目位置Ｔｐを含むことにより、視聴者Ｐｄの視点に応じた映像が表示部２１に表示されるため、視聴者Ｐｄの臨場感が高められる。

【0142】

第２実施形態においては、視聴者Ｐｄの視線方向に基づいて注目位置Ｔｐが設定され、それに基づき優先領域Ｓｐが設定される。したがって、優先領域Ｓｐの設定に視聴者Ｐｄの意思が反映されやすいため、視聴者Ｐｄの希望により沿った映像が表示部２１に表示される。したがって、視聴者Ｐｄの満足感が高められる。また、視聴者Ｐｄの視線方向の変化に応じて優先領域Ｓｐが移動するため、視聴者Ｐｄの臨場感がより高められる。

【0143】

以上説明したように、第２実施形態によれば、第１実施形態の（１），（４）～（９）の効果に加えて、以下の効果を得ることができる。
（１０）視聴者Ｐｄの視線方向に応じて、映像品質が高くされる優先領域Ｓｐが設定されるため、優先領域Ｓｐの設定に視聴者の意思が反映されやすい。したがって、視聴者Ｐｄの希望に的確に沿った映像が表示部２１に表示される。また、当該映像が、視聴者Ｐｄの視点に的確に沿った映像となるため、視聴者Ｐｄの臨場感がより高められる。

【0144】

［適用例］
上記各実施形態においては、映像伝送システムが、遠隔での人と人とのコミュニケーションに利用される形態を例示したが、映像伝送システムの用途はこれに限られない。以下、他の用途への映像伝送システムの適用例を説明する。以下の適用例には、第１実施形態の映像伝送システムの構成と、第２実施形態の映像伝送システムの構成とのいずれが適用されてもよい。

【0145】

＜適用例１：遠隔就労＞
適用例１の映像伝送システムは、遠隔就労に利用される。適用例１において、視聴者Ｐｄは就労者である。第１空間Ｒ１は、就労先であって、例えば、会社やシェアオフィス等のオフィスである。第２空間Ｒ２は、特に限定されず、例えば、視聴者Ｐｄの自宅、会社の別拠点やシェアオフィス等のオフィスである。視聴者Ｐｄは、表示部２１に表示される第１空間Ｒ１の状況を見ながら、作業を進める。作業は、第２空間Ｒ２でのみ行われてもよいし、第１空間Ｒ１に位置する装置を視聴者Ｐｄが遠隔操作すること等によって、第１空間Ｒ１で行われてもよい。第１空間Ｒ１には、人物が位置しなくてもよく、第１実施形態の映像伝送システムが適用される場合、対象物Ｏｂは人物に限らず、資料や作業対象等の物品であってもよい。
適用例１によれば、視聴者Ｐｄは、就労先とは離れた空間に位置しながら、就労先にいるかのような臨場感の高い就労を行うことが可能であり、作業性の向上も可能である。

【0146】

＜適用例２：遠隔観光＞
適用例２の映像伝送システムは、遠隔観光に利用される。適用例２において、視聴者Ｐｄは観光者である。第１空間Ｒ１は、観光先であって、例えば、観光施設や商業施設である。観光施設には、博物館、水族館、美術館、文化財等の観光名所が含まれる。第２空間Ｒ２は、特に限定されず、例えば、視聴者Ｐｄの自宅、学校、会議施設、商業施設、介護施設、病院等である。視聴者Ｐｄは、表示部２１に表示される第１空間Ｒ１の状況を見ることで、観光を行う。第１空間Ｒ１には、人物が位置しなくてもよく、第１実施形態の映像伝送システムが適用される場合、対象物Ｏｂは、例えば、動物、植物、建物等の施設、展示品等である。
適用例２によれば、視聴者Ｐｄは、観光先とは離れた空間に位置しながら、臨場感の高い観光を行うことが可能であり、視聴者Ｐｄの興趣も高められる。

【0147】

＜適用例３：遠隔診療＞
適用例３の映像伝送システムは、遠隔診療に利用される。適用例３において、視聴者Ｐｄは、医師や看護師等の医療従事者である。第１空間Ｒ１は、患者がいる施設であって、例えば、地方の診療所や離島の診療所等である。第２空間Ｒ２は、特に限定されず、例えば、都市部の病院や、医大の教室等である。視聴者Ｐｄは、表示部２１に表示される第１空間Ｒ１の状況を見ることで、診療を行う。第１空間Ｒ１には、患者が位置し、第１実施形態の映像伝送システムが適用される場合、対象物Ｏｂは、患者、あるいは、患者の患部である。

【0148】

適用例３によれば、視聴者Ｐｄは、患者とは離れた空間に位置しながら、患者と同じ空間にいるかのような臨場感の高い診療を行うことが可能であり、遠隔地においても患者の症状に適した診療を行いやすい。

【0149】

＜適用例４：遠隔農業＞
適用例４の映像伝送システムは、遠隔農業に利用される。適用例４において、視聴者Ｐｄは、農業従事者である。第１空間Ｒ１は、農業施設であって、例えば、水田、畑、ビニールハウス、森林等である。第２空間Ｒ２は、特に限定されず、例えば、視聴者Ｐｄの自宅や、会社等のオフィス等である。視聴者Ｐｄは、表示部２１に表示される第１空間Ｒ１の状況を見ることで、農作物の観察や農作業を行う。農作業は、第１空間Ｒ１に位置する装置を視聴者Ｐｄが遠隔操作すること等によって、第１空間Ｒ１で行われる。第１空間Ｒ１には、人物が位置しなくてもよく、第１実施形態の映像伝送システムが適用される場合、対象物Ｏｂは、例えば、農作物である。

【0150】

適用例４によれば、視聴者Ｐｄは、農業施設とは離れた空間に位置しながら、臨場感の高い農作物の観察や農作業が可能である。

【0151】

［変形例］
上記各実施形態および適用例は、以下のように変更して実施することが可能である。
・第１実施形態において、ネットワーク情報Ｉｎは、第２実施形態と同様に映像出力装置２００にて取得されて、映像伝送装置１００に送信されてもよい。また、第２実施形態において、ネットワーク情報Ｉｎは、第１実施形態と同様に映像伝送装置１１０にて取得されてもよい。また、第１実施形態および第２実施形態の各々において、映像伝送装置にて取得されたネットワーク情報Ｉｎと映像出力装置にて取得されたネットワーク情報Ｉｎとの双方が、映像品質の設定に用いられてもよい。

【0152】

・上記各実施形態においては、ネットワーク情報Ｉｎは、例えば映像ビットレートの設定のように、映像品質の設定のために用いられた。ネットワーク情報Ｉｎは、映像範囲Ｓｏに対する優先領域Ｓｐを含む領域の設定に利用されてもよい。例えば、ネットワーク情報Ｉｎに応じて、優先領域Ｓｐを含む領域の大きさが定められてもよい。具体的には、通信状況が良好であるほど、優先領域Ｓｐが大きくされる。

【0153】

・注目位置Ｔｐは、対象物Ｏｂの位置および映像伝送装置の向きの少なくとも一方と、視聴者Ｐｄの視線方向とに基づいて設定されてもよい。
・映像出力装置の制御部２３の出力処理部２３ａは、映像データＤｖが示す映像に対して、優先領域Ｓｐと他の領域との映像品質の差を視聴者Ｐｄに認識されにくくするための処理を行った後、当該処理後の映像を表示部２１に表示させてもよい。こうした処理には、例えば、移動平均フィルタやガウシアンフィルタのような像をぼかす画像フィルタの適用が含まれる。例えば、映像範囲Ｓｏが、優先領域Ｓｐと非優先領域Ｓｎと境界領域Ｓｂとの３種類の領域に区分けされるとき、境界領域Ｓｂに上記画像フィルタが適用されると、各領域Ｓｐ，Ｓｎ，Ｓｂの境界が視聴者Ｐｄに認識されにくくなるため、映像品質の差に起因した違和感を視聴者Ｐｄが覚えることが抑えられる。

【0154】

・表示部２１は、第２空間Ｒ２内に位置していればよく、視聴者Ｐｄに携帯されていてもよい。例えば、表示部２１は、視聴者Ｐｄの頭部に装着されるディスプレイであってもよい。

【0155】

・撮影部１１の撮影範囲は固定されていてもよいし、移動可能であってもよい。例えば、撮影部１１の撮影範囲は、注目位置Ｔｐに応じて、注目位置Ｔｐが撮影範囲の中央部に位置するように移動されてもよい。この場合、注目位置Ｔｐの設定後に撮影部１１の撮影範囲が決定され、その撮影範囲に応じた映像範囲Ｓｏに対して優先領域Ｓｐを含む領域の設定が行われる。

【0156】

・上記各実施形態では、映像伝送装置が、テレプレゼンスロボットのように、その位置および向きを変更可能に構成され、映像伝送装置の位置および向きが、視聴者Ｐｄによる遠隔操作によって変更される形態を例示した。これに限らず、映像伝送装置の位置および向きは、第１空間Ｒ１内の人物によって変更されてもよいし、映像伝送装置の位置および向きは変更可能でなくてもよい。また、映像伝送装置は、ドローンであってもよい。

【0157】

・第１空間Ｒ１の映像が第２空間Ｒ２に位置する表示部２１に表示されることに加えて、第２空間Ｒ２の映像が、第１空間Ｒ１に位置する表示部に表示されてもよい。
・注目位置Ｔｐの設定や映像品質の設定に、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）が利用されてもよい。

【符号の説明】

【0158】

Ｏｂ…対象物、Ｐｄ…視聴者、Ｒ１…第１空間、Ｒ２…第２空間、Ｓｐ…優先領域、Ｓｎ…非優先領域、Ｓｂ…境界領域、Ｔｐ…注目位置、１１…撮影部、１２…通信部、１３…制御部、１３ａ…ネットワーク情報取得部、１３ｂ…注目位置設定部、１３ｃ…映像品質設定部、１３ｄ…映像データ生成部、１４…位置情報収集部、１５…記憶部、２１…表示部、２２…通信部、２３…制御部、２３ａ…出力処理部、２３ｂ…ネットワーク情報処理部、２３ｃ…視聴者情報管理部、２５…視聴者情報収集部、１００，１１０…映像伝送装置、２００，２１０…映像出力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】