特許 6973412 情報処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6973412

(24)【登録日】2021年11月8日

(45)【発行日】2021年11月24日

(54)【発明の名称】情報処理装置および方法

(51)【国際特許分類】

   H04N 19/597 20140101AFI20211111BHJP

   H04N 19/115 20140101ALI20211111BHJP

   H04N 19/176 20140101ALI20211111BHJP

   H04N 19/167 20140101ALI20211111BHJP

【ＦＩ】

   H04N19/597

   H04N19/115

   H04N19/176

   H04N19/167

【請求項の数】16

【全頁数】25

(21)【出願番号】特願2018-559029(P2018-559029)

(86)(22)【出願日】2017年12月14日

(86)【国際出願番号】JP2017044858

(87)【国際公開番号】WO2018123611

(87)【国際公開日】20180705

【審査請求日】2020年10月27日

(31)【優先権主張番号】特願2016-256729(P2016-256729)

(32)【優先日】2016年12月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】江島 公志

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１５−１１４７１６（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１７２８９４（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／１１６２４３（ＷＯ，Ａ１）

【文献】 国際公開第２００７／０２６４４０（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／００２２５２１（ＵＳ，Ａ１）

【文献】 Mehrdad Panahpour Tehrani et al.，INTEGRATION OF 3D AUDIO AND 3D VIDEO FOR FTV，3DTV Conference (3DTV-CON 2009)，IEEE，2009年05月，pp.1-4

【文献】 Masayuki Tanimoto，FTV (FREE-VIEWPOINT TV)，Proceedings of 2010 IEEE 17th International Conference on Image Processing (ICIP 2010)，IEEE，2010年09月，pp.2393 - 2396

【文献】 Camilo Dorea and Ricardo L. de Queiroz，Attention-Weighted Texture and Depth Bit-Allocation in General-Geometry Free-Viewpoint Television，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，IEEE，2017年05月，Vol.27, No.5，pp.1055 - 1065

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

３次元領域における単位領域であるボクセルであって、複数の撮像部の撮像範囲である視野の重なりに関するパラメータが第１の閾値よりも大きなピークボクセルを検出し、前記ピークボクセルの周辺において前記第１の閾値よりも小さい第２の閾値よりも前記パラメータが大きな前記ボクセルである周辺ボクセルを検出し、前記ピークボクセルおよび前記周辺ボクセルが被写体を含むと判定する被写体判定部と、
前記被写体判定部により前記被写体を含むと判定された前記ボクセルに対して、前記被写体判定部により前記被写体を含まないと判定された前記ボクセルよりも大きな重みを設定する重み付け部と、
前記重み付け部により設定された前記重みに基づいて、前記３次元領域に関する情報を符号化する符号化部と
を備える情報処理装置。

【請求項2】

前記重み付け部は、前記３次元領域内の視聴不可能な前記ボクセルに対してより小さな前記重みを設定する
請求項１に記載の情報処理装置。

【請求項3】

前記重み付け部は、前記３次元領域内の視聴可能な領域の分布を示す視聴可能領域マップに基づいて特定される視聴不可能な前記ボクセルに対してより小さな前記重みを設定する
請求項２に記載の情報処理装置。

【請求項4】

各ボクセルについて前記パラメータを算出するパラメータ算出部をさらに備え、
前記被写体判定部は、前記パラメータ算出部により算出された前記パラメータを用いて前記ボクセルが前記被写体を含むかを判定する
請求項１に記載の情報処理装置。

【請求項5】

前記パラメータ算出部は、各撮像部の撮像範囲を示す視野錐の位置、方向、大きさ、形状に基づいて、各ボクセルについて前記パラメータを算出する
請求項４に記載の情報処理装置。

【請求項6】

前記パラメータ算出部は、さらに、前記ボクセルの前記視野錐内の位置に基づいて前記パラメータを算出する
請求項５に記載の情報処理装置。

【請求項7】

前記パラメータ算出部は、前記撮像部の位置および姿勢に基づいて前記視野錐を推定する
請求項５に記載の情報処理装置。

【請求項8】

前記パラメータ算出部は、さらに前記撮像部の内部パラメータに基づいて前記視野錐を推定する
請求項７に記載の情報処理装置。

【請求項9】

前記パラメータ算出部は、さらにデプス情報に基づいて前記視野錐を推定する
請求項７に記載の情報処理装置。

【請求項10】

前記重み付け部により設定された前記３次元領域内の前記重みの分布を、前記３次元領域の撮像画像に対応付ける重み映像対応付け部をさらに備え、
前記符号化部は、前記重み映像対応付け部により前記撮像画像に対応付けられた前記重みの分布に基づいて前記撮像画像を符号化するように構成される
請求項１に記載の情報処理装置。

【請求項11】

前記符号化部は、前記重みの分布に応じて、前記撮像画像の符号化のビットレートまたは符号化モードを制御する
請求項１０に記載の情報処理装置。

【請求項12】

前記重み付け部により設定された前記３次元領域内の前記重みの分布を、前記３次元領域内の音声に対応付ける重み音声対応付け部をさらに備え、
前記符号化部は、前記重み音声対応付け部により前記音声に対応付けられた前記重みの分布に基づいて前記音声を符号化するように構成される
請求項１に記載の情報処理装置。

【請求項13】

前記符号化部は、前記重みの分布に応じて、前記音声の符号化のビットレートまたは符号化モードを制御する
請求項１２に記載の情報処理装置。

【請求項14】

前記重み付け部により設定された前記３次元領域内の前記重みの分布を、前記３次元領域の３次元構造を示す３次元構造データに対応付ける重み３次元構造対応付け部をさらに備え、
前記符号化部は、前記重み３次元構造対応付け部により前記３次元構造データに対応付けられた前記重みの分布に基づいて前記３次元構造データを符号化するように構成される
請求項１に記載の情報処理装置。

【請求項15】

前記符号化部は、前記重みの分布に応じて、前記３次元構造データの符号化の、３次元を表現する頂点数の近似・削除率を制御する
請求項１４に記載の情報処理装置。

【請求項16】

３次元領域における単位領域であるボクセルであって、複数の撮像部の撮像範囲である視野の重なりに関するパラメータが第１の閾値よりも大きなピークボクセルを検出し、前記ピークボクセルの周辺において前記第１の閾値よりも小さい第２の閾値よりも前記パラメータが大きな前記ボクセルである周辺ボクセルを検出し、前記ピークボクセルおよび前記周辺ボクセルが被写体を含むと判定し、
前記被写体を含むと判定された前記ボクセルに対して、前記被写体を含まないと判定された前記ボクセルよりも大きな重みを設定し、
設定された前記重みに基づいて、前記３次元領域に関する情報を符号化する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および方法に関し、特に、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができるようにした情報処理装置および方法に関する。

【背景技術】

【0002】

近年、３次元領域を任意の視点位置から見た画像（自由視点画像とも称する）を表示するために、複数台の撮像装置により互いに異なる視点位置からその３次元領域を撮像し、それらの撮像画像から上述の自由視点画像を生成する方法が考えられた（例えば、特許文献１参照）。

【0003】

このような従来の手法では各撮像画像を互いに独立に符号化することにより情報量の削減が行われていたが、より長時間、より広範囲を、より多くの撮像装置で撮像し、記録すると、それに伴いデータ量が増大し、データの記録や伝送が困難になるおそれがあった。これに対して各撮像画像の圧縮率を増大させることにより符号化効率の低減を抑制することが可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−１１４７１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、一般的には、このような３次元領域には、比較的注目度の高い部分と、比較的注目度の低い部分とが存在するが、このような傾向を無視して各撮像画像の圧縮率を一律に増大させると、比較的注目度の高い部分（すなわち、比較的に自由視点画像に含まれやすい部分）の品質が、比較的注目度の低い部分（すなわち、比較的に自由視点画像に含まれにくい部分）と同様に低減してしまうので、自由視点画像を見るユーザにとってのその自由視点画像の品質（主観的品質とも称する）が不要に低減してしまうおそれがあった。

【0006】

本開示は、このような状況に鑑みてなされたものであり、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができるようにするものである。

【課題を解決するための手段】

【0007】

本技術の一側面の情報処理装置は、３次元領域における単位領域であるボクセルであって、複数の撮像部の撮像範囲である視野の重なりに関するパラメータが第１の閾値よりも大きなピークボクセルを検出し、前記ピークボクセルの周辺において前記第１の閾値よりも小さい第２の閾値よりも前記パラメータが大きな前記ボクセルである周辺ボクセルを検出し、前記ピークボクセルおよび前記周辺ボクセルが被写体を含むと判定する被写体判定部と、前記被写体判定部により前記被写体を含むと判定された前記ボクセルに対して、前記被写体判定部により前記被写体を含まないと判定された前記ボクセルよりも大きな重みを設定する重み付け部と、前記重み付け部により設定された前記重みに基づいて、前記３次元領域に関する情報を符号化する符号化部とを備える情報処理装置である。

【0013】

前記重み付け部は、前記３次元領域内の視聴不可能なボクセルに対してより小さな前記重みを設定することができる。

【0014】

前記重み付け部は、前記３次元領域内の視聴可能な領域の分布を示す視聴可能領域マップに基づいて特定される視聴不可能な前記ボクセルに対してより小さな前記重みを設定することができる。

【0015】

各ボクセルについて前記パラメータを算出するパラメータ算出部をさらに備え、前記被写体判定部は、前記パラメータ算出部により算出された前記パラメータを用いて前記ボクセルが前記被写体を含むかを判定することができる。

【0016】

前記パラメータ算出部は、各撮像部の撮像範囲を示す視野錐の位置、方向、大きさ、形状に基づいて、各ボクセルについて前記パラメータを算出することができる。

【0017】

前記パラメータ算出部は、さらに、前記ボクセルの前記視野錐内の位置に基づいて前記パラメータを算出することができる。

【0018】

前記パラメータ算出部は、前記撮像部の位置および姿勢に基づいて前記視野錐を推定することができる。

【0019】

前記パラメータ算出部は、さらに前記撮像部の内部パラメータに基づいて前記視野錐を推定することができる。

【0020】

前記パラメータ算出部は、さらにデプス情報に基づいて前記視野錐を推定することができる。

【0021】

前記重み付け部により設定された前記３次元領域内の前記重みの分布を、前記３次元領域の撮像画像に対応付ける重み映像対応付け部をさらに備え、前記符号化部は、前記重み映像対応付け部により前記撮像画像に対応付けられた前記重みの分布に基づいて前記撮像画像を符号化するように構成されるようにすることができる。

【0022】

前記符号化部は、前記重みの分布に応じて、前記撮像画像の符号化のビットレートまたは符号化モードを制御することができる。

【0023】

前記重み付け部により設定された前記３次元領域内の前記重みの分布を、前記３次元領域内の音声に対応付ける重み音声対応付け部をさらに備え、前記符号化部は、前記重み音声対応付け部により前記音声に対応付けられた前記重みの分布に基づいて前記音声を符号化するように構成されるようにすることができる。

【0024】

前記符号化部は、前記重みの分布に応じて、前記音声の符号化のビットレートまたは符号化モードを制御することができる。

【0025】

前記重み付け部により設定された前記３次元領域内の前記重みの分布を、前記３次元領域の３次元構造を示す３次元構造データに対応付ける重み３次元構造対応付け部をさらに備え、前記符号化部は、前記重み３次元構造対応付け部により前記３次元構造データに対応付けられた前記重みの分布に基づいて前記３次元構造データを符号化するように構成されるようにすることができる。

【0026】

前記符号化部は、前記重みの分布に応じて、前記３次元構造データの符号化の、３次元を表現する頂点数の近似・削除率を制御することができる。

【0027】

本技術の一側面の情報処理方法は、３次元領域における単位領域であるボクセルであって、複数の撮像部の撮像範囲である視野の重なりに関するパラメータが第１の閾値よりも大きなピークボクセルを検出し、前記ピークボクセルの周辺において前記第１の閾値よりも小さい第２の閾値よりも前記パラメータが大きな前記ボクセルである周辺ボクセルを検出し、前記ピークボクセルおよび前記周辺ボクセルが被写体を含むと判定し、前記被写体を含むと判定された前記ボクセルに対して、前記被写体を含まないと判定された前記ボクセルよりも大きな重みを設定し、設定された前記重みに基づいて、前記３次元領域に関する情報を符号化する情報処理方法である。

【0028】

本技術の一側面の情報処理装置および方法においては、３次元領域における単位領域であるボクセルであって、複数の撮像部の撮像範囲である視野の重なりに関するパラメータが第１の閾値よりも大きなピークボクセルが検出され、そのピークボクセルの周辺において第１の閾値よりも小さい第２の閾値よりもパラメータが大きなボクセルである周辺ボクセルが検出され、そのピークボクセルおよび周辺ボクセルが被写体を含むと判定され、被写体を含むと判定されたボクセルに対して、被写体を含まないと判定されたボクセルよりも大きな重みが設定され、その設定された重みに基づいて、３次元領域に関する情報が符号化される。

【発明の効果】

【0029】

本開示によれば、情報を処理することができる。特に、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができる。

【図面の簡単な説明】

【0030】

【図1】撮像の様子の例を示す図である。

【図2】撮像記憶システムの主な構成例を示す図である。

【図3】符号化装置の主な構成例を示すブロック図である。

【図4】視野重複度算出部の主な構成例を示すブロック図である。

【図5】品質重み統合部の主な構成例を示すブロック図である。

【図6】ボリューム情報の対応付けの様子の例を示す図である。

【図7】ボリューム情報の対応付けの様子の例を示す図である。

【図8】符号化処理の流れの例を説明するフローチャートである。

【図9】視野重複度算出処理の流れの例を説明するフローチャートである。

【図10】重複度ボリューム更新処理の流れの例を説明するフローチャートである。

【図11】被写体検出処理の流れの例を説明するフローチャートである。

【図12】品質重み統合処理の流れの例を説明するフローチャートである。

【図13】重み付け符号化処理の流れの例を説明するフローチャートである。

【図14】撮像記憶システムの主な構成例を示す図である。

【図15】撮像伝送システムの主な構成例を示す図である。

【図16】コンピュータの主な構成例を示すブロック図である。

【発明を実施するための形態】

【0031】

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．自由視点画像用撮像画像の符号化
２．第１の実施の形態（撮像記憶システム）
３．第２の実施の形態（撮像記憶システム）
４．第３の実施の形態（撮像伝送システム）
５．第４の実施の形態（コンピュータ）
６．その他

【0032】

＜１．自由視点画像用撮像画像の符号化＞
近年、例えば特許文献１に記載の手法のように、３次元領域を任意の視点位置から見た画像（自由視点画像とも称する）を表示するために、複数台の撮像装置により互いに異なる視点位置からその３次元領域を撮像し、それらの撮像画像から上述の自由視点画像を生成する方法が考えられた。

【0033】

例えば、複数の撮像装置と画像処理装置を有するシステムが、所定の３次元領域において、その複数の撮像装置を用いて複数の方向を撮像したり、各撮像装置の姿勢（撮像方向）を変えながら撮像を行ったり、各撮像装置の位置（撮像位置）を移動させながら撮像を行ったりすることで多数の撮像方向・撮像位置の撮像画像群（画像データ群）を得る。そして、そのシステムが画像処理装置を用いてこの画像データ群に基づいてその３次元領域内の任意の視点位置・視点方向の画像（自由視点画像）を生成する。

【0034】

このようなシステムにより、例えば史跡・景観地といった観光地のような広範囲において自由視点画像を提供することができる。例えば、図１のＡに示されるように、銅像等の所定の被写体を視聴者が様々な視点から自由視点画像を楽しむ被写体ケースと、図１のＢに示されるように、展望台等の所定の位置から視聴者の周囲360°自由な方向の自由視点映像を楽しむ全天球ケースと、それらが混在するケースとがありうる。このようなシステムの各撮像装置が固定されず連携して動く事で１つのシステムでこれら複数のケースを含む広範囲・長時間の自由視点映像の撮影を可能とする。

【0035】

このような広範囲を撮像可能なシステムにおいて自由視点画像生成のために必要な画像、音声、３次元構造を記録するには膨大なサイズのデータが必要となり、それを保存・伝送する設備にかかるコストも非常に大きくなるおそれがあった。これに対して従来の手法では、各撮像画像を互いに独立に符号化することにより情報量の削減が行われていた。しかしながら、近年は、より長時間、より広範囲を、より多くの撮像装置で撮像し、記録することが求められており、その場合、データ量が増大し、データの記録や伝送が困難になるおそれがあった。

【0036】

これに対して各撮像画像の圧縮率を増大させることにより符号化効率の低減を抑制することが可能である。しかしながら、一般的には、このような３次元領域には、比較的注目度の高い部分と、比較的注目度の低い部分とが存在するが、このような傾向を無視して各撮像画像の圧縮率を一律に増大させると、比較的注目度の高い部分（すなわち、比較的に自由視点画像に含まれやすい部分）の品質が、比較的注目度の低い部分（すなわち、比較的に自由視点画像に含まれにくい部分）と同様に低減してしまうので、自由視点画像を見るユーザにとってのその自由視点画像の品質（主観的品質とも称する）が不要に低減してしまうおそれがあった。

【0037】

また、例えば、CG（Computer Graphics）等ではプレイヤからの距離に応じて３次元構造（ポリゴン等）の品質を制御する技術が存在するが、上述の自由視点画像の場合、撮像時と視聴時とで視点が一致しない可能性がある。そのため、このような制御方法では、３次元領域の注目度（重要度）に応じて正しく品質を制御することは困難であった。そのため、自由視点画像の主観的品質が不要に低減するおそれがあった。

【0038】

そこで、複数の撮像部の撮像範囲である視野の重なりに関するパラメータを用いて特定された、その複数の撮像部による撮像の対象となる３次元領域の視野の重なりに関する分布に基づいて、その３次元領域に関する情報を符号化するようにする。

【0039】

例えば、情報処理装置において、複数の撮像部の撮像範囲である視野の重なりに関するパラメータを用いて特定された、その複数の撮像部による撮像の対象となる３次元領域の視野の重なりに関する分布に基づいて、その３次元領域に関する情報を符号化する符号化部とを備えるようにする。

【0040】

このようにすることにより、３次元領域の重要度の分布に応じた適切な手法で符号化を行うことができるので、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができる。

【0041】

＜２．第１の実施の形態＞
＜撮像記憶システム＞
図２は、本技術を適用した情報処理システムの一実施の形態である撮像記憶システムの主な構成例を示すブロック図である。図２に示される撮像記憶システム１００は、３次元領域を撮像して自由視点画像生成用の撮像画像を生成し、記憶するシステムである。

【0042】

図２に示されるように、撮像記憶システム１００は、撮像装置１１１−１乃至撮像装置１１１−Ｎ、姿勢制御装置１１２−１乃至姿勢制御装置１１２−Ｎ、制御装置１１３、符号化装置１１４、並びにストレージ１１５を有する（Ｎは任意の自然数）。以下において、撮像装置１１１−１乃至撮像装置１１１−Ｎを互いに区別して説明する必要がない場合、撮像装置１１１とも称する。また、姿勢制御装置１１２−１乃至姿勢制御装置１１２−Ｎを互いに区別して説明する必要がない場合、姿勢制御装置１１２とも称する。

【0043】

撮像装置１１１は、撮像機能を有し、被写体を撮像して撮像画像を得る。撮像装置１１１の位置や姿勢は、自身に対応する姿勢制御装置１１２により制御される。また、撮像装置１１１の撮像タイミングや撮像に関する設定は、制御装置１１３により制御される。撮像装置１１１は、撮像して得られた撮像画像を符号化装置１１４に供給する。

【0044】

姿勢制御装置１１２は、例えばアームや回転台等により構成され、駆動することにより自身に設置された撮像装置１１１の位置や姿勢を制御する。なお、姿勢制御装置１１２は、制御装置１１３により制御される。

【0045】

制御装置１１３は、各撮像装置１１１および各姿勢制御装置１１２の制御に関する処理を行う。例えば、制御装置１１３は、撮像装置１１１が所望の位置や姿勢になるように、その撮像装置１１１が設置される姿勢制御装置１１２を駆動させる。また、例えば、制御装置１１３は、撮像に関するパラメータを撮像装置１１１に供給したり、そのパラメータを用いて所望のタイミングで撮像を行うように撮像装置１１１を駆動させたりする。さらに、制御装置１１３は、撮像装置１１１や姿勢制御装置１１２から任意の情報を取得することができるように構成される。例えば、制御装置１１３は、撮像装置１１１の位置や姿勢に関する情報を撮像装置１１１や姿勢制御装置１１２から取得する。

【0046】

さらに、制御装置１１３は、任意の情報を符号化装置１１４に供給することができるように構成される。例えば、制御装置１１３は、各撮像装置１１１の位置や姿勢に関する情報を符号化装置１１４に供給する。

【0047】

符号化装置１１４は、各撮像装置１１１から供給される撮像画像を符号化する。その際、符号化装置１１４は、各撮像装置１１１の位置関係等から導かれる視野重複度と、撮影者によって設定される視聴可能領域マップ等によって、映像・音声・３次元構造の保存品質を動的に制御する。これにより符号化装置１１４は、品質の低減を抑制しながら、記録サイズを圧縮することができる。符号化装置１１４は、生成した符号化データをストレージ１１５に供給する。

【0048】

ストレージ１１５は、ハードディスクや半導体メモリ等、任意の記憶媒体を有し、任意の情報を記憶することができるように構成される。ストレージ１１５は、符号化装置１１４から供給される符号化データを、その記憶媒体に記憶する。

【0049】

＜符号化装置＞
図３は、本技術を適用した情報処理装置の一実施の形態である符号化装置１１４（図２）の主な構成例を示すブロック図である。図３に示されるように、符号化装置１１４は、視野重複度算出部１３１、品質重み統合部１３２、映像符号化部１３３、音声符号化部１３４、３次元構造符号化部１３５、および出力部１３６を有する。

【0050】

視野重複度算出部１３１は、撮像装置１１１の撮像範囲である視野の重なりに関するパラメータである視野重複度（重複度ボリュームとも称する）の算出に関する処理を行う。視野重複度算出部１３１には、例えば、撮像位置推定情報１５１、撮像内部パラメータ１５２、およびデプス情報等の撮像に関する情報が供給される。撮像位置推定情報１５１は、各撮像装置１１１の推定された撮像位置や撮像方向等を示す情報である。撮像内部パラメータ１５２は、撮像時に用いられた各撮像装置１１１の内部パラメータを示す情報である。デプス（Depth）情報１５３は、撮像画像に含まれる被写体の奥行きを示す情報である。視野重複度算出部１３１は、これらの情報を用いて視野重複度や、被写体の位置を示す情報である被写体情報を求める。視野重複度算出部１３１は、その視野重複度を示す情報や被写体情報を品質重み統合部１３２に供給する。

【0051】

品質重み統合部１３２は、視野重複度算出部１３１から供給される視野重複度を示す情報や被写体情報、並びに、３次元領域内の視聴可能な領域の分布を示す視聴可能領域マップ等に基づいて、撮像装置１１１による撮像の対象となる３次元領域について品質に関する重み付けを行い、品質重み（品質重みボリュームとも称する）の分布を設定する。なお、品質重み（品質重みボリューム）とは、撮像装置１１１による撮像の対象となる３次元領域について品質に関する重みである。品質重み統合部１３２は、その設定した品質重みの分布を、画像、音声、３次元構造等の各種情報と対応付け、各種情報に対応付けられた品質重みの分布を示す情報を、映像符号化部１３３、音声符号化部１３４、および３次元構造符号化部１３５に供給する。

【0052】

映像符号化部１３３は、品質重みに基づく手法を用いて、その品質重みに対応付けられた画像を符号化する。音声符号化部１３４は、品質重みに基づく手法を用いて、その品質重みに対応付けられた音声を符号化する。３次元構造符号化部１３５は、品質重みに基づく手法を用いて、その品質重みに対応付けられた、３次元領域の３次元構造を示す３次元構造データを符号化する。つまり、これらの符号化部は、重みに応じた手法で３次元領域に関する情報を符号化する。

【0053】

出力部１３６は、映像符号化部１３３により生成された、撮像画像の符号化データを出力する。また、出力部１３６は、音声符号化部１３４により生成された、音声の符号化データを出力する。さらに、出力部１３６は、３次元構造符号化部１３５により生成された３次元構造の符号化データを出力する。

【0054】

＜視野重複度算出部＞
図４は、図３の視野重複度算出部１３１の主な構成例を示すブロック図である。図４に示されるように、視野重複度算出部１３１は、重複度ボリューム更新部１７１および被写体判定部１７２を有する。

【0055】

重複度ボリューム更新部１７１は、供給される撮像位置推定情報１５１、撮像内部パラメータ１５２、およびデプス情報１５３に基づいて、保持している重複度ボリューム１９１を更新する。

【0056】

撮像位置推定情報１５１は、例えば、制御装置１１３において生成され、制御装置１１３から重複度ボリューム更新部１７１に供給される。撮像位置推定情報１５１は、各撮像装置１１１による撮像位置や撮像方向等を示す情報であればどのような情報であってもよい。例えば、撮像位置推定情報１５１が、制御装置１１３が撮像装置１１１や姿勢制御装置１１２に対して供給する制御情報、または、その制御情報に基づいて生成される情報であってもよい。なお、位置の表現方法は任意であり、例えば、ｘｙｚ座標等で表すようにしてもよいし、後述するボクセル（Voxel）等によって表すようにしてもよい。また、方向の表現方法も任意であり、例えば、ベクトルのｘｙｚ座標等で表すようにしてもよいし、基準の方向からの角度等で表すようにしてもよい。

【0057】

撮像内部パラメータ１５２は、どのような情報を含んでいてもよい。例えば、撮像内部パラメータ１５２が、撮像装置１１１のレンズサイズを示す情報や撮像装置１１１のキャリブレーション結果を示す情報等を含んでいてもよい。撮像内部パラメータ１５２は、例えば、制御装置１１３または各撮像装置１１１において生成され、その制御装置１１３または各撮像装置１１１から重複度ボリューム更新部１７１に供給される。

【0058】

デプス情報１５３は、撮像装置１１１において得られた撮像画像に含まれる被写体の奥行きを示す情報である。デプス情報１５３は、例えば撮像装置１１１において、撮像画像に基づいて生成される。デプス情報１５３は、例えば、その撮像装置１１１において生成され、その撮像装置１１１から重複度ボリューム更新部１７１に供給される。なお、デプス情報１５３は、省略するようにしてもよい。

【0059】

重複度ボリューム１９１は、より多くのカメラによって、より長時間撮影されている３次元領域であればあるほど大きな値をとる３次元のボリューム表現である。重複度ボリューム１９１は、撮像装置１１１が撮像を行う３次元領域について、所定の大きさの単位領域であるボクセル（Voxel）毎に設定される。

【0060】

重複度ボリューム更新部１７１（パラメータ算出部とも称する。視野重複度算出部とも称する。重複度ボリューム算出部とも称する。）は、撮像位置推定情報１５１や撮像内部パラメータ１５２に基づいて、視野重複度（視野の重なりに関するパラメータ、重複度ボリューム）を算出し、その算出した値を用いて、保持している重複度ボリューム１９１を更新する。その際、重複度ボリューム更新部１７１は、撮像装置１１１が撮像する範囲を示すビューコーン（視野錐）と重なるボクセルの重複度ボリューム１９１を、一様の値で更新するようにしてもよいし、そのボクセルのビューコーン内に置ける位置に応じた値で更新するようにしてもよい。一般的に、ビューコーン内の画面中央且つフォーカス点近傍はそれ以外と比較して重要であるといえる。そこで、上述したように重複度ボリューム１９１をそのボクセルのビューコーン内に置ける位置に応じた値で更新するようにすることにより、重複度ボリューム更新部１７１は、このようなビューコーン内における位置に応じた重要度を重複度ボリューム１９１に反映させることができる。

【0061】

また、付属情報としてデプス情報１５３を利用することができる場合、重複度ボリューム更新部１７１は、保持している重複度ボリューム１９１の、そのデプス情報１５３によって判明した前景が存在する箇所を、より大きな値で更新するようにしてもよい。このようにすることにより、より効率的な更新を行う事ができる。さらに、重複度ボリューム更新部１７１が、重複度ボリューム１９１を、時間方向で１つ前の状態に基づいて更新するようにしてもよい。このようにすることにより、例えば撮像姿勢制御のある瞬間においてたまたま視野が重なった事による影響を抑制することができる。

【0062】

以上のように更新されて得られた最新の重複度ボリューム１９１は、品質重み統合部１３２に供給される。また、この重複度ボリューム１９１は、被写体判定部１７２にも供給される。

【0063】

被写体判定部１７２は、重複度ボリューム１９１を用いて被写体の存在の有無を判定する被写体判定を行う。被写体判定部１７２は、特定の被写体を様々な角度から視聴できるようにする対象があるかないか、あるとすればいくつ・どの位置に・どの程度の領域をもって存在するかを判定する。より具体的には、被写体判定部１７２は、重複度ボリューム中の重複度ピークからリージョングローイング等を用いてボリューム内をセグメンテーションし被写体が存在するボリュームを特定する。被写体判定部１７２は、これを繰り返し重複度ボリューム中から被写体領域を抽出し、その中から重複度や領域の大きさ等で閾値処理を行い、被写体を重要度でソートして被写体情報１９３とする。被写体判定部１７２は、ボクセル毎にこの被写体判定を行う。

【0064】

被写体情報１９３は、被写体判定の結果を示す情報であればどのような情報であってもよいが、例えば、３次元領域のボクセル毎に設定される、被写体の存在の有無（すなわち、当該ボクセルに被写体が含まれるか否か）を示す被写体フラグが含まれるようにしてもよい。つまり、この場合、被写体判定部１７２は、ボクセル毎に、被写体判定を行い、その結果を示す被写体フラグを立て、それを被写体情報１９３に含める。

【0065】

なお、被写体判定部１７２が、前フレームの被写体情報１９２を利用して被写体判定を行うようにしてもよい。以上のようにして得られた被写体情報１９３は、品質重み統合部１３２に供給される。

【0066】

＜品質重み統合部＞
図５は、図３の品質重み統合部１３２の主な構成例を示すブロック図である。図３に示されるように品質重み統合部１３２は、被写体・背景品質重み更新部２０１、ボリューム情報映像対応付け部２０２、ボリューム情報音声対応付け部２０３、およびボリューム情報３Ｄ構造対応付け部２０４を有する。

【0067】

被写体・背景品質重み更新部２０１（重み付け部とも称する）は、視野重複度算出部１３１から供給された重複度ボリューム１９１および被写体情報１９３、並びに、撮影者等により予め設定された視聴可能領域マップ１５４を用いて、撮像の対象となる３次元領域について品質に関する重み付けを行い、品質重みボリューム２１１の更新を行う。

【0068】

品質重みボリューム２１１は、例えば、重複度ボリューム１９１に基づいて高品質で残すべき３次元領域に対して大きな値をアスペクト別に保存した３次元ボリューム情報である。つまり、品質重みボリューム２１１は、撮像の対象となる３次元領域についての品質に関する重み（品質重みとも称する）の分布を示す情報である。例えば、品質に関する重み付けがボクセル毎に行われ、品質重みボリューム２１１が各ボクセルの品質重みを含むようにしてもよい。

【0069】

被写体情報１９３は、特に高品質に残すべきである被写体の存在位置と領域の情報を提供する。また、視聴可能領域マップ１５４は、視聴不可能な３次元位置を示す。視聴可能領域マップ１５４は、例えば、３次元領域の内、自由視点画像に含めることが可能な位置（ボクセル）に値が１のフラグがセットされたボリューム情報で表現される。換言するに、値が０のフラグがセットされたボクセル（またはフラグがセットされないボクセル）は、自由視点画像に含めることができない領域である。必要に応じて、各位置から特定の方向のみは視聴不可能といった情報を追記することができるようにしてもよい。この視聴可能領域マップ１５４は、例えば、観光地の建物群の内、修復中の史跡を自由視点画像の対象から排除したいといった場合等に用いることができる。視聴不可能対象領域は後段の品質重み計算時に品質は極端に低い、もしくは保存しない等の処理が自動的にとられる。

【0070】

例えば、視聴可能領域マップ１５４のフラグが０のボクセルに対してより小さな品質重み（例えば最小値（例えば０））がセットされる。また、視聴可能領域マップ１５４のフラグが１であり、かつ、被写体フラグが１のボクセルに対してより大きな品質重み（例えば最大値）がセットされる。さらに、視聴可能領域マップ１５４のフラグが１であり、かつ、被写体フラグが０のボクセルの品質重みは、重複度ボリューム１９１のそのボクセルの値にセットされる。つまり、被写体を含むと判定されたボクセルに対して、被写体を含まないと判定されたボクセルにセットされる品質重みよりも大きな品質重みがセットされる。なお、視聴可能領域マップ１５４は省略するようにしてもよい。

【0071】

その後、品質重みボリューム２１１は各情報に対応付けられる。ボリューム情報映像対応付け部２０２（重み映像対応付け部とも称する）は、品質重みボリューム２１１を撮像画像に対応付ける。つまり、各ボクセルの品質重みを、撮像画像に含まれる各ボクセルに対応する領域に対応付ける。つまり、品質重みボリューム２１１がどのように各撮像画像に対応するかがプロジェクションして求められる。例えば、被写体が存在する場合の、このような対応付けの様子の例を図６に示す。また、例えば、被写体が存在しない場合の、このような対応付けの様子の例を図７に示す。ボリューム情報映像対応付け部２０２は、品質重みボリューム２１１を対応付けた画像データ（撮像画像データ）を映像符号化部１３３に供給する。

【0072】

ボリューム情報音声対応付け部２０３（重み音声対応付け部とも称する）は、品質重みボリューム２１１を音声信号（オーディオデータ）に対応付ける。例えば、ボリューム情報音声対応付け部２０３は、集音マイクの位置情報と方向に応じて、各ボクセルに品質重みを対応付ける。ボリューム情報音声対応付け部２０３は、品質重みボリューム２１１を対応付けた音声データを音声符号化部１３４に供給する。

【0073】

ボリューム情報３Ｄ構造対応付け部２０４（重み３次元構造対応付け部とも称する）は、品質重みボリューム２１１を、撮像対象とする３次元領域の構造を表す３Ｄ構造データに対応付ける。例えば、ボリューム情報３Ｄ構造対応付け部２０４は、品質重みボリューム２１１の位置を座標変換してそのまま対応付けられる。ボリューム情報３Ｄ構造対応付け部２０４は、品質重みボリューム２１１を対応付けた３Ｄ構造データを３次元構造符号化部１３５に供給する。

【0074】

図３の映像符号化部１３３乃至３次元構造符号化部１３５は、この対応関係に基づいて、より重みが大きい領域の劣化が少なくなるように符号化制御を行う。例えば、映像符号化部１３３は、各領域の品質重みに基づいて、その領域の画像の符号化の、ビットレート設定やコーディングモードの決定を行う。つまり、映像符号化部１３３は、各領域の画像の符号化を、その領域の品質重みに基づくビットレートやコーディングモードで行う。また、例えば、音声符号化部１３４は、各領域の品質重みに基づいて、その領域の音声の符号化の、ビットレート設定やコーディングモードの決定を行う。つまり、音声符号化部１３４は、各領域の音声の符号化を、その領域の品質重みに基づくビットレートやコーディングモードで行う。さらに、例えば、３次元構造符号化部１３５は、品質重みに基づいて、３次元を表現する頂点数の近似や削減率をセットする。

【0075】

＜符号化処理の流れ＞
次に、上述のような符号化装置１１４により実行される符号化処理の流れの例を、図８のフローチャートを参照して説明する。

【0076】

符号化処理が開始されると、符号化装置１１４の視野重複度算出部１３１は、ステップＳ１０１において、視野重複度算出処理を実行し、重複度ボリューム１９１や被写体情報１９３を更新する。ステップＳ１０２において、品質重み統合部１３２は、品質重み統合処理を実行し、品質重みボリューム２１１を更新する。ステップＳ１０３において、映像符号化部１３３乃至３次元構造符号化部１３５は、重み付け符号化処理を行い、画像データ、音声データ、３次元構造データ等の各種情報を、品質重みに応じた方法で符号化する。ステップＳ１０３の処理が終了すると、符号化処理が終了する。

【0077】

＜視野重複度算出処理の流れ＞
次に、図９のフローチャートを参照して、図８のステップＳ１０１において実行される視野重複度算出処理の流れの例を説明する。視野重複度算出処理が開始されると、視野重複度算出部１３１の重複度ボリューム更新部１７１は、ステップＳ１２１において、重複度ボリューム更新処理を実行し、重複度ボリューム１９１を更新する。ステップＳ１２２において、被写体判定部１７２は、被写体領域検出処理を実行し、３次元領域の中の被写体が存在する領域である被写体領域を検出する。ステップＳ１２２の処理が終了すると、視野重複度算出処理が終了し、処理は図８に戻る。

【0078】

＜重複度ボリューム更新処理の流れ＞
次に、図１０のフローチャートを参照して、図９のステップＳ１２１において実行される重複度ボリューム更新処理の流れの例を説明する。

【0079】

重複度ボリューム更新処理が開始されると、重複度ボリューム更新部１７１は、ステップＳ１４１において、変数ｉを初期化する（例えばｉ＝０）。ステップＳ１４２において、重複度ボリューム更新部１７１は、変数ｊを初期化する（例えば、ｊ＝０）。ステップＳ１４３において、重複度ボリューム更新部１７１は、撮像位置推定情報１５１や撮像内部パラメータ１５２等の情報に基づいて、ｉ番目の撮像装置１１１の位置および姿勢、すなわち、ｉ番目の撮像装置１１１の撮像範囲（ビューコーン（視野錐））を推定する。ステップＳ１４４において、重複度ボリューム更新部１７１は、ｊ番目のボクセルの位置を算出する。

【0080】

ステップＳ１４５において、重複度ボリューム更新部１７１は、そのｊ番目のボクセルが、ｉ番目の撮像装置１１１のビューコーン内に位置するか否かを判定する。位置すると判定された場合、処理はステップＳ１４６に進む。ステップＳ１４６において、重複度ボリューム更新部１７１は、ボクセル値、すなわち、処理対象であるｊ番目のボクセルの視野重複度を更新する。ステップＳ１４６の処理が終了すると処理はステップＳ１４７に進む。また、ステップＳ１４５において、ｊ番目のボクセルが、ｉ番目の撮像装置１１１のビューコーン内に位置しないと判定された場合、ステップＳ１４６の処理が省略され、処理はステップＳ１４７に進む。

【0081】

ステップＳ１４７において、重複度ボリューム更新部１７１は、未処理のボクセルが存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１４８に進む。ステップＳ１４８において、重複度ボリューム更新部１７１は、変数ｊをインクリメント（例えば＋１）する。すなわち、新たなボクセルを処理対象とする。ステップＳ１４８の処理が終了すると処理はステップＳ１４４に戻り、それ以降の処理を繰り返す。

【0082】

そしてステップＳ１４７において、全てのボクセルを処理したと判定された場合、処理はステップＳ１４９に進む。ステップＳ１４９において、重複度ボリューム更新部１７１は、未処理の撮像装置１１１が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１５０に進む。ステップＳ１５０において、重複度ボリューム更新部１７１は、変数ｉをインクリメント（例えば、＋１）する。すなわち、新たな撮像装置１１１を処理対象とする。ステップＳ１５０の処理が終了すると処理はステップＳ１４２に戻り、それ以降の処理を繰り返す。

【0083】

そしてステップＳ１４９において、全ての撮像装置１１１を処理したと判定された場合、重複度ボリューム更新処理が終了し、処理は図９に戻る。つまり、全ての撮像装置１１１の撮像範囲とすべてのボクセルとが比較されて、いずれかの撮像装置１１１の撮像範囲内に位置するボクセルが検索される。そして、そのいずれかの撮像装置１１１の撮像範囲内に位置するボクセルの重複度ボリュームが更新される。

【0084】

＜被写体領域検出処理の流れ＞
次に、図１１のフローチャートを参照して、図９のステップＳ１２２において実行される被写体領域検出処理の流れの例を説明する。被写体領域検出処理が開始されると、被写体判定部１７２は、ステップＳ１７１において、重複度ボリューム１９１の中から、重複度が第１の閾値より大きいボクセル（ピークボクセルとも称する）を検出する。ステップＳ１７２において、被写体判定部１７２は、変数ｉを初期化する。ステップＳ１７３において、被写体判定部１７２は、ｉ番目のピークボクセルをカレントボクセルとし、その位置に被写体フラグを立てる（例えば、被写体フラグ＝１）。ステップＳ１７４において、被写体判定部１７２は、変数ｊを初期化する（例えばｊ＝０）。ステップＳ１７５において、被写体判定部１７２は、カレントボクセルの近傍に位置するボクセル（近傍ボクセル）の中から重複度が上述の第１の閾値よりも小さな第２の閾値より大きいボクセルを検出し、それをスタックに保存する。

【0085】

ステップＳ１７６において、被写体判定部１７２は、スタックに未処理の近傍ボクセルが存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１７７に進む。ステップＳ１７７において、被写体判定部１７２は、スタックからｊ番目の近傍ボクセルを選択し、その位置に被写体フラグを立て、その近傍ボクセルをカレントボクセルとする。ステップＳ１７８において、被写体判定部１７２は、変数ｊをインクリメント（例えば、＋１）する。すなわち、処理対象を次の近傍ボクセルに移行する。ステップＳ１７８の処理が終了すると、処理はステップＳ１７６に戻り、それ以降の処理を繰り返す。

【0086】

ステップＳ１７６において、未処理の近傍ボクセルが存在しないと判定された場合、処理はステップＳ１７９に進む。ステップＳ１７９において、被写体判定部１７２は、未処理のピークボクセルが存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１８０に進む。

【0087】

ステップＳ１８０において、被写体判定部１７２は、変数ｉをインクリメント（例えば、＋１）する。すなわち、処理対象を次のピークボクセルに移行する。ステップＳ１８０の処理が終了すると、処理はステップＳ１７５に戻り、それ以降の処理を繰り返す。また、ステップＳ１７９において、全てのピークボクセルが処理されたと判定された場合、被写体検出処理が終了し、処理は図９に戻る。

【0088】

＜品質重み統合処理の流れ＞
次に、図１２のフローチャートを参照して、図８のステップＳ１０２において実行される品質重み統合処理の流れの例を説明する。

【0089】

品質重み統合処理が開始されると、被写体・背景品質重み更新部２０１は、ステップＳ２０１において、変数ｉを初期化する（例えばｊ＝０）。ステップＳ２０２において、被写体・背景品質重み更新部２０１は、品質重みボリュームのｉ番目のボクセルの位置に対応する、重複度ボリューム１９１のボクセル値、被写体情報１９３の被写体フラグ、視聴可能領域マップ１５４の視聴可能フラグを取得する。

【0090】

ステップＳ２０３において、被写体・背景品質重み更新部２０１は、視聴可能フラグが０であるか否かを判定する。ｉ番目のボクセルの視聴可能フラグが０であると判定された場合、処理はステップＳ２０４に進む。ステップＳ２０４において、被写体・背景品質重み更新部２０１は、そのｉ番目のボクセルの品質重みを０（または最小値）にセットする。ステップＳ２０４の処理が終了すると処理はステップＳ２０８に進む。また、ステップＳ２０３において、ｉ番目のボクセルの視聴可能フラグが１であると判定された場合、処理はステップＳ２０５に進む。

【0091】

ステップＳ２０５において、被写体・背景品質重み更新部２０１は、被写体フラグが立っている（１である）か否かを判定する。ｉ番目のボクセルの被写体フラグが立っている（１である）と判定された場合、処理はステップＳ２０６に進む。ステップＳ２０６において、被写体・背景品質重み更新部２０１は、そのｉ番目のボクセルの品質重みを最大値にセットする。ステップＳ２０６の処理が終了すると処理はステップＳ２０８に進む。また、ステップＳ２０５において、ｉ番目のボクセルの被写体フラグが立っていない（０である）と判定された場合、処理はステップＳ２０７に進む。

【0092】

ステップＳ２０７において、被写体・背景品質重み更新部２０１は、ｉ番目のボクセルの品質重みを、重複度ボリューム１９１の、そのｉ番目のボクセルの視野重複度にセットする。ステップＳ２０７の処理が終了すると処理はステップＳ２０８に進む。

【0093】

ステップＳ２０８において、被写体・背景品質重み更新部２０１は、未処理のボクセルが存在するか否かを判定する。存在すると判定された場合、処理はステップＳ２０９に進む。ステップＳ２０９において、被写体・背景品質重み更新部２０１は、変数ｉをインクリメント（例えば、＋１）する。すなわち、処理対象を次のボクセルに移行する。ステップＳ２０９の処理が終了すると、処理はステップＳ２０２に戻り、それ以降の処理を繰り返す。

【0094】

そして、ステップＳ２０８において、全てのボクセルが処理されたと判定された場合、処理はステップＳ２１０に進む。ステップＳ２１０において、ボリューム情報映像対応付け部２０２乃至ボリューム情報３Ｄ構造対応付け部２０４は、以上のようにして更新された品質重みボリューム２１１を、画像、音声、３Ｄ構造データ等、各種情報に対応付ける。ステップＳ２１０の処理が終了すると品質重み統合処理が終了し、処理は図８に戻る。

【0095】

＜重み付け符号化処理の流れ＞
次に、図１３のフローチャートを参照して、図８のステップＳ１０３において実行される重み付け符号化処理の流れの例を説明する。

【0096】

重み付け符号化処理が開始されると、符号化装置１１４の映像符号化部１３３は、ステップＳ２３１において、映像データを、品質重みに応じた方法で符号化する。ステップＳ２３２において、音声符号化部１３４は、音声データを、品質重みに応じた方法で符号化する。ステップＳ２３３において、３次元構造符号化部１３５は、３次元構造データを、品質重みに応じた方法で符号化する。ステップＳ２３３の処理が終了すると重み付け符号化処理が終了し、処理は図８に戻る。

【0097】

以上のように各処理を実行することにより、符号化装置１１４は、視野重複度に基づいて設定した、撮像の対象となる３次元領域についての品質重みに応じた方法で、映像、音声、３次元構造等の３次元領域に関する情報を符号化することができる。したがって、比較的注目度の低い部分（すなわち、比較的に自由視点画像に含まれにくい部分）に比べて、比較的注目度の高い部分（すなわち、比較的に自由視点画像に含まれやすい部分）の品質低減を抑制するように圧縮率を向上させることができるので、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができる。

【0098】

また、単純に「被写体有り」の状態と「被写体無し」の状態とでモードを切り替えるようにすると、それらの間の状態遷移の際に品質が急激に変化し、主観的品質が低減するおそれがあるが、上述したように、視野重複度の値を品質重みに用いることにより、例えば「被写体有り」の状態から「被写体無し」の状態へと遷移する途中においてある単一の撮像装置１１１により撮像された撮像画像の端に被写体が写っていたとしても連続的に常により適切な品質で保存する事が可能である。

【0099】

また、逆に「被写体無し」の状態から「被写体有り」の状態へと遷移する際に例えばまだ被写体がやや遠方にありカメラ群から遠い場合、品質重みが低く、カメラ群から近くなり様々な方向から見られるようになると連続的に徐々に増大するように品質重みが上がる事で効率的且つ主観的にも良く品質制御が可能となる。

【0100】

なお、重複度ボリューム１９１や品質重みボリューム２１１等の情報が、メタデータとしてコンテンツ（符号化データ）に付加されるようにしてもよい。このようにすることにより、後でそのメタデータを参照し、例えば、ハイライト（Highlight）やそれを利用したサムネール作成等に利用することができる。また、例えば、編集時に不要な映像トランジション区間を検出したりするのにも利用することができる。もちろん、例えば、撮像位置推定情報１５１、撮像内部パラメータ１５２、デプス情報１５３、視聴可能領域マップ１５４、被写体情報１９３等の、重複度ボリューム１９１および品質重みボリューム２１１以外の上述した任意の情報を、メタデータとしてコンテンツ（符号化データ）に付加するようにしてもよい。

【0101】

＜３．第２の実施の形態＞
＜撮像記憶システム＞
図１４は、本技術を適用した情報処理システムの一実施の形態である撮像記憶システムの主な構成例を示すブロック図である。図１４に示される撮像記憶システム３００は、図２の撮像記憶システム１００と同様のシステムであり、基本的に同様の構成を有し、同様の処理を行う。ただし、撮像記憶システム３００は、ストレージ３１１−１乃至ストレージ３１１−Ｎ（Ｎは自然数）を有する。以下において、ストレージ３１１−１乃至ストレージ３１１−Ｎを互いに区別して説明する必要がない場合、ストレージ３１１と称する。

【0102】

ストレージ３１１は、例えばハードディスクや半導体メモリのような任意の記憶媒体を有し、情報を記憶する。ストレージ３１１は、各撮像装置１１１に対応するように設けられており、自身が対応する撮像装置１１１により得られた情報（例えば画像データや音声データ等）を、記憶し、保存する。例えば、ストレージ３１１−１は、撮像装置１１１−１が撮像して得られた撮像画像の画像データや音声データ等を記憶する。同様に、ストレージ３１１−Ｎは、撮像装置１１１−Ｎが撮像して得られた撮像画像の画像データや音声データ等を記憶する。

【0103】

撮像記憶システム３００の場合、撮像記憶システム１００の場合と異なり、符号化装置１１４は、このストレージ３１１から画像データや音声データ等を取得する。つまり、このようなストレージ３１１を設け、撮像装置１１１において得られた情報をそのストレージ３１１に一時的に記憶させることにより、符号化装置１１４は、撮像装置１１１において得られた情報を即時的に符号化する必要が無く、任意のタイミングにおいて符号化を行うことができる。

【0104】

この場合も、符号化装置１１４は、第１の実施の形態において説明したのと同様の方法で符号化を行うことができる。すなわち、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができる。

【0105】

なお、複数の撮像装置１１１のそれぞれにおいて得られた情報を互いに独立に管理することができるのであれば、１台のストレージ３１１が、複数の撮像装置１１１において得られた情報を記憶するようにしてもよい。つまり、ストレージ３１１の数は任意であり、撮像装置１１１と同数でもよいし、撮像装置１１１より少なくてもよいし、多くてもよい。

【0106】

＜４．第３の実施の形態＞
＜撮像伝送システム＞
また、符号化装置１１４が符号化して得られた符号化データは、ストレージ１１５に記憶させずに他の装置に伝送するようにしてもよい。図１５は、本技術を適用した情報処理システムの一実施の形態である撮像伝送システムの主な構成例を示すブロック図である。図１５に示される撮像伝送システム４００は、図２の撮像記憶システム１００と同様のシステムであり、基本的に同様の構成を有し、同様の処理を行う。ただし、撮像伝送システム４００は、ストレージ１１５の代わりに、通信媒体４１０、復号装置４１１、およびモニタ４１２を有する。

【0107】

通信媒体４１０は、符号化装置１１４と復号装置４１１との間の情報の授受に利用される伝送媒体である。つまり、符号化装置１１４と復号装置４１１との間の通信は、この通信媒体４１０を介して行われる。なお、この通信媒体４１０は、どのようなものであってもよく、例えば、有線ケーブル（有線通信の通信媒体）により構成されるようにしてもよいし、空気（無線通信の通信媒体）により構成されるようにしてもよいし、それらの両方により構成されるようにしてもよい。例えば、通信媒体４１０には、インターネット等の通信網が含まれるようにしてもよい。

【0108】

復号装置４１１は、符号化装置１１４が生成した符号化データを、符号化装置１１４の符号化方法に対応する方法で復号する装置である。復号装置４１１は、符号化装置１１４において生成された符号化データを、通信媒体４１０を介して取得する。復号装置４１１は、得られた符号化データを、符号化装置１１４の符号化方法に対応する復号方法で復号する。復号装置４１１は、例えば、この復号により撮像画像の画像データ等を取得する。復号装置４１１は、その撮像画像から自由視点画像を生成し、それを表示デバイスであるモニタ４１２に表示させる。

【0109】

このような場合であっても、符号化装置１１４は、第１の実施の形態において説明したのと同様の方法で符号化を行うことができる。すなわち、主観的品質の低減を抑制しながら符号化効率の低減を抑制することができる。

【0110】

＜５．第４の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

【0111】

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0112】

図１６に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。

【0113】

バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。

【0114】

入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。

【0115】

以上のように構成されるコンピュータ８００では、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0116】

コンピュータ８００が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、このプログラムは、ROM８０２や記憶部８１３等に、あらかじめインストールしておくこともできる。

【0117】

＜６．その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0118】

例えば、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0119】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0120】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0121】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0122】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0123】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0124】

また、上述した各ステップの処理は、上述した各装置、または、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

【0125】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0126】

なお、本技術は以下のような構成も取ることができる。
（１） 複数の撮像部の撮像範囲である視野の重なりに関するパラメータを用いて特定された前記複数の撮像部による撮像の対象となる３次元領域の視野の重なりに関する分布に基づいて、前記３次元領域に関する情報を符号化する符号化部と
を備える情報処理装置。
（２） 前記符号化部は、前記パラメータを用いて前記３次元領域の重み付けを行う重み付け部
をさらに備える（１）に記載の情報処理装置。
（３） 前記重み付け部は、所定の大きさの単位領域であるボクセル毎に重み付けを行う
（２）に記載の情報処理装置。
（４） 前記重み付け部は、被写体を含むボクセルに対してより大きな重みを設定する
（３）に記載の情報処理装置。
（５） 前記パラメータに基づいて、各ボクセルについて、被写体を含むか否かを判定する被写体判定部をさらに備え、
前記重み付け部は、前記被写体判定部により被写体を含むと判定されたボクセルに対して、前記被写体判定部により被写体を含まないと判定されたボクセルよりも大きな重みを設定するように構成される
（３）に記載の情報処理装置。
（６） 前記被写体判定部は、前記パラメータが第１の閾値よりも大きいピークボクセルを検出し、検出された前記ピークボクセルの周辺において、前記第１の閾値よりも小さい第２の閾値よりも前記パラメータが大きなボクセルを検出して保持し、前記ピークボクセルおよび保持した周辺ボクセルが前記被写体を含むと判定する
（５）に記載の情報処理装置。
（７） 前記重み付け部は、前記３次元領域内の視聴不可能なボクセルに対してより小さな重みを設定する
（３）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記重み付け部は、前記３次元領域内の視聴可能な領域の分布を示す視聴可能領域マップに基づいて特定される前記視聴不可能なボクセルに対してより小さな重みを設定する
（７）に記載の情報処理装置。
（９） 各ボクセルについて前記パラメータを算出するパラメータ算出部をさらに備え、
前記重み付け部は、前記パラメータ算出部により算出された前記パラメータを用いて前記３次元領域の重み付けを行うように構成される
（３）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記パラメータ算出部は、各撮像部の撮像範囲を示す視野錐の位置、方向、大きさ、形状に基づいて、各ボクセルについて前記パラメータを算出する
（９）に記載の情報処理装置。
（１１） 前記パラメータ算出部は、さらに、ボクセルの前記視野錐内の位置に基づいて前記パラメータを算出する
（１０）に記載の情報処理装置。
（１２） 前記パラメータ算出部は、撮像部の位置および姿勢に基づいて前記視野錐を推定する
（１０）または（１１）に記載の情報処理装置。
（１３） 前記パラメータ算出部は、さらに撮像部の内部パラメータに基づいて前記視野錐を推定する
（１２）に記載の情報処理装置。
（１４） 前記パラメータ算出部は、さらにデプス情報に基づいて前記視野錐を推定する
（１２）または（１３）に記載の情報処理装置。
（１５） 前記重み付け部により得られた前記３次元領域内の重みの分布を、前記３次元領域の撮像画像に対応付ける重み映像対応付け部をさらに備え、
前記符号化部は、前記重み映像対応付け部により前記撮像画像に対応付けられた前記３次元領域内の重みの分布に基づいて前記撮像画像を符号化するように構成される
（２）乃至（１４）のいずれかに記載の情報処理装置。
（１６） 前記符号化部は、前記３次元領域内の重みの分布に応じて、前記撮像画像の符号化のビットレートまたは符号化モードを制御する
（１５）に記載の情報処理装置。
（１７） 前記重み付け部により得られた前記３次元領域内の重みの分布を、前記３次元領域内の音声に対応付ける重み音声対応付け部をさらに備え、
前記符号化部は、前記重み音声対応付け部により前記音声に対応付けられた前記３次元領域内の重みの分布に基づいて前記音声を符号化するように構成される
（２）乃至（１６）のいずれかに記載の情報処理装置。
（１８） 前記符号化部は、前記３次元領域内の重みの分布に応じて、前記音声の符号化のビットレートまたは符号化モードを制御する
（１７）に記載の情報処理装置。
（１９） 前記重み付け部により得られた前記３次元領域内の重みの分布を、前記３次元領域の３次元構造を示す３次元構造データに対応付ける重み３次元構造対応付け部をさらに備え、
前記符号化部は、前記重み３次元構造対応付け部により前記３次元構造データに対応付けられた前記３次元領域内の重みの分布に基づいて前記３次元構造データを符号化するように構成される
（２）乃至（１８）のいずれかに記載の情報処理装置。
（２０） 前記符号化部は、前記３次元領域内の重みの分布に応じて、前記３次元構造データの符号化の、３次元を表現する頂点数の近似・削除率を制御する
（１９）に記載の情報処理装置。
（２１） 複数の撮像部の撮像範囲である視野の重なりに関するパラメータを用いて特定された前記複数の撮像部による撮像の対象となる３次元領域の視野の重なりに関する分布に基づいて、前記３次元領域に関する情報を符号化する
情報処理方法。

【符号の説明】

【0127】

１００ 撮像記憶システム， １１１ 撮像装置， １１２ 姿勢制御装置， １１３ 制御装置， １１４ 符号化装置， １１５ ストレージ， １３１ 視野重複度算出部， １３２ 品質重み統合部， １３３ 映像符号化部， １３４ 音声符号化部， １３５ ３次元構造符号化部， １３６ 出力部， １７１ 重複度ボリューム更新部， １７２ 被写体判定部， ２０１ 被写体・背景品質重み更新部， ２０２ ボリューム情報映像対応付け部， ２０３ ボリューム情報音声対応付け部， ２０４ ボリューム情報３Ｄ構造対応付け部， ３００ 撮像記憶システム， ３１１ ストレージ， ４００ 撮像伝送システム， ４１０ 通信媒体， ４１１ 復号装置， ４１２ モニタ， ８００ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】