特許 7615116 情報処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】情報処理装置および方法

(51)【国際特許分類】

   H04N 19/85 20140101AFI20250108BHJP

   G06T 9/00 20060101ALI20250108BHJP

【ＦＩ】

H04N19/85

G06T9/00

【請求項の数】 9

(21)【出願番号】P 2022501808

(86)(22)【出願日】2021-02-08

(86)【国際出願番号】 JP2021004515

(87)【国際公開番号】W WO2021166707

(87)【国際公開日】2021-08-26

【審査請求日】2023-12-20

(31)【優先権主張番号】P 2020028089

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】名雲 武文

(72)【発明者】

【氏名】北村 卓也

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１９／１２４２４８（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０２８１２１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１４／０２８５６２６（ＵＳ，Ａ１）

【文献】Sam W. Hutchings et al.，A Reconfigurable 3-D-Stacked SPAD Imager With In-Pixel Histogramming for Flash LIDAR or High-Speed T，IEEE JOURNAL OF SOLID-STATE CIRCUITS，IEEE，2019年11月，VOL. 54, NO. 11，pp.2947-2956

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

Ｇ０６Ｔ ９／００ － ９／４０

(57)【特許請求の範囲】

【請求項1】

間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのi信号のビット深度とq信号のビット深度とを互いに独立に補正するビット深度補正部と、
前記ビット深度が補正された前記i信号と前記q信号とを互いに独立に符号化し、前記i信号の符号化データと前記q信号の符号化データとをそれぞれ生成する符号化部と
を備える情報処理装置。

【請求項2】

前記ビット深度補正部は、入出力特性を示す所定の曲線であるガンマカーブを用いて、前記中間データの前記i信号のビット深度と前記q信号のビット深度とを補正する
請求項１に記載の情報処理装置。

【請求項3】

前記ビット深度補正部は、後段処理で必要な演算精度に基づいて設計されたガンマカーブを用いて、前記中間データの前記i信号のビット深度と前記q信号のビット深度とを補正する
請求項２に記載の情報処理装置。

【請求項4】

前記ビット深度補正部は、前記演算精度を満たすように設定された最小量子化値の逆数を積分することにより導出されるガンマカーブを用いて、前記中間データの前記i信号のビット深度と前記q信号のビット深度とを補正する
請求項３に記載の情報処理装置。

【請求項5】

前記符号化データを記憶する記憶部をさらに備える
請求項１に記載の情報処理装置。

【請求項6】

前記ビット深度補正部により前記i信号のビット深度と前記q信号のビット深度とが補正された前記中間データに対して、データの線形性を必要としない信号処理を行う信号処理部をさらに備える
請求項１に記載の情報処理装置。

【請求項7】

前記符号化データを復号し、前記中間データを生成する復号部をさらに備える
請求項１に記載の情報処理装置。

【請求項8】

前記復号部により生成された前記中間データの前記i信号のビット深度と前記q信号のビット深度とを逆補正する逆ビット深度補正部をさらに備える
請求項７に記載の情報処理装置。

【請求項9】

間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのi信号のビット深度とq信号のビット深度とを互いに独立に補正し、
前記ビット深度が補正された前記i信号と前記q信号とを互いに独立に符号化し、前記i信号の符号化データと前記q信号の符号化データとをそれぞれ生成する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置および方法に関し、特に、センシングデータの処理の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。

【背景技術】

【0002】

従来、被写体を撮像する際に、被写体までの距離を測定してデプスデータを生成し、撮像画像とともに、そのデプスデータを活用する方法が考えられた（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】安富啓太, 川人祥二, "技術解説 Time-of-Flight カメラ", 映像情報メディア学会誌, 2016年 70巻 11号 P.880-885, 2016年8月29日受付

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、人間が見て楽しむビューイング（Viewing）用の画像データと異なり、センシング用のデータは大きなダイナミックレンジを必要とすることが多く、データを表現するためにビット深度の大きいデータフォーマットを利用する事が多い。この大きなビット深度のため、センシング用データの伝送や、ノイズリダクション処理などでメモリ量、伝送コスト、または演算コスト等が増大するおそれがあった。

【0005】

本開示は、このような状況に鑑みてなされたものであり、センシングデータの処理の負荷の増大を抑制することができるようにするものである。

【課題を解決するための手段】

【0006】

本技術の一側面の情報処理装置は、間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのi信号のビット深度とq信号のビット深度とを互いに独立に補正するビット深度補正部と、前記ビット深度が補正された前記i信号と前記q信号とを互いに独立に符号化し、前記i信号の符号化データと前記q信号の符号化データとをそれぞれ生成する符号化部とを備える画像処理装置である。

【0007】

本技術の一側面の情報処理方法は、間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのi信号のビット深度とq信号のビット深度とを互いに独立に補正し、前記ビット深度が補正された前記i信号と前記q信号とを互いに独立に符号化し、前記i信号の符号化データと前記q信号の符号化データとをそれぞれ生成する画像処理方法である。

【0008】

本技術の一側面の情報処理装置および方法においては、間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのi信号のビット深度とq信号のビット深度とが互いに独立に補正され、そのビット深度が補正されたi信号とq信号とが互いに独立に符号化され、そのi信号の符号化データとq信号の符号化データとがそれぞれ生成される。

【図面の簡単な説明】

【0009】

【図1】間接ToF方式の測距の様子の例を説明する図である。

【図2】間接ToF方式の測距の様子の例を説明する図である。

【図3】間接ToF方式の測距の様子の例を説明する図である。

【図4】測距装置の主な構成例を示すブロック図である。

【図5】符号化部の主な構成例を示すブロック図である。

【図6】復号部の主な構成例を示すブロック図である。

【図7】ガンマカーブの例を示す図である。

【図8】ガンマカーブの設計について説明する図である。

【図9】ガンマカーブの設計について説明する図である。

【図10】ガンマカーブの設計について説明する図である。

【図11】ガンマカーブの設計について説明する図である。

【図12】測距処理の流れの例を説明するフローチャートである。

【図13】i信号処理の流れの例を説明するフローチャートである。

【図14】i信号符号化処理の流れの例を説明するフローチャートである。

【図15】i信号復号処理の流れの例を説明するフローチャートである。

【図16】測距装置の主な構成例を示すブロック図である。

【図17】符号化部の主な構成例を示すブロック図である。

【図18】ジョイント符号化部の主な構成例を示すブロック図である。

【図19】ビット割り当ての例について説明する図である。

【図20】復号部の主な構成例を示すブロック図である。

【図21】測距処理の流れの例を説明するフローチャートである。

【図22】iq信号処理の流れの例を説明するフローチャートである。

【図23】iq信号符号化処理の流れの例を説明するフローチャートである。

【図24】ジョイント符号化処理の流れの例を説明するフローチャートである。

【図25】iq信号復号処理の流れの例を説明するフローチャートである。

【図26】測距システムの主な構成例を示すブロック図である。

【図27】測距処理の流れの例を説明するフローチャートである。

【図28】測距装置の主な構成例を示すブロック図である。

【図29】測距処理の流れの例を説明するフローチャートである。

【図30】コンピュータの主な構成例を示すブロック図である。

【図31】車両制御システムの概略的な構成の一例を示すブロック図である。

【図32】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

【発明を実施するための形態】

【0010】

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．ToF
２．第１の実施の形態（測距装置）
３．第２の実施の形態（測距装置）
４．第３の実施の形態（測距システム）
５．第４の実施の形態（測距装置）
６．コンピュータ
７．移動体への応用例
８．本技術の適用対象
９．その他

【0011】

＜１．ToF＞
従来、例えば、非特許文献１に記載のように、被写体を撮像する際に、被写体までの距離を測定してデプスデータを生成し、撮像画像とともに、そのデプスデータを活用する方法が考えられた。そして、その測距の方法として様々な方法が提案された。

【0012】

例えば、図１に示されるように、発光源１から被写体３に向けて光を照射し、その反射光が測距センサ２において受光されるまでの時間を測定し、その時間に基づいて被写体３までの距離を導出するToF（Time-of-Flight）が考えられた。また、そのToF方式として、直接ToF方式と間接ToF方式が考えられた。

【0013】

直接ToF方式の場合、TDC（Time-to-Digital Converter）が用いられるため、多画素化が困難であった。間接ToF方式の場合、画素内にTDC等の時間算出回路が不要であり、画素内の素子数の増大を抑制することができる。そのため、多画素化を容易に実現することができる。

【0014】

間接ToF方式の場合、光源に同期した時間窓（クロック）を用いて、フォトダイオードで発生した光電荷をロックインピクセルによって変調する。このとき、時間情報が信号量に反映されるため、飛行時間を導出することができる。

【0015】

間接ToF方式で用いられる変調方式には、例えば、連続波変調とパルス波変調とがある。連続波変調の様子の例を図２に示す。図２に示されるグラフにおいて、正弦波１１が発射光（Emitted）を示し、正弦波１２が反射光（Reccived）を示している。図２に示されるように、連続波変調の場合、４つの時間窓を用いてロックイン検出を行うことで、発射光と反射光との位相差を導出することができる。ここで用いるロックイン検出とは、光源と同期した短い電子シャッタによって、同じ位相の信号を複数回蓄積する動作を示す。正弦波で変調した場合、位相差φ_TOFは、４つの時間窓TW1,TW2,TW3,TW4で蓄積した信号A₀,A₁,A₂,A₃を用いて、以下の式（１）のように、導出される。

【0016】

【数1】

【0017】

変調周波数f_mは既知であるため、以下の式（２）を用いて位相（φ_TOF）から時間（t_TOF）に換算することができる。

【0018】

【数2】

【0019】

なお、受光した光には光源以外の直流成分、すなわち、背景光成分が含まれているが、上述の式（１）の演算によりその背景光成分はキャンセルされる。したがって、センサが飽和しない範囲においては、背景光の影響を受けずに距離が推定可能である。

【0020】

これに対してパルス波変調の様子の例を図３に示す。パルス波変調の場合、TW1,TW2により蓄積された信号をA₀,A₁とすると、飛行時間t_TOFは以下の式（３）のように導出される。

【0021】

【数3】

【0022】

TDは排出窓で、余分な背景光は排出される。時間窓TWの数を３つ以上にすることで、背景光成分のみを知ることができ、背景光の影響を受けずに距離が推定可能となる。パルス波変調では、光源のデューティー比を高くとることで、背景光に対してロバストな撮像を実現することができる。

【0023】

しかしながら、人間が見て楽しむビューイング（Viewing）用の画像データと異なり、センシング用のデータは大きなダイナミックレンジを必要とすることが多く、データを表現するためにビット深度の大きいデータフォーマットを利用する事が多い。この大きなビット深度のため、センシング用データの伝送や、ノイズリダクション処理などでメモリ量、伝送コスト、または演算コスト等が増大するおそれがあった。

【0024】

一般にセンシング用のデータは、広いダイナミックレンジを必要とするものの、必要な精度は均一ではない。例えば、近接のdepthデータであれば、mm単位の精度が必要とされるが、数10ｍの距離であれば、cm単位の精度で十分である。このような事例は、センシングデータの中間データや中間処理に関しても同様の傾向がある事が多い。

【0025】

そこで、間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのビット深度を補正するようにする。例えば、間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのビット深度を補正し、そのビット深度が補正された中間データを符号化し、符号化データを生成するようにする。

【0026】

このようにすることにより、センシングデータ（中間データ）のデータ量の増大を抑制することができる。したがって、そのセンシングデータ（中間データ）の処理の負荷の増大を抑制することができる。例えば、そのセンシングデータ（中間データ）を用いた演算、記憶、伝送等の負荷の増大を抑制することができる。

【0027】

＜２．第１の実施の形態＞
＜測距装置＞
図４は、本技術を適用した情報処理装置の一態様である測距装置の構成の一例を示すブロック図である。図４に示される測距装置１００は、間接TOF方式により被写体までの距離を測定する装置である。なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、この測距装置１００において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0028】

図４に示されるように、測距装置１００は、センサ１０１、i信号生成部１０２、信号処理部１０３、符号化部１０４、フレームメモリ１０５、復号部１０６、q信号生成部１０７、信号処理部１０８、符号化部１０９、フレームメモリ１１０、復号部１１１、位相差検出部１１２、デプス算出部１１３、符号化部１１４、および符号化部１１５を有する。

【0029】

センサ１０１は、図示せぬ光源から被写体に照射された照射光に対応する、被写体からの光（反射光）を検出するセンサである。センサ１０１は、例えば図２や図３を参照して説明したような間接TOF方式に対応し、４つの時間窓TW1乃至TW4において蓄積した信号A₀乃至A₃をセンシングデータとして出力する。センサ１０１は、時間窓TW1において蓄積した信号A₀と、時間窓TW3において蓄積した信号A₂とを、センシングデータとして、i信号生成部１０２に供給する。また、センサ１０１は、時間窓TW2において蓄積した信号A₁と、時間窓TW4において蓄積した信号A₃とを、センシングデータとして、q信号生成部１０７に供給する。

【0030】

i信号生成部１０２は、センサ１０１において得られるセンシングデータの中間データであるi信号の生成に関する処理を行う。例えば、i信号生成部１０２は、センサ１０１から供給される信号A₀および信号A₂を取得する。また、i信号生成部１０２は、それらの信号の差分（A₂-A₀）を算出することにより、i信号を導出する。さらに、i信号生成部１０２は、導出したi信号を信号処理部１０３に供給する。

【0031】

信号処理部１０３は、i信号に対する信号処理に関する処理を行う。例えば、信号処理部１０３は、i信号生成部１０２から供給されるi信号を取得する。また、信号処理部１０３は、そのi信号に対する信号処理を行う。この信号処理の内容は任意である。信号処理部１０３は、複数の信号処理を行ってもよいし、同一の信号処理を複数回行ってもよい。もちろん、信号処理を省略することもできる。

【0032】

信号処理部１０３は、必要に応じて、信号処理対象であるi信号をフレームメモリ１０５に記憶させる。その際、信号処理部１０３は、i信号を、符号化部１０４に供給して符号化させ、符号化データとしてフレームメモリ１０５に記憶させる。

【0033】

また、信号処理部１０３は、必要に応じて、フレームメモリ１０５に記憶されているi信号を読み出す。その際、信号処理部１０３は、フレームメモリ１０５から読み出された符号化データが復号部１０６において復号されて得られた、i信号を取得する。

【0034】

なお、このフレームメモリ１０５への書き込みや読み出しは、任意のタイミングにおいて行われてもよい。例えば、この書き込みや読み出しが、信号処理部１０３による信号処理の前に行われてもよいし、後に行われてもよいし、途中で行われてもよい。また、この書き込みや読み出しが複数回繰り返されてもよい。例えば、信号処理の前、途中、後のそれぞれにおいてこの書き込みや読み出しが行われるようにしてもよい。

【0035】

さらに、信号処理部１０３は、適宜信号処理が行われたi信号を位相差検出部１１２に供給する。なお、信号処理部１０３は、i信号を符号化部１１４に供給することもできる。

【0036】

符号化部１０４は、i信号の符号化に関する処理を行う。例えば、符号化部１０４は、信号処理部１０３から供給されるi信号を符号化し、その符号化データを生成する。そして、符号化部１０４は、生成したi信号の符号化データをフレームメモリ１０５に供給する。つまり、符号化部１０４は、フレームメモリ１０５に記憶させるi信号の符号化に関する処理を行う。

【0037】

このように、符号化部１０４がi信号を符号化することにより、フレームメモリ１０５に記憶させるi信号のデータ量の増大を抑制することができる。つまり、フレームメモリ１０５の負荷（i信号の記憶に用いられる記憶容量）の増大を抑制することができ、フレームメモリ１０５の利用効率を向上させることができる。換言するに、フレームメモリ１０５として必要な記憶容量の増大を抑制することができ、フレームメモリ１０５の製造コストや消費電力の増大を抑制することができる。また、i信号（符号化データ）をフレームメモリ１０５に書き込む処理時間（所謂書き込み時間）や、i信号（符号化データ）をフレームメモリ１０５から読み出す処理時間（所謂読み出し時間）の増大を抑制することができ、信号処理部１０３の処理時間の増大を抑制することができる。

【0038】

フレームメモリ１０５は、例えば半導体メモリ等、任意の記憶媒体を有し、i信号の記憶に関する処理を行う。例えば、フレームメモリ１０５は、符号化部１０４から供給されるi信号の符号化データを取得し、その記憶媒体に記憶する。また、フレームメモリ１０５は、その記憶媒体に記憶されているi信号（符号化データ）を読み出し、復号部１０６に供給する。つまり、フレームメモリ１０５は、信号処理部１０３の信号処理の対象（i信号）を記憶する。なお、この記憶媒体はどのようなものであってもよく、例えばフラッシュメモリやハードディスクであってもよいし、着脱可能なリムーバブルメディアであってもよい。

【0039】

復号部１０６は、i信号の符号化データの復号に関する処理を行う。例えば、復号部１０６は、フレームメモリ１０５から供給される符号化データを復号し、i信号を生成する。そして、復号部１０６は、生成したi信号を信号処理部１０３に供給する。つまり、復号部１０６は、フレームメモリ１０５に記憶させるi信号の復号に関する処理を行う。

【0040】

このようにすることにより、信号処理部１０３は、フレームメモリ１０５から読み出したi信号を、符号化されていないプレーンの状態で信号処理することができる。つまり、信号処理部１０３による信号処理の対象（i信号）を、上述したように符号化して記憶させることができる。したがって、信号処理部１０３の信号処理の対象（i信号）を記憶するフレームメモリ１０５について、上述したような効果を得ることができる。

【0041】

q信号生成部１０７は、センサ１０１において得られるセンシングデータの中間データであるq信号の生成に関する処理を行う。例えば、q信号生成部１０７は、センサ１０１から供給される信号A₁および信号A₃を取得する。また、q信号生成部１０７は、それらの信号の差分（A₃-A₁）を算出することにより、q信号を導出する。さらに、q信号生成部１０７は、導出したq信号を信号処理部１０８に供給する。

【0042】

信号処理部１０８、符号化部１０９、フレームメモリ１１０、および復号部１１１は、それぞれ、信号処理部１０３、符号化部１０４、フレームメモリ１０５、および復号部１０６と同様の構成を有し、同様の処理を行い、同様の効果を得ることができる。ただし、信号処理部１０８乃至復号部１１１の各処理部は、i信号の代わりにq信号を処理の対象とする。つまり、信号処理部１０８は、q信号に対する信号処理に関する処理を行う。符号化部１０９は、フレームメモリ１１０に記憶させるq信号の符号化に関する処理を行う。フレームメモリ１１０は、信号処理部１０８の信号処理の対象（q信号）を記憶する。復号部１１１は、フレームメモリ１１０に記憶させるq信号の復号に関する処理を行う。

【0043】

位相差検出部１１２は、発光信号と受信信号との位相差の検出に関する処理を行う。例えば、位相差検出部１１２は、信号処理部１０３から供給されるi信号を取得する。また、位相差検出部１１２は、信号処理部１０８から供給されるq信号を取得する。さらに、位相差検出部１１２は、取得したi信号とq信号とを用いて上述した式（１）の演算を行い、発光信号と受信信号との位相差φ_TOFを算出する。

【0044】

位相差検出部１１２は、その算出した位相差φ_TOFを測距装置１００の外部に出力することができる。例えば、位相差検出部１１２は、画素毎や部分領域毎にその位相差φ_TOFを算出し、その位相差φ_TOFのマップ情報として測距装置１００の外部に出力することができる。例えば、位相差検出部１１２は、その位相差φ_TOFのマップ情報を信頼性のマップ情報（Confidence map）として測距装置１００の外部に出力することができる。

【0045】

また、位相差検出部１１２は、その算出した位相差φ_TOFをデプス算出部１１３に供給することができる。

【0046】

デプス（Depth）算出部１１３は、デプス値の算出に関する処理を行う。例えば、デプス算出部１１３は、位相差検出部１１２から供給される、発光信号と受信信号との位相差φ_TOFを取得することができる。また、デプス算出部１１３は、その取得した位相差φ_TOFを用いて、以下の式（４）の演算を行うことにより、被写体までの距離（すなわちデプス値）dを推定することができる。

【0047】

【数4】

【0048】

さらに、デプス算出部１１３は、以上のように算出したデプス値ｄを測距装置１００の外部に出力することができる。例えば、デプス算出部１１３は、以上のようなデプス値ｄを画素毎または部分領域毎に算出し、マップ情報（デプス画像）として測距装置１００の外部に出力することができる。

【0049】

符号化部１１４は、符号化部１０４と同様に、i信号の符号化に関する処理を行う。つまり、符号化部１１４は、符号化部１０４と同様の構成を有し、同様の処理を行う。すなわち、符号化部１１４は、信号処理部１０３から供給されるi信号を符号化し、その符号化データを生成する。ただし、符号化部１１４は、生成したi信号の符号化データを測距装置１００の外部に出力する。つまり、符号化部１１４は、測距装置１００の外部に出力させるi信号の符号化に関する処理を行う。

【0050】

換言するに、測距装置１００は、中間データであるi信号を出力することができる。そして、符号化部１１４がi信号を符号化することにより、測距装置１００は、そのi信号を符号化して出力することができる。このようにすることにより、出力されたi信号の伝送に使用される伝送帯域や、出力されたi信号の記憶に必要な記憶容量の増大を抑制することができる。したがってコストの増大を抑制することができる。

【0051】

符号化部１１５は、符号化部１１４と同様の構成を有し、同様の処理を行い、同様の効果を得ることができる。ただし、符号化部１１５は、i信号の代わりにq信号を処理の対象とする。つまり、符号化部１１５は、信号処理部１０８から供給されるq信号を符号化し、その符号化データを生成する。そして、符号化部１１５は、その生成したq信号の符号化データを測距装置１００の外部に出力する。すなわち、符号化部１１５は、測距装置１００の外部に出力させるq信号の符号化に関する処理を行う。

【0052】

換言するに、測距装置１００は、中間データであるq信号を出力することができる。そして、符号化部１１５がq信号を符号化することにより、測距装置１００は、そのq信号を符号化して出力することができる。このようにすることにより、出力されたq信号の伝送に使用される伝送帯域や、出力されたq信号の記憶に必要な記憶容量の増大を抑制することができる。したがってコストの増大を抑制することができる。

【0053】

なお、測距装置１００においては、i信号とq信号とが互いに独立に処理される。この限りにおいて、測距装置１００の構成は任意であり、上述した例に限定されない。例えば、i信号生成部１０２およびq信号生成部１０７を一体化し、１つの信号生成部としてもよい。また、信号処理部１０３および信号処理部１０８を一体化し、１つの信号処理部としてもよい。さらに、符号化部１０４および符号化部１０９を一体化し、１つの符号化部としてもよい。また、フレームメモリ１０５およびフレームメモリ１１０を一体化し、１つのフレームメモリとしてもよい。さらに、復号部１０６および復号部１１１を一体化し、１つの復号部１１１としてもよい。

【0054】

このように、i信号を処理する処理部とq信号を処理する処理部とを一体化する場合においても、i信号とq信号は互いに独立に処理されるものとする。例えば、時分割により、i信号とq信号とを互いに独立に処理するようにしてもよいし、２系統の入出力を備えるようにしてもよい。

【0055】

なお、測距装置１００のこれらの処理部（センサ１０１乃至符号化部１１５）は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

【0056】

＜符号化部＞
図５は、図４の符号化部１０４の主な構成例を示すブロック図である。なお、図５においては、処理部やデータの流れ等の主なものを示しており、図５に示されるものが全てとは限らない。つまり、この符号化部１０４において、図５においてブロックとして示されていない処理部が存在したり、図５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0057】

図５に示されるように、符号化部１０４は、センシングガンマ補正部１３１および符号化部１３２を有する。

【0058】

センシングガンマ補正部１３１は、入力データのビット深度の補正に関する処理を行う。例えば、センシングガンマ補正部１３１は、符号化部１０４の外部（例えば信号処理部１０３）からの入力データとして、センシングデータの中間データであるi信号を取得する。また、センシングガンマ補正部１３１は、そのi信号のビット深度を補正する。その際、センシングガンマ補正部１３１は、入出力特性を示す所定の曲線であるガンマカーブを用いて、i信号のビット深度を補正する（ガンマ補正を行う）。例えば、センシングガンマ補正部１３１は、そのガンマカーブに応じた圧縮率でi信号のビット深度を削減する。さらに、センシングガンマ補正部１３１は、ビット深度補正後（ガンマ補正後）のi信号を符号化部１３２に供給する。

【0059】

符号化部１３２は、i信号の符号化に関する処理を行う。例えば、符号化部１３２は、センシングガンマ補正部１３１から供給されるガンマ補正後のi信号を取得し、それを符号化して符号化データを生成する。この符号化方法は任意である。例えば、既存の画像符号化方式を利用してもよい。符号化部１３２は、生成したi信号の符号化データを符号化部１０４の外部（例えばフレームメモリ１０５）に供給する。

【0060】

このように、センシングガンマ補正部１３１がi信号のビット深度を削減するように補正するので、符号化部１０４は、センシングデータ（の中間データであるi信号）の符号化効率の低減を抑制することができる。したがって、測距装置１００は、上述したようにセンシングデータの処理の負荷の増大を抑制することができる。

【0061】

なお、符号化部１０９も、この符号化部１０４と同様の構成を有する。つまり、図５に示される構成例は、符号化部１０９にも適用することができる。ただし、符号化部１０９の場合、処理対象はq信号である。

【0062】

また、符号化部１１４も、この符号化部１０４と同様の構成を有する。つまり、図５に示される構成例は、符号化部１１４にも適用することができる。ただし、符号化部１１４の場合、符号化部１３２により生成されたi信号の符号化データは、測距装置１００の外部に出力される。

【0063】

さらに、符号化部１１５も、この符号化部１０４と同様の構成を有する。つまり、図５に示される構成例は、符号化部１１５にも適用することができる。ただし、符号化部１１５の場合、処理対象はq信号であり、符号化部１３２により生成されたq信号の符号化データは、測距装置１００の外部に出力される。

【0064】

つまり、上述したように、測距装置１００の場合、i信号およびq信号は互いに独立に処理される。換言するに、センシングガンマ補正部１３１は、i信号のビット深度とq信号のビット深度とを、互いに独立に補正することができる。また、符号化部１３２は、そのビット深度が補正されたi信号とq信号とを、互いに独立に符号化し、i信号の符号化データとq信号の符号化データとをそれぞれ生成することができる。

【0065】

＜復号部＞
図６は、図４の復号部１０６の主な構成例を示すブロック図である。なお、図６においては、処理部やデータの流れ等の主なものを示しており、図６に示されるものが全てとは限らない。つまり、この復号部１０６において、図６においてブロックとして示されていない処理部が存在したり、図６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0066】

図６に示されるように、復号部１０６は、復号部１５１およびセンシング逆ガンマ補正部１５２を有する。

【0067】

復号部１５１は、i信号の符号化データの復号に関する処理を行う。例えば、復号部１５１は、復号部１０６の外部（例えばフレームメモリ１０５）から読み出されたi信号の符号化データを取得する。また、復号部１５１は、その符号化データを復号し、i信号（逆ガンマ補正前の再構成データ）を生成する。この復号方法は、符号化部１３２が適用する符号化方法に対応するものであれば任意である。例えば、既存の画像復号方式を利用してもよい。つまり、復号部１５１は、符号化部１３２の逆処理を行う。さらに、復号部１５１は、生成したi信号（逆ガンマ補正前の再構成データ）をセンシング逆ガンマ補正部１５２に供給する。

【0068】

センシング逆ガンマ補正部１５２は、i信号のビット深度の逆補正に関する処理を行う。例えば、センシング逆ガンマ補正部１５２は、復号部１５１から供給されるi信号（逆ガンマ補正前の再構成データ）を取得する。また、センシング逆ガンマ補正部１５２は、そのi信号（逆ガンマ補正前の再構成データ）のビット深度を逆補正する。その際、センシング逆ガンマ補正部１５２は、入出力特性を示す所定の曲線である逆ガンマカーブを用いて、i信号のビット深度を逆補正する（逆ガンマ補正を行う）。

【0069】

この逆ガンマカーブは、センシングガンマ補正部１３１が用いるガンマカーブの逆関数である。つまり、この逆ガンマ補正は、センシングガンマ補正部１３１がガンマ補正の逆処理である。例えば、センシング逆ガンマ補正部１５２は、その逆ガンマカーブに応じた伸張率で、ガンマカーブに応じた圧縮率で削減されたi信号のビット深度を復元する。つまり、削減前のビット深度に戻す。

【0070】

さらに、センシング逆ガンマ補正部１５２は、そのビット深度を復元したi信号（再構成データ）を復号部１０６の外部（例えば信号処理部１０３）に供給する。

【0071】

このように、センシング逆ガンマ補正部１５２がi信号のビット深度を復元するように補正するので、復号部１０６は、センシングデータ（の中間データであるi信号）を元のビット深度に戻すことができる。つまり、復号部１０６は、センシングデータ（の中間データであるi信号）の符号化効率の低減を抑制することができる。したがって、測距装置１００は、上述したようにセンシングデータの処理の負荷の増大を抑制することができる。

【0072】

なお、復号部１１１も、この復号部１０６と同様の構成を有する。つまり、図６に示される構成例は、復号部１１１にも適用することができる。ただし、復号部１１１の場合、処理対象はq信号である。

【0073】

つまり、上述したように、測距装置１００の場合、i信号およびq信号は互いに独立に処理される。換言するに、復号部１５１は、i信号の符号化データとq信号の符号化データとを、互いに独立に復号し、i信号とq信号をそれぞれ生成することができる。また、センシング逆ガンマ補正部１５２は、そのi信号のビット深度とq信号のビット深度とを、互いに独立に逆補正する（つまり、元のビット深度に戻す）ことができる。

【0074】

＜ガンマカーブと逆ガンマカーブ＞
上述したガンマカーブと逆ガンマカーブの例を図７に示す。図７に示されるガンマカーブ１６１と逆ガンマカーブ１６２は、互いに逆関数である。つまり、センシングガンマ補正部１３１によるビット深度の補正と、センシング逆ガンマ補正部１５２によるビット深度の逆補正は、可逆な処理であり、互いに逆処理である。つまり、i信号やq信号に対して、この補正および逆補正を行うことにより、元の信号値に戻すことができる。

【0075】

このガンマカーブおよび逆ガンマカーブは、後段処理で必要な演算精度に基づいて設計されるようにしてもよい。つまり、センシングガンマ補正部１３１が、後段処理で必要な演算精度に基づいて設計されたガンマカーブを用いて、i信号やq信号のビット深度を補正するようにしてもよい。また、センシング逆ガンマ補正部１５２が、後段処理で必要な演算精度に基づいて設計された逆ガンマカーブを用いて、i信号やq信号のビット深度を逆補正するようにしてもよい。

【0076】

＜信号特性＞
ここで、ガンマカーブの算出方法に先立ち、間接ToF方式（iToF）の奥行信号（デプスデータ）の生成に起因する必要データ精度の説明を行う。上述したとおり、iToFでは、i信号やq信号を用いたarctanを利用して、発光信号と受信信号との位相差を検出し、その位相信号を奥行情報（デプスデータ）に変換する。

【0077】

ここで、同じ奥行距離を持ちながら、異なるi,qを持つ２つの信号を考える。図８に示されるグラフにおいて、L2ノルムが小さく原点に近い信号をAとし、L2ノルムが大きく原点から遠い信号をBとする。ここで、信号Aと信号Bに何らかのノイズが重畳され、それぞれiの値が１小さくなったと仮定する（図中水平方向の矢印）。信号Aおよび信号Bのノイズ重畳前の位相差は角度１７１で表される。ノイズ重畳により、信号Bの位相差は角度１７２に対応し、信号Aの位相差は角度１７３に対応する。つまり、それぞれのノイズ重畳後の値を見るとわかるように、iToFではL2ノルムの小さい画素値は、劣化に敏感であり、L2ノルムが大きくなるにつれ、劣化の影響が小さくなる。

【0078】

この例によりi信号およびq信号で必要とされるデータの精度は、i信号およびq信号が持つ値の絶対値により変化し、絶対値の値が小さい場合には高精度が要求され、絶対値が大きい場合には低い精度でも問題がないことが分かる。そのため、絶対値の大小にかかわらず均一な精度でデータを保持することは、データ保持する上で冗長な精度を持つことになり、コスト増の要因となる。

【0079】

換言するに、センシングガンマ補正部１３１が、上述したようにガンマカーブを用いてi信号やq信号のビット深度を補正（削減）し、センシング逆ガンマ補正部１５２が、上述したように逆ガンマカーブを用いてi信号やq信号のビット深度を逆補正（復元）することにより、この冗長性の増大を抑制することができる。つまり、コストの増大を抑制することができる。

【0080】

＜ガンマカーブの設計＞
次に、以上のようなガンマカーブの設計方法について説明する。例えば、図９のグラフに示されるように、センサ出力の差分により生成されたi信号の信号値をiとし、q信号の信号値をqとし、それらの信号値を用いて導出される発光信号と受信信号の位相差をφとすると以下の式（５）が成り立つ。

【0081】

【数5】

【0082】

この式（５）から以下の式（６）が成り立つので、iに要求される精度は、以下の式（７）のように算出することができる。

【0083】

【数6】

【数7】

【0084】

上述の式（５）、式（７）、および以下の式（８）から、iに要求される精度は、以下の式（９）のように算出することができる。

【0085】

【数8】

【数9】

【0086】

同様の演算により、qの精度も以下の式（１０）のように算出することができる。

【0087】

【数10】

【0088】

これらより、フェーズφを、精度を一定に保つ場合のi, qへ適用可能な量子化値（quant_i, quant_q）は、その絶対値を以下の式（１１）や式（１２）のようにスケールすることにより求めることができる。

【0089】

【数11】

【数12】

【0090】

以上のように導出した量子化値を用いてガンマカーブを導出する。式（１１）や式（１２）で示される量子化値（quant_i, quant_q）は、iを固定した場合、q=iの時に最小値を取る。そのため、最小量子化値min_quan(x)は、i, qともに以下の式（１３）を用いて算出される。

【0091】

【数13】

【0092】

求めるガンマカーブを上述の式で量子化できるカーブと設計する。図１０に示される曲線１８１のように、求めたいガンマカーブの傾きは、最小量子化値の逆数より算出できる。

【0093】

図１１に示される曲線１８２のように、このガンマカーブの傾き、すなわち、最小量子化値の逆数を積分することで、iToFのi信号およびq信号に最適なガンマカーブを算出することができる。算出されたガンマカーブがy=xの直線以下になれば、ガンマカーブによるデータ量の圧縮が可能となる。なお、最小量子化値のパラメータであるAは、求めたい精度、達成したい圧縮率により調整するためのパラメータとなる。

【0094】

この例では、iToF信号の処理に必要なi,qの精度（＝量子化値）を基に最適なガンマカーブ算出方法を説明したが、この算出方法はこの例に限定されない。例えばシステム要件等により最小量子化値を設定することで、任意のセンシングシステムに本手法を適用することが可能となる。

【0095】

＜測距処理の流れ＞
次に、測距装置１００により実行される処理について説明する。最初に、測距装置１００が測距する際の測距処理の流れの例を、図１２のフローチャートを参照して説明する。

【0096】

測距処理が開始されると、測距装置１００のセンサ１０１は、ステップＳ１０１において、各時間窓で蓄積した信号（例えば、信号A₀乃至A₃）を検出する。

【0097】

ステップＳ１０２において、i信号生成部１０２は、ステップＳ１０１において検出された信号を用いてi信号を生成する（例えばA₂-A₀）。ステップＳ１０３において、q信号生成部１０７は、ステップＳ１０１において検出された信号を用いてq信号を生成する（例えばA₃-A₁）。

【0098】

ステップＳ１０４において、信号処理部１０３乃至復号部１０６は、i信号処理を実行し、ステップＳ１０２において生成されたi信号を信号処理する。ステップＳ１０５において、信号処理部１０８乃至復号部１１１は、q信号処理を実行し、ステップＳ１０３において生成されたq信号を信号処理する。

【0099】

ステップＳ１０６において、位相差検出部１１２は、ステップＳ１０４において適宜信号処理が行われたi信号と、ステップＳ１０５において適宜信号処理が行われたq信号とを用いて、発光信号と受信信号の位相差を検出する。

【0100】

ステップＳ１０７において、位相差検出部１１２は、ステップＳ１０６において検出された位相差を基にコンフィデンスマップを生成し、測距装置１００の外部に出力する。なお、コンフィデンスマップの出力は省略することができる。その場合、この処理は省略することができる。

【0101】

ステップＳ１０８において、デプス算出部１１３は、ステップＳ１０６において検出された位相差を用いてデプス値を算出する。ステップＳ１０９において、デプス算出部１１３は、そのデプス値をデプスデータとして測距装置１００の外部に出力する。なお、デプスデータの出力は省略することができる。その場合、これらの処理は省略することができる。

【0102】

ステップＳ１１０において、符号化部１１４は、i信号符号化処理を実行し、i信号の符号化データを生成する。また、ステップＳ１１１において、符号化部１１５は、q信号符号化処理を実行し、q信号の符号化データを生成する。さらに、ステップＳ１１２において、符号化部１１４は、ステップＳ１１０において生成したi信号の符号化データを測距装置１００の外部に出力する。同様に、ステップＳ１１３において、符号化部１１５は、ステップＳ１１１において生成したq信号の符号化データを測距装置１００の外部に出力する。なお、i信号やq信号の符号化データの出力は省略することができる。その場合、これらの処理は省略することができる。

【0103】

ステップＳ１１３の処理が終了すると、測距処理が終了する。

【0104】

＜i信号処理の流れ＞
次に、図１３のフローチャートを参照して、図１２のステップＳ１０４において実行されるi信号処理の流れの例を説明する。i信号処理が開始されると、信号処理部１０３は、ステップＳ１３１においてi信号を記憶するか否かを判定する。i信号を記憶すると判定された場合、処理はステップＳ１３２に進む。ステップＳ１３２において、符号化部１０４は、i信号符号化処理を実行し、i信号を符号化して符号化データを生成する。ステップＳ１３３において、フレームメモリ１０５は、ステップＳ１３２において生成されたi信号の符号化データを記憶する。ステップＳ１３３の処理が終了すると処理はステップＳ１３４に進む。また、ステップＳ１３１においてi信号を記憶しないと判定された場合、処理はステップＳ１３４に進む。

【0105】

ステップＳ１３４において、信号処理部１０３は、i信号を読み出すか否かを判定する。i信号を読み出すと判定された場合、処理はステップＳ１３５に進む。ステップＳ１３５において、フレームメモリ１０５は、要求されたi信号の符号化データを読み出す。ステップＳ１３６において、復号部１０６は、i信号復号処理を実行し、i信号の符号化データを復号してi信号を生成する。ステップＳ１３６の処理が終了すると処理はステップＳ１３７に進む。また、ステップＳ１３４においてi信号を読み出さないと判定された場合、処理はステップＳ１３７に進む。

【0106】

ステップＳ１３７において、信号処理部１０３は、i信号に対して信号処理を行うか否かを判定する。信号処理を行うと判定された場合、処理はステップＳ１３８に進む。ステップＳ１３８において、信号処理部１０３は、i信号を信号処理する。ステップＳ１３８の処理が終了すると処理はステップＳ１３９に進む。また、ステップＳ１３７において、信号処理を行わないと判定された場合、処理はステップＳ１３９に進む。

【0107】

ステップＳ１３９において、信号処理部１０３は、信号処理を終了するか否かを判定する。未処理のデータや未実行の信号処理が存在する等して、信号処理を終了しないと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理を繰り返す。また、ステップＳ１３９において、全ての処理を行う等して、信号処理を終了すると判定された場合、処理はステップＳ１４０に進む。

【0108】

ステップＳ１４０において、信号処理部１０３は、信号処理を適宜行ったi信号を位相差検出部１１２に供給する。ステップＳ１４０の処理が終了するとi信号処理が終了し、処理は、図１２に戻る。

【0109】

なお、このi信号処理において、ステップＳ１３１乃至ステップＳ１３３の処理群と、ステップＳ１３４乃至ステップＳ１３６の処理群と、ステップＳ１３７およびステップＳ１３８の処理群との処理順は任意であり、図１３の例に限定されない。例えば、ステップＳ１３７およびステップＳ１３８の処理を行ってから、ステップＳ１３１乃至ステップＳ１３３の処理や、ステップＳ１３４乃至ステップＳ１３６の処理を行うようにしてもよい。また、その他の順でもよい。つまり、i信号の書き込みや読み出しは、信号処理の任意のタイミングにおいて行うことができる。

【0110】

＜i信号符号化処理の流れ＞
次に、図１４のフローチャートを参照して、図１３のステップＳ１３２等において実行されるi信号符号化処理の流れの例を説明する。

【0111】

i信号符号化処理が開始されると、符号化部１０４のセンシングガンマ補正部１３１は、ステップＳ１６１において、上述のように設計されたガンマカーブを用いてi信号のビット深度をガンマ補正する。

【0112】

ステップＳ１６２において、符号化部１３２は、ステップＳ１６１においてガンマ補正されたi信号を符号化し、i信号の符号化データを生成する。ステップＳ１６２の処理が終了すると、i信号符号化処理が終了し、処理は図１３に戻る。

【0113】

＜i信号復号処理の流れ＞
次に、図１３のステップＳ１３６等において実行されるi信号復号処理の流れの例を、図１５のフローチャートを参照して説明する。

【0114】

i信号復号処理が開始されると、復号部１０６の復号部１５１は、ステップＳ１８１において、i信号の符号化データを復号し、逆ガンマ補正前のi信号を生成する。

【0115】

ステップＳ１８２において、センシング逆ガンマ補正部１５２は、ステップＳ１８１において生成されたi信号のビット深度を、上述のように設計された逆ガンマカーブを用いて逆ガンマ補正し、ガンマ補正前のi信号を復元する。ステップＳ１８２の処理が終了するとi信号復号処理が終了し、処理は図１３に戻る。

【0116】

以上のように各処理を実行することにより、測距装置１００は、センシングデータの処理の負荷の増大を抑制することができる。

【0117】

なお、図１２の測距処理のステップＳ１１０において符号化部１１４により実行されるi信号符号化処理は、図１４のフローチャートを参照して説明したi信号符号化処理と同様の流れで行うことができる。つまり、図１４のフローチャートを参照した説明は、このステップＳ１１０のi信号符号化処理にも適用することができる。

【0118】

また、図１２の測距処理のステップＳ１０５において信号処理部１０８乃至復号部１１１により実行されるq信号処理は、図１３のフローチャートを参照して説明したi信号処理と同様の流れで行うことができる。つまり、図１３のフローチャートを参照した説明は、このステップＳ１０５のq信号処理にも適用することができる。

【0119】

ただし、この場合、i信号の代わりにq信号が処理対象とされる。また、このq信号処理の場合、ステップＳ１３２において、i信号符号化処理の代わりに、q信号を符号化するq信号符号化処理が実行される。このq信号符号化処理は、図１４のフローチャートを参照して説明したi信号符号化処理と同様の流れで行うことができる。つまり、図１４のフローチャートを参照した説明は、このq信号符号化処理にも適用することができる。ただし、この場合、i信号の代わりにq信号が処理対象とされる。同様に、q信号処理の場合、ステップＳ１３６において、i信号復号処理の代わりに、q信号の符号化データを復号するq信号復号処理が実行される。このq信号復号処理は、図１５のフローチャートを参照して説明したi信号復号処理と同様の流れで行うことができる。つまり、図１５のフローチャートを参照した説明は、このq信号復号処理にも適用することができる。ただし、この場合、i信号の代わりにq信号が処理対象とされる。

【0120】

また、図１２の測距処理のステップＳ１１１において符号化部１１５により実行されるq信号符号化処理は、上述したq信号処理のステップＳ１３２において実行されるq信号符号化処理と同様の流れで行うことができる。つまり、図１４のフローチャートを参照した説明は、このステップＳ１１１のq信号符号化処理にも適用することができる。ただし、この場合、i信号の代わりにq信号が処理対象とされる。

【0121】

＜３．第２の実施の形態＞
＜測距装置＞
第１の実施の形態においては、センシングデータの中間データであるi信号とq信号とを互いに独立に処理するように説明したが、これに限らず、センシングデータの中間データを、i信号とq信号の両方を含む多次元ベクトルデータとして処理するようにしてもよい。つまり、i信号とq信号とを１つの信号にまとめて処理するようにしてもよい。

【0122】

図１６は、本技術を適用した情報処理装置の一態様である測距装置の構成の一例を示すブロック図である。図１６に示される測距装置２００は、測距装置１００と同様に、間接TOF方式により被写体までの距離を測定する装置である。ただし、測距装置２００の場合、上述のように、センシングデータの中間データが、i信号とq信号の両方を含む多次元ベクトルデータとして処理される。

【0123】

なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、この測距装置２００において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0124】

図１６に示されるように、測距装置２００は、基本的に測距装置１００と同様の構成を有する。ただし、測距装置２００は、符号化部１０４乃至復号部１０６、並びに、符号化部１０９乃至復号部１１１の代わりに、符号化部２０１、フレームメモリ２０２、および復号部２０３を有する。

【0125】

さらに、測距装置２００は、符号化部１１４および符号化部１１５の代わりに、符号化部２０４を有する。

【0126】

符号化部２０１は、i信号およびq信号の符号化に関する処理を行う。例えば、符号化部２０１は、信号処理部１０３から供給されるi信号と、信号処理部１０８から供給されるq信号とを取得する。また、符号化部２０１は、それらの信号を含む多次元ベクトルデータを符号化し、符号化データを生成する。そして、符号化部２０１は、生成した符号化データ（i信号およびq信号に対応する符号化データ）をフレームメモリ２０２に供給する。つまり、符号化部２０１は、フレームメモリ２０２に記憶させるi信号およびq信号を含む多次元ベクトルデータの符号化に関する処理を行う。

【0127】

したがって、符号化部２０１は、符号化部１０４や符号化部１０９と同様の効果を得ることができる。

【0128】

フレームメモリ２０２は、フレームメモリ１０５やフレームメモリ１１０と同様の記憶媒体を有し、i信号およびq信号の記憶に関する処理を行う。例えば、フレームメモリ２０２は、符号化部２０１から供給される符号化データを取得し、その記憶媒体に記憶する。また、フレームメモリ２０２は、その記憶媒体に記憶されている符号化データを読み出し、復号部２０３に供給する。つまり、フレームメモリ２０２は、信号処理部１０３および信号処理部１０８の信号処理の対象（i信号およびq信号）を記憶する。なお、この記憶媒体はどのようなものであってもよく、例えばフラッシュメモリやハードディスクであってもよいし、着脱可能なリムーバブルメディアであってもよい。

【0129】

したがって、フレームメモリ２０２は、フレームメモリ１０５やフレームメモリ１１０と同様の効果を得ることができる。

【0130】

復号部２０３は、i信号およびq信号の符号化データの復号に関する処理を行う。例えば、復号部２０３は、フレームメモリ２０２から供給される、i信号およびq信号を含む多次元ベクトルデータの符号化データを復号し、i信号およびq信号を生成する。そして、復号部２０３は、生成したi信号を信号処理部１０３に供給し、生成したq信号を信号処理部１０８に供給する。つまり、復号部２０３は、フレームメモリ２０２に記憶させるi信号およびq信号を含む多次元ベクトルデータの復号に関する処理を行う。

【0131】

したがって、復号部２０３は、復号部１０６や復号部１１１と同様の効果を得ることができる。

【0132】

符号化部２０４は、符号化部２０１と同様に、i信号およびq信号の符号化に関する処理を行う。つまり、符号化部２０４は、符号化部２０１と同様の構成を有し、同様の処理を行う。すなわち、符号化部２０４は、信号処理部１０３から供給されるi信号と、信号処理部１０８から供給されるq信号とを含む多次元ベクトルデータを符号化し、その符号化データを生成する。ただし、符号化部２０４は、生成した符号化データを測距装置２００の外部に出力する。つまり、符号化部２０４は、測距装置２００の外部に出力させるi信号およびq信号を含む多次元ベクトルデータの符号化に関する処理を行う。

【0133】

したがって、符号化部２０４は、符号化部１１４や符号化部１１５と同様の効果を得ることができる。

【0134】

つまり、測距装置２００は、センシングデータの処理の負荷の増大を抑制することができる。

【0135】

なお、測距装置２００のこれらの処理部は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

【0136】

＜符号化部＞
図１７は、符号化部２０１の主な構成例を示すブロック図である。なお、図１７においては、処理部やデータの流れ等の主なものを示しており、図１７に示されるものが全てとは限らない。つまり、この符号化部２０１において、図１７においてブロックとして示されていない処理部が存在したり、図１７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0137】

図１７に示されるように、符号化部２０１は、ブロック分割部２２１、ブロック分割部２２２、ジョイント符号化部２２３、およびバッファ２２４を有する。

【0138】

ブロック分割部２２１は、信号処理部１０３から供給されるi信号を取得し、所定のブロック単位に分割し、ジョイント符号化部２２３に供給する。つまり、i信号は、このブロック分割部２２１により、ジョイント符号化部２２３への入力サイズに合わせて分割される。ブロック分割部２２２は、信号処理部１０８から供給されるq信号を取得し、所定のブロック単位に分割し、ジョイント符号化部２２３に供給する。つまり、q信号は、このブロック分割部２２２により、ジョイント符号化部２２３への入力サイズに合わせて分割される。

【0139】

ジョイント符号化部２２３は、ブロック単位で供給されるi信号およびq信号の符号化に関する処理を行う。例えば、ジョイント符号化部２２３は、ブロック分割部２２１から供給されるブロック単位のi信号を取得する。また、ジョイント符号化部２２３は、ブロック分割部２２２から供給されるブロック単位のq信号を取得する。さらに、ジョイント符号化部２２３は、トータルビット量（i信号とq信号の合計ビット量）を指定する情報を取得する。

【0140】

そして、ジョイント符号化部２２３は、その取得したブロック状のi信号およびq信号を、外部より指定されたトータルビット量に合わせるように符号化し、１本のビットストリーム（符号化データ）を生成する。ジョイント符号化部２２３は、生成した符号化データをバッファ２２４に供給する。

【0141】

バッファ２２４は、ジョイント符号化部２２３から供給される符号化データを一時的に保持し、ビットレートを平滑化させて出力する。なお、例えば、ジョイント符号化部２２３が、ビットレートが指定されたトータルビット量に正確に一致するように符号化データを生成することができる場合、このバッファ２２４は、省略してもよい。

【0142】

なお、符号化部２０４も、この符号化部２０１と同様の構成を有する。つまり、図１７に示される構成例は、符号化部２０４にも適用することができる。ただし、符号化部２０４の場合、バッファ２２４から出力される符号化データは、測距装置２００の外部に出力される。

【0143】

＜ジョイント符号化部＞
図１８は、ジョイント符号化部２２３の主な構成例を示すブロック図である。なお、図１８においては、処理部やデータの流れ等の主なものを示しており、図１８に示されるものが全てとは限らない。つまり、このジョイント符号化部２２３において、図１８においてブロックとして示されていない処理部が存在したり、図１８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0144】

図１８に示されるように、ジョイント符号化部２２３は、許容誤差量算出部２４１、ベース量子化量算出部２４２、許容誤差量算出部２４３、ベース量子化量算出部２４４、ターゲットビット量決定部２４５、およびiq符号化部２４６を有する。

【0145】

許容誤差量算出部２４１は、供給されるi信号に対し、許容される誤差量（許容誤差量とも称する）を算出する。許容誤差量算出部２４１は、算出したi信号の許容誤差量をベース量子化量算出部２４２に供給する。

【0146】

ベース量子化量算出部２４２は、供給される許容誤差量に基づいて、各画素のベース量子化量を算出する。例えば、ベース量子化量算出部２４２は、以下の式（１４）のように、floor関数を用いて許容誤差量を所定の値以下を切り捨てることにより、ベース量子化量base q stepを算出する。

【0147】

base q setep = floor(log₂ 許容誤差量)
・・・（１４）

【0148】

ベース量子化量算出部２４２は、算出したi信号についてのベース量子化量をターゲットビット量決定部２４５に供給する。

【0149】

許容誤差量算出部２４３は、供給されるq信号に対し、許容誤差量算出部２４１と同様の処理を行う。ベース量子化量算出部２４４は、ベース量子化量算出部２４２と同様の処理を行い、q信号についてのベース量子化量を算出し、ターゲットビット量決定部２４５に供給する。

【0150】

ターゲットビット量決定部２４５は、このように供給されたi信号およびq信号のそれぞれについてのベース量子化量と、外部から指定されるトータルビット量とに基づいて、ターゲットビット量として、i信号の割り当てビット量と、q信号の割り当てビット量とを決定する。ターゲットビット量決定部２４５は、決定した、i信号の割り当てビット量を示す情報と、q信号の割り当てビット量を示す情報とを、iq符号化部２４６に供給する。

【0151】

例えば、ターゲットビット量決定部２４５は、図１９に示されるように、i信号およびq信号のそれぞれの有効ビット深度vdを算出する。例えば、以下の式（１５）および式（１６）を用いて有効ビット深度vdを算出する。

【0152】

【数14】

【数15】

【0153】

iq符号化部２４６は、ジョイント符号化部２２３に供給される、ブロック毎のi信号およびq信号をそれぞれ取得する。また、iq符号化部２４６は、ターゲットビット量決定部２４５により決定されたi信号の割り当てビット量およびq信号の割り当てビット量、並びに、外部から指定されるトータルビット量に基づいて、i信号とq信号のビット深度をそれぞれ補正し、それらを結合して１つのデータとして符号化し、符号化データを生成する。iq符号化部２４６は、生成した符号化データをバッファ２２４に供給する。

【0154】

このiq符号化部２４６の構成は任意である。例えば、iq符号化部２４６が、符号化部１０４（図５）と同様の構成を有するようにしてもよい。その場合、符号化の処理対象となるセンシングデータの中間データをi信号とq信号の両方を含む多次元ベクトルデータとする。つまり、センシングガンマ補正部１３１は、i信号とq信号の両方を含む多次元ベクトルデータのビット深度を補正し、符号化部１３２は、そのビット深度が補正された多次元ベクトルデータを符号化し、符号化データを生成する。その際のビット深度の補正は、上述のように、ターゲットビット量決定部２４５により決定されたi信号の割り当てビット量およびq信号の割り当てビット量、並びに、外部から指定されるトータルビット量に基づいて行う。

【0155】

＜復号部＞
図２０は、復号部２０３の主な構成例を示すブロック図である。なお、図２０においては、処理部やデータの流れ等の主なものを示しており、図２０に示されるものが全てとは限らない。つまり、この復号部２０３において、図２０においてブロックとして示されていない処理部が存在したり、図２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0156】

図２０に示されるように、復号部２０３は、バッファ２８１、ジョイント復号部２８２、ブロック結合部２８３、およびブロック結合部２８４を有する。

【0157】

バッファ２８１は、フレームメモリ２０２から読み出された符号化データを保持し、ビットレートを平滑化してジョイント復号部２８２に供給する。なお、符号化データのビットレートが平滑化されて復号部２０３に供給される場合、このバッファ２８１を省略してもよい。

【0158】

ジョイント復号部２８２は、符号化データを復号し、その復号データから、外部から指定されるトータルビット量や、i信号の割り当てビット量やq信号の割り当てビット量等に基づいて、ブロック毎のi信号とq信号を抽出する。ジョイント復号部２８２は、抽出したi信号をブロック結合部２８３に供給する。また、ジョイント復号部２８２は、抽出したq信号をブロック結合部２８４に供給する。

【0159】

ブロック結合部２８３は、供給されたブロック毎のi信号を結合し、結合したi信号を信号処理部１０３に供給する。また、ブロック結合部２８４は、供給されたブロック毎のq信号を結合し、結合したq信号を信号処理部１０８に供給する。

【0160】

つまり、復号部２０３は、符号化部２０１の逆処理を行う。

【0161】

＜測距処理の流れ＞
測距装置２００により実行される測距処理の流れの例を、図２１のフローチャートを参照して説明する。測距処理が開始されると、ステップＳ２０１乃至ステップＳ２０３の各処理は、図１２のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

【0162】

ステップＳ２０４において、信号処理部１０３、信号処理部１０８、並びに、符号化部２０１乃至復号部２０３は、iq信号処理を実行し、ステップＳ２０２において生成されたi信号と、ステップＳ２０３において生成されたq信号との両方を信号処理する。

【0163】

ステップＳ２０５乃至ステップＳ２０８の各処理は、図１２のステップＳ１０６乃至ステップＳ１０９の各処理と同様に実行される。

【0164】

ステップＳ２０９において、符号化部２０４は、iq信号符号化処理を実行し、i信号およびq信号の両方を含む多次元ベクトルデータの符号化データを生成する。そして、ステップＳ２１０において、符号化部２０４は、ステップＳ２０９において生成した符号化データを測距装置２００の外部に出力する。なお、この符号化データの出力は省略することができる。その場合、これらの処理は省略することができる。

【0165】

ステップＳ２１０の処理が終了すると、測距処理が終了する。

【0166】

＜iq信号処理の流れ＞
次に、図２２のフローチャートを参照して、図２１のステップＳ２０４において実行されるiq信号処理の流れの例を説明する。iq信号処理が開始されると、信号処理部１０３および信号処理部１０８は、ステップＳ２３１においてi信号およびq信号を記憶するか否かを判定する。i信号およびq信号を記憶すると判定された場合、処理はステップＳ２３２に進む。ステップＳ２３２において、符号化部２０１は、iq信号符号化処理を実行し、i信号およびq信号を符号化して符号化データを生成する。ステップＳ２３３において、フレームメモリ２０２は、ステップＳ２３２において生成されたi信号およびq信号の両方を含む多次元ベクトルデータの符号化データを記憶する。ステップＳ２３３の処理が終了すると処理はステップＳ２３４に進む。また、ステップＳ２３１においてi信号およびq信号を記憶しないと判定された場合、処理はステップＳ２３４に進む。

【0167】

ステップＳ２３４において、信号処理部１０３および信号処理部１０８は、i信号およびq信号を読み出すか否かを判定する。i信号およびq信号を読み出すと判定された場合、処理はステップＳ２３５に進む。ステップＳ２３５において、フレームメモリ２０２は、要求されたi信号およびq信号の両方を含む多次元ベクトルデータの符号化データを読み出す。ステップＳ２３６において、復号部２０３は、iq信号復号処理を実行し、その符号化データを復号してi信号およびq信号を生成する。ステップＳ２３６の処理が終了すると処理はステップＳ２３７に進む。また、ステップＳ２３４においてi信号およびq信号を読み出さないと判定された場合、処理はステップＳ２３７に進む。

【0168】

ステップＳ２３７において、信号処理部１０３および信号処理部１０８は、i信号およびq信号に対して信号処理を行うか否かを判定する。信号処理を行うと判定された場合、処理はステップＳ２３８に進む。ステップＳ２３８において、信号処理部１０３は、i信号を信号処理する。ステップＳ２３９において、信号処理部１０８は、q信号を信号処理する。ステップＳ２３９の処理が終了すると処理はステップＳ２４０に進む。また、ステップＳ２３７において、信号処理を行わないと判定された場合、処理はステップＳ２４０に進む。

【0169】

ステップＳ２４０において、信号処理部１０３および信号処理部１０８は、信号処理を終了するか否かを判定する。未処理のデータや未実行の信号処理が存在する等して、信号処理を終了しないと判定された場合、処理はステップＳ２３１に戻り、それ以降の処理を繰り返す。また、ステップＳ２４０において、全ての処理を行う等して、信号処理を終了すると判定された場合、処理はステップＳ２４１に進む。

【0170】

ステップＳ２４１において、信号処理部１０３は、信号処理を適宜行ったi信号を位相差検出部１１２に供給し、信号処理部１０８は、信号処理を適宜行ったq信号を位相差検出部１１２に供給する。ステップＳ２４１の処理が終了するとiq信号処理が終了し、処理は、図２１に戻る。

【0171】

なお、このiq信号処理において、ステップＳ２３１乃至ステップＳ２３３の処理群と、ステップＳ２３４乃至ステップＳ２３６の処理群と、ステップＳ２３７乃至ステップＳ２３９の処理群との処理順は任意であり、図２２の例に限定されない。例えば、ステップＳ２３７乃至ステップＳ２３９の処理を行ってから、ステップＳ２３１乃至ステップＳ２３３の処理や、ステップＳ２３４乃至ステップＳ２３６の処理を行うようにしてもよい。また、その他の順でもよい。つまり、i信号およびq信号の書き込みや読み出しは、信号処理の任意のタイミングにおいて行うことができる。

【0172】

＜iq信号符号化処理の流れ＞
次に、図２３のフローチャートを参照して、図２２のステップＳ２３２等において実行されるiq信号符号化処理の流れの例を説明する。

【0173】

iq信号符号化処理が開始されると、符号化部２０１のブロック分割部２２１は、ステップＳ２６１において、i信号をブロック単位に分割する。ステップＳ２６２において、ブロック分割部２２２は、q信号をブロック単位に分割する。

【0174】

ステップＳ２６３において、ジョイント符号化部２２３は、ジョイント符号化処理を実行し、指定されたトータルビット量に基づいて、i信号およびq信号をジョイント符号化し、i信号およびq信号の両方を含む多次元ベクトルデータの符号化データを生成する。

【0175】

ステップＳ２６４において、バッファ２２４は、ステップＳ２６３において生成された符号化データを保持する。ステップＳ２６５において、バッファ２２４は、その符号化データを、ビットレートが平滑化するように読み出し、測距装置２００の外部に出力する。ステップＳ２６５の処理が終了すると、iq信号符号化処理が終了し、処理は図２２に戻る。

【0176】

＜ジョイント符号化処理の流れ＞
次に、図２４のフローチャートを参照して、図２３のステップＳ２６３において実行されるジョイント符号化処理の流れの例を説明する。

【0177】

ジョイント符号化処理が開始されると、許容誤差量算出部２４１は、ステップＳ２８１において、i信号の許容誤差量を算出する。ステップＳ２８２において、許容誤差量算出部２４３は、q信号の許容誤差量を算出する。

【0178】

ステップＳ２８３において、ベース量子化量算出部２４２は、i信号のベース量子化量を算出する。ステップＳ２８４において、ベース量子化量算出部２４４は、q信号のベース量子化量を算出する。ステップＳ２８５において、ターゲットビット量決定部２４５は、i信号およびq信号のそれぞれの割り当てビット量（有効ビット深度）を算出する。

【0179】

ステップＳ２８６において、iq符号化部２４６は、それらの情報に基づいて、i信号およびq信号を符号化し、i信号およびq信号の両方を含む多次元ベクトルデータの符号化データを生成する。ステップＳ２８６の処理が終了すると、iq信号符号化処理が終了し、処理は図２３に戻る。

【0180】

＜iq信号復号処理の流れ＞
次に、図２２のステップＳ２３６等において実行されるiq信号復号処理の流れの例を、図２５のフローチャートを参照して説明する。

【0181】

iq信号復号処理が開始されると、復号部２０３のバッファ２８１は、ステップＳ３０１において、供給された符号化データを保持する。ステップＳ３０２において、バッファ２８１は、ビットレートが平滑化するように、その符号化データを読み出す。

【0182】

ステップＳ３０３において、ジョイント復号部２８２は、その符号化データをジョイント復号し、ブロック単位のi信号と、ブロック単位のq信号を生成する。

【0183】

ステップＳ３０４において、ブロック結合部２８３は、ステップＳ３０３において生成されたブロック単位のi信号を結合する。ステップＳ３０５において、ブロック結合部２８４は、ステップＳ３０３において生成されたブロック単位のq信号を結合する。

【0184】

以上のようにしてi信号とq信号を生成すると、iq信号復号処理が終了し、処理は図２２に戻る。

【0185】

以上のように各処理を実行することにより、測距装置２００は、センシングデータの処理の負荷の増大を抑制することができる。

【0186】

＜４．第３の実施の形態＞
＜測距システム＞
以上においては、符号化の際に、ビット深度の補正を行い、復号の際にその逆処理（ビット深度の逆補正）を行うように説明したが、これに限らず、例えば復号の際の逆処理（ビット深度の逆補正）を省略することもできる。

【0187】

図２６は、本技術を適用した情報処理システムの一態様である測距システムの構成の一例を示すブロック図である。図２６に示される測距システム４００は、間接TOF方式により被写体までの距離が測定され、その測定結果に基づいて処理が行われるシステムである。

【0188】

なお、図２６においては、処理部やデータの流れ等の主なものを示しており、図２６に示されるものが全てとは限らない。つまり、この測距システム４００において、図２６においてブロックとして示されていない処理部が存在したり、図２６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

【0189】

図２６に示されるように、測距システム４００は、測距装置４０１および検出装置４０２を有する。測距装置４０１は、測距装置１００や測距装置２００と同様に、間接TOF方式により被写体までの距離を測定する装置である。測距装置４０１は、その測距結果（例えばデプスデータ等）を検出装置４０２に供給する。検出装置４０２は、その測距結果に基づいて、所望の被写体を検出する装置である。検出装置４０２は、その検出結果を含む検出データを出力する。なお、検出装置４０２は、この被写体の検出に関する学習（例えば機械学習）を行い、その学習結果に基づいて処理を行う。

【0190】

測距装置４０１は、センサ４１１、信号処理部４１２、ビット深度補正部４１３、および符号化部４１４を有する。センサ４１１は、センサ１０１、i信号生成部１０２、およびq信号生成部１０７と同様のセンサであり、同様の処理を行い、センシングデータの中間データであるi信号とq信号を生成する。信号処理部４１２は、信号処理部１０３および信号処理部１０８と同様の処理部であり、同様の処理を行い、i信号およびq信号を互いに独立に信号処理する。

【0191】

ビット深度補正部４１３は、センシングガンマ補正部１３１と同様の処理部であり、同様の処理を行って、i信号およびq信号のビット深度を補正する。なお、ビット深度補正部４１３は、i信号とq信号を互いに独立に処理してもよいし、i信号およびq信号の両方を含む多次元ベクトルデータとして処理してもよい。

【0192】

符号化部４１４は、符号化部１３２と同様の処理部であり、同様の処理を行って、i信号およびq信号を符号化し、その符号化データを生成する。なお、符号化部４１４は、i信号とq信号を互いに独立に処理してもよいし、i信号およびq信号の両方を含む多次元ベクトルデータとして処理してもよい。

【0193】

符号化部４１４により生成された符号化データは、検出装置４０２に供給される。

【0194】

検出装置４０２は、復号部４２１、検出部４２２、および学習部４２３を有する。復号部４２１は、測距装置４０１から供給された符号化データを復号し、ビット深度の逆補正が行われる前のi信号およびq信号を生成し、検出部４２２に供給する。

【0195】

検出部４２２は、学習部４２３から供給される学習結果に基づいて、そのビット深度の逆補正が行われる前のi信号およびq信号を用いて所望の被写体を検出し、その検出結果を含む検出データを出力する。

【0196】

学習部４２３は、ビット深度の逆補正が行われる前のi信号およびq信号から所望の被写体を検出するための学習を行う。例えば、学習部４２３は、ビット深度の逆補正が行われる前のi信号およびq信号、検出結果、並びに、学習用正解データ等を取得し、それらのデータに基づいて被写体検出の学習を行う。そして、学習部４２３は、その学習結果を検出部４２２に供給する。

【0197】

上述したように、検出部４２２がその学習結果に基づいて検出を行う。このように学習結果を利用する場合、例えばガンマカーブの様に補正器前後で値が一意に決定されるのでれば、逆補正前の信号を用いて機械学習を行うことにより、逆補正前の信号からの検出も可能である。つまり、ビット深度の逆補正が不要になり、負荷の増大を抑制することができる。

【0198】

なお、学習を事前に行う場合、学習部４２３は省略することができる。

【0199】

また、ビット深度補正部４１３による、符号化の際のi信号やq信号のビット深度の補正を、学習結果を用いて行うようにしてもよい。例えば、図２６において、学習部４２３により導出される学習結果を、ビット深度補正部４１３にフィードバックしてもよい。例えば、学習部４２３が、この符号化の際のビット深度の補正による、検出部４２２における検出処理への影響を抑制するように、ビット深度の補正の学習を行い、その学習結果をビット深度補正部４１３にフィードバックしてもよい。そして、ビット深度補正部４１３がその学習結果を用いて、i信号やq信号のビット深度を補正してもよい。

【0200】

このようにすることにより、ビット深度補正部４１３は、後段処理への影響をより低減させるように、ビット深度の補正を行うことができる。

【0201】

なお、測距装置４０１や検出装置４０２のこれらの処理部は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

【0202】

＜測距処理の流れ＞
この測距システム４００（の各装置）により実行される測距処理の流れの例を、図２７のフローチャートを参照して説明する。

【0203】

例えば、測距装置４０１のセンサ４１１は、ステップＳ４０１において、i信号およびq信号を生成する。ステップＳ４０２において、信号処理部４１２は、そのi信号およびq信号を信号処理する。

【0204】

ステップＳ４０３において、ビット深度補正部４１３は、フィードバックされた学習結果に基づいて、i信号およびq信号のビット深度を補正する。ステップＳ４０４において、符号化部４１４は、そのビット深度が補正されたi信号およびq信号を符号化し、符号化データを生成する。符号化部４１４は、生成した符号化データを検出装置４０２へ送信する。

【0205】

検出装置４０２の復号部４２１は、ステップＳ４２１において、その符号化データを受信する。ステップＳ４２２において、復号部４２１は、その符号化データを復号し、ビット深度が逆補正される前の状態のi信号およびq信号を生成する。

【0206】

ステップＳ４２３において、検出部４２２は、学習部４２３からフィードバックされた学習結果に基づいて、そのビット深度が逆補正される前の状態のi信号およびq信号を用いて、所望の被写体等を検出し、その検出データを出力する。

【0207】

ステップＳ４２４において、学習部４２４は、その検出について学習を行い、その学習結果を検出部４２２にフィードバックする。

【0208】

また、ステップＳ４２５において、学習部４２４は、その学習結果を測距装置４０１へ送信する。測距装置４０１のビット深度補正部４１３は、ステップＳ４０６において、その学習結果を受信する。

【0209】

以上のように各処理を実行することにより、測距装置４０１および検出装置４０２は、センシングデータの処理の負荷の増大を抑制することができる。

【0210】

＜５．第４の実施の形態＞
＜測距装置＞
図２８は、本技術を適用した情報処理装置の一態様である測距装置の構成の一例を示すブロック図である。図２８に示される測距装置５００は、測距装置１００と同様に、間接TOF方式により被写体までの距離を測定する装置である。

【0211】

ただし、測距装置５００は、信号処理の前後においてビット深度の補正を行う。図２８に示されるように、測距装置５００は、センサ１０１、i信号生成部１０２、センシングガンマ補正部５０１、信号処理部１０３、センシング逆ガンマ補正部５０２、q信号生成部１０７、センシングガンマ補正部５０３、信号処理部１０８、センシング逆ガンマ補正部５０４、位相差検出部１１２、およびデプス算出部１１３を有する。

【0212】

センシングガンマ補正部５０１は、センシングガンマ補正部１３１と同様の処理部であり、同様の処理を行う。例えば、センシングガンマ補正部５０１は、i信号生成部１０２から供給されるi信号を取得し、そのビット深度を補正し、補正後のi信号を信号処理部１０３に供給する。

【0213】

信号処理部１０３は、センシングガンマ補正部５０１から供給される補正後のi信号を取得し、信号処理を行う。

【0214】

このようにすることにより、信号処理部１０３は、ビット深度が低減された状態のi信号に対して、信号処理を行うことができる。したがって、信号処理部１０３の負荷の増大を抑制することができる。ただし、この場合、信号処理対象となるi信号が非線形となる。そのため、信号処理部１０３は、入力データの線形性による影響が少ない信号処理を行うようにしてもよい。例えば、信号処理部１０３は、ノイズリダクション等の処理を行うことができる。

【0215】

センシング逆ガンマ補正部５０２は、信号処理部１０３において信号処理が適宜行われたi信号を取得し、そのビット深度を逆補正し、リニア信号に戻す。センシング逆ガンマ補正部５０２は、その逆補正により元のビット深度に戻されたi信号を位相差検出部１１２に供給する。

【0216】

このように逆補正を行うことにより、入力データの線形性による影響が大きな信号処理も、この逆補正後に行うことができるようになる。

【0217】

センシングガンマ補正部５０３は、q信号に対してセンシングガンマ補正部５０１と同様の処理を行う。つまり、センシングガンマ補正部５０１は、信号処理部１０８の信号処理の対象であるq信号について、そのビット深度を補正する。

【0218】

このようにすることにより、信号処理部１０８は、ビット深度が低減された状態のq信号に対して、信号処理を行うことができる。したがって、信号処理部１０８の負荷の増大を抑制することができる。ただし、この場合、信号処理対象となるq信号が非線形となる。そのため、信号処理部１０８は、入力データの線形性による影響が少ない信号処理を行うようにしてもよい。例えば、信号処理部１０８は、ノイズリダクション等の処理を行うことができる。

【0219】

センシング逆ガンマ補正部５０４は、q信号に対してセンシング逆ガンマ補正部５０２と同様の処理を行う。つまり、センシング逆ガンマ補正部５０４は、信号処理部１０８において信号処理が適宜行われたq信号を取得し、そのビット深度を逆補正し、リニア信号に戻す。センシング逆ガンマ補正部５０４は、その逆補正により元のビット深度に戻されたq信号を位相差検出部１１２に供給する。

【0220】

このように逆補正を行うことにより、入力データの線形性による影響が大きな信号処理も、この逆補正後に行うことができるようになる。

【0221】

以上のような構成とすることにより、測距装置５００は、信号処理に関する演算コストや実装コストの増大を抑制することができる。

【0222】

なお、測距装置５００のこれらの処理部は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。

【0223】

＜測距処理の流れ＞
測距装置５００により実行される測距処理の流れの例を、図２９のフローチャートを参照して説明する。

【0224】

測距処理が開始されると、ステップＳ５０１乃至ステップＳ５０３の各処理は、図１２のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

【0225】

ステップＳ５０４において、センシングガンマ補正部５０１は、i信号をガンマ補正する。また、ステップＳ５０５において、センシングガンマ補正部５０３は、q信号をガンマ補正する。

【0226】

ステップＳ５０６において、信号処理部１０３は、i信号を信号処理する。また、ステップＳ５０７において、信号処理部１０８は、q信号を信号処理する。

【0227】

ステップＳ５０８において、センシング逆ガンマ補正部５０２は、i信号を逆ガンマ補正する。また、ステップＳ５０９において、センシング逆ガンマ補正部５０４は、q信号を逆ガンマ補正する。

【0228】

ステップＳ５１０乃至ステップＳ５１３の各処理は、図１２のステップＳ１０６乃至ステップＳ１０９の各処理と同様に実行される。

【0229】

ステップＳ５１３の処理が終了すると、測距処理が終了する。

【0230】

以上のように各処理を実行することにより、測距装置５００は、信号処理に関する演算コストや実装コストの増大を抑制することができる。つまり、センシングデータの処理の負荷の増大を抑制することができる。

【0231】

＜６．コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

【0232】

図３０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0233】

図３０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

【0234】

バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

【0235】

入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

【0236】

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0237】

コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

【0238】

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

【0239】

その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

【0240】

＜７．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

【0241】

図３１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

【0242】

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

【0243】

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

【0244】

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

【0245】

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

【0246】

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

【0247】

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

【0248】

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

【0249】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0250】

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

【0251】

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

【0252】

図３２は、撮像部１２０３１の設置位置の例を示す図である。

【0253】

図３２では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

【0254】

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

【0255】

なお、図３２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

【0256】

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

【0257】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

【0258】

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

【0259】

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

【0260】

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０に適用され得る。具体的には、車外情報検出ユニット１２０３０や車内情報検出ユニット１２０４０として測距装置１００、測距装置２００、測距システム４００、または測距装置５００による測距を利用することで、運転者のジェスチャを認識する処理を行い、そのジェスチャに従った各種（例えば、オーディオシステム、ナビゲーションシステム、エアーコンディショニングシステム）の操作を実行したり、より正確に運転者の状態を検出したりすることができる。また、測距システム１０による測距を利用して、路面の凹凸を認識して、サスペンションの制御に反映させたりすることができる。さらに、それらの処理の負荷の増大を抑制することができる。

【0261】

＜８．本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。

【0262】

また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。

【0263】

さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。

【0264】

本技術は、任意の構成に適用することができる。

【0265】

例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。

【0266】

また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

【0267】

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

【0268】

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0269】

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

【0270】

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

【0271】

＜９．その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真（1）または偽（0）の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

【0272】

また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

【0273】

なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

【0274】

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

【0275】

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0276】

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0277】

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0278】

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0279】

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0280】

なお、本技術は以下のような構成も取ることができる。
（１） 間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのビット深度を補正するビット深度補正部と、
前記ビット深度が補正された前記中間データを符号化し、符号化データを生成する符号化部と
を備える情報処理装置。
（２） 前記ビット深度補正部は、入出力特性を示す所定の曲線であるガンマカーブを用いて、前記中間データの前記ビット深度を補正する
（１）に記載の情報処理装置。
（３） 前記ビット深度補正部は、後段処理で必要な演算精度に基づいて設計されたガンマカーブを用いて、前記中間データの前記ビット深度を補正する
（２）に記載の情報処理装置。
（４） 前記ビット深度補正部は、前記演算精度を満たすように設定された最小量子化値の逆数を積分することにより導出されるガンマカーブを用いて、前記中間データの前記ビット深度を補正する
（３）に記載の情報処理装置。
（５） 前記ビット深度補正部は、前記中間データのi信号の前記ビット深度とq信号の前記ビット深度とを、互いに独立に補正し、
前記符号化部は、前記ビット深度が補正された前記i信号と前記q信号とを、互いに独立に符号化し、前記i信号の符号化データと前記q信号の符号化データとをそれぞれ生成する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記ビット深度補正部は、i信号とq信号の両方を含む多次元ベクトルデータの前記中間データの前記ビット深度を補正し、
前記符号化部は、前記ビット深度が補正された前記多次元ベクトルデータの前記中間データを符号化し、前記符号化データを生成する
（１）乃至（４）のいずれかに記載の情報処理装置。
（７） トータルビット量に基づいて、前記i信号および前記q信号のそれぞれに割り当てるビット量を決定するビット割り当て量決定部をさらに備え、
前記ビット深度補正部は、決定された前記ビット量に基づいて、前記i信号および前記q信号のそれぞれの前記ビット深度を補正する
（６）に記載の情報処理装置。
（８） 前記i信号および前記q信号のそれぞれのベース量子化量を算出するベース量子化量算出部をさらに備え、
前記ビット割り当て量決定部は、前記トータルビット量と、前記i信号および前記q信号のそれぞれの前記ベース量子化量とに基づいて、前記i信号および前記q信号のそれぞれに割り当てるビット量を決定する
（７）に記載の情報処理装置。
（９） 前記i信号および前記q信号のそれぞれの許容誤差量を算出する許容誤差量算出部をさらに備え、
前記ベース量子化量算出部は、
前記i信号の前記許容誤差量に基づいて前記i信号の前記ベース量子化量を算出し、
前記q信号の前記許容誤差量に基づいて前記q信号の前記ベース量子化量を算出する
（８）に記載の情報処理装置。
（１０） 前記i信号および前記q信号のそれぞれをブロック単位に分割するブロック分割部をさらに備え、
前記ビット深度補正部は、前記ブロック毎に前記中間データの前記ビット深度を補正し、
前記符号化部は、前記ビット深度が補正された前記中間データを、前記ブロック毎に符号化し、前記符号化データを生成する
（６）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記符号化データを記憶する記憶部をさらに備える
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記ビット深度補正部により前記ビット深度が補正された前記中間データに対して、データの線形性を必要としない信号処理を行う信号処理部をさらに備える
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記符号化データを復号し、前記中間データを生成する復号部をさらに備える
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記復号部により生成された前記中間データのビット深度を逆補正する逆ビット深度補正部をさらに備える
（１３）に記載の情報処理装置。
（１５） 間接TOF（Time-of-Flight）方式のセンサにおいて得られるセンシングデータから生成される中間データのビット深度を補正し、
前記ビット深度が補正された前記中間データを符号化し、符号化データを生成する
情報処理方法。

【符号の説明】

【0281】

１００ 測距装置, １０１ センサ， １０２ i信号生成部， １０３ 信号処理部， １０４ 符号化部， １０５ フレームメモリ， １０６ 復号部， １０７ q信号生成部， １０８ 信号処理部， １０９ 符号化部， １１０ フレームメモリ， １１１ 復号部， １１２ 位相差検出部， １１３ デプス算出部， １１４および１１５ 符号化部， １３１ センシングガンマ補正部， １３２ 符号化部， １５１ 復号部， １５２ センシング逆ガンマ補正部， ２００ 測距装置， ２０１ 符号化部， ２０２ フレームメモリ， ２０３ 復号部， ２０４ 符号化部， ２２１および２２２ ブロック分割部， ２２３ ジョイント符号化部， ２２４ バッファ， ２４１ 許容誤差量算出部， ２４２ ベース量子化量算出部， ２４３ 許容誤差量算出部， ２４４ ベース量子化量算出部， ２４５ ターゲットビット量決定部， ２４６ iq符号化部， ２８１ バッファ， ２８２ ジョイント復号部， ２８３および２８４ ブロック結合部， ４００ 測距システム， ４０１ 測距装置， ４０２ 検出装置， ４１１ センサ， ４１２ 信号処理部， ４１３ ビット深度補正部， ４１４ 符号化部， ４２１ 復号部， ４２２ 検出部， ４２３ 学習部， ５００ 測距装置， ５０１ センシングガンマ補正部， ５０２ センシング逆ガンマ補正部， ５０３ センシングガンマ補正部， ５０４ センシング逆ガンマ補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】