(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】情報処理装置および方法
(51)【国際特許分類】
G01B 11/25 20060101AFI20220620BHJP
H04N 5/225 20060101ALI20220620BHJP
【ＦＩ】
G01B11/25 H
H04N5/225 600
【請求項の数】
20
(21)【出願番号】P 2019523441
(86)(22)【出願日】2018-05-24
(86)【国際出願番号】 JP2018019951
(87)【国際公開番号】W WO2018225517
(87)【国際公開日】2018-12-13
【審査請求日】2021-04-13
(31)【優先権主張番号】P 2017112303
(32)【優先日】2017-06-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】高橋 宏彰
(72)【発明者】
【氏名】沖山 紀光
(72)【発明者】
【氏名】笠原 広之
【審査官】飯村 悠斗
(56)【参考文献】
【文献】特表２０１４－５０９７３０（ＪＰ，Ａ）
【文献】特開２０１７－０１５８７２（ＪＰ，Ａ）
【文献】特開２０１７－０８６４８５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０２４０４９２（ＵＳ，Ａ１）
【文献】特開２００８－２４９４３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００ －１１／３０
Ｈ０４Ｎ ５／２２２－ ５／２５７
(57)【特許請求の範囲】
【請求項1】
投影部を制御し、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、撮像部を制御し、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる制御部 を備える情報処理装置。
【請求項2】
前記制御部は、画素値を１ラインずつ読み出し可能な単数の撮像部に前記被写体を撮像させる請求項１に記載の情報処理装置。
【請求項3】
前記制御部は、前記撮像部に、前記パタン画像の投影としての前記スキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しとを行わせる請求項２に記載の情報処理装置。
【請求項4】
前記制御部は、前記撮像部に、露光期間内において前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての読み出しのラインスキャンと重ならないようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる請求項３に記載の情報処理装置。
【請求項5】
前記イメージング用の撮像により得られた情報に基づいて前記被写体の画像情報を生成し、前記センシング用の撮像により得られた情報に基づいて前記被写体のデプス情報を生成する画像処理部をさらに備える請求項４に記載の情報処理装置。
【請求項6】
前記画像処理部は、前記被写体の画像に基づいて動体判定を行い、前記動体判定結果に基づいて前記被写体のデプス情報を生成する請求項５に記載の情報処理装置。
【請求項7】
前記制御部は、前記投影部に、一部の領域において絵柄が同一の複数の所定のパタン画像を順次投影させ、前記画像処理部は、前記絵柄が同一の領域に基づいて動体判定を行い、前記動体判定結果に基づいて前記被写体のデプス情報を生成する
請求項５に記載の情報処理装置。
【請求項8】
前記制御部は、複数ラインの画素値を並列に読み出し可能な単数の撮像部に前記被写体を撮像させる請求項１に記載の情報処理装置。
【請求項9】
前記制御部は、単数の投影部に、前記パタン画像を投影させる請求項８に記載の情報処理装置。
【請求項10】
前記制御部は、前記撮像部に、前記パタン画像の投影としての前記スキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しを行わせる請求項９に記載の情報処理装置。
【請求項11】
前記制御部は、前記撮像部に、露光期間内において前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての読み出しのラインスキャンと重なるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる請求項１０に記載の情報処理装置。
【請求項12】
前記制御部は、さらに、前記撮像部と異なる他の撮像部に、前記撮像部による前記イメージング用の撮像に同期して、イメージング用の撮像としての露光および読み出しを行わせる請求項１１に記載の情報処理装置。
【請求項13】
前記制御部は、前記撮像部に、前記イメージング用の撮像としての露光および読み出しを複数回行わせ、
露光期間内に前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての複数回の読み出しのうちの少なくとも最後の読み出しのラインスキャンと重なるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
請求項１０に記載の情報処理装置。
【請求項14】
前記制御部は、複数の投影部に、前記パタン画像の投影としての点光源またはライン光源のスキャンを、他の投影部による前記パタン画像の投影としての前記スキャンと重なるようなタイミングにおいて行わせる請求項８に記載の情報処理装置。
【請求項15】
前記制御部は、前記撮像部に、各投影部による前記パタン画像の投影に対して、露光期間内において前記被写体に前記パタン画像が投影されるようなタイミングにおいて、センシング用の撮像としての露光および読み出しを行わせる請求項１４に記載の情報処理装置。
【請求項16】
前記制御部は、さらに、前記撮像部に、イメージング用の撮像としての露光および読み出しを行わせる請求項１５に記載の情報処理装置。
【請求項17】
前記投影部および前記撮像部をさらに備える請求項１に記載の情報処理装置。
【請求項18】
パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる情報処理方法。
【請求項19】
パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる制御部を備える情報処理装置。
【請求項20】
パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および方法に関し、特に、フレームメモリを必要とせずにより多くの情報を得ることができるようにした情報処理装置および方法に関する。
【背景技術】
【0002】
従来、測距技術として、所定のパタン画像を被写体に投影し、そのパタン画像が投影された被写体を撮像することにより、三角測量等により被写体までの距離を求めるストラクチャードライト（Structured Light）という方法があった。
【0003】
このストラクチャードライトにおいて、投影は面全体を投影する面方式で行う方法が一般的であった。しかしながら、面方式で投影を行う場合、１回の投影に対して複数回撮像を行うためには、撮像面全体の画素値を、A/D（Analog / Digital）変換するまでの間、保持するフレームメモリが必要であった。
【0004】
これに対して、投影および撮像を互いに同期させて１ラインずつ（ラインスキャン方式で）行う方法も考えられた（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0005】
【文献】Matthew O’Toole, Supreeth Achar, Srinivasa G. Narasimhan, Kiriakos N. Kutulakos, "Homogeneous Codes for Energy-Efficient Illumination and Imaging", ACM SIGGRAPH, 2015.http://www.dgp.toronto.edu/~motoole/energyefficientimaging.html
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献１に記載の方法の場合、１回の投影に対して１回の撮像しか行われず、より多くの情報を得ることが困難であった。
【0007】
本開示は、このような状況に鑑みてなされたものであり、フレームメモリを必要とせずにより多くの情報を得ることができるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の情報処理装置は、投影部を制御し、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、撮像部を制御し、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる制御部を備える情報処理装置である。
【0009】
本技術の一側面の情報処理方法は、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる情報処理方法である。
【0010】
本技術の他の側面の情報処理装置は、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる制御部を備える情報処理装置である。
【0011】
本技術の他の側面の情報処理方法は、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる情報処理方法である。
【0012】
本技術の一側面の情報処理装置および方法においては、パタン画像を被写体に投影する点光源またはライン光源のスキャンが行われ、そのパタン画像の投影としてのスキャンの１周期の間に、被写体を撮像する露光およびラインスキャンによる読み出しが複数回行われる。
【0013】
本技術の他の側面の情報処理装置および方法においては、パタン画像を被写体に投影する点光源またはライン光源のスキャンが行われ、そのパタン画像の投影としてのスキャンの１周期の間に、被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、パタン画像の投影としてのスキャンおよび被写体の撮像としてのラインスキャンが、隣接する他の画像処理装置と異なる方向に行われる。
【発明の効果】
【0014】
本開示によれば、情報を処理することができる。特に、フレームメモリを必要とせずにより多くの情報を得ることができる。
【図面の簡単な説明】
【0015】
【図1】投影および撮像の様子の例を説明する図である。
【図2】画像処理装置の主な構成例を示すブロック図である。
【図3】投影および撮像の様子の例を説明する図である。
【図4】投影および撮像を行う波長域の例を説明する図である。
【図5】撮像部のカラーフィルタの例を説明する図である。
【図6】撮像の様子の例を説明する図である。
【図7】信号処理の様子の例を説明する図である。
【図8】パタン画像の例を説明する図である。
【図9】パタン画像の例を説明する図である。
【図10】動体検出の方法の例を説明する図である。
【図11】動体検出の方法の例を説明する図である。
【図12】画像処理の流れの例を説明するフローチャートである。
【図13】画像処理装置の主な構成例を示すブロック図である。
【図14】投影および撮像の様子の例を説明する図である。
【図15】投影および撮像の様子の例を説明する図である。
【図16】投影および撮像の様子の例を説明する図である。
【図17】投影および撮像の様子の例を説明する図である。
【図18】画像処理の流れの例を説明するフローチャートである。
【図19】画像処理装置の主な構成例を示すブロック図である。
【図20】投影および撮像の様子の例を説明する図である。
【図21】投影および撮像の様子の例を説明する図である。
【図22】画像処理の流れの例を説明するフローチャートである。
【図23】画像処理装置の主な構成例を示すブロック図である。
【図24】投影および撮像の様子の例を説明する図である。
【図25】画像処理の流れの例を説明するフローチャートである。
【図26】画像処理装置の主な構成例を示すブロック図である。
【図27】投影および撮像の様子の例を説明する図である。
【図28】画像処理の流れの例を説明するフローチャートである。
【図29】画像処理システムの主な構成例を示すブロック図である。
【図30】投影および撮像の様子の例を説明する図である。
【図31】投影および撮像の様子の例を説明する図である。
【図32】画像処理の流れの例を説明するフローチャートである。
【図33】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．測距技術
２．第１の実施の形態（画像処理装置・投影単スキャン撮像単スキャン）
３．第２の実施の形態（画像処理装置・投影単スキャン撮像複スキャン）
４．第３の実施の形態（画像処理装置・投影複スキャン撮像複スキャン）
５．第４の実施の形態（画像処理装置・投影複スキャン撮像多複スキャン）
６．第５の実施の形態（画像処理装置・投影単スキャン撮像複装置）
７．第６の実施の形態（画像処理システム）
８．その他
１．測距技術
２．第１の実施の形態（画像処理装置・投影単スキャン撮像単スキャン）
３．第２の実施の形態（画像処理装置・投影単スキャン撮像複スキャン）
４．第３の実施の形態（画像処理装置・投影複スキャン撮像複スキャン）
５．第４の実施の形態（画像処理装置・投影複スキャン撮像多複スキャン）
６．第５の実施の形態（画像処理装置・投影単スキャン撮像複装置）
７．第６の実施の形態（画像処理システム）
８．その他
【0017】
＜１．測距技術＞
＜従来の測距技術＞
コンピュータビジョン（Computer Vision）の分野では古くから様々な測距技術が検討されてきた。もっとも一般的な手法としては、パッシブステレオ（Passive Stereo）と呼ばれる人間の目と同様に２台のカメラの間の視差を利用した三角測量技術が知られている。パッシブステレオでは、視差推定の精度が奥行推定の精度に直結する。平坦部や、繰り返しパタンでは正確な対応関係が取れず、視差が求まらない。そのために、測距精度が落ちる問題がある。
＜従来の測距技術＞
コンピュータビジョン（Computer Vision）の分野では古くから様々な測距技術が検討されてきた。もっとも一般的な手法としては、パッシブステレオ（Passive Stereo）と呼ばれる人間の目と同様に２台のカメラの間の視差を利用した三角測量技術が知られている。パッシブステレオでは、視差推定の精度が奥行推定の精度に直結する。平坦部や、繰り返しパタンでは正確な対応関係が取れず、視差が求まらない。そのために、測距精度が落ちる問題がある。
【0018】
近年、照射光を利用することでこの問題を解決した、アクティブ（Active）な測距技術が注目されている。主なアクティブ測距技術としては、アクティブステレオ（Active Stereo）、TOF（Time Of Flight）、ストラクチャードライト（Structured Light）などが知られている。
【0019】
アクティブステレオとストラクチャードライトは、ともに三角測量を用いたアクティブな測距技術であるが、一般的に、アクティブステレオが２台のカメラと１台のプロジェクタ構成なのに対し、ストラクチャードライトでは１台のカメラと１台のプロジェクタ構成である。
【0020】
三角測量では、２つの視点からの視差によって距離を求める。パッシブステレオではブロックマッチングなどで、２つの視点間の対応をとることで視差を求める。ストラクチャードライトでは、グレイコードと呼ばれるパタン画像を用いる空間符号化法が用いられることが多い。つまり、プロジェクタからパタン画像を投影し、カメラによりその投影されたパタン画像を撮像することにより、パタン画像に基づいてプロジェクタとカメラとの画素位置関係を求め、その画素位置関係に基づいて三角測量によりパタン画像が投影された物体までの距離を測定する。複数のパタン画像からなるグレイコードを用いれば、パタンの変化によって所定の方向（例えば水平方向）の画素位置関係を容易に求めることができる。
【0021】
ところで、近年、このような測距結果を撮像画像と組み合わせて用いることが考えられている。例えば、被写体を撮像するとともに、被写体までの距離を上述のようなストラクチャードライトにより計測し（測距し）、その測距結果（つまり被写体までの距離）をデプス情報として、撮像画像のデータと組み合わせて利用することが考えられている。例えば、撮像画像とデプス情報とを組み合わせて用いることにより、撮像画像に写る被写体の奥行きを設定することができるので、撮像画像の３次元空間化（仮想空間の形成）、立体視画像の生成（奥行きに応じた視差の形成）、奥行きに応じた画像処理（例えば遠くの被写体程ぼかしたり暗くしたりする）等を行うことができる。このように撮像画像とデプス情報とを組み合わせることにより、例えばゲームやシミュレーション等、より多様な用途に利用することができるようになる。
【0022】
例えば、このようにデプス情報を得るための撮像（センシング用途の撮像）と、撮像画像（輝度や色の情報）を得るための撮像（イメージング用途の撮像）とを互いに異なるカメラで行うようにすると、両者の撮像位置が異なるので、カメラ同士のマッチング（位置合わせ）が必要になる。そのため、処理の負荷が増大し、コストが増大するおそれがある。このセンシング用途の撮像とイメージング用途の撮像とを同一のカメラで行うようにすれば、処理の負荷の増大を抑制することができるだけでなく、デバイス（カメラ）の数も低減させることができるので、コストの増大を抑制することができる。また、カメラ同士のマッチングの精度が悪い場合には立体にずれたテクスチャが張られるが、この問題を容易に、回避できる。また、視点が異なる場合には、原理的に、遮蔽物により片方の視点からしか計測できない領域(オクルージョン)が発生し、対応関係が取れない問題が発生するが、この問題も抑制することができる。
【0023】
ところで、プロジェクタによる画像の投影の方式として、例えば、画像（面）全体を一斉に投影する面方式、１ラインずつ画像を投影するラインスキャン方式、１画素ずつ光の点を走査するラスタスキャン方式等が存在する。例えば、面方式で画像を投影するプロジェクタには、LCD（Liquid Crystal Display）を用いるものがある。また、例えば、ラインスキャン方式やラスタスキャン方式で画像を投影するプロジェクタには、レーザ光を用いるものがある。
【0024】
また、カメラによる撮像の方式として、例えば、全画素（面）の画素値を一斉に読み出す面方式や、１ラインずつ画素値を読み出すラインスキャン方式が存在する。例えば、CCD（Charge Coupled Device）イメージセンサやグローバルシャッタ方式のCMOS（Complementary Metal Oxide Semiconductor）イメージセンサの場合、面方式で撮像を行う。また、例えば、ローリングシャッタ方式のCMOSイメージセンサの場合、ラインスキャン方式で撮像を行う。
【0025】
例えば、面方式の投影および面方式の撮像の様子の例を図１に示す。面方式の投影の場合、プロジェクタは、図１の最上段に示されるように、投影期間１１－１および投影期間１１－２において、センシング用途の所定の画像（パタン画像）を投影する。
【0026】
また、図１の上から２段目に示されるように、カメラは、この投影期間１１－１に対して露光期間１２－１および露光期間１３－１の期間露光を行い、投影期間１１－２に対して露光期間１２－２および露光期間１３－２の期間露光を行うものとする。
【0027】
露光期間１２－１により得られる画素値を読み出すことにより、投影期間１１－１においてパタン画像が投影された被写体の撮像画像が得られる。また、露光期間１３－１により得られる画素値を読み出すことにより、パタン画像が投影されていない環境光下の被写体の撮像画像が得られる。同様に、露光期間１２－２により得られる画素値を読み出すことにより、投影期間１１－２においてパタン画像が投影された被写体の撮像画像が得られる。また、露光期間１３－２により得られる画素値を読み出すことにより、パタン画像が投影されていない環境光下の被写体の撮像画像が得られる。
【0028】
一般的な安価なイメージセンサの場合、画素値のA/D変換は、図１の上から３段目および４段目に示されるように、１ラインずつしか行うことができない。つまり、露光期間１２－１により得られる画素値は、ラインスキャン１４－１のように１ラインずつA/D変換され、露光期間１３－１により得られる画素値は、ラインスキャン１５－１のように１ラインずつA/D変換され、露光期間１２－２により得られる画素値は、ラインスキャン１４－２のように１ラインずつA/D変換される。同様に、露光期間１３－２により得られる画素値も１ラインずつA/D変換される（図示せず）。
【0029】
つまり、図１の場合、少なくとも、ラインスキャン１４－１が行われる間、露光期間１２－１により得られる画素値を画素以外の場所に保持し、ラインスキャン１４－２が行われる間、露光期間１２－２により得られる画素値を画素以外の場所に保持する必要がある。つまり、少なくとも１フレーム分の画素値を保持するフレームメモリが必要になる。そのため、このような処理は一般のローリングシャッタ方式のCMOSイメージセンサでは実現することが困難であり、CCDイメージセンサやグローバルシャッタ方式のCMOSイメージセンサが必要となる。その結果、コストが増大するおそれがあった。
【0030】
なお、面方式の投影に対してラインスキャン方式で撮像を行う場合、露光期間が投影期間に対して短いと、その露光期間が、画像の投影期間の終了後になってしまい、パタン画像が投影された状態で撮像を行うことができないラインが生じるおそれがあった。
【0031】
そこで、例えば非特許文献１に記載のように、ラインスキャン方式で投影と撮像とを行う方法が考えられた。しかしながら、非特許文献１に記載の方法の場合、１回の投影に対して１回の撮像しか行われず、より多くの情報を得ることが困難であった。
【0032】
＜２．第１の実施の形態＞
＜１ラインスキャン投影に対して複数ラインスキャン撮像を同期＞
そこで、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、そのパタン画像の投影としてのスキャンの１周期の間に、被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせるようにする。このようにすることにより、フレームメモリを必要とせずにより多くの情報を得ることができる。したがって、コストの増大を抑制しながらより安価により多くの情報を得ることができる。なお、付言するに、面方式の投影を撮像のラインスキャンの期間中継続すると投影による消費電力が不要に増大してしまうが、上述のように点光源またはライン光源のスキャンによって投影を行うようにすることで、その消費電力の増大を抑制することができる。
＜１ラインスキャン投影に対して複数ラインスキャン撮像を同期＞
そこで、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、そのパタン画像の投影としてのスキャンの１周期の間に、被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせるようにする。このようにすることにより、フレームメモリを必要とせずにより多くの情報を得ることができる。したがって、コストの増大を抑制しながらより安価により多くの情報を得ることができる。なお、付言するに、面方式の投影を撮像のラインスキャンの期間中継続すると投影による消費電力が不要に増大してしまうが、上述のように点光源またはライン光源のスキャンによって投影を行うようにすることで、その消費電力の増大を抑制することができる。
【0033】
＜画像処理装置＞
図２は、本技術を適用した情報処理装置の一実施の形態である画像処理装置の主な構成例を示すブロック図である。図１において、画像処理装置１００は、被写体までの距離の計測（測距）に関する処理を行う装置である。例えば、画像処理装置１００は、被写体を撮像するとともに、被写体までの距離を上述のようなストラクチャードライトにより計測し（測距し）、その測距結果（つまり被写体までの距離）をデプス情報として、撮像画像のデータと組み合わせて出力する。
図２は、本技術を適用した情報処理装置の一実施の形態である画像処理装置の主な構成例を示すブロック図である。図１において、画像処理装置１００は、被写体までの距離の計測（測距）に関する処理を行う装置である。例えば、画像処理装置１００は、被写体を撮像するとともに、被写体までの距離を上述のようなストラクチャードライトにより計測し（測距し）、その測距結果（つまり被写体までの距離）をデプス情報として、撮像画像のデータと組み合わせて出力する。
【0034】
図２に示されるように、画像処理装置１００は、制御部１０１、投影部１１１、撮像部１１２、および信号処理部１１３を有する。制御部１０１は、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等により構成され、CPUがROMに記憶されているプログラム等や、RAMにロードされたプログラム等を実行する等して任意の処理を実行することができる。例えば、制御部１０１は、画像処理装置１００の各部（投影部１１１乃至信号処理部１１３）の制御に関する処理を行う。
【0035】
投影部１１１は、制御部１０１により制御されて、画像の投影に関する処理を行う。例えば、投影部１１１は、センシング用途の撮像に用いられる所定の絵柄の画像であるパタン画像を投影する。
【0036】
投影部１１１は、例えば画素毎のラスタスキャンや画像投影を１ラインずつ行うラインスキャンにより画像を投影する。例えば、投影部１１１は、レーザ光を走査することにより画像を１ラインずつ投影する。また、例えば、投影部１１１が、複数のレーザ光源からのビーム同士の干渉を利用して所望のラインの照射を増大させるフェーズドアレイ（phased array）を利用して、投影としてのスキャンを行うようにしてもよい。さらに、例えば、互いに異なる１ラインの絵柄を表示し、その他のラインの絵柄を非表示（例えば黒）とするパタン画像をライン数分用意し、投影部１１１が、そのパタン画像群を１枚ずつ、画像全体（面）を一斉に投影する面方式で投影するようにしてもよい。例えば、垂直共振器面発光レーザ（VCSEL（Vertical Cavity Surface Emitting LASER））を用いて、このような投影を実現するようにしてもよい。以下においては、一例としてラスタスキャンによる投影を例に説明を行うが、上述のように、本技術の投影方法はラスタスキャンに限定されない。
【0037】
撮像部１１２は、制御部１０１により制御されて、撮像に関する処理を行う。例えば、撮像部１１２は、センシング用途の撮像（デプス情報を得るための撮像）やイメージング用途の撮像（撮像画像（輝度や色の情報）を得るための撮像）を行う。撮像部１１２は、例えば、受光部１２１およびADコンバータ（ADC（Analog Digital Converter））１２２を有する。受光部１２１は、複数の画素を有し、各画素において、外部からの入射光を光電変換し、その入射光の光量に応じた電荷量の電荷を蓄積する。受光部１２１は、各画素の電荷量に応じた電気信号を画素値としてADコンバータ１２２に供給する。ADコンバータ１２２は、受光部１２１から供給される各画素の画素値（電気信号）をA/D変換し、デジタルデータとして信号処理部１１３に供給する。
【0038】
撮像部１１２（受光部１２１）は、例えば１ラインずつ撮像を行うラインスキャンにより被写体を撮像する。例えば、受光部１２１は、グローバルシャッタ方式のCMOSイメージセンサよりも安価なローリングシャッタ方式のCMOSイメージセンサにより構成される。受光部１２１は、フレームメモリを有しておらず、画素アレイの各画素に蓄積された電荷に相当する電気信号を画素値として１ライン（行）ずつ読み出し、順次ADコンバータ１２２に供給する。
【0039】
ADコンバータ１２２は、受光部１２１から（１ラインずつ）供給される各画素の画素値（電気信号）を１ラインずつA/D変換する。ADコンバータ１２２は、例えば読み出された１ライン分の画素値を１画素ずつA/D変換する１入力１出力の１つのADコンバータにより構成されるようにしてもよいし、受光部１２１の画素アレイのカラム（列）毎に設けられたADコンバータ（カラムA/D）により構成されるようにしてもよい。この場合（カラムA/Dの場合）、ADコンバータ１２２は、読み出された１ライン分の各画素値を同時にA/D変換することができる。ADコンバータ１２２は、A/D変換されたデジタルデータの画素値を１ラインずつ信号処理部１１３に供給する。
【0040】
信号処理部１１３は、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等により構成され、CPUがROMに記憶されているプログラム等や、RAMにロードされたプログラム等を実行する等して任意の処理を実行することができる。例えば、信号処理部１１３は、制御部１０１により制御されて、撮像部１１２（ADコンバータ１２２）より供給される画素値（デジタルデータ）に対する処理に関する処理を行う。例えば、信号処理部１１３は、撮像部１１２より供給されるデジタルデータに基づいて、デプス情報を生成したり、輝度や色の情報の取得を目的とした撮像画像のデータを生成したりする。信号処理部１１３は、信号処理結果（例えば、生成されたデプス情報や撮像画像のデータ等）を画像処理装置１００の外部に出力する。
【0041】
なお、信号処理部１１３は、適宜、信号処理結果や信号処理に用いた情報等、任意の情報を制御部１０１に供給することができる。制御部１０１は、その信号処理部１１３より供給される情報に基づいて、各処理部の制御を行うことができる。
【0042】
＜投影と撮像の制御＞
制御部１０１は、投影部１１１を制御し、被写体の画像をラスタスキャン方式で投影させ、撮像部１１２を制御し、その画像の投影の１周期の間に被写体をラインスキャン方式で複数回撮像させる。
制御部１０１は、投影部１１１を制御し、被写体の画像をラスタスキャン方式で投影させ、撮像部１１２を制御し、その画像の投影の１周期の間に被写体をラインスキャン方式で複数回撮像させる。
【0043】
この投影と撮像の様子の例を図３に示す。制御部１０１は、図３に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図３の最上段に示されるように、１つの投影部１１１に対して、ラスタスキャン１３１－１、ラスタスキャン１３１－２のように、ラスタスキャンにより所定の絵柄のパタン画像を被写体に投影させる。
【0044】
そして、制御部１０１は、画素値を１ラインずつ読み出し可能な単数の撮像部１１２に対して、その投影の１周期の間に、その被写体をラインスキャン方式で複数回（例えば２回）撮像させる。例えば、制御部１０１は、撮像部１１２に、パタン画像の投影としてのラスタスキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しとを行わせる。
【0045】
より具体的には、制御部１０１は、撮像部１１２に、上述の投影のラスタスキャンの間に、図３の上から２段目と３段目に示されるように、イメージング用途の撮像としての露光（例えば露光期間１３３－１および露光期間１３３－２）および読み出し（例えばラインスキャン１３５－１）と、センシング用途の撮像としての露光（例えば、露光期間１３２－１および露光期間１３２－２）および読み出し（例えばラインスキャン１３４－１およびラインスキャン１３４－２）とを行わせる。
【0046】
その際、パタン画像が投影された被写体の撮像画像（センシング結果）が得られるようなタイミングにおいてセンシング用途の撮像としての読み出し（例えばラインスキャン１３４－１やラインスキャン１３４－２）が行われるようにする。つまり、制御部１０１は、センシング用途としての露光期間（例えば露光期間１３２－１や露光期間１３２－２）中に、投影のラスタスキャン（例えばラスタスキャン１３１－１やラスタスキャン１３１－２）が行われるように投影や撮像を制御する。制御部１０１がこのように制御することにより、撮像部１１２は、ラスタスキャンにより投影される各ラインのパタン画像を露光期間を不要に増大させずに撮像することができる。したがって、撮像部１１２は、センシング用途の撮像に対する環境光等の他の影響を抑制することができ、より正確なデプス情報を得ることができる。
【0047】
なお、センシング用途の撮像としての露光（例えば露光期間１３２－１や露光期間１３２－２）における各ラインの露光期間は、ラスタスキャン１３１－１の対応するラインを含んでいればよく、その限りにおいてはできるだけ短くするようにしてもよい。つまり、ラインスキャン１３４－１やラインスキャン１３４－２のタイミングを、できるだけラスタスキャン１３１－１やラスタスキャン１３１－２のタイミングに近づけるようにしてもよい。この露光期間が短くなる程、撮像部１１２は、センシング用途の撮像に対する環境光等の他の影響を抑制することができ、より正確なデプス情報を得ることができる。例えば、センシング用途の撮像としての読み出しのスキャン（例えばラインスキャン１３４－１やラインスキャン１３４－２）において、投影としてのスキャン（例えばラスタスキャン１３１－１やラスタスキャン１３１－２）の各ラインと同じライン（行）を処理対象とするようにしてもよい。
【0048】
また、制御部１０１は、このセンシング用途の撮像としてのラインスキャン（例えばラインスキャン１３４－１やラインスキャン１３４－２）を、イメージング用途の撮像としてのラインスキャン（例えばラインスキャン１３５－１）と重ならないようなタイミングにおいて行わせる。このように制御することにより、ラインスキャン方式で撮像を行う単数の撮像部１１２により、センシング用途の撮像とイメージング用途の撮像との両方を行うことができる。
【0049】
例えば、制御部１０１は、撮像部１１２に対して、ラインスキャンを繰り返し行わせ、各ラインスキャンによりイメージング用途の撮像としての読み出しとセンシング用途の撮像としての読み出しを交互に行わせる。そして、制御部１０１は、投影部１１１に対して、上述したような、センシング用途の撮像としての読み出しのラインスキャンに応じたタイミングにおいて、パタン画像の投影としてのラスタスキャンを行わせる。このように制御することにより、制御部１０１は、撮像部１１２に、上述したようなタイミングにおいて、センシング用の撮像としての露光および読み出しを行わせることができる。つまり、単数の撮像部１１２により、センシング用途の撮像とイメージング用途の撮像との両方を行うことができる。なお、制御部１０１は、撮像としての各回のラインスキャンを連続して行うように制御することにより、投影の周期をより短くすることができる。つまり、より高速な画像の投影に対応することができる。
【0050】
なお、イメージング用途の撮像としての各ラインの露光期間は、そのラインのセンシング用途の撮像としての露光期間と重ならない範囲であれば任意に設定することができる。例えば、各ラインにおいて、１つ前のセンシング用途の撮像としての読み出しが終了した直後から（すなわち、１つ前のセンシング用途の撮像としての露光に連続して）イメージング用途の撮像としての露光を開始するようにしてもよい。また、各ラインにおいて、１つ前のセンシング用途の撮像としての読み出し終了後、所定の期間をおいて（すなわち、１つ前のセンシング用途の撮像としての露光に連続しないようにして）、イメージング用途の撮像としての露光を開始するようにしてもよい。イメージング用途の撮像の場合、一般的に、露光期間を長くするほど、より高画質な撮像画像を得ることができる。
【0051】
以上のように、制御部１０１が、投影と撮像のラインスキャンを制御することにより、投影の１回のラインスキャンに対して、センシング用途の情報とイメージング用途の情報とを得ることができる。また、投影と撮像とがともにラインスキャン方式であるので、１フレーム分以上の画素値を保持する必要がなく、余計なフレームメモリが不要である。つまり、フレームメモリを必要とせずにより多くの情報を得ることができる。なお、フレームメモリが不要であるので、コストの増大を抑制することができる。
【0052】
＜投影と撮像の波長域＞
なお、投影部１１１が投影するパタン画像の波長域は任意である。また、撮像部１１２による撮像の波長域も任意である。これらの投影および撮像は、それぞれ、単色で行われるようにしてもよいし、複数色で行われるようにしてもよい。
なお、投影部１１１が投影するパタン画像の波長域は任意である。また、撮像部１１２による撮像の波長域も任意である。これらの投影および撮像は、それぞれ、単色で行われるようにしてもよいし、複数色で行われるようにしてもよい。
【0053】
例えば、図４のＡの左に示されるように、投影部１１１が赤外光（IR）でパタン画像を投影し、図４のＡの右に示されるように、撮像部１１２が、赤外光（IR）、赤色光（R）、緑色光（G）、および青色光（B）により撮像を行うようにしてもよい。
【0054】
【0055】
さらに例えば、図４のＣの左に示されるように、投影部１１１が緑色光（G）でパタン画像を投影し、図４のＣの右に示されるように、撮像部１１２が、赤色光（R）、緑色光（G）、および青色光（B）により撮像を行うようにしてもよい。
【0056】
また例えば、図４のＤの左に示されるように、投影部１１１が白色光（W）（すなわち輝度値）でパタン画像を投影し、図４のＤの右に示されるように、撮像部１１２が、赤色光（R）、緑色光（G）、および青色光（B）により撮像を行うようにしてもよい。
【0057】
さらに例えば、図４のＥの左に示されるように、投影部１１１が赤色光（R）、緑色光（G）、および青色光（B）のそれぞれの色でパタン画像を投影し、図４のＥの右に示されるように、撮像部１１２が、赤色光（R）、緑色光（G）、および青色光（B）により撮像を行うようにしてもよい。
【0058】
また、このような投影や撮像の波長域を可変としてもよい。例えば、被写体や環境光等に応じて適応的に投影や撮像の波長域を設定することができるようにしてもよい。
【0059】
＜カラーフィルタ＞
また、撮像部１１２（受光部１２１）の各画素のカラーフィルタの配列は任意である。例えば、図５のＡに示されるように、赤外光（IR）を透過するフィルタ、赤色光（R）を透過するフィルタ、緑色光（G）を透過するフィルタ、および青色光（B）を透過するフィルタが、イメージング用途の撮像における解像度を優先させるような配列で撮像部１１２（受光部１２１）の画素に設けられるようにしてもよい。
また、撮像部１１２（受光部１２１）の各画素のカラーフィルタの配列は任意である。例えば、図５のＡに示されるように、赤外光（IR）を透過するフィルタ、赤色光（R）を透過するフィルタ、緑色光（G）を透過するフィルタ、および青色光（B）を透過するフィルタが、イメージング用途の撮像における解像度を優先させるような配列で撮像部１１２（受光部１２１）の画素に設けられるようにしてもよい。
【0060】
また、例えば、図５のＢに示されるように、赤外光（IR）を透過するフィルタ、赤色光（R）を透過するフィルタ、緑色光（G）を透過するフィルタ、および青色光（B）を透過するフィルタが、イメージング用途の撮像における色再現を優先させるような配列で撮像部１１２（受光部１２１）の画素に設けられるようにしてもよい。さらに、例えば、図５のＣに示されるように、赤外光（IR）を透過するフィルタ、赤色光（R）を透過するフィルタ、緑色光（G）を透過するフィルタ、および青色光（B）を透過するフィルタが、センシング用途の撮像を優先させるような配列で撮像部１１２（受光部１２１）の画素に設けられるようにしてもよい。
【0061】
また、撮像部１１２（受光部１２１）が撮像する（受光する）波長域を、イメージング用途の撮像とセンシング用途の撮像とで切り替えることができるようにしてもよい。例えば、制御部１０１が、図６に示されるように、イメージング用途の撮像においては、撮像部１１２（受光部１２１）の赤色光（R）を受光する画素、緑色光（G）を受光する画素、および青色光（B）を受光する画素を駆動させ、その他の画素の駆動を停止させ、センシング用途の撮像においては、撮像部１１２（受光部１２１）の赤外光を受光する画素を駆動させ、その他の画素の駆動を停止させるように制御するようにしてもよい。このようにすることにより、撮像部１１２（受光部１２１）は、より多様な波長域で撮像をイメージング用途の撮像とセンシング用途の撮像とを行うことができる。また、このように制御部１０１が、撮像部１１２（受光部１２１）の画素駆動を制御し、撮像に必要な画素のみを駆動させることにより、撮像に不要な画素の駆動を停止させることができるので、不要な消費電力の増大を抑制することができる。
【0062】
＜信号処理＞
信号処理部１１３による信号処理の内容は任意である。例えば、信号処理部１１３が、イメージング用途の撮像により得られた情報（画素値等）に基づいて、被写体の撮像画像を生成するようにしてもよい。例えば、信号処理部１１３が、撮像部１１２によるイメージング用途の撮像により得られた被写体のRAW画像（画素値）に対して、画素位置毎に複数波長域の画素値を生成し、波長域毎の撮像画像を生成するデモザイク処理や、画素位置毎に単数波長域の画素値を生成し、複数波長域の画素値が混在する単数の撮像画像を生成するリモザイク処理等を行うようにしてもよい。
信号処理部１１３による信号処理の内容は任意である。例えば、信号処理部１１３が、イメージング用途の撮像により得られた情報（画素値等）に基づいて、被写体の撮像画像を生成するようにしてもよい。例えば、信号処理部１１３が、撮像部１１２によるイメージング用途の撮像により得られた被写体のRAW画像（画素値）に対して、画素位置毎に複数波長域の画素値を生成し、波長域毎の撮像画像を生成するデモザイク処理や、画素位置毎に単数波長域の画素値を生成し、複数波長域の画素値が混在する単数の撮像画像を生成するリモザイク処理等を行うようにしてもよい。
【0063】
また、例えば、信号処理部１１３が、センシング用途の撮像により得られた情報（画素値等）に基づいて、被写体までの距離（被写体の奥行き）を示すデプス情報を生成するようにしてもよい。例えば、信号処理部１１３が、撮像部１１２によるセンシング用途の撮像により得られた、投影部１１１により所定のパタン画像が投影された被写体のRAW画像（画素値）、または、そのRAW画像に対してデモザイク処理やリモザイク処理等の所定の画像処理を施して得られたセンシング結果に基づいて、三角測量等によって被写体の奥行きを求めるようにしてもよい。
【0064】
なお、これらの処理の順序は任意である。例えば、図７のＡに示されるように、信号処理部１１３が、RAW画像（赤色成分、緑色成分、青色成分、および赤外成分とが混在するRGBIR画像）からデプス情報を算出して、赤色成分、緑色成分、青色成分、およびデプス情報とが混在するRGBD画像を生成し、そのRGBD画像に対してデモザイク処理を行い、デプス情報、赤色成分からなるＲ画像、緑色成分からなるＧ画像、および青色成分からなるＢ画像を生成するようにしてもよい。
【0065】
また、例えば、図７のＢに示されるように、信号処理部１１３が、RGBIR画像からデプス情報を算出してRGBD画像を生成し、そのRGBD画像に対してリモザイク処理を行い、赤色成分、緑色成分、および青色成分がベイヤ配列に並ぶRGB画像と、デプス情報とを生成し、そのRGB画像に対してデモザイク処理を行い、Ｒ画像、Ｇ画像、およびＢ画像を生成し、さらにデプス情報に対して相関処理によるアップサンプリングを行うようにしてもよい。
【0066】
また、例えば、図７のＣに示されるように、信号処理部１１３が、RGBIR画像に対してデモザイク処理を行い、赤外成分からなるIR画像、Ｒ画像、Ｇ画像、およびＢ画像を生成し、IR画像からデプス情報を算出するようにしてもよい。
【0067】
＜パタン画像＞
なお、センシング用途の撮像のために投影部１１１が投影するパタン画像はどのような画像であってもよい。例えば、制御部１０１が、投影部１１１に、単数の所定のパタン画像を投影させるようにしてもよい。例えば、図８のＡに示されるような、チェッカーフラグ模様の格子点に白または黒のパタンを埋め込んだパタン画像であってもよい。このパタン画像は、チェッカーフラグの模様が注目するパタンの位置（格子点）を示しており、その格子点に埋め込まれたパタン（白または黒）により、画素位置を特定することができるパタン画像である。
なお、センシング用途の撮像のために投影部１１１が投影するパタン画像はどのような画像であってもよい。例えば、制御部１０１が、投影部１１１に、単数の所定のパタン画像を投影させるようにしてもよい。例えば、図８のＡに示されるような、チェッカーフラグ模様の格子点に白または黒のパタンを埋め込んだパタン画像であってもよい。このパタン画像は、チェッカーフラグの模様が注目するパタンの位置（格子点）を示しており、その格子点に埋め込まれたパタン（白または黒）により、画素位置を特定することができるパタン画像である。
【0068】
また、制御部１０１が、投影部１１１に、複数の所定のパタン画像を順次投影させるようにしてもよい。例えば、制御部１０１が、投影部１１１に、図８のＢに示されるような複数のパタン画像よりなるグレイコードを投影させるようにしてもよい。グレイコードは、各パタン画像の白または黒の組み合わせにより画素位置を特定することができるパタン画像である。
【0069】
また、例えば、制御部１０１が、投影部１１１に、図８のＣに示されるような、互いに同じ模様であり、かつ、白黒が反転した（ネガポジ反転した）２枚１組のパタン画像を順次投影させるようにしてもよい。このようなネガポジ反転したパタン画像２枚により画素位置を特定することができる。したがって、グレイコードを用いる場合よりも高速にデプス情報を求めることができる。つまり、デプス情報の時間解像度を向上させることができる。なお、このようなネガポジ反転したパタン画像を投影して測距を行うことにより、被写体のテクスチャ（模様等）によるパタン画像への影響を抑制することができる。つまり、より正確にデプス情報を求めることができる。
【0070】
また、例えば、制御部１０１が、投影部１１１に、図８のＤに示されるように、画素位置に応じて正弦波状に輝度値が変化するパタンの位相を変えながら（フェイズシフト）順次投影させるようにしてもよい。例えば正弦波を用いた場合、３枚の画像により画素位置を特定することができる。したがって、グレイコードを用いる場合よりも高速にデプス情報を求めることができる。つまり、デプス情報の時間解像度を向上させることができる。
【0071】
なお、複数のパタン画像を投影する場合、それらの各パタン画像の模様のサイズが互いに異なるようにしてもよい。例えば、制御部１０１が、投影部１１１に、図９のＡに示されるような、画素位置に応じて正弦波状に輝度値が変化するパタンであって、かつ、その正弦波の周期が互いに異なる２枚１組のパタン画像を順次投影させるようにしてもよい。このようなパタン画像２枚により画素位置をより正確に特定することができる。つまり、デプス情報の空間解像度を向上させることができる。
【0072】
また、複数のパタン画像を投影する場合、それらの各パタン画像の絵柄（模様）が互いに全く異なるようにしてもよい。例えば、制御部１０１が、投影部１１１に、図９のＢに示されるような、絵柄（模様）が全く異なる２枚１組のパタン画像を順次投影させるようにしてもよい。このようなパタン画像２枚を用いることにより、複数の方法に依って画素位置を特定することができる。したがって、より正確に画素位置を特定することができる。つまり、デプス情報の空間解像度を向上させることができる。
【0073】
また、複数のパタン画像を投影する場合、それらの各パタン画像の絵柄（模様）の位置が互いにずれているようにしてもよい。例えば、制御部１０１が、投影部１１１に、図９のＣに示されるような、画素位置に応じて正弦波状に輝度値が変化するパタンであって、かつ、その正弦波の位相が互いに異なる２枚１組のパタン画像を順次投影させるようにしてもよい。このようなパタン画像２枚により画素位置をより正確に特定することができる。つまり、デプス情報の空間解像度を向上させることができる。
【0074】
また、複数のパタン画像を投影する場合、投影部１１１の、各パタン画像を投影する際の光源の強度が互いに異なるようにしてもよい。例えば、図９のＤに示されるように、投影部１１１が、１回目の投影においては、光源の光強度を弱くしてパタン画像を投影し（図９のＤ左）、２回目の投影においては、光源の光強度を強くしてパタン画像を投影する（図９のＤ右）ようにしてもよい。
【0075】
パタン画像の輝度値が大きすぎると、センシング用途の撮像により得られる画素値が飽和するおそれがある。また、パタン画像の輝度値が小さすぎると、センシング用途の撮像により得られる画素値が小さ過ぎてパタンを誤判定するおそれがある。したがって、パタン画像投影時の光源の光強度を可変とすることにより、センシング用途の撮像により得られる画素値を適切なレベルに制御することができ、デプス情報をより正確に求めることができる。
【0076】
例えば、被写体の奥行き方向の位置が撮像部１１２から近い場合、パタン画像の投影光は被写体においてより多く反射し、撮像部１１２に届きやすい。したがって、被写体が近い場合、センシング用途の撮像により得られる画素値が飽和しやすい。逆に、被写体の奥行き方向の位置が撮像部１１２から遠い場合、パタン画像の投影光は被写体における反射も少なくなり、撮像部１１２に届きにくくなる。つまり、被写体が遠い場合、センシング用途の撮像により得られる画素値が小さくなりやすく、パタンの誤判定が発生しやすい。
【0077】
そこで、遠い被写体の奥行きは、光源の光強度を強くして投影したパタン画像を用いて求めるようにし、近い被写体の奥行きは、光源の光強度を弱くして投影したパタン画像を用いて求めるようにしてもよい。換言するに、上述したように、光源の光強度を変えて、パタン画像を投影することにより、測距の可能範囲を可変とすることができる。つまり、このようにすることにより、より広範囲の被写体をより正確に測距することができる。
【0078】
特に、パタンの輝度値（アナログ値）を用いて測距を行うようなパタン画像の場合、画素値が飽和しやすいので、上述のように光源の光強度を可変とすることにより、より正確に測距を行うことができるようになる。
【0079】
また、パタン画像の投影および撮像は、環境光（外光）の影響を受けやすい。したがって、例えば周辺の明るさに応じて、パタン画像を投影する際の光源の光強度を制御するようにしてもよい。このようにすることにより、環境光（外光）に対する耐性をより強くし、より正確に測距を行うことができるようになる。
【0080】
なお、測距の可能範囲をより広くするために、パタン画像を投影する際のスキャンの同期タイミングを可変としてもよい。製造誤差の結果、被写体距離に応じて最適なスキャンのタイミングがずれる可能性がある。フォーカス位置（奥行）に応じてスキャンの同期タイミングのオフセット値を設定することができるようにしてもよい。このようにすることにより、より正確に測距を行うことができる。
【0081】
また、被写体から互いに異なる経路を経て届く光を受光することによる、パタン判定への影響（マルチパスによる影響）を抑制するために、位相が互いに異なる高周波画像をパタン画像として投影して測距を行うようにしてもよい。
【0082】
＜動体判定＞
複数枚のパタン画像を照射する場合、測距に時間を要することになる。したがって被写体に動体が含まれる場合、測距を正しく行うことができない可能性がある。そこで、そのような（動体の）被写体を測距の対象から除外することができるように、どの被写体が動体であるかを判定するようにしてもよい。
複数枚のパタン画像を照射する場合、測距に時間を要することになる。したがって被写体に動体が含まれる場合、測距を正しく行うことができない可能性がある。そこで、そのような（動体の）被写体を測距の対象から除外することができるように、どの被写体が動体であるかを判定するようにしてもよい。
【0083】
互いに異なる模様の複数枚のパタン画像を投影する場合、すなわち、パタンの内容が変化すると、それらの撮像画像を比較して動体判定を行うことは困難である。例えば、図１０の例のように、ネガポジ反転したパタン画像を投影する場合、それらの撮像画像を比較しても、ネガポジの差分と動体の差分との区別がつかないため動体判定を正しく行うことができない。
【0084】
そこで、図１０に示されるように、信号処理部１１３が、環境光下の被写体の画像、すなわち、イメージング用途の撮像により得られる撮像画像に基づいて動体判定を行い、その動体判定結果に基づいて被写体のデプス情報を生成するようにしてもよい。
【0085】
また、例えば、図１１に示される例のように、一部の領域において絵柄が同一の複数の所定のパタン画像が順次投影されるようにしてもよい。つまり、上述したように順次投影される複数枚のパタン画像が、一部の領域の絵柄が互いに同一であるようにしてもよい。そして、信号処理部１１３が、その絵柄が互いに同一な一部の領域について撮像画像を比較することにより動体判定を行い、その動体判定結果に基づいて被写体のデプス情報を生成するようにしてもよい。
【0086】
例えば、図１１の例の場合、投影される２枚１組のパタン画像において、チェッカーフラグの模様は白黒反転させずに互いに同一であり、そのチェッカーフラグの模様の格子点に配置される白または黒のパタンのみ白黒が反転されている。このようなパタン画像を順次投影し、センシング用途の撮像を行うようにする。この場合、信号処理部１１３は、チェッカーフラグの模様については互いに同一であるので、それらの撮像画像を比較することにより、そのチェッカーフラグの模様の領域において動体判定を行うことができる。
【0087】
以上のように動体判定を用いることにより、信号処理部１１３は、より正確にデプス情報を求めることができる。
【0088】
＜画像処理の流れ＞
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図１２のフローチャートを参照して説明する。
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図１２のフローチャートを参照して説明する。
【0089】
画像処理が開始されると、制御部１０１は、ステップＳ１０１において、撮像部１１２を制御し、他のラインのセンシング向けの読み出しと重ならないタイミングのラインスキャン読み出しにより、環境光下の被写体の撮像を行わせる。撮像部１１２は、その制御部１０１の制御に従って、イメージング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。
【0090】
ステップＳ１０２において、投影部１１１を制御し、センシング用画像であるパタン画像をラスタスキャンにより投影させる。投影部１１１は、その制御部１０１の制御に従って、所定のパタン画像をラスタスキャンにより被写体に投影する。
【0091】
ステップＳ１０３において、制御部１０１は、撮像部１１２を制御し、ステップＳ１０２の投影（のラスタスキャン）を含む、ラインスキャン的に設定された露光期間の露光と読み出しにより、上述のパタン画像が投影された被写体の撮像を行わせる。撮像部１１２は、その制御部１０１の制御に従って、センシング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。なお、その露光は、露光期間内において被写体にパタン画像が投影されるタイミングで行われる。また、その読み出しのラインスキャンは、イメージング用途の撮像としての読み出しのラインスキャンと重ならないようなタイミングにおいて行われる。
【0092】
ステップＳ１０４において、制御部１０１は、信号処理部１１３を制御し、ステップＳ１０３のセンシング用途の撮像により得られたセンシング用RAW画像からデプス情報を生成する。つまり、信号処理部１１３は、そのような制御部１０１の制御に従って、パタン画像が投影された被写体を撮像して得られた画素値からデプス情報を生成する。
【0093】
ステップＳ１０５において、制御部１０１は、信号処理部１１３を制御し、ステップＳ１０２のイメージング用途の撮像により得られたイメージング用RAW画像から撮像画像を生成する。つまり、信号処理部１１３は、そのような制御部１０１の制御に従って、デモザイク処理等を行って、環境光下の被写体を撮像して得られた画素値から撮像画像を生成する。
【0094】
ステップＳ１０６において、制御部１０１は、信号処理部１１３を制御し、ステップＳ１０４において生成したデプス情報と、ステップＳ１０５において生成した撮像画像とを紐づけて出力する。つまり、信号処理部１１３は、そのような制御部１０１の制御に従って、デプス情報と撮像画像のデータとを関連付けて出力する。なお、ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、画像データに関連付けられた情報は、その画像データとは別の伝送路上で伝送されるようにしてもよい。また、例えば、画像データに関連付けられた情報は、その画像データとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【0095】
ステップＳ１０７において、制御部１０１は、画像処理を終了するか否かを判定する。測距を継続し、画像処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、それ以降の処理を実行させる。つまり、制御部１０１は、上述したステップＳ１０１乃至ステップＳ１０７の処理を繰り返すことにより、新たなパタン画像または同じパタン画像を再度投影させ、その投影画像を用いて測距を行わせるように各処理部を制御する。
【0096】
制御部１０１は、このように、必要なだけステップＳ１０１乃至ステップＳ１０７の処理を繰り返し実行する。そして、ステップＳ１０７において、測距を終了し、画像処理を終了すると判定された場合、画像処理が終了する。
【0097】
以上のように画像処理を行うことにより、被写体に画像をラインスキャン方式で投影させ、その画像の投影の１周期の間にその被写体をラインスキャン方式で複数回撮像させることができる。したがって、フレームメモリを必要とせずにより多くの情報を得ることができる。
【0098】
＜３．第２の実施の形態＞
＜単数投影、単数撮像、複数ライン読み出し＞
本技術を適用した情報処理装置は、第１の実施の形態において説明した例に限定されない。例えば、制御部１０１が、複数ラインの画素値を並列に読み出し可能な単数の撮像部に被写体を撮像させるようにしてもよい。その際、制御部１０１が、単数の投影部１１１に対して、被写体に画像をラスタスキャン方式で投影させるようにしてもよい。
＜単数投影、単数撮像、複数ライン読み出し＞
本技術を適用した情報処理装置は、第１の実施の形態において説明した例に限定されない。例えば、制御部１０１が、複数ラインの画素値を並列に読み出し可能な単数の撮像部に被写体を撮像させるようにしてもよい。その際、制御部１０１が、単数の投影部１１１に対して、被写体に画像をラスタスキャン方式で投影させるようにしてもよい。
【0099】
このようにすることにより、第１の実施の形態の場合よりも投影の周期をより短くすることができる。つまり、より高速な画像の投影に対応することができる。
【0100】
＜画像処理装置＞
図１３は、この場合の画像処理装置１００の主な構成例を示すブロック図である。図１３に示される例の場合の画像処理装置１００は、基本的に図２の場合と同様の構成を有するが、図２の撮像部１１２の代わりに撮像部２１２を有する。
図１３は、この場合の画像処理装置１００の主な構成例を示すブロック図である。図１３に示される例の場合の画像処理装置１００は、基本的に図２の場合と同様の構成を有するが、図２の撮像部１１２の代わりに撮像部２１２を有する。
【0101】
撮像部２１２は、撮像部１１２と同様に、制御部１０１により制御されて、撮像に関する処理を行う。撮像部２１２は、例えば、受光部２２１、ADコンバータ２２２－１、およびADコンバータ２２２－２を有する。ADコンバータ２２２－１およびADコンバータ２２２－２を互いに区別して説明する必要がない場合、ADコンバータ２２２と称する。
【0102】
受光部２２１は、フレームメモリを有しておらず、画素アレイの各画素に蓄積された電荷に相当する電気信号を画素値として２ライン（行）ずつ読み出し、１ラインずつADコンバータ２２２－１とADコンバータ２２２－２とに供給する。
【0103】
ADコンバータ２２２－１およびADコンバータ２２２－２は、それぞれ、ADコンバータ１２２と同様の処理部である。ADコンバータ２２２－１およびADコンバータ２２２－２は、それぞれ、受光部２２１から１ラインずつ供給される各画素の画素値（電気信号）をA/D変換し、デジタルデータとして信号処理部１１３に供給する。
【0104】
つまり、撮像部２１２は、受光部２２１において受光して得られた画素値を２ラインずつ読み出すことができる（２ラインの画素値の読み出しを互いに並行して行うことができる）。読み出し可能なライン数が２ラインに増えたこと以外、受光部２２１は受光部１２１と同様のデバイスである。
【0105】
この場合、信号処理部１１３は、ADコンバータ２２２－１から供給される画素値のデジタルデータと、ADコンバータ２２２－２から供給される画素値のデジタルデータとを互いに並行して処理することができる。各デジタルデータに対する処理は、基本的に第１の実施の形態の場合と同様である。
【0106】
＜投影と撮像の制御＞
この場合の投影と撮像の様子の例を図１４に示す。制御部１０１は、図１４に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図１４の最上段に示されるように、１つの投影部１１１に対して、ラスタスキャン２３１－１、ラスタスキャン２３１－２、ラスタスキャン２３１－３のように、ラスタスキャンにより所定の絵柄のパタン画像を被写体に投影させる。
この場合の投影と撮像の様子の例を図１４に示す。制御部１０１は、図１４に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図１４の最上段に示されるように、１つの投影部１１１に対して、ラスタスキャン２３１－１、ラスタスキャン２３１－２、ラスタスキャン２３１－３のように、ラスタスキャンにより所定の絵柄のパタン画像を被写体に投影させる。
【0107】
そして、制御部１０１は、複数ラインの画素値を並列に読み出し可能な単数の撮像部２１２に対して、その投影の１周期の間に、その被写体をラインスキャン方式で複数回（例えば２回）撮像させる。例えば、制御部１０１は、撮像部２１２に、パタン画像の投影としてのラスタスキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しとを行わせる。
【0108】
より具体的には、制御部１０１は、撮像部２１２に、上述の投影のラスタスキャンの間に、図１４の上から２段目と３段目に示されるように、イメージング用途の撮像としての露光（例えば露光期間２３３－１乃至露光期間２３３－４）および読み出し（例えばラインスキャン２３５－１乃至ラインスキャン２３５－３）と、センシング用途の撮像としての露光（例えば、露光期間２３２－１乃至露光期間２３２－３）および読み出し（例えばラインスキャン２３４－１乃至ラインスキャン２３４－３）とを行わせる。
【0109】
その際、パタン画像が投影された被写体の撮像画像（センシング結果）が得られるようなタイミングにおいてセンシング用途の撮像としての読み出し（例えばラインスキャン２３４－１乃至ラインスキャン２３４－３）が行われるようにする。つまり、制御部１０１は、センシング用途としての露光期間（例えば露光期間２３２－１乃至露光期間２３２－３）中に、投影のラスタスキャン（例えばラスタスキャン２３１－１乃至ラスタスキャン２３１－３）が行われるように投影や撮像を制御する。制御部１０１がこのように制御することにより、撮像部２１２は、ラスタスキャンにより投影される各ラインのパタン画像を露光期間を不要に増大させずに撮像することができる。したがって、撮像部２１２は、センシング用途の撮像に対する環境光等の他の影響を抑制することができ、より正確なデプス情報を得ることができる。
【0110】
なお、センシング用途の撮像としての露光（例えば露光期間２３２－１乃至露光期間２３２－３）における各ラインの露光期間は、それぞれに対応するラスタスキャン（例えばラスタスキャン２３１－１乃至ラスタスキャン２３１－３）の対応するラインを含んでいればよく、その限りにおいてはできるだけ短くするようにしてもよい。つまり、例えば、ラインスキャン２３４－１乃至ラインスキャン２３４－３のそれぞれのタイミングを、できるだけラスタスキャン２３１－１乃至ラスタスキャン２３１－３のそれぞれのタイミングに近づけるようにしてもよい。この露光期間が短くなる程、撮像部２１２は、センシング用途の撮像に対する環境光等の他の影響を抑制することができ、より正確なデプス情報を得ることができる。例えば、センシング用途の撮像としての読み出しのスキャン（例えばラインスキャン２３４－１乃至ラインスキャン２３４－３）において、投影としてのスキャン（例えばラスタスキャン２３１－１乃至ラスタスキャン２３１－３）の各ラインと同じライン（行）を処理対象とするようにしてもよい。
【0111】
また、制御部１０１は、このセンシング用途の撮像としてのラインスキャン（例えばラインスキャン２３４－１乃至ラインスキャン２３４－３）を、イメージング用途の撮像としてのラインスキャン（例えばラインスキャン２３５－１乃至ラインスキャン２３５－３）と重なるようなタイミングにおいて行わせる。このように制御することにより、複数ラインの画素値を並列に読み出し可能な単数の撮像部２１２により、センシング用途の撮像とイメージング用途の撮像との両方を行うことができる。
【0112】
例えば、制御部１０１は、撮像部２１２に対して、２ラインのスキャンを並列に実行させる。そして、その２ラインのスキャンのうちの一方をイメージング用途の撮像の読み出しとして行わせ、他方をセンシング用途の撮像の読み出しとして行わせる。そして、制御部１０１は、投影部１１１に対して、上述したような、センシング用途の撮像としての読み出しのラインスキャンに応じたタイミングにおいて、パタン画像の投影としてのラスタスキャンを行わせる。
【0113】
このように制御することにより、制御部１０１は、撮像部１１２に、上述したようなタイミングにおいて、センシング用途の撮像としての露光および読み出しを行わせることができる。つまり、複数ラインの画素値を並列に読み出し可能な単数の撮像部２１２により、イメージング用途の撮像とセンシング用途の撮像との両方を行うことができる。また、イメージング用途の撮像の読み出しとしてのラインスキャンとセンシング用途の撮像の読み出しとしてのラインスキャンとを並行して行うことができるので、第１の実施の形態の場合よりも、より短期間に、イメージング用途の撮像とセンシング用途の撮像とを行うことができる。つまり、投影の周期をより短くすることができ、より高速な画像の投影に対応することができる。
【0114】
なお、撮像部２１２により並列に実行される２ラインのスキャンのうちの先行する方をイメージング用途の撮像の読み出しとしてのラインスキャンとし、他方をセンシング用途の撮像の読み出しとしてのラインスキャンとし、これらの２ラインの間隔をより狭くするのが望ましい。このようにすることにより、イメージング用途の撮像の露光期間をより長くすることができ、センシング用途の撮像の露光期間をより短くすることができる。第１の実施の形態においても説明したように、イメージング用途の撮像の露光期間をより長くすることにより、その撮像により得られる環境光下の被写体の撮像画像の画質を向上させることができる。また、センシング用の撮像の露光期間をより短くすることにより、環境光等の他の影響を抑制することができ、より正確なデプス情報を得ることができる。さらに、画素値の保持に必要なメモリ（ラインバッファ）の容量の増大を抑制することができる。
【0115】
なお、２ラインのスキャンの内の先行する方をセンシング用途の撮像の読み出しとしてのラインスキャンとし、他方をイメージング用途の撮像の読み出しとしてのラインスキャンとし、これらの２ラインの間隔をより広くすることにより、同様の制御を実現することができるが、この方法の場合、制御がより複雑になるおそれがあるだけでなく、画素値の保持に必要なメモリ（ラインバッファ）の容量が増大してしまうおそれもある。
【0116】
イメージング用途の撮像としての各ラインの露光期間とセンシング用途の撮像としての各ラインの露光期間は、第１の実施の形態の場合と同様に、互いに重ならない範囲であれば任意に設定することができる。１つ前の露光期間と連続するようにしてもよいし、連続していなくてもよい。
【0117】
画像投影が面方式の場合、図１５のＡに示されるように、１フレーム分以上の画像を保持する必要があるが、上述のように投影部１１１はラスタスキャン方式により画像投影および撮像を行うので、図１５のＢに示されるように、１フレーム分以上の画像を保持する必要がなく、ラインバッファがあればよく、フレームメモリを必要としない。例えば、上述のようにセンシング用途の撮像の露光期間をより短くすることにより、保持する必要がある画素値のライン数をより低減させることができる。例えば、イメージング用途の撮像の読み出しとしてのラインスキャンとセンシング用途の撮像の読み出しとしてのラインスキャンとが、互いに同一のラインを処理対象として行われるようにすることにより、１ライン分の画素値を保持することができるラインバッファがあればよい。
【0118】
＜イメージング用途の撮像の露光期間の分割＞
なお、上述した撮像において、イメージング用途の撮像の露光期間を複数に分割し、更にA/Dコンバータの数を増やすことで複数回イメージング用途の撮像を行うようにしてもよい。つまり、例えば図１６に示されるように、制御部１０１が、撮像部２１２に、イメージング用の撮像としての露光および読み出しを複数回行わせ、さらに、露光期間内に被写体にパタン画像が投影され、かつ、読み出しのラインスキャンがイメージング用の撮像としての複数回の読み出しのうちの少なくとも最後の読み出しのラインスキャンと重なるようなタイミングにおいて、センシング用の撮像としての露光と画素値の読み出しを行わせるようにしてもよい。
なお、上述した撮像において、イメージング用途の撮像の露光期間を複数に分割し、更にA/Dコンバータの数を増やすことで複数回イメージング用途の撮像を行うようにしてもよい。つまり、例えば図１６に示されるように、制御部１０１が、撮像部２１２に、イメージング用の撮像としての露光および読み出しを複数回行わせ、さらに、露光期間内に被写体にパタン画像が投影され、かつ、読み出しのラインスキャンがイメージング用の撮像としての複数回の読み出しのうちの少なくとも最後の読み出しのラインスキャンと重なるようなタイミングにおいて、センシング用の撮像としての露光と画素値の読み出しを行わせるようにしてもよい。
【0119】
図１６の例の場合、図１４の例と比較して、イメージング用途の撮像（ラインスキャン的な露光とラインスキャンによる読み出し）が複数回行われるように制御されている。このように、イメージング用途の撮像の露光期間を複数に分割し、イメージング用途の撮像を複数回行うようにすることにより、図１７に示されるように、マルチパスの影響が大きい画像と、マルチパスの影響が小さい画像とを分けることができる。したがって、信号処理部１１３が、その複数の画像の中から、マルチパスの影響の少ない画像を選択することにより、マルチパスの影響の少ない撮像画像を得ることができる。これにより、マルチパスの影響による画質の低減を抑制することができる。
【0120】
なおマルチパスの影響が最も小さい画像の選択方法は任意である。例えば、信号処理部１１３が、２Ｄ画像上の近傍領域の画素値の総和や平均値等を複数の撮像画像間で比較し最も画素値が小さい画像を、マルチパスの影響が最も小さい画像として選択するようにしてもよい。また、例えば、信号処理部１１３が、その複数の撮像画像間で比較した際に他と比べて値が大きく外れた外れ値の画素値を除去した後、画素値の総和や平均値等を計算しマルチパスの影響を低減した画像として出力するようにしてもよい。さらに、信号処理部１１３が、複数の画像等を用いて、マルチパスの影響が最小となる画像を推定するようにしてもよい。
【0121】
＜画像処理の流れ＞
次に、図１８のフローチャートを参照してこの場合の画像処理装置１００が実行する画像処理の流れの例を説明する。
次に、図１８のフローチャートを参照してこの場合の画像処理装置１００が実行する画像処理の流れの例を説明する。
【0122】
画像処理が開始されると、制御部１０１は、ステップＳ２０１において、撮像部２１２を制御し、センシング用のラインスキャン読み出しと重なるタイミングのラインスキャン読み出しにより環境光下の被写体の撮像を行わせる。撮像部２１２は、その制御部１０１の制御に従って、イメージング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。
【0123】
ステップＳ２０２において、制御部１０１は、投影部１１１を制御し、センシング用画像であるパタン画像をラスタスキャンにより投影させる。投影部１１１は、その制御部１０１の制御に従って、所定のパタン画像をラスタスキャンにより被写体に投影する。
【0124】
ステップＳ２０３において、制御部１０１は、撮像部２１２を制御し、ステップＳ２０２の投影（のラスタスキャン）を含む、ラインスキャン的に設定された露光期間の露光と読み出しにより、上述のパタン画像が投影された被写体の撮像を行わせる。撮像部２１２は、その制御部１０１の制御に従って、センシング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。なお、その露光は、露光期間内において被写体にパタン画像が投影されるタイミングで行われる。また、その読み出しのラインスキャンは、イメージング用途の撮像としての読み出しのラインスキャンと重なるようなタイミングにおいて行われる。
【0125】
ステップＳ２０４乃至ステップＳ２０７の各処理は、図１２のステップＳ１０４乃至ステップＳ１０７の各処理と同様に実行される。
【0126】
制御部１０１は、必要なだけステップＳ２０１乃至ステップＳ２０７の処理を繰り返し実行する。そして、ステップＳ２０７において、測距を終了し、画像処理を終了すると判定された場合、画像処理が終了する。
【0127】
以上のように画像処理を行うことにより、フレームメモリを必要とせずにより多くの情報を得ることができる。また、第１の実施の形態の場合よりも効率よく露光を行うことができ、第１の実施の形態の場合よりも、より高速な画像の投影に対応することができる。
【0128】
＜４．第３の実施の形態＞
＜複数投影、単数撮像、複数ライン読み出し＞
また第２の実施の形態において、制御部１０１が、複数の投影部に対して、被写体に画像をラスタスキャンにより投影させるようにしてもよい。このようにすることにより、例えば、複数の測距を行うことができる。つまり、第１の実施の形態や第２の実施の形態の場合と同様、フレームメモリを必要とせずにより多くの情報を得ることができる。
＜複数投影、単数撮像、複数ライン読み出し＞
また第２の実施の形態において、制御部１０１が、複数の投影部に対して、被写体に画像をラスタスキャンにより投影させるようにしてもよい。このようにすることにより、例えば、複数の測距を行うことができる。つまり、第１の実施の形態や第２の実施の形態の場合と同様、フレームメモリを必要とせずにより多くの情報を得ることができる。
【0129】
＜画像処理装置＞
図１９は、この場合の画像処理装置１００の主な構成例を示すブロック図である。図１３に示される例の場合の画像処理装置１００は、基本的に図１３の場合と同様の構成を有するが、図１３の投影部１１１の代わりに投影部３１１－１および投影部３１１－２を有する。以下において、投影部３１１－１および投影部３１１－２を互いに区別して説明する必要がない場合、投影部３１１と称する。
図１９は、この場合の画像処理装置１００の主な構成例を示すブロック図である。図１３に示される例の場合の画像処理装置１００は、基本的に図１３の場合と同様の構成を有するが、図１３の投影部１１１の代わりに投影部３１１－１および投影部３１１－２を有する。以下において、投影部３１１－１および投影部３１１－２を互いに区別して説明する必要がない場合、投影部３１１と称する。
【0130】
投影部３１１－１および投影部３１１－２は、それぞれ、投影部１１１と同様の処理部であり、ラインスキャンやラスタスキャン等により１ラインずつ画像を投影する。つまり、この場合、画像処理装置１００は、２ライン分の画像を並行して投影することができる。以下においては、一例としてラスタスキャンによる投影を例に説明を行うが、上述のように、本技術の投影方法はラスタスキャンに限定されない。
【0131】
＜投影と撮像の制御＞
この場合の投影と撮像の様子の例を図２０に示す。制御部１０１は、図２０に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図２０の最上段と上から２段目に示されるように、２つの投影部３１１のそれぞれに対して、ラスタスキャン３３１－１乃至ラスタスキャン３３１－３、または、ラスタスキャン３３２－１乃至ラスタスキャン３３２－３のように、ラスタスキャン方式で所定の絵柄のパタン画像を被写体に投影させる。
この場合の投影と撮像の様子の例を図２０に示す。制御部１０１は、図２０に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図２０の最上段と上から２段目に示されるように、２つの投影部３１１のそれぞれに対して、ラスタスキャン３３１－１乃至ラスタスキャン３３１－３、または、ラスタスキャン３３２－１乃至ラスタスキャン３３２－３のように、ラスタスキャン方式で所定の絵柄のパタン画像を被写体に投影させる。
【0132】
つまり、上述したように、この場合の２つの投影部３１１は、制御部１０１の制御に従って、それぞれ、他の投影部３１１と異なるタイミング、かつ、他の投影部３１１のラスタスキャンと並行して行われるように（他の投影部３１１のラスタスキャンと重なるようなタイミングにおいて）、パタン画像の投影としてのラスタスキャンを行う。なお、各投影部３１１が投影するパタン画像の内容（絵柄等）は、互いに異なるようにしてもよいし、互いに同一であってもよい。例えば、これらの投影部３１１を用いて、第１の実施の形態において説明したような複数種類のパタン画像が投影されるようにしてもよい。
【0133】
また、制御部１０１は、撮像部２１２に、各投影部３１１によるパタン画像の投影に対して、露光期間内において被写体にパタン画像が投影されるようなタイミングにおいて、センシング用の撮像としての露光および読み出しを行わせる。
【0134】
つまり、受光部２２１は、投影部３１１－１によるラスタスキャン（例えば、ラスタスキャン３３１－１乃至ラスタスキャン３３１－３）を含む露光期間（例えば露光期間３３３－１乃至露光期間３３３－３）の終了タイミングにおいて、センシング用途の撮像の画素値を読み出すラインスキャン（例えば、ラインスキャン３３５－１乃至ラインスキャン３３５－３）を行う。また、受光部２２１は、投影部３１１－２によるラスタスキャン（ラスタスキャン３３２－１乃至ラスタスキャン３３２－３）を含む露光期間（露光期間３３４－１乃至露光期間３３４－３）の終了タイミングにおいて、センシング用途の撮像の画素値を読み出すラインスキャン（ラインスキャン３３６－１乃至ラインスキャン３３６－３）を行う。
【0135】
このようにすることにより、上述のように、１回の投影に対して、センシング用途の撮像を複数回（例えば２回）行うことができる。つまり、第１の実施の形態の場合と同様にフレームメモリを必要とせずにより多くの情報を得ることができる。
【0136】
＜複数ラインの投影＞
なお、以上においては、複数の投影部３１１を用いて、互いにタイミングが重なる複数のラスタスキャンを実現するように説明したが、このようなラスタスキャンの実現方法は任意である。例えば、同時に複数のラインを走査することができる投影部を用いて実現するようにしてもよい。
なお、以上においては、複数の投影部３１１を用いて、互いにタイミングが重なる複数のラスタスキャンを実現するように説明したが、このようなラスタスキャンの実現方法は任意である。例えば、同時に複数のラインを走査することができる投影部を用いて実現するようにしてもよい。
【0137】
例えば、MEMS（Micro Electro Mechanical Systems）に複数のレーザを別角度から照射することにより、複数のレーザ光を互いに異なる位置に照射し、それらのレーザ光を同時に走査する投影部を用いて実現するようにしてもよい。また、例えば、フェーズドアレイ（phased array）を利用して、複数のレーザ光を同時に走査する投影部を用いて実現するようにしてもよい。さらに、例えば、複数ラインの絵柄を表示し、その他のラインの絵柄を非表示（例えば黒）とするパタン画像を用意し、そのパタン画像群を１枚ずつ、画像全体（面）を一斉に投影する面方式で投影する投影部を用いて実現するようにしてもよい。また、例えば、垂直共振器面発光レーザ（VCSEL（Vertical Cavity Surface Emitting LASER））を用いて、このような投影を実現するようにしてもよい。
【0138】
＜パタン画像＞
なお、センシング用途の撮像のために投影部１１１が投影するパタン画像は、第１の実施の形態において説明したように（図８、図９）、どのような画像であってもよい。ただし、本実施の形態の場合、１台の投影部３１１の１周期内において複数のパタン画像を投影することができる。したがって、第１の実施の形態の場合よりも高速に測距を行うことができる。
なお、センシング用途の撮像のために投影部１１１が投影するパタン画像は、第１の実施の形態において説明したように（図８、図９）、どのような画像であってもよい。ただし、本実施の形態の場合、１台の投影部３１１の１周期内において複数のパタン画像を投影することができる。したがって、第１の実施の形態の場合よりも高速に測距を行うことができる。
【0139】
＜動体判定＞
また、本実施の形態の場合も、第１の実施の形態の場合と同様に、動体判定を行うことができる。ただし、本実施の形態の場合、イメージング用途の撮像が行われないので、環境光下の被写体の撮像画像を用いて動体判定を行うことはできない（図１０）。ただし、本実施の形態の場合も、第１の実施の形態の場合と同様に、順次投影される、絵柄が互いに同一の一部の領域を有する複数枚のパタン画像のそれぞれの撮像画像を用いて動体判定を行うことができる（図１１）。このようにすることにより、１台の投影部３１１の１周期内において複数のパタン画像を投影することができる。したがって、第１の実施の形態の場合よりも高速に測距を行うことができる。
また、本実施の形態の場合も、第１の実施の形態の場合と同様に、動体判定を行うことができる。ただし、本実施の形態の場合、イメージング用途の撮像が行われないので、環境光下の被写体の撮像画像を用いて動体判定を行うことはできない（図１０）。ただし、本実施の形態の場合も、第１の実施の形態の場合と同様に、順次投影される、絵柄が互いに同一の一部の領域を有する複数枚のパタン画像のそれぞれの撮像画像を用いて動体判定を行うことができる（図１１）。このようにすることにより、１台の投影部３１１の１周期内において複数のパタン画像を投影することができる。したがって、第１の実施の形態の場合よりも高速に測距を行うことができる。
【0140】
さらに、各投影周期の複数のパタン画像のそれぞれの撮像画像を足し合わせてSNR（Signal to Noise ratio）を向上させた合成画像同士を周期間で比較することにより、動体判定を行うようにしてもよい。このようにすることにより、より正確に動体判定を行うことができる。
【0141】
＜担当領域分割＞
なお、各投影部３１１が投影するラインが互いに異なるようにしてもよい。例えば、図２１のＡに示されるように、投影部３１１－１および投影部３１１－２が、それぞれ、パタン画像の互いに異なる領域のラインを投影し、受光部２２１がそれぞれの領域をラインスキャン方式により撮像するようにしてもよい。このようにすることにより、１画面全体の露光時間を短くすることができる。また、領域を分割する際、図２１のＢに示されるように、スキャン方向を領域毎に変えるようにしてもよい。領域ごとのスキャンの方向を変えることで、領域の境界での投影タイミングをそろえ、画面内の測距情報の時間的連続性を保つことができる。
なお、各投影部３１１が投影するラインが互いに異なるようにしてもよい。例えば、図２１のＡに示されるように、投影部３１１－１および投影部３１１－２が、それぞれ、パタン画像の互いに異なる領域のラインを投影し、受光部２２１がそれぞれの領域をラインスキャン方式により撮像するようにしてもよい。このようにすることにより、１画面全体の露光時間を短くすることができる。また、領域を分割する際、図２１のＢに示されるように、スキャン方向を領域毎に変えるようにしてもよい。領域ごとのスキャンの方向を変えることで、領域の境界での投影タイミングをそろえ、画面内の測距情報の時間的連続性を保つことができる。
【0142】
＜画像処理の流れ＞
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図２２のフローチャートを参照して説明する。
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図２２のフローチャートを参照して説明する。
【0143】
画像処理が開始されると、制御部１０１は、ステップＳ３０１において、１台の投影部３１１（例えば投影部３１１－１）を制御し、第１のラスタスキャンにより第１のセンシング用画像であるパタン画像を投影させる。投影部３１１－１は、その制御部１０１の制御に従って、そのパタン画像をラスタスキャンにより投影する。
【0144】
ステップＳ３０２において、制御部１０１は、撮像部２１２を制御し、ラインスキャン的に設定された露光期間の露光と読み出しのラインスキャンにより、上述のパタン画像（第１のセンシング用画像）が投影された被写体の撮像を行わせる。撮像部２１２は、その制御部１０１の制御に従って、センシング用途の撮像として、このパタン画像が投影された被写体をラインスキャン方式により撮像する。
【0145】
ステップＳ３０３において、制御部１０１は、１台の投影部３１１（例えば投影部３１１－２）を制御し、第１のラスタスキャンと重なるタイミングにおける第２のラスタスキャンにより第２のセンシング用画像であるパタン画像を投影させる。投影部３１１－２は、その制御部１０１の制御に従って、そのパタン画像をラスタスキャンにより投影する。
【0146】
ステップＳ３０４において、制御部１０１は、撮像部２１２を制御し、ラインスキャン的に設定された露光期間の露光と読み出しのラインスキャンにより、上述のパタン画像（第２のセンシング用画像）が投影された被写体の撮像を行わせる。撮像部２１２は、その制御部１０１の制御に従って、センシング用途の撮像として、このパタン画像が投影された被写体をラインスキャン方式により撮像する。
【0147】
ステップＳ３０５において、制御部１０１は、信号処理部１１３を制御し、ステップＳ３０２およびステップＳ３０４のそれぞれのセンシング用途の撮像により得られたセンシング用RAW画像（すなわち複数のRAW画像）からデプス情報を生成する。つまり、信号処理部１１３は、そのような制御部１０１の制御に従って、パタン画像が投影された被写体を撮像して得られた画素値からデプス情報を生成する。例えば、各投影部３１１から互いに異なるパタン画像が投影されるようにすることにより、互いに異なるパタン画像に基づいてデプス情報を求めることができる。また、例えば、各投影部３１１から互いに同一のパタン画像が投影されるようにすることにより、複数のRAW画像を合成してS/N比を向上させることができる。つまり、単数のRAW画像からデプス情報を生成する場合に比べて、より高精度なデプス情報を生成することができる。
【0148】
ステップＳ３０６において、制御部１０１は、信号処理部１１３を制御し、ステップＳ３０５において生成したデプス情報を出力する。
【0149】
ステップＳ３０７において、制御部１０１は、画像処理を終了するか否かを判定する。測距を継続し、画像処理を終了しないと判定された場合、処理はステップＳ３０１に戻り、それ以降の処理を実行させる。つまり、制御部１０１は、上述したステップＳ３０１乃至ステップＳ３０７の処理を繰り返すことにより、新たなパタン画像または同じパタン画像を再度投影させ、その投影画像を用いて測距を行わせるように各処理部を制御する。
【0150】
制御部１０１は、このように、必要なだけステップＳ３０１乃至ステップＳ３０７の処理を繰り返し実行する。そして、ステップＳ３０７において、測距を終了し、画像処理を終了すると判定された場合、画像処理が終了する。
【0151】
以上のように画像処理を行うことにより、１台の投影部による画像の投影の１周期の間に、センシング用途の撮像を複数回（例えば２回）行うことができる。つまり、第１の実施の形態の場合と同様にフレームメモリを必要とせずにより多くの情報を得ることができる。
【0152】
＜５．第４の実施の形態＞
＜複数投影、単数撮像、複数ライン読み出し＞
第２の実施の形態及び第３の実施の形態においては、撮像部２１２が２ラインの画素値を並行して読み出すことができるように説明したが、撮像部がさらに多くのラインの画素値を並行して読み出す（複数のラインスキャンを並行して行う）ことができるようにしてもよい。つまり、撮像部が、投影部において並行して行われる投影のラスタスキャンの数よりも多くのラインスキャンを並行して行うことができるようにしてもよい。例えば、第３の実施の形態の画像処理装置１００において、撮像部が３ラインの画素値を並行して読み出すことができるようにしてもよい。
＜複数投影、単数撮像、複数ライン読み出し＞
第２の実施の形態及び第３の実施の形態においては、撮像部２１２が２ラインの画素値を並行して読み出すことができるように説明したが、撮像部がさらに多くのラインの画素値を並行して読み出す（複数のラインスキャンを並行して行う）ことができるようにしてもよい。つまり、撮像部が、投影部において並行して行われる投影のラスタスキャンの数よりも多くのラインスキャンを並行して行うことができるようにしてもよい。例えば、第３の実施の形態の画像処理装置１００において、撮像部が３ラインの画素値を並行して読み出すことができるようにしてもよい。
【0153】
このようにすることにより、撮像部は、投影部が並行して行うラスタスキャン方式による複数のパタン画像の投影のそれぞれに対応するセンシング用途の撮像のラインスキャンだけでなく、イメージング用途の撮像のラインスキャンも行うことができる。つまり、フレームメモリを必要とせずに、さらに多くの情報を得ることができる。
【0154】
＜画像処理装置＞
図２３にこの場合の画像処理装置１００の主な構成例を示す。図２３に示されるように、この場合の画像処理装置１００は、図１９の場合と基本的に同様の構成を有するが、図１９の撮像部２１２の代わりに撮像部４１２を有する。撮像部４１２は、図１９の撮像部２１２と基本的に同様の処理部であるが、受光部４２１、ADコンバータ（ADC）４２２－１、ADコンバータ４２２－２、およびADコンバータ４２２－３を有する。以下において、ADコンバータ４２２－１乃至ADコンバータ４２２－３を互いに区別して説明する必要がない場合、ADコンバータ４２２と称する。
図２３にこの場合の画像処理装置１００の主な構成例を示す。図２３に示されるように、この場合の画像処理装置１００は、図１９の場合と基本的に同様の構成を有するが、図１９の撮像部２１２の代わりに撮像部４１２を有する。撮像部４１２は、図１９の撮像部２１２と基本的に同様の処理部であるが、受光部４２１、ADコンバータ（ADC）４２２－１、ADコンバータ４２２－２、およびADコンバータ４２２－３を有する。以下において、ADコンバータ４２２－１乃至ADコンバータ４２２－３を互いに区別して説明する必要がない場合、ADコンバータ４２２と称する。
【0155】
受光部４２１は、基本的に受光部２２１と同様のデバイスであり、フレームメモリを有しておらず、画素アレイの各画素に蓄積された電荷に相当する電気信号を画素値として３ライン（行）ずつ読み出し、１ラインずつADコンバータ４２２－１乃至ADコンバータ４２２－３に供給する。読み出し可能なライン数が３ラインに増えたこと以外、受光部４２１は受光部２２１と同様のデバイスである。
【0156】
ADコンバータ４２２－１乃至ADコンバータ４２２－３は、それぞれ、ADコンバータ１２２と同様の処理部である。ADコンバータ４２２－１乃至ADコンバータ４２２－３は、それぞれ、受光部４２１から１ラインずつ供給される各画素の画素値（電気信号）をA/D変換し、デジタルデータとして信号処理部１１３に供給する。
【0157】
つまり、撮像部４１２は、受光部４２１において受光して得られた画素値を３ラインずつ読み出すことができる（３ラインの画素値の読み出しを互いに並行して行うことができる）。つまり、撮像部４１２は、投影部３１１の数（２）よりも多くのライン数の画素値を並行して読み出すことができる。
【0158】
＜投影と撮像の制御＞
この場合の投影と撮像の様子の例を図２４に示す。制御部１０１は、図２４に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図２４の最上段に示されるように、一方の投影部３１１（例えば投影部３１１－１）に対して、ラスタスキャン４３０－１乃至ラスタスキャン４３０－３のように、所定の絵柄のパタン画像をラスタスキャンにより被写体に投影させる。そのラスタスキャンのタイミングから少し遅れたタイミングにおいて、制御部１０１は、他方の投影部３１１（例えば投影部３１１－２）に対して、ラスタスキャン４３１－１乃至ラスタスキャン４３１－３のように、所定の絵柄のパタン画像をラスタスキャンにより被写体に投影させる。なお、図２４の最上段に示されるように、このような投影部３１１－１によるラスタスキャンは、投影部３１１－２によるラスタスキャンと重なるタイミングにおいて行われる。つまり、これらのラスタスキャンは互いに並行に実行することができる。
この場合の投影と撮像の様子の例を図２４に示す。制御部１０１は、図２４に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図２４の最上段に示されるように、一方の投影部３１１（例えば投影部３１１－１）に対して、ラスタスキャン４３０－１乃至ラスタスキャン４３０－３のように、所定の絵柄のパタン画像をラスタスキャンにより被写体に投影させる。そのラスタスキャンのタイミングから少し遅れたタイミングにおいて、制御部１０１は、他方の投影部３１１（例えば投影部３１１－２）に対して、ラスタスキャン４３１－１乃至ラスタスキャン４３１－３のように、所定の絵柄のパタン画像をラスタスキャンにより被写体に投影させる。なお、図２４の最上段に示されるように、このような投影部３１１－１によるラスタスキャンは、投影部３１１－２によるラスタスキャンと重なるタイミングにおいて行われる。つまり、これらのラスタスキャンは互いに並行に実行することができる。
【0159】
そして、制御部１０１は、複数ラインの画素値を並列に読み出し可能な単数の撮像部４１２に対して、１つの投影部３１１による投影の１周期の間に、イメージング用途の撮像と複数回のセンシング用途の撮像を行わせる。複数回のセンシング用途の撮像の各回においては、互いに異なる投影部３１１によりパタン画像が投影された被写体が撮像される。
【0160】
より具体的には、制御部１０１は、撮像部４１２に、上述の投影のラスタスキャンの間に、図２４の上から２段目と３段目に示されるように、イメージング用途の撮像としての露光（例えば露光期間４３４－１乃至露光期間４３４－４）および読み出し（例えばラインスキャン４３７－１乃至ラインスキャン４３７－３）と、１回目のセンシング用途の撮像としての露光（例えば、露光期間４３２－１乃至露光期間４３２－３）および読み出し（例えばラインスキャン４３５－１乃至ラインスキャン４３５－３）と、２回目のセンシング用途の撮像としての露光（例えば、露光期間４３３－１乃至露光期間４３３－３）および読み出し（例えばラインスキャン４３６－１乃至ラインスキャン４３６－３）とを行わせる。
【0161】
このような１回目のセンシング用途の撮像は、１回目の投影が行われた被写体（例えば投影部３１１－１によりパタン画像が投影された被写体）が撮像されるようなタイミングで行われる。また、２回目のセンシング用途の撮像は、２回目の投影が行われた被写体（例えば投影部３１１－２によりパタン画像が投影された被写体）が撮像されるようなタイミングで行わせる。さらに、イメージング用途の撮像は、空いている期間（センシング用途の撮像が行われていない期間）を利用して行われる。
【0162】
以上のように、本実施の形態の場合、フレームメモリを必要とせずに第３の実施の形態の場合よりもさらに多くの情報を得ることができる。
【0163】
＜動体判定１＞
この場合も信号処理部１１３により動体判定を行うことができる。その場合、第１の実施の形態の場合と同様に、イメージング用途の撮像により得られる環境光下の被写体の撮像画像を用いて動体判定を行うようにしてもよいし、順次投影される、絵柄が互いに同一の一部の領域を有する複数枚のパタン画像のそれぞれの撮像画像を用いて動体判定を行うようにしてもよい（図１１）。
この場合も信号処理部１１３により動体判定を行うことができる。その場合、第１の実施の形態の場合と同様に、イメージング用途の撮像により得られる環境光下の被写体の撮像画像を用いて動体判定を行うようにしてもよいし、順次投影される、絵柄が互いに同一の一部の領域を有する複数枚のパタン画像のそれぞれの撮像画像を用いて動体判定を行うようにしてもよい（図１１）。
【0164】
さらに、複数（例えば「３」枚）のパタン画像のそれぞれの撮像画像を２枚ずつ以上足し合わせてSNR（Signal to Noise ratio）を稼いだ合成画像同士を比較することにより、動体判定を行うようにしてもよい。このようにすることにより、より正確に動体判定を行うことができる。
【0165】
＜動体判定２＞
また、ネガポジ反転したパタン画像と、環境光下の被写体の撮像画像とを用いて、以下のような演算を行い、動体判定を行うようにしてもよい。
また、ネガポジ反転したパタン画像と、環境光下の被写体の撮像画像とを用いて、以下のような演算を行い、動体判定を行うようにしてもよい。
【0166】
例えば、投影するパタン画像の１枚であるポジ画像をEpos[x]とし、投影するパタン画像の１枚であるネガ画像をEneg[x]とし、環境光下の被写体の画像をEambient[x]とし、投影されたポジ画像を含む撮像画像をIpos[x]とし、投影されたネガ画像を含む撮像画像をIneg[x]とし、環境光下の被写体の撮像画像をIoff[x]とし、分光反射率をR[x]とする。
【0167】
この場合、以下の式（１）が成り立つ。
【0168】
Ipos[x]=(Epos[x]+Eambient[x])・R[x]
Ineg[x]=(Eneg[x]+Eambient[x])・R[x]
Ioff[x]=(Eambient[x]+Eambient[x])・R[x]
・・・（１）
Ineg[x]=(Eneg[x]+Eambient[x])・R[x]
Ioff[x]=(Eambient[x]+Eambient[x])・R[x]
・・・（１）
【0169】
式（１）から環境光成分を除去すると以下の式（２）のようになる。
Ipos[x]-Ioff[x]=Epos[x]・R[x]
Ineg[x]-Ioff[x]=Eneg[x]・R[x]
・・・（２）
Ipos[x]-Ioff[x]=Epos[x]・R[x]
Ineg[x]-Ioff[x]=Eneg[x]・R[x]
・・・（２）
【0170】
式（２）から分光反射率を除去すると以下の式（３）のようになる。
Epos[x]/Eneg[x]=(Ipos[x]-Ioff[x])/(Ineg[x]-Ioff[x])
・・・（３）
Epos[x]/Eneg[x]=(Ipos[x]-Ioff[x])/(Ineg[x]-Ioff[x])
・・・（３）
【0171】
式（３）の値が１より大きければPosで白、小さければ黒と判定することができる。このようにすることにより、被写体のテクスチャ（分光反射率）によらず２値の投影画像を求めることができる。
【0172】
また、式（２）を変化させて、以下の式（４）のようにしてもよい。
Ipos[x]-Ineg[x]=(Epos[x]-Eneg[x])R[x]
・・・（４）
Ipos[x]-Ineg[x]=(Epos[x]-Eneg[x])R[x]
・・・（４）
【0173】
式（４）において、分光反射率は正であるから、Epos[x]-Eneg[x]の符号に基づいてより正確に白黒判定（パタンの判定）を行うことができる。以上のように、これらのような演算に基づいてパタンの判定を行い、その判定結果に基づいて動体判定を行うことにより、より正確に動体判定を行うことができる。
【0174】
＜画像処理の流れ＞
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図２５のフローチャートを参照して説明する。
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図２５のフローチャートを参照して説明する。
【0175】
画像処理が開始されると、制御部１０１は、ステップＳ４０１において、撮像部４１２を制御し、センシング用のラインスキャン読み出しと重なるタイミングのラインスキャン読み出しにより環境光下の被写体の撮像を行わせる。撮像部４１２は、その制御部１０１の制御に従って、イメージング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。
【0176】
ステップＳ４０２乃至ステップＳ４０６の各処理は、図２２のステップＳ３０１乃至ステップＳ３０５の各処理と同様に実行される。つまり、複数回のセンシング用途の撮像が行われ、得られた複数のセンシング用RAW画像を用いてデプス情報が生成される。
【0177】
ステップＳ４０７乃至ステップＳ４０９の各処理は、図１２のステップＳ１０５乃至ステップＳ１０７の各処理と同様に実行される。制御部１０１は、必要なだけステップＳ４０１乃至ステップＳ４０９の処理を繰り返し実行する。そして、ステップＳ４０９において、測距を終了し、画像処理を終了すると判定された場合、画像処理が終了する。
【0178】
以上のように画像処理を行うことにより、１台の投影部による画像の投影の１周期の間に、センシング用途の撮像を複数回（例えば２回）行い、さらに、イメージング用途の撮像を行うことができる。つまり、第１の実施の形態の場合と同様にフレームメモリを必要とせずにより多くの情報を得ることができる。
【0179】
＜６．第５の実施の形態＞
＜単数投影、複数撮像＞
また、画像処理装置１００が撮像部を複数備えるようにしてもよい。また、その場合、各撮像部の構成が互いに異なるようにしてもよい。例えば、制御部１０１が、センシング用途の撮像とイメージング用途の撮像を行う撮像部と異なる他の撮像部に、その撮像部のイメージング用途の撮像に同期して、イメージング用途の撮像としての露光および読み出しを行わせるようにしてもよい。このようにすることにより、フレームメモリを必要とせずに、さらに多くの情報を得ることができる。
＜単数投影、複数撮像＞
また、画像処理装置１００が撮像部を複数備えるようにしてもよい。また、その場合、各撮像部の構成が互いに異なるようにしてもよい。例えば、制御部１０１が、センシング用途の撮像とイメージング用途の撮像を行う撮像部と異なる他の撮像部に、その撮像部のイメージング用途の撮像に同期して、イメージング用途の撮像としての露光および読み出しを行わせるようにしてもよい。このようにすることにより、フレームメモリを必要とせずに、さらに多くの情報を得ることができる。
【0180】
＜画像処理装置＞
図２６にこの場合の画像処理装置１００の主な構成例を示す。図２６に示されるように、この場合の画像処理装置１００は、図１３の場合の構成に加え、さらに、撮像部１１２を有する。撮像部１１２は、制御部１０１に制御されて撮像に関する処理を行う。
図２６にこの場合の画像処理装置１００の主な構成例を示す。図２６に示されるように、この場合の画像処理装置１００は、図１３の場合の構成に加え、さらに、撮像部１１２を有する。撮像部１１２は、制御部１０１に制御されて撮像に関する処理を行う。
【0181】
＜投影と撮像の制御＞
この場合の投影と撮像の様子の例を図２７に示す。制御部１０１は、図２７に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図２７の最上段に示されるように、投影部１１１に対して、ラスタスキャン５３１－１乃至ラスタスキャン５３１－３のように、ラスタスキャン方式で所定の絵柄のパタン画像を被写体に投影させる。
この場合の投影と撮像の様子の例を図２７に示す。制御部１０１は、図２７に示されるように投影と撮像が行われるように、各処理部を制御する。つまり、制御部１０１は、図２７の最上段に示されるように、投影部１１１に対して、ラスタスキャン５３１－１乃至ラスタスキャン５３１－３のように、ラスタスキャン方式で所定の絵柄のパタン画像を被写体に投影させる。
【0182】
そして、制御部１０１は、複数ラインの画素値を並列に読み出し可能な単数の撮像部２１２を制御し、図２７の上から２段目と３段目に示されるように、投影部１１１による投影の１周期の間に、イメージング用途の撮像と、センシング用途の撮像を行わせる。ここまでは、第２の実施の形態において説明した場合（図１４）と同様である。
【0183】
本実施の形態の場合、さらに、制御部１０１は、１ラインずつ画素値の読み出しが可能な単数の撮像部１１２を制御し、図２７の上から４段目と５段目に示されるように、撮像部２１２によるイメージング用途の撮像と同期して（同タイミングにおいて）、イメージング用途の撮像を行わせる。撮像部１１２は、１ラインずつしか画素値の読み出しができないが、センシング用途の撮像は行われないので、撮像部２１２と同期してイメージング用途の撮像を行うことができる。
【0184】
つまり、撮像部２１２は、制御部１０１に制御されて、イメージング用途の撮像として、露光期間５３３－１乃至露光期間５３３－３において露光し、ラインスキャン５３５－１乃至ラインスキャン５３５－３のように画素値を読み出す。
【0185】
これに同期して、撮像部１１２は、制御部１０１に制御されて、イメージング用途の撮像として、露光期間５３６－１乃至露光期間５３６－３において露光し、ラインスキャン５３７－１乃至ラインスキャン５３７－３のように画素値を読み出す。
【0186】
さらに、撮像部２１２は、制御部１０１に制御されて、センシング用途の撮像として、露光期間５３２－１乃至露光期間５３２－３において露光し、ラインスキャン５３４－１乃至ラインスキャン５３４－３のように画素値を読み出す。
【0187】
このようにすることにより、フレームメモリを必要とせずにより多くの情報を得ることができる。
【0188】
なお、この場合、複数の撮像部において被写体の撮像画像が得られるので、撮像部同士の間の視差を利用して測距を行うこともできる。例えば、遠い被写体は、撮像画像間の視差を利用して測距を行い、近い被写体は、パタン画像を用いて測距を行うようにしてもよい。
【0189】
なお、以上においては、撮像部１１２が、イメージング用途の撮像を行うように説明したが、これに限らず、どのような撮像を行うようにしてもよい。
【0190】
例えば、撮像部１１２が、可視光（RGB）だけでなく、赤外光（IR）も撮像するようにしてもよい。また、撮像部１１２が赤外光（IR）のみを撮像するようにしてもよい。
【0191】
＜画像処理の流れ＞
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図２８のフローチャートを参照して説明する。
次に、以上のような画像処理装置１００により実行される画像処理の流れの例を、図２８のフローチャートを参照して説明する。
【0192】
画像処理が開始されると、制御部１０１は、ステップＳ５０１において、撮像部２１２を制御し、センシング用のラインスキャン読み出しと重なるタイミングのラインスキャン読み出しにより環境光下の被写体の撮像を行わせる。撮像部２１２は、その制御部１０１の制御に従って、イメージング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。
【0193】
ステップＳ５０２において、制御部１０１は、撮像部１１２を制御し、ステップＳ５０１のイメージング用途の撮像のラインスキャンと同じタイミングで環境光下の被写体の撮像を行わせる。撮像部１１２は、その制御部１０１の制御に従って、イメージング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。
【0194】
ステップＳ５０３において、制御部１０１は、投影部１１１を制御し、センシング用画像であるパタン画像をラスタスキャンにより投影させる。投影部１１１は、その制御部１０１の制御に従って、所定のパタン画像をラスタスキャンにより被写体に投影する。
【0195】
ステップＳ５０４において、制御部１０１は、撮像部２１２を制御し、ステップＳ５０３の投影（のラスタスキャン）を含む、ラインスキャン的に設定された露光期間の露光と読み出しにより、上述のパタン画像が投影された被写体の撮像を行わせる。撮像部２１２は、その制御部１０１の制御に従って、センシング用途の撮像としての、ラインスキャン的な露光とラインスキャンの読み出しとを行う。なお、その露光は、露光期間内において被写体にパタン画像が投影されるタイミングで行われる。また、その読み出しのラインスキャンは、イメージング用途の撮像としての読み出しのラインスキャンと重なるようなタイミングにおいて行われる。
【0196】
ステップＳ５０５において、制御部１０１は、信号処理部１１３を制御し、ステップＳ５０４のセンシング用途の撮像により得られたセンシング用RAW画像と、ステップＳ５０１およびステップＳ５０２のイメージング用途の撮像により得られた複数のイメージング用RAW画像とから、デプス情報を生成する。デプス情報生成法としては、たとえばステレオマッチングを用いた三角測量などを用いればよい。最終的にはＳ５０５ではセンシング用、イメージング用を組み合わせて求めたデプス画像を統合したデプス画像を生成する。
【0197】
ステップＳ５０６において、制御部１０１は、信号処理部１１３を制御し、ステップＳ５０１やステップＳ５０２において得られたイメージング用RAW画像から撮像画像を生成する。例えば、信号処理部１１３は、そのような制御部１０１の制御に従って、デモザイク処理等を行って、環境光下の被写体を撮像して得られた画素値から撮像画像を生成する。また、例えば、信号処理部１１３が、ステップＳ５０５のデプス情報を用いて撮像画像を生成するようにしてもよい。このようにすることにより、撮像部２１２および撮像部１１２から得られたイメージング用RAW画像の各点の対応関係を求めることができる。また、この対応する２点の画素値を活用し、例えばSNRの向上や、HDR（HighDynamicRange）合成、超解像処理などの処理が行われるようにしてもよい。
【0198】
ステップＳ５０７において、制御部１０１は、信号処理部１１３を制御し、ステップＳ５０５において生成したデプス情報と、ステップＳ５０６において生成した撮像画像とを紐づけて出力する。
【0199】
ステップＳ５０８において、制御部１０１は、画像処理を終了するか否かを判定する。測距を継続し、画像処理を終了しないと判定された場合、処理はステップＳ５０１に戻り、それ以降の処理を実行させる。つまり、制御部１０１は、上述したステップＳ５０１乃至ステップＳ５０８の処理を繰り返すことにより、新たなパタン画像または同じパタン画像を再度投影させ、その投影画像を用いて測距を行わせるように各処理部を制御する。
【0200】
制御部１０１は、このように、必要なだけステップＳ５０１乃至ステップＳ５０８の処理を繰り返し実行する。そして、ステップＳ５０８において、画像処理を終了すると判定された場合、画像処理が終了する。
【0201】
以上のように画像処理を行うことにより、１台の投影部１１１による画像の投影の１周期の間に、撮像部２１２は、センシング用途の撮像とイメージング用途の撮像とを１回ずつ行い、さらに、撮像部１１２は、イメージング用途の撮像を行うことができる。つまり、フレームメモリを必要とせずにより多くの情報を得ることができる。
【0202】
＜７．第６の実施の形態＞
＜画像処理システム＞
以上に説明したような画像処理装置１００を複数組み合わせて用いるようにしてもよい。例えば、複数の画像処理装置１００を制御して、より広範囲を測距および撮像するようにしてもよい。
＜画像処理システム＞
以上に説明したような画像処理装置１００を複数組み合わせて用いるようにしてもよい。例えば、複数の画像処理装置１００を制御して、より広範囲を測距および撮像するようにしてもよい。
【0203】
図２９は、本技術を適用した情報処理システムの一実施の形態である画像処理システムの主な構成例を示すブロック図である。図２９に示される画像処理システム６００は、複数の画像処理装置を用いて、より広範囲を測距するシステムである。図２９に示されるように、画像処理システム６００は、制御装置６０１と、画像処理装置６０２－１乃至画像処理装置６０２－４とを有する。画像処理装置６０２－１乃至画像処理装置６０２－４を互いに区別して説明する必要がない場合、画像処理装置６０２と称する。
【0204】
制御装置６０１は、各画像処理装置６０２の動作を制御する。画像処理装置６０２は、上述した画像処理装置１００と同様の装置であり、同様の構成を有し、同様の処理を行う。すなわち、画像処理装置６０２は、イメージング用途の撮像とセンシング用途の撮像とを行い、被写体の撮像画像とその被写体のデプス情報を生成し、それらを紐づけて出力する。
【0205】
図２９に示されるように、制御装置６０１は、制御部６１１および通信部６１２を有する。制御部６１１は、例えば、CPU、ROM、RAM等により構成され、プログラム等を実行することにより、画像処理装置６０２の制御に関する処理を行う。制御部６１１は、通信部６１２を介して画像処理装置６０２と通信を行い、それらの制御を行う。通信部６１２は、各画像処理装置６０２と有線または無線により通信を行う。
【0206】
画像処理装置６０２は、画像処理装置１００と同様に処理を行う。つまり、画像処理装置６０２は、ラスタスキャン方式によりパタン画像を投影したり、ラインスキャン方式により被写体を撮像したりする。制御装置６０１は、各画像処理装置６０２のスキャンの方向（投影としてのラスタスキャンや、撮像の読み出しとしてのラインスキャンの方向）を制御する。つまり、制御装置６０１は、図３０に示されるように、画像処理装置６０２のそれぞれに対して、投影および撮像としてのスキャンを、隣接する他の画像処理装置６０２と異なる方向に行わせる。
【0207】
図３０において、各四角は、画像処理装置６０２によるパタン画像の投影の様子の例を示しており、各四角内の矢印は、その投影および撮像のスキャンの方向を示している。つまり、画像処理装置６０２－１乃至画像処理装置６０２－４は、スキャンの方向が交互に反転している。
【0208】
隣接する画像処理装置６０２同士で、投影のラスタスキャンや撮像のラインスキャンの方向が同一であると、図３１の上段に示されるように、それぞれの露光時間が長く重畳してしまうおそれがある。つまり、他の（隣の）画像処理装置６０２から投影されたパタン画像をより多くのラインで撮像してしまうおそれがある。すなわち、他のパタン画像の影響をより強く受けてしまうおそれがある。
【0209】
そこで、上述したように、隣接する画像処理装置６０２同士でスキャン方向を反転させることにより、図３１の下段に示されるように、重複する露光期間を短くすることができる。つまり、他の画像処理装置６０２から投影されたパタン画像による影響を抑制することができ、より正確に測距を行うことができる。
【0210】
＜制御処理の流れ＞
このような画像処理システムにおいて制御装置６０１が実行する制御処理の流れの例を、図３２のフローチャートを参照して説明する。
このような画像処理システムにおいて制御装置６０１が実行する制御処理の流れの例を、図３２のフローチャートを参照して説明する。
【0211】
制御処理が開始されると、制御装置６０１の制御部６１１は、ステップＳ６０１において、各画像処理装置６０２のスキャン方向を制御し、センシング用画像であるパタン画像の投影位置が隣接する画像処理装置同士でスキャンの向きを反転させる。
【0212】
ステップＳ６０２において、制御部６１１は、各画像処理装置６０２に画像処理を行わせ、デプス情報や撮像画像を生成させる。
【0213】
ステップＳ６０３において、制御部６１１は、通信部６１２を介して、各画像処理装置６０２より、デプス情報および撮像画像を取得する。
【0214】
ステップＳ６０３の処理が終了すると制御処理が終了する。
【0215】
以上のように制御処理を実行することにより、制御装置６０１は、各画像処理装置６０２により正確な測距を行わせることができる。すなわち、制御装置６０１は、より正確なデプス情報を取得することができる。
【0216】
なお、画像処理システム６００を構成する各装置（制御装置６０１や画像処理装置６０２）の数は任意であり、図２９の例に限定されない。
【0217】
勿論、画像処理システム６００の各装置は、上述した例に限定されず、任意の組み合わせで一体化して１つの装置とすることができる。
【0218】
＜８．その他＞
＜本技術の適用分野＞
本技術は、測距を行うものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
＜本技術の適用分野＞
本技術は、測距を行うものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
【0219】
例えば、本技術は、画像鑑賞やゲーム等の娯楽の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
【0220】
＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【0221】
図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0222】
図３３に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
【0223】
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
【0224】
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
【0225】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0226】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
【0227】
＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0228】
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【0229】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0230】
また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
【0231】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【0232】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0233】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【0234】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【0235】
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【0236】
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【0237】
なお、本技術は以下のような構成も取ることができる。
（１） 投影部を制御し、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、撮像部を制御し、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる制御部
を備える情報処理装置。
（２） 前記制御部は、画素値を１ラインずつ読み出し可能な単数の撮像部に前記被写体を撮像させる
（１）に記載の情報処理装置。
（３） 前記制御部は、前記撮像部に、前記パタン画像の投影としての前記スキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しとを行わせる
（２）に記載の情報処理装置。
（４） 前記制御部は、前記撮像部に、露光期間内において前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての読み出しのラインスキャンと重ならないようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（３）に記載の情報処理装置。
（５） 前記イメージング用の撮像により得られた情報に基づいて前記被写体の画像情報を生成し、前記センシング用の撮像により得られた情報に基づいて前記被写体のデプス情報を生成する画像処理部をさらに備える
（４）に記載の情報処理装置。
（６） 前記画像処理部は、前記被写体の画像に基づいて動体判定を行い、前記動体判定結果に基づいて前記被写体のデプス情報を生成する
（５）に記載の情報処理装置。
（７） 前記制御部は、前記投影部に、一部の領域において絵柄が同一の複数の所定のパタン画像を順次投影させ、
前記画像処理部は、前記絵柄が同一の領域に基づいて動体判定を行い、前記動体判定結果に基づいて前記被写体のデプス情報を生成する
（５）に記載の情報処理装置。
（８） 前記制御部は、複数ラインの画素値を並列に読み出し可能な単数の撮像部に前記被写体を撮像させる
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記制御部は、単数の投影部に、前記パタン画像を投影させる
（８）に記載の情報処理装置。
（１０） 前記制御部は、前記撮像部に、前記パタン画像の投影としての前記スキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しを行わせる
（９）に記載の情報処理装置。
（１１） 前記制御部は、前記撮像部に、露光期間内において前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての読み出しのラインスキャンと重なるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（１０）に記載の情報処理装置。
（１２） 前記制御部は、さらに、前記撮像部と異なる他の撮像部に、前記撮像部による前記イメージング用の撮像に同期して、イメージング用の撮像としての露光および読み出しを行わせる
（１１）に記載の情報処理装置。
（１３） 前記制御部は、前記撮像部に、
前記イメージング用の撮像としての露光および読み出しを複数回行わせ、
露光期間内に前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての複数回の読み出しのうちの少なくとも最後の読み出しのラインスキャンと重なるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記制御部は、複数の投影部に、前記パタン画像の投影としての点光源またはライン光源のスキャンを、他の投影部による前記パタン画像の投影としての前記スキャンと重なるようなタイミングにおいて行わせる
（８）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記制御部は、前記撮像部に、各投影部による前記パタン画像の投影に対して、露光期間内において前記被写体に前記パタン画像が投影されるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（１４）に記載の情報処理装置。
（１６） 前記制御部は、さらに、前記撮像部に、イメージング用の撮像としての露光および読み出しを行わせる
（１５）に記載の情報処理装置。
（１７） 前記投影部および前記撮像部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる
情報処理方法。
（１９） パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる制御部
を備える情報処理装置。
（２０） パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる
情報処理方法。
（１） 投影部を制御し、パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、撮像部を制御し、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる制御部
を備える情報処理装置。
（２） 前記制御部は、画素値を１ラインずつ読み出し可能な単数の撮像部に前記被写体を撮像させる
（１）に記載の情報処理装置。
（３） 前記制御部は、前記撮像部に、前記パタン画像の投影としての前記スキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しとを行わせる
（２）に記載の情報処理装置。
（４） 前記制御部は、前記撮像部に、露光期間内において前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての読み出しのラインスキャンと重ならないようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（３）に記載の情報処理装置。
（５） 前記イメージング用の撮像により得られた情報に基づいて前記被写体の画像情報を生成し、前記センシング用の撮像により得られた情報に基づいて前記被写体のデプス情報を生成する画像処理部をさらに備える
（４）に記載の情報処理装置。
（６） 前記画像処理部は、前記被写体の画像に基づいて動体判定を行い、前記動体判定結果に基づいて前記被写体のデプス情報を生成する
（５）に記載の情報処理装置。
（７） 前記制御部は、前記投影部に、一部の領域において絵柄が同一の複数の所定のパタン画像を順次投影させ、
前記画像処理部は、前記絵柄が同一の領域に基づいて動体判定を行い、前記動体判定結果に基づいて前記被写体のデプス情報を生成する
（５）に記載の情報処理装置。
（８） 前記制御部は、複数ラインの画素値を並列に読み出し可能な単数の撮像部に前記被写体を撮像させる
（１）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記制御部は、単数の投影部に、前記パタン画像を投影させる
（８）に記載の情報処理装置。
（１０） 前記制御部は、前記撮像部に、前記パタン画像の投影としての前記スキャンの１周期の間に、イメージング用の撮像としての露光および読み出しと、センシング用の撮像としての露光および読み出しを行わせる
（９）に記載の情報処理装置。
（１１） 前記制御部は、前記撮像部に、露光期間内において前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての読み出しのラインスキャンと重なるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（１０）に記載の情報処理装置。
（１２） 前記制御部は、さらに、前記撮像部と異なる他の撮像部に、前記撮像部による前記イメージング用の撮像に同期して、イメージング用の撮像としての露光および読み出しを行わせる
（１１）に記載の情報処理装置。
（１３） 前記制御部は、前記撮像部に、
前記イメージング用の撮像としての露光および読み出しを複数回行わせ、
露光期間内に前記被写体に前記パタン画像が投影され、かつ、読み出しのラインスキャンが前記イメージング用の撮像としての複数回の読み出しのうちの少なくとも最後の読み出しのラインスキャンと重なるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（１０）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記制御部は、複数の投影部に、前記パタン画像の投影としての点光源またはライン光源のスキャンを、他の投影部による前記パタン画像の投影としての前記スキャンと重なるようなタイミングにおいて行わせる
（８）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記制御部は、前記撮像部に、各投影部による前記パタン画像の投影に対して、露光期間内において前記被写体に前記パタン画像が投影されるようなタイミングにおいて、前記センシング用の撮像としての露光および読み出しを行わせる
（１４）に記載の情報処理装置。
（１６） 前記制御部は、さらに、前記撮像部に、イメージング用の撮像としての露光および読み出しを行わせる
（１５）に記載の情報処理装置。
（１７） 前記投影部および前記撮像部をさらに備える
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８） パタン画像を被写体に投影する点光源またはライン光源のスキャンを行わせ、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行わせる
情報処理方法。
（１９） パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる制御部
を備える情報処理装置。
（２０） パタン画像を被写体に投影する点光源またはライン光源のスキャンを行い、前記パタン画像の投影としての前記スキャンの１周期の間に、前記被写体を撮像する露光およびラインスキャンによる読み出しを複数回行う複数の画像処理装置のそれぞれに対して、前記パタン画像の投影としての前記スキャンおよび前記被写体の撮像としての前記ラインスキャンを、隣接する他の画像処理装置と異なる方向に行わせる
情報処理方法。
【符号の説明】
【0238】
１００ 画像処理装置， １０１ 制御部， １１１ 投影部， １１２ 撮像部， １１３ 信号処理部， １２１ 受光部， １２２ ADコンバータ， ２１２ 撮像部， ２２２ ADコンバータ， ３１１ 投影部， ４１２ 撮像部， ４２２ ADコンバータ， ６００ 画像処理システム， ６０１ 制御装置， ６０２ 画像処理装置， ６１１ 制御部， ６１２ 通信部， ９００ コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】