知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】
(45)【発行日】
(54)【発明の名称】身体装着型端末及び情報処理システム
(51)【国際特許分類】
【ＦＩ】
【請求項の数】
16
(21)【出願番号】
(86)(22)【出願日】
(86)【国際出願番号】
(87)【国際公開番号】
(87)【国際公開日】
【審査請求日】
(31)【優先権主張番号】
(32)【優先日】
(33)【優先権主張国・地域又は機関】
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】中川 慶
(72)【発明者】
【氏名】鈴木 敦史
(72)【発明者】
【氏名】崎岡 洋司
(72)【発明者】
【氏名】皆川 佑輔
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開２０１７－０７２５６０（ＪＰ，Ａ）
【文献】国際公開第２０２１／１６１７１２（ＷＯ，Ａ１）
【文献】国際公開第２０２０／２６１８３８（ＷＯ，Ａ１）
【文献】特開２０２０－０６０７６５（ＪＰ，Ａ）
【文献】米国特許第１１０１２６７７（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／６４
Ｈ０４Ｎ ２５／４０
Ｈ０４Ｎ ２５／５３
Ｈ０４Ｎ ２５／６５
Ｈ０４Ｎ ２５／７７１
(57)【特許請求の範囲】
【請求項】
入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記第１の画像信号とは異なるタイミングにおいて生成される前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える複数の画素が２次元行列状に配置された画素アレイ部と、前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
前記第１のフレームから周辺地図を生成する自己位置推定部と、
前記第２のフレームから人物の少なくとも一部の物体である注目物体を検出して注目物体情報を生成する物体検出部と、
前記周辺地図及び前記注目物体情報を表示する表示部と、
前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御、前記自己位置推定部に前記周辺地図を生成させる周辺地図生成制御、前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体情報を生成させる注目物体検出制御並びに前記周辺地図及び前記注目物体情報を前記表示部に表示させる表示制御を行う制御部と
を有する身体装着型端末。
【請求項】
前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える請求項１に記載の身体装着型端末。
【請求項】
前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
請求項２に記載の身体装着型端末。
【請求項】
前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部を更に有し、
前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
請求項３に記載の身体装着型端末。
【請求項】
自身の身体装着型端末の動きの情報である動き情報を生成する動き検出部を更に有し、前記制御部は、前記動き検出部に前記動き情報を生成させる動き情報生成制御及び前記生成された動き情報に基づいて前記周辺地図を補正する周辺地図補正制御を更に行う
請求項１に記載の身体装着型端末。
【請求項】
前記制御部は、前記注目物体の動きを検出する動き検出制御を更に行う請求項１に記載の身体装着型端末。
【請求項】
複数の前記画素アレイ部を有し、前記画像生成部は、複数の前記画素アレイ部毎の前記第１のフレーム及び前記第２のフレームを生成し、
前記自己位置推定部は、複数の前記画素アレイ部毎の前記第１のフレームから前記周辺地図を生成し、
前記物体検出部は、複数の前記画素アレイ部毎の前記第２のフレームから前記注目物体を検出する
請求項１に記載の身体装着型端末。
【請求項】
自身の身体装着型端末は、身体の頭部に装着する端末装置に構成され、前記画素アレイ部は、前記身体の視野方向の被写体に基づく前記第１の画像信号及び前記第２の画像信号を生成する
請求項１に記載の身体装着型端末。
【請求項】
入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記第１の画像信号とは異なるタイミングにおいて生成される前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える複数の画素が２次元行列状に配置された画素アレイ部と、前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
前記第１のフレームから周辺地図を生成する自己位置推定部と、
前記第２のフレームから人物の少なくとも一部の物体である注目物体を検出して注目物体情報を生成する物体検出部と、
前記周辺地図及び前記注目物体情報を表示する表示部と、
前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御、前記自己位置推定部に前記周辺地図を生成させる周辺地図生成制御、前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体情報を生成させる注目物体検出制御並びに前記周辺地図及び前記注目物体情報を前記表示部に表示させる表示制御を行う制御部と
を有する情報処理システム。
【請求項】
前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える請求項９に記載の情報処理システム。
【請求項】
前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
請求項１０に記載の情報処理システム。
【請求項】
前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部を更に有し、
前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
請求項１１に記載の情報処理システム。
【請求項】
自身の情報処理システムの動きの情報である動き情報を生成する動き検出部を更に有し、前記制御部は、前記動き検出部に前記動き情報を生成させる動き情報生成制御及び前記生成された動き情報に基づいて前記周辺地図を補正する周辺地図補正制御を更に行う
請求項９に記載の情報処理システム。
【請求項】
前記制御部は、前記注目物体の動きを検出する動き検出制御を更に行う請求項９に記載の情報処理システム。
【請求項】
複数の前記画素アレイ部を有し、前記画像生成部は、複数の前記画素アレイ部毎の前記第１のフレーム及び前記第２のフレームを生成し、
前記自己位置推定部は、複数の前記画素アレイ部毎の前記第１のフレームから前記周辺地図を生成し、
前記物体検出部は、複数の前記画素アレイ部毎の前記第２のフレームから前記注目物体を検出する
請求項９に記載の情報処理システム。
【請求項】
自身の情報処理システムは、身体の頭部に装着するシステムに構成され、前記画素アレイ部は、前記身体の視野方向の被写体に基づく前記第１の画像信号及び前記第２の画像信号を生成する
請求項９に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【】
本開示は、身体装着型端末及び情報処理システムに関する。
【背景技術】
【】
被写体の画像を生成する撮像素子を備える装置が使用されている。この装置は、撮像素子により生成された画像の処理を行う装置である。この装置に使用する撮像素子は、光電変換素子を有する画素が２次元行列状に配置されて構成される。また、この撮像素子は、被写体からの光の光電変換を行う露光と光電変換により生成された電荷に基づく画像信号の画素からの読み出しとを繰り返すことにより、生成した画像を出力する。
【】
この画素において、露光期間に光電変換により生成された電荷は、光電変換素子の内部に蓄積される。そして、露光期間の経過後に光電変換素子に蓄積された電荷が、電荷保持部に転送される。この電荷保持部は、光電変換素子が形成される半導体基板に配置された拡散領域により形成される浮遊拡散層（Floating Diffusion）により構成することができる。この浮遊拡散層には増幅トランジスタが接続され、浮遊拡散層に保持された電荷に応じた信号が生成される。このような信号の生成方式は、浮遊拡散アンプと称される。なお、浮遊拡散層は、電荷の転送の直前に残留する電荷を排出するリセットがリセット部により行われる。
【】
一方、読み出しは、２次元行列状に配置された画素の行毎に順次行われる。この際、１行に配置された画素において、同時に読み出しが行われる。このような画像の生成方法として、ローリングシャッタ方式とグローバルシャッタ方式とが使用されている。
【】
ローリングシャッタ方式は、露光及び読み出しを行毎に期間をずらして順次行う方式であり、撮像素子の構成を簡略化できる方式である。しかし、ローリングシャッタ方式は、行毎に露光のタイミングが異なるため、動きのある被写体を撮像する場合に画像に歪みを生じる問題がある。
【】
グローバルシャッタ方式は、全ての画素において同時に露光を行って露光期間に生成された電荷を保持する方式である。読み出しは、保持した電荷に基づいて行毎に順次行う。全ての画素において同時に露光を行うグローバルシャッタにより、画像の歪みを防ぐことができる。露光期間の終了から読み出しまでに時間がかかるため、前述の浮遊拡散層とは異なる第２の電荷保持部に電荷を転送し、読み出しの際には第２の電荷保持部の電荷に基づいて信号を生成する。浮遊拡散層は光電変換素子に隣接するため、漏洩する入射光による電荷が浮遊拡散層の電荷に重畳する問題がある。これによる画質の低下を防ぐため、第２の電荷保持部が必要になる。
【】
このグローバルシャッタ方式を採用する撮像素子において、第２の電荷保持部に容量素子を適用した撮像素子が提案されている。例えば、２つの容量素子を第２の電荷保持部として使用する撮像素子が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【】
【文献】米国特許出願公開第２０２０／２７９８７６号明細書
【発明の概要】
【発明が解決しようとする課題】
【】
しかしながら、上記の従来技術では、グローバルシャッタ方式とローカルシャッタ方式の切り替えができないという問題がある。
【】
そこで、本開示では、グローバルシャッタ方式とローカルシャッタ方式を切り替えて撮像を行う身体装着型端末及び情報処理システムを提案する。
【課題を解決するための手段】
【】
本開示に係る身体装着型端末は、画素アレイ部と、画素制御部と、画像生成部と、自己位置推定部と、物体検出部と、表示部と、制御部とを有する。画素アレイ部は、入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、上記受光部から出力された電圧レベルを保持する信号レベル保持部、上記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び上記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置される。画素制御部は、上記画素に対して、上記受光部における上記入射光の露光及び当該露光の後に出力される上記電圧レベルに基づく上記第２の画像信号生成部における上記第２の画像信号の生成を上記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、上記受光部における上記入射光の露光及び当該露光の後に出力される上記電圧レベルの上記信号レベル保持部への保持を上記画素アレイ部に配置された上記画素において同時に行うとともに上記第１の画像信号生成部における上記第１の画像信号の生成を上記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う。画像生成部は、上記第１の画像信号に基づく画像である第１のフレーム及び上記第２の画像信号に基づく画像である第２のフレームを生成する。自己位置推定部は、上記第１のフレームから周辺地図を生成する。物体検出部は、上記第２のフレームから注目物体を検出して注目物体情報を生成する。表示部は、上記周辺地図及び上記注目物体情報を表示する。制御部は、上記画素制御部に上記グローバルシャッタの制御を行わせるとともに上記画像生成部に上記第１のフレームを生成させる第１のフレーム生成制御、上記自己位置推定部に上記周辺地図を生成させる周辺地図生成制御、上記画素制御部に上記ローカルシャッタの制御を行わせるとともに上記画像生成部に上記第２のフレームを生成させる第２のフレーム生成制御、上記物体検出部に上記注目物体情報を生成させる注目物体検出制御及び上記周辺地図及び上記注目物体情報を上記表示部に表示させる表示制御を行う。
【図面の簡単な説明】
【】
【図】本開示の第１の実施形態に係る身体装着型端末の一例を示す図である。
【図】本開示の第１の実施形態に係る身体装着型端末の構成例を示す図である。
【図】本開示の第１の実施形態に係る身体装着型端末の構成例を示す図である。
【図】本開示の実施形態に係る画素の構成例を示す図である。
【図】本開示の実施形態に係る画像信号の生成の一例を示す図である。
【図】本開示の実施形態に係るフレームの生成の一例を示す図である。
【図】本開示の実施形態に係る画像信号の生成の一例を示す図である。
【図】本開示の実施形態に係るフレームの生成の一例を示す図である。
【図】本開示の実施形態に係る周辺地図生成の一例を示す図である。
【図】本開示の第１の実施形態に係る処理方法の一例を示す図である。
【図】本開示の実施形態に係る処理方法の他の例を示す図である。
【図】本開示の第２の実施形態に係る身体装着型端末の一例を示す図である。
【図】本開示の第２の実施形態に係る身体装着型端末の構成例を示す図である。
【図】本開示の実施形態の変形例に係る画素の構成例を示す図である。
【図】本開示の実施形態の変形例に係る画素の他の構成例を示す図である。
【発明を実施するための形態】
【】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．変形例
１．第１の実施形態
２．第２の実施形態
３．変形例
【】
（１．第１の実施形態）
［身体装着型端末］
図１は、本開示の第１の実施形態に係る身体装着型端末の一例を示す図である。同図は、身体装着型端末１の外観を表す図である。ここで、身体装着型端末とは、ウェアラブル（Wearable）端末と称され、身体に装着して使用される端末装置である。
［身体装着型端末］
図１は、本開示の第１の実施形態に係る身体装着型端末の一例を示す図である。同図は、身体装着型端末１の外観を表す図である。ここで、身体装着型端末とは、ウェアラブル（Wearable）端末と称され、身体に装着して使用される端末装置である。
【】
同図は、ヘッドマウントディスプレイ(ＨＭＤ：Head Mounted Display)に構成される身体装着型端末１の例を表したものである。このヘッドマウントディスプレイは、頭部に装着する表示装置である。同図の身体装着型端末１は、筐体１０を備え、筐体１０に配置された取り付けベルト９を使用して人物の頭部に固定される。また、筐体１０の内部には表示部（後述する表示部６）を備える。この表示部６に画像を表示させて、使用者に拡張現実（ＡＲ：Augmented Reality）や仮想現実（ＶＲ：Virtual Reality）の画像を表示させることができる。
【】
同図の筐体１０の紙面の奥の側を人物の顔に当接させて使用する。また、同図の身体装着型端末１は、使用者の目を覆う形状に構成され、使用者を外界から遮断する例を表したものである。この身体装着型端末１には、撮像素子３が配置される。この撮像素子３は、外界の画像を撮像するものである。同図の撮像素子３は、筐体１０の前面側に配置され、使用者の視野方向の被写体の画像を撮像する例を表したものである。同図の白抜きの矢印は、使用者の視野の方向を表す。この外界の画像を使用して使用者の周囲の物理空間を表す新たな画像を生成し、表示部６に表示させることができる。使用者の周囲の物理空間を常に把握し、当該物理空間と相互作用画像を生成して使用者に見せることが可能となる。例えば、周囲の画像に仮想的な物体の画像を重畳した画像を生成し、表示することができる。このような技術は、複合現実（ＭＲ：Mixed Reality）と称される。
【】
使用者の周囲の画像は、ＳＬＡＭ（Simultaneous Localization and Mapping）技術により生成することができる。このＳＬＡＭは、撮像素子３により取得された画像に基づいて自己位置推定と環境地図作成とを行う技術である。ここで環境地図作成とは、使用者の周辺の物理空間を表す地図の作成を表す。また、自己位置推定は、環境地図における使用者の位置の推定を表す。同図の身体装着型端末１は、ＳＬＡＭ技術を使用して使用者の周辺の地図（以下周辺地図と称する）を生成し、周辺地図を表示部６により表示する。また、身体装着型端末１は、使用者の周囲を撮像して画像を生成し、当該画像を周辺地図に重畳させて表示することができる。
【】
［身体装着型端末の構成］
図２は、本開示の第１の実施形態に係る身体装着型端末の構成例を示す図である。同図は、身体装着型端末１の構成例を表す図である。身体装着型端末１は、慣性計測部２と、撮像素子３と、制御装置４と、アプリケーションプロセッサ５と、表示部６とを備える。
図２は、本開示の第１の実施形態に係る身体装着型端末の構成例を示す図である。同図は、身体装着型端末１の構成例を表す図である。身体装着型端末１は、慣性計測部２と、撮像素子３と、制御装置４と、アプリケーションプロセッサ５と、表示部６とを備える。
【】
慣性計測部２は、ＩＭＵ（Inertial Measurement Unit）とも称され、使用者の動きを検出するものである。この使用者の動きには、例えば、使用者の移動、回転及び方向の変化等が該当する。慣性計測部２は、例えば、３軸方向のジャイロセンサ及び加速度センサを備え、使用者の動きの検出を行う。なお、慣性計測部２は、請求の範囲に記載の動き検出部の一例である。
【】
撮像素子３は、被写体等の撮像を行って画像を生成するものである。
【】
制御装置４は、慣性計測部２や撮像素子３等のハードウェア部を制御するものである。この制御装置４は、慣性計測部２における使用者の動きの検出の制御を行い、撮像素子３における被写体の画像の撮像の制御を行う。
【】
アプリケーションプロセッサ５は、身体装着型端末１の全体を制御するものである。またアプリケーションプロセッサ５は、身体装着型端末１におけるソフトウェア的な制御及び処理を行う。
【】
図３は、本開示の第１の実施形態に係る身体装着型端末の構成例を示す図である。同図は、身体装着型端末１の構成例を表すブロック図であり、上述のアプリケーションプロセッサ５等による処理を表すブロックを記載した図である。身体装着型端末１は、慣性計測部２と、撮像素子３と、画素制御部３０と、画像生成部４０と、自己位置推定部５０と、物体検出部６０と、制御部７０と、表示部６とを備える。なお、身体装着型端末１は、請求の範囲に記載の情報処理システムの一例である。
【】
撮像素子３は、被写体の撮像を行って画像信号を生成して出力するものである。同図の撮像素子３は、画素アレイ部１１と、垂直駆動部１２と、カラム信号処理部１３とを備える。
【】
画素アレイ部１１は、複数の画素１００が２次元行列状に配置されて構成されたものである。画素１００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素１００には、信号線１５及び１６が配線される。画素１００は、信号線１５により伝達される制御信号に制御されて画像信号を生成し、信号線１６を介して生成した画像信号を出力する。なお、信号線１５は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素１００に共通に配線される。信号線１６は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素１００に共通に配線される。
【】
垂直駆動部１２は、上述の画素１００の制御信号を生成するものである。同図の垂直駆動部１２は、画素アレイ部１１の２次元行列の行毎に制御信号を生成し、信号線１５を介して順次出力する。
【】
カラム信号処理部１３は、画素１００により生成された画像信号の処理を行うものである。同図のカラム信号処理部１３は、信号線１６を介して伝達される画素アレイ部１１の１行に配置された複数の画素１００からの画像信号の処理を同時に行う。この処理として、例えば、画素１００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行うことができる。処理後の画像信号は、撮像素子３の外部の回路等に対して出力される。
【】
後述するように、画素１００は、第１の画像信号及び第２の画像信号を出力する。第１の画像信号は、前述のグローバルシャッタ方式により生成された画像信号である。また、第２の画像信号は、前述のローカルシャッタ方式により生成された画像信号である。このように、同図の画素１００は、グローバルシャッタ方式及びローカルシャッタ方式を切り替えて画像信号を生成することができる。同図の垂直駆動部１２は、グローバルシャッタ方式及びローカルシャッタ方式のそれぞれに対応した制御信号を生成し、画素１００に対して出力する。
【】
また、カラム信号処理部１３は、第１の画像信号及び第２の画像信号のそれぞれに対して上述の処理を行う。なお、カラム信号処理部１３は、請求の範囲に記載の画像信号処理部の一例である。
【】
慣性計測部２は、前述のように、使用者の動きを検出するものである。同図の慣性計測部２は、検出した動きに基づいて動き情報を生成し、制御部７０に対して出力する。
【】
画素制御部３０は、画素１００の撮像を制御するものである。この画素制御部３０は、画素１００におけるローカルシャッタ方式とグローバルシャッタ方式とを切り替える制御を行うものである。ローカルシャッタ方式及びグローバルシャッタ方式の詳細については後述する。同図の画素制御部３０は、垂直駆動部１２を制御することにより、画素１００のローカルシャッタ方式とグローバルシャッタ方式との切り替えを行う。
【】
画像生成部４０は、撮像素子３（カラム信号処理部１３）から出力される画像信号に基づいて１画面分の画像であるフレームを生成するものである。この画像生成部４０は、第１の画像信号に基づくフレームである第１のフレーム及び第２の画像信号に基づくフレームである第２のフレームをそれぞれ生成する。生成された第１のフレームは自己位置推定部５０に対して出力され、生成された第２のフレームは物体検出部６０に対して出力される。
【】
自己位置推定部５０は、ＳＬＡＭ技術により周辺地図を生成するものである。この自己位置推定部５０は、第１のフレームから周辺地図を生成する。自己位置推定部５０による周辺地図の生成の詳細ついては後述する。自己位置推定部５０は、生成した周辺地図を制御部７０に対して出力する。
【】
物体検出部６０は、周囲の物体のうちの注目物体を検出し、認識するものである。ここで、注目物体とは、身体装着型端末１の処理の対象となる物体であり、例えば、人物の指が該当する。物体検出部６０は、第２のフレームに基づいて注目物体を検出し、注目物体情報として制御部７０に対して出力する。
【】
制御部７０は、身体装着型端末１の全体を制御するものである。この制御部７０は、画素制御部３０にグローバルシャッタの制御を行わせるとともに画像生成部４０に第１のフレームを生成させる第１のフレーム生成制御、自己位置推定部５０に周辺地図を生成させる周辺地図生成制御、画素制御部３０にローカルシャッタの制御を行わせるとともに画像生成部４０に第２のフレームを生成させる第２のフレーム生成制御、物体検出部６０に注目物体情報を生成させる注目物体検出制御及び周辺地図及び注目物体情報を表示部６に表示させる表示制御を行うことができる。また、制御部７０は、慣性計測部２に動きの情報を生成させる動き情報生成制御を更に行うことができる。
【】
なお、身体装着型端末１の構成は、この例に限定されない。例えば、撮像素子３や慣性計測部２のみをＨＭＤ（図１の筐体１０内部）に配置する構成を採ることもできる。この場合、残りのブロックは、異なる筐体の装置に配置することとなる。
【】
［画素の構成］
図４は、本開示の実施形態に係る画素の構成例を示す図である。同図は、画素１００の構成例を表す回路図である。同図の画素１００は、受光部１１０と、信号レベル保持部１３０と、第１の画像信号生成部１２０と、定電流回路１４０と、第２の画像信号生成部１５０とを備える。また、画素１００には、信号線ＴＲＧ、信号線ＲＳＴ、信号線ＰＣ、信号線ＳＷ、信号線ＳＥＬＲ、信号線Ｓ１、信号線Ｓ２、信号線ＲＢ、信号線ＳＥＬ及び信号線ＶＳＬが配線される。信号線ＴＲＧ、信号線ＲＳＴ、信号線ＰＣ、信号線ＳＷ、信号線ＳＥＬＲ、信号線Ｓ１、信号線Ｓ２、信号線ＲＢ及び信号線ＳＥＬは、信号線１５を構成する。信号線ＶＳＬは、信号線１６を構成する。
図４は、本開示の実施形態に係る画素の構成例を示す図である。同図は、画素１００の構成例を表す回路図である。同図の画素１００は、受光部１１０と、信号レベル保持部１３０と、第１の画像信号生成部１２０と、定電流回路１４０と、第２の画像信号生成部１５０とを備える。また、画素１００には、信号線ＴＲＧ、信号線ＲＳＴ、信号線ＰＣ、信号線ＳＷ、信号線ＳＥＬＲ、信号線Ｓ１、信号線Ｓ２、信号線ＲＢ、信号線ＳＥＬ及び信号線ＶＳＬが配線される。信号線ＴＲＧ、信号線ＲＳＴ、信号線ＰＣ、信号線ＳＷ、信号線ＳＥＬＲ、信号線Ｓ１、信号線Ｓ２、信号線ＲＢ及び信号線ＳＥＬは、信号線１５を構成する。信号線ＶＳＬは、信号線１６を構成する。
【】
受光部１１０は、入射光の露光を行って当該露光量に応じた電圧レベルを出力するものである。同図の受光部１１０は、光電変換部１１１と、電荷保持部１１２と、電荷転送部１１５と、第１のリセット部１１６と、第１の増幅部１１８と、第１の選択部１１９とを備える。なお、電荷保持部１１２、電荷転送部１１５、第１のリセット部１１６、第１の増幅部１１８及び第１の選択部１１９には、ｎチャネルＭＯＳトランジスタを使用することができる。
【】
光電変換部１１１のアノードは接地され、カソードは電荷転送部１１５のソースに接続される。電荷転送部１１５のドレインは、第１のリセット部１１６のソース、第１の増幅部１１８のゲート及び電荷保持部１１２の一端に接続される。電荷保持部１１２の他の一端は、接地される。第１のリセット部１１６のドレインは、電源線Ｖｄｄに接続される。第１の増幅部１１８のドレインは電源線Ｖｄｄに接続され、ソースは第１の選択部１１９のドレインに接続される。第１の選択部１１９のソースは、第１の出力ノード１０１に接続される。電荷転送部１１５のゲート、第１のリセット部１１６のゲート及び第１の選択部１１９のゲートには、それぞれ信号線ＴＲＧ、信号線ＲＳＴ及び信号線ＳＷが接続される。
【】
光電変換部１１１は、入射光の光電変換を行うものである。この光電変換部１１１は、半導体基板に形成されるフォトダイオードにより構成することができる。
【】
電荷転送部１１５は、光電変換部１１１の電荷を電荷保持部１１２に転送するものである。この電荷転送部１１５は、光電変換部１１１及び電荷保持部１１２の間を導通させることにより、電荷を転送する。
【】
電荷保持部１１２は、光電変換部１１１の光電変換により生成される電荷を保持するものである。この電荷保持部１１２には、前述の浮遊拡散層を使用することができる。
【】
第１のリセット部１１６は、電荷保持部１１２をリセットするものである。この第１のリセット部１１６は、電荷保持部１１２の電荷を電源線Ｖｄｄに排出することにより、リセットを行う。
【】
第１の増幅部１１８は、電荷保持部１１２に保持された電荷に応じた信号を生成するものである。この第１の増幅部１１８は、第１の出力ノード１０１を介して接続される定電流回路１４０とともにソースフォロワ回路を構成し、生成した信号を第１の出力ノード１０１に出力する。なお、同図の画素１００においては、第１の増幅部１１８により生成される信号の電圧レベルが第１の出力ノード１０１を介して信号レベル保持部１３０及び第２の画像信号生成部１５０に伝達される。また、第１の増幅部１１８は、第１のリセット部１１６によりリセットされた後の電圧レベルであるリセットレベルと露光期間に光電変換部１１１により生成された電荷が電荷保持部１１２に保持された際の電圧レベルである信号レベルとを第１の出力ノード１０１に出力する。
【】
第１の選択部１１９は、第１の増幅部１１８により生成される信号を第１の出力ノード１０１に出力するものである。この第１の選択部１１９は、第１の増幅部１１８と第１の出力ノード１０１の間に接続され、自身が導通することにより第１の増幅部１１８の信号を第１の出力ノード１０１に伝達する。この第１の選択部１１９を配置して非導通の状態にすることにより、第１の増幅部１１８がオフ状態の時のリーク電流を低減することができる。
【】
定電流回路１４０は、前述の第１の増幅部１１８の負荷を構成する定電流回路である。この定電流回路１４０は、第１の出力ノード１０１に定電流の吸い込み電流（シンク電流）を供給する。同図の定電流回路１４０は、ＭＯＳトランジスタ１４１を備える。
【】
ＭＯＳトランジスタ１４１のドレインは第１の出力ノード１０１に接続され、ソースは接地される。ＭＯＳトランジスタ１４１のゲートは、信号線ＰＣに接続される。
【】
信号線ＰＣは、バイアス電圧を伝達する。ＭＯＳトランジスタ１４１は、信号線ＰＣからのバイアス電圧がゲートに印加され、印加されたバイアス電圧に応じた定電流を供給する。
【】
信号レベル保持部１３０は、前記受光部から出力された電圧レベルを保持するものである。この信号レベル保持部１３０は、第１の出力ノード１０１に接続されて受光部１１０から出力される信号のレベルを保持する。同図の信号レベル保持部１３０は、第１の容量素子１３１と、第２の容量素子１３２と、第１のスイッチ素子１３５と、第２のスイッチ素子１３６とを備える。
【】
第１の容量素子１３１の一端及び第２の容量素子１３２の一端は、第１の出力ノード１０１に共通に接続される。第１の容量素子１３１の他の一端及び第２の容量素子１３２の他の一端は、それぞれ第１のスイッチ素子１３５のソース及び第２のスイッチ素子１３６のソースに接続される。第１のスイッチ素子１３５のドレイン及び第２のスイッチ素子１３６ドレインは、第２の出力ノード１０２に共通に接続される。第１のスイッチ素子１３５のゲート及び第２のスイッチ素子１３６のゲートは、それぞれ信号線Ｓ１及び信号線Ｓ２に接続される。
【】
第１の容量素子１３１は、リセットレベルを保持する容量素子である。
【】
第２の容量素子１３２は、信号レベルを保持する容量素子である。
【】
第１のスイッチ素子１３５は、第１の容量素子１３１に流れる電流を制御する素子である。この第１のスイッチ素子１３５は、第１の容量素子１３１及び第２の出力ノード１０２の間に接続される。
【】
第２のスイッチ素子１３６は、第２の容量素子１３２に流れる電流を制御する素子である。この第２のスイッチ素子１３６は、第２の容量素子１３２及び第２の出力ノード１０２の間に接続される。
【】
第１の画像信号生成部１２０は、前記容量素子部に保持された電圧レベルに応じた信号である第１の画像信号を生成するものである。同図の第１の画像信号生成部１２０は、第１の容量素子１３１及び第２の容量素子１３２に保持された信号レベルに応じた画像信号を生成して出力する。同図の第１の画像信号生成部１２０は、第２のリセット部１２１と、第２の増幅部１２２と、第２の選択部１２３とを備える。
【】
第２のリセット部１２１のソース及び第２の増幅部１２２のゲートは、第２の出力ノード１０２に共通に接続される。第２のリセット部１２１のドレインは、電源線Ｖｒｅｇに接続される。第２の増幅部１２２のドレインは電源線Ｖｄｄに接続され、ソースは第２の選択部１２３のドレインに接続される。第２の選択部１２３のソースは、信号線ＶＳＬに接続される。第２のリセット部１２１のゲート及び第２の選択部１２３のゲートは、それぞれ信号線ＲＢ及び信号線ＳＥＬに接続される。
【】
第２のリセット部１２１は、第２の出力ノード１０２をリセットするものである。この第２のリセット部１２１は、第２の出力ノード１０２に電源線Ｖｒｅｇの電圧を印加することによりリセットを行う。
【】
第２の増幅部１２２は、第２の出力ノード１０２の電圧に応じた信号を生成する素子である。この第２の増幅部１２２は、第１の容量素子１３１に保持されたリセットレベル及び第２の容量素子１３２に保持された信号レベルをそれぞれ読み出してリセットレベル及び信号レベルにそれぞれ対応する第１の画像信号として生成する。
【】
第２の選択部１２３は、第２の増幅部１２２により生成される第１の画像信号を信号線ＶＳＬに出力する素子である。この第２の選択部１２３は、第２の増幅部１２２及び信号線ＶＳＬの間に接続され、自身が導通することにより第２の増幅部１２２の信号を信号線ＶＳＬに伝達する。なお、第２の増幅部１２２及び第２の選択部１２３の回路は、読み出し回路を構成する。
【】
第２の画像信号生成部１５０は、受光部１１０から出力された電圧レベルに応じた信号である第２の画像信号を生成するものである。同図の第２の画像信号生成部１５０は、ＭＯＳトランジスタ１５１を備える。ＭＯＳトランジスタ１５１のドレインは第１の出力ノード１０１に接続され、ソースは信号線ＶＳＬに接続される。ＭＯＳトランジスタ１５１のゲートは信号線ＳＥＬＲに接続される。ＭＯＳトランジスタ１５１は、自身が導通することにより、第１の出力ノード１０１の信号レベルを信号線ＶＳＬに出力する。すなわち、第２の画像信号生成部１５０は、信号レベル保持部１３０を介さずに第１の出力ノード１０１の電圧レベルを信号線ＶＳＬに伝達する。なお、第２の画像信号生成部１５０は、リセットレベル及び信号レベルにそれぞれ対応する第２の画像信号として出力する。
【】
信号レベル保持部１３０及び第１の画像信号生成部１２０は、グローバルシャッタ方式の撮像の際に使用することができる。また、第２の画像信号生成部１５０は、ローカルシャッタ方式の撮像の際に使用することができる。
【】
［ローカルシャッタ方式の画像信号の生成］
図５は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、ローカルシャッタ方式を適用する第２の画像信号の生成の一例を表すタイミング図である。同図の「ＳＷ」、「ＲＳＴ」、「ＴＲＧ」、「ＳＥＬＲ」、「ＳＥＬ」は、それぞれ信号線ＳＷ、信号線ＲＳＴ、信号線ＴＲＧ、信号線ＳＥＬＲ、信号線ＳＥＬの波形を表す。また、「ＲＢ」、「Ｓ１」及び「Ｓ２」は、それぞれ信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２の波形を表す。これらの波形は、それぞれの信号線により伝達される制御信号を２値化して表したものである。これらの波形の値「１」の部分がオン信号を表す。ここで、オン信号は、制御信号がゲートに入力されるＭＯＳトランジスタを導通状態にする信号である。また、同図の「ＰＣ」は、信号線ＰＣに印加されるバイアス電圧を表す。また、同図の「ＶＳＬ」は、信号線ＶＳＬに出力される画像信号を表す。なお、同図の破線は、０Ｖのレベルを表す。
図５は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、ローカルシャッタ方式を適用する第２の画像信号の生成の一例を表すタイミング図である。同図の「ＳＷ」、「ＲＳＴ」、「ＴＲＧ」、「ＳＥＬＲ」、「ＳＥＬ」は、それぞれ信号線ＳＷ、信号線ＲＳＴ、信号線ＴＲＧ、信号線ＳＥＬＲ、信号線ＳＥＬの波形を表す。また、「ＲＢ」、「Ｓ１」及び「Ｓ２」は、それぞれ信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２の波形を表す。これらの波形は、それぞれの信号線により伝達される制御信号を２値化して表したものである。これらの波形の値「１」の部分がオン信号を表す。ここで、オン信号は、制御信号がゲートに入力されるＭＯＳトランジスタを導通状態にする信号である。また、同図の「ＰＣ」は、信号線ＰＣに印加されるバイアス電圧を表す。また、同図の「ＶＳＬ」は、信号線ＶＳＬに出力される画像信号を表す。なお、同図の破線は、０Ｖのレベルを表す。
【】
初期状態において、信号線ＲＳＴ、信号線ＴＲＧ及び信号線ＳＥＬＲは値「０」となる。なお、信号線ＳＷは常時値「１」となり、信号線ＳＥＬ、信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２は常時値「０」となる。また、信号線ＰＣには、常時所定のバイアス電圧が印加される。
【】
Ｔ１において、信号線ＲＳＴにオン信号が印加されて、第１のリセット部１１６が導通する。また、信号線ＴＲＧにオン信号が印加されて電荷転送部１１５が導通する。これにより、光電変換部１１１及び電荷保持部１１２がリセットされる。
【】
Ｔ２において、信号線ＲＳＴ及び信号線ＴＲＧのオン信号の印加が停止され、第１のリセット部１１６及び電荷転送部１１５が非導通の状態になる。これにより、光電変換部１１１における電荷の蓄積が開始される。なお、Ｔ１乃至Ｔ２の期間は、リセット期間に該当する。
【】
Ｔ３において、信号線ＲＳＴにオン信号が印加されて第１のリセット部１１６が導通し、電荷保持部１１２がリセットされる。
【】
Ｔ４において、信号線ＲＳＴのオン信号の印加が停止されて第１のリセット部１１６が非導通の状態になる。この際、第１の出力ノード１０１には、リセットレベルが出力される。また、信号線ＳＥＬＲにオン信号が印加されてＭＯＳトランジスタ１５１が導通状態になる。これにより、リセットレベルの第２の画像信号が信号線ＶＳＬに出力される。同図の「Ａ」は、リセットレベルの第２の画像信号を表す。
【】
Ｔ５において、信号線ＳＥＬＲのオン信号の印加が停止され、ＭＯＳトランジスタ１５１が非導通の状態になる。また、信号線ＴＲＧにオン信号が印加され、電荷転送部１１５が導通する。これにより、光電変換部１１１に蓄積された電荷が電荷保持部１１２に転送される。なお、Ｔ２からＴ５の期間が露光期間に該当する。
【】
Ｔ６において、信号線ＴＲＧのオン信号の印加が停止され、電荷転送部１１５が非導通の状態になる。この際、第１の出力ノード１０１には、信号レベルが出力される。また、信号線ＳＥＬＲにオン信号が印加されてＭＯＳトランジスタ１５１が導通状態になり、信号レベルの第２の画像信号が信号線ＶＳＬに出力される。同図の「Ｂ」は、信号レベルの第２の画像信号を表す。
【】
Ｔ７において、信号線ＳＥＬＲのオン信号の印加が停止される。なお、Ｔ４乃至Ｔ７の期間が画像信号を画素１００から出力させる期間である読み出し期間に該当する。同図の画像信号の生成においては、露光期間の一部が読み出し期間と重なる構成となる。なお、Ｔ６乃至Ｔ７の期間に出力された信号レベルの第２の画像信号からＴ４乃至Ｔ５の期間に出力されたリセットレベルの第２の画像信号を減算するＣＤＳがカラム信号処理部１３により行われる。これにより、第２の画像信号のオフセット誤差の影響を低減することができる。
【】
［ローカルシャッタ方式におけるフレームの形成］
図６は、本開示の実施形態に係るフレームの生成の一例を示す図である。同図は、ローカルシャッタ方式を適用する第２のフレームの生成の一例を表すタイミング図である。同図は、画素アレイ部１１における行毎の第２の画像信号の生成手順を表したものである。同図の「リセット」、「露光」及び「読出」は、それぞれ、リセット期間４０１、露光期間４０２及び読み出し期間４０３を表す。これらを順に行うことにより、行毎に第２の画像信号が画素１００から読み出される。これら、リセット期間４０１、露光期間４０２及び読み出し期間４０３は、行毎にタイミングをずらして行われる。信号線ＶＳＬは、画素アレイ部１１の列に配置された画素１００に共通に配線されるため、読み出し期間４０３のタイミングを行毎にずらす必要があるためである。
図６は、本開示の実施形態に係るフレームの生成の一例を示す図である。同図は、ローカルシャッタ方式を適用する第２のフレームの生成の一例を表すタイミング図である。同図は、画素アレイ部１１における行毎の第２の画像信号の生成手順を表したものである。同図の「リセット」、「露光」及び「読出」は、それぞれ、リセット期間４０１、露光期間４０２及び読み出し期間４０３を表す。これらを順に行うことにより、行毎に第２の画像信号が画素１００から読み出される。これら、リセット期間４０１、露光期間４０２及び読み出し期間４０３は、行毎にタイミングをずらして行われる。信号線ＶＳＬは、画素アレイ部１１の列に配置された画素１００に共通に配線されるため、読み出し期間４０３のタイミングを行毎にずらす必要があるためである。
【】
これらの第２の画像信号の生成を画素アレイ部１１の全ての行において行って第２の画像信号を生成することにより、第２のフレームを形成することができる。なお、同図に表したローカルシャッタ方式の撮像では、動きのある被写体の撮像において画像に歪みを生じる。行毎に露光のタイミングが異なるためである。一方、図４に表したように、ローカルシャッタ方式の撮像は簡便な制御により画像信号を生成することができるため、高速なフレームの生成が可能となる。このため、フレーム周波数を向上させることができる。また、消費電力を低減することもできる。
【】
［グローバルシャッタ方式の画像信号の生成］
図７は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、グローバルシャッタ方式を適用する第１の画像信号の生成の一例を表すタイミング図である。同図は、図５と共通の表記を使用する。
図７は、本開示の実施形態に係る画像信号の生成の一例を示す図である。同図は、グローバルシャッタ方式を適用する第１の画像信号の生成の一例を表すタイミング図である。同図は、図５と共通の表記を使用する。
【】
初期状態において、信号線ＳＷ、信号線ＴＲＧ、信号線ＰＣ、信号線ＳＥＬ、信号線ＲＢ、信号線Ｓ１及び信号線Ｓ２は、値「０」となる。また、信号線ＲＳＴは、値「１」となる。なお、信号線ＳＥＬＲは、常時値「０」となる。
【】
Ｔ２１において、信号線ＳＷにオン信号が印加され、第１の選択部１１９が導通状態になる。また、信号線ＴＲＧにオン信号が印加され、電荷転送部１１５が導通状態になる。また、信号線ＰＣに所定のバイアス電圧が印加され、ＭＯＳトランジスタ１４１が第１の出力ノード１０１に定電流を供給する。第１のリセット部１１６及び電荷転送部１１５が導通状態になるため、光電変換部１１１及び電荷保持部１１２がリセットされる。
【】
Ｔ２２において、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通の状態になる。また、信号線Ｓ１にオン信号が印加され、第１のスイッチ素子１３５が導通状態になる。また、信号線Ｓ２にオン信号が印加され、第２のスイッチ素子１３６が導通状態になる。Ｔ２１乃至Ｔ２２の期間に電荷保持部１１２がリセットされるとともに第１の容量素子１３１及び第２の容量素子１３２もリセットされる。また、第２の出力ノード１０２が電源線Ｖｒｅｇの電圧であるＶＲＥＧになる。
【】
Ｔ２３において、信号線ＲＳＴのオン信号の印加が停止され、第１のリセット部１１６が非導通の状態になる。また、信号線ＴＲＧへのオン信号の印加が停止され、電荷転送部１１５が非導通の状態になる。また、信号線Ｓ２のオン信号の印加が停止され、第２のスイッチ素子１３６が非導通の状態になる。これにより、光電変換部１１１及び電荷保持部１１２のリセットが終了する。このリセットは、全画素１００において同時に実行されるグローバルリセットに該当する。このリセットの終了に伴って露光期間が開始され、光電変換により生成された電荷が光電変換部１１１に蓄積される。第１の出力ノード１０１には、リセットレベルが出力される。このため、第１の容量素子１３１は、リセットレベルに充電される。
【】
Ｔ２４において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。これにより、第１の容量素子１３１にリセットレベルが保持される。
【】
Ｔ２５において、信号線Ｓ１へのオン信号の印加が停止され、第１のスイッチ素子１３５が非導通の状態になる。
【】
Ｔ２６において、信号線ＴＲＧにオン信号が印加され、電荷転送部１１５が導通状態になる。これにより、光電変換部１１１の電荷が電荷保持部１１２に転送される。また、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通状態になる。これにより、第２の出力ノード１０２がＶＲＥＧになる。また、信号線Ｓ２にオン信号が印加され、第２のスイッチ素子１３６が導通状態になる。
【】
Ｔ２７において、信号線ＴＲＧへのオン信号の印加が停止され、電荷転送部１１５が非導通の状態になる。第１の出力ノード１０１には、信号レベルが出力される。このため、第２の容量素子１３２は、信号レベルに充電される。
【】
Ｔ２８において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。これにより、第２の容量素子１３２に画像信号レベルが保持される。
【】
Ｔ２９において、信号線Ｓ２へのオン信号の印加が停止され、第２のスイッチ素子１３６が非導通の状態になる。
【】
Ｔ３０において、信号線ＳＷへのオン信号の印加が停止され、第１の選択部１１９が非導通の状態になる。また、信号線ＲＳＴにオン信号が印加され、第１のリセット部１１６が導通状態になる。
【】
Ｔ３１において、信号線ＰＣへのバイアス電圧の印加が停止される。これにより、ＭＯＳトランジスタ１４１が非導通の状態になる。
【】
Ｔ３２において、信号線ＳＷにオン信号が印加され、第１の選択部１１９が導通状態になる。
【】
Ｔ３３において、信号線ＳＥＬにオン信号が印加され、第２の選択部１２３が導通状態になる。また、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通状態になる。これにより、第２の出力ノード１０２がＶＲＥＧの電圧にリセットされる。
【】
Ｔ３４において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。また、信号線Ｓ１にオン信号が印加され、第１のスイッチ素子１３５が導通状態になる。第１のリセット部１１６が導通状態のため、第２の出力ノード１０２は、ＶＲＥＧにリセットレベルが重畳された電圧になる。この電圧に応じた画像信号が第２の増幅部１２２により生成され、信号線ＶＳＬに出力される。この画像信号は、リセットレベルの第１の画像信号に該当する。同図の「Ｃ」は、リセットレベルの第１の画像信号を表す。
【】
Ｔ３５において、信号線Ｓ１へのオン信号の印加が停止され、第１のスイッチ素子１３５が非導通の状態になる。また、信号線ＲＢにオン信号が印加され、第２のリセット部１２１が導通状態になる。これにより、第２の出力ノード１０２がＶＲＥＧの電圧にリセットされる。
【】
Ｔ３６において、信号線ＲＢへのオン信号の印加が停止され、第２のリセット部１２１が非導通の状態になる。また、信号線Ｓ２にオン信号が印加され、第２のスイッチ素子１３６が導通状態になる。第２の出力ノード１０２は、ＶＲＥＧに信号レベルが重畳された電圧になる。この電圧に応じた画像信号が第２の増幅部１２２により生成され、画像信号として信号線ＶＳＬに出力される。この画像信号は、信号レベルの第１の画像信号に該当する。同図の「Ｄ」は、信号レベルの第１の画像信号を表す。
【】
Ｔ３７において、信号線ＳＷへのオン信号の印加が停止され、第１の選択部１１９が非導通の状態になる。また、信号線ＳＥＬへのオン信号の印加が停止され、第２の選択部１２３が非導通の状態になる。また、信号線Ｓ２へのオン信号の印加が停止され、第２のスイッチ素子１３６が非導通の状態になる。
【】
Ｔ２１乃至Ｔ３１の手順を画素アレイ部１１の全ての行について順次実行する。これにより、１画面分の画像信号を生成することができる。また、Ｔ３２乃至Ｔ３７の期間が読み出し期間に該当する。なお、Ｔ３６乃至Ｔ３７の期間に出力された信号レベルの第１の画像信号からＴ３４乃至Ｔ３５の期間に出力されたリセットレベルの第１の画像信号を減算するＣＤＳがカラム信号処理部１３により行われる。これにより、ＶＲＥＧ成分が除去される。また、第１の画像信号のオフセット誤差の影響を低減することができる。このオフセット誤差には、例えば、光電変換部１１１の近傍から漏洩した入射光により生成される電荷による誤差が該当する。上述の減算処理により、第１の容量素子１３１及び第２の容量素子１３２に共通に生成されるオフセットによる誤差が削減され、漏洩した入射光に基づく感度である寄生受光感度（ＰＬＳ：Parasitic Light Sensitivity）を低減することができる。
【】
［グローバルシャッタ方式におけるフレームの形成］
図８は、本開示の実施形態に係るフレームの生成の一例を示す図である。同図は、グローバルシャッタ方式を適用する第１のフレームの生成の一例を表すタイミング図である。同図は、図６と同様に、画素アレイ部１１における行毎の第１の画像信号の生成手順を表したものである。同図において、図６と同様の表記を使用する。
図８は、本開示の実施形態に係るフレームの生成の一例を示す図である。同図は、グローバルシャッタ方式を適用する第１のフレームの生成の一例を表すタイミング図である。同図は、図６と同様に、画素アレイ部１１における行毎の第１の画像信号の生成手順を表したものである。同図において、図６と同様の表記を使用する。
【】
同図に表したように、グローバルシャッタ方式では、リセット及び露光が画素アレイ部１１の全ての画素１００において同時に行われる。その後、読み出しを行毎に順次行って第１の画像信号を生成することにより、第１のフレームを形成することができる。
【】
このように、全ての画素１００において露光を同時に行うグローバルシャッタ方式の撮像では、ローカルシャッタ方式の撮像のような歪みの発生を防ぐことができる。一方、グローバルシャッタ方式は、ローカルシャッタ方式と比較して撮像の手順が複雑になるため、フレームの生成に時間が掛かる。このため、フレーム周波数が低くなる。
【】
［周辺地図生成］
図９は、本開示の実施形態に係る周辺地図生成の一例を示す図である。同図は、自己位置推定部５０における周辺地図の生成の一例を表す流れ図である。
図９は、本開示の実施形態に係る周辺地図生成の一例を示す図である。同図は、自己位置推定部５０における周辺地図の生成の一例を表す流れ図である。
【】
まず、自己位置推定部５０は、初期化の処理を行う（ステップＳ１００）。この初期化では、使用する座標系における初期位置及び初期地図の取得を行う。次に、自己位置推定部５０は、トラッキングの処理を行う（ステップＳ１０１）。このトラッキングは、１フレーム前の第１のフレームと新たに生成された第１のフレームとの比較を行って位置の推定を行う処理である。このトラッキングの処理と平行して、自己位置推定部５０は、マッピングの処理を行う（ステップＳ１０２）。このマッピングは、トラッキングの処理の際に第１のフレームから検出した特徴点を座標系にマッピングすることにより行うことができる。
【】
次に、自己位置推定部５０は、周辺地図の生成処理を終了するか否かを判断し（ステップＳ１０３）、終了しない場合（ステップＳ１０３,Ｎｏ）、ステップＳ１０１及びＳ１０２へ戻り、以降の動作を継続する。一方、終了する場合（ステップＳ１０３,Ｙｅｓ）、周辺地図の生成処理を終了する。
【】
［情報処理手順］
図１０は、本開示の第１の実施形態に係る処理方法の一例を示す図である。同図は、身体装着型端末１における処理の手順を表す流れ図である。同図は、注目物体として手指を検出し、ジェスチャ認識を行う場合の例を表したものである。
図１０は、本開示の第１の実施形態に係る処理方法の一例を示す図である。同図は、身体装着型端末１における処理の手順を表す流れ図である。同図は、注目物体として手指を検出し、ジェスチャ認識を行う場合の例を表したものである。
【】
まず、画素アレイ部１１の画素１００をグローバルシャッタの制御に切り替える（ステップＳ１３０）。これは、画素制御部３０がグローバルシャッタ方式の制御に切り替えることにより行うことができる。次に、第１のフレームを生成する（ステップＳ１３１）。これは、画素１００が生成した第１の画像信号に基づいて画像生成部４０が第１のフレームを生成することにより行うことができる。次に、自己位置推定部５０が第１のフレームから周辺地図を生成する（ステップＳ１３２）。次に、画素アレイ部１１の画素１００をローカルシャッタの制御に切り替える（ステップＳ１３３）。
【】
次に、第２のフレームを生成する（ステップＳ１３４）。これは、画素１００が生成した第２の画像信号に基づいて画像生成部４０が第２のフレームを生成することにより行うことができる。次に、物体検出部６０が注目物体を検出するか否かを判断する（ステップＳ１３５）。その結果、注目物体が検出されない場合は（ステップＳ１３５，Ｎｏ）、ステップＳ１３０の処理に移行する。一方、注目物体が検出される場合には（ステップＳ１３５，Ｙｅｓ）、ステップＳ１３６の処理に移行する。
【】
ステップＳ１３６において、制御部７０は、注目物体が手指であるかを認識する（ステップＳ１３６）。次に、制御部７０は、認識した手指のトラッキングを行う（ステップＳ１３７）。次に、制御部７０は、トラッキングの結果に基づいてジェスチャ認識を行う（ステップＳ１３８）。その後、制御部７０は、表示部６に対して周辺地図の表示及びジェスチャ認識の結果の表示を行わせることができる。
【】
以上の手順により、周辺地図を生成して表示させることができる。また、注目物体の検出を更に行い、注目物体に基づく画像を周辺地図に重畳させて表示させることができる。
【】
なお、ステップＳ１３０乃至ステップＳ１３２の処理とステップＳ１３３乃至ステップＳ１３４の処理とは、順序を逆にすることもできる。また、ステップＳ１３６乃至ステップＳ１３８の処理の代わりに、第２のフレームに基づく画像を表示部６に表示させる処理を行うこともできる。身体装着型端末１の使用者は外界の景色を見ることができないため、使用者の要求に応じて撮像素子３にて撮像した外界の画像を表示部６に表示させる処理を行うこともできる。
【】
図１１は、本開示の実施形態に係る処理方法の他の例を示す図である。同図は、慣性計測部２から出力される動きの情報に基づいて外界の画像の動きを表すグローバルモーションの補完を行い、補完後のグローバルモーションを使用して自己位置を推定する場合の例を表したものである。
【】
まず、画素アレイ部１１の画素１００をグローバルシャッタの制御に切り替える（ステップＳ１６０）。次に、第１のフレームを生成する（ステップＳ１６１）。次に、第１のフレームからグローバルモーションを取得する（ステップＳ１６２）。この処理は、例えば、制御部７０が行う。次に、グローバルモーションデータの補完を行う（ステップＳ１６３）。これは、慣性計測部２により生成された動き情報に基づいて複数の第１のフレームからなるグローバルモーションを補完することにより行うことができる。次に、補完されたグローバルモーションに基づいて、自己位置推定部５０が自己位置の推定を行い（ステップＳ１６４）、周辺地図を生成する。
【】
次に、画素アレイ部１１の画素１００をローカルシャッタの制御に切り替える（ステップＳ１６５）。次に、第２のフレームを生成する（ステップＳ１６６）。次に、物体検出部６０が注目物体を検出するか否かを判断する（ステップＳ１６７）。その結果、注目物体が検出されない場合は（ステップＳ１６７，Ｎｏ）、ステップＳ１６０の処理に移行する。一方、注目物体が検出される場合には（ステップＳ１６７，Ｙｅｓ）、ステップＳ１６８の処理に移行する。
【】
ステップＳ１６８において、制御部７０は、注目物体が手指であるかを認識し（ステップＳ１６８）、認識した手指のトラッキングを行い（ステップＳ１６９）、トラッキングの結果に基づいてジェスチャ認識を行う（ステップＳ１７０）。その後、制御部７０は、表示部６に対して周辺地図の表示及びジェスチャ認識の結果の表示を行わせることができる。
【】
このように、本開示の実施形態の身体装着型端末１は、ローカルシャッタ方式及びグローバルシャッタ方式を切り替えて撮像を行う撮像素子３を使用してそれぞれの撮像方式に基づく画像（フレーム）を生成することができる。周辺地図の生成処理のための画像にグローバルシャッタ方式により生成された第１のフレームを適用する。この第１のフレームは、フレームの各部の時間軸にずれのない画像が得られるため、自己位置の推定や周辺地図の生成を高精度に行うことができる。また、注目物体の検出処理のための画像にローカルシャッタ方式により生成された第２のフレームを適用することにより、注目物体の検出処理を高速に行うとともに消費電力を低減することができる。このように、身体装着型端末１は、アプリケーションに応じてローカルシャッタ方式及びグローバルシャッタ方式を切り替えて画像を生成することができる。なお、ステップＳ１６３における動き情報に基づく複数の第１のフレームからなるグローバルモーションの補完は、請求の範囲に記載の動き情報に基づく周辺地図の補正の一例である。
【】
（２．第２の実施形態）
上述の第１の実施形態の身体装着型端末１は、１つの撮像素子３を備えていた。これに対し、本開示の第２の実施形態の身体装着型端末１は、複数の撮像素子３を備える点で、上述の第１の実施形態と異なる。
上述の第１の実施形態の身体装着型端末１は、１つの撮像素子３を備えていた。これに対し、本開示の第２の実施形態の身体装着型端末１は、複数の撮像素子３を備える点で、上述の第１の実施形態と異なる。
【】
［身体装着型端末］
図１２は、本開示の第２の実施形態に係る身体装着型端末の一例を示す図である。同図は、図１と同様に、身体装着型端末１の外観を表す図である。撮像素子３ａ及び撮像素子３ｂが配置される点で、図１の身体装着型端末１と異なる。
図１２は、本開示の第２の実施形態に係る身体装着型端末の一例を示す図である。同図は、図１と同様に、身体装着型端末１の外観を表す図である。撮像素子３ａ及び撮像素子３ｂが配置される点で、図１の身体装着型端末１と異なる。
【】
同図の身体装着型端末１は、筐体１０の左右に撮像素子３ａ及び撮像素子３ｂが配置される。これにより、ステレオに対応する画像（フレーム）を生成することができる。
【】
［身体装着型端末の構成］
図１３は、本開示の第２の実施形態に係る身体装着型端末の構成例を示す図である。同図は、図３と同様に、身体装着型端末１の構成例を表す図である。同図の身体装着型端末１は、撮像素子３ａ及び撮像素子３ｂを備える点で、図３の身体装着型端末１と異なる。なお、同図において撮像素子３ａ及び撮像素子３ｂの記載を簡略化している。
図１３は、本開示の第２の実施形態に係る身体装着型端末の構成例を示す図である。同図は、図３と同様に、身体装着型端末１の構成例を表す図である。同図の身体装着型端末１は、撮像素子３ａ及び撮像素子３ｂを備える点で、図３の身体装着型端末１と異なる。なお、同図において撮像素子３ａ及び撮像素子３ｂの記載を簡略化している。
【】
同図の画素制御部３０は、撮像素子３ａ及び撮像素子３ｂの制御を行う。また、同図の画像生成部４０は、撮像素子３ａ及び撮像素子３ｂ毎に第１のフレーム及び第２のフレームを生成する。また、自己位置推定部５０は、撮像素子３ａ及び撮像素子３ｂ毎の第１のフレームから周辺地図を生成する。また、物体検出部６０は、撮像素子３ａ及び撮像素子３ｂ毎の第２のフレームから注目物体を検出することができる。
【】
これ以外の身体装着型端末１の構成は本開示の第１の実施形態における身体装着型端末１の構成と同様であるため、説明を省略する。
【】
このように、本開示の第２の実施形態の身体装着型端末１は、撮像素子３ａ及び撮像素子３ｂにより生成された画像信号に基づいて第１のフレーム及び第２のフレームを生成する。ステレオに対応する画像により、奥行きの情報を取得することができ、より精密な周辺地図の生成や注目物体の検出を行うことができる。
【】
（３．変形例）
上述の実施形態の撮像素子３は、他の構成を採ることもできる。撮像素子３の他の構成例について説明する。
上述の実施形態の撮像素子３は、他の構成を採ることもできる。撮像素子３の他の構成例について説明する。
【】
【】
同図の受光部１１０は、電荷排出部１１４、結合部１１７及び第２の電荷保持部１１３を更に備える。電荷排出部１１４及び結合部１１７には、ｎチャネルＭＯＳトランジスタを適用することができる。電荷排出部１１４のドレインは電源線Ｖｄｄに接続され、ソースは光電変換部１１１のカソードに接続される。電荷排出部１１４のゲートは、信号ＯＦＧに接続される。結合部１１７のドレインは第１のリセット部１１６のソースに接続され、ソースは電荷転送部１１５のドレイン、第１の増幅部１１８のゲート及び電荷保持部１１２の一端に接続される。結合部１１７のゲートは、信号線ＦＤＧに接続される。第２の電荷保持部１１３は、結合部１１７のドレインと接地線との間に接続される。
【】
電荷排出部１１４は、光電変換部１１１をリセットするＭＯＳトランジスタである。この電荷排出部１１４は、光電変換部１１１の電荷を電源線Ｖｄｄに排出することにより、光電変換部１１１のリセットを行う。この電荷排出部１１４を配置することにより、電荷保持部１１２に電荷が保持されている期間に光電変換部１１１をリセットすることができ、次の撮像における露光の開始を早めることができる。
【】
第２の電荷保持部１１３は、光電変換部１１１に光電変換により生成される電荷を保持するものである。この第２の電荷保持部１１３は、電荷保持部１１２に結合される場合に、電荷を保持する。
【】
結合部１１７は、電荷保持部１１２及び第２の電荷保持部１１３を結合するものである。この結合部１１７は、第２の電荷保持部１１３を電荷保持部１１２に並列に接続することにより、第２の電荷保持部１１３を電荷保持部１１２に結合する。この結合により、光電変換部１１１により生成される電荷の保持容量を増加させることができ、感度を調整することができる。
【】
同図の定電流回路１４０は、ＭＯＳトランジスタ１４２を更に備える。ＭＯＳトランジスタ１４２のドレインはＭＯＳトランジスタ１４１のソースに接続され、ソースは接地される。ＭＯＳトランジスタ１４２のゲートは、信号線ＶＢに接続される。
【】
信号線ＶＢには、信号線ＰＣと同様に、バイアス電圧が印加される。ＭＯＳトランジスタ１４２は、このバイアス電圧に応じた定電流を供給する。ＭＯＳトランジスタ１４１及び１４２を直列接続し、それぞれのゲートにそれぞれバイアス電圧を供給することにより、定電流回路１４０を低ノイズ化することができる。また、電源電圧が変動した場合の出力電流の変動を低減することができる。
【】
また、同図の画素１００は、複数の異なる半導体チップに分割して配置することができる。同図は、受光部チップ２００及び回路チップ２５０に分割する例を表したものである。受光部チップ２００には、受光部１１０が配置される。回路チップ２５０には、定電流回路１４０、信号レベル保持部１３０、第１の画像信号生成部１２０及び第２の画像信号生成部１５０が配置される。これら受光部チップ２００及び回路チップ２５０を積層することもできる。この場合には、画素１００の面積を縮小することができる。
【】
また、第１の画像信号生成部１２０及び第２の画像信号生成部１５０を複数の画素１００で共有する構成を採ることもできる。
【】
【】
同図の画素１００は、光電変換部５１１と、電荷保持部５１２と、電荷転送部５１５と、第１のリセット部５１６と、第１の増幅部５１８と、ＭＯＳトランジスタ５４１と、第２のリセット部５２１と、第２の増幅部５２２と、選択部５２３とを備える。また、同図の画素１００は、サンプリング部５３９と、第１の容量素子５３１と、第２の容量素子５３２と、ＭＯＳトランジスタ５５１とを更に備える。
【】
光電変換部５１１、電荷保持部５１２、電荷転送部５１５及び第１のリセット部５１６は、図４の光電変換部１１１、電荷保持部１１２、電荷転送部１１５及び第１のリセット部１１６と同様であるため説明を省略する。また、第１の増幅部５１８、ＭＯＳトランジスタ５４１、第２のリセット部５２１及び第２の増幅部５２２は、図４の第１の増幅部１１８、ＭＯＳトランジスタ１４１、第２のリセット部１２１及び第２の増幅部１２２と同様であるため、説明を省略する。選択部５２３は、図４の第２の選択部１２３と同様であるため、説明を省略する。
【】
サンプリング部５３９は、第１の容量素子５３１及び第２の容量素子５３２と第１の増幅部５１８のソースとの間を開閉するものである。このサンプリング部５３９には、ｎチャネルＭＯＳトランジスタを適用することができる。第１の容量素子５３１は、サンプリング部５３９及び第２の増幅部５２２の間に接続される。第２の容量素子５３２は、サンプリング部５３９のソースと接地線との間に接続される。また、ＭＯＳトランジスタ５５１は第１の増幅部５１８のソースと出力信号線ＶＳＬの間に接続される。同図の回路においては、第１の増幅部５１８のソースに接続されるノードが第１の出力ノード１０１に該当し、第２の容量素子５３１と第２の増幅部５２２のゲートとの間のノードが第２の出力ノード１０２に該当する。
【】
同図の画素１００においては、サンプリング部５３９、第１の容量素子５３１及び第２の容量素子５３２の回路が信号レベル保持部１３０を構成する。第１の増幅部５１８が第１の出力ノード１０１にリセットレベルを出力する際、第２のリセット部５２１及びサンプリング部５３９が導通する。これにより、第１の容量素子５３１にリセットレベルが保持される。次に、第１の増幅部５１８が第１の出力ノード１０１に信号レベルを出力する際には、第２のリセット部５２１が非導通の状態にしながらサンプリング部５３９を導通させる。これにより、第２の容量素子５３２に信号レベルが保持される。その後、サンプリング部５３９を非導通の状態にする。これにより、第２の出力ノード１０２には、第２の容量素子５３２及び第１の容量素子５３１のそれぞれの電圧が重畳された電圧が印加される。この電圧は、信号レベルからリセットレベルが減算された電圧に相当する。第１の画像信号生成部１２０を構成する第２の増幅部５２２及び選択部５２３により、第２の出力ノード１０２の電圧に応じた第１の画像信号が生成される。
【】
同図のＭＯＳトランジスタ５５１は、第２の画像信号生成部１５０を構成する。このＭＯＳトランジスタ５５１は、第１の出力ノード１０１の電圧レベルを第２の画像信号として信号線ＶＳＬに出力する。
【】
同図の画素１００においても、信号レベル保持部１３０及び第１の画像信号生成部１２０は、グローバルシャッタ方式の撮像の際に使用することができる。また、第２の画像信号生成部１５０は、ローカルシャッタ方式の撮像の際に使用することができる。
【】
（効果）
本開示に係る身体装着型端末１は、画素アレイ部１１と、画素制御部３０と、画像生成部４０と、自己位置推定部５０と、物体検出部６０と、表示部６と、制御部７０とを有する。画素アレイ部１１は、入射光の露光を行って露光量に応じた電圧レベルを出力する受光部１１０、受光部１１０から出力された電圧レベルを保持する信号レベル保持部１３０、信号レベル保持部１３０に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部１２０及び受光部１１０から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部１５０を備える画素１００が２次元行列状に配置される。画素制御部３０は、画素１００に対して、受光部１１０における入射光の露光及び当該露光の後に出力される電圧レベルに基づく第２の画像信号生成部１５０における第２の画像信号の生成を画素アレイ部１１の行毎にタイミングをずらして順次行わせるローカルシャッタと、受光部１１０における入射光の露光及び当該露光の後に出力される電圧レベルの信号レベル保持部１３０への保持を画素アレイ部１１に配置された画素１００において同時に行うとともに第１の画像信号生成部１２０における第１の画像信号の生成を画素アレイ部１１の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う。画像生成部４０は、第１の画像信号に基づく画像である第１のフレーム及び第２の画像信号に基づく画像である第２のフレームを生成する。自己位置推定部５０は、第１のフレームから周辺地図を生成する。物体検出部６０は、第２のフレームから注目物体を検出して注目物体情報を生成する。表示部６は、周辺地図及び注目物体情報を表示する。制御部７０は、画素制御部３０にグローバルシャッタの制御を行わせるとともに画像生成部４０に第１のフレームを生成させる第１のフレーム生成制御、自己位置推定部５０に周辺地図を生成させる周辺地図生成制御、画素制御部３０にローカルシャッタの制御を行わせるとともに画像生成部４０に第２のフレームを生成させる第２のフレーム生成制御、物体検出部６０に注目物体情報を生成させる注目物体検出制御並びに周辺地図及び注目物体情報を表示部６に表示させる表示制御を行う。これにより、画素１００におけるローカルシャッタ方式の撮像とグローバルシャッタ方式の撮像とをアプリケーションに応じて切り替えることができる。
本開示に係る身体装着型端末１は、画素アレイ部１１と、画素制御部３０と、画像生成部４０と、自己位置推定部５０と、物体検出部６０と、表示部６と、制御部７０とを有する。画素アレイ部１１は、入射光の露光を行って露光量に応じた電圧レベルを出力する受光部１１０、受光部１１０から出力された電圧レベルを保持する信号レベル保持部１３０、信号レベル保持部１３０に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部１２０及び受光部１１０から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部１５０を備える画素１００が２次元行列状に配置される。画素制御部３０は、画素１００に対して、受光部１１０における入射光の露光及び当該露光の後に出力される電圧レベルに基づく第２の画像信号生成部１５０における第２の画像信号の生成を画素アレイ部１１の行毎にタイミングをずらして順次行わせるローカルシャッタと、受光部１１０における入射光の露光及び当該露光の後に出力される電圧レベルの信号レベル保持部１３０への保持を画素アレイ部１１に配置された画素１００において同時に行うとともに第１の画像信号生成部１２０における第１の画像信号の生成を画素アレイ部１１の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う。画像生成部４０は、第１の画像信号に基づく画像である第１のフレーム及び第２の画像信号に基づく画像である第２のフレームを生成する。自己位置推定部５０は、第１のフレームから周辺地図を生成する。物体検出部６０は、第２のフレームから注目物体を検出して注目物体情報を生成する。表示部６は、周辺地図及び注目物体情報を表示する。制御部７０は、画素制御部３０にグローバルシャッタの制御を行わせるとともに画像生成部４０に第１のフレームを生成させる第１のフレーム生成制御、自己位置推定部５０に周辺地図を生成させる周辺地図生成制御、画素制御部３０にローカルシャッタの制御を行わせるとともに画像生成部４０に第２のフレームを生成させる第２のフレーム生成制御、物体検出部６０に注目物体情報を生成させる注目物体検出制御並びに周辺地図及び注目物体情報を表示部６に表示させる表示制御を行う。これにより、画素１００におけるローカルシャッタ方式の撮像とグローバルシャッタ方式の撮像とをアプリケーションに応じて切り替えることができる。
【】
受光部１１０は、入射光の光電変換を行う光電変換部１１１、光電変換により生成された電荷を保持する電荷保持部１１２、露光期間に光電変換により生成された電荷を電荷保持部１１２に転送する電荷転送部１１５、電荷保持部１１２に保持された電荷に応じた電圧レベルを出力する増幅部１１８及び電荷保持部１１２をリセットするリセット部１１６を備えてもよい。
【】
受光部１１０は、露光の期間に生成された電荷が電荷保持部１１２に保持される際の電圧レベルである信号レベル及びリセット部１１６によりリセットされた後の電圧レベルであるリセットレベルを出力し、信号レベル保持部１３０は、出力された信号レベル及び出力されたリセットレベルをそれぞれ保持し、第１の画像信号生成部１２０は、保持された信号レベル及び保持されたリセットレベルに応じた第１の画像信号を生成し、第２の画像信号生成部１５０は、出力された信号レベル及び出力されたリセットレベルに応じた第２の画像信号を生成してもよい。これにより、リセットレベルをオフセット分として抽出することができる。
【】
信号レベルに応じた第１の画像信号からリセットレベルに応じた第１の画像信号を減算する処理と信号レベルに応じた第２の画像信号からリセットレベルに応じた第２の画像信号を減算する処理とを行う画像信号処理部を更に有し、画像生成部４０は、画像信号処理部により処理された第１の画像信号に基づいて第１のフレームを生成し、画像信号処理部により処理された第２の画像信号に基づいて第２のフレームを生成してもよい。これにより、信号レベルのオフセット誤差を削除することができる。
【】
自身の身体装着型端末１の動きの情報である動き情報を生成する慣性計測部２を更に有し、制御部７０は、慣性計測部２に動き情報を生成させる動き情報生成制御及び生成された動き情報に基づいて周辺地図を補正する周辺地図補正制御を更に行ってもよい。
【】
制御部７０は、注目物体の動きを検出する動き検出制御を更に行ってもよい。
【】
また、複数の画素アレイ部１１を有し、画像生成部４０は、複数の画素アレイ部１１毎の第１のフレーム及び第２のフレームを生成し、自己位置推定部５０は、複数の画素アレイ部１１毎の第１のフレームから周辺地図を生成し、物体検出部６０は、複数の画素アレイ部１１毎の第２のフレームから注目物体を検出してもよい。
【】
自身の身体装着型端末１は、身体の頭部に装着する端末装置に構成され、画素アレイ部１１は、身体の視野方向の被写体に基づく第１の画像信号及び第２の画像信号を生成してもよい。
【】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【】
なお、本技術は以下のような構成も取ることができる。
（１）
入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
前記第１のフレームから周辺地図を生成する自己位置推定部と、
前記第２のフレームから注目物体を検出して注目物体情報を生成する物体検出部と、
前記周辺地図及び前記注目物体情報を表示する表示部と、
前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御、前記自己位置推定部に前記周辺地図を生成させる周辺地図生成制御、前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体情報を生成させる注目物体検出制御及び前記周辺地図及び前記注目物体情報を前記表示部に表示させる表示制御を行う制御部と
を有する身体装着型端末。
（２）
前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
前記（１）に記載の身体装着型端末。
（３）
前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
前記（２）に記載の身体装着型端末。
（４）
前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
を更に有し、
前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
前記（３）に記載の身体装着型端末。
（５）
自身の身体装着型端末の動きの情報である動き情報を生成する動き検出部を更に有し、
前記制御部は、前記動き検出部に前記動き情報を生成させる動き情報生成制御及び前記生成された動き情報に基づいて前記周辺地図を補正する周辺地図補正制御を更に行う
前記（１）から（４）の何れかに記載の身体装着型端末。
（６）
前記制御部は、前記注目物体動きを検出す動き検出制御を更に行う
前記（１）から（５）の何れかに記載の身体装着型端末。
（７）
複数の前記画素アレイ部を有し、
前記画像生成部は、複数の前記画素アレイ部毎の前記第１のフレーム及び前記第２のフレームを生成し、
前記自己位置推定部は、複数の前記画素アレイ部毎の前記第１のフレームから前記周辺地図を生成し、
前記物体検出部は、複数の前記画素アレイ部毎の前記第２のフレームから前記注目物体を検出する
前記（１）から（６）の何れかに記載の身体装着型端末。
（８）
自身の身体装着型端末は、身体の頭部に装着する端末装置に構成され、
前記画素アレイ部は、前記身体の視野方向の被写体に基づく前記第１の画像信号及び前記第２の画像信号を生成する
前記（１）から（７）の何れかに記載の身体装着型端末。
（９）
入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
前記第１のフレームから周辺地図を生成する自己位置推定部と、
前記第２のフレームから注目物体を検出して注目物体情報を生成する物体検出部と、
前記周辺地図及び前記注目物体情報を表示する表示部と、
前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御、前記自己位置推定部に前記周辺地図を生成させる周辺地図生成制御、前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体情報を生成させる注目物体検出制御及び前記周辺地図及び前記注目物体情報を前記表示部に表示させる表示制御を行う制御部と
を有する情報処理システム。
（１０）
前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
前記（９）に記載の情報処理システム。
（１１）
前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
前記（１０）に記載の情報処理システム。
（１２）
前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
を更に有し、
前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
前記（１１）に記載の情報処理システム。
（１３）
自身の情報処理システムの動きの情報である動き情報を生成する動き検出部を更に有し、
前記制御部は、前記動き検出部に前記動き情報を生成させる動き情報生成制御及び前記生成された動き情報に基づいて前記周辺地図を補正する周辺地図補正制御を更に行う
前記（９）から（１２）の何れかに記載の情報処理システム。
（１４）
前記制御部は、前記注目物体の動きを検出す動き検出制御を更に行う
前記（９）から（１３）の何れかに記載の情報処理システム。
（１５）
複数の前記画素アレイ部を有し、
前記画像生成部は、複数の前記画素アレイ部毎の前記第１のフレーム及び前記第２のフレームを生成し、
前記自己位置推定部は、複数の前記画素アレイ部毎の前記第１のフレームから前記周辺地図を生成し、
前記物体検出部は、複数の前記画素アレイ部毎の前記第２のフレームから前記注目物体を検出する
前記（９）から（１４）の何れかに記載の情報処理システム。
（１６）
自身の情報処理システムは、身体の頭部に装着するシステムに構成され、
前記画素アレイ部は、前記身体の視野方向の被写体に基づく前記第１の画像信号及び前記第２の画像信号を生成する
前記（９）から（１５）の何れかに記載の情報処理システム。
（１）
入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
前記第１のフレームから周辺地図を生成する自己位置推定部と、
前記第２のフレームから注目物体を検出して注目物体情報を生成する物体検出部と、
前記周辺地図及び前記注目物体情報を表示する表示部と、
前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御、前記自己位置推定部に前記周辺地図を生成させる周辺地図生成制御、前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体情報を生成させる注目物体検出制御及び前記周辺地図及び前記注目物体情報を前記表示部に表示させる表示制御を行う制御部と
を有する身体装着型端末。
（２）
前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
前記（１）に記載の身体装着型端末。
（３）
前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
前記（２）に記載の身体装着型端末。
（４）
前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
を更に有し、
前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
前記（３）に記載の身体装着型端末。
（５）
自身の身体装着型端末の動きの情報である動き情報を生成する動き検出部を更に有し、
前記制御部は、前記動き検出部に前記動き情報を生成させる動き情報生成制御及び前記生成された動き情報に基づいて前記周辺地図を補正する周辺地図補正制御を更に行う
前記（１）から（４）の何れかに記載の身体装着型端末。
（６）
前記制御部は、前記注目物体動きを検出す動き検出制御を更に行う
前記（１）から（５）の何れかに記載の身体装着型端末。
（７）
複数の前記画素アレイ部を有し、
前記画像生成部は、複数の前記画素アレイ部毎の前記第１のフレーム及び前記第２のフレームを生成し、
前記自己位置推定部は、複数の前記画素アレイ部毎の前記第１のフレームから前記周辺地図を生成し、
前記物体検出部は、複数の前記画素アレイ部毎の前記第２のフレームから前記注目物体を検出する
前記（１）から（６）の何れかに記載の身体装着型端末。
（８）
自身の身体装着型端末は、身体の頭部に装着する端末装置に構成され、
前記画素アレイ部は、前記身体の視野方向の被写体に基づく前記第１の画像信号及び前記第２の画像信号を生成する
前記（１）から（７）の何れかに記載の身体装着型端末。
（９）
入射光の露光を行って露光量に応じた電圧レベルを出力する受光部、前記受光部から出力された電圧レベルを保持する信号レベル保持部、前記信号レベル保持部に保持された電圧レベルに応じた信号である第１の画像信号を生成する第１の画像信号生成部及び前記受光部から出力された電圧レベルに応じた信号である第２の画像信号を生成する第２の画像信号生成部を備える画素が２次元行列状に配置された画素アレイ部と、
前記画素に対して、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルに基づく前記第２の画像信号生成部における前記第２の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるローカルシャッタと、前記受光部における前記入射光の露光及び当該露光の後に出力される前記電圧レベルの前記信号レベル保持部への保持を前記画素アレイ部に配置された前記画素において同時に行うとともに前記第１の画像信号生成部における前記第１の画像信号の生成を前記画素アレイ部の行毎にタイミングをずらして順次行わせるグローバルシャッタとを行う画素制御部と、
前記第１の画像信号に基づく画像である第１のフレーム及び前記第２の画像信号に基づく画像である第２のフレームを生成する画像生成部と、
前記第１のフレームから周辺地図を生成する自己位置推定部と、
前記第２のフレームから注目物体を検出して注目物体情報を生成する物体検出部と、
前記周辺地図及び前記注目物体情報を表示する表示部と、
前記画素制御部に前記グローバルシャッタの制御を行わせるとともに前記画像生成部に前記第１のフレームを生成させる第１のフレーム生成制御、前記自己位置推定部に前記周辺地図を生成させる周辺地図生成制御、前記画素制御部に前記ローカルシャッタの制御を行わせるとともに前記画像生成部に前記第２のフレームを生成させる第２のフレーム生成制御、前記物体検出部に前記注目物体情報を生成させる注目物体検出制御及び前記周辺地図及び前記注目物体情報を前記表示部に表示させる表示制御を行う制御部と
を有する情報処理システム。
（１０）
前記受光部は、前記入射光の光電変換を行う光電変換部、前記光電変換により生成された電荷を保持する電荷保持部、露光期間に前記光電変換により生成された電荷を前記電荷保持部に転送する電荷転送部、前記電荷保持部に保持された電荷に応じた電圧レベルを出力する増幅部及び前記電荷保持部をリセットするリセット部を備える
前記（９）に記載の情報処理システム。
（１１）
前記受光部は、露光の期間に生成された電荷が前記電荷保持部に保持される際の前記電圧レベルである信号レベル及び前記リセット部によりリセットされた後の前記電圧レベルであるリセットレベルを出力し、
前記信号レベル保持部は、前記出力された信号レベル及び前記出力されたリセットレベルをそれぞれ保持し、
前記第１の画像信号生成部は、前記保持された信号レベル及び前記保持されたリセットレベルに応じた前記第１の画像信号を生成し、
前記第２の画像信号生成部は、前記出力された信号レベル及び前記出力されたリセットレベルに応じた前記第２の画像信号を生成する
前記（１０）に記載の情報処理システム。
（１２）
前記信号レベルに応じた前記第１の画像信号から前記リセットレベルに応じた前記第１の画像信号を減算する処理と前記信号レベルに応じた前記第２の画像信号から前記リセットレベルに応じた前記第２の画像信号を減算する処理とを行う画像信号処理部
を更に有し、
前記画像生成部は、前記画像信号処理部により処理された前記第１の画像信号に基づいて前記第１のフレームを生成し、前記画像信号処理部により処理された前記第２の画像信号に基づいて前記第２のフレームを生成する
前記（１１）に記載の情報処理システム。
（１３）
自身の情報処理システムの動きの情報である動き情報を生成する動き検出部を更に有し、
前記制御部は、前記動き検出部に前記動き情報を生成させる動き情報生成制御及び前記生成された動き情報に基づいて前記周辺地図を補正する周辺地図補正制御を更に行う
前記（９）から（１２）の何れかに記載の情報処理システム。
（１４）
前記制御部は、前記注目物体の動きを検出す動き検出制御を更に行う
前記（９）から（１３）の何れかに記載の情報処理システム。
（１５）
複数の前記画素アレイ部を有し、
前記画像生成部は、複数の前記画素アレイ部毎の前記第１のフレーム及び前記第２のフレームを生成し、
前記自己位置推定部は、複数の前記画素アレイ部毎の前記第１のフレームから前記周辺地図を生成し、
前記物体検出部は、複数の前記画素アレイ部毎の前記第２のフレームから前記注目物体を検出する
前記（９）から（１４）の何れかに記載の情報処理システム。
（１６）
自身の情報処理システムは、身体の頭部に装着するシステムに構成され、
前記画素アレイ部は、前記身体の視野方向の被写体に基づく前記第１の画像信号及び前記第２の画像信号を生成する
前記（９）から（１５）の何れかに記載の情報処理システム。
【符号の説明】
【】
１ 身体装着型端末
２ 慣性計測部
３、３ａ、３ｂ 撮像素子
６ 表示部
１１ 画素アレイ部
１２ 垂直駆動部
１３ カラム信号処理部
３０ 画素制御部
４０ 画像生成部
５０ 自己位置推定部
６０ 物体検出部
７０ 制御部
１００ 画素
１１０ 受光部
１１１、５１１ 光電変換部
１１２、５１２ 電荷保持部
１１４ 電荷排出部
１１５、５１５ 電荷転送部
１１６、５１６ 第１のリセット部
１１８、５１８ 第１の増幅部
１１９ 第１の選択部
１２０ 第１の画像信号生成部
１２１、５２１ 第２のリセット部
１２２、５２２ 第２の増幅部
１２３ 第２の選択部
１３０ 信号レベル保持部
１３１、５３１ 第１の容量素子
１３２、５３２ 第２の容量素子
１３５ 第１のスイッチ素子
１３６ 第２のスイッチ素子
１５０ 第２の画像信号生成部
１５１、５５１ ＭＯＳトランジスタ
５２３ 選択部
５３９ サンプリング部
２ 慣性計測部
３、３ａ、３ｂ 撮像素子
６ 表示部
１１ 画素アレイ部
１２ 垂直駆動部
１３ カラム信号処理部
３０ 画素制御部
４０ 画像生成部
５０ 自己位置推定部
６０ 物体検出部
７０ 制御部
１００ 画素
１１０ 受光部
１１１、５１１ 光電変換部
１１２、５１２ 電荷保持部
１１４ 電荷排出部
１１５、５１５ 電荷転送部
１１６、５１６ 第１のリセット部
１１８、５１８ 第１の増幅部
１１９ 第１の選択部
１２０ 第１の画像信号生成部
１２１、５２１ 第２のリセット部
１２２、５２２ 第２の増幅部
１２３ 第２の選択部
１３０ 信号レベル保持部
１３１、５３１ 第１の容量素子
１３２、５３２ 第２の容量素子
１３５ 第１のスイッチ素子
１３６ 第２のスイッチ素子
１５０ 第２の画像信号生成部
１５１、５５１ ＭＯＳトランジスタ
５２３ 選択部
５３９ サンプリング部
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】
【図】