知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024014925
(43)【公開日】2024-02-01
(54)【発明の名称】撮像装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20240125BHJP
G01S 7/4863 20200101ALI20240125BHJP
G01S 17/931 20200101ALI20240125BHJP
H04N 25/53 20230101ALI20240125BHJP
H04N 25/705 20230101ALI20240125BHJP
H04N 25/76 20230101ALI20240125BHJP
【ＦＩ】
H04N23/60
G01S7/4863
G01S17/931
H04N25/53
H04N25/705
H04N25/76
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2023191611
(22)【出願日】2023-11-09
(62)【分割の表示】P 2021533059の分割
【原出願日】2020-07-10
(31)【優先権主張番号】P 2019131448
(32)【優先日】2019-07-16
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】手塚 洋二郎
(57)【要約】
【課題】測定範囲内に存在する複数の物体のそれぞれを特定する。
【解決手段】本実施形態に係る撮像装置５００によれば、光を射出する発光部１０、発光部１０から射出された光の反射光を受光する複数の受光素子１０４を有する受光部２０、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数の単位グループ１３１～１３５ごとに、露光時間を制御する制御部３０を備え、複数の受光素子１０４及び複数のグループ１３１～１３５は、それぞれの露光時間に対応する信号を出力する。さらに、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成する処理部４０をさらに備える。それにより、各単位グループの露光時間に応じた複数の距離ごとに分解して各距離に位置する物体をそれぞれ撮像することができる。
【選択図】図６
【解決手段】本実施形態に係る撮像装置５００によれば、光を射出する発光部１０、発光部１０から射出された光の反射光を受光する複数の受光素子１０４を有する受光部２０、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数の単位グループ１３１～１３５ごとに、露光時間を制御する制御部３０を備え、複数の受光素子１０４及び複数のグループ１３１～１３５は、それぞれの露光時間に対応する信号を出力する。さらに、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成する処理部４０をさらに備える。それにより、各単位グループの露光時間に応じた複数の距離ごとに分解して各距離に位置する物体をそれぞれ撮像することができる。
【選択図】図６
【特許請求の範囲】
【請求項1】
光を射出する発光部と、
前記発光部から射出された光の反射光を受光する複数の受光素子をそれぞれが有する複数のグループと、
前記複数の受光素子ごとまたは前記複数のグループごとに、前記反射光を受光するタイミングおよび露光時間の少なくとも一方をそれぞれ異なる撮像範囲に対応するように制御する制御部と、
前記複数のグループごとにそれぞれのグループに対応する前記撮像範囲の対象物の像を生成する処理部と、を備え、
前記発光部及び前記複数の受光素子は、移動体に設けられ、前記制御部は、前記移動体が左前方に移動する場合に前記複数の受光素子が配列された受光面上の右部領域に位置する受光素子の露光時間を前にシフトし、前記移動体が右前方に移動する場合に前記受光面上の左部領域に位置する受光素子の露光時間を前にシフトする、撮像装置。
前記発光部から射出された光の反射光を受光する複数の受光素子をそれぞれが有する複数のグループと、
前記複数の受光素子ごとまたは前記複数のグループごとに、前記反射光を受光するタイミングおよび露光時間の少なくとも一方をそれぞれ異なる撮像範囲に対応するように制御する制御部と、
前記複数のグループごとにそれぞれのグループに対応する前記撮像範囲の対象物の像を生成する処理部と、を備え、
前記発光部及び前記複数の受光素子は、移動体に設けられ、前記制御部は、前記移動体が左前方に移動する場合に前記複数の受光素子が配列された受光面上の右部領域に位置する受光素子の露光時間を前にシフトし、前記移動体が右前方に移動する場合に前記受光面上の左部領域に位置する受光素子の露光時間を前にシフトする、撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
測定範囲に向けて赤外線又はレーザ光を射出し、測定範囲内に存在する被写体から戻る光を検出することで、光の射出から検出までの検出時間（いわゆる飛行時間）より測定範囲内に存在する物体までの距離を測定することができる。斯かるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の測距方法では、測定範囲内に複数の物体が存在する場合、それぞれの距離を決定することもできる。しかし、それぞれの物体を特定することはできない。
特許文献１ 国際公開第２０１８／１０１１８７号
特許文献１ 国際公開第２０１８／１０１１８７号
【発明の概要】
【課題を解決するための手段】
【0003】
（項目１）
撮像装置は、光を射出する発光部を備えてよい。
撮像装置は、発光部から射出された光の反射光を受光する複数の受光素子をそれぞれが有する複数のグループを備えてよい。
撮像装置は、グループごとに像を生成する処理部を備えてよい。
複数のグループの反射光を受光するタイミングおよび露光時間の少なくとも一方は、それぞれ異なる撮像範囲に対応して設定されてよい。
処理部は、複数のグループのそれぞれに対応する撮像範囲の対象物の像を生成してよい。
（項目２）
撮像範囲は、複数の受光素子から前記対象部までの距離範囲、および、発光部から光が射出されてから複数の受光素子で受光するまでの時間範囲の少なくとも一方を含んでよい。
（項目３）
撮像装置は、受光素子ごとまたはグループごとに、タイミングおよび露光時間の少なくとも一方を制御する制御部を備えてよい。
（項目４）
撮像装置は、複数の受光素子が配列された受光面を備えてよい。
複数のグループは、それぞれ、受光面上の異なる領域に位置する受光素子を有してよい。
（項目５）
複数のグループのうちの少なくとも１つのグループは、それぞれが少なくとも１つの受光素子を含む受光面上の複数のブロックを含んでよい。
（項目６）
受光面上の下部領域に位置する受光素子のタイミングは、受光面上の上部領域に位置する受光素子のタイミングより先であってよい。
（項目７）
発光部及び複数の受光素子は、移動体に設けられてよい。
制御部は、移動体が左前方に移動する場合に受光面上の右部領域に位置する受光素子の露光時間を前にシフトし、移動体が右前方に移動する場合に受光面上の左部領域に位置する受光素子の露光時間を前にシフトしてよい。
（項目８）
制御部は、複数のグループの露光時間が複数のグループ間で連続するように、複数の受光素子の露光時間を制御してよい。
（項目９）
制御部は、複数のグループのうちの露光時間が前のグループに含まれる受光素子の数が、露光時間が後のグループに含まれる受光素子の数より多くなるように、複数の受光素子の露光時間を制御してよい。
（項目１０）
制御部は、複数のグループのそれぞれの露光時間が同じ時刻から開始して互いに異なる時刻で終了するように、複数の受光素子の露光時間を制御してよい。
（項目１１）
制御部は、複数のグループのうちの少なくとも１つのグループの露光が光の射出前に行われるように、複数の受光素子の露光時間を制御し、
処理部は、複数のグループのうちの残りのグループのそれぞれに含まれる受光素子の出力信号の強度から少なくとも１つのグループに含まれる受光素子の出力信号の強度を減算してよい。
（項目１２）
処理部は、生成した前記像に含まれる物体を特定してよい。
（項目１３）
処理部は、複数のグループごとに特定される物体及び複数のグループのそれぞれの露光時間に基づいて、物体の移動を検知してよい。
（項目１４）
発光部及び複数の受光素子は、移動体に設けられてよい。
制御部は、移動体の速度に応じて複数の受光素子の露光時間を制御してよい。
（項目１５）
制御部は、移動体の速度が速いほど複数の受光素子のうちの少なくも一部の受光素子の露光時間を後にシフトしてよい。
（項目１６）
複数の受光素子または複数のグループは、ベイヤー配列された別の受光素子の間に配置されてよい。
撮像装置は、光を射出する発光部を備えてよい。
撮像装置は、発光部から射出された光の反射光を受光する複数の受光素子をそれぞれが有する複数のグループを備えてよい。
撮像装置は、グループごとに像を生成する処理部を備えてよい。
複数のグループの反射光を受光するタイミングおよび露光時間の少なくとも一方は、それぞれ異なる撮像範囲に対応して設定されてよい。
処理部は、複数のグループのそれぞれに対応する撮像範囲の対象物の像を生成してよい。
（項目２）
撮像範囲は、複数の受光素子から前記対象部までの距離範囲、および、発光部から光が射出されてから複数の受光素子で受光するまでの時間範囲の少なくとも一方を含んでよい。
（項目３）
撮像装置は、受光素子ごとまたはグループごとに、タイミングおよび露光時間の少なくとも一方を制御する制御部を備えてよい。
（項目４）
撮像装置は、複数の受光素子が配列された受光面を備えてよい。
複数のグループは、それぞれ、受光面上の異なる領域に位置する受光素子を有してよい。
（項目５）
複数のグループのうちの少なくとも１つのグループは、それぞれが少なくとも１つの受光素子を含む受光面上の複数のブロックを含んでよい。
（項目６）
受光面上の下部領域に位置する受光素子のタイミングは、受光面上の上部領域に位置する受光素子のタイミングより先であってよい。
（項目７）
発光部及び複数の受光素子は、移動体に設けられてよい。
制御部は、移動体が左前方に移動する場合に受光面上の右部領域に位置する受光素子の露光時間を前にシフトし、移動体が右前方に移動する場合に受光面上の左部領域に位置する受光素子の露光時間を前にシフトしてよい。
（項目８）
制御部は、複数のグループの露光時間が複数のグループ間で連続するように、複数の受光素子の露光時間を制御してよい。
（項目９）
制御部は、複数のグループのうちの露光時間が前のグループに含まれる受光素子の数が、露光時間が後のグループに含まれる受光素子の数より多くなるように、複数の受光素子の露光時間を制御してよい。
（項目１０）
制御部は、複数のグループのそれぞれの露光時間が同じ時刻から開始して互いに異なる時刻で終了するように、複数の受光素子の露光時間を制御してよい。
（項目１１）
制御部は、複数のグループのうちの少なくとも１つのグループの露光が光の射出前に行われるように、複数の受光素子の露光時間を制御し、
処理部は、複数のグループのうちの残りのグループのそれぞれに含まれる受光素子の出力信号の強度から少なくとも１つのグループに含まれる受光素子の出力信号の強度を減算してよい。
（項目１２）
処理部は、生成した前記像に含まれる物体を特定してよい。
（項目１３）
処理部は、複数のグループごとに特定される物体及び複数のグループのそれぞれの露光時間に基づいて、物体の移動を検知してよい。
（項目１４）
発光部及び複数の受光素子は、移動体に設けられてよい。
制御部は、移動体の速度に応じて複数の受光素子の露光時間を制御してよい。
（項目１５）
制御部は、移動体の速度が速いほど複数の受光素子のうちの少なくも一部の受光素子の露光時間を後にシフトしてよい。
（項目１６）
複数の受光素子または複数のグループは、ベイヤー配列された別の受光素子の間に配置されてよい。
【0004】
（項目１７）
移動体は、項目１から１６のいずれか一項に記載の撮像装置を備えてよい。
移動体は、移動体の速度を検出する速度センサを備えてよい。
移動体は、移動体の移動方向を検出する移動方向センサを備えてよい。
移動体は、項目１から１６のいずれか一項に記載の撮像装置を備えてよい。
移動体は、移動体の速度を検出する速度センサを備えてよい。
移動体は、移動体の移動方向を検出する移動方向センサを備えてよい。
【0005】
（項目１８）
撮像方法は、光を射出する段階を含んでよい。
撮像方法は、複数の受光素子を用いて、射出された光の反射光を受光する段階を含んでよい。
撮像方法は、複数の受光素子ごと、または、少なくとも２つの受光素子をそれぞれが有する複数のグループごとに、露光時間を制御する段階を含んでよい。
撮像方法は、露光時間に対応する測定対象範囲内の対象物までの距離、および、対象物の像の少なくとも一方を、複数の受光素子ごとまたは複数のグループごとに生成する段階を含んでよい。
撮像方法は、光を射出する段階を含んでよい。
撮像方法は、複数の受光素子を用いて、射出された光の反射光を受光する段階を含んでよい。
撮像方法は、複数の受光素子ごと、または、少なくとも２つの受光素子をそれぞれが有する複数のグループごとに、露光時間を制御する段階を含んでよい。
撮像方法は、露光時間に対応する測定対象範囲内の対象物までの距離、および、対象物の像の少なくとも一方を、複数の受光素子ごとまたは複数のグループごとに生成する段階を含んでよい。
【0006】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0007】
【図1】本実施形態に係る裏面照射型の受光装置の断面構成を示す。
【図2A】撮像チップの受光素子のグループ配列の一例を示す。
【図2B】撮像チップの受光素子のグループ配列の別の例を示す。
【図2C】撮像チップの受光素子のグループ配列の別の例を示す。
【図2D】撮像チップの受光素子のグループ配列の別の例を示す。
【図3】画素の等価回路を示す。
【図4】単位グループに含まれるブロックにおける画素の接続関係を示す回路図である。
【図5】撮像素子の機能的構成を示すブロック図である。
【図6】本実施形態に係る撮像装置の構成を示す。
【図7A】撮像範囲内に存在する物体及びそれらの距離の一例を示す。
【図7B】受光素子の各グループの露光時間の一例を示す。
【図7C】受光素子の各グループの露光時間の別の例を示す。
【図7D】受光素子の各グループの露光時間の別の例を示す。
【図7E】受光素子の各グループの露光時間の別の例を示す。
【図8】本実施形態に係る撮像装置を車両に搭載した場合の撮像システムの構成の一例を示す。
【図9】車両に搭載された撮像装置による撮像処理のフローの一例を示す。
【発明を実施するための形態】
【0008】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0009】
図１に、本実施形態に係る裏面照射型の受光装置１００の断面構成を示す。受光装置１００は、撮像チップと１１３、信号処理チップ１１１、及びメモリチップ１１２を含む。これらのチップは積層され、各チップに形成されたＣｕ等の導電性を有するバンプ１０９同士の接合と、各チップ上面に形成される酸化膜層同士の接合とにより、各チップ間が接合されている。ここで、バンプ１０９同士の接合により、各チップ間が互いに電気的に接続されている。なお、入射光は、白抜き矢印を用いて示すように、＋Ｚ方向に入射する。本実施形態では、撮像チップ１１３の入射光が入る側の面を裏面、その逆側の面を表面と称する。また、図面上下方向をＺ軸方向、左右方向をＸ軸方向、これらに直交する方向をＹ軸方向とする。また、本実施形態では、後述する撮像装置５００により撮像する対象範囲を撮像範囲とも呼ぶ。
【0010】
撮像チップ１１３は、入射光を受光し、露光量に応じた画素信号を出力する。撮像チップ１１３として、例えば、裏面照射型ＭＯＳイメージセンサを採用してよい。撮像チップ１１３は、ＰＤ層１０６及び配線層１０８を有する。
【0011】
ＰＤ層１０６は、受光装置１００が有する受光面上に二次元配列された複数の受光素子１０４を有する。受光素子１０４は、フォトダイオード（ＰＤ）等の光電変換素子である。
【0012】
なお、ＰＤ層１０６の裏面側に、パッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有し、各受光素子１０４に対応して特定の配列を有する。各１つのカラーフィルタ１０２、受光素子１０４、及び後述するトランジスタ１０５より１つの画素が形成される。なお、単色撮像の場合には、カラーフィルタ１０２を設けなくてよい。
【0013】
また、カラーフィルタ１０２の裏面側に、複数のマイクロレンズ１０１が設けられる。マイクロレンズ１０１は、それぞれ、対応する受光素子１０４に向けて入射光を集光する。
【0014】
配線層１０８は、ＰＤ層１０６のおもて面側に設けられ、ＰＤ層１０６内の各受光素子１０４に対応して設けられたトランジスタ１０５及び受光素子１０４からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は、多層であってよく、また受動素子及び能動素子が設けられてもよい。配線層１０８のおもて面に、複数のバンプ１０９が設けられている。
【0015】
信号処理チップ１１１は、ＰＤ層１０６からの画素信号を処理するデバイスを含む。それらのデバイスはチップの両面に設けられてよく、ＴＳＶ（シリコン貫通電極）１１０により接続されてよい。信号処理チップ１１１は、複数のバンプ１０９を有し、撮像チップ１１３の複数のバンプ１０９と電気的に接続される。
【0016】
メモリチップ１１２は、画素信号を記憶するデバイスを含む。メモリチップ１１２は、複数のバンプ１０９を有し、信号処理チップ１１１の複数のバンプ１０９と電気的に接続される。
【0017】
図２Ａから図２Ｄに、撮像チップ１１３の受光素子１０４のグループ配列を示す。撮像チップ１１３は受光面上に画素領域を有し、２０００万個以上もの画素、すなわち受光素子１０４がマトリックス状に配列されている。一例として、隣接する３画素×３画素の９画素が１つのブロック１３１ｂ～１３５ｂを構成し、任意に配列された複数のブロック１３１ｂ～１３５ｂをそれぞれ含んで複数の単位グループ１３１～１３５が構成される。なお、１つのブロック１３１ｂ～１３５ｂに含まれる画素（受光素子１０４）の数はこれに限られず、１つのブロック１３１ｂ～１３５ｂに１画素のみが含まれてもよい。また、任意の数のブロック１３１ｂ～１３５ｂが１つの単位グループ１３１～１３５に含まれてよい。
【0018】
複数の受光素子１０４は、後述するように、単位グループ１３１～１３５ごとに露光時間、すなわち電荷蓄積が制御される。例えば、単位グループ１３１～１３５に属する受光素子１０４は、それぞれ、照明光が射出された時点を基準にして、０～１００ナノ秒の露光時間、１００～２００ナノ秒の露光時間、２００～３００ナノ秒の露光時間、３００～４００ナノ秒の露光時間、４００～５００ナノ秒の露光時間の間、シャッタ（特に断らない限り、図３を用いて説明する電子シャッタを意味する）を開いて電荷を蓄積する。
【0019】
複数の単位グループ１３１～１３５は、それぞれ、受光面上の異なる領域に位置する受光素子１０４の複数のブロック１３１ｂ～１３５ｂを有する。図２Ａに示すグループ配列の例では、２行２列に配列された４つのブロック１３１ｂ～１３４ｂの組が行方向及び列方向に繰り返し配列されている。４つのブロック１３１ｂ～１３４ｂに含まれる受光素子１０４は、それぞれ、単位グループ１３１～１３４に属する。それにより、各単位グループ１３１～１３４に属する受光素子１０４のブロック１３１ｂ～１３４ｂは、行方向及び列方向のそれぞれについて１ブロック分の距離を隔ててマトリックス状に配列される。従って、単位グループ１３１～１３４に属する受光素子１０４により、撮像範囲を複数の距離に分解してそれぞれ等しい解像度で撮像することができる。
【0020】
図２Ｂに示すグループ配列の例では、それぞれ列方向に連続して配列された４つのブロック１３１ｂ～１３４ｂの列が行方向に順に配列されており、この４つの列が行方向に繰り返し配列されている。４つのブロック１３１ｂ～１３４ｂに含まれる受光素子１０４は、それぞれ、単位グループ１３１～１３４に属する。それにより、各単位グループ１３１～１３４に属する受光素子１０４のブロック１３１ｂ～１３４ｂは、列方向に連続に、行方向に３ブロック分の距離を隔ててストライプ状に配列される。従って、単位グループ１３１～１３４に属する受光素子１０４により、撮像範囲を複数の距離に分解して、行方向に対して列方向に高い解像度で撮像することができる。なお、それぞれ行方向に連続して配列された４つのブロック１３１ｂ～１３４ｂが列方向に順に繰り返し配列されてもよい。それにより、列方向に対して行方向に高い解像度で撮像することができる。
【0021】
図２Ｃに示すグループ配列の例では、図２Ａに示したグループ配列に対して単位グループ１３４に属するブロック１３４ｂの一部が単位グループ１３５に属するブロック１３５ｂに置き換えられている。これにより、単位グループ１３１～１３３に属する多くの受光素子１０４によりそれぞれ高い解像度で、単位グループ１３４に属する少ない受光素子１０４により幾らか低い解像度で、単位グループ１３４に属するさらに少ない受光素子１０４によりさらに低い解像度で、撮像することができる。
【0022】
図２Ｄに示すグループ配列の例では、２行２列に配列された緑色画素Ｇｂ、Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列が行方向及び列方向に繰り返し配列されている。なお、この例では、１ブロックは１画素のみを含む。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有し、青色波長帯の光を受光する。赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有し、赤色波長帯の光を受光する。さらに、ベイヤー配列の列方向の配列の間に行方向に配列された単位グループ１３１～１３３にそれぞれ属する受光素子１０４が含まれる。これにより、ベイヤー配列された画素により撮像範囲全体をカラー撮像しつつ、単位グループ１３１～１３３にそれぞれ属する画素（受光素子１０４）により撮像範囲全体を複数の距離に分解して撮像することができる。
【0023】
【0024】
図３に、画素１５０の等価回路を示す。各画素１５０は、ＰＤ１０４、転送トランジスタ１５２、リセットトランジスタ１５４、増幅トランジスタ１５６、選択トランジスタ１５８、及び負荷電流源３０９を有する。これらのトランジスタは、図１において、トランジスタ１０５と総称されている。さらに、画素１５０には、リセットトランジスタ１５４のオン信号が供給されるリセット配線３００、転送トランジスタ１５２のオン信号が供給される転送配線３０２、電源Ｖｄｄから電力の供給を受ける電源配線３０４、選択トランジスタ１５８のオン信号が供給される選択配線３０６、及び画素信号を出力する出力配線３０８が設けられている。
【0025】
画素１５０において、転送トランジスタ１５２のソース、ゲート、及びドレインは、それぞれ、ＰＤ１０４の一端、転送配線３０２、増幅トランジスタ１５６のゲートに接続される。リセットトランジスタ１５４のソース、ゲート、及びドレインは、それぞれ、増幅トランジスタ１５６のゲート、リセット配線３００、及び電源配線３０４に接続される。転送トランジスタ１５２のドレインとリセットトランジスタ１５４のソース間は、いわゆるフローティングディフュージョンＦＤを形成する。増幅トランジスタ１５６のソース及びドレインは、それぞれ、選択トランジスタ１５８のドレイン及び電源配線３０４に接続される。選択トランジスタ１５８のゲート及びソースは、それぞれ、選択配線３０６及び出力配線３０８に接続される。
【0026】
負荷電流源３０９は、出力配線３０８に電流を供給する。これにより、選択トランジスタ１５８に対する出力配線３０８はソースフォロアにより形成される。なお、負荷電流源３０９は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
【0027】
画素１５０における、電荷の蓄積から画素出力までのフローを説明する。リセット配線３００を通じてリセットパルスをリセットトランジスタ１５４に印加し、同時に転送配線３０２を通じて転送パルスを転送トランジスタ１５２に印加することで、ＰＤ１０４及びフローティングディフュージョンＦＤの電位がリセットされる。ＰＤ１０４は、転送パルスの印加が解除されると、入射光の受光量に応じた電荷を蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位はリセット電位から電荷蓄積後の信号電位になる。転送パルスの印加解除から再度の転送パルスの印加までの動作をシャッタを開くとも呼び、その期間をシャッタ時間或いは露光時間と呼ぶ。そして、選択配線３０６を通じて選択パルスが選択トランジスタ１５８に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ１５６及び選択トランジスタ１５８を介して出力配線３０８に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０８に出力される。
【0028】
なお、図３に示した画素１５０の回路構成に限らず、例えば、画素１５０の回路構成において転送トランジスタ１５２とフローティングディフュージョンＦＤとの間にグローバル電子シャッタ専用容量が設けられ、ＰＤ１０４と電源配線３０４との間に追加のトランジスタが設けられ、任意で選択トランジスタ１５８が省かれた回路構成を採用してもよい。
【0029】
図４に、単位グループ１３１～１３５に含まれる各ブロック１３１ｂ～１３５ｂにおける画素１５０の接続関係を示す。なお、図面を見やすくする目的で各トランジスタの参照番号を省略したが、図４の各画素の各トランジスタは、図３の画素１５０における対応する位置に配された各トランジスタと同じ構成及び機能を有する。ブロック１３１ｂ～１３５ｂは、一例として、隣接する３画素×３画素の９画素ＡからＩにより形成される。なお、ブロック１３１ｂ～１３５ｂに含まれる画素の数はこれに限られない。
【0030】
ブロック１３１ｂ～１３５ｂに含まれる画素のリセットトランジスタはブロック単位で共通にオンオフされる。画素Ａのリセットトランジスタをオンオフするリセット配線３００、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０、さらに他の画素ＤからＩのリセットトランジスタをオンオフする専用線路が共通のドライバ（不図示）に接続される。
【0031】
ブロック１３１ｂ～１３５ｂに含まれる画素の転送トランジスタもブロック単位で共通にオンオフされる。画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２、さらに他の画素ＤからＩの転送トランジスタをオンオフする専用線路が共通の制御回路（不図示）に接続される。
【0032】
ブロック１３１ｂ～１３５ｂに含まれる画素の選択トランジスタも画素ごとに個別にオンオフされる。画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６、さらに他の画素ＤからＩの選択トランジスタをオンオフする専用線路が別個にドライバ（不図示）に接続される。
【0033】
なお、電源配線３０４は、ブロック１３１ｂ～１３５ｂに含まる各画素ＡからＩで共通に接続されている。同様に、出力配線３０８は、ブロック１３１ｂ～１３５ｂに含まる各画素ＡからＩで共通に接続されている。さらに、電源配線３０４は複数のブロック間で共通に接続されるが、出力配線３０８はブロックごとに設けられる。
【0034】
ブロック１３１ｂ～１３５ｂのリセットトランジスタ及び転送トランジスタを共通にオンオフすることにより、ブロック１３１ｂ～１３５ｂに含まれる各画素ＡからＩに対して同期して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、ブロック１３１ｂ～１３５ｂの選択トランジスタを個別にオンオフすることにより、各画素ＡからＩの画素信号を共通の出力配線３０８を介して個別に出力することができる。
【0035】
ブロック１３１ｂ～１３５ｂに含まれる各画素ＡからＩの電荷蓄積は、ローリングシャッタ方式又はグローバルシャッタ方式により制御される。ローリングシャッタ方式では、画素の電荷蓄積は、行及び列に対して規則的な順序で制御される、例えば行ごとに画素を選択してから列を指定することで図４の例において「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。しかし、ローリングシャッタ方式では動体を撮像した場合に、ブロック１３１ｂ～１３５ｂ内の画素について当該動体が斜めに歪んだ画像が生成される。グローバルシャッタ方式では、画素の電荷蓄積は、すべての画素ＡからＩについて同時タイミングで制御される。
【0036】
図５に、受光装置１００の機能構成を示す。受光装置１００は、マルチプレクサ４１１、信号処理回路４１２、デマルチプレクサ４１３、及び画素メモリ４１４を含む。ここで、マルチプレクサ４１１は、撮像チップ１１３に形成される。信号処理回路４１２は、信号処理チップ１１１に形成される。デマルチプレクサ４１３及び画素メモリ４１４は、メモリチップ１１２に形成される。
【0037】
マルチプレクサ４１１は、ブロック１３１ｂ～１３５ｂの各画素ＡからＩを順番に選択して、それぞれの画素信号を出力配線３０８を介して信号処理回路４１２に送信する。なお、マルチプレクサ４１１の後段に増幅器を設け、それぞれの画素信号を予め定められた増幅率（ゲイン）で増幅して、信号処理回路４１２に送信してもよい。
【0038】
信号処理回路４１２は、画素信号（アナログ信号）を相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換して、デジタル化された画素信号を出力配線３３０を介してデマルチプレクサ４１３に送信する。
【0039】
デマルチプレクサ４１３は、信号処理回路４１２によりデジタル化された画素信号を、画素ＡからＩにそれぞれ対応して画素メモリ４１４のメモリＡからＩに送信する。
【0040】
画素メモリ４１４は、画素信号を格納するメモリＡからＩを有し、画素ＡからＩの画素信号をそれぞれメモリＡからＩに格納する。
【0041】
なお、画素ＡからＩごとに信号処理回路４１２を設け、それらからの画素信号を並列にＣＤＳ・Ａ／Ｄ変換してメモリＡからＩに格納してもよい。
【0042】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の処理部４０に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、演算回路４１５をグループごとに設けてもよいし、複数のグループに対して共通に設けてもよい。
【0043】
図６に、本実施形態に係る撮像装置５００の構成を示す。撮像装置５００は、撮像範囲を複数の距離ごとに分解して撮像する装置であり、発光部１０、受光部２０、制御部３０、及び処理部４０を備える。
【0044】
発光部１０は、撮像範囲に向けて光、すなわち照明光を射出するユニットである。発光部１０は、赤外線又は可視光領域の光を生成する光源を有し、これを用いてパルス光等の変調光を生成し、照明光として射出することで撮像範囲を照明する。
【0045】
受光部２０は、撮像範囲からの反射光を受光するユニットである。受光部２０は、光学系２１及び受光装置１００を含む。
【0046】
光学系２１は、複数のレンズ素子から構成され、光軸ＯＡに沿って撮像範囲から入ってくる光を受光装置１００の受光面上に導き、被写体像を結像させる。光学系２１は、受光装置１００に着脱できるように構成されてもよい。
【0047】
受光装置１００は、先述のとおり、受光面上に配列された複数の受光素子１０４を有する。複数の受光素子１０４は、それぞれが画素をなし、光学系２１によって結像された光（被写体像）を露光時間の間、受光し、光電変換して電荷を蓄積する。複数の受光素子１０４は、複数の単位グループ１３１～１３５にグループ化され、単位グループ１３１～１３５ごとに露光時間、すなわち電荷蓄積が制御される。複数の受光素子１０４から出力される画素信号は、処理部４０に送信される。
【0048】
制御部３０は、受光装置１００の複数の受光素子１０４の露光時間、すなわち電荷蓄積を、複数の受光素子１０４ごと又は複数の単位グループ１３１～１３５ごとに制御するユニットである。制御部３０は、例えばマイクロプロセッサ及びその周辺回路から構成され、不揮発性メモリ（不図示）に格納されている制御プログラムを実行することによりその機能を発現する。なお、制御部３０の一部機能をタイミングジェネレータ等の電子回路によって構成してもよい。
【0049】
処理部４０は、複数の受光素子１０４から出力される画素信号に基づいて、複数の単位グループ１３１～１３５のそれぞれの露光時間に対応する撮像範囲内の距離における像、すなわち画像データを複数の受光素子１０４ごと又は複数の単位グループ１３１～１３５ごとに生成する。ここで、バッファメモリ（不図示）を、画像処理のワークスペースとして使用することができる。画像データは、例えば、ＪＰＥＧファイル形式で生成されてよく、斯かる場合、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。また、処理部４０は、感度を改善するために、ビニング処理を実行してもよい。生成された画像データは、不揮発性フラッシュメモリ等の記憶装置（不図示）に記録されるとともに、表示信号に変換して液晶モニタ等の表示装置（不図示）上に表示されてもよい。
【0050】
図７Ａに、撮像範囲内に存在する物体１～３及びそれらの距離の一例を示す。撮像装置５００の受光面の位置（０ｍ）から距離１５～３０ｍの範囲内に物体１、距離３０～４５ｍの範囲内に物体２、距離４５～６０ｍの範囲内に物体３が存在するものとする。
【0051】
図７Ｂに、受光素子１０４の各単位グループの露光時間の一例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。制御部３０は、受光素子１０４の単位グループ１３１～１３４の露光時間が単位グループ１３１～１３４間で連続するように、複数の受光素子１０４の露光時間を制御する。一例として、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、発光部１０による照明光が射出された時点を基準にして、０～１００ナノ秒の露光時間、１００～２００ナノ秒の露光時間、２００～３００ナノ秒の露光時間、３００～４００ナノ秒の露光時間の間、シャッタを開く。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに処理してよい。
【0052】
なお、露光時間が単位グループ１３１～１３４間で連続するとは、先の単位グループの露光時間の終了と同時に次の単位グループの露光時間が開始するよう露光時間を連続させるに限らず、単位グループ１３１～１３４間で露光時間を一部重複して連続させてもよいし、間隔を開けて連続させてもよい。
【0053】
ここで、光は１０ナノ秒で約３メートルの距離を進む。受光素子１０４の単位グループ１３１は、距離０～１５ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体が撮像される。図７Ａの例では、物体は撮像されない。受光素子１０４の単位グループ１３２は、距離１５～３０ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体１が撮像される。受光素子１０４の単位グループ１３３は、距離３０～４５ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体２が撮像される。受光素子１０４の単位グループ１３４は、距離４５～６０ｍの範囲内に存在する物体からの反射光を受光するから、その範囲内に存在する物体３が撮像される。このように、各単位グループの露光時間に応じて連続する複数の距離範囲にそれぞれ位置する物体を互いに分離して撮像することができる。
【0054】
なお、図２Ｃに示したグループ配列の５つの単位グループ１３１～１３５にグループ化された受光素子１０４に対して、図７Ｂの例のように露光時間が連続するように制御してもよい。また、制御部３０により、単位グループ１３１～１３５のうちの露光時間が前のグループ１３１～１３３に含まれる受光素子１０４の数が、露光時間が後のグループ１３４～１３５に含まれる受光素子１０４の数より多くなるように、受光素子１０４の露光時間を制御してもよい。それにより、近くに位置する物体（図７Ａの例では物体１、さらに物体２）ほど高い解像度で撮像することができる。
【0055】
図７Ｃに、受光素子１０４の各単位グループの露光時間の別の例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。制御部３０は、単位グループ１３１～１３４のそれぞれの露光時間が同じ開始時刻から開始して互いに異なる終了時刻で終了するように、複数の受光素子１０４の露光時間を制御する。一例として、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４のすべてについて発光部１０による照明光の射出と同時にシャッタを開いて露光を開始し、単位グループ１３１～１３４に属する受光素子１０４に対して、それぞれ、１００ナノ秒経過時、２００ナノ秒経過時、３００ナノ秒経過時、４００ナノ秒経過時にシャッタを閉じて露光を順に終了する。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれのグループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０によりグループごとに処理する。
【0056】
ここで、処理部４０は、単位グループ１３２に属する受光素子１０４からの画素信号に対して単位グループ１３１に属する受光素子１０４からの画素信号の強度を減算する。単位グループ１３３に属する受光素子１０４からの画素信号に対して単位グループ１３２に属する受光素子１０４からの画素信号の強度を減算する。単位グループ１３４に属する受光素子１０４からの画素信号に対して単位グループ１３３に属する受光素子１０４からの画素信号の強度を減算する。ただし、例えば、減算対象の受光素子１０４が属するブロックに隣接する別のグループの１又は複数のブロックに含まれる受光素子１０４の画素信号の平均強度を減算する。それにより、単位グループ１３１に属する受光素子１０４の画素信号より、距離０～１５ｍの範囲内に存在する物体の像が得られる。図７Ａの例では、いずれの物体の像も得られない。単位グループ１３１～１３２に属する受光素子１０４の画素信号より、距離１５～３０ｍの範囲内に存在する物体１の像が得られる。単位グループ１３２～１３３に属する受光素子１０４の画素信号より、距離３０～４５ｍの範囲内に存在する物体２の像が得られる。単位グループ１３３～１３４に属する受光素子１０４の画素信号より、距離４５～６０ｍの範囲内に存在する物体３の像が得られる。このように、近くに位置する物体ほど高い解像度で像を得ることができる。
【0057】
図７Ｄに、受光素子１０４の各単位グループの露光時間の別の例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。制御部３０は、単位グループ１３１～１３４のうちの少なくとも１つの単位グループの露光が照明光の射出前に行われるように、複数の受光素子１０４の露光時間を制御する。一例として、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、発光部１０による照明光が射出された時点を基準にして、０～１００ナノ秒の露光時間、１００～２００ナノ秒の露光時間、２００～３００ナノ秒の露光時間、－１００～０ナノ秒の露光時間の間、シャッタを開く。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに処理する。
【0058】
ここで、処理部４０は、単位グループ１３１～１３３のそれぞれに含まれる受光素子１０４の画素信号の強度から単位グループ１３４に含まれる受光素子１０４の画素信号の強度を減算する。ただし、例えば、減算対象の受光素子１０４が属するブロックに隣接する単位グループ１３４の１又は複数のブロックに含まれる受光素子１０４の画素信号の平均強度を減算する。ここで、単位グループ１３４に含まれる受光素子１０４は、照明光の射出前にシャッタが開かれているから背景光のみを受光している。それにより、単位グループ１３１～１３３のそれぞれに属する受光素子１０４の画素信号から、背景光等に由来するノイズを除去することができる。
【0059】
なお、制御部３０は、単位グループ１３１～１３５の露光時間の一サイクルが終了した後、さらに、１又は複数回の露光時間のサイクルを繰り返してもよい。例えば、図７Ｂに示した例において、制御部３０は、１回目のサイクル（０～４００ナノ秒）が終了した後、２回目のサイクル（４００～８００ナノ秒）を実行する。すなわち、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、４００～５００ナノ秒の露光時間、５００～６００ナノ秒の露光時間、６００～７００ナノ秒の露光時間、７００～８００ナノ秒の露光時間の間、シャッタを開く。図７Ｃに示した例において、制御部３０は、１回目のサイクル（０～４００ナノ秒）が終了した後、２回目のサイクル（４００～８００ナノ秒）を実行する。すなわち、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、４００～５００ナノ秒の露光時間、４００～６００ナノ秒の露光時間、４００～７００ナノ秒の露光時間、４００～８００ナノ秒の露光時間の間、シャッタを開く。図７Ｄに示した例において、制御部３０は、１回目のサイクル（０～３００ナノ秒）が終了した後、２回目のサイクル（３００～６００ナノ秒）を実行する。すなわち、制御部３０は、単位グループ１３１～１３３に属する受光素子１０４について、それぞれ、３００～４００ナノ秒の露光時間、４００～５００ナノ秒の露光時間、５００～６００ナノ秒の露光時間の間、シャッタを開く。なお、単位グループ１３１～１３４の露光時間の終了後又は複数回露光を繰り返した後にそれぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに処理してよい。これにより、より広範な距離範囲に存在する物体の像を得ることができる。
【0060】
図７Ｅに、受光素子１０４の各単位グループの露光時間の別の例を示す。この例では、受光素子１０４は、図２Ａ又は図２Ｂに示したグループ配列の４つの単位グループ１３１～１３４にグループ化されているとする。さらに、制御部３０により、受光素子１０４の単位グループ１３１～１３４のそれぞれの露光時間が一例として１０ナノ秒に設定され且つ単位グループ１３１～１３４間で連続するように複数の受光素子１０４の露光時間が制御されるとする。このように露光時間が短い場合に、各受光素子１０４において十分な光量を得る（すなわち十分な電荷を蓄積する）ために、制御部３０は、１フレーム内で発光部１０による照明光の射出及びこれに続く受光素子１０４の露光を繰り返し行ってよい。例えば、制御部３０は、単位グループ１３１～１３４に属する受光素子１０４について、それぞれ、発光部１０による照明光が射出された時点を基準にして、０～１０ナノ秒の露光時間、１０～２０ナノ秒の露光時間、２０～３０ナノ秒の露光時間、３０～４０ナノ秒の露光時間の間、シャッタを開いて、それぞれの受光素子１０４において受光する。制御部３０は、この露光動作を１フレーム内で複数回、例えば１００～１００，０００回繰り返し、それぞれの受光素子１０４において受光量を蓄積する。１フレーム内での照明光の射出及び受光素子１０４の露光動作を繰り返した後に、それぞれの単位グループの受光素子１０４の出力信号（画素信号）を読み出し、処理部４０により単位グループごとに出力信号を処理してよい。この方法により、距離分解能を維持しつつ、各受光素子１０４において十分な光量を得ることができる。
【0061】
さらに、各受光素子１０４における受光量が不十分な場合に、処理部４０により、画像積算及び／又は画素加算を行ってよい。画像積算は、複数フレームで画素値を積算平均することであり、例えば１０００ｆｐｓで撮影した場合に、３３フレームにわたって画素値を積算平均することで３０ｆｐｓで距離画像を得ることができる。画素加算（平均）は、いわゆるビニングであり、隣接する複数の画素の画素値を加算（又は平均）して１つの画素の画素値とすることである。
【0062】
図８に、本実施形態に係る撮像装置５００を車両６００に搭載した場合の撮像システムの構成の一例を示す。車両６００は、移動体の一例であり、電車、自動車、自動二輪車等であってよい。車両６００は、撮像装置５００、速度センサ６１０、及び移動方向センサ６２０を備える。撮像装置５００（少なくとも発光部１０及び受光部２０）は、前方を撮像するよう車両６００に搭載される。つまり、発光部１０により車両６００の前方に向けて照明光を射出し、車両６００の前方から戻ってくる反射光を受光部２０により受光する。速度センサ６１０は、車両６００の速度を検出するセンサであり、車両６００に搭載されたものであってよい。移動方向センサ６２０は、車両６００の移動方向を検出するセンサである。移動方向センサ６２０は、例えば、車両６００に加わる加速度を検出するセンサ、車両６００のハンドルの回転角を検出するセンサ等であってよい。速度センサ６１０及び移動方向センサ６２０の検出結果は、撮像装置５００に送信される。
【0063】
撮像装置５００の処理部４０は、受光面上の下部領域に位置する受光素子１０４の露光時間が受光面上の上部領域に位置する受光素子１０４の露光時間より先に開始するよう制御する。それにより、遠方の状況を把握しつつ、地面の上の移動する車両６００の前方近くの路上に位置する物体を高解像度で撮像することができる。
【0064】
撮像装置５００の処理部４０は、速度センサ６１０の検出結果に応じて、複数の受光素子１０４の露光時間を制御する。
【0065】
車両６００の速度が上がった場合、制御部３０は、車両６００の速度が上がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を後にシフトする。例えば、図２Ａに示したグループ配列の受光素子１０４の単位グループ１３１～１３４に対して、露光時間をそれぞれ速度に応じた時間（例えば、１～１００ナノ秒）、後にシフトする。或いは、単位グループ１３１～１３２に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３３～１３４に変更して、露光時間が前の受光素子１０４を減らし、露光時間が後の受光素子１０４を増やす。
【0066】
車両６００の速度が下がった場合、制御部３０は、車両６００の速度が下がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を前にシフトする。例えば、図２Ａに示したグループ配列の受光素子１０４の単位グループ１３１～１３４に対して、露光時間をそれぞれ速度に応じた時間（例えば、１～１００ナノ秒）、前にシフトする。或いは、単位グループ１３３～１３４に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３１～１３２に変更して、露光時間が後の受光素子１０４を減らし、露光時間が前の受光素子１０４を増やす。
【0067】
それにより、車両６００の速度が高いほど受光素子１０４の露光時間を後にシフトし、車両６００の速度が低いほど受光素子１０４の露光時間を前にシフトすることで、車両６００の速度によらず、物体を、それが車両６００に最接近する一定時間前に検知することができる。
【0068】
また、車両６００が左前方に移動する場合、制御部３０は、受光面上の右部領域に位置するより多くの受光素子１０４の露光時間を（例えば、１～１００ナノ秒）前にシフトする。或いは、受光面上の右部領域内の単位グループ１３３～１３４に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３１～１３２に変更して、露光時間が前の受光素子１０４を増やす。車両６００が右前方に移動する場合、制御部３０は、受光面上の左部領域に位置するより多くの受光素子１０４の露光時間を（例えば、１～１００ナノ秒）前にシフトする。或いは、受光面上の左部領域内の単位グループ１３３～１３４に属する受光素子１０４の少なくとも一部をそれぞれ単位グループ１３１～１３２に変更して、露光時間が前の受光素子１０４を増やす。それにより、車両６００が左折するときなど左前方に移動する場合に左前方近くに位置する物体を高解像度で撮像することができる。また、車両６００が右折するときなど右前方に移動する場合に右前方近くに位置する物体を高解像度で撮像することができる。
【0069】
図９に、車両６００に搭載された撮像装置５００による撮像処理のフローの一例を示す。撮像装置５００は、車両６００のエンジンの始動に応じてオンされ、エンジンが停止されるまで撮像処理を実行する。なお、撮像装置５００において、受光装置１００の受光素子１０４の露光時間は、例えば図２Ａから図２Ｄに示したグループ配列に従って、予め標準の露光時間に設定されているものとする。
【0070】
ステップＳ１０２では、車両６００に搭載された速度センサ６１０及び移動方向センサ６２０により、それぞれ、車両６００の速度及び移動方向が検出される。それらの検出結果は、撮像装置５００（制御部３０）に送信される。
【0071】
ステップＳ１０４では、撮像装置５００の制御部３０により、車両６００の速度及び移動方向が変化したか否か判断される。変化があった場合、ステップＳ１０６に進み、制御部３０は受光素子１０４の露光時間の設定を変更する。変化がなかった場合、ステップＳ１０８に進み、制御部３０は受光素子１０４の露光時間の設定を維持する。
【0072】
ステップＳ１０６では、制御部３０により、受光素子１０４の露光時間が単位グループごとに制御される。車両６００の速度が上がった場合、制御部３０は、先述のとおり、車両６００の速度が上がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を後にシフトする。車両６００の速度が下がった場合、制御部３０は、先述のとおり、車両６００の速度が下がるほど複数の受光素子１０４のうちのより多くの受光素子１０４の露光時間を前にシフトする。それにより、車両６００の速度によらず、物体を、それが車両６００に最接近する一定時間前に検知することができる。
【0073】
また、車両６００が左前方に移動する場合、制御部３０は、先述のとおり、受光面上の右部領域に位置するより多くの受光素子１０４の露光時間を前にシフトし、車両６００が右前方に移動する場合、制御部３０は、先述のとおり、受光面上の左部領域に位置するより多くの受光素子１０４の露光時間を前にシフトする。
【0074】
ステップＳ１０８では、制御部３０は、発光部１０を制御して、車両６００の前方（すなわち、撮像範囲）に向けて照明光を射出する。
【0075】
ステップＳ１１０では、制御部３０は、受光部２０を制御して、車両の前方（すなわち、撮像範囲）からの反射光を、複数の単位グループにグループ化された複数の受光素子１０４を用いて受光する。ここで、受光素子１０４の露光時間は、予め又はステップＳ１０６において単位グループごとに制御されている。
【0076】
ステップＳ１１２では、処理部４０が、受光素子１０４の画素信号に基づいて、単位グループのそれぞれの露光時間に対応する撮像範囲内の距離における像（すなわち、画像データ）を単位グループごとに生成する。例えば、図２Ａ又は図２Ｂに示した単位グループ１３１～１３４にグループ化された受光素子１０４により図７Ａに示した撮像範囲内に存在する物体１～３を撮像した場合、受光素子１０４の単位グループ１３１の画素信号から得られる画像データには、距離０～１５ｍの範囲内に物体は存在しないから、何も現れない。受光素子１０４の単位グループ１３２の画素信号から得られる画像データには、距離１５～３０ｍの範囲内に存在する物体１が現れる。受光素子１０４の単位グループ１３３の画素信号から得られる画像データには、距離３０～４５ｍの範囲内に存在する物体２が現れる。受光素子１０４の単位グループ１３４は、距離４５～６０ｍの範囲内に存在する物体３が現れる。このように、各単位グループの露光時間に応じて撮像範囲内の複数の距離範囲にそれぞれ位置する物体を互いに分離して撮像することができる。
【0077】
ステップＳ１１４では、処理部４０が、ステップＳ１１２で得られた像（すなわち、画像データ）を処理して、それに含まれる物体を特定する。上記の例では、処理部４０は、単位グループ１３２の画像データから距離１５～３０ｍの範囲内に存在する物体１が歩行者であることを特定し、単位グループ１３３の画像データから距離３０～４５ｍの範囲内に存在する物体２が街路樹であることを特定し、単位グループ１３４の画像データから距離４５～６０ｍの範囲内に存在する物体３が車両であることを特定する。
【0078】
なお、本実施形態では、車両６００の速度に応じて受光素子１０４の露光時間を前後にシフトすることとしたが、これに代えて、または、これに加えて、車両６００の速度に応じて警告又は車両６００を自動停止するタイミングを制御することとしてもよい。例えば、制御部３０は、車両６００の速度が上がるほど、警告又は自動停止すべきか否かを判断するための単位グループを露光時間が遅い単位グループに変更する。車両６００の速度が低い場合、処理部４０は、単位グループ１３２の画像データから距離１５～３０ｍの範囲内に歩行者が存在することを特定した場合、運転手に警告する又は車両６００を自動停止する。車両６００の速度が高い場合、処理部４０は、単位グループ１３４の画像データから距離４５～６０ｍの範囲内に歩行者が存在することを特定した場合、運転手に警告する又は車両６００を自動停止する。
【0079】
斯かる場合に、処理部４０は、予め、画像データから特定された際に警告又は車両６００を自動停止すべき対象物体を決定しておくとともに、画像と物体の種類との関係を示すデータテーブルを保持しておく。処理部４０は、受光素子１０４の画素信号に基づいて単位グループごとに画像データを生成し、画像データから撮像された物体が何なのかをデータテーブルを用いて画像と物体とを比較することにより特定し、特定された物体が対象物体である場合に警告又は自動停止の処理を実行してよい。
【0080】
ステップＳ１１４を終了するとステップＳ１０２に戻り、ステップＳ１０２～Ｓ１１４を繰り返す。つまり、ステップＳ１０８にて発光部１０により撮像範囲に向けて照明光を繰り返し射出し、ステップＳ１１０にて受光部２０により発光部１０が照明光を射出する度に撮像範囲からの反射光を受光し、ステップＳ１１２にて処理部４０により受光部２０が反射光を受光する度に受光素子１０４の画素信号を単位グループごとに処理して撮像範囲内の複数の距離にそれぞれ対応する複数の像を生成し、ステップＳ１１４にて各像に含まれる物体を特定する。
【0081】
なお、ステップＳ１１４では、処理部４０は、ステップＳ１０２～Ｓ１１４を繰り返す度に、受光素子１０４の単位グループごとに特定される物体及び受光素子１０４の単位グループのそれぞれの露光時間（すなわち、撮像装置５００からの距離）に基づいて、物体の移動を検知することができる。例えば、処理部４０は、最初のサイクルにおいて単位グループ１３４の画像データから距離４５～６０ｍの範囲内に車両（物体３）を特定し、次のサイクルにおいても単位グループ１３４の画像データから距離４５～６０ｍの範囲内に車両（物体３）を特定した場合、車両（物体３）は、車両６００の前方を等しい速度で同方向に走行していると検知する。また、処理部４０は、最初のサイクルにおいて単位グループ１３４の画像データから距離４５～６０ｍの範囲内に車両（物体３）を特定し、次のサイクル（周期Ｔとする）において単位グループ１３３の画像データから距離３０～４５ｍの範囲内に車両（物体３）を特定した場合、車両（物体３）は、車両６００の前方から相対速度（約１５ｍ／Ｔ）で接近していることを検知する。さらに続くサイクルにおいて、単位グループ１３２の画像データから距離１５～３０ｍの範囲内に車両（物体３）を特定すると、処理部４０は車両（物体３）との衝突を、警告音を発する又は警告灯を点滅するなどにより運転手に警告してよい。
【0082】
本実施形態に係る撮像装置５００によれば、光を射出する発光部１０、発光部１０から射出された光の反射光を受光する複数の受光素子１０４を有する受光部２０、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数の単位グループ１３１～１３５ごとに、露光時間を制御する制御部３０を備え、複数の受光素子１０４及び複数のグループ１３１～１３５は、それぞれの露光時間に対応する信号を出力する。さらに、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成する処理部４０をさらに備える。制御部３０により、複数の受光素子１０４ごと、または、少なくとも２つの受光素子１０４をそれぞれが有する複数のグループ１３１～１３５ごとに、露光時間を制御することにより、発光部１０により光を射出し、受光部２０により反射光を複数の受光素子１０４を用いて受光し、処理部４０により、出力された信号に基づいて、露光時間に対応する距離における像を複数の受光素子１０４ごと又は複数のグループ１３１～１３５ごとに生成することで、各単位グループの露光時間に応じた複数の距離ごとに分解して各距離に位置する物体をそれぞれ撮像することができる。
【0083】
なお、本実施形態に係る撮像装置５００では、１又は隣接する複数の受光素子１０４が１つのブロック１３１ｂ～１３５ｂを構成し、任意に配列された複数のブロック１３１ｂ～１３５ｂをそれぞれ含んで複数の単位グループ１３１～１３５を構成し、単位グループ１３１～１３５ごとに露光時間を制御することとしたが、これに代えて、受光素子１０４のブロック又は単位グループを構成せず、複数の受光素子１０４ごとに露光時間を制御することとしてもよい。また、本実施形態に係る撮像装置５００では、複数の受光素子１０４ごとまたは複数の単位グループ１３１～１３５ごとに露光時間を制御し、露光時間に対応した距離における画像を取得した例を示したが、これに代えて、または、これに加えて、それぞれの露光時間に対応した距離を計測してもよい。
【0084】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0085】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0086】
１０…発光部、２０…受光部、２１…光学系、３０…制御部、４０…処理部、１００…受光装置、１０１…マイクロレンズ、１０２…カラーフィルタ、１０３…パッシベーション膜、１０４…受光素子、１０５…トランジスタ、１０６…ＰＤ層、１０７…配線、１０８…配線層、１０９…バンプ、１１０…シリコン貫通電極、１１１…信号処理チップ、１１２…メモリチップ、１１３…撮像チップ、１３１～１３５…単位グループ、１５０…画素、１５２…転送トランジスタ、１５４…リセットトランジスタ、１５６…増幅トランジスタ、１５８…選択トランジスタ、３００，３１０，３２０…リセット配線、３０２，３１２，３２２…転送配線、３０４…電源配線、３０６，３１６，３２６…選択配線、３０８，３３０…出力配線、３０９…負荷電流源、４１１…マルチプレクサ、４１２…信号処理回路、４１３…デマルチプレクサ、４１４…画素メモリ、４１５…演算回路、５００…撮像装置、６００…車両、６１０…速度センサ、６２０…移動方向センサ。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8】
【図9】