知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023171067
(43)【公開日】2023-12-01
(54)【発明の名称】測距システム、測距装置および測距方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20231124BHJP
【ＦＩ】
G01C3/06 120Z
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022083285
(22)【出願日】2022-05-20
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】向井 裕人
(72)【発明者】
【氏名】荘保 信
(72)【発明者】
【氏名】赤松 秀治
(72)【発明者】
【氏名】長谷川 大陽
(72)【発明者】
【氏名】辻岡 竣祐
(72)【発明者】
【氏名】石川 雄一
(72)【発明者】
【氏名】柴田 修
(72)【発明者】
【氏名】佐藤 嘉晃
(72)【発明者】
【氏名】三宅 康夫
(72)【発明者】
【氏名】高木 誠司
(72)【発明者】
【氏名】西村 佳壽子
【テーマコード（参考）】
2F112
【Ｆターム（参考）】
2F112AD10
2F112CA12
2F112FA03
2F112FA21
2F112FA35
2F112FA39
2F112FA45
(57)【要約】
【課題】構成の簡略化を容易に図ることができる測距システムを提供する。
【解決手段】測距システム５００は、測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、グローバルシャッタ動作に応じたＧＳ画像データと、ローリングシャッタ動作に応じたＲＳ画像データとを出力するカメラ部４８０と、測距装置１とを備える。測距装置１は、ＧＳ画像データによって示される測距対象物の形状に対する、ＲＳ画像データによって示される測距対象物の形状の歪みの大きさを検出する歪み検出部５１０と、カメラ部４８０の移動速度を取得し、その移動速度と、歪みの大きさとに基づいて、カメラ部４８０から測距対象物までの距離を導出する距離導出部５０３とを備える。
【選択図】図２
【解決手段】測距システム５００は、測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、グローバルシャッタ動作に応じたＧＳ画像データと、ローリングシャッタ動作に応じたＲＳ画像データとを出力するカメラ部４８０と、測距装置１とを備える。測距装置１は、ＧＳ画像データによって示される測距対象物の形状に対する、ＲＳ画像データによって示される測距対象物の形状の歪みの大きさを検出する歪み検出部５１０と、カメラ部４８０の移動速度を取得し、その移動速度と、歪みの大きさとに基づいて、カメラ部４８０から測距対象物までの距離を導出する距離導出部５０３とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、前記グローバルシャッタ動作に応じた第１データと、前記ローリングシャッタ動作に応じた第２データとを出力するカメラ部と、
測距装置とを備え、
前記測距装置は、
前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出する歪み検出部と、
前記カメラ部の移動速度を取得し、前記移動速度と、前記歪み検出部によって検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する距離導出部とを備える、
測距システム。
測距装置とを備え、
前記測距装置は、
前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出する歪み検出部と、
前記カメラ部の移動速度を取得し、前記移動速度と、前記歪み検出部によって検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する距離導出部とを備える、
測距システム。
【請求項2】
前記カメラ部は、前記グローバルシャッタ動作と前記ローリングシャッタ動作とを同時に行う、
請求項１に記載の測距システム。
請求項１に記載の測距システム。
【請求項3】
前記歪み検出部は、
前記第１データによって示される前記測距対象物の形状から、１以上の直線状の第１エッジを検出し、前記第２データによって示される前記測距対象物の形状から、１以上の直線状の第２エッジを検出する直線検出部と、
前記１以上の直線状の第１エッジのうちの何れか１つの第１エッジと、前記１以上の直線状の第２エッジのうちの何れか１つの第２エッジとを対応付け、対応付けられた前記第１エッジと前記第２エッジとの間の角度を、前記歪みの大きさとして検出する角度検出部とを備える、
請求項１に記載の測距システム。
前記第１データによって示される前記測距対象物の形状から、１以上の直線状の第１エッジを検出し、前記第２データによって示される前記測距対象物の形状から、１以上の直線状の第２エッジを検出する直線検出部と、
前記１以上の直線状の第１エッジのうちの何れか１つの第１エッジと、前記１以上の直線状の第２エッジのうちの何れか１つの第２エッジとを対応付け、対応付けられた前記第１エッジと前記第２エッジとの間の角度を、前記歪みの大きさとして検出する角度検出部とを備える、
請求項１に記載の測距システム。
【請求項4】
前記測距装置は、さらに、
前記移動速度に基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１に記載の測距システム。
前記移動速度に基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１に記載の測距システム。
【請求項5】
前記測距装置は、さらに、
前記歪み検出部によって検出された前記歪みの大きさに基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１に記載の測距システム。
前記歪み検出部によって検出された前記歪みの大きさに基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１に記載の測距システム。
【請求項6】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、フレーム期間を変更し、
前記ローリングシャッタ動作を制御する場合には、フレーム期間および水平期間のうちの少なくとも１つを変更し、
前記水平期間は、前記カメラ部が備える画素アレイのうちの１行の露光期間が開始されてから次の行の露光が開始されるまでの期間である、
請求項４に記載の測距システム。
前記グローバルシャッタ動作を制御する場合には、フレーム期間を変更し、
前記ローリングシャッタ動作を制御する場合には、フレーム期間および水平期間のうちの少なくとも１つを変更し、
前記水平期間は、前記カメラ部が備える画素アレイのうちの１行の露光期間が開始されてから次の行の露光が開始されるまでの期間である、
請求項４に記載の測距システム。
【請求項7】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間を長い期間に変更し、
前記ローリングシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間および前記水平期間の少なくとも一方を長い期間に変更する、
請求項６に記載の測距システム。
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間を長い期間に変更し、
前記ローリングシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間および前記水平期間の少なくとも一方を長い期間に変更する、
請求項６に記載の測距システム。
【請求項8】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、前記第１データが順次出力される時間間隔を制御する、
請求項４に記載の測距システム。
前記グローバルシャッタ動作を制御する場合には、前記第１データが順次出力される時間間隔を制御する、
請求項４に記載の測距システム。
【請求項9】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記時間間隔を長くする、
請求項８に記載の測距システム。
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記時間間隔を長くする、
請求項８に記載の測距システム。
【請求項10】
カメラ部が測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって前記カメラ部から出力される、前記グローバルシャッタ動作に応じた第１データと、前記ローリングシャッタ動作に応じた第２データとを取得し、前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出する歪み検出部と、
前記カメラ部の移動速度を取得し、前記移動速度と、前記歪み検出部によって検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する距離導出部と、
を備える測距装置。
前記カメラ部の移動速度を取得し、前記移動速度と、前記歪み検出部によって検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する距離導出部と、
を備える測距装置。
【請求項11】
前記歪み検出部は、
前記第１データによって示される前記測距対象物の形状から、１以上の直線状の第１エッジを検出し、前記第２データによって示される前記測距対象物の形状から、１以上の直線状の第２エッジを検出する直線検出部と、
前記１以上の直線状の第１エッジのうちの何れか１つの第１エッジと、前記１以上の直線状の第２エッジのうちの何れか１つの第２エッジとを対応付け、対応付けられた前記第１エッジと前記第２エッジとの間の角度を、前記歪みの大きさとして検出する角度検出部とを備える、
請求項１０に記載の測距装置。
前記第１データによって示される前記測距対象物の形状から、１以上の直線状の第１エッジを検出し、前記第２データによって示される前記測距対象物の形状から、１以上の直線状の第２エッジを検出する直線検出部と、
前記１以上の直線状の第１エッジのうちの何れか１つの第１エッジと、前記１以上の直線状の第２エッジのうちの何れか１つの第２エッジとを対応付け、対応付けられた前記第１エッジと前記第２エッジとの間の角度を、前記歪みの大きさとして検出する角度検出部とを備える、
請求項１０に記載の測距装置。
【請求項12】
前記測距装置は、さらに、
前記移動速度に基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１０に記載の測距装置。
前記移動速度に基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１０に記載の測距装置。
【請求項13】
前記測距装置は、さらに、
前記歪み検出部によって検出された前記歪みの大きさに基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１０に記載の測距装置。
前記歪み検出部によって検出された前記歪みの大きさに基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備える、
請求項１０に記載の測距装置。
【請求項14】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、フレーム期間を変更し、
前記ローリングシャッタ動作を制御する場合には、フレーム期間および水平期間のうちの少なくとも１つを変更し、
前記水平期間は、前記カメラ部が備える画素アレイのうちの１行の露光期間が開始されてから次の行の露光が開始されるまでの期間である、
請求項１２に記載の測距装置。
前記グローバルシャッタ動作を制御する場合には、フレーム期間を変更し、
前記ローリングシャッタ動作を制御する場合には、フレーム期間および水平期間のうちの少なくとも１つを変更し、
前記水平期間は、前記カメラ部が備える画素アレイのうちの１行の露光期間が開始されてから次の行の露光が開始されるまでの期間である、
請求項１２に記載の測距装置。
【請求項15】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間を長い期間に変更し、
前記ローリングシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間および前記水平期間の少なくとも一方を長い期間に変更する、
請求項１４に記載の測距装置。
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間を長い期間に変更し、
前記ローリングシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間および前記水平期間の少なくとも一方を長い期間に変更する、
請求項１４に記載の測距装置。
【請求項16】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、前記第１データが順次出力される時間間隔を制御する、
請求項１２に記載の測距装置。
前記グローバルシャッタ動作を制御する場合には、前記第１データが順次出力される時間間隔を制御する、
請求項１２に記載の測距装置。
【請求項17】
前記シャッタ制御部は、
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記時間間隔を長くする、
請求項１６に記載の測距装置。
前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記時間間隔を長くする、
請求項１６に記載の測距装置。
【請求項18】
カメラ部が、測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、前記グローバルシャッタ動作に応じた第１データと、前記ローリングシャッタ動作に応じた第２データとを出力し、
前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出し、
前記カメラ部の移動速度を取得し、
取得された前記移動速度と、検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する、
測距方法。
前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出し、
前記カメラ部の移動速度を取得し、
取得された前記移動速度と、検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する、
測距方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、距離を測定する装置などに関する。
【背景技術】
【0002】
従来、測距対象物までの距離を測定する測距システムとして、ステレオ画像を用いた距離検出装置が提案されている（例えば、特許文献１参照。）。この距離検出装置は、２つのカメラを備える。そして、距離検出装置は、それらのカメラの撮像によって得られる２つの画像（すなわちステレオ画像）に映し出されている測距対象物の像の位置のずれを求めることによって、距離検出装置からその測距対象物までの距離を検出する。なお、測距対象物は、カメラによって撮像される被写体である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第３４５２０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献１の距離検出装置では、構成が複雑になる可能性があるという課題がある。
【0005】
そこで、本開示は、構成の簡略化を容易に図ることができる測距システムなどを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様に係る測距システムは、測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、前記グローバルシャッタ動作に応じた第１データと、前記ローリングシャッタ動作に応じた第２データとを出力するカメラ部と、測距装置とを備え、前記測距装置は、前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出する歪み検出部と、前記カメラ部の移動速度を取得し、前記移動速度と、前記歪み検出部によって検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する距離導出部とを備える。
【0007】
なお、これらの包括的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【0008】
本開示の測距システムは、構成の簡略化を容易に図ることができる。
【0009】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した特許文献１の距離検出装置に関し、以下の問題が生じることを見い出した。
本発明者は、「背景技術」の欄において記載した特許文献１の距離検出装置に関し、以下の問題が生じることを見い出した。
【0012】
上記特許文献１の距離検出装置は、ステレオ法によって距離を検出するために、測距対象物を撮像するためのカメラを複数台備えている。したがって、そのカメラの台数分だけ距離検出装置の構成が複雑になる。また、仮に、距離検出装置がカメラを１台しか備えれていなければ、そのカメラに複数回撮像させる必要がある。つまり、距離検出装置は、第１位置にあるカメラに対して測距対象物の撮像を実行させ、その後、カメラを第２位置に移動させる。そして、距離検出装置は、第２位置にあるカメラに対して測距対象物の撮像を実行させる。これにより、距離検出装置が２台のカメラを備えている場合と同様、２つの画像をステレオ画像として取得することができる。しかしながら、この場合には、２つの画像は、互いに異なるタイミングの撮像によって得られているため、測距対象物までの距離を正しく検出することが難しい可能性があり、さらに、その距離の検出に遅延が生じる可能性がある。
【0013】
そこで、本開示の一態様に係る測距システムは、測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、前記グローバルシャッタ動作に応じた第１データと、前記ローリングシャッタ動作に応じた第２データとを出力するカメラ部と、測距装置とを備え、前記測距装置は、前記第１データによって示される前記測距対象物の形状に対する、前記第２データによって示される前記測距対象物の形状の歪みの大きさを検出する歪み検出部と、前記カメラ部の移動速度を取得し、前記移動速度と、前記歪み検出部によって検出された前記歪みの大きさとに基づいて、前記カメラ部から前記測距対象物までの距離を導出する距離導出部とを備える。例えば、歪みが大きいほど、短い距離が導出され、逆に、歪みが小さいほど、長い距離が導出される。
【0014】
これにより、１つのカメラ部によって測距対象物までの距離が導出されるため、例えばステレオ画像を得るために複数のカメラを備える装置と場合と比べて、測距システムの構成の簡略化を容易に図ることができる。
【0015】
また、前記カメラ部は、前記グローバルシャッタ動作と前記ローリングシャッタ動作とを同時に行ってもよい。
【0016】
これにより、２種類のシャッタ動作が同時に行われるため、ステレオ画像を得るために互いに異なるタイミングで複数回撮像が行われる場合と比べて、距離の導出にかかる時間を短縮することができ、測距の遅延を抑制することができる。さらに、測距の精度を高めることができる。
【0017】
また、前記歪み検出部は、前記第１データによって示される前記測距対象物の形状から、１以上の直線状の第１エッジを検出し、前記第２データによって示される前記測距対象物の形状から、１以上の直線状の第２エッジを検出する直線検出部と、前記１以上の直線状の第１エッジのうちの何れか１つの第１エッジと、前記１以上の直線状の第２エッジのうちの何れか１つの第２エッジとを対応付け、対応付けられた前記第１エッジと前記第２エッジとの間の角度を、前記歪みの大きさとして検出する角度検出部とを備えてもよい。
【0018】
これにより、その歪みの大きさを適切に検出することができ、測距の精度を高めることができる。
【0019】
また、前記測距装置は、さらに、前記移動速度に基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備えてもよい。
【0020】
これにより、第１データおよび第２データの少なくとも一方に対する、カメラ部の移動速度による影響を抑えることができる。その結果、例えば、カメラ部の移動速度が速すぎても遅すぎても、検出される歪みの大きさを適正範囲に収めることができる。したがって、シャッタ制御部による制御内容を示すシャッタパラメータと、適正範囲内の歪みの大きさとを用いることによって、測距の精度を高めることができる。
【0021】
また、前記測距装置は、さらに、前記歪み検出部によって検出された前記歪みの大きさに基づいて、前記カメラ部の前記グローバルシャッタ動作および前記ローリングシャッタ動作の少なくとも一方を制御するシャッタ制御部を備えてもよい。
【0022】
これにより、２種類のシャッタ動作に応じて検出される歪みの大きさに基づいて、次に行われる２種類のシャッタ動作のうちの少なくとも一方が制御されるため、シャッタ制御部に対して適切なフィードバック制御を実行させることができる。その結果、例えば、検出される歪みの大きさを適正範囲に収めることができる。したがって、シャッタ制御部による制御内容を示すシャッタパラメータと、適正範囲内の歪みの大きさとを用いることによって、測距の精度を高めることができる。
【0023】
また、前記シャッタ制御部は、前記グローバルシャッタ動作を制御する場合には、フレーム期間を変更し、前記ローリングシャッタ動作を制御する場合には、フレーム期間および水平期間のうちの少なくとも１つを変更し、前記水平期間は、前記カメラ部が備える画素アレイのうちの１行の露光期間が開始されてから次の行の露光が開始されるまでの期間であってもよい。例えば、前記シャッタ制御部は、前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間を長い期間に変更し、前記ローリングシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記フレーム期間および前記水平期間の少なくとも一方を長い期間に変更しでもよい。
【0024】
例えば、カメラ部の移動速度が速い場合には、歪みは大きくなり易く、逆に、カメラ部の移動速度が遅い場合には、歪みは小さくなり易い。これに対して、本開示の一態様に係る測距システムでは、カメラ部の移動速度が遅いほど、例えば水平期間が長い期間に変更される。したがって、カメラ部の移動速度が遅い場合には、歪みが小さくなり過ぎることを抑えることができる。その結果、水平期間などのシャッタパラメータを用いれば、検出される歪みの大きさに含まれる誤差を抑えて、測距の精度を高めることができる。あるいは、本開示の一態様に係る測距システムでは、カメラ部の移動速度が遅いほど、フレーム期間が長い期間に変更される。したがって、カメラ部の移動速度が遅く、２種類のシャッタ動作が繰り返し実行される場合に、互いに類似する複数の第１データ、および互いに類似する複数の第２データが短い期間に出力されることを抑えることができる。これにより、データ量の削減、メモリの保存容量の削減、および、処理負担の軽減を図ることができる。
【0025】
また、前記シャッタ制御部は、前記グローバルシャッタ動作を制御する場合には、前記第１データが順次出力される時間間隔を制御してもよい。例えば、前記シャッタ制御部は、前記グローバルシャッタ動作を制御する場合には、前記移動速度が遅いほど、前記時間間隔を長くしてもよい。
【0026】
例えば、カメラ部の移動速度が遅い場合に、第１データが短い周期で繰り返し出力されると、それらの第１データによって示される内容に差異が生じ難く、測距への貢献度が低い多くのデータがカメラ部から出力される可能性がある。しかし、本開示の一態様に係る測距システムでは、カメラ部の移動速度が遅いほど、第１データが順次出力される時間間隔である周期が長く設定されるため、上述のような測距への貢献度の低いデータの出力を抑えることができる。その結果、データ量の削減、メモリの保存容量の削減、および、処理負担の軽減を図ることができる。なお、上述の時間間隔はフレーム期間に相当する。
【0027】
なお、測距システムに備えられている測距装置は、上述のカメラ部以外の各構成要素を備え、そのカメラ部から第１データおよび第２データを取得することによって、上述の測距システムと同様の作用効果を奏することができる。
【0028】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【0029】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0030】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【0031】
【0032】
車両１０００は、測距システム５００と、車速検出部６００とを備える。車速検出部６００は、車両１０００の速度を車速として検出し、その検出された車速を示す車速情報を測距システム５００に出力する。例えば、車速検出部６００は、車両１０００の車輪の回転に応じて出力されるパルス信号に基づいて車速を検出する。なお、車速検出部６００は、パルス信号に基づく手法に限らず、他の任意の手法によって車速を検出してもよい。また、車速検出部６００は、車両１０００に備えられている、車速を扱うＥＣＵ（Electronic Control Unit）から、車速情報を取得することによって、車速を検出してもよい。測距システム５００は、測距対象物を撮像するカメラ部４８０を備える。そして、測距システム５００は、カメラ部４８０によって得られる画像データと、車速検出部６００から出力される車速情報とを用いて、カメラ部４８０から測距対象物までの距離を測定し、その距離を示す測距情報を出力する。
【0033】
図２は、測距システム５００の構成の一例を示すブロック図である。
【0034】
測距システム５００は、カメラ部４８０と、測距装置１とを備える。測距装置１は、歪み検出部５１０、距離導出部５０３、およびシャッタ制御部５０４を備える。
【0035】
シャッタ制御部５０４は、車速検出部６００から出力される車速情報を取得し、その車速情報によって示される車速に応じてカメラ部４８０のシャッタパラメータを設定する。さらに、シャッタ制御部５０４は、その設定されたシャッタパラメータを示すシャッタ情報を、距離導出部５０３に出力する。シャッタパラメータは、シャッタスピードを定義するためのパラメータであるとも言え、例えば、フレーム期間、水平期間などである。フレーム期間は、１フレームを生成するための期間であって、露光期間と非露光期間とを含む期間である。水平期間は、カメラ部４８０が備える画素アレイのうちの１行の露光期間が開始されてから次の行の露光が開始されるまでの期間である。なお、フレーム期間および水平期間は、１フレーム期間および１水平期間、または、１Ｖおよび１Ｈともそれぞれ表記される。例えば、シャッタ制御部５０４は、車速が遅いほど、シャッタスピードが遅くなるように、フレーム期間および水平期間の少なくとも一方を長く設定する。逆に、シャッタ制御部５０４は、車速が速いほど、シャッタスピードが速くなるように、フレーム期間および水平期間の少なくとも一方を短く設定する。なお、水平期間は、ライン走査時間とも呼ばれる。
【0036】
カメラ部４８０は、行列状に配置された複数の画素からなる画素アレイを備え、フレーム期間毎に、ＧＳ画像データとＲＳ画像データとを歪み検出部５１０に出力する。ＧＳ画像データは、グローバルシャッタ動作によって得られるデータであって、第１データとも呼ばれる。ＲＳ画像データは、ローリングシャッタ動作によって得られるデータであって、第２データとも呼ばれる。また、カメラ部４８０は、それらの画像データを得る場合には、シャッタ制御部５０４によって設定されたシャッタパラメータにしたがってグローバルシャッタ動作およびローリングシャッタ動作を行う。
【0037】
このように、本実施の形態におけるカメラ部４８０は、測距対象物に対してグローバルシャッタ動作とローリングシャッタ動作とを行うことによって、そのグローバルシャッタ動作に応じた第１データと、そのローリングシャッタ動作に応じた第２データとを出力する。また、本実施の形態におけるカメラ部４８０は、グローバルシャッタ動作とローリングシャッタ動作とを同時に行う。つまり、１フレーム期間において、２種類のシャッタ動作が行われる。
【0038】
歪み検出部５１０は、カメラ部４８０からＧＳ画像データおよびＲＳ画像データを取得する。そして、歪み検出部５１０は、それらの画像データから測距対象物の形状の歪みの大きさを検出する。その歪みは、具体的には、ＧＳ画像データに映し出されている測距対象物の形状に対する、ＲＳ画像データに映し出されているその測距対象物の形状の歪みである。言い換えれば、歪み検出部５１０は、第１データによって示される測距対象物の形状に対する、第２データによって示される測距対象物の形状の歪みの大きさを検出する。なお、このような歪みは、ローリングシャッタ歪みとも呼ばれる。また、歪み検出部５１０は、直線検出部５０１と、角度検出部５０２とを備える。
【0039】
直線検出部５０１は、カメラ部４８０からＧＳ画像データおよびＲＳ画像データを取得し、そのＧＳ画像データおよびＲＳ画像データのそれぞれについて、その画像データに映し出されている像に含まれる１以上のエッジを検出する。これらの検出されるエッジは、直線状のエッジである。そして、直線検出部５０１は、その直線状の複数のエッジを示すエッジ情報を角度検出部５０２に出力する。そのエッジ情報は、例えば、ＧＳ画像データおよびＲＳ画像データのそれぞれにおいて、検出されたエッジが示されている情報である。
【0040】
角度検出部５０２は、直線検出部５０１からエッジ情報を取得し、そのエッジ情報によって示されている複数のエッジから、ＧＳ画像データとＲＳ画像データとで互いに対応する２つのエッジを特定する。この２つのエッジは、ＧＳ画像データとＲＳ画像データとのそれぞれに映し出されている同一の測距対象物の同一の部位のエッジである。そして、角度検出部５０２は、特定された２つの直線状のエッジ間の角度を検出する。この角度がローリングシャッタ歪みの一例である。そして、角度検出部５０２は、そのエッジ間の角度を示す角度情報を距離導出部５０３に出力する。
【0041】
距離導出部５０３は、角度情報、シャッタ情報および車速情報を、角度検出部５０２、シャッタ制御部５０４および車速検出部６００から取得する。そして、距離導出部５０３は、角度情報、シャッタ情報および車速情報に基づいて、測距対象物までの距離を導出する。つまり、距離導出部５０３は、角度検出部５０２によって検出された角度と、シャッタ制御部５０４によって設定されたシャッタパラメータと、車速検出部６００から出力される車速情報と基づいて、測距対象物までの距離を導出する。これにより、カメラ部４８０からその測距対象物までの距離が測定される。
【0042】
なお、本実施の形態では、測距装置１は、シャッタ制御部５０４を備えるが、シャッタ制御部５０４を備えていなくてもよい。つまり、シャッタパラメータが制御されることなく固定されていてもよい。このような場合には、距離導出部５０３は、少なくとも角度情報および車速情報に基づいて、距離を導出してもよい。また、カメラ部４８０は車両１０００に固定されているため、車速は、カメラ部４８０の移動速度であると言える。したがって、本実施の形態における距離導出部５０３は、カメラ部４８０の移動速度を取得し、その移動速度と、歪み検出部５１０によって検出された歪みの大きさとに基づいて、カメラ部４８０から測距対象物までの距離を導出する。
【0043】
なお、本実施の形態における測距システム５００が備えるカメラ部４８０の数は、１つに限らず、２つ以上であってもよい。
【0044】
【0045】
光学系４１０は、絞り、手振れ補正レンズ、ズームレンズおよびフォーカスレンズなどを含む。光学系４１０が有するレンズの数は、要求される機能に応じて適宜決定される。なお、光学系４１０は、手振れ補正レンズを備えていなくてもよく、手振れ補正レンズ以外の他の通常のレンズを備えていてもよい。
【0046】
撮像装置１００は、上述の画素アレイを有する。この画素アレイには、光学系４１０を介して測距対象物の像が投影される。撮像装置１００は、シャッタ制御部５０４による制御にしたがって、その像に応じた信号を画像形成回路４３０に出力する。
【0047】
画像形成回路４３０は、撮像装置１００の出力に基づいて画像を形成する。画像形成回路４３０は、例えばＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などであり得る。画像形成回路４３０は、メモリを含んでいてもよい。
【0048】
図３に示す例では、画像形成回路４３０は、出力バッファ４４０を有している。画像形成回路４３０は、出力バッファ４４０を介して、形成された画像を示す画像データをカメラ部４８０の外部に出力する。画像形成回路４３０から出力される画像データは、ＧＳ画像データおよびＲＳ画像データである。なお、これらの画像データの形式は、例えばＲＡＷデータであってもよく、１２ビット幅の信号であってもよい。また、画像形成回路４３０から出力される画像データは、例えばＨ．２６４規格に準拠して圧縮されたデータであってもよい。
【0049】
図４は、撮像装置１００に含まれる画素アレイの概略構成の一例を示す図である。
【0050】
画素アレイＰＡは、行列状に配置された複数の画素１０を備える。これらの複数の画素１０のそれぞれは、単位画素セルとも呼ばれ、露光期間において光学系４１０を介してカメラ部４８０の外部から受けた光を電荷に変換して蓄積し、その蓄積された電荷に応じた信号を出力する。例えば、画素アレイＰＡに含まれる奇数番目の行は、ローリングシャッタ動作を行い、画素アレイＰＡに含まれる偶数番目の行は、グローバルシャッタ動作を行う。また、ローリングシャッタ動作とグローバルシャッタ動作とは、同時に実行される。
【0051】
図５は、撮像装置１００における動作の一例を説明するための図である。なお、図５におけるＧＳ＿０、ＧＳ＿１、ＧＳ＿２、およびＧＳ＿３は、画素アレイＰＡにおける第ＧＳ＿０行、第ＧＳ＿１行、第ＧＳ＿２行、および第ＧＳ＿３行の動作をそれぞれ示す。また、図５におけるＲＳ＿０、ＲＳ＿１、ＲＳ＿２、およびＲＳ＿３は、画素アレイＰＡにおける第ＲＳ＿０行、第ＲＳ＿１行、第ＲＳ＿２行、および第ＲＳ＿３行の動作をそれぞれ示す。
【0052】
例えば、それぞれ偶数番目の行である第ＧＳ＿０行、第ＧＳ＿１行、第ＧＳ＿２行、および第ＧＳ＿３行は、グローバルシャッタ動作を行う。具体的には、第ＧＳ＿０行から第ＧＳ＿３行には、フレーム期間ごとに、露光期間と非露光期間とが形成される。また、第ＧＳ＿０行から第ＧＳ＿３行では、露光期間が互いに同じタイミングで形成され、非露光期間が互いに同じタイミングで形成される。例えば、時刻ｔ０から時刻ｔ８までのフレーム期間では、非露光期間は、時刻ｔ０から時刻ｔ４までの期間であり、露光期間は、時刻ｔ４から時刻ｔ８までの期間である。第ＧＳ＿０行から第ＧＳ＿３行が、このようなグローバルシャッタ動作を実行することによって、カメラ部４８０は、ＧＳ画像データを出力する。
【0053】
一方、それぞれ奇数番目の行である第ＲＳ＿０行、第ＲＳ＿１行、第ＲＳ＿２行、および第ＲＳ＿３行は、ローリングシャッタ動作を行う。具体的には、第ＲＳ＿０行から第ＲＳ＿３行には、グローバルシャッタ動作の場合と同じフレーム期間ごとに、露光期間と非露光期間とが形成される。ここで、第ＲＳ＿０行から第ＲＳ＿３行では、露光期間が互いに異なるタイミングで形成され、非露光期間が互いに異なるタイミングで形成される。例えば、第ＲＳ＿０行における露光期間は、時刻ｔ１から開始され、第ＲＳ＿１行における露光期間は、その第ＲＳ＿０行と比べて１Ｈ期間遅れ、時刻ｔ２から開始される。同様に、第ＲＳ＿２行における露光期間は、その第ＲＳ＿１行と比べて１Ｈ期間遅れ、時刻ｔ３から開始され、第ＲＳ＿３行における露光期間は、その第ＲＳ＿２行と比べて１Ｈ期間遅れ、時刻ｔ４から開始される。第ＲＳ＿０行から第ＲＳ＿３行が、このようなローリングシャッタ動作を実行することによって、カメラ部４８０は、ＲＳ画像データを出力する。
【0054】
なお、図５に示す例では、第ＧＳ＿０行から第ＧＳ＿３行の４行がグローバルシャッタ動作を行い、第ＲＳ＿０行から第ＲＳ＿３行の４行がローリングシャッタ動作を行うが、それらのシャッタ動作を行う行数は、４行に限らず、５行以上であってもよい。
【0055】
図６は、車両１０００に取り付けられているカメラ部４８０の位置および撮像範囲の一例を示す図である。なお、図６の（ａ）は、車両１０００を鉛直上方から見た状態を示し、図６の（ｂ）は、車両１０００を前方から見た状態を示す。
【0056】
車両１０００は、例えば図６の（ａ）に示すように、４つのカメラ部４８０を備える。言い換えれば、図６の例では、測距システム５００は、４つのカメラ部４８０を備えている。この場合、シャッタ制御部５０４は、４つのカメラ部４８０のそれぞれに対してシャッタパラメータを設定する。さらに、歪み検出部５１０は、４つのカメラ部４８０のそれぞれについて、そのカメラ部４８０から出力されるＧＳ画像データおよびＲＳ画像データに基づいて、ローリングシャッタ歪みを検出する。なお、車両１０００には、それぞれ１つのカメラ部４８０が備えられた４つの測距システム５００が搭載されていてもよい。これにより、４つのカメラ部４８０のそれぞれについて、そのカメラ部４８０から、そのカメラ部４８０で撮像された測距対象物までの距離が導出される。
【0057】
４つのカメラ部４８０は、例えば図６の（ａ）に示すように、車両１０００の前方、後方、左側、および右側を撮像し得るようにその車両１０００に配置される。このとき、車両１０００の走行に応じて、４つのカメラ部４８０のそれぞれから出力されるＲＳ画像データにおいて歪みが生じ易いように、これらの４つのカメラ部４８０が車両１０００に取り付けられる。例えば、４つのカメラ部４８０のそれぞれが備える画素アレイＰＡの各行が、その画素アレイＰＡに投影される被写体の像の動きの方向に沿うように、４つのカメラ部４８０が車両１０００に取り付けられる。その被写体の像の動きの方向は、その被写体が静止している場合には、カメラ部４８０の動きの方向である。また、カメラ部４８０が車両１０００に固定されるため、その被写体の像の動きの方向は、車両１０００の走行方向または旋回方向であるとも言える。したがって、４つのカメラ部４８０のそれぞれが備える画素アレイＰＡの各行が、それらのカメラ部４８０の動きの方向、すなわち車両１０００の走行方向または旋回方向に沿うように、４つのカメラ部４８０が車両１０００に取り付けられる。具体的な一例では、画素アレイＰＡの各行が水平方向に沿うように、４つのカメラ部４８０が取り付けられる。
【0058】
より具体的には、図６の（ｂ）に示すように、４つのカメラ部４８０のうち、車両１０００の右側および左側に取り付けられる２つのカメラ部４８０は、車両１０００が前方または後方に移動すると、その車両１０００と共に前後方向に移動する。この場合、その２つのカメラ部４８０のそれぞれの画素アレイＰＡに投影される被写体の像は、水平方向または前後方向に移動する。したがって、その２つのカメラ部４８０は、画素アレイＰＡの各行がその水平方向または前後方向に沿うように車両１０００に取り付けられる。
【0059】
また、４つのカメラ部４８０のそれぞれは、カメラの光軸が水平方向または路面方向に向くように車両１０００に取り付けられる。
【0060】
なお、カメラ部４８０の画素アレイＰＡに含まれる各行において、その行の一端から他端に向けて各画素の露光が開始されるようなライン走査が行われる場合、そのライン走査の方向は統一されていてもよい。例えば、車両１０００の右側および左側に取り付けられている２つのカメラ部４８０では、そのライン走査の方向は、車両１０００の前方に統一されてもよい。つまり、画素アレイＰＡの各行では、前方の画素から後方の画素に向かって各画素の露光が開始される。あるいは、ライン走査の方向は、車両１０００の後方に統一されてもよい。つまり、画素アレイＰＡの各行では、後方の画素から前方の画素に向かって各画素の露光が開始される。これにより、ローリングシャッタ歪みの誤差の傾向を各行で一致させることができ、導出される距離の誤差の低減を図ることができる。
【0061】
［測距システムの動作］
図７は、測距システム５００によって距離が測定される状況の一例を示す図である。
図７は、測距システム５００によって距離が測定される状況の一例を示す図である。
【0062】
測距システム５００を備えた車両１０００は、例えば駐車場を走行する。このとき、測距システム５００は、その駐車場に既に駐車されている他の車両１００１がカメラ部４８０によって撮像されたときには、その車両１００１までの距離を測定する。あるいは、測距システム５００は、その駐車場に既に駐車されている他の車両１００２がカメラ部４８０によって撮像されたときには、その車両１００２までの距離を測定する。具体的には、測距システム５００は、車両１００１における各特徴部分Ｅまでの距離、または、車両１００２における各特徴部分Ｅまでの距離を測定する。この場合、車両１００１の各特徴部分Ｅ、車両１００２の各特徴部分Ｅなどが、測距対象物として扱われる。
【0063】
上述の特徴部分Ｅは、一方向に沿う例えば直線状のエッジとしてカメラ部４８０によって撮像される部分である。画素アレイＰＡに投影されるそのエッジは、車両１０００の走行または旋回によって、画素アレイＰＡの各行の方向に沿って移動し、かつ、画素アレイＰＡの複数の行にまたがる。そのため、その特徴部分Ｅに対してローリングシャッタ歪みが生じ得る。
【0064】
【0065】
例えば、車両１０００は、図８に示すように、停車中のトラック１００３の右側を通過する。このとき、車両１０００に搭載されている測距システム５００のカメラ部４８０は、そのトラック１００３の右側面を撮像する。そして、カメラ部４８０は、トラック１００３を撮像することによって、トラック１００３の各特徴部分Ｅが映し出されたＧＳ画像データとＲＳ画像データとを出力する。
【0066】
図９は、ローリングシャッタ歪みの一例を示す図である。
【0067】
【0068】
歪み検出部５１０の直線検出部５０１は、そのＧＳ画像データおよびＲＳ画像のそれぞれからエッジ検出を行う。具体的には、直線検出部５０１は、画素アレイＰＡの複数の行を横切る直線状のエッジを検出する。つまり、画素アレイＰＡの各行に対して平行でないエッジが検出される。例えば、図９の例のように、直線検出部５０１は、ＧＳ画像データから、トラック１００３の特徴部分Ｅの像である直線状のエッジＥｇ１を検出し、他の特徴部分Ｅの像である直線状のエッジＥｇ２を検出する。さらに、直線検出部５０１は、ＲＳ画像データから、トラック１００３の特徴部分Ｅの像である直線状のエッジＥｒ１を検出し、他の特徴部分Ｅの像である直線状のエッジＥｒ２を検出する。ＧＳ画像データおよびＲＳ画像データのそれぞれによって示される画像の水平方向は、画素アレイＰＡの各行に対して平行である。したがって、検出される上述のエッジＥｇ１、Ｅｇ２、Ｅｒ１、およびＥｒ２のそれぞれは、画素アレイＰＡの各行に対して平行でない。このようなエッジの検出は、ディープラーニングなどの機械学習によって行われてもよく、他の周知の技術を用いて行われてもよい。
【0069】
このように、本実施の形態における直線検出部５０１は、ＧＳ画像データによって示される測距対象物の形状から、直線状のエッジＥｇ１およびＥｇ２を検出し、ＲＳ画像データによって示される測距対象物の形状から、直線状のエッジＥｒ１およびＥｒ２を検出する。
【0070】
角度検出部５０２は、ＧＳ画像データに含まれるエッジと、ＲＳ画像データに含まれるエッジとの対応付けを行う。例えば、ＧＳ画像データに映し出されているエッジＥｇ１と、ＲＳ画像データに映し出されているエッジＥｒ１とは、同じトラック１００３の後端にある特徴部分Ｅの像である。したがって、角度検出部５０２は、エッジＥｇ１とエッジＥｒ１とを対応付ける。同様に、ＧＳ画像データに映し出されているエッジＥｇ２と、ＲＳ画像データに映し出されているエッジＥｒ２とは、同じトラック１００３の前方にある特徴部分Ｅの像である。したがって、角度検出部５０２は、エッジＥｇ２とエッジＥｒ２とを対応付ける。このようなエッジの対応付けは、エッジのペアリングとも呼ばれる。また、対応付けられた２つのエッジの組は、ペアとも呼ばれる。
【0071】
次に、角度検出部５０２は、図９の（ｃ）に示すように、対応付けられたエッジ間の角度を検出する。図９の（ｃ）は、ＧＳ画像データとＲＳ画像データとのそれぞれの画像を重ね合わせて、エッジ間の角度を分かり易く示した図である。具体的には、角度検出部５０２は、エッジＥｇ１とエッジＥｒ１との間の角度θ１を検出し、エッジＥｇ２とエッジＥｒ２との間の角度θ２を検出する。
【0072】
このように、本実施の形態における角度検出部５０２は、直線状のエッジＥｇ１およびＥｇ２のうちの何れか１つのエッジ（例えばエッジＥｇ１）と、直線状のエッジＥｒ１およびＥｒ２のうちの何れか１つのエッジ（例えばエッジＥｒ１）とを対応付け、対応付けられたエッジＥｇ１とエッジＥｒ１との間の角度を、歪みの大きさとして検出する。これにより、歪みの大きさを適切に検出することができる。
【0073】
距離導出部５０３は、ＧＳ画像データおよびＲＳ画像データが出力されたときの車両１０００の車速と、検出された角度θ１と、そのときのシャッタパラメータとに基づいて、エッジＥｇ１およびエッジＥｒ１に対応する特徴部分Ｅの距離を導出する。その距離は、具体的には、カメラ部４８０から、トラック１００３の後端にある特徴部分Ｅまでの距離である。同様に、距離導出部５０３は、ＧＳ画像データおよびＲＳ画像データが出力されたときの車両１０００の車速と、検出された角度θ２と、そのときのシャッタパラメータとに基づいて、エッジＥｇ２およびエッジＥｒ２に対応する特徴部分Ｅの距離を導出する。その距離は、具体的には、カメラ部４８０から、トラック１００３の前方にある特徴部分Ｅまでの距離である。
【0074】
その距離の導出では、距離導出部５０３は、車両１０００の車速として、車速検出部６００から出力される車速情報に示される車速を用いる。また、距離導出部５０３は、テーブルを用いて距離を導出する。そのテーブルは、角度と、車速と、シャッタパラメータと、距離とを関連付けて示す。このようなテーブルは、距離導出部５０３に保持されていてもよく、測距システム５００または測距装置１に備えられているメモリに格納されていてもよい。具体的には、距離導出部５０３は、テーブルを参照し、上述の２種類の画像データが出力されたときの車両１０００の車速と、検出された角度θ１と、そのときのシャッタパラメータとに関連付けられている距離を、そのテーブルから特定する。そして、距離導出部５０３は、その特定された距離を、トラック１００３の後端にある特徴部分Ｅの距離として導出する。距離導出部５０３は、検出された角度θ２に対しても同様の処理を行うことによって、トラック１００３の前方にある特徴部分Ｅの距離を導出する。
【0075】
なお、本実施の形態における距離導出部５０３は、距離の導出にテーブルを用いるが、そのテーブルの代わりに関数が用いられてもよい。その関数は、角度と車速とシャッタパラメータとから、距離を算出するための関数である。あるいは、機械学習モデルが用いられてもよい。この機械学習モデルは、角度と車速とシャッタパラメータとの入力に対して、距離が出力されるように学習が行われたモデルである。距離導出部５０３は、例えば、上述の２種類の画像データが出力されたときの車両１０００の車速と、検出された角度と、そのときのシャッタパラメータとを、その機械学習モデルに入力することによって、特徴部分Ｅの距離を導出する。
【0076】
以下、角度検出部５０２、距離導出部５０３、シャッタ制御部５０４の処理について詳細に説明する。
【0077】
［角度検出部の処理］
図１０は、角度検出部５０２によるエッジのペアリングの一例を詳細に説明するための図である。なお、図１０は、ＧＳ画像データとＲＳ画像データとのそれぞれの画像を重ね合わせて、エッジ間の角度を分かり易く示した図である。
図１０は、角度検出部５０２によるエッジのペアリングの一例を詳細に説明するための図である。なお、図１０は、ＧＳ画像データとＲＳ画像データとのそれぞれの画像を重ね合わせて、エッジ間の角度を分かり易く示した図である。
【0078】
例えば、図１０に示すように、直線検出部５０１によって、ＧＳ画像データからエッジＥｇ３とエッジＥｇ４とが検出され、ＲＳ画像データからエッジＥｒ３とエッジＥｒ４とが検出される。この場合、角度検出部５０２は、画像データのラインｎ方向において、ＧＳ画像データのエッジＥｇ３に最も近いエッジをＲＳ画像データから検索する。なお、画像データのラインｎ方向は、画素アレイＰＡの行に沿う方向である。また、ラインｎは、画素アレイＰＡにおける（２Ｎ－１）番目の行と、２Ｎ番目の行とによって得られる像のラインであるとも言える。なお、Ｎは１以上の整数であって、（２Ｎ－１）番目の行は、ローリングシャッタ動作を行う行であり、２Ｎ番目の行は、グローバルシャッタ動作を行う行である。
【0079】
具体的には、角度検出部５０２は、ＧＳ画像データに含まれるエッジごとに、そのエッジに最も近いエッジをＲＳ画像データから検索する。例えば、角度検出部５０２は、ＧＳ画像データに含まれるエッジＥｇ３に最も近いエッジを検索する場合、まず、ラインｎとエッジＥｇ３とが交わる点Ｄｇ３を特定する。さらに、角度検出部５０２は、そのラインｎと、ＲＳ画像データに含まれるエッジＥｒ３とが交わる点Ｄｒ３を特定する。さらに、角度検出部５０２は、そのラインｎと、ＲＳ画像データに含まれるエッジＥｒ４とが交わる点Ｄｒ４を特定する。次に、角度検出部５０２は、点Ｄｇ３から点Ｄｒ３までの距離Ｌ３と、点Ｄｇ３から点Ｄｒ４までの距離Ｌ４とを計測する。そして、角度検出部５０２は、距離Ｌ３と距離Ｌ４とを比較し、距離Ｌ３の方が距離Ｌ４よりも短い場合には、距離Ｌ３に対応するエッジＥｒ３の評価値に１を加算する。逆に、角度検出部５０２は、距離Ｌ４の方が距離Ｌ３よりも短い場合には、距離Ｌ４に対応するエッジＥｒ４の評価値に１を加算する。なお、ＲＳ画像データに含まれる各エッジには評価値が設定され、その評価値の初期値は、例えば０である。
【0080】
角度検出部５０２は、そのラインｎを、ラインｎに垂直な方向に１画素ずつだけ移動さる。例えば、角度検出部５０２は、図１０に示す矢印の向きにラインｎを移動させる。そして、角度検出部５０２は、ラインｎが１画素移動するごとに、上述の処理を繰り返すことによって、ＲＳ画像データに含まれる各エッジの評価値を更新する。そして、角度検出部５０２は、ラインｎの移動に伴い、ＧＳ画像データのエッジＥｇ３に含まれる全ての点に対して上述の処理が行われたときの、ＲＳ画像データに含まれる各エッジの評価値を比較する。つまり、角度検出部５０２は、ＲＳ画像データに含まれるエッジＥｒ３の評価値と、エッジＥｒ４の評価値とを比較する。その結果、角度検出部５０２は、評価値が最も高いエッジを選択し、その選択されたエッジと、ＧＳ画像データのエッジＥｇ３とをペアリングする。図１０に示す例の場合、角度検出部５０２は、ＲＳ画像データのエッジＥｒ３を選択し、そのエッジＥｒ３とエッジＥｇ３とをペアリングする。
【0081】
なお、図１０に示す例では、ＲＳ画像データに含まれるエッジの数は２つであるが、３つ以上であっても、１つであってもよい。
【0082】
また、ＧＳ画像データに映し出されている特徴部分Ｅの像であるエッジと、ＲＳ画像データに映し出されているその特徴部分Ｅの像であるエッジとが対応付けられれば、エッジのペアリングの手法は、図１０に示す例に限られない。例えば、ＧＳ画像データのエッジと、ＲＳ画像データの各エッジとの相関値を算出し、最も高い相関値を有するエッジを、ＧＳ画像データのエッジとペアリングしてもよい。この場合、例えば、角度検出部５０２は、ＧＳ画像データおよびＲＳ画像データのそれぞれの画像を複数のユニットに分割し、ＧＳ画像データの各ユニットと、ＧＳ画像データの各ユニットとの相関値を算出する。そして、角度検出部５０２は、ＧＳ画像データのエッジの一部を示すユニットごとに、ＲＳ画像データからそのユニットと最も相関値が高いユニットを特定する。これにより、ＧＳ画像データに含まれるそのエッジと、特定された幾つかのユニットによって示されるエッジとがペアリングされる。また、エッジのペアリングは、上述のように、ディープラーニングなどの機械学習によって行われてもよく、他の周知の技術を用いて行われてもよい。
【0083】
図１１は、角度検出部５０２によるエッジ間の角度の検出を説明するための図である。なお、図１１は、ＧＳ画像データとＲＳ画像データとのそれぞれの画像を重ね合わせて、エッジ間の角度を分かり易く示した図である。
【0084】
例えば、角度検出部５０２は、ペアリングされたエッジＥｇ３とエッジＥｒ３との間の角度θを検出する。図１１に示す例では、エッジＥｇ３は、ラインｎに対して垂直な方向に沿って配置されている。この場合、角度検出部５０２は、エッジＥｇ３とエッジＥｒ３とが交わる点Ｄ３と、点Ｄｇ３と、点Ｄｒ３とをそれぞれ頂点として有する直角三角形を構成し、その直角三角形の角度θを算出する。つまり、角度検出部５０２は、直角三角形の直角をなす２つの辺の長さａおよび長さｂを用い、θ＝ａｔａｎ（ａ／ｂ）によって、角度θを算出する。なお、長さａは、点Ｄｇ３から点Ｄｒ３までの距離であって、直角三角形の幅であり、長さｂは、点Ｄｇ３から点Ｄ３までの距離であって、直角三角形の高さである。
【0085】
なお、図１０および図１１に示す例では、ペアリングされた２つのエッジのそれぞれの一端は同じ位置にある。つまり、図１１に示す例では、エッジＥｇ３の一端とエッジＥｒ３の一端とは共に点Ｄ３にある。しかし、これらの一端は離れた位置にあってもよい。この場合には、角度検出部５０２は、何れかのエッジを移動させて、２つのエッジのそれぞれの一端を同じ位置に配置し直し、図１１に示す例と同様に、エッジ間の角度を検出してもよい。
【0086】
ここで、エッジ間の角度θは、測距対象物までの距離だけでなく、車両１０００の車速、すなわちカメラ部４８０の移動速度と、シャッタ制御部５０４によって設定されるシャッタパラメータとに応じて、異なる。また、角度θが例えば小さすぎる場合または大きすぎる場合には、その角度θに誤差が多く含まれる可能性がある。その結果、角度θに基づいて導出される測距対象物の距離にも誤差が多く含まれる可能性がある。そこで、シャッタ制御部５０４は、車速検出部６００から出力される車速情報によって示される車速に基づいて、距離の導出に適した適正範囲に角度θが収まるように、シャッタパラメータを調整する。例えば、シャッタ制御部５０４は、その車速に基づいて、ローリングシャッタ動作に用いられるライン走査時間（すなわち、１Ｈまたは水平期間）を調整する。つまり、シャッタ制御部５０４は、車速が速いほど、ライン走査時間を短く調整し、車速が遅いほど、ライン走査時間を長く調整する。これにより、角度θを適正範囲に収めることができる。また、同時に行われる２種類のシャッタ動作が周期的に行われる場合に、車速が遅く、かつ、フレーム期間が短ければ、互いに類似する複数のＧＳ画像データが取得され、同様に、互いに類似する複数のＲＳ画像データが取得される可能性が高い。つまり、短い期間に多くの画像データが取得される一方で、それらから繰り返し導出される距離に有益な変化が生じ難い傾向がある。そのため、シャッタ制御部５０４は、車速が遅いほど、グローバルシャッタ動作およびローリングシャッタ動作のそれぞれのフレーム期間を長くしてもよい。
【0087】
つまり、本実施の形態におけるシャッタ制御部５０４は、カメラ部４８０の移動速度に基づいて、カメラ部４８０のグローバルシャッタ動作およびローリングシャッタ動作の少なくとも一方を制御する。これにより、ＧＳ画像データおよびＲＳ画像データの少なくとも一方に対する、カメラ部４８０の移動速度による影響を抑えることができる。その結果、例えば、カメラ部４８０の移動速度が速すぎても遅すぎても、検出される歪みの大きさを適正範囲に収めることができる。したがって、シャッタ制御部５０４による制御内容を示すシャッタパラメータと、適正範囲内の歪みの大きさとを用いることによって、測距の精度を高めることができる。
【0088】
具体的には、シャッタ制御部５０４は、グローバルシャッタ動作を制御する場合には、フレーム期間を変更し、ローリングシャッタ動作を制御する場合には、フレーム期間および水平期間のうちの少なくとも１つを変更する。より具体的には、シャッタ制御部５０４は、グローバルシャッタ動作を制御する場合には、移動速度が遅いほど、フレーム期間を長い期間に変更し、ローリングシャッタ動作を制御する場合には、移動速度が遅いほど、フレーム期間および水平期間の少なくとも一方を長い期間に変更する。例えば、移動速度が第１閾値よりも速い場合には、フレーム期間および水平期間が短い期間に変更され、移動速度が第２閾値（＜第１閾値）よりも遅い場合には、フレーム期間および水平期間が長い期間に変更される。
【0089】
上述のように、車速、すなわちカメラ部４８０の移動速度が速い場合には、歪みは大きくなり易く、逆に、カメラ部４８０の移動速度が遅い場合には、歪みは小さくなり易い。これに対して、本実施の形態における測距システム５００および測距装置１では、カメラ部４８０の移動速度が遅いほど、例えば水平期間が長い期間に変更される。したがって、カメラ部の移動速度が遅い場合には、歪みが小さくなり過ぎることを抑えることができる。その結果、水平期間などのシャッタパラメータを用いれば、検出される歪みの大きさに含まれる誤差を抑えて、測距の精度を高めることができる。あるいは、本開示の一態様に係る測距システム５００および測距装置１では、カメラ部４８０の移動速度が遅いほど、フレーム期間が長い期間に変更される。したがって、カメラ部４８０の移動速度が遅く、２種類のシャッタ動作が繰り返し実行される場合に、互いに類似する複数の第１データ、および互いに類似する複数の第２データが短い期間に出力されることを抑えることができる。これにより、データ量の削減、メモリの保存容量の削減、および、処理負担の軽減を図ることができる。
【0090】
［距離導出部の処理］
距離導出部５０３は、上述のように、テーブルを用いて測距対象物までの距離を導出する。
距離導出部５０３は、上述のように、テーブルを用いて測距対象物までの距離を導出する。
【0091】
図１２は、距離導出部５０３に用いられるテーブルの一例を示す図である。
【0092】
テーブルＴ１は、例えば図１２に示すように、角度、車速、およびシャッタパラメータの組み合わせごとに、その組み合わせに対応する距離を示す。角度は、エッジ間の角度であり、車速は、車両１０００の速度である。シャッタパラメータは、カメラ部４８０の撮像に用いられるパラメータである。例えば、テーブルＴ１は、角度「θ０１」、車速「ｖ０１」およびシャッタパラメータ「ｐ０１」の組み合わせに対して、距離「Ｌ０１」を示す。また、テーブルＴ１は、角度「θ０２」、車速「ｖ０２」およびシャッタパラメータ「ｐ０２」の組み合わせに対して、距離「Ｌ０２」を示す。
【0093】
距離導出部５０３は、このようなテーブルＴ１を参照することによって、測距対象物までの距離を導出する。具体的には、距離導出部５０３は、まず、角度検出部５０２によって検出された角度θと、車速検出部６００から出力された車速情報によって示される車速ｖと、シャッタ制御部５０４によって設定されたシャッタパラメータｐとを取得する。そして、距離導出部５０３は、テーブルＴ１を参照し、その角度θ、車速ｖおよびシャッタパラメータｐの組み合わせに最も近い組み合わせを、テーブルＴ１から見つけ出す。例えば、距離導出部５０３は、その角度θ、車速ｖおよびシャッタパラメータｐの組み合わせを、（θ，ｖ，ｐ）のベクトルとして扱い、テーブルＴ１に含まれる組み合わせも同様にベクトルとして扱う。そして、距離導出部５０３は、ベクトル（θ，ｖ，ｐ）とのベクトル間距離が最も近い組み合わせを、そのテーブルＴ１から見つけ出す。距離導出部５０３は、テーブルＴ１において、その見つけ出された組み合わせに関連付けられている距離を、カメラ部４８０から測距対象物までの距離として導出する。
【0094】
なお、シャッタ制御部５０４の制御によって、車速に対してシャッタパラメータが一意に決定される場合には、テーブルＴ１に示される組み合わせには、シャッタパラメータが含まれていなくてもよい。
【0095】
［処理動作の流れ］
図１３は、測距システム５００の処理動作の一例を示すフローチャートである。
図１３は、測距システム５００の処理動作の一例を示すフローチャートである。
【0096】
測距システム５００のシャッタ制御部５０４は、車速検出部６００から車速情報を取得する（ステップＳ１）。そして、シャッタ制御部５０４は、その車速情報によって示される車速に基づいて、カメラ部４８０に対してシャッタパラメータを設定する（ステップＳ２）。例えば、シャッタ制御部５０４は、車速が遅いほど、シャッタパラメータである１Ｈおよび１Ｖを長くし、逆に、車速が速いほど、シャッタパラメータである１Ｈおよび１Ｖを短くする。
【0097】
カメラ部４８０は、ステップＳ２で設定されたシャッタパラメータに基づいて撮像を行う。つまり、カメラ部４８０は、そのシャッタパラメータにしたがって、グローバルシャッタ動作（すなわちＧＳ）と、ローリングシャッタ動作（すなわちＲＳ）とを実行する。その結果、カメラ部４８０は、ＧＳ画像データとＲＳ画像データとを取得し、それらの画像データを出力する（ステップＳ３）。
【0098】
次に、直線検出部５０１は、ステップＳ３で出力されたＧＳ画像データおよびＲＳ画像データのそれぞれから、１以上のエッジを検出する（ステップＳ４）。つまり、直線検出部５０１は、１以上の直線状のエッジをＧＳ画像データから検出し、１以上の直線状のエッジをＲＳ画像データから検出する。そして、角度検出部５０２は、ＧＳ画像データに含まれる１つの特徴部分Ｅに対応するエッジと、ＲＳ画像データに含まれるその１つの特徴部分Ｅに対応するエッジとを対応付けることによって、エッジのペアを決定する（ステップＳ５）。ＧＳ画像データおよびＲＳ画像データのそれぞれに、複数の特徴部分Ｅがエッジとして映し出されていれば、角度検出部５０２は、その複数の特徴部分Ｅのそれぞれについて、ペアを決定する。
【0099】
次に、角度検出部５０２は、そのペアごとに、そのペアに含まれる２つのエッジの間の角度を検出する（ステップＳ６）。そして、距離導出部５０３は、ステップＳ６で検出された角度と、ステップＳ２で設定されたシャッタパラメータと、ステップＳ１で取得された車速情報によって示される車速とに基づいて、特徴部分Ｅの距離を導出する（ステップＳ７）。なお、シャッタパラメータが車速に関わらず固定にされている場合、あるいは、シャッタパラメータが車速から一意に決定される場合には、距離導出部５０３は、角度と車速とに基づいて、距離を導出する。
【0100】
このように、本実施の形態では、グローバルシャッタ動作とローリングシャッタ動作とを行う１つのカメラ部４８０によって測距対象物までの距離が導出される。したがって、例えばステレオ画像を得るために複数のカメラを備える装置と場合と比べて、測距システム５００の構成の簡略化を容易に図ることができる。また、２種類のシャッタ動作が同時に行われるため、ステレオ画像を得るために互いに異なるタイミングで複数回撮像が行われる場合と比べて、距離の導出にかかる時間を短縮することができ、測距の遅延を抑制することができる。さらに、測距の精度を高めることができる。
【0101】
（変形例１）
実施の形態１では、角度、車速、およびシャッタパラメータの組み合わせに応じて、測距対象物までの距離が導出される。本変形例では、角度、車速、およびシャッタパラメータだけでなく、画素位置も含めた組み合わせに応じて、測距対象物までの距離が導出される。この場合、画素位置も考慮して距離が導出されるため、カメラ部４８０のレンズの歪みの影響を抑えることができ、より正確な距離を導出することができる。なお、画素位置は、画素アレイＰＡに含まれる画素１０の位置である。
実施の形態１では、角度、車速、およびシャッタパラメータの組み合わせに応じて、測距対象物までの距離が導出される。本変形例では、角度、車速、およびシャッタパラメータだけでなく、画素位置も含めた組み合わせに応じて、測距対象物までの距離が導出される。この場合、画素位置も考慮して距離が導出されるため、カメラ部４８０のレンズの歪みの影響を抑えることができ、より正確な距離を導出することができる。なお、画素位置は、画素アレイＰＡに含まれる画素１０の位置である。
【0102】
図１４は、本変形例における角度検出部の構成と、距離導出部５０３、シャッタ制御部５０４、および車速検出部６００との関係の一例を示す図である。
【0103】
本変形例に係る角度検出部５０２ａは、ペアリング処理部５２１と、角度処理部５２２と、画素位置検出部５２３とを備える。
【0104】
ペアリング処理部５２１は、上記実施の形態に係る角度検出部５０２の一部の処理を実行する。その一部の処理は、エッジのペアリングである。ペアリング処理部５２１は、２つのエッジをペアリングすると、ペアリングされたそれらのエッジからなるペアを示すペア情報を角度処理部５２２と画素位置検出部５２３に出力する。なお、ペア情報には、複数のペアが示されていてもよい。
【0105】
角度処理部５２２は、上記実施の形態に係る角度検出部５０２の一部の処理を実行する。その一部の処理は、エッジ間の角度の検出である。つまり、角度処理部５２２は、ペアリング処理部５２１からペア情報を取得すると、そのペア情報によって示されるペアに含まれる２つのエッジ間の角度を検出する。そして、角度処理部５２２は、その角度を示す角度情報を距離導出部５０３に出力する。
【0106】
画素位置検出部５２３は、ペアリング処理部５２１からペア情報を取得すると、そのペア情報によって示されるペアに含まれる２つのエッジのうち、例えば、ＲＳ画像データに含まれているエッジの中点にある画素位置を検出する。そして、画素位置検出部５２３は、その画素位置を示す情報を距離導出部５０３に出力する。なお、画素位置検出部５２３は、２つのエッジのうち、例えば、ＧＳ画像データに含まれているエッジの中点の画素位置を検出してもよい。あるいは、画素位置検出部５２３は、２つのエッジのそれぞれの中点を特定し、それらの中点を結ぶ線分の中点を、画素位置として検出してもよい。なお、画素位置は、ＧＳ画像データまたはＲＳ画像データによって示される画像における画素、すなわち画素アレイＰＡの画素１０の位置を示す。例えば、その画素位置は、座標空間における座標位置として表現され、その座標空間は、画像の左上端にある原点（すなわちＸ＝０，Ｙ＝０）と、画像の水平方向に沿う軸であるＸ軸と、画像の垂直方向に沿う軸であるＹ軸とによって表現される。
【0107】
距離導出部５０３は、測距対象物までの距離を導出するために、テーブルを用いる。
【0108】
図１５は、本変形例における距離導出部５０３に用いられるテーブルの一例を示す図である。
【0109】
本変形例に係るテーブルＴ２は、例えば図１５に示すように、角度、車速、シャッタパラメータ、画素位置の組み合わせごとに、その組み合わせに対応する距離を示す。角度、車速およびシャッタパラメータは、実施の形態１の図１２の例と同様である。
【0110】
例えば、テーブルＴ２は、角度「θ０１」、車速「ｖ０１」、シャッタパラメータ「ｐ０１」および画素位置「ｘ０１，ｙ０１」の組み合わせに対して、距離「Ｌ０１」を示す。また、テーブルＴ２は、角度「θ０２」、車速「ｖ０２」、シャッタパラメータ「ｐ０２」および画素位置「ｘ０２，ｙ０２」の組み合わせに対して、距離「Ｌ０２」を示す。
【0111】
距離導出部５０３は、このようなテーブルＴ２を参照することによって、測距対象物までの距離を導出する。具体的には、距離導出部５０３は、まず、角度検出部５０２によって検出された角度θと、車速検出部６００から出力された車速情報によって示される車速ｖと、シャッタ制御部５０４によって設定されたシャッタパラメータｐと、画素位置検出部５２３によって検出された画素位置ｄとを取得する。そして、距離導出部５０３は、テーブルＴ２を参照し、その角度θ、車速ｖ、シャッタパラメータｐおよび画素位置ｄの組み合わせに最も近い組み合わせを、テーブルＴ２から見つけ出す。例えば、距離導出部５０３は、その角度θ、車速ｖ、シャッタパラメータｐおよび画素位置ｄの組み合わせを、（θ，ｖ，ｐ，ｄ）のベクトルとして扱い、テーブルＴ２に含まれる組み合わせも同様にベクトルとして扱う。そして、距離導出部５０３は、ベクトル（θ，ｖ，ｐ，ｄ）とのベクトル間距離が最も近い組み合わせを、そのテーブルＴ２から見つけ出す。距離導出部５０３は、テーブルＴ２において、その見つけ出された組み合わせに関連付けられている距離を、カメラ部４８０から測距対象物までの距離として導出する。
【0112】
なお、上述の例では、画素位置を距離の導出に用いることによって、レンズの歪みの影響を抑えて適切な距離を導出することができる。これに対して、レンズの歪みの影響を事前に抑えていてもよい。つまり、レンズの歪みを考慮してエッジ間の角度を検出してもよい。この場合には、画素位置を距離の導出に直接用いることなく、レンズの歪みの影響を抑えて適切な距離を導出することができる。
【0113】
また、図１２に示す例と同様、シャッタ制御部５０４の制御によって、車速に対してシャッタパラメータが一意に決定されている場合には、テーブルＴ２に示される組み合わせには、シャッタパラメータが含まれていなくてもよい。
【0114】
（変形例２）
実施の形態１では、シャッタ制御部５０４は、車両１０００の車速に基づいてシャッタパラメータを設定する。一方、本変形例に係るシャッタ制御部は、車速の代わりに、角度検出部５０２によって検出されたエッジ間の角度に基づいてシャッタパラメータを設定する。
実施の形態１では、シャッタ制御部５０４は、車両１０００の車速に基づいてシャッタパラメータを設定する。一方、本変形例に係るシャッタ制御部は、車速の代わりに、角度検出部５０２によって検出されたエッジ間の角度に基づいてシャッタパラメータを設定する。
【0115】
図１６は、本変形例に係る測距システムの構成の一例を示すブロック図である。
【0116】
本変形例に係る測距システム５００ａは、カメラ部４８０と、測距装置１ａとを備える。測距装置１ａは、歪み検出部５１０、距離導出部５０３、およびシャッタ制御部５０４ａを備える。つまり、本変形例に係る測距システム５００ａは、実施の形態１に係る測距システム５００のシャッタ制御部５０４の代わりに、シャッタ制御部５０４ａを備える。
【0117】
シャッタ制御部５０４ａは、車速検出部６００から車速情報を取得することなく、歪み検出部５１０の角度検出部５０２から角度情報を取得する。そして、シャッタ制御部５０４ａは、その角度情報によって示されるエッジ間の角度に基づいて、カメラ部４８０のシャッタパラメータを設定する。また、シャッタ制御部５０４ａは、その設定されたシャッタパラメータを示すシャッタ情報を距離導出部５０３に出力する。
【0118】
図１７は、エッジ間の角度とシャッタパラメータとの関係を説明するための図である。なお、図１７の（ａ）および（ｂ）は、ＧＳ画像データとＲＳ画像データとのそれぞれの画像を重ね合わせて、エッジ間の角度を分かり易く示した図である。
【0119】
例えば、車両１０００の車速が速い場合、角度検出部５０２によって出力される角度情報は、図１７の（ａ）に示すように大きな角度を示す傾向がある。つまり、ＧＳ画像データに含まれるエッジＥｇと、ＲＳ画像データに含まれるエッジＥｒとの間の角度が、大きく表れる。このような場合、シャッタ制御部５０４ａは、その角度情報に基づいて、シャッタパラメータによって示されるライン走査時間を短く設定する。
【0120】
一方、車両１０００の車速が遅い場合、角度検出部５０２によって出力される角度情報は、図１７の（ｂ）に示すように、小さい角度を示す傾向がある。つまり、ＧＳ画像データに含まれるエッジＥｇと、ＲＳ画像データに含まれるエッジＥｒとの間の角度が、小さく表れる。このような場合、シャッタ制御部５０４ａは、その角度情報に基づいて、シャッタパラメータによって示されるライン走査時間を長く設定する。
【0121】
具体的には、シャッタ制御部５０４ａは、角度情報によって示される複数のエッジ間の角度のうちの最大の角度を特定する。そして、シャッタ制御部５０４ａは、その最大の角度が第１閾値よりも大きい場合に、現状のライン走査時間をΔｔ時間だけ短く変更する。一方、シャッタ制御部５０４ａは、その最大の角度が第２閾値よりも小さい場合に、現状のライン走査時間をΔｔ時間だけ長く変更する。なお、第２閾値は、第１閾値よりも小さい角度である。
【0122】
例えば、小さいエッジ間の角度が検出される場合には、その検出される角度には比較的大きな誤差が含まれる場合がある。その結果、このような角度から導出される距離にも大きな誤差が含まれ得る。しかし、本変形例では、上述のようにシャッタパラメータが調整されることによって、距離の導出に用いられる角度を適正な範囲に保つことができるため、その角度から導出される距離の誤差の発生を抑制することができる。
【0123】
このように、本変形例におけるシャッタ制御部５０４ａは、車速の代わりに、歪み検出部５１０によって検出された歪みの大きさに基づいて、カメラ部４８０のグローバルシャッタ動作およびローリングシャッタ動作の少なくとも一方を制御する。これにより、２種類のシャッタ動作に応じて検出される歪みの大きさに基づいて、次に行われる２種類のシャッタ動作のうちの少なくとも一方が制御されるため、シャッタ制御部５０４ａに対して適切なフィードバック制御を実行させることができる。その結果、例えば、検出される歪みの大きさを適正範囲に収めることができる。したがって、シャッタ制御部５０４ａによる制御内容を示すシャッタパラメータと、適正範囲内の歪みの大きさとを用いることによって、測距の精度を高めることができる。言い換えれば、本変形例では、車速に応じてシャッタパラメータを設定する実施の形態１と同等の効果を奏することができる。
【0124】
なお、本変形例では、歪み検出部５１０は、実施の形態１における角度検出部５０２を備えているが、変形例１の角度検出部５０２ａを備えていてもよい。この場合には、距離導出部５０３は、図１５に示すテーブルＴ２を用いて距離を導出する。
【0125】
（変形例３）
実施の形態１では、カメラ部４８０は、１フレーム期間ごとに、ＧＳ画像データとＲＳ画像データとを同時に取得する。一方、本変形例に係るカメラ部４８０は、取得されるＧＳ画像データを間引く処理を実行する。
実施の形態１では、カメラ部４８０は、１フレーム期間ごとに、ＧＳ画像データとＲＳ画像データとを同時に取得する。一方、本変形例に係るカメラ部４８０は、取得されるＧＳ画像データを間引く処理を実行する。
【0126】
図１８は、ＧＳ画像データおよびＲＳ画像データのそれぞれが取得されるタイミングの一例を模式的に示す図である。
【0127】
例えば、実施の形態１に係るカメラ部４８０は、図１８の（ａ）に示すように、時刻ｔ０１、ｔ０２、およびｔ０３のそれぞれでＧＳ画像データおよびＲＳ画像データを取得する。ここで、車両１０００の車速が遅い場合には、連続して取得される複数のＧＳ画像データに映し出されている像には、殆ど変化が見られない。そこで、本変形例に係るカメラ部４８０は、図１８の（ｂ）に示すように、時刻ｔ０１およびｔ０３のそれぞれでＧＳ画像データおよびＲＳ画像データを取得し、時刻ｔ０２およびｔ０４のそれぞれではＲＳ画像データのみを取得する。このように、カメラ部４８０は、取得されるＧＳ画像データを間引く。その結果、ＧＳ画像データのフレームレートは、ＲＳ画像データのフレームレートよりも低く設定される。例えば、シャッタ制御部５０４は、車両１０００の車速が遅いほど、その間引かれるＧＳ画像データの数、すなわち取得されないＧＳ画像データの数を多くしてもよい。言い換えれば、シャッタ制御部５０４は、ＧＳ画像データのフレームレートを低くしてもよい。これにより、カメラ部４８０からのデータの出力に用いられる伝送帯域を低く抑えることができる。その結果、測距システムのコストの低減を図ることができる。なお、フレームレートが低いほど、フレーム期間は長く、ＧＳ画像データが順次出力される時間間隔は長い。
【0128】
このように、本変形例におけるシャッタ制御部５０４は、グローバルシャッタ動作を制御する場合には、第１データが順次出力される時間間隔を制御する。具体的には、シャッタ制御部５０４は、グローバルシャッタ動作を制御する場合には、移動速度が遅いほど、その時間間隔を長くする。例えば、カメラ部４８０の移動速度が遅い場合に、ＧＳ画像データが短い周期で繰り返し出力されると、それらのＧＳ画像データによって示される内容に差異が生じ難く、測距への貢献度が低い多くのデータがカメラ部４８０から出力される可能性がある。しかし、本変形例における測距システム５００では、カメラ部４８０の移動速度が遅いほど、ＧＳ画像データが順次出力される時間間隔である周期が長く設定されるため、上述のような測距への貢献度の低いデータの出力を抑えることができる。その結果、データ量の削減、メモリの保存容量の削減、および、処理負担の軽減を図ることができる。なお、上述の時間間隔はフレーム期間に相当する。
【0129】
（その他の変形例）
実施の形態１およびその変形例１～３では、グローバルシャッタ動作およびローリングシャッタ動作は同時に実行される。しかし、測距の精度が保たれ、かつ、遅延時間が所定範囲に収まるのであれば、それらのシャッタ動作が行われるタイミングは、ずれていてもよい。
実施の形態１およびその変形例１～３では、グローバルシャッタ動作およびローリングシャッタ動作は同時に実行される。しかし、測距の精度が保たれ、かつ、遅延時間が所定範囲に収まるのであれば、それらのシャッタ動作が行われるタイミングは、ずれていてもよい。
【0130】
また、実施の形態１およびその変形例１～３では、直線状のエッジが検出されるが、歪みの大きさが検出できれば、エッジの形状は直線状に限定されることなく、他の形状であってもよい。また、実施の形態１およびその変形例１～３では、エッジ間の角度が歪みの大きさとして検出されるが、その角度以外のパラメータが歪みの大きさの検出に用いられてもよい。
【0131】
また、実施の形態１およびその変形例１～３では、グローバルシャッタ動作およびローリングシャッタ動作のそれぞれの露光期間の長さが異なるが、それらの露光期間の長さは等しくてもよい。
【0132】
また、実施の形態１およびその変形例１～３では、測距システム５００，５００ａは車両１０００に取り付けられているが、本開示の測距システムは、車両に限定されず、他の移動体または機器などに取り付けられてもよい。例えば、産業機器、ロボット、ドローンなどに搭載されてもよい。
【0133】
また、測距システム５００，５００ａのカメラ部４８０は、距離の測定を行っていないときには、グローバルシャッタ動作およびローリングシャッタ動作の何れか一方のみを行うことによって撮像してもよい。例えば、カメラ部４８０は、車両１０００が自動駐車を行う場合には、距離の測定のためにグローバルシャッタ動作およびローリングシャッタ動作を行い、通常走行を行う場合には、それらの動作のうちの何れか一方のみを行う。また、シャッタ制御部５０４は、車両１０００のモードを判定し、その判定結果に基づいて、グローバルシャッタ動作およびローリングシャッタ動作を行うか、それらの動作のうちの何れか一方のみを行うかを切り替えてもよい。車両１０００のモードは、自動駐車を行うモード（すなわち自動駐車モード）か、通常走行を行うモード（すなわち通常走行モード）である。この場合、シャッタ制御部５０４は、車両１０００の運転手によってそのモードが自動駐車モードに切り換えられると、カメラ部４８０に対して、グローバルシャッタ動作およびローリングシャッタ動作を実行させる。あるいは、シャッタ制御部５０４は、車両１０００のシフトレバーあるいはセレクトレバーによってリバースレンジが選択されると、カメラ部４８０に対して、グローバルシャッタ動作およびローリングシャッタ動作を実行させる。
【0134】
また、カメラ部４８０がグローバルシャッタ動作およびローリングシャッタ動作のうちの一方のみを実行する場合には、カメラ部４８０は、状況に応じて、グローバルシャッタ動作およびローリングシャッタ動作のうちの一方を選択的に切り替えてもよい。例えば、車両１０００の車速が速い場合いは、映し出される映像の歪みを抑えるために、カメラ部４８０は、グローバルシャッタ動作を行ってもよい。また、車両１０００の周囲が所定の明るさよりも暗い場合、例えば、夜間などの場合には、カメラ部４８０は、ローリングシャッタ動作を行ってもよい、これにより、映し出される映像に生じるノイズを抑えることができる。
【0135】
また、実施の形態１およびその変形例１～３におけるカメラ部４８０は、画像データを出力するイメージセンサであるが、イベントカメラであってもよい。イベントカメラは、イベントベースカメラ、またはイベントベース方式のセンサとも呼ばれ、画像データの代わりに、画素の位置および時間の情報の組み合わせをデータとして出力する。グローバルシャッタ動作およびローリングシャッタ動作の少なくとも一方の動作が、そのイベントカメラによって行われてもよい。
【0136】
（実施の形態２）
本実施の形態では、実施の形態１およびその変形例に係るカメラ部４８０に備えられている撮像装置１００の具体的な態様の一例を、詳細に説明する。
本実施の形態では、実施の形態１およびその変形例に係るカメラ部４８０に備えられている撮像装置１００の具体的な態様の一例を、詳細に説明する。
【0137】
【0138】
図１９に示す撮像装置１００は、行列状に配置された複数の単位画素セル１０を含む画素アレイＰＡを有する。図１９は、４つの単位画素セル１０が２行２列のマトリクス状に配置された例を模式的に示している。言うまでもないが、撮像装置１００における単位画素セル１０の数および配置は、図１９に示す例に限定されない。
【0139】
各単位画素セル１０は、撮像装置１００が備える画素の一例であり、光電変換部１３および信号検出回路１４を有する。後に図面を参照して説明するように、光電変換部１３は、互いに対向する２つの電極の間に挟まれた光電変換層を有し、入射した光を受けて信号を生成する。光電変換部１３は、その全体が、単位画素セル１０毎に独立した素子である必要はなく、光電変換部１３の例えば一部分が複数の単位画素セル１０にまたがっていてもよい。光電変換部１３の具体的な構造の詳細は、後述する。
【0140】
信号検出回路１４は、光電変換部１３によって生成された信号を検出する回路である。この例では、信号検出回路１４は、信号検出トランジスタ２４およびアドレストランジスタ２６を含んでいる。信号検出トランジスタ２４およびアドレストランジスタ２６は、典型的には、電界効果トランジスタ（ＦＥＴ）である。ここでは、信号検出トランジスタ２４およびアドレストランジスタ２６として、ＮチャネルＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）を例示する。
【0141】
図１９において模式的に示すように、信号検出トランジスタ２４の制御端子（ここではゲート）は、光電変換部１３との電気的な接続を有する。光電変換部１３によって生成される信号電荷（具体的には、正孔または電子）は、信号検出トランジスタ２４のゲートと光電変換部１３との間の電荷蓄積ノード４１に蓄積される。電荷蓄積ノード４１は、フローティングディフュージョンノードとも呼ばれる。
【0142】
各単位画素セル１０の光電変換部１３は、さらに、感度制御線４２との接続を有している。図１９に例示する構成において、感度制御線４２は、撮像装置１００が備える電圧供給回路３２に接続されている。
【0143】
電圧供給回路３２は、撮像装置１００の動作時、感度制御線４２を介して光電変換部１３に少なくとも２種類の電圧を行毎に個別に供給し得る。電圧供給回路３２は、特定の電源回路に限定されず、所定の電圧を生成する回路であってもよく、あるいは、他の電源から供給された電圧を所定の電圧に変換する回路であってもよい。後に詳しく説明するように、予め定められた１以上の行において、電圧供給回路３２から光電変換部１３に供給される電圧が、互いに異なる複数の電圧の間で切り替えられることにより、光電変換部１３からの電荷蓄積ノード４１への信号電荷の蓄積の開始および終了が制御される。換言すれば、予め定められた１以上の行において、電圧供給回路３２から光電変換部１３に供給される電圧を切り替えることによって、露光期間と非露光期間との切り替えが実行される。なお、予め定められた１以上の行は、後述のグローバルシャッタ動作に用いられる行であり、他の１以上の行は、後述のローリングシャッタ動作に用いられる行である。電圧供給回路３２は、上述の他の１以上の行のそれぞれに対しては、撮像装置１００の動作時、２種類の電圧のうちの一方の電圧を継続的に供給する。撮像装置１００の動作の例は、後述する。
【0144】
各単位画素セル１０は、電源電圧ＶＤＤを供給する電源線４０との接続を有する。図示するように、電源線４０には、信号検出トランジスタ２４の入力端子（例えばドレイン）が接続されている。電源線４０がソースフォロア電源として機能することにより、信号検出トランジスタ２４は、光電変換部１３によって生成された信号を増幅して出力する。
【0145】
信号検出トランジスタ２４の出力端子（ここではソース）には、アドレストランジスタ２６の入力端子（ここではドレイン）が接続されている。アドレストランジスタ２６の出力端子（ここではソース）は、画素アレイＰＡの列毎に配置された複数の垂直信号線４７のうちの１つに接続されている。アドレストランジスタ２６の制御端子（ここではゲート）は、アドレス制御線４６に接続されており、アドレス制御線４６の電位を制御することにより、信号検出トランジスタ２４の出力を、対応する垂直信号線４７に選択的に読み出すことができる。
【0146】
図示する例では、アドレス制御線４６は、垂直走査回路３６に接続されている。垂直走査回路３６は、行走査回路とも呼ばれる。垂直走査回路３６は、アドレス制御線４６に所定の電圧を印加することにより、各行に配置された複数の単位画素セル１０を行単位で選択する。これにより、選択された単位画素セル１０の信号の読み出しが実行される。
【0147】
垂直信号線４７は、複数の単位画素セル１０からの信号が入力される出力信号線の一例であり、画素アレイＰＡからの画素信号を周辺回路へ伝達する主信号線である。垂直信号線４７には、カラム信号処理回路３７が接続される。カラム信号処理回路３７は、行信号蓄積回路とも呼ばれる。カラム信号処理回路３７は、相関二重サンプリング（ＣＤＳ）に代表される雑音抑圧信号処理およびアナログ－デジタル変換（ＡＤ変換）などを行う。図示するように、カラム信号処理回路３７は、画素アレイＰＡにおける単位画素セル１０の各列に対応して設けられる。
【0148】
これらのカラム信号処理回路３７には、水平信号読み出し回路３８が接続される。水平信号読み出し回路３８は、列走査回路とも呼ばれる。水平信号読み出し回路３８は、複数のカラム信号処理回路３７から水平共通信号線４９に信号を順次読み出す。
【0149】
図１９に例示する構成において、単位画素セル１０は、リセットトランジスタ２８を有する。リセットトランジスタ２８は、例えば、信号検出トランジスタ２４およびアドレストランジスタ２６と同様に、電界効果トランジスタであり得る。以下では、特に断りの無い限り、リセットトランジスタ２８としてＮチャネルＭＯＳＦＥＴを適用した例を説明する。図示するように、リセットトランジスタ２８は、リセット電圧Ｖｒを供給するリセット電圧線４４と、電荷蓄積ノード４１との間に接続される。リセットトランジスタ２８の制御端子（ここではゲート）は、リセット制御線４８に接続されている。リセット制御線４８の電位を制御することによって、電荷蓄積ノード４１の電位をリセット電圧Ｖｒにリセットすることができる。この例では、リセット制御線４８が、垂直走査回路３６に接続されている。したがって、垂直走査回路３６がリセット制御線４８に所定の電圧を印加することにより、各行に配置された複数の単位画素セル１０を行単位でリセットすることが可能である。
【0150】
この例では、リセットトランジスタ２８にリセット電圧Ｖｒを供給するリセット電圧線４４が、リセット電圧源３４に接続されている。リセット電圧源３４は、リセット電圧供給回路とも呼ばれる。リセット電圧源３４は、撮像装置１００の動作時にリセット電圧線４４に所定のリセット電圧Ｖｒを供給可能な構成を有していればよく、上述の電圧供給回路３２と同様に、特定の電源回路に限定されない。電圧供給回路３２およびリセット電圧源３４の各々は、単一の電圧供給回路の一部分であってもよいし、独立した別個の電圧供給回路であってもよい。なお、電圧供給回路３２およびリセット電圧源３４の一方または両方が、垂直走査回路３６の一部分であってもよい。あるいは、電圧供給回路３２からの感度制御電圧および／またはリセット電圧源３４からのリセット電圧Ｖｒが、垂直走査回路３６を介して各単位画素セル１０に供給されてもよい。
【0151】
信号電荷として正孔を用いる場合には、リセット電圧Ｖｒとして、信号検出回路１４のグランドを用いることも可能である。この場合、各単位画素セル１０にグランドを供給する電圧供給回路（図１９において不図示）と、リセット電圧源３４とを共通化し得る。また、電源線４０とリセット電圧線４４とを共通化できるので、画素アレイＰＡにおける配線を単純化し得る。ただし、リセット電圧Ｖｒと信号検出回路１４のグランドとに互いに異なる電圧を用いることは、撮像装置１００のより柔軟な制御を可能にする。
【0152】
撮像装置１００は、電圧供給回路３２および垂直走査回路３６を制御する制御回路３９を備える。制御回路３９は、電圧供給回路３２および垂直走査回路３６を制御することによって、１回の撮像で、画素アレイＰＡに対してグローバルシャッタ動作とローリングシャッタ動作とを同時に実行させる。つまり、制御回路３９は、１回の撮像で、予め定められた１以上の行のそれぞれに含まれる単位画素セル１０に対してグローバルシャッタ動作を実行させる。そのグローバルシャッタ動作が行われているときに、制御回路３９は、他の１以上の行のそれぞれに含まれる単位画素セル１０に対してローリングシャッタ動作を実行させる。
【0153】
【0154】
図２０は、本実施の形態に係る撮像装置１００の単位画素セル１０の例示的なデバイス構造を示す模式的な断面図である。図２１は、本実施の形態に係る撮像装置１００の単位画素セル１０と対向電極１２との関係を示す模式的な平面図である。
【0155】
図２０に例示する構成では、上述の信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８が、半導体基板２０に形成されている。半導体基板２０は、その全体が半導体である基板に限定されない。半導体基板２０は、感光領域が形成される側の表面に半導体層が設けられた絶縁性基板などであってもよい。ここでは、半導体基板２０としてＰ型シリコン（Ｓｉ）基板を用いる例を説明する。
【0156】
半導体基板２０は、不純物領域（ここではＮ型領域）２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓと、単位画素セル１０間の電気的な分離のための素子分離領域２０ｔとを有する。ここでは、素子分離領域２０ｔは、不純物領域２４ｄと不純物領域２８ｄとの間にも設けられている。素子分離領域２０ｔは、例えば所定の注入条件のもとでアクセプターのイオン注入を行うことによって形成される。
【0157】
不純物領域２６ｓ、２４ｓ、２４ｄ、２８ｄおよび２８ｓは、典型的には、半導体基板２０内に形成された拡散層である。図２０に模式的に示すように、信号検出トランジスタ２４は、不純物領域２４ｓおよび２４ｄと、ゲート電極２４ｇとを含む。ゲート電極２４ｇは、例えばポリシリコン電極である。不純物領域２４ｓは、信号検出トランジスタ２４の例えばソース領域として機能する。不純物領域２４ｄは、信号検出トランジスタ２４の例えばドレイン領域として機能する。不純物領域２４ｓと不純物領域２４ｄとの間に、信号検出トランジスタ２４のチャネル領域が形成される。
【0158】
同様に、アドレストランジスタ２６は、不純物領域２６ｓおよび２４ｓと、図１９に示されるアドレス制御線４６に接続されたゲート電極２６ｇとを含む。ゲート電極２６ｇは、例えばポリシリコン電極である。この例では、信号検出トランジスタ２４およびアドレストランジスタ２６は、不純物領域２４ｓを共有することによって互いに電気的に接続されている。不純物領域２６ｓは、アドレストランジスタ２６の例えばソース領域として機能する。不純物領域２６ｓは、図１９に示される垂直信号線４７との接続を有する。
【0159】
リセットトランジスタ２８は、不純物領域２８ｄおよび２８ｓと、図１９に示されるリセット制御線４８に接続されたゲート電極２８ｇとを含む。ゲート電極２８ｇは、例えばポリシリコン電極である。不純物領域２８ｓは、リセットトランジスタ２８の例えばソース領域として機能する。不純物領域２８ｓは、図１９に示されるリセット電圧線４４との接続を有する。
【0160】
半導体基板２０上には、信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８を覆うように層間絶縁層５０が配置されている。層間絶縁層５０は、例えばシリコン酸化物、シリコン窒化物、オルトケイ酸テトラエチル（ＴＥＯＳ）などの絶縁材料を用いて形成されている。図２０に示すように、層間絶縁層５０中には、配線層５６が配置され得る。配線層５６は、典型的には、銅などの金属から形成され、例えば、上述の垂直信号線４７などの配線をその一部に含み得る。層間絶縁層５０中の絶縁層の層数、および、層間絶縁層５０中に配置される配線層５６に含まれる層数は、任意に設定可能であり、図２０に示す例に限定されない。
【0161】
層間絶縁層５０上には、上述の光電変換部１３が配置される。別の言い方をすれば、本実施の形態では、画素アレイＰＡを構成する複数の単位画素セル１０が、半導体基板２０上に形成されている。半導体基板２０上に２次元に配列された複数の単位画素セル１０は、感光領域を形成する。感光領域は、画素領域とも呼ばれる。隣接する２つの単位画素セル１０間の距離（すなわち、画素ピッチ）は、例えば２μｍ程度であり得る。
【0162】
光電変換部１３は、画素電極１１と、対向電極１２と、これらの間に配置された光電変換層１５とを含む。この例では、対向電極１２および光電変換層１５は、複数の単位画素セル１０にまたがって形成されている。
【0163】
画素電極１１は、単位画素セル１０毎に設けられており、隣接する他の単位画素セル１０の画素電極１１と空間的に分離されることによって、他の単位画素セル１０の画素電極１１から電気的に分離されている。
【0164】
画素電極１１の電位に対する対向電極１２の電位を制御することにより、光電変換によって光電変換層１５内に生じた正孔－電子対のうち、正孔および電子のいずれか一方を、画素電極１１によって収集することができる。例えば信号電荷として正孔を利用する場合、画素電極１１よりも対向電極１２の電位を高くすることにより、画素電極１１によって正孔を選択的に収集することが可能である。以下では、信号電荷として正孔を利用する場合を例示する。もちろん、信号電荷として電子を利用することも可能である。
【0165】
対向電極１２に対向する画素電極１１は、対向電極１２と画素電極１１との間に適切なバイアス電圧が与えられることにより、光電変換層１５において光電変換によって発生した正および負の電荷のうちの一方を収集する。画素電極１１は、アルミニウム、銅などの金属、金属窒化物、または、不純物がドープされることにより導電性が付与されたポリシリコンなどから形成される。
【0166】
画素電極１１は、遮光性の電極であってもよい。例えば、画素電極１１として、厚さが１００ｎｍのＴａＮ電極を形成することにより、十分な遮光性を実現し得る。画素電極１１を遮光性の電極とすることにより、半導体基板２０に形成されたトランジスタのチャネル領域または不純物領域への、光電変換層１５を通過した光の入射を抑制し得る。なお、半導体基板２０に形成されたトランジスタとは、例えば、信号検出トランジスタ２４、アドレストランジスタ２６およびリセットトランジスタ２８の少なくともいずれかである。
【0167】
上述の配線層５６を利用して層間絶縁層５０内に遮光膜を形成してもよい。半導体基板２０に形成されたトランジスタのチャネル領域への光の入射を抑制することにより、トランジスタの特性のシフト、例えば閾値電圧の変動などを抑制し得る。また、半導体基板２０に形成された不純物領域への光の入射を抑制することにより、不純物領域における意図しない光電変換によるノイズの混入を抑制し得る。このように、半導体基板２０への光の入射の抑制は、撮像装置１００の信頼性の向上に貢献する。
【0168】
図２０に模式的に示すように、画素電極１１は、プラグ５２、配線５３およびコンタクトプラグ５４を介して、信号検出トランジスタ２４のゲート電極２４ｇに接続されている。言い換えれば、信号検出トランジスタ２４のゲートは、画素電極１１との電気的な接続を有する。プラグ５２および配線５３は、例えば銅などの金属から形成される。プラグ５２、配線５３およびコンタクトプラグ５４は、信号検出トランジスタ２４と光電変換部１３との間の電荷蓄積ノード４１（図１９参照）の少なくとも一部を構成する。配線５３は、配線層５６の一部であり得る。また、画素電極１１は、プラグ５２、配線５３およびコンタクトプラグ５５を介して、不純物領域２８ｄにも接続されている。図２０に例示する構成において、信号検出トランジスタ２４のゲート電極２４ｇ、プラグ５２、配線５３、コンタクトプラグ５４および５５、ならびに、リセットトランジスタ２８のソース領域およびドレイン領域の一方である不純物領域２８ｄは、画素電極１１によって収集された信号電荷を蓄積する電荷蓄積領域として機能する。
【0169】
画素電極１１によって信号電荷が収集されることにより、電荷蓄積領域に蓄積された信号電荷の量に応じた電圧が、信号検出トランジスタ２４のゲートに印加される。信号検出トランジスタ２４は、この電圧を増幅する。信号検出トランジスタ２４によって増幅された電圧が、信号電圧としてアドレストランジスタ２６を介して選択的に読み出される。
【0170】
対向電極１２は、典型的には、透明な導電性材料から形成される透明電極である。対向電極１２は、光電変換層１５において光が入射される側に配置される。したがって、光電変換層１５には、対向電極１２を透過した光が入射する。なお、撮像装置１００によって検出される光は、可視光の波長範囲（例えば、３８０ｎｍ以上７８０ｎｍ以下）内の光に限定されない。本明細書における「透明」は、検出しようとする波長範囲の光の少なくとも一部を透過することを意味し、可視光の波長範囲全体にわたって光を透過することは必須ではない。本明細書では、赤外線および紫外線を含めた電磁波全般を、便宜上「光」と表現する。対向電極１２には、例えば、ＩＴＯ、ＩＺＯ、ＡＺＯ、ＦＴＯ、ＳｎＯ２、ＴｉＯ２、ＺｎＯ２などの透明導電性酸化物（Transparent Conducting Oxide（ＴＣＯ））を用いることができる。
【0171】
本実施の形態では、図２１に示すように、対向電極１２は、同じ画素ブロック１０ｂ内の複数の単位画素セル１０間で連続し、異なる画素ブロック１０ｂ間で分離している。ここで、画素ブロック１０ｂはそれぞれ、同じ１行に属する複数の単位画素セル１０からなる。言い換えると、複数の単位画素セル１０は、１行毎に複数の画素ブロック１０ｂを構成している。
【0172】
対向電極１２は、複数の画素ブロック１０ｂと一対一に対応する複数の電極片１２ｂを有する。複数の電極片１２ｂは、行毎に設けられており、互いに分離している。各電極片１２ｂは、行方向に長尺な長方形状を有する。例えば、電極片１２ｂは、同じ１行に属する複数の単位画素セル１０の各々の画素電極１１を覆っている。隣り合う電極片１２ｂ間には、絶縁層が配置されていてもよい。
【0173】
図１９を参照して説明したように、対向電極１２は、電圧供給回路３２に接続された感度制御線４２との接続を有する。感度制御線４２は、電極片１２ｂ毎に設けられている。したがって、電極片１２ｂ毎に、対応する感度制御線４２を介して、電圧供給回路３２から所望の大きさの感度制御電圧を、対応する画素ブロック１０ｂに属する複数の単位画素セル１０の間に一括して印加することが可能である。
【0174】
後に詳しく説明するように、電圧供給回路３２は、露光期間と非露光期間との間で互いに異なる電圧を対向電極１２の各電極片１２ｂに供給する。本明細書において、「露光期間」は、光電変換により生成される正および負の電荷の一方である信号電荷を電荷蓄積領域に蓄積するための期間を意味し、「電荷蓄積期間」と呼んでもよい。また、本明細書では、撮像装置の動作中であって露光期間以外の期間を「非露光期間」と呼ぶ。なお、「非露光期間」は、光電変換部１３への光の入射が遮断されている期間に限定されず、光電変換部１３に光が照射されている期間を含んでいてもよい。また「非露光期間」は、寄生感度の発生により意図せずに信号電荷が電荷蓄積領域に蓄積される期間を含む。
【0175】
光電変換層１５は、画素電極１１と対向電極１２との間に位置し、光を信号電荷に変換する。具体的には、光電変換層１５は、入射する光を受けて正孔－電子対を発生させる。発生した正孔および電子のいずれかが信号電荷である。
【0176】
光電変換層１５は、例えば、有機材料から形成される。有機材料は、例えば、有機半導体材料である。有機半導体材料としては、例えば、近赤外領域に吸収波長を有するスズナフタロシアニンを含む材料を利用することができるが、これに限定されない。光電変換層１５としては、所望の波長領域に吸収波長を有する１種類以上の光電変換材料を利用することができる。
【0177】
例えば、光電変換層１５は、ｐ型半導体層と、ｎ型半導体層と、ｐ型半導体層およびｎ型半導体層間に位置する混合層と、を含んでもよい。ｐ型半導体層は、例えば、ドナー性有機半導体材料を用いて形成されている。ｎ型半導体層は、例えば、アクセプター性有機半導体材料を用いて形成されている。混合層は、例えば、ｐ型半導体およびｎ型半導体のバルクヘテロ接合構造層である。バルクヘテロ接合層は、例えば特許文献４（特許第５５５３７２７号公報）において詳細に説明されており、参考のため、特許文献４の開示内容を全て本明細書に援用する。
【0178】
また、光電変換層１５は、光電変換材料を用いて形成された層以外の機能層を１層以上含んでもよい。例えば、光電変換層１５は、機能層として、正孔ブロック層、電子ブロック層、正孔輸送層および電子輸送層の少なくとも１つを含んでもよい。
【0179】
なお、光電変換層１５は、対向電極１２と同様に、所定の領域毎に分離して設けられていてもよい。例えば、光電変換層１５は、単位画素セル１０毎、または、電極片１２ｂ毎に分離して設けられていてもよい。
【0180】
［光電変換層における光電流特性］
続いて、光電変換層における光電流特性について、図２２を用いて説明する。
続いて、光電変換層における光電流特性について、図２２を用いて説明する。
【0181】
図２２は、本実施の形態に係る撮像装置１００の光電変換層１５の光電流特性の一例を示すグラフである。図２２中、太い実線のグラフは、光が照射された状態における、光電変換層１５の例示的な電流－電圧特性（Ｉ－Ｖ特性）を示している。なお、図２２には、光が照射されていない状態におけるＩ－Ｖ特性の一例も、太い破線によってあわせて示されている。
【0182】
図２２は、一定の照度のもとで、光電変換層１５の２つの主面の間に印加するバイアス電圧を変化させたときの主面間の電流密度の変化を示している。本明細書において、バイアス電圧における順方向および逆方向は、以下のように定義される。光電変換層１５が、層状のｐ型半導体および層状のｎ型半導体の接合構造を有する場合には、ｎ型半導体の層よりもｐ型半導体の層の電位が高くなるようなバイアス電圧を順方向のバイアス電圧と定義する。他方、ｎ型半導体の層よりもｐ型半導体の層の電位が低くなるようなバイアス電圧を逆方向のバイアス電圧と定義する。
【0183】
有機半導体材料を用いた場合も、無機半導体材料を用いた場合と同様に、順方向および逆方向を定義することができる。光電変換層１５がバルクヘテロ接合構造を有する場合、上述の特許文献４で示されるように、電極に対向する、バルクヘテロ接合構造の２つの主面のうちの一方の表面には、ｎ型半導体よりもｐ型半導体が多く現れ、他方の表面には、ｐ型半導体よりもｎ型半導体が多く現れる。したがって、ｎ型半導体よりもｐ型半導体が多く現れた主面側の電位が、ｐ型半導体よりもｎ型半導体が多く現れた主面側の電位よりも高くなるようなバイアス電圧を順方向のバイアス電圧と定義する。
【0184】
図２２に示すように、光電変換層１５の光電流特性は、概略的には、３つの電圧範囲によって特徴づけられる。第１電圧範囲は、逆バイアスの電圧範囲であって、逆方向バイアス電圧の増大に従って出力電流密度の絶対値が増大する電圧範囲である。第１電圧範囲は、光電変換層１５の主面間に印加されるバイアス電圧の増大に従って光電流が増大する電圧範囲といってもよい。第２電圧範囲は、順バイアスの電圧範囲であって、順方向バイアス電圧の増大に従って出力電流密度が増大する電圧範囲である。つまり、第２電圧範囲は、光電変換層１５の主面間に印加されるバイアス電圧の増大に従って順方向電流が増大する電圧範囲である。第３電圧範囲は、第１電圧範囲と第２電圧範囲の間の電圧範囲である。
【0185】
第１電圧範囲、第２電圧範囲および第３電圧範囲は、リニアな縦軸および横軸を用いたときにおける光電流特性のグラフの傾きによって区別され得る。参考のため、図２２では、第１電圧範囲および第２電圧範囲のそれぞれにおけるグラフの平均的な傾きを、それぞれ、破線Ｌ１および破線Ｌ２によって示している。図２２に例示されるように、第１電圧範囲、第２電圧範囲および第３電圧範囲における、バイアス電圧の増加に対する出力電流密度の変化率は、互いに異なっている。第３電圧範囲は、バイアス電圧に対する出力電流密度の変化率が、第１電圧範囲における変化率および第２電圧範囲における変化率よりも小さい電圧範囲として定義される。あるいは、Ｉ－Ｖ特性を示すグラフにおける立ち上がり（立ち下がり）の位置に基づいて、第３電圧範囲が決定されてもよい。第３電圧範囲は、典型的には、－１Ｖよりも大きく、かつ、＋１Ｖよりも小さい。第３電圧範囲では、バイアス電圧を変化させても、光電変換層１５の主面間の電流密度は、ほとんど変化しない。図２２に例示されるように、第３電圧範囲では、電流密度の絶対値は、典型的には１００μＡ／ｃｍ２以下である。
【0186】
［電圧供給回路３２の構成と撮像装置１００の動作の例］
図２３は、本実施の形態に係る撮像装置１００の単位画素セル１０と対向電極１２との関係と、電圧供給回路３２の構成の一例とを示す模式的な平面図である。
図２３は、本実施の形態に係る撮像装置１００の単位画素セル１０と対向電極１２との関係と、電圧供給回路３２の構成の一例とを示す模式的な平面図である。
【0187】
本実施の形態に係る撮像装置１００は、図２１に示すように、複数の画素ブロック１０ｂを備える。ここで、その複数の画素ブロック１０ｂは、図２３に示すように、複数の第１画素ブロック１０ｂｇと、複数の第２画素ブロック１０ｂｒとを含む。複数の第１画素ブロック１０ｂｇは、グローバルシャッタ動作に用いられ、上述の予め定められた１以上の行に相当する。複数の第２画素ブロック１０ｂｒは、ローリングシャッタ動作に用いられ、上述の他の１以上の行に相当する。このような複数の第１画素ブロック１０ｂｇのそれぞれと、複数の第２画素ブロック１０ｂｒのそれぞれとは、図２３に示すように、交互に配置されている。つまり、隣り合う２つの第１画素ブロック１０ｂｇの間には１つの第２画素ブロック１０ｂｒが配置され、隣り合う２つの第２画素ブロック１０ｂｒの間には１つの第１画素ブロック１０ｂｇが配置されている。別の言い方をすれば、複数の画素ブロック１０ｂの並び方向に沿って、偶数番目に第１画素ブロック１０ｂｇが配置され、奇数番目に第２画素ブロック１０ｂｒが配置されている。
【0188】
電圧供給回路３２は、グローバルシャッタ動作用の第１電圧供給回路３２Ｇと、ローリングシャッタ動作用の第２電圧供給回路３２Ｒとを備える。第１電圧供給回路３２Ｇは、感度制御線４２のうちの第１感度制御線４２ｇを介して、複数の第１画素ブロック１０ｂｇのそれぞれの電極片１２ｂに接続されている。言い換えれば、電圧供給回路３２は、複数の第１画素ブロック１０ｂｇのそれぞれに対応する対向電極１２に電気的に接続される。
【0189】
このような第１電圧供給回路３２Ｇは、制御回路３９による制御に応じて、複数の第１画素ブロック１０ｂｇがグローバルシャッタ動作を行うように、それらの第１画素ブロック１０ｂｇに属する各単位画素セル１０に電圧を供給する。言い換えれば、制御回路３９は、複数の第１画素ブロック１０ｂｇのグローバルシャッタ動作を電圧供給回路３２に行わせる。そのグローバルシャッタ動作は、複数の第１画素ブロック１０ｂｇのそれぞれに対して、対向電極１２と画素電極１１との間に第１電圧を同じタイミングで印加することにより露光期間を形成し、対向電極１２と画素電極１１との間に第２電圧を同じタイミングで印加することにより非露光期間を形成する動作である。第１電圧は、例えば、図２２の第１電圧範囲に含まれる電圧である。第２電圧は、例えば、図２２の第３電圧範囲に含まれる電圧である。したがって、複数の第１画素ブロック１０ｂｇのそれぞれでは、対向電極１２と画素電極１１との間に第１電圧が印加されているときには、信号電荷は光電変換層から画素電極に移動する。つまり、露光期間が形成される。また、対向電極１２と画素電極１１との間に第２電圧が印加されているときには、信号電荷の光電変換層１５から画素電極１１への移動が抑制される。つまり、非露光期間が形成される。
【0190】
第２電圧供給回路３２Ｒは、感度制御線４２のうちの第２感度制御線４２ｒを介して、複数の第２画素ブロック１０ｂｒのそれぞれの電極片１２ｂに接続されている。言い換えれば、電圧供給回路３２は、複数の第２画素ブロック１０ｂｒのそれぞれに対応する対向電極１２に電気的に接続される。このような第２電圧供給回路３２Ｒは、複数の第２画素ブロック１０ｂｒがローリングシャッタ動作を行うように、それらの第２画素ブロック１０ｂｒに属する各単位画素セル１０に電圧を供給する。例えば、第２電圧供給回路３２Ｒは、複数の第２画素ブロック１０ｂｒのそれぞれに対して、対向電極１２と画素電極１１との間に第１電圧を継続的に印加する。このような第１電圧が継続的に印加されている状態において、制御回路３９は、例えば垂直走査回路３６を制御することによって、複数の第２画素ブロック１０ｂｒのそれぞれに対してローリングシャッタ動作を行わせる。
【0191】
続いて、図１９から図２３を適宜参照しながら、撮像装置１００における動作の一例について、図２４を用いて説明する。簡単のため、以下の説明では、画素アレイＰＡに含まれる単位画素セル１０の行数が合計８行である場合における動作の例を説明する。その合計８行は、それぞれ第１画素ブロック１０ｂｇに対応する第ＧＳ＿０行から第ＧＳ＿３行の計４行と、それぞれ第２画素ブロック１０ｂｒに対応する第ＲＳ＿０行から第ＲＳ＿３行の計４行との総和である。なお、第ＧＳ＿０行、第ＧＳ＿１行、第ＧＳ＿２行、および第ＧＳ＿３行は、それぞれ偶数番目の行である。また、第ＲＳ＿０行、第ＲＳ＿１行、第ＲＳ＿２行、および第ＲＳ＿３行は、それぞれ奇数番目の行である。つまり、これらの行は、第ＲＳ＿０行、第ＧＳ＿０行、第ＲＳ＿１行、第ＧＳ＿１行、第ＲＳ＿２行、第ＧＳ＿２行、第ＲＳ＿３行、第ＧＳ＿３行の順に配列されている。
【0192】
図２４は、本実施の形態に係る撮像装置１００における動作の一例を説明するための図である。図２４は、同期信号の立ち下がりまたは立ち上がりのタイミングと、光電変換層１５に印加されるバイアス電圧の大きさの時間的変化と、画素アレイＰＡの各行におけるリセットおよび露光のタイミングとを合わせて示している。
【0193】
より具体的には、図２４中の一番上のグラフは、垂直同期信号Ｖｓｓの立ち下がりまたは立ち上がりのタイミングを示す。上から２番目のグラフは、水平同期信号Ｈｓｓの立ち下がりまたは立ち上がりのタイミングを示している。水平同期信号Ｈｓｓのパルス間隔が、１Ｈで表される１水平期間である。垂直同期信号Ｖｓｓのパルス間隔が、１Ｖで表される１垂直期間である。１垂直期間は、１フレーム期間に相当する。
【0194】
これらのグラフの下においてＩＴＯ＿Ｒで表されるグラフは、第２感度制御線４２ｒを介して第２電圧供給回路３２Ｒから、各第２画素ブロック１０ｂｒの電極片１２ｂに印加されるバイアス電圧Ｖｂの時間的変化の一例を示している。さらに、ＩＴＯ＿Ｇで表されるグラフは、第１感度制御線４２ｇを介して第１電圧供給回路３２Ｇから、各第１画素ブロック１０ｂｇの電極片１２ｂに印加されるバイアス電圧Ｖｂの時間的変化の一例を示している。ＩＴＯ＿Ｒは、第２画素ブロック１０ｂｒ毎に設けられた電極片１２ｂとみなすことができる。ＩＴＯ＿Ｇは、第１画素ブロック１０ｂｇ毎に設けられた電極片１２ｂとみなすことができる。
【0195】
さらにその下のＧＳ＿０からＧＳ＿３で表されるチャートは、画素アレイＰＡの各第１画素ブロック１０ｂｇにおけるリセットおよび露光のタイミングを模式的に示す。さらにその下のＲＳ＿０からＲＳ＿３で表されるチャートは、画素アレイＰＡの各第２画素ブロック１０ｂｒにおけるリセットおよび露光のタイミングを模式的に示す。具体的には、ＧＳ＿０からＧＳ＿３はそれぞれ、ＩＴＯ＿Ｇに対応する第１画素ブロック１０ｂｇに属する単位画素セル１０の動作を表している。ＲＳ＿０からＲＳ＿３はそれぞれ、ＩＴＯ＿Ｒに対応する第２画素ブロック１０ｂｒに属する単位画素セル１０の動作を表している。例えば、ＧＳ＿０は、画素アレイＰＡの偶数番目の行である第ＧＳ＿０行に属する複数の単位画素セル１０の動作を示している。ＧＳ＿１、ＧＳ＿２およびＧＳ＿３についても、ＧＳ＿０と同様、画素アレイＰＡの偶数番目の行である第ＧＳ＿１行、第ＧＳ＿２行および第ＧＳ＿３行に属する複数の単位画素セル１０の動作をそれぞれ示している。これらの行に属する複数の単位画素セル１０の動作は、ＩＴＯ＿Ｇが示す電圧の変化によって制御される。ＲＳ＿０は、画素アレイＰＡの奇数番目の行である第ＲＳ＿０行に属する複数の単位画素セル１０の動作を示している。ＲＳ＿１、ＲＳ＿２およびＲＳ＿３についても、ＲＳ＿０と同様、画素アレイＰＡの奇数番目の行である第ＲＳ＿１行、第ＲＳ＿２行および第ＲＳ＿３行に属する複数の単位画素セル１０の動作をそれぞれ示している。これらの行に属する複数の単位画素セル１０の動作は、ＩＴＯ＿Ｒが示す電圧によって制御される。
【0196】
ＧＳ＿０からＧＳ＿３とＲＳ＿０からＲＳ＿３とで表される各チャートは、矩形の枠内の網掛けの有無および種類によって、動作の内容を表している。具体的には、網掛けの無い白塗りの矩形は、露光状態であることを表している。すなわち、白塗りの矩形が占める期間（以下、単に「白塗りの期間」と記載する）は、対応する行に属する単位画素セル１０の露光期間である。斜線の網掛けが付された矩形、および、ドットの網掛けが付された矩形はいずれも、露光状態ではないことを表している。すなわち、斜線の網掛けが付された矩形、または、ドットの網掛けが付された矩形が占める期間は、対応する行に属する単位画素セル１０の非露光期間である。このうち、ドットの網掛けが付された矩形が占める期間（以下、単に「ドットの期間」と記載する）は、対応する行に属する単位画素セル１０の信号読み出し、リセットおよびリセット読み出しを行う期間である。すなわち、ドットの期間は、信号読み出しを行う読み出し期間と、電荷蓄積領域のリセットおよびリセット後の読み出しを行うリセット期間、との合計期間である。
【0197】
本実施の形態では、制御回路３９は、電圧供給回路３２および垂直走査回路３６を制御することによって、１フレーム期間毎に、画素アレイＰＡに対してグローバルシャッタ動作とローリングシャッタ動作とを同時に実行させる。グローバルシャッタ動作では、第ＧＳ＿０行から第ＧＳ＿３行の各第１画素ブロック１０ｂｇにおいて、露光期間から非露光期間への切り替えのタイミングが同じであり、かつ、非露光期間から露光期間への切り替えのタイミングが同じである。他方、ローリングシャッタ動作では、第ＲＳ＿０行から第ＲＳ＿３行の各第２画素ブロック１０ｂｒにおいて、露光期間から非露光期間への切り替えのタイミング、および、非露光期間から露光期間への切り替えのタイミングが異なる。
【0198】
具体的には、グローバルシャッタ動作では、第１電圧供給回路３２Ｇは、第１電圧を各第１画素ブロック１０ｂｇの対向電極１２に同時に印加することにより露光期間を形成する。第１電圧は、例えば、図２２の第１電圧範囲に含まれる電圧である。また、第１電圧供給回路３２Ｇは、第２電圧を第１画素ブロック１０ｂｇの対向電極１２に同時に印加することにより非露光期間を形成する。第２電圧は、例えば、図２２の第３電圧範囲に含まれる電圧である。
【0199】
他方、ローリングシャッタ動作では、第２電圧供給回路３２Ｒは、１フレーム期間中、第１電圧を各第２画素ブロック１０ｂｒの対向電極１２に継続的に印加する。そして、垂直走査回路３６による信号読み出し、リセット、およびリセット読み出しのための処理が行われることによって、露光期間と非露光期間とが形成される。また、垂直走査回路３６は、その処理を第２画素ブロック１０ｂｒ毎に異なるタイミングで行う。その結果、各第２画素ブロック１０ｂｒにおいて、露光期間から非露光期間への切り替えのタイミング、および、非露光期間から露光期間への切り替えのタイミングが異なる。
【0200】
以下、第ＧＳ＿０行から第ＧＳ＿３行におけるグローバルシャッタ動作について、先に詳細に説明する。
【0201】
画像の取得においては、まず、画素アレイＰＡ中の各第１画素ブロック１０ｂｇに含まれる各々の単位画素セル１０の電荷蓄積領域のリセットが実行される。例えば、図２４に示すように、垂直同期信号Ｖｓｓに基づき、時刻ｔ０で、第ＧＳ＿０行に属する複数の単位画素セル１０のリセットを開始する。なお、直前のフレームで露光が行われている場合には、リセットの前に画素信号の読み出しが行われ、リセットの後にもリセット後の信号（すなわち、リセット信号）の読み出しが行われる。
【0202】
第ＧＳ＿０行に属する単位画素セル１０のリセットにおいては、第ＧＳ＿０行のアドレス制御線４６の電位を制御することにより、そのアドレス制御線４６にゲートが接続されているアドレストランジスタ２６をオンする。さらに、第ＧＳ＿０行のリセット制御線４８の電位の制御により、そのリセット制御線４８にゲートが接続されているリセットトランジスタ２８をオンする。これにより、電荷蓄積ノード４１とリセット電圧線４４とが接続され、電荷蓄積領域にリセット電圧Ｖｒが供給される。すなわち、信号検出トランジスタ２４のゲート電極２４ｇおよび光電変換部１３の画素電極１１の電位が、リセット電圧Ｖｒにリセットされる。その後、垂直信号線４７を介して、第ＧＳ＿０行の単位画素セル１０からリセット後の画素信号を読み出す。このときに得られる画素信号は、リセット電圧Ｖｒの大きさに対応した画素信号である。画素信号の読み出し後、リセットトランジスタ２８およびアドレストランジスタ２６をオフとする。
【0203】
本実施の形態では、図２４に模式的に示すように、水平同期信号Ｈｓｓにあわせて、第ＧＳ＿０行から第ＧＳ＿３行の各行に属する画素のリセットを行単位で順次に実行する。以下では、水平同期信号Ｈｓｓのパルスの間隔、換言すれば、ある行が選択されてから次の行が選択されるまでの期間を「１Ｈ期間」と呼ぶことがある。この例では、時刻ｔ０から時刻ｔ１までの期間が１Ｈ期間に相当する。
【0204】
ここで、時刻ｔ０から時刻ｔ４の期間においては、画素電極１１と対向電極１２との間の電位差が上述の第３電圧範囲となるような電圧Ｖ３が、各第１画素ブロック１０ｂｇの対向電極１２に印加されている。つまり、第１電圧供給回路３２Ｇから、第ＧＳ＿０行から第ＧＳ＿３行の各行にある対向電極１２の電極片１２ｂにその電圧Ｖ３が印加されている。言い方を変えれば、時刻ｔ０から露光期間の開始時刻ｔ４までの期間において、光電変換部１３の光電変換層１５は、第３電圧範囲のバイアス電圧が印加された状態にある。
【0205】
光電変換層１５に第３電圧範囲のバイアス電圧が印加された状態では、光電変換層１５からの電荷蓄積領域への信号電荷の移動は、ほとんど起こらない。これは、光電変換層１５に第３電圧範囲のバイアス電圧が印加された状態では、光の照射によって生じた正および負の電荷のほとんどが、速やかに再結合し、画素電極１１によって収集される前に消滅してしまうためであると推測される。したがって、光電変換層１５に第３電圧範囲のバイアス電圧が印加された状態では、光電変換層１５に光が入射しても、電荷蓄積領域への信号電荷の蓄積は、ほとんど起こらない。そのため、露光期間以外の期間における、意図しない感度の発生が抑制される。なお、意図しない感度は、寄生感度とも呼ばれる。このように、光電変換層１５へのバイアス電圧を第３電圧範囲とすることによって感度を速やかに０に落とし得る。バイアス電圧を第３電圧範囲とした状態では、画素電極１１による信号電荷の収集が行われないので、露光していない状態と同じになる。バイアス電圧を第３電圧範囲としている期間は、図２４に示すように、非露光期間となる。なお、第３電圧範囲のバイアス電圧を印加するための電圧Ｖ３は、一例として０Ｖであるが、０Ｖに限定されない。電圧Ｖ３は、第２電圧の一例であり、非露光期間を形成するための電圧である。
【0206】
第ＧＳ＿０行から第ＧＳ＿３行では、時刻ｔ４に、ＩＴＯ＿Ｇに対応する電極片１２ｂに印加される電圧が電圧Ｖ３と異なる電圧Ｖｅに切り替わることによって露光期間が開始される。露光期間は、電圧供給回路３２が、対向電極１２の電極片１２ｂに印加する電圧を電圧Ｖ３とは異なる電圧Ｖｅに切り替えることによって開始される。電圧Ｖｅは、第１電圧の一例であり、露光期間を形成するための電圧である。電圧Ｖｅは、例えば、画素電極１１と対向電極１２との間の電位差が上述の第１電圧範囲となるような電圧である。電圧Ｖｅは、例えば１０Ｖ程度である。対向電極１２に電圧Ｖｅが印加されることにより、光電変換層１５中の信号電荷（この例では正孔）が画素電極１１によって収集され、電荷蓄積領域に蓄積される。つまり、信号電荷が電荷蓄積ノード４１に蓄積される。
【0207】
第１電圧供給回路３２Ｇが、ＩＴＯ＿Ｇに対応する電極片１２ｂに印加する電圧を、時刻ｔ８で再び電圧Ｖ３に切り替えることにより、露光期間が終了する。このように、本実施の形態における第ＧＳ＿０行から第ＧＳ＿３行では、対向電極１２の電極片１２ｂに印加する電圧が電圧Ｖ３と電圧Ｖｅとの間で切り替えられることによって、露光期間と非露光期間とが切り替えられる。また、図２４から分かるように、本実施の形態では、第ＧＳ＿０行から第ＧＳ＿３行では、それぞれ互いに異なるタイミングでリセットが順次行われ、同じタイミングで露光期間と非露光期間とが切り替えられる。
【0208】
水平同期信号Ｈｓｓに基づき、画素アレイＰＡの各行に属する単位画素セル１０からの信号の読み出しを行う。この例では、時刻ｔ８から、第ＧＳ＿０行から第ＧＳ＿３行の各行に属する単位画素セル１０からの信号の読み出しが行単位で順次に実行されている。以下では、ある行に属する単位画素セル１０が選択されてからその行に属する単位画素セル１０が再び選択されるまでの期間を「１Ｖ期間」と呼ぶことがある。
【0209】
この例では、時刻ｔ０から時刻ｔ８までの期間が１Ｖ期間に相当する。露光期間の終了後における、第ＧＳ＿０行に属する単位画素セル１０からの信号の読み出しにおいては、第ＧＳ＿０行のアドレストランジスタ２６をオンする。これにより、露光期間において電荷蓄積領域に蓄積された電荷量に対応した画素信号が垂直信号線４７に出力される。画素信号の読み出しに続けて、リセットトランジスタ２８をオンして単位画素セル１０のリセットを行う。リセット後に、リセットトランジスタ２８を再びオフとする。そして、リセットトランジスタ２８をオフとした後の信号（すなわち、リセット信号）を読み出す。リセット信号の読み出し後、アドレストランジスタ２６をオフとする。画素アレイＰＡの各行に属する単位画素セル１０からの画素信号とリセット信号との差分をとることにより、固定ノイズを除去した信号が得られる。
【0210】
このように、本実施の形態では、第ＧＳ＿０から第ＧＳ＿３行の対向電極１２に印加する電圧が電圧Ｖ３と電圧Ｖｅとの間で切り替えられることによって、露光期間と非露光期間とが切り替えられる。図２４から分かるように、第ＧＳ＿０から第ＧＳ＿３行における露光期間の開始および終了は、複数の第１画素ブロック１０ｂｇに含まれる全ての画素において同時に行われる。その結果、撮像装置１００においてグローバルシャッタ動作が実行される。また、露光期間は、読み出し動作をしている期間を除いて、１Ｈ期間からほぼ１Ｖ期間（具体的には、１Ｖ－１Ｈの期間）にわたって自由に選択することができる。
【0211】
一方、第ＲＳ＿０行から第ＲＳ＿３行では、ローリングシャッタ動作が行われる。つまり、ＩＴＯ＿Ｒのグラフのように、第２電圧供給回路３２Ｒは、第ＲＳ＿０行から第ＲＳ＿３行の各行における対向電極１２に電圧Ｖｅを常時印加する。これにより、光電変換層１５中の信号電荷（この例では正孔）が画素電極１１によって収集され、電荷蓄積領域に蓄積される。つまり、信号電荷が電荷蓄積ノード４１に蓄積される。この信号電荷の蓄積は、信号読み出し、リセットおよびリセット読み出しを除く期間において行われる。ローリングシャッタ動作では、このように信号電荷が蓄積される期間が露光期間であって、それ以外の期間、すなわち、信号読み出し、リセットおよびリセット読み出しが行われる期間が、非露光期間である。本実施の形態における第ＲＳ＿０行から第ＲＳ＿３行では、時刻ｔ０から時刻ｔ４にかけて、互いに異なるタイミングで非露光期間が開始されて終了される。具体的には、第ＲＳ＿０行では、時刻ｔ０から時刻ｔ１にかけて非露光期間が形成され、その時刻ｔ１から露光期間が開始される。第ＲＳ＿１行では、第ＲＳ＿０行と比べて１Ｈ期間遅れ、時刻ｔ１から時刻ｔ２にかけて非露光期間が形成され、その時刻ｔ２から露光期間が開始される。同様に、第ＲＳ＿２行では、第ＲＳ＿１行と比べて１Ｈ期間遅れ、時刻ｔ２から時刻ｔ３にかけて非露光期間が形成され、その時刻ｔ３から露光期間が開始される。第ＲＳ＿３行では、第ＲＳ＿２行と比べて１Ｈ期間遅れ、時刻ｔ３から時刻ｔ４にかけて非露光期間が形成され、その時刻ｔ４から露光期間が開始される。このように、第ＲＳ＿０行から第ＲＳ＿３行において、露光期間および非露光期間が互いに異なるタイミングで行われる。すなわちローリングシャッタ動作が行われる。
【0212】
このように、本実施の形態では、対向電極１２を２つのグループに分割し、それぞれ独立に制御することによりローリングシャッタ動作に基づく画像と、グローバルシャッタ動作に基づく画像とを同時に取得することが可能である。また、複数の単位画素セル１０のそれぞれは、画素電極１１、対向電極１２、光電変換層１５、および電荷蓄積領域を備え、グローバルシャッタ動作のための専用の回路、ローリングシャッタ動作のための専用の回路などを備えていない。したがって、それらの単位画素セル１０の構成を簡易化することができる。その結果、それぞれ簡易に構成された複数の単位画素セル１０によって、シャッタ動作が異なる複数の画像を得ることができる。
【0213】
また、本実施の形態では、対向電極１２は、複数の画素ブロック１０ｂのうち、同じ画素ブロック１０ｂ内の複数の単位画素セル１０間で連続し、異なる画素ブロック１０ｂ間で分離している。電圧供給回路３２は、複数の第１画素ブロック１０ｂｇのそれぞれに対応する対向電極１２に電気的に接続されている。これにより、電圧供給回路３２は、複数の第１画素ブロック１０ｂｇのそれぞれについて、対向電極１２の電位を切り替えることによって、その第１画素ブロック１０ｂｇに含まれる各単位画素セル１０の対向電極１２と画素電極１１との間の電圧を第１電圧と第２電圧とに切り替えることができる。その結果、複数の第１画素ブロック１０ｂｇのそれぞれで行われる露光期間と非露光期間との切り換えのタイミングを、一致させ易くすることができる。
【0214】
また、本実施の形態では、複数の第１画素ブロック１０ｂｇのそれぞれでは、対向電極１２と画素電極１１との間に第１電圧が印加されているときには、信号電荷は光電変換層１５から画素電極１１に移動する。対向電極１２と画素電極１１との間に第２電圧が印加されているときには、信号電荷の光電変換層１５から画素電極１１への移動が抑制される。これにより、対向電極１２と画素電極１１との間に第１電圧が印加されているときには、露光期間が形成され、対向電極１２と画素電極１１との間に第２電圧が印加されているときには、非露光期間が形成される。したがって、対向電極１２と画素電極１１との間の電圧の切り替えによって、露光期間と非露光期間との切り替えを適切に行うことができる。
【0215】
また、本実施の形態では、複数の画素ブロック１０ｂのそれぞれは、同じ１行に属する複数の単位画素セル１０からなっている。これにより、行毎にシャッタ動作を独立して制御できる。さらに、グローバルシャッタ動作により得られる画像と、ローリングシャッタ動作により得られる画像とを、それぞれ行単位で構成することができ、高画質化を図ることができる。
【0216】
また、本実施の形態では、複数の第１画素ブロック１０ｂｇのそれぞれと、複数の第２画素ブロック１０ｂｒのそれぞれとは、交互に配置されていている。これにより、グローバルシャッタ動作により得られる画像と、ローリングシャッタ動作により得られる画像との位置ずれを抑えることができる。
【0217】
なお、図２４に示す例では、第ＧＳ＿０行および第ＲＳ＿０行のそれぞれのドットの期間は、同一であって、共に時刻ｔ０から時刻ｔ１までの期間である。同様に、第ＧＳ＿１行および第ＲＳ＿１行のそれぞれのドットの期間も、同一であって、共に時刻ｔ１から時刻ｔ２までの期間である。第ＧＳ＿２行および第ＲＳ＿２行のそれぞれのドットの期間も、同一であって、第ＧＳ＿３行および第ＲＳ＿３行のそれぞれのドットの期間も、同一である。つまり、１つの第１画素ブロック１０ｂｇに対応する行のドットの期間と、１つの第２画素ブロック１０ｂｒに対応する行のドットの期間とは、同一である。
【0218】
しかし、図１９に示す撮像装置１００の構成では、第１画素ブロック１０ｂｇと第２画素ブロック１０ｂｒとでは、信号読み出し、リセットおよびリセット読み出しは、そのドットの期間の全てにわたって行われることはない。例えば、１つのドットの期間内で、第１画素ブロック１０ｂｇおよび第２画素ブロック１０ｂｒのそれぞれに対する、信号読み出し、リセットおよびリセット読み出しが、シーケンシャルに行われてもよい。例えば、第１画素ブロック１０ｂｇに対する、信号読み出し、リセットおよびリセット読み出しが先に行われ、その後に、第２画素ブロック１０ｂｒに対する、信号読み出し、リセットおよびリセット読み出しが行われてもよい。
【0219】
また、図１９に示す撮像装置１００では、画素アレイＰＡの列毎に、１つの垂直信号線４７と１つのカラム信号処理回路３７とが配置されているが、２つの垂直信号線４７と２つのカラム信号処理回路３７とが配置されていてもよい。この場合、２つの垂直信号線４７のうちの一方と、２つのカラム信号処理回路３７のうちの一方とは、第１画素ブロック１０ｂｇに用いられる。そして、２つの垂直信号線４７のうちの他方と、２つのカラム信号処理回路３７のうちの他方とは、第２画素ブロック１０ｂｒに用いられる。したがって、この場合には、第１画素ブロック１０ｂｇに対する、信号読み出し、リセットおよびリセット読み出しと、第２画素ブロック１０ｂｒに対する、信号読み出し、リセットおよびリセット読み出しとが、同時に行われてもよい。
【0220】
また、本実施の形態におけるローリングシャッタ動作では、ドットの期間の終了時に露光期間が開始される。しかし、電子シャッタを用いることによって、ドットの期間の終了から所定の期間経過後に、露光期間が開始されてもよい。電子シャッタは、露光期間の開始時点を決めるリセット動作であって、上述のドットの期間において行われるリセットと同一の動作である。この電子シャッタを用いることによって、ローリングシャッタ動作が行われる各行の露光期間を調整することができる。その結果、グローバルシャッタ動作の露光期間の長さと、ローリングシャッタ動作の露光期間の長さとを容易に一致させることができる。
【0221】
（その他の態様など）
以上、本開示の１つまたは複数の態様に係る測距システムなどについて、各実施の形態および各変形例に基づいて説明したが、本開示は、それらの実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態または変形例に施したものも本開示に含まれてもよい。また、複数の互いに異なる実施の形態または変形例における構成要素を組み合わせて構築される形態も本開示に含まれてもよい。
以上、本開示の１つまたは複数の態様に係る測距システムなどについて、各実施の形態および各変形例に基づいて説明したが、本開示は、それらの実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態または変形例に施したものも本開示に含まれてもよい。また、複数の互いに異なる実施の形態または変形例における構成要素を組み合わせて構築される形態も本開示に含まれてもよい。
【0222】
なお、以下のような場合も本開示に含まれる。
【0223】
（１）上記の少なくとも１つの装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0224】
（２）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【0225】
（３）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0226】
（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0227】
また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
【0228】
また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0229】
また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【産業上の利用可能性】
【0230】
本開示は、例えば車両に搭載され、その車両の周囲の障害物までの距離を測定する装置またはシステムなどに適用することができる。
【符号の説明】
【0231】
１、１ａ 測距装置
１０ 画素（単位画素セル）
１０ｂ 画素ブロック
１０ｂｇ 第１画素ブロック
１０ｂｒ 第２画素ブロック
１１ 画素電極
１２ 対向電極
１２ｂ 電極片
１３ 光電変換部
１４ 信号検出回路
１５ 光電変換層
２０ 半導体基板
２０ｔ 素子分離領域
２４ 信号検出トランジスタ
２４ｄ、２４ｓ、２６ｓ、２８ｄ、２８ｓ 不純物領域
２４ｇ、２６ｇ、２８ｇ ゲート電極
２６ アドレストランジスタ
２８ リセットトランジスタ
３２ 電圧供給回路
３２Ｇ 第１電圧供給回路
３２Ｒ 第２電圧供給回路
３４ リセット電圧源
３６ 垂直走査回路
３７ カラム信号処理回路
３８ 水平信号読み出し回路
３９ 制御回路
４０ 電源線
４１ 電荷蓄積ノード
４２ 感度制御線
４２ｇ 第１感度制御線
４２ｒ 第２感度制御線
４４ リセット電圧線
４６ アドレス制御線
４７ 垂直信号線
４８ リセット制御線
４９ 水平共通信号線
５０ 層間絶縁層
５２ プラグ
５３ 配線
５４、５５ コンタクトプラグ
５６ 配線層
１００ 撮像装置
４１０ 光学系
４３０ 画像形成回路
４４０ 出力バッファ
４８０ カメラ部
５００、５００ａ 測距システム
５０１ 直線検出部
５０２、５０２ａ 角度検出部
５０３ 距離導出部
５０４、５０４ａ シャッタ制御部
５１０ 歪み検出部
５２１ ペアリング処理部
５２２ 角度処理部
５２３ 画素位置検出部
６００ 車速検出部
１０００、１００１、１００２ 車両
１００３ トラック
Ｄ３、Ｄｇ３、Ｄｇ４、Ｄｒ３、Ｄｒ４ 点
Ｅ 特徴部分
Ｅｇ、Ｅｇ１、Ｅｇ２、Ｅｇ３、Ｅｇ４、Ｅｒ、Ｅｒ１、Ｅｒ２、Ｅｒ３、Ｅｒ４ エッジ
Ｔ１、Ｔ２ テーブル
１０ 画素（単位画素セル）
１０ｂ 画素ブロック
１０ｂｇ 第１画素ブロック
１０ｂｒ 第２画素ブロック
１１ 画素電極
１２ 対向電極
１２ｂ 電極片
１３ 光電変換部
１４ 信号検出回路
１５ 光電変換層
２０ 半導体基板
２０ｔ 素子分離領域
２４ 信号検出トランジスタ
２４ｄ、２４ｓ、２６ｓ、２８ｄ、２８ｓ 不純物領域
２４ｇ、２６ｇ、２８ｇ ゲート電極
２６ アドレストランジスタ
２８ リセットトランジスタ
３２ 電圧供給回路
３２Ｇ 第１電圧供給回路
３２Ｒ 第２電圧供給回路
３４ リセット電圧源
３６ 垂直走査回路
３７ カラム信号処理回路
３８ 水平信号読み出し回路
３９ 制御回路
４０ 電源線
４１ 電荷蓄積ノード
４２ 感度制御線
４２ｇ 第１感度制御線
４２ｒ 第２感度制御線
４４ リセット電圧線
４６ アドレス制御線
４７ 垂直信号線
４８ リセット制御線
４９ 水平共通信号線
５０ 層間絶縁層
５２ プラグ
５３ 配線
５４、５５ コンタクトプラグ
５６ 配線層
１００ 撮像装置
４１０ 光学系
４３０ 画像形成回路
４４０ 出力バッファ
４８０ カメラ部
５００、５００ａ 測距システム
５０１ 直線検出部
５０２、５０２ａ 角度検出部
５０３ 距離導出部
５０４、５０４ａ シャッタ制御部
５１０ 歪み検出部
５２１ ペアリング処理部
５２２ 角度処理部
５２３ 画素位置検出部
６００ 車速検出部
１０００、１００１、１００２ 車両
１００３ トラック
Ｄ３、Ｄｇ３、Ｄｇ４、Ｄｒ３、Ｄｒ４ 点
Ｅ 特徴部分
Ｅｇ、Ｅｇ１、Ｅｇ２、Ｅｇ３、Ｅｇ４、Ｅｒ、Ｅｒ１、Ｅｒ２、Ｅｒ３、Ｅｒ４ エッジ
Ｔ１、Ｔ２ テーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】