IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-21
(45)【発行日】2025-03-31
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 1/03 20060101AFI20250324BHJP
   H04N 1/04 20060101ALI20250324BHJP
   H04N 25/70 20230101ALI20250324BHJP
   H04N 25/46 20230101ALI20250324BHJP
   H04N 25/533 20230101ALI20250324BHJP
【FI】
H04N1/03
H04N1/12 Z
H04N25/70
H04N25/46
H04N25/533
【請求項の数】 11
(21)【出願番号】P 2022532398
(86)(22)【出願日】2021-05-18
(86)【国際出願番号】 JP2021018718
(87)【国際公開番号】W WO2021261116
(87)【国際公開日】2021-12-30
【審査請求日】2024-04-18
(31)【優先権主張番号】P 2020108113
(32)【優先日】2020-06-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】村岡 和彦
【審査官】松永 隆志
(56)【参考文献】
【文献】特開平9-233261(JP,A)
【文献】特開2009-60463(JP,A)
【文献】特開2016-19267(JP,A)
【文献】中国特許出願公開第102685403(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/00 - 1/64
H04N 25/70
H04N 25/46
H04N 25/533
(57)【特許請求の範囲】
【請求項1】
第1の方向に並設された第1の画素ラインおよび第2の画素ラインを含む複数の画素ラインに区分され、蓄積期間において受光量に応じた電荷を蓄積する複数の受光画素を有する画素アレイと、
前記複数の受光画素における前記蓄積期間の時間長を、第1の時間長および第2の時間長を含む複数の時間長のうちの1つに、所定の順番で繰り返すように設定する露光制御部と、
前記複数の受光画素における蓄積結果に基づいて画像データを生成する処理部と
を備え、
前記蓄積期間は、前記第1の時間長を有する第1の蓄積期間および第2の蓄積期間と、前記第2の時間長を有する第3の蓄積期間および第4の蓄積期間と含み、
前記処理部は、前記第1の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第2の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算するとともに、前記第3の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第4の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算することにより、前記画像データを生成する
撮像装置。
【請求項2】
隣り合う2つの前記蓄積期間における中心タイミングの間の時間長は一定である
請求項1に記載の撮像装置。
【請求項3】
前記露光制御部は、所定の期間が経過する度に、前記蓄積期間の時間長を変更し、
前記第1の蓄積期間の中心タイミングと前記第3の蓄積期間の中心タイミングとのタイミング差は、前記所定の期間の時間長である
請求項1に記載の撮像装置。
【請求項4】
前記露光制御部は、外部から供給された同期信号に基づいて、前記蓄積期間の前記時間長を設定する
請求項3に記載の撮像装置。
【請求項5】
前記同期信号は、第1のパルスおよび第2のパルスを含む複数のパルスを有し、
前記露光制御部は、
前記第1のパルスに基づいて、前記第1の蓄積期間の開始タイミングおよび前記第1の蓄積期間の終了タイミングを設定し、
前記第2のパルスに基づいて、前記第3の蓄積期間の開始タイミングおよび前記第3の蓄積期間の終了タイミングを設定する
請求項4に記載の撮像装置。
【請求項6】
前記処理部は、
前記第1の時間長に対応づけられた第1の記憶部と、
前記第2の時間長に対応付けられた第2の記憶部と
を有し、
前記第1の記憶部を用いて、前記第1の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第2の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算し、
前記第2の記憶部を用いて、前記第3の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第4の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算する
請求項1に記載の撮像装置。
【請求項7】
前記画像データは、前記第1の時間長を有する前記蓄積期間での蓄積結果に基づく第1の画像データと、前記第2の時間長を有する前記蓄積期間での蓄積結果に基づく第2の画像データとを含む
請求項1に記載の撮像装置。
【請求項8】
前記複数の受光画素のそれぞれは、前記蓄積期間において蓄積された電荷に応じたアナログ信号を、デジタル値である前記画素値に変換する
請求項1に記載の撮像装置。
【請求項9】
前記複数の受光画素のそれぞれは、前記蓄積期間において受光量に応じた電荷を蓄積し、その後の所定の期間に、前記蓄積期間において蓄積された電荷に応じたアナログ信号を、デジタル値である前記画素値に変換する
請求項8に記載の撮像装置。
【請求項10】
前記複数の受光画素のそれぞれにおいて蓄積された電荷に応じたアナログ信号を、デジタル値である前記画素値に変換するAD変換部をさらに備えた
請求項1に記載の撮像装置。
【請求項11】
前記露光制御部は、前記画素アレイの撮像面において被写体の像が前記第1の方向に所定数の画素ラインだけ進行する度に前記蓄積期間を設定する
請求項1に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体を撮像する撮像装置に関する。
【背景技術】
【0002】
撮像装置には、例えば、1または複数の画素ラインを有するラインセンサがある。例えば、特許文献1には、2つ以上の画素ラインを有し、画素ライン間で感度が異なるリニアセンサが開示されている
【先行技術文献】
【特許文献】
【0003】
【文献】特開平09-162381号公報
【発明の概要】
【0004】
ラインセンサでは、画質が高いことが望まれており、さらなる画質の向上が期待されている。
【0005】
画質を高めることができる撮像装置を提供することが望ましい。
【0006】
本開示の一実施の形態における撮像装置は、画素アレイと、露光制御部と、処理部とを備えている。画素アレイは、第1の方向に並設された第1の画素ラインおよび第2の画素ラインを含む複数の画素ラインに区分され、蓄積期間において受光量に応じた電荷を蓄積する複数の受光画素を有する。露光制御部は、複数の受光画素における蓄積期間の時間長を、第1の時間長および第2の時間長を含む複数の時間長のうちの1つに、所定の順番で繰り返すように設定するものである。処理部は、複数の受光画素における蓄積結果に基づいて画像データを生成するものである。蓄積期間は、第1の時間長を有する第1の蓄積期間および第2の蓄積期間と、第2の時間長を有する第3の蓄積期間および第4の蓄積期間と含む。処理部は、第1の蓄積期間における第1の画素ラインでの蓄積結果に基づく複数の画素値と、第2の蓄積期間における第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算するとともに、第3の蓄積期間における第1の画素ラインでの蓄積結果に基づく複数の画素値と、第4の蓄積期間における第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算することにより、画像データを生成する。
【0007】
本開示の一実施の形態における撮像装置では、複数の受光画素における蓄積期間の時間長が、第1の時間長および第2の時間長を含む複数の時間長のうちの1つに、所定の順番で繰り返すように設定される。そして、受光画素では、蓄積期間において受光量に応じた電荷が蓄積される。複数の受光画素は、第1の方向に並設された第1の画素ラインおよび第2の画素ラインを含む複数の画素ラインに区分される。処理部では、第1の時間長を有する第1の蓄積期間における第1の画素ラインでの蓄積結果に基づく複数の画素値と、第1の時間長を有する第2の蓄積期間における第2の画素ラインでの蓄積結果に基づく複数の画素値とが加算されるとともに、第3の蓄積期間における第1の画素ラインでの蓄積結果に基づく複数の画素値と、第4の蓄積期間における第2の画素ラインでの蓄積結果に基づく複数の画素値とが加算されることにより、画像データが生成される。
【図面の簡単な説明】
【0008】
図1】本開示の実施の形態に係る撮像装置を備えた検査システムの一構成例を表す説明図である。
図2図1に示した撮像装置の一構成例を表すブロック図である。
図3図2に示した撮像装置におけるTDI処理の一例を表す説明図である。
図4A図2に示した撮像装置におけるTDI処理の一例を表す他の説明図である。
図4B図2に示した撮像装置におけるTDI処理の一例を表す他の説明図である。
図5図2に示した撮像装置の一動作例を表すタイミング図である。
図6A図2に示した撮像装置におけるTDI処理の一例を表す他の説明図である。
図6B図2に示した撮像装置におけるTDI処理の一例を表す他の説明図である。
図7図2に示した撮像装置により生成された画像の一例を表す説明図である。
図8】第1の比較例に係る撮像装置におけるTDI処理の一例を表す説明図である。
図9】第1の比較例に係る撮像装置の一動作例を表すタイミング図である。
図10】第1の比較例に係る撮像装置により生成された画像の一例を表す説明図である。
図11】第2の比較例に係る撮像装置の一動作例を表すタイミング図である。
図12】変形例に係る撮像装置の一動作例を表すタイミング図である。
図13】変形例に係る撮像装置におけるTDI処理の一例を表す説明図である。
図14】他の変形例に係る撮像装置の一動作例を表すタイミング図である。
図15】他の変形例に係る撮像装置の一動作例を表すタイミング図である。
図16】他の変形例に係る撮像装置の一構成例を表すブロック図である。
図17】他の変形例に係る撮像装置の一構成例を表すブロック図である。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【0010】
<実施の形態>
[構成例]
図1は、一実施の形態に係る撮像装置(撮像装置1)を用いた検査システム90の一構成例を表すものである。検査システム90は、例えば、ベルトコンベアにより搬送される工業生産品を撮像し、得られた画像を利用して工業生産品の検査を行うように構成される。検査システム90は、ベルトコンベア91と、搬送制御部92と、レンズ系93と、撮像装置1と、HDR(High Dynamic Range)処理部94と、検査処理部95とを備えている。
【0011】
ベルトコンベア91は、検査の対象である工業生産品を搬送方向Fに沿って搬送するように構成される。この工業生産品は、撮像装置1により撮像される被写体9である。
【0012】
搬送制御部92は、このベルトコンベア91における搬送動作を制御するように構成される。また、搬送制御部92は、ベルトコンベア91の搬送速度に応じた同期信号SYNCを生成する。この同期信号SYNCは、搬送速度に応じた時間間隔で配置された複数のパルスを有する。このパルスのピッチは、この例では、後述するように、撮像装置1の撮像面Sにおいて被写体9の像が1つの画素ラインLだけ進行する時間と同じ時間になるように設定される。そして、搬送制御部92は、この同期信号SYNCを撮像装置1に供給するようになっている。
【0013】
レンズ系93は、被写体9の像を撮像装置1の撮像面Sに導くように構成される。レンズ系93は、この例ではケプラー式のシステムである。
【0014】
撮像装置1は、リニアセンサであり、ベルトコンベア91により搬送される被写体9を、レンズ系93を介して撮像するように構成される。この例では、レンズ系93はケプラー式のシステムであるので、撮像装置1の撮像面Sでは、搬送方向Fとは反対の方向に被写体9が移動する。撮像装置1は、同期信号SYNCに含まれる複数のパルスのそれぞれに応じて撮像動作を行う。撮像装置1は、この例では、後述するように、8つの画素ラインLを有している。撮像装置1は、同期信号SYNCに基づいて、撮像面Sにおいて被写体9の像が1つの画素ラインLだけ進行する度に撮像動作を行う。そして、撮像装置1は、撮像結果を示す画像データDTをHDR処理部94に供給するようになっている。
【0015】
HDR処理部94は、撮像装置1から供給された画像データDTに基づいてHDR処理を行うことにより、よりダイナミックレンジが広い画像を含む画像データを生成するように構成される。そして、HDR処理部94は、生成された画像データを検査処理部95に供給するようになっている。
【0016】
検査処理部95は、HDR処理部94から供給された画像データに基づいて、工業生産品(被写体9)を検査するように構成される。
【0017】
図2は、撮像装置1の一構成例を表すものである。撮像装置1は、画素アレイ11と、露光制御部12と、画素制御部13と、メモリ14と、TDI(Time Delay Integration)処理部15と、TDIメモリ16と、出力処理部17とを有している。
【0018】
画素アレイ11は、マトリクス状に配置された複数の受光画素PIXを有している。受光画素PIXは、フォトダイオードを含んでいる。複数の受光画素PIXは、この例では8つの画素ラインLに区分される。この図2では、縦方向に8つの画素ラインLが並設される。この並設方向(縦方向)は、被写体9の像が移動する方向である。8つの画素ラインLのそれぞれは、所定数の受光画素PIXを含む。複数の受光画素PIXのそれぞれは、蓄積期間Pにおいて受光量に応じた電荷を蓄積する蓄積動作を行い、その蓄積期間Pにおいて蓄積された電荷に応じたアナログ信号をデジタル値である画素値に変換するAD(Analog to Digital)変換動作を行うように構成される。複数の受光画素PIXにおける蓄積動作およびAD変換動作は、画素制御部13からの指示に基づいて行われるようになっている。
【0019】
露光制御部12は、搬送制御部92(図1)から供給された同期信号SYNCに基づいて、画素アレイ11における蓄積動作およびAD変換動作を制御するように構成される。具体的には、露光制御部12は、同期信号SYNCに基づいて、長い時間長TLを有する蓄積期間P(蓄積期間PL)と、短い時間長TSを有する蓄積期間P(蓄積期間PS)とを、時分割的に交互に設定する。そして、露光制御部12は、蓄積期間Pの開始タイミングを指示する露光開始信号SSTおよび蓄積期間Pの終了タイミングを指示する露光終了信号SEDを生成するとともに、AD変換動作の開始タイミングを指示する変換開始信号SADを生成し、これらの信号を画素制御部13に供給する。また、露光制御部12は、蓄積時間PLにおける蓄積結果に対する処理、および蓄積時間PSにおける蓄積結果に対する処理のうちのどちらを行うべきかを指示する露光種別信号EXを生成し、この露光種別信号EXをTDI処理部15に供給するようになっている。
【0020】
画素制御部13は、露光制御部12から供給された露光開始信号SSTおよび露光終了信号SEDに基づいて、画素アレイ11における複数の受光画素PIXを駆動することにより蓄積動作を制御するとともに、露光制御部12から供給された変換開始信号SADに基づいて、画素アレイ11における複数の受光画素PIXを駆動することによりAD変換動作を制御するように構成される。また、画素制御部13は、AD変換動作が終了した後、複数の受光画素PIXにおいて生成された画素値をメモリ14に転送する動作を制御する機能をも有している。
【0021】
メモリ14は、画素アレイ11の近傍に設けられ、画素アレイ11における複数の受光画素PIXから供給された複数の画素値を一時的に記憶するように構成される。メモリ14は、ロジックメモリであり、画素アレイ11における複数の受光画素PIXの数と同じ数の画素値を記憶するようになっている。
【0022】
TDI処理部15は、メモリ14に記憶された複数の画素値を、1つの画素ラインLに係る複数の画素値を単位として読み出し、読み出した複数の画素値に基づいてTDI処理を行うように構成される。具体的には、TDI処理部15は、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行うとともに、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行うようになっている。
【0023】
TDIメモリ16は、TDI処理部15がTDI処理を行う際に使用するメモリである。TDIメモリ16は、TDIメモリ16Lと、TDIメモリ16Sとを有している。TDIメモリ16L,16Sのそれぞれは、ロジックメモリであり、画素アレイ11における複数の受光画素PIXの数と同じ数のデータを記憶することができる。TDIメモリ16Lは、TDI処理部15がTDI処理100Lを行う際に生成するデータを記憶し、TDIメモリ16Sは、TDI処理部15がTDI処理100Sを行う際に生成するデータを記憶するようになっている。
【0024】
出力処理部17は、TDI処理部15からの指示に基づいてTDIメモリ16L,16Sからデータを読み出すことにより画像データDTを生成するように構成される。
【0025】
この構成により、露光制御部12は、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを、時分割的に交互に設定する。そして、各蓄積期間Pにおいて、複数の受光画素PIXが蓄積動作を行い、その後にAD変換動作を行うことにより画素値を生成する。TDI処理部15は、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行うとともに、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行う。これにより、撮像装置1では、ダイナミックレンジを広くすることができるようになっている。
【0026】
ここで、画素アレイ11は、本開示における「画素アレイ」の一具体例に対応する。受光画素PIXは、本開示における「受光画素」の一具体例に対応する。画素ラインLは、本開示における「画素ライン」の一具体例に対応する。露光制御部12は、本開示における「露光制御部」の一具体例に対応する。TDI処理部15、TDIメモリ16、および出力処理部17は、本開示における「処理部」の一具体例に対応する。TDIメモリ16Sは、本開示における「第1の記憶部」の一具体例に対応する。TDIメモリ16Lは、本開示における「第2の記憶部」の一具体例に対応する。蓄積期間Pは、本開示における「蓄積期間」の一具体例に対応する。時間長TSは、本開示における「第1の時間長」の一具体例に対応する。時間長TLは、本開示における「第2の時間長」の一具体例に対応する。同期信号SYNCは、本開示における「同期信号」の一具体例に対応する。
【0027】
[動作および作用]
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
【0028】
(全体動作概要)
まず、図2を参照して、撮像装置1の全体動作概要を説明する。露光制御部12は、同期信号SYNCに基づいて、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを、時分割的に交互に設定する。そして、露光制御部12は、露光開始信号SST、露光終了信号SED、変換開始信号SAD、および露光種別信号EXを生成する。画素制御部13は、露光開始信号SSTおよび露光終了信号SEDに基づいて、画素アレイ11における複数の受光画素PIXの蓄積動作を制御するとともに、変換開始信号SADに基づいて、画素アレイ11における複数の受光画素PIXのAD変換動作を制御する。画素アレイ11における複数の受光画素PIXのそれぞれは、蓄積期間Pにおいて、受光量に応じた電荷を蓄積する蓄積動作を行い、蓄積された電荷に応じたアナログ信号を、デジタル値である画素値に変換するAD変換動作を行う。メモリ14は、画素アレイ11における複数の受光画素PIXから供給された複数の画素値を一時的に記憶する。TDI処理部15は、メモリ14に記憶された複数の画素値を、1つの画素ラインLに係る複数の画素値を単位として読み出し、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行うとともに、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行う。TDIメモリ16Lは、TDI処理部15がTDI処理100Lを行う際に生成するデータを記憶し、TDIメモリ16Sは、TDI処理部15がTDI処理100Sを行う際に生成するデータを記憶する。出力処理部17は、TDI処理部15からの指示に基づいてTDIメモリ16L,16Sからデータを読み出すことにより画像データDTを生成する。
【0029】
(詳細動作)
図3,4A,4Bは、TDI処理部15におけるTDI処理の一例を表すものである。図3は、1つの画素ラインLに係るライン画像についてのTDI処理の一例を示し、図4Aは、蓄積時間PSにおける蓄積結果に基づくTDI処理100Sの一例を示し、図4Bは、蓄積時間PLにおける蓄積結果に基づくTDI処理100Lの一例を示す。
【0030】
露光制御部12は、同期信号SYNCに基づいて、撮像面Sにおいて被写体9の像が1つの画素ラインLだけ進行する度に蓄積期間Pを設定する。これにより、画素アレイ11は、図3に示したように、順次設定された8つの蓄積期間Pのそれぞれにおける蓄積結果に基づいて画像P1~P8を生成する。画像P1~P8では、時間の経過に応じて、被写体9が1つの画素ラインLを単位として図3における右方向に進行する。例えば、画像P1における画素ラインL1に係るライン画像、画像P2における画素ラインL2に係るライン画像、画像P3における画素ラインL3に係るライン画像、画像P4における画素ラインL4に係るライン画像、画像P5における画素ラインL5に係るライン画像、画像P6における画素ラインL6に係るライン画像、画像P7における画素ラインL7に係るライン画像、および画像P8における画素ラインL8に係るライン画像は、被写体9における同じ部分を示す画像である。
【0031】
露光制御部12は、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを、時分割的に交互に設定する。図3において、実線で囲まれた画像P1,P3,P5,P7は、短い時間長TSを有する蓄積期間PSにおける蓄積結果に基づいて生成された画像であり、破線で囲まれた画像P2,P4,P6,P8は、長い時間長TLを有する露光時間PLにおける蓄積結果に基づいて得られた画像である。
【0032】
TDI処理部15は、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行う。この例では、TDI処理部15は、画像P1における最上流の画素ラインL1に係るライン画像、画像P3における3番目の画素ラインL3に係るライン画像、画像P5における5番目の画素ラインL5に係るライン画像、および画像P7における7番目の画素ラインL7に係るライン画像を、画素単位で加算することによりTDI処理100Sを行う。これにより、撮像装置1では、短い時間長TSを有する蓄積期間PSに係る、高い感度のライン画像を得ることができる。
【0033】
同様に、TDI処理部15は、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行う。この例では、TDI処理部15は、画像P2における2番目の画素ラインL2に係るライン画像、画像P4における4番目の画素ラインL4に係るライン画像、画像P6における6番目の画素ラインL6に係るライン画像、および画像P8における最下流の画素ラインL8に係るライン画像を、画素単位で加算することによりTDI処理100Lを行う。これにより、撮像装置1では、長い時間長TLを有する蓄積期間PLに係る、高い感度のライン画像を得ることができる。
【0034】
以上の説明では、画像P1~P8のそれぞれにおいて1つの画素ラインLに着目したが、他の画素ラインLについても同様である。
【0035】
例えば、TDI処理部15は、図4Aに示したように、短い時間長TSを有する蓄積期間PSに係る画像P1,P3,P5,P7,P9,P11,P13に基づいて、TDI処理100Sを行う。具体的には、TDI処理部15は、画像P1における1番目の画素ラインL1に係るライン画像、画像P3における3番目の画素ラインL3に係るライン画像、画像P5における5番目の画素ラインL5に係るライン画像、および画像P7における7番目の画素ラインL7に係るライン画像に基づいてTDI処理100Sを行う。そして、TDI処理部15は、画像P1における2番目の画素ラインL2に係るライン画像、画像P3における4番目の画素ラインL4に係るライン画像、画像P5における6番目の画素ラインL6に係るライン画像、および画像P7における8番目の画素ラインL8に係るライン画像に基づいてTDI処理100Sを行う。このようにして、TDI処理部15は、画像P1,P3,P5,P7に基づいて、2ライン分のライン画像を生成する。同様に、TDI処理部15は、画像P3,P5,P7,P9に基づいて2ライン分のライン画像を生成し、画像P5,P7,P9,P11に基づいて2ライン分のライン画像を生成し、画像P7,P9,P11,P13に基づいて2ライン分のライン画像を生成する。このようにして、撮像装置1では、短い時間長TSを有する蓄積期間PSに係る、高い感度の画像DSを得ることができる。
【0036】
同様に、例えば、TDI処理部15は、図4Bに示したように、長い時間長TLを有する蓄積期間PLに係る画像P2,P4,P6,P8,P10,P12,P14に基づいて、TDI処理100Lを行う。具体的には、TDI処理部15は、画像P2における1番目の画素ラインL1に係るライン画像、画像P4における3番目の画素ラインL3に係るライン画像、画像P6における5番目の画素ラインL5に係るライン画像、および画像P8における7番目の画素ラインL7に係るライン画像に基づいてTDI処理100Lを行う。そして、TDI処理部15は、画像P2における2番目の画素ラインL2に係るライン画像、画像P4における4番目の画素ラインL4に係るライン画像、画像P6における6番目の画素ラインL6に係るライン画像、および画像P8における8番目の画素ラインL8に係るライン画像に基づいてTDI処理100Lを行う。このようにして、TDI処理部15は、画像P2,P4,P6,P8に基づいて、2ライン分のライン画像を生成する。同様に、TDI処理部15は、画像P4,P6,P8,P10に基づいて2ライン分のライン画像を生成し、画像P6,P8,P10,P12に基づいて2ライン分のライン画像を生成し、画像P8,P10,P12,P14に基づいて2ライン分のライン画像を生成する。このようにして、撮像装置1では、長い時間長TLを有する蓄積期間PLに係る、高い感度の画像DLを得ることができる。
【0037】
蓄積期間Pが、短い時間長TSを有する蓄積期間PSである場合には、画素アレイ11は、例えば被写体9における明るい部分を、高い画質で撮像することができる。また、蓄積期間Pが、長い時間長TLを有する蓄積期間PLである場合には、画素アレイ11は、例えば被写体9における暗い部分を、高い画質で撮像することができる。よって、撮像装置1では、広いダイナミックレンジを実現することができる。
【0038】
撮像装置1は、このようなTDI処理により生成された、蓄積期間PSに係る画像DSおよび蓄積期間PLに係る画像DLを、画像データDTとして出力する。そして、HDR処理部94は、この蓄積期間PSに係る画像DSおよび蓄積期間PLに係る画像DLをHDR処理により合成する。すなわち、短い時間長TSを有する蓄積期間PSに係る画像DSでは、例えば被写体9における暗い部分の情報が欠損し、長い時間長TLを有する蓄積期間PLに係る画像DLでは、例えば被写体9における明るい部分の情報が欠損する。HDR処理部94は、例えば、2つの画像DS,DLにおける欠損する情報を相互に補い、2つの画像DS,DLにおけるS/N比がよい画像部分を選択することにより、画像DS,DLを合成することができる。これにより、HDR処理部94は、ダイナミックレンジが広い画像を生成することができる。そして、検査処理部95は、HDR処理部94により合成された、広いダイナミックレンジを有する画像に基づいて、工業生産品(被写体9)を検査する。これにより、検査システム90では、この工業生産品の検査精度を高めることができる。
【0039】
次に、撮像装置1のより詳細な動作について説明する。
【0040】
図5は、撮像装置1の一動作例を表すものであり、(A)は同期信号SYNCの波形を示し、(B)は露光開始信号SSTの波形を示し、(C)は露光終了信号SEDの波形を示し、(D)は露光種別信号EXの波形を示し、(E)は画素アレイ11における蓄積動作を示し、(F)はTDI処理部15における処理を示す。
【0041】
搬送制御部92(図1)は、ベルトコンベア91における搬送動作を制御するとともに、ベルトコンベア91の搬送速度に応じた同期信号SYNCを生成する(図5(A))。この同期信号SYNCにおける複数のパルスのピッチ(同期間隔Tf)は、撮像装置1の撮像面Sにおいて被写体9の像が1つの画素ラインLだけ進行する時間と同じ時間になるように設定される。搬送制御部92は、ベルトコンベア91の搬送速度を一定の速度に維持するとともに、一定のピッチ(同期間隔Tf)で同期信号SYNCのパルスを生成する。
【0042】
この例では、搬送制御部92は、図5(A)に示したように、タイミングt1において同期信号SYNCのパルスを生成し、このタイミングt1から同期間隔Tf(1)だけ時間が経過したタイミングt11において、同期信号SYNCの次のパルスを生成し、このタイミングt11から同期間隔Tf(2)だけ時間が経過したタイミングt21において、同期信号SYNCの次のパルスを生成する。
【0043】
露光制御部12は、同期信号SYNCの立ち上がりエッジのタイミングから遅延時間Tdだけ経過したタイミングを基準タイミングとして、露光開始信号SST、露光終了信号SED、および露光種別信号EXを生成する。この遅延時間Tdは、実装上必要な処理遅延時間を含んでいる。この遅延時間Tdは、意図的に所定の時間に設定されてもよい。具体的には、例えば、同期信号SYNCの立ち上がりエッジのタイミングが蓄積期間Pの中心タイミングと一致するように、遅延時間Tdを設定することができる。
【0044】
まず、露光制御部12は、同期信号SYNCの立ち上がりエッジのタイミングt11から遅延時間Tdだけ経過したタイミングt12を基準タイミングとし、この基準タイミングから時間Tls(1)だけ経過したタイミングt13で露光開始信号SSTのパルスを生成するとともに(図5(B))、この基準タイミングから時間tle(1)だけ経過したタイミングt14で露光終了信号SEDのパルスを生成する(図5(C))。これにより、タイミングt13~t14の期間において、長い時間長TLを有する蓄積期間PLが設定される(図5(E))。画素アレイ11では、最上流の画素ラインL1から最下流の画素ラインL8までの全ての画素ラインLにおいて、同じタイミングで蓄積期間PLが設定される。各受光画素PIXは、この蓄積期間PLにおいて、受光量に応じた電荷を蓄積する蓄積動作を行い、この蓄積期間PLが終了した後の所定の期間に、蓄積された電荷に応じたアナログ信号を、デジタル値である画素値に変換するAD変換動作を行う。そして、メモリ14は、複数の受光画素PIXにおいて得られた、蓄積期間PLに係る複数の画素値を記憶する。
【0045】
露光制御部12は、露光終了信号SEDの立ち上がりエッジのタイミングでトグル動作を行うことにより、露光種別信号EXを生成する(図5(D))。この例では、露光制御部12は、タイミングt14における露光終了信号SEDの立ち上がりエッジに基づいて、露光種別信号EXを低レベルから高レベルに変化させる。TDI処理部15は、この露光種別信号EXに基づいて、タイミングt14~t24の期間において、メモリ14に記憶された、蓄積期間PLに係る複数の画素値を用いてTDI処理100Lを行う(図5(F))。
【0046】
図6Aは、TDI処理100Lの一例を表すものである。TDI処理部15は、メモリ14における、1つの画素ラインLに対応する1ライン分の複数の画素値を、ライン単位で順次読み出す。また、TDI処理部15は、メモリ14から読み出した1ライン分のデータに対応する、TDIメモリ16Lにおける1ライン分の複数の値を読み出す。メモリ14から読み出した1ライン分のデータと、TDIメモリ16Lから読み出した1ライン分のデータは、被写体9における同じ部分を示すデータである。そして、TDI処理部15は、メモリ14から読み出した1ライン分の複数の画素値と、TDIメモリ16Lから読み出した1ライン分の複数の値とを、画素単位で加算することにより、複数の値を生成する。そして、TDI処理部15は、生成した複数の値を、TDIメモリ16Lにおける読み出したラインに書き込む。TDI処理部15は、このようにして、TDIメモリ16Lにおける8ライン分のデータを更新する。
【0047】
なお、この例では、TDI処理部15は、メモリ14から1ライン単位で複数の画素値を読み出すことにより、TDIメモリ16Lにおける1ライン分のデータを処理したが、これに限定されるものではない。これに代えて、例えば、TDI処理部15は、メモリ14から2ライン単位で複数の画素値を読み出すことにより、TDIメモリ16Lにおける2ライン分のデータを処理してもよい。
【0048】
このようなTDI処理100Lが終了したとき、TDIメモリ16Lにおける8ライン分のデータは、4回加算された2ライン分のデータと、3回加算された2ライン分のデータと、2回加算された2ライン分のデータと、1回加算された2ライン分のデータとを含む。出力処理部17は、この8ライン分のデータのうち、4回加算された2ライン分のデータを読み出し、読み出したデータを画像データDTとして出力する。すなわち、図3,4Aに示したように、4つのライン画像を加算することにより、そのライン画像に係るTDI処理100Lは終了するので、出力処理部17は、4回加算された2ライン分のデータを画像データDTとして出力する。そして、TDI処理部15は、TDIメモリ16Lにおける、出力処理部17により読み出された2ライン分のデータをリセットする。なお、この例では、2ライン分のデータをリセットしたが、これに限定されるものではなく、これに代えて、例えば、リセットせずに、次に、TDIメモリ16Lにおけるこの2ライン分のデータを更新する際に、メモリ14から読み出したデータを、加算せずにそのままTDIメモリ16Lに書き込んでもよい。
【0049】
同様に、露光制御部12は、図5に示したように、同期信号SYNCの立ち上がりエッジのタイミングt21から遅延時間Tdだけ経過したタイミングt22を基準タイミングとし、この基準タイミングから時間Tss(2)だけ経過したタイミングt23で露光開始信号SSTのパルスを生成するとともに(図5(B))、この基準タイミングから時間tse(2)だけ経過したタイミングt24で露光終了信号SEDのパルスを生成する(図5(C))。これにより、タイミングt23~t24の期間において、短い時間長TSを有する蓄積期間PSが設定される(図5(E))。画素アレイ11では、最上流の画素ラインL1から最下流の画素ラインL8までの全ての画素ラインLにおいて、同じタイミングで蓄積期間PSが設定される。各受光画素PIXは、この蓄積期間PSにおいて、受光量に応じた電荷を蓄積する蓄積動作を行い、この蓄積期間PSが終了した後の所定の期間に、蓄積された電荷に応じたアナログ信号を、デジタル値である画素値に変換するAD変換動作を行う。そして、メモリ14は、複数の受光画素PIXにおいて得られた、蓄積期間PSに係る複数の画素値を記憶する。
【0050】
露光制御部12は、タイミングt24における露光終了信号SEDの立ち上がりエッジに基づいて、露光種別信号EXを高レベルから低レベルに変化させる。TDI処理部15は、この露光種別信号EXに基づいて、タイミングt24~t34の期間において、メモリ14に記憶された、蓄積期間PSに係る複数の画素値を用いてTDI処理100Sを行う(図5(F))。
【0051】
図6Bは、TDI処理100Sの一例を表すものである。TDI処理部15は、メモリ14における、1つの画素ラインLに対応する1ライン分の複数の画素値を、ライン単位で順次読み出す。また、TDI処理部15は、メモリ14から読み出した1ライン分のデータに対応する、TDIメモリ16Sにおける1ライン分の複数の値を読み出す。メモリ14から読み出した1ライン分のデータと、TDIメモリ16Sから読み出した1ライン分のデータは、被写体9における同じ部分を示すデータである。そして、TDI処理部15は、メモリ14から読み出した1ライン分の複数の画素値と、TDIメモリ16Sから読み出した1ライン分の複数の値とを、画素単位で加算することにより、複数の値を生成する。そして、TDI処理部15は、生成した複数の値を、TDIメモリ16Sにおける読み出したラインに書き込む。TDI処理部15は、このようにして、TDIメモリ16Sにおける8ライン分のデータを更新する。
【0052】
このようなTDI処理100Sが終了したとき、TDIメモリ16Sにおける8ライン分のデータは、4回加算された2ライン分のデータと、3回加算された2ライン分のデータと、2回加算された2ライン分のデータと、1回加算された2ライン分のデータとを含む。出力処理部17は、この8ライン分のデータのうち、4回加算された2ライン分のデータを読み出し、読み出したデータを画像データDTとして出力する。そして、TDI処理部15は、TDIメモリ16Sにおける、出力処理部17により読み出されたラインのデータをリセットする。
【0053】
このようにして、撮像装置1は、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを、時分割的に交互に設定し、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行うとともに、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行うことにより、画像データDTを生成する。
【0054】
露光制御部12は、例えば、以下の式を用いて、図5に示した時間Tls(1),Tle(1),Tss(2),Tse(2)を算出する。
Tls(n) = Tf(n) - TL/2 - TS/2
Tle(n) = Tf(n) + TL/2 - TS/2
Tss(n) = Tf(n) - TS
Tse(n) = Tf(n)
ここで、nはサイクルの番目を示す番号である。Tf(n)は、図5に示した同期間隔であり、露光制御部12により計測される。TLは蓄積期間PLの時間長であり、例えば制御レジスタに格納される。TSは蓄積期間PSの時間長であり、例えば制御レジスタに格納される。制御レジスタに格納された時間長TL,TSについてのデータは、変更可能であることが望ましい。これにより、例えば被写体の明るさなどに応じてダイナミックレンジを調整することができる。
【0055】
これらの式を用いると、時間Tls(1),Tle(1),Tss(2),Tse(2)は、それぞれ以下のようになる。
Tls(1) = Tf(1) - TL/2 - TS/2
Tle(1) = Tf(1) + TL/2 - TS/2
Tss(2) = Tf(2) - TS
Tse(2) = Tf(2)
【0056】
例えば、露光制御部12は、同期信号SYNCに基づいてタイミングt1~t11の同期間隔Tf(1)を計測し、この同期間隔Tf(1)および制御レジスタに格納された時間長TL,TSを用いて時間Tls(1),Tle(1)を算出する。これにより、露光制御部12は、長い時間長TLを有する蓄積期間PLを設定する。同様に、露光制御部12は、同期信号SYNCに基づいてタイミングt11~t21の同期間隔Tf(2)を計測し、この同期間隔Tf(2)および制御レジスタに格納された時間長TSを用いて時間Tss(2),Tse(2)を算出する。これにより、露光制御部12は、短い時間長TSを有する蓄積期間PSを設定する。
【0057】
ここで、蓄積期間PLの中心タイミングTlc(n)、および蓄積期間PSの中心タイミングTsc(n)は、以下のように表すことができる。
Tlc(n) = (Tls(n)+Tle(n))/2
= Tf(n) - TS/2
Tsc(n) = (Tss(n)+Tse(n))/2
= Tf(n) - TS/2
【0058】
よって、図5(E)に示したように、タイミングt13~t14における、時間長TLを有する蓄積期間PLの中心タイミングと、タイミングt23~t24における時間長TSを有する蓄積期間PSの中心タイミングとの間の時間は同期間隔Tfの時間と同じであり、タイミングt23~t24における、時間長TSを有する蓄積期間PSの中心タイミングと、タイミングt33~t34における時間長TLを有する蓄積期間PLの中心タイミングとの間の時間は同期間隔Tfの時間と同じである。すなわち、時間軸上で隣り合う蓄積期間P(蓄積期間PL,PS)の中心タイミングの間の時間長は、同期間隔Tfの時間に等しく一定である。これにより、撮像装置1では、以下に示すように、TDI処理100Lにより生成された画像DLにおける被写体9の重心位置と、TDI処理100Sにより生成された画像DSにおける被写体9の重心位置との間のずれを抑えることができる。
【0059】
図7は、TDI処理100Lにより生成された画像DL、およびTDI処理100Sにより生成された画像DSの一例を表すものである。図5に示すように、蓄積期間PLの時間長TLは、蓄積期間PSの時間長TSよりも長いので、TDI処理100Lにより生成された画像DLでは、被写体9は、TDI処理100Sにより生成された画像DSと比べて、被写体9の移動方向(図7における横方向)にやや広い。図7に示したように、TDI処理100Lにより生成された画像DLにおける被写体9の重心位置と、TDI処理100Sにより生成された画像DSにおける被写体9の重心位置とは、被写体9の移動方向において互いに一致する。すなわち、図5に示したように、撮像装置1では、時間軸上で隣り合う蓄積期間Pの中心タイミングの間の時間長を、同期間隔Tfの時間に等しく一定にしている。よって、画像DLにおける被写体9の重心位置と、画像DSにおける被写体9の重心位置とを互いに一致させることができる。これにより、この撮像装置1の後段のHDR処理部94は、重心位置が互いに一致した画像DL及び画像DSをそのままHDR処理により合成することができるので、以下に説明する比較例と比べて、HDR処理により生成された画像の画質を高めることができる。
【0060】
次に、いくつかの比較例と対比して、本実施の形態の作用を説明する。
【0061】
(第1の比較例)
まず、第1の比較例に係る撮像装置1Rについて説明する。この撮像装置1Rは、画素アレイ11における画素ラインL1~L4については、短い時間長TSの蓄積期間PSを設定し、画素ラインL5~L8について、長い時間長TLの蓄積期間PLを設定するように構成される。撮像装置1Rは、本実施の形態に係る撮像装置1(図2)と同様に、露光制御部12Rと、TDI処理部15Rとを有する。
【0062】
図8は、撮像装置1RにおけるTDI処理の一例を表すものである。露光制御部12Rは、画素アレイ11における画素ラインL1~L4については、短い時間長TSの蓄積期間PSを設定し、画素ラインL5~L8について、長い時間長TLの蓄積期間PLを設定する。よって、画像P1~P8のそれぞれは、図8において実線で囲まれた、短い時間長TSを有する蓄積期間PSにおける蓄積結果に基づいて生成された画像と、図8において破線で囲まれた、長い時間長TLを有する蓄積期間PLにおける蓄積結果に基づいて生成された画像とを含む。
【0063】
TDI処理部15Rは、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100RSを行う。この例では、TDI処理部15Rは、画像P1における最上流の画素ラインL1に係るライン画像、画像P2における2番目の画素ラインL2に係るライン画像、画像P3における3番目の画素ラインL3に係るライン画像、および画像P4における4番目の画素ラインL4に係るライン画像を、画素単位で加算することによりTDI処理100RSを行う。
【0064】
同様に、TDI処理部15Rは、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100RLを行う。この例では、TDI処理部15Rは、画像P5における5番目の画素ラインL5に係るライン画像、画像P6における6番目の画素ラインL6に係るライン画像、画像P7における7番目の画素ラインL7に係るライン画像、および画像P8における最下流の画素ラインL8に係るライン画像を、画素単位で加算することによりTDI処理100RLを行う。
【0065】
図9は、撮像装置1Rにおける蓄積期間Pの一例を表すものであり、(A)は同期信号SYNCの波形を示し、(B)は画素アレイ11における蓄積動作を示す。露光制御部12Rは、同期信号SYNCに基づいて、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを設定する。具体的には、露光制御部12Rは、例えば、タイミングt41に開始しタイミングt43に終了する蓄積期間PLを設定し、タイミングt42に開始しタイミングt43に終了する蓄積期間PSを設定する。この例でも、時間軸上で隣り合う蓄積期間PLの中心タイミングの間の時間長は、同期間隔Tfの時間に等しく一定であり、時間軸上で隣り合う蓄積期間PSの中心タイミングの間の時間長は、同期間隔Tfの時間に等しく一定である。
【0066】
しかしながら、この例では、蓄積期間PLの中心タイミングと蓄積期間PSの中心タイミングがずれている。これにより、撮像装置1Rでは、図10に示すように、TDI処理100RLにより生成された画像DLにおける被写体9の重心位置と、TDI処理100RSにより生成された画像DSにおける被写体9の重心位置との間にずれΔが生じてしまう。よって、この撮像装置1Rの後段のHDR処理部94は、まず、画像DL,DSに基づいて、被写体9の重心位置が一致するように画像補正処理を行い、補正された2つの画像をHDR処理により合成する必要がある。よって、この画像補正処理により、画質が低下するおそれがある。
【0067】
また、撮像装置1Rでは、画素アレイ11における画素ラインL1~L4については、短い時間長TSの蓄積期間PSを設定し、画素ラインL5~L8について、長い時間長TLの蓄積期間PLを設定する。よって、画素制御部13は、例えば、画素ラインL1~L4における複数の受光画素PIXの蓄積動作と、画素ラインL5~L8における複数の受光画素PIXの蓄積動作とを、互いに異なる制御信号を用いて制御する必要がある。その結果、例えば、画素アレイ11における制御信号の配線が複雑になるおそれがある。特に、リニアセンサでは、受光画素PIXは、互いに密接して配置されることが望ましい。この場合には、画素アレイ11において、例えば受光画素PIXの間の配線スペースが狭くなるので、配線の配置が難しい。例えば、複雑な配線を設けた場合には、画質に影響が出るおそれがある。
【0068】
一方、本実施の形態に係る撮像装置1では、画像DLにおける被写体9の重心位置と、画像DSにおける被写体9の重心位置とを互いに一致させることができるので、HDR処理部94は、画像補正処理を行うことなく、重心位置が互いに一致した画像DL及び画像DSをそのままHDR処理により合成することができるので、HDR処理により生成された画像の画質を高めることができる。また、撮像装置1では、画素アレイ11における全ての画素ラインL1~L8について、蓄積期間PLまたは蓄積期間PSを時分割的に設定するようにしたので、画素制御部13は、例えば、全ての受光画素PIXの蓄積動作を、同じ制御信号を用いて制御することができる。よって、例えば、画素アレイ11における制御信号の配線をシンプルにすることができ、複雑な配線により画質が低下するおそれを低減することができる。
【0069】
(第2の比較例)
次に、第2の比較例に係る撮像装置1Sについて説明する。この撮像装置1Sは、第1の比較例に係る撮像装置1Rにおいて、露光期間PL,PSのタイミングを変更したものである。撮像装置1Sは、本実施の形態に係る撮像装置1(図2)と同様に、露光制御部12Sと、TDI処理部15Sとを有する。
【0070】
図11は、撮像装置1Sにおける蓄積期間Pの一例を表すものである。露光制御部12Sは、同期信号SYNCに基づいて、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを設定する。具体的には、露光制御部12Sは、例えば、タイミングt51に開始しタイミングt54に終了する蓄積期間PLを設定し、タイミングt52に開始しタイミングt53に終了する蓄積期間PSを設定する。この例では、蓄積期間PLの中心タイミングと蓄積期間PSの中心タイミングとを一致させている。これにより、撮像装置1Sでは、本実施の形態に係る撮像装置1の場合(図7)と同様に、画像DLにおける被写体9の重心位置と、画像DSにおける被写体9の重心位置とを互いに一致させることができる。
【0071】
しかしながら、この場合には、画素ラインL1~L4における複数の受光画素PIXは、蓄積期間PSが終了したタイミングt53からAD変換動作を開始し、画素ラインL5~L8における複数の受光画素PIXは、蓄積期間PLが終了したタイミングt54からAD変換動作を開始する。よって、画素制御部13は、例えば、画素ラインL1~L4における複数の受光画素PIXのAD変換動作と、画素ラインL5~L8における複数の受光画素PIXのAD変換動作とを、互いに異なる制御信号を用いて制御する必要がある。よって、例えば、画素アレイ11における制御信号の配線が複雑になるおそれがあり、例えば、複雑な配線を設けた場合には、画質に影響が出るおそれがある。また、このようにAD変換動作のタイミングが異なるので、例えば、画素ラインL1~L4における複数の受光画素PIXに係るAD変換動作により生じた電源ノイズが、画素ラインL5~L8における複数の受光画素PIXの蓄積動作に影響を及ぼし、画質が低下するおそれがある。
【0072】
一方、本実施の形態に係る撮像装置1では、画素アレイ11における全ての画素ラインL1~L8について、蓄積期間PLまたは蓄積期間PSを時分割的に設定するようにしたので、全ての画素ラインL1~L8における複数の受光画素PIXにおいて、AD変換動作のタイミングを一致させることができる。よって、画素制御部13は、例えば、全ての受光画素PIXのAD変換動作を、同じ制御信号を用いて制御することができる。よって、例えば、画素アレイ11における制御信号の配線をシンプルにすることができ、複雑な配線により画質が低下するおそれを低減することができる。また、このようにAD変換動作のタイミングを一致させることができるので、ある受光画素PIXのAD変換動作により生じた電源ノイズが他の受光画素PIXの蓄積動作に影響を及ぼすことはないので、画質が低下するおそれを低減することができる。
【0073】
このように、撮像装置1では、蓄積期間Pの時間長を、短い時間長TSおよび長い時間長TLのうちの1つに時分割的に交互に設定し、画素アレイ11における複数の受光画素PIXのそれぞれが、蓄積期間Pにおいて、受光量に応じた電荷を蓄積する蓄積動作を行うようにした。そして、例えば、図4Aに示したように、短い時間長TSを有する蓄積期間PSにおける画素ラインL1での蓄積結果に基づく複数の画素値と、他の蓄積期間PSにおける画素ラインL3での蓄積結果に基づく複数の画素値とを加算するとともに、図4Bに示したように、長い時間長TLを有する蓄積期間PLにおける画素ラインL1での蓄積結果に基づく複数の画素値と、他の蓄積期間PLにおける画素ラインL3での蓄積結果に基づく複数の画素値とを加算することにより、画像データDTを生成するようにした。蓄積期間Pが、短い時間長TSを有する蓄積期間PSである場合には、画素アレイ11は、例えば被写体9における明るい部分を、高い画質で撮像することができ、蓄積期間Pが、長い時間長TLを有する蓄積期間PLである場合には、画素アレイ11は、例えば被写体9における暗い部分を、高い画質で撮像することができる。よって、撮像装置1では、広いダイナミックレンジを実現することができる。また、撮像装置1では、複数の画素値をTDI処理により加算することにより、感度を高めることができる。その結果、撮像装置1では、画質を高めることができる。
【0074】
特に、撮像装置1では、蓄積時間Pの時間長を、短い時間長TSおよび長い時間長TLのうちの1つに交互に設定するようにした。これにより、撮像装置1では、画素アレイ11における配線をシンプルにすることができ、複雑な配線により画質が低下するおそれを低減することができる。また、AD変換動作により生じた電源ノイズが蓄積動作に影響を及ぼすことはないので、画質を高めることができる。
【0075】
また、撮像装置1では、時間軸上で隣り合う2つの蓄積期間Pの中心タイミングの間の時間長を一定にした。これにより、撮像装置1では、TDI処理100Lにより生成された画像DLにおける被写体9の重心位置と、TDI処理100Sにより生成された画像DSにおける被写体9の重心位置とを互いに一致させることができる。よって、例えば、これらの画像DLおよび画像DSをHDR処理により合成する場合には、重心位置を調整する画像補正処理を行うことなく、画像DL及び画像DSをそのまま合成することができるので、HDR処理により生成された画像の画質を高めることができる。
【0076】
[効果]
以上のように本実施の形態では、蓄積期間の時間長を、短い時間長および長い時間長のうちの1つに交互に設定し、画素アレイにおける複数の受光画素のそれぞれは、蓄積期間において、受光量に応じた電荷を蓄積する蓄積動作を行うようにした。そして、例えば、短い時間長を有する蓄積期間PSにおける画素ラインL1での蓄積結果に基づく複数の画素値と、他の蓄積期間PSにおける画素ラインL3での蓄積結果に基づく複数の画素値とを加算するとともに、例えば、長い時間長を有する蓄積期間PLにおける画素ラインL1での蓄積結果に基づく複数の画素値と、他の蓄積期間PLにおける画素ラインL3での蓄積結果に基づく複数の画素値とを加算することにより、画像データを生成するようにした。その結果、画質を高めることができる。
【0077】
本実施の形態では、時間軸上で隣り合う2つの蓄積期間の中心タイミングの間の時間長を一定にしたので、画質を高めることができる。
【0078】
[変形例1]
上記実施の形態では、短い時間長TSを有する蓄積期間PSおよび長い時間長TLを有する蓄積期間PLを交互に設定したが、これに限定されるものではなく、例えば、蓄積期間PSおよび蓄積期間PLを所定の順番で設定することができる。以下に、本変形例に係る撮像装置1Aについて詳細に説明する。撮像装置1Aは、本実施の形態に係る撮像装置1(図2)と同様に、露光制御部12Aと、TDI処理部15Aとを有する。
【0079】
図12は、撮像装置1Aにおける蓄積期間Pの一例を表すものである。図13は、撮像装置1AにおけるTDI処理の一例を表すものである。
【0080】
図12に示したように、露光制御部12Aは、同期信号SYNCに基づいて、蓄積期間PS、蓄積期間PS、蓄積期間PL、蓄積期間PLを、この順に繰り返し設定する。具体的には、露光制御部12Aは、例えば、タイミングt61に開始しタイミングt62に終了する蓄積期間PSを設定し、タイミングt63に開始しタイミングt64に終了する蓄積期間PSを設定し、タイミングt65に開始しタイミングt66に終了する蓄積期間PLを設定し、タイミングt67に開始しタイミングt68に終了する蓄積期間PLを設定する。この例でも、時間軸上で隣り合う蓄積期間Pの中心タイミングの間の時間長は、同期間隔Tfの時間に等しく一定である。
【0081】
図13において、実線で囲まれた画像P1,P2,P5,P6は、短い時間長TSを有する蓄積期間PSにおける蓄積結果に基づいて生成された画像であり、破線で囲まれた画像P3,P4,P7,P8は、長い時間長TLを有する露光時間PLにおける蓄積結果に基づいて得られた画像である。
【0082】
TDI処理部15Aは、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行う。この例では、TDI処理部15Aは、画像P1における最上流の画素ラインL1に係るライン画像、画像P2における2番目の画素ラインL2に係るライン画像、画像P5における5番目の画素ラインL5に係るライン画像、および画像P6における6番目の画素ラインL6に係るライン画像を、画素単位で加算することによりTDI処理100Sを行う。
【0083】
同様に、TDI処理部15Aは、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行う。この例では、TDI処理部15Aは、画像P3における3番目の画素ラインL3に係るライン画像、画像P4における4番目の画素ラインL4に係るライン画像、画像P7における7番目の画素ラインL7に係るライン画像、および画像P8における最下流の画素ラインL8に係るライン画像を、画素単位で加算することによりTDI処理100Lを行う。
【0084】
[変形例2]
上記実施の形態では、2つの蓄積期間PS,PLを交互に設定したが、これに限定されるものではなく、例えば、3つ以上の蓄積期間Pを所定の順番で設定してもよい。以下に、本変形例に係る撮像装置1Bについて詳細に説明する。撮像装置1Bは、本実施の形態に係る撮像装置1(図2)と同様に、画素アレイ11Bと、露光制御部12Bと、TDI処理部15Bとを有する。画素アレイ11Bにおける複数の受光画素PIXは、この例では6つの画素ラインLに区分される。
【0085】
図14は、撮像装置1Bにおける蓄積期間Pの一例を表すものである。図15は、撮像装置1BにおけるTDI処理の一例を表すものである。
【0086】
図14に示したように、露光制御部12Aは、同期信号SYNCに基づいて、短い時間長TSを有する蓄積期間PS、中程度の時間長TMを有する蓄積期間PM、長い時間長TLを有する蓄積期間PLを、この順に繰り返し設定する。この例でも、時間軸上で隣り合う蓄積期間Pの中心タイミングの間の時間長は、同期間隔Tfの時間に等しく一定である。
【0087】
図15において、実線で囲まれた画像P1,P4は、短い時間長TSを有する蓄積期間PSにおける蓄積結果に基づいて生成された画像であり、長い破線で囲まれた画像P2,P5は、中程度の時間長TMを有する露光時間PMにおける蓄積結果に基づいて得られた画像であり、短い破線で囲まれた画像P3,P6は、長い時間長TLを有する蓄積期間PLにおける蓄積結果に基づいて生成された像である。
【0088】
TDI処理部15Bは、蓄積期間PSにおける蓄積結果に基づく画素値を用いてTDI処理100Sを行う。この例では、TDI処理部15Bは、画像P1における最上流の画素ラインL1に係るライン画像、および画像P4における4番目の画素ラインL4に係るライン画像を、画素単位で加算することによりTDI処理100Sを行う。
【0089】
同様に、TDI処理部15Bは、蓄積期間PMにおける蓄積結果に基づく画素値を用いてTDI処理100Mを行う。この例では、TDI処理部15Bは、画像P2における2番目の画素ラインL2に係るライン画像、および画像P5における5番目の画素ラインL5に係るライン画像を、画素単位で加算することによりTDI処理100Mを行う。
【0090】
同様に、TDI処理部15Bは、蓄積期間PLにおける蓄積結果に基づく画素値を用いてTDI処理100Lを行う。この例では、TDI処理部15Bは、画像P3における3番目の画素ラインL3に係るライン画像、および画像P6における6番目の画素ラインL6に係るライン画像を、画素単位で加算することによりTDI処理100Lを行う。
【0091】
[変形例3]
上記実施の形態では、受光画素PIXが、蓄積動作およびAD変換動作を行うようにしたが、これに限定されるものではない。これに代えて、例えば、AD変換動作を行う回路を受光画素とは別に設けてもよい。以下に、本変形例に係る撮像装置1Cについて詳細に説明する。
【0092】
図16は、撮像装置1Cの一構成例を表すものである。撮像装置1Cは、画素アレイ11Cと、露光制御部12Cと、画素制御部13Cと、GS(Global Shutter)メモリ14Cと、AD変換部18Cとを有している。
【0093】
画素アレイ11Cは、マトリクス状に配置された複数の受光画素PIXCを有している。複数の受光画素PIXCのそれぞれは、蓄積期間Pにおいて受光量に応じた電荷を蓄積する蓄積動作を行う。すなわち、上記実施の形態に係る受光画素PIXは、蓄積動作およびAD変換動作を行うようにしたが、本変形例に係る受光画素PIXCは、蓄積動作のみを行う。複数の受光画素PIXにおける蓄積動作は、画素制御部13Cからの指示に基づいて行われるようになっている。
【0094】
露光制御部12Cは、搬送制御部92(図1)から供給された同期信号SYNCに基づいて、画素アレイ11Cにおける蓄積動作を制御するように構成される。具体的には、露光制御部12Cは、同期信号SYNCに基づいて、長い時間長TLを有する蓄積期間PLおよび短い時間長TSを有する蓄積期間PSを、時分割的に交互に設定する。そして、露光制御部12Cは、蓄積期間Pの開始タイミングを指示する露光開始信号SSTおよび蓄積期間Pの終了タイミングを指示する露光終了信号SEDを生成し、これらの信号を画素制御部13Cに供給する。また、露光制御部12Cは、蓄積時間PLにおける蓄積結果に対する処理、および蓄積時間PSにおける蓄積結果に対する処理のうちのどちらを行うべきかを指示する露光種別信号EXを生成し、この露光種別信号EXをTDI処理部15に供給するようになっている。
【0095】
画素制御部13Cは、露光制御部12Cから供給された露光開始信号SSTおよび露光終了信号SEDに基づいて、画素アレイ11Cにおける複数の受光画素PIXCを駆動することにより蓄積動作を制御するように構成される。また、画素制御部13Cは、蓄積動作が終了した後、複数の受光画素PIXCにおいて蓄積された電荷をGSメモリ14Cに転送する動作を制御する機能をも有している。
【0096】
GSメモリ14Cは、アナログメモリであり、画素アレイ11Cの近傍に設けられ、画素アレイ11Cにおける複数の受光画素PIXから供給された電荷を一時的に記憶するように構成される。
【0097】
AD変換部18Cは、GSメモリ14Cから読み出された、1ライン分の電荷に基づいてAD変換を行うことにより、1ライン分の複数の画素値を生成するように構成される。ここで、AD変換部18Cは、本開示における「AD変換部」の一具体例に対応する。
【0098】
[変形例4]
上記実施の形態では、撮像装置1が、TDI処理100Lにより生成された画像DLおよびTDI処理100Sにより生成された画像DSを含む画像データDTを出力し、撮像装置1とは別に設けられたHDR処理部94が、この画像データDTに基づいてHDR処理を行うようにしたが、これに限定されるものではない。これに代えて、例えば、図17に示す撮像装置1Dのように、撮像装置1DにHDR処理部19Dを設け、HDR処理部19Dが、画像データDTに基づいてHDR処理を行い、HDR処理により生成された画像データDT2を出力してもよい。
【0099】
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
【0100】
以上、実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
【0101】
例えば、上記の実施の形態では、画素アレイ11に8つの画素ラインLを設けたが、これに限定されるものではなく、これに代えて、例えば、7つ以下の複数の画素ラインLを設けてもよいし、9つ以上の画素ラインLを設けてもよい。
【0102】
例えば、上記の実施の形態では、撮像装置1は、同期信号SYNCに基づいて、撮像面Sにおいて被写体9の像が1つの画素ラインLだけ進行する度に撮像動作を行うようにしたが、これに限定されるものではない。これに代えて、例えば、撮像装置は、撮像面Sにおいて被写体9の像が2以上の画素ラインLだけ進行する度に撮像動作を行うようにしてもよい。
【0103】
例えば、上記の実施の形態では、図1に示したように、搬送制御部92が同期信号SYNCを生成し、撮像装置1がこの同期信号SYNCに基づいて撮像動作を行うようにしたが、これに限定されるものではない。これに代えて、例えば、撮像装置が同期信号SYNCを生成するとともにこの同期信号SYNCに基づいて撮像動作を行い、搬送制御部がこの同期信号SYNCに基づいてベルトコンベア91の搬送動作を制御してもよい。
【0104】
例えば、上記の実施の形態では、図1に示したように、撮像装置1を固定し、被写体9を移動させるようにしたが、これに限定されるものではなく、これに代えて、例えば、被写体9を固定し、撮像装置1を移動させるようにしてもよい。
【0105】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0106】
なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、画質を高めることができる。
【0107】
(1)第1の方向に並設された第1の画素ラインおよび第2の画素ラインを含む複数の画素ラインに区分され、蓄積期間において受光量に応じた電荷を蓄積する複数の受光画素を有する画素アレイと、
前記複数の受光画素における前記蓄積期間の時間長を、第1の時間長および第2の時間長を含む複数の時間長のうちの1つに、所定の順番で繰り返すように設定する露光制御部と、
前記複数の受光画素における蓄積結果に基づいて画像データを生成する処理部と
を備え、
前記蓄積期間は、前記第1の時間長を有する第1の蓄積期間および第2の蓄積期間と、前記第2の時間長を有する第3の蓄積期間および第4の蓄積期間と含み、
前記処理部は、前記第1の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第2の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算するとともに、前記第3の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第4の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算することにより、前記画像データを生成する
撮像装置。
(2)隣り合う2つの前記蓄積期間における中心タイミングの間の時間長は一定である
前記(1)に記載の撮像装置。
(3)前記露光制御部は、所定の期間が経過する度に、前記蓄積期間の時間長を変更し、
前記第1の蓄積期間の中心タイミングと前記第3の蓄積期間の中心タイミングとのタイミング差は、前記所定の期間の時間長である
前記(1)または(2)に記載の撮像装置。
(4)前記露光制御部は、外部から供給された同期信号に基づいて、前記蓄積期間の前記時間長を設定する
前記(3)に記載の撮像装置。
(5)前記同期信号は、第1のパルスおよび第2のパルスを含む複数のパルスを有し、
前記露光制御部は、
前記第1のパルスに基づいて、前記第1の蓄積期間の開始タイミングおよび前記第1の蓄積期間の終了タイミングを設定し、
前記第2のパルスに基づいて、前記第3の蓄積期間の開始タイミングおよび前記第3の蓄積期間の終了タイミングを設定する
前記(4)に記載の撮像装置。
(6)前記処理部は、
前記第1の時間長に対応づけられた第1の記憶部と、
前記第2の時間長に対応付けられた第2の記憶部と
を有し、
前記第1の記憶部を用いて、前記第1の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第2の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算し、
前記第2の記憶部を用いて、前記第3の蓄積期間における前記第1の画素ラインでの蓄積結果に基づく複数の画素値と、前記第4の蓄積期間における前記第2の画素ラインでの蓄積結果に基づく複数の画素値とを加算する
前記(1)から(5)のいずれかに記載の撮像装置。
(7)前記画像データは、前記第1の時間長を有する前記蓄積期間での蓄積結果に基づく第1の画像データと、前記第2の時間長を有する前記蓄積期間での蓄積結果に基づく第2の画像データとを含む
前記(1)から(6)のいずれかに記載の撮像装置。
(8)前記複数の受光画素のそれぞれは、前記蓄積期間において蓄積された電荷に応じたアナログ信号を、デジタル値である前記画素値に変換する
前記(1)から(7)のいずれかに記載の撮像装置。
(9)前記複数の受光画素のそれぞれは、前記蓄積期間において受光量に応じた電荷を蓄積し、その後の所定の期間に、前記蓄積期間において蓄積された電荷に応じたアナログ信号を、デジタル値である前記画素値に変換する
前記(8)に記載の撮像装置。
(10)前記複数の受光画素のそれぞれにおいて蓄積された電荷に応じたアナログ信号を、デジタル値である前記画素値に変換するAD変換部をさらに備えた
前記(1)から(7)のいずれかに記載の撮像装置。
(11)前記露光制御部は、前記画素アレイの撮像面において被写体の像が前記第1の方向に所定数の画素ラインだけ進行する度に前記蓄積期間を設定する
前記(1)から(10)のいずれかに記載の撮像装置。
【0108】
本出願は、日本国特許庁において2020年6月23日に出願された日本特許出願番号2020-108113号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【0109】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
図1
図2
図3
図4A
図4B
図5
図6A
図6B
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17