(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024029354
(43)【公開日】2024-03-06
(54)【発明の名称】撮像システムおよび撮像方法
(51)【国際特許分類】
H04N 23/72 20230101AFI20240228BHJP
H04N 25/44 20230101ALI20240228BHJP
H04N 23/56 20230101ALI20240228BHJP
【FI】
H04N5/235 200
H04N5/345
H04N5/225 600
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022131560
(22)【出願日】2022-08-22
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100112874
【弁理士】
【氏名又は名称】渡邊 薫
(72)【発明者】
【氏名】豊島 良彦
(72)【発明者】
【氏名】岡 巧
(72)【発明者】
【氏名】石毛 正裕
(72)【発明者】
【氏名】小椋 祐治
(72)【発明者】
【氏名】宮澤 彰宏
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024AX02
5C024CY06
5C024GY31
5C024JX08
5C024JX42
5C122DA11
5C122EA01
5C122FA11
5C122FC02
5C122FC06
5C122FC11
5C122FF11
5C122FF15
5C122FF22
5C122FH01
5C122FH10
5C122FH14
5C122GG03
5C122GG07
5C122GG10
5C122GG12
5C122GG28
5C122HA75
5C122HB01
(57)【要約】
【課題】光害を抑制すること。
【解決手段】道路上の目標物に光を照射する照射部と、前記照射部が光を照射する前記目標物の位置を測定する測定部と、前記目標物を撮像する撮像部と、演算部と、を備えており、前記演算部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、前記照射部の照射条件、前記撮像部の露光条件、前記撮像部において生成されたアナログ信号に対して乗じられるゲイン、もしくは前記撮像部において生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算する、撮像システムを提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
道路上の目標物に光を照射する照射部と、
前記照射部が光を照射する前記目標物の位置を測定する測定部と、
前記目標物を撮像する撮像部と、
演算部と、を備えており、
前記演算部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、前記照射部の照射条件、前記撮像部の露光条件、前記撮像部において生成されたアナログ信号に対して乗じられるゲイン、もしくは前記撮像部において生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算する、撮像システム。
【請求項2】
前記目標物が、道路上を移動するものである、
請求項1に記載の撮像システム。
【請求項3】
前記目標物が、車のナンバープレート、車体、車に乗る者、もしくは歩行者、またはこれらの組み合わせである、
請求項2に記載の撮像システム。
【請求項4】
前記照射条件には、照射する光の光軸方向もしくは光量またはその両方が含まれる、
請求項1に記載の撮像システム。
【請求項5】
前記照射条件に含まれる光量と、目標物の移動速度と、が比例して、
前記光量と、前記露光条件に含まれる露光時間と、が反比例する
請求項1に記載の撮像システム。
【請求項6】
前記照射部は、設置される位置もしくは向きまたはその両方が変化する、
請求項1に記載の撮像システム。
【請求項7】
設置される位置もしくは向きまたはその両方が異なる複数の前記照射部を備えている、
請求項1に記載の撮像システム。
【請求項8】
前記照射部は、前記光軸方向を変化させる、
請求項4に記載の撮像システム。
【請求項9】
前記光軸方向を変化させる反射部をさらに備えている、
請求項4に記載の撮像システム。
【請求項10】
前記撮像部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、設置される位置もしくは向きまたはその両方が変化する、
請求項1に記載の撮像システム。
【請求項11】
前記照射部の照射範囲が、前記撮像部の撮像範囲より小さい、
請求項1に記載の撮像システム。
【請求項12】
前記照射部の照射範囲が、照射される前記目標物の全体より小さい、
請求項1に記載の撮像システム。
【請求項13】
前記ゲインを調整する画像加工部をさらに備えている、
請求項1に記載の撮像システム。
【請求項14】
前記目標物の周囲の明るさを検知する検知部をさらに備えている、
請求項1に記載の撮像システム。
【請求項15】
前記測定部が、超音波センサ、撮像デバイス、レーダ、LiDARユニットのうち少なくとも1つを有している、
請求項1に記載の撮像システム。
【請求項16】
前記撮像部が、撮像素子を備えており、
前記撮像素子が、
受光素子を含む画素が配置されて成る画素アレイ部と、
前記画素アレイ部内の全画素の信号を第1フレームレートで読み出す制御を行う第1画素制御部と、
画素アレイ部内の特定の領域の画素の信号を第1フレームレートよりも高い第2フレームレートで読み出す制御を行う第2画素制御部と、を有しており、
前記第1画素制御部が制御を行うことと、
前記照射部が前記特定の領域に光を照射することと、
前記第2画素制御部が制御を行うことと、をこの順に行う、
請求項1に記載の撮像システム。
【請求項17】
前記撮像素子が、撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
請求項16に記載の撮像システム。
【請求項18】
前記関心領域検出部が、撮像画像内の動きがある領域を関心領域として検出する、
請求項17に記載の撮像システム。
【請求項19】
前記全画素の信号が、赤外画像であり、
前記特定の領域の画素の信号が、モノクロ画像またはカラー画像である、
請求項16に記載の撮像システム。
【請求項20】
道路上の目標物に光を照射することと、
光が照射される前記目標物の位置を測定することと、
前記目標物を撮像することと、
前記目標物の位置もしくは移動速度またはその両方に基づいて、照射する照射条件、撮像する露光条件、撮像により生成されたアナログ信号に対して乗じられるゲイン、もしくは撮像により生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算することと、を含んでいる、撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、撮像システムおよび撮像方法に関する。
【背景技術】
【0002】
従来、道路上を走行する車両のナンバープレートを撮像する技術が用いられている。
【0003】
たとえば特許文献1では、カラー画像とハイライトグレースケール画像を取得することにより、ナンバープレートの認識精度を向上する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】中国特許出願公開第112133101号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
たとえば夜間などでは、ナンバープレートを認識するために、車両などに対して光を照射する必要がある。しかし、この光が景観や周辺環境への光害になるおそれがある。
【0006】
そこで、本技術は、光害を抑制する撮像システムおよび撮像方法を提供することを主目的とする。
【課題を解決するための手段】
【0007】
本技術は、道路上の目標物に光を照射する照射部と、前記照射部が光を照射する前記目標物の位置を測定する測定部と、前記目標物を撮像する撮像部と、演算部と、を備えており、前記演算部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、前記照射部の照射条件、前記撮像部の露光条件、前記撮像部において生成されたアナログ信号に対して乗じられるゲイン、もしくは前記撮像部において生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算する、撮像システムを提供する。
前記目標物が、道路上を移動するものであってよい。
前記目標物が、車のナンバープレート、車体、車に乗る者、もしくは歩行者、またはこれらの組み合わせであってよい。
前記照射条件には、照射する光の光軸方向もしくは光量またはその両方が含まれてよい。
前記照射条件に含まれる光量と、目標物の移動速度と、が比例して、前記光量と、前記露光条件に含まれる露光時間と、が反比例してよい。
前記照射部は、設置される位置もしくは向きまたはその両方が変化してよい。
前記撮像システムは、設置される位置もしくは向きまたはその両方が異なる複数の前記照射部を備えていてよい。
前記照射部は、前記光軸方向を変化させてよい。
前記光軸方向を変化させる反射部をさらに備えていてよい。
前記撮像部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、設置される位置もしくは向きまたはその両方が変化してよい。
前記照射部の照射範囲が、前記撮像部の撮像範囲より小さくてよい。
前記照射部の照射範囲が、照射される前記目標物の全体より小さくてよい。
前記撮像システムは、前記ゲインを調整する画像加工部をさらに備えていてよい。
前記撮像システムは、前記目標物の周囲の明るさを検知する検知部をさらに備えていてよい。
前記測定部が、超音波センサ、撮像デバイス、レーダ、LiDARユニットのうち少なくとも1つを有していてよい。
前記撮像部が、撮像素子を備えており、前記撮像素子が、受光素子を含む画素が配置されて成る画素アレイ部と、前記画素アレイ部内の全画素の信号を第1フレームレートで読み出す制御を行う第1画素制御部と、画素アレイ部内の特定の領域の画素の信号を第1フレームレートよりも高い第2フレームレートで読み出す制御を行う第2画素制御部と、を有しており、前記第1画素制御部が制御を行うことと、前記照射部が前記特定の領域に光を照射することと、前記第2画素制御部が制御を行うことと、をこの順に行ってよい。
前記撮像素子が、撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有してよい。
前記関心領域検出部が、撮像画像内の動きがある領域を関心領域として検出してよい。
前記全画素の信号が、赤外画像であり、前記特定の領域の画素の信号が、モノクロ画像またはカラー画像であってよい。
また、本技術は、道路上の目標物に光を照射することと、光が照射される前記目標物の位置を測定することと、前記目標物を撮像することと、前記目標物の位置もしくは移動速度またはその両方に基づいて、照射する照射条件、撮像する露光条件、撮像により生成されたアナログ信号に対して乗じられるゲイン、もしくは撮像により生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算することと、を含んでいる、撮像方法を提供する。
【0008】
本技術によれば、光害を抑制する撮像システムおよび撮像方法を提供できる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0009】
【
図1】本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
【
図2】本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
【
図3】本技術の一実施形態に係る演算部114の処理の一例を示すフローチャートである。
【
図4】本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【
図5】本技術の一実施形態に係る撮像部100が撮像した画像の一例を示す図である。
【
図6】本技術の一実施形態に係る撮像部100のアドレス制御の一例を示す模式図である。
【
図7】本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【
図8】本開示の実施形態に係る撮像素子のシステム構成例を示す模式図である。
【
図9】本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
【
図10】本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
【
図11】本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【
図12】本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
【
図13】本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
【
図14】本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【
図15】本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
【
図16】本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【
図17】本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
【
図18】本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
【
図19】本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
【
図20】本技術の一実施形態に係る撮像方法の一例を示すフローチャートである。
【
図21】本技術の比較例に係る撮像システムの構成例を示す模式図である。
【発明を実施するための形態】
【0010】
以下、本技術を実施するための好適な実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が限定されることはない。また、本技術は、下記の実施例およびその変形例のいずれかを組み合わせることができる。
【0011】
以下の実施形態の説明において、略平行、略直交のような「略」を伴った用語で構成を説明することがある。たとえば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、完全に平行な状態からたとえば数%程度ずれた状態を含むことも意味する。他の「略」を伴った用語についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【0012】
特に断りがない限り、図面において、「上」とは図中の上方向または上側を意味し、「下」とは、図中の下方向または下側を意味し、「左」とは図中の左方向または左側を意味し、「右」とは図中の右方向または右側を意味する。また、図面については、同一または同等の要素または部材には同一の符号を付し、重複する説明は省略する。
【0013】
説明は以下の順序で行う。
1.第1の実施形態(撮像システムの例1)
(1)概要
(2)照射部
(3)測定部
(4)演算部
(5)撮像部
2.第2の実施形態(撮像システムの例2)
3.第3の実施形態(撮像システムの例3)
4.第4の実施形態(撮像システムの例4)
5.第5の実施形態(撮像システムの例5)
6.第6の実施形態(撮像システムの例6)
7.第7の実施形態(撮像方法の例7)
【0014】
[1.第1の実施形態(撮像システムの例1)]
[(1)概要]
従来、道路上を走行する車両のナンバープレートを撮像する技術が用いられている。
図21は、本技術の比較例に係る撮像システムの構成例を示す模式図である。
図21に示されるとおり、たとえば夜間などでは、ナンバープレートを認識するために、車両などの目標物Tに対して照射部200が光を照射している。道路上を走行する複数の車両が一度に照射される程度に、光量および照射範囲が大きい傾向にある。
【0015】
しかし、この光が景観や周辺環境への光害になるおそれがある。そのため、この光の光量および照射範囲は可能な限り小さいことが好ましい。
【0016】
そこで、本技術は、道路上の目標物に光を照射する照射部と、前記照射部が光を照射する前記目標物の位置を測定する測定部と、前記目標物を撮像する撮像部と、演算部と、を備えており、前記演算部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、前記照射部の照射条件、前記撮像部の露光条件、前記撮像部において生成されたアナログ信号に対して乗じられるゲイン、もしくは前記撮像部において生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算する、撮像システムを提供する。
【0017】
本技術の一実施形態に係る撮像システムについて
図1および
図2を参照しつつ説明する。
図1は、本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
図2は、
図1に示される本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
図1および
図2に示されるとおり、撮像システム1000は、照射部200と、撮像部100と、測定部(
図1においては撮像部100に内蔵されているため図示省略)と、演算部114(
図1においては撮像部100に内蔵されているため図示省略)と、を備えている。
【0018】
照射部200は、道路上の目標物Tに光を照射する。測定部は、照射部200が光を照射する目標物Tの位置を測定する。撮像部100は、目標物を撮像する。なお、この構成例では、測定部と撮像部100が一体となって構成されているが、測定部と撮像部100が分離して構成されていてもよい。
【0019】
なお、
図1において、撮像部100および照射部200は目標物Tの上側に配置されているが、撮像部100および照射部200が配置される位置は特に限定されない。撮像部100および照射部200は、たとえば目標物Tの側面部に配置されてもよい。
【0020】
[(2)照射部]
図1に示されるとおり、照射部200は、道路上の目標物Tに光を照射する。目標物Tは、道路上を移動するものである。具体的には、目標物Tが、車のナンバープレート、車体、車に乗る者、もしくは歩行者、またはこれらの組み合わせであってよい。
【0021】
照射部200の照射範囲が、撮像部100の撮像範囲Aより小さいことが好ましい。さらには、照射部200の照射範囲が、照射される目標物Tの全体より小さいことが好ましい。これにより、光害が抑制できる。
【0022】
照射部200は、設置される位置もしくは向きまたはその両方が変化する。たとえば、撮像システム1000は、設置される位置もしくは向きまたはその両方が異なる複数の照射部200を備えることができる。この実施形態では、撮像システム1000は、3つの照射部200として第1照射部201、第2照射部202、および第3照射部203を備えている。駆動部204は、第1照射部201、第2照射部202、および第3照射部203のそれぞれのオンオフ、光量の調整、および照射範囲などを制御する。なお、照射部200の数は3つに限定されない。
【0023】
第1照射部201は、照射部200に近い第1位置P1を移動する目標物Tに光を照射する。第2照射部202は、第1位置P1よりも照射部200から遠い第2位置P2を移動する目標物Tに光を照射する。第3照射部203は、第2位置P2よりも照射部200から遠い第3位置P3を移動する目標物Tに光を照射する。
図1に示される例では第2位置P2には目標物Tが存在していないため、第2照射部202は光を照射しなくてよい。これにより、光害を抑制できる。
【0024】
[(3)測定部]
測定部400は、照射部200が光を照射する目標物Tの位置を測定する。測定部400は、たとえば、超音波センサ、撮像デバイス、レーダ、LiDARユニットのうち少なくとも1つを有していてよい。
【0025】
撮像デバイスは、たとえば2つ以上の画像をキャプチャすることにより、画像のずれに基づいて目標物Tの位置を測定する。撮像デバイスは、たとえばステレオカメラなどでありうる。
【0026】
測定部400が有するその他の例としては、赤外線センサ、電波ベースの対象検出センサ、レーザベースの対象検出センサ、車両速度センサ、走行距離センサ、ヨーレートセンサ、スピードメータ、全地球測位(GPS)、ステアリング角度検出センサ、車両移動方向検出センサ、磁力計および/またはタッチセンサなどを含むことができるが、これらに限定されない。
【0027】
[(4)演算部]
演算部114は、目標物Tの位置もしくは移動速度またはその両方に基づいて、照射部200の照射条件、撮像部100の露光条件、撮像部100において生成されたアナログ信号に対して乗じられるゲイン、もしくは撮像部100において生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算することができる。演算部114は、たとえばISP(Image Signal Processor)、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などで構成されてよい。なお、この構成例では撮像部100が演算部114を内蔵しているが、撮像部100および演算部114が分離して構成されていてもよい。
【0028】
この演算について
図3を参照しつつ説明する。
図3は、本技術の一実施形態に係る演算部114の処理の一例を示すフローチャートである。
【0029】
図3に示されるとおり、まず、ステップS11において、演算部114は、目標物Tに関する情報を取得する。具体的には、演算部114は、目標物Tの位置もしくは移動速度またはその両方を取得する。より具体的には、演算部114は、測定部400が測定した目標物Tの位置を取得する。演算部114は、2つの地点における目標物Tの位置および測定時間に基づいて、目標物Tの移動情報を取得することもできる。
【0030】
次に、ステップS12において、演算部114は、照射部200の照射条件を演算する。この照射条件には、照射する光の光軸方向もしくは光量またはその両方が含まれる。
【0031】
次に、ステップS13において、演算部114は、撮像部100の露光条件を演算する。照射条件に含まれる光量と、目標物Tの移動速度と、が比例することが好ましい。さらに、照射条件に含まれる光量と、露光条件に含まれる露光時間と、が反比例することが好ましい。たとえば目標物Tの移動速度が速いほど、照射部200が照射する光の光量が大きくなり、撮像部100の露光時間が短くなることが好ましい。これにより、残像の発生を抑制できる。その結果、目標物Tを明瞭に撮影できる。
【0032】
また、目標物Tの移動速度が遅いほど、照射部200が照射する光の光量が小さくなり、撮像部100の露光時間が長くなることが好ましい。これにより、目標物Tを明瞭に撮影でき、かつ、光害を抑制できる。
【0033】
照射条件および露光条件は、目標物T、目標物Tの周囲の明るさ、および目標物Tの位置などの撮影条件に応じて異なる。そのため、撮影条件に応じた照射条件および露光条件があらかじめ記録されていてよい。照射条件および露光条件は、たとえばメモリ115(
図2参照)などに記録されることができる。
【0034】
次に、ステップS14において、演算部114は、撮像部100において生成されたアナログ信号に対して乗じられるゲインを演算する。これにより、照射部200が照射する光の光量が小さくても、特定の画素を強調させることができる。その結果、目標物Tを明瞭に認識できる。
【0035】
次に、ステップS15において、演算部114は、撮像部100において生成されたデジタル信号に対して乗じられるゲインを演算する。これにより、照射部200が照射する光の光量が小さくても、特定の画素を強調させることができる。その結果、目標物Tを明瞭に認識できる。
【0036】
なお、演算部114は、ステップS12~S15のうち少なくとも1つのステップを行うことができる。また、演算部114は、ステップS12~S15のうち複数のステップを組み合わせることもできる。
【0037】
図1および
図2に示す構成例における撮像システム1000のより詳細な処理について
図4を参照しつつ説明する。
図4は、本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【0038】
図4に示されるとおり、まず、ステップS201において、演算部114は、目標物Tに関する情報を取得する。具体的には、演算部114は、目標物Tの位置もしくは移動速度またはその両方を取得する。より具体的には、演算部114は、測定部400が測定した目標物Tの位置を取得する。演算部114は、2つの地点における目標物Tの位置および測定時間に基づいて、目標物Tの移動情報を取得することもできる。
【0039】
次に、目標物Tが第3位置P3(
図1参照)を移動しているとき(ステップS202:P3)、ステップS203において、駆動部204は、第3照射部203をオンにする。同様に、目標物Tが第2位置P2を移動しているとき(ステップS202:P2)、ステップS204において、駆動部204は、第2照射部202をオンにする。目標物Tが第1位置P1を移動しているとき(ステップS202:P1)、ステップS205において、駆動部204は、第1照射部201をオンにする。
【0040】
次に、目標物Tの速度が高速であるとき(ステップS206:高速)、ステップS207において、演算部114は、オンになっている照射部の光量を大レベルにするように、駆動部204に指示する。次に、ステップS208において、演算部114は、露光時間を短くするように撮像素子10を制御する。
【0041】
同様に、目標物Tの速度が中速であるとき(ステップS206:中速)、ステップS209において、演算部114は、オンになっている照射部の光量を中レベルにするように、駆動部204に指示する。次に、ステップS210において、演算部114は、露光時間を中程度にするように撮像素子10を制御する。
【0042】
目標物Tの速度が低速であるとき(ステップS206:低速)、ステップS211において、演算部114は、オンになっている照射部の光量を小レベルにするように、駆動部204に指示する。次に、ステップS212において、演算部114は、露光時間を長くするように撮像素子10を制御する。
【0043】
次に、ステップS213において、撮像部100は、目標物Tを撮影する。
【0044】
次に、ステップS214において、撮像部100は、撮影した画像を出力する。
【0045】
電源がオフされるまで、撮像システム1000はステップS201~S214の処理を繰り返すことができる。
【0046】
演算部114が行う演算は、プログラムにより実現できる。演算部114は、このプログラムを読み込むことにより、演算する。
【0047】
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(たとえばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(たとえば光磁気ディスク)、Compact Disc Read Only Memory(CD-ROM)、CD-R、CD-R/W、半導体メモリ(たとえば、マスクROM、Programmable ROM(PROM)、Erasable PROM(EPROM)、フラッシュROM、Random Access Memory(RAM))を含む。また、上記プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、上記プログラムをコンピュータに供給できる。
【0048】
[(5)撮像部]
図2に示されるとおり、撮像部100は、撮像素子10を備えている。撮像素子10は、画素から読み出された信号に対してアナログ-デジタル変換を行うアナログ-デジタル変換器を1行分有する単一チップから成るチップ構造を有する。撮像素子の構成例については後述するが、本技術の一実施形態に係る撮像素子は、画素アレイ部内の全画素の信号を第1のフレームレートで読み出す制御を行う第1画素制御部、および、画素アレイ部内の特定の領域ROI(Region Of Interest:関心領域)の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う第2画素制御部を備えている。以下、第2画素制御部の第2のフレームレートについて、高フレームレートと記述する場合がある。
【0049】
画素アレイ部11内で複数の露光条件を設定することができる。画素アレイ部11は、第1位置P1、第2位置P2、および第3位置P3(
図1参照)の目標物Tを露光する。このとき、第1位置P1に対応する露光条件と、第2位置P2に対応する露光条件と、第3位置P3に対応する露光条件と、がそれぞれ異なっていてよい。たとえば第3位置P3は撮像部100から遠いため、撮像部100から見たとき、第3位置P3を移動する目標物Tの移動速度は遅い。そのため、第3位置P3に対応する画素アレイ部11内の領域113の露光時間は長くてよい。一方、第1位置P1は撮像部100から近いため、撮像部100から見たとき、第1位置P1を移動する目標物Tの移動速度は速い。そのため、第1位置P1に対応する画素アレイ部11内の領域111の露光時間は短くてよい。
【0050】
さらには、目標物Tに応じて最適な露光条件が設定されてもよい。たとえば、1台の車両に対して、第3位置P3では車体に最適な露光条件が設定され、第2位置P2ではナンバープレートに最適な露光条件が設定され、第1位置では車に乗る者に最適な露光条件が設定されてもよい。
【0051】
撮像部100の動作イメージについて
図5を参照しつつ説明する。
図5は、本技術の一実施形態に係る撮像部100が撮像した画像の一例を示す図である。
図5に示されるとおり、全体画角Aと、特定の領域ROIと、が示されている。さらに、目標物Tが示されている。目標物Tは、車のナンバープレート、車体、車に乗る者、もしくは歩行者、またはこれらの組み合わせであってよい。
【0052】
撮像部100が備える第1画素制御部は、全体画角Aの画素の信号を第1のフレームレートで読み出す制御を行う。第2画素制御部は、特定の領域ROI(Region Of Interest:関心領域)の画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う。
【0053】
撮像部100のアドレス制御について
図6を参照しつつ説明する。
図6は、本技術の一実施形態に係る撮像部100のアドレス制御の一例を示す模式図である。
図6では、水平方向(行方向/右方向)に時間を示し、垂直方向(列方向/下方向)に垂直アドレスを示している。
図6に示されるとおり、1つのフレームセットFSが、全体画角Aを撮像するフレームF1と、特定の領域ROIを撮像する複数のフレームF2と、から構成されている。本技術の一実施形態に係る撮像素子10は、全体画角Aを撮像するフレームF1を第1のフレームレートで読み出すとともに、特定の領域ROIを撮像する複数のフレームF2を第1のフレームレートよりも高い第2のフレームレートで読み出すことができる。
【0054】
このとき、第1画素制御部が制御を行うことと、照射部200が特定の領域ROIに光を照射することと、第2画素制御部が制御を行うことと、をこの順に行うことが好ましい。このことについて
図7を参照しつつ説明する。
図7は、本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【0055】
図7に示されるとおり、まず、ステップS21において、第1画素制御部が、画素アレイ部11内の全画素の信号を第1のフレームレートで読み出す制御を行う。この全画素の信号は、たとえば赤外画像であってよい。
【0056】
次に、ステップS22において、後述する関心領域検出部が、画像内容から撮像画像内の特定の領域を、関心領域(ROI)または着目領域として検出する。
【0057】
次に、ステップS23において、照射部200が、特定の領域ROIに光を照射する。
【0058】
次に、ステップS24において、第2画素制御部が、画素アレイ部内の特定の領域ROIの画素の信号を第1のフレームレートよりも高い第2のフレームレートで読み出す制御を行う。この特定の領域ROIの画素の信号は、たとえばモノクロ画像またはカラー画像であってよい。
【0059】
再び
図5を参照しつつ説明する。本技術によれば、照射部200の照射範囲FAが、撮像部100の撮像範囲Aより非常に小さくなっている。これにより、光害が抑制できる。照射部200の照射範囲FAが、目標物Tの全体より小さくてもよい。
【0060】
さらに、第2画素制御部が、特定の領域ROIの画素の信号を高フレームレートで読み出すことができる。これにより、小さい光量であっても、目標物Tを明瞭に撮像できる。
【0061】
上述したように、本技術の一実施形態に係る撮像素子は、複数の画素制御部(たとえば、第1画素制御部および第2画素制御部)を備えている。そのため、単一の画素アレイ部に対して複数の制御を行い、対応する領域の画素の信号を読み出すことができる。なお、第2画素制御部については、1つ備える構成であってもよいし、複数備える構成であってもよい。本技術の一実施形態に係る撮像素子は、複数の画素制御部による制御の下に、アナログ-デジタル変換を含めた読み出し制御を工夫することにより、回路リソースや電力の負担を抑えて、全画面画像出力と高フレームレートのROI画像出力とを実現する。ここで、「ROI画像出力」とは、特定の領域ROIの画像出力のことである。
【0062】
上述したように、本技術の一実施形態に係る撮像素子は、全画面画像出力と高フレームレートのROI画像出力だけにアナログ-デジタル変換を行う構成となっている。したがって、本技術によれば、低消費電力にて、全体画角Aの画素に対する読み出し駆動(すなわち、全画面画像の読み出し駆動)と、特定の領域ROIの画素に対する読み出し駆動(すなわち、ROI画像の読み出し駆動)とを実現することができる。この技術は、たとえば特許文献「特開2021-34786号公報」にて開示されている技術を利用して実現できる。
【0063】
撮像素子の構成例について
図8を参照しつつ説明する。
図8は、本開示の実施形態に係る撮像素子のシステム構成例を示す模式図である。
図8に示されるとおり、本実施形態に係る撮像素子10は、画素アレイ部11、および、当該画素アレイ部11の周辺に配置された周辺回路部を有する構成となっている。周辺回路部としては、たとえば、行選択部12、アナログ-デジタル変換部13、ラッチバッファ部14、水平関心領域切り出し部15、画像処理部16A,16B、出力インタフェース(I/F)部17、関心領域検出部18、第1画素制御部19A、および、第2画素制御部19Bなどが設けられている。
【0064】
画素アレイ部11には、光電変換部(受光素子)を含む画素20が行方向および列方向に、すなわち、行列状に2次元配置されている。ここで、行方向とは、画素行の各画素20の配列方向(いわゆる、水平方向)を示す。列方向とは、画素列の各画素20の配列方向(いわゆる、垂直方向)を示す。以下では、行方向を水平方向と記述し、列方向を垂直方向と記述する場合がある。画素20は、光電変換を行うことにより、受光した光量に応じた光電荷を生成し、蓄積する。
【0065】
画素アレイ部11において、行列状の画素配列に対し、画素行毎に画素駆動線311~31m(以下、総称して「画素駆動線31」と記述する場合がある)が行方向に沿って配線されている。また、画素列毎に垂直信号線321~32n(以下、総称して「垂直信号線32」と記述する場合がある)が列方向に沿って配線されている。画素駆動線31は、画素20から信号を読み出す際の駆動を行うための駆動信号を伝送する。画素駆動線31は1本に限られない。画素駆動線31の一端は、行選択部12の各行に対応した出力端に接続されている。
【0066】
以下に、画素アレイ部11の周辺回路部の各回路部、すなわち、行選択部12、アナログ-デジタル変換部13、ラッチバッファ部14、水平関心領域切り出し部15、画像処理部16A,16B、出力インタフェース部17、関心領域検出部18、第1画素制御部19A、および、第2画素制御部19Bについて説明する。
【0067】
行選択部12は、シフトレジスタやアドレスデコーダなどによって構成され、第1画素制御部19Aまたは第2画素制御部19Bによる制御の下に、画素アレイ部11の各画素20を行単位などで駆動する。画素アレイ部11の各画素20が、行選択部12によって画素行単位で選択されることにより、選択された画素行の各画素20から信号(すなわち、画素信号)が読み出される。
【0068】
行選択部12によって選択走査された画素行の各画素20には、画素列毎に垂直信号線321~32nの各々に接続されたMOS型電界効果トランジスタから成る電流源(図示省略)から、垂直信号線321~32nの各々を通してバイアス電流が供給される。画素アレイ部11の各画素20から画素行単位で読み出される画素信号は、垂直信号線321~32nの各々を通してアナログ-デジタル変換部13に供給される。
【0069】
アナログ-デジタル変換部13は、垂直信号線321~32nの各々に対応して設けられた複数のアナログ-デジタル変換器(ADC)131の集合から成り、画素列毎に画素行単位で出力されるアナログの画素信号をデジタル信号に変換する。すなわち、アナログ-デジタル変換部13は、アナログ-デジタル変換器131が画素列に対応して並列に複数配置されて成る列並列型のアナログ-デジタル変換部である。
【0070】
アナログ-デジタル変換器131としては、周知のアナログ-デジタル変換器を用いることができる。具体的には、アナログ-デジタル変換器131として、参照信号比較型のアナログ-デジタル変換器の一例であるシングルスロープ型アナログ-デジタル変換器、逐次比較型アナログ-デジタル変換器、または、デルタ-シグマ変調型(ΔΣ変調型)アナログ-デジタル変換器を例示することができる。ただし、アナログ-デジタル変換器は、これらに限定されるものではない。
【0071】
アナログ-デジタル変換部13において、アナログ-デジタル変換器131は、画素列に対して1対1の関係で、すなわち、画素列毎に配置する構成とすることもできるし、複数の画素列に対してアナログ-デジタル変換器を1つ配置する構成とすることもできる。
【0072】
ラッチバッファ部14は、アナログ-デジタル変換器131の後段に配されている。ラッチバッファ部14は、垂直信号線321~32nの各々に対応して設けられた複数のラッチ回路141の集合から成り、画素アレイ部11の各画素20からの画素信号の読み出し期間、アナログ-デジタル変換後の画素データをラッチする。
【0073】
ラッチバッファ部14の各ラッチ回路141にラッチされた1行分の画素データは、画像処理部16Aに供給され、当該画像処理部16Aで所定の画像処理が行われた後、出力インタフェース部17を通して全画面画像出力として導出される。ラッチバッファ部14から出力される画素データは、さらに、水平関心領域切り出し部15および関心領域検出部18に直接供給される。
【0074】
関心領域検出部18は、ラッチバッファ部14から出力される画素データを基に、画像内容から撮像画像内の特定の領域を、関心領域(ROI)または着目領域として検出する。関心領域検出部18は、例えば、周知の動き検出の技術を用いることによって、撮像画像内の動きがある領域を関心領域(着目領域)として検出することができる。ただし、関心領域を検出する技術としては、動き検出の技術に限られるものではない。
【0075】
動き検出の技術を用いる場合、少なくとも1撮像フレーム前の画像情報を保持しておく必要がある。そのため、関心領域検出部18は、少なくとも1撮像フレーム分の画像情報を記憶する画像メモリを内蔵することになる。関心領域検出部18は、現在の撮像フレームの画像情報と、画像メモリに保持した少なくとも1撮像フレーム前の画像情報との比較結果を基に、撮像画像内の動きがある領域を関心領域として検出し、その関心領域情報を第2画素制御部19Bに与える。動き検出の技術を用いる関心領域検出部18の詳細については後述する。
【0076】
水平関心領域切り出し部15は、関心領域検出部18の検出結果を基に、
図1に示すROI部分のように、1行分の画素データについて、水平方向(行方向)における関心領域の切り出しを行う。このように、水平方向の切り出しを行う構成をとることにより、データ量を削減することができる。水平関心領域切り出し部15において、水平方向の切り出しが行われた画素データは、画像処理部16Aで所定の画像処理が行われた後、出力インタフェース部17を通してROI画像出力として導出される。
【0077】
尚、水平方向の切り出しについては、ラッチバッファ部14の後段に配された水平関心領域切り出し部15によって実行する他、ラッチバッファ部14からデータを読み出す際にROI部分のデータだけを読み出すようにすることもできる。また、撮像素子10の利用目的によっては、水平方向の切り出しを省略するようにしてもよい。
【0078】
第1画素制御部19Aは、各種のタイミング信号、クロック信号、および、制御信号等を基に、画素アレイ部11内の全画素20の信号を第1のフレームレートで読み出す制御を行う。第2画素制御部19Bは、関心領域検出部18の検出結果である関心領域情報に基づいて画素行を選択し、画素アレイ部11内の特定の領域ROIを含む画素行の各画素20の信号を、第1のフレームレートよりも高い第2のフレームレート(すなわち、高フレームレート)で読み出す制御を行う。
【0079】
上記の構成の撮像素子10では、レンズ(図示省略)を通したイメージ画像を得ることができる。そして、行選択部12による駆動の下に、画素アレイ部11内の各画素20の信号を1画素行毎に読み出し、アナログ-デジタル変換部13でアナログ-デジタル変換し、ラッチバッファ部14の各ラッチ回路141でラッチし、順に出力することで、1画面の画像を得ることができる。
【0080】
画素信号を読み出す画素行にはアドレスが存在し、回路上では、図の下方から上方に向かってインクリメントする行アドレスとする。一般的に、上記のレンズとしてケプラー式のレンズが用いられ、画像は鏡像になる。従って、鏡像となることを前提とすると、回路上の下方は画像上では上方に位置し、画像上では、上方から下方に向かって行アドレスをインクリメントすることになる。
【0081】
以上説明した本実施形態に係る撮像素子10は、画素制御部として、画素アレイ部11内の全画素20の信号を第1のフレームレートで読み出す制御を行う第1画素制御部19A、および、画素アレイ部11内の特定の領域ROIの画素20の信号を第2のフレームレートで読み出す制御を行う第2画素制御部19Bの複数搭載することが特徴である。
【0082】
本実施形態に係る撮像素子10では、第1画素制御部19Aおよび第2画素制御部19Bの他に、水平関心領域切り出し部15および関心領域検出部18が、一般的な撮像素子(例えば、CMOSイメージセンサ)からの追加回路になる。これらの追加回路については、ロジック回路として搭載することになるために、プロセスの微細化の恩恵を受け、小さな回路規模の差分に留めることができる。
【0083】
上記の構成の撮像素子10において、単一チップから成るチップ構造としては、所謂、平置構造とすることもできるし、所謂、積層構造とすることもできる。
【0084】
ここで、平置構造とは、画素アレイ部11の周辺回路部を、画素アレイ部11と同じ半導体基板(半導体チップ)に形成したチップ構造である。すなわち、平置構造では、行選択部12、アナログ-デジタル変換部13、ラッチバッファ部14、水平関心領域切り出し部15、画像処理部16A,16B、出力インタフェース部17、関心領域検出部18、第1画素制御部19A、および、第2画素制御部19Bを、画素アレイ部11と同じ半導体基板に形成することになる。
【0085】
また、積層構造とは、画素アレイ部11が形成された半導体基板とは異なる少なくとも1枚の半導体基板に、画素アレイ部11の周辺回路部を形成したチップ構造である。この積層構造の撮像素子10によれば、1層目の半導体基板として画素アレイ部11を形成できるだけの大きさ(面積)のもので済むため、1層目の半導体基板のサイズ(面積)、ひいては、チップ全体のサイズを小さくできる。更に、1層目の半導体基板には画素20の作製に適したプロセスを適用でき、他の半導体基板には回路部分の作製に適したプロセスを適用できるため、撮像素子10の製造に当たって、プロセスの最適化を図ることができるメリットもある。
【0086】
本技術の第1の実施形態に係る撮像システムについて説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0087】
[2.第2の実施形態(撮像システムの例2)]
照射部200は、設置される位置もしくは向きまたはその両方が変化する。たとえば、照射部200は、光軸方向を変化させることができる。このことについて
図9および
図10を参照しつつ説明する。
図9は、本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
図9に示されるとおり、照射部200は、光軸方向を変化させることができる。これにより、照射部200は、移動する目標物Tのみに光を照射することができる。
【0088】
図10は、
図9に示される本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
図2と同様の構成要素については説明を省略する。
【0089】
本実施形態においては、駆動部204が照射部200の向きを変更する。これにより、照射部200は、光軸方向を変化させることができる。そのため、本実施形態に係る撮像システム1000は、光軸方向に応じた複数の照射部200を備えていなくてよい。
【0090】
図9および
図10に示す構成例における撮像システム1000のより詳細な処理について
図11を参照しつつ説明する。
図11は、本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【0091】
図11に示されるとおり、まず、ステップS301において、演算部114は、目標物Tに関する情報を取得する。具体的には、演算部114は、目標物Tの位置もしくは移動速度またはその両方を取得する。より具体的には、演算部114は、測定部400が測定した目標物Tの位置を取得する。演算部114は、2つの地点における目標物Tの位置および測定時間に基づいて、目標物Tの移動情報を取得することもできる。
【0092】
次に、ステップS302において、駆動部204は、照射部200の向きを変更する。たとえば、目標物Tが第3位置P3(
図1参照)を移動しているとき、照射部200からの光が目標物Tに照射されるように照射部200の向きを変更する。同様に、目標物Tが第2位置P2を移動しているとき、照射部200からの光が目標物Tに照射されるように照射部200の向きを変更する。目標物Tが第1位置P1を移動しているとき、照射部200からの光が目標物Tに照射されるように照射部200の向きを変更する。
【0093】
次に、目標物Tの速度が高速であるとき(ステップS303:高速)、ステップS304において、演算部114は、照射部の光量を大レベルにするように、駆動部204に指示する。次に、ステップS305において、演算部114は、露光時間を短くするように撮像素子10を制御する。
【0094】
同様に、目標物Tの速度が中速であるとき(ステップS303:中速)、ステップS306において、演算部114は、照射部の光量を中レベルにするように、駆動部204に指示する。次に、ステップS307において、演算部114は、露光時間を中程度にするように撮像素子10を制御する。
【0095】
目標物Tの速度が低速であるとき(ステップS303:低速)、演算部114は、照射部の光量を小レベルにするように、駆動部204に指示する。次に、演算部114は、露光時間を長くするように撮像素子10を制御する。
【0096】
次に、ステップS310において、撮像部100は、目標物Tを撮影する。
【0097】
次に、ステップS311において、撮像部100は、撮影した画像を出力する。
【0098】
電源がオフされるまで、撮像システム1000はステップS301~S311の処理を繰り返すことができる。
【0099】
本技術の第2の実施形態に係る撮像システムについて説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0100】
[3.第3の実施形態(撮像システムの例3)]
照射部200は、設置される位置もしくは向きまたはその両方が変化する。たとえば、本技術の一実施形態に係る撮像システム1000は、光軸方向を変化させる反射部をさらに備えることができる。このことについて
図12を参照しつつ説明する。
図12は、本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
図12に示されるとおり、撮像システム1000は、照射部200が照射する光の光軸方向を変化させる反射部300をさらに備えることができる。照射部200が照射した光は、反射部300により反射されて、目標物Tに照射される。反射部300の角度が変更可能であることにより、照射部200が照射した光が、移動する目標物Tのみに照射されることができる。
【0101】
照射部200の実現手段は特に限定されない。照射部200は、たとえば可動ミラーモジュールなどであってよい。
【0102】
図13は、
図12に示される本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
図2と同様の構成要素については説明を省略する。
【0103】
本実施形態においては、駆動部204が反射部300の向きを変更する。そのため、本実施形態に係る撮像システム1000は、光軸方向に応じた複数の照射部200を備えていなくてよい。
【0104】
図12および
図13に示す構成例における撮像システム1000のより詳細な処理について
図14を参照しつつ説明する。
図14は、本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【0105】
図14に示されるとおり、まず、ステップS401において、演算部114は、目標物Tに関する情報を取得する。具体的には、演算部114は、目標物Tの位置もしくは移動速度またはその両方を取得する。より具体的には、演算部114は、測定部400が測定した目標物Tの位置を取得する。演算部114は、2つの地点における目標物Tの位置および測定時間に基づいて、目標物Tの移動情報を取得することもできる。
【0106】
次に、ステップS402において、駆動部204は、反射部300の向きを変更する。たとえば、目標物Tが第3位置P3(
図1参照)を移動しているとき、照射部200からの光が目標物Tに照射されるように反射部300の向きを変更する。同様に、目標物Tが第2位置P2を移動しているとき、照射部200からの光が目標物Tに照射されるように反射部300の向きを変更する。目標物Tが第1位置P1を移動しているとき、照射部200からの光が目標物Tに照射されるように反射部300の向きを変更する。
【0107】
次に、目標物Tの速度が高速であるとき(ステップS403:高速)、ステップS404において、演算部114は、照射部の光量を大レベルにするように、駆動部204に指示する。次に、ステップS405において、演算部114は、露光時間を短くするように撮像素子10を制御する。
【0108】
同様に、目標物Tの速度が中速であるとき(ステップS403:中速)、ステップS406において、演算部114は、照射部の光量を中レベルにするように、駆動部204に指示する。次に、ステップS407において、演算部114は、露光時間を中程度にするように撮像素子10を制御する。
【0109】
目標物Tの速度が低速であるとき(ステップS403:低速)、ステップS408において、演算部114は、照射部の光量を小レベルにするように、駆動部204に指示する。次に、ステップS409において、演算部114は、露光時間を長くするように撮像素子10を制御する。
【0110】
次に、ステップS410において、撮像部100は、目標物Tを撮影する。
【0111】
次に、ステップS411において、撮像部100は、撮影した画像を出力する。
【0112】
電源がオフされるまで、撮像システム1000はステップS401~S411の処理を繰り返すことができる。
【0113】
本技術の第3の実施形態に係る撮像システムについて説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0114】
[4.第4の実施形態(撮像システムの例4)]
撮像部が、目標物の位置もしくは移動速度またはその両方に基づいて、設置される位置もしくは向きまたはその両方が変化してよい。このことについて
図15を参照しつつ説明する。
図15は、本技術の一実施形態に係る撮像システム1000の構成例を示す模式図である。
図15に示されるとおり、撮像部100が、目標物Tの位置もしくは移動速度またはその両方に基づいて、設置される位置もしくは向きまたはその両方が変化することができる。この例では、撮像部100の向きが変化している。これにより、流し撮りの効果が生じて、残像が生じにくくなる。その結果、目標物Tが明瞭に撮影できる。
【0115】
本実施形態においては、
図2に示される駆動部204が撮像部100の向きを変更する。そのため、本実施形態に係る撮像システム1000は、光軸方向に応じた複数の照射部200を備えていなくてよい。
【0116】
図15に示す構成例における撮像システム1000のより詳細な処理について
図16を参照しつつ説明する。
図16は、本技術の一実施形態に係る撮像システム1000の処理の一例を示すフローチャートである。
【0117】
図16に示されるとおり、まず、ステップS501において、演算部114は、目標物Tに関する情報を取得する。具体的には、演算部114は、目標物Tの位置もしくは移動速度またはその両方を取得する。より具体的には、演算部114は、測定部400が測定した目標物Tの位置を取得する。演算部114は、2つの地点における目標物Tの位置および測定時間に基づいて、目標物Tの移動情報を取得することもできる。
【0118】
次に、ステップS502において、駆動部204は、撮像部100の向きを変更する。たとえば、目標物Tが第3位置P3(
図1参照)を移動しているとき、駆動部204は、目標物Tを正面から撮影できるように撮像部100の向きを変更する。同様に、目標物Tが第2位置P2を移動しているとき、駆動部204は、目標物Tを正面から撮影できるように撮像部100の向きを変更する。目標物Tが第1位置P1を移動しているとき、駆動部204は、目標物Tを正面から撮影できるように撮像部100の向きを変更する。
【0119】
次に、ステップS503において、撮像部100は、目標物Tを撮影する。
【0120】
次に、ステップS504において、撮像部100は、撮影した画像を出力する。
【0121】
電源がオフされるまで、撮像システム1000はステップS501~S504の処理を繰り返すことができる。
【0122】
なお、図示を省略するが、複数の撮像部100が設置されてもよい。複数の撮像部100のそれぞれが、設置される位置が異なっていることにより、
【0123】
本技術の第4の実施形態に係る撮像システムについて説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0124】
[5.第5の実施形態(撮像システムの例5)]
本技術の一実施形態に係る撮像システムは、ゲインを調整する画像加工部をさらに備えていてよい。このことについて
図17を参照しつつ説明する。
図17は、本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
図2と同様の構成要素については説明を省略する。
図17に示されるとおり、撮像システム1000は、ゲインを調整する画像加工部116をさらに備えている。画像加工部116は、撮像部において生成されたアナログ信号に対して乗じられるゲインを調整する。これにより、照射部200が照射する光の光量が小さくても、特定の画素を強調させることができる。その結果、目標物Tを明瞭に認識できる。
【0125】
本実施形態に係る変形例について
図18を参照しつつ説明する。
図18は、本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
図2と同様の構成要素については説明を省略する。
図18に示されるとおり、撮像システム1000は、ゲインを調整する画像加工部116をさらに備えている。画像加工部116は、撮像部において生成されたデジタル信号に対して乗じられるゲインを調整する。これにより、照射部200が照射する光の光量が小さくても、特定の画素を強調させることができる。その結果、目標物Tを明瞭に認識できる。
【0126】
本技術の第5の実施形態に係る撮像システムについて説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0127】
[6.第6の実施形態(撮像システムの例6)]
本技術の一実施形態に係る撮像システムは、前記目標物の周囲の明るさを検知する検知部をさらに備えていてよい。このことについて
図19を参照しつつ説明する。
図19は、本技術の一実施形態に係る撮像システム1000の構成例を示すブロック図である。
図2と同様の構成要素については説明を省略する。
図19に示されるとおり、撮像システム1000は、目標物の周囲の明るさを検知する検知部500をさらに備えている。検知部500は、たとえば照度計などを含むことができる。
【0128】
たとえば昼間など目標物の周囲の明るさが明るいとき、照射部200の光量を小さくすることができる。たとえば夜間など目標物の周囲の明るさが暗いとき、照射部200の光量を小さくすることができる。
【0129】
本技術の第6の実施形態に係る撮像システムについて説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0130】
[7.第7の実施形態(撮像方法の例7)]
本技術は、道路上の目標物に光を照射することと、光が照射される前記目標物の位置を測定することと、前記目標物を撮像することと、前記目標物の位置もしくは移動速度またはその両方に基づいて、照射する照射条件、撮像する露光条件、撮像により生成されたアナログ信号に対して乗じられるゲイン、もしくは撮像により生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算することと、を含んでいる、撮像方法を提供する。
【0131】
本技術の一実施形態に係る撮像方法について
図20を参照しつつ説明する。
図20は、本技術の一実施形態に係る撮像方法の一例を示すフローチャートである。
【0132】
図20に示されるとおり、まず、ステップS1において、道路上の目標物に光を照射する。
【0133】
次に、ステップS2において、光が照射される前記目標物の位置を測定する。
【0134】
次に、ステップS3において、前記目標物を撮像する。
【0135】
次に、ステップS4において、前記目標物の位置もしくは移動速度またはその両方に基づいて、照射する照射条件、撮像する露光条件、撮像により生成されたアナログ信号に対して乗じられるゲイン、もしくは撮像により生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算する。
【0136】
本技術の第7の実施形態に係る撮像方法について説明した上記の内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
【0137】
なお、本技術に係る実施形態は、上述した各実施形態及に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0138】
また、本技術は、以下のような構成をとることもできる。
[1]
道路上の目標物に光を照射する照射部と、
前記照射部が光を照射する前記目標物の位置を測定する測定部と、
前記目標物を撮像する撮像部と、
演算部と、を備えており、
前記演算部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、照射する照射条件、撮像する露光条件、前記撮像部において生成されたアナログ信号に対して乗じられるゲイン、もしくは前記撮像部において生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算する、撮像システム。
[2]
前記目標物が、道路上を移動するものである、
[1]に記載の撮像システム。
[3]
前記目標物が、車のナンバープレート、車体、車に乗る者、もしくは歩行者、またはこれらの組み合わせである、
[2]に記載の撮像システム。
[4]
前記照射条件には、照射する光の光軸方向もしくは光量またはその両方が含まれる、
[1]から[3]のいずれか一つに記載の撮像システム。
[5]
前記照射条件に含まれる光量と、目標物の移動速度と、が比例して、
前記光量と、前記露光条件に含まれる露光時間と、が反比例する
[1]から[4]のいずれか一つに記載の撮像システム。
[6]
前記照射部は、設置される位置もしくは向きまたはその両方が変化する、
[1]から[5]のいずれか一つに記載の撮像システム。
[7]
設置される位置もしくは向きまたはその両方が異なる複数の前記照射部を備えている、
[1]から[6]のいずれか一つに記載の撮像システム。
[8]
前記照射部は、前記光軸方向を変化させる、
[4]から[7]のいずれか一つに記載の撮像システム。
[9]
前記光軸方向を変化させる反射部をさらに備えている、
[4]から[8]のいずれか一つに記載の撮像システム。
[10]
前記撮像部が、前記目標物の位置もしくは移動速度またはその両方に基づいて、設置される位置もしくは向きまたはその両方が変化する、
[1]から[9]のいずれか一つに記載の撮像システム。
[11]
前記照射部の照射範囲が、前記撮像部の撮像範囲より小さい、
[1]から[10]のいずれか一つに記載の撮像システム。
[12]
前記照射部の照射範囲が、照射される前記目標物の全体より小さい、
[1]から[11]のいずれか一つに記載の撮像システム。
[13]
前記ゲインを調整する画像加工部をさらに備えている、
[1]から[12]のいずれか一つに記載の撮像システム。
[14]
前記目標物の周囲の明るさを検知する検知部をさらに備えている、
[1]から[13]のいずれか一つに記載の撮像システム。
[15]
前記測定部が、超音波センサ、撮像デバイス、レーダ、LiDARユニットのうち少なくとも1つを有している、
[1]から[14]のいずれか一つに記載の撮像システム。
[16]
前記撮像部が、撮像素子を備えており、
前記撮像素子が、
受光素子を含む画素が配置されて成る画素アレイ部と、
前記画素アレイ部内の全画素の信号を第1フレームレートで読み出す制御を行う第1画素制御部と、
画素アレイ部内の特定の領域の画素の信号を第1フレームレートよりも高い第2フレームレートで読み出す制御を行う第2画素制御部と、を有しており、
前記第1画素制御部が制御を行うことと、
前記照射部が前記特定の領域に光を照射することと、
前記第2画素制御部が制御を行うことと、をこの順に行う、
[1]から[15]のいずれか一つに記載の撮像システム。
[17]
前記撮像素子が、撮像画像内の特定の領域を関心領域として検出する関心領域検出部を有する、
[16]に記載の撮像システム。
[18]
前記関心領域検出部が、撮像画像内の動きがある領域を関心領域として検出する、
[16]または[17]に記載の撮像システム。
[19]
前記全画素の信号が、赤外画像であり、
前記特定の領域の画素の信号が、モノクロ画像またはカラー画像である、
[16]から[18]のいずれか一つに記載の撮像システム。
[20]
道路上の目標物に光を照射することと、
光が照射される前記目標物の位置を測定することと、
前記目標物を撮像することと、
前記目標物の位置もしくは移動速度またはその両方に基づいて、前記照射部の照射条件、前記撮像部の露光条件、撮像により生成されたアナログ信号に対して乗じられるゲイン、もしくは撮像により生成されたデジタル信号に対して乗じられるゲイン、またはこれらの組み合わせを演算することと、を含んでいる、撮像方法。
【符号の説明】
【0139】
1000 撮像システム
100 撮像部
114 演算部
116 画像加工部
200 照射部
300 反射部
400 測定部
500 検知部
S1 道路上の目標物に光を照射すること
S2 目標物の位置を測定すること
S3 目標物を撮像すること
S4 演算すること