IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社タムロンの特許一覧

<>
  • 特許-撮像システム 図1
  • 特許-撮像システム 図2
  • 特許-撮像システム 図3
  • 特許-撮像システム 図4
  • 特許-撮像システム 図5
  • 特許-撮像システム 図6
  • 特許-撮像システム 図7
  • 特許-撮像システム 図8
  • 特許-撮像システム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-17
(45)【発行日】2022-05-25
(54)【発明の名称】撮像システム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20220518BHJP
   G03B 15/00 20210101ALI20220518BHJP
   G02B 13/04 20060101ALI20220518BHJP
   G02B 13/18 20060101ALI20220518BHJP
【FI】
H04N5/232
G03B15/00 S
G02B13/04 D
G02B13/18
H04N5/232 290
【請求項の数】 18
(21)【出願番号】P 2018156408
(22)【出願日】2018-08-23
(65)【公開番号】P2020031357
(43)【公開日】2020-02-27
【審査請求日】2020-12-14
(73)【特許権者】
【識別番号】000133227
【氏名又は名称】株式会社タムロン
(74)【代理人】
【識別番号】100124327
【弁理士】
【氏名又は名称】吉村 勝博
(74)【代理人】
【識別番号】100143786
【弁理士】
【氏名又は名称】根岸 宏子
(72)【発明者】
【氏名】岩澤 嘉人
(72)【発明者】
【氏名】帯金 靖彦
(72)【発明者】
【氏名】喜多埜 央司
(72)【発明者】
【氏名】小山 由莉
(72)【発明者】
【氏名】今宮 悠一
【審査官】大西 宏
(56)【参考文献】
【文献】特開2002-135766(JP,A)
【文献】特開2009-100259(JP,A)
【文献】特開2010-177936(JP,A)
【文献】特開2012-212373(JP,A)
【文献】特開2017-126896(JP,A)
【文献】米国特許出願公開第2018/0007321(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222- 5/257
G02B 9/00 -17/08
G02B 21/02 -21/04
G02B 25/00 -25/04
G03B 15/00 -15/035
G03B 15/06 -15/16
(57)【特許請求の範囲】
【請求項1】
被写体の画像データを取得する撮像装置と、当該撮像装置による画像取得を制御する撮像制御装置とを備える撮像システムであって、
前記撮像制御装置は、
前記撮像装置で取得した任意の2つの画像データに基づき差分データを抽出する差分抽出手段と、
前記差分抽出手段で抽出した任意の2つの差分データに基づき変化量データを抽出する変化量抽出手段と、
前記変化量抽出手段で抽出した変化量データに基づき、前記撮像装置における画像取得条件を変更する条件変更手段と、を備えたことを特徴とする撮像システム。
【請求項2】
前記画像取得条件は、画像の取得間隔、画素数、解像度、色調、画像サイズのうちの少なくとも1つである請求項1に記載の撮像システム。
【請求項3】
前記条件変更手段は、前記変化量データの量が、所定の変化量閾値以上の場合、前記画像取得条件を現在の画像取得条件よりも画像データ量が大きくなるように変更する請求項1又は請求項2に記載の撮像システム。
【請求項4】
前記条件変更手段は、前記変化量データの量が所定の変化量閾値より小さい場合、前記画像取得条件を維持する、又は、前記画像取得条件を現在の画像取得条件よりも画像データ量が小さくなるように変更する請求項1又は請求項2に記載の撮像システム。
【請求項5】
前記条件変更手段は、前記変化量データの量が、前記所定の変化量閾値より小さい場合、前記画像取得条件を維持する、又は、前記画像取得条件を現在の画像取得条件よりも画像データ量が小さくなるように変更する請求項3に記載の撮像システム。
【請求項6】
前記条件変更手段は、前記任意の2つの差分データのうち最新の差分データの量が所定の差分量閾値以上の場合、現在の画像取得条件を維持する請求項4又は請求項5に記載の撮像システム。
【請求項7】
前記条件変更手段は、前記任意の2つの差分データのうち最新の差分データの量が所定の差分量閾値より小さい場合、画像取得条件を現在の画像取得条件よりも画像データ量が小さくなるように変更する請求項4又は請求項5に記載の撮像システム。
【請求項8】
前記条件変更手段は、前記画像取得条件の最小値及び/又は最大値を設定する請求項1から請求項7のいずれか一項に記載の撮像システム。
【請求項9】
前記差分抽出手段は、前記任意の2つの画像データにおいて差を有する画素の数及び/又は画素の割合の少なくともいずれかに基づいて前記差分データを抽出する請求項1から請求項8のいずれか一項に記載の撮像システム。
【請求項10】
前記変化量抽出手段は、前記任意の2つの差分データにおいて差を有する画素の数及び/又は画素の割合の少なくともいずれかに基づいて前記変化量データを抽出する請求項1から請求項9のいずれか一項に記載の撮像システム。
【請求項11】
前記画像取得条件は、画像の取得間隔であり、
前記差分抽出手段は、前記任意の2つの画像データの取得間隔に基づいて前記画像の取得間隔を算出する請求項1から請求項10のいずれか一項に記載の撮像システム。
【請求項12】
前記差分抽出手段は、前記任意の2つの画像データのそれぞれの全体を複数の局所ブロックに分割し、前記局所ブロック毎に局所差分データを抽出することで前記差分データを抽出する請求項1から請求項11のいずれか一項に記載の撮像システム。
【請求項13】
前記変化量抽出手段は、前記局所差分データに基づき、変化量データを抽出する請求項12に記載の撮像システム。
【請求項14】
前記差分データ及び/又は前記変化量データに含まれる誤差データを調整するデータ補正手段を備える請求項1から請求項13のいずれか一項に記載の撮像システム。
【請求項15】
前記データ補正手段は、前記撮像装置で取得した各画像データの全体を複数の局所ブロックに分割し、前記局所ブロック毎に、前記誤差データを調整する請求項14に記載の撮像システム。
【請求項16】
前記撮像装置は、被写体像を結像する結像レンズと、前記結像レンズによって結像した画像を取得する撮像素子とを備え、
前記データ補正手段は、当該結像レンズの画角に依存する歪みによる誤差データを調整する請求項14又は請求項15に記載の撮像システム。
【請求項17】
前記撮像装置は、被写体像を結像する結像レンズと、前記結像レンズによって結像した画像を取得する撮像素子とを備え、
以下の条件を満足する請求項1から請求項16のいずれか一項に記載の撮像システム。
50 < f×tanω/P ・・・(1)
但し、
f : 前記結像レンズの焦点距離
ω : 前記結像レンズの画角
P : 前記撮像素子の隣り合う画素の画素中心間隔
【請求項18】
前記撮像装置は定点に固定した請求項1から請求項17のいずれか一項に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を取得する撮像システムに関する。
【背景技術】
【0002】
従来より、任意のエリアを監視する手段として、監視カメラを用いている。一般に、監視カメラなどの撮像装置が取得した画像データは、通信手段を介して、コントロールセンターなどに送信される。昨今の監視カメラにより撮影した画像は、画素数や解像度が高く、データ量の増大によって通信速度が遅くなる問題がある。そのため、高い通信速度を維持して画像データの送受信を行うには、監視対象物に動きがあった場合を優先して画像データを取得する必要があった。
【0003】
監視対象物の動きを検知方法として、従来では、一定の期間が経過する度に画像を取得し、その画像から所望のデータを抽出して動き検出を行っていた。この際、監視点の変化のみを用いて監視対象物の動き検出を行うと、日照条件の変化や、照明の有無などにより、実際には監視対象物に変化が生じていないにもかかわらず、変化があったものと誤判定してしまう問題があった。そこで、誤判定による動き検知の精度低下を抑制すべく、例えば、特許文献1に記載の動き検出装置が開発されていた。
【0004】
特許文献1の動き検出装置では、監視画面に監視対象物の動きを検出する第1の監視点と、監視対象物の動きに影響されない第2の監視点を設けて、第1の監視点に変化があった場合において第2の監視点に変化がなかったとき、監視すべき対象物に変化があったと判断する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開平11-234652号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に開示の動き検出装置では、2つの監視点を設けて、そのどちらかに変化があった場合に、環境の変化を除いた監視対象物の変化として動き検出を行っていた。そのため、カメラの設置場所に応じて監視点を設定する必要があり、作業が煩雑となる問題があった。
【0007】
また、2つの監視点のうちの1つの変化が誤差の範囲に相当するわずかなものであっても、監視対象物が変化したと判断するため、信頼性が低下し精度の高い解析を行うことができないという問題があった。
【0008】
以上のことから理解できるように、本発明の課題は、簡易な方法で画像取得に関するデータ量を抑えると共に、解析の精度を高く維持することができる撮像システムを提供することにある。
【課題を解決するための手段】
【0009】
そこで、本件発明者等の鋭意研究の結果、以下の発明内容をもって課題を解決することに想到した。
【0010】
すなわち、本発明に係る撮像システムは、被写体の画像データを取得する撮像装置と、当該撮像装置による画像取得を制御する撮像制御装置とを備える撮像システムであって、前記撮像制御装置は、前記撮像装置で取得した任意の2つの画像データに基づき差分データを抽出する差分抽出手段と、前記差分抽出手段で抽出した任意の2つの差分データに基づき変化量データを抽出する変化量抽出手段と、前記変化量抽出手段で抽出した変化量データに基づき、前記撮像装置における画像取得条件を変更する条件変更手段と、を備えたことを特徴とする。
【発明の効果】
【0011】
本発明に係る撮像システムは、画像の取得に関するデータ量を抑制しつつ、解析の精度を高く維持することができる画像を取得することができる。
【図面の簡単な説明】
【0012】
図1】本発明に係る撮像システムの概略の構成を示すブロック図である。
図2】差分データ及び変化量データの抽出に関するイメージ図である。
図3】局所差分データの抽出に関するイメージ図である。
図4】差分データ及び変化量データの抽出に関するイメージ図である。
図5】レンズに由来する歪み調整のイメージを示す図である。
図6】画像取得条件変更処理のフローチャートである。
図7】画像取得条件判定処理のフローチャートである。
図8】本件発明における撮像装置の実施例のレンズ断面図である。
図9】実施例の結像レンズの球面収差図、非点収差図、歪曲収差図である。
【発明を実施するための形態】
【0013】
以下、本件出願に係る撮像システムの実施の形態を説明する。ただし、以下に説明する撮像システムは本件出願の一態様であって、以下の態様に限定されるものではない。
【0014】
本件出願に係る撮像システム1は、図1に示すように、被写体の画像データを取得する撮像装置2と、撮像装置2による画像取得を制御する撮像制御装置3と、撮像装置2で取得した画像データを記憶する記憶部4とを備える。本件出願において、撮像制御装置3は、撮像装置2で取得した任意の2つの画像データに基づき差分データを抽出する差分抽出部32と、差分抽出部32で抽出した任意の2つの差分データに基づき変化量データを抽出する変化量抽出部33と、変化量抽出部33で抽出した変化量データに基づき、撮像装置2における画像取得条件を変更する条件変更部35と、を備えたことを特徴とする。
【0015】
本件出願に係る撮像システム1は、2つの差分データに基づき抽出した変化量データに基づき、撮像装置2における次回の画像取得条件を変更することにより、撮像装置2の被写体領域に存在する移動物体の変化を高い精度で判断し、画像の取得に関するデータ量の抑制しつつ、解析の精度を高く維持し画像を取得することができる。本件出願は、特に、撮像制御装置3に特徴を有するものである。そのため、以下において、撮像制御装置3について説明した後、撮像装置2について述べる。
【0016】
1.撮像制御装置
撮像制御装置3は、図1に示すように、画像データ取得部(画像データ取得手段)31と、差分抽出部(差分抽出手段)32と、変化量抽出部(変化量抽出手段)33と、データ補正部(データ補正手段)34と、条件変更部(条件変更手段)35と、撮像制御部(撮像制御手段)36とを備える。撮像制御装置3は、例えばCPUを具備しており、所定のプログラムを実行することで、それぞれの機能を実現できるものである。また、撮像制御装置3は、図示しない所定の通信手段を介して撮像装置2や記憶部4と通信可能に接続されている。ここで採用する通信手段は、特に限定はなく、有線方式であっても無線方式であってもいずれでもよい。以下、各部についてそれぞれ述べる。
【0017】
1-1.画像データ取得部
画像データ取得部31は、撮像装置2から送信された画像データを随時、取得する。画像データ取得部31は、取得した画像データを随時、記憶部4に送信する。そのため、記憶部4には、画像データ取得部31から送信された画像データが順次、格納されている。
【0018】
1-2.差分抽出部
差分抽出部32は、撮像装置2で取得した任意の2つの画像データに基づき、差分データを抽出する。具体的に、差分抽出部32は、画像データ取得部31から記憶部4に順次、格納された複数の画像データのうち、任意の2つの画像データを抽出する。差分抽出部32は、2つの画像データのうち、先に撮影した画像データを第1画像データとし、第1画像データよりも後に撮影した画像データを第2画像データとして抽出する。ここで、第1画像データと第2画像データとは、連続して撮影(取得)した画像データであることが好ましいが、特に限定されるものではない。いいかえると、第2画像データは、第1画像データの直後に取得された画像データである必要はなく、第1画像データよりも後に取得された画像データであればよい。
【0019】
差分抽出部32は、抽出した第1画像データと第2画像データとを比較して差分データを抽出する。この差分データとは、比較した任意の2つの画像データの差を示すデータであり、そのデータ形式は特に限定されるものではない。例えば、図2に示すように、差分抽出部32は、第1画像データI1と、第2画像データI2とを比較し、変化があった画素のみを抜き出す演算処理を行い、差分データS1を取得する。この際、差分抽出部32は、2つの画像データにおいて差を有する画素の数及び/又は画素の割合の少なくともいずれかに基づいて差分データの抽出を行うことが好ましい。具体的に、第1画像データI1と第2画像データI2との間で、変化のあった画素を1、変化のなかった画素を0として差分データS1を演算処理した場合、1のフラグの画素の数によって画像内の動きが大きかったか否かの判定を行うことができる。このとき、画像全体の画素数に対する変化のあった画素数の割合により、画像内の動きの大きさを判定してもよい。撮像装置2が、所定の位置に固定して設置された定点カメラである場合、画像全体における変化が少ないことが多く、本発明のように差分データを用いた画像変化の算出は、データ量を抑制する上で特に有効である。
【0020】
また、差分抽出部32は、図3に示すように、抽出した任意の2つの画像データのそれぞれの全体を複数のブロック(以下、「局所ブロック」とも記載する)に分割し、局所ブロック毎に局所差分データを抽出することも好ましい。局所差分データを抽出する場合、差分抽出部32は、抽出した任意の2つの画像データの全体それぞれを局所ブロックに分割し、2つの画像データにおいて位置情報が対応する特定の局所ブロックを比較し、局所差分データを抽出する。特定の局所ブロックは、任意に設定することができ、単数であっても、複数であってもよいものとする。このように、差分抽出部32が抽出する差分データが局所ブロック毎に抽出した局所差分データとすることで、後述する「撮像装置における画像取得条件」を変更する際に、移動物体の移動方向や移動速度を高い精度で予測することができ、より的確に画像取得条件を変更することができるからである。
【0021】
上述した差分抽出部32が抽出した差分データ又は局所差分データは、順次、記憶部4に送信して、記憶部4に格納する。この際、記憶部4に格納した画像データは、それぞれの画像が撮影された時刻情報を含むものであることが好ましい。差分抽出部32が抽出する任意の2つの画像データが、それぞれの画像が撮影された時刻情報を含むものであれば、差分抽出部32は、第1画像データが撮影された時刻情報と、第2画像データが撮影された時刻情報とを比較して、第1画像データが撮影された時点から第2画像データが撮影された時点までの取得間隔を算出することが可能となるからである。なお、ここでは、画像データに画像が撮影された時刻情報を含むことを例に挙げて説明しているが、これ以外にも、画像を撮影した際のフレームレートに関する情報から第1画像データと第2画像データの取得間隔を算出してもよい。差分データを抽出した際に、第1画像データと第2画像データの取得間隔を算出することが可能となることで、詳細は後述する「撮像装置における画像取得条件」を変更する際に、高い精度で、画像取得条件を変更することができるからである。
【0022】
1-3.変化量抽出部
変化量抽出部33は、差分抽出部32によって抽出した任意の2つの差分データに基づき、変化量データを抽出し、抽出した変化量データは、順次、記憶部4に送信して、記憶部4に格納する。具体的に、変化量抽出部33は、差分抽出部32から記憶部4に順次、格納された複数の差分データのうち、任意の2つの差分データを抽出する。変化量抽出部33は、2つの差分データのうち、先に撮影した画像データから抽出した差分データを第1差分データとし、第1差分データの抽出に用いた画像データよりも後に撮影した画像データから抽出した差分データを第2差分データとして抽出する。ここで、第1差分データと第2差分データとは、連続して撮影(取得)した画像データから抽出した差分データであることが好ましいが、特に限定されるものではない。いいかえると、第2差分データは、第1差分データの抽出に用いた画像データの直後に取得された画像データを用いて抽出した差分データである必要はなく、第1差分データよりも後に取得された画像データを用いて抽出した差分データであればよい。しかし、最適な画像取得条件を設定することができる点で、連続して撮影した画像データから抽出した差分データを用いて変化量データを抽出することが好ましい。
【0023】
変化量抽出部33は、抽出した第1差分データと第2差分データとを比較して変化量データを抽出する。この変化量データとは、比較した任意の2つの差分データの差(変化量)すなわち、任意の一方の差分データに対する任意の他方の差分データの変化量を示すデータであり、そのデータ形式は特に限定されるものではない。具体的に、変化量抽出部33は、第1差分データS1と、第2差分データS2とを比較して、変化があった画素のみを抜き出す演算処理を行い、変化量データH1を取得する。この際、変化量抽出部33は、差分抽出部32の場合と同様に、2つの差分データにおいて差を有する画素の数及び/又は画素の割合の少なくともいずれかに基づいて変化量データの抽出を行うことが好ましい。
【0024】
例えば、図2に示す変化量データH1は、撮像装置2の被写体領域内を一人の人が移動する状態を所定のフレームレートで連続して撮影した画像データI1、I2、I3に基づき抽出した第1差分データS1と、第2差分データS2から取得したものである。図2に示すように、第1差分データS1と第2差分データS2の差は、画像データI1の人物画像データと、画像データI3の人物画像データのみであり、第1差分データS1や第2差分データS2と比べて、変化があった画素の数がほとんど変わらないといえる。そのため、図2の場合において変化量抽出部33が抽出する変化量データH1は、小さな値といえる。
【0025】
一方、図4に示す変化量データH2は、撮像装置2の被写体領域内を一人の人が移動する状態に加えて、更に別の人が被写体領域内に入った状態を所定のフレームレートで連続して撮影した画像データI4、I5、I6に基づき抽出した第1差分データS3と、第2差分データS4から取得したものである。図4に示すように、第1差分データS3と第2差分データS4の差は、画像データI1の人物画像データと、画像データI3の人物画像データに加えて、画像データI3において初めて登場した人物画像データであり、第1差分データS3や第2差分データS4と比べて、変化があった画素の数が増加しているといえる。そのため、図4の変化量データH2は、図2の変化量データH1と比べるとその変化量が大きいといえる。
【0026】
図2に示すように、第1差分データS1や第2差分データS2のデータ量が大きくても、これら第1差分データS1と第2差分データS2の差である変化量データH1のデータ量が差分データと変わらない場合には、撮像装置2の被写体領域に移動物体が存在しても、その移動速度や移動物体の量に変化がないと判断することができる。この場合、撮像装置2による画像取得条件を変更せずに現在の画像取得条件を維持することができる。
【0027】
一方、図4に示すように、第1差分データS3や第2差分データS4のデータ量が大きく、これらの差である変化量データH2のデータ量が差分データよりも増加した場合には、撮像装置2の被写体領域に移動物体が存在し、且つ、当該移動物体の変化量が大きいと判断することができる。この場合、撮像装置2による画像取得条件を、更に精度の高い条件に変更することができる。
【0028】
ここでは、変化量データのデータ量と差分データのデータ量とを用いて画像取得条件を変更する例を挙げて説明したが、本件出願はこれに限定されるものではない。例えば、図4に示す変化量データH2が図2に示す変化量データH1の後に抽出されたような場合には、変化量データH2のデータ量が変化量データH1よりも増加していることから、移動物体の変化量が大きいと判断することもできる。この場合、撮像装置2による画像取得条件を、さらに精度の高い条件に変更すればよい。このように、画像取得条件の変更処理に関して、変化量データも2つのデータを用いることもできる。
【0029】
また、変化量抽出部33は、上述した局所差分データに基づき、変化量データを抽出することも好ましい。局所差分データに基づき変化量データを抽出する場合、変化量抽出部33は、記憶部4から画像データにおける位置情報が対応する任意の2つの局所差分データを抽出する。例えば、図3は、上述した第1差分データS1と第2差分データS2の画像全体を複数の局所ブロックに分割したイメージを示す。図3では、第1差分データS1と第2差分データS2の任意の位置における位置情報が対応する2つの局所差分データを太線で囲み、強調して示している。この図の強調した局所差分データに注目すると、第1差分データS1の局所差分データに比べ、それより後に抽出された第2差分データS2の局所差分データの方が、データ量が多くなっていることが理解できる。いいかえると、第1の局所差分データに対する第2の局所差分データの変化量(局所変化量データ)が大きい。一方で、例えば、各差分データの左上の局所差分データを比較すると、局所変化量データが小さい。このように、局所差分データを用いることで、より高い精度で移動物体の移動方向や移動速度の予測を行うことができる。よって、この局所差分データに基づき、高い精度で変化量データ(局所変化量データ)を抽出でき、より的確な画像取得条件の設定が可能となる。なお、変化量抽出部33により抽出された変化量データに基づく、「撮像装置における画像取得条件」の設定変更制御の詳細については、後述する。
【0030】
1-4.データ補正部
本件出願に係る撮像システム1は、上述した差分データに対して誤差補正を行うデータ補正部34を備えることが好ましい。データ補正部34による誤差補正は、差分データを局所ブロックに分けて、環境の変化に起因するわずかな変化を調整する場合と、撮像装置2に由来する歪みを調整する場合とを挙げることができる。なお、ここでは、差分データの誤差補正を行う場合について説明するが、本件出願はこれに限定されるものではなく変化量データの誤差補正を行う場合について、適用してもよく、差分データ及び変化量データの双方に誤差補正を行ってもよい。
【0031】
1-4-1.局所ブロックを用いた誤差補正
一般に、撮像装置2が定点に固定されている場合、被写体の画像データには、固定物体が写り込むことがある。固定物体としては、例えば、図2に示すような樹木、その他、建物等がある。これら固定物体は、風の影響によって木の葉がなびく場合や、日射条件によりわずかに光量が変化する場合がある。これら固定物体に生じる環境の変化に起因する画像データの変化は、誤差範囲に相当し、敏感に画像取得条件を変更すると、信頼性が低下し精度の高い解析ができなくなる。
【0032】
そのため、データ補正部34は、差分データの全体を複数の局所ブロックに分割し、局所ブロック毎に、変化のあったデータ量が所定の誤差量の範囲内であった場合、変化がなかったものとして差分データを補正してもよい。この場合、データ補正部34は、予め、局所ブロック毎に、誤差量を設定しておく。この誤差量は、所定の閾値設定でもよく、上限値と下限値を有した範囲設定としてもよい。誤差量に基づき、局所ブロック毎に差分データのデータ量を補正することで、より精度の高い差分データを用いて、的確な画像取得条件の設定が可能となる。
【0033】
1-4-2.撮像装置に由来する歪みの調整による誤差補正
一般に、広画角のレンズを用いた撮像装置により立体像を取得した画像データは、パースペクティブ効果により中心領域の画像に比べて周辺領域において画像に歪みが生じる。そのため、データ補正部34は、当該撮像システム1を構成する撮像装置2に取り付けられている結像レンズ21の特性に基づき、画像データの周辺領域における差分データ量を補正する。例として、図5に、所定の水平方向に並んだ差分データの補正前のイメージと、補正後のイメージを示す。図5では、第1画素データと第2画素データとを比較し、変化のあった画素を1、変化のなかった画素を0として示す。補正前の画素データでは、四角で囲った画像周辺部には「1111」の画素データが並んでいる。これに対し、画像周辺部は、結像レンズ21の特性に基づく歪みが生じているものと推定し、データ補正部34は、画素周辺部の「1111」を「0110」に補正し、歪みによる画素変化はなかったものとして差分データを調整する。
【0034】
これにより、撮像装置2に取り付けられた結像レンズ21の特性に応じて、画像イメージにおける画像周辺部の歪みを調整することができ、より精度の高い差分データを用いて、的確な画像取得条件の設定が可能となる。
【0035】
1-5.条件変更部
条件変更部35は、変化量抽出部33で抽出した変化量データに基づき、撮像制御部36による撮像装置2の画像取得条件を設定する。ここで、画像取得条件としては、例えば、画像の取得間隔、画素数、解像度、色調(階調)、画像サイズのうちの少なくとも1つを挙げることができる。画像の取得間隔とは、具体的に、撮像装置2により最後に画像データを取得した時点から、次に画像データを取得するまでの期間をいう。
【0036】
また、本発明における画像取得条件は、撮像装置2における画像の撮影に関する条件に限定されるものではなく、例えば、撮像装置2において取得された画像を画像データ取得部31が記憶部4に格納する条件を画像取得条件とすることもできる。この場合には、画像取得条件として、例えば、記憶部4への画像の格納間隔(画像の取得間隔)、画素数、解像度、色調(階調)、画像サイズのうちの少なくとも1つを挙げることができる。一例として、条件変更部35は、撮像装置2における画像の取得間隔に代えて、記憶部4への格納間隔を変更することで画像の取得間隔を変更する。これによっても、条件変更部35は、撮像装置2における画像の撮影の間隔を変更しなくとも記憶部4への画像の格納間隔を大きく(長く)することで記憶部4に格納される画像の容量を低減することができ、簡易な方法で画像取得に関するデータ量を抑えることができる。
【0037】
記憶部4には、画像取得条件に関するデータが予め格納されており、条件変更部35は、記憶部4に格納された画像取得条件に関するデータ、例えば、閾値データと変化量抽出部33により取得した変化量データとを比較し、撮像装置2による次回の画像取得条件を変更する。上述したように、変化量抽出部33により取得した変化量データによれば、撮像装置2の被写体領域に存在する移動物体の変化量に基づき、次回の画像取得条件を変更することができるため、画像取得に関するデータ量を抑制しつつ、高い精度で移動物体の監視画像データを得ることが可能となる。また、条件変更部35は、変化量データだけではなく、当該変化量データに加えて差分抽出部32で抽出した差分データに基づき、撮像装置2による次回の画像取得条件を変更することも好ましい。なお、変化量データに基づく具体的な「撮像装置における画像取得条件」の設定変更制御については、後述する。
【0038】
1-6.撮像制御部
撮像制御部36は、上述した条件変更部35から入力された画像取得条件で、撮像装置2を制御し、次回の被写体の画像データ取得を行う。
【0039】
2.記憶部
記憶部4は、不揮発性メモリであるROMや、揮発性メモリであるRAMなどから構成されるものである。記憶部4は、上述した撮像制御装置3と、通信手段によって通信可能に接続されており、画像データや各種制御信号の送受信を可能とする。ここで採用する通信手段に特に限定はなく、有線方式であっても、無線方式であってもよい。
【0040】
この記憶部4は、通信手段を介して上述した撮像制御装置3から受信した画像データを含む種々のデータを記憶する。また、記憶部4は、上述した条件変更部35が画像取得条件の変更に用いる当該画像取得条件に関する各種データを格納する。
【0041】
なお、この記憶部4は、本実施の形態において、撮像制御装置3とは別途設けられているが、本件出願はこれに限定されるものではなく、撮像制御装置3に内蔵したものであってもよい。
【0042】
3.撮像装置
次に、撮像装置2について述べる。本件出願における撮像装置2は、被写体像を結像する結像レンズ(光学系)21と、結像レンズ21によって結像した画像を取得する撮像素子22とを少なくとも備える。ここで、撮像素子22に特に限定はなく、CCDセンサやCMOSセンサなどの固体撮像素子等も用いることができる。本件出願における撮像装置2は、デジタルカメラやビデオカメラ等のこれらの固体撮像素子を用いた撮像装置に好適である。また、この撮像装置2は、レンズが筐体に固定されたレンズ固定式の撮像装置であってもよいし、一眼レフカメラやミラーレス一眼カメラ等のレンズ交換式の撮像装置であってもよいのはもちろんである。
【0043】
本件出願に係る撮像システム1において、結像レンズ21及び撮像素子22は、以下の条件を満足することが好ましい。以下において、結像レンズ21及び撮像素子22が満足することが好ましい条件について説明する。
【0044】
3-1.条件式(1)
本件出願に係る結像レンズ21と撮像素子22は、以下の条件式(1)を満たすことが好ましい。
【0045】
50 < f×tanω/P ・・・(1)
但し、
f : 前記結像レンズの焦点距離である。
ω : 前記結像レンズの画角である。
P : 前記撮像素子の隣り合う画素の画素中心間隔である。
【0046】
上述の条件式(1)は、結像レンズ21の像面の大きさと画素ピッチの比を規定した式である。条件式(1)の数値範囲は、以下の理由から規定した。当該条件式(1)のf×tanω/Pの値が、50を上回ることで、精度よく画像の変化を抽出することができる。当該条件式(1)の下限値は、80であることが好ましく、120であることがさらに好ましく、200であることがさらに好ましく、400であることがさらに好ましく、600であるとさらに好ましい。
【0047】
そして、上述の条件式(1)において、下限値のみを規定しているが、当業者感覚で見れば上限値を規定する必要はないと考える。しかしながら、上限値を定めるとすれば、データ量やコストの観点から、8000であると好ましく、4000であるとさらに好ましく、2500であるとさらに好ましい。
【0048】
3-2.条件式(2)
本件出願に係る結像レンズ21は、レンズLを少なくとも1枚有し、以下の条件式(2)を満たすことが好ましい。
【0049】
1.48<NdL<2.30 ・・・(2)
但し、
NdL : 前記結像レンズに含まれるレンズのd線における屈折率である。
【0050】
上述の条件式(2)は、結像レンズ21に含まれるレンズLの屈折率を規定した式である。当該条件式(2)のNdLの値が、当該数値範囲を満たすことで、コストを抑えた結像レンズを構成することができる。当該条件式(2)の上限値は、2.10であることがより好ましく、1.95であるとさらに好ましく、1.89であるとさらに好ましく、1.84であるとさらに好ましく、1.78であるとさらに好ましく、1.68であるとさらに好ましく、1.60であるとさらに好ましい。
【0051】
さらに、結像レンズ21を構成するレンズLが当該結像レンズ21に含まれるレンズの中で最も屈折率が低いレンズであることが、ペッツバール和を補正する点で好ましい。
【0052】
3-3.条件式(3)
本件出願に係る結像レンズ21は、含まれるすべてのレンズが、以下の条件式(3)を満たすことが好ましい。
【0053】
1.48<Nd<2.30 ・・・(3)
但し、
Nd : レンズのd線における屈折率である。
【0054】
上記条件式(3)は、結像レンズ21に含まれるすべてのレンズの屈折率を規定した式である。当該条件式(3)のNdの値が、当該数値範囲を満たすことで、コストを抑えた結像レンズを構成することができる。当該条件式(3)の上限値は、2.10であることがより好ましく、1.95であるとさらに好ましく、1.89であるとさらに好ましく、1.84であるとさらに好ましく、1.78であるとさらに好ましく、1.68であるとさらに好ましく、1.60であるとさらに好ましい。
【0055】
4.撮像システムにおける処理
以上の構成により、撮像制御装置3は、撮像装置2から画像データを取得し、差分データの抽出及び変化量データの抽出を行い、撮像装置2における画像取得条件を随時、変更する。以下に、本件出願に係る撮像システム1の画像取得条件変更処理について図6のフローチャートを参照して説明する。
【0056】
4-1.画像取得条件変更処理
まず、画像データ取得部31は、撮像装置2で画像データを取得し、随時、記憶部4に送信して、記憶部4に画像データを格納する。なお、画像取得条件変更処理をまだ行っていない初期段階では、初期の撮像装置2の画像取得条件として、例えば、フレームレートが15fps、画像サイズ2MBの画像取得条件で、画像データを取得する。
【0057】
次に、差分抽出部32は、記憶部4から任意の2つの画像データを抽出して(Step1)、差分データの抽出処理を行う(Step2)。具体的に、差分抽出部32は、異なるタイミングで取得された2つの画像データ、具体的に、第1画像データと第2画像データを記憶部4から読み出し、これら第1画像データと第2画像データとを比較して、差分データを抽出する。抽出した差分データは、条件変更部35に送信するとともに、記憶部4に送信し当該記憶部4に格納する。
【0058】
ここで、第1画像データによりも後に取得された第2画像データは、次回の画像取得条件の設定を適切に行うため、直近に取得された画像データであることが好ましい。また、差分データと、この差分データの抽出に用いた第1画像データ及び第2画像データの時刻情報とを関連づけて保存することが望ましい。このとき、差分抽出部32は、この第1画像データ及び第2画像データの時刻情報から、取得間隔(第1画像データが撮影された時点から第2画像データが撮影された時点までの撮影間隔)を算出し、当該差分データとともに取得間隔に関する情報を関連づけて保存してもよい。
【0059】
その後、変化量抽出部33は、記憶部4から任意の2つの差分データを抽出して、変化量データの抽出処理を行う(Step3)。具体的に、変化量抽出部33は、異なる2つの差分データ、具体的に、第1差分データと第2差分データを記憶部4から読み出し、これら第1差分データと第2差分データとを比較し、変化量データを抽出する。抽出した変化量データは、条件変更部35に送信するとともに、記憶部4に送信し当該記憶部4に格納する。
【0060】
ここで、変化量抽出部33が記憶部4から抽出する差分データは、上述したデータ補正部34によって、誤差補正を行った後の差分データであることが好ましい。変化量データの抽出に用いる差分データとして、予め誤差補正したデータを用いることにより、未然に誤差に基づく情報を排除し、高い精度で変化量データを抽出することが可能となるからである。
【0061】
次に、条件変更部35は、差分抽出部32及び変化量抽出部33から入力された差分データ及び変化量データに基づき、画像取得判定処理を実行する(Step4)。なお、画像取得判定処理の詳細については参照する図面を変更して後述する。
【0062】
その後、条件変更部35は、画像取得条件判定処理において、次回の画像取得条件を決定した後、記憶部4に格納されている画像取得条件を新たな画像取得条件に更新する(Step5)。そして、条件変更部35は、新たな画像取得条件を撮像装置2に送信し、当該撮像装置2は、当該画像取得条件に従って、次回の画像データを取得する。
【0063】
4-2.画像取得条件判定処理
次に、図7を参照して画像取得条件判定処理について説明する。
【0064】
まず、条件変更部35は、差分抽出部32及び変化量抽出部33から差分量データ及び変化量データを取得する(Step10)。その後、条件変更部35は、記憶部4から画像取得条件に関するデータを取得する(Step11)。画像取得条件に関するデータとしては、具体的に、画像の取得間隔、画素数、解像度、色調(階調)、画像サイズのそれぞれについての変化量閾値や差分閾値を挙げることができる。また、記憶部4は、各画像取得条件について、設定としての最小値及び/又は最大値を格納しており、条件変更部35は、変化量閾値や差分閾値と共に、それぞれの最小値及び最大値に関する情報も記憶部4から読み出す。
【0065】
そして、条件変更部35は、現在、取得した変化量データのデータ量が、記憶部4から読み出した変化量閾値以上か否を判定する(Step12)。条件変更部35は、変化量データのデータ量が変化量閾値以上であると判定した場合(Step12においてYes)、次回の画像取得条件を、現在の画像取得条件よりも画像データ量が大きくなる方向に変更する(Step13)。変化量データのデータ量が変化量閾値以上である場合、2つの差分データから算出した変化のあった画素の数が多い、すなわち、撮像装置2の被写体領域に存在する移動物体の変化量が多いことを意味する。そのため、条件変更部35は、移動物体の変化の状態をより高い精度で撮影すべく、画像データ量が大きくなる方向に、画像取得条件を変更する。具体的に、画像取得条件が画像の取得間隔である場合、当該取得間隔が狭くなる方向に変更し、フレームレートである場合、フレームレートが高くなる方向に変更する。これ以外にも、画像取得条件が、撮影する画素の数、解像度、色調、画像サイズである場合には、これらが大きくなる方向に変更する。本件出願では、当該画像取得条件は、1つであることに限らず、これらを組み合わせて画像取得条件を設定してもよい。
【0066】
一方、条件変更部35は、Step12において、現在、取得した変化量データのデータ量が、記憶部4から読み出した変化量閾値未満であると判定した場合(Step12においてNo)、Step14に進み、差分データが差分閾値以上であるか否かについて判定する。本件出願では、変化量データのデータ量のみに基づいて、当該変化量データのデータ量が変化量閾値未満である場合、現在の画像取得条件のまま維持することとしてもよいし、画像取得条件を画像データ量が小さくなる方向に変更することとしてもよい。しかし、より高い精度で画像取得条件を設定変更すべく、本実施の形態では、Step14において、条件変更部35は、現在、取得した差分データのデータ量が記憶部4から読み出した差分閾値以上であるか否かを判定する。
【0067】
差分データのデータ量が差分閾値以上であると判定した場合(Step14においてYes)、2つの差分データから算出した変化のあった画素の数が多い、すなわち、撮像装置2の被写体領域に存在する移動物体の変化量がある程度以上、存在することを意味する。そのため、条件変更部35は、変化量データのデータ量が変化量閾値未満と判定した場合であったとしても、差分データのデータ量が差分閾値以上と判定した場合、すぐに、画像取得条件を画像データ量が小さくなる方向に変更せずに、現在の画像取得条件を維持することが好ましい(Step15)。このように、変化量データのデータ量のみならず、差分データのデータ量が所定の閾値以上であると判定したことを考慮して現在の画像取得条件を維持することができるため、より一層、被写体領域に存在する移動物体の変化の状態を勘案し、精度の高い画像取得を実現できる。
【0068】
一方、Step14において、差分データのデータ量が差分閾値未満であると判定した場合(Step14においてNo)、条件変更部35は、変化量データのデータ量のみならず、差分データのデータ量が所定の閾値未満であるため、次回の画像取得条件を画像データ量が小さくなる方向に変更する(Step16)。差分データのデータ量が差分閾値未満である場合、2つの画像データから算出した変化のあった画素の数が少ない、若しくは、ほとんどない、すなわち、撮像装置2の被写体領域に存在する移動物体の変化量が少ない、若しくは、ほとんどないことを意味する。そのため、条件変更部35は、具体的に、画像取得条件が画像の取得間隔である場合、当該取得間隔が広くなる方向に変更し、フレームレートである場合、フレームレートが低くなる方向に変更する。これ以外にも、画像取得条件が、撮影する画素の数、解像度、色調、画像サイズである場合には、これらが小さくなる方向に変更する。本件出願では、当該画像取得条件は、1つであることに限らず、これらを組み合わせて画像取得条件を設定してもよい。
【0069】
上述した画像取得条件変更処理を繰り返し実行することにより、変化量データ及び差分データが閾値以上であることが継続する場合には、条件変更部35は、当該変更後の画像取得条件が記憶部4に記憶された所定の最大値(画像データ量の上限値)以下であるか否かを判断し、変更後の画像取得条件が、当該最大値を超える場合には、変更後の画像取得条件を当該最大値とすることが好ましい。これにより、必要以上に画像データが膨大になり、撮像システムに過度の負担が加わる不都合を抑制することができる。
【0070】
また、変化量データ及び差分データが閾値未満であることが継続する場合には、条件変更部35は、当該変更後の画像取得条件が記憶部4に記憶された所定の最小値(画像データ量の下限値)以上であるか否かを判断し、変更後の画像取得条件が、当該最小値を下回る場合には、変更後の画像取得条件を当該最小値とすることが好ましい。これにより、画像データの精度が必要以上に低下する不都合を抑制することができる。
【0071】
次に、実施例を示して本件出願における撮像装置2を具体的に説明する。但し、本件出願は、以下の実施例に限定されるものではない。以下の実施例で示すレンズ断面図において、図面に向かって左方が物体側、右方が像側である。
【実施例
【0072】
(1)結像レンズの構成
本件出願における撮像装置2の実施例の結像レンズ21を図8に示す。図8に示すように、当該結像レンズ21は、物体側から順に、負の屈折力を有し、像側面が凹の第1レンズG1と、負の屈折力を有し像側に凸のメニスカス形状を有する第2レンズG2と、正の屈折力を有する両凸形状の第3レンズG3と、正の屈折力を有する両凸形状の第4レンズG4と、正の屈折力を有する両凸形状の第5レンズG5と、負の屈折力を有する両凹形状の第6レンズG6と、正の屈折力を有する両凸形状の第7レンズとで構成されている。また、この実施例における第5レンズG5と第6レンズG6とは接合レンズである。
【0073】
この実施例においては、第7レンズG7と、像面との間には、光学ブロックGを配置している。この光学ブロックGは、光学フィルタや、水晶ローパスフィルタ、赤外カットフィルタ等に相当するものである。
【0074】
実施例の結像レンズ21を用いて撮像装置2を構成したとき、像面IPは、固体撮像素子IPの撮像面に相当する。固体撮像素子として、上述したCCDセンサ、CMOSセンサ等の光電変換素子を用いることができる。撮像装置2では、本実施形態の結像レンズ21の物体側から入射した光が最終的に固体撮像素子の撮像面に結像する。そして、この固体撮像素子が受像した光を光電変換して電気信号として出力し、被写体の像に対応したデジタル画像を生成する。デジタル画像は、画像データとして撮像制御装置3の画像データ取得部31に送信される。
【0075】
(2)数値実施例
次に、当該結像レンズ21の具体的数値を適用した数値実施例について説明する。以下に当該結像レンズの面データを示す。この際、「面番号」は、物体側から数えたレンズ面の順番、「r」はレンズ面の曲率半径、「d」はレンズ面の光軸上の間隔、「nd」はd線(波長λ=587.56nm)に対する屈折率、「νd」はd線に対するアッベ数を示している。また、面番号の次に表示する「ASPH」は当該レンズ面が非球面であることを表している。なお、以下の表中の長さの単位はすべて「mm」である。また、曲率半径の欄の「INF」は、平面を意味する。
【0076】
面番号 r d nd vd
1 -300.14 1.00 1.773 49.6
2 6.31 3.91
3 -8.89 5.00 1.806 33.3
4 -19.31 1.88
5ASPH 24.79 5.00 1.851 40.1
6ASPH -24.58 4.52
7ASPH 10.91 3.25 1.497 81.6
8ASPH -11.66 0.20
9 22.95 2.69 1.593 68.6
10 -9.98 0.70 1.728 28.3
11 8.45 3.36
12ASPH 9.01 5.00 1.497 81.6
13ASPH -55.95 2.49
14 INF 0.30 1.517 64.2
15 INF 0.50
像面 INF
【0077】
以下に、当該結像レンズ21の諸データを示す。具体的には、当該結像レンズの焦点距離(mm)、Fナンバー(F値)、半画角(w/°)、像高(mm)、レンズ全長(mm)を示している。ここで、当該レンズ全長は、第1レンズの物体側面から像面までの距離である。
【0078】
焦点距離(mm) 4.93
Fナンバー(F値) 1.59
半画角(°) 60.00
像高(mm) 4.22
レンズ全長(mm) 40.79
【0079】
以下に、上述の非球面(ASPH)について、その形状を以下の式で定義した場合の非球面係数を示す。なお、非球面係数は、光軸からの高さhの位置での光軸方向の変位を面頂点基準として、以下の非球面式により表すことができる。また、以下において、「E-a」は「×10-a」を意味している。
【0080】
面番号 (1+k) A4 A6 A8 A10
5 1.000 -4.731E-05 5.182E-07 1.476E-08 3.046E-11
6 1.000 1.980E-05 1.778E-06 1.047E-09 4.342E-10
7 1.000 -2.665E-04 3.086E-07 -5.887E-09 -1.470E-10
8 1.000 7.763E-05 6.302E-07 -1.375E-08 -4.614E-12
12 1.000 -3.050E-04 -4.460E-06 7.105E-08 -7.762E-09
13 1.000 -5.956E-04 -3.872E-06 -2.607E-08 -1.873E-09
【0081】
z=ch2/[1+{1-(1+k)c2h2}1/2]+A4h4+A6h6+A8h8+A10h10
但し、cが曲率(1/r)、hが光軸からの高さ、kが円錐係数(コーニック定数)、A4、A6、A8、A10が各次数の非球面係数である。
【0082】
当該撮像装置2において、用いる固定撮像素子の画素数は、200万画素であり、このとき、Pの値は、0.004mmであり、条件式(1)の値は、2135である。また、用いる固体撮像素子の画素数は、50万画素でもよく、その場合のPの値は、0.008mmであり、条件式(1)の値は、1068である。
【0083】
そして、図9に当該実施例の結像レンズ21の無限遠合焦時における縦収差図を示す。図9に示す縦収差図は、図面に向かって左から順に、球面収差(SA/mm)、非点収差(AST/mm)、歪曲収差(DIS/%)を示す。
【0084】
この球面収差図の縦軸は、Fナンバー(F値)を表す。この球面収差図では、d線(波長587.56nm)における球面収差、C線(波長656.27nm)における球面収差、g線(波長435.84nm)における球面収差を示す。
【0085】
非点収差図の縦軸は、像高(Y)を表す。また、d線(波長587.56nm)におけるサジタル光線S(実線)及びメリディオナル光線T(破線)の非点収差を示す。
【0086】
歪曲収差図の縦軸は、像高(Y)を表す。また、d線(波長587.56nm)における歪曲収差(ディストーション)を実線で示す。
【産業上の利用可能性】
【0087】
本発明に係る撮像システムは、画像の取得に関するデータ量を抑制しつつ、解析の精度を高く維持することができる画像を取得することができる。従って、この撮像システムを例えば、定点観測カメラや監視カメラなどに採用することで、より精度の高い観測が可能となる。これ以外にも、差分データ及び変化量データに基づき、移動物体に関する精度の高い解析が可能となるため、例えば、車載カメラなどに採用することで、高度な移動物体の移動速度や移動軌跡の予測が可能となる。よって、危機回避の可能性を高めることができる。
【符号の説明】
【0088】
1 撮像システム
2 撮像装置
3 撮像制御装置
4 記憶部
21 結像レンズ
22 撮像素子
31 画像データ取得部(画像データ取得手段)
32 差分抽出部(差分抽出手段)
33 変化量抽出部(変化量抽出手段)
34 データ補正部(データ補正手段)
35 条件変更部(条件変更手段)
36 撮像制御部(撮像制御手段)
図1
図2
図3
図4
図5
図6
図7
図8
図9