7604809 撮像システム及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】撮像システム及び撮像方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241217BHJP

   G03B 5/00 20210101ALI20241217BHJP

   G03B 15/00 20210101ALI20241217BHJP

   G03B 19/07 20210101ALI20241217BHJP

   H04N 23/45 20230101ALI20241217BHJP

   H04N 23/66 20230101ALI20241217BHJP

   H04N 23/68 20230101ALI20241217BHJP

   H04N 23/73 20230101ALI20241217BHJP

   H04N 23/743 20230101ALI20241217BHJP

【ＦＩ】

H04N23/60

G03B5/00 K

G03B15/00 H

G03B19/07

H04N23/45

H04N23/66

H04N23/68

H04N23/73

H04N23/743

【請求項の数】 10

(21)【出願番号】P 2020143154

(22)【出願日】2020-08-27

(65)【公開番号】P2022038576

(43)【公開日】2022-03-10

【審査請求日】2023-08-18

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】坂田 泰啓

(72)【発明者】

【氏名】鈴木 康史

(72)【発明者】

【氏名】鈴木 典孝

(72)【発明者】

【氏名】松森 太一

(72)【発明者】

【氏名】牧垣 太郎

(72)【発明者】

【氏名】高山 圭吾

(72)【発明者】

【氏名】串田 裕紀

【審査官】池田 博一

(56)【参考文献】

【文献】特開２０１２－２４４２５２（ＪＰ，Ａ）

【文献】特開２０１０－２３８２３４（ＪＰ，Ａ）

【文献】国際公開第２０１８／１０１０５５（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０２６２５０４６（ＣＮ，Ａ）

【文献】中国特許出願公開第１０３７８０８３９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １９／０７

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／７３

Ｈ０４Ｎ ２３／７４３

(57)【特許請求の範囲】

【請求項1】

対象物を第１露光時間で撮像した第１画像信号と、前記対象物を前記第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、
前記第１画像信号の、前記対象物の第１方向に沿った第１微分信号と、前記第２画像信号の、前記第１方向と交差する前記対象物の第２方向に沿った第２微分信号と、を用いて、第３画像信号を生成する処理部と、を備え、
前記処理部は、前記第１画像信号と前記第２画像信号のそれぞれを、前記第１画像信号による第１画像と前記第２画像信号による第２画像のそれぞれにおける前記第１微分信号と前記第２微分信号とに分離し、前記第２画像信号の前記第１微分信号を前記第１画像信号の前記第１微分信号で置換する、画像処理装置。

【請求項2】

対象物を第１露光時間で撮像した第１画像信号と、前記対象物を前記第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、
前記第１画像信号の、前記対象物の第１方向に沿った第１微分信号と、前記第２画像信号の、前記第１方向と交差する前記対象物の第２方向に沿った第２微分信号と、を用いて、第３画像信号を生成する処理部と、を備え、
前記処理部は、前記第１画像信号及び前記第２画像信号のそれぞれをウェーブレット変換し、前記ウェーブレット変換された前記第２画像信号の前記第１微分信号を前記第１画像信号の前記第１微分信号で置換した第４画像信号を生成し、前記第４画像信号を逆ウェーブレット変換して前記第３画像信号を生成する、画像処理装置。

【請求項3】

対象物を第１露光時間で撮像した第１画像信号と、前記対象物を前記第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、
前記第１画像信号の、前記対象物の第１方向に沿った第１微分信号と、前記第２画像信号の、前記第１方向と交差する前記対象物の第２方向に沿った第２微分信号と、を用いて、第３画像信号を生成する処理部と、を備え、
前記処理部は、前記第２画像信号を平均した平均信号と前記第１方向及び前記第２方向のそれぞれについて微分した微分信号とをさらに用いて、前記第３画像信号を生成し、
前記処理部は、前記第２画像信号の前記微分信号を前記第１画像信号の前記微分信号により重み付け平均する、画像処理装置。

【請求項4】

対象物を第１露光時間で撮像した第１画像信号と、前記対象物を前記第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、
前記第１画像信号の、前記対象物の第１方向に沿った第１微分信号と、前記第２画像信号の、前記第１方向と交差する前記対象物の第２方向に沿った第２微分信号と、を用いて、第３画像信号を生成する処理部と、を備え、
前記取得部は、外部の撮像部により生成された前記第１画像信号及び前記第２画像信号を前記処理部に送信する第１通信部を含み、
前記第１露光時間を制御する制御部と、前記制御部の制御信号を前記撮像部に送信する第２通信部と、をさらに備え、
前記制御部は、前記対象物の移動速度に応じて前記第１露光時間を制御する、
画像処理装置。

【請求項5】

前記処理部は、前記第１微分信号を、前記第３画像信号の前記第１方向に沿った微分信号として用い、前記第２微分信号を、前記第３画像信号の前記第２方向に沿った微分信号として用いる請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記処理部は、さらに、前記第１画像信号による画像の位置及び前記第２画像信号による画像の位置を補正する、請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

請求項４に記載の画像処理装置と、
前記第１画像信号及び前記第２画像信号を生成する前記撮像部と、前記第１画像信号及び前記第２画像信号を前記第１通信部に送信する第３通信部と、を有する撮像装置と、
を備える撮像システム。

【請求項8】

前記撮像部は、前記第１画像信号及び前記第２画像信号をそれぞれ生成する互いに異なる第１撮像素子及び第２撮像素子を有する、請求項７に記載の撮像システム。

【請求項9】

対象物を第１露光時間で撮像した第１画像信号と、前記対象物を前記第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、
前記第１画像信号及び前記第２画像信号のそれぞれについて、複数の画素のうち、前記対象物の第１方向に沿って隣接する２つの画素の画素値の平均及び差分を算出し、前記第２画像信号に関する前記画素値の差分を前記第１画像信号に関する前記画素値の差分で置き換え、前記差分で置き換えた結果と前記第２画像信号における前記画素値の平均とに基づいて第１画像を復元する処理部と、
を備える画像処理装置。

【請求項10】

対象物を第１露光時間で撮像した第１画像信号と、前記対象物を前記第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する段階と、
前記第１画像信号及び前記第２画像信号のそれぞれについて、複数の画素のうち、前記対象物の第１方向に沿って隣接する２つの画素の画素値の平均及び差分を算出し、前記第２画像信号に関する前記画素値の差分を前記第１画像信号に関する前記画素値の差分で置き換え、前記差分で置き換えた結果と前記第２画像信号における前記画素値の平均とに基づいて第１画像を復元する段階と、
を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム及び撮像方法に関する。

【背景技術】

【0002】

特許文献１には、異なる露光時間で撮影して取得した第１の画像と第２の画像との差分画像を生成し、差分画像をウェーブレット変換し、高周波成分に対してコアリング処理を行ってノイズを除去し、逆変換することで手振れを補正する観測装置が開示されている。
特許文献１ 特開２０１２－２４４２５２号公報

【発明の概要】

【0003】

本発明の第１の態様においては、対象物を第１露光時間で撮像した第１画像信号と、対象物を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、第１画像信号の、対象物の第１方向に沿った第１微分信号と、第２画像信号の、第１方向と交差する対象物の第２方向に沿った第２微分信号と、を用いて、第３画像信号を生成する処理部と、を備える画像処理装置が提供される。

【0004】

本発明の第２の態様においては、第１の態様の画像処理装置と、第１画像信号及び第２画像信号を生成する撮像部と、第１画像信号及び第２画像信号を取得部に送信する別の通信部と、を有する撮像装置と、を備える撮像システムが提供される。

【0005】

本発明の第３の態様においては、対象物を第１露光時間で撮像した第１画像信号と、対象物を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部と、第１画像信号及び第２画像信号のそれぞれについて、複数の画素のうち、対象物の第１方向に沿って隣接する２つの画素の画素値の平均及び差分を算出し、第２画像信号に関する画素値の差分を第１画像信号に関する画素値の差分で置き換え、差分で置き換えた結果と第２画像信号における画素値の平均とに基づいて第１画像を復元する処理部と、を備える画像処理装置が提供される。

【0006】

本発明の第４の態様においては、対象物を第１露光時間で撮像した第１画像信号と、対象物を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得し、第１露光時間及び第２露光時間は１以外の公約数を有さない関係にある、取得部と、第１画像信号及び第２画像信号のそれぞれを対象物の第１方向に関してフーリエ変換し、第１画像信号及び第２画像信号にそれぞれの像ブレを除去する第１インバースフィルタ及び第２インバースフィルタを乗算して和を取り、実空間に逆フーリエ変換して第３画像信号を生成し、第１インバースフィルタ及び第２インバースフィルタは、第１画像信号による画像の像ブレを表す第１伝達関数及び第２画像信号による画像の像ブレを表す第２伝達関数の自乗和の逆数を含む、処理部と、を備える画像処理装置が提供される。

【0007】

本発明の第５の態様においては、対象物を第１露光時間で撮像した第１画像信号と、対象物を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する段階と、第１画像信号の、対象物の第１方向に沿った第１微分信号と、第２画像信号の、第１方向と交差する対象物の第２方向に沿った第２微分信号と、を用いて、第３画像信号を生成する段階と、を備える画像処理方法が提供される。

【0008】

本発明の第６の態様においては、対象物を第１露光時間で撮像した第１画像信号と、対象物を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する段階と、第１画像信号及び第２画像信号のそれぞれについて、複数の画素のうち、対象物の第１方向に沿って隣接する２つの画素の画素値の平均及び差分を算出し、第２画像信号に関する画素値の差分を第１画像信号に関する画素値の差分で置き換え、差分で置き換えた結果と第２画像信号における画素値の平均とに基づいて第１画像を復元する段階と、を備える画像処理方法が提供される。

【0009】

本発明の第７の態様においては、対象物を第１露光時間で撮像した第１画像信号と、対象物を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得し、第１露光時間及び第２露光時間は１以外の公約数を有さない関係にある、段階と、第１画像信号及び第２画像信号のそれぞれを対象物の第１方向に関してフーリエ変換し、第１画像信号及び第２画像信号にそれぞれの像ブレを除去する第１インバースフィルタ及び第２インバースフィルタを乗算して和を取り、実空間に逆フーリエ変換して第３画像信号を生成し、第１インバースフィルタ及び第２インバースフィルタは、第１画像信号による画像の像ブレを表す第１伝達関数及び第２画像信号による画像の像ブレを表す第２伝達関数の自乗和の逆数を含む、段階と、を備える画像処理方法が提供される。

【0010】

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る撮像システムの構成を示す。

【図2】撮像トリガ信号の一例を示す。

【図3】第１画像及び第２画像の位置関係を示す。

【図4】画像位置補正後の第１画像及び第２画像の位置関係を示す。

【図5】ハール・ウェーブレット変換の一例を示す。

【図6】第１実施形態に係る画像処理方法のフローを示す。

【図7】像ブレを表す伝達関数の一例を示す。

【図8】第２実施形態に係る画像処理方法のフローを示す。

【図9】撮像部における複数の撮像素子の配置の一例を示す。

【図10】２台の撮像装置を利用する撮像システムを示す。

【図11】二眼式撮像素子を有する撮像装置の構成を示す。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

〈第１実施形態〉
図１は、第１実施形態に係る撮像システム１の構成を示す。撮像システム１は、一例として、移動体から相対移動する対象物９９を撮像し、地上装置により画像信号を処理してＳ／Ｎ比が高く像ブレの小さい撮像画像を生成するシステムであり、移動体に搭載される撮像装置１０及び地上装置としての画像処理装置２０を備える。なお、移動体は、人工衛星、航空機、ドローンのような飛行体、或いは車両、船舶のような移動体であってよい。対象物９９は、地上面上の建築物等であってよい。撮像装置１０に対する対象物９９の移動方向を走査方向とする。

【0014】

撮像装置１０は、対象物９９に対して相対移動しつつ対象物９９を撮像する装置であり、撮像部１１、結像光学系１２、格納部１３、速度検出部１４、駆動部１５、及び通信部１６を含む。

【0015】

撮像部１１は、対象物９９を撮像して画像信号を生成するユニットであり、１以上の撮像素子を有する。撮像素子として、ＣＣＤセンサ、ＣＯＭＳセンサ等、高速で複数回撮像可能な２次元イメージセンサを採用することができる。なお、撮像素子は、単一のモノクロセンサ、単一のカラーセンサ、又はこれらの組み合わせであってもよい。撮像素子は、撮像トリガ信号を受けてトリガされることで、撮像トリガ信号により定められた露光時間の間、露光を受けて対象物９９を撮像し、画像信号を生成する。なお、撮像トリガ信号は、画像処理装置２０（制御部２３）から受信する制御信号に従って生成される。

【0016】

図２に、撮像トリガ信号の一例を示す。撮像トリガ信号は、第２露光時間に対応する第２のオン信号及びこれに待ち時間を空けて続く第１露光時間に対応する第１のオン信号を含む。撮像部１１は、撮像トリガ信号を受けることにより撮像素子を用いて、第２露光時間で対象物９９を撮像して第２画像信号を生成し、これに続けて、第１露光時間で対象物９９を撮像して第１画像信号を生成する。ここで、第２露光時間は、第１露光時間より長く定められている。これにより、像ブレの小さい第１画像信号（短時間露光画像）と、第１画像信号よりも像ブレの大きく、ノイズの少ない第２画像信号（長時間露光画像）が得られる。なお、第１露光時間は、画素上での対象物の移動量が所定画素以下となる露光時間であり、これを「ｐｉｘ」として表す。つまり、対象物の移動量が単位画素以下となる露光時間であり、たとえば「１ｐｉｘ」とは、対象物のうちの一点の像の画像上でのブレ（移動量）が１ピクセル以下である露光時間を示す。

【0017】

なお、撮像トリガ信号において、第１のオン信号及び第２のオン信号の順序は逆であってもよい。つまり、撮像部１１は、撮像素子を用いて、第１露光時間で対象物９９を撮像して第１画像信号（短時間露光画像）を生成し、これに続けて、第２露光時間で対象物９９を撮像して第２画像信号（長時間露光画像）を生成してもよい。また、撮像トリガ信号は、連続する第２のオン信号及び第１のオン信号を繰り返し含んでもよい。つまり、撮像部１１は、撮像素子を用いて対象物９９を繰り返し撮像して、第２画像信号及び第１画像信号を繰り返し生成してよい。

【0018】

結像光学系１２は、対象物９９からの光を撮像部１１の撮像素子上に集光して結像する光学系であり、撮像素子に対応して配置された少なくとも１つのレンズ素子又はレンズ素子を含む複数の光学素子を有する。

【0019】

格納部１３は、撮像部１１により生成された画像信号を一時的に格納するユニットであり、ＲＡＭ（Random Access Memory）、フラッシュメモリのような半導体メモリを採用してよい。なお、格納部１３は、格納された画像信号を、画像処理装置２０に向けて送信された後に削除してもよいし、一定時間経過した後に削除してもよい。

【0020】

速度検出部１４は、撮像装置１０に対する対象物９９の相対移動速度を検出するユニットであり、一例として全地球測位システム（ＧＰＳ）を採用することができる。速度検出部１４による検出結果は、画像処理装置２０に送信される。

【0021】

駆動部１５は、撮像装置１０を搭載した移動体を対象物９９に対して駆動するユニットであり、移動体が人工衛星又はドローンの場合に推進装置、車両又は船舶の場合にエンジン又はモータであってよい。駆動部１５により移動体を駆動することで、撮像装置１０が対象物９９に対して相対移動することができる。

【0022】

通信部１６は、画像処理装置２０との間で各種信号を送受信するためのユニットであり、例えば無線通信装置を有する。通信部１６は、撮像部１１により生成された又は格納部１３に格納された第１画像信号及び第２画像信号を画像処理装置２０（取得部２１）に送信するとともに、画像処理装置２０（制御部２３）から制御信号を受信する。

【0023】

画像処理装置２０は、撮像装置１０により生成した画像信号を処理するコンピュータ装置であり、これが有するプロセッサが画像処理プログラム実行することにより、コンピュータ装置が画像処理機能を発現する。画像処理装置２０は、取得部２１、処理部２２、制御部２３、及び通信部２４を含む。

【0024】

取得部２１は、画像信号を取得するユニットである。画像信号として、少なくとも一組の第１画像信号及び第２画像信号を含む。なお、第１画像信号は、対象物９９を第１露光時間で撮像することで生成された画像信号であり、第２画像信号は、対象物９９を第１露光時間より長い第２露光時間で撮像して生成された画像信号である。

【0025】

取得部２１は、通信部２１ａを含む。通信部２１ａは、撮像装置１０の撮像部１１により生成され、通信部１６により送信される第１画像信号及び第２画像信号を受信し、それらの画像信号を処理部２２に送信する。

【0026】

処理部２２は、第１画像信号及び第２画像信号を処理するユニットである。画像処理の方法としてウェーブレット変換が利用される。処理部２２による画像処理の詳細については後述する。

【0027】

制御部２３は、露光時間を制御するユニットである。制御部２３は、撮像装置１０（速度検出部１４）から受信する対象物９９の相対移動速度の検出結果に応じて第１露光時間を決定する。第１露光時間は、前述のとおり対象物９９の移動量（ブレ）が単位画素より小さくなるように決定されるから、移動体の相対移動速度に反比例することとなる。第２露光時間は、第１露光時間のファクター倍（例えば３～５倍）、ただし撮像部１１の撮像素子の電化飽和時間以下と決定される。また、待ち時間を決定してもよい。移動体の相対移動速度に応じて露光時間を決定することで、移動体の移動速度が一定でない場合においても本実施形態に係る画像信号処理により第１画像信号及び第２画像信号を用いてＳ／Ｎ比が高く像ブレの小さい画像信号を生成することが可能となる。制御部２３により決定された第１露光時間及び第２露光時間は制御信号に含まれて撮像装置１０（撮像部１１）に送信される。

【0028】

なお、本実施形態に係る撮像システム１では、画像処理装置２０が制御部２３により露光時間を制御することとしたが、これに代えて、撮像装置１０に制御部２３に対応するユニットを設け、撮像装置１０がこのユニットにより露光時間を制御することとしてもよい。

【0029】

通信部２４は、撮像装置１０との間で制御信号等を送受信するユニットである。通信部２４は、制御部２３により生成された制御信号を、撮像装置１０（撮像部１１）に送信する。

【0030】

処理部２２による画像処理について説明する。

【0031】

図３に、撮像装置１０（撮像部１１）により生成された第１画像及び第２画像の画素上での位置関係を示す。ここで、図面上から下に向かう方向が走査方向（撮像装置１０に対する対象物９９の移動方向）に対応する。対象物９９は、一例として円形状を有する。第１画像信号により再現される画像（第１画像と呼ぶ）は、対象物９９をブレ量が単位画素（例えば１画素）以下となる短い露光時間で撮像して生成されているため、対象物９９の像ブレは小さく円形状を維持している。一方、第２画像信号により再現される画像（第２画像と呼ぶ）は、対象物９９をより長い露光時間で撮像して生成されているため、対象物９９の像ブレが大きく、走査方向に歪んだ長円形を呈している。ただし、第１画像信号に比べてノイズは小さい。第１画像及び第２画像において、対象物９９は、撮像素子上において、撮像トリガ信号における待ち時間に相当する距離だけ走査方向に位置がずれている。

【0032】

図４に、画像位置補正後の第１画像及び第２画像の位置関係を示す。まず、処理部２２は、第１画像の位置及び第２画像の位置を補正する。処理部２２は、例えばパターンマッチング法により第１画像及び第２画像のそれぞれにおいて対象物９９を特定し、対象物９９の後端（図中の下端）の位置が一致するように画像位置をシフトし、第１画像及び第２画像を同じ大きさ（すなわち、同じ画素数）にトリミングする。

【0033】

次いで、処理部２２は、第１画像信号及び第２画像信号で対応する画素値の差分が小さい場合などに任意で、第１画像信号をノイズ除去処理してもよい。ノイズ除去処理として、例えば、第１画像信号及び第２画像信号で対応する画素値を平均する平均化処理を採用してよい。

【0034】

次いで、処理部２２は、第１画像信号及び第２画像信号のそれぞれをウェーブレット変換する。ウェーブレット変換として、例えば、ハール・ウェーブレット変換を採用する。この変換処理において、処理部２２は、画像信号にマトリクス状に含まれる複数の画素値を２行２列毎に複数組に分解し、各組の４つの画素値を、行方向及び列方向について平均して得られる値を含む平均信号（平均成分ＬＬとも呼ぶ）、走査方向（対象物９９の相対移動方向）に対応する第１方向（ここでは列方向とする）について微分（差分）し、その微分した画素値を第１方向と異なる第２方向（ここでは行方向とする）について平均して得られる値を含む第１微分信号（縦エッジ成分ＬＨとも呼ぶ）、行方向について平均し、その平均した画素値を列方向について微分（差分）して得られる値を含む第２微分信号（横エッジ成分ＨＬとも呼ぶ）、行方向及び列方向のそれぞれについて微分（差分）して得られる値を含む微分信号（斜めエッジ成分ＨＨとも呼ぶ）に画像信号を分解する。それにより、第１画像信号及び前記第２画像信号は、行方向及び列方向に平均した平均信号（ＬＬ）、列方向に沿った第１微分信号（ＬＨ）、行方向に沿った第２微分信号（ＨＬ）、行方向及び列方向のそれぞれに沿った微分信号（ＨＨ）に分解される。

【0035】

なお、本実施形態では、画像信号に含まれる画素値の配列の列方向が走査方向（対象物９９の相対移動方向）に対応するものとするが、行方向が走査方向に対応する場合、単に、行方向と列方向とを入れ替えて変換処理すればよい。

【0036】

処理部２２は、上述の処理で得られた平均信号（ＬＬ）に対してさらに同じ変換処理をしてよく、さらに得られた平均信号（ＬＬ）に対して同じ変換処理をしてよい。つまり、多重ウェーブレット変換してよい。それにより、図５にハール・ウェーブレット変換の一例を示すように、１回目の変換処理で得られた第１微分信号（ＬＨ）、第２微分信号（ＨＬ）、及び微分信号（ＨＨ）がそれぞれ左下、右上、及び右下の４分の１区画に配置され、２回目の変換処理で得られた第１微分信号（ＬＨ）、第２微分信号（ＨＬ）、及び微分信号（ＨＨ）が左上の４分の１区画の中のそれぞれ左下、右上、及び右下の１６分の１区画に配置され、３回目の変換処理で得られた平均信号（ＬＬ）、第１微分信号（ＬＨ）、第２微分信号（ＨＬ）、及び微分信号（ＨＨ）が左上の１６分の１区画の中のそれぞれ左上、左下、右上、及び右下の６４分の１区画に配置されてなる画像信号が得られる。

【0037】

処理部２２は、第１画像信号の第１微分信号（ＬＨ）と第２画像信号の第２微分信号（ＨＬ）とをそれぞれ第３画像信号の第１微分信号（ＬＨ）と第３画像信号の第２微分信号（ＨＬ）として用いて、第３画像信号を生成する。ここで、処理部２２は、さらに、第２画像信号の平均信号（ＬＬ）と第２画像信号の微分信号（ＨＨ）とをそれぞれ第３画像信号の平均信号（ＬＬ）と第３画像信号の微分信号（ＨＨ）として用いる。処理部２２は、任意で、第２画像信号の微分信号（ＨＨ）と第１画像信号の微分信号（ＨＨ）との重み付け平均を第３画像信号の微分信号（ＨＨ）として用いてもよい。

【0038】

つまり、処理部２２は、第２画像信号の第１微分信号（ＬＨ）を第１画像信号の第１微分信号（ＬＨ）で置換して第３画像信号を生成する。ここで、処理部２２は、任意で、第２画像信号の微分信号（ＨＨ）を第１画像信号の微分信号（ＨＨ）により重み付け平均してもよい。

【0039】

最後に、処理部２２は、第３画像信号を逆ウェーブレット変換する。多重ウェーブレット変換した場合には、同じ多重回だけ逆変換する。それにより、複数の画像信号を平均することによりノイズ除去する場合、画像数の平方根しかＳ／Ｎ比が改善しないところ、第１実施形態に係る画像処理方法によれば、第１画像信号に対して露光時間比（第２露光時間／第１露光時間）の分だけＳ／Ｎ比が改善される。

【0040】

これにより、対象物９９を短い第１露光時間で撮像して生成される像ブレの小さい第１画像信号及び長い第２露光時間で撮像して生成されるノイズの小さい第２画像信号のそれぞれをウェーブレット変換し、第２画像信号の縦エッジ成分を第１画像信号の縦エッジ成分で置き換えてなる第４画像信号を逆ウェーブレット変換して第３画像信号を生成することで、少ないデータ処理量で、第２画像信号の高いＳ／Ｎ比を維持したままその像ブレを第１画像信号の小さい像ブレにより改善することができる。

【0041】

図６に、第１実施形態に係る画像処理方法のフローを示す。撮像装置１０を搭載した移動体が、静止した対象物９９に対して移動しているものとする。

【0042】

ステップＳ１０２では、撮像装置１０（撮像部１１）により対象物９９を撮像する。それにより、第１露光時間で撮像することにより第１画像信号が生成されるとともに、第１露光時間より長い第２露光時間で撮像することにより第２画像信号が生成される。生成された第１画像信号及び第２画像信号は、格納部１３に一時的に格納される。

【0043】

ステップＳ１０４では、画像処理装置２０（取得部２１）により、第１画像信号及び第２画像信号が取得される。ここで、撮像装置１０の通信部１６が、格納部１３から第１画像信号及び第２画像信号を読み出し、取得部２１に送信する。なお、送信後、第１画像信号及び第２画像信号を格納部１３から消去してもよいし、消去しなくてもよい。

【0044】

ステップＳ１０６では、処理部２２により、第１画像の位置及び第２画像の位置を補正する。画像位置の補正の詳細は先述のとおりである。

【0045】

ステップＳ１０８では、処理部２２により、第１画像信号及び第２画像信号で対応する画素値の差分が小さい場合などに任意で、第１画像信号をノイズ除去処理する。

【0046】

次いで、処理部２２により、第１画像信号の第１微分信号及び第２画像信号の第２微分信号を用いて、Ｓ／Ｎ比が改善された画像信号を生成する。

【0047】

ステップＳ１１０では、処理部２２により、第１画像信号及び第２画像信号のそれぞれをウェーブレット変換する。それにより、第１画像信号及び前記第２画像信号は、行方向及び列方向に平均した平均信号（ＬＬ）、列方向に沿った第１微分信号（ＬＨ）、行方向に沿った第２微分信号（ＨＬ）、行方向及び列方向のそれぞれに沿った微分信号（ＨＨ）に分解される。なお、生成される平均信号（ＬＬ）をさらに又は繰り返しウェーブレット変換してもよい。つまり、多重ウェーブレット変換してよい。

【0048】

ステップＳ１１２では、処理部２２により、第２画像信号の第１微分信号（ＬＨ）を第１画像信号の第１微分信号（ＬＨ）で置換して第３画像信号を生成する。ここで、処理部２２は、任意で、第２画像信号の微分信号（ＨＨ）を第１画像信号の微分信号（ＨＨ）により重み付け平均してもよい。

【0049】

ステップＳ１１４では、処理部２２により、第３画像信号を逆ウェーブレット変換する。ステップＳ１１０で多重ウェーブレット変換した場合には、同じ多重回だけ逆変換する。それにより、生成された第３画像信号は、第２画像信号の小さいノイズを維持したままその像ブレが第１画像信号の小さい像ブレにより改善される。

【0050】

なお、撮像装置１０（移動体）の移動中、上記のステップＳ１０２～Ｓ１１４を繰り返してもよい。それにより、移動する対象物９９のＳ／Ｎ比が高く像ブレの小さい撮像画像を繰り返し得ることができる。

【0051】

第１実施形態に係る画像処理装置２０によれば、対象物９９を第１露光時間で撮像した第１画像信号と、対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部２１、第１画像信号の、走査方向（対象物９９の相対移動方向）に沿った第１微分信号と、第２画像信号の、走査方向と交差する方向に沿った第２微分信号と、を用いて、第３画像信号を生成する処理部２２を備える。対象物９９を短い第１露光時間で撮像して生成される像ブレの小さい第１画像信号の、走査方向に沿った第１微分信号と、対象物９９を長い第２露光時間で撮像して生成されるノイズの小さい第２画像信号の、交差する方向に沿った第２微分信号と、を用いて第３画像信号を生成することで、少ないデータ処理量で、第２画像信号の高いＳ／Ｎ比を維持したままその像ブレを第１画像信号の小さい像ブレにより改善することができる。

【0052】

また、第１実施形態に係る画像処理方法によれば、対象物９９を第１露光時間で撮像した第１画像信号と、対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する段階、第１画像信号の、走査方向（対象物９９の相対移動方向）に沿った第１微分信号と、第２画像信号の、走査方向と交差する方向に沿った第２微分信号と、を用いて、第３画像信号を生成する段階を備える。対象物９９を短い第１露光時間で撮像して生成される像ブレの小さい第１画像信号の、走査方向に沿った第１微分信号と、対象物９９を長い第２露光時間で撮像して生成されるノイズの小さい第２画像信号の、交差する方向に沿った第２微分信号と、を用いて第３画像信号を生成することで、少ないデータ処理量で、第２画像信号の高いＳ／Ｎ比を維持したままその像ブレを第１画像信号の小さい像ブレにより改善することができる。

【0053】

また、第１実施形態に係る画像処理装置２０によれば、対象物９９を第１露光時間で撮像した第１画像信号と、対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部２１、第１画像信号及び第２画像信号のそれぞれについて、複数の画素のうち、走査方向に対応する列方向（又は行方向）に沿って隣接する２つの画素の画素値の平均及び差分を算出し、第２画像信号に関する画素値の差分を第１画像信号に関する画素値の差分で置き換え、差分で置き換えた結果と第２画像信号における画素値の平均とに基づいて第１画像を復元する処理部を備える。対象物９９を短い第１露光時間で撮像して生成される像ブレの小さい第１画像信号に関する画素値の差分と、対象物９９を長い第２露光時間で撮像して生成されるノイズの小さい第２画像信号に関する画素値の平均とに基づいて第１画像を復元することで、少ないデータ処理量で、第２画像信号の高いＳ／Ｎ比を維持したままその像ブレを第１画像信号の小さい像ブレにより改善することができる。

【0054】

また、第１実施形態に係る画像処理方法によれば、対象物９９を第１露光時間で撮像した第１画像信号と、対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する段階、第１画像信号及び第２画像信号のそれぞれについて、複数の画素のうち、走査方向に対応する列方向（又は行方向）に沿って隣接する２つの画素の画素値の平均及び差分を算出し、第２画像信号に関する画素値の差分を第１画像信号に関する画素値の差分で置き換え、差分で置き換えた結果と第２画像信号における画素値の平均とに基づいて第１画像を復元する段階を備える。対象物９９を短い第１露光時間で撮像して生成される像ブレの小さい第１画像信号に関する画素値の差分と、対象物９９を長い第２露光時間で撮像して生成されるノイズの小さい第２画像信号に関する画素値の平均とに基づいて第１画像を復元することで、少ないデータ処理量で、第２画像信号の高いＳ／Ｎ比を維持したままその像ブレを第１画像信号の小さい像ブレにより改善することができる。

【0055】

〈第２実施形態〉
第２実施形態に係る撮像システム１では、画像処理装置２０の処理部２２は、対象物９９をそれぞれ異なる露光時間で撮像して生成された複数の画像信号をインバースフィルタを用いて処理することで、Ｓ／Ｎ比が高く像ブレの小さい対象物９９の撮像画像を生成する。

【0056】

画像信号ｉは、真の画像ｆ、像ブレを表す伝達関数ｈ、ノイズ成分ｎを用いて、次式のように表される。
ｉ（ｘ）＝ｆ（ｘ）ｈ（ｘ）＋ｎ（ｘ） …（１）
ここで、ｘは、走査方向に関する位置座標である。本例では簡単のため、ｘ方向の１次元画像に対して画像処理方法を説明するが、２次元画像ｉ（ｘ，ｙ）に容易に拡張することができる。式（１）のフーリエ変換Ｉ（ω）＝Ｆ（ω）Ｈ（ω）＋Ｎ（ω）より、次式が得られる。
Ｆ（ω）＝Ｉ（ω）Ｖ（ω） …（２）
ここで、Ｉは画像信号ｉのフーリエ変換、Ｆは真の画像ｆのフーリエ変換、Ｈは伝達関数ｈのフーリエ変換、Ｎはノイズ成分ｎのフーリエ変換、ωはｘに共役な空間周波数である。Ｖは像ブレを復元するためのインバースフィルタであり、次式のように与えられる。
Ｖ（ω）＝１／Ｈ（ω）＝Ｈ^*（ω）／｜Ｈ（ω）｜^２ …（３）
目的の真の画像ｆは、式（２）の逆フーリエ変換より得られる。しかし、式（３）で表されるインバースフィルタＶがＨのゼロ点で発散することで、かえってノイズを増幅してしまう。

【0057】

そこで、本実施形態では、式（２）を、露光時間の異なる複数（Ｎ）の画像信号Ｉ_ｋ（ｋ＝１～Ｎ）を用いて、次式のように書き換える。
Ｆ（ω）＝Σ_{ｋ＝１～Ｎ}Ｉ_ｋ（ω）Ｖ_ｋ（ω） …（４）
ここで、インバースフィルタＶ_ｋを、次式のように与える。

【数1】

なお、ノイズ成分Ｎｋ（ω）は周波数ωに依存しないと仮定した。インバースフィルタＶ_ｋの分数形において、分母に各画像信号ｉ_ｍ（ｍ＝１～Ｎ）の像ブレを表す伝達関数ｈ_ｍのフーリエ変換Ｈ_ｍの自乗和を含む。従って、伝達関数Ｈ_ｍ（ｍ＝１～Ｎ）のゼロ点が重複しないように、各画像の露光時間を、１以外の公約数を有さない関係となるように定めることで、インバースフィルタＶｋがＨ_ｍのゼロ点で発散するのを回避することができる。

【0058】

まず、処理部２２は、第１実施形態と同様に、第１画像の位置及び第２画像の位置を補正し、任意で第１画像信号をノイズ除去処理する。ただし、第１画像信号の第１露光時間及び第２画像信号の第２露光時間は１以外の公約数を有さない関係にあるものとする。

【0059】

次いで、処理部２２は、第１画像信号ｉ_１及び第２画像信号ｉ_２のそれぞれを走査方向（対象物９９の相対移動方向）に対応する列方向（又は行方向）に関してフーリエ変換して、Ｉ_１，Ｉ_２を算出する。なお、行方向及び列方向の両方向についてフーリエ変換してもよい。

【0060】

次いで、処理部２２は、第１画像信号及び第２画像信号をフィルタ処理して像ブレを除去する。処理部２２は、式（４）を用いて第１画像信号のフーリエ変換Ｉ_１及び第２画像信号のフーリエ変換Ｉ_２にそれぞれの像ブレを除去する第１インバースフィルタＶ_１及び第２インバースフィルタＶ_２を乗算して和を取り、合成画像信号Ｆを生成する。ここで、第１インバースフィルタＶ_１及び第２インバースフィルタＶ_２は、式（５）に表すとおり、第１画像信号ｉ_１による画像の像ブレを表す第１伝達関数ｈ_１のフーリエ変換Ｈ_１及び第２画像信号ｉ_２による画像の像ブレを表す第２伝達関数ｈ_２のフーリエ変換Ｈ_２の自乗和の逆数を含む。

【0061】

図７に、第１画像信号及び第２画像信号の像ブレを表す伝達関数Ｈ_１，Ｈ_２の一例を示す。一例として、第１露光時間は３画素（３ｐｉｘ、３画素に取り込まれる撮像距離を対象物９９の相対移動速度で除した時間）、第２露光時間は５画素（５ｐｉｘ、５画素に取り込まれる撮像距離を対象物９９の相対移動速度で除した時間）とした。ここで、それぞれの露光時間の３及び５は１以外の公約数を有さず、２つの伝達関数Ｈ_１，Ｈ_２のゼロ点は重複しない。従って、インバースフィルタＶ_ｋが伝達関数Ｈ_１，Ｈ_２のゼロ点で発散するのが回避されている。

【0062】

最後に、処理部２２は、合成画像信号Ｆを実空間に逆フーリエ変換して画像信号ｆを生成する。それにより、複数の画像信号を平均することによりノイズ除去する場合、画像数の平方根しかＳ／Ｎ比が改善しないところ、第２実施形態に係る画像処理方法によれば、第１画像信号に対して露光時間比（第２露光時間／第１露光時間）の分だけＳ／Ｎ比が改善される。

【0063】

従って、対象物９９をそれぞれ互いに異なる第１露光時間及び第２露光時間で撮像して生成される第１画像信号ｉ_１及び第２画像信号ｉ_２を走査方向に関してフーリエ変換し、式（４）のように第１画像信号Ｉ_１及び第２画像信号Ｉ_２にそれぞれの像ブレを除去する第１インバースフィルタＶ_１及び第２インバースフィルタＶ_２を乗算して和を取り、実空間に逆フーリエ変換して画像信号を生成する。ここで、各画像信号の露光時間は、１以外の公約数を有さない関係に定められ、第１インバースフィルタＶ_１及び第２インバースフィルタＶ_２は、第１画像信号による画像の像ブレを表す伝達関数Ｈ_１及び第２画像信号による画像の像ブレを表す伝達関数Ｈ_２の自乗和の逆数を含むことで、伝達関数Ｈ_１，Ｈ_２のゼロ点に由来する発散を回避して、少ないデータ処理量で、高いＳ／Ｎ比を維持したままその像ブレを除去した画像信号を生成することができる。

【0064】

図８に、第２実施形態に係る画像処理方法のフローを示す。撮像装置１０を搭載した移動体が、静止した対象物９９に対して移動しているものとする。

【0065】

ステップＳ２０２～Ｓ２０８は、第１実施形態に係る画像処理方法のフローのステップＳ１０２～Ｓ１０８と同様である。ただし、第２画像信号の第２露光時間は第１画像信号の第１露光時間より長く、第１露光時間及び第２露光時間は１以外の公約数を有さない関係に定められているものとする。

【0066】

ステップＳ２１０では、処理部２２により、第１画像信号ｉ_１及び第２画像信号ｉ_２のそれぞれを走査方向（対象物９９の相対移動方向）に対応する列方向（又は行方向）に関してフーリエ変換して、Ｉ_１，Ｉ_２を算出する。なお、行方向及び列方向の両方向についてフーリエ変換してもよい。

【0067】

ステップＳ２１２では、処理部２２により、第１画像信号及び第２画像信号をフィルタ処理して像ブレを除去する。処理部２２は、式（４）を用いて第１画像信号のフーリエ変換Ｉ_１及び第２画像信号のフーリエ変換Ｉ_２にそれぞれの像ブレを除去する第１インバースフィルタＶ_１及び第２インバースフィルタＶ_２を乗算して和を取り、合成画像信号Ｆを生成する。ここで、第１インバースフィルタＶ_１及び第２インバースフィルタＶ_２は、式（５）に表すとおり、第１画像信号ｉ_１による画像の像ブレを表す第１伝達関数のフーリエ変換Ｈ_１及び第２画像信号ｉ_２による画像の像ブレを表す第２伝達関数フーリエ変換Ｈ_２の自乗和の逆数を含む。

【0068】

ステップＳ２１４では、処理部２２により、合成画像信号Ｆを実空間に逆フーリエ変換して画像信号ｆを生成する。それにより、複数の画像信号を平均することによりノイズ除去する場合、画像数の平方根しかＳ／Ｎ比が改善しないところ、第２実施形態に係る画像処理方法によれば、第１画像信号に対して露光時間比（第２露光時間／第１露光時間）の分だけＳ／Ｎ比が改善される。

【0069】

なお、撮像装置１０（移動体）の移動中、上記のステップＳ２０２～Ｓ２１４を繰り返してもよい。それにより、移動する対象物９９のＳ／Ｎ比が高く像ブレの小さい撮像画像を繰り返し得ることができる。

【0070】

第２実施形態に係る画像処理装置２０によれば、対象物９９を第１露光時間で撮像した第１画像信号と、対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する取得部２１、第１画像信号及び第２画像信号のそれぞれを走査方向（対象物９９の相対移動方向）に関してフーリエ変換し、第１画像信号及び第２画像信号にそれぞれの像ブレを除去する第１インバースフィルタ及び第２インバースフィルタを乗算して和を取り、実空間に逆フーリエ変換して画像信号を生成する処理部２２を備える。ただし、第１露光時間及び第２露光時間は、１以外の公約数を有さない関係にあり、第１インバースフィルタ及び第２インバースフィルタは、第１画像信号による画像の像ブレを表す第１伝達関数及び第２画像信号による画像の像ブレを表す第２伝達関数の自乗和の逆数を含む。このように露光時間の異なる複数の画像信号を用いることで、伝達関数Ｈ_１，Ｈ_２のゼロ点に由来する発散を回避して、少ないデータ処理量で、高いＳ／Ｎ比を維持したままその像ブレを除去した画像信号を生成することができる。

【0071】

第２実施形態に係る画像処理方法によれば、対象物９９を第１露光時間で撮像した第１画像信号と、対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号と、を取得する段階、第１画像信号及び第２画像信号のそれぞれを走査方向（対象物９９の相対移動方向）に関してフーリエ変換し、第１画像信号及び第２画像信号にそれぞれの像ブレを除去する第１インバースフィルタ及び第２インバースフィルタを乗算して和を取り、実空間に逆フーリエ変換して画像信号を生成する段階を備える。ただし、第１露光時間及び第２露光時間は１以外の公約数を有さない関係にあり、第１インバースフィルタ及び第２インバースフィルタは、第１画像信号による画像の像ブレを表す第１伝達関数及び第２画像信号による画像の像ブレを表す第２伝達関数の自乗和の逆数を含む。このように露光時間の異なる複数の画像信号を用いることで、伝達関数Ｈ_１，Ｈ_２のゼロ点に由来する発散を回避して、少ないデータ処理量で、高いＳ／Ｎ比を維持したままその像ブレを除去した画像信号を生成することができる。

【0072】

なお、本実施形態に係る撮像システム１では、撮像装置１０（撮像部１１）は、１つの撮像素子を用いて、対象物９９を第１露光時間で撮像した第１画像信号及び対象物９９を第１露光時間より長い第２露光時間で撮像した第２画像信号の両方を生成することとしたが、これに代えて、互いに異なる第１撮像素子及び第２撮像素子又はより多くのの撮像素子を用いてそれぞれ第１画像信号及び第２画像信号を生成することとしてもよい。

【0073】

図９に、撮像部１１における複数の撮像素子の配置の一例を示す。矢印の方向を走査方向、つまり撮像装置１０（移動体）の対象物９９に対する相対移動方向とする。撮像部１１は、走査方向に対して前側及び後側にそれぞれ配列された２つの撮像素子群１１ａ，１１ｂを有する。撮像素子群１１ａは、画素損失が少なくなるようスタガ配列された４つの撮像素子を含む。これら４つの撮像素子は、すべてモノクロセンサ、すべてカラーセンサ、又はモノクロセンサ及びカラーセンサの組み合わせであってよい。また、撮像素子群１１ｂは、画素損失が少なくなるようスタガ配列された４つの撮像素子を含む。これら４つの撮像素子は、すべてモノクロセンサ、すべてカラーセンサ、又はモノクロセンサ及びカラーセンサの組み合わせであってよい。モノクロセンサ及びカラーセンサを組み合わせて使用する場合、カラーセンサにより生成される画像の輝度補正をしてもよい。撮像素子群１１ａにより対象物９９を第１露光時間で撮像して第１画像信号を生成し、撮像素子群１１ｂにより対象物９９を第２露光時間で撮像して第２画像信号を生成する、逆に、撮像素子群１１ａにより対象物９９を第２露光時間で撮像して第２画像信号を生成し、撮像素子群１１ｂにより対象物９９を第１露光時間で撮像して第１画像信号を生成してもよい。

【0074】

図１０に、２台の撮像装置１０ａ，１０ｂを利用する撮像システムを示す。撮像装置１０ａ，１０ｂのそれぞれは、先述の撮像装置１０と同様に構成される。撮像装置１０ａ，１０ｂは、それぞれ異なる移動体に搭載され、互いに間隔を置いて同一の方向に同一の速度で移動しつつ、撮像装置１０ａにより対象物９９を第１露光時間で撮像して第１画像信号を生成し、撮像装置１０ｂにより対象物９９を第２露光時間で撮像して第２画像信号を生成する、逆に、撮像装置１０ａにより対象物９９を第２露光時間で撮像して第２画像信号を生成し、撮像装置１０ｂにより対象物９９を第１露光時間で撮像して第１画像信号を生成してもよい。

【0075】

図１１に、二眼式撮像素子を有する撮像装置１０ｄの構成を示す。撮像装置１０ｄは、撮像部１１ｄ、結像光学系１２ａ，１２ｂ、格納部１３、速度検出部１４、駆動部１５、及び通信部１６を含む。格納部１３、速度検出部１４、駆動部１５、及び通信部１６は先述の撮像装置１０におけるそれらと同様に構成されている。

【0076】

撮像部１１ｄは、２つの撮像素子１１ｅ，１１ｆを有する。撮像素子１１ｅ，１１ｆは、撮像トリガ信号を受けてトリガされることで、撮像トリガ信号により定められた露光時間の間、露光を受けて対象物９９を撮像し、画像信号を生成する。なお、撮像トリガ信号は、画像処理装置２０（制御部２３）から受信する制御信号に従って生成される。

【0077】

結像光学系１２ａ，１２ｂのそれぞれは先述の撮像装置１０における結像光学系１２と同様に構成されている。結像光学系１２ａ，１２ｂは、それぞれ、対象物９９からの光を撮像部１１ｄの撮像素子１１ｅ，１１ｆ上に集光して結像する。

【0078】

斯かる構成の撮像装置１０ｄにおいて、撮像部１１ｄは、撮像素子１１ｅにより対象物９９を第１露光時間で撮像して第１画像信号を生成し、撮像素子１１ｆにより対象物９９を第２露光時間で撮像して第２画像信号を生成する、逆に、撮像素子１１ｅにより対象物９９を第２露光時間で撮像して第２画像信号を生成し、撮像素子１１ｆにより対象物９９を第１露光時間で撮像して第１画像信号を生成してもよい。

【0079】

なお、本実施形態に係る画像処理装置２０では、画像信号を、行方向及び列方向の２次元のウェーブレット変換（平均成分ＬＬ、縦エッジ成分ＬＨ、横エッジ成分ＨＬ、及び斜めエッジ成分ＨＨに分解される）としたが、走査方向（対象物９９の相対移動方向）に対応する行方向、列方向の１次元のウェーブレット変換（平均成分Ｌ，エッジ成分Ｈに分解される）としてもよい。係る場合、第１画像信号のエッジ成分Ｈ及び第２画像信号の平均成分Ｌを用いて画像信号を生成し、これを逆ウェーブレット変換する。

【0080】

なお、本実施形態に係る撮像システム１では、移動体により移動しつつこれに搭載された撮像装置１０により静止した対象物９９を撮像することとしたが、これに代えて、固定された撮像装置１０により、搬送装置により搬送されて移動する対象物９９を撮像することとしてもよい。

【0081】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0082】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0083】

１…撮像システム、１０，１０ａ，１０ｂ，１０ｄ…撮像装置、１１…撮像部、１１ａ，１１ｂ…撮像素子群、１１ｄ…撮像部、１１ｅ，１１ｆ…撮像素子、１２…結像光学系、１２ａ，１２ｂ…結像光学系、１３…格納部、１４…速度検出部、１５…駆動部、１６…通信部、２０…画像処理装置、２１…取得部、２２…処理部、２３…制御部、２４…通信部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】