特許第6395370号(P6395370)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テールズの特許一覧

特許6395370受信された信号の組の中から合算される信号をリアルタイムに決定する方法およびシステム
<>
  • 特許6395370-受信された信号の組の中から合算される信号をリアルタイムに決定する方法およびシステム 図000009
  • 特許6395370-受信された信号の組の中から合算される信号をリアルタイムに決定する方法およびシステム 図000010
  • 特許6395370-受信された信号の組の中から合算される信号をリアルタイムに決定する方法およびシステム 図000011
  • 特許6395370-受信された信号の組の中から合算される信号をリアルタイムに決定する方法およびシステム 図000012
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6395370
(24)【登録日】2018年9月7日
(45)【発行日】2018年9月26日
(54)【発明の名称】受信された信号の組の中から合算される信号をリアルタイムに決定する方法およびシステム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20180913BHJP
   G06T 5/20 20060101ALI20180913BHJP
【FI】
   G06T1/00 400Z
   G06T5/20
【請求項の数】7
【外国語出願】
【全頁数】11
(21)【出願番号】特願2013-237141(P2013-237141)
(22)【出願日】2013年11月15日
(65)【公開番号】特開2014-102834(P2014-102834A)
(43)【公開日】2014年6月5日
【審査請求日】2016年10月19日
(31)【優先権主張番号】1203072
(32)【優先日】2012年11月16日
(33)【優先権主張国】FR
(73)【特許権者】
【識別番号】505157485
【氏名又は名称】テールズ
(74)【代理人】
【識別番号】110001173
【氏名又は名称】特許業務法人川口國際特許事務所
(74)【代理人】
【識別番号】100071054
【弁理士】
【氏名又は名称】木村 高久
(72)【発明者】
【氏名】ピグシェ、オリヴィエ
(72)【発明者】
【氏名】ブラン、ジャン−フランソワ
(72)【発明者】
【氏名】ルナール、クリストフ
(72)【発明者】
【氏名】ミュール、ジャン−フィリップ
【審査官】 鍬 利孝
(56)【参考文献】
【文献】 特開2000−092291(JP,A)
【文献】 米国特許出願公開第2003/0193589(US,A1)
【文献】 特開2012−132836(JP,A)
【文献】 国際公開第2011/142082(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−1/40,3/00−9/40
(57)【特許請求の範囲】
【請求項1】
複数の行および複数の列により形成されたマトリクスとして構成されていて同一の光センサに属する検知器の組から各々受信された画像部分を表す信号の組のうち同一列で受信された信号が合算される信号の個数、および
前記検知器が前記合算される信号の取得に要する時間を
リアルタイムに決定する方法であって、前記方法が、
前記検知器の1つの位置および前記検知器から得られた画像部分を表す信号に基づいて、変調伝達関数および画像部分の信号対ノイズ比の代表値であって前記個数と前記時間とに依存する代表値を決定する決定ステップ(201)と、
前記代表値を最大化する前記個数おび前記時間を探索するステップ(202)を含むことを特徴とする方法。
【請求項2】
前記代表値が、前記画像部分に関連付けられた前記変調伝達関数と前記信号対ノイズ比との乗算により得られる、請求項1に記載の方法。
【請求項3】
前記検知器がマトリクスとして構成されていて、前記方法が更に、
前記光センサを前記画像に相対的に移動させるステップ(301)を含み、前記移動が、軸と前記光センサの列のなす角度の絶対値が閾値より小さい軸で行われ、
前記決定ステップが更に、画像のスクロール速度から前記代表値を決定する、請求項1または2のいずれか1項に記載の方法。
【請求項4】
前記検知器の前記位置、および前記検知器から得られた画像部分を表す前記信号の代表値に関連付けられた前記個数および前記時間を記憶するステップ(302)を更に含む、請求項1〜3のいずれか1項に記載の方法。
【請求項5】
前記決定ステップが、
前記光センサの上流に配置された少なくとも1つのレンズおよび/または少なくとも1つの鏡の光学的歪み、
前記レンズおよび/または前記鏡の変調伝達関数の代表値、
前記光センサが適合されて搭載されている衛星の制御状況、および/または
制御命令の追跡状況
を表すデータをブロードキャストする姿勢軌道制御系および/またはセンサからのデータを利用する、請求項1〜4のいずれか1項に記載の方法。
【請求項6】
画像部分を表す前記信号が、前記光センサの周波数帯域とは別の周波数帯域で、および/または前記光センサの取得ピッチとは別の取得ピッチを用いて、前記信号を取得する前記光センサとは別の少なくとも1つの光センサから更に得られる、請求項1〜5のいずれか1項に記載の方法。
【請求項7】
検知器の組により形成された少なくとも1つの光センサと、
請求項1〜6のいずれか1項に記載の方法の実装に適した処理手段を含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は光画像取得の分野に関する。特に、横並びに配置されていてマトリクスを形成する光検知器の組により形成される光センサにより画像取得が実行される衛星群に適用可能である。
【背景技術】
【0002】
従来技術においては、「ピクセル」という表現の使用は、これらの検知器の1つから受信された、画像の一部を表す情報の項目を指すことが知られている。
【0003】
本発明の文脈において、より具体的には、「プッシュブルーム」システムとして知られるシステムを考慮している。図1に示すこれらのシステムでは、センサ102により取得された画像101は、既知の速度103で既知の方向にスクロールする。この画像のスクローリングは、例えば衛星の移動により生じる。各光検知器は、iと表記される列およびjと表記される行に属する。画像の動きに起因して、画像の一部は、同一列iの検知器により連続的に見られる。合算のために処理装置が、各列に対して、異なる行から受信され、所与の合算時間に従う情報を与える。従来技術ではまた、当該合算に関する「積分」という用語を用いることも知られている。この機能はまた、TDI(Time Delay Integration(時間遅延積分))として知られる。
【0004】
センサがCCD(Charge−Coupled Device(電荷結合素子))製造技術を用いる光学撮像システムが知られている。しかし、これらの光学撮像システムは、TDI機能を有するマトリクスにおける列の位置の関数として合算に用いる行の数を変化させることはない。更に、当該製造技術を用いる光学撮像システムは、特に光センサの前方に配置されたレンズに現れる変動や歪曲を正確に考慮に入れることもない。実際、当該技術では、合算される行の数は、TDI機能を有するマトリクスの全ての列について同一であって、検知器の長さにわたる画質変動を考慮に入れない。
【0005】
また、センサがCMOS(Complementary Metal Oxide Semiconductor(相補型金属酸化膜半導体))製造技術を用いる光学撮像システムも知られている。第1行の検知器により受信された輝度を表す情報の項目から合算時間を選択することが知られており、これは取得した画像の品質を最大化すべく行われる。第1の行の検知器から受信された情報が、他の検知器から受信された画像の情報を表していない場合、決定は従って画像の残りの部分にとって良くない。所与の基準輝度値について変調伝達関数すなわちMTFにより、および信号対ノイズ比すなわちSNRにより形成されたペアからなる関数を最大化すべく合算時間を決定することもまた知られている。変調伝達関数すなわちMTFは画像の鮮明さを記述し、信号対ノイズ比は画像のノイズを記述している。しかし、この決定は検知器上での平均または最低画質に対応する光学撮像システムの検知器から工場で実行されているため、光学機器、従って、SNRおよびMTFからの伝達は検知器に応じて変動する。この決定は、受信状況の変動には適応しない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は従って、検知器に関連付けられた合算時間を決定する代替的な方法を提案することを目的としている。
【課題を解決するための手段】
【0007】
この目的のため、本発明の主題は、同一の光センサに属する検知器の組から各々受信された画像部分を表す信号の組の中から合算される信号の個数をリアルタイムに決定する方法であり、前記検知器が複数の行および複数の列により形成されたマトリクスとして構成されていて、前記合算される信号が同一列で受信される。本方法はまた、前記検知器が前記合算される信号の取得に要する時間の決定を可能にする。
【0008】
本方法は、検知器の1つの位置および前記検知器から得られた画像部分を表す信号に基づいて、変調伝達関数および当該画像部分の信号対ノイズ比すなわちSNRの代表値を決定するステップを含んでいる。この代表値は当該個数に依存する。本方法はまた、代表値の個数、および代表値を最大化する時間を求めるステップを含んでいる。
【0009】
本方法は従って、画像の鮮明さと、当該画像の最終的な信号対ノイズ比との間を調整する合算値の個数の値を得る方法を提供する。
【0010】
有利には、代表値は、画像に関連付けられた変調伝達関数と信号対ノイズ比との乗算により得られる。
【0011】
有利には、本方法はまた、光センサを画像に相対的に移動させるステップを含んでいる。移動は、軸と光センサの列のなす角度の絶対値が閾値より小さい軸で行われる。決定ステップは更に、速度から代表値を決定するのに適している。
【0012】
閾値の好適な値は5°である。
【0013】
有利には、本方法は、検知器の位置、および検知器から得られた画像部分を表す信号の代表値に関連付けられた個数および時間を記憶するステップを含んでいる。
【0014】
有利には、決定ステップは、前記光センサの上流に配置された少なくとも1つのレンズおよび/または少なくとも1つの鏡の光学的歪み、前記レンズおよび/または前記鏡の変調伝達関数の代表値、前記光センサが適合されて搭載されている衛星の制御状況、および/または前記制御命令の追跡状況を表すデータをブロードキャストする姿勢軌道制御系および/またはセンサからのデータの利用に適している。
【0015】
有利には、画像部分を表す信号は、別の周波数帯域で、および/または別の取得ピッチを用いて、前記信号を取得する少なくとも1つの他の光センサから更に得られる。
【0016】
周波数帯域のこの選択は、センサの前方に配置された光学フィルタにより実現される。
【0017】
本発明の別の主題は、検知器の組により形成された少なくとも1つの光センサおよび本方法の実装に適した処理手段を含むシステムである。
【図面の簡単な説明】
【0018】
以下の図面に例示する実施形態の詳細な記述を精査することにより、本発明に対する理解が深まると共に他の利点が明らかになろう。
図1】光学撮像システムを示す。
図2】本発明の第1の態様による方法を示す。
図3】本発明の第2の態様による方法を示す。
図4】CMOS検知器の列の始まりを示す。
【発明を実施するための形態】
【0019】
本方法は従って、図1に示すように、TDI機能を有するセンサの列iに従う合算値の個数、およびTDI機能を有するマトリクスの列iのN(i)−N個の物理ピクセルのシーンについてのサンプリング時間および積分時間に依存するパラメータK(j)を決定する。Nは観察された画像部分の信号の評価に用いる第1行の数である。サンプリング時間は、列方向のピッチをシーンのスクロール速度で除算することにより得られる。本方法はまた、センサの列iに従い合算に用いる行の数を表すパラメータN(i)を決定する。実際、TDI機能を有するマトリクスの列i上でスクロールしているピクセルの表面に対応するシーンの領域に対して、受信された輝度は、当該列では同一であるが当該フィールドでは変動すると仮定される。Kt(i)はより正確に、列iに関連付けられた積分時間Tintと、センサの列iの検知器のサンプリング時間Tとの比率として定義される。
【0020】
これらの2つのパラメータK(i)およびN(i)の選択は、変調伝達関数すなわちMTF、および信号対ノイズ比すなわちSNRに依存するパラメータを最大化すべく行われる。この合算に用いる積分時間または行の数が増加したならば、信号対ノイズ比は増加し、且つ変調伝達関数は減少する。この最適化は、センサの列番号iおよび画像の行番号jで示すセンサのTDI機能を有するマトリクスの各物理ピクセル列について実現される。
【0021】
MTFは、前記光センサの上流に配置された少なくとも1つのレンズのおよび/または少なくとも1つの鏡の変調伝達関数に依存する部分、および合算される信号に依存する部分からなる。
【0022】
換言すれば、MTFは観察された信号(仮定された1次線形)に依存しないが、以下のように依存する。
−光学MTFは、マトリクスの上流で望遠鏡の全光学機器に依存し、
−運動MTFは、マトリクスに相対的なシーンの理論的な動きに依存し、
−非同期化MTFは、合算されるマトリクスの列iで経過した時間に、従って当該列で合算される検知器の数N(i)、およびシーンの実際の動きに依存する。
【0023】
この最適化の実行に用いる方法のうち、いくつかの数値解析法を用いることができ、探索領域もまた離散化することができ、これらの位置で最適化される関数の値を計算して、そこから最適パラメータの近似値を推論することができる。
【0024】
本方法は、画像処理装置内で実行される。本装置は、画像を表す情報の項目を受信すべく光センサに接続されている。
【0025】
一般に、SNRおよびMTFに依存する関数は、SNRが最小値SNRminよりも大きく、MTFが2つの最小および最大境界の間にあるという制約の下で最適化され、これはパラメータK(i)およびN(i)の値が拘束されていて、各々間隔[Ktmintmax]および間隔[Nminmax](ここで、Nmin>N)に属しなければならないことを示唆する。Nは、受信された信号の評価に用いるTDI機能を有するマトリクスの物理的な行の数であり、次いでTDI機能を有するマトリクスの列iで受信された信号の当該評価をSNRの計算に用いる。
【0026】
本方法は図2に示すように2つのステップを含んでいる。ステップ201は画像の変調伝達関数および/または信号対ノイズ比の代表値を決定する。この代表値は、各検知器について得られ、検知器の位置および検知器から受信された画像部分を表す信号に依存する。代表値はまた、積分時間、すなわちセンサの列iに応じて検知器の物理ピクセルiが画像信号の評価に用いる光子を取得するのに要する時間、および画像信号のサンプリング時間に依存するパラメータK(i)に依存する。この値はまた、センサの列iに従い合算に用いる物理的な行の数を表すパラメータN(i)に依存する。本方法はまた、画像の変調伝達関数および/または信号対ノイズ比の代表値を最大化するパラメータのK(i)および/またはパラメータN(i)値を探索するステップ202を含んでいる。
【0027】
本方法はまた図3に示すように、光センサを画像に相対的に移動させるステップ301と、検知器の位置および検知器から得られた画像部分を表す信号の代表値に関連付けられた合算(より具体的には、パラメータK(i)および/またはパラメータN(i))を記憶するステップ302を含んでいる。
【0028】
列iの検知器のMTFパラメータの値は、パラメータK(i)およびN(i)の値、および画像の取得時点で既知のパラメータに依存し、当該パラメータは、地上での光学的解析により影響を計算してシーンの取得前に装置にアップロード可能な光学的歪みに起因し、見る角度に起因し、運動学的解析により影響を計算してシーンの取得前に装置にアップロード可能な制御法則に起因し、キャリアの姿勢軌道制御系からリアルタイムに到達するかまたは運動学的解析から得られてシーンの取得前にアップロード可能なデータを介した制御法則の追跡に起因し、また機械的解析から得られてシーンの取得前にアップロード可能であるかまたは衛星に現在搭載されているセンサからリアルタイムに到達可能なデータを介した微小振動に起因する。
【0029】
列iの検知器のSNRパラメータの値は、パラメータK(i)およびN(i)の値、A(i)、B(i)およびC(i)と表記されるシステムパラメータの値、および画像信号S(i、j)の値に依存する。S(i、j)は、列iおよび行jの検知器から受信された画像の一部を表す情報の変換により得られる。A(i)は、信号に比例するノイズ成分の前のノイズ成分を表す係数であり、B(i)は信号の2乗根に比例するノイズ成分の前の係数を表し、C(i)は信号とは独立な成分の係数を表す。
【0030】
本発明の方法を実装する装置は従って、パラメータK(i)およびN(i)の値の調整の前に得られた信号S(i、j)の評価手段を与える。この評価手段は、合算の後の測定よりも解像度が低いかまたはノイズが多い信号S(i、j)の測定値を与える。S(i、j)は例えば、光センサの最初のN行(Nは既知でシステムの設計により固定されている)で得られて、パラメータKt0に依存する固定された数の行が合算されている信号であってよい。Kt0は検知システムのパラメータであって、最初のN行のサンプリング時間にわたる基本積分時間(1行に対応)を表す。
【0031】
S(i、j)はまた、別の周波数帯域の信号を取得可能な別のセンサにより与えられる信号であってよく、その取得はCMOSセンサによる取得の前に実行される。例えば、当該他センサの検知器が、焦点面におけるそれらの位置、およびシーンのスクロール方向および速度に起因しCMOS検知器の前方に配置されている場合が上記に該当する。
【0032】
従って、検知器(列i、行jに配置された検知器)による、画像の一部を表す情報の項目の取得に続いて、当該情報は信号S(i、j)を得るべく変換され、次いで関数F(MTF、SNR)を最適化するパラメータK(i)およびN(i)の値が決定される。
【0033】
MTFは、pixel−1として表される空間周波数変数f、f、および検知器が属する列の数iに依存する。一般に、MTF値は、(f=0.5pixel−1、f=0)および(f=0、f=0.5pixel−1)のペアについて計算されるが、画像の品質を最適化する他の周波数値を選択してもよい。
MTF(i、f、f
=MTFoptics(i、f、f).MTFstatic(f、f).MTFmotion(f、f).MTFdesynchronization(i、f、f
ここで、MTFoptics(i、f、f)は衛星に搭載された望遠鏡に依存する光学機器のMTFである。光学機器のMTF値は測定値、光学的解析または衛星に搭載されたセンサから得られる。
【数1】
【0034】
図4に、CMOS検知器の列の始まりを示し、白色の領域が検知器の感光面を表し、パラメータPacq、PおよびPrefを当該図面に表している。
【0035】
MTFbroadcast(i、f、f)はブロードキャストMTFである。ブロードキャストMTFの値は、衛星が軌道上に配置される前に衛星に実行される測定により知られる。
MTFmotion(f、f)=sinc(π*Ktavg(i)*f
【0036】
従って、K(i)はある行の積分時間Tintと、センサの列iの検知器のPrefに対応するサンプリング時間Tとの比として定義される。
【0037】
従って
【数2】
であり、ここで、N(i)はセンサの列iの検知器から受信された情報項目の合算に用いる行の数である。
MTFdesynchronization(i、f、f)=G(i、N(i)、f)*G(i、N(i)、f
【0038】
MTFdesynchronizationはTDIの動作に関するシーンの速度の非同期化に起因するMTFを表す。
【0039】
(i、N(i)、f)は、空間周波数f(MTF(変調伝達関数)値が各空間周波数に対して与えられていることを忘れてはならない)について、焦点面のx軸(列に垂直な)、検知器i、および合算されるピクセルの数Nに対して与えらえる。
【0040】
(i、N(i)、f)は、マトリクス上をスクロールするシーンの信号の列内のN(i)個のピクセルについての積分および合算計算の持続時間にわたる実際のスクロール速度および方向が、当該値から、および理論上の方向から分散するという事実により、当該軸に沿った非同期化MTFの成分であり、当該速度はマトリクスの列に完全に沿った当該位置および方向へのスクローリングに完全に同期されている。
(i、N(i)、f):y軸について(列に沿って)同様である。
【0041】
換言すれば、ここで、信号S(i、j)はパラメータKt0と共に得られた最初のN行から来る場合に、GおよびGの近似値は以下のように与えられる。
【数3】
【0042】
上式において、g(i)は全シフト角である。この角度は、測定器の焦点面のシーンにおけるスクロール速度のTDI機能を有するマトリクスの列iに関する角度を表す。この角度は、以下の基本項の影響の合算である。
・光学的解析および発射前に行われる測定に基づく、シーンの取得前にアップロードされた光学的歪み、
・運動学的解析に基づく、シーンの取得前にアップロード可能な特徴を有する視線の制御、
・運動学的な分析に基づく、またはキャリア宇宙船の姿勢軌道制御系すなわちAOCSのリアルタイムデータから着信可能な、シーンの取得前にアップロード可能な特徴を有する視線の制御命令の追跡。姿勢軌道制御系は、ミッションの要求に合わせて所望の姿勢に設定し、軌道を調整する目的で宇宙船の制御機能を提供するオンボード設備およびソフトウェアのアセンブリである。
・シーンの取得前にアップロードされた機械的解析、またはキャリア宇宙船に搭載されたセンサからのリアルタイムデータから着信可能な特徴を有する微小振動。
【0043】
換言すれば、望遠鏡の光学的歪み、衛星の制御、および命令の追跡は、実際のスクロール速度V(i)および方向(シフトg(i)の角度)の計算に直接介在するため、項GおよびGの非同期化MTFの式に直接現れる。
【0044】
は以下のように近似することができる。
【数4】
【0045】
V(i)は、センサの列iの検知器について、TDI機能を有するマトリクス上でのシーンのスクロール速度であり、図1に要素103として表されている。測定器の光学的歪みを考慮すれば、この速度は、TDI機能を有するマトリクスの列の数iに依存する。この速度は、ピクセルを時間に除算する式で表される。この速度は、軌道上の衛星の速度から、制御法から、解析に基づくかまたはキャリア宇宙船に搭載された姿勢軌道制御系によりリアルタイムで得られた、シーンの取得前にアップロード可能な衛星のオイラー角の角速度から、機械的解析に基づくかまたはキャリア宇宙船に搭載されたセンサによりリアルタイムで得られた、シーンの取得前にアップロードされた微小振動の特徴から、および光学的解析および発射の前に実行された測定に基づいてシーンの取得前にアップロードされた光学機器の特徴(焦点および歪み特徴)から得られる。
【0046】
信号S(i、j)が、シーンの列iに配置された検知器により受信され、行jから着信することを考慮することにより、SNRパラメータがモデル化される。当該信号は最初のN行について、パラメータKt0と共に取得される。信号内のノイズは以下の平方和に依存する。
【数5】
【0047】
上式は、信号の値、光子ノイズ、および信号に依存しないノイズに比例する読み取りノイズを表す。この独立ノイズは、暗電流ノイズおよび量子化ノイズを含んでいる。従って、合算の計算に用いるN(i)行について、ノイズは以下の値を有している。
【数6】
【0048】
従って、信号対ノイズ比の値は次式の通りである。
【数7】
【0049】
最適化したい関数F(FTM、SNR)が積FTM*SNRであるならば、MTFoptic(i、f、f)およびMTFstatic(f、f)の式はN(i)およびK(i)からは独立している。これにより、先の関数の積から得られる、最適化したい式を簡素化することができる。
【0050】
パラメータK(i)およびN(i)の値は離散的であって値の個数は有限である。従って、これらの値の組について関数F(FTM、SNR)を計算し、次いで関数F(FTM、SNR)を最大化するペア(K(i)、N(i))を見つけることは可能であり、当該ペアはS(i、j)およびiに依存する。
【0051】
この最適化はリアルタイムで実行する必要があるため、S(i、j)およびiの値の組について、上述のようにペア(K(i)、N(i))の最適値を計算することも可能である。これらのデータ項目は次いでテーブルに入れられ、これらのテーブルの読み込みを加速するために、ペア(K(i)、N(i))の値が、同様の添え字iの範囲および信号(Si、j)の同様に値の範囲で一定であると考えてもよい。
【0052】
また、本方法を利用する装置が、画像を表す情報に加え、検知器(i、j)の取得特性を送信することも可能である。これは特に、検知器(i、j)による情報の取得を行う間に合算に用いられてきた行の数N(i)、または合算を実行するのに利用されてきたパラメータK(i)である。当該データの送信は、画像のピクセル間の放射測定誤差を修正する較正および放射測定均等化に役立つ。
【符号の説明】
【0053】
101 画像
102 センサ
103 速度
201 決定するステップ
202 探索するステップ
301 移動するステップ
302 記憶するステップ
i 列
j 行
図1
図2
図3
図4