知財求人 - 知財ポータルサイト「IP Force」
特開2024-22240画像処理装置、画像処理方法、画像処理システム、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022240
(43)【公開日】2024-02-16
(54)【発明の名称】画像処理装置、画像処理方法、画像処理システム、およびプログラム
(51)【国際特許分類】
H04N 25/00 20230101AFI20240208BHJP
H04N 25/71 20230101ALI20240208BHJP
【ＦＩ】
H04N5/335
H04N5/372
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022125672
(22)【出願日】2022-08-05
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【弁理士】
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】植松 海
(72)【発明者】
【氏名】関川 純人
【テーマコード（参考）】
5C024
【Ｆターム（参考）】
5C024AX19
5C024CX21
5C024GY01
5C024GY31
5C024JX37
(57)【要約】
【課題】特定の校正用ターゲットを不要とし、定期校正を待たずに実際の観測データから逐次欠陥画素を除外することができる画像処理装置、画像処理方法、画像処理システム、およびプログラムを提供することを目的としている。
【解決手段】画像処理装置は、ＣＭＯＳ型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得する取得部と、ＴＤＩ処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、欠陥画素信号が除外されたデータに対してＴＤＩ処理を行うＴＤＩ部と、を備える。
【選択図】図２
【解決手段】画像処理装置は、ＣＭＯＳ型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得する取得部と、ＴＤＩ処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、欠陥画素信号が除外されたデータに対してＴＤＩ処理を行うＴＤＩ部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、
を備える画像処理装置。
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、
を備える画像処理装置。
【請求項2】
前記識別除外部は、取得された前記データに対して、複数フレームの中で衛星の進行方向に並ぶ画素のうち正常画素の信号レベルの所定の範囲を超えたフレームの画素信号を欠陥画素信号として識別し、前記欠陥画素信号として識別した画素信号を除外する、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記識別除外部は、
前記欠陥画素信号として識別した画素信号を除外した残りの画素の信号レベルの平均値を算出し、算出した平均値を用いて除外した画素の信号を補正する、
請求項１または請求項２に記載の画像処理装置。
前記欠陥画素信号として識別した画素信号を除外した残りの画素の信号レベルの平均値を算出し、算出した平均値を用いて除外した画素の信号を補正する、
請求項１または請求項２に記載の画像処理装置。
【請求項4】
前記所定の範囲は、前記受光素子の特性に基づく、
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項5】
前記所定の範囲は、正常な画素の信号レベルに基づく、
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項6】
衛星装置と、画像処理装置とを備える画像処理システムであって、
前記衛星装置は、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子と、
前記受光素子が撮像した信号を読み出す読出部と、
前記読み出された信号を送信する通信部と、を備え、
前記画像処理装置は、
前記受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、を備える、
画像処理システム。
前記衛星装置は、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子と、
前記受光素子が撮像した信号を読み出す読出部と、
前記読み出された信号を送信する通信部と、を備え、
前記画像処理装置は、
前記受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、を備える、
画像処理システム。
【請求項7】
取得部が、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得し、
識別除外部が、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外し、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行う、
画像処理方法。
識別除外部が、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外し、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行う、
画像処理方法。
【請求項8】
処理装置のコンピュータに、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得させ、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外させ、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行わせる、
を実行させるプログラム。
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得させ、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外させ、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行わせる、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、画像処理システム、およびプログラムに関する。
【背景技術】
【0002】
地球観測衛星に搭載する光検出器には、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサや赤外線センサなどが挙げられる。このようなイメージセンサでは、光電変換素子からなる複数の画素がアレイ状に配列されている。各画素の感度は用途に応じて適宜調整されるが、欠陥画素が避けられない課題としてある。原因不明のノイズや経年劣化の影響により、軌道上で欠陥画素が増加する。特に二次元検出器を用いてデジタルＴＤＩ（Time Delay Integration）を行う場合は、異常が生じた画素をそのまま用いると画像に悪影響を与える可能性がある。
【0003】
画像への悪影響を避けるための各種対応が求められる。例えば、定期校正時に特定の校正ターゲットを用いるなどにより欠陥画素の除去が行われる。その他、特許文献１では、判定回路によって画素の飽和を識別する機能を備えた撮像装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１６－２１３７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の技術では、突発的な異常出力や、感度を失った画素の増加に対応できなかった。
【0006】
本発明の目的の一例は、上記の課題を解決する画像処理装置、画像処理方法、画像処理システム、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の第１の態様の画像処理装置は、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得する取得部と、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、を備える。
【0008】
本発明の第２の態様の画像処理システムは、衛星装置と、画像処理装置とを備える画像処理システムであって、前記衛星装置は、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子と、前記受光素子が撮像した信号を読み出す読出部と、前記読み出された信号を送信する通信部と、を備え、前記画像処理装置は、前記受光素子で撮像されたデータを複数フレーム分取得する取得部と、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、を備える。
【0009】
本発明の第３の態様の画像処理方法は、取得部が、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得し、識別除外部が、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外し、ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行う、画像処理方法である。
【0010】
本発明の第４の態様のプログラムは、画像処理装置のコンピュータに、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得させ、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外させ、ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行わせる、を実行させるプログラムである。
【発明の効果】
【0011】
本発明によれば、突発的な異常出力や、感度を失った画素の増加に対応することができる。
【図面の簡単な説明】
【0012】
【図1】実施形態の衛星装置が備える受光素子の構成例を説明する。
【図2】施形態に係る画像処理装置の基本構成例を示す図である。
【図3】実施形態に係る画像処理システムの構成例を示す図である。
【図4】検出器の処理を説明するための図である。
【図5】実施形態に係る画像処理装置側の処理を説明するための図である。
【図6】実施形態に係る欠陥素子等のデータの識別と除外を説明するための図である。
【図7】実施形態に係る欠陥素子等のデータの識別と除外を説明するための図である。
【図8】実施形態に係る画像処理装置の処理手順例のフローチャートである。
【図9】実施形態に係る画像処理装置、衛星装置を実現可能な計算処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0014】
［受光素子の構成例］
まず、本実施形態の衛星装置が備える受光素子の構成例を説明する。図１のように、本実施形態の受光素子３１１は、縦方向と横方向に複数の素子を備える。以下の説明では、衛星の進行方向（ＡＴ方向）を縦方向とし、衛星進行直角方向（ＣＴ方向）を横方向とする。本実施形態の受光素子３１１は、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型イメージセンサである。なお、このＣＭＯＳ型イメージセンサとは、可視または赤外の検出器を含む。
まず、本実施形態の衛星装置が備える受光素子の構成例を説明する。図１のように、本実施形態の受光素子３１１は、縦方向と横方向に複数の素子を備える。以下の説明では、衛星の進行方向（ＡＴ方向）を縦方向とし、衛星進行直角方向（ＣＴ方向）を横方向とする。本実施形態の受光素子３１１は、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型イメージセンサである。なお、このＣＭＯＳ型イメージセンサとは、可視または赤外の検出器を含む。
【0015】
［画像処理装置の基本構成例］
次に、画像処理装置２の基本構成例を説明する。
図２は、実施形態に係る画像処理装置の基本構成例を示す図である。図２のように、画像処理装置２は、取得部２１と、識別除外部２２と、ＴＤＩ部２３を備える。なお、画像処理装置２は、地上で運用されてもよく、衛星装置３が備えていてもよい。
次に、画像処理装置２の基本構成例を説明する。
図２は、実施形態に係る画像処理装置の基本構成例を示す図である。図２のように、画像処理装置２は、取得部２１と、識別除外部２２と、ＴＤＩ部２３を備える。なお、画像処理装置２は、地上で運用されてもよく、衛星装置３が備えていてもよい。
【0016】
取得部２１は、衛星装置３が送信するデータを取得する。なお、データは、受光素子３１１がＣＭＯＳ型であるため、撮像フレーム毎に受光素子３１１の全画素から電荷がデジタル信号に変換され、変換されたデジタル信号を読み出したものである。
【0017】
識別除外部２２は、受信されたデータに対してＴＤＩ処理前に、複数フレームの中で、ＡＴ方向に並ぶ画素のうち、正常画素の範囲を超えたレベルの画素信号を欠陥画素信号として識別する。識別除外部２２は、欠陥画素信号として識別した画素信号を除外する。なお、上述した識別と除外処理については、後述する。なお、以下の説明において、「デジタルＴＤＩ」を、「ＴＤＩ処理」とも言う。なお、本実施形態において、欠陥画素は、例えば、感度を失った画素、異常出力を示す画素等である。
【0018】
ＴＤＩ部２３は、欠陥画素信号が除外されたデータに対して、ＴＤＩ処理を行う。なお、上述したＴＤＩ処理については、後述する。
【0019】
［画像処理システムの構成例］
次に、画像処理システム１の構成例を説明する。図３は、本実施形態に係る画像処理システムの構成例を示す図である。図３のように、画像処理システム１は、画像処理装置２Ａと、衛星装置３を備える。なお、上述したように画像処理装置２Ａは、地上で運用されてもよく、衛星装置３が備えていてもよい。なお、衛星装置３が画像処理装置２Ａを備える場合、衛星装置３と画像処理装置２Ａは、有線で接続されていてもよく、無線で接続されていてもよい。
画像処理装置２Ａは、例えば、取得部２１と、識別除外部２２と、ＴＤＩ部２３と、出力部２４を備える。
衛星装置３は、例えば、検出器３１と、読出部３２と、通信部３３を備える。
検出器３１は、例えば、受光素子３１１と、出力部３１２を備える。
次に、画像処理システム１の構成例を説明する。図３は、本実施形態に係る画像処理システムの構成例を示す図である。図３のように、画像処理システム１は、画像処理装置２Ａと、衛星装置３を備える。なお、上述したように画像処理装置２Ａは、地上で運用されてもよく、衛星装置３が備えていてもよい。なお、衛星装置３が画像処理装置２Ａを備える場合、衛星装置３と画像処理装置２Ａは、有線で接続されていてもよく、無線で接続されていてもよい。
画像処理装置２Ａは、例えば、取得部２１と、識別除外部２２と、ＴＤＩ部２３と、出力部２４を備える。
衛星装置３は、例えば、検出器３１と、読出部３２と、通信部３３を備える。
検出器３１は、例えば、受光素子３１１と、出力部３１２を備える。
【0020】
衛星装置３は、例えば宇宙から地球で起きる諸現象を観測する地球観測衛星である。
【0021】
受光素子３１１は、上述したようにＣＭＯＳ型イメージセンサであり、複数の素子で構成される。
出力部３１２は、撮像フレーム毎に受光素子の全画素からの電荷をデジタル信号に変換する。
出力部３１２は、撮像フレーム毎に受光素子の全画素からの電荷をデジタル信号に変換する。
【0022】
読出部３２は、変換されたデジタル信号を読み出す。
【0023】
通信部３３は、読み出されたデジタル信号を、画像処理装置２Ａへ出力する。
【0024】
画像処理装置２Ａの出力部２４は、ＴＤＩ処理された結果を出力する。
【0025】
［衛星装置側と画像処理装置側の処理］
まず、衛星装置３側の処理について説明する。
図４は、検出器の処理を説明するための図である。受光素子３１１がＣＭＯＳイメージセンサであるため、図４のように、撮像フレーム（Ｔ＝Ｔ１、Ｔ２、…、ＴＮ）毎に受光素子の全画素から、電荷がデジタル信号に変換され、読み出される。この際、Ｔ＝Ｔ１のときに１番目の画素が地表の特定の1点を撮像しており（ｇ１００）、Ｔ＝Ｔ２のときに２番目の画素が地表の特定の1点を撮像しており（ｇ１１０）、…、Ｔ＝ＴＮのときにＮ番目の画素が地表の特定の1点を撮像している（ｇ１２０）。なお、図４において、撮影されたデータは、衛星装置３から地上システムに送信される。なお、「地上システム」は、各種処理機能を有し、画像処理装置２Ａの機能を有していてもよい。
まず、衛星装置３側の処理について説明する。
図４は、検出器の処理を説明するための図である。受光素子３１１がＣＭＯＳイメージセンサであるため、図４のように、撮像フレーム（Ｔ＝Ｔ１、Ｔ２、…、ＴＮ）毎に受光素子の全画素から、電荷がデジタル信号に変換され、読み出される。この際、Ｔ＝Ｔ１のときに１番目の画素が地表の特定の1点を撮像しており（ｇ１００）、Ｔ＝Ｔ２のときに２番目の画素が地表の特定の1点を撮像しており（ｇ１１０）、…、Ｔ＝ＴＮのときにＮ番目の画素が地表の特定の1点を撮像している（ｇ１２０）。なお、図４において、撮影されたデータは、衛星装置３から地上システムに送信される。なお、「地上システム」は、各種処理機能を有し、画像処理装置２Ａの機能を有していてもよい。
【0026】
本実施形態では、衛星装置３が、複数フレームの検出器のデータを画像処理装置２Ａへ送信するようにした。そして、本実施形態では、画像処理装置２Ａ側でデジタルＴＤＩ処理を行うようにした。
【0027】
次に、画像処理装置２Ａ側の処理について説明する。
図５は、本実施形態に係る画像処理装置側の処理を説明するための図である。図５のように、画像処理装置２Ａは、衛星装置３から受信した複数フレームのデータのうち、ＡＴ方向の画素のデジタル値を、フレームをずらしながら加算していく（ｇ２００；ＴＤＩ処理）。なお、本実施形態においてＴＤＩ処理とは、時間をズラしながら光量を積算している処理である。これにより、画像処理装置２Ａは、ＡＴ方向の画素のデジタル値を時間をズラしながら積算することで撮像データを生成する。
本実施形態では、このような欠陥画素等のデータを、ＴＤＩ処理前に識別して、データを除外するようにした。
図５は、本実施形態に係る画像処理装置側の処理を説明するための図である。図５のように、画像処理装置２Ａは、衛星装置３から受信した複数フレームのデータのうち、ＡＴ方向の画素のデジタル値を、フレームをずらしながら加算していく（ｇ２００；ＴＤＩ処理）。なお、本実施形態においてＴＤＩ処理とは、時間をズラしながら光量を積算している処理である。これにより、画像処理装置２Ａは、ＡＴ方向の画素のデジタル値を時間をズラしながら積算することで撮像データを生成する。
本実施形態では、このような欠陥画素等のデータを、ＴＤＩ処理前に識別して、データを除外するようにした。
【0028】
図６、図７は、本実施形態に係る欠陥素子等のデータの識別と除外を説明するための図である。
図６において、符号ｇ３５１は、撮像対象からの光量を表している。符号ｇ３５２は、同じ地点を撮像している出力が正常な画素を表している。符号ｇ３５３は、同じ地点を撮像している出力が異常な画素を表している。
図６において、符号ｇ３５１は、撮像対象からの光量を表している。符号ｇ３５２は、同じ地点を撮像している出力が正常な画素を表している。符号ｇ３５３は、同じ地点を撮像している出力が異常な画素を表している。
【0029】
図７において、横軸はＡＴ方向の画素番号、縦軸は画素の出力レベルである。本実施形態では、図７のように、識別除外部２２が、受信したデータのレベルが所定の範囲内であるデータ（ｇ３７１）を正常な出力として識別する。また、識別除外部２２が、受信したデータのレベルが所定の範囲外であるデータ（ｇ３７８）を異常な出力として識別して除外する。また、図７のように、画素毎の出力には、出力が正常であっても、例えば、ランダムノイズやオフセットや感度の補正残差等の影響によってばらつく。このため、所定の範囲は、受光素子３１１の特性に基づき、受光素子３１１毎に異なる。なお、所定の範囲は、例えば、正常な画素の信号レベルに基づいて設定するようにしてもよい。
【0030】
なお、例えばＡＴ方向の画素数が１６個であり、そのうち２つを欠陥画素として除外した場合、識別除外部２２は、残りの１４個のデータの平均値を算出し、算出した平均値に画素数１６を乗じることで全てのフレームの画素のデータの加算値を算出する。すなわち、識別除外部２２は、算出した平均値を用いて除外した画素の信号を補正する。これにより、欠陥画素のデータを除外し、画素の出力以上による例えば縞模様等の発生を防ぐことができる。
【0031】
図８は、本実施形態に係る画像処理装置の処理手順例のフローチャートである。
【0032】
（ステップＳ１）取得部２１は、全フレームのデータを受信する。
【0033】
（ステップＳ２）識別除外部２２は、受信された全フレームのデータが所定の範囲内であるか否かを判別する。識別除外部２２は、受信された全フレームのデータが所定の範囲内である場合（ステップＳ２；ＹＥＳ）、ステップＳ５の処理に進める。識別除外部２２は、受信された全フレームのデータが所定の範囲外である場合（ステップＳ２；ＮＯ）、ステップＳ３の処理に進める。
【0034】
（ステップＳ３）識別除外部２２は、所定の範囲外のデータを除外する。
【0035】
（ステップＳ４）識別除外部２２は、除外したデータ以外のデータの平均値を算出する。
【0036】
（ステップＳ５）識別除外部２２は、受信された全フレームのデータが所定の範囲内である場合、全フレームのデータを加算して撮像データを算出する。識別除外部２２は、受信された全フレームのデータに所定の範囲外のデータがある場合、ステップＳ４で算出した平均値を用いて撮像データを算出する。
【0037】
以上のように、本実施形態では、デジタルＴＤＩ前の二次元の検出器出力データに対して、異常画素を識別して、デジタルＴＤＩから除外することで画質への悪影響を最小化させるようにした。
なお、上述したように衛星進行効果により地上をプッシュブルーム方式で撮像し、二次元検出器のＡＴ方向画素を用いてデジタルＴＤＩ処理を行う場合は、デジタルＴＤＩ処理を行う前の複数フレームに、地上の同じ地点が写っている。
欠陥画素がない場合、同じ地点が写った画素からは、元々画素が持っている微弱な変動を除いて同程度の出力が得られる。
なお、上述したように衛星進行効果により地上をプッシュブルーム方式で撮像し、二次元検出器のＡＴ方向画素を用いてデジタルＴＤＩ処理を行う場合は、デジタルＴＤＩ処理を行う前の複数フレームに、地上の同じ地点が写っている。
欠陥画素がない場合、同じ地点が写った画素からは、元々画素が持っている微弱な変動を除いて同程度の出力が得られる。
【0038】
本実施形態では、上述したように、ＴＤＩ処理を行うＡＴ方向に並ぶ画素の中で、地上の同じ地点を撮像しているにも関わらず正常な画素の出力レベルのばらつき範囲を超えた画素を、ＲＴＳノイズが発生している欠陥画素または新規の欠陥画素として識別する。本実施形態では、識別した画素をデジタルＴＤＩから除外するようにした。
【0039】
本実施形態では、通常の撮像データを用いて逐次行うことができるため、校正用の特定の領域や、校正黒体や深宇宙撮像といった特別なターゲットを確認する必要がない。そして、本実施形態によれば、特定の校正用ターゲットを不要とし、定期校正を待たずに実際の観測データから逐次欠陥画素を除外することができる。また、本実施形態によれば、突発的な異常出力や、感度を失った画素の増加に対応できる。
なお、このような処理は、本実施形態のように、全てのフレームデータを衛星装置３から画像処理装置２Ａへ送信し、画像処理装置２Ａ側でＴＤＩ処理を行う手法のため実現可能である。
なお、このような処理は、本実施形態のように、全てのフレームデータを衛星装置３から画像処理装置２Ａへ送信し、画像処理装置２Ａ側でＴＤＩ処理を行う手法のため実現可能である。
【0040】
（第１の比較例）
ここで、第１の比較例と比較する。
第１の比較例では、校正用のターゲット（例えば一様な面）を撮像し、全画素の出力を確認することで画素の特性を把握し、欠陥画素の識別を行う。第１の比較例では、ＴＤＩを行わないようにするため、校正のための撮像が必要となる。第１の比較例では、校正の間、通常の撮像を行うことができず、衛星の運用に制約ができる。このため、第１の比較例では、突発的なノイズ（例えばＲＴＳ（ランダム・テレグラフ・シグナル）ノイズ）や新規の欠陥画素の増加に逐次対応することができない。
これに対して、本実施形態では、校正によらず取得したデータに対して処理を行うため、衛星の運用に制約が出ず、突発的なノイズや新規の欠陥画素の増加に逐次対応することができる。
ここで、第１の比較例と比較する。
第１の比較例では、校正用のターゲット（例えば一様な面）を撮像し、全画素の出力を確認することで画素の特性を把握し、欠陥画素の識別を行う。第１の比較例では、ＴＤＩを行わないようにするため、校正のための撮像が必要となる。第１の比較例では、校正の間、通常の撮像を行うことができず、衛星の運用に制約ができる。このため、第１の比較例では、突発的なノイズ（例えばＲＴＳ（ランダム・テレグラフ・シグナル）ノイズ）や新規の欠陥画素の増加に逐次対応することができない。
これに対して、本実施形態では、校正によらず取得したデータに対して処理を行うため、衛星の運用に制約が出ず、突発的なノイズや新規の欠陥画素の増加に逐次対応することができる。
【0041】
（ハードウェア構成例）
図９は、本実施形態に係る画像処理装置、衛星装置を実現可能な計算処理装置のハードウェア構成例を示すブロック図である。
画像処理装置２（または２Ａ）または衛星装置３を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。ただし、画像処理装置２（または２Ａ）または衛星装置３は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、画像処理装置２（または２Ａ）または衛星装置３は、専用の装置として実現されてもよい。
図９は、本実施形態に係る画像処理装置、衛星装置を実現可能な計算処理装置のハードウェア構成例を示すブロック図である。
画像処理装置２（または２Ａ）または衛星装置３を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。ただし、画像処理装置２（または２Ａ）または衛星装置３は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、画像処理装置２（または２Ａ）または衛星装置３は、専用の装置として実現されてもよい。
【0042】
計算処理装置８０は、中央処理演算装置（Central Processing Unit、以降「ＣＰＵ」と表す）８１、揮発性記憶装置８２、ディスク８３、不揮発性記録媒体８４、および通信インタフェース（以降、「通信ＩＦ」と表す）８７を備える。計算処理装置８０は、入力装置８５、出力装置８６に接続可能であってもよい。計算処理装置８０は、通信ＩＦ８７を介して、他の計算処理装置、及び、他の通信装置と情報を送受信することができる。なお、通信ＩＦ８７が行う通信は、有線を用いても無線を用いてもよい。
【0043】
不揮発性記録媒体８４は、コンピュータが読み取り可能な例えば光ディスクである。また、不揮発性記録媒体８４は、ユニバーサルシリアルバスメモリ（ＵＳＢメモリ）、ソリッドステートドライブ（Solid State Drive）等であってもよい。不揮発性記録媒体８４は、電力を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記録媒体８４は、上述した媒体に限定されない。また、不揮発性記録媒体８４の代わりに、通信ＩＦ８７、及び、通信ネットワークを介して係るプログラムを持ち運びしてもよい。
揮発性記憶装置８２は、コンピュータが読み取り可能￥であって、一時的にデータを記憶することができる。揮発性記憶装置８２は、ＤＲＡＭ（dynamic random Access memory）、ＳＲＡＭ（static random Access memory）等のメモリ等である。
揮発性記憶装置８２は、コンピュータが読み取り可能￥であって、一時的にデータを記憶することができる。揮発性記憶装置８２は、ＤＲＡＭ（dynamic random Access memory）、ＳＲＡＭ（static random Access memory）等のメモリ等である。
【0044】
すなわち、ＣＰＵ８１は、ディスク８３に格納されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際に揮発性記憶装置８２にコピーし、演算処理を実行する。ＣＰＵ８１は、プログラム実行に必要なデータを揮発性記憶装置８２から読み取る。表示が必要な場合に、ＣＰＵ８１は、出力装置８６に出力結果を表示する。外部からプログラムを入力する場合に、ＣＰＵ８１は、入力装置８５からプログラムを読み取る。ＣＰＵ８１は、図２または図３に示す各部が表す機能（処理）に対応するところの揮発性記憶装置８２にあるプログラムを解釈し実行する。ＣＰＵ８１は、上述した本発明の各実施形態において説明した処理を実行する。すなわち、このような場合に、本発明の各実施形態は、係るプログラムによっても成し得ると捉えることができる。さらに、係るプログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明の各実施形態は成し得ると捉えることができる。
【0045】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。上述した実施形態において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の主旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。
【0046】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0047】
（付記１）
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、
を備える画像処理装置。
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、
を備える画像処理装置。
【0048】
（付記２）
前記識別除外部は、取得された前記データに対して、複数フレームの中で衛星の進行方向に並ぶ画素のうち正常画素の信号レベルの所定の範囲を超えたフレームの画素信号を欠陥画素信号として識別し、前記欠陥画素信号として識別した画素信号を除外する、
付記１に記載の画像処理装置。
前記識別除外部は、取得された前記データに対して、複数フレームの中で衛星の進行方向に並ぶ画素のうち正常画素の信号レベルの所定の範囲を超えたフレームの画素信号を欠陥画素信号として識別し、前記欠陥画素信号として識別した画素信号を除外する、
付記１に記載の画像処理装置。
【0049】
（付記３）
前記識別除外部は、
前記欠陥画素信号として識別した画素信号を除外した残りの画素の信号レベルの平均値を算出し、算出した平均値を用いて除外した画素の信号を補正する、
付記２に記載の画像処理装置。
前記識別除外部は、
前記欠陥画素信号として識別した画素信号を除外した残りの画素の信号レベルの平均値を算出し、算出した平均値を用いて除外した画素の信号を補正する、
付記２に記載の画像処理装置。
【0050】
（付記４）
前記所定の範囲は、前記受光素子の特性に基づく、
付記２または付記３に記載の画像処理装置。
前記所定の範囲は、前記受光素子の特性に基づく、
付記２または付記３に記載の画像処理装置。
【0051】
（付記５）
前記所定の範囲は、正常な画素の信号レベルに基づく、
付記２から付記４のうちのいずれか１つに記載の画像処理装置。
前記所定の範囲は、正常な画素の信号レベルに基づく、
付記２から付記４のうちのいずれか１つに記載の画像処理装置。
【0052】
（付記６）
衛星装置と、画像処理装置とを備える画像処理システムであって、
前記衛星装置は、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子と、
前記受光素子が撮像した信号を読み出す読出部と、
前記読み出された信号を送信する通信部と、を備え、
前記画像処理装置は、
前記受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、を備える、
画像処理システム。
衛星装置と、画像処理装置とを備える画像処理システムであって、
前記衛星装置は、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子と、
前記受光素子が撮像した信号を読み出す読出部と、
前記読み出された信号を送信する通信部と、を備え、
前記画像処理装置は、
前記受光素子で撮像されたデータを複数フレーム分取得する取得部と、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外する識別除外部と、
欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行うＴＤＩ部と、を備える、
画像処理システム。
【0053】
（付記７）
取得部が、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得し、
識別除外部が、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外し、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行う、
画像処理方法。
取得部が、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得し、
識別除外部が、ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外し、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行う、
画像処理方法。
【0054】
（付記８）
画像処理装置のコンピュータに、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得させ、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外させ、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行わせる、
を実行させるプログラム。
画像処理装置のコンピュータに、
ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）型の複数の画素を有する受光素子で撮像されたデータを複数フレーム分取得させ、
ＴＤＩ（Time Delay Integration）処理を行う前に、取得された前記データのうち欠陥画素信号を除外させ、
ＴＤＩ部が、欠陥画素信号が除外されたデータに対して前記ＴＤＩ処理を行わせる、
を実行させるプログラム。
【符号の説明】
【0055】
１…画像処理システム、
２，２Ａ…画像処理装置、
３…衛星装置、
２１…取得部、
２２…識別除外部、
２３…ＴＤＩ部、
２４…出力部、
３１…検出器、
３２…読出部、
３３…通信部、
３１１…受光素子、
３１２…出力部
２，２Ａ…画像処理装置、
３…衛星装置、
２１…取得部、
２２…識別除外部、
２３…ＴＤＩ部、
２４…出力部、
３１…検出器、
３２…読出部、
３３…通信部、
３１１…受光素子、
３１２…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】