特許 7363112 画像処理装置、画像処理回路、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】画像処理装置、画像処理回路、画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231011BHJP

   G06T 1/00 20060101ALI20231011BHJP

   G06T 3/00 20060101ALI20231011BHJP

   H04N 23/54 20230101ALI20231011BHJP

【ＦＩ】

H04N23/60 500

G06T1/00 285

G06T1/00 420G

G06T3/00

H04N23/54

H04N23/60 300

【請求項の数】 10

(21)【出願番号】P 2019109527

(22)【出願日】2019-06-12

(65)【公開番号】P2020202518

(43)【公開日】2020-12-17

【審査請求日】2022-05-13

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(72)【発明者】

【氏名】今谷 律子

(72)【発明者】

【氏名】伊藤 義恭

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１０－１５７８６３（ＪＰ，Ａ）

【文献】特開２０１８－２０７４９７（ＪＰ，Ａ）

【文献】特開２００２－１２２７７４（ＪＰ，Ａ）

【文献】特開２０１３－１３５３８９（ＪＰ，Ａ）

【文献】特開２０１７－０１７５６３（ＪＰ，Ａ）

【文献】国際公開第２０１０／０９５３５２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００

Ｈ０４Ｎ ２３／５４

(57)【特許請求の範囲】

【請求項1】

光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得部と、
前記受光素子それぞれに対する検出値に対する重みづけ値であって、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた前記重みづけ値を記憶部から取得する重みづけ値取得部と、
前記波長帯毎の前記検出データに含まれる前記各受光素子の検出値それぞれに対して、取得した対応する前記重みづけ値を乗じて、前記撮像対象の一次方向の位置に応じて設定された前記受光素子のビニング範囲毎にビニング処理を行うビニング処理部と、
を備える画像処理装置。

【請求項2】

前記ビニング処理部は、前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた前記重みづけ値を乗じて前記検出データそれぞれのビニング処理を行う
請求項１に記載の画像処理装置。

【請求項3】

前記検出データ毎の前記受光素子の検出値に対する前記重みづけ値のデータテーブルを受信して、前記記憶部に記憶する前記重みづけ値を更新する
請求項１または請求項２に記載の画像処理装置。

【請求項4】

前記ビニング処理の処理結果である前記検出データを、地上装置に送信する送信部を有する人工衛星に備えられた、
請求項１から請求項３の何れか一項に記載の画像処理装置。

【請求項5】

異なる波長帯の光が、可視光と、近赤外光と、短波近赤外光であり、
前記検出データ取得部は、可視光と、近赤外光と、短波近赤外光の波長帯毎の前記検出データを取得する
請求項１から請求項４の何れか一項に記載の画像処理装置。

【請求項6】

光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得部と、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理部と、
を備える画像処理装置。

【請求項7】

光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得回路と、
前記受光素子それぞれに対する検出値に対する重みづけ値であって、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた前記重みづけ値を記憶部から取得する重みづけ値取得回路と、
前記波長帯毎の前記検出データに含まれる前記受光素子毎の検出値それぞれに対して、取得した対応する前記重みづけ値を乗じて、前記撮像対象の一次方向の位置に応じて設定された前記受光素子のビニング範囲毎にビニング処理を行うビニング処理回路と、
を備える画像処理回路。

【請求項8】

光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得回路と、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理回路と、
を備える画像処理回路。

【請求項9】

画像処理装置が、
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得し、
前記受光素子それぞれに対する検出値に対する重みづけ値であって、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた前記重みづけ値を記憶部から取得し、
前記波長帯毎の前記検出データに含まれる前記受光素子毎の検出値それぞれに対して、取得した対応する前記重みづけ値を乗じて、前記撮像対象の一次方向の位置に応じて設定された前記受光素子のビニング範囲毎にビニング処理を行う
画像処理方法。

【請求項10】

画像処理装置が、
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得し、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行う
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理回路、画像処理方法に関する。

【背景技術】

【0002】

画像処理装置では、受光感度を上げるためにビニング処理を行う場合がある。ビニング処理に関する技術が特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１５／０８３６８３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、光検出器の受光素子の受光面積は、検出する光の波長帯に応じて異なる場合がある。例えば、ある光学系を有する画像処理装置では、可視光Ｖ（Visible Light）と、近赤外光Ｎ（Near Infrared）と、短波近赤外光Ｓ（Short wavelength Infrared）のそれぞれを検出する検出器を備える。これら可視光Ｖと、近赤外光Ｎと、短波近赤外光Ｓのそれぞれを検出する検出器を備える光学系システムでは、短波近赤外光Ｓの光検出器の受光素子の受光面積と、他の可視光Ｖと近赤外光Ｎの光検出器の受光素子の受光面積が異なる場合がある。この受光面積の違いは受光素子の製造技術やコストの問題等ではあるが、通常は、短波近赤外光Ｓの光検出器の受光素子の小型化が難しい。

【0005】

上述のように検出する光の波長帯に応じて光検出器の受光素子の受光面積が異なる場合、異なる波長帯の光の検出データ毎にビニング処理を行った後のビニング範囲の大きさの関係にずれが生じてしまう。このようなずれが生じたビニング処理後の各波長帯の光の検出データを合成して一つの画像を生成した場合、各波長帯の仮想的な受光素子毎の撮像対象の光の検出位置がずれこととなり、ビニング処理後の検出データを用いた画像は精度が落ちることとなる。

【0006】

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理回路、画像処理方法を提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明の第１の態様によれば、画像処理装置は、光検出器毎に受光素子の受光面積の異なる各光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データであって、前記波長帯を構成する複数の波長毎の前記撮像対象の一次方向の位置に応じた受光素子毎の検出値を示す前記検出データを取得する検出データ取得部と、前記撮像対象において前記一次方向に設定されたビニング範囲の位置に対応する前記受光素子の前記ビニング範囲に含まれる面積の大きさに基づいて設定された前記検出データ毎の当該受光素子の検出値に対する重みづけ値を記憶部から取得する重みづけ値取得部と、前記波長帯毎の検出データに含まれる前記受光素子毎の検出値それぞれに対して、対応する前記重みづけ値を乗じて、前記ビニング範囲に相当する前記受光素子の範囲毎のビニング処理を行うビニング処理部と、を備えることを特徴とする。

【0008】

本発明の第２の態様によれば、画像処理回路は、光検出器毎に受光素子の受光面積の異なる各光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データであって、前記波長帯を構成する複数の波長毎の前記撮像対象の一次方向の位置に応じた受光素子毎の検出値を示す前記検出データを取得する検出データ取得回路と、前記撮像対象において前記一次方向に設定されたビニング範囲の位置に対応する前記受光素子の前記ビニング範囲に含まれる面積の大きさに基づいて設定された前記検出データ毎の当該受光素子の検出値に対する重みづけ値を記憶部から取得する重みづけ値取得回路と、前記波長帯毎の検出データに含まれる前記受光素子毎の検出値それぞれに対して、対応する前記重みづけ値を乗じて、前記ビニング範囲に相当する前記受光素子の範囲毎のビニング処理を行うビニング処理回路と、を備えることを特徴とする。

【0009】

本発明の第３の態様によれば、画像処理方法は、光検出器毎に受光素子の受光面積の異なる各光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データであって、前記波長帯を構成する複数の波長毎の前記撮像対象の一次方向の位置に応じた受光素子毎の検出値を示す前記検出データを取得し、前記撮像対象において前記一次方向に設定されたビニング範囲の位置に対応する前記受光素子の前記ビニング範囲に含まれる面積の大きさに基づいて設定された前記検出データ毎の当該受光素子の検出値に対する重みづけ値を記憶部から取得し、前記波長帯毎の検出データに含まれる前記受光素子毎の検出値それぞれに対して、対応する前記重みづけ値を乗じて、前記ビニング範囲に相当する前記受光素子の範囲毎のビニング処理を行うことを特徴とする。

【発明の効果】

【0010】

本発明によれば、検出する光の波長帯に応じて受光素子の受光面積が異なる光検出器から得られた各検出データにおいてビニング処理を行った場合でも、ビニング処理後の各波長帯の光の検出データを合成した画像の精度を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態による光学システムの構成を示すブロック図である。

【図2】本発明の一実施形態による光検出器の概要を示す図である。

【図3】本発明の一実施形態による画像処理装置の機能ブロック図である。

【図4】本発明の一実施形態によるビニング処理の概要を示す第一の図である。

【図5】本発明の一実施形態による画像処理装置の処理フローを示す図である。

【図6】本発明の一実施形態による画像処理装置の最小構成を示す図である。

【図7】本発明の一実施形態による最小構成の画像処理装置の第一の処理フローを示す図である。

【図8】本発明の一実施形態による最小構成の画像処理装置の第二の処理フローを示す図である。

【図9】本発明の一実施形態による最小構成の画像処理装置の第三の処理フローを示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態による画像処理装置を備えた光学システムを図面を参照して説明する。
図１は同実施形態による光学システムの構成を示すブロック図である。
この図で示すように、光学システム１は、光学系１１、第一光検出器１２、第二光検出器１３、第三光検出器１４、画像処理装置１５、通信モジュール１６、記憶装置１７を少なくとも備える。

【0013】

光学系１１は、外部から入射した光を、第一の波長帯の光、第二の波長帯の光、第三の波長帯の光に分光して出力する。本実施形態においては、第一の波長帯の光を可視光Ｖ（Visible Light）、第二の波長帯の光を近赤外光Ｎ（Near Infrared）、第三の波長帯の光を短波近赤外光Ｓ（Short Wave Infrared）とする。光学系１１は、可視光Ｖを分光した各波長の光を第一光検出器１２へ出力する。光学系１１は、近赤外光Ｎを分光した各波長の光を第二光検出器１３へ出力する。光学系１１は、短波近赤外光Ｓを分光した各波長の第三光検出器１４へ出力する。

【0014】

光学系１１は外部から入射した光を、ダイクロックフィルタ、レンズ等を組み合わせて、可視光Ｖ、近赤外光Ｎ、短波近赤外光Ｓに分光し、さらに回折格子を用いてそれら各波長帯の光を、細かい波長ごとに分光する。これら分光のための光学系１１の内部機構は公知の技術を用いて構成すればよい。回折格子により分光された各波長の光は、各検出器の受光素子で検出する。

【0015】

第一光検出器１２、第二光検出器１３、第三光検出器１４は、それぞれ、行方向、列方向にそれぞれ連続して面状に配列された受光素子を備える。第一光検出器１２、第二光検出器１３、第三光検出器１４は、それぞれ、各受光素子で検出した光をデジタル信号に変換して出力する。各検出器における複数の受光素子は、撮像対象の一次方向の各位置に応じた光を検出する。第一光検出器１２は検出した可視光Ｖの波長帯域の光の検出データを画像処理装置１５へ出力する。第二光検出器１３は検出した近赤外光Ｎの波長帯域の光の検出データを画像処理装置１５へ出力する。第三光検出器１４は検出した短波近赤外光Ｓの波長帯域の光の検出データを画像処理装置１５へ出力する。

【0016】

図２は本実施形態による光検出器の概要を示す図である。
図２に示すように、第一光検出器１２、第二光検出器１３、第三光検出器１４は、それぞれ、行方向、列方向にそれぞれ連続して面状に配列された受光素子を備える。それら受光素子のうち、同じ行方向（図２中、横方向）の各受光素子は、検出器が入力した波長帯域に含まれる特定の波長の光をそれぞれ検出し、行が1行ずれるごとに次の同一波長帯における他の波長の光をそれぞれ検出する。また検出器における受光素子のうち、同じ列方向（図２中、縦方向）の各受光素子は、撮像対象の一次方向の連続する各位置の光のうち特定の位置の光をそれぞれ検出し、列が１行ずれるごとに一次方向における次の位置の光を検出する。一例として、何れかの検出器では、行方向（図２中横方向）に６４０個の受光素子を設ける。それら列方向の各受光素子は、撮像対象の一次方向の連続する各位置の光をそれぞれ検出する。当該検出器では、列方向（図２中、縦方向）に５１２個の受光素子を設ける。それら列方向の受光素子は、入力した波長帯域の光のうち、回折格子等で分光され入射した異なる波長の光をそれぞれ検出する。

【0017】

第一光検出器１２、第二光検出器１３、第三光検出器１４の何れか一つまたは複数の受光素子は、他の検出器の受光素子とその面積が異なる。例えば、図３に示すように矩形形状の１つの受光素子の一辺の長さＬが、第一光検出器１２、第二光検出器１３、第三光検出器１４の何れか一つまたは複数の受光素子で異なることがある。一例としては、第一光検出器１２を構成する受光素子の面積と、第二光検出器１３を構成する受光素子の面積は受光素子の一辺の長さＬが一致し、面積が等しいとする。また第三光検出器１３の受光素子は、受光素子の一辺の長さＬが他の第一光検出器１２，第二光検出器１３を構成する受光素子と比較して長いため、その面積は第一光検出器１２，第二光検出器１３を構成する受光素子の面積と比較して大きいとする。このように各検出器を構成する受光素子の面積の大きさの違いは、各検出器の生産のための難易度やコストにより定まる。

【0018】

本実施形態の光学システム１は、一例として宇宙空間に打ち上げられる人工衛星に設けられる。光学システム１が地球を撮影する場合、撮像対象は地球となる。第一光検出器１２、第二光検出器１３、第三光検出器１４は、それぞれ、ある時点において入射した光のうち、光学系１１で分光されて当該光学系１１から入力した、当該地球の一次方向の所定範囲の位置の光を、波長毎に検出する。光学システム１は、撮像対象である地球の撮影する一次方向の位置をずらした光を順次入力することで、当該地球から反射した光の情報を面状に検出することができる。光学システム１は地球以外の撮像対象の光を撮影するものであってよい。

【0019】

光学システム１は検出データを送信先に送信する場合、データ量を削減することが望ましい場合がある。例えば、宇宙空間から地球上の受信装置に対して検出データを送信する場合、宇宙空間と地上の間のデータ送信において単位時間当たりの送信容量の制限や、送信可能時間の制限がある等のため、データ量を削減することが望ましい。

【0020】

よって本実施形態における画像処理装置１５は、取得した検出データを通信先に送信する際のデータ量削減を目的としてビニング処理を行う。ビニング処理とは、受光素子において決定した範囲の隣り合う受光素子の検出値をそれぞれ統合した仮想値を算出し、仮想的に受光感度を拡大する処理を言う。

【0021】

上述したように、第一光検出器１２、第二光検出器１３、第三光検出器１４の何れか一つまたは複数の受光素子の面積が、他の受光素子と面積と異なる。従って本実施形態における画像処理装置１５は、各検出器の検出データそれぞれに対するビニング処理後の各検出データの仮想的な受光面積の大きさのばらつきを軽減するための処理を行う。当該ビニング処理の詳細は後述する。画像処理装置１５はビニング処理した結果の検出データを送信するよう通信モジュール１６に指示する。

【0022】

記憶装置１７は画像処理装置１５がビニング処理に利用するための情報を記憶する。
通信モジュール１６は、画像処理装置１５でビニング処理された、第一光検出器１２、第二光検出器１３、第三光検出器１４それぞれの検出データを送信先に送信する。一例として、通信モジュール１６は地球上の受信装置に対して検出データを送信する。受信装置においては検出データを用いて画像データを生成する。

【0023】

図３は本実施形態による画像処理装置の機能ブロック図である。
画像処理装置１５は、検出データ取得部５１（検出データ取得回路）、重みづけ値取得部５２（重みづけ値取得回路）、ビニング処理部５３（ビニング処理回路）、を備える。機能部は回路によってその機能を発揮する。画像処理装置１５は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、記憶装置１７に記憶する画像処理プログラムをＣＰＵが実行することにより、検出データ取得部５１、重みづけ値取得部５２、ビニング処理部５３の各機能を発揮する装置であってもよい。

【0024】

検出データ取得部５１は、第一光検出器１２、第二光検出器１３、第三光検出器１４のそれぞれ出力した光の検出データを取得する。
重みづけ値取得部５２は、受光素子それぞれに対する検出値に対する重みづけ値を記憶装置１７から取得する。
ビニング処理部５３は、検出データに含まれる各受光素子の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減する受光素子に応じた重みづけ値を乗じて検出データそれぞれのビニング処理を行う。

【0025】

またはビニング処理部５３は、検出データに含まれる受光素子毎の検出値それぞれに対し、光学系における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減少し、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する受光素子に応じた重みづけ値を乗じて検出データそれぞれのビニング処理を行ってもよい。

【0026】

また重みづけ値は、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減する受光素子に応じた重みづけ値であって、さらに加えて、光学系における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減少し、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する受光素子に応じた重みづけ値であってよい。このような重みづけ値を各受光素子の検出値に乗じることにより、ビニング処理部５３は、検出データに含まれる各受光素子の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減すると共に、さらに、光学系における光の歪みの影響を軽減するようにしてよい。

【0027】

図４は本実施形態によるビニング処理の概要を示す第一の図である。
図４において、第一光検出器１２、第二光検出器１３の受光素子の１行（４Ａ）と、第三光検出器１４の受光素子１行（４Ｂ）を示す。第一光検出器１２、第二光検出器１３に設けられた矩形の受光素子の一辺の長さよりも、第三光検出器１４に設けられた矩形の受光素子の一辺の長さが長い。１つのビニング処理の対象とする受光素子の範囲をビニング範囲と呼ぶこととする。

【0028】

１つのビニング範囲に５つの受光素子が含まれるとすると、第一光検出器１２、第二光検出器１３の受光素子の１行（４Ａ）において基準となる左端から順にビニング範囲Ｌ１ａ，Ｌ１ｂ，・・が設定される。また第三光検出器１４の受光素子１行（４Ｂ）において基準となる左端から順にビニング範囲Ｌ３ａ，Ｌ３ｂ，・・が設定される。

【0029】

第一光検出器１２、第二光検出器１３の受光素子に設定されたビニング範囲と、第三光検出器１４の受光素子に設定されたビニング範囲との各中心は、ビニング範囲が基準となる左端から離れるほど、長さａ１，長さａ２，・・と徐々に位置がずれていく。

【0030】

受光素子の１行は、撮像対象の一次方向の各位置の光を検出しているため、このようにビニング範囲がずれていくと、第一光検出器１２または第二光検出器１３のビニング範囲と、第三光検出器１４の対応するビニング範囲が検出した光が示す、撮像対象の一次方向の位置がずれてしまう。

【0031】

従って、画像処理装置１５は、検出データに含まれる各受光素子の検出値それぞれに対し、第一光検出器１２と第二光検出器１３との受光素子の面積と、第三光検出器１４の受光素子の面積とのばらつきを軽減する、受光素子に応じた重みづけ値を乗じる。この重みづけ値は予め各受光素子に対して割り当てられており、記憶装置１７が、受光素子の識別番号と、重みづけ値とを対応付けた重みづけテーブルを記憶している。

【0032】

画像処理装置１５は、一例として、各ビニング範囲に含まれるｎ個の受光素子の左側の受光素子から順に１，２，・・・,ｋと識別すると、ビニング範囲の光の検出値Ｗｏｕｔを、ｋ番目の受光素子の光の検出値Ｗｋと、受光素子ごとに設定された重みづけ値Ａｋを用いて、式（１）のように算出する。ビニング処理前の検出データは、各受光素子の検出値を１画素とする撮像データとなるが、ビニング処理後の検出データは、ビニング範囲に含まれる受光素子の各検出値に基づいて算出した検出値Ｗｏｕｔを１つの画素の検出値として示す撮像データとなる。

【0033】

【数1】

【0034】

図４に示すように、なお一例として、ビニング範囲Ｌ３ａとのずれはａ１の長さであるとする。そして、ビニング範囲Ｌ１ａと、ビニング範囲Ｌ３ａの各中心を基準として合わせた場合、ビニング範囲Ｌ３ａの左端と右端の位置は、ビニング範囲Ｌ１ａの左端と右端の位置からａ１÷２の距離だけ長くずれる。画像処理装置１５は、ビニング範囲が長い分、第三光検出器１４の受光素子１行（４Ｂ）におけるビニング範囲Ｌ３ａの左端と右端の各受光素子に対しては、当該受光素子の検出値を長くずれた分（Ｌ×（ａ１÷２））だけ減じる重みづけ値を乗じる。各受光素子に対する重みづけ値Ａｋは、予め地上でシミュレーション等を行い算出してよい。このようにして、画像処理装置１５は、ビニング範囲Ｌ１ａとビニング範囲Ｌ３ａが仮想的に同じ地上の範囲の検出した値となるよう補正する。ビニング範囲の設定は他の設定でもよい。また重みづけ値Ａｋの設定は、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減する受光素子に応じた重みづけ値であればどのような値であってもよい。

【0035】

図５は本実施形態による画像処理装置の処理フローを示す図である。
次に画像処理装置の処理フローについて順を追って説明する。
画像処理装置１５の検出データ取得部５１は、第一光検出器１２から可視光Ｖの波長帯の光の検出データｖを取得する（ステップＳ１０１）。検出データ取得部５１は、第二光検出器１３から近赤外光Ｎの波長帯の光の検出データｎを取得する（ステップＳ１０２）。検出データ取得部５１は、第三光検出器１４から短波近赤外光Ｓの波長帯の光の検出データｓを取得する（ステップＳ１０３）。

【0036】

重みづけ値取得部５２は、第一光検出器１２の各受光素子それぞれについて予め設定された重みづけ値Ａｋを取得する（ステップＳ１０４）。重みづけ値取得部５２は、第二光検出器１３の各受光素子それぞれについて予め設定された重みづけ値Ａｋを取得する（ステップＳ１０５）。重みづけ値取得部５２は、第三光検出器１４の各受光素子それぞれについて予め設定された重みづけ値Ａｋを取得する（ステップＳ１０６）。

【0037】

ビニング処理部５３は、検出データｖに含まれる各受光素子ｋの検出値Ｗｋと、当該検出データｖに含まれる各受光素子ｋに対応する重みづけ値Ａｋとを用いて、検出データｖにおいて設定した各ビニング範囲の検出値Ｗｏｕｔを式（１）により算出する（ステップＳ１０７）。同様に、ビニング処理部５３は、検出データｎに含まれる各受光素子ｋの検出値Ｗｋと、当該検出データｎに含まれる各受光素子ｋに対応する重みづけ値Ａｋとを用いて、検出データｎにおいて設定した各ビニング範囲の検出値Ｗｏｕｔを式（１）により算出する（ステップＳ１０８）。同様にビニング処理部５３は、検出データｓに含まれる各受光素子ｋの検出値Ｗｋと、当該検出データｓに含まれる各受光素子ｋに対応する重みづけ値Ａｋとを用いて、検出データｓにおいて設定した各ビニング範囲の検出値Ｗｏｕｔを式（１）により算出する（ステップＳ１０９）。なおこれら検出値Ｗｏｕｔの算出処理がビニング処理に相当する。

【0038】

ビニング処理部５３は、検出データｖにおいて設定した各ビニング範囲の検出値Ｗｏｕｔを含むビニング処理後の検出データｖ’を算出する（ステップＳ１１０）。ビニング処理部５３は、検出データｎにおいて設定した各ビニング範囲の検出値Ｗｏｕｔを含むビニング処理後の検出データｎ’を算出する（ステップＳ１１１）。ビニング処理部５３は、検出データｓにおいて設定した各ビニング範囲の検出値Ｗｏｕｔを含むビニング処理後の検出データｓ’を算出する（ステップＳ１１２）。

【0039】

ビニング処理部５３は、通信モジュール１６に対して、ビニング処理後の検出データｖ’、ビニング処理後の検出データｎ’、ビニング処理後の検出データｓ’を送信するよう指示する（ステップＳ１１３）。通信モジュール１６は、ビニング処理後の検出データｖ’、ビニング処理後の検出データｎ’、ビニング処理後の検出データｓ’を地上の受信装置へ送信する。制御部５４は、処理を終了するかを判定する（ステップＳ１１４）。制御部５４は処理を終了しない場合、次の各検出器についての検出データを処理するよう制御する。

【0040】

以上の処理によれば、画像処理装置１５は、各光検出器の検出データに含まれる各受光素子の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減する受光素子に応じた重みづけ値を乗じて検出データそれぞれのビニング処理を行う。従って、画像処理装置１５は、送信する検出データの量を減じるとともに、光検出器の受光素子の面積のばらつきを軽減して、各検出データの仮想的な画素値が示す撮像対象で反射する光の位置を合わせることができる。これにより、異なる波長帯の光を検出する複数の光検出器から出力された検出データのビニング処理後のデータを用いて、撮像対象の複数の波長の光を含む画像を構成する際に、より精度の高い画像を生成することができる。

【0041】

画像処理装置１５のビニング処理部５３は、検出データに含まれる受光素子毎の検出値それぞれに対し、光学系１１における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減少し、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する受光素子に応じた重みづけ値を乗じて、検出データそれぞれのビニング処理を行ってもよい。

【0042】

光学系１１においてはレンズの歪みの影響等による収差が発生し、光検出器の検出データにより生成された画像が歪む可能性がある。画像処理装置１５は、この歪みの影響による検出値のずれを、重みづけ値を用いて補正してもよい。

【0043】

この場合、記憶装置１７は、光学系１１における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減少し、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する受光素子に応じた重みづけ値と、受光素子の識別番号とを対応付けたテーブルを記憶している。そして、上述の処理と同様に、ビニング処理部５３は、受光素子に応じた重みづけ値を記憶装置から取得して、式（１）を用いてビニング処理を行う。

【0044】

これにより、画像処理装置１５は、この歪みの影響による検出値のずれを、重みづけ値を用いて補正することができる。この場合の重みづけ値は、光学系における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減じ、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する受光素子に応じた重みづけ値であればどのような値であってもよい。

【0045】

なお上述の重みづけ値は、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた重みづけ値であって、さらに、光学系１１における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減少し、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する受光素子に応じた重みづけ値であってよい。そのような重みづけ値を用いてビニング処理を行うことにより、送信する検出データの量を減じるとともに、光検出器の受光素子の面積のばらつきを軽減して、各検出データの仮想的な画素値が示す撮像対象で反射する光の位置を合わせることができ、かつ、歪みの影響による検出値のずれを補正して、より精度の高い画像を生成するための検出データを生成することができる。

【0046】

画像処理装置１５は、検出データ毎の受光素子の検出値に対する重みづけ値のデータテーブルのデータを受信して、記憶部に記憶する重みづけ値を更新してもよい。例えば、通信モジュール１６は、修正された上記データテーブルのデータを地上装置から受信する。そして画像処理装置１５はそのデータテーブルの情報を記憶装置１７に記録して、過去に利用したデータテーブルのデータを、新たなデータテーブルのデータに書き換えてよい。

【0047】

図６は本実施形態による画像処理装置の最小構成を示す図である。
図７は本実施形態による最小構成の画像処理装置の第一の処理フローを示す図である。
画像処理装置１５は少なくとも、検出データ取得部５１、ビニング処理部５３の機能を発揮する。検出データ取得部５１は、光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する（ステップＳ２０１）。ビニング処理部５３は、検出データに含まれる各受光素子の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減する受光素子に応じた重みづけ値を乗じる（ステップＳ２０２）。ビニング処理部５３は、検出データそれぞれのビニング処理を行う（ステップＳ２０３）。

【0048】

図８は本実施形態による最小構成の画像処理装置の第二の処理フローを示す図である。
他の最小構成による画像処理装置１５の処理フローは、まず、検出データ取得部５１が、光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する（ステップＳ３０１）。そしてビニング処理部５３が、検出データに含まれる受光素子毎の検出値それぞれに対し、受光素子に応じた重みづけ値であって、光学系における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減じる重みづけ値を乗じる（ステップＳ３０２）。ビニング処理部５３は、検出データに含まれる受光素子毎の検出値それぞれに対し、受光素子に応じた重みづけ値であって、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する重みづけ値を乗じる（ステップＳ３０３）。ビニング処理部５３は、検出データそれぞれのビニング処理を行う（ステップＳ３０４）。

【0049】

図８は本実施形態による最小構成の画像処理装置の第三の処理フローを示す図である。
他の最小構成による画像処理装置１５の処理フローは、まず、検出データ取得部５１が、光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する（ステップＳ４０１）。そしてビニング処理部５３が、異なる波長帯の光を検出する複数の光検出器の受光素子の面積のばらつきを軽減し、かつ、光学系における光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の受光素子の検出値を減じ、かつ、光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の受光素子の検出値を増加する重みづけ値を、検出データに含まれる各受光素子の検出値それぞれに対して乗じる（ステップＳ４０２）。ビニング処理部５３は、検出データそれぞれのビニング処理を行う（ステップＳ４０３）。

【0050】

上述の画像処理装置１５は内部に、コンピュータシステムを有してよい。そして、上述した画像処理装置１５の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われてよい。

【0051】

上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【0052】

上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0053】

（付記１）
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得部と、
前記検出データに含まれる前記各受光素子の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理部と、
を備える画像処理装置。

【0054】

（付記２）
前記ビニング処理部は、前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた前記重みづけ値を乗じて前記検出データそれぞれのビニング処理を行う
付記１に記載の画像処理装置。

【0055】

（付記３）
前記受光素子それぞれに対する検出値に対する前記重みづけ値を記憶部から取得する重みづけ値取得部と、を備え、
前記ビニング処理部は、前記波長帯毎の前記検出データに含まれる前記受光素子毎の検出値それぞれに対して、取得した対応する前記重みづけ値を乗じて、前記撮像対象の一次方向の位置に応じて設定された前記受光素子のビニング範囲毎に前記ビニング処理を行う
付記１または付記２に記載の画像処理装置。

【0056】

（付記４）
前記検出データ毎の前記受光素子の検出値に対する前記重みづけ値のデータテーブルを受信して、前記記憶部に記憶する前記重みづけ値を更新する
付記３に記載の画像処理装置。

【0057】

（付記５）
前記ビニング処理の処理結果である前記検出データを、地上装置に送信する送信部を有する人工衛星に備えられた、
付記１から付記４の何れか一項に記載の画像処理装置。

【0058】

（付記６）
異なる波長帯の光が、可視光と、近赤外光と、短波近赤外光であり、
前記検出データ取得部は、可視光と、近赤外光と、短波近赤外光の波長帯毎の前記検出データを取得する
付記１から付記５の何れか一項に記載の画像処理装置。

【0059】

（付記７）
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得部と、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理部と、
を備える画像処理装置。

【0060】

（付記８）
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得回路と、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理回路と、
を備える画像処理回路。

【0061】

（付記９）
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得回路と、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理回路と、
を備える画像処理回路。

【0062】

（付記１０）
画像処理装置が、
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得し、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行う
画像処理方法。

【0063】

（付記１１）
画像処理装置が、
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得し、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行う
画像処理方法。

【0064】

（付記１２）
画像処理装置のコンピュータを、
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得手段、
前記検出データに含まれる前記各受光素子の検出値それぞれに対し、異なる波長帯の光を検出する複数の光検出器の前記受光素子の面積のばらつきを軽減する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理手段、
として機能させるプログラム。

【0065】

（付記１３）
画像処理装置のコンピュータを、
光検出器毎に受光素子の受光面積の異なる複数の光検出器が撮像対象について別々に検出した異なる波長帯の光の検出データを取得する検出データ取得手段、
前記検出データに含まれる前記受光素子毎の検出値それぞれに対し、光学系における前記光の歪みの影響により当該歪みが無い場合と比較して光量を多く検出する位置の前記受光素子の検出値を減少し、前記光の歪みの影響により当該歪みが無い場合と比較して光量を少なく検出する位置の前記受光素子の検出値を増加する前記受光素子に応じた重みづけ値を乗じて前記検出データそれぞれのビニング処理を行うビニング処理手段、
として機能させるプログラム。

【符号の説明】

【0066】

１・・・
１１・・・光学系
１２・・・第一光検出器
１３・・・第二光検出器
１４・・・第三光検出器
１５・・・画像処理装置
１６・・・通信モジュール
１７・・・記憶装置
５１・・・検出データ取得部
５２・・・重みづけ値取得部
５３・・・ビニング処理部
５４・・・制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】