特開 2024-47227 画像処理回路、それを用いたスタートラッカ、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024047227

(43)【公開日】2024-04-05

(54)【発明の名称】画像処理回路、それを用いたスタートラッカ、画像処理方法およびプログラム

(51)【国際特許分類】

   B64G 1/36 20060101AFI20240329BHJP

   G06T 7/60 20170101ALI20240329BHJP

   H04N 23/76 20230101ALI20240329BHJP

   G06T 1/00 20060101ALI20240329BHJP

【ＦＩ】

B64G1/36 100

G06T7/60 110

H04N5/243

G06T1/00 500A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022152740

(22)【出願日】2022-09-26

(71)【出願人】

【識別番号】000104652

【氏名又は名称】キヤノン電子株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】後藤 昂司

(72)【発明者】

【氏名】稲川 智也

【テーマコード（参考）】

5B057

5C122

5L096

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA08

5B057CA12

5B057CB08

5B057CB12

5B057DB02

5B057DB09

5C122EA14

5C122FH09

5C122FH11

5C122HB01

5C122HB02

5L096BA08

5L096BA18

5L096CA02

5L096GA28

(57)【要約】

【課題】衛星の姿勢決定などの本来の画像処理の前に実行される前処理に必要となる画像処理時間を短縮すること。
【解決手段】第一画像メモリは撮像素子が被写体を撮像して出力する画像データを保存する。演算部は第一画像メモリに保存された画像データを複数のブロックに分割し、複数のブロックのそれぞれについての基準輝度値を演算する。調整部は、各ブロックについて演算された基準輝度値に応じて高輝度判定閾値を調整する。カウンタは、高輝度判定閾値に基づき、各ブロックにおける輝度値の大きい画素をカウントする。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像素子が被写体を撮像して出力する画像データを保存する第一画像メモリと、
前記第一画像メモリに保存された画像データを複数のブロックに分割し、前記複数のブロックのそれぞれについての基準輝度値を演算する演算部と、
各ブロックについて演算された前記基準輝度値に応じて高輝度判定閾値を調整する調整部と、
前記高輝度判定閾値に基づき、各ブロックにおける輝度値の大きい画素をカウントするカウンタと
を有することを特徴とする画像処理回路。

【請求項2】

前記第一画像メモリの前段に設けられ、前記撮像素子から出力される画像データを構成する各画素の輝度値と、前記撮像素子における欠陥画素を判定するための欠陥画素閾値とを比較し、前記欠陥画素閾値を超える輝度値を所定値に置換する置換部をさらに有することを特徴とする請求項１に記載の画像処理回路。

【請求項3】

前記撮像素子が前記被写体を撮像して出力する前記画像データを保存する第二画像メモリと、
前記第二画像メモリに記憶されている各ブロックごとの各画素の輝度値と前記高輝度判定閾値とを比較する比較手段と、をさらに有し、
前記カウンタは、前記比較手段の比較結果に基づき、各ブロックにおける輝度値の大きい画素をカウントする、ことを特徴とする請求項１または２に記載の画像処理回路。

【請求項4】

前記第二画像メモリへの前記画像データの格納と、前記演算部における前記基準輝度値の演算とが並列に実行される、ことを特徴とする請求項３に記載の画像処理回路。

【請求項5】

前記第二画像メモリへの前記画像データの格納と、前記調整部における前記高輝度判定閾値の調整とが並列に実行される、ことを特徴とする請求項３に記載の画像処理回路。

【請求項6】

前記調整部は、各ブロックごとに前記演算部により求められた前記基準輝度値を初期閾値に加算することで、各ブロックごとの前記高輝度判定閾値を求める、ことを特徴とする請求項１または２に記載の画像処理回路。

【請求項7】

各ブロックはｎ列×ｍ行の画素により構成されており、
前記第一画像メモリは、ｍ個のＲＡＭを有し、
前記ｍ個のＲＡＭは、それぞれ同一のアドレスに、同一ブロックにおける異なる行におけるｎ個の画素の輝度値を記憶するように構成されており、
前記演算部は、
前記ｍ個のＲＡＭに対応して設けられたｍ個の第一加算器と、
前記ｍ個の加算器から出力される和の合計値を求める第二加算器と、
前記第二加算器から出力される前記合計値をｎ×ｍで除算して前記基準輝度値を出力する除算器と、
を有数ことを特徴とする請求項１または２に記載の画像処理回路。

【請求項8】

各ブロックはｎ列×ｍ行の画素により構成されており、
前記第二画像メモリは、ｍ個のＲＡＭを有し、
前記ｍ個のＲＡＭは、それぞれ同一のアドレスに、同一ブロックにおける異なる行におけるｎ個の画素の輝度値を記憶するように構成されており、
前記比較手段は、
前記ｍ個のＲＡＭに対応して設けられたｍ×ｎ個の比較器を有し、
前記カウンタは、前記ｍ×ｎ個の比較器の比較結果に基づき、各ブロックにおける輝度値の大きい画素をカウントする、ことを特徴とする請求項３に記載の画像処理回路。

【請求項9】

請求項１または２に記載の画像処理回路であって、前記被写体が星である、画像処理回路と、
前記画像処理回路から出力される複数のブロックの画像データについて、各ブロックにおける輝度値の大きい画素のカウント結果に基づき、星位置演算の対象となるブロックとを選択する選択部と、
前記選択部により選択された前記ブロックの画像データに基づき星位置を演算する星位置演算部と、
を有するスタートラッカ。

【請求項10】

撮像素子が被写体を撮像して出力する画像データを第一画像メモリに保存し、
前記第一画像メモリに保存された画像データを複数のブロックに分割し、前記複数のブロックのそれぞれについての基準輝度値を演算し、
各ブロックについて演算された前記基準輝度値に応じて高輝度判定閾値を調整し、
前記高輝度判定閾値に基づき、各ブロックにおける輝度値の大きい画素をカウントする、
ことを特徴とする画像処理方法。

【請求項11】

請求項１０に記載の画像処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理回路、それを用いたスタートラッカ、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

人工衛星および宇宙探査機（以下、衛星と称す）は、スタートラッカを搭載しており、スタートラッカにより恒星の位置を検出し、検出された恒星の位置に基づき機体の姿勢を決定する。スタートラッカは衛星用姿勢センサの一つであり、撮像素子により取得した星画像から星位置を計算し、星カタログ上での位置と比較して星を同定して、衛星の姿勢を出力する。

【0003】

特許文献１によれば、撮像素子から出力されるデータを処理することなくメモリに格納して行き、演算装置からメモリにアクセスしてデータを処理して星位置を検出することが提案されている。この場合、演算装置は、画像処理を行う際に画像データが記憶されているメモリの全てにアクセスする必要があり、画像処理に時間がかかる。

【0004】

そこで、特許文献２によれば、撮像素子から出力される画像データを複数のブロックに分割し、あらかじめ設定された閾値を越える輝度を持つピクセルの個数によって各ブロックに恒星があるかどうかを検出し、恒星のあるブロックにのみアクセスして星位置を検出することが提案されている。これにより、星位置の演算時間が短縮されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平７－２７０１７７号公報

【特許文献2】特開平１１－２９１９９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、従来のスタートラッカで、太陽が視野に入ったり、太陽が視野外太陽干渉角内に入ったりすると、撮像された画像全体の輝度が上がり、恒星を判別することができなくなっていた。とりわけ、特許文献２では、太陽によって演算対象のブロックが増加してしまい、星位置の演算時間が増加してしまう。なお、スタートラッカに限ることはなく、高輝度の画素の存在によって画像処理時間が増大してしまうような用途では、同様の課題が発生する。

【0007】

そこで、本発明は、衛星の姿勢決定などの本来の画像処理の前に実行される前処理に必要となる画像処理時間を短縮することを目的とする。

【課題を解決するための手段】

【0008】

本発明は、たとえば、
撮像素子が被写体を撮像して出力する画像データを保存する第一画像メモリと、
前記第一画像メモリに保存された画像データを複数のブロックに分割し、前記複数のブロックのそれぞれについての基準輝度値を演算する演算部と、
各ブロックについて演算された前記基準輝度値に応じて高輝度判定閾値を調整する調整部と、
前記高輝度判定閾値に基づき、各ブロックにおける輝度値の大きい画素をカウントするカウンタと
を有することを特徴とする画像処理回路を提供する。

【発明の効果】

【0009】

本発明によれば、衛星の姿勢決定などの本来の画像処理の前に実行される前処理に必要となる画像処理時間が短縮される。

【図面の簡単な説明】

【0010】

【図1】画像処理回路（ＦＰＧＡ）を含むスタートラッカを示すブロック図

【図2】画像処理回路を示すブロック図

【図3】データ処理部を示す図

【図4】撮像画像を複数のブロックに分割することを示す図

【図5】保存前処理部の処理を示すフローチャート

【図6】基準輝度値の演算用のＲＡＭの構造と保存処理を示す図

【図7】平均演算部を示すブロック図

【図8】ブロックごとの高輝度画素数のカウント方法を示すフローチャート

【図9】比較用のＲＡＭの構造と保存処理を示す図

【図10】比較器の構造を示す図

【図11】各種信号のシーケンスを示す図

【図12】ＣＰＵにより実現される機能を示すブロック図

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0012】

＜スタートラッカの構成＞
図１はスタートラッカ１を示すブロック図である。スタートラッカ１は、衛星に設けられた撮像素子３０によって星を撮像し、画像データとして出力する。撮像素子３０はＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、その他の素子であってもよい。

【0013】

ＣＰＵ１０は、ＲＯＭ５０に記憶されているプログラムを実行することでスタートラッカ１の各部を制御する。たとえば、ＣＰＵ１０は、撮像素子３０の設定データ（例：ゲインデータ、および撮像オン／オフのタイミングデータ）をＲＯＭ５０またはＲＡＭ６０から読み出し、ＦＰＧＡ２０にシステムバス７０経由で設定する。ＦＰＧＡ２０は、設定データをシリアル信号９０に変換して撮像素子３０へ設定する。ＦＰＧＡは、Ｆｅｉｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。たとえば、ＦＰＧＡ２０は、撮像素子３０のタイミング制御、特に撮像素子３０から出力された画像を取り込むための、たとえば、垂直同期信号、水平同期信号、画像クロック等を制御する。

【0014】

撮像素子３０は、シリアル信号９０にしたがって動作する。たとえば、撮像素子３０は、画像クロックに同期して撮像素子３０で撮像を実行し、各画素の輝度信号をＡ／Ｄ（アナログデジタル）変換して画素データを生成し、画像バス８０に出力する。

【0015】

ＦＰＧＡ２０は、画像バス８０を通じて画素データを受け取り、ＲＡＭ４０に順次書き込んで行くとともに、後述されるブロック内基準輝度値とブロック内高輝度画素数の計算を行い、ＦＰＧＡ２０の内部ＲＡＭに計算結果を保存する。ＦＰＧＡ２０は、このような一連の処理を１フレーム分にわたり繰り返す。１フレーム分の処理が終了すると、ＦＰＧＡ２０は、ＣＰＵ１０に撮像完了信号を出力する。

【0016】

ＦＰＧＡ２０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などによって構成された画像処理回路であってもよい。

【0017】

ＲＯＭ５０は、ＣＰＵ１０で実行される星位置演算プログラムなどを記憶する不揮発性のメモリである。ＲＡＭ６０はＣＰＵ１０のワークメモリとして機能する揮発性のメモリである。

【0018】

ＣＰＵ１０は、ＦＰＧＡ２０からの撮像完了信号を受けると、ＦＰＧＡ２０の内部ＲＡＭから計算結果を取得し、視野画像を構成する複数のブロックのうちどのブロックに高輝度の画素が多いかを判定する。ＣＰＵ１０は、高輝度の画素の多いブロックとその周辺のブロックの画素データをＲＡＭ４０から抽出し、星位置計算を実行する。ＣＰＵ１０は、複数の星の星位置から星間距離を算出し、ＲＯＭ５０に予め記憶された星地図（星カタログ）と星間距離とを照合し、照合結果に基づき衛星の姿勢を決定する。

【0019】

ＣＰＵ１０は、これら以外にもＦＰＧＡ２０の動作および撮像素子３０のシャッタースピード制御など、種々の制御を行ってもよい。

【0020】

＜画像処理回路（ＦＰＧＡ）の構成＞
図２は、ＦＰＧＡ２０を示すブロック図である。データ処理部２１０は、撮像素子３０から出力される画素データを入力される。データ処理部２１０は、当該画素データに対し後述される処理を実施して、画素データをＲＡＭ４０、保存前処理部２２０および比較用のＲＡＭ２６０に出力する。

【0021】

保存前処理部２２０は、欠陥画素などに由来する高輝度の画素データを補正する画像処理回路である。たとえば、注目画素の輝度値が閾値ＴｈＡを超える場合、保存前処理部２２０は、注目画素の輝度値を閾値ＴｈＡに置換する。注目画素の輝度値が閾値ＴｈＡを超えていない場合、保存前処理部２２０は、注目画素の輝度値を補正せずに維持する。その後、画素データは、ＲＡＭ２３０に保存される。

【0022】

ＲＡＭ２３０は、複数の画素データから形成される画像データを複数のブロックに分割し、各ブロックを複数の行に分割し、一クロックで複数の行を並列に処理可能となるように、保存する。一ブロックを構成する複数の行がＲＡＭ２３０に保存されると、ＲＡＭ２３０は、計算開始信号２３９を平均演算部２４０へ出力する。

【0023】

平均演算部２４０は、注目ブロックを構成する複数の画素データ（輝度値）の平均値を求め、求められた平均値をそのブロックの基準輝度値２４９として出力する。なお、太陽などが視野に含まれる場合、基準輝度値２４９は非常に大きな値となる。

【0024】

加算器２５０は、基準輝度値２４９に初期閾値ＴｈＢを加算して比較用の閾値ＴｈＣを生成し、比較器２７０にセットする。

【0025】

比較器２７０は、比較用のＲＡＭ２６０に保存された画素データと閾値ＴｈＣを比較し、画素データが閾値ＴｈＣを超える場合、１を出力する。画素データが閾値ＴｈＣを超えない場合、比較器２７０は０を出力する。

【0026】

カウンタ２８０は、一ブロックを構成する複数の画素データについての比較器１７０の比較結果を加算することで、当該ブロックのおける高輝度画素の個数を求める。

【0027】

ＲＡＭ２９０は、データ処理部２１０から出力される画像データ、基準輝度値２４９、および、ブロックごとの高輝度画素数（カウント値２８１）を保存する。ＣＰＵ１０は、ブロックごとのカウント値２８１に基づき、各ブロックを星位置計算に用いるかどうかを判定する。ＣＰＵ１０は、ＲＡＭ２９０にアクセスし、星位置計算に用いられるブロックの画像データを読み出し、星位置を計算する。

【0028】

＜データ処理部の詳細＞
図３はデータ処理部２１０の構造を示す。撮像素子３０から出力される画素データと画素クロックは、シリアル－パラレル変換回路２１１に入力される。シリアル－パラレル変換回路２１１は、１ビットずつシリアル信号として入力される画素データを、１画素分のパラレル信号に変換する。

【0029】

パラレル信号に変換された１画素分のデータは、順序論理回路（シフトレジスタ）２１４ａ～２１４ｄに出力される。

【0030】

第一分周回路２１６は、画素クロックを画素輝度階調に応じて分周する。一例としては、第一分周回路２１６は１２分周するものとする。何分周するかは、１画素分のデータを行使するビットの数に依存する。１２分周されたクロックは、順序論理回路２１４ａ～２１４ｄのそれぞれに入力される。

【0031】

順序論理回路２１４ａ～２１４ｄは、第一分周回路２１６から供給されるクロックにしたがって、画素データをラッチする。データ処理部２１０に実装される順序論理回路２１４ａ～２１４ｄの個数は、１回の通信でＲＡＭ４０に送信される画素データの個数と同じである。図３では、一例として、１回の通信でＲＡＭ４０に送信される画素データの個数は、４画素であるため、四つの順序論理回路２１４ａ～２１４ｄが実装されている。

【0032】

順序論理回路２１４ａ～２１４ｄは、入力される画素データをシフトして行き、４画素分のデータが蓄積されると、順序論理回路２１４ａ～２１４ｄに対応して設けられたラッチ回路２１５ａ～２１５ｄが４画素分のデータをラッチする。

【0033】

第二分周回路２１７は、１２分周されたクロックをさらに送信画素数で分周（例：４分周）してクロックを生成し、ラッチ回路２１５ａ～２１５ｄに供給する。これにより、ラッチ回路２１５ａ～２１５ｄは、４画素分のデータをラッチする。また、第二分周回路２１７から出力されるクロックに応じてＨｉｇｈとなる受信完了信号２１２が送信レジスタ２１３に入力される。また、ラッチ回路２１５ａ～２１５ｄによりラッチされた４画素分のデータは、送信レジスタ２１３に出力される。

【0034】

送信レジスタ２１３は、受信完了信号２１２がＨｉｇｈになると、Ｓｙｓｔｅｍクロック２０１の立ち上がりで、入力された４画素分の画素データをラッチして、ＲＡＭ４０に出力する。

【0035】

＜ブロック分割＞
図４は画像データを複数に分割することを説明する図である。この例では、説明の便宜上、１ブロックが８画素×８画素で構成されている。また、説明の便宜上、横方向がｘ方向と定義され、縦方向がｙ方向と定義されている。よって、各画素の位置（座標）は（ｘ、ｙ）と表記される。

【0036】

＜基準輝度値の演算＞
ＲＡＭ４０への画素データの送信と並行して、ＦＰＧＡ２０は、基準輝度値２４９を演算する。基準輝度値２４９は、画像データを複数のブロックに分割して生成されるブロック毎に、演算される。１ブロックの画素数（例：６４画素）は、ＦＰＧＡ２０のコンフィグレーション時に設定されもよいし、ＣＰＵ１０からシステムバス７０経由でＦＰＧＡ２０に設定されてもよい。

【0037】

ＲＡＭ４０に出力される画像データは、同時に保存前処理部２２０にも出力される。保存前処理部２２０は、入力された画像データに所定の前処理を施して基準輝度計算用のＲＡＭ２３０に出力する。

【0038】

図５は、保存前処理部２２０で実行される前処理を示す。

【0039】

Ｓ５０１で、保存前処理部２２０は、データ処理部２１０から受け取った画素データ（注目画素）の輝度値が基準輝度計算用の閾値ＴｈＡを越えているかどうかを判定する。注目画素の輝度値が閾値ＴｈＡを越えていた場合、保存前処理部２２０は、Ｓ５０２に進む。

【0040】

Ｓ５０２で、保存前処理部２２０は、注目画素の輝度値を閾値ＴｈＡに置換する。

【0041】

Ｓ５０３で、保存前処理部２２０は、注目画素の輝度値を基準輝度計算用のＲＡＭ２３０に保存する。ただし、データ処理部２１０からＲＡＭ４０に送信される画像データの輝度値は更新されない。

【0042】

Ｓ５０１で注目画素の輝度値が閾値ＴｈＡ以下の場合、保存前処理部２２０は、Ｓ５１０に進む。Ｓ５１０で、保存前処理部２２０は、注目画素の輝度値を閾値ＴｈＡに置換することなくそのままに維持する。その後、Ｓ５０３で、保存前処理部２２０は、注目画素の輝度値を基準輝度計算用のＲＡＭ２３０に保存する。

【0043】

このように閾値ＴｈＡを用いて注目画素の輝度値を必要に応じて補正することで、欠陥画素などの影響が低減される。つまり、極端に誤った輝度値を持つ画素が、基準輝度値２４９に影響しにくくなる。

【0044】

図６は基準輝度値計算用のＲＡＭ２３０における保存処理を示す。ＲＡＭ２３０は複数のＲＡＭ２３１～２３８を有している。図６が例示するように１ブロックが８×８画素から構成されている場合、ＲＡＭ２３１～２３８の個数は８である。ＲＡＭ２３１～２３８はＦＩＦＯ（ファーストインファーストアウト）タイプのメモリにより構成されてもよい。

【0045】

図６において、左上から順番に注目画素が選択される場合、座標（ｘ，ｙ）が（０，０）～（７，０）である８つの画素がＲＡＭ２３１の最下位のアドレスに保存される。座標（ｘ，ｙ）が（８，０）から（１５，０）である８つの画素はＲＡＭ２３１における下から二番目に下位のアドレスに保存される。また、座標（ｘ，ｙ）が（０，１）から（７，１）までの８つの画素はＲＡＭ２３２の最下位のアドレスに保存される。座標（ｘ，ｙ）が（０，７）から（７，７）までの８つの画素はＲＡＭ２３８の最下位のアドレスに保存される。

【0046】

このように各ブロックにおけるｙ行は、ＲＡＭ２３１～ＲＡＭ２３８のうち参照符号の最下位の番号に対応している。つまり、一行目は、ＲＡＭ２３１に保存され、二行目は、ＲＡＭ２３２に保存され、八行目は、ＲＡＭ２３８に保存される。さらに、画素データが書き込まれるアドレスは、ブロックの番号に対応している。このように、１つのブロック内の画素データが、異なるＲＡＭの同じアドレスに保存されることで、１クロックで、１ブロックの全画素データを処理することが可能となる。

【0047】

ＲＡＭ２３０に、１ブロック分の画素データが蓄積されると、当該画素データと計算開始信号２３９とが平均演算部２４０に出力される。図６の事例では、Ｘ＝７、Ｙ＝７の画素がＲＡＭ２３８に入力されると、計算開始信号２３９が出力される。図２には記載が省略されているが、ＲＡＭ２３０の処理を監視して計算開始信号２３９を生成する生成回路が存在する。

【0048】

ところで、画素データの出力方法としては、別の方法が採用されてもよい。１ブロックのある領域（例：一行）に含まれる画素がＲＡＭ２３０に格納され次第、順次、画素データが平均演算部２４０に出力され、平均演算部２４０が基準輝度値の演算を実行してもよい。この場合、平均演算部２４０が８行分の基準輝度値から１ブロックの基準輝度値２４９を演算すればよい。

【0049】

あるいは、ＲＡＭ２３０に画素データが保存される前に、ブロック内で同じ行に位置する８つの画素（例：（０，０）～（７，０））の平均値を予め計算しておき、計算結果がＲＡＭ２３０に保存されてもよい。ＲＡＭ２３０に一ブロック分の平均値（例：８行の各平均値）が蓄積されると、平均演算部２４０は、そのブロックの基準輝度値２４９を演算する。

【0050】

図７が示すように、１ブロック分の画素データを入力された平均演算部２４０は、入力された全画素の平均値をそのブロックの基準輝度値２４９として演算する。図７が示すように、平均演算部２４０は、複数の加算器２４１～２４８と、加算器７０１と、除算器７０２とを有していてもよい。加算器２４１～２４８の個数は、１ブロックを形成している行数と一致している。

【0051】

計算開始信号２３９が入力されると、注目ブロックを形成している全画素データは、８画素ずつ、合計で８つの加算器２４１、２４２～２４８に入力される。加算器２４１、２４２～２４８は、入力された８つの画素データを加算し、その和を加算器７０１へ出力する。

【0052】

加算器７０１は、加算器２４１、２４２～２４８から出力される８つの和を加算して、１ブロック分の合計値を求める。合計値は、除算器７０２に入力される。

【0053】

除算器７０２は、合計値を１ブロックの全画素数（例：６４）で除算し、平均値を求める。この平均値が基準輝度値２４９として計算結果用のＲＡＭ２９０に保存される。

【0054】

なお、ＲＡＭ２３０に保存される前にブロック内の同じ行に存在する８つの画素（例：（０，０）～（７，０））の輝度値を加算して８で除算して平均値が予め算出されてもよい。この場合、ＲＡＭ２３１～２３８には各行の平均値が格納されている。この場合、平均演算部２４０は、加算器２４１、２４２～２４８を有していなくてよい。ＲＡＭ２３１～２３８から出力される８つの平均値は、加算器７０１に入力される。加算器７０１は、８つの平均値の合計値を求め、合計値を除算器７０２に出力する。ただし、除算器７０２は８で合計値を除算して、基準輝度値２４９を演算する。

【0055】

平均演算部２４０で実行される処理は、計算開始信号２３９の立ち上がりを基準として開始され、次のＳｙｓｔｅｍクロック２０１の立ち上がりを基準として基準輝度値２４９が出力される。

【0056】

図２が示すように、ブロック毎の基準輝度値２４９は、計算結果を保存するためのＲＡＭ２９０に格納される。ＲＡＭ２９０はシステムバス７０に接続されているため、ＣＰＵ１０からＲＡＭ２９０に保存されている基準輝度値２４９が参照可能となっている。

【0057】

＜高輝度画素数のカウント＞
図８はＦＰＧＡ２０により実行されるブロックごとの高輝度画素数の求め方を示すフローチャートである。

【0058】

図２を用いて説明されたように、ＲＡＭ４０に出力される画像データは、比較用のＲＡＭ２６０にも出力される。図９が示すように、比較用のＲＡＭ２６０は、複数のＲＡＭ２６１、２６２、．．．、２６８を有している。１ブロックが８×８画素から構成されている場合、ＲＡＭ２６１～２６８の個数は８である。ＲＡＭ２６１～２６８はＦＩＦＯタイプのメモリにより構成されてもよい。

【0059】

図９において、左上から順番に注目画素が選択される場合、座標（ｘ，ｙ）が（０，０）～（７，０）である８つの画素がＲＡＭ２６１の最下位のアドレスに保存される。座標（ｘ，ｙ）が（８，０）から（１５，０）である８つの画素はＲＡＭ２６１における下から二番目に下位のアドレスに保存される。また、座標（ｘ，ｙ）が（０，１）から（７，１）までの８つの画素はＲＡＭ２６２の最下位のアドレスに保存される。座標（ｘ，ｙ）が（０，７）から（７，７）までの８つの画素はＲＡＭ２６８の最下位のアドレスに保存される。

【0060】

このように各ブロックにおけるｙ行は、ＲＡＭ２６１～ＲＡＭ２６８のうち参照符号の最下位の番号に対応している。つまり、一行目は、ＲＡＭ２６１に保存され、二行目は、ＲＡＭ２６２に保存され、八行目は、ＲＡＭ２６８に保存される。さらに、画素データが書き込まれるアドレスは、ブロックの番号に対応している。このように、１つのブロック内の画素データが、異なるＲＡＭの同じアドレスに保存されることで、１クロックで、１ブロックの全画素データを処理することが可能となる。

【0061】

Ｓ８０１でＦＰＧＡ２０は、一ブロックの基準輝度値２４９の演算が完了したかどうかを判定する。注目ブロックの基準輝度値２４９の演算が完了すると、ＦＰＧＡ２０は、Ｓ８０２に進む。また、ＲＡＭ２６０に格納されている注目ブロックの画素データが比較器２７０に出力される。

【0062】

Ｓ８０２でＦＰＧＡ２０（加算器２５０）は、平均演算部２４０から出力される注目ブロックの基準輝度値２４９と、初期閾値ＴｈＢとから注目ブロック用の閾値ＴｈＣを決定する。たとえば、加算器２５０は、基準輝度値２４９と初期閾値ＴｈＢとを加算して閾値ＴｈＣを演算する。閾値ＴｈＢは、ＦＰＧＡ２０のコンフィグレーション時に予め設定されてもよいし、ＣＰＵ１０からシステムバス７０経由で設定されてもよい。

【0063】

Ｓ８０３でＦＰＧＡ２０（比較器２７０）は、ＲＡＭ２６０から出力される注目画素の輝度値（画素データ）が閾値ＴｈＣを超えているかどうかを判定する。

【0064】

図１０は、比較器２７０の詳細を示している。比較器２７０は、注目ブロックの一行目の８つの画素データと閾値ＴｈＣとを比較する比較器２７１ａ～２７１ｈを有している。さらに、比較器２７０は、注目ブロックの二行目の８つの画素データと閾値ＴｈＣとを比較する比較器２７２ａ～２７２ｈを有している。さらに、比較器２７０は、注目ブロックの８行目の８つの画素データと閾値ＴｈＣとを比較する比較器２７８ａ～２７８ｈを有している。つまり、比較器２７０は、合計で６４個の比較器を有している。

【0065】

ＲＡＭ２６１～２６８に格納されている注目ブロックの各行の画素データが取り出され、比較器２７１ａ～２７８ｈに入力される。比較器２７１ａ～２７８ｈはそれぞれ、注目画素の画素データ（輝度値）が閾値ＴｈＣを超えていなければ、ステップＳ８０４をスキップする。つまり、比較器２７０はカウンタ２８０にカウント信号を出力しない。一方、比較器２７１ａ～２７８ｈはそれぞれ、注目画素の画素データ（輝度値）が閾値ＴｈＣを超えていれば、Ｓ８０４に進む。

【0066】

Ｓ８０４でＦＰＧＡ２０（比較器２７０）は、カウンタ２８０にカウント信号を出力する。つまり、カウンタ２８０は１ブロックにおける高輝度画素数をカウント信号に基づきカウントする。

【0067】

このように一ブロックを構成している全画素の比較が並列で実行される。そのため、高速に比較結果が得られる。図１０の例では、カウンタ２８０は、６４個の比較器２７１ａ～２７８ｈについてカウントを実行する。そのため、カウンタ２８０が出力する値、つまり、１ブロックあたりの高輝度画素数２８１は、０から６４までの値となる。

【0068】

ここで求められた高輝度画素数２８１は、基準輝度値２４９が出力された次のＳｙｓｔｅｍクロック２０１の立ち上がりでＲＡＭ２９０に出力される。このように、高輝度画素数２８１のＲＡＭ２９０への格納は、次のブロックの画素データがＲＡＭ４０に送信されるまでに、実行される。つまり、画像データのＲＡＭ４０への保存と並行して、高輝度画素数２８１の計算結果のＲＡＭ２９０への保存が実行される。よって、高輝度画素数２８１の計算時間がＲＡＭ４０に画像データを保存する時間を超えることはない。

【0069】

＜シーケンス＞
図１１は、各信号のシーケンスを示している。フェーズＰｈ１で受信完了信号２１２が立ち上がる。これをトリガーとして、次のＳｙｓｔｅｍクロック２０１の立ち上がりがフェーズＰｈ２となる。

【0070】

フェーズＰｈ２でデータ処理部２１０における送信レジスタ２１３が送信可能状態に遷移する。さらに、次のＳｙｓｔｅｍクロック２０１の立ち上がりがフェーズＰｈ３となる。

【0071】

フェーズＰｈ３でＲＡＭ２３０に基準輝度値２４９の計算に必要となるデータが格納される。同時にＲＡＭ２６０にも比較用のデータが格納される。さらに、次のＳｙｓｔｅｍクロック２０１の立ち上がりがフェーズＰｈ４となる。

【0072】

フェーズＰｈ４で計算開始信号２３９が立ち上がる。さらに、次のＳｙｓｔｅｍクロック２０１の立ち上がりがフェーズＰｈ５となる。

【0073】

フェーズＰｈ５で基準輝度値２４９が更新される。さらに、次のＳｙｓｔｅｍクロック２０１の立ち上がりがフェーズＰｈ６となる。

【0074】

フェーズＰｈ６で基準輝度値２４９に基づくカウント値２８１が演算される。

【0075】

＜姿勢演算＞
１フレームの画像データを構成する全ブロックについて画素データがＲＡＭ４０に保存され、かつ、全ブロックの基準輝度値２４９と高輝度画素数２８１とがＲＡＭ２９０に保存されると、ＦＰＧＡ２０はＣＰＵ１０に撮像完了信号を出力する。

【0076】

図１２は、ＣＰＵ１０がＲＯＭ５０に記憶されているプログラムを実行することで実現する機能を示している。ブロック選択部１２０２は、ブロック選択プログラム１２１２により実現される。ＣＰＵ１０（ブロック選択部１２０２）は撮像完了信号を受けると、計算結果用のＲＡＭ２９０にアクセスしてＲＡＭ４０に各ブロックのカウント値２８１を保存し、高輝度画素数の多いブロックを星候補領域と判定する。たとえば、ブロック選択部１２０２は、ブロックごとに、カウント値２８１と候補閾値とを比較し、カウント値２８１が候補閾値以上となっているブロックを星候補領域と判定する。

【0077】

星位置演算部１２０３は、位置演算プログラム１２１３により実現される。星位置演算部１２０３は、ブロック選択部１２０２により星候補領域と判定されたブロックの画素データと、その周辺ブロックの画素データをＲＡＭ４０の画像データ１２００から読み出し、星位置を演算する。この際に、星位置演算部１２０３は、各ブロックの基準輝度値２４９を参照し、加算器２５０および比較器２７０と同様にして、高輝度の画素群を特定する。つまり、星位置演算部１２０３は、閾値ＴｈＣを超える画素群を星と判定し、画素群のうちで輝度値がピークとなる位置を求め、その位置を撮像素子３０の視野における星の位置として演算する。

【0078】

本実施例によれば、太陽が視野に近い領域で画像全体の輝度が上がった場合においても、ブロック毎の基準輝度値２４９を用いることで、星判定閾値である閾値ＴｈＣを周囲の輝度値に合わせて動的に変更することが可能となる。これにより、星判定精度が向上する。

【0079】

星同定部１２０７は、ＣＰＵ１０が星同定プログラム１２１７を実行することで実現される機能である。星同定部１２０７は、各星候補の位置に基づき、星を同定し、同定結果を姿勢決定部１２０８に出力する。たとえば、星同定部１２０７は、複数の星候補の位置と、星カタログ１２２２に登録されている恒星の位置とをパターンマッチングして行き、複数の星候補が何の恒星であるかを具体的に特定する。

【0080】

姿勢決定部１２０８は、ＣＰＵ１０が姿勢決定プログラム１２１８を実行することで実現される機能である。姿勢決定部１２０８は、星同定部１２０７により同定された星と、事前計算されてＲＯＭ５０に記憶されている星カタログ１２２２とを比較して衛星の現在の姿勢ベクトルを計算する。さらに、姿勢決定部１２０８は、現在の姿勢ベクトルと衛星の目標ベクトルとの誤差が小さくなるように姿勢制御信号を生成し、制御対象１５０へ出力する。制御対象１５０は、衛星の姿勢を制御するための噴射装置等である。

【0081】

本実施例によれば、ＦＰＧＡ２０とＲＡＭ４０とが別の電装部品として実装されているが、これは一例にすぎない。ＦＰＧＡ２０とＲＡＭ４０とがワンチップＩＣの内部部品として実装されてもよい。たとえは、これらがＳｏＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）などによって構成されてもよい。

【0082】

これまでスタートラッカ１を例に本開示の技術思想が説明された。しかし、本開示の本質は、画像領域内において、周囲と異なる輝度を持つ領域に、ＣＰＵ１０に負荷をかけることなく素早くアクセスすることであるため、実施例はスタートラッカ１に限られない。たとえば、生産装置等に組み込まれる異物検出センサなど、撮像領域内全体に対し所定の輝度を超える画素を検出するような検出装置に適用さてもよい。

【0083】

＜実施例から導き出される技術思想＞
［観点１］
撮像素子が被写体を撮像して出力する画像データを保存する第一画像メモリ（例：ＲＡＭ２３０）と、
前記第一画像メモリに保存された画像データを複数のブロックに分割し、前記複数のブロックのそれぞれについての基準輝度値を演算する演算部（例：平均演算部２４０）と、
各ブロックについて演算された前記基準輝度値に応じて高輝度判定閾値を調整する調整部（例：加算器２５０）と、
前記高輝度判定閾値に基づき、各ブロックにおける輝度値の大きい画素をカウントするカウンタ（例：カウンタ２８０）と
を有することを特徴とする画像処理回路（例：ＦＰＧＡ２０）。

【0084】

本実施例によれば、基準輝度値に応じて高輝度判定閾値が調整されるため、計算対象となるブロック数が削減される。これにより、衛星の姿勢決定などの本来の画像処理の前に実行される前処理に必要となる画像処理時間が短縮される。

【0085】

［観点２］
前記第一画像メモリの前段に設けられ、前記撮像素子から出力される画像データを構成する各画素の輝度値と、前記撮像素子における欠陥画素を判定するための欠陥画素閾値とを比較し、前記欠陥画素閾値を超える輝度値を所定値に置換する置換部（例：保存前処理部２２０）をさらに有することを特徴とする観点１に記載の画像処理回路。

【0086】

このように、欠陥画素の影響が低減されるため、計算対象となるブロック数が削減される。これにより、衛星の姿勢決定などの本来の画像処理の前に実行される前処理に必要となる画像処理時間が短縮される。

【0087】

［観点３］
前記撮像素子が前記被写体を撮像して出力する前記画像データを保存する第二画像メモリ（例：ＲＡＭ２６０）と、
前記第二画像メモリに記憶されている各ブロックごとの各画素の輝度値と前記高輝度判定閾値とを比較する比較手段（例：比較器２７０）と、をさらに有し、
前記カウンタは、前記比較手段の比較結果に基づき、各ブロックにおける輝度値の大きい画素をカウントする、ことを特徴とする観点１または２に記載の画像処理回路。

【0088】

このように、基準輝度値を判定するための第一画像メモリと、比較用の第二画像メモリとを設けることで、特定のメモリへのアクセス回数が削減可能となり、画像処理時間が短縮される。

【0089】

［観点４］
前記第二画像メモリへの前記画像データの格納と、前記演算部における前記基準輝度値の演算とが並列に実行される、ことを特徴とする観点３に記載の画像処理回路。

【0090】

図２や図１１を用いて説明されたように、メモリへのデータの格納と基準輝度値２４９の演算とが並列に実行される。これにより、画像処理時間が短縮される。

【0091】

［観点５］
前記第二画像メモリへの前記画像データの格納と、前記調整部における前記高輝度判定閾値の調整とが並列に実行される、ことを特徴とする観点３または４に記載の画像処理回路。

【0092】

図２や図１１を用いて説明されたように、メモリへのデータの格納と高輝度判定閾値ＴｈＣの演算とが並列に実行される。これにより、画像処理時間が短縮される。

【0093】

［観点６］
前記調整部は、各ブロックごとに前記演算部により求められた前記基準輝度値を初期閾値に加算することで、各ブロックごとの前記高輝度判定閾値を求める、ことを特徴とする観点１ないし５のいずれか一項に記載の画像処理回路。

【0094】

図２を用いて説明されたように、各ブロックごとに平均演算部２４０により求められた基準輝度値２４９を初期閾値（初期閾値ＴｈＢ）に加算することで、各ブロックごとの高輝度判定閾値ＴｈＣが求められてもよい。これにより、簡単構成で、高輝度判定閾値ＴｈＣを調整することが可能となる。

【0095】

［観点７］
各ブロックはｎ列×ｍ行の画素により構成されており、
前記第一画像メモリは、ｍ個のＲＡＭ（例：ＲＡＭ２３１～２３８）を有し、
前記ｍ個のＲＡＭは、それぞれ同一のアドレスに、同一ブロックにおける異なる行におけるｎ個の画素の輝度値を記憶するように構成されており、
前記演算部は、
前記ｍ個のＲＡＭに対応して設けられたｍ個の第一加算器（例：加算器２４１～２４８）と、
前記ｍ個の加算器から出力される和の合計値を求める第二加算器（例：加算器７０１）と、
前記第二加算器から出力される前記合計値をｎ×ｍで除算して前記基準輝度値を出力する除算器（例：除算器７０２）と、
を有数ことを特徴とする観点１から６のいずれか一項に記載の画像処理回路。

【0096】

図６および図７ではｎ＝８、ｍ＝８の事例が示されているが、これは一例にすぎない。ｎ，ｍはそれぞれ８よりも多くても少なくてもよい。

【0097】

［観点８］
各ブロックはｎ列×ｍ行の画素により構成されており、
前記第二画像メモリは、ｍ個のＲＡＭ（例：ＲＡＭ２６１～２６８）を有し、
前記ｍ個のＲＡＭは、それぞれ同一のアドレスに、同一ブロックにおける異なる行におけるｎ個の画素の輝度値を記憶するように構成されており、
前記比較手段は、
前記ｍ個のＲＡＭに対応して設けられたｍ×ｎ個の比較器（例：比較器２７１ａ～２７８ｈ）を有し、
前記カウンタは、前記ｍ×ｎ個の比較器の比較結果に基づき、各ブロックにおける輝度値の大きい画素をカウントする、ことを特徴とする観点３ないし５のいずれか一項に記載の画像処理回路。

【0098】

図９および図１０ではｎ＝８、ｍ＝８の事例が示されているが、これは一例にすぎない。ｎ，ｍはそれぞれ８よりも多くても少なくてもよい。

【0099】

［観点９］
観点１から８のいずれか一項に記載の画像処理回路であって、前記被写体が星である、画像処理回路（例：ＦＰＧＡ２０）と、
前記画像処理回路から出力される複数のブロックの画像データについて、各ブロックにおける輝度値の大きい画素のカウント結果に基づき、星位置演算の対象となるブロックとを選択する選択部（例：ＣＰＵ１０、ブロック選択部１２０２）と、
前記選択部により選択された前記ブロックの画像データに基づき星位置を演算する星位置演算部（例：ＣＰＵ１０、星位置演算部１２０３）と、
を有するスタートラッカ。

【0100】

画像処理回路が高速化されることで、スタートラッカにおける星位置の演算時間も短縮されるであろう。

【0101】

［観点１０］
撮像素子が被写体を撮像して出力する画像データを第一画像メモリに保存し、
前記第一画像メモリに保存された画像データを複数のブロックに分割し、前記複数のブロックのそれぞれについての基準輝度値を演算し、
各ブロックについて演算された前記基準輝度値に応じて高輝度判定閾値を調整し、
前記高輝度判定閾値に基づき、各ブロックにおける輝度値の大きい画素をカウントする、
ことを特徴とする画像処理方法。

【0102】

図２を用いて説明されたように、本開示によれば画像処理方法が提供される。

【0103】

［観点１１］
観点１０に記載の画像処理方法をコンピュータに実行させるプログラム。

【0104】

図２に示された画像処理方法はコンピュータ（例：ＣＰＵ１０）により実行されてもよい。この場合、ＣＰＵ１０により実行されるプログラムはＲＯＭ５０に記憶されている。

【0105】

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0106】

２０：ＦＰＧＡ、２３０：ＲＡＭ、２４０：平均演算部、２５０：加算器、２８０：カウンタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】