特開 2022-32358 天体写真撮影システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022032358

(43)【公開日】2022-02-25

(54)【発明の名称】天体写真撮影システム及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220217BHJP

   G06T 3/00 20060101ALI20220217BHJP

   G06T 5/00 20060101ALI20220217BHJP

   G03B 15/00 20210101ALI20220217BHJP

【ＦＩ】

H04N5/232 290

G06T3/00 750

G06T5/00 735

G06T5/00 705

G03B15/00 U

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020136045

(22)【出願日】2020-08-11

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、総務省、独創的な人向け特別枠「異能（Ｉｎｎｏ）ｖａｔｉｏｎ」プログラム委託事業、産業技術力強化法第１９条の適用を受ける特許出願

(71)【出願人】

【識別番号】520303999

【氏名又は名称】生駒 卓也

(74)【代理人】

【識別番号】100092598

【弁理士】

【氏名又は名称】松井 伸一

(72)【発明者】

【氏名】生駒 卓也

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA20

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CC03

5B057CD02

5B057CD03

5B057CD20

5B057CE02

5B057CE05

5B057CE06

5B057CE08

5B057DA07

5B057DA13

5B057DB02

5B057DB09

5B057DC05

5C122EA22

5C122FH01

5C122FH04

5C122FH11

5C122FH18

5C122HB01

(57)【要約】

【課題】 光害に基づく光成分とノイズが除去されて綺麗な星空の天体写真を生成する天体写真撮影システムを提供すること
【解決手段】 カメラの連写機能を用いて同一領域の星空を１００枚撮影した写真データを記憶する記憶手段と、その写真データから点状の星が存在する星空の天体写真を作成する処理手段を備える。処理手段は、複数の写真データを加算平均して光害に基づく光成分（光害パターン）を求め(S10)、全ての写真データに対し光害パターンを減算して第一中間画像を生成し(S11)、第一中間画像に対し同じ星に対応するピークの位置を合わせるように画像全体をシフトする平面位置補正をして第二中間画像を生成し（S12,S13）、第二中間画像における同じ星に対応するピークの位置を合わせるように射影変換してゆがみを解消した第三中間画像を形成し（S14,S15）、第三中間画像をコンポジット合成して天体写真を生成する機能を備える。
【選択図】 図６

【特許請求の範囲】

【請求項1】

同一領域の星空を撮影した複数の写真データを記憶する記憶手段と、
前記複数の写真データから点状の星が存在する星空の天体写真を作成する処理手段を備え、
前記処理手段は、
前記記憶手段に記憶された前記複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、
前記記憶手段に記憶された前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、
複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、
位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備える天体写真撮影システム。

【請求項2】

前記処理手段は、前記複数の写真データの一部または全部をコンポジット合成して前記光害パターンを作成する機能を備える生成する請求項１に記載の天体写真撮影システム。

【請求項3】

前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させることで行う請求項１または２に記載の天体写真撮影システム。

【請求項4】

前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させて第二中間画像を生成し、その生成した複数の前記第二中間画像に対し、前記ピークの位置が合うように射影変換を行い第三中間画像を生成することで行う請求項１または２に記載の天体写真撮影システム。

【請求項5】

前記天体写真を作成する機能は、前記位置合わせをして生成した複数の画像をコンポジット合成した画像に対し、一定輝度以下の画素を０に変換する処理を行うようにした請求項１～４のいずれか１項に記載の天体写真撮影システム。

【請求項6】

前記天体写真を作成する機能は、前記一定輝度以下でない画素に対し、輝度を強調する処理を行う請求項５に記載の天体写真撮影システム。

【請求項7】

請求項１から６のいずれかに記載の天体写真撮影システムの機能をコンピュータに実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、天体写真撮影システム及びプログラムに関する。

【背景技術】

【0002】

デジタルカメラの高性能化、スマートフォン等の携帯端末に実装されるカメラ機能の高性能化にともない、例えば、夜間等においてもストロボやフラッシュを使用することなく夜景等を綺麗に撮影することが可能となっている。

【0003】

一方、このように高性能化された一般のデジタルカメラや携帯端末のカメラ機能等を用い、そのまま星空等の天体写真を撮ることは難しい。すなわち、星空は夜景よりもずっと暗いため、例えば、数分～数１０分、さらには数時間という長時間の露出時間が必要になる場合がある。そのため、例えば、星空を点像に写すには、シャッターを開けている間、デジタルカメラ等を星の動いている方向に合わせてカメラの向きを少しずつスムーズに変えていくといった追尾撮影を行う必要がある。係る追尾撮影を精度良く行うためには、例えば、モーターが内蔵され自動で星を追いかける機器である赤道儀を用いる必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した赤道儀を用いた天体写真撮影システムは、高価かつ大型化する。そして、そのように大きいことから、当該システムは、持ち運びが煩雑となる。また、例えば予め天体を撮る目的で所望の地域に出かける場合には、荷物が重く大きくなったとしても当該赤道儀を含めた天体写真撮影ステムを持ち運ぶことで天体撮影は可能となる。しかし、係る天体写真撮影システムを常時携帯することは難しい。そのため、例えば外出先でたまたま撮影する環境・状況が良いなど天体写真を撮りたい状況になった場合に、デジタルカメラなどの撮影機器はあるものの赤道儀などのシステム全体を用意できずにシャッターチャンスを逃すおそれもある。特に天体写真の撮影は天候に左右されるため、例えば常時携帯することができるコンパクトで軽量な天体写真撮影システムの提供が望まれる。

【0005】

また、都市圏で天体写真を撮るためには、光害の影響を考慮する必要がある。すなわち、夜間も経済活動が活発で、街中に人工光が溢れている都市圏の場合、夜空が明るくなり、星が見えにくくなってしまう。そのため、例えば２等星以下の星の明るさは、光害による光の明るさ以下となり写真に写らないことがある。係る光害に対する対策としては、例えば、街灯など主な光害の波長だけをカットする「光害カットフィルタ」をデジタルカメラに装着する方法がある。しかし、ユーザが既に所有しているデジタルカメラに装着可能な光害フィルターが存在しない場合、光害カットフィルタを装着可能なデジタルカメラを改めに購入することになる。また、仮に既に所有しているデジタルカメラに装着可能な光害カットフィルタが存在していたとしても、当該光害カットフィルタを購入する必要がある。そして、天体写真の撮影時には、デジタルカメラに光害カットフィルタを装着し、一般撮影時には光害カットフィルタをデジタルカメラから取り外すとともに保管することになる。このように、光害カットフィルタの着脱や保管をする作業が煩雑となる。さらに、光害カットフィルタは、全ての光害の波長をカットするものではない。よって、例えばカットできない波長の光成分が多い地域では、光害の影響を充分に抑制できないおそれがある。

【0006】

上述した課題はそれぞれ独立したものとして記載しているものであり、本発明は、必ずしも記載した課題の全てを解決できる必要はなく、少なくとも一つの課題が解決できればよい。またこの課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。

【課題を解決するための手段】

【0007】

（１）本発明に係る天体写真撮影システムは、同一領域の星空を撮影した複数の写真データを記憶する記憶手段と、前記複数の写真データから点状の星が存在する星空の天体写真を作成する処理手段を備える。そして前記処理手段は、前記記憶手段に記憶された前記複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、前記記憶手段に記憶された前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備える。

【0008】

（２）前記処理手段は、前記複数の写真データの一部または全部をコンポジット合成して前記光害パターンを作成する機能を備える生成するように構成するとよい。

【0009】

（３）前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させることで行うようにするとよい。

【0010】

（４）前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させて第二中間画像を生成し、その生成した複数の前記第二中間画像に対し、前記ピークの位置が合うように射影変換を行い第三中間画像を生成することで行うようにするとよい。

【0011】

（５）前記天体写真を作成する機能は、前記位置合わせをして生成した複数の画像をコンポジット合成した画像に対し、一定輝度以下の画素を０に変換する処理を行うようにするとよい。

【0012】

（６）前記天体写真を作成する機能は、前記一定輝度以下でない画素に対し、輝度を強調する処理を行うとよい。

【0013】

（７）本発明のプログラムは、上記のいずれかに記載の天体写真撮影システムの機能をコンピュータに実現させるためのプログラムである。

【0014】

本発明は、光害に基づく光成分とノイズが除去或いは低減されるため、綺麗な星空の天体写真を生成することができる。また、係る天体写真は、同一領域を撮影した複数の写真データに基づいて作成されるため、デジタルカメラ等の撮影機器等で済み、星の移動を追いかけるための特別な装置等も不要となる。本発明は、安価・汎用的な機材を用いて、都市近郊等の光害の影響が大きい地域で星空の天体写真をとることができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明に係る天体写真撮影システムの好適な実施形態を示す図である。

【図2】図２は、生写真データの一例を示す図である。

【図3】図３は、図２中の矢印で示す各位置における光の強度を示すグラフである。

【図4】図４は、図２中の矢印で示す各位置における光害の光成分、星の光成分と、ノイズの光成分のそれぞれの光の強度を示す模式図である。

【図5】図５は、星の位置を示すピークの移動を模式的に表した図である。

【図6】図６は、処理装置の機能を示すフローチャートである。

【図7】図７は、光害パターンの生成機能を説明する図である。

【図8】図８は、生写真データの一部を拡大して示す図である。

【図9】図９は、生写真データを加算平均した結果を示す図である。

【図10】図１０は、図９に示す画像に対しＭｅｄｉａｎフィルターで滑らかにした結果を示す図である。

【図11】図１１は、光害減算処理の機能を説明する図である。

【図12】図１２は、光害減算処理により生成された第一中間画像の一例を示す図である。

【図13】図１３は、平面位置補正用ピーク検出処理を説明する図である。

【図14】図１４は、平面位置補正を説明する図である。

【図15】図１５は、平面位置補正を説明する図である。

【図16】図１６は、平面位置補正を説明する図である。

【図17】図１７は、平面位置補正を説明する図である。

【図18】図１８は、日周運動と星の相対位置関係を示す図である。

【図19】図１９は、日周運動と星の相対位置関係を示す図である。

【図20】図２０は、比較明合成をした画像に対し、ピークの検出処理をした結果である。

【図21】図２１は、射影変換を説明する図である。

【図22】図２２は、射影変換を説明する図である。

【図23】図２３は、生成される天体写真の一例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の好適な実施形態について図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。

【0017】

図1は、本発明に係る天体写真撮影システムの好適な一実施形態を示している。同図に示すように、本実施形態の天体写真撮影システム１０は、デジタルカメラ１１を用いて撮影した天体写真（星景写真）の生データに基づいて、所定の画像処理等を実行し、星空を点像に写した天体写真（星景写真）を生成する処理装置１３と、その処理装置１３に接続される入力装置１４、出力装置１５並びに記憶装置１６等を備える。

【0018】

処理装置１３は、パーソナルコンピュータその他の演算処理能力を有するコンピュータ等であり、実装されたアプリケーションプログラムを実行する機能等を備える。入力装置１４は、例えばキーボード、マウス、タッチパネルなどの処理装置１３に対して情報，命令を入力する装置である。出力装置１５は、例えば、モニタ装置であり、例えば取得したデータ（例えば、天体の生写真データ等）や、取得した生写真データに対して処理装置１３が所定の処理をした結果（例えば、星空を点像に写した天体写真等）を表示する装置である。記憶装置１６は、処理装置１３内のハードディスクその他の内部記憶装置でもよいし、処理装置１３に接続される外付けの外部記憶装置でもよい。

【0019】

デジタルカメラ１１で撮影した写真データは、例えばデジタルカメラ１１と処理装置１３を通信ケーブルで接続したり、無線通信を用いて接続したりした状態で処理装置１３にデータ転送することで、処理装置１３に取り込む。また、例えば、デジタルカメラ１１に着脱自在に装着されたメモリカード等の記録媒体を用いて処理装置１３に写真データを入力するようにしてもよい。処理装置１３は、このようにして取得した生写真データを、記憶装置１６に記憶する。連写した１００枚以上の生写真データは、例えば同一のホルダに保存するなど、別に撮影した生写真データと区別がつくように記憶するとよい。

【0020】

［天体写真の撮影］
本実施形態では、ユーザは、デジタルカメラ１１を用いて以下のようにして天体写真（星景写真）を撮影する。撮影地域は、例えば、都市圏等の光害の影響が大きい地域とするとよい。本実施形態では、後述するように光害の影響が大きい地域で撮影した星景写真であっても、星空を点像に写した写真を生成することができる。但し、天体写真撮影システム１０は、光害の影響が小さい地域で撮影した生写真データに対する処理を排除するものではない。光害の影響が小さい地域で撮影した生写真データであっても、当該小さい光害の影響やその他の影響をなくし、より綺麗な天体写真を生成することができる。

【0021】

撮影は、光をできるだけ多く取り込むようにする。具体的には、高感度撮影（例えばＩＳＯ感度は最大）を行い、Ｆ値は最小で、シャッター速度は遅めに設定するとよい。シャッター速度が遅めは、例えば、撮影した天体写真の全体が白っぽくなる程度とするとよい。また、手振れ補正はなしとする。そして、固定撮影により、同一の視野内の天体写真を多数枚取得する。具体的には、デジタルカメラ１１を三脚１２に固定し、連写機能を用いて例えば１００枚以上の天体写真を撮影する。また、色温度も固定して撮影を行う。また本実施形態では、連写により１００枚程度撮影しており、この撮影に要する時間は２から３分程度となる。

【0022】

また、撮影は、月のない日に行うのが望ましい。さらにカメラの撮影範囲内に大型の光点（月・街頭）がなく、夜空のみで、地上の風景は画角内に入れないように設定する。さらに、撮影時には、飛行機・人工衛星などの高速に移動する光点が画角内にないようにすると良い。

【0023】

［光の種類］
図２は、都市圏で撮影した天体写真を示す。同図に示すよう、光害による影響から、点在するはずの星が、ほとんど見える状態で撮影できていない。図２に示す写真に写されている光の種類は、例えば、光害と、星と、ノイズなどがある。写真の各位置の光の強度は、それら３つの光の内の一つまたは複数の光の成分が載ったものとなる。

【0024】

図３は、図２中の矢印で示す各位置における光の強度を示すグラフである。すなわち、写真のＸ軸上のある点におけるＹ軸を横軸にとり、各位置の光の強度（明るさ）を縦軸に採った模式図である。また、図４は、図２中の矢印で示す各位置における光害の光成分、星の光成分と、ノイズの光成分のそれぞれの光の強度を示す模式図である。図３に示す模式図は、図４に示す光害と星とノイズの光成分を合わせたものである。

【0025】

光害は、地上の光が大気散乱したものであり、図４に示すように、連続的に変化する。この光害は、巨視的量依存のため、２～３分程度の短時間では変化しない。すなわち、連写した１００枚の写真における光害の光のパターンは、ほとんど変化しない。そして、この光害に基づく光成分は、除外対象である。

【0026】

ノイズは、センサーに発生するノイズである。このノイズは、熱が原因のため、図４に示すように発生位置はランダムである。ランダム変化のため、写真毎にノイズに基づく光成分の発生位置，光のパターンは異なる。そして、このノイズに基づく光成分は、除外対象である。

【0027】

星が存在する部分には、その星からの光が存在する。図４に示すように、星が存在する位置にピーク状に光の強度が強くなり、その大きさは星により異なる。１等星以上は十分に明るく肉眼でも視認できる。１等星以上の星の光の強さは、ノイズと比べて十分大きい（図４中、破線枠参照）。一方、２等星以下の星は暗く、ノイズと同程度かそれ以下の強度となる（図４中、一点鎖線枠参照）。よって、２等星以下の星は、熱的ノイズと区別が困難である。また、星は日周運動により常に位置が変わるが相対位置関係はほぼ変わらない。２～３分の時間経過によっても、星の位置が異動するため、撮影した１００枚の各写真における同じ星の存在位置が変わる（図５参照）。この星に基づく光成分は、残す対象である。なお、図５は、星の位置を示すピークの移動を模式的に表したものであり、天体における実際の移動は円状に動く。

【0028】

上述したように、生写真データは、３種類の光の成分を合わせたものであり、図３に示すように、ランダムの振幅で振動しながら全体的にはなだらか変化した波形が現れ、ところどころ（星のある部分）にピークが現れる。図３からも明らかなように、肉眼で確認できる一等星に対応する部分は、明確なピークとして現れるが、その他の星はノイズに隠れた状態となる。

【0029】

［画像処理］
上述したように、３種類の光の成分が存在すること、及び各光の成分の特徴に基づき、処理装置１３は、以下に示す処理アルゴリズムを実行することで、不要な光成分を除去しつつ、２等級以下の星も点像として見える星空の天体写真を生成する。具体的には、処理装置１３は、図６に示すフローチャートを実行する。

【0030】

すなわち、処理装置１３は、処理対象の１００枚の生写真データにおける光害パターンを求める（Ｓ１０）。図４に模式図を示したように、光害のパターンはなだらかに変化し、処理対象となる全ての生写真データにおいて共通する。そこで、処理装置１３は、１００枚の生写真データから複数枚例えば２０枚程度をランダムにサンプリングし、抽出した生写真データを位置補正なしでコンポジット合成する。例えば、図７に模式図として示すように、抽出した２０枚の生写真データにおける図２中の矢印で示す各位置における光の強度を示すグラフを加算平均すると、上から２番目に示すようなグラフとなる。すなわち、ノイズに伴う光成分は、平均化するとほぼフラットになり、振動したとしてもその振幅は非常に小さくなる。また、星に伴うピークの位置は、時間経過に伴い変化するため、平均化すると影響が少なくなる。画像としてみた場合には、見えにくくなる。一方、光害は、時間経過によって位置変化しない定常パターンのため、結果として、複数の生写真データを平均化すると、主成分として現れる。単純に加算平均処理をしただけだと、ノイズの影響を完全に消すことができず、わずかに振動が残る。さらに例えば星の大きいピークなどの影響が残り、わずかに膨らんだ部分も生じる。そこで、処理装置１３は、滑らかになる処理を行う。この滑らかにする処理は、例えば、Ｍｅｄｉａｎフィルターを用いたり、関数近似を行ったりするとよい。これにより、図７に示すように、上から２番目に示すグラフは、上から３番目に示すようになだらかな直線からなる光成分が生成される。これにより、光害パターンが抽出される。なお、抽出された光害パターンには、正確にはノイズの平均値も含まれるか、その値はわずかであることから、光害パターンと称する。

【0031】

係る処理における実際の写真の一例を示すと、図８は、生写真データの一部を拡大して示す図である。同図に示すように、まだらな光害と熱的ノイズに加え、点状の星が存在する。この写真データを含む複数（例えば２０枚）の生写真データを加算平均すると、図９に示すようになめらかな光害に線上に星が残った画像となる。そして、係る画像に対し、例えばＭｅｄｉａｎフィルターで星を消すと、図１０に示すようになめらかな光害からなる画像が生成される。

【0032】

次に処理装置１３は、光害減算処理を実行する（Ｓ１１）。すなわち、処理装置１３は、処理対象の１００枚の生画像データから、光害に基づく光成分を除去する。具体的には、求めた光害パターンを用いて、処理対象の全ての生写真データから光害パターンを減算し、第一中間画像を生成する。処理対象の生写真データが１００枚存在する場合、第一中間画像は１００枚生成される。

【0033】

例えば図２中の矢印で示す各位置における光強度が、図１１の上側に示すようになっているとすると、光害減算処理は、その図から、同一箇所における光害パターン（図７の上から３番目の図等）を減算する。すなわち、横軸の同じ座標位置の光強度をそれぞれ減算する。これにより、図１１の下側に示すように、ベースラインが横軸と平行なグラフに変換される。

【0034】

この光害減算処理により生成された第一中間画像の一例は、図１２の左側の図となる。この図は、第一中間画像の一部を拡大して示す図であり、図８に示す生写真データが光害減算処理をした結果である。図１２の右側の図は、第一中間画像に対して明るさ調整を行った結果である。光害による光成分を除去したため、全体的に暗くなるが、星の部分が明るくなる。但し、一枚の画像を見ただけだと、星の明るさが弱く、左側の第一中間画像では、星空に存在する点状の星の存在が見にくいが、明るさ調整を行った左側の図から明らかなように、光害パターンを除去することで、星が点状に存在した星空が再現されていることが確認できる。

【0035】

次に処理装置１３は、平面位置補正用ピーク検出処理を実行する（Ｓ１２）。ピークは、星の移動に基づく各画像間の位置補正用のマーカーである。例えば第一中間画像内における１等星に対応する位置をピークとする。具体的には、処理装置１３は、処理対象の第一中間画像の各画素のＲＧＢの合計値をそれぞれ求め、第一閾値以上の画素をピーク候補として抽出する。第一閾値は、例えば１等級の星の明るさに対応する値とするとよい。

【0036】

図１３に示すように、上に示す第一中間画像には、同図の下に示すように四角の枠で囲む位置に第一閾値以上のピーク候補が存在する。そして最終的に検出されるピークは、第一閾値以上の全てを抽出するのではなく、２０～３０程度とするとよい。本実施形態では、２０個のピークを検出するようにした。この２０個のピークは、例えば、ＲＧＢの合計値が大きいものから順に２０個をピックアップしてもよいが、検出するピークは、画像全体に散らばっているようにするとよい。そこで、係る２０個を検出するためには、例えば、第一閾値以上のピーク候補の中から、２０個のピークをランダムに抽出したり、Ｎ個のピークはＲＧＢの合計値が大きいものから順に抽出し、残りは抽出されなかった領域からピックアップしたりする等、各種の手法が採れる。処理装置１３は、このピーク検出処理を全ての第一中間画像に対して行う。

【0037】

次に処理装置１３は、平面位置補正を行う（Ｓ１３）。時間経過に伴い夜空に見える星の位置は移動するので、同じ領域を撮影した１００枚の写真データ中に存在する同じ星の位置は、全て異なる。そこで、この平面位置補正は、画像間で同じ星が同一位置に来るように位置補正を行う。具体的には、処理装置１３は、１００枚の第一中間画像の一枚（例えば１枚目に撮影した画像）を読み出して基準画像（Ｂａｓｅ）にし、別の１枚の画像を読み出して位置補正対象画像（Ｔａｒｇｅｔ）とする（図１４中、左側参照）。

【0038】

次いで、処理装置１３は、基準画像Ｂと位置補正対象画像Ｔのそれぞれの画像から、ピークを二つ選ぶ。図１４の右側の図は、選んだ２つのピークを結ぶ線分を便宜上示している。その線分は、基準画像では破線で示し、位置補正対象画像では一点鎖線で示している。選択した２つのピークが同じ星に基づくものの場合、ピーク間の距離すなわち２つの線分の長さが等しいか、近似し、さらにその存在位置も比較的近い位置にある。そこで、各画像において、ピックアップされた２０個中の２つのピークの全ての組み合わせについてピーク間距離を算出し、２つの画像間で距離が類似しているピークの組み合わせを抽出し、以下に示す平面位置補正を行う。なお、ピーク間距離が短すぎる場合には、正確に位置補正できない場合があるため、ピーク間距離が所定の閾値以上のものに対してのみ位置補正を行うようにしてもよい。

【0039】

平面位置補正は、以下に示す３つの処理を繰り返し実行し、最終的に適正な補正量に基づいて位置補正を行う。図１５に示すように、まず、平行移動補正を行い、片方のピークを合わせる（処理１）。すなわち、位置補正対象画像Ｔを縦方向や横方向に移動し、２つの画像間で片方のピークの位置を重ならせる。このときの平行移動量を記録する。

【0040】

次いで、回転移動量補正を行い、残りのピークを合わせる（処理２）。すなわち、処理１であわせたピークの位置を回転中心として、位置補正対象画像Ｔを回転させ、２つの画像間で残りのピークの位置を重ならせる。これにより、２つのピークが重なる。このときの回転移動量を記録する。夜空における星は、北極星を中心に回転するため、単純な平行移動ではなく、上述したように平行移動補正と回転移動補正を行う。

【0041】

このように平行移動補正と回転移動補正を行った後の補正対象画像Ｔにおける処理ステップＳ１１で検出した各ピークの位置が、基準画像Ｂの星の座標上に存在するか確認する（処理３）。そして、係る存在する個数、すなわち、両画像でピークの位置が一致した個数を計数し、記録する。

【0042】

処理装置１３は、全てのピークの組み合わせについて、上記の処理１～３を繰り返し実行し、ピークの位置が一致した個数が最大のものに関連付けられた平行移動量と回転移動量を、平面位置補正移動量に決定する。そして、処理装置１３は、位置補正対象画像Ｔに対し、決定した平面位置補正移動量で補正処理を行い、第二中間画像を生成し、記録する。また、処理装置１３は、基準画像以外の９９枚の全ての第一中間画像に対して個別に平面位置補正を行い、対応する第二中間画像を生成する。

【0043】

図１１に模式図で示したように、光害減算処理後のグラフは、ベースラインはフラットになるが、ノイズ成分が含まれている。よって、例えば２等星以下の暗い星のピークは、ノイズ成分に隠れてしまい、検出しにくい。そこで、例えば上述した平面位置補正等を行い、ピーク位置をあわせた画像を加算平均すると、ノイズ成分は小さくなるが、星に伴うピークは変わらない。これにより、２等星以下の星であっても、星が存在する座標の明るさが目立つ。

【0044】

図１１に模式図に従って概念を説明すると、光害減算処理後のグラフにおいて一等星の位置を合わせるように画像全体をシフトさせると、図１６に示すようになる。そして、係るグラフを加算平均処理すると、図１７に示すようになる。すなわち、星のピークは、基準線Ｌより上にくる。これには、補正後の星の位置は固定されて一致しているため平均化するとピークが明確になる。図示の例では、確認できるピーク個数は、図３に示す補正前では５個であったが、補正後の図１７では９個に増え、等級の低い星も検出できる。一方、ノイズによる光成分は基準線Ｌより下に位置する。これは、ノイズの光強度はランダムのため、平均化すると低い値でフラット化するためである。

【0045】

ところで、図１８に示すように、星は３次元の天球上を移動する。それをカメラで撮影し２次元の写真画像にした場合、３次元→２次元の変換により時間変化により相対位置関係が微妙に変化する。そのため、例えば第二中間画像をそのまま単純にコンポジット合成を行うと、図１９に示すように特定領域Ｒ１では星は正確にフィッティングされるが、別の領域Ｒ２では位置ずれのため流れて合成される。星は連続的に変異することから、正確にフィッティングされない領域Ｒ２では、星は線状に延びた広がりをもった状態となる。

【0046】

そこで本実施形態では、以下に示す射影変換を行い、３次元から２次元に変換する際に生じるゆがみを除去するようにした。具体的には、まず処理装置１３は、変換補正用ピーク検出処理を行う（Ｓ１４）。この変換補正用ピーク検出処理は、まず、前処理で生成した１００枚の全ての第二中間画像を用いて比較明合成を行い、得られた画像から変換補正に使用する４つのピークを選定する。

【0047】

この４つのピークの選定は、処理装置１３が、比較明合成した画像に対し、第二閾値を用いたピーク検出処理を行い、検出された多数のピークの中から、下記の条件を満たすピークを検出する。比較明合成をした画像では、日周運動の影響から一つの星が点状ではなく、線状など一定の広がりを持った状態で存在することがある。そして、星は連続的に移動することから、同じ星に基づく光は、比較明合成をした画像においてつながった状態にある。そこで、上記のピークを検出する際に、星は連続的に移動することから、同じ星に基づく光は、比較明合成をした画像においてつながった状態にある。そこで、上記のピークを検出する際に、係る繋がりのある部位は、一つの星に対応するピークとするとよい。
条件１：画像の端にない。日周運動により星が画像外に移動する場合があるため、排除する。
条件２：他のピークから一定以上の距離がある。誤選定防止のためである。
条件３：画像の四隅に最も近いもの。４点で描く四角形の面積がなるべく大きくすると、精度向上するためである。

【0048】

図２０は、比較明合成をした画像に対し、上記のピークの検出処理をした結果である。図示するように、多数のピーク候補が検出され、最終的に４つの射影変換補正用ピークＰが決定される。また、この比較明合成をした画像の右隅を拡大して示す図から明らかなように、星に対応する部分が連続した広がりを持って明るくなっている。

【0049】

さらに、処理装置１３は、射影点の範囲、すなわち、決定した４つのピーク毎に星が動きうる範囲を決定する。具体的には、例えばピークの周りの第三閾値以上の領域を抽出する処理を行うと良い。

【0050】

次に処理装置１３は、射影変換を行う（Ｓ１５）。すなわち処理装置１３は、１００枚の第二中間画像の一枚（例えば１枚目に撮影した画像）を読み出して基準画像（Ｂａｓｅ）にし、別の１枚の画像を読み出して変換補正対象画像（Ｔａｒｇｅｔ）とする。そして、それぞれの画像における４つのピークを選定する（図２１参照）。この選定により、図２２に模式図で示すように、基準画像（Ｂａｓｅ）と変換補正対象画像（Ｔａｒｇｅｔ）では、４つのピークを頂点とする四角形が形成される。

【0051】

次いで処理装置１３は、選定した４つの点を結ぶ仮想四角形の各辺の長さ、すなわち、隣接するピーク間距離を求め、基準画像（Ｂａｓｅ）のものと変換補正対象画像（Ｔａｒｇｅｔ）のものとで、差が一定値以下であることを確認する。このとき、差が一定値よりも大きいと、ピークを誤選定した可能性があるので、処理装置１３は、射影変換を行わない。そして、差が一定値以下の場合には、処理装置１３は、４つの点を合わせるように画像全体を射影変換する。このようにすることで、１枚の基準画像と、それぞれに射影変換をしてゆがみを直した９９枚の射影変換後の画像が生成され、それら全て（１００枚）を第三中間画像として記録する。この１００枚の第三中間画像における同一の星に対応する光の位置は、３次元から２次元に変換する際のゆがみが解消或いは低減され、一致する。

【0052】

次に処理装置１３は、最終合成処理を行う（Ｓ１６）。すなわち、処理装置１３は、１００枚の全ての第三中間画像をコンポジット合成する。ここでは、コンポジット合成は、加算平均を行う。そして、一定輝度以下の画素のＲＧＢの各値を０に変換する。一定輝度以下は、例えば、ＲＧＢの各値が設定値未満のものとするとよい。これにより、ノイズを除去する。そして処理装置１３は、それ以外の画素の輝度を強調する。この強調処理は、例えば、強調係数を掛けることで行うとよい。このようにすることで、星以外の領域は暗くなり、星の部分の明るさが強調される。特に射影変換をしてゆがみが低減されるため、画像の全体にわたり、星の光を炙り出することができる。これにより、星の部分が点状に現れ、星空の画像が形成される（図２３等参照）。処理装置１３は、このようにして生成された最終画像を、記憶装置１６に記録し、表示装置に出力するとよい。

【0053】

上述した実施形態では、処理装置１３は、スタンドアローンタイプのパーソナルコンピュータを用い、カメラで撮影した画像データを記録し、処理するようにしたが、本発明はこれに限ることはなく、例えば、インターネット等のネットワークに接続されたサーバ等で構成してもよい。また、カメラが例えばスマートフォン等の携帯端末で構成し、その携帯端末に上述した処理アルゴリズムを実行するアプリを実装する。このようにすると、携帯端末を用いて所定枚数の夜景を撮影し、当該アプリで処理することで、綺麗な星空を生成し、表示等することができるので良い。

【0054】

以上、本発明の様々な側面を実施形態並びに変形例を用いて説明してきたが、これらの実施形態や説明は、本発明の範囲を制限する目的でなされたものではなく、本発明の理解に資するために提供されたものであることを付言しておく。本発明の範囲は、明細書に明示的に説明された構成や製法に限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求する可能性があることを、念のために申し述べる。

【符号の説明】

【0055】

１０ ：天体写真撮影システム
１１ ：デジタルカメラ
１２ ：三脚
１３ ：処理装置
１４ ：入力装置
１５ ：出力装置
１６ ：記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】