(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-19
(45)【発行日】2022-05-27
(54)【発明の名称】システム及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220520BHJP
G06T 7/33 20170101ALI20220520BHJP
H04N 5/232 20060101ALI20220520BHJP
【FI】
G06T7/00 350C
G06T7/33
H04N5/232 290
H04N5/232 960
(21)【出願番号】P 2020141282
(22)【出願日】2020-08-24
【審査請求日】2020-08-28
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、総務省、独創的な人向け特別枠「異能(Inno)vation」プログラム委託事業、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】520303999
【氏名又は名称】生駒 卓也
(74)【代理人】
【識別番号】100092598
【氏名又は名称】松井 伸一
(72)【発明者】
【氏名】生駒 卓也
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】特開2019-121981(JP,A)
【文献】国際公開第2020/067005(WO,A1)
【文献】特開2020-035380(JP,A)
【文献】特開2018-092502(JP,A)
【文献】中国特許出願公開第110930329(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
同一領域の星空を撮影した複数の写真データと、前記同一領域における星の位置を特定する特定情報とに基づき、天体写真撮影用のAIを構築するためのディープラーニング用のデータセットを作成する処理手段を備え、
前記処理手段は、前記複数の写真データを、データ間で星の位置を揃えるように位置補正をする機能と、
前記位置補正した前記複数の写真データから、前記同一領域の画像を切り出して入力データを生成する機能と、
前記特定情報から、前記切り出した画像内に存在する星の位置を特定する正解データを生成する機能を備え、
前記位置補正した前記複数の写真データからそれぞれ複数箇所を切り出し、前記入力データと前記正解データのセットを複数設けることで前記データセットを作成する
ようにし、
前記処理手段は、前記切り出す領域を非長方形の四角形とし、切り出した画像を長方形に射影変換するシステム。
【請求項2】
前記特定情報は、星景シミュレーターに記録された星の位置情報及びまたは星景シミュレーターに基づく画像である請求項1に記載のシステム。
【請求項3】
同一領域の星空を撮影した複数の写真データと、前記同一領域における星の位置を特定する特定情報とに基づき、天体写真撮影用のAIを構築するためのディープラーニング用のデータセットを作成する処理手段を備え、
前記処理手段は、前記複数の写真データを、データ間で星の位置を揃えるように位置補正をする機能と、
前記位置補正した前記複数の写真データから、前記同一領域の画像を切り出して入力データを生成する機能と、
前記特定情報から、前記切り出した画像内に存在する星の位置を特定する正解データを生成する機能を備え、
前記位置補正した前記複数の写真データからそれぞれ複数箇所を切り出し、前記入力データと前記正解データのセットを複数設けることで前記データセットを作成する
ようにし、
前記特定情報は、前記複数の写真データに基づいて作成した点状の星が存在する星空の天体写真であり、
前記処理手段は、前記複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、
前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、
複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、
位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備えるシステム。
【請求項4】
前記処理手段は、前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行った際の補正量を記憶し、その記憶した補正量を用いて前記位置補正を行う請求項3に記載のシステム。
【請求項5】
前記処理手段は、前記切り出す領域を非長方形の四角形とし、切り出した画像を長方形に射影変換する請求項3または4に記載のシステム。
【請求項6】
前記処理手段は、前記切り出しを異なるサイズで行う請求項1から5のいずれか1項に記載のシステム。
【請求項7】
前記データセットを用いてディープラーニングを行い、前記天体写真撮影用のAIを作成する機能を備えた請求項1から6のいずれか1項に記載のシステム。
【請求項8】
請求項7に記載のシステムで作成された前記天体写真撮影用のAIと、
夜空を撮影した元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、
その切り出した画像データに基づくデータを前記天体写真撮影用のAIに与える機能と、
前記天体写真撮影用のAIから出力されるデータを組み合わせて天体写真を作成する機能を備えるシステム。
【請求項9】
同じ領域を撮影した複数の前記元画像に基づいて前記天体写真を作成する請求項8に記載のシステム。
【請求項10】
請求項7に記載のシステムで作成された前記天体写真撮影用のAIと、
極小点を含む元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、
その切り出した画像データに基づくデータを前記天体写真撮影用のAIに与える機能と、
前記天体写真撮影用のAIから出力されるデータを組み合わせて前記極小点を検出する機能を備えるシステム。
【請求項11】
前記元画像を縮小する機能を備え、
前記元画像と、縮小された縮小画像にそれぞれに対して処理を実行し、前記極小点を検出する請求項10に記載のシステム。
【請求項12】
請求項1から11のいずれかに記載のシステムの機能をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、システム及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラの高性能化、スマートフォン等の携帯端末に実装されるカメラ機能の高性能化にともない、例えば、夜間等においてもストロボやフラッシュを使用することなく夜景等を綺麗に撮影することが可能となっている。
【0003】
一方、このように高性能化された一般のデジタルカメラや携帯端末のカメラ機能等を用い、そのまま星空等の天体写真を撮ることは難しい。すなわち、星空は夜景よりもずっと暗いため、例えば、数分~数10分、さらには数時間という長時間の露出時間が必要になる場合がある。そのため、例えば、星空を点像に写すには、シャッターを開けている間、デジタルカメラ等を星の動いている方向に合わせてカメラの向きを少しずつスムーズに変えていくといった追尾撮影を行う必要がある。係る追尾撮影を精度良く行うためには、例えば、モーターが内蔵され自動で星を追いかける機器である赤道儀を用いる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した赤道儀を用いた天体写真撮影システムは、高価かつ大型化する。そして、そのように大きいことから、当該システムは、持ち運びが煩雑となる。また、例えば予め天体を撮る目的で所望の地域に出かける場合には、荷物が重く大きくなったとしても当該赤道儀を含めた天体写真撮影ステムを持ち運ぶことで天体撮影は可能となる。しかし、係る天体写真撮影システムを常時携帯することは難しい。そのため、例えば外出先でたまたま撮影する環境・状況が良いなど天体写真を撮りたい状況になった場合に、デジタルカメラなどの撮影機器はあるものの赤道儀などのシステム全体を用意できずにシャッターチャンスを逃すおそれもある。特に天体写真の撮影は天候に左右されるため、例えば常時携帯することができるコンパクトで軽量な天体写真撮影システムの提供が望まれる。
【0005】
また、都市圏で天体写真を撮るためには、光害の影響を考慮する必要がある。すなわち、夜間も経済活動が活発で、街中に人工光が溢れている都市圏の場合、夜空が明るくなり、星が見えにくくなってしまう。そのため、例えば2等星以下の星の明るさは、光害による光の明るさ以下となり写真に写らないことがある。係る光害に対する対策としては、例えば、街灯など主な光害の波長だけをカットする「光害カットフィルタ」をデジタルカメラに装着する方法がある。しかし、ユーザが既に所有しているデジタルカメラに装着可能な光害フィルターが存在しない場合、光害カットフィルタを装着可能なデジタルカメラを改めに購入することになる。また、仮に既に所有しているデジタルカメラに装着可能な光害カットフィルタが存在していたとしても、当該光害カットフィルタを購入する必要がある。そして、天体写真の撮影時には、デジタルカメラに光害カットフィルタを装着し、一般撮影時には光害カットフィルタをデジタルカメラから取り外すとともに保管することになる。このように、光害カットフィルタの着脱や保管をする作業が煩雑となる。さらに、光害カットフィルタは、全ての光害の波長をカットするものではない。よって、例えばカットできない波長の光成分が多い地域では、光害の影響を充分に抑制できないおそれがある。
【0006】
さらに、例えば、デジタルカメラやスマートフォン等を用いて撮影した光害の影響を受けた天体写真に基づき、AIを用いて綺麗な星空の天体写真を作成するシステムを考えた場合、以下に示す課題が生じる。
【0007】
ディープラーニングを精度よく行うためには、大量のデータを用意し、自立的に処理モデルを構築する必要がある。用意するデータの数は構築するモデルの内容によって異なるが、数千から数万、もしくはそれ以上を必要とする。しかし、星空を写した大量のデータセットを用意することは困難である。さらに光害等の影響のない星空は、星の位置に光の点が存在する点像である。人間が点像をアノテーションすることは非常に難しい。
【0008】
また、上述したように、星空は点像である。このように天体観察以外にも、例えば、科学・工学・医療の領域では微弱・微小な「点」を検出したいという欲求が多々ある。現状は撮影した画像を人間が目で見て確認する場合が多い。広大な領域(画像)を確認する必要があり、眼精疲労を生じてしまい、それに伴い見落としの可能性も高くなる。さらに、あまりに小さい点や光(シグナル)が弱い点は見逃す危険性が高い。例えば、低倍率の顕微鏡観察において発光・蛍光細胞の検出をしようとすると、これらの点は総じて小さく暗いため、眼精疲労や光過敏性発作などから適切に検出することは困難となる。すなわち、非人間的データを見続けることは、精神的な負担が大きくなる。また、激しい色の点滅は光過敏性発作を引き起こす可能性がある。また、例えばAIでこの問題を解決しようとする場合、上述したように検出するためのAIを学習させるために数万枚のデータが必要となり、係るデータを準備するのが困難である。
【0009】
上述した課題はそれぞれ独立したものとして記載しているものであり、本発明は、必ずしも記載した課題の全てを解決できる必要はなく、少なくとも一つの課題が解決できればよい。またこの課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。
【課題を解決するための手段】
【0010】
(1)本発明に係るシステムは、同一領域の星空を撮影した複数の写真データと、前記同一領域における星の位置を特定する特定情報(画像 プラネタリウムソフト)とに基づき、天体写真撮影用のAIを構築するためのディープラーニング用のデータセットを作成する処理手段を備え、前記処理手段は、前記複数の写真データを、データ間で星の位置を揃えるように位置補正をする機能と、前記位置補正した前記複数の写真データから、前記同一領域の画像を切り出して入力データを生成する機能と、前記特定情報から、前記切り出した画像内に存在する星の位置を特定する正解データを生成する機能を備え、前記位置補正した前記複数の写真データからそれぞれ複数箇所を切り出し、前記入力データと前記正解データのセットを複数設けることで前記データセットを作成するようにした。
【0011】
(2)前記処理手段は、前記切り出しを異なるサイズで行うとよい。
【0012】
(3)前記処理手段は、前記切り出す領域を非長方形の四角形とし、切り出した画像を長方形に射影変換するとよい。
【0013】
(4)前記特定情報は、前記複数の写真データに基づいて作成した点状の星が存在する星空の天体写真であり、前記処理手段は、前記複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備えるとよい。
【0014】
(5)前記処理手段は、前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行った際の補正量を記憶し、その記憶した補正量を用いて前記位置補正を行うとよい。
【0015】
(6)前記特定情報は、星景シミュレーターに記録された星の位置情報及びまたは星景シミュレーターに基づく画像とするとよい。
【0016】
(7)前記データセットを用いてディープラーニングを行い、前記天体写真撮影用のAIを作成する機能を備えるとよい。
【0017】
(8)(7)に記載のシステムで作成された前記天体写真撮影用のAIと、夜空を撮影した元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、その切り出した画像データに基づくデータを前記天体写真撮影用のAIに与える機能と、前記天体写真撮影用のAIから出力されるデータを組み合わせて天体写真を作成する機能を備えるとよい。
【0018】
(9)同じ領域を撮影した複数の前記元画像に基づいて前記天体写真を作成するとよい。
【0019】
(10)(7)に記載のシステムで作成された前記天体写真撮影用のAIと、極小点を含む元画像を複数の領域に分割し、その分割した領域ごとに切り出す機能と、その切り出した画像データに基づくデータを前記天体写真撮影用のAIに与える機能と、前記天体写真撮影用のAIから出力されるデータを組み合わせて前記極小点を検出する機能を備えるとよい。
【0020】
(11)前記元画像を縮小する機能を備え、前記元画像と、縮小された縮小画像にそれぞれに対して処理を実行し、前記極小点を検出するとよい。
【0021】
(12)本発明のプログラムは、上記のいずれかに記載のシステムの機能をコンピュータに実現させるためのプログラムである。
【0022】
本発明は、例えば複数の元画像の枚数を多くするのに加え、1枚の元画像から切り出す領域の数を増やすことで天体写真撮影用のAIを構築するための大量のデータセットを容易に作成することができる。
【図面の簡単な説明】
【0023】
【
図1】
図1は、本発明に係るシステムの好適な実施形態を示す図である。
【
図2】
図2は、生写真データの一例を示す図である。
【
図3】
図3は、
図2中の矢印で示す各位置における光の強度を示すグラフである。
【
図4】
図4は、
図2中の矢印で示す各位置における光害の光成分、星の光成分と、ノイズの光成分のそれぞれの光の強度を示す模式図である。
【
図5】
図5は、星の位置を示すピークの移動を模式的に表した図である。
【
図6】
図6は、処理装置の機能を示すフローチャートである。
【
図7】
図7は、光害パターンの生成機能を説明する図である。
【
図8】
図8は、生写真データの一部を拡大して示す図である。
【
図9】
図9は、生写真データを加算平均した結果を示す図である。
【
図10】
図10は、
図9に示す画像に対しMedianフィルターで滑らかにした結果を示す図である。
【
図12】
図12は、光害減算処理により生成された第一中間画像の一例を示す図である。
【
図13】
図13は、平面位置補正用ピーク検出処理を説明する図である。
【
図18】
図18は、日周運動と星の相対位置関係を示す図である。
【
図19】
図19は、日周運動と星の相対位置関係を示す図である。
【
図20】
図20は、比較明合成をした画像に対し、ピークの検出処理をした結果である。
【
図23】
図23は、生成される正解データ(天体写真)の一例を示す図である。
【
図24】
図24は、処理装置の機能を示すフローチャートである。
【
図25】
図25は、AIに与える画像の切り出し処理を説明する図(その1)である。
【
図26】
図26は、AIに与える画像の切り出し処理を説明する図(その2)である。
【
図27】
図27は、AIに与える画像の切り出し処理を説明する図(その3)である。
【
図30】
図30は、
図29に示す生写真データをAIが処理して作成した天体写真の一例を示す図である。
【
図31】
図31は、生写真データからAI処理して天体写真を作成する機能を説明する図である。
【
図33】
図33は、別の実施形態を説明する図(その1)である。
【
図34】
図34は、別の実施形態を説明する図(その2)である。
【
図35】
図35は、別の実施形態を説明する図(その3)である。
【
図36】
図36は、さらに別の実施形態のシステムを示す図である。
【発明を実施するための形態】
【0024】
以下、本発明の好適な実施形態について図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。
【0025】
図1は、本発明に係るシステムの好適な一実施形態を示している。本実施形態のシステム10は、例えば1枚の撮影画像から星を抽出するAI(人工知能)を構築するためのディープラーニング用のデータセット(「大量の入力データ」と「正解データ」)を作成する機能と、そのデータセットを用いて学習し、AI用のDNN(Deep Neural Network)モデルを作成する機能を備える。そして、本システムが作成したDNNモデルのAIを用いることで、例えばデジタルカメラ11或いはスマートフォン18が撮影した1枚の天体写真(星景写真)から、星空を点像に写した星が点在する綺麗な天体写真(星景写真)を作成することができる。
【0026】
同図に示すように、本実施形態のシステム10は、デジタルカメラ11を用いて撮影した天体写真(星景写真)の生データに基づいて、所定の画像処理等を実行し、星空を点像に写した天体写真(星景写真)を生成する処理装置13と、その処理装置13に接続される入力装置14、出力装置15並びに記憶装置16等を備える。
【0027】
処理装置13は、パーソナルコンピュータその他の演算処理能力を有するコンピュータ等であり、実装されたアプリケーションプログラムを実行する機能等を備える。入力装置14は、例えばキーボード、マウス、タッチパネルなどの処理装置13に対して情報,命令を入力する装置である。出力装置15は、例えば、モニタ装置であり、例えば取得したデータ(例えば、天体の生写真データ等)や、取得した生写真データに対して処理装置13が所定の処理をした結果(例えば、星空を点像に写した天体写真等)を表示する装置である。記憶装置16は、処理装置13内のハードディスクその他の内部記憶装置でもよいし、処理装置13に接続される外付けの外部記憶装置でもよい。
【0028】
本実施形態では、処理装置13は、スタンドアローンタイプのパーソナルコンピュータを用い、カメラで撮影した画像データを記録し、処理するようにしたが、本発明はこれに限ることはなく、例えば、インターネット等のネットワークに接続されたサーバ等で構成してもよい。
【0029】
デジタルカメラ11で撮影した写真データは、例えばデジタルカメラ11と処理装置13を通信ケーブルで接続したり、無線通信を用いて接続したりした状態で処理装置13にデータ転送することで、処理装置13に取り込む。また、例えば、デジタルカメラ11に着脱自在に装着されたメモリカード等の記録媒体を用いて処理装置13に写真データを入力するようにしてもよい。処理装置13は、このようにして取得した生写真データを、記憶装置16に記憶する。連写した100枚以上の生写真データは、例えば同一のホルダに保存するなど、別に撮影した生写真データと区別がつくように記憶するとよい。
【0030】
[天体写真の撮影]
本実施形態では、ユーザは、デジタルカメラ11を用いて以下のようにして天体写真(星景写真)を撮影する。撮影地域は、例えば、都市圏等の光害の影響が大きい地域とするとよい。本実施形態では、後述するように光害の影響が大きい地域で撮影した星景写真であっても、星空を点像に写した写真を生成することができる。但し、システム10は、光害の影響が小さい地域で撮影した生写真データに対する処理を排除するものではない。光害の影響が小さい地域で撮影した生写真データであっても、当該小さい光害の影響やその他の影響をなくし、より綺麗な天体写真を生成することができる。
【0031】
撮影は、光をできるだけ多く取り込むようにする。具体的には、高感度撮影(例えばISO感度は最大)を行い、F値は最小で、シャッター速度は遅めに設定するとよい。シャッター速度が遅めは、例えば、撮影した天体写真の全体が白っぽくなる程度とするとよい。また、手振れ補正はなしとする。そして、固定撮影により、同一の視野内の天体写真を多数枚取得する。具体的には、デジタルカメラ11を三脚12に固定し、連写機能を用いて例えば100枚以上の天体写真を撮影する。また、色温度も固定して撮影を行う。また本実施形態では、連写により100枚程度撮影しており、この撮影に要する時間は2から3分程度となる。
【0032】
また、撮影は、月のない日に行うのが望ましい。さらにカメラの撮影範囲内に大型の光点(月・街頭)がなく、夜空のみで、地上の風景は画角内に入れないように設定する。さらに、撮影時には、飛行機・人工衛星などの高速に移動する光点が画角内にないようにすると良い。
【0033】
[光の種類]
図2は、都市圏で撮影した天体写真を示す。同図に示すよう、光害による影響から、点在するはずの星が、ほとんど見える状態で撮影できていない。
図2に示す写真に写されている光の種類は、例えば、光害と、星と、ノイズなどがある。写真の各位置の光の強度は、それら3つの光の内の一つまたは複数の光の成分が載ったものとなる。
【0034】
図3は、
図2中の矢印で示す各位置における光の強度を示すグラフである。すなわち、写真のX軸上のある点におけるY軸を横軸にとり、各位置の光の強度(明るさ)を縦軸に採った模式図である。また、
図4は、
図2中の矢印で示す各位置における光害の光成分、星の光成分と、ノイズの光成分のそれぞれの光の強度を示す模式図である。
図3に示す模式図は、
図4に示す光害と星とノイズの光成分を合わせたものである。
【0035】
光害は、地上の光が大気散乱したものであり、
図4に示すように、連続的に変化する。この光害は、巨視的量依存のため、2~3分程度の短時間では変化しない。すなわち、連写した100枚の写真における光害の光のパターンは、ほとんど変化しない。そして、この光害に基づく光成分は、除外対象である。
【0036】
ノイズは、センサーに発生するノイズである。このノイズは、熱が原因のため、
図4に示すように発生位置はランダムである。ランダム変化のため、写真毎にノイズに基づく光成分の発生位置,光のパターンは異なる。そして、このノイズに基づく光成分は、除外対象である。
【0037】
星が存在する部分には、その星からの光が存在する。
図4に示すように、星が存在する位置にピーク状に光の強度が強くなり、その大きさは星により異なる。1等星以上は十分に明るく肉眼でも視認できる。1等星以上の星の光の強さは、ノイズと比べて十分大きい(
図4中、破線枠参照)。一方、2等星以下の星は暗く、ノイズと同程度かそれ以下の強度となる(
図4中、一点鎖線枠参照)。よって、2等星以下の星は、熱的ノイズと区別が困難である。また、星は日周運動により常に位置が変わるが相対位置関係はほぼ変わらない。2~3分の時間経過によっても、星の位置が異動するため、撮影した100枚の各写真における同じ星の存在位置が変わる(
図5参照)。この星に基づく光成分は、残す対象である。なお、
図5は、星の位置を示すピークの移動を模式的に表したものであり、天体における実際の移動は円状に動く。
【0038】
上述したように、生写真データは、3種類の光の成分を合わせたものであり、
図3に示すように、ランダムの振幅で振動しながら全体的にはなだらか変化した波形が現れ、ところどころ(星のある部分)にピークが現れる。
図3からも明らかなように、肉眼で確認できる一等星に対応する部分は、明確なピークとして現れるが、その他の星はノイズに隠れた状態となる。
【0039】
[正解データの作成のための画像処理]
上述したように、3種類の光の成分が存在すること、及び各光の成分の特徴に基づき、処理装置13は、以下に示す処理アルゴリズムを実行することで、不要な光成分を除去しつつ、2等級以下の星も点像として見える星空の天体写真を生成する。具体的には、処理装置13は、
図6に示すフローチャートを実行する。
【0040】
すなわち、処理装置13は、処理対象の100枚の生写真データにおける光害パターンを求める(S10)。
図4に模式図を示したように、光害のパターンはなだらかに変化し、処理対象となる全ての生写真データにおいて共通する。そこで、処理装置13は、100枚の生写真データから複数枚例えば20枚程度をランダムにサンプリングし、抽出した生写真データを位置補正なしでコンポジット合成する。例えば、
図7に模式図として示すように、抽出した20枚の生写真データにおける
図2中の矢印で示す各位置における光の強度を示すグラフを加算平均すると、上から2番目に示すようなグラフとなる。すなわち、ノイズに伴う光成分は、平均化するとほぼフラットになり、振動したとしてもその振幅は非常に小さくなる。また、星に伴うピークの位置は、時間経過に伴い変化するため、平均化すると影響が少なくなる。画像としてみた場合には、見えにくくなる。一方、光害は、時間経過によって位置変化しない定常パターンのため、結果として、複数の生写真データを平均化すると、主成分として現れる。単純に加算平均処理をしただけだと、ノイズの影響を完全に消すことができず、わずかに振動が残る。さらに例えば星の大きいピークなどの影響が残り、わずかに膨らんだ部分も生じる。そこで、処理装置13は、滑らかになる処理を行う。この滑らかにする処理は、例えば、Medianフィルターを用いたり、関数近似を行ったりするとよい。これにより、
図7に示すように、上から2番目に示すグラフは、上から3番目に示すようになだらかな直線からなる光成分が生成される。これにより、光害パターンが抽出される。なお、抽出された光害パターンには、正確にはノイズの平均値も含まれるか、その値はわずかであることから、光害パターンと称する。
【0041】
係る処理における実際の写真の一例を示すと、
図8は、生写真データの一部を拡大して示す図である。同図に示すように、まだらな光害と熱的ノイズに加え、点状の星が存在する。この写真データを含む複数(例えば20枚)の生写真データを加算平均すると、
図9に示すようになめらかな光害に線上に星が残った画像となる。そして、係る画像に対し、例えばMedianフィルターで星を消すと、
図10に示すようになめらかな光害からなる画像が生成される。
【0042】
次に処理装置13は、光害減算処理を実行する(S11)。すなわち、処理装置13は、処理対象の100枚の生画像データから、光害に基づく光成分を除去する。具体的には、求めた光害パターンを用いて、処理対象の全ての生写真データから光害パターンを減算し、第一中間画像を生成する。処理対象の生写真データが100枚存在する場合、第一中間画像は100枚生成される。
【0043】
例えば
図2中の矢印で示す各位置における光強度が、
図11の上側に示すようになっているとすると、光害減算処理は、その図から、同一箇所における光害パターン(
図7の上から3番目の図等)を減算する。すなわち、横軸の同じ座標位置の光強度をそれぞれ減算する。これにより、
図11の下側に示すように、ベースラインが横軸と平行なグラフに変換される。
【0044】
この光害減算処理により生成された第一中間画像の一例は、
図12の左側の図となる。この図は、第一中間画像の一部を拡大して示す図であり、
図8に示す生写真データが光害減算処理をした結果である。
図12の右側の図は、第一中間画像に対して明るさ調整を行った結果である。光害による光成分を除去したため、全体的に暗くなるが、星の部分が明るくなる。但し、一枚の画像を見ただけだと、星の明るさが弱く、左側の第一中間画像では、星空に存在する点状の星の存在が見にくいが、明るさ調整を行った左側の図から明らかなように、光害パターンを除去することで、星が点状に存在した星空が再現されていることが確認できる。
【0045】
次に処理装置13は、平面位置補正用ピーク検出処理を実行する(S12)。ピークは、星の移動に基づく各画像間の位置補正用のマーカーである。例えば第一中間画像内における1等星に対応する位置をピークとする。具体的には、処理装置13は、処理対象の第一中間画像の各画素のRGBの合計値をそれぞれ求め、第一閾値以上の画素をピーク候補として抽出する。第一閾値は、例えば1等級の星の明るさに対応する値とするとよい。
【0046】
図13に示すように、上に示す第一中間画像には、同図の下に示すように四角の枠で囲む位置に第一閾値以上のピーク候補が存在する。そして最終的に検出されるピークは、第一閾値以上の全てを抽出するのではなく、20~30程度とするとよい。本実施形態では、20個のピークを検出するようにした。この20個のピークは、例えば、RGBの合計値が大きいものから順に20個をピックアップしてもよいが、検出するピークは、画像全体に散らばっているようにするとよい。そこで、係る20個を検出するためには、例えば、第一閾値以上のピーク候補の中から、20個のピークをランダムに抽出したり、N個のピークはRGBの合計値が大きいものから順に抽出し、残りは抽出されなかった領域からピックアップしたりする等、各種の手法が採れる。処理装置13は、このピーク検出処理を全ての第一中間画像に対して行う。
【0047】
次に処理装置13は、平面位置補正を行う(S13)。時間経過に伴い夜空に見える星の位置は移動するので、同じ領域を撮影した100枚の写真データ中に存在する同じ星の位置は、全て異なる。そこで、この平面位置補正は、画像間で同じ星が同一位置に来るように位置補正を行う。具体的には、処理装置13は、100枚の第一中間画像の一枚(例えば1枚目に撮影した画像)を読み出して基準画像(Base)にし、別の1枚の画像を読み出して位置補正対象画像(Target)とする(
図14中、左側参照)。
【0048】
次いで、処理装置13は、基準画像Bと位置補正対象画像Tのそれぞれの画像から、ピークを二つ選ぶ。
図14の右側の図は、選んだ2つのピークを結ぶ線分を便宜上示している。その線分は、基準画像では破線で示し、位置補正対象画像では一点鎖線で示している。選択した2つのピークが同じ星に基づくものの場合、ピーク間の距離すなわち2つの線分の長さが等しいか、近似し、さらにその存在位置も比較的近い位置にある。そこで、各画像において、ピックアップされた20個中の2つのピークの全ての組み合わせについてピーク間距離を算出し、2つの画像間で距離が類似しているピークの組み合わせを抽出し、以下に示す平面位置補正を行う。なお、ピーク間距離が短すぎる場合には、正確に位置補正できない場合があるため、ピーク間距離が所定の閾値以上のものに対してのみ位置補正を行うようにしてもよい。
【0049】
平面位置補正は、以下に示す3つの処理を繰り返し実行し、最終的に適正な補正量に基づいて位置補正を行う。
図15に示すように、まず、平行移動補正を行い、片方のピークを合わせる(処理1)。すなわち、位置補正対象画像Tを縦方向や横方向に移動し、2つの画像間で片方のピークの位置を重ならせる。このときの平行移動量を記録する。
【0050】
次いで、回転移動量補正を行い、残りのピークを合わせる(処理2)。すなわち、処理1であわせたピークの位置を回転中心として、位置補正対象画像Tを回転させ、2つの画像間で残りのピークの位置を重ならせる。これにより、2つのピークが重なる。このときの回転移動量を記録する。夜空における星は、北極星を中心に回転するため、単純な平行移動ではなく、上述したように平行移動補正と回転移動補正を行う。
【0051】
このように平行移動補正と回転移動補正を行った後の位置補正対象画像Tにおける処理ステップS11で検出した各ピークの位置が、基準画像Bの星の座標上に存在するか確認する(処理3)。そして、係る存在する個数、すなわち、両画像でピークの位置が一致した個数を計数し、記録する。
【0052】
処理装置13は、全てのピークの組み合わせについて、上記の処理1~3を繰り返し実行し、ピークの位置が一致した個数が最大のものに関連付けられた平行移動量と回転移動量を、平面位置補正移動量に決定する。そして、処理装置13は、位置補正対象画像Tに対し、決定した平面位置補正移動量で補正処理を行い、第二中間画像を生成し、記録する。また、処理装置13は、基準画像以外の99枚の全ての第一中間画像に対して個別に平面位置補正を行い、対応する第二中間画像を生成する。
【0053】
図11に模式図で示したように、光害減算処理後のグラフは、ベースラインはフラットになるが、ノイズ成分が含まれている。よって、例えば2等星以下の暗い星のピークは、ノイズ成分に隠れてしまい、検出しにくい。そこで、例えば上述した平面位置補正等を行い、ピーク位置をあわせた画像を加算平均すると、ノイズ成分は小さくなるが、星に伴うピークは変わらない。これにより、2等星以下の星であっても、星が存在する座標の明るさが目立つ。
【0054】
図11に模式図に従って概念を説明すると、光害減算処理後のグラフにおいて一等星の位置を合わせるように画像全体をシフトさせると、
図16に示すようになる。そして、係るグラフを加算平均処理すると、
図17に示すようになる。すなわち、星のピークは、基準線Lより上にくる。これには、補正後の星の位置は固定されて一致しているため平均化するとピークが明確になる。図示の例では、確認できるピーク個数は、
図3に示す補正前では5個であったが、補正後の
図17では9個に増え、等級の低い星も検出できる。一方、ノイズによる光成分は基準線Lより下に位置する。これは、ノイズの光強度はランダムのため、平均化すると低い値でフラット化するためである。
【0055】
ところで、
図18に示すように、星は3次元の天球上を移動する。それをカメラで撮影し2次元の写真画像にした場合、3次元→2次元の変換により時間変化により相対位置関係が微妙に変化する。そのため、例えば第二中間画像をそのまま単純にコンポジット合成を行うと、
図19に示すように特定領域R1では星は正確にフィッティングされるが、別の領域R2では位置ずれのため流れて合成される。星は連続的に変異することから、正確にフィッティングされない領域R2では、星は線状に延びた広がりをもった状態となる。
【0056】
そこで本実施形態では、以下に示す射影変換を行い、3次元から2次元に変換する際に生じるゆがみを除去するようにした。具体的には、まず処理装置13は、変換補正用ピーク検出処理を行う(S14)。この変換補正用ピーク検出処理は、まず、前処理で生成した100枚の全ての第二中間画像を用いて比較明合成を行い、得られた画像から変換補正に使用する4つのピークを選定する。
【0057】
この4つのピークの選定は、処理装置13が、比較明合成した画像に対し、第二閾値を用いたピーク検出処理を行い、検出された多数のピークの中から、下記の条件を満たすピークを検出する。比較明合成をした画像では、日周運動の影響から一つの星が点状ではなく、線状など一定の広がりを持った状態で存在することがある。そして、星は連続的に移動することから、同じ星に基づく光は、比較明合成をした画像においてつながった状態にある。そこで、上記のピークを検出する際に、星は連続的に移動することから、同じ星に基づく光は、比較明合成をした画像においてつながった状態にある。そこで、上記のピークを検出する際に、係る繋がりのある部位は、一つの星に対応するピークとするとよい。
条件1:画像の端にない。日周運動により星が画像外に移動する場合があるため、排除する。
条件2:他のピークから一定以上の距離がある。誤選定防止のためである。
条件3:画像の四隅に最も近いもの。4点で描く四角形の面積がなるべく大きくすると、精度向上するためである。
【0058】
図20は、比較明合成をした画像に対し、上記のピークの検出処理をした結果である。図示するように、多数のピーク候補が検出され、最終的に4つの射影変換補正用ピークPが決定される。また、この比較明合成をした画像の右隅を拡大して示す図から明らかなように、星に対応する部分が連続した広がりを持って明るくなっている。
【0059】
さらに、処理装置13は、射影点の範囲、すなわち、決定した4つのピーク毎に星が動きうる範囲を決定する。具体的には、例えばピークの周りの第三閾値以上の領域を抽出する処理を行うと良い。
【0060】
次に処理装置13は、射影変換を行う(S15)。すなわち処理装置13は、100枚の第二中間画像の一枚(例えば1枚目に撮影した画像)を読み出して基準画像(Base)にし、別の1枚の画像を読み出して変換補正対象画像(Target)とする。そして、それぞれの画像における4つのピークを選定する(
図21参照)。この選定により、
図22に模式図で示すように、基準画像(Base)と変換補正対象画像(Target)では、4つのピークを頂点とする四角形が形成される。
【0061】
次いで処理装置13は、選定した4つの点を結ぶ仮想四角形の各辺の長さ、すなわち、隣接するピーク間距離を求め、基準画像(Base)のものと変換補正対象画像(Target)のものとで、差が一定値以下であることを確認する。このとき、差が一定値よりも大きいと、ピークを誤選定した可能性があるので、処理装置13は、射影変換を行わない。そして、差が一定値以下の場合には、処理装置13は、4つの点を合わせるように画像全体を射影変換する。このようにすることで、1枚の基準画像と、それぞれに射影変換をしてゆがみを直した99枚の射影変換後の画像が生成され、それら全て(100枚)を第三中間画像として記録する。この100枚の第三中間画像における同一の星に対応する光の位置は、3次元から2次元に変換する際のゆがみが解消或いは低減され、一致する。
【0062】
次に処理装置13は、最終合成処理を行う(S16)。すなわち、処理装置13は、100枚の全ての第三中間画像をコンポジット合成する。ここでは、コンポジット合成は、加算平均を行う。そして、一定輝度以下の画素のRGBの各値を0に変換する。一定輝度以下は、例えば、RGBの各値が設定値未満のものとするとよい。これにより、ノイズを除去する。そして処理装置13は、それ以外の画素の輝度を強調する。この強調処理は、例えば、強調係数を掛けることで行うとよい。このようにすることで、星以外の領域は暗くなり、星の部分の明るさが強調される。特に射影変換をしてゆがみが低減されるため、画像の全体にわたり、星の光を炙り出することができる。これにより、星の部分が点状に現れ、星空の画像が形成される(
図23等参照)。処理装置13は、このようにして生成された最終画像を、記憶装置16に記録し、表示装置に出力するとよい。
【0063】
このようにして生成された最終画像(画像X)は、100枚の写真で撮影した夜空における光害の影響をなくした星空であり、その領域を撮影したときの正解データとして使用可能となる。上述した画像Xを作成するための画像処理は、例えば10分程度で行われる。この画像Xは、同じ領域を連写して得た100枚の生写真データに基づき、光害の影響をなくした星空を点像に写した天体写真(星景写真)である。よって、この機能の部分に着目したシステムは、光害に基づく光成分とノイズが除去されて綺麗な星空の天体写真を生成する天体写真撮影システムともいえる。
【0064】
[学習用データ(正解データと入力データ)の作成のための画像処理]
上述したように日周運動の影響から、カメラで撮影して得られた100枚の天体写真(元画像)における同じ星の位置は異なる。100枚の元画像のうち、平面位置補正を行う際の基準画像に対応する元画像における各星の位置と、画像Xにおける各星の位置は一致する。しかし、その他の99枚の元画像における各星の位置と、画像Xにおける各星の位置は異なる。よって、99枚の元画像と正解データをそのまま教師データとして与えてディープラーニングを行っても正しく学習ができない。
【0065】
そこで本実施形態では、処理装置13が、
図24に示すフローチャートを実行する。まず、処理装置13が、第一中間画像に対して平面位置補正して第二中間画像を生成した際の移動量を用い、元画像を位置補正して画像Yを作成する(S20)。これにより、画像Yにおける各星の位置と、画像Xにおける各星の位置は、ほぼ一致する。係る処理を行うため、処理装置13は、第一中間画像に対して平面位置補正した際の補正値(平行移動量(上下左右)と回転移動量)をそれぞれ画像毎に記憶する。この回転移動量の記憶は、例えば処理装置13が内部メモリ或いは記憶装置16に記録して行うとよい。
【0066】
そして、処理装置13は、この記憶した補正値に基づき、99枚の元画像に対し、それぞれの補正値で補正処理し、99枚の画像Yを生成し、内部メモリ或いは記憶装置16等に記憶する。この位置補正した画像Yを生成する補正処理は、上述したように第一中間画像から第二中間画像を作成した際に用いた平面位置補正だけとしてもよいが、より好ましくは第二中間画像から第三中間画像を作成した際に用いて射影変換の補正量を記憶し、平面位置補正した中間補正画像をその記憶した補正量を用いて射影変換し、最終の画像Yを作成するとよい。このようにすると、各画像Yと画像Xにおける同じ星の出現する位置の一致度が高くなるのでよい。
【0067】
次いで、処理装置13は、画像Yの切り出し範囲を決定する(S21)。後述するように、本実施形態では、画像Xと画像Yの全体を学習データとするのではなく、両画像から同一箇所を切り出したデータを学習データとする。そして、
図25に示すように、切り出し対象のエリアは、画像Yの全領域ではなく、枠20の内側のエリアとする。すなわち、画像Yは、元画像に対して位置補正を行っているため、外周囲付近には何も映っていない黒の領域R3がある。例えば、元画像を左に所定距離だけ平行移動して生成された画像Yは、右端の所定距離分の部位には撮影された画像はなく黒の領域となる。図示のように元画像を斜め左下に所定距離だけ平行移動して生成された画像Yは、上端と右端にそれぞれ撮影された画像はない黒の領域R3となる。
【0068】
この枠20は、全ての画像Yにおいて撮影した画像部分がなくなる領域が切り出し範囲に入り込まないように設定する。具体的な位置は、例えば、十分に余裕を取った固定値としてもよいし、各画像Yを作成した際の補正値に基づき、上下、左右のそれぞれに対して適切な値を設定してもよい。
【0069】
次いで、処理装置13は、上記の設定した枠20内のエリア内で、各画像Yの同一箇所を切り出す(S22)。この切り出す範囲は、小さい領域(例えば32×32ピクセル)とするとよい。また、本実施形態では、切り出しサイズや形を歪め、バリエーションを増やすようにした。切り出しサイズの増減は、例えば±10%の範囲内でランダムに設定する。さらに、完全な長方形又は正方形ではなく多少ゆがんだ四角形を切り出す。そして、画像Xから切り出した画像データX1に基づいて正解データを作成し、画像Yから切り出した画像データY1に基づいて入力データを作成し、これらのデータセットを用いてDNNモデルをトレーニングする(
図28参照)。
【0070】
具体的切り出しは、例えば
図26に示すように、枠20の中からランダムに四角形からなる切り出し領域21を設定し、その切り出し領域21内の画像を切り出す。図に示すように切り出し領域21の四角形は、正方形にする必要は無く、寸法及び形状をランダムに設定する。このようにランダムにして色々な形の四角形したため、ノイズ的にバリエーションを増やすことができる。
【0071】
そして、処理装置13は、例えば、以下に示すように各パラメータ(中心座標、開始ポイント、中心からの距離(線分の長さ)、前の線分からの回転角)を順次ランダムに決定して切り出し領域21を設定し、その設定した領域内の画像を切り出す。すなわち、まず処理装置13は、中心座標Oと開始ポイントSを決定する。次いで、処理装置13は、この2点間の線分からの回転角θ1と、次の線分の長さ(中心座標Oからの距離)t1を決定し、以後順に前の線分からの回転角θ2,θ3と、次の線分の長さ(中心座標Oからの距離)t2,t3を決定する。これにより、一端が中心座標Oに位置する4本の線分が形成され、各線分の他端を結ぶ四角形からなる切り出し領域21が設定される。これにより、処理装置13は、1枚の画像から複数の切り出し領域21の画像を切り出す。DNNをトレーニングするためには、星が写っている(1~N個)画像と星が写っていない画像の両方を用意する必要がある。処理装置13がランダムに切り出すことで、両方の画像を取得できる。
【0072】
上述したように、切り出す位置もランダムに設定することで、例えば
図27に示すように、切り出し領域21の向き・姿勢は任意となり、複数の切り出し領域21が重なることもある。これらの事象の発生は、許容される。切り出し領域21の存在密度もばらついてよい。
【0073】
次に処理装置13は、切り出した図形を、ディープラーニング用に正方形或いは長方形に射影変換する(S23)。そして、上記の切り出し処理を所定数繰り返すことで、トレーニングに必要十分なデータ数を得られる。
【0074】
一般にディープラーニングを行う場合、画像の全体、すなわち、正解デートなる画像Xと入力データとなる画像Yをそのまま用いてトレーニングするが、本実施形態では、画像の一部を切り出してディープラーニングに与えることを特徴としている。一般的に行われる画像全体を用いて学習する場合には、画像全体を圧縮するため解像度が低下する。これに対し、本形態では高解像度のままの画像で学習できるのでよい。さらに、100枚の元画像は、連写しているため、色々なノイズののり方をしたバリエーションの比較対象の入力データが得られるのでよい。
【0075】
画像Xから切り出した領域内の画像データX1と画像Yから切り出した領域の画像データY1には、同じ星が存在している可能性が高く、発光している同じ星の部分と、光害やノイズを含んだ星が存在しない部分が混在するが、同じ星の周囲のため、光のピークとその周辺の発光状態が同じようになり、ディープラーニングにより特徴を見つけることができる。さらに、小さい領域を切り出すことで、切り出した画像は、その全体が光害やノイズの影響を受けた発光状態となり、係る発光状態の中に星の光が不連続に存在することから、例えば画像Xや1枚の画像Yや中における1つの切り出し画像と、別の場所にある切り出した画像は、同じディープランニングモデルとして扱える。従って、一枚の画像中の切り出し箇所を変えることで、1枚の画像から多数の領域を切り出し、多数の正解データと入力データを作成できる。
【0076】
効果的なディープラーニングを行うためには、学習用のデータを数万セット程度用意する必要がある。例えば画像の全体、すなわち、画像X(正解データ)と画像Yをそのまま用いてトレーニングしようとした場合、数万枚の写真撮影をする必要があり、困難である。また、星空は点像のため、撮影した生写真データに基づき人間がアノテーションすることは非常に難しい。これに対し、本実施形態では、1枚の画像から例えば200~300箇所以上の領域を切り出すとで、効果的な学習を行うための必要十分なデータセットを簡単に得ることができる。
【0077】
次に、処理装置13は、画像Yから切り出し、射影変換した正方形等の画像に対し、正則化処理をする。一般的な方法は、平均を0、偏差を1にした決められた値に規格化するが、本実施形態では、正則化パラメータはMedian+Quantileを使用する。中央値を0にし、1/4~3/4の四分位を1に規格化する。これにより、ノイズ又は等級が低い星の極小シグナルがあると思われる強度領域を強調することができる。また、明確にわかる星は+方向の外れ値、すなわち飽和する。画像Yにおいて注目したいのは、ノイズと星に伴うピークの区別であり、本実施形態によれば区別対象の強度領域が強調されるのでよい。
【0078】
上記のようにして各画像Yから切り出した全ての画像に対し、射影変換後に正則化して得たデータを入力データとする。このようにして求めた多数の入力データと正解データを用いて、DNNをトレーニングし、天体写真撮影用のAIモデルを作成する。
【0079】
上述した特定情報である正解データを作成するための画像Xは、複数の写真データに基づいて作成した点状の星が存在する星空の天体写真である。この画像Xを形成するための処理手段は、複数の写真データの一部または全部に基づいて光害に基づく光成分の光害パターンを求める機能と、前記複数の写真データに対し、それぞれ前記光害パターンを減算して複数の第一中間画像を生成する機能と、複数の前記第一中間画像間で、同じ星に対応するピークの位置を合わせる処理を行う機能と、位置合わせをして生成した複数の画像をコンポジット合成して前記天体写真を作成する機能を備えるとよい。この場合において、以下に示す(2)から(6)のいずれかのように構成するとよい。
【0080】
(2)前記処理手段は、前記複数の写真データの一部または全部をコンポジット合成して前記光害パターンを作成する機能を備える生成するように構成するとよい。
(3)前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させることで行うようにするとよい。
(4)前記位置を合わせる処理は、処理対象の前記第一中間画像を、前記ピークの位置が合うように相対的に画像全体を平面内で移動させて第二中間画像を生成し、その生成した複数の前記第二中間画像に対し、前記ピークの位置が合うように射影変換を行い第三中間画像を生成することで行うようにするとよい。
(5)前記天体写真を作成する機能は、前記位置合わせをして生成した複数の画像をコンポジット合成した画像に対し、一定輝度以下の画素を0に変換する処理を行うようにするとよい。
(6)前記天体写真を作成する機能は、前記一定輝度以下でない画素に対し、輝度を強調する処理を行うとよい。
【0081】
(天体写真撮影用のAIによる天体写真の作成)
上述したように、ディープラーニングをして得られたAIを用いることで、例えば、デジタルカメラやスマートフォン等で夜空を撮影すると、背景が黒で星のピークが描画された光害等の影響が除去された天体写真が生成される。すなわち、例えばこのAIのアプリをスマートフォン18にインストールする。そして、スマートフォン18を用いて夜空の写真(
図29に示す全体的にかすんだ写真)を1枚撮ると、それに対してAIが処理し、
図30に示すように黒色の背景に星が点在する天体写真の画像に変換される。元画像の写真データでは一見するとノイズ、光害などに隠れて見にくい星のピークも、AIにより検出できる。そして、係る処理に要する時間は、例えば0.5秒程度となり、撮影した現場で天体写真を見ることができる。このように、アプリをインストールしたスマートフォンを携帯するだけで良いので、例えば外出先でたまたま撮影する環境・状況が良いなど天体写真を撮りたい状況になった場合に、撮影が可能となる。
【0082】
係る処理は、例えば、以下のようにする。
図31に示すように、スマートフォン18の制御部は、撮影した1枚の夜空の写真を入力画像Z1として受け取ると、その画像全体をスライスし、切り出した矩形状の画像データD1を正規化して正規化データD2を作成し、その正規化データD2をAIが処理し、変換画像D3を作成する。そして、制御部は、この作成した変換画像D3を元の位置に戻して配列し、出力画像Z2を作成する。正規化にはMedian(外れ値(1等星)の影響を受けにくい)を使用するとよい。
【0083】
また、デジタルカメラに係るAIを実行する機能を実装した場合には、デジタルカメラでも撮影した現場で、きれいな天体写真を見ることができる。また、スマートフォン並びにデジタルカメラ等において、係るAIが実装されていない場合には、デジタルカメラ等で夜空を撮影し、その撮影した画像データを天体写真撮影用のAIを実装したパソコンやサーバ等に送ることで、天体写真を作成するようにするとよい。
【0084】
(精度の調整)
画像Xを形成する際にRGBパラメータの閾値(出力する星の等級)を調節し、学習に使用する補正後の画像Xを変えることで、確実に本物の星だけを検出するAIと、誤検出を許容しつつできるだけ星を検出するAI等の異なる用途のAIを形成するとよい。
【0085】
例えば、5等星など限界まで暗い星を抽出したデータでトレーニングした場合には、
図32中(1)に示すように暗い星を検出でき、多数の星が存在する天体写真を形成できる。この場合、誤検出も増え、星が存在しない部分にも光のピークが出現する画像となる。一方、例えば3等星程度までを抽出したデータでトレーニングした場合、
図32中(2)に示すように、目で見てわかる程度の星のみを検出した天体写真を形成できる。この場合、暗い星は検出できず、係る星が存在した場所は黒い背景となるが、誤検出の可能性が下がる。
【0086】
(星の瞬きの対応)
星の瞬きの影響から、ある元画像には星が現れるが、別の元画像には星が現れないことがある。よって、AIに夜空を撮影した1枚の写真データを与えるのではなく、複数枚(例えば3枚)を与え、出力するようにするとよい。
【0087】
(プラネタリウムソフトのデータを用いた実施形態)
上述した実施形態並びに変形例は、正解データとして100枚の天体写真を用いて生成した画像Xに基づいて正解データを作成し、その100枚の天体写真の一部を切り取ったデータに基づき入力データを作成するようにしたが、本発明はこれに限ることはなく、例えば、星景シミュレーターのデータに基づいて正解データを作成するとよい。
【0088】
星景シミュレーターに、例えば地域と年月日に時刻の情報を入力すると、そのときの天体の状況が表示される(
図33参照)。係る表示される画像を正解データ用の画像X’とし、上記と同様の処理によりトレーニングをする。すなわち、上述した実施形態で用いた画像X(その一部を
図34に示す)に変えて、星景シミュレーターに基づく画像X’(その一部を
図35に示す)を用いる。この場合には、画像X’と画像Yの同一領域を切り出す処理を行うため、例えば、1等星などの明るく写真上での存在位置が明らかなピークを複数ピックアップし、星景シミュレーターの画像の対応する星の位置が一致するように縮尺を調整するとよい。
【0089】
また、星景シミュレーターのデータベースには、各星の位置が記録されている。そこで、画像の代わりに星景シミュレーターなどから理論上の星空を取得し、光点の位置座標と、データベース上の星の位置関係を突合させ、画像Y中の星のある位置を特定し、それに基づいてトレーニングをするとよい。
【0090】
(極小点をマーキングする多目的機械学習モデルの作成)
本実施形態のシステムは、点を検出する1つのAIを用い、取得した画像の中から、点や微弱なシグナル等の極小点を検出するシステムである。この点を検出するAIは、例えば、上述した実施形態で求めた天体写真撮影用のAIを用いる。
【0091】
例えば、
図36に示すように、本実施形態のシステム30は、デジタルカメラ31で撮影した画像データや、インターネット等を介して取得した画像データに基づいて、所定の画像処理等を実行し、画像データ中に極小点(光点)を検出する処理装置33と、その処理装置33に接続される入力装置34、出力装置35並びに記憶装置36等を備える。上述した実施形態と同様に、処理装置33は、一般のパーソナルコンピュータを利用することができ、入力装置34,出力装置35並びに記憶装置36も、パーソナルコンピュータに接続或いは内蔵される装置,機器等で構成する。
【0092】
デジタルカメラ31は、低倍率・高解像度・高感度で画像を撮影するように設定する。低倍率にする効果は、広範囲を撮影できるため、広い領域を一挙に探索できる。また、別の効果は、像が明るくなり、被写界深度が深い画像が得られる。絞った(被写界深度を深くした)場合でも明るさを稼げる。
【0093】
また、上述したように、本実施形態で用いる天体写真撮影用のAIは、画像全体を一括して処理するのではなく、小さい領域に分割し、個々の領域の画像データごとに処理するため、処理装置13が取得した画像データの解像度のまま処理が可能となる。そこで、デジタルカメラ31の撮影時のパラメータとして、高解像度にすることで、その解像度を保ったまま検出処理でき、精度良く極小点を検出可能となる。更に高感度にすることで、点や微弱なシグナル等の極小点を確実に拾うことができる。
【0094】
このデジタルカメラ31は、例えば、ユーザが保持したり、三脚に固定等したりして通常撮影を行うものや、各種の機材に取り付け、その機材で計測・検出した映像を撮影する。各種の機材は、例えば、顕微鏡(光学式・電子式)、天体望遠鏡、MRI、CT、レントゲンその他の医療検査機器、内視鏡、X線回折装置等がある。
【0095】
撮影した画像データは、例えば有線通信や無線通信を用いて処理装置33に転送する。処理装置33は、転送されてきた画像データを例えば記憶装置36に記録する。また、デジタルカメラ31で撮影した画像データをマイクロSDカード等の記録媒体に格納し、その記録媒体を用いて処理装置33に画像データを与えるようにしてもよいが、本実施形態のように通信を用いて画像を転送することで、リアルタイムで処理できるので好ましい。
【0096】
処理装置33は、取得した画像データを天体写真撮影用のAIで処理し、処理結果の変換画像を出力装置35であるモニタに表示したり、記憶装置36に記録したりする。具体的には、AIによる天体写真の作成処理と同様に、処理装置33は、取得した画像(
図37中、Z11)を適宜の寸法で画像全体をスライスし、切り出した矩形状の画像データを、Medianを使用して正規化して正規化データを作成する。このとき、処理装置33は、AIに入力する画像についてノイズの強度を制御する機能を備えるとよい。例えば、強いノイズがある状態でAIに入力すると、誤検出が多くなるが、見逃しも少なくなる。これに対し、ノイズを抑えた状態で入力に入力すると、誤検出は少なくなるが、見逃しも多くなる。ユーザはどのような検出結果が必要かにより、設定により調整するとよい。
【0097】
そして、処理装置33は、その正規化データをAIに入力して処理し、変換画像を作成する。そして処理装置13は、AIから出力される変換画像を切り出した位置に対応する領域に貼り付けて、全体の変換画像(
図37中、Z12)を形成する。つまり、処理装置13は、広範囲の画像を機械的にスキャンし、有為な点をみつける。また、AIは、光点である確率(0~1の実数)を出力するようにし、第一閾値以上を表示する。これにより、AIは広視野の画像から、1または複数の条件に合致(例えば、微弱な信号)する部分を検出して知らせる。
図37の変換画像Z12に示すように、複数の点P1が、人間が視認可能な状態で出現する。さらに、例えば円形状のマークMで示す位置の点P1のように、レベルの小さいものも検出できる。
【0098】
このように、本システム30は、1枚の写真から有為な点をピークとし、背景を黒色とした画像を作成することができる。すなわち、上述した実施形態における夜空を撮影した写真から天体写真を作成するためのAIは、星の相対位置など関係なく、光点の発生パターンに基づいて微弱な光点(例えば光害などに埋もれている星)を見つけるものであるので汎用性が高い。つまり、星の部分は非連続的で周りと関係なくそこだけ光っている。そのため、たとえレベルが小さくてもその差をAIは認識できる。その結果、画像Xで撮影したのと異なる天体、異なる星が写った写真でもAIは処理して星を見つけ、点像の天体写真を作成できる。
【0099】
例えば化学分野などにおいて、ノイズやバックグランドに埋もれた微弱なシグナル(光点)を見つけたいという要求がある。例えば、微弱な蓄光部位の検出や、顕微鏡写真における細胞観察等では、画像全体にノイズやバックグランドの光等があり、その中にわずかな発光点等があると、たとえ小さくてもその点の部分はノイズとは異なる特性・特質を有する。そして、その画像の特徴は、星空と同様となる。すなわち、それら天体以外の対象物を撮影した画像データにおけるノイズやバックグランドの光は、天体におけるノイズや光害と同様であり、背景部分と非連続で異なる特徴を有する微弱な点は、星と同じである。よって、上述したように、天体写真用にディープラーニングで生成されたAIは、細胞の顕微鏡写真、結晶構造の解析などの天体以外の画像に対しても同様の識別ができ、背景部分との差が小さい微弱な信号(点)であっても検出することかできる。
【0100】
上述したように、本システム30を実行すると、AI処理により光点(極小点)が検出された変換画像Z12が形成される。そこでユーザは、例えば、変換画像Z12を見て、光点の位置を確認したり、点像を見て検討したり、解析等したりする。なお、係る光点の検出は、人間が見て行うようにしてもよいが、処理装置33が行うようにしてもよい。例えば、光点として出力した部分の全てに例えば上記の円などのマークで囲むマーキングを行ってもよいが、検出した光点の個数が多いとマークの数が多くなりかえって見にくくなる。そこで、例えば、光点として検出された中で暗いものをマークするとよい。この処理は、例えば、検出した光点の中で、AIが出した光点である確率が、第二閾値(第一閾値よりも大きい値)以下のものをピックアップし、マーキングするとよい。このようにすると、比較的明るい光点は、人が視認して確実に検出でき、暗くて見づらい光点はマーキングされることで見落としがなくなる。
【0101】
また、この変換画像Z12のAIで検出した光点のなかから人が観察対象を決定し、その観察対象を追加観察するとよい。追加観察は、例えば、観察対象に対して高倍率観測や、長時間露光等がある。最初から高倍率観察を行うと、一度に観察できる範囲が狭く全てのエリアの観察を行うのに時間を要するが、広範囲の観察エリアをAIでサーチして光点を検出し、その検出した部分を高倍率観察することで、効率よく観察が行える。
【0102】
(撮影条件の変更機能)
デジタルカメラ31は、シャッタースピードを調整可能とするとよい。シャッタースピードを通常(例えば1秒)よりも遅め(例えば、2秒)に設定して撮影すると、より弱いシグナルを検出することができる。これに対し、シャッタースピードを早め(例えば、0.3秒)にすると、更新速度を速くし、リアルタイム性を優先することができる。
【0103】
また、上述した実施形態では、1枚の写真に基づいてAIが処理して光点等の極小点を検出する変換画像を形成するようにしたが、本発明はこれに限ることはなく、複数の画像に基づいて極小点の検出するための変換画像を形成するとよい。
【0104】
例えば、対象領域の光点の位置が変位しない場合、例えば連写などして取得した複数の画像に対しそれぞれAI処理して出力される複数の変換画像を加算平均する。これにより、同じ箇所に検出され続けるシグナルを強調できる。
【0105】
一方、光点が移動する場合には、AI処理して出力される複数の変換画像Z12を比較明合成する。このようにすると、例えば
図38に示すように、同一の光点が線状に出現するので検出しやすくなる。
【0106】
さらに、AI処理して出力される変換画像から処理前の元画像を減算するとよい。元画像で充分な明るさがある領域は黒抜きされた状態となり、元画像で暗いがAIで検出した部分は光点となり、光点がない部分は黒のままとなる。例えば衛星写真のように元画像に極端な明暗の差がある場合に有効である。
【0107】
(入力する画像データの画像サイズの変更機能)
上述したように、本実施形態では、与えられた画像データを規定サイズで切り出し、順次AIに与えることで、高解像度を保ったまま演算し、精度良く光のピークを検出できる。一方、例えばサーチするラインの光の明るさのレベルが
図39に示すようになっているとすると、1番目のウインドウW1で切り出したデータからはピークを検出することができるが、2番目のウインドウW2で切り出したデータからはピークが検出できない。すなわち、大き目のピークの場合、切り出すウインドサイズを超えてしまい、ノイズ等と判断されてしまう。係る場合、画像データを縮小し画材サイズを小さくすることで、ウインドウW3内にピークが収まり、AIの処理結果でピークを検出することができる。
【0108】
このように、規定サイズを切り出す関係上大き目のピークを見逃す可能性があるため、画像サイズを小さくしながら順次AI処理するように構成するとよい。すなわち、まず、取得した元画像の画像データをその解像度のまま切り出してピークの検出処理を行う。次いで、元画像を所定の縮尺で縮小した画像データを作成し、その縮小した画像に対して規定サイズで切り出して順次AIに与え、光点の検出を行うとよい。このように画像を縮小することで解像度は低下するものの、高解像度の元画像も用いるとともに、画像全体をAIに与えるサイズに圧縮するものに比べると解像度が高いことから、高精度に光点を検出することができる。縮小は、一段階でもよいし複数段階行ってもよい。
【0109】
(焦点合わせ)
例えば観察対象物に対して焦点合わせが必要な場合がある。係る場合、焦点合わせは、予め適切なものを用いて設定するとよい。例えば、対象物と類似のもの(微粒子)などで焦点深度を合わせておき、同じ焦点深度で対象物を蛍光・発光観察するとよい。例えば、細胞観察を行う場合、細胞と同じ大きさの微粒子等を用いて焦点を合わせておき、蛍光観察等を行う。また、顕微鏡の場合、焦点を光点が発生すると予想される位置に合わせておくとよい。例えば、明視野で顕微鏡の焦点を合わせてから蛍光や発光観察を行う。また、リアルタイム性を重視した設定でAIの処理結果を見ながら焦点深度を合わせてもよい。上述したように、AIは、0.5秒程度で処理が終わるので、その処理結果を見ながらピント調節をすることもできる。
【0110】
(実験結果)
上述した天体写真撮影用のAIを用いて天体以外の画像から光点を検出するシステムの実施形態の効果を実証するため、以下に示す実験を行った。
【0111】
*顕微鏡写真からの光点観察(蛍光観察)
植物のクロロフィル蛍光は、紫外線を当てると赤色の光を発する。これは、葉緑体が持っているクロロフィル分子が紫外線を吸収し光合成に利用するが、利用しきれないエネルギーを赤色の光として放出するためである。そこで、ほうれん草の小辺をすりつぶし50mlの水で希釈した液体を製造し、そこから少量の液体を抽出し顕微鏡で観察した。
【0112】
図40の左上の画像(RAW)は、顕微鏡を40倍相当の倍率にした状態の映像をデジタルカメラで撮影した生写真であり、円形の第一マークM1、第二マークM2,第三マークM3で示す部位に、検出すべき光点が存在している。しかし、図から明らかなように、人は、光点を肉眼で確認することができない。
【0113】
図40の右上の画像(AI)は、上記の生写真の画像データを順次切り出してAIに与え、AI処理後の変換画像である。図に示すように、第一マークM1と第二マークM2の部分は、明確に光点がわかるが、第三マークM3の部分はわかりにくい。そこで、連写機能等を利用して、同一領域を複数枚撮影し、複数の画像に対しそれぞれAI処理して出力される複数の変換画像を加算平均し、光点を強調する処理を行った。その結果、
図40の右下の画像(AI(Stack))に示すように、第三マークM3の部分にも光点があることが確認できた。
【0114】
なお、
図40の左下の画像(通常観察)は、明視野により撮影した画像であり、各マークで示された部分以外にもノイズ等の影響が現れており、この明視野の画像で各マークの部分の光点をピックアップするのはむずかしい。
【0115】
そして、上記のようにAI処理によって検出された光点のうち、例えば第三マークM3の位置を検証対象とすると、この第三マークM3の位置を顕微鏡の視野の中央に配置し、その状態で倍率をあげていき、その部分を詳細に観察する。徐々に倍率を上げていくと、例えば、40倍等の低倍率ではうっすらと見えていたのが、拡大に伴い確かに存在することが確認できる(
図41参照)。
【0116】
この図から、例えば倍率を600倍にすれば人でも確認できるが、視野が狭くなるので全てを見るのは大変である。一方、広い視野を一気に確認可能な40倍では、人による確認では見落としをするおそれがあるが、AIであればその倍率でも点を検知できる。よって、例えば40倍等の低倍率でAIを用いて広い視野を一気に確認して光点を検出し、検出した場所を高倍率にして拡大し、人間が確認するとよい。
【0117】
*通常撮影での極小光点検出(発光)
例えば、発光塗料(蓄光粒子)を少量塗布した紙をデジタルカメラで撮影し、その塗布の状態を確認する実験を行った。発光塗料のため、暗室内で当該紙を置き、下記の撮影条件で撮影した。
F値:6.3
ISO:25600
露出時間:4秒
撮影範囲:160mm×100mm
【0118】
図42の左上の画像(RAW)は、上記の条件で撮影した生写真の画像データである。四角い枠F1は、AIが検出した光点が存在する領域である。
図43に拡大して示すように、枠F1内に着目して確認すれば、右上にはうっすらと見えていて何かありそうなことはわかる。ただし、このように存在を示唆されていない生写真から、この部分を見つけることは困難である。さらに、第四マークM4で示す部分は人が見ただけではわからない。
【0119】
図42の右上の画像(AI)は、上記の生写真の画像データを順次切り出してAIに与え、AI処理後の変換画像である。
図43に拡大して示すように、枠F1内の右上には、光点がしっかりと表示され、第四マークM4内の部分にも、光点が表示されているのが確認できる。さらに、
図42,
図43の右下の画像(AI(Stack+強調))に示すように、複数枚の画像を用いて加算平均処理して強調すると、その光点の存在がより明確となる。この第四マークM4の部分を更に拡大して示すと、
図44のようになる。この画像サイズは、1辺が5mmのため、点の部分はコンマ何ミリメートルというオーダーであり、肉眼で見つけるのは困難であるが、AIはしっかり検出していることが確認できる。
【0120】
上述した実験で用いた顕微鏡写真や蛍光塗料を撮影した通常観察では、拡大したり、色調整したりすることで、光点を検出する可能性はある。ただし、その処理対象となる光点の存在位置を特定するのが困難であり、AIは係る光点の存在位置の特定を、瞬時に正確に行うことができる。
【0121】
*対地観測衛星からの光点抽出
例えば、インターネット等を介して処理装置33は、対地観測衛星が夜間に撮影した地上の画像データを取得する。この取得した画像データに基づき、都市圏から離れた光点、例えば夜に明かりがついている可能性の高い「ダム」を検出対象にし、AIで検出できるかの検証を行った。
図45の左上の画像(RAW)は、取得した画像データであり、都市圏は夜でも明るく光っており、山間部は暗くなっていることが確認できる。この気象観測衛星が撮影した生写真(元画像)で光点が確認できるような十分に明るい領域は、上述したように都市圏等で発光している明かりであり、今回の検出対象の「ダム」のように微小な明るさの場所は、この生写真の画像では確認できない。
【0122】
図45の右上の画像(AI)は、上記の生写真の画像データを順次切り出してAIに与え、AI処理後の変換画像である。そして、このようにした求めたAIによる変換画像から、元画像を減算現在処理した結果、
図45の右下の画像が得られる。この減算処理した画像を拡大すると、
図46に示すようになる。この右下の画像中、「黒点」は十分に明るく元画像で光点が確認できるものであり、「白点」は暗いため元画像では確認できないが、AIでは検出できるものである。
【0123】
このAIが見つけた点(白点)のうち、丸で囲んだ地点を地図で調べると、都市圏から離れた地域で、夜間も明かりがついているダム(三国川ダム、南相木ダム、上野ダム)であることが確認できた。
【0124】
上述した実験結果から明らかなように、天体とは関係の無い微弱なシグナルを含む画像データを天体写真撮影用のAIに与えると、当該微弱なシグナルの光点を検出することができる。また、上述した各実施形態では、光点を検出するものに適用した例を説明したが、本発明はこれに限ることはなく、例えば、レーダーのような反射波や、電波等、微弱なシグナルを検知するものに適用できる。
【0125】
以上、本発明の様々な側面を実施形態並びに変形例を用いて説明してきたが、これらの実施形態や説明は、本発明の範囲を制限する目的でなされたものではなく、本発明の理解に資するために提供されたものであることを付言しておく。本発明の範囲は、明細書に明示的に説明された構成や製法に限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求する可能性があることを、念のために申し述べる。
【符号の説明】
【0126】
10 :システム
11 :デジタルカメラ
12 :三脚
13 :処理装置
14 :入力装置
15 :出力装置
16 :記憶装置
18 :スマートフォン
20 :枠
21 :切り出し領域
30 :システム
31 :デジタルカメラ
33 :処理装置
34 :入力装置
35 :出力装置
36 :記憶装置