特許 7345935 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-09-08

(45)【発行日】2023-09-19

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230911BHJP

   G06T 1/40 20060101ALI20230911BHJP

【ＦＩ】

G06T1/00 285

G06T1/40

【請求項の数】 8

(21)【出願番号】P 2022164045

(22)【出願日】2022-10-12

【審査請求日】2022-11-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(72)【発明者】

【氏名】杉浦 綾

(72)【発明者】

【氏名】石原 光則

(72)【発明者】

【氏名】イム ジヒョン

(72)【発明者】

【氏名】石塚 直樹

(72)【発明者】

【氏名】森下 瑞貴

(72)【発明者】

【氏名】小花和 宏之

(72)【発明者】

【氏名】大角 壮弘

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１３／１４５２０１（ＷＯ，Ａ１）

【文献】特開２００４－２８０５９１（ＪＰ，Ａ）

【文献】国際公開第２０１８／０２１０７９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０１Ｊ ３／００ － ３／５２

(57)【特許請求の範囲】

【請求項1】

地面を撮像した、第１スペクトル構成を有する第１画像を取得する取得部と、
前記第１画像に対して画素ごとに変換処理を行うことで、前記第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する変換部と、を備え、
前記変換処理は、
前記第１スペクトル構成の画素値を、前記第１スペクトル構成および前記第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、
前記第１処理の結果である前記第３スペクトル構成の画素値を、前記第１画像と前記第２画像の特性差に応じて修正する第２処理と、
前記第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理と、を含み、
前記第１処理および前記第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する学習部を備える、
情報処理装置。

【請求項2】

前記学習部は、
植物の作物群落放射伝達シミュレーションモデルを利用して、前記第１スペクトル構成および前記第２スペクトル構成の双方を包含する第３スペクトル構成の疑似データを正解データとして複数取得し、
複数の前記第３スペクトル構成の疑似データから、前記第１スペクトル構成のスペクトル成分をサンプリングすることで、複数の第１スペクトル構成の疑似データを第１入力データとして導出し、
複数の前記第１入力データのそれぞれが前記変換処理に入力された場合の出力データが、対応する前記正解データに近づくように前記第１処理の内容を調整する、
請求項１記載の情報処理装置。

【請求項3】

前記変換処理は、前記第２スペクトル構成の画素値を、前記第３スペクトル構成の画素値に変換する第４処理を更に含み、
前記学習部は、
複数の前記第３スペクトル構成の疑似データから、前記第２スペクトル構成のスペクトル成分をサンプリングすることで、複数の第２スペクトル構成の疑似データを第２入力データとして導出し、
複数の前記第２入力データのそれぞれが前記変換処理に入力された場合の出力データが、対応する前記正解データに近づくように前記第４処理の内容を調整し、
同じ第３スペクトル構成の画素値から導出された前記第１スペクトル構成の疑似データと前記第２スペクトル構成の疑似データのそれぞれについて前記第１処理と前記第４処理が行われた結果として得られる、二つの前記第３スペクトル構成の出力データ間の差分に基づいて、前記第２処理の内容を調整する、
請求項２記載の情報処理装置。

【請求項4】

前記第１画像と前記第２画像のそれぞれは、衛星あるいはドローンにより前記地面を撮像した画像である、
請求項１記載の情報処理装置。

【請求項5】

前記第１処理は、機械学習によって学習された学習済モデルに前記第１スペクトル構成の画素値を入力することで、前記第３スペクトル構成の画素値を得る処理である、
請求項１記載の情報処理装置。

【請求項6】

前記第４処理は、機械学習によって学習された学習済モデルに前記第２スペクトル構成の画素値を入力することで、前記第３スペクトル構成の画素値を得る処理である、
請求項３記載の情報処理装置。

【請求項7】

情報処理装置が、
地面を撮像した、第１スペクトル構成を有する第１画像を取得する処理と、
前記第１画像に対して画素ごとに変換処理を行うことで、前記第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する処理と、を実行し、
前記変換処理は、
前記第１スペクトル構成の画素値を、前記第１スペクトル構成および前記第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、
前記第１処理の結果である前記第３スペクトル構成の画素値を、前記第１画像と前記第２画像の特性差に応じて修正する第２処理と、
前記第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理と、を含み、
前記情報処理装置が、更に、
前記第１処理および前記第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する、
情報処理方法。

【請求項8】

情報処理装置に、
地面を撮像した、第１スペクトル構成を有する第１画像を取得する処理と、
前記第１画像に対して画素ごとに変換処理を行うことで、前記第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する処理と、を実行させ、
前記変換処理は、
前記第１スペクトル構成の画素値を、前記第１スペクトル構成および前記第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、
前記第１処理の結果である前記第３スペクトル構成の画素値を、前記第１画像と前記第２画像の特性差に応じて修正する第２処理と、
前記第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理と、を含み、
前記情報処理装置に、更に、
前記第１処理および前記第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する処理を実行させる、
ためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

地上を上空から撮像した画像を処理することで種々の情報を得ることについて研究が進められている。取得される画像には、衛星から地上を撮像した画像に基づく衛星画像、ドローン（無人航空機）から地上を撮像した画像に基づくドローン画像などがある。一般的に、衛星画像とドローン画像ではスペクトル構成が異なっており、同質の情報として扱うのは困難である。

【0003】

スペクトル構成が少ない画像はマルチスペクトル画像、スペクトル構成が多い画像はハイパースペクトル画像と称されることがある。特許文献１には、複数のマルチスペクトル画像からハイパースペクトル画像を近似することについて記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特表２０１９－５３３２６４号公報

【0005】

【文献】Jacquemoud S., Verhoef W., Baret F., Bacour C., Zarco-Tejada P.J., Asner G.P., Francois C., & Ustin S.L. (2009), PROSPECT + SAIL models: a review of use for vegetation characterization. Remote Sensing of Environment, 113, S56-S66

【文献】T. HORIE, H. NAKAGAWA, H.G.S. CENTENO, M. J. KROPFF (1995) The rice simulation model SIMRIW and its testing. Modeling the impact of climate change on rice production in Asia. CABI, UK, IRRI, Philippines, pp. 95-139

【発明の概要】

【発明が解決しようとする課題】

【0006】

データ量が簡素なマルチスペクトル画像から、データ量が豊富なハイパースペクトル画像を生成する際に、どのような場合にでも当てはまる変換処理を定義するのは比較的困難である。このため、従来の技術では、植物が生えている地面を撮像した画像のスペクトル構成を変換する処理を好適に行うことができない場合があった。

【0007】

本発明は、このような事情を考慮してなされたものであり、植物が生えている地面を撮像した画像のスペクトル構成を変換する処理を好適に行うことができる情報処理装置、情報処理方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0008】

本発明の態様である情報処理装置は、地面を撮像した、第１スペクトル構成を有する第１画像を取得する取得部と、前記第１画像に対して画素ごとに変換処理を行うことで、前記第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する変換部と、を備え、前記変換処理は、前記第１スペクトル構成の画素値を、前記第１スペクトル構成および前記第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、前記第１処理の結果である前記第３スペクトル構成の画素値を、前記第１画像と前記第２画像の特性差に応じて修正する第２処理と、前記第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理と、を含み、前記第１処理および前記第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する学習部を備える、情報処理装置である。

【0009】

本発明の他の態様に係る情報処理方法は、情報処理装置が、地面を撮像した、第１スペクトル構成を有する第１画像を取得する処理と、前記第１画像に対して画素ごとに変換処理を行うことで、前記第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する処理と、を実行し、前記変換処理は、前記第１スペクトル構成の画素値を、前記第１スペクトル構成および前記第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、前記第１処理の結果である前記第３スペクトル構成の画素値を、前記第１画像と前記第２画像の特性差に応じて修正する第２処理と、前記第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理と、を含み、前記情報処理装置が、更に、前記第１処理および前記第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整するものである。

【0010】

本発明の他の態様に係るプログラムは、情報処理装置に、地面を撮像した、第１スペクトル構成を有する第１画像を取得する処理と、前記第１画像に対して画素ごとに変換処理を行うことで、前記第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する処理と、を実行させ、前記変換処理は、前記第１スペクトル構成の画素値を、前記第１スペクトル構成および前記第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、前記第１処理の結果である前記第３スペクトル構成の画素値を、前記第１画像と前記第２画像の特性差に応じて修正する第２処理と、前記第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理と、を含み、前記情報処理装置に、更に、前記第１処理および前記第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する処理を実行させる、ためのプログラムである。

【発明の効果】

【0011】

上記各態様によれば、植物が生えている地面を撮像した画像のスペクトル構成を変換する処理を好適に行うことができる。

【図面の簡単な説明】

【0012】

【図1】情報処理装置１００の使用環境および構成の一例を示す図である。

【図2】情報処理装置１００で扱うデータの概要を示す図である。

【図3】情報処理装置１００の処理の概要を示す図である。

【図4】第１処理の概要を表す図である。

【図5】第２処理の概要を表す図である。

【図6】第３処理の概要を表す図である。

【図7】学習部１４０が関数Ｆ_Ｓ→Ｄ｛｝の内容を調整する様子の他の一例を示す図である。

【図8】本発明理が利用される場面の一例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。

【0014】

図１は、情報処理装置１００の使用環境および構成の一例を示す図である。情報処理装置１００は、例えば、一以上の衛星１０から衛星画像提供者サーバ２０およびネットワークＮＷを介して衛星１０が撮像した画像を取得すると共に、ドローン３０から中継装置４０およびネットワークＮＷを介してドローン３０が撮像した画像を取得する。衛星画像は、地上の対象区画ＴＧを撮像した画像である。ドローン３０が撮像した画像は、対象区画ＴＧをドローン３０が飛行しながら複数回、撮像を行った画像を繋げたものである。情報処理装置１００は、ネットワークＮＷを介して端末装置５０に出力画像を提供する。ネットワークＮＷは、例えば、ＬＡＮ、ＷＡＮ、インターネット回線などの任意のネットワークであり、有線でも無線でもよい。なお、画像の取得方法はこれに限らず、記憶媒体に格納された画像が情報処理装置１００のドライブ装置に装着されることで画像が取得されてもよい。また、画像は情報処理装置１００に渡される前に前処理が行われたものであってもよい。

【0015】

衛星１０は、例えば、地球の周りの軌道上を周回しており、定期的に地上（地面）を撮像する。衛星画像提供者サーバ２０は、衛星１０が撮像した画像を情報処理装置１００などに提供する。

【0016】

ドローン３０は、各種の撮像装置が取り付けられた無人航空機である。ドローン３０は、中継装置４０からの指示に応じて飛行しつつ、繰り返し地上（地面）を撮像する。ドローン３０は、複数のドローン画像を、当該ドローン画像のカメラパラメータおよびＧＰＳなどの位置情報と合わせて、ドローン３０に搭載されるメモリカードに保存するかまたは中継装置４０に送信する。

【0017】

中継装置４０は、例えば、タブレット端末などの端末装置である。中継装置４０には、ドローン３０を操作するとともに、ドローン３０が撮像した画像を受信および表示するためのアプリケーションが搭載されている。中継装置４０は、ドローン３０が撮像した画像を、ＲＧＢ画像として表示したり、ネットワークＮＷを介して情報処理装置１００に送信したりする。

【0018】

端末装置５０は、例えば、パーソナルコンピュータやスマートフォン、タブレット端末などのコンピュータ装置である。端末装置５０は、情報処理装置１００とネットワークＮＷを介して通信し、後述する情報処理装置１００から受信した出力画像を表示する。端末装置５０は、例えば、中継装置４０を操作する利用者（つまり、ドローン画像の提供者）と同じ利用者Ｕによって使用されるものである。なお対象区画ＴＧは植物が生えている場所であり、例えば農地である。利用者Ｕはその農地を保有する農家である。中継装置４０と端末装置５０は一つに統合されてもよい。

【0019】

情報処理装置１００は、例えば、ウェブサーバの機能を有する。情報処理装置１００は、例えば、第１取得部１１０と、第２取得部１２０と、変換部１３０と、学習部１４０と、提供部１５０を含む。第２取得部１２０は、オルソ画像変換部１２２を含んでもよく、変換部１３０は、第１処理部１３２、第２処理部１３４、および第３処理部１３６を含んでもよい。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。

【0020】

図２は、情報処理装置１００で扱うデータの概要を示す図である。第１取得部１１０は、図示しない通信インターフェースを用いて衛星１０が撮像した画像を取得する。第１取得部１１０は、取得した画像に基づいて衛星画像を取得する。衛星画像とは、例えば、衛星１０が撮像した画像に対して切り出しや輝度調整等の処理が行われたものである。

【0021】

第２取得部１２０は、図示しない通信インターフェースを用いてドローン３０が撮像した画像を取得する。第２取得部１２０は、取得した画像に基づいてドローン画像を取得する。ドローン画像は、例えば、オルソ画像変換部１２２により、ドローン３０が撮像した画像を繋げて歪み補正等を行ったオルソ画像であってもよい。衛星画像の１画素は、例えば地上における数［ｍ］平方の区画に対応し、ドローン画像の１画素は、例えば衛星画像の８倍の分解能を有する。この場合、オルソ画像の８×８＝６４画素が衛星画像の１画素に対応する。第２取得部１２０は、例えば６４画素の画素値の平均を求めるなどしてこれを１画素に集約（ダウンサンプリング）し、衛星画像とドローン画像の分解能を揃える処理を行う。

【0022】

以下の説明において、一つの衛星画像は対象区画ＴＧを写したものであり、一つのドローン画像も同様に対象画像ＴＧを写したものであることを前提とする。衛星画像は、特許請求の範囲における第１画像の一例であり、ドローン画像は、特許請求の範囲における第２画像の一例である。この関係は逆でもよいし、第１画像と第２画像は、地面における植物が生えている場所を上空から（衛星軌道は上空に相当するものとする）撮像したものであれば、如何なる画像であってもよく、衛星画像と衛星画像、ドローン画像とドローン画像、ドローン画像と衛星画像の組み合わせでもよい。

【0023】

［変換部］
変換部１３０は、衛星画像に対して画素ごとに変換処理を行うことで、ドローン画像と同様のスペクトル構成を生成したり、ドローン画像に対して画素ごとに逆変換処理を行うことで、衛星画像と同様のスペクトル構成を生成したりする。ここで、衛星画像は、青、緑、赤、近赤外の４バンドのスペクトル構成を有するのに対し、ドローン画像は、青、緑、赤、レッドエッジ、近赤外の５バンドのスペクトル構成を有する。また、同じ青であっても衛星画像とドローン画像の当該スペクトルの光の波長は異なっている。このように、衛星画像のスペクトル構成（第１スペクトル構成）とドローン画像のスペクトル構成（第２スペクトル構成）は異なっている。従って、これらは同質の情報では無く、互いに補完する処理等をそのまま行うことは困難である。

【0024】

第１処理部１３２は、第１画像を取得し、当該第１画像を構成する第１スペクトル構成の画素値λ_Ｓ=(S^blue, S^green, S^red, S^NIR)を、第１スペクトル構成および第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理を行う。第１処理の内容は、式（１）で表される。図３は、第１処理の概要を表す図である。

【0025】

ｙ＝Ｒ_Ｓ（λ_Ｓ） …（１）

【0026】

第２処理部１３４は、第１処理の結果である第３スペクトル構成の画素値Ｒ_Ｓ（λ_Ｓ）を、第１画像と第２画像の特性差に応じて修正する第２処理を行う。第２処理の内容は、式（２）で表される。図４は、第２処理の概要を表す図である。画素値Ｒ_Ｄ（λ_Ｄ）は、第２画像を構成する第２スペクトル構成の画素値λ_Ｄ=(D^blue, D^green, D^red, D^RE, D^NIR)に対して、第３スペクトル構成の画素値に変換した処理（ｙ＝Ｒ_Ｄ（λ_Ｄ）；後述する第４処理）を行ったと仮定した場合の結果を表している。特性差とは、同じ対象区画を撮像した第１画像と第２画像のそれぞれを、第３スペクトル構成の画素値で構成される画像に変換した場合に、定常的な差として現れるバンドごとの反射率の差を意味する。

【0027】

Ｒ_Ｄ（λ_Ｄ）＝Ｆ_Ｓ→Ｄ｛Ｒ_Ｓ（λ_Ｓ）｝ …（２）

【0028】

第３処理部１３６は、第２処理によって修正された前記第３スペクトル構成の画素値から前記第２スペクトル構成の画素値を取り出す第３処理を行う。第３処理の内容は、式（３）で表される。図５は、第３処理の概要を表す図である。

【0029】

λ_Ｄ＝Ｉ_Ｄ｛Ｒ_Ｄ（λ_Ｄ）｝ …（３）

【0030】

これらの処理を経て、第１画像が第２画像に変換される。第１処理および第２処理の内容は、学習部１４０によって調整される。以下、これについて説明する。

【0031】

［学習部］
ところで、同じ時刻に撮像された第１画像と第２画像のセットを、調整に十分な量、確保するのは困難な場合がある。そこで、本発明の学習部１４０は、第１処理および第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する。学習部１４０は、植物の作物群落放射伝達シミュレーションモデルを利用して、第１スペクトル構成および第２スペクトル構成の双方を包含する第３スペクトル構成の疑似データを正解データとして複数取得する。なお、学習部１４０は、第１スペクトル構成と第２スペクトル構成について事前に情報を取得しておく必要がある。これについて、例えば利用者Ｕが自身のドローン３０によるドローン画像のサンプルを情報処理装置１００に送信したり、ドローン画像のスペクトル構成を示す情報を情報処理装置１００に送信したりすればよい。

【0032】

植物の作物群落放射伝達シミュレーションモデルとは、例えばＰＲＯＳＡＩＬ（非特許文献１）である。ＰＲＯＳＡＩＬとは、ＬＡＩ（葉面積指数）と環境光を入力すると、任意のバンド（波長帯）の反射率（光の強度）を出力するものであり、式（４）で表される。式中、ｔは時刻であり、Ｎは任意の自然数である。以下の説明では、波長中心が１［ｎｍ］刻みで４５０［ｎｍ］～９５０［ｎｍ］の反射率が得られるものとする（第３スペクトル構成）。以下、この第３スペクトル構成の疑似データをハイパースペクトルデータと称する。

【0033】

［Ｒｅｆ_ｔ ^（１） Ｒｅｆ_ｔ ^（２） … Ｒｅｆ_ｔ ^（ｋ） … Ｒｅｆ_ｔ ^（Ｎ）］^Ｔ＝ＰＲＯＳＡＩＬ（ＬＡＩ_ｔ） …（４）

【0034】

ＬＡＩ_ｔは、ＳＩＭＲＩＷ（非特許文献２）などの生育モデルＳＩＭ（ｗ）に気象データｗを入力することで導出される。生育モデルＳＩＭ（ｗ）は、植物の状態遷移モデルの一例である。ＳＩＭＲＩＷとは、発育指数ＤＶＩ、葉面積指数ＬＡＩ、乾物重ＤＷなどの初期値が与えられると、以後、時系列の気象データｗを入力として逐次的に日毎の発育指数ＤＶＩ、葉面積指数ＬＡＩ、乾物重ＤＷを算出可能なものである。係る処理は、式（５）で表される。なお、本発明の適用上、ＬＡＩは架空の値であってもよく、その場合、ＳＩＭＲＩＷに基づく処理は省略されてよい。

【0035】

ＬＡＩ_ｔ＝ＳＩＭ（ｗ） …（５）

【0036】

学習部１４０は、例えば乱数等を用いてＬＡＩや環境光をランダムに生成し、それらに基づいてＰＲＯＳＡＩＬにより疑似的に生成されるハイパースペクトルデータＹを、正解データとして取得する。更に、学習部１４０は、複数のハイパースペクトルデータＹのそれぞれから、第１スペクトル構成のスペクトル成分をサンプリングすることで、複数の第１スペクトル構成の疑似データ（画素値）λ_Ｓを入力データとして導出する。また、複数のハイパースペクトルデータＹのそれぞれから、第２ペクトル構成のスペクトル成分をサンプリングすることで、複数の第２スペクトル構成の疑似データ（画素値）λ_Ｄを入力データとして導出する。係る処理は第４処理の一例であり、式（６）で表される。

【0037】

ｙ＝Ｒ_Ｄ（λ_Ｄ） …（６）

【0038】

学習部１４０は、入力データλ_Ｓから関数Ｒ_Ｓ（）によって変換される出力データＲ_Ｓ（λ_Ｓ）が、対応する正解データであるハイパースペクトルデータＹに近づくように、関数Ｒ_Ｓ（）のパラメータを調整することで、第１処理の内容を調整する。同様に、学習部１４０は、入力データλ_Ｄから関数Ｒ_Ｄ（）によって変換される出力データＲ_Ｄ（λ_Ｄ）が、対応する正解データであるハイパースペクトルデータＹに近づくように、関数Ｒ_Ｄ（）のパラメータを調整することで、第４処理の内容を調整する。

【0039】

図６は、学習部１４０が関数Ｒ_Ｓ（）のパラメータを調整する様子の一例を示す図である。関数Ｒ_Ｓ（）および関数Ｒ_Ｄ（）は、ディープニューラルネットワーク等の機械学習モデルに基づいて生成される学習済モデルである。学習部１４０は、ＰＲＯＳＡＩＬ等で生成されたハイパースペクトルデータＹを正解データ、ハイパースペクトルデータＹから第１スペクトル構成を抽出した画素値λ_Ｓを入力データとし、関数Ｒ_Ｓ（）の出力値Ｒ_Ｓ（λ_Ｓ）とハイパースペクトルデータＹとの誤差が小さくなる（ゼロに近づく）ように、関数Ｒ_Ｓ（）のパラメータをバックプロパゲーションにより調整する。図示を省略するが、関数Ｒ_Ｄ（）についても同様の手法によって内容を調整することができる。

【0040】

また、学習部１４０は、第１スペクトル構成の疑似データ（画素値）λ_Ｓから生成された第３スペクトル構成の画素値Ｒ_Ｓ（λ_Ｓ）と、第２スペクトル構成の疑似データ（画素値）λ_Ｄから生成された第３スペクトル構成の画素値Ｒ_Ｄ（λ_Ｄ）と（両者は同じ第３スペクトル構成の疑似データから生成されたもの）の差分が小さくなる（ゼロに近づく）ように、第２処理を表す関数Ｆ_Ｓ→Ｄ｛｝の内容を調整する。

【0041】

例えば、学習部１４０は、バンドごとの差分の二乗和が最小となるように、第３スペクトル構成の画素値Ｒ_Ｓ（λ_Ｓ）に所定値を加算することで、第２処理を表す関数Ｆ_Ｓ→Ｄ｛｝の内容を調整する。係る処理の内容は、式（７）、（８）で表される。式中、Σ_ＢＡＮＤ［］はバンドごとの合計を求めることを表している。

【0042】

Ｆ_Ｓ→Ｄ｛Ｒ_Ｓ（λ_Ｓ）＋ｄ｝＝ …（７）
ｄ＝ａｒｇｍｉｎ_ｄ［Σ_ＢＡＮＤ［Ｒ_Ｄ（λ_Ｄ）－｛Ｒ_Ｓ（λ_Ｓ）＋ｄ｝］^２］＝ …（８）

【0043】

また、学習部１４０は、第３スペクトル構成の画素値Ｒ_Ｓ（λ_Ｓ）を入力すると、第３スペクトル構成の画素値Ｒ_Ｄ（λ_Ｄ）の推定値Ｒ_Ｄ＃（λ_Ｄ）を出力する機械学習モデルを関数Ｆ_Ｓ→Ｄ｛｝として定義し、推定値Ｒ_Ｄ＃（λ_Ｄ）と画素値Ｒ_Ｄ（λ_Ｄ）との誤差が小さくなる（ゼロに近づく）ように、関数Ｆ_Ｓ→Ｄ｛｝のパラメータをバックプロパゲーションにより調整してもよい。図７は、学習部１４０が関数Ｆ_Ｓ→Ｄ｛｝の内容を調整する様子の他の一例を示す図である。

【0044】

［適用例］
図８は、本発明が利用される場面の一例を示す図である。図示するように、一般的に衛星画像はドローン画像よりも広範囲なものであるため、例えばドローン画像が得られていない区画について、ドローン画像と同質の画像を得ることができる。このために、利用者Ｕは予め自身の提供するドローン画像の特質を情報処理装置１００に伝えておき、情報処理装置１００に関数Ｒ_Ｄ（）を生成させておく必要がある。そうすることで、利用者Ｕは衛星画像が得られた任意のタイミングで、ドローン画像と同質の画像を広範囲に取得することができる。提供部１５０は、図９に例示したような区画を拡張した出力画像を利用者Ｕの端末装置５０に提供したり、ドローン画像よりも高頻度に取得可能な衛星画像をドローン画像のスペクトル構成に変換した出力画像を利用者Ｕの端末装置５０に提供したりする。その逆に、ドローン画像を衛星画像のスペクトル構成に変換した出力画像を利用者Ｕの端末装置５０に提供することも可能である。また、スペクトル構成が異なる衛星画像同士あるいはドローン画像同士の相互変換画像の提供も可能である。

【0045】

以上説明した実施形態によれば、地面を撮像した、第１スペクトル構成を有する第１画像を取得する取得部（１１０または１２０）と、第１画像に対して画素ごとに変換処理を行うことで、第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する変換部（１３０）と、を備え、変換処理は、第１スペクトル構成の画素値を、第１スペクトル構成および第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、第１処理の結果である第３スペクトル構成の画素値を、第１画像と第２画像の特性差に応じて修正する第２処理と、第２処理によって修正された第３スペクトル構成の画素値から第２スペクトル構成の画素値を取り出す第３処理と、を含み、第１処理および第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する学習部（１４０）を備えることにより、植物が生えている地面を撮像した画像のスペクトル構成を変換する処理を好適に行うことができる。

【0046】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0047】

１０ 衛星
３０ ドローン
４０ 中継装置
５０ 端末装置
１００ 情報処理装置
１１０ 第１取得部
１２０ 第２取得部
１３０ 変換部
１３２ 第１処理部
１３４ 第２処理部
１３６ 第３処理部
１４０ 学習部
１５０ 提供部

【要約】

【課題】植物が生えている地面を撮像した画像のスペクトル構成を変換する処理を好適に行う。
【解決手段】地面を撮像した第１スペクトル構成を有する第１画像を取得する取得部と、第１画像に対して画素ごとに変換処理を行うことで、第１スペクトル構成と異なる第２スペクトル構成の第２画像を生成する変換部とを備え、変換処理は、第１スペクトル構成の画素値を、第１スペクトル構成および第２スペクトル構成を包含する第３スペクトル構成の画素値に変換する第１処理と、第１処理の結果である第３スペクトル構成の画素値を、第１画像と第２画像の特性差に応じて修正する第２処理と、第２処理によって修正された第３スペクトル構成の画素値から第２スペクトル構成の画素値を取り出す第３処理と、を含み、第１処理および第２処理の内容を、植物の作物群落放射伝達シミュレーションモデルを用いて生成した疑似データを利用して調整する学習部を備える情報処理装置。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】