特開 2024-51329 画像処理装置、方法及びプログラム並びに撮像システム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051329

(43)【公開日】2024-04-11

(54)【発明の名称】画像処理装置、方法及びプログラム並びに撮像システム及び記録媒体

(51)【国際特許分類】

   H04N 23/698 20230101AFI20240404BHJP

   H04N 5/265 20060101ALI20240404BHJP

   G06T 3/4038 20240101ALI20240404BHJP

   G03B 37/00 20210101ALI20240404BHJP

   G03B 19/06 20210101ALI20240404BHJP

   G03B 11/00 20210101ALI20240404BHJP

   G03B 15/00 20210101ALI20240404BHJP

【ＦＩ】

H04N5/232 380

H04N5/265

G06T3/40 720

G03B37/00 Z

G03B19/06

G03B11/00

G03B15/00 H

G03B15/00 W

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2022157436

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】小川 真吾

(72)【発明者】

【氏名】岸根 慶延

(72)【発明者】

【氏名】平川 友也

【テーマコード（参考）】

2H054

2H059

2H083

5B057

5C023

5C122

【Ｆターム（参考）】

2H054BB02

2H054BB07

2H059BA11

2H083AA04

2H083AA26

2H083AA32

5B057AA14

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD01

5B057DA16

5B057DB02

5B057DB09

5B057DC05

5C023AA11

5C023AA14

5C023BA11

5C023CA03

5C023DA04

5C023EA05

5C122DA04

5C122DA15

5C122DA30

5C122EA06

5C122EA40

5C122FA03

5C122FB16

5C122FH03

5C122FH04

5C122FH11

5C122FH20

5C122GA01

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

【課題】一部が重複する複数の画像からパノラマ画像を良好に生成することができる画像処理装置、方法及びプログラム並びに撮像システム及び記録媒体を提供する。
【解決手段】画像取得部２０２は、それぞれ異なる波長帯域の複数の画像（カラー画像、第１スペクトル画像λ₁、及び第２スペクトル画像λ₂）からなる第１画像群Ｉ_G1と第２画像群Ｉ_G2とを取得する。画像作成部２０４は、第１画像群Ｉ_G1、第２画像群Ｉ_G2に含まれる第１スペクトル画像λ₁、第２スペクトル画像λ₂の比を示す第３画像λ₂/λ₁と第４画像λ₂/λ₁とを作成する。情報取得処理部２０６は、第３画像λ₂/λ₁と第４画像λ₂/λ₁の重複領域の画像間の位置に関する情報を取得する。パノラマ合成処理部２０８は、画像間の位置に関する情報に基づいて、第１画像群Ｉ_G1、第２画像群Ｉ_G2に含まれる第１カラー画像Ｉ_c1と第２カラー画像Ｉ_c2とをパノラマ合成する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

プロセッサを備えた画像処理装置において、
前記プロセッサは、
第１画角で撮像されたそれぞれ異なる波長帯域の複数の第１画像と、前記第１画角と一部が重複する第２画角で撮像されたそれぞれ異なる波長帯域の複数の第２画像とを取得する画像取得処理と、
前記第１画像に含まれる少なくとも２つの画像に基づいて第３画像を作成し、前記第２画像に含まれる少なくとも２つの画像に基づいて第４画像を作成する画像作成処理と、
前記第３画像と前記第４画像との画角の重複領域の画像間の位置に関する情報を取得する情報取得処理と、
前記位置に関する情報に基づいて、前記複数の第１画像に含まれる画像から選択した１以上の第１画像と、前記複数の第２画像に含まれる画像から選択した１以上の第２画像とをパノラマ合成するパノラマ合成処理と、を行う、
画像処理装置。

【請求項2】

前記情報取得処理は、前記重複領域の画像からそれぞれ対応する特徴点を抽出し、前記特徴点に基づいて前記位置に関する情報として取得する、
請求項１に記載の画像処理装置。

【請求項3】

前記情報取得処理は、前記第１画像及び前記第２画像の少なくとも一方を幾何変換する変換式のパラメータであって、それぞれ対応する前記特徴点を一致させる前記変換式のパラメータを、前記位置に関する情報として取得する、
請求項２に記載の画像処理装置。

【請求項4】

前記第１画像及び前記第２画像は、撮影領域を複数に分割して撮像した場合に得られる複数の分割画像のうちの隣接する２つの分割画像である、
請求項１に記載の画像処理装置。

【請求項5】

前記画像作成処理は、前記複数の第１画像に含まれる前記２つの画像の比又は差から前記第３画像を作成し、前記複数の第２画像に含まれる前記２つの画像の比又は差から前記第４画像を作成する、
請求項１に記載の画像処理装置。

【請求項6】

前記パノラマ合成される前記選択した１以上の第１画像及び第２画像は、前記第３画像及び前記第４画像の作成に使用される前記２つの画像とは異なる画像を含む、
請求項１に記載の画像処理装置。

【請求項7】

前記複数の第１画像及び前記複数の第２画像は、それぞれ赤色、緑色及び青色からなるカラー画像を含み、
前記パノラマ合成処理は、前記カラー画像をパノラマ合成する、
請求項１に記載の画像処理装置。

【請求項8】

前記複数の第１画像及び前記複数の第２画像を撮像する撮像装置と、
請求項１から７のいずれか１項に記載の画像処理装置と、を備え、
前記画像取得処理は、前記撮像装置が撮像した前記複数の第１画像及び前記複数の第２画像を前記撮像装置から取得する、
撮像システム。

【請求項9】

前記第３画像及び前記第４画像の作成に使用される前記２つの画像のうちの一方は、クロロフィル吸収帯域を有するスペクトル画像である、
請求項８に記載の撮像システム。

【請求項10】

前記第３画像及び前記第４画像の作成に使用される前記２つの画像は、６５０ｎｍから７２０ｎｍの間で選択された２つのスペクトル画像である、
請求項８に記載の撮像システム。

【請求項11】

前記第３画像及び前記第４画像の作成に使用される前記２つの画像のうちの一方は、可視光領域の画像であり、他方は可視光領域以外の画像である、
請求項８に記載の撮像システム。

【請求項12】

前記撮像装置は、撮影レンズと、複数の撮像素子と、前記撮影レンズからの光路を分割して前記複数の撮像素子に導く光学部材とを含む撮像部を有し、
前記撮像部は、それぞれ異なる波長帯域の光学像を前記複数の撮像素子に入射させる波長選択素子を含む、
請求項８に記載の撮像システム。

【請求項13】

前記撮像装置は、赤色、緑色及び青色からなるカラー画像を撮像するカラーカメラ及びマルチスペクトルカメラのうちの少なくとも一方を含む、
請求項８に記載の撮像システム。

【請求項14】

プロセッサを備えた画像処理装置における前記プロセッサが実行する画像処理方法において、
第１画角で撮像されたそれぞれ異なる波長帯域の複数の第１画像と、前記第１画角と一部が重複する第２画角で撮像されたそれぞれ異なる波長帯域の複数の第２画像とを取得するステップと、
前記第１画像に含まれる少なくとも２つの画像に基づいて第３画像を作成し、前記第２画像に含まれる少なくとも２つの画像に基づいて第４画像を作成するステップと、
前記第３画像と前記第４画像との画角の重複領域の画像間の位置に関する情報を取得するステップと、
前記位置に関する情報に基づいて、前記複数の第１画像に含まれる画像から選択した１以上の第１画像と、前記複数の第２画像に含まれる画像から選択した１以上の第２画像とをパノラマ合成するステップと、
を含む画像処理方法。

【請求項15】

前記重複領域の画像からそれぞれ対応する特徴点を抽出し、前記特徴点に基づいて前記位置に関する情報として取得する、
請求項１４に記載の画像処理方法。

【請求項16】

前記位置に関する情報を取得するステップは、前記第１画像及び前記第２画像の少なくとも一方を幾何変換する変換式のパラメータであって、それぞれ対応する前記特徴点を一致させる前記変換式のパラメータを、前記位置に関する情報として取得する、
請求項１５に記載の画像処理方法。

【請求項17】

前記第１画像及び前記第２画像は、撮影領域を複数に分割して撮像した場合に得られる複数の分割画像のうちの隣接する２つの分割画像である、
請求項１４に記載の画像処理方法。

【請求項18】

前記第３画像及び第４画像を作成するステップは、前記複数の第１画像に含まれる前記２つの画像の比又は差から前記第３画像を作成し、前記複数の第２画像に含まれる前記２つの画像の比又は差から前記第４画像を作成する、
請求項１４に記載の画像処理方法。

【請求項19】

前記第３画像及び前記第４画像の作成に使用される前記２つの画像のうちの一方は、クロロフィル吸収帯域を有するスペクトル画像である、
請求項１４に記載の画像処理方法。

【請求項20】

前記第３画像及び前記第４画像の作成に使用される前記２つの画像は、６５０ｎｍから７２０ｎｍの間で選択された２つのスペクトル画像である、
請求項１４に記載の画像処理方法。

【請求項21】

前記第３画像及び前記第４画像の作成に使用される前記２つの画像のうちの一方は、可視光領域の画像であり、他方は可視光領域以外の画像である、
請求項１４に記載の画像処理方法。

【請求項22】

前記パノラマ合成される、前記選択した１以上の第１画像及び第２画像は、前記第３画像及び前記第４画像の作成に使用される前記２つの画像とは異なる画像を含む、
請求項１４に記載の画像処理方法。

【請求項23】

請求項１４から２２のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。

【請求項24】

非一時的かつコンピュータ読取可能な記録媒体であって、請求項２３に記載の前記画像処理プログラムが記録された記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、方法及びプログラム並びに撮像システム及び記録媒体に係り、特に一部が重複する複数の画像をパノラマ合成する技術に関する。

【背景技術】

【0002】

従来、可視光撮像画像データと赤外光撮像画像データとを同時に撮像し、赤外光撮像画像データの合成のりしろ部から抽出した特徴点を用いて、可視光撮像画像データをパノラマ合成する第一の合成処理を行う撮像装置が提案されている（特許文献１）。

【0003】

空等の低周波模様を多く含む被写体を連続撮影して得られた複数の可視光撮像画像データの場合には、可視光撮像画像データの合成のりしろ部からは特徴点が見つけ難いが、赤外光撮像画像データの場合には、赤外光撮像画像データの合成のりしろ部からは特徴点が見つけ易い。そこで、可視光撮像画像データの合成に赤外光撮像画像データを利用することにより、低周波模様を多く含む被写体であっても可視光撮像画像データを高精度に合成できるようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－４４３３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の技術に係る一つの実施形態は、複数の画像からパノラマ画像を良好に生成することができる画像処理装置、方法及びプログラム並びに撮像システム及び記録媒体を提供する。

【課題を解決するための手段】

【0006】

第１態様に係る発明は、プロセッサを備えた画像処理装置において、プロセッサは、第１画角で撮像されたそれぞれ異なる波長帯域の複数の第１画像と、第１画角と一部が重複する第２画角で撮像されたそれぞれ異なる波長帯域の複数の第２画像とを取得する画像取得処理と、第１画像に含まれる少なくとも２つの画像に基づいて第３画像を作成し、第２画像に含まれる少なくとも２つの画像に基づいて第４画像を作成する画像作成処理と、第３画像と第４画像との画角の重複領域の画像間の位置に関する情報を取得する情報取得処理と、位置に関する情報に基づいて、複数の第１画像に含まれる画像から選択した１以上の第１画像と、複数の第２画像に含まれる画像から選択した１以上の第２画像とをパノラマ合成するパノラマ合成処理と、を行う画像処理装置である。

【0007】

本発明の第２態様に係る画像処理装置は、第１態様において、情報取得処理は、重複領域の画像からそれぞれ対応する特徴点を抽出し、特徴点に基づいて位置に関する情報として取得する。

【0008】

本発明の第３態様に係る画像処理装置は、第２態様において、情報取得処理は、第１画像及び第２画像の少なくとも一方を幾何変換する変換式のパラメータであって、それぞれ対応する特徴点を一致させる変換式のパラメータを、位置に関する情報として取得することが好ましい。

【0009】

本発明の第４態様に係る画像処理装置は、第１態様において、第１画像及び第２画像は、撮影領域を複数に分割して撮像した場合に得られる複数の分割画像のうちの隣接する２つの分割画像である。

【0010】

本発明の第５態様に係る画像処理装置は、第１態様において、画像作成処理は、複数の第１画像に含まれる２つの画像の比又は差から第３画像を作成し、複数の第２画像に含まれる２つの画像の比又は差から第４画像を作成することが好ましい。

【0011】

本発明の第６態様に係る画像処理装置は、第１態様から第５態様のいずれかにおいて、パノラマ合成される選択した１以上の第１画像及び第２画像は、第３画像及び第４画像の作成に使用される２つの画像とは異なる画像を含む。

【0012】

本発明の第７態様に係る画像処理装置は、第１態様から第６態様のいずれかにおいて、複数の第１画像及び複数の第２画像は、それぞれ赤色、緑色及び青色からなるカラー画像を含み、パノラマ合成処理は、カラー画像をパノラマ合成する。

【0013】

第８態様に係る発明は、複数の第１画像及び複数の第２画像を撮像する撮像装置と、第１態様から第７態様のいずれかの画像処理装置と、を備え、画像取得処理は、撮像装置が撮像した複数の第１画像及び複数の第２画像を撮像装置から取得する、撮像システムである。

【0014】

本発明の第９態様に係るは、第８態様において、第３画像及び第４画像の作成に使用される２つの画像のうちの一方は、クロロフィル吸収帯域を有するスペクトル画像であることが好ましい。

【0015】

本発明の第１０態様に係る撮像システムは、第８態様において、第３画像及び第４画像の作成に使用される２つの画像は、６５０ｎｍから７２０ｎｍの間で選択された２つのスペクトル画像であることが好ましい。

【0016】

本発明の第１１態様に係る撮像システムは、第８態様において、第３画像及び第４画像の作成に使用される２つの画像のうちの一方は、可視光領域の画像であり、他方は可視光領域以外の画像である。

【0017】

本発明の第１２態様に係る撮像システムは、第８態様において、撮像装置は、撮影レンズと、複数の撮像素子と、撮影レンズからの光路を分割して複数の撮像素子に導く光学部材とを含む撮像部を有し、撮像部は、それぞれ異なる波長帯域の光学像を複数の撮像素子に入射させる波長選択素子を含むことが好ましい。

【0018】

本発明の第１３態様に係る撮像システムは、第８態様において、撮像装置は、赤色、緑色及び青色からなるカラー画像を撮像するカラーカメラ及びマルチスペクトルカメラのうちの少なくとも一方を含むことが好ましい。

【0019】

第１４態様に係る発明は、プロセッサを備えた画像処理装置におけるプロセッサが実行する画像処理方法において、第１画角で撮像されたそれぞれ異なる波長帯域の複数の第１画像と、第１画角と一部が重複する第２画角で撮像されたそれぞれ異なる波長帯域の複数の第２画像とを取得するステップと、第１画像に含まれる少なくとも２つの画像に基づいて第３画像を作成し、第２画像に含まれる少なくとも２つの画像に基づいて第４画像を作成するステップと、第３画像と第４画像との画角の重複領域の画像間の位置に関する情報を取得するステップと、位置に関する情報に基づいて、複数の第１画像に含まれる画像から選択した１以上の第１画像と、複数の第２画像に含まれる画像から選択した１以上の第２画像とをパノラマ合成するステップと、を含む画像処理方法である。

【0020】

本発明の第１５態様に係る画像処理方法は、第１４態様において、重複領域の画像からそれぞれ対応する特徴点を抽出し、特徴点に基づいて位置に関する情報として取得することが好ましい。

【0021】

本発明の第１６態様に係る画像処理方法は、第１５態様において、位置に関する情報を取得するステップは、第１画像及び第２画像の少なくとも一方を幾何変換する変換式のパラメータであって、それぞれ対応する特徴点を一致させる変換式のパラメータを、位置に関する情報として取得することが好ましい。

【0022】

本発明の第１７態様に係る画像処理方法は、第１４態様において、第１画像及び第２画像は、撮影領域を複数に分割して撮像した場合に得られる複数の分割画像のうちの隣接する２つの分割画像である。

【0023】

本発明の第１８態様に係る画像処理方法は、第１４態様において、第３画像及び第４画像を作成するステップは、複数の第１画像に含まれる２つの画像の比又は差から第３画像を作成し、複数の第２画像に含まれる２つの画像の比又は差から第４画像を作成することが好ましい。

【0024】

本発明の第１９態様に係る画像処理方法は、第１４態様において、第３画像及び第４画像の作成に使用される２つの画像のうちの一方は、クロロフィル吸収帯域を有するスペクトル画像である。

【0025】

本発明の第２０態様に係る画像処理方法は、第１４態様において、第３画像及び第４画像の作成に使用される２つの画像は、６５０ｎｍから７２０ｎｍの間で選択された２つのスペクトル画像である。

【0026】

本発明の第２１態様に係る画像処理方法は、第１４態様から第２０態様のいずれかにおいて、第３画像及び第４画像の作成に使用される２つの画像のうちの一方は、可視光領域の画像であり、他方は可視光領域以外の画像である。

【0027】

本発明の第２２態様に係る画像処理方法は、第１４態様から第２１態様のいずれかにおいて、パノラマ合成される、選択した１以上の第１画像及び第２画像は、第３画像及び第４画像の作成に使用される２つの画像とは異なる画像を含む。

【0028】

第２３態様に係る発明は、第１４態様から第２２態様のいずれかの画像処理方法をコンピュータに実行させる画像処理プログラムである。

【0029】

第２４態様に係る発明は、非一時的かつコンピュータ読取可能な記録媒体であって、第１４態様の画像処理プログラムが記録された記録媒体である。

【図面の簡単な説明】

【0030】

【図1】図１は、本発明に係る撮像システムに適用される撮像装置の第１実施形態を示す図である。

【図2】図２は、本発明に係る画像処理装置のハードウェア構成を示すブロック図である。

【図3】図３は、主に図２に示した画像処理装置のプロセッサの機能を示す機能ブロック図である。

【図4】図４は、図１に示した撮像装置により撮像された、主要被写体が「葉」のカラー画像を示す図である。

【図5】図５は、図４に示したカラー画像と同時に撮像された第１スペクトル画像λ₁と第２スペクトル画像λ₂との比の画像λ₂/λ₁を示す図である。

【図6】図６は、第３画像λ₂/λ₁と第４画像λ₂/λ₁との一例を示す図である。

【図7】図７は、図６（Ａ）に示した第３画像λ₂/λ₁と、図６（Ｂ）に示した第４画像λ₂/λ₁とをパノラマ合成したパノラマ画像を示す図である。

【図8】図８は、パノラマ合成部により合成されたパノラマ画像ＩＰを示す図である。

【図9】図９は、本発明に係る撮像システムの実施形態を示す概念図である。

【図10】図１０は、ドローンに搭載された撮像装置により広域の撮影領域を、複数に分割して撮像した場合に得られる複数の分割画像を示す図である。

【図11】図１１は、本発明に係る撮像システムに適用される撮像装置の第２実施形態を示す図である。

【図12】図１２は、本発明に係る画像処理方法の実施形態を示すフローチャートである。

【図13】図１３は、波長帯域が異なる２つの画像の比を示す画像の他の例を示す図である。

【発明を実施するための形態】

【0031】

以下、添付図面に従って本発明に係る画像処理装置、方法及びプログラム並びに撮像システム及び記録媒体の好ましい実施形態について説明する。

【0032】

［撮像装置の第１実施形態］
図１は、本発明に係る撮像システムに適用される撮像装置の第１実施形態を示す図であり、特に撮像部に関して示している。

【0033】

図１に示す撮像装置１０の撮像部は、撮影レンズ１１と、複数の撮像素子１２、１３、１４と、撮影レンズ１１からの光路を分割してそれぞれ撮像素子１２、１３、１４に導く光学部材であるビームスプリッタＢＳ１、ＢＳ２とを含んで構成されている。

【0034】

撮影レンズ１１により集光される光束は、ビームスプリッタＢＳ１により分割され、ビームスプリッタＢＳ１により反射した光束は、赤外線カットフィルタＦ１を介して撮像素子１２の受光面に結像される。ビームスプリッタＢＳ１を透過した光束は、ビームスプリッタＢＳ２により更に分割され、ビームスプリッタＢＳ２により反射した光束は、第１波長選択素子である第１バンドパスフィルタＦ２により波長選択されて撮像素子１３の受光面に結像され、ビームスプリッタＢＳ２を透過した光束は、第２波長選択素子である第２バンドパスフィルタＦ３により波長選択されて撮像素子１４の受光面に結像される。

【0035】

撮像素子１２は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラー撮像素子により構成されている。尚、撮像素子１２は、ＣＭＯＳ型に限らず、ＣＣＤ（Charge Coupled Device）型の撮像素子でもよい。撮像素子１２は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）のカラーフィルタが、周期的色配列（例えば、ベイヤ配列、Ｘ－Ｔｒａｎｓ（登録商標）等）で配設され、各フォトダイオード上にはマイクロレンズが配置されている。

【0036】

撮像素子１２の受光面には、赤外線カットフィルタＦ１により赤外領域の波長がカットされた可視光領域の被写体光が入射する。撮像素子１２の受光面に結像された被写体の光学像は、撮像素子１２によって電気信号に変換される。即ち、撮像素子１２の各画素には、入射する光量に応じた電荷が蓄積され、撮像素子１２からは各画素に蓄積された電荷量（信号電荷）に応じた電気信号が画像信号として読み出される。本例の撮像素子１２は、カラー撮像素子であるため、撮像素子１２からは、カラーフィルタに対応したＲＧＢからなるモザイク画像を示す画像信号が出力される。

【0037】

撮像素子１２から出力されるモザイク画像を示す画像信号は、図示しない信号処理部によりホワイトバランス補正、ガンマ補正処理、デモザイク処理（デモザイキング処理、同時化処理とも言う）等のデジタル信号処理が行われる。これにより、Ｒ画像、Ｇ画像、Ｂ画像のカラー画像を取得することができる。

【0038】

一方、撮像素子１３の受光面には、第１バンドパスフィルタＦ２により波長選択された波長帯域（第１波長帯域）の被写体光が入射する。撮像素子１３の受光面に結像された第１波長帯域の被写体の光学像は、撮像素子１３によって電気信号に変換され、第１波長帯域を有する第１画像（第１スペクトル画像）を示す画像信号として出力される。

【0039】

同様に、撮像素子１４の受光面には、第２バンドパスフィルタＦ３により波長選択された波長帯域（第２波長帯域）の被写体光が入射する。撮像素子１４の受光面に結像された第２波長帯域の被写体の光学像は、撮像素子１４によって電気信号に変換され、第２波長帯域を有する第２画像（第２スペクトル画像）を示す画像信号として出力される。

【0040】

尚、撮像素子１３、１４は、各画素にカラーフィルタが設けられていない、白黒撮像素子である。

【0041】

上記構成の撮像装置１０は、パノラマ合成する画像として、それぞれ異なる波長帯域の複数の第１画像、複数の第２画像、…、を撮像する。複数の第１画像、及び複数の第２画像は、本例では、ＲＧＢのカラー画像、第１スペクトル画像及び第２スペクトル画像の複数枚の第１画像群、及び第２画像群である。

【0042】

各画像群は、１回の撮像で同時に取得することができる。また、被写体像を各撮像素子１２、１３、１４に結像させる撮影レンズ１１は、共通するため、各撮像素子１２、１３、１４から出力されるカラー画像、第１スペクトル画像及び第２スペクトル画像の撮影範囲は一致する。

【0043】

［画像処理装置のハードウェア構成］
図２は、本発明に係る画像処理装置のハードウェア構成を示すブロック図である。

【0044】

図２に示す画像処理装置２０は、コンピュータにより構成され、プロセッサ２００、メモリ２１０、表示器２３０、入出力インターフェース２４０、及び操作部２５０を備える。尚、画像処理装置２０は、撮像装置１０に内蔵されたものでもよい。

【0045】

プロセッサ２００は、ＣＰＵ（Central Processing Unit）等から構成され、メモリ２１０に記憶されたオペレーションシステム、及び本発明に係る画像処理プログラムを含む各種のプログラムを実行し、画像処理装置２０の各部を統括制御するとともに、後述するパノラマ合成処理に係る各種の処理及び表示制御等を実行する。

【0046】

メモリ２１０は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、及びＲＡＭ(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ＲＯＭ又はハードディスク装置は、オペレーションシステム、画像処理プログラムを含む各種のプログラム等を記憶する不揮発性メモリである。ＲＡＭは、プロセッサ２００による処理の作業領域として機能するとともに、フラッシュメモリ等に格納されたプログラム等を一時的に記憶する。尚、プロセッサ２００が、メモリ２１０の一部（ＲＡＭ）を内蔵していてもよい。また、メモリ２１０は、図１に示した撮像装置１０により撮像された画像群（カラー画像、第１スペクトル画像及び第２スペクトル画像）であって、パノラマ合成に使用される複数の画像群を記憶するとともに、パノラマ合成したパノラマ画像を記憶することができる。

【0047】

表示器２３０は、操作部２５０からの指示入力に応じてメモリ２１０に記憶された画像群のうちのユーザ所望の画像を表示し、あるいはパノラマ合成したパノラマ画像を表示し、また、操作部２５０から指示入力を受け付ける場合のＧＵＩ（Graphical User Interface）の一部として使用される。

【0048】

表示器２３０は、画像処理装置２０がタブレット端末やノートパソコンで構成される場合には、画像処理装置２０に包含されるものでもよいし、画像処理装置２０がデスクトップパソコンで構成される場合には、画像処理装置２０に接続された外部の表示器でもよい。

【0049】

入出力インターフェース２４０は、外部機器と接続可能な接続部、及びネットワークと接続可能な通信部等を含む。外部機器と接続可能な接続部としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）等を適用することができる。プロセッサ２００は、入出力インターフェース２４０を介して撮像装置１０や他の外部機器との間で必要なデータのやり取りを行うことができる。

【0050】

操作部２５０はマウス等のポインティングデバイス、キーボード等を含み、表示器２３０の表示画面を使用し、ユーザ操作による指示入力を受け付けるＧＵＩの一部として機能する。

【0051】

［画像処理装置の実施形態］
図３は、本発明に係る画像処理装置の実施形態を示す機能ブロック図である。

【0052】

図３は、主に図２に示した画像処理装置のプロセッサの機能を示す機能ブロック図である。

【0053】

図３において、プロセッサ２００は、画像取得部２０２、画像作成部２０４、情報取得処理部２０６、及びパノラマ合成処理部２０８として機能する。

【0054】

まず、プロセッサ２００は、操作部２５０からの指示入力に応じて、撮像装置１０から第１画像群Ｉ_G1、第２画像群Ｉ_G2を順次取得する。尚、撮像装置１０により撮像された第１画像群Ｉ_G1、第２画像群Ｉ_G2が、メモリ２１０に記憶されている場合には、プロセッサ２００は、メモリ２１０から第１画像群Ｉ_G1、第２画像群Ｉ_G2を順次取得することができる。

【0055】

ここで、撮像装置１０は、例えば、主要被写体である植物（本例では「葉」）を第１画角（第１撮影範囲）で撮像し、「葉」の第１カラー画像Ｉ_c1、第１波長帯域の第１画像（第１スペクトル画像）λ₁、及び第２波長帯域の第２画像（第２スペクトル画像）λ₂からなる第１画像群Ｉ_G1を取得し、続いて第１画角と一部が重複する第２画角（第２撮影範囲）で撮像し、「葉」の第２カラー画像Ｉ_c2、第１スペクトル画像λ₁、及び第２スペクトル画像λ₂からなる第２画像群Ｉ_G2を取得しており、プロセッサ２００は、撮像装置１０から直接又は間接的に第１画像群Ｉ_G1及び第２画像群Ｉ_G2を取得する。

【0056】

また、第１スペクトル画像λ₁は、中心波長λ₁が６５０ｎｍの狭帯域のスペクトル画像であり、第２スペクトル画像λ₂は、中心波長λ₂が７２０ｎｍの狭帯域のスペクトル画像である。即ち、図１に示した撮像装置１０の第１バンドパスフィルタＦ２は、中心波長λ₁が６５０ｎｍの第１波長帯域を透過させるバンドパスフィルタであり、第２バンドパスフィルタＦ３は、中心波長λ₂が７２０ｎｍの第２波長帯域を透過させるバンドパスフィルタである。

【0057】

尚、「葉」のクロロフィルａ、ｂは、波長６５０ｎｍ付近にクロロフィル吸収帯域を有している。

【0058】

画像取得部２０２は、第１画像群Ｉ_G1及び第２画像群Ｉ_G2を順次取得する画像取得処理を行う部分であり、第１画像群Ｉ_G1を取得すると、第１画像群Ｉ_G1のうちの第１スペクトル画像λ₁、及び第２スペクトル画像λ₂を画像作成部２０４に出力し、カラー画像Ｉ_c1をパノラマ合成処理部２０８に出力する。パノラマ合成処理部２０８では、入力するカラー画像Ｉ_c1をバッファメモリ２０８Ａに保持する。

【0059】

画像作成部２０４は、第３画像及び第４画像を作成する画像作成処理を行う部分であり、第１画像群Ｉ_G1に含まれる２つの画像である、第１スペクトル画像λ₁と第２スペクトル画像λ₂とを入力すると、第１スペクトル画像λ₁と第２スペクトル画像λ₂との比から第３画像（画像λ₂/λ₁）を作成する。作成された第３画像λ₂/λ₁は、情報取得処理部２０６に出力され、情報取得処理部２０６のバッファメモリ２０６Ａに保持される。

【0060】

続いて、画像取得部２０２は、第２画像群Ｉ_G2を取得すると、上記と同様に第２画像群Ｉ_G2のうちの第１スペクトル画像λ₁、及び第２スペクトル画像λ₂を画像作成部２０４に出力し、カラー画像Ｉ_c2をパノラマ合成処理部２０８に出力する。パノラマ合成処理部２０８では、入力するカラー画像Ｉ_c2をバッファメモリ２０８Ｂに保持する。

【0061】

画像作成部２０４は、第２画像群Ｉ_G2に含まれる２つの画像である、第１スペクトル画像λ₁と第２スペクトル画像λ₂とを入力すると、第１スペクトル画像λ₁と第２スペクトル画像λ₂との比から第４画像（画像λ₂/λ₁）を作成する。作成された第４画像λ₂/λ₁は、情報取得処理部２０６に出力され、情報取得処理部２０６のバッファメモリ２０６Ｂに保持される。

【0062】

図４は、図１に示した撮像装置により撮像された、主要被写体が「葉」のカラー画像である。尚、図４では、白黒写真が示されているが、実際にはカラー画像である。

【0063】

図４において、３２は「葉」の領域を示し、３４は「葉」の影の領域を示す。図４に示すようにカラー画像には、主要被写体である葉３２の他に、葉３２の影３４や水面などの背景が写っており、カラー画像をパノラマ合成する場合、背景の情報がパノラマ合成の成功率を低下させる原因となる。

【0064】

図５は、図４に示したカラー画像と同時に撮像された第１スペクトル画像λ₁と第２スペクトル画像λ₂との比の画像λ₂/λ₁を示す図である。

【0065】

図５に示す画像λ₂/λ₁は、葉３２の部分のみに濃淡が現れ、背景が殆ど「黒」となり、背景の情報が削除されたものとなる。したがって、隣接する２つの第３画像λ₂/λ₁と第４画像λ₂/λ₁の重複領域から画像間の位置に関する情報を取得する際に、背景に影響されることなく、精度の高い画像間の位置に関する情報を取得することができ、取得した画像間の位置に関する情報に基づいて他の画像（カラー画像）をパノラマ合成することで、良好なパノラマ画像を生成することが可能になる。

【0066】

図３に戻って、情報取得処理部２０６は、バッファメモリ２０６Ａに保持された第３画像λ₂/λ₁とバッファメモリ２０６Ｂに保持された第４画像λ₂/λ₁との画角の重複領域の画像間の位置に関する情報を取得する。

【0067】

図６は、第３画像λ₂/λ₁と第４画像λ₂/λ₁との一例を示す図である。図６（Ａ）及び（Ｂ）は、それぞれ第３画像λ₂/λ₁、及び第４画像λ₂/λ₁を示しており、これらの第３画像λ₂/λ₁と第４画像λ₂/λ₁とは重複領域を有している。

【0068】

情報取得処理部２０６のパラメータ取得部２０６Ｃは、第３画像λ₂/λ₁と第４画像λ₂/λ₁との重複領域の画像からそれぞれ対応する特徴点を抽出し、特徴点に基づいて位置に関する情報として取得する。

【0069】

第３画像λ₂/λ₁と第４画像λ₂/λ₁との重複領域の画像間の、拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。パラメータ取得部２０６Ｃは、SIFT等のアルゴリズムにより特徴量が一致する特徴点を複数セット取得する。

【0070】

いま、第３画像λ₂/λ₁を基準画像とした場合、パラメータ取得部２０６Ｃは、第３画像λ₂/λ₁の特徴点と、第４画像λ₂/λ₁の特徴点とを一致させるための、第４画像λ₂/λ₁を拡大縮小、平行移動、回転等を示すパノラマ合成用のパラメータを取得することができる。

【0071】

また、パラメータ取得部２０６Ｃは、第４画像λ₂/λ₁を、幾何変換式にしたがって幾何変換してパノラマ合成する場合、その幾何変換する変換式のパラメータであって、それぞれ対応する特徴点を一致させる変換式のパラメータを、複数セットの対応点に基づいて取得することができる。例えば、幾何変換する変換式が、射影変換やアフィン変換する変換式の場合、射影変換やアフィン変換の変換式の変換行例（パラメータ）を複数セットの対応点に基づいて算出する。

【0072】

図７は、図６（Ａ）に示した第３画像λ₂/λ₁と、図６（Ｂ）に示した第４画像λ₂/λ₁とをパノラマ合成したパノラマ画像を示す図である。尚、本例では、第３画像λ₂/λ₁と第４画像λ₂/λ₁とをパノラマ合成するために必要な情報が取得できればよく、必ずしも第３画像λ₂/λ₁と第４画像λ₂/λ₁とをパノラマ合成する必要はない。

【0073】

パノラマ合成処理部２０８のパノラマ合成部２０８Ｃは、情報取得処理部２０６が取得した第３画像λ₂/λ₁と第４画像λ₂/λ₁との重複領域の画像間の位置に関する情報に基づいて、バッファメモリ２０８Ａに保持された第１カラー画像Ｉ_c1と、バッファメモリ２０８Ｂに保持された第２カラー画像Ｉ_c2とをパノラマ合成するパノラマ合成処理を行う。本例では、第３画像λ₂/λ₁に対応する第１カラー画像Ｉ_c1を基準画像とし、第４画像λ₂/λ₁に対応する第２カラー画像Ｉ_c2を画像間の位置に関する情報に基づいて幾何変換し、第１カラー画像Ｉ_c1に幾何変換後の第２カラー画像Ｉ_c2を重ね合わせる。尚、第１カラー画像Ｉ_c1と幾何変換後の第２カラー画像Ｉ_c2との重複部分は、例えば、重み付け加算し、より自然になるように合成することが好ましい。

【0074】

パノラマ合成部２０８Ｃにより合成されたパノラマ画像Ｉ_Pは、表示器２３０に表示され、あるいはメモリ２１０に保存される。

【0075】

図８は、パノラマ合成部により合成されたパノラマ画像Ｉ_Pを示す図である。

【0076】

パノラマ合成前の２枚の画像（第１カラー画像Ｉ_c1、第２カラー画像Ｉ_c2）はそれぞれカラー画像であるため、合成後のパノラマ画像Ｉ_Pもカラー画像である。

【0077】

上記構成の画像処理装置２０によれば、パノラマ画像Ｉ_Pはカラー画像であるが、主要被写体の葉のみが抽出された画像である第３画像λ₂/λ₁と第４画像λ₂/λ₁とから、背景の影響を受けない精度の高いペアの特徴点を抽出することができ、精度の高いペアの特徴点の情報に基づいて、第３画像λ₂/λ₁と第４画像λ₂/λ₁にそれぞれ対応する第１カラー画像Ｉ_c1と第２カラー画像Ｉ_c2とをパノラマ合成するため、合成精度の高いパノラマ画像Ｉ_Pを生成することができる。

【0078】

［撮像システム］
図９は、本発明に係る撮像システムの実施形態を示す概念図である。

【0079】

図９に示す撮像システム１は、空撮用の飛行体であるドローン３０と、リモートコントローラ３５と、画像処理装置２０とを含み、ドローン３０とリモートコントローラ３５と画像処理装置２０とは、ネットワーク４０により接続されている。

【0080】

また、図１に示した撮像装置１０は、ジンバル雲台３３を介してドローン３０に搭載されている。

【0081】

ドローン３０は、リモートコントローラ３５により飛行経路、及び撮像装置１０による撮像が遠隔操作され、撮像装置１０により撮像された撮影ポイントごとの画像群は、無線通信を利用してリモートコントローラ３５、ネットワーク４０を介して画像処理装置２０に転送され、又はリモートコントローラ３５を経由せずに直接、画像処理装置２０に転送され、あるいは撮像装置１０内のメモリカードに記録される。

【0082】

図１０は、ドローンに搭載された撮像装置により広域の撮影領域を、複数に分割して撮像した場合に得られる複数の分割画像を示す図である。

【0083】

広域の撮影領域は、例えば、撮影対象の農産物が生産される大規模な農地である。

【0084】

図１０に示す分割画像Ｉ_G(1,1)、Ｉ_G(1,2)、Ｉ_G(1,3)、…、Ｉ_G(2,1)、…は、それぞれドローン３０の飛行経路上の撮影ポイントで撮像された画像群（カラー画像Ｉ_C、第１スペクトル画像λ₁及び第２スペクトル画像λ₂）であり、隣接する分割画像Ｉ_G(1,1)、Ｉ_G(1,2)、…、は、重複領域を有する。

【0085】

リモートコントローラ３５によりドローン３０を遠隔操作する操作者は、撮像装置１０により撮像され、送信されるライブビュー画像をリモートコントローラ３５のモニタで確認しながら、ドローン３０を各撮影ポイントに移動させ、各撮影ポイントにて撮像装置１０による撮像を実行させる。

【0086】

これにより、図１０に示したように分割画像Ｉ_G(1,1)、Ｉ_G(1,2)、…、の撮像が順次行われる。また、順次撮像された分割画像Ｉ_G(1,1)、Ｉ_G(1,2)、…、は、無線通信により画像処理装置２０に送信され、又はドローン３０の帰還後に撮像装置１０又はメモリカードから画像処理装置２０により送信される。

【0087】

尚、リモートコントローラ３５によりドローン３０を遠隔操作する場合に限らず、予め飛行経路及び撮影ポイントを含む空撮計画を作成し、空撮計画にしたがってドローン３０を自律飛行させ、撮影ポイントごとに撮像装置１０による撮像を実行させてもよい。

【0088】

図１０において、分割画像Ｉ_G(1,1)を、図３に示した第１画像群Ｉ_G1とすると、分割画像Ｉ_G(1,2)は、第２画像群Ｉ_G2に対応する。

【0089】

画像処理装置２０は、順次入力する分割画像Ｉ_G(1,1)、分割画像Ｉ_G(1,2)に対して、第１画像群Ｉ_G1、第２画像群Ｉ_G2に対する処理と同様の処理を行うことで、パノラマ画像Ｉ_Pを生成することができる。

【0090】

また、画像処理装置２０は、次に分割画像Ｉ_G(1,3)を入力すると、幾何変換後の分割画像Ｉ_G(1,2)を第１画像群Ｉ_G1とし、新たに入力した分割画像Ｉ_G(1,3)を第２画像群Ｉ_G2とすることで、幾何変換後の分割画像Ｉ_G(1,2)と分割画像Ｉ_G(1,3)とをパノラマ合成することができる。

【0091】

このようにして画像処理装置２０は、分割画像Ｉ_G(1,1)、Ｉ_G(1,2)、…、を順次パノラマ合成することで、広域の撮影領域のパノラマ画像を生成することができる。

【0092】

ユーザは、広域の撮影領域のパノラマ画像により撮影対象の農産物の生育状況を確認することができる。

【0093】

［撮像装置の第２実施形態］
図１１は、本発明に係る撮像システムに適用される撮像装置の第２実施形態を示す図である。

【0094】

図１１に示す撮像装置５０は、ビームスプリッタ５２と、マルチスペクトルカメラ５４と、ＲＧＢカメラ５６とから構成されている。

【0095】

マルチスペクトルカメラ５４は、それぞれ波長帯域が異なる複数のスペクトル画像を撮像するもので、公知のものを使用することができる。

【0096】

ＲＧＢカメラ５６は、赤色、緑色及び青色からなるカラー画像を撮像するカラーカメラであり、公知のものを使用することができる。

【0097】

被写体光は、ビームスプリッタ５２により分割され、ビームスプリッタ５２を通過する被写体光はマルチスペクトルカメラ５４に入射し、ビームスプリッタ５２で反射する被写体光はＲＧＢカメラ５６に入射する。

【0098】

これにより、撮像装置５０は、複数のスペクトル画像とカラー画像とを同時に撮像することができる。尚、スペクトル画像とカラー画像の画像サイズは同一であることが好ましいが、画像サイズが異なる場合には、画像サイズを同一にする補間処理等を行う。

【0099】

撮像装置５０により同時に撮像される複数のスペクトル画像及びカラー画像を含む画像群は、図１に示した第１実施形態の撮像装置１０により撮像される画像群と同様に画像処理装置２０にて使用することができる。

【0100】

［画像処理方法］
図１２は、本発明に係る画像処理方法の実施形態を示すフローチャートである。

【0101】

尚、図１２に示す画像処理方法は、図３に示した画像処理装置のプロセッサ２００により行われる方法である。

【0102】

図１２において、プロセッサ２００は、撮像装置１０により撮像された第１画像群Ｉ_G1、第２画像群Ｉ_G2を順次取得する（ステップＳ１０）。

【0103】

プロセッサ２００は、第１画像群Ｉ_G1に含まれる第１スペクトル画像λ₁、第２スペクトル画像λ₂の比を示す第３画像λ₂/λ₁と、第２画像群Ｉ_G2に含まれる第１スペクトル画像λ₁、第２スペクトル画像λ₂の比を示す第４画像λ₂/λ₁とを作成する（ステップＳ１２、図６参照）。

【0104】

続いて、プロセッサ２００は、第３画像λ₂/λ₁と第４画像λ₂/λ₁との重複領域における、互いに対応する複数のペアの特徴点を抽出する（ステップＳ１４）。

【0105】

プロセッサ２００は、複数のペアの特徴点に基づいて、第３画像λ₂/λ₁の特徴点と第４画像λ₂/λ₁の特徴点とを一致させるための、幾何変換式のパラメータを取得する（ステップＳ１６）。

【0106】

次に、プロセッサ２００は、第１画像群Ｉ_G1から選択した第１画像（本例では、第１カラー画像Ｉ_c1）と、第２画像群Ｉ_G2から選択した第２画像（本例では、第２カラー画像Ｉ_c2）であって、ステップＳ１６で取得したパラメータを有する幾何変換式により変換された第２画像とを合成し、パノラマ画像Ｉ_Pを作成する（ステップＳ１８）。

【0107】

このようにして作成されたパノラマ画像Ｉ_Pは、表示器２３０に表示され、又はメモリ２１０に保存される。

【0108】

［他の実施形態］
本実施形態では、波長帯域が異なる２つの画像として、中心波長λ₁が６５０ｎｍの第１スペクトル画像と中心波長λ₂が７２０ｎｍの第２スペクトル画像を使用し、２つの画像の比を示す画像を作成するようにしたが、波長帯域が異なる２つの画像は、これらの波長帯域の画像に限定されない。

【0109】

図１３は、波長帯域が異なる２つの画像の比を示す画像の他の例を示す図である。

【0110】

図１３（Ａ）に示す画像は、中心波長が５８０ｎｍのスペクトル画像と中心波長が６５０ｎｍのスペクトル画像の比を示す画像であり、図１３（Ｂ）に示す画像は、中心波長が７９０ｎｍのスペクトル画像と中心波長が７２０ｎｍのスペクトル画像の比を示す画像である。

【0111】

図１３（Ａ）及び（Ｂ）に示す画像は、それぞれ葉のみを示す画像となり、特徴点を抽出するための画像として適している。

【0112】

一方、図１３（Ｃ）に示す画像は、中心波長が８５０ｎｍの赤外線画像と中心波長が７９０ｎｍの赤外線画像の比を示す画像である。この画像は、葉の画像が不鮮明であり、特徴点を抽出するための画像として適していない。

【0113】

したがって、２つの画像のうちの一方は、クロロフィル吸収帯域を有するスペクトル画像であることが好ましい。また、２つの画像は、６５０ｎｍから７２０ｎｍの間で選択された２つのスペクトル画像であることがより好ましい。

【0114】

更に、２つの画像のうちの一方は、可視光領域の画像とし、他方は可視光領域以外の画像（赤外線画像）としてもよい。

【0115】

また、本実施形態では、波長帯域が異なる２つの画像の比を示す画像を作成するようにしたが、これに限らず、波長帯域が異なる２つの画像の差を示す画像を作成し、差を示す画像を使用して特徴点の抽出等を行うようにしてもよい。尚、差を示す画像は、単なる差分だけでなく、差を規格化したものも含む。

【0116】

また、２つの画像の差を規格化した画像として、例えば、ＮＤＶＩ（Normalized Difference Vegetation Index：正規化植生指数）を示す画像（以下、「ＮＤＶＩ画像」という）でもよい。ＮＤＶＩ画像は、植生の分布状況や活性度を示す指標として活用されている。

【0117】

ＮＤＶＩ画像は、植物の分光反射特性を利用しており，赤色域の反射強度を示す赤色光の画像をRED、近赤外域の波長の反射強度を示す近赤外光の画像をNIRとしたときに、次の［数１］式により表わすことができる。

【0118】

［数１］
ＮＤＶＩ＝(NIR－RED)／(NIR＋RED)
したがって、波長帯域が異なる２つの画像として、撮像される画像群に赤色光画像REDと近赤外光の画像NIRとが含まれている場合には、ＮＤＶＩ画像を作成することができ、このＮＤＶＩ画像を使用して特徴点の抽出等を行うようにしてもよい。

【0119】

更に、波長帯域が異なる２つの画像は、狭帯域のスペクトル画像に限らず、ＲＧＢ画像のうちのいずれかの色画像を含んでいてもよい。

【0120】

また、本実施形態では、パノラマ合成する画像はカラー画像としたが、これに限らず、同時に撮像された画像群から選択された１以上の画像をパノラマ合成するようにしてもよい。２以上の画像をパノラマ合成する場合には、２以上の画像の比又は差の画像をパノラマ合成してもよく、ＮＤＶＩ画像をパノラマ合成してもよい。

【0121】

更にまた、本実施形態では、主要被写体が植物（本例では「葉」）の場合について説明したが、主要被写体は植物に限らない。例えば、パノラマ合成される橋梁、トンネル、ダム等の構造物でもよい。

【0122】

また、撮像システムに適用される撮像装置は、図１又は図１１に示したものに限らず、カラーカメラ（ＲＧＢカメラ）及びマルチスペクトルカメラのうちの少なくとも一方を含むものでもよい。

【0123】

［その他］
本実施形態において、例えば、画像処理装置２０のプロセッサ２００のように各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0124】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0125】

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0126】

また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る画像処理装置として機能させる画像処理プログラム、及びこの画像処理プログラムが記録された非一時的かつコンピュータ読取可能な不揮発性の記録媒体を含む。

【0127】

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0128】

１…撮像システム
１０…撮像装置
１１…撮影レンズ
１２、１３、１４…撮像素子
２０…画像処理装置
３０…ドローン
３２…葉
３３…ジンバル雲台
３４…影
３５…リモートコントローラ
４０…ネットワーク
５０…撮像装置
５２…ビームスプリッタ
５４…マルチスペクトルカメラ
５６…ＲＧＢカメラ
２００…プロセッサ
２０２…画像取得部
２０４…画像作成部
２０６…情報取得処理部
２０６Ａ、２０６Ｂ、２０８Ａ、２０８Ｂ…バッファメモリ
２０６Ｃ…パラメータ取得部
２０８…パノラマ合成処理部
２０８Ｃ…パノラマ合成部
２１０…メモリ
２３０…表示器
２４０…入出力インターフェース
２５０…操作部
ＢＳ１、ＢＳ２…ビームスプリッタ
Ｆ１…赤外線カットフィルタ
Ｆ２…第１バンドパスフィルタ
Ｆ３…第２バンドパスフィルタ
Ｓ１０、Ｓ１２、Ｓ１４、Ｓ１６、Ｓ１８…ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】