特許 7058881 撮像装置及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-15

(45)【発行日】2022-04-25

(54)【発明の名称】撮像装置及び画像処理装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20220418BHJP

   G03B 17/17 20210101ALI20220418BHJP

   G03B 11/00 20210101ALI20220418BHJP

   G03B 15/00 20210101ALI20220418BHJP

   G02B 5/09 20060101ALI20220418BHJP

【ＦＩ】

H04N9/07 F

G03B17/17

G03B11/00

G03B15/00 T

G02B5/09

【請求項の数】 10

(21)【出願番号】P 2019509614

(86)(22)【出願日】2018-03-20

(86)【国際出願番号】 JP2018011153

(87)【国際公開番号】W WO2018180808

(87)【国際公開日】2018-10-04

【審査請求日】2021-02-17

(31)【優先権主張番号】P 2017067131

(32)【優先日】2017-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504143441

【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学

(74)【代理人】

【識別番号】100114476

【弁理士】

【氏名又は名称】政木 良文

(72)【発明者】

【氏名】高谷 剛志

(72)【発明者】

【氏名】青砥 隆仁

(72)【発明者】

【氏名】向川 康博

【審査官】橘 高志

(56)【参考文献】

【文献】特表２０１６－５１１９８０（ＪＰ，Ａ）

【文献】特表２０１４－５３３３５５（ＪＰ，Ａ）

【文献】特開２０１０－２４５８７０（ＪＰ，Ａ）

【文献】特開２００５－２６０４８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ９／０７

Ｇ０３Ｂ １７／１７

Ｇ０３Ｂ １１／００

Ｇ０３Ｂ １５／００

Ｇ０２Ｂ ５／０９

(57)【特許請求の範囲】

【請求項1】

被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、
前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、
前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置。

【請求項2】

前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の前記鏡を有し、
当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正Ｘ角形であることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記反射部が有する前記鏡の枚数が６枚以下であることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている２枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項２または３に記載の撮像装置。

【請求項5】

前記反射部が、前記反射面が平行かつ対向するように配置された２枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されていることを特徴とする請求項１に記載の撮像装置。

【請求項6】

前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であることを特徴とする請求項４または５に記載の撮像装置。

【請求項7】

前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なることを特徴とする請求項４～６のいずれか１項に記載の撮像装置。

【請求項8】

前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されることを特徴とする請求項１～７のいずれか１項に記載の撮像装置。

【請求項9】

前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有することを特徴とする請求項１～８のいずれか１項に記載の撮像装置。

【請求項10】

請求項１～９のいずれか１項に記載の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、
前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、
前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した原画像データを処理する画像処理装置とに関する。

【背景技術】

【0002】

近年、青果に含まれる糖の含有量の分布を測定するなどの目的で、ハイパースペクトルカメラが用いられることがある。一般的なハイパースペクトルカメラは、分光器を用いてスリットを通過した被写体の一次元の位置の光を、当該光と垂直な方向に波長分解することで二次元の光学像に変換し、当該光学像を二次元イメージセンサで撮像するものである。このハイパースペクトルカメラは、分光器やスリットなどの光学系を駆動することで撮像する位置を切り替えながら（走査しながら）繰り返し撮像することで、複数の波長帯域毎の二次元画像を得る。また、分光器の代わりに、被写体に対して光を照射する光源と、当該光源に適用する切り替え可能な複数色のカラーフィルタと、を備え、当該カラーフィルタを切り替えながら二次元画像を繰り返し撮像することで、複数の波長帯域毎の二次元画像を得るハイパースペクトルカメラもある。

【0003】

これらのような従来のハイパースペクトルカメラでは、画像が二次元であって波長が一次元である合計三次元の情報を、二次元イメージセンサで撮像して取得するという関係上、全ての情報を取得するためには複数回の撮像が必須になる。そのため、撮像時間が長くなってしまうという問題がある。また、このような従来のハイパースペクトルカメラでは、光学系の駆動やカラーフィルタを切り替える機構が必要であるため、装置の構成が複雑かつ大型になってしまうという問題もある。

【0004】

そこで、特許文献１では、鏡と光学フィルタを用いて、光学フィルタを通過する被写体光と光学フィルタを通過しない被写体光のそれぞれを、撮像素子上の異なる位置に結像することで、１回の撮像によって波長特性が異なる２つの被写体像を撮像可能にした撮像装置が提案されている。具体的に、この撮像装置は、レンズの直前に、当該レンズに向かって左右の間隔が狭くなるように（テーパをつけて）配置された２枚の鏡を備える。これにより、光軸の左側からレンズに入射する被写体光と、光軸の右側からレンズに入射する被写体光とのそれぞれが、撮像素子上の異なる位置に結像される。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－２４５８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１で提案されている撮像装置では、１回の撮像で最大でも２つの被写体像しか撮像することができないという問題があった。

【0007】

なお、特許文献１の図９では、光軸の左右の鏡で反射された被写体光が結像されて成る２つの被写体像の他に、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る１つの被写体像も撮像可能であるかのように図示されている。しかし、この撮像装置では、テーパがつけられた鏡を用いる必要があるため、光軸の左右の鏡で反射された被写体光が結像されて成る２つの被写体像が、光軸に沿って直進しており鏡で反射されていない被写体光が結像されて成る１つの被写体像に対して、大きく歪んでしまう。そのため、これらの被写体像は、対比することが不可能（または著しく困難）であるから、一方の被写体像は撮像しても無意味になってしまう。したがって、この撮像装置では、１回の撮像で最大でも２つの被写体像しか撮像することができない。

【0008】

そこで、本発明は、一度の撮像で３つ以上の対比可能な被写体像を撮像することができる撮像装置と、当該撮像装置が作成した原画像データに基づいて特定の波長帯域の光の強度を表した画像のデータである分光画像データを生成する画像処理装置とを提供する。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明は、被写体から到来する被写体光を結像する結像素子と、前記結像素子が結像した被写体像を撮像して原画像データを作成する撮像素子と、を有する撮像部と、前記被写体光を反射させて前記撮像部に入射させる鏡を複数有する反射部と、を備え、前記反射部が有する前記鏡のそれぞれは、反射面で反射する光の波長特性を変化させる光学フィルタが当該反射面上に設けられているとともに、前記結像素子の光軸に対して前記反射面が平行になるように配置されていることを特徴とする撮像装置を提供する。

【0010】

この撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、を一度に撮像することができる。

【0011】

また、上記特徴の撮像装置において、前記反射部が、前記反射面を内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の前記鏡を有し、当該鏡の前記光軸に対して垂直な断面が、当該鏡のそれぞれの前記反射面を一辺とする正Ｘ角形であるようにしてもよい。

【0012】

この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡で１回反射した被写体光が結像されて成るＸ個（３つ以上）の被写体像と、を一度に撮像することができる。したがって、Ｘ＋１個以上（４つ以上）の被写体像を一度に撮像することができる。

【0013】

また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が６枚以下であるようにしてもよい。

【0014】

この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡で１回反射した被写体光が結像されて成るＸ個の欠けがない正Ｘ角形の被写体像と、を撮像することができる。

【0015】

また、上記特徴の撮像装置において、前記反射部が有する前記鏡の枚数が偶数であり、前記反射面が平行かつ対向するように配置されている２枚の前記鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。

【0016】

この撮像装置によれば、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、反射面が平行かつ対向する２枚の鏡の一方で１回反射した被写体光が結像されて成る２つの被写体像と、当該鏡のそれぞれで１回ずつ反射（多重反射）した被写体光が結像されて成る少なくとも１つの被写体像と、を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。

【0017】

また、上記特徴の撮像装置において、前記反射部が、前記反射面が平行かつ対向するように配置された２枚の前記鏡を有し、当該鏡のそれぞれは、少なくとも当該鏡の前記反射面のそれぞれで１回ずつ反射した前記被写体光が結像されて成る少なくとも１つの前記被写体像が前記撮像部に撮像されるように配置されているようにしてもよい。

【0018】

この撮像装置によれば、少なくとも、鏡で反射していない被写体光が結像されて成る１つの被写体像と、反射面が平行かつ対向する２枚の鏡の一方で１回反射した被写体光が結像されて成る２つの被写体像と、当該鏡のそれぞれで１回ずつ反射（多重反射）した被写体光が結像されて成る少なくとも１つの被写体像と、を一度に撮像することができる。したがって、４つ以上の被写体像を一度に撮像することができる。さらに、この場合、これらの被写体像が一列に整列するため、被写体像の位置を特定し易い原画像データを得ることができる。

【0019】

また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が同一であるようにしてもよい。

【0020】

この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、当該光学フィルタが２回適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、光学フィルタの適用回数が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。

【0021】

また、上記特徴の撮像装置において、前記反射面が平行かつ対向するように配置された少なくとも１組の前記鏡の前記反射面上に設けられている前記光学フィルタのそれぞれは、フィルタ特性が異なるようにしてもよい。

【0022】

この撮像装置によれば、少なくとも、あるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、当該光学フィルタとは異なるフィルタ特性の光学フィルタが１回適用された被写体光が結像されて成る被写体像と、これらの２つの光学フィルタが１回ずつ適用された被写体光が結像されて成る被写体像と、を撮像することができる。したがって、適用された光学フィルタの種類が異なる被写体光が結像されて成る被写体像のそれぞれを撮像することができる。

【0023】

また、上記特徴の撮像装置において、前記鏡のそれぞれは、前記反射面から前記光軸までの距離が等しくなるように配置されるようにしてもよい。

【0024】

この撮像装置によれば、鏡で反射していないか反射回数が少ない被写体光が結像されて成るために鮮明である複数の被写体像を、原画像データの中心に配置することができる。そのため、原画像データにおいてこれらの被写体像が欠けることを抑制することができる。

【0025】

また、上記特徴の撮像装置において、前記反射部が、前記鏡の前記撮像部から遠い方の端部に設けられて前記被写体に対して光を照射する光源を、さらに有するようにしてもよい。

【0026】

この撮像装置によれば、撮像時に被写体に対して照射される光のスペクトルを統一することができる。そのため、原画像データの処理を容易にすることができる。

【0027】

また、本発明は、上記の撮像装置によって作成された前記原画像データと、前記撮像部及び前記反射部のそれぞれの光学特性のデータを含む撮像装置特性データと、複数の前記被写体像のそれぞれが撮像されている画素の前記原画像データ中の位置のデータを含む被写体像位置データと、当該被写体像のそれぞれが結像されるまでに前記被写体光が前記鏡で反射された履歴のデータを含む反射履歴データと、を記録するデータベースと、前記データベースに記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する演算部と、を備え、前記演算部は、前記被写体像位置データに基づいて、前記被写体の特定部分に相当する前記原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、前記反射履歴データ及び前記撮像装置特性データとに基づいて、前記分光画像データにおける前記被写体の前記特定部分に相当する画素の画素値を算出することを特徴とする画像処理装置を提供する。

【0028】

この画像処理装置によれば、上記の撮像装置によって作成された複数の被写体像が含まれる原画像データに基づいて、分光画像データを生成することができる。

【発明の効果】

【0029】

上記特徴の撮像装置によれば、鏡で反射していない被写体光が結像されて成る被写体像と、反射面が光軸に対して平行である複数の鏡で反射した被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、の合計３つ以上の対比可能な被写体像を、一度に撮像することができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係る撮像装置の構成の一例について示す模式図。

【図2】反射部が有する鏡の構成の第１例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。

【図3】反射部が有する鏡の構成の第２例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。

【図4】反射部が有する鏡の構成の第３例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。

【図5】反射部が有する鏡の構成の第４例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。

【図6】反射部が有する鏡の構成の第５例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。

【図7】反射部が有する鏡の構成の第６例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図。

【図8】本発明の実施形態に係る画像処理装置の構成の一例について示す模式図。

【図9】図８に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図。

【発明を実施するための形態】

【0031】

＜＜撮像装置＞＞
最初に、本発明の実施形態に係る撮像装置の構成の一例について図面を参照して説明する。図１は、本発明の実施形態に係る撮像装置の構成の一例について示す模式図である。

【0032】

図１に示すように、撮像装置１は、被写体から到来する被写体光が結像されて成る被写体像を撮像して原画像データを作成する撮像部１０と、鏡２１の反射を利用して被写体光を撮像部１０に入射させる反射部２０と、を備える。

【0033】

撮像部１０は、被写体光を結像する結像素子１１と、結像素子１１が結像した被写体像を撮像して原画像データを生成する撮像素子１２と、を有する。結像素子１１は、例えば絞りやレンズ等で構成される。なお、図１では、結像素子１１を１つのレンズとして省略して図示しているが、複数のレンズや絞り等を備えた構成であってもよい。撮像素子１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどの二次元イメージセンサで構成される。

【0034】

反射部２０は、被写体光を反射させて撮像部１０に入射させる複数の鏡２１（図示の例では２枚）と、被写体Ｔに対して光を照射する光源２２とを備える。鏡２１のそれぞれの反射面２１１上には、当該反射面２１１で反射する光の波長特性を変化させる光学フィルタＦが設けられている。また、光源２２は、鏡２１の撮像部１０から遠い方の端部に設けられる。

【0035】

鏡２１は、例えば、金属板を磨いて反射面にしたものや、ガラス板や樹脂板等に銀などの金属を蒸着して反射面にしたもの、光学フィルタＦとなる色ガラスに銀などの金属を蒸着して反射面にしたものなど、どのようなものであってもよい。ただし、鏡２１は、撮像部１０が測定する波長の範囲内における分光反射率がフラット（概ね一定値）であると、好ましい。

【0036】

光学フィルタＦは、鏡２１の反射面２１１で反射する光の波長特性を変化させるフィルタ特性（例えば、透過率スペクトル）を有するフィルムや板などである。具体的に、光学フィルタＦは、特定の波長帯域における光の強度だけ選択的に減衰させたり、特定の波長帯域以外における光の強度だけ選択的に減衰させたりするものである。

【0037】

光源２２は、例えばＬＥＤ（Light Emitting Diode）で構成される。なお、光源２２は、撮像部１０が作成する原画像データから様々な波長の情報を取得する観点から、例えば白色光などの様々な波長における強度が一定程度ある光を照射する素子で構成すると、好ましい。また、光源２２を備えることなく、自然光が被写体Ｔに照射されている状態で撮像部１０が撮像を行う構成にしてもよい。ただし、自然光は状況によってスペクトルが変わり得るため、原画像データの処理を容易にする観点からは、光源２２を用いて撮像時に被写体Ｔに対して照射されるスペクトルを統一した方が好ましい。

【0038】

図１では、反射部２０が、反射面２１１が対向している２枚の鏡２１を備えており、当該鏡２１のそれぞれの反射面２１１上にフィルタ特性が同じである光学フィルタＦが設けられている場合について例示している。しかし、本発明の実施形態に係る撮像装置１は、以下の＜鏡の構成例＞において例示するような、様々な構成の鏡を適用可能である。

【0039】

ただし、本発明の実施形態に係る撮像装置１では、反射部２０が複数の鏡２１を備えるとともに、当該鏡２１のそれぞれの反射面２１１が結像素子１１の光軸Ｇと平行になるように配置する。これにより、鏡２１で反射していない被写体光が結像されて成る被写体像と、反射面２１１が光軸Ｇに対して平行である複数の鏡２１で反射している被写体光が結像されて成るために当該被写体像に対する歪みがない（または小さい）２つ以上の被写体像と、を一度に撮像することができる。したがって、合計３つ以上の対比可能な被写体像を、一度に撮像することができる。

【0040】

＜鏡の構成例＞
反射部２０が有する鏡の様々な構成例と、当該鏡を用いた場合に撮像部１０で撮像される被写体像とのそれぞれについて、図面を参照して説明する。図２～図７は、反射部が有する鏡の様々な構成例と当該鏡を用いた場合に撮像部で撮像される被写体像の一例とのそれぞれを示す模式図である。なお、図２（ａ）～図７（ａ）のそれぞれは、反射部２０が有する鏡の構成例を示した図であり、光軸Ｇに垂直な断面図である。また、図２（ｂ）～図７（ｂ）のそれぞれは、図２（ａ）～図７（ａ）の鏡を用いた場合に撮像部１０で撮像される被写体像の一例を示した図である。また、図２（ｂ）～図７（ｂ）のそれぞれでは、鏡で反射していない被写体光が結像されて成る被写体像の領域を太線で囲うとともに、被写体像のそれぞれの領域内に、当該被写体像が結像されるまでに被写体光が鏡で反射して光学フィルタが適用された回数（ただし、フィルタ特性が異なる複数の光学フィルタを用いている場合は光学フィルタの種類毎の適用回数）を記載している。

【0041】

［第１例］
図２（ａ）に示すように、第１例では、反射部２０が、図１に示した例と同様の２枚の鏡２１ａを有している。鏡２１ａは、反射面２１１ａが平行かつ対向しており、当該鏡２１ａのそれぞれの反射面２１１ａ上にフィルタ特性が同じである光学フィルタＦａ１が設けられている。

【0042】

この鏡２１ａを用いた場合、例えば図２（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ａで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦａ１の適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで１回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦａ１の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで２回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦａ１の適用回数が２である２つの被写体像）と、が撮像される。

【0043】

ただし、撮像部１０で撮像される被写体像の数は、撮像部１０に入射する被写体光の鏡２１ａでの反射の最大回数Ｎに応じて変動する（本例の場合は２Ｎ＋１）。そして、撮像部１０に入射する被写体光の鏡２１ａでの反射の最大回数Ｎは、撮像部１０の画角と鏡２１ａの大きさ及び位置によって決まる。例えば、反射面２１１ａが平行かつ対向している２枚の鏡２１ａにおいて、撮像部１０が鏡２１ａの一方の端部に配置されるとともに被写体Ｔが鏡２１ａの他方の端部に配置され、反射面２１１ａが光軸Ｇから等距離に位置しており、当該反射面２１１ａのそれぞれの長さをＺ、離間距離をＤ、当該反射面２１１ａの離間方向における撮像部１０の画角をθとした場合（図１参照）、反射の最大回数Ｎは、［（Ｚ／ｄ）・ｔａｎ（θ／２）］以下となる最大の整数になる。なお、本例だけではなく、以下説明する他の例においても、撮像部１０の画角や鏡２１ａの大きさ及び位置によって、撮像部１０で撮像される被写体像の数は変動する。

【0044】

［第２例］
図３（ａ）に示すように、第２例では、反射部２０が、第１例と同様である反射面２１１ｂが対向している２枚の鏡２１ｂを有している。ただし、当該鏡２１ｂのそれぞれの反射面２１１ｂ上には、フィルタ特性が異なる２種類の光学フィルタＦｂ１，Ｆｂ２が設けられている。

【0045】

この鏡２１ｂを用いた場合、例えば図３（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｂで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｂ１，Ｆｂ２のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｂで１回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦｂ１の適用回数が１である１つの被写体像、光学フィルタＦｂ２の適用回数が１である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ａで２回反射した被写体光が結像されて成る２つの被写体像（光学フィルタＦｂ１，Ｆｂ２のそれぞれの適用回数が１である２つの被写体像）と、が撮像される。

【0046】

［第３例］
図４（ａ）に示すように、第３例では、反射部２０が、反射面２１１ｃを内側に向けるとともに隣接して配置される３枚の鏡２１ｃを有しており、当該鏡２１ｃの光軸に垂直な断面がそれぞれの反射面２１１ｃを一辺とする正三角形になっている。さらに、当該鏡２１ｃのそれぞれの反射面２１１ｃ上には、フィルタ特性が異なる３種類の光学フィルタＦｃ１，Ｆｃ２，Ｆｃ３が設けられている。

【0047】

この鏡２１ｃを用いた場合、例えば図４（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｃで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｃ１～Ｆｃ３のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで１回反射した被写体光が結像されて成る３つの被写体像（光学フィルタＦｃ１の適用回数が１である１つの被写体像、光学フィルタＦｃ２の適用回数が１である１つの被写体像、光学フィルタＦｃ３の適用回数が１である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで２回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｃ１，Ｆｃ２のそれぞれの適用回数が１である２つの被写体像、光学フィルタＦｃ２，Ｆｃ３のそれぞれの適用回数が１である２つの被写体像、光学フィルタＦｃ１，Ｆｃ３のそれぞれの適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｃで３回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｃ１～Ｆｃ３のそれぞれの適用回数が１である６つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正三角形を充填したパターンになるが、全ての被写体像が正三角形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正三角形を成しているものも含まれる。

【0048】

［第４例］
図５（ａ）に示すように、第４例では、反射部２０が、反射面２１１ｄを内側に向けるとともに隣接して配置される４枚の鏡２１ｄを有しており、当該鏡２１ｄの光軸に垂直な断面がそれぞれの反射面２１１ｄを一辺とする正方形（正四角形）になっている。また、反射面２１１ｄが対向するように配置されたある１組（２枚）の鏡２１ｄのそれぞれの反射面２１１ｄにはフィルタ特性が同じである光学フィルタＦｄ１が設けられ、反射面２１１ｄが対向するように配置された別の１組（２枚）の鏡２１ｄのそれぞれの反射面２１１ｄにもフィルタ特性が同じである光学フィルタＦｄ２が設けられるが、それぞれの組の鏡２１ｄの反射面２１１ｄ上に設けられる光学フィルタＦｄ１，Ｆｄ２のフィルタ特性は異なる。したがって、４枚の鏡２１ｄの反射面２１１ｄ上には、フィルタ特性が異なる２種類の光学フィルタＦｄ１，Ｆｄ２が設けられることになる。

【0049】

この鏡２１ｄを用いた場合、例えば図５（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｃで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｄ１，Ｆｄ２のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｄで１回反射した被写体光が結像されて成る４つの被写体像（光学フィルタＦｄ１の適用回数が１である２つの被写体像、光学フィルタＦｄ２の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｄで２回反射した被写体光が結像されて成る８つの被写体像（光学フィルタＦｄ１の適用回数が２である２つの被写体像、光学フィルタＦｄ２の適用回数が２である２つの被写体像、光学フィルタＦｄ１，Ｆｄ２のそれぞれの適用回数が１である４つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正方形を充填したパターンになるが、全ての被写体像が正方形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正方形を成しているものも含まれる。

【0050】

［第５例］
図６（ａ）に示すように、第５例では、反射部２０が、反射面２１１ｅを内側に向けるとともに隣接して配置される５枚の鏡２１ｅを有しており、当該鏡２１ｅの光軸に垂直な断面がそれぞれの反射面２１１ｅを一辺とする正五角形になっている。さらに、当該鏡２１ｅのそれぞれの反射面２１１ｅ上には、フィルタ特性が異なる５種類の光学フィルタＦｃ１～Ｆｃ５が設けられている。

【0051】

この鏡２１ｅを用いた場合、例えば図６（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｅで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｅ１～Ｆｅ５のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｅで１回反射した被写体光が結像されて成る５つの被写体像（光学フィルタＦｅ１の適用回数が１である１つの被写体像、光学フィルタＦｅ２の適用回数が１である１つの被写体像、光学フィルタＦｅ３の適用回数が１である１つの被写体像、光学フィルタＦｅ４の適用回数が１である１つの被写体像、光学フィルタＦｅ５の適用回数が１である１つの被写体像）と、が撮像される。また、この場合、鏡２１ｅで反射していない被写体光が結像されて成る被写体像と鏡２１ｅで１回反射した被写体光が結像されて成る被写体像とのそれぞれは正五角形になるが、正五角形では平面が充填されないため、隙間に他の被写体像が形成される。

【0052】

［第６例］
図６（ａ）に示すように、第６例では、反射部２０が、反射面２１１ｆを内側に向けるとともに隣接して配置される６枚の鏡２１ｆを有しており、当該鏡２１ｆの光軸に垂直な断面がそれぞれの反射面２１１ｆを一辺とする正六角形になっている。また、反射面２１１ｆが平行かつ対向するように配置されたある１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにはフィルタ特性が同じである光学フィルタＦｆ１が設けられ、反射面２１１ｆが平行かつ対向するように配置された別の１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにもフィルタ特性が同じである光学フィルタＦｆ２が設けられ、反射面２１１ｆが平行かつ対向するように配置されたさらに別の１組（２枚）の鏡２１ｆのそれぞれの反射面２１１ｆにもフィルタ特性が同じである光学フィルタＦｆ３が設けられるが、それぞれの組の鏡２１ｆの反射面２１１ｆ上に設けられる光学フィルタＦｆ１～Ｆｆ３のフィルタ特性は異なる。したがって、６枚の鏡２１ｆの反射面２１１ｆ上には、フィルタ特性が異なる３種類の光学フィルタＦｆ１～Ｆｆ３が設けられることになる。

【0053】

この鏡２１ｆを用いた場合、例えば図６（ｂ）に示すような被写体像が撮像される。具体的に例えば、主要な被写体像として、鏡２１ｆで反射していない被写体光が結像されて成る１つの被写体像（光学フィルタＦｆ１～Ｆｆ３のそれぞれの適用回数が０である１つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｆで１回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｆ１の適用回数が１である２つの被写体像、光学フィルタＦｆ２の適用回数が１である２つの被写体像、光学フィルタＦｆ３の適用回数が１である２つの被写体像）と、当該被写体像に隣接する被写体像であって鏡２１ｆで２回反射した被写体光が結像されて成る６つの被写体像（光学フィルタＦｆ１の適用回数が２である２つの被写体像、光学フィルタＦｆ２の適用回数が２である２つの被写体像、光学フィルタＦｆ３の適用回数が２である２つの被写体像）と、が撮像される。また、この場合、被写体像の全体としては複数の正六角形を充填したパターンになるが、全ての被写体像が正六角形になるわけではなく、複数の小さな被写体像が組み合わさって１つの正六角形を成しているものも含まれる。

【0054】

［まとめ］
［第３例］～［第６例］は、反射面２１１ｃ～２１１ｆを内側に向けるとともに隣接して配置されるＸ枚（Ｘは３以上の整数）の鏡２１ｃ～２１ｆの光軸に垂直な断面が、当該鏡２１ｃ～２１ｆのそれぞれの反射面２１１ｃ～２１１ｆを一辺とする正Ｘ角形である点で共通する。このように構成すると、少なくとも、鏡２１ｃ～２１ｆで反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像と、鏡２１ｃ～２１ｆで１回反射した被写体光が結像されて成るＸ個（３つ以上）の被写体像と、を一度に撮像することができる。

【0055】

また、上記の例では、Ｘが６以下であるが、Ｘを７以上としてもよい。ただし、Ｘを７以上にすると、鏡で反射していない被写体光が結像されて成る１つの正Ｘ角形の被写体像の周囲に、Ｘ個の被写体像を欠けることなく配置させることができなくなる。そのため、欠けがない正Ｘ角形の被写体像を撮像する観点から、Ｘは６以下にした方が好ましい。

【0056】

また、［第１例］、［第２例］、［第４例］及び［第６例］のように、反射部２０が有する鏡２１ａ，２１ｂ，２１ｄ，２１ｆの枚数が偶数である場合、鏡２１ａ，２１ｂ，２１ｄ，２１ｆで反射していない被写体光が結像されて成る１つの被写体像と、反射面２１１ａ，２１１ｂ，２１１ｄ，２１１ｆが平行かつ対向する２枚の鏡２１ａ，２１ｂ，２１ｄ，２１ｆの一方で１回反射した被写体光が結像されて成る被写体像と、当該鏡２１ａ，２１ｂ，２１ｄ，２１ｆで多重反射した被写体光が結像されて成る被写体像が一列に整列する。そのため、［第３例］及び［第５例］のように、反射部２０が有する鏡２１ｃ，２１ｅの枚数が奇数の場合と比較して、被写体像の位置を特定し易い原画像データを得ることができる。

【0057】

また、［第１例］～［第６例］から明らかなように、撮像部１０で撮像される被写体像は、鏡で反射していない被写体光が結像されて成る被写体像を中心として、反射回数が少ない被写体光が結像されて成る被写体像ほど内側、反射回数が多い被写体光が結像されて成る被写体像ほど外側になる。また、反射回数が少ない被写体光が結像されて成る被写体像ほど鮮明になるため、このような被写体像を撮像した領域ほど、後の原画像データの処理において重要になり得る。そのため、鏡で反射していない被写体光が結像されて成る被写体像が原画像データの中心になるように反射部２０を構成すると、好ましい。そして、このような原画像データを得るためには、反射部２０が有する鏡のそれぞれの反射面から光軸Ｇまでの距離が等しくなるように当該鏡を配置すると、好ましい。

【0058】

なお、［第４例］及び［第６例］では、反射面２１１ｄ，２１１ｆが平行かつ対向する鏡２１ｄ，２１ｆの組のそれぞれにおいて、フィルタ特性が同一である光学フィルタＦｄ１，Ｆｄ２，Ｆｆ１～Ｆｆ３が設けられる場合について例示しているが、これらの一部または全部の組において、フィルタ特性が異なる光学フィルタを設けてもよい。［第１例］及び［第２例］の対比から明らかであるが、［第１例］のように反射面２１１ａが平行かつ対向する鏡２１ａにフィルタ特性が同一の光学フィルタＦａ１を設けた場合は、光学フィルタの適用回数が異なる被写体像を撮像することができる。一方、［第２例］のように反射面２１１ｂが平行かつ対向する鏡２１ｂにフィルタ特性が異なる光学フィルタＦｂ１，Ｆｂ２を設けた場合は、適用された光学フィルタＦｂ１，Ｆｂ２の種類が異なる被写体像を撮像することができる。

【0059】

また、［第３例］及び［第５例］では、鏡２１ｃ，２１ｅのそれぞれの反射面２１１ｃ，２１１ｅ上に、フィルタ特性が異なる光学フィルタＦｃ１～Ｆｃ３，Ｆｅ１～Ｆｅ５が設けられる場合について例示しているが、一部または全部の鏡２１ｃ，２１ｅのそれぞれの反射面２１１ｃ，２１１ｅ上に、フィルタ特性が同一の光学フィルタを設けてもよい。また、［第４例］及び［第６例］において、反射面２１１ｄ，２１１ｆが平行かつ対向する鏡２１ｄ，２１ｆの複数の組において、フィルタ特性が同一の光学フィルタを設けてもよい。

【0060】

また、［第１例］及び［第２例］では、鏡２１ａ，２１ｂのそれぞれの反射面２１１ａ，２１１ｂが平行かつ対向しているが、平行にならずかつ対向していなくてもよい。この場合でも、鏡２１ａ，２１ｂで反射していない被写体光が結像されてなる１つの被写体像と、鏡２１ａ，２１ｂのそれぞれの反射面２１１ａ，２１１ｂで１回反射した被写体光が結像されてなる２つの被写体像と、を撮像することができる。

【0061】

＜＜画像処理装置＞＞
次に、上述の撮像装置１の撮像によって得られた原画像データに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する画像処理装置について説明する。最初に、画像処理装置の構成の一例について図面を参照して説明する。図８は、本発明の実施形態に係る画像処理装置の構成の一例について示す模式図である。

【0062】

図８に示すように、画像処理装置５０は、データベース５１と、演算部５２とを備える。データベース５１は、例えばハードディスクや不揮発性の半導体メモリなどのデータを記録可能な記録装置で構成される。演算部５２は、例えばＣＰＵ（Central Processing Unit）などの演算装置と揮発性の半導体メモリなどの記憶装置とで構成される。

【0063】

データベース５１は、上述の撮像装置１の撮像によって得られた原画像データの他に、演算部５２が原画像データに基づいて分光画像データを生成するために必要なデータである撮像装置特性データ、被写体像位置データ及び反射履歴データも記録している。

【0064】

撮像装置特性データには、撮像部１０及び反射部２０のそれぞれの光学特性のデータが含まれる。例えば、撮像装置特性データには、光源２２が照射する光のスペクトル、光学フィルタＦのフィルタ特性、撮像部１０の分光感度が含まれる。

【0065】

被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータが含まれる。反射履歴データには、被写体像のそれぞれが結像されるまでに被写体光が鏡２１で反射された履歴のデータが含まれる。例えば、被写体像位置データには、複数の被写体像のそれぞれが撮像されている画素の原画像データ中の位置のデータの他に、当該被写体像のそれぞれの向き（反転状態）のデータが含まれる。また、反射履歴データには、例えば、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムＦ（鏡２１）及びその適用回数（反射回数）のデータが含まれる。したがって、被写体像位置データ及び反射履歴データには、例えば図２（ｂ）～図７（ｂ）に示した内容のデータが含まれていると言える。なお、演算部５２は、反射履歴データに含まれる、被写体像のそれぞれが結像されるまでに被写体光が反射して適用された光学フィルムＦ（鏡２１）及びその適用回数（反射回数）のデータに基づいて、当該被写体像のそれぞれの向き（反転状態）を算出することができるため、被写体像位置データに被写体像の向きのデータが含まれていなくてもよい。

【0066】

演算部５２は、データベース５１に記録されているデータに基づいて、特定の波長帯域に分光した画像のデータである分光画像データを生成する。具体的に、演算部５２は、被写体像位置データに基づいて、被写体Ｔの特定部分に相当する原画像データ中の複数の画素のそれぞれの位置を特定し、当該画素のそれぞれの画素値と、反射履歴データ及び撮像装置特性データとに基づいて、分光画像データにおける被写体Ｔの特定部分に相当する画素の画素値を算出する。そして、演算部５２が、分光画像データを構成する複数の画素のそれぞれについてこの演算を実行して画素値を算出することで、分光画像データが生成される。

【0067】

ここで、演算部５２による分光画像データの生成方法の具体例について説明する。なお、以下では、説明の具体化のために、反射部２０が、図２（ａ）に示した反射面２１１ａに光学フィルタＦａ１が設けられている平行かつ対向する２枚の鏡２１ａで構成されており、撮像部１０が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３チャネルの光の強度を検出する場合について例示する。また、以下では、被写体Ｔが均一に照明されており、分光反射率が等方的であるものとする。

【0068】

まず、鏡２１ａで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における、ｋ番目のチャネルにおける画素値ｙ_ｋは、下記式（１）のように表される。なお、下記式（１）において、λは波長、ｌ（λ）は光源が照射する光のスペクトル、ｓ（λ）は被写体Ｔの分光反射率、ｃ_ｋ（λ）はｋ番目のチャネルの分光感度である。また、Λは波長の範囲であり、例えば、可視光を検出する場合は４００～７００ｎｍ程度の範囲である。

【0069】

【数1】

【0070】

一方、鏡２１ａで１回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値ｙ_ｋ，１は、下記式（２）のように表される。なお、下記式（２）において、ｆ（λ）は光学フィルタＦａ１のフィルタ特性である。また、少なくともΛの波長の範囲内において、鏡２１ａの分光反射率はフラットであるものとする。

【0071】

【数2】

【0072】

また、鏡２１ａで２回反射した（反射面２１１ａが平行かつ対向する２枚の鏡２１ａで１回ずつ反射した）被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値は、上記式（２）においてｆ（λ）を２回乗じたものになる。ここで、反射回数をｉとして、これらの関係を一般化すると、鏡２１ａでｉ回反射した被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値ｙ_ｋ，ｉは、下記式（３）のように表すことができる。なお、０≦ｉ≦Ｎであり、Ｎは鏡２１ａを用いた場合における反射の最大回数である。また、ｉ＝０の場合（鏡２１ａで反射していない被写体光が結像されて成る被写体像が撮像されている原画像データ中の画素における画素値）は、上記式（１）になる。また、例えば図３に例示したようなフィルタ特性が異なる光学フィルタが適用される場合の画素値は、下記式（３）において複数のフィルタ特性を乗じたものになる。

【0073】

【数3】

【0074】

上記式（３）において、特定の波長帯域に分光した被写体Ｔの画像のデータである分光画像データを生成するためには、被写体Ｔの分光反射率ｓ（λ）を算出すればよい。このとき、原画像データ中の画素における画素値ｙ_ｋ，ｉは原画像データから得られ、光源２２が照射する光のスペクトルｌ（λ）、光学フィルタＦａ１のフィルタ特性ｆ（λ）、撮像部１０におけるｋ番目のチャネルの分光特性ｃ_ｋ（λ）は撮像装置特性データから得られる。また、反射回数ｉは、反射履歴データから得られる。そのため、上記式（３）に基づいて、被写体Ｔの分光反射率ｓ（λ）を算出して分光画像データを生成することができる。

【0075】

以下、上記式（３）に基づいて、被写体Ｔの分光反射率ｓ（λ）を算出する方法について説明する。まず、演算の都合上、上記式（３）を離散表現に変換したものが下記式（４）である。なお、下記式（４）において、ａ_{ｋ，ｉ，λ}は、既知であるｌ_λ-ｆ^ｉ _λｃ_ｋ，λをまとめて表記したものである。また、λ_ｂとλ_ｅは、上記式（３）においてΛで表現していた波長の範囲の最小値及び最大値である。

【0076】

【数4】

【0077】

ここで、下記式（５）を用いると、上記式（４）は下記式（６）に書き換えられる。なお、下記式（５）におけるｄλは離散表現における波長の粒度であり、波長の分解能Ｎ_λは（λ_ｅ―λ_ｂ）／ｄλになる。

【0078】

【数5】

【0079】

そして、最大でＮ回反射した被写体光が結像されて成る複数の被写体像が撮像部１０で撮像される場合であって、当該複数の被写体像の同一部分（被写体Ｔの同一部分）に相当する原画像データ中の複数の画素のそれぞれにおける画素値が３つのチャネルを有している場合、下記式（７）のベクトルで表現した連立方程式が成り立つ。

【0080】

【数6】

【0081】

そして、上記式（７）において、上述の通り画素値のベクトルｙ及び係数行列Ａは既知であるため、分光反射率ｓは下記式（８）を解くことで得られる。そこで、演算部５２は、下記式（８）を解くことで、分光画像データの画素値である分光反射率ｓを算出する。なお、下記式（８）は、例えば最小二乗法で解くことができる。

【0082】

【数7】

【0083】

ところで、上記式（８）の問題を最小二乗法で解く場合における演算の安定性は、係数行列Ａの階数に依存し、階数が十分な大きさであれば安定して解が得られる。階数は、下記のアルゴリズム１に対して、係数行列Ａの特異値σ_ｉ（１≦ｉ≦ｍｉｎ（３Ｎ，Ｎ_λ））を入力して計算される。

【0084】

【表1】

【0085】

数値解析の分野では、問題の条件数は、その問題を安定して解くための重要な要素であることがよく知られており、条件数が低い問題は安定して解が得られる。上記式（８）の問題における条件数は、下記式（９）によって決まる。なお、下記式（９）において、σ_ｍａｘは係数行列Ａの特異値の最大値であり、σ_ｍｉｎは係数行列Ａの特異値の最小値である。また、ここではσ_ｍａｘをσ_１、σ_ｍｉｎをσ_{ｒａｎｋ（Ａ）}とする。

【0086】

【数8】

【0087】

そして、上述のように、光源２２が照射する光のスペクトルｌ_λ、光学フィルタＦａ１のフィルタ特性ｆ_λ、撮像部１０におけるｋ番目のチャネルの分光特性ｃ_ｋ，λが既知であるため、係数行列Ａは事前に評価することができる。したがって、多くのカラーフィルタを有している場合、階数を十分な大きさにするとともに、条件数を最低にする最適なカラーフィルタを、事前に選択することが可能である。

【0088】

また、上記式（８）の問題の解を求める計算をより安定させるために、凸最適化技術を利用して最適化すると、好ましい。まず、分光反射率は、物理的に負の値を取り得ず、１を超えることもない。さらに、分光反射率には平滑化制約を用いることができる。これらの制約を用いると、上記式（８）は下記式（１０）に書き換えることができる。なお、下記式（１０）において、αは平滑化項に関する係数である。

【0089】

【数9】

【0090】

次に、上記式（１０）は、下記式（１１）のように行列形式で表すことができる。なお、Ｄは２次差分行列である。

【0091】

【数10】

【0092】

そして、上記式（１１）の方程式における目的関数は、下記式（１２）のように二次計画法で表現することができる。

【0093】

【数11】

【0094】

上記式（１２）の第３項のｙ^Ｔｙは定数であるため、上記式（１２）は下記式（１３）に等しいことになる。

【0095】

【数12】

【0096】

上記式１３の方程式は、二次錐計画法（S. Boyd and L. Vandenberghe, editors, “Convex Optimization”,Cambridge University Press, 2004）を用いて解を求めることができる。そして、当該最適化計画を実施するために、ｐｙｔｈｏｎの最適化ライブラリｃｖｘｏｐｔ（Cvxopt：Python software for convexoptimization, http://cvxopt.org, 2016年11月12日検索）を利用することができる。

【0097】

上述の演算によって演算部５２が生成した分光画像データの一例について図面を参照して説明する。図９は、図８に示す演算部が生成する分光画像データと従来のハイパースペクトルカメラの撮像によって得られる画像データとを対比して示した図である。なお、図９（ａ）は演算部５２が生成した分光画像データを示した図であり、図９（ｂ）は従来のハイパースペクトルカメラの撮像の撮像によって得られた画像データを示した図である。なお、図９（ａ）及び図９（ｂ）の被写体は、緑色の葉である。

【0098】

図９（ａ）に示す演算部５２が生成した分光画像データも、図９（ｂ）に示すハイパースペクトルカメラの撮像によって得られた画像データも、波長が５５０ｎｍ及びその付近であるときに、葉が撮像されている画素の画素値が大きくなるという共通の結果が得られた。そして、この５５０ｎｍという波長は緑色であり、実際の被写体の色と合致する。したがって、上述した撮像装置１及び画像処理装置５０を用いることで、実際に分光画像データを生成することが可能である。

【0099】

以上のように、本発明の実施形態に係る画像処理装置５０では、１回の撮像によって得られた複数の被写体像が撮像されている原画像データに対する画像処理によって、分光画像データを生成することができる。

【0100】

なお、上述の実施形態に係る画像処理装置５０では、撮像装置特性データに、光源２２が照射する光のスペクトルｌ（λ）、光学フィルタＦａ１のフィルタ特性ｆ（λ）、撮像部１０におけるｋ番目のチャネルの分光特性ｃ_ｋ（λ）が含まれる場合について例示したが、これ以外の特性値を記録してもよい。

【0101】

具体的には、上記式（４）におけるａ_{ｋ，ｉ，λ}を算出して撮像装置特性データに記録することが考えられる。例えば、分光反射率が既知である様々な色が配置されたパネルを撮像装置１によって撮像する（即ち、キャリブレーションを行う）ことで原画像データを得れば、画素値ｙ_ｋ，ｉ及び分光反射率ｓ（λ）が既知であることからａ_{ｋ，ｉ，λ}を算出することが可能である。

【0102】

このように、キャリブレーションによってａ_{ｋ，ｉ，λ}を算出すると、例えば、撮像装置１の反射部２０が光源２２を備えていない場合など、被写体Ｔに照射される光のスペクトルｌ（λ）が算出し難い場合であっても、簡単に撮像装置特性データを得ることができる。

【産業上の利用可能性】

【0103】

本発明は、一度に複数の被写体像を撮像する撮像装置と、当該撮像装置が作成した画像のデータを処理する画像処理装置に利用可能である。

【符号の説明】

【0104】

１ ： 撮像装置
１０ ： 撮像部
１１ ： 結像素子
１２ ： 撮像素子
２０ ： 反射部
２１，２１ａ～２１ｆ ： 鏡
２１１，２１１ａ～２１１ｆ ： 反射面
３０ ： 光源
５０ ： 画像処理装置
５１ ： データベース
５２ ： 演算部
Ｔ ： 被写体
Ｆ，Ｆａ１，Ｆｂ１，Ｆｂ２，Ｆｃ１～Ｆｃ３，Ｆｄ１，Ｆｄ２，Ｆｅ１～Ｆｅ５，Ｆｆ１～Ｆｆ３ ： 光学フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】