特開 2024-158758 撮像装置、及び撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158758

(43)【公開日】2024-11-08

(54)【発明の名称】撮像装置、及び撮像方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241031BHJP

   H04N 23/55 20230101ALI20241031BHJP

   G03B 15/00 20210101ALI20241031BHJP

【ＦＩ】

H04N23/60

H04N23/55

G03B15/00 U

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023074264

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鈴木 剛

(72)【発明者】

【氏名】尾川 英明

(72)【発明者】

【氏名】松岡 賢司

(72)【発明者】

【氏名】松本 栄治

(72)【発明者】

【氏名】倉重 規夫

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA10

5C122EA12

5C122FB16

5C122FB17

5C122FC07

5C122FH09

5C122FH11

5C122FH12

5C122FH15

5C122HA79

5C122HA88

5C122HB01

5C122HB06

5C122HB09

5C122HB10

(57)【要約】

【課題】鮮明な画像を得ることができる撮像装置、及び撮像方法を提供すること。
【解決手段】本開示に係る撮像装置は、複数の波長域ごとに分光して撮像された画像データを取得する取得部と、複数の波長域ごとに前記画像データの評価値を算出する評価部と、複数の波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行する較正部と、所定の場合に該当するときに、前記較正波長域を更新する更新部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数の波長域ごとに分光して画像データが撮像されたハイパースペクトルデータを取得する取得部と、
複数の波長域ごとの画像データの評価値を算出する評価部と、
複数の波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行する較正部と、
所定の場合に該当するときに、前記較正波長域を更新する更新部と、
を備える、撮像装置。

【請求項2】

前記更新部は、前記キャリブレーション処理の後に撮像された画像データにおける前記較正波長域の評価値を示す第二評価値について、前記第一評価値と前記第二評価値との比が第一しきい値を超えた場合に、前記キャリブレーション処理を実行して前記較正波長域を更新する、
請求項１に記載の撮像装置。

【請求項3】

前記画像データに基づいて、画像認識処理を実行して検出されたオブジェクトの動きベクトルの大きさを求める画像処理部と、をさらに備え、
前記更新部は、前記オブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部に基づく動き度合いが第三しきい値より大きい場合、前記キャリブレーション処理を実行して前記較正波長域を更新する、
請求項１または２に記載の撮像装置。

【請求項4】

画面を所定の領域に分割し、分割された領域ごとに算出された波長域ごとの評価値に基づいて、前記領域ごとに前記評価値が最大となる波長域を較正波長域として選択する分割較正部と、をさらに備え、
前記取得部は、分割された領域ごとに設定された前記較正波長域によって撮像された画像データを取得し、
前記更新部は、前記オブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部に基づく動き度合いが第四しきい値より大きい場合、前記オブジェクトが含まれる領域を前記オブジェクトの動きに応じて移動させて、前記オブジェクトが含まれる領域に対して選択された波長域を、移動後の領域における較正波長域として選択する、
請求項３に記載の撮像装置。

【請求項5】

複数の波長域ごとに分光して画像データが撮像されたハイパースペクトルデータを取得するステップと、
複数の波長域ごとに画像データの評価値を算出するステップと、
撮像可能なすべての波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行するステップと、
所定の場合に該当するときに、前記較正波長域を更新するステップと、
を含む、撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、及び撮像方法に関する。

【背景技術】

【0002】

濁水中での撮影は、濁りの原因となる粒子による光の錯乱や、反射により鮮明な画像を得ることが困難となる。このような環境下では赤外線カメラを用いることが有効とされ、濁水中の撮影を目的とした赤外線カメラも商品化されている。ただし、赤外線カメラを用いればどのような濁水でも鮮明な画像が得られるわけではなかった。このように、水中に存在する物体などを認識可能な状態で撮像することが難しいという問題があった。

【0003】

例えば、下記の特許文献１には、水中粒子による反射の影響を取り除くキャリブレーション処理を容易に実行できる処理装置であって、カメラを備えるキャリブレーション装置を、キャリブレーション装置がカメラの視野に入らない第１状態から、キャリブレーション装置がカメラの視野に入る第２状態へと変位させるように制御し、キャリブレーション装置が第２状態にある時にカメラが撮像した撮像画像に基づいて、キャリブレーション処理を行う処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１２４２５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の特許文献１に記載の処理装置は、キャリブレーション処理によって水中粒子の影響を除去することができるものの、濁水中で光が透過しやすい波長が水中粒子の大きさに依存して、撮影に適した波長が一つではなく各々異なる場合に、最適な波長を選択することができなかった。

【0006】

本開示は上記課題を鑑み、鮮明な画像を得ることができる撮像装置、及び撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、複数の波長域ごとに分光して撮像された画像データを取得する取得部と、複数の波長域ごとに前記画像データの評価値を算出する評価部と、撮像可能なすべての波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行する較正部と、所定の場合に該当するときに、前記較正波長域を更新する更新部と、を備える。

【0008】

上述した課題を解決し、目的を達成するために、本開示に係る撮像方法は、複数の波長域ごとに分光して撮像された画像データを取得するステップと、複数の波長域ごとに前記画像データの評価値を算出するステップと、撮像可能なすべての波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行するステップと、所定の場合に該当するときに、前記較正波長域を更新するステップと、を含む。

【発明の効果】

【0009】

本開示によれば、鮮明な画像を得ることができる撮像装置、及び撮像方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本開示に係る撮像装置の使用場面の一例を模式的に示す図である。

【図2】図２は、本開示に係る撮像装置の第一実施形態の構成例を示す図である。

【図3】図３は、本開示に係る撮像装置の評価値記憶部に記憶される情報の一例を示す図である。

【図4】図４は、本開示に係る撮像装置の撮像部の構成例を示す図である。

【図5】図５は、本開示に係る撮像方法の第一態様のフローを示すフローチャートである。

【図6】図６は、本開示に係るキャリブレーション処理のフローを示すフローチャートである。

【図7】図７は、本開示に係る撮像方法の第二態様のフローを示すフローチャートである。

【図8】図８は、本開示に係る撮像方法の第二態様の処理を説明する図である。

【図9】図９は、本開示に係る撮像装置の第二実施形態の構成例を示す図である。

【図10】図１０は、本開示に係る撮像装置の更新部の処理を説明する図である。

【発明を実施するための形態】

【0011】

以下に、本開示の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本開示が限定されるものではない。

【0012】

（撮像装置の概要）
まず、本開示に係る撮像装置１００の概要について、図１を用いて説明する。図１は、本開示に係る撮像装置の使用場面の一例を模式的に示す図である。図１に示すように、本開示に係る撮像装置１００は、例えば、ユーザＵが水中ＵＷに入って、水中ＵＷの様子を撮像する際に用いることができる。図１に示すように、ユーザＵは、水中ＵＷの水底ＢＷに所在する岩Ｒを撮像するために撮像装置１００を用いている。このような場合、水中ＵＷに濁りの原因となる粒子が存在すると、粒子により光の散乱や、反射などが発生し、鮮明な画像を得ることが困難であった。

【0013】

なお、光の錯乱、反射に影響を与える粒子の大きさが、撮影に最適な波長の長さに影響を与えることが知られている。具体的には、濁水中で光が透過しやすい撮影に適した波長は、粒子の大きさに依存することが知られている。つまり、濁水といっても撮影に適した波長は一つではなく各々異なる。そのため、撮影に適した波長を設定して、画像を撮像することが求められていた。

【0014】

（撮像装置の構成）
（第一実施形態）
次に、本開示に係る撮像装置１００の第一実施形態の構成について、図２を用いて説明する。図２は、本開示に係る撮像装置の第一実施形態の構成例を示す図である。図２に示すように、本開示に係る撮像装置１００は、コネクタ部Ｃと、通信部１１０と、記憶部１２０と、制御部１３０と、撮像部１４０と、を備える。

【0015】

コネクタ部Ｃは、外部の装置を撮像装置１００に接続するための接続部（端子）である。コネクタ部Ｃは、ビデオ信号ラインとコントロール信号ラインを含む。コントロール信号ラインは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続端子などであってよいし、さらに大きな伝送速度が必要な場合はそれに応じた接続端子を選択すればよい。ビデオ信号ラインは、例えばＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）であってよい。

【0016】

通信部１１０は、例えば、撮像装置１００が画像処理装置などの外部の装置と通信を行う通信モジュールである。通信部１１０は、無線通信、又は、有線通信によって外部の装置とデータを通信する。無線通信の場合は、通信アンテナ、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路、あるいは、その他の通信処理用回路を備えてよい。有線通信の場合は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子、伝送回路、その他の通信処理用の回路を備えてよい。

【0017】

記憶部１２０は、各種の情報を記憶する記憶装置である。記憶部１２０は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク等によって実現されてよい。

【0018】

図２に示すように、記憶部１２０は、評価値記憶部１２１と、フレームバッファ部１２２と、を備える。以下、これらが記憶する情報の一例について説明する。

【0019】

評価値記憶部１２１は、画像データの評価値に関係する情報を記憶する。図３は、本開示に係る撮像装置の評価値記憶部に記憶される情報の一例を示す図である。

【0020】

図３に示す例において、評価値記憶部１２１は、「フレーム番号」、「波長域」、「評価値」という項目に係る情報を紐付けて記憶する。

【0021】

「フレーム番号」は、ハイパースペクトルデータのフレーム番号を示す。ここで、ハイパースペクトルデータとは、複数の波長域ごとに分光して撮像された画像データを示し、詳細は後述する。例えば、フレームレートが３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）である場合であれば、１秒間の間に撮像された３０枚の画像のうちの最初の一枚目から数えた番号を示す。「波長域」は、ハイパースペクトルデータを構成する分光されて撮像された画像の波長域を示し、例えば、４００ｎｍから１０００ｎｍまで撮像可能であり、波長分解能が６ｎｍの場合であれば、４００ｎｍから４０６ｎｍなどである。「評価値」は、「フレーム番号」が示す撮像データの「波長域」が示す波長域の画像の評価値（コントラスト）を示す。なお、評価値の計算方法については、後述して説明する。

【0022】

すなわち、図３においては、フレーム番号「Ｆ１」における撮像データの波長域「λ１－１」の画像について算出された評価値「Ｖ１－１」が記憶されている例が示されている。

【0023】

なお、評価値記憶部１２１は、「フレーム番号」、「波長域」、「評価値」という項目に係る情報に限定されることなく、その他の任意の評価値に関係する情報が記憶されてよい。

【0024】

フレームバッファ部１２２は、撮像部１４０が生成した画像データが一次的に保存される記憶領域である。フレームバッファ部１２２は、主記憶装置としてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の一部に専用の領域を確保してもよいし、主記憶装置とは別の専用の記憶装置を使用してもよい。なお、制御部１３０の取得部１３１は、撮像部１４０に撮像させながら、フレームバッファ部１２２に画像データを順次保存させる。

【0025】

制御部１３０は、撮像装置１００を司り、制御するコントローラである。制御部１３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、記憶部１２０に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）や、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。

【0026】

図２に示すように、制御部１３０は、取得部１３１と、評価部１３２と、較正部１３３と、更新部１３４と、を備える。制御部１３０は、記憶部１２０からプログラム（ソフトウェア）を読み出して実行することで、これらの機能を実現して、これらの処理を実行する。なお、制御部１３０は、電子回路によって実現されてもよい。また、制御部１３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、複数のＣＰＵで、これらの処理を並列に実行してもよい。以下、これらの構成について順に説明する。

【0027】

取得部１３１は、撮像装置１００の内部、又は外部から各種の情報を取得する。例えば、取得部１３１は、複数の波長域ごとに分光して画像データが撮像されたハイパースペクトルデータを取得する。取得部１３１は、後述して説明する撮像部１４０によって撮像されたハイパースペクトルデータを取得する。

【0028】

評価部１３２は、複数の波長域ごとに画像データの評価値を算出する。すなわち、評価部１３２は、波長域ごとに画像データの評価値を順次算出して、算出された評価値を波長域に対応付けて評価値記憶部１２１に記憶する。具体的には、評価部１３２は、評価値として以下の式（１）により算出されるコントラストを算出する。画面内の画素の光強度の最大値をＩｍａｘ、光強度の最小値をＩｍｉｎとすると、コントラストＣＴＲは以下の式（１）により表される。

【0029】

【数1】

【0030】

較正部１３３は、複数の波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行する。このような較正部１３３の処理について具体的に説明する。まず、較正部１３３は、１フレームのハイパースペクトルデータを取得する。この時、内部カウンタｉを０にセットする。ｉは分割された波長域の番号を表し、例えば４００ｎｍから１，０００ｎｍまで撮影可能で、波長分解能が６ｎｍの場合、分割数は１００となる。ｉは、０から９９の値をとり、ｉ＝０の時に使用する波長域は４００ｎｍから４０６ｎｍとなる。ｉ＝９９の時は、９９４ｎｍから１，０００ｎｍの波長域で撮影された画像データとなる。ｉをインクリメントしながら、全ての帯域の画像の評価値を順次比較する。そして、較正部１３３は、評価値の最大値である第一評価値と、その時の波長域を較正波長域とする。較正部１３３は、複数の波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行してもよい。

【0031】

更新部１３４は、所定の場合に該当するときに、較正波長域を更新する。ここで、所定の場合とは、次に述べるような場合のことを指している。以下に、更新部１３４が較正波長域を更新する所定の場合について具体的に説明する。

【0032】

更新部１３４は、キャリブレーション処理の後に撮像された画像データにおける較正波長域の評価値を示す第二評価値について、第一評価値と第二評価値との比が第一しきい値を超えた場合に、キャリブレーション処理を実行して較正波長域を更新する。このような更新部１３４の処理について具体的に説明する。まず、較正部１３３によって、キャリブレーション処理が実行され、較正波長域λｃと、その評価値Ｖｃが得られているとする。更新部１３４は、１フレームのハイパースペクトルデータを取得し、その中から較正波長域λｃの画像データを抽出する。そして、更新部１３４は、当該の画像データの評価値Ｖｘを算出し、キャリブレーション処理によって得られた評価値Ｖｃと比較する。そして、更新部１３４は、差分（Ｖｃ－Ｖｘ）、又は商（Ｖｃ／Ｖｘ）が予め設定された第一しきい値を超えたら、環境の変化により現状の波長が最適でなくなったと判断し、再度キャリブレーション処理を行う。なお、差を用いるか商を用いるかは評価に使用するパラメータにより決まり、どちらか一方あるいは両方を用いることもできる。使用するパラメータには１フレームのコントラスト積算値や高域成分の積算値等がある。また、前述した第一しきい値は、任意に設定されてよい。例えば、第一しきい値を設定した後に、取得された画像データを目視にて確認して鮮明さを判定する試行錯誤によって設定してよい。

【0033】

また、更新部１３４は、キャリブレーション処理の後に撮像された画像データにおける較正波長域の評価値を示す第二評価値について、較正波長域に隣接する波長域の評価値との差が所定のしきい値を超えた場合に、第二評価値を超えた隣接する波長域を較正波長域として設定してもよい。このような更新部１３４の処理について具体的に説明する。まず、前述した場合と同様に、較正部１３３によって、キャリブレーション処理が実行され、較正波長域λｃと、その評価値Ｖｃが得られているとする。更新部１３４は、１フレームのハイパースペクトルデータを取得し、その中から較正波長域λｃの画像データを抽出する。そして、この画像データの評価値と、隣接する波長域(λｘｌ、λｘｒ)の評価値（Ｖｘｌ、Ｖｘｒ）を取得する。ここで、λｘｌは較正波長域λｘに隣接するλｘより小さな波長域であり、λｘｒは較正波長域λｘに隣接するλｘより大きな波長域である。そして、更新部１３４は、Ｖｘと、Ｖｘｌと、Ｖｘｒを比較して、そのうちのいずれが最大値であるかを判定する。Ｖｘが最大値である場合、現在の波長が最適と判断し次フレームの撮影を開始する。Ｖｘｌが最大値の場合、Ｖｘｌ－Ｖｘの値が所定のしきい値を超えた場合に、Ｖｘｌが最適な波長と判断し、λｘｌを新たに較正波長域として選択する。所定のしきい値を超えない場合は次フレームもλｘを、較正波長域として選択する。Ｖｘｒが最大値の場合、Ｖｘｒ－Ｖｘの最大値が所定のしきい値を超えた場合に、λｘｒが最適な波長と判断し、λｘｒを新たに較正波長域として選択する。所定のしきい値を超えない場合は、次フレームもλｘを採用する。なお、上記は評価値の差分にて評価を行ったが、評価値の比にて判定してもよい。また、前述した所定のしきい値は、任意に設定されてよい。例えば、所定のしきい値を設定した後に、取得された画像データを目視にて確認して鮮明さを判定する試行錯誤によって設定してよい。なお、λｘｌ、及びλｘｒは、較正波長域λｘに隣接する波長域でなくても良く、λｘから所定の波長域だけ離れた波長域であってもよい。

【0034】

前述したように、更新部１３４は、所定の場合に該当するときに、較正波長域を更新する。更新部１３４は、所定の場合に該当するか否かを判断し、較正部１３３にキャリブレーション処理をさせて、較正波長域を更新してもよい。

【0035】

撮像部１４０は、複数の波長域ごとに分光して画像データが撮像されたハイパースペクトルデータを生成する。図４は、本開示に係る撮像装置の撮像部の構成例を示す図である。図４に示すように、撮像部１４０は、対物レンズ１４１と、光学系１４２と、撮像素子１４３と、画像生成部１４４と、を備える。以下、これらの構成について、順を追って説明する。

【0036】

対物レンズ１４１は、被写体からの光が入射され、入射された光を光学系１４２に照射する。対物レンズ１４１は、フォーカス駆動部によって駆動される。フォーカス駆動部は、例えばアクチュエータであり、対物レンズ１４１を駆動させる。フォーカス駆動部は、光学系１４２によって分光された光が撮像素子１４３の面上で合焦しているかを判断し、撮像素子１４３の面上で合焦するように対物レンズ１４１を駆動させる。

【0037】

光学系１４２は、例えば、スリット部、回折格子、及びレンズを有する。スリット部は、被写体からの光をＸ軸方向（第一の方向）に延びる線状の光として透過して、回折格子に入射させる。スリット部は、微細な幅を有する開口によって、対物レンズ１４１を通過した光を絞って、回折格子に絞られた光を照射する。なお、スリット部は、強誘電性液晶によって実現される電子スリットであってよい。これにより、スリット位置の高速な切り替えによる被写体の高速なスキャンが可能となる。

【0038】

回折格子は、スリットを透過した光を複数の波長領域にＹ方向に分光してレンズに入射させる。回折格子は、例えば多数の溝が平行に等間隔で形成された基板であり、スリット部を通過したＸ軸方向に平行なラインの光を複数の波長領域に分光する。回折格子には、例えば、透過型回折格子を用いることができる。なお、回折格子には、機械刻線回折格子やホログラフィック回折格子などの反射型回折格子を用いてもよい。

【0039】

撮像素子１４３は、光学系１４２を通して入射した光を電気信号である画像信号に変換する素子である。撮像素子１４３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどであってよい。

【0040】

画像生成部１４４は、撮像素子１４３が生成した画像信号から、１フレーム毎のハイパースペクトルデータ（ＨＳＤ：ＨｙｐｅｒＳｐｅｃｔｒａｌ Ｄａｔａ）を生成する。ハイパースペクトルデータは、例えば１つのフレームにおけるＸ方向、及びＹ方向の各画素に対して光の強度が対応付けられた画像が、分光された波長帯域ごとに層を成したデータである。例えば、４００ｎｍから１，０００ｎｍまで撮影可能で、波長分解能が６ｎｍの場合、１００枚の画像が層を成して連なったデータとなる。画像生成部１４４は、ソフトウェアとしてプログラムによって実現されてもよいし、ハードウェアとしてデジタル回路によって実現されてもよい。また、ハードウェアとしてＦＰＧＡによって実現されてもよい。ハイパースペクトルデータは、撮影可能なすべての波長のデータを含んでもよいし、複数の波長のデータを含んでもよいし、１つの波長のデータを含んでもよい。

【0041】

以上説明した撮像装置１００の第一実施形態によれば、波長域ごとに評価値を算出して、評価値が最大値となる波長域を較正波長域として選択し、撮像することができる。このことから、粒子による散乱などの影響がある濁水中などの環境下であっても、最適な波長で撮影することで、鮮明な画像を得ることができる。そのため、ユーザは最適な波長を意識することなく自動的に最適な波長で撮影することができる。したがって、鮮明な画像を得ることができる撮像装置１００を提供することができる。

【0042】

（撮像方法について）
次に、本開示に係る撮像方法について、図５から図８を用いて説明する。図５は、本開示に係る撮像方法の第一態様のフローを示すフローチャートである。図５に示すように、撮像方法の第一態様は、例えば、ステップＳ１０１からステップＳ１０６によって構成される。以下、本開示に係る撮像方法の第一態様について、図５に示すフローに沿って説明する。

【0043】

まず、撮像装置１００は、キャリブレーション処理を実行する（ステップＳ１０１）。なお、ここにおけるキャリブレーション処理は、前述した較正部１３３が実行するキャリブレーション処理のことを指している。キャリブレーション処理については後述して、さらに詳細に説明する。次に、撮像装置１００は、キャリブレーション処理によって選択された使用する波長域（λc）と評価値（Ｖｃ）を記憶する（ステップＳ１０２）。次に、撮像装置１００は、１フレームのハイパースペクトルデータを取り込む（ステップＳ１０３）。次に、撮像装置１００は、ハイパースペクトルデータから波長域（λc）で構成された画像データを抽出する（ステップＳ１０４）。次に、撮像装置１００は、波長域（λｃ）の画像データの評価値（Ｖｘ）を算出する（ステップＳ１０５）。次に、撮像装置１００は、ＶｃとＶｘの差、又はＶｃ／Ｖｘの値が第一しきい値を超えたか否かを判定する（ステップＳ１０６）。ＶｃとＶｘの差、又はＶｃ／Ｖｘの値が第一しきい値を超えた場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１００は、ステップＳ１０１に戻って以降の処理を実行する。

【0044】

なお、ＶｃとＶｘの差、又はＶｃ／Ｖｘの値が第一しきい値を超えていない場合（ステップＳ１０６：Ｎｏ）、撮像装置１００は、ステップＳ１０３に戻って以降の処理を実行する。

【0045】

また、ステップＳ１０３においては、ハイパースペクトルデータを取り込まずに、λcで撮影された画像データを取り込んで、ステップＳ１０４をスキップして、ステップＳ１０５で評価値を算出してもよい。

【0046】

ステップＳ１０４からＳ１０６の処理は、フレームごとに処理してもよいし、数フレームに１回処理してもよいし、所定の時間単位で１回処理してもよい。ステップＳ１０５では、λc以外の波長での評価値を算出してもよいし、複数の波長での評価値を算出してもよい。

【0047】

これによれば、キャリブレーション処理を実行した後の較正波長域における画像の評価値と、キャリブレーション処理の時の較正波長域における画像の評価値の差、又は商の値が第一しきい値を超えた場合に、キャリブレーション処理を再実行して、較正波長域を更新することができる。そのため、鮮明な画像、すなわち、コントラストが高い画像を取得することができる。

【0048】

次に、本開示に係るキャリブレーション処理について、図６を用いて説明する。図６は、本開示に係るキャリブレーション処理のフローを示すフローチャートである。図６に示すように、キャリブレーション処理は、例えば、ステップＳ２０１からステップＳ２０８によって構成される。以下、本開示に係るキャリブレーション処理について、図６に示すフローに沿って説明する。

【0049】

まず、撮像装置１００は、１フレームのハイパースペクトルデータを取り込む（ステップＳ２０１）。次に、撮像装置１００は、内部カウンタｉ＝０にセットする（ステップＳ２０２）。次に、撮像装置１００は、ｉが波長分割数未満であるか否かを判定する（ステップＳ２０３）。ｉが波長分割数未満である場合（ステップＳ２０３：Ｙｅｓ）、撮像装置１００は、ｉ番目の波長域λｉで構成された画像から評価値Ｖｉを算出する（ステップＳ２０４）。次に、撮像装置１００は、ＶｉがＶｔよりも大きいか否かを判定する（ステップＳ２０５）。ここで、Ｖｔはｉ番目までの波長域の画像の評価値の最大値を指しており、ｉ＝０の場合は０の値に設定される。ＶｉがＶｔよりも大きい場合（ステップＳ２０５：Ｙｅｓ）、撮像装置１００は、Ｖｔ＝Ｖｉ、λｔ＝λｉに設定する（ステップＳ２０６）。ここで、Ｖｔはｉ番目までの波長域における画像の評価値の最大値となる波長域を指している。次に、撮像装置１００は、内部カウンタｉ＝ｉ＋１にセットする（ステップＳ２０７）。次に、撮像装置１００は、ステップＳ２０３に戻って以降の処理を実行する。

【0050】

なお、ステップＳ２０３において、ｉが波長分割数未満ではない場合（ステップＳ２０３：Ｎｏ）、撮像装置１００は、Ｖｃ＝Ｖt、λｃ＝λtに設定する（ステップＳ２０８）。ここで、Ｖｃは、キャリブレーション処理によって得られた評価値の最大値を指しており、λｃは、キャリブレーション処理によって得られた評価値が最大となる波長域を指している。

【0051】

これによれば、分光された複数の波長域のうち画像の評価値が最大値となる波長域を較正波長域として設定するキャリブレーション処理を実行することができる。

【0052】

次に、本開示に係る撮像方法の第二態様について、図７を用いて説明する。図７は、本開示に係る撮像方法の第二態様のフローを示すフローチャートである。図７に示すように、撮像方法の第二態様は、例えば、ステップＳ３０１からステップＳ３１０によって構成される。以下、本開示に係る撮像方法の第二態様について、図７に示すフローに沿って説明する。

【0053】

まず、撮像装置１００は、キャリブレーション処理を実行する（ステップＳ３０１）。次に、撮像装置１００は、使用する波長域（λｘ）にλｃをセットする（ステップＳ３０２）。次に、撮像装置１００は、１フレームのハイパースペクトルデータを取り込む（ステップＳ３０３）。次に、撮像装置１００は、波長域（λｘ）で構成された画像データを抽出する（ステップＳ３０４）。次に、撮像装置１００は、波長域（λｘ）と隣接する波長域(λｘｌ,λｘｒ)の画像データの評価値（Ｖｘ,Ｖｘｌ,Ｖｘｒ）を算出する（ステップＳ３０５）。次に、撮像装置１００は、評価値（Ｖｘ,Ｖｘｌ,Ｖｘｒ）のうちのどれが最大であるかを判定する（ステップＳ３０６）。ステップＳ３０６において、Ｖｘが最大である場合、撮像装置１００は、ステップＳ３０３に戻って以降の処理を実行する。

【0054】

ステップＳ３０６において、Ｖｘｌが最大である場合、撮像装置１００は、Ｖｘｌ、Ｖｘの差が所定のしきい値を超えたか否かを判定する（ステップＳ３０７）。Ｖｘｌ、Ｖｘの差が所定のしきい値を超えた場合（ステップＳ３０７：Ｙｅｓ）、撮像装置１００は、λｘにλｘｌをセットする（ステップＳ３０８）。そして、撮像装置１００は、ステップＳ３０３に戻って以降の処理を実行する。なお、ステップＳ３０７において、Ｖｘｌ、Ｖｘの差が所定のしきい値を超えていない場合も（ステップＳ３０７：Ｎｏ）、撮像装置１００は、ステップＳ３０３に戻って以降の処理を実行する。なお、この場合におけるしきい値は、任意に設定してよい。

【0055】

ステップＳ３０６において、Ｖｘｒが最大である場合、撮像装置１００は、Ｖｘｒ、Ｖｘの差が所定のしきい値を超えたか否かを判定する（ステップＳ３０９）。Ｖｘｒ、Ｖｘの差が所定のしきい値を超えた場合（ステップＳ３０９：Ｙｅｓ）、撮像装置１００は、λｘにλｘｒをセットする（ステップＳ３１０）。そして、撮像装置１００は、ステップＳ３０３に戻って以降の処理を実行する。なお、ステップＳ３０９において、Ｖｘｒ、Ｖｘの差が所定のしきい値を超えていない場合も（ステップＳ３０９：Ｎｏ）、撮像装置１００は、ステップＳ３０３に戻って以降の処理を実行する。なお、この場合におけるしきい値は、任意に設定してよい。

【0056】

ここで、本開示に係る撮像方法の第二態様の処理について、図８を用いて説明する。図８は、本開示に係る撮像方法の第二態様の処理を説明する図である。図８に示すように、キャリブレーション処理によって設定された較正波長域の評価値Ｖｘが最大値となる場合であれば、較正波長域を変更しないで、次のフレームのハイパースペクトルデータを取得する。一方、較正波長域に隣接する波長域λｘｌにおける評価値Ｖｘｌ、又は波長域λｘｒにおける評価値Ｖｘｒと、較正波長域λｘにおける評価値Ｖｘの差が所定のしきい値を超えた場合は、較正波長域をそれぞれλｘｌ、λｘｒに設定し直して、次のフレームのハイパースペクトルデータを取得する。

【0057】

これによれば、１フレームごとにキャリブレーション処理を実行して、全ての波長域における評価値を算出する必要が無くなることから、撮像処理を迅速に実行することができる。そのため、鮮明な画像を得ることができる撮像方法を提供することができる。

【0058】

（撮像装置の構成）
（第二実施形態）
次に、本開示に係る撮像装置１００の第二実施形態の構成について、図９を用いて説明する。図９は、本開示に係る撮像装置の第二実施形態の構成例を示す図である。図９に示すように、本開示に係る撮像装置１００の第二実施形態は、コネクタ部Ｃと、通信部１１０と、記憶部１２０と、制御部１３０と、撮像部１４０と、慣性センサ部１５０と、を備える。本開示に係る撮像装置１００の第二実施形態は、撮像装置１００の第一実施形態に対して、取得部１３１と、更新部１３４の処理が異なり、画像処理部１３５と、分割較正部１３６と、慣性センサ部１５０と、が加えられた以外は、撮像装置１００の第一実施形態の構成と同じである。そのため、本開示に係る撮像装置１００の第二実施形態の構成のうち、撮像装置１００の第一実施形態の構成と異なる構成について説明する。

【0059】

取得部１３１は、分割された領域ごとに設定された較正波長域によって撮像された画像データを取得する。例えば、画面を分割された領域ごとに評価値を算出して、評価値が最大となる波長域が異なる場合は、評価値が最大となる波長域を較正波長域として設定して撮像された画像データを撮像部１４０から取得する。この場合の画面の分割は、任意の方法によって分割されてよいが、例えば、画面を上下に三分割してよい。

【0060】

更新部１３４は、撮影されたオブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部１５０に基づく動き度合いが第三しきい値より大きい場合、キャリブレーション処理を実行して較正波長域を更新する。すなわち、更新部１３４は、後述して説明する画像処理部１３５によって検出されたオブジェクトの動きベクトルの大きさが第二しきい値より大きい、または後述して説明する慣性センサ部１５０に基づく動き度合いが第三しきい値より大きい場合に、キャリブレーション処理の後に撮像された画像データに基づいて、キャリブレーション処理を実行して較正波長域を更新する。なお、前述した第三しきい値は、任意に設定されてよい。例えば、第三しきい値を設定した後に、取得された画像データを目視にて確認して鮮明さを判定する試行錯誤によって設定してよい。これにより、オブジェクトの動きが大きい、または撮像装置１００の動きが大きい場合に、適切な波長域を較正波長域として設定することができる。

【0061】

更新部１３４は、撮影されたオブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部１５０に基づく動き度合いが第三しきい値より大きいか否かを判断し、較正部１３３にキャリブレーション処理をさせて、較正波長域を更新してもよい。

【0062】

あるいは、更新部１３４は、撮影されたオブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部１５０に基づく動き度合いが第四しきい値より大きい場合、オブジェクトが含まれる領域をオブジェクトの動きに応じて移動させて、オブジェクトが含まれる領域に対して選択された波長域を、移動後の領域における較正波長域として選択する。すなわち、更新部１３４は、後述して説明する画像処理部１３５によって検出されたオブジェクトの動きベクトルの大きさが第二しきい値より大きい、または後述して説明する慣性センサ部１５０に基づく動き度合いが第四しきい値より大きい場合に、オブジェクトが含まれる領域をオブジェクトの動きに応じて移動させて、オブジェクトが含まれる領域に対して選択された波長域を、移動後の領域における較正波長域として選択する。なお、前述した第四しきい値は、任意に設定されてよい。例えば、第四しきい値を設定した後に、取得された画像データを目視にて確認して鮮明さを判定する試行錯誤によって設定してよい。

【0063】

このような更新部１３４の処理について、図１０を用いて説明する。図１０は、本開示に係る撮像装置の更新部の処理を説明する図である。図１０に示すように、フレーム番号Ｆ１の画像データＩＭＧ１は、較正波長域λ１の領域Ｄ１と、較正波長域λ２の領域Ｄ２と、較正波長域λ３の領域Ｄ３と、に分割されている。そして、画像データＩＭＧ１の領域Ｄ２には、オブジェクト（例えば、リンゴ）が検出されている。これに対して、撮像装置の移動にともなって、フレーム番号Ｆ２の画像データＩＭＧ２ではリンゴが下方に移動したとする。このような場合、更新部１３４は、リンゴの移動に対応して、各領域の較正波長域の領域を、図１０に示すように、下方に移動させる。つまり、リンゴが含まれる領域Ｄ２に対して選択された較正波長域λ２を、移動後の領域Ｄ２における較正波長域として選択する。

【0064】

画像処理部１３５は、画像データに基づいて、画像認識処理を実行して検出されたオブジェクトの動きベクトルの大きさを求める。例えば、画像処理部１３５は、画像データの画素を、どの物体クラスに属するかにより分類する手法であるセマンティック・セグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）などを用いることにより、オブジェクトを検出して、検出されたオブジェクトを分類する。そして、画像処理部１３５は、検出されたオブジェクトのフレーム間の移動量から動きベクトルの大きさを求める。動きベクトルの大きさを求める方法には、例えば、オプティカルフロー（Ｏｐｔｉｃａｌ Ｆｌｏｗ）などを用いてよい。オプティカルフローは、勾配法やブロックマッチング法などによって動きベクトルを推定する。

【0065】

分割較正部１３６は、画面を所定の領域に分割し、分割された領域ごとに算出された波長域ごとの評価値に基づいて、領域ごとに評価値が最大となる波長域を較正波長域として選択する。例えば、分割較正部１３６は、画面を上下の三領域に分割する。これは、例えば、撮像装置１００を海中で用いて撮像した場合に、下方の領域が海底に対応し、中央の領域が海水に対応し、上方の領域が海上に対応する。そして、分割較正部１３６は、分割された領域ごとに評価部１３２によって算出された評価値に基づいて、領域ごとに評価値が最大となる波長域を較正波長域として選択する。すなわち、前述の画面を上下の三領域に分割する例であれば、上方の領域と、中央の領域と、下方の領域と、に対して算出された評価値に基づいて、評価値が最大値となる波長域を較正波長域として選択する。

【0066】

慣性センサ部１５０は、撮像装置１００の動き度合いの情報を計測する。慣性センサ部１５０は、例えば、三軸ジャイロセンサと、三軸加速度センサと、を組み合わせたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）であってよい。ジャイロセンサは、可動電極に一方向に振動する一次振動を発生させておき、可動電極に回転が加わると振動方向と９０°の方向にコリオリの力が働くことにより二次振動が発生し、静電容量の変化が生じるため、これを検出する静電容量型ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ジャイロセンサにより実現されてよい。加速度センサは、例えば、ＭＥＭＳにより可動電極と固定電極を作り、可動電力が動くことによる静電容量の変化と加速度の関係を用いて加速度を計測する静電容量式の加速度センサであってよい。

【0067】

慣性センサ部１５０は、三軸ジャイロセンサと三軸加速度センサが計測した三軸の角速度、及び三軸の加速度に基づいて、動き度合いを算出する。なお、動き度合いは、動きの大きさを示すものであってよく、例えば、三軸の加速度の二乗の合計値の平方根と、三軸の角速度の二乗の合計値の平方根を足し合わせたものであってよい。

【0068】

以上説明した撮像装置１００の第二実施形態によれば、オブジェクトを検出して、オブジェクトの動きベクトルや動き度合いに応じて、較正波長域を更新することや、画面を分割して、分割された領域ごとに較正波長域を設定することができる。そのため、撮像する環境の変化に応じて、適切な波長域を較正波長域として設定することができる。したがって、鮮明な画像を得ることができる撮像装置１００を提供することができる。

【0069】

（構成と効果）
本開示に係る撮像装置１００は、複数の波長域ごとに分光して画像データが撮像されたハイパースペクトルデータを取得する取得部１３１と、複数の波長域ごとに画像データの評価値を算出する評価部１３２と、複数の波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行する較正部１３３と、所定の場合に該当するときに、較正波長域を更新する更新部１３４と、を備える。

【0070】

この構成によれば、波長域ごとに評価値を算出して、評価値が最大値となる波長域を較正波長域として選択し、撮像することができる。このことから、粒子による散乱などの影響がある濁水中などの環境下であっても、最適な波長で撮影することで、鮮明な画像を得ることができる。そのため、ユーザは最適な波長の長さを意識することなく自動的に最適な波長で撮影することができる。したがって、鮮明な画像を得ることができる撮像装置１００を提供することができる。

【0071】

本開示に係る撮像装置１００の更新部１３４は、キャリブレーション処理の後に撮像された画像データにおける較正波長域の評価値を示す第二評価値について、第一評価値と第二評価値との比が第一しきい値を超えた場合に、キャリブレーション処理を実行して較正波長域を更新する。

【0072】

この構成によれば、キャリブレーション処理の後に撮像された画像データの較正波長域の第二評価値と、第一評価値との比が第一しきい値を超えた場合に、キャリブレーション処理を再実行することで、較正波長域を更新することができる。そのため、環境変化によりキャリブレーション処理の後の画像データの較正波長域の第二評価値がキャリブレーション処理のときの第一評価値から乖離した場合に、キャリブレーション処理を再実行することにより較正波長域を更新することができる。したがって、鮮明な画像を得ることができる撮像装置１００を提供することができる。

【0073】

本開示に係る撮像装置１００は、画像データに基づいて、画像認識処理を実行して検出されたオブジェクトの動きベクトルの大きさを求める画像処理部１３５と、をさらに備え、更新部１３４は、オブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部１５０に基づく動き度合いが第三しきい値より大きい場合、キャリブレーション処理を実行して較正波長域を更新する。

【0074】

この構成によれば、画像データの動きベクトルの大きさが第二しきい値より大きい、または動き度合いが第三しきい値より大きい場合に、キャリブレーション処理を再実行して、較正波長域を更新することができる。そのため、水中においてオブジェクトの動きが大きい、または撮像装置１００の動きが大きいという透明度の悪化が懸念される場合に、キャリブレーション処理を再実行して、最適な波長域による撮像を行うことが可能となる。したがって、鮮明な画像を得ることができる撮像装置１００を提供することができる。

【0075】

本開示に係る撮像装置１００は、画面を所定の領域に分割し、分割された領域ごとに算出された波長域ごとの評価値に基づいて、領域ごとに評価値が最大となる波長域を較正波長域として選択する分割較正部１３６と、をさらに備え、取得部１３１は、分割された領域ごとに設定された較正波長域によって撮像された画像データを取得し、更新部１３４は、オブジェクトの動きベクトルの大きさが第二しきい値より大きい、または慣性センサ部１５０に基づく動き度合いが第四しきい値より大きい場合、オブジェクトが含まれる領域をオブジェクトの動きに応じて移動させて、オブジェクトが含まれる領域に対して選択された波長域を、移動後の領域における較正波長域として選択する。

【0076】

この構成によれば、画面を分割して、分割された領域ごとに較正波長域を設定して、分割された領域のオブジェクトの動きが大きい、または慣性センサ部１５０に基づく動き度合いが大きい場合に、オブジェクトが含まれる領域をオブジェクトの動きに応じて移動させて、当該の領域に設定された波長域を、較正波長域として選択することができる。そのため、オブジェクトの動きが大きい、または撮像装置１００の動きが大きい場合に、オブジェクトの動きに応じて、適切な波長域を較正波長域として設定することができる。したがって、鮮明な画像を得ることができる撮像装置１００を提供することができる。

【0077】

本開示に係る撮像方法は、複数の波長域ごとに分光して画像データが撮像されたハイパースペクトルデータを取得するステップと、複数の波長域ごとに画像データの評価値を算出するステップと、撮像可能なすべての波長帯域における評価値の最大値を示す第一評価値の波長域を較正波長域として選択するキャリブレーション処理を実行するステップと、所定の場合に該当するときに、較正波長域を更新するステップと、を含む。

【0078】

この構成によれば、波長域ごとに評価値を算出して、評価値が最大値となる波長域を較正波長域として選択し、撮像することができる。このことから、粒子による散乱などの影響がある濁水中などの環境下であっても、最適な波長で撮影することで、鮮明な画像を得ることができる。そのため、ユーザは最適な波長の長さを意識することなく自動的に最適な波長で撮影することができる。したがって、鮮明な画像を得ることができる撮像方法を提供することができる。

【0079】

以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0080】

１００ 撮像装置
１１０ 通信部
１２０ 記憶部
１２１ 評価値記憶部
１２２ フレームバッファ部
１３０ 制御部
１３１ 取得部
１３２ 評価部
１３３ 較正部
１３４ 更新部
１３５ 画像処理部
１３６ 分割較正部
１４０ 撮像部
１４１ 対物レンズ
１４２ 光学系
１４３ 撮像素子
１４４ 画像生成部
１５０ 慣性センサ部
Ｃ コネクタ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】