▶ テクノロギアン トゥトキムスケスクス ヴェーテーテー オイの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-02
(45)【発行日】2022-02-10
(54)【発明の名称】ハイパースペクトル撮像構成
(51)【国際特許分類】
H04N 9/07 20060101AFI20220203BHJP
G01J 3/26 20060101ALI20220203BHJP
G01J 3/51 20060101ALI20220203BHJP
G02B 26/00 20060101ALI20220203BHJP
H04N 5/30 20060101ALI20220203BHJP
【ＦＩ】
H04N9/07 D
G01J3/26
G01J3/51
G02B26/00
H04N5/30
【請求項の数】
8
(21)【出願番号】P 2018548218
(86)(22)【出願日】2017-03-08
(65)【公表番号】
(43)【公表日】2019-04-25
(86)【国際出願番号】 FI2017050155
(87)【国際公開番号】W WO2017158231
(87)【国際公開日】2017-09-21
【審査請求日】2020-01-16
(31)【優先権主張番号】20165213
(32)【優先日】2016-03-15
(33)【優先権主張国・地域又は機関】FI
(73)【特許権者】
【識別番号】512068592
【氏名又は名称】テクノロギアン トゥトキムスケスクス ヴェーテーテー オイ
【氏名又は名称原語表記】ＴＥＫＮＯＬＯＧＩＡＮ ＴＵＴＫＩＭＵＳＫＥＳＫＵＳ ＶＴＴ ＯＹ
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(72)【発明者】
【氏名】サーリ ヘイッキ
(72)【発明者】
【氏名】シーカネン サミ
【審査官】大室 秀明
(56)【参考文献】
【文献】特開２０１１－２２０７００（ＪＰ，Ａ）
【文献】特開２０１５－０４９２７６（ＪＰ，Ａ）
【文献】特開２０１２－１２７８５５（ＪＰ，Ａ）
【文献】特開２０１４－２３３３４４（ＪＰ，Ａ）
【文献】特開２０１５－２０２３１６（ＪＰ，Ａ）
【文献】国際公開第２０１５／０８７５９４（ＷＯ，Ａ１）
【文献】国際公開第２０１５／１４３４１５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｊ ３／００－４／０４
Ｇ０１Ｊ ７／００－９／０４
Ｇ０２Ｂ ６／３５
Ｇ０２Ｂ２６／００－２６／０８
Ｈ０４Ｎ ５／３０－５／３７８
Ｈ０４Ｎ ９／０４－９／１１
(57)【特許請求の範囲】
【請求項1】
携帯電子デバイス用のハイパースペクトル撮像構成であって、
撮像センサと、
入射光を前記撮像センサに届け、前記撮像センサ上に画像を形成するように構成される結像光学系と、
前記結像光学系の光路中に設けられるバンドパスフィルタ要素と、
前記光路中であって、前記バンドパスフィルタ要素より前記撮像センサに近い位置に設けられる、第１の可調整マルチパスバンドフィルタ及び第２の可調整マルチパスバンドフィルタと、
を備え、
前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは前記光路中に連続して配置され、
前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは、一定の間隙を有する可調整ファブリ・ペロー干渉計であり、
前記第１の可調整マルチパスバンドフィルタと前記第２の可調整マルチパスバンドフィルタとは、透過特性を調整するために、逆方向に同じ角度で傾斜させられうる、
ハイパースペクトル撮像構成。
【請求項2】
撮像対象の被写体を照明するように構成される発光ダイオードの配列であって、各発光ダイオードは他の発光ダイオードと異なる波長を有する配列をさらに備える、請求項１に記載のハイパースペクトル撮像構成。
【請求項3】
前記バンドパスフィルタ要素は、ショートパスフィルタおよびロングパスフィルタを含む、請求項１又は２に記載のハイパースペクトル撮像構成。
【請求項4】
前記バンドパスフィルタ要素は、３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍの所定の波長範囲を通過させるように構成される、請求項１から３のいずれかに記載のハイパースペクトル撮像構成。
【請求項5】
前記撮像センサは、モノクロまたはＲＧＢ画像センサである、請求項１から４のいずれかに記載のハイパースペクトル撮像構成。
【請求項6】
前記撮像センサは、前記携帯電子デバイス内に備えられる、請求項１から５のいずれかに記載のハイパースペクトル撮像構成。
【請求項7】
ハイパースペクトルデータキューブを計算する手段を有する、請求項１から６のいずれかに記載のハイパースペクトル撮像構成。
【請求項8】
携帯電子デバイスにおけるハイパースペクトル撮像のためのマルチパスバンドフィルタ構成であって、
第１の可調整マルチパスバンドフィルタと第２の可調整マルチパスバンドフィルタとを備え、
前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは光路上に連続して配置され、
前記第１の可調整マルチパスバンドフィルタおよび前記第２の可調整マルチパスバンドフィルタは、一定の間隙を有する可調整ファブリ・ペロー干渉計であり、
前記第１の可調整マルチパスバンドフィルタと前記第２の可調整マルチパスバンドフィルタとは、透過特性を調整するために、逆方向に同じ角度で傾斜させられうるように構成される、
マルチパスバンドフィルタ構成。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、全般的には撮像に関する。特に、ただし排他的にではなく、本出願はハイパースペクトル撮像に関する。より具体的には、ただし排他的にではなく、本出願は、ハイパースペクトル撮像においてＲＧＢまたはモノクロ画像センサと組み合わされるマルチパスバンドフィルタ、例えばファブリ・ペロー干渉計の使用に関する。
【背景】
【0002】
本項では、ここに記述するいずれの技術も最新技術であると認めるものではないが、有用な背景情報について説明する。
【0003】
ハイパースペクトルまたはマルチスペクトル撮像の利用が様々な用途において増加している。これに伴い、コスト効果の高い単純な構成が必要とされている。
【0004】
従来のハイパースペクトル撮像は、例えば画素化マルチスペクトルフィルタ、フィルタホイール、および多重化ＬＥＤ照明を用いて行われている。このような構成は複雑な製造工程を要することが多く、異なる分光波長範囲に容易に適用することができない。このような構成では、画素化マルチスペクトルフィルタが永久的に画素上にあり、フィルタホイールには、通常は３から１２の決まった数のフィルタしか搭載できないため、継続的に波長を調整することができない。また、画素化フィルタのサイズによって最小画素サイズが制限されるため、画素化マルチスペクトルフィルタは小型の画像センサの利用に対応していない。
【0005】
さらに、ファブリ・ペロー干渉計の使用は、先行文献である米国特許登録公報第８１３０３８０号および米国特許公開公報第２０１５１２４２６３号から既知である。
【0006】
本発明は、コスト効果の高いハイパースペクトル撮像構成であって、携帯機器ベースの極めて低価格のハイパースペクトル撮像構成の構築を可能にする小画素の画像センサにも対応したハイパースペクトル撮像構成の構築に用いることができる、ハイパースペクトル撮像構成を提供することにより、従来の解決策の問題を緩和することを目的とする。
【摘要】
【0007】
請求の範囲において、本発明の例における様々な態様を提示する。
【0008】
本発明の第１の例示的態様によると、ハイパースペクトル撮像の構成が提供される。前記構成は、撮像センサと、バンドパスフィルタ要素と、前記撮像センサ上に画像を形成するように構成される少なくとも１つの結像光学要素と、第１の可調整マルチパスバンドフィルタと、を備え、前記第１の可調整マルチパスバンドフィルタは、傾斜させることで調整されるように構成される。
【0009】
前記構成は、第２の可調整マルチパスバンドフィルタをさらに備えてもよい。
【0010】
前記第１のマルチパスバンドフィルタおよび／または前記第２のマルチパスバンドフィルタは、可調整ファブリ・ペロー干渉計であってもよい。
【0011】
前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の少なくとも一方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。
【0012】
前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の両方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。
【0013】
前記第１の可調整ファブリ・ペロー干渉計は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよく、前記第２の可調整ファブリ・ペロー干渉計は、前記間隙の調整によって調整されるように構成されてもよい。
【0014】
前記構成は、撮像対象の被写体を照明するように構成される発光ダイオードの配列であって、各発光ダイオードは他の発光ダイオードと異なる波長を有する配列をさらに備えてもよい。
【0015】
前記バンドパスフィルタ要素は、ショートパスフィルタおよびロングパスフィルタを含んでもよい。
【0016】
前記バンドパスフィルタ要素は、３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍの所定の波長範囲を通過させるように構成されてもよい。
【0017】
前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計とは、逆方向に同じ角度で傾斜させることで調整されるように構成されてもよい。
【0018】
前記撮像センサは、モノクロまたはＲＧＢ画像センサであってもよい。
【0019】
前記撮像センサは、携帯電子デバイス内に備えられてもよい。
【0020】
本発明の第２の例示的態様によると、ハイパースペクトル撮像のマルチパスバンドフィルタ構成が提供される。前記構成は、第１の可調整マルチパスバンドフィルタを備え、前記第１の可調整マルチパスバンドフィルタは傾斜させることで調整されるように構成される。
【0021】
前記構成は、第２の可調整マルチパスバンドフィルタをさらに備えてもよい。
【0022】
前記第１のマルチパスバンドフィルタおよび／または前記第２のマルチパスバンドフィルタは、可調整ファブリ・ペロー干渉計であってもよい。
【0023】
前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の少なくとも一方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。
【0024】
前記第１の可調整ファブリ・ペロー干渉計と前記第２の可調整ファブリ・ペロー干渉計の両方は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよい。
【0025】
前記第１の可調整ファブリ・ペロー干渉計は、一定の間隙を有し、傾斜させることで調整されるように構成されてもよく、前記第２の可調整ファブリ・ペロー干渉計は、前記間隙の調整によって調整されるように構成されてもよい。
【0026】
本発明の第３の例示的態様によると、ハイパースペクトル撮像の方法が提供される。前記方法は、撮像センサによって画像を提供することと、前記撮像センサにおいて必要な波長を受信するのに必要な透過特性を有するように、第１の可調整マルチパスバンドフィルタを調整することと、を含み、前記第１の可調整マルチパスバンドフィルタは傾斜させることで調整されるように構成される。
【0027】
前記方法は、前記撮像センサにおいて必要な波長を受信するのに必要な透過特性を有するように、第２の可調整マルチパスバンドフィルタを調整することをさらに含んでもよい。
【0028】
前記第１のマルチパスバンドフィルタおよび／または前記第２のマルチパスバンドフィルタは、可調整ファブリ・ペロー干渉計であってもよい。
【0029】
ここまで、本発明を拘束しない様々な例示的態様および実施形態を例示してきた。上記の各実施形態は、本発明の実装に利用されうる選択された態様またはステップを説明するためにのみ使用される。いくつかの実施形態は、本発明の特定の例示的態様への言及によってのみ提示されている場合もある。対応する実施形態は他の例示的態様にも適用できることを理解されるべきである。
【図面の簡単な説明】
【0030】
本発明の例示的実施形態のより包括的な理解のために、以下の添付の図面と関連付けて以下に説明を行う。
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【図面の詳細説明】
【0038】
【0039】
図１ａおよび図１ｂは、本発明の一実施形態に係るハイパースペクトル撮像構成１００の概略的な原理図である。図１ａおよび図１ｂは、ハイパースペクトル撮像によって撮像される被写体１０を示している。被写体１０は、例えば、傷跡などの医療上の被写体、消費者が測定したい色を有する被写体、農業上の被写体、偽造防止用マーキングの被写体、食品加工における被写体などである。被写体１０は、一実施形態において、発光ダイオード（Light Emitting Diode：ＬＥＤ）の配列１１０ａ、１１０ｂによって照明される。配列１１０ａ、１１０ｂの各ＬＥＤは、配列１１０ａ、１１０ｂの他のＬＥＤと異なる波長を有する。一実施形態において、配列１１０ａ、１１０ｂ内のＬＥＤの数は１２から２０である。配列１１０ａ、１１０ｂは、図１ａおよび図１ｂでは２つの要素が示されているが、別の実施形態では単一の要素または複数の要素に含まれる。一実施形態において、配列１１０ａ、１１０ｂのＬＥＤは、別々にかつ個別に点灯または消灯するように構成される。一実施形態において、配列１１０ａ、１１０ｂのＬＥＤは、一般的な低価格の相補型金属酸化膜半導体（Complementary Metal Oxide Semiconductor：ＣＭＯＳ）画像センサの波長範囲、例えば３６０ｎｍから１１００ｎｍの範囲を網羅する。別の実施形態において、配列１１０ａ、１１０ｂのＬＥＤは４５０ｎｍから８５０ｎｍの波長範囲を網羅する。なお、ハイパースペクトル撮像構成１００は、ＬＥＤ照明なしでも機能することに留意されたい。
【0040】
図１ａおよび図１ｂは、後続の要素を介して平行ビームを形成するように構成される第１の光学要素１２０、すなわち結像光学要素をさらに示している。ハイパースペクトル撮像構成１００は、第１のバンドパスフィルタ要素１３０をさらに備える。一実施形態において、第１のバンドパスフィルタ要素は、所定の波長範囲（例えば３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍ）を通過させるように構成されるロングパスフィルタおよびショートパスフィルタを含む。一実施形態において、ハイパースペクトル撮像構成１００は、ビームを後続の要素へと導くように構成される第２の光学要素１４０をさらに備える。
【0041】
ハイパースペクトル撮像構成１００は、第１の可調整マルチパスバンドフィルタ（例えばファブリ・ペロー干渉計（Fabry-Perot Interferometer：ＦＰＩ））１５０ａと、一実施形態では、第２の可調整マルチパスバンドフィルタ（例えばＦＰＩ）１５０ｂとを備える。第１の可調整マルチパスバンドフィルタ（１５０ａ）は、一実施形態において、傾斜させることで調整されるように構成されるマルチパスバンドフィルタである。一実施形態において、第１のＦＰＩ１５０ａおよび／または第２のＦＰＩ１５０ｂは、傾斜可能または回転可能で一定の間隙を有するＦＰＩである。一実施形態において、これらの可調整マルチパスバンドフィルタは、透過特性を調整するために、図１ｂに示すように逆方向に同じ角度で傾斜するように構成される。マルチパスバンドフィルタ１５０ａ、１５０ｂを逆方向に同じ角度で傾斜させることで、画像が固定位置に保持され、小型の画像センサも用いることができるようになる。一実施形態において、マルチパスバンドフィルタは、溶融石英ウェハの両側に５層のブラッグミラーを積層したＦＰＩ１５０ａ、１５０ｂである。
【0042】
ハイパースペクトル撮像構成１００は、撮像センサ１７０上に画像を形成するように構成される第２の光学要素１６０、すなわち結像光学要素をさらに備える。一実施形態において、撮像センサはＲＧＢまたはモノクロ撮像センサである。ＲＧＢ画像センサを用いると、例えば米国特許登録公報第８１３０３８０号において説明されているように、信号を３つの分光帯域で同時に登録することができる。一実施形態において、撮像センサ１７０はさらなる機器、例えばデジタルカメラ、スマートフォン、タブレットコンピュータなどの携帯電子デバイス内に備えられてもよい。
【0043】
別の実施形態において、ハイパースペクトル撮像構成１００は、第１のバンドパスフィルタ要素１３０に加えて、またその代わりに、第２のバンドパスフィルタ要素（図示しない）を第２の光学要素１６０と撮像センサ１７０との間に備える。一実施形態において、第２のバンドパスフィルタ要素の特性は第１のバンドパスフィルタ要素１３０の特性と同様である。
【0044】
図２ａおよび図２ｂは、本発明の別の実施形態に係るハイパースペクトル撮像構成２００の概略的な原理図である。図２ａおよび図２ｂは、ハイパースペクトル撮像によって撮像される被写体１０を示している。被写体１０は、例えば、傷跡などの医療上の被写体、消費者が測定したい色を有する被写体などである。
【0045】
図２ａおよび図２ｂは、後続の要素を介して平行ビームを形成するように構成される第１の光学要素２２０、すなわち結像光学要素をさらに示している。ハイパースペクトル撮像構成２００は、第１のバンドパスフィルタ要素２３０をさらに備える。一実施形態において、第１のバンドパスフィルタ要素は、所定の波長範囲（例えば３６０ｎｍから１１００ｎｍ、または４５０ｎｍから８５０ｎｍ）を通過させるように構成されるロングパスフィルタおよびショートパスフィルタを含む。一実施形態において、ハイパースペクトル撮像構成２００は、ビームを後続の要素へと導くように構成される第２の光学要素２４０をさらに備える。
【0046】
ハイパースペクトル撮像構成２００は、第１の可調整マルチパスバンドフィルタ（例えばＦＰＩ）２５５と、一実施形態では、第２の可調整マルチパスバンドフィルタ（例えばＦＰＩ）２５０とを備える。第１の可調整マルチパスバンドフィルタ（２５５）は、一実施形態において、傾斜させることで調整されるように構成されるマルチパスバンドフィルタである。一実施形態において、第１の可調整ＦＰＩ２５５はピエゾ駆動によって間隙を調整可能なＦＰＩであり、第２の可調整ＦＰＩ２５０は傾斜可能で一定の間隙を有するＦＰＩである。第１のマルチパスバンドフィルタ２５５と第２のマルチパスバンドフィルタ２５０との組合せは、一実施形態において、実質的に単一の分光帯域のみ通過させることで、モノクロ撮像センサを使用可能にするように構成される。
【0047】
ハイパースペクトル撮像構成２００は、撮像センサ２７０上に画像を形成するように構成される第２の光学要素２６０、すなわち結像光学要素をさらに備える。一実施形態において、撮像センサはＲＧＢまたはモノクロ撮像センサである。一実施形態において、撮像センサ２７０はさらなる機器、例えばデジタルカメラ、スマートフォン、タブレットコンピュータなどの携帯電子デバイス内に備えられてもよい。
【0048】
別の実施形態において、ハイパースペクトル撮像構成２００は、第１のバンドパスフィルタ要素２３０に加えて、またその代わりに、第２のバンドパスフィルタ要素（図示しない）を第２の光学要素２６０と撮像センサ２７０との間に備える。一実施形態において、第２のバンドパスフィルタ要素の特性は第１のバンドパスフィルタ要素２３０の特性と同様である。さらに別の実施形態において、ハイパースペクトル撮像構成２００は、図１ａおよび図１ｂを参照して説明した配列と同様の、被写体１０を照明するためのＬＥＤ配列を備える。
【0049】
図３ａおよび図３ｂは、本発明の一実施形態に係るハイパースペクトル撮像構成の可調整マルチパスバンドフィルタの透過特性の例を示す図である。この例において、マルチパスバンドフィルタは、７５０ｎｍ用に最適化された５層の誘電性ＴｉＯ２－ＳｉＯ２ブラッグミラーを備える、傾斜可能なＦＰＩである。図３ａは、波長（ナノメートル）の関数として傾斜角０度の透過特性のグラフ３００ａを示しており、図３ｂは、波長（ナノメートル）の関数として傾斜角３０度の透過特性のグラフ３００ｂを示している。
【0050】
図４は、本発明の一実施形態に係るハイパースペクトル撮像の方法のフローチャートである。ステップ４１０において、撮像対象の被写体１０を照明する。一実施形態において、この照明は、図１ａおよび図１ｂを参照して前述したようにＬＥＤの配列１１０ａ、１１０ｂによって提供される。別の実施形態では、被写体の照明には環境光で十分である。
【0051】
撮像センサ１７０、２７０において必要な波長を受信するのに必要な透過特性を有するように、４２０においてマルチパスバンドフィルタ１５０ａ、１５０ｂ、２５０、２５５（例えばＦＰＩ）を調整する。これによって、４３０においてハイパースペクトル画像の生データを提供する。ステップ４４０において、ＲＧＢまたはモノクロ画像センサの生画像データからハイパースペクトルデータキューブを計算する。一実施形態において、この計算は、例えば米国特許登録公報第８１３０３８０号において説明されるように、ハイパースペクトル撮像構成に対して実行される較正を利用して実行される。
【0052】
以下に添付する請求の範囲の適用範囲、解釈、または適用をなんら限定することなく、本明細書に開示された例示的実施形態の１つ以上における技術的効果は、低価格のハイパースペクトル撮像の構成である。本明細書に開示された例示的実施形態の１つ以上における別の技術的効果は、スマートフォンカメラの撮像センサなどの一般的な撮像センサに適用可能な構成の提供である。本明細書に開示された例示的実施形態の１つ以上における別の技術的効果は、環境光下で十分な分光帯域を有するハイパースペクトル撮像の提供である。
【0053】
本発明の様々な態様を個々の請求項に記載するが、本発明の他の態様は、記載した実施形態および／または従属項の機能と独立項の機能との他の組合せを含み、請求の範囲に明示的に記載した組合せのみに限られない。
【0054】
本明細書において本発明の例示的実施形態を説明したが、これらの説明は限定的な意味で解釈されるべきではない。むしろ、添付の請求の範囲に定められた本発明の範囲から逸脱することなく、様々な変形および修正を加えうる。
【図1a】
【図1b】
【図2a】
【図2b】
【図3a】
【図3b】
【図4】