知財求人 - 知財ポータルサイト「IP Force」
▶ センター フォー クオンティテイティブ サイトメトリーの特許一覧
特表2023-529132フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-07-07
(54)【発明の名称】フィルタまたはダイクロイックミラーを使用せずに固有の静止画像およびビデオ画像を取得するための装置および方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20230630BHJP
G03B 11/00 20210101ALI20230630BHJP
H04N 23/55 20230101ALI20230630BHJP
【ＦＩ】
H04N23/60 500
G03B11/00
H04N23/55
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022573783
(86)(22)【出願日】2021-04-21
(85)【翻訳文提出日】2023-01-19
(86)【国際出願番号】 US2021028281
(87)【国際公開番号】W WO2021247157
(87)【国際公開日】2021-12-09
(31)【優先権主張番号】16/888,660
(32)【優先日】2020-05-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517122475
【氏名又は名称】センター フォー クオンティテイティブ サイトメトリー
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】シュワルツ， アブラハム
(72)【発明者】
【氏名】シャーマン， フィリップ
(72)【発明者】
【氏名】フェルナンデス リポレット， エマ
【テーマコード（参考）】
2H083
5C122
【Ｆターム（参考）】
2H083AA01
2H083AA26
2H083AA33
2H083AA34
2H083AA41
5C122DA03
5C122DA04
5C122EA12
5C122FB17
5C122FG02
5C122HA88
5C122HB06
(57)【要約】
バリアフィルタやダイクロイックミラーなしで固有の画像を生成するための装置および方法が提供される。この方法は、合焦視野の画像と同一視野の拡散画像とを収集することを含む。拡散画像は、カメラと視野との間の経路に半透明材料を配置することによって取得される。半透明材料によって、照明エネルギーの透過が可能となり、視野の空間的詳細が拡散して、特徴のない照度の画像が生成する。次いで、合焦画像と拡散画像とが画素ごとに処理されて、無関係な照明がない固有の画像を生成する。
【選択図】図１５ｂ
【選択図】図１５ｂ
【特許請求の範囲】
【請求項1】
無関係な照明成分がない、視野の固有の画像を、フィルタまたはダイクロイックミラーを使用することなく撮像デバイスを用いて取得するための方法であって、目的の同一視野の合焦画像および拡散画像を取得することと、
前記拡散画像の各画素の強度を、前記合焦画像の画素の対応する強度から減算することにより、前記合焦画像から無関係な照明を除去して、目的の前記視野の固有の画像を取得することと
を含む方法。
【請求項2】
前記合焦画像、前記拡散画像および前記固有の画像が静止画像である、請求項１に記載の方法。
【請求項3】
前記合焦画像、前記拡散画像および前記固有の画像がビデオ画像である、請求項１に記載の方法。
【請求項4】
前記拡散画像が、前記目的の視野と撮像デバイスのレンズとの間の経路に拡散要素を配置することによって取得される、請求項１に記載の方法。
【請求項5】
前記経路の中および外への前記拡散要素の配置が、手動で制御されるか、機械的に制御されるか、またはそれらの組合せである、請求項４に記載の方法。
【請求項6】
前記拡散要素を含む取外し可能なアダプタが、前記撮像デバイスのレンズの上に取外し可能に配置される、請求項４に記載の方法。
【請求項7】
前記拡散要素が前記撮像デバイスの本体に組み込まれる、請求項４に記載の方法。
【請求項8】
前記拡散要素が、前記撮像デバイスの本体を内部に受け入れる保持装置の一部である、請求項４に記載の方法。
【請求項9】
前記拡散要素が、前記保持装置に対して回転可能に移動させられる、請求項８に記載の方法。
【請求項10】
前記合焦ビデオ画像および前記拡散ビデオ画像が、少なくとも１つの拡散要素と、同数の透過開口とを備える同期要素を通して取得される、請求項３に記載の方法。
【請求項11】
前記同期要素の拡散要素および透過開口の数が、前記合焦ビデオ画像および前記拡散ビデオ画像を取得する撮像デバイスのフレームレートによって定められる、請求項１０に記載の方法。
【請求項12】
前記同期要素の移動が、前記撮像デバイスのフレームレートの半速度に同期しており、連続的に交互になった合焦ビデオ画像と拡散ビデオ画像との複数のセットが取得され、各画像が、前記目的の視野からのビデオの連続フレームに対応する、請求項１０に記載の方法。
【請求項13】
拡散ビデオ画像の各セットが、対応する合焦ビデオ画像から減算されて幾つかの固有のビデオフレームを生成し、前記複数の固有のビデオフレームが連続的に組み合わされて固有のビデオ画像を生成する、請求項１２に記載の方法。
【請求項14】
前記固有のビデオ画像が、１秒当たりの前記固有のビデオフレームの数と等しいレートで再生される、請求項１２に記載の方法。
【請求項15】
前記拡散要素が半透明材料を含む、請求項４に記載の方法。
【請求項16】
前記半透明材料が照明のすべての波長の通過を比例的に可能にする、請求項１５に記載の方法。
【請求項17】
前記拡散画像が前記合焦画像から除去された空間的特徴を有するように、前記半透明材料が選択される、請求項１５に記載の方法。
【請求項18】
前記拡散画像が前記合焦画像と同一の強度勾配の同一の照度分布を有するように、前記半透明材料が選択される、請求項１５に記載の方法。
【請求項19】
前記半透明材料に蛍光特性がない、請求項１５に記載の方法。
【請求項20】
前記拡散要素が前記撮像デバイスの内部に設けられる、請求項４に記載の方法。
【請求項21】
前記同期要素が前記撮像デバイスの内部に設けられる、請求項１０に記載の方法。
【請求項22】
無関係な照明成分がない、視野の固有の画像を、フィルタまたはダイクロイックミラーを使用することなく取得するための方法であって、空間的詳細がない、同一視野の較正合焦画像および較正拡散画像を取得することと、
前記較正拡散画像の各画素の強度を、前記較正合焦画像の画素の対応する強度から減算して、残像を取得することと、
前記空間的詳細がない前記視野とは異なる、目的の同一の視野の合焦画像および拡散画像を取得することと、
前記残像の各画素の強度を前記拡散画像の前記画素の対応する強度に加算して、調節された拡散画像を取得することと、
前記調節された拡散画像の各画素の強度を、前記合焦画像の画素の対応する強度から減算することにより、前記合焦画像から無関係な照明を除去して、前記目的の視野の固有の画像を取得することと
を含む方法。
【請求項23】
前記較正合焦画像、前記較正拡散画像、前記残像、前記合焦画像、前記拡散画像および前記調節された拡散画像が静止画像である、請求項２２に記載の方法。
【請求項24】
前記較正合焦画像、前記較正拡散画像、前記合焦画像、前記拡散画像および前記調節された拡散画像がビデオ画像である、請求項２２に記載の方法。
【請求項25】
前記較正拡散画像および前記拡散画像が、前記目的の視野と撮像デバイスのレンズとの間の経路に拡散要素を配置することによって取得される、請求項２２に記載の方法。
【請求項26】
前記経路の中および外への前記拡散要素の移動が、手動で制御されるか、機械的に制御されるか、またはそれらの組合せである、請求項２５に記載の方法。
【請求項27】
前記拡散要素を含む取外し可能なアダプタが、前記撮像デバイスのレンズの上に取外し可能に配置される、請求項２５に記載の方法。
【請求項28】
前記拡散要素が前記撮像デバイスの本体に組み込まれる、請求項２５に記載の方法。
【請求項29】
前記拡散要素が、前記撮像デバイスの本体を内部に受け入れる保持装置の一部である、請求項２５に記載の方法。
【請求項30】
前記拡散要素が、前記保持装置に対して回転可能に移動させられる、請求項２９に記載の方法。
【請求項31】
前記較正合焦画像、前記較正拡散画像、前記合焦画像および前記拡散画像が、少なくとも１つの拡散要素と、同数の透過開口とを備える同期要素を通して取得される、請求項２４に記載の方法。
【請求項32】
前記同期要素の拡散要素および透過開口の数が、前記較正合焦画像、前記較正拡散画像、前記合焦画像および前記拡散画像を取得する撮像デバイスのフレームレートによって定められる、請求項３１に記載の方法。
【請求項33】
前記同期要素の移動が、撮像デバイスのフレームレートの半速度に同期しており、連続的に交互になった合焦ビデオ画像と拡散ビデオ画像との複数のセットが取得され、各画像が、前記目的の視野からのビデオの連続フレームに対応する、請求項３１に記載の方法。
【請求項34】
連続的に交互になった較正合焦ビデオ画像と較正拡散ビデオ画像との少なくとも１つのセットが取得され、前記少なくとも１つのセットから前記残像が計算される、請求項３３に記載の方法。
【請求項35】
前記残像が、連続的に交互になった較正合焦ビデオ画像と較正拡散ビデオ画像との複数のセットから計算された複数の残像の平均である、請求項３４に記載の方法。
【請求項36】
前記残像が、各セットの拡散ビデオ画像に加算されて、調節された拡散画像を生成し、前記調節された拡散画像が前記セットの前記拡散画像から減算されて、前記目的の視野の複数の固有のビデオフレームが取得される、請求項３３に記載の方法。
【請求項37】
前記複数の固有のビデオフレームが連続的に組み合わされて固有のビデオ画像を生成する、請求項３６に記載の方法。
【請求項38】
前記固有のビデオ画像が、１秒当たりの前記固有のビデオフレームの数と等しいレートで再生される、請求項３７に記載の方法。
【請求項39】
前記拡散要素が半透明材料を含む、請求項２５に記載の方法。
【請求項40】
前記半透明材料が照明のすべての波長の通過を比例的に可能にする、請求項３９に記載の方法。
【請求項41】
前記較正拡散画像および前記拡散画像が、それぞれ前記較正合焦画像および合焦画像から除去された空間的特徴を有するように、前記半透明材料が選択される、請求項３９に記載の方法。
【請求項42】
前記較正拡散画像および前記拡散画像が、それぞれ前記較正合焦画像および前記合焦画像と同一の強度勾配の同一の照度分布を有するように、前記半透明材料が選択される、請求項３９に記載の方法。
【請求項43】
前記半透明材料に蛍光特性がない、請求項３９に記載の方法。
【請求項44】
前記拡散要素が前記撮像デバイスの内部に設けられる、請求項２５に記載の方法。
【請求項45】
前記同期要素が撮像デバイスの内部に設けられる、請求項３１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無関係な照明を除去することにより、フィルタやダイクロイックミラーを使用することなく固有の画像およびビデオを取得するための装置および方法に関する。
【背景技術】
【0002】
撮像の第一目標は、高品質の画像およびビデオを取得することである。この目標に向けた進歩は、光学部品および露光機構に関してカメラを改善することであった。様々な画素センサ配列を有するデジタルカメラが、この努力に対して大いに寄与した。しかしながら、これらの努力は、画像品質の妨げになるスペクトル成分には対処しない。
【0003】
通常、蛍光撮像は、材料の分子構造を励起するために材料に向けられる照明の狭い波長範囲を利用する。結果として生じるスペクトルには発光成分は含まれているが、照明成分の波長は、ダイクロイックミラーおよびバリアフィルタを使用して除去されている。これによって、スペクトル発光成分のみを含むスペクトルがもたらされる。
【0004】
最近、フィルタやダイクロイックミラーは使用せずに、通常のカメラで固有の蛍光像を取得するための方法が開発された。これらの特許取得済みの方法は、固有の処理によって、無関係な照明、すなわち、視野における、材料によって吸収されない成分を、画像から除去し得るやり方を説明するものである。これらの特許で示された特定の撮像プロセスは、無関係な照明を除去してスペクトル成分を計測するものであるが、データを取得するための方法が一様でなく、最も実用的なものではない。たとえば、１つの方法（参照によって全体が本明細書に組み込まれる米国特許第９，４３５，６８７号および米国特許第９，９９８，６３６号）は、別々の４つの視界および別々の２つのカメラを必要とする。改善された方法（参照によって全体が本明細書に組み込まれる米国特許第１０，６５２，４８４号）が必要とするのは、たった１つの視野および１つのカメラであるが、視野の画像は、焦点を合わせたものと焦点をぼかしたものとが必要である。必要な視野は１つだけであるが、カメラの焦点を手動でぼかすのが厄介で視野がずれるリスクがあり、したがって処理に誤差を導入する。加えて、低倍率および高いＦストップでは、カメラは、視野内の空間的詳細を完全に除去するための十分な焦点調節ができない可能性がある。
【0005】
目的の物品の識別および検査に関して固有の情報を取得することに頼るあらゆる分野にとって、通常のカメラで固有の画像を取得する能力は有益であり得る。これらの分野には、それだけではないが、地質学における撮像、科学捜査、農業、生物学、天文学、点検、気象学、海洋学、および医学が含まれる。
【0006】
これら特許取得済みの方法は、固有の画像を生成するが、較正、目標物、および参照のために複数の視野が必要とされ、データ収集が複雑かつ困難になった。本発明は、データ収集と、それに続く固有の画像生成および画像表示のための処理とにおいて、大幅な技術的改善および簡素化を提供するものである。
【発明の概要】
【0007】
本発明は、バリアフィルタやダイクロイックミラーなしで固有の画像を生成するための装置および方法を提供するものである。本発明は、合焦視野を収集し、次に同一視野の拡散画像を取得することを含み、またはその逆順を含む。拡散画像は、カメラと視野との間の経路に半透明材料を配置することによって取得される。半透明材料によって、照明エネルギーの透過が可能となり、視野の空間的詳細は拡散して、特徴がない照度の画像が生成する。
【0008】
同一視野の拡散画像が、たとえば合焦画像のものと同一の強度勾配といった照明の特徴を維持することは重要である。前記合焦画像と拡散画像とのセットが、次いで、２つの方法によって処理されて固有の画像を生成し得る。本発明による、有効または最適な拡散画像を生成するのに必要な半透明材料の基準は次の通りである。
１．半透明材料は、照明のすべての波長を通すこと。
２．もたらされる拡散画像は、合焦画像のいかなる空間的特徴も含まないこと。
３．拡散画像は、合焦画像と同一の照度分布すなわち同一の強度勾配を有すること。
４．半透明材料は、照明波長範囲を比例的に通すこと、すなわち、たとえば蛍光特性といった、偏った吸収や放射はないものとする。
１．半透明材料は、照明のすべての波長を通すこと。
２．もたらされる拡散画像は、合焦画像のいかなる空間的特徴も含まないこと。
３．拡散画像は、合焦画像と同一の照度分布すなわち同一の強度勾配を有すること。
４．半透明材料は、照明波長範囲を比例的に通すこと、すなわち、たとえば蛍光特性といった、偏った吸収や放射はないものとする。
【0009】
本発明の様式
本発明は、単一フレームおよびマルチフレームの画像収集に適合し、特に、それだけではないが、単一露光、マルチスペクトル、ハイパースペクトルおよびビデオ収集に適合する。装置の構造的な形式は、（１）カメラのレンズの上に分離して配置されてよく、（２）カメラに取り付けられるかもしくは組み込まれてよく、または（３）カメラを保持するように設けられてもよい。半透明材料の設置および操作の位置は、カメラの外部でよく、またはカメラ本体の内部でもよい。本発明のために、カメラおよび撮像デバイスという用語は、本明細書の全体にわたって区別なく使用され、レンズを通して画像を取得することができる他のデバイスを対象として含むように意図された非限定的な例である。この発明には、顕微鏡、望遠鏡、ドローンカメラ、ミラーレスカメラおよび人工衛星といった非限定的な実施形態も、対象として含まれる。
本発明は、単一フレームおよびマルチフレームの画像収集に適合し、特に、それだけではないが、単一露光、マルチスペクトル、ハイパースペクトルおよびビデオ収集に適合する。装置の構造的な形式は、（１）カメラのレンズの上に分離して配置されてよく、（２）カメラに取り付けられるかもしくは組み込まれてよく、または（３）カメラを保持するように設けられてもよい。半透明材料の設置および操作の位置は、カメラの外部でよく、またはカメラ本体の内部でもよい。本発明のために、カメラおよび撮像デバイスという用語は、本明細書の全体にわたって区別なく使用され、レンズを通して画像を取得することができる他のデバイスを対象として含むように意図された非限定的な例である。この発明には、顕微鏡、望遠鏡、ドローンカメラ、ミラーレスカメラおよび人工衛星といった非限定的な実施形態も、対象として含まれる。
【0010】
視野の合焦画像と拡散画像との各セットが、無関係な照明、すなわち吸収されていない照明波長と半透明材料の透過に起因する照度変動とを除去するために、ソフトウェアによって処理される。画像の各セットは、拡散画像の各画素の強度を合焦画素の対応する強度から減算する、簡単な固有の処理、または半透明材料を通過した照明によって生成された残差成分の強度を合焦画像から画素ごとに減算する、高度な固有の処理を施されてよい。較正された残差が、たとえば半透明材料および自動カメラ調節による照明の５％未満であって寄与が低いと判定されたら、簡単な処理の方法が適切であると見なされてよい。
【0011】
本発明のさらなる特徴および利点は、本発明の実例となる実施形態を示す添付図に関連して理解される、以下の発明を実施するための形態から明らかになるであろう。
【図面の簡単な説明】
【0012】
【図1a】カメラのレンズの上に配置された半透明材料によって一端を覆われた装置を示す図である。
【図1b】カメラのレンズの上に配置された半透明材料によって一端を覆われた装置を示す図である。
【図2a】レンズと視野との間の経路に出し入れ可能な半透明材料を有するカメラまたは望遠鏡のレンズに取り付けられた装置の別の実施形態を示す図である。
【図2b】レンズと視野との間の経路に出し入れ可能な半透明材料を有するカメラまたは望遠鏡のレンズに取り付けられた装置の別の実施形態を示す図である。
【図3a】自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンまたはタブレットを保持する装置の別の実施形態を示す図である。
【図3b】自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンまたはタブレットを保持する装置の別の実施形態を示す図である。
【図3c】自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンまたはタブレットを保持する装置の別の実施形態を示す図である。
【図4a】自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンを保持する装置の別の実施形態を示す図である。
【図4b】自動調整カメラと、カメラレンズと視野との間の経路に出し入れ可能な半透明材料とが備わっているスマートフォンを保持する装置の別の実施形態を示す図である。
【図5a】１つおきに半透明材料［３］で覆われた穴を、そのリムに沿って有する回転ホイール［１］を、ビデオカメラ［２］に取り付けた装置を示す図である。
【図5b】１つおきに半透明材料［３］で覆われた穴を、そのリムに沿って有する回転ホイール［１］を、ビデオカメラ［２］に取り付けた装置を示す図である。
【図5c】１つおきに半透明材料［３］で覆われた穴を、そのリムに沿って有する回転ホイール［１］を、ビデオカメラ［２］に取り付けた装置を示す図である。
【図6a】蛍光性鉱物であるトレモライトを３９０ｎｍのＵＶ光で照光した合焦画像を示す図である。
【図7a】蛍光性鉱物であるトレモライトを３９０ｎｍのＵＶ光で照光した合焦画像を示す図である。
【図8a】合焦された晴天の較正画像を示す図である。
【図8b】本発明による、拡散された空の較正画像を示す図である。
【図8c】処理後の較正画像を示す図である。これは、半透明材料を通過する照明による強度差を表す残像である。
【図9a】直射日光によって照光された葉の合焦画像を示す図である。白線は、分析される画素の行（列１０００～２０００からの行１９００）を指示している。
【図11a】黄色紙を分析するための反射構成を示す図である。
【図11b】白色ＬＥＤ照明のスペクトルおよび反射スペクトル成分の固有のスペクトルを示す図である。照明は、８９パーセントが無関係であり、１１パーセントが黄色紙によって吸収されたものと判定された。
【図12a】直射日光で照光されたボルダーを示す図である。ボルダー部分のクローズアップ合焦画像を伴う。
【図12c】簡単な固有の処理の後の、図１２ａに示されたボルダーの同一部分を示す図である。蛍光物質の複雑なパターンを示しており、固有の画像の最高強度は合焦画像の２９．７パーセントであって、合焦画像から７０．３パーセントの無関係な照明が除去されたことを指示している。
【図13a】積雲の合焦画像を示す図である。
【図13b】固有の処理の後の、図１３ａに示された雲の画像を示す図である。固有の画像の最高強度は合焦画像の５３．６パーセントであって、合焦画像から４６．４パーセントの無関係な照明が除去されたことを指示している。
【図14a】色彩に富んだ複雑なパターンの合焦画像を示す図である。
【図14b】簡単な固有の処理の後のパターンの画像を示す図である。固有の画像の最高強度は合焦画像の４５．７パーセントであって、合焦画像から５４．３パーセントの無関係な照明が除去されたことを指示している。
【図15a】複製印刷の合焦画像を示す図である。
【図15b】固有の処理の後の、図１５ａに示された複製印刷の画像を示す図である。固有の画像の最高強度が合焦画像の３５．６パーセントであって、合焦画像から６４．４パーセントの無関係な照明が除去されたことと、合焦画像では照明によって消されていた固有の青色領域が出現したこととを指示している。
【図16】本発明による、固有のビデオ画像を生成する方法を示す図である。
【0013】
これらの図を通じて、同一の参考番号および文字は、特に明記しない限り、図示の実施形態の類似の要素、構成要素、一部分または特徴を表すように使用されている。主題の発明が、実例となる実施形態を考慮して、添付図とともに詳細に説明される。
【発明を実施するための形態】
【0014】
装置の構成
装置の最も簡単な構成では、拡散画像を生成するために、半透明材料（拡散要素）３を含む装置１が、図１ａおよび図１ｂに示されるようにカメラ２上に配置される。別の構成は、半透明材料３を含む装置１を、図２ａおよび図２ｂに示されるように、カメラ２に対して、視野とカメラレンズとの間の経路に出し入れされるように取り付けることによって達成される。この形式は、光学管がカメラのレンズと見なされるので、長いレンズのカメラおよび望遠鏡に適切である。
装置の最も簡単な構成では、拡散画像を生成するために、半透明材料（拡散要素）３を含む装置１が、図１ａおよび図１ｂに示されるようにカメラ２上に配置される。別の構成は、半透明材料３を含む装置１を、図２ａおよび図２ｂに示されるように、カメラ２に対して、視野とカメラレンズとの間の経路に出し入れされるように取り付けることによって達成される。この形式は、光学管がカメラのレンズと見なされるので、長いレンズのカメラおよび望遠鏡に適切である。
【0015】
装置の第３の構成では、装置１がカメラの本体またはケースを保持し、半透明材料３が、カメラレンズ２ａと視野との間の経路に回転可能に移動して出し入れされる。この形式は、図３ａ～図３ｃおよび図４ａ～図４ｂに示されるように、自動調整カメラ２ａを有するスマートフォンおよびタブレットとともに使用するのに適切であり、カメラレンズ２ａ上に拡散要素を取り付けるかまたは組み込むのは、実際的でないかまたは困難である。本発明のために、回転可能に移動するとは、拡散要素を、カメラレンズの前に配置するかまたはカメラレンズから離して配置するために、保持装置またはカメラに対して（何らかの方向または面において）回転させるかまたは枢動させることを意味する。
【0016】
本発明をビデオカメラに適用するには、合焦ビデオ画像と拡散ビデオ画像とのセットの連続した流れを生成するための形式が必要である。好ましい方法は、それだけではないが、１つおきのフレームが拡散画像を生成し、それに合焦画像が続くか、またはその逆順になるように、回転ホイール（同期要素）１ａをカメラ２のフレームレートと同期させることを含む。これは、ホイールの領域３ａの半分が開き（透過し）、他の半分が半透明材料３で覆われているホイールによって達成され得る。このホイールの回転をビデオカメラのフレームレートの半速度に同期させると、合焦画像に拡散画像が続く、連続する画像セットの流れをもたらし、これが、本発明の方法によって固有のビデオへと処理され得る。たとえば、６０フレーム／秒（ｆｐｓ）のビデオカメラが使用されるとき、図１６に示されるように１つのフレームごとに１つの画像で６０の連続的に交互になった合焦画像と拡散画像とを取得するために、回転ホイールは３０回転／秒で作動され得る。本発明の簡単な処理方法によれば、１秒で３０セットの交互になった合焦画像と拡散画像（合計で６０の画像）とが処理され、合焦画像の強度から拡散画像の強度が画素ごとに減算されて、１秒につき３０の連続した固有のフレームから成る固有のビデオが取得され、これが３０ｆｐｓで再生される。
【0017】
高度な処理については、単一残像が計算され、新規の残像が計算されるまで使用されるように記憶装置に記憶される。上記の例によれば、計算された同一の残像が、以前に取得された３０個の拡散画像の各々に加算されて、調節された３０個の拡散画像が生成され、これが、取得された合焦画像から画素ごとに減算されて、１秒につき３０個の連続した固有のフレームから成る固有のビデオが生成され、３０ｆｐｓで再生される。
【0018】
本発明の一実施形態によれば、残像は、以前に説明されたような同期した回転ホイールによって取得された、（たとえば晴天からの）較正の合焦画像と拡散画像との単一セットから計算され得る。あるいは、複数の較正の合焦画像と拡散画像とのセットから複数の残像が計算され得、すべての計算された残像の強度を画素ごとに平均することにより、平均残像が計算され得る。ビデオカメラが静止画像を捕捉する機能も有する場合には、カメラによって取得された合焦静止画像と拡散静止画像とで残像が計算され得ることも構想される。計算された残像は、照明または半透明材料が交換されない限り有効である。
【0019】
したがって、固有のビデオのためには、ビデオのフレームが一定の条件下で得られるので、１つの残像で十分である。
【0020】
高いビデオフレームレートにより、この形式は、複数の透過穴３ａと、開口および半透明の覆い３と、がその周縁に沿って交互になっているホイールにまで拡張される。装置のこれらの形式は図５ａ～図５ｃに示されている。同期要素１ａはビデオカメラ２の中にも設けられ得る。好ましい実施形態では同期要素１ａは回転ホイールであるが、同期要素１ａは、それだけではないが、ビデオカメラ２が、本発明の方法によって、合焦ビデオ画像と拡散ビデオ画像との同一のセットを取得することを可能にする、枢動または直線往復運動などの他の移動機構によっても実施され得る。
【0021】
固有の画像の処理
画像は、吸収、発光に固有の反射および無関係な照明を含む様々なスペクトル成分を含んでいる。無関係な照明は、視野によって吸収されない照明成分と定められる。この無関係な照明は大きなスペクトル成分であり、プロセスを信号対雑音比に関して考えるとき、霧またはノイズのように作用する。すなわち、「ノイズ」を低減することによって、固有の成分が現われる。
画像は、吸収、発光に固有の反射および無関係な照明を含む様々なスペクトル成分を含んでいる。無関係な照明は、視野によって吸収されない照明成分と定められる。この無関係な照明は大きなスペクトル成分であり、プロセスを信号対雑音比に関して考えるとき、霧またはノイズのように作用する。すなわち、「ノイズ」を低減することによって、固有の成分が現われる。
【0022】
固有の発光すなわち物品の蛍光を取得するための従来の方法は、レーザおよび狭帯域フィルタを用いて取得された狭帯域の励起照明を標的物質に当てた後に、ロングパスフィルタおよびダイクロイックミラーを使用して励起照明を除去する必要がある。これらのフィルタおよびミラーが、吸収されなかった照明成分を除去し、固有の発光が現れる。
【0023】
以前に、参照によって組み込まれた特許には、フィルタやダイクロイックミラーは使用せずに同じ結果を達成する、固有の処理と称される斬新な方法が提示されている。しかしながら、照明の波長範囲が広ければ、日射などの全体の吸収エンベロープを対象として含み得る。この条件下では、固有の発光は、固有の処理を使用して取得される唯一のスペクトル成分ではない。固有の処理は、全体の照明反射および固有の反射を含む２つの成分があることを明らかにするものである。照明反射は、物品による照明の全波長範囲の反射であり、日射の場合には、反射は白色光と考えられる。固有の反射は、視野において物品に吸収されない、比例した残留照明成分である。固有の反射は、全体の照明に対して小さい成分であっても、物品の知覚される色を発する。色ペイントの混合に似て、比較的少量の顔料すなわち固有の成分が、白を基調色とする明るい色のペイントをもたらす。
【0024】
本発明は、無関係な照明成分を除去するための方法として、（１）合焦画像の強度から拡散画像の強度を画素ごとに減算する、簡単な固有の処理と、（２）空間的詳細がない視野の取得された較正拡散画像の強度を、空間的詳細がない同一視野の取得された較正合焦画像の対応する強度から画素ごとに減算して残像を取得することにより、空間的詳細がない較正視野を使用して残像成分を判定する高度な固有の処理と、の２つを提供するものである。この残像の強度は、調節された拡散画像を生成するために、拡散画像の強度に対して画素ごとに加算され、これらが、合焦画像の強度から画素ごとに減算される。
【0025】
たとえば人工衛星から得られた画像といった遠く離れた視野の画像から、煙霧質、水蒸気および微粒子などのスペクトルの前景成分を除去するためのモデル化に、多くの努力が費やされてきた。この発明の固有の処理技法の成功は、拡散照明の画像が、合焦画像と、同一の視野、同一のカメラ条件の下で、ほぼ同時に得られるということである。これは、合焦画像を処理するための、視野の最も正確なリアルタイム照明および前景データをもたらす。
【0026】
画像処理の簡単な固有の方法は、拡散画像の強度が合焦画像の強度から画素ごとに減算されるという点において簡単であると考えられる。これによって、無関係な照明ならびにあらゆる強度勾配が除去され、そうしなければ全体の反射エネルギーの中に隠されてしまうはずの固有の成分が現われる。
【0027】
画像処理の高度な固有の方法は、透過による無関係な照明ばかりでなく、半透明材料を通る照明エネルギーの損失も考えるので、高度であると考えられる。この高度な方法は、露光時間の自動調整など、設定におけるあらゆる変化をも把握して、画像を最適化するとき自動カメラに起こり得ることに再び焦点を定める。このプロセスでは、カメラが、空間的詳細がない視野の合焦画像と拡散画像との較正セットを得て、カメラにおけるあらゆる変化から生じる残像、ならびに半透明材料を通る透過による照明の損失を判定することが必要になる。
【0028】
固有のビデオの生成は、リアルタイムに、または後処理プロシージャにおいて達成され得る。本発明の一実施形態によれば、固有のビデオ処理は、最初に、取得された合焦画像と拡散画像との画像セットを識別することを含み、各セットは、固有のフレームを生成するために別個に処理される。次いで、固有のフレームは、ストリーミング配信されるか、または本発明による固有のビデオ画像を生成するために、図１６に示されるように、連続的に組み合わされて、元のカメラのフレームレートの半分で再生される。
【実施例】
【0029】
以下では、（１）半透明材料の基準、（２）固有の処理の分析、（３）従来の画像および固有の画像に対するスペクトルの寄与、ならびに（４）画像間に認められた相違、といった実施例が提示される。
【0030】
図に示されるすべての写真画像が、Ａｐｐｌｅ（登録商標）のｉＰｈｏｎｅ（登録商標）１１のカメラの自動調節で撮られたものであることに留意されたい。
【実施例1】
【0031】
半透明材料
２つの半透明材料の基準が試験され、結果が図６ａ～図６ｂおよび図７ａ～図７ｂに示されている。半透明材料として白紙が使用されたとき、図６ｂの固有の画像には青色の無関係な照明が残った。これは、３９０ｎｍの照明が固有の処理によって除去されるように、半透明の白紙を通過しなかったことを示す。加えて、トレモライト鉱物の黒い外観は、３９０ｎｍの照明の強い吸収度を指示する。しかしながら、半透明材料としてポリエチレンが使用されたとき、半透明の基準が満たされて、明るい赤色の蛍光を発する鉱物が黒背景を伴って現われ、固有の処理によって無関係な照明が除去されたことを示す（図７ｂ）。
２つの半透明材料の基準が試験され、結果が図６ａ～図６ｂおよび図７ａ～図７ｂに示されている。半透明材料として白紙が使用されたとき、図６ｂの固有の画像には青色の無関係な照明が残った。これは、３９０ｎｍの照明が固有の処理によって除去されるように、半透明の白紙を通過しなかったことを示す。加えて、トレモライト鉱物の黒い外観は、３９０ｎｍの照明の強い吸収度を指示する。しかしながら、半透明材料としてポリエチレンが使用されたとき、半透明の基準が満たされて、明るい赤色の蛍光を発する鉱物が黒背景を伴って現われ、固有の処理によって無関係な照明が除去されたことを示す（図７ｂ）。
【実施例2】
【0032】
【0033】
照明が半透明材料を通過するときのスペクトル成分の損失を判定する残像（図８ｃ）を生成するために、晴天の図８ａの合焦画像と図８ｂの拡散画像との較正セットが得られた。分析行にわたる残像の強度は２パーセント未満であると判定された。図９ａ～図９ｃは、直射日光下の落葉の、拡散画像と、合焦画像と、固有の画像とのセットを示す。スペクトル成分が互いに関連する様子の質的理解および量的理解を得るために、白線によって示された、列１０００～２０００にわたる行１９００からの画素の強度が、図１０ａ～図１０ｂにプロットされた。図１０ａのグラフは、合焦画像の行１９００の画素の、簡単な固有の処理および高度な固有の処理の前後の強度である。図１０ｂのグラフは、この行の画素にわたって半透明材料を通して撮像された、拡散スペクトル成分の強度および残留スペクトル成分の強度を示す。拡散画像の強度グラフは、合焦画像の行１９００の分析範囲にわたる画素の各々の強度の約７４パーセントを表す。残留スペクトル成分は、図８ａ～図８ｃにおける晴天較正画像の残留強度の約２パーセントを表す。画像のこのセットでは、残留スペクトル成分は、図１０ａのグラフに示されるように、簡単な固有の画像と高度な固有の画像との間の相違にあまり寄与していないことに留意されたい。
【実施例3】
【0034】
反射成分のスペクトル
黄色紙のサンプルが、図１１ａに示されるように、白色ＬＥＤを用いて４５°の角度で照光されるように、キュベットに対角線上に配置され、反射エネルギーは、照明から９０°の角度で検知された。青色スペクトルは、白色ＬＥＤ照明の完全スペクトルを表す。赤色スペクトルは、無関係な照明成分を除去した後の、黄色紙から反射された固有のスペクトルを表す。固有のスペクトルのＵＶ範囲／青色範囲／緑色範囲の部分は、白色ＬＥＤ照明（図１１ｂ）からの吸収成分を示す負数を有する。この吸収は、統合された照明の１１パーセントである。黄色範囲／赤色範囲の固有のスペクトルの割合は正の値を有し、予期された反射残留照明の１１パーセントよりも大きい成分を表す。
黄色紙のサンプルが、図１１ａに示されるように、白色ＬＥＤを用いて４５°の角度で照光されるように、キュベットに対角線上に配置され、反射エネルギーは、照明から９０°の角度で検知された。青色スペクトルは、白色ＬＥＤ照明の完全スペクトルを表す。赤色スペクトルは、無関係な照明成分を除去した後の、黄色紙から反射された固有のスペクトルを表す。固有のスペクトルのＵＶ範囲／青色範囲／緑色範囲の部分は、白色ＬＥＤ照明（図１１ｂ）からの吸収成分を示す負数を有する。この吸収は、統合された照明の１１パーセントである。黄色範囲／赤色範囲の固有のスペクトルの割合は正の値を有し、予期された反射残留照明の１１パーセントよりも大きい成分を表す。
【0035】
発光成分が固有のスペクトルのかなりの量の正の部分をもたらした場合には、黄色紙のサンプルに蛍光特性があったように見える。固有のスペクトルに関して、８９パーセントの照明は吸収されず、無関係と見なされ、固有の処理アルゴリズムによって除去された。
【実施例4】
【0036】
通常の合焦画像と固有の画像との間に認められる差
合焦画像は、目が通常知覚する視野に近いものに見える。しかしながら、固有の処理は、より強い色の暗い画像を生成する。これは、図１２ｃの蛍光像および図１３ｂ～図１５ｂの固有の反射画像に見られるように、無関係な照明成分が画像から除去され、固有のスペクトル成分のみが反射されたからである。これらの画像には、知覚される色の強度が、白色ベースの照明の中の顔料として働く少量の固有の成分に由来するという、ペイント混合の類似性を裏付ける傾向がある。加えて、固有の画像の内部の局所的境界は、合焦画像のものよりも鋭く見える。
合焦画像は、目が通常知覚する視野に近いものに見える。しかしながら、固有の処理は、より強い色の暗い画像を生成する。これは、図１２ｃの蛍光像および図１３ｂ～図１５ｂの固有の反射画像に見られるように、無関係な照明成分が画像から除去され、固有のスペクトル成分のみが反射されたからである。これらの画像には、知覚される色の強度が、白色ベースの照明の中の顔料として働く少量の固有の成分に由来するという、ペイント混合の類似性を裏付ける傾向がある。加えて、固有の画像の内部の局所的境界は、合焦画像のものよりも鋭く見える。
【0037】
本明細書において、前述の例示的実施形態を参照しながら本発明が説明されてきたが、この実施形態は、本発明の範囲を制限するように働くものではない。したがって、本発明に関する技術の当業者なら、本発明の技術的精神から逸脱することなく様々な修正形態が可能であることを理解するであろう。
【図1a】
【図1b】
【図2a】
【図2b】
【図3a】
【図3b】
【図3c】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図6a】
【図6b】
【図7a】
【図7b】
【図8a】
【図8b】
【図8c】
【図9a】
【図9b】
【図9c】
【図10a】
【図10b】
【図11a】
【図11b】
【図12a】
【図12b】
【図12c】
【図13a】
【図13b】
【図14a】
【図14b】
【図15a】
【図15b】
【図16】
【国際調査報告】