(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-25
(54)【発明の名称】双眼デバイス
(51)【国際特許分類】
A61B 90/20 20160101AFI20221018BHJP
【ＦＩ】
A61B90/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022510091
(86)(22)【出願日】2020-08-20
(85)【翻訳文提出日】2022-04-04
(86)【国際出願番号】 NL2020050522
(87)【国際公開番号】W WO2021034199
(87)【国際公開日】2021-02-25
(31)【優先権主張番号】2023688
(32)【優先日】2019-08-22
(33)【優先権主張国・地域又は機関】NL
(81)【指定国・地域】
(71)【出願人】
【識別番号】522059852
【氏名又は名称】アイ－メド テクノロジー ビー．ブイ．
【氏名又は名称原語表記】Ｉ－ＭＥＤ ＴＥＣＨＮＯＬＯＧＹ Ｂ．Ｖ．
(74)【代理人】
【識別番号】100107456
【弁理士】
【氏名又は名称】池田 成人
(74)【代理人】
【識別番号】100162352
【弁理士】
【氏名又は名称】酒巻 順一郎
(74)【代理人】
【識別番号】100123995
【弁理士】
【氏名又は名称】野田 雅一
(72)【発明者】
【氏名】グラハム， ヴィンセント
(72)【発明者】
【氏名】ヴィーリンハ， フォッコ ピーター
(57)【要約】
光放射を視覚化するための双眼デバイスは、支持構造体と、支持構造体に結合された左カメラおよび右カメラとを備える。左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備え、左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される。鏡面反射が、検出される。
【選択図】 図６
【選択図】 図６
【特許請求の範囲】
【請求項1】
光放射を視覚化するための双眼デバイスであって、支持構造体と、
前記支持構造体に結合された左カメラおよび右カメラであって、前記左カメラが左光学系と左画像センサとを備え、前記右カメラが右光学系と右画像センサとを備え、前記左画像センサおよび前記右画像センサが、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される、左カメラおよび右カメラとを備え、
前記デバイスが処理ユニットをさらに備え、前記処理ユニットが、
前記左カメラおよび前記右カメラによって略同時にそれぞれ取り込まれる、前記左カメラからの左画像および前記右カメラからの右画像を表す信号を受信するように、
前記左画像を前記右画像と比較するように、かつ
前記比較の結果に基づいて鏡面反射を検出するように構成される、双眼デバイス。
【請求項2】
前記支持構造体に結合された左ディスプレイおよび右ディスプレイをさらに備え、前記左ディスプレイおよび前記右ディスプレイが、前記左ディスプレイに動作可能に接続された左接眼レンズおよび前記右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認されるように配置され、前記左ビデオ信号および前記右ビデオ信号にそれぞれ基づいて、前記左ディスプレイおよび前記右ディスプレイによって可視光で形成された左ビデオ画像および右ビデオ画像を提示するように構成される、請求項１に記載の双眼デバイス。
【請求項3】
前記カメラのうちの少なくとも１つが、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、前記カメラのうちの前記少なくとも１つの前記入力光学系が、前記不可視波長帯域に対して透過性であり、前記可視光波長帯域に対して縮小性である、請求項１または２に記載の双眼デバイス。
【請求項4】
前記不可視波長帯域の放射に感受性を有する少なくとも前記カメラの前記入力光学系が、偏光材料の少なくとも１つの層を備える偏光フィルタを備える、請求項３に記載の双眼デバイス。
【請求項5】
前記偏光フィルタが、前記偏光材料の少なくとも２つの層を備え、前記偏光材料の前記２つの層が、互いに直交する偏光方向を有する、請求項４に記載の双眼デバイス。
【請求項6】
少なくとも前記不可視波長帯域および前記可視光波長帯域内の放射を生成することができる、前記支持構造体に結合された光源をさらに備え、前記光源が、幾何学的形状および位置が略同一になるように位置合わせされた、可視光の放出ビームおよび不可視放射の放出ビームを生成するように構成される、請求項３～５のいずれか一項に記載の双眼デバイス。
【請求項7】
少なくとも前記不可視波長帯域および前記可視光波長帯域内の放射を生成することができる、前記支持構造体に結合された光源をさらに備え、前記光源が、前記光源によって出力された前記可視光波長帯域内の前記可視光を偏光させ、前記不可視波長帯域内の前記放射を透過させるように構成された偏光フィルタをさらに備え、前記光源の前記偏光フィルタの偏光方向が、前記入力光学系の前記偏光フィルタの偏光方向と略直交する、請求項４に記載の双眼デバイス。
【請求項8】
不可視放射に感受性を有する前記カメラに対応する前記入力光学系が、アパーチャを有する絞りを備え、前記アパーチャの周りの前記絞りが、前記可視光波長帯域の光に対して縮小性であり、一方、前記絞りが、前記不可視波長帯域の前記光に対して透過性である、請求項３～７のいずれか一項に記載の双眼デバイス。
【請求項9】
前記入力光学系が、オートフォーカスを有するレンズを備え、前記オートフォーカスが、前記不可視波長帯域の前記放射を集束させるように構成される、請求項８に記載の双眼デバイス。
【請求項10】
前記不可視波長帯域の放射に感受性を有する前記カメラの前記入力光学系が、前記絞りに加えて、前記可視光波長帯域の前記光に対して縮小性であるフィルタをさらに備える、請求項８または９に記載の双眼デバイス。
【請求項11】
前記不可視波長帯域の放射に感受性を有する前記カメラの前記入力光学系が、前記可視光波長帯域の前記放射を選択的に低減するためのヨウ素を備えるフィルタを備える、請求項３～１０のいずれか一項に記載の双眼デバイス。
【請求項12】
少なくとも前記不可視波長帯域および可視光の放射を生成するための、前記支持構造体に結合された光源をさらに備え、前記光源が、前記可視光強度を略一定に保ちながら前記不可視光を断続的に放出するように構成され、前記カメラが、前記不可視光の放出を伴う少なくとも１つの画像と、前記不可視光の放出を伴わない少なくとも１つの画像とを取り込むように構成される、請求項１～１１のいずれか一項に記載の双眼デバイス。
【請求項13】
前記不可視光の放出を伴う取り込まれた前記画像と前記不可視光の放出を伴わない取り込まれた前記画像とに基づいて前記不可視波長帯域の放射の強化された画像を計算するように構成された処理ユニットをさらに備える、請求項１２に記載の双眼デバイス。
【請求項14】
前記左カメラおよび前記右カメラのそれぞれが、前記不可視波長帯域の放射および前記可視光波長帯域の放射に感受性を有し、前記左入力光学系および前記右入力光学系のそれぞれが、前記不可視波長帯域に対して透過性であり、前記可視光波長帯域に対して縮小性である、請求項１～１３のいずれか一項に記載の双眼デバイス。
【請求項15】
前記不可視波長帯域の前記放射に感度を有する前記カメラの前記画像センサが、前記不可視放射波長帯域および前記可視放射波長帯域の両方に感度を有するセンサダイを備え、前記センサダイが、前記不可視波長帯域の前記放射と前記可視波長帯域の前記放射の両方に対応する前記ビデオ信号を出力するように構成される、請求項１～１４のいずれか一項に記載の双眼デバイス。
【請求項16】
前記不可視放射波長帯域が、近赤外放射波長帯域である、請求項１～１５のいずれか一項に記載の双眼デバイス。
【請求項17】
視放線を視覚化する方法であって、支持構造体に結合された左入力光学系および右入力光学系によって、対応する左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサそれぞれに前記光を伝送するステップであって、前記左カメラおよび前記右カメラが、前記支持構造体に結合される、ステップと、
前記左カメラおよび前記右カメラによってそれぞれ受け取られ、検出された前記放射から左ビデオ信号および右ビデオ信号を作り出すステップと、
プロセッサによって、前記左カメラおよび前記右カメラによって略同時にそれぞれ取り込まれる、前記左カメラからの左画像および前記右カメラからの右画像を表す信号を受信するステップと、
前記左画像と前記右画像を前記プロセッサによって比較するステップと、
前記比較の結果に基づいて、前記プロセッサによって鏡面反射を検出するステップとを含む、視放線を視覚化する方法。
【請求項18】
前記左ビデオ信号および前記右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップをさらに含み、前記左ディスプレイおよび前記右ディスプレイが、前記支持構造体に結合され、前記左ディスプレイに動作可能に接続された左接眼レンズおよび前記右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、請求項１７に記載の視放線を視覚化する方法。
【請求項19】
光放射を視覚化するための双眼デバイスであって、支持構造体と、
前記支持構造体に結合された左カメラおよび右カメラであって、前記左カメラが左光学系と左画像センサとを備え、前記右カメラが右光学系と右画像センサとを備え、前記左画像センサおよび前記右画像センサが、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される、左カメラおよび右カメラと、
前記支持構造体に結合された左ディスプレイおよび右ディスプレイを備え、前記左ディスプレイおよび前記右ディスプレイが、前記左ディスプレイに動作可能に接続された左接眼レンズおよび前記右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認されるように配置され、前記左ビデオ信号および前記右ビデオ信号にそれぞれ基づいて、前記左ディスプレイおよび前記右ディスプレイによって可視光で形成された左ビデオ画像および右ビデオ画像を提示するように構成され、
前記双眼デバイスが、特定の視覚化モードでは、ユーザが鏡面反射を識別することを可能にするために、前記左ディスプレイ上の前記左ビデオ信号に基づく左画像と、前記右ディスプレイ上の前記右ビデオ信号に基づく右画像とを交互に示すように構成される、双眼デバイス。
【請求項20】
視放線を視覚化する方法であって、支持構造体に結合された左入力光学系および右入力光学系によって、対応する左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサそれぞれに前記光を伝送するステップであって、前記左カメラおよび前記右カメラが、前記支持構造体に結合される、ステップと、
前記左カメラおよび前記右カメラによってそれぞれ受け取られ、検出された前記放射から左ビデオ信号および右ビデオ信号を作り出すステップと、
前記左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップであって、前記左ディスプレイおよび前記右ディスプレイが、前記支持構造体に結合され、前記左ディスプレイに動作可能に接続された左接眼レンズおよび前記右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、ステップとを含み、
前記提示するステップが、特定の視覚化モードでは、ユーザが鏡面反射を識別することを可能にするために、前記左ディスプレイ上の前記左ビデオ信号に基づく左画像と、前記右ディスプレイ上の前記右ビデオ信号に基づく右画像とを交互に示すことを含む、視放線を視覚化する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光放射を視覚化するための双眼デバイスに関する。本発明はさらに、可視および不可視放射を可視化するための双眼デバイスに関する。
【背景技術】
【0002】
外科手術を行う際に、外科医は、処置すべき組織を可能な限り識別できるように、手術室内で明るい光を使用する。しかし、そのようにしてすべてを明確に見ることができるわけではない。例えば、特定の腫瘍などの特定の組織型は、人間の眼では見えない。これらの組織種は、近赤外撮像の技術によって可視化できることがある。これは腫瘍組織に当てはまり得る。
【0003】
Ｓｕｍａｎ Ｂ．Ｍｏｎｄａｌらによる「Ｂｉｎｏｃｕｌａｒ Ｇｏｇｇｌｅ Ａｕｇｍｅｎｔｅｄ Ｉｍａｇｉｎｇ ａｎｄ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ ｐｒｏｖｉｄｅｓ ｒｅａｌ－ｔｉｍｅ ｆｌｕｏｒｅｓｃｅｎｃｅ ｉｍａｇｅ ｇｕｉｄａｎｃｅ ｆｏｒ ｔｕｍｏｒ ｒｅｓｅｃｔｉｏｎ ａｎｄ ｓｅｎｔｉｎｅｌ ｌｙｍｐｈ ｎｏｄｅ ｍａｐｐｉｎｇ」Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ，ｖｏｌ．５，ｎｏ．１，２０１５年、７月は、ＬＥＤとバンドパスフィルタとを備える近赤外（ＮＩＲ）光源と、白色光源としての白色フラッシュライトまたはショートパスフィルタで覆われた外科用ライトとを備えるシステムを開示している。撮像モジュールは、カスタムガラスレンズを介して組み合わされた色ＮＩＲ信号を収集する。入力信号が、カスタムダイクロイックビームスプリッターキューブによって可視成分およびＮＩＲ成分に分割され、別々のカラーおよびＮＩＲセンサに向けられていた。ＮＩＲセンサおよびカラーセンサは共位置合わせされていた。Ｗｉｎｄｏｗｓ（登録商標） ｘ６４ ＰＣは、重畳カラーＮＩＲ画像を生成し、画像データの表示、記憶、および処理機能にアクセスするＧＵＩを作り出し、ＰＣおよび頭部装着型ディスプレイモジュールに同時に表示するための画像を複製する。ディスプレイモジュールは、頭部装着型ディスプレイからなる。
【発明の概要】
【0004】
改善された視覚化デバイスを提供することが有効であろう。この問題に対処するために、本発明の一態様によれば、光放射を視覚化するための双眼デバイスであって、
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備え、左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される、左カメラおよび右カメラとを備え、
デバイスは、処理ユニットをさらに備え、処理ユニットは、
左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するように、
左画像を右画像と比較するように、かつ
比較の結果に基づいて鏡面反射を検出するように構成される、双眼デバイスが、提供される。
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備え、左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される、左カメラおよび右カメラとを備え、
デバイスは、処理ユニットをさらに備え、処理ユニットは、
左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するように、
左画像を右画像と比較するように、かつ
比較の結果に基づいて鏡面反射を検出するように構成される、双眼デバイスが、提供される。
【0005】
別の態様によれば、視放線を視覚化する方法であって、
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは、支持構造体に結合される、ステップと、
左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左右のビデオ信号を作り出すステップと、
プロセッサによって、左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するステップと、
左画像と右画像をプロセッサによって比較するステップと、
比較の結果に基づいて、プロセッサによって鏡面反射を検出するステップとを含む方法が、提供される。
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは、支持構造体に結合される、ステップと、
左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左右のビデオ信号を作り出すステップと、
プロセッサによって、左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するステップと、
左画像と右画像をプロセッサによって比較するステップと、
比較の結果に基づいて、プロセッサによって鏡面反射を検出するステップとを含む方法が、提供される。
【0006】
別の態様によれば、光放射を視覚化するための双眼デバイスであって、
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備え、左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される、左カメラおよび右カメラと、
支持構造体に結合された左ディスプレイおよび右ディスプレイとを備え、左ディスプレイおよび右ディスプレイが、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認されるように配置され、左ビデオ信号および右ビデオ信号にそれぞれ基づいて、左ディスプレイおよび右ディスプレイによって可視光で形成された左ビデオ画像および右ビデオ画像を提示するように構成され、
双眼デバイスは、特定の視覚化モードでは、左ディスプレイ上の左ビデオ信号に基づく左画像と、右ディスプレイ上の右ビデオ信号に基づく右画像とを交互に示すように構成される、双眼デバイスが、提供される。
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備え、左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成される、左カメラおよび右カメラと、
支持構造体に結合された左ディスプレイおよび右ディスプレイとを備え、左ディスプレイおよび右ディスプレイが、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認されるように配置され、左ビデオ信号および右ビデオ信号にそれぞれ基づいて、左ディスプレイおよび右ディスプレイによって可視光で形成された左ビデオ画像および右ビデオ画像を提示するように構成され、
双眼デバイスは、特定の視覚化モードでは、左ディスプレイ上の左ビデオ信号に基づく左画像と、右ディスプレイ上の右ビデオ信号に基づく右画像とを交互に示すように構成される、双眼デバイスが、提供される。
【0007】
これにより、ユーザは鏡面反射を識別することができる。
【0008】
別の態様によれば、視放線を視覚化する方法であって、
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは、支持構造体に結合される、ステップと、
左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップと、
左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップであって、左ディスプレイおよび右ディスプレイは、支持構造体に結合され、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、ステップとを含み、
提示するステップは、特定の視覚化モードにおいて、左ディスプレイ上の左ビデオ信号に基づく左画像と、右ディスプレイ上の右ビデオ信号に基づく右画像とを交互に示すことを含む、方法が、提供される。
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは、支持構造体に結合される、ステップと、
左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップと、
左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップであって、左ディスプレイおよび右ディスプレイは、支持構造体に結合され、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、ステップとを含み、
提示するステップは、特定の視覚化モードにおいて、左ディスプレイ上の左ビデオ信号に基づく左画像と、右ディスプレイ上の右ビデオ信号に基づく右画像とを交互に示すことを含む、方法が、提供される。
【0009】
これにより、ユーザは鏡面反射を識別することができる。
【0010】
改善された視覚化デバイスを提供することが有効であろう。この問題に対処するために、本発明の一態様によれば、可視および不可視の放射を視覚化するための双眼デバイスが、提供される。双眼デバイスは、
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備える、左カメラおよび右カメラとを備え、
左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成され、
カメラのうちの少なくとも１つは、不可視放射波長帯域の放射および可視光放射波長帯域の放射の両方に感受性を有し、カメラのうちの少なくとも１つの入力光学系は、不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である。
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備える、左カメラおよび右カメラとを備え、
左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成され、
カメラのうちの少なくとも１つは、不可視放射波長帯域の放射および可視光放射波長帯域の放射の両方に感受性を有し、カメラのうちの少なくとも１つの入力光学系は、不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である。
【0011】
特徴の組み合わせは、可視光波長範囲および不可視波長範囲における特徴の立体的に現実的な描写を提示するのに役立ち得る。不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である入力光学系は、画質を向上させるのに役立ち得る。これは、赤外線放射などの受け取られた不可視放射の強度が、ほとんどの場合、可視光の強度よりもはるかに小さいという考えに基づいている。多くの実際の状況では、可視光は豊富に存在するが、不可視放射波長帯域の強度ははるかに小さい。可視光放射波長帯域の低減により、不可視放射波長帯域の低減を過度に低減することなく、放射の両方の波長帯域の強度レベルが互いに近づけられる。これは、特に低コストおよび／または軽量の光学系および画像センサと組み合わせて、画像品質を改善することができる。
【0012】
例えば、赤外線は近赤外（ＮＩＲ）であってもよい。放射の近赤外波長帯域で拡散反射または蛍光透視放射を視認する用途では、受信される関連する近赤外放射の強度は、多くの場合、可視波長帯域で受信される放射よりもはるかに小さい。
【0013】
双眼デバイスは、支持構造体に結合された左ディスプレイおよび右ディスプレイをさらに備えることができ、左ディスプレイおよび右ディスプレイが、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認されるように配置され、左ビデオ信号および右ビデオ信号にそれぞれ基づいて、左ディスプレイおよび右ディスプレイによって可視光で形成された左ビデオ画像および右ビデオ画像を提示するように構成される。これにより、例えば頭部装着型デバイスまたは携帯型デバイス内に、不可視波長帯域の視覚化を改善するカメラおよびディスプレイを内蔵したディスプレイデバイスを作り出すことができる。
【0014】
不可視波長帯域の放射に感受性を有するカメラの入力光学系は、偏光材料の少なくとも１つの層を備える偏光フィルタを備えることができる。所望の特性を有する偏光フィルタが、特に軽量で費用効果の高い材料で構成され得る。例えば、多くのサングラスに使用されている材料は、可視光の強度を大幅に低下させる一方で、近赤外および赤外などの特定の不可視放射波長帯域の大部分を透過させる。
【0015】
偏光フィルタは、互いに直交する偏光方向を有する偏光材料の少なくとも２つの層を備えることができる。このようにして、可視光の約９８％～９９％を相対スペクトル線形の形で遮断することができる。さらに、近赤外波長範囲などの特定の不可視波長の放射の約９０％～９５％が、偏光フィルタを透過することができる。
【0016】
双眼デバイスは、少なくとも不可視波長帯域および可視光波長帯域内の放射を生成することができる、支持構造体に結合された光源をさらに備えることができる。
【0017】
好ましくは、光源は、例えば光学素子によって、幾何学的形状および位置が略同一になるように位置合わせされた、可視光の放出ビームおよび不可視放射の放出ビームを生成するように構成される。このようにして、検出された画像は、より一貫性があり得る。
【0018】
光源は、光源によって出力された可視光波長帯域内の可視光を偏光させ、不可視波長帯域の放射を透過させるように構成された偏光フィルタを備えることができ、光源の偏光フィルタの偏光方向は、入力光学系の偏光フィルタの偏光方向と略直交する。これは、ほとんどの不可視放射を維持しながら可視光の量を大幅に低減する別の方法である。
【0019】
不可視放射に感受性を有するカメラに対応する入力光学系は、アパーチャを有する絞りを備えることができ、アパーチャの周りの絞りは、可視光波長帯域の光に対して縮小性であり、一方、絞りは、赤外波長帯域の光に対して透過性である。これにより、実質的に絞りの影響を受けることなく、不可視波長帯域の放射を通過させながら、可視光波長帯域に選択的に絞りを適用することが可能になる。不可視放射の強度と比較して可視光の強度を低減することに加えて、この特徴は、光学系の利用を改善することを可能にする。従来のレンズは、分散により、異なる放射波長に対して異なる焦点を有することが知られている。放射の各波長帯域（例えば、赤色、緑色、青色、および赤外線）に最適な焦点を可能にするためには、例えば、各波長帯域を別々の束に分離し、別々の光学系を使用して各束を別々に焦点合わせすることによる複雑な光学系が必要である。比較的小さなアパーチャを有する絞りを使用すると、焦点深度が増加し、これにより、この問題は減少するが、放射の強度も減少する。可視光の強度が不可視波長帯域の放射の強度よりもはるかに高いことを考慮すると、本明細書に記載の絞りは、不可視波長帯域の低強度放射を減少させることなく可視光用の絞りの利点を有する。焦点深度は、可視光放射波長帯域に対して増加し、可視光の鮮明な画像を提供する。これは、不可視放射波長帯域に対する入力光学系の焦点を最適化することを可能にする。それにより、入力光学系は分散を考慮する必要がないため、入力光学系を単純化することができる。
【0020】
入力光学系は、オートフォーカスを有するレンズを備えることができ、オートフォーカスは、不可視波長帯域の放射を集束させるように構成される。これは、知られているオートフォーカス機能を使用して行うことができる。このようにして、カメラによって記録された各波長帯域を鮮明な画像にすることができる。
【0021】
赤外線感知カメラの入力光学系は、絞りに加えて、可視光波長帯域の光に対して縮小性である追加のフィルタを備えることができる。可視光強度をさらに低減するために、可視光用の追加のフィルタを追加することができ、追加のフィルタは、アパーチャを有さない。
【0022】
不可視波長帯域の放射に感受性を有するカメラの入力光学系は、可視光波長帯域の放射を選択的に低減するためのヨウ素を含むフィルタを備えることができる。ヨウ素は、そのような放射を低減する一方で、赤外または近赤外波長帯域などの特定の不可視波長帯域に対して透過性であることが知られている。
【0023】
双眼デバイスは、処理ユニットを備えることができ、処理ユニットは、左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するように、左画像と右画像を比較するように、かつ比較の結果に基づいて鏡面反射を検出するように構成される。これは、鏡面反射を検出するのに便利である。処理ユニットは、支持構造体に固定される必要がないことが観察される。しかし、処理ユニットは、画像センサおよびディスプレイとビデオ信号を交換するための通信接続（有線または無線）を有することができる。左画像および右画像は、支持構造体に接続された光源がオンに切り替えられて可視光および不可視波長帯域の放射を放出している間に、略同時に取り込まれ得る。このようにして、反射はより予測可能な外観を有することができる。
【0024】
双眼デバイスは、少なくとも赤外光および可視光を生成するための、支持構造体に結合された光源をさらに備えることができ、光源は、可視光強度を略一定に保ちながら赤外光を断続的に放出するように構成され、カメラは、赤外光の放出を伴う少なくとも１つの画像および赤外光の放出を伴わない少なくとも１つの画像を取り込むように構成される。これにより、改善された品質の画像が提供される。その理由は、可視光画像は、不可視波長範囲の放射の放出によって引き起こされる可能性のある劣化を被らないためである。さらに、可視波長域のちらつきを引き起こさないですむことがある。さらに、これにより、赤外光の放出を伴う取り込まれた画像を、赤外光の放出を伴わない取り込まれた画像と組み合わせることにより、改良された品質の画像を生成することが可能になり得る。
【0025】
処理ユニットは、赤外光の放出を伴う取り込まれた画像および赤外線の放出を伴わない取り込まれた画像に基づいて、強化された赤外画像を計算するように構成され得る。
【0026】
左カメラおよび右カメラのそれぞれは、不可視波長帯域の放射および可視光波長帯域の放射に感受性を有し得るが、左入力光学系および右入力光学系のそれぞれは、赤外波長帯域に対して透過性であってもよく、可視光波長帯域に対して縮小性であってもよい。このようにして、不可視波長帯域の放射を立体的に可視化することができる。
【0027】
不可視波長帯域の放射に感受性を有するカメラの画像センサは、赤外放射波長帯域と可視放射波長帯域の両方に感受性を有するセンサダイを備えることができ、センサダイは、赤外波長帯域の放射と可視波長帯域の放射の両方に対応するビデオ信号を出力するように構成され得る。これにより、双眼デバイスの比較的単純で軽量な設計が可能になる。さらに、可視光の低減と組み合わせて、画質を依然として高くすることができる。
【0028】
本発明の別の態様によれば、可視および不可視の放射を視覚化する方法が、提供される。方法は、
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは支持構造体に結合され、
カメラのうちの少なくとも１つは、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、不可視放射波長帯域に感受性を有するカメラの入力光学系は、不可視放射波長帯域に対して透過性であり、可視光放射波長帯域に対して縮小性である、ステップと、
左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップと、
左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および前記右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップであって、左ディスプレイおよび右ディスプレイは、支持構造体に結合され、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、ステップとを含む。
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは支持構造体に結合され、
カメラのうちの少なくとも１つは、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、不可視放射波長帯域に感受性を有するカメラの入力光学系は、不可視放射波長帯域に対して透過性であり、可視光放射波長帯域に対して縮小性である、ステップと、
左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップと、
左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および前記右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップであって、左ディスプレイおよび右ディスプレイは、支持構造体に結合され、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、ステップとを含む。
【0029】
当業者であれば、上述の特徴は、有用と考えられる任意の方法で組み合わせることができることを理解するであろう。さらに、システムに関して説明した修正および変形は、方法およびコンピュータプログラム製品にも同様に適用することができ、方法に関して説明した修正および変形は、システムおよびコンピュータプログラム製品にも同様に適用することができる。
【0030】
以下では、図面を参照して、例によって本発明の態様を説明する。図面は概略図であり、縮尺通りに描かれていない場合がある。図面を通して、同様の項目は同じ参照番号で示され得る。
【図面の簡単な説明】
【0031】
【図1】視覚的撮像と赤外線撮像とを組み合わせるためのシステムの図である。
【図2A】頭部装着型デバイスのカメラの概略図である。
【図2B】直交して配向された偏光子の対を含む頭部装着型デバイスのカメラの概略図である。
【図3A】直交して配向された偏光フィルタの対を示す図である。
【図3B】アパーチャを有する直交して配向された偏光フィルタから作製された絞りの対を示す図である。
【図3C】絞りフィルタの効果を示す図である。
【図4】双眼デバイスを使用した立体視の光学原理を示す図である。
【図5】鏡面反射の第１の例を示す図である。
【図6】鏡面反射の第２の例を示す図である。
【図7】鏡面反射の第３の例を示す図である。
【図8】片目用のカメラとビューアの組み合わせの図である。
【図9】動作中の双眼デバイスのタイミング図の例を示す図である。
【図10】下から見た、例示的な頭部装着可能な双眼デバイスの部分的に加工された開放図である。
【図11】横から見た、同じ頭部装着可能な双眼デバイスの部分的に加工された開放図である。
【図12】ユーザの頭部に取り付けられた頭部装着可能なデバイスを示す図である。
【図13】いくつかの波長帯域を示す図である。
【図14】可視および不可視放射を視覚化する方法のフローチャートである。
【発明を実施するための形態】
【0032】
添付の図面を参照して、特定の例示的な実施形態をより詳細に説明する。
【0033】
明細書に開示された事項、例えば詳細な構造および要素は、例示的な実施形態の包括的な理解を助けるために提供される。したがって、それらの詳細に規定された事項を伴わずに例示的な実施形態を実施できることは明らかである。また、周知の動作または構造は、不必要な詳細で説明を不明瞭にするため、詳細に説明されていない。
【0034】
図１は、視覚的撮像と赤外線撮像とを組み合わせるためのシステムの一実施形態の概要を示す。システムは、ここでは赤外線撮像の文脈で説明されているが、近赤外もしくは紫外線、または任意の他の不可視放射波長帯域についても同様の配置を行うことができる。システムは、内蔵カメラの対を備えた頭部装着型ディスプレイ１０１を備える。例えば、システムは、例えば１～５の倍率を使用して、視認されている写真を拡大することができる。ユーザが拡大画像を視認している間、元の画像に基づいて記録を継続することができる。水平４０度の広角のフルＨＤビューを提供することができる。システムは、ウェアラブルで自律的であるように実装され得る。例えば、カメラ付き頭部装着型ディスプレイ１０１には、ウェアラブルＰＣによって追加の計算能力を提供することができ、このウェアラブルＰＣは、ユーザによって携帯され、有線（または無線）インターフェースによって頭部装着型ディスプレイ１０１に接続され得る。ウェアラブルＰＣおよびカメラ付き頭部装着型ディスプレイ１０１は、電池式であり、無線（または有線）接続１０７を介して外部デバイスと通信することができる。これにより、ユーザに移動の自由度が提供される。頭部装着型ディスプレイ１０１は、例えば２５０グラム未満の軽量であってもよい。システムは、例えば直接画像ストリーミングおよび記録を介して３ｄ記録を可能にすることができ、手術チームがより大きなディスプレイ画面１０５で画像ストリームを直接視認することを可能にすることができる。システムは、頭部装着可能なデバイス１０１のユーザと並行してアシスタントによって操作することができる外部ユーザインターフェースデバイス１０４をさらに備えることができる。ユーザインターフェースデバイス１０４は、ウェアラブルＰＣ１０２に有線または無線で接続されてもよく、および／または頭部装着型ディスプレイ１０１に直接接続されてもよい。システムは、フットペダル１０６またはタブレットによる遠隔制御装置をさらに備えることができ、遠隔制御装置は、ウェアラブルＰＣ１０２に有線または無線で、および／または頭部装着型ディスプレイ１０１に直接接続されてもよい。システムは、オンデマンドで術前画像の画像オーバーレイ内に拡張現実写真を提供するようにさらに構成され得る。
【0035】
例えば、視点は、外科医の頭部の動きに従う。
【0036】
既存のシステムは、かさばり、重く、頭部装着可能ではなく、眼とうまく位置合わせされず、処理された画像の視覚化が遅延し、自律的ではないとともに、２メートルを超える固定焦点距離を有する。
【0037】
一般外科、腫瘍形成外科、泌尿器科、婦人科、耳鼻咽喉科、胸部外科、および神経外科などのほとんどの外科分野（開腹または腹腔鏡）には１つの共通点があり、それは、温存する必要がある重要な解剖学的構造（例えば、神経、リンパ組織および血管）への損傷を正確に見分けおよび防止し、除去または治療する必要がある標的組織を見分ける必要性である。これは、特に個体間の自然な解剖学的変動（重要な構造の正確な位置は個体ごとに異なる）を考慮する場合、困難である。重要な構造を損傷すると、血管損傷、尿管損傷、胆管損傷および神経損傷などの重度の外科的合併症を引き起こす可能性がある。そのような合併症は、患者およびヘルスケアシステムに大きな影響を及ぼす。したがって、これらのリスクを低減することができる解決策は、外科医、その患者および社会全体にとって非常に重要である。
【0038】
作業距離における重要な非可視解剖学的構造（組織）の認識が望ましく、本明細書に開示される技術によって提供され得る。
【0039】
極めて精緻化された微細作業のための深度および身体方向の最適な空間的知覚を伴って手術を行うことができるように、リアルタイムの視覚化（または、例えば、視覚化レイテンシが最大３０ｍｓである）が、頭部装着型３Ｄディスプレイ１０１において提供され得る。視覚化のより長い遅延は、視覚入力が身体固有受容入力と一致しない場合、頭部が自由に動いているときに見当識障害および悪心（酔い）を引き起こすことが知られている。
【0040】
通常の作業視覚距離範囲（例えば３０～５０ｃｍ）全体にわたる重要な不可視解剖学的構造（組織）の非接触による認識が、提供され得る。最適な空間深度知覚による拡張現実視覚化のために、リアルタイムの、または非常に低レイテンシの（最大３０ｍｓの）同時視覚（ＶＩＳ）および近赤外（ＮＩＲ）の３Ｄ画像が、提供され得る。ウェアラブルコンピュータシステム１０２内または頭部装着可能なデバイス１０１内のコンピュータ分析埋め込みアルゴリズム（例えば、ＦＰＧＡに実装される）は、２つのデータストリームのピクセル整列によって、実際の臨床視野（ＦＯＶ）上では人間の眼には見えないデータから重要な組織の拡張ＡＲオーバーレイを生成しながら、異なる組織タイプおよび人間の器官のスペクトル指紋（特性）を（リアルタイムで）認識することを可能にすることができる。例えば、可視光ベースのビデオストリームと、各眼が１つの３ＤＨＤビデオストリームで視覚化するための近赤外ストリームなどの非可視波長範囲に対応するビデオストリーム。システムは、頸部の緊張または眼の疲労のない最適な人間工学および長期使用（例えば４～６時間まで）のためのコンパクトな軽量（例えば、２５０グラム未満）の頭部装着可能なデバイス１０１の周りに構築することができる。システムは、最適な移動の自由度および最小のラグのために、自律型のコンパクトなウェアラブルコンピュータシステム１０２（例えば、無線１０７で給電される電池、外部サーバへの高速のデータおよびビデオ伝送）をさらに備えることができる。
【0041】
システムは、同時に取得された左画像および右画像を比較することによって、組織上の反射率によって引き起こされる光沢のあるスポットと、組織から真に生じる発光とを見分けることができ得る。反射された光沢のあるスポットの位置は、光源に向かう反射角度の違いのために、左右の画像間で異なり得る。しかし、（例えば、蛍光発光によって）組織自体によって放射されるか、または身体のコントラストに由来する光スポットの位置は、収束された画像内の同じ位置に留まり得る。特に、付加された蛍光マーカーから弱い信号、または身体の自己蛍光から（さらに弱い）信号が可視化される場合、組織反射からの光沢スポットの選択的抑制が有効であり得る。光沢反射スポットのこの抑制方法は、光源とカメラ入力との間の交差偏光などの他の方法と組み合わせることができる。
【0042】
ＦＰＧＡ内で局所的に処理することにより、より長い距離によるデータ転送速度の制限が、回避され得る。頭部装着可能なデバイス１０１は、コンピュータ分析埋め込み固有アルゴリズム（ＦＰＧＡ）に基づいて重要な非可視組織のリアルタイム認識を可能にして、リアルタイムでスペクトルシグネチャを認識することができる。
【0043】
専用の画像処理組み込みソフトウェア（例えば、ＦＰＧＡに実装される）は、単一のハードウェアプラットフォーム上に表示される様々なディスプレイ技術（例えば、ＯＬＥＤ、ＦＬＣｏＳおよびＡＭＬＣＤ）に対応し、業界標準のビデオ信号をマイクロディスプレイに必要なビデオフォーマットおよび制御信号に変換することができる。最適な空間的深度知覚で手術を行うことができるように、重要な組織の３Ｄ拡張現実コントラストオーバーレイが、ＲＧＢ可視ビデオストリーム上に提供され得る。専用のソフトウェアがこれを可能にすることができる。人間工学的な利点および移動の自由度を有する頭部装着可能な自律システムが、好ましくはこれを外部ソースに接続する配線無しで提供され得る。
【0044】
頭部装着可能なデバイス１０１は、ウェアラブルコンピュータ１０２にテザリング１０３され得る。これは、患者ファイルおよび教育目的のための処置の３Ｄ記録、収束補償のためのリアルタイムアルゴリズム計算による２Ｄ再生、最適なチーム作業を改善するための近くのスクリーン１０４、１０５への２Ｄまたは３Ｄリアルタイム（無線１０７）ストリーミングだけなく、遠隔支援、医療患者データ記録および／または教育目的、最適な３Ｄ精度のための１～５～１０～２０倍の滑らかなインテリジェントズーム機能、作業距離に基づくソフトウェア調整可能な３Ｄ収束、最適な人間工学（首ヘルニアを最小限に抑える）のために、および最適な鮮明さのために画像が眼の網膜上の黄斑で取り込まれ得るように０～２０度の下方にカメラ角度を位置決めすることを容易にすることができる。システムは、組織構造認識（腫瘍学、皮膚科学など）のための複数の新しい医療応用領域に関する研究を実施する際に使用され得る。システムは、法医学研究のような他の非医療用途領域に適用可能である。ユーザへのビデオまたは情報（遠隔支援）は、必要に応じてユーザの視界にポップアップ表示させることができる（例えば、音声制御、ジェスチャまたはフットペダルを介する）。光学的輝度は、理想的な観察条件の環境照明条件に自動的に適合することができ、レンズ光感知技術によって周囲を提供する。埋め込みＩＭＵは、仮想（コンピュータ生成）環境でリアルタイムで３軸線（例えば、ヨー、ピッチおよびロール）でユーザの頭部の動きを登録することができる。これにより、複数の視点からの複数の立体画像のパノラマ３Ｄスティッチングが可能になり得る。無線１０７のフットスイッチ１０６および／または様々な機能の音声／ジェスチャ制御が、提供され得る。
【0045】
デバイスは、可視（ＶＩＳ）またはＵＶ、または近赤外（ＮＩＲ）スペクトル範囲に対して別々に制御可能な光源を動作させることができる。両方の束が、慎重に整列され得る。したがって、近赤外（ＮＩＲ）光源をオンおよびオフにして連続的なＮＩＲ画像を得るためにＮＩＲ照明を変調することによる、周囲光（例えば、蛍光管と同様に）内に存在するＮＩＲ光のトレースのための自動補償により、暗視野補償が可能になる。これはすべて、視覚光源を変調する必要がない（変調は、不快なちらつきを引き起こす可能性があり、またはてんかん発作を引き起こす可能性さえある）。
【0046】
解剖学的構造の照射は、少なくとも２つのスペクトル範囲、すなわち可視光および不可視ＵＶまたは近赤外領域で実行され得る。照明は、光温度（Ｋ）、演色評価数（ＣＲＩ）、角度およびビーム形状に対して明確に定義された光条件下で行われ得る。しかし、システムは、異なる光状態に自動的に適応するように構成され得る。
【0047】
２つのマルチスペクトルカメラ（それぞれがＲＧＢビデオによる視覚範囲と別個のＵＶまたは近赤外スペクトル視覚化を組み合わせる）が、提供され得る。データ処理、異なる組織タイプおよび人間の器官の（リアルタイムの）スペクトル指紋を認識するための埋め込みアルゴリズム（ＦＰＧＡ）を有するウェアラブルコンピュータ１０２が、提供され得る。ユーザは、視覚拡張に合わせて様々な組織種間で選択することができる。最適な深度知覚は、視差および収束の３Ｄソフトウェアリアルタイム補正によってサポートされ得る。最大４０ＧＢ／ｓのデータレートの高速データ交換のための（ＵＳＢ３．２ Ｇｅｎ２ｘ２を介した）最適化されたデータ転送技術が、提供され得る。２つのＮＩＲカメラおよび２つのマイクロディスプレイを制御するために、単一のケーブルが、実装され得る。画像対のストリームのデータ処理は、例えば３０ミリ秒未満以内に頭部装着型ディスプレイ１０１に出力画像を供給することができる、ウェアラブルコンピュータ１０２内のテザリングされた１０３または無線接続のプロセッサを介して外部で行われ得る。そうでなければ人間の眼には見えないはずの重要な組織コントラストの拡張されたＡＲオーバーレイが、２つのデータストリームのピクセル位置合わせによって実際の臨床視野（ＦＯＶ）上に表示されて１つの３Ｄ画像で視認することができる。システムは、様々なディスプレイ技術（ＯＬＥＤ、ＦＬＣｏＳおよびＡＭＬＣＤ）に対応し、業界標準のビデオ信号をマイクロディスプレイに必要なデータおよび制御信号に変換することができる。システムは、例えば、フットペダル、音声制御またはリモートタブレットのタッチスクリーンによって制御され得る。
【0048】
図２Ａは、頭部装着型デバイス１０１のカメラの概略図を示す。立体観察をサポートするために、各眼に１つずつ、２つのカメラが実装され得る。カメラは、開口部２０９を除いて、光学構成要素を外部放射から光学的に分離する壁２０８を有するハウジングを備えることができる。カメラは、入力光学系２１０と画像センサ２０６とを備えることができる。入力光学系２１０は、開口部２０９から画像センサ２０６に向かって順に配置されて、第１のレンズ２０１と、ノッチフィルタ２０２と、可視光低減フィルタ２０３と、可視光絞り２０４と、第２のレンズ２０５とを備えることができる。これらの構成要素の順序は、種々の実施態様によって異なることができ、レンズ２０１，２０５の数および構成も異なることができる。レンズ２０１、２０５のうちの１つまたは複数は、画像センサ２０６によって感知される画像を合焦させる目的で移動可能であり得る。画像センサ２０６は、赤色波長範囲、緑色波長範囲、および青色波長範囲などの可視放射の少なくとも１つの波長と、近赤外波長範囲、赤外波長範囲、および／または紫外波長範囲などの非可視放射の少なくとも１つの波長範囲の両方に対して画像センサ２０６を感受性にするためのコーティングを有するシリコン実装センサを備えることができる。
【0049】
任意選択のノッチフィルタ２０２は、特定の望ましくない波長範囲の励起を少なくとも部分的に抑制することができる。
【0050】
可視光低減フィルタ２０３は、可視光波長の大部分を抑制または低減するように適合され得る。さらに、可視光低減フィルタ２０３は、画像センサ２０６が感度を有する非可視波長範囲の光を通過させる、または透過させるように適合され得る。例えば、可視光低減フィルタ２０３は、可視光波長範囲の光の大部分を反射または吸収しながら、関連する非可視波長範囲の光の大部分を透過させるダイクロイック材料で作製され得る。可視光低減フィルタ２０３は、可視光の一部を通過させるように適合される。
【0051】
可視光低減フィルタ２０３および／または可視光絞り２０４に適した材料の例は、ヨウ素を含浸させたポリビニルアルコール（ＰＶＡ）ポリマーであるＨシートポラロイド（登録商標）、およびＰＶＡを脱水することによって作り出されたＰＶＡポリマー中に整列したポリビニリデン鎖を含むＫシートポラロイド（登録商標）を含む。別の例示的な材料は、溶媒中で液晶相を形成することができる剛性棒状ポリマーを含む組成物で形成されたコーティング可能なポリマー偏光子であり、剛性棒状ポリマーは、米国特許出願公開第２０１６／０２６６２９２号明細書に開示されているように、無彩色偏光子を形成することができる。さらに別の例示的な材料は、米国特許第８，５５９，１０５号明細書に開示されているように、基材層と親水性高分子層とを含み、伸張処理が施されている積層対である伸張された積層体を含む偏光板であり、少なくとも二色性物質が親水性高分子層に吸着されている。別の例は、誘電体ビームスプリッタに通常使用される材料に基づく。放射が分割される波長を特定することができるため、ＮＩＲ光などの不可視放射波長帯域に対して透過性であり、可視光放射波長帯域に対して反射性である誘電体コーティングを製造することが可能である。この点に関して、誘電体ビームスプリッタで構成された可視光フィルタ２０３または可視光絞り２０４を、カメラ（図示せず）の光軸に対して角度を付けて（例えば４５度で）固定することが有用であり得る。
【0052】
可視光絞り２０４は、固定アパーチャまたは可変アパーチャを有することができる絞りである。絞りは、近赤外放射などの関連する非可視波長範囲に対して透過性でありながら、可視光波長範囲の光を低減する（または完全に遮断する）材料で作製される。例えば、可視光絞り２０４は、関連する非可視波長範囲の光の大部分を透過しながら、可視光波長範囲の光の大部分を反射または吸収するダイクロイック材料で作製され得る。例えば、可視光絞りは、可視光低減フィルタ２０３と同じ材料でまたは異なる材料で作製され得る。可視光絞り２０４は、可視光波長範囲の光（そのアパーチャを通過する光を除く）に対して完全に非透過性であってもよい。あるいは、可視光絞り２０３の材料は、可視光の（比較的小さな）部分を通過させることができる。
【0053】
レンズ２０５は、レンズ２０１と協働して、開口部２０９から画像センサ２０６上への入射光の束を作り出す。２つのレンズは、焦点機能を提供するために、互いに対して移動可能であってもよい。レンズは、可視光および関連する非可視波長範囲の両方に対して透過性であってもよい。
【0054】
図２Ａは、可視光低減フィルタ２０３および可視光絞り２０４の両方を示しているが、これに限定されないことが留意されよう。特定の実施形態では、これらの構成要素のいずれか１つが提供され得る。いずれの場合でも、入力光学系２１０は、関連する非可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である。上述したように、入力光学系は可視光を完全に遮断するのではなく、単に画像センサ２０６に適したレベルまで低減する。さらに、入力光学系は、関連する不可視波長範囲の光の１００％を通過させる必要はない。例えば、利用可能な材料の制限により、入力光学系は、関連する不可視波長範囲の光も少し低減する。
【0055】
入力光学系２１０は、可視光波長帯域の放射に対して縮小性である。例えば、可視光波長帯域の放射強度は、少なくとも７５％、好ましくは少なくとも９０％、より好ましくは少なくとも９５％、さらにより好ましくは少なくとも９８％低減され得る。入力光学系は、選択された不可視波長帯域の放射に対して透過性である。例えば、入力光学系は、不可視放射波長帯域内の受け取られた放射の強度の少なくとも８０％、好ましくは少なくとも９０％、より好ましくは少なくとも９５％を透過させることができる。例えば、可視光の低減は少なくとも７５％であり、不可視放射の透過は少なくとも８０％である。例えば、可視光の低減は少なくとも９５％であり、不可視放射の透過は少なくとも９０％である。
【0056】
図２Ｂは、可視光低減フィルタ２０３が直交して配向された偏光フィルタ２０３ａおよび２０３ｂの対として実装されている図２Ａのカメラを示す。さらに、可視光絞り２０４は、直交して配向された偏光フィルタ材料で作製された絞り２０４ａ、２０４ｂの対として実装されている。例えば、そのような材料は、ヨウ素含有ポリマーを含む。直交して配向された偏光フィルタのこのような対は、可視光の約９８％～９９％をスペクトル的に線形に除去しながら、近赤外波長範囲の放射の約９０％～９５％を透過させることが知られている。このようなヨウ素含有高分子は、可視光を完全には除去しないことが留意される。これは、すべてではないが多くの可視光を除去するためのフィルタおよび絞りの目的に沿っている。
【0057】
図３Ａは、直交して配向された偏光フィルタ２０３ａおよび２０３ｂの対をシースルー方向に示す。対角線は偏光方向を示す。第１のフィルタ２０３ａの偏光方向は、第２のフィルタ２０３ｂの偏光方向と直交していることが、留意される。特定の用途では、２つではなく１つの偏光フィルタのみを設けることで十分であり得ることが観察される。さらに、２つの偏光フィルタが設けられる場合、例えば制御ソフトの制御下で、フィルタ２０３ａ、２０３ｂを互いに対して回転可能とすることで、可視光の低減量を可変とすることができる。
【0058】
図３Ｂは、アパーチャ２０７を有する直交して配向された偏光フィルタで作製された絞り２０４ａ、２０４ｂの対を示す。対角線は偏光方向を示す。第１のアパーチャフィルタ２０４ａの偏光方向は、第２のアパーチャフィルタ２０４ｂの偏光方向と直交していることが、留意される。特定の用途では、２つではなく１つの偏光フィルタベースの絞りのみを提供することで十分であり得ることが観察される。さらに、２つの偏光フィルタベースの絞りが設けられる場合、例えば、制御ソフトの制御下で、アパーチャフィルタ２０４ａ、２０４ｂを互いに対して回転可能とすることで、可視光の低減量を可変とすることができる。
【0059】
あるいは、特定の実施態様は、１つの偏光フィルタ２０３ａと１つの偏光絞りフィルタ２０４ａとを備えて、第２のフィルタ２０３ｂおよび第２の絞りフィルタ２０４ｂの一方または両方を省略することができる。１つのフィルタ２０３ａの偏光方向は、１つの絞り２０４ａに対して直交することができる（または他の所望の向きを有するか、または可変であることができる）。
【0060】
図３Ｃは、絞りフィルタ２０４の効果を示す。図３Ｃに示すグラフは、縦軸線に波長を有し、横軸線にカメラからの距離を有する（任意のスケール）。被写界深度は、カメラから見て、画像内で許容できるほど鮮明な焦点にある最も近い物体と最も遠い物体との間の距離である。可視光は、絞りフィルタ２０４のアパーチャ２０７のみを通過することができるので、可視光は、可視波長（ＶＩＳ）を表す水平線の矢印の間の大きな空間によって示されるように、被写界深度が比較的大きい。しかし、絞りフィルタ２０４の材料を通過させることができる非可視光波長範囲は、近赤外波長（ＮＩＲ）を表す水平線の矢印の間のより小さい空間によって示されるように、被写界深度が比較的小さい。非可視光は可視光よりもはるかに低い強度を有し得るので、絞りフィルタ２０４を介して可視光の量を低減しながら、すべての非可視光を保持することが有効であり得る。さらに、分散により、異なる波長に対するレンズの焦点が異なる。検出されたすべての波長で良好に焦点が合った画像を作り出すには、通常、高価で重いレンズシステムが必要である。本発明の絞りフィルタは、非可視光波長範囲に対して狭い被写界深度を作り出しながら、可視光波長範囲に対して大きな被写界深度を作り出す。この原理は、狭い被写界深度を有する不可視光に対するレンズの焦点を最適化することによって利用され得る。このようにして、不可視光画像は、鮮明でピントが合っている。可視光は被写界深度が大きいため、可視光画像も、鮮明でピントが合っている。したがって、このシステムは、比較的単純なレンズおよびフィルタを有する軽量で高品質の撮像デバイスを可能にする。
【0061】
図４は、立体視の光学原理を示す。これは、双眼デバイス４００を示す。図は、本明細書に開示された概念を説明するために簡略化されていることが観察される。例えば約２０センチメートルから１メートルの作動距離で焦点がさらに離れ得る多くの実用的な実施形態では、左眼４１３の視線は、右眼４２３の視線とほぼ平行であり得る。そのため、左光学系４１０は、右光学系４２０に対して非常に小さい角度でまたは平行に実装され得る。
【0062】
双眼デバイス４００は、双眼デバイス４００の構成要素が取り付けられる支持構造体４０４を備える。特定の実施形態では、デバイス全体がハウジング内に封入され得る。あるいは、左画像の構成要素は第１のハウジング内に封入されてもよく、右画像の構成要素は第２のハウジング内に封入されてもよく、両方のハウジングは支持構造体４０４に取り付けられている。どちらの方法でも、左光学系４１０および右光学系４２０は、互いに固定されている。特定の実施形態では、左光学系４１０および右光学系４２０は、例えば特定のユーザのためにデバイス４００をカスタマイズするために、互いに対して移動可能であってもよい。
【0063】
双眼デバイス４００は、左光学系４１０を備えることができる。左光学系４１０は、左カメラ４１１と左ディスプレイ４１２とを備えることができる。右光学系４２０は、右カメラ４２１と右ディスプレイ４２２とを備えることができる。左カメラ４１１および右カメラ４２１は、上述したように、可視光低減フィルタ２０３および／または可視光絞り２０４を備えることができる。しかし、特定の実施形態は、カメラの一方または両方においてそのようなフィルタまたは絞りを省略することができる。
【0064】
双眼デバイス４００は、光源４０３をさらに備えることができる。光源４０３は、所望の波長範囲の光を放射することができる任意のデバイスであってもよい。適切な光源の例は、発光ダイオード（ＬＥＤ）、白熱光、ハロゲン光、または別の光源を含む。光源４０３は、異なるスペクトル（例えば、白色の可視光を発生する光源および近赤外波長範囲などの不可視波長範囲の光を主に発生させる光源）の光を生成する２つ以上の光源と、これらの光源によって生成された光を組み合わせて一つの束にする光学系とを備えることができる。あるいは、光源は、可視波長および不可視波長の両方の光を放出する単一のエミッタを備えることができる。さらに代替的には、光源４０３は、略不可視波長範囲の光のみを放出することができる。例えば、特定の用途では、手術室の光または太陽光によって生成される環境光によって可視光が豊富に利用可能であり、その結果、双眼デバイス４００によって追加の可視光を生成する必要がないことが、想定され得る。
【0065】
図に示すように、動作中、光源４０３は光を生成する。例えば、光線４０５は、検査される組織などの物体４０１に当たることができる。
【0066】
これは、矢印４０５によって示されている。組織との光線４０５の入射点４０８における組織の接平面が、点線４０２で示される。例えば、拡散反射または蛍光発光の場合、光は、入射点４０８から、矢印４０６で示すように左カメラ４１１と、矢印４０７で示すように右カメラ４２１の両方に進行する。
【0067】
図５は、接平面５０２を有する入射点５０８での組織５０１による鏡面反射の場合の双眼デバイス４００を示す。光源４０３によって放出された光線５０５は、主に、この例では光線５０７に沿って右カメラ４２１に向かって反射される。点線５０６で示すように、左カメラ４１１に反射される光はほとんどまたは全くない。
【0068】
図６は、当然ながら、ただ１つの光線ではなく、束６０７で反射されて右カメラ４２１に入る光束６０５があることを示している。可視波長範囲に関して光源４０３によって生成される幾何学的ビーム形状は、非可視波長範囲に関して光源４０３によって生成される幾何学的ビーム形状と可能な限り同一であり得る。
【0069】
図７は、鏡面反射の別の例を示し、ここでは光源４０３によって放出された光束７０５の一部７０７は、組織７０１によって右カメラ４２１に向かって反射され、光束７０５の別の部分７０６は、左カメラ４１１に向かって反射される。
【0070】
鏡面反射が、実際の拡散反射コントラストまたは組織に由来する蛍光発光としてユーザによって誤って認識されることは望ましくない。両方のカメラが軸線外鏡面反射を受ける場合、出力画像は、例えば、組織表面上の２つの別個のスポット（図７のＸおよびＹ）からのＮＩＲ誘導蛍光発光として誤って認識される可能性がある。ＶＩＳ光源は、（眼に見えるちらつきを回避するために）連続的にオンに保たれ得る。ダイクロイック絞りおよび／またはフィルタは、ＮＩＲのものよりもはるかに強い可視波長における鏡面反射を抑制することができる。ＮＩＲ源は、眼に見えるちらつきを引き起こすことなくＯＮ／ＯＦＦに変調され得る。画像は、ＮＩＲ光源がオンである間およびＮＩＲ光源がオフである間にカメラ４１１および４２１によって取り込まれ得る。得られた画像の対（ＮＩＲ光源をオンにした１つの対（左／右）およびＮＩＲ光源をオフにした１つの対）を処理して、ＮＩＲの視覚化を向上させることができる。例えば、ＮＩＲ光源をオフにして得られた画像が、ＮＩＲ光源をオンにして得られた画像から減算され得る。このようにして、ＮＩＲの視覚化が強化された画像が、作り出される。ＮＩＲ画像を可視色に変換し、ＮＩＲ光源をオフにして得られた画像にブレンドすることができ、その結果、可視光とＮＩＲ光の組み合わされた視覚化が、作り出される。この組み合わされた視覚化は、左ディスプレイ４１２および右ディスプレイ４２２上に表示され得る。しかし、ＮＩＲ光を視覚化せずに、可視光のみの画像を左ディスプレイ４１２および右ディスプレイ４２２に表示することも可能である。
【0071】
特殊な撮像モードとして、左右のディスプレイ４１２、４２２におけるＮＩＲ光の視覚化が交互に行われる。すなわち、ある特定期間の間、左ＮＩＲ画像が左ディスプレイ４１２内に示され、その後、左ＮＩＲ画像の表示が停止され、右ＮＩＲ画像が、その特定期間の間右ディスプレイ４２２に表示される。時間期間は、例えば、平均的な人間がちらつきを知覚するのに十分な長さであり得る。より長い期間も可能である。この視覚化モードは、鏡面反射を拡散反射および蛍光発光と識別することを可能にする。真に組織に由来する拡散反射または蛍光発光によって引き起こされるスポットの場合、スポットは、図４に示すように、左視覚化と右視覚化の両方で同じ位置に現れる。しかし、鏡面反射によって引き起こされるスポットの場合、スポットは、図５および図６に示すように片目のみに現れるか、または図７に示すように左視覚化および右視覚化の異なる位置に現れる。したがって、両眼の同じ位置にスポットが発生しない場合（ちらつきおよび／または「揺れ」）、ユーザは鏡面反射があることを知り、頭部を動かし、それによって頭部装着可能なデバイスのカメラを動かして、鏡面反射を視界から除去する。
【0072】
鏡面反射と真の組織コントラストまたは蛍光発光との対比の別の特徴は、鏡面反射が観察者の頭部の向きでそれらの位置を移動するのに対して、真のコントラストおよび／または蛍光は組織上の同じ場所に留まることである。
【0073】
図４～図７に示す鏡面反射の視覚効果を使用して、自動化された画像処理によって取り込まれた画像内の鏡面反射を検出することができる。鏡面反射は、特に不可視波長範囲（例えば、近赤外範囲）において実際の信号を不明瞭にする可能性があるために望ましくない場合があり、重要な信号は拡散反射および／または蛍光発光であることが観察される。光源４０３によって放出された光の鏡面反射は、拡散反射および／または蛍光発光を見えなくする。ＮＩＲ光源をオンにした状態で、左カメラ４１１および右カメラ４２１によって左画像および右画像が略同時に取り込まれた後、鏡面反射検出処理が実行され得る。例えば、同時に取り込まれた左画像と右画像との比較が、特に輝点を検出するために実行され得る。例えば、画像内の特定の位置における強度が特定の閾値を上回る場合、輝点が検出され得る。さらに、左画像および右画像のうちの第１の画像においてそのような輝点が検出された場合、左画像および右画像のうちの他方の画像における対応する位置に輝点が存在するかどうかを決定することができる。例えば、対応する位置における画像強度を所定の閾値と比較することによって、対応する位置に輝点が存在するかどうかを決定することができる。「対応する位置」は、第１の画像内の輝点と同じ位置から特定の距離内を意味することができる。この距離は、視覚化された項目の対応する位置が、立体画像対における物体の視差に応じて、左画像および右画像においてわずかに異なり得ることを考慮して決定され得る。
【0074】
あるいは、既知のアルゴリズムを用いて視差を推定し、推定された視差に基づいて左画像および右画像の他方における対応する位置を決定することができる。
【0075】
例えば、推定された視差に従って左画像および右画像の対応する位置に輝点が検出された場合、これは鏡面反射ではなく、図４に示すように、比較的強い拡散反射であると決定することができる。
【0076】
【0077】
例えば、推定された視差に従って左画像および右画像の２つの対応する位置からちょうどオフセットされた異なる位置で輝点が検出された場合、輝点は、図７に示すように、両方の画像で鏡面反射であると決定することができる。
【0078】
好ましくは、チャネル内の鏡面反射は可視光フィルタおよび／または可視光絞りによって低減され得ず、非可視波長帯域における低強度特徴を適切に視覚化することが不可欠となり得るため、鏡面反射検出は、非可視チャネル（例えば、ＮＩＲチャネル）に対して実行される。あるいは、鏡面反射検出は、各色チャネル（赤色、緑色、青色、非可視光）に対して別々に実行され得る。さらに代替的に、チャネルの強度を組み合わせて、すべての検出された波長範囲の反射を同時に検出することができる。
【0079】
鏡面反射が検出されたとき、鏡面反射が検出されたことを示すためにアラーム信号が生成され得る。アラーム信号は、例えば、音声信号または視覚的指示を含むことができる。視覚的指示は、ディスプレイ４１２、４２２上に示され得る。例えば、非可視波長範囲において検出された鏡面反射は、非可視波長画像オーバーレイの残りの部分とは異なる色で表示され得る。例えば、非可視波長は、可視波長範囲のカラー画像の上部に緑色オーバーレイとして通常示され得る。しかし、スポットが鏡面反射として見分けられる場合、スポットは、緑色オーバーレイの残りの部分としてより暗い緑色として示され得る。これにより、ユーザは、鏡面反射のない位置に視野位置を少し移動させることができる。
【0080】
あるいは、検出された鏡面反射は、画像処理によって除去され得る。例えば、強度値に縮小率を乗算することにより、輝点における画像強度を局所的に低減することができ、それにより、輝点における画像強度を輝点周辺の平均画像強度と同じ平均レベルになるようにする。
【0081】
特定の実施形態では、いずれのカメラも、不可視放射波長帯域内の放射に感受性を有さない。例えば、両方のカメラは、可視光放射波長帯域（例えば、カラーカメラの場合、赤色波長範囲、緑色波長範囲、および青色波長範囲）における放射に感受性を有することができる。可視光低減フィルタ２０３および可視光絞り２０４は、上記で開示したように省略され得る。
【0082】
双眼デバイスは、任意選択により処理ユニットを備えることができ、処理ユニットは、左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するように、左画像と右画像を比較するように、かつ比較の結果に基づいて鏡面反射を検出するように構成される。
【0083】
任意選択の特定の視覚化モードでは、双眼デバイスは、ユーザが鏡面反射を識別することを可能にするために、左ディスプレイ上の左カメラによって生成された左ビデオ信号に基づく左画像と、右ディスプレイ上の右カメラによって生成された右ビデオ信号に基づく右画像とを交互に示すことができる。鏡面反射は、左右の画像を比較することによって容易に見分けることができ、これは、鏡面反射は画像が比較されるときに前後に揺れる一方で、蛍光発光および拡散反射は両方のカメラに対して静的なままであるためである。この視覚化モードは、鏡面反射を拡散反射および／または蛍光発光と識別することを可能にする。
【0084】
デバイスは、光スペクトルの様々な部分内の鏡面反射を検出し、抑制し、またはユーザに知らせることができる。
【0085】
図８は、一方の眼（左光学系または右光学系）のためのカメラとビューアとの組み合わせ８００の図を示す。使用時、デバイス８００は、観察者の眼８１０と観察される対象物、例えば組織８０１との間に固定され得る。典型的な使用では、デバイス８００は、眼８１０の近くに、観察される物体８０１から作動距離を置いて保持され、または取り付けられ得る。デバイス８００は、ノッチフィルタ８０２と、偏光フィルタ８０３、８０４の対として示されるように実装され得るダイクロイック絞りと、１つまたは複数のレンズおよび他の光学素子を備えることができる光学系セット８０５とを含む入力光学系を備えることができる。これらの構成要素の順序は、実装に応じて異なり得る。デバイス８００は、例えばＣＭＯＳチップまたは別のタイプのカメラチップなどの画像センサ８０６をさらに備える。例えば、チップは、可視放射波長帯域と不可視放射波長帯域の両方に投射された放射を電子信号に変換する表面を有することができる。画像センサ８０６は、画像センサ８０６によって生成された画像信号を処理するために電子機器８０７に電気的に接続されるか、または接続可能である。この電子機器８０７は、双眼デバイス１０１に組み込まれてもよく、あるいは、十分な処理能力を有するウェアラブルコンピュータ１０２などの外部処理デバイスに実装されてもよい。これは、頭部装着可能なディスプレイを軽量に保つのに役立つ。
【0086】
デバイス８００は、電子機器８０７によって出力され、マイクロディスプレイ８０８に送信される画像信号に基づいて処理された画像を表示するためのマイクロディスプレイ８０８をさらに備える。マイクロディスプレイは、例えば、眼に匹敵する大きさを有することができる。デバイス８００は、マイクロディスプレイ８０８によって出力された画像を眼８１０の網膜上に投影するために、接眼ディスプレイセット８０９を含む出力光学系をさらに備えるので、マイクロディスプレイのサイズは任意であり得る。入力光学系８０２、８０３、８０４、８０５および画像センサ８０６は、マイクロディスプレイ８０８および出力光学系８０９から、例えば、関係する波長の放射を透過しない壁を有する２つの別個の区画内に配置することによって光学的に分離され得る。
【0087】
図示する実施形態では、入力光学系、カメラ、マイクロディスプレイ、および出力光学系は一列に並んでおり、すなわち、同じ光中心軸線８１１、８１２を共有している。このようにして、ユーザは、例えば一対の双眼鏡を通して、真っ直ぐ前を見ているような印象を有する。したがって、ユーザは、マイクロディスプレイ８０８によって生成された画像に対して自分自身および自分の手を向けることが容易である。代替的な実施形態では、一方では入力光学系およびカメラ８０６の中心軸線８１１と、他方ではマイクロディスプレイおよび出力光学系の中心軸線８１２との間に傾斜があってもよい。例えば、入力軸線８１１は、出力軸線８１２に対してわずかに下方に傾斜することができる。
【0088】
図９は、動作中の双眼デバイス４００のタイミング図の一例を示す。タイミンググラフは、横軸線に時間を示し、縦軸線にある特定の活動を実行したことを示す（高い位置は行動が実行されたことを意味する）。グラフ９０２に示すように、カメラは、特定のフレームレートで画像を取り込むように構成され得ることが観察される。
【0089】
光源４０３は、別個に制御可能な可視光および非可視光生成能力を有することができる。あるいは、光源は、非可視光のみを生成することができる。その場合、可視光は、他の場所から提供され得る。しかし、記録される画像間の一貫性の理由から、単一の光束で可視光および非可視光の両方を生成することができる単一の光源を有することが好ましくなり得る。さらに、可視のちらつきを防止するために、可視光源は、非可視光が交互にオンおよびオフに切り替えられている間、放射を連続的に放出し続けることができる。これにより、カメラ画像だけでなく、双眼デバイス４００を持たない部屋の他の人のちらつきも防止される。
【0090】
非可視光は、ストロボ方式で光源によって生成され得る。これは、グラフ９０１および９０２に示されている。ＮＩＲ光などの非可視光用の光源は、各第１のフレームを取り込む間に非可視光源がオフになり、各第２のフレームを取り込む間に非可視光源がオンになるように、フレームレートよりも低速で、例えばフレームレートの半分で点滅するように構成され得る。１枚の画像が、非可視光源をオフに切り替えて撮影され得る。次の画像は、非可視光源をオンに切り替えて撮影され得る。したがって、９０５で示されるように、２つの連続する画像は、非可視光無しの撮像の結果と、非可視光による撮像の結果とを生成する。そのような画像の対が各カメラから取り込まれた後、処理電子機器８０７は、グラフ９０３の９０６に示されるように、取り込まれた入力画像の対に基づいて出力画像を計算することができる。グラフ９０４の９０７に示すように、ブロック９０６の処理が完了するとすぐに、出力画像が、マイクロディスプレイ８０８によって表示され得る。これは例示的なタイミング図にすぎないことが理解されよう。他のタイミングおよび他の順序のステップが、代替的に実施され得る。
【0091】
例えば、処理ステップ９０６において、処理電子機器８０７は、非可視光源がオンに切り替えられた画像から非可視光源がオフに切り替えられた画像を減算することができる。このようにして、可視光が減算されて、非可視光が減算画像内で強調される。したがって、非可視光源がオフに切り替えられた画像内の画素が値Ｘを有し、非可視光源がオンに切り替えられた画像内の同じ画素が値Ｙを有する場合、減算画像内の同じ画素は値Ｙ－Ｘを有する。所定の閾値よりも大きい減算画像の画素は、非可視光源をオフに切り替えて取り込まれた画像の上部に所定の可視色で混合され得る。
【0092】
さらに、ユーザが視覚効果によってスペックルを検出することができるスペックル検出モードが提供され得る。例えば、鏡面反射は、アラームまたは視覚的表示によって示され得る。あるいは、グラフ９１０および９１１によって示されるスペックル検出モードでは、非可視光画像のオーバーレイ視覚化は、第１の時間間隔９１１、９１２の間は左ディスプレイ４１２のみに、第２の時間間隔９１３、９１４の間は右ディスプレイ４２２のみに交互に示される。そのような場合、ビューアは、２つの位置の間で振動しているように見えるスポットがあるかどうかを考慮することによって、非可視領域に鏡面反射があるかどうかを評価することができる。時間間隔９１１、９１２および９１３、９１４は、ちらつきが観察者に見えることを確実にするために、例えば、（９０５において）２つの画像が取り込まれる時間間隔と少なくとも同じ長さまたはそれより長い時間間隔を使用して、所望に応じてより長くまたはより短くすることができる。
【0093】
図１０は、下から見た、例示的な頭部装着可能な双眼デバイスの部分的に加工された開放図を示す。図１１は、横から見た、同じ頭部装着可能な双眼デバイスの部分的に加工された開放図を示す。この例では、左視野部分の光中心軸線は、右視野部分の光中心軸線と略平行である。さらに、左カメラ部分の光軸および右カメラ部分の光軸は、互いに向かって下方にわずかに傾斜している。しかし、光軸のこの位置合わせは限定ではない。
【0094】
図１０および図１１には、オプションのノッチフィルタ１００１、可視光絞り１００３、カメラレンズ１００５、カメラセンサ、または画像センサ１００６を備えるカメラ部分が示されている。さらに、図１０および図１１に示すのは、マイクロディスプレイ１００８と、出力光学系１００９と、接眼レンズ１０１１とを備えるディスプレイ部分であり、接眼レンズ１０１１は、眼１０１０の近くに保持するのに適した環状構造を備える。さらに、図１０および図１１には光源１０１２が示されている。これらの項目は上記でより詳細に説明されているので、それらの特性はここでは繰り返さない。
【0095】
図１２は、頭部の周りに嵌めることができる、支持構造体１２０４に接続された少なくとも１つのストリップ１２０１によって、頭部装着可能なデバイスをユーザの頭部に取り付けることができる方法を示す。接眼レンズは、図示のように、ユーザの眼に位置合わせされ得る。
【0096】
図１３は、可視光および不可視光（紫外および近赤外）のいくつかの波長帯域をナノメートル（ｎｍ）で示す。青色は、４４５ナノメートル波長を中心としてもよく、緑色は、５３５ナノメートル波長を中心としてもよく、赤色は、５７５ナノメートル波長を中心としてもよいことが、留意される。紫外線は、約３８０ナノメートル未満の波長を有する放射であると考えられ得る。近赤外は、約７４０ナノメートルから約１０００ナノメートルまでの波長範囲の放射であると考えられ得る。赤外線はさらに１０００ナノメートルを超える。これらの波長は、純粋に例示的な例として提供されていることが、留意される。本明細書に説明するデバイスは、検出、処理、および視覚化のための異なる波長に合わせて設計され得る。
【0097】
図１４は、可視および不可視放射を視覚化する方法のフローチャートを示す。方法は、ステップ１４０１において、支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップを含み、左カメラおよび右カメラは支持構造体に結合され、カメラのうちの少なくとも１つは、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、不可視放射波長帯域に感受性を有するカメラの入力光学系は、不可視放射波長帯域に対して透過性であり、可視光放射波長帯域に対して縮小性である。方法は、ステップ１４０２において、左カメラおよび右カメラによってそれぞれ受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップをさらに含む。方法は、ステップ１４０３において、左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップをさらに含み、左ディスプレイおよび右ディスプレイは、支持構造体に結合され、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される。
【0098】
鏡面反射の低減のための特徴は、可視光の低減がない場合でも、双眼デバイスに実装され得ることが観察され得る。すなわち、鏡面反射を検出する画像処理機能を有するデバイスまたは方法では、可視光フィルタ２０２および可視光絞り２０４はいずれも省略され得る。
【0099】
特定の実施形態は、頭部装着可能なデバイス、または目の前に直接保持されるように設計された双眼デバイスを備え、このデバイスは、開放空間（例えば、屋内または屋外環境）内の作動距離から物体を観察するために、少なくとも１つのカメラおよび／または光源を有する。対照的に、内視鏡検査などの他の用途は、照明を自由に制御することができる主に暗いキャビティ内で動作することができる。この開放空間は、照明にいくつかの制約を課す。第１に、外部光源によって引き起こされる環境光の存在がある。第２に、他の人々および／または他のカメラ機器は、好ましくは、双眼デバイスによって引き起こされる照明によって妨害されるべきではないので、純粋に双眼デバイスのカメラに合わせて照明条件を最適化することは不可能であり得る。本明細書に開示される技術は、これらの状況下で双眼デバイスの有用性を改善するのに役立ち得る。例えば、双眼デバイスのカメラは、本明細書に説明されるように、高ダイナミックレンジ、高品質光学系、特別な画像処理技術、および／または偏光フィルタ、ダイクロイックフィルタ、偏光絞り、および／またはダイクロイック絞りを装備することができる。このため、双眼デバイスの光源は、周囲の人の邪魔にならないように、可視波長帯域の光の放出をできるだけ一定に保つように構成され得る。上記で説明したように、不可視波長帯域の放射光はストロボ式に点滅することができ、それにより、可視光の画像を不可視光の画像と組み合わせることができる。不可視波長帯域内で点滅するため、これは、周囲の人の邪魔にならない。
【0100】
頭部装着可能な双眼デバイスに関していくつかの技術が上記で開示されているが、これは限定ではない。画像処理技術、および／または偏光フィルタ、ダイクロイックフィルタ、偏光絞り、および／またはダイクロイック絞りの特徴は、一般にカメラにも適用され得ることが観察される。
【0101】
別の態様によれば、カメラは、入力光学系と画像センサとを備え、画像センサは、入力光軸に沿った視野に関して入力光学系から受け取られ、検出された光放射からビデオ信号を作り出すように構成され、カメラのうちの少なくとも１つは、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、入力光学系は、不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である。そのようなカメラは、例えば内視鏡検査などの多くの異なる用途に合わせて設計され得る。
【0102】
任意選択的に、ディスプレイは、ビデオ信号に基づいて、ディスプレイによって可視光で形成されたビデオ画像を提示するように構成される。
【0103】
任意選択的に、ディスプレイは、ディスプレイに動作可能に接続された接眼レンズを介してユーザによって視認されるように配置される。
【0104】
カメラの入力光学系は、偏光材料の少なくとも１つの層を含む偏光フィルタを備えることができる。
【0105】
偏光フィルタは、互いに直交する偏光方向を有する偏光材料の少なくとも２つの層を備えることができる。
【0106】
デバイスは、支持構造体によってカメラに結合された光源を備えることができ、光源は、少なくとも不可視波長帯域および可視光波長帯域内の放射を生成することができ、光源は、幾何学的形状および位置が略同一になるように位置合わせされた、可視光の放出ビームおよび不可視放射の放出ビームを生成するように構成される。
【0107】
デバイスは、少なくとも不可視波長帯域および可視光波長帯域内の放射を生成することができる、支持構造体に結合された光源を備えることができ、光源は、光源によって出力された可視光波長帯域内の可視光を偏光させ、不可視波長帯域内の放射を透過させるように構成された偏光フィルタをさらに備え、光源の偏光フィルタの偏光方向は、入力光学系の偏光フィルタの偏光方向と略直交する。
【0108】
入力光学系は、アパーチャを有する絞りを備えることができ、アパーチャの周りの絞りは、可視光波長帯域の光に対して縮小性であり、一方、この絞りは、赤外波長帯域の光に対して透過性である。
【0109】
入力光学系は、オートフォーカスを有するレンズを備えることができ、オートフォーカスは、不可視波長帯域の放射を集束させるように構成される。
【0110】
カメラの入力光学系は、絞りに加えて、可視光波長帯域の光に対して縮小性であるフィルタを備えることができる。
【0111】
カメラの入力光学系は、可視光波長帯域の放射を選択的に低減するためのヨウ素を含むフィルタを備えることができる。
【0112】
デバイスは、少なくとも不可視光および可視光を生成するための、支持構造体によってカメラに結合された光源を備えることができ、光源は、可視光強度を略一定に保ちながら不可視光を断続的に放出するように構成され、カメラは、不可視光の放出を伴う少なくとも１つの画像と、不可視光の放出を伴わない少なくとも１つの画像とを取り込むように構成される。
【0113】
デバイスは、非可視光の放出を伴う取り込まれた画像と非可視光の放出を伴わない取り込まれた画像とに基づいて、強化された非可視光画像を計算するように構成された処理ユニットを備えることができる。
【0114】
画像センサは、赤外線放射波長帯域と可視放射波長帯域の両方に感受性を有するセンサダイを備えることができ、センサダイは、赤外線波長帯域の放射と可視波長帯域の放射の両方に対応するビデオ信号を出力するように構成される。
【0115】
本発明のいくつかまたはすべての態様は、ソフトウェア、特にコンピュータプログラム製品の形態で実施されるのに適し得る。コンピュータプログラム製品は、非一時的コンピュータ可読媒体に記憶されたコンピュータプログラムを含むことができる。また、コンピュータプログラムは、光ファイバケーブルまたは空気などの伝送媒体によって運ばれる光信号または電磁信号などの信号によって表され得る。コンピュータプログラムは、部分的または全体的に、コンピュータシステムによって実行されるのに適したソースコード、オブジェクトコード、または擬似コードの形態を有することができる。例えば、コードは、１つまたは複数のプロセッサによって実行可能であり得る。
【0116】
本明細書に説明する例および実施形態は、本発明を限定するのではなく説明するのに役立つ。当業者は、添付の特許請求の範囲およびそれらの均等物によって定義される本開示の精神および範囲から逸脱することなく、代替の実施形態を設計することができるであろう。特許請求の範囲の括弧内に配置された参照符号は、特許請求の範囲を限定するものと解釈されるべきではない。特許請求の範囲または明細書において別個のエンティティとして説明された項目は、説明された項目の特徴を組み合わせた単一のハードウェアまたはソフトウェア項目として実装され得る。
【0117】
特定の態様は、以下の条項で定義される。
【0118】
条項１．可視放射および不可視放射を視覚化するための双眼デバイスであって、
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備える、左カメラおよび右カメラとを備え、
左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成され、
カメラのうちの少なくとも１つは、不可視放射波長帯域と可視光放射波長帯域の両方の放射に感受性を有し、カメラのうちの少なくとも１つの入力光学系は、不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である、双眼デバイス。
支持構造体と、
支持構造体に結合された左カメラおよび右カメラであって、左カメラは左光学系と左画像センサとを備え、右カメラは右光学系と右画像センサとを備える、左カメラおよび右カメラとを備え、
左画像センサおよび右画像センサは、対応する左入力光軸および右入力光軸に沿って同じ視野に関して対応する左入力光学系および右入力光学系から受け取られ、検出された光放射から左ビデオ信号および右ビデオ信号を作り出すように構成され、
カメラのうちの少なくとも１つは、不可視放射波長帯域と可視光放射波長帯域の両方の放射に感受性を有し、カメラのうちの少なくとも１つの入力光学系は、不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である、双眼デバイス。
【0119】
条項２．支持構造体に結合された左ディスプレイおよび右ディスプレイをさらに備え、左ディスプレイおよび右ディスプレイが、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認されるように配置され、左ビデオ信号および右ビデオ信号にそれぞれ基づいて、左ディスプレイおよび右ディスプレイによって可視光で形成された左ビデオ画像および右ビデオ画像を提示するように構成される、条項１に記載の双眼デバイス。
【0120】
条項３．不可視波長帯域の放射に感受性を有する少なくともカメラの入力光学系は、偏光材料の少なくとも１つの層を備える偏光フィルタを備える、条項１または条項２に記載の双眼デバイス。
【0121】
条項４．偏光フィルタが、互いに直交する偏光方向を有する偏光材料の少なくとも２つの層を備える、条項３に記載の双眼デバイス。
【0122】
条項５．少なくとも不可視波長帯域および可視光波長帯域内の放射を生成することができる、支持構造体に結合された光源をさらに備え、光源は、幾何学的形状および位置が略同一になるように位置合わせされた、可視光の放出ビームおよび不可視放射の放出ビームを生成するように構成される、条項１～４のいずれかに記載の双眼デバイス。
【0123】
条項６．少なくとも不可視波長帯域および可視光波長帯域内の放射を生成することができる、支持構造体に結合された光源を備え、光源は、光源によって出力された可視光波長帯域内の可視光を偏光させ、不可視波長帯域内の放射を透過させるように構成された偏光フィルタをさらに備え、
光源の偏光フィルタの偏光方向は、入力光学系の偏光フィルタの偏光方向と略直交する、条項３に記載の双眼デバイス。
光源の偏光フィルタの偏光方向は、入力光学系の偏光フィルタの偏光方向と略直交する、条項３に記載の双眼デバイス。
【0124】
条項７．不可視放射に感受性を有するカメラに対応する入力光学系が、アパーチャを有する絞りを備え、アパーチャの周りの絞りは、可視光波長帯域の光に対して縮小性であり、一方、絞りは、不可視波長帯域の光に対して透過性である、条項１～６のいずれかに記載の双眼デバイス。
【0125】
条項８．入力光学系が、オートフォーカスを有するレンズを備え、オートフォーカスは、不可視波長帯域の放射を集束させるように構成される、条項７に記載の双眼デバイス。
【0126】
条項９．不可視波長帯域の放射に感受性を有するカメラの入力光学系が、絞りに加えて、可視光波長帯域の光に対して縮小性であるフィルタをさらに備える、条項７に記載の双眼デバイス。
【0127】
条項１０．不可視波長帯域の放射に感受性を有するカメラの入力光学系が、可視光波長帯域の放射を選択的に低減するためのヨウ素を備えるフィルタを備える、条項１～９のいずれかに記載の双眼デバイス。
【0128】
条項１１．処理ユニットをさらに備え、処理ユニットが、
左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するように、
左画像と右画像を比較するように、かつ
比較の結果に基づいて鏡面反射を検出するように構成される、条項１～１０のいずれかに記載の双眼デバイス。
左カメラおよび右カメラによって略同時にそれぞれ取り込まれる、左カメラからの左画像および右カメラからの右画像を表す信号を受信するように、
左画像と右画像を比較するように、かつ
比較の結果に基づいて鏡面反射を検出するように構成される、条項１～１０のいずれかに記載の双眼デバイス。
【0129】
条項１２．不可視波長帯域の少なくとも放射および可視光を生成するための、支持構造体に結合された光源をさらに備え、光源は、可視光強度を略一定に保ちながら不可視光を断続的に放出するように構成され、カメラが、放射された不可視光で少なくとも１つの画像と、放射された不可視光無しで少なくとも１つの画像とを取り込むように構成される、条項１～１１のいずれかに記載の双眼デバイス。
【0130】
条項１３．不可視光の放出を伴う取り込まれた画像と不可視光の放出を伴わない取り込まれた画像とに基づいて不可視波長帯域の放射の強化された画像を計算するように構成された処理ユニットをさらに備える、条項１２に記載の双眼デバイス。
【0131】
条項１４．左カメラおよび右カメラのそれぞれが、不可視波長帯域の放射および可視光波長帯域の放射に感受性を有し、左入力光学系および右入力光学系のそれぞれが、不可視波長帯域に対して透過性であり、可視光波長帯域に対して縮小性である、条項１～１３のいずれかに記載の双眼デバイス。
【0132】
条項１５．不可視波長帯域の放射に感度を有するカメラの画像センサが、不可視放射波長帯域および可視放射波長帯域の両方に感度を有するセンサダイを備え、センサダイは、不可視波長帯域の放射と可視波長帯域の放射の両方に対応するビデオ信号を出力するように構成される、条項１～１４のいずれかに記載の双眼デバイス。
【0133】
条項１６．不可視放射波長帯域が、近赤外放射波長帯域である、条項１～１５のいずれかに記載の双眼デバイス。
【0134】
条項１７．可視放射および不可視放射を視覚化する方法であって、
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは支持構造体に結合される、ステップを含み、
カメラのうちの少なくとも１つは、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、不可視放射波長帯域に感受性を有するカメラの入力光学系は、不可視放射波長帯域に対して透過性であり、可視光放射波長帯域に対して縮小性であり、方法は、
左カメラおよび右カメラそれぞれによって受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップを含む、可視放射および不可視放射を視覚化する方法。
支持構造体に結合された左入力光学系および右入力光学系によって、それぞれの左入力光軸および右入力光軸に沿って同じ視野に関する放射を受け取り、左カメラの左画像センサおよび右カメラの右画像センサにそれぞれ光を伝送するステップであって、左カメラおよび右カメラは支持構造体に結合される、ステップを含み、
カメラのうちの少なくとも１つは、不可視放射波長帯域の放射と可視光放射波長帯域の放射の両方に感受性を有し、不可視放射波長帯域に感受性を有するカメラの入力光学系は、不可視放射波長帯域に対して透過性であり、可視光放射波長帯域に対して縮小性であり、方法は、
左カメラおよび右カメラそれぞれによって受け取られ、検出された放射から左ビデオ信号および右ビデオ信号を作り出すステップを含む、可視放射および不可視放射を視覚化する方法。
【0135】
条項１８．左ビデオ信号および右ビデオ信号にそれぞれ基づいて可視光で形成された左ビデオ画像および右ビデオ画像を左ディスプレイおよび右ディスプレイによって提示するステップをさらに含み、左ディスプレイおよび右ディスプレイは、支持構造体に結合され、左ディスプレイに動作可能に接続された左接眼レンズおよび右ディスプレイに動作可能に接続された右接眼レンズを介してユーザの一対の眼によって視認される、条項１７に記載の方法。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】