特許 5974174 可視光でハイパースペクトルイメージングを行うシステム、ハイパースペクトル画像を記録して可視光で前記ハイパースペクトル画像を表示する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5974174

(24)【登録日】2016年7月22日

(45)【発行日】2016年8月23日

(54)【発明の名称】可視光でハイパースペクトルイメージングを行うシステム、ハイパースペクトル画像を記録して可視光で前記ハイパースペクトル画像を表示する方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20160809BHJP

   A61B 6/00 20060101ALI20160809BHJP

   G01J 3/50 20060101ALI20160809BHJP

   A61B 8/00 20060101ALI20160809BHJP

   A61B 5/055 20060101ALI20160809BHJP

   A61B 5/107 20060101ALI20160809BHJP

【ＦＩ】

   A61B10/00 EZDM

   A61B6/00 370

   G01J3/50

   A61B8/00

   A61B5/05 390

   A61B5/10 300Z

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2015-521141(P2015-521141)

(86)(22)【出願日】2014年3月12日

(65)【公表番号】特表2015-529482(P2015-529482A)

(43)【公表日】2015年10月8日

(86)【国際出願番号】IB2014059652

(87)【国際公開番号】WO2014147515

(87)【国際公開日】20140925

【審査請求日】2015年1月9日

(31)【優先権主張番号】61/803,169

(32)【優先日】2013年3月19日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】デ ブライン，フレデリク ヤン

(72)【発明者】

【氏名】マイス，レムコ テオドリュス ヨハネス

(72)【発明者】

【氏名】デ フリース，ヨリット エルンスト

(72)【発明者】

【氏名】ヘンドリクス，ベルナルデュス ヘンドリキュス ウィルヘルミュス

(72)【発明者】

【氏名】バビッチ，ドラツェンコ

【審査官】 宮川 哲伸

(56)【参考文献】

【文献】 特開２０１３−２４８３８６（ＪＰ，Ａ）

【文献】 特表２００８−５２５１５８（ＪＰ，Ａ）

【文献】 特開２００６−０８５６８８（ＪＰ，Ａ）

【文献】 特表２００１−５２１７７２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／０２４７５１４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／０２００８２９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １０／００

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ５／１０７

Ａ６１Ｂ ６／００

Ａ６１Ｂ ８／００

Ｇ０１Ｊ ３／５０

(57)【特許請求の範囲】

【請求項1】

ハイパースペクトルイメージングシステムを有するシステムであって、当該ハイパースペクトルイメージングシステムは、対象物のハイパースペクトル画像を記録するカメラと、前記の記録されたハイパースペクトル画像を可視光で表示する表示装置とを有し、
前記カメラは、ライトフィールド取り込みカメラであり、
前記表示装置は、ライトフィールドプロジェクタであり、
前記カメラ及び前記プロジェクタは、共軸の光路を共有し、
前記カメラは、ヒトの眼には少なくとも部分的には不可視である放射線のスペクトル範囲のハイパースペクトルライトフィールドを取り込むことで、前記対象物のハイパースペクトル画像を得るように構成され、
前記ライトフィールド取り込みカメラは、前記の取り込まれたハイパースペクトルライトフィールドのデータを前記ライトフィールドプロジェクタの入力部へ送る出力部を有し、
前記ライトフィールドプロジェクタは、前記ライトフィールド取り込みカメラから受け取られたデータに基づいて可視光のライトフィールドを前記対象物の上に投影するように構成され、
当該システムはさらに：
観察中の前記対象物の3次元内部画像の第2画像データを供する第2イメージングシステム；及び、
前記の取り込まれたハイパースペクトルライトフィールドのデータに基づいて深さ情報を供し、かつ、前記深さ情報に基づいて前記第2画像データを、前記ライトフィールドプロジェクタにより前記対象物の上に投影される画像へ変換する処理装置；
を有するシステム。

【請求項2】

前記ライトフィールド取り込みカメラ及び前記ライトフィールドプロジェクタは、前記の共有された共軸の光軸に沿って複数の光学イメージング素子からなる共通のチェーンを共有する、請求項1に記載のシステム。

【請求項3】

当該ハイパースペクトルイメージングシステムは、前記の共有された共軸の光路中に設けられているプレノプティック機能を供する素子を有する、請求項1又は2に記載のシステム。

【請求項4】

当該ハイパースペクトルイメージングシステムは、プレノプティック機能を供するマイクロレンズアレイを有する、請求項1乃至3のいずれか一項に記載のシステム。

【請求項5】

前記マイクロレンズアレイは、前記ライトフィールド取り込みカメラと前記ライトフィールドプロジェクタとに共通する素子である、請求項4に記載のシステム。

【請求項6】

当該ハイパースペクトルイメージングシステムは、共通の光軸と前記ライトフィールド取り込みカメラとの間の光路と、前記共通の光軸と前記ライトフィールドプロジェクタとの間の光路とを分離するビームスプリッタを有し、
前記ビームスプリッタは二色性のスペクトル選択特性を有する、
請求項1乃至5のいずれか一項に記載のシステム。

【請求項7】

移動可能システムで、好適には携帯可能システムで、たとえばハンドヘルドシステム−である、請求項1乃至6のいずれか一項に記載のシステム。

【請求項8】

前記カメラは、電磁スペクトルのIR又はUV部分の前記ハイパースペクトルライトフィールドを記録するカメラである、請求項1乃至7のいずれか一項に記載のシステム。

【請求項9】

前記第2イメージングシステムは、X線イメージングシステム、MRI、CT、PET-CT、又は超音波イメージングシステムである、請求項1乃至8のいずれか一項に記載のシステム。

【請求項10】

ハイパースペクトル画像を記録して可視光で前記ハイパースペクトル画像を表示する方法であって、
ヒトの眼には少なくとも部分的には不可視である放射線のスペクトル範囲の対象物のライトフィールドがライトフィールドカメラによって取り込まれることにより、前記対象物のハイパースペクトル画像が得られ、
前記カメラによって取り込まれた前記ライトフィールドのデータは、ライトフィールドプロジェクタの投影画像データを供するように処理され、
前記ライトフィールドプロジェクタは、前記投影画像データに基づくライトフィールドを前記対象物の上に投影し、
前記カメラ及び前記プロジェクタは、共軸の光路を共有し、かつ、
可視光のライトフィールドが、前記ライトフィールドプロジェクタによって前記対象物の上に投影され、
前記ライトフィールドカメラによって取り込まれた前記ライトフィールドのデータは、深さ情報を供するように処理され、
第2画像データが、前記対象物の3次元内部画像上に供され、
前記第2画像データは、前記深さ情報を用いて再変換され、かつ、
前記の再変換されたデータは、前記ライトフィールドプロジェクタへ供される、
方法。

【請求項11】

前記ライトフィールドが、電磁スペクトルのIR又はUV部分内で取り込まれる、請求項10に記載の方法。

【請求項12】

前記第2画像データは、X線イメージングシステム、MRI、CT、PET-CT、又は超音波システムによって供される、請求項10に記載の方法。

【請求項13】

コンピュータで実行される場合に、該コンピュータに、請求項10乃至12のうちいずれか一項に記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物のハイパースペクトル画像を記録するカメラと、前記の記録されたハイパースペクトル画像を可視光で表示する表示装置を有する、ハイパースペクトルイメージング用システム、及び、ハイパースペクトル画像を記録して可視光で前記ハイパースペクトル画像を表示する方法に関する。

【背景技術】

【0002】

ハイパースペクトルイメージングは、ヒトの眼で見ることが不可能又は困難な詳細−たとえば人体内の細胞組織の差異−を明らかにすることで知られている。ハイパースペクトルイメージングでは、対象物の画像が1つ以上の波長帯において撮られる。前記1つ以上の波長帯では、少なくとも1つの波長帯は、ヒトの眼にとって少なくとも部分的に不可視であるか、又は、見るのが非常に困難である。よってこの画像は、可視光で閲覧者に供される可視画像に変換される。ハイパースペクトルイメージングは、スペクトル選択照射（つまりある波長帯の光による対象物の照射）と画像取り込み前でのスペクトル選択フィルタリング（つまりある波長帯の光のみを透過させるフィルタの使用）の両方に基づいて良い。いずれの場合でも、画像処理には、関心構造のコントラストを明らかにする画像を生成することが求められている。

【0003】

係るシステムでは従来、ハイパースペクトル画像（たとえば可視スペクトルを超えるスペクトルにまで及ぶ画像）が撮られ、かつ、その結果が表示スクリーン上に示される。表示スクリーンの背後に座ると、（ほとんど）視認できない観察中の対象物の詳細に関心のある閲覧者が、対象物がたとえばUV光又はIR光で現れることで、可視光においてスクリーン上の画像を調査することができる。

【0004】

スクリーンを用いることは非常に有用な技術であるが、可能性は限られている。調査対象物上にハイパースペクトル画像を投影することはたとえば非特許文献1において提案された。投影はレーザープロジェクタによって実行される。

【0005】

対象物−従来技術では皮膚−が静止状態でかつかなり平坦でなければ、投影が相対的に高精度で一致する良好で明確な投影を既知の技術を利用して与えることは不可能に近いとは言わないまでも困難である。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第2010/067281号パンフレット

【非特許文献】

【0007】

【非特許文献1】R.K. Miyake, H.D. Zeman, F.H. Duarte, R. Kikuchi, E. Ramacciotti, G. Lovhoiden, C. Vrancken著、"Vein imaging: A new method of near infrared imaging where a processed image is projected onto the skin for the enhancement of vein treatment", Dermatologic, Surgery誌, 第32巻、pp. 1031-1038、2006年

【非特許文献2】M. Levoy他、"Light field microscopy", ACM Trans, on Graphics誌, 第25巻, no. 3, pp. 924-934, 2006年7月

【非特許文献3】A.Veeraraghavan他, "Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing", ACM Trans, on Graphics (Proc. SIGGRAPH 2007)誌, 第26巻, no. 3, 2007年7月

【非特許文献4】A. Levin他, "Image and depth form a conventional camera with a coded aperture", ACM Trans, on Graphics (Proc. SIGGRAPH 2007)誌, 第26巻, no. 3, 2007年7月

【非特許文献5】E.R. Dowski他, "Extended depth of field through wave-front coding", Applied Optics誌, 第34巻, no. 11, pp. 1859-1866, 1995年4月

【非特許文献6】H. Nagahara他, "Flexible Depth of Field Photography", in Proc. ECCV 2008誌, 2008年10月

【非特許文献7】T. Bishop, P. Favaro, "Plenoptic depth estimation from multiple aliased views", in: 2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), IEEE, pp. 1622-1629, Los Alamitos, 2009年

【非特許文献8】S. Wanner, J. Fehr, B. Jaehne, "Generation EPI representations of 4D light fields with a single lens focused plenoptics camera", in: Proc. ISVC 2011, G. Bebis他編、pp. 90-101, 2011年

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の目的は、観察中の正しく位置合わせされた対象物のハイパースペクトルの詳細を直接見ることを可能にするシステム及び方法を供することである。

【課題を解決するための手段】

【0009】

上記目的のため、本発明のシステムの特徴は、カメラがライトフィールド取り込みカメラで、表示装置がライトフィールドプロジェクタで、前記カメラ及び前記プロジェクタは共軸の光路を共有し、前記カメラはハイパースペクトルライトフィールドを取り込むように構成され、前記カメラは前記の取り込まれたハイパースペクトルライトフィールドのデータを前記ライトフィールドプロジェクタへ送る出力を有し、かつ、前記ライトフィールドプロジェクタは、前記カメラから受け取られたデータに基づいて可視光のライトフィールドを前記対象物にわたって投影するように構成されることである。

【0010】

上記目的のため、本発明の方法の特徴は、対象物の放射線のハイパースペクトル範囲内でのライトフィールドがライトフィールドカメラによって取り込まれ、前記カメラによって取り込まれたライトフィールドのデータが、ライトフィールドプロジェクタ用の投影画像データを供するように処理され、前記ライトフィールドプロジェクタはライトフィールドに基づく投影画像データを前記対象物にわたって投影し、前記カメラと前記プロジェクタは共軸の光路を共有し、かつ、可視光のライトフィールドが前記ライトフィールドプロジェクタによって前記対象物上に投影されることである。

【0011】

ライトフィールド取り込みカメラは、前記スペクトルのハイパー範囲内−つまりヒトの眼では少なくとも部分的に視認できない放射線のスペクトル範囲内−のライトフィールドを取り込む。前記ライトフィールドプロジェクタは可視光でライトフィールドを投影する。前記ライトフィールドプロジェクタは、前記の記録されたハイパースペクトル画像を可視光で表示する表示装置を構成する。前記の投影されたライトフィールドは、前記対象物に重ね合わせて投影された3D画像を表示する。前記3D画像は広範囲の深さにわたって明確である。共有された共軸光路は、取り込まれたライトフィールドと投影されたライトフィールドとを相対的に容易に位置合わせする。これにより、前記観察中の対象物が平坦ではなく3D形状の場合であっても、前記カメラが前記ハイパースペクトルライトフィールドを取り込んだ観察中の前記対象物上での可視光のハイパースペクトル画像の正確かつリアルタイムの投影が前記プロジェクタによって可能となる。

【0012】

ライトフィールド取り込みカメラは、通常の2D又さらには3Dカメラと比較して、深さの範囲全体にわたって明確な画像を得る可能性を有する完全なライトフィールドが得られるという利点を有する。通常の2Dカメラは広範囲の深さを供しない。3Dカメラはある程度の深さ情報を供することができるが、深さ範囲全体にわたって明確な画像を供することはできない。ライトフィールドカメラはまたプレノプティックカメラ(plenoptic camera)とも呼ばれる。ライトフィールドカメラは、プレノプティックイメージング(plenoptic imaging)を用いた情景に関するライトフィールド情報を取り込むカメラである。プレノプティックイメージングは、入射光の強度と方向の両方を保持する入射ライトフィールドを取り込む。プレノプティックイメージングシステムの実装は、非特許文献2に記載のマイクロレンズアレイ、非特許文献3に記載の連続的に減衰の大きさが変化するマスクによるダップルドフォトグラフィ(dappled photography)、非特許文献4に記載の開口部符号化マスク(aperture encoding mask)、非特許文献5に記載の波面符号化器(wavefront encoder)、非特許文献6に記載の掃引集束イメージング(sweeping-focus imaging)のような様々な技術に基づいて良い。プレノプティックイメージングは、前記入射ライトフィールドの空間情報を格納する。前記の取り込まれたライトフィールドは実際には4次元である。その理由は、各光線は、前記センサ上での2D位置と水平入射角と垂直入射角と2つの次元が加わるためである。前記の投影されたライトフィールドは、前記対象物上に広範囲の光学深さ全体にわたって明確な画像を生成する。

【0013】

上述の技術のうち、マイクロレンズアレイを用いるのが好ましい。連続的に減衰の程度が変化するマスク内と開口部符号化マスク内では、前記マスクを通過する光の一部が減衰することで強度が失われる。マイクロレンズアレイでは、利用可能な光の割合が増える。

【0014】

マイクロレンズアレイは、前記プレノプティックカメラのレンズと画像センサとの間に設けられる。前記マイクロレンズアレイは、前記レンズによって取り込まれた光を前記画像センサ上で再集束させる。それによりわずかに異なる視点から撮られた多くの小さな画像が生成される。3D情報は前記小さな画像中に格納される。前記小さな画像の各々は単一のマイクロレンズによって生成される。前記小さな画像の各々は相対的に低い空間分解能を有する。

【0015】

マイクロレンズアレイを用いない他の種類のライトフィールド取り込みカメラは、所謂掃引集束又は掃引レンズ技術を用いるシステムである。係るカメラでは、集束レンズ及び/又はセンサの位置は前記画像の取り込み中に変化する。この方法は、焦点を掃引して（つまりライトフィールドの深さの特定の範囲で）画像を統合する。前記画像は、焦点掃引のすべての画像情報を有し、かつ、すべての利用可能な光を取り込む。前記の撮られる画像は、様々な深さで明確な画像を供し、かつ、プレノプティック投影ライトフィールドを再構成するようにデコンボリューションされて良い。マイクロレンズアレイを用いることは好ましい。なぜなら前記ライトフィールドを瞬時に得ることができるからである。マイクロレンズを用いることによって、前記カメラによって取り込まれたライトフィールドと前記プロジェクタによって投影されたライトフィールドとの位置合わせが相対的に容易になる。

【0016】

好適には前記カメラと前記プロジェクタは、前記の共有された共軸光路に沿って複数の光学イメージング素子からなる共通のチェーンを共有する。これにより、前記の取り込まれたライトフィールドと前記の投影されたライトフィールドとの良好な位置合わせが可能となる。

【0017】

好適には当該システムは、前記の共有された光路中に設けられているプレノプティック機能を供する素子を有する。

【0018】

前記の共有された共軸の光路中にプレノプティック機能を供する前記素子を供することで、取り込まれたライトフィールドと投影されたライトフィールドとの位置合わせが容易になる。

【0019】

係る素子はマイクロレンズアレイ、符号化された開口部、波面符号化器であって良い。

【0020】

これらの素子のうち前記マイクロレンズアレイが好ましい。

【0021】

本発明の実施例では、当該システムは、前記共通の光軸と前記ライトフィールドカメラとの間の光路と、前記共通の光軸と前記ライトフィールドプロジェクタとの間の光路とを分離するビームスプリッタを有する。前記ビームスプリッタは二色性のスペクトル選択特性を有する。前記二色性ビームスプリッタは、前記プロジェクタからの可視範囲の光を反射又は通過させる一方で、前記カメラへ向かう前記ハイパースペクトル範囲の光を通過させるか、又は、前記ハイパースペクトル範囲の光を前記カメラへ向かうように屈折させる。

【0022】

他の実施例では、スペクトル選択照射が用いられる。

【0023】

好適実施例では、当該システムは移動可能システムで、好適には携帯可能システム−たとえばハンドヘルドシステム−である。これによりたとえば、医療者は、すぐにその場で静脈を見ることが可能となる。針が静脈に挿入されなければならないとき、係るその場検査は大きな利点である。

【0024】

他の好適実施例では、当該システムは外科用照明の一部である。

【0025】

他の実施例では、当該システムは大きなシステムの一部である。前記大きなシステムは、観察中の前記対象物の内部画像の第2画像データを供する第2イメージングシステムをさらに有する。当該システムは、前記の取り込まれたハイパースペクトルライトフィールドのデータに基づいて深さ情報を供する処理装置、及び、前記深さ情報に基づいて前記第2データを前記対象物上に投影された画像へ変換する手段を有する。前記第2イメージングシステムはたとえばX線システム、MRI、CT、PET-CT、又は超音波システムであって良い。

【0026】

上記及び他の目的並びに有利な態様は、以降の図を用いて表される典型的実施例から明らかとなる。

【図面の簡単な説明】

【0027】

【図1】本発明によるシステムの実施例を表す。

【図2】本発明によるシステムの他の実施例を表す。

【図3】本発明によるシステムの他の実施例を表す。

【図4】本発明によるシステムを有するハンドヘルド装置を表している。

【図5】図4に図示されているハンドヘルド装置を用いた静脈画像の改善を表している。

【図6】本発明によるシステムを有する外科手術用ランプ又は歯科医用ランプを表している。

【図7】本発明によるシステムを有するX線システムを表している。

【図8】本発明によるシステムを有するX線システムを表している。

【図9】マイクロレンズを用いてライトフィールドを取り込んでライトフィールドを投影する原理を表している。

【図10】取り込まれたライトフィールドと投影されたライトフィールドとの間での対応関係を微調整する方法を表している。

【発明を実施するための形態】

【0028】

図は正しい縮尺で描かれていない。一般的には同一の構成要素は、図中の同一参照番号で示される。

【0029】

本発明の目的は、細胞組織の表面曲率又は取り込み装置/投影装置に対する細胞組織の配置に関係なく、投影が常に細胞組織上で正しく焦点合わせされるように、観察された細胞組織上での投影として画像を供することである。

【0030】

ハイパースペクトルイメージングは、コントラスト−たとえば裸眼では視認不可能な細胞組織のコントラスト−を与える。改善されたコントラストはたとえば、外科手術中又は静脈への針の導入中に血管と神経を明らかにするのに用いられて良い。改善されたコントラストはまた、悪性細胞組織を特定するのにも用いられて良い。

【0031】

ハイパースペクトル画像取り込みは、単色でスペクトル選択性を有しない画像センサと該画像センサの前でのスペクトル選択性フィルタリングの利用に基づいて良い。これは、通常のRGBカメラと似ているが、より多くの色チャネルを有し、かつ、異なるフィルタ特性を有する。さもなければハイパースペクトル画像取り込みはまた、スペクトル選択性の（スペクトル制御された）照射とフィルタリングされない画像センサと併用に基づいても良い。「フィルタリングされた照射」と「フィルタリングされた取得」との組み合わせも可能である。

【0032】

異なる物質間でのスペクトル応答の差異は一般的に、同一の空間位置についての各異なるスペクトル入力値の線形加重結合によって可視コントラスト（b/w又は擬似色）へ変換される。様々な異なる所定の加重結合によって、様々な細胞組織のコントラストが生じる。そのため、ハイパースペクトル画像取り込みからの結果は一般的に、関心物質（液体又は細胞組織）のコントラストが改善された画像である。このようにして、たとえば皮膚と比較して微妙ではあるが明確なスペクトル応答に基づいて静脈と動脈の位置を明らかにすることがたとえば可能となる。この対応画像は、観察される皮膚領域直下血管構造を表す。本発明の目的は、リアルタイムでかつ観察された細胞組織と変わらず正しく位置合わせされた状態で観察される細胞組織上にリアルタイムで結果としての画像を投影することである。

【0033】

現在のハイパースペクトルイメージングシステムの欠点は一般的に、結果であるデータがディスプレイスクリーン上で別に現れることで、実際の細胞組織との幾何学上の関係が簡単に失われてしまうことである。今日、拡張現実用眼鏡の使用は、ディスプレイスクリーンを構成するその眼鏡内に生成されるデータを、外科医が観察する細胞組織と変わらずに位置合わせされた状態に保つためによく用いられている方法である。主な欠点は、これが、作業領域の位置に対する位置と向きが追跡されるヘッドマウント装置を必要とすることで、係る解決法が複雑になることである。しかもそれは、専門家に特殊眼鏡の装着を強要する。また多くの人たちが存在する手術室では、専門家が特殊眼鏡をするだけでは、補助者はその専門家が見てものを知ることができない。その補助者も眼鏡を装着して、その眼鏡の位置と向きが追跡されれば、その補助者はその専門家が見てものを知ることができるが、それはシステムに莫大な複雑さが加わることになる。

【0034】

本発明の目的は、3D物体追跡又は特殊眼鏡の装着を必要とせずに観察中で正しく位置合わせされた対象物のハイパースペクトルの詳細を直接見ることを可能にするシステム及び方法を提供することである。

【0035】

図1は、本発明によるシステム及び方法の実施例を表している。

【0036】

対象物1−この例では人の細胞組織−では、ハイパースペクトル光がハイパースペクトル源2から照射される。光源はシステムの一部であって良い。好適実施例では、光源は別個に供されて良い。ハイパースペクトル源は、細胞組織に−たとえばIR又はUVで−ハイパースペクトル画像を生成させる。あるいはその代わりに、対象物自体は、ハイパースペクトル光源の存在とは独立し、ハイパースペクトル画像−つまりヒトの眼で見ることのできない又は難しい波長の画像−を供して良い。たとえば対象物には、先に照射された後に特定の波長で燐光を発する物質が供されて良い。

【0037】

あるいはその代わりに又はそれに加えて、細胞組織1は、たとえ光源によって照射されなくても、可視波長において不可視であるIR波長の詳細を示すIR画像を供して良い。あるいはその代わりに又はそれに加えて、対象物は、可視光のみならずたとえばUV光及び/又はIR光を供給する光源によって照射されて良い。波長選択素子がカメラへ向かう光路又はカメラ内に供されることで、そのカメラはハイパースペクトル画像を記録する。

【0038】

あるいはその代わりに又はそれに加えて、カメラには、可視光で画像を電子的に記録するセンサ画素及びハイパースペクトル範囲の放射線で画像を記録するセンサ画素が供され、かつ、ハイパースペクトル感受性画素は、ハイパースペクトルライトフィールドに用いられる。

【0039】

可視光とハイパースペクトル（たとえばスペクトルのIR及び/又はUV部分）放射線の両方に対して感受性を有する画素を有するライトフィールドカメラを用い、かつ、可視光のみならずハイパースペクトル放射線を供する光源の前方に時系列的に波長選択フィルタを設けることも可能である。フィルタは、可視光又はスペクトルのハイパースペクトル部分のいずれかを通過させ、かつ、ライトフィールドカメラからのデータ取得と時系列的照射とを同期させることで、ハイパースペクトル範囲及び場合によってはスペクトルの可視部分でのライトフィールドデータを供する。

【0040】

本発明の実施例では、ハイパースペクトル画像は電磁スペクトルのUV範囲又はIR範囲内で撮られる。これらの実施例は好ましい。

【0041】

しかしハイパースペクトル画像は、たとえばX線イメージング又はテラヘルツイメージングによって電磁スペクトルの他の範囲で撮られて良い。

【0042】

係る実施例については、ライトフィールドカメラは、電磁スペクトルのX線又はテラヘルツ部分でのライトフィールドデータを供するX線又はテラヘルツイメージング装置である。

【0043】

細胞組織によって供される4Dライトフィールドは、レンズ系5を介してライトフィールドカメラ3によって取り込まれる。レンズ系5は、ビームスプリッタ6とマイクロレンズアレイ7を有する。取り込まれたライトフィールドは図1においてCLFによって示されている。ライトフィールドカメラは、ライトフィールドが取り込まれるセンサを有する。取り込まれたライトフィールドのデータは、画像処理装置8によってライトフィールドプロジェクタ4へ供される。よってカメラの出力は、プロジェクタの入力用データを供する。しかし「データを供する」という用語は、カメラのデータが直接プロジェクタへ供給されることを意味するのではなく、カメラのデータがプロジェクタのデータの基礎を構成することを意味すると解されなければならない。データの処理は、ライトフィールドカメラ3の出力とライトフィールドプロジェクタ4の入力との間で行われて良い。ライトフィールドプロジェクタは、ビームスプリッタ6とマイクロレンズアレイ7を介してライトフィールドPLFを細胞組織1上に投影する。光源はシステムの一部を構成することが好ましい。これにより、対象物1に照射される光の強度を制御することが可能となる。図1の実施例は、ハイパースペクトル画像がUV又はIRで撮られるシステムを示している。上述したように、係る画像は様々な方法で撮られて良い。簡明を期すため、図中には波長選択素子は示されていない。係る波長選択素子はたとえば、光源の前方又はカメラの前方に設けられて良い。あるいはカメラがUV又はIR以外の可視光用の様々な画素を有する場合、データは、ライトフィールドカメラによって取得されるデータをフィルタリングするデータフィルタによってフィルタリングされて良い。

【0044】

マイクロレンズアレイ中のマイクロレンズの焦点長は一般的に短いため、マイクロレンズアレイは、レンズアレイ後方であってそのレンズアレイの非常に近くに集束されるマイクロ画像のアレイを生成する傾向にある。マイクロレンズアレイ7とビームスプリッタ6との間に位置し、ビームスプリッタの後方にも位置する光学レンズ系は、カメラのセンサ面及びプロジェクタ内の画像生成素子面と一致するように（マイクロ）画像平面を中継する。画像生成素子はたとえば、発光素子のアレイ及びスイッチングミラー（典型的にはDLP素子）のアレイ又はLCD光シャッターのアレイであって良い。

【0045】

プロジェクタ4とカメラ3は1本の共軸の光軸を共有する。共通の光軸は、図1において複数の光線が平行であることによって表されている。画像の取り込みと画像の投影に共通の光路を用いることの利点は、投影された重なりは係る細胞組織と良好に一致する。検知素子のサイズと投影素子のサイズにおける差異の縮尺設定を別にすれば、複雑な3D処理は必要とされない。

【0046】

各マイクロレンズはスーパー画素とみなされてよい。スーパー画素は、その「スーパー画素」の位置での入射光の強度に加えて角度情報をも格納する。同様に、マイクロレンズアレイに係る同一のマイクロ画像を生成するプロジェクタは、焦点面が曲面形状にかかわりなく本来の表面と一致する投影となる。共通の光路を利用し、かつ、センサ画素とプロジェクタ画素との位置合わせすることで、カメラによって取り込まれる表面上での投影は常に焦点合わせされるマイクロレンズアレイを用いることは好ましい。その理由はマイクロレンズアレイはライトフィールドを減衰させないからである。

【0047】

システムは、範囲の不変な取り込みと投影を行うプレノプティックハイパースペクトル拡張現実システムとも呼ばれる。

【0048】

用途に依存して、ビームスプリッタ6はまたスペクトル選択性をも供して良い。特に画像取り込みが不可視光領域−たとえばIR−であるときには、ビームスプリッタは二色性特性を有して良い。その場合、入射IR光はカメラへ向かうまっすぐな光路に従い、かつ、プロジェクタからの可視光はビームスプリッタによって屈折される。

【0049】

図2もまた、本発明によるシステムの実施例を表している。ミラーは、投影ライトフィールドを折り返すのに用いられる。これにより場合によっては、システムをより小型に設計することが可能となる。

【0050】

図3は他の実施例を表している。この実施例では、カメラとプロジェクタが各異なるマイクロレンズアレイを有する。図1と図2のシステムが好ましい。しかしたとえばハイパースペクトルイメージングのスペクトル波長が、可視光波長に適さないマイクロレンズ用の特別な物質を必要とする場合、別なマイクロレンズアレイが用いられて良い。図1〜図3では、カメラとプロジェクタは、共通の光軸に沿った共通のイメージング素子を共有する。

【0051】

図4と図5はシステムの好適実施例を表す。この実施例では、システムは移動可能−好適には携帯可能−システムである。この実施例では、システムはハンドヘルドシステムである。システムは、ハンドヘルド装置内部のハイパースペクトル源と、カメラと、プロジェクタを有する。携帯可能装置は、図細胞組織の取り込み、及び、図5に図示されているようにたとえば静脈の位置への不可視データの投影を行うのに用いられる。たとえば携帯可能装置を用いた適切な画像取り込みと適切に投影された明確な画像は、静脈を迅速に発見することがきわめて重要な状況において顕著な利点を与える。たとえば緊急時−たとえば事故−において静脈に針を挿入するとき、迅速かつ正確に機能すること、及び、容易に動作して緊急事態にも持ち込むことのできる相対的に単純な装置しか必要としないことは重要すなわち生死に関わる問題となり得る。既存のシステムは、静脈又は他のハイパースペクトルの詳細の位置の画像を、その場で正確かつリアルタイムに供することができない。図4と図5の携帯可能システムは、静脈又は他のハイパースペクトルの詳細の位置の画像を、その場で正確かつリアルタイムに供する可能性を有する。この場合の例では、システムはハンドヘルドである。システムはヘルメット又はスリーブに装着されて良い。それにより手で、針の挿入又は他の医療処置を自由に行うことができる。

【0052】

図6は、外科手術用ランプ又は歯科医用ランプにおける本発明によるシステムの利用を表している。ランプは任意で、ハイパースペクトル画像取り込みの一部としてスペクトル選択照射を行って良い。

【0053】

さらに他の実施例では、本発明は、第2イメージングシステム−たとえばX線イメージングシステム−を有するシステム内、又はより一般的には観察中の対象物の内部画像を生成するシステム内−たとえば特許文献1に記載のシステム−に組み込まれて良い。

【0054】

図7では、係る実施例用のシステムの概略図が示されている。

【0055】

システムは、UV、可視、又は赤外波長に対する感受性を有する2つのカメラが取り付けられたX線Cアームを有する。図示されたCアームX線システムは底部フレーム72で構成される。底部フレーム72は車輪71上で可動である。底部フレーム72にCアーム73が設けられることで、Cアーム73は軸74の周りで回転可能（角度形成）となり、2つの矢印76の方向（軌道回転）に軸75の周りで回転することも可能となる。移動可能システムが記載されているが、X線システムは検査場の壁に固定されても良い。X線源77及び検出器81−好適には長方形の平坦な検出器−は、Cアーム73にその端部領域で固定されている。X線源77及び検出器81は互いに180°をなして対向する位置に設けられる。

【0056】

X線Cアームは、患者の3次元内部画像を取得することができる。カメラシステム82は、検出器81の横に取り付けられ、かつ、患者の手術領域の画像を取り込むことができる。特別な実施例では、カメラシステムは患者の3次元イメージングが可能である。さらに本発明によるハイパースペクトルイメージングシステム83は、検出器81にも取り付けられ、かつ、画像が患者の曲面上で焦点合わせされるように、可視光での情報を患者へ逆投影することが可能である。たとえば腫瘍の境界のような構造は、ハイパースペクトル画像中で良好にその輪郭が描かれ、かつ、本発明によって可視光での患者への逆投影されて良い。これにより腫瘍の境界は外科医に対してよりよく視認可能となる。このハイパースペクトルイメージング逆投影とは別に、X線システムによって撮られて可視画像へ変換される画像の逆投影はシステム83によって可能である。たとえばX線像によって視認可能な体内深くでの腫瘍の位置は、患者の体に逆投影される。このようにして、外科医には、腫瘍がどこに位置するのかが良好に示される。また重要な構造−たとえば表面直下に位置して眼には見えない大きな血管−を示すことができる。このようにして外科医は事前に、この位置で切開を行うときに慎重になるべきことを知る。X線システムの代わりに、同様の方法が、MRI、CT、PET-CT、又は超音波システムに適用されて良い。テラヘルツイメージングシステムが用いられても良い。これらのシステムすべては観察中の対象物の内部画像を供する。すべての場合において、データ源は、カメラの取得に基づくデータに加えて第2のデータ組を生成する流れの2D画像を生成する。

【0057】

図7のシステムでは、ハイパースペクトルイメージングシステムと第2イメージングシステム（図7のX線システム）の相対位置は既知でかつ固定されている。これにより、ハイパースペクトルイメージングと内部イメージングとの相対的に単純な一致が可能となる。

【0058】

ハイパースペクトルイメージングシステムと第2内部イメージングシステムの相対位置がある程度大きく変化し得るシステムでは、ハイパースペクトルイメージングシステムと第2イメージングシステムの相対位置を決定する手段が供されることが好ましい。これは、たとえばハイパースペクトルイメージングシステムと第2内部イメージングシステムの両方のX,Y,Z座標、及び、好適にはイメージングシステムの向き又は軸−この情報が有意である場合−を測定する電子手段を供することによって、自動的に行われて良い。これは当然のこととして係るデータの手動入力によって行われても良い。あるいはその代わりに又はそれに加えて、ハイパースペクトル画像と第2画像の両方において存在するそれぞれの画像の範囲内で自然に発生する又は特別に設けられる画像の特徴は、ハイパースペクトル画像と第2画像とを位置合わせするのに用いられて良い。たとえば可視画像及びX線画像並びにハイパースペクトル画像中に示される様々な点で患者上に存在する小さな金属物体がこの目的に用いられて良い。

【0059】

図8はさらに図7のシステムを表している。たとえばX線データに由来する第2画像データを用いるには、プロジェクタのすべての画素(x,y)についてプレノプティックカメラ/プロジェクタと細胞組織表面との間の距離dを表す深さマップd(x,y)を明示的に計算することが必要となる。これは、プレノプティックカメラデータ自体とは対照的に、プレノプティックカメラデータの入力画素グリッドとプロジェクタの出力画素グリッドとを一致させる空間補間しか必要としない。

【0060】

取り込まれたライトフィールドは深さ情報を有する。取り込まれたライトフィールドデータから距離のプロファイルを復元するため、たとえば非特許文献7,8のような様々な解決法が提案されてきた。よってこれは、図8での処理ブロックによって実行される別な作業となる。続いて復元された深さマップd(x,y)は、部分9において、第2画像データ源からの画像をマイクロ画像のアレイに再変換するのに用いられる。マイクロレンズアレイと適切に位置合わせされている場合には、第2データも、細胞組織表面上に、その細胞組織表面の形状及び向きにかかわらず、適切に焦点合わせされた状態で投影される。図示されていないが、部分9はまた、ハイパースペクトルイメージングシステム及びX線イメージングシステムの相対位置及び/又は配置のデータを入力する入力をも有して良い。

【0061】

図9は、マイクロレンズを用いてライトフィールドを取り込み、かつ、ライトフィールドを投影する原理を表している。図9の上部はライトフィールドの取り込みを表している。プレノプティックイメージングは、入射ライトフィールドの空間情報を格納する。マイクロレンズアレイが用いられる場合、各々がマイクロレンズアレイの単一マイクロレンズによって生成される複数の小さなマイクロ画像中に3D情報が格納される。各光線は、センサ上の2D位置と入射の水平角と垂直角−2つの次元が加わる−によって特徴付けられるので、取り込まれたライトフィールドは実際4次元である。

【0062】

各マイクロレンズはスーパー画素とみなされて良い。スーパー画素は、その「スーパー画素」の位置での入射光の角度情報だけでなく強度も格納する。

【0063】

図9の下部は、プロジェクタ4の画素からのライトフィールドの投影を表している。光線は逆方向に進行している。マイクロレンズアレイに係る同一のマイクロ画像を生成するプロジェクタは、焦点面が本来の表面と、その表面の曲面形状にかかわらず一致する投影となる。共通の光路を利用し、かつ、センサ画素とプロジェクタ画素とを位置合わせすることで、カメラによって取り込まれた投影は表面上で常に焦点合わせされる。すべての素子が厳密に同一（同一サイズ、同一位置等）である場合、カメラの画素とプロジェクタの画素との間には単純な一対一の関係が存在する。現実には、2つのサイズ又は厳密な位置は異なって良い。しかし関係は、並進(T)と縮尺設定(S)の単純な処理のままである。これは処理装置8において実行される。

【0064】

並進処理もまた、x方向及びy方向にセンサ又は投影面を並進させる手段をプロジェクタ又はカメラに供することによって機械的に行われて良い。

【0065】

共通の光学素子、具体的にはプレノプティック機能を供する共通の素子−図9ではマイクロレンズアレイ−を有することで、画像記録の光路と画像投影の光路との間での対応関係が向上し、その結果処理が単純化する。

【0066】

図10は、必要な並進及び縮尺設定因子を発見する方法を表している。

【0067】

図10では、試験画像が供され、この試験画像Tはカメラ3によって記録される。カメラ3は、記録された画像のデータを処理装置8へ送る。処理装置8は、たとえばカメラ及びプロジェクタの既知の特徴を有する過去にコンピュータによって生成された光路追跡によって発見された初期のT変換とS変換をデータに適用する。投影画像は試験画像と比較される。これはたとえば、ハイパースペクトル画像と投影画像の両方を記録することのできる別個のカメラによって行われて良い。試験画像と投影画像が一致する場合、TとSの事前設定値が用いられる。一致しない場合、試験画像と投影画像が一致するまでTの値とSの値を変化させる。これは、Tの値とSの値を発見する一の方法である。図10では、本発明によるシステムのライトフィールドカメラとライトフィールドプロジェクタとを位置合わせする方法が、並進因子Sと縮尺設定因子Sを調節して試験画像と投影ライトフィールド画像とを位置合わせすることによって示される。この試験処理と位置合わせ処理は、ライトフィールド画像の取得及びライトフィールド画像の投影前に、本発明による好適方法において行われる。

【0068】

本発明のまとめは短く以下のように表され得る。

【0069】

イメージングシステムは、ハイパースペクトルライトフィールド(CLF)を記録するライトフィールドカメラ(3)を有する。当該システムはまた、可視光のライトフィールド(PLF)を投影するライトプロジェクタをも有する。前記カメラと前記プロジェクタは共通の光軸を共有する。前記プロジェクタは、前記ライトフィールドカメラによって取り込まれる前記ハイパースペクトルライトフィールド(CLF)に基づいてライトフィールド(PLF)を投影する。

【0070】

本発明は図示された又は上述の典型的実施例によって限定されない。多くの変化型が可能であることは当業者には明らかである。

【0071】

「有する」という語句が、請求項に記載された以外の素子又は工程の存在を排除しない。

【0072】

「手段」という用語は、示された機能を実行する任意の手段−ソフトウエア、ハードウエア、又はこれらの任意の結合−を含む。

【0073】

システムの各異なる素子は単一の装置であることが好ましい。しかしたとえばライトフィールドデータがライトフィールドカメラから、プロジェクタ4のライトフィールドデータを供するように処理される部分8へ送られるときに、様々な素子は様々な物理的位置に存在して良い。この部分8はカメラ及びプロジェクタと同一の装置であって良く、好適であるがCPU内若しくはインターネットのサイト上又は様々なシステムによって共有されて良い。データは、有線及び無線によってデータを伝送する手段によってカメラ3から部分8へ伝送されて良い。同じことは、部分8からプロジェクタ4へのデータについても当てはまる。

【0074】

本発明はまた、本発明の一部又は全部がソフトウエアによって実行されるそれらの実施例について、本発明による方法を実行するコンピュータ可読媒体上に格納されたプログラムコード手段を有するコンピュータプログラム製品、及び、本発明による方法の命令を有するコンピュータ装置によってロードされるコンピュータプログラム製品に関する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A-9B】

【図10】