▶ ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッドの特許一覧
特許7101740光学システムならびに対応する装置、方法およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-07
(45)【発行日】2022-07-15
(54)【発明の名称】光学システムならびに対応する装置、方法およびコンピュータプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220708BHJP
A61B 34/10 20160101ALI20220708BHJP
【ＦＩ】
G06T19/00 600
A61B34/10
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2020185805
(22)【出願日】2020-11-06
(65)【公開番号】P2021077375
(43)【公開日】2021-05-20
【審査請求日】2020-11-06
(31)【優先権主張番号】19208053
(32)【優先日】2019-11-08
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】516114695
【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド
【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．
【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100135633
【弁理士】
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ゲオルゲ テメリス
【審査官】片岡 利延
(56)【参考文献】
【文献】国際公開第２０１８／０６３５２８（ＷＯ，Ａ１）
【文献】特開２０１７－１４６５９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００８８３２３（ＵＳ，Ａ１）
【文献】特開２０２１－０９０７５３（ＪＰ，Ａ）
【文献】国際公開第２０１９／０７１１５７（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ａ６１Ｂ ３４／１０
(57)【特許請求の範囲】
【請求項1】
光学システム（１００ａ；１００ｂ；１００ｃ）であって、前記光学システム（１００ａ；１００ｂ；１００ｃ）は、拡張現実または複合現実環境内でオブジェクト（１７０）上にオーバーレイされる視覚的オーバーレイを提供するためのディスプレイモジュール（１２０）と、
前記オブジェクト（１７０）の少なくとも１つの光学特性を感知するための少なくとも１つのセンサ（１６０）と、
前記光学システムのユーザーと前記オブジェクト（１７０）との間の光路内に配置された光学的減衰モジュール（１４０；１５０）と、
処理モジュール（１１４）と、
を含み、
前記処理モジュール（１１４）は、
前記少なくとも１つのセンサを使用して、前記オブジェクト（１７０）の前記少なくとも１つの光学特性を決定し、
前記オブジェクト（１７０）の前記少なくとも１つの光学特性に基づいて、前記オブジェクト（１７０）上にオーバーレイされる前記視覚的オーバーレイと前記オブジェクト（１７０）との間の視覚的コントラストを、前記拡張現実または複合現実環境の視野内で知覚されるように決定し、
前記オブジェクト（１７０）上にオーバーレイされる前記視覚的オーバーレイと前記オブジェクト（１７０）との間の決定された前記視覚的コントラストに基づいて、前記視野の複数の部分の１つの照明、または、前記光学的減衰モジュール（１４０；１５０）を制御することによる前記視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている、
光学システム（１００ａ；１００ｂ；１００ｃ）。
【請求項2】
前記センサ（１６０）は、カメラを含み、前記処理モジュール（１１４）は、前記カメラを使用して前記オブジェクト（１７０）のカメラ画像を取得するように構成され、前記処理モジュール（１１４）は、前記カメラ画像を使用して、前記オブジェクト（１７０）の視覚的表現を、前記拡張現実または複合現実環境内で知覚されるように決定し、前記視覚的オーバーレイと前記カメラ画像とに基づいて前記視覚的コントラストを決定するように構成されている、請求項１記載の光学システム。
【請求項3】
前記オブジェクト（１７０）の前記少なくとも１つの光学特性は、前記視野の１つまたは複数の部分の明るさを含み、前記処理モジュール（１１４）は、前記視野の１つまたは複数の部分の照明または光学的減衰の選択的な調整によって、前記視野の１つまたは複数の部分の明るさを、前記拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されている、請求項１または２記載の光学システム。
【請求項4】
前記オブジェクト（１７０）の前記少なくとも１つの光学特性は、前記オブジェクト（１７０）の色組成を含み、前記処理モジュール（１１４）は、前記オブジェクト（１７０）の前記色組成に基づいて、前記視野の１つまたは複数の部分の照明または光学的減衰を選択的に調整するように構成されている、請求項１から３までのいずれか１項記載の光学システム。
【請求項5】
前記処理モジュール（１１４）は、前記視野の１つまたは複数の部分での前記オブジェクト（１７０）の前記色組成と前記オブジェクト（１７０）に対応する位置での前記視覚的オーバーレイの色組成との間の視覚的コントラストに基づいて、前記視野の１つまたは複数の部分の照明または光学的減衰を選択的に調整するように構成されている、請求項４記載の光学システム。
【請求項6】
前記処理モジュール（１１４）は、前記視野の１つまたは複数の部分の照明または光学的減衰のスペクトル特性の選択的な調整によって、前記視野の１つまたは複数の部分のスペクトル特性を、前記拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されている、請求項１から５までのいずれか１項記載の光学システム。
【請求項7】
前記光学システムは、前記視野を照明するための照明源（１３０）を含み、前記処理モジュール（１１４）は、前記視野の１つまたは複数の部分の照明を選択的に調整するために、前記照明源（１３０）を制御するように構成されている、請求項１から６までのいずれか１項記載の光学システム。
【請求項8】
前記処理モジュール（１１４）は、前記照明源（１３０）を制御するように構成されており、それにより、前記照明源（１３０）は、前記視野内の前記オブジェクト（１７０）の隣接部分の照明とは異なる、前記視野の１つまたは複数の部分（１７０）の照明を提供するように構成される、請求項７記載の光学システム。
【請求項9】
前記光学システムは、前記光学システムの光路内に配置された光学的減衰モジュール（１４０；１５０；１５５）を含み、前記処理モジュール（１１４）は、前記光学的減衰モジュール（１４０；１５０；１５５）を制御するように構成されており、それにより、前記光学的減衰モジュール（１４０；１５０；１５５）は、前記視野内の前記オブジェクト（１７０）の隣接部分から発する、または前記視野内の前記オブジェクト（１７０）の隣接部分に入射する光の減衰とは異なる、前記視野の１つまたは複数の部分から発する、または前記視野の１つまたは複数の部分に入射する光の減衰を提供するように構成され、これにより、前記視野の１つまたは複数の部分の光学的減衰が選択的に調整される、請求項１から８までのいずれか１項記載の光学システム。
【請求項10】
前記光学的減衰モジュール（１５５）は、前記光学システムの照明源（１３０）と前記オブジェクト（１７０）との間の光路内に配置されている、請求項９記載の光学システム。
【請求項11】
前記処理モジュール（１１４）は、前記視覚的オーバーレイと前記オブジェクト（１７０）との間の少なくとも予め定められたコントラストを達成するために、前記視野の複数の部分の１つの照明、または前記視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている、請求項１から１０までのいずれか１項記載の光学システム。
【請求項12】
前記オブジェクト（１７０）は、有機組織の試料であり、前記視覚的オーバーレイは、前記有機組織の試料の１つまたは複数の部分を強調表示するように構成されている、請求項１から１１までのいずれか１項記載の光学システム。
【請求項13】
光学システム（１００ａ；１００ｂ；１００ｃ）のための装置（１１０）であって、前記装置（１１０）は、前記光学システムの１つまたは複数のコンポーネントと通信するためのインターフェース（１１２）と、
処理モジュール（１１４）と、
を含み、
前記処理モジュール（１１４）は、
前記光学システムの少なくとも１つのセンサを使用して、オブジェクト（１７０）の少なくとも１つの光学特性を決定し、
前記オブジェクト（１７０）の前記少なくとも１つの光学特性に基づいて、拡張現実または複合現実環境内で前記オブジェクト（１７０）上にオーバーレイされる視覚的オーバーレイと前記オブジェクト（１７０）との間の視覚的コントラストを、前記拡張現実または複合現実環境の視野内で知覚されるように決定し、
前記オブジェクト（１７０）上にオーバーレイされる前記視覚的オーバーレイと前記オブジェクト（１７０）との間の決定された前記視覚的コントラストに基づいて、視野の複数の部分の１つの照明、または、前記光学システムのユーザーと前記オブジェクト（１７０）との間の光路内に配置された光学的減衰モジュール（１４０；１５０）を制御することによる前記視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている、
装置（１１０）。
【請求項14】
光学システム（１００ａ；１００ｂ；１００ｃ）のための方法であって、前記方法は、前記光学システムの少なくとも１つのセンサを使用して、オブジェクト（１７０）の少なくとも１つの光学特性を決定するステップ（２１０）と、
前記オブジェクト（１７０）の前記少なくとも１つの光学特性に基づいて、拡張現実または複合現実環境内で前記オブジェクト（１７０）上にオーバーレイされる視覚的オーバーレイと前記オブジェクト（１７０）との間の視覚的コントラストを、前記拡張現実または複合現実環境の視野内で知覚されるように決定するステップ（２２０）と、
前記オブジェクト（１７０）上にオーバーレイされる前記視覚的オーバーレイと前記オブジェクト（１７０）との間の決定された前記視覚的コントラストに基づいて、前記視野の複数の部分の１つの照明、または、前記光学システムのユーザーと前記オブジェクト（１７０）との間の光路内に配置された光学的減衰モジュール（１４０；１５０）を制御することによる前記視野の複数の部分の１つの光学的減衰を選択的に調整するステップ（２３０）と、
を含む方法。
【請求項15】
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ上で実行されるときに請求項１４記載の方法を実行するためのプログラムコードを備えている、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本例は、光学システムならびに対応する装置、方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
拡張現実（ＡＲ）と統合現実は研究開発のテーマである。拡張現実では、例えば現実世界の環境のオブジェクト上に脈略的情報を提供するために、現実世界の環境のオブジェクトに、コンピュータで作成された情報がオーバーレイされる。例えば、手術室において、拡張現実は、外科手術が行われている組織について追加情報を見るため、例えば手術中に病理組織を強調表示するために外科医によって使用されるかもしれない。統合現実（すなわち複合現実）では、現実世界と仮想世界が統合／複合され、それによって、両世界のオブジェクトが相互作用し得る。両技術とも、半透明のミラーと投影デバイス、または部分的に透明なディスプレイを使用して実装されることが多い。拡張および統合現実の視覚化技術は、画像の複合およびオーバーレイに技術的限界があるために、色の歪みに悩まされることが多い。例えば、ホログラフィックメガネは、自然な視覚の視野にデジタル画像を物理的にオーバーレイすることが可能である。このプロセスは、十分に照明された脳組織などの明るいオブジェクトに対するコントラストを結果的に低下させる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
拡張または統合現実環境の構想を改善したいとの要望があるかもしれない。
【課題を解決するための手段】
【0004】
この要望は、独立請求項の対象によって対処される。
【0005】
本実施形態は、ＡＲ／ＭＲ環境内で知覚される（実際の）オブジェクトの明るさが、オブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトの知覚との間のコントラストの改善のために変更できるという発見に基づいている。これは、例えば、周囲のオブジェクトまたはオブジェクトの周囲部分の明るさが低下するのを避けるために選択的に行うことができる。一般に、（実際の）オブジェクトの知覚を変更するのに少なくとも２つの一般的構想、すなわち、オブジェクトの照明を選択的に変更するか、オブジェクトの知覚を選択的に減衰させることによる構想がある。例えば、オブジェクトの照明、またはオブジェクトの照明の観察は、空間的に調整されてもよいし、例えば空間的に減衰させてもよい。これは、ＡＲ／ＭＲ環境でのオーバーレイとオブジェクトとの間のコントラストの改善をもたらすことができる。
【0006】
本開示の実施形態は、光学システムを提供する。この光学システムは、拡張現実または複合現実環境において、オブジェクト上にオーバーレイされる視覚的オーバーレイを提供するためのディスプレイモジュールを含む。この光学システムは、オブジェクトの少なくとも１つの光学特性を感知するための少なくとも１つのセンサを含む。この光学システムは、処理モジュールを含み、この処理モジュールは、少なくとも１つのセンサを使用して、オブジェクトの少なくとも１つの光学特性を決定するように構成されている。この処理モジュールは、オブジェクトの少なくとも１つの光学特性に基づいて、オブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されている。この処理モジュールは、オブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の決定された視覚的コントラストに基づいて、視野の複数の部分の１つの照明、または視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている。これは、視野の複数の部分の１つと視覚的オーバーレイとの間の改善されたコントラストを提供し得る。
【0007】
少なくともいくつかの実施形態では、センサモジュールはカメラを含む。処理モジュールは、カメラを使用してオブジェクトのカメラ画像を取得するように構成されてもよい。処理モジュールは、カメラ画像を使用して、オブジェクトの視覚的表現を、拡張現実または複合現実環境内で知覚されるように決定するように構成されてもよい。処理モジュールは、視覚的オーバーレイとカメラ画像とに基づいて視覚的コントラストを決定するように構成されてもよい。決定された視覚的コントラストは、照明または光学的減衰の選択的調整がオブジェクトの一部のために必要であるかどうかを決定するために使用されてもよい。
【0008】
例えば、オブジェクトの少なくとも１つの光学特性は、視野の１つまたは複数の部分の明るさを含み得る。処理モジュールは、視野の１つまたは複数の部分の照明または光学的減衰の選択的な調整によって、視野の１つまたは複数の部分の明るさが拡張現実または複合現実環境内で知覚されるように選択的に調整されるように構成されてもよい。例えば、照明または減衰は、視覚的オーバーレイとそれぞれの１つまたは複数の部分との間のコントラストを増加させるべく視野の１つまたは複数の部分が低減された明るさで知覚されるように調整されてもよい。
【0009】
付加的または代替的に、オブジェクトの色組成が考慮されてもよい。例えば、オブジェクトの少なくとも１つの光学特性は、オブジェクトの色組成を含み得る。処理モジュールは、オブジェクトの色組成に基づいて、視野の１つまたは複数の部分の照明または光学的減衰を選択的に調整するように構成されてもよい。例えば、調整は、視覚的オーバーレイの色と視野の一部の色との間のコントラストが低い場合にのみ、オブジェクトの一部で必要になることがある。
【0010】
少なくともいくつかの実施形態では、処理モジュールは、視野の１つまたは複数の部分でのオブジェクトの色組成と、オブジェクトに対応する位置での視覚的オーバーレイの色組成との間の視覚的コントラストに基づいて、視野の１つまたは複数の部分の照明または光学的減衰を選択的に調整するように構成されている。例えば、この調整は、視野の１つまたは複数の部分の色組成と、オブジェクトに対応する位置での視覚的オーバーレイの色組成との間で視覚的コントラストが増加するように実行されてもよい。
【0011】
例えば、処理モジュールは、視野の１つまたは複数の部分の照明または光学的減衰のスペクトル特性の選択的な調整によって、視野の１つまたは複数の部分のスペクトル特性を、拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されてもよい。これは、視野の１つまたは複数の部分の色のシフトまたは選択的な減衰をもたらし、視野の１つまたは複数の部分と視覚的オーバーレイとの間のコントラストを改善することができる。
【0012】
少なくともいくつかの実施形態では、光学システムは、視野を照明するための照明源を含む。処理モジュールは、視野の１つまたは複数の部分の照明を選択的に調整するために、照明源を制御するように構成されてもよい。この照明源は、処理モジュールの制御下にあってもよく、したがって、視野の１つまたは複数の部分の選択的な照明の調整を実施することができる。
【0013】
例えば、処理モジュールは、照明源を制御するように構成されてもよく、それにより、照明源は、視野の隣接部分の照明とは異なる、視野の１つまたは複数の部分の照明を提供するように構成される。例えば、処理モジュールは、照明源を制御するように構成されてもよく、それにより、視野の１つまたは複数の部分の照明と視野の隣接部分の照明との間で、照明の光強度およびスペクトル特性のうちの少なくとも１つが異なる。これは、照明の選択的な調整を提供することができる。
【0014】
いくつかの実施形態では、光学システムは、光学システムの光路内に配置された光学的減衰モジュールを含む。処理モジュールは、光学的減衰モジュールを制御するように構成されてもよく、それにより、光学的減衰モジュールは、視野の隣接部分から発する、または視野の隣接部分に入射する光の減衰とは異なる、視野の１つまたは複数の部分から発する、または視野の１つまたは複数の部分に入射する光の減衰を提供するように構成され、これにより、視野の１つまたは複数の部分の光学的減衰が選択的に調整される。例えば、処理モジュールは、光学的減衰モジュールを制御するように構成されてもよく、それにより、視野の１つまたは複数の部分から発する、または視野の１つまたは複数の部分に入射する光の光学的減衰と、視野の隣接部分から発する、または視野の隣接部分に入射する光の光学的減衰との間で、光学的減衰の強度および光学的減衰のスペクトル特性のうちの少なくとも１つが異なる。これは、光学的減衰の選択的な調整を提供することができる。
【0015】
例えば、光学的減衰モジュールは、光学システムの照明源とオブジェクトとの間の光路内に配置されてもよい。これは、照明がオブジェクトに到達する前にオブジェクトの照明の光学的減衰を提供し得る。その結果、視野の複数の部分の１つの照明が選択的に調整される。代替的に（または付加的に）、光学的減衰モジュールは、光学システムのユーザーとオブジェクトとの間の光路内に配置されてもよい。これは、視野の複数の部分の１つの選択的な光学的減衰を提供し得る。
【0016】
少なくともいくつかの実施形態では、処理モジュールは、視覚的オーバーレイとオブジェクトとの間の少なくとも予め定められたコントラストを達成するために、視野の複数の部分の１つの照明、または視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている。予め定められたコントラストは、視覚的オーバーレイの読みやすさ、または知覚可能性を高め得る。
【0017】
例えば、視覚的オーバーレイは、光学システムの半透明ミラーを使用してオブジェクト上にオーバーレイされてもよい。例えば、このオーバーレイは、半透明ミラー上に投影されてもよい。オブジェクトは、半透明ミラーを通して見ることができ、その結果、オブジェクトの知覚において遅延なしでＡＲ／ＭＲ体験がもたらされる。
【0018】
いくつかの実施形態では、オブジェクトは、有機組織の試料である。有機組織の試料は、脈絡的情報、例えば、健康な組織もしくは病理組織に関する情報、または有機組織の表面裏側に隠れている特徴に関する情報でオーバーレイされてもよい。
【0019】
例えば、視覚的オーバーレイは、有機組織の試料の１つまたは複数の部分を強調表示するように構成されてもよい。強調表示された１つまたは複数の部分は、例えば、外科手術中に外科医を案内するために使用されてもよい。
【0020】
例えば、光学システムは、顕微鏡、例えば外科用顕微鏡であってもよい。したがって、この光学システムは、手術中に外科医を支援するために使用されてもよい。
【0021】
代替的に、光学システムは内視鏡であってもよい。内視鏡で使用する場合、カメラ画像は、光源とカメラとの間が至近距離であるため、高い反射率にわずらわされることが多くなり得る。本実施形態は、視覚的オーバーレイとカメラ画像との間で十分なコントラストを提供するために、照明または減衰を選択的に調整するために使用されてもよい。さらに、カメラによって記録された画像は、視野の１つまたは複数の部分の過度の露出が回避されるように改善され得る。
【0022】
本開示の実施形態は、さらに、光学システムのための対応する装置を提供する。この装置は、光学システムの１つまたは複数のコンポーネントと通信するためのインターフェースを含む。この装置は、処理モジュールを含み、この処理モジュールは、光学システムの少なくとも１つのセンサを使用して、オブジェクトの少なくとも１つの光学特性を決定するように構成されている。この処理モジュールは、オブジェクトの少なくとも１つの光学特性に基づいて、拡張現実または複合現実環境内でオブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されている。この処理モジュールは、オブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の決定された視覚的コントラストに基づいて、視野の複数の部分の１つの照明、または視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている。
【0023】
本開示の実施形態は、さらに、光学システムのための対応する方法を提供する。この方法は、光学システムの少なくとも１つのセンサを使用して、オブジェクトの少なくとも１つの光学特性を決定するステップを含む。この方法は、オブジェクトの少なくとも１つの光学特性に基づいて、拡張現実または複合現実環境内でオブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するステップを含む。この方法は、オブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の決定された視覚的コントラストに基づいて、視野の複数の部分の１つの照明、または視野の複数の部分の１つの光学的減衰を選択的に調整するステップを含む。本開示の実施形態は、さらに、コンピュータプログラムであって、該コンピュータプログラムがプロセッサ上で実行されるときに本方法を実行するためのプログラムコードを備えたコンピュータプログラムを提供する。
【0024】
以下では、装置および／または方法のいくつかの例を、添付の図面を参照して例示的にのみ説明する。
【図面の簡単な説明】
【0025】
【図1a】光学システムおよび光学システムのための装置の一実施形態のブロック図
【図1b】光学システムおよび光学システムのための装置の一実施形態のブロック図
【図1c】光学システムおよび光学システムのための装置の一実施形態のブロック図
【図2】光学システムのための方法の一実施形態のフローチャート
【図3】ＡＲ／ＭＲ環境内でのオブジェクトの知覚の概略図
【発明を実施するための形態】
【0026】
ここではいくつかの例が示された添付図面を参照して様々な例をより完全に説明する。これらの図面では、明確化のために線、層、および／または領域の厚みが誇張されている場合がある。
【0027】
したがって、さらなる例では様々な補正形態および択一形態が可能ではあるが、図面にはそれらのいくつかの特定の例が示され、引き続き詳細に説明される。ただし、この詳細な説明は、説明された特定の形態へのさらなる例の限定を意図するものではない。このさらなる例とは、本開示の範囲内に入るすべての補正、同等物、および代替物をカバーし得るものである。同一もしくは同様の番号は、図面の説明全体を通して同様もしくは類似の要素を指し、これらは、相互比較した場合、同一もしくは類似の機能性を提供する限り同一もしくは補正された形態で実装されてもよい。
【0028】
ある要素が別の要素に「接続」または「結合」されていると称される場合、これらの要素は、直接的に接続もしくは結合されるか、あるいは１つまたは複数の介在要素を介して接続もしくは結合され得ることを理解されたい。２つの要素ＡとＢが「または」を使用して組み合わされている場合、明示的または暗黙的に別指示が定義されていない限り、これはすべての可能な組み合わせ、すなわち、Ａ単独、Ｂ単独のみならずＡおよびＢも開示していることを理解されたい。同じ組み合わせの代替的な表現には、「ＡおよびＢのうちの少なくとも１つ」あるいは「Ａおよび／またはＢ」がある。同じことは、３つ以上の要素の組み合わせにも準用的に当てはまる。
【0029】
特定の例を説明する目的のために本明細書で使用される用語は、さらなる例に対する限定を意図するものではない。「ある」、「１つの」、「この」などの単数形が使用されており、単一の要素のみを使用することが必須であると明示的にも暗黙的にも定義されていないときはいつでもさらなる例として複数の要素を使用して同じ機能性を発揮させることが可能である。同様に、複数の要素を使用して機能性が発揮される旨が引き続き説明されている場合であっても、さらなる例として単一の要素または処理実体を使用して同じ機能性を発揮させることが可能である。さらに、「含む」、「含むこと」、「含有する」、および／または「含有すること」という用語が使用される場合、所定の特徴、完全体、ステップ、操作、手順、行為、要素、および／またはコンポーネントの存在が特定されるが、これは、１つまたは複数の他の特徴、完全体、ステップ、操作、手順、行為、要素、コンポーネント、および／またはそれらの任意のグループの存在または追加を排除するものではないことを理解されたい。
【0030】
別段の定めがない限り、すべての用語（技術用語および科学用語を含む）は、本明細書では、例が属する技術分野の通常の意味で使用されている。
【0031】
図１ａから図１ｃは、光学システム１００ａ，１００ｂ，１００ｃの実施形態のブロック図を示す。この光学システムは、拡張現実または複合現実環境において、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイを提供するためのディスプレイモジュール１２０を含む。この光学システムは、オブジェクト１７０の少なくとも１つの光学特性を感知するための少なくとも１つのセンサ１６０を含む。この光学システムは、処理モジュール１１４を含み、この処理モジュール１１４は、例えばインターフェース１１２を介してディスプレイモジュール１２０と少なくとも１つのセンサ１６０とに接続されている。さらに、図１ａから図１ｃは、インターフェース１１２と処理モジュール１１４とを含む光学システムのための装置１１０を示す。例えば、この装置は、光学システムを制御するのに適していてもよいし、例えば、この装置１１０は、光学システムの制御装置であってもよい。処理モジュール１１４は、少なくとも１つのセンサ１６０を使用して、オブジェクト１７０の少なくとも１つの光学特性を決定するように構成されている。この処理モジュールは、オブジェクト１７０の少なくとも１つの光学特性に基づいて、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されている。この処理モジュールは、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイとオブジェクト１７０との間の決定された視覚的コントラストに基づいて、視野の複数の部分の１つの照明、または視野の複数の部分の１つの光学的減衰を選択的に調整するように構成されている。図１ａから図１ｃでは、半透明ミラー１４０が、オブジェクト上に視覚的オーバーレイをオーバーレイさせるために使用されている。換言すれば、視覚的オーバーレイは、光学システムの半透明ミラー１４０を使用してオブジェクト１７０上にオーバーレイされてもよい。それに代えて、透過ディスプレイなどの代替的アプローチが使用されてもよい。
【0032】
本開示の実施形態は、光学システムならびに対応する装置、方法およびコンピュータプログラムに関する。この光学システムは、拡張現実（ＡＲ）または統合／複合現実（ＭＲ）システム、すなわち（コンピュータで生成された）視覚的オーバーレイが、現実のオブジェクト（すなわちコンピュータによって生成されていない現実世界からのオブジェクト）上にオーバーレイされるシステムと見なされてもよい。この光学システムは、拡張現実または複合現実環境を提供するように構成されてもよい。この拡張現実または複合現実環境は、コンピュータによって作成された要素（すなわち視覚的オーバーレイ）と現実のオブジェクトとがどちらも可視であり、例えば、補助的もしくは脈略的情報を現実のオブジェクトに提供するために、コンピュータによって作成された要素が現実のオブジェクト上にオーバーレイされる環境であってもよい。そのような光学システムは、例えば、外科用設定で使用されてもよい。例えば、手術中に、補助的もしくは脈略的情報を外科医に表示するためにこの光学システムを使用してもよい。例えば病理組織に注入された蛍光色素の蛍光を示す画像を取得するための蛍光撮像を実行するために、例えばカメラ（少なくとも１つのセンサ１６０など）を使用してもよい。得られた画像に基づいて病理組織の位置が抽出され、光学システムによってオブジェクト（すなわち病理組織）上にオーバーレイされてもよい。したがって、オブジェクト１７０は、有機組織の試料、例えば手術部位の有機組織の試料であり得る。視覚的オーバーレイは、例えば、１つまたは複数の部分にカラーオーバーレイを提供することによって、かつ／または１つまたは複数の部分の範囲を示す１つまたは複数の線を提供することによって、（有機組織の試料または任意の試料の）１つまたは複数の部分を強調表示するように構成されてもよい。例えば、有機組織の試料の１つまたは複数の部分は、有機組織の試料の１つまたは複数の病理部分（または少なくとも「疑わしい」部分）を含むことができる（または含んでいるかもしれない）。代替的または付加的に、有機組織の試料の１つまたは複数の部分は、対照的な色で（例えば動脈の場合は赤、静脈の場合は青で）強調表示されてもよい血管（例えば動脈および静脈）を含むことができる（または含んでいるかもしれない）。代替的または付加的に、有機組織の試料の１つまたは複数の部分は、手術が実行されるべき有機組織の試料の１つまたは複数の部分を含むことができる（または含んでいるかもしれない）。
【0033】
例えば、外科用または研究用の環境では、光学システムは、顕微鏡、例えば外科用顕微鏡、内視鏡、または画像誘導システムであってもよい。この画像誘導システムは、外科医を組織ボリューム内でナビゲートして、病理組織領域に到達させるのを支援する一方で、脳や血管などの敏感だが重要な構造が傷つくことを回避するために、外科用顕微鏡のアドオン部品として日常的に使用されている。この画像誘導システムは、ＭＲＩ（Magnetic Resonance Imaging）スキャンやＸ線血管造影スキャンなどの患者の術前三次元スキャンを利用している。例えば、有機組織の試料の１つまたは複数の部分は、患者の術前三次元スキャンから生成された画像でオーバーレイされてもよい。外科分野とは別に、この光学システムは、ＡＲ／ＭＲメガネなどの装着型光学デバイス、あるいはスマートフォンもしくはタブレットコンピュータなどのモバイルデバイスであってもよい。
【0034】
処理モジュールは、少なくとも１つのセンサを使用して、オブジェクト１７０の少なくとも１つの光学特性を決定するように構成されている。少なくともいくつかの実施形態では、オブジェクト１７０の少なくとも１つの特性は、例えば、オブジェクトの照明または光学的減衰は変化しないという想定の下でユーザーによって「知覚されたもの」であってもよい。オブジェクトの少なくとも１つの光学特性は、オブジェクトが視野内でどのように知覚されるかに関係し得る。オブジェクト１７０の少なくとも１つの特性は、照明または減衰が調整されるにつれて変化し得る。例えば、照明または減衰が調整されるにつれて、オブジェクト（の１つまたは複数の部分）の知覚される明るさが変化し得る。処理モジュール１１４は、例えば、実行された調整を考慮に入れる補償係数を含めることによってこれらの変更を内部的に補償することができる。代替的に、オブジェクト１７０の少なくとも１つの特性は、減衰の調整に依存させなくてもよい（ただし、照明は、照明の調整に依存するにもかかわらず、少なくとも１つのセンサによって知覚されるかもしれない）。処理モジュールは、例えば、視野へのオブジェクトの少なくとも１つの光学特性の（二次元）投影を使用して、オブジェクトの少なくとも１つの光学特性（例えば少なくとも１つのセンサのセンサデータ）を視野にマッピングするように構成されてもよく、さらに、オブジェクトの少なくとも１つの光学特性を光学システム内のオブジェクトの知覚にマッピングするように構成されてもよい。同様に、オブジェクトは視野にマッピングされてもよい。例えば、視野の１つまたは複数の部分は、オブジェクトの１つまたは複数の対応する部分にマッピングされてもよい。視覚的オーバーレイは、視野内のオブジェクト（のマッピング）と位置合わせされてもよい。
【0035】
少なくともいくつかの実施形態では、オブジェクトの少なくとも１つの光学特性は、それらが変更されるオブジェクトの部分であるため、（少なくとも）視野の１つまたは複数の部分（およびオブジェクトの対応する１つまたは複数の部分）に関連し得る。オブジェクトとオーバーレイとの間の視覚的コントラストを検査するときに考慮されてもよい複数の光学特性がある。例えば、オブジェクト１７０の少なくとも１つの光学特性は、視野の１つまたは複数の部分の明るさを含むことができる。したがって、少なくとも１つのセンサ１６０は、視野の１つまたは複数の部分（およびオブジェクトの対応する１つまたは複数の部分）の明るさを決定するように構成された輝度センサを含み得る。付加的または代替的に、オブジェクト１７０の少なくとも１つの光学特性は、オブジェクト１７０の（例えば視野の１つまたは複数の部分の）色組成を含むことができる。例えば、オブジェクト１７０の色組成は、光学撮像システム内で知覚されるように、オブジェクトの１つまたは複数の色を示すことができる。例えば、オブジェクト１７０の少なくとも１つの光学特性は、視野の１つまたは複数の部分の色組成を含むことができ、これは、次いで、オブジェクトの１つまたは複数の対応する部分の色にも基づく。したがって、少なくとも１つのセンサ１６０は、オブジェクトの色組成を決定するように構成されたスペクトル分析センサを含むことができる。輝度センサおよびスペクトル分析センサの代わりに（または輝度センサおよびスペクトル分析センサとして）、それぞれの情報を決定するためにカメラが使用されてもよい。例えば、センサモジュール１６０は、カメラを含むことができる。処理モジュール１１４は、カメラを使用してオブジェクトのカメラ画像を取得するように構成されてもよい。処理モジュール１１４は、さらに、カメラ画像に基づいて、例えば画像解析を使用して、オブジェクトの少なくとも１つの光学特性を、例えば視野の１つまたは複数の部分の明るさ、および／またはオブジェクト（または視野）の色組成を決定するように構成されてもよい。
【0036】
少なくともいくつかの実施形態では、少なくとも１つのセンサは、光学システムのユーザーと同様にオブジェクトを知覚することができる。例えば、少なくとも１つのセンサは、自身が視野の１つまたは複数の部分の光学的減衰を感知するように配置されてもよい。代替的に、少なくとも１つのセンサは、自身が視野の１つまたは複数の部分の光学的減衰を感知しないように、例えば少なくとも１つのセンサに入射する光に対して光学的減衰が行われないように、配置されてもよい。一般に、少なくとも１つのセンサは、自身が（図１ａから図１ｃに示されるように）（直接）オブジェクトに面するように配置されてもよい。代替的に、少なくとも１つのセンサは、オブジェクトから入射する光を向けなおす少なくとも１つの光学素子を介して、オブジェクトの少なくとも１つの光学特性を感知するように構成されてもよい。例えば、光学システムは、さらなる半透明ミラーを含むことができ、少なくとも１つのセンサは、このさらなる半透明ミラーを介してオブジェクトを観察するように構成されてもよい。
【0037】
処理モジュールは、オブジェクト１７０の少なくとも１つの光学特性に基づいて、オブジェクト１７０の上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されている。本開示の文脈では、「拡張現実または複合現実環境の視野内で知覚されるように」という表現が使用されている。一般に、この表現は、オブジェクトの知覚を変えるために使用することができる様々なアプローチが存在するので、様々な実施形態をカバーするために使用されている。例えば、オブジェクトに向かって放出される光は、照明源によってもしくは光学的減衰モジュールによって調整されてもよい。代替的または付加的に、オブジェクトから発せられる光は、例えば光学的減衰モジュールを使用して調整されてもよい。これらの異なる構想は、「拡張現実または複合現実環境の視野内での知覚」の構想によって統合されている。事実上、「拡張現実または複合現実環境の視野内での知覚」とは、照明源または光学的減衰モジュールによって実行された調整を含めて、ユーザーによって知覚されたオブジェクトを指す。例えば、上記で述べられたように、処理モジュール１１４は、少なくとも１つのセンサ１６０のセンサデータ（例えばカメラ画像）、したがって、オブジェクトの最後の１つの光学特性を視野にマッピングするように構成されてもよい。付加的に、処理モジュール１１４は、視覚的オーバーレイを視野にマッピングするように構成されてもよい。これらの２つのマッピングに基づいて、処理モジュール１１４は、（視野にマッピングされた）オブジェクトと（視野にマッピングされた）視覚的オーバーレイとの間の視覚的コントラストを決定することができる。換言すれば、処理モジュール１１４は、視野にマッピングされたオブジェクトの最後の１つの光学特性に基づいて、および視野にマッピングされた視覚的オーバーレイに基づいて、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されてもよい。例えば、処理モジュール１１４は、少なくとも１つのセンサのセンサデータを使用して、例えばカメラ画像を使用して、オブジェクトの視覚的表現を、拡張現実または複合現実環境内で知覚されるように決定し、視覚的オーバーレイとカメラ画像とに基づいて視覚的コントラストを決定するように構成されてもよい。
【0038】
少なくともいくつかの実施形態では、視覚的コントラストは、２つの成分、すなわち明るさのコントラストおよび色のコントラストのうちの少なくとも１つを含む。換言すれば、処理モジュールは、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイの明るさとオブジェクトの明るさとの間のコントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されてもよい。付加的または代替的に、処理モジュールは、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイの色とオブジェクトの色との間のコントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するように構成されてもよい。複数の成分のうちの１つが十分に大きくない場合、例えば、視覚的オーバーレイの明るさとオブジェクトの明るさとの間の違いが拡張現実または複合現実環境の視野内で十分に知覚されるほど大きくない場合、または視覚的オーバーレイの色とオブジェクトの色との間の違いが拡張現実または複合現実環境の視野内で十分に知覚されるほど大きくない場合、オブジェクトの照明または視野の光学的減衰が選択的に調整されてもよい。例えば、処理モジュール１１４は、視覚的オーバーレイとオブジェクト１７０との間の少なくとも予め定められたコントラストを達成するために、視野の１つまたは複数の部分の照明、または視野の１つまたは複数の部分の光学的減衰を選択的に調整するように構成されてもよい。
【0039】
本実施形態では、照明および／または光学的減衰の調整は、選択的であり、例えば空間的関係において選択的である。換言すれば、照明および／または光学的減衰は、単に（視野全体に対してではなく）視野の１つまたは複数の部分に対して調整されてもよい。１つまたは複数の部分の照明および／または光学的減衰は、視野の１つまたは複数の部分と、視野の隣接部分との間で照明および／または光学的減衰が異なるように調整されてもよい。例えば、視野の１つまたは複数の部分は、視覚的オーバーレイによってオーバーレイされる１つまたは複数の部分であってもよい。付加的に、視覚的オーバーレイによってオーバーレイされているが照明または光学的減衰の調整を必要としない視野の他の部分が存在する場合もある。したがって、処理モジュール１１４は、照明または光学的減衰の調整を必要とする視野の１つまたは複数の部分を決定するように構成されてもよい。換言すれば、処理モジュール１１４は、オブジェクト１７０上にオーバーレイされる視覚的オーバーレイとオブジェクト１７０との間の視覚的コントラストに基づいて、視野の１つまたは複数の部分を選択するように構成されてもよい。例えば、視野の一部で視覚的コントラストが過度に低い場合、それぞれの部分が、視野の１つまたは複数の部分に対して選択されてもよい。
【0040】
少なくともいくつかの実施形態では、処理モジュールは、視野の１つまたは複数の部分の照明を選択的に調整するように構成されている。これは、照明源を制御することによって、かつ／または照明源とオブジェクトとの間に配置された光学的減衰モジュールを制御することによって、２つの部分で達成されてもよい。両構想は、１つまたは複数の部分の明るさとスペクトル特性とを調整するために使用することができる。
【0041】
例えば、視野の１つまたは複数の部分のうちの１つの明るさが選択的に調整されてもよい。換言すれば、処理モジュール１１４は、視野の１つまたは複数の部分の照明または光学的減衰の選択的な調整によって、視野の１つまたは複数の部分の明るさを、拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されてもよい。例えば、照明または減衰は、視覚的オーバーレイとそれぞれの１つまたは複数の部分との間のコントラストを増加させるべく視野の１つまたは複数の部分が低減された明るさで知覚されるように調整されてもよい。
【0042】
図１ｂに示されるように、いくつかの実施形態では、光学システムは、照明源１３０を含むことができ、この照明源１３０は、例えばインターフェース１２を介して処理モジュール１１４に結合されてもよい。いくつかの実施形態では、照明源は、均一な光を提供するのに適していてもよいし、あるいは均一な光を提供するように構成されてもよい。例えば、照明源は、発光ダイオードベースの照明源であってもよい。この場合、選択的な調整は、１つまたは複数の光学的減衰モジュールを介して実行されてもよい。代替的に、光源は、不均一な光を提供することに適していてもよいし、あるいは不均一な光を提供するように構成されてもよい。例えば、照明源は、空間的に調整可能な明るさを有する光を提供するように構成されてもよい。付加的または代替的に、照明源は、空間的に調整可能なスペクトル特性を有する光を提供するように構成されてもよい。両方の特性は、例えば、撮像プロジェクタを使用して実装されてもよい。換言すれば、照明源は、空間的に不均一な明るさおよび／または空間的に不均一なスペクトル特性を有する光を提供するように構成されてもよい撮像プロジェクタであってもよい。いくつかの実施形態では、撮像プロジェクタは、異なるスペクトルバンドに対して異なる画像を使用して、空間的に不均一な明るさおよび／または空間的に不均一なスペクトル特性を有する光を提供するように構成されたマルチスペクトルプロジェクタであってもよい。
【0043】
処理モジュール１１４は、例えば、視野の１つまたは複数の部分でのオブジェクトの照明が、オブジェクトの隣接部分とは異なる明るさまたはスペクトル特性を有するように、視野の１つまたは複数の部分の照明を選択的に調整するために、照明源１３０を制御するように構成されてもよい。換言すれば、処理モジュール１１４は、照明源１３０を制御するように構成されてもよく、それにより、照明源１３０は、視野の隣接部分の照明とは異なる、視野の１つまたは複数の部分１７０の照明を提供するように構成される。例えば、処理モジュール１１４は、照明源１３０を制御するように構成されてもよく、それにより、照明の光強度は、視野の１つまたは複数の部分（すなわちオブジェクトの対応する１つまたは複数の対応部分）の照明と、視野の隣接する部分（またはオブジェクトの隣接部分）の照明との間で異なる。
【0044】
代替的に、照明の光強度は、照明源１３０とオブジェクト１７０との間に配置された光学的減衰モジュール１５５を使用して選択的に変更されてもよい（図１ｂを参照）。この光学的減衰モジュール１５５（および同様に、減衰モジュール１４０および／または１５０）は、例えばインターフェース１１２を介して処理モジュール１１４に結合されてもよい。換言すれば、光学システムは、光学システム１００ｂの照明源（例えば照明源１３０）とオブジェクト１７０との間の光経路内に配置された光学的減衰モジュール１５５を含むことができる。換言すれば、処理モジュール１１４は、光学的減衰モジュール１５５を制御するように構成されてもよく、それにより、光学的減衰モジュール１５５は、視野の隣接部分に入射する光の減衰とは異なる、視野の１つまたは複数の部分に入射する光の減衰を提供するように構成され、これにより、視野の１つまたは複数の部分の光学的減衰が選択的に調整される。例えば、処理モジュール１１４は、光学的減衰モジュール１５５を制御するように構成されてもよく、それにより、光学的減衰の強度および光学的減衰のスペクトル特性のうちの少なくとも１つは、視野の１つまたは複数の部分に入射する光の光学的減衰と視野の隣接部分に入射する光の光学的減衰との間で異なる。これは、バックライトを持たない液晶ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または減衰モジュール１５５としてのＤＬＰ（Digital Light Processing）モジュールなどの部分的に透明なディスプレイを使用して達成されてもよい。そのようなディスプレイは、照明の明るさまたはスペクトル特性の選択的な調整のために使用されてもよい。
【0045】
処理モジュール１１４は、光学的減衰モジュール１５５を制御するように構成されてもよく、それにより、照明の光強度は、視野の１つまたは複数の部分の照明と、視野の隣接部分の照明との間で異なる。換言すれば、処理モジュール１１４は、オブジェクトに入射する光の光強度を選択的に調整するために、光学的減衰モジュール１５５を使用して、オブジェクトに入射する光を選択的に減衰するように構成されてもよい。
【0046】
代替的または付加的に、照明のスペクトル特性は、例えばオブジェクトの色組成に基づいて選択的に調整されてもよい。一般に、照明のスペクトル特性は、照明の「光の色」と称する場合がある。換言すれば、照明の色は、（空間的に）選択的に調整されてもよい。処理モジュール１１４は、オブジェクト１７０の色組成に基づいて、視野の１つまたは複数の部分の照明を選択的に調整するように構成されてもよい。例えば、視覚的オーバーレイについて、十分なコントラストを提供しないオブジェクトの色については、照明は、色がより多くのコントラストを視覚的オーバーレイに提供する色に向かってシフトされるように変更されてもよい。この調整は、視野の１つまたは複数の部分の色組成と、オブジェクトに対応する位置での視覚的オーバーレイの色組成との間で視覚的コントラストが増加するように実行されてもよい。換言すれば、処理モジュール１１４は、視野の１つまたは複数の部分でのオブジェクト１７０の色組成と、オブジェクト１７０に対応する位置での視覚的オーバーレイの色組成との間の視覚的コントラストに基づいて、視野の１つまたは複数の部分の照明を選択的に調整するように構成されてもよい。上記で述べられたように、処理モジュールは、視野の１つまたは複数の部分でのオブジェクト１７０の色組成と、オブジェクト１７０に対応する位置での視覚的オーバーレイの色組成との間の視覚的コントラストに基づいて、１つまたは複数の部分を選択するように構成されてもよい。続いて、視野の１つまたは複数の部分の照明（または光学的減衰）が選択的に調整されてもよい。
【0047】
処理モジュール１１４は、視野の１つまたは複数の部分の照明のスペクトル特性の選択的な調整によって、視野の１つまたは複数の部分のスペクトル特性を、拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されてもよい。ここでも、調整が選択的であることは、１つまたは複数の部分に対する調整が、視野またはオブジェクトの隣接部分とは異なって実行されることを意味する。
【0048】
いくつかの実施形態では、照明は、照明源を制御することによって調整されてもよい。換言すれば、処理モジュール１１４は、照明源１３０を制御するように構成されてもよく、それにより、照明のスペクトル特性は、視野の１つまたは複数の部分の照明と視野の隣接部分の照明との間で異なる。代替的に、照明は、光学的減衰モジュールを制御することによって調整されてもよい。照明のスペクトル特性は、照明源１３０とオブジェクト１７０との間に配置された光学的減衰モジュール１５５を使用して変更されてもよい（図１ｂを参照）。換言すれば、処理モジュール１１４は、光学的減衰モジュール１５５を制御するように構成されてもよく、それにより、照明のスペクトル特性は、視野の１つまたは複数の部分の照明と視野の隣接部分の照明との間で異なる。
【0049】
代替的に、視野の１つまたは複数の部分の明るさまたはスペクトル特性は、オブジェクトから発する光の（拡張現実または複合現実環境内の）知覚を調整することによって調整されてもよい。例えば、図１ｃに示されるように、光学システムは、光学システム１００ａ；１００ｃの光路内に配置された光学的減衰モジュール１４０；１５０を含むことができる。この場合、光学的減衰モジュール１４０；１５０は、光学システム１００ａ；１００ｃのユーザーとオブジェクト１７０との間の光路内に配置されてもよい。例えば、光学的減衰モジュール１４０；１５０は、部分的に透明なディスプレイであってもよい。いくつかの実施形態では、光学的減衰モジュール１５０は、図１ｃに示されるように、半透明ミラー１４０から分離されてもよい。代替的に、半透明ミラー１４０は、光学的減衰モジュールを含むかまたは光学的減衰モジュールとして機能することができる。例えば、半透明ミラーは、部分的に透明なディスプレイと結合されてもよい。光学的減衰モジュールは、明るさまたはスペクトル特性を、拡張現実または複合現実環境内で知覚されるように選択的に調整するのに使用されてもよい。したがって、処理モジュール１１４は、光学的減衰モジュール１４０；１５０を制御するように構成されてもよく、それにより、光学的減衰モジュール１４０；１５０は、視野の隣接部分から発する光の減衰とは異なる、視野の１つまたは複数の部分から発する光の減衰を提供するように構成され、これにより、視野の１つまたは複数の部分の光学的減衰が選択的に調整される。処理モジュール１１４は、光学的減衰モジュール１４０；１５０を制御するように構成されてもよく、それにより、視野の１つまたは複数の部分から発する光の光学的減衰と、視野の隣接部分から発する光の光学的減衰との間で、光学的減衰の強度および光学的減衰のスペクトル特性のうちの少なくとも１つが異なる。
【0050】
例えば、処理モジュール１１４は、例えば、光学的減衰モジュール１４０；１５０を使用して、視野の１つまたは複数の部分の光学的減衰を選択的に調整することにより、視野の１つまたは複数の部分の明るさを、拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されてもよい。
【0051】
付加的または代替的に、処理モジュール１１４は、例えば照明の調整に類似させて、視野の１つまたは複数の部分でのオブジェクト１７０の色組成と、オブジェクト１７０に対応する位置での視覚的オーバーレイの色組成との間の視覚的コントラストに基づいて、視野の１つまたは複数の部分の光学的減衰を選択的に調整するように構成されてもよい。例えば、視覚的オーバーレイに十分なコントラストを提供しないオブジェクトの色については、光学的減衰は、色がより多くのコントラストを視覚的オーバーレイに提供する色に向かってシフトされるように変更されてもよい。上記で述べられたように、処理モジュールは、視野の１つまたは複数の部分でのオブジェクト１７０の色組成と、オブジェクト１７０に対応する位置での視覚的オーバーレイの色組成との間の視覚的コントラストに基づいて、１つまたは複数の部分を選択するように構成されてもよい。続いて、視野の１つまたは複数の部分の光学的減衰が選択的に調整されてもよい。例えば、処理モジュール１１４は、例えば光学的減衰モジュール１４０；１５０を使用して、視野の１つまたは複数の部分の光学的減衰のスペクトル特性の選択的な調整によって、視野の１つまたは複数の部分のスペクトル特性を、拡張現実または複合現実環境内で知覚されるように選択的に調整するように構成されてもよい。換言すれば、処理モジュールは、例えば、視野の１つまたは複数の部分と視覚的オーバーレイとの間のコントラストを高めるために、視野の１つまたは複数の部分の選択的な減衰によって、視野の１つまたは複数の部分の色をシフトするように構成されてもよい。ここでも、減衰の調整は選択的であり、例えば視野の１つまたは複数の部分と視野の隣接部分との間で異なる。この文脈において、拡張現実または複合現実環境内で知覚されるような、視野の１つまたは複数の部分のスペクトル特性は、それらが光学システムのユーザーによって知覚されるため、視野の１つまたは複数の部分の「色」と称する場合がある。この色は、オブジェクトの知覚と視覚的オーバーレイとの間の光学的コントラストを高めるためにシフトされてもよい。
【0052】
光学システムは、拡張現実または複合現実環境においてオブジェクト１７０上にオーバーレイされる視覚的オーバーレイを提供するためのディスプレイモジュール１２０を含む。いくつかの実施形態では、このディスプレイモジュール１２０は、半透明ミラー１４０を介してユーザーに向けて視覚的オーバーレイを投影するためのプロジェクタを含むことができる。そのセットアップなどは、図１ａから図１ｃに示されている。代替的に、ディスプレイモジュール１２０は、オブジェクトとユーザーとの間の光路内に配置された部分的に透明なディスプレイを含むことができる。
【0053】
インターフェース１１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、情報（これらは特定のコードにしたがったデジタル（ビット）値であってもよい）を受信および／または伝送するための１つまたは複数の入力側および／または出力側に対応することができる。例えば、インターフェース１２は、情報を受信および／または伝送するように構成されたインターフェース回路を含むことができる。本実施形態では、処理モジュール１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、あるいは相応に適合化されたソフトウェアで動作可能なプロセッサ、コンピュータ、もしくはプログラマブルハードウェアコンポーネントなどの任意の処理手段を使用して実装されてもよい。換言すれば、処理モジュール１１４の説明された機能は、ソフトウェアで実装されてもよく、その場合、このソフトウェアは、１つまたは複数のプログラマブルハードウェアコンポーネント上で実行される。そのようなハードウェアコンポーネントは、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラなどを含むことができる。
【0054】
本光学システムまたは本光学システムのための装置のさらなる詳細および態様は、提案された構想あるいは上記もしくは下記で説明される１つまたは複数の例に関連して言及される（例えば図２または図３）。本光学システムまたは本光学システムのための装置は、提案された構想の１つまたは複数の態様あるいは上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意の特徴を含むことができる。
【0055】
図２は、光学システムのための（対応する）方法のフローチャートを示す。例えば、この光学システムは、図１ａ、図１ｂまたは図１ｃの光学システムに類似して実装されてもよい。この方法は、光学システムの少なくとも１つのセンサを使用して、オブジェクトの少なくとも１つの光学特性を決定するステップ２１０を含む。この方法は、オブジェクトの少なくとも１つの光学特性に基づいて、拡張現実または複合現実環境内のオブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の視覚的コントラストを、拡張現実または複合現実環境の視野内で知覚されるように決定するステップ２２０を含む。この方法は、さらに、オブジェクト上にオーバーレイされる視覚的オーバーレイとオブジェクトとの間の決定された視覚的コントラストに基づいて、視野の複数の部分の１つの照明、または視野の複数の部分の１つの光学的減衰を選択的に調整するステップ２３０を含む。
【0056】
【0057】
本方法のさらなる詳細および態様は、提案された構想または上記もしくは下記で説明される１つまたは複数の例に関連して言及される（例えば図１もしくは図３）。本方法は、提案された構想の１つまたは複数の態様あるいは上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意の特徴を含むことができる。
【0058】
本開示の実施形態は、ＡＲ／ＭＲにおける背景画像（すなわちオブジェクト）の自動的な色および／またはコントラストの考慮を提供することができる。したがって、本実施形態は、改善されたＡＲ画像を提供することができる。
【0059】
ＡＲ／ＭＲ現実デバイスは、自然に観察されたオブジェクトの画像に重畳される画像を目に投影することができる（図３参照）。図３は、ＡＲ／ＭＲ環境におけるオブジェクト１７０の知覚の概略的な全体図を示す。極度に単純化されたモデルでは、オブジェクト１７０の自然に観察される画像（ユーザー３２０によって観察されるもの）は、光の、典型的には反射光の空間分布ＩＲ（ｘ，ｙ）として説明することが可能なこと、ならびにオーバーレイされる画像３１０も同様にＩＯ（ｘ，ｙ）として書き込むことが可能なことが想定されてもよい。適切に位置合わせされた半透明ミラー１４０は、ユーザーに、２つの画像の代数的加算を含む（もしくは代数的加算からなる）合成画像を観察させることを可能にする。すなわち、Ｉ＝ＩＯ＋ＩＲである。ＩＲがＩＯに比べて比較的弱い場合には、ＩＯは、意図したコントラスト／品質で観察可能となる。しかしながら、ＩＲがＩＯよりもはるかに明るい場合には、ＩＯは、非常に低いコントラストで観察されるか、まったく観察できない場合がある。観察されるコントラストが劣化する例は、オブジェクトが白であるにもかかわらず、システムがオブジェクトを鮮明な緑色でラベリングしようと意図する場合である。理想的には、オーバーレイ領域は緑として、すなわちＧ（Green）値は高いが、Ｒ（Red）値およびＢ（Blue）値は非常に低いものとして知覚されるべきである。しかしながら、オブジェクトはすでに白であるという事実のため、Ｒ値、Ｇ値、およびＢ値は、いずれにせよ高くなる場合がある。それゆえ、システムは、緑がかった白を作成するだけで、白いオブジェクト上に緑の印象を生じさせない場合もある。
【0060】
オーバーレイ画像の知覚されるコントラストを高めるために、観察されるオブジェクトの光強度を減衰させてもよい。これは、２つの異なる方法で達成することが可能である。例えば、照明の減衰は、照明強度を減衰させるために使用してもよい。これは、実装を容易にするかもしれないが、照明（例えば照明源１３０）が制御可能（例えば、内視鏡、顕微鏡）でない限り、いつでも実行可能であるとは限らない。代替的または付加的に、観察側の減衰が、ミラーの透過度を減衰させるために使用されてもよい（また、使用される技術が単純なミラーでない場合には、観察可能な光強度を同様に減衰させてもよい）。このアプローチは技術的にさらに難しい面もあるが、あらゆる照明条件で使用されてもよい。
【0061】
上記に挙げられた両アプローチの光学的減衰は、例えば、同じ方法ですべての波長および領域を減衰させる中性フィルターを使用してスペクトル的および空間的に均一にすることができる。少なくともいくつかの実施形態で使用される代替的なアプローチは、スペクトル的および空間的に可変の減衰を作成することであってもよい。技術的な解決手段は、２つの減衰方法で異なるかもしれない。照明の減衰には、従来の光源に代えて撮像プロジェクタを使用してもよい。換言すれば、照明源は、撮像プロジェクタであってもよい。この構想は、ＲＧＢの構想を、複数のスペクトルバンドに対して異なる画像を作成することができるマルチスペクトルプロジェクタに拡張することができる。観測の減衰には、撮像軸の画像形成点に配置されたＬＣＤやＤＬＰなどの空間光変調器が使用されてもよい（プロジェクタと同じ原理）。
【0062】
本構想のさらなる詳細および態様は、提案された構想または上記もしくは下記で説明される１つまたは複数の例に関連して言及される（例えば図１ａから図２）。本構想は、提案された構想の１つまたは複数の態様あるいは上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意の特徴を含むことができる。
【0063】
本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆるすべての組み合わせを含んでおり、「／」として略記されることがある。
【0064】
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。
【0065】
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
【0066】
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
【0067】
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
【0068】
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
【0069】
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
【0070】
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
【0071】
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
【0072】
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
【0073】
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
【0074】
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
【0075】
いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
【符号の説明】
【0076】
１００ａ 光学システム
１００ｂ 光学システム
１００ｃ 光学システム
１１０ 装置
１１２ インターフェース
１１４ 処理モジュール
１２０ ディスプレイモジュール
１３０ 照明源
１４０ 半透明ミラー
１５０ 減衰モジュール
１５５ 減衰モジュール
１６０ センサ
１７０ オブジェクト
２１０ 少なくとも１つの光学特性を決定するステップ
２２０ 視覚的コントラストを決定するステップ
２３０ 照明または光学的減衰を選択的に調整するステップ
３１０ 視覚的オーバーレイ
３２０ ユーザーの知覚
１００ｂ 光学システム
１００ｃ 光学システム
１１０ 装置
１１２ インターフェース
１１４ 処理モジュール
１２０ ディスプレイモジュール
１３０ 照明源
１４０ 半透明ミラー
１５０ 減衰モジュール
１５５ 減衰モジュール
１６０ センサ
１７０ オブジェクト
２１０ 少なくとも１つの光学特性を決定するステップ
２２０ 視覚的コントラストを決定するステップ
２３０ 照明または光学的減衰を選択的に調整するステップ
３１０ 視覚的オーバーレイ
３２０ ユーザーの知覚
【図1a】
【図1b】
【図1c】
【図2】
【図3】
