(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-28
(54)【発明の名称】顕微手術中のデジタル画像の温白色光照明及びデジタル画像処理
(51)【国際特許分類】
A61B 3/13 20060101AFI20240621BHJP
A61B 3/14 20060101ALI20240621BHJP
A61F 9/007 20060101ALI20240621BHJP
G06T 5/94 20240101ALI20240621BHJP
G06T 1/00 20060101ALI20240621BHJP
【FI】
A61B3/13
A61B3/14
A61F9/007 190Z
G06T5/94
G06T1/00 290Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023574644
(86)(22)【出願日】2022-04-13
(85)【翻訳文提出日】2023-12-04
(86)【国際出願番号】 IB2022053496
(87)【国際公開番号】W WO2022259050
(87)【国際公開日】2022-12-15
(32)【優先日】2021-06-11
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】ジリアン マイヤーズ
(72)【発明者】
【氏名】アラン フリードマン
(72)【発明者】
【氏名】マクシミリアノ ラミレス ルナ
【テーマコード(参考)】
4C316
5B057
【Fターム(参考)】
4C316AA01
4C316AA03
4C316AA06
4C316AA08
4C316AB16
4C316FA19
4C316FB05
4C316FB06
4C316FB07
4C316FB16
4C316FB22
4C316FB26
4C316FZ01
5B057AA07
5B057CE03
5B057DA08
(57)【要約】
顕微手術、例えば眼科手術中にデジタル画像を強調する方法は、標的解剖学的構造が温白色光によって照明されるとき、デジタルカメラを使用して標的解剖学的構造のデジタル画像を収集することを含む。本方法は、デジタルカメラと通信するプロセッサを介して、顕微手術の所定の段階を特定することを含む。画像内において、プロセッサは、第1の画素領域、例えば瞳孔画素領域を第2の画素領域、例えば虹彩画素領域からデジタル的に分離し、且つその構成画素の特性を調整する。場合によりコンピュータ可読媒体に命令として記録される本方法は、眼科手術の所定の段階で赤色反射を強調するために使用され得る。システムは、約4000°K未満の色温度を有する温白色光を放出するための照明源と、カメラと、プロセッサとを含む。
【特許請求の範囲】
【請求項1】
顕微手術中にデジタル画像を強調する方法であって、
前記顕微手術中、標的解剖学的構造が温白色光によって照明されるとき、デジタルカメラを使用して前記標的解剖学的構造のデジタル画像データを収集することと、
前記デジタルカメラと通信するプロセッサを介して、前記顕微手術の所定の段階を特定することと、
前記デジタル画像データ内において、第1の画素領域を第2の画素領域から分離することと、
入力信号に応答して、前記プロセッサを介して、前記第1の画素領域又は前記第2の画素領域を含む構成画素の特性を選択的に調整して、それにより、強調された第1の画素領域又は強調された第2の画素領域を提供することと、
ビデオ表示制御信号を少なくとも1つのデジタル表示画面に送信して、それにより、前記強調された第1の画素領域又は前記強調された第2の画素領域を有する前記標的解剖学的構造の調整されたデジタル画像を提示することと、
を含む方法。
【請求項2】
前記顕微手術は、眼科手術であり、及び前記標的解剖学的構造は、ヒト患者の標的眼であり、前記方法は、
前記標的眼の赤色反射の検出を必要とする前記眼科手術の所定の段階を特定することであって、前記第1の画素領域は、前記標的眼の瞳孔の瞳孔画素領域であり、及び、前記第2の画素領域は、前記標的眼の虹彩の虹彩画素領域である、特定すること、
を含む、請求項1に記載の方法。
【請求項3】
眼科用顕微鏡の照明源を使用して、前記温白色光を前記標的眼に向けることをさらに含む、請求項2に記載の方法。
【請求項4】
前記デジタルカメラは、高ダイナミックレンジ(HDR)デジタルカメラを含み、デジタル画像を収集することは、前記HDRデジタルカメラを介して前記標的解剖学的構造の3次元HDR画像を収集することを含む、請求項1に記載の方法。
【請求項5】
前記プロセッサは、グラフィカルユーザインタフェース(GUI)デバイスに動作可能に接続され、前記顕微手術の前記所定の段階を特定することは、前記顕微手術の前記所定の段階を示す入力信号を前記GUIデバイスから受信することを含む、請求項1に記載の方法。
【請求項6】
前記顕微手術の前記所定の段階を特定することは、前記プロセッサを介して、マシンビジョンロジックを使用して、前記顕微手術の前記所定の段階で使用される手術器具を検出することと、前記手術器具の識別情報に基づいて前記顕微手術の前記所定の段階を自動的に検出することとを含む、請求項1に記載の方法。
【請求項7】
前記顕微手術を行う執刀医の照明嗜好を、前記プロセッサを介して、ニューラルネットワークを使用して経時的に学習することと、
前記照明嗜好に基づいて、前記プロセッサを介して前記構成画素の前記特性を調整することと、
をさらに含む、請求項1に記載の方法。
【請求項8】
前記第1の画素領域又は前記第2の画素領域を含む前記構成画素の前記特性を調整することは、前記第1の画素領域又は前記第2の画素領域を含む前記構成画素のみにホワイトバランスアルゴリズムを適用することを含む、請求項1に記載の方法。
【請求項9】
前記顕微手術の前記所定の段階中、前記プロセッサを介して前記標的解剖学的構造の動きを追跡することをさらに含む、請求項1に記載の方法。
【請求項10】
前記第1の画素領域又は前記第2の画素領域を含む前記構成画素の前記特性を調整することは、前記プロセッサを介して、前記第1の画素領域又は前記第2の画素領域の前記構成画素のみのデジタルゲインを自動的に増加させることを含む、請求項1に記載の方法。
【請求項11】
前記第1の画素領域を前記第2の画素領域から分離することは、前記デジタルカメラと前記プロセッサのモーショントラッキングロジックとを使用して、前記標的解剖学的構造の動きを自動的に追跡することを含む、請求項1に記載の方法。
【請求項12】
眼科手術中にデジタル画像データを強調するためのシステムであって、
温白色光を標的眼に向けるように動作可能な照明源であって、前記温白色光は、約4000°K未満の色温度を有する、照明源と、
前記標的眼が前記温白色光によって照明されるとき、前記標的眼のデジタル画像を収集するように動作可能なデジタルカメラと、
前記デジタルカメラと通信するプロセッサであって、
前記標的眼の強調された赤色反射を必要とする前記眼科手術の所定の段階を検出することと、
前記デジタルカメラとモーショントラッキングロジックとを使用して、前記標的眼の動きを自動的に追跡することと、
前記眼科手術の前記所定の段階中の前記標的眼の前記デジタル画像内において、瞳孔画素領域を囲む虹彩画素領域から前記瞳孔画素領域をデジタル的に分離することと、
前記瞳孔画素領域又は前記虹彩画素領域を含む構成画素の特性を調整して、それにより、前記強調された赤色反射を有する調整された画像を生成することと、
ビデオ表示制御信号を1つ又は複数の表示画面に出力して、それにより、前記表示画面に、前記眼科手術の前記所定の段階中、前記強調された反射を有する前記調整された画像を表示させることと、
を行うように構成されるプロセッサと、
を含むシステム。
【請求項13】
前記表示画面をさらに含む、請求項12に記載のシステム。
【請求項14】
前記照明源は、眼科用顕微鏡に連結されるか又は眼科用顕微鏡と一体化されたランプである、請求項12に記載のシステム。
【請求項15】
前記デジタルカメラは、前記眼科用顕微鏡の高ダイナミックレンジ(HDR)デジタルカメラを含む、請求項14に記載のシステム。
【請求項16】
グラフィカルユーザインタフェース(GUI)デバイスをさらに含み、前記プロセッサは、前記GUIデバイスから入力信号を受信することにより、前記眼科手術の前記所定の段階を特定するように構成され、前記入力信号は、前記眼科手術の前記所定の段階を示す、請求項12に記載のシステム。
【請求項17】
前記プロセッサは、前記眼科手術を行う執刀医の識別情報を特定するように構成され、及び入力信号は、前記執刀医の前記識別情報を示し、それにより、前記プロセッサは、前記執刀医の前記識別情報に基づいて前記構成画素の前記特性を調整するように構成される、請求項12に記載のシステム。
【請求項18】
前記プロセッサは、入力信号に応じて、前記構成画素の前記特性を、
前記虹彩画素領域の前記構成画素のみにホワイトバランスアルゴリズムを適用すること、又は
前記瞳孔画素領域の前記構成画素のみのデジタルゲインを増加させること、
によって調整するように構成される、請求項12に記載のシステム。
【請求項19】
眼科手術中に赤色反射反応を強調するための命令が記録されているコンピュータ可読媒体であって、プロセッサによる前記命令の実行は、前記プロセッサに、
標的眼が眼科用顕微鏡からの温白色光によって照明されるとき、前記プロセッサと通信するデジタルカメラから前記標的眼のデジタル画像を受信することであって、前記温白色光は、約4000°K未満の色温度を有する、受信することと、
前記標的眼の前記デジタル画像内において、強調された赤色反射の検出を必要とする前記眼科手術の所定の段階中、瞳孔画素領域を囲む虹彩画素領域から前記瞳孔画素領域を分離することと、
前記瞳孔画素領域又は前記虹彩画素領域を含む構成画素の特性を調整して、それにより、前記強調された赤色反射を有する調整された画像を生成することであって、前記虹彩画素領域の前記構成画素のみにホワイトバランスアルゴリズムを適用すること又は前記瞳孔画素領域の前記構成画素のみのデジタルゲインを自動的に増加させることを含む、生成することと、
ビデオ表示制御信号を少なくとも1つの表示画面に送信して、それにより、前記少なくとも1つの表示画面に、前記眼科手術の前記所定の段階中、前記調整された画像を表示させることと、
を行わせる、コンピュータ可読媒体。
【請求項20】
前記プロセッサは、グラフィカルユーザインタフェース(GUI)デバイスに動作可能に接続され、前記前記プロセッサによる前記命令の実行は、前記プロセッサに、前記GUIデバイスからの入力信号を使用して、前記眼科手術の前記所定の段階を特定することを行わせ、前記入力信号は、前記眼科手術の前記所定の段階及び/又は前記眼科手術を行う執刀医の識別情報を示す、請求項19に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、ヒト患者の標的解剖学的構造のデジタル画像を、標的解剖学的構造が温白色光で照明されるときに収集及び処理するための自動化方法並びに関連するハードウェア及びソフトウェアシステムベースのデジタル画像処理解決策に関する。
【背景技術】
【0002】
現代の顕微手術では、広範囲の、タスクに特化した精密な手術器具が使用され、執刀医がそうした手術器具の各々を手術シーンで操作する。手術室内では、1つ又は複数の高解像度表示画面を使用して、手術シーン及び標的解剖学的構造の拡大立体画像が表示されることが多い。標的解剖学的構造の拡大画像のデジタル提示により、主治医は、所与の手術タスクを行うとき、手術シーンを適切に視覚化することができる。
【0003】
手術シーンの視覚化には、適切なタスク照明が必要である。手術タスク器具は、タスクに特化しており、照明装置は、顕微鏡に搭載された照明源、頭上の手術照明アレイ、執刀医が装着するヘッドライト又は眼内照明器若しくはライトワンドの任意のもの又はすべてを含み得る。各照明装置は、特定の波長範囲と、対応する色温度とを有する光を放出する。したがって、手術室内で使用される表示画面及び光学系を介して標的解剖学的構造のより現実感のある表現を提示するために、タスク照明後にデジタル画像処理が行われることが多い。
【発明の概要】
【課題を解決するための手段】
【0004】
本明細書で開示されるのは、温白色光照明を使用して顕微手術中にリアルタイムで収集されるデジタル画像を選択的に強調する方法並びに付随するシステム及びソフトウェア解決策である。ヒトの眼の青色波長光への曝露を最小限にするという利点のために、本明細書に記載する様々な実施形態は、主に、限定されないが、白内障手術、水晶体置換及び眼の自然な赤色反射の検出及び分析から利益を得る他の処置を含む眼の手術に関する。しかしながら、当業者であれば、所与の標的解剖学的構造の青色光曝露を制限しようとする他の顕微手術が、開示される解決策から利益を得ることができることを理解するであろう。
【0005】
特定の実施形態において、顕微手術中にデジタル画像を強調する方法は、顕微手術中、ヒト患者の標的解剖学的構造のデジタル画像を収集することを含む。これは、標的解剖学的構造が温白色光によって照明されるときのデジタルカメラの作動によって起こる。この実施形態における方法は、デジタルカメラと有線又は無線で通信するプロセッサを介して、顕微手術の所定の段階を特定することも含む。デジタル画像内において、プロセッサの動作は、第1の画素領域を第2の画素領域から、例えば代表的な眼科手術では周囲の虹彩画素領域から瞳孔画素領域を分離し、且つ次いで第1又は第2の画素領域を含む構成画素の特性を調整する。次いで、特性が調整された画像、すなわち調整された画像が1つ又は複数の表示画面を介して提示又は表示される。
【0006】
本明細書では、上述した眼科手術中にデジタル画像を強調するためのシステムも開示される。このシステムは、顕微鏡搭載ランプ等の照明源とともに、デジタルカメラと、上述したプロセッサとを含み得、プロセッサは、デジタルカメラ及びランプと通信するか又は統合される。照明源は、温白色光を標的眼上/中に向けるように動作可能である。デジタルカメラは、眼球が温白色光によって照明されるとき、標的眼のデジタル画像を収集するように動作可能である。
【0007】
システムの例示的な構成では、プロセッサは、眼科手術の所定の段階を、標的眼の赤色反射の強調を必要とするものとして検出する。例えば、白内障手術中の手術の非限定的な代表的段階は、切開、レンズ挿入及び水晶体除去を含む。本実施形態におけるプロセッサは、例えば、デジタルカメラ及びモーショントラッキングロジックを使用して標的眼の動きを追跡する。眼科手術の所定の段階中の標的眼のデジタル画像内において、プロセッサは、瞳孔画素領域を囲む虹彩画素領域から瞳孔画素領域をデジタル的に分離し、且つ瞳孔画素領域又は虹彩画素領域を含む構成画素の特性を調整して、それにより調整された画像を生成する。本明細書で提供するような調整された画像は、強調された赤色反射を有する。プロセッサは、ビデオ表示制御信号を少なくとも1つの表示画面に出力して、画面に、眼科手術の所定の段階中、調整された画像を表示させるようにも動作可能である。
【0008】
本開示の別の態様は、代表的な眼科手術中に赤色反射を強調するための命令が記録されているコンピュータ可読媒体を含む。この場合のプロセッサのプロセッサによる命令の実行は、プロセッサに、以下の本開示で詳細に説明するような本方法の論理ブロック又はシーケンスを実行させる。
【0009】
本開示の上述した特徴及び利点並びに他のあり得る特徴及び利点は、添付の図面と関連して考慮した場合、本開示を実行する最良の形態の以下の詳細な説明から明らかになるであろう。
【0010】
本明細書に記載する図面は、単に例示を目的とし、本質的に概略的なものであり、本開示の範囲を限定するものではなく、例示的なものであるように意図される。
【図面の簡単な説明】
【0011】
【
図1】本開示による方法を具現化する命令を実行するように構成されたプロセッサを使用する代表的な手術室を示す。
【
図2】例示的な眼科手術中の関連する信号処理を含む、非限定的な実施形態における
図1に示すプロセッサの概略図であり、そこでは、プロセッサは、電子制御ユニット(ECU)の一部である。
【
図3】
図2の代表的な眼科手術中に赤色反射を強調し、青色光曝露を制限するシステムの概略図である。
【
図4】瞳孔及び虹彩の画素領域が分離される標的眼の画素画像を示す。
【
図5】本開示による、温白色光照明条件下で収集された画像をデジタル的に強調する方法を説明するフローチャートである。
【発明を実施するための形態】
【0012】
上記の概要は、本開示のすべてのあり得る実施形態又はすべての態様を表すように意図されない。むしろ、前述の概要は、本明細書に開示される新規の態様及び特徴のいくつかを例示するように意図される。上記の特徴及び利点並びに本開示の他の特徴及び利点は、添付の図面及び添付の特許請求の範囲と関連して考慮した場合、本開示を実行する代表的な実施形態及び形態の以下の詳細な説明から容易に明らかになるであろう。
【0013】
ここで、本開示の実施形態について説明する。しかしながら、開示される実施形態は、単なる例であり、他の実施形態は、様々な代替形態を取り得ることが理解されるべきである。図は、必ずしも縮尺通りではない。いくつかの特徴は、特定の構成要素の詳細を示すために誇張又は最小化されている場合がある。したがって、本明細書に開示される具体的な構造的及び機能的な詳細は、限定的なものとしてではなく、単に本開示を様々に採用することを当業者に教示するための代表的な基礎として解釈されるべきである。
【0014】
当業者であれば理解するように、図のいずれか1つを参照して図示及び記載する様々な特徴を、1つ又は複数の他の図に図示した特徴と組み合わせて、明示的に図示又は記載していない実施形態を生成することができる。図示する特徴の組合せは、典型的な用途のための代表的な実施形態を提供する。しかしながら、特定の用途又は実施に対して、本開示の教示と一貫する特徴の様々な組合せ及び変更形態が所望され得る。
【0015】
以下の説明において、特定の用語は、単に参照の目的で使用されている場合があり、したがって限定であるように意図されない。例えば、「上」及び「下」等の用語は、参照する図面における方向を指す。「前」、「後」、「前方」、「後部」、「左」、「右」、「後方」及び「側方」等の用語は、議論の対象となる構成要素又は要素を説明する本文及び関連図面を参照することによって明確になる、一貫性があるが、任意の基準系内での構成要素又は要素の部分の向き及び/又は位置を説明する。さらに、「第1」、「第2」、「第3」等の用語は、別個の構成要素を説明するために使用することができる。こうした用語は、具体的に上述した語、その派生語及び同様の意味の語を含む。
【0016】
当技術分野で理解されているように、「フルスペクトル光」という用語は、従来、380ナノメートル(nm)~700nmと定義されている人間の可視光の全波長範囲を説明するものである。波長に加えて、可視光は、「温白色光」、「昼白色光」及び「冷白色光」等の記述を用いて色温度の観点から説明されることが多い。色温度は、ケルビン(°K)で表され、特に、温白色光は、通常、約4000°K未満の色温度を有する光を指す。こうした光は、フルスペクトル光のオレンジ色及び赤色の範囲に主に含まれる。温白色光とは対照的に、冷白色光は、約5500°K~7000°K又はそれを超えるより高い色温度を有し、青色光が支配的であることが多い。昼白色光は、温白色光及び冷白色光の従来定義されている色温度範囲の中間辺りに位置する。
【0017】
医療用顕微鏡は、執刀医が関連する標的解剖学的構造を正確に視覚化するのに役立つ顕微手術に使用される。例えば、眼科用顕微鏡及び関連する高解像度画像処理ソフトウェアにより、眼科医は、標的眼の内部及び外部の解剖学的構造を正確に視覚化することができる。こうした顕微鏡は、眼球を照明し、画像化するように装備される。これは、自然に見える現実感のある画像を生成するために、フルスペクトル光又は昼白色光を用いて行われることが多い。
【0018】
しかしながら、フルスペクトル光及び昼白色光は、高レベルの青色光、すなわち380nm~450nmの範囲に入る波長を有する光エネルギーを含む。青色光への長時間の曝露は、曝露された組織、主に角膜、網膜及び水晶体の曝露及び照射された面に光毒性のリスクをもたらす。こうした曝露は、患者の回復時間の増加、術後の不快感及び細胞損傷につながり得る。したがって、本発明の解決策は、後述するように、代表的な眼科手術中に標的眼の赤色反射反応を選択的に強調することによる等、青色光曝露を最小限にしながら、他の方法で温白色光の特性を利用することに向けられる。
【0019】
ここで、図面(同様の参照番号は、同様の構成要素を指す)を参照すると、
図1では、手術室10は、代表的な顕微手術中に現れ得るように概略的に示されている。当業者に理解されるように、手術室10は、多軸手術ロボット12及び手術プラットフォーム14を備え得る。手術ロボット12は、
図1にデジタル眼科用顕微鏡として示す顕微鏡16に接続することができ、この顕微鏡16を通して、執刀医は、患者の標的解剖学的構造を高倍率で見ることができる。照明源35及びデジタルカメラ36を顕微鏡16に連結するか又は顕微鏡16と一体とすることができる。例えば、関連するハードウェア及びソフトウェアを使用することにより、顕微鏡16を使用する執刀医は、標的解剖学的構造の高倍率の強調されたデジタル画像19を見ることができる。視覚化は、1つ又は複数の高解像度表示画面20及び200を介して促進され、それらの任意のもの又はすべては、タッチスクリーン200T、例えば静電容量式表示面を含み得る。図示するように、強調されたデジタル画像19は、代表的な標的眼30のものであり(
図2を参照されたい)、
図1の画像19は、瞳孔300、周囲の虹彩350及び強膜400の一部を含む。
【0020】
手術室10内には、電子制御ユニット(ECU)50Cを含むキャビネット22も存在し、
図2にECU50Cのプロセッサ52を示す。図示するようなECU50Cは、あり得る実装形態では、キャビネット22内に収容することができる。プロセッサ52がキャビネット22とは別に手術室10内の他のハードウェアと一体化されるか又は他のハードウェアに組み込まれる他の実施形態については、後述し、したがって、
図1の図示する実装形態は、非限定的且つ例示的であり、ECU50C及びプロセッサ52の関連する処理機能について、以下ではいずれのデバイスの特定の位置にも関係なく交換可能であるように説明する。
【0021】
ECU50Cは、デジタル画像データ(矢印38)、場合により
図1において矢印「画像1」及び「画像2」で表すような立体画像を受信するように構成される。デジタル画像データ(矢印38)を収集する間、ECU50Cは、方法50を具現化する命令を実行し、その方法の一例については、
図5を参照して後述する。ECU50Cは、システム70の一部として使用され、システム70の構成要素は、
図2及び
図3に示されており、システム70は、いくつかの実施形態では、標的眼30の赤色反射反応(「赤色反射」)を選択的に強調するように動作可能である(
図2及び
図3を参照されたい)。赤色反射の強調は、異なる実施形態では、本開示に従って自動的に又は執刀医の命令に応じて実行される。さらに、赤色反射強調は、本開示の範囲内において、執刀医による赤色反射の検出及び評価が有益となる、例えば例示的な眼科手術において切開を行うか、又は眼内レンズを除去若しくは挿入する眼科手術の所定の段階にのみ制限することができる。
【0022】
赤色反射に関して、白内障手術及び他のいくつかの眼科処置中、執刀医は、入射光に応答する眼球の反射性能を検出して評価することを望む場合がある。したがって、「赤色反射」という用語は、通常、光が瞳孔300に入り、硝子体腔23の後方で網膜18から反射するときに生じる検出可能な反射現象を指し、
図2ではその両方を特徴的な赤色の色相で示す。赤色反射検査は、眼球の後方の解剖学的構造のあり得る異常を検出するために、眼科執刀医及び他の臨床医によって頻繁に使用される。赤色反射検査によって検出可能であるのは、同様に
図2に瞳孔300及び水晶体29とともに示す、光軸11に沿って位置する混濁でもある。こうした混濁は、白内障に起因して存在することが多く、例えば白内障により水晶体29の進行性の曇りがもたらされる。赤色反射不全の他のあり得る原因としては、角膜瘢痕及び硝子体出血がある。したがって、様々な眼疾患を診断又は治療する場合、適切な赤色反射反応の欠如が執刀医の関心事となる。
【0023】
この確立された例示的な使用に関連して、
図1に示すECU50Cは、アルゴリズムを具現化する命令又はコンピュータ実行可能コードでプログラムされ、この命令又はコードは、
図5の方法50を実行するために順番に実行される。本方法50を実行するとき、ECU50Cは、表示画面20及び/又は200を介して、強調されたデジタル画像19をシームレスに提示する。すなわち、デジタル画像処理機能は、ECU50Cにより、執刀医の観点から邪魔にならず且つ意識させることなく実行され、そのため、強調されたデジタル画像19は、最終的に、潜在的に有害な青色光への曝露を最小限にしながら、望ましい強調された赤色反射が達成されるようにする。
【0024】
図2を参照すると、標的眼30は、システム70の赤色反射を強調する、眼球に安全な支援により行われる代表的な眼科手術を受けているように示されている。こうしたシステム70の支援による眼科手術の一部として、標的眼30は、照明源35によって標的眼30上、最終的に標的眼30内に向けられる温白色光(矢印WL)によって照明される。照明源35は、ランプ、例えば発光ダイオード(LED)ベース、ハロゲンベース又は
図1に示す眼科用顕微鏡16に連結されるか若しくはそれと一体である他の好適に構成された照明源35として具現化することができる。あり得る実施形態では、温白色光(矢印WL)は、約4000°K未満の色温度を有するという意味で「温」であり、他の実施形態では、この範囲からわずかに外れる、例えば最大約4500°Kの色温度が可能である。
【0025】
図示する実施形態におけるシステム70は、デジタルカメラ36も含み、デジタルカメラ36は、温白色光(矢印WL)を使用する照明条件下で標的眼30のデジタル画像を収集するように動作可能である。例示的な実施形態では、デジタルカメラ36は、
図1に示す上述した顕微鏡16の高ダイナミックレンジ(HDR)デジタルカメラであり得る。したがって、システム70の構成要素は、顕微鏡16と一体であり得、すなわちその組み立てられた内部構成要素又は取り付けられた外部構成要素であり得、
図4の方法50のプロセスステップは、顕微鏡16のプログラムされた機能である。ECU50C又はプロセッサ52がシステム70の開示される動作を生じさせることができるように、方法50を具体化する命令が非一時的コンピュータ可読媒体、例えばECU50Cのメモリ54に記録され、図示するようなECU50Cのプロセッサ52又は他の実施形態ではECU50Cとは別に位置するプロセッサ52によって実行される他の実施形態を実現し得る。上述したように、代替実施形態におけるプロセッサ52は、他のハードウェア、例えば顕微鏡16及び/又はデジタルカメラ36に統合され得、ECU50Cの構造にプロセッサ52を含めることは、非限定的である。
【0026】
執刀医が標的眼30の赤色反射を検査し、評価することを望む代表的な眼科手術の所定の段階中、プロセッサ52は、照明源35に温白色光(矢印WL)を放出させ、これには、手術の開始時に照明源35を単にオンにすることが必要であり得る。同時に、プロセッサ52は、例えば、対応するカメラ制御信号(矢印CC36)を介して、デジタルカメラ36にデジタル画像データ(矢印38)を収集するように命令する。収集されたデジタル画像データ(矢印38)は、方法50を具体化する様々なデジタル画像処理ステップを実行するために、伝送導線を介して又は無線でプロセッサ52に通信される。
【0027】
本方法50の一部として標的眼30の赤色反射を選択的に強調するとき、プロセッサ52は、最終的に、ビデオ表示制御信号(矢印CC20)を表示画面20及び/又は200に出力して、表示画面20及び/又は200に、後に示すように標的眼30の拡大された動的画像を表示させる。赤色反射が評価されない他の時点では、デジタルカメラ36は、執刀医の裁量で必要に応じて電磁スペクトルの他の部分からの光を使用するあり得る照明で標的眼30を画像化するために、必要に応じて使用され得る。
【0028】
ECU50Cは、
図2において、単に例示を明瞭且つ簡略化するために一体ボックスとして概略的に示す。ECU50Cの実装する実施形態は、それぞれプロセッサ52及び十分な量のメモリ54を備えた1つ又は複数のネットワーク化コンピュータデバイスを含み得、メモリ54は、プロセッサ52が読取可能且つ実行可能な方法50(「RR-Algo」)を具体化するコンピュータ可読命令のセットが記録又は格納される非一時的(例えば、有形の)媒体を含む。グラフィカルユーザインタフェース(GUI)デバイス60を使用して、執刀医及び付き添う手術チームのシステム70との直感的なインタラクションを容易にすることができ、あり得る使用例については、後に詳述する。メモリ54は、限定されないが、不揮発性媒体及び揮発性媒体を含む多くの形態を取ることができる。方法50を具体化する命令は、メモリ54に格納し、プロセッサ52が、後述する様々な機能を行うように選択的に実行することができる。スタンドアロンデバイスとしての又はデジタルカメラ26及び/若しくは顕微鏡16に統合されたECU50Cは、標的眼30を追跡し、場合により、後に示すように眼球手術の過程中に発生する、手術器具及び/又は執刀医を識別するような他のタスクを実行する、常駐するマシンビジョン/モーショントラッキングロジック58(「ビジョン-トラック」)も含み得る。
【0029】
当業者に理解されるように、不揮発性媒体は、光及び/若しくは磁気ディスク又は他の永続的メモリを含み得、揮発性媒体は、ダイナミックランダムアクセスメモリ(DRAM)、スタティックRAM(SRAM)等を含み得、これらの任意のもの又はすべてがECU50Cの主メモリを構成し得る。入出力(I/O)回路56は、デジタルカメラ36、照明源35並びに高解像度表示画面20及び/又は200を含む、手術中に使用される様々な周辺デバイスとの接続及び通信を容易にするために使用することができる。限定されないが、局部発振器又は高速クロック、信号バッファ、フィルタ、増幅器等を含む、図示しないが、当技術分野で一般的に使用される他のハードウェアをECU50Cの一部として含めることができる。
【0030】
ここで、
図3を参照すると、システム70の動作は、概して上述したように、温白色光(矢印WL)による標的眼30の照明を含み、温白色光(矢印WL)は、照明源(L)35により、例えば直接又は偏光を使用して標的眼30上/中に向けられる。入射した温白色光(矢印WL)は、拡張された瞳孔300を通して標的眼30に入り、当技術分野で理解されるように、硝子体室21又は
図2の後方にある網膜18の表面で反射する。反射された光(矢印WL
R)は、ミラー39を経由して、吸収フィルタ40に向かって方向転換させることができる。次いで、吸収フィルタ40は、反射光(矢印WL
R)を、上述したECU50C又はプロセッサ52と有線又は無線通信するフォトセンサ42の予め位置決めされたセットに向けて方向転換させる。吸収フィルタ40及びフォトセンサ42は、いくつかの実施形態では、デジタルカメラ36と一体であり得るか、又は
図3において例示を明瞭にするために、図示するように吸収フィルタ40を外部に位置決めし得る。
【0031】
本手法の一部として、プロセッサ52は、執刀医の単独の裁量で又は他の実施形態ではECU50Cの検出能力若しくは機械学習支援によって支援されるように、赤色反射の検出を必要とする眼科手術の所定の段階を検出するように構成される。例えば、眼科手術の所定の段階を特定することが、場合によりGUIデバイス60から入力信号(矢印CC
60)を受信することを含むように、
図1~
図3の例示的なECU50CをGUIデバイス60に動作可能に接続し得る。こうした実施形態では、双方向ハンドシェイク通信を示す双方向信号として示す入力信号(矢印CC
60)は、眼科手術の所定の段階を示す。執刀医は、表示画面20又は200(それ自体、任意選択的に静電容量式タッチ面として構成される)とインタラクトして、眼科手術の所定の段階を手動で入力することができる。代わりに、ECU50C又はプロセッサ52は、機械学習、例えば手術の過程における特定の行動パターンを認識するためのニューラルネットワークを使用する等、眼科手術を行う執刀医の識別情報を特定し得る。こうした実施形態では、入力信号(矢印CC
60)は、執刀医の識別情報を示す。
【0032】
赤色反射の検出が望まれる場合、プロセッサ52を使用して、デジタルカメラ36及び常駐のモーショントラッキングロジック58を使用して標的眼30の動きを追跡することができ、デジタルカメラ36の動作は、カメラ制御信号(矢印CC
36)を介して制御される。
図3に示すように、手術中の標的眼30は、虹彩領域350によって囲まれた拡張された瞳孔300を有し、虹彩領域350は、標的眼30の強膜、すなわち白目によってさらに囲まれている。標的眼30の瞳孔300及び視線の方向は、当技術分野で理解されるように、
図2のロジック58を使用してプロセッサ52によってリアルタイムで検出及び追跡することができ、そうした追跡は、
図3において追跡円300-Tによって示す。
【0033】
図4を簡単に参照すると、眼科手術の所定の段階中にプロセッサ52に送信されたデジタル画像データ(矢印38)から構築された、標的眼30の収集されたデジタル画像19内において、プロセッサ52は、瞳孔画素領域30Pを囲む虹彩画素領域30Iから瞳孔画素領域30Pをデジタル的に分離する。本明細書で使用する場合の瞳孔画素領域30Pは、
図3の瞳孔300の撮像された表面領域に一致する画像画素に対応する。同様に、虹彩画素領域30Iは、
図3の虹彩領域350の、場合により例えば強膜画素領域30Sとしての、周囲の強膜400の、画像表面領域に一致する画像画素に対応する。その後、プロセッサ52は、瞳孔画素領域30P又は虹彩画素領域30I、場合によりその両方を含む構成画素の特性を異なる態様で調整して、それによりデジタル的に強調された赤色反射を有する調整された画像データを生成する。
【0034】
これは、眼科手術の所定の段階に基づいて行われ得るか、又は構成画素の特性を調整することは、執刀医の識別情報に基づいて行われ得る。例えば、プロセッサ52は、例えば、ニューラルネットワーク又は他の好適な機械学習アルゴリズムを使用して、執刀医の照明嗜好を経時的に学習し、少なくとも一部には照明嗜好に基づいて、単独で又はGUIデバイス60を使用してプロセッサ52を介して入力信号(矢印CC
60)を生成することができる。例示的な使用シナリオを使用すると、例えば「執刀医A」が以前のN回の手術で一貫して特定の照明嗜好を示した場合、ECU50Cは、異なる執刀医(「執刀医B」)に対する執刀医Aの嗜好をメモリ52に登録し、その後、執刀医からのいかなる肯定的な応答又は入力も必要とせずに、N+1回の手術中に照明嗜好を実施することができる。次いで、プロセッサ52は、
図3に示すように、ビデオ表示制御信号(矢印CC
20)を表示画面20及び/又は200に出力して、表示画面20及び/又は200に、眼科手術の所定の段階中、調整された画像を表示させる。
【0035】
図5を参照すると、方法50の非限定的な実施形態を使用して、眼科手術中に標的眼30(
図2及び
図3)の赤色反射応答を選択的に強調すると同時に、青色光への曝露を最小限にすることができる。上述したように、本教示は、典型的な白内障手術の切開及び白内障除去段階等の白内障手術のいくつかの段階で使用されるのに特に適している。上述したように、本教示の態様は、入射青色光への人体組織の曝露を低減することが有益である他のタイプの顕微手術又は他の医療処置に適用することができる。
【0036】
方法50は、特に眼科処置の手術及び患者の健康の転帰を最適化するために使用される場合、眼に安全な温白色光照明の使用を、ECU50C又はプロセッサ52のプログラムされたデジタル画像処理機能と組み合わせて、同時に選択的に調整された画像を介して手術シーンの理想的で現実感のあるデジタルレンダリング及び投影を作成する。
【0037】
方法50の例示的な実施形態は、
図3に最もよく示すように、標的眼30の照明及び撮像を含むブロックB51で開始する。ブロックB51は、標的眼30が温白色光(矢印WL)によって照明されるとき、デジタルカメラ36を使用して標的眼30のデジタル画像を収集することを含む。デジタルカメラ36が例えば
図1の顕微鏡16の一体構成要素としてHDRデジタルカメラとして具現化されるか又はHDRデジタルカメラを含む場合、デジタル画像データ(
図2の矢印38)の収集は、標的眼30の3次元HDR画像の収集を含み得る。
【0038】
ブロックB51の一部として、温白色光(
図2及び
図3の矢印WL)は、
図2に示す照明源35により、場合により当技術分野で理解されるような偏光技法を使用して、同軸で又は斜めに標的眼30上/中に向けることができる。照明源35は、いくつかの構成では、顕微鏡16の一体構成要素であり得る。方法50のいくつかの実装形態では、温白色光(矢印WL)は、約4000°K未満の色温度を有し、他の実装形態では4000°Kを超える色温度範囲が可能である。しかしながら、青色光への曝露を低減することが方法50の目標であるため、温白色光(矢印WL)として使用される構成光の大部分又は実質的にすべては、フルスペクトル光とは対照的に、赤色スペクトル、例えば620nm~750nm及び/又はオレンジ色スペクトル、例えば590nm~620nm内にある光で構成されるべきである。
【0039】
ブロックB51を実施する1つの手法は、照明源35によって放出される光のスペクトルを制御して、放出される光がより多くの赤色波長を含むようにすることである。温かみのある光ほど、高い赤色反射をもたらす。代わりに、青色及び緑色の波長を遮断し、それにより赤色の波長比を増大させるように、照明源35の後に励起光フィルタ37を実装し得る。こうした手法により、冷照明源35を使用した後、吸収光フィルタ37を介して青色光(例えば、400~500nm)及び一部の緑色光(例えば、500~600nm)を遮断することができる。結果としてのスペクトルは、赤色の波長含有量が多くなり、したがって意図した温白色光が得られる(矢印WL)。その後、方法50は、ブロックB53に進む。
【0040】
ブロックB53は、デジタルカメラ36を使用して、特にそのフォトセンサ42を使用して、方向転換された反射光(
図3の矢印WL
R’)を検出することを含む。フォトセンサ42のあり得る実施形態は、例えば、光電池、光電センサ、光電管又は他の用途に適した光検出器の形態の光子検出器を含む。例えば、典型的なデジタルカメラの構造では、電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)集積回路を使用して、方向転換された反射光(矢印WL
R’)の検出された光子を対応する電子信号になるように処理することができる。フォトセンサ42からの処理された読取値は、最終的に画像データ(矢印38)としてECU50Cに送信され、方法50は、その後、ブロックB54に進む。
【0041】
ブロックB54は、デジタルカメラ36と通信するプロセッサ52を介して、赤色反射の検出を必要とするか又は赤色反射の検出から利益を得る眼科手術の所定の段階を特定することを含む。この目的のために、眼科手術の所定の段階を特定することが、GUIデバイス60から入力信号(矢印CC
60)を受信することを含むように、
図1~
図3のプロセッサ52を、
図2及び
図3に示すGUIデバイス60に動作可能に接続することができ、入力信号(矢印CC
60)は、場合により眼科手術の所定の段階を示す。
【0042】
代わりに、プロセッサ52は、任意選択的に、眼科手術を行う執刀医を識別し得、この場合、入力信号(矢印CC60)は、執刀医の識別情報を示す。執刀医を識別する例示的な手法は、執刀医の名前の表示されたリストから執刀医の名前を選択するためにGUIデバイス60上のアイコンをタッチする等、執刀医の行為を登録すること又はマシンビジョン/顔認識ソフトウェアを使用して執刀医を自動的に識別することを含む。他のあり得る実施形態は、例えば、ニューラルネットワーク又は他の機械学習アルゴリズムを使用して、プロセッサ52を介して執刀医の照明嗜好を経時的に学習することと、次いで執刀医の識別情報と、執刀医が示した照明嗜好とに基づいて、プロセッサ52を介して入力信号(矢印CC60)を生成することとを含む。
【0043】
方法50のいくつかの実装形態において、眼科手術の所定の段階を特定することは、例えば、デジタルカメラ36及び関連するマシンビジョンロジックを使用して、プロセッサ52、50Cを介して手術器具を検出することを含み得る。こうしたロジックは、トラッキングロジック58の一部又は手術器具をその形状及びサイズに基づいて検出及び特定するように構成された別個のアルゴリズムであり得る。次いで、プロセッサ52は、手術器具の識別情報に基づいて眼科手術の所定の段階を自動的に検出することができる。方法50は、眼科手術の所定の段階が、上述した技法又は他の好適な手段の任意のものによって検出されると、ブロックB55に進む。方法50は、プロセッサ52が眼科手術の所定の段階を検出しない場合、代替的にブロックB56に進む。
【0044】
ブロックB55において、プロセッサ52は、瞳孔画素領域(PPR)30Pを、PPR30Pを囲む虹彩画素領域30Iからデジタル的に分離し、そうした領域を
図4に示す。ブロックB55の一部として、プロセッサ52は、単独で又はECU50Cの関連する機能を使用して、デジタルカメラ36及び上述したモーショントラッキングロジック58を使用して標的眼30の動きを追跡することができる。人工知能の技術分野でよく理解されているように、ユーザの視線方向を検出及び追跡し、推定された光軸等の結果として得られる検出データを関連する基準系に変換するために、アイトラッキング(視線計測)アルゴリズムが一般的に使用される。本方法50では、関連する基準系は、収集された画像データ(矢印38)によって記述される様々なデジタル画像を構成する構成画像画素の平面を含む。プロセッサ52は、
図3の瞳孔300の動きを追跡し、その対応する画素位置をマッピングすることにより、眼科手術の経過の全体を通して瞳孔画素領域30Pが表示画像内で識別可能なままであるように、標的眼30の動きをリアルタイムで追跡することができる。プロセッサ52が瞳孔画素領域30Pをデジタル的に分離すると、方法50は、ブロックB57に進む。
【0045】
ブロックB56は、瞳孔画素領域30P及び虹彩画素領域30Iを含み、場合により虹彩画素領域30Iの外側に位置する撮像された領域を含む、標的眼30のフルデジタル画像に対して、デフォルト画像処理アルゴリズムを実行することを含み得る。ブロックB54の実行により、赤色反射が必要でないという判断が下された場合、換言すれば、フルデジタル画像は、デフォルト画像処理アルゴリズムを使用して処理され得、自動ホワイトバランス(AWB)は、1つのあり得るデフォルト解決策である。
【0046】
当技術分野で理解されているように、AWBアルゴリズムは、より自然に見えるデジタル画像を生成する場合、周囲の照明条件を自動的に補正する。典型的なAWBアルゴリズムは、撮像されたシーンの光源を画素画像の形態で推定し、その後、画素画像内のカラーバランスを補正する。例えば、カラーバランス補正は、自動又はユーザが選択したヒストグラム調整を使用して、赤色、緑色及び青色のヒストグラムスペクトルの極端にあるいくつかの画素の色を破棄することと、次いで残りの範囲を伸長させることとを含み得る。他の手法には、画像内の最も明るい画素及び最も暗い画素のそれぞれの色相を平均化すること又は重み付け関数を適用することがある。デフォルトアルゴリズムが適用されると、方法50は、ブロックB60に進む。
【0047】
ブロックB57において、ECU50Cは、次に、瞳孔画素領域30P内でゲイン調整が必要であるか否かを判断する。ブロックB57を実施するあり得る手法は、執刀医が、例えば
図3のGUIデバイス60を介して、GUIデバイス60のタッチセンシティブ画面上の対応するアイコンに触れること等により、選択肢としてゲイン調整を選択することができるようにすることを含む。代わりに、プロセッサ52は、ブロックB51で収集された標的眼30のフル画像の明るさ、色又は他の特性を処理して、瞳孔画素領域30P、虹彩画素領域30I又はその両方の処理により、改善された赤色反射コントラストを最もよく達成することができるか否かを判断し得る。プロセッサ52は、ブロックB57の一部として、それぞれの瞳孔画素領域30P及び虹彩画素領域30Iの構成画素のスペクトルコンテンツを互いに且つ/又は閾値と比較することができる。瞳孔画素領域30Pの構成画素に対するゲイン調整が必要である場合、方法50は、ブロックB58に進む。そうでない場合、方法50は、ブロックB59に進む。
【0048】
ブロックB58において、プロセッサ52は、瞳孔画素領域30Pを含む構成画素の特性を調整して、赤色反射を選択的に強調する。ブロックB58の一部として、例えば、プロセッサ52は、特性としてデジタルゲインを増加させ得、この場合の調整は、瞳孔画素領域30Pの構成画素の調整のみである。デジタル画像処理の技術分野で理解されるように、アナログゲイン調整は、例えば、ブロックB53において、典型的には
図2のフォトセンサ42によって検出される各光子によって生成される対応する電圧を増幅又は減衰させることにより、検出感度を調整するために採用され得る。アナログゲイン調整とは対照的に、ブロックB58で採用されるデジタルゲイン調整は、そうした電圧が読み取られデジタル化された後に画素値を調整するために使用される。瞳孔画素領域30Pにおいてデジタルゲインがブーストされると、方法50は、ブロックB61に進む。
【0049】
ブロックB59は、虹彩画素領域30Iの構成画素にのみホワイトバランスアルゴリズムを適用すること等により、虹彩画素領域30Iを含む構成画素の特性を調整することを含む。ブロックB59において同時に又は代替的に行われる画像処理アルゴリズムは、高ダイナミックレンジ画像の階調値をより低いレンジに圧縮するトーンマッピングを含み得る。その後、方法50は、ブロックB61に進む。
【0050】
ブロックB60において、プロセッサ52は、
図1の表示画面20及び/又は200を介して未調整画像データ(矢印38)を表示する。ブロックB60は、ビデオ表示制御信号(
図2の矢印CC
20)の表示画面20及び/又は200への送信を介して実行されて、標的眼30の表示された拡大画像での表示画面20及び/又は200の照明を引き起こす。その後、方法50は、ブロックB51に戻る。
【0051】
ブロックB61は、表示画面を介して、調整された画像を表示することを含む。表示される画像の内容は、ブロックB61が、上述したようにプロセッサ52が瞳孔画素領域のデジタルゲインをブーストするブロックB58から到達されるか、又はプロセッサ52が瞳孔画素領域の外側にあるデジタル画像の部分にホワイトバランスアルゴリズム若しくは他の好適な画像処理技法を適用するブロックB59から到達されるかに応じて変化する。その後、方法50は、ブロックB51に戻る。
【0052】
上記に示したような本教示は、白内障の除去、水晶体の交換及び眼の他の手術中に青色光毒性のリスクを低減させるとともに、赤色反射を選択的に強調するために、温白色光照明と選択的デジタル画像処理とを組み合わせる。この方法50は、広いスペクトルの光、すなわち昼白色の波長範囲にある光を使用する顕微鏡ベースの照明の従来の慣行から逸脱する。
【0053】
こうした広いスペクトル又は温白色光照明条件下において、現実的に見える手術シーンを生成するために、表示された画像にデジタルカラー調整が使用されることがあるが、患者の眼に入る光は、影響を受けず、そのため、高レベルの青色波長光を含む。したがって、従来の画像カラー調整では、上述した光毒性のリスクが回避されない。さらに、本教示は、手術の所定の段階中、自動的に、したがって執刀医にとって邪魔にならずに赤色反射を選択的に強調するのに有用である。これら及び他の利点は、前述した開示に鑑みて当業者に容易に理解されるであろう。
【0054】
詳細な説明及び図面は、本開示をサポート及び説明するものであるが、本開示の範囲は、特許請求の範囲によってのみ定義される。特許請求される本開示を実行する最良の形態及び他の実施形態のいくつかについて詳細に説明したが、添付の特許請求の範囲に定義される本開示を実施する様々な代替的な設計及び実施形態が存在する。さらに、図面に示す実施形態又は本明細書で言及した様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるものではない。むしろ、一実施形態の例の1つに記載した特徴の各々は、他の実施形態からの他の所望の特徴の1つ又は複数と組み合わされ得、その結果、文字で又は図面を参照して説明しない他の実施形態が得られることがあり得る。したがって、そうした他の実施形態は、添付の請求項の範囲の枠内に入る。
【国際調査報告】