知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-05
(54)【発明の名称】増強された眼科画像を生成するためのシステム及び方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20240829BHJP
A61B 3/14 20060101ALI20240829BHJP
G06T 1/00 20060101ALI20240829BHJP
G06T 5/50 20060101ALI20240829BHJP
【ＦＩ】
A61B3/10
A61B3/14
G06T1/00 290Z
G06T5/50
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024505089
(86)(22)【出願日】2022-08-03
(85)【翻訳文提出日】2024-01-26
(86)【国際出願番号】 IB2022057227
(87)【国際公開番号】W WO2023021356
(87)【国際公開日】2023-02-23
(31)【優先権主張番号】63/234,959
(32)【優先日】2021-08-19
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】ルー イン
(72)【発明者】
【氏名】ラメシュ サランガパニ
【テーマコード（参考）】
4C316
5B057
【Ｆターム（参考）】
4C316AA09
4C316AA10
4C316AB02
4C316AB11
4C316AB12
4C316AB16
4C316FB21
4C316FB26
5B057AA07
5B057CA08
5B057CA12
5B057CB08
5B057CB12
5B057CD06
5B057CE03
5B057CE11
5B057DA08
5B057DA16
5B057DB02
5B057DB09
5B057DC40
(57)【要約】
本開示の特定の態様は、画像を増強するための眼科用撮像デバイスを提供する。このデバイスは、第２のフレームに先行する第１のフレームを含む画像ストリームを生成するように構成された画像キャプチャコンポーネントを含み、両方とも眼の静脈の分岐をキャプチャする。このデバイスは、第１のフレームの複数のブロックについての一次統計量を計算し、静脈の分岐に少なくとも部分的に基づいて第１のフレームについての一次統計量を補間するように構成された画像プロセッサを更に含む。画像プロセッサはまた、トーンマッピング関数を生成し、トーンマッピング関数に基づいて第２のフレームの個々のピクセルのトーンマッピング値を計算するように構成されている。画像プロセッサは更に、第２のフレームの個々のピクセルについての計算されたトーンマッピング値の第２のフレームのピクセルへの適用に基づいて、増強されたフレームを生成するように構成されている。
【特許請求の範囲】
【請求項1】
患者の眼の中の静脈の分岐をキャプチャする第１のフレームと、静脈の前記分岐をキャプチャする第２のフレームとを含む画像ストリームを生成するように構成された画像キャプチャコンポーネントであって、前記第２のフレームは前記画像ストリーム内の前記第１のフレームに続く、画像キャプチャコンポーネントと、画像プロセッサであって、
前記第１のフレームについての複数のブロックの個々のブロックについての一次統計量を計算し、前記第１のフレームについての前記複数のブロックの各ブロックが複数の第１のフレームのピクセルを含み、
前記第１のフレームについての前記複数のブロックの前記個々のブロックについての前記計算された一次統計量に基づいて、前記第１のフレームについての一次統計量を補間し、前記第１のフレームについての前記一次統計量は、少なくとも部分的に、静脈の前記分岐に基づいており、
前記第１のフレームについての前記補間された一次統計量に基づいて、前記第２のフレームのピクセルについてのトーンマッピング関数を生成し、
前記トーンマッピング関数に基づいて、前記第２のフレームの個々のピクセルについてのトーンマッピング値を計算し、
前記第２のフレームの個々のピクセルについての前記計算されたトーンマッピング値を前記第２のフレームの前記ピクセルに適用することに基づいて増強されたフレームを生成する、
ように構成されている、画像プロセッサと、
を含む、眼科用撮像デバイス。
【請求項2】
前記画像プロセッサが、前記眼内の静脈の前記分岐をキャプチャする第３のフレームについての複数のブロックの各ブロックについての一次統計量を計算し、前記第３のフレームについての前記複数のブロックの各ブロックは、複数の第３のフレームのピクセルを含み、
前記第３のフレームについての前記複数のブロックの各ブロックについての前記計算された一次統計量に基づいて、前記第３のフレームについての一次統計量を補間し、前記第３のフレームについての前記一次統計量は、少なくとも部分的に、静脈の前記分岐に基づいており、
前記第１のフレームについての前記補間された一次統計量への第１の重み付けの適用に基づいて、前記第１のフレームについての第１の重み付け統計量を生成し、
前記第３のフレームについての前記補間された一次統計量への第２の重みの適用に基づいて、前記第３のフレームについての第２の重み付け統計量を生成し、前記第２の重みは前記第１の重みより小さい、
ように更に構成されており、
前記画像プロセッサが前記第１のフレームについての前記補間された一次統計量に基づいて前記第２のフレームの前記ピクセルについての前記トーンマッピング関数を生成するように構成されていることは、前記画像プロセッサが前記第１の重み付け統計量と前記第２の重み付け統計量とに基づいて前記第２のフレームの前記ピクセルについての前記トーンマッピング関数を生成するように構成されていることを含む、請求項１に記載の眼科用撮像デバイス。
【請求項3】
前記画像プロセッサが、前記第１のフレーム内の第１の位置での静的オブジェクトの検出と、前記第３のフレーム内の対応する位置での前記静的オブジェクトの検出とに基づいて、前記静的オブジェクトを識別するように更に構成されている、請求項２に記載の眼科用撮像デバイス。
【請求項4】
前記画像プロセッサが、前記第１のフレーム及び前記第３のフレームのうちの一方のみにおける非静的オブジェクトの検出に基づいて、又は、前記第１のフレーム内の第１の位置及び前記第３のフレーム内の前記第１の位置とは異なる第２の位置での前記非静的オブジェクトの検出に基づいて、前記非静的オブジェクトを識別するように更に構成されている、請求項２に記載の眼科用撮像デバイス。
【請求項5】
前記第１のフレームについての前記一次統計量が、前記第１のフレームについての前記複数のブロックの各ブロックについての平均ピクセル強度と、
前記第１のフレームについての前記複数のブロックの各ブロックについての強度標準偏差と、を含む、請求項１に記載の眼科用撮像デバイス。
【請求項6】
前記画像プロセッサが、前記第１のフレームを前記複数のブロックに分割するように更に構成されている、請求項１に記載の眼科用撮像デバイス。
【請求項7】
前記複数のブロックの各ブロックが同じサイズ及び形状を有し、前記複数のブロックの他のブロックに対して前記第１のフレームを通して等間隔に配置されている、請求項１に記載の眼科用撮像デバイス。
【請求項8】
前記画像プロセッサが、前記眼の関連する態様が欠けている空間を含む前記第１のフレームの部分を識別し、
前記複数のブロックのうちの任意のブロックが白い空間を含む前記部分に配置されることを防止する、ように更に構成されている、請求項７に記載の眼科用撮像デバイス。
【請求項9】
前記一次統計量が前記第１のフレームの輝度チャネルに対応し、前記トーンマッピング関数及び前記トーンマッピング値が、前記第２のフレームの輝度チャネルに適用される、請求項１に記載の眼科用撮像デバイス。
【請求項10】
前記一次統計量が、前記第１のフレームの緑色ピクセルから取得されたグレースケールチャネルに対応し、前記トーンマッピング関数及び前記トーンマッピング値が、前記第２のフレームの緑色ピクセルからのグレースケールチャネルに適用される、請求項１に記載の眼科用撮像デバイス。
【請求項11】
前記画像キャプチャコンポーネントが高ダイナミックレンジ（ＨＤＲ）カメラを含む、請求項１に記載の眼科用撮像デバイス。
【請求項12】
前記トーンマッピング関数が、前記第１のフレームに基づいて決定されたコントラスト限界に基づいて制限され、前記コントラスト限界は、最大コントラスト値及び最小コントラスト値を含む、請求項１に記載の眼科用撮像デバイス。
【請求項13】
前記画像プロセッサが、前記ブロックに隣接する各隣接ブロックについての平均ピクセル強度と前記ブロックに隣接する各隣接ブロックについての強度標準偏差とに基づいて、前記第１のフレームについての前記複数のブロックの各ブロックについての前記一次統計量を計算するように更に構成されている、請求項１に記載の眼科用撮像デバイス。
【請求項14】
前記複数のブロックの各非エッジブロックは、４つの隣接するブロックを含み、前記複数のブロックの各エッジブロックは、４つの隣接する隣り合うブロックを作成するために、前記第１のフレームのエッジに沿って少なくとも１つの複製ブロックを含み、
前記少なくとも１つの複製ブロックの各複製ブロックについての前記平均ピクセル強度及び前記強度標準偏差は、前記エッジブロックの前記複製ブロックとは反対側のエッジに沿って隣接するブロックから複製される、請求項１３に記載の眼科用撮像デバイス。
【請求項15】
患者の眼の静脈の分岐をキャプチャする第１のフレームと、前記眼の静脈の前記分岐をキャプチャする第２のフレームとを含む画像ストリームを生成することであって、前記第２のフレームは前記画像ストリーム内の前記第１のフレームに続く、生成することと、前記第１のフレームについての複数のブロックの個々のブロックについての一次統計量を計算することであって、前記第１のフレームについての前記複数のブロックの前記個々のブロックが複数の第１のフレームのピクセルを含む、計算することと、
前記第１のフレームについての前記複数のブロックの前記個々のブロックについての前記計算された一次統計量に基づいて、前記第１のフレームについての一次統計量を補間することであって、前記第１のフレームについての前記一次統計量は、少なくとも部分的に、静脈の前記分岐に基づいている、補間することと、
前記第１のフレームについての前記補間された一次統計量に基づいて、前記第２のフレームのピクセルについてのトーンマッピング関数を生成することと、
前記トーンマッピング関数に基づいて、前記第２のフレームの個々のピクセルについてのトーンマッピング値を計算することと、
前記第２のフレームの個々のピクセルについて前記計算されたトーンマッピング値を前記第２のフレームの前記ピクセルに適用することに基づいて、増強されたフレームを生成することと、
を含む、眼科用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の態様は、眼の手術などの外科手術中に使用する画像ストリーム内のフレームを増強するためのシステム及び方法に関する。
【背景技術】
【0002】
白内障手術は、一般に、患者の眼の天然の水晶体を人工眼内レンズ（ＩＯＬ）に置き換えることを含む。白内障手術中、手術の実施を支援するために、撮像デバイスを使用して患者の眼の画像ストリームを生成することができる。例えば、画像ストリームは、手術中に使用する患者の眼のリアルタイムの拡大図を医師に提供することができる。しかしながら、画像ストリームの未処理の個々のフレームには、医師にとって役立つほど十分な詳細が含まれていない可能性があり、処理済みフレームは医師がリアルタイムで使用できるほど高速に処理されない可能性があり、最適ではない外科手術結果につながる可能性がある。
【0003】
したがって、医師に表示するために画像ストリーム内のフレームを処理するための改良されたシステム及び方法が必要とされている。
【発明の概要】
【課題を解決するための手段】
【0004】
特定の実施形態は、キャプチャされた画像データを増強するための眼科用撮像デバイスを提供する。眼科用撮像デバイスは、画像キャプチャコンポーネント及び画像プロセッサを含む。画像キャプチャコンポーネントは、画像ストリームを生成するように構成されている。画像ストリームは、患者の眼の静脈の分岐をキャプチャする第１のフレームと、静脈の分岐をキャプチャする第２のフレームとを含み、第２のフレームが画像ストリーム内の第１のフレームに続く。画像プロセッサは、第１のフレームについての複数のブロックの個々のブロックについての一次統計量を計算するように構成されている。第１のフレームについての複数のブロックの各ブロックは、複数の第１のフレームのピクセルを含む。画像プロセッサはまた、第１のフレームについての複数のブロックの個々のブロックについての計算された一次統計量に基づいて、第１のフレームについての一次統計量を補間し、第１のフレームについての補間された一次統計量に基づいて第２のフレームのピクセルについてのトーンマッピング関数を生成するように構成されている。第１のフレームについての一次統計量は、少なくとも部分的に、静脈の分岐に基づいている。画像プロセッサは更に、トーンマッピング関数に基づいて第２のフレームの個々のピクセルについてのトーンマッピング値を計算するように構成されている。画像プロセッサは更に、第２のフレームの個々のピクセルについて計算されたトーンマッピング値を第２のフレームのピクセルに適用することに基づいて増強されたフレームを生成するように構成されている。
【0005】
別の実施形態は、画像を処理及び増強する方法を提供する。この方法は、画像ストリームを生成することを含む。画像ストリームは、患者の眼の静脈の分岐をキャプチャする第１のフレームと、眼の静脈の分岐をキャプチャする第２のフレームとを含み、第２のフレームが画像ストリーム内の第１のフレームに続く。この方法は、第１のフレームについての複数のブロックの個々のブロックについての一次統計量を計算することであって、第１のフレームについての複数のブロックの個々のブロックは複数の第１のフレームのピクセルを含む、計算することと、第１のフレームについての複数のブロックの個々のブロックについての計算された一次統計量に基づいて、第１のフレームについての一次統計量を補間することと、を更に含む。第１のフレームについての一次統計量は、少なくとも部分的に、静脈の分岐に基づいている。この方法はまた、第１のフレームについての補間された一次統計量に基づいて、第２のフレームのピクセルについてのトーンマッピング関数を生成することと、トーンマッピング関数に基づいて、第２のフレームの個々のピクセルについてのトーンマッピング値を計算することとを含む。この方法は更に、第２のフレームの個々のピクセルについて計算されたトーンマッピング値を第２のフレームのピクセルに適用することに基づいて、増強されたフレームを生成することを含む。
【0006】
追加の実施形態は、画像をキャプチャして増強するための眼科用撮像デバイスを含む。撮像デバイスは、画像キャプチャコンポーネント及び画像プロセッサを含む。画像キャプチャコンポーネントは、患者の眼の少なくとも一部の画像ストリームを生成するように構成され、画像ストリームは、眼の静脈の分岐をキャプチャする第１のフレームと、画像ストリームの第１のフレームに続く眼の静脈の分岐をキャプチャする第２のフレームとを含む。画像プロセッサは、第１のフレームを複数のブロックに分割するように構成されており、各ブロックは複数のピクセルを含む。画像プロセッサは更に、複数のブロックに基づいて第１のフレームの画像増強パラメータを識別し、第１のフレームの識別された画像増強パラメータに基づいて第２のフレームの画像増強関数を生成するように構成されている。第１のフレームについての一次統計量は、少なくとも部分的に静脈の分岐に基づいている。画像プロセッサは更に、第１のフレームへの識別された画像増強パラメータを用いて画像増強関数を第２のフレームに適用し、第２のフレームへの画像増強関数の適用に基づいて増強されたフレームを生成するように構成されている。
【0007】
他の実施形態は、上述した方法及び本明細書に記載の方法を実行するように構成された処理システム、処理システムの１つ又は複数のプロセッサによって実行されると、処理システムに、方法、並びに本明細書に記載される方法を実行させる命令を含む非一時的コンピュータ可読媒体、上述した方法及び本明細書に更に記載される方法を実行するためのコードを含むコンピュータ可読記憶媒体上に具現化されたコンピュータプログラム製品、上述した方法及び本明細書に更に記載される方法を実行するための手段を含む処理システムを提供する。
【0008】
以下の説明及び関連する図面は、１つ又は複数の実施形態の特定の例示的な特徴を詳述する。
【0009】
添付の図面は、１つ又は複数の実施形態の特定の態様を示しており、それゆえ、本開示の範囲を限定するものとみなされるべきではない。
【図面の簡単な説明】
【0010】
【図1】本明細書に記載される例示的な実施形態による、患者の眼の画像を処理し、増強する画像処理システムのブロック図を示す。
【図2A】本明細書に記載される態様による、画像データがどのように処理されて増強されたフレームを生成するかを示す例示的なフロー図である。
【図2B】本明細書に記載される態様による、先行フレームの処理と並行して現在のフレームの増強されたフレームを生成するために並列処理がどのように使用されるかを示す例示的なフロー図である。
【図2C】本明細書に記載される特定の態様による、図２Ｂの並列処理を図２Ａの処理アルゴリズムと組み合わせて、先行フレームの分析を可能にして、増強されたフレームを生成するために使用される増強パラメータを生成する、例示的なフロー図である。
【図3】本明細書に記載される特定の態様による、画像ストリームを取得して処理し、増強されたフレームを生成するために、図１のシステムのコンポーネント間で交換される通信、又はコンポーネントによって実行される処理を示す、シーケンス図である。
【図4】本明細書に記載される特定の態様による、例示的なトーンマッピング関数の態様を示す。
【図5】本開示の特定の態様による、外科手術をサポートするために使用されるフレームデータを増強する方法を示す。
【図6】本明細書に記載される特定の態様を実行又は具体化する例示的な処理システムを示す。
【発明を実施するための形態】
【0011】
理解を円滑にするために、図面間で共通の同一要素を示すために、可能な場合、同一の参照符号が使用されている。一実施形態の要素及び特徴が、更なる説明を伴わずに他の実施形態に有益に組み込むことができるように企図されている。
【0012】
医療画像は、様々な種類の医療処置中に医師をサポートするために頻繁に使用される。例えば、白内障手術中に医師は、患者の眼に焦点を合わせた網膜カメラ又は他の眼球撮像デバイスなどの撮像デバイスを使用して、手術中に患者の眼の画像をキャプチャすることがある。キャプチャされた画像は、例えば、手術中のツール（又は他のオブジェクト）の配置及び眼の状態を監視又は検出することにおいて、医師を支援することができる。
【0013】
場合によっては、画像の現在のフレームをキャプチャ、処理、及び増強すると遅延が生じるため、医師に表示するために画像をリアルタイムで増強することが困難になることがある。換言すれば、現在のフレームの処理及び増強は、増強された現在のフレームをリアルタイム又はほぼリアルタイムで医師に表示するのに十分な速さで完了することができない。この遅れにより、ツールの配置やその他の慎重な処置に安全上のリスクが生じる可能性がある。
【0014】
本明細書に記載されるシステム及び方法は、先行フレームを処理して現在のフレームに適用する増強パラメータを識別することによって従来の方法の問題を克服し、これにより問題となる遅延を排除し、同時に撮像特性の改善を可能にする。先行フレームを使用して後続フレームの画像増強特性を決定することは、画像の連続フレーム（例えば、手術中の患者の眼）に、連続フレーム間に比較的静的な部分が含まれる場合に効果的であり、したがって、先行フレームの増強特性は、先行フレームと部分を共有する後続フレームを増強するために十分に機能する。
【0015】
画像（本明細書ではフレームと同義に称する）の静的部分は、一般に、連続するフレームにわたる、又は連続するフレーム間の対応する部分のフレームコンテンツと同じ又は実質的に同じフレームの一部又は領域のコンテンツを含むことができる。例えば、患者の眼と撮像デバイスは連続するフレーム間で急激に移動しない可能性が高いため、先行フレームの第１の部分でキャプチャされた患者の眼の構造は、現在のフレームの対応する第１の部分に位置する可能性が高い。したがって、先行フレームの、少なくとも静的部分の増強パラメータは、一般に、現在のフレームにも適用される。
【0016】
先行フレームからの増強パラメータを現在のフレームに使用することによって、現在のフレームの増強をより迅速に完了することができ、これにより、医師に対する現在のフレームのリアルタイム（又はほぼリアルタイム）の増強及び表示が可能になる。画像の増強により画像のコントラストが向上し、医師が眼の構造や器具などをよりよく確認できるようになり、画像遅延と画質の間の従来の妥協点が改善される。
【0017】
いくつかの実施形態では、１つ又は複数の先行フレームの処理は、現在のフレームの増強と並行して実行することができ、現在のフレームがキャプチャされている間に、先行フレームが処理されて、現在のフレームを増強するために使用される増強パラメータが生成される。いくつかの実施形態では、１つ又は複数の先行フレームのそのような処理は、現在又は後続のフレームが生成される前に実行することができ、その結果、現在又は後続のフレームが生成されるときに、現在又は後続のフレームを増強するための増強パラメータがすでに利用可能である。
【0018】
したがって、本開示の特定の態様は、医用撮像機器及び他のタイプの撮像機器で使用され得る画像データを生成、増強、及び表示するための画像処理システム及びデバイスを提供する。先行フレームの増強パラメータを使用して画像ストリーム内の後続フレームを増強することにより、画像処理システム及びデバイスは、従来の方法では不可能であった、増強された画像フレームをリアルタイム又はほぼリアルタイムで表示することができる。
【0019】
本明細書に記載されるシステム、方法、及び技術は、一例として外科手術の文脈で説明されていることに留意されたい。しかしながら、これらのシステム、方法、及び技術は、別の例として術前及び／又は術後処置を含む様々な撮像システムに広く適用可能である。更に、本明細書に記載されるシステム、方法、及び技術は、他の様々な医療実施形態（例えば、解剖学的構造の１つ又は複数の態様のフレームをキャプチャすること）に適用することができる。同様に、本明細書に記載されるシステム、方法、及び技術は、画像内の連続するフレーム間に描写されるコンテンツが比較的静的であり、現在のフレームが、先行フレームから生成された増強パラメータに基づいて増強されることができるような、様々な非医療実施形態に適用することができる。
【0020】
例示的な画像処理システム
図１は、本明細書に記載される例示的な実施形態による、この例では患者の眼１１０の画像を処理及び増強する画像処理システム１００のブロック図を示す。システム１００は、撮像デバイス１０２と通信可能に結合されたコントローラ１０４を含む。この例では、撮像デバイス１０２は、患者の眼１１０のフレームの画像ストリームをキャプチャするために使用される１つ又は複数の撮像デバイスを表す。コントローラ１０４は、撮像デバイス１０２から受信した画像ストリームのフレーム、例えば、画像ストリーム内の最も直近にキャプチャされたフレームに対応する現在のフレーム１１２を分析するように構成され得る。このような分析は、画像増強パラメータなどのフレーム１１２の様々な態様を識別することと、増強パラメータに基づいてフレーム１１２を増強することを含んでもよい。
図１は、本明細書に記載される例示的な実施形態による、この例では患者の眼１１０の画像を処理及び増強する画像処理システム１００のブロック図を示す。システム１００は、撮像デバイス１０２と通信可能に結合されたコントローラ１０４を含む。この例では、撮像デバイス１０２は、患者の眼１１０のフレームの画像ストリームをキャプチャするために使用される１つ又は複数の撮像デバイスを表す。コントローラ１０４は、撮像デバイス１０２から受信した画像ストリームのフレーム、例えば、画像ストリーム内の最も直近にキャプチャされたフレームに対応する現在のフレーム１１２を分析するように構成され得る。このような分析は、画像増強パラメータなどのフレーム１１２の様々な態様を識別することと、増強パラメータに基づいてフレーム１１２を増強することを含んでもよい。
【0021】
いくつかの実施形態では、コントローラ１０４は、撮像デバイス１０２から離れていてもよく、ネットワーク接続などのデータ接続によって通信可能に結合されてもよい。例えば、コントローラ１０４は、単一の位置で複数の撮像デバイスを（例えば、互いに離れて配置され得る１つ又は複数の眼科診療所で）サポートするように構成され得る。ここでの眼科診療所とは、（１）外科手術の準備として患者の眼の術前及び／又は術後の画像撮影が行われるクリニック、及び／又は（２）外科手術中に患者の眼の術中画像が生成される眼科手術診療所を指す場合があることに留意されたい。
【0022】
コントローラ１０４はまた、撮像デバイス１０２によってキャプチャされたフレーム及びキャプチャされたフレームの分析から得られた対応するデータ（増強パラメータなど）を記憶するデータストア又はメモリ１０６にも結合される。特定の実施形態では、メモリ１０６は、コントローラ１０４と同じ場所に配置され、１つ又は複数の前のフレーム及び／又は１つ又は複数の前のフレームの対応する増強パラメータを記憶するキャッシュメモリである。いくつかの実施形態では、メモリ１０６は、患者の眼１１０の元のフレーム及び増強されたフレーム（及び対応するデータ）を記憶するための中央及び／又はクラウドベースのデータベース又はリポジトリを含む。いくつかの実施形態では、患者の眼１１０の元のフレーム及び増強されたフレーム、並びに対応する増強パラメータは、その眼１１０が撮像デバイス１０２で撮像される患者のプロファイルに関連付けられてもよい。特定の実施形態では、メモリ１０６は、デバイスメモリ、眼科診療所での使用専用のオンプレミス又はクラウドベースのデータベース又はリポジトリなどを表すことができる。
【0023】
いくつかの実施形態では、コントローラ１０４は、撮像デバイス１０２によってアクセス可能なローカルプロセッサ又はコンピューティングシステムである。例えば、コントローラ１０４は、撮像デバイス１０２及び／又は眼科診療所に専用及び／又はローカルなコンピューティングシステムを指してもよい。特定の実施形態では、コントローラ１０４は、「クラウド」サービスを通じて提供されるコンピューティングリソース（例えば、１つ又は複数のプロセッサ及び／又はコンピューティングシステムを含む）に対応し得る。特定の実施形態において、システム１００の１つ又は複数のコンポーネントを接続するネットワークは１つ又は複数のスイッチングデバイス、ルータ、ローカルリアネットワーク（例えば、イーサネット）、ワイドエリアネットワーク（例えば、インターネット）、及び／又はその他を含み得る。
【0024】
撮像デバイス１０２は、図１に示すように、ある期間にわたってキャプチャされた患者の眼１１０の１つ又は複数のフレーム（例えば、現在のフレーム１１２）を含む画像ストリームを生成するように構成された、この特定の例における眼球撮像デバイスなどの任意の撮像デバイスを含む。いくつかの実施形態では、撮像デバイス１０２によって生成されたフレームは、光学コンポーネント及び患者の眼１１０の特徴、患者の眼１１０のコンポーネントの関係、並びに外科手術の際に使用されるツール及び対応するデバイスなどのうちの１つ又は複数の態様を分析及び／又は表示するために使用され得る。いくつかの実施形態では、撮像デバイス１０２は、光コヒーレンストモグラフィー（ＯＣＴ）デバイス、走査型レーザ検眼鏡（ＳＬＯ）デバイス、走査型レーザ偏光計デバイス、３次元撮像及び可視化デバイス、高ダイナミックレンジ（ＨＤＲ）カメラ、網膜観察システム、網膜観察レンズ、手術用顕微鏡などのうちの１つ又は複数を含む。
【0025】
いくつかの実施形態では、撮像デバイス１０２は、専用メモリによって提供される命令を実行して、患者の眼１１０のフレームをキャプチャし、キャプチャしたフレームを分析し、キャプチャしたフレームを医師に表示するために増強し、ユーザが撮像デバイス１０２を、例えば撮像デバイス１０２の専用のユーザインタフェースなどを介して操作することを可能にする、専用プロセッサを含む。撮像デバイス１０２のユーザインタフェースにより、医師などのユーザが撮像デバイス１０２と対話し、制御することが可能になり得る。
【0026】
撮像デバイス１０２は、患者の眼１１０を撮像するためのデバイス機構を含む。このようなデバイス機構の非限定的な例としては、光学機構、放射機構、撮像機構、及び制御機構のうちの少なくとも１つが挙げられる。光学機構は、患者の眼１１０の対象オブジェクトに投射され、対象オブジェクトによって反射された光を集束させ、方向付けるための１つ又は複数のレンズ又は他の光学コンポーネントを含む。光学機構により、撮像デバイス１０２が患者の眼１１０を観察及び撮像し、光ビームを眼に焦点合わせするなどして、患者の眼１１０のフレームを生成及びキャプチャすることが可能になる。
【0027】
放射機構は、患者の眼１１０に信号（例えば、光ビーム、超音波など）を放射するように構成された光又は他の信号源を含む。放射機構は、医師によって必要に応じて、又は自動化された方法で、位置決め、合焦、電力レベル、又は他の方法で信号を向けることに関して調整可能であり得る。撮像機構には、患者の眼１１０から反射又はエコーバックされる信号、或いは患者の眼１１０を表す信号を生成、受信、処理、及び／又はデジタル化する機構が含まれる。撮像機構は、受信した信号に基づいて多次元画像を生成する役割を果たす。撮像機構は、受信した信号に基づいて画像データを取得、記憶、及び／又は処理することができる。撮像デバイス１０２における撮像機構の例としては、画像処理コンポーネントなどを挙げることができる。
【0028】
制御機構により、医師は撮像デバイス１０２のデバイス機構を有効化、無効化、及び調整することができる。例えば、制御機構には、放射機構をオン／オフするための制御、撮像機構を使用してフレームをキャプチャするなど、放射機構の調整を可能にするコンポーネントが含まれる。同様に、制御機構は、例えば、光学機構の自動又は手動の焦点合わせ、又は光学機構の移動を可能にして、異なる対象又は対象の部分を見ることができるように、光学機構の調整を可能にするコンポーネントを含む。いくつかの実施形態では、撮像デバイス１０２のユーザインタフェースは制御機構を含む。
【0029】
いくつかの実施形態では、増強されたフレームを術前に使用して、外科手術（例えば、白内障手術）に備えて外科手術計画を作成することができる。特定の実施形態では、眼科診療所は、手術室と関連して撮像デバイス１０２を使用して、外科手術中に患者の眼１１０の画像ストリームを取得、処理、及び表示することができる。
【0030】
上で紹介したように、撮像デバイス１０２は、処理（例えば増強）、記憶、及び表示のために、患者の眼１１０のフレームをコントローラ１０４に通信することができる。フレームの処理、記憶、及び表示の一部として、コントローラ１０４は、画像デバイス１０２からフレームを受信し、フレームを処理及び増強し、増強されたフレームを医師が使用するために記憶及び／又は表示することができる。画像ストリームの増強には、例えば、画像ストリーム内のフレームの知覚品質を向上させるコントラスト増強が含まれ得る。コントラスト増強を現在のフレーム１１２（又は画像ストリームの任意のフレーム）に適用して、フレーム１１２の態様が、増強されていないか又は生のフレームと比較して、より目立つようにすることができる。コントラスト増強により、増強されたフレームが表示されるディスプレイ又は出力デバイスで利用可能な色が最適に使用され得る。フレームの処理と増強の更なる詳細については、以下で説明する。
【0031】
上述したように、メモリ１０６は、１つ又は複数のフレーム（生及び／又は増強された）及び記憶されるフレームに関連付けられた対応するデータ（例えば、増強パラメータ）を記憶する。いくつかの実施形態では、メモリ１０６は、１つ又は複数のフレームがコントローラ１０４によって処理及び増強された後に、それらのフレームを記憶する。いくつかの実施形態では、１つ又は複数のフレーム及び対応するデータは患者プロファイルに関連付けられる。特定の実施形態では、メモリ１０６は、例えばコントローラ１０４などからの要求に応じて、後の検索のためにフレームを記憶する。いくつかの実施形態では、メモリ１０６は、フレーム及び対応するデータを記憶し、例えば後続フレームの処理及び増強中に、コントローラ１０４が特定の処理されたフレーム及び対応するデータに迅速且つ効率的にアクセスできるようにするキャッシュメモリとして動作する。
【0032】
いくつかの実施形態では、メモリ１０６は、トーンマッピングパラメータ、又は１つ又は複数のフレームの処理から生成される他の類似の画像増強特性、パラメータ、又は統計量を含むことができる増強パラメータを更に記憶する。例えば、コントローラ１０４が撮像デバイス１０２によって生成されたフレームのうちの１つを処理して、平均ピクセルグレースケール若しくは輝度、又は個々のブロック又はフレーム全体に対するピクセルグレースケール若しくは光度の標準偏差を含む１つ又は複数の画像統計量などの１つ又は複数のトーンマッピングパラメータを識別する場合、メモリ１０６は、処理されたフレーム及び対応するトーンマッピングパラメータを記憶することができる。いくつかの実施形態では、対応するトーンマッピングパラメータは、対応するトーンマッピングパラメータが生成されたフレームに関連付けられる。したがって、対応するトーン関数パラメータは、撮像デバイス１０２によって生成される後続フレームと併せて使用され得る。
【0033】
画像の処理と増強のための例示的なフロー図
図２Ａは、本明細書に記載される態様による、画像データ（例えば、図１のフレーム１１２）が、適応等化アルゴリズム、又は画像ピクセルのすべて若しくはサブセットの強度を分散する他のアルゴリズムを使用して、増強されたフレーム２５０を生成して利用可能な強度ダイナミックレンジのすべてを占めるようにするためにどのように処理されるか、を示すデータフロー図（データフロー）２００の一例である。
図２Ａは、本明細書に記載される態様による、画像データ（例えば、図１のフレーム１１２）が、適応等化アルゴリズム、又は画像ピクセルのすべて若しくはサブセットの強度を分散する他のアルゴリズムを使用して、増強されたフレーム２５０を生成して利用可能な強度ダイナミックレンジのすべてを占めるようにするためにどのように処理されるか、を示すデータフロー図（データフロー）２００の一例である。
【0034】
データフロー２００は、図１を参照して上述したように、撮像デバイス１０２によって生成されたフレーム１１２を示す。フレーム１１２は、例えば、９つのブロック２２４ａ～２２４ｉを有するブロック化されたフレーム２１４によって示されるように、フレーム１１２を複数のブロック２２４又はタイルに論理的に分割するためにコントローラ１０４によって処理される。特定の実施形態では、コントローラ１０４は、フレーム１１２を、同じ相対的なサイズを有する、サイズ若しくは形状が異なる、又は例えばフレーム１１２の異なる部分で一貫した若しくは均等な間隔を有するいくつかのブロック２２４に論理的に分割することに基づいて、ブロック化されたフレーム２１４を生成する。例えば、コントローラ１０４は、ブロック化されたフレーム２１４を作成するためにフレーム１１２自体を実際に分割することなく、ブロック２２４の数を識別することができる。コントローラ１０４は、ブロック化されたフレーム２１４の論理ブロック２２４に従ってフレーム１１２を処理することができる。
【0035】
いくつかの実施形態では、フレーム１１２を複数のブロック２２４に分割することは、コントローラ１０４がフレーム１１２を分析して、患者の眼１１０と境界を接するがそれらの一部ではないフレーム１１２の部分など、更に処理する必要がないフレーム１１２の１つ又は複数の部分を識別することを含む。例えば、フレーム１１２は、患者の眼１１０に対応するフレーム１１２の部分を実質的に取り囲む白い境界部分を含む。それ以外の場合、白い境界部分はフレーム１１２の分析及び増強とは無関係である。コントローラ１０４は、白い境界部分を識別し、その白い境界部分が患者の眼１１０のいかなる態様も含まないため、その部分を無関係で更なる処理の必要がないものとしてマークし得る。フレーム１１２のそのような白い境界部分（及び同様の無関係な部分、又は黒い空間の部分）を処理しないことによって、コントローラ１０４は、対象とならないフレーム１１２の部分の処理を回避し、さもなければ、フレーム１１２に基づいてコントローラ１０４によって生成された画像統計量及びパラメータに悪影響を与える可能性がある。これにより、画像ストリーム内のフレームの効率と増強時間が改善され得る。
【0036】
いくつかの実施形態では、コントローラ１０４は、機械学習モデル又は他の画像処理アルゴリズムを使用する画像処理に基づいて、フレーム１１２の白い境界部分（及び他の無関係な部分）を識別する。例えば、コントローラ１０４は、ブロック化されたフレーム２１４のブロック２２４に１つ又は複数の画像セグメント化アルゴリズムを適用することができる。いくつかの実施形態では、コントローラ１０４は、トレーニングされた機械学習（ＭＬ）モデルを使用して、フレーム１１２の関連部分又は無関係な部分を識別することができる。以前に処理されたフレームの集合は、フレームのブロック２２４の関連部分と無関係な部分を識別できるＭＬモデルのトレーニングに使用するためのデータセット（「トレーニングデータセット」と呼ばれる）を提供することができる。
【0037】
場合によっては、ＭＬモデルは、画像セグメント化アルゴリズムなどの１つ又は複数のＭＬアルゴリズムをトレーニングデータセットと組み合わせて使用してトレーニングされる。ＭＬアルゴリズムは、教師あり学習アルゴリズム、教師なし学習アルゴリズム（Ｋ平均及びガウス混合モデルなど）、及び／又は半教師あり学習アルゴリズムを含み得る。教師なし学習は、ラベル付き回答のない入力データからなるデータベースから推論を引き出すために使用されるタイプの機械学習アルゴリズムである。教師あり学習は、例えば入力を出力に、例としての入力－出力ペアに基づいてマッピングする関数を学習するＭＬタスクである。教師あり学習アルゴリズムには一般に、回帰アルゴリズム、分類アルゴリズム、決定木、ニューラルネットワークなどが含まれ得る。
【0038】
特定の実施形態では、トレーニングされたＭＬモデルは、例えば、フレーム１１２内のブロック２２４の関連部分及び無関係な部分を識別するために使用される重み及びパラメータを有する関数を指す。トレーニング及び展開が完了すると、ＭＬモデルは、ブロック２２４の関連部分又は無関係な部分を出力として識別できるようになる。
【0039】
コントローラ１０４は、ブロック化されたフレーム２１４を処理して、フレーム１１２に対応する増強されたフレーム２５０を生成するために使用される増強パラメータに対応し得る、１つ又は複数のトーンマッピングパラメータ（又は増強パラメータ）２１５を計算する。１つ又は複数のトーンマッピングパラメータ２１５を計算することは、コントローラ１０４が、ブロック化されたフレーム２１４の各ブロック２２４について、又はブロック化されたフレーム２１４全体についてトーンマッピングパラメータを計算することを含み得る。いくつかの実施形態では、コントローラ１０４は、ブロック化されたフレーム２１４のブロック２２４のピクセルレベルでトーンマッピングパラメータ２１５を計算することができる。
【0040】
いくつかの実施形態では、コントローラ１０４がブロックレベルでトーンマッピングパラメータ２１５を計算する場合、コントローラ１０４は、ブロック化されたフレーム２１４の（例えば、ブロック２２４の）態様について、一次統計量などの次数統計量を計算する。フレームの一部の一次統計量は、対象となる特定の値を有する特定のピクセルがフレームの一部で発生する確率を決定する関数に基づいて計算することができる。一次統計量は、隣り合うピクセルに依存しない個々のピクセル値に基づくことができる。いくつかの実施形態では、一次統計量は、ピクセル数とグレースケール値などの特定のピクセル値とを関連付けるピクセル値の一次ヒストグラムに基づいて生成され得る。一次統計量の例には、平均、標準偏差、歪度などが含まれる。したがって、トーンマッピングパラメータ２１５は、ブロック化されたフレーム２１４の各ブロック２２４の平均ピクセルグレースケール２１６、又はブロック化されたフレーム２１４の各ブロック２２４のピクセルグレースケールの標準偏差２１７などのうちの１つ又は複数を含むことができる。いくつかの実施形態では、平均ピクセルグレースケール２１６（平均、μ）及びピクセルグレースケールの標準偏差２１７（ＳＴＤ、σ）は、以下の等式に従って計算される。
【数1】
【0041】
一次統計量は、昇順に並べられたサンプル値のセットのうちの最も小さいサンプル値（すなわち、最小サンプル値）であり得る。例えば、サンプルセット２１、２、１１、１５、７１、４では、一次統計量は２である。したがって、ブロック化されたフレーム２１４の各ブロック２２４の平均ピクセルグレースケール２１６及びピクセルグレースケールの標準偏差２１７に適用されるとき、平均ピクセルグレースケール２１６の一次統計量は、対応するブロック２２４の最小平均ピクセルグレースケールに対応し得る。同様に、ピクセルグレースケールの標準偏差２１７の一次統計量は、対応するブロック２２４のピクセルグレースケールの最小標準偏差に対応し得る。本明細書に記載される例は、ピクセルのグレースケール（又は明度又は強度）に関するが、いくつかの実施形態では、トーンマッピングパラメータ２１５は、クロミナンス値、カラー値など、フレーム又は画像ストリームの他の値から生成された統計量を含む。更に、ピクセルレベル又はフレームレベルで計算されたトーンマッピングパラメータ２１５は、コントローラ１０４によって計算された対応する一次統計量を有することができる。いくつかの実施形態では、本明細書に記載される一次統計量は、先行フレーム２１２の緑色ピクセルの分析又は処理から得られるグレースケールチャネルに適用される。例えば、ここで説明されるグレースケールは、先行フレーム２１２などのフレームの緑色チャネルのグレースケールに対応することができる。いくつかの実施形態では、トーンマッピング関数は、現在のフレーム１１２の緑色チャネルグレースケールに適用され得る。
【0042】
いくつかの実施形態では、ブロック化されたフレーム２１４のブロック２２４又はブロック化されたフレーム２１４のピクセルについての計算された一次統計量の１つ又は複数に基づいて、コントローラ１０４は、補間された平均ピクセルグレースケール２１８として生成されたブロック化されたフレーム２１４全体の平均ピクセルグレースケールを補間する。同様に、コントローラ１０４は、ピクセルグレースケール２１９の補間標準偏差として生成されるブロック化されたフレーム２１４のブロック２２４（又はピクセル）の一次統計量に基づいて、ブロック化されたフレーム２１４全体のピクセルグレースケールの標準偏差を補間する。補間は、既知のデータ値を使用して未知のデータ値の値を予測又は推定するプロセスに対応し得る。いくつかの実施形態では、補間を使用して、ブロック化されたフレーム２１４の様々な態様を組み合わせることができる。補間を使用して、ブロック２２４にわたる一次統計量の滑らかな表現を生成することもでき、これにより、ブロック化されたフレーム２１４のブロック２２４間のエッジを滑らかにする。
【0043】
例えば、コントローラ１０４は、（隣接する）隣り合うブロック２２４を補間して、隣り合うブロック２２４のピクセル間又はピクセル同士の遷移を滑らかにする。ブロック２２４ｅなど、フレーム内に４つの隣り合うブロック２２４を有するブロック２２４は、ブロック２２４ｅの４つの隣り合うブロック２２４ｂ、２２４ｄ、２２４ｆ、及び２２４ｈ（上、下、左、及び右のブロック２２４に対応する）を使用して補間されることになる。ブロック２２４ｆなど、フレームのエッジにあるブロックの場合、ブロック２２４ｆには、ブロック２２４ｆの右エッジに沿った隣り合うブロックが欠けている。しかしながら、ブロック２２４ｅに対して実行されるのと同様の補間を可能にするために、コントローラ１０４は、（１）ブロック２２４ｆの右エッジに沿って欠落している隣り合うブロックを表すためにブロック２２４ｆを複製するか、又は（２）欠落している隣り合うブロックの右エッジの位置の反対側のブロック２２４ｆに隣り合うブロック２２４ｅを複製することのうち１つを行い、その複製を４つの隣り合うブロック２２４を使用する補間に使用することができる。いくつかの実施形態では、補間中にブロックを複製すると、複製されたブロックの「特殊性」が除去されるため、エッジブロックの計算は非エッジブロックと同じ方法で行うことができる。複製ブロックのこの使用は、さもなければ４つ未満の隣り合うブロック２２４で補間を実行することから生じる可能性のある、補間プロセスへの分散の導入を限定することができる。いくつかの実施形態では、欠落した隣り合うブロックは、欠落した隣り合うブロックの反対側のエッジからのブロックで満たされる。
【0044】
コントローラ１０４は、１つ又は複数の適応又は非適応補間方法を使用することができる。適応補間方法は、補間されるピクセルに基づいて変化する補間を含むが、非適応補間方法はすべてのピクセルに一貫して適用される。非適応補間アルゴリズムの例には、最近傍法、双線形法、双三次法、スプラインなどが含まれる。特定の実施形態では、コントローラ１０４によって実行される補間は、１つ又は複数の非適応補間方法を使用する。
【0045】
コントローラ１０４は、ブロック化されたフレーム２１４のフレーム補間を実行して、ブロック化されたフレーム２１４に対する最良の近似値（例えば、上で導入された増強パラメータ）を識別又は達成することができる。例えば、コントローラ１０４は、ブロック化されたフレーム２１４のブロックに対して、平均ピクセルグレースケール及びピクセルグレースケールの標準偏差に基づいて、ブロック化されたフレーム２１４全体の平均ピクセルグレースケールの最良近似及びピクセルグレースケールの標準偏差の最良近似をそれぞれ生成することができる。
【0046】
コントローラ１０４によって生成された補間値又は最良近似値に基づいて、コントローラ１０４は、補間平均ピクセルグレースケール値及びピクセルグレースケールの標準偏差を生成し、トーンマッピング関数２３０（例えば、フレーム増強アルゴリズム）への入力として適用する。トーンマッピング関数２３０は、フレーム内の第１の色（又は強度又はグレースケール）のセットを第２の色（又はそれぞれ強度又はグレースケール）のセットにマッピングすることができる。したがって、コントローラ１０４は、トーンマッピング関数２３０をブロック化されたフレーム２１４の各ピクセルに適用して、撮像デバイス１０２によって生成されたフレーム１１２の増強バージョンである増強されたフレーム２５０を生成する。増強されたフレーム２５０は、フレーム１１２と比較して、コントラストが増強されたフレームを含んでもよく、又は１つ又は複数の他の方法で増強されたフレーム１１２であってもよい。いくつかの実施形態では、増強されたフレーム２５０により、医師は、生のフレーム又は増強されていないフレーム１１２では失われる可能性がある患者の眼１１０の様々な詳細を見ることができる。いくつかの実施形態では、トーンマッピング関数２３０は、一次統計量が先行フレーム２１２の輝度チャネルに基づいて生成されるときに、フレーム１１２の輝度チャネルに適用される。いくつかの実施形態では、トーンマッピング関数２３０は、現在のフレーム１１２の輝度チャネルに適用され得る。
【0047】
上で紹介したように、増強されたフレーム２５０を生成する前に、フレーム１１２をブロックに分割し、そのブロックを処理してトーンマッピング関数２３０で使用するトーンマッピングパラメータを生成するためにフレーム１１２のそのような処理を実行することには、例えば外科手術中には容易に得られない又は実行可能ではない、かなりの時間がかかる。したがって、図２Ａの処理は、外科手術中に撮像デバイス１０２によって生成されたフレームストリームに対して増強されたフレーム２５０を提供できない可能性がある。
【0048】
特定の実施形態では、上で紹介したように、コントローラ１０４は、現在のフレームが撮像デバイス１０２によって生成されている間に、フレームストリーム内の先行フレームを処理又は分析する。このような並列フレーム処理により、コントローラ１０４は、先行フレームの増強パラメータを使用して現在のフレームを増強し、全体として、医師が閲覧できる増強された画像ストリームを迅速に提供することができる。
【0049】
いくつかの実施形態では、上で紹介したように、画像ストリーム内の後続フレームは、後続フレーム内のほぼ同じ部分又は領域にある連続的な特徴を有することが多いため、先行フレームの増強パラメータを現在のフレームに適用することができる。例えば、先行フレームの第１の部分は、患者の眼１１０の静脈の分岐を描写することができる。現在のフレームには、先行フレームの対応する第１の部分にある同じ静脈の分岐が含まれている可能性がある。したがって、先行フレームからの第１の部分の増強パラメータを、現在のフレームの対応する第１の部分に適用することができる。画像ストリーム内の連続フレームは、大量のコンテンツを共有する可能性があり、これは、画像ストリームの連続フレーム内の対応するピクセルが、一般に同一又は類似、或いは実質的に同一のコンテンツであることを意味する。このような連続的な特徴により、先行フレームの増強パラメータの現在のフレームへの使用が可能になり、これは、先行フレームの連続的な特徴を増強する態様が、同様の位置にある現在のフレームの対応する連続的な特徴に対して機能しないことよりも多いためである。したがって、図２Ａを参照して説明したように、画像ストリームからのフレーム１１２に基づいて増強されたフレーム２５０を生成する処理が、１つ又は複数の先行フレームの増強パラメータに基づいて、画像ストリーム内の後続フレームの増強されたフレームを生成するために適用され得る。
【0050】
先行フレームからの増強パラメータに基づいて現在のフレーム（フレーム１１２など）を処理して、現在のフレームの増強されたフレーム２５０を生成するこの機能により、外科手術中の画像ストリームのフレームのより高速な取り扱い及び処理が可能になる。増強されたフレーム２５０を生成する前に、フレーム１１２を処理してフレーム１１２のトーンマッピングパラメータを識別する必要の代わりに、コントローラ１０４は、フレーム１１２に先行するフレームからの増強パラメータを使用し、増強パラメータを使用したフレーム１１２に基づいて増強されたフレーム２５０のみを生成することができる。これにより時間が節約され、増強されたフレームをリアルタイムで医師に表示できるようになる。
【0051】
いくつかの実施形態では、画像ストリームの対象は一般に、画像ストリーム内の異なるフレームに対してあまり動かないはずであるため、フレーム１１２に基づいて生成された増強パラメータは、画像ストリーム内の多数の後続フレームに適用することができる。現在のフレーム１１２の増強されたフレーム２５０を生成するために、その後にキャプチャされる現在のフレーム１１２に対して先行フレームからの増強パラメータを使用する例について、図２Ｂを参照して説明する。
【0052】
図２Ｂは、先行フレームの処理と並行して現在のフレーム１１２の増強されたフレーム２５０を生成するための並列処理の採用を示す例示的なデータフロー図２５５である。データフロー図２５５は、図２Ａのデータフロー２００に示される態様と同様の多くの態様を含む。データフロー２００と２５５との間の対応する態様は、対応する機能及び動作などを有することができる。したがって、データフロー２００の態様に対応するデータフロー２５５の１つ又は複数の態様については、簡潔にするために、対応する説明は繰り返さない。
【0053】
データフロー２５５は、撮像デバイス１０２によって生成されたフレーム１１２から始まる。フレーム１１２は、患者の眼１１０の撮像デバイス１０２によって生成された画像ストリームの非先頭フレームを表すことができる。画像ストリームの先頭フレームには先行フレームがない。したがって、先頭フレームは、先行フレームの増強パラメータに基づいて増強することができない。
【0054】
データフロー２５５は、コントローラ１０４による、フレーム１１２に先行する画像ストリーム内の先行フレーム２１２の処理に対応するブロック２０５を含む。例えば、フレーム１１２が画像ストリームの第２のフレームである場合、ブロック２０５は、コントローラ１０４による、画像ストリームの第１のフレームである先行フレーム２１２の処理に対応する。いくつかの実施形態では、ブロック２０５の処理は、複数の先行フレームに対してコントローラ１０４によって実行され得る。例えば、フレーム１１２が画像ストリーム内の第１０のフレームである場合、コントローラ１０４は、画像ストリーム内の先行フレーム１～９の任意の組み合わせに基づいてブロック２０５の処理を実行することができる。
【0055】
いくつかの実施形態では、１つ又は複数の先行フレームの処理により、１つ又は複数の先行フレームに対する増強パラメータ２１５が得られるか、又は生成される。例えば、増強パラメータ２１５は、複数の先行フレームからの増強パラメータの重み付け合計として表現することができる。増強パラメータ２１５は、トーンマッピング関数２３０（例えば、トーンマッピング関数２３０）を使用して適用されて、フレーム１１２を増強することができる。フレーム１１２が複数の先行フレームに基づいて増強されるいくつかの実施形態では、異なる先行フレームの増強パラメータ２１５は、画像ストリーム内で先行フレームがフレーム１１２にどれだけ近いか又は近接しているかに従って重み付けされる。第７～第９の増強パラメータが第１０のフレームの増強に使用される場合、第７、第８、及び第９のフレームのそれぞれからの増強パラメータは、第１０のフレームを増強するために使用される場合、異なる重み付けが行われてもよい。例えば、第７のフレームは０．１で重み付けされ、第８のフレームは０．５で重み付けされ、第９のフレームは１．０で重み付けされてもよい。例えば、画像ストリーム内の（フレーム１１２と比較して）より古いフレームは、画像ストリーム内の新しいフレームよりも小さい重みを有することができる。特定の実施形態では、増強パラメータ２１５は、予測された傾向に応じて、第７から第９フレームにわたって増加又は減少し得る。いくつかの実施形態では、すべての先行フレームの重みが合計１になるか、又はすべての先行フレームが同じ重み付けされる。いくつかの実施形態では、ブロック２０５の処理は、等しい重みを有する１つ又は複数の先行フレームのそれぞれに対して行われ、これに基づいて、フレーム１１２に対して増強されたフレーム２５０が生成される。
【0056】
ブロック２０５の処理の一部として、コントローラ１０４は先行フレーム２１２にアクセスする。いくつかの実施形態では、先行フレーム２１２にアクセスすることは、コントローラ１０４が先行フレーム２１２を要求し、メモリ１０６から受信することを含む。いくつかの実施形態では、先行フレーム２１２は、コントローラ１０４に関連付けられたキャッシュなどのキャッシュに記憶され、これにより、先行フレーム２１２及び対応する増強パラメータへの、メモリ１０６よりも迅速なアクセスが可能になり得る。
【0057】
図２Ｃは、図２Ｂの処理アルゴリズムを図２Ａの並列処理と組み合わせた例示的なデータフロー図２６０であり、これにより、先行フレーム２１２を分析して、現在のフレーム１１２を増強するための増強パラメータを生成できるようになる。データフロー図２６０は、図２Ａのデータフロー２００と図２Ｂのデータフロー図２５５とに示される態様と同様の多くの態様を含む。データフロー２６０、２００、及び２５５の間の対応する態様は、対応する機能及び動作などを有することができる。したがって、データフロー２００又はデータフロー２５５の態様に対応するデータフロー２６０の１つ又は複数の態様については、簡潔にするために、対応する説明は繰り返さない。
【0058】
データフロー２６０は、撮像デバイス１０２によって生成されたフレーム１１２から始まる。フレーム１１２は、患者の眼１１０の撮像デバイス１０２によって生成された画像ストリームの非先頭フレームを表すことができる。
【0059】
データフロー２５５は、コントローラ１０４による、フレーム１１２に先行する画像ストリーム内の先行フレーム２１２の処理に対応するブロック２０５を含む。
【0060】
ブロック２０５の処理の一部として、コントローラ１０４は、図２Ａに関して上述したように、先行フレーム２１２にアクセスし、アクセスされた先行フレーム２１２をブロック化されたフレーム２１４のいくつかのブロックに分割する。
【0061】
次に、コントローラ１０４は、ブロックを処理して、各ブロックの平均ピクセルグレースケール及び各ブロックのピクセルグレースケールの標準偏差など、先行フレームの一次統計量を計算する。次に、コントローラ１０４は、個々のブロック及び隣り合うブロックの平均ピクセルグレースケール及びピクセルグレースケールの標準偏差を補間して、先行フレーム２１２全体についての対応する補間値を生成する。これらの補間された平均グレースケール値及び補間された標準偏差値は、先行フレーム２１２の増強パラメータに対応し得る。
【0062】
いくつかの実施形態では、ブロック化されたフレーム２１４のブロックの処理は、ブロック化されたフレーム２１４の１つ又は複数のブロック内のピクセルのサブセットからトーンマッピングパラメータを計算することを含む。いくつかの実施形態では、ブロックの処理は、ブロック化されたフレーム２１４の１つ又は複数の態様の処理に基づいて識別され得る、ブロック化されたフレーム２１４の各ブロックの１つ又は複数の他のパラメータを識別することを含む。
【0063】
いくつかの実施形態では、ユーザインタフェース１０８上に表示するために画像ストリームを増強するとき、画像ストリームの各フレーム１１２が処理されて、後続フレームの増強パラメータ又はトーンマッピングパラメータが生成される。フレームが処理されると、そのフレームの増強パラメータをメモリ１０６又は同様のデータストアに記憶することができる。いくつかの実施形態では、対応するフレームを記憶又は保存する代わりに、フレームの増強パラメータを記憶することができ、これにより、システムリソース、処理時間などを節約することができる。したがって、フレーム１１２が画像ストリームの１つ又は複数の先行フレームに基づいて増強される場合、コントローラ１０４は、１つ又は複数の先行フレーム２１２の代わりに、又はそれに加えて、１つ又は複数の先行フレーム２１２に対応する増強パラメータをメモリ１０６又は同様のデータストアから取得することができる。
【0064】
いくつかの実施形態では、画像ストリーム内の先行フレーム２１２のトーンマッピングパラメータを識別するためのブロック２０５の処理は、撮像デバイス１０２による現在のフレーム１１２の生成と並行して実行され得る。したがって、フレーム１１２が処理のためにコントローラ１０４によって受信されるとき、コントローラ１０４は、対応する増強パラメータを識別するために先行フレーム２１２を処理している。現在のフレーム１１２の生成と並行して先行フレーム２１２の処理を実行することにより、画像処理システム１００は、医師に迅速且つタイムリーに表示するために画像ストリーム内のフレームをリアルタイムで増強することができる。コントローラ１０４は、フレーム１１２の処理に時間を費やす必要はなく、先行フレーム２１２からの増強パラメータに基づいてトーンマッピング又は同様の関数をフレーム１１２に適用するだけである。
【0065】
いくつかの実施形態では、先行フレーム２１２の処理は、ダウンサンプリングを実行することを含む。ダウンサンプリングは、先行フレーム２１２を処理して、先行フレーム２１２に関連付けられたデータのサイズ又は量を削減することに対応し得る。画像ストリームのフレームは一般に空間的に滑らかである（画像ストリームの一部ではないフレームと比較して、含まれる鋭いエッジがはるかに少ないことを意味する）。したがって、ブロックについての一次統計量を計算するために、画像ストリームのフレームのブロック内のすべてのピクセルを使用する必要はない場合がある。したがって、ピクセルのサブセットは、より少ない計算で実行できる一次統計量の計算に十分である可能性がある。したがって、ダウンサンプリングにより、先行フレームの処理速度と現在のフレームの増強が向上し得る。
【0066】
図３は、本明細書に記載される例示的な実施形態に従って、画像ストリームのフレームを取得して処理し、それに基づいて増強されたフレームを生成するために、図１のシステム１００のコンポーネント間で交換される通信、又はコンポーネントによって実行される処理を示すシーケンス図３００である。シーケンス図３００及び対応する説明には、図１のシステム１００のコンポーネントへの参照が含まれているが、シーケンス図３００のステップは、その例示的な実施形態に限定されず、コンポーネントの他の様々な組み合わせに適用することができる。更に、シーケンス図３００は、図示されたステップの各々又はそれだけを実行しなくてはならないわけではなく、示されているステップを何れかの特定の順序で実行することに限定されない。
【0067】
シーケンス図３００は、撮像デバイス１０２、コントローラ１０４、メモリ１０６、及びユーザインタフェース１０８の間の対話を示す。シーケンス図３００は、撮像デバイス１０２が患者の眼１１０の、図１のフレーム１１２などのフレームをキャプチャする通信ステップ３０２で始まる。上で紹介したように、キャプチャされたフレームは画像ストリームの非先頭フレームであってもよい。
【0068】
通信３０４において、撮像デバイス１０２は、処理及び増強のために、キャプチャされたフレーム１１２をコントローラ１０４に提供する。
【0069】
いくつかの実施形態では、撮像デバイス１０２の１つ又は複数がフレーム１１２をキャプチャするか、又はキャプチャされたフレームをコントローラ１０４に提供するのと同時に、コントローラ１０４は、図２Ａの先行フレーム２１２などの先行フレームを処理して、先行フレームの対応する増強パラメータを計算することができる。特定の実施形態では、シーケンス図３００には示されていないが、対応する増強パラメータを計算することは、上述したように、先行フレームの増強パラメータを計算する前に、メモリ１０６から先行フレームを要求し受信することを含む。先行フレームに対するこの要求の一部として、又はその代わりに、コントローラ１０４は、メモリ１０６から先行フレームに対する増強パラメータを要求することができる。
【0070】
いくつかの実施形態では、コントローラ１０４は、処理３０６において、２つ以上の先行フレームに対する増強パラメータを要求又は計算する。いくつかの実施形態では、先行フレーム又は対応する増強パラメータに対する要求を送信し、要求されたフレーム又はパラメータを受信する代わりに、コントローラ１０４は、キャッシュメモリから要求された先行フレーム又は対応する増強パラメータにアクセスすることができる。
【0071】
処理３０８において、コントローラ１０４は、取得された先行フレーム又は対応する増強パラメータと、撮像デバイス１０２から受信され、コントローラ１０４が増強されたフレーム（例えば増強されたフレーム２５０）を生成しているフレームとに基づいて、トーンマッピング又は同様の関数を生成することができる。
【0072】
処理３１０において、コントローラ１０４は、生成されたトーンマッピング関数を撮像デバイス１０２から受信したフレームのピクセルに適用して、増強されたフレームを生成することができる。
【0073】
通信３１２において、コントローラ１０４は、増強されたフレームを医師に表示するためにユーザインタフェース１０８に提供する。
【0074】
通信３１４において、コントローラ１０４は、増強されたフレーム又は、増強されたフレームに対応する増強パラメータをメモリ１０６又は対応するキャッシュメモリに記憶する。
【0075】
通信３１６及び３１８では、上記の通信３０２及び３０４と同様に、撮像デバイス１０２は患者の眼１１０の次のフレームを生成又はキャプチャし、その次のフレームをコントローラ１０４に提供する。処理３２０で、コントローラ１０４は、通信３１６からの次のフレームの増強に使用される、通信３０２でキャプチャされたフレームのフレーム増強パラメータの計算を開始する。処理３２０は処理３０６に対応し得る。
【0076】
通信及び処理ステップ３０２～３１４は、患者の眼の画像ストリームの個々のフレームに対して繰り返すことができる。
【0077】
図４は、本明細書に記載される例示的な実施形態による、先行フレーム及びそのフレームからの増強パラメータに基づいて増強されたフレームが生成される例示的な関数として本明細書で説明されるトーンマッピング関数（例えば、図２Ａ～図２Ｃのトーンマッピング関数２３０）に関する詳細を提供する。いくつかの実施形態では、増強されたフレーム（例えば、フレーム１１２）は、カラー（ＲＧＢ又は同様の）フレームとしてキャプチャされ、輝度部分（例えば、ｓＲＧＢからのグレースケール、又は強度）とカラー部分（例えば、ＲＧＢ比率など）とに分離される。輝度部分は、例えば、トーンマッピング関数２３０を使用して増強されるフレーム１１２の部分であり、これにより、増強されたフレーム２５０内のコントラストを改善することができる。
【0078】
グラフ４１０は、図１のユーザインタフェース１０８などの表示デバイスへの出力フレーム特徴として（ｙ軸に沿って）出力される、（ｘ軸に沿った）フレームのブロックの強度に対応する入力フレーム特徴の、入力フレーム特徴と出力フレーム特徴との間に示される均一な線形関係４１２を有するグラフィック表現を示す。ただし、この均一な線形関係は、画像ストリームで生成された実際のフレームのブロック内のピクセル強度を表すものではない。フレーム特徴は、撮像デバイス（例えば、図１の撮像デバイス１０２）によって生成されたフレームに対応することができる。
【0079】
グラフ４２０は、入力及び出力フレーム特徴のグラフィック表現を示しており、ブロックは入力特徴全体にわたって均一なピクセル強度を有していない。したがって、入力特徴と出力特徴の間の関係４２２は、関数の値の異なる範囲に対して変化する（例えば、異なる傾きを有する）。関係４２２は、先行フレーム２１２の一次統計量を利用してピクセルの大部分（すなわち、平均ピクセルグレースケールの＋／－２の標準偏差の範囲内に入る強度を有するピクセル）を強調する３セグメント関数（トーンマッピング関数２３０に対応する）を表す。計算された平均ピクセルグレースケールとピクセルグレースケールの標準偏差の一次統計量は、ブロック（又は対応するフレーム部分）内のピクセルの大部分が、平均ピクセルグレースケールから＋／－２の標準偏差の範囲内に含まれていることを示す。したがって、現在のフレームをより鮮明にするために、平均ピクセルグレースケールの＋／－２の標準偏差内にあるピクセルが増強されて、出力でより多くのダイナミックレンジを占めるようになる。具体的には、関係４２２の３つのセグメントは、上述した平均及び標準偏差のピクセルグレースケール値によって確立することができる。更に、３セグメント関数は、関係４２２におけるセグメント１～３の傾きを限定する２つの境界線を含み、境界線は、コントラスト限界に対応するコントラスト最大値（Ｃｍａｘ）及びコントラスト最小値（Ｃｍｉｎ）の勾配を有する。
【0080】
図示されるように、入力フレーム特徴と出力フレーム特徴との間の関係４２２は、異なる傾きを有する３つのセグメントを有する。本明細書に記載されるように、入力フレーム特徴の強度（又はグレースケール）の平均及び標準偏差を計算することによって、コントローラ１０４は、入力フレーム特徴の大部分が該当する強度の範囲を識別することができる。入力特徴を含むフレームをより鮮明にし、フレーム内のコントラストなどを改善するために、関係４２２において、セグメント２に対応して、大部分の範囲に含まれるピクセルがより多くのダイナミックレンジを占めるようになる（セグメント２はより多くのダイナミックレンジを占有する）。これは、セグメント１及び３の傾きと比較して、セグメント２の傾きが大きいことで反映されている。最大値及び最小値を有するコントラスト限界は、関係４２２の最大及び最小の傾きを限定することができる。コントラスト限界により、例えば、トーンマッピング関数又は他のフレーム増強アルゴリズムが限定される場合がある。
【0081】
セグメント１及び３は、セグメント２のゲインと引き換えにダイナミックレンジが犠牲になる領域を表す。セグメント２の最大傾きはＣｍａｘ傾きによって限定され、セグメント１及び３の最小傾きはＣｍｉｎ傾きによって限定される。したがって、セグメント１～３の傾きはＣｍａｘ及びＣｍｉｎの傾きを超えることはできず、そのため、セグメント２の傾きはＣｍａｘの傾きより急峻にすることはできず、セグメント１と３の傾きはＣｍｉｎの傾きよりも浅くすることはできない。ここで生成された増強パラメータ（増強パラメータ２１５など）は、Ｃｍａｘ及びＣｍｉｎ制限を満たすように減じられる。
【0082】
リアルタイムで画像をキャプチャ、増強及び表示する例示的な方法
図５は、本開示の実施形態による、外科手術中に使用する患者の眼の画像ストリームのフレームを生成し、増強し、表示するための方法５００を示す。例えば、方法５００は、撮像デバイス１０２、コントローラ１０４など、図１のシステム１００の１つ又は複数のコンポーネントによって実行され得る。
図５は、本開示の実施形態による、外科手術中に使用する患者の眼の画像ストリームのフレームを生成し、増強し、表示するための方法５００を示す。例えば、方法５００は、撮像デバイス１０２、コントローラ１０４など、図１のシステム１００の１つ又は複数のコンポーネントによって実行され得る。
【0083】
方法５００のブロック５０２は、患者の眼の中の静脈の分岐をキャプチャする第１のフレームと、眼の中の静脈の分岐をキャプチャする、画像ストリームの第１のフレームに続く第２のフレームとを含む画像ストリームを生成することを含む。いくつかの実施形態では、第１及び第２のフレームは、画像ストリーム内の連続したフレームであるが、第１及び第２のフレームはまた、画像ストリーム内の１つ又は複数の他のフレームによって分離されていてもよい。
【0084】
方法５００のブロック５０４は、第１のフレームの複数のブロックの各ブロックについての一次統計量を計算することを含み、第１のフレームの複数のブロックの各ブロックは複数の第１のフレームのピクセルを含む。いくつかの実施形態では、一次統計量は、上述の平均ピクセルグレースケール又は強度及びピクセルグレースケール又は強度の標準偏差に対応するが、一次統計量は他の増強パラメータに対応することもできる。いくつかの実施形態では、第１のフレームのブロックについての一次統計量を計算することは、第１のフレームをいくつかのブロックに分割し、ブロックを処理して増強パラメータ及び対応する一次統計量を生成することを含む。
【0085】
ブロック５０６は、第１のフレームの複数のブロックの各ブロックについての計算された一次統計量に基づいて、第１のフレームについての一次統計量を補間することを含む。第１のフレームについての一次統計量は、少なくとも部分的に静脈の分岐に基づくことができる。これは、コントローラ１０４が、第１のフレームを構成するブロックの増強パラメータに基づいて、第１のフレームの増強パラメータを生成することを含んでもよい。
【0086】
ブロック５０８は、第１のフレームについての補間された一次統計量に基づいて、第２のフレームのピクセルに対してトーンマッピング関数（トーンマッピング関数２３０など）又は同様の増強関数を生成することを含む。本明細書に記載されるトーンマッピング関数により、コントローラ１０４は、第１のフレームの増強パラメータを第２のフレームのピクセルに適用することができる。上で紹介したように、トーンマッピング関数により、コントローラ１０４は、上で紹介した一次統計量などの第１の色又は値のセットを異なる色又は値にマッピングすることができる。したがって、平均ピクセルグレースケール及び標準偏差グレースケールの一次統計量が第１のフレームに関するものである場合、トーンマッピング関数は、それらのグレースケール値を第２のフレームの対応する値にマッピングすることを可能にし得る。
【0087】
ブロック５１０は、トーンマッピング関数及び第１のフレームの対応する増強パラメータに基づいて、第２のフレームの個々のピクセルのトーンマッピング値を計算することを含む。
【0088】
ブロック５１２は、第２のフレームの個々のピクセルについて計算されたトーンマッピング値を第２のフレームのピクセルに適用することに基づいて、増強されたフレームを生成することを含む。
【0089】
いくつかの実施形態では、方法５００は、第３の画像の複数のブロックの各ブロックについての一次統計量を計算することを更に含み、第３のフレームの複数のブロックの各ブロックは、複数の第３のフレームのピクセルを含む。いくつかの実施形態では、方法５００はまた、第３のフレームの複数のブロックの各ブロックについての計算された一次統計量に基づいて、第３のフレームについての一次統計量を補間することを含む。方法５００はまた、第１のフレームについての補間された一次統計量への第１の重みの適用に基づいて、第１のフレームについての第１の重み付け統計量を生成し、第３のフレームについての補間された一次統計量への第２の重みの適用に基づいて、第３のフレームについての第２の重み付け統計量を生成し、第２の重みは第１の重みより小さい。特定の実施形態では、第１のフレームについての補間された一次統計量に基づいて第２のフレームのピクセルについてのトーンマッピング関数を生成することは、画像プロセッサが第１の重み付け統計量及び第２の重み付け統計量に基づいて第２のフレームのピクセルのトーンマッピング関数を生成するように構成されることを含む。
【0090】
いくつかの実施形態では、方法５００は、第１のフレーム内の第１の位置での静的オブジェクトの検出と、第３のフレーム内の対応する位置での静的オブジェクトの検出とに基づいて、静的オブジェクトを識別することを含む。いくつかの実施形態では、方法は、第１のフレーム及び第３のフレームのうちの一方のみにおける非静的オブジェクトの検出に基づいて、又は、第１のフレーム内の第１の位置及び第３のフレーム内の第１の位置とは異なる第２の位置での非静的オブジェクトの検出に基づいて、非静的オブジェクトを識別することを更に含む。いくつかの実施形態では、第１のフレームについての一次統計量は、第１のフレームの複数のブロックの各ブロックの平均ピクセル強度と、第１のフレームの複数のブロックの各ブロックの強度標準偏差とを含む。
【0091】
いくつかの実施形態では、方法５００は、第１のフレームを複数のブロックに分割することも含む。いくつかの実施形態では、複数のブロックの各ブロックは同じサイズ及び形状を有し、複数のブロックの他のブロックに対して第１のフレームを通して等間隔に配置される。いくつかの実施形態では、方法は、オブジェクトの関連する態様が欠けている空間を含む第１のフレームの部分を識別することと、複数のブロックのうちの任意のブロックが白（又は黒又は空）の空間を含む部分に配置されるのを防ぐこととを更に含む。方法５００では、一次統計量は第１のフレームの輝度チャネルに対応することができ、トーンマッピング関数及びトーンマッピング値は第２のフレームの輝度チャネルに適用される。
【0092】
いくつかの実施形態では、一次統計量は、第１のフレームの緑色ピクセルから得られるグレースケールチャネルに対応し、トーンマッピング関数及びトーンマッピング値は、第２のフレームの緑色ピクセルからのグレースケールチャネルに適用される。いくつかの実施形態では、画像キャプチャコンポーネントは高ダイナミックレンジ（ＨＤＲ）カメラを含む。いくつかの実施形態では、撮像デバイスは眼科用撮像機器を含み、オブジェクトは患者の眼又はその一部を含む。いくつかの実施形態では、トーンマッピング関数は、第１のフレームに基づいて決定されるコントラスト限界に基づいて制限され、コントラスト限界は、最大コントラスト値及び最小コントラスト値を含む。
【0093】
方法５００は、ブロックに隣接する各隣接ブロックの平均ピクセル強度と、そのブロックに隣接する各隣接ブロックについての強度標準偏差とに基づいて、第１のフレームの複数のブロックの各ブロックについての一次統計量を計算することを更に含むことができる。いくつかの実施形態では、複数のブロックの各非エッジブロックは４つの隣接するブロックを含み、複数のブロックの各エッジブロックは、４つの隣接する隣り合うブロックを作成するためにフレームのエッジに沿って少なくとも１つの重複ブロックを含み、平均ピクセル強度と少なくとも１つの複製ブロックの各複製ブロックの強度及び強度標準偏差とが、複製ブロックとは反対側のエッジブロックのエッジに沿って隣接するブロックから複製される。
【0094】
例示的な処理システム
図６は、本明細書に記載される特定の態様を実行又は具体化する撮像デバイス１０２、コントローラ１０４などのうちの１つ又は複数を表すことができる、コンピューティングシステム６００の一実施形態の図である。具体的には、コンピューティングシステム６００は、システム１００、データフロー２００、２５５、及び２６０、シーケンス図３００、並びに方法５００のうちの１つ又は複数に関して示される処理又は方法を実行するように構成され得る。
図６は、本明細書に記載される特定の態様を実行又は具体化する撮像デバイス１０２、コントローラ１０４などのうちの１つ又は複数を表すことができる、コンピューティングシステム６００の一実施形態の図である。具体的には、コンピューティングシステム６００は、システム１００、データフロー２００、２５５、及び２６０、シーケンス図３００、並びに方法５００のうちの１つ又は複数に関して示される処理又は方法を実行するように構成され得る。
【0095】
図６は、システム６００のコンポーネントが、例えばシステムバス６０５を介して互いに電子通信している、コンピューティングシステム６００を示している。バス６０５は、プロセッサ６１０を、読取り専用メモリ（ＲＯＭ）６２０、ランダムアクセスメモリ（ＲＡＭ）６２５など（例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、及び／又は任意の他のメモリチップ又はカートリッジ）などの様々なメモリコンポーネントに結合する。システム６００は、プロセッサ６１０に接続された、近接した、又は統合された高速メモリのキャッシュ６１２を更に含み得る。いくつかの実施形態では、システム６００は、プロセッサ６１０による高速アクセスのために、キャッシュ６１２を介してＲＯＭ６２０、ＲＡＭ６２５、及び／又は１つ若しくは複数の記憶デバイス６３０に記憶されたデータにアクセスし得る。後続フレームを増強するために使用される画像ストリーム内の先行フレーム（又は対応する増強パラメータ）は、キャッシュ６１２に記憶され得る。
【0096】
いくつかの実施形態では、１つ又は複数の記憶デバイス６３０は、ソフトウェアモジュール６３１、６３２、６３３、６３４、及び６３５などのソフトウェアモジュールを記憶する。プロセッサによって実行されると、ソフトウェアモジュール６３１、６３２、６３３、６３４、及び６３５は、プロセッサ６１０に、本明細書に記載されるプロセスなどの様々な動作又は方法を実行させる。いくつかの実施形態では、ソフトウェアモジュール６３１、６３２、６３３、６３４、又は６３５のうちの１つ又は複数は、本明細書に記載されるＭＬモデル又は他のアルゴリズムを含む。
【0097】
ソフトウェアモジュール６３１は、フレーム１１２などの、現在のフレーム又は受信されたフレームに関して先行フレームを識別するようにプロセッサ６１０をプログラムする命令（例えば、コンピュータ可読コードの形式）を含む。ソフトウェアモジュール６３２は、増強パラメータを生成するために処理されている先行フレーム内の関連ブロックを識別するようにプロセッサ６１０をプログラムする命令を含み、関連ブロックは、例えば医師にとって関心のある対象の部分を含む。ソフトウェアモジュール６３３は、上述したように、先行フレームの増強パラメータを推定するようにプロセッサ６１０をプログラムする命令を含む。いくつかの実施形態では、ソフトウェアモジュール６３３は、キャッシュ６１２又は別のメモリなどのメモリから増強パラメータを取得するようにプロセッサ６１０をプログラムする命令を含む。
【0098】
ソフトウェアモジュール６３４は、上述のトーンマッピングアルゴリズムなどの増強アルゴリズムを生成するようにプロセッサ６１０をプログラムする命令を含む。ソフトウェアモジュール６３５は、撮像デバイスから受信した現在のフレームへのトーンマッピングアルゴリズムの適用に基づいて、最初に受信したフレームの増強されたフレームを生成するようにプロセッサ６１０をプログラムする命令を含む。
【0099】
システム６００は１つのプロセッサ６１０のみによって示されているが、プロセッサ６１０は、１つ又は複数の中央処理装置（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理装置（ＧＰＵ）、及びテンソル処理装置（ＴＰＵ）などを表し得る。いくつかの例では、システム６００は、スタンドアロンサブシステムとして、コンピューティングデバイスに追加されたボードとして、仮想マシンとして、又はクラウドベースの処理マシンとして実装されてもよい。
【0100】
システム６００とのユーザ対話又はシステム間の通信を可能にするために、システム６００は、通信インタフェース６４０及び入力／出力（Ｉ／Ｏ）デバイス６４５を含む。いくつかの例では、通信インタフェース６４０は、１つ又は複数のネットワーク又は通信バス規格に従って通信を提供するために、１つ又は複数のネットワークインタフェース、ネットワークインタフェースカードなどを含む。いくつかの例では、通信インタフェース６４０は、ネットワークを介してシステム６００と通信するためのインタフェースを含む。いくつかの例では、Ｉ／Ｏデバイス６４５には、１つ又は複数のユーザインタフェースデバイス（例えば、グラフィカルユーザインタフェース（例えば、ユーザインタフェース１２８）、キーボード、ポインティング／選択デバイス（例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーンなど）、オーディオデバイス（例えば、マイクロフォン及び／又はスピーカ）、センサ、アクチュエータ、ディスプレイデバイスなど）を含んでいてもよい。
【0101】
１つ又は複数の記憶デバイス６３０のそれぞれは、ハードディスク、光学媒体、ソリッドステートドライブなどによって提供されるもののような、非一時的及び不揮発性記憶デバイスを含んでいてもよい。いくつかの例では、１つ又は複数の記憶デバイス６３０の各々は、システム６００と同じ場所に配置されている（例えば、ローカル記憶デバイス）か、又はシステム６００から離れている（例えば、クラウドストレージデバイス）。
【0102】
追加的考慮事項
前述の説明は、当業者が本明細書に記載される様々な実施形態を実践することができるように提供されている。本明細書において記載される例は、特許請求の範囲に記載の範囲、適用性、又は実施形態を限定するものではない。これらの実施形態に対する様々な修正形態は、当業者に容易に明らかであり、本明細書で定義する一般的な原理は、他の実施形態に適用され得る。例えば、本開示の範囲から逸脱することなく、議論された要素の機能及び配置に変更を加えられ得る。様々な例では、必要に応じて、様々な手順又はコンポーネントを省略、置換、又は追加してもよい。例えば、記載された方法は、記載された順序とは異なる順序で実行されてもよく、様々なステップが追加、省略、又は組み合わされてもよい。加えて、幾つかの例に関して説明した特徴は、他の幾つかの例において組み合わせてもよい。例えば、本明細書で示される幾つの態様を用いて装置を実装しても、又は方法を実施してもよい。更に、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えて、又はそれ以外の他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法を網羅することを意図している。本明細書で開示される本開示の何れの態様も、特許請求項の１つ又は複数の要素により具現化され得ると理解すべきである。
前述の説明は、当業者が本明細書に記載される様々な実施形態を実践することができるように提供されている。本明細書において記載される例は、特許請求の範囲に記載の範囲、適用性、又は実施形態を限定するものではない。これらの実施形態に対する様々な修正形態は、当業者に容易に明らかであり、本明細書で定義する一般的な原理は、他の実施形態に適用され得る。例えば、本開示の範囲から逸脱することなく、議論された要素の機能及び配置に変更を加えられ得る。様々な例では、必要に応じて、様々な手順又はコンポーネントを省略、置換、又は追加してもよい。例えば、記載された方法は、記載された順序とは異なる順序で実行されてもよく、様々なステップが追加、省略、又は組み合わされてもよい。加えて、幾つかの例に関して説明した特徴は、他の幾つかの例において組み合わせてもよい。例えば、本明細書で示される幾つの態様を用いて装置を実装しても、又は方法を実施してもよい。更に、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えて、又はそれ以外の他の構造、機能、又は構造及び機能を使用して実施されるそのような装置又は方法を網羅することを意図している。本明細書で開示される本開示の何れの態様も、特許請求項の１つ又は複数の要素により具現化され得ると理解すべきである。
【0103】
本明細書において使用される場合、「例示の」という語は、「例、事例、実例として機能すること」を意味する。本明細書で「例示的」として記載される任意の態様は、必ずしも他の態様よりも好ましい又は有利であると解釈されるべきではない。
【0104】
本明細書において使用される場合、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、又はｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、及びａ－ｂ－ｃ、並びに複数の同じ要素の任意の組合せ（例えば、ａ－ａ、ａ－ａ－ａ、ａ－ａ－ｂ、ａ－ａ－ｃ、ａ－ｂ－ｂ、ａ－ｃ－ｃ、ｂ－ｂ、ｂ－ｂ－ｂ、ｂ－ｂ－ｃ、ｃ－ｃ、並びにｃ－ｃ－ｃ又はａ、ｂ、及びｃの他の任意の順序）を網羅することが意図される。
【0105】
本明細書において使用される場合、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な作用を包含する。例えば、「決定する」は、算出する、計算する、処理する、導出する、調査する、検索する（例えば、テーブル、データベース、又は別のデータ構造で検索する）、確認するなどを含み得る。加えて、「特定する」は、受け取る（例えば、情報を受け取る）、アクセスする（例えば、メモリ内のデータにアクセスする）などを含み得る。また、「決定する」は、解明する、選択する、選ぶ、確立するなどを含み得る。
【0106】
本明細書に開示される方法は、方法を達成するための１つ又は複数のステップ又は作用を含む。方法ステップ及び／又は作用は、特許請求の範囲から逸脱することなく、相互交換可能であり得る。換言すれば、ステップ又は作用の具体的な順序の指定がない限り、具体的なステップ及び／又は作用の順序及び／又は使用は、特許請求の範囲から逸脱することなく変更され得る。更に、上記の方法の様々な動作は、対応する機能を実行することができる任意の適切な手段によって実行されてもよい。これらの手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、又はプロセッサを含むがこれらに限定されない、様々なハードウェア及び／又はソフトウェアコンポーネント及び／又はモジュールを含み得る。一般に、図に示されている操作がある場合、それらの操作には、同様の番号が付けられた対応する同等の手段と機能のコンポーネントが含まれ得る。
【0107】
以下の特許請求の範囲は、本明細書に示す実施形態に限定されることが意図されるものではなく、特許請求の範囲の文言に一致する全範囲が認められるべきである。特許請求の範囲において、単数形での要素への言及は、具体的にそのような定めがない限り、「１つ及び１つのみ（ｏｎｅ ａｎｄ ｏｎｌｙ ｏｎｅ）」を意味することを意図するものではなく、むしろ「１つ又は複数（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味するものである。具体的に別段の定めがない限り、「いくつかの（ｓｏｍｅ）」という用語は、１つ又は複数を指す。特許請求の範囲のいかなる要素も、要素が「するための手段（ｍｅａｎｓ ｆｏｒ）」という語句を使用して明示的に列挙されない限り、米国特許法第１１２条（ｆ）の規定に基づいて解釈されるべきではなく、又は方法請求項の場合には、要素は「ためのステップ（ｓｔｅｐ ｆｏｒ）」という語句を使用して列挙される。当業者に知られている又は後に知られることになる、本開示全体を通って記載された様々な態様の要素に対するすべての構造的及び機能的均等物は、本明細書に参照により明示的に組み込まれ、特許請求の範囲に包含されることが意図される。その上、本明細書に開示したものは何れも、そのような開示が特許請求の範囲に明示的に列挙されているか否かにかかわらず公衆に献呈されることが意図されるものではない。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】