特表 2024-502815 医療用撮像におけるアーティファクトを軽減するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-23

(54)【発明の名称】医療用撮像におけるアーティファクトを軽減するためのシステム及び方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240116BHJP

【ＦＩ】

A61B1/045 630

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023540135

(86)(22)【出願日】2021-12-22

(85)【翻訳文提出日】2023-08-29

(86)【国際出願番号】 US2021073092

(87)【国際公開番号】W WO2022147416

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】63/132,444

(32)【優先日】2020-12-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】595148888

【氏名又は名称】ストライカー コーポレイション

【氏名又は名称原語表記】Ｓｔｒｙｋｅｒ Ｃｏｒｐｏｒａｔｉｏｎ

【住所又は居所原語表記】２８２５ Ａｉｒｖｉｅｗ Ｂｏｕｌｅｖａｒｄ Ｋａｌａｍａｚｏｏ ＭＩ ４９００２ （ＵＳ）

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】ファインゴールド， ベンジャミン ハイマン

(72)【発明者】

【氏名】アンドレ， マーク

(72)【発明者】

【氏名】トラン， リービー トラック

(72)【発明者】

【氏名】スブラマニアン， ロヒット

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161NN01

4C161PP12

4C161RR03

4C161RR26

4C161SS03

4C161SS05

(57)【要約】

ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像する例示的な方法は、前記ローリングシャッタ撮像装置の複数の画素行を、最初の行から最後の行まで順次リセットすることと、液晶シャッタを閉状態から開状態に遷移させることと、前記液晶シャッタが前記開状態に遷移された後であって前記最後の行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明することと、前記照明期間の終了後、前記画素行において前記蓄積された電荷を前記最初の行から前記最後の行まで順次読み取ることと、前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、前記画像フレームを前記ビデオストリームに追加することと、を含む。

【特許請求の範囲】

【請求項1】

ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像する方法であって、前記方法は、
前記ローリングシャッタ撮像装置のラインごとのオフセット期間よりも短い期間内に、前記ローリングシャッタ撮像装置の複数の画素行をリセットすることと、
前記複数の画素行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明することと、
前記複数の画素行において前記蓄積された電荷を、最初の行から最後の行まで順次読み取ることと、
前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、
前記画像フレームを前記ビデオストリームに追加することと、を含む、方法。

【請求項2】

請求項１に記載の方法であって、前記ローリングシャッタ撮像装置の前記複数の画素行をリセットすることは、前記ローリングシャッタ撮像装置の同期フレームリセット機能をトリガすること、を含む、方法。

【請求項3】

請求項２に記載の方法であって、
前記同期フレームリセット機能は、トリガ後に前記複数の画素行が露光される時間の最小量を示す構成可能な定数パラメータを含み、
前記照明期間は、前記定数パラメータよりも短く構成される、方法。

【請求項4】

請求項３に記載の方法であって、前記定数パラメータは、異なる画像フレームに対して動的に調整可能である、方法。

【請求項5】

請求項１乃至４のいずれかに記載の方法であって、
前記画像フレームが１以上の基準を満たすか否かを判断することと、
前記画像フレームが前記１以上の基準を満たさないとの判断に従って、前記画像フレームを前記ビデオストリームに追加することと、
前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記画像フレームを破棄することと、をさらに含む、方法。

【請求項6】

請求項５に記載の方法であって、前記画像フレームを破棄することは、
前記ビデオストリームから前記画像フレームを除外することと、
置換画像フレームを前記ビデオストリームに追加することと、を含む、方法。

【請求項7】

請求項５乃至６のいずれかに記載の方法であって、
前記画像フレームが前記１以上の基準を満たさないとの判断に従って、自動ゲイン制御（ＡＧＣ）アルゴリズムの第１の構成を用いて前記画像フレームを処理することと、
前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記ＡＧＣアルゴリズムの第２の構成を用いて前記画像フレームを処理するか、前記ＡＧＣアルゴリズムを用いて前記画像フレームを前述の処理をすることと、をさらに含む、方法。

【請求項8】

請求項５乃至７のいずれかに記載の方法であって、前記画像フレームが１以上の基準を満たすか否かを判断することは、前記画像フレーム内の１以上のアーティファクトを特定すること、を含む、方法。

【請求項9】

請求項８に記載の方法であって、前記１以上のアーティファクトは、リアルタイムに特定される、方法。

【請求項10】

請求項８乃至９のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレーム内のラインを特定すること、を含む、方法。

【請求項11】

請求項１０に記載の方法であって、前記画像フレームにソーベルフィルタを適用すること、をさらに含む、方法。

【請求項12】

請求項８乃至１１のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、１以上の前の画像フレームの平均値から前記画像フレームの平均値への増加率を計算すること、を含む、方法。

【請求項13】

請求項１２に記載の方法であって、前記増加率は、前記画像フレーム内の関心領域に関して計算される、方法。

【請求項14】

請求項８乃至１３のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、前の画像フレーム内の飽和画素の数から前記画像フレーム内の飽和画素の数への増加を計算すること、を含む、方法。

【請求項15】

請求項１４に記載の方法であって、前記増加は、前記画像フレーム内の関心領域に関して計算される、方法。

【請求項16】

請求項８乃至１５のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む、方法。

【請求項17】

請求項８乃至１６のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像フレームを処理すること、を含む、方法。

【請求項18】

請求項１７に記載の方法であって、前記訓練された機械学習アルゴリズムはニューラルネットワークである、方法。

【請求項19】

請求項８乃至１８のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り領域内における光量の増加量を検出すること、を含む、方法。

【請求項20】

請求項１乃至１９のいずれかに記載の方法であって、
前記画像フレームを予め定義されたサイズのバッファに配置することと、
前記バッファに配置されたすべてのフレームを比較することと、
前記比較に基づいて、前記ビデオストリームから前記バッファ内の１以上のフレームを除外することと、をさらに含む、方法。

【請求項21】

請求項２０に記載の方法であって、前記予め定義されたサイズは、３つの画像フレームである、方法。

【請求項22】

請求項２０乃至２１のいずれかに記載の方法であって、前記バッファに配置されたすべてのフレームを比較することは、
前記バッファに配置されたフレームの各々にスコアを割り当てることと、
前記バッファに配置されたすべてのフレームの前記スコアを比較することと、を含む、方法。

【請求項23】

請求項１乃至２２のいずれかに記載の方法であって、
前記方法の１以上のパラメータを自動的に調整すること、をさらに含む、方法。

【請求項24】

請求項２３に記載の方法であって、前記１以上のパラメータは、
前記画像フレーム内のアーティファクトを特定するための１つ以上の閾値、
画像バッファのサイズ、
前記画像バッファからドロップ可能な画像フレームの最大数、
前記画像バッファからドロップ可能な連続する画像フレームの最大数、または
それらの任意の組合せ、を含む、方法。

【請求項25】

請求項２３乃至２４のいずれかに記載の方法であって、
光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記１以上のパラメータを自動的に調整すること、をさらに含む、方法。

【請求項26】

請求項２５に記載の方法であって、前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから信号を受信すること、を含む、方法。

【請求項27】

請求項２６に記載の方法であって、前記外科用エネルギデバイスはレーザユニットである、方法。

【請求項28】

請求項２６に記載の方法であって、前記外科用エネルギデバイスはＲＦプローブである、方法。

【請求項29】

請求項２５乃至２８のいずれかに記載の方法であって、前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスの電力消費の増加の検出すること、を含む、方法。

【請求項30】

請求項２５乃至２９のいずれかに記載の方法であって、前記光イベントを検出することは、前記ローリングシャッタ撮像装置に取り付けられた光検出器から信号を受信すること、を含む、方法。

【請求項31】

請求項２５乃至３０のいずれかに記載の方法であって、前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから音響信号を受信すること、を含む、方法。

【請求項32】

請求項２３乃至３１のいずれかに記載の方法であって、検出された前記撮像装置の動きに基づいて前記１以上のパラメータを自動的に調整すること、をさらに含む、方法。

【請求項33】

請求項１乃至３２のいずれかに記載の方法であって、前記撮像装置はシャッタ構成要素を有し、前記シャッタは前記照明期間の終了時に閉じるように構成される、方法。

【請求項34】

請求項３３に記載の方法であって、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む、方法。

【請求項35】

請求項１乃至３４のいずれかに記載の方法であって、前記照明光は少なくとも１つのＬＥＤによって生成される、方法。

【請求項36】

請求項１乃至３５のいずれかに記載の方法であって、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である、方法。

【請求項37】

ビデオストリームを提供するコンピュータ実装方法であって、
予め定義されたサイズのバッファ内に画像シーケンスを蓄積することであって、当該シーケンスの各画像は個別のスコアが関連付けられている、ことと、
前記バッファ内の前記画像シーケンスの前記スコアを比較することと、
前記比較に基づいて、前記画像シーケンスの画像を特定することと、
更新されたシーケンスを取得するために、前記画像シーケンスから前記特定された画像を除去することと、
前記ビデオストリームに前記更新された画像シーケンスを追加することと、を含む、方法。

【請求項38】

請求項３７に記載の方法であって、前記画像シーケンスは、ローリングシャッタ撮像装置によって取得される、方法。

【請求項39】

請求項３７乃至３８のいずれかに記載の方法であって、前記画像シーケンスは、複数の画素行を同時に読み取るように構成されたグローバルシャッタ撮像装置によって取得される、方法。

【請求項40】

請求項３７乃至３９のいずれかに記載の方法であって、前記画像シーケンスは、内視鏡撮像装置によって取得される、方法。

【請求項41】

請求項３７乃至４０のいずれかに記載の方法であって、前記特定された画像を前記画像シーケンス内の置換画像で置換すること、をさらに含む、方法。

【請求項42】

請求項３７乃至４１のいずれかに記載の方法であって、前記画像シーケンス内の画像の各々について、
前記個別の画像内の１以上のアーティファクトを特定することと、
前記特定に基づいて、前記個別のスコアを前記画像に割り当てることと、をさらに含む、方法。

【請求項43】

請求項４２に記載の方法であって、前記画像中の１以上のアーティファクトを特定することは、前記画像内のラインを特定すること、を含む、方法。

【請求項44】

請求項４２乃至４３のいずれかに記載の方法であって、前記画像内の１以上のアーティファクトを特定することは、１以上の前の画像の平均値から前記画像の平均値への増加率を計算すること、を含む、方法。

【請求項45】

請求項４４に記載の方法であって、前記増加率は、前記画像フレーム内の関心領域に関して計算される、方法。

【請求項46】

請求項４２乃至４５のいずれかに記載の方法であって、前記画像内の１以上のアーティファクトを特定することは、前の画像内の飽和画素の数から前記画像内の飽和画素の数への増加を計算すること、を含む、方法。

【請求項47】

請求項４６に記載の方法であって、前記増加は、前記画像フレーム内の関心領域に関して計算される、方法。

【請求項48】

請求項４２乃至４７のいずれかに記載の方法であって、前記画像内の１以上のアーティファクトを特定することは、前記画像の赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む、方法。

【請求項49】

請求項４２乃至４８のいずれかに記載の方法であって、前記画像内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像を処理すること、を含む、方法。

【請求項50】

請求項４９に記載の方法であって、前記訓練された機械学習アルゴリズムはニューラルネットワークである、方法。

【請求項51】

請求項４２乃至５０のいずれかに記載の方法であって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り内における光量の増加量を検出すること、を含む、方法。

【請求項52】

請求項３７乃至５１のいずれかに記載の方法であって、
前記バッファの前記予め定義されたサイズを自動的に調整すること、をさらに含む、方法。

【請求項53】

請求項５２記載の方法であって、
光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記バッファの前記予め定義されたサイズを自動的に増加すること、をさらに含む、方法。

【請求項54】

内視鏡撮像装置を用いて画像を生成する方法であって、
フレーム期間に、
前記フレーム期間中に前記内視鏡撮像装置の画素アレイに電荷を蓄積することと、
予め定義された露光時間のｎ分の１以下だけシャッタ構成要素をｎ回停止して、光に前記シャッタを通過させることと、
前記ｎ回目の前記シャッタ構成要素の停止後、前記画素アレイに蓄積された電荷の読み取りから前記画像を生成することと、を含む、方法。

【請求項55】

請求項５４に記載の方法であって、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む、方法。

【請求項56】

請求項５４乃至５５のいずれかに記載の方法であって、前記内視鏡撮像装置はローリングシャッタ撮像装置である、方法。

【請求項57】

請求項５４乃至５６のいずれかに記載の方法であって、前記内視鏡撮像装置は、グローバルシャッタ撮像装置である、方法。

【請求項58】

請求項５４乃至５７のいずれかに記載の方法であって、前記シャッタの前記停止同士は、少なくとも前記予め定義された露光期間だけ離される、方法。

【請求項59】

請求項５４乃至５８のいずれかに記載の方法であって、前記ｎの値を自動的に調整すること、をさらに含む、方法。

【請求項60】

請求項５９に記載の方法であって、前記ｎの値は１以上である、方法。

【請求項61】

光イベントから内視鏡撮像装置を遮蔽する方法であって、
前記光イベントを検出することと、
前記光イベントの検出に応答して、シャッタを作動させて、前記光イベントから前記内視鏡撮像装置のセンサを遮蔽することと、を含む、方法。

【請求項62】

請求項６１に記載の方法であって、前記シャッタは、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む、方法。

【請求項63】

請求項６１乃至６２のいずれかに記載の方法であって、前記光イベントを検出することは、フォトダイオード検出器を介して前記光イベントを検出することを含む、方法。

【請求項64】

請求項６１乃至６３のいずれかに記載の方法であって、前記光イベントは赤外光を含む、方法。

【請求項65】

請求項６１乃至６４のいずれかに記載の方法であって、前記光イベントはレーザによって生成される、方法。

【請求項66】

請求項６５に記載の方法であって、前記レーザはホルミウムレーザである、方法。

【請求項67】

請求項６１乃至６５のいずれかに記載の方法であって、予め定義された期間の後に前記シャッタを自動的に停止すること、をさらに含む、方法。

【請求項68】

請求項６７に記載の方法であって、前記予め定義された期間は、約５００ｕｓ～１ｍｓである、方法。

【請求項69】

請求項６７または６８に記載の方法であって、前記予め定義された期間は動的に調整可能である、方法。

【請求項70】

請求項６１乃至６９のいずれかに記載の方法であって、前記光イベントの不存在の検出に応答して、前記シャッタ構成要素を自動的に停止すること、をさらに含む、方法。

【請求項71】

請求項６１乃至７０のいずれかに記載の方法であって、前記内視鏡撮像装置はローリングシャッタ撮像装置である、方法。

【請求項72】

請求項６１乃至７１のいずれかに記載の方法であって、前記内視鏡撮像装置は、グローバルシャッタ撮像装置である、方法。

【請求項73】

ビデオストリームを提供するために被検体の組織を撮像するシステムであって、前記システムは、
照明光源と、
電子ローリングシャッタ撮像装置を有する撮像装置と、を有し、前記撮像装置は、
前記ローリングシャッタ撮像装置のラインごとのオフセット期間よりも短い期間内に、 前記ローリングシャッタ撮像装置の複数の画素行をリセットし、
前記複数の画素行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明し、
前記複数の画素行において前記蓄積された電荷を、最初の行から最後の行まで順次読み出し、
前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、
前記画像フレームを前記ビデオストリームに追加する、よう構成される、システム。

【請求項74】

請求項７３に記載のシステムであって、前記ローリングシャッタ撮像装置の前記複数の画素行をリセットすることは、前記ローリングシャッタ撮像装置の同期フレームリセット機能をトリガすること、を含む、システム。

【請求項75】

請求項７４に記載のシステムであって、
前記同期フレームリセット機能は、トリガ後に前記複数の画素行が露光される時間の最小量を示す構成可能な定数パラメータを含み、
前記照明期間は、前記定数パラメータよりも短く構成される、システム。

【請求項76】

請求項７５に記載のシステムであって、前記定数パラメータは、異なる画像フレームに対して動的に調整可能である、システム。

【請求項77】

請求項７３乃至７６のいずれかに記載のシステムであって、前記撮像装置は、さらに
前記画像フレームが１以上の基準を満たすか否かを判断し、
前記画像フレームが前記１以上の基準を満たさないとの判断に従って、前記画像フレームを前記ビデオストリームに追加し、
前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記画像フレームを破棄する、よう構成される、システム。

【請求項78】

請求項７７に記載のシステムであって、前記画像フレームを破棄することは、
前記ビデオストリームから前記画像フレームを除外することと、
置換画像フレームを前記ビデオストリームに追加することと、を含む、システム。

【請求項79】

請求項７７乃至７８のいずれかに記載のシステムであって、前記撮像装置は、さらに
前記画像フレームが前記１以上の基準を満たさないとの判断に従って、自動ゲイン制御（ＡＧＣ）アルゴリズムの第１の構成を用いて前記画像フレームを処理し、
前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記ＡＧＣアルゴリズムの第２の構成を用いて前記画像フレームを処理するか、前記ＡＧＣアルゴリズムを用いて前記画像フレームを前述の処理をする、よう構成される、システム。

【請求項80】

請求項７７乃至７９のいずれかに記載のシステムであって、前記画像フレームが１以上の基準を満たすか否かを判断することは、前記画像フレーム内の１以上のアーティファクトを特定すること、を含む、システム。

【請求項81】

請求項８０に記載のシステムであって、前記１以上のアーティファクトは、リアルタイムに特定される、システム。

【請求項82】

請求項８０乃至８１のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレーム内のラインを特定すること、を含む、システム。

【請求項83】

請求項８２に記載のシステムであって、前記撮像装置はさらに、前記画像フレームにソーベルフィルタを適用する、よう構成される、システム。

【請求項84】

請求項８０乃至８３のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、１以上の前の画像フレームの平均値から前記画像フレームの平均値への増加率を計算すること、を含む、システム。

【請求項85】

請求項８４に記載のシステムであって、前記増加率は、前記画像フレーム内の関心領域に関して計算される、システム。

【請求項86】

請求項８０乃至８５のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、前の画像フレーム内の飽和画素の数から前記画像フレーム内の飽和画素の数への増加を計算すること、を含む、システム。

【請求項87】

請求項８６に記載のシステムであって、前記増加は、前記画像フレーム内の関心領域に関して計算される、システム。

【請求項88】

請求項８０乃至８７のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む、システム。

【請求項89】

請求項８０乃至８８のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像フレームを処理すること、を含む、システム。

【請求項90】

請求項８９に記載のシステムであって、前記訓練された機械学習アルゴリズムはニューラルネットワークである、システム。

【請求項91】

請求項８０乃至９０のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り領域内における光量の増加量を検出すること、を含む、システム。

【請求項92】

請求項７３乃至９１のいずれかに記載のシステムであって、前記撮像装置は、さらに
前記画像フレームを予め定義されたサイズのバッファに配置し、
前記バッファに配置されたすべてのフレームを比較し、
前記比較に基づいて、前記ビデオストリームから前記バッファ内の１以上のフレームを除外する、よう構成される、システム。

【請求項93】

請求項９２に記載のシステムであって、前記予め定義されたサイズは、３つの画像フレームである、システム。

【請求項94】

請求項９２乃至９３のいずれかに記載のシステムであって、前記バッファに配置されたすべてのフレームを比較することは、
前記バッファに配置されたフレームの各々にスコアを割り当てることと、
前記バッファに配置されたすべてのフレームの前記スコアを比較することと、を含む、システム。

【請求項95】

請求項７３乃至９４のいずれかに記載のシステムであって、前記撮像装置は、さらに
前記方法の１以上のパラメータを自動的に調整する、よう構成される、システム。

【請求項96】

請求項９５に記載のシステムであって、前記１以上のパラメータは、
前記画像フレーム内のアーティファクトを特定するための１つ以上の閾値、
画像バッファのサイズ、
前記画像バッファからドロップ可能な画像フレームの最大数、
前記画像バッファからドロップ可能な連続する画像フレームの最大数、または
それらの任意の組合せ、を含む、システム。

【請求項97】

請求項９５乃至９６のいずれかに記載のシステムであって、前記撮像装置は、さらに
光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記１以上のパラメータを自動的に調整する、よう構成される、システム。

【請求項98】

請求項９７に記載のシステムであって、前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから信号を受信すること、を含む、システム。

【請求項99】

請求項９８に記載のシステムであって、前記外科用エネルギデバイスはレーザユニットである、システム。

【請求項100】

請求項９８に記載のシステムであって、前記外科用エネルギデバイスはＲＦプローブである、システム。

【請求項101】

請求項９７乃至１００のいずれかに記載のシステムであって、前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスの電力消費の増加の検出すること、を含む、システム。

【請求項102】

請求項９７乃至１０１のいずれかに記載のシステムであって、前記光イベントを検出することは、前記ローリングシャッタ撮像装置に取り付けられた光検出器から信号を受信すること、を含む、システム。

【請求項103】

請求項９７乃至１０２のいずれかに記載のシステムであって、前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから音響信号を受信すること、を含む、システム。

【請求項104】

請求項９５乃至１０２のいずれかに記載のシステムであって、前記撮像装置はさらに、検出された前記撮像装置の動きに基づいて前記１以上のパラメータを自動的に調整する、よう構成される、システム。

【請求項105】

請求項７３乃至１０４のいずれかに記載のシステムであって、前記撮像装置はシャッタ構成要素を有し、前記シャッタは前記照明期間の終了時に閉じるように構成される、システム。

【請求項106】

請求項１０５に記載のシステムであって、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む、システム。

【請求項107】

請求項７３乃至１０６のいずれかに記載のシステムであって、前記照明光は少なくとも１つのＬＥＤによって生成される、システム。

【請求項108】

請求項７３乃至１０７のいずれかに記載のシステムであって、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である、システム。

【請求項109】

ビデオストリームを提供するためのシステムであって、
１以上のプロセッサと、
メモリと、
１以上のプログラムを有し、前記１以上のプログラムは、前記メモリに格納され、前記１以上のプロセッサにより実行されるよう構成され、前記１以上のプログラムは、
予め定義されたサイズのバッファ内に画像シーケンスを蓄積することであって、当該シーケンスの各画像は個別のスコアが関連付けられている、ことと、
前記バッファ内の前記画像シーケンスの前記スコアを比較することと、
前記比較に基づいて、前記画像シーケンスの画像を特定することと、
更新されたシーケンスを取得するために、前記画像シーケンスから前記特定された画像を除去することと、
前記ビデオストリームに前記更新された画像シーケンスを追加すること、のための命令を含む、システム。

【請求項110】

請求項１０９に記載のシステムであって、前記画像シーケンスは、ローリングシャッタ撮像装置によって取得される、システム。

【請求項111】

請求項１０９乃至１１０のいずれかに記載のシステムであって、前記画像シーケンスは、複数の画素行を同時に読み取るように構成されたグローバルシャッタ撮像装置によって取得される、システム。

【請求項112】

請求項１０９乃至１１１のいずれかに記載のシステムであって、前記画像シーケンスは、内視鏡撮像装置によって取得される、システム。

【請求項113】

請求項１０９乃至１１２のいずれかに記載のシステムであって、前記１以上のプログラムはさらに、前記特定された画像を前記画像シーケンス内の置換画像で置換すること、のための命令を含む、システム。

【請求項114】

請求項１０９乃至１１３のいずれかに記載のシステムであって、前記１以上のプログラムはさらに、前記画像シーケンス内の画像の各々について、
前記個別の画像内の１以上のアーティファクトを特定することと、
前記特定に基づいて、前記個別のスコアを前記画像に割り当てること、のための命令を含む、システム。

【請求項115】

請求項１１４に記載のシステムであって、前記画像中の１以上のアーティファクトを特定することは、前記画像内のラインを特定すること、を含む、システム。

【請求項116】

請求項１１４乃至１１５のいずれかに記載のシステムであって、前記画像内の１以上のアーティファクトを特定することは、１以上の前の画像の平均値から前記画像の平均値への増加率を計算すること、を含む、システム。

【請求項117】

請求項１１６に記載のシステムであって、前記増加率は、前記画像フレーム内の関心領域に関して計算される、システム。

【請求項118】

請求項１１４乃至１１７のいずれかに記載のシステムであって、前記画像内の１以上のアーティファクトを特定することは、前の画像内の飽和画素の数から前記画像内の飽和画素の数への増加を計算すること、を含む、システム。

【請求項119】

請求項１１８に記載のシステムであって、前記増加は、前記画像フレーム内の関心領域に関して計算される、システム。

【請求項120】

請求項１１４乃至１１９のいずれかに記載のシステムであって、前記画像内の１以上のアーティファクトを特定することは、前記画像の赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む、システム。

【請求項121】

請求項１１４乃至１１９のいずれかに記載のシステムであって、前記画像内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像を処理すること、を含む、システム。

【請求項122】

請求項１２１に記載のシステムであって、前記訓練された機械学習アルゴリズムはニューラルネットワークである、システム。

【請求項123】

請求項１１４乃至１２２のいずれかに記載のシステムであって、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り内における光量の増加量を検出すること、を含む、システム。

【請求項124】

請求項１０９乃至１２３のいずれかに記載のシステムであって、前記１以上のプログラムはさらに、
前記バッファの前記予め定義されたサイズを自動的に調整すること、のための命令を含む、システム。

【請求項125】

請求項１２４に記載のシステムであって、前記１以上のプログラムはさらに、
光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記バッファの前記予め定義されたサイズを自動的に増加すること、のための命令を含む、システム。

【請求項126】

内視鏡撮像装置を用いて画像を生成するシステムであって、シャッタ構成部品と、撮像装置であって、
フレーム期間に、
前記フレーム期間中に前記内視鏡撮像装置の画素アレイに電荷を蓄積し、
予め定義された露光時間のｎ分の１以下だけシャッタ構成要素をｎ回停止して、光に前記シャッタを通過させ、
前記ｎ回目の前記シャッタ構成要素の停止後、前記画素アレイに蓄積された電荷の読み取りから前記画像を生成する、よう構成された撮像装置と、を有する、システム。

【請求項127】

請求項１２６に記載のシステムであって、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む、システム。

【請求項128】

請求項１２６乃至１２７のいずれかに記載のシステムであって、前記内視鏡撮像装置はローリングシャッタ撮像装置である、システム。

【請求項129】

請求項１２６乃至１２８のいずれかに記載のシステムであって、前記内視鏡撮像装置は、グローバルシャッタ撮像装置である、システム。

【請求項130】

請求項１２６乃至１２９のいずれかに記載のシステムであって、前記シャッタの前記停止同士は、少なくとも前記予め定義された露光期間だけ離される、システム。

【請求項131】

請求項１２６乃至１３０のいずれかに記載のシステムであって、前記撮像装置は前記ｎの値を自動的に調整するよう構成される、システム。

【請求項132】

請求項１３１に記載のシステムであって、前記ｎの値は１以上である、システム。

【請求項133】

光イベントから内視鏡撮像装置を遮蔽するためのシステムであって、シャッタと、撮像装置であって、
前記光イベントを検出し、
前記光イベントの検出に応答して、シャッタを作動させて、前記光イベントから前記内視鏡撮像装置のセンサを遮蔽する、よう構成された撮像装置と、を有する、システム。

【請求項134】

請求項１３３に記載のシステムであって、前記シャッタは、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む、システム。

【請求項135】

請求項１３３乃至１３４のいずれかに記載のシステムであって、前記光イベントを検出することは、フォトダイオード検出器を介して前記光イベントを検出することを含む、システム。

【請求項136】

請求項１３３乃至１３５のいずれかに記載のシステムであって、前記光イベントは赤外光を含む、システム。

【請求項137】

請求項１３３乃至１３６のいずれかに記載のシステムであって、前記光イベントはレーザによって生成される、システム。

【請求項138】

請求項１３７に記載のシステムであって、前記レーザはホルミウムレーザである、システム。

【請求項139】

請求項１３３乃至１３８のいずれかに記載のシステムであって、前記撮像装置は、予め定義された期間の後に前記シャッタを自動的に停止する、よう構成される、システム。

【請求項140】

請求項１３９に記載のシステムであって、前記予め定義された期間は、約５００ｕｓ～１ｍｓである、システム。

【請求項141】

請求項１３９または１４０に記載のシステムであって、前記予め定義された期間は動的に調整可能である、システム。

【請求項142】

請求項１３３乃至１４１のいずれかに記載のシステムであって、前記撮像装置は、前記光イベントの不存在の検出に応答して、前記シャッタ構成要素を自動的に停止する、よう構成される、システム。

【請求項143】

請求項１３３乃至１４２のいずれかに記載のシステムであって、前記内視鏡撮像装置はローリングシャッタ撮像装置である、システム。

【請求項144】

請求項１３３乃至１４３のいずれかに記載のシステムであって、前記内視鏡撮像装置は、グローバルシャッタ撮像装置である、システム。

【請求項145】

ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像する方法であって、前記方法は、
前記ローリングシャッタ撮像装置の複数の画素行を、最初の行から最後の行まで順次リセットすることと、
液晶シャッタを閉状態から開状態に遷移させることと、
前記液晶シャッタが前記開状態に遷移された後であって前記最後の行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明することと、
前記照明期間の終了後、前記画素行において前記蓄積された電荷を前記最初の行から前記最後の行まで順次読み取ることと、
前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、
前記画像フレームを前記ビデオストリームに追加することと、を含む、方法。

【請求項146】

請求項１４５に記載の方法であって、前記照明期間は、前記最後の行がリセットされたときから前記最初の行が読み取られるときまでの期間の少なくとも一部である、方法。

【請求項147】

請求項１４６に記載の方法であって、前記照明期間は、前記最後の行がリセットされるときに開始する、方法。

【請求項148】

請求項１４５乃至１４７のいずれかに記載の方法であって、前記複数の画素行は、同じ時間露光されて前記画像を生成する、方法。

【請求項149】

請求項１４５乃至１４８のいずれかに記載の方法であって、前記照明期間の終了後に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始すること、をさらに含む、方法。

【請求項150】

請求項１４５乃至１４８のいずれか１項に記載の方法であって、前記照明期間の終了時に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始すること、をさらに含む、方法。

【請求項151】

請求項１４５乃至１４８のいずれかに記載の方法であって、前記照明期間の終了前に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始すること、をさらに含む、方法。

【請求項152】

請求項１４５乃至１５１のいずれかに記載の方法であって、前記液晶シャッタは、垂直同期パルスに基づくタイマデバイスを用いて開かれる、または閉められる、方法。

【請求項153】

請求項１４５乃至１５２のいずれかに記載の方法であって、前記液晶シャッタは、撮像されたシーンの１以上の特性に基づいて開かれる、または閉められる、方法。

【請求項154】

請求項１５３に記載の方法であって、前記撮像されたシーンの前記１以上の特性は、前記撮像されたシーンの明るさ及び／またはモダリティを含む、方法。

【請求項155】

請求項１４５乃至１５４のいずれかに記載の方法であって、前記照明光は少なくとも１つのＬＥＤによって生成される、方法。

【請求項156】

請求項１４５乃至１５５のいずれかに記載の方法であって、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である、方法。

【請求項157】

請求項１４５乃至１５５のいずれかに記載の方法であって、前記ローリングシャッタ撮像装置は、フレキシブルスコープ及び／またはチップオンティップスコープの一部である、方法。

【請求項158】

ビデオストリームを提供するために被検体の組織を撮像するシステムであって、前記システムは、
照明光源と、
ローリングシャッタ撮像装置を有する撮像装置と、を有し、前記撮像装置は、
前記ローリングシャッタ撮像装置の複数の画素行を、最初の行から最後の行まで順次リセットし、
液晶シャッタを閉状態から開状態に遷移させ、
前記液晶シャッタが前記開状態に遷移された後であって前記最後の行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって前記照明光源で前記被検体の前記組織を照明し、
前記照明期間の終了後、前記画素行において前記蓄積された電荷を前記最初の行から前記最後の行まで順次読み取り、
前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成し、
前記画像フレームを前記ビデオストリームに追加する、よう構成される、システム。

【請求項159】

請求項１５８に記載のシステムであって、前記照明期間は、前記最後の行がリセットされたときから前記最初の行が読み取られるときまでの期間の少なくとも一部である、システム。

【請求項160】

請求項１５９に記載のシステムであって、前記照明期間は、前記最後の行がリセットされるときに開始する、システム。

【請求項161】

請求項１５８乃至１６０のいずれかに記載のシステムであって、前記複数の画素行は、同じ時間露光されて前記画像を生成する、システム。

【請求項162】

請求項１５８乃至１６１のいずれかに記載のシステムであって、前記撮像装置はさらに、前記照明期間の終了後に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始する、よう構成される、システム。

【請求項163】

請求項１５８乃至１６１のいずれか１項に記載のシステムであって、前記撮像装置はさらに、前記照明期間の終了時に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始する、よう構成される、システム。

【請求項164】

請求項１５８乃至１６１のいずれかに記載のシステムであって、前記撮像装置はさらに、前記照明期間の終了前に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始する、よう構成される、システム。

【請求項165】

請求項１５８乃至１６４のいずれかに記載のシステムであって、前記液晶シャッタは、垂直同期パルスに基づくタイマデバイスを用いて開かれる、または閉められる、システム。

【請求項166】

請求項１５８乃至１６５のいずれかに記載のシステムであって、前記液晶シャッタは、撮像されたシーンの１以上の特性に基づいて開かれる、または閉められる、システム。

【請求項167】

請求項１６６に記載のシステムであって、前記撮像されたシーンの前記１以上の特性は、前記撮像されたシーンの明るさ及び／またはモダリティを含む、システム。

【請求項168】

請求項１５８乃至１６７のいずれかに記載のシステムであって、前記照明光源は少なくとも１つのＬＥＤを有する、システム。

【請求項169】

請求項１５８乃至１６８のいずれかに記載のシステムであって、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である、システム。

【請求項170】

請求項１５８乃至１６８のいずれかに記載のシステムであって、前記ローリングシャッタ撮像装置は、フレキシブルスコープ及び／またはチップオンティップスコープの一部である、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般には、医療用撮像に関し、より詳しくは、医療用撮像において光イベント（light events）によって引き起こされるアーティファクトを低減または除去するための技術に関する。

【背景技術】

【0002】

（関連出願へのクロスリファレンス）
本出願は２０２０年１２月３０日に出願された米国仮出願第６３／１３２４４４号の利点を主張し、その内容全体は、参照により本明細書に組み込まれる。

【0003】

医療用システム、器具またはツールは、様々な目的のために、外科手術前、外科手術中、または手術後に利用される。これらの医療用ツールのいくつかは、一般に内視鏡処置と呼ばれるものに使用され得る。例えば、医療分野における内視鏡検査は、従来の完全侵襲外科手術を使用することなく、患者の身体の内部特徴を見ることができる。内視鏡撮像システムは、外科医が手術部位を見ることができるように内視鏡を組み込んでおり、内視鏡ツールは当該部位における非侵襲外科手術を可能にする。内視鏡は、内視鏡により受信した画像を処理するために、カメラシステムと共に使用可能であり得る。内視鏡カメラシステムは、典型的には、ケーブルを介してカメラの撮像センサから受信した入力画像データを処理して表示用の画像データを出力する、カメラ制御ユニット（ＣＣＵ）に接続されたカメラヘッドを含む。ＣＣＵは、撮像シーンに提供される照明光を生成する照明器を制御することができる。

【0004】

内視鏡撮像システムには、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む様々な撮像装置センサが、内視鏡撮像システムにおいて使用され得る。ＣＣＤの構造は一般に、ＣＭＯＳセンサの構造よりも複雑であり、ＣＭＯＳセンサは、マイクロプロセッサ及びチップセット等の関連技術のために使用される大量のウェハ製造設備で製造され得る。その結果、同程度の性能において、ＣＭＯＳセンサはＣＣＤよりもコストが低いことが多い。低コストに加えて、ＣＭＯＳ撮像装置の作成に用いられる一般的な製造プロセスにより、ＣＭＯＳ画素アレイを、クロックドライバ、デジタルロジック、アナログ／デジタルコンバータ、及び他の適切な電子機器等の他の電子デバイスと単一回路上に集積することができる。ＣＭＯＳ撮像装置に可能なコンパクトな構造は、空間要件を削減し、電力消費を低くこするともできる。またＣＭＯＳ撮像装置は、より高い感度を有し、より高いビデオフレームレートを提供することができる。

【0005】

ＣＭＯＳベースの撮像装置は、センサアレイ内の画素を露光するために電子ローリングシャッタを利用することができる。電子ローリングシャッタでは、画素行がクリア（またはリセット）され、露出され、順番に読み出される。積分の間、画素行は光エネルギに曝され、各画素は、画素に当たる光の量及び波長に対応した電荷を形成する。列が順番に活性化されて読み出されるため、最初の行が積分されてから最後の行が積分されるまでに経過時間がある。最初の行が積分を開始してから後続の行が積分を開始するまでの経過時間があるため、電子ローリングシャッタを有するＣＭＯＳ撮像装置は、ボケや他のローリングシャッタ効果を有するビデオイメージを撮像し得る。ＣＭＯＳベースの撮像装置は、センサアレイ内の画素を露光するためにグローバルシャッタを利用することもできる。グローバルシャッタでは、画素のすべての行が同時に露光される（即ち、露光の開始と終了が同じ）が、読み出しは（通常）順次行われ得る。

【0006】

撮像中、意図しない及び／または望ましくない光イベントが発生し、画像にアーティファクトを生じることがある。例えば、泌尿器科処置において結石を除去するために使用できるレーザ手術ツールであるホルミウムレーザは、組織と相互作用するときに、短時間で強力な発光（例えば、可視またはＩＲ波長で）を生じ得る。光イベントは、本明細書で説明する図４Ｂのような、結果として得られる内視鏡画像にアーティファクトを生成し得る。緑色光レーザ及びＲＦプローブのような他の組織切除デバイスは、同様のアーティファクトを引き起こし得る。光イベントの持続時間、繰り返し率、及び振幅は、エネルギデバイスに依存し得る。

【0007】

意図しない／望ましくない光イベントは、グローバルシャッタを有するセンサ（例えば、ＣＣＤセンサ）及びローリングシャッタを有するセンサ（例えば、ＣＭＯＳセンサ）の両方の撮像に影響を及ぼし得るが、本明細書に記載されるように、ローリングシャッタを用いる際により顕著になり得る。さらに、意図しない／望ましくない光イベントは、白色光フレーム及び蛍光画像フレームを含む様々なタイプのフレームに影響を及ぼし得る。

【発明の概要】

【0008】

本明細書では、医療用撮像のための例示的なデバイス、装置、システム、方法、及び非一時的な記憶媒体が開示される。より一般的には、意図しない／望ましくない光イベントによって引き起こされるアーティファクトを低減または除去するための例示的なデバイス、システム、及び方法が開示される。システム、デバイス、及び方法は、内視鏡撮像処置等において、対象の組織を撮像するために使用され得る。撮像は、術前、術中、術後、及び画像診断セッション、及び処置中に行われ得る。撮像方法自体は、体内の管腔内への内視鏡撮像装置の挿入を除外してもよい。内視鏡撮像装置は、撮像方法の前に管腔内に挿入されてもよい。撮像方法自体は、任意の侵襲的な外科的ステップを除外してもよい。

【0009】

本技術のいくつかは、特定のタイプの撮像装置（例えば、ローリングシャッタ撮像装置、グローバルシャッタ撮像装置）に関して開示されるが、技術は任意のタイプの撮像装置にも適用され得ることを理解されたい。さらに本技術は、非外科的または非医学的使用に適用することができる。

【0010】

例示的なシステムは、「同期フレームリセット」機能を有し得る。ローリングシャッタ撮像装置では、同期フレームリセット機能を用いて、撮像センサ内の画素の全ての行は、同時にまたは短い（例えば、ローリングシャッタのラインごとのオフセット期間よりも短い）時間内にリセットされ得る。その後、同期フレームリセットと最初の行の読み取りまでの間の時間よりも短い照明期間、画素の行は照明され、同時に同じ時間分画素の行に電荷が蓄積し、グローバルシャッタ効果を達成することができる。蓄積された電荷は次に、画像フレームを生成するために、最初の行から最後の行まで順次読み出される。その後、画像フレームをビデオストリームに追加することができる。同期フレームリセット機能は、光がセンサに蓄積する期間をフレーム期間未満に短縮するため、光イベントの影響を大幅に低減することができる。同期フレームリセットの前に発生する意図しない／望ましくない光イベントは、画像フレームに影響を与えない。いくつかの例では、同期フレームリセットステップは、衝撃的な光イベントを約４６％除去する。

【0011】

例示的な撮像システムは、画像フレーム内のアーティファクトを検出するための様々な技術を含み得る。これらの技術は、センサの取り付け方向に応じて画像フレーム内の水平線または垂直線を検出すること、連続する画像フレーム内の平均値の増加率を検出すること、連続する画像フレーム内の飽和画素の増加を検出すること、カラーチャネル間の不一致を検出すること、視野絞り領域内の光量の増加を検出すること、またはそれらの任意の組合せを含み得る。いくつかの例では、上述の特性を検出するように構成された機械学習モデルを含む、機械学習モデルが画像フレーム内のアーティファクトを検出するために使用され得る。

【0012】

例示的なシステムは、ｎサイズのバッファを使用することができる。撮像システムによってキャプチャされたフレームのシーケンスは、バッファに蓄積され得る。バッファに蓄積された各画像は、それぞれのスコアに関連付けることができる。スコアは、画像が光イベントに損なわれる可能性がどの程度あるかを示す。スコアの比較に基づいて、画像シーケンスにおいて画像フレームはドロップされ、置換され得る。置換画像は、バッファ内の別の画像、またはドロップされた画像フレームの修復されたバージョンとすることができる。有利には、Ｎフレームバッファが誤検出を低減し、低いドロップカウントを維持することができる。いくつかの例では、画像フレームは、１以上の機械学習モデルを使用して修復され得る。例えば、訓練された画像変換モデルは、損なわれた画像フレームを受信し、アーティファクトが低減または除去された出力画像を生成するように構成され得る。加えて、または代替的に、訓練された機械学習モデルは、バッファ内の他の画像フレームからの情報に基づいてアーティファクト領域を補正することによって、画像フレームを修復するように構成され得る。

【0013】

例示的なシステムは、シャッタ（例えば、液晶またはＬＣシャッタ、メカニカルシャッタ、ＤＬＰミラー、電気メカニカルシャッタ）を含み得る。シャッタは、行の順次読み出し中に発生する光イベントの影響を排除するために、ローリングシャッタ撮像装置と共に使用されて、照明期間後の光（従って、任意の意図しない／望ましくない光イベント）を遮断することができる。パルス幅制御を有するシャッタを使用して、露光時間を複数のより短い期間に分割し、光イベントによるフレームへの影響を低減することができる。シャッタはまた、カメラとの通信なしにスタンドアロンデバイスとして動作させることができ、光イベントが検出されたときに撮像経路からの光を遮断することができる。

【0014】

本明細書に記載される技術のいずれも、その感度／攻撃性の点で、起動、停止、または調整され得る。いくつかの例では、技術は光イベントの検出及び／または外科エネルギデバイスの活性化の検出に応答して、起動され得るか、またはその感度が増加され得る。光イベントは、本明細書に記載されるように多数の方法で検出することができる。システムの観点から説明された変形例、態様、特徴、及びオプションのいずれもが、方法にも等しく適用され、逆もまた同様であることは理解されよう。上記の変形例、態様、特徴、及びオプションのいずれか１以上を組み合わせることができることも明らかであろう。

【0015】

一態様によれば、ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像する方法であって、前記方法は、前記ローリングシャッタ撮像装置のラインごとのオフセット期間よりも短い期間内に、前記ローリングシャッタ撮像装置の複数の画素行をリセットすることと、前記複数の画素行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明することと、前記複数の画素行において前記蓄積された電荷を、最初の行から最後の行まで順次読み取ることと、前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、前記画像フレームを前記ビデオストリームに追加することと、を含む、方法が提供される。

【0016】

オプションとして、前記ローリングシャッタ撮像装置の前記複数の画素行をリセットすることは、前記ローリングシャッタ撮像装置の同期フレームリセット機能をトリガすること、を含む。前記同期フレームリセット機能は、トリガ後に前記複数の画素行が露光される時間の最小量を示す構成可能な定数パラメータを含ムことができ、前記照明期間は、前記定数パラメータよりも短く構成される。前記定数パラメータは、異なる画像フレームに対して動的に調整可能である。

【0017】

オプションとして、前記方法は、前記画像フレームが１以上の基準を満たすか否かを判断することと、前記画像フレームが前記１以上の基準を満たさないとの判断に従って、前記画像フレームを前記ビデオストリームに追加することと、前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記画像フレームを破棄することと、をさらに含む。前記画像フレームを破棄することは、前記ビデオストリームから前記画像フレームを除外することと、置換画像フレームを前記ビデオストリームに追加することと、を含むことができる。

【0018】

オプションとして、前記方法は、前記画像フレームが前記１以上の基準を満たさないとの判断に従って、自動ゲイン制御（ＡＧＣ）アルゴリズムの第１の構成を用いて前記画像フレームを処理することと、前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記ＡＧＣアルゴリズムの第２の構成を用いて前記画像フレームを処理するか、前記ＡＧＣアルゴリズムを用いて前記画像フレームを前述の処理をすることと、をさらに含む。前記画像フレームが１以上の基準を満たすか否かを判断することは、前記画像フレーム内の１以上のアーティファクトを特定すること、を含むことができる。前記１以上のアーティファクトは、リアルタイムに特定され得る。前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレーム内のラインを特定すること、を含むことができる。

【0019】

オプションとして、前記方法は、前記画像フレームにソーベルフィルタを適用すること、をさらに含む。

【0020】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、１以上の前の画像フレームの平均値から前記画像フレームの平均値への増加率を計算すること、を含む。前記増加率は、前記画像フレーム内の関心領域に関して計算され得る。

【0021】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前の画像フレーム内の飽和画素の数から前記画像フレーム内の飽和画素の数への増加を計算すること、を含む。前記増加は、前記画像フレーム内の関心領域に関して計算され得る。

【0022】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む。

【0023】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像フレームを処理すること、を含む。前記訓練された機械学習アルゴリズムはニューラルネットワークであり得る。

【0024】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り領域内における光量の増加量を検出すること、を含む。

【0025】

オプションとして、前記方法は、前記画像フレームを予め定義されたサイズのバッファに配置することと、前記バッファに配置されたすべてのフレームを比較することと、前記比較に基づいて、前記ビデオストリームから前記バッファ内の１以上のフレームを除外することと、をさらに含む。前記予め定義されたサイズは、３つの画像フレームであり得る。前記バッファに配置されたすべてのフレームを比較することは、前記バッファに配置されたフレームの各々にスコアを割り当てることと、前記バッファに配置されたすべてのフレームの前記スコアを比較することと、を含み得る。

【0026】

オプションとして、前記方法は、前記方法の１以上のパラメータを自動的に調整すること、をさらに含む。前記１以上のパラメータは、前記画像フレーム内のアーティファクトを特定するための１つ以上の閾値、画像バッファのサイズ、前記画像バッファからドロップ可能な画像フレームの最大数、前記画像バッファからドロップ可能な連続する画像フレームの最大数、またはそれらの任意の組合せ、を含むことができる。

【0027】

オプションとして、前記方法は、光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記１以上のパラメータを自動的に調整すること、をさらに含む。前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから信号を受信すること、を含むことができる。前記外科用エネルギデバイスはレーザユニットである。前記外科用エネルギデバイスはＲＦプローブである。前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスの電力消費の増加の検出すること、を含むことができる。前記光イベントを検出することは、前記ローリングシャッタ撮像装置に取り付けられた光検出器から信号を受信すること、を含むことができる。前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから音響信号を受信すること、を含むことができる。

【0028】

オプションとして、前記方法は、検出された前記撮像装置の動きに基づいて前記１以上のパラメータを自動的に調整すること、をさらに含む。

【0029】

オプションとして、前記撮像装置はシャッタ構成要素を有し、前記シャッタは前記照明期間の終了時に閉じるように構成される。

【0030】

オプションとして、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む。

【0031】

オプションとして、前記照明光は少なくとも１つのＬＥＤによって生成される。

【0032】

オプションとして、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である。

【0033】

一態様によれば、ビデオストリームを提供するコンピュータ実装方法であって、予め定義されたサイズのバッファ内に画像シーケンスを蓄積することであって、当該シーケンスの各画像は個別のスコアが関連付けられている、ことと、前記バッファ内の前記画像シーケンスの前記スコアを比較することと、前記比較に基づいて、前記画像シーケンスの画像を特定することと、更新されたシーケンスを取得するために、前記画像シーケンスから前記特定された画像を除去することと、前記ビデオストリームに前記更新された画像シーケンスを追加することと、を含む、方法が提供される。

【0034】

オプションとして、前記画像シーケンスは、ローリングシャッタ撮像装置によって取得される。

【0035】

オプションとして、前記画像シーケンスは、複数の画素行を同時に読み取るように構成されたグローバルシャッタ撮像装置によって取得される。

【0036】

オプションとして、前記画像シーケンスは、内視鏡撮像装置によって取得される。

【0037】

オプションとして、前記方法は、前記特定された画像を前記画像シーケンス内の置換画像で置換すること、をさらに含む。

【0038】

オプションとして、前記方法は、前記画像シーケンス内の画像の各々について、前記個別の画像内の１以上のアーティファクトを特定することと、前記特定に基づいて、前記個別のスコアを前記画像に割り当てることと、をさらに含む。前記画像中の１以上のアーティファクトを特定することは、前記画像内のラインを特定すること、を含むことができる。前記画像内の１以上のアーティファクトを特定することは、１以上の前の画像の平均値から前記画像の平均値への増加率を計算すること、を含むことができる。前記増加率は、前記画像フレーム内の関心領域に関して計算され得る。

【0039】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、前の画像内の飽和画素の数から前記画像内の飽和画素の数への増加を計算すること、を含む。前記増加は、前記画像フレーム内の関心領域に関して計算され得る。

【0040】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、前記画像フレームの赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む。

【0041】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像を処理すること、を含む。前記訓練された機械学習アルゴリズムはニューラルネットワークであり得る。

【0042】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り内における光量の増加量を検出すること、を含む。

【0043】

オプションとして、前記方法は、前記バッファの前記予め定義されたサイズを自動的に調整すること、をさらに含む。

【0044】

オプションとして、前記方法は、光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記バッファの前記予め定義されたサイズを自動的に増加すること、をさらに含む。

【0045】

一態様によれば、内視鏡撮像装置を用いて画像を生成する方法であって、フレーム期間に、前記フレーム期間中に前記内視鏡撮像装置の画素アレイに電荷を蓄積することと、予め定義された露光時間のｎ分の１以下だけシャッタ構成要素をｎ回停止して、光に前記シャッタを通過させることと、前記ｎ回目の前記シャッタ構成要素の停止後、前記画素アレイに蓄積された電荷の読み取りから前記画像を生成することと、を含む、方法が提供される。前記方法は、体内の管腔内への前記内視鏡撮像装置の挿入を除外してもよい。前記内視鏡撮像装置は、前記方法の前に管腔内に挿入されてもよい。

【0046】

オプションとして、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む。

【0047】

オプションとして、前記内視鏡撮像装置はローリングシャッタ撮像装置である。

【0048】

オプションとして、前記内視鏡撮像装置はグローバルシャッタ撮像装置である。

【0049】

オプションとして、前記シャッタの前記停止同士は、少なくとも前記予め定義された露光期間だけ離される。

【0050】

オプションとして、前記方法は、前記ｎの値を自動的に調整すること、をさらに含む。前記ｎの値は１以上であり得る。

【0051】

一態様によれば、光イベントから内視鏡撮像装置を遮蔽する方法であって、前記光イベントを検出することと、前記光イベントの検出に応答して、シャッタを作動させて、前記光イベントから前記内視鏡撮像装置のセンサを遮蔽することと、を含む、方法が提供される。

【0052】

オプションとして、前記シャッタは、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む。

【0053】

オプションとして、前記光イベントを検出することは、フォトダイオード検出器を介して前記光イベントを検出することを含む。

【0054】

オプションとして、前記光イベントは赤外光を含む。

【0055】

オプションとして、前記光イベントはレーザによって生成される。前記レーザはホルミウムレーザである。

【0056】

オプションとして、前記方法は、予め定義された期間の後に前記シャッタを自動的に停止すること、をさらに含む。前記予め定義された期間は、約５００ｕｓ～１ｍｓであり得る。前記予め定義された期間は動的に調整可能である。

【0057】

オプションとして、前記方法は、前記光イベントの不存在の検出に応答して、前記シャッタ構成要素を自動的に停止すること、をさらに含む。

【0058】

オプションとして、前記内視鏡撮像装置はローリングシャッタ撮像装置である。

【0059】

オプションとして、前記内視鏡撮像装置はグローバルシャッタ撮像装置である。

【0060】

一態様によれば、ビデオストリームを提供するために被検体の組織を撮像するシステムであって、前記システムは、照明光源と、電子ローリングシャッタ撮像装置を有する撮像装置と、を有し、前記撮像装置は、前記ローリングシャッタ撮像装置のラインごとのオフセット期間よりも短い期間内に、前記ローリングシャッタ撮像装置の複数の画素行をリセットし、前記複数の画素行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明し、前記複数の画素行において前記蓄積された電荷を、最初の行から最後の行まで順次読み出し、前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、前記画像フレームを前記ビデオストリームに追加する、よう構成される、システムが提供される。

【0061】

オプションとして、前記ローリングシャッタ撮像装置の前記複数の画素行をリセットすることは、前記ローリングシャッタ撮像装置の同期フレームリセット機能をトリガすること、を含む。前記同期フレームリセット機能は、トリガ後に前記複数の画素行が露光される時間の最小量を示す構成可能な定数パラメータを含むことができ、前記照明期間は、前記定数パラメータよりも短く構成される。前記定数パラメータは、異なる画像フレームに対して動的に調整可能である。

【0062】

オプションとして、前記撮像装置は、さらに前記画像フレームが１以上の基準を満たすか否かを判断し、前記画像フレームが前記１以上の基準を満たさないとの判断に従って、前記画像フレームを前記ビデオストリームに追加し、前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記画像フレームを破棄する、よう構成される。前記画像フレームを破棄することは、前記ビデオストリームから前記画像フレームを除外することと、置換画像フレームを前記ビデオストリームに追加することと、を含むことができる。

【0063】

オプションとして、前記撮像装置は、さらに前記画像フレームが前記１以上の基準を満たさないとの判断に従って、自動ゲイン制御（ＡＧＣ）アルゴリズムの第１の構成を用いて前記画像フレームを処理し、前記画像フレームが前記１以上の基準を満たすとの判断に従って、前記ＡＧＣアルゴリズムの第２の構成を用いて前記画像フレームを処理するか、前記ＡＧＣアルゴリズムを用いて前記画像フレームを前述の処理をする、よう構成される。前記画像フレームが１以上の基準を満たすか否かを判断することは、前記画像フレーム内の１以上のアーティファクトを特定すること、を含むことができる。前記１以上のアーティファクトは、リアルタイムに特定され得る。

【0064】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレーム内のラインを特定すること、を含む。

【0065】

オプションとして、前記撮像装置はさらに、前記画像フレームにソーベルフィルタを適用する、よう構成される。

【0066】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、１以上の前の画像フレームの平均値から前記画像フレームの平均値への増加率を計算すること、を含む。前記増加率は、前記画像フレーム内の関心領域に関して計算され得る。

【0067】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前の画像フレーム内の飽和画素の数から前記画像フレーム内の飽和画素の数への増加を計算すること、を含む。前記増加は、前記画像フレーム内の関心領域に関して計算され得る。

【0068】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む。

【0069】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像フレームを処理すること、を含む。前記訓練された機械学習アルゴリズムはニューラルネットワークであり得る。

【0070】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り領域内における光量の増加量を検出すること、を含む。

【0071】

オプションとして、前記撮像装置は、さらに前記画像フレームを予め定義されたサイズのバッファに配置し、前記バッファに配置されたすべてのフレームを比較し、前記比較に基づいて、前記ビデオストリームから前記バッファ内の１以上のフレームを除外する、よう構成される。前記予め定義されたサイズは、３つの画像フレームであり得る。前記バッファに配置されたすべてのフレームを比較することは、前記バッファに配置されたフレームの各々にスコアを割り当てることと、前記バッファに配置されたすべてのフレームの前記スコアを比較することと、を含ムことができる。

【0072】

オプションとして、前記撮像装置は、さらに前記方法の１以上のパラメータを自動的に調整する、よう構成される。前記１以上のパラメータは、前記画像フレーム内のアーティファクトを特定するための１つ以上の閾値、画像バッファのサイズ、前記画像バッファからドロップ可能な画像フレームの最大数、前記画像バッファからドロップ可能な連続する画像フレームの最大数、またはそれらの任意の組合せ、を含むことができる。

【0073】

オプションとして、前記撮像装置は、さらに光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記１以上のパラメータを自動的に調整する、よう構成される。前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから信号を受信すること、を含むことができる。前記外科用エネルギデバイスはレーザユニットである。前記外科用エネルギデバイスはＲＦプローブである。前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスの電力消費の増加の検出すること、を含むことができる。前記光イベントを検出することは、前記ローリングシャッタ撮像装置に取り付けられた光検出器から信号を受信すること、を含むことができる。前記外科用エネルギデバイスの作動を検出することは、前記外科用エネルギデバイスから音響信号を受信すること、を含むことができる。

【0074】

オプションとして、前記撮像装置はさらに、検出された前記撮像装置の動きに基づいて前記１以上のパラメータを自動的に調整する、よう構成される。

【0075】

オプションとして、前記撮像装置はシャッタ構成要素を有し、前記シャッタは前記照明期間の終了時に閉じるように構成される。前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含むことができる。

【0076】

オプションとして、前記照明光は少なくとも１つのＬＥＤによって生成される。

【0077】

オプションとして、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である。

【0078】

一態様によれば、ビデオストリームを提供するためのシステムであって、１以上のプロセッサと、メモリと、１以上のプログラムを有し、前記１以上のプログラムは、前記メモリに格納され、前記１以上のプロセッサにより実行されるよう構成され、前記１以上のプログラムは、予め定義されたサイズのバッファ内に画像シーケンスを蓄積することであって、当該シーケンスの各画像は個別のスコアが関連付けられている、ことと、前記バッファ内の前記画像シーケンスの前記スコアを比較することと、前記比較に基づいて、前記画像シーケンスの画像を特定することと、更新されたシーケンスを取得するために、前記画像シーケンスから前記特定された画像を除去することと、前記ビデオストリームに前記更新された画像シーケンスを追加すること、のための命令を含む、システムが提供される。

【0079】

オプションとして、前記画像シーケンスは、ローリングシャッタ撮像装置によって取得される。

【0080】

オプションとして、前記画像シーケンスは、複数の画素行を同時に読み取るように構成されたグローバルシャッタ撮像装置によって取得される。

【0081】

オプションとして、前記画像シーケンスは、内視鏡撮像装置によって取得される。

【0082】

オプションとして、前記１以上のプログラムはさらに、前記特定された画像を前記画像シーケンス内の置換画像で置換すること、のための命令を含む。

【0083】

オプションとして、前記１以上のプログラムはさらに、前記画像シーケンス内の画像の各々について、前記個別の画像内の１以上のアーティファクトを特定することと、前記特定に基づいて、前記個別のスコアを前記画像に割り当てること、のための命令を含む。

【0084】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、前記画像内のラインを特定すること、を含む。

【0085】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、１以上の前の画像の平均値から前記画像の平均値への増加率を計算すること、を含む。前記増加率は、前記画像フレーム内の関心領域に関して計算され得る。

【0086】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、前の画像内の飽和画素の数から前記画像内の飽和画素の数への増加を計算すること、を含む。前記増加は、前記画像フレーム内の関心領域に関して計算され得る。

【0087】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、前記画像フレームの赤チャネル、青チャネル及び緑チャネルのうちの少なくとも２つの間の差を評価すること、を含む。

【0088】

オプションとして、前記画像内の１以上のアーティファクトを特定することは、訓練された機械学習アルゴリズムを用いて前記画像を処理すること、を含む。前記訓練された機械学習アルゴリズムはニューラルネットワークであり得る。

【0089】

オプションとして、前記画像フレーム内の１以上のアーティファクトを特定することは、前記画像フレームの視野絞り内における光量の増加量を検出すること、を含む。

【0090】

オプションとして、前記１以上のプログラムはさらに、前記バッファの前記予め定義されたサイズを自動的に調整すること、のための命令を含む。

【0091】

オプションとして、前記１以上のプログラムはさらに、光イベントの検出または外科用エネルギデバイスの作動の検出に応答して、前記バッファの前記予め定義されたサイズを自動的に増加すること、のための命令を含む。

【0092】

一態様によれば、内視鏡撮像装置を用いて画像を生成するシステムであって、シャッタ構成部品と、撮像装置であって、フレーム期間に、前記フレーム期間中に前記内視鏡撮像装置の画素アレイに電荷を蓄積し、予め定義された露光時間のｎ分の１以下だけシャッタ構成要素をｎ回停止して、光に前記シャッタを通過させ、前記ｎ回目の前記シャッタ構成要素の停止後、前記画素アレイに蓄積された電荷の読み取りから前記画像を生成する、よう構成された撮像装置と、を有する、システムが提供される。

【0093】

オプションとして、前記シャッタ構成要素は、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む。

【0094】

オプションとして、前記内視鏡撮像装置はローリングシャッタ撮像装置である。

【0095】

オプションとして、前記内視鏡撮像装置はグローバルシャッタ撮像装置である。

【0096】

オプションとして、前記シャッタの前記停止同士は、少なくとも前記予め定義された露光期間だけ離される。

【0097】

オプションとして、前記撮像装置は前記ｎの値を自動的に調整するよう構成される。前記ｎの値は１以上である。

【0098】

一態様によれば、光イベントから内視鏡撮像装置を遮蔽するためのシステムであって、シャッタと、撮像装置であって、前記光イベントを検出し、前記光イベントの検出に応答して、シャッタを作動させて、前記光イベントから前記内視鏡撮像装置のセンサを遮蔽する、よう構成された撮像装置と、を有する、システムが提供される。

【0099】

オプションとして、前記シャッタは、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタを含む。

【0100】

オプションとして、前記光イベントを検出することは、フォトダイオード検出器を介して前記光イベントを検出することを含む。

【0101】

オプションとして、前記光イベントは赤外光を含む。

【0102】

オプションとして、前記光イベントはレーザによって生成される。前記レーザはホルミウムレーザである。

【0103】

オプションとして、前記撮像装置は、予め定義された期間の後に前記シャッタを自動的に停止する、よう構成される。前記予め定義された期間は、約５００ｕｓ～１ｍｓであり得る。前記予め定義された期間は動的に調整可能である。

【0104】

オプションとして、前記撮像装置は、前記光イベントの不存在の検出に応答して、前記シャッタ構成要素を自動的に停止する、よう構成される。

【0105】

オプションとして、前記内視鏡撮像装置はローリングシャッタ撮像装置である。

【0106】

オプションとして、前記内視鏡撮像装置はグローバルシャッタ撮像装置である。

【0107】

一態様によれば、ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像する方法であって、前記方法は、前記ローリングシャッタ撮像装置の複数の画素行を、最初の行から最後の行まで順次リセットすることと、液晶シャッタを閉状態から開状態に遷移させることと、前記液晶シャッタが前記開状態に遷移された後であって前記最後の行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって照明光で前記被検体の前記組織を照明することと、前記照明期間の終了後、前記画素行において前記蓄積された電荷を前記最初の行から前記最後の行まで順次読み取ることと、記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成することと、前記画像フレームを前記ビデオストリームに追加することと、を含む、方法が提供される。

【0108】

オプションとして、前記照明期間は、前記最後の行がリセットされたときから前記最初の行が読み取られるときまでの期間の少なくとも一部である。

【0109】

オプションとして、前記照明期間は、前記最後の行がリセットされるときに開始する。

【0110】

オプションとして、前記複数の画素行は、同じ時間露光されて前記画像を生成する。

【0111】

オプションとして、前記方法は、前記照明期間の終了後に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始すること、をさらに含む。

【0112】

オプションとして、前記方法は、前記照明期間の終了時に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始すること、をさらに含む。

【0113】

オプションとして、前記方法は、前記照明期間の終了前に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始すること、をさらに含む。

【0114】

オプションとして、前記液晶シャッタは、垂直同期パルスに基づくタイマデバイスを用いて開かれる、または閉められる。

【0115】

オプションとして、前記液晶シャッタは、撮像されたシーンの１以上の特性に基づいて開かれる、または閉められる。オプションとして、前記撮像されたシーンの前記１以上の特性は、前記撮像されたシーンの明るさ及び／またはモダリティを含むことができる。

【0116】

オプションとして、前記照明光は少なくとも１つのＬＥＤによって生成される。

【0117】

オプションとして、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である。

【0118】

オプションとして、前記ローリングシャッタ撮像装置は、フレキシブルスコープ及び／またはチップオンティップスコープの一部である。

【0119】

一態様によれば、ビデオストリームを提供するために被検体の組織を撮像するシステムであって、前記システムは、照明光源と、ローリングシャッタ撮像装置を有する撮像装置と、を有し、前記撮像装置は、前記ローリングシャッタ撮像装置の複数の画素行を、最初の行から最後の行まで順次リセットし、液晶シャッタを閉状態から開状態に遷移させ、前記液晶シャッタが前記開状態に遷移された後であって前記最後の行のリセット後、前記複数の画素行に電荷を蓄積するために、照明期間にわたって前記照明光源で前記被検体の前記組織を照明し、前記照明期間の終了後、前記画素行において前記蓄積された電荷を前記最初の行から前記最後の行まで順次読み取り、前記順次読み取られた前記複数の画素行において蓄積された電荷から画像フレームを生成し、前記画像フレームを前記ビデオストリームに追加する、よう構成される、システムが提供される。

【0120】

オプションとして、前記照明期間は、前記最後の行がリセットされたときから前記最初の行が読み取られるときまでの期間の少なくとも一部である。

【0121】

オプションとして、前記照明期間は、前記最後の行がリセットされるときに開始する。

【0122】

オプションとして、前記複数の画素行は、同じ時間露光されて前記画像を生成する。

【0123】

オプションとして、前記撮像装置はさらに、前記照明期間の終了後に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始する、よう構成される。

【0124】

オプションとして、前記撮像装置はさらに、前記照明期間の終了時に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始する、よう構成される。

【0125】

オプションとして、前記撮像装置はさらに、前記照明期間の終了前に、前記液晶シャッタの前記開状態から前記閉状態への遷移を開始する、よう構成される。

【0126】

オプションとして、前記液晶シャッタは、垂直同期パルスに基づくタイマデバイスを用いて開かれる、または閉められる。

【0127】

オプションとして、前記液晶シャッタは、撮像されたシーンの１以上の特性に基づいて開かれる、または閉められる。オプションとして、前記撮像されたシーンの前記１以上の特性は、前記撮像されたシーンの明るさ及び／またはモダリティを含むことができる。

【0128】

オプションとして、前記照明光源は少なくとも１つのＬＥＤを有する。

【0129】

オプションとして、前記ローリングシャッタ撮像装置は、内視鏡撮像装置の一部である。

【0130】

オプションとして、前記ローリングシャッタ撮像装置は、フレキシブルスコープ及び／またはチップオンティップスコープの一部である。

【図面の簡単な説明】

【0131】

以下、添付の図面を参照しながら、例示として本発明を説明する。

【図1】図１は、いくつかの例に係る内視鏡カメラシステムの図である。

【図2】図２は、いくつかの例に係る、図１の内視鏡カメラシステムの一部分及び撮像のための標的物体の図である。

【図3】図３は、いくつかの例に係る、撮像システムのブロック図である。

【図4A】図４Ａは、いくつかの例に係る、「グローバルシャッタ」期間を有するローリングシャッタ撮像センサで、意図しない／望ましくない光イベントがどのようにアーティファクトを生成し得るかを示す図である。

【図4B】図４Ｂは、いくつかの例に係る、２つの画像フレームにおける例示的なアーティファクトを示す。

【図5】図５は、いくつかの例に係る、ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像するための例示的な方法を提供する。

【図6A】図６Ａは、いくつかの例に係る、「同期フレームリセット」機能を有するローリングシャッタ撮像センサを用いて、どのようにアーティファクトを低減または除去することができるかを示した図である。

【図6B】図６Ｂは、いくつかの例に係る、画像フレーム中の例示的なアーティファクトを示す。

【図7】図７は、いくつかの例に係る、Ｎが３に等しい例示的なＮフレームバッファを示す。

【図8A】図８Ａは、いくつかの例に係る、光イベントが露光期間にどのように影響を与え得るかを示す。

【図8B】図８Ｂは、いくつかの例に係る、画像フレームに対する光イベントの影響を緩和するためのシャッタの使用を示す。

【図9】図９は、いくつかの例に係る、撮像装置の撮像経路における意図しない／望ましくない光イベントを遮断するための例示的なシャッタを示す。

【図10】図１０は、いくつかの例に係る、画像フレーム内のアーティファクトを低減するためのローリングシャッタ撮像センサの別の例示的な動作を示す。

【発明を実施するための形態】

【0132】

ここで、本明細書に記載されるシステム及び方法の様々な態様及び変形例の実装及び例について、詳細に説明する。本明細書では、システム及び方法のいくつかの例示的なバリエーションが説明されるが、システム及び方法の他のバリエーションは、説明された全てまたはいくつかの態様の組み合わせを有する、任意の適切な方式で組み合わせられた、本明細書に記載のシステム及び方法の態様を含み得る。以下、添付図面を参照して例をより十分に説明するが、これらは異なる形態で実施され得、本明細書に記載された実施例に限定されるものと解釈すべきではない。むしろ、これらの例は、本開示が徹底的かつ完全となり、例示的な実装を当業者に十分に伝えるように提供される。

【0133】

本明細書では、医療用撮像のための例示的なデバイス、装置、システム、方法、及び非一時的な記憶媒体が開示される。より一般的には、意図しない／望ましくない光イベントによって引き起こされるアーティファクトを低減または除去するための例示的なデバイス、システム、及び方法が開示される。システム、デバイス、及び方法は、内視鏡撮像処置等において、対象の組織を撮像するために使用され得る。撮像は、術前、術中、術後、及び画像診断セッション、及び処置中に行われ得る。撮像方法自体は、体内の管腔内への内視鏡撮像装置の挿入を除外してもよい。内視鏡撮像装置は、撮像方法の前に管腔内に挿入されてもよい。撮像方法自体は、任意の侵襲的な外科的ステップを除外してもよい。

【0134】

本技術のいくつかは、特定のタイプの撮像装置（例えば、ローリングシャッタ撮像装置、グローバルシャッタ撮像装置）に関して開示されるが、技術は任意のタイプの撮像装置にも適用され得ることを理解されたい。さらに本技術は、非外科的または非医学的使用に適用することができる。

【0135】

例示的なシステムは、「同期フレームリセット」機能を有し得る。この機能を有するローリングシャッタ撮像装置では、同期フレームリセット機能を用いて、撮像センサ内の画素の全ての行は、同時にまたは短い（例えば、ローリングシャッタのラインごとのオフセット期間よりも短い）時間内にリセットされ得る。その後、同期フレームリセットと最初の行の読み取りまでの間の時間よりも短い照明期間、画素の行は照明され、同時に同じ時間分画素の行に電荷が蓄積し、グローバルシャッタ効果を達成される。蓄積された電荷は次に、画像フレームを生成するために、最初の行から最後の行まで順次読み出される。その後、画像フレームをビデオストリームに追加することができる。同期フレームリセット機能は、光がセンサに蓄積する期間をフレーム期間未満に短縮するため、光イベントの影響を大幅に低減することができる。同期フレームリセットの前に発生する意図しない／望ましくない光イベントは、画像フレームに影響を与えない。いくつかの例では、同期フレームリセットステップは、衝撃的な光イベントを約４６％除去する。

【0136】

例示的な撮像システムは、画像フレーム内のアーティファクトを検出するための様々な技術を含み得る。これらの技術は、画像フレーム内の水平線を検出すること、連続する画像フレーム内の平均値の増加率を検出すること、連続する画像フレーム内の飽和画素の増加を検出すること、カラーチャネル間の不一致を検出すること、機械学習モデルを使用すること、視野絞り領域内の光量の増加を検出すること、またはそれらの任意の組合せを含み得る。いくつかの例では、上述の特性を検出するように構成された機械学習モデルを含む、機械学習モデルが画像フレーム内のアーティファクトを検出するために使用され得る。

【0137】

例示的なシステムは、ｎサイズのバッファを使用することができる。撮像システムによってキャプチャされたフレームシーケンスは、バッファに蓄積され得る。バッファに蓄積された各画像は、それぞれのスコアに関連付けることができる。スコアは、画像が光イベントに損なわれる可能性がどの程度あるかを示す。スコアの比較に基づいて、画像シーケンスにおいて画像フレームはドロップされ、置換され得る。有利には、Ｎフレームバッファが誤検出を低減し、低いドロップカウントを維持することができる。

【0138】

例示的なシステムは、シャッタ（例えば、液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、電気メカニカルシャッタ）を含み得る。シャッタは、行の順次読み出し中に発生する光イベントの影響を排除するために、ローリングシャッタ撮像装置と共に使用されて、照明期間後の光（従って、任意の意図しないまたは望ましくない光イベント）を遮断することができる。パルス幅制御を有するシャッタを使用して、露光時間を複数のより短い期間に分割し、光イベントによるフレームへの影響を低減することができる。シャッタはまた、カメラとの通信なしにスタンドアロンデバイスとして動作させることができ、光イベントが検出されたときに撮像経路からの光を遮断することができる。

【0139】

本明細書に記載される技術のいずれも、その感度／攻撃性の点で、起動、停止、または調整され得る。いくつかの例では、技術は光イベントの検出及び／または外科エネルギデバイスの活性化の検出に応答して、起動され得るか、またはその感度が増加され得る。検出は、本明細書に記載されるように多数の方法で実施することができる。

【0140】

上述したような様々な例において、照明光は、シーンに適切な量の照明を提供するためにパルス幅変調を使用して変調され得る。撮像システムは、１以上の撮像センサが最適に露光されるように光の量を制御してもよく、１以上の前のフレーム中のセンサにおける強度に基づいてそのようにしてもよい。

【0141】

以下の説明では、以下の説明で使用される単数形の「a」、「an」、及び「the」は、文脈上明らかに別の意味を持つ場合を除き、複数形も含むことが意図されていることも理解されるべきである。また、本明細書で使用される「及び／または」との文言は、関連する列挙された項目の１以上及び全ての組み合わせを意味し、包含していることも理解されるべきである。さらに、「含む（includes）」、「含むこと（including）」、「有する（comprises）」、及び／または「有すること（comprising）」との文言は、本明細書で使用される場合、言及される特徴、整数、工程、動作、要素、構成要素、及び／またはユニットの存在を特定するが、１以上の他の特徴、整数、工程、動作、要素、構成要素、ユニット、及び／またはそれらのグループの存在または追加を排除するものではないことも理解されるべきである。

【0142】

本開示の特定の態様は、本明細書に記載される処理工程及び命令をアルゴリズムの形で含む。本開示の処理工程及び命令は、ソフトウェア、ファームウェア、またはハードウェアで実施することができ、ソフトウェアで実施される場合、様々なオペレーティングシステムにより使用される異なるプラットフォーム上に存在し、当該異なるプラットフォームから動作されるようにダウンロードすることができることに留意されるべきである。以下の説明から明らかなように、特に明記しない限り、本明細書の全体を通して、「処理（processing）」、「演算（computing）」、「計算（calculating）」、「判断（determining）」、「表示（displaying）」、「生成（generating）」等の文言を使用する説明は、コンピュータシステムメモリまたはレジスタ、あるいは、他のそのような情報記録装置、送信装置または表示装置内の、物理的（電子的）量として表されるデータを操作及び変換する、コンピュータシステムまたは同様の電子演算装置の動作及び処理を指すことが理解される。

【0143】

いくつかの例における本開示は、本明細書で述べる動作を実行するための装置にも関する。当該装置は、必要な目的のために特別に構成されたものであってもよいし、コンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むものであってもよい。このようなコンピュータプログラムは、フロッピー（登録商標）ディスク、ＵＳＢフラッシュドライブ、外付けハードドライブ、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、特定用途向け集積回路（ＡＳＩＣ）を含む任意のタイプのディスク、または電子命令の格納に適した任意のタイプの媒体等（これらに限定されない）の、非一時的なコンピュータ可読記録媒体に格納され、それぞれがコンピュータシステムバスに結合されていてもよい。さらに、明細書で言及されるコンピュータは、単一のプロセッサを含んでもよいし、演算能力を増大させるために複数プロセッサ設計を採用した構造であってもよい。

【0144】

本明細書に記載される方法、装置及びシステムは、特定のコンピュータまたは他の装置に本質的に関連するものではない。また、種々の汎用システムが、本明細書の教示に従ったプログラムに使用されるものであってもよいし、必要な方法工程を実行するために、より特殊な装置を構築することが便利であることが証明され得る。これらの様々なシステムに必要な構造は、以下の説明から明らかになる。さらに、本発明は、任意の特定のプログラミング言語を参照して説明されるものではない。本明細書に記載される本発明の教示を実施するために、種々のプログラミング言語が使用され得ることは理解されよう。

【0145】

図１は、内視鏡処置に利用され得るスコープアセンブリ１１を含んだ内視鏡撮像システム１０の例を示す。スコープアセンブリ１１は、カメラヘッド１６の遠位端に配置されたカプラ１３によってカメラヘッド１６に結合された、内視鏡またはスコープ１２を内蔵している。光は、光ファイバケーブルのような光ガイド２６を介して、光源１４によってスコープに供給される。カメラヘッド１６は、電気ケーブル１５によってカメラ制御ユニット（ＣＣＵ）１８に結合されている。ＣＣＵ１８は、光源１４に接続され、通信する。カメラ１６の動作は、ＣＣＵ１８により部分的に制御される。ケーブル１５は、カメラヘッド１６からＣＣＵ１８に動画像及び／または静止画像データを伝送し、カメラヘッド１６とＣＣＵ１８との間で種々の制御信号を双方向に伝送し得る。

【0146】

制御またはスイッチ配列１７は、ユーザがシステム１０の様々な機能を手動で制御することを可能にするためにカメラヘッド１６に設けられ得、これはさらに後述するように、１つの撮像モードから別の撮像モードへのスイッチを含んでもよい。音声コマンドは、施術者によって装着されるヘッドセットに２７に取り付けられ、音声制御ユニット２３に結合されたマイクロフォン２５に入力されてもよい。タッチスクリーン・ユーザインタフェースを有するタブレットまたはＰＤＡ等のハンドヘルド制御装置２９が、さらなる制御インタフェースとして音声制御ユニット２３に接続されてもよい。図示の例では、レコーダ３１及びプリンタ３３もＣＣＵ１８に接続されている。画像キャプチャ及びアーカイブ装置等の追加装置が、システム１０に含まれ、ＣＣＵ１８に接続されてもよい。カメラヘッド１６により取得され、ＣＣＵ１８により処理されたビデオ画像データは、モニタ２０に表示され、レコーダ３１により記録され、及び／または静止画像を生成するために使用され得る画像に変換され、そのハードコピーがプリンタ３３により生成できる。

【0147】

図２は、患者の手術部位等の対象物１を照射し、そこから光を受光するために使用される内視鏡システム１０の一部の例を示す。対象物１は、例えば患者が蛍光造影剤を投与された結果として、蛍光マーカ２を含み得る。蛍光マーカ２は、例えばインドシアニングリーン（ＩＣＧ）で構成され得る。

【0148】

光源１４は、対象物１の可視（例えば、白色光）画像を生成するための可視照明光（赤色光、緑色光、及び青色光の任意の組み合わせ等）を生成することができ、また、蛍光画像を生成するために対象物内の蛍光マーカ２を励起するための蛍光励起照明光を生成することができる。照明光は、光パイプ２４上に光を集束させる光学レンズシステム２２に伝送され、通過する。光パイプ２４は、均一な光を生成することができ、当該光は光ファイバ光ガイド２６に伝送される。光ガイド２６は、複数の光ファイバを含み、内視鏡１２の一部である光ポスト２８に接続され得る。内視鏡１２は、照明経路１２’及び光チャネル経路１２’’を含む。

【0149】

内視鏡１２は、対象物１内の蛍光マーカ２が発する蛍光発光光（例えば、８３０ｎｍ～８７０ｎｍの波長範囲）の一部または全部（好ましくは少なくとも８０％）を通過させ、対象物１で反射された可視照明光等の可視光（例えば、４００ｎｍ～７００ｎｍの波長範囲）の一部または全部（好ましくは少なくとも８０％）を通過させる一方で、対象物１内の蛍光マーカ２からの蛍光発光を励起するために使用される蛍光励起光（例えば、８０８ｎｍの波長を有する赤外光）の実質的に全部を遮断するノッチフィルタ１３１を含んでもよい。ノッチフィルタ１３１は、ＯＤ５以上の光学濃度を有し得る。いくつかの例では、ノッチフィルタ１３１は、カプラ１３内に配置され得る。

【0150】

図３は、いくつかの例に係る、患者の標的組織等の対象物の画像（例えば、静止画及び／またはビデオ）を生成するために電子撮像装置３０２を採用する例示的な撮像システム３００を概略的に示す。撮像装置３０２は、ローリングシャッタ撮像装置（例えば、ＣＭＯＳセンサ）またはグローバルシャッタ撮像装置（例えば、ＣＣＤセンサ）であってもよい。システム３００は、例えば図１の内視鏡撮像システム１０に使用することができる。撮像装置３０２は、画素の行３０８及び画素の列３１０に配置された画素３０５のアレイを有するＣＭＯＳセンサ３０４を含む。撮像装置３０２は、ＣＭＯＳセンサ３０４によって生成された信号を制御する制御構成要素３０６を含み得る。制御構成要素の例は、センサ３０４の各画素に入射する光を示すマルチビット信号を生成するためのゲイン回路、１以上のアナログ／デジタル変換器、バッファとして機能してセンサ３０４に駆動電力を供給するための１以上のラインドライバ、行回路、及びタイミング回路を含む。タイミング回路は、バイアス回路、クロック／タイミング生成回路、及び／または発振器等の構成要素を含み得る。行回路は、画素の行３０８のアドレス指定、画素の列３１０のアドレス指定、画素の行３０８上の電荷のリセット、画素３０５の露光の有効化、信号の復号、信号の増幅、アナログ／デジタル信号変換、タイミング信号、読み出し信号及びリセット信号の適用、並びに他の適切なプロセスまたはタスク等の、１以上の処理及び／または動作タスクを可能にし得る。撮像装置３０２はまた、例えば、撮像センサ３０４の露光を制御するため、及び／または撮像センサ３０４で受光される光の量を制御するために使用され得るメカニカルシャッタ３１２を含み得る。

【0151】

１以上の制御構成要素は、センサ３０４が一体化される同一の集積回路に一体化されてもよく、または別個の構成要素であってもよい。撮像装置３０２は、システム１０のカメラヘッド１６等の撮像ヘッドに組み込まれてもよい。

【0152】

行回路及びタイミング回路等の１以上の制御構成要素３０６は、システム１０のカメラ制御ユニット１８等の撮像コントローラ３２０に電気的に接続され得る。撮像コントローラ３２０は、１以上のプロセッサ３２２及びメモリ３２４を含み得る。撮像コントローラ３２０は、撮像装置行読み出しを受信し、読み出しタイミング及びメカニカルシャッタ動作を含む他の撮像装置動作を制御することができる。撮像コントローラ３２０は、撮像装置３０２からの行及び／または列読み出しから、ビデオフレーム等の画像フレームを生成し得る。生成されたフレームは、外科医等のユーザに表示するためにディスプレイ３５０に提供され得る。

【0153】

本例のシステム３００は、対象シーンを照明するための光源３３０を含む。光源３３０は、撮像コントローラ３２０によって制御される。撮像コントローラ３２０は、光源３３０によって提供される照明のタイプ（例えば、白色光、蛍光励起光、またはその両方）、光源３３０によって提供される照明の強度、及び／またはローリングシャッタ動作に同期した照明のオン／オフ時間を決定し得る。光源３３０は、第１の波長の光を生成するための第１の光発生器３３２と、第２の波長の光を生成するための第２の光発生器３３４とを含み得る。例えば、いくつかの例では、第１の光発生器３３２は白色光発生器であって複数の別個の光発生構成要素（例えば、異なる色の複数のＬＥＤ）から構成されてもよく、第２の光発生器３３４はレーザダイオード等の蛍光励起光発生器である。

【0154】

光源３３０は、光発生器の光出力を制御するためのコントローラ３３６を含む。コントローラ３３６は、光源３３０によって提供される光の強度を変調するために、光発生器のパルス幅変調を提供するように構成されてもよく、これはオーバー露光及びアンダー露光を管理するために使用することができる。いくつかの例では、各発生器の公称電流及び／または電圧は一定のままであり、光強度はパルス幅制御信号に従って光発生器（例えば、ＬＥＤ）のオン及びオフを切り替えることによって変調される。いくつかの例では、ＰＷＭ制御信号が撮像コントローラ３３６により提供される。この制御信号は、光発生器の所望のパルス幅変調動作に対応する波形とすることができる。

【0155】

撮像コントローラ３２０は、光源３３０に要求される照明強度を決定するように構成され、光源３３０に通信されるＰＷＭ信号を生成し得る。いくつかの例では、センサ３０４で受光された光の量及び積分時間に応じて、光源は、対象シーンにおける照明光の強度を変更するために、異なるレートでパルス化され得る。撮像コントローラ３２０は、現在のフレーム及び／または１以上の前のフレームにおいてセンサ３０４で受光された光の量に基づいて、後続のフレームに必要な照明光強度を決定してもよい。いくつかの例では、撮像コントローラ３２０は、（画素における光の量を増加／減少するために）光源３３０のＰＷＭを介して、（画素における光の量を増加／減少するために）メカニカルシャッタ３１２の動作を介して、及び／または、（画素における光の量を増加／減少させるために）ゲインの変化を介して、画素強度を制御することができる。いくつかの例では、撮像コントローラ３２０は、シャッタを開いたまま（または少なくともシャッタを動作させないまま）、ゲインレベルを維持しながら画素強度を制御するために、照明源のＰＷＭを使用する。コントローラ３２０は、光強度が最大または最小であり、さらなる調整が必要である場合に、シャッタ３１２を動作させ及び／またはゲインを変更し得る。

【0156】

（グローバルシャッタ及びローリングシャッタに影響を及ぼす望ましくない光イベント）
撮像中、意図しない及び／または望ましくない光イベントが発生し、画像にアーティファクトを生じることがある。例えば、泌尿器科処置において結石を除去するために使用できるレーザ手術ツールであるホルミウムレーザは、組織と相互作用するときに、短時間で強力な発光（例えば、可視またはＩＲ波長で）を生じ得る。光イベントは、本明細書で説明する図４Ｂのような、結果として得られる内視鏡画像にアーティファクトを生成し得る。緑色光レーザ及びＲＦプローブのような他の組織切除デバイスは、同様のアーティファクトを引き起こし得る。光イベントの持続時間、繰り返し率、及び振幅は、エネルギデバイスに依存し得る。

【0157】

意図しない／望ましくない光イベントは、グローバルシャッタを有するセンサ（例えば、ＣＣＤセンサ）及びローリングシャッタを有するセンサ（例えば、ＣＭＯＳセンサ）の両方による撮像に影響を及ぼし得るが、アーティファクトは、ローリングシャッタを用いる際により顕著になり得る。グローバルシャッタ撮像センサでは、センサアレイの全ての画素が同時に露光され、センサアレイは露光ウィンドウの間の光にのみ感応する。故に、意図しない／望ましくない光イベントは、光イベントが露光ウィンドウと一致する場合にのみアーティファクトを生じる。例えば、６０ヘルツのフレームレートでは、１フレームは１６．６ミリ秒周期でキャプチャされる。センサアレイが１６．６ミリ秒周期のわずか１ミリ秒だけ露光される場合、意図しない／望ましくない光イベントは、１ミリ秒の露光ウィンドウ中に発生する場合にのみ、フレームにアーティファクトを生じさせる。このため、グローバルシャッタ撮像センサでは、ローリングシャッタ撮像センサよりもアーティファクトが発生する頻度が低くなり得る。

【0158】

さらに、グローバルシャッタ撮像センサは、意図しない／望ましくない光イベントにより引き起こされるアーティファクトをさらに軽減できる、インターレース走査を提供し得る。インターレース走査の間、水平画素行の半分（例えば、偶数番の行）は、１サイクルでキャプチャされ、残りの半分（例えば、奇数番の行）は次のサイクルでキャプチャされるため、１フレームをキャプチャするためには２回の完全な走査が必要である。従って、意図しない／望ましくない光イベントが１サイクル中に発生した場合、当該フレームの半分にしか影響が及ばない。この追加的な理由により、グローバルシャッタ撮像センサでは、アーティファクトがさほど顕著にならない可能性がある。

【0159】

しかしながら、ローリングシャッタ撮像センサでは、アーティファクトはより頻繁に、より顕著になり得る。図４Ａは、「グローバルシャッタ」期間を有する例示的なローリングシャッタ撮像センサで、意図しない／望ましくない光イベントがどのようにアーティファクトを生成し得るかを示す。図示のシステムにおいて、対象シーン（例えば、患者の標的組織）への照明は、以下に説明されるように、（１つまたは複数の）撮像センサの画素について、長い積分時間を有するグローバルシャッタタイプ効果を生じさせるよう制御される。図４Ａは、意図しない／望ましくない光イベントがグローバルシャッタ期間を有するローリングシャッタ撮像センサの動作にどのように影響するかを示しているが、光イベントは、任意のローリングシャッタ撮像センサ及びグローバルシャッタ撮像センサの動作に影響を与える。

【0160】

図４Ａは、画素行のリセット及び読み出しの相対的なタイミングを示す時間スケールにおける、ローリングシャッタ撮像センサの例示的な動作を示す。図示のように、撮像センサは、公称フレームレート１２０ｆｐｓ（即ち、フレーム当たり８．３ミリ秒）に従って駆動される。しかし、可能なフレーム期間ごとにセンサの画素の行を読み出すのではなく、１つおきのフレーム期間ごとに行を読み出すことで、センサ画素がより長い期間（即ち、公称フレームレートの実質２フレーム期間）にわたって積分することを可能にする。「グローバルシャッタ」ウィンドウと呼ばれるより長い積分期間は、影を付した平行四辺形４０２によって示される。センサアレイは、１６．６ミリ秒のグローバルシャッタウィンドウ全体にわたって感応する。従って、影を付した平行四辺形４０２は、１つの単一フレームの露光を表す。グローバルシャッタ期間中、ウィンドウ４０４の間に照明が提供されるため、全ての画素の行が同時に照明され、結果として得られる画像フレームにはローリングシャッタ効果が実質的になくなる。ローリングシャッタ撮像センサのさらなる詳細は、２０２０年１月１６日に出願された「SYSTEMS AND METHODS FOR MEDICAL IMAGING USING A ROLLING SHUTTER IMAGER」という名称の米国特許出願第１６／７４５１５４号で見つけることができ、その内容は、参照によりその全体が組み込まれる。

【0161】

図４Ａを参照すると、意図しない／望ましくない光イベントが発生した場合、１以上のフレームにアーティファクトが生じる確率は１００％である。例えば、光イベント２のような、時間期間４０６（即ち、最後の行のリセットから最初の行の読み出しまで）に発生する任意の光イベントは、望ましくないことに、現在のフレームの全ての行を照明するため、現在のフレームにおいてアーティファクト（例えば、ブローアウト）を生じさせる。別の例として、光イベント１のような、時間期間４０６外の平行四辺形４０２内で発生する任意の光イベントは、望ましくないことに、現在のフレームのいくつかの行及び隣接する前のフレームのいくつかの行を照明するため、図４Ｂに示されるように、２つのフレームにアーティファクト（例えば、水平線）を生じさせる。換言すれば、意図しない／望ましくない光イベントがいつ発生するかに依らず、１以上のフレームにアーティファクトが現れる確率は１００％である。これは、光イベントが露光ウィンドウ（例えば、１６．６ミリ秒のうちの１ミリ秒）に並んだときにのみアーティファクトが現れるグローバルシャッタ撮像センサよりも著しく高い確率である。

【0162】

図４Ａは、意図しない／望ましくない光イベントがグローバルシャッタ期間を有するローリングシャッタ撮像センサの動作にどのように影響するかを示しているが、光イベントは、上述したような任意のローリングシャッタ撮像センサ及びグローバルシャッタ撮像センサの動作に影響を与える。さらに、意図しない／望ましくない光イベントは、白色光フレーム及び蛍光画像フレームを含む様々なタイプのフレームに影響を及ぼし得る。

【0163】

（画像フレーム内のアーティファクトを低減する方法）
図５は、ビデオストリームを提供するためにローリングシャッタ撮像装置を使用して被検体の組織を撮像するための例示的な方法を提供する。方法５００により、画像フレームは、アーティファクトが低減または除去されて生成される。方法５００は、システム３００のローリングシャッタ撮像装置３０２等のローリングシャッタ撮像装置と、システム３００の光源３３０等の光源とを有する、図３の撮像システム３００等の撮像システムによって実行され得る。処理５００において、いくつかのブロックは任意選択的に組み合わされ、いくつかのブロックの順序は任意選択的に変更され、いくつかのブロックは任意選択的に省略される。いくつかの例では、追加のステップが処理５００と組み合わせて実行され得る。いくつかの例では、ブロックのサブセットは別々のプロセスで実行される、例えば、ブロック５０２～５０８及びブロック５１０～５１８は図５に共に示されているが、２つの別々のプロセスに属することができる。従って、図示される（及び以下でより詳細に説明される）動作は、本質的には例示的なものであり、そのようなものとして限定的であると見なされるべきではない。

【0164】

ステップ５０２において、ローリングシャッタ撮像装置の複数の画素行はリセットされる。いくつかの例では、リセットは、ローリングシャッタ撮像装置の「同期フレームリセット」機能を介して実行される。同期フレームリセット機能により、複数の画素行に蓄積された電荷は、同時または短時間内にクリアされる。いくつかの例では、複数の画素行は、ローリングシャッタのラインごとのオフセット期間（例えば、図４Ａのライン１の開始とライン２の開始との間の期間）よりも短い期間内にリセットされる。しかしながら、グローバルシャッタ撮像装置とは異なり、複数の画素行の読み出しは、ローリングシャッタ撮像装置と同様に、時間オフセットを有する行ごとに順次実行される。いくつかのシステムでは、同期フレームリセット機能は、単一フレームの写真画像を生成するために、フラッシュライトを有するフォトカメラで使用されることが意図されている。しかしながら、方法５００では、同期フレームリセット特徴は、以下に説明するように、ビデオストリーム内の画像フレーム内のアーティファクトを低減または除去するための新規の構成において使用される。

【0165】

図６Ａは、いくつかの例による、方法５００を実施するローリングシャッタ撮像センサを示す。図６Ａは、画素行のリセット及び読み出しの相対的なタイミングを示す時間スケールにおける、ローリングシャッタ撮像装置の例示的な動作を示す。図４Ａの例と同様に、撮像センサは、公称フレームレート１２０ｆｐｓ（即ち、フレームあたり８．３ミリ秒）に従って駆動されるが、可能なフレーム期間ごとにセンサのピ画素行を読み取る代わりに、１つおきのフレーム期間ごとに行が読み出される。故に、２つのフレーム期間（即ち、１６．６ミリ秒期間）の間に、１回の行の読み出しのみが行われる。図６Ａを参照すると、時間０において、フレームの行１～Ｎのすべてが、６０７の同期フレームリセット機能を介してリセットされる。従って、時間０において、行１～Ｎのすべては共に露光を開始し、電荷を蓄積する。いくつかの例では、リセットは、すべての行にわたって同時に、または実質的に同時に（例えば、ローリングシャッタ撮像装置のラインごとのオフセット期間よりもより短く）行われる。

【0166】

図５に戻ると、ステップ５０４において、複数の画素行をリセットした後、被検体の組織は照明期間にわたって照明光で照明される。図６Ａを参照すると、時間０においてフレームの行１～Ｎが同期フレームリセット機能を介してリセットされた後、視野が照明され、行１～Ｎは、照明期間６０４中に視野から受光した光から電荷を蓄積する。いくつかの例では、照明期間にわたって照明光を提供するように照明器が制御され、例えば、コントローラはそれらが同期されるように、撮像センサ及び照明器を制御することができる。

【0167】

ステップ５０６では、複数の画素行に蓄積された電荷は、最初の行から最後の行まで順次読み出される。図６Ａを参照すると、６０８で示されるように、行１～Ｎに蓄積された電荷は、最初の行から最後の行まで行ごとに順次読み出される。

【0168】

いくつかの例では、同期フレームリセット機能は、同期フレームリセットのトリガと最初の行の読み出しとの間の時間を定義する、構成可能な定数パラメータ（「Ｇ＿ＥＸＰ」とも呼ばれる）を提供する。従って、照明期間は、最初の行の読み出しが照明期間中に発生せず、フレームのすべての画素が照明期間の全期間中に露光されるように、パラメータよりも短く（またはせいぜい等しく）設定される必要がある。図６Ａを参照すると、照明期間はＧ＿ＥＸＰよりも短く設定されており、従って、最初の行の読み出しは、照明期間の直後に行われるように設定されている。従って、最初の行が６０８で読み出されるとき、それは、照明期間６０４全体にわたって露光されていた。残りの行は、６０８で示されるように、順次読み出されるまで露出されたままである。行が読み出されている間、それらは照明されない（偶発的に発生する意図しない／望ましくない光イベントによる場合を除く）。従来のローリングシャッタでは、最後の行は、その読み出し時間が遅いため、最初の行よりも多くの光を得るが、図６Ａではすべての行が同時に受光を停止するため、これは緩和される。

【0169】

いくつかの例では、同期フレームリセット機能がトリガされた後、６０８において、最初の行の読み出しをトリガするために別個の信号が必要とされる。この別個の信号は、最初の行が読み出される前の照明期間の全体にわたってフレームの全ての画素が露光されるように、照明期間の終了時または終了後に発行される必要がある。

【0170】

図５に戻り、ステップ５０８において、複数の画素行における蓄積電荷の読み出しから画像フレームが生成される。図６Ａを参照すると、６０８で示されるように、行１～Ｎにおいて順次読み出された蓄積電荷から画像フレームが生成される。任意選択的に、行１～Ｎはその後リセットされる。

【0171】

方法５００を実施するいくつかの例では、２つのリセットは、各画像フレームが生成される前に２つの異なる時間に発生する。例えば、図６Ａの第２のフレームに関して、行１～Ｎの第１のリセットは第１のフレームの読み出し後の第１の時間６０８に発生し得、行１～Ｎの第２のリセット（即ち、同期フレームリセット）は第２の時間６１６に発生し、行１～Ｎの蓄積された電荷は、第３の時間６１８に読み出される。第１の時間６０８と第２の時間６１６の間では、行１～Ｎの読み出しは生じない。いくつかの例では、６０８におけるリセットはオプションである。

【0172】

同期フレームリセット機能を新規に使用する方法５００は、画像フレームに対する望ましくない／意図しない光イベントの影響を大幅に低減することができる。まず同期フレームリセット時間の前に発生する任意の光イベントは、フレームに影響を及ぼさない。例えば、図６Ａの光イベント２を考える。光イベント２は、最初のフレームの読み出し後、２番目のフレームの同期フレームリセット前に発生するため、いずれのフレームにも影響を及ぼさない。実際、ウィンドウ６０６で発生するいかなる光イベントも、いずれの画像フレームにも影響を及ぼさない。

【0173】

さらに、フレームが露光されているときに光イベントが発生したとしても、光イベントは１つのフレームにしか影響を与えない。例えば、図６Ａの光イベント１を考える。光イベント１は、第２のフレームの同期フレームリセットの前に発生するので、図６Ｂに示すように、第１のフレームにのみ影響を与え、第２のフレームには影響を与えない。従って、光イベント１及び光イベント２は、合計で１フレームに影響を及ぼす。対照的に、同期フレームリセット機能なしの図４Ａに示される例では、光イベント１及び光イベント２は合計で３つのフレームに影響を及ぼす。いくつかの例では、図６Ａに示されるような同期フレームリセット特徴は、衝撃的な光イベントを約４６％除去する。

【0174】

いくつかの例によれば、撮像装置は、任意の適切なフレームレート用に構成され得る。例示的なフレームレートは、少なくとも２５ｆｐｓ、少なくとも３０ｆｐｓ、少なくとも５０ｆｐｓ、少なくとも６０ｆｐｓ、少なくとも１００ｆｐｓ、少なくとも１２０ｆｐｓ、少なくとも２００ｆｐｓ、及び少なくとも２４０ｆｐｓを含む。グローバルシャッタウィンドウ時間及び／または拡張された垂直ブランキング時間は、一般に、撮像装置のフレームレート能力に関連しており、より速いフレームレートは、より短いグローバルシャッタウィンドウ時間及び／またはより短い拡張された垂直ブランキング時間に関連する。

【0175】

図５に戻り、ステップ５１０で、システムは画像フレームが１以上の基準を満たすか否かを判定する。上述したように、同期フレームリセット機能はすべての光イベント（例えば、図６Ａの光イベント１）の影響を排除しない場合がある。従って、ステップ５１０は、欠陥のある画像フレームを特定し、欠陥のある画像フレームをビデオストリームから除外するために実行され得る。

【0176】

いくつかの例では、ステップ５１０は、ステップ５１２において画像フレーム内の１以上のアーティファクトを特定することを含む。画像フレーム内のアーティファクトを特定するための例示的な技術を以下に提供する。

【0177】

いくつかの例では、画像フレーム内の１以上のアーティファクトを特定することは、画像フレーム内の水平線または垂直線を特定することを含む。図６Ｂに示されるように、アーティファクトは、より暗い上部からより明るい下部への色変化を描写する水平線を含み得る。色変化は、行の順次読み出し中に発生した光イベント（例えば、図６Ａの光イベント１）によって引き起こされる。水平線は、画像内のどこにでも現れ得る。センサが回転される代替例では、アーティファクト線が異なる角度（例えば、垂直）を有し得る。いくつかの例では、計算は関心領域に関して行われ得る。

【0178】

いくつかの例では、画像フレーム内のラインを検出するためにソーベルフィルタが使用される。ソーベルフィルタは、水平線及び／または暗から明への遷移にさらに焦点をあてるように変更することができる。例示的なソーベル畳み込みは、[1 2 3 2 1; 0 0 0 0 0; -1 -2 -3 -2 -1]とすることができる。畳み込みは、画像フレームの輝度チャネルに適用することができる。ソーベル畳み込みが適用された後、ソーベル画像は正の遷移のみが考慮され、ノイズフロアが除去されるように、閾値（例えば、８ビットのｙチャネルでの２０）よりも低い全ての値を除去するように処理され得る。ソーベル画像は平均値を用いて２値化され、そしてライン内のアクティブ画素の個数がカウントされ得る。次いで、システムは、ｙ軸に沿ってアクティブ画素カウントを微分することができる。いくつかの例では、フィルタ（例えば、ガウシアンカーネル[0.25 0.5 0.25]）が適用され、そして、最小値及び最大値が決定され得る。最小値と最大値との間の差（即ち、最大／最小勾配）が閾値を上回る場合、水平線が検出される。画像フレーム内のラインを検出するための他の技術（例えば、他のタイプのフィルタを使用する）を使用可能であることは理解されるべきである。

【0179】

いくつかの例では、画像フレーム内の１以上のアーティファクトを特定することは、１以上の前の画像フレームの平均値から画像フレームの平均値までの増加率を計算することを含む。全ての光イベントが画素の飽和を引き起こすわけではないが、平均値の増加の勾配を分析することで、多くのイベントは依然として検出できる。いくつかの例では、画像フレームの平均値は、画像フレームのすべての画素の平均値である。次いで、画像フレームの平均値の偏差（ΔＭｅａｎとして示される）は、前の画像フレームと画像フレームの平均値の差として計算できる。そして、ΔＭｅａｎの偏差(ΔΔＭｅａｎとして示される）は、最後の良好なフレームのΔＭｅａｎと現在の画像フレームのΔＭｅａｎとの差を、その間のフレームの数で除したものとして計算できる。ΔΔＭｅａｎが予め定義された閾値よりも大きい場合、その画像フレームは、アーティファクトを有すると判定できる。いくつかの例では、計算は関心領域に関して行われ得る。いくつかの例では、平均値を使用するのではなく、システムは、中央値または修正された中央値（例えば、閾値を上回る暗さを有する画素を計算から除外する中央値）を使用して計算を実行することができる。

【0180】

画像フレーム内の１以上のアーティファクトを特定することは、前の画像フレーム内の飽和画素の数から画像フレーム内の飽和画素の数への増加を計算することを含むことができる。１つのフレームから別のフレームへの飽和画素の大幅な増加（プリゲイン）は、光イベントを示し得る。いくつかの例では、新たに飽和した画素（例えば、ある閾値を上回るすべての画素）の数がフレーム中で検出され得、最後の良好なフレームとの差が決定される。差が予め定義された閾値よりも大きい場合、画像フレームはアーティファクトを有すると判定できる。いくつかの例では、計算は関心領域に関して行われ得る。

【0181】

画像フレーム内の１以上のアーティファクトを特定することは、色情報に基づくことができる。例えば、特定は、画像フレームの赤チャネル、青チャネル、及び緑チャネルのうちの少なくとも２つの間の差を評価することを含み得る。チャンネル間（例えば、赤と他のチャネルのうちの１つ以上との間）に予め定義された閾値を上回る差がある場合、画像フレームは、アーティファクトを有すると判定できる。いくつかの例では、計算が注目領域に関して行うことができる。

【0182】

画像フレーム内の１以上のアーティファクトを特定することは、訓練されたニューラルネットワーク等の訓練された機械学習アルゴリズムを使用して画像フレームを処理することを含み得る。アルゴリズムは、画像フレームを受信し、画像フレームをアーティファクトを有するものまたはアーティファクトを有さないものとして分類するように訓練することができる。

【0183】

画像フレーム内の１以上のアーティファクトを特定することは、光線が内視鏡の視野絞りによって遮られるために通常は受光しない、画像フレームの視野絞り領域内の画素に基づくことができる。光イベント中、ブローアウトは、撮像センサに衝突する迷光（例えば、内視鏡またはカメラ内の迷光反射による）が視野絞り領域内に延び、視野絞り領域内の光量の増加を引き起こすほど影響が大きくなり得る。図６Ｂに示されるように、影響を受けた画像フレーム内の視野絞り領域の下方部は、完全に暗い、影響を受けていない画像フレーム内の視野絞り領域よりも明るく表れる。故に、システムが視野絞り領域において予め定義された閾値を超える光量の増加を検出した場合、欠陥のある画像を特定することができる。

【0184】

いくつかの例では、フィルタ（例えば、ソーベルフィルタ）は、欠陥のある画像を特定するために、視野絞り領域内のラインを特定するように構成され得る。例えば、フィルタは、フレームの上部または下部付近のフレームの視野絞り領域内におけるより長いラインと、フレームの中央付近の視野絞り領域におけるより短いラインとを特定するように構成され得る。

【0185】

アーティファクトを検出するための上述の技術は、方法５００のステップ５１２において、任意に組み合わせたり、順序付けたり、及び省略したりすることができる。例えば、水平線または垂直線を検出することは、ローリングシャッタ撮像装置を使用してキャプチャされた画像フレームにのみ適用され得、一方、他の技術はローリングシャッタ撮像装置またはグローバルシャッタ撮像装置のいずれかを使用してキャプチャされた画像フレームに適用され得る。いくつかの例では、追加のステップが技術と組み合わせて実行され得る。従って、上述した技術は、本質的に例示的なものであり、そのようなものとして限定的であると見なされるべきではない。

【0186】

図５に戻り、いくつかの例では、ステップ５１０は、ステップ５１４においてフレームを予め定義されたサイズのバッファに配置することを含む。撮像装置によってキャプチャされたフレームシーケンスは、バッファに蓄積され得る。バッファに蓄積された各画像は、それぞれのスコアに関連付けることができる。スコアは、画像が光イベントに損なわれる可能性がどの程度あるかを示す。スコアは、画像フレーム内で検出されたアーティファクト（またはその欠如）に基づいて計算することができ、いくつかの例では、本明細書で説明する技術（例えば、水平線、画素の平均値等）の任意の組合せを使用して計算することができる。

【0187】

図７は、Ｎが３に等しい例示的なＮフレームバッファを示す。図示されるように、３つの画像フレームのシーケンスがバッファに蓄積される。３つの画像フレームは、それぞれスコア６０、９０、及び１０に関連付けられており、スコアが高いほど、画像に欠陥がある可能性がより高いことを示す。バッファ内の画像フレームのスコアは比較され得、当該比較に基づいて、画像フレームがビデオストリームから除外するべき画像として特定される。図示の例では、システムは画像フレームのシーケンスから最悪の画像をドロップするように構成されている。従って、フレーム２は最悪のスコアを有するため、画像フレームのシーケンスからドロップされる。

【0188】

有利には、Ｎフレームバッファが誤検出を低減し、低いドロップカウントを維持することができる。図７に示される例では、バッファがなく、システムが閾値５０を超えるスコアを有するすべての画像をドロップするように構成される場合、システムはフレーム１をドロップしたことになる。しかしながら、フレーム１はドロップされるべきではない誤判定であり得る－例えば、フレーム１は、光イベントがないときに機器が移動して明るい画素を検出したために、前のフレームと比較して、画素の高い平均値を有している可能性がある。さらに、システムが連続する画像をドロップしないように構成されている場合、フレーム２がはるかに高いスコアを有し、実際に現実の光イベントによって引き起こされるとしても、システムはフレーム１をドロップする一方でフレーム２を維持することになる。バッファを使用すると、システムはフレーム２を正しくドロップし、フレーム１を維持する。

【0189】

図示の例では、システムは、バッファから最大１つの画像フレームをドロップするように構成される。いくつかの例では、システムは、より多くの画像フレームをドロップすることができる。ドロップできる画像フレームの最大数は、カメラのフレームレート、ビデオストリームのフレームレート、（後述の）アルゴリズムの積極性、またはそれらの組合せに依存し得る。

【0190】

いくつかの例では、画像フレームが画像フレームのシーケンスからドロップされた後、システムは、シーケンスにおいてドロップされた画像フレームを置き換えるために別の画像フレームを特定する。いくつかの例では、置換画像フレームは、スコアに基づいて画像フレームのシーケンスから選択される。図７に示された例では、フレーム３が最良のスコアを有するため、選択される。従って、画像フレームの更新されたシーケンス（即ち、フレーム１、フレーム３、フレーム３）をビデオストリームに追加することができる。

【0191】

バッファは、システムに遅延を導入し得る。画像フレームが生成されるとすぐに各画像フレームをビデオストリームに追加するのではなく、複数のフレームがバッファに蓄積され、最初のフレームがビデオストリームに追加される前に共に評価される。バッファのサイズは、発生する遅延の量を決定する－バッファが大きいほど、レイテンシは長くなる。いくつかの例では、カメラのフレームレートがビデオストリームのフレームレートよりも高い場合、遅延は知覚できないことがある。換言すれば、システムはより高い遅延耐性を有する。従って、バッファサイズは、システムの遅延耐性に基づいて決定することができる。いくつかの例では、バッファサイズは３フレームと６フレームとの間である。

【0192】

いくつかの例では、バッファは、次のフレームに欠陥がある場合に次のフレームを置き換えるために、１つの画像フレームのみがメモリに記憶されるように１のサイズを有する。

【0193】

図５に戻り、ステップ５１６において、画像フレームが１以上の基準を満たさないという判断に従って、画像フレームがビデオストリームに追加され、ステップ５１８において、画像フレームが１以上の基準を満たすという判断に従って、画像フレームが破棄される。画像フレームが破棄される場合、それは別の画像フレーム（例えば、最新の良好なフレーム、バッファ内の最良のフレーム、修復されたフレーム）に置き換えることができる。いくつかの例では、連続して廃棄され得るフレームの数は、予め定義された閾値に制限されるか、または以下で説明するようにアルゴリズムの積極性に基づく。いくつかの例では、破棄された画像フレームは、ネガティブフラッシュを防止するための自動ゲイン露光（「ＡＧＣ」）アルゴリズムに影響を与えない；あるいは、破棄された画像は、より小さい重み係数によってＡＧＣアルゴリズムを調整させる。

【0194】

方法５００のステップは、ローリングシャッタ撮像装置に関して説明されるが、方法５００における技術は、ローリングシャッタ撮像装置またはグローバルシャッタ撮像装置のいずれにも使用できる。例えば、ステップ５１０～５１８は、グローバルシャッタ撮像装置によってキャプチャされた画像フレームを評価して、欠陥のある画像フレームを検出し、それらをビデオストリームから除去するために使用できる。

【0195】

方法５００の積極性または感度は、自動的にまたは手動で調整することができる。具体的には、画像フレーム内のアーティファクトを特定するための１つ以上の閾値、画像バッファのサイズ、画像バッファからドロップ可能な画像フレームの最大数、画像バッファからドロップ可能な連続画像フレームの最大数、またはそれらの任意の組合せ等、方法５００のステップ及びパラメータのいずれかは自動的に調整され得る。いくつかの例では、外科用エネルギデバイス（例えば、レーザユニット、ＲＦプローブ）の起動の検出時、及び／または（例えば、フォトダイオードを介した）光イベントの検出時に、本方法の積極性は動的に調整され得る。これらの場合において、システムは、方法５００のステップの任意の組合せを自動的に作動し、または欠陥のある画像フレームをキャプチャするためにそれらの積極性または感度を増大させることができる。一方、外科用エネルギデバイスの作動または光イベントの検出がない場合、システムは、方法５００のステップの任意の組合せを自動的に非作動にするか、またはそれらの積極性または感度を低下させることができる。

【0196】

例えば、ステップ５１４の感度を調整する１つの方法は、光イベントの検出に応答してバッファのサイズを自動的に増加させることである。換言すれば、システムはより高い遅延を受け入れるが、欠陥のある画像を特定する能力を向上させる。光イベントがない場合、システムはバッファのサイズを自動的に縮小するか、またはそれを完全にバイパスする（即ち、サイズを０に設定する）ことができる。別の例として、システムは、光イベントの検出に応答して、ステップ５１２の技術のいずれかを自動的に作動するか、またはそれらの感度を増加させることができ、光イベントがない場合はその逆を行うことができる。

【0197】

外科用エネルギデバイスの起動を検出することは、外科用エネルギデバイス（例えば、レーザユニット、ＲＦプローブ）から信号を受信することを含むことができる。例えば、当該信号は、エネルギデバイスの制御ユニットからの、ホルミウムレーザがそのユニットによって出力された、または出力されている、または出力されることになる信号であり得る。いくつかの例では、エネルギデバイスはフットペダルによって命令される。従って、ハードウェア構成要素（例えば、圧力センサ）は、フットペダルに結合され、当該フットペダルが押されるときはいつでも信号を送信するように構成され得る。

【0198】

外科用エネルギデバイスの作動を検出することは、外科用エネルギデバイスの電力消費の増加を検出することを含み得る。例えば、検出は、電力消費の増加を判断するために電力ケーブルに取り付けられたリモートクランプによって実行され得る。

【0199】

光イベントを検出することは、撮像装置に取り付けられた光検出器から信号を受信することを含み得る。光検出器は、カメラヘッド内に配置される（例えば、プリズムに取り付けられる）か、またはカメラボディに（例えば、カメラ本体の入口窓上またはその近傍）クランプされて、カメラボディ内の迷光または反射光をキャプチャすることができる。いくつかの例では、意図しない／望ましくない光イベントは、カメラの所望の画像スペクトルには存在しない赤外線を含むことができる。従って、フィルタ（例えば、赤外フィルタ）を光検出器の前に配置して、光検出器が意図しない／望ましくない光イベントのみを検出することを確実にすることができる。いくつかの例では、システムは、撮像装置の光源に対応しない、光検出器によって検出された任意の光を、意図しない／望ましくない光イベントとして扱うように構成される。いくつかの例では、画像フレームに欠陥があるかどうかは、図６Ａに示され、図６Ｂにデモンストレーションされるように、フレームのリセット時間及び読み出し時間に対する検出された光イベントのタイミングを比較することによって直接決定され得る。光イベントが検出された場合、システムは、影響を受けたフレームを自動的に特定し、（例えば、フレームに関連付けられたスコアを調整することによって）それらのフレームにフラグを付けることができる。

【0200】

外科用エネルギデバイスの作動を検出することは、外科用エネルギデバイスから音響信号を受信することを含み得る。例えば、音響マイクロフォンを使用して、発射中にレーザによって生成される安全トーンまたは明確なチャッタ（chatter）等の光イベントを示す音響信号を検出することができる。機械学習アルゴリズムは、音響信号を認識するように訓練することができる。

【0201】

いくつかの例では、撮像装置の動きが検出され、方法５００のステップの感度を調整するために使用され得る。撮像装置の動きは、撮像装置の慣性測定ユニットを介して、または画像追跡を介して検出することができる。撮像装置が動いている場合、誤判定の検出を回避するために感度は低減され得る。

【0202】

例のいくつかは、最上段の行から最下段の行まで読み取られる水平ラインを有するローリングシャッタセンサを含むが、本発明の精神から逸脱することなく、本明細書に記載される技術が、異なる向き、レイアウト、及び読み出し順序を有する撮像センサに適用可能であることは理解されるべきである。

【0203】

（シャッタを使用したアーティファクトの低減）
いくつかの例では、シャッタを使用して、意図しない／望ましくない光イベントによって引き起こされるアーティファクトを低減または除去することができる。シャッタは：液晶シャッタ、メカニカルシャッタ、ＤＬＰミラー、または電気メカニカルシャッタであり得る。作動されると、シャッタは、撮像パスからの光の相当な部分を遮断できる。停止されると、シャッタは、光の相当な部分が通過させる。

【0204】

図６Ａを参照すると、シャッタ（例えば、ＬＣシャッタ）は、照明期間６０４の終了時に作動して、撮像経路からの光の相当な部分を遮断するように構成され得る。従って、光イベント１のような、６０８での順次読み出し中に発生する任意の光イベントは、画像フレームに影響を与えない。いくつかの例では、シャッタは、短時間で停止状態（即ち、光の相当な部分の通過が可能）から作動状態（即ち、光の相当な部分が遮断）に移行するように構成され得る。従って、画素行は、電荷の蓄積を開始するために６０７において同期フレームリセットを介して同時にまたは実質的に同時にリセットされ、また、照明期間の終了時にシャッタを介して同時にまたは実質的に同時に受光を停止する。

【0205】

シャッタは、同期フレームリセット６０７の前に停止される。いくつかの例では、ＬＣシャッタは作動状態から停止状態に遷移するのに時間を要する。故に、ＬＣシャッタが６０７において完全に停止されるように、停止は、十分に早い時間に発生するようにトリガされ得る。

【0206】

また、図８Ａ～Ｂに示されるように、意図しない／望ましくない光イベントの影響を低減するために、パルス幅制御を備えたシャッタを使用することもできる。図８Ａ～Ｂにおいて、グローバルシャッタ撮像装置は、６０ｆｐｓのフレームレート(即ち、１フレームあたり１６．６ミリ秒）に従って駆動され、１フレーム期間あたり１ミリ秒の露光ウィンドウを有する。

【0207】

図８Ａに示されるように、標準的な動作の下では、光イベントが１ｍｓの露光ウィンドウに偶然一致する場合、センサは１ｍｓの露光ウィンドウの大部分で光イベントに曝され得、画像フレーム内に顕著なアーティファクトを引き起こし得る。

【0208】

図８Ｂでは、１６．６ｍｓのフレーム期間中に連続した１ｍｓの露光ウィンドウを設定するのではなく、センサは、電荷を蓄積するために１６．６ｍｓのフレーム期間の全体にわたって露光されるように構成される。パルス幅制御を有するシャッタは、実際の所望の１ｍｓの露光時間（図８Ｂの２００ｕｓ）のｎ分の１以下のｎ回（図８Ｂではｎ＝５）だけ停止し、光がシャッタを通過できるよう構成される。画像は、ｎ回目の停止後の蓄積電荷に基づいて生成することができる。換言すれば、シャッタは、１６．６ｍｓのフレーム期間全体にわたってセンサが露光されているにもかかわらず、全体で所望の露光時間以下の間のみ光がセンサに到達することを許容するように光を制御する。図８Ｂに示されるように、フレーム期間内に光イベントが発生した場合、１ｍｓの総露光時間の一部にしか影響を与えることができないため、影響はそれほど深刻ではない。

【0209】

ＬＣシャッタのｎ回の停止は、少なくとも所望の露光時間（例えば、図示の例では１ｍｓ）だけ間隔を空けることができる。いくつかの例では、ｎの値を調整することができる。例えば、ｎは、本明細書に記載の技術を用いて、光イベントが発生している、発生し続けている、または発生する可能性があるとシステムが判断した場合に、光イベントの影響を低減するために自動的に増加させることができる。

【0210】

図８Ｂは、グローバルシャッタ撮像装置におけるシャッタの使用を示しているが、シャッタはローリングシャッタ撮像装置のような他のタイプの撮像装置においても同様に使用され得ることは理解されるべきである。さらに、いくつかの例では、シャッタの密度変調を使用して実装を達成することができる。

【0211】

シャッタを作動及び停止させる代わりに、電荷蓄積をパルス化可能ならしめるグローバルシャッタセンサを用いて、画像フレームについての複数の電荷蓄積期間を達成することができる。例えば、センサは、外部制御信号に基づいて電荷蓄積を作動または停止されることを可能にする。電荷蓄積は、例えばバイパス回路を使用して停止することができる。

【0212】

シャッタは、撮像装置と通信することなく、スタンドアロンデバイスとして動作するように構成することもできる。シャッタは、撮像経路内に設置することができる。例えば、シャッタは、内視鏡の接眼レンズの交換カプラまたはドロップインアクセサリとすることができる。シャッタは、それ自体の電源（例えば、内部バッテリ、太陽電池）によって電力供給され得る。

【0213】

特に、シャッタ装置は、光イベントを検出するためのフォトダイオードを有することができる。フォトダイオードは、図９に示されるように撮像装置プリズムの外面に配置することができる。例えば、フォトダイオードは、意図しない／望ましくない光イベント（例えば、レーザイベントはＩＲを含み得る）を検出するためにＩＲに敏感であり得るが、撮像装置の光源または撮像のための他の所望の光（例えば、放出された蛍光光）には敏感でない。光イベントが検出されると、ＬＣシャッタは非常に短い期間（例えば、５００ｕｓ～１ｍｓ）内に閉じ、画像センサを大部分の汚染から保護する。検出された光イベントが終了するとすぐに、ＬＣシャッタは、閉じるのと同じ速さで開くように構成される。レーザ光イベントは、典型的には１ｍｓよりも短い。従って、カメラの露光がそれよりも適度に大きい場合、あまり悪影響は知覚されない。露光が短いときは、フレームがブローアウトするのではなく、暗く見えることがある。

【0214】

図９ではフォトダイオードはＬＣシャッタに取り付けられているように示されているが、フォトダイオードはシステムの他の場所に取り付けることができる。いくつかの例では、迷光フォトダイオードは、画像／センサ側のＬＣシャッタ上に配置することができる。それは、入射画像ビームクリア開口部（即ち、Ｚにおけるこの位置でのビーム／像高）の外側のＬＣシャッタ（または嵌合構成要素）上のセンサに面して取り付けることができる。センサ／プリズムアセンブリはすべての入射光をキャプチャするわけではなく、その光の一部はプリズムアセンブリから反射して戻される。フォトダイオードは、プリズム／センサアセンブリから出るこの迷光をキャプチャすることができる。

【0215】

いくつかの例では、迷光フォトダイオードは、物体／内視鏡側のＬＣシャッタに取り付けることができる。それは、入射画像ビームクリア開口部（即ち、Ｚにおけるこの位置でのビーム／像高）の外側のＬＣシャッタ（または嵌合構成要素）上の内視鏡に面して取り付けることができる。プリズムアセンブリはすべての入射光をキャプチャするわけではなく、ＬＣシャッタはすべての入射光を透過するわけではない。これらの界面での反射は、反射された迷光がシステムから出て、上流の光学素子（例えば、内視鏡出射窓）から反射してセンサに戻されるが、元の撮像ビームの外側に至る。フォトダイオードは、当該上流の光学素子からの、この二次反射光の一部をキャプチャすることができる。

【0216】

いくつかの例では、迷光フォトダイオードは、プリズム入射面に取り付けることができる。フォトダイオードは、入射画像ビームクリア開口部（即ち、Ｚにおけるこの位置でのビーム／像高）の外側で、（ａ）内視鏡の方向に、または（ｂ）センサの方向に向けられて、プリズムガラス入射面に取り付けることができる。内視鏡に面するフォトダイオードは、ＬＣシャッタまたは他の上流の光学素子からの二次反射（一次反射はセンサ／プリズムアセンブリからシステム外へ）をキャプチャしたり、上流の光学素子の界面から生じる入射ビームからの迷光をキャプチャしたりすることができる。センサに面するフォトダイオードは、プリズムアセンブリから出るセンサ／プリズムアセンブリからの一次反射をキャプチャすることができる。

【0217】

いくつかの例では、フォトダイオードは、プリズム入射面にピックオフ光学素子または回折光学素子（ＤＯＥ）と共に取り付けることができる。このような構成は、上述の内視鏡に面するフォトダイオードと同様であるが、（迷光／システム内部反射に依存することなく）入射ビームサンプリングを可能にするために、ピックオフ光学素子またはＤＯＥを伴う。

【0218】

いくつかの例では、フォトダイオードはダイクロイックミラー（ビームスプリッタ）と共に取り付けられ、フォトダイオードはカプラ光学系、シャッタ、センサ／プリズムアセンブリ、及び画像ビームの周囲に存在する自由空間（即ち、これらの構成要素によって占有されないカメラハウジング内の残りの空隙）に取り付けられる。ダイクロイックミラーは、白色光をセンサアセンブリに通過させながら、光イベントのＩＲコンテンツの少なくとも一部をフォトダイオードに反射するように、撮像ビームの光路内に配置される。

【0219】

いくつかの例では、フォトダイオードは、入射窓に面する上述の自由空間内に取り付けることができる。

【0220】

いくつかの例では、フォトダイオードは、ピックオフ光学素子と結合された入射窓に隣接する上述の自由空間内に取り付けられ得る。

【0221】

いくつかの例では、光イベントの検出時に、システムは、図６Ａに示され、図６Ｂにデモンストレーションされるように、フレームのリセット時間及び読み出し時間に対する検出された光イベントのタイミングを比較することができる。このようにして、システムは、影響を受けるフレームを自動的に特定することができ、これは続いてドロップされて置換され得る。例えば、影響を受けたフレームは、さらなる処理のために（例えば、フレームに関連付けられたスコアを調整することによって）フラグを立てることができる。

【0222】

いくつかの例はＬＣシャッタに関して説明されるが、本開示の例では、メカニカルシャッタ、ＤＬＰミラー、電気メカニカルシャッタ、光学シャッタ等の他のタイプのシャッタを使用できることは、当業者により理解されるべきである。

【0223】

図１０は、いくつかの例に係る、画像フレーム内のアーティファクトを低減するためのローリングシャッタ撮像センサの別の例示的な動作を示す。図１０は、画素行の休止及び読み出しの相対的なタイミングを示す時間スケールにおける動作を示す。

【0224】

図１０の例は、行が毎期間ではなく、１フレーム期間おきに読み出される点で、図４Ａの例と同様である。このようにして、システムは、センサ画素がより長い期間（即ち、公称フレームレートの実質的に２フレーム期間）積分することを可能にする。影を付した平行四辺形１００２は、公称フレームレート１２０ｆｐｓ（即ち、フレームあたり８．３ミリ秒）に従って撮像センサが駆動されるときの１つの単一フレームの露光を表す。センサアレイは、影を付した平行四辺形１００２により示される１６．６ミリ秒のウィンドウの全体にわたって感応する。特に、最後の行Ｎのリセットと最初の行の読み出しとの間の時間期間１００６の間、撮像装置のすべての行または実質的に全ての行を同時に露光することができ、ローリングシャッタ効果が防止されるように照明光を提供することができるグローバルシャッタウィンドウを効果的に生成する。

【0225】

図１０に示した例では、照明期間１００４はウィンドウ１００６の始まりに開始する。これは図４Ａの例とは対照的であり、照明期間４０４は、ウィンドウ４０６の始まりではなく、その間に開始する。さらに、システムは、液晶シャッタを開き、照明期間中にセンサアレイ内の画素を照明に曝す。図示されるように、液晶シャッタは照明期間１００４の始まりのわずか前に、閉状態から開状態への遷移を開始する。このようにすることで、照明期間１００４の開始時に液晶シャッタを開状態に完全に遷移させることができるので、シャッタが閉状態から開状態に遷移する間に生じ得るクロマティック効果を防止することができる。

【0226】

いくつかの例では、液晶シャッタは、照明期間１００４の終了のわずか後に、開状態から閉状態への遷移を開始する。このようにすることで、液晶シャッタの遷移は照明期間のいずれの部分にも影響を与えず、シャッタが状態間で遷移する間に発生し得るクロマティック効果を再び防止することができる。別の例では、液晶シャッタの閉速度は開速度よりもはるかに速く、クロマティック効果があまり顕著でなくなり得るため、液晶シャッタは照明期間の終了前または終了時に閉じることができる。

【0227】

１つの例示的な実装では、液晶シャッタは完全に開くのに約１．３ｍｓを要し、完全に閉じるのに５０ｕｓを要する。さらに、シャッタは、開口側で約８００ｕｓ後に発色的に安定すると判断される。故に、シャッタは、照明期間の８００ｕｓ前に開状態への遷移を開始するように構成することができる。光源が消灯すると影響がないため、閉状態への遷移は、照明期間の終了と同時に開始することができる。照明期間の終了後に閉状態に遷移するもう１つの理由は、システムが所望の光パルスの知識を持たずにシャッタを動作させ、カメラにおける自動ゲイン制御にその差分を補わせることができるからである。液晶シャッタの非対称の開閉時間はそれがどのように構成されるかに基づいており、開時間をより速くして閉時間をより遅くするためにシャッタは逆の方式で構成可能であり、照明期間に対するシャッタを開閉するタイミングはそれに応じて調整できることは理解されるべきである。

【0228】

いくつかの例では、ウィンドウ１００６の開始時に照明期間を開始するのではなく、照明期間はウィンドウ１００６中の別の時間に開始することができる。照明期間の全体は、ウィンドウ１００６内に収まる。さらに、液晶シャッタは、上述したように照明期間に基づいて開閉するように構成されている。カメラ及び光源は１００６の長さに基づいて露光時間を変化させるため、システムは照明期間の開始時間を固定して終了時間を変化させるか、または照明期間の終了時間を固定して開始時間を変化させることができる。

【0229】

いくつかの例では、タイマデバイスを使用して、垂直同期パルス（フレーム取得のｖｓｙｎｃまたは光源のｖｓｙｎｃのいずれか）に基づいて液晶シャッタの開時間及び閉時間を設定することができる。いくつかの例では、システムは、撮像シーン（例えば、明るさ、モダリティ）に基づいて、液晶シャッタの開時間及び／または閉時間を調整することができる。いくつかの例では、システムは、比較的高い電圧で液晶シャッタを駆動するために、祥温コンバータを使用して、より低い動作電圧からカメラヘッド内に比較的高い電圧（例えば、２４Ｖ）を生成することができる。

【0230】

いくつかの例は内視鏡を参照して説明されるが、本明細書に説明される技術が、フレキシブルデジタル尿管鏡等の、スコープの遠位端に撮像センサが配置されるフレキシブル及び／またはチップオンティップスコープを含む任意の撮像システムにおいて使用され得ることは、当業者により理解されるべきである。

【0231】

前述の開示は、説明の目的で、特定の例を参照して開示された。しかしながら、上記の例示的な議論は、網羅的であることや、本発明を開示された正確な形態に限定することを意図するものではない。本明細書では、明確かつ簡潔に説明するために、特徴を同一または別々の例の一部として説明したが、開示の範囲が、説明した特徴の全てまたは一部の組み合わせを有する例を含むことは理解されるだろう。上記の教示に鑑みて、多くの修正及び変形が可能である。例は、技術の原理とそれらの実用的な応用を最もよく説明するために選択され、開示されたものである。これにより、当業者であれば、考えられる特定の用途に適した様々な変更を加えて、本技術及び種々の例を最良に利用することができる。

【0232】

本開示及び例示は、添付の図面を参照して十分に説明されたが、種々の変更及び修正が当業者には明らかになることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義される開示及び例示の範囲内に含まれるものとして理解されるべきである。最後に、本出願において参照された特許及び刊行物の開示全体は、参照により本明細書に組み込まれる。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【国際調査報告】