(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-16
(54)【発明の名称】内視鏡カメラ関心領域の自動露出
(51)【国際特許分類】
A61B 1/045 20060101AFI20240208BHJP
A61B 1/06 20060101ALI20240208BHJP
【FI】
A61B1/045 632
A61B1/045 640
A61B1/06 612
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023547564
(86)(22)【出願日】2022-02-08
(85)【翻訳文提出日】2023-08-04
(86)【国際出願番号】 US2022015669
(87)【国際公開番号】W WO2022173753
(87)【国際公開日】2022-08-18
(32)【優先日】2021-02-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514290052
【氏名又は名称】アースレックス インコーポレイテッド
【氏名又は名称原語表記】ARTHREX, INC.
【住所又は居所原語表記】1370 Creekside Blvd, Naples, FL 34108, United States of America
(74)【代理人】
【識別番号】100105131
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】シュタイナー,マイケル ドミニク
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161BB02
4C161BB03
4C161CC06
4C161FF12
4C161LL02
4C161NN01
4C161QQ06
4C161QQ09
4C161RR02
4C161RR03
4C161SS06
4C161SS07
(57)【要約】
画像を捕捉および出力するカメラと、カメラに連結されたカメラコントローラと、カメラまたはカメラコントローラに連結されたユーザー入力装置とを有し、ユーザー入力装置が、画像の関心領域を選択するために使用可能であり、関心領域が画像のサブ部分であり、カメラコントローラが、関心領域の測定輝度値を計算し、測定輝度値と目標輝度値の比較に応答して露出を調整する、内視鏡カメラシステム。
【特許請求の範囲】
【請求項1】
画像を捕捉および出力するカメラと、
前記カメラに連結されたカメラコントローラと、
前記カメラまたは前記カメラコントローラに連結されたユーザー入力装置と、を備え、前記ユーザー入力装置が前記画像の関心領域を選択するために使用可能であり、前記関心領域が前記画像のサブ部分であり、
前記カメラコントローラが、
前記関心領域の測定輝度値を計算し、
前記測定輝度値と目標輝度値の比較に応答して露出を調整する、内視鏡カメラシステム。
【請求項2】
前記輝度値が、前記関心領域の平均緑色強度、平均赤色強度、平均青色強度のうちの少なくとも一つの加重和である、請求項1に記載のシステム。
【請求項3】
前記輝度値が、前記関心領域の平均緑色強度の加重和である、請求項1に記載のシステム。
【請求項4】
前記露出を調整することが、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することをさらに含む、請求項1に記載のシステム。
【請求項5】
前記カメラが長手方向軸を有し、前記長手方向軸に対してゼロ以外の角度で前記画像を捕捉する、請求項1に記載のシステム。
【請求項6】
前記カメラが、前記長手方向軸に対して45度の捕捉角度で前記画像を捕捉する、請求項5に記載のシステム。
【請求項7】
前記ユーザー入力装置が、実際の捕捉角度と異なる見かけの捕捉角度を有する関心領域を選択するために使用可能である、請求項5に記載のシステム。
【請求項8】
前記カメラが、90度よりも大きい視野を有する画像を捕捉し、出力する、請求項1に記載のシステム。
【請求項9】
前記ユーザー入力装置が、前記画像視野よりも小さい見かけの視野を有する関心領域を選択するために使用可能である、請求項8に記載のシステム。
【請求項10】
前記画像が、画像中心および配向インジケータをさらに含み、
前記関心領域が、前記画像中心から固定距離に位置付けられた関心領域の中心を有し、
前記カメラコントローラが、前記配向インジケータの位置の変化に基づいて、前記関心領域の中心を変更する、請求項1に記載のシステム。
【請求項11】
前記露出を調整することが、前記関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含む、請求項1に記載のシステム。
【請求項12】
前記ゲイン調整が、前記関心領域内の前記ピクセルのすべてにわたって均一でない、請求項11に記載のシステム。
【請求項13】
ピクセルゲインが、前記画像の中心からの前記ピクセルの位置に応じて、勾配を使用して調整される、請求項12に記載のシステム。
【請求項14】
撮像システムの露出を調整する方法であって、
カメラから画像を受信することと、
ユーザーから前記画像の関心領域を受信することであって、前記関心領域が前記画像のサブ部分であることと、
前記関心領域の測定輝度値を計算することと、
前記測定輝度値と目標輝度値の比較に応答して露出を調整することと、を含む方法。
【請求項15】
前記測定輝度値を計算することが、前記関心領域の平均緑色強度、平均赤色強度、平均青色強度の加重和を計算することをさらに含む、請求項14に記載の方法。
【請求項16】
前記測定輝度値を計算することが、前記関心領域の平均緑色強度の加重和を計算することをさらに含む、請求項14に記載の方法。
【請求項17】
前記露出を調整することが、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することをさらに含む、請求項14に記載の方法。
【請求項18】
前記画像が、長手方向軸に対してゼロよりも大きい実際の捕捉角度で捕捉され、前記受信された関心領域が、前記実際の捕捉角度と異なる見かけの捕捉角度を有する、請求項14に記載の方法。
【請求項19】
前記画像が、90度よりも大きい視野を有し、前記受信された関心領域が、前記画像視野よりも小さい見かけの視野を有する、請求項14に記載の方法。
【請求項20】
前記画像が、画像中心および配向インジケータをさらに含み、
前記関心領域が、前記画像中心から固定距離に位置付けられた関心領域の中心を有し、
前記方法が、前記配向インジケータの位置の変化に基づいて、新しい関心領域の中心を計算することをさらに含む、請求項14に記載の方法。
【請求項21】
前記露出を調整することが、前記関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含む、請求項14に記載の方法。
【請求項22】
前記ゲイン調整が、前記関心領域内の前記ピクセルのすべてにわたって均一でない、請求項20に記載の方法。
【請求項23】
ピクセルゲインが、前記画像の中心からの前記ピクセルの位置に応じて、勾配を使用して調整される、請求項21に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、内視鏡手術で使用される装置に関し、より具体的に、内視鏡カメラ画像における関心領域の自動露出のためのシステムおよび方法に関する。
【背景技術】
【0002】
内視鏡光学システムの視野(FOV)が広いほど、より多くの視覚的情報が外科医に提示される。光出力は視野の周囲に向かって落ちる傾向があるため、広視野内視鏡によって見える光景を均一に照明することは困難である。従来の自動露出アルゴリズムは、光景の中心領域を中心点として使用して、輝度を計算する。しかしながら、広視野アプリケーションにおいて、ユーザーは、関心領域をよりよく見るために、光景の周辺に向かって領域をデジタル的にズームインまたはセンターインすることを選択しうる。その場合、光景/スコープの縁での光特性および光学特性を考慮すると、ユーザーは、全体的な光景の露出を調整しないであろう周辺での光の変化に起因して、低画質(通常よりも暗い)および低応答性を経験しうる。加えて、関心領域の光景の露出レベルは、全体的に広視野の場合と異なりうる。適切な照明および露出応答の欠如は、外科医を混乱させる画像をもたらし、目の疲労を引き起こし、組織および解剖学的構造の誤認につながる可能性がある。
【0003】
先行技術の欠点を是正する改善された自動露出システムに対するニーズが存在する。
【発明の概要】
【0004】
本開示は、ユーザーによって選択される関心領域に基づいて自動露出を制御することによって、先行技術の欠点を是正する自動露出システムを有する内視鏡カメラシステムに関する。一実装において、内視鏡カメラシステムは、画像を捕捉および出力するカメラと、カメラに連結されたカメラコントローラと、カメラまたはカメラコントローラに連結されたユーザー入力装置とを有する。ユーザー入力装置は、画像の関心領域を選択するために使用可能であり、関心領域は画像のサブ部分である。カメラコントローラは、関心領域の測定輝度値を計算し、測定輝度値と目標輝度値の比較に応答して露出を調整する。一実装において、輝度値は、関心領域の平均緑色強度、平均赤色強度、平均青色強度のうちの少なくとも一つの加重和である。輝度値は、関心領域の平均緑色強度の加重和でありうる。露出を調整することは、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することを含みうる。
【0005】
随意に、カメラは長手方向軸を有し、長手方向軸に対してゼロ以外の角度で画像を捕捉する。カメラは、長手方向軸に対して45度の捕捉角度で画像を捕捉してもよい。一実装において、ユーザー入力装置は、実際の捕捉角度と異なる見かけの捕捉角度を有する関心領域を選択するために使用可能である。カメラは、90度よりも大きい視野を有する画像を捕捉し、出力してもよい。一実装において、カメラは、約140度の視野を有する画像を捕捉し、出力する。ユーザー入力装置は、画像視野よりも小さい見かけの視野を有する関心領域を選択するために使用可能でありうる。
【0006】
一実装において、画像は、画像中心および配向インジケータを有し、関心領域は、画像中心から固定距離に位置付けられた関心領域の中心を有し、カメラコントローラは、配向インジケータの位置の変化に基づいて関心領域の中心を変更する。露出を調整することは、関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含みうる。随意に、ゲイン調整は、関心領域内のピクセルのすべてにわたって均一でない。ピクセルゲインは、画像の中心からのピクセルの位置に応じて、勾配を使用して調整されてもよい。
【0007】
一実装によると、撮像システムの露出を調整する方法は、カメラから画像を受信することと、画像の関心領域をユーザーから受信することであって、関心領域が画像のサブ部分である、受信することと、関心領域の測定輝度値を計算することと、測定輝度値と目標輝度値の比較に応答して露出を調整することとを含む。測定輝度値を計算することは、関心領域の平均緑色強度、平均赤色強度、平均青色強度の加重和を計算することをさらに含みうる。一実装において、測定輝度値を計算することは、関心領域の平均緑色強度の加重和を計算することをさらに含む。露出を調整することは、露出時間、光源強度、ゲイン、感度、可変絞りのうちの少なくとも一つを調整することをさらに含みうる。
【0008】
画像は、長手方向軸に対してゼロよりも大きい実際の捕捉角度で捕捉されてもよく、受信された関心領域は、実際の捕捉角度と異なる見かけの捕捉角度を有してもよい。一実装において、画像は、90度よりも大きい視野を有し、受信された関心領域は、画像視野よりも小さい見かけの視野を有する。
【0009】
一実装において、画像は、画像中心および配向インジケータをさらに含み、関心領域は、画像中心から固定距離に位置付けられた関心領域の中心を有し、方法は、配向インジケータの位置の変化に基づいて、新しい関心領域の中心を計算することをさらに含む。露出を調整することは、関心領域内の少なくとも一部のピクセルのゲインを調整することをさらに含みうる。随意に、ゲイン調整は、関心領域内のピクセルのすべてにわたって均一でない。随意に、ピクセルゲインは、画像の中心からのピクセルの位置に応じて、勾配を使用して調整される。
【0010】
これらおよび他の特徴を以下に記載する。
【図面の簡単な説明】
【0011】
本発明の特徴、態様および利点は、以下の説明、添付の請求項および添付図面に関してよりよく理解されるであろう。
【
図1】
図1は、一実装による内視鏡カメラシステムの概略図である。
【
図2】
図2は、追加的な一実装による内視鏡カメラシステムの概略図である。
【
図3】
図3は、一実装によるカメラの遠位部分の概略図である。
【
図5】
図5は、一実装による自動露出の方法を図示するフローチャートである。
【発明を実施するための形態】
【0012】
好ましい実装の以下の説明において、添付図面への参照を行い、これらの図面は例証として、本発明が実施されうる特定の実装を示している。可能な限り、図面全体を通して、同じまたは類似の部品を指すために同じ参照番号を使用する。当然のことながら、本開示の範囲から逸脱することなく、他の実装を利用することができ、また構造的および機能的変更を行うことができる。
【0013】
図1~3を参照すると、一実装による内視鏡カメラシステム10は、カメラ12を有する。カメラ12は、ハンドピース16に連結可能なシャフト軸14を有する。ハンドピース16は、ボタン、スイッチまたはダイヤルなどの入力装置18を有してもよい。ハンドピース16は、カメラコントローラ20(「CCU」または「カメラコントローラ」)に接続可能である。ハンドピース16およびカメラコントローラ20は、ワイヤを介して接続されて、カメラとカメラコントローラの間のデータ転送を容易にしてもよい。カメラ12およびカメラコントローラ20はまた、IEEE 802.11bもしくはIEEE 802.11nまたは超広帯域(UWB)を介してなど、無線接続されて、データ転送を容易にしてもよい。カメラコントローラ20は、マウス、キーボード、タッチパッド、またはタッチスクリーンモニターなどの少なくとも一つの入力装置22に接続可能であってもよい。加えて、カメラコントローラ20は、ディスプレイ24と、画像を記憶するためなどの記憶装置26とに接続可能であってもよい。
【0014】
画像センサ28は、シャフト14の内部に、およびシャフト12の遠位先端30の近位に位置付けられてもよい。画像センサ28は例えば、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)であってもよい。広角レンズ32などの光学レンズは、光を画像センサ28に向ける。
【0015】
画像センサ28および光学レンズの位置は、画像野がシャフトの遠位先端の真正面にあるように、シャフト14の長手方向軸34にほぼ沿って(長手方向軸に対して約0度の捕捉角度)、視野を提供しうる。一部の実装において、光学レンズは、シャフト14の長手方向軸に対してゼロ以外の捕捉角度で画像を提供してもよい。例えば、捕捉角度は、長手方向軸に対して約30度または約70度であってもよい。
図3に示す通り、一実装において、光学レンズは、シャフト14の長手方向軸34に対して約45度の捕捉角度を有する画像軸48に沿った画像を提供してもよい。加えて、カメラ12は光源36に連結されてもよい。光源32はカメラ12の内部にあってもよい。
【0016】
光源36はランプを含む。ランプは例えば、視野を照明するためのレーザーまたはLEDなどの半導体光源であってもよい。光源36は、ビデオカメラの視野を適切に照明するように構成されている。さらに、発生した光ならびにカメラ感度は、可視スペクトルを超えて延在しうる。照明は、標的において、またはインドシアニングリーンなどの蛍光物質において蛍光を直接励起することが意図されている場合があり、これは次いで、カメラによって検知される。例えば、光源36は、近赤外線(NIR)範囲内の照明を生成してもよく、カメラは、より長いIR波長で蛍光を検知してもよい。照明およびカメラ感度は、UVからNIRまで継続的に延在する可能性があるか、または別個のナローバンドから成る可能性がある。
【0017】
図2を参照すると、カメラコントローラ20は、広範囲の制御、ユーザインターフェース、および画像取得/処理機能に対応するのに十分な処理能力を包含する、プログラム可能なユニットであることが好ましい。カメラコントローラ20は、様々な能力を提供するプログラムアプリケーションを実行するプロセッサ38を有する。例えば、画像捕捉および表示能力は、カメラコントローラ20に連結されたディスプレイ24を通した画像のライブフィードの表示と画像捕捉の両方を可能にする。捕捉された画像は、内部記憶装置40または外部記憶装置26などに記憶されてもよく、または他の装置に送信されてもよい。
【0018】
ビデオカメラのタイミングは、非常に正確で一貫性がなければならない。画像センサ28からの出力を制御および処理するために、プロセッサフィールドプログラマブルゲートアレイ(FPGA)42を使用してもよい。他のコントローラを使用してもよいものの、ビデオ画像を処理するために一つ以上のFPGAを使用することは、標準的ビデオ出力信号を生成するために必要な正確なタイミングをシステムが達成することを可能にする。ユーザーインターフェースロジックおよび可能な外部ネットワーク接続は、プロセッサ38上で実行中のソフトウェアによって行われうる。
【0019】
一実装において、アナログRGBデータは、画像センサ28からカメラコントローラ20に送信される。アナログRGBデータは、アナログ/デジタル変換器44を通って、ビデオが処理されるプロセッサFPGA42に至る。次いで、処理されたビデオは、ビデオが様々な表示フォーマットにフォーマットされるフォーマッタFPGA46を含みうるビデオ出力に伝えられる。フォーマッタFPGA46はまた、患者情報および/または医師情報などの情報をビデオにオーバーレイしてもよい。フォーマットされたビデオは、表示用にアナログ信号に再び変換されうる。フォーマットされたビデオは、ディスプレイ24および/または記憶装置26に送られる。代替的に、アナログ/デジタル変換器がカメラヘッド内に位置してもよく、デジタルRGBデータがカメラヘッド12からカメラコントローラ20に送信される。加えて、画像センサ28自体は、アナログ/デジタル変換器を含んでもよい。
【0020】
カメラコントローラ20は、カメラ12にコマンドを発行して、その動作特性を調整し、カメラ12は、カメラがコマンドを受信したという確認をカメラコントローラ20に送ってもよい。プロセッサFPGA42および/またはプロセッサ38は、カメラコントローラ20またはカメラ12のいずれかの中のシャッタードライバと通信して、画像センサ28の露出期間を制御しうる。加えて、プロセッサFPGA42および/またはプロセッサ38は、光源32と通信して、光源32のランプへの駆動電流を制御する。
【0021】
図3および
図4に示す通り、広角レンズ32は、広角画像50を可能にする。画像は、約90度よりも大きく、より好ましくは約140度よりも大きい視野を有してもよい。カメラ入力装置18またはカメラコントローラ入力装置22などの入力装置を使用して、ユーザーは広角画像50内の関心領域52を選択してもよい。ユーザーは例えば、広角画像50の一部分を拡大するために、または実際の捕捉角度と異なる見かけの捕捉角度をシミュレートするために、所望の通りに関心領域52を選択してもよい。例えば、限定されるものではないが、ユーザーは、30度、45度、または70度の見かけの捕捉角度を選択してもよい。
【0022】
例えば、
図3に示す通り、カメラは、長手方向軸34に対して約45度の捕捉角度を有する画像軸48に沿って広角画像50を撮影するように構成されてもよい。しかしながら、ユーザーは、長手方向軸に対して約30度の捕捉角度で画像を撮影する内視鏡カメラをシミュレートするために、関心領域52を選択してもよい。関心領域は中心54および領域56を有する。関心領域が特定されると、中心54および領域56は、以下に説明する通り、自動露出補正のために使用される。一部の場合において、関心領域は円形であり、領域56は関心領域の半径に基づいて計算される。しかしながら、関心領域は、異なる形状を有してもよい。
【0023】
図4に示す通り、シャフト14が第一の位置から第二の位置に回転される際に、画像中心53は変化しないが、関心領域52はシャフトとともに回転する。関心領域52が選択されると、画像中心53に対する関心領域の位置が分かる。スコープの配向は、ストップマスクの形状などの配向インジケータ58から取得されうる。
図4で分かる通り、配向インジケータ58は、スコープとともに回転し、関心領域52の位置を追跡および更新するために使用されうる。関心領域の露出は、スコープが回転されると自動的に更新される。
【0024】
図5を参照すると、カメラコントローラ20は、カメラ12から画像を受信する(工程60)。カメラコントローラ20はさらに、ユーザーから関心領域識別を受信し、関心領域は画像のサブ部分である(工程62)。コントローラが、関心領域の中心および領域を含む関心領域識別をユーザーから受信すると、カメラコントローラ20は、関心領域の測定輝度値を計算する(工程64)。測定輝度値は、関心領域の平均緑色強度、平均赤色強度、平均青色強度の少なくとも一つの加重和を計算することによって得られうる。好ましい一実装において、測定輝度値は、関心領域の平均緑色強度の加重和を計算することによって得られる。
【0025】
測定輝度値が計算されると、測定輝度値は目標輝度値と比較される(工程66)。一実装において、目標輝度値は、カメラ入力装置18またはカメラコントローラ入力装置22を使用することによってなど、ユーザーによって調整可能である。
【0026】
比較に応じて、カメラコントローラは露出を調整して、測定輝度値を目標輝度値に近づける(工程68)。カメラコントローラは、カメラの構成と、測定輝度値が目標輝度値とどの程度異なるかとに応じて、幾つかの変数のうちの一つ以上を調整することによって、露出を調整しうる。例えば、カメラコントローラ20は、画像センサ28の露出時間を調整してもよい。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ20は、露出時間を増加させて、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ20は、露出時間を減少させうる。
【0027】
加えて、カメラコントローラ20は、光源36の強度を調整してもよい。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ20は、光源時間の強度を増加させて、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ20は、光源の強度を減少させうる。
【0028】
加えて、カメラコントローラ20は、取得された画像に適用されるデジタルゲインを調整してもよい。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ20は、取得された画像に適用されるデジタルゲインを増加させて、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ20は、デジタルゲインを減少させうる。
【0029】
加えて、カメラが、画像センサ28に到達する光の量を制御する可変絞りを有する場合、カメラコントローラは、可変絞りを制御して、画像センサに到達する光の量を変更しうる。測定輝度値が目標輝度値よりも低い場合、カメラコントローラ20は、絞りのサイズを増加させ、より多くの光が画像センサ28に到達することを可能にして、測定輝度値を増加させうる。測定輝度値が目標輝度値よりも高い場合、カメラコントローラ20は、絞りのサイズを減少させて、より少ない光が画像センサに到達することを可能にしうる。加えて、カメラコントローラ20は、画像センサ28の感度を調整してもよい。
【0030】
カメラコントローラ20は、複数のパラメータを調整する必要がありうる。例えば、カメラコントローラ20が、露出時間を最大限に可能な露出時間まで既に増加させていて、かつ測定輝度値が依然として、目標輝度値よりも低い場合、カメラコントローラは、デジタルゲインなどの別のパラメータを調整して、測定輝度値をさらに増加させうる。
【0031】
一実装において、既知のカメラ空間照明特性が、露出を調整する際にさらに考慮され、露出補正は、関心領域にわたって不均一である。例えば、カメラ12が広角画像の周辺に向かって光が減少することが知られている場合、勾配を計算して適用し、自動露出設定を変更してもよい。選択された関心領域が広角画像の周辺の近くのピクセルを含む場合、周辺により近い関心領域内のピクセルには、増加させたデジタルゲインが提供されてもよい。一実装において、関心領域の各ピクセルが、広角画像の中心からどの程度離れているかに応じて、勾配が適用される。
【0032】
先行技術に関連するデメリットを完全かつ効果的に克服する外科手術撮像システムおよび方法が、上記説明および図面に開示されている。しかしながら、本開示の実装の変形および修正が、本発明の原理から逸脱することなく行われうることが明らかであろう。本明細書における実装の提示は、限定ではなく例示の目的でのみ提供されていて、本発明の真の範囲および趣旨は、以下の特許請求の範囲によって示されている。
【国際調査報告】