特表 2023-533018 オブジェクトを描く画像フレームの自動露光を管理しながらオブジェクトを割り引くための装置、システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-01

(54)【発明の名称】オブジェクトを描く画像フレームの自動露光を管理しながらオブジェクトを割り引くための装置、システムおよび方法

(51)【国際特許分類】

   A61B 1/06 20060101AFI20230725BHJP

【ＦＩ】

A61B1/06 610

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023501008

(86)(22)【出願日】2021-07-07

(85)【翻訳文提出日】2023-03-03

(86)【国際出願番号】 US2021040712

(87)【国際公開番号】W WO2022011029

(87)【国際公開日】2022-01-13

(31)【優先権主張番号】63/050,598

(32)【優先日】2020-07-10

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヘ，ゼン

(72)【発明者】

【氏名】ディカルロ，ジェフリー エム．

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161NN01

4C161QQ09

4C161RR02

4C161RR22

4C161SS23

4C161TT01

4C161WW02

(57)【要約】

例示的な装置が、画像キャプチャシステムによってキャプチャされる画像フレームにおいて画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別することがある。装置は、画像フレーム内のオブジェクト領域を割り引くことによって画像フレームについてのフレーム自動露光値を決定することがある。フレーム自動露光値に基づいて、装置は、追加的な画像フレームをキャプチャするために画像キャプチャシステムによる使用のために１つ以上の自動露光パラメータを更新することがある。画像フレームの自動露光を管理するための対応する装置、システム、および方法も開示される。

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサと、
実行可能な命令を格納するメモリと、を含む、
装置であって、
前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置に、
画像キャプチャシステムによってキャプチャされる画像フレーム内で、該画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別させ、
前記画像フレーム内の前記オブジェクト領域を割り引くことによって前記画像フレームについてのフレーム自動露光値を決定させ、
追加的な画像フレームをキャプチャするために、前記フレーム自動露光値に基づいて、前記画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新させる、
装置。

【請求項2】

前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置によって、前記画像フレームに含まれる画素ユニットに、該画素ユニットが前記オブジェクトの前記描写に含まれるそれぞれの信頼性レベルを示すそれぞれの重み値を割り当て、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記それぞれの重み値に基づく、
請求項１に記載の装置。

【請求項3】

前記オブジェクト領域を割り引くことによって前記フレーム自動露光値を決定することは、
前記画像フレームに含まれる画素ユニットのそれぞれのユニット自動露光値を決定することと、
前記画素ユニットの前記それぞれのユニット自動露光値の、前記画素ユニットに割り当てられる前記それぞれの重み値に基づいて、前記フレーム自動露光値を加重平均として決定することと、を含む、
請求項２に記載の装置。

【請求項4】

前記オブジェクト領域を識別することは、前記画像フレームに含まれる画素ユニットと関連付けられる１つ以上の局所的特徴に基づく、請求項１に記載の装置。

【請求項5】

前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画素ユニットのクロミナンス特徴を含み、
前記オブジェクト領域を識別することは、前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することを含む、
請求項４に記載の装置。

【請求項6】

前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられる前記クロミナンス特徴と比較することは、各画素ユニットについて、
色空間内で、前記画素ユニットのクロミナンス特徴を表す第１のポイントと前記オブジェクトと関連付けられる前記クロミナンス特徴を表す第２のポイントとの間の距離を決定することと、
前記第１のポイントと前記第２のポイントとの間の前記距離に基づいて、前記画素ユニットに重み値を割り当てることと、を含み、前記重み値は、
前記距離が上方閾値を超えるならば、第１の重み値として割り当てられ、
前記距離が下方閾値を超えないならば、第２の重み値として割り当てられ、該第２の重み値は、前記第１の重み値よりも大きく、
前記距離が前記下方閾値を超え、前記上方閾値を超えないならば、前記第１の重み値と前記第２の重み値との間の動作重み値として割り当てられ、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記重み値に基づいて行われる、
請求項５に記載の装置。

【請求項7】

前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画素ユニットの輝度特徴を含み、
前記オブジェクト領域を識別することは、前記画素ユニットの前記輝度特徴を前記オブジェクトと関連付けられる輝度特徴と比較することを含む、
請求項４に記載の装置。

【請求項8】

前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画素ユニットのクロミナンス特徴および輝度特徴を含み、
前記オブジェクト領域を識別することは、
前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することと、
前記画素ユニットの前記輝度特徴を前記オブジェクトと関連付けられる輝度特徴と比較することと、を含む、
請求項４に記載の装置。

【請求項9】

前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置に、前記画像フレーム内に描かれるシーンの環境像についての色域を決定させ、
前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画素ユニットのクロミナンス特徴を含み、
前記オブジェクト領域を識別することは、前記画素ユニットの前記クロミナンス特徴が前記シーンの前記環境像についての前記色域内に含まれるかどうかを決定することを含む、
請求項４に記載の装置。

【請求項10】

前記画像キャプチャシステムは、身体に対する医療処置の実行中にキャプチャされる画像フレームシーケンスの部分として前記画像フレームをキャプチャするように構成される内視鏡画像キャプチャデバイスを含み、
前記画像フレーム内に描写される前記シーンは、前記身体の内部ビューであり、
前記シーンの前記環境像についての前記色域は、前記身体の前記内部ビューに見える血液および組織に対応する赤色の範囲を含む、
請求項９に記載の装置。

【請求項11】

前記画素ユニットの各々は、個々の画素である、請求項４に記載の装置。

【請求項12】

前記画像フレームは、グリッドのセルに分割され、各セルは、個々の画素のグループ化を含み、
前記画素ユニットの各々は、個々の画素のそれぞれのグループ化を含む前記グリッドのセルである、
請求項４に記載の装置。

【請求項13】

前記オブジェクト領域を識別することは、前記画像フレームと関連付けられる１つ以上の大域的特徴に基づく、請求項１に記載の装置。

【請求項14】

前記画像フレームと関連付けられる前記１つ以上の大域的特徴は、前記画像フレーム内に描かれるシーン内の前記オブジェクトの位置を追跡するオブジェクト追跡システムから受信されるオブジェクト追跡データに基づいて決定されるオブジェクト位置特徴を含む、請求項１３に記載の装置。

【請求項15】

前記オブジェクトは、ロボットアームによって制御される器具を含み、
前記オブジェクト追跡システムは、前記ロボットアームの動きと関連付けられる運動学的データに基づいて前記オブジェクトの前記位置を追跡する、
請求項１４に記載の装置。

【請求項16】

前記オブジェクト追跡システムは、前記画像フレームを含む画像フレームシーケンスの画像フレームに適用されるコンピュータビジョン技法に基づいて前記オブジェクトの前記位置を追跡する、請求項１４に記載の装置。

【請求項17】

前記オブジェクト領域を識別することは、
前記画像フレームに含まれる画素ユニットと関連付けられる局所的特徴と
前記画像フレームと関連付けられる大域的特徴と
の組み合わせに基づく、
請求項１に記載の装置。

【請求項18】

前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置に、
前記画像フレーム内の前記オブジェクト領域を割り引くことによって前記画像フレームについてのフレーム自動露光ターゲットを決定させ、且つ、
前記フレーム自動露光値および前記フレーム自動露光ターゲットに基づいて、フレーム自動露光利得を決定させ、
前記１つ以上の自動露光パラメータを更新することは、前記フレーム自動露光利得に基づいて前記１つ以上の自動露光パラメータを更新することを含む、
請求項１に記載の装置。

【請求項19】

前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置に、平滑化フィルタを用いて、前記画像フレームを含む画像フレームシーケンス内の１つ以上のフレームと関連付けられる１つ以上のフレーム自動露光パラメータ利得に基づいて、前記フレーム自動露光利得をフィルタリングさせ、
前記１つ以上の自動露光パラメータを更新することは、前記フィルタリングされるフレーム自動露光利得に基づく、
請求項１８に記載の装置。

【請求項20】

前記１つ以上の自動露光パラメータは、
露光時間パラメータ、
シャッタ絞りパラメータ、
照明強度パラメータ、または
輝度利得パラメータ
のうちの１つ以上を含む、
請求項１に記載の装置。

【請求項21】

医療処置中に身体の内部ビューを含むシーンを照明するように構成される照明源と、
前記医療処置中に画像フレームシーケンスをキャプチャするように構成される画像キャプチャデバイスと、
１つ以上のプロセッサと、を含み、
前記画像フレームシーケンスは、前記医療処置中の前記シーンを描写する画像フレームを含み、
前記１つ以上のプロセッサは、
前記画像フレーム内に描かれる前記シーンの環境像についての色域を決定するように構成され、前記色域は、前記身体の前記内部ビューに見える血液および組織に対応する赤色の範囲を含み、
前記画像フレーム内で、前記画像フレームに含まれる画素ユニットの１つ以上のクロミナンス特徴に基づいて、前記画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別するように構成され、該識別することは、前記画素ユニットの前記クロミナンス特徴が前記シーンの前記環境像についての前記色域に含まれるかどうかを決定することを含み、
前記画像フレーム内で前記オブジェクト領域を割り引くことによって前記画像フレームについてのフレーム自動露光値を決定するように構成され、且つ、
前記フレーム自動露光値に基づいて、追加的な画像フレームをキャプチャするために、前記画像キャプチャデバイスまたは前記照明源による使用のための１つ以上の自動露光パラメータを更新するように構成される、
システム。

【請求項22】

前記１つ以上のプロセッサは、前記画素ユニットに、前記画素ユニットが前記オブジェクトの前記描写に含まれるそれぞれの信頼性レベルを示すそれぞれの重み値を割り当てるように構成され、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記それぞれの重み値に基づく、
請求項２１に記載のシステム。

【請求項23】

前記オブジェクト領域を割り引くことによって前記フレーム自動露光値を決定することは、
前記画像フレームに含まれる画素ユニットのそれぞれのユニット自動露光値を決定することと、
前記画素ユニットの前記それぞれのユニット自動露光値の、前記画素ユニットに割り当てられる前記それぞれの重み値に基づいて、前記フレーム自動露光値を加重平均として決定することと、を含む、
請求項２２に記載のシステム。

【請求項24】

前記オブジェクト領域を識別することは、前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することを含み、
前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられる前記クロミナンス特徴と比較することは、各画素ユニットについて、
色空間内で、前記画素ユニットのクロミナンス特徴を表す第１のポイントと前記オブジェクトと関連付けられる前記クロミナンス特徴を示す第２のポイントとの間の距離を決定することと、
前記第１のポイントと前記第２のポイントとの間の前記距離に基づいて、前記画素ユニットに重み値を割り当てることと、を含み、該重み値は、
前記距離が上方閾値を超えるならば、第１の重み値として割り当てられ、
前記距離が下方閾値を超えないならば、第２の重み値として割り当てられ、該第２の重み値は、前記第１の重み値よりも大きく、
前記距離が前記下方閾値を超え、前記上方閾値を超えないならば、前記第１の重み値と前記第２の重み値との間の動作重み値として割り当てられ、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記重み値に基づく、
請求項２１に記載のシステム。

【請求項25】

前記オブジェクト領域を識別することは、前記画像フレームと関連付けられる１つ以上の大域的特徴に基づく、請求項２１に記載のシステム。

【請求項26】

前記オブジェクトは、前記医療処置のために使用される器具を含み、
当該システムは、
前記器具の動きを制御するロボットアームと、
前記ロボットアームの動きと関連付けられる運動学的データ、または前記画像フレームシーケンスの画像フレームに適用されるコンピュータビジョン技法のうちの１つ以上に基づいて、前記医療処置中に前記シーン内の前記オブジェクトの位置を追跡するように構成される、オブジェクト追跡システムと、を更に含み、
前記画像フレームと関連付けられる前記１つ以上の大域的特徴は、前記オブジェクト追跡システムから受信されるオブジェクト追跡データに基づいて決定されるオブジェクト位置特徴を含む、
請求項２５に記載のシステム。

【請求項27】

前記オブジェクト領域を識別することは、
前記画像フレームに含まれる画素ユニットと関連付けられる局所的特徴と
前記画像フレームと関連付けられる大域的特徴と
の組み合わせに基づく、
請求項２１に記載のシステム。

【請求項28】

前記画像キャプチャデバイスは、画像センサと、シャッタとを含み、
前記１つ以上の自動露光パラメータは、
前記シャッタによって前記画像センサが前記照明される組織にどれぐらい長く露光されることが可能にされるかに対応する露光時間パラメータ、
前記シャッタの絞りサイズに対応するシャッタ絞りパラメータ、
前記照明源によって提供される照明の強度に対応する照明強度パラメータ、および
前記画像センサによって生成される輝度データに適用される利得に対応する輝度利得パラメータ
のうちの１つ以上を含む、
請求項２１に記載のシステム。

【請求項29】

命令を格納する非一時的なコンピュータ読取可能媒体であって、
前記命令は、実行されるときに、コンピューティングデバイスの１つ以上のプロセッサに、
画像キャプチャシステムによってキャプチャされる画像フレーム内で、該画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別させ、
前記画像フレーム内で前記オブジェクト領域を割り引くことによって前記画像フレームについてのフレーム自動露光ターゲットを決定させ、且つ、
前記フレーム自動露光ターゲットに基づいて、追加的な画像フレームをキャプチャするために、前記画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新させる、
非一時的なコンピュータ読取可能媒体。

【請求項30】

前記命令は、実行されるときに、前記１つ以上のプロセッサによって、前記画像フレームに含まれる画素ユニットに、該画素ユニットが前記オブジェクトの前記描写中に含まれるそれぞれの信頼性レベルを示すそれぞれの重み値を割り当て、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記それぞれの重み値に基づく、
請求項２９に記載の非一時的なコンピュータ読取可能媒体。

【請求項31】

前記オブジェクト領域を割り引くことによって前記フレーム自動露光ターゲットを決定することは、
前記画像フレームに含まれる画素ユニットのそれぞれのユニット自動露光ターゲットを決定することと、
前記画素ユニットの前記それぞれのユニット自動露光ターゲットの、前記画素ユニットに割り当てられる前記それぞれの重み値に基づいて、前記フレーム自動露光ターゲットを加重平均として決定することと、を含む、
請求項３０に記載の非一時的なコンピュータ読取可能媒体。

【請求項32】

前記オブジェクト領域を識別することは、前記画像フレームに含まれる画素ユニットと関連付けられる１つ以上の局所的特徴に基づく、請求項２９に記載の非一時的なコンピュータ読取可能媒体。

【請求項33】

前記オブジェクト領域を識別することは、前記画像フレームと関連付けられる１つ以上の大域的特徴に基づく、請求項２９に記載の非一時的なコンピュータ読取可能媒体。

【請求項34】

前記オブジェクト領域を識別することは、
前記画像フレームに含まれる画素ユニットと関連付けられる局所的特徴と
前記画像フレームと関連付けられる大域的特徴と
の組み合わせに基づく、
請求項２９に記載の非一時的なコンピュータ読取可能媒体。

【請求項35】

前記命令は、実行されるときに、１つ以上のプロセッサに、
前記画像フレーム内で前記オブジェクト領域を割り引くことによって前記画像フレームについてのフレーム自動露光値を決定させ、且つ、
前記フレーム自動露光値および前記フレーム自動露光ターゲットに基づいて、フレーム自動露光利得を決定させ、
前記１つ以上の自動露光パラメータを更新することは、前記フレーム自動露光利得に基づいて、前記１つ以上の自動露光パラメータを更新することを含む、
請求項２９に記載の非一時的なコンピュータ読取可能媒体。

【請求項36】

コンピューティングデバイスによって、画像キャプチャシステムによってキャプチャされる画像フレームにおいて、該画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別することと、
前記コンピューティングデバイスによって、前記画像フレーム内で前記オブジェクト領域を割り引くことによって前記画像フレームについてのフレーム自動露光値およびフレーム自動露光ターゲットを決定することと、
前記コンピューティングデバイスによって、前記フレーム自動露光値および前記フレーム自動露光ターゲットに基づいて、追加的な画像フレームをキャプチャするために、前記画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新することと、を含む、
方法。

【請求項37】

前記コンピューティングデバイスによって、前記画像フレームに含まれる画素ユニットに、該画素ユニットが前記オブジェクトの前記描写に含まれるそれぞれの信頼性レベルを示すそれぞれの重み値を割り当てることを更に含み、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記それぞれの重み値に基づく、
請求項３６に記載の方法。

【請求項38】

前記オブジェクト領域を割り引くことによって前記フレーム自動露光値および前記フレーム自動露光ターゲットを決定することは、
前記画像フレームに含まれる画素ユニットのそれぞれのユニット自動露光値および自動露光ターゲットを決定することと、
前記画素ユニットの前記それぞれのユニット自動露光値の、前記画素ユニットに割り当てられる前記それぞれの重み値に基づいて、前記フレーム自動露光値を加重平均として決定することと、
前記画素ユニットの前記それぞれのユニット自動露光ターゲットの、前記画素ユニットに割り当てられる前記それぞれの重み値に基づいて、前記フレーム自動露光ターゲットを加重平均として決定することと、を含む、
請求項３７に記載の方法。

【請求項39】

前記オブジェクト領域を決定することは、前記画像フレームに含まれる画素ユニットと関連付けられる１つ以上の局所的特徴に基づく、請求項３６に記載の方法。

【請求項40】

前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画素ユニットのクロミナンス特徴を含み、
前記オブジェクト領域を識別することは、前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することを含む、
請求項３９に記載の方法。

【請求項41】

前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられる前記クロミナンス特徴と比較することは、各画素ユニットについて、
色空間内で、前記画素ユニットのクロミナンス特徴を示す第１のポイントと前記オブジェクトと関連付けられる前記クロミナンス特徴を示す第２のポイントとの間の距離を決定することと、
前記第１のポイントと前記第２のポイントとの間の前記距離に基づいて、前記画素ユニットに重み値を割り当てることと、を含み、該重み値は、
前記距離が上方閾値を超えるならば、第１の重み値として割り当てられ、
前記距離が下方閾値を超えないならば、第２の重み値として割り当てられ、該第２の重み値は、前記第１の重み値よりも大きく、
前記距離が前記下方閾値を超え、前記上方閾値を超えないならば、前記第１の重み値と前記第２の重み値との間の動作重み値として割り当てられ、
前記オブジェクト領域を識別することは、前記画素ユニットに割り当てられる前記重み値に基づく、
請求項４０に記載の方法。

【請求項42】

前記オブジェクト領域を識別することは、前記画像フレームと関連付けられる１つ以上の大域的特徴に基づく、請求項３６に記載の方法。

【請求項43】

前記オブジェクト領域を識別することは、
前記画像フレームに含まれる画素ユニットと関連付けられる局所的特徴と
前記画像フレームと関連付けられる大域的特徴と
の組み合わせに基づく、
請求項３６に記載の方法。

【請求項44】

前記コンピューティングデバイスによって、前記フレーム自動露光値および前記フレーム自動露光ターゲットに基づいて、フレーム自動露光利得を決定することを更に含み、
前記１つ以上の自動露光パラメータを更新することは、前記フレーム自動露光利得に基づいて前記１つ以上の自動露光パラメータを更新することを含む、
請求項３６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本願は、２０２０年７月１０日に出願された米国仮特許出願第６３／０５０，５９８号に対する優先権を主張し、その全文が参照により本明細書に援用される。

【背景技術】

【0002】

自動露光(auto-exposure)アルゴリズムは、画像フレームによって描かれたシーンにどれぐらいの光が存在するかを決定するめに画像フレームを分析することによって並びにこの分析に基づいて画像フレームをキャプチャする(取り込む)画像キャプチャデバイスの自動露光パラメータを更新することによって作動する。このようにして、自動露光パラメータは、連続的に更新されて、画像キャプチャデバイスに、キャプチャされている画像フレームのための所望の量の露光を提供させることがある。良好な自動露光管理がないならば、（例えば、飽和の故に詳細が失われ、画像が明るく見えすぎる）過剰露光または（例えば、ノイズの故に詳細が失われ、画像が暗く見えすぎる）過少露光のいずれかによって、画像キャプチャプロセス中に、詳細が失われることがある。

【0003】

従来の自動露光アルゴリズムは、多くのタイプの画像を十分に役立つが、特にオブジェクトが画像の比較的大きな部分を占め、オブジェクトが画像の視聴者(viewer)にとって特に関心対象でないときには、画像内の他の描かれたオブジェクトとは異なる輝度(luminance)を有するオブジェクトを描く画像によって挑戦が提起されることがある。従来の自動露光アルゴリズムが、そのようなオブジェクトを描く画像フレームを処理するときに、アルゴリズムは、画像フレームを過剰露光または過少露光する可能性が高く、且つ／或いは他の望ましくない問題（例えば、オブジェクトがフレームに出入り移動するときの明るさ(brightness)の不整合(inconsistency)など）に直面する可能性が高い。

【発明の概要】

【0004】

以下の記述は、本明細書に記載される装置、システム、および方法の１つ以上の態様の簡略化された要約を提示する。この要約は、全ての想定される態様の広範な概観ではなく、全ての態様の鍵となる要素または重要な要素を特定することも、ありとあらゆる態様の範囲を示すことも意図していない。その唯一の目的は、以下に提示される詳細な記述の序文として、本明細書に記載されるシステムおよび方法の１つ以上の態様を提示することである。

【0005】

画像フレームの自動露光を管理するための例示的な装置が、１つ以上のプロセッサと、実行可能な命令を格納するメモリとを含み、命令は、１つ以上のプロセッサによって実行されるときに、装置に、本明細書に記載される様々な操作を実行させる。例えば、装置は、画像キャプチャシステムによってキャプチャされる画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別することがある。装置は、画像フレーム内のオブジェクト領域を割り引くことによって画像フレームについてのフレーム自動露光値を決定することがある。フレーム自動露光値に基づいて、装置は、追加的な画像フレームをキャプチャするために、画像キャプチャシステムによる使用のために１つ以上の自動露光パラメータを更新することがある。

【0006】

画像フレームの自動露光を管理するための例示的なシステムが、照明源と、画像キャプチャデバイスと、１つ以上のプロセッサとを含む。照明源は、医療処置中に身体の内部ビューを含むシーンを照明するように構成されてよい。画像キャプチャデバイスは、医療処置中に画像フレームシーケンスをキャプチャするように構成されてよい。画像フレームシーケンスは、医療処置中のシーンを描写する画像フレームを含んでよい。１つ以上のプロセッサは、画像フレーム内に描写されるシーンの環境像についての色域を決定するように構成されてよい。例えば、色域は、身体の内部ビューに見える血液および組織に対応する赤色の範囲を含んでよい。１つ以上のプロセッサは、画像フレーム内で、画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別してもよい。識別することは、例えば、画素ユニットのクロミナンス特徴がシーンの環境像についての識別される色域に含まれるかどうかを決定することによって、画像フレームに含まれる画素ユニットのクロミナンス特徴に基づいて行われてよい。１つ以上のプロセッサは、画像フレームにおいてオブジェクト領域を割り引くことによって画像フレームについてのフレーム自動露光値を決定してよく、フレーム自動露光値に基づいて、追加的な画像フレームをキャプチャするために、画像キャプチャデバイスまたは照明源による使用のための１つ以上の自動露光パラメータを更新してよい。

【0007】

例示的な非一時的なコンピュータ読取可能媒体が、命令を格納してよく、命令は、実行されるときに、コンピューティングデバイスの１つ以上のプロセッサに、本明細書に記載される様々な操作(動作)を実行させる。例えば、１つ以上のプロセッサは、画像キャプチャシステムによってキャプチャされる画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別してよい。１つ以上のプロセッサは、画像フレーム内のオブジェクト領域を割り引くことによって画像フレームについてのフレーム自動露光ターゲットを決定してよい。フレーム自動露光ターゲットに基づいて、１つ以上のプロセッサは、追加的な画像フレームをキャプチャするために、画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新してよい。

【0008】

画像フレームの自動露光を管理するための例示的な方法が、本明細書に記載される様々な操作(動作)を含んでよく、それらの各々は、本明細書に記載される自動露光管理装置のようなコンピューティングデバイスによって実行される。例えば、方法は、画像キャプチャシステムによってキャプチャされる画像フレームにおいて、画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域を識別することを含んでよい。方法は、画像フレームにおいてオブジェクト領域を割り引くことによって画像フレームについてのフレーム自動露光値およびフレーム自動露光ターゲットを決定することを更に含んでよい。フレーム自動露光値およびフレーム自動露光ターゲットに基づいて、方法を実行するコンピューティングデバイスは、追加的な画像フレームをキャプチャするために、画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新してよい。

【0009】

添付の図面は、様々な実施形態を図示しており、本明細書の一部である。図示の実施形態は、単なる例にすぎず、本開示の範囲を限定するものではない。図面を通じて、同一または類似の参照番号は、同一または類似の要素を指し示している。

【図面の簡単な説明】

【0010】

【図1】本明細書に記載される原理に従った画像フレームの自動露光を管理するための例示的な自動露光管理装置を示している。

【0011】

【図2】本明細書に記載される原理に従った画像フレームの自動露光を管理するための例示的な自動露光管理方法を示している。

【0012】

【図3】本明細書に記載される原理に従った画像フレームの自動露光を管理するための例示的な自動露光管理システムを示している。

【0013】

【図4A】本明細書に記載される原理に従った例示的な画像フレームに描写された例示的なオブジェクトの描写に対応するオブジェクト領域を識別するために、ローカル特徴がどのように利用されることがあるかを示している。

【0014】

【図4B】本明細書に記載される原理に従った例示的な画像フレームに描写された例示的なオブジェクトの描写に対応するオブジェクト領域を識別するために、グローバル特徴がどのように利用されることがあるかを示している。

【0015】

【図4C】本明細書に記載される原理に従った例示的な画像フレームのためのフレーム自動露光データポイントの決定の一部として、識別されたオブジェクト領域と関連付けられる画素ユニットがどのように割り引かれることがあるかを示している。

【0016】

【図5】本明細書に記載される原理に従った画像フレームの自動露光を管理するための例示的なフロー図を示している。

【0017】

【図6】本明細書に記載される原理に従った例示的な画像フレーム内のオブジェクト領域を識別するための例示的なフロー図を示している。

【0018】

【図7A】本明細書に記載される原理に従った例示的な画像フレーム内のオブジェクト領域識別を容易にするために色空間内で分析されることがある例示的な幾何学的特徴を示している。

【図7B】本明細書に記載される原理に従った例示的な画像フレーム内のオブジェクト領域識別を容易にするために色空間内で分析されることがある例示的な幾何学的特徴を示している。

【0019】

【図8】画素ユニットが本明細書に記載される原理に従って画像フレームに描写されるオブジェクトの描写に対応するという信頼性レベルを示すために画素ユニットに割り当てられることがある重み値の例示的な範囲を示している。

【0020】

【図9】本明細書に記載される原理に従った重み付き画素ユニットに基づいてフレーム自動露光値およびフレーム自動露光ターゲットを決定するための例示的なフロー図を示している。

【0021】

【図10】本明細書に記載される原理に従って自動露光パラメータを更新するための例示的な技法を示している。

【0022】

【図11】本明細書に記載される原理に従った例示的なコンピュータ支援医療システムを示している。

【0023】

【図12】本明細書に記載される原理に従った例示的なコンピューティングシステムを示している。

【発明を実施するための形態】

【0024】

画像フレームの自動露光(auto-exposure)を管理するための装置、システムおよび方法が、本明細書に記載される。上述のように、特定のタイプのオブジェクト(objects)を描写する画像フレームの自動露光管理は、特異な挑戦と関連付けられることがある。例えば、１つの特定のオブジェクトが画像フレーム内に描かれた他のコンテンツとは異なる輝度(luminance)を有するならば（例えば、オブジェクトが他のコンテンツよりも有意により暗いか或いはより明るいならば）、そのオブジェクトは、画像フレームについての平均自動露光値または自動露光ターゲットに有意に影響を与える（例えば、平均を有意に引き上げるか或いは引き下げる）ことがある。オブジェクトが画像フレームに対して大きければ大きいほど、この効果はより顕著になることがある。オブジェクトが、画像フレームが描くもののうちの主観的に重要な部分（例えば、画像フレームの視聴者がより詳細に見ることを望む可能性が高いもの）であるならば、オブジェクトがこのような方法において自動露光管理に影響を与えることが望ましいことがあり、従来の自動露光アルゴリズムが十分に機能することがある。しかしながら、オブジェクトが、シーン内に必然的に描かれるが、視聴者が他のコンテンツ（例えば、シーンの環境像とは別個の異質のオブジェクト）に対して焦点を合わるか或いはそのような他のコンテンツを詳細に見ることを望む可能性が低い、外来オブジェクト(extraneous object)であるならば、画像フレームの平均自動露光値および／またはターゲットに対するオブジェクトの影響は、望ましくないことがある。例えば、自動露光管理がオブジェクトに適切な露光を提供しようとすると、画像フレームに描かれた他のコンテンツ（例えば、ユーザがより詳細に見ることが望ましいことがあるシーンの環境像）の露光が損なわれることがある。具体的には、画像フレームに描かれた他のオブジェクトおよび／またはシーンコンテンツは、画像フレームの自動露光特性に対する外来オブジェクトの望ましくない影響の故に、少なくとも幾分、過剰露光または過少露光になることがある。

【0025】

この種の問題がどこで起こるかの一例として、身体に対する医療処置（例えば、外科処置など）の間に身体の内部ビューをキャプチャする(取り込む)内視鏡画像キャプチャデバイスが考慮される。この状況において、内視鏡像の視聴者（例えば、外科医または医療処置を補助する他の人）は、内部ビュー内に存在する解剖学的構造（例えば、組織）の詳細を見ることを望むことがある。しかしながら、シーンに必然的に存在する１つ以上の他のオブジェクトは、外来オブジェクトについての以下の基準、すなわち、（１）シーンの他の像とは外見が有意に異なること（例えば、シーンの環境像よりも有意に暗いまたは明るいこと）、または（２）画像の視聴者にとって重要な焦点エリアである可能性が低いことのうちの１つ以上に適合することがある。例えば、コンピュータ支援医療システム（例えば、単一ポートコンピュータ支援医療システム）の内視鏡によってキャプチャされる画像フレームは、身体の内部解剖学的構造の像と共に、医療処置を達成するために使用される１つ以上の外来オブジェクトを描写することがある。外来オブジェクトの一例は、医療処置の一部として組織を操作するために使用される器具の暗色シャフトであることがある。例えば、器具のシャフトは、暗いシースで覆われることがあり、器具が処置中に組織操作動作を行うために使用されるときに画像フレーム内で見えることがある。同様に、超音波プローブ、器具のヘッド、器具によって支持されるツール、および／または他の器具に関連するオブジェクトが、内視鏡シーンにおける自動露光管理に望ましくない影響を与える可能性が高い外来オブジェクトの基準に適合することがある。外来オブジェクトの別の例は、医療処置の一部として使用される明るく着色された（例えば、白色の）ガーゼまたは他のこのような材料（例えば、ヘルニアなどを治療するためのメッシュ材料など）であることがある。

【0026】

このシナリオでキャプチャされる画像フレームの視聴者（例えば、医療処置の実行を補助する医療スタッフ）は、キャプチャされる画像中に存在する可能性が高い大きなおよび／または暗い器具シャフトまたは他のそのような外来オブジェクトの詳細よりもむしろ、解剖学的内容（例えば、体組織、血液など）の詳細を見ることを望むことがある。よって、本明細書に記載される自動露光管理装置、システム、および方法は、器具シャフトのような外来オブジェクトの描写に対応する（器具シャフトのような外来オブジェクトを描写するか或いはその一部を構成する）可能性が高い画像フレームの領域を識別するための動作を行うことがあるので、これらのオブジェクト領域は、自動露光管理の基礎となる要因として割り引かれる(discounted)（例えば、無視される(ignored)或いは軽視される(downplayed)）ことができる。このようにして、外来オブジェクトは、シーンの平均輝度を望ましくなく引き上げるか或いは引き下げる可能性が低いことがあり、それによって、組織内容の望ましくない過剰露光または過少露光に関して上述した問題を緩和するか或いは解決することがある。更に、本明細書に記載される自動露光管理は、器具および他の外来オブジェクトがフレームに出入りするにつれて、さもなければ広く変化し、それによって、シーンのチカチカする(flicker)一貫性のない(inconsistent)自動露光を引き起こし得る、画像フレームシーケンスの自動露光特性（例えば、平均輝度など）を安定化させるのを助けることがある。よって、本明細書に記載される自動露光管理は、器具を移動させることによって引き起こされる輝度変動の問題および他の関連する問題（例えば、視聴者への注意散漫、視聴者に誘発される眼の疲労など）を緩和し或いは解決することもある。

【0027】

器具および他の外来オブジェクトが身体組織および解剖学的構造に沿って描写される内視鏡ビューを含む医療処置の例が、特許請求される主題事項の様々な態様を例示するために本明細書を通じて参照される。しかしながら、そのような内視鏡画像は、例として意図されているにすぎず、本明細書に記載される原理は、様々な実装において、特定の用途または使用事例に役立つことがある任意の適切なタイプのコンテンツに適用される場合があることが理解されるであろう。幾つかの追加的な例として、例えば、本明細書に記載される自動露光管理は、カメラを保持する暗く或いは明るく着色された三脚、ブームマイクロホン、カメラのレンズの部分を遮断する誤った位置にある親指または指、および／または画像フレームシーケンスの自動露光管理に望ましくない影響を与える可能性が高い他のそのような外来オブジェクトのような、オブジェクトがシーン内に存在する可能性が高い写真用途に用途を見出すことがる。

【0028】

次に、図面を参照しながら、様々な具体的な実施形態を詳細に記載する。以下に記載される特定の実施形態は、様々な新規および発明の原理が様々な状況においてどのように適用されることがあるかの非限定的な例として提供されることが理解されるであろう。加えて、本明細書に明示的に記載されない他の例も、以下に記載される請求項の範囲によってキャプチャされることがあることが理解されるであろう。本明細書に記載される自動露光管理装置、システム、および方法は、上述の利点のいずれか、並びに以下に記載される且つ／或いは明らかにされる様々な追加的なおよび／または代替的な利点を提供することがある。

【0029】

図１は、本明細書に記載される原理に従って画像フレームの自動露光を管理するための例示的な自動露光管理装置１００（装置１００）を示している。装置１００は、画像キャプチャシステム（例えば、内視鏡画像キャプチャシステムなど）内に含まれるコンピュータリソース（例えば、サーバ、プロセッサ、メモリデバイス、ストレージデバイスなど）によって、（例えば、画像キャプチャシステムに通信的に結合される）画像キャプチャシステムに関連するコンピューティングシステムのコンピュータリソースによって、および／または特定の実装に役立つことがある任意の他の適切なコンピューティングリソースによって、実装されてよい。

【0030】

図示のように、装置１００は、限定されるものではないが、互いに選択的かつ通信的に結合されるメモリ１０２およびプロセッサ１０４を含むことがある。メモリ１０２およびプロセッサ１０４は、各々、コンピュータソフトウェアを格納し且つ／或いは処理するように構成されるコンピュータハードウェアを含むことがあり、或いはそのようなコンピュータハードウェアによって実装されることがある。図１に明示的に示されていないコンピュータハードウェアおよび／またはソフトウェアの様々な他のコンポーネント(構成要素)も装置１００内に含められることがある。幾つかの例において、メモリ１０２およびプロセッサ１０４は、特定の実装に役立つことがあるような複数のデバイスおよび／または複数の場所の間に分散されることがある。

【0031】

メモリ１０２は、本明細書に記載される機能性のうちのいずれかを実行するためにプロセッサ１０４によって使用される実行可能なデータを格納し且つ／或いは他の方法で維持することがある。例えば、メモリ１０２は、プロセッサ１０４によって実行されることがある命令１０６を格納することがある。メモリ１０２は、一時的または非一時的にデータを格納するように構成される、本明細書に記載される任意のメモリまたはストレージデバイス(記憶装置)を含む、１つ以上のメモリまたはストレージデバイスによって実装されることがある。命令１０６は、本明細書に記載される機能性のうちのいずれかを装置１００に実行させるためにプロセッサ１０４によって実行されることがある。命令１０６は、任意の適切なアプリケーション、ソフトウェア、コード、および／または他の実行可能なデータインスタンスによって実装されることがある。加えて、メモリ１０２は、特定の実装においてプロセッサ１０４によってアクセスされる、管理される、使用される、且つ／或いは送信される任意の他のデータを維持することもある。

【0032】

プロセッサ１０４は、汎用プロセッサ（例えば、中央処理装置（ＣＰＵｓ）、グラフィックス処理装置（ＧＰＵｓ）、マイクロプロセッサなど）、特殊目的プロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）など）、画像信号プロセッサ、または同等物を含む、１つ以上のコンピュータ処理デバイスによって実装されることがある。プロセッサ１０４を使用すると（例えば、プロセッサ１０４がメモリ１０２に格納される命令１０６によって表される操作を実行するように指示されるときに）、装置１００は、画像フレームの自動露光管理に及ぼす影響が割り引かれるべきオブジェクト（例えば、外来オブジェクト）（例えば、内視鏡医療処置の間に身体の内部のシーンに存在する暗い器具シャフトのようなオブジェクト）を描写する画像フレームの自動露光を管理することに関連する様々な機能を実行することがある。

【0033】

図２は、装置１００が本明細書に記載される原理に従って画像フレームの自動露光を管理するために実行することがある例示的な自動露光管理方法２００（方法２００）を示している。図２は、一実施形態による例示的な動作(operations)を示しているが、他の実施形態は、図２に示される動作のいずれかを省略、追加、順序変更、および／または修正することがある。幾つかの例では、図２に示される或いは図２に関連して記載される複数の動作が、図示され且つ／或いは記載されるように連続的に実行されるのではなく、互いに（例えば、並行して）同時に実行されることがある。図２に示される１つ以上の動作は、自動露光管理装置（例えば、装置１００）、自動露光管理システム（例えば、以下に記載される自動露光管理システムの実装）、および／またはそれらの任意の実装によって行われることがある。

【0034】

動作２０２で、装置１００は、画像キャプチャシステムによってキャプチャされる画像フレーム内のオブジェクト領域を識別することがある。オブジェクト領域は、画像フレーム内に描かれたオブジェクトの描写に対応することがある。例えば、オブジェクト領域が対応するオブジェクトは、上述のもの（例えば、低輝度の器具シャフトまたは超音波プローブ、高輝度のガーゼまたはメッシュ材料など）のいずれかのような外来オブジェクト、または（例えば、比較的大きなオブジェクトである、視聴者にとって関心対象である可能性が低い、他の描写される内容とは有意に異なる自動露光特性を有するなどの）外来オブジェクトについて上述された基準の一部または全部に適合する別のオブジェクトであることがある。以下により詳細に記載されるように、装置１００は、画像フレームに含まれる画素ユニット（例えば、個々の画素または画素のグループ）に関連する局所的特徴(ローカル特徴)に基づいて、画像フレームに関連する大域的特徴(グローバル特徴)に基づいて、および／または特定の実装に役立つことがある任意の他の要因に基づいて、オブジェクト領域を識別することがある。

【0035】

動作２０４で、装置１００は、画像フレーム内のオブジェクト領域を割り引くことによって、画像フレームのための１つ以上のフレーム自動露光データポイントを決定することがある。例えば、オブジェクト領域内に含まれるように識別された画素ユニットを割り引く（例えば、その影響を完全に無視するか或いは他の方法で軽視する）ことによって、装置１００は、画像フレームについての自動露光値（フレーム自動露光値）、画像フレームについての自動露光ターゲット（フレーム自動露光ターゲット）、および／または特定の実装に役立つことがある任意の他のフレーム自動露光データポイントを決定することがある。

【0036】

自動露光値は、特定の画像フレームまたはその一部分（例えば、領域、画素ユニットなど）の特定の自動露光関連特徴（例えば、輝度、信号強度、クロミナンス(chrominance)など）を表すと理解されるであろう。例えば、装置１００は、画像キャプチャシステムによってキャプチャされる画像フレームを分析することによって、そのような特徴を検出することがある。ユニット自動露光値は、画素ユニットについて決定される輝度(luminance)を指すことがある。例えば、ユニット自動露光値は、個々の画素の輝度として、或いは画素がグリッド内の画素セルにグループ化される実装における画素のグループの平均輝度として、或いは同等のこととして決定されることがある。別の例として、フレーム自動露光値は、フレーム自動露光値が特定の画素ユニットに対応するのと類似の方法において、フレーム自動露光値が画像フレームに対応するように、画像フレーム内に含まれる画素ユニットの一部または全部の平均輝度を指すことがある。

【0037】

これらの例では、自動露光値によって言及される平均輝度（および／または特定の例における１つ以上の他の平均露光関連特徴）は、特定の実装に役立つことがある任意のタイプの平均として決定される場合があることが理解されるであろう。例えば、画像フレームについての平均自動露光値は、画像フレームの各画素ユニットについてのそれぞれの輝度値を合計し、次に、その合計を値の総数で割ることによって決定される、画像フレームにおける画素ユニットの平均輝度を指すことがある。別の例として、画像フレームについての平均自動露光値は、各画素ユニットについてのそれぞれの輝度値が値によって順序付けられるときに中心輝度値(central luminance value)として決定される、画像フレームにおける画素ユニットの中央輝度(median luminance)を指すことがある。更に別の例として、画像フレームについての平均自動露光値は、各画素ユニットについてのそれぞれの輝度値のうちのいったいどちらが最も関連するか或いは最も頻繁に繰り返されるかとして決定される、画像フレームにおける画素ユニットのモード輝度を指すことがある。他の例では、他のタイプの平均値（平均値(mean)、中央値(median)、またはモード(mode)以外）および／または他のタイプの露光関連特徴（輝度以外）が、特定の実装に役立つことがある任意の方法において自動露光値を決定するために使用されることもある。

【0038】

自動露光ターゲットは、特定の画像フレームまたはその一部分（例えば、領域、画素ユニットなど）の自動露光値についてのターゲット（例えば、目標、所望の値、理想値、最適値など）を指すと理解されるであろう。装置１００は、特定の環境および任意の適切な基準に基づいて自動露光ターゲットを決定することがあり、自動露光ターゲットは、自動露光値によって表されるのと同じ自動露光関連特徴（例えば、輝度、信号強度、クロミナンスなど）に関連することがある。例えば、自動露光ターゲットは、中間灰色または同等の色に関連する輝度レベルのような所望のレベルの輝度（または他の露光関連特徴）で決定されることがある。よって、ユニット自動露光ターゲットは、画素ユニットについて決定された所望のターゲット輝度（例えば、画素がグリッド内の画素セルにグループ化される実装における画素のグループについて決定される個々の画素についての所望のターゲット輝度または平均的な所望のターゲット輝度）を指すことがある。別の例として、フレーム自動露光ターゲットは、画像フレーム内に含まれる画素ユニットの一部または全部についての平均的な所望のターゲット輝度を指すことがあり、よって、ユニット自動露光ターゲットが特定の画素ユニットに対応するのと類似の方法において画像フレームに対応する自動露光ターゲットを表すことがある。フレーム自動露光値がどのように決定されることがあるかに関して上述されたのと同様に、そのような例におけるフレーム自動露光ターゲットは、平均値、中央値、モード、または他の適切なタイプの平均化技術を用いて個々のユニット自動露光ターゲットを平均化することによって決定されることがある。

【0039】

動作２０４でのフレーム自動露光値および／またはフレーム自動露光ターゲットのようなフレーム自動露光データポイントの決定は、特定の実装に役立つことがあるような任意の方法において、動作２０２で識別されるオブジェクト領域を割り引くことがある。例えば、以下により詳細に記載されるように、フレーム自動露光データポイントを決定するためにユニット自動露光データポイントの重み付け平均を利用する実装において、オブジェクト領域に対応する画素ユニットに割り当てられる重み値は、オブジェクト領域に対応しない画素ユニットの重み値よりも低いように設定されることがあり、或いは完全に消去される(zero out)されることがある。これらの方法において、異なる実装は、自動露光管理の目的のためにオブジェクト領域を完全に無視すること（例えば、自動露光管理に対するオブジェクト領域の影響を完全に排除すること）によって、オブジェクト領域の影響をより限定的な範囲まで減少させること（例えば、自動露光管理に対するオブジェクト領域の影響を完全に排除するわけではないが軽視すること）によって、或いは各画素ユニットに関連する信頼性レベルに従ってこれらの両方を行うことによって、オブジェクト領域を割り引くように構成されることがある。

【0040】

動作２０６で、装置１００は、１つ以上の追加的な画像フレームをキャプチャするために画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新する（例えば、調整するか或いは維持する）ことがある。幾つかの例において、装置１００は、自動露光値、自動露光ターゲット、および／または画像フレームの画素の他の自動露光データポイントに基づいて、それらのデータポイントが（例えば、動作２０４で）決定されるときに、１つ以上の自動露光パラメータを更新することがある。例えば、装置１００がフレーム自動露光値および／またはフレーム自動露光ターゲットを決定したと仮定すると、装置１００は、フレーム自動露光値および／またはフレーム自動露光ターゲットに基づいて動作２０６で１つ以上の自動露光パラメータを更新することがある。例えば、装置１００は、フレーム自動露光値およびフレーム自動露光ターゲットに基づいて画像フレームについての自動露光利得（フレーム自動露光利得）を決定することがあり、フレーム自動露光利得に基づいて１つ以上の自動露光パラメータの更新を実行することがある。

【0041】

装置１００は、自動露光利得に基づいて適切にパラメータを調整することまたはパラメータを維持することのいずれかによって自動露光パラメータを更新することがある。このようにして、画像キャプチャシステムは、それらの追加的な画像フレームについて検出される自動露光値とそれらの追加的な画像フレームにとって望ましい自動露光ターゲットとの間の差を低減することがある自動露光パラメータ（例えば、露光時間パラメータ、シャッタ絞りパラメータ、照明強度パラメータ、画像信号アナログおよび／またはデジタル利得など）を使用して、１つ以上の追加的な画像フレーム（例えば、キャプチャされている画像フレームシーケンス中の後続の画像フレーム）をキャプチャすることがある。従って、追加的な画像フレームは、そのような調整なしでキャプチャされることがある露光特徴よりも望ましい露光特徴でキャプチャされることがあり、装置１００のユーザは、より優れた画像（例えば、所望の輝度レベルで外来オブジェクト以外のコンテンツの詳細を示す画像など）を経験することがある。

【0042】

装置１００は、１つ以上のコンピューティングデバイスによって或いは以下に更に詳細に記載されるような汎用または特殊目的コンピューティングシステムのコンピューティングリソースによって実装されることがある。特定の実施形態において、１つ以上のコンピューティングデバイスまたはコンピューティングリソース実装装置１００は、装置１００が処理するように構成される画像フレームをキャプチャするために使用される画像キャプチャシステムのような他のコンポーネントと通信的に結合されることがある。他の実施形態において、装置１００は、自動露光管理システム内に含まれることがある（例えば、自動露光管理システムの一部分として実装されることがある）。そのような自動露光管理システムは、（例えば、上述される方法２００の動作を含む）装置１００によって実行される本明細書に記載される全ての同じ機能を実行するように構成されることがあるが、これらの追加的なコンポーネントと関連付けられる機能性を実行し得るように、画像キャプチャシステムのような追加的なコンポーネントを更に組み込むことがある。

【0043】

図３は、画像フレームの自動露光を管理するための例示的な自動露光管理システム３００（システム３００）を示している。図示のように、システム３００は、照明源３０４と、シャッタ３０８、画像センサ３１０、およびプロセッサ３１２（例えば、画像信号処理パイプラインを実装する１つ以上の画像信号プロセッサ）を組み込む画像キャプチャデバイス３０６とを含む画像キャプチャシステム３０２と共に、装置１００の実装を含むことがある。システム３００内で、装置１００および画像キャプチャシステム３０２は、装置１００が本明細書に記載される動作に従って画像キャプチャシステム３０２に指示することを可能にするように、ならびに画像キャプチャシステム３０２が画像フレームシーケンス３１４および／または他の適切なキャプチャされる画像データをキャプチャして装置１００に提供することを可能にするように、通信的に結合されることがある。画像キャプチャシステム３０２のコンポーネントは、それぞれ、以下でより詳細に記載される。

【0044】

上述のように、本明細書に記載される原理は、広範な撮像シナリオに適用されることがあるが、本明細書に明示的に記載される多くの例は、図１１に関連して以下で更に詳細に記載されるようなコンピュータ支援医療システムを用いて実装されることがある医療処置に関する。そのような例において、画像がキャプチャされるシーンは、医療処置が行われる身体（例えば、生きている動物の身体、ヒトまたは動物の死体、ヒトまたは動物の解剖学的構造の一部分、ヒトまたは動物の解剖学的構造から取り除かれた組織、非組織ワークピース、訓練モデルなど）の内部ビュー(internal view)を含んでよい。よって、システム３００またはその特定のコンポーネント（例えば、画像キャプチャシステム３０２）は、コンピュータ支援医療システムと統合されてよく（例えば、コンピュータ支援医療システムの撮像リソースおよび計算リソースによって実装されてよく）、自動露光管理において割り引かれるべきオブジェクトは、コンピュータ支援医療システムまたは医療処置と関連付けられるオブジェクト（例えば、コンピュータ支援医療システムに含まれる機器、医療処置のために使用されるガーゼまたはメッシュ材料など）を含むことがある。

【0045】

特定のそのような例において、装置１００は、身体の内部ビューにおいて特徴付けられる外来オブジェクトおよび組織の色における差に基づいてオブジェクト領域を識別するように構成されることがある。例えば、装置１００は、画像フレーム内に描写されるシーンの環境像(environmental imagery)について（例えば、器具、ガーゼまたは内部身体に対して異質な他のオブジェクトのような、外来オブジェクト以外のシーンの要素の像について）、身体の内部ビューにおいて見える血液および組織に対応するある範囲の赤色を包含する色域(color gamut)を決定することがある。次に、画像フレームに含まれる画素ユニットの１つ以上のクロミナンス特徴に基づいて、装置１００は、例えば、画素ユニットのクロミナンス特徴がシーンの環境像のための色域内に含まれるかどうかを決定することを含む操作を実行することによって、画像フレーム内に描かれたオブジェクトの描写に対応するオブジェクト領域を画像フレーム内で識別してよい。

【0046】

照明源３０４は、任意のタイプの照明（例えば、可視光、赤外光または近赤外光、蛍光励起光など）を供給するように実装されてよく、画像キャプチャシステム３０２内の画像キャプチャデバイス３０６と相互動作するように構成されてよい。例えば、照明源３０４は、シーンの最適に照明された画像をキャプチャする際に画像キャプチャデバイス３０６を容易にするために、シーンに特定の量の照明を提供してよい。

【0047】

画像キャプチャデバイス３０６は、シーンの画像をキャプチャするように構成される任意の適切なカメラまたは他のデバイスによって実装されてよい。例えば、医療処置の例において、画像キャプチャデバイス３０６は、医療処置を受けている身体のビュー（例えば、内部ビュー）を描写する画像フレームを含むことがある、画像フレームシーケンス３１４をキャプチャするように構成される内視鏡画像キャプチャデバイスによって実装されてよい。図示のように、画像キャプチャデバイス３０６は、シャッタ３０８、画像センサ３１０、およびプロセッサ３１２のようなコンポーネントを含むことがある。

【0048】

画像センサ３１０は、電荷結合素子（ＣＣＤ）画像センサ、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、または同等物のような、任意の適切な画像センサによって実装されてよい。

【0049】

シャッタ３０８は、シーンからの光の取り込み(キャプチャ)および検出を支援するように、画像センサ３１０と相互動作することがある。例えば、シャッタ３０８は、キャプチャされる各画像フレームについて特定の量の光に画像センサ３１０を露光するように構成されてよい。シャッタ３０８は、電子シャッタおよび／または機械シャッタを含んでよい。シャッタ３０８は、シャッタアパーチャパラメータによって画定される特定のアパーチャサイズにおよび／または露光時間パラメータによって画定される特定の時間に亘って開口することによって、どれぐらいの光にイメージセンサ３１０が露光されるかを制御してよい。以下により詳細に記載されるように、これらのシャッタ関連パラメータは、装置１００が更新するように構成される自動露光パラメータの中に含まれることがある。

【0050】

プロセッサ３１２は、画像信号処理パイプラインの少なくとも部分を実装するように構成される１つ以上の画像信号プロセッサによって実装されてよい。プロセッサ３１２は、（例えば、パイプラインの途中で信号をタッピングして、様々な自動露光データポイントおよび／または他の統計を検出し且つ処理することによって）自動露光統計入力を処理し、（例えば、固定パターンノイズを低減すること、欠陥画素(ピクセル)を補正すること、レンズシェーディング(lens shading)問題を補正することなどによって）画像センサ３１０によってキャプチャされるデータについての光学アーチファクト補正を実行し、信号再構成操作（例えば、白色バランス操作、モザイク除去(demosaic)および色補正操作など）を実行し、画像信号アナログおよび／またはデジタル利得を適用し、且つ／或いは特定の実装に役立つことがある任意の他の機能を実行することがある。様々な自動露光パラメータは、プロセッサ３１２の機能性がどのように実行されるべきかを指示することがある。例えば、以下により詳細に記載されるように、自動露光パラメータは、プロセッサ３１２が適用するアナログおよび／またはデジタル利得を画定するように設定されてよい。

【0051】

幾つかの例では、画像キャプチャデバイス３０６の内視鏡的実装は、キャプチャされる画像フレームの観察者の２つの目（例えば、左目および右目）に提示される立体視の差(stereoscopic differences)に順応するように、２つのフルセットの画像キャプチャコンポーネント（例えば、２つのシャッタ３０８、２つの画像センサ３１０など）を含む立体視内視鏡を含んでよい。反対に、他の例では、画像キャプチャデバイス３０６の内視鏡実装は、単一のシャッタ３０８、単一の画像センサ３１０などを有する、平面視内視鏡を含んでよい。

【0052】

装置１００は、画像キャプチャシステム３０２の様々な自動露光パラメータを制御するように構成されてよく、画像キャプチャシステム３０２によってキャプチャされる入ってくる画像データに基づいて、そのような自動露光パラメータをリアルタイムで調整してよい。上述のように、画像キャプチャシステム３０２の特定の自動露光パラメータは、シャッタ３０８および／または画像センサ３１０と関連付けられることがある。例えば、装置１００は、シャッタ３０８に、画像センサ３１０がシーンに露光されることをシャッタがどれぐらい長く可能にするべきかに対応する露光時間パラメータ、シャッタ３０８のアパーチャサイズに対応するシャッタアパーチャパラメータ、またはシャッタ３０８と関連付けられる任意の他の適切な自動露光パラメータに従って、シャッタ３０８を方向付けてよい。他の自動露光パラメータは、画像キャプチャシステム３０２またはシャッタ３０８および／またはセンサ３１０とは無関係の画像キャプチャプロセスの態様と関連付けられてよい。例えば、装置１００は、照明源３０４によって提供される照明の強度に対応する照明源３０４の照明強度パラメータ、照明が照明源３０４によって提供される間の時間期間に対応する照明持続時間パラメータ、または同等のパラメータを調整してよい。更に別の例として、装置１００は、プロセッサ３１２によって、画像センサ３１０によって生成される画像データ（例えば、輝度データ）に適用される、１つ以上のアナログおよび／またはデジタル利得（例えば、アナログ利得、バイエル(bayer)利得、ＲＧＢ利得など）に対応する、利得パラメータを調整してよい。

【0053】

これらまたは他の適切なパラメータのいずれか、またはそれらの任意の組み合わせは、現在の画像フレームの分析に基づいて後続の画像フレームのために装置１００によって更新されてよく、且つ／或いはその他の方法で調整されてよい。例えば、フレーム自動露光利得（例えば、フレーム自動露光値で除したフレーム自動露光ターゲット）が６．０であるように決定される一例では、様々な自動露光パラメータを以下のように設定することができる。１）現在の照明強度パラメータが１００％（例えば、最大出力）に設定されてよく、２）露光時間パラメータが１／６０秒（例えば、６０ｆｐｓ）に設定されてよく、３）アナログ利得が（１０．０のキャップで）５．０に設定されてよく、４）バイエル利得が（３．０のキャップで）１．０に設定されてよく、５）ＲＧＢ利得が（２．０のキャップで）２．０に設定されてよい。これらの設定で、利得は、アナログ利得（１０．０／５．０＝２．０）、バイエル利得（３．０／１．０＝３．０）、およびＲＧＢ利得（２．０／２．０＝１．０）に亘って分布されて、フレームについての所望の６．０の総自動露光利得（３．０×２．０×１．０＝６．０）が確立される。

【0054】

図４Ａ～図４Ｃは、画像フレームシーケンスの自動露光管理に対するその影響が装置１００によって割り引かれることがある例示的なオブジェクトを描写する例示的な画像フレーム４０２の様々な態様を示している。例えば、画像フレーム４０２は、システム３００によってキャプチャされ、画像フレームシーケンス３１４の画像フレームの１つとして含まれる、画像フレームであってよい。画像フレーム４０２は、画像フレーム４０２の視聴者が関心を持つことがある様々なオブジェクト４０４と、（例えば、視聴者が関心を持つ可能性が低いこと、オブジェクト４０４および背景とは有意に異なる輝度を有することなどの故に）割り引かれるべき外来オブジェクトであることがある特定のオブジェクト４０６とを、背景の正面において描写するように示されている。例えば、医療処置の例において、オブジェクト４０４の各々は、解剖学的背景（例えば、解剖学的オブジェクトに対して輝度において類似する血液、組織などを特徴とする背景）上に特徴付けられた解剖学的オブジェクトを表すことがある一方で、オブジェクト４０６は、自動露光管理が割り引くことが望ましいことがある器具シャフト、ガーゼ片、または他のそのような外来オブジェクトを表すことがある。単一の外来オブジェクト４０６のみが図４Ａおよび図４Ｂに示され、本明細書の多くの例に記載されているが、複数の外来オブジェクトは、オブジェクト４０６および／または本明細書に記載される他の外来オブジェクトについて本明細書に記載されるのと同じ方法において各オブジェクトを割り引くことによって、画像フレームから割り引かれてよいことが理解されるであろう。例えば、画像フレーム４０２は、（例えば、２つの異なる器具、３つの異なる器具などからの）複数の器具シャフトを描写することがあり、器具シャフトおよびガーゼ片などを描写することがある。

【0055】

図４Ａは、画像フレーム４０２に描かれたオブジェクト４０６の描写に対応するオブジェクト領域を識別するために、ローカル特徴がどのように利用されることがあるかを図示している。例えば、ローカル特徴は、画像フレーム４０２内に含まれる個々の画素ユニットと関連付けられるクロミナンス特徴（例えば、色特性）または輝度特徴（例えば、明るさ(brightness)特性）、ならびに画像フレーム４０２の他のコンテンツおよび／またはオブジェクト４０６のために期待される対応する特性を含んでよい。

【0056】

図４Ａは、白黒図で描写されているが、画像フレーム４０２に描写される様々なオブジェクトおよび背景領域を満たすために使用される様々なアラビア数字１～９は、異なる色を表すために、代替的に異なる明るさ値を表すように理解されるであろう。このアラビア数字ベースのクロミナンス／輝度表記では、互いに近いアラビア数字（例えば、１および２、８および９など）は、類似の色（例えば、赤色および赤橙色、緑色および緑黄色など）または類似の輝度レベルを表すと理解される一方で、互いに遠く離れたアラビア数字（例えば、１および８、２および９など）は、より別個の色（例えば、赤色および緑色、青色および橙色など）または異なる明るさレベルを表すと理解されるであろう。幾つかの例において、このアラビア数字ベースの表記は、アラビア数字１がアラビア数字９に隣接していると考えられ、アラビア数字１によって表される色または明るさがアラビア数字９によって表される色または明るさに類似しているように、包み込むように解釈されることがある。

【0057】

クロミナンス特徴の観点から図４Ａを参照すると、（アラビア数字９によって示される色であるように示される）オブジェクト４０６の色は、（アラビア数字３～５の範囲内で類似の色であるように示される）オブジェクト４０４の色および背景と著しく異なることがある。オブジェクト４０６の描写に対応するオブジェクト領域を識別するために使用される１つの局所的特徴は、オブジェクト４０６の色が、既知の外来オブジェクトに対して予想されることがある所定の色（例えば、医療処置のシーンに一般的に存在することが予想される器具のシャフトまたはシースのための金属的な灰色または黒色のような中性色）に近いかどうかであることがある。アラビア数字９が中性色（例えば、黒色、灰色など）を表す一方で、アラビア数字３～５が異なる赤色の色合い（例えば、身体内の内部シーンに存在する組織、血液、および／または血液組織に一般的に関連する色合い）を表すならば、装置１００は、オブジェクト４０６の色が器具の予想される中性色とどれぐらい類似しているかに少なくとも部分的に基づいて、オブジェクト領域を識別することがある。

【0058】

オブジェクト領域を識別するために使用される局所的特徴の別の例として、装置１００は、オブジェクト４０６の色が、シーンの平均色（例えば、オブジェクトを含むシーン全体の平均色、シーンの環境像の平均色など）、または自動露光管理において説明されるべきシーンの環境像について予想される色（例えば、組織または血液に関連する赤色のような組織および解剖学的オブジェクトについて予想される色）と有意に異なるかどうかを決定することがある。例えば、アラビア数字９が中性色を表す一方で、アラビア数字３～５が赤色を帯びた色合いを表すと再び仮定されるならば、装置１００は、オブジェクト４０６の色がオブジェクト４０４および背景の予想される赤色とどのように異なるかに少なくとも部分的に基づいて、オブジェクト領域を識別することがある。アラビア数字ベースの表記が、クロミナンス特徴よりもむしろ輝度特徴を表すように解釈されるならば、オブジェクト領域の識別を更に容易にするために、類似の推定が輝度に関して行われることがある。

【0059】

図４Ｂは、画像フレーム４０２に描かれたオブジェクト４０６の描写に対応するオブジェクト領域を識別するために、大域的特徴がどのように使用されることがあるかを図示している。例えば、帯域特徴は、オブジェクト４０６に関して行われるオブジェクト追跡に関連することがある。コンピュータビジョン技法、（例えば、オブジェクト４０６がロボット制御された器具などである例における）運動学的追跡技法、および／または画像フレームシーケンス内のオブジェクトを追跡する他の方法が、装置１００によって或いは装置１００から独立したシステムによって使用されることがある。いずれの場合においても、装置１００は、オブジェクト４０６の位置を識別するためにオブジェクト追跡に基づいて生成されるデータを得ることがある。例えば、オブジェクト追跡データは、そのオブジェクト４０６が現在位置しているとオブジェクト追跡が決定した場所を示す境界ボックス４０８または同等のものを表すことがある。

【0060】

図４Ａおよび図４Ｂに図示されるような局所的特徴および／または帯域特徴を分析することによって、装置１００は、画像フレーム４０２内のオブジェクト４０６の描写に対応するオブジェクト領域を成功裡に且つ効率的に識別することがある。そのような局所的特徴および／または帯域特徴を含む分析は、以下で更に詳細に記載される。ひとたびオブジェクト領域が識別されると、装置１００は、フレーム自動露光データポイント（例えば、後続の画像フレームの自動露光管理のための基礎として使用されるフレーム自動露光値および／またはフレーム自動露光ターゲット）の決定において、識別されたオブジェクト領域を割り引くように構成されてよい。

【0061】

例示のために、図４Ｃは、識別されたオブジェクト領域４１０に関連する画素ユニットが、画像フレーム４０２についてのフレーム自動露光データポイントの決定の一部として、どのように割り引かれることがあるかを示している。上述のように、画素ユニットが、特定の実装または画像フレームに役立つことがある個々の画素または画素のグループのいずれかを参照することがある。例えば、画像フレーム４０２のような画像フレームが、グリッドのセルに分割されることがあり、各セルは、各画素ユニットがそのそれぞれの画素を有するグリッドのセルを参照するように、１つ以上の個々の画素を含むことがある。１つの場合において、画像フレームが分割されるグリッドの各セルは、１つの個々の画素のみを含んで、個々の画素のみを有する上述の画素ユニットをもたらすことがある。他の場合において、グリッドの各セルは、幾つかの画素のグループ（例えば、４画素、１６画素、５１２画素など）を含んで、画素のグループを含む上述の画素ユニットをもたらすことがある。

【0062】

図４Ｃに示されるように、画像フレーム４０２は、画像フレーム４０２の画素ユニット（例えば、個々の画素または画素のグループ）をそれぞれ表す多数の小さな正方形のグリッド(格子)を含む。図４Ｃの各画素ユニットは、以下により詳細に記載されるように、画素ユニットに割り当てられた重み値に従ってシェーディングされる(陰影付けされる)(shaded)。例えば、如何なるシェーディング(陰影付け)もない画素ユニット（例えば、依然として白色である画素ユニットの大部分）は、画素ユニットが自動露光管理によって完全に説明されることを可能にするように割り当てられた重み値であると理解されてよい一方で、少なくともある程度のシェーディングを含む画素ユニット（例えば、オブジェクト領域４１０内の画素ユニット）は、画素ユニットが自動露光管理によって割り引かされるように割り当てられた重み値であると理解されてよい。

【0063】

図４Ｃに示される異なるシェーディングは、異なる重み値を表すことがあり、以下により詳細に記載されるように、画素がオブジェクト領域４１０内で識別されるべき装置１００の信頼性レベルに対応することがある。例えば、図示のように、より明るいシェーディングが、オブジェクト４０６の周りの周辺画素ユニットに割り当てられてよい。何故ならば、これらの画素ユニットは、オブジェクト４０６を部分的に表すことがあり、他の像（例えば、背景）を部分的に表すことがあるからであり、且つ／或いは、所与の画素ユニットがオブジェクト４０６と関連付けられるかどうかを、使用されることがある局所的特徴および大域的特徴および／または他の要因に基づいて、装置１００が１００％の信頼性で決定することが困難なことがあるからである。異なる重み値の結果として、装置１００は、自動露光管理を行うときに（例えば、フレーム自動露光データポイントを決定するときおよびフレーム自動露光データポイントに基づいて自動露光パラメータを更新するときに）、オブジェクト領域４１０の異なる部分を異なる範囲に割り引くことがある。例えば、黒色にシェーディングされたオブジェクト領域４１０の内部部分について、装置１００は、自動露光管理においてこれらの画素ユニットを完全に無視してよいのに対し、クロスハッチングされた(細かい平行線の陰影を付けられた)またはドット(点)でシェーディングされたオブジェクト領域４１０の周辺部分について、装置１００は、これらの画素ユニットの影響を異なる範囲に割り引いてよい（例えば、クロスハッチングでシェーディングされた画素ユニットについてはより大きな範囲に、ドットでシェーディングされた画素ユニットについてはより小さな範囲になど）。

【0064】

図５は、例えば、装置１００、方法２００、および／またはシステム３００の実装を用いて、画像フレームの自動露光を管理するための例示的なフロー図５００を示している。図示のように、フロー図５００は、様々な操作５０２～５１２を例示しており、各操作は、以下により詳細に記載される。操作５０２～５１２は、一実施形態を表していること、他の実施形態は、これらの操作のいずれかを省略する、追加する、順序変更する、且つ／或いは修正することがあることが理解されるであろう。記載されるように、フロー図５００の様々な操作５０２～５１２は、画像フレームシーケンス内の１つの画像フレームまたは複数の画像フレーム（例えば、各画像フレーム）について行われることがある。様々な条件に依存して、あらゆる操作があらゆるフレームについて行われることがあるわけではないこと、並びに画像フレームシーケンス内のフレーム間で行われる操作の組み合わせおよび／または順序は異なることがあることが理解されるであろう。

【0065】

操作５０２で、画像キャプチャシステムによってキャプチャされた画像フレームが取得されてよい（例えば、アクセスされてよい、ロードされてよい、キャプチャされてよい、生成されてよいなど）。先に説明されたように、特定の例において、画像フレームは、画像フレームシーケンスの自動露光管理に対する影響が割り引かれるべき外来オブジェクトを含む１つ以上のオブジェクトを描く画像フレームであってよい。例えば、取得される画像フレームは、上述の画像フレーム４０２と同様であってよく、外来オブジェクトは、オブジェクト４０６であってよい。操作５０２は、（例えば、操作５０２が、画像キャプチャシステムに通信的に結合される装置１００の実装によって行われている場合に）画像キャプチャシステムから画像フレームにアクセスすることのような、または（例えば、操作５０２が、統合画像キャプチャシステム３０２を含むシステム３００の実装によって行われている場合に）画像フレームをキャプチャするために統合画像キャプチャシステムを使用することのような、任意の適切な方法によって行われてよい。

【0066】

操作５０４で、装置１００は、特定の実装に役立つことがある任意の適切な要因に基づいて、操作５０２で取得される画像フレーム内のオブジェクト領域を識別することがある。例えば、操作５０４でのオブジェクト領域の識別は、画像フレームに含まれる画素ユニットに関連する１つ以上の局所的特徴に基づいて、画像フレームに関連する１つ以上の大域的特徴に基づいて、或いは両方の組み合わせ（例えば、画像フレームに含まれる画素ユニットに関連する局所的特徴と画像フレームに関連する大域的特徴との組み合わせ）に基づいて行われてよい。この目的のために、図示のように、操作５０４は、装置１００が画像フレームの画素ユニットの局所的特徴を分析する操作５０６および装置１００が画像フレームの大域的特徴を分析する操作５０８の一方または両方を含んでよい。図５に示されるように、図６～図８は、オブジェクト領域が操作５０４でどのように識別されることがあるかの様々な態様を更に例示している。

【0067】

図６は、操作５０２で取得される画像フレームのような例示的な画像フレーム内のオブジェクト領域を識別するための例示的なフロー図６００を示している。図示のように、フロー図６００は、（開始と印された）装置１００が操作５０４を行い始めるときと（終了と印された）フロー図６００が完了してオブジェクト領域が識別されたときとの間で行われることがある、複数の操作６０２～６１６を含む。

【0068】

操作６０２で、装置１００は、画像フレームの各画素ユニットまたは画像フレームの部分を反復してよい。各画素ユニットＰ_ｉについて、画素ユニットは、（例えば、操作６０６～６１０のうちの１つ以上を実行することを含むことがある）操作６０４で分析されてよく、重み値（Ｗ_ｉ）が、操作６１２で割り当てられてよい。追加的に（例えば、操作６０４および６１２の実行前、実行後、または実行と同時に）、各画素ユニットＰ_ｉについてのユニット自動露光値（Ｖ_ｉ）および／またはユニット自動露光ターゲット（Ｔ_ｉ）のようなユニット自動露光データポイントが、操作６１４において決定されてよい。次に、操作６１６で、重み付けられた画素ユニットが、実行された操作６０４～６１４の結果に基づいて各画素ユニットＰ_ｉについて決定されてよい。図示のように、装置１００は、未だ処理されていない画像フレームの画素ユニットが依然として存在する限りこの方法で各画素ユニットを処理し続けてよく（未完了）、画像フレームの画素ユニットの全てが操作６０２で反復されたときに終了してよい（完了）。特定の例では、画像フレームの画素ユニットの全てを反復するのではなく、画像フレームの特定の領域（例えば、画像フレームの中央５０％、画像フレームの中央８０％などのような、画像フレームの中央領域）が考慮されることがある一方で、画像フレームの別の領域（例えば、画像フレームの外側５０％、画像フレームの外側２０％などのような、画像フレームの周辺領域）が、自動露光管理の目的のために無視されることがある。そのような例では、操作６０２が、考慮されるべき領域（例えば、中央領域）の全ての画素が反復されたときに反復を終了してよい（完了）。

【0069】

操作６０４で、装置１００は、現在の画素ユニットＰ_ｉを分析して、画素ユニットが、画像フレーム内の特定のオブジェクト（例えば、外来オブジェクト）の描写に対応するかどうか、或いは、特定の実装では、画素ユニットが特定のオブジェクトの描写に対応する（例えば、０％信頼性～１００％信頼性の尺度(scale)または高－中－低信頼性尺度のような別の適切な尺度(scale)などでの）信頼性レベルに対応するかどうかを決定することがある。図示のように、操作６０４でこの分析を達成するために、装置１００は、同じ目的を達成するのを助けるために、操作６０６～６１０のいずれか若しくは全てまたは明示的に示されていない他の適切な操作を行なうことがある。

【0070】

操作６０６および６０８は、それぞれ、局所的カテゴリに入るように図６に示されている。何故ならば、これらの操作は、分析されている画素ユニットに関連する１つ以上の局所的特徴に概ね或いは全体的に基づいて、画素ユニットについての信頼性を決定するからである。局所的特徴は、図４Ａに関連して上述されたように、様々なタイプの画素ユニット特徴を含むことがある。例えば、画素ユニットに関連する１つ以上の局所的特徴は、画素ユニットの輝度特徴（例えば、画素ユニットの平均的な明るさなど）を含んでよい。別の例として、画素ユニットに関連する１つ以上の局所的特徴は、画素ユニットのクロミナンス特徴（例えば、画素ユニットの平均的な色など）を含んでよい。幾つかの実装において、画素ユニットに関連する１つ以上の局所的特徴は、画素ユニットのクロミナンス特徴および輝度特徴の両方を含んでよい。例えば、画素ユニットが外来オブジェクトを描くという信頼性は、以下に記載される方法におけるクロミナンス特徴および輝度特徴の両方の比較に基づいて決定されてよい。

【0071】

操作６０６で、画素ユニットの１つ以上の局所的特徴は、オブジェクト領域が識別されているオブジェクトに関連する対応する特徴（例えば、１つの特定の例において、低輝度および中性の金属色を有する器具シャフト）と比較されてよい。そのような例において、オブジェクト領域の識別は、（例えば、画素ユニットが、器具シャフトオブジェクトについて期待されるように同様に暗いかどうかを決定するために）画素ユニットの輝度特徴とオブジェクトに関連する輝度特徴との比較に基づいてよく、且つ／或いは（例えば、画素ユニットが器具シャフトオブジェクトについて期待されるように同様に中立な色であるかどうかを決定するために）画素ユニットのクロミナンス特徴とオブジェクトに関連するクロミナンス特徴との比較に基づいてよい。

【0072】

操作６０６を更に例示するために、図７Ａは、画像フレーム内のオブジェクト領域を識別するのを助けるために例示的な色空間７００内で分析されることがある例示的な幾何学的特徴を示している。操作６０６の一部として（或いは明示的に示されていない別個の操作において）、装置１００は、現在の画素ユニットＰ_ｉに関連する色データを正規化し且つ分解して、色データの輝度特徴から色データのクロミナンス特徴を区別することがある。例えば、各画素ユニットについての正規化された色データは、（各画素についてのクロミナンス特徴および輝度特徴が赤色値、緑色値および青色値によって一緒に表される）赤色－緑色－青色（ＲＧＢ）色空間から、原色、二次色および／または三次色を説明し且つ輝度特徴を別個に説明する異なる色空間に分解されてよい。図７Ａに示される一例として、色データの分解は、色データをＲＧＢ色空間からＹＵＶ色空間へのカラーデータに変換することを含んでよい。他の実装において、色データの分解は、色データを、シアン－マゼンタ－黄色－黒色－赤色－緑色－青色（ＣＭＹＫＲＧＢ）色空間、ＣＩＥＬＡＢ色空間、またはクロミナンス特徴が輝度特徴から独立して便宜的に分析されることを可能にする他の適切な色空間に変換することを含み得ることが理解されるであろう。

【0073】

図７Ａでは、幾つかの異なるポイント７０２（例えば、ポイント７０２－１～７０２－４）が、幾つかの画素ユニットの例のそれぞれの色を表すために（或いは、より一般的には、画素ユニットの例のそれぞれのクロミナンス特徴を表すために）ＹＵＶ色空間７００に関連するＵＶ座標空間内にプロットされる。図７Ａには示されていないが、ＵＶ空間においてポイント７０２によって表される各例の画素ユニットについて、別個の輝度値Ｙが、（例えば、画素ユニットの輝度特徴を表すために）画素ユニットに関連付けられてもよいことが理解されるであろう。

【0074】

画素ユニットのクロミナンス特徴を特定のオブジェクト（例えば、自動露光管理で割り引かれる外来オブジェクト）のクロミナンス特徴と比較するために、装置１００は、ＵＶ座標平面内に幾何学的原理を適用してよい。例えば、特定のオブジェクトのクロミナンス特徴がＵＶ座標空間内のポイント７０４によって表されるならば、装置１００は、特定のポイント７０２とポイント７０４との間の距離（例えば、ユークリッド距離）を計算して、画素ユニットの色が特定のオブジェクトの色に対してどのように類似しているか或いは類似していないかの客観的且つ定量的な尺度(measure)を決定することがある。例えば、ポイント７０２－１は、ポイント７０４に比較的近いので、ポイント７０２－１およびポイント７０４の比較は、これらの点によって表されるクロミナンス特徴が（ポイントの比較的近い近接性によって示されるように）非常に類似していることを示すことがある一方で、ポイント７０２－４およびポイント７０４の比較は、これらの点によって表されるクロミナンス特徴が（ポイント間の比較的遠い距離によって示されるように）全く異なることを示すことがある。

【0075】

幾つかの例において、操作６０６のオブジェクト比較は、ポイント間の距離が特定の閾値を超えるか或いは超えないかを決定することを含んでよい。そのような決定は、以下により詳細に記載されるように、所与の画素ユニットについて重み値を割り当てる際に使用されることがある。例示のために、閾値７０６は、半径７０８を有するポイント７０４の周囲に描かれる。閾値７０６の円内にあるポイント７０４に十分に近い任意のポイント７０２が、閾値７０６を超えるか或いは満たすと考えられてよい。例えば、ポイント７０２－１によって表されるクロミナンス特徴は、閾値７０６を満たすためにポイント７０４によって表されるクロミナンス特徴と十分に類似している。反対に、閾値７０６の円の外側にあるポイント７０４から十分遠いポイント７０２は、閾値７０６を超えないか或いは満たさないと考えられてよい。例えば、ポイント７０２－２～２～７０２－４によって表されるクロミナンス特徴は、それぞれ、閾値７０６を満たさないほど十分にポイント７０４によって表されるクロミナンス特徴と類似しない。

【0076】

図６の操作６０８で、画素ユニットの１つ以上の局所的特徴は、オブジェクト以外のシーンコンテンツに関連する対応する特徴（例えば、暗い中性の着色された器具シャフトと共に身体の内部ビュー内に存在する明るい赤血球、組織、および／または他のシーンコンテンツのような環境像）と比較されることがある。よって、これらの例において、オブジェクト領域の識別は、（例えば、画素ユニットがシーンで描かれる血液および組織について予想されるように同様に明るいかどうかを決定するために）画素ユニットの輝度特徴をシーンの環境像に関連する輝度特徴と比較することに基づいてよく、且つ／或いは（例えば、画素ユニットがシーンで描かれる血液および組織について予想されるように同様に赤色であるかどうかを決定するために）画素ユニットのクロミナンス特徴をシーンの環境像に関連するクロミナンス特徴と比較することに基づいてよい。

【0077】

操作６０８を更に例示するために、図７Ｂは、図７Ａに関連して上述した例示的な色空間７００内で分析されることがあるさらなる例示的な幾何学的特徴を示している。図７Ｂは、ＹＵＶ色空間７００のＵＶ座標空間内の同じポイント７０２を示している。加えて、図７Ｂは、装置１００がシーンの環境像に関連すると決定することがある色域７１０(color gamut)（例えば、医療処置の例のために身体の内部ビューから見える血液および組織に対応する赤色の範囲を包含する色域）を示している。例えば、色域７１０は、装置１００によって予め定義されてよく、アクセスされてよい（例えば、外科処置などのような特定のシナリオのためのプロファイルとしてメモリからロードされてよく）、或いは画像フレームまたは分析された前の画像フレームによって描かれるようなシーンまたはその環境像の平均色域に基づいて決定されてよい。色域７１０は、不規則な形状として示されているが、色域７１０は、他の例において、円形、多角形、または特定の実装に役立つことがある任意の他の適切な形状として実装されてよいことが理解されるであろう。

【0078】

画素ユニットのクロミナンス特徴を他のシーンコンテンツのクロミナンス特徴（例えば、割り引かれるべき外来オブジェクト以外のオブジェクトおよびコンテンツを含むシーンでの環境像のクロミナンス特徴）と比較するために、装置１００は、ＵＶ座標平面内に幾何学的原理を再び適用することがある。例えば、シーンの環境像のクロミナンス特徴がＵＶ座標空間内の色域７１０によって表されるならば、装置１００は、特定のポイント７０２が色域７１０内に含まれるかどうかを決定することがある。例えば、ポイント７０２－３および７０２－４は、色域７１０の境界内に位置するので、これらのポイントは、（例えば、外来オブジェクトを描かないように）シーンの環境像を表す可能性が高いと決定されることがある。反対に、ポイント７０２－１および７０２－２は、色域色７１０の境界の十分外側に位置するので、これらのポイントは、（例えば、外来オブジェクトを描く可能性がより高いように）シーンの環境像を表さない可能性が高いと決定されることがある。

【0079】

異なる画素ユニットについての輝度特徴は分析され、図７Ａおよび図７Ｂに関連してクロミナンス特徴について記載したのと同様の方法でシーンに存在する外来オブジェクト（例えば、器具シャフト）または環境像（例えば、血液および組織）についての既知の輝度特徴と比較されてよい。しかしながら、クロミナンス特徴、輝度特徴、距離、閾値、（色域に類似する）範囲などの場合におけるように、二次元座標平面上で表現されるのではなく、すべてが一次元の数線上で決定され且つ表現されてよい。

【0080】

図６に戻ると、操作６１０が、操作６０６および／または操作６０８に加えて或いはそれらの代替として行われることがある。操作６１０で、装置１００は、オブジェクト追跡(トラッキング)を行って、画像フレーム内に描かれたシーン内でオブジェクト（例えば、割り引かれるべき外来オブジェクト）の位置を決定してよい。操作６１０は、分析される画像フレームに関連する１つ以上の大域的特徴に概ね或いは全体的に基づいて各画素ユニットについての信頼性を決定するのを助けるように構成されるので、操作６１０は、大域的カテゴリに入るように示されている。図４Ｂに関連して上述したように、１つ以上の大域的特徴は、画像フレーム内に描かれるシーン内の特定のオブジェクトの位置を追跡するオブジェクト追跡システムから受信されるオブジェクト追跡データに基づいて決定されたオブジェクト位置特徴を含むことがある。

【0081】

オブジェクト追跡システムは、任意の適切なシステムによって実装されてよく、特定の実装に役立つことがある任意の方法で作動してよい。例えば、追跡されるべきオブジェクトがコンピュータ支援医療システム内のロボットアームによって制御される器具である例では、オブジェクト追跡システムが、（例えば、装置１００および／またはシステム３００の実装と共に）コンピュータ支援医療システム内に統合されてよく、ロボットアームの動きに関連する運動学的データに基づいてオブジェクトの位置を追跡してよい。運動学的データは、各ロボットアームが行うように指示される動き、およびロボットアームがどのように位置決めされるかを示すセンサに基づいて、コンピュータ支援医療システムによって連続的に生成され且つ追跡されてよい。従って、そのようなデータは、例えば、１つのロボットアームによって制御される器具が、別のロボットアームによって（或いは特定の実装では同じロボットアームによって）制御される撮像デバイス（例えば、内視鏡）に対して空間内で位置付けられる場所を示すように書き換えられてよい。

【0082】

同じ例または他の例において、オブジェクト追跡システムは、画像フレームを含む画像フレームシーケンスの画像フレームに適用されるコンピュータビジョン技法に基づいてオブジェクトの位置を追跡することがある。例えば、医療処置において器具を認識するために或いは別の脈絡において別のタイプのオブジェクトを認識するために実行される（例えば、機械学習または他のタイプの人工知能を利用する技法を含む）オブジェクト認識技法も、オブジェクトがシーン内で位置付けられる場所を追跡するのを助けるために使用されることがある。

【0083】

各画素ユニットが画像フレーム内のオブジェクトの描写に対応するかどうかの信頼性レベルを決定する装置１００のための基礎として、上述の局所ベースの技法から導出されるデータの代わりに或いはそれに加えて、運動学、コンピュータビジョン、または他の適切な技法を用いて決定されるオブジェクト追跡データが使用されてよい。よって、オブジェクト追跡データは、任意の適切な方法で決定されて、表現されることがある。一例として、オブジェクト追跡システムは、（例えば、図４Ｂの境界ボックス４０８のような）画像フレーム内のオブジェクトの描写を取り囲む境界ボックスの座標を出力してよい。別の例として、オブジェクト追跡システムは、シーンで描かれた様々なオブジェクト（例えば、器具、解剖学的オブジェクトなど）の意味論的セグメント化(semantic segmentation)マップを出力することができ、それは自動露光管理において割り引かれるべきオブジェクトについての意味論的セグメント化データを含む。

【0084】

操作６１２で、画像フレームまたはその領域の複数の画素のそれぞれ（例えば、各画素ユニットＰ_ｉ）は、操作６０４で実行される画素ユニットの分析に基づいて且つ／或いは他の適切な重み付け係数（例えば、画像フレーム内の画素ユニットの空間位置など）に基づいて、それぞれの重み値（Ｗ_ｉ）を割り当てられてよい。操作６１２で割り当てられるそれぞれの重み値は、画素ユニットが、操作６０６および６０８のような任意の局所ベースの画素比較操作によって、操作６１０のような任意の大域ベースのオブジェクト追跡操作によって、或いは特定の実装において操作６０４の部分として実行されることがあるような任意の他の信頼性分析によって示されるような、外来オブジェクトの描写に含まれるそれぞれの信頼性レベル（例えば、各特定の画素ユニットが外来オブジェクトの描写に対応する或いは対応しない信頼性レベル）を示すことがある。例えば、画素ユニットが外来オブジェクトを描く確率は、バイエル式(Bayer formula)を使用して或いは別の適切な方法において局所的特徴および大域的特徴を考慮に入れることによって推定されてよい。

【0085】

幾つかの例において、重み値は、各画素ユニットが画像フレームの視聴者の焦点領域内にある可能性がどれぐらいであるか、よって、各画素ユニットが画像フレーム内の他の画素ユニットに対してどのぐらい比較的重要であると考えられるかを考慮する方法において決定されてもよい。例えば、特定の実装では、視聴者は画像フレームの中心付近で注意を集中する可能性が高いと仮定されてよいので、各画素ユニットに割り当てられる重み値は、少なくとも部分的には、画像フレームの中心に対する画素ユニットの近接性に基づいてよい（例えば、より高い重み値は、中心へのより近い近接性を示し、より低い重み値は、中心からより遠い距離を示す）。別の例として、実装は、画像フレームのどの部分に視聴者が焦点を置いているかをリアルタイムで決定するための眼追跡構成を含むことができ、各画素ユニットに割り当てられる重み値は、（例えば、画像フレームの中心よりもむしろ或いは画像フレームの中心に加えて）検出されるリアルタイムの焦点エリアへの画素ユニットの近接性に少なくとも部分的に基づいてよい。更に他の例において、画素ユニットに割り当てられる重み値は、他の空間位置ベースの基準（例えば、中心以外の画像フレーム内の他の仮定される焦点エリアへの近接性など）または非空間位置ベース基準によって影響されることがある。代替的に、各画素ユニットは、重み値が画素ユニットの空間位置ではなく信頼性分析に全体的に基づくように、特定の例におけるその空間位置とは無関係に等しく重要なものとして扱われてよい。

【0086】

図８は、画素ユニットが画像フレーム内の外来オブジェクトの描写に含まれる信頼性レベルを示すために操作６１２で画素ユニットに割り当てられることがある重み値の例示的な範囲を示している。具体的には、重み値８０２は、操作６０４で実行される画素ユニット分析に基づいて、１００％信頼性から０％信頼性までの信頼性スケールでスライドすることができるように示される。重み値８０２は、特定の画素ユニットに割り当てられることがある全体的な重み値の信頼性ベースの態様のみを表すこと、並びに１つ以上の他の態様（例えば、上述のような空間位置ベースの態様）も、全体的な重み値を特定の画素ユニットに割り当てる際に考慮されることがあることが、理解されるであろう。

【0087】

操作６０４で実行される分析（例えば、操作６０６～６１０のうちのいずれかに関連する分析）が非常に高いレベルの信頼性をもたらすならば、重み値８０２は、上方閾値８０４を超えて、第１の重み値を割り当てられてよい。例えば、第１の重み値は、本明細書ではヌル重み値と呼ばれる最小の重み値（例えば、０％）であってよい。第１の重み値は、画素ユニットが割り引かれるべきオブジェクトを描く高いレベルの信頼性の故に、自動露光管理がこの画素ユニットを割り引かせる（例えば、完全に無視させる）原因となることがある。逆に、動作６０４で実行される分析が非常に低いレベルの信頼性をもたらすならば、重み値８０２は、より低い閾値８０６を超えて、第２の重み値を割り当てられてよい。例えば、第２の重み値は、本明細書では全重み値と呼ばれる最大の重み値（例えば、１００％）であってよい。第２の重み値は、画素ユニットが割引されるべきオブジェクトを描かない信頼性の故に、自動露光管理がこの画素ユニットに有意なまたは完全な重みを与える原因となることがある。操作６０４によって決定される信頼性レベルがこれらの閾値の間にあるならば（例えば、非常に高くも非常に低くもないならば）、重み値８０２は、第１の重み値と第２の重み値との間にある動作重み値（例えば、０％よりも大きく、１００％よりも少ない値）が割り当てられてよい。例えば、動作重み値は、画素ユニットが割り引かれるべきオブジェクトを部分的に描く（例えば、オブジェクトのエッジの部分などを描く）可能性の故に、或いは画素ユニットがオブジェクトを描くかどうかについての確実性に欠如の故に、画素ユニットがこの画素ユニットを限定的な範囲で説明する原因となることがある。

【0088】

操作６０４に関連する各分析は、画素ユニットに割り当てられる全体重み値に寄与することがある。例えば、全体重み値は、画素ユニットがクロミナンスにおいてオブジェクトの予想されるクロミナンスにどれぐらい類似しているかを示す操作６０６での分析に基づいて、画素ユニットがクロミナンスにおいてシーンの環境像の予想されるクロミナンスにどれぐらい類似しているかを示す操作６０８での分析に基づいて、および／または局所的特徴または全体的特徴の追加的な分析に基づいて割り当てられてよい。

【0089】

特定の実装において、全体重み値は、操作６０６または６０８に関連する局所的特徴分析、画素ユニットの局所的特徴（例えば、画素ユニットのクロミナンスまたは輝度に関連する特徴など）の別の分析、または（例えば、操作６０６でのオブジェクト比較および操作６０８でのシーン比較の組み合わせに基づく）これらの局所的特徴分析の組み合わせに基づいて割り当てられてよい。局所的な信頼性分析が重み値（または、幾つかのそのような態様を組み合わせた全体重み値の１つの態様）にどのように変換されることがあるかの一例として、図７Ａに関連して上述した（および操作６０６に関連する）クロミナンス閾値が再び考慮される。この例では、図７Ａに示されるように、装置１００は、１）特定の画素ユニットのクロミナンス特徴を表す第１のポイント（例えば、ポイント７０２のうちの１つ）とオブジェクトに関連するクロミナンス特徴を表す第２のポイント（例えば、ポイント７０４）との間の（例えば、色空間内の）距離を決定することによって、並びに、２）第１のポイントと第２のポイントとの間の色空間内の距離に基づいて、特定の画素ユニットに重み値を割り当てることによって、特定の画素ユニットのクロミナンス特徴を外来オブジェクトに関連するクロミナンス特徴と比較してよい。

【0090】

この例では、第１のポイントと第２のポイントとの間の距離が第１の距離閾値よりも大きいときに（例えば、第１のポイントが第２のポイントからの外側半径の外側に位置するときに）、重み値８０２は、下方閾値８０６を超えない、（故に、第２の重み値が割り当てられる）と決定されることがある。何故ならば、この大きな距離は、画素ユニットがオブジェクトを描く可能性が非常に低いことを示すからである。反対に、第１のポイントと第２のポイントとの間の距離が第２の距離閾値より小さいときに（例えば、第１のポイントが第２のポイントからの内側半径内に位置するときに）、重み値８０２は、上方閾値８０４を超える、（故に、第１の重み値が割り当てられる）と決定されることがある。何故ならば、この小さな距離は、画素ユニットがオブジェクトを描く可能性が高いことを示すからである。他の例では、第１のポイントと第２のポイントとの間の距離が第１の距離閾値と第２の距離閾値との間にあるときに（例えば、第１のポイントが第２のポイントからの内側半径と外側半径との間にあるときに）、重み値８０２は、下方閾値８０６を超え、上方閾値８０４を超えない、（故に、特定の動作重み値が割り当てられる）と決定されることがある。これは、中程度の距離は、画素ユニットがオブジェクトを部分的に描く可能性が高いこと（例えば、画素ユニットがオブジェクトのエッジにある結果として、画素ユニットの幾つかの個々の画素がオブジェクトを描き、他の画素がオブジェクトを描かないこと）を示すか、或いは画素ユニットがオブジェクトを描くかどうかが決定されないことを示すからである。

【0091】

図６に戻ると、この特定の例において操作６０６に基づいて割り当てられる重み値８０２は、画素ユニットについての全体重み値として機能することがあり、或いは全体重み値の決定において他の要因または態様と共に考慮される（例えば、組み合わされる、平均化される）１つの要因または態様として機能することがある。例えば、上述のような操作６０６に基づいて割り当てられる重み値８０２は、操作６０８に関連する同様の分析に基づいて或いは画素ユニットの他の局所的特徴に基づいて割り当てられる１つ以上の別個の重み値８０２（例えば、別の第１の、第２の、または動作重み値）と組み合わされることがある。異なる分析に基づいて割り当てられる異なる重み値は、任意の適切な方法で組み合わされることがある。例えば、装置１００は、全体重み値として、いずれかの分析から返される最大重み値、いずれかの分析から返される最小重み値、または分析から返されるすべての重み値の中央値またはモードを使用するように構成されることがある。代替的に、装置１００は、重み値の平均値を計算することによって、異なる重み値を組み合わせて全体重み値にするように構成されることがある。例えば、第２の重み値（例えば、１００％の全体重み値）が操作６０６から返され、第１の重み値（例えば、０％のヌル重み値）が操作６０８から返されるならば、装置１００は、これらの２つの重み値を動作重み値（例えば、５０％）に平均化することがある。

【0092】

加えて、操作６１０のオブジェクト追跡のような大域的分析が、上述の局所的分析に加えてまたはその代替として使用されることがある。例えば、操作６１０によって追跡される外来オブジェクトのために境界ボックス内に完全に含まれる画素ユニットには、第１の重み値８０２（例えば、ヌル重み値）が割り当てられてよく、そのような境界ボックスの完全に外側にある画素ユニットには、第２の重み値８０２（例えば、全重み値）が割り当てられてよく、境界ボックスの境界上（または近く）にあると決定される画素ユニットには、動作重み値８０２（例えば、第１の重み値よりも大きく、第２の重み値よりも小さい重み値）が割り当てられてよい。局所的特徴に関連して上述した重み値８０２と同様に、このようにして大域的特徴分析に基づいて割り当てられる重み値８０２は、特定の例において全体重み値として使用されてよく、或いは複数のそのような態様を組み合わせることによって決定したような全体重み値の１つの態様を含んでよい。例えば、操作６１０に基づいて決定される全体重み値は、本明細書に記載される任意の方法において（例えば、最大重み値を使用して、最小重み値を使用して、平均重み値を計算して）、１つ以上の他の大域的重み値または１つ以上の局所的重み値と組み合わされてよい。

【0093】

操作６１４で、１つ以上のユニット自動露光データポイント（例えば、ユニット自動露光値（Ｖｉ）、現在の画素ユニット（Ｐｉ）についてのユニット自動露光ターゲット（Ｔｉ）など）が決定されてよい。例えば、操作６０４が、画素ユニットが外来オブジェクトの一部であること、オブジェクトの一部でないこと、または決定されていないことを明らかにするかどうかにかかわらず、操作６１４は、画素ユニットがどれぐらい明るいか（例えば、ユニット自動露光値Ｖｉ）、および／または、画素ユニット（例えば、ユニット自動露光ターゲットＴｉ）のためにどのような明るさ値が望ましいかを決定するために、画素ユニットの輝度のような画素ユニットの特徴を分析してよい。各画素ユニットｉが個々の画素によって実装される実装において、操作６１４で決定されるユニット自動露光値およびユニット自動露光ターゲットは、個々の画素についての画素自動露光値および画素自動露光ターゲットとして実装されてよい。逆に、各画素ユニットｉが画像フレームの領域内の画素のグループとして実装される実装において、操作６１４で決定されるユニット自動露光値およびユニット自動露光ターゲットは、画素ユニット内に含まれる個々の画素の画素自動露光値および／または画素自動露光ターゲットの平均(average)（例えば、平均(mean)、中央(median)、モード(mode)など）として決定されてよい。記載されるように、操作６１４は、操作６０４～６１２から独立してよいので、操作６１４は、操作６０４～６１２に先立って、それらに続いて、或いはそれらと同時に実行されてよい。

【0094】

操作６１６で、操作６１２および６１４の出力を組み合わせて、処理されている画素ユニットＰ_ｉに対応する重み付き画素ユニットを形成してよい。図示のように、各々の重み付き画素ユニットは、画素ユニットＰ_ｉについてのユニット自動露光値に関連するデータ、画素ユニットＰ_ｉについてのユニット自動露光ターゲットに関連するデータ、および画素ユニットＰ_ｉについての重み値に関連するデータを含んでよい。以下により詳細に記載されるように、画像フレームの各画素ユニットについての重み付き画素ユニットは、外来オブジェクトに関連するオブジェクト領域を割り引く方法においてフレーム自動露光データポイント（例えば、フレーム自動露光値およびフレーム自動露光ターゲット）を決定するために使用されてよい。ひとたび画像フレーム（例えば、その一部など）の画素ユニットＰ_ｉの全てが操作６０２で反復されると、フローは、フロー図６００の終了に進み（完了）、その時点で、操作５０４は、完了してよく、オブジェクト領域は、画素ユニットに割り当てられたそれぞれの重み値に基づいて識別されてよい。

【0095】

図５に戻ると、フローは、操作５０４から操作５１０に進み、操作５１０で、装置１００は、画像フレームについてのフレーム自動露光値（Ｖ_Ｆ）および画像フレームについてのフレーム自動露光ターゲット（Ｔ_Ｆ）のようなフレーム自動露光データポイントを決定することがある。操作５１０で、フレーム自動露光データポイントは、操作５０４で識別されるオブジェクト領域を割り引くような方法において決定されてよい。例えば、識別されるオブジェクト領域は、操作５０４の間に（例えば、図６の操作６１６で）決定される重み付き画素ユニット内でエンコードされてよく、これらの重み付き画素ユニットは、フレーム自動露光データポイントを決定するために使用されてよい。

【0096】

図９は、操作５１０が実行されることがある１つの方法を実装する例示的なフロー図９００を示している。フロー図９００は、装置１００が操作５０４におけるオブジェクト領域の識別の一部として決定される重み付き画素ユニットに基づいてフレーム自動露光値およびフレーム自動露光ターゲットをどのように決定するかを示している。具体的には、図示のように、異なる重み付き画素ユニット（例えば、操作５０４で分析される各画素ユニットＰ_ｉについての１つ）は、フレーム自動露光値およびフレーム自動露光ターゲットがオブジェクト領域を割り引くことによって最終的に決定されるように、実行されるべきフロー図９００の様々な操作９０２～９１０についての入力データを提供することがある。

【0097】

操作９０２で、装置１００は、対応する重み値Ｗ_ｉによって重み付き画素ユニットの各々からの各ユニット自動露光値Ｖ_ｉをスケーリングしてよく、これらのスケーリングされたユニット自動露光値を互いに組み合わせて（例えば、合計などして）、単一の値を形成してよい。同様に、操作９０４で、装置１００は、対応する重み値Ｗ_ｉによって重み付き画素ユニットの各々からの各ユニット自動露光ターゲットＴ_ｉをスケーリングしてよく、これらのスケーリングされたユニット自動露光ターゲットを組み合わせて（例えば、合計などして）、別の単一値を形成してよい。操作９０６で、装置１００は、重み値の各々を同様の方法（例えば、重み値を１つに合計することなど）において組み合わせてよい。

【0098】

操作９０８で、装置１００は、画素ユニットに割り当てられたそれぞれの重み値に基づいてフレーム自動露光値を決定してよい。例えば、フレーム自動露光値は、画素ユニットのそれぞれのユニット自動露光値の加重平均として決定されてよい。装置１００は、操作９０２および９０６からの出力に基づいて（例えば、操作９０２の出力を操作９０６の出力で除算することによって）操作９０８で加重平均を決定して、フレーム自動露光値を形成してよい。このようにして、フレーム自動露光値ＶＦは、式１に従って決定されてよい（ここで、ｉは、各重み付き画素ユニットを通じて反復するために使用される指数(インデックス)である）。

【数1】

【0099】

操作９１０で、装置１００は、画素ユニットに割り当てられたそれぞれの重み値に基づいてフレーム自動露光ターゲットを決定してよい。例えば、フレーム自動露光ターゲットは、画素ユニットのそれぞれのユニット自動露光ターゲットの加重平均として決定されてよい。装置１００は、操作９０４および９０６からの出力（例えば、操作９０４の出力を操作９０６の出力によって除算すること）に基づいて操作９１０における加重平均を決定して、フレーム自動露光ターゲットを形成してよい。このようにして、フレーム自動露光値ＴＦは、式２に従って決定されてよい（ここで、ｉは、各重み付き画素ユニットを通じて反復するために使用される指数(インデックス)である）。

【数2】

【0100】

他の実施形態において、様々な画素ユニットについての重み値およびユニット自動露光データポイントを組み込んだ加重平均は、画素ユニットが画像フレーム内の外来オブジェクトの描写に少なくとも部分的に対応するように決定される画素ユニットの自動露光管理に対する影響を除去または軽減するように重み付けされた方法に基づいて、識別されたオブジェクト領域を同様に割り引くために、他の方法で計算されてよい。

【0101】

ひとたびフレーム自動露光値が操作９０８で決定され、フレーム自動露光ターゲットが図９の操作９１０で決定されると、図５の操作５１０が完了することがあり、フローは、フロー図５００内で操作５１２に進んでよく、装置１００は、オブジェクト領域を割り引くことによって決定されたフレーム自動露光値および／またはフレーム自動露光ターゲットに基づいて、画像キャプチャシステムのための自動露光パラメータを更新してよい。操作５１２で、装置１００は、画像フレームシーケンス内の後続の画像フレームをキャプチャする画像キャプチャシステムのための準備において、画像キャプチャシステムの自動露光パラメータを更新（例えば、調整または維持）してよい。

【0102】

図１０は、操作５１２で自動露光パラメータを更新するための例示的な技法１０００を示している。図示のように、先に決定されたフレーム自動露光値およびフレーム自動露光ターゲットは、図１０に示される操作のための入力として使用される。例えば、操作１００２が、フレーム自動露光値およびフレーム自動露光ターゲットを入力として受信し、それらをフレーム自動露光利得を決定するための基礎として使用してよい。フレーム自動露光利得は、フレーム自動露光値に対するフレーム自動露光ターゲットの比に対応するように決定されてよい。このようにして、（例えば、ターゲットに整列するために更なる調整が必要とされないように）フレーム自動露光値がフレーム自動露光ターゲットに既に等しいならば、フレーム自動露光利得は、１の利得に設定されることがあるので、システムは、画像キャプチャシステムがキャプチャする後続のフレームのために自動露光値をブーストしたり減衰させたりしない。逆に、フレーム自動露光ターゲットがフレーム自動露光値と異なるならば、フレーム自動露光利得は、自動露光値を所望の自動露光ターゲットにより近づける試みにおいてシステムに後続のフレームのための自動露光値をブーストまたは減衰させるために、１より小さいか或いは１よりも大きい値に対応するように設定されてよい。

【0103】

操作１００４で、フレーム自動露光利得は、画像フレームシーケンス内の前の画像フレームについて決定された他のデータ（例えば、他のフレーム自動露光利得）と共に入力として取られてよい。これらの入力に基づいて、操作１００４は、フィルタリングを適用して、自動露光利得が所望よりも速く変化しないことを確実にし、それによって、ユーザに提示される画像フレームが一貫した明るさ維持して徐々に変化することを確実にする。操作１００４で実行されるフィルタリングは、一時的な無限インパルス応答（ＩＩＲ）フィルタのような平滑化フィルタまたは特定の実施に役立つことがあるような他のデジタルまたはアナログフィルタを使用して実行されてよい。

【0104】

操作１００６で、フィルタリングされたフレームの自動露光利得は、（例えば、追加的な画像フレームをキャプチャするために画像キャプチャ装置または照明源による使用のために）画像キャプチャシステムの１つ以上の自動露光パラメータを調整するための基礎として使用されてよい。例えば、上述のように、調整された自動露光パラメータは、露光時間パラメータ、シャッタ絞りパラメータ、輝度利得パラメータ、または同等のパラメータを含んでよい。シーンの照明がイメージキャプチャシステムによって大いにまたは完全に制御される画像キャプチャシステム（例えば、上述の内視鏡画像キャプチャデバイスを含むイメージキャプチャシステム、フラッシュまたは他の照明源を含む画像キャプチャシステムなど）のために、調整された自動露光パラメータは、照明強度パラメータ、照明持続時間パラメータ、または同等のパラメータを更に含んでよい。

【0105】

画像キャプチャシステムの自動露光パラメータに対する調整は、画像キャプチャシステムに様々な異なる方法において後続の画像フレームを露光させることがある。例えば、露光時間パラメータを調整することによって、シャッタ速度は、画像キャプチャシステムに含まれるシャッタのために調整されてよい。例えば、シャッタは、（画像センサの露光時間の量をそれによって増加させるために）より長い時間期間に亘って或いはより（画像センサの露光時間の量をそれによって減少させるために）より短い時間期間に亘って開いたままにされてよい。別の例として、シャッタ絞りパラメータを調整することによって、シャッタの絞りは、（画像センサに露光される光の量をそれによって増加させるために）より広く或いは（画像センサに露光される光の量をそれによって減少させるために）より少ない広さで開くように調整されてよい。更に別の例として、輝度利得パラメータを調整することによって、画像キャプチャシステムによってキャプチャされるような照度(illuminance)を増幅または減衰させるために、感度（例えば、ＩＳＯ感度）が増大または減少させられてよい。画像キャプチャシステムがシーンの照明を制御する実装のために、照明強度および／または照明持続時間パラメータは、キャプチャされているシーンを照明するために使用される光の強度および持続時間を増加させるように調節されてよく、それによって、画像センサがどれぐらいの光に露光されるかに影響を及ぼしてよい。

【0106】

図５に戻ると、フローダイアグラム５００の操作が実行された後に、現在の画像フレームは、装置１００によって完全に処理されたとみなされ、フローは、操作５０２に戻ることがあり、操作５０２で、画像フレームシーケンスの後続の画像フレームが取得されてよい。プロセスは、後続の画像フレームおよび／または他の後続の画像フレームのために反復されることがある。特定の例では、自動露光データポイント（例えば、フレーム自動露光値およびフレーム自動露光ターゲットなど）および自動露光パラメータを可能な限り最新の状態に保つために、あらゆる画像フレームがフロー図５００に従って分析されてよいことが理解されるであろう。他の例では、より周期的な自動露光処理によって設計仕様およびターゲットが達成されることを依然として可能にされるシナリオにおける処理帯域幅を節約するために、特定の画像フレーム（例えば、１つおきの画像フレーム、３つのうちの１つの画像フレームなど）のみが分析されてよい。自動露光効果は、シーンでの輝度変化の数フレームの後ろに遅れる傾向がある場合があることも理解されるであろう。何故ならば、１つの特定のフレームに基づいて行われる自動露光パラメータ調整は、そのフレームの露光に影響を及ぼさないで、むしろ後続のフレームに影響を及ぼすからである。

【0107】

装置１００が自動露光パラメータに対して行う調整に基づいて（および／または適切なときに自動露光パラメータをそれらの現在のレベルに維持することに基づいて）、装置１００は、画像キャプチャシステムによってキャプチャされている画像フレームについての自動露光を成功裡に管理することがあり、その後の画像フレームは、ユーザに提示されるときに魅力的で有益な外観を有するように、望ましい自動露光特性で取り込まれることがある。

【0108】

記載したように、装置１００、方法２００、および／またはシステム３００は、各々、特定の実施例において、身体に対して医療処置（例えば、外科処置、診断処置、探索処置など）を行うために使用されるコンピュータ支援医療システムと関連付けられてよい。例示のために、図１１は、外科処置および／または非外科処置を含む様々なタイプの医療処置を行うために使用されることがある例示的なコンピュータ支援医療システム１１００を示している。

【0109】

図示のように、コンピュータ支援医療システム１１００は、マニピュレータアセンブリ１１０２（マニピュレータカートが図１１に示されている）、ユーザ制御装置１１０４、および補助装置１１０６を含むことがあり、それらの全ては、互いに通信的に結合される。コンピュータ支援医療システム１１００は、患者１１０８の身体または特定の実装に役立つことがある任意の他の身体に対してコンピュータ支援医療処置または他の同様の操作を行うために、医療チームによって利用されることがある。図示のように、医療チームは、（外科処置のための外科医のような）第１のユーザ１１１０－１、（患者側助手のような）第２のユーザ１１１０－２、（別の助手、看護師、訓練生などのような）第３のユーザ１１１０－３、および（外科処置のための麻酔医のような）第４のユーザ１１１０－４を含むことがあり、それらのユーザの全ては、集合的にユーザ１１１０と称されることがあり、それらのユーザの各々は、コンピュータ支援医療システム１１００を制御することがあり、コンピュータ支援医療システム１１００と相互作用することがあり、或いは他の方法でコンピュータ支援医療システム１１００のユーザであることがある。特定の実装に役立つことがある医療処置中に、より多くの、より少ない、または代替の使用者が存在することがある。例えば、異なる医療処置のためのまたは非医療処置のためのチーム構成は、異なることがあり、異なる役割を有するユーザを含むことがある。

【0110】

図１１は、最小侵襲外科処置のような進行中の最小侵襲医療処置を示しているが、コンピュータ支援医療システム１１００は、開腹医療処置または他のタイプの処置を行うために同様に使用されることがあることが理解されるであろう。例えば、探索撮像処置、訓練目的のために使用される模擬医療処置、および／または他の処置のような処置も行われてよい。

【0111】

図１１に示されるように、マニピュレータアセンブリ１１０２は、１つ以上の器具が結合されることがある１つ以上のマニピュレータアーム１１１２（例えば、マニピュレータアーム１１１２－１～１１１２－４）を含んでよい。器具は、患者１１０８に対するコンピュータ支援医療処置のために（例えば、外科的な例において、少なくとも部分的に患者１１０８に挿入され、患者１１０８内で操作されることによって）使用されてよい。マニピュレータアセンブリ１１０２は、４つのマニピュレータアーム１１１２を含むものとして図示され、本明細書で記載されるが、マニピュレータアセンブリ１１０２は、単一のマニピュレータアーム１１１２または特定の実施に役立つことがあるような任意の他の数のマニピュレータアームを含んでよいことが認識されるであろう。図１１の例は、マニピュレータアーム１１１２がロボットマニピュレータアームであることを示しているが、幾つかの例では、１つ以上の器具が、例えば、人によって手で持ち運ばれ、手動で制御されることによって、部分的または完全に手動で制御されてよいことが理解されるであろう。例えば、これらの部分的または全体的に手動で制御される器具は、図１１に示されるマニピュレータアーム１１１２に連結されるコンピュータ支援器具と共に、或いはその代替として使用されてよい。

【0112】

医療処置の間に、ユーザ制御装置１１０４は、マニピュレータアーム１１１２およびマニピュレータアーム１１１２に取り付けられる器具のユーザ１１１０－１による遠隔操作制御を容易にするように構成されてよい。この目的を達成するために、ユーザ制御装置１１０４は、撮像デバイスによってキャプチャされるように患者１１０８と関連付けられる動作領域の像をユーザ１１１０－１に提供してよい。器具の制御を容易にするために、ユーザ制御装置１１０４は、マスタ制御装置のセットを含んでよい。これらのマスタ制御装置は、マニピュレータアーム１１１２またはマニピュレータアーム１１１２に連結される任意の器具の移動を制御するために、ユーザ１１１０－１によって操作されてよい。

【0113】

補助装置１１０６は、撮像デバイス、画像処理、またはコンピュータ支援医療システム１１００の協調コンポーネントのための送気、電気焼灼エネルギ、照明または他のエネルギを提供することのような、医療処置をサポートする補助機能を実行するように構成された、１つ以上のコンピューティングデバイスを含んでよい。幾つかの例において、補助装置１１０６は、医療処置をサポートする１つ以上のユーザインターフェースまたはグラフィックもしくはテキスト情報を表示するように構成されたディスプレイモニタ１１１４を備えて構成されてよい。幾つかの例において、ディスプレイモニタ１１１４は、タッチスクリーンディスプレイによって実装されて、ユーザ入力機能性を提供してよい。

【0114】

以下により詳細に記載されるように、装置１００は、コンピュータ支援医療システム１１００内に実装されてよく、或いはコンピュータ支援医療システム１１００と共に作動してよい。例えば、特定の実装において、装置１００は、マニピュレータアーム１１１２のうちの１つに取り付けられた器具（例えば、内視鏡または他の撮像器具）内に含まれるリソースを計算することによって、或いはマニピュレータアセンブリ１１０２、ユーザ制御装置１１０４、補助装置１１０６、または図１１には明示的に示されていない他のシステムコンポーネントに関連するリソースを計算することによって、実装されてよい。

【0115】

マニピュレータアセンブリ１１０２、ユーザ制御装置１１０４、および補助装置１１０６は、任意の適切な方法で互いに通信的に結合されてよい。例えば、図１１に示されるように、マニピュレータアセンブリ１１０２、ユーザ制御装置１１０４、および補助装置１１０６は、特定の実施に役立つことがある任意の有線または無線通信リンクを表すことがある、制御ライン１１１６を介して通信可能に結合されてよい。この目的を達成するために、マニピュレータアセンブリ１１０２、ユーザ制御装置１１０４、および補助装置１１０６は、各々、１つ以上のローカルエリアネットワークインターフェース、Ｗｉ－Ｆｉネットワークインターフェース、セルラインターフェースなどのような、１つ以上の有線または無線通信インターフェースを含んでよい。

【0116】

特定の実装において、本明細書に記載される１つ以上のプロセスは、少なくとも部分的には、非一時的コンピュータ読取可能媒体に具現され且つ１つ以上のコンピューティングデバイスによって実行可能である命令として実装されてよい。一般に、プロセッサ（例えば、マイクロプロセッサ）は、非一時的なコンピュータ読取可能媒体（例えば、メモリなど）から命令を受信し、それらの命令を実行し、それによって、本明細書に記載されるプロセスのうちの１つ以上を含む１つ以上のプロセスを実行する。そのような命令は、様々な既知のコンピュータ読取可能媒体のいずれかを用いて格納および／または送信されることがある。

【0117】

（プロセッサ読取可能媒体とも称される）コンピュータ読取可能媒体は、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取られることがあるデータ（例えば、命令）を提供することに関与する任意の非一時的媒体を含む。そのような媒体は、限定されるものではないが、不揮発性媒体、および／または揮発性媒体を含む、多くの形態を取ることがある。不揮発性媒体は、例えば、光ディスクまたは磁気ディスクおよび他の永続メモリを含むことがある。揮発性媒体は、例えば、典型的にはメインメモリを構成するダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含むことがある。コンピュータ読取可能媒体の一般的な形態は、例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）、任意の他の光学媒体、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読取専用メモリ（ＰＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＰＲＯＭ）、ＦＬＡＳＨ（登録商標）－ＥＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取ることができる任意の他の有形媒体を含む。

【0118】

図１２は、本明細書に記載される１つ以上のプロセスを実行するように具体的に構成されることがある例示的なコンピューティングシステム１２００を示している。例えば、コンピューティングシステム１２００は、装置１００のような自動露光管理装置、システム３００のような自動露光管理システム、または本明細書に記載される任意の他のコンピューティングシステムまたはデバイスを含んでよく、或いは実装してよい（部分的に実装してよい）。

【0119】

図１２に示されるように、コンピューティングシステム１２００は、通信インフラストラクチャ１２１０を介して通信的に接続された通信インターフェース１２０２、プロセッサ１２０４、ストレージデバイス１２０６、および入出力（「Ｉ／Ｏ」）モジュール１２０８を含んでよい。例示的なコンピューティングシステム１２００が図１２に示されているが、図１２に図示されるコンポーネントは、限定的であることを意図しない。追加のまたは代替のコンポーネントが他の実施形態において使用されることがある。次に、図１２に示されるコンピューティングシステム１２００のコンポーネントが追加的な詳細において記載される。

【0120】

通信インターフェース１２０２は、１つ以上のコンピューティングデバイスと通信するように構成されてよい。通信インターフェース１２０２の例は、（ネットワークインターフェースカードのような）有線ネットワークインターフェース、（ワイヤレスネットワークインターフェースカードのような）無線ネットワークインターフェース、モデム、オーディオ／ビデオ接続、および任意の他の適切なインターフェースを含むが、これらに限定されない。

【0121】

プロセッサ１２０４は、一般に、データを処理することができる、或いは本明細書に記載される命令、プロセス、および／または操作のうちの１つ以上を解釈し、実行し、且つ／或いはその実行を指示することができる、任意のタイプまたは形態の処理ユニットを表す。プロセッサ１２０４は、１つ以上のアプリケーション１２１２またはストレージデバイス１２０６または他のコンピュータ読取可能媒体に格納されることがあるような他のコンピュータ実行可能命令に従って操作の実行を指示することがある。

【0122】

ストレージデバイス１２０６は、１つ以上のデータ記憶媒体、デバイス、または構成を含んでよく、データ記憶媒体および／またはデバイスの任意のタイプ、形態、および組み合わせを利用してよい。例えば、ストレージデバイス１２０６は、ハードドライブ、ネットワークドライブ、フラッシュドライブ、磁気ディスク、光ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性および／または揮発性データ記憶ユニット、またはそれらの組み合わせもしくはサブ組み合わせを含んでよいが、それらに限定されない。本明細書に記載されるデータを含む電子データは、一時的におよび／または永久的にストレージデバイス１２０６に格納されてよい。例えば、プロセッサ１２０４に本明細書に記載される操作のうちのいずれかを実行するように指示するように構成される１つ以上の実行可能アプリケーション１２１２を表すデータは、ストレージデバイス１２０６に格納されてよい。幾つかの例において、データは、ストレージデバイス１２０６内に存在する１つ以上のデータベースに配置されてよい。

【0123】

Ｉ／Ｏモジュール１２０８は、ユーザ入力を受信し且つユーザ出力を提供するように構成される、１つ以上のＩ／Ｏモジュールを含んでよい。１つ以上のＩ／Ｏモジュールを使用して、単一の仮想体験のための入力を受信してよい。Ｉ／Ｏモジュール１２０８は、入力および出力能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせを含んでよい。例えば、Ｉ／Ｏモジュール１２０８は、キーボードまたはキーパッド、タッチスクリーンコンポーネント（例えば、タッチスクリーンディスプレイ）、受信機（例えば、ＲＦまたは赤外線受信機）、運動センサ、および／または１つ以上の入力ボタンを含むが、これらに限定されない、ユーザ入力をキャプチャするためのハードウェアおよび／またはソフトウェアを含んでよい。

【0124】

Ｉ／Ｏモジュール１２０８は、グラフィックスエンジン、ディスプレイ（例えば、ディスプレイスクリーン）、１つ以上の出力ドライバ（例えば、ディスプレイドライバ）、１つ以上のオーディオスピーカ、および１つ以上のオーディオドライバを含むが、これらに限定されない、ユーザに出力を提示するための１つ以上のデバイスを含んでよい。特定の実施形態において、Ｉ／Ｏモジュール１２０８は、ユーザに提示するためにディスプレイにグラフィカルデータを提供するように構成される。グラフィカルデータは、１つ以上のグラフィカルユーザインターフェースおよび／または特定の実施に役立つことがある任意の他のグラフィカルコンテンツを表すことがある。

【0125】

幾つかの例において、本明細書に記載される任意の設備は、コンピューティングシステム１２００の１つ以上のコンポーネントによって或いはそれらの内で実装されてよい。例えば、ストレージデバイス１２０６内に存在する１つ以上のアプリケーション１２１２は、プロセッサ１２０４に指示して、装置１００のプロセッサ１０４と関連付けられる１つ以上のプロセスまたは機能を実行させるように構成されてよい。同様に、装置１００のメモリ１０２は、ストレージデバイス１２０６によって或いはその内に実装されてよい。

【0126】

先の記述では、添付の図面を参照して、様々な例示的な実施形態を記載した。しかしながら、後続の特許請求の範囲に記載されるような本発明の範囲から逸脱することなく、様々な修正および変更がそれらに行われることがあり、追加的な実施形態が実装されることがあることが明らかであろう。例えば、本明細書に記載される１つの実施形態の特定の構成は、本明細書に記載される別の実施形態の構成と組み合わされてよく、或いは置換されよい。従って、本記述および図面は、限定的な意味ではなく例示的な意味で考えられるべきである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2023-03-09

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つ以上のプロセッサと、
実行可能な命令を格納するメモリと、を含む、
装置であって、
前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置に、
画像キャプチャシステムによってキャプチャされる画像フレーム内で、該画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域内に含まれる複数の画素ユニットを識別させ、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを割り引くことによって前記画像フレームについてのフレーム自動露光値を決定させ、
追加的な画像フレームをキャプチャするために、前記フレーム自動露光値に基づいて、前記画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新させる、
装置。

【請求項2】

前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置によって、前記画像フレームに含まれる画素ユニットに、前記画像フレームに含まれる前記画素ユニットが前記オブジェクトの前記描写にも含まれるそれぞれの信頼性レベルを示すそれぞれの重み値を割り当て、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる前記画素ユニットに割り当てられる前記それぞれの重み値に基づく、
請求項１に記載の装置。

【請求項3】

前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる画素ユニットと関連付けられる1つ以上の局所的特徴に基づくものであり、
前記画像フレームに含まれる前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画像フレームに含まれる前記画素ユニットのクロミナンス特徴を含み、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することを含む、
請求項１または２に記載の装置。

【請求項4】

前記画像フレームに含まれる前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられる前記クロミナンス特徴と比較することは、前記画像フレームに含まれる前記画素ユニットの各々の個々の画素ユニットについて、
色空間内で、前記個々の画素ユニットのクロミナンス特徴を表す第１のポイントと前記オブジェクトと関連付けられる前記クロミナンス特徴を表す第２のポイントとの間の距離を決定することと、
前記第１のポイントと前記第２のポイントとの間の前記距離に基づいて、前記個々の画素ユニットに重み値を割り当てることと、を含み、前記重み値は、
前記距離が上方閾値を超えるならば、第１の重み値として割り当てられ、
前記距離が下方閾値を超えないならば、第２の重み値として割り当てられ、該第２の重み値は、前記第１の重み値よりも大きく、
前記距離が前記下方閾値を超え、前記上方閾値を超えないならば、前記第１の重み値と前記第２の重み値との間の動作重み値として割り当てられ、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記個々の画素ユニットに割り当てられる前記重み値に基づいて行われる、
請求項３に記載の装置。

【請求項5】

前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる画素ユニットと関連付けられる1つ以上の局所的特徴に基づくものであり、
前記画像フレームに含まれる前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画像フレームに含まれる前記画素ユニットのクロミナンス特徴および輝度特徴を含み、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、
前記画像フレームに含まれる前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することと、
前記画像フレームに含まれる前記画素ユニットの前記輝度特徴を前記オブジェクトと関連付けられる輝度特徴と比較することと、を含む、
請求項１または２に記載の装置。

【請求項6】

前記命令は、前記１つ以上のプロセッサによって実行されるときに、当該装置に、前記画像フレーム内に描かれるシーンの環境像についての色域を決定させ、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる画素ユニットと関連付けられる1つ以上の局所的特徴に基づくものであり、
前記画像フレームに含まれる前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画像フレームに含まれる前記画素ユニットのクロミナンス特徴を含み、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる前記画素ユニットの前記クロミナンス特徴が前記シーンの前記環境像についての前記色域内に含まれるかどうかを決定することを含む、
請求項１または２に記載の装置。

【請求項7】

前記画像キャプチャシステムは、身体に対する医療処置の実行中にキャプチャされる画像フレームシーケンスの部分として前記画像フレームをキャプチャするように構成される内視鏡画像キャプチャデバイスを含み、
前記画像フレーム内に描写される前記シーンは、前記身体の内部ビューであり、
前記シーンの前記環境像についての前記色域は、前記身体の前記内部ビューに見える血液および組織に対応する赤色の範囲を含む、
請求項６に記載の装置。

【請求項8】

前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームと関連付けられる1つ以上の大域的特徴に基づくものであり、
前記画像フレームと関連付けられる前記１つ以上の大域的特徴は、前記画像フレーム内に描かれるシーン内の前記オブジェクトの位置を追跡するオブジェクト追跡システムから受信されるオブジェクト追跡データに基づいて決定されるオブジェクト位置特徴を含む、請求項１～７のうちのいずれか１項に記載の装置。

【請求項9】

前記オブジェクトは、ロボットアームによって制御される器具を含み、
前記オブジェクト追跡システムは、前記ロボットアームの動きと関連付けられる運動学的データに基づいて前記オブジェクトの前記位置を追跡する、
請求項８に記載の装置。

【請求項10】

前記オブジェクト追跡システムは、前記画像フレームを含む画像フレームシーケンスの画像フレームに適用されるコンピュータビジョン技法に基づいて前記オブジェクトの前記位置を追跡する、請求項８に記載の装置。

【請求項11】

前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、
前記画像フレームに含まれる画素ユニットと関連付けられる局所的特徴と
前記画像フレームと関連付けられる大域的特徴と
の組み合わせに基づく、
請求項１～１０のうちのいずれか１項に記載の装置。

【請求項12】

コンピューティングデバイスによって、画像キャプチャシステムによってキャプチャされる画像フレームにおいて、該画像フレーム内に描かれるオブジェクトの描写に対応するオブジェクト領域内に含まれる複数の画素ユニットを識別することと、
前記コンピューティングデバイスによって、前記オブジェクト領域内に含まれる前記複数の画素ユニットを割り引くことによって前記画像フレームについてのフレーム自動露光値およびフレーム自動露光ターゲットを決定することと、
前記コンピューティングデバイスによって、前記フレーム自動露光値および前記フレーム自動露光ターゲットに基づいて、追加的な画像フレームをキャプチャするために、前記画像キャプチャシステムによる使用のための１つ以上の自動露光パラメータを更新することと、を含む、
方法。

【請求項13】

前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる画素ユニットと関連付けられる1つ以上の局所的特徴に基づくものであり、
前記画像フレームに含まれる前記画素ユニットと関連付けられる前記１つ以上の局所的特徴は、前記画像フレームに含まれる前記画素ユニットのクロミナンス特徴を含み、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記画像フレームに含まれる前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられるクロミナンス特徴と比較することを含む、
請求項１２に記載の方法。

【請求項14】

前記画像フレームに含まれる前記画素ユニットの前記クロミナンス特徴を前記オブジェクトと関連付けられる前記クロミナンス特徴と比較することは、前記画像フレームに含まれる前記画素ユニットの各々の個々の画素ユニットについて、
色空間内で、前記個々の画素ユニットのクロミナンス特徴を示す第１のポイントと前記オブジェクトと関連付けられる前記クロミナンス特徴を示す第２のポイントとの間の距離を決定することと、
前記第１のポイントと前記第２のポイントとの間の前記距離に基づいて、前記個々の画素ユニットに重み値を割り当てることと、を含み、該重み値は、
前記距離が上方閾値を超えるならば、第１の重み値として割り当てられ、
前記距離が下方閾値を超えないならば、第２の重み値として割り当てられ、該第２の重み値は、前記第１の重み値よりも大きく、
前記距離が前記下方閾値を超え、前記上方閾値を超えないならば、前記第１の重み値と前記第２の重み値との間の動作重み値として割り当てられ、
前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、前記個々の画素ユニットに割り当てられる前記重み値に基づく、
請求項１３に記載の方法。

【請求項15】

前記オブジェクト領域内に含まれる前記複数の画素ユニットを識別することは、
前記画像フレームに含まれる画素ユニットと関連付けられる局所的特徴と
前記画像フレームと関連付けられる大域的特徴と
の組み合わせに基づく、
請求項１２～１４のうちのいずれか１項に記載の方法。

【国際調査報告】