特表 2024-518723 スモークレベル推定のための電子装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-02

(54)【発明の名称】スモークレベル推定のための電子装置及び方法

(51)【国際特許分類】

   G08B 21/12 20060101AFI20240424BHJP

   G06T 7/00 20170101ALI20240424BHJP

   G06V 10/82 20220101ALI20240424BHJP

   G06V 10/54 20220101ALI20240424BHJP

   G08B 25/00 20060101ALI20240424BHJP

   A61B 17/00 20060101ALI20240424BHJP

【ＦＩ】

G08B21/12

G06T7/00 350C

G06V10/82

G06V10/54

G08B25/00 510M

A61B17/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023564455

(86)(22)【出願日】2022-04-27

(85)【翻訳文提出日】2023-10-19

(86)【国際出願番号】 IB2022053922

(87)【国際公開番号】W WO2022229882

(87)【国際公開日】2022-11-03

(31)【優先権主張番号】17/246,092

(32)【優先日】2021-04-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

２．ＷＣＤＭＡ

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(71)【出願人】

【識別番号】523395937

【氏名又は名称】ソニー コーポレイション オブ アメリカ

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】ホアン コ－カイ

(72)【発明者】

【氏名】スー ワンシン

【テーマコード（参考）】

4C160

5C086

5C087

5L096

【Ｆターム（参考）】

4C160MM32

5C086AA38

5C086BA07

5C086CA28

5C086CB36

5C086DA15

5C087DD29

5C087EE14

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG17

5C087GG65

5L096BA02

5L096BA06

5L096DA05

5L096EA18

5L096GA51

5L096HA11

(57)【要約】

スモーク推定のための電子装置を提供する。電子装置は、物理的空間の複数の画像のうちの第１の画像を受け取る。電子装置は、受け取った第１の画像に対する訓練済みニューラルネットワークモデルの適用に基づいて物理的空間内のスモークを検出する。電子装置は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデルの出力に基づいて、物理的空間のヒートマップを生成する。電子装置は、生成されたヒートマップの正規化に基づいて物理的空間内のスモークのレベルを推定する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

電子装置であって、
物理的空間の複数の画像のうちの第１の画像を受け取り、
前記受け取られた第１の画像に対する訓練済みニューラルネットワークモデルの適用に基づいて前記物理的空間内のスモークを検出し、
前記物理的空間内の前記検出されたスモーク、及び前記スモークの前記検出に対応する前記訓練済みニューラルネットワークモデルの出力に基づいて、前記物理的空間のヒートマップを生成し、
前記生成されたヒートマップの正規化に基づいて前記物理的空間内の前記スモークのレベルを推定する、
ように構成された回路を備える、
ことを特徴とする電子装置。

【請求項2】

前記回路は、
前記受け取られた第１の画像の複数の画素の各画素サブセットに対応する信頼スコアであって、前記受け取られた第１の画像の各画素サブセットに対応する前記スモークの前記検出に関連する信頼スコアを、前記訓練済みニューラルネットワークモデルの出力として取得し、
各画素サブセットの前記信頼スコアに基づいて前記ヒートマップを生成する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項3】

前記回路は、
前記訓練済みニューラルネットワークモデルに基づいて、前記受け取られた第１の画像の各画素サブセットに対応する前記スモークを、各画素サブセットに対応する前記信頼スコアに基づいて前記スモークの強度の複数のカテゴリのうちの特定のカテゴリに分類し、
前記スモークの分類に基づいて前記ヒートマップに重みを割り当てる、
ようにさらに構成される、請求項２に記載の電子装置。

【請求項4】

前記回路は、
前記割り当てられた重みに基づいて、それぞれが前記複数のカテゴリのうちの前記特定のカテゴリに対応する複数の領域であって、前記特定のカテゴリに分類された前記画素サブセットをそれぞれが含む複数の領域を決定し、
前記決定された複数の領域間の１又は２以上の重複領域を決定し、
前記ヒートマップから前記１又は２以上の重複領域を排除し、
前記１又は２以上の重複領域の前記排除に基づいて前記物理的空間内の前記スモークの前記レベルを推定する、
ようにさらに構成される、請求項３に記載の電子装置。

【請求項5】

前記回路は、ユーザ入力を受け取るようにさらに構成され、
前記ユーザ入力は、前記複数のカテゴリのうちのユーザ定義カテゴリの前記スモークの前記検出に対応する、
請求項３に記載の電子装置。

【請求項6】

前記物理的空間の前記第１の画像における前記推定される前記スモークのレベルは０～１の範囲内である、
請求項１に記載の電子装置。

【請求項7】

前記回路は、前記複数の画像のうちの前記第１の画像を、画像センサからリアルタイムで、前記電子装置のメモリから、又はサーバから、のうちの少なくとも１つによって受け取るように構成される、
請求項１に記載の電子装置。

【請求項8】

前記回路は、前記推定される前記スモークのレベルに基づいて前記物理的空間から前記スモークを排気するように排煙装置を制御するようさらに構成される、
請求項１に記載の電子装置。

【請求項9】

前記回路は、
前記物理的空間内の前記推定される前記スモークのレベルが閾値以上である場合に前記排煙装置をオンにして前記スモークを排気し、
前記物理的空間内の前記推定される前記スモークのレベルが閾値レベル未満になった場合に前記排煙装置をオフにする、
ようにさらに構成される、請求項８に記載の電子装置。

【請求項10】

前記閾値レベルは０．５である、
請求項９に記載の電子装置。

【請求項11】

前記回路は、
前記推定される前記スモークのレベルに基づいて、前記物理的空間の第１の可視性レベルを示す前記第１の画像を表示するようにディスプレイ画面を制御し、
前記第１の可視性レベルが可視性閾値よりも低い場合に前記物理的空間から前記スモークを排気するように排煙装置を制御し、
前記スモークの前記排気に基づいて、前記物理的空間の前記複数の画像のうちの、前記可視性閾値以上の第２の可視性レベルを示す第２の画像を表示するように前記ディスプレイ画面を制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項12】

前記回路は、
前記推定される前記スモークのレベルに基づいて、前記物理的空間の第１の可視性レベルを示す前記第１の画像を表示するようにディスプレイ画面を制御し、
前記第１の可視性レベルが可視性閾値よりも低い場合に前記第１の画像にヘイズ除去プロセスを適用し、
前記ヘイズ除去プロセスの適用に基づいて、前記物理的空間の前記複数の画像のうちの、前記可視性閾値以上の第２の可視性レベルを示す第２の画像を表示するように前記ディスプレイ画面を制御する、
ようにさらに構成される、請求項１に記載の電子装置。

【請求項13】

前記回路は、前記受け取られた第１の画像内の１又は２以上の画素サブセットに関連する１又は２以上の特徴に基づいてニューラルネットワークモデルを訓練して前記訓練済みニューラルネットワークモデルを取得するようにさらに構成され、
前記ニューラルネットワークモデルは、前記スモークを検出して前記ヒートマップを生成するように訓練され、
前記１又は２以上の特徴は、前記１又は２以上の画素サブセットにおける前記スモークの強度、前記１又は２以上の画素サブセットにおける前記スモークの形状、又は前記１又は２以上の画素サブセットにおける前記スモークの色のうちの少なくとも１つを含む、
請求項１に記載の電子装置。

【請求項14】

物理的空間の複数の画像のうちの第１の画像を受け取ることと、
前記受け取られた第１の画像に対する訓練済みニューラルネットワークモデルの適用に基づいて前記物理的空間内のスモークを検出することと、
前記物理的空間内の前記検出されたスモーク、及び前記スモークの前記検出に対応する前記訓練済みニューラルネットワークモデルの出力に基づいて、前記物理的空間のヒートマップを生成することと、
前記生成されたヒートマップの正規化に基づいて前記物理的空間内の前記スモークのレベルを推定することと、
を含むことを特徴とする方法。

【請求項15】

前記受け取られた第１の画像の複数の画素の各画素サブセットに対応する信頼スコアであって、前記受け取られた第１の画像の各画素サブセットに対応する前記スモークの前記検出に関連する信頼スコアを、前記訓練済みニューラルネットワークモデルの出力として取得することと、
各画素サブセットの前記信頼スコアに基づいて前記ヒートマップを生成することと、
をさらに含む、請求項１４に記載の方法。

【請求項16】

前記訓練済みニューラルネットワークモデルに基づいて、前記受け取られた第１の画像の各画素サブセットに対応する前記スモークを、各画素サブセットに対応する前記信頼スコアに基づいて前記スモークの強度の複数のカテゴリのうちの特定のカテゴリに分類することと、
前記スモークの分類に基づいて前記ヒートマップに重みを割り当てることと、
をさらに含む、請求項１５に記載の方法。

【請求項17】

前記割り当てられた重みに基づいて、それぞれが前記複数のカテゴリのうちの前記特定のカテゴリに対応する複数の領域であって、前記特定のカテゴリに分類された前記画素サブセットをそれぞれが含む複数の領域を決定することと、
前記決定された複数の領域間の１又は２以上の重複領域を決定することと、
前記ヒートマップから前記１又は２以上の重複領域を排除することと、
前記１又は２以上の重複領域の前記排除に基づいて前記物理的空間内の前記スモークの前記レベルを推定することと、
をさらに含む、請求項１６に記載の方法。

【請求項18】

前記推定される前記スモークのレベルに基づいて前記物理的空間から前記スモークを排気するように排煙装置を制御することをさらに含む、
請求項１４に記載の方法。

【請求項19】

前記推定される前記スモークのレベルに基づいて、前記物理的空間の第１の可視性レベルを示す前記第１の画像を表示するようにディスプレイ画面を制御することと、
前記第１の可視性レベルが可視性閾値よりも低い場合に前記物理的空間から前記スモークを排気するように排煙装置を制御することと、
前記スモークの前記排気に基づいて、前記物理的空間の前記複数の画像のうちの、前記可視性閾値以上の第２の可視性レベルを示す第２の画像を表示するように前記ディスプレイ画面を制御することと、
をさらに含む、請求項１４に記載の方法。

【請求項20】

コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、プロセッサによって実行された時に、前記プロセッサに、
物理的空間の複数の画像のうちの第１の画像を受け取ることと、
前記受け取られた第１の画像に対する訓練済みニューラルネットワークモデルの適用に基づいて前記物理的空間内のスモークを検出することと、
前記物理的空間内の前記検出されたスモーク、及び前記スモークの前記検出に対応する前記訓練済みニューラルネットワークモデルの出力に基づいて、前記物理的空間のヒートマップを生成することと、
前記生成されたヒートマップの正規化に基づいて前記物理的空間内の前記スモークのレベルを推定することと、
を含む動作を実行させる、ことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
なし。

【0002】

本開示の様々な実施形態は、スモークレベルの推定に関する。具体的には、本開示の様々な実施形態は、スモークレベルの推定のための電子装置及び方法に関する。

【背景技術】

【0003】

医療技術の進歩は、外科手術などの健康及び医療サービスの様々な発展をもたらした。従来、外科医は、外科手術中に（電気焼灼装置などの）電気手術装置を利用することがある。電気焼灼装置を使用する際の一般的副生成物として、サージカルスモーク（ｓｕｒｇｉｃａｌ ｓｍｏｋｅ）を挙げることができる。サージカルスモークは、外科手術中に電気焼灼装置のプローブからの加熱による組織の破壊に起因して発生することがある。通常、サージカルスモークは、外科手術が行われている手術部位に高濃度で局在して、外科手術中に手術部位の可視性を妨げることがある。さらに、頻繁にサージカルスモークに曝されると、外科医及び補助スタッフなどのサージカルスモークを吸入した職員の健康に悪影響が及ぶ恐れがある。場合によっては、高濃度のサージカルスモークによって外科医及び補助スタッフの目及び上気道に炎症が生じることもある。

【0004】

手術室又は手術部位における従来のスモーク検出法は、特殊センサなどのさらなるハードウェアを必要とする場合があり、このためこのようなハードウェアの設置コスト及びメンテナンスコストが増加してしまうことがある。また、このような方法では、手術室内の強力な光によってリアルタイムスモーク検出の結果も不正確になる。従来の方法では、手術室からのスモークの除去のために、排煙設備を適宜に手動で作動させることが必要となり得る。手術中に手動で排煙設備を作動させることは、外科医及び補助スタッフにとって不便と考えられる。さらに、このような手動による排煙法では、手術部位又は手術室からのスモークの除去が正確又は効果的でない場合もある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0006】

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、電子スモークレベル推定装置及び方法を提供する。

【0007】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0008】

【図1】本開示の実施形態による、スモークレベル推定のための例示的なネットワーク環境を示すブロック図である。

【図2】本開示の実施形態による、スモークレベル推定のための例示的な電子装置を示すブロック図である。

【図3A】本開示の実施形態による、スモークレベル推定のための例示的な動作を図３Ｂと共に示す図である。

【図3B】本開示の実施形態による、スモークレベル推定のための例示的な動作を図３Ａと共に示す図である。

【図4A】本開示の実施形態による、スモークレベル推定に基づく物理的空間の可視性強化のための例示的な方法を示す図である。

【図4B】本開示の実施形態による、スモークレベル推定に基づく物理的空間の可視性強化のための例示的な方法を示す図である。

【図5】本開示の実施形態による、スモークレベル推定のための例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0009】

開示する物理的空間内のスモークレベル推定のための電子装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、物理的空間（例えば、手術部位又は手術室）の複数の画像のうちの第１の画像を受け取るように構成できる電子装置を提供する。電子装置は、受け取った第１の画像に訓練済みニューラルネットワークモデルを適用するように構成することができる。電子装置は、訓練済みニューラルネットワークモデルの適用に基づいて物理的空間内のスモークを検出するように構成することができる。電子装置は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデルの出力に基づいて、物理的空間のヒートマップを生成するように構成することができる。電子装置は、生成されたヒートマップの正規化に基づいて物理的空間内のスモークのレベルを推定するように構成することができる。

【0010】

ある実施形態によれば、電子装置は、受け取った第１の画像の各画素サブセットに対応するスモークを、スモークの強度の複数のカテゴリのうちの特定のカテゴリに分類するように構成することができる。この分類は、各画素サブセットに対応する訓練済みニューラルネットワークモデルの信頼スコアに基づくことができる。電子装置は、スモークの分類に基づいてヒートマップに重みを割り当てるように構成することができる。電子装置は、割り当てられた重みに基づいて、それぞれが複数のカテゴリのうちの特定のカテゴリに対応する複数の領域を決定するようにさらに構成することができる。複数の領域の各領域は、（軽度のスモーク、中度のスモーク、又は重度のスモークなどの）特定のカテゴリに分類された画素サブセットを含むことができる。

【0011】

ある実施形態によれば、電子装置は、決定された複数の領域間の１又は２以上の重複領域を決定するようにさらに構成することができる。電子装置は、ヒートマップから１又は２以上の重複領域を排除するようにさらに構成することができる。電子装置は、１又は２以上の重複領域の排除に基づいて物理的空間内のスモークのレベルを推定するようにさらに構成される。ある実施形態によれば、電子装置は、推定されるスモークのレベルに基づいて物理的空間からスモークを排気するように排煙装置を制御するよう構成することができる。

【0012】

電子装置は、訓練済みニューラルネットワークモデルの利用によってスモークのレベルを推定することができ、従ってスモーク検出のために（専用センサなどの）さらなるハードウェアを使用する必要性を排除することができる。訓練済みニューラルネットワークモデルを使用することで、外科手術中のスモークのリアルタイム推定の精度を高めることができる。電子装置は、推定されるスモークのレベルに基づいて物理的空間からスモークを排気するように排煙装置を自動的に制御する（排煙装置の自動スイッチオン又はスイッチオフなどを行う）ことにより、外科手術中の手術部位の可視性を向上させるとともに、外科医及び補助スタッフに健康的な作業環境を提供することができる。また、排煙装置の自動制御は、手術スタッフの手動労力を伴わずに手術室からのスモークの排気を可能にし、従ってユーザの利便性、物理的空間からのスモークの除去の正確さ及び精度を向上させることができる。従って、電子装置は、スモークレベル推定及び（手術部位又は手術室などの）物理的空間からのスモーク排気のためのロバストな方法を提供することができる。

【0013】

図１は、本開示の実施形態による、スモークレベル推定のための例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、電子装置１０２、サーバ１０４、画像取り込み装置１１４、及び排煙装置１１６を含むことができる。電子装置１０２は、ヒートマップ１１０を生成するように構成されたニューラルネットワークモデル１０８を含むことができる。画像取り込み装置１１４は、第１の画像１０６Ａ、第２の画像１０６Ｂ及び第Ｎの画像１０６Ｎなどの複数の画像１０６を取り込むことができる。ネットワーク環境１００は、通信ネットワーク１１２をさらに含むことができる。電子装置１０２、サーバ１０４、画像取り込み装置１１４及び排煙装置１１６は、通信ネットワーク１１２を介して互いに通信することができる。

【0014】

電子装置１０２は、訓練済みニューラルネットワークモデル１０８の適用によって（手術部位又は手術室などの）物理的空間内のスモークのレベルを推定するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。電子装置１０２は、推定されたスモークのレベルに基づいて物理的空間からスモークを排気するように排煙装置１１６を制御するようさらに構成することができる。ある実施形態では、電子装置１０２を、サーバ１０４から訓練済みニューラルネットワークモデル１０８を受け取るように構成することができる。別の実施形態では、電子装置１０２を、ニューラルネットワークモデル１０８を生成し、訓練データに基づいてニューラルネットワークモデルを訓練するようにさらに構成することができる。いくつかの事例では、電子装置１０２が、サーバ１０４から（スモークに関する１又は２以上の特徴などの）訓練データを受け取ることができる。さらに、電子装置１０２は、画像取り込み装置１１４の作動を制御するとともに画像取り込み装置１１４の１又は２以上の撮像パラメータを制御し、制御に基づいて画像取り込み装置１１４から複数の画像１０６を受け取ることができる。電子装置１０２の例としては、以下に限定するわけではないが、コンピュータ装置、スマートフォン、電子ヘルスケア装置、携帯電話機、ゲーム装置、メインフレームマシン、サーバ、コンピュータワークステーション、及び／又は消費者向け電子（ＣＥ）装置を挙げることができる。

【0015】

サーバ１０４は、様々な用途のための複数のニューラルネットワークモデルを記憶するように構成できる好適なロジック、回路及びインターフェイス及び／又はコードを含むことができる。例えば、複数のニューラルネットワークモデルは、スモーク検出のための１又は２以上の特徴を使用して訓練できるニューラルネットワークモデル１０８を含むことができる。サーバ１０４は、訓練済みニューラルネットワークモデル１０８を電子装置１０２に送信することができる。サーバ１０４は、（電子装置１０２などの）複数の電子装置と通信して、新たな訓練データを定期的に生成するための情報を収集することができる。サーバ１０４は、生成された訓練データを定期的に電子装置１０２に送信することができる。サーバ１０４は、クラウドサーバとして実装され、ウェブアプリケーション、クラウドアプリケーション、ハイパーテキスト転送プロトコル（ＨＴＴＰ）リクエスト、リポジトリ操作、及びファイル転送などを通じて動作を実行することができる。サーバ１０４の他の実装例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、メディアサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバを挙げることができる。

【0016】

少なくとも１つの実施形態では、当業者に周知の複数の技術を使用することにより、サーバ１０４を複数の分散型クラウドベースリソースとして実装することができる。当業者であれば、本開示の範囲は、サーバ１０４及び電子装置１０２を２つの別個のエンティティとして実装することに限定されるものではないと理解するであろう。いくつかの実施形態では、本開示の範囲から逸脱することなく、サーバ１０４の機能を全体的に又は少なくとも部分的に電子装置１０２に組み込むこともできる。

【0017】

（ディープニューラルネットワークなどの）ニューラルネットワークモデル１０８は、例えば（単複の）活性化関数、重みの数、コスト関数、正則化関数、入力サイズ、及び層の数などのハイパーパラメータによって定めることができる。ニューラルネットワークモデル１０８は、複数の層状に配置された人工ニューロンをノードとする計算ネットワーク又はシステムとすることができる。ニューラルネットワークモデル１０８の複数の層は、入力層、１又は２以上の隠れ層、及び出力層を含むことができる。複数の層の各層は１又は２以上のノード（又は、例えば円によって表される人工ニューロン）を含むことができる。入力層の全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、ニューラルネットワークモデル１０８の他の層の少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、ニューラルネットワークモデル１０８の他の層の他の層の少なくとも１つのノードの入力に結合することができる。最終層の（単複の）ノードは、少なくとも１つの隠れ層から入力を受け取って結果を出力することができる。層の数及び各層のノード数は、ニューラルネットワークモデル１０８のハイパーパラメータから決定することができる。このようなパラメータは、ニューラルネットワークモデル１０８の訓練前、訓練中、又は訓練後に設定することができる。ある実施形態によれば、電子装置１０２は、ニューラルネットワークモデル１０８を、複数の画像１０６に基づくスモーク検出、ヒートマップに基づく（軽度のスモーク、中度のスモーク、又は重度のスモークなどの）スモーク分類、及びスモークレベル推定のために訓練するように構成することができる。別の実施形態では、サーバ１０４が、ニューラルネットワークモデル１０８を訓練するように構成され、電子装置１０２上にホストされたニューラルネットワークモデル１０８を定期的に更新することができる。

【0018】

ニューラルネットワークモデル１０８の各ノードは、ニューラルネットワークモデル１０８の訓練中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ））に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、ニューラルネットワークモデル１０８の他の（単複の）層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。ニューラルネットワークモデル１０８のノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。

【0019】

ある実施形態によれば、電子装置１０２は、受け取った第１の画像１０６Ａ内の１又は２以上の画素サブセットに関連する１又は２以上の特徴に基づいてニューラルネットワークモデル１０８を訓練して訓練済みニューラルネットワークモデル１０８を取得することができる。ニューラルネットワークモデル１０８は、スモークを検出してヒートマップ１１０を生成するように訓練することができる。１又は２以上の特徴は、１又は２以上の画素サブセットにおけるスモークの強度、１又は２以上の画素サブセットにおけるスモークの形状、或いは１又は２以上の画素サブセットにおけるスモークの色のうちの少なくとも１つを含むことができる。例えば、電子装置１０２は、ニューラルネットワークモデル１０８を訓練するためにニューラルネットワークモデル１０８に複数の画像を入力することができる。例えば、これらの画像は、異なる形状のスモーク、異なる色のスモーク、及び（重度のスモーク、中度のスモーク、軽度のスモークなどの）異なるタイプのスモークなどの画像を含むことができる。ニューラルネットワークモデル１０８は、入力画像に基づいてスモークを検出し、スモークを分類し、スモークのレベルを推定するように訓練することができる。別の実施形態では、ニューラルネットワークモデル１０８を、スモークの強度、スモークの形状又はスモークの色などの訓練データセットの特徴に基づいてスモークを検出するように事前訓練することができる。

【0020】

ニューラルネットワークモデル１０８の訓練では、（スモークの第１の画像１０６Ａなどの）所与の入力に対する（スモークレベル推定などの）最終層の出力がニューラルネットワークモデル１０８の損失関数に基づく（スモークレベル推定に対応するグランドトゥルース画像などの）正しい結果に一致するかどうかに基づいて、ニューラルネットワークモデル１０８の各ノードの１又は２以上のパラメータを更新することができる。上記プロセスは、損失関数の最小値を達成して訓練エラーを最小化できるまで同じ又は異なる入力について繰り返すことができる。当業では複数の訓練法が知られており、これらは、例えば以下に限定するわけではないが、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法及びメタヒューリスティック法などを含むことができる。

【0021】

ある実施形態では、ニューラルネットワークモデル１０８が、例えば電子装置１０２上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。ニューラルネットワークモデル１０８は、電子装置１０２などの処理装置による実行のために、ライブラリ、外部スクリプト、又はその他のロジック／命令に依拠することができる。ニューラルネットワークモデル１０８は、電子装置１０２などのコンピュータ装置がスモークの検出及びヒートマップ１１０の生成に関連する１又は２以上の動作を実行することを可能にすることができる。これに加えて又は代えて、ニューラルネットワークモデル１０８は、プロセッサ、（人工知能（ＡＩ）アクセラレータチップなどの）コプロセッサ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。いくつかの実施形態では、ニューラルネットワークモデル１０８を、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装することもできる。

【0022】

ニューラルネットワークモデル１０８の例としては、以下に限定するわけではないが、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、ＣＮＮ－再帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、（ＹＯＬＯｖ３などの）Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ネットワーク、ＣＮＮ＋ＡＮＮ、敵対的生成ネットワーク（ＧＡＮ）、及び／又はこのようなネットワークの組み合わせを挙げることができる。いくつかの実施形態では、ニューラルネットワークモデル１０８が、複数のディープニューラルネットワーク（ＤＮＮ）のハイブリッドアーキテクチャに基づくことができる。

【0023】

図１では、電子装置１０２と一体化されたニューラルネットワークモデル１０８を示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、本開示の範囲から逸脱することなく、ニューラルネットワークモデル１０８を電子装置１０２から分離することもできる。

【0024】

ヒートマップ１１０は、カラーコーディング法を使用して複数の画像１０６のうちの第１の画像１０６Ａに基づいて物理的空間内の検出されたスモークの大きさ又は強度をグラフィックで表現したものとすることができる。電子装置１０２は、物理的空間内の検出されたスモークと、訓練済みニューラルネットワークモデル１０８による検出されたスモークの（重度のスモーク、中度のスモーク、又は軽度のスモークなどの）分類とに基づいてヒートマップ１１０を生成するように構成することができる。ヒートマップ１１０は、カラーコーディング法を利用して第１の画像１０６Ａ内の画素の異なる値を表すことができる。例えば、ヒートマップ１１０は、訓練済みニューラルネットワークモデル１０８の出力として、受け取られた第１の画像１０６Ａの複数の画素の画素サブセット毎に異なる色を含むことができる。ある実施形態では、訓練済みニューラルネットワークモデル１０８によるスモーク検出の信頼スコアに基づいてヒートマップ１１０に重み付けすることができる。例えば、スモークの強度の複数のカテゴリのうちの特定のカテゴリへのスモークの分類に基づいてヒートマップ１１０に重みを割り当てることができる。重み付けされたヒートマップ１１０は、スモークレベルの推定のために物理的空間内のスモークを定量化するために使用することができる。ヒートマップ１１０及び重みの割り当ての詳細については、例えば図３Ａ及び図３Ｂでさらに説明する。

【0025】

通信ネットワーク１１２は、電子装置１０２、サーバ１０４、画像取り込み装置１１４及び排煙装置１１６が互いに通信できるようにする通信媒体を含むことができる。例えば、電子装置１０２は、通信ネットワーク１１２を介して画像取り込み装置１１４から（第１の画像１０６Ａなどの）複数の画像１０６を受け取ることができる。別の例では、電子装置１０２が、通信ネットワーク１１２を介してサーバ１０４からニューラルネットワークモデル１０８の訓練データを受け取ることができる。通信ネットワーク１１４は、有線接続又は無線接続の一方とすることができる。通信ネットワーク１１２の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、（ロングタームエボリューション又は第５世代新無線（５Ｇ ＮＲ）などの）モバイルワイヤレスネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１２に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。

【0026】

画像取り込み装置１１４は、電子装置１０２からの制御信号に基づいて複数の画像１０６を取り込むように構成できる好適なロジック、回路及びインターフェイス、及び／又はコードを含むことができる。画像取り込み装置１１４は、解像度、視野、フレームレート（例えば、１秒当たりフレーム数）及び倍率などの１又は２以上のパラメータを含むことができる。画像取り込み装置１１４のパラメータは、電子装置１０２によって制御することができる。１又は２以上の実施形態では、画像取り込み装置１１４が、外科手術のビデオの（複数の画像１０６などの）複数のフレームを記録して、記憶のために電子装置１０２又はサーバ１０４に送信することができる。画像取り込み装置１１４の例としては、以下に限定するわけではないが、イメージセンサ、広角カメラ、アクションカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、カムコーダ、デジタルカメラ、カメラ付き電話機、飛行時間カメラ（ＴｏＦカメラ）、暗視カメラ、全天球カメラ、パノラマカメラ、アクションカメラ、広角カメラ、閉回路テレビ（ＣＣＴＶ）カメラ、３６０度画像取り込み能力を有するその他の画像取り込み装置、又はその他の画像取り込み装置を挙げることができる、

【0027】

排煙装置１１６は、推定されるスモーク検出レベルに基づいて（手術部位又は手術室などの）物理的空間からスモークを排気する好適なロジック、回路、及びインターフェイス、ハードウェアコンポーネント、及び／又はコードを含むことができる。排煙装置１１６は、ハウジング、１又は２以上の吸引ファン、吸引ファンに結合された変速モータ、ハウジングに取り外し可能に取り付けられた異なる直径の１又は２以上の吸引チューブ、吸引チューブの下流の１又は２以上のエアフィルタ、及び（腹腔鏡手術用途などの）用途に応じてその他のコンポーネントを含むことができる。当業者であれば、排煙装置１１６は、本明細書で説明するコンポーネント又はシステムに加えて、他の好適なコンポーネント又はシステムを含むこともできると理解するであろう。他のコンポーネント又はシステムの詳細な説明については、簡潔にするために本開示からは省略する。ある実施形態では、電子装置１０２が、物理的空間内の推定されるスモーク検出レベルに基づいて排煙装置１１６の作動及び非作動を制御することができる。別の実施形態では、電子装置１０２が、物理的空間内の推定されるスモーク検出レベルに基づいて排煙装置１１６のモータ及び吸引ファンの速度を制御することができる。

【0028】

動作中、画像取り込み装置１１４は、外科手術中に（手術部位又は手術室などの）物理的空間の複数の画像１０６を取り込むように構成することができる。例えば、外科手術は、１又は２以上の外科医及び／又は補助スタッフが行うことができる。別の例では、外科手術が、外科医による外科手術の実行をロボットシステムが遠隔的に又は手術室内で支援できるロボット支援手術であることができる。外科手術では、患者の組織を焼灼するために（電気焼灼装置などの）電気手術装置が使用されることがある。このような事例では、電気焼灼装置の使用によって手術部位に（サージカルスモークなどの）スモークが発生することがある。いくつかの実施形態では、画像取り込み装置１１４が、外科手術を支援するために外科手術のビデオをリアルタイムで取り込むことができる。

【0029】

電子装置１０２は、画像取り込み装置１１４から（手術部位又は手術室などの）物理的空間の複数の画像１０６のうちの第１の画像１０６Ａを受け取るように構成することができる。例えば、複数の画像１０６は、画像取り込み装置１１４によって取り込まれた外科手術のビデオの異なるフレームであることができる。ある実施形態によれば、電子装置１０２は、画像取り込み装置１１４からリアルタイムで、電子装置１０２のメモリから、又はサーバ１０４から通信ネットワーク１１２を介して、のうちの少なくとも１つによって複数の画像１０６のうちの第１の画像１０６Ａを受け取るように構成することができる。第１の画像１０６Ａを受け取る詳細については、例えば図３Ａでさらに説明する。

【0030】

電子装置１０２は、受け取られた第１の画像１０６Ａに訓練済みニューラルネットワークモデル１０８を適用するようにさらに構成することができる。電子装置１０２は、訓練済みニューラルネットワークモデル１０８の適用に基づいて物理的空間内のスモークを検出するように構成することができる。スモークの検出の詳細については、例えば図３Ａにさらに示す。

【0031】

電子装置１０２は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の出力に基づいて、（手術部位又は手術室などの）物理的空間のヒートマップ１１０を生成するように構成することができる。ある実施形態によれば、電子装置１０２は、受け取られた第１の画像１０６Ａの複数の画素の各画素サブセットに対応する信頼スコアを訓練済みニューラルネットワークモデル１０８の出力として取得するように構成することができる。信頼スコアは、受け取られた第１の画像１０６Ａの各画素サブセットに対応するスモークの検出に関連することができる。電子装置１０２は、各画素サブセットの信頼スコアに基づいてヒートマップ１１０を生成することができる。ヒートマップ１１０の生成の詳細については、例えば図３Ａにさらに示す。

【0032】

ある実施形態によれば、電子装置１０２は、訓練済みニューラルネットワークモデル１０８に基づいて、受け取られた第１の画像１０６Ａの各画素サブセットに対応するスモークを、スモークの強度の複数のカテゴリのうちの特定のカテゴリに分類するように構成することができる。この分類は、各画素サブセットに対応する信頼スコアに基づくことができる。例えば、スモークの強度の複数のカテゴリは、軽度のスモーク、中度のスモーク、及び重度のスモークを含むことができる。さらに、電子装置１０２は、スモークの分類に基づいてヒートマップ１１０に重みを割り当てることができる。スモークの分類及び重みの割り当ての詳細については、例えば図３Ａにさらに示す。

【0033】

ある実施形態によれば、電子装置１０２は、割り当てられた重みに基づいて、それぞれが複数のカテゴリのうちの特定のカテゴリに対応する複数の領域をさらに決定することができる。複数の領域の各領域は、特定のカテゴリに分類された画素サブセットを含むことができる。電子装置１０２は、決定された複数の領域間の１又は２以上の重複領域をさらに決定して、ヒートマップ１１０から重複領域を排除することができる。複数の領域の決定及び重複領域の排除の詳細については、例えば図３Ａ及び図３Ｂにさらに示す。

【0034】

電子装置１０２は、重複領域を排除した後にヒートマップ１１０をさらに正規化することができる。例えば、ヒートマップの正規化は、ヒートマップの値を０～１の範囲に調整することを含むことができる。電子装置１０２は、正規化に基づいて物理的空間内のスモークのレベルを推定することができる。いくつかの実施形態では、物理的空間の第１の画像１０６Ａ内の推定されるスモークのレベルが０～１の範囲であることができる。スモークのレベルの推定の詳細については、例えば図３Ｂにさらに示す。

【0035】

ある実施形態によれば、電子装置１０２は、推定されたスモークのレベルに基づいて物理的空間からスモークを排気するように排煙装置１１６を制御するようさらに構成することができる。排煙装置１１６の制御の詳細については、例えば図３Ｂにさらに示す。

【0036】

ある実施形態によれば、電子装置１０２は、推定されたスモークのレベルに基づいて物理的空間の第１の可視性レベルを示す第１の画像１０６Ａを表示するようにディスプレイ画面を制御するよう構成することができる。電子装置１０２は、第１の可視性レベルが可視性閾値よりも低い場合に物理的空間からスモークを排気するように排煙装置１１６をさらに制御することができる。電子装置１０２は、スモークの排気に基づいて物理的空間の複数の画像１０６のうちの（第２の画像１０６Ｂなどの）第２の画像を表示するようにディスプレイ画面を制御することができる。第２の画像１０６Ｂは、可視性閾値以上の第２の可視性レベルを示すことができる。スモークを排気するように排煙装置１１６を制御する詳細については、例えば図４Ａにさらに示す。

【0037】

ある実施形態によれば、電子装置１０２は、推定されたスモークのレベルに基づいて、物理的空間の第１の可視性レベルを示す第１の画像１０６Ａを表示するようにディスプレイ画面を制御するよう構成することができる。電子装置１０２は、第１の可視性レベルが可視性閾値よりも低い場合、第１の画像１０６Ａにヘイズ除去プロセス（ｄｅｈａｚｉｎｇ ｐｒｏｃｅｓｓ）をさらに適用することができる。電子装置１０２は、ヘイズ除去プロセスの適用に基づいて、物理的空間の複数の画像１０６のうちの第２の画像１０６Ｂを表示するようにディスプレイ画面をさらに制御することができる。第２の画像１０６Ｂは、可視性閾値以上の第２の可視性レベルを示すことができる。例えば、第２の画像１０６Ｂは、ヘイズ除去された第１の画像１０６Ａであることができる。ヘイズ除去プロセスの適用の詳細については、例えば図４Ｂにさらに示す。

【0038】

図２は、本開示の実施形態による、スモークレベル推定のための例示的な電子装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２には電子装置１０２のブロック図２００を示す。電子装置１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。回路２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。いくつかの実施形態では、メモリ２０４がニューラルネットワークモデル１０８を含むことができる。Ｉ／Ｏ装置２０６は、ディスプレイ画面２０６Ａをさらに含むことができる。

【0039】

回路２０２は、電子装置１０２によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。例えば、回路２０２は、物理的空間の（第１の画像１０６Ａなどの）画像に訓練済みニューラルネットワークモデル１０８を適用して物理的空間内のスモークを検出し、検出されたスモークに基づいて重み付けされた（ヒートマップ１１０などの）ヒートマップを生成し、重み付けされたヒートマップの正規化に基づいてスモークのレベルを推定するように構成することができる。回路２０２は、独立したプロセッサとして実装できる１又は２以上の特殊処理ユニットを含むことができる。ある実施形態では、１又は２以上の特殊処理ユニットを、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例は、Ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。

【0040】

メモリ２０４は、回路２０２によって実行されるプログラム命令を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。メモリ２０４は、ニューラルネットワークモデル１０８を記憶するように構成することができる。メモリ２０４は、画像取り込み装置１１４から受け取られた複数の画像１０６と、生成されたヒートマップ１１０とを記憶するように構成することができる。メモリ２０４は、サーバ１０４から受け取られた、ニューラルネットワークモデル１０８を訓練するための訓練データを記憶するようにさらに構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。

【0041】

Ｉ／Ｏ装置２０６は、（外科医又は手術スタッフなどの）ユーザから入力を受け取り、受け取った入力に基づいて（第１の画像１０６Ａを表示することなどの）出力を提供するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。様々な入力及び出力装置を含むことができるＩ／Ｏ装置２０６は、回路２０２と通信するように構成することができる。例えば、Ｉ／Ｏ装置２０６は、（重度のスモーク、中度のスモーク、又は軽度のスモークなどの）スモークの強度の複数のカテゴリのうちのユーザ定義カテゴリのスモークを検出するためのユーザ入力を受け取ることができる。Ｉ／Ｏ装置２０６は、物理的空間の第１の可視性レベルを示す第１の画像１０６Ａを表示することができるディスプレイ画面２０６Ａをさらに含むことができる。ディスプレイ画面２０６Ａは、物理的空間の第１の可視性レベルとは異なる第２の可視性レベルを示すことができる第２の画像１０６Ｂをさらに表示することができる。Ｉ／Ｏ装置２０６の例としては、以下に限定するわけではないが、タッチ画面、ディスプレイ装置、キーボード、マウス、ジョイスティック、マイク、及びスピーカを挙げることができる。

【0042】

ネットワークインターフェイス２０８は、通信ネットワーク１１２を介して回路２０２、サーバ１０４、画像取り込み装置１１４及び排煙装置１１６間の通信を容易にするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ネットワークインターフェイス２０８は、（Ｂｌｕｅｔｏｏｔｈ（商標）などの）無線接続又は（ローカルエリアネットワーク（ＬＡＮ）ケーブルなどの）有線接続を介して回路２０２を画像取り込み装置１１４及び排煙装置１１６に接続するようにさらに構成することができる。ネットワークインターフェイス２０８は、様々な既知の技術を使用して通信ネットワーク１１２との間の電子装置１０２の有線又は無線通信をサポートするように実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者ＩＤモジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。ネットワークインターフェイス２０８は、インターネット、イントラネットなどのネットワーク、又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及びメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、５Ｇ ＮＲ、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（商標）、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）、電子メール用プロトコル、インスタントメッセージ、及びショートメッセージサービス（ＳＭＳ）などの複数の通信標準、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。

【0043】

図１で説明したような電子装置１０２によって実行される機能又は動作は、回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図３Ａ、図３Ｂ、図４Ａ及び図４Ｂで詳細に説明する。

【0044】

図３Ａに、本開示の実施形態による、スモークレベル推定のための例示的な動作を示す。図３Ａの説明は、図１及び図２の要素に関連して行う。図３Ａには、本明細書で説明する３０２～３１６の例示的な動作を示すブロック図３００Ａを示す。ブロック図３００Ａに示す例示的な動作は３０２から開始することができ、図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。

【0045】

３０２において、物理的空間の複数の画像１０６のうちの第１の画像３０２Ａを受け取ることができる。ある実施形態によれば、回路２０２は、画像取り込み装置１１４から複数の画像１０６のうちの第１の画像３０２Ａを受け取るように構成することができる。例えば、第１の画像３０２Ａは、外科手術の（患者の手術部位などの）手術野の画像とすることができる。別の例では、第１の画像３０２Ａを、外科手術を実行できる手術室の画像とすることができる。第１の画像１０６Ａは、画像取り込み装置１１４によって取り込まれたビデオの第１のフレームに対応することができる。

【0046】

ある実施形態によれば、回路２０２は、電子装置１０２のオンラインモード動作時に画像取り込み装置１１４から第１の画像３０２Ａをリアルタイムで受け取るように構成することができる。回路２０２は、画像取り込み装置１１４からビデオの（複数の画像１０６などの）複数のフレームの各フレームをリアルタイムで受け取ることができる。別の実施形態では、回路２０２を、電子装置１０２のオフラインモード動作時に電子装置１０２のメモリ２０４又はサーバ１０４から第１の画像３０２Ａを受け取るように構成することができる。

【0047】

３０４において、受け取られた第１の画像３０２Ａに訓練済みニューラルネットワークモデル１０８を適用することができる。ある実施形態によれば、回路２０２は、（手術部位又は手術室などの）物理的空間内のスモークの検出のために、受け取られた第１の画像３０２Ａに訓練済みニューラルネットワークモデル１０８を適用するように構成することができる。回路２０２は、訓練済みニューラルネットワークモデル１０８に第１の画像３０２Ａを入力することができる。いくつかの実施形態では、回路２０２が、スモークの検出のために、受け取った第１の画像３０２Ａ内の（異なる画素サブセットなどの）異なる領域に訓練済みニューラルネットワークモデル１０８を適用することができる。

【0048】

３０６において、第１の画像３０２Ａに対する訓練済みニューラルネットワークモデル１０８の適用に基づいて物理的空間内のスモークを検出することができる。ある実施形態によれば、回路２０２は、第１の画像３０２Ａに対する訓練済みニューラルネットワークモデル１０８の適用に基づいて物理的空間内のスモークを検出するように構成することができる。

【0049】

訓練済みニューラルネットワークモデル１０８は、受け取られた第１の画像３０２Ａの１又は２以上の画素サブセットにおけるスモークの強度、形状及び色などの特徴の検出によって物理的空間内のスモークを検出することができる。例示的なシナリオでは、第１の画像３０２Ａが、電気焼灼装置から放出されたスモークを示すことができる。ニューラルネットワークモデル１０８は、第１の画像３０２Ａ内のスモークの検出に基づいて物理的空間内のスモークを検出することができる。

【0050】

３０８において、受け取られた第１の画像３０２Ａの各画素サブセットに対応する信頼スコアを取得することができる。ある実施形態によれば、回路２０２は、受け取られた第１の画像３０２Ａの各画素サブセットに対応する信頼スコアを訓練済みニューラルネットワークモデル１０８の出力として取得するように構成することができる。信頼スコアは、受け取られた第１の画像３０２Ａの各画素サブセットに対応するスモークの検出に関連することができる。ある例では、信頼スコアが、入力された第１の画像３０２Ａ内のスモークをニューラルネットワークモデル１０８が検出する信頼度を指定することができる。いくつかの事例では、信頼スコアを、２値（０又は１）又は０～１の尤度を表す浮動小数点数とすることができる。信頼スコアが高ければ高いほど、ニューラルネットワークモデル１０８の信頼度が高いことを示すことができる。

【0051】

例えば、外科手術は、手術室内の患者の腹部領域において行うことができる。第１の画像３０２Ａは、患者の腹部領域において外科手術が行われているシーンと、電気焼灼装置からのスモークとを含むことができる。第１の画像３０２Ａは、患者の腹部領域に入射する１又は２以上の光源からの光の反射をさらに含むことができる。ある実施形態では、第１の画像３０２Ａの（１又は２以上の画素サブセットなどの）１又は２以上の領域がスモークを含むことができ、第１の画像３０２Ａの他の領域が光の反射を含むことができる。回路２０２は、受け取られた第１の画像３０２Ａの画素サブセット毎のスモークの検出の信頼スコアを訓練済みニューラルネットワークモデル１０８の出力として取得することができる。ある実施形態では、信頼スコアが０～１の範囲内であることができる。

【0052】

例えば、ニューラルネットワークモデル１０８は、第１の画像３０２Ａの第１の画素サブセットにおいてスモークを検出し、第１の画像３０２Ａの第１の画素サブセットにおけるスモークの検出に対応する０．９５の信頼スコアを出力することができる。回路２０２は、第１の画素サブセットにおける検出されたスモークに対応する０．９５の信頼スコアを取得することができる。さらに、ニューラルネットワークモデル１０８は、第１の画像３０２Ａの第２の画素サブセットにおいてスモークの不在を検出し、第１の画像３０２Ａの第２の画素サブセットにおいて検出されたスモークの不在に対応する０．９０の信頼スコアを出力することができる。回路２０２は、第１の画像３０２Ａの第２の画素サブセットにおける検出されたスモークの不在に対応する０．９０の信頼スコアを取得することができる。

【0053】

いくつかの実施形態では、ニューラルネットワークモデル１０８が、スモークの強度、形状及び色などのスモークの特徴を複数の画素の第３の画素サブセット内の特徴と比較することができる。例えば、ニューラルネットワークモデル１０８は、第３の画素サブセットにおける一致する強度及び一致する形状のスモークに基づいて第３の画素サブセットにおけるスモークを検出したものの、スモークの色は一致しないことがある。このような場合、ニューラルネットワークモデル１０８は、第３の画素サブセットにおけるスモークの検出に対応する低い信頼スコア（例えば、０．８６）を出力することができる。ある実施形態では、ニューラルネットワークモデル１０８が、複数の画素の画素毎に信頼スコアを出力することができる。

【0054】

３１０において、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の（信頼スコアなどの）出力に基づいて、物理的空間のヒートマップ３１０Ａを生成することができる。ある実施形態によれば、回路２０２は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の（画素サブセット毎の信頼スコアなどの）出力に基づいて、物理的空間のヒートマップ３１０Ａを生成するように構成することができる。

【0055】

いくつかの実施形態では、ニューラルネットワークモデル１０８を、ヒートマップ３１０Ａを生成するように訓練することができる。例示的なシナリオでは、受け取られた第１の画像３０２Ａ内の画素サブセットに関連する特徴に基づいてヒートマップ３１０Ａを生成することができる。例えば、ヒートマップ３１０Ａは、物理的空間内のスモークの視覚的表現であることができる。スモークが外科手術の手術部位などの特定のスポットに局在している場合には、ヒートマップ３１０Ａ内の特定のカラースキームを使用して、手術部位におけるスモークの濃度を物理的空間の他の領域と区別することができる。回路２０２は、第１の画像３０２Ａの異なる領域における検出されたスモークの濃度に基づいて、第１の画像３０２Ａの各画素サブセットに対応する色を割り当てることができる。例えば、ヒートマップ３１０Ａのカラースキームは、高濃度のスモークについては濃い赤色を含むことができ、中濃度のスモークについては明るいオレンジ色を含むことができ、低濃度のスモークについては黄色を含むことができる。ヒートマップ３１０Ａのカラースキームは、スモークが存在しないと考えられる画素に対応する青色をさらに含むことができる。例えば、回路２０２は、検出されたスモークの痕跡が存在しないと考えられる画素に対応する濃い青色を割り当てることができる。別の例では、回路２０２が、スモークの痕跡がわずかに存在すると考えられる画素に対応する薄い青色を割り当てることができる。ヒートマップには、本開示の範囲から逸脱することなく、スモークの濃度又は強度を表すために他のカラースキームを使用することもできる。

【0056】

３１２において、受け取られた第１の画像３０２Ａの各画素サブセットに対応するスモークを、訓練済みニューラルネットワークモデル１０８に基づいてスモークの強度の複数のカテゴリのうちの特定のカテゴリに分類することができる。ある実施形態によれば、回路２０２は、受け取られた第１の画像３０２Ａの各画素サブセットに対応するスモークを、訓練済みニューラルネットワークモデル１０８に基づいてスモークの強度の複数のカテゴリのうちの特定のカテゴリに分類するように構成することができる。この分類は、各画素サブセットに対応する信頼スコアに基づくことができる。

【0057】

複数のカテゴリは、例えば軽度のスモーク、中度のスモーク、及び重度のスモークを含むことができる。例示的なシナリオでは、外科手術中に電気焼灼装置の近傍に（濃いスモークなどの）スモークが集中することがある。ニューラルネットワークモデル１０８は、電気焼灼装置の近傍で検出されたスモークに対応する画素の信頼スコアを０．９２として出力することができる。ニューラルネットワークモデル１０８は、スモークの検出及び信頼スコアに基づいて、第１の画像３０２Ａ内の電気焼灼装置の近傍のスモークを重度のスモークとして分類することができる。

【0058】

さらに、電気焼灼装置の周辺のスモークは、電気焼灼装置の近傍のスモークに比べて濃度が薄い可能性がある。ニューラルネットワークモデル１０８は、第１の画像３０２Ａ内の電気焼灼装置の周囲で検出されたスモークに対応する画素の信頼スコアを０．９０として出力することができる。ニューラルネットワークモデル１０８は、スモークの検出及び信頼スコアに基づいて、第１の画像３０２Ａ内の電気焼灼装置の周辺のスモークを中度のスモークとして分類することができる。

【0059】

さらに、電気焼灼装置から離れたスモークは、電気焼灼装置の周辺のスモークと比べて濃度が薄い可能性がある。ニューラルネットワークモデル１０８は、第１の画像３０２Ａ内の電気焼灼装置から離れて検出されたスモークに対応する画素の信頼スコアを０．８６として出力することができる。ニューラルネットワークモデル１０８は、スモークの検出及び信頼スコアに基づいて、第１の画像３０２Ａ内の電気焼灼装置から離れたスモークを軽度のスモークとして分類することができる。

【0060】

ある実施形態によれば、回路２０２は、複数のカテゴリのうちのユーザ定義カテゴリのスモークの検出に対応するユーザ入力を受け取ることができる。例示的なシナリオでは、回路２０２が、外科手術を行っている外科医又は補助スタッフからユーザ入力を受け取ることができる。例えば、外科医は、スモークが重度のスモークである場合に物理的空間からのスモークの排気を必要とすることができる。回路２０２は、外科医から「重度のスモーク」の検出に対応するユーザ入力を受け取ることができる。回路２０２は、ユーザ入力に基づいて、その後の排気のためにニューラルネットワークモデル１０８によるスモークの分類を利用して重度のスモークを検出することができる。

【0061】

３１４において、スモークの分類に基づいてヒートマップ３１０Ａに重みを割り当てることができる。ある実施形態によれば、回路２０２は、スモークの分類に基づいてヒートマップ３１０Ａに重みを割り当てるように構成することができる。例示的なシナリオでは、割り当てられる重みが０～１の範囲であることができる。例えば、ヒートマップ３１０Ａの重度のスモークとして分類されるスモークを含む画素に対応する１又は２以上の第１の領域には「１」の重みを割り当てることができる。ヒートマップ３１０Ａの中度のスモークとして分類されるスモークを含む画素に対応する１又は２以上の第２の領域には「０．５」の重みを割り当てることができる。ヒートマップ３１０Ａの軽度のスモークとして分類される検出されたスモークを含む画素に対応する１又は２以上の第３の領域には「０．１」の重みを割り当てることができる。ヒートマップ３１０Ａの検出されたスモークを含まない画素に対応する１又は２以上の第４の領域には「０」の重みを割り当てることができる。なお、０～１のスケールの重みは一例として示すものにすぎず、ヒートマップ３１０Ａへの重みの割り当てには、本開示の範囲から逸脱することなく他のスケールを使用することもできる。

【0062】

３１６において、割り当てられた重みに基づいて複数の領域を決定することができる。複数の領域の各領域は、複数のカテゴリの特定のカテゴリに対応することができる。ある実施形態によれば、回路２０２は、割り当てられた重みに基づいて、それぞれが複数のカテゴリの特定のカテゴリに対応する複数の領域を決定するように構成することができる。複数の領域の各領域は、特定のカテゴリに分類された画素サブセットを含むことができる。いくつかの実施形態では、回路２０２が、訓練済みニューラルネットワークモデル１０８によって（スモークなどの）関心物体を含んでいると予測されるバウンディングボックスに基づいて複数の領域を決定することができる。訓練済みニューラルネットワークモデル１０８は、第１の画像３０２Ａ内の（スモークなどの）物体を検出するためにバウンディングボックスを予測することができる。例えば、バウンディングボックスは、異なるカテゴリの検出されたスモークを含むことができる複数の領域の境界（矩形又は円形境界）を定めることができる。ある実施形態によれば、訓練済みニューラルネットワークモデル１０８の出力は、（スモークなどの）関心物体のバウンディングボックス座標を含むことができる。

【0063】

例えば、回路２０２は、生成されたヒートマップ３１０Ａ内の第１の領域３１６Ａ、第２の領域３１６Ｂ、第３の領域３１６Ｃ、第４の領域３１６Ｄ、第５の領域３１６Ｅ及び第６の領域３１６Ｆなどの複数の領域を決定することができる。例示的なシナリオでは、決定された第１の領域３１６Ａが、第１の領域３１６Ａに対応する画素に割り当てられた「１」の重みに基づいて重度のスモークのカテゴリに対応することができる。決定された第２の領域３１６Ｂは、第２の領域３１６Ｂに対応する画素に割り当てられた「０．５」の重みに基づいて中度のスモークのカテゴリに対応することができる。第３の領域３１６Ｃは、第３の領域３１６Ｃに対応する画素に割り当てられた「０．１」の重みに基づいて軽度のスモークのカテゴリに対応することができる。第４の領域３１６Ｄは、第４の領域３１６Ｄに対応する画素に割り当てられた「０．５」の重みに基づいて中度のスモークのカテゴリに対応することができる。第５の領域３１６Ｅは、第５の領域３１６Ｅに対応する画素に割り当てられた「０．１」の重みに基づいて軽度のスモークのカテゴリに対応することができる。第６の領域３１６Ｆは、第６の領域３１６Ｆに対応する画素に割り当てられた「０．５」の重みに基づいて中度のスモークのカテゴリに対応することができる。

【0064】

ブロック図３００Ａの１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0065】

図３Ｂに、本開示の実施形態による、スモークレベル推定のための例示的な動作を示す。図３Ｂの説明は、図１及び図２の要素に関連して行う。図３Ｂには、本明細書で説明する３１８～３２８の例示的な動作を示すブロック図３００Ｂを示す。制御は、図３Ａのブロック３１６からブロック３１８に進むことができる。

【0066】

３１８において、（第１の領域３１６Ａ、第２の領域３１６Ｂ、第３の領域３１６Ｃ、第４の領域３１６Ｄ、第５の領域３１６Ｅ、及び第６の領域３１６Ｆなどの）決定された複数の領域間の１又は２以上の重複領域を決定することができる。ある実施形態によれば、回路２０２は、第１の重複領域３１８Ａ、第２の重複領域３１８Ｂ、及び第３の重複領域３１８Ｃなどの重複領域を決定するように構成することができる。

【0067】

例えば、回路２０２は、第１の領域３１６Ａと第２の領域３１６Ｂとの間の第１の重複領域３１８Ａを決定することができる。回路２０２は、第３の領域３１６Ｃと第４の領域３１６Ｄとの間の第２の重複領域３１８Ｂを決定することができる。回路２０２は、第１の領域３１６Ａと、第５の領域３１６Ｅと、第６の領域３１６Ｆとの間の第３の重複領域３１８Ｃを決定することができる。例えば、第１の領域３１６Ａ及び第２の領域３１６Ｂは、（第１の領域３１６Ａなどの）一方の領域の１又は２以上の画素サブセットの位置が（第２の領域３１６Ｂなどの）もう一方の領域の１又は２以上の画素サブセットに近いことによって重複していると考えられる。いくつかの事例では、物理的空間の同じ領域内のスモークがニューラルネットワークモデル１０８によって重度のスモーク及び軽度のスモークの両方として分類されることによって、ヒートマップ３１０Ａの第１の領域３１６Ａ及び第２の領域３１６Ｂが重複することもある。

【0068】

３２０において、ヒートマップ３１０Ａから１又は２以上の重複領域を排除することができる。ある実施形態によれば、回路２０２は、ヒートマップ３１０Ａから重複領域を排除するように構成することができる。例えば、回路２０２は、ヒートマップ３１０Ａから第１の重複領域３１８Ａ、第２の重複領域３１８Ｂ及び第３の重複領域３１８Ｃを排除してヒートマップ３２０Ａを取得することができる。

【0069】

例えば、回路２０２は、（第１の領域３１６Ａと第２の領域３１６Ｂとの間の重複領域などの）第１の重複領域３１８Ａを、（重度のスモーク及び強度の中度のスモークなどの）両カテゴリのスモークを含んでいると判定することができる。回路２０２は、１００％未満の精度のスモークの分類を示している可能性があるヒートマップ３１０Ａの領域を除去するために第１の重複領域３１８Ａを排除することができる。同様に、回路２０２は、ヒートマップ３２０Ａを取得するために第２の重複領域３１８Ｂ及び第３の重複領域３１８Ｃを排除することもできる。

【0070】

３２２において、ヒートマップ３２０Ａを正規化することができる。ある実施形態によれば、回路２０２は、ヒートマップ３２０Ａを正規化するように構成することができる。回路２０２によって利用される正規化方法の例としては、以下に限定するわけではないが、ｍｉｎ－ｍａｘ特徴スケーリング法、変動係数（ｃｏｅｆｆｉｃｉｅｎｔ ｏｆ ｖａｒｉａｔｉｏｎ）法、標準化モーメント（ｓｔａｎｄａｒｄｉｚｅｄ ｍｏｍｅｎｔ）法、シグモイド関数法、スチューデント化残差（ｓｔｕｄｅｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ）法、及び標準スコア法を挙げることができる。ヒートマップ３２０Ａの値は、スモーク推定のための単一値を０～１の範囲内で取得するように正規化することができる。ある実施形態では、ヒートマップ３２０Ａの正規化に、複数の領域の各領域の割り当てられた重みを使用することができる。別の実施形態では、ヒートマップ３２０Ａの正規化が、ヒートマップ３２０Ａ内の（領域３１６Ａ～３１６Ｆなどの）複数の領域に割り当てられた重みの平均を取得する平均化プロセスをさらに含むことができる。

【0071】

３２４において、スモークのレベルを推定することができる。ある実施形態によれば、回路２０２は、重複領域の排除及びヒートマップ３２０Ａの正規化に基づいてスモークのレベルを推定するように構成することができる。いくつかの実施形態では、物理的空間の第１の画像３０２Ａ内の推定されるスモークのレベルが０～１の範囲内であることができ、０の値は最も低いスモークのレベルを示し、１の値は最も高いスモークのレベルを示す。

【0072】

例えば、ヒートマップ３２０Ａは、第１の領域３１６Ａ、第２の領域３１６Ｂ、第３の領域３１６Ｃ、第４の領域３１６Ｄ、第５の領域３１６Ｅ及び第６の領域３１６Ｆなどの６つの領域を含むことができる。第１の領域３１６Ａは「１」の重みに関連し、第２の領域３１６Ｂは「０．５」の重みに関連し、第３の領域３１６Ｃは「０．１」の重みに関連することができる。第４の領域３１６Ｄは「０．５」の重みに関連し、第５の領域３１６Ｅは「０．１」の重みに関連し、第６の領域３１６Ｆは「０．５」の重みに関連することができる。回路２０２は、６つの領域の割り当てられた重みに基づいて、物理的空間全体のスモークのレベルを０～１で推定することができる。例えば、回路２０２は、正規化プロセス及び平均化プロセスに基づいてスモークのレベルを「０．５５」であると推定することができる。

【0073】

３２６において、推定されるスモークのレベルを閾値レベル（例えば、０．５）以上であると判定することができる。ある実施形態によれば、回路２０２は、推定されるスモークのレベルを閾値レベル以上であると判定するように構成することができる。

【0074】

３２８において、スモークのレベルが閾値レベル以上であるとの判定に基づいて排煙装置１１６を制御することができる。ある実施形態によれば、回路２０２を、推定されるスモークのレベルが閾値レベル以上であるとの判定に基づいて排煙装置１１６を制御するように構成することができる。例えば、推定されるスモークのレベルを、閾値レベルである０．５よりも高い０．５５とすることができる。回路２０２は、物理的空間からスモークを排気してスモークのレベルを閾値レベル未満にするように排煙装置１１６を制御することができる。

【0075】

ある実施形態によれば、回路２０２は、物理的空間内の推定されるスモークのレベルが閾値レベル以上である場合に排煙装置１１６をオンにしてスモークを排気するように構成することができる。回路２０２は、スモークのレベルが０．５５である場合に排煙装置１１６のスイッチをオンすることができる。さらに、回路２０２は、物理的空間内の推定されるスモークのレベルが閾値レベル未満である場合に排煙装置１１６をオフにすることができる。回路２０２は、スモークの排気後に、手術手順のビデオストリームからの（第２の画像１０６Ｂ～第Ｎの画像１０６Ｎなどの）後続フレームを処理してリアルタイムでスモークのレベルを決定することができる。例えば、回路２０２は、物理的空間内のスモークのレベルが（０．５などの）閾値レベルを下回る０．４５に達した場合に排煙装置１１６をオフにすることができる。回路２０２は、外科手術中に（手術部位又は手術室などの）物理的空間内の推定されるスモークのレベルが閾値レベルを上回った場合に排煙装置１１６をオンにするプロセスを繰り返すことができる。

【0076】

ブロック図３００Ｂの１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0077】

図４Ａに、本開示の実施形態による、スモークレベル推定に基づく物理的空間の可視性強化のための例示的な方法を示す。図４Ａの説明は、図１、図２、図３Ａ及び図３Ｂの要素に関連して行う。図４Ａには、本明細書で説明する４０２～４０８の例示的な動作を示すブロック図４００Ａを示す。ブロック図４００Ａに示す例示的な動作は４０２から開始することができ、図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。

【0078】

４０２において、ディスプレイ画面２０６Ａを、（図３Ｂの３２４で説明したような）推定されるスモークのレベルに基づいて（第１の画像１０６Ａ又は第１の画像３０２Ａなどの）第１の画像を表示するように制御することができる。ある実施形態によれば、回路２０２は、第１の画像３０２Ａを表示するようにディスプレイ画面２０６Ａを制御するよう構成することができる。例示的なシナリオでは、回路２０２が、外科手術中に（オンラインモードなどで）画像取り込み装置１１４からリアルタイムで第１の画像３０２Ａを受け取り、外科手術を実行する外科医などの人員への支援のために第１の画像３０２Ａをリアルタイムで表示することができる。第１の画像３０２Ａは、（図３Ｂの３２４で説明したような）推定されるスモークのレベルに基づいて（手術部位又は手術室などの）物理的空間の第１の可視性レベルを示すことができる。例えば、推定されるスモークのレベルは０．７であることができる。いくつかの実施形態では、第１の可視性レベルが０～１の範囲であることができ、「０」は最も低い可視性レベルであり、「１」は最も高い可視性レベルである。なお、推定されるスモークのレベルが高ければ高いほど物理的空間の可視性レベルは低くなることができ、逆もまた同様である。例示的なシナリオでは、推定されるスモークのレベルに基づいて物理的空間の第１の可視性レベルが低くなることができる（例えば、０．４３）。

【0079】

４０４において、第１の可視性レベルが可視性閾値よりも低いと判定することができる。ある実施形態によれば、回路２０２は、第１の可視性レベルが可視性閾値よりも低いと判定することができる。例えば、可視性閾値は０．８であることができる。ある実施形態では、可視性閾値を、外科医及び／又は補助スタッフの選好に基づいてユーザ入力によって設定することができる。別の実施形態では、可視性閾値がニューラルネットワークモデル１０８によって設定され、（手術のタイプなどの）用途又は物理的空間の（照明条件などの）環境条件毎に異なることができる。別の実施形態では、可視性閾値を、異なるレベルのスモークのシミュレーションによる実験、及び手術野の視界が影響を受けない可視性レベルを可視性閾値として選択することに基づいて設定することができる。

【0080】

４０６において、（０．４３などの）第１の可視性レベルが（０．８などの）可視性閾値よりも低い可能性があるとの判定に基づいて、物理的空間からスモークを排気するように排煙装置１１６を制御することができる。回路２０２は、物理的空間からスモークを排気するように排煙装置１１６を制御することができる。回路２０２は、（オンラインモードなどの）外科手術中にリアルタイムで排煙装置１１６を制御することができる。排煙装置１１６の制御の詳細については、例えば図３Ｂに示している。

【0081】

４０８において、ディスプレイ画面２０６Ａを、スモークの排気に基づいて物理的空間の複数の画像１０６のうちの第２の画像（例えば、第２の画像１０６Ｂ）を表示するように制御することができる。ある実施形態によれば、回路２０２は、スモークの排気に基づいて物理的空間の複数の画像１０６のうちの第２の画像１０６Ｂを表示するようにディスプレイ画面２０６Ａを制御するよう構成することができる。第２の画像１０６Ｂは、（０．８などの）可視性閾値以上の第２の可視性レベルを示すことができる。例えば、第２の画像１０６Ｂの第２の可視性レベルは、物理的空間からのスモークの排気に基づいて０．９であることができる。このように、電子装置１０２は、外科手術中に手術部位の可視性をリアルタイムで改善し、外科医及び補助スタッフに健康的な作業環境を提供することができる。

【0082】

ブロック図４００Ａの１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0083】

図４Ｂに、本開示の実施形態による、スモークレベル推定に基づく物理的空間の可視性強化のための例示的な方法を示す。図４Ｂの説明は、図１、図２、図３Ａ、図３Ｂ及び図４Ａの要素に関連して行う。図４Ｂには、本明細書で説明する４１０～４１６の例示的な動作を示すブロック図４００Ｂを示す。ブロック図４００Ｂに示す例示的な動作は４１０から開始することができ、図１の電子装置１０２又は図２の回路２０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。

【0084】

４１０において、ディスプレイ画面２０６Ａを、（図３Ｂの３２４において説明したような）推定されるスモークのレベルに基づいて第１の画像３０２Ａを表示するように制御することができる。ある実施形態によれば、回路２０２は、第１の画像３０２Ａを表示するようにディスプレイ画面２０６Ａを制御するよう構成することができる。例示的なシナリオでは、回路２０２が、画像取り込み装置１１４からオフラインモードで第１の画像３０２Ａを受け取り、外科手術後に第１の画像３０２Ａを表示することができる。第１の画像３０２Ａは、推定されるスモークのレベルに基づいて物理的空間の第１の可視性レベルを示すことができる。４１０における第１の画像３０２Ａの表示は、４０２における第１の画像３０２Ａの表示と同じであることができる。第１の画像３０２Ａの表示の詳細については、例えば図４Ａの４０２に示している。

【0085】

４１２において、第１の可視性レベルが可視性閾値よりも低いと判定することができる。ある実施形態によれば、回路２０２は、第１の可視性レベルが（０．８などの）可視性閾値よりも低いと判定することができる。

【0086】

４１４において、第１の可視性レベルが可視性閾値よりも低い可能性があるとの判定に基づいて、第１の画像３０２Ａに（画像ヘイズ除去などの）ヘイズ除去プロセスを適用することができる。ある実施形態によれば、回路２０２は、第１の可視性レベルが可視性閾値よりも低い可能性があるとの判定に基づいて、第１の画像３０２Ａにヘイズ除去プロセスを適用するように構成することができる。ヘイズ除去プロセスは、第１の画像３０２Ａからスモークの影響を除去し、コントラスト及び顕色が改善された曇りのない画像を提供するために第１の画像３０２Ａに適用することができる。例えば、ヘイズ除去プロセスは、ディープラーニングベースの技術に基づくことができる。ヘイズ除去プロセスは、コンピュータビジョン技術、ディープマルチモデルフュージョンネットワーク（ｄｅｅｐ ｍｕｌｔｉ－ｍｏｄｅｌ ｆｕｓｉｏｎ ｎｅｔｗｏｒｋ）法、高密度接続ピラミッドデヘイジングネットワーク（ｄｅｎｓｅｌｙ ｃｏｎｎｅｃｔｅｄ ｐｙｒａｍｉｄ ｄｅｈａｚｉｎｇ ｎｅｔｗｏｒｋ：ＤＣＰＤＮ）法、フィーチャフュージョンアテンションネットワーク（ｆｅａｔｕｒｅ ｆｕｓｉｏｎ ａｔｔｅｎｔｉｏｎ ｎｅｔｗｏｒｋ：ＦＦＡ－Ｎｅｔ）アーキテクチャ法などに基づくことができる。回路２０２は、例えば外科手術後にオフラインモードでヘイズ除去プロセスを適用することができる。ヘイズ除去プロセスは、画像強調用途のために利用することができる。いくつかの実施形態では、回路２０２が、外科手術中に第１の画像３０２Ａを画像処理するためにオンラインモードでヘイズ除去プロセスを適用することもできる。

【0087】

４１６において、ディスプレイ画面２０６Ａを、ヘイズ除去プロセスの適用に基づいて物理的空間の複数の画像１０６のうちの第２の画像１０６Ｂを表示するように制御することができる。ある実施形態によれば、回路２０２は、ヘイズ除去プロセスの適用に基づいて物理的空間の複数の画像１０６のうちの第２の画像１０６Ｂを表示するようにディスプレイ画面２０６Ａを制御するよう構成することができる。第２の画像１０６Ｂは、可視性閾値以上の第２の可視性レベルを示すことができる。例えば、ヘイズ除去プロセスの適用後には、第２の画像１０６Ｂの第２の可視性レベルが０．９５であることができる。

【0088】

ブロック図４００Ｂの１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0089】

図５は、本開示の実施形態による、スモークレベル推定のための例示的な方法を示すフローチャートである。
図５の説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ及び図４Ｂの要素に関連して行う。図５にはフローチャート５００を示す。フローチャート５００に示す方法は、電子装置１０２又は回路２０２などのいずれかのコンピュータシステムによって実行することができる。方法は、５０２から開始して５０４に進むことができる。

【0090】

５０４において、（手術部位又は手術室などの）物理的空間の複数の画像（複数の画像１０６などの）のうちの（第１の画像１０６Ａなどの）第１の画像を受け取ることができる。ある実施形態によれば、回路２０２は、物理的空間の複数の画像１０６のうちの第１の画像１０６Ａを受け取るように構成することができる。第１の画像１０６Ａを受け取る詳細については、例えば図３Ａにさらに示している。

【0091】

５０６において、受け取られた第１の画像１０６Ａに対する（ニューラルネットワークモデル１０８などの）訓練済みニューラルネットワークモデルの適用に基づいて物理的空間内のスモークを検出することができる。ある実施形態によれば、回路２０２は、受け取られた第１の画像１０６Ａに対する訓練済みニューラルネットワークモデル１０８の適用に基づいて物理的空間内のスモークを検出するように構成することができる。スモークの検出の詳細については、例えば図３Ａにさらに示している。

【0092】

５０８において、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の出力に基づいて、物理的空間の（ヒートマップ１１０などの）ヒートマップを生成することができる。ある実施形態によれば、回路２０２は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の出力に基づいて、物理的空間のヒートマップ１１０を生成するように構成することができる。ヒートマップ１１０の生成の詳細については、例えば図３Ａにさらに示している。

【0093】

５１０において、生成されたヒートマップ１１０の正規化に基づいて物理的空間内のスモークのレベルを推定することができる。ある実施形態によれば、回路２０２は、生成されたヒートマップ１１０の正規化に基づいて物理的空間内のスモークのレベルを推定するように構成することができる。スモークのレベルの推定の詳細については、例えば図３Ｂにさらに示している。制御は終了に進むことができる。

【0094】

フローチャート５００は、５０２、５０４、５０６、５０８及び５１０などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、このような離散的動作を、特定の実施形態に応じてさらなる動作にさらに分割し、より少ない動作に組み合わせ、又は削除することもできる。

【0095】

本開示の様々な実施形態は、（電子装置４０２などの）機械及び／又はコンピュータが実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。これらの命令は、物理的空間の（複数の画像１０６などの）複数の画像のうちの（第１の画像１０６Ａなどの）第１の画像を受け取ることを含むことができる動作を機械及び／又はコンピュータに実行させることができる。動作は、受け取った第１の画像１０６Ａに対する（ニューラルネットワークモデル１０８などの）訓練済みニューラルネットワークモデルの適用に基づいて物理的空間内のスモークを検出することをさらに含むことができる。動作は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の出力に基づいて、物理的空間の（ヒートマップ１１０などの）ヒートマップを生成することをさらに含むことができる。動作は、生成されたヒートマップ１１０の正規化に基づいて物理的空間内のスモークのレベルを推定することをさらに含むことができる。

【0096】

本開示の例示的な態様は、（回路２０２などの）回路を含む（図１の電子装置１０２などの）電子装置を提供することができる。回路２０２は、物理的空間の（複数の画像１０６などの）複数の画像のうちの（第１の画像１０６Ａなどの）第１の画像を受け取るように構成することができる。回路２０２は、受け取った第１の画像１０６Ａに対する（ニューラルネットワークモデル１０８などの）訓練済みニューラルネットワークモデルの適用に基づいて物理的空間内のスモークを検出するようにさらに構成することができる。回路２０２は、物理的空間内の検出されたスモーク、及びスモークの検出に対応する訓練済みニューラルネットワークモデル１０８の出力に基づいて、物理的空間の（ヒートマップ１１０などの）ヒートマップを生成するようにさらに構成することができる。回路２０２は、生成されたヒートマップ１１０の正規化に基づいて物理的空間内のスモークのレベルを推定するようにさらに構成することができる。

【0097】

ある実施形態によれば、回路２０２は、受け取られた第１の画像１０６Ａの複数の画素の各画素サブセットに対応する信頼スコアを訓練済みニューラルネットワークモデル１０８の出力として取得するようにさらに構成することができる。信頼スコアは、受け取られた第１の画像１０６Ａの各画素サブセットに対応するスモークの検出に関連することができる。回路２０２は、各画素サブセットの信頼スコアに基づいてヒートマップ１１０をさらに生成することができる。

【0098】

ある実施形態によれば、回路２０２は、訓練済みニューラルネットワークモデル１０８に基づいて、受け取られた第１の画像１０６Ａの各画素サブセットに対応するスモークをスモークの強度の複数のカテゴリのうちの特定のカテゴリに分類するようにさらに構成することができる。分類は、各画素サブセットに対応する信頼スコアに基づくことができる。回路２０２は、スモークの分類に基づいてヒートマップ１１０に重みをさらに割り当てることができる。

【0099】

ある実施形態によれば、回路２０２は、割り当てられた重みに基づいて、それぞれが複数のカテゴリのうちの特定のカテゴリに対応する（第１の領域３１６Ａ、第２の領域３１６Ｂ、．．．第６の領域３１６Ｆなどの）複数の領域を決定するようにさらに構成することができる。複数の領域の各領域は、特定のカテゴリに分類された画素サブセットを含むことができる。回路２０２は、（第１の領域３１６Ａ、第２の領域３１６Ｂ、．．．第６の領域３１６Ｆなどの）決定された複数の領域間の（第１の重複領域３１８Ａ、第２の重複領域３１８Ｂ、第３の重複領域３１８Ｃなどの）１又は２以上の重複領域をさらに決定することができる。さらに、回路２０２は、ヒートマップ１１０から１又は２以上の重複領域を排除することができる。回路２０２は、（第１の重複領域３１８Ａ、第２の重複領域３１８Ｂ、第３の重複領域３１８Ｃなどの）１又は２以上の重複領域の除去に基づいて物理的空間内のスモークのレベルをさらに推定することができる。

【0100】

ある実施形態によれば、回路２０２は、ユーザ入力を受け取るようにさらに構成することができる。ユーザ入力は、複数のカテゴリのうちのユーザ定義カテゴリのスモークの検出に対応することができる。

【0101】

ある実施形態によれば、物理的空間の第１の画像内の推定されるスモークのレベルが０～１の範囲内であることができる。

【0102】

ある実施形態によれば、回路２０２は、複数の画像１０６のうちの第１の画像１０６Ａを、画像センサからリアルタイムで、電子装置１０２のメモリから、及び／又は（サーバ１０４などの）サーバから、のうちの少なくとも１つによって受け取るように構成することができる。

【0103】

ある実施形態によれば、回路２０２は、推定されたスモークのレベルに基づいて物理的空間からスモークを排気するように（排煙装置１１６などの）排煙装置を制御するようさらに構成することができる。

【0104】

ある実施形態によれば、回路２０２は、物理的空間内の推定されるスモークのレベルが閾値レベル以上である場合に排煙装置１１６をオンにしてスモークを排気するようにさらに構成することができる。回路２０２は、物理的空間内の推定されるスモークのレベルが閾値レベル未満である場合に排煙装置１１６をオフにするようにさらに構成することができる。ある実施形態によれば、閾値レベルは０．５であることができる。

【0105】

ある実施形態によれば、回路２０２は、推定されるスモークのレベルに基づいて物理的空間の第１の可視性レベルを示す第１の画像１０６Ａを表示するように（ディスプレイ画面２０６Ａなどの）ディスプレイ画面を制御するようさらに構成することができる。回路２０２は、第１の可視性レベルが可視性閾値よりも低い場合に物理的空間からスモークを排気するように排煙装置１１６をさらに制御することができる。回路２０２は、スモークの排気に基づいて物理的空間の複数の画像１０６のうちの（第２の画像１０６Ｂなどの）第２の画像を表示するようにディスプレイ画面２０６Ａをさらに制御することができる。第２の画像１０６Ｂは、可視性閾値以上の第２の可視性レベルを示すことができる。

【0106】

ある実施形態によれば、回路２０２は、推定されるスモークのレベルに基づいて物理的空間の第１の可視性レベルを示す第１の画像１０６Ａを表示するようにディスプレイ画面２０６Ａを制御するようさらに構成することができる。回路２０２は、第１の可視性レベルが可視性閾値よりも低い場合に第１の画像１０６Ａにヘイズ除去プロセスをさらに適用することができる。回路２０２は、ヘイズ除去プロセスの適用に基づいて物理的空間の複数の画像１０６のうちの第２の画像１０６Ｂを表示するようにディスプレイ画面２０６Ａをさらに制御することができる。第２の画像１０６Ｂは、可視性閾値以上の第２の可視性レベルを示すことができる。

【0107】

ある実施形態によれば、回路２０２は、受け取られた第１の画像１０６Ａ内の１又は２以上の画素サブセットに関連する１又は２以上の特徴に基づいてニューラルネットワークモデルを訓練して訓練済みニューラルネットワークモデル１０８を取得するようにさらに構成することができる。ニューラルネットワークモデル１０８は、スモークを検出してヒートマップ１１０を生成するように訓練することができる。１又は２以上の特徴は、１又は２以上の画素サブセットにおけるスモークの強度、１又は２以上の画素サブセットにおけるスモークの形状、或いは１又は２以上の画素サブセットにおけるスモークの色のうちの少なくとも１つを含む。

【0108】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0109】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

【0110】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【符号の説明】

【0111】

１００ ネットワーク環境
１０２ 電子装置
１０４ サーバ
１０６ 複数の画像
１０６Ａ 第１の画像
１０６Ｂ 第２の画像
１０６Ｎ 第Ｎの画像
１０８ ニューラルネットワークモデル
１１０ ヒートマップ
１１２ 通信ネットワーク
１１４ 画像取り込み装置
１１６ 排煙装置

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【国際調査報告】