特表 2024-508314 内視鏡手順での散心抑制のための画像処理の方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-26

(54)【発明の名称】内視鏡手順での散心抑制のための画像処理の方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240216BHJP

【ＦＩ】

A61B1/045 610

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023553251

(86)(22)【出願日】2022-03-02

(85)【翻訳文提出日】2023-10-25

(86)【国際出願番号】 US2022018565

(87)【国際公開番号】W WO2022187393

(87)【国際公開日】2022-09-09

(31)【優先権主張番号】63/155,976

(32)【優先日】2021-03-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506192652

【氏名又は名称】ボストン サイエンティフィック サイムド，インコーポレイテッド

【氏名又は名称原語表記】ＢＯＳＴＯＮ ＳＣＩＥＮＴＩＦＩＣ ＳＣＩＭＥＤ，ＩＮＣ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(72)【発明者】

【氏名】チェン ロンクアン

(72)【発明者】

【氏名】メガンク ジェフリー エイ

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA15

4C161CC06

4C161DD03

4C161LL02

4C161TT01

4C161TT02

(57)【要約】

複数の画像を組み合わせることに関連するシステム及び方法を開示する。内視鏡によって取得された複数の画像を組み合わせる例示的方法は、第１の複数のピクセルから形成された第１の入力画像を取得する段階を含み、複数のピクセルのうちの第１のピクセルは、第１の値を有する第１の特性を含む。本方法はまた、第２の複数のピクセルから形成された第２の入力画像を取得する段階を含み、第２の複数のピクセルのうちの第２のピクセルは、第２の値を有する第２の特性を含む。本方法はまた、第１の値を第２の値から減算して運動メトリックを発生させる段階と運動メトリックを用いて第２の入力画像の重み付きメトリックマップを発生させる段階とを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

内視鏡から取得された複数の画像から融合画像を発生させるためのシステムであって、
前記内視鏡に作動的に接続されたプロセッサと、
画像を融合する方法を実行するように構成されたコードを備える非一時的コンピュータ可読ストレージ媒体と、
を備え、
前記方法は、
前記内視鏡から、第１の複数のピクセルから形成された第１の入力画像を取得する段階であって、該複数のピクセルのうちの第１のピクセルが、第１の値を有する第１の特性を含む、前記第１の入力画像を取得する段階と、
前記内視鏡から、第２の複数のピクセルから形成された第２の入力画像を取得する段階であって、該第２の複数のピクセルのうちの第２のピクセルが、第２の値を有する第２の特性を含む、前記第２の入力画像を取得する段階と、
前記第１の値を前記第２の値から減算して前記第２のピクセルに関する運動メトリックを発生させる段階と、
前記運動メトリックを用いて重み付きメトリックマップを発生させる段階と、
を備えることを特徴とするシステム、

【請求項2】

複数の画像を組み合わせる方法であって、
第１の複数のピクセルから形成された第１の入力画像を取得する段階であって、該複数のピクセルのうちの第１のピクセルが、第１の値を有する第１の特性を含む、前記第１の入力画像を取得する段階と、
第２の複数のピクセルから形成された第２の入力画像を取得する段階であって、該第２の複数のピクセルのうちの第２のピクセルが、第２の値を有する第２の特性を含む、前記第２の入力画像を取得する段階と、
前記第１の値を前記第２の値から減算して運動メトリックを発生させる段階と、
前記運動メトリックを用いて前記第２の入力画像の重み付きメトリックマップを発生させる段階と、
を備えることを特徴とする方法。

【請求項3】

前記第１の入力画像を第１のグレースケール画像に変換する段階と、
前記第２の入力画像を第２のグレースケール画像に変換する段階と、を更に備える、請求項２に記載の方法。

【請求項4】

前記第１の特性は、第１のグレースケール強度値であり、
前記第２の特性は、第２のグレースケール強度値である、請求項２又は３に記載の方法。

【請求項5】

前記第１の入力画像は、第１の時点で形成され、
前記第２の入力画像は、前記第１の時点の後に発生する第２の時点で形成される、請求項２～４のいずれか１項に記載の方法。

【請求項6】

前記第１の画像及び前記第２の画像は、デジタルカメラによって取り込まれ、
前記デジタルカメラは、前記第１の画像及び前記第２の画像を取り込む時に同じ場所に位置決めされる、請求項２～５のいずれか１項に記載の方法。

【請求項7】

前記第１の複数のピクセルは、第１の座標グリッドに配置され、前記第１のピクセルは、前記第１の座標グリッドの第１の座標場所に位置付けられ、
前記第２の複数のピクセルが、第２の座標グリッドに配置され、前記第２のピクセルは、前記第２の座標グリッドの第２の座標場所に位置付けられ、
前記第１の座標場所は、前記第２の座標場所と同じそれぞれの場所にある、請求項２～６のいずれか１項に記載の方法。

【請求項8】

前記運動メトリックを発生させる段階が、べき関数を用いて該運動メトリックを重み付けする段階を更に備える、請求項２～７のいずれか１項に記載の方法。

【請求項9】

コントラストメトリック、飽和メトリック、及び露出メトリックを発生させる段階を更に備える、請求項２～８のいずれか１項に記載の方法。

【請求項10】

前記コントラストメトリックと、前記飽和メトリックと、前記露出メトリックと、前記運動メトリックとを互いに乗算して前記重み付きメトリックマップを発生させる段階を更に備える、請求項９に記載の方法。

【請求項11】

前記重み付きメトリックマップを用いて前記第１の画像及び前記第２の画像から融合画像を生成する段階を更に備える、請求項２～１０のいずれか１項に記載の方法。

【請求項12】

前記重み付きメトリックマップを用いて前記第１の画像及び前記第２の画像から融合画像を生成する段階が、該重み付きメトリックマップを正規化する段階を更に含む、請求項１１に記載の方法。

【請求項13】

複数の画像を組み合わせる方法であって、
画像取り込みデバイスを用いて第１の時点で第１の画像を取得し、かつ第２の時点で第２の画像を取得する段階であって、該画像取り込みデバイスが、該第１の時点で該第１の画像及び該第２の時点で該第２の画像を取り込む時に同じ場所に位置決めされ、該第２の時点が、該第１の時点の後に発生する、前記取得する段階と、
前記第１の入力画像を第１のグレースケール画像に変換する段階と、
前記第２の入力画像を第２のグレースケール画像に変換する段階と、
前記第１のグレースケール画像及び前記第２のグレースケール画像の両方のピクセルの特性に基づいて運動メトリックを発生させる段階であって、該第１のグレースケール画像の該ピクセルが、該第２のグレースケール画像の該ピクセルと同じ座標場所をそれらのそれぞれの画像内で有する、前記発生させる段階と、
前記運動メトリックを用いて重み付きメトリックマップを発生させる段階と、
を備えることを特徴とする方法。

【請求項14】

前記第１の画像の前記ピクセルの前記特性は、第１のグレースケール強度値であり、
前記第２の画像の前記ピクセルの前記特性は、第２のグレースケール強度値である、請求項１３に記載の方法。

【請求項15】

前記運動メトリックを発生させる段階が、べき関数を用いて該運動メトリックを重み付けする段階を更に備える、請求項１３～１４のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願への相互参照〕
この出願は、本明細書に引用によってその開示が組み込まれている２０２１年３月３日出願の米国仮特許出願第６３／１５５，９７６号の利益及びそれに対する優先権を主張するものである。

【0002】

本開示は、画像処理技術に関連し、より具体的には、医療手順中に取り込まれた複数の画像を融合することに関連し、それによって複数の画像を融合することは、様々なコントラストレベル、飽和レベル、露出レベル、及び運動散心を有する様々な重み付き画像の選択部分を併合することを含む。

【背景技術】

【0003】

人体の内臓及び体内システムを観察及び撮像する上で用いるための様々な医療デバイス技術が医療専門家に利用可能である。例えば、多くの医学分野では、医師は、検査、診断の目的で、及び治療中に人体の一部を体内で観察するために、デジタルカメラが装備された医療内視鏡を用いる場合がある。例えば、医師は、砕石手順中に腎臓結石の治療を観察するために内視鏡に結合されたデジタルカメラを利用する場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、医療手順の何らかの部分中に、カメラによって取り込まれる画像は、様々な複雑な露出シーケンス及び様々な露出条件に遭遇する場合がある。例えば、砕石手順中に、医師は、腎臓結石を粉砕するために用いられるレーザファイバに隣接するように位置決めされたデジタルカメラによって取り込まれた生ビデオストリームを観察する場合がある。手順中に、医師の腎臓結石観察は、レーザの明滅及び／又は高速移動する腎臓結石粒子に起因して不明瞭になる場合がある。具体的には、カメラによって取り込まれる生画像は、露出過剰及び／又は露出不足の領域を含む場合がある。更に、露出過剰及び／又は露出不足の領域を含む画像の部分は、光輝領域及び陰影領域の詳細を失う場合があり、かつハロー効果のような他の望ましくない効果を示す場合もある。従って、カメラによって収集された画像を強化し、それによって医療手順中に医師が観察する視野の明瞭性及び正確さを改善する画像処理アルゴリズムを開発することは望ましいと考えられる。多露出画像を強化するために画像融合を利用する画像処理アルゴリズムを開示する。

【課題を解決するための手段】

【0005】

この開示は、医療デバイスのための設計、材料、製造方法、及び使用代替案を提供する。複数の画像を組み合わせる例示的方法は、第１の複数のピクセルから形成された第１の入力画像を取得する段階を含み、複数のピクセルのうちの第１のピクセルは、第１の値を有する第１の特性を含む。本方法はまた、第２の複数のピクセルから形成された第２の入力画像を取得する段階を含み、第２の複数のピクセルのうちの第２のピクセルは、第２の値を有する第２の特性を含む。本方法はまた、運動メトリックを発生させるために第１の値を第２の値から減算する段階と、運動メトリックを用いて第２の入力画像の重み付きメトリックマップを発生させる段階とを含む。

【0006】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の入力画像を第１のグレースケール画像に変換する段階と、第２の入力画像を第２のグレースケール画像に変換する段階とを更に備える。

【0007】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の特性は、第１のグレースケール強度値であり、第２の特性は、第２のグレースケール強度値である。

【0008】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の入力画像は、第１の時点で形成され、第２の入力画像は、第１の時点の後に発生する第２の時点で形成される。

【0009】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の画像及び第２の画像は、異なる露出を有する。

【0010】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の画像及び第２の画像は、デジタルカメラによって取り込まれ、デジタルカメラは、それが第１の画像及び第２の画像を取り込む時に同じ場所に位置決めされる。

【0011】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の複数のピクセルは、第１の座標グリッドに配置され、第１のピクセルは、第１の座標グリッドの第１の座標場所に位置付けられ、第２の複数のピクセルは、第２の座標グリッドに配置され、第２のピクセルは、第２の座標グリッドの第２の座標場所に位置付けられ、第１の座標場所は、第２の座標場所と同じそれぞれの場所にある。

【0012】

上述の実施形態のいずれかの代わりに又はそれに加えて、運動メトリックを発生させる段階は、べき関数を用いて運動メトリックを重み付けする段階を更に備える。

【0013】

上述の実施形態のいずれかの代わりに又はそれに加えて、コントラストメトリック、飽和メトリック、及び露出メトリックを発生させる段階を更に備える。

【0014】

上述の実施形態のいずれかの代わりに又はそれに加えて、コントラストメトリックと、飽和メトリックと、露出メトリックと、運動メトリックとを互いに乗算して重み付きメトリックマップを発生させる段階を更に備える。

【0015】

上述の実施形態のいずれかの代わりに又はそれに加えて、重み付きメトリックマップを用いて第１の画像及び第２の画像から融合画像を生成する段階を更に備える。

【0016】

上述の実施形態のいずれかの代わりに又はそれに加えて、重み付きメトリックマップを用いて第１の画像及び第２の画像から融合画像を生成する段階は、重み付きメトリックマップを正規化する段階を更に含む。

【0017】

複数の画像を組み合わせる別の方法は、内視鏡の画像取り込みデバイスを用いて第１の時点で第１の画像を取得し、かつ第２の時点で第２の画像を取得する段階を含み、画像取り込みデバイスは、それが第１の時点で第１の画像及び第２の時点で第２の画像を取り込む時に同じ場所に位置決めされ、第２の時点は、第１の時点の後に発生する。本方法はまた、第１の入力画像を第１のグレースケール画像に変換する段階と、第２の入力画像を第２のグレースケール画像に変換する段階と、第１のグレースケール画像及び第２のグレースケール画像の両方のピクセルの特性に基づいて運動メトリックを発生させる段階とを含み、第１のグレースケール画像のピクセルは、第２のグレースケール画像のピクセルと同じ座標場所をそれらのそれぞれの画像内で有する。本方法はまた、運動メトリックを用いて重み付きメトリックマップを発生させる段階を含む。

【0018】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の画像のピクセルの特性は、第１のグレースケール強度値であり、第２の画像のピクセルの特性は、第２のグレースケール強度値である。

【0019】

上述の実施形態のいずれかの代わりに又はそれに加えて、運動メトリックを発生させる段階は、べき関数を用いて運動メトリックを重み付けする段階を更に備える。

【0020】

上述の実施形態のいずれかの代わりに又はそれに加えて、第２の画像のピクセルの特性に基づいてコントラストメトリック、飽和メトリック、及び露出メトリックを発生させる段階を更に備える。

【0021】

上述の実施形態のいずれかの代わりに又はそれに加えて、コントラストメトリックと、飽和メトリックと、露出メトリックと、運動メトリックとを互いに乗算して重み付きメトリックマップを発生させる段階を更に備える。

【0022】

上述の実施形態のいずれかの代わりに又はそれに加えて、第１の画像及び第２の画像にわたって重み付きメトリックマップを正規化する段階を更に備える。

【0023】

上述の実施形態のいずれかの代わりに又はそれに加えて、正規化された重み付きメトリックマップを用いて第１の画像及び第２の画像から融合画像を生成する段階を更に備える。

【0024】

内視鏡から取得された複数の画像から融合画像を発生させるための例示的システムは、内視鏡に作動可能に接続されたプロセッサと、画像を融合する方法を実行するように構成されたコードを備える非一時的コンピュータ可読ストレージ媒体とを含み、本方法は、第１の複数のピクセルから形成された第１の入力画像を内視鏡から取得する段階を備え、複数のピクセルのうちの第１のピクセルは、第１の値を有する第１の特性を含む。本方法はまた、第２の複数のピクセルから形成された第２の入力画像を内視鏡から取得する段階を含み、第２の複数のピクセルのうちの第２のピクセルは、第２の値を有する第２の特性を含む。本方法はまた、第１の値を第２の値から減算して第２のピクセルに関する運動メトリックを発生させる段階を含む。本方法はまた、運動メトリックを用いて重み付きメトリックマップを発生させる段階を含む。

【0025】

一部の実施形態の上記の概要は、各開示した実施形態又は本開示のどの実施をも説明することを意図していない。図面及び以下に続く「発明を実施するための形態」は、これらの実施形態をより具体的に例示するものである。

【0026】

本開示は、以下に続く詳細説明を添付図面と関連付けて考察することでより完全に理解することができる。

【図面の簡単な説明】

【0027】

【図1】例示的内視鏡システムの概略図である。

【図2】時間間隔にわたってデジタルカメラによって収集された画像シーケンスを例示する図である。

【図3】図２に例示している画像集合の第１の画像及び第２の画像を例示する図である。

【図4】複数の生画像から融合画像を発生させるために重み付き画像マップを用いるための画像処理アルゴリズムのブロック図である。

【図5】複数の生画像から融合画像を発生させるために重み付き画像マップを用いるための画像処理アルゴリズムのブロック図である。

【図6】画像に関する重み付き運動メトリックマップを発生させるための画像処理アルゴリズムのブロック図である。

【0028】

本開示は、様々な修正及び代替形態の余地があるが、そのうちの特定のものを図面に一例として示し、詳細に説明することにする。しかし、説明する特定の実施形態に本開示を限定することを意図していないことを理解すべきである。限定ではなく、本開示がその創意及び範囲の中に収まる全ての修正物、均等物、及び代替物を網羅することを意図している。

【発明を実施するための形態】

【0029】

以下に定義する用語に関して、特許請求の範囲及び本明細書の他の箇所で異なる定義を提示しない限り、以下の定義を適用するものとする。

【0030】

本明細書では、明示的に示すか否かに関わらず、全ての数値が用語「約」によって修飾されたものであると仮定する。用語「約」は、一般的に、当業者が列挙する値と等価（例えば同じ機能又は結果を有する）と見なすと考えられる数字範囲を意味する。多くの事例では、用語「約」は、最も近い有効数字に四捨五入された数字を含むことができる。

【0031】

端点による数字範囲の列挙は、当該範囲内にある全ての数字を含む（例えば、１から５までは、１、１．５、２、２．７５、３、３．８０、４、及び５を含む）。

【0032】

本明細書及び特許請求の範囲で使用する場合に、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、状況が他に明確に定めない限り、単数の指示物と複数の指示物とを含む。本明細書及び特許請求の範囲で使用する場合に、「又は」という用語は、状況が他に明確に定めない限り、一般的に「及び／又は」を含む意味に使用する。

【0033】

本明細書での「実施形態」、「一部の実施形態」、「他の実施形態」等への参照は、説明する実施形態が１又は２以上の特定の特徴、構造、又は特性を含むことができることを示すことに注意されたい。しかし、そのような列挙は、全ての実施形態が特定の特徴、構造、及び／又は特性を含むことを必ずしも意味するわけではない。これに加えて、特定の特徴、構造、及び／又は特性を１つの実施形態に関連して説明する時に、明示的に説明するか否かに関わらず、反意を明述しない限り、そのような特徴、構造、及び／又は特性を他の実施形態に関連して用いることもできることを理解すべきである。

【0034】

以下に続く詳細説明は、様々な図面で同様の要素に同じ番号を振った図面を参照しながら読解されたい。必ずしも正確な縮尺のものとは限らないこれらの図面は、例示的実施形態を示しており、本開示の範囲を限定することを意図したものではない。

【0035】

本明細書では、医療手順中に医療デバイス（例えば内視鏡）によって収集された画像に対して実行される画像処理方法を説明する。更に、本明細書で説明する画像処理方法は、画像融合方法を含むことができる。所与の画像の望ましい部分（例えば、エッジ、テクスチャ、飽和色のような）を、画像の望ましくない部分（例えば、移動粒子からの歪像又はアーチファクト、レーザの明滅、ハロー効果のような）を最小限に抑えながら維持する改善された画像融合法に関する様々な実施形態を開示する。特に、様々な実施形態は、多露出画像の望ましい部分を選択する段階と、所与の画像の全般的な解像度を改善する目的で重み付きメトリックマップを発生させる段階とに関する。例えば、露出過剰領域、露出不足領域、及び／又は移動粒子によって生み出されるぼけ領域を僅かな劣化しか伴わずに描写する融合画像を発生させることができる。

【0036】

下記では、多露出画像を組み合わせた結果として融合画像を発生させるためのシステムの説明を示す。図１は、本開示の他の態様と併用することができる例示的内視鏡システムを示している。一部の実施形態では、内視鏡システムは、内視鏡１０を含むことができる。内視鏡１０は、例えば、尿管鏡検査、砕石のような特定の内視鏡手順に専用のものとすることができ、又は多種多様な手順のための汎用デバイスとすることができる。一部の実施形態では、内視鏡１０は、ハンドル１２と、そこから遠位に延びる細長シャフト１４とを含むことができ、ハンドル１２は、細長シャフト１４内を延びるレーザファイバ１６を受け入れるように構成されたポートを含む。図１に例示しているように、レーザファイバ１６は、コネクタ２０（例えばＹ字コネクタ）又はハンドル１２の遠位領域に沿って位置決めされた他のポートを通して細長シャフト１４の作動チャネルの中に通すことができる。レーザファイバ１６は、レーザエネルギを体内のターゲット部位に送出することができることを認めることができる。例えば、砕石手順中に、レーザファイバ１６は、腎臓結石を粉砕するためのレーザエネルギを送出することができる。

【0037】

更に、図１に示している内視鏡システムは、細長シャフト１４の遠位端に位置決めされたカメラ及び／又はレンズを含むことができる。細長シャフト及び／又はカメラ／レンズは、患者の解剖学的構造を観察するための１又は２以上の方向の偏向及び／又は自在屈曲を有することができる。一部の実施形態では、内視鏡１０は尿管鏡とすることができる。しかし、尿管鏡に加えて又はその代わりに、異なる内視鏡又は関連のシステムのような他の医療デバイスを用いることができる。更に、一部の実施形態では、内視鏡１０は、流体管理システムから治療部位まで細長シャフト１４を通して流体を送出するように構成することができる。細長シャフト１４は、流体流れ及び／又はその他の医療デバイスをその中に通して受け入れるための１又は２以上の作動管腔を含むことができる。一部の実施形態では、内視鏡１０は、１又は２以上の供給ラインを通して流体管理システムに接続することができる。

【0038】

一部の実施形態では、内視鏡１０のハンドル１２は、内視鏡手順を容易にするように構成された複数の要素を含むことができる。一部の実施形態では、ケーブル１８がハンドル１２から延びることができ、電力を供給するために、内視鏡データを分析するために、内視鏡介入を制御するために、又は他の機能を実施するために、例えば、コンピュータシステム、コンソール、マイクロコントローラのような電子デバイス（描画していない）への取り付けに対して構成される。一部の実施形態では、ケーブル１８を接続した電子デバイスは、データを認識し、それを他の内視鏡付属品と交換するための機能を有することができる。

【0039】

一部の実施形態では、内視鏡の遠位端にあるカメラからケーブル１８を通して画像信号を送信し、モニタ上に表示することができる。例えば、上記で説明したように、図１に示している内視鏡システムは、コンピュータワークステーションの表示画面上でユーザに対して視覚フィードを提示するための少なくとも１つのカメラを含むことができる。明示的に示してはいないが、細長シャフト１４は、データ送信ケーブル（例えば光ファイバケーブル、光ケーブル、コネクタ、ワイヤのような）がその中で延びることができる１又は２以上の作動管腔を含むことができることを認めることができる。データ送信ケーブルは、上記で説明したカメラに接続することができる。更に、データ送信ケーブルは、ケーブル１８に結合することができる。更に、ケーブル１８は、コンピュータ処理システム及び表示画面に結合することができる。カメラによって収集された画像は、細長シャフト１４の中に位置決めされたデータ送信ケーブルを通して送信することができ、それによって画像データは、続いてケーブル１８を通り抜けてコンピュータ処理ワークステーションに達する。

【0040】

一部の実施形態では、ワークステーションは、特徴部の中でもとりわけ、タッチパネルコンピュータと、有線接続部（例えばケーブル１８）を受け入れるためのインターフェースボックスと、カートと、電源とを含むことができる。一部の実施形態では、インターフェースボックスは、流体管理システムのコントローラとの有線又は無線通信接続部を有するように構成することができる。タッチパネルコンピュータは、少なくとも表示画面と画像プロセッサを含むことができ、一部の実施形態では、ユーザインターフェースを含む及び／又は定義することができる。一部の実施形態では、ワークステーションは、多用途構成要素（例えば１よりも多い手順に用いられる）とすることができ、それに対して内視鏡１０は、単一用途デバイスとすることができるが、このことは必要とされるわけではない。一部の実施形態では、ワークステーションを除外することができ、内視鏡１０は、流体管理システムのコントローラに電子的に直接に結合することができる。

【0041】

図２は、時間間隔にわたってカメラによって順次取り込まれた複数の画像１００を例示している。画像１００は、医療手順中に取り込まれた画像シーケンスを表すことができることを認めることができる。例えば、画像１００は、医師がレーザファイバを利用して腎臓結石を治療する砕石手順中に取り込まれた画像シーケンスを表すことができる。画像１００は、例えば、医師が手順を実時間で視覚化することを可能にするディスプレイを含むコンピュータワークステーション、ラップトップ、タブレット、又はその他のコンピューティングプラットフォームを含むことができる画像処理システムによって収集することができることを更に認めることができる。画像１００の実時間収集中に、画像処理システムは、所与の画像をそれに続いて取得された１つ又は複数の画像の融合に基づいて処理及び／又は強化するように設計することができる。強化された画像は、続いて手順中に医師によって視覚化することができる。

【0042】

上記で解説したように、図２に例示している画像１００は、医療手順中（例えば砕石手順中）に内視鏡デバイス（すなわち内視鏡）を用いて取り込まれた画像を含むことができることを認めることができる。更に、図２に例示している画像１００は、経時的に取り込まれた画像シーケンス１００を表すことができることを認めることができる。例えば、画像１１２は、時点Ｔ₁で取り込まれた画像を表すことができ、それに対して画像１１４は、時点Ｔ₂で取り込まれた画像を表すことができ、従って、時点Ｔ₂で取り込まれた画像１１４は、時点Ｔ₁で取り込まれた画像１１２の後に発生する。更に、画像１１６は、時点Ｔ₃で取り込まれた画像を表すことができ、従って、時点Ｔ₃で取り込まれた画像１１６は、時点Ｔ₂で取り込まれた画像１１４の後に発生する。このシーケンスは、時点Ｔ₄、Ｔ₅、Ｔ₆でそれぞれ取得された画像１１８、１２０、及び１２２に関して進行することができ、この場合、時点Ｔ₄は時点Ｔ₅の後に発生し、時点Ｔ₅は時点Ｔ₄の後に発生し、時点Ｔ₆は時点Ｔ₅の後に発生する。

【0043】

画像１００は、固定位置を有する内視鏡デバイスのカメラによって生事象（ライブイベント）中に取り込むことができることを更に認めることができる。例えば、画像１００は、固定位置を有するデジタルカメラによって医療手順中に取り込むことができる。従って、手順中にカメラの視野は一定に留まるが、手順中に生成される画像は、画像によって取り込まれる手順の動的性質に起因して変化する可能性があることを更に認めることができる。簡単な一例として、画像１１２は、レーザファイバが腎臓結石を粉砕するためのレーザエネルギを放出する直前の時点で取得された画像を表すことができる。更に、画像１１４は、レーザファイバが腎臓結石を粉砕するためのレーザエネルギを放出した直後の時点で取得された画像を表すことができる。レーザは高輝度の明滅光を放出するので、レーザが光を放出する直前に取り込まれた画像１１２は、画像１１４と比較して飽和度、コントラスト、露出等に関して非常に異なる可能性があることを認めることができる。特に、画像１１４は、レーザ光の突然の放出に起因して画像１１２と比較して望ましくない特性を含む可能性がある。それに加えて、レーザが腎臓にエネルギを与えた後に、腎臓からの様々な粒子がカメラの視野を通って素早く移動する可能性があることを更に認めることができる。これらの高速移動粒子は、経時的な一連の画像を通して望ましくない画像特徴（例えば、露出過剰、露出不足のような）を有する局所領域として顕在化する可能性がある。

【0044】

デジタル画像（図１に示している複数の画像１００のうちのいずれか１つのような）は、２次元グリッドに配置されて正方形を用いて表すピクセル（又は個別画素）の集合と表すことができることを認めることができる。更に、画像を構成する各個別ピクセルは、画像内の最小情報項目として定義することができる。各ピクセルは、原画像の小さいサンプルであり、一般的にサンプルが多いほど原物のより正確な表現が与えられる。

【0045】

例えば、図３は、２次元グリッドに配置されたピクセル集合として表された図２に記載の例示的なデジタル画像１１２及びデジタル画像１１４を示している。簡略化の目的で、画像１１２及び画像１１４の各々のグリッドは、１８ｘ１２にサイズ決定される。言い換えれば、画像１１２／１１４に関する２次元グリッドは、垂直に延びる１８個のピクセル列と水平に延びる１２個のピクセル行とを含む。図３に表している画像のサイズは例示的であることを認めることができる。デジタル画像に関するサイズ（ピクセル総数）は様々とすることができる。例えば、デジタル画像に関する共通サイズは、１０８０ピクセル列×７２０ピクセル行（例えば１０８０×７２０のフレーム寸法）を有する画像を含むことができる。

【0046】

個々のピクセル場所は、２次元画像グリッド上の座標（Ｘ，Ｙ）によって識別することができることを認めることができる。更に、所与の画像の中で隣接するピクセルの比較は、画像処理（例えば画像融合）を実施する時にアルゴリズムが所与の画像のうちのどの部分を維持しようとする可能性があるかについての望ましい情報を与えることができる。例えば、図３は、画像の右下コーナにあるピクセル場所（１６，１０）を概ね中心とする画像特徴部１７０を例示している。特徴部１７０を構成するピクセルは、特徴部１７０を囲むピクセルと比較して実質的に暗いことを認めることができる。従って、特徴部１７０を表すこれらのピクセルは、特徴部１７０を囲むピクセルと比較して高いコントラスト値を有することができる。この高コントラストは、画像の貴重な情報の例とすることができる。他の貴重な情報は、高い飽和、エッジ、及びテクスチャを含むことができる。

【0047】

更に、所与の座標にあるピクセルによって表される情報は、複数の画像にわたって比較することができることを更に認めることができる。複数の画像にわたる同じ座標のピクセルの比較は、画像処理（例えば画像融合）を実施する時に画像処理アルゴリズムが廃棄しようとする可能性がある所与の画像の部分についての望ましい情報を与えることができる。

【0048】

例えば、図３の画像１１４は、特徴部１７０が、２つの画像によって経時的に取り込まれている移動粒子を表すことができることを例示している。具体的に、図３は、特徴部１７０（画像１１２の右下コーナに示している）が画像１１４の左上コーナに移動したところを例示している。画像１１２／１１４は、互いに同じ画像取り込みデバイス（例えばデジタルカメラ）を用いて同じ画像取り込み場所及びマップからピクセル毎に取り込まれたものであることに注意されたい。２つの画像のピクセル単位の減算は、場所（１６，１０）及び場所（５，４）以外の全てのピクセル値がゼロに近い新しい画像を発生させることができ、この画像は、移動粒子の望ましくない効果を低減させるために画像処理システムのアルゴリズムによって利用することができる情報を与えることができる。例えば、画像処理システムは、画像１１２と画像１１４との融合画像を生成することができ、この場合、融合画像は、各画像の望ましい情報を保持し、その一方で望ましくない情報を廃棄する。

【0049】

融合画像を発生させる基本的な機構は、入力画像内で異なる露出を有する複数のピクセルが、コントラスト、飽和、露出、及び運動のような様々な「メトリック」に従って重み付けされることとして説明することができる。これらのメトリックの重み付けを用いて、１又は２以上の画像と融合される画像内の所与のピクセルが最終融合画像にどの程度寄与することになるかを決定することができる。

【0050】

事象（例えば医療手順）の複数の異なる露出の画像（１…Ｎ）を画像処理アルゴリズムによって単一の融合画像に融合することを可能にする方法を図４～図５に開示している。簡略化の目的で、図４～図５に例示している画像処理アルゴリズムを一例として生画像１１４及びその「直前」の画像１１２（両方ともに図２～図３に示している）を用いて説明することにする。しかし、画像処理アルゴリズムは、ある事象中に取り込まれたいずれかの枚数の画像を利用して１又は２以上の融合画像を発生させることができることを認めることができる。

【0051】

融合処理は、画像処理システムによって実施されて表示デバイスに出力することができ、この場合、最終融合画像は、１からＮまでの入力画像からの画像メトリック（コントラスト、飽和、露出、運動）の望ましい特徴部を維持することを認めなければならない。

【0052】

図４～図５は、融合画像に対する例示的重みマップを発生させる例示的段階を例示している。例示的な第１の段階は、初期入力画像を選択する段階１２８を含むことができる。本明細書での解説の目的で、例示的入力画像１１４は、その直前の画像１１２（上記の解説を参照し、画像１１４が画像１１２の後に取り込まれたものであることに注意されたい）と融合されることになる初期入力画像として説明することにする。

【0053】

入力画像１１４を選択した後に、個々のコントラストメトリック、飽和メトリック、露出メトリック、及び運動メトリックは、画像１１４を構成する個別ピクセル座標の各々で計算されることになる。この例示的実施形態では、画像１１４を構成する２１６個の個別ピクセル座標がある（図３を参照し直すと、例示的画像１１４は、１８ｘ１２のグリッドの２１６個の個別ピクセルを含む）。下記でより詳細に説明するように、コントラストメトリック、飽和メトリック、露出メトリック、及び運動メトリックの各々は、画像１１４に関する各ピクセル場所（すなわちピクセル座標）で互いに乗算されることになり、それによって画像１１４に関する「事前重みマップ」が生成される（参照の目的で、この乗算段階は、図４のテキストボックス１４６によって説明する）。しかし、画像に関する事前重みマップを発生させる前に、各ピクセル場所に関する個々のコントラストメトリック、飽和メトリック、露出メトリック、及び運動メトリックを計算する必要がある。以下に続く解説は、各ピクセル場所に関するコントラストメトリック、飽和メトリック、露出メトリック、及び運動メトリックの計算を説明する。

【0054】

コントラストメトリックの計算

【0055】

コントラストメトリックの計算を図４のテキストボックス１３２で表している。各ピクセル場所に関するコントラストメトリックを計算するために、画像にラプラシアンフィルタを適用して画像のグレースケール版を生成することができる。画像のグレースケール版が生成された後に、フィルタ応答の絶対値を取得することができる。コントラストメトリックは、画像のエッジ及びテクスチャのような重要な要素に高い重みを割り当てることができることに注意されたい。本明細書では、コントラストメトリック（各ピクセルに関して計算された）を（Ｗ_c）と表す場合がある。

【0056】

飽和メトリックの計算

【0057】

飽和メトリックの計算を図４のテキストボックス１３４で表している。各ピクセル場所に関する飽和メトリックを計算するためにＲ、Ｇ、及びＢチャネルの中で標準偏差が取得される（各所与のピクセルで）。低めの標準偏差は、Ｒ値とＧ値とＢ値とが互いに近い（例えばピクセルが灰色気味のものである）ことを意味する。灰色ピクセルは、赤色のような他の色ほどには貴重な情報を含んでいない可能性がある（例えばヒトの解剖学的構造が赤味を帯びた色を含むことに起因して）ことを認めることができる。しかし、ピクセルは、高めの標準偏差を有する場合に、赤味、緑味、又は青味を帯びる傾向を有し、これらの傾向は、より貴重な情報を含む。飽和色が望ましいものであり、画像を鮮明に見せるにことに注意されたい。本明細書では、飽和メトリック（各ピクセルに関して計算された）を（Ｗ_s）と表す場合がある。

【0058】

露出メトリックの計算

【0059】

露出メトリックの計算を図４のテキストボックス１３６で表している。所与のピクセルチャネルに関する生光強度は、ピクセルがどの程度良好に露出されたかを示すものを提示することができる。各個別ピクセルは、赤色、緑色、及び青色に関して分離された３つのチャネルを含むことができ、これらのチャネルの全てをある一定の「強度」で表示することができることに注意されたい。言い換えれば、ピクセル場所（すなわち座標）の総強度は、赤色チャネル（ある一定の強度にある）と、緑色チャネル（ある一定の強度にある）と、青色チャネル（ある一定の強度にある）との和とすることができる。ピクセル場所でのこれらのＲＧＢ光強度は、０～１の範囲内に収まることができ、ゼロに近い値は露出不足であり、１に近い値は露出過剰である。スペクトルの末端にない（０にも１にも近くない）強度を保つのが望ましい。従って、所与のピクセルに関する露出メトリックを計算するために、各チャネルが、妥当な対称性を有する単峰分布の中央値にどの程度近いかに基づいて当該チャネルが重み付けされる。例えば、各チャネルがガウス曲線又はいずれか他の種類の分布上にある所与の値にどの程度近いかに基づいて当該チャネルを重み付けすることができる。個別ピクセル場所での各ＲＧＢ色チャネルに関する重み付け値を決定した後に、これら３つの重み付け値が互いに乗算されて当該ピクセルに関する総露出メトリックが得られる。本明細書では、露出メトリック（各ピクセルに関して計算された）を（Ｗ_e）と表す場合がある。

【0060】

運動メトリックの計算

【0061】

運動メトリックの計算を図４のテキストボックス１３８で表している。運動メトリックの計算に関するより詳細な解説を図６に示しているブロック図で示す。運動メトリックは、複数のフレームにわたって発生する飛翔粒子、レーザの明滅、又は動的な高速に変化するシーンによって引き起こされる散心を抑制するように設計される。所与のピクセル場所に関する運動メトリックは、入力画像（例えば１１４）とその直前の画像（例えば画像１１２）とを用いて計算される。画像１１４の各ピクセル場所に関する運動メトリックを計算する段階での例示的な第１の段階は、画像１１４内にある全ての有色ピクセルをグレースケール値に変換する段階１６０である。例えば、一部の事例では、画像１１４内の各ピクセル場所に関する生データを整数データとして表すことができ、この場合、各ピクセル場所を０～２５５の間のグレースケール値に変換することができることを認めることができる。しかし、他の例では、生整数値を他のデータ型に変換することができる。例えば、ピクセルのグレースケール整数値を浮動小数点数型に変換することができ、この場合、各ピクセルに０～１のグレースケール値を割り当て、続いて２５５で除算することができる。これらの例では、完全黒色ピクセルには０という値を割り当てることができ、完全白色ピクセルには１という値が割り当てられる。更に、上記の例は、生画像データを整数データ又は浮動小数点数型として表すことを解説したが、生画像データは、いずれかのデータ型で表すことができることを認めることができる。

【0062】

例示的フレーム１１４をグレースケール値に変換した後に、画像１１４の各ピクセル場所に関する運動メトリックを計算する段階での例示的な第２の段階は、上記で説明したものと同じ方法論を用いてフレーム１１２内にある全ての有色ピクセルをグレースケール値に変換する段階１６２である。

【0063】

フレーム１１４及びフレーム１１２の各ピクセル場所をグレースケールに変換した後に、画像１１４の各ピクセル場所に関する運動メトリックを計算する段階での例示的な第３の段階１６４は、画像１１２の各ピクセル場所のグレースケール値を画像１１４の相応するピクセル場所のグレースケール値から減算する段階である。例えば、画像１１４のピクセル座標（１６，１０）（図３に示している）のグレースケール値が０．９０に等しく、画像１１２の相応するグレースケールピクセル座標（１６，１０）（図３に示している）のグレースケール値が０．１０に等しい場合には、画像１１４のピクセル（１６，１０）に関する運動減算値は、０．８０（０．９０マイナス０．１０）に等しい。この減算後運動値（例えば０．８０）は、画像１１４内のピクセル（１６，１０）に関する代表的な運動メトリック値として記憶されることになる。上記で解説したように、運動メトリック値は、下記で解説するアルゴリズムに基づいて融合画像を発生させるために用いられることになる。更に、減算値は負である場合があることを認めることができ、これは、歪像又はアーチファクトが画像１１２内にあることを示すことができる。負の値は、重み係数計算をしやすくするためにゼロに設定されることになる。

【0064】

高速に移動する物体では、ピクセルグレースケール値の変化が劇的になるので（例えば、複数の画像を通して移動する高速移動物体が取り込まれる時に、物体を定義する個別ピクセルのグレースケール色は画像から画像へと劇的に変化することになる）、所与のピクセル座標に関する減算後運動値は大きい可能性があることを認めることができる。それとは逆に、低速移動物体では、ピクセルグレースケール値の変化がより緩やかになるので（例えば、複数の画像を通して移動する低速移動物体が取り込まれる時には、物体を定義する個別ピクセルのグレースケール色は画像から画像へと緩慢にしか変化しないことになる）、所与のピクセル座標に関する運動値は小さい可能性がある。

【0065】

直近の画像（例えば画像１１４）内の各ピクセル場所に関して減算後運動値が計算された後に、画像１１４の各ピクセル場所に関する運動メトリックを計算する段階での例示的な第４の段階１６６は、各ピクセル場所に関する各減算後運動値を当該値がゼロにどの程度近いかに基づいて重み付けする段階である。べき関数を用いた１つの重み計算を次式１に示す。
（１）Ｗ_m＝（１－［減算後運動値］）＾１００

【0066】

他の重み計算も可能であり、上述したべき関数に限定されない。ゼロ運動値では重みを１に近くし、運動値が増大するにつれて重みが急速に０に移行するいずれの関数も可能である。例えば、次式２に示す以下の重み計算を用いることができると考えられる。
（２）Ｗ_m＝

【0067】

これらの値は、画像１１４内の各ピクセルに関する重み付き運動メトリック値であり、（Ｗ_m）と表す場合がある。

【0068】

静止物体を表すピクセルでは、減算後運動値はゼロに近くなり、従ってＷ_mは１に近くなることを認めることができる。それとは逆に、移動物体では、減算後運動値は１に近くなり、従ってＷ_mは０に近くなる。画像１１４／１１２を通して移動する高速移動暗色円１７０の例に戻ると、ピクセル（１６，１０）は、画像１１２内の暗めの色（例えば０．９０というグレースケール値）から画像１１４内の明るめの色（例えば０．１０というグレースケール値）まで急速に変化する。結果として得られる減算後運動値は０．８０に等しく（１に近く）、画像１１４のピクセル場所（１６，１０）に関する重み付き運動メトリックは、（１－０．８０）＾１００、すなわち０に非常に近くなる。

【0069】

直前画像（例えば画像１１２）に関するＷ_mは、１に設定されることになることに注意されたい。このようにして、静止物体の区域では、画像１１２と画像１１４との両方に関するＷ_mが１に近く、従って運動メトリックに関して同じ重みを有する。静止物体の最終重みマップは、コントラストメトリックと露出メトリックと飽和メトリックとに依存することになる。移動物体又はレーザ明滅の区域では、画像１１２に関するＷ_mは変わらずに１となるが、画像１１４に関するＷ_mは０に近くなり、従って画像１１４内のこれらの区域の最終重みは、画像１１２内のものよりもかなり小さくなる。小さい重み値は、フレームの当該ピクセルを融合フレームから廃棄することになり、大きめの重み値は、フレームの当該ピクセルを融合画像の中に持ち込むことになる。このようにして、最終融合画像から歪像又はアーチファクトが除去されることになる。

【0070】

図４は、画像１１４の各ピクセルに関してコントラストメトリック（Ｗ_c）、飽和メトリック（Ｗ_s）、露出メトリック（Ｗ_e））、及び運動メトリック（Ｗ_m）が計算された後に、画像１１４に関する各個別ピクセル場所では４つ全てのメトリック値（所与のピクセルの）を互いに乗算することによって画像１１４に関する事前重みマップを発生させる（この計算を次式３に示す）こと１４６ができることを更に例示している。図４に表しているように、式３は、事前重みマップを発生させるために画像１１４内にある２１６個全ての例示的ピクセルに関する各個別ピクセル場所（例えば、（１，１）、（１，２）、（１，３）…、以降同様に続く）で実行される。
（３）Ｗ＝（Ｗ_c）^*（Ｗ_s）^*（Ｗ_e）^*（Ｗ_m）

【0071】

図４は、例示的画像（例えば画像１１４）に関する事前重みマップが生成された後に、例示的な次の段階が複数の画像にわたる重みマップを正規化する段階１５０を含むことができることを例示している。この段階の目的は、各ピクセル場所（融合されるいずれか２つの画像内の）に関する重み付き値の和を１に等しくすることとすることができる。例示的「画像１」及び例示的「画像２」に関するピクセル場所（Ｘ，Ｙ）を正規化するための式を次式４及び５に示す。
（４）Ｗ_画像1（Ｘ，Ｙ）＝Ｗ_画像1（Ｘ，Ｙ）／（Ｗ_画像1（Ｘ，Ｙ）＋Ｗ_画像2（Ｘ，Ｙ））
（５）Ｗ_画像2（Ｘ，Ｙ）＝Ｗ_画像2（Ｘ，Ｙ）／（Ｗ_画像1（Ｘ，Ｙ）＋Ｗ_画像2（Ｘ，Ｙ））

【0072】

一例として、各々がピクセル場所（１４，４）を有する事前重みマップを有する２つの画像、すなわち、画像１及び画像２を仮定し、この場合、画像１のピクセル（１４，４）に関する事前重み値は＝０．０５であり、画像２のピクセル（１４，４）に関する事前重み値は＝０．１５である。画像１に関するピクセル場所（１４，４）に対する正規化値を次式６に示し、画像２に関するピクセル場所（１４，４）に対する正規化値を次式７に示す。
（６）Ｗ_画像1（１４，４）＝０．０５／（０．０５＋０．１５）＝０．２５
（７）Ｗ_画像2（１４，４）＝０．１５／（０．０５＋０．１５）＝０．７５
上記で解説したように、ピクセル場所（１４，４）での画像１の正規化重み付き値と画像２の正規化重み付き値との和は１に等しいことに注意されたい。

【0073】

図５は、２又は３以上の例示的画像（例えば画像１１２／１１４）から融合画像を発生させる段階での例示的な次の段階を例示している（図４～図５に示し、上記で説明したアルゴリズムでは、この時点で、各例示的画像１１２／１１４は、原入力画像と正規化重み付きマップとを有することができる）。例示的段階は、正規化重みマップ（各画像に関する）から平滑化ピラミッドを発生させる段階１５２を含むことができる。平滑化ピラミッドは、以下の通りに計算することができる。
Ｇ１＝Ｗ
Ｇ２＝低解像度処理（Ｇ１，フィルタ）
Ｇ３＝低解像度処理（Ｇ２，フィルタ）
上記の計算は、Ｇｘのサイズが、ローパスフィルタ（例えばガウスフィルタ）である平滑化フィルタのサイズよりも小さくなるまで続く。

【0074】

図５は、例示的段階が、入力画像からエッジマップを発生させる（各画像に関して）段階１５４を更に含む場合があることを示している。エッジマップは、入力画像の様々なスケールのテクスチャ情報を含有する。例えば、入力画像を「Ｉ」と表記するものとする。レベルｘでのエッジマップは、Ｌｘと表記することができ、以下に続く段階で計算される。
Ｉ１＝低解像度処理（Ｉ，フィルタ）
Ｌ１＝Ｉ－高解像度処理（Ｉ１）
Ｉ２＝低解像度処理（Ｉ１，フィルタ）
Ｌ２＝Ｉ１－高解像度処理（Ｉ２）
Ｉ３＝低解像度処理（Ｉ２，フィルタ）
Ｌ３＝Ｉ２－高解像度処理（Ｉ３）
この計算は、Ｉｘのサイズがハイパスフィルタ（例えばラプラシアンフィルタ）であるエッジフィルタのサイズよりも小さくなるまで続く。

【0075】

図５は、２又は３以上の例示的画像（例えば画像１１２／１１４）から融合画像を発生させる段階での別の例示的な次の段階を例示している。例えば、各入力画像に関して、エッジマップ（上記で説明した）を平滑化マップ（上記で説明した）と乗算することができる。画像に関してエッジマップを平滑化マップと乗算した結果として得られるマップは、互いに加算して融合ピラミッドを形成することができる。図５では、この段階を、テキストボックス１５６によって表している。

【0076】

図５は、そこに記載のテキストボックス１５８によって表しているように、融合画像を発生させる段階での最後の例を示している。この段階は、融合ピラミッドに対して以下に続く計算を実施する段階を含む。
ＩＮ＝ＬＮ
ＲＮ＝高解像度処理（ＩＮ，フィルタ）
ＩＮ－１＝ＬＮ－１ ＋ ＲＮ
ＲＮ－１＝高解像度処理（ＩＮ－１，フィルタ）
ＩＮ－２＝ＬＮ－２ ＋ ＲＮ－１
ＲＮ－２＝高解像度処理（ＩＮ－２，フィルタ）
ＩＮ－３＝ＬＮ－３ ＋ ＲＮ－２
この計算は、計算されるＩ１が最終画像であるＬ１レベルに到達するまで続く。

【0077】

本発明の開示は、多くの点に関して単に例示的であることを理解しなければならない。詳細、特に形状、サイズ、及び段階の配置に関して、本発明の開示の範囲を超えることなく変更を加えることができる。この変更は、適切である限り、使用される一例示的実施形態の特徴のいずれかの他の実施形態での使用を含むことができる。本発明の開示の範囲は、当然ながら特許請求の範囲を表現する文言で定められる。

【符号の説明】

【0078】

１２８ フレームＮを選択する段階。
１３０ フレームＮから個別ピクセル（Ｘ，Ｙ）を選択する段階
１３２ コントラストメトリック（Ｗ_c）を計算する段階
１３４ 飽和メトリック（Ｗ_s）を計算する段階
１４６ フレームＮに関する事前重みマップを発生させる段階

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】