特表 2024-537409 高ダイナミックレンジの蛍光撮像を有する外科手術カメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-10

(54)【発明の名称】高ダイナミックレンジの蛍光撮像を有する外科手術カメラシステム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241003BHJP

   G02B 23/24 20060101ALI20241003BHJP

   G02B 23/26 20060101ALI20241003BHJP

   A61B 1/00 20060101ALI20241003BHJP

【ＦＩ】

A61B1/045 610

G02B23/24 B

G02B23/26 D

A61B1/00 511

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024522620

(86)(22)【出願日】2022-10-18

(85)【翻訳文提出日】2024-04-15

(86)【国際出願番号】 US2022047042

(87)【国際公開番号】W WO2023069451

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】63/257,025

(32)【優先日】2021-10-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514290052

【氏名又は名称】アースレックス インコーポレイテッド

【氏名又は名称原語表記】ＡＲＴＨＲＥＸ， ＩＮＣ．

【住所又は居所原語表記】１３７０ Ｃｒｅｅｋｓｉｄｅ Ｂｌｖｄ， Ｎａｐｌｅｓ， ＦＬ ３４１０８， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100105131

【弁理士】

【氏名又は名称】井上 満

(74)【代理人】

【識別番号】100105795

【弁理士】

【氏名又は名称】名塚 聡

(72)【発明者】

【氏名】シュタイナー，マイケル ドミニク

(72)【発明者】

【氏名】モラレス コレア，エフライン

【テーマコード（参考）】

2H040

4C161

【Ｆターム（参考）】

2H040GA05

4C161AA24

4C161CC06

4C161LL03

4C161LL08

4C161QQ04

4C161QQ07

4C161SS21

4C161WW04

4C161WW17

(57)【要約】

光学アセンブリと、第一の低ダイナミックレンジ画像を送信する第一のカラー画像センサと、第二の低ダイナミックレンジ画像を送信する第二のカラー画像センサと、モノクローム画像を送信するモノクローム画像センサと、第一の低ダイナミックレンジ画像および第二の低ダイナミックレンジ画像を受信するための第一のカラー画像センサおよび第二のカラー画像センサに結合されたＨＤＲプロセッサであって、第一の低ダイナミックレンジ画像および第二のダイナミックレンジ画像を高ダイナミックレンジ画像に組み合わせるように構成されているＨＤＲプロセッサと、ＨＤＲプロセッサおよびモノクローム画像センサに結合されたコンバイナであって、高ダイナミックレンジ画像をモノクローム画像と組み合わせるように構成されているコンバイナと、を有する内視鏡カメラシステム。
【選択図】図２

【特許請求の範囲】

【請求項1】

光学アセンブリと、
前記光学アセンブリと光学連通している第一のカラー画像センサであって、前記第一の画像センサが、可視光の第一の露出を受信し、第一の低ダイナミックレンジ画像を送信する、第一のカラー画像センサと、
前記光学アセンブリと光学連通している第二のカラー画像センサであって、前記第二の画像センサが、可視光の第二の露出を受信し、第二の低ダイナミックレンジ画像を送信し、第二の露出が第一の露出よりも高い、第二のカラー画像センサと、
前記光学アセンブリと光学連通しているモノクローム画像センサであって、前記モノクローム画像センサが、非可視光の露出を受信し、モノクローム画像を送信する、モノクローム画像センサと、
前記第一の低ダイナミックレンジ画像および前記第二の低ダイナミックレンジ画像を受信するための前記第一のカラー画像センサおよび前記第二のカラー画像センサに結合されたＨＤＲプロセッサであって、前記ＨＤＲプロセッサが、前記第一の低ダイナミックレンジ画像および前記第二のダイナミックレンジ画像を高ダイナミックレンジ画像に組み合わせるように構成されているＨＤＲプロセッサと、
前記ＨＤＲプロセッサおよび前記モノクローム画像センサに結合されたコンバイナであって、前記コンバイナが、前記高ダイナミックレンジ画像を前記モノクローム画像と組み合わせるように構成されているコンバイナと、を備える内視鏡カメラシステム。

【請求項2】

前記モノクローム画像センサおよび前記コンバイナに結合されたスケーラをさらに備え、前記第一のカラー画像センサおよび前記第二のカラー画像センサがそれぞれ第一の解像度を有し、前記モノクローム画像センサが第二の解像度を有し、前記第二の解像度が前記第一の解像度よりも低く、前記スケーラが、前記高ダイナミックレンジ画像とほぼ同じ解像度を有するように前記モノクローム画像を拡大縮小するように構成されている、請求項１に記載の内視鏡カメラシステム。

【請求項3】

前記モノクローム画像センサおよび前記コンバイナに結合されたスケーラをさらに備え、前記第一のカラー画像センサおよび前記第二のカラー画像センサがそれぞれ約４Ｋの解像度を有し、前記モノクローム画像センサが約２Ｋの解像度を有し、前記スケーラが、前記高ダイナミックレンジ画像とほぼ同じ解像度を有するように前記モノクローム画像を拡大縮小するように構成されている、請求項１に記載の内視鏡カメラシステム。

【請求項4】

前記モノクローム画像センサが、近赤外放射を検出するように構成されている、請求項３に記載の内視鏡カメラシステム。

【請求項5】

前記カラー画像センサが、前記モノクローム画像センサの少なくとも約２倍の解像度を有する、請求項１に記載の内視鏡カメラシステム。

【請求項6】

前記カラー画像センサが、前記モノクローム画像センサの約４倍の解像度を有する、請求項５に記載の内視鏡カメラシステム。

【請求項7】

前記モノクローム画像センサが、前記第一のカラー画像センサおよび前記第二のカラー画像センサよりも大きなピクセルサイズを有する、請求項１に記載の内視鏡カメラシステム。

【請求項8】

光学アセンブリと、
前記光学アセンブリと光学連通している第一のカラー画像センサであって、前記第一の画像センサが、可視光の第一の露出を受信し、第一の低ダイナミックレンジ画像を送信する、第一のカラー画像センサと、
前記光学アセンブリと光学連通している第二のカラー画像センサであって、前記第二の画像センサが、可視光の第二の露出を受信し、第二の低ダイナミックレンジ画像を送信し、第二の露出が第一の露出よりも高い、第二のカラー画像センサと、
前記光学アセンブリと光学連通しているモノクローム画像センサであって、前記モノクローム画像センサが、非可視光の露出を受信し、モノクローム画像を送信する、モノクローム画像センサと、
前記第一のカラー画像センサから前記第一の低ダイナミックレンジ画像を受信し、前記第二の画像センサから前記第二の低ダイナミックレンジ画像を受信するためのカラー受信機と、
前記モノクローム画像センサから前記モノクローム画像を受信するためのモノクローム受信機と、
前記第一の低ダイナミックレンジ画像および前記第二の低ダイナミックレンジ画像を受信するためのカラー受信機に結合されたプロセッサであって、前記第一の低ダイナミックレンジ画像および前記第二のダイナミックレンジ画像を高ダイナミックレンジ画像に組み合わせるように構成されているプロセッサと、
前記高ダイナミックレンジ画像の解像度に一致するように、前記モノクローム画像を拡大縮小されたモノクローム画像にスケーリングするために、前記モノクローム受信機に結合されたスケーラと、
前記プロセッサおよび前記スケーラに結合されたコンバイナであって、前記高ダイナミックレンジ画像および前記拡大縮小されたモノクローム画像を組み合わせるように構成されているコンバイナと、を備える内視鏡カメラシステム。

【請求項9】

前記第一のカラー画像センサおよび前記第二のカラー画像センサがそれぞれ約４Ｋの解像度を有し、前記モノクローム画像センサが約２Ｋの解像度を有する、請求項８に記載の内視鏡カメラシステム。

【請求項10】

前記モノクローム画像センサが、近赤外放射を検出するように構成されている、請求項８に記載の内視鏡カメラシステム。

【請求項11】

前記カラー画像センサが、前記モノクローム画像センサの少なくとも約２倍の解像度を有する、請求項８に記載の内視鏡カメラシステム。

【請求項12】

前記カラー画像センサが、前記モノクローム画像センサの約４倍の解像度を有する、請求項８に記載の内視鏡カメラシステム。

【請求項13】

前記モノクローム画像センサが、前記第一のカラー画像センサおよび前記第二のカラー画像センサよりも大きなピクセルサイズを有する、請求項８に記載の内視鏡カメラシステム。

【請求項14】

前記第一のカラー画像センサが、前記第二のカラー画像センサとは異なる解像度を有し、前記システムが、前記カラー画像の前記解像度に一致するように少なくとも一つのカラー画像をスケーリングするために、前記第一のカラー画像センサおよび前記第二のカラー画像センサのうちの少なくとも一つに結合されたカラースケーラをさらに備える、請求項８に記載の内視鏡カメラシステム。

【請求項15】

画像を生成する方法であって、
第一の露出を有する第一のカラー画像センサから第一のカラー画像を受信する工程と、
第二の露出を有する第二のカラー画像センサから第二のカラー画像を受信する工程であって、前記第二の露出が前記第一の露出とは異なる、受信する工程と、
非可視光を検知するように構成されたモノクローム画像センサからモノクローム画像を受信する工程と、
前記第一のカラー画像および前記第二のカラー画像を組み合わせて、高ダイナミックレンジ画像を作製する工程と、
前記高ダイナミックレンジ画像を前記モノクローム画像と組み合わせる工程と、を含む、方法。

【請求項16】

前記カラー画像センサが、前記モノクローム画像センサの約４倍の解像度を有し、前記方法が、前記高ダイナミックレンジ画像との組み合わせの前に、前記モノクローム画像を拡大縮小する工程をさらに含む、請求項１５に記載の画像を生成する方法。

【請求項17】

前記カラー画像センサが、前記モノクローム画像センサの約２倍の解像度を有し、前記方法が、前記高ダイナミックレンジ画像との組み合わせの前に、前記モノクローム画像を拡大縮小する工程をさらに含む、請求項１５に記載の画像を生成する方法。

【請求項18】

前記カラー画像センサが約４Ｋの解像度を有し、前記モノクローム画像センサが約２Ｋの解像度を有し、前記方法が、前記高ダイナミックレンジ画像との組み合わせの前に、前記モノクローム画像を拡大縮小する工程をさらに含む、請求項１５に記載の画像を生成する方法。

【請求項19】

前記モノクローム画像センサが、前記第一のカラー画像センサおよび前記第二のカラー画像センサよりも大きなピクセルサイズを有する、請求項１５に記載の画像を生成する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、内視鏡外科手術で使用される装置に関し、より具体的には、高ダイナミックレンジの蛍光検出を用いて画像を生成するための内視鏡カメラシステムに関する。

【背景技術】

【0002】

シーンのダイナミックレンジは、シーンの最も明るい部分とシーンの最も暗い部分の放射輝度の比として定義され得る。これらの放射輝度は、固有ダイナミックレンジを有する撮像センサによって検出される。固有ダイナミックレンジは、最大検出シーン放射輝度と最小検出シーン放射輝度の比として定義することができる。最大値は、ピクセルウェル深度に強く依存し、最小値は、暗電流ノイズおよび読み取りノイズに強く依存する。ほとんどの既存の画像センサの固有ダイナミックレンジよりも大きなダイナミックレンジを有する画像を有することが望ましい。可視光検出に加えて、外科医は外科手術処置において蛍光を検出することがよくある。

【0003】

先行技術の欠点を改善する、高ダイナミックレンジの蛍光画像を提供するシステムおよび方法に対するニーズがある。

【発明の概要】

【0004】

本開示は、二つの低ダイナミックレンジ画像および蛍光画像を単一の高ダイナミックレンジ画像に組み合わせるためのシステムおよび方法を対象とする。加えて、本開示は、二つの低ダイナミックレンジ画像および蛍光画像を異なる解像度で単一の高ダイナミックレンジ画像に組み合わせるためのシステムおよび方法を対象とする。

【0005】

一実装では、内視鏡カメラシステムは、光学アセンブリを有する。第一のカラー画像センサは、光学アセンブリと光学連通しており、第一の画像センサは、可視光の第一の露出を受信し、第一の低ダイナミックレンジ画像を送信する。第二のカラー画像センサもまた、光学アセンブリと光学連通しており、第二の画像センサは、可視光の第二の露出を受信し、第二の低ダイナミックレンジ画像を送信し、第二の露出は、第一の露出よりも高い。モノクローム画像センサもまた光学アセンブリと光学連通しており、モノクローム画像センサは、非可視光の露出を受信し、モノクローム画像を送信する。ＨＤＲプロセッサは、第一の低ダイナミックレンジ画像および第二の低ダイナミックレンジ画像を受信するための第一のカラー画像センサおよび第二のカラー画像センサに結合される。ＨＤＲプロセッサは、第一の低ダイナミックレンジ画像および第二のダイナミックレンジ画像を高ダイナミックレンジ画像に組み合わせるように構成されている。コンバイナは、ＨＤＲプロセッサおよびモノクローム画像センサに結合され、コンバイナは、高ダイナミックレンジ画像をモノクローム画像と組み合わせるように構成されている。

【0006】

一実装では、第一のカラー画像センサおよび第二のカラー画像センサはそれぞれ、第一の解像度を有し、モノクローム画像センサは、第二の解像度を有し、第二の解像度は、第一の解像度よりも低い。システムは、モノクローム画像センサおよびコンバイナに結合されたスケーラを有する。スケーラは、高ダイナミックレンジ画像とほぼ同じ解像度を有するように、モノクローム画像を拡大縮小するように構成されている。第一のカラー画像センサおよび第二のカラー画像センサはそれぞれ、約４Ｋの解像度を有してもよく、モノクローム画像センサは約２Ｋの解像度を有してもよい。カラー画像センサは、モノクローム画像センサの少なくとも約２倍の解像度を有してもよい。カラー画像センサは、モノクローム画像センサの少なくとも約４倍の解像度を有してもよい。モノクローム画像センサは、第一のカラー画像センサおよび第二のカラー画像センサよりも大きなピクセルサイズを有してもよい。随意に、モノクローム画像センサは、近赤外放射を検出するように構成されている。

【0007】

一実装では、内視鏡カメラシステムは、光学アセンブリを有する。第一のカラー画像センサは、光学アセンブリと光学連通しており、第一の画像センサは、可視光の第一の露出を受信し、第一の低ダイナミックレンジ画像を送信する。第二のカラー画像センサは、光学アセンブリと光学連通しており、第二の画像センサは、可視光の第二の露出を受信し、第二の低ダイナミックレンジ画像を送信し、第二の露出は、第一の露出よりも高い。モノクローム画像センサは光学アセンブリと光学連通しており、モノクローム画像センサは、非可視光の露出を受信し、モノクローム画像を送信する。

【0008】

カラー受信機は、第一のカラー画像センサから第一の低ダイナミックレンジ画像を受信し、第二の画像センサから第二の低ダイナミックレンジ画像を受信する。モノクローム受信機は、モノクローム画像センサからモノクローム画像を受信する。プロセッサは、第一の低ダイナミックレンジ画像および第二の低ダイナミックレンジ画像を受信するためのカラー受信機に結合され、プロセッサは、第一の低ダイナミックレンジ画像および第二のダイナミックレンジ画像を高ダイナミックレンジ画像に組み合わせるように構成されている。スケーラは、高ダイナミックレンジ画像の解像度に一致するように、モノクローム画像を拡大縮小されたモノクローム画像にスケーリングするために、モノクローム受信機に結合される。コンバイナは、プロセッサおよびスケーラに結合され、コンバイナは、高ダイナミックレンジ画像および拡大縮小されたモノクローム画像を組み合わせるように構成されている。

【0009】

一実装では、第一のカラー画像センサおよび第二のカラー画像センサはそれぞれ、約４Ｋの解像度を有し、モノクローム画像センサは約２Ｋの解像度を有する。随意に、モノクローム画像センサは、近赤外放射を検出するように構成されている。随意に、カラー画像センサは、モノクローム画像センサの少なくとも約２倍の解像度を有する。随意に、カラー画像センサは、モノクローム画像センサの少なくとも約４倍の解像度を有する。随意に、モノクローム画像センサは、第一のカラー画像センサおよび第二のカラー画像センサよりも大きなピクセルサイズを有する。随意に、第一のカラー画像センサは、第二のカラー画像センサとは異なる解像度を有し、システムは、カラー画像の解像度に一致するように少なくとも一つのカラー画像をスケーリングするために、第一のカラー画像センサおよび第二のカラー画像センサのうちの少なくとも一つに結合されたカラースケーラをさらに有する。

【0010】

本開示はまた、第一の露出を有する第一のカラー画像センサから第一のカラー画像を受信する工程と、第二の露出を有する第二のカラー画像センサから第二のカラー画像を受信する工程であって、第二の露出が第一の露出とは異なる、工程と、非可視光を検知するように構成されたモノクローム画像センサからモノクローム画像を受信する工程と、第一のカラー画像および第二のカラー画像を組み合わせて、高ダイナミックレンジ画像を作製する工程と、高ダイナミックレンジ画像をモノクローム画像と組み合わせる工程と、を有する、画像を生成する方法を対象とする。カラー画像センサは、モノクローム画像センサの約４倍の解像度を有してもよく、方法は、高ダイナミックレンジ画像との組み合わせの前に、モノクローム画像を拡大縮小する工程を有してもよい。一実装では、カラー画像センサは、モノクローム画像センサの約２倍の解像度を有する。一実装では、カラー画像センサは、約４Ｋの解像度を有し、モノクローム画像センサは約２Ｋの解像度を有する。モノクローム画像センサは、第一のカラー画像センサおよび第二のカラー画像センサよりも大きなピクセルサイズを有してもよい。

【0011】

これらおよびその他の特徴を以下に記載する。

【図面の簡単な説明】

【0012】

本開示の特徴、態様および利点は、以下の説明、添付の特許請求の範囲および添付図面に関してよりよく理解されるようになるであろう。

【0013】

【図1】図１は、一実装による内視鏡カメラシステムの概略図である。

【0014】

【図2】図２は、一実装に従って高ダイナミックレンジの蛍光画像を作製するための方法の概略図である。

【発明を実施するための形態】

【0015】

好ましい実施の以下の説明では、添付図面への参照を行い、これらの添付図面は、例示として、本開示が実施され得る特定の実施を示している。当然のことながら、本開示の範囲から逸脱することなく、他の実施を利用し得、構造的および機能的変更を行い得る。

【0016】

本開示は、高ダイナミックレンジおよび蛍光画像を生成するためのシステムおよび方法を対象とする。

【0017】

図１を参照すると、一実装による内視鏡カメラシステム１０は、カメラヘッド１２を有する。カメラヘッド１２は、内視鏡１４に結合される。カメラヘッド１２は、ボタン、スイッチまたはダイヤルなどの入力装置を有してもよい。カメラヘッド１２は、カメラコントローラ１６（「ＣＣＵ」または「カメラコントローラ」）に接続可能である。カメラヘッド１２およびカメラコントローラ１６は、ワイヤを介して接続されて、カメラとカメラコントローラの間のデータ転送を容易にしてもよい。カメラ１２およびカメラコントローラ１６はまた、ＩＥＥＥ ８０２．１１ｂもしくはＩＥＥＥ ８０２．１１ｎまたは超広帯域（ＵＷＢ）を介してなど、無線接続されて、データ転送を容易にしてもよい。カメラコントローラ１６は、マウス、キーボード、タッチパッド、またはタッチスクリーンモニターなどの少なくとも一つの入力装置１８に接続可能であってもよい。加えて、カメラコントローラ２０は、ディスプレイ２０と、画像を記憶するためなどの記憶装置２２とに接続可能であってもよい。

【0018】

一実装では、プリズムアセンブリなどの光学素子２４、モノクローム画像センサ２６、第一のカラー画像センサ２８および第二のカラー画像センサ３０が、カメラヘッド１２の内部に位置付けられる。画像光は、内視鏡１４を通してプリズムアセンブリ２４上に向けられる。代替的な実装では、光学素子２４、モノクローム画像センサ２６、第一のカラー画像センサ２８、および第二のカラー画像センサ３０は、内視鏡１４の遠位端３２の近位に位置付けられる。カメラヘッド１２は光源３４に結合されてもよい。追加の実装では、光源は、カメラヘッド１２または内視鏡１４の内部に位置付けられてもよい。

【0019】

光源３４はランプを含む。ランプは例えば、視野を照明するためのレーザーまたはＬＥＤなどの半導体光源であってもよい。光源３６は、ビデオカメラの視野を適切に照明するように構成されている。さらに、発生した光ならびにカメラ感度は、可視スペクトルを超えて延在しうる。照明は、標的において、またはインドシアニングリーンなどの蛍光物質において蛍光を直接励起することが意図されている場合があり、これは次いで、モノクローム画像センサ２６によって検知される。例えば、光源３４は、近赤外（ＮＩＲ）範囲内の照明を生成し得、モノクローム画像センサ２６は、より長いＩＲ波長で蛍光を検知する。照明およびカメラ感度は、ＵＶからＮＩＲまで継続的に延在する可能性があるか、または別個のナローバンドから成る可能性がある。

【0020】

モノクローム画像センサ２６、第一のカラー画像センサ２８、および第二のカラー画像センサ３０の各々は、例えば、電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）センサであってもよい。画像センサは同一である必要はなく、異なる特性を有してもよい。好ましい実装では、モノクローム画像センサ２６は、近赤外および赤外光などの非可視光の検出に使用される２ｋセンサであり、第一のカラー画像センサ２８および第二のカラー画像センサ３０の各々は、４ｋセンサである。追加の実装では、第一のカラー画像センサ２８および第二のカラー画像センサ３０は、互いに異なる解像度を有する。例えば、一実装では、第一のカラー画像センサ２８は４ｋセンサであり、第二のカラー画像センサ３０は２ｋセンサであり、モノクローム画像センサ２６は２ｋセンサである。

【0021】

一実装では、第一のカラー画像センサ２８および第二の画像センサ３０は、異なる量の光を受信する。第一のカラー画像センサ２８がより低い露出を受信し、したがって低露出画像を生成する低露出センサであり、第二のカラー画像センサ３０がより高い露出を受信し、したがって高露出画像を生成する高露出センサであるように、光学素子２４は光を向けてもよい。一実装では、光学素子２４は、約１０％～約４０％の光を第一のカラー画像センサ２８に、約６０％～約９０％の光を第二のカラー画像センサ３０に向ける。一実装では、光学素子２４は、約１０％～約２０％の光を第一のカラー画像センサ２８に、約８０％～約９０％の光を第二のカラー画像センサ３０に向ける。一実装では、光学素子２４は、約１０％の光を第一のカラー画像センサ２８に、約９０％の光を第二のカラー画像センサ３０に向ける。追加の実装では、第一のカラー画像センサ２８および第二のカラー画像センサ３０のうちの少なくとも一つは、露出を制御するための光学コーティングを有する。追加の実装では、第一のカラー画像センサ２８および第二のカラー画像センサ３０のうちの少なくとも一つの積分時間は、独立して制御されて露出を制御する。

【0022】

別の方法として、第一のカラー画像センサ２８は、より高い露出を受信してもよく、第二のカラー画像センサ３０は、より低い露出を受信してもよい。第一のカラー画像センサ２８および第二のカラー画像センサ３０の各々は、比較的低いダイナミックレンジ画像を生成する。両方のセンサからの画像を組み合わせて、高ダイナミックレンジを有する単一の画像を作成する。高ダイナミックレンジを有する単一の画像を作成するための組み合わせは、比較的低いダイナミックレンジ画像からＲＧＢ画像それぞれを作成する前または後に実施することができる。次いで、高ダイナミックレンジ画像を、ディスプレイの範囲にトーンマッピングすることができる。組み合わせおよびトーンマッピングの方法は、比較的低いダイナミックレンジ画像から高ダイナミックレンジを作成および表示する当技術分野で公知のものから選択することができる。

【0023】

例えば、限定されるものではないが、二つの比較的低いダイナミックレンジ画像を高ダイナミックレンジ画像に組み合わせるための方法は、Ｐａｕｌ Ｅ． Ｄｅｂｅｖｅｃ ａｎｄ Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ， “Ｒｅｃｏｖｅｒｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ Ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｓ”， ＡＣＭ ＳＩＳＧＲＡＰＨ ２００８ Ｃｌａｓｓｅｓ， Ａｒｔｉｃｌｅ ３１， Ｐａｇｅｓ １－１０、Ｍ．Ａ． Ｒｏｂｅｒｔｓｏｎ， Ｓ． Ｂｏｒｍａｎ ａｎｄ Ｒ．Ｌ． Ｓｔｅｖｅｎｓｏｎ， “Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍｐｒｏｖｅｍｅｎｔ Ｔｈｒｏｕｇｈ Ｍｕｌｔｉｐｌｅ Ｅｘｐｏｓｕｒｅｓ”， １９９９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． ＩＥＥＥ， １９９９、およびＴｏｍ Ｍｅｒｔｅｎｓ， Ｊａｎ Ｋａｕｔｚ ａｎｄ Ｆｒａｎｋ Ｖａｎ Ｒｅｅｔｈ， “Ｅｘｐｏｓｕｒｅ ｆｕｓｉｏｎ”， １５^ｔｈ Ｐａｃｉｆｉｃ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ＩＥＥＥ ２００７に記載される方法の一部を含み得るが、その各々の全内容が参照によりその全体が本明細書に組み込まれる。

【0024】

各センサの電力消費量は、アクティブピクセルの数に正比例する。４ｋセンサは、典型的には３８４０×２１６０のアクティブピクセルを有し、約６００ｍＷを消費する一方、２ｋセンサは、典型的には１９２０×１０８０のアクティブピクセルを有し、約３００ｍＷ以下を消費する。内視鏡カメラシステムでは、カメラヘッドは、長時間にわたってユーザによって保持され、より高温のカメラヘッド（著しい電力を引き出すカメラヘッド）は不快であり、余分な疲労を引き起こす場合がある。電力消費量を低く保ち、安全基準を満たすためにカメラヘッドを低温に保つことも必要である。

【0025】

近赤外波長はより長いため、ピクセルサイズがより小さい４ｋセンサを使用する利点は、２ｋ画像センサを超えて画像品質を改善しない場合がある。二つの４ｋカラー画像センサを、非可視光用の一つの２ｋモノクロームセンサと組み合わせることによって、構成は、画像品質を損なうことなく、電力使用を最適化する。

【0026】

また、より大きなピクセルを有する２ｋセンサを使用することにも利点がある。典型的には、ピクセルサイズが大きいほど、画像センサの感度（信号対ノイズ比）はより良好になる。ＮＩＲ信号が弱い内視鏡処置については、より大きなピクセルサイズは利点である。各センサが同じ光学形式（１／３インチなど）を有する、可視光用の二つの４ｋカラーセンサと非可視光用の一つの２ｋセンサとの組み合わせは、カメラヘッドの電力消費、可視光画像品質、およびＮＩＲ光感度のために有利な構成を提供する。

【0027】

カメラコントローラ１６は、広範囲の制御、ユーザーインターフェース、および画像取得／処理機能に対応するのに十分な処理能力を包含する、プログラム可能なユニットであることが好ましい。カメラコントローラ１６は、モノクローム画像センサ２６からデータを受信するためのモノクローム受信機３６を有する。カメラコントローラ１６はまた、第一のカラーセンサ２８および第二のカラーセンサ３０からデータを受信するためのカラー受信機３８を有する。ＨＤＲプロセッサ４０は、第一のカラーセンサ２８および第二のカラーセンサ３０からの画像を組み合わせて、ＨＤＲ画像を作成する。

【0028】

スケーラ４２は、２Ｋモノクロームセンサからの２Ｋ画像を４Ｋ画像に拡大縮小する。実装では、スケーラ４２は、行および列の倍加、または他の補間方法によってなど、２ｋセンサデータレートを４ｋデータレートにリタイミングする。一実装では、スケーラ４２は、多相スケーリングまたは他のリサンプリング方法などによって、可視光画像の見かけのサイズに一致するように、結果として得られるＮＩＲ画像を拡大縮小する。この拡大縮小工程は、光路の特性を考慮すると、同時焦点要件を満たすことが望ましい（可視光画像焦点およびＮＩＲ画像焦点が、単一焦点ノブを使用して同じ点にある）。第一のカラー画像センサおよび第二のカラー画像センサからの画像を組み合わせる前に、第一のカラー画像センサ２８および第二のカラー画像センサ３０が、互いに異なる解像度を有する場合、類似のカラースケーラが使用されてもよい。

【0029】

画像コンバイナ４４は、拡大縮小された非可視光画像を高ダイナミックレンジ可視光画像と組み合わせて、ＨＤＲおよびＮＩＲ画像を生成する。次に、結果として得られる画像は、ディスプレイ２０に送信されてもよく、または記憶装置２２上などに保存されてもよい。モノクローム受信機３６、カラー受信機３８、ＨＤＲプロセッサ４０、スケーラ４２、および画像コンバイナ４４は、別個の要素として図示されているが、これらの要素のうちの一つ以上が、単一のプロセッサに組み合わせられてもよい。

【0030】

図２を参照すると、本開示はまた、高ダイナミックレンジの蛍光画像を生成するための方法を対象とする。工程５０で、画像が第一のカラー画像センサ２８および第二のカラー画像センサ３０から受信される。検出された非可視光の画像（近赤外蛍光の画像など）は、工程５２でモノクローム画像センサ２６から受信される。工程５４で、第一のカラー画像センサ２８および第二のカラー画像センサ３０から受信した画像を組み合わせて、高ダイナミックレンジ画像を作成する。工程５６で、モノクローム画像は、高ダイナミックレンジ画像とほぼ同じ解像度を有するように拡大縮小される。最後に、工程５８で、拡大縮小されたモノクローム画像を高ダイナミックレンジ画像と組み合わせて、高ダイナミックレンジおよび検出された非可視光の両方を有する最終画像を生成する。その後、最終画像を表示および保存することができる。

【0031】

先行技術に関連するデメリットを完全かつ効果的に克服する、高ダイナミックレンジの蛍光画像を作製するシステムおよび方法が、上記説明および図面に開示されている。しかしながら、本開示の実施の変形および修正が、本開示の原理から逸脱することなく行われてもよいことが明らかであろう。本明細書における実施の提示は、限定としてではなく、例示としてのみ提供され、本開示の真の範囲および精神は、以下の特許請求の範囲によって示される。

【図1】

【図2】

【国際調査報告】