特許 6884741 パルスカラー撮像システムにおける超解像度及び色運動アーチファクト補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6884741

(24)【登録日】2021年5月14日

(45)【発行日】2021年6月9日

(54)【発明の名称】パルスカラー撮像システムにおける超解像度及び色運動アーチファクト補正

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210531BHJP

   A61B 1/045 20060101ALI20210531BHJP

   A61B 1/06 20060101ALI20210531BHJP

   G02B 23/24 20060101ALI20210531BHJP

   G06T 3/40 20060101ALI20210531BHJP

   H04N 5/225 20060101ALI20210531BHJP

   H04N 5/235 20060101ALI20210531BHJP

   H04N 9/04 20060101ALI20210531BHJP

【ＦＩ】

   H04N5/232 290

   A61B1/045 611

   A61B1/045 630

   A61B1/06 611

   G02B23/24 B

   G06T3/40 730

   H04N5/225 500

   H04N5/225 600

   H04N5/235 400

   H04N9/04 B

【請求項の数】13

【全頁数】21

(21)【出願番号】特願2018-200672(P2018-200672)

(22)【出願日】2018年10月25日

(62)【分割の表示】特願2016-503139(P2016-503139)の分割

【原出願日】2014年3月14日

(65)【公開番号】特開2019-71609(P2019-71609A)

(43)【公開日】2019年5月9日

【審査請求日】2018年10月25日

(31)【優先権主張番号】61/790,487

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/790,804

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/791,473

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】513069064

【氏名又は名称】デピュイ・シンセス・プロダクツ・インコーポレイテッド

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】リチャードソン・ジョン

(72)【発明者】

【氏名】ブランカート・ローラン

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開平０７−２４０９３１（ＪＰ，Ａ）

【文献】 特表２０１１−５１４６０５（ＪＰ，Ａ）

【文献】 特表２００８−５１４３０４（ＪＰ，Ａ）

【文献】 特開２０１２−０２４４５０（ＪＰ，Ａ）

【文献】 特表２０１５−５２５６４２（ＪＰ，Ａ）

【文献】 特表２０１４−５１４７８２（ＪＰ，Ａ）

【文献】 特開２０００−２７０２３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ａ６１Ｂ １／０４５

Ａ６１Ｂ １／０６

Ｇ０２Ｂ ２３／２４

Ｇ０６Ｔ ３／４０

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ９／０４

(57)【特許請求の範囲】

【請求項1】

周辺光不足環境において内視鏡と共に使用するためのデジタル撮像システムの作動方法であって、
前記周辺光不足環境内に照明をもたらすようにエミッターを駆動させる工程と、
画素配列により検知された電磁放射に基づき生成された輝度（Ｙ）フレームを取得する工程と、
前記画素配列により検知された電磁放射に基づき生成された青色差（Ｃｂ）フレームを取得する工程と、
前記画素配列により検知された電磁放射に基づき生成された赤色差（Ｃｒ）フレームを取得する工程と、
前記画素配列中の充填された画素ごとに、２つの未充填画素を付与することにより、前記輝度（Ｙ）フレームを高解像度化させる工程であって、前記高解像度化させる工程が、輝度情報の双線形補間を実行する工程と、輝度情報の双三次補間を実行する工程と、高解像度化された輝度情報のベースラインを補間されていない輝度情報により同定する工程を含む、工程と
前記双線形補間により生成された輝度情報及び前記双三次補間により生成された輝度情報により前記未充填画素を充填する工程と、
前記輝度（Ｙ）フレーム内の画素ブロックを、前記高解像度化された輝度（Ｙ）フレーム内の画素ブロックに対してブロックマッチングすることにより、前記輝度（Ｙ）フレーム、前記青色差（Ｃｂ）フレーム及び、前記赤色差（Ｃｒ）フレーム間の撮像対象の運動を検出する工程と、
前記運動による影響を補正した前記青色差（Ｃｂ）フレーム及び前記赤色差（Ｃｒ）フレームを提供するために、前記運動により引き起こされた、前記輝度（Ｙ）フレームと、前記青色差（Ｃｂ）フレーム及び前記赤色差（Ｃｒ）フレームとの間の差を取り除くように、前記青色差（Ｃｂ）フレーム及び前記赤色差（Ｃｒ）フレーム内の画素ブロックをシフトする工程と、
前記運動による影響を補正した前記青色差（Ｃｂ）フレーム、前記運動による影響を補正した前記赤色差（Ｃｒ）フレーム及び、前記高解像度化された輝度（Ｙ）フレームを、１つの画像フレームを生成するように統合する工程と、
を含み、
前記エミッターを駆動させる工程が、１フレームおきに各フレームの相対エネルギーが直接輝度情報を提供するように設定され、当該フレームと交互のフレームにおいてクロミナンス情報を提供し、当該クロミナンス情報がＣｂとＣｒとの間で切り替わる、Ｙ−Ｃｂ−Ｙ−Ｃｒ順序によりパルスを発生させる工程を含む、デジタル撮像システムの作動方法

【請求項2】

種々のパルスの電磁放射線を所定の順序で照明をもたらすように前記エミッターを作動させる工程を更に含む、請求項１に記載の方法。

【請求項3】

前記方法が、前記検出された運動に基づいて前記エミッターのパルス発生及び前記検出された運動に起因する色アーチファクトを補正することを更に含む、請求項１に記載の方法。

【請求項4】

前記エミッターが、レーザダイオードである、請求項１に記載の方法。

【請求項5】

前記エミッターが、発光ダイオード（ＬＥＤ）である、請求項１に記載の方法。

【請求項6】

周辺光不足環境において内視鏡と共に使用するためのデジタル撮像システムの作動方法であって、
光不足環境内に照明をもたらすようにエミッターを駆動させる工程と、
画素配列により検知された電磁放射に基づき生成された輝度（Ｙ）フレームを取得する工程と、
前記画素配列により検知された電磁放射に基づき生成された青色差（Ｃｂ）フレームを取得する工程と、
前記画素配列により検知された電磁放射に基づき生成された赤色差（Ｃｒ）フレームを取得する工程と、
前記画素配列中の充填された画素ごとに、２つの未充填画素を付与することにより、前記輝度（Ｙ）フレームを高解像度化させる工程であって、前記高解像度化させる工程が、輝度情報の双線形補間を実行する工程と、輝度情報の双三次補間を実行する工程と、高解像度化された輝度情報のベースラインを補間されていない輝度情報により同定する工程を含む、工程と
前記双線形補間により生成された輝度情報及び前記双三次補間により生成された輝度情報により前記未充填画素を充填する工程と、
前記輝度（Ｙ）フレーム内の画素ブロックを、前記高解像度化された輝度（Ｙ）フレーム内の画素ブロックに対してブロックマッチングすることにより、前記輝度（Ｙ）フレーム、前記青色差（Ｃｂ）フレーム及び、前記赤色差（Ｃｒ）フレーム間の撮像対象の運動を検出する工程と、
前記運動による影響を補正した前記青色差（Ｃｂ）フレーム及び前記赤色差（Ｃｒ）フレームを提供するために、前記運動により引き起こされた、前記輝度（Ｙ）フレームと、前記青色差（Ｃｂ）フレーム及び前記赤色差（Ｃｒ）フレームとの間の差を取り除くように、前記青色差（Ｃｂ）フレーム及び前記赤色差（Ｃｒ）フレーム内の画素ブロックをシフトする工程と、
前記運動による影響を補正した前記青色差（Ｃｂ）フレーム、前記運動による影響を補正した前記赤色差（Ｃｒ）フレーム及び、前記高解像度化された輝度（Ｙ）フレームを、１つの画像フレームを生成するように統合する工程と、
前記エミッターによるパルスの発生及び前記検出された運動に起因する色アーチファクトを、前記検出された運動に基づき補正する工程と、
複数の画像フレームを統合することにより画像のストリームを生成する工程と、
を含み、
前記エミッターを駆動させる工程が、１フレームおきに各フレームの相対エネルギーが直接輝度情報を提供するように設定され、当該フレームと交互のフレームにおいてクロミナンス情報を提供し、当該クロミナンス情報がＣｂとＣｒとの間で切り替わる、Ｙ−Ｃｂ−Ｙ−Ｃｒ順序によりパルスを発生させる工程を含む、デジタル撮像システムの作動方法

【請求項7】

種々のパルスの電磁放射線を所定の順序で照明をもたらすように前記エミッターを作動させる工程を更に含む、請求項６に記載の方法。

【請求項8】

前記種々のパルスが緑の可視光スペクトル範囲のもの、赤の可視光スペクトル範囲のもの、および、青の可視光スペクトル範囲のものを含む、請求項７に記載の方法。

【請求項9】

前記種々のパルスのうちの１つが、電磁スペクトルの非可視域からのものである、請求項７に記載の方法。

【請求項10】

前記画素配列が、第１のパルス、第２のパルス、第３のパルスのうちのいずれかを均等に感知するように構築される、請求項７に記載の方法。

【請求項11】

前記画素配列が、前記電磁放射のいずれかのスペクトル範囲を感知するように構築される、請求項７に記載の方法。

【請求項12】

前記エミッターが、レーザダイオードである、請求項６に記載の方法。

【請求項13】

前記エミッターが、発光ダイオード（ＬＥＤ）である、請求項６に記載の方法。

【発明の詳細な説明】

【発明の概要】

【0001】

技術の進歩は、医療用途のための撮像能力の進歩をもたらした。最も有益な進歩のうちのいくつかを享受した１つの領域は、内視鏡を作り出す構成要素の進歩による、内視鏡手術手順のものである。

【0002】

本開示は、概して、電磁感知及びセンサーに関する。本開示はまた、概して、ビデオストリームの解像度及び色精度を上昇させることにも関する。本開示の特性及び利点は、以下の説明において示され、一部はその説明から明らかになり、又は過度な実験を伴わない本開示の実践によって知ることができる。本開示の特性及び利点は、添付の「特許請求の範囲」で具体的に指摘される器具及び組み合わせによって、理解し、得ることができる。

【図面の簡単な説明】

【0003】

本開示の非限定的及び非排他的な実装は、以下の図面を参照して記載され、同様の参照数値は、別途指示がない限り、種々の表示図を通して同様の部分を指す。本開示の利点は、以下の説明及び添付図面を考慮して、より良く理解されるだろう。

【図1】本開示の原理及び教示に従って作製される、光不足環境において画像を生成するための方法及びシステムのフローチャートを例示する。

【図2】ｘ及びｙ平面において構築される画素配列の概略図の一例である。

【図3】本開示の原理及び教示に従ってｘ及びｙ平面において構築される画素配列の概略図の一例である。

【図4】本開示の原理及び教示に従って、時間と共に撮像された対象物の運動のグラフィック表現である。

【図5】本開示の原理及び教示に従ってハードウェアを支援及び有効にする概略図を例示する。

【図6A】それぞれ、本開示の教示及び原理に従って３次元画像を生成するための複数の画素配列を有するモノリシックセンサーの実装の斜視図及び側面図を例示する。

【図6B】それぞれ、本開示の教示及び原理に従って３次元画像を生成するための複数の画素配列を有するモノリシックセンサーの実装の斜視図及び側面図を例示する。

【図7A】それぞれ、複数の基板上に組み込まれた撮像センサーの実装の斜視図及び側面図を例示し、画素配列を形成する複数の画素列は、第１の基板上に位置し、複数の回路列は、第２の基板上に位置し、画素の１列と回路網のその関連する又は対応する回路網の列との間の電気接続及び通信を示す。

【図7B】それぞれ、複数の基板上に組み込まれた撮像センサーの実装の斜視図及び側面図を例示し、画素配列を形成する複数の画素列は、第１の基板上に位置し、複数の回路列は、第２の基板上に位置し、画素の１列と回路網のその関連する又は対応する回路網の列との間の電気接続及び通信を示す。

【図8A】それぞれ、３次元画像を生成するための複数の画素配列を有する撮像センサーの実装の斜視図及び側面図を例示し、複数の画素配列及びその画像センサーは、複数の基板上に組み込まれる。

【図8B】それぞれ、３次元画像を生成するための複数の画素配列を有する撮像センサーの実装の斜視図及び側面図を例示し、複数の画素配列及びその画像センサーは、複数の基板上に組み込まれる。

【発明を実施するための形態】

【0004】

本開示は、主に医療用途に好適であり得るデジタル撮像のための方法、システム、及びコンピュータベースの製品に及ぶ。本開示の以下の説明では、本明細書の一部を形成し、その中で本開示が実践され得る特定の実装の実例として示される添付図面に言及がなされる。本開示の範囲を逸脱することなく、他の実装が利用されてもよく、構造変化が行われてもよいことが理解される。

【0005】

あらゆるデジタル撮像システムに関して、ビデオの最終品質は、根本的に、フロントエンドの画像電子的捕獲処理の工学詳細に左右される。大まかに言って、認識される画像品質は、以下の特性に依存する。
信号対雑音比（ＳＮＲ）
ダイナミックレンジ（ＤＲ）
空間解像度
可視の不自然なアーチファクトの認知
空間歪みの認知
色の忠実さ及び見栄え

【0006】

概して、多くの共通目的のためのカメラの製造業者は、より優れた小型化及び低価格に対する絶え間ない圧力に直面している。しかしながら、両方の要因は、高品質画像を供給するためのそれらの能力に対して悪影響を有し得る。

【0007】

より高価なカメラは、最高の空間解像度及び色分離を提供するため、プリズム及びフィルターの精巧な配置に正確に連結される３つの単色センサーを使用することが多い。単一センサーベースのカラーカメラは、一般的に、モザイク配置のセンサー上に組み立てられる個別の画素大の色フィルターを有する。最も一般的なモザイクは、緑データに対する空間解像度が赤又は青に対するものよりも重要であるという事実を利用するＢａｙｅｒパターンである。Ｂａｙｅｒベースのカメラは、はるかに安価で組み立てることができるが、そのパターンの間隔のため、３センサー手法によって実現される画像品質を実現することはできない。Ｍｉｃｒｏｓｏｆｔ ＲｅｓｅａｒｃｈのＭａｌｖａｒ、Ｈｅ、及びＣｕｔｌａｒによって提案されるもの等の高度な補間（デモザイク）アルゴリズムは、解像度損失を低下させることを補助するが、完全に取り戻すことはできない。別の望ましくない副作用は、黒及び白色のエッジの周りで特に目立つ、色分割パターンによって導入されるアーチファクトの形成である。これは、光学ＭＴＦを低下させることによって対処することができるが、それは、最終的なカメラの解像度を更に劣化させる場合がある。

【0008】

画素数が重要な特色である場合、市場で需要がある製品を作製するために、より小さい画素を必要とすることがある。より小さい画素は、当然ながら、より小さい信号容量を有し、それはダイナミックレンジを低減させ得る。光子ショット雑音の大きさは信号電荷の平方根に等しいため、より小さい信号容量はまた、最大可能信号対雑音比が低減することも意味する。画素面積を低下させることはまた、補足面積との割合でだけではなく、恐らく、むしろそれよりも大きい割合で感度も低減させる。これは、光子を感光性構造内に向け、そのようにして量子効率を維持することがより難しくなるからである。感度の損失は、Ｆ値を低下させることによって補うことができるが、しかしながら、これは焦点深度を低減させることがあり（これは解像度に影響する）、より大きな空間歪みを引き起こし得る。より小さい画素はまた、一貫して製造することが難しく、より大きい欠陥率等をもたらし得る。

【0009】

このため、画素をより小さくするよりもむしろ、解像度を改善するための他の方法を探すことが望ましい。本開示は、単色センサーが用いられる手法に関係する。色情報は、交互の単一波長（すなわち、赤、緑、及び青）又はそれらの組み合わせで異なるフレームを照らすことによって生成される。これは、３センサーカメラでそうであるように、全画素数を活用し、Ｂａｙｅｒアーチファクトを避けることを可能にする。フレーム単位の色切り替えの１つの課題は、フレームからフレームへの場面内で起こる運動から生じる。異なるフレームが異なる色構成要素を供給することから、不自然な色の着いた効果が、特に大幅なエッジの近辺で見えることがある。実装は、例えば、２４０ｆｐｓ程高い捕捉フレームレートが可能な完全カスタムセンサーを含んでもよい。そのような高いレートを利用できることで、色再構築後の高い順送りビデオレート（例えば、６０Ｐ以上）を可能にする。高捕捉率は、色運動アーチファクトの影響を制限するが、それらは、場面の、又はその中の任意の対象物の運動の、センサーに対する入射角速度によって、依然として見えることがある。

【0010】

実装は、赤、緑、及び青の単色源を組み合わせてパルスを発生をさせる、有色フレームパルス発生の手法を用いてもよい。１フレームおきに、それらの相対エネルギーは、直接輝度情報を提供するように、標準輝度（Ｙ）係数に比例して設定される。交互のフレーム上で、対応する個々のパルスエネルギーをゼロ又は正数にするために、標準輝度及びクロミナンス係数の線形和を作成することによって、クロミナンス（Ｃｂ及びＣｒ）情報が提供される。クロミナンスフレーム自体は、ＣｂとＣｒとの間を行ったり来たりする。これは、本明細書においてＹ−Ｃｂ−Ｙ−Ｃｒ順序と称される。この手法は、結果として生じる出力フレーム１つ当たりのＹ情報の全てが単一の捕捉フレームから導かれるため、純粋な赤、緑、及び青（Ｒ−Ｇ−Ｂ−Ｇ）パルス発生と比較して、認識解像度の点において利点を提示する。Ｒ−Ｇ−Ｂ−Ｇパルス発生を用いて、３つの隣接するフレームからのデータを組み合わせ、輝度を提供する。したがって、あらゆる運動が、結果として得られる画像鮮明度に影響するだろう。

【0011】

遠位端に配置される画像センサーを有する小径内視鏡のために設計されるシステムが実現されてもよく、それは、ＨＤ解像度、高い固有のダイナミックレンジ、及び高感度を同時に保つことができる。この基盤は、特別に設計された単色センサーであり、これは、例えば、１２８０×７２０ Ｂａｙｅｒセンサーよりも少ない画素を有するが、単色であることによって秀でた空間解像度を有する。画素数を犠牲にして比較的大きい画素を維持することは、先に考察されたように、画像品質に関する複数の利点を有する。

【0012】

本開示では、主要な超解像度（ＳＲ）を適用することによって認識解像度を更に向上し、ＳＲアルゴリズムによって抽出される運動情報を使用することによって、色（ＣＭＡＣ）のフレーム単位の調節から得られる色アーチファクトを補正するための方法が記載される。

【0013】

光不足環境において画像を生成するための構造、システム、及び方法を開示及び記載する前に、本開示は、本明細書で開示される特定の構造、構成、処理工程、及び材料がいくらか異なってもよいように、そのような構造、構成、処理工程、及び材料に限定されないことが理解されよう。また、本開示の範囲は添付の「特許請求の範囲」及びその同等物によってのみ制限されるため、本明細書で用いられる専門用語は特定の実施形態のみを記載する目的で使用され、制限であるとは意図されないことも理解されよう。

【0014】

本開示の主題の記載及び特許請求において、以下の専門用語は、以下に示される定義に従って使用されるだろう。

【0015】

本明細書及び添付の「特許請求の範囲」において使用される場合、文脈が別途明らかに指示しない限り、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は複数の指示物を含むことに留意しなければならない。

【0016】

本明細書で使用される場合、「含むこと（comprising）」、「含むこと（including）」、「含有すること」、「によって特徴付けられる」という用語及びそれらの文法的同等物は、追加の、列挙されない要素又は方法工程を除外しない包括的な、又は制約のない用語である。

【0017】

本明細書で使用される場合、「からなる」という語句及びその文法的同等物は、「特許請求の範囲」で特定されない任意の要素又は工程を除外する。

【0018】

本明細書で使用される場合、「から本質的になる」という語句及びそれらの文法的同等物は、特定される材料又は工程、及び特許請求される開示の基本の及び新しい特徴又は複数の特徴に物質的に影響しないものに特許請求の範囲を制限する。

【0019】

本明細書で使用される場合、「近位」という用語は、原点に最も近い部分の概念を広範に指すものである。

【0020】

本明細書で使用される場合、「遠位」という用語は、近位の反対、ゆえに、文脈により、原点からより遠い部分又は最も遠い部分の概念を一般的に指すものである。

【0021】

本明細書で使用される場合、色センサー又はマルチスペクトルセンサーは、入ってくる電磁放射線をその別々の構成要素内にフィルターをかけるように、その上にカラーフィルターアレイ（ＣＦＡ）を有することが知られているセンサーである。電磁スペクトルの視界では、そのようなＣＦＡは、光の緑、赤、及び青スペクトル構成要素に分離するために、その上にＢａｙｅｒパターン又は修正を組み込まれ得る。

【0022】

超解像度（ＳＲ）では、多数の隣接するフレームからのデータが組み合わされ、より高い空間解像度を有する個々のフレームを生成する。これは、場面の局所領域内の正確な運動検出に左右される。輝度平面が空間解像度に対して最も重要であることから、これは、輝度フレームに対して（又はＲ−Ｇ−Ｂ−Ｇ光パルス発生の場合、緑フレームに対して）のみ行われる。

【0023】

本明細書で開示されるシステム及び方法は、Ｙ−Ｃｂ−Ｃｒ光パルス発生スキームと照らし合わせて記載されるだろう。しかしながら、本開示のシステム及び方法は、その特定のパルス発生スキームに制限又は限定されず、ＧがＹの代わりをし、Ｒ及びＢがＣｒ及びＣｂの代わりをするＲ−Ｇ−Ｂ−Ｇ画像順序シナリオにも適用可能である。

【0024】

４種類の捕捉フレームが存在する。このため、例えば、ｆが、活動状態のビデオキャプチャーの間に繰り返し０から３まで数える、連続回転フレームインデックスであると想像されたい。

【0025】

すると、
（ｆ ｍｏｄ ４）＝０又は（ｆ ｍｏｄ ４）＝２の場合、それは純粋な輝度情報を含有するＹフレームである。

【0026】

（ｆ ｍｏｄ ４）＝１の場合、それはＹとＣｂデータとの線形和（Ｃｂ＋Ｙ）を含有する「Ｃｂ」フレームである。

【0027】

（ｆ ｍｏｄ ４）＝３の場合、それはＹとＣｒデータとの線形和（Ｃｒ＋Ｙ）を含有する「Ｃｒ」フレームである。

【0028】

フレーム再構築（色融合）の間、入力時点での各輝度フレームに対して生成された１つのフルカラーフレーム（ＹＣｂＣｒ空間に）が存在し得る。輝度データは、Ｙフレームの前のフレーム及びその後のフレームからのクロミナンスのデータと組み合わせてもよい。このパルス発生順序を仮定すると、Ｙフレームに対するＣｂフレームの位置は、交互のＹケースに対してスロット前とスロット後との間で行き来し（ping-pongs）、その補足的なＣｒ構成要素も同様に行き来することに留意されたい。ゆえに、各捕捉されたＣｂ又はＣｒ（すなわち、Ｃ）フレームからのデータは、２つの結果として得られるフルカラー画像において実際に利用することができる。最小フレーム待機時間は、Ｃフレーム捕捉の間に色融合処理を行うことによって提供され得る。

【0029】

図１は、本開示の原理及び教示に従って作製された光不足環境において画像、画像ストリーム、又はビデオを生成するための方法及びシステム１００のフローチャートを例示する。超解像度（ＳＲ）及び色運動アーチファクト補正（ＣＭＡＣ）処理１０６は、全てのデジタルセンサー補正処理１０４の直後、及びリニアＲＧＢ又はＹＣｂＣｒ空間色画像への融合の前に、未加工の捕捉されたセンサーデータ１０２に対してカメラＩＳＰ内で行われ得ることが理解されるだろう。図１は、Ｙ−Ｃｂ−Ｙ−Ｃｒシーケンス処理を用いたフレーム単位の色調節のために設計された一連のカメラＩＳＰ内の超解像度（ＳＲ）及び色運動アーチファクト補正（ＣＭＡＣ）の配置を例示する。

【0030】

２つのフレームＦＩＦＯは、一方は到着順にＹフレーム１１０に対して、他方はＣｂ及びＣｒフレーム１０８に対して、構築される。超解像度（ＳＲ）処理に使用されるフレームの数は、任意に異なってよい。Ｙ ＦＩＦＯ深度は、通常、実際の実施形態において異なってもよく、その大きさは、利用可能な処理、メモリ、若しくはメモリ処理量によって、又は運動検出の精密さ若しくは許容できる待機時間の判断によって決定され得る。ＣＭＡＣは、原理上は、Ｙに対して３フレーム及びＣに対して２フレームの最小ＦＩＦＯ深度で実行され得る。超解像度（ＳＲ）の態様では、５つの「Ｙ」フレームの使用は、より良い解像度をもたらすことができる。Ｙフレーム上では、現在の対象物フレームが、Ｙ ＦＩＦＯ中の中央フレームであり得る。クロミナンスフレームでは、それらの運動を中央Ｙフレームに並べるために、中央Ｙフレームの側面に位置する２つのＣフレームは調節され得る。

【0031】

本明細書に記載される運動検出方法は、構成可能な寸法の画素の小さい独立したブロックに対してｘ及びｙ運動ベクトルを提供する、ブロックマッチング手法に基づいていてもよい。原理上は、同様に使用され得る他の運動検出アルゴリズムが存在する。ブロックマッチングは、実装の簡潔さに対する、具体的には、ハードウェア中のリアルタイム処理に対する利点を提示する。ｘ及びｙにおける２倍の画素数を有する超解像フレームを提供する、２段階マッチ処理が記載される。画素数を更に増加させるために更なる段階が追加されてもよいが、しかしながら、多くのよりバッファされたフレーム及び計算は、それを価値があるようにすることを必要とし得る。

【0032】

Ｙ ＦＩＦＯ（ＲＹとして称される）の中央に位置する未加工のバッファされたＹ対象物フレームに加えて、その３つの２倍アップスケールされたバージョンが創出され得る。最初は双線形補間（バッファＢＬと称される）を使用して、２番目に双三次補間（バッファＢＣ）を使用して、３番目に補間を使用せずに、空の画素があるゼロ（ＮＩと称される）を使用して、アップスケールされ得る。ＢＬは、ブロックマッチング方法において使用されてもよく、ＮＩは、超解像フレームに対するベースラインを形成し、ＢＣは、超解像フレーム内の未充填画素のためのフォールバック画素ソースである。

【0033】

図２を参照すると、ｘ及びｙ平面において構築される画素配列２０１の概略図が例示される。ＲＹを除くバッファ中の各Ｙフレームに関して、配列は、何らかの寸法（例えば、４×４）の正方形ブロック２０６に分割され得る。画素２０２の各ブロック２０６は、ｘ及びｙの両方において、一度に１つの画素で、＋方向及び−方向の両方において何らかの定義されたシフト範囲内（例えば、＋／−３画素）でシフトされ得る。各位置に対して、それは、対象物フレーム、ＲＹのその位置にある画素２０４の同等ブロック２０８と比較され得る。最良のマッチ位置に対して出合うｘ及びｙシフトは、ブロック内の全ての画素に対する記録されたデカルト式運動座標となる。比較及び比較的好都合な測定基準を作製するための種々の方法が存在し得る。１つの実装は、ブロック中の全ての画素にわたって積算される画素差（すなわち、研究中のＲＹの固定画素２０４とブロック２０６の対応画素との間）の係数をとるものであってもよい。最良のマッチは、この最小値として解釈されてもよい。また、マッチング品質測定基準として各ブロックが記録されてもよく、それは、超解像度（ＳＲ）処理中に競合する画素間を解決するために使用され得る。実装では、平方差の最小和は、例えば、マッチング測定基準として使用され得る。

【0034】

ここで、図３を参照すると、この段階では、非ＲＹ、Ｙ−フレーム内の各画素３０２、捕捉された解像度で量子化された運動推定を有する。これは、超解像度（ＳＲ）の特性又は使用を提供しないことがあるが、それでも、超解像度（ＳＲ）が所望されない場合、ＣＭＡＣに対して使用することができる。２倍の超解像度が求められる場合、次の段階は、ＲＹバッファの代わりにＢＬバッファと比較する非ＲＹフレーム３０２内の画素３０６のブロックに関与する。（記録された運動ベクトルに従って）最良にシフトされた位置から開始して、シフトは、＋及び−１半画素で行われ、図３に最も良く例示されるように、合計９個の可能性のある位置を与える。研究下では、Ｙフレームの半画素は、ＢＬに対して１全画素である。これらの９個の可能性のある画素位置から、最良のマッチが再度決定され、記録された運動ベクトルは、それに応じて調節される。この段階における運動ベクトルが、半整数の構成要素（約７５％の確立を有する）を有する場合、次いで、最終解像度を向上する潜在性を有する。

【0035】

ＲＹが隣接する２つのＹフレームの運動ベクトルは、ＣＭＡＣ処理のために保存されてもよく、それはＣフレームの間に生じる。

【0036】

超解像度（ＳＲ）処理自体は、ＲＹバッファに対して固定される複数のＹフレームからのデータを中央超解像フレームへと組み合わせることを含み得る。非中央Ｙバッファのうちのそれぞれに関して、２倍アップスケールされたバージョンが生成され得、その中で個々のブロックがそれらの（ｘ、ｙ）運動ベクトルに従ってシフトされている。シフトの後に充填されない２倍解像度における任意の画素は、ブランクのままである。

【0037】

超解像フレームの基礎は、補間を有しないＲＹのアップスケールされたバージョンであるＮＩバッファである。ＮＩの全４つの画素のうち３つは、最初はブランクであってもよく、主要な目的は、アップスケールされた及びシフトされたＹバッファからのデータで画素を充填することである。１つの手法は、画素をスキャンし、各空の画素に対する第１のマッチを探すことであってもよい。最後に、依然としてブランクである任意の画素が、中央Ｙフレームの双三次補間されたバージョンであるＢＣバッファから充填されてもよい。ブランク画素を充填するための別の手法は、全ての可能性のある候補にアクセスし、運動推定品質測定基準として記録されているいくつかのパラメータに基づいて、最良の１つを選択することであってもよい。そのような測定基準の一例は、画素の発生ブロック又はいくつかのその派生物に対する絶対差の最小和であり得る。これは、Ｙフレーム１つ当たり少なくとも１つの追加のフレームバッファを必要とする。あるいは、全ての候補は、いくつかの方法で、例えば、例えば品質パラメータに従って加重され得る平均として、組み合わせることができる。この場合、ＮＩ中の非ゼロ画素でさえも、同様に代理となり得る。利益は、解像度の向上に加えて、正味の信号対雑音比が改善されることであり得る。特に劣った品質値を有する候補は、完全に拒否されてもよい。

【0038】

図４は、フレーム単位の色調節を用いるフレームからフレームへの大幅な運動の課題を例示する。図面では、捕捉中、場面を横切る軌道上で動くような、Ｙ、Ｃｂ、及びＣｒ構成要素に関して異なる位置をもたらすボール４０２が例示される。色運動ア−チファクト補正は、隣接するＹフレームに対する相対運動推定を利用して、Ｙフレームと比べて中間Ｃフレームに対して生じる運動を予測することができ、色融合の間に、それらはそこに関連付けられる。１つの実装は、運動ベクトルをとり、２で割ることであってもよい。この実装では、ＹフレームからＹフレームに生じた任意の運動が線形であるという想定が存在する。実装では、対象物フレーム（ＲＹ）に加えて３つ以上のＹフレームに対して運動推定が利用可能である場合、双三次補間が、より正確な補間のために用いられ得る。

【0039】

画素シフトは、双三次アップスケールに続いて、元の又は２倍の解像度のいずれかで行われてもよい。いずれの方法も、シフト後、充填されるべき、種々の無作為な形状及び大きさを有する多くの中空の位置が存在する。

【0040】

運動情報の適用は、超解像度（ＳＲ）と比較してＣＭＡＣに関して少々異なる。超解像度（ＳＲ）は、そのデフォルトとして、ＲＹの双三次アップスケールされたバージョンを有し、そのため、最悪の場合は、画素中空が、補正運動フレーム中のその１６個の最も接近した隣接物を使用する補間によって充填される。ＣＭＡＣに関して、最も近い充填された隣接物の距離の予測は存在しないことがあり、判明しているのは、２で分割された元のブロック捜索距離に制限されていることだけである（線形補間の場合において）。このため、補間のいくつかの手段は、空洞を充填することを必要とする。これを行う１つの実装は、各損失画素に対して、＋ｘ、−ｘ、＋ｙ、及び−ｙで最も近接した充填された画素への距離を発見し、次いで、各距離の逆数に従って加重された平均水準で充填することである。

【0041】

本明細書で使用される場合、「光」という用語は、粒子及び波長の両方であり、画素配列によって検出可能な電磁放射線を意味することが意図され、電磁放射線の可視及び不可視スペクトルからの波長を含み得ることに留意されたい。「仕切り」という用語は、全スペクトル未満の電磁スペクトルの事前に決定された波長の範囲、又は言い換えると、電磁スペクトルの一部を作り出す波長を意味するように本明細書で使用される。エミッターは、発せられる電磁スペクトルの部分、放出の強さ、若しくは放出の持続時間、又は３つ全てに制御可能な光源であり得る。エミッターは、ディザー放出、拡散放出、又は列化（columnated）放出のいずれかで光を発することができ、デジタル処理で、又はアナログの方法若しくはシステムを通して制御され得る。

【0042】

画像センサーの画素配列は、放出の受信及びシステム内で行われる調節の両方に対して、動作中それらが同期されるように、電子的にエミッターと対になり得る。エミッターは、対象物を照らすためにパルスを発生することができる電磁放射線を発するように調整され得る。エミッターは、対象物を照らすためにパルスを発生することができるレーザーの形態であってもよいことが理解されるだろう。エミッターは、操作及び画素配列の機能性に対応する間隔でパルスを発生することができる。エミッターは、画素配列が、電磁エネルギーを受容し、各々の特定の電磁仕切りと（遅れずに）対応するデータセットを生成するように、複数の電磁仕切り内で光のパルスを発する。

【0043】

システムは、任意の波長の電磁放射線に単に感受性である単色性の画素配列（黒及び白）を含んでもよい。図中に例示される光エミッターは、任意の所望の順序で緑の電磁仕切り、青の電磁仕切り、及び赤の電磁仕切りを発することができるレーザーエミッターであり得る。デジタル又はアナログベースのエミッター等の他の光エミッターが、本開示の範囲から逸脱することなく使用されてもよいことが理解されるだろう。

【0044】

動作中、任意の個別のパルスに対して単色性センサーによって創出されるデータは、特定の色仕切りに割り当てられてもよく、その割り当ては、エミッターからパルスを発生する色仕切りのタイミングに基づく。画素が色専用でないとしても、それらは、タイミングに基づく任意の所与のデータセットに対する色が割り当てられ得る。１つの実施形態では、赤、緑、及び青パルスを表す３つのデータセットが、次いで、組み合わせられて、単一の画像フレームを形成し得る。本開示は、任意の特定の色の組み合わせ又は任意の特定の電磁仕切りに制限されず、任意の色の組み合わせ又は任意の電磁仕切りは、本開示の範囲から逸脱することなく、全ての可視波長及び非可視波長を含む、シアン、マゼンタ、及び黄色、紫外線、赤外線、又は任意の他の色の組み合わせ等の赤、緑、及び青の代わりに使用されてもよいことが理解されるだろう。撮像される対象物は、赤部分、緑部分、及び青部分を含有する。図に例示されるように、電磁パルスからの反射光は、パルスを発生する色仕切りに対応する特定の色を有する対象物の部分に対するデータのみを含有する。それらの別々の色（又は色間隔）データセットは、次いで、データセットを組み合わせることによって、画像を再構築するために使用され得る。

【0045】

本開示の実装は、より詳細が以下に考察されるように、例えば、１つ又は２つ以上のプロセッサ及びシステムメモリ等のコンピュータハードウェアを含む、特殊目的用又は汎用コンピュータを含むか又はそれを利用してもよい。また、本開示の範囲内の実装は、コンピュータ実行可能命令及び／若しくはデータ構造を保有する又は保存するための物理的な及び他のコンピュータ可読媒体も含み得る。そのようなコンピュータ可読媒体は、汎用又は特殊目的用コンピュータシステムによってアクセスすることができる任意の利用可能な媒体であり得る。コンピュータ実行可能命令を保存するコンピュータ可読媒体は、コンピュータ記憶媒体（装置）である。コンピュータ実行可能命令を保有するコンピュータ可読媒体は、伝送媒体である。このため、例として、制限としてではなく、本開示の実装は、少なくとも２つのはっきりと異なる種類のコンピュータ可読媒体：コンピュータ記憶媒体（装置）及び伝送媒体を含み得る。

【0046】

コンピュータ記憶媒体（装置）には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ソリッドステートドライブ（「ＳＳＤ」）（例えば、ＲＡＭベースの）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、他の型のメモリ、他の光学ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶装置、又はコンピュータ実行可能命令若しくはデータ構造の形態で所望のプログラムコード手段を保存するために使用され、汎用若しくは特殊目的用コンピュータによってアクセスされ得る任意の他の媒体が挙げられる。

【0047】

「ネットワーク」は、コンピュータシステム及び／又はモジュール及び／又は他の電子装置の間の電子データの移送を可能にする１つ又は２つ以上のデータリンクと定義される。実装では、センサー及びカメラ制御ユニットは、互いに、及びそれらが接続されるネットワークを介して接続される他の構成要素と通信するために、ネットワーク接続され得る。情報がネットワーク又は別の通信接続（配線接続された、無線、又は配線接続された若しくは無線の組み合わせのいずれか）を介してコンピュータに伝送又は提供される場合、コンピュータは、伝送媒体として接続を適切に見る。伝送媒体は、コンピュータ実行可能命令又はデータ構造の形態で所望のプログラムコード手段を保有するために使用することができ、汎用又は特殊目的用コンピュータによってアクセスされ得るネットワーク及び／又はデータリンクを含み得る。上記の組み合わせは、コンピュータ可読媒体の範囲内に含まれるべきでもある。

【0048】

更に、種々のコンピュータシステム構成要素に達すると、コンピュータ実行可能命令又はデータ構造の形態のプログラムコード手段は、伝送媒体からコンピュータ記憶媒体（装置）に（あるいはその逆）自動的に伝送され得る。例えば、ネットワーク又はデータリンクを介して受信されるコンピュータ実行可能命令又はデータ構造は、ネットワークインターフェイスモジュール（例えば、「ＮＩＣ」）内のＲＡＭにバッファされてもよく、次いで、最終的に、コンピュータシステムＲＡＭに、及び／又はコンピュータシステムでより揮発性の低いコンピュータ記憶媒体（装置）に伝送され得る。ＲＡＭはまた、ソリッドステートドライブ（ＳＳＤ又はＦｕｓｉｏｎＩＯ等のＰＣＩｘベースのリアルタイムメモリ階層型記憶装置）も含み得る。このため、コンピュータ記憶媒体（装置）は、同様に（又はむしろ主として）伝送媒体も利用するコンピュータシステム構成要素に含まれてもよいことが理解されるべきである。

【0049】

コンピュータ実行可能命令は、例えば、プロセッサで実行されるとき、汎用コンピュータ、特殊目的用コンピュータ、又は特殊目的用処理装置に、ある特定の機能又は機能の集団を実行させる命令及びデータを含む。コンピュータ実行可能命令は、例えば、アセンブリ言語又は更にはソースコード等のバイナリ、中間フォーマット命令であってもよい。本主題は、構造特性及び／又は方法論的行為に特有の言語で記載されたが、添付の「特許請求の範囲」において定義される主題が、上述の特性又は行為に必ずしも限定されるものではないことが理解されるべきである。むしろ、記載の特性及び行為は、「特許請求の範囲」を実装する例示的形態として開示される。

【0050】

当業者であれば、本開示は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、ハンドヘルド装置、ハンドピース、マルチプロセッサシステム、マイクロプロセッサベースの若しくはプログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ポケットベル、ルータ、スイッチ、種々の記憶装置等を含む、多くの型のコンピュータシステム構成を有するネットワークコンピューティング環境で実践され得ることを理解するだろう。前述のコンピューティング装置のうちのいずれかは、ブリック・アンド・モルタル型ロケーションによって提供されるか、又はその中に位置し得ることに留意されたい。本開示はまた、（配線接続されたデータリンク、無線データリンク、又は配線接続及び無線データリンクの組み合わせのいずれかによって）ネットワークを通して連結されるローカル及び遠隔コンピュータシステムの両方がタスクを実行する分散型システム環境で実践され得る。分散型システム環境では、プログラムモジュールは、ローカル及び遠隔メモリ記憶装置の両方に位置してもよい。

【0051】

更に、適切な場合、本明細書に記載される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、又はアナログ構成要素のうちの１つ又は２つ以上において実行され得る。例えば、１つ又は２つ以上の特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイは、本明細書に記載されるシステム及び手順のうちの１つ又は２つ以上を行うように、プログラムされ得る。ある特定の用語は、以下の説明及び「特許請求の範囲」全体を通して、特定のシステム構成要素を指すために使用される。当業者であれば理解するように、構成要素は、異なる名称で称され得る。本明細書は、名称が異なるが、機能が異ならない構成要素間を区別することは意図しない。

【0052】

図５は、例示的コンピューティング装置５００を例示するブロック図である。コンピューティング装置５００は、本明細書で考察されるもの等の種々の手順を実行するために使用することができる。コンピューティング装置５００は、サーバー、クライアント、又は任意の他のコンピューティング実体として機能することができる。コンピューティング装置は、本明細書で考察される種々の監視機能を実行することができ、本明細書に記載されるアプリケーションプログラム等の１つ又は２つ以上のアプリケーションプログラムを実行することができる。コンピューティング装置５００は、デスクトップコンピュータ、ノートブックコンピュータ、サーバーコンピュータ、ハンドヘルドコンピュータ、カメラ制御ユニット、タブレットコンピュータ等の多種多様のコンピューティング装置のうちのいずれかであり得る。

【0053】

コンピューティング装置５００は、１つ又は２つ以上のプロセッサ（複数可）５０２、１つ又は２つ以上のメモリ装置（複数可）５０４、１つ又は２つ以上のインターフェイス（複数可）５０６、１つ又は２つ以上の大容量記憶装置（複数可）５０８、１つ又は２つ以上の入力／出力（Ｉ／Ｏ）装置（複数可）５１０、及びディスプレイ装置５３０を含み、それら全ては、バス５１２に連結される。プロセッサ（複数可）５０２は、メモリ装置（複数可）５０４及び／又は大容量記憶装置（複数可）５０８に保存された命令を実行する１つ又は２つ以上のプロセッサ又はコントローラを含む。プロセッサ（複数可）５０２はまた、キャッシュメモリ等の種々の型のコンピュータ可読媒体も含み得る。

【0054】

メモリ装置（複数可）５０４は、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）５１４）及び／又は不揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）５１６）等の種々のコンピュータ可読媒体を含む。メモリ装置（複数可）５０４はまた、Ｆｌａｓｈメモリ等の書換可能ＲＯＭも含み得る。

【0055】

大容量記憶装置（複数可）５０８は、磁気テープ、磁気ディスク、光学ディスク、ソリッドステートメモリ（例えば、Ｆｌａｓｈメモリ）等の種々のコンピュータ可読媒体を含む。図５に示されるように、特定の大容量記憶装置は、ハードディスクドライブ５２４である。種々のドライブは、種々のコンピュータ可読媒体からの読み出し及び／又はそこへの書き込みを可能にするように、大容量記憶装置（複数可）５０８に含まれてもよい。大容量記憶装置（複数可）５０８は、取り外し可能な媒体５２６及び／又は取り外し不可能な媒体を含む。

【0056】

Ｉ／Ｏ装置（複数可）５１０は、データ及び／又は他の情報がコンピューティング装置５００に入力される、又はそこから検索されることを可能にする種々の装置を含む。例示的Ｉ／Ｏ装置（複数可）５１０は、デジタル撮像装置、電磁センサー及びエミッター、カーソル制御装置、キーボード、キーパッド、マイク、モニター又は他のディスプレイ装置、スピーカー、プリンター、ネットワークインターフェイスカード、モデム、レンズ、ＣＣＤ又は他の画像キャプチャー装置等を含む。

【0057】

ディスプレイ装置５３０は、情報を１人又は２人以上のコンピューティング装置５００のユーザに表示することができる任意の型の装置を含む。ディスプレイ装置５３０の例には、モニター、ディスプレイ端末、ビデオ投影装置等が挙げられる。

【0058】

インターフェイス（複数可）１０６は、コンピューティング装置５００が他のシステム、装置、又はコンピューティング環境と相互作用することを可能にする種々のインターフェイスを含む。例示的インターフェイス（複数可）５０６は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、及びインターネットへのインターフェイス等の任意の数の異なるネットワークインターフェイス５２０を含んでもよい。他のインターフェイス（複数可）は、ユーザーインターフェイス５１８及び周辺装置インターフェイス５２２を含む。インターフェイス（複数可）５０６はまた、１つ又は２つ以上のユーザーインターフェイス要素５１８も含み得る。インターフェイス（複数可）５０６はまた、プリンター、ポインティング装置（マウス、トラックパッド等）、キーボード等に対するインターフェイス等の１つ又は２つ以上の周辺インターフェイスも含み得る。

【0059】

バス５１２は、プロセッサ（複数可）５０２、メモリ装置（複数可）５０４、インターフェイス（複数可）５０６、大容量記憶装置（複数可）５０８、及びＩ／Ｏ装置（複数可）５１０が、互いに、並びにバス５１２に連結される他の装置又は構成要素と通信することを可能にする。バス５１２は、システムバス、ＰＣＩバス、ＩＥＥＥ １３９４バス、ＵＳＢバス等のいくつかの型のバス構造のうちの１つ又は２つ以上を表す。

【0060】

プログラム及び他の実行可能プログラム構成要素が、コンピューティング装置５００の異なる記憶構成要素において種々の時点で存在し得、プロセッサ（複数可）５０２によって実行されることが理解されるが、例示目的のため、そのようなプログラム及び構成要素は、離散ブロックとして本明細書に示される。あるいは、本明細書に記載されるシステム及び手順は、ハードウェア、又はハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせにおいて実装され得る。例えば、１つ又は２つ以上の特定用途向け集積回路（ＡＳＩＣ）は、本明細書に記載されるシステム及び手順のうちの１つ又は２つ以上を行うようにプログラムされ得る。

【0061】

ここで、図６Ａ及び６Ｂを参照すると、図は、それぞれ、本開示の教示及び原理に従って３次元画像を生成するための複数の画素配列を有するモノリシックセンサー６００の実装の斜視図及び側面図を例示する。そのような実装は、３次元画像キャプチャーに対して望ましい場合があり、２つの画素配列６０２及び６０４は、使用中、相殺され得る。別の実装では、第１の画素配列６０２及び第２の画素配列６０４は、所定の範囲の電磁放射線の波長の受信に割り当てられてもよく、この場合、第１の画素配列６０２は、第２の画素配列６０４とは異なる範囲の電磁放射線の波長に割り当てられる。

【0062】

図７Ａ及び７Ｂは、それぞれ、複数の基板上に組み込まれた撮像センサー７００の実装の斜視図及び側面図を例示する。例示されるように、画素配列を形成する複数の画素列７０４は、第１の基板７０２上に位置し、複数の回路列７０８は、第２の基板７０６上に位置する。画素の１列と、回路網のその関連する又は対応する列との間の電気接続及び通信も図に例示される。１つの実装では、別様では、単一のモノリシック基板／チップ上のその画素配列及び支援回路網を用いて製造され得る画像センサーは、その支援回路網の全て又は大半から分離した画素配列を有し得る。本開示は、３次元積層技術を使用して一緒に積層されるだろう少なくとも２つの基板／チップを使用することができる。２つのうちの第１の基板／チップ７０２は、画像ＣＭＯＳ処理を使用して処理され得る。第１の基板／チップ７０２は、画素配列のみ、又は制限回路によって囲まれた画素配列のいずれかで構成され得る。第２又は後続の基板／チップ７０６は、任意の処理を使用して処理され得、画像ＣＭＯＳ処理からのものでなくてもよい。第２の基板／チップ７０６は、これらに限定されないが、様々な及びいくつかの機能を基板／チップ上の極めて限られた空間若しくは領域に統合するための高密度デジタル処理、又は例えば、緻密なアナログ機能を統合するための混合モード若しくはアナログ処理、又は、無線能力を実装するためのＲＦ処理、又はＭＥＭＳ装置を統合するためのＭＥＭＳ（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）であり得る。画像ＣＭＯＳ基板／チップ７０２は、任意の３次元技法を使用して、第２又は後続の基板／チップ７０６と積層され得る。第２の基板／チップ７０６は、別様では、周辺回路として第１の画像ＣＭＯＳチップ７０２（モノリシック基板／チップ上に実装される場合）に実装され得、ゆえに、画素配列の大きさを一定に保持したまま、全システム領域を上昇させ、最大限可能な範囲に最適化した、回路網のほとんど、又はその大半を支援し得る。２つの基板／チップ間の電気接続は、ワイヤボンド、バンプ、及び／又はＴＳＶ（Ｔｈｒｏｕｇｈ Ｓｉｌｉｃｏｎ Ｖｉａ）であり得る相互連結７０３及び７０５によって完了され得る。

【0063】

図８Ａ及び８Ｂは、それぞれ、３次元画像を生成するための複数の画素配列を有する撮像センサー８００の実装の斜視図及び側面図を例示する。３次元画像センサーは、複数の基板上に組み込まれてもよく、複数の画素配列及び他の関連回路網を含んでもよく、第１の画素配列を形成する複数の画素列８０４ａ及び第２の画素配列を形成する複数の画素列８０４ｂは、それぞれ、個別の基板８０２ａ及び８０２ｂ上に位置し、複数の回路列８０８ａ及び８０８ｂは、個別の基板８０６上に位置する。また、画素の列と、回路網の関連する又は対応する列との間の電気接続及び通信も例示される。

【0064】

本開示の教示及び原理は、本開示の範囲から逸脱することなく、再利用可能な装置プラットフォーム、限定用途装置プラットフォーム、再使用（re-posable）用途装置プラットフォーム、又は単一用途／使い捨て装置プラットフォームにおいて使用され得ることが理解されるだろう。再使用可能な装置プラットフォームでは、エンドユーザーが、装置の洗浄及び滅菌の責任を負うことが理解されるだろう。限定用途装置プラットフォームでは、装置は、操作不能になる前に、いくつかの特定の回数使用され得る。典型的な新しい装置は、滅菌で届けられ、更なる使用は、更なる使用の前に、エンドユーザーが洗浄及び滅菌する必要がある。再使用（re-posable）用途装置プラットフォームでは、第三者が、新たなユニットよりも低い費用で更なる用途のために、装置、単一用途装置を再処理することができる（例えば、洗浄、梱包、及び滅菌）。単一用途／使い捨て装置プラットフォームでは、装置は、手術室に滅菌で提供され、処分される前に一度だけ使用される。

【0065】

加えて、本開示の教示及び原理は、赤外線（ＩＲ）、紫外線（ＵＶ）、及びＸ線等の可視並びに非可視スペクトルを含む、電磁エネルギーの任意及び全ての波長を含み得る。

【0066】

本明細書で開示される種々の特性は、当該技術分野に著しい利点及び発展を提供することが理解されるだろう。以下の実施形態は、それらの特性のうちのいくつかの例である。

【0067】

前述の「発明を実施するための形態」では、本開示の種々の特性は、本開示の合理化の目的のために単一の実施形態に一緒にグループ化される。この開示の方法は、特許請求される開示が、各請求項で明白に列挙されている特性よりも多くの特性を必要とするという意図を反映するものとして解釈されるものではない。むしろ、発明の態様は、単一の前述の開示された実施形態の全ての特性よりも少なくある。

【0068】

前述の配置は、本開示の原理の適用の例に過ぎないことを理解されたい。多数の修正及び代替の配置が、本開示の趣旨及び範囲から逸脱することなく、当業者によって考案されてもよく、添付の「特許請求の範囲」は、そのような修正及び配置を包含することが意図される。

【0069】

このため、本開示は、図中に示され、入念及び詳細に上に記載されたが、大きさ、材料、形状、形態、動作の機能及び方法、アセンブリ、並びに用途の変更が挙げられるが、これらに限定されない多数の修正が、本明細書に示される原理及び概念から逸脱することなく行われてもよいことが、当業者には明らかであるだろう。

【0070】

前述の説明は、例示及び説明の目的のために提示された。包括的であるか、又は開示された厳密な形態に本開示を制限することも意図されていない。上述の教示の観点から、多くの修正及び変形が可能である。更に、前述の代替となる実装のいずれか又は全ては、本開示の更なる混成の実装を形成するのに所望される任意の組み合わせにおいて使用されてもよいことに留意すべきである。

【0071】

更に、本開示の特定の実装が記載及び例示されたが、本開示は、そのように記載及び例示される特定の形態又は部品の配置に制限されるものではない。本開示の範囲は、本明細書に添付される「特許請求の範囲」、本出願及び異なる出願で提出されるあらゆる将来の特許請求の範囲、並びにそれらの同等物によって定義されるものである。

【0072】

〔実施の態様〕
（１） 周辺光不足環境において内視鏡と共に使用するためのデジタル撮像方法であって、
電磁放射線の波長のパルスを発するようにエミッターを作動させ、前記光不足環境内に照明をもたらすことであって、
前記パルスが、電磁スペクトルの第１の部分を含む第１の波長範囲内にある、照明をもたらすことと、
所定の間隔で前記エミッターにパルスを発生させることと、
画素配列で前記パルスからの反射電磁放射線を感知することであって、
前記画素配列が、前記エミッターの前記パルス間隔に対応する感知間隔で作動する、感知することと、
撮像されている対象物の運動を検出することと、
前記検出された運動を補うことによって、前記画素配列の解像度を上昇させることと、
複数の感知された反射電磁エネルギーをフレームへと組み合わせることによって、画像のストリームを創出することと、を含む、方法。
（２） 解像度を上昇させることが、
複数の隣接画素の発光を感知して、輝度データを集めることと、
前記輝度データを第１のアップスケールされたデータセットに双線形補間することと、
前記輝度データを第２のアップスケールされたデータセットに双三次補間することと、
前記輝度データの補間を有しないベースラインを、第３のアップスケールされたデータセットに創出することと、を含む、実施態様１に記載の方法。
（３） 前記感知処理が、ビデオストリームを形成する画像のストリーム中の隣接画像における輝度、及び輝度とクロミナンスとの線形和を感知することを含む、実施態様１に記載の方法。
（４） 回転フレームインデックスを用いて前記ビデオストリーム内のフレームにインデックスを付けることを更に含む、実施態様３に記載の方法。
（５） 前記回転フレームインデックスが、４カウントを有する、実施態様４に記載の方法。

【0073】

（６） 先のインデックス付けされたフレームからの輝度及びクロミナンスのデータを組み合わせることによって、前記ビデオストリームを再構築することを更に含む、実施態様５に記載の方法。
（７） 先のインデックス付けされたフレーム及び後のインデックス付けされたフレームからの輝度及びクロミナンスのデータを組み合わせることによって、前記ビデオストリームを再構築することを更に含む、実施態様５に記載の方法。
（８） 輝度に対する１つのフレーム及びクロミナンスに対する２つのフレームを再構築することを更に含む、実施態様５に記載の方法。
（９） 上昇した解像度及び精度のために、複数の先のインデックス付けされたフレーム及び複数の後のインデックス付けされたフレームからの輝度及びクロミナンスのデータを組み合わせることによって、前記ビデオストリームを再構築することを更に含む、実施態様５に記載の方法。
（１０） 前記第１のアップスケールされたデータセットが、ブロックマッチングのために使用される、実施態様２に記載の方法。

【0074】

（１１） 前記第２のアップスケールされたデータセットが、フォールバック画素データのために使用される、実施態様２に記載の方法。
（１２） 前記第３のアップスケールされたデータセットが、解像度向上データセットのための前記ベースラインを形成する、実施態様２に記載の方法。
（１３） 前記画素配列によって創出されたデータを、画素及び最も近い隣接物のセグメントに分割することを更に含む、実施態様１に記載の方法。
（１４） ｘ方向における撮像されている対象物の運動を決定するために、画素の各セグメントをｘ方向にシフトすることと、前記同じ解像度で、隣接するフレームと比較することと、を更に含む、実施態様１３に記載の方法。
（１５） 画素の各セグメントを副画素インクリメント（sub-pixel increments）でｘ方向にシフトすることと、ｘ方向における運動検出のより優れた精密さのために、前記第１のアップスケールされたデータセットと比較することと、を更に含む、実施態様１４に記載の方法。

【0075】

（１６） ｙ方向における撮像されている対象物の運動を決定するために、画素の各セグメントをｙ方向にシフトすることと、前記同じ解像度で、隣接するフレームと比較することと、を更に含む、実施態様１４に記載の方法。
（１７） 画素の各セグメントを副画素インクリメントでｙ方向にシフトすることと、ｙ方向における運動検出のより優れた精密さのために、前記第１のアップスケールされたデータセットと比較することと、を更に含む、実施態様１６に記載の方法。
（１８） 前記撮像されている対象物のｘ運動とｙ運動とを組み合わせることによって、前記対象物の前記運動のベクトルを決定することを更に含む、実施態様１６に記載の方法。
（１９） 多数の輝度フレームからのデータを、単一のより高い解像度の輝度フレームに組み合わせるために、運動を推定することを更に含む、実施態様１８に記載の方法。
（２０） 前記処理が、連続した順序で輝度データを含有するフレーム毎に繰り返される、実施態様１９に記載の方法。

【0076】

（２１） 隣接する輝度フレーム間の前記運動推定を利用して、補間によって、輝度フレームに対する前記クロミナンスデータを含有する、前記中間フレームにおける前記運動を推測することを更に含む、実施態様２０に記載の方法。
（２２） 前記処理が、連続した順序でクロミナンスデータを含有するフレーム毎に繰り返される、実施態様２１に記載の方法。
（２３） 電磁放射線の複数のパルスを順次発するように前記エミッターを作動させ、照明をもたらすことであって、
第１のパルスが、電磁スペクトルの一部分に過ぎない第１の範囲内にあり、
第２のパルスが、電磁スペクトルの一部分に過ぎない第２の範囲内にあり、
第３のパルスが、電磁スペクトルの一部分に過ぎない第３の範囲内にある、照明をもたらすことと、
所定の間隔で前記パルスを発生させること（pulsing said pulses）であって、
前記画素配列が、前記第１のパルスの前記パルス間隔に対応する第１の感知間隔で作動し、
前記画素配列が、前記第２のパルスの前記パルス間隔に対応する第２の感知間隔で作動し、
前記画素配列が、前記第３のパルスの前記パルス間隔に対応する第３の感知間隔で作動する、パルスを発生させることと、を更に含む、実施態様１に記載の方法。
（２４） ブランキング間隔が、前記第１のパルス、第２のパルス、第３のパルスのいずれかの間隔の一部分と同時期である、実施態様２３に記載の方法。
（２５） 前記方法が、前記検出された運動に基づいて前記エミッターの前記パルス発生及び前記検出された運動に起因する色アーチファクトを補正することを更に含む、実施態様１に記載の方法。

【0077】

（２６） 前記エミッターが、レーザダイオードである、実施態様１に記載の方法。
（２７） 前記エミッターが、発光ダイオード（ＬＥＤ）である、実施態様１に記載の方法。
（２８） 周辺光不足環境において内視鏡と共に使用するためのデジタル撮像方法であって、
電磁放射線の波長のパルスを発するようにエミッターを作動させ、前記光不足環境内に照明をもたらすこととであって、
前記パルスが、電磁スペクトルの第１の部分を含む第１の波長範囲内にある、照明をもたらすことと、
所定の間隔で前記エミッターにパルスを発生させることと、
画素配列で前記パルスからの反射電磁放射線を感知することであって、
前記画素配列が、前記エミッターの前記パルス間隔に対応する感知間隔で作動する、感知することと、
撮像されている対象物の運動を検出することと、
前記検出された運動を補うことによって、前記画素配列の解像度を上昇させることと、
前記検出された運動に基づいて前記エミッターの前記パルス発生及び前記検出された運動に起因する色アーチファクトを補正することと、
複数の感知された反射電磁エネルギーをフレームへと組み合わせることによって、画像のストリームを創出することと、を含む、方法。
（２９） 上昇させることが、
複数の隣接画素の発光を感知して、輝度データを集めることと、
前記輝度データを第１のアップスケールされたデータセットに双線形補間することと、
前記輝度データを第２のアップスケールされたデータセットに双三次補間することと、
前記輝度データの補間を有しないベースラインを、第３のアップスケールされたデータセットに創出することと、を含む、実施態様２８に記載の方法。
（３０） 前記第１のアップスケールされたデータセットが、ブロックマッチングのために使用される、実施態様２９に記載の方法。

【0078】

（３１） 前記第２のアップスケールされたデータセットが、フォールバック画素データのために使用される、実施態様２９に記載の方法。
（３２） 前記第３のアップスケールされたデータセットが、解像度向上データセットの基礎を形成する、実施態様２９に記載の方法。
（３３） 前記画素配列によって創出されたデータを、画素及び最も近い隣接物のセグメントに分割することを更に含む、実施態様２８に記載の方法。
（３４） ｘ方向における撮像されている対象物の運動を決定するために、画素の各セグメントをｘ方向にシフトすることを更に含む、実施態様３３に記載の方法。
（３５） ｙ方向における撮像されている対象物の運動を決定するために、画素の各セグメントをｙ方向にシフトすることを更に含む、実施態様３４に記載の方法。

【0079】

（３６） 前記撮像されている対象物のｘ運動とｙ運動とを組み合わせることによって、前記対象物の前記運動のベクトルを決定することを更に含む、実施態様３５に記載の方法。
（３７） 前記画像のストリームのフレーム間の画素差の前記係数を説明すること（accounting for）によって、前記撮像されている対象物の前記運動をプロットすることを更に含む、実施態様３６に記載の方法。
（３８） 電磁放射線の複数のパルスを順次発するように前記エミッターを作動させ、照明をもたらすことであって、
第１のパルスが、電磁スペクトルの一部分に過ぎない第１の範囲内にあり、
第２のパルスが、電磁スペクトルの一部分に過ぎない第２の範囲内にあり、
第３のパルスが、電磁スペクトルの一部分に過ぎない第３の範囲内にある、照明をもたらすことと、
所定の間隔で前記パルスを発生させることであって、
前記画素配列が、前記第１のパルスの前記パルス間隔に対応する第１の感知間隔で作動し、
前記画素配列が、前記第２のパルスの前記パルス間隔に対応する第２の感知間隔で作動し、
前記画素配列が、前記第３のパルスの前記パルス間隔に対応する第３の感知間隔で作動する、パルスを発生させることと、を更に含む、実施態様２８に記載の方法。
（３９） 較正間隔に光を発しないように前記エミッターを作動させることと、前記較正間隔中に前記画素配列を作動させることと、を更に含む、実施態様３８に記載の方法。
（４０） 前記画素配列が前記較正間隔中に光を感知した場合、更なるパルスを停止することを更に含む、実施態様３８に記載の方法。

【0080】

（４１） ブランキング間隔が、前記第１の光線、第２の光線、第３の光線のいずれの間隔とも同時期でない、実施態様３８に記載の方法。
（４２） ブランキング間隔が、前記第１のパルス、第２のパルス、第３のパルスのいずれかの間隔の一部分と同時期である、実施態様３８に記載の方法。
（４３） 前記パルスが緑の可視光スペクトル範囲のものであり、前記第２のパルスが赤の可視光スペクトルのものであり、前記第３のパルスが青の可視光スペクトルのものである、実施態様３８に記載の方法。
（４４） 前記パルスのうちの１つが、電磁スペクトルの非可視域からのものである、実施態様３８に記載の方法。
（４５） 前記センサーが、前記第１のパルス、第２のパルス、第３のパルスのうちのいずれかを均等に感知するように構築される、実施態様３８に記載の方法。

【0081】

（４６） 前記センサーが、前記電磁スペクトルのいずれかのスペクトル範囲を感知するように構築される、実施態様３８に記載の方法。
（４７） 前記エミッターが、レーザダイオードである、実施態様２８に記載の方法。
（４８） 前記エミッターが、発光ダイオード（ＬＥＤ）である、実施態様２８に記載の方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】