特表 2024-533111 異なる内視鏡ユニットを用いて取得した画像の位置合わせ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】異なる内視鏡ユニットを用いて取得した画像の位置合わせ

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240905BHJP

   A61B 1/00 20060101ALI20240905BHJP

【ＦＩ】

A61B1/045 622

A61B1/00 511

A61B1/045 614

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024513706

(86)(22)【出願日】2022-09-12

(85)【翻訳文提出日】2024-04-24

(86)【国際出願番号】 EP2022075238

(87)【国際公開番号】W WO2023041469

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】21197266.6

(32)【優先日】2021-09-16

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】522166138

【氏名又は名称】サージビジョン・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＳｕｒｇＶｉｓｉｏｎ ＧｍｂＨ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(74)【代理人】

【識別番号】100100479

【弁理士】

【氏名又は名称】竹内 三喜夫

(72)【発明者】

【氏名】タルティス，アドリアン

(72)【発明者】

【氏名】コッホ，マクシミリアン

(72)【発明者】

【氏名】ボズコ，ドミトリー

(72)【発明者】

【氏名】クラトゥンチェヴァ，ゲルガナ

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161CC06

4C161DD03

4C161NN01

4C161NN05

4C161NN09

4C161QQ02

4C161QQ04

4C161QQ07

4C161WW03

4C161WW04

4C161WW06

4C161WW17

(57)【要約】

内視鏡システム（１００）を用いて患者（１０６）の身体部分（１０３）を撮像するための手法が提案される。対応する方法（５００）が、両者間で移動可能な対応する内視鏡ユニット（１１５ｍ，１１５ｂ）の異なるプローブ（１２７ｎ，１２７ｂ）を用いて２つの一連の画像を取得するステップ（５０９～５１５）を含む。２つのシーケンスにおける各ペアの対応する画像は、例えば、対応する画像に従ってそれぞれ独立して推定される、これらのプローブ（１２７ｎ，１２７ｂ）の対応する動きに従って位置合わせされる（５１８～５８４）。画像を位置合わせするために使用できるニューラルネットワーク（４３９）を訓練するための方法（８００）も提案される。内視鏡システム（１００）を動作させ、ニューラルネットワーク（４３９）を訓練するための対応するコンピュータプログラム（４００；７００）およびコンピュータプログラム製品が提案される。

【特許請求の範囲】

【請求項1】

内視鏡システム（１００）を用いて患者（１０６）の身体部分（１０３）を撮像するための方法（５００）であって、
内視鏡システム（１００）の第１内視鏡ユニット（１１５ｍ）を用いて、第１内視鏡ユニット（１１５ｍ）の第１プローブ（１２７ｍ）を介して、身体部分（１０３）の少なくとも一部を含む第１視野（２２１ｍ）の複数の第１画像の第１シーケンスを取得するステップ（５１５）と、
内視鏡システム（１００）の第２内視鏡ユニット（１１５ｂ）を用いて、第１プローブ（１２７ｍ）に対して移動可能である第２内視鏡ユニット（１１５ｂ）の第２プローブ（１２７ｂ）を介して、第１画像に対応する複数の第２画像セットの第２シーケンスを取得するステップ（５０９～５１２）であって、第２画像セットの各々は、身体部分（１０３）の少なくとも一部を含む第２視野（２２１ｂ）の１つ以上の第２画像を含む、ステップ（５０９～５１２）と、
コンピュータデバイス（２４２ｂ）によって、複数の第１画像のうちの第１画像および対応する第２画像セットの第２画像の各位置合わせペアを位置合わせするステップ（５１８～５８４）と、
出力ユニット（１２１ｂ）に、位置合わせ済みの各位置合わせペアの第１画像および第２画像に基づいて身体部分（１０３）の表現を出力するステップ（５８７）と、含む方法。

【請求項2】

方法（５００）は、第２内視鏡ユニット（１１５ｂ）を用いて、第１内視鏡ユニット（１１５ｍ）の作業チャネル（１１２）の中に取り外し可能に挿入された第２プローブ（１２７ｂ）を介して、第２画像セットの第２シーケンスを取得するステップ（５０９～５１２）を含む、請求項１に記載の方法（５００）。

【請求項3】

コンピュータデバイス（２４２ｂ）は、第１内視鏡ユニット（１１５ｍ）と第２内視鏡ユニット（１１５ｂ）の間の一方（１１５ｂ）に含まれており、
方法（５００）は、コンピュータデバイス（２４２ｂ）によって、第１内視鏡ユニット（１１５ｍ）および第２内視鏡ユニット（１１５ｂ）の他方（１１５ｍ）から、対応する第１画像セットの第１シーケンスまたは第２画像セットの第２シーケンスを受信するステップ（１１５）を含む、請求項１または２に記載の方法（５００）。

【請求項4】

方法（５００）は、コンピュータデバイス（２４２ｂ）によって、第１プローブ（１２７ｍ）と第２プローブ（１２７ｂ）の対応する相対運動に起因した第１画像および第２画像の各位置合わせペアのための少なくとも１つの補正を決定するステップ（５３９～５４２；５５４～５６３；５７８～５８１）と、
コンピュータデバイス（２４２ｂ）によって、対応する前記補正に従って、第１画像および第２画像の各位置合わせペアを位置合わせするステップ（５４８；５６９；５８４）と、を含む、請求項１～３のいずれかに記載の方法（５００）。

【請求項5】

方法（５００）は、コンピュータデバイス（２４２ｂ）によって、複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１プローブ（１１５ｍ）の第１動きおよび第２プローブ（１１５ｂ）の第２動きを推定するステップ（５５４～５５７；５３９～５４２）であって、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される、ステップ（５５４～５５７；５３９～５４２）と、
コンピュータデバイス（２４２ｂ）によって、第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、第１画像および第２画像の各位置合わせペアのための補正を決定するステップ（５６０～５６３；５３９～５４２）と、を含む、請求項４に記載の方法（５００）。

【請求項6】

方法（５００）は、コンピュータデバイス（２４２ｂ）によって、対応する第１画像の推定セットに従って、現在の第１画像ごとに第１動きを示す第１動きベクトルおよび、対応する第２画像の推定セットに従って、現在の第２画像ごとに第２動きを示す第２動きベクトルを推定するステップ（５５４～５５７）を含む、請求項５に記載の方法（５００）。

【請求項7】

方法（５００）は、コンピュータデバイス（２４２ｂ）によって、対応する第１動きおよび第２動きに従って、対応する現在の第１画像および現在の第２画像の各ペアのミスアライメントを計算するステップ（５６０）と、
コンピュータデバイス（２４２ｂ）によって、第１画像および第２画像の位置合わせペアから、対応する範囲および／または対応する時間的距離とともに減少して重み付けされた、第１画像および第２画像の対応する計算セットのミスアライメントに従って、第１画像および第２画像の各位置合わせペアのための補正を計算するステップ（５６３）とを含む、請求項５または６に記載の方法（５００）。

【請求項8】

方法（５００）は、コンピュータデバイス（２４２ｂ）によって、第１画像および第２画像の各位置合わせペアについての第１画像の更なる推定セットおよび第２画像の更なる推定セットに基づいた入力データをニューラルネットワークに供給するステップ（５３９）と、
コンピュータデバイス（２４２ｂ）によって、ニューラルネットワークから、第１画像および第２画像の各位置合わせペアのための補正を受信するステップ（５４２）と、を含む、請求項４～７のいずれかに記載の方法（５００）。

【請求項9】

方法（５００）は、ニューラルネットワーク（４３９）によって、複数の予め定義された補正の中から、第１画像および第２画像の各位置合わせペアのための補正を選択するステップ（５４２）を含む、請求項８に記載の方法（５００）。

【請求項10】

ニューラルネットワーク（４３９）は、畳み込みニューラルネットワークであり、
該畳み込みニューラルネットワーク（４３９）は、畳み込みニューラルネットワーク（４３９）の処理方向に沿って複数のグループを含み、各グループは、１つ以上の畳み込み層と、これに続く最大値プーリング層と、予め定義された補正の対応する確率を提供する複数の全結合層とを含む、請求項８または９に記載の方法（５００）。

【請求項11】

方法（５００）は、第１内視鏡ユニット（１１５ｍ）を用いて、第１視野（２２１ｍ）の対応する場所を表す複数の第１値をそれぞれ含む第１画像の第１シーケンスを取得するステップ（５１５）と、
第２内視鏡ユニット（１１５ｂ）を用いて、第２視野（２２１ｂ）の対応する場所を表す複数の第２値をそれぞれ含む第２画像セットの第２シーケンスを取得するステップ（５０９～５１２）と、
コンピュータデバイス（２４２ｂ）によって、各場所について更なる推定セットの第１画像の第１値および、更なる推定セットの第２画像の第２値を連結することによって得られる、第１画像および第２画像の各位置合わせペアのための入力データを、ニューラルネットワークに供給するステップ（５３９）と、含む、請求項８～１０のいずれかに記載の方法（５００）。

【請求項12】

方法（５００）は、コンピュータデバイス（２４２ｂ）によって、第１画像および前記第２画像の表示に従って、手動で入力される補正を受信するステップ（５７８～５８１）を含む、請求項４に記載の方法（５００）。

【請求項13】

方法（５００）は、第１内視鏡ユニット（１１５ｍ）を用いて、第１視野（２２１ｍ）の内容によって反射された可視光を表す対応する反射率画像である第１画像の第１シーケンスを取得するステップ（５１５）と、
第２内視鏡ユニット（１１５ｂ）を用いて、第２視野（２２１ｂ）内で発光物質によって放射された発光光を表す対応する発光画像および、第２視野（２２１ｂ）の内容によって反射された可視光を表す対応する更なる反射率画像である、第２画像セットの第２シーケンスを取得するステップ（５０９～５１２）と、
コンピュータデバイス（２４２ｂ）によって、対応する反射率画像および更なる反射率画像に従って、反射率画像および発光画像の各位置合わせペアのための補正を決定するステップ（５３９～５４２；５５４～５６３）と、
コンピュータデバイス（２４２ｂ）によって、対応する補正に従って、反射率画像および発光画像の各位置合わせペアを位置合わせするステップ（５４８；５６９）と、
出力ユニット（１２１ｂ）に、位置合わせされる各位置合わせペアの反射率画像および発光画像に基づいて身体部分（１０３）の表現を出力するステップ（５８７）と、含む、請求項４～１２のいずれかに記載の方法（５００）。

【請求項14】

方法（５００）は、第１内視鏡ユニット（１１５ｍ）を用いて、第１視野（２２１ｍ）の内容によって反射された可視光を表す対応する反射率画像である第１画像の第１シーケンスを取得するステップ（５１５）と、
第２内視鏡ユニット（１１５ｂ）を用いて、第２視野（２２１ｂ）内で発光物質によって放射された発光光を表す対応する発光画像である第２画像セットの第２シーケンスを取得するステップ（５０９）と、を含む、請求項１～１２のいずれかに記載の方法（５００）。

【請求項15】

方法（５００）は、第２内視鏡ユニット（１１５ｂ）によって、蛍光物質である発光物質のための励起光を用いて第２視野（２２１ｂ）を照射するステップ（５０６）と、
第２内視鏡ユニット（１１５ｂ）を用いて、励起光に応答して、蛍光物質によって第２視野内で放射された蛍光光である発光光を表す対応する蛍光画像である対応する発光画像を含む第２画像セットの第２シーケンスを取得するステップ（５０９）と、を含む、請求項１３または１４に記載の方法（５００）。

【請求項16】

発光物質は、方法（５００）を実施する前に患者（１０６）に事前投与された発光剤である、請求項１３～１５のいずれかに記載の方法（５００）。

【請求項17】

方法（５００）は、第１内視鏡ユニット（１１５ｍ）を用いて、カラーである第１画像の第１シーケンスを取得するステップ（５１５）と、
第２内視鏡ユニット（１１５ｂ）を用いて、カラーである第２画像の第２シーケンスを取得するステップ（５０９～５１２）と、
コンピュータデバイス（２４２ｂ）によって、グレースケールへの変換、ダウンサンプリング、および／または、対応する中央部分への限定によって、前記位置合わせ（５３６～５７２）のための第１画像および第２画像を準備するステップ（５３３）と、を含む、請求項１～１６のいずれかに記載の方法（５００）。

【請求項18】

請求項８～１１のいずれかに記載の方法（５００）で使用するニューラルネットワーク（４３９）を訓練するための方法（８００）であって、
方法（８００）は、コンピュータシステム（６００）の制御の下で、
コンピュータシステム（６００）に、少なくとも１人のサンプル患者（１０６）の少なくとも１つのサンプル身体部分（１０３）の複数の第１サンプル画像を提供するステップ（８１０）と、
コンピュータシステム（６００）によって、対応する第１サンプル画像の形状を変化させ、その解像度を減少させ、そのコントラストを減少させ、それをズームインし、それを並進し、および／または、それにノイズを追加することによって、第１サンプル画像から、対応する合成画像を合成するステップ（８１５）と、
コンピュータシステム（６００）によって、対応する基準動きを合成画像の１つにそれぞれ適用することによって、複数の第２サンプル画像を生成するステップ（８２０）と、
コンピュータシステム（６００）によって、第２サンプル画像、対応する第１サンプル画像、および対応する参照動きのうちの１つをそれぞれ含む複数のトレーニングセットに従って、ニューラルネットワーク（４３９）を訓練するステップ（８２５～８８０）と、を含む、方法（８００）。

【請求項19】

コンピュータプログラムがコンピュータデバイス（２４２ｂ）上で実行された場合、内視鏡システム（１００）を動作させて、患者（１０６）の身体部分（１０３）を撮像する方法（５００）をコンピュータデバイス（２４２ｂ）に実行させるように構成されたコンピュータプログラム（４００）であって、該方法（５００）は、
身体部分（１０３）の少なくとも一部を含む第１視野（２２１ｍ）の複数の第１画像の第１シーケンスを受信するステップ（５１５）と、
第１画像に対応する複数の第２画像セットの第２シーケンスを受信するステップ（５０９～５１２）であって、第２画像セットの各々は、身体部分（１０３）の少なくとも一部を含む第２視野（２２１ｂ）の１つ以上の第２画像を含む、ステップ（５０９～５１２）と、
複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１画像の第１シーケンスを取得するために使用される第１内視鏡ユニット（１１５ｍ）の、第１プローブ（１１５ｍ）の第１動きおよび、第２画像セットの第２シーケンスを取得するために使用される第２内視鏡ユニット（１１５ｂ）の、第２プローブ（１１５ｂ）の第２動きを推定するステップ（５５４～５５７；５３９～５４２）であって、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される、ステップ（５５４～５５７；５３９～５４２）と、
第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、複数の第１画像のうちの第１画像および対応する第２画像セットのうちの第２画像の各位置合わせペアのための少なくとも１つの補正を決定するステップ（５６０～５６３；５３９～５４２）と、
対応する前記補正に従って、第１画像および第２画像の各位置合わせペアを位置合わせするステップ（５４８；５６９）と、
位置合わせされた各位置合わせペアの第１画像および第２画像に基づいて、身体部分（１０３）の表現を出力するステップ（５８７）と、を含む、コンピュータプログラム。

【請求項20】

コンピュータプログラムを具体化するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、
コンピュータプログラムは、コンピュータデバイスのワーキングメモリにロード可能であり、それにより、コンピュータプログラムがコンピュータデバイス上で実行された場合、内視鏡システムを動作させて、患者の身体部分を撮像する方法をコンピュータデバイスに実行するようにコンピュータデバイスを構成するものであり、
該方法は、身体部分の少なくとも一部を含む第１視野の複数の第１画像の第１シーケンスを受信するステップと、
第１画像に対応する複数の第２画像セットの第２シーケンスを受信するステップであって、第２画像セットの各々は、身体部分の少なくとも一部を含む第２視野の１つ以上の第２画像を含む、ステップと、
複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１画像の第１シーケンスを取得するために使用される第１内視鏡ユニットの、第１プローブの第１動きおよび、第２画像セットの第２シーケンスを取得するために使用される第２内視鏡ユニットの、第２プローブの第２動きを推定するステップであって、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される、ステップと、
第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、複数の第１画像のうちの第１画像および対応する第２画像セットのうちの第２画像の各位置合わせペアのための少なくとも１つの補正を決定するステップと、
対応する前記補正に従って、第１画像および第２画像の各位置合わせペアを位置合わせするステップと、
位置合わせされた各位置合わせペアの第１画像および第２画像に基づいて、身体部分の表現を出力するステップと、を含むコンピュータプログラム製品。

【請求項21】

コンピュータプログラムがコンピュータシステム（６００）上で実行された場合、コンピュータシステム（６００）に、請求項１８に記載の方法（８００）を実行させるように構成されたコンピュータプログラム（７００）。

【請求項22】

コンピュータプログラムを具体化するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、
コンピュータプログラムは、コンピュータシステムのワーキングメモリにロード可能であり、それにより、コンピュータプログラムがコンピュータシステム上で実行された場合、請求項１８に記載の方法を実行するようにコンピュータシステムを構成する、コンピュータプログラム製品。

【請求項23】

請求項１～１７のいずれかに記載の方法（５００）のステップを実行するための内視鏡システム（１００）であって、
第１画像の第１シーケンスを取得するための第１内視鏡ユニット（１１５ｍ）と、
第２画像セットの第２シーケンスを取得するための第２内視鏡ユニット（１１５ｂ）と、
第１画像および第２画像の各位置合わせペアを位置合わせするためのコンピュータデバイス（２４２ｂ）と、
身体部分（１０３）の表現を出力するための出力ユニット（１２１ｂ）と、を備える内視鏡システム（１００）。

【請求項24】

請求項２３に記載の内視鏡システムにおいて使用される内視鏡装置（１１５ｂ）であって、
内視鏡装置（１１５ｂ）は、第１内視鏡ユニット（１１５ｍ）と第２内視鏡ユニット（１１５ｂ）との間の一方（１２５ｂ）を備え、
前記内視鏡ユニット（１１５ｂ）は、
第１画像の第１シーケンスと第２画像セットの第２シーケンスとの間の対応する一方を取得するための取得ユニット（２２４ｂ～２３９ｂ）と、
第１内視鏡ユニット（１１５ｍ）および第２内視鏡ユニット（１１５ｂ）の他方（１１５ｍ）から、第１画像の第１シーケンスおよび第２画像セットの第２シーケンスの他方を受信するためのインタフェース（１２４ｂ）と、
第１画像および第２画像の各位置合わせペアを位置合わせするためのコンピュータデバイス（２４２ｂ）と、
位置合わせされている各位置合わせペアの第１画像および第２画像に基づいて身体部分（１０３）の表現を出力するための出力ユニット（１２１ｂ）と、を備える内視鏡装置（１１５ｂ）。

【請求項25】

患者（１０６）の身体部分（１０３）を撮像するために内視鏡システム（１００）を動作させるためのコンピュータデバイス（２４２ｂ）であって、コンピュータデバイス（２４２ｂ）は、
身体部分（１０３）の少なくとも一部を含む第１視野（２２１ｍ）の複数の第１画像の第１シーケンスを受信（５１５）するための手段（４１２）と、
第１画像に対応する複数の第２画像セットの第２シーケンスを受信（５０９～５１２）するための手段（４０３）であって、第２画像セットの各々は、身体部分（１０３）の少なくとも一部を含む第２視野（２２１ｂ）の１つ以上の第２画像を含む、手段（４０３）と、
複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１画像の第１シーケンスを取得するために使用される第１内視鏡ユニット（１１５ｍ）の、第１プローブ（１１５ｍ）の第１動きおよび、第２画像セットの第２シーケンスを取得するために使用される第２内視鏡ユニット（１１５ｂ）の、第２プローブ（１１５ｂ）の第２動きを推定（５５４～５５７；５３９～５４２）するための手段（４２７；４３９）であって、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される、手段（４２７；４３９）と、
第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、複数の第１画像のうちの第１画像および対応する第２画像セットのうちの第２画像の各位置合わせペアのための少なくとも１つの補正を決定（５６０～５６３；５３９～５４２）するための手段（４２６；４３９）と、
対応する前記補正に従って、第１画像および第２画像の各位置合わせペアを位置合わせ（５４８；５６９）するための手段（４４８）と、
位置合わせされた各位置合わせペアの第１画像および第２画像に基づいて、身体部分（１０３）の表現を出力（５８７）するための手段（４５４）と、を備えるコンピュータデバイス（２４２ｂ）。

【請求項26】

患者の身体部分を撮像するために内視鏡システムを動作させるためのコンピュータデバイスであって、コンピュータデバイスは、
身体部分の少なくとも一部を含む第１視野の複数の第１画像の第１シーケンスを受信するための回路と、
第１画像に対応する複数の第２画像セットの第２シーケンスを受信するための回路であって、第２画像セットの各々は、身体部分（１０３）の少なくとも一部を含む第２視野（２２１ｂ）の１つ以上の第２画像を含む、回路と、
複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１画像の第１シーケンスを取得するために使用される第１内視鏡ユニットの、第１プローブの第１動きおよび、第２画像セットの第２シーケンスを取得するために使用される第２内視鏡ユニットの、第２プローブの第２動きを推定するための回路であって、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される、回路と、
第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、複数の第１画像のうちの第１画像および対応する第２画像セットのうちの第２画像の各位置合わせペアのための少なくとも１つの補正を決定するための回路と、
対応する前記補正に従って、第１画像および第２画像の各位置合わせペアを位置合わせするための回路と、
位置合わせされた各位置合わせペアの第１画像および第２画像に基づいて、身体部分（１０３）の表現を出力（５８７）するための回路と、を備えるコンピュータデバイス（２４２ｂ）。

【請求項27】

請求項１８に記載の方法（８００）のステップを実行するように構成された手段（７００）を含むコンピュータシステム（６００）。

【請求項28】

請求項１８に記載の方法の各ステップを実行するように構成された回路を備えるコンピュータシステム（６００）。

【請求項29】

請求項１～１７のいずれかに記載の方法に従って、患者の身体部分を撮像し、これにより身体部分の手術処置中に、身体部分の表現を出力するステップと、
その表現の出力に従って、身体部分を手術するステップと、を含む手術方法。

【請求項30】

請求項１～１７のいずれかに記載の方法を実行することによって、患者の身体部分を撮像し、これにより患者の診断処置中に、身体部分の表現を出力するステップと、
その表現の出力に従って、身体部分の健康状態を評価するステップと、を含む診断方法。

【請求項31】

請求項１～１７のいずれかに記載の方法を実行することによって、患者の身体部分を撮像し、これにより身体部分の治療処置中に身体部分の表現を出力するステップと、
その表現の出力に従って、患者を治療するステップと、を含む治療方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療機器の分野に関する。より具体的には、本開示は、内視鏡に関する。

【背景技術】

【0002】

本開示の背景を、その文脈に関連する技術の議論とともに以下に紹介する。しかしながら、この議論が文書、行為、成果物などを参照する場合でも、それは、議論される技術が先行技術の一部であること、または本開示に関連する分野における共通の一般知識であることを示唆したり表現したりするものではない。

【0003】

内視鏡は、例えば、診断、手術、治療の目的（例えば、消化管に影響を与える症状を調査し、可能ならば腫瘍を切除するための胃内視鏡検査など）のため、通常は目に見えない患者の身体部分を撮像するために、いくつかの医療処置（内視鏡検査）で一般に使用される。

【0004】

この目的のために、内視鏡が、患者の身体部分によって画定される空洞の中に（自然開口または小さな切開を経由して）直接に挿入される（一般に可撓性）細長いプローブを備える。プローブの先端が、対応する医療処置のために身体部分の関心領域（問題の例では可能性のある腫瘍を備えた消化管の部分）に到達するために使用される。プローブの先端は、対象領域を照射して、その画像を取得することを可能にし、その画像は、その表示のためにモニタに提供される。プローブはまた、１つ以上の作業チャネルを有し、それを経由して医療処置中に使用するための様々なツールが挿入できます（例えば、（疑わしい）腫瘍のサンプルを採取したり、（特定された）腫瘍を切除したりするため）。内視鏡により、医師が医療処置中に空洞を内部観察でき、同時に患者にとって最小限の外傷を伴う。

【0005】

最近、蛍光イメージングをベースとした内視鏡技術が臨床研究に導入されている（例えば、腫瘍の早期検出を改善するため）。蛍光イメージングは、蛍光現象を利用しており、これは、照射されると蛍光光を放射する蛍光物質（蛍光色素分子(fluorophore)と称される）で発生する。この場合、蛍光剤（特定のターゲット（この場合は腫瘍）に到達し、そしてそこに固定された状態になるように構成される）が患者に投与される。そして、身体部分の関心領域の画像が取得され、表示のためにモニタに提供される。この場合、画像は、身体部分の関心領域から放射される蛍光光によって定義され、そしてそこに存在する蛍光色素分子を表現する。従って、これらの画像における（固定化された）蛍光剤の表現により、ターゲットの識別（および定量化）を容易にする。

【0006】

標準の（内視鏡）技術と蛍光（内視鏡）技術としてそれぞれ区別される上述の内視鏡技術を一緒に利用することも可能である。特に、標準技術をベースとした内視鏡が、（反射率）画像を取得してモニタ上に表示するために使用でき、蛍光技術をベースとした内視鏡が、（蛍光）画像を取得してモニタ上に表示するために使用できる。

【0007】

さらに、蛍光技術をベースとした簡素化内視鏡ユニット（ベビースコープと称される）を、標準技術をベースとした内視鏡（マザースコープと称される）の作業チャネルの中に挿入できる。これは、費用対効果が高い。理由は、マザースコープの他の機能（例えば、空洞内でのステアリングなど）を利用する（より簡単な）ベビースコープの追加とともに、既に利用可能なマザースコープを使用できるためである。さらに、これにより、マザースコープ（ビデオスコープ）で利用されるチップオンチップイメージング技術と、ベビースコープで利用されるファイババンドルを経由したイメージング（改善した感度を提供する）との組合せが可能になる。さらに、同じマザースコープ（患者の空洞に既に挿入されている）を、他の異なる医療処置に使用できる。例えば、可能性のある腫瘍を解析するために、ベビースコープをマザースコープの作業チャネルの中に挿入するのを開始することが可能である。その後、ベビースコープは取り外され、他のツールが同じ作業チャネルの中に挿入され、または、ベビースコープはマザースコープ内に維持され、別のツールが追加の作業チャネルの中に挿入される。前記更なるツールは、例えば、（疑いのある）腫瘍のサンプルを採取したり、（識別された）腫瘍を切除するために使用される。この場合も、マザースコープで取得した反射率画像はモニタ上に表示され、ベビースコープで取得した蛍光画像はモニタ上に表示される。

【0008】

しかしながら、異なるモニタ上に表示される反射率画像および蛍光画像によって提供される情報の相関関係は、困難である場合がある。これは、反射率画像および蛍光画像が、例えば、形状、ズーミング（拡大縮小）、解像度、コントラスト、ノイズなどの観点で著しく異なるという事実によってさらに邪魔される。さらに、ベビースコープは、一般に、マザースコープの作業チャネル内に固定されていないため、医療処置中に、例えば、患者の蠕動運動や不可避の動きに起因して、ベビースコープとマザースコープの間の未知の動き（例えば、往復回転、並進）が発生する。その結果、発光画像と反射率画像との間に対応するミスアライメント（位置ずれ）が生じ、医師の判断を誤らせることになる。

【発明の概要】

【課題を解決するための手段】

【0009】

本開示の簡略化した要旨は、ここでは、その基本的な理解を提供するために提示している。しかしながら、この要旨の唯一の目的は、本開示のいくつかの概念を、下記のより詳細な説明の前置きとして簡略化した形態で導入することである。それは、そのキー要素の識別としてもその範囲の描写としても解釈されるべきでない。

【0010】

一般論として、本開示は、異なる内視鏡ユニットで取得された画像を位置合わせするアイデアをベースとしている。

【0011】

特に、一態様が、内視鏡システムを用いて患者の身体部分を撮像するための方法を提供する。この方法は、両者間で移動可能である（対応する内視鏡ユニットの）異なるプローブを用いて２つの画像シーケンスを取得するステップを含む。２つのシーケンスにおける各ペアの対応する画像は、例えば、対応する画像に従ってそれぞれ独立して推定されるこれらのプローブの対応する動きに従って位置合わせされる。

【0012】

更なる態様が、画像を位置合わせするために使用できるニューラルネットワークを訓練するための方法を提供する。

【0013】

更なる態様が、内視鏡システムを動作させるためのコンピュータプログラムを提供する。

【0014】

更なる態様が、対応するコンピュータプログラム製品を提供する。

【0015】

更なる態様が、ニューラルネットワークを訓練するためのコンピュータプログラムを提供する。

【0016】

更なる態様が、対応するコンピュータプログラム製品を提供する。

【0017】

更なる態様が、身体部分を撮像化するための対応する内視鏡システムを提供する。

【0018】

更なる態様が、内視鏡ユニットのうちの１つを備える内視鏡装置を提供する。

【0019】

更なる態様が、内視鏡システムを動作させるためのコンピュータデバイスを提供する。

【0020】

更なる態様が、ニューラルネットワークを訓練するためのコンピュータシステムを提供する。

【0021】

更なる態様が、対応する手術方法を提供する。

【0022】

更なる態様が、対応する診断方法を提供する。

【0023】

更なる態様が、対応する治療方法を提供する。

【0024】

より詳細には、本開示の１つ以上の態様が独立請求項に記述され、その有利な特徴が従属請求項に記述されており、全ての請求項の言い回しは、参照により文字どおりにここに組み込まれている（他の全ての態様に準用される任意の特定の態様を参照して提供される任意の有利な特徴を備える）。

【図面の簡単な説明】

【0025】

本開示の手法、そしてその追加の特徴および利点は、下記詳細な説明を参照して、添付図面と関連して読まれる非限定的な表示を単に用いて、最善に理解されるであろう（ここで、簡略化のために、対応する要素は等しいまたは類似の参照符号が付与され、それらの説明は繰り返さず、各実体の名前は、一般にそのタイプおよびその属性（例えば、値、内容および表現）の両方を示すために使用される）。

【0026】

【図1】本開示の一実施形態による内視鏡システムの図解表現を示す。

【図2】本開示の一実施形態による手法を実施するために使用できる内視鏡システムの機能ブロック図を示す。

【図3】本開示の一実施形態による手法の一般原理を示す。

【図4】本開示の一実施形態による手法を実装するために使用できる主要なソフトウェアコンポーネントを示す。

【図5】本開示の一実施形態による手法の実装に関連する動作のフローを説明する動作図を示す。

【図6】本開示の一実施形態による手法のニューラルネットワークを訓練するために使用できるコンピュータシステムの概略ブロック図を示す。

【図7】本開示の一実施形態による手法においてニューラルネットワークを訓練するために使用できる主要なソフトウェアコンポーネントを示す。

【図8】本開示の一実施形態による手法におけるニューラルネットワークの訓練に関連する動作のフローを説明する動作図を示す。

【図9A】本開示の一実施形態による手法の様々な適用例を示す。

【図9B】本開示の一実施形態による手法の様々な適用例を示す。

【発明を実施するための形態】

【0027】

特に図１を参照すると、本開示の一実施形態による内視鏡システム１００の図解表現を示している。

【0028】

内視鏡システム、または単に内視鏡１００は、それによって画定される空洞（身体部分１０３の空洞は通常は見えない）内の患者１０６の身体部分１０３を撮像するための医療処置において使用される。身体部分１０３は、医療処置のターゲット、例えば、検査、切除または治療の対象となる腫瘍１０９などの病変を含む。身体部分１０３の空洞は、患者１０６の天然開口部または皮膚の小さな切開部である開口１１２を経由してアクセス可能である。例えば、診断用途では、内視鏡１００により病変を発見／監視することが可能になり、（低侵襲性）手術用途では、内視鏡１００により、切除すべき病変を識別することが可能になり、治療用途では、内視鏡１００により、治療すべき病変を描写することが可能になる。これらの医療処置の例は、診断用途については胃カメラ検査、結腸内視鏡検査、食道鏡検査などがあり、手術用途については関節鏡検査、腹腔鏡検査、胸腔鏡検査などがあり、治療用途では焼灼、拡張、ステント留置などがある。

【0029】

内視鏡１００は、標準（内視鏡）技術（人間の目に見えるものを表示するため）と組み合わせて、蛍光（内視鏡）技術（例えば、患者１０６に事前投与された、腫瘍内に蓄積するように適合した蛍光剤などの蛍光物質を表示するため）を適用するために使用される従来にない構造を有する。この目的のために、内視鏡１００は、２つの内視鏡ユニット、即ち、（第１）メイン内視鏡ユニット１１５ｍ（これ自体は臨床現場で使用される従来の装置である）と、（第２）補助内視鏡ユニット１１５ｂとで構成される。

【0030】

メイン内視鏡ユニット、または単にマザースコープ１１５ｍは、下記のコンポーネントを備える。マザースコープ１１５ｍの中央ユニットが、その動作を管理するために使用される。例えば、中央ユニットは、台車（トロリー）１１８ｍとして実装され、４つのキャスターが、その対応する下隅に配置され、その移動を容易にする（フットブレーキ（不図示）が台車１１８ｍを所定位置に固定するために設けられる）。モニタ１２１ｍ（例えば、台車１１８ｍの上部に搭載される）が、医療処置中に身体部分１０３の画像を表示するために使用される。ビデオインタフェース１２４ｍ（例えば、台車１１８ｍの背面にあるシリアルデジタルインタフェース（ＳＤＩ）ポート）が、外部とビデオ情報を交換するために使用される。プローブ１２７ｍ（例えば、ケーブルを介して台車１１８ｍに接続される）が、患者１０６に作用するために使用される。例えば、プローブ１２７ｍは、身体部分１０３の空洞の中に挿入するための細長いシャフトとして実装される。プローブ１２７ｍのシャフトは、剛性または好ましくは可撓性でもよく、身体部分１０３の空洞が湾曲した経路を有する場合でも、身体部分１０３の空洞を通って摺動するのを可能にする。プローブ１２７ｍの遠位端、または先端１３０ｍが、身体部分１０３の空洞内の医療処置の関心領域に到達して、それを照射し、その（反射）画像を取得するために使用される（下記に説明するように）。プローブ１２７ｍの近位端（空洞１０３の外側）には、先端１３０ｍを駆動するためのハンドル１３３ｍが設けられる（制御ケーブルを介して、不図示）。プローブ１２７ｍは、１つ以上の作業チャネル（その近位端に近い、対応する１つ以上の作業ポートを経由してアクセス可能）を有し、図では１つだけが参照符号１３６ｍで示されている。作業チャネルにより、医療処置中に使用される様々なツール（例えば、スネア、鉗子、ナイフ、クリップアプライヤなど）を挿入することを可能する。専用の作業チャネルが、医療処置中に先端１３０ｍおよび身体部分１０３の空洞を洗浄するために、液体注入器／抽出器（不図示）に接続できる。

【0031】

補助内視鏡ユニット、または単にベビースコープ１１５ｂは、下記のコンポーネントを備える。上述のように、ベビースコープ１１５ｂの中央ユニットが、その動作を管理するために使用される。例えば、中央ユニットは、台車１１８ｂとして実装される（その移動を容易にする４つのキャスターと、台車１１８ｂを所定位置に固定するためのフットブレーキとを備える）。モニタ１２１ｂ（例えば、台車１１８ｂの上部に搭載される）が、医療処置中に身体部分１０３の空洞の（更なる）画像を表示するために使用される。ビデオインタフェース１２４ｂ（例えば、台車１１８ｍの背面にあるＳＤＩポート）が、外部とビデオ情報を交換するために使用される。プローブ１２７ｂ（例えば、ケーブルを介して台車１１８ｂに接続される）は、患者１０６に作用するために使用される。例えば、プローブは、（好ましくは可撓性の）細長いシャフトとして実装される。プローブ１２７ｂの遠位端または先端１３０ｂが、身体部分１０３の空洞内の医療処置の同じ関心領域に到達して、それ照射し、その（蛍光および、可能ならば反射率）画像を取得するために使用される（下記に説明するように）。

【0032】

本開示の一実施形態による手法の特定の実装では、プローブ１２７ｂは、プローブ１２７ｍよりも薄い。プローブ１２７ｂは、その先端１３０ｂがプローブ１２７ｍの先端１３０ｍに到達するまで（そのサイズおよび可撓性に起因してプローブ１２７ｍの操作性を損なうことなく）作業チャネル１３６ｍの中に挿入される。さらに、台車１１８ｍと台車１１８ｂは、例えば、ケーブル１３９を介して互いに接続され、医療処置中に情報を交換する。

【0033】

ここで図２を参照すると、本開示の実施形態による手法を実施するために使用できる内視鏡１００の機能ブロック図が示される。

【0034】

ベビースコープ１１５ｂから開始して、下記のコンポーネントを備える。照明ユニットが、空洞１０３の関心領域を照明するために使用される。この目的のために、励起光源２０３ｂ（ベビースコープ１１５ｂの台車の内部、不図示）、例えば、レーザ方式のものは、蛍光物質の励起光を発生する。特に、励起光は、蛍光剤（例えば、近赤外線（ＮＩＲ）タイプ）の蛍光体を励起するのに適した波長およびエネルギーを有する。必要に応じて、白色光源２０９ｂ（台車の内部）、例えば、キセノンタイプのものは、白色光（人間には実質的に無色に見える。例えば、人間の目に見えるスペクトルの全ての波長を同じ強度で含む）を発生する。この白色光は、励起光とともに混合される。配送光学系２１２ｂ（ベビースコープ１１５ｂのプローブの先端において、不図示）は、励起光および可能性のある白色光を身体部分１０３の関心領域に配送する。インコヒーレントの光ファイバのバンドル（束）２１８ｂ（プローブに沿って）は、励起光源２０３ｂからの励起光を、可能ならば白色光源２０９ｂからの白色光と混合して、配送光学系２１２ｂに伝送する（代替として、不図示であるが、対応するインコヒーレントの光ファイバのバンドルを備えた２つの別個の配送光学系が使用され、励起光と白色光を独立して配送する）。取得ユニットを使用して、懸案の例においてターゲット１０９を含む、その視野２２１ｂ（即ち、取得ユニットが感知できる立体角内の世界の一部）内の身体部分１０３の関心領域の（蛍光および可能ならば反射）画像を取得する。この目的のために、回収光学系２２４ｂは、視野２２１ｂからの光を回収する（落射照明幾何形状）。回収された光は、（励起光によって照射された）視野２２１ｂ内に存在する蛍光分子によって放射される蛍光光を含む。実際、蛍光分子は、励起光を吸収すると、励起（電子）状態になり、励起状態は不安定であるため、蛍光分子は極めて短時間にそこから基底（電子）状態に減衰し、それによって蛍光を放射し（励起状態で熱として散逸されるエネルギーのため、励起光のものよりも長い固有波長で）、強度が、照射される蛍光分子の量に主に依存する。さらに、回収された光は、（白色光によって照射された）視野２２１ｂ内に存在する任意の物体によって反射された可視光（可視スペクトル内）を含む。ビームスプリッタ２２７ｂが、回収された光を２つのチャネルに分割する。例えば、ビームスプリッタ２２７ｂは、可視光のスペクトルと蛍光光のスペクトルとの間の閾値波長よりも上下の波長で回収された光をそれぞれ透過し反射するダイクロイックミラーである（またはその逆も同様）。コヒーレントの光ファイバ２３０ｂの束（プローブに沿った）が、回収光学系２２４ｂから回収された光をビームスプリッタ２２７ｂに伝送する。そのスペクトルにおいて回収された光の一部によって定義される蛍光光を伴うビームスプリッタ２２７ｂの（透過）チャネルでは、発光フィルタ２３３ｂが、蛍光光をフィルタ処理して、蛍光光のスペクトルの外部にある残留成分を除去する。蛍光カメラ２３６ｂ（例えば、ＥＭＣＣＤタイプのもの）が、発光フィルタ２３３ｂから蛍光光を受信し、視野２２１ｂ内の蛍光分子の分布を表現する対応の蛍光（デジタル）画像を生成する。必要に応じて、そのスペクトル、反射率、または写真において回収された光の一部によって定義される可視光を伴うビームスプリッタ２２７ｂの他方の（反射）チャネルでは、カメラ２３９ｂ（例えば、ＣＣＤタイプのもの）が可視光を受信し、視野２２１ｂ内で人間の目に見えるものを表現する対応の反射率（デジタル）画像を生成する。

【0035】

マザースコープ１１５ｍに移って、それは、下記のコンポーネントを備える。上述のように、照明ユニットは、身体部分１０３の関心領域を照明するために使用される。この目的のために、白色光源２０９ｍ（マザースコープ１１５ｂの台車の内部、不図示）例えば、キセノンタイプのものが白色光を発生する。配送光学系２１２ｍ（マザースコープ１１５ｍのプローブの先端にある、不図示）は、白色光を身体部分１０３の関心領域に配送する。インコヒーレントの光ファイバの束２１８ｍ（プローブに沿って）は、白色光源２０９ｍからの白色光を配送光学系２１２ｍに伝送する。取得ユニットを使用して、懸案の例ではターゲット１０９を含む、その視野２２１ｍ内の身体部分１０３の関心領域の（反射率）画像を取得する。この目的のために、回収光学系２２４ｍは、白色光（落射照明幾何形状）によって照明された視野２２１ｍ内に存在する任意の物体によって反射された可視光（可視スペクトル内）を回収する。反射カメラまたは写真カメラ２３９ｍ（例えば、ＣＣＤタイプのもの）は、可視光を受信して、視野２２１ｍ内の人間の目に見えるものを表現する対応の反射（デジタル）画像を生成する。ビデオスコープ構成では、反射カメラ２３９ｍは、プローブの先端に配置される。この場合、デジタル接続部２４０ｍが、反射率画像を台車に送信する（代替として、不図示であるが、反射率カメラが台車の内部に配置され、コヒーレントの光ファイバの束が回収光学系からの可視光を反射率カメラに送信する）。

【0036】

中央ユニット２４２ｂおよび中央ユニット２４２ｍを使用して、ベビースコープ１１５ｂおよびマザースコープ１１５ｍの動作をそれぞれ制御する。中央ユニット２４２ｂ，２４２ｍは、バス構造２４５ｂ，２４５ｍを経由してこれらの間で接続されたいくつかのユニットを備える。特に、マイクロプロセッサ（μＰ）２４８ｂ，２４８ｍなどは、中央ユニット２４２ｂ，２４２ｍの論理機能を提供する。不揮発性メモリ（ＲＯＭ）２５１ｂ，２５１ｍは、中央ユニット２４２ｂ，２４２ｍのブートストラップのための基本コードを格納し、揮発性メモリ（ＲＡＭ）２５４ｂ，２５４ｍは、マイクロプロセッサ２４８ｂ，２４８ｍによってワーキングメモリとして使用される。中央ユニット２４２ｂ，２４２ｍには、プログラムおよびデータを格納するための大容量メモリ２５７ｂ，２５７ｍ、例えば、ソリッドステートディスク（ＳＳＤ）が設けられる。さらに、中央ユニット２４２ｂ，２４２ｍは、周辺機器または入力／出力（Ｉ／Ｏ）ユニットのための複数のコントローラ２６０ｂ，２６０ｍを備える。特に、ベビースコープ１１５ｂのコントローラ２６０ｂは、励起光源２０３ｂ、蛍光カメラ２３６ｂ、（可能性のある）白色光源２０９ｂ、（可能性のある）反射カメラ２３９ｂ、モニタ１２１ｂ、およびビデオインタフェ－ス１２４ｂを制御する。さらに、コントローラ２６０ｂは、ベビースコープ１１５ｂの画像およびマザースコープ１１５ｍの画像を手動で位置合わせするために使用する補正を設定するために使用される設定デバイス２６３ｂも制御でき、例えば、ベビースコープ１１５ｂのプローブまたは台車に搭載された回転／直線ダイヤル、足で操作する回転／直線ダイヤルまたは足パドルを備えており、これらの全ては、連続モードまたはトグルモードなどのいずれかで動作する。代わりに、マザースコープ１１５のコントローラ２６０ｍは、白色光源２０９ｍ、反射カメラ２３９ｍ、モニタ１２１ｍ、およびビデオインタフェース１２４ｍを制御する。両方の場合も、コントローラ２６０ｂ，２６０ｍは、更なる周辺機器（不図示）、例えば、キーボード、トラックボール、リムーバブルストレージユニット（ＵＳＢキーなど）の読み取り／書き込み用ドライブ、および（通信）ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）など）に接続するためのネットワークインタフェースカード（ＮＩＣ）などを制御できる。

【0037】

一般に、ベビースコープ１１５ｂの視野２２１ｂとマザースコープ１１５ｍの視野２２１ｍは異なる。例えば、視野２２１ｂは、視野２２１ｍよりも小さく、視野２２１ｂと視野２２１ｍは少なくとも部分的に重なり合う（図に示す例では、視野２２１ｂと視野２２１ｍの両方はターゲット１０９を含む）。いずれの場合もベビースコープ１１５ｂの画像とマザースコープ１１５ｍの画像は、一般には、形状、ズーミング、解像度、コントラスト、ノイズ等の観点で異なる特性を有しており、これらの異なる特性は、これらの異なる性質のため、ベビースコープ１１５ｂの蛍光画像とマザースコープ１１５ｍの反射画像との間ではるかにより明白である。さらに、ベビースコープ１１５ｂのプローブは、一般にはマザースコープ１１５ｎの作業チャネル内に固定されておらず（不図示）、それに対して移動可能である（その長手軸に沿って、特にその周りに）。マザースコープ１１５ｍの取得ユニットに対するベビースコープ１１５ｂの取得ユニットの不可避の（先験的には未知の）動きが、例えば、患者の蠕動、呼吸および心拍に起因して（マザースコープ１１５ｍおよびベビースコープ１１５ｂのプローブの柔軟性のある性質と組み合わせて）通常は発生する。その結果、ベビースコープ１１５ｂの画像とマザースコープ１１５ｍの画像との間に、対応するミスアラインメント（位置ずれ）（例えば、並進（平行移動）、特に回転）が生成される。

【0038】

ここで図３を参照すると、本開示の一実施形態による手法の一般原理が示される。

【0039】

特に、マザースコープは、時間経過とともに取得された一連の反射率画像（マザースコープ画像）３０５ｍを提供し、図には３０５ｍ_０および３０５ｍ_－１を付与した最後の２つだけが図示される。同様に、ベビースコープは、対応する一連の蛍光画像および場合によっては反射率画像（ベビースコープ画像）３０５ｂを提供する。簡単化のために、蛍光画像のみが考慮される場合、図は、マザースコープ画像３０５ｍ_０および３０５ｍ_－１と実質的に同時にそれぞれ取得された、３０５ｂ_０および３０５ｂ_－１を付与した最後の２つのベビースコープ（蛍光）画像を示している。

【0040】

本開示の一実施形態による手法では、コンピュータデバイスは、マザースコープ画像３０５ｍとベビースコープ画像３０５ｂの両方を受信する。例えば、ベビースコープの中央ユニットは、マザースコープから送信されたマザースコープ画像３０５ｍおよびベビースコープによって取得されたベビースコープ画像３０５ｂを受信する（またはその逆も同様）。対応するマザースコープ画像３０５ｍとベビースコープ画像３０５ｂの各（位置合わせ(registration)）ペアは、マザースコープ画像３０５ｍおよびベビースコープ画像３０５ｂを空間的に対応させるように位置合わせされる。例えば、マザースコープ画像３０５ｍおよびベビースコープ画像３０５ｂは、ベビースコープのプローブとマザースコープのプローブとの間の動きに起因したミスアラインメントを補正するために位置合わせされる。この動作は、手動または自動的に実行できる（詳細は以下で説明する）。そして、このように位置合わせされたマザースコープ画像３０５ｍとベビースコープ画像３０５ｂの各ペアに基づいた身体部分の表現が出力され、例えば、（位置合わせされた）マザースコープ画像３０５ｍおよびベビースコープ画像３０５ｂは、コンピュータデバイスに接続されたモニタ（この場合はベビースコープのモニタ）上に重ね合わされて表示される。

【0041】

その結果、ベビースコープの蛍光画像（医療処置のターゲットの正確な表現を提供する）と、マザースコープの反射画像（医療処置の対象領域の高品質表現を提供する）を組み合わせることが可能である。これにより、医師のタスクが大幅に容易になり、医療処置の結果を改善して、患者の健康に有益な効果をもたらす。

【0042】

本開示の一実施形態による手法の具体的な実装では、マザースコープ画像３０５ｍおよびベビースコープ画像３０５ｂの各位置合わせペアについて、マザースコープの（マザースコープ）動きが、マザースコープ画像３０５ｍに従って推定され、ベビースコープの（ベビースコープ）動きが、ベビースコープ画像３０５ｂに従って推定され、これらは互いに独立しており、マザースコープ動きは、位置合わせされるもの）に対応する複数のマザースコープ画像３０５ｍに従って推定され（例えば、マザースコープ画像３０５ｍ_０についてはマザースコープ画像３０５ｍ_０，３０５ｍ_－１）、ベビースコープの動きは、位置合わせされるものに対応する複数のベビースコープ画像３０５_ｂに従って推定される（例えば、ベビースコープ画像３０５ｂ_０についてはベビースコープ画像３０５ｂ_０，３０５ｂ_－１）。例えば、図に示すような簡単な並進の場合、マザースコープ動きおよびベビースコープ動き（方向および大きさ）は、ベクトル３１０ｍおよびベクトル３１０ｂによってそれぞれ定義される。

【0043】

そして、マザースコープ画像３０５ｍ_０とベビースコープ画像３０５ｂ_０が、マザースコープ動き３１０ｍとベビースコープ動き３１０ｂに従って位置合わせされる。例えば、マザースコープとベビースコープとの間の相対的な動きに起因したミスアラインメントは、マザースコープ動き３１０ｍとベビースコープ動き３１０ｂとの比較によって判定される。問題の例では、マザースコープに対するベビースコープの相対的な回転は、ベクトル３１０ｂとベクトル３１０ｍの差に等しい角度３１０ｍｂによって定義され、そして、この角度３１０ｍｂの反対角度によって与えられる補正３１０ｂｍがベビースコープ画像３０５ｂｏに適用され（それを回転することによって）、対応するマザースコープ画像３０５ｍ_０とより良く位置合わせされた、対応する（位置合わせ済み）ベビースコープ画像３０５ｂ_０Ｒが得られる。

【0044】

このようにして、ベビースコープ画像とマザースコープ画像は連続的に補正され、最終的に、ベビースコープとマザースコープの間の相対的移動の影響が除去される。その結果、ベビースコープ画像とマザースコープ画像は、開始条件とは独立して位置合わせされるようになる。実際、マザースコープおよびベビースコープの視野の見かけ動きは、これらの相対的位置を推定するのに役立つ。例えば、図に示す状況では、マザースコープを基準としたベビースコープの並進により、これらの相対的回転を徐々に補正する。

【0045】

より一般には、マザースコープ画像３０５ｍおよびベビースコープ画像３０５ｂの位置合わせは、これらを空間的な対応関係をもたらす（即ち、これらを共通の基準空間に参照する）任意の他の変換(transformation)、例えば、並進、回転、ズーミングなどを含んでもよい。特に（不図示）、マザースコープおよびベビースコープの対応する回転中心点を決定し、そして、マザースコープの回転中心点からベビースコープの回転中心点までの距離によって定義される、マザースコープを基準としたベビースコープの相対的並進を計算することが可能であり、そして、ベビースコープ画像は、得られたベクトルの逆によって並進される。

【0046】

さらに他の例として（これも不図示）、マザースコープおよびベビースコープの対応するズームベクトルフィールドを決定し、そして、マザースコープのズームベクトルフィールドとベビースコープのズームベクトルフィールドの差によって定義される、マザースコープを基準としたベビースコープの倍率差（ズーム）を計算することが可能であり、ベビースコープ画像は、得られた倍率差の逆によって拡大縮小される。

【0047】

上述した手法により、ベビースコープ画像およびマザースコープ画像を本質的に堅牢な方法で自動的に位置合わせすることが可能になる。実際、提案された手法は、ベビースコープ画像とマザースコープ画像との間の比較を含まない。従って、ベビースコープ／マザースコープ画像が極めて限定され、容易に区別できない特徴を有するという事実（既知の特徴方式の方法では異なる画像内でマッチさせることが難しい、低コントラストを備えた滑らかなパッチを主に含むため）とは関係なく、有効な位置合わせが可能である。さらに、ベビースコープ画像およびマザースコープ画像の様々な特徴は、得られる結果には完全に無関係である。ベビースコープ画像およびマザースコープ画像が著しく異なる場合、特にベビースコープが蛍光画像を提供するだけの場合でも、有効な位置合わせが可能である。換言すると、ベビースコープ画像およびマザースコープ画像を直接に位置合わせするのではなく、ベビースコープ画像およびマザースコープ画像を別個に動作させすることによって、望ましい結果が間接的に達成される。この目的のために、ベビースコープの視野内およびマザースコープの視野内の物体の不可避の相対的移動が利点に転換され、従って、ベビースコープ画像とマザースコープ画像との間のミスアラインメントの原因自体（ベビースコープとマザースコープとの間の固有の動き）が、ミスアラインメントを除去する（または少なくとも低減する）ために利用される。

【0048】

ここで図４を参照すると、本開示の一実施形態による手法を実装するために使用できる主要なソフトウェアコンポーネントが示される。

【0049】

全てのソフトウェアコンポーネント（プログラムとデータ）は、全体として参照番号４００で示している。特定の実装では、ソフトウェアコンポーネント４００は、大容量メモリに格納され、プログラムが実行する場合に、オペレーティングシステムおよび、本開示の手法に直接には関連しない（よって簡略化のために図では省略される）他のアプリケーションプログラムとともに、ベビースコープの中央ユニットのワーキングメモリに（少なくとも部分的に）ロードされる。プログラムは、最初に、例えば、リムーバブルストレージユニットから、またはネットワークなどから大容量メモリにインストールされる。この点で、各プログラムは、モジュール、セグメント、またはコードの一部でもよく、これは指定された論理機能を実装するための１つ以上の実行可能命令を含む。

【0050】

特に、取得器４０３は、医療処置中にこの目的のために適切に照明されたベビースコープの視野の（ベビースコープ）蛍光画像および可能性のある（ベビースコープ）反射率画像を取得する専用のベビースコープのコンポーネントを駆動する。取得器４０３は、（ベビースコープ）蛍光画像リポジトリ（保存場所）４０６および（ベビースコープ）反射率画像リポジトリ４０９に書き込み、これらは、医療処置中に連続してそれぞれ取得されたベビースコープ蛍光画像およびベビースコープ反射率画像の対応するシーケンスを含む。ベビースコープ蛍光画像リポジトリ４０６およびベビースコープ反射率画像リポジトリ４０９は、同じ取得時間に取得されるベビースコープ蛍光画像およびベビースコープ反射率画像の各ペアのための対応するエントリを含む。このエントリは、対応するベビースコープ（蛍光／反射率）画像のビットマップを格納し、これは、セルのマトリックス（例えば、５１２個の行と５１２個の列）によって定義され、それぞれが画素、即ち、ベビースコープの視野の対応する場所を表現する基本画素の（カラー）値を含む。ベビースコープの蛍光画像の各画素値は、その場所によって放射される蛍光光の強度の関数として画素の明るさを定義し、一方、ベビースコープの反射率画像の各画素値は、その場所で反射された可視光の強度の関数として画素の明るさを定義する（例えば、その各ＲＧＢ成分について０から２５６まで）。ビデオインタフェ－スドライブ４１２が、ベビースコープのビデオインタフェ－スを駆動し、特に、本開示に関連する限りにおいて、ビデオインタフェ－スドライブ４１２は、医療処置中にマザースコープによって取得された（マザースコープ）反射率画像を受信する（そのビデオインタフェ－スから）。ビデオインタフェースドライブ４１２は、（マザースコープ）反射率画像リポジトリ４１５に書き込み、これは、ベビースコープの蛍光／反射率画像と実質的に同期してマザースコープによって医療処置中に連続して取得された一連のマザースコープ反射率画像を含む。上述のように、マザースコープ反射率画像リポジトリ４１５は、マザースコープ反射率画像ごとにエントリを含む。エントリは、マザースコープ反射率画像のビットマップを格納し、これは、セルのマトリックス（典型的にはより高い解像度、例えば、２０４８個の行と２０４８個の列を備える）によって定義され、それぞれが画素の（色）値（マザースコープの視野の対応する場所を表す）を含み、その場所で反射された可視光の強度の関数として画素の明るさを定義する（例えば、そのＲＧＢ成分ごとに０から２５６まで）。

【0051】

準備器（プレパレータ）４１８が、（ベビースコープ／マザースコープ）反射率画像をその位置合わせ操作のために前処理することによって準備する。準備器４１８は、ベビースコープ反射率画像リポジトリ４０９およびマザースコープ反射率画像リポジトリ４１５を読み出して、（ベビースコープ）準備済み画像リポジトリ４２１および（マザースコープ）準備済み画像リポジトリ４２４に書き込む。ベビースコープ準備済み画像リポジトリ４２１およびマザースコープ準備済み画像リポジトリ４２４は、対応するリポジトリ４０９内の各ベビースコープ反射率画像および対応するリポジトリ４１５内の各マザースコープ反射率画像のエントリをそれぞれ含む。エントリは、対応するベビースコープ／マザースコープ準備済み（反射率）画像を格納する。ベビースコープ／マザースコープ準備済み画像は、セルのマトリクス（一般に、対応するベビースコープ／マザースコープ反射率画像に比べてより小さいサイズを備える）によって形成され、それぞれが、対応する画素値（例えば、白の０から黒の２５６まで範囲に及ぶグレースケール値）を保存する。ベビースコープ反射率画像が利用できない場合、上述した同じ動作がベビースコープ蛍光画像に対して実行され（マザースコープ反射率画像に加えて）、対応するベビースコープ準備済み（蛍光）画像を取得する。従って、この場合、準備器４１８は、ベビースコープ反射率画像リポジトリ４０９の代わりに、ベビースコープ蛍光画像リポジトリ４０６（図中破線で示す）を読み出す。

【0052】

補正器（コレクタ）は、ベビースコープおよびマザースコープによって提供される画像に適用すべき補正（即ち、変換）を決定し、独立に推定されたこれらの動きに従って自動的に画像を位置合わせする。補正器は、オプティカルフロー技術、深層学習技術、またはこれらの両方の組み合わせが実装できる。オプティカルフロー技術をベースとした補正器は、各ベビースコープ／マザースコープ準備済み画像のオプティカルフローを推定する推定器４２７を備える。ベビースコープ／マザースコープ準備済み画像のオプティカルフローは、その運動に起因したベビースコープ／マザースコープの視野の内容の見かけ動きを表す。推定器４２７は、ベビースコープ準備済み画像リポジトリ４２１およびマザースコープ準備済み画像リポジトリ４２４を読み出し、（ベビースコープ）動きベクトルリポジトリ４３０および（マザースコープ）動きベクトルリポジトリ４３３に書き込む。ベビースコープ動きベクトルリポジトリ４３０およびマザースコープ動きベクトルリポジトリ４３３は、対応するリポジトリ４２１，４２４内の各ベビースコープ／マザースコープ準備済み画像（最初のものとは異なる）のエントリを含む。このエントリは、ベビースコープ／マザースコープ準備済み画像のオプティカルフローを定義する、対応するベビースコープ／マザースコープ動きベクトルを格納する（例えば、変換）。補正器はさらに、対応するベビースコープ／マザースコープ動きベクトルに従って、対応するベビースコープ準備済み画像およびマザースコープ準備済み画像の各（位置合わせ）ペアの補正を計算する計算機４３６を備える。計算機４３６は、ベビースコープ動きベクトルリポジトリ４３０およびマザースコープ動きベクトルリポジトリ４３３を読み出す。代わりに、深層学習技術をベースとした補正器は、ベビースコープ準備済み画像およびマザースコープ準備済み画像の各位置合わせペアの補正を直接に決定するニューラルネットワーク４３９を備える。ニューラルネットワーク４３９は、ベビースコープ準備済み画像リポジトリ４２１およびマザースコープ準備済み画像リポジトリ４２４を読み出す。代わりに、設定器（セッター）４４２を使用して、手動で補正（画像を位置合わせするために、ベビースコープおよびマザースコープによって提供される画像に適用される）を設定する。この目的のために、設定器４４２は、１つ以上の（ソフトウェア）ダイヤル（例えば、マウス、キーボードおよび／またはトラックボールによって制御されるように設計された回転／直線スライダ、入力ボックス、ホットキーなど）を提供するユーザインタフェース、および／または、補正（例えば、回転角度、並進方向および距離、ズーミング係数など）の入力を許容する設定デバイス用のドライブを公開する。計算器４３６、ニューラルネットワーク４３９、および設定器４４２は、補正リポジトリ４４５に書き込む。特に、計算機４３６およびニューラルネットワーク４３９（自動位置合わせ）の場合、補正リポジトリ４４５は、ベビースコープ／マザースコープ準備済み画像の各位置合わせペアのためのエントリを含み、このエントリは、対応する補正を格納し、一方、設定器４４２（手動位置合わせ）の場合、補正リポジトリ４４５は、（オリジナル）ベビースコープ／マザースコープ画像の（共通）補正を格納する（両方の場合には、問題の例では回転角度によって定義される各補正を備える）。

【0053】

アライナー（整列器）４４８が、ベビースコープおよびマザースコープによって提供される画像を、対応する補正に従って位置合わせする。特に、アライナー４４８は、対応する補正に従って、対応するベビースコープ蛍光画像およびマザースコープ反射率画像の各（位置合わせ）ペアを常に位置合わせする。この目的のために、アライナー４４８は、ベビースコープ蛍光画像リポジトリ４０６および補正リポジトリ４４５を読み出して、（ベビースコープ）位置合わせ済み蛍光画像リポジトリ４５１に書き込む。ベビースコープ位置合わせ済み蛍光画像リポジトリ４５１は、対応するリポジトリ４０６内の各ベビースコープ蛍光画像のエントリを含む。エントリは、対応する（ベビースコープ）位置合わせ済み蛍光画像を格納する。ベビースコープ位置合わせ済み蛍光画像は、セルのマトリックス（ベビースコープ蛍光画像と同じサイズを備える）によって形成され、それぞれが対応する（カラー）画素値を格納する。さらに、補正器がオプティカルフロー技術および深層学習技術の両方をベースとする場合（補正を段階的に決定するため）、アライナー４４８はさらに、これらの（粗い）補正に従って、対応するベビースコープ準備済み画像およびマザースコープ準備済み画像の各（位置合わせ）ペアをさらに（事前に）位置合わせする。この目的のために、アライナー４４８はさらに、ベビースコープ準備済み画像リポジトリ４２１を読み書きする。

【0054】

表示器４５４は、ベビースコープ位置合わせ済み蛍光画像およびマザースコープ反射率画像（例えば、互いに重ね合わされる）に基づいて、身体部分の表現を表示するためにベビースコープのモニタを駆動する。表示器４５４は、ベビースコープ位置合わせ済み蛍光画像リポジトリ４５１およびマザースコープ反射率画像リポジトリ４１５を読み出す。

【0055】

ここで図５を参照すると、本開示の一実施形態による手法の実装に関連する動作（アクティビティ）のフローを説明する動作図が示される。この点において、各ブロックが、ベビースコープの中央ユニット上に所定の論理機能を実装するための１つ以上の実行可能命令に対応できる。

【0056】

特に、動作図は、方法５００を用いた上述の内視鏡を用いた医療処置（内視鏡処置）中に患者を撮像するために使用できる例示的なプロセスを表す。

【0057】

内視鏡処置の前に、医療従事者（例えば、看護師）が患者に蛍光剤を投与する。蛍光剤（例えば、インドシアニングリーン、メチレンブルーなど）は、検査／切除／治療対象の腫瘍など、特定の（生物学的）ターゲットに到達し、その中に実質的に固定された状態になるように構成される。この結果は、非標的化蛍光剤（受動的蓄積など、特異的相互作用なしにターゲット内に蓄積するように構成される）、または標的化蛍光剤（特異的相互作用によってターゲットに付着するように構成される、例えば、様々な組織、血管特性、代謝特性などと相互作用できる化学的結合特性および／または物理的構造に基づいて、標的特異的リガンドを蛍光剤の製剤に組み込むことによって達成される）のいずれかを使用することによって達成できる。例えば、蛍光剤は、ボーラスとして（例えば、シリンジを用いて）患者に静脈内投与される。その結果、蛍光剤は、ターゲットに到達してこれに結合するまで、患者の血管系内を循環する。残りの（未結合）蛍光剤は、その代わりに血液プールから除去される。蛍光剤が（可能性のある）腫瘍に蓄積し、患者の残部から洗い流されるまでの待機時間（例えば、数分から２４～７２時間まで）の後、内視鏡処置が開始できる。従って、必要に応じて、医師は患者に（完全または部分的に）麻酔をかける。いずれの場合も、医師は、（医療）オペレータによってスイッチオンになったマザースコープのプローブを、患者の体腔内に（その開口を経由して）その先端が腫瘍が存在する可能性のある身体部分の関心領域に到達するまで挿入する。これに応答して、マザースコープの白色光源は、その視野を照明し、マザースコープの反射率カメラはその視野のマザースコープ反射率画像を連続的に取得し、マザースコープのモニター上にリアルタイムで表示される（不図示）。

【0058】

本開示の一実施形態による手法に関連する限り、内視鏡処置のある時点において、医師は、その先端が身体部分の同じ関心領域（マザースコープのプローブの先端）に到達するまで、ベビースコープのプローブをマザースコープの作業チャネルに（その作業ポートを経由して）挿入する。医師は、いつでもベビースコープをスイッチオンにして、撮像プロセス（対応する位置合わせ操作を伴う）を開始することを決定してもよい。例えば、これは、ベビースコープをマザースコープの作業チャネルに挿入する前に、または、ベビースコープのプローブの先端がマザースコープのプローブの先端に到達した後に、行ってもよい。いずれの場合も、これに応答して、（撮像）プロセスは、黒い開始円５０３からブロック５０６に進行することによって開始する。この時点で、取得器は、励起光源および、ベビースコープの視野を照射するための白色光源をオンにする。そして、動作のフローは、同時に実行される様々な動作に分岐する。特に、取得器は、ブロック５０９において、新しいベビースコープ蛍光画像を取得し、それを対応するリポジトリに追加する。必要に応じて、取得器は、ブロック５１２において、新しいベビースコープ反射率画像を取得し、それを対応するリポジトリに追加する。さらに、ビデオインタフェースは、ブロック５１５において（マザースコープから送信されるマザースコープ反射率画像を連続的に受信する）、これらの最後の１つを対応するリポジトリに追加する。このようにしてベビースコープ蛍光画像およびベビースコープ反射率画像（利用可能な場合）はほぼ同時に取得され、これらは、空間的にコヒーレントである（即ち、完全同一性に至るまで、これらの画素間に予測可能な相関関係が存在する）ベビースコープの同じ視野の様々な表現（それぞれ蛍光光と可視光の観点で）を提供する。さらに、マザースコープ反射率画像も、ベビースコープおよびマザースコープの取得速度間の位相シフトとは別に（実際には無視できる）、実質的に同時に取得されたものとみなすことができる。

【0059】

動作のフローは、ブロック５０９、ブロック５１２、ブロック５１５からブロック５１８において再び合流する。この時点で、プロセスは、ベビースコープの位置合わせ動作のモード（手動／自動）（例えば、手動設定、デフォルトで定義されたもの、または、利用可能な唯一のもの）に従って分岐する。位置合わせ動作の自動モードの場合、プロセスは、ベビースコープの構造に従ってブロック５２１においてさらに分岐する。ベビースコープが、蛍光画像および反射率画像の両方を取得するように構成される場合、準備器は、ブロック５２４において、対応するリポジトリに直ちに追加された（最後の）ベビースコープ反射率画像を検索する。逆に、ベビースコープが蛍光画像のみを取得するように構成される場合、準備器は、ブロック５２７において、対応するリポジトリに直ちに追加された（最後の）ベビースコープ蛍光画像を検索する。どちらの場合も、プロセスは、ブロック５３０に進み、準備器は、対応するリポジトリに直ちに追加された（最後の）マザースコープ反射率画像を検索する。準備器は、ブロック５３３において、対応する位置合わせ動作のために直ちに検索されたベビースコープ（反射率または蛍光）画像およびマザースコープ（反射率）画像を準備する。例えば、準備器は、ベビースコープ／マザースコープ画像の各境界から、その（最も外側の）画素の１５～２５％、例えば２０％によって定義される中央領域を囲むその部分を廃棄することによって、各ベビースコープ／マザースコープ画像をその中央領域に縮小できる。このようにしてベビースコープ／マザースコープ画像の最も有用な部分だけが考慮され、位置合わせ動作の相応の精度向上および計算時間の短縮を伴う。追加または代替として、準備器は、各（可能ならば縮小された）ベビースコープ／マザースコープ画像を、例えば、そのサイズを４０～６０％まで、例えば、５０％に縮小することによって（例えば、ローパスフィルタと、それに続くサブサンプリングを用いて）、サイズ縮小できる。これにより、位置合わせ動作の計算時間を低減し（例えば、３～４倍だけ）、同時にその精度に悪影響を与えることなく、むしろわずかに向上させる（最小の運動の検出が容易になるため）。追加または代替として、準備器は、各画素値のＲＧＢ成分を、対応する光強度（例えば、黒の０から白の２５５までなど）を表す単一のグレースケール成分に置換することによって、各（可能性として縮小および／またはダウンスケールされた）ベビースコープ／マザースコープ画像をグレースケールに変換でき、例えば、グレースケール成分は、ＲＧＢ成分の加重平均として計算される（知覚的輝度を維持するため）。これにより、位置合わせ動作の計算時間が減少し、同時にその精度が向上し、環境条件（例えば、照明、コントラスト、機器など）に対する感度が減少する。いずれの場合も、準備器は、そのように取得されたベビースコープ／マザースコープ準備済み画像を、対応するリポジトリに追加する。位置合わせ動作にとって充分な数のベビースコープ／マザースコープ準備済み画像（例えば、２～５）を有するために必要な遷移時間の後、ベビースコープ蛍光画像およびマザースコープ反射率画像の（位置合わせ）ペア（最初に取得された）が位置合わせされる。この目的のために、動作のフローは、ベビースコープの構成（例えば、手動で設定、デフォルトで定義、または利用可能な唯一のもの）に従ってブロック５３６において分岐する。

【0060】

位置合わせが深層学習技術のみまたは予備的に基づく場合、ニューラルネットワークを使用して、対応する補正を決定する。基本的には、ニューラルネットワークは、人間の脳の動作を近似したデータ処理システムである。ニューラルネットワークは、基本的な処理エレメント（ニューロン）を含み、これは、対応する重みに基づいて演算を実行する。ニューロンは、一方向チャネル（シナプス）を介して接続されており、これは、これらの間でデータを転送する。ニューロンは、様々な動作を実行する複数層に編成されており、常に、ニューラルネットワークの入力データを受信する入力層と、出力データを提供する出力層とを含む。本開示の一実施形態では、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、即ち、特定タイプのディープニューラルネットワーク（１つ以上の隠れ層が、ニューラルネットワークの処理方向に沿って入力層と出力層の間に連続して配置される）であり、その１つ以上の隠れ層が（クロス）畳み込み演算を実行する。例えば、ニューラルネットワークは、ＶＧＧ－１６モデルの修正バージョンに基づいている。より詳細には、入力層は、ベビースコープ準備済み画像の（推定）セットおよび準備済みマザースコープ画像の（推定）セットを連結することによって生成される入力画像を受信するように構成される。各推定セットは、複数の最後のベビースコープ／マザースコープ準備済み画像（例えば、最後の２～１０個）を含み、入力画像は、ベビースコープ／マザースコープ準備済み画像と同じサイズ、およびベビースコープ／マザースコープ準備済み画像の画素値の成分によって与えられるチャネルの数（各セルの値）を有する（例えば、２個のベビースコープ準備済み画像および２個のマザースコープ準備済み画像について４チャネル。それぞれが各画素値ごとに１つのグレースケール成分を備える）。隠れ層は、最初に、それぞれ１つ以上の畳み込み層からなる５個のグループ（例えば、２個の畳み込み層からなる第１グループ、２個の畳み込み層からなる第２グループ、３個の畳み込み層からなる第３グループ、３個の畳み込み層からなる第４グループ、および３個の畳み込み層からなる第５グループ）を備え、そして、対応する最大値プーリング層が続く。一般に、各畳み込み層は、対応する重み（各チャネルごとに、対応する適用データとフィルタの間で同じ数）によって定義された畳み込み行列（フィルタまたはカーネル）を通じて畳み込み演算を実行する。この畳み込み演算は、選択したセル数（ストライド）だけ、適用データ全体でフィルタをシフトすることによって、適用データの限られた部分（受容野）について連続して実行され、適用データの境界の周りに内容ゼロのセルの追加も可能であり（パディング）、これにもフィルタを適用することが可能であり（これにバイアス値を追加して、それを変換し、そして活性化関数を適用して非線形係数を導入できる）、対応するフィルタ済みデータを取得できる。畳み込み層のフィルタ済みデータの各要素は、適用データ内の小さな領域（受容野）のみを調べ、空間的に左右の他のニューロンとパラメータを共有する（畳み込み層の全てのニューロン間で共有されるフィルタのストライドに従って）、ニューロンの出力としても解釈できる。ＶＧＧ－１６モデルでは、畳み込み層は、パディング１およびストライド１の３×３の極めて小さいフィルタを適用し（適用データのサイズを維持するため）、その各ニューロンは、正規化線形関数（ＲｅＬＵ）活性化関数を適用する。各最大値プーリング層は、プーリング層（小さい変位に起因した差に対する感度を減少させるために、その適用データをダウンサンプリングする）であり、これは、適用データ全体でウィンドウを、選択したセル数（ストライド）だけシフトすることによって、適用データの各限定部分（ウィンドウ）の値をそれらの最大値に置換する。ＶＧＧ－１６モデルでは、最大値プーリング層は、ストライド２を備えた２×２のウィンドウを有する。 全体として、上述した隠れ層のグループは、適用データのサイズを１×１にまで減少させ、これらのチャネルを４０９６まで増加させる。そして隠れ層は、３つの完全に接続された（または緻密な）層を備える。各完全接続層は、先行層の全てのニューロンに接続されたニューロンを有する。完全接続層は、チャネルの数を、入力データの全ての可能なクラスに対応する数にまで段階的に減少させる。ＶＧＧ－１６モデルでは、完全接続層は、ＲｅＬＵ活性化関数を適用し、ＩＬＳＶＲＣ分類でチャネルを１０００に減少させる。本開示の一実施形態では、チャネルは削減され、最後のベビースコープ準備済み画像と、最後のマザースコープ準備済み画像との（位置合わせ）ペアの間のミスアライメントの回転角の程度（０°から３５９°まで）について３６０個のチャネルを提供する。これは、ニューラルネットワークの低い複雑さ（トレーニングと応答時間に影響する）と、高い解像度（精度に影響する）という相反する要件の間の良好な妥協点である。さらに、最初の２つの完全接続層では、ＲｅＬＵ活性化関数が、線形活性化関数に置換される。最終的に、隠れ層は、ソフトマックス層を備え、これは、適用データを確率分布に正規化する（各値は、０から１までの範囲にあり、全ての値の合計は１になる）。そして、出力層は、最も高い確率を有する回転角の反対に設定された、位置合わせペアのための補正を決定する。この深層学習技術をベースとした実装では、プロセスは、ブロック５３６からブロック５３９に進み、ベビースコープ画像の推定セットおよびマザースコープ画像の推定セットは、ニューラルネットワークの入力画像に連結され、それに適用される。ブロック５４２に移って、ニューラルネットワークは、ベビースコープ／マザースコープ準備済み画像の対応する位置合わせペアのための補正を直接に出力する。この補正は、対応するリポジトリの最後のエントリに存在する値に追加される（０に初期化され、場合によっては、以下で説明するオプティカルフロー技術を用いた予備セット）。その結果、深層学習技術をベースとした実装だけが適用される場合、それで決定された補正は、位置合わせ動作の最終値を直接に定義する。逆に、オプティカルフロー技術をベースとした実装が前回適用されている場合、深層学習技術で決定された補正は、オプティカルフロー技術で決定されたその予備値を改善する。動作のフローはさらに、ベビースコープの構成に従ってブロック５４５において分岐する。こうして得られた補正が、最初に取得されたようなベビースコープ蛍光画像とマザースコープ反射率画像の位置合わせペアに適用される最終値である場合（オプティカルフロー技術をベースとした実装は、後に適用されない）、アライナーは、ブロック５４８において、これらを相応に位置合わせする。例えば、アライナーは、ベビースコープ蛍光画像に補正を適用し（問題の例ではそれを回転することによって）、そして、こうして得られたベビースコープ位置合わせ済み蛍光画像を対応するリポジトリに追加する。深層学習技術をベースとする実装は極めて高速であるため、内視鏡処置中にこれらの表示が可能なように、ベビースコープ蛍光画像およびマザースコープ反射画像は、これらの取得から短い遅延で位置合わせされるリアルタイムアプリケーションによく適している。さらに、オプティカルフロー技術をベースとする実装の後に、深層学習技術をベースとする実装が適用される場合、ニューラルネットワークは、はるかに少ない数の回転角の値（例えば、０°から９°までの１０個の値）を提供するように構成できる。この場合、ニューラルネットワークは、より広範囲にトレーニングすることができ、はるかにより正確になる。ブロック５４５に戻って参照すると、こうして得られた補正が、オプティカルフロー技術を適用することによってまだ調整すべき予備値である場合、アライナーは、ブロック５５１において、同様に、準備済みベビースコープ画像に補正を適用し、それを対応するリポジトリの中に置換することによって、準備済みベビースコープ／マザースコープ画像の位置合わせペアを位置合わせする。そして、プロセスは、ブロック５５４に進む。

【0061】

位置合わせが、オプティカルフロー技術単独または予備的に基づいている場合、ブロック５３６から同じポイントに直接到達する。両方の場合、推定器は、複数の最後のベビースコープ準備済み画像を含むベビースコープ準備済み画像の（推定）セット、例えば、最後から２番目のベビースコープ準備済み画像（対応するリポジトリから抽出される）を基準とした最後のベビースコープ準備済み画像、のベビースコープ動きベクトル（例えば、並進）を決定し、こうして取得した値を、対応するリポジトリに追加する。同様に、推定器は、ブロック５５７において、複数の最後のマザースコープ準備済み画像を含むマザースコープ準備済み画像の（推定）セット、例えば、最後から２番目のマザースコープ準備済み画像（対応するリポジトリから抽出される）を基準とした最後のマザースコープ準備済み画像、のマザースコープ動きベクトル（例えば、再び並進）を決定し、こうして取得した値を、対応するリポジトリに追加する。この目的のために、推定器は、任意の既知の技術を適用でき、例えば、１つ以上の画素グループのレベルでローカル動きベクトルを計算することが可能である（例えば、ブロックマッチングアルゴリズム、あるいは、密または疎のベクトルフィールドの推定などを用いて）。これらの各々は、最後から２番目のベビースコープ／マザースコープ準備済み画像から最後のベビースコープ／マザースコープ準備済み画像までの対応する画素グループのオフセットを表す。そして、（グローバル）動きベクトルは、これらのローカル動きベクトルに従って決定される（例えば、その平均に設定される）。計算機は、ブロック５６０において、対応する動きベクトル（例えば、ベビースコープ準備済み画像の動きベクトルからマザースコープ準備済み画像の動きベクトルまでの角度に等しい）に従って、最後の準備済みベビースコープ／マザースコープ画像の位置合わせペア間のミスアライメント（問題の例では回転角）を計算し、それを対応するリポジトリに追加する。計算機は、ブロック５６３において、複数の最後のミスアライメント（例えば、最後の２～１０）の（計算）セットに従って、ベビースコープ／マザースコープ準備済み画像の位置合わせペアのための補正を計算する。特に、補正は、計算セットのミスアライメントの加重平均の逆として計算される。例えば、重みが、その経過時間および／または程度とともに（例えば、指数関数的に）減少する各ミスアライメントに割り当てられる。経過時間とともに減少する重みは（ジッターの影響を低減することによって）補正を滑らかにし、程度とともに減少する重みは（誤解を招く動きがない、または極めて小さい動きの影響を低減することによって）精度を改善する。そして、計算機は、こうして得られた補正を、対応するリポジトリの最後のエントリに存在する値に追加する（０に、そして可能ならば上述のような深層学習技術を用いて事前に設定されたものに初期化される）。その結果、オプティカルフロー技術をベースとした実装だけが適用される場合、それを用いて決定された補正は、位置合わせ動作のための最終値を直接に定義する。反対に、深層学習技術をベースとした実装が前回適用されていた場合、オプティカルフロー技術を用いて決定された補正は、深層学習技術を用いて決定されたその予備値を調整する。動作のフローはさらに、ベビースコープの構成に従ってブロック５６６において分岐する。こうして得られた補正が、最初に取得されたようなベビースコープ蛍光画像およびマザースコープ反射率画像の位置合わせペアに適用すべき最終値である場合（深層学習技術をベースとした実装は後で適用されない）、アライナーは、ブロック５６９において、補正をベビースコープ蛍光画像に適用し、こうして得られたベビースコープ位置合わせ済み蛍光画像を、対応するリポジトリに追加することによって、ベビースコープ蛍光画像およびマザースコープ反射率画像（最初に取得されたもの）の位置合わせペアを位置合わせする。モーションフロー技術をベースとした実装は、極めて精密であり、従って、それは、オフラインアプリケーション（必要な計算時間は重要ではない）、または深層学習技術をベースとした実装によって提供される予備の位置合わせを調整するためのリアルタイムアプリケーション（後者は、その計算時間を大幅に短縮する）によく適している。ブロック５６６に戻って、こうして得られた補正が、深層学習技術を適用することによってまだ調整すべき予備値である場合、アライナーは、ブロック５７２において、同様に、準備済みベビースコープ画像に補正を適用し、それを対応するリポジトリに置換することによって、準備済みベビースコープ／マザースコープ画像の位置合わせペアを位置合わせする。そして、プロセスは、ブロック５３９に戻る。

【0062】

ブロック５１８に戻って、位置合わせ動作の手動モードの場合、設定器は、ブロック５７５において、補正（最初に取得されたベビースコープ／マザースコープ画像の位置合わせペアに適用される）を設定する必要があるか否かを検証する。特に、これは常に内視鏡処置の開始時に発生し（補正を初期化するため）、可能性としては、その間に医師が補正がもはや正確でないと判断した場合に（補正を更新するために）発生する。補正を設定する必要があれば、プロセスは、ブロック５７８に進み、医師は、設定器を介して補正を入力する。例えば、表示器は、マザースコープ反射率画像およびベビースコープ反射率画像を共にベビースコープのモニタに連続的に表示する（ベビースコープ反射率画像が利用できない場合は、ベビースコープ蛍光画像を用いて同じ動作を行う）。医師は、内視鏡処置の（比較的）安定した状態に達するまで待機する（表示されたマザースコープ／ベビースコープ反射率画像によって示すように）。例えば、これは、マザースコープのプローブの先端が身体部位の関心領域に到達し、そしてベビースコープのプローブが、その先端が身体部位の同じ関心領域に到達した状態でマザースコープの作業チャネルの中に挿入された場合に発生する。ここで医師は、これらが位置合わせされているように見えるまで、マザースコープ／ベビースコープ反射率画像に作用する（ユーザインタフェ－スまたは設定デバイスを介して）。この動作は、その取得中に再生されたり、医師によってベビースコープに（たとえば、そのキーボードを用いて）入力される対応コマンドに応じて一時停止したりしながら、マザースコープ／ベビースコープ反射率画像に対して実行できる。いったん動作が完了すると、医師は、対応するコマンドをベビースコープに（例えば、そのキーボードを用いて）入力することによって、こうして得られたマザースコープ／ベビースコープ反射率画像の（手動）位置合わせを確認する。これに応答して、設定器は、ブロック５８１において、この手動位置合わせに対応する補正を決定し、それを、対応するリポジトリに保存する（ヌルに初期化された前回の値を置換する）。そしてプロセスは、ブロック５８４に進む。補正の設定が必要でない場合にも、ブロック５７５から直接に同じポイントに到達する。この時点で、アライナーは、この補正（対応するリポジトリから抽出される）をベビースコープ蛍光画像に適用し、こうして得られたベビースコープ位置合わせ済み蛍光画像を対応するリポジトリに追加することによって、ベビースコープ蛍光画像およびマザースコープ反射率画像（最初に取得したもの）の位置合わせペアを位置合わせする。

【0063】

そして、動作のフローは、ブロック５８７において、ブロック５４８（深層学習技術単独または追加でベースとした自動モード）から、ブロック５６９（オプティカルフロー技術単独または追加でベースとした自動モード）、またはブロック５８４（手動モード）から、再び合流する。この時点で、表示器は、マザースコープ反射率画像およびベビースコープ位置合わせ済み蛍光画像に基づいて身体部分の表現を表示する。例えば、表示器は、ベビースコープ位置合わせ済み蛍光画像をマザースコープ反射率画像に重ね合わせることによって生成される重ね合わせ画像を表示してもよい（重ね合わせ画像の各画素値は、その明るさが、閾値（例えば、最大値の５～１０％）よりも高い場合（可能ならば厳密に）、または、それ以外にはマザースコープの反射率画像の対応する画素値に等しい場合、ベビースコープ位置合わせ済み蛍光画像の対応する画素値に等しい）。

【0064】

ここでブロック５９０を参照すると、イメージングプロセスがまだ進行中である場合、動作のフローは、ブロック５０９～５１５の前に戻って、同じ動作を連続して繰り返す。逆に、オペレータによってベビースコープに（例えば、そのキーボードを用いて）入力された終了コマンドによって示されるように、撮像プロセスが終了した場合、プロセスは、同心円の白／黒ストップ円５９３で終了する（取得器によって励起光源および白色光源をターンオフした後）。

【0065】

ここで図６を参照すると、本開示の一実施形態による手法のニューラルネットワークを訓練するために使用できる（トレーニング）コンピュータシステム６００の概略ブロック図を示す。

【0066】

トレーニング（コンピュータ）システム６００（例えば、パーソナルコンピュータ（ＰＣ））は、バス構造６０５を介して相互に接続された複数のユニットを備える。特に、マイクロプロセッサ（μＰ）６１０またはそれ以上が、トレーニングシステム６００の論理能力を提供する。不揮発性メモリ（ＲＯＭ）６１５が、トレーニングシステム６００のブートストラップのための基本コードを格納し、揮発性メモリ（ＲＡＭ）６２０が、マイクロプロセッサ６１０によってワーキングメモリとして使用される。トレーニングシステム６００には、プログラムおよびデータを格納するための大容量メモリ６２５、例えば、半導体ディスク（ＳＳＤ）が設けられる。さらに、トレーニングシステム６００は、周辺機器または入力／出力（Ｉ／Ｏ）ユニットのための複数のコントローラ６３０を備える。例えば、周辺機器は、キーボード、マウス、モニタ、通信ネットワーク（例えば、インターネット）に接続するためのネットワークアダプタ（ＮＩＣ）、リムーバブルストレージユニット（例えば、ＵＳＢタイプ）を読み書きするためのドライブを含む。

【0067】

ここで図７を参照すると、本開示の一実施形態による手法においてニューラルネットワークを訓練するために使用できる主要なソフトウェアコンポーネントを示す。

【0068】

全てのソフトウェアコンポーネント（プログラムおよびデータ）は、全体として参照番号７００で示す。ソフトウェアコンポーネント７００は、大容量メモリに格納され、プログラムが実行している場合、オペレーティングシステムおよび、本開示の手法に直接に関係しない他のアプリケーションプログラム（簡単化のために図では省略）とともに、トレーニングシステムのワーキングメモリに（少なくとも部分的に）ロードされる。プログラムは、最初に、例えば、リムーバブルストレージユニットまたはネットワークから大容量メモリにインストールされる。これに関して、各プログラムは、特定の論理機能を実装するための１つ以上の実行可能命令を含む、コードのモジュール、セグメントまたは一部でもよい。

【0069】

ローダー７０５は、サンプル内視鏡処置などの際に上述のように取得された複数のサンプルマザースコープ（反射率）画像を、対応するサンプルマザースコープ（例えば、腫瘍を持つ患者の結腸を撮像することによって）とともにロード（読み込み）する。もし可能であれば、（サンプル）マザースコープ画像は、サンプルマザースコープの様々なモデルを用いて取得され、現実に使用されるマザースコープの実際のモデルに対してニューラルネットワークの感度を低くする。ローダー７０５は、マザースコープ画像を格納する（サンプル）マザースコープ画像リポジトリ７１０に書き込む。合成器７１５が、マザースコープ画像から対応する（ベビースコープ）合成画像を合成する。この合成画像は、サンプルマザースコープの作業チャネルを経由して挿入されたベビースコープなどによって取得される、対応する反射率画像を模倣する。合成器７１５は、マザースコープ画像リポジトリ７１０を読み出し、合成画像を格納する合成画像リポジトリ７２０に書き込む。発生器７２５が、様々なミスアライメント（例えば、各画像にランダムに選択された複数の回転）を適用することによって、合成画像から複数の（サンプル）ベビースコープ（反射率）画像を生成する。発生器７２５は、合成画像リポジトリ７２０を読み出し、（サンプル）ベビースコープ画像リポジトリ７３０に書き込む。ベビースコープ画像リポジトリ７３０は、各ベビースコープ画像のエントリを含む。このエントリは、ベビースコープ画像、対応する合成画像を合成するために使用されるマザースコープ画像の指示（例えば、対応するリポジトリ７１０内のそのインデックス）、およびベビースコープ画像（その金の価値を表す）を生成するために使用されるミスアライメントの逆に等しい（基準）補正を格納する。訓練器７３５が、ニューラルネットワーク４３９を訓練する。訓練器７３５は、マザースコープ画像リポジトリ７１０およびベビースコープ画像リポジトリ７３０を読み出す。さらに、訓練器７３５は、同じ参照番号４３９で示されるニューラルネットワークのコピーを実行し（入力データを適用し、出力データを受信する）、その重みを書き込む。

【0070】

ここで図８を参照すると、本開示の一実施形態による手法におけるニューラルネットワークの訓練に関連する動作のフローを説明する動作図を示す。

【0071】

特に、動作図は、方法８００を用いてニューラルネットワークを訓練するために使用できる例示のプロセスを表す（ベビースコープの開発中に、場合によってはその次回メンテナンス中に）。上述のように、各ブロックは、トレーニングシステム上で特定の論理機能を実装するための１つ以上の実行可能命令に対応する。

【0072】

プロセスは、黒いスタート円８０５で開始し、ブロック８１０に進み、訓練器は、マザースコープ画像を、対応するリポジトリに（例えば、リムーバブルストレージユニットまたはネットワークを介して）ロードする。合成器は、ブロック８１５において、（対応するリポジトリから検索される）各マザースコープ画像から、対応する合成画像を合成する。この目的のために、合成器は、ベビースコープを用いて取得した現実の反射率画像に似せることを目的として、マザースコープ画像に複数の更新を適用する。特に、マザースコープ画像（一般に、長方形または八角形などの多角形を有する）は、（例えば、マザースコープ画像に内接する小さい円の外側にある画素の値をゼロにリセットすることによって）円形状に変換される。追加または代替として、マザースコープ画像の解像度が減少する（例えば、それを３０～７０％、例えば、５０％だけダウンサンプリングすることによって）。追加または代替として、マザースコープのコントラストが減少する（例えば、低コントラストのフィルタを適用することによって）。追加または代替として、マザースコープの画像をズームインして、より小さい視野をシミュレーションする（例えば、中央ゾーンの画素の値を複製することによって）。追加または代替として、マザースコープ画像が変換される（例えば、ランダムな値によって）。追加または代替として、マザースコープ画像にノイズが追加される（例えば、その画素値にランダムノイズを追加することによって）。合成器は、こうして得られた合成画像を、対応するリポジトリに追加する（そのリポジトリ内で対応するマザースコープ画像の同じ位置に関連付けるように）。生成器は、ブロック８２０において、合成画像からベビースコープ画像を生成する。特に、各合成画像（対応するリポジトリから検索された）ごとに、生成器は、回転角の複数の擬似ランダム値（例えば、１００～４００）を生成し、そしてこれらを合成画像に適用する。生成器は、こうして取得した各ベビースコープ画像を、対応するマザースコープ画像の指示（例えば、これらのリポジトリ内の合成／マザースコープ画像の共通インデックスに等しい）および、対応する基準補正（適用された回転角の反対の値に等しい）とともに、対応するリポジトリに追加する。

【0073】

訓練器は、ニューラルネットワークのトレーニング動作を実行し、その重みの（最適化）値を見つけて、可能ならばそのパラメーターを見つけて、パフォーマンスを最適化する。この目的のために、訓練器は、ブロック８２５において、複数のトレーニングセットを選択し、各々はベビースコープ画像、対応するマザースコープ画像、および対応する基準補正によって形成される。トレーニングセットは、ベビースコープ画像をサンプリングし、その百分率（例えば、ランダムに選択された５０％）を選択することによって定義される。訓練器は、ブロック８３０において、ニューラルネットワークの重みをランダムに初期化する。そして、ブロック８３５においてループに入り、訓練器は、各トレーニングセットのベビースコープ画像を連続的に（任意の順序で）ニューラルネットワークに供給し、対応する（推定された）補正を取得する。訓練器は、ブロック８４０において、トレーニングセットの推定された補正と基準補正との差に基づいて損失値を計算する（例えば、外れ値に対する感度を制限するためにフーバー(Huber)関数を適用することによって）。訓練器は、ブロック８４５において、損失値が許容可能ではなく、依然として著しく改善するかどうかを検証する。この動作は、反復モード（その損失値について各トレーニングセットを処理した後）、またはバッチモード（損失値の累積値、例えば、その平均について全てのトレーニングセットを処理した後）のいずれかで実行できる。そうである場合、訓練器は、ブロック８５０において、ニューラルネットワークのパフォーマンスを改善させるために、ニューラルネットワークの重みを更新する。例えば、確率的勾配降下法（ＳＧＤ）アルゴリズムをベースとしたプロセスでは、変化の方向および量が、誤差逆伝播法（バックプロパゲーション）アルゴリズムを用いて近似される重みの関数として、損失値を表す損失関数の勾配によって与えられる。そして、プロセスは、ブロック８３５に戻り、同じ動作を繰り返す。再びブロック８４５を参照すると、損失値が許容可能になった場合、または重みの変化が著しい改善を提供しない場合（損失関数の最小値、少なくとも局所または平坦な領域が見つかったことを意味する）、ループは終了する。上述のループは、ランダムノイズを重みに追加することによって実行でき、および／または、それは、ニューラルネットワークの様々な初期化から開始して反復でき、様々な（場合によってはより良好な）極小値を見つけて、損失関数の平坦領域を識別できる。

【0074】

いったん損失関数の最適な最小値を提供するニューラルネットワークの構成が見つかると、プロセスは、ブロック８５５に続く。この時点で、訓練器は、こうして得られたニューラルネットワークのパフォーマンスの検証操作を実行する。この目的のために、訓練器は、複数の検証セットを選択し、各々は、ベビースコープ画像、対応するマザースコープ画像、および対応する基準補正によって形成される。例えば、検証セットは、トレーニングセットのものとは異なるベビースコープ画像によって定義される。そして、ブロック８６０においてループに入り、訓練器は、（現在の）検証セットのベビースコープ画像（任意の順序で最初のものから開始して）をニューラルネットワークに供給し、対応する（推定された）補正を取得する。訓練器は、ブロック８６５において、検証セットの推定された補正と基準補正との差に基づいて、上記のような損失値を計算する。訓練器は、ブロック８７０において、最後の検証セットが処理されたかどうかを検証する。そうでない場合、動作のフローはブロック８６０に戻り、次の検証セットに対して同じ動作を繰り返す。逆に（全ての検証セットが処理されると）、ブロック８７５に進むことによってループは終了する。この時点で、訓練器は、上述の検証の包括的損失（例えば、全ての検証セットの損失値の平均に等しい）を決定する。動作のフローは、包括的損失に従ってブロック８８０において分岐する。包括的損失が許容値よりも高い場合（可能ならば厳密に）、これは、ニューラルネットワークの一般化の能力（トレーニングセットから学習された構成から検証セットまで）が低すぎることを意味する。この場合、プロセスは、ブロック８２５に戻り、異なるトレーニングセット、トレーニングパラメータ（例えば、学習率、エポック数など）および／または、ニューラルネットワークパラメータ（例えば、補正値の数、活性化関数など）を用いて同じ動作を繰り返し、あるいは、ブロック８２０に進んでベビースコープ画像（不図示）を増加させる。反対に、包括的損失が許容値よりも低い場合（可能ならば厳密に）、これは、ニューラルネットワークの一般化の能力が満足できることを意味する。この場合、訓練器は、ブロック８８５において、ベビースコープのインスタンスのバッチに展開するためのニューラルネットワークの構成を受け入れる。
そして、プロセスは、同心の白／黒のストップ円８９０で終了する。

【0075】

ここで図９Ａ～図９Ｂを参照すると、本開示の一実施形態による手法の様々な適用例を示す。

【0076】

図９Ａから開始すると、これは、内視鏡処置中の例示的な位置合わせに関する。特に、図は、位置合わせペアのベビースコープ（反射率）画像９０５ｂおよびマザースコープ（反射率）画像９０５ｍを示し、対応するローカル動きベクトルの追加を伴う。ベビースコープ画像９０５ｂおよびマザースコープ画像９０５ｍについて、ベビースコープ動きベクトル９１０ｂおよびマザースコープ動きベクトル９１０ｍがそれぞれ決定される（ローカル動きベクトルから）。補正（回転角）９１０ｂｍが、マザースコープ動きベクトル９１０ｍからベビースコープ動きベクトル９１０ｂを減算したものとして計算される。そして、ベビースコープ画像９０５ｂは、補正９１０ｂｍに従って位置合わせされ（対応する角度だけ回転する）、見て判るように、対応するベビースコープ位置合わせ済み（蛍光）画像９１０ｂｒが得られる。ここでベビースコープの位置合わせ済み画像９１０ｂｒは、マザースコープ画像９０５ｍ（ローカル動きベクトルなしで再び示している）と実質的に位置合わせされている。

【0077】

図９Ｂに移ると、これは、ニューラルネットワークの例示のトレーニングに関する。特に、この図は、サンプル内視鏡処置中に取得された２つのマザースコープ（反射率）画像９１５ｍ，９２０ｍを示す。２つの合成（反射率）画像９１５ｓ，９２０ｓ（対応するベビースコープ反射率画像を模倣する）は、マザースコープ画像９１５ｍ，９２０ｍからそれぞれ合成される（これらを円形形状に変換し、解像度／コントラストを低下させ、ズームイン（拡大）することによって）。

【0078】

（変形例）
局所的および特定の要件を満たすために、当業者は、多くの論理的および／または物理的な変形および変更を本開示に適用できる。より詳細には、本開示は、その１つ以上の実施形態を参照して、ある程度の詳細さで説明しているが、形態、詳細そして他の実施形態における種々の省略、置換および変更が可能であることは理解すべきである。特に、本開示の様々な実施形態が、前述の説明に記載された特定の詳細（例えば、数値）なしで実施でき、より完全な理解を提供できるが、逆に、不必要な詳細についての説明を不明瞭にしないために、周知の特徴を省略または簡略化していることがある。さらに、本開示の任意の実施形態に関連して説明した特定の要素および／または方法ステップは、他の任意の実施形態において、一般的な設計選択の事項として組み込み可能であることを明確に意図している。さらに、同じグループおよび様々な実施形態、例または代替例で提示されるアイテムは、事実上互いに等価であると解釈されるべきではない（しかし、それらは別個で自律的な実体である）。いずれの場合も、各数値は、適用可能な許容誤差に従って修正されるものとして読むべきであり、特に他に示していない限り、用語「実質的に(substantially)」、「約(about)」、「おおよそ(approximately)」は、１０％の範囲内、好ましくは５％の範囲内、さらにより好ましくは１％の範囲内であると理解すべきである。さらに、数値の各範囲は、（その端点を含む）範囲内の連続体に沿った任意の可能な数を明示的に特定するものとして意図すべきである。序数または他の修飾子は、単に、同じ名前を備えた要素を区別するラベルとして使用しており、それ自体、優先度、優先権または順序を暗示していない。用語「含む(include)」、「備える(comprise)」、「有する(have」、「収容する(contain)」、「含む(involve)」等は、オープンで完全網羅でない意味を伴うと意図すべであり（即ち、記載したアイテムに限定されない）、用語「に基づいて(based on)」、「に応じて(dependent on)」、「に従って(according to)」、「に応じて(function of)」等は、完全網羅でない関係として意図すべきであり（即ち、可能性ある追加の変数が含まれる）、用語"a/an"は、１つ以上のアイテムとして意図すべきであり（他の明示していない限り）、用語「ための手段(means for)」（または任意のミーンズプラスファンクション形式）は、関連する機能を実行するように適応または構成される任意の構造として意図すべきである。

【0079】

例えば、一実施形態は、内視鏡システムを用いて患者の身体部分を撮像するための方法を提供する。しかしながら、この（撮像）方法は、内視鏡システムを用いて、任意の身体部分（例えば、胃腸管、気道、尿路、子宮、内部関節などの１つ以上の器官、領域、組織など）および任意の患者（例えば、人間、動物など）のものを撮像するために使用できる（以下を参照）。さらに、この方法は、任意の医療処置（例えば、手術、診断、治療など）に使用できる。この方法は、患者との相互作用とは独立して（または、熟練の医学的専門知識を必要としたり、患者にとって健康リスクを伴うような患者への実質的な物理的介入をせいぜい伴わずに）、内視鏡システムを制御するための動作に関するだけのものである。いずれの場合も、この方法は、医師のタスクを容易にできるが、それは、彼らを支援できる中間結果を提供するだけでなく、厳密には、医師自身が常に行われる医療行為を伴う。

【0080】

一実施形態では、この方法は、身体部分の少なくとも一部を含む第１視野の複数の第１画像の第１シーケンスを取得するステップを含む（内視鏡システムの第１内視鏡ユニットを用いて）。しかしながら、第１画像は、任意の数および任意のタイプ（例えば、身体部分全体またはその一部のみを表す反射率画像、発光画像、超音波画像など）でもよく、これらは、任意の第１内視鏡ユニットを用いて取得してもよい（下記を参照）。

【0081】

一実施形態では、第１画像の第１シーケンスは、第１内視鏡ユニットの第１プローブを介して取得される。しかしながら、第１プローブは、任意のタイプ（例えば、ファイババンドル、チップオンチップ(chip-on tip)などをベースとしたもの）にできる。

【0082】

一実施形態では、この方法は、第１画像に対応する複数の第２画像セットの第２シーケンスを（内視鏡システムの第２内視鏡ユニットを用いて）取得するステップを含む。しかしながら、第１画像セットおよび第２画像セットは、任意の方法も対応することができる（例えば、異なる開始時間と周波数でこれらを独立に取得し、そしてシーケンスの各画像を、利用可能な他のシーケンスの最後の画像と、または、これに近い他のシーケンスの前後画像と関連付けることによって、第１画像および第２画像を同期して取得することによって、あるシーケンスの画像を受信し、その位相および周波数を決定し、そして同期して他方のシーケンスの画像の取得を開始することによってなど）、第２画像は、任意の第２内視鏡ユニットを用いて取得できる（以下を参照）。

【0083】

一実施形態では、第２画像セットの各々は、身体部分の少なくとも一部を含む第２視野の１つ以上の第２画像を含む。しかしながら、各第２画像セットは、任意のタイプの任意の数の第２画像（例えば、身体部分全体またはその一部だけを表す、発光画像、反射率画像、超音波画像、これらの任意の組合せ）を含んでもよい。第１視野および第２視野は、任意のタイプ（例えば、互いに異なるもの、例えば、ある程度重なり合ったり、または離散していたり、例えば、胆管鏡検査の場合のように、より厚い中空器官から分岐したより薄い中空器官を撮像するため、互いに等しいものなど）でもよい。

【0084】

一実施形態では、第２画像の第２シーケンスは、第１プローブに対して移動可能である第２内視鏡ユニットの第２プローブを介して取得される。しかしながら、第２プローブは、任意のタイプ（例えば、チップオンチップ、ファイババンドルなどをベースとするものなど）でもよい。さらに、２つのプローブは、先験的に知られていない任意の方法（例えば、回転、並進、これらの任意の組み合わせ、常にまたは結合前だけなど）でこれらの間で移動可能でもよい。

【0085】

一実施形態では、この方法は、（コンピュータデバイスによって）複数の第１画像のうちの第１画像および、対応する第２画像セットの第２画像の各位置合わせペアを位置合わせするステップを含む。しかしながら、位置合わせは、任意のタイプ（例えば、回転、並進、これらの両方などのアフィン(affine)変換、ズーミング、ワーピングなどの非剛体変換）でもよい。さらに、位置合わせは、任意のコンピュータデバイスによって（下記参照）、任意の方法（例えば、自動、半自動、または手動で、第１画像だけ、第２画像だけ、またはこれらの両方を更新することによって）で、いつの時でも（例えば、２つのプローブが両者間で常に移動可能である場合、連続的に適用される補正を決定することによって、その後これらが互いに固定される場合は、２つのプローブの結合時だけなど）実行できる。

【0086】

一実施形態では、この方法は、位置合わせされている各位置合わせペアの第１画像および第２画像に基づいて、身体部分の表現を（出力ユニットに）出力するステップを含む。しかしながら、身体部分の表現は、任意の出力ユニット（下記参照）に、任意の方法（例えば、表示、印刷、リモート送信、リアルタイムまたはオフラインなど）で出力できる。さらに、身体部分の表現は、任意の方法（例えば、各位置合わせペアの画像を重ねたり、並べたりして出力することによって）で位置合わせ済み画像をベースとしてもよい。

【0087】

さらなる実施形態は、追加の有利な特徴を提供するが、これらは基本的な実装では全て省略されてもよい。

【0088】

特に、一実施形態では、この方法は、（第２内視鏡ユニットを用いて）第１内視鏡ユニットの作業チャネルの中に取り外し可能に挿入された第２プローブを介して、第２画像セットの第２シーケンスを取得するステップを含む。しかしながら、第２プローブは、任意の方法（例えば、マザースコープを空洞の中に挿入する後または前等）で作業チャネルの中に挿入できる。いずれの場合も、マザースコープおよびベビースコープを他の任意の方法（例えば、独立して空洞内に挿入され、ベビースコープは腹腔鏡のトロカール(trocar)ポートに挿入される等）で配置する可能性は排除されない。

【0089】

一実施形態では、コンピュータデバイスは、第１内視鏡ユニットと第２内視鏡ユニットとの間の一方に含まれる。しかしながら、コンピュータデバイスは、内視鏡ユニットのいずれか一方に含まれてもよい。

【0090】

一実施形態では、この方法は、（コンピュータデバイスによって）第１内視鏡ユニットおよび第２内視鏡ユニットの他方から、対応する第１画像の第１シーケンスまたは第２画像セットの第２シーケンスを受信するステップを含む。しかしながら、これらの（第１または第２）画像は、任意の方法（例えば、プッシュモード、プルモード、任意の有線／無線通信チャネルを介して、リムーバブルストレージユニットから、ネットワークからダウンロードして等）で受信してもよい。

【0091】

一実施形態では、この方法は、（コンピュータデバイスによって）第１プローブと第２プローブの対応する相対運動に起因した第１画像と第２画像の各位置合わせペアのための少なくとも１つの補正を決定するステップを含む。しかしながら、補正は、任意のタイプ（例えば、位置合わせペアの第１画像または第２画像のための１つの補正値、位置合わせペアの第１画像および第２画像のための２つの対応する補正値等）でもよく、それは、任意の方法（例えば、オプティカルフロー技術だけを用いて、深層学習技術だけを用いて、これらの両方を任意の順序で用いて、手動で等）で決定してもよい。

【0092】

一実施形態では、この方法は、（コンピュータデバイスによって）対応する補正に従って、第１画像および第２画像の各位置合わせペアを位置合わせするステップを含む。しかしながら、第１画像および第２画像の位置合わせペアは、補正に従って任意の方法（例えば、それを完全に適用したり、段階的に適用する等）で位置合わせしてもよい。

【0093】

一実施形態では、この方法は、（コンピュータデバイスによって）、複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１プローブの第１動きおよび第２プローブの第２動きを推定するステップであって、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される。しかしながら、この動きは、任意のタイプ（例えば、回転、並進、これらの両方等）でもよく、任意の方法（例えば、動きベクトル、回転中心点、ズーミングベクトル場等）でしてもよい。この動きは、第１／第２画像の任意のタイプの推定セット（例えば、任意の数の画像を含み、全ての先行画像の中から選択され、または、何らかの時間的サブサンプリングを用いて等）に従って、任意の方法（例えば、オプティカルフロー技術、深層学習技術、これらの任意の組合せ等）で推定してもよい。

【0094】

一実施形態では、この方法は、（コンピュータデバイスによって）第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、第１画像および第２画像の各位置合わせペアのための補正を決定するステップを含む。しかしながら、補正は、任意の方法（例えば、対応する第１画像および第２画像の各ペアの間のミスアライメントを計算し、そして計算セットのミスアライメントから補正を計算し、計算セットの第１動きおよび第２動きから第１変位および第２変位をそれぞれ計算し、そして第１変位および第２変位から補正を計算することによって等）で、計算セットの第１／第２動きに従って（例えば、任意の方法で、あるいはそのままで重み付けされた、関連する値の平均、中央値(median)、最頻値(mode)等として）決定してもよい。

【0095】

一実施形態では、この方法は、（コンピュータデバイスによって）対応する第１画像の推定セットに従って、現在の第１画像ごとに第１動きを示す第１動きベクトルおよび、対応する第２画像の推定セットに従って、現在の第２画像ごとに第２動きを示す第２動きベクトルを推定するステップを含む。しかしながら、動きベクトルは、任意のタイプ（例えば、各場所に２つの成分を備えた密ベクトルフィールド、場所のいくつかにベクトル成分を備えた疎ベクトルフィールド等）のものでもよく、これらは任意の方法（例えば、ブロックマッチング、位相相関、微分等の方法を適用することによって、その場所またはそのグループのローカル値を、平均や支配的動きなどに従って任意の方法で集約することによって、全体画像のレベルで直接に等）で推定してもよい。

【0096】

一実施形態では、この方法は（コンピュータデバイスによって）対応する第１動きおよび第２動きに従って、対応する現在の第１画像および現在の第２画像の各ペアのミスアライメントを計算するステップを含む。しかしながら、ミスアライメントは、任意の方法（例えば、動きベクトルの差、回転中心点の距離、ズーミングベクトルフィールド間の差等）で計算してもよい。

【0097】

一実施形態では、この方法は、（コンピュータデバイスによって）第１画像および第２画像の対応する計算セットのミスアライメントに従って、第１画像および第２画像の各位置合わせペアの補正を計算するステップを含む。しかしながら、補正は、ミスアライメントに応じて任意の方法（例えば、任意の方法で、あるいはそのままで重み付けされた、ミスアライメントの平均、中央値(median)、最頻値(mode)等として）で計算してもよい。

【0098】

一実施形態では、この目的のために、ミスアライメントは、対応する範囲とともに減少して重み付けされる。しかしながら、ミスアライメントは、その範囲に従って任意の方法（例えば、連続関数または離散関数、指数関数的、線形関数などに従って、閾値以下のものを単に無視することによって等）で重み付けしてもよい。

【0099】

一実施形態では、この目的のために、ミスアライメントは、第１画像および第２画像の位置合わせペアからの対応する時間的距離とともに減少して重み付けされる。しかしながら、ミスアライメントは、これらの時間的距離に従って任意の方法（例えば、上記のものに対して同じまたは異なる方法）で重み付けしてもよい。

【0100】

一実施形態では、この方法は、（コンピュータデバイスによって）第１画像および第２画像の各位置合わせペアについての第１画像の更なる推定セットおよび第２画像の更なる推定セットに基づいた入力データをニューラルネットワークに供給するステップを含む。しかしながら、ニューラルネットワークは、任意のタイプ（例えば、畳み込みニューラルネットワーク、時間遅延ニューラルネットワーク、回帰型ニューラルネットワーク、モジュラーニューラルネットワーク等）でもよく、それは、任意の数の第１／第２画像に基づいた入力データを任意の方法（例えば、第１画像および第２の画像の共通連結、第１画像の連結、第２画像の連結、第１／第２画像を別個に等）で供給してもよい。

【0101】

一実施形態では、この方法は、（コンピュータデバイスによって）第１画像および第２画像の各位置合わせペアのための補正をニューラルネットワークから受信するステップを含む。しかしながら、ニューラルネットワークは、任意の方法（例えば、分類結果、回帰結果を定義する等）で補正を提供してもよい。

【0102】

一実施形態では、この方法は、（ニューラルネットワークによって）複数の予め定義された補正の中から、第１画像および第２画像の各位置合わせペアのための補正を選択するステップを含む。しかしながら、予め定義された修正は、任意の数および任意のタイプ（例えば、均一に分布していたり、特定の範囲により集中している等）でもよい。

【0103】

一実施形態では、ニューラルネットワークは、畳み込みニューラルネットワークである。しかしながら、畳み込みニューラルネットワークは、任意のタイプ（例えば、既知のモデル、例えば、ＶＧＧ－１６、ＶＧＧ－１９、ＲｅｓＮｅｔ５０などから派生したもの、カスタムのもの等）でもよい。

【0104】

一実施形態では、畳み込みニューラルネットワークは、（畳み込みニューラルネットワークの処理方向に沿って）複数のグループを含み、各グループは、１つ以上の畳み込み層と、これに続く最大値プーリング層とを含む。しかしながら、グループは、任意の数でもよく、それぞれが任意の数およびタイプの畳み込み層と、これに続く任意のタイプの最大値プーリング層（例えば、任意の受容野、ストライド、パディング、活性化関数などを備える）を含む。

【0105】

一実施形態では、畳み込みニューラルネットワークは、（畳み込みニューラルネットワークの処理方向に沿って）予め定義された補正の対応する確率を提供する複数の全結合層(fully connected layers)を含む。しかしながら、全結合層は、任意の数および任意のタイプ（例えば、任意の数のチャネル、活性化関数などを備える）でもよい。

【0106】

一実施形態では、この方法は、（第１内視鏡ユニットを用いて）第１視野の対応する場所を表す複数の第１値をそれぞれ含む第１画像の第１シーケンスを取得するステップを含む。しかしながら、各第１値は、任意の数およびタイプの成分（例えば、ＲＢＧ、ＸＹＺ、ＣＭＹＫ、グレースケール等）を含んでもよい。

【0107】

一実施形態では、この方法は、（第２内視鏡ユニットを用いて）第２視野の対応する場所を表す複数の第２値をそれぞれ含む第２画像セットの第２シーケンスを取得するステップ）を含む。しかしながら、各第２値は、任意の数およびタイプの成分（例えば、第１成分に対して同じまたは異なるもの）を含んでもよい。

【0108】

一実施形態では、この方法は、（コンピュータデバイスによって）各場所について更なる推定セットの第１画像の第１値および、更なる推定セットの第２画像の第２値を連結することによって得られる、第１画像および第２画像の各位置合わせペアのための入力データを、ニューラルネットワークに供給するステップを含む。しかしながら、画像は、任意の方法（例えば、第１画像に続いて第２画像が続く、その逆も同様等）で連結してもよい。

【0109】

一実施形態では、この方法は、（コンピュータデバイスによって）手動で入力される補正を受信するステップを含む。しかしながら、補正は、任意の方法（例えば、上記のものに対して部分的、異なる、および／または追加のソフトウェアおよび／またはハードウェアコマンドを介して）で入力してもよい。

【0110】

一実施形態では、この方法は、（第１内視鏡ユニットを用いて）第１視野の内容によって反射された可視光を表す対応する反射率画像である第１画像の第１シーケンスを取得するステップを含む。しかしながら、反射画像は、任意のタイプ（例えば、カラー、白黒、ハイパースペクトルなど）でもよい。

【0111】

一実施形態では、この方法は、（第２内視鏡ユニットを用いて）（第２視野内で発光物質によって放射された発光光を表す）対応する発光画像および、（第２視野の内容によって反射された可視光を表す）対応する更なる反射率画像である、第２画像セットの第２シーケンスを取得するステップを含む。しかしながら、発光光は、任意のタイプ（例えば、ＮＩＲ、赤外線（ＩＲ）、可視光など）でもよく、そしてそれは、任意の方法（例えば、対応する励起光、またはより一般には加熱とは異なる任意の他の励起に応答して）で、任意の外因性／内因性または外因性／内因性の発光物質（例えば、任意の発光現象、例えば、蛍光、燐光、化学発光、生物発光、ラマン放射線等に基づいた、任意の発光剤、任意の天然発光成分など）によって放射されてもよい。さらに、更なる反射率画像は、任意のタイプ（例えば、反射率画像に対して同じまたは異なるもの）でもよい。

【0112】

一実施形態では、この方法は、（コンピュータデバイスによって）対応する反射率画像および更なる反射率画像に従って、反射率画像および発光画像の各位置合わせペアのための補正を決定するステップを含む。しかしながら、反射率画像および発光画像に従って補正を決定する可能性は排除されない。

【0113】

一実施形態では、この方法は、（コンピュータデバイスによって）対応する補正に従って、反射率画像および発光画像の各位置合わせペアを位置合わせするステップを含む。しかしながら、反射率画像および更なる反射率画像の各位置合わせペアを位置合わせする可能性も排除されない。

【0114】

一実施形態では、この方法は、（出力ユニットに）位置合わせされる各位置合わせペアの反射率画像および発光画像に基づいて身体部分の表現を出力するステップを含む。しかしながら、（位置合わせ済み）更なる反射率画像に基づいて身体部分の表現を出力する可能性も排除されない。

【0115】

一実施形態では、この方法は、（第２内視鏡ユニットを用いて）第２視野内で発光物質によって放射された発光光を表す対応する発光画像である第２画像セットの第２シーケンスを取得するステップを含む。しかしながら、発光画像は、任意のタイプ（上記を参照）でもよい。

【0116】

一実施形態では、この方法は、（第２内視鏡ユニットによって）蛍光物質である発光物質のための励起光を用いて第２視野を照射するステップを含む。しかしながら、励起光は、任意の蛍光物質（例えば、外因性または内因性、外因性または内因性など）について任意のタイプ（例えば、ＮＩＲ、可視光など）でもよい。

【0117】

一実施形態では、この方法は、（第２内視鏡ユニットを用いて）励起光に応答して、第２視野内で発光物質によって放射された蛍光光である発光光を表す対応する発光画像である対応する発光画像を含む第２画像セットの第２シーケンスを取得するステップを含む。しかしながら、蛍光光は、任意のタイプ（例えば、ＮＩＲ、赤外線（ＩＲ）、可視など）でもよい。

【0118】

一実施形態では、発光物質は、方法を実施する前に患者に事前投与された発光剤である。しかしながら、発光剤は、任意のタイプ（例えば、特異的または非特異的な相互作用に基づく標的発光剤、任意の他の非標的発光剤など）でもよく、それは、任意の方法（例えば、シリンジ、注入ポンプなど）で、任意の時期（例えば、数時間／数日前に、方法を実行する直前、方法の間に連続的になど）でも事前投与されてもよい。さらに、発光剤は、非侵襲的方法（例えば、胃腸管を撮像するための経口投与、気道へのネブライザーにより、外科手術中の局所スプレー塗布または局所導入など）で患者に投与してもよい。いずれの場合も、専門的な医学的専門知識を必要としたり、患者の健康リスクを伴うような患者への実質的な身体的介入（例えば、筋肉内投与）はない。

【0119】

一実施形態では、補正は、第１画像および第２画像の表示に従って手動で入力される。しかしながら、補正は、第１／第２画像の任意の表示に従って入力されてもよい（例えば、第１／第２の画像は、開始時、可能性として次の任意の時点で、取得中に再生されたり、または一時停止されるなど）。

【0120】

一実施形態では、この方法は、（第１内視鏡ユニットを用いて）カラーである第１画像の第１シーケンスを取得するステップを含む。しかしながら、第１画像は、任意の方法（例えば、任意の色空間、任意のカラーモデルなど）でカラーで表現してもよい。

【0121】

一実施形態では、この方法は、（第２内視鏡ユニットを用いて）カラーである第２画像セットの第２シーケンスを取得するステップを含む。しかしながら、第２画像は、任意の方法（例えば、第１画像に対して同じまたは異なる）でカラーで表現してもよい。

【0122】

一実施形態では、この方法は、（コンピュータデバイスによって）グレースケールへの変換によって、前記位置合わせのための第１画像および第２画像を準備するステップを含む。しかしながら、画像は、任意の方法（例えば、平均法、重み付け法などに基づいて）グレースケールに変換してもよい。

【0123】

一実施形態では、この方法は、（コンピュータデバイスによって）ダウンサンプリングによって、前記位置合わせのための第１画像および第２画像を準備するステップを含む。しかしながら、画像は、任意のレートおよび任意の方法（例えば、これらの値を単に平均化したり、平滑化フィルタを適用したりするなど）でダウンサンプリングしてもよい。

【0124】

一実施形態では、この方法は、（コンピュータデバイスによって）対応する中央部分への限定によって、前記位置合わせのための第１画像および第２画像を準備するステップを含む。しかしながら、画像は、任意の中央部分（例えば、任意のサイズ、形状など）に限定されてもよい。

【0125】

一実施形態は、上記のニューラルネットワークを訓練するための方法を提供する。しかしながら、この（訓練）方法は、任意の目的（例えば、その開発、保守、検証など）でニューラルネットワークに適用してもよい。

【0126】

一実施形態では、この方法は、コンピュータシステムの制御下で下記ステップを含む。しかしながら、コンピュータシステムは、任意のタイプ（以下を参照）でもよい。

【0127】

一実施形態では、この方法は、（コンピュータシステムに）少なくとも１人のサンプル患者の少なくとも１つのサンプル身体部分の複数の第１サンプル画像を提供するステップを含む。しかしながら、第１サンプル画像は、任意の数およびタイプのサンプル患者の任意の数およびタイプのサンプル身体部分に関連する任意の数でもよく、サンプル身体部分の任意の数のサンプル空洞の中に挿入された任意の数およびタイプのサンプル内視鏡ユニットを用いて取得されてもよい（例えば、上記に対して同じまたは異なる）。

【0128】

一実施形態では、この方法は、（コンピュータシステムによって）第１サンプル画像から対応する合成画像を合成するステップを含む。しかしながら、合成画像は、任意の方法（例えば、形状の変化、解像度の変化、コントラストの変化、ズームイン／アウト、並進、ノイズの追加／除去、これらの任意の組み合わせなど）で合成されてもよい。

【0129】

一実施形態では、この方法は、（コンピュータシステムによって）対応する第１サンプル画像の形状を変化させることによって合成画像を合成するステップを含む。しかしながら、形状は、任意の方法（例えば、長方形、多角形、円形等から、円形、長方形、多角形等へ）で変化してもよい。

【0130】

一実施形態では、この方法は、（コンピュータシステムによって）対応する第１サンプル画像の解像度を減少させることによって合成画像を合成するステップを含む。しかしながら、解像度は、任意の程度で任意の方法（例えば、ダウンサンプリング、フィルタリングなどにより）で減少してもよい。

【0131】

一実施形態では、この方法は、（コンピュータシステムによって）対応する第１サンプル画像のコントラストを減少させることによって合成画像を合成するステップを含む。しかしながら、コントラストは、任意の程度で任意の方法（例えば、画像全体またはその小さなタイルのレベルで、飽和させたり、悪化する分布を用いてヒストグラム均等化を適用することなど）で減少してもよい。

【0132】

一実施形態では、この方法は、（コンピュータシステムによって）対応する第１サンプル画像をズームイン（拡大）することによって合成画像を合成するステップを含む。しかしながら、第１サンプル画像は、任意の範囲で任意の方法（例えば、値を複製したり、円滑化フィルタを適用したりするなど）でズームイン（拡大）できる。

【0133】

一実施形態では、この方法は、（コンピュータシステムによって）対応する第１サンプル画像を並進することによって合成画像を合成するステップを含む。しかしながら、第１サンプル画像は、任意の範囲（例えば、予め定めた定義された値によって、ランダムな方法などで）並進してもよい。

【0134】

一実施形態では、この方法は、（コンピュータシステムによって）対応する第１サンプル画像にノイズを追加することによって合成画像を合成するステップを含む。しかしながら、ノイズは、任意の方法（例えば、第１サンプル画像に予め定めた定義されたノイズ、またはランダムなノイズを均一にまたはランダムに追加するなど）で追加してもよい。

【0135】

一実施形態では、この方法は、（コンピュータシステムによって）対応する基準動きを合成画像の１つにそれぞれ適用することによって、複数の第２サンプル画像を生成するステップを含む。しかしながら、第２サンプル画像は、任意の数で任意の方法（例えば、並進、回転、これらの組合せなど、任意の数およびタイプの基準動きを使用することによって、すべての可能な基準動きまたは、ランダムに選択されたその対応するサブセットを各合成画像に適用することによって等）で生成してもよい。

【0136】

一実施形態では、この方法は、（コンピュータシステムによって）第２サンプル画像、対応する第１サンプル画像、および対応する参照動きのうちの１つをそれぞれ含む複数のトレーニングセットに従って、ニューラルネットワークを訓練するステップを含む。しかしながら、トレーニングセットは、任意の数および任意の方法（例えば、ランダム、均一など）で選択してもよく、これらは、任意の方法（例えば、確率的勾配降下法、リアルタイム反復学習、高次勾配降下法、拡張カルマンフィルタリングなどのアルゴリズム）に基づく）でニューラルネットワークを訓練するために使用してもよい。より一般には、トレーニングセットは、任意の他の方法で提供されてもよい（例えば、対応するサンプル内視鏡ユニットを用いて第１および第２サンプル画像の両方を取得し、そして、これらの各ペアを、他の方法、例えば、上記のオプティカルフロー技術に基づいたものなどで手動、自動、または半自動で再位置合わせすることによって、ランダム動きを適用することによって生成されたサンプル画像の更なるペアを用いてこれらの数を増加させる可能性とともに、第１サンプル画像および第２サンプル画像の両方を合成し、ランダム動きを適用するなどして）。

【0137】

一般に、同じ手法が、同等の撮像／訓練方法とともに実装された場合、同様の検討内容が適用される（より多くのステップまたはその一部の同じ機能を持つ同様のステップを使用し、必須ではないいくつかのステップを削除し、または更なるオプションのステップを追加することによって）。さらに、ステップは、異なる順序で、同時に、または交互の方法で（少なくとも部分的に）実行してもよい。

【0138】

一実施形態が、コンピュータプログラムを提供しており、これは、コンピュータプログラムがコンピュータデバイス上で実行された場合、内視鏡システムを動作させて、患者の身体部分を撮像する方法をコンピュータデバイスに実行させるように構成される。しかしながら、この（動作）方法は、任意の医療処置において任意の患者の任意の身体部分を撮像するために使用できる（上記を参照）。さらに、コンピュータプログラムは、任意のコンピュータデバイス上で実行できる（下記を参照）。

【0139】

一実施形態では、この方法は、身体部分の少なくとも一部を含む第１視野の複数の第１画像の第１シーケンスを受信するステップを含む。しかしながら、第１画像は、任意の数および任意のタイプでもよい（上記を参照）。さらに、第１画像は、任意の方法（例えば、有線／無線インタフェースを介して転送され、直接取得され、リムーバブルストレージユニットを用いて転送され、ネットワークからダウンロードされるなど）で受信してもよい。

【0140】

一実施形態では、この方法は、第１画像に対応する複数の第２画像セットの第２シーケンスを受信するステップを含み、第２画像セットの各々は、身体部分の少なくとも一部を含む第２視野の１つ以上の第２の画像を含む。しかしながら、第１画像および第２画像セットは、任意の方法で対応してもよく、各第２画像セットは、任意のタイプの任意の数の第２画像を含んでよく、第１視野および第２視野は、任意のタイプでもよい（上記参照）。さらに、第２画像は、任意の方法（例えば、直接取得したり、有線／無線インタフェースを介してまたはリムーバブルストレージユニットを用いて転送したり、ネットワークからダウンロードしたりなど）で受信してもよい。

【0141】

一実施形態では、この方法は、複数の第１画像のうちの各現在画像について、および複数の第２画像セットのうちの各現在画像の現在の第２画像についてそれぞれ独立して、第１画像の第１シーケンスを取得するために使用される第１内視鏡ユニットの、第１プローブの第１動きおよび、第２画像セットの第２シーケンスを取得するために使用される第２内視鏡ユニットの、第２プローブの第２動きを推定するステップを含み、第１動きは、現在の第１画像に対応する複数の第１画像の推定セットに従って推定され、第２動きは、現在の第２画像に対応する複数の第２画像の推定セットに従って推定される。しかしながら、これらの動きは、任意のタイプでもよく、任意の方法で示され、任意のタイプの第１／第２画像の推定セットに従って任意の方法で推定してもよい（上記参照）。

【0142】

一実施形態では、この方法は、第１画像および第２画像のペアに対応して、それぞれ複数の第１画像および複数の第２画像のうちの１つ以上の計算セットの第１動きおよび第２動きに従って、複数の第１画像のうちの第１画像および対応する第２画像セットのうちの第２画像の各位置合わせペアのための少なくとも１つの補正を決定するステップを含む。しかしながら、補正は、任意のタイプでもよく、それは、任意の方法で決定されてもよい（上記を参照）。

【0143】

一実施形態では、この方法は、対応する補正に従って第１画像および第２画像の各位置合わせを位置合わせするステップを含む。しかしながら、位置合わせは、任意のタイプでもよく、任意の方法で任意の時間で実行してもよい（上記を参照）。

【0144】

一実施形態では、この方法は、位置合わせされた各位置合わせペアの第１画像および第２画像に基づいて、身体部分の表現を出力するステップを含む。しかしながら、身体部分の表現は、任意の方法で、任意の出力ユニットに、任意の方法で位置合わせされた画像に基づいて出力してもよい（上記を参照）。

【0145】

一実施形態が、コンピュータプログラムを具体化するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品を提供する。コンピュータプログラムは、コンピュータデバイスのワーキングメモリにロード可能であり、それにより、コンピュータプログラムがコンピュータデバイス上で実行された場合、同じ（動作）方法を実行するようにコンピュータデバイスを構成する。

【0146】

一実施形態が、コンピュータプログラムがコンピュータシステム上で実行された場合、コンピュータシステムに上記の（訓練）方法を実行させるように構成されたコンピュータプログラムを提供する。しかしながら、コンピュータプログラムは、任意のコンピュータシステム上で実行できる（下記を参照）。

【0147】

一実施形態が、コンピュータプログラムを具体化するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品を提供しており、コンピュータプログラムは、コンピュータシステムのワーキングメモリにロード可能であり、それにより、コンピュータプログラムがコンピュータシステム上で実行された場合、同じ（訓練）方法を実行するようにコンピュータシステムを構成する。

【0148】

一般に、各（コンピュータ）プログラムは、既存のソフトウェアプログラム（例えば、動作方法のためのコンピュータデバイスの撮像アプリケーション、または訓練方法のためのコンピュータシステムの構成アプリケーション）にとってスタンドアロンモジュールとして、プラグインとして、または後者では直接にでも実装してもよい。いずれの場合も、プログラムが異なる方法で構成される場合、または追加のモジュールまたは機能が提供される場合、同様の検討が適用される。同様に、メモリ構造は、他のタイプのものでもよく、または同等のエンティティ（実体）（必ずしも物理的記憶媒体から構成されない）と置換してもよい。プログラムは、任意のコンピュータデバイス／システム（下記参照）によって使用するのに適した任意の形態をとってもよく、それによりコンピュータデバイス／システムを所望の動作を実行するように構成できる。特に、プログラムは、外部または常駐のソフトウェア、ファームウェアまたはマイクロコード（オブジェクトコードまたはソースコードのいずれか、例えば、コンパイル式またはインタープリ式で）の形態でもよい。さらに、任意のコンピュータ可読記憶媒体上にコンピュータプログラムを提供することが可能である。記憶媒体は、コンピュータデバイス／システムによって使用される命令を保持し保存できる任意の有形媒体（それ自体は一時的な信号とは異なる）である。例えば、記憶媒体は、電子、磁気、光学、電磁気、赤外線または半導の体タイプのものでもよい。こうした記憶媒体の例は、固定ディスク（プログラムがプリロードされてもよい）、取り外し可能なディスク、メモリキー（例えば、ＵＳＢタイプ）などである。プログラムは、記憶媒体から、またはネットワーク（例えば、伝送ケーブル、光ファイバ、無線接続、ネットワークデバイスを含む、インターネット、ワイドエリアネットワーク、および／またはローカルエリアネットワーク）を介して、コンピュータデバイス／システムにダウンロードしてもよい。コンピュータデバイス／システム内の１つ以上のネットワークアダプタが、ネットワークからプログラムを受信し、コンピュータデバイス／システムの１つ以上の記憶デバイスに保存用にそれを転送する。いずれの場合も、本開示の一実施形態に係る手法は、ハードウェア構造（例えば、半導体材料の１つ以上のチップ内に集積された電子回路、例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などによって）、または適切にプログラム設定されまたは他の方法で構成されたソフトウェアおよびハードウェアとの組合せで実装するのに役立つ。

【0149】

一実施形態が、上記の（撮像）方法のステップを実行するための内視鏡システムを提供する。しかしながら、内視鏡システムは、任意のタイプでもよい（例えば、内視鏡ユニットは、共に接続され、そのうちの１つがコンピュータデバイスおよび出力ユニットを備えており、内視鏡ユニットは、別個のコンピュータデバイスおよび出力ユニットに接続され、全てのコンポーネントが共に統合されているなど）。

【0150】

一実施形態では、内視鏡システムは、第１画像の第１シーケンスを取得するための第１内視鏡ユニットを備える。しかしながら、第１内視鏡ユニットは、任意のタイプ（例えば、マザースコープ、任意の数およびタイプのレンズ、導波路、ミラー、センサなどをベースとした独立した内視鏡）でもよい。

【0151】

一実施形態では、内視鏡システムは、第２画像セットの第２シーケンスを取得するための第２内視鏡ユニットを備える。しかしながら、第２内視鏡ユニットは、任意のタイプ（例えば、ベビースコープ、任意の数およびタイプのレンズ、導波路、ミラー、センサなどをベースとした独立した内視鏡）でもよい。

【0152】

一実施形態では、内視鏡システムは、第１画像および第２画像の各位置合わせペアを位置合わせするためのコンピュータデバイスを備える。しかしながら、コンピュータデバイスは、任意のタイプでもよい（下記を参照）。

【0153】

一実施形態では、内視鏡システムは、身体部分の表現を出力するための出力ユニットを備える。しかしながら、出力ユニットは、任意のタイプでもよい（例えば、モニタ、仮想現実メガネ、プリンタなど）。

【0154】

一実施形態が、（上記の内視鏡システムで使用するための）内視鏡装置を提供しており、これは、第１内視鏡ユニットと第２内視鏡ユニットとの間の一方を備える。しかしながら、内視鏡装置は、任意のタイプでもよい（例えば、ベビースコープ、マザースコープなどを備える）。

【0155】

一実施形態では、前記内視鏡ユニットは、第１画像セットの第１シーケンスと第２画像セットの第２シーケンスとの間の対応する一方を取得するための取得ユニットを備える。しかしながら、取得ユニットは、任意のタイプ（例えば、ＣＣＤ、ＩＣＣＤ、ＥＭＣＣＤ、ＣＭＯＳ、ＩｎＧａＡｓ、またはＰＭＴセンサをベースとしたもの、身体部分に励起光を印加するための任意の照明ユニット、例えば、レーザ、ＬＥＤ、ＵＶランプなどをベースとしたもの、および／または、白色光、例えば、ＬＥＤ、ハロゲン／キセノンランプなど）でもよい。

【0156】

一実施形態では、前記内視鏡ユニットは、第１内視鏡ユニットおよび第２内視鏡ユニットの他方から、第１画像セットの第１シーケンスおよび第２画像セットの第２シーケンスの間の他方を受信するためのインタフェースを備える。しかしながら、インタフェ－スは、任意のタイプ（たとえば、有線、無線、シリアル、パラレルなど）でもよい。

【0157】

一実施形態では、前記内視鏡ユニットは、第１画像および第２画像の各位置合わせペアを位置合わせするためのコンピュータデバイスを備える。しかしながら、コンピュータデバイスは、任意のタイプでもよい（下記を参照）。

【0158】

一実施形態では、前記内視鏡ユニットは、身体部分の表現を出力するための出力ユニットを備える。しかしながら、出力ユニットは、任意のタイプでもよい（上記を参照）。

【0159】

一実施形態が、コンピュータデバイスを提供しており、これは、上記の（動作）方法のステップを実行するように構成された手段を備える。一実施形態が、同じ（動作）方法の各ステップを実行するための回路（即ち、例えばソフトウェアによって適切に構成された任意のハードウェア）を備えるコンピュータデバイスを提供する。しかしながら、コンピュータデバイスは、任意のタイプでもよい（例えば、他方の内視鏡ユニットから他の画像を受信する各内視鏡ユニットの中央ユニット、両方の内視鏡ユニットのための内視鏡システムの共通の中央ユニット、２つの内視鏡ユニットから対応する画像を受信し、または内視鏡システムから全ての画像を受信する別個のコンピュータなど）。

【0160】

一実施形態が、上記の（訓練）方法のステップを実行するように構成された手段を備えるコンピュータシステムを提供する。一実施形態が、同じ（訓練）方法の各ステップを実行するための回路（即ち、例えば、ソフトウェアによって適切に構成された任意のハードウェア）を含むコンピュータシステムを提供する。しかしながら、コンピュータシステムは、任意のタイプでもよい（例えば、パーソナルコンピュータ、サーバ、例えば、クラウド環境に提供される仮想マシンなど）。

【0161】

一般に、内視鏡システム、内視鏡機器、コンピュータデバイスおよびコンピュータシステムがそれぞれ異なる構造を有し、または同等のコンポーネントを備える場合、または、それが他の動作特性を有する場合にも同様の検討が適用される。いずれの場合も、その全コンポーネントは、より多くのエレメントに分離してもよく、または２つ以上のコンポーネントが単一エレメントに統合されてもよい。さらに、各コンポーネントは、対応する動作の実行を並列的にサポートするように複製されてもよい。さらに、他に指定されない限り、異なるコンポーネント間の任意の相互作用は、一般に、連続的である必要はなく、１つ以上の仲介者を介して直接的または間接的でもよい。

【0162】

一実施形態が、下記ステップを含む手術方法を提供する。患者の身体部分が、上記（撮像）方法を実行することによって撮像され、これにより身体部分の手術処置中に身体部分の表現を出力する。身体部分は、その表現の出力に従って手術される。しかしながら、提案された方法は、任意の種類の手術方法において、用語の最も広い意味で用途を見出すことができ（例えば、治療目的のため、予防目的のため、審美的目的のためになど）、そして任意の患者の任意の種類の身体部分に作用するために（上記参照）。

【0163】

一実施形態が、下記ステップを含む診断方法を提供する。患者の身体部分が、上記（撮像）方法を実行することによって撮像され、これにより身体部分の診断処置中に身体部分の表現を出力する。身体部分の健康状態が、その表現の出力に従って評価される。しかしながら、提案された方法は、任意の種類の診断方法において、用語の最も広い意味で用途を見出すことができ（例えば、新しい病変を発見するため、既知の病変を監視するためなど）、そして任意の患者の任意の種類の身体部分を解析するために（上記参照）。

【0164】

一実施形態が、下記ステップを含む治療方法を提供する。患者の身体部分が、上記（撮像）方法を実行することによって撮像され、これにより身体部分の治療処置中に身体部分の表現を出力する。身体部分は、その表現の出力に従って治療される。しかしながら、提案された方法は、任意の種類の治療方法において、用語の最も広い意味で用途を見出すことができ（例えば、病理学的状態を治療するため、その進行を回避するため、病理学的状態の発生を防止するため、または単に患者の快適性の改善するため）、そして任意の患者の任意の種類の身体部分に作用するために（上記参照）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【国際調査報告】