特表 2025-500146 キーフレームベースの自動管理によるカメラの配置のリアルタイム追跡のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-09

(54)【発明の名称】キーフレームベースの自動管理によるカメラの配置のリアルタイム追跡のための方法および装置

(51)【国際特許分類】

   A61B 1/00 20060101AFI20241226BHJP

   H04N 7/18 20060101ALI20241226BHJP

   A61B 34/20 20160101ALI20241226BHJP

   G06T 7/00 20170101ALI20241226BHJP

【ＦＩ】

A61B1/00 552

H04N7/18 M

A61B34/20

G06T7/00 612

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024532229

(86)(22)【出願日】2022-12-14

(85)【翻訳文提出日】2024-06-11

(86)【国際出願番号】 EP2022085905

(87)【国際公開番号】W WO2023111045

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】2113591

(32)【優先日】2021-12-15

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】524202085

【氏名又は名称】スーガー

(71)【出願人】

【識別番号】520188961

【氏名又は名称】ウニベルジテ クレルモン オーベルニュ

(71)【出願人】

【識別番号】504007888

【氏名又は名称】センター ナショナル デ ラ レシェルシェ サイエンティフィーク

(71)【出願人】

【識別番号】523265582

【氏名又は名称】クレルモン オーヴェルニュ アイエヌピー

(74)【代理人】

【識別番号】100159846

【弁理士】

【氏名又は名称】藤木 尚

(72)【発明者】

【氏名】バルトリ アドリアン

(72)【発明者】

【氏名】シャンデロン キリアン

【テーマコード（参考）】

4C161

5C054

5L096

【Ｆターム（参考）】

4C161AA24

4C161CC06

4C161DD01

4C161HH55

5C054CA04

5C054CC02

5C054FC01

5C054GB13

5C054HA12

5L096AA06

5L096BA05

5L096BA06

5L096BA13

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096GA51

5L096JA11

5L096JA18

(57)【要約】

本発明は、選択されたキーフレームからカメラの現在の配置を推定することを可能にする第１実行スレッドを備えるキーフレームベースを備える３Ｄモデルに対するカメラの配置をリアルタイムで追跡するための方法に関し、方法は、バッファメモリに記憶された画像からカメラの配置の推定の品質を分析するステップと、カメラの動きを表すデータからバッファメモリに記憶された画像の鮮明度を分析するステップと、記憶された画像からのカメラの配置の推定の品質と記憶された画像の鮮明度とが予め決められた基準に適合する場合、バッファメモリに記憶された画像を新しいキーフレームとしてキーフレームベースに追加するステップとをさらに備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

３Ｄモデルに対するカメラの配置をリアルタイムで追跡する方法であって、前記３Ｄモデルは、キーフレームベースと、各キーフレームに関連付けられた配置のベースとを備え、各キーフレームは特に参照点によって特徴付けられ、この方法は、第１実行スレッド（１１０）を備え、前記第１実行スレッド（１１０）は：
複数の画像で構成される前記カメラからのビデオストリームを受信するステップ（１１２）と、
マッピングアルゴリズムによる前記３Ｄモデルのキーフレームの参照点と共に、現在の画像と称される前記ビデオストリームの最後に受信した画像の参照点を、マッピングするステップと、
配置ベースから前記選択されたキーフレームに関連付けられた前記カメラの配置と、前記現在の画像に関連付けられた前記カメラの前記現在の配置との間のずれを推定することにより、前記現在の画像と共通する最も多くの参照点を備える選択されたキーフレームと称されるキーフレームから前記カメラの前記現在の配置を推定するステップ（１１６）と、を備え、
前記方法は、さらに、
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め定められた閾値よりも小さい、又は等しい場合に、配置損失カウンタを増加させるステップ（１２４）、又は
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め定められた閾値よりも大きい場合に、前記ビデオストリームの前記現在の画像をバッファメモリに記憶させるステップ（１２２）、を備え、
さらに、前記配置損失カウンタが予め定められた閾値より大きい又は等しい場合には、前記方法は、第２の実行スレッド（１５０）をさらに備え、
前記第２の実行スレッド（１５０）は、
前記バッファメモリに記憶された画像から前記カメラの配置の推定の品質を分析するステップ（１５２）と、
前記カメラの動きを表すデータから前記バッファメモリに記憶された画像の鮮明度を分析するステップ（１５４）と、
前記記憶された画像からの前記カメラの配置の推定の品質及び記憶された画像の鮮明度が予め定められた基準に適合する場合、前記バッファメモリで記憶された画像を新しいキーフレームとして前記キーフレームベースに追加するステップ（１５６）と、
適合しない場合には、前記バッファメモリ内に記憶された画像を除去するステップ（１５８）とを備える、追跡方法。

【請求項2】

前記第１実行スレッド及び第２実行スレッドが並列して実行される、請求項１に記載の追跡方法。

【請求項3】

前記予め定められた閾値が５０より大きい又は等しい、請求項１又は２に記載の追跡方法。

【請求項4】

前記追跡方法であって、配置の推定の品質を前記分析するステップが、以下のサブステップ、
参照点の空間的カバー範囲を計算するサブステップと、
前記バッファメモリ内に記憶された画像において観察された参照点と、選択された画像及び配置の推定から計算された参照点との間の推定配置の推定における誤差を計算するサブステップと、のうち少なくとも１つを備える、請求項１乃至３の何れか１項に記載の追跡方法。

【請求項5】

画像の前記鮮明度を分析するステップは、参照点の速度及び／又は加速度及び／又は急激な動きの計算用に参照点の動きを計算するサブステップを備える、請求項１乃至４の何れか１項に記載の追跡方法。

【請求項6】

追跡方法であって、前記キーフレームベースは、予め定義された静的キーフレームを備える静的部分と、前記バッファメモリに記憶された画像を前記キーフレームベースに追加するステップにおいて、加えられた新しいキーフレームを記憶する動的部分とを備える、請求項１乃至５の何れか１項に記載の追跡方法。

【請求項7】

追跡方法であって、各キーフレームについて、前記ビデオストリームの画像を用いて前記キーフレームの最後のマッピングからの継続時間を測定するステップを備え、前記キーフレームの数が予め決められた制限数より大きい又は等しい場合、前記バッファメモリ内に記憶された画像を前記キーフレームベースに追加するステップが、前記最後のマッピングからの最も長い継続時間を有する前記キーフレームを除去するサブステップを備える、請求項１乃至６の何れか１項に記載の追跡方法。

【請求項8】

３Ｄモデルに関するカメラの配置をリアルタイムで追跡する装置であって、
前記３Ｄモデルは、キーフレームベースと、各キーフレームに関連付けられた配置のベースとを備え、各キーフレームは特に参照点によって特徴付けられ、前記装置は、第１追跡モジュールを備え、前記第１追跡モジュールは、
複数の画像で構成される前記カメラからのビデオストリームを受信するサブモジュールと、
マッピングアルゴリズムによる前記３Ｄモデルのキーフレームの参照点と共に、現在の画像と称される前記ビデオストリームの最後に受信した画像の参照点を、マッピングするサブモジュールと、
配置ベースから選択されたキーフレームに関連付けられた前記カメラの配置と、前記現在の画像に関連付けられた前記カメラの現在の配置との間のずれを推定することにより、前記現在の画像と共通する最も多数の参照点を備える、選択されたキーフレームと称される、キーフレームから前記カメラの現在の配置を推定するサブモジュールと、を備え、
前記装置は、さらに、前記キーフレームベースを管理するためのモジュールをさらに備え、前記モジュールは、
選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め決められた閾値より小さい又は等しい場合、増加される配置損失カウンタを備えたサブモジュールと、
前記選択されたキーフレームと前記現在の画像の間で共通する参照点の数が、予め定められたしきい値よりも高い場合、前記ビデオストリームの前記現在の画像を前記装置のバッファメモリに移すサブモジュールと、
前記配置損失カウンタの値を予め決められた値と比較するサブモジュールと、
前記バッファメモリに記憶された画像から前記カメラの配置の推定の品質を分析するサブモジュールと、
前記カメラの動きを表すデータから前記バッファメモリに記憶された画像の鮮明度を分析するサブモジュールと、
前記記憶された画像からの前記カメラの配置の推定の品質及び記憶された画像の鮮明度が予め定められた基準に適合する場合、前記キーフレームベース内に記憶された画像を加えるように構成され、さらに、
適合しない場合、前記バッファメモリ内に記憶された前記画像を除去するように構成される、前記バッファメモリを管理するサブモジュールと、を備える、前記装置。

【請求項9】

３Ｄモデルに関するカメラの配置をリアルタイムで追跡するコンピュータプログラム製品であって、前記３Ｄモデルは、キーフレームベースと、各キーフレームに関連付けられた配置のベースとを備え、各キーフレームは特に参照点によって特徴付けられ、前記コンピュータプログラム製品は、実行のためのプログラムコード命令を備え、
前記コンピュータプログラム製品が、コンピュータ上で実行されるとき、方法のステップは、第１実行スレッドを備え、
前記第１実行スレッドは、
複数の画像で構成される前記カメラからのビデオストリームを受信するステップと、
現在の画像と称される前記ビデオストリームの最後に受信した画像の参照点を、マッピングアルゴリズムによる前記３Ｄモデルのキーフレームの参照点と共に、マッピングするステップと、
前記配置ベースから選択されたキーフレームに関連付けられた前記カメラの配置と、前記現在の画像に関連付けられた前記カメラの現在の配置との間のずれを推定することにより、前記現在の画像と共通する最も多数の参照点を備える、選択されたキーフレームと称される、キーフレームから前記カメラの現在の配置を推定するステップと、を備え、
前記方法は、
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め決められた閾値より小さい又は等しい場合、配置損失カウンタを増加させるステップ、又は
前記選択されたキーフレームと前記現在の画像の間で共通する参照点の数が、予め定められたしきい値よりも大きい場合、前記ビデオストリームの前記現在の画像をバッファメモリ内に記憶させるステップ、を備え、
前記方法は、さらに、
配置損失カウンタが予め決められた値より大きい又は等しい場合、第２実行スレッドを備え、
前記第２実行スレッドは、
前記バッファメモリに記憶された画像から前記カメラの配置の推定の品質を分析するステップと、
前記カメラの動きを表すデータから前記バッファメモリに記憶された画像の鮮明度を分析するステップと、
前記記憶された画像からの前記カメラの配置の推定の品質及び記憶された画像の鮮明度が予め定められた基準に適合する場合、前記バッファメモリ内に記憶された画像を前記キーフレームベースに加えるステップと、さらに、適合しない場合、前記バッファメモリ内に記憶された画像を除去するステップとを備える、前記コンピュータプログラム製品。

【請求項10】

内視鏡画像化システムであって、
ビデオストリームをキャプチャするように構成された内視鏡と、
前記内視鏡の配置を追跡するように構成された請求項８に記載の追跡装置と、
さらに、前記内視鏡によって取得された画像、及び３Ｄモデルに対する前記内視鏡の配置に従って前記処理ユニットによって提供される追加情報を表示するように構成された表示画面とを備えることを特徴とする内視鏡画像化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄモデルに対するカメラの配置をリアルタイムで追跡するための方法及び装置に関するものであり、特に拡張現実アプリケーション用、特に内視鏡手術用、特にロボット化された処置又は手術の目的のための腹腔鏡手術用の方法及び装置に関するものである。より具体的には、本発明は、キーフレームベースの自動管理、特にリアルタイム追跡中のキーフレームの自動追加を可能にする方法及び装置に関する。

【背景技術】

【0002】

腹腔鏡手術は、内視鏡、又はより具体的には腹腔鏡を用いた患者の体の内部の視覚的な医療検査のための医療技術であり、患者の腹腔内及び/又は骨盤腔を観察するために腹腔鏡手術が使用される。内視鏡は一般に、光源と、例えば光ファイバ及び／又はビデオキャプチャデバイス等の光を捕捉する手段とを備えている。

【0003】

腹腔鏡による外科手術中、腹腔鏡は腹腔内の直接又は遠隔視野を可能とし、手術部位の観察と手術器具を使用した直接介入を可能とする。この外科手術技術は、（開腹手術とは対照的に）腹壁に大きな開口部を必要としないという利点を有し、これを最小限の侵襲技術としている。

【0004】

同様に、内視鏡を使用した最小限の侵襲外科処置は、胸腔（胸腔鏡検査）又は骨盤腔で実施できる。内視鏡手術又は外科内視鏡検査という用語が一般的に使用される。

【0005】

最近の技術の進歩が、腹腔鏡検査を、医療従事者が手術される領域の画像を単に見るだけのものから、手術中に医療従事者を支援するように、観察された画像に追加情報を画面に表示できる拡張表示に向けて進化させている。

【0006】

特に、拡張現実による追加情報を提供するために、腹腔鏡でリアルタイムに取得した画像にコンピュータービジョン技術が使用される。例えば、腫瘍などの臓器における隠れた構造が画像において表示できる。特に、臓器の画像において手術部品（例えば、切開）を表示することが望ましい場合がある。より一般的には、この文脈ではコンピュータガイド処置又は手術という用語が使用される。

【0007】

カメラの配置、すなわち所定の座標系におけるカメラの位置と方向は、カメラにより撮影された画像に、事前に計算された手術前の拡張現実モデルからの拡張要素を表示できるように、カメラが移動している環境の３Ｄモデルに対してリアルタイムで計算される。
この術前拡張現実モデルは、通常、ＣＴ、ＭＲＩ、ＵＳ、又は放射線科で使用されるその他のモダリティによる術前又は術中の画像から作成される。これらの術前または術中の画像は、これらが２Ｄか３Ｄかに関係なく、事前に３Ｄモデルに登録されているものと推定される。

【0008】

特に、カメラの配置は、現在の画像とこのキーフレームベースのキーフレームとを比較することによって作動する手術期環境の３Ｄモデルのリポジトリ内の各キーフレームの配置を含むキーフレームベース及びベースから計算される。

【0009】

この方法により、環境の既知のゾーンでのカメラの配置を決定できるが、現在の画像との類似性の基準を満たすキーフレームがない場合や、又は、撮影される臓器又は腔の外観における変更、特に、血流によって生じた動き、色の変化、及び/又は質感による変更の理由により、検査されていないゾーンでのカメラの配置を推定することはできない。従って、カメラの配置の追跡が失われ、カメラにより撮影された画像に拡張要素を表示することはできない。

【0010】

検査されていないゾーン又は時間の経過とともに外観が変化するゾーンでのキーフレームの管理のためのソリューションが提案されている。

【0011】

特に腹腔鏡手術で使用される最初の解決手段は、異なる視野角において３Ｄモデルを補完するために、データベースにキーフレームを手動で追加することである。これらの追加は、キーフレームベースに追加する画像の関連性を推定するユーザ固有の視覚基準に従って行われる。

【0012】

この解決手段は、専用の人間機械インタフェース（マンマシンインターフェース（ＭＭＩ）タッチスクリーン、キーボード、マウス等）を介してユーザによる頻繁な介入を必要とし、ユーザ体験に有害な影響を及ぼすため、この解決手段は、特に手術の枠組内では、制約がある。さらにその上、この解決手段の効力は、手術に責任のある手術者に強く依存する。

【0013】

他の解決手段では、ユーザの手動選択タスクを軽減させようとするように新しいキーフレームの選択を自動化しようとされている。特に、これらの提案された解決手段は、異なる選択基準の使用によりキーフレームベースの自動的なアップデートを伴う。

【0014】

しかしながら、これらの解決手段は、外科的な文脈での使用には最適とは言えない。特に、データベースの管理は複雑であり、自動選択は多くの物理リソース（処理、グラフィックリソース、又は記憶リソースなど）を取り、外科的な文脈でのリアルタイムでの使用には適していない。

【0015】

従って、発明者は、システムの全体的なパフォーマンスを危うくすることなく、新しいキーフレームの選択のための有意義且つ効果的な基準を定義することにより、キーフレームベースの自動管理を向上させようとしてきた。

【発明の概要】

【発明が解決しようとする課題】

【0016】

発明の目的
本発明は、３Ｄモデルに対するカメラの配置のリアルタイム追跡のための方法および装置を提供することを目的とし、本発明は３Ｄモデルのキーフレームベースの自動管理を可能にする。

【0017】

本発明は、カメラの配置とキーフレームベースに追加される画像の鮮明度をより適切に考慮できるようにする追跡方法及び追跡装置を提供することを目的とする。

【0018】

本発明は、ユーザが新しいキーフレームを追加する必要性を軽減できるようにする追跡方法及び追跡装置を提供することを目的とする。

【0019】

本発明は、カメラからのリアルタイムビデオストリームの処理への影響を与えることなくキーフレームベースを管理できるようにする追跡方法及び追跡装置を提供することを目的とする。

【課題を解決するための手段】

【0020】

本発明の詳細な説明
本発明を実現するために、本発明は、３Ｄモデルに対するカメラの配置をリアルタイムで追跡する方法であって、前記３Ｄモデルは、キーフレームベースと、各キーフレームに関連付けられた配置のベースとを備え、各キーフレームは特に参照点によって特徴付けられ、この方法は、第１実行スレッドを備え、前記第１実行スレッドは：
複数の画像で構成される前記カメラからのビデオストリームを受信するステップと、
マッピングアルゴリズムによる前記３Ｄモデルのキーフレームの参照点と共に、前記現在の画像と称される前記ビデオストリームの最後に受信した画像の参照点を、マッピングするステップと、
前記配置ベースから前記選択されたキーフレームに関連付けられた前記カメラの配置と、前記現在の画像に関連付けられた前記カメラの前記現在の配置との間のずれを推定することにより、前記現在の画像と共通する最も多くの参照点を備える前記選択されたキーフレームと称される前記キーフレームから前記カメラの前記現在の配置を推定するステップと、を備え、
前記方法は、さらに、
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め定められた閾値よりも小さい、又は等しい場合に、配置損失カウンタを増加させるステップ、又は
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め定められた閾値よりも大きい場合に、前記ビデオストリームの前記現在の画像をバッファメモリに記憶（格納）させるステップを備え、
さらに、前記配置損失カウンタが予め定められた閾値より大きい又は等しい場合には、前記方法は、第２の実行スレッドをさらに備え、
前記第２の実行スレッドは、
前記バッファメモリに記憶された前記画像から前記カメラの前記配置の推定の品質を分析するステップと、
前記カメラの動きを表すデータから前記バッファメモリに記憶された前記画像の鮮明度を分析するステップと、
前記記憶された画像からの前記カメラの前記配置の推定の品質及び前記記憶された画像の鮮明度が予め定められた基準に適合する場合、前記バッファメモリで記憶された前記画像を新しいキーフレームとして前記キーフレームベースに追加するステップと、
適合しない場合には、前記バッファメモリ内に記憶された前記画像を除去するステップとを備える。

【0021】

本発明による追跡方法は、前記カメラから来る前記ビデオストリームの画像から新しいキーフレームの複数の基準選択を行うことにより、前記カメラの配置の追跡用のキーフレームベースの自動管理を可能にする。このように、キーフレームベースの管理は手動介入なしで実行されるため、この作業からユーザを解放することができる。追跡方法中にキーフレームを追加する可能性があるため、特に３Ｄモデルで初期に不明な視野角、特にカメラで見たことのないゾーン、又は時間の経過とともに外観が変化するゾーンで、視野角に関係なく、追跡を確実に実行できる。

【0022】

３Ｄモデルは、画像に基づいて表示する方法、例えば、ＳＦＭ(Structure-from-Motion)法と称される動きから構造を取得する方法、により、追跡フェーズの上流で生成される。この方法により取得された画像は、キーフレームベースの静的部分を構成でき、追跡方法の実行中に変更できない。３Ｄモデルは、本発明による追跡方法を介して新しいキーフレームによって補完され、これらの新しいキーフレームは、修正可能とされたキーフレームベースの動的部分を形成する。配置ベースも、この新しいキーフレームの推定配置を追加するため、新しいキーフレームが追加されるたびに更新される。

【0023】

この管理の自動化により、ユーザから独立して処理をレンダリングさせることにより、カメラの配置の追跡の再現性を向上させることができる。

【0024】

特に、現在の画像と３Ｄモデルのキーフレームベースのキーフレームとの間のマッピングの基準、カメラの配置の推定の品質を分析する基準、およびカメラの動きを表すデータからの画像の鮮明さの基準により、リアルタイムの使用と互換性のある新しいキーフレームの最適な選択が可能になる。

【0025】

原理は、カメラによってキャプチャされた現在の画像に十分に近いキーフレームがないためカメラの配置が失われた場合に、ビデオストリームの現在の画像の追跡を改善するために、これらの選択基準を満たすバッファメモリに配置された以前の現在画像である古い画像を使用することである。この古い画像を使用により、マッピング基準を満たすことができ、カメラの配置の追跡が可能となると考えられ、現在の追跡が調整できるビデオストリームの画像を参照としてより確実に持つことができる。

【0026】

このように補完された３Ｄモデルにより、追跡方法の効果によりわかっているカメラの配置に応じて調整された拡張現実のオブジェクトをビデオストリームの表示に追加できる。例えば、腹腔鏡検査のアプリケーションのために、臓器の３Ｄモデリングが、カメラによってキャプチャされ、表示画面に表示されるとき、実際の臓器の上に、拡張現実で表示できる。キーフレームベースの更新により、３Ｄモデリングの表示が実際の臓器の画像に合わせて永続的に調整されるように、カメラの配置が正しく追跡されることが保証できる。３Ｄモデリングは、腫瘍の存在など、ビデオストリーム上の目に見えない要素によって補完できる。

【0027】

本発明によれば、好ましくは、第１実行スレッド及び第２実行スレッドが並列して実行される。

【0028】

本発明のこの観点によれば、処理又はスレッドと称される実行スレッドは、また、互いに影響を及ぼさない。特に、キーフレームベースの管理スレッドと称される、第２実行スレッドによって管理されるキーフレームベースの管理は、追跡スレッドと呼ばれる第１実行スレッドによって管理されるカメラの配置のリアルタイム追跡のパフォーマンスに影響を与えない。

【0029】

本発明によれば、好ましくは、前記予め定められた閾値が５０より大きい又は等しい。
本発明のこの観点によれば、バッファメモリ内に記憶された画像が、これら２つの画像間のカメラの配置の良好な追跡を可能にするため、キーフレームとの多数の参照点を備えることを、予め定められた閾値の値により保証することができる。本発明の他の変形例では、閾値の値が低いとき、配置の推定の品質が低下するリスクにおいて、予め定められた閾値が、５０より小さくしてもよい。

【0030】

本発明によれば、好ましくは、配置の推定の品質を前記分析するステップが、以下のサブステップ、参照点の空間的カバー範囲を計算するサブステップと、前記バッファメモリ内に記憶された画像において観察された前記参照点と、選択された前記画像及び配置の推定から計算された前記参照点との間の推定配置の推定における誤差を計算するサブステップと、のうち少なくとも１つを備える。

【0031】

本発明のこの観点によれば、これらのサブステップにより、新しいキーフレームとしてバッファメモリ内に記憶された画像の選択のためのカメラの配置の推定の品質を信頼できるものにすることができる。配置の推定の品質は、バッファメモリに記憶された画像と最も近いキーフレーム内の参照点のマッピングに関する配置の推定から計算されたパラメータの品質としてより正確に定義される。特に、配置の推定誤差により、キーフレームベースのキーフレームに割り当てられた既知の配置に関し配置のパラメータの推定誤差が小さいままであることを確実にすることにより、この配置の推定の品質を決定することができる。配置の推定誤差の計算は、現在の画像で観察された参照点と、キーフレームからの転送および配置の推定によって予測された参照点との間の計算された再投影によって計算される。

【0032】

配置の推定誤差の計算は、例えば、配置の平均二乗誤差又は配置の平均二乗誤差の平方根の計算とできる。

【0033】

本発明によれば、好ましくは、前記画像の前記鮮明度を分析するステップは、前記参照点の速度及び／又は加速度及び／又は急激な動き（ｊｏｌｔ）の計算用に参照点の動きを計算するサブステップを備える。

【0034】

本発明のこの観点によれば、カメラの動きに基づいてバッファメモリに記憶された画像を新しいキーフレームとして選択することに関し、画像の鮮明度が考慮される。この目的は、キーフレームベースに統合するには不十分情報となっている画像を削除することである。

【0035】

ぐいと急に動く動き（jerk）又は過加速と称される、急な動き（jolt）は、また、時間に対する加速度の微分である。加速度自体は時間に対する速度の微分であり、速度は時間に対する位置の微分である。

【0036】

本発明によれば、好ましくは、キーフレームベースは、予め定義された静的キーフレームを備えた静的部分と、バッファメモリに記憶された画像を前記キーフレームベースに追加するステップで追加された新しいキーフレームを記憶する動的部分とを備える。

【0037】

本発明のこの観点によれば、キーフレームベースの静的部分の静的キーフレームの保存により、配置の推定に対する微分を制限することができる。特に、静的キーフレームがないことが、配置の推定からずれてドリフトするリスク、つまりキーフレームからの配置の推定において徐々に品質低下するリスクを導く。

【0038】

本発明によれば、好ましくは、方法であって、各キーフレームについて、前記ビデオストリームの画像を用いて前記キーフレームの最後のマッピングからの継続時間を測定するステップを備え、前記キーフレームの数が予め決められた制限数より大きい又は等しい場合、前記バッファメモリ内に記憶された前記画像を前記キーフレームベースに追加するステップが、前記最後のマッピングからの最も長い継続時間を有する前記キーフレームを除去するサブステップを備える。

【0039】

本発明のこの観点によれば、キーフレームベースにおけるキーフレームの制限の設定により、特に追跡方法のリアルタイムの観点を維持するために、キーフレームをビデオストリームを用いてマッピングすることが、この方法を実行する装置の計算時間にあまり強く影響しすぎないことを確実にすることができる。キーフレームベースがキーフレームベースの静的部分にいわゆる静的キーフレームを備える場合キーフレーム制限に到達されると共に、キーフレームが除去される非静的キーフレーム又は動的キーフレーム、すなわちキーフレームベースの動的部分内のキーフレーム、特に追跡方法の進行に伴って以前に追加されたキーフレームである場合、これらのキーフレームは除去されない。言い換えると、キーフレームベースの管理は、必要に応じて除去できるキーフレームを備えたキーフレームベースの動的部分においてのみもたらされ、キーフレームベースの管理は、この追跡方法により除去できない静的画像を備えるキーフレームベースの静的部分には影響しない。

【0040】

このキーフレームの制限数は、例えば、腹腔鏡手術における内視鏡の配置を追跡するアプリケーションの場合は２０から５０の間とでき、特に、合理的な計算時間とカメラの配置の追跡のエラー強さ（robustness）との間の適切な妥協点として約３０の画像とできる。キーフレームの制限数は、一方での追跡方法の精度とエラー強さと、他方での計算速度と１秒あたりに処理される画像数との間の妥協点として選択される。キーフレームの制限数は、使用される機器とその供給手段に依存する。

【0041】

本発明によれば、好ましくは、３Ｄモデルに関するカメラの配置をリアルタイムで追跡する装置であって、
前記３Ｄモデルは、キーフレームベースと、各キーフレームに関連付けられた配置のベースとを備え、各キーフレームは特に参照点によって特徴付けられ、前記装置は、第１追跡モジュールを備え、前記第１追跡モジュールは、
複数の画像で構成される前記カメラからのビデオストリームを受信するサブモジュールと、
マッピングアルゴリズムによる前記３Ｄモデルのキーフレームの参照点と共に、前記現在の画像と称される前記ビデオストリームの最後に受信した画像の参照点を、マッピングするサブモジュールと、
前記配置ベースから選択されたキーフレームに関連付けられたカメラの配置と、前記現在の画像に関連付けられた前記カメラの現在の配置との間のずれ（シフト）を推定することにより、前記現在の画像と共通する最も多数の参照点を備える、選択されたキーフレームと称される、前記キーフレームから前記カメラの現在の配置を推定するサブモジュールと、を備え、
前記装置は、さらに、前記キーフレームベースを管理するためのモジュールをさらに備え、前記モジュールは、
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め決められた閾値より小さい又は等しい場合に増加される配置損失カウンタを備えたサブモジュールと、
前記選択されたキーフレームと前記現在の画像の間で共通する参照点の数が、予め定められたしきい値よりも高い場合、前記ビデオストリームの前記現在の画像を前記装置のバッファメモリに移すサブモジュールと、
前記配置損失カウンタの値を予め決められた値と比較するサブモジュールと、
前記バッファメモリに記憶された前記画像から前記カメラの配置の推定の品質を分析するサブモジュールと、
前記カメラの動きを表すデータから前記バッファメモリに記憶された前記画像の鮮明度を分析するサブモジュールと、
前記記憶された画像からの前記カメラの前記配置の推定の品質及び記憶された前記画像の鮮明度が予め定められた基準に適合する場合、前記キーフレームベース内に記憶された画像を加えるように構成され、さらに、適合しない場合、前記バッファメモリ内に記憶された前記画像を除去するように構成される、前記バッファメモリを管理するサブモジュールと、を備える。

【0042】

モジュールは、例えば、コンピュータ、コンピュータ装置のグループ、電子部品、又は電子部品のグループなどのコンピューティングデバイス、又は、例えば、コンピュータプログラム、コンピュータプログラムのグループ、コンピュータプログラムのライブラリ、又はコンピュータ、コンピュータ装置のグループ、電子部品、又は電子部品のグループなどのコンピューティングデバイスによって実行されるコンピュータプログラムの機能を備えることができる。

【0043】

有利には、本発明による追跡装置は、本発明による追跡方法を実施するように構成される。

【0044】

有利には、本発明による追跡方法は、本発明による追跡装置によって実施される。

【0045】

本発明は、３Ｄモデルに関するカメラの配置をリアルタイムで追跡するコンピュータプログラム製品に関し、前記３Ｄモデルは、キーフレームベースと、各キーフレームに関連付けられた配置のベースとを備え、各キーフレームは特に参照点によって特徴付けられ、前記コンピュータプログラム製品は、実行のためのプログラムコード命令を備え、
前記コンピュータプログラム製品が、コンピュータ上で実行されるとき、コンピュータプログラム製品の方法のステップは、第１実行スレッドを備え、
前記第１実行スレッドは、
複数の画像で構成される前記カメラからのビデオストリームを受信するステップと、
前記現在の画像と称される前記ビデオストリームの最後に受信した画像の参照点を、マッピングアルゴリズムによる前記３Ｄモデルのキーフレームの参照点と共に、マッピングするステップと、
前記配置ベースから選択されたキーフレームに関連付けられた前記カメラの配置と、前記現在の画像に関連付けられた前記カメラの前記現在の配置との間のずれ（シフト）を推定することにより、前記現在の画像と共通する最も多数の参照点を備える、選択されたキーフレームと称される、前記キーフレームから前記カメラの前記現在の配置を推定するステップと、を備え、
前記方法は、
前記選択されたキーフレームと前記現在の画像との間で共通する参照点の数が予め決められた閾値より小さい又は等しい場合、配置損失カウンタを増加させるステップ、又は、
前記選択されたキーフレームと前記現在の画像の間で共通する参照点の数が、予め定められたしきい値よりも大きい場合、前記ビデオストリームの前記現在の画像をバッファメモリ内に記憶させるステップ、を備え、
前記方法は、さらに、
前記配置損失カウンタが予め決められた値より大きい又は等しい場合、第２実行スレッドを備え、
前記第２実行スレッドは、
前記バッファメモリに記憶された前記画像から前記カメラの配置の推定の品質を分析するステップと、
前記カメラの動きを表すデータから前記バッファメモリに記憶された前記画像の鮮明度を分析するステップと、
前記記憶された画像からの前記カメラの前記配置の推定の品質及び記憶された前記画像の鮮明度が予め定められた基準に適合する場合、前記バッファメモリ内に記憶された前記画像を前記キーフレームベースに加えるステップと、さらに、適合しない場合、前記バッファメモリ内に記憶された前記画像を除去するステップとを備える、前記コンピュータプログラム製品。

【0046】

有利には、本発明によるコンピュータプログラム製品は、本発明による追跡方法を実施するように構成される。

【0047】

有利には、本発明による追跡方法は、本発明によるコンピュータプログラム製品によって実施される。

【0048】

本発明は、内視鏡画像化システムであって、ビデオストリームをキャプチャするように構成された内視鏡と、前記内視鏡の配置を追跡するように構成された本発明による追跡装置と、さらに、前記内視鏡によって取得された画像、及び３Ｄモデルに対する前記内視鏡の配置に従って前記処理ユニットによって提供される追加情報を表示するように構成された表示画面とを備える。

【0049】

このシステムは、好ましくは、腹腔鏡、胸腔鏡又は骨盤鏡画像のために使用される。

【0050】

本発明はまた、上記または下記の特徴のすべて又は一部を組み合わせて特徴付けられる追跡方法、追跡装置および内視鏡システムに関する。

【0051】

図の一覧
本発明の他の目的、特徴及び利点は、添付の図を参照しながら、単に限定されない形で提供される以下の説明を読むことで明らかになる。

【図面の簡単な説明】

【0052】

【図1】図１は、本発明の一実施形態による腹腔鏡画像化システムの概略図である。

【図2】図２は、本発明の一実施形態による追跡方法のステップの概略図である。

【発明を実施するための形態】

【0053】

図において、図示及び明確化を目的とするため、スケール及び比率は厳密には考慮されていない。

【0054】

さらに、同一、類似又は相似的な要素は、すべての図において同じ参照符号で指定されている。

【0055】

図１は、本発明の一実施形態による腹腔鏡画像化システム１０を概略的に示している。このシステムの目的は、患者の体内の腔５０内、この場合は患者の腹部の腔内（すなわち腹腔５０）で撮影された画像を取得して出力できるようにすることであり、特に、例えば腹腔鏡手術などの腹腔鏡処置の範囲内で行われる。腹腔鏡外科手術は、例えば、標的臓器５２の手術に向けられたものである。

【0056】

これを実現するために、システム１０は、本発明の一実施形態による追跡装置を備え、追跡装置は、特に、患者の腹腔５０の画像を取得するように構成された内視鏡1２を備える。内視鏡１２は、内視鏡が腹壁５６を通過できるようにするトロカール1４の手段により患者の腹腔５０内に配置される。腹腔鏡手術で使用される内視鏡は、現在、腹腔鏡と呼ばれる。

【0057】

追跡装置は、本発明による方法の実施を可能にする複数のモジュールを備え、複数のモジュールは、この場合、処理ユニット１６内にまとめられている。処理ユニット1６は、プロセッサ、例えば、本発明による方法の画像の処理に貢献するプロセッサ、または、多数の機能の中でも特に、本発明による方法のステップを実行するためのプログラム命令を実行するように構成された汎用プロセッサを備えたコンピュータ又は電子基盤である。

【0058】

内視鏡１２から取得された画像は、医療従事者向けに意図された表示スクリーン１８に表示される。取得された画像は、腹腔鏡画像化システムによって追加された追加情報を含むなど、増強される可能性があり、追加情報は、追跡装置又は他の装置から来てもよい。

【0059】

本発明の一実施形態による追跡方法１００は、図２を参照して示されるいくつかのステップを備える。

【0060】

方法１００は、３Ｄモデルに対するカメラの配置のリアルタイム追跡（トラッキング）を可能にさせる。３Ｄモデルは、カメラが移動している実際のシーンに対応するモデルによってモデル化されたシーンの合成を生じさせることを可能にするキーフレームベースを備えている。各キーフレームは、特に、３Ｄモデルの仮想シーンとカメラによってキャプチャされた実際のシーンとの間のマッピングの効果をもたらすことができる参照点（基準点）によって特徴付けられ、これらの参照点により、カメラの配置を論理的に導くことができる。

【0061】

３Ｄモデルは、そのキーフレームの撮影中のカメラの配置を各キーフレームに関連付ける配置ベースを備える。この配置ベースによって、共通のマーカーで表現される配置によってキーフレームを互いに関連付けることができる。配置の変更の推定は、この共通のマーカーに従った移動及び/又は回転の推定によって行われる。

【0062】

この方法は、並列して実行可能な２つの実行スレッド、特に第１実行スレッド１１０を備える。

【0063】

第１実行スレッド１１０は、複数の画像で構成されるカメラからのビデオストリームを受信するステップ１１２を備える。カメラは、例えば、患者の腔を撮影する内視鏡である。

【0064】

第１実行スレッド１１０は、次に、現在の画像と称されるビデオストリームの最後に受信した画像の参照点を、３Ｄモデルのキーフレームの参照点と供に、マッピングアルゴリズムによって、マッピングするステップ１１４を備える。このステップにより、現在の画像のマッピングを、３Ｄモデルのキーフレームの画像のマッピングと、照合することができる。

【0065】

第１実行スレッド１１０は、次に、現在の画像と共通する最も多い数の参照点を備えている、選択されたキーフレームと称される、キーフレームからカメラの現在の配置を推定するステップ１１６を備える。現在の画像とキーフレームとの間のマッピングにより、選択されたキーフレームを取得することを可能にしているカメラの配置に近い配置をカメラが有することを決定することができ、従って、配置ベースから選択されたキーフレームに関連付けられたカメラの配置と、現在の画像に関連付けられたカメラの現在の配置との間のずれ（シフト）を推定することによって、現在の画像の撮影中のカメラの配置をそこから論理的に推理することができる。特に、配置は、配置のパラメータ、例えば、基準配置、すなわち、この文脈では、選択されたキーフレームに関連付けられた配置に応じて表現される現在の配置の回転および平行移動のパラメータを推定することによって推定される。

【0066】

実際には、現在の画像とキーフレームベースのキーフレームとの比較は、画像の予備的処理（例えば、アプリケーション応じたカラーチャネルの抽出、ガウシアンぼかしの適用、画像の再次元化等）によって達成され、画像の予備的処理は、例えば、スケール不変特徴変換、ＳＩＦＴ、タイプの検出器の効能により、そこから参照点を簡単に抽出できようになる。次いで、参照点は、比較方法により、例えばマッピングアルゴリズム、特にブルートフォースマッチング（ＢＦＴ）アルゴリズムにより比較される。

【0067】

次に、配置の推定は、最も関連性の高い画像、すなわち、例えばロバスト推定器により、特に、遠近法ｎ点投影法（Perspective-n-point projection）、ＰｎＰ、特に、ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ（ランダムサンプル一致）のための反復パラメータ推定法ＲＡＮＳＡＣを用いたＰｎＰ ＲＡＮＳＡＣタイプのもの、により選択された画像からもたらされる。

【0068】

配置の推定が十分に信頼できる場合、追跡装置は、拡張現実によってビデオストリームの画像を拡張できる。

【0069】

この方法は、第１実行スレッドに含まれるか含まれないかのどちらかであるステップを備え、このステップは、選択されたキーフレームと現在の画像の間で共通する基準点の数を比較するステップ１２０に基づいている。これらのステップは、マッピングステップ１１４で取得された現在の画像とキーフレームとの間のマッピングから実行されうる。

【0070】

選択されたキーフレームと現在の画像の間で共通する参照点の数が、予め定められた閾値（好ましくは２０から１００の間、例えば、５０）よりも高い場合、この方法は、現在の画像をバッファメモリ２００に記憶させるステップ１２２を備える。このステップにより、第１実行スレッド１１０の外部で現在の画像を処理することが可能になり、この処理により、カメラ（sic）によってキャプチャされた新しい画像を処理するユニットにビデオストリームが提供される間、画像を保持しておくことができる。

【0071】

選択されたキーフレームと現在の画像との間で共通する参照点の数が予め決められた閾値より小さい又は等しい場合、この方法は、配置損失カウンタ２０２が実行されることを増加させるステップ１２４を備える。このカウンタは、キーフレームベースのキーフレームがカメラの配置を推定できない場合に、カメラの配置の損失を検出することを可能にする。カメラの配置が失われたとき、拡張現実によって追加情報を表示することがもはやできなくなる。

【0072】

配置損失カウンタが予め決められた値より高い又は等しい場合、前記方法の第２実行スレッド１５０が実行される。

【0073】

この第２実行スレッド１５０は、特に、ゾーンがカメラによって以前にキャプチャされていない、又は、ゾーンがカメラによりわずかにのみキャプチャされている、又は、
ゾーンが時間の経過とともに外観において変化され、そして、ゾーンに対して３Ｄモデルが十分なキーフレームを有していない、このようなゾーンにおいて、これらの画像によってカメラの追跡を向上できる場合、キーフレームベースを管理、特にキーフレームベースに新しい画像を追加する、ように構成されている。

【0074】

バッファメモリに記憶された画像からカメラの配置の推定の品質を分析するステップ１５２を含備えている。

【0075】

特に、配置の推定の品質を分析するステップ１５２は、以下のサブステップの少なくとも１つを備える:
参照点の空間的カバー範囲を計算するサブステップ、
例えば、配置の平均二乗誤差又は配置の平均二乗誤差の平方根を計算により、再投影誤差とも称される配置の推定誤差を計算するサブステップ。
この誤差は、上記の配置の推定中、特に、ＰｎＰ型アルゴリズム、特に、ＰｎＰＲＡＮＳＡＣの適用中、に定量化できる。平均二乗誤差は、特に、ＭＳＥと称され、平均二乗誤差の平方根は、特に、ＲＭＳＥと称される。

【0076】

次に、第２実行スレッド１５０は、カメラの動きを表すデータから、バッファメモリに記憶された画像の鮮明度を分析するステップ１５４を備える。次に、例えば、カメラの位置、動き、速度、加速度、及び/又は急激な動きを表すデータにより画像の鮮明度が推定され、このような推定が高品質の画像がキーフレームベースに追加できるように保存されることを可能にする。特に、画像の鮮明度を分析するステップ１５４は、選択されたキーフレームの参照点に対する参照点の速度、及び/又は加速度、及び/又は揺れを計算するため、参照点の動きを計算するサブステップを備える。バッファメモリに記憶された画像の鮮明度の分析は、分析を有効化するためにラプラシアンの分散を計算することにより補完できる。

【0077】

記憶された画像からのカメラの配置の推定の品質と、記憶された画像の鮮明度の推定の品質とが、配置と鮮明度の検証ステップ１６０で検証された予め定められた基準に従っている場合、第２実行スレッド１５０は、バッファメモリに記憶された画像を新しいキーフレームとしてキーフレームベースに追加するステップ１５６と、そうでない場合バッファメモリに記憶された画像を除去するステップ１５８とを備える。

【0078】

カメラによってキャプチャされたビデオストリームの現在の画像に十分近いキーフレームの不足のため配置の追跡が失われた場合に、前記追加するステップは、過去からの画像であるバッファメモリに記憶された画像を用いることができ、過去からの画像をキーフレームベースに追加することにより、カメラの次の配置の追跡を向上できる。新しいキーフレームに関連付けられた配置情報を保存させるため、配置ベースも更新される。

【0079】

方法の全体的なパフォーマンスに関連する理由により、追跡方法１００は、各キーフレームにつき、ビデオストリームの画像を用いて、そのキーフレームの最後のマッピングからの期間を、測定するステップ１６４も備えることができ、キーフレームの数が予め決められた制限数より大きい又は等しい場合、バッファメモリに記憶された画像をキーフレームベースに追加するステップは、最後のマッピングからの最も長い期間を有するキーフレームを除去するサブステップ１６６を備える。

【0080】

本発明は、説明した実施形態に限定されない。特に、本発明は、例えば胸腔又は骨盤腔内の内視鏡検査の範囲内のあらゆるタイプの内視鏡画像化システムに適用可能であり、さらに一般的には、拡張現実を使用するあらゆるシステム、及びカメラによってキャプチャされた実際のビデオストリーム上に３Ｄモデルを表示するためにカメラの配置を追跡する必要があるあらゆるシステムに適用可能である。

【図1】

【図2】

【国際調査報告】