特開 2024-80531 情報処理システム、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080531

(43)【公開日】2024-06-13

(54)【発明の名称】情報処理システム、プログラム及び情報処理方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240606BHJP

   G06T 7/00 20170101ALI20240606BHJP

   G06T 7/70 20170101ALI20240606BHJP

   A61B 1/00 20060101ALI20240606BHJP

   A61B 1/267 20060101ALI20240606BHJP

【ＦＩ】

A61B1/045 623

G06T7/00 612

G06T7/70 Z

A61B1/00 552

A61B1/267

A61B1/045 614

A61B1/045 620

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022193813

(22)【出願日】2022-12-02

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人日本医療研究開発機構、革新的がん医療実用化研究事業「気管支鏡下肺マッピングを利用した革新的精密肺がん縮小手術治療法の創成」委託研究開発、産業技術力強化法第１７条第１項の規定の適用を受ける特許出願

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】522504215

【氏名又は名称】一般社団法人気道疾患研究会

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】佐藤 雅昭

(72)【発明者】

【氏名】山本 一道

(72)【発明者】

【氏名】ムハッマド ワッヌース

(72)【発明者】

【氏名】フランシスコ ラモサ

【テーマコード（参考）】

4C161

5L096

【Ｆターム（参考）】

4C161AA07

4C161HH55

4C161WW04

4C161WW13

5L096BA06

5L096BA13

5L096CA25

5L096DA01

5L096FA09

5L096FA10

5L096FA53

5L096FA67

5L096FA69

5L096GA53

5L096HA04

(57)【要約】

【課題】内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援する情報処理システム等を提供すること。
【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。取得ステップでは、目的地までスコープを通過させる経路を少なくとも含む経路情報を取得する。スコープは、その先端にカメラを備え、カメラは、目的地までの経路の態様を被写体として撮像するように構成される。推定ステップでは、カメラの姿勢を推定する。出力ステップでは、経路情報と姿勢とに基づいて、ユーザの、目的地までの正しい経路の把握を支援するガイド情報を出力する。
【選択図】図９

【特許請求の範囲】

【請求項1】

情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、
取得ステップでは、目的地までスコープを通過させる経路を少なくとも含む経路情報を取得し、ここで前記スコープは、その先端にカメラを備え、前記カメラは、前記目的地までの前記経路の態様を被写体として撮像するように構成され、
推定ステップでは、前記カメラの姿勢を推定し、
出力ステップでは、前記経路情報と前記姿勢とに基づいて、ユーザの、前記目的地までの正しい経路の把握を支援するガイド情報を出力する、もの。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記出力ステップでは、前記被写体に前記経路中の分岐点が含まれる場合に、前記ガイド情報を出力する、もの。

【請求項3】

請求項２に記載の情報処理システムにおいて、
前記ガイド情報は、前記分岐点での正解の経路を示す、もの。

【請求項4】

請求項３に記載の情報処理システムにおいて、
前記経路情報は、前記目的地までの前記分岐点の個数を含み、
前記出力ステップでは、前記分岐点の登場回数又は通過回数に基づいて、前記ガイド情報を出力する、もの。

【請求項5】

請求項１に記載の情報処理システムにおいて、
さらに、受付ステップでは、前記カメラによって撮像された画像を受け付け、
前記推定ステップでは、前記画像のオプティカルフローを逐次算出することで、前記姿勢を推定する、もの。

【請求項6】

請求項１に記載の情報処理システムにおいて、
前記姿勢は、前記スコープのロール角である、もの。

【請求項7】

請求項１に記載の情報処理システムにおいて、
前記ガイド情報は、前記ユーザが視認可能な情報である、もの。

【請求項8】

請求項７に記載の情報処理システムにおいて、
さらに、
受付ステップでは、前記カメラによって撮像された第１の画像を受け付け、
表示制御ステップでは、前記第１の画像に前記ガイド情報を重畳した第２の画像を表示させる、もの。

【請求項9】

請求項１に記載の情報処理システムにおいて、
前記経路は、体内に関する経路であり、
前記経路情報は、予め医用画像診断装置によって取得された医用画像データ、又は前記医用画像データに基づいて生成された二次データに含まれる、もの。

【請求項10】

請求項１に記載の情報処理システムにおいて、
前記スコープは、６ｍｍ以下の直径を有する、もの。

【請求項11】

請求項１に記載の情報処理システムにおいて、
前記スコープは、気管支鏡である、もの。

【請求項12】

請求項１に記載の情報処理システムにおいて、
情報処理装置と、前記スコープとをさらに備え、
前記情報処理装置は、前記プロセッサを備え、
前記スコープは、前記情報処理装置に接続され、前記カメラによって撮像された画像を前記情報処理装置に送信するように構成される、もの。

【請求項13】

プログラムであって、
コンピュータに、請求項１～請求項１２の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。

【請求項14】

情報処理方法であって、
請求項１～請求項１２の何れか１つに記載の情報処理システムの各ステップを備える、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

特許文献１には、スコープの一例である内視鏡に関し、内視鏡画像を用いた内視鏡動作の支援を可能とする技術が開示されている。この内視鏡画像処理システムは、取得された内視鏡画像を学習済みモデルに対して与えることで取得された領域指定データに基づいて、当該内視鏡画像内のその領域指定データで指定される画像領域に関する内視鏡のガイド情報をその内視鏡画像に付加した表示を出力する出力処理手段とを備えており、当該学習済みモデルは、各教師用内視鏡画像に対して領域指定データの正解をそれぞれ関連付けた複数の教師データを用いて機械学習されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０４８９２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示される技術では、気管支等、経路に分岐点がある場合が考慮されていない。内視鏡等のスコープを用いた検査において、経路に分岐点がある場合、医師等のユーザは、目的地に通じる正しい経路をスコープに設けられたカメラの画像を目視して、適切に選択する必要があり、負担を強いられている。

【0005】

本発明では上記事情を鑑み、内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援する情報処理システム等を提供することとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備える。取得ステップでは、目的地までスコープを通過させる経路を少なくとも含む経路情報を取得する。スコープは、その先端にカメラを備え、カメラは、目的地までの経路の態様を被写体として撮像するように構成される。推定ステップでは、カメラの姿勢を推定する。出力ステップでは、経路情報と姿勢とに基づいて、ユーザの、目的地までの正しい経路の把握を支援するガイド情報を出力する。

【0007】

このような態様によれば、内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る情報処理システム１を表す構成図である。

【図2】情報処理装置４のハードウェア構成を示すブロック図である。

【図3】本実施形態に係る情報処理装置４における制御部４３等によって実現される機能を示すブロック図である。

【図4】気管支鏡３を用いた患者Ｐの肺Ｐ１内部の検査の態様を表す概要図である。

【図5】本実施形態に係る情報処理システム１によって実行される情報処理の流れを示すアクティビティ図である。

【図6】オプティカルフローＯＦを説明するための概要図である。

【図7】分岐点７の通し番号Ｎと、正解の経路とをまとめたルックアップテーブル６を示している。

【図8】カメラ３２によって撮像され且つ表示部４４に表示された画像ＩＭ１の一例を示す概要図である。

【図9】ガイド情報Ｇの一例を示す概要図であり、特に図９Ａは、正解の経路を示すガイド情報Ｇ１を示し、図９Ｂは、被写体Ｓｂの向きを示すガイド情報Ｇ２を示している。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

［実施形態］
１．ハードウェア構成
本節では、本実施形態のハードウェア構成について説明する。

【0014】

１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム１を表す構成図である。本実施形態において、情報処理システム１は、医用画像診断装置２と、気管支鏡３と、情報処理装置４とを備える。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものを含む。したがって、情報処理装置４単体であっても情報処理システム１に例示されるシステムに含まれる。あるいは、情報処理システム１が、情報処理装置４と、スコープの一例である気管支鏡３とを備えるシステムであってもよい。かかる場合、情報処理装置４は、プロセッサの一例である制御部４３を備える。気管支鏡３は、情報処理装置４に接続され、カメラ３２によって撮像された画像ＩＭ１を情報処理装置４に送信するように構成される。以下、情報処理システム１に含まれる各構成要素についてさらに説明する。

【0015】

１．２ 医用画像診断装置２
医用画像診断装置２は、被検体（後述の患者Ｐ）を撮影する装置である。医用画像診断装置２は、通信部２１と、撮像部２２とを備える。医用画像診断装置２は、後述の情報処理装置４と通信ネットワーク１１を介して接続され、撮像された医用画像データＭＤを、通信部２１を介して情報処理装置４に送信可能に構成される。なお、医用画像診断装置２と情報処理装置４とを直接接続するように実施してもよい。医用画像診断装置２には、例えば、Ｘ線ＣＴスキャナ、Ｘ線診断装置、超音波診断装置、磁気共鳴イメージング装置等が該当しうる。

【0016】

１．３ 気管支鏡３
気管支鏡３は、スコープの一例である。気管支鏡３は、長尺に構成されたケーブル部３１を備える。ケーブル部３１の一端は、後述の情報処理装置４における通信部４１と接続されている。また、気管支鏡３は、その先端にカメラ３２を備える。より具体的には、気管支鏡３は、前述したケーブル部３１の一端に対する他端にカメラ３２を備え、カメラ３２は、目的地までの、体内に関する経路の態様を被写体Ｓｂとして撮像するように構成される。このような構成により、カメラ３２が撮像した画像ＩＭ１が、ケーブル部３１の内部導線（不図示）及び通信部４１を介して情報処理装置４に送信される。

【0017】

カメラ３２は、可視光領域を撮像可能なカメラでもよいし、赤外光等の可視光以外の領域を撮像可能なカメラでもよい。カメラ３２は、時系列の動画像を撮像可能に構成されるとよく、そのフレームレートは、例えば、１０ｆｐｓ以上であり、好ましくは３０ｆｐｓ以上であり、さらに好ましくは６０ｆｐｓ以上である。フレームレートは、具体的には例えば、１０，２０，３０，４０，５０，６０，７０，８０，９０，１００，１１０，１２０，１３０，１４０，１５０，１６０，１７０，１８０，１９０，２００，２１０，２２０，２３０，２４０，２５０ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

【0018】

１．４ 情報処理装置４
図２は、情報処理装置４のハードウェア構成を示すブロック図である。情報処理装置４は、通信部４１と、記憶部４２と、制御部４３と、表示部４４と、入力部４５とを有し、これらの構成要素が情報処理装置４の内部において通信バス４０を介して電気的に接続されている。各構成要素についてさらに説明する。

【0019】

通信部４１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置４は、通信部４１及び通信ネットワーク１１を介して、外部から種々の情報を通信してもよい。

【0020】

記憶部４２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部４３によって実行される情報処理装置４に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部４２は、制御部４３によって実行される情報処理装置４に係る種々のプログラムや変数等を記憶している。

【0021】

制御部４３は、情報処理装置４に関連する全体動作の処理・制御を行う。制御部４３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部４３は、記憶部４２に記憶された所定のプログラムを読み出すことによって、情報処理装置４に係る種々の機能を実現する。すなわち、記憶部４２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部４３によって具体的に実現されることで、制御部４３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部４３は単一であることに限定されず、機能ごとに複数の制御部４３を有するように実施してもよい。またそれらの組合せであってもよい。すなわち、制御部４３は、後述の各部として機能させるプログラムを実行可能なプロセッサの一例である。

【0022】

表示部４４は、例えば、情報処理装置４の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部４４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置４の種類に応じて使い分けて実施することが好ましい。

【0023】

入力部４５は、情報処理装置４の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部４５は、表示部４４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部４５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス４０を介して制御部４３に転送され、制御部４３が必要に応じて所定の制御や演算を実行しうる。

【0024】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部４２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部４３によって具体的に実現されることで、制御部４３に含まれる各機能部が実行されうる。

【0025】

図３は、本実施形態に係る情報処理装置４における制御部４３等によって実現される機能を示すブロック図である。具体的には、情報処理装置４は、取得部４３１と、受付部４３２と、画像処理部４３３と、推定部４３４と、演算部４３５と、出力部４３６とを備える。

【0026】

取得部４３１は、通信部４１を介して外部から受け付けたか又は予め記憶部４２に記憶されたかの、種々の情報を取得するように構成される。例えば、取得部４３１は、医用画像診断装置２から、患者Ｐの３次元情報を有するか又は３次元情報を復元可能かの、ＤＩＣＯＭデータ等の医用画像データＭＤを取得してもよい。取得部４３１は、取得ステップとして、患者Ｐの体内において、例えばガン細胞Ｐ３等の目的地まで気管支鏡３を通過させる経路を少なくとも含む経路情報Ｒを取得してもよい（図４参照）。詳細は後述する。

【0027】

受付部４３２は、種々の情報を受け付けるように構成される。例えば、受付部４３２は、受付ステップとして、気管支鏡３の先端に設けられたカメラ３２によって撮像された画像ＩＭ１を受け付けてもよい。

【0028】

画像処理部４３３は、受付部４３２が受け付けた画像ＩＭ１に対して、種々の画像処理を実行可能に構成される。例えば、画像処理部４３３は、画像ＩＭ１のオプティカルフローＯＦを逐次算出してもよい。

【0029】

推定部４３４は、現在のカメラ３２の姿勢を推定するように構成される。好ましくは、画像処理部４３３によって算出されたオプティカルフローＯＦに基づいて、カメラ３２の姿勢を推定してもよい。詳細は後述する。

【0030】

演算部４３５は、種々の演算を実行するように構成される。例えば、演算部４３５は、予め分岐点７（図４及び図８参照）の形態を学習させた学習済みモデルに画像ＩＭ１を入力することで、画像ＩＭ１の被写体Ｓｂに分岐点７が含まれるか否かを判定してもよい。なお、このような学習済みモデルは、記憶部４２に予め記憶されているとよい。

【0031】

出力部４３６は、演算部４３５での演算結果等、種々の情報を出力するように構成される。例えば、出力部４３６は、ユーザの、目的地までの正しい経路の把握を支援するガイド情報Ｇを出力してもよい。さらに出力部４３６は、表示制御ステップとして、種々の表示情報を生成して、ユーザが視認可能な表示内容を制御するように構成される。表示情報とは、画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報そのものでもよいし、例えば表示部４４に画面、画像、アイコン、テキスト等を表示させるためのレンダリング情報であってもよい。

【0032】

３．情報処理方法
本節では、前述した情報処理システム１の情報処理方法について説明する。この情報処理方法は、情報処理システム１が実行する各ステップを備える。図４は、気管支鏡３を用いた患者Ｐの肺Ｐ１内部の検査の態様を表す概要図である。図示の通り、患者Ｐは、肺Ｐ１の所定の位置においてガン細胞Ｐ３を有しており、ガン細胞Ｐ３の位置は、予め実施された医用画像診断装置２による医用画像診断から既知であるとする。気管支鏡３が気管支Ｐ２内に挿通されることで、検査が実行される。特に、気管支Ｐ２は、食道や種々の腸とは異なり、複数の分岐点７を有している。以下では、医師であるユーザが、医用画像診断装置２を用いて患者Ｐの医用画像データＭＤを取得するとともに、この医用画像データＭＤに基づいて得られた経路情報Ｒに基づき、気管支鏡３を用いて患者Ｐの肺Ｐ１の内部を検査する場合を想定する。

【0033】

３．１ 情報処理の概要
図５は、本実施形態に係る情報処理システム１によって実行される情報処理の流れを示すアクティビティ図である。先に、図５の各アクティビティに沿って、情報処理の流れを概説する。

【0034】

まず、気管支鏡３を用いた検査で用いられる経路情報Ｒの事前取得に関し、アクティビティＡ００１～Ａ００３を説明する。医師であるユーザは、医用画像診断装置２を用いて患者Ｐの医用画像データＭＤを取得する。換言すると、医用画像診断装置２における撮像部２２が患者Ｐを撮像することで、医用画像データＭＤが生成される（アクティビティＡ００１）。

【0035】

医用画像診断装置２は、前述した通り、Ｘ線ＣＴスキャナ、磁気共鳴イメージング装置等が一例として該当する。例えば、医用画像診断装置２がＸ線ＣＴスキャナであれば、Ｘ線検出器が不図示のＸ線管から照射されたＸ線を検出し、当該Ｘ線量に対応した検出データを電気信号として不図示のＤＡＳに出力する。そして、Ｘ線管とＸ線検出器とを対向させて支持する不図示の回転フレームを被検体の周りに回転させることで、複数ビュー、すなわち被検体の全周囲分の検出データが収集される。このようにして、連続断層画像である医用画像データＭＤが得られる。

【0036】

続いて、生成された医用画像データＭＤが通信ネットワーク１１及び通信部４１を介して情報処理装置４に取り込まれる。医用画像データＭＤは、情報処理装置４の記憶部４２に記憶される。このようにして、情報処理装置４が医用画像データＭＤを取得する（アクティビティＡ００２）。

【0037】

続いて、情報処理装置４における演算部４３５が、予め定められたプログラムを用いて医用画像データＭＤに所定の情報処理を実行し、二次データＳＤを生成する。二次データＳＤは、情報処理装置４の記憶部４２に記憶される。例えば、二次データＳＤは、連続断層画像である医用画像データＭＤを再合成して得られる、体内の三次元モデルであってよい。好ましくは、二次データＳＤは、例えばガン細胞Ｐ３等の目的地まで気管支鏡３を通過させる経路を少なくとも含む経路情報Ｒを含む。換言すると、経路情報Ｒは、予め医用画像診断装置２によって取得された医用画像データＭＤに基づいて生成された二次データＳＤに含まれる。このような態様によれば、既存の医用画像診断装置２を用いた実施が可能となり、ユーザビリティの高い情報処理システム１を実現することができる。

【0038】

次に、気管支鏡３を用いた患者Ｐの体内の検査に関して、アクティビティＡ００４以降のステップを説明する。患者Ｐを気管支鏡３で検査するにあたって、情報処理装置４における制御部４３が、記憶部４２に記憶された二次データＳＤに含まれる経路情報Ｒを読み出す（アクティビティＡ００４）。換言すると、取得部４３１は、取得ステップとして、目的地まで気管支鏡３を通過させる経路を少なくとも含む経路情報Ｒを取得する。ここで、好ましくは、経路情報Ｒは、目的地までの分岐点７の個数を含む。分岐点７の個数は、経路が二股や三股に分かれている場面ごとに、１つの分岐点７とカウントされるとよい。

【0039】

経路情報Ｒの読出が完了すると、気管支鏡３による検査が実行される。気管支鏡３の先端に設けられたカメラ３２は、外界の態様を画像ＩＭ１（第１の画像の一例）として撮像する。つまり、ユーザによって気管支鏡３が患者Ｐの体内に挿入されると、カメラ３２は、目的地までの経路の態様を被写体Ｓｂとして撮像する（アクティビティＡ００５）。一方、受付部４３２は、受付ステップとして、カメラ３２によって撮像された画像ＩＭ１を受け付け、記憶部４２の一時メモリに情報を書き出す。撮像は、前述したフレームレートで逐次行われるが、以下、ある時刻に撮像された画像ＩＭ１（フレーム）に関してさらに説明を行う。

【0040】

続いて、画像処理部４３３は、受付部４３２が受け付けた画像ＩＭ１に対して、予め定められた画像処理プログラムを実行することで、画像ＩＭ１に含まれる特徴点を抽出するとともに、そのオプティカルフローＯＦを演算する（アクティビティＡ００６）。複数の特徴点に対してオプティカルフローＯＦを逐次演算することで、推定部４３４は、推定ステップとして、現在のカメラ３２の姿勢を推定することができる（アクティビティＡ００７）。オプティカルフローＯＦの演算については、図６を参照しながら後に詳述する。好ましくは、カメラ３２の姿勢は、気管支鏡３（スコープの一例）のロール角αである（図９参照）。このような態様によれば、別途のセンサを設けることなく、カメラ３２の姿勢を推定することが可能となり、気管支鏡３のような小型なスコープに適した技術を提供することができる。

【0041】

一方、アクティビティＡ００６及びＡ００７に係るステップと並行して、演算部４３５は、気管支鏡３の先端が分岐点７に到達しているか否かを判定するとよい。具体的には、演算部４３５は、予め分岐点７（図８参照）の形態を学習させた学習済みモデルに画像ＩＭ１を入力することで、画像ＩＭ１の被写体Ｓｂに分岐点７が含まれるか否かを判定する。分岐点７が含まれると判定された場合、演算部４３５は、目的地までの分岐点７のうち何番目の分岐点７であるかを特定する（アクティビティＡ００８）。

【0042】

経路情報Ｒと現在の分岐点７とを突合させることで、情報処理装置４の制御部４３は、分岐点７における正解の経路を把握することができる。この際、ユーザが表示部４４を介して視認可能な画像ＩＭ１は、カメラ３２のロール角αだけ回転して表示されているため、ユーザが正しい経路を選択する際に混乱をきたす原因となりうる。これを抑制するため、出力部４３６は、出力ステップとして、経路情報Ｒとロール角α（姿勢）とに基づいて、ユーザの、目的地までの正しい経路の把握を支援するガイド情報Ｇを出力する。好ましくは、ガイド情報Ｇは、ユーザが視認可能な情報であり、画像ＩＭ１に重畳されて表示部４４に表示されるとよい（アクティビティＡ００９）。このような態様によれば、ユーザが視覚的に正しい経路を把握することができる。

【0043】

アクティビティＡ００５～Ａ００９に示されるステップは、患者Ｐの検査中において継続的に行われるとよい。

【0044】

以上をまとめると、本実施形態に係る情報処理システム１は、次の各部として機能させるプログラムを実行可能な制御部４３（プロセッサの一例）を備える。取得部４３１は、取得ステップとして、目的地まで気管支鏡３（スコープの一例）を通過させる経路を少なくとも含む経路情報Ｒを取得する。気管支鏡３（スコープの一例）は、その先端にカメラ３２を備え、カメラ３２は、目的地までの経路の態様を被写体Ｓｂとして撮像するように構成される。推定部４３４は、推定ステップとして、カメラ３２の姿勢を推定する。出力部４３６は、出力ステップとして、経路情報Ｒと姿勢とに基づいて、ユーザの、目的地までの正しい経路の把握を支援するガイド情報Ｇを出力する。

【0045】

このような態様によれば、内部検査を行うスコープ、例えば気管支鏡３を使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援することができる。

【0046】

３．２ 情報処理の詳細
続いて、先に概説した情報処理の詳細を、図６以降を参照して補足する。

【0047】

（オプティカルフローＯＦ）
オプティカルフローＯＦとは、過去のフレームにおける特徴点を始点とし、現在のフレームにおける特徴点と比較して所定の条件を満たす点（推定移動先）を終点とするベクトルである。オプティカルフローＯＦは、画像中における対象物の動きを表す指標として一般的に用いられる。特に、オプティカルフローＯＦは、例えばＬｕｃａｓ Ｋａｎａｄｅ法によって計算コストを抑えて演算可能である。

【0048】

図６は、オプティカルフローＯＦを説明するための概要図である。図６では、過去フレームに係る画像ＩＭ１と、現フレームに係る画像ＩＭ１とが重ねて図示されている。つまり、過去フレームの特徴点５１ａ，５２ａ，５３ａと、現フレームの特徴点５１ｂ，５２ｂ，５３ｂとがともに図示されている。過去フレームの特徴点５１ａと現フレームの特徴点５１ｂとが対応する特徴点であり、過去フレームの特徴点５２ａと現フレームの特徴点５２ｂとが対応する特徴点であり、過去フレームの特徴点５３ａと現フレームの特徴点５３ｂとが対応する特徴点である。そして、オプティカルフローＯＦとして、オプティカルフロー５１ｕ，５２ｕ，５３ｕがそれぞれ算出されている。

【0049】

このようにして得られたオプティカルフローＯＦにより、演算部４３５は、並進成分と、回転成分と、拡大縮小率とを算出することができる。すなわち、カメラ３２の姿勢であるロール角αが既知の状態である時刻ｔ＝０から始めて、複数の特徴点に対してオプティカルフローＯＦを逐次演算することで、現在のカメラ３２のロール角αを情報処理装置４が継続的に把握することができる。換言すると、推定部４３４は、画像ＩＭ１のオプティカルフローＯＦを逐次算出することで、カメラ３２の姿勢の一例であるロール角αを推定する。このような態様によれば、別途のセンサを設けることなく、カメラ３２の姿勢を推定することが可能となり、気管支鏡３のような小型なスコープに適した技術を提供することができる。

【0050】

オプティカルフローＯＦに関して、より具体的には、以下の通りである。オプティカルフローＯＦでは、各フレームで横断的に特徴を検出し、フレーム間で特徴の対応関係を確立する。このステップをロバストにするためには、特徴（より具体的には、特徴の記述）が回転、スケーリング及び並進に対して不変であること、あるいは、特徴及びその記述子が、同じ点の正確なマッチングを保証するために十分に安定であることが必要である。

【0051】

例えば、ＫＡＺＥ検出器／記述子は、視点が変更されても同じ特徴を確実に照合可能に、安定した動作を有する。かかる安定な照合により、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（以下ＳｆＭと称する）を用いると、カメラの動きによって基線が定義される立体視カメラシステムと同等のものが構築されうる。つまり、点間の関係が定義され、エピポーラ制約と呼ばれる関係を有することとなる。この制約により、対応する点間の線形変換が決定され、基本行列Ｆが決定される。基本行列Ｆは、［数１］によって規定されてよい。

【数1】

【0052】

ここで、基本行列Ｆは、［数２］に示されるように、カメラの特性行列Ｍとカメラの回転行列Ｒと並進行列Ｓとに分解することができる。

【数2】

【0053】

特性行列Ｍは固有パラメータ行列（焦点距離、主点）であり、画素数で表した焦点距離（ｘ，ｙ方向）をｆ＿ｘ，ｆ＿ｙ、主点の座標をｏ＿ｘ，ｏ＿ｙとして、［数３］のように与えられてよい。

【数3】

【0054】

回転行列Ｒはカメラの回転を示す直交行列であり、［数４］のように与えられてよい。

【数4】

【0055】

並進行列Ｓは、［数５］のように与えられてよい。

【数5】

【0056】

ＳｆＭの計算では、特徴検出器と記述子とがロバストであることが前提である。このアプローチのロバスト性を高めるために、いったん基本行列Ｆを計算したら、それを画像点に適用して、次のフレームにおける画像特徴の予測位置を計算してもよい。そして、予測された位置と計算された位置との誤差が閾値以上であれば、予測位置を不採用としてもよい。このようにして対応関係が強化されると、よりロバストな基本行列Ｆの推定を行うことができる。

【0057】

（分岐点７ごとの正解の経路）
図５に示されたアクティビティＡ００８として前述したように、分岐点７が画像ＩＭ１の被写体Ｓｂに含まれると判定された場合、演算部４３５は、目的地までの分岐点７のうち何番目の分岐点７であるかを特定する。二次データＳＤに含まれる経路情報Ｒは、目的地までの経路に関する情報として、目的地までに登場する分岐点７の個数と、各分岐点７における正解の経路とを含んでいる。

【0058】

図７は、分岐点７の通し番号Ｎと、正解の経路とをまとめたルックアップテーブル６を示している。ルックアップテーブル６は、項目６１，６２を含む。項目６１には、分岐点７の通し番号Ｎが格納され、項目６２には、各分岐点７における正解の経路が格納されている。具体的には、目的地までの経路中に分岐点７が９個ある場合が例示されている。また、正解の経路を示す情報として、ロール角αが０であった場合に画像ＩＭ１として映し出される２つの経路のうち、正解の経路が不正解の経路に対して相対的に位置する方向が格納されている。出力部４３６は、分岐点７の登場回数又は通過回数である通し番号Ｎに基づいて、ユーザの、前記目的地までの正しい経路の把握を支援するガイド情報Ｇを出力するとよい。このような態様によれば、経路中のどの分岐点７であるかを容易に特定可能となり、適切なガイド情報Ｇを出力することができる。

【0059】

好ましくは、演算部４３５が画像ＩＭ１の被写体Ｓｂに分岐点７が含まれると判定したフレームが連続して所定数カウントされた場合に、分岐点７の登場回数を更新するとよい。同様に、演算部４３５が画像ＩＭ１の被写体Ｓｂに分岐点７が含まれないと判定したフレームが連続して所定数カウントされた場合に、真に分岐点７が画像ＩＭ１の被写体Ｓｂに含まれないと判断させてもよい。このような構成とすることで、認識エラーによるカウントミスを防止することができ、ユーザに正解の経路を適切に提示することができる。

【0060】

（ガイド情報Ｇの一例）
図８は、カメラ３２によって撮像され且つ表示部４４に表示された画像ＩＭ１の一例を示す概要図である。画像ＩＭ１には、被写体Ｓｂとして、二股の分岐点７が含まれている。分岐点７は、２つの経路７１，７２を有している。ガイド情報Ｇが出力されない場合は、ユーザは、分岐点７の登場回数に注意を払うとともに、予め得られた医用画像データＭＤ又は二次データＳＤを参照して、正解の経路を選択する必要がある。このとき、ロール角αが既知でない場合、医用画像データＭＤ又は二次データＳＤに基づいて判断された正解の経路が「上」（ロール角αは０と仮定）であったとしても、実際の現在のロール角αがπ（１８０度）であり、画像ＩＭ１としては下方に視認される経路７２が正解である、といった状況が往々にしてある。そのため、ユーザは、気管支鏡３を動かしながら経験に基づいて現在のロール角αを推定するとともに、経路の形状の微妙な差異等も加味して、正解の経路を選択することとなる。

【0061】

図９は、ガイド情報Ｇの一例を示す概要図であり、特に図９Ａは、正解の経路を示すガイド情報Ｇ１を示し、図９Ｂは、被写体Ｓｂの向きを示すガイド情報Ｇ２を示している。図９Ａに示されるように、出力部４３６は、被写体Ｓｂに経路中の分岐点７が含まれる場合に、ガイド情報Ｇを出力する。好ましくは、ガイド情報Ｇは、分岐点７での正解の経路を示すガイド情報Ｇ１である。図９Ａにおけるガイド情報Ｇ１は、矢印状のマーカであるが、正解の経路を示すなんらかの情報であれば、特に限定されない。例えば、「右」や「左」といった方向を示すアノテーションが付されてもよい。このような態様によれば、ユーザが選択を迫られる分岐点７に到達したタイミングで、ユーザが正しい経路を選択することの支援をすることができる。特に、ガイド情報Ｇ１のような態様であれば、ユーザは正しい経路を直接把握することができる。

【0062】

特に好ましくは、図９Ａに示されるように、出力部４３６が、表示制御ステップとして、カメラ３２が捉える被写体Ｓｂを含む画像ＩＭ１にガイド情報Ｇ（例えば、正解の経路を示すガイド情報Ｇ１）を重畳した画像ＩＭ２（第２の画像の一例）を表示部４４に表示させるとよい。このような態様によれば、ユーザがより直感的に正しい経路を把握することができる。もちろん、重畳させずに、異なる表示部４４又は同一の表示部４４内の異なる表示領域にそれぞれ表示させてもよい。

【0063】

［その他］
前述の各実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。

【0064】

情報処理システム１又は情報処理装置４の構成に代えて又はこれとともに、コンピュータに、情報処理システム１の各ステップを実行させるプログラムが提供されてもよい。

【0065】

情報処理システム１に、医用画像診断装置２、気管支鏡３又は情報処理装置４以外の構成要素が含まれてもよい。例えば、情報処理装置４と、不図示の入力装置と、不図示の表示装置とからなる情報処理システム１が実施されてもよい。これらの接続方法は特に限定されず、インターネットを介して行うサービス（いわゆるＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）が提供されてもよい。

【0066】

情報処理システム１における情報処理装置４の機能を医用画像診断装置２に内蔵させてもよい。

【0067】

分岐点７を判定するにあたって、前述した学習済みモデルに代えて、テンプレートマッチング等のルールベースの画像処理アルゴリズムが採用されてもよい。

【0068】

本実施形態では、被写体Ｓｂに経路中の分岐点７が含まれる場合に、出力部４３６が正解の経路を示すガイド情報Ｇ１を出力し、表示部４４に表示させる場合を説明したが、正解の経路を示すガイド情報Ｇ１を出力せずに、図９Ｂに示されるような被写体Ｓｂの向きを示すガイド情報Ｇ２だけを出力し、表示部４４に表示させてもよい。ガイド情報Ｇ２は、既知の状態でのロール角αを０と設定し、その状態からどれだけ回転しているかが把握可能なベクトル図となっているとよい。例えば、図９ＢにおけるＡ（０）は、ロール角αが０の場合の方向を示し、Ａ（ｔ）は現在のロール角αの方向を示している。もちろんこの態様に限らず、ロール角αだけを数値等で示す態様でもよい。また、被写体Ｓｂに経路中の分岐点７が含まれる場合に限らず、常にガイド情報Ｇ２が表示されていてもよい。

【0069】

ガイド情報Ｇは、視覚情報に限らず、音声でもよいし触覚情報でもよい。正解の経路を示すガイド情報Ｇ１とも被写体Ｓｂの向きを示すガイド情報Ｇ２とも異なる、何らかのガイド情報Ｇが出力されてもよい。例えば、気管支鏡３の先端が不正解の経路に侵入したことを検知した場合に、警告音を継続して出力するようにしてもよい。

【0070】

ロール角αを補正するように、出力部４３６が画像ＩＭ１又は画像ＩＭ２を回転して表示部４４に表示させてもよい。

【0071】

本実施形態では、医用画像データＭＤに対して所定の情報処理を実行した二次データＳＤに経路情報Ｒが含まれるものとして説明したが、医用画像診断装置２によって生成された医用画像データＭＤそのものに経路情報Ｒが含まれていてもよい。すなわち、情報処理装置４が医用画像データＭＤを読み出して経路情報Ｒを取得するような形態が実施されてもよい。換言すると、経路情報Ｒは、予め医用画像診断装置２によって取得された医用画像データＭＤに含まれうる。

【0072】

医用画像診断装置２と接続される情報処理装置４と、気管支鏡３と接続される情報処理装置４とを異なるものとしてもよい。かかる場合、図５のアクティビティ図におけるアクティビティＡ００３と、アクティビティＡ００４との間に、２つの情報処理装置４間でデータを受け渡すステップが含まれることが好ましい。

【0073】

本実施形態では、スコープの一例として気管支鏡３を含む情報処理システム１を説明したが、気管支鏡３以外のスコープが採用されてもよい。例えば、配管の内部検査等に用いるスコープに対しても、本技術を適用することができる。好ましくは、スコープは、６ｍｍ以下の直径を有する。具体的には例えば、６，５．９，５．８，５．７，５．６，５．５，５．４，５．３，５．２，５．１，５，４．９，４．８，４．７，４．６，４．５，４．４，４．３，４．２，４．１，４，３．９，３．８，３．７，３．６，３．５，３．４，３．３，３．２，３．１，３，２．９，２．８，２．７，２．６，２．５，２．４，２．３，２．２，２．１，２，１．９，１．８，１．７，１．６，１．５，１．４，１．３，１．２，１．１，１ｍｍであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。このような小型なスコープは、カメラ３２以外のセンサ等の構成要素が含まれないことが要求される。このような態様によれば、気管支鏡３以外にも精密なスコープを用いた実施が可能となり、ユーザビリティの高い情報処理システム１を実現することができる。

【0074】

さらに、次に記載の各態様で提供されてもよい。

【0075】

（１）情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能なプロセッサを備え、取得ステップでは、目的地までスコープを通過させる経路を少なくとも含む経路情報を取得し、ここで前記スコープは、その先端にカメラを備え、前記カメラは、前記目的地までの前記経路の態様を被写体として撮像するように構成され、推定ステップでは、前記カメラの姿勢を推定し、出力ステップでは、前記経路情報と前記姿勢とに基づいて、ユーザの、前記目的地までの正しい経路の把握を支援するガイド情報を出力する、もの。

【0076】

このような態様によれば、内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援することができる。

【0077】

（２）上記（１）に記載の情報処理システムにおいて、前記出力ステップでは、前記被写体に前記経路中の分岐点が含まれる場合に、前記ガイド情報を出力する、もの。

【0078】

このような態様によれば、ユーザが選択を迫られる分岐点に到達したタイミングで、ユーザが正しい経路を選択することの支援をすることができる。

【0079】

（３）上記（２）に記載の情報処理システムにおいて、前記ガイド情報は、前記分岐点での正解の経路を示す、もの。

【0080】

このような態様によれば、ユーザが選択を迫られる分岐点に到達したタイミングで、ユーザが正しい経路を直接把握することができる。

【0081】

（４）上記（３）に記載の情報処理システムにおいて、前記経路情報は、前記目的地までの前記分岐点の個数を含み、前記出力ステップでは、前記分岐点の登場回数又は通過回数に基づいて、前記ガイド情報を出力する、もの。

【0082】

このような態様によれば、経路中のどの分岐点であるかを容易に特定可能となり、適切なガイド情報を出力することができる。

【0083】

（５）上記（１）～（４）の何れか１つに記載の情報処理システムにおいて、さらに、受付ステップでは、前記カメラによって撮像された画像を受け付け、前記推定ステップでは、前記画像のオプティカルフローを逐次算出することで、前記姿勢を推定する、もの。

【0084】

このような態様によれば、別途のセンサを設けることなく、カメラの姿勢を推定することが可能となり、気管支鏡のような小型なスコープに適した技術を提供することができる。

【0085】

（６）上記（１）～（５）の何れか１つに記載の情報処理システムにおいて、前記姿勢は、前記スコープのロール角である、もの。

【0086】

このような態様によれば、別途のセンサを設けることなく、カメラの姿勢を推定することが可能となり、気管支鏡のような小型なスコープに適した技術を提供することができる。

【0087】

（７）上記（１）～（６）の何れか１つに記載の情報処理システムにおいて、前記ガイド情報は、前記ユーザが視認可能な情報である、もの。

【0088】

このような態様によれば、ユーザが視覚的に正しい経路を把握することができる。

【0089】

（８）上記（７）に記載の情報処理システムにおいて、さらに、受付ステップでは、前記カメラによって撮像された第１の画像を受け付け、表示制御ステップでは、前記第１の画像に前記ガイド情報を重畳した第２の画像を表示させる、もの。

【0090】

このような態様によれば、ユーザがより直感的に正しい経路を把握することができる。

【0091】

（９）上記（１）～（８）の何れか１つに記載の情報処理システムにおいて、前記経路は、体内に関する経路であり、前記経路情報は、予め医用画像診断装置によって取得された医用画像データ、又は前記医用画像データに基づいて生成された二次データに含まれる、もの。

【0092】

このような態様によれば、既存の医用画像診断装置を用いた実施が可能となり、ユーザビリティの高い情報処理システムを実現することができる。

【0093】

（１０）上記（１）～（９）の何れか１つに記載の情報処理システムにおいて、前記スコープは、６ｍｍ以下の直径を有する、もの。

【0094】

このような態様によれば、精密なスコープを用いた実施が可能となり、ユーザビリティの高い情報処理システムを実現することができる。

【0095】

（１１）上記（１）～（１０）の何れか１つに記載の情報処理システムにおいて、前記スコープは、気管支鏡である、もの。

【0096】

このような態様によれば、気管支鏡を用いた検査や手術にあたって、ユーザである医師が正しい経路に沿って気管支鏡を進行させることを支援することができる。

【0097】

（１２）上記（１）～（１１）の何れか１つに記載の情報処理システムにおいて、情報処理装置と、前記スコープとをさらに備え、前記情報処理装置は、前記プロセッサを備え、前記スコープは、前記情報処理装置に接続され、前記カメラによって撮像された画像を前記情報処理装置に送信するように構成される、もの。

【0098】

このような態様によれば、内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援することができる。

【0099】

（１３）プログラムであって、コンピュータに、上記（１）～（１２）の何れか１つに記載の情報処理システムの各ステップを実行させる、もの。

【0100】

このような態様によれば、内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援することができる。

【0101】

（１４）情報処理方法であって、上記（１）～（１２）の何れか１つに記載の情報処理システムの各ステップを備える、方法。

【0102】

このような態様によれば、内部検査を行うスコープを使用するにあたって、ユーザが正しい経路に沿ってスコープを進行させることを支援することができる。
もちろん、この限りではない。

【0103】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0104】

１ ：情報処理システム
１１ ：通信ネットワーク
２ ：医用画像診断装置
２１ ：通信部
２２ ：撮像部
３ ：気管支鏡
３１ ：ケーブル部
３２ ：カメラ
４ ：情報処理装置
４０ ：通信バス
４１ ：通信部
４２ ：記憶部
４３ ：制御部
４３１ ：取得部
４３２ ：受付部
４３３ ：画像処理部
４３４ ：推定部
４３５ ：演算部
４３６ ：出力部
４４ ：表示部
４５ ：入力部
５１ａ ：特徴点
５１ｂ ：特徴点
５１ｕ ：オプティカルフロー
５２ａ ：特徴点
５２ｂ ：特徴点
５２ｕ ：オプティカルフロー
５３ａ ：特徴点
５３ｂ ：特徴点
５３ｕ ：オプティカルフロー
６ ：ルックアップテーブル
６１ ：項目
６２ ：項目
７ ：分岐点
７１ ：経路
７２ ：経路
Ｇ ：ガイド情報
Ｇ１ ：ガイド情報
Ｇ２ ：ガイド情報
ＩＭ１ ：画像
ＩＭ２ ：画像
ＭＤ ：医用画像データ
Ｎ ：通し番号
ＯＦ ：オプティカルフロー
Ｐ ：患者
Ｐ１ ：肺
Ｐ２ ：気管支
Ｐ３ ：ガン細胞
Ｒ ：経路情報
ＳＤ ：二次データ
Ｓｂ ：被写体
α ：ロール角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】