IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社根本杏林堂の特許一覧

特開2024-123195医用画像処理装置、医用画像処理方法および医用画像処理プログラム
<>
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図1
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図2
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図3A
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図3B
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図4
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図5
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図6
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図7
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図8
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図9
  • 特開-医用画像処理装置、医用画像処理方法および医用画像処理プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024123195
(43)【公開日】2024-09-10
(54)【発明の名称】医用画像処理装置、医用画像処理方法および医用画像処理プログラム
(51)【国際特許分類】
   A61B 1/00 20060101AFI20240903BHJP
   A61B 1/045 20060101ALI20240903BHJP
   A61B 17/29 20060101ALI20240903BHJP
【FI】
A61B1/00 620
A61B1/045 623
A61B17/29
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2024101699
(22)【出願日】2024-06-25
(62)【分割の表示】P 2020034103の分割
【原出願日】2020-02-28
(71)【出願人】
【識別番号】391039313
【氏名又は名称】株式会社根本杏林堂
(74)【代理人】
【識別番号】100106297
【弁理士】
【氏名又は名称】伊藤 克博
(72)【発明者】
【氏名】七戸 金吾
(57)【要約】
【課題】 被検者の患部画像を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に3D解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置等を提供する。
【解決手段】
この医用画像処理装置(10A)は、画像表示制御部を備える医用画像処理装置であって、前記画像表示制御部は、被検者の解剖学的構造体を立体的に表した3D解剖学的モデルを読み込む処理と、前記3D解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該3D解剖学的モデルの回転軸の位置も変更(Ax1→Ax2)する処理を行うように構成されている。
【選択図】図8
【特許請求の範囲】
【請求項1】
画像表示制御部を備える医用画像処理装置であって、
前記画像表示制御部は、
被検者の解剖学的構造体を立体的に表した3D解剖学的モデルを読み込んで出力する処理を行うように構成され、さらに、
e1:医用光学撮像デバイスでテストチャートを撮像してテストチャート画像を取得する処理と、
e2:前記テストチャート画像を解析して前記医用光学撮像デバイスの光学特性データを取得する処理と、
e3:前記光学特性データに基づき、前記3D解剖学的モデルの態様を調整する処理と、
を行う、医用画像処理装置。
【請求項2】
使用される前記医用光学撮像デバイスの情報がプリセットされている、請求項1に記載の医用画像処理装置。
【請求項3】
使用される前記医用光学撮像デバイスが選択されると、選択された前記医用光学撮像デバイスに関連付けられた前記光学特性データが自動的に選択される、請求項2に記載の医用画像処理装置。
【請求項4】
操作者によって前記医用光学撮像デバイスが選択されるように構成されている、請求項3に記載の医用画像処理装置。
【請求項5】
センサ、機器、またはデータ通信によって、使用される前記医用光学撮像デバイスが認識され、自動的に前記光学特性データの選択が行われる、請求項3に記載の医用画像処理装置。
【請求項6】
前記医用光学撮像デバイスは内視鏡装置である、請求項1~5のいずれか一項に記載の医用画像処理装置。
【請求項7】
前記光学特性データは、前記内視鏡装置の視野角、深度、拡大率、または収差に関するデータを含む、請求項6に記載の医用画像処理装置。
【請求項8】
前記3D解剖学的モデルの態様を調整する処理は、前記3D解剖学的モデルが内視鏡画像として映し出されている患部画像の中の解剖学構造体と形状および/またはサイズが対応するように調整する処理である、請求項6または7に記載の医用画像処理装置。
【請求項9】
前記3D解剖学的モデルの態様を調整する処理を、左側画像と右側画像のそれぞれについて行う、請求項8に記載の医用画像処理装置。
【請求項10】
調整された前記3D解剖学的モデルの画像は、内視鏡画像におけるある解剖学的構造体に自動的に位置合わせされる、請求項6~9のいずれか一項に記載の医用画像処理装置。
【請求項11】
前記テストチャートは、格子状のパターン、ドット状のパターン、および円状のパターンのいずれか少なくとも一つを含む、請求項1~10のいずれか一項に記載の医用画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像処理装置、医用画像処理方法および医用画像処理プログラムに関し、特には、被検者の患部画像を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に3D解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置、医用画像処理方法および医用画像処理プログラムに関する。
【背景技術】
【0002】
腹腔鏡手術は、例えば被検者の臍部周囲から内視鏡を腹腔内に挿入し、モニタに映し出された画像に基づいて腹腔内で手術を行う術式である。具体的には、皮膚を小さく切開して鉗子類を腹腔内に挿入し、手術が行なわれる。
【0003】
特許文献1には、立体視内視鏡を用いて患部画像を3Dモニタに表示しつつ、被検者の腹部内に鉗子等を挿入して処置を行う術式の例が開示されている。3Dモニタとしては1つでも複数でもよく、観察者は3D観賞用メガネを装着してモニタの観察を行う。また、特許文献2には、仮想的な解剖学的モデルのボリュームに、超音波画像のような他の医用画像が重畳表示される技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】WO2015/053043号
【特許文献2】特表2019-517291号
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、術中に被検者の3D解剖学的モデルを参照しながら手術を行うことも実用化されてきており、立体的な患部画像と一緒に3D解剖学的モデルをモニタ上に写し出して手術を行うことも行われている。
【0006】
このように3D解剖学的モデルを実際の被検者の患部画像と対比しながら術中に確認できることは高信頼な手術の提供等の観点から望ましいが、術中に3D解剖学的モデルを操作する際の操作性や使い易さの点で改善の余地が残されている。
【0007】
そこで本発明の目的は、被検者の患部を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に3D解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置、医用画像処理方法および医用画像処理プログラムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するための本発明の一形態の医用画像処理装置は次のとおりである:
画像表示制御部を備える医用画像処理装置であって、
上記画像表示制御部は、
被検者の解剖学的構造体を立体的に表した3D解剖学的モデルを読み込む処理と、
上記3D解剖学的モデルの像の位置(結像位置:一例で三次元空間内の奥行方向における位置)が変更された場合に、変更後の位置に合わせて、当該3D解剖学的モデルの回転軸の位置も変更する処理を行うように構成されている、
医用画像処理装置。
【0009】
(用語の説明)
・「医用光学撮像デバイス」とは、例えば腹腔鏡手術で使用される内視鏡装置や、開頭手術で使用される、高精細カメラを有する撮像システム等のことをいう。
・「制御部」とは、例えば、演算処理を行うCPU(Central Processing Unit)とメモリとインターフェース等を有し、メモリ内に格納されたコンピュータプログラムを実行することで様々な機能を実現するコンピュータユニットであってもよい。一例で、コンピュータユニットは、CPU、ROM、RAM、およびI/F等のハードウェアを有しプログラムが実装されたいわゆるワンチップマイコンであってもよい。
・「コンピュータプログラム」に関し、その実施主体は単数であってもよいし複数であってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に記憶させてもよい。コンピュータプログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は特に限定されず、例えば、メモリーカード、CD-ROM等の記録媒体であってもよい。記録媒体に記憶されたコンピュータプログラムは、適宜のリーダーを介してコンピュータユニットに実装することができる。適宜のリーダーとは、例えば、記録媒体がメモリーカードである場合はカードリーダ、記録媒体がCD-ROMである場合はCDドライブ、などが挙げられる。
・「部(「セクション」、「ユニット」または「モジュール」等としても表現できる)」に関し、本明細書で例えば「(機能の名称)」+「部」で表わされるものは、コンピュータの機能として実現可能なものである。このような「部」は、システムにおけるいずれの機器に備わっていてもよい。また、必ずしも1つの機器内に備わっている必要はなく、相当する機能が2つ以上の機器に分散して備えられていてもよい。さらに、通信ネットワーク(例えばインターネット)を介して、所定の1つまたは複数の「部」のみが外部の機器に備えられていてもよい。このような「部」は、コンピュータが論理的に有する各種の機能であってもよい。
【発明の効果】
【0010】
本発明によれば、被検者の患部画像を医用光学撮像デバイスで撮像しながら手術を行う際にその患部画像に3D解剖学的モデルを合成して表示可能な構成において、表示されている対象物を操作する際の操作性を向上させた医用画像処理装置等を提供することができる。
【図面の簡単な説明】
【0011】
図1】本発明の一形態の医用画像処理装置の構成を模式的に示すブロック図である。
図2】3D解剖学的モデルのオブジェクトの関係を示す模式図である。
図3A】本発明の一形態の医用画像処理装置を含むシステム構成の一例である。
図3B】本発明の一形態の医用画像処理装置を含むシステム構成の別の例である。
図4】内視鏡画像と3D解剖学的モデルとを合成表示した画像の例である。
図5】医用光学撮像デバイスの特性に応じて3D解剖学的モデルの表示態様を調整するためのフローチャートである。
図6】テストチャートを内視鏡で撮像している状態を示す模式図である。
図7】内視鏡画像と3D解剖学的モデルの結像位置との関係を示す模式図である。
図8】3D解剖学的モデルの結像位置とモデルの回転軸との関係を説明するための図である。
図9】グラフィカルユーザインターフェースの一例である。
図10】本発明の一形態の医用画像処理装置が出力する画像フォーマットの一例を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本発明の実施の形態について説明する。
【0013】
図1に示すように、本実施形態の医用画像処理システム1は、画像表示制御部11と、データ格納部12と、表示デバイス13と、入力デバイス14とを備えている。また、データ入出力インターフェース15、医用情報管理装置21、薬液注入装置22、および、撮像装置23をさらに有していてもよい。本発明の一形態において、図1の符号10で示した範囲が医用画像処理装置として構成されていてもよく、医用画像処理装置10は、画像表示制御部11、データ格納部12、表示デバイス13、入力デバイス14およびデータ入出力インターフェース15を有するコンピュータ装置であってもよい。より具体的には、それらを1つの筐体に収め、表示デバイス13および入力デバイス14としてタッチパネルを備えた可搬型の端末(例えばタブレット端末)であってもよい。
【0014】
なお、この例では医用画像処理装置10が医用情報管理装置21等に対して接続された構成となっているが、後述するように内視鏡装置等と接続する構成であってもよい。
【0015】
画像表示制御部11は、医療用の三次元画像(「3D解剖学的モデル」、「3Dモデル」などとも言う)をはじめとする種々の画像表示に関する制御を行うものであり、データ格納部12は各種データを保存する部分である。表示デバイス13は、液晶ディスプレイまたは有機ELディスプレイなど、画像表示制御部11で作成された画像を表示できる任意のディスプレイであってよい。なお、本実施形態では、1つの医用画像処理装置10の機能としてその表示デバイス13に3D解剖学的モデル等の画像が表示される例について説明するが、本発明は必ずしもそれに限定されるものはなく、次のようなものであってもよい。すなわち、医用画像処理装置10は単に所定の画像処理を行ったり画像データを出力したりするのみであり、他の機器(例えばミキサー(詳細後述))が画像の合成を行う構成としてもよい。
【0016】
入力デバイス14は、例えば、キーボードやマウス(3Dマウスを含む)など、操作者による入力操作を受け付け、画像表示制御部11にデータを入力できる任意のデバイスであってよい。ディスプレイとタッチスクリーンとを組み合わせたタッチパネルを表示デバイス13および入力デバイス14として用いることもできる。
【0017】
入力デバイス14としては、さらに、非接触で入力を行うことのできる非接触入力ユニットを組み合わせることもできる。非接触入力ユニットは、ジェスチャ認識技術を利用したものと音声認識技術を利用したものに分けることができる。ジェスチャ認識技術を利用した非接触入力ユニットの一例として、「Leapセンサ」(Leap Motion社製)が挙げられる。「Leapセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、赤外線照射部と、赤外線カメラ等を有する。同センサは、赤外線照射部から照射された赤外線が操作者の手に当たったときの反射光を赤外線カメラで撮影し、画像解析を行う機能を有する。これにより、三次元空間内での操作者の手および指の位置、動作および形状等をリアルタイムで検出することが可能となっている。ジェスチャ認識技術を利用した非接触入力ユニットの他の例として、「リアルセンス」(インテル社製)が挙げられる。「リアルセンス」は、RGBカメラおよび赤外線カメラから構成された3Dカメラ、赤外線センサ等をモジュール化したものである。色情報の他に奥行情報を取得でき、操作者の指等の動作を三次元で認識可能である。本形態では、Leapセンサおよびリアルセンスのいずれも利用可能である。いずれにおいても、入力のための操作者の動作は、タッチパネル上での操作者の動作(例えば、タップ、ダブルタップ、スワイプ、フリック、ピンチイン、ピンチアウトなど)と同じ動作に加え、奥行方向の動作も利用可能である。
【0018】
音声認識技術を利用した非接触入力ユニットの例として、音声認識ユニットを挙げることができる。音声認識ユニットは、操作者が発生した音声を取得するマイクロフォンと、マイクロフォンが取得した音声を認識して操作用信号に変換する音声認識装置とを有するものであってもよい。音声認識装置の設置場所は任意であってよいが、マイクロフォンは操作者の近くに設置することが好ましい。
【0019】
なお、本出願において、機器への任意の入力は、本発明の趣旨を逸脱しない範囲において上述したような各種の入力手段を用いることができる。
【0020】
データ格納部12は、HDD(Hard Disc Drive)、SSD(Solid State Drive)および各種メモリの少なくとも一種を含むことができる。データ格納部12には、被検者の体を撮像して得たデータに基づいて作成された3D解剖学的モデルのデータ等が格納される。データ格納部12には、他に、画像表示制御部11が行う処理に必要な少なくとも1つのプログラム、グラフィカルユーザインターフェースのデータ、テーブル等が格納されていてもよい。データ格納部12に格納されるデータの一部は、データ入出力インターフェース15を通じて医用情報管理装置21から取得することもできる。
【0021】
医用情報管理装置21としては、PACS(picture Archiving and CommunicationSystems)、RIS(Radiology Information System)およびHIS(Hospital Information System)等の1つまたは複数が挙げられる。医用情報管理装置21は、一例で、薬液注入装置22によって薬液(例えば造影剤)が注入され、撮像装置23によって撮像された被検者の医用画像データを管理する。
【0022】
薬液注入装置22としては、シリンジや薬液バッグ等に充填された造影剤等の薬液を、予め設定された注入条件に従って自動的に被検者に注入する任意の注入装置を用いることができる。一例として、1本または複数本のシリンジを装着可能な注入ヘッドとそれに電気的に接続されたコンソールとを備える薬液注入装置であってもよい。
【0023】
撮像装置23は、CT(Computed Tomography)装置、MRI(MaganeticResonance Imaging)装置、アンギオグラフィ装置(血管造影装置)、PET(Positoron Emission Tomography)装置、超音波診断装置等、画像データで構成された医用画像を撮像することのできる任意の装置であってよい。データ格納部12に格納されるデータは、撮像装置23から直接取得することもできる。
【0024】
解剖学的構造体のボリュームデータに関し、このデータは、撮像装置23によって被検者に対して特定の方向(例えば、体軸方向、左右方向、前後方向、これらの少なくとも1つに対して傾斜した方向など)に一定の間隔(例えば1mm間隔)で連続的に撮影された複数(例えば300)のスライス画像データを体軸方向に配列して得られるデータセットに基づくものであってもよい。ボリュームデータは複数のボクセルを含み、各ボクセルのボクセル値に基づく所定の処理により、複数の解剖学的構造を抽出することができる。各ボクセルに対して、抽出した解剖学的構造ごとに透過率や色相が設定されてもよく、そのために、各ボクセルは、座標情報、透過率情報および色相情報を含んでいてもよい。ボリュームデータにレンダリング処理を行うことによって、視認可能な3D解剖学的モデルを作成することができる。
【0025】
3D解剖学的モデルは、図2に簡略的に例示すように、複数の独立したオブジェクト(解剖学的構造)18a~18cを含むデータであってもよい。ここでは一例として、臓器のオブジェクト18a、血管のオブジェクト18b、腫瘍部分のオブジェクト18cが含まれている。各オブジェクトをどのような形状で、どのように抽出(セグメンテーション化)するかに関しては、従来公知の手法を用いることができる。オブジェクトに関する色の設定や透過率の設定に関しても従来公知の手法を用いることができる。
【0026】
なお、医用画像処理装置10は、表示デバイス13および入力デバイス14の一部が画像表示制御部11と別体のユニットで構成されたシステムとして構成されていてもよい。表示デバイスが複数設けられた例については別の図面を参照して後述するものとする。
【0027】
画像表示制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えたプロセッサユニットで構成することができる。画像表示制御部11は、入力デバイス14によって受け付けられた入力に従って表示デバイス13への画像の表示を制御する種々の処理を実行する。画像表示制御部11で行われる処理は、コンピュータプログラムで実現してもよいし、論理回路によるハードウェアで実現してもよいし、それらの組合せであってもよい。
【0028】
画像表示制御部11は、具体的には次のような処理を行うものであってもよい:
(a)入力判定処理
画像表示制御部11は、入力デバイス14を介して受け付けた入力を、入力を受け付けた入力デバイス14の種類、入力された信号の変化などに基づき認識する。
(b)表示処理
画像表示制御部11は、表示デバイス13等に表示される画面の表示領域についての処理および画像表示についての処理を行う。3D解剖学的モデルを表示デバイス13等に表示させる処理や、表示された画像の移動、拡大・縮小、回転等を行う処理がこの表示処理に含まれる。また、3D解剖学的モデルと内視鏡等によって撮像される患部画像との合成処理や、3D解剖学的モデルの結像位置の変更処理等を行う。もっとも、表示デバイス13に実際に表示させるところまでは必須ではなく、上述のような所定の処理が施された画像データを出力するのみの態様であってもよい。
(c)自動チューニング処理
画像表示制御部11は、後述するように、内視鏡などの医用光学撮像デバイスの光学特性データを取得する処理、および、それに基づいて画像表示のパラメータ(視野角、深度、拡大率等)を自動設定する処理等を行う。
【0029】
〔動作の一例〕
I.テストチャートを用いた自動チューニング
本発明の一形態においては、医用画像処理装置10は図3Aに例示するような構成でシステム化され、内視鏡画像と3D解剖学的モデルとを合成表示させる機能を備えていてもよい。図3Aは、外部ディスプレイ13Aが医用画像処理装置10に接続されており、ここに医用画像が表示される例であるが、他にも、医用画像処理装置10に一体化された表示デバイスに表示する態様や、または、図3Bのように2つ以上の外部ディスプレイ13A、13Bに表示する態様としてもよい。図3Bの構成では、一方のディスプレイ13Aに立体視用のL側画像を表示し他方のディスプレイ13BにR側画像を表示するようにしてもよい。
【0030】
内視鏡装置130としては、特に限定されるものではないが、この例では、内視鏡131と、そこからの検出信号に基づき内視鏡画像を生成するコントローラ132とを備えている。具体的には、検査領域を立体的に観察可能な画像を生成可能な立体視内視鏡装置であってもよい。内視鏡131は、検査領域に向けて照明光を出射する照明光学系と、検査領域を撮像するための撮像光学系とを有している。内視鏡131の先端部には、具体的には、撮像光学系としてCCDイメージセンサやCMOSイメージセンサといった撮像素子が設けられている。また、撮像素子の前面側には対物レンズユニットが配置されている。内視鏡131においてはその被写界深度や画角は内視鏡先端部に設けられた対物レンズユニット等の特性に依存することとなる。立体視内視鏡装置では、撮像光学系はL側とR側との独立した光学系で構成されており、視差を有するL側画像とR側画像を生成する。
【0031】
本実施形態の医用画像処理装置10は、内視鏡装置130に接続され同装置からの内視鏡画像を読み込んでディスプレイ13Aおよび/またはディスプレイ13Bに表示することができるように構成されている。以下では、説明の簡単のため、ディスプレイ13Aに表示される態様を例として説明する。医用画像処理装置10において画像の合成・重畳等を行うのではなく、ミキサー等を利用して画像の合成・重畳を行う例については他の図面を参照して後述するものとする。
【0032】
図4は、ディスプレイ13Aに表示される画像の一例である。図4に示すように、本実施形態では、内視鏡131で撮像されたリアルタイムの内視鏡画像(患部画像)201と、3D解剖学的モデル211(下記において血管モデル211と表現することもある)とが1つの画面中に合成して表示されている。図4の画像には、また、被検者の腹部に挿入された鉗子205も写し出されている。
【0033】
血管モデル211は、CT装置、MRI装置または血管造影装置といった撮像装置を用いて事前に被検者を撮像して得た断層画像データに基づいて作成されたものである。撮像に関し、被検者に造影剤を注入して撮像が行われるものであってもよく、駆動機構を制御して所定の注入条件に従った注入を実施可能な薬液注入装置を用いた造影剤注入であれば、被検者の撮像対象領域を造影して良好な撮像画像を得ることができる点で好ましい。
【0034】
図4のように内視鏡画像201と3D解剖学的モデル211とを合成表示できる構成によれば、術者は、例えば内視鏡画像201中の実際の解剖学的構造体(一例として血管)と仮想の解剖学的構造体(一例として血管)とを比較して、その形状や走行状態を確認することが可能となる。
【0035】
内視鏡画像と3D解剖学的モデルとの合成表示に関しては、目的に応じて幾つか表示機能が備わっていてもよく、必ずしも内視鏡画像と3D解剖学的モデルとが重畳するように位置合せされて表示される態様に限定されるものではない。詳細は後述するが、3D解剖学的モデルを内視鏡画像における患部画像よりも手前側に見えるように結像させてもよい。
【0036】
ところで、内視鏡画像(患部画像)に対して3D解剖学的モデルの形状、サイズ等を対応させて適切に重畳ないし合成するためには、使用する内視鏡装置130の内視鏡画像の特性に応じて、3D解剖学的モデルの形状等を変形させ微調整できるように構成されていることが好ましい。
【0037】
そこで、本実施形態では、使用する内視鏡装置130の特性(光学的特性)に対応できるように、次のような自動チューニング機能を備えている。図5および図6を参照しながら以下説明する。
【0038】
(自動チューニング機能)
まず、ステップS1においてテストチャート136を内視鏡131の先端部に対向するように配置し、ステップS2において内視鏡131でそのテストチャート136を撮像してテストチャート画像を生成する。テストチャート136としては、特定のものに限定されないが、例えば、格子状のパターン、ドット状のパターン、円状のパターンまたはそれらの適宜組合せなど、所定の幾何形状パターンを有するものであってもよい。
【0039】
そして、ステップS3において、上記で取得された内視鏡画像の解析(例えば歪み度合いに基づく解析など)を行って当該内視鏡131の特性データを取得する。特性データとしては、内視鏡131の視野角、深度、拡大率、収差(歪曲収差等)等に関するデータであってもよい。
【0040】
次いで、ステップS4において、その特性データに基づき3D解剖学的モデル211の調整を行う。例えば、3D解剖学的モデルが内視鏡画像として映し出されている患部画像の中の解剖学構造体と形状および/またはサイズが対応するように調整が行われるものであってもよい。L側画像とR側画像のそれぞれについて上記のような調整が行われてもよい。調整された3D解剖学的モデルの画像は、内視鏡画像におけるある解剖学的構造体に自動的に位置合わせされてもよいが、当該機能は必須ではない。
【0041】
以上のような構成によれば、使用する内視鏡装置130の特性に応じて、3D解剖学的モデル211の形状やサイズ等を調整することができるため、内視鏡画像に対する重畳や合成を良好に行うことができる。
【0042】
なお、使用する医用光学撮像デバイスの情報がプリセットされており、使用するデバイスが1つ選ばれると、それに関連付けられた特性データが自動的に選択されるように構成されていてもよい。デバイスの選択は操作者によるものであってもよいし、所定のセンサや機器によって若しくは所定のデータ通信によって、使用するデバイスが認識され自動的に特性データの選択が行われるものであってもよい。
【0043】
上記では内視鏡装置とともに医用画像処理装置が使用される例について説明したが、内視鏡装置以外にも、例えば脳外科の開頭手術において術野を所定の撮像システムで撮影して患部画像をモニタで映しそれを見ながら手術を行う術式において、当該撮像システムと接続して使用されるものであってもよい。
【0044】
II.3D解剖学的モデルの移動態様
内視鏡画像と3D解剖学的モデルとの重畳の場合には、基本的には、図7(a)に示すように内視鏡画像(患部画像)の位置と3D解剖学的モデルの像の位置とが一致していればよい。他方、本実施形態の医用画像処理装置10においては、3D解剖学的モデルの像の位置を前後方向(手前奥方向)に変更できるように構成されており、図7(b)は3D解剖学的モデルの結像位置を手前側に移動させた状態を模式的に示している。図7(b)の状態では、術者は、3D解剖学的モデルが被検者の患部画像よりも手前側に浮き上がったような感覚で画像を視認することができる。
【0045】
このような構成によれば、例えば、3D解剖学的モデルの所定の細部を確認したいようなケースにおいて、患部画像よりも手前側の位置で3D解剖学的モデルを回転および/または拡大縮小させて細部の確認を行うことができるという利点がある。
【0046】
なお、3D解剖学的モデルの像を内視鏡画像よりも奥側へと移動させることができる構成となっていてもよい。また、3D解剖学的モデルの結像位置は、当然ながら、前後方向(手前奥方向)に限らず、三次元空間内の任意の方向に移動可能であってもよい。
【0047】
医用画像処理装置10は、一例として、3D解剖学的モデルと患部画像とが重畳表示されるオーバレイモード、3D解剖学的モデルを患部画像の手前側に表示させる3D観察モード、3D解剖学的モデルを画面中に小さくサムネイル表示して患部画像をメインに表示する3D参照モード等の複数のモードが切替え可能に構成されていてもよい。この切替えは画面上の所定の画像ボタンを操作することで行われてもよいし、音声入力により行われてもよいし、操作者のジェスチャを検知して行われるものであってもよい。
【0048】
本実施形態では上記のように3D解剖学的モデルの結像位置を自由に調整できるようになっているが、ここで、3D解剖学的モデルの回転軸の位置との関連で次のような問題が生じうる。これについて図8の模式図を参照しつつ説明する。
【0049】
医用画像処理装置10によって生成された3D解剖学的モデル211は、図8に模式的に示すように立体的な仮想空間内で結像位置を移動させることができる。ここで、例えば3D解剖学的モデル211を符号211から符号211′の位置まで移動させることを考える。3D解剖学的モデル211は、通常、ある決まった位置に所定の回転軸が設定されており(符号Ax1参照)、3D解剖学的モデル211を回転させる場合にはこの回転軸周りにボリュームが回転させられることとなる。
【0050】
他方、図8の符号211′の位置まで3D解剖学的モデル211の結像位置を移動させた場合であっても回転軸は通常元の位置のままである。したがって、移動先の位置で3D解剖学的モデル211′を回転させようとすると、初期設定の回転軸を中心としてボリュームが大きくに動くこととなり、こうした表示態様は操作が行い難く、また3D解剖学的モデル211′が画面の可視範囲から外れるおそれもある。
【0051】
そこで、本実施形態では、3D解剖学的モデル211の結像位置を変更した場合に、それに合わせて回転軸の位置も追従して変更されるように構成されている。具体的には、図8の例で言えば、3D解剖学的モデルの像を符号211から符号211′の位置に移動させた場合にそれに対応させて、回転軸もAx1からAx2へと変更される。回転軸Ax2は、3D解剖学的モデル211′の近傍に位置しているため、3D解剖学的モデル211′を回転操作した場合であっても、回転軸Ax2を中心として3D解剖学的モデルが回転することとなり、結果として、操作が行いやすくまた回転後の3D解剖学的モデルの確認も行い易いものとなる。
【0052】
なお、結像位置の変更に伴い3D解剖学的モデルの表示サイズが変わらないように、結像位置が変更された際にはそれに合わせて表示倍率が自動調整されるように構成されていてもよい。また、図8における3D解剖学的モデルの結像位置の移動(符号211→符号211′)に関し、移動の方向は前後方向(手前奥方向)に限らず、三次元空間内の任意の方向であってもよく、例えば符号211の位置から符号211′′へ移動させられるものであってもよい。この場合、回転軸Ax3も3D解剖学的モデル211′′に追従するように構成されている(換言すれば、3D解剖学的モデルと回転軸との相対位置関係が変化せず、一定に保たれるように構成されている)。
【0053】
上記に説明したような、画像を操作するためのユーザーインターフェースとしては特に限定されるものではないが、具体的な一例として図9のようなグラフィカルスライダを有するGUIであってもよい。この例では、3D解剖学的モデルの結像位置を手前奥方向に移動させるためのスライダ表示部611と、3D解剖学的モデルの視差を調整するためのスライダ表示部612と、3D解剖学的モデルの表示視野角を調整するためのスライダ表示部613とが表示されている。これは全てが本発明において必須ということではなく、1つまたは2つのみが表示されていてもよい。なお、スライダ表示部611~613の全てまたは一部は物品または画像の意匠として保護され得るものであり、本出願は意匠法の保護対象をも開示するものである点に留意されたい。
【0054】
スライダ表示部611は、直線のラインに沿ってスライド移動するポインタ611aを含んでおり、このポインタ611aの位置を操作者が動かすことにより、3D解剖学的モデルの結像位置が変更されるようになっている。スライド表示部612も同様に、直線のラインに沿ってスライド移動するポインタ612aを含んでおり、このポインタ612aの位置を操作者が動かすことにより、3D解剖学的モデルの視差が変更されるようになっている。
【0055】
スライダ表示部613も同様に、直線のラインに沿ってスライド移動するポインタ613aを含んでいる。さらに、この例では、そのポインタ613aの両端部とポインタ可動範囲の端部とを接続するような態様で等辺部613bが表示されており、全体として略二等辺三角形状の表示となっている。ポインタ613aを動かすことにより、3D解剖学的モデルの表示視野角も変更されるが、その際、ポインタ613aの位置に対応して略二等辺三角形の形状が変わるようになっているので、操作者は、表示視野角の変更を直感的に視覚的に把握することができる。
【0056】
以上、本発明の実施の形態について図面を参照しながら説明したが、本発明は上記の具体的な態様に限定されるものではなく本発明の趣旨を逸脱しない範囲で適宜変更可能である。また、開示された技術的特徴は、本発明の趣旨を逸脱しない範囲で適宜組み合わせて利用することができる。また、本明細書は、例えば装置の発明として開示した内容を方法の発明、コンピュータプログラムの発明、およびプログラム媒体のカテゴリーで表現したものをも開示する。
【0057】
(他の実施態様)
本発明の一形態に係る医用画像処理装置は図10に示すようなシステムにおいて使用されてもよい。この医用画像処理装置10Aは、内視鏡装置130Aから出力される画像フォーマットに対応した画像フォーマットのデータ(3D解剖学的モデル等のデータ)を出力する。内視鏡装置130Aからの出力データと医用画処理装置10Aからの出力データとは、ミキサー121に入力されそこで合成され、表示装置122で表示される。ミキサー121としては、複数の画像データを合成できるものであればよく、例えば従来公知の機器であってもよい。表示装置122は、1つまたは複数のディスプレイ等であってもよい。ここで言及しない医用画像処理装置の構成および機能については、上述した実施形態と同様であってもよい。
【0058】
画像フォーマットとしては、左右のチャンネル(LR)のデータが出力されるもの、または、左右の区別のないデータが出力されるもの等、任意のフォーマットであってもよい。医用画像処理装置10Aとしては、内視鏡装置130Aの画像フォーマットを自動検出するものであってもよいし、操作者がフォーマットを選択するためのユーザーインターフェースを提供するものであってもよい。
【0059】
このようなシステム構成においても、医用画層処理装置10Aが例えば3D解剖学的モデルの回転軸位置変更機能(Ax1→Ax2)を有している場合、上述した実施形態と同様の作用効果を得ることができる。また、医用画層処理装置10Aがテストチャート画像を解析して得た特性データに基づく表示態様調整機能を有している場合、やはり上述した実施形態と同様の作用効果を得ることができる。
【0060】
(付記1)
本明細書は、以下の発明を開示する。下記の発明は例えば図10の構成に対応するものである:
A1.画像表示制御部を備える医用画像処理装置(10A)であって、
上記画像表示制御部は、
被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込む処理と、
上記3D解剖学的モデルの結像位置(一例で三次元空間内の奥行方向における位置)が変更された場合に、変更後の位置(211′)に合わせて、当該3D解剖学的モデルの回転軸の位置も変更する(Ax1→Ax2)処理を行うように構成されている、
医用画像処理装置。
【0061】
A2.上記画像表示制御部は、上記3D解剖学的モデルの表示に関連する操作を受け付けるためのグラフィカルユーザインターフェースを有し、上記グラフィカルユーザインターフェースは、上記3D解剖学的モデルの結像位置を移動させるためのグラフィカルスライダ(613)を含む、上記記載の医用画像処理装置。
【0062】
A3.上記3D解剖学的モデルは、医用光学撮像デバイス(130)で撮像された被検者の患部画像(201)と合成して表示されるものであって、
上記患部画像は、視差のある複数の画像からなる立体視画像である、上記記載の医用画像処理装置。
【0063】
A4.上記医用光学撮像デバイスが、内視鏡装置である、上記記載の医用画像処理装置。
【0064】
A5.上記医用光学撮像デバイスが、外科手術において被検者の検査領域を撮像する撮像デバイスである、上記記載の医用画像処理装置。
【0065】
被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込む処理と、
上記3D解剖学的モデルの結像位置(一例で三次元空間内の奥行方向における位置)が変更された場合に、変更後の位置(211′)に合わせて、当該3D解剖学的モデルの回転軸の位置も変更する(Ax1→Ax2)処理と、
を含み、上記処理は1つまたは複数の制御部によって実施される、医用画像処理方法。1つまたは複数のコンピュータに当該方法を実施させるためのコンピュータプログラム。
【0066】
A6.画像表示制御部を備える医用画像処理装置(10A)であって、
上記画像表示制御部(11)は、
被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込んで出力する処理を行うように構成され、さらに、
e1:医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
e2:上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
e3:上記光学特性データに基づき、上記3D解剖学的モデル(211)の態様を調整する処理と、
を行う、医用画像処理装置。
【0067】
被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込んで出力する処理を行う医用画像処理方法であって、さらに、
e1:医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
e2:上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
e3:上記光学特性データに基づき、上記3D解剖学的モデル(211)の態様を調整する処理と、
を含み、上記処理は1つまたは複数の制御部によって実施される、医用画像処理方法。1つまたは複数のコンピュータに当該方法を実施させるためのコンピュータプログラム。
【0068】
(付記2)
本明細書は、また以下の発明も開示する:
B1.画像表示制御部(11)を備える医用画像処理装置(10)であって、
上記画像表示制御部(11)は、
a:医用光学撮像デバイス(130)で撮像された被検者の患部画像(201)を読み込む処理と、
b:被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込む処理と、
c:上記患部画像(201)と上記3D解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
d:上記3D解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該3D解剖学的モデルの回転軸(Ax)の位置も変更する処理を行うように構成されている、
医用画像処理装置。
ここで、「回転軸(Ax)の位置も変更する」とは、具体的には、回転軸の位置が3D解剖学的モデルの位置に追従するように変更が行われること、言い換えれば、回転軸と3D解剖学的モデルとの相対位置関係が変化しないように変更が行われることをいう。
【0069】
1つまたは複数の処理部(コンピュータ)に、
a:医用光学撮像デバイスで撮像された被検者の患部画像を読み込む処理と、
b:被検者の解剖学的構造体を立体的に表した3D解剖学的モデルを読み込む処理と、
c:上記患部画像と上記3D解剖学的モデルとを合成して表示する処理と、
d:上記3D解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該3D解剖学的モデルの回転軸の位置も変更する処理と、
を行わせる医用画像処理プログラム。
【0070】
a:医用光学撮像デバイスで撮像された被検者の患部画像を読み込む処理と、
b:被検者の解剖学的構造体を立体的に表した3D解剖学的モデルを読み込む処理と、
c:上記患部画像と上記3D解剖学的モデルとを合成して表示する処理と、
d:上記3D解剖学的モデルの結像位置が変更された場合に、変更後の位置に合わせて、当該3D解剖学的モデルの回転軸の位置も変更する処理と、
を行う医用画像処理方法。
【0071】
B2.画像表示制御部(11)を備える医用画像処理装置(10)であって、
上記画像表示制御部(11)は、
a:医用光学撮像デバイス(130)で撮像された被検者の患部画像(201)を読み込む処理と、
b:被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込む処理と、
c:上記患部画像(201)と上記3D解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
e1:上記医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
e2:上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
e3:上記光学特性データに基づき、上記3D解剖学的モデル(211)の表示態様を調整する処理と、
を行う、医用画像処理装置。
【0072】
1つまたは複数の処理部(コンピュータ)に、
a:医用光学撮像デバイス(130)で撮像された被検者の患部画像(201)を読み込む処理と、
b:被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込む処理と、
c:上記患部画像(201)と上記3D解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
e1:上記医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
e2:上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
e3:上記光学特性データに基づき、上記3D解剖学的モデル(211)の表示態様を調整する処理と、
を行わせる医用画像処理プログラム。
【0073】
a:医用光学撮像デバイス(130)で撮像された被検者の患部画像(201)を読み込む処理と、
b:被検者の解剖学的構造体を立体的に表した3D解剖学的モデル(211)を読み込む処理と、
c:上記患部画像(201)と上記3D解剖学的モデルとを合成して表示する処理と、
を行うように構成され、さらに、
e1:上記医用光学撮像デバイスでテストチャートを撮像してそのテストチャート画像を取得する処理と、
e2:上記テストチャート画像を解析して上記医用光学撮像デバイスの光学特性データを取得する処理と、
e3:上記光学特性データに基づき、上記3D解剖学的モデル(211)の表示態様を調整する処理と、
を行う医用画像処理方法。
【符号の説明】
【0074】
1 医用画像処理システム
10、10A 医用画像処理装置
11 画像表示制御部
12 データ格納部
13 表示デバイス
13A、13B ディスプレイ
14 入力デバイス
15 データ入出力インターフェース
18a~18c オブジェクト
21 医用情報管理装置
22 薬液注入装置
23 撮像装置
121 ミキサー
122 表示装置
130 内視鏡装置
131 内視鏡
132 コントローラ
136 テストチャート
201 内視鏡画像(患部画像)
205 鉗子
211、211′ 3D解剖学的モデル(血管モデル)
611~613 スライダ表示部
611a~613a ポインタ
613b 等辺部
図1
図2
図3A
図3B
図4
図5
図6
図7
図8
図9
図10