(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025025552
(43)【公開日】2025-02-21
(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置
(51)【国際特許分類】
A61B 6/00 20240101AFI20250214BHJP
【FI】
A61B6/00 350P
A61B6/00 370
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023130401
(22)【出願日】2023-08-09
(71)【出願人】
【識別番号】524410978
【氏名又は名称】プレシジョンイメージング株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】石井 聖也
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA01
4C093AA22
4C093AA26
4C093CA15
4C093EE30
4C093FD03
4C093FF35
4C093FG13
4C093FG16
(57)【要約】 (修正有)
【課題】人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを重畳させて表示する。
【解決手段】プログラムは、コンピュータに、人工股関節に関する処置が施される患者の透視画像を取得し、取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識し、前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識し、前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出し、認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、導出したカップCE角度を前記透視画像に付随させて表示する処理を実行させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
コンピュータに、
人工股関節に関する処置が施される患者の透視画像を取得し、
取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識し、
前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識し、
前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出し、
認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、
導出したカップCE角度を前記透視画像に付随させて表示する
処理を実行させるプログラム。
【請求項2】
前記患者の骨盤を撮像した断層画像を取得し、
断層画像を入力した場合に、内板の位置情報を出力するよう学習した学習モデルに、取得した前記断層画像を入力することにより前記内板の位置情報を導出し、
出力された複数の前記内板の位置情報群に基づき、前記透視画像における前記内板ラインを認識する
請求項1に記載のプログラム。
【請求項3】
前記人工股関節に関する処置を施さない健側の骨頭中心に基づき、前記人工股関節に関する処置を施す患側の骨頭中心に対する上方化限界ラインを導出し、
導出した前記上方化限界ライン、前記内板ライン及び前記必達ラインに基づき、到達領域を導出し、
導出した前記到達領域を前記透視画像に重畳表示する
請求項1に記載のプログラム。
【請求項4】
配置される前記カップを安定化するために予め定められた目標CE角と、目標CE角を担保する際に基準となる前記カップの外縁と前記患者の骨盤における荷重面の内縁との交点と、前記カップの半径とに基づき、前記必達ラインを導出する
請求項1に記載のプログラム。
【請求項5】
導出した前記カップCE角度と、目標値として予め設定された目標CE角とを対比させて出力し、
前記骨掘削用リーマーにより前記患者の骨盤が削られた状態にて前記カップの配置を想定した際の、前記カップの外縁と前記内板ラインとの間の実測距離を導出し、
目標値として予め設定された前記カップの外縁と前記内板ラインとの間の目標距離を導出し、
導出した実測距離と目標距離とを対比させて出力する
請求項1に記載のプログラム。
【請求項6】
前記骨掘削用リーマーにより前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、前記カップの前傾角及び外転角を導出し、
導出した前傾角及び外転角を出力する
請求項1に記載のプログラム。
【請求項7】
前記目標CE角に応じて、目標となる目標前傾角及び目標外転角を導出し、
導出した前記目標前傾角と前記目標外転角とを組み合わせて出力する
請求項5に記載のプログラム。
【請求項8】
導出した前記カップの前傾角及び外転角と、前記目標前傾角及び前記目標外転角とを対比させて出力する
請求項7に記載のプログラム。
【請求項9】
取得した前記透視画像に基づき、前記患者の骨盤における前記骨掘削用リーマーの現在位置を取得し、
前記患者の骨盤を撮像した複数の前記断層画像の内、前記骨掘削用リーマーの現在位置を含む断層画像を抽出し、
前記骨掘削用リーマーにより前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の前記カップの外縁図を、前記抽出した断層画像に重畳させて出力する
請求項2に記載のプログラム。
【請求項10】
コンピュータに、
人工股関節に関する処置が施される患者の透視画像を取得し、
取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識し、
前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識し、
前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出し、
認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、
導出したカップCE角度を前記透視画像に付随させて表示する
処理を実行させる情報処理方法。
【請求項11】
人工股関節に関する処置が施される患者の透視画像を取得する取得部と、
取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識する内板ライン認識部と、
前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識する必達ライン認識部と、
前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出する導出部と、
認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、導出したカップCE角度を前記透視画像に付随させて表示する表示部と
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理方法、及び情報処理装置に関する。
【背景技術】
【0002】
人工股関節置換術における臼蓋ソケット角度設定装置が知られている(例えば、特許文献1)。特許文献1に記載の人工股関節置換術における臼蓋ソケット角度設定装置によれば、骨盤面と涙痕間線を基準とする臼蓋ソケット角度設定方法が提供される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、文献1の人工股関節置換術における臼蓋ソケット角度設定装置においては、人工股関節に関する処置が施される患者の透視画像に対し、人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを重畳させて表示させる点については、考慮されていない。
【0005】
本開示は、斯かる事情に鑑みてなされたものであり、人工股関節に関する処置が施される患者の透視画像に対し、人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを重畳させて表示することができるプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
一つの案では、プログラムは、コンピュータに、人工股関節に関する処置が施される患者の透視画像を取得し、取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識し、前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識し、前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出し、認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、導出したカップCE角度を前記透視画像に付随させて表示する処理を実行させる。
【0007】
一つの案では、情報処理方法は、コンピュータに、人工股関節に関する処置が施される患者の透視画像を取得し、取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識し、前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識し、前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出し、認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、導出したカップCE角度を前記透視画像に付随させて表示する処理を実行させる。
【0008】
一つの案では、情報処理装置は、人工股関節に関する処置が施される患者の透視画像を取得する取得部と、取得した前記透視画像における前記患者の骨盤において、前記人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを認識する内板ライン認識部と、前記患者の骨盤において、前記カップを配置するために骨盤を削る際の最小削り地点を示す必達ラインを認識する必達ライン認識部と、前記人工股関節に関する処置に用いる骨掘削用リーマーにより、前記患者の骨盤が削れた状態にて前記カップの配置を想定した際の、カップCE角度を導出する導出部と、認識した前記内板ライン及び前記必達ラインを前記透視画像に重畳表示し、導出したカップCE角度を前記透視画像に付随させて表示する表示部とを備える。
【発明の効果】
【0009】
本開示によれば、人工股関節に関する処置が施される患者の透視画像に対し、人工股関節に含まれるカップを配置するために骨盤を削る際の最大削り地点を示す内板ラインを重畳させて表示することが可能となる。
【図面の簡単な説明】
【0010】
【
図1】実施形態1に係る情報処理装置を含む術中支援システムの概要を示す模式図である。
【
図2】情報処理装置の構成例を示すブロック図である。
【
図3】学習モデル(内板ラインモデル)の一例を示す説明図である。
【
図4】情報処理装置の処理部の処理手順(モデル学習時)の一例を示すフローチャートである。
【
図5】情報処理装置の処理部の処理手順(モデル運用時)の一例を示すフローチャートである。
【
図10】到達領域(ストライクゾーン)に関する説明図である。
【
図11】カップ(骨掘削用リーマーにより骨盤が削れた状態での想定配置)の前傾角及び外転角に関する説明図である。
【
図12】支援情報の表示画面(支援情報重畳画面)を例示する説明図である。
【
図13】支援情報の表示画面(歪み補正画面)を例示する説明図である。
【発明を実施するための形態】
【0011】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施形態1)
【0012】
図1は、実施形態1に係る情報処理装置1を含む術中支援システムSの概要を示す模式図である。
図2は、情報処理装置1の構成例を示すブロック図である。術中支援システムSは、情報処理装置1を主たる装置として構成され、当該情報処理装置1には、レントゲン装置62等の透視画像撮像装置、及びCT装置61等の断層画像撮像装置が通信可能に接続される。情報処理装置1は、レントゲン装置62が撮像したレントゲン画像(透視画像撮像)をリアルタイムに取得する。情報処理装置1は、CT装置61が撮像したCT画像(断層画像)を取得する。情報処理装置1は、更に、患者Kに関する各種医療データを保存管理する電子カルテサーバと通信可能に接続されるものであってもよい。
【0013】
人工股関節8に関する処置が施される患者Kは、骨掘削用リーマー7による骨盤の掘削が行われる前(術前)に、CT装置61によってCT画像(断層画像)が撮像される。人工股関節8に関する処置が施される患者Kは、骨掘削用リーマー7による骨盤の掘削が行われている際中(術中)において、レントゲン装置62よってレントゲン画像(透視画像撮像)が撮像される。従って、レントゲン画像には、骨盤を掘削する(掘削中の)骨掘削用リーマー7が含まれるものとなる。
【0014】
骨掘削用リーマー7による骨盤に対する適切な掘削が医師により行われた後、カップ81を含む人工股関節8が、患者Kの体内に挿入(インプラント)される。人工股関節8は、掘削された骨盤に篏合される半球状のカップ81と、大腿骨に挿入されるステムを含む。骨掘削用リーマー7は掘削を行う半球状の先端部を有し、当該先端部の外縁形状は、人工股関節8のカップ81の外縁形状と同形及び同じ大きさとなっている。
【0015】
詳細は後述するが、情報処理装置1の処理部2は、取得したレントゲン画像に含まれる骨掘削用リーマー7(掘削を行う半球状の先端部)に対し、例えばYOLO等の物体検出系モデル又はエッジ検出等を用いて形状認識し、骨盤における骨掘削用リーマー7の位置及び傾き等を特定する。情報処理装置1の処理部2は、特定した骨掘削用リーマー7の位置及び傾きを、骨掘削用リーマー7により骨盤が削れた状態にて配置が想定されるカップ81の位置及び傾きとして見做すことにより、当該配置が想定されるカップ81に関する各種情報を演算及び出力する。更に、情報処理装置1の処理部2は、術前に撮像した複数のCT画像に対し、学習モデル101(内板ラインモデル)を用いて導出した内板対応点(ランドマーク)を用いて、レントゲン画像に対し、骨掘削用リーマー7による掘削を支援するための内板ライン(到達領域)を重畳表示する。
【0016】
情報処理装置1は、種々の情報処理、情報の送受信が可能なコンピュータであり、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置1が例えばクラウドサーバ装置にて構成される場合、情報処理装置1は、CT装置61又はレントゲン装置62等の医療機器と同様に患者Kが居する医療施設に設置されている必要はなく、インターネット等の外部ネットワークを介して、これら医療機器と通信可能に接続されるものであってもよい。情報処理装置1は、処理部2、記憶部3、入出力I/F4及び通信部5を含む。
【0017】
処理部2は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の計時機能を備えた演算処理装置を有し、記憶部3に記憶されたプログラムP(プログラム製品)を読み出して実行することにより、情報処理装置1に係る種々の情報処理、制御処理等を行う。
【0018】
記憶部3は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の揮発性記憶領域及び、EEPROM又はハードディスク等の不揮発性記憶領域を含む。記憶部3には、プログラムP(プログラム製品)及び処理時に参照するデータが予め記憶してある。記憶部3に記憶されたプログラムP(プログラム製品)は、情報処理装置1が読み取り可能な記録媒体Mから読み出されたプログラムP(プログラム製品)を記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムP(プログラム製品)をダウンロードし、記憶部3に記憶させたものであってもよい。
【0019】
記憶部3には、患者Kに関する各種の医療データ及び術前計画にて決定された各種値が記憶されている。記憶部3には、更に、学習モデル101(内板ラインモデル)を構成する実体ファイルが保存されている。当該実体ファイルは、プログラムP(プログラム製品)の一部位として構成されるものであってもよい。
【0020】
通信部5は、有線又は無線により、電子カルテサーバ、又は医療関係者が保持するスマートホン等の情報端末と通信するための通信モジュール又は通信インターフェイスであり、例えばイーサネット(登録商標)用コネクタ等の有線通信モジュール、WiFi(登録商標)、Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、5G等の広域無線通信モジュールである。処理部2は、通信部5を介し、例えば、医療機関内のローカルネット又はインターネット等の外部ネットワークを介して、電子カルテサーバ又は情報端末と通信する。
【0021】
入出力I/F4は、例えばRS232C又はUSB等の通信規格に準拠した通信インターフェイスである。入出力I/F4には、キーボード等の入力装置、又は液晶ディスプレイ等の表示装置41が接続される。更に、入出力I/F4には、CT装置61又はレントゲン装置62等の医療機器が接続されるものであってもよい。
【0022】
図3は、学習モデル101(内板ラインモデル)の一例を示す説明図である。学習モデル101(内板ラインモデル)は、例えば、RCNN(Regions with Convolutional Neural Network)、Fast RCNN、Faster RCNN又はSSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等により構成され、物体(オブジェクト)検出、セマンティックセグメンテーション、又はインスタンスセグメンテーションを行うニューラルネットワーク(NN)である。
【0023】
学習モデル101(内板ラインモデル)は、入力された画像(CT画像等の断層画像)に基づき、内板対応点が含まれているか否か(有無)、及び内板対応点が含まれている場合(有の場合)、入力された画像における内板対応点の領域(位置情報)を出力する。すなわち、学習モデル101は、入力された画像(CT画像等の断層画像)に含まれる内板対応点の領域を抽出する領域抽出モデルとして機能する。
【0024】
学習モデル101(内板ラインモデル)が、例えばRCNN等、画像の特徴量を抽出するCNN(Convolutional Neural Network)を含むニューラルネットワークで構成される場合、学習モデル101(内板ラインモデル)に含まれる入力層は、画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、内板対応点の位置等を含む領域情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、内板対応点の位置(領域座標又は画素番号等)を出力する。
【0025】
訓練データを用いて学習されたニューラルネットワーク(学習モデル101)は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習モデル101は、上述のごとく処理部2(CPU等)及び記憶部3を備える情報処理装置1にて用いられるものであり、このように演算処理能力を有する情報処理装置1にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置1の処理部2が、記憶部3に記憶された学習モデル101からの指令に従って、入力層に入力された画像の特徴量を抽出する演算を行い、出力層から、内板対応点の位置(領域)を出力する。
【0026】
学習モデル101(内板ラインモデル)は、骨盤(股関節)を含むCT画像等の断層画像(問題データ)と、骨盤における内板ライン上の点である内板対応点の位置(領域)をアノテーションすることにより示すラベル(回答データ)とが対応付けられた訓練データを用意し、当該訓練データを用いて未学習のニューラルネットワークを機械学習させることにより生成することができる。訓練データは、例えば情報処理装置1の記憶部3に記憶されており、病院等の医療機関における電子カルテサーバ等に保存された多量の診断結果又は手術結果に含まれる画像及び医師の所見等を集約することにより、生成することができる。すなわち、骨盤における内板ライン(内板ライン上の点である内板対応点)は、医師等による所見に基づき特定される箇所(体内部位)である。このように学習及び構成された学習モデル101(内板ラインモデル)によれば、CT画像等の断層画像を学習モデル101に入力することによって、当該断層画に含まれる内板対応点の位置(画像座標系における領域座標)を示す情報を得ることができる。
【0027】
なお、本実施の形態では学習モデル101(内板ラインモデル)がRCNNであるものとして説明したが、学習モデル101はRCNNに限定されず、RCNN以外のニューラルネットワーク、SVM(Support Vector Machine)、トランスフォーマー、YOLO、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習モデル101であってよい。学習モデル101を学習するための訓練データに含まれる問題データ及び回答データのデータセットと、学習モデル101を用いた際の入力データ及び出力データのデータセットとは同義であり、いずれかのデータセットにて定義されていれば、他方のデータセットにおいても、当然に適用される。
【0028】
図4は、情報処理装置1の処理部2の処理手順(モデル学習時)の一例を示すフローチャートである。情報処理装置1の処理部2は、例えば入出力I/F4に接続されるキーボード等による操作者の操作を受付け、当該受け付けた操作に基づき、以下の処理を行う。
【0029】
情報処理装置1の処理部2は、訓練データを取得する(S11)。情報処理装置1の処理部2は、断層画像(CT画像等)に対し、内板ライン上の点を示す内板対応点(ランドマーク)の位置情報が付与された訓練データを取得する。当該内板対応点(ランドマーク)の位置情報は、例えば、断層画像に対し、内板対応点を示す箇所(骨盤の部位)に丸等の図形がアノテーションされたものであってもよい。
【0030】
情報処理装置1の処理部2は、取得した訓練データを用いて、学習モデル101(内板ラインモデル)を生成する(S12)。情報処理装置1の処理部2は、未学習のニューラルネットワークに対し、訓練データ(断層画像に対し、内板対応点を示す箇所にアノテーションされた画像)を入力することにより、当該ニューラルネットワークを学習して、学習モデル101(内板ラインモデル)を生成する。
【0031】
本実施形態では、学習モデル101は、入力されたCT画像に基づき、内板ライン上の点を示す内板対応点(ランドマーク)の位置情報を出力(CT画像に内板対応点(ランドマーク)を重畳表示)するとしたが、これに限定されない。学習モデル101は、入力されたCT画像に基づき、内板ライン上の点を示す内板対応点(ランドマーク)に加え、後述する必達ライン上の点を示す必達対応点、及び上方化限界ラインの点を示す上方化限界点についても出力するものであってもよい。この場合、学習モデル101には、CT画像に加え、目標CE角度が入力されるものであってよい。すなわち、当該学習モデル101は、入力されたCT画像(又は、CT画像及び目標CE角度)に基づき、到達領域を特定するための内板ライン、必達ライン及び上方化限界ラインのそれぞれのライン上の点(内板対応点、必達対応点、上方化限界点)を出力する到達領域モデルとして機能するものであってもよい。この場合、到達領域モデルは、問題データであるCT画像に対し、内板対応点、必達対応点及び上方化限界点がアノテーションされた回答データを含む訓練データを用いて学習される。
【0032】
図5は、情報処理装置1の処理部2の処理手順(モデル運用時)の一例を示すフローチャートである。情報処理装置1の処理部2は、例えば、透視画像が入力されたことをトリガーとして、又は入出力I/F4に接続されているキーボード等の入力デバイスからの開始コマンド等を受け付けた際、当該フローチャートの処理を開始する。
【0033】
情報処理装置1の処理部2は、患者Kの骨盤を撮像した断層画像(CT画像)を取得する(S101)。患者Kは、骨掘削用リーマー7による掘削施術の前(術前)に例えば、CT装置61又はMRI装置の断層画像撮像装置により、骨盤及び股関節を含む体内部位に対する断層画像(CT画像又はMRI画像)の撮像が行われている。術前にて撮像された断層画像は、例えば、情報処理装置1の記憶部3に記憶されている。又は、これら断層画像(CT画像等)は、電子カルテサーバに保存されており、情報処理装置1の処理部2は、例えば患者Kを一意に特定する患者KIDを用いて電子カルテサーバにアクセスし、電子カルテサーバから断層画像(CT画像等)を取得するものであってもよい。断層画像は、所定のスライス幅(人体における上下(Y軸)方向)にてスライスされた複数枚の断層画像を含む。すなわち、本実施形態において、Y軸は、人体における上限方向を示し、Y軸における正の方向は、上方を示す。X軸は、人体における左右方向(正の方向は紙面上、右方)を示し、Z軸は、人体における前後方向(正の方向は前方)を示す。
【0034】
情報処理装置1の処理部2は、断層画像を学習モデル101(内板ラインモデル)に入力する(S102)。情報処理装置1の処理部2は、取得した複数の断層画像それぞれを、学習モデル101(内板ラインモデル)に入力する。学習モデル101(内板ラインモデル)は、断層画像を入力した場合に、内板(内板ライン上となる内板対応点)の位置情報(ランドマーク)を出力するよう学習されている。学習モデル101(内板ラインモデル)は、入力された断層画像に基づき、内板の位置情報(ランドマーク)を、入力された断層画像に重畳させて出力する。
【0035】
情報処理装置1の処理部2は、学習モデル101から、内板ライン上の点を示す内板対応点(ランドマーク)を取得する(S103)。情報処理装置1の処理部2は、学習モデル101から、内板ライン上の点を示す内板対応点(ランドマーク)が重畳された断層画像を取得し、取得した複数の断層画像(内板対応点が重畳表示された断層画像)を記憶部3に記憶する。
【0036】
情報処理装置1の処理部2は、記憶部3を参照することにより、術前計画にて決定された各種値を取得する(S104)。術前計画にて決定された各種値は、例えば、体内に配置する人工股関節8のカップ81の半径、目標CE角度、目標値として予め設定されたカップ81の外縁と内板ラインとの間の目標距離、目標前傾角及び目標外転角を含む。
【0037】
目標CE角度は、目標値として予め設定されたカップ81を配置する際のカップCE角度を示す。目標距離は、目標値として予め設定されたカップ81と、断層画像に基づき学習モデル101(内板ラインモデル)を用いて導出した内板ラインとの距離を示す。目標前傾角は、目標値として予め設定されたカップ81を配置する際のカップ81の前傾角(Anteversion angle)を示す。目標外転角は、目標値として予め設定されたカップ81を配置する際のカップ81の外転角(Abduction angle)を示す。これら術前計画にて決定された各種値は、医師等に決定され、情報処理装置1に予め入力され、記憶部3に記憶されている。又は、情報処理装置1の処理部2は、電子カルテシステムから、患者KID等に基づき、当該患者Kに対する術前計画にて決定された各種値を取得するものであってもよい。
【0038】
情報処理装置1の処理部2は、人工股関節8に関する処置が施される患者Kの術中において、患者Kの骨盤を撮像した透視画像(レントゲン画像)を取得する(S105)。情報処理装置1の処理部2は、人工股関節8に関する処置が施される患者Kの術中において、すなわち骨掘削用リーマー7により骨盤が掘削されている状態において、当該患者Kの骨盤を撮像した透視画像(レントゲン画像)を、リアルタイムにて取得する。情報処理装置1の処理部2は、透視画像(レントゲン画像)をリアルタイムに取得するあたり、動画形態にて取得するものであってもよい。このように術中にて患者Kをリアルタイムに撮像する透視画像(レントゲン画像)には、骨盤を削る骨掘削用リーマー7が含まれるものとなり、骨盤における骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の現在位置及び傾きを特定することができる。骨盤における骨掘削用リーマー7の現在位置、すなわち骨掘削用リーマー7により掘削された骨の窪み(設置スペース)にカップ81の配置を想定した場合、当該想定配置されたカップ81のカップCE角度、前傾角及び外転角を導出することができる。
【0039】
図6は、カップCE角に関する説明図である。本実施形態における図示において、骨盤における骨掘削用リーマー7の現在位置に基づき、配置が想定されたカップ81を示す半円状の図形オブジェクトが、透視画像に重畳されて表示されている。情報処理装置1の処理部2は、骨掘削用リーマー7により骨盤が削れた状態にて配置されたと想定されるカップ81の中心(COR:Center of Rotation)からカップ81の外縁と骨盤荷重面の白色線(Acetabular sourcil)との交点を結ぶ線と、骨盤における左右の涙痕下端を結ぶ線を骨盤基準線に対する垂直線(Y軸)とが成す角度を、カップCE角度として導出する。
【0040】
情報処理装置1の処理部2は、学習モデル101が出力した内板対応点(ランドマーク)に基づき、透視画像における内板ラインを導出する(S106)。学習モデル101は、入力された断層画像(CT画像等)に対し、内板対応点(ランドマーク)を重畳した断層画像を出力する。当該内板対応点は、骨盤を削る際の最大削り地点、すなわち超えてはいけない掘削限界ラインを示す内板ラインの線上に位置する点となる。情報処理装置1の処理部2は、断層画像それぞれに示される点(ランドマーク)それぞれを抽出し、抽出したこれら複数の点(ランドマーク)を結ぶ線を形成(結線)することにより、内板ラインを導出(特定)する。
【0041】
図7は、内板ラインに関する説明図である。本実施形態のおける図示においては、複数(実施例では3つ)の断層画像が示されており、それぞれの断層画像は、Y軸方向(人体の上下方向)における複数の箇所において、透視画像(レントゲン画像)との対応関係(同一のY座標)を有する。これら断層画像それぞれは、学習モデル101(内板ラインモデル)から出力されたものであり、個々の断層画像には、内板対応点(ランドマーク)を示す〇が重畳されている。情報処理装置1の処理部2は、このように内板対応点(ランドマーク)が重畳された断層画像それぞれを用いて、透視画像における複数の内板対応点(ランドマーク)を特定し、特定した複数の内板対応点を結線することにより、内板ラインを形成する。
【0042】
情報処理装置1の処理部2は、これら複数の断層画像を用いて構成されたボリュームデータにより、患者Kの骨盤及び股関節を含む3次元医用画像を生成(再構成)するものであってもよい。その上で、情報処理装置1の処理部2は、患者Kの骨盤等を含む断層画像又は3次元医用画像において3次元による体内座標系を設定するものであってもよい。当該体内座標系において、情報処理装置1の処理部2は、例えば骨盤の2つの涙痕の下端部を結ぶ線を骨盤基準線と定義し、当該骨盤基準線と水平方向(人体に対し左右方向)をX軸、骨盤基準線と垂直方向(人体に対し上下方向)をY軸、これらX軸及びY軸の双方に垂直となる方向(人体に対し前後方向)をX軸として定義し、各種の演算処理を行うものであってもよい。情報処理装置1の処理部2は、取得した透視画像(レントゲン画像)と、取得した断層画像(CT画像)とにおいて、共に含まれる同じ体内部位(例えば涙痕等)の形状認識結果を用いて、これら透視画像(レントゲン画像)と断層画像(CT画像)との間における体内座標系の正規化、すなわち位置合わせを行うものであってもよい。これにより、情報処理装置1の処理部2は、複数の断層画像(又は再構成した3次元医用画像)にて設定した体内座標系を、術中にリアルタイムに撮像される透視画像(レントゲン画像)に適用し、断層画像それぞれにて特定した内板対応点(ランドマーク)に基づき、透視画像(レントゲン画像)にて複数の内板対応点を結線した内板ラインを導出する。更に、情報処理装置1の処理部2は、透視画像(レントゲン画像)に含まれる骨掘削用リーマー7の現在位置についても、透視画像の画像座標系から体内座標系に変換することにより、断層画像(CT画像)と共通座標系となる体内座標系にて特定することができる。
【0043】
情報処理装置1の処理部2は、カップ81の半径及び目標CE角度に応じて、透視画像における必達ラインを導出する(S107)。患者Kに挿入される人工股関節8のカップ81の半径及び目標CE角度は、術前計画にて決定された各種値として記憶部3に記憶されている。情報処理装置1の処理部2は、カップ81の半径及び目標CE角度に応じて、透視画像に含まれる骨盤荷重面の内縁による白色線(Acetabular sourcil)に基づき、透視画像における必達ラインを導出する。当該骨盤荷重面の内縁による白色線(Acetabular sourcilは、透視画像に対する形状認識処理を行うことにより特定(位置を把握)することができる。必達ラインは、患者Kの骨盤において、カップ81を配置するために骨盤を削る際の最小削り地点を示す。
【0044】
図8は、必達ラインに関する説明図である。情報処理装置1の記憶部3には、配置されるカップ81を安定化するために予め設定された最低CE角度(例えば10度)、及びインプラントされるカップ81の半径等、人工股関節8に関する処置を施すにあたり術前計画にて決定される各種値(パラメータ)が記憶されている。情報処理装置1の処理部2は、記憶部3を参照することにより、これら術前計画にて決定される各種値を取得する。
【0045】
情報処理装置1の処理部2は、骨掘削用リーマー7により掘削された骨の窪み(設置スペース)に配置が想定されたカップ81の中心(x,y)と、掘削された際での骨盤荷重面の内縁による白色線(Acetabular sourcil)との交点(X,Y)とを定義する。この場合、カップ81の中心(x,y)は、交点(X,Y)、カップ81の半径(r)、及びカップCE角(Θ)を用いて、下記式にて示される。カップ81の中心のX座標(x)は、交点のX座標(X)から、カップ81の半径(r)に、カップCE角(Θ)の正弦を乗算した値を減算することにより算出(x=X-r*sinΘ)される。カップ81の中心のY座標(y)は、交点のY座標(Y)から、カップ81の半径(r)に、カップCE角(Θ)の余弦を乗算した値を減算することにより算出(y=Y-r*cosΘ)される。このように交点(X,Y)に対し、カップ81の中心(x,y)は一対一に対応するものとなり、交点(X,Y)を変動させた際、すなわち骨掘削用リーマー7による掘削量に応じて、掘削された際での骨盤荷重面の内縁による白色線(Acetabular sourcil)が変動された際、カップ81の中心(x,y)も変動する。このように交点(X,Y)を変動させるにあたり、カップCE角(Θ)は、最低CE角度(10度)を超えること(Θ>10)が、インプラントの要件となるものであり、情報処理装置1の処理部2は、当該要件(Θ>10)を具備する範囲にて、交点(X,Y)を変動させることができる変動範囲を確定する。
【0046】
情報処理装置1の処理部2は、確定した交点(X,Y)の変動範囲により、カップ81の中心(x,y)が位置し得る領域を、上記式を用いて特定する。情報処理装置1の処理部2は、変動した交点(X,Y)に応じて確定されるカップ81の中心(x,y)に対し、カップ81の半径(r)を加味することによりカップ81の外縁の点それぞれを示す(x',y')が取り得る範囲の辺縁の線を、要件(Θ>10)を具備するために骨掘削用リーマー7の外縁(掘削を行う半球状の先端部の外縁)が触れなければいけない線(必達ライン)として導出する。情報処理装置1の処理部2は、当該必達ラインを導出するにあたり、骨掘削用リーマー7にて掘削する前での骨盤における臼底の任意の点(x1,y1)を選択し、カップ81の中心(x,y)と任意の点を結んだ線に対するX軸の角度をαとする。任意の点の座標は(x+rcosα,y+rsinα)となる。その上で、情報処理装置1の処理部2は、変動した交点(X,Y)に応じたカップ81の中心(x,y)に対し、カップ81の半径(r)を加味した点(x+rcosα,y+rsinα)が、当該任意の点の座標(x1,y1)よりも大きく(x+rcosα>x1かつy+rsinα>y2)なるように必達ラインを導出するものであってもよい。すなわち、情報処理装置1の処理部2は、条件式として「(x+rcosα>x1かつy+rsinα>y2)、及び「カップCE角;Θ>10」を満たすカップ81の中心(x,y)が、取り得る(x',y')範囲、すなわちカップ81の半径(r)を加味することによりカップ81の外縁として取り得る範囲の辺縁を、必達ラインとして導出する。このように導出した必達ラインは、到達領域における内側の線(骨掘削用リーマー7の掘削方向において手前側となる内側)に相当する。
【0047】
情報処理装置1の処理部2は、健側の骨頭中心に応じて、透視画像における上方化限界ラインを導出する(S108)。情報処理装置1の処理部2は、透視画像に含まれる健側の骨頭を認識し、健側の骨頭中心に応じて、透視画像における上方化限界ラインを導出する。上方化限界ラインは、健側の骨頭中心に対し、患側の骨頭中心(人工股関節8の骨頭ボールの中心)が取り得る上方化の限界を示すラインを示す。
【0048】
図9は、上方化限界ラインに関する説明図である。本実施形態における図示において、参考的に4つの線図((1)から(4))が示される。これら線図は、以下のとおり示す。線図(1)は、「y’=y2+10mm+カップ半径mmを通る、X軸に並行な線 (カップ辺縁上方化限界ライン)」を示す。線図(2)は、「y=y2+10mmを通る、X軸に並行な線(カップ中心上方化限界ライン)」を示す。線図(3)は、「健側骨頭中心(x2,y2)を通るX軸に並行な線」を示す。線図(4)は、「涙痕下端を結ぶ骨盤基準線(X軸)」を示す。人工股関節8に関する処置が施される患者Kは、一般的に左右のいずれかの足に対し、人工股関節8(インプラント)に関する処置を施すことが想定され、この場合、人工股関節8に関する処置を施す患部側は患側と称され、人工股関節8に関する処置を施さない側の健常側は健側と称される。
【0049】
情報処理装置1の処理部2は、取得した透視画像(レントゲン画像)に含まれる健側の骨頭を、例えばYOLO等の物体検出系モデル又はエッジ検出等を用いて形状認識し、当該骨頭において円弧状を成す外縁に基づき、例えば、外縁に位置する複数の点により曲率中心を算出することにより、健側の骨頭中心を導出する。情報処理装置1の処理部2は、導出した健側の骨頭中心(x2,y2)を通過しX軸(線分(4))に平行な線(線分(3))対し、Y軸にて正の方向(上方向)に所定値(例えば10mm)内となる、カップ中心(患側のインプラントの骨頭中心)の上方化限界ライン(線分(2))を導出する。カップ中心(患側のインプラントの骨頭中心)の上方化限界ラインは、カップ辺縁上方化限界ライン(線分(1))、すなわち到達領域(ストライクゾーン)における上方化限界ライン(線分(1))を決定するにあたって基準線となる。
【0050】
人工股関節8に関する処置を施す患側の骨頭中心は、配置されるカップ81の中心(x,y)に相当する。Y軸は、人体における上限方向を示し、Y軸における正の方向は、上方を示す。配置されるカップ81の中心(x,y)のY座標(y)は、健側の骨頭中心のY座標(y2)に対し、上方に向かって例えば10mmを超えない(y<y2+10[mm])範囲となるように設定される。従って、情報処理装置1の処理部2は、健側の骨頭中心のY座標(y2)に対し、上方(Y軸の正の方向に沿って)に向かって上方化限界値(例えば10mm)の分だけ移動した点を通り、Y座標に対し垂直となる、カップ中心(患側のインプラントの骨頭中心)の上方化限界ライン(線分(2))を導出する。更に、カップ中心(患側のインプラントの骨頭中心)の上方化限界ライン(線分(2))に平行(すなわちX軸に平行)であって、カップ半径の分だけ、上方(Y軸における正の方向)に位置するカップ辺縁上方化限界ライン(線分(1))、すなわち到達領域(ストライクゾーン)における上方化限界ライン(線分(1))を決定(導出)する。このように健側の骨頭中心に基づき、到達領域(ストライクゾーン)における上方化限界ライン(線分(1):カップ辺縁上方化限界ライン)を導出することにより、患側の骨頭中心(人工股関節8の骨頭ボールの中心)が配置される際の目安(骨盤の掘削における上方の限界ライン)を医師等に提供することができる。
【0051】
情報処理装置1の処理部2は、導出した内板ライン、必達ライン、及び上方化限界ラインに基づき、到達領域(ストライクゾーン)を導出する(S109)。情報処理装置1の処理部2は、導出した上方化限界ライン、内板ライン及び必達ラインに基づき、これらラインによって囲まれる領域を、到達領域(ストライクゾーン)として導出する。
【0052】
図10は、到達領域(ストライクゾーン)に関する説明図である。当該到達領域は、カップ81が配置された際、当該カップ81の一部が接していれば、カップ81の安定的固定性が担保される領域を示すものである。到達領域において、上方化限界ライン及び内板ラインは、骨掘削用リーマー7にて掘削するにあたり、超えてはいけない限界ラインを示す。このように導出された到達領域を透視画像に重畳表示することにより、リアルタイム表示される透視画像に含まれる骨掘削用リーマー7によって、骨掘削用リーマー7の現在位置と、掘削することにより骨掘削用リーマー7が到達すべき領域(到達領域)との位置関係を、医師に対しリアルタイムに提供することができる。
【0053】
情報処理装置1の処理部2は、現時点における各種の実測値、目標値、及びこれらの差分を導出する(S110)。情報処理装置1の処理部2は、透視画像を用いて、骨掘削用リーマー7により骨盤が削れた状態にて配置が想定されるカップ81の実測値を導出する。目標CE角度、及びカップ81の外縁と内板ラインとの間の目標距離は、目標値として予め設定されており、人工股関節8に関する処置を施すにあたり術前計画にて決定される各種値として、情報処理装置1の記憶部3に記憶されている。情報処理装置1の処理部2は、記憶部3を参照することにより、これら術前計画にて決定される各種値を取得する。
【0054】
情報処理装置1の処理部2は、取得した透視画像を用いて、患者Kの骨盤における骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の現在位置及び傾きに基づき、骨掘削用リーマー7により骨盤が削られた状態にてカップ81の配置を想定した際のカップ81の位置及び傾きを特定する。当該傾きは、例えば、カップ81の前傾角(Anteversion angle)及び外転角(Abduction angle)を含む。
【0055】
図11は、カップ81(骨掘削用リーマー7により骨盤が削れた状態での想定配置)の前傾角及び外転角に関する説明図である。情報処理装置1の処理部2は、楕円3点(A,A',B)を形状認識処理にて特定する。この場合、透視画像において、A-A'とA'-Bの成す角をXとした場合、前傾角(Anteversion angle)は、「sin^(-1)*tanX」にて示される。処理部2は、透視画像において、配置が想定されたカップ81に相当する骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の形状及び現在位置を、当該透視画像における画像座標系を用いた演算により認識し、前傾角及び外転角を算出するものであってもよい。
【0056】
情報処理装置1の処理部2は、予め設定された目標CE角度に基づき、目標となる目標前傾角及び目標外転角を導出するものであってもよい。情報処理装置1の処理部2は、目標CE角度それぞれの値に対し、目標前傾角及び目標外転角の値が関連付けられたテーブル(目標CE角度テーブル)を参照することにより、目標前傾角及び目標外転角を導出するものであってもよい。当該目標CE角度テーブル等、情報処理装置1の処理部2が各種演算処理を行うにあたり参照する各種のルックアップテーブルは、記憶部3に記憶されている。
【0057】
情報処理装置1の処理部2は、導出した各種の支援情報(到達領域、実測値と目標値との差分)を、透視画像に重畳及び付随して出力する(S111)。支援情報は、例えば、到達領域、及び実測値と目標値との差分を含む。情報処理装置1の処理部2は、導出した到達領域を透視画像に重畳させて、表示装置41に出力する。情報処理装置1の処理部2は、更に各種の実測値、目標値、及びこれら実測値と目標値との差分を透視画像に付随させて、表示装置41に出力する。情報処理装置1の処理部2は、これら情報を出力するにあたり、表示画面(支援情報重畳画面)を構成する画面データを生成し出力するものであってもよい。情報処理装置1の処理部2は、導出した実測値(カップCE角度、カップ81の外縁と内板ラインとの間の実測距離、前傾角、外転角)と、対応する目標値(目標CE角度、カップ81の外縁と内板ラインとの間の目標距離、目標前傾角、目標外転角)とを対比させて、透視画像に付随させて表示(例えば子画面又は別フレーム等にて表示)する。これにより、医師等に対し、現時点における各種の実測値と目標値との差分を効率的に把握させることができる。
【0058】
情報処理装置1の処理部2は、患者Kの骨盤を撮像した複数の断層画像の内、骨掘削用リーマー7の現在位置を含む断層画像を抽出する(S112)。情報処理装置1の処理部2は、取得した透視画像において、例えばYOLO等の物体検出系モデル又はエッジ検出等を用いて形状認識を行うことにより、患者Kの骨盤における骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の現在位置を特定する。透視画像は、断層画像(CT画像等)との位置合わせが行われており、情報処理装置1の処理部2は、断層画像にて定義した体内座標系を当該透視画像に適用することができる。
【0059】
情報処理装置1の処理部2は、透視画像に含まれる骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の現在位置を、断層画像にて定義した体内座標系にて特定することにより、取得するものであってもよい。情報処理装置1の記憶部3には、骨掘削用リーマー7による骨盤掘削が行われる前の患者KをCT装置61で撮像した複数の断層画像(CT画像等)が記憶されている。これら複数の断層画像(CT画像等)は、Y軸方向、すなわち人体における前後方向にてスライスされた画像であり、個々の断層画像(CT画像等)は、X軸(人体における左右方向)及びZ軸(人体における前後方向)にて示される。
【0060】
情報処理装置1の処理部2は、透視画像にて特定した骨掘削用リーマー7の現在位置に応じて、当該現在位置を含む1つ以上の断層画像(CT画像等)を抽出する。情報処理装置1の処理部2は、骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の中心、すなわち現時点の掘削状態においてカップ81が設置されると想定される場所におけるカップ81の中心(x,y)のY座標(y)に対応する断層画像(CT画像等)を抽出する。又は、個々の断層画像それぞれは、例えば体内座標系を用いて、当該断層画像に相当するY軸の座標、及びXZ面の領域(範囲)が関連付けられているため、情報処理装置1の処理部2は、例えば体内座標系での骨掘削用リーマー7の現在位置に対応した断層画像を抽出するものであってもよい。
【0061】
情報処理装置1の処理部2は、骨掘削用リーマー7により骨盤が削れた状態にてカップ81の配置を想定した際のカップ外縁図を、抽出した断層画像に重畳させて出力する(S113)。情報処理装置1の処理部2は、抽出した1つ以上の断層画像(CT画像等)において、骨掘削用リーマー7(掘削を行う半球状の先端部の外縁)の現在位置を示す半円状の図形(カップ外縁図)を、重畳させて出力する。情報処理装置1の処理部2は、更に透視画像を用いて、現時点の掘削状態においてカップ81が設置されると想定される場所におけるカップ81の設置角度及び深度を導出し、断層画像(CT画像等)に更に重畳させて出力するものであってもよい。このように、情報処理装置1の処理部2は、透視画像にて特定した骨掘削用リーマー7の現在位置(現時点の掘削状態においてカップ81が設置されると想定される場所)に応じて、対応する断層画像(CT画像等)を抽出し、当該断層画像に、配置が想定されるカップ81の外縁図(半円状の図形オブジェクト)、カップ81の設置角度及び深度を重畳させて出力する。これにより、Z軸(人体における前後方向)に対する情報を含めた3次元的な術中認識を支援するための情報を医師等に提供することができる。
【0062】
図12は、支援情報の表示画面(支援情報重畳画面)を例示す説明図である。情報処理装置1の処理部2は、上述した各種処理の結果として、支援情報重畳画面を構成する画面データを生成し、当該画面データを表示装置41に出力する。支援情報重畳画面は、透視画像表示エリア、断層画像表示エリア、及び支援情報表示エリアを含む。
【0063】
透視画像表示エリアには、骨掘削用リーマー7により骨盤を削っている術中において、患者Kの骨盤をリアルタイムに撮像した透視画像(レントゲン画像)が表示され、当該透視画像には、到達領域が重畳表示されている。断層画像表示エリアには、透視画像にて特定した骨掘削用リーマー7の現在位置を含む断層画像(CT画像)が表示され、当該断層画像には、骨掘削用リーマー7により骨盤が削れた状態にてカップ81の配置を想定した際のカップ81の外縁図(半円状の図形オブジェクト)が重畳表示されている。断層画像には、更に到達領域についても、重畳表示されるものであってもよい。
【0064】
支援情報表示エリアは、骨掘削用リーマー7により骨盤が削れた状態にてカップ81の配置を想定した際、当該想定配置されたカップ81の前傾角、外転角、カップCE角度、及び内板ラインとの残存距離がリスト形式にて表示される。これらカップ81の前傾角、外転角、カップCE角度、及び内板ラインとの残存距離においては、透視画像にて形状認識処理にて特定した骨掘削用リーマー7の現在位置及び傾き等に基づき算出した実測値、術前計画にて決定された値(目標値)、及び当該目標値に対する実測値の差分が、リスト形式にて表示される。
【0065】
図13は、支援情報の表示画面(歪み補正画面)を例示する説明図である。情報処理装置1の処理部2は、上述した各種処理の結果として、歪み補正画面を構成する画面データを生成し、当該画面データを表示装置41に出力する。歪み補正画面は、歪み補正前表示エリアと、歪み補正後表示エリアを含む。このように歪み補正画面は、歪み補正前の透視画像(支援情報重畳)と、歪み補正後の透視画像(支援情報重畳)とを対比して、表示するため、医師等に対し、到達領域(ストライクゾーン)に対する歪み補正の前後を示す情報を提示することができ、当該医師が施術を行うにあたり有益な情報を提供することができる。
【0066】
歪み補正画面は、前述した支援情報重畳画面とは、別画面にて出力するものであってもよく、又は、支援情報重畳画面に含めるものであってもよい。歪み補正画面を、支援情報重畳画面とは別画面にて出力する場合、歪み補正画面を表示する表示装置41と、支援情報重畳画面を表示する表示装置41とは、別個の表示装置41とするものであってもよい。この場合、情報処理装置1には、歪み補正画面を表示する表示装置41と、支援情報重畳画面を表示する表示装置41とによる2台の表示装置41が接続されるものとなる。
【0067】
歪み補正前表示エリアには、前述した支援情報重畳画面における透視画像表示エリアにて表示される画像(到達領域が重畳表示された透視画像)が、表示される。更に、歪み補正前表示エリアにて表示される画像(補正前画像)には、歪み補正をする際に用いられる複数の曲線から成る格子状の補助線が表示されている。
【0068】
歪み補正後表示エリアには、歪み補正が行われた画像(到達領域が重畳表示された透視画像)が、表示される。更に、歪み補正後表示エリアにて表示される画像(補正後画像)には、歪み補正の処理を行う際に用いた補助線が、当該補正に応じて直線状に変形した状態にて表示される。これにより、到達領域(ストライクゾーン)についても、歪み補正に応じて、形状(骨盤における領域)が変化された状態にて表示される。
【0069】
情報処理装置1の処理部2は、歪み補正を行うにあたり、例えば、透視画像(補正前画像)の下に、直線を含むテンプレートを装着して歪みの補正処理を実行するものであってもよい。その際、情報処理装置1の処理部2は、人体を透過したX線をデジタル画像に変換する装置であり、歪み補正機能を有するフラットパネルを用いるものであってもよい。
【0070】
又は、情報処理装置1の処理部2は、レントゲン装置62等におけるX線撮像特性に基づき決定される歪曲収差に応じて、透視画像(補正前画像)に対する歪みの補正処理を行うものであってもよい。透視画像(レントゲン画像)を撮像するレントゲン装置62は、機種又は型式に応じて各種の特性を有しており、撮像された透視画像(レントゲン画像)における歪み量に相当する歪曲収差についても特定することができる。情報処理装置1の記憶部3には、各種のレントゲン装置62それぞれに応じた歪曲収差等のパラメータが記憶されており、情報処理装置1の処理部2は、レントゲン装置62等に応じた歪曲収差等のパラメータを用いて、歪み補正を行うものであってもよい。この場合、ハードウェア処理による歪み補正を行う専用デバイスであるフラットパネルを用いることを不要とし、比較的に安価なディスプレイ(ハードウェア処理による歪み補正機能を有しない表示装置)を用いて、歪み補正後の透視画像を表示することができる。
【0071】
本実施形態によれば、情報処理装置1の処理部2は、人工股関節8に関する処置が施される患者Kの透視画像(レントゲン画像)を取得する。当該透視画像は、例えば、レントゲン画像である。人工股関節8に関する処置として、骨掘削用リーマー7により、人工股関節8のカップ81を設置するための骨盤の受け皿となる骨の窪み(設置スペース)を形成(骨盤を掘削)する際、透視画像(レントゲン画像)はリアルタイムに動画撮像され、情報処理装置1の処理部2は、当該リアルタイムに撮像された透視画像(レントゲン画像)を順次に取得する。情報処理装置1の処理部2は、取得した透視画像における患者Kの骨盤において、人工股関節8の含まれるカップ81を配置するために骨盤を削る際の最大削り地点を示す内板ラインと、カップ81を配置するために骨盤を削る際の最小削り地点を示す必達ライン(超えるべきライン)とを認識(導出)する。更に、情報処理装置1の処理部2は、骨掘削用リーマー7により骨盤が削れた状態(リアルタイム)にてカップ81の配置を想定した際の、カップCE角度を導出する。情報処理装置1の処理部2は、これら認識(導出)した内板ライン及び必達ラインを透視画像に重畳表示する共に、導出したカップCE角度を例えば子画面等にて、透視画像に付随させて表示するため、患者Kに対し人工股関節8に関する処置を施す医師に対し、有益な支援情報を提供することができる。情報処理装置1の処理部2は、透視画像(レントゲン画像)に含まれる骨掘削用リーマー7の外縁(掘削を行う半球状の先端部の外縁)を、例えばYOLO等の物体検出系モデル又はエッジ検出等を用いて形状認識する。情報処理装置1の処理部2は、当該骨掘削用リーマー7の外縁をカップ81の外縁と見做して、骨掘削用リーマー7により骨盤が削れた状態にてカップ81の配置を想定した際のカップCE角度を導出する。情報処理装置1の処理部2は、骨掘削用リーマー7により骨盤が削れた状態にて配置されたと想定されるカップ81の中心(COR:Center of Rotation)からカップ81の外縁と骨盤荷重面の白色線(Acetabular sourcil)との交点を結ぶ線と、骨盤における左右の涙痕下端を結ぶ線を骨盤基準線に対する垂直線(Y軸)とが成す角度を、カップCE角度として導出する。情報処理装置1の処理部2は、透視画像(レントゲン画像)に含まれる左右の涙痕下端を、例えば、YOLO等の物体検出系モデル又はエッジ検出等の処理を用いて形状認識し、これら左右の涙痕下端を通過する骨盤基準線を特定する。情報処理装置1の処理部2は、特定した骨盤基準線に垂直であって、骨掘削用リーマー7により骨盤が削れた状態にて配置されたと想定されるカップ81の中心(COR)を通る垂直線を特定する。情報処理装置1の処理部2は、カップ81の中心(COR)を通る垂直線に対し、カップ81の中心からカップ81の外縁と骨盤荷重面の白色線(Acetabular sourcil)との交点を結ぶ線による角度を算出することにより、カップCE角度を導出する。情報処理装置1の処理部2は、リアルタイムに撮像される透視画像を取得し、取得した透視画像に含まれる骨掘削用リーマー7の外縁に基づきカップCE角度を導出する。これにより、当該骨掘削用リーマー7の現在位置、すなわち骨掘削用リーマー7による掘削状態に追従して、現時点にてカップ81を配置した場合のカップCE角度を随時、医師に提供することができ、すなわちカップ81設置及び被覆率の術中リアルタイム評価が可能な術中支援システムSを構成することができる。
【0072】
本実施形態によれば、患者Kの骨盤を撮像した1枚以上の断層画像は、例えばCT画像又はMRI画像であり、患者Kに対する骨掘削用リーマー7による骨盤の掘削が行われる前に撮影され、情報処理装置1の処理部2は、これら複数の断層画像を取得し、記憶部3に記憶している。情報処理装置1の記憶部3には、断層画像を入力した場合に、内板の位置情報(ランドマーク)を出力するよう学習した学習モデル101(内板ラインモデル)の実体ファイルが記憶されている。情報処理装置1の処理部2は、取得した断層画像(CT画像等)を学習モデル101(内板ラインモデル)に入力することにより、当該学習モデル101(内板ラインモデル)は、内板の位置情報を断層画像に重畳させて出力する。当該内板の位置情報それぞれは、点(ランドマーク)として出力され、断層画像に複数の点(ランドマーク)が出力されることにより、これら複数の点(ランドマーク)を結ぶ線を形成(結線)することにより、内板ラインを特定するものであってもよい。このように断層画像を入力した場合に、内板の位置情報(ランドマーク)を出力するよう学習した学習モデル101(内板ラインモデル)を用いることにより、人工股関節8の含まれるカップ81を配置するために骨盤を削る際の最大削り地点を示す内板ラインを効率的に特定(導出)することができる。情報処理装置1の処理部2は、断層画像(CT画像等)と、透視画像(レントゲン画像)とを、形状認識等を用いて特定した同じ体内部位(例えば涙痕等)を基準に位置合わせしており、同一の体内座標系にて、これら2つの画像(断層画像及び透視画像)を定義し、画像に対する重畳表示等の各種の演算処理を行うことができる。情報処理装置1の処理部2は、断層画像(CT画像等)を用いて導出した内板ライン、当該断層画像にて示される内板ラインと同じ位置(体内座標値)となるように、透視画像(レントゲン画像)に重畳して表示(出力)する。術中にてリアルタイムに表示される透視画像(レントゲン画像)には、現時点における骨掘削用リーマー7が映し出されると共に、内板ラインが重畳表示されるため、骨掘削用リーマー7を操作する医師等に対し、骨盤を削る際の最大削り地点、すなわち超えてはいけない限界地点にて結線した内板ライン(掘削限界ライン)を効果的に提示することができる。
【0073】
今回開示された実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【0074】
特許請求の範囲に記載されている複数の請求項に関して、引用形式に関わらず、相互に組み合わせることが可能である。特許請求の範囲では、複数の請求項に従属する多項従属請求項を記載してもよい。多項従属請求項に従属する多項従属請求項を記載してもよい。多項従属請求項に従属する多項従属請求項が記載されていない場合であっても、これは、多項従属請求項に従属する多項従属請求項の記載を制限するものではない。
【符号の説明】
【0075】
S 術中支援システム
K 患者
1 情報処理装置
2 処理部
3 記憶部
M 記録媒体
P プログラム(プログラム製品)
4 入出力I/F
41 表示装置
5 通信部
101 学習モデル(内板ラインモデル)
61 CT装置(断層画像撮像装置)
62 レントゲン装置(透視画像撮像装置)
7 骨掘削用リーマー
8 人工股関節
81 カップ