特開 2024-112780 医用情報処理装置、医用情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112780

(43)【公開日】2024-08-21

(54)【発明の名称】医用情報処理装置、医用情報処理方法及びプログラム

(51)【国際特許分類】

   A61B 6/51 20240101AFI20240814BHJP

   A61B 6/03 20060101ALI20240814BHJP

   A61B 6/46 20240101ALI20240814BHJP

   A61B 5/00 20060101ALI20240814BHJP

   G06T 7/00 20170101ALI20240814BHJP

   G06T 7/33 20170101ALI20240814BHJP

   G06T 7/73 20170101ALI20240814BHJP

【ＦＩ】

A61B6/51

A61B6/03 560G

A61B6/46 536Q

A61B6/03 560J

A61B6/03 560B

A61B5/00 G

G06T7/00 612

G06T7/33

G06T7/73

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2024014438

(22)【出願日】2024-02-01

(31)【優先権主張番号】P 2023017785

(32)【優先日】2023-02-08

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100196047

【弁理士】

【氏名又は名称】柳本 陽征

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】西高 慎也

(72)【発明者】

【氏名】西岡 昂彦

【テーマコード（参考）】

4C093

4C117

5L096

【Ｆターム（参考）】

4C093AA22

4C093CA21

4C093CA37

4C093DA05

4C093FF13

4C093FF16

4C093FF23

4C093FF35

4C093FF37

4C093FF42

4C117XB09

4C117XD08

4C117XE43

4C117XE44

4C117XK03

4C117XK05

4C117XK07

4C117XK09

4C117XK13

4C117XK15

4C117XK19

4C117XK24

4C117XR07

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096EA33

5L096FA06

5L096FA13

5L096FA59

5L096FA64

5L096FA69

(57)【要約】

【課題】医用の VR にカラー画像をオーバーレイ表示する。
【解決手段】医用情報処理装置は、 VR画像取得部と、カラー画像取得部と、オーバーレイ部と、を備える。前記 VR画像取得部は、対象の医療画像から VR (Volume Rendering) 画像を生成する。前記カラー画像取得部は、前記医療画像と少なくとも一部の撮像領域を共有する 1 又は複数の光学的撮像手段により取得されたカラー画像を取得する。前記オーバーレイ部は、前記 VR画像に前記カラー画像の少なくとも一部を重畳する。
【選択図】図1

【特許請求の範囲】

【請求項1】

対象の医療画像からVR (Volume Rendering) 画像を生成する、VR画像取得部と、
前記医療画像と少なくとも一部の撮像領域を共有する1又は複数の光学的撮像手段により取得されたカラー画像を取得する、カラー画像取得部と、
前記VR画像に前記カラー画像の少なくとも一部を重畳する、オーバーレイ部と、
を備える、医用情報処理装置。

【請求項2】

前記VR画像及び前記カラー画像からそれぞれ共通する特徴を抽出し、当該特徴に基づいて、前記VR画像と、前記カラー画像との位置合わせをする、位置合わせ部、
をさらに備える、請求項1に記載の医用情報処理装置。

【請求項3】

前記医療画像は、口腔内のCT (Computed Tomography) 画像であり、
前記位置合わせ部は、歯の端点を結ぶ線分、及び、歯の表面積に基づいて、前記VR画像と、前記カラー画像との位置合わせをする、
請求項2に記載の医用情報処理装置。

【請求項4】

前記医療画像は、口腔内のCT画像であり、
前記位置合わせ部は、3次元マッピングを実行した画像と、前記CT画像の高さ成分を考慮して、位置合わせをする、
請求項2に記載の医用情報処理装置。

【請求項5】

前記医療画像は、口腔内のCT画像であり、
前記位置合わせ部は、前記CT画像を2次元に変換した画像を用いて位置合わせをした画像を、3次元に再構成する、
請求項2に記載の医用情報処理装置。

【請求項6】

前記位置合わせ部は、歯茎から表に出ている歯の形状を推定し、位置合わせをする、
請求項2に記載の医用情報処理装置。

【請求項7】

前記位置合わせ部は、処置をした歯の形状、又は、処置をした歯における特徴を用いて、位置合わせをする、
請求項2に記載の医用情報処理装置。

【請求項8】

前記位置合わせ部は、処置により形状が変化した歯の形状変化の特徴を用いずに、位置合わせをする、
請求項2に記載の医用情報処理装置。

【請求項9】

前記オーバーレイ部が前記VR画像に対して重畳する前記カラー画像の透明度を設定する、透明度設定部、
をさらに備える、請求項1に記載の医用情報処理装置。

【請求項10】

前記オーバーレイ部が前記VR画像に対して重畳する前記カラー画像の色味を設定する、色味設定部、
をさらに備える、請求項1に記載の医用情報処理装置。

【請求項11】

前記VR画像にオーバーレイする前記カラー画像の少なくとも一部の領域における色情報が取得できない場合に、当該領域の色情報を周囲の色情報から補間する、色補間部、
をさらに備える、請求項1に記載の医用情報処理装置。

【請求項12】

前記カラー画像は、5枚法により取得された口腔内の画像である、
請求項1から請求項11のいずれかに記載の医用情報処理装置。

【請求項13】

VR画像取得部が、対象の医療画像からVR画像を生成し、
カラー画像取得部が、前記医療画像と少なくとも一部の撮像領域を共有する1又は複数の光学的撮像手段により取得されたカラー画像を取得し、
オーバーレイ部が、前記VR画像に前記カラー画像の少なくとも一部を重畳する、
医用情報処理方法。

【請求項14】

処理回路に、
対象の医療画像からVR画像を生成し、
前記医療画像と少なくとも一部の撮像領域を共有する1又は複数の光学的撮像手段により取得されたカラー画像を取得し、
前記VR画像に前記カラー画像の少なくとも一部を重畳する、
ことを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理方法及びプログラムに関する。

【背景技術】

【0002】

歯科診断においては、デジタルカメラにより撮影された画像と、レントゲンにより撮影された画像と、を用いることが多い。今日においては、この他にX線CT (Computed Tomography) 装置を用いて撮影された画像が用いられることも多くなってきている。X線CTの画像を VR (Volume Rendering) で表示することにより、多方面からの口腔内の内部情報を観察することが可能となる。また、X線CTでは、目視では確認できない歯や歯茎の内部情報を確認することが可能であるため、今日では虫歯診断や歯周病診断には欠かせないものとなっている。

【0003】

しかしながら、目視で確認できる歯や歯茎の表面の状態がX線CT画像からは確認をすることが困難であるため、実際の患者の歯の状態を把握しづらいという課題がある。また、治療後の補綴物やインプラントのシミュレーションも、 VR表示 を用いれば患者説明において優位ではあるが、VR表示の色は実際の歯の色とは異なるため、イメージがしづらいという問題もある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2004-283373号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようと課題の 1 つは、 CT画像の VR にカラー画像をオーバーレイ表示することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は、上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0006】

実施形態に係る医用情報処理装置は、VR画像取得部と、カラー画像取得部と、オーバーレイ部と、を備える。前記VR画像取得部は、対象の医療画像からVR画像を生成する。前記カラー画像取得部は、前記医療画像と少なくとも一部の撮像領域を共有する1又は複数の光学的撮像手段により取得されたカラー画像を取得する。前記オーバーレイ部は、前記VR画像に前記カラー画像の少なくとも一部を重畳する。

【図面の簡単な説明】

【0007】

【図1】一実施形態に係る医用情報処理装置の一例を模式的に示すブロック図。

【図2】一実施形態に係る VRモデルを所定角度から見た画像の一例を示す図。

【図3】一実施形態に係るカラー画像の一例を示す図。

【図4】一実施形態に係る合成画像の一例を示す図。

【図5】一実施形態に係る医用情報処理装置の処理を示すフローチャート。

【図6】一実施形態に係るカラー画像の一例を示す図。

【図7】一実施形態に係る位置合わせ機能の処理を示すフローチャート。

【図8】一実施形態に係る位置合わせの位置の一例を示す図。

【図9】一実施形態に係るオーバーレイ機能の処理を示すフローチャート。

【図10】一実施形態に係る合成した画像の一例を示す図。

【図11】一実施形態に係る医用情報処理装置の GUI の一例を模式的に示す図。

【発明を実施するための形態】

【0008】

以下、図面を参照して実施形態について説明する。本開示において、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される形態については、このソフトウェアは、プログラムにより実行され、プログラム自体又はプログラムを格納した非一時的コンピュータ可読媒体により実施することができる。また、本明細書及び図面における各種データにおいて、主に情報処理装置により用いられるものは、典型的にはデジタルデータである。

【0009】

図1は、一実施形態に係る医用情報処理装置の一例を模式的に示すブロック図である。医用情報処理装置 1 は、X線画像を撮像するX線撮像装置 2 と、可視光帯域の画像を撮像する撮像装置 3 と直接的又は間接的に接続され、X線画像から作成した VR の CT画像の少なくとも一部にカラー画像を合成 (fusion) 、重ね合わせ (overlay) した画像を生成する装置である。医用情報処理装置 1 は、入出力I/F 10 と、記憶部 12 と、処理回路 14 と、を備える。

【0010】

入出力I/F 10 は、医用情報処理装置 1 の内部と外部とを接続するためのインタフェースである。入出力I/F 10 は、例えば、X線撮像装置 2 が出力する X線に基づく画像と、撮像装置 3 が出力するカラー画像とを受信するための通信インタフェースを備える。

【0011】

この他、入出力I/F 10 は、ユーザからの入力を受け付けるキーボード、マウス、トラックボール、タッチパッド、ボタン、マイク、カメラ等の入力インタフェース又はこれらの入力インタフェースと接続するためのインタフェース、及び、ユーザへ情報を出力するディスプレイ、ステレオ等の出力インタフェース又はこれらの出力インタフェースと接続するためのインタフェースを備えることができる。

【0012】

記憶部 12 は、入出力I/F 10 を介して外部から取得したデータ、処理回路 14 において処理に必要となるデータ、処理回路 14 の処理における一時的な中間データ、処理完了したデータ、及び、処理回路 14 がそれぞれの機能を発揮するためのデータを格納する。なお、図示していないが、医用情報処理装置 1 の外部にも記憶装置が備えられ、この記憶装置に種々のデータが格納されてもよい。

【0013】

処理回路 14 は、医用情報処理装置 1 におけるそれぞれの処理を実行する回路である。処理回路 14 は、例えば、専用回路であってもよいし、汎用のプロセッサであってもよい。処理回路 14 は、例えば、位置合わせ機能 140 と、オーバーレイ機能 142 と、透明度設定機能 144 と、色味設定機能 146 と、色補間機能 148 と、を実装する。なお、位置合わせ機能 140 及びオーバーレイ機能 142 以外の機能は、任意に実装することができる機能であり、処理回路 14 に必須の実装ではない。

【0014】

位置合わせ機能 140 は、X線CTから取得したVR画像上にカラー画像を重ね合わせる位置合わせをする機能である。位置合わせ機能 140 は、例えば、VR画像及びカラー画像において共通する特徴を抽出し、これらの特徴を有する点、線又は領域を重ね合わせるように位置合わせをする。医用情報処理装置 1 は、この位置合わせ機能 140 を位置合わせ部として備えることができる。

【0015】

オーバーレイ機能 142 は、VR画像上の少なくとも一部の領域にカラー画像を重ね合わせる処理をする機能である。オーバーレイ機能 142 は、カラー画像から抽出した重ね合わせる画像領域を、位置合わせ機能 140 が取得した位置合わせ情報に基づいてVR画像上に重ね合わせる。医用情報処理装置 1 は、このオーバーレイ機能 142 をオーバーレイ部として備えることができる。

【0016】

透明度設定機能 144 は、重ね合わせるカラー画像領域の透明度を設定する機能である。透明度設定機能 144 は、重ね合わせるカラー画像の透明度を任意、例えば、ユーザの要求によって設定し、重ね合わせの対象となる VR画像を透かして見ることができる画像を生成することを可能とする。医用情報処理装置 1 は、この透明度設定機能 144 を透明度設定部として備えることができる。

【0017】

色味設定機能 146 は、重ね合わせるカラー画像領域の色味を設定する機能である。色味設定機能 146 は、重ね合わせるカラー画像の色味を任意、例えば、カラー画像から抽出した色や、ユーザの要求によって設定することができる。また、色味設定機能 146 は、重ね合わせるカラー画像において、所定の領域の色味を設定する機能を有してもよい。医用情報処理装置 1 は、この色味設定機能 146 を色味設定部として備えることができる。

【0018】

色補間機能 148 は、重ね合わせるカラー画像領域において、色の情報が適切に取得できない領域についての色情報を、周辺の色情報から推定して補間する機能である。色補間機能 148 は、種々の画像補間手段に基づいて、色の補間をすることができる。医用情報処理装置 1 は、この色補間機能 148 を色補間部として備えることができる。

【0019】

処理回路 14 は、少なくとも、上記脳機能のうち位置合わせ機能 140 及びオーバーレイ機能 142 を用いることで、X線CTから生成されたVR画像上にカラー画像の少なくとも一部の領域を重ね合わせる。処理回路 14 は、任意に、カラー画像の透明度を設定し、色味を設定し、又は、色を補間して重ね合わせることができる。

【0020】

X線撮像装置 2 は、患者の体の任意領域のX線CT像を取得する。X線撮像装置 2 は、さらに、取得したCT像から、VRモデルを生成してもよい。別の例として、CT像からVRの生成は、医用情報処理装置 1 の処理回路 14 が実装してもよいし、図示しない他の情報処理装置により実行されてもよい。以下においても、X線撮像装置 2 がVRを生成するとしているが、同様に医用情報処理装置 1 又は他の情報処理装置がこのVRの生成をすることを排除するものではない。以下、VRモデルを任意の角度から取得した画像をVR画像と記載する。

【0021】

医用情報処理装置 1 は、X線CT像及び光学的撮像手段によって取得されたカラー画像を取得できる種々の形態において画像の重ね合わせを実現することが可能である。以下においては、特に、歯科における口腔内の画像について説明するが、本開示の実施形態を歯科に限定するものではなく、他の医用画像への適用を排除するものではない。以下、本明細書において単にカラー画像と記載した場合には、本段落と同様に光学的撮像手段によって取得したカラー画像と読み替えることができる。また、図面についても同様である。

【0022】

歯科の診療においては、患者の口腔内のX線CT像から3次元のVRモデルを形成することがある。医用情報処理装置 1 は、この形成されたVRモデルの任意の角度の画像を取得するタイミングにおいて、カラー画像を少なくとも一部に重ね合わせて合成画像を生成する。

【0023】

図2は、VRモデルを所定角度 (例えば、顔の正面側) から見た画像の一例を示す図である。本開示においては、X線に係る画像と、カラー画像とを明確に示すため、VR画像の領域については、斜線を付して示す。

【0024】

この図2に示されるように、VRモデルから取得した画像は、歯及び歯根等を示す骨格情報が表される。X線撮像装置 2 は、取得した種々の角度のX線CT像から3次元モデルを再構成し、VRモデルを生成する。処理回路 14 のオーバーレイ機能 142 は、入力されたVRモデルからユーザが選択した角度の画像を取得する。例えば、正面が選択された場合には、医用情報処理装置 1 は、図2に示すような画像を取得することができる。

【0025】

図3は、カラー画像の一例を示す図である。処理回路 14 は、位置合わせ機能 140 が取得した位置合わせ情報に基づいて、オーバーレイ機能 142 が図3に示されるカラー画像の少なくとも一部の領域を切り取って VR 画像に重ね合わせることで、カラー画像を見たい領域と、 VR画像を見たい領域とを同時に示す合成画像を生成することができる。

【0026】

図4は、一実施形態に係る合成画像の一例を示す図である。医用情報処理装置 1 は、一例として、この図4に示すように、口腔内の上の歯の部分をカラー画像で表示し、それ以外の部分をVR画像で表示するといった画像を生成することができる。

【0027】

このような合成画像を参照することで、VR画像を参照して歯又は歯茎の内部情報を確認し、虫歯や既に治療されている歯のインプラント、ブリッジといった情報を取得することができるとともに、治療後における補綴物やインプラントといった情報をカラー画像として表示することができる。

【0028】

また、診断においても、この合成画像を用いることで、X線で見ることができる内部の情報とともに、歯の表面の情報をカラー画像として見ることができるので、お互いの画像における弱点を相補的に補強することが可能となる。

【0029】

以下、処理回路 14 に実装されるそれぞれの機能について、全体の処理の流れに触れながら詳しく説明する。

【0030】

図5は、一実施形態に係る医用情報処理装置 1 の処理を示すフローチャートである。

【0031】

医用情報処理装置 1 は、ユーザからの要求により、VR画像のVRモデルデータとカラー画像データの画像データ、及び、画像を生成する角度等の画像生成条件の要求を取得する (S10) 。条件として、必要であれば、透明度、色味の設定が含まれていてもよい。この処理により、重ね合わせる対象であるVR画像及びカラー画像を取得し、また、生成する画像に関する条件を取得することができる。

【0032】

医用情報処理装置 1 は、カラー画像のデータについては、例えば、所謂5枚法で撮像された画像を取得してもよい。

【0033】

図6は、カラー画像の一例を示す図である。この図に示すように、口腔内のカラー画像は、5枚法により撮影されることが多い。規格にしたがって5枚法で撮影を行うことにより、所定の品質を保つことができる。所定の品質で撮影されている場合には、以下に説明する位置合わせの処理を簡易化することも可能であるし、精度を向上させることも可能である。

【0034】

例えば、中央に示される正面の画像においては、上の歯の正中線が画像中央に垂直に位置し、上の前歯の下線が画像中央に水平に位置するように撮影される。このような撮影がされている場合には、正面の画像を用いる場合に垂直方向及び水平方向の角度合わせ、及び、位置合わせの精度を向上させることができる。以下の説明においては、このような規格に沿っていない場合においても適切な角度、位置の調整が可能な例を挙げる。

【0035】

図5に戻り、位置合わせ機能 140 は、VR画像及びカラー画像の画像同士の角度及び位置を調整する (S12) 。

【0036】

(位置合わせ機能)
位置合わせ機能 140 は、例えば、図2に示すVR画像と、図3に示すカラー画像と、を用いて重ね合わせる際の画像の角度及び位置を調整する。位置合わせ機能 140 は、VR画像及びカラー画像における位置合わせに用いる特徴として、歯を用いることができる。

【0037】

図7は、一実施形態に係る位置合わせ機能の処理を示すフローチャートである。カラー画像を VR画像に合わせて調整、変換する例について記載するが、VR画像をカラー画像に合わせて調整、変換してもよいし、処理によっていずれの画像を調整、変換するかを変えてもよい。

【0038】

位置合わせ機能 140 は、ユーザから要求されている合成画像を生成する角度に関する情報を取得する (S120) 。この合成画像を生成する角度は、どのような視点からの合成画像を生成するかを表す情報である。

【0039】

位置合わせ機能 140 は、カラー画像の角度をVR画像の角度と同等になるように調整する (S122) 。位置合わせ機能 140 は、例えば、正面画像において、上の前歯 (患者が反対咬合である場合は、下の前歯でもよい) 2本の端点を任意の特徴点抽出手段により抽出し、抽出した端点同士を結ぶ直線の傾きが正面から取得したVR画像と等しくなるように、画像に対して垂直な軸方向を中心としてカラー画像を回転させる。

【0040】

続いて、位置合わせ機能 140 は、例えば、VR画像、カラー画像のそれぞれについて、上の前歯2本の面積を任意の手法で算出し、当該2本の前歯の面積の比率を取得する。この比率が等しくなるように、正中線方向 (例えば、画像における鉛直方向) を中心として、画像を回転させる。この回転は、5枚法により画像を取得している場合には、左右のいずれかの方向から撮影された画像と、正面方向から撮影された画像とを任意の手法、例えば、投影変換を用いた任意の手法により合成することで実行することができる。

【0041】

位置合わせ機能 140 は、前歯の先端の角、例えば、2本の前歯の内側の先端のそれぞれが、VR画像とカラー画像とで重なるように、カラー画像を鉛直方向及び水平方向へとずらす (S124) 。

【0042】

図8は、この位置合わせの基準となる位置の一例を示す図である。例えば、図8において矢印で示されるように、それぞれの画像における前歯の端点同士が重なるように、カラー画像の位置を調整することができる。

【0043】

位置合わせ機能 140 は、 S122 と S124 の処理により、VR画像とカラー画像とが同じ方向から、及び、同じ位置から取得した画像となるように調整することができる。

【0044】

なお、位置合わせ機能 140 は、VR画像とカラー画像のサイズが異なる場合には、このタイミングにおいて、VR画像及びカラー画像それぞれの前歯の面積、矩形とみなした場合の4つの端点等に基づいて、カラー画像の大きさをVR画像の大きさに合わせた倍率で拡大縮小することも可能である。

【0045】

合成画像を生成する角度により、用いるカラー画像を正面画像から、左右のいずれかの角度から撮影された画像に変更してもよい。この場合、それぞれに基準となる位置をあらかじめ決定しておき、この基準となる位置に基づいて、上記と同様に角度及び位置を調整することができる。例えば、位置合わせ機能 140 は、基準位置を含む歯と隣接する歯、又は、基準位置に近い2つの歯の輪郭、面積等に基づいて上記の角度あわせをすることが可能となる。

【0046】

位置合わせ機能 140 はまた、限定されないいくつかの例として、次に示すように位置合わせをすることもできる。

【0047】

位置合わせ機能 140 は、例えば、5枚法により取得された5枚の画像に基づいて、3次元マッピングをすることで、位置合わせをすることもできる。より具体的には、位置合わせ機能 140 は、5枚法により取得された画像から高さ方向の成分の情報を取得して、CT画像における高さ成分を用いて位置合わせをすることができる。この位置合わせにより、口腔内写真において取得することが困難である奥歯の領域におけるマッピングの精度を向上させることができる。

【0048】

位置合わせ機能 140 は、例えば、5枚法により取得されたCT画像を2次元画像に変換し、この2次元画像と、撮影された画像との位置合わせをすることができる。位置合わせ機能 140 はさらに、この2次元の画像をCT画像に反映することで3次元マッピングをすることも可能である。

【0049】

位置合わせ機能 140 は、例えば、CT画像における歯の形状に基づいて、歯茎から表に出ている歯の形状を推定することにより、位置合わせをすることもできる。位置合わせ機能 140 は、例えば、推定した歯の形状について、上記と同様の位置合わせ処理をすることで、画像同士の位置合わせをすることが可能である。

【0050】

位置合わせ機能 140 は、例えば、CT画像における特徴的な部分をランドマークとして抽出し、このランドマークを位置合わせに用いることができる。位置合わせ機能 140 は、例えば、歯茎に隠れている部分においても盛り上がっている箇所等が歯茎により直接的な画像として取得できない場合においても、盛り上がっている箇所を抽出することで、位置合わせをすることが可能である。また、位置合わせ機能 140 は、上記のCT画像から推定された歯において、ランドマークを抽出することも可能である。

【0051】

過去に処置をした歯、例えば、インレーが埋め込まれている歯、又は、クラウン等の処置がされている歯は、種々の撮影手法で撮影された画像においてそれぞれに特徴を有する。位置合わせ機能 140 は、これらの特徴をランドマークとして用いて画像のマッピングをして、位置合わせをすることが可能である。例えば、治療を施した箇所については、レントゲン写真等では特徴的な影を有したりすることがあるが、このような特徴を用いて位置合わせをすることが可能となる。

【0052】

上記と同様同様の処置がされている場合、それらの画像における特徴ではなく、歯の形状として特徴を有することがある。位置合わせ機能 140 は、治療等の処置がされた歯について、これらの治療をした後の形状に基づいて、位置合わせをすることも可能である。治療を施した後同士の画像を用いて位置合わせをする場合には、このような治療跡の形状についての特徴を用いて調整をすることが可能となる。

【0053】

また、逆に、位置合わせ機能 140 は、治療等の跡であると推定できる場合には、当該箇所を省いて、すなわち、治療等の跡に係る特徴以外の形状等を用いて位置合わせをすることもできる。画像を撮るタイミングは、任意であり、このような任意のタイミングにおいては治療を施したすと、歯の外見的な形状が変化する場合がある。位置合わせ機能 140 が治療による形状の変化をランドマークとしないことにより、これらの変化を回避した精度の高い位置合わせをすることが可能である。位置合わせ機能 140 は、上記の形状の変化を考慮する場合と併せて提示して、ユーザにどちらの位置合わせを用いるかを選択する形態としてもよい。

【0054】

次に、位置合わせ機能 140 は、合成画像を取得する方向に合わせて、VR画像及びカラー画像を回転させて、調整する (S126) 。例えば、ユーザは、VRモデルを用いて所望の角度を指定することができる。この所望の角度に基づいて、位置合わせ機能 140 は、VRモデルからVR画像を取得する。

【0055】

さらに、位置合わせ機能 140 は、カラー画像を正面画像、及び、左右方向のいずれかの画像を用いることで、同じ角度から取得される画像を生成することができる。この生成においては、位置合わせ機能 140 は、上記の S122 、 S124 で調整した角度及び位置に正面画像を調整した後に、角度をずらした画像を任意の手法で正面画像と左右方向いずれかの画像とを合成することで、取得することができる。

【0056】

図5に戻り、次に、オーバーレイ機能 142 がVR画像と、カラー画像の少なくとも一部の領域を重ね合わせる (S14) 。

【0057】

図9は、一実施形態に係るオーバーレイ機能 142 の処理を示すフローチャートである。オーバーレイ機能 142 は、まず、位置合わせ機能 140 が調整したカラー画像から、重ね合わせる領域を抽出する (S140) 。

【0058】

オーバーレイ機能 142 は、抽出したカラー画像の少なくとも一部の領域を、VR画像に重ね合わせて合成画像を生成する (S142) 。

【0059】

位置合わせ機能 140 が位置の調整において基準点を同じ座標にしている場合、オーバーレイ機能 142 は、重ね合わせるカラー画像の領域をVR画像の同じ座標上にマッピングして重ね合わせることで画像を合成することができる。

【0060】

また、位置合わせ機能 140 が位置の調整において基準点のズレを算出している場合、オーバーレイ機能 142 は、カラー画像の領域を、カラー画像の基準点と、VR画像の基準点が重なるようにマッピングすることで画像を合成することができる。

【0061】

オーバーレイ機能 142 は、必ずしもマッピングをする必要はなく、このマッピングの機能は、ユーザの要求により、オン、オフできるものであってもよい。

【0062】

図10は、一実施形態に係る合成した画像の一例を示す図である。この図に示すように、医用情報処理装置 1 は、例えば、VR画像に対して、上の歯及び歯茎の領域をカラー画像として合成することができる。

【0063】

この図10は、限定されない一例として示したものであり、合成画像の角度等は、例えば、カラー画像の撮影されている範囲において任意に設定することが可能である。また、口を開けた状態等についても同様に重ね合わせた合成画像を生成することができる。また、例えば、歯茎を含まない歯だけ、又は、歯を含まない歯茎だけ、といった合成をすることも可能である。歯と歯茎の境界は、例えば、カラー画像における色の変化、また、VR画像における影を参照することで抽出することもできる。

【0064】

オーバーレイ機能 142 は、必要に応じて、口角鈎の境界を検出し、カラー画像から口角鈎の領域を排除したり、ミラーの境界を検出し、ミラーを排除したりしてもよい。

【0065】

図5に戻り、処理回路 14 は、必要があれば S16 から S20 の処理を実行する。

【0066】

透明度が条件として設定されている場合、透明度設定機能 144 は、重ね合わされているカラー画像の透明度を変更する (S16) 。透明度を変更することで、カラー画像が合成されている領域において、カラー画像で示される歯、歯茎の表面の色と、VR画像で示される虫歯、治療跡等とを同時に出力することが可能となる。

【0067】

例えば、透明度を適切に制御することで、VR画像における骨吸収の状態と、カラー画像における表面の色の状態を比較しながら、歯周病の検査を行うこともできる。

【0068】

色味が条件として設定されている場合、色味設定機能 146 は、重ね合わされているカラー画像の色味を変更する (S18) 。色味を変更することで、例えば、審美的な面から、治療後の歯の状態を出力することが可能となる。この結果、患者がどのような色味のレジンやセラミック等の補綴物を治療として重点するか、といった治療に関する患者の要求を受けることが容易となる。

【0069】

また、色味設定機能 146 は、光源の位置及び光源の明度等を設定したカラー画像を作成することも可能である。このように作成したカラー画像を合成することで、患者及びユーザは、よりいろいろな状況における治療後の状態等を確認することもできる。

【0070】

重ね合わせた画像においてカラー画像における歯の色が精度よく取得できていない場合、又は、VR画像においてメタルアーティファクトによる歯の抜け等がある場合には、色補間機能 148 は、カラー画像又はVR画像の色の補間をすることができる (S20) 。

【0071】

色補間機能 148 は、カラー画像において色情報がうまく取得できていない歯の表面等について、周囲の歯等の色を用いた任意の手法による歯の色の補間をすることができる。また、VR画像において歯の抜け画ある場合にも同様に、周囲のVR画像における歯の画像から、補間をすることが可能である。

【0072】

処理回路 14 は、合成された画像を入出力I/F 10 を介してユーザに提示してもよい。ユーザは、提示された合成画像に対してさらなる指示をすることもできる。例えば、さらに位置調整、角度調整、重ね合わせの調整、透明度、色味、又は、補間の調整が必要である場合には、処理を継続する (S24: NO) こともできる。

【0073】

処理を継続する場合、 S10 における条件を変更することで、 S12 から S20 までの必要である処理をした上で、編集された合成画像を出力 (S22) することができる。適切な合成画像が取得され、ユーザからの要求により処理が完了した場合 (S24: YES) 、処理回路 14 は、適切に合成した画像を出力、例えば、記憶部 12 に格納等して、処理を終了する。

【0074】

以上のように、本開示に係る医用情報処理装置 1 によれば、ユーザの所望のパラメータを用いたVR画像とカラー画像との合成画像を生成することが可能となる。この合成画像は、目視では確認できない状態と、目視で確認できる状態とをユーザの要求により適切に混合した画像を生成することにより、適切な診断、治療等の補助をすることができる。

【0075】

図11は、一実施形態に係る条件を設定するためのGUI (Graphical User Interface) の限定されない一例を示す図である。このGUI 4 は、一例として、VRファイル名入力欄 40 と、重ね合わせデータ入力欄 42 と、透明度設定バー 44 と、色味設定バー 46 と、合成画像表示領域 48 と、角度制御ボックス 50 と、補正選択ボタン 52 と、マッピング選択ボタン 54 と、を備える。

【0076】

ユーザは、VRファイル名入力欄 40 に基準とする VRモデルを示すデータファイル名を、重ね合わせデータ入力欄 42 に重ね合わせるカラー画像を示すデータファイル名を、それぞれ入力する。

【0077】

透明度設定バー 44 は、スライドバーを備え、このバー上をスライドさせることで、カラー画像の透明度を設定することができる。

【0078】

同様に、色味設定バー 46 は、バー上をスライドさせることで色味を設定することができる。

【0079】

合成画像表示領域 48 には、合成された画像が表示される。ユーザは、合成された画像において、重ね合わせをする箇所を選択することで、カラー画像の領域が指定できる形態であってもよい。この指定は、例えば、上の歯、下の歯、上の歯茎、下の歯茎等で分割され、選択された箇所においてカラー画像が合成される形態であってもよい。別の例として、ユーザがなげなわにより領域を囲うことで、合成領域を指定する形態であってもよい。また、別途領域を選択するボタン、例えば、上の歯、下の歯といった領域を指定するためのボタンを準備し、このボタンを選択することで、カラー画像を重ね合わせる領域が指定できる形態であってもよい。

【0080】

合成画像表示領域 48 には、角度制御ボックス 50 が設置されていてもよい。この角度制御ボックス 50 を、例えば、マウスのドラッグ操作等により動かすことで、VR画像の角度を変更し、それに伴い、処理回路 14 が処理したカラー画像が合成されて表示されてもよい。

【0081】

さらに、補正選択ボタン 52 、マッピング選択ボタン 54 を備えてもよい。これらのボタンにより、補正、マッピングをそれぞれ実行するか否かをユーザが選択することができる形態であってもよい。

【0082】

上記においては、CT像を用いる例について説明したが、これに限定されるものではなく、例えば、MRI画像を用いることも可能である。

【0083】

上記の実施形態では、入力インタフェースは、各種設定等を行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現することができる。入力インタフェースは、制御回路に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路へと出力する。なお、本明細書において入力インタフェースは、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェースの例に含まれる。

【0084】

また、上記の実施形態では、情報処理機能の各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路に記録されている。処理回路は、プロセッサを含むことができる。例えば、処理回路は、プログラムから記憶回路を読み出し、実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路は、図面に示した処理回路内に示されている各機能を有する。なお、図面においては、単一のプロセッサにおいてそれぞれの処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現してもよい。また、図面においては単一の記憶回路が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置し、処理回路は、それぞれの記憶回路から対応するプログラムを読み出す構成としてもよい。

【0085】

上記説明では、「プロセッサ」が各機能に対応するプログラムを記憶回路から読み出して実行する例を説明したが、実施形態はこれに限定されない。「プロセッサ」という文言は、例えば、CPU (Central Processing Unit) 、GPU (Graphics Processing Unit) 、特定用途向け集積回路 (Application Specific Integrated Circuit: ASIC) 、プログラマブル論理デバイス (例えば、単純プログラマブル論理デバイス (Simple Programmable Logic Device: SPLD) 、復号プログラマブル論理デバイス (Complex Programmable Logic Device: CPLD) 及びフィールドプログラマブルゲートアレイ (Field Programmable Gate Array: FPGA)) 等の回路を意味することができる。プロセッサが例えば CPU である場合、プロセッサは、記憶回路に保存されたプログラムを読み出して実行することで機能を実現する。一方、プロセッサがASICである場合、記憶回路にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限られず、複数の独立した回路を組み合わせて 1 つのプロセッサとして構成し、その機能を実現してもよい。さらに、図面における複数の構成要素を 1 つのプロセッサへ統合してその機能を実現してもよい。

【0086】

以上説明した少なくとも 1 つの実施形態によれば、ユーザの所望の条件に基づいたVR画像とカラー画像との合成を実行することができる。

【0087】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0088】

1: 医用情報処理装置、
10: 入出力I/F 、
12: 記憶部、
14: 処理回路、
140: 位置合わせ機能、
142: オーバーレイ機能、
144: 透明度設定機能、
146: 色味設定機能、
148: 色補間機能
2: X線撮像装置、
3: 撮像装置、
4: GUI 、
40: VRファイル名入力欄、
42: 重ね合わせデータ入力欄、
44: 透明度設定バー、
46: 色味設定バー、
48: 合成画像表示領域、
50: 角度制御ボックス、
52: 補正選択ボタン、
54: マッピング選択ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】