【解決手段】セグメンテーション装置3は、顎顔面領域または顎顔面の一部領域である顎顔面構成領域のデータが入力される入力部と、入力部に入力された顎顔面構成領域のデータと、予め生成された学習モデルとを用いて、生体的重要領域のセグメンテーションを行うとともに、顎顔面構成領域中の前記生体的重要領域の3次元的位置を算出する演算部と、演算部の算出結果に基づく情報を出力する出力部と、を備える。
前記学習モデルは、前記顎顔面構成領域のデータが入力されると、前記顎顔面構成領域中の前記生体的重要領域の外にある領域である生体的通常領域中の注目領域のセグメンテーションデータをさらに出力するように、前記教師データを用いて生成されたモデルであり、
前記演算部は、前記注目領域のセグメンテーションを行う、
請求項1に記載のセグメンテーション装置。
前記注目領域は、歯領域、前記歯領域に埋植された人工物の占める領域、顎骨と前記歯領域との境界領域、前記顎骨と前記人工物との境界領域、および、歯槽領域の少なくとも1つの領域であり、
前記学習モデルは、前記顎顔面構成領域のデータが入力されると、前記注目領域別にセグメンテーションデータを出力するように、前記教師データを用いて生成されたモデルである、
請求項2または3に記載のセグメンテーション装置。
前記第2の学習モデルは、歯列弓の湾曲に沿ったパノラマ断層画像および前記湾曲に交差するクロスセクション画像の少なくとも一方の画像が入力されると、前記生体的重要領域のセグメンテーションデータを出力するように、前記第2の教師データを用いて生成された学習モデルであり、
前記演算部は、前記第1の学習モデルを用いて取得された歯領域のセグメンテーションデータに対するスプライン曲線を設定し、設定された前記スプライン曲線に沿ったパノラマ断層画像、および、設定された前記スプライン曲線に交差するクロスセクション画像の少なくとも一方の画像を生成し、生成された画像と前記第2の学習モデルとを用いて前記生体的重要領域のセグメンテーションを行う、
請求項5に記載のセグメンテーション装置。
前記学習モデルは、歯領域のセグメンテーションデータおよび前記生体的重要領域のセグメンテーションデータが入力されると、前記要素間距離を出力するように、第3の教師データを用いて生成された第3の学習モデルを含み、
前記演算部は、前記歯領域のセグメンテーションデータと、前記生体的重要領域のセグメンテーションデータと、前記第3の学習モデルとを用いて、前記要素間距離を算出する、
請求項7または8に記載のセグメンテーション装置。
【発明を実施するための形態】
【0029】
以下、図面を参照しながら、本開示の実施形態について説明する。図において同一の要素には同一の符号を付し、重複する説明は繰り返さない。
【0030】
図1は、実施形態に係るセグメンテーション装置の概要を示す図である。この例では、セグメンテーション装置は、セグメンテーションシステムの構成要素である。セグメンテーションシステム1は、撮影装置2と、セグメンテーション装置3と、を含む。撮影装置2のユーザを、ユーザU2と称し図示する。セグメンテーション装置3のユーザを、ユーザU3と称し図示する。撮影装置2によって取得されたデータがセグメンテーション装置3で利用できるように、撮影装置2およびセグメンテーション装置3が構成される。そのようなデータの利用は、撮影装置2からセグメンテーション装置3への単方向通信、撮影装置2およびセグメンテーション装置3の間の双方向通信等によって実現されてよい。
【0031】
撮影装置2の例は、X線CT装置、MRI装置等である。撮影装置2がX線CT撮影装置である場合、撮影装置2は、ユーザU2に対してX線CT撮影を行う。撮影装置2がMRI装置である場合、撮影装置2は、ユーザU2に対してMRI撮影を行う。撮影対象は、ユーザU2の顎顔面構成領域である。顎顔面構成領域は、顎顔面領域または顎顔面の一部領域である。顎顔面領域は、上下の歯領域および口を含む顎領域である。顎顔面の一部領域は、顎顔面領域の一部の領域である。顎顔面の一部領域は、たとえば前記の上下の歯領域、歯を支持する役割を果たす顎領域等である。撮影を通して、撮影装置2は、顎顔面構成領域のデータを取得する。撮影装置2によって取得されたデータは、セグメンテーション装置3に送られる(入力される)。
【0032】
撮影装置2によって取得されてセグメンテーション装置3に入力されるデータは、プロジェクションデータであってよい。他にも、再構成データ、スライス画像データ、ボリュームレンダリング画像データ等がセグメンテーション装置3に入力されてよい。再構成データ、スライス画像データ、およびボリュームレンダリング画像データは、プロジェクションデータを加工したものであってよい。これらのデータは、X線CT撮影またはMRI撮影から得られたデータ(画像データ)である。本実施形態にてはX線CT撮影またはMRI撮影から得られた画像データを、撮影画像データと称することもある。
【0033】
本実施形態においては、撮影装置2等によってX線CT撮影またはMRI撮影で得られた一次的画像データを撮影生画像データと称する。また、撮影生画像データを加工して得られたデータを撮影加工画像データと称する。たとえば、撮影生画像データがプロジェクションデータである場合、プロジェクションデータを加工して得られた3次元画像データ、再構成データ、スライス画像データ、ボリュームレンダリング画像データ等は、撮影加工画像データの例である。プロジェクションデータを前処理して、前処理された画像データをさらに3次元画像データ、再構成データ、スライス画像データ、ボリュームレンダリング画像データ等に加工する場合もある。この場合の前処理画像データも撮影加工画像データの例である。撮影画像データは、このような撮影生画像データおよび撮影加工画像データを含み得る。
【0034】
撮影画像データは、必ずしも撮影装置2で撮影されたデータでなくてもよい。撮影画像データは、セグメンテーション装置3において処理可能なデータであればよく、他の撮影装置で撮影されたデータであってもよい。すなわち、記録媒体に格納された他の撮影装置で撮影されたデータが、撮影画像データとしてセグメンテーション装置3にインプットされるように構成されてもよい。
【0035】
撮影画像データは、撮影生画像データであってもよいし、撮影生画像データに由来する画像データであってもよい。また、撮影画像データは、撮影加工画像データであってもよいし、撮影加工画像データに由来する画像データであってもよい。
【0036】
撮影生画像データの加工の全部または一部は、撮影装置2によって実行されてもよいし、セグメンテーション装置3によって実行されてもよい。また、撮影生画像データの加工の全部または一部は、撮影装置2とセグメンテーション装置3とによって分担されてもよい。
【0037】
撮影加工画像データのさらなる加工の全部または一部は、撮影装置2によって実行されてもよいし、セグメンテーション装置3によって実行されてもよい。また、撮影加工画像データのさらなる加工の全部または一部は、撮影装置2とセグメンテーション装置3とによって分担されてもよい。
【0038】
再構成データには、プロジェクションデータを加工して被写体の被撮影領域の現状の再現を行うデータが含まれる。このデータは2次元画像データであってもよいし、3次元画像データであってもよい。2次元画像データの例はスライス画像データである。3次元画像データの例はボリュームデータやボリュームレンダリング画像データである。再構成データは、たとえば、ボクセルごとの測定値を示す。測定値の例は、CT値である。スライス画像データは、複数のスライス画像(スライス画像群)であってよい。再構成データは、たとえば公知の手法により、プロジェクションデータを利用して作られる。セグメンテーション装置3に入力されるデータフォーマットの例は、DICOM(Digital Imaging and COmmunications in Medicine)である。なお、プロジェクションデータ、再構成データ、スライス画像等の任意の組み合わせが、セグメンテーション装置3に入力されてもよい。
【0039】
セグメンテーション装置3は、撮影装置2によって取得された顎顔面構成領域のデータに対してセグメンテーションを行う。セグメンテーションは、顎顔面構成領域に含まれる生体的重要領域を分別、特定等することを含む。生体的重要領域は、顔面構成領域を通る血管、神経管、下顎管および下顎管を通る生体組織の少なくとも一つの領域である。セグメンテーションは、「クラスタリング」、「ラベリング」等とも称される。たとえば再構成データにおけるセグメンテーションでは、各ボクセルが顎顔面構成領域中のどの組織に対応するのか、が特定される。この場合のセグメンテーション結果は、各ボクセル(ボクセルの番号またはXYZ座標値等)と、組織を特定する情報(たとえば血管、神経管、下顎管、下顎管を通る生体組織等)と、を対応づけたデータであってよい。
【0040】
セグメンテーション装置3は、上述のセグメンテーションを行うとともに、顎顔面構成領域中の生体的重要領域の3次元的位置を算出する。算出結果に基づく情報が、ユーザU3に提示される。ユーザU3に提示される情報の例を、
図2を参照して説明する。
【0041】
図2は、略水平方向からみたときのユーザU2の顎顔面構成領域の断面画像である。この例では、生体的重要領域は、下顎管である。歯と下顎管とを含む領域(この例では円形の領域)がハイライトされ(周囲よりも明るく提示され)、さらに、歯から下顎管までを最短距離で結ぶ直線が提示されている。直線は、歯の根尖と下顎管とを結ぶ。このような直線は、歯の根尖を基準とした下顎管の位置を示す。最短距離が表れている位置における断面画像が選択提示されてよい。
【0042】
図1に戻り、セグメンテーション装置3は、プロセッサ(CPU等)、メモリ(ROM、RAM等)等を備えるコンピュータ装置であってよい。コンピュータ装置は、撮影装置2からのデータを直接または間接的に受け取ったり、ユーザU3の操作を受け付けたりするための入力インタフェースと、ユーザU3にセグメンテーション結果等の情報を提示するための出力インタフェースと、を備え得る。
図1に示される例では、セグメンテーション装置3を構成するコンピュータ装置180の本体182が、プロセッサ、メモリ等を備える。コンピュータ装置180のキーボード189や、本体182における撮影装置2からの通信ケーブルの接続部分が、入力インタフェースに相当する。コンピュータ装置180のディスプレイ188が、出力インタフェースに相当する。
【0043】
図3は、セグメンテーション装置の機能ブロックの例を示す図である。セグメンテーション装置3は、入力部32と、演算部34と、学習モデル36と、出力部38とを含む。
【0044】
入力部32は、顎顔面構成領域のデータが入力される部分(入力手段)である。入力部は、たとえば上述の入力インタフェースとしての機能を備えるように構成されてよい。キーボードやマウス等のようなユーザの物理操作を受け付ける入力インタフェースを「物理インタフェース」と呼んでもよい。
【0045】
演算部34は、入力部32に入力されたデータと、学習モデル36と、を用いて、生体的重要領域のセグメンテーションを行う部分(実行手段)である。
【0046】
演算部34は、学習モデル36にデータを入力する。学習モデル36に入力されるデータは、入力部32に入力された顎顔面構成領域のデータそのものであってもよいし、入力部32に入力された顎顔面構成領域のデータに由来するデータであってもよい。由来するデータは、前処理が施されたデータであってよい。前処理の例は、畳み込み、プーリング、トリミング等である。由来するデータは、一回以上、学習モデル36に入力されて学習モデル36から出力されたデータであってもよい。
【0047】
セグメンテーション装置3には、顎顔面構成領域の撮影画像データの入力を受けて学習モデル36に顎顔面構成領域の撮影画像データを送る学習モデル入力部361が設けられてもよい。また、学習モデル36は、学習モデル入力部361に接続されてもよい。入力部32が学習モデル入力部361を兼ねていてもよい。或いは、学習モデル入力部361と入力部32とは、それぞれ別個に設けられてもよい。学習モデル入力部361と入力部32とをそれぞれ別個に設ける場合、たとえば、入力部32に入力されたデータは、加工されずに学習モデル入力部361に自動的に入力されるように構成されてもよい。或いは、演算部34が、入力部32に入力された撮影画像データを加工した上で学習モデル入力部361に自動的に入力するように構成されてもよい。
【0048】
たとえば、撮影装置2によって取得されたプロジェクションデータがセグメンテーション装置3の入力部32に入力されてもよい。そして、演算部34が当該プロジェクションデータを加工して再構成データ、スライス画像データ、ボリュームレンダリング画像データ等の加工画像データを生成してもよい。そして、この加工画像データが、学習モデル入力部361を介して学習モデル36に自動的に入力されてもよい。入力部32に入力される撮影画像データは、撮影生画像データであってもよいし、撮影加工画像データであってもよい。学習モデル入力部361に入力される撮影画像データは、撮影生画像データであってもよいし、撮影加工画像データであってもよい。
【0049】
入力部32または学習モデル入力部361に入力されるデータは、たとえば、撮影時の管電流や管電圧等の撮影画像データの付随情報データを含んでもよい。
【0050】
演算部34は、上述のセグメンテーションを行うとともに、顎顔面構成領域中の生体的重要領域の3次元的位置を算出する部分(算出手段)である。3次元的位置は、たとえば再構成データの座標で特定される。演算部34は、生体的通常領域中の注目領域の3次元的位置も算出してよい。生体的通常領域は、顎顔面構成領域中の生体的重要領域の外にある領域である。注目領域は、歯領域、歯領域に埋植された人工物(金属補綴物等)の占める領域、顎骨と歯領域との境界領域、顎骨と人工物との境界領域、および歯槽領域の少なくとも1つの領域である。歯領域は、特定の(たとえば単一の)歯の領域であってよい。演算部34は、算出した生体的重要領域の3次元的位置および生体的通常領域の3次元的位置から、生体的重要領域と生体的通常領域との3次元的位置関係情報を生成してよい。また、演算部34は、算出した生体的重要領域の3次元的位置および注目領域の3次元的位置から、生体的重要領域と注目領域との3次元的位置関係情報を算出(出力、生成)してよい。3次元的位置関係情報の例は、要素間距離である。要素間距離の例は、生体的通常領域中の注目領域と生体的重要領域との間の距離である。生体的通常領域中の、注目領域の外にある領域を非注目領域と呼んでもよい。
【0051】
要素間距離の算出手法の例を説明する。たとえば、演算部34は、歯および下顎管の面どうしの間の距離を計算する。歯のボクセルごとに、下顎管との距離が計算されてもよい。要素間距離の算出に、学習モデル36が用いられてもよい。
【0052】
3次元的位置関係情報は、上述の要素間距離に限られない。たとえば、3次元的位置関係情報は、要素間距離の測定点となる2つの点(歯の面上の一点と下顎管上の一点等)であってよい。また、3次元的位置関係情報は、施術難易度であってもよい。施術難易度は、抜歯やインプラント等の施術における難易度であり、これについては後に
図15(a)〜20(b)を参照して説明する。
【0053】
学習モデル36は、予め生成された学習モデルである。セグメンテーション装置3の製造時以降にアップデートされた学習モデル36も、予め生成された学習モデルの一態様である。学習モデル36は、顎顔面構成領域のデータが入力されると、上述の生体的重要領域のセグメンテーションデータを出力するように、教師データを用いて生成(学習)される。
【0054】
学習モデル36の学習は、教師データを用いた機械学習(訓練)であってよい。機械学習には、SVM、ニューラルネットワーク、ディープラーニング等の様々な手法を用いることができる。学習モデル36がニューラルネットワークによって構成される場合、学習モデル36は、教師データによってチューニングされたニューラルネットワークの中間層のパラメータを含む学習済みモデルであってよい。
【0055】
教師データは、第1の教師データを含んでよい。第1の教師データは、顎顔面構成領域のデータと、生体的通常領域中の注目領域のセグメンテーションデータとを対応付けた教師データである。注目領域が歯領域(特定の歯の領域でもよい)である場合、第1の教師データは、顎顔面構成領域のデータと、歯領域のセグメンテーションデータ(つまり注目領域別のセグメンテーションデータ)と、を対応付けた教師データであってよい。第1の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、顎顔面構成領域のデータが入力されると、生体的通常領域中の注目領域のセグメンテーションデータを出力するようになる。
【0056】
教師データは、第2の教師データを含んでよい。第2の教師データは、顎顔面構成領域のデータと、生体的重要領域のセグメンテーションデータと、を対応付けた教師データである。第2の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、顎顔面構成領域のデータが入力されると、生体的重要領域のセグメンテーションデータを出力するようになる。顎顔面構成領域のデータにおいて、歯領域がセグメンテーションされていてもよい。顎顔面構成領域のデータ中の歯領域がセグメンテーションデータになっていれば、たとえば、後に
図11(a)〜
図11(c)を参照して説明するような歯列弓の湾曲に沿ったスプライン曲線の設定を容易にするなどの効果がある。
【0057】
第2の教師データは、歯列弓の湾曲に沿ったパノラマ断層画像および湾曲に交差するクロスセクション画像の少なくとも一方の画像と、生体的重要領域のセグメンテーションデータと、を対応付けた教師データであってもよい。このような第2の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、歯列弓の湾曲に沿ったパノラマ断層画像および湾曲に交差するクロスセクション画像の少なくとも一方の画像が入力されると、生体的重要領域のセグメンテーションデータを出力するようになる。
【0058】
教師データは、第3の教師データを含んでよい。第3の教師データは、生体的重要領域のセグメンテーションデータと、顎顔面構成領域の中における生体的重要領域の3次元的位置の情報と、を対応付けた教師データである。第3の教師データは、生体的通常領域中の注目領域のセグメンテーションデータおよび生体的重要領域のセグメンテーションデータと、3次元的位置関係情報(上述の要素間距離等)と、を対応付けたものとして構成されてもよい。第3の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、生体的重要領域のセグメンテーションデータが入力されると生体的重要領域の3次元的位置の情報を出力するようになる。また、学習モデル36は、生体的通常領域中の注目領域のセグメンテーションデータおよび生体的重要領域のセグメンテーションデータが入力されると、3次元的位置関係情報を出力するようになる。注目領域はたとえば歯領域であってよい。第3の教師データを、後述する仮想インプラント体のデータおよび生体的重要領域のセグメンテーションデータと、3次元的位置関係情報(上述の要素間距離等)とを対応付けたものに構成してもよい。第3の教師データを用いて学習モデル36の学習を行うことで、学習モデル36は、少なくとも、生体的重要領域のセグメンテーションデータが入力されると生体的重要領域の3次元的位置の情報を出力するようになる。また、仮想インプラント体のデータおよび生体的重要領域のセグメンテーションデータが入力されると、3次元的位置関係情報を出力するようになる。
【0059】
第3の教師データには、技師や歯科医がどの点とどの点との距離に着目するのかという情報が含まれてもよい。このような第3の教師データは、たとえば、下顎臼歯と下顎管とを対応づけた教師データであってよい。このような第3の教師データを用いて生成された学習モデル36は、技師や歯科医にとって望ましい態様で3次元的位置関係情報を出力するようになる。
【0060】
複数の教師データを用いて学習モデル36の学習を行う場合、一つの学習モデルだけを準備し、同じ学習モデルに対して異なる複数の教師データを用いた学習を行ってよい。あるいは、各教師データに対応する複数の学習モデルを準備し、各学習モデルに対して対応する教師データを用いた学習を行ってもよい。後者について、
図4(a)および
図4(b)を参照して説明する。
【0061】
図4(a)に示される学習モデル36Aは、学習モデルLM1、学習モデルLM2および学習モデルLM3を含む。
【0062】
学習モデルLM1は、顎顔面構成領域のデータが入力されると、生体的通常領域中の注目領域のセグメンテーションデータを出力するように、第1の教師データを用いて生成された第1の学習モデルである。注目領域はたとえば歯領域であってよい。顎顔面構成領域のデータは、入力部32または学習モデル入力部361に入力されたものであってよい。
【0063】
学習モデルLM2は、顎顔面構成領域のデータが入力されると、生体的重要領域のセグメンテーションデータを出力するように、第2の教師データを用いて生成された第2の学習モデルである。顎顔面構成領域のデータは、入力部32または学習モデル入力部361に入力されたものであってよい。第2の教師データが、歯列弓の湾曲に沿ったパノラマ断層画像および前記湾曲に交差するクロスセクション画像の少なくとも一方の画像と、生体的重要領域のセグメンテーションデータと、を対応付けた教師データである場合、学習モデルLM2は、歯列弓の湾曲に沿ったパノラマ断層画像および前記湾曲に交差するクロスセクション画像の少なくとも一方の画像が入力されると、生体的重要領域のセグメンテーションデータを出力するように生成される。
【0064】
学習モデルLM3は、顎顔面構成領域のデータと、学習モデルLM2を利用して得た生体的重要領域のセグメンテーションデータと、が入力されると、顎顔面構成領域の中における生体的重要領域の3次元的位置を特定し、特定された3次元的位置の情報を出力するように、第3の教師データを用いて生成された第3の学習モデルである。顎顔面構成領域のデータは、入力部32または学習モデル入力部361に入力されたものであってよい。学習モデルLM3は、生体的重要領域のセグメンテーションデータと共に、学習モデルLM1を利用して得られた生体的通常領域中の注目領域(たとえば歯領域)のセグメンテーションデータが入力されると、注目領域と生体的重要領域との3次元的位置関係情報を出力するように構成されてもよい。また、学習モデルLM3は、生体的重要領域のセグメンテーションデータと共に、仮想インプラント体のデータが入力されると、仮想インプラント体と生体的重要領域との間の3次元的位置関係情報を出力するように構成されてもよい。3次元的位置関係情報はたとえば要素間距離情報であってよい。
【0065】
学習モデルは、セグメンテーションのための学習モデルのほか、セグメンテーションではない処理のための学習モデルを備えてもよい。
【0066】
図4(b)に示される例では、学習モデル36は、セグメンテーションを主処理とする、すなわちセグメンテーション系処理を行うセグメンテーション系学習モデルSMのほか、セグメンテーションではない処理を主処理とする、すなわち非セグメンテーション系処理を行う非セグメンテーション系学習モデルASMを含んでよい。
【0067】
上述の第1から第3の学習モデルLM1〜LM3は、セグメンテーション系学習モデルSMの例である。非セグメンテーション系学習モデルASMの例は後述する。
【0068】
第1から第3の教師データの例について、
図5(a)〜
図8(c)を参照して説明する。
【0069】
図5(a)および
図5(b)に例示される第1の教師データでは、
図5(a)および
図5(b)に示される画像が互いに対応付けられている。
図5(a)は、略鉛直方向から見たときの顎顔面構成領域(具体的には歯領域およびその周辺領域)を含む画像である。
図5(b)は、
図5(a)の画像中の注目領域(具体的には歯領域)をセグメンテーションし、マスキングした画像である。マスキング部分以外の画像は取り除かれている。この例では、取り除かれた部分は、黒色に対応するデータ(所定のCT値等)で表現されている。
【0070】
図6(a)および
図6(b)に例示される第1の教師データでは、
図6(a)および
図6(b)に示される画像が互いに対応付けられている。
図6(a)は、歯領域およびその周辺領域のプロジェクションデータである。
図6(b)は、
図6(a)のプロジェクションデータから歯領域のデータを抽出することにより得られたプロジェクションデータである。当該プロジェクションデータにおいて、歯領域以外のデータは取り除かれている。
【0071】
図7(a)および
図7(b)に例示される第2の教師データでは、
図7(a)および
図7(b)に示される画像が互いに対応付けられている。
図7(a)は、顎顔面構成領域(具体的には歯領域のうちの一つの歯の断面が含まれた下顎領域)のクロスセクション画像である。
図7(b)は、
図7(a)のクロスセクション画像中の生体的重要領域(具体的には下顎管)をセグメンテーションし、マスキングした画像である。マスキング部分以外の画像は取り除かれている。この例では、取り除かれた部分は、黒色に対応するデータ(所定のCT値等)で表現されている。
【0072】
図示しないが、第2の教師データでは、先に説明したように、歯列弓の湾曲に沿ったパノラマ断層画像および湾曲に交差するクロスセクション画像の少なくとも一方の画像と、生体的重要領域のセグメンテーションデータと、が対応付けられていてもよい。
【0073】
なお、第2の教師データを用いた学習は、2次元画像データを用いて行われてもよいし、3次元画像データを用いて行われてもよい。2次元画像データと3次元画像データとの間の変換には、種々の公知のアルゴリズムが用いられてよい。他の教師データおよび学習についても同様である。
【0074】
第3の教師データでは、
図7(a)および
図7(c)に示される画像が互いに対応付けられている。
図7(c)の断面画像は、
図7(a)に示される画像中の生体的重要領域(具体的には下顎管)がセグメンテーションされてマークされた様子を示す。
【0075】
図8(a)〜
図8(c)に例示される第3の教師データでは、
図8(a)および
図8(b)に示される画像が互いに対応付けられている。
図8(a)は、略水平方向からみたときの顎顔面構成領域(具体的には歯領域の断面画像を含んだ下顎領域)の断面画像である。断面画像中において、生体的通常領域中の注目領域(具体的には特定の一本の歯)がセグメンテーションされている。図示の例では一方の歯だけがセグメンテーションされているが、複数の歯(たとえば歯領域全域)がセグメンテーションされていてもよい。
図8(a)の断面画像においては、生体的重要領域(具体的には下顎管)もセグメンテーションされている。学習モデルLM3は、このセグメンテーションデータの座標より、歯から下顎管までの最短距離を算出する。学習モデルLM3は、この演算で得た情報より、歯と下顎管との3次元位置関係を可視化画像として出力することができる。
図8(b)は、
図8(a)の断面画像中の注目領域である歯と生体的重要領域である下顎管との3次元的位置関係を示す画像である。
図8(b)においては、歯から下顎管までを最短距離で結ぶ直線が表示されている。この直線は、歯の根尖と下顎管とを結ぶものであり、歯の根尖を基準とした下顎管の位置を示す。
図8(b)の画像は、出力部38に画像として表示可能である。セグメンテーションデータの座標からの、歯から下顎管までの最短距離の算出や、歯と下顎管との3次元位置関係の画像化の処理は、演算部34の学習モデルLM3以外の要素によって実行されてもよい。
【0076】
図8(b)に示される画像は、歯と下顎管とがセグメンテーションされた画像となっているが、セグメンテーションを表示せずに、通常の断面画像に歯から下顎管までを最短距離で結ぶ直線のみを示し、
図8(c)のように表示してもよい。
図8(c)の画像は、
図2の画像と同様の画像である。ただし、
図8(c)の画像においては、ハイライトは省略されている。
【0077】
図3に戻り、出力部38は、演算部34の算出結果に基づく情報を出力する部分(出力手段)である。出力部38は、たとえば上述の出力インタフェースとしての機能を備えるように構成されてよい。出力インタフェースは、先に
図2を参照して説明した態様で、セグメンテーション結果をユーザU3に提示するディスプレイ(たとえば
図1のディスプレイ188)等を含み得る。
【0078】
図8(b)の画像に限らず、
図2、
図8(a)、および
図8(c)に示されるような断面の画像を、出力インタフェースの例としてのディスプレイ188に表示してよい。表示する断面が、
図2や
図8(a)〜
図8(c)に示されるような上述の最短距離が示される断面となるように(またはそのような表示を可能とする座標情報を演算部34に出力するように)、学習モデルLM3を訓練してもよい。この場合、根管が観察できる断層面になるように学習がなされてもよい。設定される断面が、
図8(a)〜
図8(c)に示されるような医師が従来より見慣れたパノラマ断層の断層面となるように、学習がなされてもよい。また、
図7(a)および
図7(c)に示されるような、医師が従来より見慣れたクロス断層の断層面となるように、学習がなされてもよい。また、
図7(a)および
図7(c)に示される断面の断層面を遠心近心方向に移動させて、根管が観察できる断層面になるように、学習がなされてもよい。
【0079】
図2に示される態様の他にも、さまざまな態様で情報が提示されてよい。たとえば、各ボクセルごとに、距離を色で表示してもよい。付近の極小点のみを表示してもよい。具体的な例としては、各ボクセルごとに、そのボクセルから下顎管までの距離を色で表示してもよい。たとえば10mmの距離を緑色、5mmの距離を黄色、0mmの距離を赤色等で、グラデーション表示してもよい。あるいは、歯のセグメンテーション結果を利用し、歯の表面の各ボクセルから下顎管までの距離を計算し、その距離が極小になるボクセルのみマークし、距離を表示するようにしてもよい。
【0080】
上述の赤色表示は即時危機回避必要度の高い報知態様である。一般的に、交通信号にても緑や青は即時危機回避必要度が低い報知態様であり、赤は即時危機回避必要度が高い報知態様であるといえる。この赤色表示は色彩によって報知態様を危機感の高いものとする例である。このように要素間距離が小さくなるほど報知態様を即時危機回避必要度が低いものから即時危機回避必要度の高いものとする構成が好適である。即時危機回避必要度を高める例としては、他にも、光報知にて表示する画像を危機感の高いイメージにすること、光報知にて光度を上げること(光度無しから有りにすることを含む)、光報知にて発光の間隔を小さくすること(間隔無しから有りにすることを含む)、音声報知にてボリュームを上げること(ボリューム無しから有りにすることを含む)、音声報知にて音の間隔を小さくすること(間隔無しから有りにすることを含む)、音声報知にて危機を告げる言葉を発すること、音楽の音声報知にて音楽を危機感や悲壮感の高いものにすることなど、様々にありうる。
【0081】
図9は、セグメンテーション装置において実行される処理の例を示すフローチャートである。
【0082】
ステップS1において、セグメンテーション装置3の入力部32に、撮影装置2によって取得された顎顔面構成領域のデータが入力される。たとえば先に説明した
図5(a)や
図6(a)に示されるような画像が、入力部32に入力される。
【0083】
ステップS2において、演算部34が、先のステップS1で入力された顎顔面構成領域のデータと、学習モデル36または学習モデル36Aと、を用いて、生体的通常領域中の注目領域のセグメンテーションを行う。たとえば、演算部34は、入力部32に入力された顎顔面構成領域のデータを学習モデル36または学習モデル36Aに入力することによって、歯領域のセグメンテーションデータを取得する。また、演算部34は、入力部32に入力された顎顔面構成領域のデータと、学習モデル36または学習モデル36Aと、を用いて、生体的重要領域のセグメンテーションを行う。生体的重要領域のセグメンテーションを行うためには、入力部32に入力される顎顔面構成領域のデータについて、注目領域(たとえば歯領域)をセグメンテーションしておいてもよい。
【0084】
より具体的なセグメンテーション手順の例を、
図10を参照して説明する。この例では、学習モデル36Aが用いられる。
図10に示されるステップS2aは、学習モデル36Aが学習モデルLM1および学習モデルLM2を含む場合に、
図9のステップS2として実行されてよい。ここでの学習モデルLM2は、歯列弓の湾曲に沿ったパノラマ断層画像および前記湾曲に交差するクロスセクション画像の少なくとも一方の画像が入力されると、生体的重要領域のセグメンテーションデータを出力するように生成された学習モデルであるものとする。
【0085】
ステップS2a1において、演算部34は、先のステップS1(
図9参照)で入力された顎顔面構成領域のデータを学習モデルLM1に入力することによって、歯領域(生体的通常領域の注目領域)のセグメンテーションデータを取得する。たとえば、
図5(b)や
図6(b)に示されるような画像が取得される。
【0086】
ステップS2a2において、演算部34は、先のステップS2a1で取得された歯領域のセグメンテーションデータに対する歯列弓の湾曲沿いの湾曲線を設定する。歯列弓の湾曲沿いの湾曲線は、歯列弓の占める略馬蹄形状の領域の湾曲に沿った湾曲線である。当該湾曲線の例として、スプライン曲線が挙げられる。演算部34は、たとえば
図11(a)に示されるように、歯列弓の湾曲に沿ったスプライン曲線SPを設定する。同図において、歯の部分のセグメンテーション領域SGも示されている。これに対応する歯領域のセグメンテーションデータは、再構成データ(つまり3次元データ)である。このため、スプライン曲線SPの設定にはさまざまな手法が用いられる。たとえば、歯列弓の湾曲に沿って、上下の各歯の頬舌方向の中央を通るようにスプライン曲線SPが設定されてよい。スプライン曲線SPは、たとえば、
図11(a)に示されるように、口を閉じたときの咬合面に平行な面において各歯の頬舌方向の中央を通るように設定されてよい。上下の歯のうち下の歯を代表して用いてスプライン曲線SPが設定されてよい。下顎に位置する下顎管は下の歯に近いことから、下の歯にフォーカスしたスプライン曲線SPを用いるメリットがある。その場合、下の各歯の中央を通るようにスプライン曲線SPが設定されてよい。また、根尖に沿ってスプライン曲線が設定されてもよい。また、自動で教師データが作成および修正されてよい。すなわち、AIなどを、学習モデルに教材を与えるように構築して教師データの生成や修正が行われるようにしてもよい。また、上述のようにして得られたスプライン曲線SPを手作業で補正し、補正されたデータを入力部32に入力することで、教師データおよび機械学習の精度の向上を図ってもよい。
【0087】
ステップS2a3において、演算部34は、先のステップS2a2で設定したスプライン曲線SPに沿ったパノラマ断層画像と、スプライン曲線SPに交差するクロスセクション画像と、の少なくとも一方の画像を生成する。パノラマ断層画像は、歯列弓の湾曲沿いの湾曲線に沿った断層面の画像の例である。クロスセクション画像は、歯列弓の湾曲沿いの湾曲線に交差する断層面の画像の例である。歯列弓の湾曲沿いの湾曲線に沿った断層面の画像や歯列弓の湾曲沿いの湾曲線に交差する断層面の画像は、歯列弓の湾曲に対する断面の設定をした断層面の画像である。生成されるパノラマ断層画像の例を、
図12(a)および
図12(b)を参照して説明する。
図12(a)は、歯列弓の湾曲に沿ったスプライン曲線SPが設定された画像である。
図12(b)は、
図12(a)のスプライン曲線SPに沿ったパノラマ断層画像(パラノミック画像)の例を示す。生成されるクロスセクション画像の例を、
図12(a)、
図12(c)、
図12(d)および
図12(e)を参照して説明する。
図12(c)〜
図12(e)の各々は、
図12(a)のスプライン曲線SP上の異なる個所における、スプライン曲線SPに直交する断層画像を示す。
【0088】
ステップS2a4において、演算部34は、先のステップS2a3で生成されたパノラマ断層画像および/またはクロスセクション画像を学習モデルLM2に入力することによって、生体的重要領域のセグメンテーションデータを取得する。
【0089】
図10の例では、ステップS2a4において、ステップS2a1〜S2a3の処理を経て得られた、歯列弓の湾曲に対する断面の設定をした断層面の画像を、学習モデルLM2に入力している。ただし、学習モデルLM2は、このような処理がされていない顎顔面構成領域のデータから、当該顎顔面構成領域中の生体的重要領域を直接判別してセグメンテーションデータを取得するように訓練されてもよい。
【0090】
図9に戻り、ステップS3において、演算部34が、先のステップS2のセグメンテーション結果に基づいて、顎顔面構成領域中の生体的重要領域の3次元位置を算出する。顎顔面構成領域中の生体的重要領域と注目領域との3次元位置関係情報(上述の要素間距離等)を算出するようにしてもよい。
【0091】
生体的重要領域の3次元位置の算出において、生体的重要領域のセグメンテーションデータと、学習モデル36Aの学習モデルLM3と、が用いられてよい。この場合、演算部34は、生体的重要領域のセグメンテーションデータを学習モデルLM3に入力することによって、顎顔面構成領域中の生体的重要領域の3次元的位置の情報を取得する。
【0092】
要素間距離の算出において、歯領域のセグメンテーションデータと、生体的重要領域のセグメンテーションデータと、学習モデル36Aの学習モデルLM3と、が用いられてよい。この場合、演算部34は、歯領域のセグメンテーションデータおよび生体的重要領域のセグメンテーションデータを学習モデルLM3に入力することによって、要素間距離を取得する。歯領域のセグメンテーションデータは、たとえば先のステップS2において学習モデルLM1を用いて取得されてよい。生体的重要領域のセグメンテーションデータは、先のステップS2において取得される。
【0093】
ステップS4において、出力部38が、先のステップS3の算出結果に基づく情報を出力する。出力には、可視化画像の表示が含まれてよい。出力される情報の例は、生体的重要領域の3次元位置情報や、注目領域と生体的重要領域との3次元位置関係情報である。たとえば、生体的重要領域の3次元位置情報の出力については、
図7(c)のような画像のデータを出力する。
図7(c)は、クロスセクション画像である。
図7(c)において、下顎管の位置がマーキングされて示されている。このように、クロスセクション画像によれば、下顎管が分かりやすく示される。ステップS4において注目領域と生体的重要領域との3次元位置関係情報を出力する例として、先に
図2を参照して説明したような画像が提示される。
図2の直線は要素間距離を示すので、要素間距離の情報が提示されることになる。別の例は先に説明した
図8(b)または
図8(c)である。
【0094】
歯列弓の湾曲沿いの湾曲線は、必ずしも歯列弓の湾曲に沿って上下の各歯の頬舌方向の中央に定められなくともよい。たとえば、当該湾曲線は、歯列弓領域の湾曲に沿う線であればよく、歯列弓領域の頬舌の頬側(または頬側寄り)に定められてもよい。或いは、当該湾曲線は、頬舌の舌側(または舌側寄り)に定められてもよい。或いは、当該湾曲線は、頬舌の歯列弓領域をわずかに外れた(たとえば5mm以内で外れた)頬側近傍(または舌側近傍)に定められてもよい。
【0095】
パノラマ断層画像のパノラマ断層およびクロスセクション画像のクロスセクションの設定例を、
図11(b)および
図11(c)を用いて更に説明する。
【0096】
頭部の頭頂側を上、頸部側を下と考える。今、歯列弓と交差し、体軸に直交または略直交するいずれかの面上で、一本のスプライン曲線SPが定まったとする。
図11(b)に示されるように、このスプライン曲線SPから上と下に歯領域が充分含まれるように2次元に拡がる領域をパノラマ断層PN1として設定することができる。このパノラマ断層PN1は従来よりパノラマ断層と定められてきた周知領域に設定されてよい。クロスセクションCRは、
図11(b)に示されるようにパノラマ断層PN1に交差する面として設定されてよい。クロスセクションCRは、パノラマ断層PN1と直交してもよい。
【0097】
図6(b)に示されるように、標準的な歯の並びとして、前歯領域については、歯冠に対して根尖が頭部の後ろに寄って傾斜している(いわゆる前突となっている)ことが多い。このため、
図11(c)に示されるように、上述したような形状に適合した前突のパノラマ断層PN2が設定されてもよい。
図11(a)のような処理を根尖と歯冠との間で複数層行うことにより、上と下の間で複数のスプライン曲線を得てもよい。また、この複数のスプライン曲線をつなぐ処理をすることで、結果的に
図11(b)または
図11(c)に示されるようなパノラマ断層が設定されてもよい。また、たとえば、
図11(b)に示されるようなパノラマ断層PN1を一旦設定し、自動または手動でパノラマの断層が鮮明に結像する箇所を調整して、たとえば
図11(c)に示されるようなパノラマ断層PN2になるように変形調整するようにしてもよい。
【0098】
ユーザU2によっては、無歯顎の場合や、全ての歯又は多くの歯が喪失している場合もあり得る。そのような場合にも対処可能とするために、顎骨領域のセグメンテーションが行われてもよい。たとえば、
図11(d)に示されるように、顎骨領域がセグメンテーションされてもよい。
図11(d)は、下顎骨のセグメンテーションのデータの例を示している。図示にては、解りやすい図とするために、下顎の歯列の根尖に近い領域を選んでいるが、歯冠に近い領域であってもよい。つまり、学習モデルが対処できるのであれば、いかようにも適宜の範囲であってよい。顎骨領域のセグメンテーションデータSGJに対してスプライン曲線SPが設定される。スプライン曲線は、歯列弓に対して設定される場合と同様に、顎骨の頬舌方向の中央を通るように設定されてよい。スプライン曲線は、たとえば口を閉じたときの咬合面に平行な面において頬舌方向の中央を通るように設定されてよい。
【0099】
以上説明したセグメンテーション装置3は、たとえば次のように特定される。セグメンテーション装置3は、入力部32と、演算部34と、学習モデル36または学習モデル36Aと、出力部38とを含む。入力部32には、顎顔面構成領域のデータが入力される(ステップS1)。演算部34は、入力部32に入力された顎顔面構成領域のデータと、予め生成された学習モデル36または学習モデル36Aと、を用いて生体的重要領域のセグメンテーションを行うとともに(ステップS2)、顎顔面構成領域中の生体的重要領域の3次元的位置を算出する(ステップS3)。出力部38は、演算部34の算出結果に基づく情報を出力する(ステップS4)。学習モデル36または学習モデル36Aは、X線CT装置またはMRI装置によって取得されるプロジェクションデータおよび再構成データの少なくとも一方のデータ、または当該データに由来するデータなどの顎顔面構成領域のX線CT撮影またはMRI撮影から得られた画像データ(顎顔面構成領域のデータ)が入力されると、生体的重要領域のセグメンテーションデータを出力するように、教師データを用いて生成された学習モデルである。
【0100】
セグメンテーション装置3によれば、顎顔面構成領域と、予め生成された学習モデル36または学習モデル36Aとを用いて、生体的重要領域のセグメンテーションが行われる。学習モデル36または学習モデル36Aは、顎顔面構成領域のデータが入力されると、生体的重要領域のセグメンテーションデータを出力するように、教師データを用いて生成された学習モデルである。したがって、撮影装置2から得られた画像データから、生体的重要領域をセグメンテーションすることができる。このように学習モデル36または学習モデル36Aを用いてセグメンテーションを行うことにより、たとえばCT値や濃度値などに基づいて数学的にセグメンテーションを行う場合よりも、セグメンテーション精度を向上できる可能性が高まる。精度が向上することで、人の介入を不要にできる可能性も高まる。
【0101】
顎顔面構成領域中の生体的重要領域の外にある領域を生体的通常領域としたとき、学習モデル36または学習モデル36Aは、顎顔面構成領域のデータが入力されると、注目領域のセグメンテーションデータをさらに出力するように、教師データを用いて生成された学習モデルであってよい。また、演算部34は、注目領域のセグメンテーションを行ってよい(ステップS2)。これにより、顎顔面構成領域から、注目領域をセグメンテーションすることができる。
【0102】
演算部34は、生体的重要領域と注目領域との3次元的位置関係情報を算出(出力、生成)してよい(ステップS3)。これにより、生体的重要領域と注目領域との3次元的位置関係を知ることができる。
【0103】
注目領域は、歯領域、歯領域に埋植された人工物の占める領域、顎骨と歯領域との境界領域、顎骨と人工物との境界領域、および、歯槽領域の少なくとも1つの領域であってよい。学習モデル36または学習モデル36Aは、顎顔面構成領域のデータが入力されると、注目領域別にセグメンテーションデータを出力するように、教師データを用いて生成されていてよい。これにより、顎顔面構成領域から、注目領域別にセグメンテーションを行うことができる。
【0104】
学習モデル36Aは、学習モデルLM1および学習モデルLM2を含んでよい。学習モデルLM1は、顎顔面構成領域のデータが入力されると、歯領域のセグメンテーションデータを出力するように、第1の教師データを用いて生成された第1の学習モデルである。学習モデルLM2は、顎顔面構成領域のデータおよび歯領域のセグメンテーションデータが入力されると、生体的重要領域のセグメンテーションデータを出力するように、第2の教師データを用いて生成された第2の学習モデルである。演算部34は、入力部32に入力された顎顔面構成領域のデータと学習モデルLM1とを用いて歯領域のセグメンテーションデータを取得し(ステップS2a1)、取得された歯領域のセグメンテーションデータと入力部32に入力された顎顔面構成領域のデータと学習モデルLM2とを用いて生体的重要領域のセグメンテーションを行ってよい(ステップS2a2〜S2a4)。このような順に学習モデルLM1および学習モデルLM2を組み合わせて用いることで、それらの学習モデルを単独で用いる場合よりも、セグメンテーション精度を向上できる可能性がさらに高まる。特に歯領域にフォーカスしてセグメンテーションを行う分、他の領域と併せてセグメンテーションを行う場合よりも、セグメンテーション精度が向上する。
【0105】
学習モデルLM2は、歯列弓の湾曲に沿ったパノラマ断層画像および湾曲に交差するクロスセクション画像の少なくとも一方の画像が入力されると、生体的重要領域のセグメンテーションデータを出力するように、第2の教師データを用いて生成された学習モデルであってよい。演算部34は、学習モデルLM1を用いて取得した歯領域のセグメンテーションデータに対するスプライン曲線を設定し(ステップS2a2)、設定されたスプライン曲線に沿ったパノラマ断層画像、および、設定されたスプライン曲線に交差するクロスセクション画像の少なくとも一方の画像を生成し(ステップS2a3)、生成された画像と学習モデルLM2とを用いて生体的重要領域のセグメンテーションを行ってよい(ステップS2a4)。これにより、パノラマ断層画像、クロスセクション画像等において生体的重要領域のセグメンテーションを行うことができる。断層画像およびクロスセクション画像等の画像上では、生体的重要領域(血管、神経管、下顎管および下顎管を通る生体組織)が分かりやすく提示される(
図12(b)〜
図12(e)参照)。
【0106】
演算部34は、注目領域と生体的重要領域との間の距離を要素間距離として算出してよい(ステップS3)。これにより、注目領域と生体的重要領域との間の具体的な距離を求めることができる。
【0107】
出力部38は、演算部34によって算出された要素間距離の情報を表示してよい(ステップS4)。これにより、要素間距離の情報を知ることができる。
【0108】
学習モデル36Aは、学習モデルLM3を含んでよい。学習モデルLM3は、歯領域のセグメンテーションデータおよび生体的重要領域のセグメンテーションデータが入力されると、要素間距離を出力するように、第3の教師データを用いて生成された第3の学習モデルである。演算部34は、歯領域のセグメンテーションデータと、生体的重要領域のセグメンテーションデータと、学習モデルLM3とを用いて、要素間距離を算出してよい(ステップS3)。このように第3の学習モデルを利用して要素間距離を算出することで、要素間距離の算出精度を向上できる可能性が高まる。
【0109】
学習モデルの生成は、たとえば学習装置を用いて行うことができる。学習装置は、プロセッサ(CPU等)、メモリ(ROM、RAM等)等を備えるコンピュータ装置であってよい。
図13に示される例では、学習装置4は、その機能ブロックとして、入力部42と、学習部44と、学習モデル46と、出力部48とを含む。学習部44は、入力部42に入力された教師データを用いて、学習モデル46の学習を行う。学習モデル46は、出力部48から出力される。
【0110】
たとえば、第1の教師データが入力部42に入力される。学習部44は、入力部42に入力された第1の教師データを用いて学習モデル46の学習を行う。学習モデル46は、出力部48から出力される(取り出される)。出力された学習モデル46は、学習モデル36または36A(より具体的には学習モデルLM1)としてセグメンテーション装置3に実装されてよい。第2の教師データおよび第3の教師データ並びに学習モデルLM2および学習モデルLM3についても同様である。
【0111】
なお、学習モデル36(
図3および
図4(b)参照)または学習モデル36A(
図4(a)参照)は、セグメンテーション装置3の外部に設けられていてもよい。たとえば、外部サーバ(不図示)に学習モデル36または学習モデル36Aが設けられている場合には、セグメンテーション装置3は、当該外部サーバと通信可能に構成されてよい。セグメンテーション装置3の演算部34は、通信によって、外部サーバ内の学習モデル36または学習モデル36Aを用いてよい。
【0112】
以上、本開示のいくつかの実施形態を説明したが、本開示は上記実施形態に限定されない。たとえば、学習モデルを用いた処理のいくつかは、アルゴリズムを用いた処理に置き換えられてよい。ここでのアルゴリズムは、学習モデルを用いないアルゴリズムを意味する。アルゴリズムには、用途に応じた種々の公知のアルゴリズムを用いられてよい。一方で、アルゴリズムを用いた処理のいくつかは、学習モデルを用いた処理に置き換えられてよい。さまざまなバリエーションを含む全体像の例を、
図14を参照して説明する。なお、
図14では、これまで説明したような機械学習を用いて生成された学習モデル、さらには、その学習モデルの生成に行われる学習を、「機械学習」と称し図示している。すなわち、
図14中の「機械学習」は、学習モデル自体および学習行為のいずれをも含みうる概念で用いられる。
【0113】
図14に示される推論フローの例において、フローF1は、CT再構成画像の取得を示す。たとえば、先に説明した撮影装置2によって取得されたプロジェクションデータを用いて生成されたCT再構成画像が、セグメンテーション装置3の入力部32に入力される。
【0114】
フローF2は、フローF1で取得されたCT再構成画像を用いた機械学習を示す。この機械学習は、歯のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第1の教師データが用いられてよい。
【0115】
フローF3は、フローF2の機械学習を用いた歯のセグメンテーションを示す。歯のセグメンテーションにより、たとえば、
図6(a)および
図6(b)に示されるような画像が得られる。
【0116】
フローF4は、フローF3で得られた歯のセグメンテーションデータを用いた機械学習またはアルゴリズムを示す。この機械学習またはアルゴリズムは、スプライン曲線を生成するように構成されている。機械学習には、たとえば、少なくとも先に説明した第3の教師データが用いられてよい。上記アルゴリズムには、種々の公知のアルゴリズムが用いられてよい。
【0117】
フローF5は、フローF4の機械学習またはアルゴリズムを用いたスプライン曲線の生成を示す。たとえば
図11(a)〜
図11(d)に示されるようなスプライン曲線が生成される。
【0118】
フローF6は、フローF5で生成されたスプライン曲線を用いたアルゴリズムを示す。このアルゴリズムは、パノラマ断層画像またはクロスセクション画像を生成するように構成されている。アルゴリズムには、種々の公知のアルゴリズムが用いられてよい。
【0119】
フローF7は、フローF6のアルゴリズムを用いたパノラマ断層画像またはクロスセクション画像の生成を示す。たとえば
図12(b)に示されるようなパノラマ断層画像または
図12(c)〜
図12(e)に示されるようなクロスセクション画像が生成される。
【0120】
フローF8は、フローF7で生成されたパノラマ断層画像またはクロスセクション画像を用いた機械学習を示す。この機械学習は、パノラマ断層画像またはクロスセクション画像での下顎管、血管・神経管等の生体的重要領域のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第2の教師データが用いられてよい。
【0121】
フローF9は、フローF8の機械学習を用いた生体的重要領域のセグメンテーションを示す。たとえば
図2や
図7(b)に示されるような画像が生成される。
【0122】
フローF10は、フローF9の生体的重要領域のセグメンテーション結果を用いたアルゴリズムを示す。このアルゴリズムは、セグメンテーションされた生体的重要領域を含むパノラマ画像またはクロスセクション画像のデータを、ボリューム上のセグメンテーションデータへと変換するように構成されている。アルゴリズムには、種々の公知のアルゴリズムが用いられてよい。
【0123】
フローF11は、フローF1のCT再構成画像を用いた機械学習を示す。この機械学習は、生体的重要領域のセグメンテーションを行うように構成されている。機械学習には、たとえば、少なくとも先に説明した第2の教師データが用いられてよい。
【0124】
フローF12は、フローF10のアルゴリズムまたはフローF11の機械学習による生体的重要領域のセグメンテーションを示す。たとえば
図2や
図7(b)に示されるような画像のデータが生成される。
【0125】
フローF13は、フローF3の歯のセグメンテーション結果またはフローF12の生体的重要領域のセグメンテーション結果を用いた、機械学習またはアルゴリズムを示す。この機械学習またはアルゴリズムは、歯と生体的重要領域との間の距離を計測(算出)するように構成されている。機械学習には、たとえば、少なくとも先に説明した第3の教師データが用いられてよい。アルゴリズムには、種々の公知のアルゴリズムが用いられてよい。
【0126】
フローF14は、フローF13の機械学習またはアルゴリズムを用いた歯と生体的重要領域との距離の計測を示す。たとえば
図2に示されるような歯から下顎管までを最短距離で結ぶ直線の長さが計測される。
【0127】
セグメンテーション装置3の応用例を説明する。はじめに抜歯への応用例を説明し、次に、インプラント施術への応用例を説明する。
【0128】
セグメンテーション装置3は、抜歯の支援に供される装置(抜歯支援装置)であってよい。先に説明した生体的重要領域と生体的通常領域との3次元的位置関係情報(要素間距離等)は、抜歯の判断材料となりうるからである。抜歯支援装置としてのセグメンテーション装置3は、これまで説明したセグメンテーションに加えて、さらに以下の処理を行うように構成される。
【0129】
セグメンテーション装置3は、ユーザU3による抜歯対象の歯の指定を受け付ける。たとえば、出力部38が、歯領域の画像(たとえば
図5(a)や
図6(b)参照)を提示する。入力部32は、歯領域中の特定の歯を指定するためのユーザU3による操作を受け付ける。
【0130】
セグメンテーション装置3は、指定された歯(対象歯)の座標と、その近傍に位置する下顎管の座標と、を算出する。そして、セグメンテーション装置3は、算出された座標に基づいて、対象歯と下顎管との間の最短距離を、要素間距離として算出する。これらの処理は、演算部34によって実行される。
【0131】
また、演算部34は、要素間距離に応じた抜歯難易度を算出する。要素間距離が大きいほど抜歯難易度は小さくなり、要素間距離が小さいほど抜歯難易度は大きくなる。要素間距離の大小判断には、閾値判断が用いられてよい。この場合、算出された要素間距離と予め設定された閾値とが比較される。閾値は、対象歯が下顎管に近接する領域に位置しているか否かを判断するための値(下顎管近接注意領域の閾値)である。これらの処理は、演算部34によって実行される。
【0132】
セグメンテーション装置3は、閾値判断の結果を提示する。たとえば、算出された抜歯難易度を示す数値および/または画像が表示される。画像においてヒートマップが表示されてもよい。ヒートマップは、上述の難易度に応じた態様で表示されてよい。このようなヒートマップ表示により、たとえば難易度が高いことを知らせる警報を発することができる。これらの表示は、出力部38によって実行される。
【0133】
抜歯の例は、下顎骨にある智歯や大臼歯の抜歯である。智歯や大臼歯の歯根近傍には、下歯槽神経や下歯槽動脈などが通っている下顎管が通っているケースがある。症例によっては、完全に隣接していたり、下顎管内に侵入していたりするケースもあり、これを損傷した場合はまひなどの重大な障害が残るケースがある。上述の手法によれば、施術前に抜歯難易度が示されるので、抜歯における下顎管損傷のリスクを低減できる。これについて、
図15(a)〜17(b)を参照して説明する。
【0134】
図15(a)および
図15(b)には、生体的重要領域および注目領域として、下顎管51および歯52が例示される。
図15(a)は、歯列弓横断方向からみた画像である。
図15(b)は、歯列弓縦断方向からみた画像である。以降の
図16(a)〜
図20(b)についても同様である。
図15(a)および
図15(b)において、要素間距離Dは、下顎管51と歯52との間の距離である。この例では、生体的通常領域54中の歯52と生体的通常領域54の内部に位置する下顎管51との間の3次元位置関係が示され、非注目領域54Aでの歯52と下顎管51との間の3次元位置関係が示されている。この例では、歯52の歯根部分が最も下顎管51の近くに位置しており、そこから下顎管51までの距離が要素間距離Dとなる。
【0135】
図16(a)および
図16(b)に示される例では、歯52は水平埋伏知歯であり、歯の側部分が最も下顎管51の近くに位置しており、そこから下顎管51までの距離が要素間距離となる。この例では、
図15(a)および
図15(b)と比較して、要素間距離が短くなっている。下顎管51と歯52との間の領域Haが、ヒートマップで示される。
【0136】
図17(a)および
図17(b)に示される例も同様に歯52が水平埋伏知歯である。この例では、
図16(a)および
図16(b)と比較して、要素間距離がさらに短くなっている。下顎管51と歯52との間の領域Hbが、ヒートマップで示される。領域Hbを示すヒートマップは、領域Ha(
図16(a)および
図16(b)参照)を示すヒートマップよりも強調表示(たとえばより濃い赤色で表示)されてよい。
【0137】
セグメンテーション装置3は、インプラント施術の支援に供される装置(インプラント施術支援装置)であってよい。先に説明した生体的重要領域と生体的通常領域との3次元的位置関係情報(要素間距離等)は、インプラント施術の判断材料となり得るからである。インプラント施術支援装置としてのセグメンテーション装置3は、先に説明したセグメンテーションに加えて、さらに以下の処理を行うように構成される。
【0138】
セグメンテーション装置3は、ユーザU3による施術対象位置の指定を受け付ける。たとえば、出力部38がユーザU2の顎顔面構成領域の画像を提示する。入力部32は、画像中の特定の位置を施術対象位置として指定するためのユーザU3による操作(ユーザ操作)を受け付ける。
【0139】
セグメンテーション装置3は、指定された施術対象位置に応じて、顎顔面構成領域の画像に対する施術対象位置の指標を提示する。指標は、インプラント体を示す指標であってよい。この処理は、出力部38によって実行される。
【0140】
セグメンテーション装置3は、提示された指標を移動させるための操作(移動操作)を受け付ける。たとえば、入力部32が、ユーザU3による移動操作を受け付け、出力部38が移動操作に応じて指標を移動提示する。
【0141】
セグメンテーション装置3は、生体的重要領域と施術対象位置の指標との位置関係を算出する。位置関係の例は、要素間距離である。この処理は、演算部34によって実行される。
【0142】
セグメンテーション装置3は、ユーザU3による仮想インプラント体の選定を受け付ける。たとえば、出力部38が複数のインプラント体候補を提示する。入力部32は、インプラント体候補中の特定のインプラント体を選定するためのユーザU3による操作を受け付ける。
【0143】
セグメンテーション装置3は、選定された仮想インプラント体の、インプラント埋入想定位置への挿入・配置をシミュレーションする。この処理は、演算部34によって実行される。シミュレーションは、再構成データ、STL(Stereolithography)データ等を用いて行われてよい。
【0144】
セグメンテーション装置3は、挿入・配置シミュレーションされた仮想インプラント体の座標と、近傍に位置する下顎管の座標と、を算出する。そして、セグメンテーション装置3は、算出された座標に基づいて、仮想インプラント体と下顎管との間の最短距離を、要素間距離として算出する。これらの処理は、演算部34によって実行される。
【0145】
また、演算部34は、要素間距離に応じたインプラント施術難易度を算出する。要素間距離が大きいほどインプラント施術難易度は小さくなり、要素間距離が小さいほどインプラント施術難易度は大きくなる。要素間距離の大小判断には、閾値判断が用いられてよい。閾値は、入力においてユーザU3が定めて入力してもよいが、単数または複数の臨床専門医の見解から最適な閾値を抽出するようにしてもよいし、インターネット情報などのビッグデータから最適な閾値を機械学習して定めるようにしてもよい。閾値は、たとえば、αmmのように定めることができ、αの値は様々に考えうる。αの例としては、5、4、3、2、1や、5〜4、4〜3、3〜2、2〜1、1以下など、また、小数点を含む形などに定めうる。この場合、算出された要素間距離と予め設定された閾値とが比較される。閾値は、仮想インプラント体が埋入された場合に、仮想インプラント体が下顎管に近接する領域に位置しているか否かを判断するための値(下顎管近接注意領域の閾値)である。なお、仮想インプラント体が下顎管と重なる場合には、要素間距離はマイナスの値となりうるが。このような値に対しても閾値判断は可能である。たとえば、インプラントされたときのインプラント体の位置が下顎管に近いかまたは下顎管と重なる場合に、インプラント施術難易度が高いと判断されてよい。これらの処理は、演算部34によって実行される。
【0146】
セグメンテーション装置3は、生体的通常領域の画像と生体的重要領域のセグメンテーションデータの画像との合成画像を表示してよい。生体的通常領域の画像は、演算部34によって生成される。合成画像は、出力部38によって提示される。セグメンテーション装置3は、インプラント体のみ抽出したボリュームと、下顎管のみ抽出したボリュームと、を入力し、両者間の距離を算出し、施術難易度を出力してもよい。
【0147】
セグメンテーション装置3は、閾値判断の結果を提示する。たとえば、算出されたインプラント施術難易度を示す数値および/または画像が表示される。画像においてヒートマップが提示されてもよい。ヒートマップは、上述の難易度に応じた態様で提示されてよい。このようなヒートマップ提示により、たとえば難易度が高いことを知らせる警報を発することができる。これらの提示は、出力部38によって実行される。
【0148】
セグメンテーション装置3は、利用可能なインプラント体の情報を提示してよい。たとえば、演算部34によるインプラント施術難易度の算出結果から利用可能なインプラント体情報を、出力部38が提示する。
【0149】
インプラント施術の例は、下顎臼歯部(顎骨臼歯部)へのインプラント埋入である。インプラント体は、失われた(もしくは抜歯された)下顎臼歯部に埋入される。埋入後のインプラント体から下顎管までの距離を十分に配慮して施術を行う必要がある。上述の手法によれば、施術前にインプラント施術難易度が示されるので、インプラント施術における下顎管損傷のリスクを低減できる。これについて、
図18(a)〜
図20(b)を参照して説明する。
【0150】
図18(a)および
図18(b)では、生体的重要領域としての下顎管51および仮想インプラント体53が例示される。下顎管51は、生体的通常領域54の内部に位置している。仮想インプラント体53は、下顎管51に対し、非注目領域54Aにおける両者間の距離をとって生体的通常領域54に挿入されたように配置されている。要素間距離Dは、下顎管51と仮想インプラント体53との間の距離である。この例では、仮想インプラント体53の最深部分が最も下顎管51の近くに位置しており、そこから下顎管51までの距離が要素間距離Dとなる。仮想インプラント体53の配置は、ユーザU3による操作によって定められてもよい。
【0151】
図19(a)および
図19(b)に示される例では、要素間距離が比較的短くなっている。下顎管51と仮想インプラント体53との間の領域Hcが、ヒートマップで示される。
【0152】
図20(a)および
図20(b)に示される例では、
図19(a)および
図19(b)の例と比較して、要素間距離がさらに短くなっている。下顎管51と仮想インプラント体53との間の領域Hdが、ヒートマップで示される。領域Hdを示すヒートマップは、領域Hc(
図19(a)および
図19(b)参照)を示すヒートマップよりも強調表示されてよい。
【0153】
さらに、セグメンテーション装置3は、インプラント体挿入のための顎骨の穿孔に使用するドリル、穿孔深さ、方向等を提示してよい。たとえば、セグメンテーション装置3は、選定されたインプラント体を挿入するための穿孔に適した推奨ドリルを提示してよい。下顎管への近接をあらかじめ考慮した(たとえば所定のマージンが確保された)穿孔深さ、方向が提示されてよい。
【0154】
セグメンテーション装置3は、インプラント体の予定挿入位置、下顎管の座標、下顎管から歯槽骨頂までの距離、皮質骨の厚さ、骨密度、骨梁構造、CT値、ライブラリとして保有する予定挿入部位の咬合荷重等などをもとに、ライブラリにある仮想インプラント体から候補を推奨するように構成されてもよい。また、自動的に最適な位置に仮想インプラント体を配置するように構成されてもよい。
【0155】
以上説明したセグメンテーション装置3は、たとえば次のような構成をさらに備えるものとして特定される。
【0156】
演算部34は、要素間距離に応じたインプラント施術難易度または抜歯の難易度を算出してよい。これにより、インプラント施術難易度または抜歯の難易を知ることができる。
【0157】
入力部32には、インプラント体の情報がさらに入力され、演算部34は、入力部32に入力されたインプラント体の情報に基づいて、インプラントされたときのインプラント体と生体的重要領域との間の距離を算出してよい。このようにして算出された距離は、インプラント施術の判断材料とすることができる。
【0158】
出力部38は、インプラントされたときのインプラント体の位置が生体的重要領域に近いかまたは生体的重要領域と重なる場合に、警報を発してよい。これにより、インプラント施術のリスクを知らせることができる。
【0159】
出力部38は、演算部34の算出結果から利用可能なインプラント体の情報を提示してよい。これにより、インプラント施術に適したインプラント体を提案することができる。
【0160】
演算部34は、生体的通常領域の画像をさらに生成し、出力部38は、演算部34によって生成された生体的通常領域の画像と生体的重要領域のセグメンテーションデータの画像との合成画像を提示してよい。これにより、生体的通常領域と生体的重要領域の両方が提示された画像を、インプラント施術の判断材料とすることができる。
【0161】
入力部32は、施術対象位置を指定するユーザ操作を受け付け、出力部38は、指定された施術対象位置に応じて、顎顔面構成領域の画像に対する施術対象位置の指標を提示し、演算部は、生体的重要領域と施術対象位置の指標との位置関係を算出してよい。これにより、ユーザが指定する施術対象位置と生体的重要領域との位置関係を、インプラント施術の判断材料とすることができる。
【0162】
入力部32は、指標の移動操作を受け付けてよい。これにより、施術対象位置の指標を容易に変更することができる。
【0163】
施術対象位置の指標は、インプラント体の指標であってよい。これにより、生体的重要領域とインプラント体と位置関係を算出することができる。
【0164】
演算部34は、施術対象位置の指標と生体的重要領域との間の距離を要素間距離として算出してよい。これにより、施術対象位置と生体的重要領域との間の具体的な距離を求めることができる。
【0165】
出力部38は、施術対象位置の指標が要素間距離よりも生体的重要領域に近いかまたは生体的重要領域と重なる場合に、警報を発してよい。これにより、インプラント施術のリスクを知らせることができる。
【0166】
出力部38は、演算部の算出結果に基づいて、利用可能なインプラント体の情報を提示してよい。これにより、インプラント施術に適したインプラント体を提案することができる。