知財求人 - 知財ポータルサイト「IP Force」
特開2024-56701深層学習法を使用する３Ｄ歯顎顔面構造の分類および３Ｄモデリング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024056701
(43)【公開日】2024-04-23
(54)【発明の名称】深層学習法を使用する３Ｄ歯顎顔面構造の分類および３Ｄモデリング
(51)【国際特許分類】
A61B 6/51 20240101AFI20240416BHJP
A61B 6/03 20060101ALI20240416BHJP
A61B 6/46 20240101ALI20240416BHJP
G06V 10/82 20220101ALI20240416BHJP
G06T 7/00 20170101ALI20240416BHJP
G06T 7/11 20170101ALI20240416BHJP
【ＦＩ】
A61B6/51 511
A61B6/03 560D
A61B6/03 560J
A61B6/46 506Z
G06V10/82
G06T7/00 612
G06T7/11
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024006813
(22)【出願日】2024-01-19
(62)【分割の表示】P 2020522411の分割
【原出願日】2018-07-02
(31)【優先権主張番号】17179185.8
(32)【優先日】2017-06-30
(33)【優先権主張国・地域又は機関】EP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】520005196
【氏名又は名称】プロマトン・ホールディング・ベー・フェー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】フランク・テオドルス・カタリーナ・クラーセン
(72)【発明者】
【氏名】バース・アレクサンデル・フェルヘイ
(72)【発明者】
【氏名】ダーフィット・アンサーリ・モイン
(57)【要約】
【課題】歯顎顔面構造の3D画像データを処理するための、コンピュータによって実行される方法を提供する。
【解決手段】方法は、ボクセルのボリュームを定義する3D画像データを受信するステップであって、ボクセルが放射密度とボリューム内の位置とに関係づけられ、ボクセルが歯顎顔面構造の3D表現を提供する、ステップと、第1の深層ニューラルネットワークに入力するための1つまたは複数の3D位置特徴を決定するために3D画像データのボクセルを使用するステップであって、3D位置特徴が受信3Dデータセット全体から集約された情報を定義する、ステップと、第1の深層ニューラルネットワークがその入力において3D画像データと1つまたは複数の位置特徴とを受信し、3D画像データのボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために1つまたは複数の3D位置特徴を使用するステップとを備えてもよい。
【選択図】図１
【解決手段】方法は、ボクセルのボリュームを定義する3D画像データを受信するステップであって、ボクセルが放射密度とボリューム内の位置とに関係づけられ、ボクセルが歯顎顔面構造の3D表現を提供する、ステップと、第1の深層ニューラルネットワークに入力するための1つまたは複数の3D位置特徴を決定するために3D画像データのボクセルを使用するステップであって、3D位置特徴が受信3Dデータセット全体から集約された情報を定義する、ステップと、第1の深層ニューラルネットワークがその入力において3D画像データと1つまたは複数の位置特徴とを受信し、3D画像データのボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために1つまたは複数の3D位置特徴を使用するステップとを備えてもよい。
【選択図】図１
【特許請求の範囲】
【請求項1】
歯顎顔面構造を表現する3Dデータを処理するための、コンピュータによって実行される方法であって、
コンピュータが、3D入力データ、好ましくは、3DコーンビームCT(CBCT)データを受信するステップであって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、ステップと、
前処理アルゴリズムが、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、前記画像ボリューム内の、歯基準面、例えば、顎に対して位置決めされた軸平面の位置、または、歯基準オブジェクト、例えば、顎、歯列弓、および／または1つまたは複数の歯の位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、ステップと、
前記コンピュータが、前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワーク、好ましくは、3D畳み込み深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが、前記第1のボクセル表現のボクセルを、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成された、ステップと、
前記第1の3D深層ニューラルネットワークが、訓練セットに基づいて訓練されるステップであって、前記訓練セットが、歯顎顔面構造の3D画像データと、前記訓練セットの前記3D画像データから導出された1つまたは複数の3D位置特徴と、任意選択で、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の1つまたは複数の3Dモデルとを含み、前記1つまたは複数の3Dモデルが、前記第1の3D深層ニューラルネットワークの訓練中にターゲットとして使用され、好ましくは、前記1つまたは複数の3Dモデルの少なくとも一部が、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分を光学的にスキャンすることによって生成される、ステップと、
前記コンピュータが、前記第1の3D深層ニューラルネットワークの出力から前記第1のボクセル表現の分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の前記顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定するステップと
を備える、コンピュータによって実行される方法。
コンピュータが、3D入力データ、好ましくは、3DコーンビームCT(CBCT)データを受信するステップであって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、ステップと、
前処理アルゴリズムが、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、前記画像ボリューム内の、歯基準面、例えば、顎に対して位置決めされた軸平面の位置、または、歯基準オブジェクト、例えば、顎、歯列弓、および／または1つまたは複数の歯の位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、ステップと、
前記コンピュータが、前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワーク、好ましくは、3D畳み込み深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが、前記第1のボクセル表現のボクセルを、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成された、ステップと、
前記第1の3D深層ニューラルネットワークが、訓練セットに基づいて訓練されるステップであって、前記訓練セットが、歯顎顔面構造の3D画像データと、前記訓練セットの前記3D画像データから導出された1つまたは複数の3D位置特徴と、任意選択で、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の1つまたは複数の3Dモデルとを含み、前記1つまたは複数の3Dモデルが、前記第1の3D深層ニューラルネットワークの訓練中にターゲットとして使用され、好ましくは、前記1つまたは複数の3Dモデルの少なくとも一部が、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分を光学的にスキャンすることによって生成される、ステップと、
前記コンピュータが、前記第1の3D深層ニューラルネットワークの出力から前記第1のボクセル表現の分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の前記顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定するステップと
を備える、コンピュータによって実行される方法。
【請求項2】
前処理アルゴリズムが1つまたは複数の3D位置特徴を決定するステップが、
前記画像ボリューム内の、前記ボクセル表現のボクセルと歯基準平面および／または歯基準オブジェクトとの間の距離を決定するステップと、
前記画像ボリュームの基準面の1つまたは複数の点におけるボクセルの累積強度値を決定するステップであって、前記基準面内の点における累積強度値が、前記基準面内の前記点を通る法線上またはその近傍内のボクセルの累積強度値を含む、ステップと
を含む、請求項1に記載の方法。
前記画像ボリューム内の、前記ボクセル表現のボクセルと歯基準平面および／または歯基準オブジェクトとの間の距離を決定するステップと、
前記画像ボリュームの基準面の1つまたは複数の点におけるボクセルの累積強度値を決定するステップであって、前記基準面内の点における累積強度値が、前記基準面内の前記点を通る法線上またはその近傍内のボクセルの累積強度値を含む、ステップと
を含む、請求項1に記載の方法。
【請求項3】
前記歯基準面が、前記歯顎顔面構造の上顎および／または下顎から所定の距離において、好ましくは、前記歯顎顔面構造の上顎および下顎までほぼ等しい距離において配置された前記画像ボリューム内の軸平面を含み、または、前記歯基準オブジェクトが、前記歯顎顔面構造によって表現される歯列弓の少なくとも一部を近似する歯列弓曲線、好ましくは、前記画像ボリュームの軸平面内に決定されている前記歯列弓曲線を含み、および／または、前記歯基準オブジェクトが1つまたは複数の歯を含む、請求項2に記載の方法。
【請求項4】
前記前処理アルゴリズムが、その入力において第2のボクセル表現を受信し、前記第2のボクセル表現の各ボクセルについて3D位置特徴を決定するように訓練された第2の3D深層ニューラルネットワークを含み、好ましくは、前記3D位置特徴が、ボクセルが顎、歯、および／または神経組織を表現する可能性を示す尺度を含み、前記第2のボクセル表現が、前記第1のボクセル表現の低解像度バージョンであり、好ましくは、前記第2のボクセル表現の解像度が、前記第1のボクセル表現の解像度の少なくとも3分の1より低く、好ましくは、前記第2の3D深層ニューラルネットワークが、歯顎顔面構造の前記3D画像データと、任意選択で、前記第1の3D深層ニューラルネットワークを訓練するための前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の前記1つまたは複数の3Dモデルとに基づいて訓練される、請求項1に記載の方法。
【請求項5】
前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワークの入力に提供するステップが、
前記第1のボクセル表現の各ボクセルを、少なくとも、1つの3D位置特徴によって定義された情報に関連付けるステップと、
前記第1のボクセル表現をボクセルの第1のブロックに分割するステップと、
ボクセルの第1のブロックを前記第1の3D深層ニューラルネットワークの前記入力に提供するステップと
をさらに備え、前記ボクセルの第1のブロックの各ボクセルが、放射強度値と、少なくとも、1つの3D位置特徴によって定義された情報とに関連付けられる、請求項1に記載の方法。
前記第1のボクセル表現の各ボクセルを、少なくとも、1つの3D位置特徴によって定義された情報に関連付けるステップと、
前記第1のボクセル表現をボクセルの第1のブロックに分割するステップと、
ボクセルの第1のブロックを前記第1の3D深層ニューラルネットワークの前記入力に提供するステップと
をさらに備え、前記ボクセルの第1のブロックの各ボクセルが、放射強度値と、少なくとも、1つの3D位置特徴によって定義された情報とに関連付けられる、請求項1に記載の方法。
【請求項6】
前記第1の3D深層ニューラルネットワークが、複数の第1の3D畳み込み層を備え、前記複数の第1の3D畳み込み層の前記出力が、少なくとも1つの完全に接続された層に接続され、前記複数の第1の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、前記少なくとも1つの完全に接続された層が、前記ボクセルの第1のブロックのボクセルを、顎、歯、および／または神経ボクセルのうちの少なくとも1つに分類するように構成され、好ましくは、前記第1の3D深層ニューラルネットワークの前記入力に提供される各ボクセルが、放射強度値と少なくとも1つの3D位置特徴とを備える、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記第1の3D深層ニューラルネットワークが、複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が、前記少なくとも1つの完全に接続された層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1および第2のブロックが、前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表現し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の前記入力に提供される前記ボクセルの第1のブロックのボクセルに関連付けられるコンテキスト情報を決定するように構成される、請求項6に記載の方法。
【請求項8】
前記第1の3D深層ニューラルネットワークが、複数の第3の3D畳み込み層をさらに備え、前記複数の第3の3D畳み込み層の出力が、前記少なくとも1つの完全に接続された層に接続され、前記複数の第3の3D畳み込み層が、前記複数の第1の3D畳み込み層の前記入力に提供される少なくとも前記ボクセルの第1のブロックのボクセルに関連付けられる1つまたは複数の3D位置特徴を処理するように構成された、請求項6または7に記載の方法。
【請求項9】
前記第1の3D深層ニューラルネットワークによって分類された前記ボクセルを後処理するための第3の深層ニューラルネットワークをさらに備え、前記第3の深層ニューラルネットワークが、その入力において前記第1の3D深層ニューラルネットワークによって分類されたボクセルを受信し、前記第1の3D深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練され、好ましくは、前記第3の深層ニューラルネットワークが、入力として前記第1の3D深層ニューラルネットワークの訓練中に分類されたボクセルに基づいて、任意選択で、ターゲットとして前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の前記1つまたは複数の3Dモデルに基づいて訓練される、請求項1から8のいずれか一項に記載の方法。
【請求項10】
歯顎顔面構造の3D画像データを処理するために深層ニューラルネットワークシステムを訓練するための、コンピュータによって実行される方法であって、
コンピュータが訓練データを受信するステップであって、前記訓練データが、3D入力データ、好ましくは3DコーンビームCT(CBCT)画像データを含み、前記3D入力データが、それぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を定義し、ボクセルが放射強度値に関連付けられ、ボクセル表現の前記ボクセルが画像ボリュームを定義し、任意選択で、前記訓練データが、前記訓練データの前記3D入力データによって表現される前記歯顎顔面構造の部分の3Dモデルをさらに含む、ステップと、
前記コンピュータが、前処理アルゴリズムを使用して、前記1つまたは複数の歯顎顔面構造の前記1つまたは複数のボクセル表現をそれぞれ前処理して、前記1つまたは複数のボクセル表現内のボクセルに関する1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、前記画像ボリューム内の歯基準面(例えば、顎に対して配置された軸平面)の位置または歯基準オブジェクト(例えば、顎、歯列弓、および／または1つまたは複数の歯)の位置に対する歯顎顔面構造のボクセル表現の少なくとも1つのボクセルの位置に関する情報を定義する、ステップと、
前記訓練データと前記1つまたは複数の3D位置特徴とを使用して、ボクセルを顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために第1の深層ニューラルネットワークを訓練するステップと
を備える、コンピュータによって実行される方法。
コンピュータが訓練データを受信するステップであって、前記訓練データが、3D入力データ、好ましくは3DコーンビームCT(CBCT)画像データを含み、前記3D入力データが、それぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を定義し、ボクセルが放射強度値に関連付けられ、ボクセル表現の前記ボクセルが画像ボリュームを定義し、任意選択で、前記訓練データが、前記訓練データの前記3D入力データによって表現される前記歯顎顔面構造の部分の3Dモデルをさらに含む、ステップと、
前記コンピュータが、前処理アルゴリズムを使用して、前記1つまたは複数の歯顎顔面構造の前記1つまたは複数のボクセル表現をそれぞれ前処理して、前記1つまたは複数のボクセル表現内のボクセルに関する1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、前記画像ボリューム内の歯基準面(例えば、顎に対して配置された軸平面)の位置または歯基準オブジェクト(例えば、顎、歯列弓、および／または1つまたは複数の歯)の位置に対する歯顎顔面構造のボクセル表現の少なくとも1つのボクセルの位置に関する情報を定義する、ステップと、
前記訓練データと前記1つまたは複数の3D位置特徴とを使用して、ボクセルを顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために第1の深層ニューラルネットワークを訓練するステップと
を備える、コンピュータによって実行される方法。
【請求項11】
前記第1の深層ニューラルネットワークの訓練中に分類されたボクセルと、訓練セットの前記3D画像データの前記歯顎顔面構造の部分の前記1つまたは複数の3Dモデルとを使用して、前記第1の深層ニューラルネットワークによって分類されたボクセルを後処理するために第3のニューラルネットワークを訓練するステップであって、前記第3のニューラルネットワークによる前記後処理が、前記第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む、ステップをさらに備える、請求項10に記載の方法。
【請求項12】
歯顎顔面構造の3D画像データを処理するように適合されたコンピュータシステムであって、
具現化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、前処理アルゴリズムと第1の深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが実行可能な動作を実行するように構成され、前記実行可能な動作が、
3D入力データ、好ましくは3DコーンビームCT(CBCT)データを受信する動作であって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、動作と、
前処理アルゴリズムが、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定する動作であって、3D位置特徴が、前記画像ボリューム内の、歯基準面、例えば、顎に対して配置された軸平面の位置、または、歯基準オブジェクト、例えば、顎、歯列弓、および／または1つまたは複数の歯の位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、動作と、
第1の3D深層ニューラルネットワーク、好ましくは3D畳み込み深層ニューラルネットワークの入力に、前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを提供する動作であって、前記第1の3D深層ニューラルネットワークが、前記第1のボクセル表現のボクセルを、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成されている、動作と、
前記第1の3D深層ニューラルネットワークが訓練セットに基づいて訓練される動作であって、前記訓練セットが、歯顎顔面構造の3D画像データと、前記訓練セットの前記3D画像データから導出された1つまたは複数の3D位置特徴と、任意選択で、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の1つまたは複数の3Dモデルとを含み、前記1つまたは複数の3Dモデルが、前記第1の3D深層ニューラルネットワークの訓練中にターゲットとして使用され、好ましくは、前記1つまたは複数の3Dモデルの少なくとも一部が、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分を光学的にスキャンすることによって生成される、動作と、
前記第1の3D深層ニューラルネットワークの出力から前記第1のボクセル表現の分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の前記顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定する動作と
を備える、コンピュータシステム。
具現化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、前処理アルゴリズムと第1の深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが実行可能な動作を実行するように構成され、前記実行可能な動作が、
3D入力データ、好ましくは3DコーンビームCT(CBCT)データを受信する動作であって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、動作と、
前処理アルゴリズムが、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定する動作であって、3D位置特徴が、前記画像ボリューム内の、歯基準面、例えば、顎に対して配置された軸平面の位置、または、歯基準オブジェクト、例えば、顎、歯列弓、および／または1つまたは複数の歯の位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、動作と、
第1の3D深層ニューラルネットワーク、好ましくは3D畳み込み深層ニューラルネットワークの入力に、前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを提供する動作であって、前記第1の3D深層ニューラルネットワークが、前記第1のボクセル表現のボクセルを、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成されている、動作と、
前記第1の3D深層ニューラルネットワークが訓練セットに基づいて訓練される動作であって、前記訓練セットが、歯顎顔面構造の3D画像データと、前記訓練セットの前記3D画像データから導出された1つまたは複数の3D位置特徴と、任意選択で、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の1つまたは複数の3Dモデルとを含み、前記1つまたは複数の3Dモデルが、前記第1の3D深層ニューラルネットワークの訓練中にターゲットとして使用され、好ましくは、前記1つまたは複数の3Dモデルの少なくとも一部が、前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分を光学的にスキャンすることによって生成される、動作と、
前記第1の3D深層ニューラルネットワークの出力から前記第1のボクセル表現の分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の前記顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定する動作と
を備える、コンピュータシステム。
【請求項13】
前記前処理アルゴリズムが、その入力において第2のボクセル表現を受信し、前記第2のボクセル表現の各ボクセルについて3D位置特徴を決定するように訓練された第2の3D深層ニューラルネットワークを含み、好ましくは、前記3D位置特徴が、ボクセルが顎、歯、および／または神経組織を表現する可能性を示す尺度を含み、前記第2のボクセル表現が、前記第1のボクセル表現の低解像度バージョンであり、好ましくは、前記第2のボクセル表現の解像度が、前記第1のボクセル表現の解像度の少なくとも3分の1より低く、好ましくは、前記第2の3D深層ニューラルネットワークが、歯顎顔面構造の前記3D画像データと、任意選択で、前記第1の3D深層ニューラルネットワークを訓練するための前記訓練セットの前記3D画像データの前記歯顎顔面構造の部分の前記1つまたは複数の3Dモデルとに基づいて訓練される、請求項12に記載のコンピュータシステム。
【請求項14】
前記第1の3D深層ニューラルネットワークが、複数の第1の3D畳み込み層を備え、前記複数の第1の3D畳み込み層の前記出力が、少なくとも1つの完全に接続された層に接続され、前記複数の第1の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、前記少なくとも1つの完全に接続された層が、前記ボクセルの第1のブロックのボクセルを、顎、歯、および／または神経ボクセルのうちの少なくとも1つに分類するように構成され、好ましくは、前記第1の3D深層ニューラルネットワークの前記入力に提供される各ボクセルが、放射強度値と少なくとも1つの3D位置特徴とを備え、
任意選択で、前記第1の3D深層ニューラルネットワークが、複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が、前記少なくとも1つの完全に接続された層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1および第2のブロックが、前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表現し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の前記入力に提供される前記ボクセルの第1のブロックのボクセルに関連付けられるコンテキスト情報を決定するように構成される、請求項13に記載のコンピュータシステム。
任意選択で、前記第1の3D深層ニューラルネットワークが、複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が、前記少なくとも1つの完全に接続された層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1および第2のブロックが、前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表現し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の前記入力に提供される前記ボクセルの第1のブロックのボクセルに関連付けられるコンテキスト情報を決定するように構成される、請求項13に記載のコンピュータシステム。
【請求項15】
コンピュータのメモリ内で実行されるとき、請求項1から11のいずれか一項に記載の方法のステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深層学習ニューラルネットワークを使用する3D歯顎顔面構造の分類および3Dモデリングに関し、詳細には、排他的にではないが、深層学習ニューラルネットワークを使用する3D歯顎顔面構造の分類および3Dモデリングのためのシステムおよび方法、そのような深層学習ニューラルネットワークを訓練する方法、歯顎顔面3D画像データを前処理する方法および歯顎顔面構造の分類されたボクセルデータを後処理する方法ならびにそのような方法を使用するためのコンピュータプログラム製品に関する。
【背景技術】
【0002】
歯顎顔面構造の画像解析において、特定の部位または組織の視覚化および3D画像再構成は、正確な診断および治療を可能にするために必須である。3D画像の再構成の前に、3D画像データスタックにおいて表される歯顎顔面構造の異なる部分(例えば、歯および顎)の3Dモデルを形成するために、3D画像データ、例えば、ボクセルに分類およびセグメント化プロセスが適用される。セグメント化のタスクは、関心オブジェクトの輪郭または内部のいずれかを構成するピクセルまたはボクセルのセットを識別することとして定義される。しかしながら、3D CTスキャンからの歯、顎骨、および下歯槽神経などの歯顎顔面構造のセグメント化プロセスは、チャレンジングである。手動セグメント化方法は、非常に時間がかかり、手動しきい値選択および手動修正による一般的な近似を含む。手動セグメント化の結果は、低い再現性を有し、CTスキャンの人間の解釈に依存する。
【0003】
CTスキャンの画像データに基づいて3Dの歯および顎のモデルを生成するために、異なるイメージング方法論が使用されている。最初に、歯顎顔面構造をセグメント化するために、低レベルのピクセル処理および数学的モデリングの逐次適用が使用された。一例が、Pavaloiuらによる、"Automatic segmentation for 3D dental reconstruction"、IEEE 6th ICCCNT、2015年7月13～15日の記事において記載されている。これらの技法は、アクティブ輪郭追跡方法、ウォーターシェッド法、領域形成法(region growing)、および、事前に形状および強度を用いるレベルセットモデリングを含む。現在、医用イメージングにおいて、医用画像内の関心オブジェクトをセグメント化するために、深層学習技法などのより先進的な技法が使用される。
【0004】
これらのニューラルネットワークは、データを最適に表す特徴を学習するように訓練される。そのような深層学習アルゴリズムは、ますますより高いレベルの特徴を学習しながら、入力データ(例えば、画像)を出力(例えば、疾患の存在／不在)に変換する多層深層ニューラルネットワークを含む。画像解析のための成功したニューラルネットワークモデルは、いわゆる畳み込みニューラルネットワーク(CNN)である。CNNは、比較的小さいサイズのマトリックスで構成される、畳み込みフィルタとしても知られるカーネルを使用してそれらの入力を変換する多くの層を含む。医用イメージングのためのCNNの使用の概要は、(Computer Vision and Pattern Recognitionに提出された)2017年2月21日発行のアーカイブ、Litjensらによる記事、A Survey on Deep Learning in Medical Image Analysisにおいて見ることができる。しかしながら、3D CNNを使用する歯顎顔面構造の3Dモデリングは、歯顎顔面構造の複雑さのために困難である。Pavaloiuらは、彼らの記事、"Neural network based edge detection for CBCT segmentation"、5th IEEE EHB、2015年11月19～21日、において、2D CBCT画像におけるエッジの検出における非常に簡単なニューラルネットワークの使用について説明している。しかしながら、これまで、深層学習に基づく3D CBCT画像データの自動的で正確な3Dセグメント化は、報告されていない。
【0005】
歯顎顔面構造の3D分類および3Dモデル化における問題は、歯顎顔面画像がコーンビームコンピュータ断層撮影(CBCT)を使用して生成されることである。CBCTは、X線放射が低線量の発散コーンに成形されるX線コンピュータ断層撮影を使用する医用イメージング技法である。スキャン中の異なる領域が、スキャンされる臓器内のそれらの相対的位置に応じて異なるグレースケール値で現れるので、ハンスフィールド単位(HU)において測定される放射密度は、CBCTでは信頼できない。CBCTスキャナと医用グレードのCTスキャナの両方を用いて同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有のX線撮影で識別された骨密度の決定について信頼できない。
【0006】
さらに、歯顎顔面構造をスキャンするためのCBCTシステムは、再構築された密度値を表すグレースケールをスケーリングするための標準化されたシステムを用いない。これらの値は、そのように恣意的であり、骨質の評価を可能にしない。そのような標準化がないとき、グレーレベルを解釈することは困難であるか、または異なるマシンから生じる値を比較することは不可能である。さらに、歯根および顎骨構造は同様の密度を有するので、コンピュータが歯に属するボクセルと顎に属するボクセルとを区別することは困難である。加えて、CBCTシステムは、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する、いわゆるビーム硬化に非常に敏感である。上記の問題は、歯顎顔面構造の自動セグメント化を特にチャレンジングなものにする。
【0007】
したがって、歯顎顔面構造の3D CT画像データを3Dモデルに正確にセグメント化するように適合されたコンピュータシステムが当該技術分野において必要である。特に、異なるCBCTシステムに由来する歯顎顔面構造の3D CT画像データを正確にセグメント化することができるコンピュータシステムが当該技術分野において必要である。
【発明の概要】
【課題を解決するための手段】
【0008】
当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化されてもよい。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または、本明細書ではすべて概して「回路」、「モジュール」、または「システム」と呼ばれる場合があるソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとってもよい。本開示において説明する機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装されてもよい。さらに、本発明の態様は、具体化されたコンピュータ可読プログラムコードを有する、例えば、それらが記憶された1つまたは複数のコンピュータ可読媒体において具体化されたコンピュータプログラム製品の形態をとってもよい。
【0009】
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、または半導体のシステム、装置、またはデバイス、または前記のものの任意の適切な組合せであってもよい。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)は、以下の、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または前記のものの任意の適切な組合せを含む。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを含むまたは記憶することができる任意の有形の媒体であってもよい。
【0010】
コンピュータ可読記憶媒体は、例えば、ベースバンドにおいて、または搬送波の一部としてそれらの中に具体化されたコンピュータ可読プログラムコードを有する伝播データ信号を含んでもよい。そのような伝播信号は、限定はしないが、電磁気、光学、またはそれらの任意の適切な組合せを含む様々な形態のいずれかをとってもよい。コンピュータ可読記憶媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを通信、伝播、または転送することができる任意のコンピュータ可読媒体であってもよい。
【0011】
コンピュータ可読媒体上に具体化されたプログラムコードは、限定はしないが、ワイヤレス、有線、光ファイバ、ケーブル、RFなど、または前記のものの任意の適切な組合せを含む任意の適切な媒体を使用して送信されてもよい。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Scala、C++、Pythonなどのオブジェクト指向プログラミング言語、および、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型言語を含む、1つまたは複数のプログラミング言語の任意の組合せにおいて書かれてもよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的におよびリモートコンピュータ上で部分的に、または、完全にリモートコンピュータ、サーバ、または仮想化サーバ上で実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または、(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータとの接続がなされてもよい。
【0012】
本発明の態様について、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して以下で説明する。フローチャート図および／またはブロック図の各ブロック、ならびに、フローチャート図および／またはブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実装できることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータのプロセッサ、他のプログラム可能なデータ処理装置、または他のデバイスを介して実行される命令がフローチャートブロック図のブロックにおいて指定された機能／動作を実施するための手段を作成するようにマシンを生成するために、プロセッサ、具体的には、汎用コンピュータのマイクロプロセッサまたは中央処理装置(CPU)、またはグラフィックス処理装置(GPU)、専用コンピュータ、または、他のプログラム可能なデータ処理装置に提供されてもよい。
【0013】
これらのコンピュータプログラム命令は、コンピュータ可読媒体内に記憶された命令がフローチャートおよび／またはブロック図のブロックにおいて指定された機能／動作を実施する命令を含む製品を生成するように特定の方法で機能するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに指示することができるコンピュータ可読媒体内に記憶されてもよい。
【0014】
コンピュータプログラム命令は、コンピュータまたは他のプログラム可能な装置上で実行される命令がフローチャートおよび／またはブロック図のブロックにおいて指定された機能／動作を実施するためのプロセスを提供するように、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行されるべき一連の動作ステップにコンピュータ実装プロセスを生成させるために、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされてもよい。
【0015】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示す。これに関して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実施するための1つまたは複数の実行可能な命令を備えるモジュール、セグメント、またはコードの一部を表してもよい。いくつかの代替実装形態において、ブロック内に記載されている機能は、図中に記載されている順序とは異なる順序で発生してもよいことにも注意すべきである。例えば、連続して示されている2つのブロックは、実際には、関与する機能性に応じて、実質的に同時に実行されてもよく、または、ときには逆の順序で実行されてもよい。ブロック図および／またはフローチャート図の各ブロック、ならびに、フローチャート図および／またはブロック図におけるブロックの組合せは、指定された機能または動作を実行する専用ハードウェアベースのシステム、または、専用ハードウェアおよびコンピュータ命令の組合せによって実装できることにも留意されたい。
【0016】
本開示は、3D画像スタックの入力以外のユーザ入力またはユーザ対話を必要としない自動分類およびセグメント化技法を実装するシステムおよび方法を提供する。実施形態は、顎骨、歯、および、下歯槽神経などの歯顎顔面神経などの標的生体組織を再現するために使用されてもよい。システムは、構造を自動的に分離し、標的組織の3Dモデルを構築する。
【0017】
一態様において、本発明は、歯顎顔面構造の3D画像データを処理するための、コンピュータによって実行される方法に関する。一実施形態において、方法は、コンピュータが、3D入力データ、好ましくは、3DコーンビームCT(CBCT)データを受信するステップであって、3D入力データが歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、前処理アルゴリズムが、歯顎顔面構造の1つまたは複数の3D位置特徴を決定するために3D入力データを使用するステップであって、3D位置特徴が、画像ボリューム内の、歯基準面、例えば、顎に対して位置決めされた軸平面の位置、または、歯基準オブジェクト、例えば、顎、歯列弓、および／または1つまたは複数の歯の位置に対する第1のボクセル表現のボクセルの位置に関する情報を定義する、ステップと、コンピュータが、第1のボクセル表現と、第1のボクセル表現に関連する1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワーク、好ましくは、3D畳み込み深層ニューラルネットワークの入力に提供するステップであって、第1の深層ニューラルネットワークが、第1のボクセル表現のボクセルを、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成された、ステップと、第1のニューラルネットワークが、訓練セットに基づいて訓練されるステップであって、訓練セットが、歯顎顔面構造の3D画像データと、訓練セットの3D画像データから導出された1つまたは複数の3D位置特徴とを含む、ステップと、コンピュータが、第1の3D深層ニューラルネットワークの出力から第1のボクセル表現の分類されたボクセルを受信し、分類されたボクセルに基づいて、歯顎顔面構造の顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定するステップとを備えてもよい。
【0018】
したがって、3D位置特徴は、歯基準平面および／または歯基準オブジェクトに対する受信された画像ボリューム内のボクセルの位置に関する情報を定義する。この情報は、深層ニューラルネットワークが歯顎顔面構造のボクセル提示を自動的に分類およびセグメント化することを可能にすることに関連する。第1のボクセル表現のボクセルの3D位置特徴は、第1の深層ニューラルネットワークの入力に提供されるボクセル表現のデータセット全体または実質的な部分に基づく情報(例えば、位置、強度値、距離、勾配など)を集約することによって形成されてもよい。集約された情報は、第1のボクセル表現内のボクセルの位置ごとに処理される。このように、第1のボクセル表現の各ボクセルは、第1の深層ニューラルネットワークがボクセルの分類中に考慮する3D位置特徴に関連付けられてもよい。
【0019】
一実施形態において、訓練セットは、訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルをさらに備えてもよい。一実施形態において、1つまたは複数の3Dモデルの少なくとも一部は、訓練セットの3D画像データの歯顎顔面構造の部分を光学的にスキャンすることによって生成されてもよい。一実施形態において、1つまたは複数の3Dモデルは、第1の深層ニューラルネットワークの訓練中にターゲットとして使用されてもよい。
【0020】
3D位置特徴は、(手動で)設計された特徴を使用して、および／または、受信された3Dデータセットの全体またはその実質的な部分からそのような情報を導出するように構成された3D深層学習ネットワークなどの(訓練された)機械学習方法を使用して決定されてもよい。
【0021】
一実施形態において、3D位置特徴は、画像ボリューム内の1つまたは複数のボクセルと、画像ボリューム内の第1の歯基準面との間の距離、好ましくは垂直距離を定義してもよい。一実施形態において、3D位置特徴は、画像ボリューム内の1つまたは複数のボクセルと、画像ボリューム内の第1の歯基準オブジェクトとの間の距離を定義してもよい。さらなる実施形態において、位置情報は、画像ボリュームの基準面内の累積強度値を含んでもよく、基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍内のボクセルの累積強度値を含む。
【0022】
3D画像データから抽出された3D位置特徴は、ニューラルネットワークの入力に提供されるボクセルの画像ボリュームに関する情報を符号化する。具体的には、3D位置特徴は、3D画像データ(のサブセクション)内の各ボクセルの位置に関して部分的にまたは完全に導出され、深層ニューラルネットワークによって評価される情報を提供する。3D位置特徴は、特定のボリュームにおいて特定の歯顎顔面構造に関連するボクセルが見つかり得る可能性を決定するために、画像ボリューム内のボクセルの位置によって(部分的に)決定される情報を利用する手段をニューラルネットワークに提供する。この情報なしでは、より大きい空間コンテキストが深層ニューラルネットワークによって使用されるために利用できない場合がある。3D位置特徴は、過剰適合のリスクを最小限にするように設計されると同時に、ネットワークの精度を大幅に改善する。3D位置特徴は、歯顎顔面コンテキストに関連する基準オブジェクトと比較して、ネットワークが画像ボリューム内のボクセルの位置に関する知識を獲得することを可能にし、したがって、歯顎顔面構造の組織に関連するボクセルを見つける可能性を決定するためにこの情報を利用可能にする。これにより、ネットワークは、この提供された情報をそれが関連する場所で最大限に活用する方法を学習することができる。
【0023】
一実施形態において、第1の歯基準面は、3D画像データによって表されるように、上顎および／または下顎から所定の距離において配置された画像ボリューム内の軸平面を含んでもよい。したがって、基準面は、3D画像データ内の歯顎顔面構造の関連部分に対して配置される。一実施形態において、第1の歯基準麺は、上顎および下顎までほぼ等しい距離を有してもよい。
【0024】
一実施形態において、歯基準オブジェクトは、3D画像データによって表されるように、歯列弓の少なくとも一部を近似する歯列弓曲線を含んでもよい。したがって、この実施形態では、3D位置特徴は、画像ボリューム内の歯基準オブジェクト歯列弓の位置に対する画像ボリューム内のボクセルの位置に関する情報を提供してもよい。一実施形態において、歯列弓曲線は、画像ボリュームの軸平面内で決定されてもよい。
【0025】
手動で設計された3D位置特徴は、例えば、3D入力データの全体または実質的な部分から情報を集約する機械学習方法から導出され得るように、他の3D位置特徴によって補完または置換されてもよい。そのような特徴生成は、例えば、第1のボクセル表現の全体または実質的な部分のダウンサンプリングされたバージョンにおいて事前セグメント化を実行する3D深層ニューラルネットワークによって実行されてもよい。
【0026】
したがって、一実施形態において、前処理アルゴリズムは、第2の3D深層ニューラルネットワークを含んでもよく、第2の深層ニューラルネットワークは、その入力において第2のボクセル表現を受け取り、第2のボクセル表現の各ボクセルについて3D位置特徴を決定するように訓練される。一実施形態において、3D位置特徴は、ボクセルが顎、歯、および／または神経組織を表す可能性を示す尺度を含んでもよく、第2のボクセル表現は、第1のボクセル表現の低解像度バージョンである。
【0027】
一実施形態において、第2の3D深層ニューラルネットワークは、3D Uネットアーキテクチャを有してもよい。一実施形態において、3D Uネットは、畳み込み層(3D CNN)と、3D最大プーリング層と、3D逆畳み込み層(3D de-CNN)と、密に接続された層とを含む、複数の3Dニューラルネットワーク層を備えてもよい。
【0028】
一実施形態において、第2のボクセル表現の解像度は、第1のボクセル表現の解像度の少なくとも3分の1より低くてもよい。
【0029】
一実施形態において、第2の3D深層ニューラルネットワークは、第1の深層ニューラルネットワークを訓練するために使用される訓練セットの歯顎顔面構造の3D画像に基づいて訓練されてもよい。一実施形態において、第2の3D深層ニューラルネットワークは、第1の深層ニューラルネットワークを訓練するために使用される訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルに基づく。訓練中、これらの1つまたは複数の3Dモデルは、ターゲットとして使用されてもよい。
【0030】
一実施形態において、第1のボクセル表現と、第1のボクセル表現に関連する1つまたは複数の3D位置特徴とを第1の3D深層ニューラルネットワークの入力に提供することは、第1のボクセル表現の各ボクセルを、少なくとも、1つの3D位置特徴によって定義された情報に関連付けることと、第1のボクセル表現をボクセルの第1のブロックに分割することと、ボクセルの第1のブロックを第1の深層ニューラルネットワークの入力に提供することとをさらに備えてもよく、ボクセルの第1のブロックの各ボクセルは、放射強度値と、少なくとも、1つの3D位置特徴によって定義された情報とに関連付けられる。したがって、第1の3D深層ニューラルネットワークは、ボクセルのブロックに基づいて3D入力データを処理してもよい。そのために、コンピュータは、第1のボクセル表現をボクセルの複数の第1のブロックに分割し、第1のブロックの各々を第1の3D深層ニューラルネットワークの入力に提供してもよい。
【0031】
一実施形態において、第1の深層ニューラルネットワークは、複数の第1の3D畳み込み層を備えてもよく、複数の第1の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続されてもよい。一実施形態において、複数の第1の3D畳み込み層は、第1のボクセル表現からのボクセルの第1のブロックを処理するように構成されてもよく、少なくとも1つの完全に接続された層は、ボクセルの第1のブロックのボクセルを、顎、歯、および／または神経ボクセルのうちの少なくとも1つに分類するように構成される。
【0032】
一実施形態において、第1の深層ニューラルネットワークの入力に提供されるボクセルは、放射強度値と、少なくとも1つの3D位置特徴とを備えてもよい。
【0033】
一実施形態において、第1の深層ニューラルネットワークは、複数の第2の3D畳み込み層をさらに含んでもよく、複数の第2の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続されてもよい。
【0034】
一実施形態において、複数の第2の3D畳み込み層は、第1のボクセル表現からのボクセルの第2のブロックを処理するように構成されてもよく、ボクセルの第1および第2のブロックは、画像ボリューム内の同じまたは実質的に同じ中心点を有してもよく、ボクセルの第2のブロックは、ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表してもよい。
【0035】
一実施形態において、複数の第2の3D畳み込み層は、複数の第1の3D畳み込み層の入力に提供されるボクセルの第1のブロックのボクセルに関連するコンテキスト情報を決定するように構成されてもよい。
【0036】
一実施形態において、第1の深層ニューラルネットワークは、複数の第3の3D畳み込み層をさらに備えてもよく、複数の第3の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続される。複数の第3の3D畳み込み層は、複数の第1の3D畳み込み層の入力に提供される少なくともボクセルの第1のブロックのボクセルに関連する1つまたは複数の3D位置特徴を処理するように構成されてもよい。
【0037】
一実施形態において、第1の深層ニューラルネットワークは、訓練セットに基づいて訓練されてもよく、訓練セットは、歯顎顔面構造の3D画像データと、3D画像データから導出された1つまたは複数の3D位置特徴と、訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとを含み、1つまたは複数の3Dモデルは、深層ニューラルネットワークの訓練中にターゲットとして使用されてもよい。
【0038】
一実施形態において、1つまたは複数の3Dモデルの少なくとも一部は、訓練セットの3D画像データの歯顎顔面構造の部分を光学的にスキャンすることによって生成されてもよい。したがって、手動でセグメント化された3D画像データの代わりに、光学的にスキャンされた3Dモデルがニューラルネットワークを訓練するために使用され、したがって、ターゲットデータとして使用することができる高解像度で正確なモジュールを提供する。
【0039】
一実施形態において、1つまたは複数の3D位置特徴の決定は、画像ボリュームの平面内の累積強度値の点のクラウドを決定することであって、好ましくは平面が軸平面であり、平面内の点における累積強度値が、軸平面内の点を通る法線上またはその近傍内に配置されたボクセルのボクセル値を合計することによって決定されてもよい、ことと、決定された値を超える平面内の累積強度値を決定することと、決定された累積強度値を介して曲線をフィッティングすることであって、曲線が、3Dデータ画像によって表される歯顎顔面構造内の歯列弓の少なくとも一部を近似する、こととを含んでもよい。したがって、歯列弓などの歯構造は、平面、例えば、軸平面の法線方向において配置されたボクセルの強度値を合計することによって決定されてもよい。
【0040】
一実施形態において、1つまたは複数の3D位置特徴は、画像ボリューム内の平面、好ましくは画像ボリューム内の軸平面における、平面内のボクセルと、平面内に定義された歯列弓曲線上の原点との間の相対距離を定義する第1の3D位置特徴を含んでもよい。一実施形態において、原点は、曲線の導関数がゼロである歯列弓曲線上の点として定義されてもよい。
【0041】
一実施形態において、1つまたは複数の3D位置特徴は、画像ボリューム内の平面、好ましくは画像ボリューム内の軸平面における相対距離を定義する第2の3D位置特徴を含み、距離は、軸平面内のボクセルと歯列弓曲線との間の軸平面における最短距離である。
【0042】
一実施形態において、3D位置特徴は、3D入力データの全体または実質的な部分を使用する自動特徴生成に基づいて決定されてもよい。一実施形態において、自動特徴生成は、3D深層ニューラルネットワークが、3D入力データの全体または実質的な部分のダウンサンプリングされたバージョンにおいて事前セグメント化を実行することを含んでもよい。
【0043】
一実施形態において、第1の深層ニューラルネットワークは、少なくとも、ボクセルの分類を導出するのに有用な情報の漸進的により高い抽象化を決定するように構成された、3D畳み込み層の第1のセット、好ましくは、3D CNN特徴層を含む第1のデータ処理経路と、第1の経路と平行な第2のデータ処理経路とを備えてもよく、第2の経路が、3D畳み込み層の第2のセット、好ましくは3D CNN特徴層の第2のセットを備え、3D畳み込み層の第2のセットは、3D畳み込み層の第1のセットの入力に供給されるボクセルのブロックの空間コンテキスト的により大きい表現を利用してボクセルの分類を導出するのに有用な情報の漸進的により高い抽象化を決定するように構成されてもよい。
【0044】
したがって、3D CNN特徴層の第2のセットは、第1の3D CNN特徴層によって処理された関連するボクセルの直接近傍に関する情報を含む3D特徴マップを生成するために、ボクセルを処理してもよい。このように、第2の経路は、ニューラルネットワークが、コンテキスト情報、すなわち、ニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(例えば、周囲)に関する情報を決定することを可能にする。2つの経路またはさらにより多くの経路を使用することによって、3D画像データ(入力データ)と、3D画像データのボクセルに関するコンテキスト情報の両方を、並行して処理することができる。コンテキスト情報は、典型的には、区別することが困難な密接に詰め込まれた歯構造を含む、歯顎顔面構造を分類するために重要である。
【0045】
一実施形態において、第1の深層ニューラルネットワークは、3D画像データに関連する1つまたは複数の3D位置特徴を受信するための、第1および第2の経路に平行な、3D畳み込み層の第3のセット、好ましくは3D CNN特徴層の第3のセットを含む第3のデータ処理経路をさらに備えてもよく、3D畳み込み層の第3のセットは、3D畳み込み層の第1のセットの入力に供給されるボクセルのブロックに関連する、受信された3Dデータセット全体からの情報の集合からの関連情報を符号化するように構成される。
【0046】
一実施形態において、第3のデータ処理経路を使用する代わりに、3D位置特徴は、例えば、受信された3D画像情報に追加のチャネルとして3D位置特徴情報を追加することによって、第1のボクセル表現のボクセルと対になるように第1のボクセル表現に追加されてもよい。
【0047】
一実施形態において、3D畳み込み層の第1、第2、および(任意選択で)第3のセットの出力は、画像ボリューム内のボクセルの少なくとも一部を、顎ボクセル、歯ボクセル、および／または神経ボクセルのうちの少なくとも1つに分類するように構成された完全に接続された畳み込み層のセットの入力に提供されてもよい。
【0048】
一実施形態において、方法は、第3の深層ニューラルネットワークが、第1の深層ニューラルネットワークによって分類されたボクセルを後処理するステップをさらに備えてもよく、後処理することは、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む。一実施形態において、第2のニューラルネットワークは、入力として第1の深層ニューラルネットワークの訓練中に分類されたボクセルを使用し、ターゲットとして訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルを使用して訓練されてもよい。したがって、この実施形態において、第2の畳み込みニューラルネットワークは、第1のニューラルネットワークによって分類されたボクセルを修正するように訓練されてもよい。このように、歯および顎の3Dモデルを含む、歯顎顔面構造の個々の部分の非常に正確な3Dモデルが決定され得る。
【0049】
一態様において、本発明は、歯顎顔面構造の3D画像データを処理するために深層学習ニューラルネットワークシステムを訓練するための、コンピュータによって実行される方法に関してもよい。一実施形態において、方法は、コンピュータが訓練データを受信するステップであって、訓練データが、3D入力データ、好ましくは3DコーンビームCT(CBCT)画像データを含み、3D入力データが、それぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を定義し、ボクセルが放射強度値に関連付けられ、ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、コンピュータが、1つまたは複数のボクセル表現内のボクセルに関する1つまたは複数の3D位置特徴を決定するために、1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現をそれぞれ前処理するために前処理アルゴリズムを使用するステップであって、3D位置特徴が、画像ボリューム内の歯基準面(例えば、顎に対して配置された軸平面)の位置または歯基準オブジェクト(例えば、顎、歯列弓、および／または1つまたは複数の歯)の位置に対する歯顎顔面構造のボクセル表現の少なくとも1つのボクセルの位置に関する情報を定義する、ステップと、ボクセルを顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために第1の深層ニューラルネットワークを訓練するために、訓練データと1つまたは複数の3D位置特徴とを使用するステップとを含んでもよい。
【0050】
一実施形態において、訓練データは、訓練データの3D入力データによって表される歯顎顔面構造の部分の1つまたは複数の3Dモデルをさらに含んでもよい。一実施形態において、1つまたは複数の3Dモデルの少なくとも一部は、訓練データの3D画像の歯顎顔面構造の部分を光学的にスキャンすることによって生成されてもよい。一実施形態において、1つまたは複数の3Dモデルは、第1の深層ニューラルネットワークの訓練中にターゲットとして使用されてもよい。
【0051】
一実施形態において、方法は、第1の深層ニューラルネットワークによって分類されたボクセルを後処理するために第2のニューラルネットワークを訓練するために、第1の深層ニューラルネットワークの訓練中に分類されたボクセルと、訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとを使用するステップを含んでもよく、後処理することは、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む。
【0052】
さらなる態様において、本発明は、歯顎顔面構造の3D画像データを処理するように適合されたコンピュータシステムに関してもよく、コンピュータシステムは、それとともに具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体であって、コンピュータ可読プログラムコードが、前処理アルゴリズムと第1の深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、コンピュータ可読プログラムコードを実行することに応答して、プロセッサは、実行可能な動作を実行するように構成され、実行可能な動作は、3D入力データ、好ましくは3DコーンビームCT(CBCT)データを受信することであって、3D入力データが歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、ボクセル表現のボクセルが画像ボリュームを定義する、ことと、前処理アルゴリズムが、歯顎顔面構造の1つまたは複数の3D位置特徴を決定するために3D入力データを使用することであって、3D位置特徴が、画像ボリューム内の、歯基準面、例えば、顎に対して配置された軸平面の位置、または、歯基準オブジェクト、例えば、歯、歯列弓、および／または1つまたは複数の歯の位置に対する第1のボクセル表現のボクセルの位置に関する情報を定義する、ことと、第1の3D深層ニューラルネットワーク、好ましくは3D畳み込み深層ニューラルネットワークの入力に、第1のボクセル表現と、第1のボクセル表現に関連する1つまたは複数の3D位置特徴とを提供することであって、第1の深層ニューラルネットワークが、第1のボクセル表現のボクセルを、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成されている、ことと、第1のニューラルネットワークが訓練セットに基づいて訓練されることであって、訓練セットが、歯顎顔面構造の3D画像データと、訓練セットの3D画像データから導出された1つまたは複数の3D位置特徴とを含む、ことと、第1の深層ニューラルネットワークの出力からの第1のボクセル表現の分類されたボクセルを受信し、分類されたボクセルに基づいて、歯顎顔面構造の顎、歯、および／または神経組織のボクセル表現を決定することと、を備える。
【0053】
一実施形態において、訓練セットは、訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルをさらに備えてもよい。一実施形態において、1つまたは複数の3Dモデルの少なくとも一部は、訓練セットの3D画像データの歯顎顔面構造の部分を光学的にスキャンすることによって生成されてもよい。一実施形態において、1つまたは複数の3Dモデルは、第1の深層ニューラルネットワークの訓練中にターゲットとして使用されてもよい。
【0054】
一実施形態において、前処理アルゴリズムは、第2の3D深層ニューラルネットワークを含んでもよく、第2の深層ニューラルネットワークは、その入力において第2のボクセル表現を受信し、第2のボクセル表現の各ボクセルについて3D位置特徴を決定するように訓練され、好ましくは、3D位置特徴は、ボクセルが顎、歯、および／または神経組織を表す可能性を示す尺度を含み、第2のボクセル表現は、第1のボクセル表現の低解像度バージョンであり、好ましくは、第2のボクセル表現の解像度は、第1のボクセル表現の解像度の少なくとも3分の1より低く、好ましくは、第2の3D深層ニューラルネットワークは、歯顎顔面構造の3D画像データと、第1の深層ニューラルネットワークを訓練するための訓練セットの訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとに基づいて訓練される。
【0055】
一実施形態において、第1の深層ニューラルネットワークは、複数の第1の3D畳み込み層を備えてもよく、複数の第1の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続され、複数の第1の3D畳み込み層は、第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、少なくとも1つの完全に接続された層は、ボクセルの第1のブロックのボクセルを、顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するように構成され、好ましくは、各ボクセルは、放射強度値と少なくとも1つの3D位置特徴とを備える第1の深層ニューラルネットワークの入力に提供される。
【0056】
一実施形態において、第1の深層ニューラルネットワークは、複数の第2の3D畳み込み層をさらに備えてもよく、複数の第2の3D畳み込み層の出力は、少なくとも1つの完全に接続された層に接続され、複数の第2の3D畳み込み層は、第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、ボクセルの第1および第2のブロックは、画像ボリューム内の同じまたは実質的に同じ中心点を有し、ボクセルの第2のブロックは、ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表し、複数の第2の3D畳み込み層は、複数の第1の3D畳み込み層の入力に提供されるボクセルの第1のブロックのボクセルに関連するコンテキスト情報を決定するように構成される。
【0057】
本発明は、コンピュータのメモリ内で実行されると、上記で説明した方法のいずれかを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品に関係してもよい。
【0058】
本発明について、本発明による実施形態を概略的に示す添付図面を参照してさらに例示する。本発明は、これらの特定の実施形態に何ら限定されないことが理解されよう。
【図面の簡単な説明】
【0059】
【図1】本発明の一実施形態による、3D歯顎顔面構造の分類およびセグメント化のためのコンピュータシステムを概略的に示す図である。
【図2】本発明の一実施形態による、3D歯顎顔面構造を分類するための深層ニューラルネットワークを訓練することのフロー図である。
【図3A】それぞれ、3D CT画像データおよび3D光学スキャンデータの例を示す図である。
【図3B】それぞれ、3D CT画像データおよび3D光学スキャンデータの例を示す図である。
【図4A】歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。
【図4B】歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。
【図5A】本発明の様々な実施形態による、3D位置特徴を決定する方法を示す図である。
【図5B】本発明の様々な実施形態による、3D位置特徴を決定する方法を示す図である。
【図6】3D画像スタックからの合計ボクセル値と、歯顎顔面弓を表すボクセルにフィッティングされた曲線とを含む視覚化を提供する図である。
【図7A】本発明の様々な実施形態による3D位置特徴の例を示す図である。
【図7B】本発明の様々な実施形態による3D位置特徴の例を示す図である。
【図7C】本発明の様々な実施形態による3D位置特徴の例を示す図である。
【図7D】本発明の様々な実施形態による3D位置特徴の例を示す図である。
【図7E】本発明の様々な実施形態による3D位置特徴の例を示す図である。
【図8A】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図8B】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図8C】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図8D】本発明の一実施形態による、訓練された深層ニューラルネットワークの出力の例を示す図である。
【図9】本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理することのフロー図である。
【図10】本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理するための深層ニューラルネットワークアーキテクチャを示す図である。
【図11A】本発明の一実施形態による、分類されたボクセルの表面再構成処理を示す図である。
【図11B】本発明の一実施形態による、分類されたボクセルの表面再構成処理を示す図である。
【図12】本開示において説明する方法およびソフトウェア製品を実行するために使用され得る例示的なデータコンピューティングシステムを示すブロック図である。
【発明を実施するための形態】
【0060】
本開示において、3D画像データ、例えば、CT画像データスタック、特に、コーンビームCT(CBCT)画像データスタックを形成する一連の画像によって定義される3D画像データに基づく歯顎顔面構造の分類、セグメント化、および3Dモデリングのために深層ニューラルネットワークを使用するコンピュータシステムおよびコンピュータによって実行される方法の実施形態について説明する。3D画像データは、歯顎顔面構造の3D画像空間を形成するボクセルを備えてもよい。本発明によるコンピュータシステムは、歯顎顔面構造の3D画像データスタックを異なるクラスのボクセルに分類するように訓練された少なくとも1つの深層ニューラルネットワークを備えてもよく、各クラスは、構造の別個の部分(例えば、歯、顎、神経)に関連付けられてもよい。コンピュータシステムは、歯顎顔面構造の正確な3Dモデルを含んでもよい1つまたは複数の訓練セットに基づいて、1つまたは複数の深層ニューラルネットワークを反復的に訓練する(最適化する)訓練プロセスを実行するように構成されてもよい。これらの3Dモデルは、光学的にスキャンされた歯顎顔面構造(歯および／または顎骨)を含んでもよい。
【0061】
訓練されると、深層ニューラルネットワークは、歯顎顔面構造の3D画像データスタックを受信し、3D画像データスタックのボクセルを分類してもよい。訓練された深層ニューラルネットワークにデータが提示される前に、ニューラルネットワークがボクセルを効率的かつ正確に分類することができるように、データは、前処理されてもよい。ニューラルネットワークの出力は、ボクセルデータの異なる収集物を含んでもよく、各収集物は、異なる部分、例えば、3D画像データの歯または顎骨を表してもよい。分類されたボクセルは、歯顎顔面構造の正確な3Dモデルを再構築するために後処理されてもよい。
【0062】
歯顎顔面構造のボクセルを自動的に分類するための訓練されたニューラルネットワークを備えるコンピュータシステム、ネットワークの訓練、ニューラルネットワークに供給される前の3D画像データの前処理、ならびに、ニューラルネットワークによって分類されたボクセルの後処理について、以下でより詳細に説明する。
【0063】
図1は、本発明の一実施形態による3D歯顎顔面構造の分類およびセグメント化のためのコンピュータシステムを概略的に示す。具体的には、コンピュータシステム102は、歯顎顔面構造の3D画像データスタック104を受信するように構成されてもよい。構造は、顎構造と、歯構造と、神経構造とを含んでもよい。3D画像データは、ボクセル、すなわち、放射強度または密度値を表すボクセル値、例えば、グレースケール値またはカラー値に関連付けられた3D空間要素を備えてもよい。好ましくは、3D画像データスタックは、所定のフォーマット、例えば、DICOMフォーマットまたはその派生物に準じたCBCT画像データを含んでもよい。
【0064】
コンピュータシステムは、分類されたボクセルの3Dセットを出力114として生成するように訓練された第1の3D深層学習ニューラルネットワーク112の入力に供給される前に3D画像データを前処理するためのプリプロセッサ106を備えてもよい。以下でより詳細に説明するように、3D深層学習ニューラルネットワークは、訓練されたニューラルネットワークが3D画像内のボクセルを異なるクラスのボクセル(例えば、歯、顎骨、および／または神経組織に関連付けられたボクセル)に正確に分類することができるように、所定の訓練方式に従って訓練されてもよい。3D深層学習ニューラルネットワークは、複数の接続された3D畳み込みニューラルネットワーク(3D CNN)層を備えてもよい。
【0065】
コンピュータシステムは、3D深層学習ニューラルネットワークによって分類されたボクセルを使用して、歯顎顔面構造の異なる部分(例えば、歯、顎、および神経)の3Dモデルを正確に再構築するためのポストプロセッサ116をさらに備えてもよい。以下でより詳細に説明するように、分類されたボクセルの一部、例えば、歯構造または顎構造に属するものとして分類されたボクセルは、そのような構造に属すると分類されたボクセルに基づいて歯顎顔面構造、例えば、顎124の形状および歯126の形状に関する3Dボリュームを再構築するように訓練されたさらなる第2の3D深層学習ニューラルネットワーク120に入力される。分類されたボクセルの他の部分、例えば、3D深層ニューラルネットワークによって神経に属するものとして分類されたボクセルは、補間関数118を使用することによって後処理され、3D神経データ122として記憶されてもよい。分類されたボクセルから神経を表すボリュームを決定するタスクは、現在、深層ニューラルネットワーク(に利用可能な処理能力)の容量を超えている性質のものである。さらに、提示された分類されたボクセルは、この特定の問題を解決するためにニューラルネットワークに適した情報を含まない場合がある。したがって、分類された神経ボクセルを正確かつ効率的に後処理するために、分類されたボクセルの補間が使用される。歯顎顔面構造の様々な部分の3Dデータを後処理した後、神経データ、顎データ、および歯データ122～126は、組み合わされ、コンピュータシステムの入力に供給された3D画像データ内の歯顎顔面構造を正確に表す別個の3Dモデル128においてフォーマットされてもよい。
【0066】
CBCTスキャンにおいて、スキャンにおける異なる領域が、スキャンされる臓器内のそれらの相対的位置に応じて異なるグレースケール値で現れるので、(ハンスフィールド単位(HU)において測定される)放射密度は、不正確である。CBCTスキャナと医用グレードのCTスキャナの両方を用いて同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有のX線撮影で識別された骨密度の決定について信頼できない。
【0067】
さらに、歯科用CBCTシステムは、再構築された密度値を表すグレースケールをスケーリングするための標準化されたシステムを用いない。これらの値は、そのように恣意的であり、骨質の評価を可能にしない。そのような標準化がないとき、グレーレベルを解釈することは困難であるか、または異なるマシンから生じる値を比較することは不可能である。
【0068】
歯構造および顎構造は同様な密度を有するので、コンピュータが歯に属するボクセルと顎に属するボクセルとを区別することは困難である。加えて、CBCTシステムは、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する、いわゆるビーム硬化に非常に敏感である。
【0069】
上記の問題に対して3D深層学習ニューラルネットワークを堅牢にするために、3Dニューラルネットワークは、3D画像データによって表されるような歯顎顔面構造の部分の3Dモデルを利用するためにモジュール138を使用して訓練されてもよい。3D訓練データ130は、関連するターゲット出力が既知である104において提示されるCBCT画像(例えば、歯顎顔面構造の3D CT画像データおよび歯顎顔面構造の関連する3Dセグメント化表現)に正しく位置合わせされてもよい。従来の3D訓練データは、入力データを手動でセグメント化することによって取得される場合があり、これは、かなりの量の作業を表す場合がある。加えて、手動のセグメント化は、使用される入力データの低い再現性および一貫性をもたらす。
【0070】
この問題に対処するために、一実施形態において、光学的に生成された訓練データ130、すなわち、歯顎顔面構造(の部分)の正確な3Dモデルが、手動でセグメント化された訓練データの代わりに、または少なくともそれに加えて使用されてもよい。訓練データを生成するために使用される歯顎顔面構造は、3D光学スキャナを使用してスキャンされてもよい。そのような光学3Dスキャナは、当該技術分野において公知であり、高品質の3D顎および歯表面データを生成するために使用することができる。3D表面データは、ボクセル分類器134によって(どの特定のボクセルがメッシュによって取り囲まれたボリュームの一部であるか決定して)満たされ、使用され得る3D表面メッシュ132を含んでもよい。このように、ボクセル分類器は、訓練のための高品質な分類されたボクセル136を生成することができる。加えて、上記のように、同様にネットワークを訓練するために、手動で分類された訓練ボクセルが訓練モジュールによって使用されてもよい。訓練モジュールは、分類された訓練ボクセルをターゲットとして使用し、関連するCT訓練データを入力として使用してもよい。
【0071】
加えて、訓練プロセス中、CT訓練データは、3D位置特徴を決定するように構成されてもよい特徴抽出器108によって前処理されてもよい。歯顎顔面特徴は、画像化された歯顎顔面構造の1つまたは複数の部分(受信された3Dデータセット)に関連付けられた少なくとも空間情報を符号化してもよい。例えば、一実施形態において、手動で設計された3D位置特徴は、ボクセルを含む3Dボリューム内の、顎骨(の一部)、特に歯列弓を表す3D曲線を含んでもよい。1つまたは複数の重みパラメータが、3D曲線に沿った点に割り当てられてもよい。重み値の値は、ボクセルからボクセルへの3D空間における移動を符号化するために使用されてもよい。例えば、画像スタックが受け取られる元の空間の符号化されたバージョンを組み込むのではなく、符号化された空間は、入力において検出される歯顎顔面構造に特有のものである。特徴抽出器は、放射強度または密度値を表すボクセル値を調べ、特定のボクセルを通して1つまたは複数の曲線(例えば、多項式)をフィッティングすることによって、顎および／または歯(例えば、歯列弓)の1つまたは複数の曲線を近似する1つまたは複数の曲線を決定してもよい。3D CT画像データスタックの歯列弓曲線(の一部)の導関数が、位置特徴をマッピング110として記憶されてもよい。
【0072】
別の実施形態において、そのような3D位置特徴は、例えば、受信された3Dデータセット全体から関連情報を導出するように設計された3D深層ニューラルネットワークなどの(訓練された)機械学習方法によって決定されてもよい。
【0073】
図2は、本発明の一実施形態による、歯顎顔面3D画像データを分類するための深層ニューラルネットワークを訓練することのフロー図を示す。訓練データは、歯顎顔面構造の3D CTスキャンのボクセルを自動的に分類することができるように3D深層学習ニューラルネットワークを訓練するために使用される。この図に示すように、歯顎顔面複合体202の表現がコンピュータシステムに提供されてもよい。訓練データは、歯顎顔面構造のCT画像データスタック204と、関連する3Dモデル、例えば、同じ歯顎顔面構造の光学スキャンからの3Dデータ206とを含んでもよい。そのような3D CT画像データおよび3D光学スキャンデータの例が図3Aおよび図3Bに示されている。図3Aは、歯顎顔面構造の3D CTスキャンの異なる平面、例えば、軸平面302、前額面または冠状面304、および矢状面306に関連付けられたDICOMスライスを示す。図3Bは、歯顎顔面構造の3D光学スキャンデータを示す。コンピュータは、光学スキャンデータに基づいて、歯顎顔面構造の3D表面メッシュ208を形成してもよい。さらに、3D表面メッシュを3D CT画像データに位置合わせするように構成された位置合わせ機能210が用いられてもよい。位置合わせの後、コンピュータの入力に提供される3D構造の表現は、同じ空間座標系を使用する。位置合わせされたCT画像データおよび3D表面メッシュに基づいて、位置特徴212、および光学スキャンされた3Dモデル214の分類されたボクセルデータが決定されてもよい。位置特徴および分類されたボクセルデータは、次いで、画像データスタック204とともに、深層ニューラルネットワーク216の入力に提供されてもよい。
【0074】
したがって、訓練段階中、3D深層学習ニューラルネットワークは、3D CT訓練データと、3D CT訓練データから抽出された位置特徴とを入力データとして受信し、3D CT訓練データに関連付けられた分類された訓練ボクセルは、ターゲットデータとして使用される。深層ニューラルネットワークの出力から所定の入力に対する所望の出力を表すターゲットデータ(すなわち、分類されたボクセルデータ)への偏差を表す損失関数を最小化することによって、深層ニューラルネットワークのネットワークパラメータの最適値を学習するために、最適化方法が使用されてもよい。損失関数の最小化が特定の値に収束する場合、訓練プロセスは、アプリケーションに適しているとみなすことができる。
【0075】
3D光学スキャンデータから(少なくとも部分的に)導出されてもよい訓練データと組み合わせて3D位置特徴を使用する図2に示す訓練プロセスは、3D深層学習ニューラルネットワークのための高品質な訓練セットを提供する。訓練プロセスの後、訓練されたネットワークは、3D CT画像データスタックからのボクセルを正確に分類することができる。
【0076】
図4Aおよび図4Bは、本開示において説明する方法およびシステムにおいて使用するための深層ニューラルネットワークアーキテクチャの高レベルの概略図を示す。深層ニューラルネットワークは、1つまたは複数の3D畳み込みニューラルネットワーク(3D CNN)を使用して実装されてもよい。畳み込み層は、シグモイド関数、tanh関数、relu関数、ソフトマックス関数などの層内のニューロンに関連付けられた活性化関数を用いてもよい。深層ニューラルネットワークは、複数の3D畳み込み層を含んでもよく、層の数、およびそれらの定義パラメータにおけるわずかな変動、例えば、異なる活性化関数、カーネルの量およびサイズ、ならびに、ドロップアウトおよびバッチ正規化層などの追加の機能層は、深層ニューラルネットワークの設計の本質を失うことなく、実装において使用されてもよい。
【0077】
図4Aに示すように、ネットワークは、複数の畳み込み経路を含んでもよく、各畳み込み経路は、3D畳み込み層のセットに関連付けられる。一実施形態において、ネットワークは、少なくとも2つの畳み込み経路、3D畳み込み層の第1のセット406に関連付けられた第1の畳み込み経路と、3D畳み込み層の第2のセット408に関連付けられた第2の畳み込み経路とを含んでもよい。第1および第2の畳み込み経路は、それぞれ、第1および第2の畳み込み経路の入力に提供されるボクセルに関連付けられた受信3D画像データから導出された3D特徴を符号化するように訓練されてもよい。さらに、いくつかの実施形態において、ネットワークは、3D畳み込み層の第3のセット407に関連付けられた少なくともさらなる(第3の)畳み込み経路を含んでもよい。第3の畳み込み経路は、第3の経路の入力に提供されるボクセルに関連付けられた受信3D位置特徴から導出された3D特徴を符号化するように訓練されてもよい。
【0078】
代替的には、別の実施形態において、3D位置特徴データに基づいて訓練されたさらなる畳み込み経路の代わりに、3D位置特徴データは、第1および第2の畳み込み経路の入力に提供されるボクセルの強度値に関連付けられてもよい。したがって、この実施形態において、第1および第2の畳み込み経路は、強度値と位置特徴情報とを含むボクセル値の3Dデータスタックを含む訓練データに基づいて訓練されてもよい。
【0079】
異なる経路の機能は、図4Bにおいてより詳細に示されている。この図に示すように、ボクセルは、ニューラルネットワークの入力に供給される。これらのボクセルは、画像ボリューム4013と呼ばれる場合もある所定のボリュームに関連付けられる。ボクセルの総ボリュームは、ボクセルの第1のブロックに分割されてもよく、第1の経路4031の3D畳み込み層は、3D画像データのボクセルの第1のブロック4011の各々に対して3D畳み込み演算を実行してもよい。処理中、各3D畳み込み層の出力は、後続の3D畳み込み層の入力であってもよい。このように、各3D畳み込み層は、入力に供給される3D画像データの特徴を表す3D特徴マップを生成してもよい。したがって、そのような特徴マップを生成するように構成された3D畳み込み層は、3D CNN特徴層と呼ばれる場合がある。
【0080】
図4Bに示すように、第2の畳み込み経路4032の畳み込み層は、3D画像データのボクセルの第2のブロック4012を処理するように構成されてもよい。ボクセルの各第2のブロックは、ボクセルの第1のブロックに関連付けられ、ボクセルの第1および第2のブロックは、画像ボリューム内の同じ中心原点を有する。第2のブロックのボリュームは、第1のブロックのボリュームよりも大きい。さらに、ボクセルの第2のブロックは、関連するボクセルの第1のブロックのダウンサンプリングされたバージョンを表す。ダウンサンプリングは、よく知られた補間アルゴリズムを使用することに基づいてもよい。ダウンサンプリング係数は、任意の適切な値であってもよい。一実施形態において、ダウンサンプリング係数は、20と2との間、好ましくは10と3との間で選択されてもよい。
【0081】
したがって、3D深層ニューラルネットワークは、少なくとも2つの畳み込み経路を備えてもよい。第1の畳み込み経路4031は、第1のボクセル解像度、例えば、ターゲットのボクセル解像度(すなわち、分類されるべき3D画像データのボクセルの解像度)において入力データ(例えば、画像ボリューム内の所定の位置におけるボクセルの第1のブロック)を処理するように構成された3D CNN特徴層の第1のセット(例えば、5～20層)を定義してもよい。同様に、第2の畳み込み経路は、第2のボクセル解像度において入力データ(例えば、ボクセルの第2のブロック4012の各ブロックがボクセルの第1のブロックからのその関連するブロックと同じ中心点を有する、ボクセルの第2のブロック)を処理するように構成された、3D CNN特徴層の第2のセット(例えば、5～20層)を定義してもよい。ここで、第2の解像度は、第1の解像度よりも低い。したがって、ボクセルの第2のブロックは、第1のブロックよりも実世界の寸法において大きいボリュームを表す。このように、第2の3D CNN特徴層は、第1の3D CNN特徴層によって処理される関連するボクセルの(直接)近傍に関する情報を含む3D特徴マップを生成するためにボクセルを処理する。
【0082】
したがって、第2の経路は、ニューラルネットワークが、コンテキスト情報、すなわち、ニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(例えば、その周囲)に関する情報を決定することを可能にする。複数の(並列)畳み込み経路を使用することによって、3D画像データ(入力データ)と、3D画像データのボクセルに関するコンテキスト情報の両方を並列に処理することができる。コンテキスト情報は、典型的には、特にCBCT画像データの場合に区別することが困難な密接に詰め込まれた歯構造を含む、歯顎顔面構造を分類するのに有用である。
【0083】
一実施形態において、4Bのニューラルネットワークは、3D画像データから抽出され得る3D位置特徴404の特定の表現を処理するように訓練された3D畳み込み層の第3のセットの第3の畳み込み経路4033をさらに含んでもよい。3D画像データからの3D位置特徴の抽出は、前処理ステップとして実現されてもよい。代替実施形態において、3D位置特徴を処理するための第3の畳み込み経路を使用する代わりに、3D位置特徴を含む3D位置情報は、深層ニューラルネットワークの入力に供給される3D画像データに関連付けられてもよい。具体的には、3Dデータスタックは、各ボクセルが強度値および位置情報に関連付けられる3Dデータスタックが形成されてもよい。したがって、位置情報は、例えば、受信された3D画像情報への追加のチャネルとして3D位置特徴情報を追加することによって、適用可能な受信ボクセルごとに対にされてもよい。したがって、この実施形態において、深層ニューラルネットワークの入力における3D歯顎顔面構造のボクセル表現のボクセルは、例えば、電波強度値を表すボクセル値に関連付けられるだけでなく、3D位置情報にも関連付けられてもよい。したがって、この実施形態において、第1および第2の畳み込み経路両方の畳み込み層の訓練中、3D画像特徴と3D位置特徴の両方から導出された情報がこれらの畳み込み層において符号化されてもよい。
【0084】
次いで、3D CNN特徴層のセットの出力は、マージされ、完全に接続された3D CNN層のセット410の入力に供給され、完全に接続された3D CNN層のセット410は、ニューラルネットワークの入力に提供され、3D CNN特徴層によって処理されるボクセルの意図された分類412を導出するように訓練される。
【0085】
3D CNN特徴層のセットは、それらの特定の入力から決定することができる最適に有用な情報を導出し、渡すように(それらの学習可能なパラメータを介して)訓練され、完全に接続された層は、最適に分類されたボクセル412を提供するために前の経路からの情報が組み合わされるべき方法を決定するパラメータを符号化する。その後、分類されたボクセルは、画像空間414において提示されてもよい。したがって、ニューラルネットワークの出力は、入力におけるボクセルの画像空間に対応する画像空間における分類されたボクセルである。
【0086】
ここで、完全に接続された層の出力(最後の層)は、各ボクセルに関する複数の活性化を提供してもよい。そのようなボクセル活性化は、ボクセルが複数のクラス、例えば、歯構造クラス、例えば、歯、顎、および／または神経構造のうちの1つに属する確率を定義する確率測度(予測)を表してもよい。ボクセルごとに、分類されたボクセルを取得するために、異なる歯構造に関連付けられたボクセル活性化が閾値処理されてもよい。
【0087】
図5～図7は、3D歯顎顔面構造を表す3D画像データスタック内の3D位置特徴を決定するための方法と、そのような位置特徴の例とを示す。具体的には、手動で設計された特徴の場合、図1を参照して説明したように、ネットワークが過剰適合のリスクなしにボクセルを正確に分類することができるように、3D画像データスタックと関連する3D位置特徴の両方が3D深層ニューラルネットワークへの入力として提供される。実世界の寸法に基づく変換が、入力画像解像度に関係なく同等の入力を保証する。
【0088】
手動で設計された3D位置特徴は、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置に関する3D深層ニューラルネットワーク情報を提供してもよい。例えば、一実施形態において、基準面は、上顎に関連するボクセルと下顎に関連するボクセルとを分離する画像ボリューム内の軸平面であってもよい。別の実施形態において、基準オブジェクトは、歯顎顔面構造の3D画像データ内の歯の歯列弓の少なくとも一部を近似する曲線、例えば、3D曲線を含んでもよい。このように、位置特徴は、画像ボリューム内の異なる位置におけるボクセル関連の顎、歯、および／または神経組織ごとの可能性を示す抽象化を符号化する手段を第1の深層ニューラルネットワークに提供する。これらの位置特徴は、深層ニューラルネットワークが3D画像データスタックのボクセルを効率的かつ正確に分類するのを助ける場合があり、過剰適合のリスクを低減するように設計される。
【0089】
分類プロセスにおいて有用な画像ボリューム内の基準面および／または基準オブジェクトを決定するために、特徴分析機能は、所定の強度値、または所定の強度値よりも上または下のボクセルを決定してもよい。例えば、明るい強度値に関連付けられたボクセルは、歯および／または顎組織に関連する場合がある。このように、画像ボリューム内の歯および／または顎の位置、ならびに向き(例えば、回転角度)に関する情報がコンピュータによって決定されてもよい。特徴分析機能が、回転角度が所定の量よりも大きい(例えば、15度よりも大きい)と判定した場合、機能は、正確な結果にとってより有益であるので、回転角度をゼロに修正してもよい。
【0090】
図5Aは、3D画像データ504、例えば、3D CT画像データスタック内の手動で設計された3D位置特徴を決定するフロー図502の一例を示す。このプロセスは、歯顎顔面構造の1つまたは複数の3D位置特徴を決定することを含んでもよく、1つまたは複数の3D位置特徴は、(上記で図4Bを参照して論じたように)3D深層ニューラルネットワークへの入力のために構成される。手動で設計された3D位置特徴は、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置情報、例えば、画像ボリューム内のボクセルと、下顎から上顎を分離する画像ボリューム内の基準面との間の距離、例えば、垂直距離を定義する。また、画像ボリューム内のボクセルと、歯基準オブジェクト、例えば、画像ボリューム内の歯列弓との間の距離を定義してもよい。画像ボリュームの第2の基準面内の累積強度値の位置をさらに定義してもよく、第2の基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍におけるボクセルの累積強度値を含む。
3D位置特徴の例について以下で説明する。
3D位置特徴の例について以下で説明する。
【0091】
歯顎顔面構造の3D画像データ内の歯列弓の位置情報を提供する基準オブジェクトを決定するために、異なる(累積)強度値の点のクラウド内の所定の点をフィッティングする曲線、例えば、多項式に従う曲線を決定するために、フィッティングアルゴリズムが使用されてもよい。
【0092】
一実施形態において、画像ボリュームの軸平面(xy面)内の強度値の点のクラウドが決定されてもよい。そのような軸平面内の点の累積強度値は、軸平面内の点を通る法線上に位置するボクセルのボクセル値を合計することによって決定されてもよい。このようにして得られた軸平面内の強度値は、歯の歯列弓を近似する曲線を見つけるために使用されてもよい。
【0093】
図5Bは、本発明の一実施形態による(手動で設計されていない)関連する3D位置特徴を生成するために利用され得る機械学習方法の一例を示す。具体的には、図5Bは、セグメント化3Dニューラルネットワークによって処理されるべき所望の特徴を生成するように訓練され得る例示的な3D深層ニューラルネットワークを示す。訓練後、そのような訓練されたモデルは、受信された3Dデータセット全体に基づいて関連する3D位置特徴を導出するプロプロセッサとして方法502と同様に用いられてもよい。
【0094】
手動で設計された3D位置特徴と同様に、目的は、自動分類およびセグメント化のタスクに潜在的に関連し、そうでなければセグメント化3D深層学習ネットワークに提供されるサブサンプルのセットからは利用できない場合があるセグメント化3D深層学習ネットワークにおいて使用するために受信3Dデータセット全体(または少なくともその実質的な部分)を考慮して3D位置特徴情報に組み込むことである。再び、手動で設計された3D位置特徴と同様に、そのような情報は、受信3Dデータセット内のボクセルごとに利用可能にされるべきである。
【0095】
3D位置特徴を自動的に生成するためのそのような機械学習方法を実施する可能な方法のうちの1つは、訓練された深層ニューラルネットワークである。そのようなネットワークは、3Dセグメント化深層ニューラルネットワークの入力に提供される入力3Dデータセット(例えば、歯顎顔面構造のボクセル表現)に基づいて3D位置特徴を導出するように訓練されてもよい。一実施形態において、前処理深層ニューラルネットワークは、図5Bによって示されるように3D Uネットタイプの深層ニューラルネットワークであってもよい。利用可能な処理(主にメモリ要件)の制限により、そのようなアーキテクチャは、受信ボクセル表現の解像度において動作しない。したがって、第1の入力3Dデータセット、第1の解像度(例えば、ボクセルあたり0.2×0.2×0.2mm)の第1のボクセル表現は、補間アルゴリズムを使用して、第2のより低い解像度、例えば、ボクセルあたり1×1×1mmの解像度の第2のボクセル表現にダウンサンプリングされてもよい。その後、第2の解像度のボクセル表現に基づいて訓練された3D深層ニューラルネットワークが、入力ボクセルごとに3D位置特徴情報を生成してもよい。この情報を元の第1の解像度に拡大するために、補間アルゴリズムが使用されてもよい。このように、結果として生じる3D位置特徴は、受信3Dデータ全体(の集約されたバージョン)を考慮する情報を考慮しながら、第1の入力3Dデータセットのボクセルごとに関連する情報をもたらす第1のボクセル表現のボクセルと(空間的に)一致する。
【0096】
そのような前処理前の3D深層ニューラルネットワークは、(所望の3D位置特徴である)所望のターゲット値に近づくように訓練されてもよい。この特定の例において、ターゲットは、例えば、前処理3D深層ニューラルネットワークが動作する解像度におけるボクセルごとのクラス指標であってもよい。そのようなクラス指標は、分類された訓練ボクセル136の同じプールから供給されてもよいが、受信3Dデータセットがダウンサンプリングされたのと同じ方法においてダウンサンプリングされてもよい。
【0097】
前処理機械学習方法のそのような例示的な実装形態は、粗い事前セグメント化、具体的には、受信3Dボクセル表現全体(またはその実質的な部分)からの情報に潜在的にアクセスすることができるものと効果的にみなされることに留意されたい。粗い事前セグメント化情報を、例えば、アップスケーリングによって、受信3D画像空間の該当のボクセルと対にすることは、受信3D画像解像度における結果に向けて、これらの3D位置特徴が受信3D画像データと並行して処理されることにつながる。
【0098】
前処理ネットワークは、畳み込み層(3D CNN)、3D最大プール層、3D逆畳み込み層(3D de-CNN)層、および密に接続された層などの様々な3Dニューラルネットワーク層を使用して実装されてもよい。層は、線形、tanh、ReLU、PreLU、シグモイドなどの様々な活性化関数を使用してもよい。3D CNN層およびde-CNN層は、それらのフィルタの量、フィルタサイズ、およびサブサンプリングパラメータにおいて異なってもよい。3D CNN層およびde-CNN層、ならびに密に接続された層は、それらのパラメータ初期化方法において異なってもよい。アーキテクチャ全体を通して、ドロップアウト層および／またはバッチ正規化層が用いられてもよい。
【0099】
3D Uネットアーキテクチャに従って、訓練中、3D CNN層および3D de-CNN層内の様々なフィルタは、予測精度の取り組みを助けるであろう意味のある特徴を符号化することを学習する。訓練中、3D画像データ522と符号化マッチング3D位置特徴560のマッチングセットが、前者から後者の予測に向けて最適化するために使用される。最小化される尺度として、損失関数が用いられてもよい。この最適化の取り組みは、SGD、Adamなどのオプティマイザを利用して支援されてもよい。
【0100】
そのようなアーキテクチャは、例えば、最大プーリングまたはサブサンプリングされた3D畳み込みを介して3D CNN層の以前のセット524、528、532からの結果として効果的にダウンスケーリング526、530、534する様々な内部解像度スケールを用いてもよい。ここでの「意味のある特徴」という用語は、ターゲット出力値を決定することに関連する情報の(連続的な)導出を指し、フィルタを用いながらアップサンプリングを効果的に実行する3D de-CNN層を介して符号化もされる。同じ解像度において動作する「最後の」3D CNN層からのデータを用いてそのような3D de-CNN層538、544、550から結果として生じる540、546、552データ(532から540、528から546、524から552)を結合することによって、非常に正確な予測が達成される場合がある。アップスケーリング経路全体を通して、追加の3D CNN層542、548、554が使用されてもよい。
【0101】
推論に利用される場合、検証が十分に正確な結果をもたらすように内部パラメータを符号化するように訓練されているとすると、入力サンプルが提示されてもよく、3D深層学習ネットワークは、予測3D位置特徴542をもたらす場合がある。
【0102】
手動で設計された3D位置特徴の決定において使用するための基準オブジェクトの一例、この場合は、歯列弓を近似する曲線を図6において提供する。この例において、軸(xy)面内の点のクラウドは、高強度値の領域(明るい白色領域)が歯構造または顎構造の領域を示す可能性があることを示す。歯列弓曲線を決定するために、コンピュータは、歯ボクセルまたは顎ボクセルとして識別され得る明るいボクセル(例えば、所定の閾値を超える強度値を有するボクセル)に関連付けられた画像ボリュームの軸平面内の領域を決定してもよい。高強度のこれらの領域は、歯顎顔面アーチを近似する明るい領域の三日月形配置を決定するために使用されてもよい。このように、それぞれ上顎および下顎の歯顎顔面アーチの平均を近似する歯列弓曲線が決定されてもよい。別の実施形態において、上顎および下顎に関連付けられた別々の歯列弓曲線が決定されてもよい。
【0103】
【0104】
図7Aは、3D画像データスタックの矢状面のスライスの画像(左)と、同じスライスのいわゆる高さ特徴の関連する視覚化(右)とを示す。そのような高さ特徴は、基準面702に対する3D CT画像データスタックの画像ボリューム内の各ボクセルのz位置(高さ704)を符号化してもよい。基準面(例えば、軸平面またはxy面)は、上顎と下顎の両方およびそれらの構成歯までほぼ等しい距離を有するxy面(の最適な近似)であるように決定される。
【0105】
他の3D位置特徴が、3D画像データスタックのxy空間内の空間情報を符号化するために定義されてもよい。一実施形態において、そのような位置特徴は、歯列弓(の一部)を近似する曲線に基づいてもよい。そのような位置特徴は、3D画像データスタックからのスライス(左)と、同じスライスに関するいわゆる移動特徴の視覚化(右)とを示す図7Bにおいて示されている。この移動特徴は、歯列弓を近似する曲線706に基づいており、曲線に沿って測定された相対距離708を定義する。ここで、ゼロ距離は、二次多項式の導関数が(ほぼ)ゼロである曲線上の点710として定義されてもよい。この点(例えば、導関数がゼロである点)からx軸上のいずれかの方向に移動すると、移動距離は、増加する。
【0106】
歯列弓曲線に基づくさらなる3D位置特徴は、画像ボリューム内の各ボクセルの歯列弓曲線706までの最短(垂直)距離を定義してもよい。したがって、この位置特徴は、「距離特徴」と呼ばれる場合がある。そのような特徴の一例が、3D画像データスタックからのスライス(左)と、同じスライスに関する距離特徴の視覚化(右)とを示す図7Cにおいて示されている。この特徴について、ゼロ距離は、ボクセルが歯列弓曲線706上に位置することを意味する。
【0107】
さらに、さらなる3D位置特徴が個々の歯の位置情報を定義してもよい。(歯科特徴とも呼ばれる場合がある)そのような特徴の一例が、3D画像データスタックからのスライス(左)と、同じスライスに関する歯科特徴の視覚化(右)とを示す図7Dにおいて示されている。歯科特徴は、ボクセル空間内の特定の位置における特定の歯のボクセルを見つける可能性を決定するために使用されるべき情報を提供してもよい。この特徴は、702などの決定された基準面に続いて、任意の平面(例えば、xy面または任意の他の平面)に対する法線にわたるボクセルの別個の合計を符号化してもよい。したがって、この情報は、ニューラルネットワークに、平面法線にわたって合計された元の空間からのすべての情報の「ビュー」を提供する。このビューは、この特徴を除外した場合に処理されるものよりも大きく、(xy面について7121、7122において示される)空間の選択された方向におけるすべての情報に基づいてハード構造が存在するかどうかを区別する手段を提供してもよい。
【0108】
図7Eは、機械学習プリプロセッサ、具体的には、図5Bを参照して説明した3D深層ニューラルネットワークによって生成され得る3D位置特徴の視覚化を示す。これらの3D位置特徴は、3Dにおいてコンピュータレンダリングされており、示された3Dボリュームは、予測値の閾値処理の結果である。ボリュームを定義する表面の相対的な「粗さ」から、そのようなネットワーク、ならびにその入力およびターゲットデータが、セグメント化されるべき最終的なボクセル表現のものよりも低い3D解像度(この例の場合、ボクセルあたり1×1×1mmの解像度が用いられた)において動作したことがわかる。ターゲットとして、セグメント化3D深層学習ネットワークのために用いられたが、そのような前処理3D深層ニューラルネットワークによる利用に関する処理要件を遵守する適切な解像度にダウンサンプリングされた訓練データと同じ訓練データが使用されてもよい。これは、実際には、この例の場合、顎720、歯722、および神経724の構造の「粗い」事前セグメント化を含むそのような3D位置特徴をもたらす。この図の目的のために、この特定の患者の下顎は、神経構造の一部である可能性が最も高いものとして分類されたボクセルを示すためにレンダリングされていない。
【0109】
そのような粗い事前セグメント化は、例えば、補間によって適切にアップサンプリングされ、(元に受信されたボクセル解像度である)所望の解像度におけるボクセルごとに、そのような事前セグメント化からの情報が所望の解像度において空間的に一致することを保証してもよい。例えば、示された視覚化における1つのボクセルからの情報は、所望の解像度において5×5×5ボクセルと空間的に一致する場合があり、この情報は、所望の解像度におけるすべての適切な125ボクセルと対にされるべきである。その後、このアップサンプリングされた情報は、3D位置特徴のセットとして提示されるか、またはその中に含まれ、図4を参照して説明したように、入力としてセグメント化3D深層ニューラルネットワークに供給されてもよい。
【0110】
したがって、図5～図7は、3D位置特徴が、ボクセルを分類するために訓練された深層ニューラルネットワークの入力に提供されるボクセル表現のボクセルに関する情報を定義することを示す。情報は、ボクセル表現から利用可能なすべての情報(またはその実質的な部分)から集約されてもよく、集約中、歯基準オブジェクトに対するボクセルの位置が考慮されてもよい。さらに、情報は、第1のボクセル表現内のボクセルの位置ごとに処理することができるように集約される。
【0111】
図8A～図8Dは、本発明の一実施形態による訓練された深層学習ニューラルネットワークの出力の例を示す。具体的には、図8A～図8Dは、図2を参照して説明した訓練方法を使用して訓練された深層学習ニューラルネットワークを使用して分類されたボクセルの3D画像を示す。図8Bおよび図8Cに示すように、ボクセルは、歯構造(図8B)、顎構造(図8C)、または神経構造(図8D)に属するボクセルにおいてニューラルネットワークによって分類されてもよい。図8Aは、深層学習ニューラルネットワークが歯、顎、および神経組織として分類したボクセルを含む3D画像を示す。図8B～図8Dによって示すように、分類プロセスは、正確であるが、見落とされるか、または誤って分類される相当な数のボクセルが依然として存在する。例えば、図8Bおよび図8Cに示すように、顎構造の一部である可能性があるボクセルが歯ボクセルとして分類され、歯の根元に属する表面においてボクセルが見落とされている。図8Dに示すように、この問題は、分類された神経ボクセルでさらに顕著である。
【0112】
(第1の深層学習ニューラルネットワークの出力を形成する)分類されたボクセルにおける外れ値の問題に対処するために、ボクセルは、後処理されてもよい。図9は、本発明の一実施形態による3D歯顎顔面構造の分類されたボクセルを後処理することのフロー図を示す。具体的には、図9は、本出願の図1～図8を参照して説明したように深層学習ニューラルネットワークを使用して分類された歯顎顔面構造のボクセルデータを後処理することのフロー図を示す。
【0113】
図9に示すように、プロセスは、歯顎顔面構造の分類されたボクセルデータ902を、顎ボクセル904、歯ボクセル906として分類されたボクセルと、神経データ908として分類されたボクセルとに分割するステップを含んでもよい。以下でより詳細に説明するように、顎ボクセルおよび歯ボクセルは、さらなる第2の深層学習ニューラルネットワーク910を使用して後処理される。画像データに基づいて可能な限り最良のボクセル分類を生成する(入力として歯顎顔面構造の3D CT画像データスタックと関連する位置特徴とを使用する)最初の第1の深層学習ニューラルネットワークとは対照的に、第2の「後処理」深層学習ニューラルネットワークは、出力が所望の3D構造により密接に一致するように、第1の深層学習ニューラルネットワークの出力の一部をボクセルに変換する。
【0114】
後処理深層学習ニューラルネットワークは、歯と顎の両方の表現を符号化する。後処理深層学習ニューラルネットワークの訓練中、ニューラルネットワークのパラメータは、第1の深層学習ニューラルネットワークの出力がこれらの歯顎顔面構造の最も可能性のある表現に変換されるように調整される。このように、分類されたボクセルにおける欠陥を再構築(912)することができる。加えて、最良の可能性のある3D顎モデルおよび歯モデルを生成することができるように、3D構造の表面を平滑化(914)することができる。後処理ニューラルネットワークのための情報源から3D CT画像データスタックを除外することは、この後処理ステップを、画像スタック内の望ましくない変動に対して堅牢にする。
【0115】
(CB)CT画像の性質により、第1の深層学習ニューラルネットワークの出力は、患者の動き、ビーム効果などによる平均化などの(前述の)潜在的なアーティファクトの影響を受ける。別のノイズ源は、異なるCT画像によってキャプチャされた画像データにおける不一致である。この不一致は、画像スタック内のノイズの量の変化、同じ(実世界の)密度を表すボクセル強度地の変化、および潜在的な他のものなどの、様々な要因が導入されるという結果をもたらす。上記のアーティファクトおよびノイズ源が第1の深層学習ニューラルネットワークの出力に与える影響は、後処理深層学習ニューラルネットワークによって除去されるか、または少なくとも実質的に低減され、セグメント化された顎ボクセル918およびセグメント化された歯ボクセル920をもたらす。
【0116】
分類された神経データ908は、顎および歯のデータとは別に後処理されてもよい。CT画像データスタック内の長く細いフィラメント構造を表す神経データの性質は、このデータを深層学習ニューラルネットワークによる後処理にあまり適さなくする。代わりに、分類された神経データは、セグメント化された神経データを生成するために、補間アルゴリズムを使用して後処理(916)される。その目的のため、神経ボクセルに分類され、高い確率(例えば、95%以上の確率)に関連付けられたボクセルは、神経構造の3Dモデルを構築するためにフィッティングアルゴリズムによって使用される。その後、3D顎、歯、および神経のモデルは、歯顎顔面構造の3Dモデルに組み合わされる。
【0117】
図10は、本発明の一実施形態による3D歯顎顔面構造の分類されたボクセルを後処理するために構成された深層学習ニューラルネットワークのアーキテクチャの例を示す。後処理深層学習ニューラルネットワークは、ターゲットの解像度において入力データ(この場合、分類されたボクセルデータの一部)を処理するように構成された、3D CNN特徴層の第1のセット1004によって形成された第1の経路を含む、第1の深層学習ニューラルネットワークと同様のアーキテクチャを有してもよい。深層学習ニューラルネットワークは、第1の3D CNN特徴層によって処理された入力データのコンテキストを、しかしターゲットよりも低い解像度において処理するように構成された3D CNN特徴層の第2のセット1006をさらに含む。第1および第2の3D CNN特徴層の出力は、次いで、3D歯顎顔面構造の3Dモデルを厳密に表すように、分類されたボクセルデータを再構築するために、完全に接続された3D CNN層のセット1008の入力に供給される。完全に接続された3D CNN層の出力は、再構築されたボクセルデータを提供する。
【0118】
後処理ニューラルネットワークは、同じ所望の出力を表す第1の深層学習ニューラルネットワークと同じターゲットを使用して訓練されてもよい。訓練中、ネットワークは、規則化されるべき例外的なケースを表すために入力にノイズを提供することによって、可能な限り広く適用可能にされる。後処理深層学習ニューラルネットワークの性質に固有の、それが実行する処理は、受信ボクセルデータから可能性のない態様の除去も結果として生じる。ここでの要因は、所望の歯顎顔面構造の平滑化および充填と、可能性のないボクセルデータの完全な除去とを含む。
【0119】
図11Aおよび図11Bは、本発明の一実施形態による、分類されたボクセルの表面再構成をもたらす後処理ネットワークの反復を示す。具体的には、図11Aは、歯構造の分類されたボクセルのピクチャを示し、ボクセルは、第1の深層学習ニューラルネットワークの出力である。図に示すように、入力データ内のノイズおよび他のアーティファクトは、ボクセル分類において不規則性とアーティファクトとを結果として生じ、したがって、歯構造を表すボクセルのセットにおいてギャップを含む3D表面構造を結果として生じる。これらの不規則性およびアーティファクトは、下歯槽神経構造11021および歯の歯根構造11041、すなわち、深層学習ニューラルネットワークが歯ボクセルと顎骨の一部であるボクセルとを区別しなければならない領域において特に可視である。
【0120】
図11Bは、図9および図10を参照して説明したプロセスによる後処理の結果を示す。この図に示すように、後処理深層学習ニューラルネットワークは、入力データ(分類されたボクセル)において存在したアーティファクトを正常に除去する。後処理ステップは、個々の歯構造11042の正確な3Dモデルを提供する滑らかな表面をここでは示す歯の歯根構造11041などの、不規則性とアーティファクトととによって実質的に影響を受けた部分を正確に再構成する。神経構造11022の3Dモデルを構築するために、高確率の神経ボクセル11021(例えば、95%以上の確率)がフィッティングアルゴリズムによって使用される。
【0121】
図は、各ニューラルネットワークが特定の機能、例えば、前処理、分類およびセグメント化、ならびに後処理を有する別個のニューラルネットワークとして3D深層ニューラルネットワークを示しているが、これらのニューラルネットワークはまた、互いに接続されて、所望の機能を含む1つまたは1つの深層ニューラルネットワークを形成してもよい。その場合、異なるニューラルネットワークが別々に(例えば、本開示における図を参照して説明したように)訓練されてもよい。その後、訓練されたネットワークは、互いに接続され、1つの深層ニューラルネットワークを形成してもよい。
【0122】
図12は、本開示において説明する例示的なデータ処理システムを示すブロック図である。データ処理システム1200は、システムバス1206を介してメモリ要素1204に結合された少なくとも1つのプロセッサ1202を含んでもよい。そのように、データ処理システムは、メモリ要素1204内にプログラムコードを記憶してもよい。さらに、プロセッサ1202は、システムバス1206を介してメモリ要素1204からアクセスされたプログラムコードを実行してもよい。一態様において、データ処理システムは、プログラムコードを記憶するおよび／または実行するのに適したコンピュータとして実装されてもよい。しかしながら、データ処理システム1200は、本明細書内で説明される機能を実行することができるプロセッサとメモリとを含む任意のシステムの形態において実装されてもよいことが理解されるべきである。
【0123】
メモリ要素1204は、例えば、ローカルメモリ1208および1つまたは複数の大容量記憶デバイス1210などの、1つまたは複数の物理メモリデバイスを含んでもよい。ローカルメモリは、プログラムコードの実際の実行中に一般的に使用されるランダムアクセスメモリまたは他の非永続的なメモリデバイスを指す場合がある。大容量記憶デバイスは、ハードドライブまたは他の永続的なデータ記憶デバイスとして実装されてもよい。処理システム1200はまた、実行中にプログラムコードが大容量記憶デバイス1210から検索されなければならない回数を低減するために、少なくともいくつかのプログラムコードの一時的な記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)を含んでもよい。
【0124】
入力デバイス1212および出力デバイス1214として示された入力／出力(I/O)デバイスは、任意選択で、データ処理システムに結合することができる。入力デバイスの例は、限定はしないが、例えば、キーボード、マウスなどのポインティングデバイスなどを含んでもよい。出力デバイスの例は、限定はしないが、例えば、モニタまたはディスプレイ、スピーカなどを含んでもよい。入力デバイスおよび／または出力デバイスは、直接、または介在するI/Oコントローラを介してデータ処理システムに結合されてもよい。介在するプライベートネットワークまたはパブリックネットワークを介して、他のシステム、コンピュータシステム、リモートコントロールデバイス、および／またはリモート記憶デバイスに結合されることを可能にするために、ネットワークアダプタ1216もデータ処理システムに結合されてもよい。ネットワークアダプタは、前記システム、デバイス、および／またはネットワークによって前記データに送信されるデータを受信するためのデータ受信機と、前記システム、デバイス、および／またはネットワークにデータを送信するためのデータ送信機とを備えてもよい。モデム、ケーブルモデム、およびイーサネット(登録商標)カードが、データ処理システム1200で使用されてもよい様々なタイプのネットワークアダプタの例である。
【0125】
図12に示すように、メモリ要素1204は、アプリケーション1218を記憶してもよい。データ処理システム1200は、アプリケーションの実行を容易にすることができるオペレーティングシステム(図示せず)をさらに実行してもよいことが理解されるべきである。実行可能なプログラムコードの形式において実装されているアプリケーションは、データ処理システム1200によって、例えば、プロセッサ1202によって実行することができる。アプリケーションを実行することに応答して、データ処理システムは、本明細書でさらに詳細に説明される1つまたは複数の動作を実行するように構成されてもよい。
【0126】
一態様において、例えば、データ処理システム1200は、クライアントデータ処理システムを表してもよい。その場合、アプリケーション1218は、実行されると、「クライアント」に関して本明細書で説明した様々な機能を実行するようにデータ処理システム1200を構成するクライアントアプリケーションを表してもよい。クライアントの例は、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などを含むことができる。
【0127】
別の態様において、データ処理システムは、サーバを表してもよい。例えば、データ処理システムは、(HTTP)サーバを表してもよく、その場合、アプリケーション1218は、実行されると、(HTTP)サーバ動作を実行するようにデータ処理システムを校正してもよい。別の態様において、データ処理システムは、本明細書において言及されるモジュール、ユニット、または機能を表してもよい。
【0128】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本発明を限定することを意図するものではない。本明細書で使用される単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、同様に複数形を含むことを意図している。「備える」および／または「備えている」という用語は、本明細書において使用されるとき、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
【0129】
以下の特許請求の範囲におけるすべての手段またはステッププラスファンクション要素の対応する構造、材料、動作、および均等物は、具体的に請求される他の請求要素と組み合わせて機能を実行するための任意の構造、材料、または動作を含むことを意図している。本発明の説明は、例示および説明の目的のために提示されているが、網羅的であること、または開示された形態における本発明に限定されることを意図するものではない。本発明の範囲および要旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理および実際の応用を最もよく説明し、当業者が、意図される特定の仕様に適するように様々な修正を伴う様々な実施形態について本発明を理解することができるように選択され、説明された。
【符号の説明】
【0130】
102 コンピュータシステム
104 3D画像データスタック
106 プリプロセッサ
108 特徴抽出器
110 マッピング
112 第1の3D深層学習ニューラルネットワーク
114 出力
116 ポストプロセッサ
118 補間関数
120 第2の3D深層学習ニューラルネットワーク
122 3D神経データ
124 顎
126 歯
128 3Dモデル
130 3D訓練データ
132 3D表面メッシュ
134 ボクセル分類器
136 ボクセル、訓練ボクセル
202 歯顎顔面複合体
204 CT画像データスタック
206 3Dデータ
208 3D表面メッシュ
210 位置合わせ機能
212 位置特徴
214 3Dモデル
216 深層ニューラルネットワーク
302 軸平面
304 前額面または冠状面
306 矢状面
4011 第1のブロック
4012 第2のブロック
4013 画像ボリューム
4031 第1の経路、第1の畳み込み経路
4032 第2の畳み込み経路
4033 第3の畳み込み経路
404 3D位置特徴
406 3D畳み込み層の第1のセット
407 3D畳み込み層の第3のセット
408 3D畳み込み層の第2のセット
410 完全に接続された3D CNN層のセット
412 ボクセルの意図された分類、最適に分類されたボクセル
504 3D画像データ
522 3D画像データ
524 3D CNN層の以前のセット
526 ダウンスケーリング
528 3D CNN層の以前のセット
530 ダウンスケーリング
532 3D CNN層の以前のセット
534 ダウンスケーリング
538 3D de-CNN層
540 データ
542 3D CNN層、予測3D位置特徴
544 3D de-CNN層
546 データ
548 3D CNN層
550 3D de-CNN層
552 データ
554 3D CNN層
560 符号化マッチング3D位置特徴
702 基準面
704 高さ
706 歯列弓を近似する曲線、歯列弓曲線
708 相対距離
710 点
7121 空間
7122 空間
720 顎
722 歯
724 神経
902 ボクセルデータ
904 顎ボクセル
906 歯ボクセル
908 神経データ
910 深層学習ニューラルネットワーク
912 再構築
914 平滑化
916 後処理
918 セグメント化された顎ボクセル
920 セグメント化された歯ボクセル
1004 3D CNN特徴層の第1のセット
1006 3D CNN特徴層の第2のセット
1008 完全に接続された3D CNN層のセット
11021 下歯槽神経構造、神経ボクセル
11022 神経構造
11041 歯根構造
11042 歯構造
1200 データ処理システム、処理システム
1202 プロセッサ
1204 メモリ要素
1206 システムバス
1210 大容量記憶デバイス
1212 入力デバイス
1214 出力デバイス
1216 ネットワークアダプタ
1218 アプリケーション
104 3D画像データスタック
106 プリプロセッサ
108 特徴抽出器
110 マッピング
112 第1の3D深層学習ニューラルネットワーク
114 出力
116 ポストプロセッサ
118 補間関数
120 第2の3D深層学習ニューラルネットワーク
122 3D神経データ
124 顎
126 歯
128 3Dモデル
130 3D訓練データ
132 3D表面メッシュ
134 ボクセル分類器
136 ボクセル、訓練ボクセル
202 歯顎顔面複合体
204 CT画像データスタック
206 3Dデータ
208 3D表面メッシュ
210 位置合わせ機能
212 位置特徴
214 3Dモデル
216 深層ニューラルネットワーク
302 軸平面
304 前額面または冠状面
306 矢状面
4011 第1のブロック
4012 第2のブロック
4013 画像ボリューム
4031 第1の経路、第1の畳み込み経路
4032 第2の畳み込み経路
4033 第3の畳み込み経路
404 3D位置特徴
406 3D畳み込み層の第1のセット
407 3D畳み込み層の第3のセット
408 3D畳み込み層の第2のセット
410 完全に接続された3D CNN層のセット
412 ボクセルの意図された分類、最適に分類されたボクセル
504 3D画像データ
522 3D画像データ
524 3D CNN層の以前のセット
526 ダウンスケーリング
528 3D CNN層の以前のセット
530 ダウンスケーリング
532 3D CNN層の以前のセット
534 ダウンスケーリング
538 3D de-CNN層
540 データ
542 3D CNN層、予測3D位置特徴
544 3D de-CNN層
546 データ
548 3D CNN層
550 3D de-CNN層
552 データ
554 3D CNN層
560 符号化マッチング3D位置特徴
702 基準面
704 高さ
706 歯列弓を近似する曲線、歯列弓曲線
708 相対距離
710 点
7121 空間
7122 空間
720 顎
722 歯
724 神経
902 ボクセルデータ
904 顎ボクセル
906 歯ボクセル
908 神経データ
910 深層学習ニューラルネットワーク
912 再構築
914 平滑化
916 後処理
918 セグメント化された顎ボクセル
920 セグメント化された歯ボクセル
1004 3D CNN特徴層の第1のセット
1006 3D CNN特徴層の第2のセット
1008 完全に接続された3D CNN層のセット
11021 下歯槽神経構造、神経ボクセル
11022 神経構造
11041 歯根構造
11042 歯構造
1200 データ処理システム、処理システム
1202 プロセッサ
1204 メモリ要素
1206 システムバス
1210 大容量記憶デバイス
1212 入力デバイス
1214 出力デバイス
1216 ネットワークアダプタ
1218 アプリケーション
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8A】
【図8B】
【図8C】
【図8D】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【手続補正書】
【提出日】2024-02-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
歯顎顔面構造を表現する3Dデータを処理するための、コンピュータによって実行される方法であって、
3D入力データを受信するステップであって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、
前処理アルゴリズムによって、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、前記画像ボリューム内の、歯基準面の位置または歯基準オブジェクトの位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、ステップと、
前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが、前記第1の3D深層ニューラルネットワークの出力において、前記第1のボクセル表現の分類されたボクセルを生成するように訓練され、前記分類されたボクセルが、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルを含む、ステップと、
前記第1の3D深層ニューラルネットワークの前記出力から前記第1のボクセル表現の前記分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定するステップと
を備える、方法。
3D入力データを受信するステップであって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、
前処理アルゴリズムによって、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、前記画像ボリューム内の、歯基準面の位置または歯基準オブジェクトの位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、ステップと、
前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記第1の3D深層ニューラルネットワークが、前記第1の3D深層ニューラルネットワークの出力において、前記第1のボクセル表現の分類されたボクセルを生成するように訓練され、前記分類されたボクセルが、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルを含む、ステップと、
前記第1の3D深層ニューラルネットワークの前記出力から前記第1のボクセル表現の前記分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定するステップと
を備える、方法。
【請求項2】
前処理アルゴリズムによって1つまたは複数の3D位置特徴を決定するステップが、
前記画像ボリューム内の、前記ボクセル表現のボクセルと歯基準面および／または歯基準オブジェクトとの間の距離を決定するステップ
を含む、請求項1に記載の方法。
前記画像ボリューム内の、前記ボクセル表現のボクセルと歯基準面および／または歯基準オブジェクトとの間の距離を決定するステップ
を含む、請求項1に記載の方法。
【請求項3】
前記歯基準面が、前記歯顎顔面構造の上顎および／または下顎から所定の距離において、好ましくは、前記歯顎顔面構造の上顎および下顎までほぼ等しい距離において配置された、前記画像ボリューム内の軸平面を含み、または、
前記歯基準オブジェクトが、前記歯顎顔面構造によって表現される歯列弓の少なくとも一部を近似する歯列弓曲線、好ましくは、前記画像ボリュームの軸平面内に決定されている前記歯列弓曲線を含み、および／または、前記歯基準オブジェクトが1つまたは複数の歯を含む、請求項2に記載の方法。
前記歯基準オブジェクトが、前記歯顎顔面構造によって表現される歯列弓の少なくとも一部を近似する歯列弓曲線、好ましくは、前記画像ボリュームの軸平面内に決定されている前記歯列弓曲線を含み、および／または、前記歯基準オブジェクトが1つまたは複数の歯を含む、請求項2に記載の方法。
【請求項4】
前記前処理アルゴリズムが、第2の3D深層ニューラルネットワークを備え、前記第2の3D深層ニューラルネットワークが、その入力において第2のボクセル表現を受信し、前記第2のボクセル表現の各ボクセルについて3D位置特徴を決定するように訓練され、好ましくは、前記3D位置特徴が、ボクセルが顎、歯、および／または神経組織を表現する可能性を示す尺度を含み、前記第2のボクセル表現が、前記第1のボクセル表現の低解像度バージョンであり、好ましくは、前記第2のボクセル表現の解像度が、前記第1のボクセル表現の解像度の少なくとも3分の1より低く、好ましくは、前記第2の3D深層ニューラルネットワークが、歯顎顔面構造の3D画像データと、任意選択で、前記第1の3D深層ニューラルネットワークを訓練するための訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとに基づいて訓練される、請求項1に記載の方法。
【請求項5】
前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、第1の3D深層ニューラルネットワークの入力に提供するステップが、
前記第1のボクセル表現の各ボクセルを、少なくとも、1つの3D位置特徴によって定義された情報に関連付けるステップと、
前記第1のボクセル表現をボクセルの第1のブロックに分割するステップと、
前記ボクセルの第1のブロックを前記第1の3D深層ニューラルネットワークの前記入力に提供するステップと
をさらに備え、前記ボクセルの第1のブロックの各ボクセルが、放射強度値と、少なくとも、1つの3D位置特徴によって定義された情報とに関連付けられる、請求項1に記載の方法。
前記第1のボクセル表現の各ボクセルを、少なくとも、1つの3D位置特徴によって定義された情報に関連付けるステップと、
前記第1のボクセル表現をボクセルの第1のブロックに分割するステップと、
前記ボクセルの第1のブロックを前記第1の3D深層ニューラルネットワークの前記入力に提供するステップと
をさらに備え、前記ボクセルの第1のブロックの各ボクセルが、放射強度値と、少なくとも、1つの3D位置特徴によって定義された情報とに関連付けられる、請求項1に記載の方法。
【請求項6】
前記第1の3D深層ニューラルネットワークが、複数の第1の3D畳み込み層を備え、前記複数の第1の3D畳み込み層の出力が、少なくとも1つの全結合層に接続され、前記複数の第1の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、前記少なくとも1つの全結合層が、前記ボクセルの第1のブロックのボクセルを、顎ボクセル、歯ボクセル、および／または神経ボクセルのうちの少なくとも1つに分類するように構成され、好ましくは、前記第1の3D深層ニューラルネットワークの前記入力に提供される各ボクセルが、放射強度値と少なくとも1つの3D位置特徴とを備える、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記第1の3D深層ニューラルネットワークが、複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が、前記少なくとも1つの全結合層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1のブロックおよび前記ボクセルの第2のブロックが、前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表現し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の入力に提供される前記ボクセルの第1のブロックのボクセルに関連付けられるコンテキスト情報を決定するように構成される、請求項6に記載の方法。
【請求項8】
前記第1の3D深層ニューラルネットワークが、複数の第3の3D畳み込み層をさらに備え、前記複数の第3の3D畳み込み層の出力が、前記少なくとも1つの全結合層に接続され、前記複数の第3の3D畳み込み層が、前記複数の第1の3D畳み込み層の入力に提供される少なくとも前記ボクセルの第1のブロックのボクセルに関連付けられる1つまたは複数の3D位置特徴を処理するように構成される、請求項6または7に記載の方法。
【請求項9】
前記第1の3D深層ニューラルネットワークによって分類されたボクセルを後処理するための第3の深層ニューラルネットワークをさらに備え、前記第3の深層ニューラルネットワークが、その入力において前記第1の3D深層ニューラルネットワークによって分類されたボクセルを受信し、前記第1の3D深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練され、好ましくは、前記第3の深層ニューラルネットワークが、入力として前記第1の3D深層ニューラルネットワークの訓練中に分類されたボクセルに基づいて、任意選択で、ターゲットとして訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルに基づいて訓練される、請求項1から8のいずれか一項に記載の方法。
【請求項10】
歯顎顔面構造を表現する3Dデータを処理するために深層ニューラルネットワークシステムを訓練するための、コンピュータによって実行される方法であって、
訓練データを受信するステップであって、前記訓練データが3Dデータを含み、前記3Dデータが、それぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、
前記訓練データに関連付けられる分類された訓練ボクセルを受信するステップであって、前記分類された訓練ボクセルがターゲットデータを定義する、ステップと、
前処理アルゴリズムを使用して、前記1つまたは複数の歯顎顔面構造の前記1つまたは複数のボクセル表現をそれぞれ前処理して、前記1つまたは複数のボクセル表現内のボクセルに関する1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、歯基準面の位置または歯基準オブジェクトの位置に対する歯顎顔面構造のボクセル表現の少なくとも1つのボクセルの位置に関する情報を定義する、ステップと、
歯顎顔面構造のボクセル表現のボクセルを顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために第1の深層ニューラルネットワークを訓練するステップであって、前記訓練が、前記訓練データと、前記1つまたは複数の3D位置特徴とを、前記第1の深層ニューラルネットワークの入力に提供することと、前記第1の深層ニューラルネットワークの出力と前記ターゲットデータとの間の偏差を表す損失関数を最小化することによって、前記第1の深層ニューラルネットワークのネットワークパラメータの最適値を学習することとを含む、ステップと
を備える、方法。
訓練データを受信するステップであって、前記訓練データが3Dデータを含み、前記3Dデータが、それぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、
前記訓練データに関連付けられる分類された訓練ボクセルを受信するステップであって、前記分類された訓練ボクセルがターゲットデータを定義する、ステップと、
前処理アルゴリズムを使用して、前記1つまたは複数の歯顎顔面構造の前記1つまたは複数のボクセル表現をそれぞれ前処理して、前記1つまたは複数のボクセル表現内のボクセルに関する1つまたは複数の3D位置特徴を決定するステップであって、3D位置特徴が、歯基準面の位置または歯基準オブジェクトの位置に対する歯顎顔面構造のボクセル表現の少なくとも1つのボクセルの位置に関する情報を定義する、ステップと、
歯顎顔面構造のボクセル表現のボクセルを顎ボクセル、歯ボクセル、および／または神経ボクセルに分類するために第1の深層ニューラルネットワークを訓練するステップであって、前記訓練が、前記訓練データと、前記1つまたは複数の3D位置特徴とを、前記第1の深層ニューラルネットワークの入力に提供することと、前記第1の深層ニューラルネットワークの出力と前記ターゲットデータとの間の偏差を表す損失関数を最小化することによって、前記第1の深層ニューラルネットワークのネットワークパラメータの最適値を学習することとを含む、ステップと
を備える、方法。
【請求項11】
前記第1の深層ニューラルネットワークの訓練中に分類されたボクセルと、訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとを使用して、前記第1の深層ニューラルネットワークによって分類されたボクセルを後処理するために第3のニューラルネットワークを訓練するステップであって、前記第3のニューラルネットワークによる前記後処理が、前記第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む、ステップをさらに備える、請求項10に記載の方法。
【請求項12】
歯顎顔面構造を表現する3Dデータを処理するためのコンピュータシステムであって、
コンピュータ可読プログラムコードを記憶したコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、前処理アルゴリズムと第1の3D深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが実行可能な動作を実行するように構成され、前記実行可能な動作が、
3D入力データを受信する動作であって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現のボクセルが画像ボリュームを定義する、動作と、
前処理アルゴリズムによって、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定する動作であって、3D位置特徴が、前記画像ボリューム内の、歯基準面の位置または歯基準オブジェクトの位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、動作と、
前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、前記第1の3D深層ニューラルネットワークの入力に提供する動作であって、前記第1の3D深層ニューラルネットワークが、前記第1の3D深層ニューラルネットワークの出力において、前記第1のボクセル表現の分類されたボクセルを生成するように訓練され、前記分類されたボクセルが、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルを含む、動作と、
前記第1の3D深層ニューラルネットワークの前記出力から前記第1のボクセル表現の前記分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定する動作と
を備える、コンピュータシステム。
コンピュータ可読プログラムコードを記憶したコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、前処理アルゴリズムと第1の3D深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが実行可能な動作を実行するように構成され、前記実行可能な動作が、
3D入力データを受信する動作であって、前記3D入力データが前記歯顎顔面構造の第1のボクセル表現を含み、ボクセルが放射強度値に関連付けられ、前記ボクセル表現のボクセルが画像ボリュームを定義する、動作と、
前処理アルゴリズムによって、前記3D入力データを使用して、前記歯顎顔面構造の1つまたは複数の3D位置特徴を決定する動作であって、3D位置特徴が、前記画像ボリューム内の、歯基準面の位置または歯基準オブジェクトの位置に対する前記第1のボクセル表現のボクセルの位置に関する情報を定義する、動作と、
前記第1のボクセル表現と、前記第1のボクセル表現に関連付けられる前記1つまたは複数の3D位置特徴とを、前記第1の3D深層ニューラルネットワークの入力に提供する動作であって、前記第1の3D深層ニューラルネットワークが、前記第1の3D深層ニューラルネットワークの出力において、前記第1のボクセル表現の分類されたボクセルを生成するように訓練され、前記分類されたボクセルが、少なくとも、顎ボクセル、歯ボクセル、および／または神経ボクセルを含む、動作と、
前記第1の3D深層ニューラルネットワークの前記出力から前記第1のボクセル表現の前記分類されたボクセルを受信し、前記分類されたボクセルに基づいて、前記歯顎顔面構造の顎、歯、および／または神経組織のうちの少なくとも1つのボクセル表現を決定する動作と
を備える、コンピュータシステム。
【請求項13】
前記前処理アルゴリズムが、第2の3D深層ニューラルネットワークを備え、前記第2の3D深層ニューラルネットワークが、その入力において第2のボクセル表現を受信し、前記第2のボクセル表現の各ボクセルについて3D位置特徴を決定するように訓練され、好ましくは、前記3D位置特徴が、ボクセルが顎、歯、および／または神経組織を表現する可能性を示す尺度を含み、前記第2のボクセル表現が、前記第1のボクセル表現の低解像度バージョンであり、好ましくは、前記第2のボクセル表現の解像度が、前記第1のボクセル表現の解像度の少なくとも3分の1より低く、好ましくは、前記第2の3D深層ニューラルネットワークが、歯顎顔面構造の3D画像データと、任意選択で、前記第1の3D深層ニューラルネットワークを訓練するための訓練セットの3D画像データの歯顎顔面構造の部分の1つまたは複数の3Dモデルとに基づいて訓練される、請求項12に記載のコンピュータシステム。
【請求項14】
前記第1の3D深層ニューラルネットワークが、複数の第1の3D畳み込み層を備え、前記複数の第1の3D畳み込み層の出力が、少なくとも1つの全結合層に接続され、前記複数の第1の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第1のブロックを処理するように構成され、前記少なくとも1つの全結合層が、前記ボクセルの第1のブロックのボクセルを、顎ボクセル、歯ボクセル、および／または神経ボクセルのうちの少なくとも1つに分類するように構成され、好ましくは、前記第1の3D深層ニューラルネットワークの前記入力に提供される各ボクセルが、放射強度値と少なくとも1つの3D位置特徴とを備え、
任意選択で、前記第1の3D深層ニューラルネットワークが、複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が、前記少なくとも1つの全結合層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1のブロックおよび前記ボクセルの第2のブロックが、前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表現し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の入力に提供される前記ボクセルの第1のブロックのボクセルに関連付けられるコンテキスト情報を決定するように構成される、請求項13に記載のコンピュータシステム。
任意選択で、前記第1の3D深層ニューラルネットワークが、複数の第2の3D畳み込み層をさらに備え、前記複数の第2の3D畳み込み層の出力が、前記少なくとも1つの全結合層に接続され、前記複数の第2の3D畳み込み層が、前記第1のボクセル表現からのボクセルの第2のブロックを処理するように構成され、前記ボクセルの第1のブロックおよび前記ボクセルの第2のブロックが、前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックの実世界の寸法でのボリュームよりも大きい実世界の寸法でのボリュームを表現し、前記複数の第2の3D畳み込み層が、前記複数の第1の3D畳み込み層の入力に提供される前記ボクセルの第1のブロックのボクセルに関連付けられるコンテキスト情報を決定するように構成される、請求項13に記載のコンピュータシステム。
【請求項15】
コンピュータのメモリ内で実行されるとき、請求項1から11のいずれか一項に記載の方法のステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム。
【外国語明細書】