知財求人 - 知財ポータルサイト「IP Force」
特開2025-22815椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025022815
(43)【公開日】2025-02-14
(54)【発明の名称】椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法
(51)【国際特許分類】
A61B 5/055 20060101AFI20250206BHJP
G06T 7/00 20170101ALI20250206BHJP
G06T 7/10 20170101ALI20250206BHJP
【ＦＩ】
A61B5/055 380
G06T7/00 350C
G06T7/10
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2024123737
(22)【出願日】2024-07-30
(11)【特許番号】
(45)【特許公報発行日】2025-02-04
(31)【優先権主張番号】202310964406.0
(32)【優先日】2023-08-01
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】516333551
【氏名又は名称】東莞理工学院
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】劉 亜
(72)【発明者】
【氏名】▲どん▼ 云蛟
(72)【発明者】
【氏名】盧 文娟
(72)【発明者】
【氏名】曽 達幸
(72)【発明者】
【氏名】侯 雨雷
(72)【発明者】
【氏名】何 国林
【テーマコード（参考）】
4C096
5L096
【Ｆターム（参考）】
4C096AB39
4C096AC06
4C096AD14
4C096DC19
4C096DC21
4C096DC28
5L096BA06
5L096BA13
5L096FA02
5L096GA55
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法を提供する。
【解決手段】同方法は、脊椎について若干の磁気共鳴画像、及び、対応するラベルイメージを取得し、分割するべき切片及び分割された切片を抽出して初期処理すること、残差ニューラルネットワークを作成して詳細特徴を抽出し、空間特徴抽出装置を作成して関係特徴を抽出し、特徴融合モジュールを作成して詳細特徴及び関係特徴を融合することにより、分割特徴図を取得すること、ネットワーク出力層を介して、複数の類別だけの分割結果を出力し、デュアルチャネルにより相補性を付けた脊椎画像の分割モジュールを作成すること、及び、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングにより取得し、分割するべき磁気共鳴画像切片について、複数の類別だけの分割結果を取得すること、を含む。
【選択図】図１
【解決手段】同方法は、脊椎について若干の磁気共鳴画像、及び、対応するラベルイメージを取得し、分割するべき切片及び分割された切片を抽出して初期処理すること、残差ニューラルネットワークを作成して詳細特徴を抽出し、空間特徴抽出装置を作成して関係特徴を抽出し、特徴融合モジュールを作成して詳細特徴及び関係特徴を融合することにより、分割特徴図を取得すること、ネットワーク出力層を介して、複数の類別だけの分割結果を出力し、デュアルチャネルにより相補性を付けた脊椎画像の分割モジュールを作成すること、及び、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングにより取得し、分割するべき磁気共鳴画像切片について、複数の類別だけの分割結果を取得すること、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
脊椎について磁気共鳴画像及び対応するラベルイメージを初期処理するステップＳ１であって、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片を規格化して処理し、前記分割待ち切片のサイズと分割切片のサイズとを整理してクロッピングし、トレーニングデータセットと試験データセットとに分けるステップＳ１と、
椎体と椎間板を複数の類別で分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成し、前記脊椎画像分割モジュールに残差ニューラルネットワーク、空間特徴抽出装置、特徴融合モジュール及びネットワーク出力層が含まれているステップＳ２であって、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールは、分割待ち切片の画像データを受信すると、それぞれ、分割待ち切片の画像データを残差ニューラルネットワークと空間特徴抽出装置に入力し、次に、残差ニューラルネットワークと空間特徴抽出装置からの出力を融合して特徴融合モジュールに入力し、特徴融合モジュールからの出力をネットワーク出力層の入力として、最後に、ネットワーク出力層により、椎体と椎間板を分割した分割待ち切片について複数の類別だけの分割結果を出力し、そのうち、前記残差ニューラルネットワークは、分割待ち切片における椎体と椎間板との詳細特徴を抽出するためのものであり、前記空間特徴抽出装置は、分割待ち切片における椎体と椎間板との関係特徴を抽出するためのものであり、前記特徴融合モジュールは、詳細特徴と関係特徴を融合して分割特徴図を取得するためのものであり、前記ネットワーク出力層は、分割待ち切片について複数の類別だけの分割結果を出力するためのものであるステップＳ２と、
残差ニューラルネットワークをコンテキストパスとして作成し、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ２１であって、前記残差ニューラルネットワークにエンコーダーとデコーダーとが含まれ、前記エンコーダーと前記デコーダーは、それぞれ、残差に基づくエンコーダーと残差に基づくデコーダーであり、前記エンコーダーは、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーを順に含み、前記デコーダーは、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーを順に含み、前記第一段階エンコーダーの入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力である、ステップＳ２１と、
空間特徴抽出装置を空間経路として作成し、分割待ち切片における椎体と椎間板との関係特徴を抽出するステップＳ２２であって、前記空間特徴抽出装置は、第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置を順に含み、前記第一段階ストリップ抽出装置の入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力である、ステップＳ２２と、
特徴融合モジュールを作成し、コンテキストパスの詳細特徴と空間経路の関係特徴とを融合し、分割特徴を取得するステップＳ２３であって、前記特徴融合モジュールは、第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールを順に含む、ステップＳ２３と、
デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３であって、損失関数を設定し、モジュールパラメーターと評価指標とを設置し、トレーニングデータセットと試験データセットとに基づいて、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、試験データセットの評価指標が最大である場合に前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３と、
最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得するステップＳ４であって、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片を、ステップＳ１における規格化処理、整理及びクロッピングをしてから、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力である、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得する、ステップＳ４とを含む、
ことを特徴とする椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
椎体と椎間板を複数の類別で分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成し、前記脊椎画像分割モジュールに残差ニューラルネットワーク、空間特徴抽出装置、特徴融合モジュール及びネットワーク出力層が含まれているステップＳ２であって、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールは、分割待ち切片の画像データを受信すると、それぞれ、分割待ち切片の画像データを残差ニューラルネットワークと空間特徴抽出装置に入力し、次に、残差ニューラルネットワークと空間特徴抽出装置からの出力を融合して特徴融合モジュールに入力し、特徴融合モジュールからの出力をネットワーク出力層の入力として、最後に、ネットワーク出力層により、椎体と椎間板を分割した分割待ち切片について複数の類別だけの分割結果を出力し、そのうち、前記残差ニューラルネットワークは、分割待ち切片における椎体と椎間板との詳細特徴を抽出するためのものであり、前記空間特徴抽出装置は、分割待ち切片における椎体と椎間板との関係特徴を抽出するためのものであり、前記特徴融合モジュールは、詳細特徴と関係特徴を融合して分割特徴図を取得するためのものであり、前記ネットワーク出力層は、分割待ち切片について複数の類別だけの分割結果を出力するためのものであるステップＳ２と、
残差ニューラルネットワークをコンテキストパスとして作成し、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ２１であって、前記残差ニューラルネットワークにエンコーダーとデコーダーとが含まれ、前記エンコーダーと前記デコーダーは、それぞれ、残差に基づくエンコーダーと残差に基づくデコーダーであり、前記エンコーダーは、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーを順に含み、前記デコーダーは、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーを順に含み、前記第一段階エンコーダーの入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力である、ステップＳ２１と、
空間特徴抽出装置を空間経路として作成し、分割待ち切片における椎体と椎間板との関係特徴を抽出するステップＳ２２であって、前記空間特徴抽出装置は、第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置を順に含み、前記第一段階ストリップ抽出装置の入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力である、ステップＳ２２と、
特徴融合モジュールを作成し、コンテキストパスの詳細特徴と空間経路の関係特徴とを融合し、分割特徴を取得するステップＳ２３であって、前記特徴融合モジュールは、第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールを順に含む、ステップＳ２３と、
デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３であって、損失関数を設定し、モジュールパラメーターと評価指標とを設置し、トレーニングデータセットと試験データセットとに基づいて、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、試験データセットの評価指標が最大である場合に前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３と、
最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得するステップＳ４であって、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片を、ステップＳ１における規格化処理、整理及びクロッピングをしてから、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力である、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得する、ステップＳ４とを含む、
ことを特徴とする椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項2】
前記ステップＳ１は、具体的に、
脊椎について磁気共鳴画像及び対応するラベルイメージを取得して、脊椎データセットを構築するステップＳ１１であって、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片をグレースケール化にして処理すると、あらゆる前記分割切片と共に脊椎データセットを構築するステップＳ１１と、
分割待ち切片サイズと分割切片サイズとを整理してクロッピングし、第二脊椎データセットを取得するステップＳ１３であって、第一脊椎データセットにおける分割待ち切片のサイズ及び対応する分割切片のサイズを整理して左右両側の背景をクロッピングし、第二脊椎データセットを取得し、前記サイズが整理された分割待ち切片のサイズ及び対応する分割切片のサイズは、共に２５６×２５６であり、前記クロッピングされた分割待ち切片のサイズ及び対応する分割切片のサイズは、共に、１２８×２５６である、ステップＳ１３と、
第二脊椎データセットに基づいてトレーニングデータセットと試験データセットとに分けるステップＳ１４であって、第二脊椎データセットにおけるあらゆる分割待ち切片及び対応する分割切片を、それぞれ、９：１という比例で分割待ち切片と分割切片との対応に従って分け、脊椎画像を分割するためのトレーニングデータセットと試験データセットとを取得する、ステップＳ１４を含む、ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
脊椎について磁気共鳴画像及び対応するラベルイメージを取得して、脊椎データセットを構築するステップＳ１１であって、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片をグレースケール化にして処理すると、あらゆる前記分割切片と共に脊椎データセットを構築するステップＳ１１と、
第二脊椎データセットに基づいてトレーニングデータセットと試験データセットとに分けるステップＳ１４であって、第二脊椎データセットにおけるあらゆる分割待ち切片及び対応する分割切片を、それぞれ、９：１という比例で分割待ち切片と分割切片との対応に従って分け、脊椎画像を分割するためのトレーニングデータセットと試験データセットとを取得する、ステップＳ１４を含む、ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項3】
ステップＳ２１では、前記第五段階エンコーダーからの出力とその平均プーリングされた出力は、画素に重ね合わせられ、前記残差ニューラルネットワークの第一ネットワーク出力になり、前記第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力は、それぞれ、順に、前記残差ニューラルネットワークにおける第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力及び第五ネットワーク出力になり、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー及び第四段階エンコーダーの出力は、それぞれ、順に、前記第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーの入力になり、前記第五段階エンコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第四段階エンコーダーからの出力と共に、前記第一段階デコーダーの入力としてチャネルに融合され、前記第一段階デコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第三段階エンコーダーからの出力と共に前記第二段階デコーダーの入力としてチャネルに融合され、前記第二段階デコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第二段階エンコーダーからの出力と共に前記第三段階デコーダーの入力としてチャネルに融合され、前記第三段階デコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第一段階エンコーダーからの出力と共に、前記第四段階デコーダーの入力として、チャネルに融合され、
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置からの出力は、それぞれ、順に、前記空間特徴抽出装置における第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置及び第四段階ストリップ抽出装置からの出力は、それぞれ、順に、前記第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の入力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、いずれも、ストリップコンボリューションを含み、
ステップＳ２３では、前記特徴融合モジュールの入力は、前記第一ネットワーク出力、第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力、第五ネットワーク出力、第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力を含み、前記第五分割モジュールからの出力は、分割特徴図として、前記特徴融合モジュールからの出力であり、前記第一ネットワーク出力と前記第五空間出力とは、チャネルに融合されてから前記第一注意力詳細化モジュールへ入力され、前記第一注意力詳細化モジュールからの出力は、双線形補間を経てサンプリング操作をして、前記第一分割モジュールに入力され、前記第二ネットワーク出力と前記第四空間出力とは、チャネルに融合されてから前記第二注意力詳細化モジュールへ入力され、前記第二注意力詳細化モジュールからの出力と前記第一分割モジュールからの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第二分割モジュールの入力になり、前記第三ネットワーク出力と前記第三空間出力とは、チャネルに融合されてから前記第三注意力詳細化モジュールへ入力され、前記第三注意力詳細化モジュールからの出力と前記第二分割モジュールとの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第三分割モジュールの入力になり、前記第四ネットワーク出力と前記第二空間出力とは、チャネルに融合されてから前記第四注意力詳細化モジュールへ入力され、前記第四注意力詳細化モジュールからの出力と前記第三分割モジュールからの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第四分割モジュールの入力になり、前記第五ネットワーク出力と前記第一空間出力とは、チャネルに融合されてから前記第五注意力詳細化モジュールへ入力され、前記第五注意力詳細化モジュールからの出力と前記第四分割モジュールからの出力とは、チャネルに融合されてから、前記第五分割モジュールの入力になり、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール及び第五注意力詳細化モジュールは、いずれも、注意力モジュールを含み、前記第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、いずれも、畳み込み手段を含み、
前記ステップＳ２は、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果を出力することをさらに含み、前記ネットワーク出力層の入力が前記分割特徴図であり、前記ネットワーク出力層からの出力が分割待ち切片について複数の類別だけの分割結果であって、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力であり、前記ネットワーク出力層からの出力チャネル数が分割類別数である、
ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置からの出力は、それぞれ、順に、前記空間特徴抽出装置における第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置及び第四段階ストリップ抽出装置からの出力は、それぞれ、順に、前記第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の入力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、いずれも、ストリップコンボリューションを含み、
ステップＳ２３では、前記特徴融合モジュールの入力は、前記第一ネットワーク出力、第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力、第五ネットワーク出力、第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力を含み、前記第五分割モジュールからの出力は、分割特徴図として、前記特徴融合モジュールからの出力であり、前記第一ネットワーク出力と前記第五空間出力とは、チャネルに融合されてから前記第一注意力詳細化モジュールへ入力され、前記第一注意力詳細化モジュールからの出力は、双線形補間を経てサンプリング操作をして、前記第一分割モジュールに入力され、前記第二ネットワーク出力と前記第四空間出力とは、チャネルに融合されてから前記第二注意力詳細化モジュールへ入力され、前記第二注意力詳細化モジュールからの出力と前記第一分割モジュールからの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第二分割モジュールの入力になり、前記第三ネットワーク出力と前記第三空間出力とは、チャネルに融合されてから前記第三注意力詳細化モジュールへ入力され、前記第三注意力詳細化モジュールからの出力と前記第二分割モジュールとの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第三分割モジュールの入力になり、前記第四ネットワーク出力と前記第二空間出力とは、チャネルに融合されてから前記第四注意力詳細化モジュールへ入力され、前記第四注意力詳細化モジュールからの出力と前記第三分割モジュールからの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第四分割モジュールの入力になり、前記第五ネットワーク出力と前記第一空間出力とは、チャネルに融合されてから前記第五注意力詳細化モジュールへ入力され、前記第五注意力詳細化モジュールからの出力と前記第四分割モジュールからの出力とは、チャネルに融合されてから、前記第五分割モジュールの入力になり、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール及び第五注意力詳細化モジュールは、いずれも、注意力モジュールを含み、前記第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、いずれも、畳み込み手段を含み、
前記ステップＳ２は、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果を出力することをさらに含み、前記ネットワーク出力層の入力が前記分割特徴図であり、前記ネットワーク出力層からの出力が分割待ち切片について複数の類別だけの分割結果であって、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力であり、前記ネットワーク出力層からの出力チャネル数が分割類別数である、
ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項4】
ステップＳ３は、具体的に、
損失関数ＤＦＫＬを設定するステップＳ３１と、
モジュールパラメーターと評価指標Ｄｉｃｅを設置するステップＳ３２、
トレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行うステップＳ３３と、
トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力とし、前記残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ３３１と、
トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力として、前記空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係徴を抽出するステップＳ３３２と、
前記詳細特徴と関係特徴とを前記特徴融合モジュールに入力し、前記第五分割モジュールにより分割特徴図を出力するステップＳ３３３と、
前記分割特徴図を、前記ネットワーク出力層により分割待ち切片について複数の類別だけの分割結果である、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得するステップＳ３３４と、
分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片とに基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出するステップＳ３３４と、
試験データセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片によりワンホットＯｎｅ－Ｈｏｔエンコーディングをして、試験データセットの評価指標Ｄｉｃｅを算出するステップＳ３３５と、
あらゆるトレーニングの世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３３６と、を含む、
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
損失関数ＤＦＫＬを設定するステップＳ３１と、
モジュールパラメーターと評価指標Ｄｉｃｅを設置するステップＳ３２、
トレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行うステップＳ３３と、
トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力とし、前記残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ３３１と、
トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力として、前記空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係徴を抽出するステップＳ３３２と、
前記詳細特徴と関係特徴とを前記特徴融合モジュールに入力し、前記第五分割モジュールにより分割特徴図を出力するステップＳ３３３と、
前記分割特徴図を、前記ネットワーク出力層により分割待ち切片について複数の類別だけの分割結果である、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得するステップＳ３３４と、
分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片とに基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出するステップＳ３３４と、
試験データセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片によりワンホットＯｎｅ－Ｈｏｔエンコーディングをして、試験データセットの評価指標Ｄｉｃｅを算出するステップＳ３３５と、
あらゆるトレーニングの世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３３６と、を含む、
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項5】
前記ステップＳ２２では、前記ストリップコンボリューションは、第一畳み込み操作、水平ストリッププーリング操作、鉛直ストリッププーリング操作、水平ストリップコンボリューション操作、鉛直ストリップコンボリューション操作、バッチノーマライゼーション操作、第二畳み込み操作、第一活性化関数及び第二活性化関数を含み、前記第一畳み込み操作の入力は、前記ストリップコンボリューションの入力であり、前記第一畳み込み操作の出力は、順に、前記水平ストリッププーリング操作、水平ストリップコンボリューション操作及びバッチ処理操作を経て、水平ストリップ出力を取得し、前記第一畳み込み操作の出力は、順に前記鉛直ストリッププーリング操作、鉛直ストリップコンボリューション操作及びバッチ処理操作を経て、鉛直ストリップ出力を取得し、前記水平ストリップ出力と鉛直ストリップ出力を重ね合わせて、前記第一活性化関数によりストリップ出力を取得し、前記ストリップ出力は、順に前記第二畳み込み操作と第二活性化関数を経て、前記ストリップ出力と共に、各項目を一つずつ掛け、前記ストリップコンボリューションの出力を取得し、
前記ステップＳ２３では、前記注意力モジュールは、第三畳み込み操作、全体プーリング操作、バッチノーマライゼーション操作、第四畳み込み操作及び第三活性化関数を含み、前記第三畳み込み操作の入力は前記注意力モジュールの入力であり、前記第三畳み込み操作の出力は、順に前記全体プーリング操作、第四畳み込み操作、バッチノーマライゼーション操作及び第三活性化関数を経て、前記第三畳み込み操作の出力と共に、各項目を一つずつ掛け、前記注意力モジュールの出力を取得する、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
前記ステップＳ２３では、前記注意力モジュールは、第三畳み込み操作、全体プーリング操作、バッチノーマライゼーション操作、第四畳み込み操作及び第三活性化関数を含み、前記第三畳み込み操作の入力は前記注意力モジュールの入力であり、前記第三畳み込み操作の出力は、順に前記全体プーリング操作、第四畳み込み操作、バッチノーマライゼーション操作及び第三活性化関数を経て、前記第三畳み込み操作の出力と共に、各項目を一つずつ掛け、前記注意力モジュールの出力を取得する、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項6】
ステップＳ１１では、前記分割待ち切片は、グレースケール処理される前後にチャネル数がそれぞれ１と３であり、前記分割切片のチャネル数が１であり、
ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力チャネル数は、順に、３２、６４、１２８、２５６、５１２、２５６、１２８、６４、３２であり、
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力チャネル数は、順に、３２、６４、１２８、２５６、５１２であり、
ステップＳ２３では、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールの出力チャネル数は、いずれも、６４である、
ことを特徴とする請求項1又は２に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力チャネル数は、順に、３２、６４、１２８、２５６、５１２、２５６、１２８、６４、３２であり、
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力チャネル数は、順に、３２、６４、１２８、２５６、５１２であり、
ステップＳ２３では、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールの出力チャネル数は、いずれも、６４である、
ことを特徴とする請求項1又は２に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項7】
前記ステップＳ２２では、第一畳み込み操作の畳み込みカーネルが３×３であり、第二畳み込み操作の畳み込みカーネルが１×１であり、水平ストリップコンボリューション操作の畳み込みカーネルが３×１であり、鉛直ストリップコンボリューション操作の畳み込みカーネルが１×３であり、第一活性化関数は、正規化線形関数ＲｅＬＵとして選択され、第二活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、
前記ステップＳ２３では、第三畳み込み操作の畳み込みカーネルが３×３であり、第四畳み込み操作の畳み込みカーネルが１×１であり、第三活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、
前記ステップＳ２４では、前記ネットワーク出力層は、畳み込みカーネルが１×１である畳み込み操作とされる、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
前記ステップＳ２３では、第三畳み込み操作の畳み込みカーネルが３×３であり、第四畳み込み操作の畳み込みカーネルが１×１であり、第三活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、
前記ステップＳ２４では、前記ネットワーク出力層は、畳み込みカーネルが１×１である畳み込み操作とされる、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項8】
前記ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーにおいて、残差ブロックの数が、順に３、４、６、３、３、２、２、２、２として設定される、
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項9】
前記ステップＳ３１では、前記損失関数ＤＦＫＬが、類似性損失ＤＬ、動的スケーリング交差エントロピー損失ＦＬ及び相対エントロピー損失ＫＬに基づいて、
として設定され、
前記ステップＳ３２では、前記評価指標Ｄｉｃｅが、
として示されており、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性、それぞれ指す、
ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
前記ステップＳ３２では、前記評価指標Ｄｉｃｅが、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性、それぞれ指す、
ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、脊椎の画像を分割する技術分野に関し、特に、椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法に関する。
【背景技術】
【0002】
社会の高齢化や仕事とライフスタイルの変化に伴い、脊椎疾患の発生率が高まっている。コンピューター断層撮影 (CT) と磁気共鳴画像法 (MRI) は、脊椎疾患の診断と治療において、重要な役割を果たしている。なお、椎骨と椎間板を自動的に分割することは、脊椎画像を解析したり、モデリングを構築したりすることにとって大事なステップであり、例えば、椎骨における異常の識別、画像に基づく生体力学モジュール分析、椎骨における骨折の検出、椎間板ヘルニア、画像誘導による脊椎介入などに関係する。例えば、高周波アブレーション（ＲＦＡ）は、腰椎椎間板ヘルニアによって引き起こされる腰痛や機能不全の治療に一般的に使用される低侵襲介入法の一つである。ＣＴは、椎骨に対する感度が高いため、RFAの針先を正確な位置に誘導するためにCTを使用することが一般である。また、MRIは、画像内で椎間板を視覚化にするのに役立つため、RFA際にヘルニア部位を正確に見つけるために用いられる。そして、脊椎の画像を精細で分割することは、ＲＦＡを円滑に実施させるように確保する肝心のことである。
【0003】
磁気共鳴画像において椎骨と椎間板を自動的に分割することは、医者の時間を省くことができると共に、脊椎の診断と治療に多重化可能な解決策を提供することができる。故に、この分野は、研究者が注目を熱心に浴びている。脊椎の画像を分割する際には、関連する作業が、主に、磁気共鳴画像における椎骨と椎間板とをそれぞれ分割すること（つまり、それぞれ、磁気共鳴画像における椎骨又は椎間板について画像を分割すること）、及び、磁気共鳴画像における椎骨と椎間板とを同時に分割すること（つまり磁気共鳴画像における椎骨と椎間板とについて画像を同時に分割すること）に分けられる。磁気共鳴画像における椎骨又は椎間板をそれぞれ独立に分割する方法は、医者に十分な病理的特徴を提供することができない。また、磁気共鳴画像において椎骨と椎間板とを同時に分割する方法は、重ね合いや判断誤りを避けることができるだけでなく、それらのつながりにより一層正確な特徴的融合を抽出することができる。
【0004】
しかしながら、従来の方法では、あらゆる椎骨又はあらゆる椎間板を同じの類別に配るが、異なる椎骨を異なる類別に配る研究が少なく、椎間板を詳しく区別することがほとんどない。これは、椎骨と椎間板との位置づけや手術方案の策定にとって依然として不足が存在している。磁気共鳴画像における脊椎を精細で分割することは、類別内の類似性と類別内の変異性という二つの挑戦が直面されている。類別内の類似性は、磁気共鳴画像において、椎間板部分と椎骨部分との間における形状や模様が類似であると現れ、類別内の変異性は、異なる患者の磁気共鳴画像において同一の類別に該当する椎間板又は椎骨間に明らかな相違が存在していると現れる。
【0005】
従って、類別内の類似性と類別内の変異性による問題を解決するためには、医者や医師に椎体と椎間板との領域を急速で見出させるように補助し、椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法を求め、磁気共鳴画像において類別が異なる椎体と椎間板を同時かつ効果よく分割することが必要であって常に差し迫っている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、従来技術に存在している上記欠陥を克服するため、椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法を提供する。
【課題を解決するための手段】
【0007】
同方法は、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、分割待ち切片及び分割切片を抽出して初期処理すること、残差ニューラルネットワークを作成して詳細特徴を抽出し、空間特徴抽出装置を作成し関係特徴を抽出し、特徴融合モジュールを作成し詳細特徴と関係特徴を融合し、分割特徴図を取得すること、ネットワーク出力層により、複数の類別だけの分割結果を出力し、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成すること、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングして取得し、分割待ち磁気共鳴画像切片について複数の類別だけの分割結果を取得することを含む。本発明は、ストリップコンボリューションにより、各点において垂直関係と水平関係を抽出し類別類似性と類別内変異性に備え、注意力メカニズムにより、二つの経路が各段階において特定特徴を学習するように次第に指導して一層良い特徴の集積を実現し、分割の精度を高めることができる。
【0008】
本発明は、以下のステップを含む、椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法を提供する。
【0009】
ステップＳ１は、脊椎について磁気共鳴画像及び対応するラベルイメージを初期処理する。脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片を規格化にして処理し、前記分割待ち切片のサイズと分割切片サイズとを整理してクロッピングし、トレーニングデータセットと試験データセットに分ける。
【0010】
ステップＳ２は、椎体と椎間板を複数の類別で分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成し、前記脊椎画像分割モジュールは、残差ニューラルネットワーク、空間特徴抽出装置、特徴融合モジュール及びネットワーク出力層を含む。デュアルチャネルにより相補性を付けた脊椎画像分割モジュールは、分割待ち切片の画像データを受信すると、それぞれ、分割待ち切片の画像データを残差ニューラルネットワークと空間特徴抽出装置に入力してから、残差ニューラルネットワークと空間特徴抽出装置との出力を融合して特徴融合モジュールに入力し、特徴融合モジュールの出力をネットワーク出力層の入力とし、最後に、ネットワーク出力層により、椎体と椎間板とを分割した分割待ち切片について複数の類別だけの分割結果を出力する。そのうち、残差ニューラルネットワークは、分割待ち切片において椎体と椎間板との詳細特徴を抽出するためのものである。空間特徴抽出装置は、分割待ち切片において椎体と椎間板との関係特徴を抽出するためのものである。特徴融合モジュールは、詳細特徴と関係特徴を融合し分割特徴図を取得するためのものである。ネットワーク出力層は、分割待ち切片について複数の類別だけの分割結果を出力するためのものである。
【0011】
ステップＳ２１は、残差ニューラルネットワークをコンテキストパスとして作成し、分割待ち切片において椎体と椎間板との詳細特徴を抽出する。前記残差ニューラルネットワークは、エンコーダーとデコーダーを含み、前記エンコーダーと前記デコーダーは、それぞれ、残差に基づくエンコーダーとデコーダーであり、前記エンコーダーは、順に、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーを含み、前記デコーダーは、順に、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーを含み、前記第一段階エンコーダーの入力が前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力である。
【0012】
ステップＳ２２は、空間特徴抽出装置を空間経路として作成し、分割待ち切片において椎体と椎間板との関係特徴を抽出する。前記空間特徴抽出装置は、順に、第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置を含み、前記第一段階ストリップ抽出装置の入力が前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力である。
【0013】
ステップＳ２３は、特徴融合モジュールを抽出し、コンテキストパスにおける詳細特徴と空間経路との関係特徴を融合し、分割特徴を取得する。前記特徴融合モジュールは、順に、第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールを含む。
【0014】
ステップＳ３は、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。損失関数を設定し、モジュールパラメーター及び評価指標を設置し、トレーニングデータセットと試験データセットとに基づいて、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、試験データセットの評価指標が最大である場合に前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。
【0015】
ステップＳ４は、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、分割待ち脊椎について磁気共鳴画像切片の分割結果を取得する。最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、分割待ち脊椎における磁気共鳴画像切片を、ステップＳ１における規格化処理、整理及びクロッピングをしてから、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力である、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得する。
【0016】
さらに、前記ステップＳ１は、具体的に、以下のステップを含む。
【0017】
ステップＳ１１は、脊椎について磁気共鳴画像及び対応するラベルイメージを取得し、脊椎データセットを構築する。脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片をグレースケールにして処理すると、あらゆる前記分割切片と共に、脊椎データセットを構築する。
【0018】
【0019】
ステップＳ１３は、分割待ち切片サイズと分割切片サイズを整理してクロッピングし、第二脊椎データセットを取得する。第一脊椎データセットにおける分割待ち切片及び対応する分割切片についてサイズを整理して左右両側の背景をクロッピングし、第二脊椎データセットを取得する。前記サイズ整理後の分割待ち切片及び対応する分割切片のサイズは、共に、２５６×２５６であり、前記クロッピング後の分割待ち切片及び対応する分割切片のサイズは、共に、１２８×２５６である。
【0020】
ステップＳ１４は、第二脊椎データセットに基づいて、トレーニングデータセットと試験データセットに分ける。第二脊椎データセットにおけるあらゆる分割待ち切片及び対応する分割切片を、それぞれ、９：１という比例で分割待ち切片と分割切片との対応に従って分け、脊椎画像を分割するためのトレーニングデータセットと試験データセットとを取得する。
【0021】
好ましくは、ステップＳ２１では、前記第五段階エンコーダーの出力は、平均プーリングを経た出力と共に、画素に重ね合わせられ、前記残差ニューラルネットワークの第一ネットワーク出力になり、前記第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力は、それぞれ、順に、前記残差ニューラルネットワークにおける第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力及び第五ネットワーク出力になり、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー及び第四段階エンコーダーの出力は、それぞれ、順に、前記第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーの入力になり、前記第五段階エンコーダーの出力は、双線形補間を経てサンプリング操作をしたと、前記第四段階エンコーダーの出力と共に、チャネルに融合され、前記第一段階デコーダーの入力になり、前記第一段階デコーダーの出力は、双線形補間を経てサンプリング操作をしたと、前記第三段階エンコーダーの出力と共に、チャネルに融合され、前記第二段階デコーダーの入力になり、前記第二段階デコーダーの出力は、双線形補間を経てサンプリング操作をしたと、前記第二段階エンコーダーの出力と共に、チャネルに融合され、前記第三段階デコーダーの入力になり、前記第三段階デコーダーの出力は、双線形補間を経てサンプリング操作をしたと、前記第一段階エンコーダーの出力と共に、チャネルに融合され、前記第四段階デコーダーの入力になる。
【0022】
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力は、それぞれ、順に、前記空間特徴抽出装置における第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置及び第四段階ストリップ抽出装置の出力は、それぞれ、順に、前記第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の入力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、いずれも、ストリップコンボリューションを含む。
【0023】
ステップＳ２３では、前記特徴融合モジュールの入力は、前記第一ネットワーク出力、第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力、第五ネットワーク出力、第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力を含み、前記第五分割モジュールの出力は、分割特徴図として、前記特徴融合モジュールの出力になり、前記第一ネットワーク出力と前記第五空間出力とは、チャネルに融合されてから前記第一注意力詳細化モジュールへ入力され、前記第一注意力詳細化モジュールの出力は、双線形補間を経てサンプリング操作をしたと、前記第一分割モジュールへ入力され、前記第二ネットワーク出力と前記第四空間出力とは、チャネルに融合されてから前記第二注意力詳細化モジュールへ入力され、前記第二注意力詳細化モジュールの出力と前記第一分割モジュールの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をしたと、前記第二分割モジュールの入力になり、前記第三ネットワーク出力と前記第三空間出力とは、チャネルに融合されてから前記第三注意力詳細化モジュールへ入力され、前記第三注意力詳細化モジュールの出力と前記第二分割モジュールの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をしたと、前記第三分割モジュールの入力になり、前記第四ネットワーク出力と前記第二空間出力とは、チャネルに融合されてから前記第四注意力詳細化モジュールへ入力され、前記第四注意力詳細化モジュールの出力と前記第三分割モジュールの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をしたと、前記第四分割モジュールの入力になり、前記第五ネットワーク出力と前記第一空間出力とは、チャネルに融合されてから前記第五注意力詳細化モジュールへ入力され、前記第五注意力詳細化モジュールの出力と前記第四分割モジュールの出力とは、チャネルに融合されてから、前記第五分割モジュールの入力になり、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール及び第五注意力詳細化モジュールは、いずれも、注意力モジュールを含み、前記第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、いずれも、畳み込み手段を含む。
【0024】
前記ステップＳ２は、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果を出力することをさらに含む。前記ネットワーク出力層の入力は、前記分割特徴図であり、前記ネットワーク出力層の出力は、分割待ち切片について複数の類別だけの分割結果であって、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力であり、前記ネットワーク出力層の出力は、チャネル数が分割類別数である。
【0025】
好ましくは、ステップＳ３は、具体的に、以下のステップを含む。
ステップＳ３１は、損失関数ＤＦＫＬを設定する。
ステップＳ３２は、モジュールパラメーターと評価指標Ｄｉｃｅとを設置する。
ステップＳ３３は、トレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行う。
ステップＳ３３１は、トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力とし、前記残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出する。
ステップＳ３３２は、トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力とし、前記空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係特徴を抽出する。
ステップＳ３３３は、前記詳細特徴と前記関係特徴を前記特徴融合モジュールに入力し、前記第五分割モジュールにより分割特徴図を出力する。
ステップＳ３３４は、前記分割特徴図を前記ネットワーク出力層により分割待ち切片について複数の類別だけの分割結果である、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得する。
ステップＳ３３４は、分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片とに基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出する。
ステップＳ３３５は、試験データセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングをしたと、試験データセットの評価指標Ｄｉｃｅを算出する。
ステップＳ３３６は、あらゆるトレーニング世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。
ステップＳ３１は、損失関数ＤＦＫＬを設定する。
ステップＳ３２は、モジュールパラメーターと評価指標Ｄｉｃｅとを設置する。
ステップＳ３３は、トレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行う。
ステップＳ３３１は、トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力とし、前記残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出する。
ステップＳ３３２は、トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力とし、前記空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係特徴を抽出する。
ステップＳ３３３は、前記詳細特徴と前記関係特徴を前記特徴融合モジュールに入力し、前記第五分割モジュールにより分割特徴図を出力する。
ステップＳ３３４は、前記分割特徴図を前記ネットワーク出力層により分割待ち切片について複数の類別だけの分割結果である、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得する。
ステップＳ３３４は、分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片とに基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出する。
ステップＳ３３５は、試験データセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングをしたと、試験データセットの評価指標Ｄｉｃｅを算出する。
ステップＳ３３６は、あらゆるトレーニング世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。
【0026】
好ましくは、前記ステップＳ２２では、前記ストリップコンボリューションが、第一畳み込み操作、水平ストリッププーリング操作、鉛直ストリッププーリング操作、水平ストリップコンボリューション操作、鉛直ストリップコンボリューション操作、バッチノーマライゼーション操作、第二畳み込み操作、第一活性化関数及び第二活性化関数を含み、前記第一畳み込み操作の入力は、前記ストリップコンボリューションの入力であり、前記第一畳み込み操作の出力は、順に、前記水平ストリッププーリング操作、水平ストリップコンボリューション操作及びバッチ処理操作を経て、水平ストリップ出力を取得し、前記第一畳み込み操作の出力は、順に、前記鉛直ストリッププーリング操作、鉛直ストリップコンボリューション操作及びバッチ処理操作を経て、鉛直ストリップ出力を取得し、前記水平ストリップ出力と鉛直ストリップ出力は、重ね合わせられたと、前記第一活性化関数により、ストリップ出力を取得し、前記ストリップ出力は、順に前記第二畳み込み操作和第二活性化関数を経て、前記ストリップ出力と共に、各項目を一つずつ掛け、前記ストリップコンボリューションの出力を取得する。
【0027】
前記ステップＳ２３では、前記注意力モジュールは、第三畳み込み操作、全体プーリング操作、バッチノーマライゼーション操作、第四畳み込み操作及び第三活性化関数を含み、前記第三畳み込み操作の入力は、前記注意力モジュールの入力であり、前記第三畳み込み操作の出力は、順に、前記全体プーリング操作、第四畳み込み操作、バッチノーマライゼーション操作及び第三活性化関数を経て、前記第三畳み込み操作の出力と共に、各項目を一つずつ掛け、前記注意力モジュールの出力を取得する。
【0028】
好ましくは、ステップＳ１１では、前記分割待ち切片は、グレースケール処理されるチャネル数がそれぞれ１と３であり、前記分割切片のチャネル数が１であり、ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力チャネル数は、順に、３２、６４、１２８、２５６、５１２、２５６、１２８、６４、３２であり、ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力チャネル数は、順に３２、６４、１２８、２５６、５１２であり、ステップＳ２３では、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールの出力チャネル数は、いずれも、６４である。
【0029】
好ましくは、前記ステップＳ２２では、第一畳み込み操作の畳み込みカーネルが３×３であり、第二畳み込み操作の畳み込みカーネルが１×１であり、水平ストリップコンボリューション操作の畳み込みカーネルが３×１であり、鉛直ストリップコンボリューション操作の畳み込みカーネルが１×３であり、第一活性化関数は、正規化線形関数ＲｅＬＵとして選択され、第二活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、前記ステップＳ２３では、第三畳み込み操作の畳み込みカーネルが３×３であり、第四畳み込み操作の畳み込みカーネルが１×１であり、第三活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、前記ステップＳ２４では、前記ネットワーク出力層は、畳み込みカーネルが１×１である畳み込み操作とされる。
【0030】
好ましくは、前記ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーにおける残差ブロックの数が順に３、４、６、３、３、２、２、２、２として設定される。
【0031】
好ましくは、前記ステップＳ３１では、前記損失関数ＤＦＫＬが、類似性損失ＤＬ、動的スケーリング交差エントロピー損失ＦＬ及び相対エントロピー損失ＫＬに基づいて、
として設定され、
前記ステップＳ３２では、前記評価指標Ｄｉｃｅが、
として示されており、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性、それぞれ指す。
前記ステップＳ３２では、前記評価指標Ｄｉｃｅが、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性、それぞれ指す。
【発明の効果】
【0032】
従来技術に比べると、本発明による技術効果が以下の通りである。
【0033】
１、本発明が提供する椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法は、椎体と椎間板について複数の類別で画像を分割する問題を解決するために、ＢｉＳｅＮｅｔのフレームワークを基に、残差ニューラルネットワークをコンテキストパスとして導入することにより、エンコーダーとデコーダーとを相乗させる優位性を果たすと共に、空間特徴抽出装置を空間経路として組み合わせ、コンテキストパスと空間経路とのそもそもの特徴融合モジュールの代わりとして特徴融合モジュールを提供する。係る方法は、これらの手段を互いに補う優位性により、脊椎の画像を分割する性能を高めることができる。
【0034】
２、本発明が提供する椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法は、脊椎画像を細かさで分割する際に類別類似性と類別内変異性とからの挑戦に備えるために、空間特徴抽出装置に、異なるサイズを有したストリッププーリングブロックを導入し、方向が異なるストリップコンボリューションにより、各点に垂直関係と水平関係とを抽出して、椎体と椎間板との長距離関係と同一の類別内の相互関係を捕捉し、残差ニューラルネットワークにより特徴を抽出する能力を効果良く補い、磁気共鳴画像における脊椎の複雑な詳細と構成を一層良く捕捉し、画像を分割する精度を高めることができる。
【0035】
３、本発明が提供する椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法は、コンテキストパスと空間経路との相補特徴を利用するために、特徴融合モジュールにＢｉＳｅＮｅｔというフレームワークにおける注意力詳細化モジュールを導入し、注意力メカニズムにより、残差ニューラルネットワークと空間特徴抽出装置が各段階に特定の特徴を学習するように次第に指導し、コンテキストパスと空間経路特徴とについてそもそものＢｉＳｅＮｅｔというフレームワークにおける特徴融合モジュールを同時に融合させるということの代わりとして、特徴を一層良く集積するように実現すると共に画像を分割する精度を高めることができる。
【図面の簡単な説明】
【0036】
以下の図面を参照しながら非限制性実施例に対する詳しい説明を読んで行うことにより、本願の他の特徴、目的や利点が一層明確になるだろう。
【図1】本発明に係る椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法を示すフローチャートである。
【図2】本発明に係る椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールの構成を示す図である。
【図3】本発明に作成されたストリップコンボリューションの構成を示す模式図である。
【図4】本発明に作成された注意力モジュールの構成を示す模式図である。
【図5】本発明における具体的な実施例に係る分割モジュールと他の典型的なモジュールにより画像を分割する効果を対比する対比図である。
【発明を実施するための形態】
【0037】
以下、図面と実施例を参照しながら本願を一層詳しく説明を行う。理解するべきことは、ここで記載する具体的な実施例が、関連発明を解釈するためのものに過ぎず、同発明を限定するためのものではない。また、説明するべきことは、説明を便宜にするために、図面において、本願の発明に関連する部分だけを示している。
【0038】
説明するべきことは、矛盾がない限り、本願における実施例及び実施例における特徴を互いに組み合わせることも可能である。以下、図面を参照しながら実施例と共に本願を詳しく説明する。
【0039】
図１は、本発明に係る椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法を示すものであり、同方法は、以下のステップを含む。
【0040】
なお、本発明では、分割とは、磁気共鳴画像において、脊椎部分の識別、異なる椎骨と椎間板との領域の区分を意味しており、図２に示される右側分割切片に示すように、Ｌ１が第一個の腰椎の領域を示し、Ｌ２が第二個の腰椎の領域を示し、Ｌ３が第三個の腰椎の領域を示し、Ｌ４が第四個の腰椎の領域を示し、Ｌ５が第五個の腰椎の領域を示し、Ｔ９が第九個の胸椎の領域を示し、Ｔ１０が第十個の胸椎の領域を示し、Ｔ１１が第十一個の胸椎の領域を示し、Ｔ１２が第十二個の胸椎の領域を示し、Ｔ９／Ｔ１０が第九個の胸椎と第十個の胸椎との間における椎間板の領域を示し、Ｔ１０／Ｔ１１が第十個の胸椎と第十一個の胸椎との間における椎間板の領域を示し、Ｔ１１／Ｔ１２が第十一個の胸椎と第十二個の胸椎との間における椎間板の領域を示し、Ｔ１２／Ｌ１が第十二個の胸椎と第一個の腰椎との間における椎間板の領域を示し、Ｌ１／Ｌ２が第一個の腰椎と第二個の腰椎との間における椎間板の領域を示し、Ｌ２／Ｌ３が第二個の腰椎と第三個の腰椎との間における椎間板の領域を示し、Ｌ３／Ｌ４が第三個の腰椎と第四個の腰椎との間における椎間板の領域を示し、Ｌ４／Ｌ５が第四個の腰椎と第五個の腰椎との間における椎間板の領域を示し、Ｌ５／Ｓが第五個の腰椎と尾椎との間における椎間板の領域を示し、Ｓが尾椎の領域を示す。
【0041】
ステップＳ１は、脊椎について磁気共鳴画像及び対応するラベルイメージを初期処理する。脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる分割待ち切片を規格化にして処理し、分割待ち切片のサイズと分割切片のサイズを整理してクロッピングし、トレーニングデータセットと試験データセットに分ける。
【0042】
ステップＳ１１は、脊椎について磁気共鳴画像及び対応するラベルイメージを取得し、脊椎データセットを構築する。脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる分割待ち切片をグレースケール処理した場合に、あらゆる分割切片と共に、脊椎データセットを構築する。分割待ち切片は、グレースケール処理された前後のチャネル数がそれぞれ１と３であり、分割切片のチャネル数が１である。
【0043】
【0044】
ステップＳ１３は、分割待ち切片と分割切片サイズを整理してクロッピングし、第二脊椎データセットを取得する。第一脊椎データセットにおける分割待ち切片及び対応する分割切片についてサイズを整理し、左右両側の背景をクロッピングし、第二脊椎データセットを取得し、サイズが整理された分割待ち切片及び対応する分割切片のサイズは、共に２５６×２５６であり、クロッピングされた分割待ち切片及び対応する分割切片のサイズは、共に、１２８×２５６である。
【0045】
ステップＳ１４は、第二脊椎データセットに基づいて、トレーニングデータセットと試験データセットとに分ける。第二脊椎データセットにおけるあらゆる分割待ち切片及び対応する分割切片を、それぞれ、９：１という比例で分割待ち切片と分割切片との対応に従って分け、脊椎の画像を分割するためのトレーニングデータセットと試験データセットとを取得する。
【0046】
ステップＳ２は、図２に示すように、椎体と椎間板を複数の類別で分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成する。同脊椎画像分割モジュールは、残差ニューラルネットワーク、空間特徴抽出装置、特徴融合モジュール及びネットワーク出力層を含む。デュアルチャネルにより相補性を付けた脊椎画像分割モジュールは、分割待ち切片の画像データを受信すると、それぞれ、分割待ち切片の画像データを残差ニューラルネットワークと空間特徴抽出装置に入力し、残差ニューラルネットワークと空間特徴抽出装置との出力を融合して特徴融合モジュールに入力し、特徴融合モジュールの出力をネットワーク出力層の入力とし、最後に、ネットワーク出力層により、椎体と椎間板とを分割した分割待ち切片について複数の類別だけの分割結果を出力する。そのうち、残差ニューラルネットワークは、分割待ち切片における椎体と椎間板との詳細特徴を抽出するためのものである。空間特徴抽出装置は、分割待ち切片における椎体と椎間板との関係特徴を抽出するためのものである。特徴融合モジュールは、詳細特徴と関係特徴を融合して分割特徴図を取得するためのものである。ネットワーク出力層は、分割待ち切片を複数の類別だけ分割した分割結果を出力するためのものである。
【0047】
ステップＳ２１は、残差ニューラルネットワークをコンテキストパスとして出力し、分割待ち切片における椎体と椎間板との詳細特徴を抽出する。残差ニューラルネットワークは、エンコーダーとデコーダーを含み、エンコーダーとデコーダーそれぞれは、残差に基づくエンコーダーとデコーダーであり、エンコーダーは、順に、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーを含み、デコーダーは、順に、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーを含む。第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーは、出力チャネル数が順に３２、６４、１２８、２５６、５１２、２５６、１２８、６４、３２である。
【0048】
第一段階エンコーダーの入力は、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力であり、第五段階エンコーダーの出力と平均プーリングされた出力とは、画素に重ね合わせられ、残差ニューラルネットワークの第一ネットワーク出力である。第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力は、それぞれ、順に残差ニューラルネットワークにおける第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力及び第五ネットワーク出力である。
【0049】
第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー及び第四段階エンコーダーの出力は、それぞれ、順に、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーの入力である。第五段階エンコーダーの出力は、双線形補間を経てサンプリング操作をして、第四段階エンコーダーの出力と共に、チャネルに融合され、第一段階デコーダーの入力になる。第一段階デコーダーの出力は、双線形補間を経てサンプリング操作をして、第三段階エンコーダーの出力と共に、チャネルに融合され、第二段階デコーダーの入力になる。第二段階デコーダーの出力は、双線形補間を経てサンプリング操作をして、第二段階エンコーダーの出力と共に、チャネルに融合され、第三段階デコーダーの入力になる。第三段階デコーダーの出力は、双線形補間を経てサンプリング操作をして、第一段階エンコーダーの出力共に、チャネルに融合され、第四段階デコーダーの入力になる。
【0050】
第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーは、いずれも、若干だけの残差ブロックを含み、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーにおける残差ブロックの数は、順に３、４、６、３、３、２、２、２、２として設定される。残差ブロックは、二つの畳み込み手段を含み、畳み込み手段は、一つの畳み込み操作、一つのバッチノーマライゼーション操作及び一つの活性化関数を含む。畳み込み操作の畳み込みカーネルは３×３である。活性化関数は、正規化線形関数ＲｅＬＵとして選択される。第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダーには、一番目の残差ブロックにおける一番目畳み込み手段の畳み込み操作のステップ長さがいずれも、２として設定される。
【0051】
ステップＳ２２は、空間特徴抽出装置を空間経路として作成し、分割待ち切片における椎体と椎間板との関係特徴を抽出する。空間特徴抽出装置は、順に第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置を含む。第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、出力チャネル数が順に３２、６４、１２８、２５６、５１２として設定される。
【0052】
第一段階ストリップ抽出装置の入力は、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力である。第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力は、それぞれ、順に空間特徴ストリップ抽出装置における第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力になる。
【0053】
第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置及び第四段階ストリップ抽出装置の出力は、それぞれ、順に、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の入力になる。第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、いずれも、一つのストリップコンボリューションを含む。
【0054】
図３に示すように、ストリップコンボリューションは、第一畳み込み操作、水平ストリッププーリング操作、鉛直ストリッププーリング操作、水平ストリップコンボリューション操作、鉛直ストリップコンボリューション操作、バッチノーマライゼーション操作、第二畳み込み操作、第一活性化関数及び第二活性化関数を含み、第一畳み込み操作の入力がストリップコンボリューションの入力になり、第一畳み込み操作の出力は、順に水平ストリッププーリング操作、水平ストリップコンボリューション操作及びバッチ処理操作を経て、水平ストリップ出力になり、第一畳み込み操作の出力は、順に鉛直ストリッププーリング操作、鉛直ストリップコンボリューション操作及びバッチ処理操作を経て、鉛直ストリップ出力になり、水平ストリップ出力と鉛直ストリップ出力を重ね合わせた場合に、第一活性化関数を経てストリップ出力になり、ストリップ出力は、順に第二畳み込み操作と第二活性化関数を経て、ストリップ出力と共に、各項目を一つずつ掛け、ストリップコンボリューションの出力になる。
【0055】
第一畳み込み操作の畳み込みカーネルが３×３であり、第二畳み込み操作の畳み込みカーネルが１×１であり、水平ストリップコンボリューション操作の畳み込みカーネルが３×１であり、鉛直ストリップコンボリューション操作の畳み込みカーネルが１×３であり、第一活性化関数が正規化線形関数ＲｅＬＵとして選択され、第二活性化関数がＳ型関数Ｓｉｇｍｏｉｄとして選択される。
【0056】
ステップＳ２３は、特徴融合モジュールを作成し、コンテキストパスにおける詳細特徴と空間経路との関係特徴を融合し、分割特徴を取得する。特徴融合モジュールは、順に第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールを含む。第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、出力チャネル数がいずれも、６４である。
【0057】
特徴融合モジュールの入力は、第一ネットワーク出力、第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力、第五ネットワーク出力、第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力を含み、第五分割モジュールの出力は、分割特徴図として特徴融合モジュールの出力になる。
【0058】
第一ネットワーク出力と第五空間出力とは、チャネルに融合されてから第一注意力詳細化モジュールへ入力され、第一注意力詳細化モジュールの出力は、双線形補間を経てサンプリング操作をして、第一分割モジュールへ入力され、第二ネットワーク出力と第四空間出力とは、チャネルに融合されてから第二注意力詳細化モジュールへ入力され、第二注意力詳細化モジュールの出力と第一分割モジュールの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、第二分割モジュールの入力になり、第三ネットワーク出力と第三空間出力とは、チャネルに融合されてから第三注意力詳細化モジュールへ入力され、第三注意力詳細化モジュールの出力と第二分割モジュールの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、第三分割モジュールの入力になり、第四ネットワーク出力と第二空間出力とは、チャネルに融合されてから、第四注意力詳細化モジュールへ入力され、第四注意力詳細化モジュールの出力と第三分割モジュールの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、第四分割モジュールの入力になり、第五ネットワーク出力と第一空間出力とは、チャネルに融合されてから第五注意力詳細化モジュールへ入力され、第五注意力詳細化モジュールの出力と第四分割モジュールの出力とはチャネルに融合されてから、第五分割モジュールの入力になる。第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール及び第五注意力詳細化モジュールは、いずれも一つの注意力モジュールを含む。
【0059】
図４に示すように、注意力モジュールは、第三畳み込み操作、全体プーリング操作、バッチノーマライゼーション操作、第四畳み込み操作及び第三活性化関数を含み、第三畳み込み操作の入力が注意力モジュールの入力になり、第三畳み込み操作の出力は、順に全体プーリング操作、第四畳み込み操作、バッチノーマライゼーション操作及び第三活性化関数を経て、第三畳み込み操作の出力と共に、各項目を一つずつ掛け、注意力モジュールの出力を取得する。
【0060】
第三畳み込み操作の畳み込みカーネルが３×３であり、第四畳み込み操作の畳み込みカーネルが１×１であり、第三活性化関数がＳ型関数Ｓｉｇｍｏｉｄとして選択され、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、いずれも、一つの畳み込み手段を含む。
【0061】
ステップＳ２４は、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果を出力する。ネットワーク出力層の入力は、分割特徴図であり、ネットワーク出力層の出力は、分割待ち切片について複数の類別だけの分割結果であって、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力になり、ネットワーク出力層は、畳み込みカーネルが１×１である畳み込み操作であり、出力チャネル数が分割類別数である。
【0062】
ステップＳ３は、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。損失関数を設定し、モジュールパラメーターと評価指標とを設置し、第二脊椎データセットにおけるトレーニングデータセットと試験データセットを設置し、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、試験データセットにおける評価指標が最大である場合にデュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。
【0063】
ステップＳ３１は、類似性損失ＤＬ、動的スケーリング交差エントロピー損失ＦＬ及び相対エントロピー損失ＫＬに基づいて、損失関数がＤＦＫＬとして設定される。
【0064】
ステップＳ３２は、モジュールパラメーターと評価指標を設置する。オプティマイザーを適応的モーメント推定Ａｄａｍとして設置し、バッチ処理の個数を２０に設定し、重み減衰を０．００２に設定し、トレーニング世代を５００に設定する。トレーニング第ｉ世代の学習率を０．００１に設定する。第ｉ＋１世代乃至第ｉ＋１０世代についてそれらの試験データセットの評価指標が第ｉ世代についてその試験データセットの評価指標よりも増えない場合には、第ｉ＋１１世代の学習率を第ｉ世代の学習率の十分の一に更新する。
【0065】
評価指標Ｄｉｃｅは、
として示されており、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性として示される。
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性として示される。
【0066】
ステップＳ３３は、第二脊椎データセットにおけるトレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片をデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行う。
【0067】
ステップＳ３３１は、トレーニングデータセットにおける分割待ち切片をデュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力として、残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出する。
【0068】
ステップＳ３３２は、トレーニングデータセットにおける分割待ち切片をデュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力として、空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係特徴を抽出する。
【0069】
ステップＳ３３３は、詳細特徴和関係特徴を特徴融合モジュールに入力し、第五分割モジュールにより分割特徴図を出力する。
【0070】
ステップＳ３３４は、分割特徴図を、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果である、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得する。
【0071】
ステップＳ３３４は、分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片に基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出する。
【0072】
ステップＳ３３５は、試験データセットにおける分割待ち切片をデュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングして、試験データセットの評価指標Ｄｉｃｅを算出する。
【0073】
ステップＳ３３６は、あらゆるトレーニング世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得する。
【0074】
ステップＳ４は、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、分割待ち脊椎について磁気共鳴画像切片の分割結果を取得する。最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、分割待ち脊椎について磁気共鳴画像切片をステップＳ１における規格化処理、整理及びクロッピングを経て、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力である、分割待ち脊椎について磁気共鳴画像切片の分割結果を取得する。
【0075】
具体的な実施例では、取得された脊椎磁気共鳴画像及び対応するラベルイメージは、ＭＲＳｐｉｎｅＳｅｇ挑戦データセット（ｈｔｔｐｓ：／／ｗｗｗ．ｓｐｉｎｅ ｓｅｇｍｅｎｔａｔｉｏｎ－Ｃｈａｌｌｅｎｇｅ．ｃｏｍ）からものであり、そのうち、Ｔ２重みを付けた磁気共鳴画像及びそれに対応するラベルイメージを１７２個だけ含む。磁気共鳴画像の解像度が５１２×５１２～１０２４×１０２４であり、切片の数が１２～１８である。データセットに２０個の類別を含む場合は、ネットワーク出力層の出力チャネル数である分割類別数が２０になり、そのうち椎骨領域が１０個だけあり、椎間板の領域と背景が９個だけあるが、あらゆる磁気共鳴画像に、いずれも２０個の類別があるわけではない。
【0076】
あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる分割待ち切片を規格化にして処理し、分割待ち切片のサイズと分割切片のサイズを１２８×２５６に整理してクロッピングし、トレーニングデータセット（分割待ち切片と分割切片が１９５３対である）と試験データセット（分割待ち切片と分割切片が２１６対である）に分ける。
【0077】
ネットワークパラメーターを以下のように設置する。オプティマイザーを適応的モーメント推定Ａｄａｍに設定し、バッチ処理の数を２０に設定し、重み減衰を０．００２に設定し、トレーニング世代を５００に設定する。トレーニング第ｉ世代の学習率を０．００１に設定する。第ｉ＋１世代乃至第ｉ＋１０世代について試験データセットの評価指標が第ｉ世代について試験データセットの評価指標に対して増えない場合に、第ｉ＋１１世代の学習率を第ｉ世代の学習率の十分の一に更新する。ビデオカードを２４ＧビデオメモリのＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＲＴＸ ３０９０として選択する。
【0078】
トレーニングデータセットと試験データセットとに基づいて、よく使われる交差エントロピー損失ＣＥと係る損失関数ＤＦＫＬを選んで、作成されたデュアルチャネルにより相補性を付けた脊椎画像分割モジュールそれぞれをトレーニングし、それぞれ試験データセットにおける最適なＤｉｃｅ値を取得する。
【0079】
オックスフォード大学VGGグループ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）により提供された１６層のネットワークアーキテクチャＶＧＧ１６（モジュール一）と３４層の残差ネットワークアーキテクチャＲｅｓＮｅｔ３４（モジュール二）において、交差エントロピー損失ＣＥトレーニング典型的Ｕ型ネットワーク（Ｕ－Ｎｅｔ）を使用した最適な試験データセットＤｉｃｅ値と、３４層の残差ネットワークアーキテクチャＲｅｓＮｅｔ３４下（モジュール三）において、交差エントロピー損失ＣＥトレーニング典型的デュアルチャネルネットワーク（ＢｉＳｅＮｅｔ）を使用した最適な試験データセットＤｉｃｅ値をそれぞれ対比すると、表１に示す。交差エントロピー損失ＣＥによりトレーニングされたデュアルチャネルにより相補性を付けた脊椎画像分割モジュールをモジュール四として記載し、係る損失関数ＤＦＫＬによりトレーニングされたデュアルチャネルにより相補性を付けた脊椎画像分割モジュールをモジュール五として記載する。
【0080】
表１に示すように、係る損失関数ＤＦＫＬにより提供されたデュアルチャネルにより相補性を付けた脊椎画像分割モジュール（モジュール五）は、最高のＤｉｃｅ値（８２．８０２％）を実現でき、しかも、交差エントロピー損失ＣＥにより（モジュール四）二番目の高いＤｉｃｅ値（８１．６９１％）を実現できた。それは、提供しているデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに優位性があるということを証明することができる。また、結果に統計学のデータ分散を観察すると、モジュール五により最低の分散（０．０１４８）を取得した。それは、作成されたデュアルチャネルにより相補性を付けた脊椎画像分割モジュールが試験データセットに分割を行う性能は、比較的強いロバストネスを備えるということが現れる。分散が小さいほど、提供されたモジュールが、異なるサンプル間において分割を行う性能がさらに一致になりかつ安定になる。この一致性によると、モジュールは、複数の類別で椎骨と椎間板との領域を正確かつ確実に分割することができるということが現れる。それは、実際に医師が椎骨と椎間板とを識別して適用するように補助するために大事な役割を果たしている。図５は、他のモジュールにより視覚的に分割を行った具体的な結果を示す。
【0081】
本発明が椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法は、椎体と椎間板について複数の類別で画像を分割する問題を解決するために、ＢｉＳｅＮｅｔのフレームワークを基に、残差ニューラルネットワークをコンテキストパスとして導入し、エンコーダーとデコーダーとを相乗させる優位性を果たすと共に、空間特徴抽出装置を空間経路として組み合わせ、コンテキストパスと空間経路とのそもそもの特徴融合モジュールの代わりとして特徴融合モジュールを提供する。係る方法は、これらの手段を互いに補う優位性により、脊椎の画像を分割する性能を高めることができる。脊椎画像を細かさで分割する際に類別類似性と類別内変異性とからの挑戦に備えるために、空間特徴抽出装置に、異なるサイズを有したストリッププーリングブロックを導入し、方向が異なるストリップコンボリューションにより、各点に垂直関係と水平関係とを抽出して、椎体と椎間板との長距離関係と同一の類別内の相互関係を捕捉し、残差ニューラルネットワークにより特徴を抽出する能力を効果良く補い、磁気共鳴画像における脊椎の複雑な詳細と構成を一層良く捕捉し、画像を分割する精度を高めることができる。コンテキストパスと空間経路との相補特徴を利用するために、特徴融合モジュールにＢｉＳｅＮｅｔというフレームワークにおける注意力詳細化モジュールを導入し、注意力メカニズムにより、残差ニューラルネットワークと空間特徴抽出装置が各段階に特定の特徴を学習するように次第に指導し、コンテキストパスと空間経路特徴とについてそもそものＢｉＳｅＮｅｔというフレームワークにおける特徴融合モジュールを同時に融合させるということの代わりとして、特徴を一層良く集積するように実現すると共に画像を分割する精度を高めることができる。
【0082】
最後に説明すべきことは、以上の実施例が本発明に係る技術手段を説明するためのものに過ぎず、本発明を限定するものではない。上記の実施例を参照して本発明を詳しく説明したが、当業者にとって依然として本発明を補正したり均等置換したりすることが可能であり、本発明の趣旨や範囲を逸脱しない限り、いかなる補正や局所的置換があれば、いずれも、本発明の特許請求の範囲に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2024-12-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
脊椎について磁気共鳴画像及び対応するラベルイメージを初期処理するステップＳ１であって、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片を規格化して処理し、前記分割待ち切片のサイズと分割切片のサイズとを整理してクロッピングし、トレーニングデータセットと試験データセットとに分けるステップＳ１と、
椎体と椎間板を複数の類別で分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成し、前記脊椎画像分割モジュールに残差ニューラルネットワーク、空間特徴抽出装置、特徴融合モジュール及びネットワーク出力層が含まれているステップＳ２であって、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールは、分割待ち切片の画像データを受信すると、それぞれ、分割待ち切片の画像データを残差ニューラルネットワークと空間特徴抽出装置に入力し、次に、残差ニューラルネットワークと空間特徴抽出装置からの出力を融合して特徴融合モジュールに入力し、特徴融合モジュールからの出力をネットワーク出力層の入力として、最後に、ネットワーク出力層により、椎体と椎間板を分割した分割待ち切片について複数の類別だけの分割結果を出力し、そのうち、前記残差ニューラルネットワークは、分割待ち切片における椎体と椎間板との詳細特徴を抽出するためのものであり、前記空間特徴抽出装置は、分割待ち切片における椎体と椎間板との関係特徴を抽出するためのものであり、前記特徴融合モジュールは、詳細特徴と関係特徴を融合して分割特徴図を取得するためのものであり、前記ネットワーク出力層は、分割待ち切片について複数の類別だけの分割結果を出力するためのものであるステップＳ２と、
残差ニューラルネットワークをコンテキストパスとして作成し、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ２１であって、前記残差ニューラルネットワークにエンコーダーとデコーダーとが含まれ、前記エンコーダーと前記デコーダーは、それぞれ、残差に基づくエンコーダーと残差に基づくデコーダーであり、前記エンコーダーは、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーを順に含み、前記デコーダーは、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーを順に含み、前記第一段階エンコーダーの入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力である、ステップＳ２１と、
空間特徴抽出装置を空間経路として作成し、分割待ち切片における椎体と椎間板との関係特徴を抽出するステップＳ２２であって、前記空間特徴抽出装置は、第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置を順に含み、前記第一段階ストリップ抽出装置の入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力である、ステップＳ２２と、
特徴融合モジュールを作成し、コンテキストパスの詳細特徴と空間経路の関係特徴とを融合し、分割特徴を取得するステップＳ２３であって、前記特徴融合モジュールは、第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールを順に含む、ステップＳ２３と、
デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３であって、損失関数を設定し、モジュールパラメーターと評価指標とを設置し、トレーニングデータセットと試験データセットとに基づいて、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、試験データセットの評価指標が最大である場合に前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３と、
最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得するステップＳ４であって、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片を、ステップＳ１における規格化処理、整理及びクロッピングをしてから、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力である、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得する、ステップＳ４とを含む、
ことを特徴とする椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
椎体と椎間板を複数の類別で分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを作成し、前記脊椎画像分割モジュールに残差ニューラルネットワーク、空間特徴抽出装置、特徴融合モジュール及びネットワーク出力層が含まれているステップＳ２であって、デュアルチャネルにより相補性を付けた脊椎画像分割モジュールは、分割待ち切片の画像データを受信すると、それぞれ、分割待ち切片の画像データを残差ニューラルネットワークと空間特徴抽出装置に入力し、次に、残差ニューラルネットワークと空間特徴抽出装置からの出力を融合して特徴融合モジュールに入力し、特徴融合モジュールからの出力をネットワーク出力層の入力として、最後に、ネットワーク出力層により、椎体と椎間板を分割した分割待ち切片について複数の類別だけの分割結果を出力し、そのうち、前記残差ニューラルネットワークは、分割待ち切片における椎体と椎間板との詳細特徴を抽出するためのものであり、前記空間特徴抽出装置は、分割待ち切片における椎体と椎間板との関係特徴を抽出するためのものであり、前記特徴融合モジュールは、詳細特徴と関係特徴を融合して分割特徴図を取得するためのものであり、前記ネットワーク出力層は、分割待ち切片について複数の類別だけの分割結果を出力するためのものであるステップＳ２と、
残差ニューラルネットワークをコンテキストパスとして作成し、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ２１であって、前記残差ニューラルネットワークにエンコーダーとデコーダーとが含まれ、前記エンコーダーと前記デコーダーは、それぞれ、残差に基づくエンコーダーと残差に基づくデコーダーであり、前記エンコーダーは、第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーを順に含み、前記デコーダーは、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーを順に含み、前記第一段階エンコーダーの入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力である、ステップＳ２１と、
空間特徴抽出装置を空間経路として作成し、分割待ち切片における椎体と椎間板との関係特徴を抽出するステップＳ２２であって、前記空間特徴抽出装置は、第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置を順に含み、前記第一段階ストリップ抽出装置の入力は、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力である、ステップＳ２２と、
特徴融合モジュールを作成し、コンテキストパスの詳細特徴と空間経路の関係特徴とを融合し、分割特徴を取得するステップＳ２３であって、前記特徴融合モジュールは、第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールを順に含む、ステップＳ２３と、
デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３であって、損失関数を設定し、モジュールパラメーターと評価指標とを設置し、トレーニングデータセットと試験データセットとに基づいて、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールをトレーニングし、試験データセットの評価指標が最大である場合に前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３と、
最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得するステップＳ４であって、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールに基づいて、脊椎について分割待ち磁気共鳴画像切片を、ステップＳ１における規格化処理、整理及びクロッピングをしてから、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力である、脊椎について分割待ち磁気共鳴画像切片の分割結果を取得する、ステップＳ４とを含む、
ことを特徴とする椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項2】
前記ステップＳ１は、具体的に、
脊椎について磁気共鳴画像及び対応するラベルイメージを取得して、脊椎データセットを構築するステップＳ１１であって、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片をグレースケール化にして処理すると、あらゆる前記分割切片と共に脊椎データセットを構築するステップＳ１１と、
分割待ち切片サイズと分割切片サイズとを整理してクロッピングし、第二脊椎データセットを取得するステップＳ１３であって、第一脊椎データセットにおける分割待ち切片のサイズ及び対応する分割切片のサイズを整理して左右両側の背景をクロッピングし、第二脊椎データセットを取得し、前記サイズが整理された分割待ち切片のサイズ及び対応する分割切片のサイズは、共に２５６×２５６であり、前記クロッピングされた分割待ち切片のサイズ及び対応する分割切片のサイズは、共に、１２８×２５６である、ステップＳ１３と、
第二脊椎データセットに基づいてトレーニングデータセットと試験データセットとに分けるステップＳ１４であって、第二脊椎データセットにおけるあらゆる分割待ち切片及び対応する分割切片を、それぞれ、９：１という比例で分割待ち切片と分割切片との対応に従って分け、脊椎画像を分割するためのトレーニングデータセットと試験データセットとを取得する、ステップＳ１４を含む、ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
脊椎について磁気共鳴画像及び対応するラベルイメージを取得して、脊椎データセットを構築するステップＳ１１であって、脊椎について磁気共鳴画像及び対応するラベルイメージを若干だけ取得し、あらゆる磁気共鳴画像における脊椎部分を含んでいるあらゆる分割待ち切片を抽出し、あらゆるラベルイメージにおける分割待ち切片と対応するあらゆる分割切片を抽出し、あらゆる前記分割待ち切片をグレースケール化にして処理すると、あらゆる前記分割切片と共に脊椎データセットを構築するステップＳ１１と、
第二脊椎データセットに基づいてトレーニングデータセットと試験データセットとに分けるステップＳ１４であって、第二脊椎データセットにおけるあらゆる分割待ち切片及び対応する分割切片を、それぞれ、９：１という比例で分割待ち切片と分割切片との対応に従って分け、脊椎画像を分割するためのトレーニングデータセットと試験データセットとを取得する、ステップＳ１４を含む、ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項3】
ステップＳ２１では、前記第五段階エンコーダーからの出力とその平均プーリングされた出力は、画素に重ね合わせられ、前記残差ニューラルネットワークの第一ネットワーク出力になり、前記第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力は、それぞれ、順に、前記残差ニューラルネットワークにおける第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力及び第五ネットワーク出力になり、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー及び第四段階エンコーダーの出力は、それぞれ、順に、前記第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー及び第五段階エンコーダーの入力になり、前記第五段階エンコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第四段階エンコーダーからの出力と共に、前記第一段階デコーダーの入力としてチャネルに融合され、前記第一段階デコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第三段階エンコーダーからの出力と共に前記第二段階デコーダーの入力としてチャネルに融合され、前記第二段階デコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第二段階エンコーダーからの出力と共に前記第三段階デコーダーの入力としてチャネルに融合され、前記第三段階デコーダーからの出力は、双線形補間を経てサンプリング操作をして、前記第一段階エンコーダーからの出力と共に、前記第四段階デコーダーの入力として、チャネルに融合され、
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置からの出力は、それぞれ、順に、前記空間特徴抽出装置における第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置及び第四段階ストリップ抽出装置からの出力は、それぞれ、順に、前記第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の入力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、いずれも、ストリップコンボリューションを含み、
ステップＳ２３では、前記特徴融合モジュールの入力は、前記第一ネットワーク出力、第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力、第五ネットワーク出力、第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力を含み、前記第五分割モジュールからの出力は、分割特徴図として、前記特徴融合モジュールからの出力であり、前記第一ネットワーク出力と前記第五空間出力とは、チャネルに融合されてから前記第一注意力詳細化モジュールへ入力され、前記第一注意力詳細化モジュールからの出力は、双線形補間を経てサンプリング操作をして、前記第一分割モジュールに入力され、前記第二ネットワーク出力と前記第四空間出力とは、チャネルに融合されてから前記第二注意力詳細化モジュールへ入力され、前記第二注意力詳細化モジュールからの出力と前記第一分割モジュールからの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第二分割モジュールの入力になり、前記第三ネットワーク出力と前記第三空間出力とは、チャネルに融合されてから前記第三注意力詳細化モジュールへ入力され、前記第三注意力詳細化モジュールからの出力と前記第二分割モジュールとの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第三分割モジュールの入力になり、前記第四ネットワーク出力と前記第二空間出力とは、チャネルに融合されてから前記第四注意力詳細化モジュールへ入力され、前記第四注意力詳細化モジュールからの出力と前記第三分割モジュールからの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第四分割モジュールの入力になり、前記第五ネットワーク出力と前記第一空間出力とは、チャネルに融合されてから前記第五注意力詳細化モジュールへ入力され、前記第五注意力詳細化モジュールからの出力と前記第四分割モジュールからの出力とは、チャネルに融合されてから、前記第五分割モジュールの入力になり、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール及び第五注意力詳細化モジュールは、いずれも、注意力モジュールを含み、前記第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、いずれも、畳み込み手段を含み、
前記ステップＳ２は、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果を出力するステップＳ２４をさらに含み、前記ネットワーク出力層の入力が前記分割特徴図であり、前記ネットワーク出力層からの出力が分割待ち切片について複数の類別だけの分割結果であって、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力であり、前記ネットワーク出力層からの出力チャネル数が分割類別数である、
ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置からの出力は、それぞれ、順に、前記空間特徴抽出装置における第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置及び第四段階ストリップ抽出装置からの出力は、それぞれ、順に、前記第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の入力になり、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置は、いずれも、ストリップコンボリューションを含み、
ステップＳ２３では、前記特徴融合モジュールの入力は、前記第一ネットワーク出力、第二ネットワーク出力、第三ネットワーク出力、第四ネットワーク出力、第五ネットワーク出力、第一空間出力、第二空間出力、第三空間出力、第四空間出力及び第五空間出力を含み、前記第五分割モジュールからの出力は、分割特徴図として、前記特徴融合モジュールからの出力であり、前記第一ネットワーク出力と前記第五空間出力とは、チャネルに融合されてから前記第一注意力詳細化モジュールへ入力され、前記第一注意力詳細化モジュールからの出力は、双線形補間を経てサンプリング操作をして、前記第一分割モジュールに入力され、前記第二ネットワーク出力と前記第四空間出力とは、チャネルに融合されてから前記第二注意力詳細化モジュールへ入力され、前記第二注意力詳細化モジュールからの出力と前記第一分割モジュールからの出力とは、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第二分割モジュールの入力になり、前記第三ネットワーク出力と前記第三空間出力とは、チャネルに融合されてから前記第三注意力詳細化モジュールへ入力され、前記第三注意力詳細化モジュールからの出力と前記第二分割モジュールとの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第三分割モジュールの入力になり、前記第四ネットワーク出力と前記第二空間出力とは、チャネルに融合されてから前記第四注意力詳細化モジュールへ入力され、前記第四注意力詳細化モジュールからの出力と前記第三分割モジュールからの出力は、チャネルに融合されてから、双線形補間を経てサンプリング操作をして、前記第四分割モジュールの入力になり、前記第五ネットワーク出力と前記第一空間出力とは、チャネルに融合されてから前記第五注意力詳細化モジュールへ入力され、前記第五注意力詳細化モジュールからの出力と前記第四分割モジュールからの出力とは、チャネルに融合されてから、前記第五分割モジュールの入力になり、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール及び第五注意力詳細化モジュールは、いずれも、注意力モジュールを含み、前記第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールは、いずれも、畳み込み手段を含み、
前記ステップＳ２は、ネットワーク出力層により、分割待ち切片について複数の類別だけの分割結果を出力するステップＳ２４をさらに含み、前記ネットワーク出力層の入力が前記分割特徴図であり、前記ネットワーク出力層からの出力が分割待ち切片について複数の類別だけの分割結果であって、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールからの出力であり、前記ネットワーク出力層からの出力チャネル数が分割類別数である、
ことを特徴とする請求項1に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項4】
ステップＳ３は、具体的に、
損失関数ＤＦＫＬを設定するステップＳ３１と、
モジュールパラメーターと評価指標Ｄｉｃｅを設置するステップＳ３２、
トレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行うステップＳ３３と、
トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力とし、前記残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ３３１と、
トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力として、前記空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係徴を抽出するステップＳ３３２と、
前記詳細特徴と関係特徴とを前記特徴融合モジュールに入力し、前記第五分割モジュールにより分割特徴図を出力するステップＳ３３３と、
前記分割特徴図を、前記ネットワーク出力層により分割待ち切片について複数の類別だけの分割結果である、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得するステップＳ３３４と、
分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片とに基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出するステップＳ３３４と、
試験データセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片によりワンホットＯｎｅ－Ｈｏｔエンコーディングをして、試験データセットの評価指標Ｄｉｃｅを算出するステップＳ３３５と、
あらゆるトレーニングの世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３３６と、を含む、
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
損失関数ＤＦＫＬを設定するステップＳ３１と、
モジュールパラメーターと評価指標Ｄｉｃｅを設置するステップＳ３２、
トレーニングデータセットと試験データセットとに基づいて、トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールに入力してトレーニングを行うステップＳ３３と、
トレーニングデータセットにおける分割待ち切片を前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力とし、前記残差ニューラルネットワークにより、分割待ち切片における椎体と椎間板との詳細特徴を抽出するステップＳ３３１と、
トレーニングデータセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第二入力として、前記空間特徴抽出装置により、分割待ち切片における椎体と椎間板との関係徴を抽出するステップＳ３３２と、
前記詳細特徴と関係特徴とを前記特徴融合モジュールに入力し、前記第五分割モジュールにより分割特徴図を出力するステップＳ３３３と、
前記分割特徴図を、前記ネットワーク出力層により分割待ち切片について複数の類別だけの分割結果である、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの出力として出力し、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターを取得するステップＳ３３４と、
分割待ち切片について複数の類別だけの分割結果とトレーニングデータセットにおける対応する分割切片とに基づいて、分割切片をワンホットＯｎｅ－Ｈｏｔエンコーディングし、出力チャネル数が分割類別数である分割切片を取得し、トレーニングデータセットの評価指標Ｄｉｃｅを算出するステップＳ３３４と、
試験データセットにおける分割待ち切片を、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの第一入力と第二入力として、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールの重みパラメーターに基づいて、試験データセットにおける分割待ち切片について複数の類別だけの分割結果を取得し、試験データセットにおける対応する分割切片によりワンホットＯｎｅ－Ｈｏｔエンコーディングをして、試験データセットの評価指標Ｄｉｃｅを算出するステップＳ３３５と、
あらゆるトレーニングの世代が終わるまでステップＳ３３１乃至ステップＳ３３５を繰り返して実行し、あらゆるトレーニング世代における試験データセットの評価指標Ｄｉｃｅが最大である場合に、前記デュアルチャネルにより相補性を付けた脊椎画像分割モジュールと対応する重みパラメーターを取得し、最適なデュアルチャネルにより相補性を付けた脊椎画像分割モジュールを取得するステップＳ３３６と、を含む、
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項5】
前記ステップＳ２２では、前記ストリップコンボリューションは、第一畳み込み操作、水平ストリッププーリング操作、鉛直ストリッププーリング操作、水平ストリップコンボリューション操作、鉛直ストリップコンボリューション操作、バッチノーマライゼーション操作、第二畳み込み操作、第一活性化関数及び第二活性化関数を含み、前記第一畳み込み操作の入力は、前記ストリップコンボリューションの入力であり、前記第一畳み込み操作の出力は、順に、前記水平ストリッププーリング操作、水平ストリップコンボリューション操作及びバッチ処理操作を経て、水平ストリップ出力を取得し、前記第一畳み込み操作の出力は、順に前記鉛直ストリッププーリング操作、鉛直ストリップコンボリューション操作及びバッチ処理操作を経て、鉛直ストリップ出力を取得し、前記水平ストリップ出力と鉛直ストリップ出力を重ね合わせて、前記第一活性化関数によりストリップ出力を取得し、前記ストリップ出力は、順に前記第二畳み込み操作と第二活性化関数を経て、前記ストリップ出力と共に、各項目を一つずつ掛け、前記ストリップコンボリューションの出力を取得し、
前記ステップＳ２３では、前記注意力モジュールは、第三畳み込み操作、全体プーリング操作、バッチノーマライゼーション操作、第四畳み込み操作及び第三活性化関数を含み、前記第三畳み込み操作の入力は前記注意力モジュールの入力であり、前記第三畳み込み操作の出力は、順に前記全体プーリング操作、第四畳み込み操作、バッチノーマライゼーション操作及び第三活性化関数を経て、前記第三畳み込み操作の出力と共に、各項目を一つずつ掛け、前記注意力モジュールの出力を取得する、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
前記ステップＳ２３では、前記注意力モジュールは、第三畳み込み操作、全体プーリング操作、バッチノーマライゼーション操作、第四畳み込み操作及び第三活性化関数を含み、前記第三畳み込み操作の入力は前記注意力モジュールの入力であり、前記第三畳み込み操作の出力は、順に前記全体プーリング操作、第四畳み込み操作、バッチノーマライゼーション操作及び第三活性化関数を経て、前記第三畳み込み操作の出力と共に、各項目を一つずつ掛け、前記注意力モジュールの出力を取得する、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項6】
ステップＳ１１では、前記分割待ち切片は、グレースケール処理される前後にチャネル数がそれぞれ１と３であり、前記分割切片のチャネル数が１であり、
ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力チャネル数は、順に、３２、６４、１２８、２５６、５１２、２５６、１２８、６４、３２であり、
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力チャネル数は、順に、３２、６４、１２８、２５６、５１２であり、
ステップＳ２３では、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールの出力チャネル数は、いずれも、６４である、
ことを特徴とする請求項1又は２に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーの出力チャネル数は、順に、３２、６４、１２８、２５６、５１２、２５６、１２８、６４、３２であり、
ステップＳ２２では、前記第一段階ストリップ抽出装置、第二段階ストリップ抽出装置、第三段階ストリップ抽出装置、第四段階ストリップ抽出装置及び第五段階ストリップ抽出装置の出力チャネル数は、順に、３２、６４、１２８、２５６、５１２であり、
ステップＳ２３では、前記第一注意力詳細化モジュール、第二注意力詳細化モジュール、第三注意力詳細化モジュール、第四注意力詳細化モジュール、第五注意力詳細化モジュール、第一分割モジュール、第二分割モジュール、第三分割モジュール、第四分割モジュール及び第五分割モジュールの出力チャネル数は、いずれも、６４である、
ことを特徴とする請求項1又は２に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項7】
前記ステップＳ２２では、第一畳み込み操作の畳み込みカーネルが３×３であり、第二畳み込み操作の畳み込みカーネルが１×１であり、水平ストリップコンボリューション操作の畳み込みカーネルが３×１であり、鉛直ストリップコンボリューション操作の畳み込みカーネルが１×３であり、第一活性化関数は、正規化線形関数ＲｅＬＵとして選択され、第二活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、
前記ステップＳ２３では、第三畳み込み操作の畳み込みカーネルが３×３であり、第四畳み込み操作の畳み込みカーネルが１×１であり、第三活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、
前記ステップＳ２４では、前記ネットワーク出力層は、畳み込みカーネルが１×１である畳み込み操作とされる、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
前記ステップＳ２３では、第三畳み込み操作の畳み込みカーネルが３×３であり、第四畳み込み操作の畳み込みカーネルが１×１であり、第三活性化関数は、Ｓ型関数Ｓｉｇｍｏｉｄとして選択され、
前記ステップＳ２４では、前記ネットワーク出力層は、畳み込みカーネルが１×１である畳み込み操作とされる、
ことを特徴とする請求項３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項8】
前記ステップＳ２１では、前記第一段階エンコーダー、第二段階エンコーダー、第三段階エンコーダー、第四段階エンコーダー、第五段階エンコーダー、第一段階デコーダー、第二段階デコーダー、第三段階デコーダー及び第四段階デコーダーにおいて、残差ブロックの数が、順に３、４、６、３、３、２、２、２、２として設定される、
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
ことを特徴とする請求項1又は３に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
【請求項9】
前記ステップＳ３１では、前記損失関数ＤＦＫＬが、類似性損失ＤＬ、動的スケーリング交差エントロピー損失ＦＬ及び相対エントロピー損失ＫＬに基づいて、
として設定され、
前記ステップＳ３２では、前記評価指標Ｄｉｃｅが、
として示されており、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性、それぞれ指す、
ことを特徴とする請求項４に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。
前記ステップＳ３２では、前記評価指標Ｄｉｃｅが、
そのうち、ＴＰが真陽性、ＦＰが偽陽性、ＦＮが偽陰性、それぞれ指す、
ことを特徴とする請求項４に記載の椎体と椎間板を分割するためのデュアルチャネルにより相補性を付けた脊椎画像分割方法。