特許 7489732 深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法

(51)【国際特許分類】

   A61B 5/055 20060101AFI20240517BHJP

   G06T 7/00 20170101ALI20240517BHJP

【ＦＩ】

A61B5/055 380

G06T7/00 612

G06T7/00 350B

【請求項の数】 3

(21)【出願番号】P 2022578644

(86)(22)【出願日】2021-08-16

(65)【公表番号】

(43)【公表日】2023-07-12

(86)【国際出願番号】 CN2021112874

(87)【国際公開番号】W WO2022037548

(87)【国際公開日】2022-02-24

【審査請求日】2022-12-19

(31)【優先権主張番号】202010824727.7

(32)【優先日】2020-08-17

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】505072650

【氏名又は名称】浙江大学

【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＵＮＩＶＥＲＳＩＴＹ

(74)【代理人】

【識別番号】100128347

【弁理士】

【氏名又は名称】西内 盛二

(72)【発明者】

【氏名】▲劉▼ ▲剛▼

(72)【発明者】

【氏名】▲鄭▼ 友怡

(72)【発明者】

【氏名】方 向前

(72)【発明者】

【氏名】▲馬▼ 成▲龍▼

(72)【発明者】

【氏名】▲趙▼ ▲興▼

【審査官】永田 浩司

(56)【参考文献】

【文献】特開２０１９－０１３７２４（ＪＰ，Ａ）

【文献】特開２０１９－１３０２７５（ＪＰ，Ａ）

【文献】特開２０１１－０８７８４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３７０９５７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法であって、以下のステップ１～４を含み、
前記ステップ１では、脊椎ＭＲＩ映像を訓練済みの目標検出ネットワークに入力して、各椎骨の位置情報、及びＳ１であるかどうかの粗粒度タグを取得し、
前記ステップ２では、ステップ１において取得されたすべての椎骨及び位置決めされたＳ１位置を利用して、脊椎自体の生理学的構造情報を組み合わせて偽陽性の目標をフィルタリングして、各椎骨の属する細粒度タグを識別し、
前記ステップ２は以下のサブステップ（２．１）～（２．３）を含み、
前記サブステップ（２．１）では、検出されたＳ１を位置決めとする椎骨を採用して、各椎骨の中心の画像における高さを計算して、図心の高さに基づいて、検出された椎骨をソートし、
前記サブステップ（２．２）では、人体脊椎の生理学的構造情報に基づいて、下から上まで順に、検出された各々の椎骨に対応のＳ１、Ｌ５、Ｌ４、Ｌ３、Ｌ２、Ｌ１、Ｔ１２、Ｔ１１の細粒度タグを割り当て、
前記サブステップ（２．３）では、椎骨のアスペクト比及び上側エッジの高さを計算して、閾値要件を満たすかどうかによって偽陽性の目標をフィルタリングし、
前記ステップ３では、ステップ２において取得された椎骨及びその周囲の一部の領域を切り出して、訓練済みのキーポイント検出ネットワークに入力して、各々の椎骨の上下境界ＵＡ、ＵＭ、ＵＰ、ＬＡ、ＬＭ、ＬＰの合計６つのキーポイントの位置情報を検出し、
前記ステップ４では、訓練された分割ネットワークを利用してステップ２において取得された椎骨を分割してエッジ情報を取得し、且つステップ４において取得されたエッジ情報に基づいて、ステップ３において取得されたキーポイントの位置情報を補正して、最終的なキーポイントの予測結果を取得し、
前記ステップ４は以下のサブステップ（４．１）～（４．３）を含み、
前記サブステップ（４．１）では、椎骨エッジ分割ネットワークを構築し、椎骨エッジ分割ネットワークがダウンサンプリング部分とアップサンプリング部分とからなり、ダウンサンプリング部分の構造が完全接続層を除去したｒｅｓｎｅｔ５０であり、アップサンプリング部分が対応の４つの段階のアップサンプリング畳み込みブロックで構成され、アップサンプリング畳み込みブロックの構造がｕｐｓａｍｐｌｉｎｇ－＞ｃｏｎｖ－＞ｂｎ－＞ｒｅｌｕであり、
前記サブステップ（４．２）では、椎骨エッジ分割ネットワークを訓練し、先にキーポイント注釈情報を利用して粗粒度の分割データセットを作成して、椎骨エッジ分割ネットワークを事前訓練し、次に１つの正確な細粒度の分割データセットを構築して分割ネットワークを更に訓練し、
前記サブステップ（４．３）では、分割結果を取得した後、条件付確率場、及びエッジで画像勾配が比較的大きい特徴を利用して分割結果を更に補正して、より正確なエッジ分割情報を取得し、
前記サブステップ（４．３）は以下のサブステップ（４．３．１）～（４．３．２）を含み、
前記サブステップ（４．３．１）では、前記６つのキーポイントのうち上下に隣接する２つのキーポイントのリンクの延長線をそれぞれ描き、椎骨エッジ分割ネットワークを利用して椎骨エッジ情報を取得し、延長線と椎骨エッジの最も遠い箇所との交点を補正後のキーポイント座標とし、
前記サブステップ（４．３．２）では、ステップ２において取得されたタグを組み合わせて、最終的なキーポイントの予測結果を出力する
ことを特徴とする深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法。

【請求項2】

前記ステップ１において、椎骨の粗粒度タグはＳ１及びＮＳ１であり、Ｓ１とは尾骨１を指し、ＮＳ１とは尾骨１以外のすべての他の椎骨を指し、前記目標検出ネットワークはＹＯＬＯｖ３である
ことを特徴とする請求項１に記載の深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法。

【請求項3】

アスペクト比の閾値は１．６であり、上側エッジの高さの閾値は５である
ことを特徴とする請求項１に記載の深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はコンピュータビジョン、人工知能の分野に属し、特に深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法に関する。

【背景技術】

【0002】

人工知能技術は最近数年に医療分野において広く応用されており、その中のコンピュータビジョンは医療画像分析において高い応用潜在力がある。本発明は脊椎ＭＲＩ映像キーポイント検出に対するものであり、従来の脊椎ＭＲＩ映像のキーポイント検出の仕事は専門家が手動で注釈することに依存することが多い。手動注釈効率が低く、専門家の主観からの影響が比較的大きく、特に大規模データの処理・分析の場合に適用されない。現在、人工知能技術を利用して検出してみる方法は画像の下地層特徴を利用することが多く、例えば、論文（Ｅｂｒａｈｉｍｉ Ｓ，Ａｎｇｅｌｉｎｉ Ｅ，Ｇａｊｎｙ Ｌ，ｅｔ ａｌ．Ｌｕｍｂａｒ ｓｐｉｎｅ ｐｏｓｔｅｒｉｏｒ ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ ｉｎ Ｘ－ｒａｙｓ ｕｓｉｎｇ Ｈａａｒ－ｂａｓｅｄ ｆｅａｔｕｒｅｓ［Ｃ］／／２０１６ ＩＥＥＥ １３ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｓｙｍｐｏｓｉｕｍ ｏｎ ｂｉｏｍｅｄｉｃａｌ ｉｍａｇｉｎｇ （ＩＳＢＩ）．ＩＥＥＥ，２０１６：１８０－１８３．）においてＨａｒｒ特徴を利用して椎骨の角点を検出するが、このような方法は画像の下地層特徴のみを利用し、ロバスト性が比較的低く、一部の特定のシーンのみに適用され、複雑で変わりやすい医療シーンに適用されない。本発明は高品質のデータセットを作成し及び深層学習の優れた学習能力を利用してよりロバストで正確な脊椎ＭＲＩ映像キーポイント検出方法を実現する。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明は以下の技術案により実現される。深層学習に基づく脊椎ＭＲＩ映像キーポイント検出方法であって、 脊椎ＭＲＩ映像を訓練済みの目標検出ネットワークに入力して、各椎骨の位置情報、及びＳ１であるかどうかの粗粒度タグを取得するステップ１と、 ステップ１において取得されたすべての椎骨及び位置決めされたＳ１位置を利用して、脊椎自体の生理学的構造情報を組み合わせて偽陽性の検出結果をフィルタリングし及び各椎骨の属する細粒度タグを識別するステップ２と、 ステップ２において検出されて取得された椎骨及びその周囲の一部の領域を切り出して、訓練済みのキーポイント検出ネットワークに入力して各々の椎骨の上下境界ＵＡ、ＵＭ、ＵＰ、ＬＡ、ＬＭ、ＬＰの合計６つのキーポイントの位置情報を検出するステップ３と、 訓練された分割ネットワークを利用してステップ２において取得された椎骨を分割してエッジ情報を取得し、且つステップ４において取得されたエッジ情報に基づいてステップ３において取得されたキーポイントの位置情報を補正して、最終的なキーポイントの予測結果を取得するステップ４と、を含む。

【0004】

更に、前記ステップ１において、椎骨の粗粒度タグはＳ１及びＮＳ１であり（Ｓ１とは尾骨１を指し、ＮＳ１とは尾骨１以外のすべての他の椎骨を指す）、前記目標検出ネットワークはＹＯＬＯｖ３である。

【0005】

更に、前記ステップ２は、 検出されたＳ１を位置決めとする椎骨を採用して、各椎骨の中心の画像における高さを計算して図心の高さに基づいて、検出された椎骨をソートするサブステップ１）と、 人体脊椎の生理学的構造情報に基づいて、下から上まで順に、検出された各々の椎骨に対応のＳ１、Ｌ５、Ｌ４、Ｌ３、Ｌ２、Ｌ１、Ｔ１２、Ｔ１１等の細粒度タグを割り当てるサブステップ２）と、 椎骨のアスペクト比及び上側エッジの高さを計算して、閾値要件を満たすかどうかによってこの偽陽性の目標をフィルタリングするサブステップ３）と、により実現される。

【0006】

更に、アスペクト比の閾値は１．６であり、上側エッジの高さの閾値は５である。

【0007】

更に、前記ステップ４は具体的に、 椎骨エッジ分割ネットワークを構築し、椎骨エッジ分割ネットワークがダウンサンプリング部分とアップサンプリング部分とからなり、ダウンサンプリング部分の構造が完全接続層を除去したｒｅｓｎｅｔ５０であり、アップサンプリング部分が対応の４つの段階のアップサンプリング畳み込みブロックで構成され、アップサンプリング畳み込みブロックの構造がｕｐｓａｍｐｌｉｎｇ－＞ｃｏｎｖ－＞ｂｎ－＞ｒｅｌｕであるサブステップ（４．１）と、 椎骨エッジ分割ネットワークを訓練し、先にキーポイント注釈情報を利用して粗粒度の分割データセットを作成して椎骨エッジ分割ネットワークを事前訓練し、次に１つの正確な細粒度の分割データセットを構築して分割ネットワークを更に訓練するサブステップ（４．２）と、 分割結果を取得した後、ＣＲＦ、及びエッジで画像勾配が比較的大きい特徴を利用して分割結果を更に補正して、より正確なエッジ分割情報を取得するサブステップ（４．３）と、を含む。

【0008】

更に、前記サブステップ（４．３）は具体的に、 ２つのキーポイントのリンクの延長線を描き、椎骨エッジ分割ネットワークを利用して椎骨エッジ情報を取得し、延長線と椎骨エッジの最も遠い箇所との交点を補正後のキーポイント座標とするサブステップ（４．３．１）と、 ステップ２において取得されたタグを組み合わせて最終的なキーポイントの予測結果を取得するサブステップ（４．３．２）と、を含む。

【発明の効果】

【0009】

本発明の有益な効果は以下の通りである。本発明は深層学習技術を利用して脊椎ＭＲＩ映像のキーポイント検出を実現し、繁雑な手動注釈を回避し、医者の負担を軽減する。専門家による手動注釈に比べて、本発明は医者の主観的な要素からの影響を回避することができ、大規模のデータを大量処理することもでき、更なる脊椎ＭＲＩ映像分析にデータ基礎を提供し、本発明の方法は対話型の可視化ＭＲＩ脊椎画像キーポイント自動注釈ソフトウェアに開発されることができ、取得されたキーポイント検出結果から椎間板の高さ指数及び腰椎前弯角を計算することができる。

【図面の簡単な説明】

【0010】

【図1】図１は本発明に係る検出キーポイントの模式図である。

【図2】図２は本発明の全体フローチャートである。

【図3】図３は本発明に係るキーポイント矯正の模式図である。

【発明を実施するための形態】

【0011】

以下、図面に基づいて本発明を詳しく説明する。

【0012】

図１を参照し、本発明における訓練ットワークのデータセットはいずれも自己作成されたデータセットであり、脊椎キーポイントはいずれも医者・専門家で注釈されたものであり、検出されたキーポイントは各々の椎骨の上下境界ＵＡ、ＵＭ、ＵＰ、ＬＡ、ＬＭ、ＬＰの合計６つのキーポイントである。モデル訓練の基本プロセスは、 １、脊椎ＭＲＩ映像を収集して一部の映像を初期データセットとしてランダムに抽出し、 ２、データセットを注釈又は補正し、且つ注釈済みのデータセットを利用してモデルを訓練し、 ３、訓練済みのモデルを利用して新たに収集された脊椎ＭＲＩ映像を予測し、且つデータセットに追加し、 ４、モデルの精度が使用要件を満たすまで、ステップ２、３を繰り返す。

【0013】

図２において説明される目標検出ネットワークはＹＯＬＯｖ３であることが好ましく、本方法は訓練過程において椎骨がＳ１であるかどうかによって椎骨をＳ１及びＮＳ１（尾骨１及び非尾骨１）の２つの類別に分けて粗粒度タグ情報とする。検出ネットワークを訓練するデータセットはオリジナルのデータセットから構築されたものであり、各椎骨のキーポイント注釈に基づいて椎骨の包囲枠及び粗粒度類別タグを計算してＹＯＬＯｖ３ネットワークを訓練する。

【0014】

脊椎ＭＲＩ画像における椎骨の位置及びＳ１であるかどうかの粗粒度類別情報を取得した後、本方法は脊椎の構造情報を利用して偽陽性の予測結果をフィルタリングして各々の椎骨の属する類別を決定し、具体的な手順は、Ｓ１を位置決めとする椎骨を採用して、各椎骨の中心の画像における高さを計算して図心の高さに基づいて検出された椎骨をソートし、その後、人体脊椎の生理学的構造情報に基づいて、下から上まで順に検出された各々の椎骨に対応のＳ１、Ｌ５、Ｌ４、Ｌ３、Ｌ２、Ｌ１、Ｔ１２、Ｔ１１等のタグを割り当てる。ピクチャの最上方には椎骨が完全に撮影されていない場合がある恐れがあり、本方法は椎骨のアスペクト比を計算して中心の高さが閾値要件を満たすかどうかによってこのような目標をフィルタリングし、椎骨のアスペクト比が目標検出結果に基づいて計算されてもよい。

【0015】

図２において説明されるキーポイント検出ネットワークはＵ型ネットワーク又は積層砂漏れネットワーク（Ｓｔａｃｋｅｄ Ｈｏｕｒｇｌａｓｓ Ｎｅｔｗｏｒｋ）であることが好ましく、訓練データはオリジナルの画像から切り出した椎骨画像、及び周囲の一部の画像がキーポイントに対応するヒートマップであり、キーポイント検出ネットワークの訓練過程においてオンラインハードサンプルマイニング方法を利用する。

【0016】

オリジナルのデータ注釈過程において一定の誤差があり、該誤差に起因して注釈されたキーポイント位置での脊椎エッジに一定の誤差がある。本方法は脊椎のエッジ情報を利用して検出されたキーポイント結果を更に補正する。まず、本方法は椎骨エッジを分割するための１つのＵ型の深層畳み込みニューラルネットワークを椎骨エッジ分割ネットワークとして訓練し、該椎骨エッジ分割ネットワークがダウンサンプリング部分とアップサンプリング部分とからなる。ダウンサンプリング部分の構造は完全接続層を除去したＲｅｓｎｅｔ５０であり、アップサンプリング部分は対応の４つの段階のアップサンプリング畳み込みブロックで構成され、アップサンプリング畳み込みブロックの構造はｕｐｓａｍｐｌｉｎｇ－＞ｃｏｎｖ－＞ｂｎ－＞ｒｅｌｕである。椎骨エッジ分割ネットワークの精度を向上させるために、本方法はまずキーポイント注釈情報を利用して粗粒度の分割データセットを作成して椎骨エッジ分割ネットワークを事前訓練し、次に１つの正確な細粒度の分割データセットを構築して分割ネットワークを更に訓練する。本方法は更に条件付確率場ＣＲＦ及びエッジで画像勾配が比較的大きい特徴を利用して分割結果を更に補正して、より正確なエッジ分割情報を取得する。椎骨エッジ分割ネットワークを利用して椎骨エッジ情報を取得した後、本方法はエッジ情報を利用して検出されたキーポイントを補正し、図３に示すように、本方法はＵＡ－ＬＡリンク、ＵＭ－ＬＭリンク、ＵＰ－ＬＰリンクに沿って椎骨エッジに向かって延長線を描き、延長線と椎骨エッジの最も遠い箇所との交点を補正後のＵＡ、ＬＡ、ＵＭ、ＬＭ、ＵＰ、ＬＰ座標とする。データセット作成プロセスの効率を向上させ及び医療人が容易に使用できるようにするために、上記方法を対話型の可視化自動検出注釈ソフトウェアに開発する。

【0017】

ネットワーク訓練が完了した後に脊椎ＭＲＩ映像キーポイント検出プロセス全体に応用されることができ、本発明に説明される技術案に基づいて、本発明は脊椎ＭＲＩ映像キーポイント検出プロセスに対して以下のステップを行う必要がある。

【0018】

ステップ１では、脊椎ＭＲＩ映像を訓練済みの目標検出ネットワークＹＯＬＯｖ３に入力して（Ｒｅｄｍｏｎ Ｊ，Ｆａｒｈａｄｉ Ａ．Ｙｏｌｏｖ３：Ａｎ ｉｎｃｒｅｍｅｎｔａｌ ｉｍｐｒｏｖｅｍｅｎｔ［Ｊ］．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０４．０２７６７，２０１８．）、各椎骨の位置情報、及びＳ１であるかどうかの粗粒度タグを取得する。

【0019】

ステップ２では、ステップ１において取得されたすべての椎骨及び位置決めされたＳ１位置を利用して、脊椎自体の生理学的構造情報を組み合わせて偽陽性の検出結果をフィルタリングし及び各椎骨の属する細粒度タグを識別する。

【0020】

１）検出されたＳ１を位置決めとする椎骨を採用して、各椎骨の中心の画像における高さを計算して、図心の高さに基づいて、検出された椎骨をソートする。

【0021】

２）人体脊椎の生理学的構造情報に基づいて、下から上まで順に検出された各々の椎骨に、対応のＳ１、Ｌ５、Ｌ４、Ｌ３、Ｌ２、Ｌ１、Ｔ１２、Ｔ１１等の細粒度タグを割り当てる。

【0022】

３）椎骨のアスペクト比及び上側エッジの高さを計算して、閾値要件を満たすかどうかによってこの偽陽性の目標をフィルタリングする。アスペクト比の閾値は１．６であり、上側エッジの高さの閾値は５である。

【0023】

ステップ３では、ステップ２において検出されて取得された椎骨及びその周囲の一部の領域を切り出して、訓練済みのキーポイント検出ネットワークに入力して、各々の椎骨の上下境界ＵＡ、ＵＭ、ＵＰ、ＬＡ、ＬＭ、ＬＰの合計６つのキーポイントのヒートマップを検出する。ヒートマップにおけるキーポイントの座標を抽出することは、論文（Ｚｈａｎｇ Ｆ，Ｚｈｕ Ｘ，Ｄａｉ Ｈ，ｅｔ ａｌ．Ｄｉｓｔｒｉｂｕｔｉｏｎ－ａｗａｒｅ ｃｏｏｒｄｉｎａｔｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｈｕｍａｎ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０２０：７０９３－７１０２．）における方法を用いてもよいが、それに限らない。

【0024】

ステップ４では、訓練された分割ネットワークを利用してステップ２において取得された椎骨を分割してエッジ情報を取得し、且つステップ４において取得されたエッジ情報に基づいて、ステップ３において取得されたキーポイントの位置情報を補正する。

【0025】

１）椎骨エッジ分割ネットワークを利用して椎骨エッジ情報を取得する。

【0026】

２）本方法はＵＡ－ＬＡリンク、ＵＭ－ＬＭリンク、ＵＰ－ＬＰリンクに沿って椎骨エッジに向かって延長線を描き、延長線と椎骨エッジの最も遠い箇所との交点を補正後のＵＡ、ＬＡ、ＵＭ、、ＬＭ、ＵＰ、ＬＰ座標とする。

【0027】

３）ステップ２において取得されたタグを組み合わせて最終的なキーポイントの予測結果を出力する。

【0028】

上記プロセスに基づいて対話型の可視化ＭＲＩ脊椎画像キーポイント自動注釈ソフトウェアを開発し、且つキーポイント検出結果に基づいて椎間板の高さ指数及び腰椎前弯角を計算する。

【0029】

以上の説明は本発明の主な内容であり、本発明の明細書及び図面の内容を利用して行われる等価構造又は等価プロセス変換、又は他の関連技術分野に直接又は間接的に応用されるものは、いずれも同様に本発明の特許保護範囲内に含まれる。

【図1】

【図2】

【図3】