特許 7221421 ＣＴ画像の椎骨位置決め方法、装置、機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-03

(45)【発行日】2023-02-13

(54)【発明の名称】ＣＴ画像の椎骨位置決め方法、装置、機器及び媒体

(51)【国際特許分類】

   A61B 6/03 20060101AFI20230206BHJP

   G06T 7/00 20170101ALI20230206BHJP

【ＦＩ】

A61B6/03 360J

G06T7/00 612

G06T7/00 350C

【請求項の数】 13

(21)【出願番号】P 2021568943

(86)(22)【出願日】2020-10-30

(65)【公表番号】

(43)【公表日】2022-07-25

(86)【国際出願番号】 CN2020125002

(87)【国際公開番号】W WO2021189843

(87)【国際公開日】2021-09-30

【審査請求日】2021-11-18

(31)【優先権主張番号】202010998423.2

(32)【優先日】2020-09-22

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517406065

【氏名又は名称】平安科技（深▲せん▼）有限公司

【氏名又は名称原語表記】ＰＩＮＧ ＡＮ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】２３Ｆ，Ｐｉｎｇ’ａｎ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ，Ｎｏ．５０３３ Ｙｉｔｉａｎ Ｒｏａｄ，Ｆｕ’ａｎ Ｃｏｍｍｕｎｉｔｙ ｏｆ Ｆｕｔｉａｎ Ｓｔｒｅｅｔ，Ｆｕｔｉａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０００ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】曽 嬋

(72)【発明者】

【氏名】李 葛

(72)【発明者】

【氏名】成 冠挙

(72)【発明者】

【氏名】高 鵬

(72)【発明者】

【氏名】謝 国▲とん▼

【審査官】遠藤 直恵

(56)【参考文献】

【文献】Christian Payer et al.，Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net，In Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications，2020年，124-133，https://pdfs.semanticscholar.org/6a14/659f5452030099760a64ddbabe6ebe855be6.pdf

【文献】Christian Payer et al.，Vertebrae Localization and Segmentation with SpatialConfiguraion-Net and U-Net，2019年，1-4，https://cpb-ap-se2.wpmucdn.com/blogs.auckland.ac.nz/dist/1/670/files/2019/11/verse2019ExtAbstract.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

ＣＴ画像の椎骨位置決め方法であって、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含み、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む、
ＣＴ画像の椎骨位置決め方法。

【請求項2】

前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する前記ステップは、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する、
請求項１に記載の方法。

【請求項3】

椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む、
請求項２に記載の方法。

【請求項4】

前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む、
請求項３に記載の方法。

【請求項5】

椎骨ＣＴ画像データを前処理する前記ステップは、
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む、
請求項１に記載の方法。

【請求項6】

前記３Ｄヒートマップの構築式は、

であり、
ここで、はハイパーパラメータであり、は学習可能パラメータであり、はヒートマップにおけるｉ番目の特徴点に対応するチャネルの画素値を示し、ｘは画素位置を示し、ｘ’はキーポイント位置を示し、ｄはヒートマップ次元を示す、
請求項１に記載の方法。

【請求項7】

コンピュータ機器であって、メモリと、プロセッサと、を含み、
前記メモリは、コンピュータプログラムを記憶するために用いられ、
前記プロセッサは、前記コンピュータプログラムを実行し、且つ前記コンピュータプログラムを実行するときに、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を実現するために用いられ、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む、
コンピュータ機器。

【請求項8】

前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する前記ステップは、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する、
請求項７に記載のコンピュータ機器。

【請求項9】

椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む、
請求項８に記載のコンピュータ機器。

【請求項10】

前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定する前記ステップは、
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む、
請求項８に記載のコンピュータ機器。

【請求項11】

椎骨ＣＴ画像データを前処理する前記ステップは、
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む、
請求項７に記載のコンピュータ機器。

【請求項12】

前記３Ｄヒートマップの構築式は、

であり、
ここで、はハイパーパラメータであり、は学習可能パラメータであり、はヒートマップにおけるｉ番目の特徴点に対応するチャネルの画素値を示し、ｘは画素位置を示し、ｘ’はキーポイント位置を示し、ｄはヒートマップ次元を示す、
請求項７に記載のコンピュータ機器。

【請求項13】

コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによって実行されるときに、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を前記プロセッサに実現させ、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む、
コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０２０年９月２２日に中国国家知識産権局に提出された、出願番号ＣＮ２０２０１０９９８４２３２、名称が「ＣＴ画像の椎骨位置決め方法、装置、機器及び媒体」の中国特許出願の優先権を主張し、その内容の全てが参照によって本願に組み込まれる。

【0002】

本願は、画像処理分野に関し、特に、ＣＴ画像の椎骨位置決め方法、装置、コンピュータ機器及び媒体に関する。

【背景技術】

【0003】

脊柱は、筋骨格系の重要な構成部分であり、身体及び各器官の構造を維持し、支持しており、生体力学的変化は脊椎の病変又は湾曲を引き起こす可能性があり、予防又は有効な治療のための早期検出がない場合、中枢神経の障害に影響を及ぼし、慢性疾患を引き起こす。現在、コンピュータ断層撮影（ＣＴ画像）は、その高コントラストの骨軟組織のため、脊柱曲線を研究し、脊柱奇形を認識する好ましい方法である。

【0004】

椎骨周囲の複雑な組織構造、金属インプラント、走査ノイズなどの問題が存在するため、放射線科技師の診療作業は煩雑であり時間がかかるため、正確で自動的な椎骨位置決めが必要となる。現在の既存の椎骨位置決め方法の多くはＣＴ画像中の椎骨の数が決定され、輪郭がはっきりしていることを要求し、一部の脊柱分節（頚椎、腰椎など）に対して、脊柱全体に対して椎骨位置決めを行うことができない。

【0005】

発明者らは、従来の方法で椎骨位置決めを行うには、椎骨の形態などに応じて複雑な特徴を人工的に設計する必要があり、多くの異常病理現象に適用することが困難であることを認識した。また、椎骨間の相関性が強く、後部の形態が複雑で、走査装置の違い及び走査にノイズが存在するなどの限界により、一般的な畳み込みニューラルネットワーク方法ではＣＴ画像の有効な特徴を抽出することが困難であり、一般にトレーニングには大きなデータ量が必要で、正確な椎骨位置決めは実現できない。

【発明の概要】

【0006】

本願は、ＣＴ画像の椎骨位置決め方法を提供し、前記方法は、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む。

【0007】

本願は、ＣＴ画像の椎骨位置決め装置をさらに提供し、前記装置は、
椎骨ＣＴ画像データを前処理するための前処理モジュールと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るためのトレーニングモジュールと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するための回帰モジュールと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するための位置決めモジュールと、を含む。

【0008】

本願は、コンピュータ機器をさらに提供し、前記コンピュータ機器は、メモリと、プロセッサと、を含み、前記メモリは、コンピュータプログラムを記憶するために用いられ、前記プロセッサは、前記コンピュータプログラムを実行し、且つ前記コンピュータプログラムを実行するときに上述したＣＴ画像の椎骨位置決め方法を実現するために用いられる。

【0009】

本願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによって実行されると、上述したＣＴ画像の椎骨位置決め方法を前記プロセッサに実現させる。

【図面の簡単な説明】

【0010】

本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面について簡単に説明する。明らかに、以下の説明における図面は本願の実施例の一部であり、当業者にとって、創造的な労働を行うことなく、これらの図面に基づいて他の図面を得ることができる。

【図1】本願の実施例によるＣＴ画像の椎骨位置決め方法の概略フローチャートである。

【図2】本願の実施例によるＣＴ画像の椎骨位置決め方法の概略構造図である。

【図3】本願の実施例による椎骨ＣＴ画像データに対応する原画像及び前処理後の比較図である。

【図4】本願の実施例による高解像度の畳み込みニューラルネットワークの概略構造図である。

【図5】本願の実施例による６個の３Ｄヒートマップに対応する画像の決定である。

【図6】本願の実施例による別のＣＴ画像の椎骨位置決め装置の概略ブロック図である。

【図7】本願の実施例によるコンピュータ機器の構造を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本願の実施例における図面を参照して、本願の実施例における技術的解決手段を明確且つ完全に説明し、明らかに、説明された実施例は本願の実施例の一部であり、全ての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働を行わずに得られる他の全ての実施例は、本願の保護範囲に属する。

【0012】

図面に示されるフローチャートは単なる例示であり、全ての内容及び操作／ステップを含む必要はなく、記載された順序で実行される必要もない。例えば、いくつかの操作／ステップは、分解、組み合わせ、又は部分的に結合することもできるので、実際に実行される順序は、実際の状況に応じて変わる可能性がある。

【0013】

本願の明細書で使用される用語は、特定の実施例を説明するためだけのものであり、本願を限定することを意図していないことを理解されたい。本願の明細書及び添付の特許請求の範囲において使用されるように、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈が明らかにそうでないことを示さない限り、複数形を含むことが意図される。

【0014】

本願の明細書及び添付の特許請求の範囲において使用される用語「及び／又は」は、関連して列挙された項目のうちの１つ又は複数の任意の組み合わせ、ならびに可能な全ての組み合わせを指し、これらの組み合わせを含むことも理解されたい。

【0015】

本願の実施例は、ＣＴ画像の椎骨位置決め方法、装置、コンピュータ機器及び記憶媒体を提供する。ここで、当該ＣＴ画像の椎骨位置決め方法は、走査装置の違いと走査ノイズによる影響を効果的に取り除き、複雑な形態の椎骨に対しても正確な位置決めを実現できる。

【0016】

以下、図面を参照して、本願のいくつかの実施形態について詳細に説明する。以下に説明する実施例及び実施例の特徴は、矛盾なく組み合わせることができる。

【0017】

図１～２を参照すると、図１は、本願の実施例によるＣＴ画像の椎骨位置決め方法の概略フローチャートであり、図２は、本願の実施例によるＣＴ画像の椎骨位置決め方法の概略構造図である。図１に示すように、当該ＣＴ画像の椎骨位置決め方法は、具体的には、ステップＳ１０１～ステップＳ１０４を含む。

【0018】

Ｓ１０１、椎骨ＣＴ画像データを前処理する。

【0019】

椎骨ＣＴ画像データを得た後、まず、椎骨ＣＴ画像データを前処理し、椎骨ＣＴ画像データセットの方向を一様に変化させ、具体的には、ＳｉｍｐｌｅＩＴＫツールキットを採用してＣＴ画像に対して平行移動、拡大縮小、回転及び弾性変形などの操作を行い、トレーニングサンプルの多様性を増加させる。

【0020】

ＳｉｍｐｌｅＩＴＫは、医学映像を専門に扱うソフトウェアであり、ＳｉｍｐｌｅＩＴＫでは、画像の概念がコンピュータビジョンでよく使われるＲＧＢ画像と大きく異なり、後者はただの多次元行列で数学的な概念であるが、ＳｉｍｐｌｅＩＴＫでは、画像が物理的実体であり、画像における各画素が物理的空間上の点であり、画素値だけでなく、座標、間隔、方向などの概念がある。

【0021】

図３に示すように、図３は、本願の実施例による椎骨ＣＴ画像データに対応する原画像及び前処理後の比較図であり、ＳｉｍｐｌｅＩＴＫによって、椎骨ＣＴ画像データを前処理し、即ち空間平行移動、拡大縮小、回転及び弾性変形などのデータ増強操作処理を行い、前処理した椎骨ＣＴ画像データをトレーニングサンプルとするとき、モデルパラメータが少なく、サンプルが豊富で多様性があるという特徴を有する。

【0022】

Ｓ１０２、前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る。

【0023】

具体的には、前処理した椎骨ＣＴ画像データを得た後、前処理した椎骨ＣＴ画像データを畳み込みニューラルネットワークに入力してトレーニングし、当該畳み込みニューラルネットワークが高解像度の畳み込みニューラルネットワークであってもよく、したがって、前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップは、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含んでもよい。

【0024】

いくつかの実施形態において、椎骨位置決め問題を意味分割問題に変換し、２５個の３Ｄヒートマップを回帰する。意味分割によって、脊柱全体を２５個の椎骨に分割し、２５個の３Ｄヒートマップを得て、脊柱全体に２５個の椎骨が対応し、２５個のそれぞれのヒートマップの画素値の最高点が椎骨重心を反映し、これにより椎骨を位置決めする。２５個の３Ｄヒートマップを回帰する方式を採用することで、畳み込みニューラルネットワークのデータへの依存を減らすことができ、同時に、モデルパラメータがより小さくなる。

【0025】

理解できるように、本願は、高解像度の畳み込みニューラルネットワークを採用し、図４に示すように、図４は、本願の実施例による高解像度の畳み込みニューラルネットワーク構造であり、前記前処理した椎骨ＣＴ画像データをニューラルネットワークモデルに入力し、異なる解像度の特徴マップを得る。

【0026】

解像度を下げた後に解像度を順次上げる従来技術のネットワーク構造とは異なり、前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得て、２５個の３Ｄヒートマップにおいて、特徴点に近いほど、画素値が大きく、逆に小さく、特徴点はヒートマップにおいて個々の小さなライトボードに類似し、具体的には、３Ｄヒートマップの構築式は、

【0027】

当該高解像度の畳み込みニューラルネットワークは、ネットワーク構造全体で高解像度特徴づけを保持し、モデル性能を向上させることができ、当該高解像度の畳み込みニューラルネットワークによる前処理した椎骨ＣＴ画像データのトレーニングにより、得られたニューラルネットワークモデルは高いロバスト性及び汎化性を有し、且つオーバーフィッティングを回避し、且つ、高解像度の畳み込みニューラルネットワークを構築し、任意の脊柱セグメント椎骨の高自動化位置決めを実現でき、椎骨の形態に応じて煩雑な特徴抽出器を人工的に設計する必要がない。

【0028】

なお、上記ネットワークタグのプライバシー及び安全性をさらに保証するために、上記ネットワークタグは、ブロックチェーンのノードに記憶されてもよい。

【0029】

Ｓ１０３、前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する。

【0030】

いくつかの実施形態において、前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップは、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含んでもよく、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する。

【0031】

具体的には、２５個の３Ｄヒートマップを得た後、２５個の３Ｄヒートマップは脊柱全体の全ての椎骨に対応するため、カテゴリ数が多く、単独で高解像度の畳み込みニューラルネットワークトレーニングに基づくと椎骨カテゴリの判断を誤る可能性があり、脊柱全体では、第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎の６個のキーポイントの顕著性が最も強く、より容易に認識される。したがって、Ｃｈｒｉｓｔｉａｎ Ｐａｙｅｒ論文の思想を踏まえ、前処理した椎骨ＣＴ画像データ集合を入力とし、椎骨重心キーポイント位置をタグとし、ネットワーク構造がＵ型畳み込みニューラルネットワーク（Ｕ－Ｎｅｔ）と空間情報抽出ネットワーク（Ｓｐａｔｉａｌ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｎｅｔ）とを組み合わせる方式を採用し、前記２５個のキーポイントヒートマップ回帰結果からこれら６個の３Ｄヒートマップ情報を回帰して回帰結果を得ることにより、６個の目標位置に対応する３Ｄヒートマップを決定する。

【0032】

図５に示すように、図５は、本願の実施例による６個の３Ｄヒートマップに対応する画像の決定であり、２５個の椎骨位置決めに依存し、６個の３Ｄヒートマップを決定するネットワーク構造よりも収束しやすく、位置決め精度がより高い。

【0033】

Ｓ１０４、前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する。

【0034】

いくつかの実施形態において、６個のキーポイントに対応する３Ｄヒートマップを決定した後、前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップは、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含んでもよい。

【0035】

ここで、６個の目標位置に対応する３Ｄヒートマップを決定した後、前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とし、そして、６個のキーポイントの間に通常予め設定された間隔範囲があり、例えば第１頚椎、第７頚椎の間が予め設定された区間範囲内にあるため、椎骨間の予め設定された間隔範囲を規定し、さらに高解像度の畳み込みニューラルネットワークの出力結果と組み合わせ、出力結果が前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとすることであり、椎骨の正確な位置決めを実現する。

【0036】

高解像度の畳み込みニューラルネットワークとキーポイント位置決めとを組み合わせることにより、後処理方式を最適化し、椎骨の数が多すぎるために発生する可能性のあるカテゴリ誤りの問題を解決し、位置決め結果をより正確にする。

【0037】

上記実施例によるＣＴ画像の椎骨位置決め方法は、椎骨ＣＴ画像データを前処理した後、前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、採用したニューラルネットワークモデルが高解像度畳み込みニューラルネットワークモデルであってもよく、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得て、そして、キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰し、前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、当該タグが高いロバスト性及び汎化性の特徴を有し、且つ３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する。高解像度畳み込みニューラルネットワークとキーポイント位置決めとの組み合わせにより、椎骨の数が多すぎるために発生する可能性のあるカテゴリ誤りの問題を解決し、位置決め結果をより正確にする。本願のネットワークモデルが容易にトレーニングされ、畳み込みニューラルネットワークモデルが高いロバスト性及び汎化性を有し、大量の輪郭のはっきりしたデータセットに依存せずにトレーニングし、且つ走査装置の違いと走査ノイズによる影響を効果的に取り除き、複雑な形態の椎骨に対しても正確な位置決めを実現できる。

【0038】

図６を参照すると、図６は、本願の実施例によるＣＴ画像の椎骨位置決め装置の概略ブロック図であり、当該ＣＴ画像の椎骨位置決め装置は、前述したＣＴ画像の椎骨位置決め方法を実行するために用いられる。ここで、当該ＣＴ画像の椎骨位置決め装置は、端末又はサーバに配置されてもよい。

【0039】

図６に示すように、当該ＣＴ画像の椎骨位置決め装置４００は、
椎骨ＣＴ画像データを前処理するための前処理モジュール４０１と、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るためのトレーニングモジュール４０２と、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するための回帰モジュール４０３と、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するための位置決めモジュール４０４と、を含む。

【0040】

なお、当業者は、説明の便宜及び簡潔化のために、上述した装置及び各モジュールの具体的な動作過程は、前述した方法の実施例における対応過程を参照することができることを明確に理解することができ、ここでは説明を省略する。

【0041】

上述した装置は、図７に示すようなコンピュータ機器で実行され得るコンピュータプログラムの形態で実現することができる。

【0042】

図７を参照すると、図７は、本願の実施例によるコンピュータ機器の構造を示すブロック図である。当該コンピュータ機器は、サーバであってもよい。

【0043】

図７を参照すると、当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインタフェースを含み、ここで、メモリは、揮発性であってもよいし、不揮発性であってもよい。

【0044】

不揮発性記憶媒体は、オペレーティングシステム及びコンピュータプログラムを記憶することができる。当該コンピュータプログラムは、プログラムコマンドを含み、当該プログラムコマンドが実行されると、ＣＴ画像の椎骨位置決め方法のいずれかをプロセッサに実行させることができる。

【0045】

プロセッサは、コンピュータ機器全体の動作をサポートする計算及び制御機能を提供するために用いられる。

【0046】

内部メモリは、不揮発性記憶媒体におけるコンピュータプログラムの実行のための環境を提供し、当該コンピュータプログラムがプロセッサによって実行されると、ＣＴ画像の椎骨位置決め方法のいずれかをプロセッサに実行させることができる。

【0047】

当該ネットワークインタフェースは、割り当てられたタスクの送信などのネットワーク通信に用いられる。図７に示す構造は、本願の解決手段に関連する部分的な構造のブロック図にすぎず、本願の解決手段が適用されるコンピュータ機器を限定するものではなく、具体的なコンピュータ機器は、図に示されているよりも多くの又は少ない構成要素を含んでもよく、一部の構成要素を組み合わせてもよく、又は異なる構成要素配置を有してもよいことを当業者は理解するであろう。

【0048】

プロセッサは中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、当該プロセッサは、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよいことが理解されるべきである。ここで、汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の従来のプロセッサなどであってもよい。

【0049】

ここで、一実施例において、前記プロセッサは、メモリに記憶されているコンピュータプログラムを実行し、
椎骨ＣＴ画像データを前処理するステップと、
前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得るステップと、
前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰するステップと、
前記椎骨重心キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を実現するために用いられる。

【0050】

いくつかの実施例において、前記プロセッサは、前記前処理した椎骨ＣＴ画像データを予めトレーニングしたニューラルネットワークモデルに入力し、前処理した椎骨ＣＴ画像データに対応するキーポイントヒートマップ回帰結果を得る前記ステップを実現し、
前記前処理した椎骨ＣＴ画像データを高解像度ニューラルネットワークモデルに入力するステップであって、前記高解像度ニューラルネットワークモデルが並列に処理された異なる解像度の特徴マップを含むステップと、
前記異なる解像度の特徴マップによって前記前処理した椎骨ＣＴ画像データに対してインタラクション処理を行い、且つ２５個の３Ｄヒートマップをネットワークタグとし、脊柱に対応する２５個のキーポイントヒートマップ回帰結果を得るステップと、を含む。

【0051】

いくつかの実施例において、前記プロセッサは、前記キーポイントヒートマップ回帰結果及び前記前処理した椎骨ＣＴ画像データに基づいて椎骨重心キーポイント位置に対応する３Ｄヒートマップを回帰する前記ステップを実現し、
Ｕ型畳み込みニューラルネットワークと空間情報抽出ネットワークとを組み合わせる方式を採用して、前記前処理した椎骨ＣＴ画像データを入力とし、椎骨重心キーポイント位置をタグとし、前記２５個のキーポイントヒートマップ回帰結果から６個の目標位置に対応する３Ｄヒートマップを決定するステップを含み、
ここで、前記６個の目標位置に対応する３Ｄヒートマップは第１頚椎、第７頚椎、第１腰椎、第５腰椎、第１胸椎、第１２胸椎を含み、それぞれキーポイント位置に対応する３Ｄヒートマップに対応する。

【0052】

いくつかの実施例において、前記プロセッサは、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了する前記ステップを実現し、
前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定するステップと、
椎骨間の予め設定された間隔範囲を規定することにより、前記椎骨キーポイント位置に対応する３Ｄヒートマップをタグとし、３Ｄヒートマップ情報をネットワーク回帰し、椎骨位置決めを完了するステップと、を含む。

【0053】

いくつかの実施例において、前記プロセッサは、前記６個の目標位置に対応する３Ｄヒートマップに対応するキーポイント位置を決定する前記ステップを実現し、
前記６個の目標位置に対応する３Ｄヒートマップのそれぞれに対応する最大値を、キーポイント位置とするステップを含む。

【0054】

いくつかの実施例において、前記プロセッサはさらに、椎骨ＣＴ画像データを前処理する前記ステップを実現し、
ＳｉｍｐｌｅＩＴＫツールキットを採用して前記椎骨ＣＴ画像データに対してデータ増強操作処理を行い、トレーニングサンプル多様性の椎骨ＣＴ画像データを得るステップを含む。

【0055】

本願の実施例は、コンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ読み取り可能な記憶媒体は、揮発性であってもよいし、不揮発性であってもよく、前記コンピュータ読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムにプログラムコマンドが含まれ、前記プロセッサは、前記プログラムコマンドを実行し、本願の実施例によるＣＴ画像の椎骨位置決め方法のいずれかを実現する

【0056】

ここで、前記コンピュータ読み取り可能な記憶媒体は、前述した実施例に記載のコンピュータ機器の内部記憶ユニット、例えば前記コンピュータ機器のハードディスク又はメモリであってもよい。前記コンピュータ読み取り可能な記憶媒体は、前記コンピュータ機器の外部記憶機器、例えば前記コンピュータ機器に備えられたプラグインハードディスク、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標） Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）などであってもよい。

【0057】

さらに、前記コンピュータ読み取り可能な記憶媒体は、主に、記憶プログラム領域と、記憶データ領域とを含むことができ、ここで、記憶プログラム領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションなどを記憶することができ、記憶データ領域は、ブロックチェーンノードの使用に応じて作成されたデータなどを記憶することができる。

【0058】

本発明でいうブロックチェーンとは、分散型データストレージ、ポイントツーポイント伝送、コンセンサスメカニズム、暗号化アルゴリズムなどのコンピュータ技術の新しい応用モードである。ブロックチェーン（Ｂｌｏｃｋｃｈａｉｎ）は、本質的に非中心化データベースであり、暗号学的方法を用いて関連して生成された一連のデータブロックであり、各データブロックは情報の有効性（偽造防止）を検証するため、及び次のブロックを生成するためのネットワークトランザクションのバッチに関する情報を含む。ブロックチェーンは、ブロックチェーン下層プラットフォーム、プラットフォーム製品サービス層、及びアプリケーションサービス層などを含んでもよい。

【0059】

以上、本願の具体的な実施形態について説明したが、本願の保護範囲はこれに限定されるものではなく、当業者であれば、本願において開示された技術的範囲内において、様々な等価な修正又は置換が容易に考えられ、これらの修正又は置換は、本願の保護範囲内に含まれるべきである。したがって、本願の保護範囲は、特許請求の範囲の保護範囲に準ずるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】