特許 7121191 構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル

(51)【国際特許分類】

   A61B 6/03 20060101AFI20220809BHJP

【ＦＩ】

A61B6/03 360J

【請求項の数】 12

(21)【出願番号】P 2021513729

(86)(22)【出願日】2020-04-10

(86)【国際出願番号】 JP2020016196

(87)【国際公開番号】W WO2020209383

(87)【国際公開日】2020-10-15

【審査請求日】2021-10-11

(31)【優先権主張番号】P 2019075460

(32)【優先日】2019-04-11

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】升澤 尚人

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特開２０１６－１６８１６６（ＪＰ，Ａ）

【文献】特開平０４－３０４５８０（ＪＰ，Ａ）

【文献】特表２００９－５３１１２９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／００６４２９１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５、６／００－６／１４

Ｇ０１Ｔ １／１６１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数の構造物を含む画像から、前記複数の構造物が分離された分離済み画像を生成する分離部を備えた構造物分離装置であって、
前記分離部は、
前記複数の構造物の少なくとも一部に関する対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力し、
前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力し、
前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された前記分離済み画像を生成する構造物分離装置。

【請求項2】

前記分離部は、前記複数の構造物の少なくとも一部を含む対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力し、
前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力し、
前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された前記分離済み画像を生成する学習がなされてなる学習済みモデルを有する請求項１に記載の構造物分離装置。

【請求項3】

前記分離された複数の構造物に対して、分離された順にラベリングを行うラベリング部をさらに備えた請求項１または２に記載の構造物分離装置。

【請求項4】

前記ラベリングされた構造物を含む前記画像または前記対象画像を表示部に表示する表示制御部をさらに備えた請求項３に記載の構造物分離装置。

【請求項5】

前記構造物は椎骨である請求項１から４のいずれか１項に記載の構造物分離装置。

【請求項6】

複数の前記椎骨を、頸椎、胸椎および腰椎のそれぞれに分類して、頸椎、胸椎および腰椎のうちの少なくとも１つに関する前記対象画像を生成する対象画像生成部をさらに備えた請求項５に記載の構造物分離装置。

【請求項7】

複数の構造物の少なくとも一部を含む対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力し、前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力し、前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された分離済み画像を生成する学習済みモデルを生成する学習装置であって、
複数の構造物を含む第１の画像、前記第１の画像から０以上の前記構造物が抽出された第２の画像、および前記第２の画像よりも１つ多い前記構造物が抽出された第３の画像を含む多数の教師データを用いてニューラルネットワークを学習することにより前記学習済みモデルを生成する学習部を備えた学習装置。

【請求項8】

複数の構造物を含む第１の画像、前記第１の画像から０以上の前記構造物が抽出された第２の画像、および前記第２の画像よりも１つ多い前記構造物が抽出された第３の画像を含む多数の教師データを用いてニューラルネットワークを学習することにより生成された学習済みモデルであって、
複数の構造物の少なくとも一部を含む対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力する手順と、
前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力する手順と、
前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された分離済み画像を生成する手順とをコンピュータに実行させる学習済みモデル。

【請求項9】

複数の構造物を含む画像から、前記複数の構造物が分離された分離済み画像を生成する構造物分離方法であって、
前記複数の構造物の少なくとも一部に関する対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力し、
前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力し、
前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された前記分離済み画像を生成する構造物分離方法。

【請求項10】

複数の構造物の少なくとも一部を含む対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力し、前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力し、前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された分離済み画像を生成する学習済みモデルを生成する学習方法であって、
複数の構造物を含む第１の画像、前記第１の画像から０以上の前記構造物が抽出された第２の画像、および前記第２の画像よりも１つ多い前記構造物が抽出された第３の画像を含む多数の教師データを用いてニューラルネットワークを学習することにより前記学習済みモデルを生成する学習方法。

【請求項11】

複数の構造物を含む画像から、前記複数の構造物が分離された分離済み画像を生成する処理をコンピュータに実行させる構造物分離プログラムであって、
前記複数の構造物の少なくとも一部に関する対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力する手順と、
前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力する手順と、
前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された前記分離済み画像を生成する手順とをコンピュータに実行させる構造物分離プログラム。

【請求項12】

複数の構造物の少なくとも一部を含む対象画像と、前記構造物を含まない未分離画像とを含む画像ペアの入力により、前記対象画像から１つの前記構造物が抽出されてなる分離画像を出力し、前記対象画像と前記分離画像とを含む新たな画像ペアの入力により、前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像を出力し、前記対象画像と前記新たな分離画像とを前記新たな画像ペアとする入力、および前記対象画像からさらに１つの前記構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、前記対象画像に含まれる前記複数の構造物が分離された分離済み画像を生成する学習済みモデルを生成する手順をコンピュータに実行させる学習プログラムであって、
複数の構造物を含む第１の画像、前記第１の画像から０以上の前記構造物が抽出された第２の画像、および前記第２の画像よりも１つ多い前記構造物が抽出された第３の画像を含む多数の教師データを用いてニューラルネットワークを学習することにより前記学習済みモデルを生成する手順をコンピュータに実行させる学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像に含まれる複数の構造物を個々の構造物に分離する構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデルに関するものである。

【背景技術】

【0002】

脊髄は、脳と身体の各部を行き来するメッセージを伝えるための役割を果たしており、非常に重要な部位である。このため、脊髄は複数の椎骨からなる脊椎により保護されている。一方、このような脊椎を構成する椎骨における、損傷および癌転移等の病変の有無を、被写体をスキャンして得られた断層画像を読影して確認することが行われている。読影の際は、損傷および病変のある椎骨を特定するために、各椎骨を識別する必要がある。このため、被写体の断層画像を取得し、取得した断層画像に基づいて複数の椎骨をそれぞれ分離かつ認識し、各椎骨にラベルを付与する画像処理のアルゴリズムが種々提案されている。

【0003】

例えば特開２０１６－１６８１６６号公報には、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（magnetic resonance imaging）画像等の断層画像から得られた医用画像を対象として、椎骨および椎間板を抽出するように学習がなされた判別器を用いて、医用画像から椎骨および椎間板を抽出し、抽出した椎骨の特徴量および椎間板の特徴量を用いて、椎骨を特定する手法が提案されている。

【0004】

また、Lessmannらの文献「Iterative fully convolutional neural networks for automatic vertebra segmentation and identification、Nikolas Lessmann et.al.、Medical Image Analysis 53, pp. 142-155, 2019」においては、椎骨を含む医用画像に対して、椎骨を抽出するように学習がなされたパッチを適用し、１つの椎骨を抽出すると、医用画像上においてパッチを移動させて、順次椎骨を抽出する手法が提案されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特開２０１６－１６８１６６号公報に記載された手法では、個々の椎骨をラベリングすることは困難である。また、Lessmannらの文献に記載された手法は、予め定められたサイズのパッチを用いている。このため、抽出の対象となる医用画像に含まれる椎骨のサイズが異なると、すべての椎骨を順序よく抽出してラベリングすることができない。

【0006】

本開示は上記事情に鑑みなされたものであり、画像に含まれる椎骨等の複数の構造物を精度よく分離できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本開示による構造物分離装置は、複数の構造物を含む画像から、複数の構造物が分離された分離済み画像を生成する分離部を備えた構造物分離装置であって、
分離部は、
複数の構造物の少なくとも一部に関する対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する。

【0008】

なお、本開示による構造物分離装置においては、分離部は、複数の構造物の少なくとも一部を含む対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する学習がなされてなる学習済みモデルを有するものであってもよい。

【0009】

また、本開示による構造物分離装置においては、分離された複数の構造物に対して、分離された順にラベリングを行うラベリング部をさらに備えるものであってもよい。

【0010】

また、本開示による構造物分離装置においては、ラベリングされた構造物を含む画像または対象画像を表示部に表示する表示制御部をさらに備えるものであってもよい。

【0011】

また、本開示による構造物分離装置においては、構造物は椎骨であってもよい。

【0012】

また、本開示による構造物分離装置においては、複数の椎骨を、頸椎、胸椎および腰椎のそれぞれに分類して、頸椎、胸椎および腰椎のうちの少なくとも１つに関する対象画像を生成する対象画像生成部をさらに備えるものであってもよい。

【0013】

本開示による学習装置は、複数の構造物の少なくとも一部を含む対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する学習済みモデルを生成する。

【0014】

本開示による学習済みモデルは、複数の構造物の少なくとも一部を含む対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する。

【0015】

本開示による構造物分離方法は、複数の構造物を含む画像から、複数の構造物が分離された分離済み画像を生成する構造物分離方法であって、
複数の構造物の少なくとも一部に関する対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する。

【0016】

本開示による学習方法は、複数の構造物の少なくとも一部を含む対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する学習済みモデルを生成する。

【0017】

なお、本開示による構造物分離方法および学習方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【0018】

本開示による他の構造物分離装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
複数の構造物を含む画像から、複数の構造物が分離された分離済み画像を生成する処理であって、
複数の構造物の少なくとも一部に関する対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する処理を実行する。

【0019】

本開示による他の学習装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
複数の構造物の少なくとも一部を含む対象画像と、構造物を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの構造物が抽出されてなる分離画像を出力し、
対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの構造物が抽出されてなる新たな分離画像を出力し、
対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの構造物が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像に含まれる複数の構造物が分離された分離済み画像を生成する学習済みモデルを生成する処理を実行する。

【発明の効果】

【0020】

本開示によれば、画像に含まれる椎骨等の複数の構造物を精度よく分離できる。

【図面の簡単な説明】

【0021】

【図1】本開示の実施形態による構造物分離装置を適用した、診断支援システムの概要を示すハードウェア構成図

【図2】コンピュータに構造物分離プログラムをインストールすることにより実現される構造物分離装置の概略構成を示す図

【図3】椎骨の標準的な配列を模式的に表す図

【図4】学習済みモデルの構成を模式的に示す図

【図5】本実施形態において行われる分離済み画像の生成のための処理を模式的に示す図

【図6】ラベリングされた対象画像を示す図

【図7】教師データの例を示す図

【図8】本実施形態における構造物分離処理のフローチャート

【図9】本実施形態における分離処理を示すフローチャート

【図10】本実施形態における学習処理のフローチャート

【発明を実施するための形態】

【0022】

以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による構造物分離装置および学習装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、本実施形態による構造物分離装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。

【0023】

３次元画像撮影装置２は、被写体の診断の対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ(Positron Emission Tomography )装置等である。この３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保管される。なお、本実施形態においては、被写体の診断対象部位は脊椎であり、３次元画像撮影装置２はＭＲＩ装置であり、３次元画像は被写体の脊椎のＭＲＩ画像であるものとする。なお、脊椎を構成する複数の椎骨が複数の構造物に対応する。

【0024】

画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式やネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、３次元画像にはＤＩＣＯＭ規格に基づくタグが付与される。タグには、患者名、撮影装置を表す情報、撮影日時、および撮影部位等の情報が含まれる。

【0025】

構造物分離装置１は、本実施形態による学習装置を内包するものであり、１台のコンピュータに、本開示の構造物分離プログラムおよび学習プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。構造物分離プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。

【0026】

図２は、コンピュータに構造物分離プログラムおよび学習プログラムをインストールすることにより実現された構造物分離装置の概略構成を示す図である。図２に示すように、構造物分離装置１は、標準的なワークステーションの構成として、ＣＰＵ１１、メモリ１２およびストレージ１３を備えている。また、構造物分離装置１には、液晶ディスプレイ等の表示部１４と、マウス等の入力部１５とが接続されている。なお、表示部１４と入力部１５とを兼ねた、タッチパネルを用いてもよい。

【0027】

ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像および構造物分離装置１での処理によって生成された画像を含む各種情報が記憶されている。

【0028】

また、メモリ１２には、構造物分離プログラムおよび学習プログラムが記憶されている。構造物分離プログラムは、ＣＰＵ１１に実行させる処理として、処理対象となる３次元画像を取得する画像取得処理、３次元画像に含まれる複数の椎骨を、頸椎、胸椎および腰椎のそれぞれに分類して、頸椎、胸椎および腰椎のうちの少なくとも１つに関する対象画像を生成する対象画像生成処理、対象画像に含まれる複数の椎骨が分離された分離済み画像を生成する分離処理、分離された複数の椎骨に対して、分離された順にラベリングを行うラベリング処理、およびラベリングされた椎骨を含む医用画像または対象画像を表示部１４に表示する表示制御処理を規定する。学習プログラムは、ＣＰＵ１１に実行させる処理として、後述する学習済みモデルを生成するための学習処理を規定する。

【0029】

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、対象画像生成部２２、分離部２３、ラベリング部２４、表示制御部２５および学習部２６として機能する。

【0030】

画像取得部２１は、ネットワークに接続されたインターフェースからなり、画像保管サーバ３から、脊椎を含む処理対象となる３次元画像Ｖ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から３次元画像Ｖ０を取得するようにしてもよい。なお、本実施形態においては、３次元画像Ｖ０には被写体の脊椎の全体が含まれているものとする。

【0031】

対象画像生成部２２は、後述する分離部２３による椎骨の分離の対象となる対象画像を生成する。本実施形態においては、３次元画像Ｖ０には被写体の脊椎の全体が含まれている。このため、対象画像生成部２２は、脊椎を構成する複数の椎骨を頸椎、胸椎および腰椎に分類し、頸椎、胸椎および腰椎の少なくとも１つに関する対象画像を生成する。対象画像は脊椎の一部を含むものとなる。なお、対象画像は３次元の画像であってもよいが、脊椎に沿ったサジタル断面またはコロナル断面の２次元の断層画像であってもよい。本実施形態においては、対象画像は２次元の断層画像とする。

【0032】

図３は脊椎を構成する複数の椎骨の標準的な配列を模式的に表す図である。図３に示すように、各椎骨には解剖学的にラベルが付与されている。ここで、脊椎は、頸椎、胸椎、腰椎および仙骨の４つの部分からなる。頸椎は７個の椎骨からなり、解剖学的にＣ１～Ｃ７のラベルが付与されている。胸椎は１２個の椎骨からなり、解剖学的にＴｈ１～Ｔｈ１２のラベルが付与されている。腰椎は５個の椎骨からなり、解剖学的にＬ１～Ｌ５のラベルが付与されている。仙骨は１つの骨のみからなり、解剖学的にＳ１のラベルが付与されている。なお、人によっては、頸椎、胸椎および腰椎の数、さらには全椎骨の数が、上述した標準的な脊椎とは異なる場合がある。本実施形態は、３次元画像Ｖ０に含まれる椎骨に対して、図３に示すようなラベリングを行うために、椎骨を分離する。

【0033】

本実施形態においては、対象画像生成部２２は、３次元画像Ｖ０において、例えば上から順に７つの椎骨を頸椎、１２個の椎骨を胸椎、５個の椎骨を腰椎に分類し、椎骨の分類の対象となる対象画像を生成する。本実施形態においては、腰椎の椎骨の分類の対象となる対象画像Ｇ１を生成するものとするが、これに限定されるものではない。頸椎、胸椎、腰椎または頸椎、胸椎および腰椎のうちの２つの組み合わせを含む対象画像を生成してもよい。

【0034】

ここで、本実施形態において、対象画像生成部２２は、複数の椎骨を含む３次元画像Ｖ０が入力されると、複数の椎骨を頸椎、胸椎および腰椎に分類するように学習がなされた学習済みモデルを有する。学習済みモデルとしては、例えば、ＣＮＮ（Convolutional Neural Network、畳み込みニューラルネットワーク）を用いることができるが、これに限定されるものではない。ＣＮＮの他、サポートベクタマシン（ＳＶＭ(Support Vector Machine)、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。

【0035】

なお、対象画像生成部２２は、学習済みモデルを備えるものには限定されない。脊椎を構成する複数の椎骨のうち、仙骨は特徴的な形状を有するため、仙骨を用いたテンプレートマッチングにより仙骨を特定し、仙骨を基準として複数の椎骨を頸椎、胸椎および腰椎に分類するものであってもよい。また、対象画像生成部２２は、操作者が３次元画像Ｖ０を観察することによりマニュアル操作により複数の椎骨を頸椎、胸椎および腰椎に分類した結果を用いて対象画像を生成するものであってもよい。

【0036】

分離部２３は、対象画像Ｇ１において、複数の椎骨が分離された分離済み画像を生成する。このために、分離部２３は、画像に含まれる複数の椎骨を分離するように学習がなされた学習済みモデルを有する。図４は学習済みモデルの構成を模式的に示す図である。図４に示すように、本実施形態において分離部２３が有する学習済みモデルＭ１は、ニューラルネットワークの一種であるＵ－Ｎｅｔにより構成されている。図４に示すＵ－Ｎｅｔ３０は、第１の畳み込み層群３１Ａ，３１Ｂおよび第２～第９の畳み込み層群３２～３９を有する。図４に示すように、第１の畳み込み層群３１Ａ，３１Ｂおよび第２～第９の畳み込み層群３２～３９の結合の形状がＵ字状となっているため、このニューラルネットワークはＵ－Ｎｅｔと呼ばれる。

【0037】

本実施形態において、第１の畳み込み層群３１Ａ，３１Ｂには、それぞれ対象画像Ｇ１および椎骨を含まない未分離画像Ｒ０を含む第１の画像ペアＰ１が入力される。未分離画像Ｒ０は、対象画像Ｇ１と同一サイズを有し、何も描画されていない画像である。第１の畳み込み層群３１Ａ，３１Ｂは、それぞれ２つの畳み込み層を有し、畳み込み後の２つの特徴量マップが統合された特徴量マップＦ１を出力する。統合された特徴量マップＦ１は、図４の破線で示すように、第９の畳み込み層群３９に入力される。また、統合された特徴量マップＦ１はプーリングされてサイズが１／２に縮小され、第２の畳み込み層群３２に入力される。図４においてプーリングを下向きの矢印で示している。畳み込みに際しては、本実施形態においては、例えば３×３のカーネルを用いるものとするが、これに限定されるものではない。また、プーリングに際しては、４画素のうちの最大値が採用されるものとするが、これに限定されるものではない。

【0038】

第２の畳み込み層群３２は２つの畳み込み層を有し、第２の畳み込み層群３２から出力された特徴量マップＦ２は、図４の破線で示すように、第８の畳み込み層群３８に入力される。また、特徴量マップＦ２はプーリングされてサイズが１／２に縮小され、第３の畳み込み層群３３に入力される。

【0039】

第３の畳み込み層群３３も２つの畳み込み層を有し、第３の畳み込み層群３３から出力された特徴量マップＦ３は、図４の破線で示すように、第７の畳み込み層群３７に入力される。また、特徴量マップＦ３はプーリングされてサイズが１／２に縮小され、第４の畳み込み層群３４に入力される。

【0040】

第４の畳み込み層群３４も２つの畳み込み層を有し、第４の畳み込み層群３４から出力された特徴量マップＦ４は、図４の破線で示すように、第６の畳み込み層群３６に入力される。また、特徴量マップＦ４はプーリングされてサイズが１／２に縮小され、第５の畳み込み層群３５に入力される。

【0041】

第５の畳み込み層群３５は１つの畳み込み層を有し、第５の畳み込み層群３５から出力された特徴量マップＦ５は、アップサンプリングされてサイズが２倍に拡大され、第６の畳み込み層群３６に入力される。図４においては、アップサンプリングを上向きの矢印により示している。

【0042】

第６の畳み込み層群３６は、２つの畳み込み層を有し、第４の畳み込み層群３４からの特徴量マップＦ４および第５の畳み込み層群３５からのアップサンプリングされた特徴量マップＦ５を統合して畳み込み演算を行う。第６の畳み込み層群３６から出力された特徴量マップＦ６はアップサンプリングされてサイズが２倍に拡大され、第７の畳み込み層群３７に入力される。

【0043】

第７の畳み込み層群３７は、２つの畳み込み層を有し、第３の畳み込み層群３３からの特徴量マップＦ３および第６の畳み込み層群３６からのアップサンプリングされた特徴量マップＦ６を統合して畳み込み演算を行う。第７の畳み込み層群３７から出力された特徴量マップＦ７はアップサンプリングされて、第８の畳み込み層群３８に入力される。

【0044】

第８の畳み込み層群３８は、２つの畳み込み層を有し、第２の畳み込み層群３２からの特徴量マップＦ２および第７の畳み込み層群３７からのアップサンプリングされた特徴量マップＦ７を統合して畳み込み演算を行う。第８の畳み込み層群３８から出力された特徴量マップＦ８はアップサンプリングされて、第９の畳み込み層群３９に入力される。

【0045】

第９の畳み込み層群３９は、３つの畳み込み層を有し、第１の畳み込み層群３１Ａ，３１Ｂからの特徴量マップＦ１および第８の畳み込み層群３８からのアップサンプリングされた特徴量マップＦ８を統合して畳み込み演算を行う。第９の畳み込み層群３９から出力された特徴量マップＦ９は、対象画像Ｇ１において１つめの椎骨６１が抽出された分離画像Ｒ１となる。

【0046】

本実施形態においては、分離画像Ｒ１は、次の椎骨を分離するために、対象画像Ｇ１と併せて、第２の画像ペアＰ２として第１の畳み込み層群３１Ａ，３１Ｂに再帰的に入力される。これにより、対象画像Ｇ１において椎骨６１に隣接する２つめの椎骨６２が抽出された分離画像Ｒ２が出力される。分離画像Ｒ２は、次の椎骨を分離するために、対象画像Ｇ１と併せて、第３の画像ペアＰ３として、第１の畳み込み層群３１Ａ，３１Ｂに再帰的に入力される。そして、分離部２３は、すべての椎骨が分離されるまで上記の処理を繰り返す。

【0047】

図５は、本実施形態において行われる分離済み画像の生成のための処理を模式的に示す図である。上述したように、まず最初の処理においては、対象画像Ｇ１および未分離画像Ｒ０を含む第１の画像ペアＰ１が学習済みモデルＭ１に入力されると、１つめの椎骨６１が抽出された分離画像Ｒ１が学習済みモデルＭ１から出力される。次に、対象画像Ｇ１および分離画像Ｒ１を含む第２の画像ペアＰ２が学習済みモデルＭ１に入力されると、２つめの椎骨６２が抽出された分離画像Ｒ２が学習済みモデルＭ１から出力される。次に、対象画像Ｇ１および分離画像Ｒ２を含む第３の画像ペアＰ３が学習済みモデルＭ１に入力されると、３つめの椎骨６３が抽出された分離画像Ｒ３が学習済みモデルＭ１から出力される。次に、図５では省略しているが、対象画像Ｇ１および分離画像Ｒ３を含む第４の画像ペアＰ４が学習済みモデルＭ１に入力されると、４つめの椎骨６４が抽出された分離画像Ｒ４が学習済みモデルＭ１から出力される。そして、対象画像Ｇ１および分離画像Ｒ４を含む第５の画像ペアＰ５が学習済みモデルＭ１に入力されると、対象画像Ｇ１に含まれるすべての椎骨６１～６５が抽出された分離画像Ｒ５が分離済み画像ＲＦとして出力される。

【0048】

このように、本実施形態においては、分離部２３を構成する学習済みモデルＭ１には、対象画像Ｇ１にｎ個の椎骨が含まれる場合、対象画像Ｇ１と分離画像Ｒｉ（ｉ＝１～ｎ－１）とを含む第ｉの画像ペアが再帰的に入力されて、対象画像Ｇ１においてｎ個の椎骨が分離された分離済み画像ＲＦが生成されることとなる。

【0049】

ラベリング部２４は、分離済み画像ＲＦに基づいて、分離された椎骨に対して分離された順にラベリングを行う。本実施形態においては、対象画像Ｇ１は腰椎の画像であるため、ラベリング部２４は、分離された椎骨に対して分離された順に上からＬ１～Ｌ５のラベルを付与する。

【0050】

表示制御部２５は、ラベリングされた椎骨を含む対象画像Ｇ１を表示部１４に表示する。図６は、表示部１４に表示された、ラベリングされた椎骨を含む対象画像Ｇ１を示す図である。対象画像Ｇ１は腰椎の画像であるため、図６に示すように、表示された対象画像Ｇ１において、分離した順に上からＬ１～Ｌ５のラベルが付与されている。

【0051】

学習部２６は、分離部２３に含まれる学習済みモデルを生成する。学習部２６は、多数の教師データを用いて、Ｕ－Ｎｅｔ３０の学習を行い、学習済みモデルＭ１を生成する。教師データは入力部１５から入力される。本実施形態においては、椎骨を含む第１の画像、椎骨を含む画像に含まれる椎骨のうちの０以上の椎骨が抽出された第２の画像、および第２の画像よりも抽出された椎骨の数が１つ多い第３の画像を含む３つの画像の組が教師データとして用いられる。

【0052】

図７は教師データの例を示す図である。図７に示すように、教師データ５０は、被写体についての椎骨を含む第１の画像５０Ａ、第１の画像５０Ａと同一サイズで何も抽出されていない未分離画像である第２の画像５０Ｂおよび第１の画像５０Ａにおいて１つの椎骨が抽出された第３の画像５０Ｃを含む。学習部２６は、教師データ５０を用いることにより、複数の椎骨を含む画像（すなわち対象画像）および何も抽出されていない未分離画像を含む画像ペアが入力されると、１番目の椎骨が分離された分離画像を出力するように学習がなされる。

【0053】

一方、図７に示す教師データ５１は、被写体についての椎骨を含む第１の画像５１Ａ、第１の画像５１Ａと同一サイズで１つの椎骨が抽出された第２の画像５１Ｂおよび第１の画像５１Ａにおいて２つの椎骨が抽出された第３の画像５１Ｃを含む。学習部２６は、教師データ５１を用いることにより、複数の椎骨を含む対象画像および１つの椎骨が抽出されている分離画像を含む画像ペアが入力されると、１番目の椎骨に隣接する２番目の椎骨が分離された分離画像を出力するように学習がなされる。

【0054】

このように、本実施形態による学習済みモデルＭ１は、複数の椎骨を含む対象画像と、椎骨を含まない未分離画像とを含む画像ペアの入力により、対象画像から１つの椎骨が抽出されてなる分離画像を出力し、対象画像と分離画像とを含む新たな画像ペアの入力により、対象画像からさらに１つの椎骨が抽出されてなる新たな分離画像を出力し、対象画像と新たな分離画像とを新たな画像ペアとする入力、および対象画像からさらに１つの椎骨が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像Ｇ１に含まれる複数の椎骨が分離された分離済み画像ＲＦを生成するように学習がなされてなる。

【0055】

次いで、本実施形態において行われる処理について説明する。図８は本実施形態における構造物分離処理のフローチャートである。まず、画像取得部２１が、画像保管サーバ３から診断対象である３次元画像Ｖ０を取得し（ステップＳＴ１）、対象画像生成部２２が、３次元画像Ｖ０から、椎骨の分離の対象となる対象画像Ｇ１を生成する（ステップＳＴ２）。続いて、分離部２３が対象画像Ｇ１において複数の椎骨が分離された分離済み画像ＲＦを生成する分離処理を行う（ステップＳＴ３）。

【0056】

図９は、本実施形態における分離処理を示すフローチャートである。分離処理においては、まずカウンタ用の変数に１が代入され（ステップＳＴ１１）、分離部２３を構成する学習済みモデルＭ１に第ｉの画像ペアが入力される（ステップＳＴ１２）。ｉ＝１の場合、第１の画像ペアとなり、第１の画像ペアは、対象画像Ｇ１および未分離画像Ｒ０を含む。第ｉの画像ペアの入力により、学習済みモデルＭ１は、対象画像Ｇ１からｉ個の椎骨が抽出された分離画像Ｒｉを出力する（分離画像Ｒｉ出力；ステップＳＴ１３）。そして、対象画像Ｇ１においてすべての椎骨が抽出されたか否かが判定され（ステップＳＴ１４）、ステップＳＴ１４が否定されると変数に１を加算し（ステップＳＴ１５）、ステップＳＴ１２に戻り、ステップＳＴ１２以降の処理を繰り返す。ステップＳＴ１４が肯定されると、分離処理を終了する。この時点での分離画像が分離済み画像ＲＦとなる。

【0057】

図８に戻り、ラベリング部２４が、分離された椎骨に対して、分離された順にラベリングを行い（ステップＳＴ４）、表示制御部２５がラベリングされた椎骨を含む対象画像Ｇ１を表示部１４に表示し（画像表示；ステップＳＴ５）、処理を終了する。

【0058】

図１０は学習処理を示すフローチャートである。まず、学習部２６が入力部１５からの教師データの入力を受け付け（ステップＳＴ２１）、教師データを用いて、学習モデルであるＵ－Ｎｅｔの学習を行う（ステップＳＴ２２）。これにより学習済みモデルＭ１が構築される。

【0059】

このように、本実施形態においては、複数の椎骨を含む対象画像Ｇ１と、椎骨を含まない未分離画像Ｒ０とを含む第１の画像ペアＰ１の入力により、対象画像Ｇ１から１つの椎骨が抽出されてなる分離画像Ｒ１が出力される。また、対象画像Ｇ１と分離画像Ｒ１とを含む新たな第２の画像ペアＰ２の入力により、対象画像Ｇ１からさらに１つの椎骨が抽出されてなる新たな分離画像Ｒ２が出力される。さらに、対象画像Ｇ１と新たな分離画像とを新たな画像ペアとする入力、および対象画像Ｇ１からさらに１つの椎骨が抽出されてなる新たな分離画像の出力を繰り返すことにより、対象画像Ｇ１に含まれる複数の椎骨が分離される。このため、３次元画像Ｖ０に含まれる椎骨が予め定められたサイズを有するものでなくても、すべての椎骨を精度よく抽出することができる。また、本実施形態においては、椎骨が順次抽出されるため、頸椎、胸椎および腰椎の数、さらには全椎骨の数が、標準的な脊椎とは異なる場合であっても、個々の椎骨を精度よく抽出することができる。したがって、３次元画像Ｖ０に含まれる椎骨等の複数の構造物を精度よく分離できる。

【0060】

なお、上記実施形態においては、分離部２３が備える学習済みモデルＭ１をＵ－Ｎｅｔにより構成しているが、これに限定されるものではない。サポートベクタマシン（ＳＶＭ(Support Vector Machine)、ディープニューラルネットワーク（ＤＮＮ(Deep Neural Network)）およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等を用いることができる。

【0061】

また、上記実施形態においては、対象画像生成部２２を、Ｕ－Ｎｅｔからなる学習済みモデルを備えるものとしてもよい。この場合、脊椎を含む画像の入力により、頸椎、胸椎、腰椎が分離された分離画像を出力するように、学習済みモデルの学習がなされる。

【0062】

また、上記実施形態においては、対象画像生成部２２を備えるものとしているが、これに限定されるものではない。対象画像生成部２２を備えることなく、取得した脊椎を含む３次元画像Ｖ０を頸椎、胸椎および腰椎に分類することなく、そのまますべての椎骨を含む対象画像として用いてもよい。この場合、３次元画像Ｖ０に含まれるすべての椎骨が順に抽出されて分離済み画像ＲＦが生成されることとなる。

【0063】

また、上記実施形態においては、対象画像Ｇ１において、上から順に椎骨を抽出しているが、これに限定されるものではない。対象画像Ｇ１において、下から順に椎骨を抽出してもよい。

【0064】

また、上記実施形態においては、ラベリングされた椎骨を含む対象画像を表示部１４に表示しているが、ラベリングされた椎骨を含む３次元画像Ｖ０を表示部１４に表示してもよい。３次元画像Ｖ０の表示の態様としては、例えばボリュームレンダリング等、任意の手法を用いることができる。

【0065】

また、上記実施形態においては、分離の対象を脊椎としているが、これに限定されるものではない。例えば、培養された細胞を撮影することにより取得された細胞画像を対象画像として使用し、細胞を順次分離する処理にも、本実施形態を適用することができる。

【0066】

また、上記各実施形態において、例えば、画像取得部２１、対象画像生成部２２、分離部２３、ラベリング部２４、表示制御部２５および学習部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0067】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0068】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0069】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0070】

１ 構造物分離装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２１ 画像取得部
２２ 対象画像生成部
２３ 分離部
２４ ラベリング部
２５ 表示制御部
２６ 学習部
３１Ａ，３１Ｂ 第１の畳み込み層群
３２ 第２の畳み込み層群
３３ 第３の畳み込み層群
３４ 第４の畳み込み層群
３５ 第５の畳み込み層群
３６ 第６の畳み込み層群
３７ 第７の畳み込み層群
３８ 第８の畳み込み層群
３９ 第９の畳み込み層群
５０，５１ 教師データ
５０Ａ，５１Ａ 第１の画像
５０Ｂ，５１Ｂ 第２の画像
５０Ｃ，５１Ｃ 第３の画像
Ｆ１～Ｆ９ 特徴量マップ
Ｇ１ 対象画像
Ｍ１ 学習済みモデル
Ｐ１～Ｐ４ 画像ペア
Ｒ０ 未分離画像
Ｒ１～Ｒ５ 分離画像
ＲＦ 分離済み画像
Ｖ０ ３次元画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】