ホーム > 特許ランキング > 国立大学法人東京農工大学
▶ 国立大学法人東京農工大学の特許一覧 ▶ 日本メジフィジックス株式会社の特許一覧
特許7352261学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-20
(45)【発行日】2023-09-28
(54)【発明の名称】学習装置、学習方法、プログラム、学習済みモデルおよび骨転移検出装置
(51)【国際特許分類】
G01T 1/164 20060101AFI20230921BHJP
G06T 7/00 20170101ALI20230921BHJP
【ＦＩ】
G01T1/164 L
G01T1/164 N
G06T7/00 614
G06T7/00 350C
【請求項の数】
17
(21)【出願番号】P 2020519910
(86)(22)【出願日】2019-05-16
(86)【国際出願番号】 JP2019019478
(87)【国際公開番号】W WO2019221222
(87)【国際公開日】2019-11-21
【審査請求日】2022-04-14
(31)【優先権主張番号】P 2018096186
(32)【優先日】2018-05-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】504132881
【氏名又は名称】国立大学法人東京農工大学
(73)【特許権者】
【識別番号】000230250
【氏名又は名称】日本メジフィジックス株式会社
(74)【代理人】
【識別番号】100113549
【弁理士】
【氏名又は名称】鈴木 守
(74)【代理人】
【識別番号】100115808
【弁理士】
【氏名又は名称】加藤 真司
(72)【発明者】
【氏名】清水 昭伸
(72)【発明者】
【氏名】斎藤 篤
(72)【発明者】
【氏名】若林 駿土
(72)【発明者】
【氏名】西川 和宏
【審査官】遠藤 直恵
(56)【参考文献】
【文献】特開２０１６－１４２６６４（ＪＰ，Ａ）
【文献】国際公開第２００７／０２９４６７（ＷＯ，Ａ１）
【文献】特許第６２９４５２９（ＪＰ，Ｂ２）
【文献】国際公開第２０１８／００８５９３（ＷＯ，Ａ１）
【文献】河上 一公，人工知能を用いた核医学画像の解析，医用画像情報学会雑誌，2017年06月，100-102，https://www.jstage.jst.go.jp/article/mii/34/2/34_100/_article/-char/ja/
【文献】木田 智士，Deep learning で画像認識９～Kerasで畳み込みニューラルネットワーク vol.5～，IMCEL ACADEMY，2017年08月03日，https://lp-tech.net/articles/5MIeh
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｔ １／１６１－１／１６６
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークのモデルを生成する学習装置であって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力する入力部と、
前記教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行う学習部と、
を備え、
前記ニューラルネットワークは、第１のネットワーク部分と、第２のネットワーク部分 とを結合した構造を有し、
前記入力部は、各被験者について、前後から撮影したシンチグラム及びその正解ラベル を入力し、
前記学習部は、前記第１のネットワーク部分の入力層に被験者を前方から撮影したシン チグラムを入力すると共に、前記第２のネットワーク部分の入力層に前記被験者を後方か ら撮影したシンチグラムを入力して学習を行う、学習装置。
【請求項8】
前記第１のネットワーク部分および前記第２のネットワーク部分がＥｎｃｏｄｅｒ－Ｄ
ｅｃｏｄｅｒ構造を有する、請求項１ないし６のいずれか一項に記載の学習装置。【請求項9】
前記第１のネットワーク部分および前記第２のネットワーク部分がＥｎｃｏｄｅｒ－Ｄ
ｅｃｏｄｅｒ構造を有し、
前記学習部は、前記第１のネットワーク部分の入力層に被験者を前方から撮影したシンチグラムから切り出した第１のパッチ画像を入力すると共に、前記第２のネットワーク部分の入力層に前記被験者を後方から撮影したシンチグラムから切り出した、前記第１のパッチ画像と対応する第２のパッチ画像を入力して学習を行う、
請求項２ないし６のいずれか一項に記載の学習装置。
【請求項11】
被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークのモデルを生成する学習方法であって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力するステップと、
前記教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行うステップと、
を備え、
前記ニューラルネットワークは、第１のネットワーク部分と、第２のネットワーク部分 とを結合した構造を有し、
前記入力するステップにおいて、各被験者について、前後から撮影したシンチグラム及 びその正解ラベルを入力し、
前記学習を行うステップにおいて、第１のネットワーク部分の入力層に被験者を前方か ら撮影したシンチグラムを入力すると共に、第２のネットワーク部分の入力層に前記被験 者を後方から撮影したシンチグラムを入力して学習を行う、学習方法。
【請求項12】
被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークのモデルを生成するためのプログラムであって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力するステップと、
前記教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行うステップと、
を実行させ、
前記ニューラルネットワークは、第１のネットワーク部分と、第２のネットワーク部分 とを結合した構造を有し、
前記入力するステップは、各被験者について、前後から撮影したシンチグラム及びその 正解ラベルを入力し、
前記学習を行うステップは、第１のネットワーク部分の入力層に被験者を前方から撮影 したシンチグラムを入力すると共に、第２のネットワーク部分の入力層に前記被験者を後 方から撮影したシンチグラムを入力して学習を行うステップと、
を実行させるプログラム。
【請求項13】
被験者のシンチグラムから骨転移領域を検出するよう、コンピュータを機能させるための学習済みモデルであって、畳み込み層と、逆畳み込み層とを有し、畳み込み層で得られた特徴マップを逆畳み込み層に入力する構造を含むニューラルネットワークで構成され、複数の被験者の前後から撮影したシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとし、前記畳み込み層に２枚のシンチグラムのう
ちの一方を水平方向に反転させた上で２枚のシンチグラムを入力して学習されたものであり、前記ニューラルネットワークに入力された被験者のシンチグラムから骨転移領域を検出するよう、コンピュータを機能させる学習済みモデル。【請求項17】
被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークのモデ
ルを生成する学習装置であって、
複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の 正解ラベルを教師データとして入力する入力部と、
前記教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネット ワークのモデルの学習を行う学習部と、
前記複数の被験者のシンチグラムから、被験者の骨が写っている領域を切り出してパッ チ画像を作成するパッチ画像作成部と、
前記パッチ画像作成部にて作成したパッチ画像において、骨転移領域又は非骨転移領域 を含むパッチ画像と骨転移領域及び非骨転移領域のいずれも含まないパッチ画像の構成比 を求める教師データ分析部と、
を備え、
前記学習部は、前記パッチ画像およびそれに対応する正解ラベルを教師データとして用 いて学習を行う学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被験者のシンチグラムから骨転移領域を検出する技術に関する。
【背景技術】
【0002】
骨シンチグラム上の骨転移検出の関連研究として河上一公らの研究が挙げられる（非特許文献１）。非特許文献１では、セグメンテーション（全身の骨格分類）を行った後、各骨格領域（８領域）において、平均や標準偏差などの情報を利用し高集積部位を検出する。また、非特許文献２では、CADシステム”BONENAVI version 2.1.7” （FUJIFILM RI Pharma Co., Ltd., Tokyo, Japan）を用いて、全身画像の骨シンチグラムを解析した225人の前立腺がん患者（骨転移症例：124例、正常例：101例）を人工ニューラルネットワーク（ANN : Artificial Neural Networks）で解析を行い、それらの解析結果が示されている。このBONENAVIシステムでは、ANNとBSI（Bone Scan Index）という２つのイメージングマーカーを出力する。ANN値は、骨転移の可能性を示し、ANNの範囲は0-1の連続した値であり、”0”は骨転移の可能性がないことを意味し、”1”は骨転移の疑いが高いことを意味する。BSIは、転移性腫瘍量（全身骨格に対する骨転移領域の構成比）を示す。検出結果は、Sensitivityは82%（102/124）、Specificityは83%（84/101）である。
【先行技術文献】
【非特許文献】
【0003】
【文献】河上 一公ら「骨シンチグラフィ診断支援ソフト「BONENAVI」の紹介」核医学分科会誌，63(0):41-51，2011
【文献】M. Koizumi, K. Motegi, M. Koyama, T. Terauchi, T. Yuasa, and J. Yonese, 「Diagnostic performance of a computer-assisted diagnosis system for bone scintigraphy of newly developed skeletal metastasis in prostate cancer patients: search for low-sensitivity subgroups」Annals of Nuclear Medicine, 31(7):521-528, 2017
【発明の概要】
【0004】
骨シンチグラム上の骨転移の検出支援システムは、主に、解剖構造の認識処理と、異常部位の強調（特徴抽出）や検出処理からなる。最終的に、これらの処理を一つにまとめて骨転移と疑われる部位を判定して、その結果を医師に提示する。
【0005】
上記した従来技術では、被験者のシンチグラム上に骨転移領域を表示するが、骨転移領域と類似した濃度値を持つ非骨転移領域（骨折、炎症等の非悪性病変領域）を骨転移領域と誤検出し（いわゆる「拾いすぎ」）、検出精度の低下が見られた。そこで、本発明は、骨転移領域の検出率を維持しつつ、拾いすぎを低減する技術を提供する。
【0006】
本発明の一態様は、被験者のシンチグラムから骨転移を検出するためのニューラルネットワークのモデルを生成する学習装置であって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力する入力部と、前記教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行う学習部とを備える。
【0007】
また、本発明の他の態様は、被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークのモデルを生成する学習方法であって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力するステップと、教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行うステップと、を備える学習方法である。
【0008】
また、本発明の他の態様は、被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークのモデルを生成するためのプログラムであって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力するステップと、教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行うステップと、を実行させるプログラムである。
【0009】
また、本発明の他の態様は、被験者のシンチグラムから骨転移領域を検出するよう、コンピュータを機能させるための学習済みモデルであって、畳み込み層と、逆畳み込み層とを有し、畳み込み層で得られた特徴マップを逆畳み込み層に入力する構造を含むニューラルネットワークで構成され、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして学習されたものであり、前記ニューラルネットワークに入力された被験者のシンチグラムから骨転移領域を検出するよう、コンピュータを機能させる学習済みモデルである。
【0010】
このように骨転移領域及び非骨転移領域の正解ラベルを用いてニューラルネットワークのモデルを学習することにより、このモデルを用いて、被験者のシンチグラムから骨転移領域を適切に検出することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態の学習装置および骨転移検出装置について、図面を参照しながら説明する。なお、下記の説明において、サイズ等の条件として記載されている数値は、あくまでも好ましい態様における例示であり、本発明を限定する意図ではない。
【0013】
実施の形態の学習装置は、被験者のシンチグラムから骨転移を検出するためのニューラルネットワークのモデルを生成する学習装置であって、複数の被験者のシンチグラムと各シンチグラムにおける骨転移領域及び非骨転移領域の正解ラベルを教師データとして入力する入力部と、教師データを用いて骨シンチグラムの骨転移領域の検出に用いるニューラルネットワークのモデルの学習を行う学習部とを備える。ここで、非骨転移領域は、骨転移領域と類似した濃度値を持つ領域であるが、骨転移を起こしていない領域である。非骨転移領域には、非悪性病変領域（骨折、炎症等）が含まれる。なお、骨転移領域は、「異常集積」ともいう。
【0014】
このように骨転移領域及び非骨転移領域の正解ラベルを用いてニューラルネットワークのモデルを学習することにより、このモデルを用いて、被験者のシンチグラムから骨転移領域を適切に検出することができる。
【0015】
実施の形態の学習装置は、複数の被験者のシンチグラムから、被験者の骨が写っている領域を切り出してパッチ画像を生成するパッチ画像作成部を備え、学習部は、パッチ画像およびそれに対応する正解ラベルを教師データとして用いて学習を行ってもよい。
【0016】
ニューラルネットワークモデルにおいて学習時に必要となるメモリサイズは、画像サイズが大きくなるに従って増大する。実施の形態の構成によれば、被験者の骨が写っている領域を切り出したパッチ画像を生成し、パッチ画像を用いて学習を行うことにより、学習時に必要になるメモリサイズを低減できる。また、骨転移領域の現れ方は器官の形状にそれほど依存しないので、器官全体が写っていない場合でも学習を行うことができる。したがって、パッチ画像は、骨転移領域を検出するニューラルネットワークモデルの学習の教師データに適している。
【0017】
実施の形態の学習装置において、パッチ画像作成部は、被験者のシンチグラム上で所定の大きさのウィンドウを走査し、当該ウィンドウ内に被験者の骨が写っているときに、ウィンドウの領域をパッチ画像として切り出してもよい。このようにウィンドウを走査してパッチ画像を切り出すことにより、被験者のシンチグラムから万遍なくパッチ画像を切り出せる。
【0018】
実施の形態の学習装置は、パッチ画像作成部にて作成したパッチ画像において、骨転移領域又は非骨転移領域を含むパッチ画像と骨転移領域及び非骨転移領域のいずれも含まないパッチ画像の構成比を求める教師データ分析部を備えてもよい。
【0019】
発明者らは、様々な教師データで学習を行って生成したモデルを使って推論を行い、骨転移領域の検出を適切に行えるニューラルネットワークモデルを生成できる条件について検討した。その結果、教師データを構成するパッチ画像の内容（骨転移領域又は非骨転移領域を含むパッチ画像と、骨転移領域及び非骨転移領域のいずれも含まないパッチ画像の構成比）が、ニューラルネットワークモデルの精度に関係していることを見出した。実施の形態によれば、学習に用いた教師データの分析を行い、教師データの内容を表示することにより、適切な学習を行なえるように教師データを調整することが可能となる。
【0020】
実施の形態の学習装置は、教師データ分析部にて求めた構成比が、所定の範囲に含まれるように、パッチ画像作成部にて作成されたパッチ画像から、骨転移領域及び非骨転移領域のいずれも含まないパッチ画像を間引くパッチ画像選択部を備えてもよい。
【0021】
骨転移領域を含むパッチ画像の構成比が小さすぎると学習によって得られるモデルの精度が悪くなる可能性があるので、実施の形態の構成により、骨転移領域を含むパッチ画像の構成比を大きくする。
【0022】
実施の形態の学習装置は、パッチ画像作成部にて作成されたパッチ画像の少なくとも一部のパッチ画像を左右反転または上下反転させるパッチ画像反転部を備えてもよい。
【0023】
このようにパッチ画像を反転することにより、教師データのバリエーションが増加し、学習によって精度の高いモデルを生成することができる。なお、パッチ画像を反転した場合、反転されたパッチ画像を用いてもよいし、反転されたパッチ画像と反転前のパッチ画像の両方を教師データとして用いてもよい。
【0024】
実施の形態の学習装置において、ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造を含んでもよい。
【0025】
この構成により、Ｅｎｃｏｄｅｒ構造によって画像の大局的な特徴を捉え、Ｅｎｃｏｄｅの過程で得られた特徴マップをＤｅｃｏｄｅｒ構造に入力することで局所的な特徴も学習する。骨転移領域部位の空間的広がりを捉えることで、骨転移領域部位の位置情報を適切に求めることができる。
【0026】
実施の形態の骨転移検出装置において、ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する第１のネットワーク部分と、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する第２のネットワーク部分とを結合した構造を有し、入力部は、各被験者について、前後から撮影したシンチグラム及びその正解ラベルを入力し、学習部は、第１のネットワーク部分の入力層に被験者を前方から撮影したシンチグラムを入力すると共に、第２のネットワーク部分の入力層に被験者を後方から撮影したシンチグラムを入力して学習を行ってもよい。
【0027】
また、実施の形態の骨転移検出装置において、ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する第１のネットワーク部分と、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する第２のネットワーク部分とを結合した構造を有し、入力部は、各被験者について、前後から撮影したシンチグラム及びその正解ラベルを入力し、学習部は、第１のネットワーク部分の入力層に被験者を前方から撮影したシンチグラムから切り出した第１のパッチ画像を入力すると共に、第２のネットワーク部分の入力層に被験者を後方から撮影したシンチグラムから切り出した、第１のパッチ画像と対応する第２のパッチ画像を入力して学習を行ってもよい。
【0028】
前方から撮影したシンチグラムと後方から撮影したシンチグラムを独立して処理するのではなく、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する２つのネットワーク部分を結合した構造のニューラルネットワークで同時に処理することにより、骨転移領域と非骨転移領域の鑑別の精度を高めたニューラルネットワークのモデルを生成することができる。
【0029】
実施の形態の骨転移検出装置において、非骨転移領域には非悪性病変領域が含まれ、入力部は、骨転移領域と非悪性病変領域のそれぞれの正解ラベルが付された複数の被験者のシンチグラムを教師データとして受け付け、学習部は、教師データを用いて、骨転移領域と非悪性病変領域のそれぞれを検出するニューラルネットワークのモデルを学習してもよい。
【0030】
実施の形態の骨転移検出装置は、上記の学習装置で学習されたニューラルネットワークの学習済みモデルを記憶した記憶部と、被験者のシンチグラムを入力する入力部と、シンチグラムからパッチ画像を作成するパッチ画像作成部と、記憶部から読み出した学習済みモデルの入力層にパッチ画像を入力し、パッチ画像に含まれる骨転移領域を求める推論部と、骨転移領域を示すデータを出力する出力部とを備える。この構成により、骨転移領域の検出率を維持しつつ、拾いすぎを低減することができる。
【0031】
実施の形態のプログラムは、被験者のシンチグラムから骨転移領域を検出するためのプログラムであって、コンピュータに、被験者のシンチグラムを入力するステップと、シンチグラムからパッチ画像を作成するステップと、上記した学習装置で学習されたニューラルネットワークの学習済みモデルを記憶した記憶部から学習済みモデルを読み出し、学習済みモデルの入力層にパッチ画像を入力し、パッチ画像に含まれる骨転移領域を求めるステップと、骨転移領域を示すデータを出力するステップとを実行させてもよい。
【0032】
実施の形態のプログラムは、被験者のシンチグラムから骨転移領域を検出するためのプログラムであって、コンピュータに、被験者を前後から撮影した２枚のシンチグラムを入力するステップと、２枚のシンチグラムのうちの一方を水平方向に反転するステップと、教師データを用いた学習によって予め生成された学習済みモデルを記憶した記憶部から、学習済みモデルを読み出し、学習済みモデルの入力層に、２枚のシンチグラムを入力し、シンチグラムに含まれる骨転移領域を求めるステップと、骨転移領域を示すデータを出力するステップとを実行させる。このように前後から撮影した２枚のシンチグラムの一方を反転させて同じ向きとしたうえで、２枚のシンチグラムを学習済みモデルの入力層に入力して推論を行うことにより、骨転移領域を精度良く検出することができる。
【0033】
以下、図面を参照して、実施の形態の学習装置及び骨転移検出装置について説明する。
（第１の実施の形態）
図１は、第１の実施の形態の学習装置１の構成を示す図である。第１の実施の形態の学習装置１は、被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークモデルを学習によって生成する装置である。本実施の形態の学習装置１が生成するニューラルネットワークモデルは、被験者のシンチグラムの領域を、骨転移領域、非骨転移領域および背景の３つのクラスに分類するためのモデルである。本実施の形態では、非骨転移領域のクラスには、非悪性病変領域に加え、腎臓や膀胱等の生理的集積領域を含める。
（第１の実施の形態）
図１は、第１の実施の形態の学習装置１の構成を示す図である。第１の実施の形態の学習装置１は、被験者のシンチグラムから骨転移領域を検出するためのニューラルネットワークモデルを学習によって生成する装置である。本実施の形態の学習装置１が生成するニューラルネットワークモデルは、被験者のシンチグラムの領域を、骨転移領域、非骨転移領域および背景の３つのクラスに分類するためのモデルである。本実施の形態では、非骨転移領域のクラスには、非悪性病変領域に加え、腎臓や膀胱等の生理的集積領域を含める。
【0034】
学習装置１は、教師データを入力する入力部１０と、教師データに基づいてニューラルネットワークモデルの学習を行う制御部１１と、学習により生成されたモデルを記憶する記憶部１６と、記憶部１６に記憶されたモデルを外部に出力する出力部１７とを有している。
【0035】
図２Ａは、入力部１０に入力される教師データの例を示す図である。教師データは、被験者のシンチグラムと、被験者のシンチグラムに与えられた正解ラベルのデータとからなる。本例において、シンチグラムの大きさは、５１２×１０２４[pixels]である。正解ラベルは、注目画素が集積に対応する画素であるか、背景（集積以外）画素であるかを画素ごとに指定したものである。集積に対応する画素の場合は、さらに、骨転移領域、注射漏れ又は尿漏れ、非骨転移領域のいずれであるかを指定している。なお、注射漏れ又は尿漏れは、本実施の形態の骨転移検出装置２０による検出の対象から除外するものとする。
【0036】
次に、制御部１１について説明する。制御部１１は、濃度正規化処理部１２と、パッチ画像作成部１３と、パッチ画像反転部１４と、学習部１５とを有している。
【0037】
濃度正規化処理部１２は、被験者ごとに異なる正常骨領域の濃度値のばらつきを抑えるために、濃度値の正規化を行う機能を有する。濃度正規化処理部１２は、濃度レンジ調整、正常骨レベルの同定、グレースケール正規化の処理により濃度値の正規化を行う。濃度レンジの調整は、例えば、入力画像の濃度値０を除く濃度ヒストグラムの累積上位０．２％のピクセル値が１０２３に、累積上位９８％のピクセル値が０になるように線形変換する。
【0038】
正常骨レベルの同定は、濃度レンジ調整後の画像の濃度値０を除く濃度ヒストグラムに対して、多重閾値法を利用する。閾値は、ヒストグラムの累積上位１％から２５％のピクセル値まで１％刻みとする。それぞれの閾値でレンジ調整後の画像を２値化後、４連結ラベリングを行う。その結果に対して、面積が１０[pixels]以上４９００[pixels]未満の領域を抽出する。次に、求めた領域内の平均濃度値を降順に並べ、移行点（正常領域と異常領域の境）を求める。２つの連続する平均濃度値がピークピクセルの３％以下となるところを移行点とする。ピークピクセルとは、領域ごとの平均濃度値の最大値のことである。
【0039】
続いて、グレースケール正規化では、移行点を含む連続した５点の平均濃度値の平均値Ｐを求める。最後に正規化係数Ｆ＝ｋ／Ｐを濃度レンジ調整後の画像に乗じることで正規化を行う。ここで、定数ｋは３５８．４としたが、この値は実験的に決定したものである（伊藤達也「骨シンチグラム上の異常集積検出処理の開発」東京農工大学学士論文、２０１５）。
【0040】
パッチ画像作成部１３は、被験者のシンチグラムからパッチ画像を切り出して作成する機能を有する。本例において、パッチ画像のサイズは、６４×６４[pixels]である。被験者のシンチグラム（５１２×１０２４[pixels]）の上を６４×６４[pixels]のウィンドウを２[pixels]間隔で走査し、（１）ウィンドウ内に集積ラベル（骨転移領域又は非骨転移領域）が含まれるか、あるいは（２）骨領域が含まれ、集積が含まれない場合に、画像パッチとして切り出す。パッチ画像作成部１３は、入力された複数の被験者の骨シンチグラムから画像パッチを切り出す。図２Ｂ及び図２Ｃは、被験者のシンチグラムから切り出された画像パッチ及びそれに対応する正解ラベルの例を示す図である。
【0041】
パッチ画像反転部１４は、作成されたパッチ画像のうち、一部のパッチ画像を左右反転させる機能を有する。
【0042】
学習部１５は、パッチ画像を用いて、シンチグラムから骨転移領域を検出するためのニューラルネットワークモデルの学習を行う機能を有する。本実施の形態では、ニューラルネットワークモデルとして、ＦＣＮ（Fully Convolutional Network）の一つであるＵ－Ｎｅｔを用いる。
【0043】
図３は、本実施の形態で用いるニューラルネットワークモデルの例を示す図である。図３では、パッチサイズ６４×６４[pixel]のパッチを入力した際の構造の例を示している。本実施の形態で用いるニューラルネットワークモデルは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する。Ｅｎｃｏｄｅｒ構造では、畳み込みとプーリングを繰り返し行い、画像の大局的な特徴を抽出する。Ｄｅｃｏｄｅｒ構造によって、大局的な構造を元のサイズの画像に戻していくが、その過程において、Ｅｎｃｏｄｅの過程で得られた特徴を結合することにより、局所的な特徴も学習する。
【0044】
また、本実施の形態で用いるニューラルネットワークモデルは、より高度な特徴を抽出するために、残差ブロックのひとつであるＢｏｔｔｌｅｎｅｃｋ（K. He, X. Zhang, S. Ren, and J. Sun「Deep residual learning for image recognition」arXiv:1512.03385, 2015）を有する。
【0045】
図３に示すニューラルネットワークモデルの構造について詳細に説明する。本例において、入力画像はグレースケールであり、入力の次元は６４×６４×１である。まず、畳み込み層でチャンネル数を３２にし、Ｂｏｔｔｌｅｎｅｃｋに通す。その後、２×２のＭＡＸプーリングを行い、チャンネル数が倍になるようにＢｏｔｔｌｅｎｅｃｋに通す。これらの層を計４回繰り返し、Ｅｎｃｏｄｅｒの最終的な特徴マップのサイズは４×４×５１２となる。
【0046】
続いて、逆畳み込み層を用いて、特徴マップのサイズを倍にする。そして、逆畳み込み層の出力とＥｎｃｏｄｅｒの特徴マップを連結（ｃｏｎｃａｔ）し、Ｂｏｔｔｌｅｎｅｃｋに通す。Ｅｎｃｏｄｅｒと同様にこれらの層を計４回繰り返し、Ｄｅｃｏｄｅｒの最終的な特徴マップのサイズは６４×６４×３２となる。最後に、１×１の畳み込み層で出力クラス数である３チャンネル（背景、骨転移領域、非骨転移領域）にし、６４×６４×３にする。また、全ての３×３の畳み込み層ではゼロパディングし、畳み込み層の後ろにはＢａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ（S. Ioffe, and C. Szegedy, 「Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift」arXiv:1502.03167, 2015）とＲｅＬＵ関数がある。
【0047】
学習部１５は、パッチ画像（パッチ画像反転部１４で左右反転されたものを含む）とその正解ラベルを用いて、ニューラルネットワークモデルの学習を行う。パッチ画像をニューラルネットワークモデルに入力したときの出力をソフトマックス関数で変換した確率ｐｉと正解の確率との誤差（損失関数）を評価することで学習を行う。ソフトマックス関数と損失関数を次に示す。
【数1】
【0048】
また、学習部１５は、検証用データセット（バリデーションセット）を用いて、学習したネットワークの検証を行う。教師データを用いて任意の反復回数だけ学習を行った学習モデルを保存し、全ての学習モデルに対してバリデーションセットで、学習モデルのパラメータの探索を行う。画素単位の拾いすぎＦＰ（Ｐ）と画素単位の見落としＦＮ（Ｐ）の和であるＦＰ（Ｐ）＋ＦＮ（Ｐ）を評価値として学習の反復回数を決定する。学習部１５は、学習にて生成されたモデルを記憶部１６に記憶する。
【0049】
以上、本実施の形態の学習装置１の構成について説明したが、上記した学習装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した学習装置１が実現される。このようなプログラムも本発明の範囲に含まれる。
【0050】
図４は、骨転移検出装置２０の構成を示す図である。骨転移検出装置２０は、被験者のシンチグラムを入力する入力部２１と、被験者のシンチグラムから骨転移領域を検出する制御部２２と、上述した学習装置１によって学習した学習済みモデルを記憶した記憶部２６と、検出した骨転移領域のデータを出力する出力部２７とを有している。
【0051】
制御部２２は、濃度正規化処理部２３と、パッチ画像作成部２４と、推論部２５とを有している。濃度正規化処理部２３は、学習装置１が備える濃度正規化処理部１２と同じである。パッチ画像作成部２４は、入力された被験者のシンチグラムから、６４×６４[pixels]のパッチ画像を切り出す機能を有する。基本的な構成は、学習装置１が備えるパッチ画像作成部１３と同じであるが、パッチ画像を切り出す間隔は異なる。すなわち、学習装置１では、２[pixels]間隔で切り出しを行ったが、骨転移検出装置２０では、３２[pixels]間隔でパッチ画像を切り出す。
【0052】
推論部２５は、学習済みモデル記憶部２６から学習済みモデルを読み出し、学習済みモデルの入力層にパッチ画像を入力し、パッチ画像の各画素が、背景・骨転移領域・非骨転移領域の各クラスに該当する確率を求める。
【0053】
図５は、シンチグラムから切り出したパッチ画像の例を示す図である。図５に示すように、パッチ画像は、互いに隣り合うパッチ画像が半分ずつ重なるようにして、被験者のシンチグラムから切り出される。したがって、例えば、領域Ｒは、パッチ画像Ａ～Ｄが重なりあっており、領域Ｒ内の画素の特徴マップは、４つのパッチ画像Ａ～Ｄのそれぞれで求められている。推論部２５は、４つのパッチ画像のそれぞれで求めた特徴マップの平均をとる。そして、推論部２５は、再構成された出力をソフトマックス関数で確率に変換し、確率が最も高いクラスを画素ごとに判定し、最終出力とする。
【0054】
図６は、学習装置１の動作を示す図である。学習装置１は、教師データとして、複数の被験者のシンチグラムとそれに対応する正解ラベル（背景、骨転移領域、非骨転移領域）を入力する（Ｓ１０）。学習装置１は、入力されたシンチグラムの濃度正規化を行い（Ｓ１１）、正規化されたシンチグラムからパッチ画像を作成する（Ｓ１２）。学習装置１は、作成されたパッチ画像のうちの一部のパッチ画像を左右反転する（Ｓ１３）。続いて、学習装置１は、パッチ画像とそれに対応する正解ラベルを用いて、ニューラルネットワークモデルの学習を行い（Ｓ１４）、学習によって得られたニューラルネットワークモデルを記憶部１６に記憶する（Ｓ１５）。なお、学習済みのモデルを骨転移検出装置２０で用いる場合には、記憶部１６に記憶された学習モデルを読み出して、他の装置等に出力する。
【0055】
図７は、骨転移検出装置２０の動作を示す図である。骨転移検出装置２０は、検査対象の被験者のシンチグラムを入力する（Ｓ２０）。骨転移検出装置２０は、入力されたシンチグラムの濃度正規化を行い（Ｓ２１）、正規化されたシンチグラムからパッチ画像を作成する（Ｓ２２）。骨転移検出装置２０は、記憶部２６から学習済みのニューラルネットワークモデルを読み出し、読み出したニューラルネットワークモデルの入力層にパッチ画像を入力して、パッチ画像に含まれる各画素の骨転移領域を検出する（Ｓ２３）。骨転移検出装置２０は、複数のパッチ画像がオーバーラップする領域の画素について、検出結果を統合する（Ｓ２４）。骨転移検出装置２０は、求めた骨転移領域の最終結果を出力する（Ｓ２５）。
【0056】
第１の実施の形態の学習装置１は、被験者のシンチグラムとそれに対応する正解ラベルを用いてニューラルネットワークモデルを学習する。この学習済みモデルを用いることにより、いわゆる「拾いすぎ」を低減し、骨転移領域を適切に検出することができる。
【0057】
また、第１の実施の形態の学習装置１は、被験者のシンチグラムから切り出したパッチ画像を用いて学習を行うことにより、学習時に必要となるメモリサイズを低減することができる。また、骨転移領域の発生箇所は、器官の形状によらないので、パッチ画像に分割して学習を行っても、適切な学習を行なえる。
【0058】
また、第１の実施の形態の学習装置１は、多数のパッチ画像のうちの一部のパッチ画像を左右反転することにより、教師データのバリエーションを増やし、ロバストな学習結果が得られる。なお、本実施の形態では、パッチ画像を左右反転する例を挙げたが、パッチ画像を上下反転してもよい。上下反転したパッチ画像を用いる方法は、背景の骨の解剖学的構造が上下対称の場合（例えば、鉛直方向に伸びる四肢の集積を調べる場合等）に、好適である。
【0059】
（第２の実施の形態）
図８は、第２の実施の形態の学習装置２の構成を示す図である。第２の実施の形態の学習装置２が生成するニューラルネットワークモデルは、第１の実施の形態と同様に、被験者のシンチグラムの領域を、骨転移領域、非骨転移領域および背景の３つのクラスに分類するためのモデルである。第２の実施の形態の学習装置２の基本的な構成は、第１の実施の形態の学習装置１と同じであるが、第２の実施の形態の学習装置２は、教師データである多数の画像パッチの内容を分析する教師データ分析部１８を備えている。多数の画像パッチには、骨転移領域又は非骨転移領域が含まれるパッチ画像と、骨転移領域及び非骨転移領域の何れも含まないパッチ画像がある。教師データ分析部１８は、教師データである多数のパッチ画像に含まれる、骨転移領域又は非骨転移領域が含まれるパッチ画像と、骨転移領域及び非骨転移領域のいずれも含まないパッチ画像の構成比を求める。出力部１７は、記憶部１６に記憶された学習済みモデルを生成したパッチ画像の構成比のデータを出力する。
図８は、第２の実施の形態の学習装置２の構成を示す図である。第２の実施の形態の学習装置２が生成するニューラルネットワークモデルは、第１の実施の形態と同様に、被験者のシンチグラムの領域を、骨転移領域、非骨転移領域および背景の３つのクラスに分類するためのモデルである。第２の実施の形態の学習装置２の基本的な構成は、第１の実施の形態の学習装置１と同じであるが、第２の実施の形態の学習装置２は、教師データである多数の画像パッチの内容を分析する教師データ分析部１８を備えている。多数の画像パッチには、骨転移領域又は非骨転移領域が含まれるパッチ画像と、骨転移領域及び非骨転移領域の何れも含まないパッチ画像がある。教師データ分析部１８は、教師データである多数のパッチ画像に含まれる、骨転移領域又は非骨転移領域が含まれるパッチ画像と、骨転移領域及び非骨転移領域のいずれも含まないパッチ画像の構成比を求める。出力部１７は、記憶部１６に記憶された学習済みモデルを生成したパッチ画像の構成比のデータを出力する。
【0060】
このように学習済みモデルの生成に用いたパッチ画像の構成比を出力することにより、学習済みモデルを用いて行った骨転移領域の検出精度が高くならず、新しい学習済みモデルを生成する際に、教師データをどのように変更して学習を行うべきかのヒントが得られる。本実施の形態では、パッチ画像の構成比を見たユーザが、教師データを変更する例を挙げているが、さらに進めて、パッチ画像の構成比に基づいて、学習装置２が教師データを変更してもよい。
【0061】
図９は、第２の実施の形態の変形例である学習装置３を示す図である。変形例に係る学習装置３は、第２の実施の形態の学習装置２の構成に加えて、パッチ画像選択部１９を備えている。パッチ画像選択部１９は、教師データ分析部１８による分析結果に基づいて、学習に使うパッチ画像を選択する機能を有する。本発明者らの研究によれば、骨転移領域及び非骨転移領域の何れも含まないパッチ画像が多すぎると、適切なモデルを生成できないと考えられる。そこで、変形例に係る学習装置３は、骨転移領域又は非骨転移領域が含まれないパッチ画像の構成比が所定の閾値以上である場合には、骨転移領域又は非骨転移領域が含まれないパッチ画像をすべて使用するのではなく、学習に使用するパッチ画像を選択する。これにより、骨転移領域の検出精度の良いモデルを生成することができる可能性が高まる。
【0062】
（第３の実施の形態）
図１１は、第３の実施の形態の学習装置４を示す図である。第３の実施の形態の学習装置４は、学習対象のニューラルネットワークのモデルとして、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔを用いる。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する２つのネットワーク部分を結合した構造を有している。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔについては、「Btrfly Net: Vertebrae Labelling with Energybased Adversarial Learning of Local Spine Prior」Anjany Sekuboyina他、MICCAI 2018に詳しく記載されている。
図１１は、第３の実施の形態の学習装置４を示す図である。第３の実施の形態の学習装置４は、学習対象のニューラルネットワークのモデルとして、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔを用いる。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有する２つのネットワーク部分を結合した構造を有している。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔについては、「Btrfly Net: Vertebrae Labelling with Energybased Adversarial Learning of Local Spine Prior」Anjany Sekuboyina他、MICCAI 2018に詳しく記載されている。
【0063】
学習装置４は、教師データを入力する入力部４０と、教師データに基づいてニューラルネットワークモデルの学習を行う制御部４１と、学習により生成されたモデルを記憶する記憶部４７と、記憶部４７に記憶されたモデルを外部に出力する出力部４８とを有している。なお、第３の実施の形態の学習装置４は、被験者のシンチグラムの領域を、骨転移領域、非悪性病変領域（骨折、炎症等）、その他領域（腎臓、膀胱等の生理的集積領域、注射漏れ・尿漏れ、背景）の３クラスに分類するためのモデルを生成する。本実施の形態では、生理的集積領域をその他領域のクラスに含め、非悪性病変領域とは別のクラスに分類する。
【0064】
本実施の形態の学習装置４は、教師データとして、前方から撮影した被験者のシンチグラム（以下、「前方画像」という）と後方から撮影した被験者のシンチグラム（以下、「後方画像」という）と、それぞれのシンチグラムに与えられた正解ラベルを用いる。図１２は、前方画像と後方画像の例を示す図である。なお、後方画像は水平方向に反転されている。
【0065】
制御部４１は、画像反転部４２と、前後画像位置合せ部４３と、濃度正規化処理部４４と、パッチ画像作成部４５と、学習部４６とを有している。
【0066】
画像反転部４２は、後方画像を反転する機能を有する。画像反転部４２にて反転を行う際には、後方画像に与えられた正解ラベルも反転する。前後画像位置合せ部４３は、前方画像と反転された後方画像との位置合わせを行う。なお、ここでは後方画像を反転させて前方画像と位置合わせする例を挙げているが、前方画像を反転させて後方画像と位置合わせすることとしても、もちろんよい。
【0067】
濃度正規化処理部４４は、被験者ごとに異なる正常骨領域の濃度値のばらつきを抑えるために、濃度値の正規化を行う機能を有する。濃度正規化処理部４４は、濃度レンジ調整、正常骨レベルの同定、グレースケール正規化の処理により濃度値の正規化を行う。濃度正規化処理部４４は、入力されたシンチグラムの濃度Ｉinを次式（３）によって正規化した濃度Ｉnormalizedに変換する。
【数2】
【0068】
パッチ画像作成部４５は、被験者のシンチグラムからパッチ画像を切り出して作成する機能を有する。本実施の形態においては、パッチ画像作成部４５は、前方画像と後方画像から対応する場所のパッチ画像を切り出して、前後一対のパッチ画像を生成する。図１２において、前方画像から得られたパッチ画像Ａと後方画像から得られたパッチ画像Ａ´は対をなすパッチ画像である。また、パッチ画像Ｂとパッチ画像Ｂ´も対をなすパッチ画像である。
【0069】
本例において、パッチ画像のサイズは、６４×６４[pixels]である。被験者のシンチグラム（５１２×１０２４[pixels]）の上を６４×６４[pixels]のウィンドウを２[pixels]間隔で走査し、（１）ウィンドウ内に集積ラベル（骨転移領域又は非骨転移領域）が含まれるか、あるいは（２）骨領域が含まれ、集積が含まれない場合に、画像パッチとして切り出す。前方画像または後方画像のいずれか一方で上記（１）（２）の条件に該当し、パッチ画像を切り出した場合には、前方画像または後方画像の他方から対になるパッチ画像を切り出す。
【0070】
学習部４６は、パッチ画像を用いて、シンチグラムから骨転移領域を検出するためのニューラルネットワークモデルの学習を行う機能を有する。本実施の形態では、ニューラルネットワークモデルとして、２つのＵ－Ｎｅｔを結合した構造を有するＢｕｔｔｅｒｆｌｙ－Ｎｅｔを用いる。
【0071】
図１３は、本実施の形態で用いるＢｕｔｔｅｒｆｌｙ－Ｎｅｔの例を示す図である。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔの上側は下の凸の構成を有しており、図３で示したネットワークとほぼ同じ構造を有している。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔの下側は上に凸の構成を有しており、図３で示したネットワークと同じ構造を有している（上下を反転して描いているだけである）。Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔは、２つのＵ－Ｎｅｔが８×８の１２８個ずつの特徴マップのところで結合されている。
【0072】
また、本実施の形態で用いるニューラルネットワークモデルは、より高度な特徴を抽出するために、残差ブロックのひとつであるＢｏｔｔｌｅｎｅｃｋ（K. He, X. Zhang, S. Ren, and J. Sun「Deep residual learning for image recognition」arXiv:1512.03385, 2015）を用いている。このように改良されたＢｕｔｔｅｒｆｌｙ－Ｎｅｔを、本書では「ＲｅｓＢｕｔｔｅｒｆｌｙ－Ｎｅｔ」という。
【0073】
本例において、入力画像はグレースケールであり、入力の次元は６４×６４×１である。まず、畳み込み層でチャンネル数を３２にし、Ｂｏｔｔｌｅｎｅｃｋに通す。その後、２×２のＭＡＸプーリングを行い、チャンネル数が倍になるようにＢｏｔｔｌｅｎｅｃｋに通す。これらの層を計３回繰り返す処理を上下のＵ－Ｎｅｔのそれぞれで行う。そして、８×８×１２８のサイズの特徴マップが得られたところで、上下の２つのＵ－Ｎｅｔの特徴マップを結合し、さらに、ＢｏｔｔｌｅｎｅｃｋとＭＡＸプーリングを２回行って、最終的にＥｎｃｏｄｅによって２×２×５１２のサイズの特徴マップを得る。
【0074】
続いて、Ｂｏｔｔｌｅｎｅｃｋに通した後に逆畳込みを行って、特徴マップのサイズを倍にする。そして、逆畳込みの出力とＥｎｃｏｄｅｒの特徴マップを連結（ｃｏｎｃａｔ）し、Ｂｏｔｔｌｅｎｅｃｋに通す。Ｅｎｃｏｄｅｒと同様にこれらの層を２回行った後、その結果を複製し、上下のＥｎｃｏｄｅｒのそれぞれの特徴マップを連結し、Ｂｏｔｔｌｅｎｅｃｋに通して逆畳込みを行う処理を３回繰り返す。最後に、１×１の畳み込み層で出力クラス数である３チャンネル（骨転移領域、非悪性病変領域、その他領域）にし、６４×６４×３にする。なお、図１３では、骨転移領域（Bone metastatic legion）と非悪性病変領域（Non-malignant lesion）を示しているが、骨転移領域および非悪性病変領域以外の部分がその他領域である。
【0075】
学習部４６は、対になる前後のパッチ画像とその正解ラベルを用いて、ニューラルネットワークモデルの学習を行う。一対のパッチ画像をニューラルネットワークモデルに入力したときの出力をソフトマックス関数で変換した確率ｐｉと正解の確率との誤差（損失関数）を評価することで学習を行う。損失関数を次に示す。
ここで、ｗｃは、ピクセル数の違いの影響を低減するためのクラスｃの重みである。
【数3】
【数4】
【0076】
図１４は、第３の実施の形態の骨転移検出装置５０の構成を示す図である。骨転移検出装置５０は、被験者のシンチグラムを入力する入力部５１と、被験者のシンチグラムから骨転移領域を検出する制御部５２と、上述した学習装置４によって学習した学習済みモデルを記憶した記憶部５８と、検出した骨転移領域のデータを出力する出力部５９とを有している。
【0077】
制御部５２は、画像反転部５３と、前後画像位置合せ部５４と、濃度正規化処理部５５と、パッチ画像作成部５６と、推論部５７とを有している。画像反転部５３、前後画像位置合せ部５４及び濃度正規化処理部５５は、学習装置４が備える画像反転部４２、前後画像位置合せ部４３及び濃度正規化処理部４４と同じである。パッチ画像作成部５６は、入力された被験者のシンチグラム（前方画像および後方画像）からパッチ画像を切り出す機能を有する。パッチ画像作成部５６は、前後のシンチグラムから対応する領域を切り出して対をなすパッチ画像を生成する。なお、パッチ画像作成部５６は、学習装置４が備えるパッチ画像作成部４５とは、パッチ画像を切り出す間隔を変えてもよい。
【0078】
推論部５７は、学習済みモデル記憶部５８から学習済みモデルを読み出し、学習済みモデルの入力層に一対のパッチ画像を入力し、パッチ画像の各画素が、骨転移領域・非悪性病変領域・その他領域の各クラスに該当する確率を求める。
【0079】
図１５は、学習装置４の動作を示す図である。学習装置４は、教師データとして、複数の被験者のシンチグラム（前方画像および後方画像）とそれに対応する正解ラベル（骨転移領域、非悪性病変領域、その他領域）を入力する（Ｓ３０）。学習装置４は、後方画像を反転させ（Ｓ３１）、前方画像と反転された後方画像との位置合わせを行う（Ｓ３２）。次に、学習装置４は、入力された前方画像および後方画像の濃度正規化を行い（Ｓ３３）、前後の画像の対応する領域を切り出して複数対のパッチ画像を生成する（Ｓ３４）。
【0080】
続いて、学習装置４は、パッチ画像とそれに対応する正解ラベルを用いて、ニューラルネットワークモデルの学習を行う（Ｓ３５）。上述したとおり、ここでの学習では、一対の前後のパッチ画像をＢｕｔｔｅｒｆｌｙ－Ｎｅｔの入力層に入力し、出力層から出力されたクラスと正解データとに基づいて学習を行う。学習装置４は、学習によって得られたニューラルネットワークモデルを記憶部４７に記憶する（Ｓ３６）。なお、学習済みのモデルを骨転移検出装置５０で用いる場合には、記憶部４７に記憶された学習モデルを読み出して、他の装置等に出力する。
【0081】
第３の実施の形態の学習装置４は、学習モデルとしてＢｕｔｔｅｒｆｌｙ－Ｎｅｔのニューラルネットワークモデルを用い、その入力層に一対の前後のパッチ画像を入力して学習を行う構成としたので、相関の高いパッチ画像を同時に処理することにより、精度良く骨転移領域を検出できるニューラルネットワークのモデルを生成することができる。
【0082】
なお、第３の実施の形態に係る学習装置４においても、第１の実施の形態と同様に、パッチ画像を反転し、多数のパッチ画像のうちの一部のパッチ画像を左右反転することにより、教師データのバリエーションを増やしてもよい。ただし、本実施の形態においては、教師データであるパッチ画像は前後一対の画像であるので、前方または後方のパッチ画像を反転させた場合には、他方のパッチ画像も同じ方向に反転させる。このようにパッチ画像を反転させて教師データを増やすことにより、ロバストな学習を行うことができる。
【0083】
また、上記した第３の実施の形態に係る学習装置４では、第１の実施の形態とは異なるクラスに分類する学習済みモデルを生成する例を挙げたが、第１の実施の形態と同じクラスに分類する学習済みモデルを生成することももちろん可能である。逆に、上記した第１の実施の形態や第２の実施の形態では、注射漏れや尿漏れを除外したが、腎臓や膀胱等の生理的集積、注射漏れ・尿漏れ、及び背景をその他領域として、第３の実施の形態と同じクラスに分類するモデルを生成することもできる。
【実施例】
【0084】
（実施例１）
第１の実施の形態の学習装置１を用いて生成した学習済みモデルを用いて、骨転移領域を検出した実施例について説明する。学習済みモデルとしては、パッチ画像を反転させた教師データを用いて生成した学習済みモデルと、パッチ画像を反転させない教師データを用いて生成した学習済みモデルで、骨転移領域の検出を行った。
（実験に用いた試料）
・前面骨シンチグラム濃度値正規化画像：１０３症例
・画像サイズ：５１２×１０２４[pixels]
・解像度：２．８×２．８[mm/pixel]
・パッチサイズ：６４×６４[pixels]
第１の実施の形態の学習装置１を用いて生成した学習済みモデルを用いて、骨転移領域を検出した実施例について説明する。学習済みモデルとしては、パッチ画像を反転させた教師データを用いて生成した学習済みモデルと、パッチ画像を反転させない教師データを用いて生成した学習済みモデルで、骨転移領域の検出を行った。
（実験に用いた試料）
・前面骨シンチグラム濃度値正規化画像：１０３症例
・画像サイズ：５１２×１０２４[pixels]
・解像度：２．８×２．８[mm/pixel]
・パッチサイズ：６４×６４[pixels]
【0085】
（評価法）
・３－ｆｏｌｄ交差検証（学習：６８症例、検証：１７症例、テスト：１７～１８症例）
なお、検証データは、学習の反復回数を決定するためのデータである。
・３－ｆｏｌｄ交差検証（学習：６８症例、検証：１７症例、テスト：１７～１８症例）
なお、検証データは、学習の反復回数を決定するためのデータである。
【0086】
（評価値）
・ＦＰ（Ｐ）：画素単位の拾いすぎ
・ＦＮ（Ｐ）：骨転移領域の画素単位の見落とし
・Ｓｅｎｓｉｔｉｖｉｔｙ：骨転移領域の領域単位の検出率
＝（検出した骨転移領域数）／（骨転移領域数）
・ＦＲＯＣ曲線：Ｓｅｎｓｉｔｉｖｉｔｙ ｖｓ．ＦＰ（Ｐ）又はＦＰ（Ｒ）
・ＦＰ（Ｐ）／背景＋ＦＮ（Ｐ）／骨転移領域
・ＦＰ（Ｐ）：画素単位の拾いすぎ
・ＦＮ（Ｐ）：骨転移領域の画素単位の見落とし
・Ｓｅｎｓｉｔｉｖｉｔｙ：骨転移領域の領域単位の検出率
＝（検出した骨転移領域数）／（骨転移領域数）
・ＦＲＯＣ曲線：Ｓｅｎｓｉｔｉｖｉｔｙ ｖｓ．ＦＰ（Ｐ）又はＦＰ（Ｒ）
・ＦＰ（Ｐ）／背景＋ＦＮ（Ｐ）／骨転移領域
【0087】
（モデルの学習条件）
・Ｏｐｔｉｍｉｚｅｒ：Ａｄａｍ（α=0.001, β１=0.9, β２=0.999）
・バッチサイズ６４
・反復回数：１００００回
・検証にて、ＦＰ（Ｐ）＋ＦＮ（Ｐ）が最少のネットワークを選択
・Ｏｐｔｉｍｉｚｅｒ：Ａｄａｍ（α=0.001, β１=0.9, β２=0.999）
・バッチサイズ６４
・反復回数：１００００回
・検証にて、ＦＰ（Ｐ）＋ＦＮ（Ｐ）が最少のネットワークを選択
【0088】
（比較例）
比較例として、多数の弱分類器による分類結果に基づいて検出を行うＭａｄａＢｏｏｓｔ（C. Domingo and O. Watanabe「MadaBoost: A modification of AdaBoost」Proc. Thirteenth Annual Conference on Computational Learning Theory, pp.180-189, 2000）を用いて求めた検出結果と比較した。ＭａｄａＢｏｏｓｔのアルゴリズムは、発明者らの研究室で開発した方法を用いた（南勇太「骨シンチグラム上の骨転移検出処理の改良」第３回腫瘍核医学画像解析ソフトウェア開発会議）。
比較例として、多数の弱分類器による分類結果に基づいて検出を行うＭａｄａＢｏｏｓｔ（C. Domingo and O. Watanabe「MadaBoost: A modification of AdaBoost」Proc. Thirteenth Annual Conference on Computational Learning Theory, pp.180-189, 2000）を用いて求めた検出結果と比較した。ＭａｄａＢｏｏｓｔのアルゴリズムは、発明者らの研究室で開発した方法を用いた（南勇太「骨シンチグラム上の骨転移検出処理の改良」第３回腫瘍核医学画像解析ソフトウェア開発会議）。
【0089】
（実験結果）
図１０は、実験によって得られたＳｅｎｓｉｔｉｖｉｔｙとＦＰ（Ｐ）との関係を示すＦＲＯＣ曲線である。図１０に示すＦＲＯＣ曲線は、縦軸のＳｅｎｓｉｔｉｖｉｔｙが高くなると、それだけ、非骨転移領域を骨転移領域として拾ってしまう「拾いすぎ」が多くなることを示している。実施例に係る方法では、例えば、Ｓｅｎｓｉｔｉｖｉｔｙを０．８とすると、拾いすぎは２００画素以下である。ＭａｄａＢｏｏｓｔを用いた従来法では、５００画素以上の拾いすぎが生じていたことと比べると、実施例では、拾いすぎを抑制することができた。図１０において、Ｕ－Ｎｅｔ（Ｆｌｉｐ）のグラフは、一部のパッチ画像を反転させた教師データを用いて生成した学習済みモデルを用いて検出を行った結果を示し、Ｕ－Ｎｅｔのグラフは、パッチ画像の反転を行わないで生成した学習済みモデルを用いて検出を行った結果を示す図である。
図１０は、実験によって得られたＳｅｎｓｉｔｉｖｉｔｙとＦＰ（Ｐ）との関係を示すＦＲＯＣ曲線である。図１０に示すＦＲＯＣ曲線は、縦軸のＳｅｎｓｉｔｉｖｉｔｙが高くなると、それだけ、非骨転移領域を骨転移領域として拾ってしまう「拾いすぎ」が多くなることを示している。実施例に係る方法では、例えば、Ｓｅｎｓｉｔｉｖｉｔｙを０．８とすると、拾いすぎは２００画素以下である。ＭａｄａＢｏｏｓｔを用いた従来法では、５００画素以上の拾いすぎが生じていたことと比べると、実施例では、拾いすぎを抑制することができた。図１０において、Ｕ－Ｎｅｔ（Ｆｌｉｐ）のグラフは、一部のパッチ画像を反転させた教師データを用いて生成した学習済みモデルを用いて検出を行った結果を示し、Ｕ－Ｎｅｔのグラフは、パッチ画像の反転を行わないで生成した学習済みモデルを用いて検出を行った結果を示す図である。
【0090】
（実施例２）
第３の実施の形態の学習装置４を用いて生成した学習済みモデルを用いて、骨転移領域を検出した実施例について説明する。学習済みモデルとしては、第３の実施の形態で説明したＲｅｓＢｕｔｔｅｒｆｌｙ－Ｎｅｔと、ＲｅｓＢｕｔｔｅｒｆｌｙ－ＮｅｔのＢｏｔｔｌｅｎｅｃｋを畳込み層に代えたＢｕｔｔｅｒｆｌｙ－Ｎｅｔを用いた。また、比較例としてＵ－Ｎｅｔを用いた。
第３の実施の形態の学習装置４を用いて生成した学習済みモデルを用いて、骨転移領域を検出した実施例について説明する。学習済みモデルとしては、第３の実施の形態で説明したＲｅｓＢｕｔｔｅｒｆｌｙ－Ｎｅｔと、ＲｅｓＢｕｔｔｅｒｆｌｙ－ＮｅｔのＢｏｔｔｌｅｎｅｃｋを畳込み層に代えたＢｕｔｔｅｒｆｌｙ－Ｎｅｔを用いた。また、比較例としてＵ－Ｎｅｔを用いた。
【0091】
（実験に用いた試料）
・５２歳～９５歳の前立腺癌の日本人男性：２４６症例
（評価法）
・３－ｆｏｌｄ交差検証（学習：１６４症例、検証：４１症例、テスト：４１症例）
なお、検証データは、学習の最適な反復回数を決定するためのデータである。
（評価値）
・ＦＰ（Ｐ）：画素単位の拾いすぎ
・ＦＰ（Ｒ）：領域単位の拾いすぎ
・ＦＰ（Ｐ）＋ＦＮ（Ｐ）：画素単位の拾いすぎと骨転移領域の画素単位の見落とし
（モデルの学習条件）
・Ｏｐｔｉｍｉｚｅｒ：Ａｄａｍ（α=0.001, β１=0.9, β２=0.999）
・バッチサイズ２５６
・反復回数：最大５００００回とし、誤分類されたピクセルの総数が最小になったときを最適の反復回数とした。
・５２歳～９５歳の前立腺癌の日本人男性：２４６症例
（評価法）
・３－ｆｏｌｄ交差検証（学習：１６４症例、検証：４１症例、テスト：４１症例）
なお、検証データは、学習の最適な反復回数を決定するためのデータである。
（評価値）
・ＦＰ（Ｐ）：画素単位の拾いすぎ
・ＦＰ（Ｒ）：領域単位の拾いすぎ
・ＦＰ（Ｐ）＋ＦＮ（Ｐ）：画素単位の拾いすぎと骨転移領域の画素単位の見落とし
（モデルの学習条件）
・Ｏｐｔｉｍｉｚｅｒ：Ａｄａｍ（α=0.001, β１=0.9, β２=0.999）
・バッチサイズ２５６
・反復回数：最大５００００回とし、誤分類されたピクセルの総数が最小になったときを最適の反復回数とした。
【0092】
（実験結果）
表１は、骨転移領域の感度が０．９のときの各評価値を示す。上が前方画像の結果、下が後方画像の結果である。
表１に見られるように、学習モデルとしてＲｅｓＢｕｔｔｅｒｆｌｙ－Ｎｅｔ、Ｂｕｔｔｅｒｆｌｙ－Ｎｅｔを用いると、Ｕ－Ｎｅｔを用いたモデルよりも、ホットスポット検出時の誤りが少ないことが、多くの指標において確認できた。
表１は、骨転移領域の感度が０．９のときの各評価値を示す。上が前方画像の結果、下が後方画像の結果である。
【表1】
【0093】
上記実施形態よび実施例は以下（１）から（１１）に示す技術思想を包含するものである。
（１） 被験者のシンチグラムから異常集積を検出するためのニューラルネットワークのモデルを生成する学習装置であって、
複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして入力する入力部と、
前記教師データを用いて骨シンチグラムの異常集積の検出に用いるニューラルネットワークのモデルの学習を行う学習部と、
を備える学習装置。
（２）前記複数の被験者のシンチグラムから、被験者の骨が写っている領域を切り出してパッチ画像を作成するパッチ画像作成部を備え、
前記学習部は、前記パッチ画像およびそれに対応する正解ラベルを教師データとして用いて学習を行う（１）に記載の学習装置。
（３）前記パッチ画像作成部は、前記被験者のシンチグラム上で所定の大きさのウィンドウを走査し、当該ウィンドウ内に被験者の骨が写っているときに、前記ウィンドウの領域を前記パッチ画像として切り出す（２）に記載の学習装置。
（４）前記パッチ画像作成部にて作成したパッチ画像において、正常集積又は異常集積を含むパッチ画像と正常集積及び異常集積のいずれも含まないパッチ画像の構成比を求める教師データ分析部を備える（２）または（３）に記載の学習装置。
（５）前記教師データ分析部にて求めた構成比が、所定の範囲に含まれるように、パッチ画像作成部にて作成されたパッチ画像から、正常集積及び異常集積のいずれも含まないパッチ画像を間引くパッチ画像選択部を備える請求項４に記載の学習装置。
（６）前記パッチ画像作成部にて作成されたパッチ画像の少なくとも一部のパッチ画像を左右反転または上下反転させるパッチ画像反転部を備える（１）ないし（５）のいずれかに記載の学習装置。
（７）前記ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造を含んでいる（１）ないし（６）のいずれかに記載の学習装置。
（８）被験者のシンチグラムから異常集積を検出するためのニューラルネットワークのモデルを生成する学習方法であって、
複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして入力するステップと、
前記教師データを用いて骨シンチグラムの異常集積の検出に用いるニューラルネットワークのモデルの学習を行うステップと、
を備える学習方法。
（９）被験者のシンチグラムから異常集積を検出するためのニューラルネットワークのモデルを生成するためのプログラムであって、
複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして入力するステップと、
前記教師データを用いて骨シンチグラムの異常集積の検出に用いるニューラルネットワークのモデルの学習を行うステップと、
を実行させるプログラム。
（１０）被験者のシンチグラムから異常集積を検出するよう、コンピュータを機能させるための学習済みモデルであって、
畳み込み層と、逆畳み込み層とを有し、畳み込み層で得られた特徴マップを逆畳み込み層に入力する構造を含むニューラルネットワークで構成され、複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして学習されたものであり、前記ニューラルネットワークに入力された被験者のシンチグラムから異常集積を検出するよう、コンピュータを機能させる学習済みモデル。
（１１）（２）ないし（７）のいずれかに記載の学習装置で学習されたニューラルネットワークの学習済みモデルを記憶した記憶部と、
被験者のシンチグラムを入力する入力部と、
前記シンチグラムからパッチ画像を作成するパッチ画像作成部と、
前記記憶部から読み出した学習済みモデルの入力層に前記パッチ画像を入力し、前記パッチ画像に含まれる異常集積の領域を求める推論部と、
前記異常集積領域を示すデータを出力する出力部と、
を備える異常集積検出装置。
（１） 被験者のシンチグラムから異常集積を検出するためのニューラルネットワークのモデルを生成する学習装置であって、
複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして入力する入力部と、
前記教師データを用いて骨シンチグラムの異常集積の検出に用いるニューラルネットワークのモデルの学習を行う学習部と、
を備える学習装置。
（２）前記複数の被験者のシンチグラムから、被験者の骨が写っている領域を切り出してパッチ画像を作成するパッチ画像作成部を備え、
前記学習部は、前記パッチ画像およびそれに対応する正解ラベルを教師データとして用いて学習を行う（１）に記載の学習装置。
（３）前記パッチ画像作成部は、前記被験者のシンチグラム上で所定の大きさのウィンドウを走査し、当該ウィンドウ内に被験者の骨が写っているときに、前記ウィンドウの領域を前記パッチ画像として切り出す（２）に記載の学習装置。
（４）前記パッチ画像作成部にて作成したパッチ画像において、正常集積又は異常集積を含むパッチ画像と正常集積及び異常集積のいずれも含まないパッチ画像の構成比を求める教師データ分析部を備える（２）または（３）に記載の学習装置。
（５）前記教師データ分析部にて求めた構成比が、所定の範囲に含まれるように、パッチ画像作成部にて作成されたパッチ画像から、正常集積及び異常集積のいずれも含まないパッチ画像を間引くパッチ画像選択部を備える請求項４に記載の学習装置。
（６）前記パッチ画像作成部にて作成されたパッチ画像の少なくとも一部のパッチ画像を左右反転または上下反転させるパッチ画像反転部を備える（１）ないし（５）のいずれかに記載の学習装置。
（７）前記ニューラルネットワークは、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ構造を有し、Ｅｎｃｏｄｅｒ構造で得た特徴マップをＤｅｃｏｄｅｒ構造に入力する構造を含んでいる（１）ないし（６）のいずれかに記載の学習装置。
（８）被験者のシンチグラムから異常集積を検出するためのニューラルネットワークのモデルを生成する学習方法であって、
複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして入力するステップと、
前記教師データを用いて骨シンチグラムの異常集積の検出に用いるニューラルネットワークのモデルの学習を行うステップと、
を備える学習方法。
（９）被験者のシンチグラムから異常集積を検出するためのニューラルネットワークのモデルを生成するためのプログラムであって、
複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして入力するステップと、
前記教師データを用いて骨シンチグラムの異常集積の検出に用いるニューラルネットワークのモデルの学習を行うステップと、
を実行させるプログラム。
（１０）被験者のシンチグラムから異常集積を検出するよう、コンピュータを機能させるための学習済みモデルであって、
畳み込み層と、逆畳み込み層とを有し、畳み込み層で得られた特徴マップを逆畳み込み層に入力する構造を含むニューラルネットワークで構成され、複数の被験者のシンチグラムと各シンチグラムにおける正常集積及び異常集積の正解ラベルを教師データとして学習されたものであり、前記ニューラルネットワークに入力された被験者のシンチグラムから異常集積を検出するよう、コンピュータを機能させる学習済みモデル。
（１１）（２）ないし（７）のいずれかに記載の学習装置で学習されたニューラルネットワークの学習済みモデルを記憶した記憶部と、
被験者のシンチグラムを入力する入力部と、
前記シンチグラムからパッチ画像を作成するパッチ画像作成部と、
前記記憶部から読み出した学習済みモデルの入力層に前記パッチ画像を入力し、前記パッチ画像に含まれる異常集積の領域を求める推論部と、
前記異常集積領域を示すデータを出力する出力部と、
を備える異常集積検出装置。
【0094】
この出願は、２０１８年５月１８日に出願された日本出願特願２０１８－０９６１８６号を基礎とする優先権を主張し、その開示の総てをここに取り込む。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】