(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-12
(45)【発行日】2022-10-20
(54)【発明の名称】推定装置、システム及び推定方法
(51)【国際特許分類】
A61B 6/00 20060101AFI20221013BHJP
【FI】
A61B6/00 350Z
A61B6/00 360Z
A61B6/00 ZDM
(21)【出願番号】P 2022075792
(22)【出願日】2022-05-02
(62)【分割の表示】P 2020124995の分割
【原出願日】2019-09-10
【審査請求日】2022-05-02
(31)【優先権主張番号】P 2018168502
(32)【優先日】2018-09-10
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2018220401
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100088672
【氏名又は名称】吉竹 英俊
(74)【代理人】
【識別番号】100088845
【氏名又は名称】有田 貴弘
(74)【代理人】
【識別番号】100156177
【氏名又は名称】池見 智治
(74)【代理人】
【識別番号】100130166
【氏名又は名称】田中 宏明
(72)【発明者】
【氏名】渡辺 健一
(72)【発明者】
【氏名】京本 政之
(72)【発明者】
【氏名】本多 信太郎
(72)【発明者】
【氏名】茂呂 徹
(72)【発明者】
【氏名】田中 栄
【審査官】佐野 浩樹
(56)【参考文献】
【文献】米国特許第06064716(US,A)
【文献】米国特許第06570955(US,B1)
【文献】米国特許出願公開第2001/0002925(US,A1)
【文献】特開平09-248292(JP,A)
【文献】特表2002-523204(JP,A)
【文献】特表2011-523573(JP,A)
【文献】特表平09-508813(JP,A)
【文献】特開2012-139411(JP,A)
【文献】特開2008-036068(JP,A)
【文献】米国特許出願公開第2016/0015347(US,A1)
【文献】韓国公開特許第10-2018-0029476(KR,A)
【文献】特表2007-524438(JP,A)
【文献】国際公開第2016/194161(WO,A1)
【文献】米国特許第05259384(US,A)
【文献】国際公開第2017/141958(WO,A1)
【文献】特開2018-011958(JP,A)
【文献】特開2007-052774(JP,A)
【文献】中国特許出願公開第107485405(CN,A)
【文献】GONZALEZ, G. et.al,Deep learning for biomarker regression: application to osteoporosis and emphysema on chest CT scans,SPIE Medical Imaging,2018年,Proceedings Volume 10574,105741H-1 to 105741H-7,[検索日:2022.08.23], <DOI:https://doi.org/10.1117/12.2293455>
【文献】CHU, P. et al.,Using Octuplet Siamese Network For Osteoporosis Analysis On Dental Panoramic Radiographs,2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC),2018年,p. 2579-2582,[検索日:2022.08.23], <DOI:10.1109/EMBC.2018.8512755>
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055、 6/00 - 6/14 、
G06T 1/00 - 1/40 、 3/00 - 7/90 、
G06V10/00 -20/90 、30/418、40/16 、
40/20
(57)【特許請求の範囲】
【請求項1】
人の骨格の単純X線像の正面像の第1画像を有した入力情報から、学習済みパラメータに基づいて骨の骨密度
を推定する推定部を備える、推定装置。
【請求項2】
請求項1に記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の第2画像を含む学習データと、前記第2画像に写る骨を有する
人の骨密度を含む教師データとに基づいて設定される、推定装置。
【請求項3】
請求項2に記載の推定装置であって、
前記教師データは、
人の骨格に対してその正面からX線が照射されて測定された骨密度を含む、推定装置。
【請求項4】
請求項2または請求項3に記載の推定装置であって、
前記教師データは、前記第1画像に写る
骨格の部位に含まれない部位の骨密度を含む、推定装置。
【請求項5】
請求項2~4のいずれかに記載の推定装置であって、
前記入力情報は、同一の
人が有する
骨格の複数の第1画像であって、それらに写る
骨格の部位の向きが互いに異なる複数の第1画像で構成された第1画像セットを有し、
前記
推定部には、前記第1画像セットを構成する複数の第1画像が並列的に入力され、
前記学習データは、同一の
人が有する
骨格の複数の第2画像であって、それらに写る
骨格の部位の向きが互いに異なる複数の第2画像で構成された第2画像セットを含む、推定装置。
【請求項6】
請求項5に記載の推定装置であって、
前記第1画像セットは、少なくとも一つの正面像と少なくとも一つの側面像とを含む、推定装置。
【請求項7】
請求項2~6のいずれかに記載の推定装置であって
前記学習済みパラメータは、
前記第1画像に写る
骨格とは異なる部位の
骨格の第2画像を含む学習データに基づいて設定されている、推定装置。
【請求項8】
請求項2~6のいずれかに記載の推定装置であって
前記学習済みパラメータは、
前記第1画像に写る
骨格と同じ部位の
骨格の第2画像を含む学習データに基づいて設定されている、推定装置。
【請求項9】
請求項2~8のいずれかに記載の推定装置であって、
前記第2画像は、単純X線像である、推定装置。
【請求項10】
請求項2~9のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の第2画像を含む学習データと、前記第2画像に写る骨の骨密度を含む教師データに基づいて設定されている、推定装置。
【請求項11】
請求項2~10のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨の骨密度を含む教師データと、前記教師データに骨密度が含まれる骨を有する人の
骨格の複数の第2画像を含む学習データに基づいて設定されている、推定装置。
【請求項12】
請求項2~11のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の第2画像を含む学習データと、前記第2画像に写る骨を有する人の
骨格の複数の部位の骨密度を含む教師データに基づいて設定されている、推定装置。
【請求項13】
請求項2~12のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の第2画像を含む学習データと、前記第2画像に写る骨を有する人の骨の骨密度を含む教師データに基づいて設定されており、
前記学習データと前記教師データは同じ時期に取得されている、推定装置。
【請求項14】
請求項2~13のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
前記第1画像に写る
骨格と同じ部位の
骨格の第2画像を含む学習データに基づいて設定されており、
前記第1画像
に写る骨格の向きと、前記第2画像
に写る骨格の向きとは異なっている、推定装置。
【請求項15】
請求項2~13のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
前記第1画像に写る
骨格と同じ部位の
骨格の第2画像を含む学習データに基づいて設定されており、
前記第1画像
に写る骨格の向きと、前記第2画像
に写る骨格の向きとは同じである、推定装置。
【請求項16】
請求項2~15のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の第2画像と、前記第2画像の写る骨を有する人の健康状態に関する情報と含む学習データに基づいて設定されている、推定装置。
【請求項17】
請求項16に記載の推定装置であって、
前記健康状態に関する情報は、飲酒習慣情報、喫煙習慣情報及び骨折歴の有無情報の少なくとも1種類を含む、推定装置。
【請求項18】
請求項2~17のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の複数の第2画像であって、人の骨格を異なる向きから撮影した複数の第2画像に基づいて設定されている、推定装置。
【請求項19】
請求項2~18のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
同一人を撮影した時間軸の異なる複数の第2画像を含む学習データに基づいて設定されている、推定装置。
【請求項20】
請求項2~19のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
それぞれ異なる人の
骨格の複数の第2画像を含む学習データに基づいて設定されている、推定装置。
【請求項21】
請求項2~20のいずれかに記載の推定装置であって、
前記教師データは、腰椎、大腿骨近位部、橈骨、手骨、脛骨及び踵骨のうち、少なくとも1つの骨密度を有している、推定装置。
【請求項22】
請求項2~21のいずれかに記載の推定装置であって、
前記教師データは、dual-energy X-ray absorptiometry法及び超音波法のうち少なくとも1つに基づいて測定された骨密度を有している、推定装置。
【請求項23】
請求項2~22のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の単純X線像である第2画像を含む学習データと、前記
骨格のdual-energy X-ray absorptiometry法で測定された骨密度を含む教師データとに基づいて設定されており、
前記第2画像の撮影時のX線の照射向きと、前記骨密度の測定時のX線の照射向きとは異なっている、推定装置。
【請求項24】
請求項2~22のいずれかに記載の推定装置であって、
前記学習済みパラメータは、
人の骨格の単純X線像である第2画像を含む学習データと、前記
骨格のdual-energy X-ray absorptiometry法で測定された骨密度を含む教師データとに基づいて設定されており、
前記第2画像の撮影時のX線の照射向きと、前記骨密度の測定時のX線の照射向きとは同じである、推定装置。
【請求項25】
請求項2~24のいずれかに記載の推定装置であって、
前記教師データは、腰椎の骨密度を含んでいる、推定装置。
【請求項26】
請求項2~25のいずれかに記載の推定装置であって、
前記教師データは、大腿骨近位部の骨密度を含んでいる、推定装置。
【請求項27】
請求項1~26いずれかに記載の推定装置であって、
前記第1画像は、腰椎または胸部の正面像を含んでいる、推定装置。
【請求項28】
請求項1~27のいずれかに記載の推定装置であって、
前記第1画像は、膝関節像を含んでいる、推定装置。
【請求項29】
請求項1~28のいずれかに記載の推定装置であって、
前記第1画像は、単純X線撮影装置で得られた画像が縮小されたものである、推定装置。
【請求項30】
請求項1~29のいずれかに記載の推定装置であって、
前記第1画像は、単純X線撮影装置で得られた画像の階調数が低減されたものである、推定装置。
【請求項31】
請求項1~30のいずれかに記載の推定装置と、
前記推定装置で得られた
骨密度の推定結果を表示する表示装置と
を備える、システム。
【請求項32】
推定装置での推定方法であって、
人の骨格の単純X線像の正面像の第1画像を有した入力情報から、学習済みパラメータに基づいて骨の骨密度
を推定する、推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、骨密度の推定に関する。
【背景技術】
【0002】
特許文献1には、骨粗鬆症を判定する技術が記載されている。特許文献2には、骨の強度を推定する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2008-36068号公報
【文献】特表2002-523204号公報
【発明の概要】
【課題を解決するための手段】
【0004】
推定装置、システム及び推定方法が開示される。一の実施の形態では、人の骨格の単純X線像の正面像の第1画像を有した入力情報から、学習済みパラメータに基づいて骨の骨密度を推定する推定部を備える。
【0005】
一の実施の形態では、システムは、上記の推定装置と、推定装置で得られた骨密度の推定結果を表示する表示装置とを備える。
【0006】
一の実施の形態では、推定方法は推定装置での推定方法である。推定方法では、人の骨格の単純X線像の正面像の第1画像を有した入力情報から、学習済みパラメータに基づいて骨の骨密度を推定する。
【図面の簡単な説明】
【0007】
【
図1】コンピュータ装置(推定装置)の構成の一例を示す図である。
【
図3】ニューラルネットワークの構成の一例を示す図である。
【
図4】学習用画像データ及び基準骨密度が互いに対応付けられている様子の一例を示す図である。
【
図13】推定システムの構成を模式的に示す概念図である。
【
図14】推定システムの一部の構成を模式的に示す概念図である。
【
図15】推定システムの一部の構成を模式的に示す概念図である。
【
図16】推定システムの一部の構成を模式的に示す概念図である。
【
図17】推定システムの一部の構成を模式的に示す概念図である。
【
図18】推定システムの他の実施形態の一部の構成を模式的に示す概念図である。
【発明を実施するための形態】
【0008】
実施の形態1.
図1は本実施の形態1に係るコンピュータ装置1の構成の一例を示すブロック図である。コンピュータ装置1は、骨密度を推定する推定装置として機能する。以後、コンピュータ装置1を「推定装置1」と呼ぶことがある。
【0009】
図1に示されるように、推定装置1は、例えば、制御部10、記憶部20、通信部30、表示部40及び入力部50を備える。制御部10、記憶部20、通信部30、表示部40及び入力部50は、例えば、バス60で互いに電気的に接続されている。
【0010】
制御部10は、推定装置1の他の構成要素を制御することによって、推定装置1の動作を統括的に管理することが可能である。制御部10は制御装置あるいは制御回路とも言える。制御部10は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも1つのプロセッサを含む。
【0011】
種々の実施形態によれば、少なくとも1つのプロセッサは、単一の集積回路(IC)として、または複数の通信可能に接続された集積回路(IC)及び/またはディスクリート回路(discrete circuits)として実行されてもよい。少なくとも1つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
【0012】
1つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって1以上のデータ計算手続又は処理を実行するように構成された1以上の回路又はユニットを含む。他の実施形態において、プロセッサは、1以上のデータ計算手続き又は処理を実行するように構成されたファームウェア(例えば、ディスクリートロジックコンポーネント)であってもよい。
【0013】
種々の実施形態によれば、プロセッサは、1以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイス及び構成の組み合わせを含み、以下に説明される機能を実行してもよい。本例では、制御部10は、例えばCPU(Central Processing Unit)を備えている。
【0014】
記憶部20は、ROM(Read Only Memory)及びRAM(Random Access Memory)などの、制御部10のCPUが読み取り可能な非一時的な記録媒体を含む。記憶部20には、推定装置1を制御するための制御プログラム100が記憶されている。制御部10の各種機能は、制御部10のCPUが記憶部20内の制御プログラム100を実行することによって実現される。制御プログラム100は、コンピュータ装置1を推定装置として機能させるための骨密度推定プログラムであるとも言える。本例では、制御部10が記憶部20内の制御プログラム100を実行することによって、制御部10には、
図2に示されるように、骨密度の推定値300を出力することが可能な近似器280が形成される。近似器280は、例えば、ニューラルネットワーク200を備える。制御プログラム100は、コンピュータ装置1をニューラルネットワーク200として機能させるためのプログラムであるとも言える。以後、骨密度の推定値を「骨密度推定値」と呼ぶことがある。なお、ニューラルネットワーク200の構成例については後で詳細に説明する。
【0015】
記憶部20には、制御プログラム100以外にも、ニューラルネットワーク200に関する学習済みパラメータ110、推定用データ120(以下、「入力情報」ともいう)、学習用データ130及び教師データ140が記憶されている。学習用データ130及び教師データ140は、ニューラルネットワーク200を学習させる際に使用されるデータである。学習済みパラメータ110及び推定用データ120は、学習済みのニューラルネットワーク200が骨密度を推定する場合に使用するデータである。
【0016】
学習用データ130は、ニューラルネットワーク200の学習時に、ニューラルネットワーク200の入力層210に入力されるデータである。学習用データ130は、学習データとも呼ばれる。教師データ140は、骨密度の正しい値を示すデータである。教師データ140は、ニューラルネットワーク200の学習時に、ニューラルネットワーク200の出力層230から出力される出力データと比較される。学習用データ130及び教師データ140はまとめて教師付き学習データと呼ばれることがある。
【0017】
推定用データ120は、学習済みのニューラルネットワーク200が骨密度を推定する場合に、その入力層210に入力されるデータである。学習済みパラメータ110は、ニューラルネットワーク200内の学習されたパラメータである。学習済みパラメータ110は、ニューラルネットワーク200の学習で調整されたパラメータであると言える。学習済みパラメータ110には、人工ニューロン間の結合の重みを示す重み付け係数が含まれる。学習済みのニューラルネットワーク200は、
図2に示されるように、入力層210に入力される推定用データ120に対して学習済みパラメータ110に基づく演算を行って、出力層230から骨密度推定値300を出力する。
【0018】
なお、入力層210に入力されるデータは、入力部50を介して入力層210に入力されてもよいし、入力層210に直接入力されてもよい。入力層210に直接入力される場合には、入力層210は、入力部50の一部または全部とされてもよい。以後、骨密度推定値300を推定結果300と呼ぶことがある。
【0019】
通信部30は、有線あるいは無線で、インターネット等を含む通信ネットワークに接続されている。通信部30は、通信ネットワークを通じて、クラウドサーバ及びウェブサーバ等の他の装置と通信することが可能である。通信部30は、通信ネットワークから受け取った情報を制御部10に入力することが可能である。また通信部30は、制御部10から受け取った情報を通信ネットワークに出力することが可能である。
【0020】
表示部40は、例えば、液晶表示ディスプレイあるいは有機ELディスプレイである。表示部40は、制御部10によって制御されることによって、文字、記号、図形などの各種情報を表示することが可能である。
【0021】
入力部50は、推定装置1に対するユーザからの入力を受け付けることが可能である。入力部50は、例えば、キーボード及びマウスを備える。入力部50は、表示部40の表示面に対するユーザの操作を検出することが可能なタッチパネルを備えてもよい。
【0022】
なお、推定装置1の構成は上記の例に限られない。例えば、制御部10は、複数のCPUを備えてもよい。また制御部10は、少なくとも一つのDSPを備えてもよい。また、制御部10の全ての機能あるいは制御部10の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。また記憶部20は、ROM及びRAM以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶部20は、例えば、小型のハードディスクドライブ及びSSD(Solid State Drive)などを備えてもよい。また記憶部20は、推定装置1に対して着脱可能な、USB(Universal Serial Bus)メモリ等のメモリを備えてもよい。以後、推定装置1に対して着脱可能なメモリを「着脱式メモリ」と呼ぶことがある。
【0023】
<ニューラルネットワークの構成例>
図3は、ニューラルネットワーク200の構成の一例を示す図である。本例では、ニューラルネットワーク200は、例えば、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))である。
図3に示されるように、ニューラルネットワーク200は、例えば、入力層210と、隠れ層220と、出力層230とを備える。隠れ層220は中間層とも呼ばれる。隠れ層220は、例えば、複数の畳み込み層240と、複数のプーリング層250と、全結合層260とを備える。ニューラルネットワーク200では、出力層230の前段に全結合層260が存在している。そして、ニューラルネットワーク200では、入力層210と全結合層260との間において、畳み込み層240とプーリング層250とが交互に配置されている。
【0024】
なお、ニューラルネットワーク200の構成は
図3の例には限られない。例えば、ニューラルネットワーク200は、入力層210と全結合層260との間に、1つの畳み込み層240と1つのプーリング層250とを備えてもよい。また、ニューラルネットワーク200は、畳み込みニューラルネットワーク以外のニューラルネットワークであってもよい。
【0025】
<推定用データ、学習用データ及び教師データの一例>
推定用データ120は、骨密度の推定対象の骨が写る単純X線像の画像データを含む。骨密度の推定対象は、例えば人である。したがって、推定用データ120は、人の骨が写る単純X線像の画像データを含むと言える。学習用データ130には、人の骨が写る複数の単純X線像の画像データが含まれる。単純X線像は、2次元像であって、一般X線像あるいはレントゲン像とも呼ばれる。なお、骨密度の推定対象は人以外であってもよい。例えば、骨密度の推定対象は、イヌ、ネコあるいはウマ等の動物であってもよい。また、対象とする骨は、主に、生物由来の皮質骨及び海綿骨であるが、対象とする骨に、リン酸カルシウムを主成分とする人工骨、あるいは再生医療等によって人工的に製造された再生骨が含まれてもよい。
【0026】
以後、推定用データ120に含まれる画像データを「推定用画像データ」と呼ぶことがある。また、推定用データ120に含まれる画像データが示す単純X線像を「推定用単純X線像」と呼ぶことがある。また、学習用データ130に含まれる画像データを「学習用画像データ」と呼ぶことがある。また、学習用データ130に含まれる画像データが示す単純X線像を「学習用単純X線像」と呼ぶことがある。学習用データ130には、複数の学習用単純X線像をそれぞれ示す複数の学習用X線画像データが含まれる。
【0027】
推定用単純X線像の撮影部位としては、例えば、頭部、頚部、胸部、腰部、股関節、膝関節、足関節、足部、足趾、肩関節、肘関節、手関節、手部、手指あるいは顎関節が採用される。言い換えれば、推定用データ120としては、頭部に対してX線が照射されて得られた単純X線像の画像データ、頚部に対してX線が照射されて得られた単純X線像の画像データ、胸部に対してX線が照射されて得られた単純X線像の画像データ、腰部に対してX線が照射されて得られた単純X線像の画像データ、股関節に対してX線が照射されて得られた単純X線像の画像データ、膝関節に対してX線が照射されて得られた単純X線像の画像データ、足関節に対してX線が照射されて得られた単純X線像の画像データ、足部に対してX線が照射されて得られた単純X線像の画像データ、足趾に対してX線が照射されて得られた単純X線像の画像データ、肩関節に対してX線が照射されて得られた単純X線像の画像データ、肘関節に対してX線が照射されて得られた単純X線像の画像データ、手関節に対してX線が照射されて得られた単純X線像の画像データ、手部に対してX線が照射されて得られた単純X線像の画像データ、手指に対してX線が照射されて得られた単純X線像の画像データあるいは顎関節に対してX線が照射されて得られた単純X線像の画像データが採用される。胸部に対してX線が照射されて得られた単純X線像には、肺が写る単純X線像と、胸椎が写る単純X線像とが含まれる。なお、推定用単純X線像の撮影部位の種類はこの限りではない。また、推定用単純X線像は、対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。
【0028】
学習用データ130に含まれる複数の学習用画像データがそれぞれ示す複数の学習用単純X線像の撮影部位には、例えば、頭部、頚部、胸部、腰部、股関節、膝関節、足関節、足部、足趾、肩関節、肘関節、手関節、手部、手指及び顎関節の少なくとも1種類が含まれる。言い換えれば、学習用データ130には、頭部に対してX線が照射されて得られた単純X線像の画像データ、頚部に対してX線が照射されて得られた単純X線像の画像データ、胸部に対してX線が照射されて得られた単純X線像の画像データ、腰部に対してX線が照射されて得られた単純X線像の画像データ、股関節に対してX線が照射されて得られた単純X線像の画像データ、膝関節に対してX線が照射されて得られた単純X線像の画像データ、足関節に対してX線が照射されて得られた単純X線像の画像データ、足部に対してX線が照射されて得られた単純X線像の画像データ、足趾に対してX線が照射されて得られた単純X線像の画像データ、肩関節に対してX線が照射されて得られた単純X線像の画像データ、肘関節に対してX線が照射されて得られた単純X線像の画像データ、手関節に対してX線が照射されて得られた単純X線像の画像データ、手部に対してX線が照射されて得られた単純X線像の画像データ、手指に対してX線が照射されて得られた単純X線像の画像データ及び顎関節に対してX線が照射されて得られた単純X線像の画像データの15種類の画像データのうちの少なくとも1種類が含まれる。学習用データ130には、15種類の画像データのうちの一部の種類の画像データが含まれてもよいし、全ての種類の画像データが含まれてもよい。なお、学習用単純X線像の撮影部位の種類はこの限りではない。また、複数の学習用単純X線像には、正面像が含まれてもよいし、側面像が含まれてもよい。また、複数の学習用単純X線像には、同じ撮影部位の正面像及び側面像の両方が含まれてもよい。
【0029】
教師データ140には、学習用データ130に含まれる複数の学習用画像データのそれぞれについて、当該学習用画像データが示す学習用単純X線像に写る骨を有する人の骨密度の測定値が含まれる。教師データ140に含まれる複数の骨密度の測定値には、例えば、腰椎に対してX線が照射されて測定された骨密度の測定値、大腿骨近位部に対してX線が照射されて測定された骨密度、橈骨に対してX線が照射されて測定された骨密度、中手骨に対してX線が照射されて測定された骨密度、腕部に対して超音波が当てられて測定された骨密度及び踵に対して超音波が当てられて測定された骨密度の少なくとも1種類が含まれる。以後、教師データ140に含まれる骨密度の測定値を「基準骨密度」と呼ぶことがある。
【0030】
ここで、骨密度の測定方法として、DEXA(dual-energy X-ray absorptiometry)法が知られている。DEXA法を用いて骨密度を測定するDEXA装置では、腰椎の骨密度が測定される場合には、腰椎に対してその正面からX線(具体的には2種類のX線)が照射される。また、DEXA装置では、大腿骨近位部の骨密度が測定される場合には、大腿骨近位部に対してその正面からX線が照射される。
【0031】
教師データ140には、DEXA装置で測定された腰椎の骨密度が含まれてもよいし、DEXA装置で測定された大腿骨近位部の骨密度が含まれてもよい。なお、教師データ140には、対象部位に対してその側面からX線が照射されて測定された骨密度が含まれてもよい。例えば、教師データ140には、腰椎に対してその側面からX線が照射されて測定された骨密度が含まれてもよい。
【0032】
また、骨密度の他の測定方法として、超音波法が知られている。超音波法を用いて骨密度を測定する装置では、例えば、腕部に対して超音波が当てられて当該腕部の骨密度が測定されたり、踵に対して超音波が当てられて当該踵の骨密度が測定されたりする。教師データ140には、超音波法で測定された骨密度が含まれてもよい。
【0033】
学習用データ130に含まれる複数の学習用画像データが示す複数の学習用単純X線像には、互いに異なる複数の人の骨がそれぞれ写っている。そして、
図4に示されるように、記憶部20では、学習用データ130に含まれる複数の学習用画像データのそれぞれに対して、当該学習用画像データが示す学習用単純X線像に写る骨を有する人の基準骨密度が対応付けられている。ニューラルネットワーク200の学習で使用される複数の学習用単純X線像のそれぞれに対して、当該学習用単純X線像に写る骨を有する人の基準骨密度が対応付けられているとも言える。学習用画像データに対応付けられている基準骨密度は、当該学習用画像データが示す学習用単純X線像が撮影された時期とほぼ同じ時期において、当該学習用単純X線像に写る骨を有する人と同じ人について測定された骨密度である。
【0034】
学習用画像データが示す学習用単純X線像に写る部位(言い換えれば、学習用単純X線像の撮影部位)には、当該学習用画像データに対応する基準骨密度が測定された部位(つまり骨)が含まれてもよいし、含まれなくてもよい。言い換えれば、学習用単純X線像に写る部位には、当該学習用単純X線像に対応する基準骨密度が測定された部位が含まれてもよいし、含まれなくてもよい。前者の例としては、腰部が写る学習用単純X線像を示す学習用画像データと、腰椎の基準骨密度とが対応付けられている場合が考えられる。他の例として、股関節が写る学習用画像データと、大腿骨近位部の基準骨密度とが対応付けられている場合が考えられる。一方で、後者の例としては、胸部が写る学習用画像データと、腰椎の基準骨密度とが対応付けられている場合が考えられる。他の例としては、膝関節が写る学習用画像データと、踵の基準骨密度とが対応付けられている場合が考えられる。
【0035】
また、学習用画像データが示す単純X線像に写る部位の向きと、当該学習用画像データに対応する基準骨密度の測定での対象部位に対するX線の照射の向きとは、同じであってもよいし、異なっていてもよい。言い換えれば、学習用単純X線像に写る部位の向きと、当該学習用単純X線像に対応する基準骨密度の測定での対象部位に対するX線の照射の向きとは、同じであってもよいし、異なっていてもよい。前者の例としては、胸部が正面から写る単純X線像(以後、「胸部正面単純X線像」と呼ぶことがある)を示す学習用画像データと、腰椎に対してその正面からX線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。他の例としては、腰部が正面から写る単純X線像(以後、「腰部正面単純X線像」と呼ぶことがある)を示す学習用画像データと、大腿骨近位部に対してその正面からX線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。一方で、後者の例としては、腰部が側面から写る単純X線像(以後、「腰部側面単純X線像」と呼ぶことがある)を示す学習用画像データと、腰椎に対してその正面からX線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。他の例としては、膝関節が側面から写る単純X線像(以後、「膝側面単純X線像」と呼ぶことがある)を示す学習用画像データと、大腿骨近位部に対してその正面からX線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。
【0036】
また、学習用データ130に含まれる複数の学習用画像データがそれぞれ示す複数の学習用単純X線像には、推定用単純X線像と同じ種類の部位が写る単純X線像が含まれてもよいし、推定用単純X線像とは異なる種類の部位が写る単純X線像が含まれてもよい。前者の例としては、推定用単純X線像が胸部正面単純X線像である場合、複数の学習用単純X線像に胸部正面単純X線像が含まれる場合が考えられる。他の例としては、推定用単純X線像が、膝関節が正面から写る単純X線像(以後、「膝正面単純X線像」と呼ぶことがある)である場合、複数の学習用単純X線像に膝側面単純X線像が含まれる場合が考えられる。一方で、後者の例としては、推定用単純X線像が腰部正面単純X線像である場合、複数の学習用単純X線像に胸部正面単純X線像が含まれる場合が考えられる。他の例としては、推定用単純X線像が腰部側面単純X線像である場合、複数の学習用単純X線像に膝正面単純X線像が含まれる場合が考えられる。
【0037】
また、複数の学習用単純X線像には、推定用単純X線像と同じ向きの部位が写る単純X線像が含まれてもよいし、推定用単純X線像とは異なる向きの部位が写る単純X線像が含まれてもよい。前者の例としては、推定用単純X線像が腰椎正面単純X線像である場合、複数の学習用単純X線像に腰部正面単純X線像が含まれる場合が考えられる。他の例としては、推定用単純X線像が膝正面単純X線像である場合、複数の学習用単純X線像に胸部正面単純X線像が含まれる場合が考えられる。一方で、後者の例としては、推定用単純X線像が膝側面単純X線像である場合、複数の学習用単純X線像に膝正面単純X線像が含まれる場合が考えられる。他の例としては、推定用単純X線像が腰部側面単純X線像である場合、複数の学習用単純X線像に胸部正面単純X線像が含まれる場合が考えられる。
【0038】
また、教師データ140には、推定用単純X線像に写る部位に含まれる部位(骨)から測定された基準骨密度が含まれてもよいし、推定用単純X線像に写る部位に含まれない部位(骨)から測定された基準骨密度が含まれてもよい。前者の例としては、推定用単純X線像が腰部正面単純X線像である場合、教師データ140に腰椎の基準骨密度が含まれる場合が考えられる。一方で、後者の例としては、推定用単純X線像が胸部正面単純X線像である場合、教師データ140に中手骨の基準骨密度が含まれる場合が考えられる。
【0039】
また、教師データ140には、推定用単純X線像に写る部位の向きと同じ向きからX線が対象部位に照射されることによって測定された基準骨密度が含まれてもよいし、推定用単純X線像に写る部位の向きとは異なる向きからX線が対象部位に照射されることによって測定された基準骨密度が含まれてもよい。前者の例としては、推定用単純X線像が腰部正面単純X線像である場合、教師データ140に、腰椎に対してその正面からX線が照射されて測定された基準骨密度が含まれる場合が考えられる。一方で、後者の例としては、推定用単純X線像が腰部側面単純X線像である場合、教師データ140に、大腿骨近位部に対してその正面からX線が照射されて測定された基準骨密度が含まれる場合が考えられる。
【0040】
本例では、単純X線撮影装置(言い換えれば、一般X線撮影装置あるいはレントゲン撮影装置)で得られる、単純X線像を示すグレースケールの画像データを縮小し、かつその階調数を低下させたものを、学習用画像データ及び推定用画像データとして使用する。例えば、単純X線撮影装置で得られる画像データを構成する複数の画素データの数が(1024×640)個よりも多く、その画素データのビット数が16ビットの場合を考える。この場合、単純X線撮影装置で得られる画像データを構成する複数の画素データの数を、例えば、(256×256)個、(1024×512)個あるいは(1024×640)個まで縮小し、その画素データのビット数を8ビットまで低減したものを、学習用画像データ及び推定用画像データとして使用する。この場合、学習用単純X線像及び推定用単純X線像のそれぞれは、(256×256)個、(1024×512)個あるいは(1024×640)個の画素で構成され、当該画素の値は8ビットで表現される。
【0041】
学習用画像データ及び推定用画像データについては、推定装置1の制御部10が、単純X線撮影装置で得られる画像データから生成してもよいし、推定装置1以外の装置が単純X線撮影装置で得られる画像データから生成してもよい。前者の場合、単純X線撮影装置で得られる画像データについては、通信部30が通信ネットワークを通じて受信してもよいし、記憶部20に含まれる着脱式メモリに記憶されてもよい。後者の場合には、通信ネットワークを通じて通信部30が他の装置から学習用画像データ及び推定用画像データを受信し、制御部10が、通信部30で受信された学習用画像データ及び推定用画像データを記憶部20に記憶してもよい。あるいは、記憶部20に含まれる着脱式メモリに、他の装置で生成された学習用画像データ及び推定用画像データが記憶されてもよい。また、教師データ140については、通信部30が通信ネットワークを通じて受信し、制御部10が、通信部30で受信された教師データ140を記憶部20に記憶してもよい。あるいは、記憶部20に含まれる着脱式メモリに教師データ140が記憶されてもよい。なお、学習用画像データ及び推定用画像データの画素データの数及びビット数は上記の限りではない。
【0042】
<ニューラルネットワークの学習例>
図5は、ニューラルネットワーク200の学習の一例を説明するための図である。制御部10は、ニューラルネットワーク200の学習を行う場合には、
図5に示されるように、ニューラルネットワーク200の入力層210に学習用データ130を入力する。そして、制御部10は、ニューラルネットワーク200の出力層230から出力される出力データ400についての教師データ140に対する誤差が小さくなるように、ニューラルネットワーク200内の可変のパラメータ110aを調整する。より詳細には、制御部10は、記憶部20内の各学習用画像データを入力層210に入力する。制御部10は、入力層210に学習用画像データを入力する場合には、当該学習用画像データを構成する複数の画素データを、入力層210を構成する複数の人工ニューロンにそれぞれ入力する。そして、制御部10は、入力層210に学習用画像データを入力した場合に出力層230から出力される出力データ400についての、当該学習用画像データに対応する基準骨密度に対する誤差が小さくなるように、パラメータ110aを調整する。パラメータ110aの調整方法としては、例えば、誤差逆伝播法が採用される。調整後のパラメータ110aが学習済みパラメータ110となり、記憶部20に記憶される。パラメータ110aには、例えば、隠れ層220で使用されるパラメータが含まれる。具体的には、パラメータ110aには、畳み込み層240で使用されるフィルタ係数と、全結合層260で使用される重み付け係数とが含まれる。なお、パラメータ110aの調整方法、言い換えればパラメータ110aの学習方法は、この限りではない。
【0043】
このようにして、記憶部20には、複数の学習用単純X線像の画像データを含む学習用データ130と、教師データ140としての骨密度の測定値との関係をニューラルネットワーク200を用いて学習させた学習済みパラメータ110が記憶される。
【0044】
上記の例では、推定装置1が、ニューラルネットワーク200の学習を行っているが、他の装置がニューラルネットワーク200の学習を行ってもよい。この場合、推定装置1の記憶部20には、他の装置が生成した学習済みパラメータ110が記憶される。また、記憶部20が学習用データ130及び教師データ140を記憶することは不要になる。他の装置が生成した学習済みパラメータ110については、通信部30が通信ネットワークを通じて受信し、制御部10が、通信部30で受信された学習済みパラメータ110を記憶部20に記憶してもよい。あるいは、記憶部20に含まれる着脱式メモリに、他の装置が生成した学習済みパラメータ110が記憶されてもよい。
【0045】
以上のようにして学習されたニューラルネットワーク200には、複数の学習用単純X線像の画像データが学習用データ130として入力層210に入力され、かつ教師データ140として基準骨密度が使用されて学習された学習済みパラメータ110aが含まれる。上述の
図2に示されるように、ニューラルネットワーク200は、入力層210に入力される推定用データ120に対して学習済みパラメータ110aに基づく演算を行って、出力層230から骨密度推定値300を出力する。推定用データ120としての推定用画像データが入力層210に入力される場合には、当該推定用画像データを構成する複数の画素データが、入力層210を構成する複数の人工ニューロンにそれぞれ入力される。そして、畳み込み層240は、学習済みパラメータ110aに含まれるフィルタ係数を用いた演算を行い、全結合層260は、学習済みパラメータ110aに含まれる重み付け係数を用いた演算を行う。
【0046】
例えば、胸部正面単純X線像を示す推定用画像データが入力層210に入力される場合には、当該推定用画像データが示す胸部正面単純X線像に写る胸部の骨を有する人の骨密度の推定値300が出力層230から出力される。また、腰部正面単純X線像を示す推定用画像データが入力層210に入力される場合には、当該推定用画像データが示す腰部正面単純X線像に写る腰部に含まれる腰椎を有する人の骨密度の推定値300が出力層230から出力される。また、腰部側面単純X線像を示す推定用画像データが入力層210に入力される場合には、当該推定用画像データが示す腰部側面単純X線像に写る腰部に含まれる腰椎を有する人の骨密度の推定値300が出力層230から出力される。また、膝正面単純X線像を示す推定用画像データが入力層210に入力される場合には、当該推定用画像データが示す膝正面単純X線像に写る膝関節の骨を有する人の骨密度の推定値300が出力層230から出力される。また、膝側面単純X線像を示す推定用画像データが入力層210に入力される場合には、当該推定用画像データが示す膝側面単純X線像に写る膝関節の骨を有する人の骨密度の推定値300が出力層230から出力される。
【0047】
出力層230から出力される推定値300は、単位面積当りの骨ミネラル密度(g/cm2)、単位体積当りの骨ミネラル密度(g/cm3)、YAM、Tスコア及びZスコアの少なくとも1種類によって表されてよい。YAMは、“Young Adult Mean”の略であって、若年成人平均パーセントと呼ばれることがある。例えば、出力層230からは、単位面積当りの骨ミネラル密度(g/cm2)で表された推定値300と、YAMで表された推定値300とが出力されてもよいし、YAMで表された推定値300と、Tスコアで表された推定値300と、Zスコアで表された推定値300とが出力されてもよい。
【0048】
なお記憶部20は、複数の推定用データ120を記憶してもよい。この場合、記憶部20内の複数の推定用データ120がそれぞれ示す複数の推定用単純X線像には、同じ種類の部位が写る複数の単純X線像が含まれてもよいし、互いに異なる種類の部位が写る複数の単純X線像が含まれてもよい。また、複数の推定用単純X線像には、部位が同じ方向から写る複数の単純X線像が含まれてもよいし、部位が異なる方向から写る複数の単純X線像が含まれてもよい。言い換えれば、複数の推定用単純X線像には、それに写る部位の向きが同じ複数の単純X線像が含まれてもよいし、それに写る部位の向きが異なる複数の単純X線像が含まれてもよい。制御部10は、記憶部20内の複数の推定用データ120のそれぞれをニューラルネットワーク200の入力層210に入力し、ニューラルネットワーク200の出力層230からは、各推定用データ120に対応する骨密度推定値300が出力される。
【0049】
以上のように、本例では、単純X線像の画像データが使用されて、ニューラルネットワーク200の学習と、ニューラルネットワーク200での骨密度の推定とが行われる。単純X線像の画像データ、言い換えれば、レントゲン像の画像データについては、多くの病院において色々な診察等で利用されていることから、容易に入手することが可能である。よって、DEXA装置のような高価な装置を使用せずに、骨密度を簡単に推定することができる。
【0050】
また、診察等のために撮影した単純X線像の画像データを推定用画像データとして使用することによって、その診察等の機会を利用して骨密度を簡単に推定することも可能である。よって、推定装置1を利用することによって、病院利用者に対するサービスを向上することができる。
【0051】
また、胸部等の正面単純X線像では、臓器の影響を受けて、骨が写りにくくなる可能性がある。一方で、正面単純X線像は、多くの病院において撮影される可能性が高い。本例では、骨が写りにくくなる可能性がある正面単純X線像が、推定用単純X線像あるいは学習用単純X線像として使用される場合であっても、骨密度を推定することができる。したがって、入手しやすい正面単純X線像の画像データを使用して骨密度を簡単に推定することができる。また、胸部正面単純X線像については、健康診断等において撮影されることが多く、特に入手し易い単純X線像であると言える。推定用単純X線像あるいは学習用単純X線像として胸部正面単純X線像を使用することによって、骨密度をさらに簡単に推定することができる。
【0052】
また、本例では、複数の学習用単純X線像に、推定用単純X線像とは異なる種類の部位が写る単純X線像が含まれる場合であっても、推定用単純X線像の画像データから骨密度を推定することができる。よって、推定装置1(言い換えればコンピュータ装置1)の利便性を向上させることができる。
【0053】
また、本例では、複数の学習用単純X線像に、推定用単純X線像とは異なる向きの部位が写る単純X線像が含まれる場合であっても、推定用単純X線像の画像データから骨密度を推定することができる。よって、推定装置1の利便性を向上させることができる。
【0054】
また、本例では、学習用単純X線像に写る部位に、当該学習用単純X線像に対応する基準骨密度が測定された部位(骨)が含まれていない場合であっても、ニューラルネットワーク200は、学習済みパラメータ110に基づいて骨密度を推定することができる。よって、推定装置1の利便性を向上させることができる。
【0055】
また、本例では、学習用単純X線像に写る部位の向きと、当該学習用単純X線像に対応する基準骨密度の測定での対象部位のX線の照射の向きとが互いに異なる場合であっても、ニューラルネットワーク200は、学習済みパラメータ110に基づいて骨密度を推定することができる。よって、推定装置1の利便性を向上させることができる。
【0056】
また、本例では、教師データ140に、推定用単純X線像に写る部位に含まれない部位から測定された基準骨密度が含まれる場合であっても、推定用単純X線像の画像データから骨密度を推定することができる。よって、推定装置1の利便性を向上させることができる。
【0057】
なお、推定装置1で得られる骨密度推定値300は、表示部40で表示されてもよい。また、推定装置1で得られる骨密度推定値300は、他の装置で用いられてもよい。
【0058】
図6は、推定装置1と、推定装置1で得られる骨密度推定値300を用いた処理を行う処理装置500とを備える骨密度推定システム600の一例を示す図である。
図6の例では、推定装置1と処理装置500とは、通信ネットワーク700を通じて、互いに通信することが可能である。通信ネットワーク700には、例えば、無線ネットワーク及び有線ネットワークの少なくとも一方が含まれる。通信ネットワーク700には、例えば、無線LAN(Local Area Network)及びインターネット等が含まれる。
【0059】
推定装置1では、通信部30に通信ネットワーク700が接続されている。制御部10は、通信部30に、骨密度推定値300を処理装置500へ送信させる。処理装置500は、通信ネットワーク700を通じて推定装置1から受け取る骨密度推定値300を用いた処理を行う。例えば、処理装置500は、液晶表示装置等の表示装置であって、骨密度推定値300を表示する。このとき、処理装置500は、骨密度推定値300を表にして表示してもよいし、グラフにして表示してもよい。また、通信ネットワーク700に複数の推定装置1が接続されている場合には、当該複数の推定装置1で得られる骨密度推定値300を処理装置500は表示してもよい。処理装置500の構成は、
図1に示される推定装置1の構成と同じであってもよいし、推定装置1の構成と異なっていてもよい。
【0060】
なお、処理装置500が実行する、骨密度推定値300を用いた処理は、上記の例に限られない。また、処理装置500は、推定装置1と、通信ネットワーク700を介さずに直接的に無線あるいは有線で通信してもよい。
【0061】
<推定用データ及び学習用データの他の例>
<第1の他の例>
本例では、学習用データ130には、各学習用画像データについて、当該学習用画像データが示す学習用単純X線像に写る骨を有する人の健康状態に関する情報が含まれる。言い換えれば、学習用データ130には、各学習用画像データについて、当該学習用画像データが示す学習用単純X線像の被写体(被検体)の健康状態に関する情報が含まれる。以後、学習用単純X線像の被写体の健康状態に関する情報を「学習用健康関連情報」と呼ぶことがある。また、学習用画像データが示す学習用単純X線像の被写体の健康状態に関する情報を、当該学習用画像データに対応する学習用健康関連情報と呼ぶことがある。
【0062】
学習用健康関連情報は、例えば、年齢情報、性別情報、身長情報、体重情報、飲酒習慣情報、喫煙習慣情報及び骨折歴の有無情報の少なくとも1種類を含む。学習用健康関連情報は、人ごとにデータベース化され、CSV(Comma-Separated Value)形式ファイルあるいはテキスト形式ファイルとして生成される。年齢情報、身長情報及び体重情報のそれぞれは、例えば、複数ビットの数値データとして表される。また、性別情報では、例えば「男性」あるいは「女性」が1ビットデータで表され、飲酒習慣情報では、「飲酒習慣あり」あるいは「飲酒習慣なし」が1ビットデータで表される。また、喫煙習慣情報では、「喫煙習慣あり」あるいは「喫煙習慣なし」で1ビットデータが表され、骨折歴の有無情報では、「骨折あり」あるいは「骨折なし」が1ビットのデータで表される。また、学習用健康関連情報は、被検者の体脂肪率または皮下脂肪率が含まれていてもよい。
【0063】
学習用データ130に、学習用画像データと、それに対応する学習用健康関連情報とが含まれる場合には、学習用画像データに対応する基準骨密度(
図4参照)が、当該学習用画像データに対応する学習用健康関連情報に対しても対応付けられる。つまり、ある人の骨が写る学習用単純X線像を示す学習用画像データと、当該ある人の健康状態に関する情報(学習用健康関連情報)とに対しては、当該ある人の骨密度の測定値(基準骨密度)が対応付けられる。そして、ニューラルネットワーク200の学習では、入力層210に対して、学習用画像データと、それに対応する学習用健康関連情報とが同時に入力される。具体的には、入力層210を構成する複数の人工ニューロンの一部に学習用画像データが入力され、当該複数の人工ニューロンの他の部分に学習用健康関連情報が入力される。そして、入力層210に対して、学習用画像データと、それに対応する学習用健康関連情報とが入力されたときに出力層230から出力される出力データ400と、当該学習用画像データ及び当該学習用健康関連情報に対応する基準骨密度とが比較される。
【0064】
また本例では、推定用データ120には、推定用画像データと、当該推定用画像データが示す推定用単純X線像に写る骨を有する人の健康状態に関する情報とが含まれる。言い換えれば、推定用データ120には、推定用画像データと、当該推定用画像データが示す推定用単純X線像の被写体の健康状態に関する情報とが含まれる。以後、推定用単純X線像の被写体の健康状態に関する情報を「推定用健康関連情報(以下では、他の実施形態では、「個体データ」ということもある。)」と呼ぶことがある。また、推定用画像データが示す推定用単純X線像の被写体の健康状態に関する情報を、当該推定用画像データに対応する推定用健康関連情報と呼ぶことがある。
【0065】
推定用健康関連情報は、学習用健康関連情報と同様に、例えば、年齢情報、性別情報、身長情報、体重情報、飲酒習慣情報、喫煙習慣情報及び骨折歴の有無情報の少なくとも1種類を含む。推定用健康関連情報には、学習用健康関連情報と同じ種類の情報が含まれる。また、推定用健康関連情報は、学習用健康関連情報と同様に、被検者の体脂肪率または皮下脂肪率が含まれていてもよい。
【0066】
本例では、骨密度の推定が行われる場合、入力層210に対して、推定用画像データと、それに対応する推定用健康関連情報とが同時に入力される。具体的には、入力層210を構成する複数の人工ニューロンの一部に推定用画像データが入力され、当該複数の人工ニューロンの他の部分に推定用健康関連情報が入力される。入力層210に対して、ある人についての推定用画像データ及び推定用健康関連情報が入力されると、出力層230からは、当該ある人の骨密度の推定値が出力される。
【0067】
このように、単純X線像の画像データだけではなく、当該単純X線像の被写体の健康状態に関する情報を使用することによって、骨密度の推定精度を向上させることができる。
【0068】
<他の第2の例>
本例では、学習用データ130には、同一の人が有する部位が写り、それらに写る部位の向きが互いに異なるN個(N≧2)の学習用単純X線像の画像データが含まれる。以後、当該N個の学習用単純X線像をまとめて「学習用単純X線像セット」と呼ぶことがある。
【0069】
学習用単純X線像セットには、例えば、同一の人についての正面像及び側面像が含まれる。学習用単純X線像セットには、例えば、ある人の胸部正面単純X線像及び腰部側面単純X線像が含まれる。学習用単純X線像セットに含まれる正面像及び側面像の画像サイズは互いに異なってもよい。例えば、側面像の画像サイズの横幅は、正面像の画像サイズの横幅よりも小さくてもよい。以後、学習用単純X線像セットの各学習用単純X線像の画像データをまとめて「学習用画像データセット」と呼ぶことがある。
【0070】
学習用データ130には、互いに異なる複数の人についての学習用画像データセットが含まれる。これにより、学習用データ130には複数の学習用画像データセットが含まれる。そして、一つの学習用画像データセットに対しては、一つの基準骨密度が対応付けられる。つまり、ある人についての学習用画像データセットに対しては、当該ある人の骨密度の測定値(基準骨密度)が対応付けられる。
【0071】
本例のニューラルネットワーク200の学習では、入力層210に対して、各学習用画像データセットが入力される。入力層210に対して一つの学習用画像データセットが入力される場合には、当該一つの学習用画像データセットを構成するN個の学習用画像データが入力層210に同時に入力される。例えば、学習用画像データセットが、第1の学習用画像データと第2の学習用画像データとで構成されているとする。この場合、入力層210を構成する複数の人工ニューロンの一部に第1の学習用画像データ(例えば、胸部正面単純X線像の画像データ)が入力され、当該複数の人工ニューロンの他の部分に第2の学習用画像データ(例えば、腰部側面単純X線像の画像データ)が入力される。そして、入力層210に対して学習用画像データセットが入力されたときに出力層230から出力される出力データ400と、当該学習用画像データセットに対応する基準骨密度とが比較される。
【0072】
また本例では、推定用データ120には、同一の人が有する部位が写り、それらに写る部位の向きが互いに異なるN個の推定用単純X線像の画像データが含まれる。以後、当該N個の推定用単純X線像をまとめて「推定用単純X線像セット」と呼ぶことがある。
【0073】
推定用単純X線像セットには、例えば、同一の人についての正面像及び側面像が含まれる。推定用単純X線像セットには、例えば、ある人の腰部正面単純X線像及び膝側面単純X線像が含まれる。推定用単純X線像セットに含まれる正面像及び側面像の画像サイズは互いに異なってもよい。例えば、側面像の画像サイズの横幅は、正面像の画像サイズの横幅よりも小さくてもよい。以後、推定用単純X線像セットの各推定用単純X線像の画像データをまとめて「推定用画像データセット」と呼ぶことがある。
【0074】
本例では、推定用データ120が使用されて骨密度の推定が行われる場合、入力層210に対して、推定用画像データセットを構成するN個の推定用画像データが同時に入力される。例えば、推定用画像データセットが、第1の推定用画像データと第2の推定用画像データとで構成されているとする。この場合、入力層210を構成する複数の人工ニューロンの一部に第1の推定用画像データが入力され、当該複数の人工ニューロンの他の部分に第2の推定用画像データが入力される。入力層210に、ある人についての推定用画像データセットが入力されると、出力層230からは、当該ある人の骨密度の推定値が推定される。
【0075】
このように、同一の被写体が有する部位が写り、それらに写る部位の向きが互いに異なる複数の単純X線像の画像データが使用されることによって、骨密度の推定精度を向上させることができる。
【0076】
なお、学習用データ130には、学習用画像データセット及び学習用健康関連情報が含まれてもよい。この場合、ニューラルネットワーク200の学習では、入力層210に対して、同じ人についての学習用画像データセット及び学習用健康関連情報が同時に入力される。同様に、推定用データ120には、推定用画像データセット及び推定用健康関連情報が含まれてもよい。この場合、入力層210に対して、推定用画像データセット及び推定用健康関連情報が同時に入力される。
【0077】
上記の各例では、推定用画像データが示すX線像に写る骨の種類にかかわらず、同じ学習済みパラメータ110が使用されているが、推定用画像データが示すX線像に写る骨の種類に応じた学習済みパラメータ110が使用されてもよい。この場合には、ニューラルネットワーク200は、複数種類の骨にそれぞれ応じた複数の学習済みパラメータ110を有する。ニューラルネットワーク200は、入力される推定用画像データが示すX線像に写る骨の種類に応じた学習済みパラメータ110を使用して骨密度を推定する。例えば、ニューラルネットワーク200は、入力される推定用画像データが示すX線像に腰椎が写る場合には、腰椎の骨密度推定用の学習パラメータ110を使用して、骨密度を推定する。また、ニューラルネットワーク200は、入力される推定用画像データが示すX線像に大腿骨近位部が写る場合には、大腿骨近位部の骨密度推定用の学習パラメータ110を使用して、骨密度を推定する。ニューラルネットワーク200は、複数の学習済みパラメータ110のうち、例えば、入力部50を通じてユーザから指示される学習済みパラメータ110を使用する。この場合、ユーザは、ニューラルネットワーク200に入力される推定用画像データが示すX線像に写る骨の種類に応じて、ニューラルネットワーク200が使用する学習済みパラメータ110を指示する。
【0078】
ニューラルネットワーク200の学習では、同じ種類の骨が写る複数のX線像をそれぞれ示す複数の学習用画像データが使用されて、その骨の種類に応じた学習済みパラメータ110が生成される。
【0079】
以上のように、推定装置1及び骨密度推定システム600は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
【0080】
実施の形態2.
図7は、本実施の形態に係る推定装置1Aの構成の一例を示す図である。推定装置1Aでは、近似器280が、さらに第2のニューラルネットワーク900を有している。第2のニューラルネットワーク900は、学習済みパラメータ910に基づいて骨折を検知することができる。なお、本実施の形態に係る推定装置1Aは、第1の実施形態に係る推定装置1と同等の構成を有しており、同等の構成については説明を省略する。また、説明の便宜上、上記の例に記載のニューラルネットワーク200を第1のニューラルネットワーク200という。第2のニューラルネットワーク900は、例えば、第1のニューラルネットワーク200と同等の構成を有している。
【0081】
第2のニューラルネットワーク900は、第1のニューラルネットワーク200に入力する推定用データ120に含まれる推定用画像データと同じ推定用画像データに基づいて骨折を検知することができる。すなわち、1つの推定用画像データから、第1のニューラルネットワーク200では骨密度を推定し、第2のニューラルネットワーク900では骨折を検知することができる。なお、第2のニューラルネットワーク900の検知結果920は、上記の例と同様に、第2のニューラルネットワーク900の出力層230から出力されればよい。
【0082】
第2のニューラルネットワーク900の学習では、骨折していない骨が写る学習用画像データと、骨折している骨が写る学習用画像データとが使用されてパラメータが学習される。また、教師データでは、各学習用画像データに対して、当該学習用画像データに写る骨についての、現在の骨折の有無を示す情報および骨折箇所を示す情報が対応付けられている。また教師データは、過去の骨折歴を示す情報および過去の骨折箇所を示す情報を含んでいてもよい。その結果、第2のニューラルネットワーク900は、推定用画像データに基づいて、当該推定用画像データに写る骨についての骨折の有無と場所を検知し、その検知結果920を出力することができる。
【0083】
また、本実施の形態に係る推定装置1Aは、
図8に示されるように、被写体が骨粗鬆症であるか否かを判定する判定部930を有していてもよい。判定部930は、第1のニューラルネットワーク200の推定結果300と、第2のニューラルネットワーク900の検知結果920とを比較検討して、被写体が骨粗鬆症であるか否かを判定することができる。
【0084】
判定部930は、例えば、独自基準または既に周知のガイドラインなどに基づいて骨粗鬆症を判定してもよい。具体的には、判定部930は、検知結果920が椎体または大腿骨近位部において骨折を示す場合、骨粗鬆症であると判定してもよい。また、第1のニューラルネットワーク200が出力する骨密度推定値300がYAMを示す場合には、判定部930は、YAMが80%未満の値であり、かつ検知結果920が椎体および大腿骨近位部以外の骨折を示す場合、骨粗鬆症であると判定してもよい。また、判定部930は、骨密度推定値300が示すYAMが70%以下の値を示す場合には、骨粗鬆症であると判定してもよい。
【0085】
また、本実施形態に係る推定装置1Aでは、近似器28は、
図9に示されるように、第3のニューラルネットワーク950をさらに有していてもよい。第3のニューラルネットワーク950は、学習済みパラメータ960に基づいて、推定用データ120に含まれる推定用画像データから被写体の骨を区分けすることができる。
【0086】
第3のニューラルネットワーク950は、入力される推定用画像データの各画素データについて、当該画素データが示す骨の部位を示す部位情報を出力する。これにより、推定用画像データが示すX線像に写る骨を区分けすることができる。部位情報はセグメンテーションデータと呼ばれることがある。
【0087】
例えば、第3のニューラルネットワーク950は、入力される推定用画像データが示すX線像に腰椎が写る場合、当該推定用画像データの各画素データについて、当該画素データが、腰椎のL1~L5のうち、どの部位を示すかを表す部位情報を出力する。例えば、第3のニューラルネットワーク950は、推定用画像データのある画素データが腰椎のL1を示す場合、当該画素データに対応する部位情報として、L1を示す部位情報を出力する。
【0088】
第3のニューラルネットワーク950は、推定用画像データが示すX線像に写る骨の種類に応じた学習済みパラメータ960を使用する。第3のニューラルネットワーク950は、複数種類の骨にそれぞれ応じた複数の学習済みパラメータ960を有する。第3のニューラルネットワーク950は、入力される推定用画像データが示すX線像に写る骨の種類に応じた学習済みパラメータ960を使用して、推定用画像データが示すX線像に写る骨を区分けする。例えば、第3のニューラルネットワーク950は、入力される推定用画像データが示すX線像に腰椎が写る場合には、腰椎に応じた学習パラメータ960を使用して、腰椎をL1~L5に区分けする。第3のニューラルネットワーク950は、複数の学習済みパラメータ960のうち、例えば、入力部50を通じてユーザから指示される学習済みパラメータ960を使用する。この場合、ユーザは、第3のニューラルネットワーク950に入力される推定用画像データが示すX線像に写る骨の種類に応じて、第3のニューラルネットワーク950が使用する学習済みパラメータ960を指示する。
【0089】
第3のニューラルネットワーク950は、入力される推定用画像データが示すX線像に写る骨を、インプラントが埋入されている第1部位、腫瘍がある第2部位及び骨折がある第3部位に区分けしてもよい。この場合、第3のニューラルネットワーク950は、推定用画像データの各画素データについて、当該画素データが、第1部位、第2部位及び第3部位のいずれの部位を示すかを表す部位情報を出力する。第3のニューラルネットワーク950は、画素データが、第1部位、第2部位及び第3部位以外の部位を示す場合には、当該画素データが、第1部位、第2部位及び第3部位以外の部位を示すことを表す部位情報を出力する。第3のニューラルネットワーク950が、推定用画像データが示すX線像に写る骨を、第1部位、第2部位及び第3部位に区分けする場合には、第3のニューラルネットワーク950は、推定用画像データが示すX線像に写る骨に埋入されたインプラント、当該骨の骨折及び当該骨の腫瘍を検知するとも言える。
【0090】
第3のニューラルネットワーク950の学習では、同じ種類の骨が写る複数のX線像をそれぞれ示す複数の学習用画像データが使用されて、その骨の種類に応じた学習済みパラメータ960が生成される。第3のニューラルネットワーク950が、入力される推定用画像データが示すX線像に写る骨を、第1部位、第2部位及び第3部位に区分けする場合には、複数の学習用画像データには、インプラントが埋入されている症例が写るX線像を示す学習用画像データと、骨に腫瘍がある症例が写るX線像を示す学習用画像データと、骨折がある症例が写るX線像を示す学習用画像データとが含まれる。また、教師データには、各学習用画像データについて、当該学習用画像データが示す骨の区分け用のアノテーション情報が含まれる。アノテーション情報には、それに対応する学習用画像データの各画素データについて、当該画素データが示す骨の部位を示す部位情報が含まれる。
【0091】
なお、第1のニューラルネットワーク200は、第3のニューラルネットワーク950において区分けされた部位ごとに骨密度を推定してもよい。この場合、
図10に示されるように、第1のニューラルネットワーク200には、推定用画像データ121と、当該推定用画像データ121に基づいて第3のニューラルネットワーク950が出力する、当該推定用画像データ121の各画素データに応じた部位情報965とが入力される。第1のニューラルネットワーク200は、推定用画像データ121が示すX線像に写る骨の種類に応じた学習済みパラメータ110に基づいて、第3のニューラルネットワークにおいて区分けされた部位ごとに、当該部位の骨密度推定値300を出力する。例えば、第3のニューラルネットワーク950は、推定用画像データ121が示すX線像に写る頸椎をL1~L5に区分した場合、第1のニューラルネットワーク200は、L1の骨密度推定値300と、L2の骨密度推定値300と、L3の骨密度推定値300と、L4の骨密度推定値300と、L5の骨密度推定値300とを個別に出力する。
【0092】
第1のニューラルネットワーク200の学習では、同じ種類の骨が写る複数のX線像をそれぞれ示す複数の学習用画像データが使用されて、その骨の種類に応じた学習済みパラメータ110が生成される。また、教師データには、各学習用画像データについて、当該学習用画像データが示す骨の各部位の基準骨密度が含まれる。
【0093】
第1のニューラルネットワーク200は、複数の学習済みパラメータ110のうち、例えば、入力部50を通じてユーザから指示される学習済みパラメータ110を使用する。この場合、ユーザは、第1のニューラルネットワーク200に入力される推定用画像データが示すX線像に写る骨の種類に応じて、第1のニューラルネットワーク200が使用する学習済みパラメータ110を指示する。
【0094】
第3のニューラルネットワーク950が、推定用画像データが示すX線像に写る骨を、インプラントが埋入されている第1部位、腫瘍がある第2部位及び骨折がある第3部位に区分けする場合には、推定用画像データのうち、第1部位を示す第1部分画像データと、腫瘍がある第2部位を示す第2部分画像データと、第3部位を示す第3部分画像データの輝度が調整されてもよい。
図11は、この場合の構成例を示す図である。
【0095】
図11に示されるように、調整部968には、推定用画像データ121と、当該推定用画像データ121に基づいて第3のニューラルネットワーク950が出力する、当該推定用画像データ121の各画素データに応じた部位情報965とが入力される。調整部968は、部位情報965に基づいて、推定用画像データ121に含まれる、第1部分画像データ、第2部分画像データ及び第3部分画像データを特定する。そして、調整部968は、特定した第1部分画像データ、第2部分画像データ及び第3部分画像データの輝度を調整する。
【0096】
調整部968は、例えば、一般的なX線像に写る第1部位の輝度を第1基準輝度として記憶する。また、調整部968は、一般的なX線像に写る第2部位の輝度を第2基準輝度として記憶する。そして、調整部968は、一般的なX線像に写る第3部位の輝度を第3基準輝度として記憶する。調整部968は、第1部分画像データの輝度から第1基準輝度を差し引いて、第1部分画像データの輝度を調整する。また、調整部976は、第2部分画像データの輝度から第2基準輝度を差し引いて、第2部分画像データの輝度を調整する。そして、調整部978は、第3部分画像データの輝度から第3基準輝度を差し引いて、第3部分画像データの輝度を調整する。調整部968は、推定用画像データにおいて、第1部分画像データ、第2部分画像データ及び第3部分画像データの輝度を調整したものを、輝度調整後の推定用画像データとして第1のニューラルネットワーク200に入力する。第1のニューラルネットワーク200は、輝度調整後の推定用画像データに基づいて、当該推定用画像データが示すX線像に写る骨の骨密度を推定する。
【0097】
ここで、インプラントが埋入されている第1部位、腫瘍がある第2部位及び骨折がある第3部位から、骨密度を正しく推定することは容易ではない。上記のように、第1部位を示す第1部分画像データ、第2部位を示す第2部分画像データ及び第3部位を示す第3部分画像データの輝度を調整して小さくすることによって、推定用画像データが示すX線像に写る骨の骨密度をより正しく推定することができる。
【0098】
なお、調整部968は、第1部分画像データ、第2部分画像データ及び第3部分画像データの輝度を強制的に零に設定した推定用画像データを、輝度調整後の推定用画像データとして第1のニューラルネットワーク200に入力してもよい。
【0099】
また、第3のニューラルネットワーク950は、インプラント、骨折及び腫瘍のうちの1つだけを検知してもよい。また、第3のニューラルネットワーク950は、インプラント、骨折及び腫瘍のうちの2つだけを検知してもよい。つまり、第3のニューラルネットワーク950は、インプラント、骨折及び腫瘍のうちの少なくも1つを検知してもよい。
【0100】
また、推定装置1Aは、第2のニューラルネットワーク900を備えずに、第1のニューラルネットワーク200及び第3のニューラルネットワーク950を備えてもよい。また、推定装置1Aは、第1のニューラルネットワーク200を備えずに、第2のニューラルネットワーク900及び第3のニューラルネットワーク950の少なくとも一方を備えてもよい。
【0101】
以上のように、推定装置1Aは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
【0102】
実施の形態3.
図12は、本実施の形態に係る推定装置1Bの構成の一例を示す図である。推定装置1Bは骨折予測部980を有する。骨折予測部980は、例えば、実施形態1に係る推定装置1のニューラルネットワーク200の推定結果300に基づいて、骨折する確率を予測することができる。具体的には、例えば、過去の文献などから、骨密度に関連する推定結果(例えば骨密度など)と骨折する確率との関係を示す演算式990が求められる。骨折予測部980は演算式990を記憶している。骨折予測部980は、入力される推定結果300と、記憶する演算式990とに基づいて、骨折の確率を予測することができる。
【0103】
また、演算式990は、骨密度に関連する推定結果と、骨スクリュー埋入後の骨折の確率との関係を示す演算式であってもよい。その結果、骨スクリュー埋入の是非および薬剤投与を含めた治療計画の検討が可能になる。
【0104】
なお、推定装置1Bは、第2のニューラルネットワーク900を備えてもよい。また、推定装置1Bは、第3のニューラルネットワーク950を備えてもよい。
【0105】
以上のように、推定装置1Bは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
【0106】
実施の形態4.
図13に、本実施の形態の推定システム801の構成の概念を示す。
【0107】
本開示の推定システム801は、例えばX線画像などの被写体の骨が写っている画像などから、被写体の将来の骨量を推定することができる。本開示の推定システム801は、端末装置802と、推定装置803と、を有している。なお、骨量とは、骨密度に関連する指標であり、骨密度を含む概念である。
【0108】
端末装置802は、推定装置803に入力するための入力情報Iを取得することができる。入力情報Iは、例えば、X線画像などであればよい。この場合、端末装置802は、医師などが被写体のX線画像を撮影するための装置であればよい。例えば、端末装置802は、単純X線撮影装置(言い換えれば、一般X線撮影装置あるいはレントゲン撮影装置)であればよい。
【0109】
なお、端末装置802は、単純X線撮影装置には限られない。端末装置802は、例えば、X線透視撮影装置、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、SPECT(Single Photon Emission Computed Tomography)-CTまたはトモシンセシスなどであってもよい。この場合、入力情報Iは、例えば、X線透視画像、CT(Computed Tomography)画像、MRI(Magnetic Resonance Imaging)画像、骨シンチグラフィー画像またはトモシンセシス画像であればよい。
【0110】
推定システム801は、例えば、病院に通院する患者の骨粗鬆症などの診断に使用される。本開示の推定システム801は、例えばレントゲン室に設置された端末装置802を用いて、患者のレントゲン写真を撮影する。そして、端末装置802から推定装置803に画像データを転送し、推定装置803を介して、現時点での患者の骨量または骨密度だけではなく、撮影時より将来の患者の骨量または骨密度を推定することができる。
【0111】
なお、端末装置802は、入力情報Iを推定装置803に直接転送しなくてもよい。この場合、例えば端末装置802で取得された入力情報Iが、記憶媒体に記憶されて、記憶媒体を介して、推定装置803に入力情報Iが入力されてもよい。
【0112】
図14に、本実施の形態に係る推定装置803の構成の概念を示す。
【0113】
推定装置803は、端末装置802で取得された入力情報Iに基づいて、被写体の将来の骨量または骨密度を推定することができる。推定装置803では、端末装置802が取得した画像データから、被写体の将来の骨量または骨密度を推定し、その推定結果Oを出力することができる。
【0114】
推定装置803は、入力部831と、近似器832と、出力部833と、を有している。入力部831は、端末装置802から入力情報Iが入力されるものである。近似器832は、入力情報Iに基づいて、将来の骨量または骨密度を推定することができる。出力部833は、近似器832の予測した推定結果Oを出力することができる。
【0115】
推定装置803は、種々の電子部品および回路を有している。その結果、推定装置803は、各構成要素を形成することができる。例えば、推定装置803は、複数の半導体素子を集積して、少なくとも1つの集積回路(例えばIC:Integrated CircuitまたはLSI:Large Scale Integration)などを形成したり、または複数の集積回路をさらに集積して少なくとも1つのユニットを形成したりなどして、推定装置803の各機能部などを構成することができる。
【0116】
複数の電子部品は、例えば、トランジスタまたはダイオードなどの能動素子、あるいはコンデンサなどの受動素子であればよい。なお、複数の電子部品、およびそれらを集積して形成した集積回路などは、従来周知の方法によって形成することができる。
【0117】
入力部831は、推定装置803で使用する情報が入力されるものである。入力部831には、例えば端末装置802で取得したX線画像を有した入力情報Iが入力される。入力部831は、通信部を有しており、端末装置802で取得した入力情報Iが、端末装置802から直接入力される。また、入力部831は、入力情報Iまたは他の情報を入力可能な入力装置を備えていてもよい。入力装置は、例えば、キーボード、タッチパネル、またはマウスなどであればよい。
【0118】
近似器832は、入力部831に入力された情報に基づいて、被写体の将来の骨量または骨密度を推定するものである。近似器832は、AI(Artificial Intelligence)を有している。近似器832は、AIとして機能するプログラムと、そのプログラムを実行するための種々の電子部品および回路を有している。近似器832は、ニューラルネットワークを有している。
【0119】
近似器832は、予め入出力の関係について学習処理されている。すなわち、学習データおよび教師データを用いて、近似器832に機械学習を適用することによって、近似器832は、入力情報Iから推定結果Oを算出することができる。なお、学習データまたは教師データは、推定装置803に入力する入力情報Iと、推定装置803から出力する推定結果Oに対応したデータであればよい。
【0120】
図15は、本開示の近似器832の構成の概念を示す。
【0121】
近似器832は、第1のニューラルネットワーク8321と、第2のニューラルネットワーク8322を有している。第1のニューラルネットワーク8321は、時系列情報を扱うことに適したニューラルネットワークであればよい。例えば、第1のニューラルネットワーク8321は、LSTM(Long short-term memory)とCNN(Convolutional Neural Network)を組み合わせたConvLSTMネットワークなどであればよい。第2のニューラルネットワーク8322は、例えば、CNNで構成された畳み込みニューラルネットワークなどであればよい。
【0122】
第1のニューラルネットワーク8321は、エンコード部Eと、デコード部Dとを有している。エンコード部Eは、入力情報Iの時間変化および位置情報の特徴量を抽出することができる。デコード部Dは、エンコード部Eで抽出した特徴量、入力情報Iの時間変化および初期値に基づいて、新たな特徴量を算出することができる。
【0123】
図16は、本開示の第1のニューラルネットワーク8321の構成の概念を示す。
【0124】
エンコード部Eは、複数のConvLSTM層(Convolutional Long short-term memory)E1を有している。デコード部Dは、複数のConvLSTM層(Convolutional Long short-term memory)D1を有している。エンコード部Eおよびデコード部Dのそれぞれは、3つ以上のConvLSTM層E1,D1を有していてもよい。また、複数のConvLSTM層E1と複数のConvLSTM層D1の数は、同数でもよい。
【0125】
なお、複数のConvLSTM層E1は、それぞれ学習する内容が異なっていてもよい。複数のConvLSTM層D1は、それぞれ学習する内容が異なっていてもよい。例えば、あるConvLTSM層では1画素1画素の変化といった細かな内容を、別のConvLSTM層では全体像の変化といった大まかな内容を学習する。
【0126】
図17は、第2のニューラルネットワーク8322の構成の概念を示す。
【0127】
第2のニューラルネットワーク8322は、変換部Cを有している。変換部Cは、第1のニューラルネットワーク8321のデコード部Dで算出された特徴量を骨量または骨密度に変換することができる。変換部Cは、複数の畳み込み層C1と、複数のプーリング層C2と、全結合層C3と、を有している。全結合層C3は、出力部33の前段に位置している。そして、変換部Cでは、第1のニューラルネットワーク8311と全結合層C3との間において、畳み込み層C1とプーリング層C2とが交互に配置されている。
【0128】
なお、学習データは、近似器832の学習時に、近似器832のエンコード部Eに入力される。教師データは、近似器832の学習時に、近似器832の変換部Cから出力される出力データと比較される。教師データは、従来の骨密度測定装置を用いて測定された値を示すデータである。
【0129】
出力部833は、推定結果Oを表示することができる。出力部833は、例えば、液晶表示ディスプレイあるいは有機ELディスプレイである。出力部833は、文字、記号、図形などの各種情報を表示することが可能である。出力部833は、例えば、数字または画像などを表示することができる。
【0130】
本開示の推定装置803は、制御部834と、記憶部835とをさらに有している。制御部834は、推定装置803の他の構成要素を制御することによって、推定装置803の動作を統括的に管理することができる。
【0131】
制御部834は、例えば、プロセッサを有している。プロセッサは、例えば、1以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号処理装置、プログラマブルロジックデバイス、又はこれらのデバイスもしくは任意の校正の組み合わせ、または他の基地のデバイスもしくは校正の組み合わせを含んでよい。制御部834は例えばCPUを備える。
【0132】
記憶部835は、例えば、RAM(Random Access Memory)またはROM(Read-Only Memory)などの制御部834のCPUが読み取り可能な非一時的な記録媒体を含む。記憶部835には、ファームウェアなどの推定装置803を制御するための制御プログラムが記憶されている。また、記憶部835には、入力される入力情報I、学習される学習データおよび教師データが記憶されてもよい。
【0133】
制御部834のプロセッサは、記憶部835の制御プログラムに従って、1以上のデータ計算手続き又は処理を実行することができる。制御部834の各種機能は、制御部834のCPUが記憶部11内の制御プログラムを実行することによって実現される。
【0134】
なお、制御部834は、必要に応じて、計算処理の前処理として、その他の処理を行なってもよい。
【0135】
<入力情報、学習データおよび教師データの一例>
入力情報(以下、第1入力情報I1ともいう)は、骨量または骨密度の推定対象の骨が写る画像データを有している。画像データは、例えば単純X線像であればよい。骨量または骨密度の推定対象は、例えば人である。この場合、第1入力情報I1は、人の骨が写る単純X線像の画像データであると言える。単純X線像は、2次元像であって、一般X線像あるいはレントゲン像とも呼ばれる。
【0136】
第1入力情報I1は、入手が比較的容易である単純X線画像であると好ましいが、それに限定されるものではない。例えば、X線透視画像、CT(Computed Tomography)画像、MRI(Magnetic Resonance Imaging)画像、骨シンチグラフィー画像またはトモシンセシス画像を入力情報に用いることによって、より正確に骨量または骨密度を推定できる場合がある。
【0137】
なお、骨量または骨密度の推定対象は人以外であってもよい。例えば、骨量または骨密度の推定対象は、イヌ、ネコあるいはウマ等の動物であってもよい。また、対象とする骨は、主に、生物由来の皮質骨および海綿骨であるが、対象とする骨に、リン酸カルシウムを主成分とする人工骨、あるいは再生医療等によって人工的に製造された再生骨が含まれてもよい。
【0138】
X線画像の撮影部位としては、例えば、頚部、胸部、腰部、大腿骨近位部、膝関節、足首関節、肩関節、肘関節、手首関節、指関節または顎関節であればよい。なお、X線画像には、骨以外の部位が写っていてもよい。例えば、胸部単純X線像の場合には、肺を撮影したものと、胸椎を撮影したものを含んでいてもよい。X線画像は、対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。
【0139】
学習データまたは教師データは、推定装置3に入力する入力情報Iと、推定装置3から出力する推定結果Oに対応したデータであればよい。
【0140】
学習データは、第1入力情報I1と同種の情報を有している。例えば、第1入力情報I1が単純X線像であれば、学習データも単純X線像を有していればよい。さらには、第1入力情報I1が胸部単純X線像の場合、学習データも胸部単純X線像を有していればよい。
【0141】
学習データには、骨が写る複数の単純X線像の学習用画像データが含まれる。複数の学習用画像データの撮影部位には、例えば、頚部、胸部、腰部、大腿骨近位部、膝関節、足首関節、肩関節、肘関節、手首関節、指関節および顎関節の少なくとも1種類が含まれる。学習データには、11種類の画像データのうちの一部の種類の画像データが含まれてもよいし、全ての種類の画像データが含まれてもよい。また、複数の学習用画像データには、正面像が含まれてもよいし、側面像が含まれてもよい。
【0142】
学習データには、互いに異なる複数の人の骨がそれぞれ写っている。複数の学習用画像データのそれぞれに対して、教師データとして、それぞれの学習用画像データの被写体の骨量または骨密度の実測値が対応付けられている。骨量または骨密度の実測値は、学習用画像データが撮影された時期とほぼ同じ時期に測定されたものである。
【0143】
また、学習データの学習用画像データは、同一人を撮影した時間軸の異なる一連のデータであってもよい。すなわち、学習用画像データは、骨のX線画像を有した第1学習データと、第1学習データと同一人物の画像であり、第1学習データよりも後に撮影されたX線画像を有した第2学習データとを含んでもよい。
【0144】
また、学習データの学習用画像データは、他人の同一部位を撮影し、年齢等の異なるデータ群であってもよい。また、学習データの学習用画像データは、同一人、同一部位を撮影した時間軸の異なる一連のデータであってもよい。
【0145】
学習データおよび第1入力情報I1は、単純X線撮影装置(言い換えれば、一般X線撮影装置あるいはレントゲン撮影装置)で撮影された単純X線像を示すグレースケールの画像データを縮小し、かつその階調数を低下させたものを使用してもよい。例えば、画像データの画素データの数が(1024×640)個よりも多く、その画素データのビット数が16ビットの場合を考える。この場合、画素データの数を、例えば、(256×256)個、(1024×512)個あるいは(1024×640)個まで縮小し、その画素データのビット数を8ビットまで低減したものを、第1入力情報I1および学習データとして使用する。
【0146】
教師データには、学習データに含まれる複数の学習用画像データのそれぞれについて、学習用画像データが示す学習用単純X線像に写る骨を有する骨量または骨密度の測定値が含まれる。骨量または骨密度は、例えば、DEXA(dual-energy X-ray absorptiometry)法または超音波法によって測定されていればよい。
【0147】
<ニューラルネットワークの学習例>
制御部834は、近似器832が、入力情報Iから骨量または骨密度に関する推定結果Oを算出可能なように、近似器832に対して学習データと教師データを用いた機械学習を実行する。近似器832は、教師データを用いた公知の機械学習により、最適化される。近似器832は、エンコード部Eに入力された学習データから演算されて変換部Cから出力された疑似推定結果と、教師データとの差が小さくなるように、近似器832内の可変のパラメータを調整する。
【0148】
具体的には、制御部834は、記憶部835内の学習データをエンコード部Eに入力する。制御部834は、エンコード部Eに学習データを入力する場合には、学習用画像データを構成する複数の画素データを、エンコード部Eを構成する複数の人工ニューロンにそれぞれ入力する。そして、制御部834は、エンコード部Eに学習用画像データを入力した場合に変換部Cから出力される推定結果Oについての、当該学習用画像データに対応する骨量または骨密度実測値に対する誤差が小さくなるように、パラメータを調整する。調整後のパラメータは、学習済みパラメータとなり、記憶部835に記憶される。
【0149】
パラメータの調整方法としては、例えば、誤差逆伝播法が採用される。パラメータには、例えば、エンコード部E、デコード部D、変換部Cで使用されるパラメータが含まれる。具体的には、パラメータには、エンコード部Eとデコード部DのConvLSTM層と、変換部Cの畳み込み層および全結合層で使用される重み付け係数とが含まれる。
【0150】
その結果、近似器832は、エンコード部Eに入力される入力情報Iに対して学習済みパラメータに基づく演算を行って、変換部Cから推定結果Oを出力する。入力情報IとしてのX線画像データがエンコード部Eに入力される場合には、この画像データを構成する複数の画素データが、入力部831を構成する複数の人工ニューロンにそれぞれ入力される。そして、ConvLSTM層、畳み込み層、全結合層は、学習済みパラメータに含まれる重み付け係数を用いた演算を行ない、推定結果Oを出力することができる。
【0151】
以上のように、推定システム801では、単純X線像の画像データが使用されて、近似器832の学習と、近似器832での骨量または骨密度の推定とが行われる。したがって、推定システム801に入力情報Iを入力して、将来の骨量または骨密度を推定結果Oとして出力することができる。
【0152】
推定システム801の推定結果Oは、入力情報Iの取得日よりも未来のある日の推定結果であればよい。例えば、推定システム801は、撮影時の3ヶ月後から50年後まで、より好ましくは、6ヶ月後から10年後まで、の骨量または骨密度を推定することができる。
【0153】
推定結果Oは、値として出力されればよい。例えば、YAM(Young Adult Mean)、TスコアおよびZスコアの少なくとも1種類によって表されてよい。例えば、出力部833からは、YAMで表された推定値が出力されてもよいし、YAMで表された推定値と、Tスコアで表された推定値と、Zスコアで表された推定値とが出力されてもよい。
【0154】
また、推定結果Oは、画像として出力されてもよい。推定結果Oが画像の場合、例えばX線像様画像が表示されればよい。なお、X線像様画像とは、X線像を模した画像である。また、同一人、同一部位を撮影し、時間軸の異なる一連のデータを、ConvLSTMを用いて学習した場合、画像の時間変化を予測することができる。これにより、別の患者の1時点のX線画像から、未来の画像を生成することができる。
【0155】
学習データおよび入力情報Iには、骨の他にも、内臓、筋肉、脂肪または血管が撮影されていてもよい。その場合であっても、精度の高い推定を行なうことができる。
【0156】
第1入力情報I1は、被検者の個体データ(第1個体データ)を有していてもよい。第1個体データとは、例えば、年齢情報、性別情報、身長情報、体重情報または骨折歴などであればよい。その結果、精度の高い推定を行なうことができる。
【0157】
第1入力情報I1は、被検者の第2個体データを有していてもよい。第2個体データとは、例えば、血圧、脂質、コレステロール、中性脂肪、血糖値の情報を含んでもよい。その結果、精度の高い推定を行なうことができる。
【0158】
第1入力情報I1は、被検者の生活習慣情報を有していてもよい。生活習慣情報とは、飲酒習慣、喫煙習慣、運動習慣または食事習慣などの情報であればよい。その結果、精度の高い推定を行なうことができる。
【0159】
第1入力情報I1は、被検者の骨代謝情報を有していてもよい。骨代謝情報とは、例えば、骨吸収能力または骨形成能力であればよい。これらは、例えば、骨吸収マーカーであるI型コラーゲン架橋N-テロペプチド(NTX)、I型コラーゲン架橋C-テロペプチド(CTX)、酒石酸抵抗性酸ホスファターゼ(TRACP-5b)、デオキシピリジノリン(DPD)、骨形成マーカーである骨型アルカリホスファターゼ(BAP)、I型コラーゲン架橋N-プロペプチド(P1NP)、骨関連マトリックスマーカーである低カルボキシル化オステオカルシン(ucOC)の少なくとも1種によって、測定可能である。骨吸収マーカーは、血清または尿を検体として測定されてもよい。
【0160】
推定システム801において、入力情報Iとして、さらに被写体の将来の予定行動に関する第2入力情報I2を入力してもよい。第2入力情報I2とは、例えば、改善予定または改善後の個体データまたは改善予定または改善後の生活習慣、運動習慣、食事習慣に関する情報であればよい。具体的には、第2入力情報I2は、体重データ、飲酒習慣、喫煙習慣、陽に当たる時間、1日あたりの歩数または歩行距離、乳製品の摂取量、または改善後の魚、キノコ類などビタミンDを多く含む食品の摂取量などの情報であればよい。その結果、推定システム801は、将来の骨量または骨密度の改善した推定結果Oを示すことができる。
【0161】
また、第2入力情報I2は、例えば、改悪予定の生活習慣に関する情報であってもよい。その結果、推定システムは、将来の骨量または骨密度の改悪した推定結果Oを示すことができる。
【0162】
推定システム801において、入力情報Iとして、さらに被写体に対する療法に関する第3入力情報I3を入力してもよい。第3入力情報I3とは、例えば、理学療法または薬物療法に関する情報である。具体的には、第3入力情報I3は、カルシウム薬、女性ホルモン薬、ビタミン薬、ビスホスホネート薬、SERM(Selective Estrogen Receptor Modulator)薬、カルシトニン薬、甲状腺ホルモン薬、デノスマブ薬の少なくとも1種であればよい。
【0163】
推定システム801において、推定結果Oは、第1入力情報I1のみに基づいた第1結果O1と、第1入力情報I1、および第2,第3入力情報I2,I3の少なくとも1つの情報に基づいた第2結果O2とを出力してもよい。その結果、将来の予定行動に対する効果を比較することができる。
【0164】
推定システム801において、推定結果Oは、将来の骨量または骨密度だけではなく、現状の結果を出力してもよい。その結果、経時の骨量または骨密度の変化を比較することができる。
【0165】
図18は、推定システム801の他の実施形態の近似器832の構成の概念を示す。
【0166】
推定システム801の推定装置803は、第1近似器832aと第2近似器832bを有していてもよい。すなわち、上記の近似器832(第1近似器832a)の他に、第2近似器832bを有していてもよい。第2近似器832bは、例えば、CNNであればよい。
【0167】
この場合、推定システム801において、第1近似器832aは、第1推定結果O1として、第1画像および第1の値を第1出力部833aに出力するものである。さらに、第2近似器832bは、第1出力部833aからの第1画像から、第2推定結果O2として、第2の値を第2出力部833bに出力するものである。その結果、将来の骨量または骨密度の推定結果Oとして、第1の値と第2の値を比較することができる。
【0168】
推定システム801は、推定結果Oとして、第1の値および第2の値に基づいた第3の値を出力してもよい。その結果、例えば、第2の値に基づいて第1の値を補正した結果(第3の値)を、推定結果Oとすることができる。
【0169】
以上のように、推定システム801は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【0170】
1 コンピュータ装置(推定装置)
20 記憶部
100 制御プログラム
110,910,960 学習済みパラメータ
120 推定用データ
130 学習用データ
140 教師データ
200 ニューラルネットワーク
210 入力層
230 出力層
280,832 近似器
500 処理装置
600 骨密度推定システム
801 推定システム
802 端末装置
803 推定装置
831 入力部
833 出力部
834 制御部
835 記憶部
900,8322 第2のニューラルネットワーク
930 判定部
950 第3のニューラルネットワーク
980 骨折予測部
8321 第1のニューラルネットワーク
O 推定結果
I 入力情報
E エンコード部
D デコード部
C 変換部