▶ 京セラ株式会社の特許一覧 ▶ 国立大学法人 東京大学の特許一覧
特開2023-169392予測装置、予測システム、制御方法、および制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023169392
(43)【公開日】2023-11-29
(54)【発明の名称】予測装置、予測システム、制御方法、および制御プログラム
(51)【国際特許分類】
G16H 20/00 20180101AFI20231121BHJP
G16H 30/20 20180101ALI20231121BHJP
【ＦＩ】
G16H20/00
G16H30/20
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2023166420
(22)【出願日】2023-09-27
(62)【分割の表示】P 2022507291の分割
【原出願日】2021-03-12
(31)【優先権主張番号】P 2020044699
(32)【優先日】2020-03-13
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】渡辺 健一
(72)【発明者】
【氏名】京本 政之
(72)【発明者】
【氏名】橋田 昌彦
(72)【発明者】
【氏名】本多 信太郎
(72)【発明者】
【氏名】佐々木 駿
(72)【発明者】
【氏名】茂呂 徹
(72)【発明者】
【氏名】田中 栄
(57)【要約】 （修正有）
【課題】関節の症状等を予測する予測装置、予測システム、制御方法及び制御プログラムを提供する。
【解決手段】複数の予測装置１と通信可能に接続された１以上の端末装置７とを含予測システムにおいて、医療施設のための予測装置は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測モデルを有する第１予測部と、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、を備えている。
【選択図】図３
【解決手段】複数の予測装置１と通信可能に接続された１以上の端末装置７とを含予測システムにおいて、医療施設のための予測装置は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測モデルを有する第１予測部と、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、を備えている。
【選択図】図３
【特許請求の範囲】
【請求項1】
第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測モデルを有する第１予測部と、
前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、
を備える予測装置。
前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、
を備える予測装置。
【請求項2】
前記第１予測モデルは、
患者の骨、関節、および軟部組織が写る患者画像を含む第１学習データと、前記患者画像が撮像された時点から所定期間が経過した時点における前記患者の症状情報を含む第１教師データとを用いた機械学習によって生成される、
請求項１に記載の予測装置。
患者の骨、関節、および軟部組織が写る患者画像を含む第１学習データと、前記患者画像が撮像された時点から所定期間が経過した時点における前記患者の症状情報を含む第１教師データとを用いた機械学習によって生成される、
請求項１に記載の予測装置。
【請求項3】
前記第１予測モデルは、
患者の骨、関節、および軟部組織が写る患者画像を含む第１学習データと、前記患者画像が撮像された時点における前記患者の症状情報を含む第１教師データとを用いた機械学習によって生成される、
請求項１に記載の予測装置。
患者の骨、関節、および軟部組織が写る患者画像を含む第１学習データと、前記患者画像が撮像された時点における前記患者の症状情報を含む第１教師データとを用いた機械学習によって生成される、
請求項１に記載の予測装置。
【請求項4】
前記第２予測モデルは、
前記介入が適用された患者の該介入が適用された時期を示す情報、前記患者の骨、関節、および軟部組織が写る患者画像、および、前記患者画像が撮像された時点における症状情報のうち少なくともいずれかを含む学習データと、前記患者画像が撮像された時点から所定期間が経過した時点における前記患者が写った患者画像、および、症状情報を含む教師データとを用いた機械学習によって生成される、
請求項１に記載の予測装置。
前記介入が適用された患者の該介入が適用された時期を示す情報、前記患者の骨、関節、および軟部組織が写る患者画像、および、前記患者画像が撮像された時点における症状情報のうち少なくともいずれかを含む学習データと、前記患者画像が撮像された時点から所定期間が経過した時点における前記患者が写った患者画像、および、症状情報を含む教師データとを用いた機械学習によって生成される、
請求項１に記載の予測装置。
【請求項5】
前記症状情報は、前記患者の関節の疾患の発症時期、及び症状の進行に関する情報の少なくともいずれかである、
請求項２から４のいずれか１項に記載の予測装置。
請求項２から４のいずれか１項に記載の予測装置。
【請求項6】
前記医用画像は、前記対象を診察している医療施設に固有の識別情報、および前記対象に固有の識別情報が含まれる、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項7】
前記対象の前記第１時点の基礎情報を取得する基礎情報取得部をさらに備え、
前記第１予測モデルは、前記第１予測情報を、前記医用画像に加えて前記基礎情報から推定可能である、
請求項１に記載の予測装置。
前記第１予測モデルは、前記第１予測情報を、前記医用画像に加えて前記基礎情報から推定可能である、
請求項１に記載の予測装置。
【請求項8】
前記基礎情報は、前記対象の身長、体重、年齢、および性別のうち少なくとも１つを含む、請求項７に記載の予測装置。
【請求項9】
前記第１予測情報は、前記第２時点までの前記対象の関節に関する疾患の発症または症状の進行度合いを含む情報である、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項10】
前記第１予測部は、患者から過去に複数の時点において取得された、前記患者の関節の症状に関する時系列データである患者情報を用いて学習されたニューラルネットワークを前記第１予測モデルとして有する、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項11】
前記第１予測部は、前記医用画像から、前記第２時点における前記対象のＱＯＬに関連する第２予測情報をさらに出力可能であり、
前記第１予測モデルは、前記第２予測情報を、前記医用画像から推定可能である、
請求項１に記載の予測装置。
前記第１予測モデルは、前記第２予測情報を、前記医用画像から推定可能である、
請求項１に記載の予測装置。
【請求項12】
前記第３予測情報は、前記介入を適用すべき時期に関する情報を含んでいる、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項13】
前記第２予測部は、過去に前記介入が適用された患者から過去に複数の時点において取得された、前記患者の関節の症状に関する時系列データである効果情報を用いて学習されたニューラルネットワークを前記第２予測モデルとして有する、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項14】
前記効果情報は、前記介入が適用された患者の、該介入が適用された時期を示す情報、前記患者の関節が写った患者画像、該患者画像が撮像された時点における前記患者の関節の症状の発症または進行に関する症状情報を含む、
請求項１３に記載の予測装置。
請求項１３に記載の予測装置。
【請求項15】
過去に前記介入が適用された患者から過去に複数の時点において取得された、前記介入に関する時系列データである臨床成績情報に基づいて生成された第３予測モデルを用いて、前記第１予測情報および前記介入から、前記介入が適用された時点から所定の期間が経過した第３時点での前記対象の前記介入が適用された後の臨床成績に関する第４予測情報を出力する第３予測部をさらに備える、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項16】
前記疾患は、関節特有の疾患である、
請求項１に記載の予測装置。
請求項１に記載の予測装置。
【請求項17】
請求項１に記載の予測装置と、
前記予測装置と通信可能に接続された端末装置であって、前記第１予測情報を提示する端末装置と、を含む、
予測システム。
前記予測装置と通信可能に接続された端末装置であって、前記第１予測情報を提示する端末装置と、を含む、
予測システム。
【請求項18】
第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測ステップと、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測ステップと、をコンピュータに実行させる前記コンピュータの制御方法であって、
前記コンピュータは、前記第１予測情報を、前記医用画像から推定可能な第１予測モデル、および、前記第１予測情報から前記第３予測情報を推定可能な第２予測モデルを有している、
制御方法。
前記コンピュータは、前記第１予測情報を、前記医用画像から推定可能な第１予測モデル、および、前記第１予測情報から前記第３予測情報を推定可能な第２予測モデルを有している、
制御方法。
【請求項19】
請求項１に記載の予測装置としてコンピュータを機能させるための制御プログラムであって、前記第１予測部および前記第２予測部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、関節の症状等を予測する予測装置、予測システム、制御方法、制御プログラムに関する。
【背景技術】
【0002】
特許文献１には、骨粗鬆症を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】日本国特開２００８－３６０６８号公報
【発明の概要】
【0004】
本開示の一態様に係る予測装置は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測モデルを有する第１予測部と、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、を備える。
【0005】
また、本開示の一態様に係る制御方法は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測ステップと、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測ステップと、をコンピュータに実行させる前記コンピュータの制御方法であって、前記コンピュータは、前記第１予測情報を、前記医用画像から推定可能な第１予測モデル、および、前記第１予測情報から前記第３予測情報を推定可能な第２予測モデルを有している。
【0006】
また、本開示の各態様に係る予測装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記予測装置が備える各部（ソフトウェア要素）として動作させることにより前記予測装置をコンピュータにて実現させる予測装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
【図面の簡単な説明】
【0007】
【図1】本開示の一態様に係る予測システムの構成例を示す図である。
【図2】本開示の別の態様に係る予測システムの構成例を示す図である。
【図3】本開示の一態様に係る予測装置の構成の一例を示すブロック図である。
【図4】第１予測部、第２予測部、および第３予測部が有するニューラルネットワークの構成の一例を示す図である。
【図5】第１学習部による学習処理の流れの一例を示すフローチャートである。
【図6】第２学習部による学習処理の流れの一例を示すフローチャートである。
【図7】予測装置が行う処理の流れの一例を示すフローチャートである。
【図8】予測装置によって実現する医療サービスの一例を示す図である。
【図9】本開示の別の態様に係る予測装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【0008】
以下、本開示について詳細に説明する。
【0009】
対象の関節の疾患は、対象のＱＯＬ（quality of life）を著しく低下させ得るが、対対象の関節の疾患によるＱＯＬの低下を低減するためには、できるだけ早期に疾患の発症および症状の進行を発見し、生活指導等の適切な方法での介入を開始することが重要であった。これに対して、本開示の一態様では、対象の関節の疾患の発症または症状の進行度合いに関する信頼性の高い情報を提示することができる。したがって、ひいては、本開示の一態様では、対象のＱＯＬの低下を低減することができる。
【0010】
以下、本開示に係る各実施形態について説明する。なお、以下の説明では、対象がヒトである場合について「対象者」として説明するが、対象はヒトには限られない。対象は、例えば、ウマ科、ネコ科、イヌ科、ウシ科またはブタ科等のヒト以外の哺乳動物であってもよい。そして、本開示は、下記の実施形態のうち、これらの動物に対しても適用可能な実施形態であれば、「対象者」を「動物」と言い換えた実施形態も含むものである。
【0011】
〔実施形態１〕
（予測装置１の概要）
本開示の一態様に係る予測装置１は、第１時点の対象者の関節が写った医用画像から、第１予測モデルを用いて、対象者の関節の将来の症状に関する第１予測情報を出力する装置である。ここで、第１予測モデルとは、前記医用画像から前記第１予測情報を推定可能な予測モデルである。
（予測装置１の概要）
本開示の一態様に係る予測装置１は、第１時点の対象者の関節が写った医用画像から、第１予測モデルを用いて、対象者の関節の将来の症状に関する第１予測情報を出力する装置である。ここで、第１予測モデルとは、前記医用画像から前記第１予測情報を推定可能な予測モデルである。
【0012】
第１時点は、例えば、対象者の関節を撮像した医用画像が取得された時点であってもよい。第１時点は、典型的には、対象者の現在の関節の状態を撮像した医用画像が取得された時点であってもよい。すなわち、第１時点とは、実質的に現時点を意図していてもよい。
【0013】
また、第１予測情報は、第１時点から所定期間が経過した第２時点における、対象者の関節の症状に関する情報である。所定期間は、第１時点から経過した任意の期間であってよく、半年間であってもよいし、１年間であってもよいし、５年間であってもよいし、１０年間であってもよいし、５０年であってもよい。すなわち、第２時点とは、実質的に将来の任意の時点を意図していてもよい。所定期間は、１つの期間に限定されず、複数の期間を含んでいてもよい。すなわち、第１予測情報は、第１時点から半年後、１年後、５年後、１０年後および５０年後等、複数の時点における対象者の関節の症状を示す情報を含んでいてもよい。第１予測情報は、例えば、将来時点の、対象者の関節に生じる可能性が高い症状と該症状が発生する時期、および、対象者の関節の症状の進行度合い、に関する予測を含む情報である。
【0014】
より具体的には、第１予測情報は、対象者の関節に生じる可能性の高い症状として、例えば、関節周囲のアライメント、関節軟骨の厚み、関節裂隙、骨棘形成、滑膜炎の有無、Ｋｅｌｌｇｒｅｎ－Ｌａｕｒｅｎｃｅ（Ｋ－Ｌ）分類、関節の可動域、関節のこわばり、跛行の有無、等の情報を含んでも良い。
【0015】
予測装置１は、対象者の関節に将来生じる疾患（例えば、変形性関節症、関節リウマチ、骨壊死、および、その他関節特有の疾患等）の症状に関する情報を、該症状が生じていない時点で、対象者および対象者を担当する医師等に提示することができる。
【0016】
予測装置１は、対象者の、顎関節、脊椎椎間関節、肩関節、肩鎖関節、肘関節、手関節、手部、手指、股関節、仙腸関節、膝関節、足関節、足部、足趾、のうちいずれか１つを含む関節について、第１予測情報を出力することが可能である。
【0017】
予測装置１は、予測対象となる対象者の関節を構成する骨の形状、配置、関節を形成する骨が成す角度、および周囲の軟部組織の状態等が解析可能な任意の医用画像を利用することができる。それゆえ、医用画像は、例えば、単純Ｘ線画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像、および超音波画像のうちの少なくとも１つを含んでいればよい。
【0018】
（予測システム１００ａの構成）
まず、本開示の一態様に係る予測システム１００ａの構成について、図１を用いて説明する。図１は、予測装置１を導入した医療施設８における予測システム１００ａの構成例を示す図である。
まず、本開示の一態様に係る予測システム１００ａの構成について、図１を用いて説明する。図１は、予測装置１を導入した医療施設８における予測システム１００ａの構成例を示す図である。
【0019】
予測システム１００ａは、予測装置１と、予測装置１と通信可能に接続された１以上の端末装置７とを含んでいる。予測装置１は、対象者の関節が写った医用画像から第１予測情報を出力し、該第１予測情報を端末装置７に送信するコンピュータである。端末装置７は、予測装置１から第１予測情報を受信し、該第１予測情報を提示する。端末装置７は、医療施設８に所属する医師等の医療関係者が使用するコンピュータである。端末装置７は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等である。端末装置７は、他装置とのデータ送受信を行う通信部、キーボードおよびマイク等の入力部、第１予測情報に含まれる情報を表示可能な表示部、スピーカ等の出力部等を有している。図１に示す医療施設８内には、ＬＡＮ（local area network）が配設されており、予測装置１および端末装置７がＬＡＮに接続されている例を示しているが、これに限定されない。例えば、医療施設８内のネットワークは、インターネット、電話通信回線ネットワーク、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワーク等が適用されていてもよい。
【0020】
医療施設８内のＬＡＮには、予測装置１および端末装置７の他、医用画像管理装置６が通信可能に接続されていてもよい。医用画像管理装置６は、医療施設８にて撮像された医用画像を管理するためのサーバとして機能するコンピュータである。この場合、予測装置１は、医用画像管理装置６から対象者の関節が写った医用画像を取得してもよい。
【0021】
医療施設８内のＬＡＮは、外部の通信ネットワークと通信可能に接続されていてもよい。医療施設８において、予測装置１と端末装置７とがＬＡＮを介さずに直接接続されていてもよい。
【0022】
（予測システム１００ｂの構成）
予測装置１は、所定の医療施設８に設置されているコンピュータではなく、通信ネットワーク９を介して複数の医療施設８の各々に配設されたＬＡＮと通信可能に接続されていてもよい。図２は、本開示の別の態様に係る予測システム１００ｂの構成例を示す図である。
予測装置１は、所定の医療施設８に設置されているコンピュータではなく、通信ネットワーク９を介して複数の医療施設８の各々に配設されたＬＡＮと通信可能に接続されていてもよい。図２は、本開示の別の態様に係る予測システム１００ｂの構成例を示す図である。
【0023】
医療施設８ａ内のＬＡＮには、１以上の端末装置７ａの他、電子カルテ管理装置５ａ、医用画像管理装置６ａが通信可能に接続されていてもよい。また、医療施設８ｂ内のＬＡＮには、端末装置７ｂの他、電子カルテ管理装置５ｂ、医用画像管理装置６ｂが通信可能に接続されていてもよい。以下において、医療施設８ａと８ｂとを特に区別しない場合、「医療施設８」と記す。また、端末装置７ａと７ｂ、および、医用画像管理装置６ａと６ｂについても、特に区別しない場合、それぞれ「端末装置７」、および「医用画像管理装置６」と記す。
【0024】
図２では、医療施設８ａおよび医療施設８ｂのＬＡＮが、通信ネットワーク９に接続されている例を示している。予測装置１は、通信ネットワーク９を介して、各医療施設内の装置と通信可能に接続されていればよく、図２に示された構成に限定されない。例えば、医療施設８ａ内あるいは医療施設８ｂ内に、予測装置１が設置されていてもよい。
【0025】
このような構成を採用した予測システム１００ｂにおいて、予測装置１は、医療施設８ａにて診察を受けた対象者Ｐａの医用画像を、医療施設８ａの医用画像管理装置６ａから取得することが可能である。そして、予測装置１は、医療施設８ａに設置された端末装置７ａに対象者Ｐａの関節に関する第１予測情報を送信する。同様に、予測装置１は、医療施設８ｂにて診察を受けた対象者Ｐｂの医用画像を取得し、医療施設８ｂに設置された端末装置７ｂに対象者Ｐｂの関節に関する第１予測情報を送信することができる。
【0026】
この場合、各対象者の医用画像には、各対象者を診察している医療施設８毎に付与された各医療施設８に固有の識別情報（例えば、施設ＩＤ）、対象者毎に付与された各対象者に固有の識別情報（例えば、患者ＩＤ）が含まれていればよい。予測装置１は、これらの識別情報に基づいて、対象者に関する医療画像から出力した第１予測情報を、該対象者が診察を受けた各医療施設８の端末装置７に正しく送信することができる。
【0027】
【0028】
予測装置１は、予測装置１の各部を統括的に制御する制御部２、および、制御部２が使用する各種データを記憶する記憶部３を備える。制御部２は、画像取得部２１、第１予測部２３、出力制御部２４、第２予測部２５、第１学習部２７、および第２学習部２８を備える。記憶部３には、予測装置１の各種制御を行うためのプログラムである制御プログラム３１、第１学習データ３２（患者情報）、および第２学習データ３３（効果情報）が格納されている。
【0029】
＜画像取得部２１＞
画像取得部２１は、医用画像管理装置６から、第１時点の対象者の関節が写った画像である医用画像を取得する。医用画像は、第１予測部２３に入力される入力データである。
画像取得部２１は、医用画像管理装置６から、第１時点の対象者の関節が写った画像である医用画像を取得する。医用画像は、第１予測部２３に入力される入力データである。
【0030】
＜第１予測部２３＞
第１予測部２３は、対象者の関節が写った医用画像から、第１時点から所定期間が経過した第２時点における、関節に関する第１予測情報を出力する。第１予測部２３は、入力層２３１および出力層２３２を備える学習済のニューラルネットワークを有している（図４参照）。
第１予測部２３は、対象者の関節が写った医用画像から、第１時点から所定期間が経過した第２時点における、関節に関する第１予測情報を出力する。第１予測部２３は、入力層２３１および出力層２３２を備える学習済のニューラルネットワークを有している（図４参照）。
【0031】
第１予測部２３は、複数の患者の各々から過去に複数の時点において取得された、関節の症状に関する時系列データである第１学習データ３２を用いて学習済のニューラルネットワークを有している。この学習済のニューラルネットワークが、対象者の医用画像から第１予測情報を出力可能な第１予測モデルとして用いられる。なお、ニューラルネットワークは、人間の脳神経系を模した数理モデルであり、この数理モデルの各パラメータを学習処理によって決定し、この学習済の数理モデルまたは演算式に従って演算を行なうことで予測情報を予測することができる。
【0032】
第１予測部２３は、対象者の医用画像が、入力層２３１（図４参照）へ入力されたことに応じて、第１予測モデルに基づいて演算を行い、第１予測情報を出力層２３２（図４参照）から出力する。第１予測部２３は、一例として、医用画像から特徴量を抽出し、入力データとして用いる構成であってもよい。該特徴量の抽出には、以下に挙げるような公知のアルゴリズムが適用され得る。
・畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）
・オートエンコーダ（auto encoder）
・リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）
・ＬＳＴＭ（Long Short-Term Memory）。
・畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）
・オートエンコーダ（auto encoder）
・リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）
・ＬＳＴＭ（Long Short-Term Memory）。
【0033】
第１予測モデルとは、第１予測部２３が入力データに基づいて演算を行う際に用いる演算モデルである。第１予測部２３が有するニューラルネットワークに対して、後述する第１学習データ３２を用いた機械学習を実行することによって、第１予測モデルが生成される。第１学習データ３２、第１予測部２３の構成、および学習処理の具体例については後述する。
【0034】
＜第２予測部２５＞
第２予測部２５は、第１予測部２３と同様、入力層２５１、および出力層２５２を備える学習済のニューラルネットワークを有している（図４参照）。
第２予測部２５は、第１予測部２３と同様、入力層２５１、および出力層２５２を備える学習済のニューラルネットワークを有している（図４参照）。
【0035】
第２予測部２５は、過去に介入が適用された複数の患者の各々から過去に複数の時点において取得された、関節の症状に関する時系列データを含む第２学習データ３３を用いて学習されたニューラルネットワークを有している。この学習済みニューラルネットワークが、対象者の第１予測情報から、第３予測情報を推定可能な第２予測モデルとして用いられる。ここで、第２予測モデルとは、介入が適用された複数の患者の各々から取得された、関節の症状に関する時系列データに基づいて生成された予測モデルである。
【0036】
第３予測情報は、対象者への介入の方法および該介入による効果を示す情報である。より具体的には、介入の種類を示す情報および介入による効果を示す情報である。介入による効果とは介入を適用した場合の第２時点における対象者の関節の症状を表す情報である。または、介入による効果とは、介入を適用することで、介入を適用しなかった場合よりも第２時点における対象者の関節に関する疾患の症状が改善される程度あるいは症状の進行が抑制される程度を表す情報であってもよい。第３予測情報には、介入を適用すべき時期（介入時期）を示す情報を含んでいてもよい。
【0037】
第２予測部２５は、第１予測情報が、入力層２５１（図４参照）へ入力されたことに応じて、第２予測モデルに基づいて演算を行い、第３予測情報を出力層２５２（図４参照）から出力する。第２予測部２５は、一例として、第１予測情報から特徴量を抽出し、入力データとして用いる構成であってもよい。該特徴量の抽出には、以下に挙げるような公知のアルゴリズムが適用され得る。
・畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）
・オートエンコーダ（auto encoder）
・リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）
・ＬＳＴＭ（Long Short-Term Memory）。
・畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）
・オートエンコーダ（auto encoder）
・リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）
・ＬＳＴＭ（Long Short-Term Memory）。
【0038】
第２予測モデルとは、第２予測部２５が入力データに基づいて演算を行う際に用いる演算モデルである。第２予測部２５が有するニューラルネットワークに対して、後述する第２学習データ３３を用いた機械学習を実行することによって、第２予測モデルが生成される。第２学習データ３３、第２予測部２５の構成、および学習処理の具体例については後述する。
【0039】
＜出力制御部２４＞
出力制御部２４は、第１予測部２３から出力された第１予測情報を、端末装置７に送信する。また、出力制御部２４は、第２予測部２５から出力された第３予測情報を、端末装置７に送信する。
出力制御部２４は、第１予測部２３から出力された第１予測情報を、端末装置７に送信する。また、出力制御部２４は、第２予測部２５から出力された第３予測情報を、端末装置７に送信する。
【0040】
予測装置１が表示部（図示せず）を備える構成であってもよい。その場合、出力制御部２４は、表示部に第１予測情報を表示させる。
【0041】
＜第１学習部２７＞
第１学習部２７は、第１予測部２３が有するニューラルネットワークに対する学習処理を制御する。この学習には、第１学習データ３２（後述）が用いられる。第１学習部２７が行う学習の具体例については後述する。
第１学習部２７は、第１予測部２３が有するニューラルネットワークに対する学習処理を制御する。この学習には、第１学習データ３２（後述）が用いられる。第１学習部２７が行う学習の具体例については後述する。
【0042】
＜第２学習部２８＞
第２学習部２８は、第２予測部２５が有するニューラルネットワークに対する学習処理を制御する。この学習には、第２学習データ３３（後述）が用いられる。第２学習部が行う学習の具体例については後述する。
第２学習部２８は、第２予測部２５が有するニューラルネットワークに対する学習処理を制御する。この学習には、第２学習データ３３（後述）が用いられる。第２学習部が行う学習の具体例については後述する。
【0043】
（第１学習データ３２）
第１学習データ３２は、第１予測モデルを生成するための機械学習に用いられるデータである。第１学習データ３２は、入力データとして用いられる第１学習用入力データ３２１および第１予測部２３が出力した第１予測情報との誤差を算出するための第１教師データ３２２を含んでいる。
第１学習データ３２は、第１予測モデルを生成するための機械学習に用いられるデータである。第１学習データ３２は、入力データとして用いられる第１学習用入力データ３２１および第１予測部２３が出力した第１予測情報との誤差を算出するための第１教師データ３２２を含んでいる。
【0044】
例えば第１学習用入力データ３２１は、複数の患者の各々の、骨・関節および軟部組織が写った患者画像を含んでいてもよい。また、第１教師データ３２２は、患者画像が撮像された時点における各患者の関節に関する症状情報を含んでいてもよい。ここで、症状情報は、関節の疾患の発症時期、または症状の進行に関する情報を含んでいてもよい。患者画像は、複数の患者の各々の関節を撮像したＸ線画像、ＣＴ画像、ＭＲＩ画像、および超音波画像のうちの少なくとも１つを含んでいてもよい。
【0045】
第１学習データ３２は、第１学習用入力データ３２１と第１教師データ３２２とが一体となったデータであってもよい。つまり、第１学習データ３２は、複数の患者の各々から過去に複数の時点において取得された、患者画像と、該患者画像が撮像された時点における関節の症状に関する情報とが対応付けられている時系列データであってもよい。例えば、第１学習データ３２は、ある時点、およびある時点から１年後の患者の関節周囲のアライメント、関節軟骨の厚み、骨棘形成、滑膜炎の有無、Ｋ－Ｌ分類、関節の可動域、痛みの程度、関節のこわばりの程度、跛行の有無等の情報から抽出された特徴量を示すパラメータを含んでいてもよい。また、第１学習データ３２は、該患者の属性を示すパラメータを含んでもよい。患者の属性は、例えば、各患者の身長、体重、年齢、および性別である。第１学習データが時系列データである場合、第１学習部２７は、ある時点の患者画像を第１学習用入力データ３２１として用い、ある時点から所定の期間後の患者画像および該患者画像が撮像された時点における関節の症状に関する情報および患者に関する情報を第１教師データ３２２として用いてもよい。
【0046】
第１学習データ３２は、複数の患者の各々のＱＯＬに関するに関する情報を時系列データに含んでいてもよい。例えば、ＷＯＭＡＣ、ＳＦ－３６、ＶＡＳ等の情報を含んでも良い。このような第１学習データ３２を用いた機械学習によって生成された第１予測モデルを有する第１予測部２３は、対象者の医用画像から、第２時点における対象者のＱＯＬに関連する第２予測情報を出力することが可能である。
【0047】
（第２学習データ３３）
第２学習データ３３（効果情報）は、第２予測モデルを生成するための機械学習に用いられるデータである。第２学習データ３３は、入力データとして用いられる第２学習用入力データ３３１および第１予測部２３が出力した第１予測情報との誤差を算出するための第２教師データ３３２を含んでいる。具体的には、第２学習用入力データ３３１は、介入が適用された複数の患者の各々の、該介入が適用された時期を示す情報、各患者の関節が写った患者画像、および、各患者の患者画像が撮像された時点における関節の症状の発症または進行に関する症状情報を含んでいてもよい。また、第２教師データ３３２は、上述の患者画像が撮像された時点よりも後（例えば１年後）の時点における該患者の関節が写った患者画像、および、該患者の関節の症状の発症または進行に関する症状情報を含んでいてもよい。
第２学習データ３３（効果情報）は、第２予測モデルを生成するための機械学習に用いられるデータである。第２学習データ３３は、入力データとして用いられる第２学習用入力データ３３１および第１予測部２３が出力した第１予測情報との誤差を算出するための第２教師データ３３２を含んでいる。具体的には、第２学習用入力データ３３１は、介入が適用された複数の患者の各々の、該介入が適用された時期を示す情報、各患者の関節が写った患者画像、および、各患者の患者画像が撮像された時点における関節の症状の発症または進行に関する症状情報を含んでいてもよい。また、第２教師データ３３２は、上述の患者画像が撮像された時点よりも後（例えば１年後）の時点における該患者の関節が写った患者画像、および、該患者の関節の症状の発症または進行に関する症状情報を含んでいてもよい。
【0048】
第２学習データ３３は、過去に介入が適用された複数の患者の各々から、複数の時点において取得された、患者画像と、該患者画像が撮像された時点における関節の症状に関する情報と、が対応付けられている時系列データであってもよい。
【0049】
（第１予測部２３および第２予測部２５の構成）
以下、第１予測部２３および第２予測部２５の構成について図４に基づいて説明する。図４に示す構成は一例であり、第１予測部２３および第２予測部２５の構成はこれに限定されない。第１予測部２３および第２予測部２５は、同様の構成を有していてもよい。
以下、第１予測部２３および第２予測部２５の構成について図４に基づいて説明する。図４に示す構成は一例であり、第１予測部２３および第２予測部２５の構成はこれに限定されない。第１予測部２３および第２予測部２５は、同様の構成を有していてもよい。
【0050】
＜第１予測部２３の構成＞
図４に示すように第１予測部２３および第２予測部２５は、入力層２３１に入力される入力データに対して、第１予測モデルに基づく演算を行って、出力層２３２から第１予測情報を出力する。また、第１予測部２３は、第１予測情報に加えて第２予測情報を出力してもよい。
図４に示すように第１予測部２３および第２予測部２５は、入力層２３１に入力される入力データに対して、第１予測モデルに基づく演算を行って、出力層２３２から第１予測情報を出力する。また、第１予測部２３は、第１予測情報に加えて第２予測情報を出力してもよい。
【0051】
図４の第１予測部２３は、入力層２３１と出力層２３２までのニューラルネットワークを備える。ニューラルネットワークは、時系列情報を扱うことに適したニューラルネットワークであればよい。例えば、ＬＳＴＭ等であればよい。ニューラルネットワークは、時系列情報と位置情報を複合して扱うことに適したニューラルネットワークであると好ましい。例えば、ＣＮＮとＬＳＴＭを組み合わせたＣｏｎｖＬＳＴＭネットワーク等であればよい。入力層２３１は、入力データの時間変化の特徴量を抽出することができる。出力層２３２は、入力層２３１で抽出した特徴量、入力データの時間変化および初期値に基づいて、新たな特徴量を算出することができる。入力層２３１および出力層２３２は、複数のＬＳＴＭ層を有している。入力層２３１および出力層２３２のそれぞれは、３つ以上のＬＳＴＭ層を有していてもよい。学習のための第１学習用入力データ３２１は、第１予測部２３の学習時に、第１予測部２３の入力層２３１に入力される。第１教師データ３２２となる関節の症状に関するデータは、第１予測部２３の学習時に、第１予測部２３の出力層２３２から出力される出力データと比較される。第１予測部２３は、第１学習用入力データ３２１および第１教師データ３２２を用いた公知の機械学習により、最適化される。第１予測部２３は、入力層２３１に入力された第１学習用入力データ３２１から演算されて出力層２３２から出力された疑似予測結果と、第１教師データ３２２との差が小さくなるように、第１予測部２３内の可変のパラメータを調整する。
【0052】
具体的には、入力層２３１に第１学習用入力データ３２１を入力する場合には、第１学習用入力データ３２１を構成する複数の画素データを複数の人工ニューロンにそれぞれ入力する。そして、出力層２３２から出力される疑似予測結果についての、第１教師データ３２２に対する誤差が小さくなるように、パラメータを調整する。調整後のパラメータは、学習済みパラメータとなり、第１予測モデルまたは第２予測モデルに記憶される。
【0053】
パラメータの調整方法としては、例えば、誤差逆伝播法が採用される。パラメータには、例えば、入力層２３１、出力層２３２で使用されるパラメータが含まれる。具体的には、パラメータには、入力層２３１と出力層２３２のＬＳＴＭ層とにおいて使用される重み付け係数が含まれる。その結果、第１予測モデルは、入力層２３１に入力される医用画像データに対して第１予測モデルに基づく演算を行って、出力層２３２から第１予測情報を出力する。以上のように、該予測装置では、医用画像データが使用されて、第１予測部２３の学習と、第１予測部２３での予測とが行われる。したがって、予測装置に医用画像を入力して、将来の関節の症状に関する第１予測情報として出力することができる。
【0054】
具体的には、第１予測部２３の学習時に用いられる入力データは、第１学習用入力データ３２１に含まれるある時点Ａにおける患者の医用画像である。第１予測部２３は、上述の入力データに基づいて、出力データとして、時点Ａから所定の期間（例えば３年）が経過した時点Ｂまでの患者の関節に関する疾患の発症または進行度合いの予測結果を出力する。具体的には、第１予測部２３は、例えば患者の時点Ｂにおける関節を構成する骨同士が成す角度、該軟骨の摩耗具合を示すパラメータ、関節の変形度合いに応じた階級を示す値、該患者の関節に痛みが発症する時期・程度、および、該患者の関節に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す出力データは一例であり、これらに限られるものではない。
【0055】
また、第１予測部２３が第１予測情報を出力する際に用いる入力データは、例えば第１時点における対象者の医用画像から抽出された特徴量を示すパラメータである。また、第１予測部２３は、上述の入力データに基づいて、第１予測情報として、第２時点までの対象者の関節に関する疾患の発症または進行度合いの予測結果を出力する。具体的には、第１予測部２３は、第１予測情報として例えば対象者の第２時点における関節を構成する骨同士が成す角度、該軟骨の摩耗具合を示すパラメータ、関節の変形度合いに応じた階級を示す値、該対象者の関節に痛みが発症する時期・程度、および、該患者の関節に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す第１予測情報は一例であり、これらに限られるものではない。
【0056】
また、第１予測部２３は、上述の第１予測情報に基づいて、第２予測情報として、対象者のＱＯＬを示す情報を出力する。具体的には、第１予測部２３は、第２予測情報として対象者の関節に発症している痛みに関する情報、対象者の破局的思考に関する情報、対象者の運動能力に関する情報、前記対象者の生活満足度を示す情報、および、対象者の関節のこわばりの程度等の情報の少なくともいずれか１つを出力する。
【0057】
対象者のＱＯＬを示す情報は、下記のうちの少なくとも１つを含む情報である。
・対象者の関節に発症している痛みに関する情報
・対象者の破局的思考に関する情報
・対象者の運動能力に関する情報
・前記対象者の生活満足度を示す情報。
・対象者の関節に発症している痛みに関する情報
・対象者の破局的思考に関する情報
・対象者の運動能力に関する情報
・前記対象者の生活満足度を示す情報。
【0058】
対象者のＱＯＬを示す情報は、当該対象者の（１）身体機能、（２）日常役割機能（身体）、（３）体の痛み、（４）全体的健康感、（５）活力、（６）社会生活機能、（７）日常役割機能（精神）、（８）心の健康、に関する情報を含んでいてもよい。
【0059】
また、基礎情報は、例えば、対象者の関節の可動域、体重支持指数、跛行の有無、Ｋ－Ｌ分類、こわばりの程度等の情報を含んでいてもよい。ＱＯＬに関連する情報は、例えば、ＷＯＭＡＣ（Western Ontario and McMaster Universities Osteoarthritis Index）、ＳＦ－３６（36-Item. Short-Form Health Survey）、ＶＡＳ（Visual analog scale）等の情報を含んでいても良い。
【0060】
＜第２予測部２５の構成＞
第２予測部２５も第１予測部２３と同様の構成を備えていてよく、具体的には入力層２５１、および出力層２５２を備える。第２予測部２５は、第１予測部２３から第１予測情報を取得し、入力層２５１に入力する入力データとして用いる。第２予測部２５は、医用画像を更に取得し、入力データとして用いてもよい。第２予測部２５は、第１予測情報に基づき、第２予測モデルを用いて演算を行い、第３予測情報を出力する。
第２予測部２５も第１予測部２３と同様の構成を備えていてよく、具体的には入力層２５１、および出力層２５２を備える。第２予測部２５は、第１予測部２３から第１予測情報を取得し、入力層２５１に入力する入力データとして用いる。第２予測部２５は、医用画像を更に取得し、入力データとして用いてもよい。第２予測部２５は、第１予測情報に基づき、第２予測モデルを用いて演算を行い、第３予測情報を出力する。
【0061】
具体的には、第２予測部２５の学習時に用いられる入力データは、第２学習データ３３に含まれるある時点Ｂにおける患者の関節に関する疾患の発症または進行度合いを示す情報および介入情報３４に含まれる介入の方法を示す情報である。第２予測部２５は、上述の入力データに基づいて、時点Ｂにおける該介入を適用した場合の患者の関節に関する疾患の症状が改善される程度あるいは該症状の進行が抑制される程度を表す情報を出力する。より具体的には、第２予測部２５は、例えば患者の関節の変形が何％程度抑制されるか、痛みが生じる時期を何年遅らせることができるか、手術が必要となる時期を何年遅らせることができるか、どれだけ痛みが減少するか、どれだけ歩行能力（階段昇降能力を含む）が改善するか、またはどれだけＱＯＬが改善するか、といった情報を出力してもよい。
【0062】
また、第２予測部２５は、第１予測情報および介入情報３４に含まれる介入の方法を示す情報に基づいて、第３予測情報として、該介入を適用した場合の対象者の関節に関する疾患の症状が改善される程度あるいは該症状の進行が抑制される程度を表す情報を出力する。
【0063】
（介入情報３４）
図３に戻り、記憶部３には、第２予測部２５が効果を推定する介入についての情報（介入情報３４）が予め記憶されている。第２予測部２５は、第１予測情報を取得すると、記憶部３を参照し、介入情報３４に含まれる介入の方法の中から少なくとも１つを選択し、該介入の効果を推定する。効果が推定される介入情報３４としては、例えば体重制限、温熱治療、超音波療法、装具の着用、またはサプリメントの摂取（例：コンドロイチン、またはグルコサミン）といった非侵襲性の治療が挙げられる。また、介入情報３４として人工関節置換術等の侵襲性の治療による効果が推定されてもよい。
図３に戻り、記憶部３には、第２予測部２５が効果を推定する介入についての情報（介入情報３４）が予め記憶されている。第２予測部２５は、第１予測情報を取得すると、記憶部３を参照し、介入情報３４に含まれる介入の方法の中から少なくとも１つを選択し、該介入の効果を推定する。効果が推定される介入情報３４としては、例えば体重制限、温熱治療、超音波療法、装具の着用、またはサプリメントの摂取（例：コンドロイチン、またはグルコサミン）といった非侵襲性の治療が挙げられる。また、介入情報３４として人工関節置換術等の侵襲性の治療による効果が推定されてもよい。
【0064】
【0065】
第１学習部２７は、記憶部３から第１学習データ３２に含まれる第１学習用入力データ３２１を取得する（ステップＳ１）。第１学習用入力データ３２１には、患者Ａ、Ｂ、・・・の患者画像が含まれている。
【0066】
続いて、第１学習部２７は、第１学習用入力データ３２１に含まれる、時点Ａにおける患者Ａの患者画像を、入力層２３１に入力する（ステップＳ２）。入力層２３１は、入力された患者画像から、特徴量を示すパラメータを抽出してもよい。
【0067】
次に、第１学習部２７は、出力層２３２から患者Ａの関節の症状に関する出力データを取得する（ステップＳ３）。この出力データは、第１教師データ３２２と同じ内容を含んでいる。
【0068】
続いて、第１学習部２７は、第１学習データ３２に含まれる第１学習用入力データ３２１を取得する。そして、第１学習部２７は、取得した出力データと、第１教師データ３２２に含まれる、時点Ｂにおける患者Ａの症状情報とを比較し、誤差を算出し（ステップＳ４）、第１学習部２７は、該誤差が小さくなるように、第１予測モデルを調整する（ステップＳ５）。
【0069】
第１予測モデルの調整には、任意の公知の方法が適用可能である。例えば、第１予測モデルの調整方法として、誤差逆伝播法を採用してもよい。調整後の第１予測モデルが新たな第１予測モデルとなり、以降の演算では、第１予測部２３は新たな第１予測モデルを用いる。第１予測モデルの調整段階では、第１予測部２３で使用されるパラメータ（例えば、フィルタ係数、重み付け係数等）が調整され得る。
【0070】
第１学習部２７は、誤差が所定の範囲内に納まっていない場合、および、第１学習データ３２に含まれるすべての患者の患者画像を入力していない場合（ステップＳ６にてＮＯ）、ステップＳ２に戻り、学習処理を繰り返す。第１学習部２７は、誤差が所定の範囲内に納まっている場合、および、第１学習データ３２に含まれるすべての患者の患者画像を入力済である場合（ステップＳ６にてＹＥＳ）、学習処理を終了する。
【0071】
【0072】
第２学習部２８は、記憶部３から第２学習用入力データ３３１を取得する（ステップＳ１１）。第２学習用入力データ３３１には、各患者の関節の症状に関する症状情報およびある介入（以下、介入Ｘ）が適用された患者（患者Ａ）の症状情報が含まれている。
【0073】
続いて、第２学習部２８は、第２学習用入力データ３３１に含まれる、時点Ｂにおける患者Ａの関節の症状に関する症状情報を、入力層２３１に入力する（ステップＳ１２）。
【0074】
次に、第２学習部２８は、出力層２３２から患者Ａの関節の症状に関する出力データを取得する（ステップＳ１３）。この出力データは、第２教師データ３３２と同じ内容を含んでいる。
【0075】
続いて、第２学習部２８は、第２教師データ３３２を取得する。そして、第２学習部２８は、取得した出力データと、第２教師データ３３２に含まれる、時点Ｂにおいて介入Ｘが適用された患者Ａの症状情報とを比較し、誤差を算出し（ステップＳ１４）、学習部２７は、該誤差が小さくなるように、第２予測モデルを調整する（ステップＳ１５）。
【0076】
第２予測モデルの調整には、任意の公知の方法が適用可能である。例えば、第２予測モデルの調整方法として、誤差逆伝播法を採用してもよい。調整後の第２予測モデルが新たな第２予測モデルとなり、以降の演算では、第２予測部２５は新たな第２予測モデルを用いる。第２予測モデルの調整段階では、第１予測部２３で使用されるパラメータ（例えば、フィルタ係数、重み付け係数等）が調整され得る。
【0077】
第２学習部２８は、誤差が所定の範囲内に納まっていない場合、および、第２学習データ３３に含まれるすべての患者の症状情報を入力していない場合（ステップＳ１６にてＮＯ）、ステップＳ１２に戻り、学習処理を繰り返す。第２学習部２８は、誤差が所定の範囲内に納まっている場合、および、第２学習データ３３に含まれるすべての患者の症状情報を入力済である場合（ステップＳ１６にてＹＥＳ）、学習処理を終了する。
【0078】
【0079】
＜第１予測情報の出力＞
まず、画像取得部２１は、医用画像管理装置６から医用画像（入力データ）を取得し（ステップＳ２１：画像取得ステップ）、第１予測部２３に入力する。
まず、画像取得部２１は、医用画像管理装置６から医用画像（入力データ）を取得し（ステップＳ２１：画像取得ステップ）、第１予測部２３に入力する。
【0080】
続いて、第１予測部２３は、医用画像が入力されたことに応じて、第１予測情報を出力する（ステップＳ２２：予測ステップ）。
【0081】
＜第２予測情報の出力＞
基礎情報に、対象者のＱＯＬに関する情報が含まれている場合、ステップＳ２２において、第１予測部２３は、医用画像が入力されたことに応じて、第２予測情報をさらに出力してもよい。
基礎情報に、対象者のＱＯＬに関する情報が含まれている場合、ステップＳ２２において、第１予測部２３は、医用画像が入力されたことに応じて、第２予測情報をさらに出力してもよい。
【0082】
＜第３予測情報の出力＞
第２予測部２５は、第１予測情報を取得すると、記憶部３の介入情報３４を参照し、介入情報３４に含まれる介入の方法のうち少なくとも１つを選択する（ステップＳ２３）。また、第２予測部２５は、第１予測情報が入力されたことに応じて、選択した介入についての第３予測情報を出力する（ステップＳ２４）。
第２予測部２５は、第１予測情報を取得すると、記憶部３の介入情報３４を参照し、介入情報３４に含まれる介入の方法のうち少なくとも１つを選択する（ステップＳ２３）。また、第２予測部２５は、第１予測情報が入力されたことに応じて、選択した介入についての第３予測情報を出力する（ステップＳ２４）。
【0083】
（予測装置１によって実現する医療サービス）
図８は、予測装置１によって実現する医療サービスの一例を示す図である。
図８は、予測装置１によって実現する医療サービスの一例を示す図である。
【0084】
対象者が膝関節の痛み等により医療施設８へ通院し、関節に関係する疾患が疑われる場合、対象者を担当する医師等（ユーザ）は、その時点（第１時点）における該対象者のＸ線写真（医用画像）を取得する。ユーザが、取得した情報を予測装置１に入力すると、予測装置１は、第２時点における対象者の関節の状態（第１予測情報）を出力する。また、予測装置１は、対象者に生活指導等が適用された場合の該介入による効果を示す情報（第３予測情報）を出力する。ユーザは、予測装置１が出力した各情報を利用することで、対象者により好ましい生活指導等の介入を提示することが可能となる。また、対象者も介入による効果を知ることで、より前向きに介入を受け入れることが考えられる。
【0085】
〔その他の態様１〕
＜基礎情報取得部２２＞
予測装置１は、上述の構成に加えて、図３に示すように、基礎情報取得部２２をさらに備えていてもよい。基礎情報取得部２２は、電子カルテ管理装置５から、対象者に関連する情報である基礎情報を取得する。電子カルテ管理装置５は、医療施設８にて診察を受けた対象者の電子カルテ情報を管理するためのサーバとして機能するコンピュータである。医療施設８ａ内のＬＡＮには、１以上の端末装置７ａおよび医用画像管理装置６ａに加えて電子カルテ管理装置５ａが通信可能に接続されていてもよい。電子カルテ情報には、対象者の基礎情報、および問診情報が含まれていてもよい。基礎情報は、医用画像に加えて第１予測部２３に入力される入力データである。第１予測部２３が有する第１予測モデルは、医用画像に加えて基礎情報に基づいて第１予測情報を推定可能である。
＜基礎情報取得部２２＞
予測装置１は、上述の構成に加えて、図３に示すように、基礎情報取得部２２をさらに備えていてもよい。基礎情報取得部２２は、電子カルテ管理装置５から、対象者に関連する情報である基礎情報を取得する。電子カルテ管理装置５は、医療施設８にて診察を受けた対象者の電子カルテ情報を管理するためのサーバとして機能するコンピュータである。医療施設８ａ内のＬＡＮには、１以上の端末装置７ａおよび医用画像管理装置６ａに加えて電子カルテ管理装置５ａが通信可能に接続されていてもよい。電子カルテ情報には、対象者の基礎情報、および問診情報が含まれていてもよい。基礎情報は、医用画像に加えて第１予測部２３に入力される入力データである。第１予測部２３が有する第１予測モデルは、医用画像に加えて基礎情報に基づいて第１予測情報を推定可能である。
【0086】
基礎情報は、対象者の身長、年齢、および性別を含む情報である。基礎情報は、前記対象者の体格指数（ＢＭＩ）、種別（例えば人種等）、職業歴、運動歴、関節疾患の既往歴、および、骨の形態あるいは関節液・滑膜に関する情報、バイオマーカー情報、および遺伝子情報、のうち少なくとも１つをさらに含んでいてもよい。基礎情報は、例えば、対象者の電子カルテ情報等に含まれている情報を含んでいてもよい。基礎情報は、医療施設８等において実施された問診によって、対象者から取得された問診情報であってもよく、例えば、対象者の第１時点におけるＱＯＬに関連する情報を含んでいてもよい。
【0087】
また、第１予測部２３が入力データとして基礎情報を用いる場合、第１学習部２７は、第１予測部２３の学習を行う際、ある時点における患者の医用画像に加えて概患者の症状情報および属性情報を第１学習用入力データ３２１として第１予測部２３に入力してもよい。
【0088】
以上の構成によると、予測装置１は、医用画像に加えて、電子カルテ管理装置５から対象者の基礎情報を取得し、医療施設８ａに設置された端末装置７ａに対象者Ｐａの関節に関する第１予測情報を送信する。同様に、予測装置１は、医療施設８ｂにて診察を受けた対象者Ｐｂの医用画像および基礎情報を取得し、医療施設８ｂに設置された端末装置７ｂに対象者Ｐｂの関節に関する第１予測情報を送信することができる。
【0089】
また、予測装置１は、第１予測部２３および第２予測部２５に加えて、第４予測情報を出力する第３予測部２６をさらに備えていてもよい。また、予測装置１は、第３予測部２６の学習処理を行う第３学習部２９を備えていてもよい。ここで、第４予測情報とは、介入を適用した場合の該介入を適用してから所定の期間が経過した後の時点である第３時点での対象者の臨床成績情報である。第３予測部２６は第２予測部２５と同じ第２学習データ３３を用いた機械学習によって生成可能である。ただし、第３予測部２６は第２予測部２５とは異なる出力データを出力するニューラルネットワークである。第３予測部２６は、第２学習データ３３に含まれる、過去にある介入が適用された複数の患者の各々から過去に複数の時点において取得された、介入方法に関する時系列データ（臨床成績情報）に基づいて生成された第３予測モデルを有している。第３予測部２６は、第１予測情報と介入情報３４に基づき、第３予測モデルを用いた演算を行い、第３時点での対象者の介入後の臨床成績に関する第４予測情報を出力する。
【0090】
臨床成績情報は、手術治療を実施した患者の情報であり、例えば、関節鏡視下手術、関節温存術（例：骨切り術）、人工関節置換術が挙げられ、臨床成績情報は、例えば、痛み、関節のこわばり、関節の可動域、歩行能力、関節周囲のアライメントが挙げられる。関節鏡視下手術における臨床成績情報は、特に限定されるものではないが、滑膜炎の有無、篏頓症状等の有無が挙げられ、人工関節置換術における臨床成績情報は、痛み、関節の可動域、歩行能力等が挙げられる。
【0091】
第３予測部２６も第１予測部２３と同様の構成を備えていてよく、具体的には入力層２６１、および出力層２６２を備える。第３予測部２６は、第４予測情報として、例えば時点Ａにおいて適用されたある介入の時点Ｂにおける臨床成績を出力する。
【0092】
また、第３学習部２９は、第３予測部２６の学習を行う。第３学習部２９において行われる学習処理の流れは、第１学習部２７および第２学習部２８において行われる処理と同様である。ただし、第３学習部２９は、第２学習データ３３に含まれる、ある患者Ａの時点Ｂにおける症状情報およびある介入Ｘを示す情報を入力データとして第３予測部２６に入力する。第３学習部２９は、入力データに基づき、介入Ｘが適用された場合の時点Ｂにおける介入Ｘの臨床成績を出力データとして第３学習部２９に出力する。第３学習部２９は、該出力データと第２学習データ３３に含まれる時点Ｂにおける介入Ｘの臨床成績情報とを比較し、第３予測モデルを調整する。
【0093】
また、出力制御部２４は、第１予測情報、第２予測情報、および第３予測情報に加えて、対象者の撮像時点における情報を出力してもよい。具体的には、出力制御部２４は、第１時点における該対象者の医用画像、関節の症状に関する情報、および症状の進行度合いを示す情報等を出力してもよい。
【0094】
〔実施形態２〕
以下、予測装置１が、変形性膝関節症（Knee Osteoarthritis、以下ＫＯＡと記す。）に関する情報を予測するために適用される場合について説明する。ＫＯＡは、膝関節の形および軟骨に異常が生じ、膝関節が次第に変形する疾患である。日本におけるＫＯＡの患者数は、およそ２４００万人と見積もられている。そのうちの約１／３の患者は、膝の痛みを有している。ＫＯＡを発症し、症状が悪化した場合、人工膝関節置換術を受ける必要が生じる。
以下、予測装置１が、変形性膝関節症（Knee Osteoarthritis、以下ＫＯＡと記す。）に関する情報を予測するために適用される場合について説明する。ＫＯＡは、膝関節の形および軟骨に異常が生じ、膝関節が次第に変形する疾患である。日本におけるＫＯＡの患者数は、およそ２４００万人と見積もられている。そのうちの約１／３の患者は、膝の痛みを有している。ＫＯＡを発症し、症状が悪化した場合、人工膝関節置換術を受ける必要が生じる。
【0095】
ＫＯＡの発症の予防、および症状の進行の抑制には、できるだけ早期に生活指導等の介入を開始することが重要である。本開示の一態様に係る予測装置１を適用すれば、ＫＯＡの発症時期、および症状の推移を予測することができる。
【0096】
以下、予測装置１をＫＯＡに関する情報の予測に適用した場合の各データの具体例について説明する。
【0097】
この場合、入力層２３１に入力される入力データは、第１時点における医用画像である。第１時点は、例えば、医療施設８において、対象者の現在の膝の状態が診察された時点である。また、入力層２３１には、医用画像に加えて第１時点における対象者の基礎情報が入力されてもよい。
【0098】
医用画像は、例えば、第１時点において対象者を撮像した下肢Ｘ線写真（Ｘ線画像）、下肢ＣＴ写真（ＣＴ画像）、下肢ＭＲＩ写真（ＭＲＩ画像）、下肢超音波画像のうち少なくとも１つであってもよい。Ｘ線画像は立位正面像、正面像、側面像、Rosenberg View、膝蓋骨軸方向像のうち少なくとも１つであってもよい。撮影の際に、膝を固定するポジショナーを用いてもよい。
【0099】
また、基礎情報は、第１時点における対象者の身長、体重、年齢、性別を示す情報が含まれていてもよい。基礎情報は、下記の情報のうちの少なくとも１つをさらに含んでいてもよい。
・種別（例えば人種）、傷病の有無、傷病の種類、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、骨の形態に関する情報、遺伝子情報、膝関節液の組成、下肢筋量、大腿四頭筋力、歩行補助具の使用頻度、投薬治療の有無、抗炎症薬の使用有無、膝に発生している痛みに関する情報（例：痛みの有無）、膝関節の可動域を示す情報、対象者の運動能力に関する情報（歩行能力）、対象者の生活満足度を示す情報、関節疾患の既往歴、バイオマーカー情報、および膝の関節の変形度合に応じた階級を示す値（例：Ｋ－Ｌ分類、腰野分類）。
・種別（例えば人種）、傷病の有無、傷病の種類、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、骨の形態に関する情報、遺伝子情報、膝関節液の組成、下肢筋量、大腿四頭筋力、歩行補助具の使用頻度、投薬治療の有無、抗炎症薬の使用有無、膝に発生している痛みに関する情報（例：痛みの有無）、膝関節の可動域を示す情報、対象者の運動能力に関する情報（歩行能力）、対象者の生活満足度を示す情報、関節疾患の既往歴、バイオマーカー情報、および膝の関節の変形度合に応じた階級を示す値（例：Ｋ－Ｌ分類、腰野分類）。
【0100】
対象者の生活満足度を示す情報とは、対象者のＱＯＬに関する診断を行った結果の点数であってよい。該点数の評価方法としては、例えばＳＦ－３６、ＷＯＭＡＣ、ＩＫＤＣ（International Knee Documentation Committee）、ＫＯＯＳ（Knee injury and Osteoarthritis Outcome Score）、ＪＫＯＭ（Japanese knee osteoarthritis measure）等を用いることができる。
【0101】
遺伝子情報は、アスポリンをコードする遺伝子、ＧＤＦ５をコードする遺伝子、ＤＶＷＡをコードする遺伝子、のうち少なくとも１つに関する情報を含んでいてもよい。これらは、ＫＯＡの進行に関連すると考えられる遺伝子に関する情報である。
【0102】
傷病は、例えば、半月板損傷、前十字靭帯損傷、後十字靭帯損傷および外傷であってもよい。
【0103】
（第１学習データ３２）
本実施形態における第１学習データ３２は、複数の膝関節に関わる疾患を持つ患者の各々から過去に複数の時点において取得された、膝関節の症状に関する時系列データである。また、第１学習データ３２は、複数の患者の各々の、下記（１）～（３）を含んでいてもよい。
本実施形態における第１学習データ３２は、複数の膝関節に関わる疾患を持つ患者の各々から過去に複数の時点において取得された、膝関節の症状に関する時系列データである。また、第１学習データ３２は、複数の患者の各々の、下記（１）～（３）を含んでいてもよい。
【0104】
（１）膝関節が写った患者画像
（２）該患者画像が撮像された時点における膝関節の疾患の発症または症状の進行に関する症状情報
（３）該患者画像が撮像された時点におけるＱＯＬに関連する患者関連情報、が対応付けられている情報。
（２）該患者画像が撮像された時点における膝関節の疾患の発症または症状の進行に関する症状情報
（３）該患者画像が撮像された時点におけるＱＯＬに関連する患者関連情報、が対応付けられている情報。
【0105】
一例として、第１学習部２７は、第１学習データ３２に含まれるデータのうち、ある時点における患者画像を第１学習用入力データ３２１として用い、当該時点から所定の期間が経過した時点における該患者の患者画像、症状情報および患者関連情報を第１教師データ３２２として用いてもよい。
【0106】
（第１予測情報）
第１予測部２３は、上述の入力データが入力されたことに応じて、第１予測情報を出力する。第１予測情報は、以下に挙げる情報のうち少なくとも１つを含んでいてもよい。
・対象者の第２時点における膝の関節の変形度合いに応じた階級（例：Ｋ－Ｌ分類）を示す値
・対象者の第２時点における膝の可動域
・対象者の第２時点における膝の関節裂隙の幅
・対象者の第２時点における大腿骨と脛骨の成す角度（femoro-tibial angle）
・対象者の膝に痛みが発症する時期および程度
・対象者が歩行困難となる時期
・対象者の膝に侵襲治療が必要となる時期。
第１予測部２３は、上述の入力データが入力されたことに応じて、第１予測情報を出力する。第１予測情報は、以下に挙げる情報のうち少なくとも１つを含んでいてもよい。
・対象者の第２時点における膝の関節の変形度合いに応じた階級（例：Ｋ－Ｌ分類）を示す値
・対象者の第２時点における膝の可動域
・対象者の第２時点における膝の関節裂隙の幅
・対象者の第２時点における大腿骨と脛骨の成す角度（femoro-tibial angle）
・対象者の膝に痛みが発症する時期および程度
・対象者が歩行困難となる時期
・対象者の膝に侵襲治療が必要となる時期。
【0107】
第１予測情報として出力される情報は、第１予測モデルによって予測可能な任意の情報であってもよく、これらに限定されない。
【0108】
（第２学習データ３３）
本実施形態に係る第２学習データ３３は、介入を適用した場合の医用画像の時系列データである。また、第２学習データ３３には、該介入が適用された患者の基礎情報が含まれていてもよい。
本実施形態に係る第２学習データ３３は、介入を適用した場合の医用画像の時系列データである。また、第２学習データ３３には、該介入が適用された患者の基礎情報が含まれていてもよい。
【0109】
第２予測部２５は、それぞれの介入について、第２予測モデルを用いて該介入による効果の推定結果を示す第３予測情報を出力する。ここで、第２予測部２５が出力する第３予測情報とは、例えばある介入を適用した場合の第２時点における対象者の膝関節の変形の程度、または痛みの有無・程度等である。また、第２予測部２５は、該介入を適用した場合の第２時点における対象者の膝の状態を示す画像を生成し、第３予測情報として出力してもよい。
【0110】
また、運動習慣の変更が介入の方法として選択された場合、第２予測部２５は、膝の変形を抑制するために必要な下肢の筋肉量、筋力、筋肉バランスも予測し出力してもよい。また、関節鏡視下手術が介入の方法として選択された場合、第２予測部２５は、膝の変形を抑制するために必要な骨棘の切除範囲を予測し出力してもよい。また、介入の方法として骨切り術が選択された場合、第２予測部２５は、膝の変形を抑制するために必要なアライメント補正を予測し出力してもよい。
【0111】
（効果が推定される介入の方法）
本実施形態において、記憶部３に記憶されている介入情報３４に含まれる介入の方法は、例えば非侵襲性の治療である。例えば、介入には、体重制限、温熱療法、超音波療法、運動療法、刺激療法、マニュアルセラピー、高周波療法、薬剤摂取（薬剤投与）、サプリメント摂取、および装具の着用等が挙げられる。装具は、例えば、歩行補助具、サポーター、および足底板等を含んでいてもよい。
本実施形態において、記憶部３に記憶されている介入情報３４に含まれる介入の方法は、例えば非侵襲性の治療である。例えば、介入には、体重制限、温熱療法、超音波療法、運動療法、刺激療法、マニュアルセラピー、高周波療法、薬剤摂取（薬剤投与）、サプリメント摂取、および装具の着用等が挙げられる。装具は、例えば、歩行補助具、サポーター、および足底板等を含んでいてもよい。
【0112】
サプリメントは、例えば、コンドロイチン、またはグルコサミン等を含んでいてもよい。また、薬剤は、例えば、非ステロイド性抗炎症薬、アセトアミノフェン、シクロオキシゲナーゼ（ＣＯＸ）－２阻害薬、またはコンドロイチン硫酸ナトリウム等を含んでいてもよい。また、介入の方法は、関節内注射、手術療法、および、侵襲性の治療等を含んでいてもよい。関節内注射としては、例えば、ヒアルロン酸、ステロイド、または再生医療等製品（ＰＲＰ:plate rich plasma、ＭＳＣ：mesenchymal stem call、またはＭｕｓｅ細胞：Multi-lineage differentiating Stress Enduring cell等）が挙げられる。また、手術療法としては、例えば、関節鏡視下手術、半月板縫合・切除術、靭帯再建術、骨切り術（ＨＴＯ：high tibial osteotomy等）、軟骨再生医療または人工膝関節置換術等が挙げられる。
【0113】
第２予測部２５は、介入の方法の中の少なくとも１つを選択し、該介入による効果を推定する。また、第２予測部２５は、該介介入を複数組み合わせて適用した場合による効果を推定してもよい。
【0114】
〔その他の態様２〕
予測装置１の制御部２は、医用画像から新たな基礎情報を抽出してもよい。例えば、制御部２は、医用画像に基づいて、以下に挙げるもののうち少なくとも１つを測定してもよい。
・画像から大腿骨と脛骨の成す角度（femoro-tibial angle）、下肢筋量、関節軟骨の厚み、骨髄異常陰影、下骨嚢胞、陥凹、骨棘形成、半月板損傷、十字靭帯損傷、滑膜炎、骨硬化、靭帯の張力変化、関節の拘縮、大腿骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の骨梁構造、脛骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の血管の走行。
予測装置１の制御部２は、医用画像から新たな基礎情報を抽出してもよい。例えば、制御部２は、医用画像に基づいて、以下に挙げるもののうち少なくとも１つを測定してもよい。
・画像から大腿骨と脛骨の成す角度（femoro-tibial angle）、下肢筋量、関節軟骨の厚み、骨髄異常陰影、下骨嚢胞、陥凹、骨棘形成、半月板損傷、十字靭帯損傷、滑膜炎、骨硬化、靭帯の張力変化、関節の拘縮、大腿骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の骨梁構造、脛骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の血管の走行。
【0115】
制御部２によって測定された結果は、第１予測部２３に入力する基礎情報として用いられてもよい。
【0116】
また、制御部２は、対象者の下肢Ｘ線写真から関節裂隙を計測し、計測結果を第１予測部２３に入力する基礎情報として用いてもよい。また、制御部２は、対象者の歩行動画から対象者の外部膝内反モーメントの計測、および、ラテラルスラスト（Lateral thrust）の有無の検出を行い、検出結果を、第１予測部２３に入力する基礎情報として用いてもよい。
【0117】
該構成によると、予測装置１は、より多くの入力データに基づいて予測を行うことができるため、第１予測情報の精度をより向上させることができる。
【0118】
予測装置１は、介入に関する時系列データ（臨床成績情報）に基づいて生成された第３予測モデルを有していてもよい。臨床成績情報は、手術治療を実施した患者の情報であり、例えば、関節鏡視下手術、骨切り術、人工関節置換術が挙げられ、臨床成績情報は、例えば、痛み、関節のこわばり、関節の可動域、歩行能、関節周囲のアライメント（内外反アライメント、回旋アライメント）が挙げられる。関節鏡視下手術における臨床成績情報は、特に限定されるものではないが、滑膜炎の有無、篏頓症状の有無が挙げられ、骨切り術における臨床成績情報は、特に限定されるものではないが、femoro-tibial angle、％ＭＡ（ミクリッツ線）、膝蓋大腿関節圧が挙げられ、人工膝関節置換術における臨床成績情報は、痛み、関節の可動域、歩行能力が挙げられる。
【0119】
〔実施形態３〕
以下、予測装置１が、変形性股関節症（Hip Osteoarthritis、以下ＨＯＡと記す。）に関する情報を予測するために適用される場合について説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
以下、予測装置１が、変形性股関節症（Hip Osteoarthritis、以下ＨＯＡと記す。）に関する情報を予測するために適用される場合について説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0120】
ＨＯＡは、股関節の形および軟骨に異常が生じ、股関節が次第に変形する疾患である。日本におけるＨＯＡの有病率は、国民のおよそ１～５％と見積もられている。ＨＯＡを発症し、症状が悪化した場合、人工股関節置換術を受ける必要が生じる。
【0121】
ＨＯＡの発症の予防、および症状の進行の抑制には、できるだけ早期に生活指導等の介入を開始することが重要である。本開示の一態様に係る予測装置１を適用すれば、ＨＯＡの発症時期、および症状の推移を予測することができる。
【0122】
以下、予測装置１をＨＯＡに関する情報の予測に適用した場合の各データの具体例について説明する。
【0123】
この場合、入力層２３１に入力される入力データは、第１時点における医用画像である。ここでの第１時点とは、対象者の現在の股関節の状態を把握することができる時点である。例えば、第１時点とは、対象者が病院を受診した時点である。また、入力層２３１には、医用画像に加えて第１時点における対象者の基礎情報が入力されてもよい。
【0124】
また、この場合における医用画像は、対象者の股関節の変形についての演算を行うために入力データとして用いられる画像である。医用画像は、例えば第１時点において対象者の股関節周辺を撮像したＸ線写真（Ｘ線画像）、ＣＴ写真（ＣＴ画像）、ＭＲＩ写真（ＭＲＩ画像）、超音波画像のうち少なくとも１つである。
【0125】
また、基礎情報は、第１時点における対象者の身長、体重、年齢、性別を示す情報が含まれていてもよい。基礎情報は、下記の情報のうちの少なくとも１つをさらに含んでいてもよい。
・種別（例えば人種）、傷病の有無、傷病の種類、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、骨の形態に関する情報、遺伝子情報、関節液の組成、下肢筋量、歩行補助具の使用頻度、投薬治療の有無、抗炎症薬の使用有無、股関節に発症している痛みに関する情報（例：痛みの有無）、股関節の可動域を示す情報、対象者の運動能力に関する情報（歩行能力）、対象者の生活満足度を示す情報、関節疾患の既往歴、および、バイオマーカー情報および股関節の変形度合に応じた階級を示す値（例：Ｋ－Ｌ分類）。
・種別（例えば人種）、傷病の有無、傷病の種類、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、骨の形態に関する情報、遺伝子情報、関節液の組成、下肢筋量、歩行補助具の使用頻度、投薬治療の有無、抗炎症薬の使用有無、股関節に発症している痛みに関する情報（例：痛みの有無）、股関節の可動域を示す情報、対象者の運動能力に関する情報（歩行能力）、対象者の生活満足度を示す情報、関節疾患の既往歴、および、バイオマーカー情報および股関節の変形度合に応じた階級を示す値（例：Ｋ－Ｌ分類）。
【0126】
遺伝子情報は、カルモジュリンをコードする遺伝子であるＣＡＬＭ１、ＣＡＬＭ２、およびＧＤＦ５、および、アスポリンをコードする遺伝子、のうち少なくとも１つに関する情報を含んでいてもよい。これらは、ＨＯＡの進行に関連すると考えられる遺伝子に関する情報である。
【0127】
関節疾患の既往歴は、例えば、寛骨臼形成不全、発育性股関節形成不全であってもよい。発育性股関節形成不全の診断は、Ｘ線画像もしくは超音波画像によって行われていてもよい。Ｘ線撮影や超音波診断が困難な場合には、写真や動画によって行われてもよい。診断にはニューラルネットワークを用いてもよい。ニューラルネットワークは、複数の発育性股関節形成不全患者の写真、動画、Ｘ線画像もしくは超音波画像を学習していてもよい。
【0128】
（第１学習データ３２）
本実施形態における第１学習データ３２は、複数の股関節に関わる疾患を持つ患者の各々から過去に複数の時点において取得された、股関節の症状に関する時系列データである。また、第１学習データ３２は、複数の患者の各々の、下記（１）～（３）を含んでいてもよい。
本実施形態における第１学習データ３２は、複数の股関節に関わる疾患を持つ患者の各々から過去に複数の時点において取得された、股関節の症状に関する時系列データである。また、第１学習データ３２は、複数の患者の各々の、下記（１）～（３）を含んでいてもよい。
【0129】
（１）股関節が写った患者画像
（２）該患者画像が撮像された時点における股関節の疾患の発症または症状の進行に関する症状情報
（３）該患者画像が撮像された時点におけるＱＯＬに関連する患者関連情報。
（２）該患者画像が撮像された時点における股関節の疾患の発症または症状の進行に関する症状情報
（３）該患者画像が撮像された時点におけるＱＯＬに関連する患者関連情報。
【0130】
一例として、第１学習部２７は、第１学習データ３２に含まれるデータのうち、ある時点における患者画像を第１学習用入力データ３２１として用い、当該時点から所定の期間が経過した時点における該患者の患者画像、症状情報および患者関連情報を第１教師データ３２２として用いてもよい。
【0131】
（第１予測情報）
第１予測部２３は、上述の入力データが入力されたことに応じて、第１予測情報を出力する。第１予測情報は、以下に挙げる情報のうち少なくとも１つを含んでいてもよい。
・対象者の第２時点における股関節の変形度合いに応じた階級（例：Ｋ－Ｌ分類）を示す値
・対象者の第２時点における股関節の可動域
・対象者の股関節に痛みが発症する時期・程度
・対象者が歩行困難となる時期
・対象者の股関節に侵襲治療が必要となる時期。
第１予測部２３は、上述の入力データが入力されたことに応じて、第１予測情報を出力する。第１予測情報は、以下に挙げる情報のうち少なくとも１つを含んでいてもよい。
・対象者の第２時点における股関節の変形度合いに応じた階級（例：Ｋ－Ｌ分類）を示す値
・対象者の第２時点における股関節の可動域
・対象者の股関節に痛みが発症する時期・程度
・対象者が歩行困難となる時期
・対象者の股関節に侵襲治療が必要となる時期。
【0132】
第１予測情報として出力される情報は、第１予測モデルによって予測可能な任意の情報であってもよく、これらに限定されない。
【0133】
（第２学習データ３３）
本実施形態に係る第２学習データ３３は、介入を適用した場合の医用画像の時系列データである。また、第２学習データ３３には、該介入が適用された患者の基礎情報が含まれていてもよい。
本実施形態に係る第２学習データ３３は、介入を適用した場合の医用画像の時系列データである。また、第２学習データ３３には、該介入が適用された患者の基礎情報が含まれていてもよい。
【0134】
第２予測部２５は、それぞれの介入について、第２予測モデルを用いて該介入による効果の推定結果を示す第３予測情報を出力する。ここで、第２予測部２５が出力する第３予測情報とは、例えば介入を適用した場合の第２時点における対象者の股関節の変形の程度、または痛みの有無・程度等である。また、第２予測部２５は、介入を適用した場合の第２時点における対象者の股関節の状態を示す画像を生成し、第３予測情報として出力してもよい。
【0135】
（効果が推定される介入の方法）
本実施形態において、記憶部３に記憶されている介入情報３４に含まれる介入の方法は、例えば非侵襲性の治療である。例えば、介入の方法には、体重制限、温熱療法、超音波療法、運動療法、刺激療法、マニュアルセラピー、高周波療法、薬剤摂取（薬剤投与）、サプリメント摂取、装具の着用、患者教育等が挙げられる。装具は、例えば、歩行補助具、サポーター等を含んでいてもよい。
本実施形態において、記憶部３に記憶されている介入情報３４に含まれる介入の方法は、例えば非侵襲性の治療である。例えば、介入の方法には、体重制限、温熱療法、超音波療法、運動療法、刺激療法、マニュアルセラピー、高周波療法、薬剤摂取（薬剤投与）、サプリメント摂取、装具の着用、患者教育等が挙げられる。装具は、例えば、歩行補助具、サポーター等を含んでいてもよい。
【0136】
サプリメントは、例えば、コンドロイチン、またはグルコサミン等を含んでいてもよい。薬剤は、例えば非ステロイド性抗炎症薬、アセトアミノフェン、COX-2阻害薬、および、コンドロイチン硫酸ナトリウム等を含んでいてもよい。介入の方法は、関節内注射、手術療法、および、侵襲性の治療等を含んでいてもよい。関節内注射としては、ヒアルロン酸、ステロイド、または再生医療等製品（ＰＲＰ、ＭＳＣ、またはＭｕｓｅ細胞等）が挙げられる。また、手術療法としては、関節鏡視下手術、骨切術（ＲＡＯ：rotational acetabular osteotomy）、または人工股関節置換術等の手法が挙げられる。
【0137】
第２予測部２５は、該介入の方法の中の少なくとも１つを選択し、該介入による効果を推定する。また、第２予測部２５は、該介入の方法を複数組み合わせて適用した場合による効果を推定してもよい。
【0138】
〔実施形態４〕
以下、予測装置１が、特発性大腿骨頭壊死症（Idiopathic Osteonecrosis of Femoral Head、以下「ＩＯＮ」と記す。）に関する情報を予測するために適用される場合について説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
以下、予測装置１が、特発性大腿骨頭壊死症（Idiopathic Osteonecrosis of Femoral Head、以下「ＩＯＮ」と記す。）に関する情報を予測するために適用される場合について説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0139】
ＩＯＮは、大腿骨頭が阻血性壊死して圧潰し、股関節機能が失われる難治性疾患である。ＩＯＮは、人工股関節置換術を施す必要のある全疾患の７％を占めている。ＩＯＮは、日本において、およそ５０００人に１人の割合で発症している。ステロイド全身投与、飲酒習慣、および喫煙習慣等がＩＯＮ発症の関連因子として疑われている。
【0140】
ＩＯＮは、３０～４０歳に発症することが多く、労働力の低下をもたらす。また、ＩＯＮを発症した場合、長期間の治療を要する。ＩＯＮの症状が進行し、大腿骨頭の圧潰が生じた患者は、人工股関節置換術を受ける必要がある。
【0141】
本開示の一態様に係る予測装置は、ＩＯＮが発症するまでの期間を予測することができる。
【0142】
さらに、本開示の一態様に係る予測装置は、ＩＯＮの症状の推移、および、大腿骨頭が圧潰するまでの期間を予測することができる。
【0143】
この場合、入力層２３１に入力される入力データは、第１時点における医用画像である。ここでの第１時点とは、対象者の現在の股関節の状態を把握することができる時点である。例えば、第１時点とは、対象者が病院を受診した時点である。また、入力層２３１には、医用画像に加えて第１時点における対象者の基礎情報が入力されてもよい。
【0144】
また、この場合における医用画像は、例えば第１時点において対象者の股関節周辺を撮像したＸ線写真（Ｘ線画像）、ＣＴ写真（ＣＴ画像）、ＭＲＩ写真（ＭＲＩ画像）、超音波画像のうち少なくとも１つであってもよい。
【0145】
また、基礎情報は、例えば第１時点における対象者の性別、年齢、身長、体重、種別（例えば人種）、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、飲酒習慣、ステロイド服用の有無、骨の形態に関する情報、遺伝子情報、股関節に発症している痛みおよびこわばりに関する情報（例：痛み・こわばりの有無または程度）、およびバイオマーカー情報のうち少なくとも１つを含む情報である。
【0146】
（第１学習データ３２）
本実施形態における第１学習データ３２は、ＩＯＮであると診断された複数の患者の各々から過去に複数の時点において取得された、ＩＯＮの症状に関する時系列データである。また、第１学習データ３２は、複数の患者の各々の、股関節が写った患者画像、該患者画像が撮像された時点における股関節の疾患の発症または症状の進行に関する症状情報、および、該患者画像が撮像された時点におけるＱＯＬに関連する患者関連情報、が対応付けられている情報を含む。また、第１学習データ３２には、大腿骨頭の圧潰が生じた時期を示す情報を含んでいてもよい。
本実施形態における第１学習データ３２は、ＩＯＮであると診断された複数の患者の各々から過去に複数の時点において取得された、ＩＯＮの症状に関する時系列データである。また、第１学習データ３２は、複数の患者の各々の、股関節が写った患者画像、該患者画像が撮像された時点における股関節の疾患の発症または症状の進行に関する症状情報、および、該患者画像が撮像された時点におけるＱＯＬに関連する患者関連情報、が対応付けられている情報を含む。また、第１学習データ３２には、大腿骨頭の圧潰が生じた時期を示す情報を含んでいてもよい。
【0147】
一例として、第１学習部２７は、第１学習データ３２に含まれるデータのうち、ある時点における患者画像を第１学習用入力データ３２１として用い、当該時点から所定の期間が経過した時点における該患者の患者画像、症状情報および患者関連情報を第１教師データ３２２として用いてもよい。
【0148】
（第１予測情報）
第１予測部２３は上述の入力データが入力されたことに応じて、第１予測情報を出力する。第１予測情報は、以下に挙げる情報のうち少なくとも１つを含んでいてもよい。
・第２時点における対象者の股関節の痛みの程度
・対象者の第２時点における股関節の可動域
・対象者の股関節に痛みが発症する時期
・対象者の骨頭が圧潰する時期
・対象者が歩行困難となる時期
・対象者の股関節に侵襲治療が必要となる時期。
第１予測部２３は上述の入力データが入力されたことに応じて、第１予測情報を出力する。第１予測情報は、以下に挙げる情報のうち少なくとも１つを含んでいてもよい。
・第２時点における対象者の股関節の痛みの程度
・対象者の第２時点における股関節の可動域
・対象者の股関節に痛みが発症する時期
・対象者の骨頭が圧潰する時期
・対象者が歩行困難となる時期
・対象者の股関節に侵襲治療が必要となる時期。
【0149】
例えば、第１予測部２３は、対象者の５年後の股関節の痛みの程度を第１予測情報として出力する。
【0150】
第１予測情報として出力される情報は、第１予測モデルによって予測可能な任意の情報であってもよく、これらに限定されない。
【0151】
（第２学習データ３３）
本実施形態に係る第２学習データ３３は、介入を適用した場合の医用画像の時系列データである。また、第２学習データ３３には、該介入が適用された患者の基礎情報が含まれていてもよい。
本実施形態に係る第２学習データ３３は、介入を適用した場合の医用画像の時系列データである。また、第２学習データ３３には、該介入が適用された患者の基礎情報が含まれていてもよい。
【0152】
第２予測部２５は、それぞれの介入について、第２予測モデルを用いて該介入による効果の推定結果を示す第３予測情報を出力する。ここで、第２予測部２５が出力する第３予測情報とは、例えば介入を適用した場合の第２時点における対象者の股関節に発症する痛みの有無・程度、またはこわばりの有無・程度等である。また、第２予測部２５は、介入を適用した場合の第２時点における対象者の股関節の状態を示す画像を生成し、第３予測情報として出力してもよい。また、第２予測情報は、介入を適用した場合に大腿骨の圧潰が生じる時期を第３予測情報として出力してもよい。
【0153】
（効果が推定される介入の方法）
本実施形態において、記憶部３に記憶されている介入情報３４に含まれる介入の方法は、例えば非侵襲性の治療である。介入の方法には、体重制限、温熱療法、超音波療法、薬剤摂取、装具の着用の着用等が挙げられる。装具は、例えば、歩行補助具、サポーター等を含んでいてもよい。
本実施形態において、記憶部３に記憶されている介入情報３４に含まれる介入の方法は、例えば非侵襲性の治療である。介入の方法には、体重制限、温熱療法、超音波療法、薬剤摂取、装具の着用の着用等が挙げられる。装具は、例えば、歩行補助具、サポーター等を含んでいてもよい。
【0154】
薬剤は、例えば、スタチン系高脂血症治療薬であってもよい。
【0155】
介入の方法は、関節内注射、または手術療法、および、侵襲性の治療等を含んでいてもよい。また、手術療法は、例えば、骨切り術、人工股関節置換術であってもよい。
【0156】
第２予測部２５は、該介入の方法の中の少なくとも１つを選択し、該介入による効果を推定する。また、第２予測部２５は、該介入の方法を複数組み合わせて適用した場合による効果を推定してもよい。
【0157】
〔ソフトウェアによる実現例〕
予測装置１の制御ブロック（特に画像取得部２１、基礎情報取得部２２、第１予測部２３、出力制御部２４、第２予測部２５、第１学習部２７、および第２学習部２８）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
予測装置１の制御ブロック（特に画像取得部２１、基礎情報取得部２２、第１予測部２３、出力制御部２４、第２予測部２５、第１学習部２７、および第２学習部２８）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0158】
後者の場合、予測装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）等をさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0159】
以上、本開示に係る発明について、諸図面および実施例に基づいて説明してきた。しかし、本開示に係る発明は上述した各実施形態に限定されるものではない。すなわち、本開示に係る発明は本開示で示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示に係る発明の技術的範囲に含まれる。つまり、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。また、これらの変形または修正は本開示の範囲に含まれることに留意されたい。
【0160】
〔まとめ１〕
本開示の態様１に係る予測装置は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測モデルを有する第１予測部と、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、を備える。
本開示の態様１に係る予測装置は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測モデルを有する第１予測部と、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測モデルを有する第２予測部と、を備える。
【0161】
本開示の態様２に係る予測装置は、前記態様１において、前記第１予測モデルは、患者の骨、関節、および軟部組織が写る患者画像を含む第１学習データと、前記患者画像が撮像された時点から所定期間が経過した時点における前記患者の症状情報を含む第１教師データとを用いた機械学習によって生成されてもよい。
【0162】
本開示の態様３に係る予測装置は、前記態様１または２において、前記第１予測モデルは、患者の骨、関節、および軟部組織が写る患者画像を含む第１学習データと、前記患者画像が撮像された時点における前記患者の症状情報を含む第１教師データとを用いた機械学習によって生成されてもよい。
【0163】
本開示の態様４に係る予測装置は、前記態様１～３のいずれかにおいて、前記第２予測モデルは、前記介入が適用された患者の該介入が適用された時期を示す情報、前記患者の骨、関節、および軟部組織が写る患者画像、および、前記患者画像が撮像された時点における症状情報のうち少なくともいずれかを含む学習データと、前記患者画像が撮像された時点から所定期間が経過した時点における前記患者が写った患者画像、および、症状情報を含む教師データとを用いた機械学習によって生成されてもよい。
【0164】
本開示の態様５に係る予測装置は、前記態様２～４のいずれかにおいて、前記症状情報は、前記患者の関節の疾患の発症時期、及び症状の進行に関する情報の少なくともいずれかであってもよい。
【0165】
本開示の態様６に係る予測装置は、前記態様１～５のいずれかにおいて、前記医用画像は、前記対象を診察している医療施設に固有の識別情報、および前記対象に固有の識別情報が含まれていてもよい。
【0166】
本開示の態様７に係る予測装置は、前記態様１～６のいずれかにおいて、前記対象の前記第１時点の基礎情報を取得する基礎情報取得部をさらに備え、前記第１予測モデルは、前記第１予測情報を、前記医用画像に加えて前記基礎情報から推定可能であってもよい。
【0167】
本開示の態様８に係る予測装置は、前記態様７において、前記基礎情報は、前記対象の身長、体重、年齢、および性別のうち少なくとも１つを含んでいてもよい。
【0168】
本開示の態様９に係る予測装置は、前記態様１～８のいずれかにおいて、前記第１予測情報は、前記第２時点までの前記対象の関節に関する疾患の発症または症状の進行度合いを含む情報であってもよい。
【0169】
本開示の態様１０に係る予測装置は、前記態様１～９のいずれかにおいて、前記第１予測部は、患者から過去に複数の時点において取得された、前記患者の関節の症状に関する時系列データである患者情報を用いて学習されたニューラルネットワークを前記第１予測モデルとして有していてもよい。
【0170】
本開示の態様１１に係る予測装置は、前記態様１～１０のいずれかにおいて、前記第１予測部は、前記医用画像から、前記第２時点における前記対象のＱＯＬに関連する第２予測情報をさらに出力可能であり、前記第１予測モデルは、前記第２予測情報を、前記医用画像から推定可能であってもよい。
【0171】
本開示の態様１２に係る予測装置は、前記態様１～１１のいずれかにおいて、前記第３予測情報は、前記介入を適用すべき時期に関する情報を含んでいてもよい。
【0172】
本開示の態様１３に係る予測装置は、前記態様１～１２のいずれかにおいて、前記第２予測部は、過去に前記介入が適用された患者から過去に複数の時点において取得された、前記患者の関節の症状に関する時系列データである効果情報を用いて学習されたニューラルネットワークを前記第２予測モデルとして有していてもよい。
【0173】
本開示の態様１４に係る予測装置は、前記態様１３において、前記効果情報は、前記介入が適用された患者の、該介入が適用された時期を示す情報、前記患者の関節が写った患者画像、該患者画像が撮像された時点における前記患者の関節の症状の発症または進行に関する症状情報を含んでいてもよい。
【0174】
本開示の態様１５に係る予測装置は、前記態様１～１４のいずれかにおいて、過去に前記介入が適用された患者から過去に複数の時点において取得された、前記介入に関する時系列データである臨床成績情報に基づいて生成された第３予測モデルを用いて、前記第１予測情報および前記介入から、前記介入が適用された時点から所定の期間が経過した第３時点での前記対象の前記介入が適用された後の臨床成績に関する第４予測情報を出力する第３予測部をさらに備えていてもよい。
【0175】
本開示の態様１６に係る予測装置は、前記態様１～１５のいずれかにおいて、前記疾患は、関節特有の疾患であってもよい。
【0176】
本開示の態様１７に係る予測システムは、前記態様１～１６のいずれかの予測装置と、前記予測装置と通信可能に接続された端末装置であって、前記第１予測情報を提示する端末装置と、を含む。
【0177】
本開示の態様１８に係る制御方法は、第１時点の対象が写る医用画像から、前記第１時点から所定期間が経過した第２時点の前記対象の疾患を予測した第１予測情報を出力する第１予測ステップと、前記第１予測情報から、前記対象への介入の方法および該介入による効果を示す第３予測情報を出力する第２予測ステップと、をコンピュータに実行させる前記コンピュータの制御方法であって、前記コンピュータは、前記第１予測情報を、前記医用画像から推定可能な第１予測モデル、および、前記第１予測情報から前記第３予測情報を推定可能な第２予測モデルを有している。
【0178】
本開示の態様１９に係る制御プログラムは、前記態様１～１６のいずれかの予測装置としてコンピュータを機能させるための制御プログラムであって、前記第１予測部および前記第２予測部としてコンピュータを機能させるための制御プログラムである。
【0179】
〔まとめ２〕
【0180】
本開示の一態様に係る予測装置は、第１時点の対象の関節（骨、軟骨および軟部組織を含む）が写った医用画像を取得する画像取得部と、前記医用画像から、前記第１時点から所定期間が経過した第２時点における、前記関節に関する第１予測情報を出力する第１予測部と、を備え、前記第１予測部は、前記第１予測情報を、前記医用画像から推定可能な第１予測モデルを有している。
【0181】
また、本開示の一態様に係る制御方法は、第１時点の対象の関節が写った医用画像を取得する画像取得ステップと、前記医用画像から、前記第１時点から所定期間が経過した第２時点における、前記関節に関する第１予測情報を出力する予測ステップと、をコンピュータに実行させる前記コンピュータの制御方法であって、前記コンピュータは、前記第１予測情報を、前記医用画像から推定可能な第１予測モデルを有している。
【符号の説明】
【0182】
１ 予測装置
２１ 画像取得部
２２ 基礎情報取得部
２３ 第１予測部
２４ 出力制御部
２５ 第２予測部
２６ 第３予測部
３２ 第１学習データ（患者情報）
３３ 第２学習データ（効果情報）
１００ａ、１００ｂ 予測システム
Ｓ２１ 画像取得ステップ
Ｓ２３ 予測ステップ
２１ 画像取得部
２２ 基礎情報取得部
２３ 第１予測部
２４ 出力制御部
２５ 第２予測部
２６ 第３予測部
３２ 第１学習データ（患者情報）
３３ 第２学習データ（効果情報）
１００ａ、１００ｂ 予測システム
Ｓ２１ 画像取得ステップ
Ｓ２３ 予測ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】