ホーム > 特許ランキング > 学校法人東京女子医科大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063913
(43)【公開日】2024-05-14
(54)【発明の名称】プログラム、コンピュータおよび情報処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240507BHJP
G06V 10/82 20220101ALI20240507BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 612
G06V10/82
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022172082
(22)【出願日】2022-10-27
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年３月２２日に本田 卓が第６６回日本リウマチ学会総会・学術集会のウェブサイトにて公開された抄録にて公開 令和４年４月２６日に本田 卓が第６６回日本リウマチ学会総会・学術集会にて公開 令和４年５月１０日に本田 卓が「ＡＩ技術が切り拓く新たなリウマチ学に向けた教育シンポジウム」のウェブサイトにて公開された抄録にて公開 令和４年６月２６日、令和４年９月２５日に本田 卓が、「ＡＩ技術が切り拓く新たなリウマチ学に向けた教育シンポジウム」にて公開 令和４年１０月１１日に本田 卓が、「Ｏｘｆｏｒｄ Ａｃａｄｅｍｉｃ」のウェブサイトにて公開された学術論文にて公開
(71)【出願人】
【識別番号】591173198
【氏名又は名称】学校法人東京女子医科大学
(74)【代理人】
【識別番号】100131842
【弁理士】
【氏名又は名称】加島 広基
(72)【発明者】
【氏名】本田 卓
(72)【発明者】
【氏名】猪狩 勝則
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096BA13
5L096CA01
5L096FA69
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】関節リウマチに関する精度の高い評価を行うことができるプログラム、コンピュータ、学習済モデルおよび情報処理方法を提供する。
【解決手段】プログラムは、コンピュータ１０を、受付手段２２、関節座標特定手段３０、骨破壊スコア算出手段３２、出力手段２４して機能させる。関節座標特定手段３０は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データ３１０を用いることにより機械学習によって生成された第１学習済モデル３２０を用いて、生体の一部のＸ線画像における関節の座標の特定を行う。骨破壊スコア算出手段３２は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データ４１０を用いることにより機械学習によって生成された第２学習済モデル４２０を用いて、関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出する。
【選択図】図１
【解決手段】プログラムは、コンピュータ１０を、受付手段２２、関節座標特定手段３０、骨破壊スコア算出手段３２、出力手段２４して機能させる。関節座標特定手段３０は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データ３１０を用いることにより機械学習によって生成された第１学習済モデル３２０を用いて、生体の一部のＸ線画像における関節の座標の特定を行う。骨破壊スコア算出手段３２は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データ４１０を用いることにより機械学習によって生成された第２学習済モデル４２０を用いて、関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
コンピュータを、受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能させるプログラムであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、プログラム。
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、プログラム。
【請求項2】
前記コンピュータを向き修正手段として更に機能させ、
前記向き修正手段は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データを用いることにより機械学習によって生成された第３学習済モデルを用いて、前記受付手段が受け付けた生体の一部のＸ線画像の向きを修正し、
前記関節座標特定手段は、前記向き修正手段により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行う、請求項１記載のプログラム。
前記向き修正手段は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データを用いることにより機械学習によって生成された第３学習済モデルを用いて、前記受付手段が受け付けた生体の一部のＸ線画像の向きを修正し、
前記関節座標特定手段は、前記向き修正手段により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行う、請求項１記載のプログラム。
【請求項3】
生体の一部のＸ線画像は、手または足のＸ線画像である、請求項１または２記載のプログラム。
【請求項4】
前記関節座標特定手段は、Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像における関節の座標の特定を行う、請求項１または２記載のプログラム。
【請求項5】
前記骨破壊スコア算出手段は、畳み込みニューラルネットワークに基づいて前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出する、請求項１または２記載のプログラム。
【請求項6】
骨破壊に関するスコアは、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）である、請求項１または２記載のプログラム。
【請求項7】
プログラムを実行することにより受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能するコンピュータであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、コンピュータ。
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、コンピュータ。
【請求項8】
生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された、生体の一部のＸ線画像における関節の座標の特定を行う関節座標特定手段で用いられる、学習済モデル。
【請求項9】
コンピュータにより行わせる情報処理方法であって、
前記コンピュータにより、生体の一部のＸ線画像を受け付けさせる工程と、
前記コンピュータにより、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行わせる工程と、
前記コンピュータにより、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、座標が特定された各関節について骨破壊に関するスコアを算出させる工程と、
前記コンピュータにより、算出された骨破壊に関するスコアを出力させる工程と、
を備えた、情報処理方法。
前記コンピュータにより、生体の一部のＸ線画像を受け付けさせる工程と、
前記コンピュータにより、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行わせる工程と、
前記コンピュータにより、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、座標が特定された各関節について骨破壊に関するスコアを算出させる工程と、
前記コンピュータにより、算出された骨破壊に関するスコアを出力させる工程と、
を備えた、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、コンピュータ、学習済モデルおよび情報処理方法に関する。
【背景技術】
【0002】
関節リウマチは、滑膜炎により関節破壊が誘導される自己免疫疾患である。近年の治療薬の進歩により高度な骨破壊は減少しているが、長期的な経過の中では、治療薬の二次無効、副作用による中断、経済的理由による処方困難等の理由で関節破壊が進行することもある。
【0003】
関節リウマチに対して長期にわたる治療介入を行うためには精度の高い治療評価項目が必要である。関節の単純レントゲンの骨関節破壊スコア（ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ／ｍＴＳＳ）は臨床試験で最も頻用されている関節リウマチのＸ線評価法である。
【0004】
このような関節リウマチに関する評価は、医師が生体の一部のＸ線画像を見ながら目視にて定性的に行うのが一般的である。しかしながら、多数の関節で骨関節破壊が生じるため、骨関節破壊スコアの評価に時間がかかり、また、スコアリングのための研修も必要であるため、日常臨床では骨関節破壊スコアによる評価はほとんどなされていない。
【0005】
これに対し、特許文献１には、骨部画像データを用いて骨関節の疾患の程度の評価を行う骨関節評価方法、装置およびそのためのプログラムが開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２００４－５７８０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１に開示される骨関節評価方法、装置およびそのためのプログラムでは、関節毎に骨関節破壊スコアを算出していないため、関節リウマチに関する精度の高い評価を行うことができないという問題があった。
【0008】
本発明は、このような点を考慮してなされたものであり、関節リウマチに関する精度の高い評価を行うことができるプログラム、コンピュータ、学習済モデルおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明のプログラムは、
コンピュータを、受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能させるプログラムであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力することを特徴とする。
コンピュータを、受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能させるプログラムであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力することを特徴とする。
【0010】
本発明のプログラムは、
前記コンピュータを向き修正手段として更に機能させ、
前記向き修正手段は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データを用いることにより機械学習によって生成された第３学習済モデルを用いて、前記受付手段が受け付けた生体の一部のＸ線画像の向きを修正し、
前記関節座標特定手段は、前記向き修正手段により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行ってもよい。
前記コンピュータを向き修正手段として更に機能させ、
前記向き修正手段は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データを用いることにより機械学習によって生成された第３学習済モデルを用いて、前記受付手段が受け付けた生体の一部のＸ線画像の向きを修正し、
前記関節座標特定手段は、前記向き修正手段により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行ってもよい。
【0011】
本発明のプログラムにおいては、
生体の一部のＸ線画像は、手または足のＸ線画像であってもよい。
生体の一部のＸ線画像は、手または足のＸ線画像であってもよい。
【0012】
本発明のプログラムにおいては、
前記関節座標特定手段は、Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像における関節の座標の特定を行ってもよい。
前記関節座標特定手段は、Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像における関節の座標の特定を行ってもよい。
【0013】
本発明のプログラムにおいては、
前記骨破壊スコア算出手段は、畳み込みニューラルネットワークに基づいて前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出してもよい。
前記骨破壊スコア算出手段は、畳み込みニューラルネットワークに基づいて前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出してもよい。
【0014】
本発明のプログラムにおいては、
骨破壊に関するスコアは、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）であってもよい。
骨破壊に関するスコアは、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）であってもよい。
【0015】
本発明のコンピュータは、
プログラムを実行することにより受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能するコンピュータであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力することを特徴とする。
プログラムを実行することにより受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能するコンピュータであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力することを特徴とする。
【0016】
本発明の学習済モデルは、
生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された、生体の一部のＸ線画像における関節の座標の特定を行う関節座標特定手段で用いられることを特徴とする。
生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された、生体の一部のＸ線画像における関節の座標の特定を行う関節座標特定手段で用いられることを特徴とする。
【0017】
本発明の情報処理方法は、
コンピュータにより行わせる情報処理方法であって、
前記コンピュータにより、生体の一部のＸ線画像を受け付けさせる工程と、
前記コンピュータにより、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行わせる工程と、
前記コンピュータにより、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、座標が特定された各関節について骨破壊に関するスコアを算出させる工程と、
前記コンピュータにより、算出された骨破壊に関するスコアを出力させる工程と、
を備えたことを特徴とする。
コンピュータにより行わせる情報処理方法であって、
前記コンピュータにより、生体の一部のＸ線画像を受け付けさせる工程と、
前記コンピュータにより、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行わせる工程と、
前記コンピュータにより、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、座標が特定された各関節について骨破壊に関するスコアを算出させる工程と、
前記コンピュータにより、算出された骨破壊に関するスコアを出力させる工程と、
を備えたことを特徴とする。
【発明の効果】
【0018】
本発明のプログラム、コンピュータ、学習済モデルおよび情報処理方法によれば、関節リウマチに関する精度の高い評価を行うことができる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施の形態によるコンピュータの構成を概略的に示す概略構成図である。
【図4】手のＸ線画像における関節の位置を示す図である。
【図5】Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像における関節の座標の特定を行う方法を示す説明図である。
【発明を実施するための形態】
【0020】
【0021】
まず、本実施の形態のコンピュータ１０の構成について図１を用いて説明する。図１は、本実施の形態によるコンピュータ１０の構成を概略的に示す概略構成図である。図１に示すように、本実施の形態のコンピュータ１０はコンピュータ等から構成されており、制御部２０と、記憶部４０と、通信部４２と、表示部４４と、操作部４６とを備えている。
【0022】
制御部２０は、ＣＰＵ（中央演算処理装置）やＧＰＵ（画像処理装置）等で構成され、コンピュータ１０の動作を制御する。具体的には、制御部２０は、後述する記憶部４０に記憶されているプログラムを実行することにより、受付手段２２と、出力手段２４と、送信手段２６と、向き修正手段２８と、関節座標特定手段３０と、骨破壊スコア算出手段３２として機能する。
【0023】
受付手段２２は、生体の一部のＸ線画像１００（図３参照）を受け付ける。具体的には、受付手段２２は、人体の手または足のＸ線画像を受け付ける。受付手段２２が受け付ける生体の一部のＸ線画像１００は、外部装置から通信部４２を介してコンピュータ１０に送信されたものであってもよく、コンピュータ１０が備え付けられているＸ線画像診断システムやＸ線撮像装置等の機器によって取得されたものであってもよい。出力手段２４は、骨破壊スコア算出手段３２により算出された骨破壊に関するスコアを出力する。送信手段２６は、出力手段２４により出力された骨破壊に関するスコアを通信部４２を介して外部装置に送信する。
【0024】
向き修正手段２８は、受付手段２２が受け付けた生体の一部のＸ線画像１００の向きを修正する。具体的には、向き修正手段２８は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データ２１０を用いることにより機械学習によって生成された第３学習済モデル２２０を用いて、受付手段２２が受け付けた生体の一部のＸ線画像１００の向きを修正する。このような向き修正手段２８の機能の詳細については後述する。
【0025】
関節座標特定手段３０は、向き修正手段２８により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行う。具体的には、関節座標特定手段３０は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データ３１０を用いることにより機械学習によって生成された第１学習済モデル３２０を用いて、生体の一部のＸ線画像１００における関節の座標の特定を行う。このような関節座標特定手段３０の機能の詳細については後述する。
【0026】
骨破壊スコア算出手段３２は、関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出する。具体的には、骨破壊スコア算出手段３２は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データ４１０を用いることにより機械学習によって生成された第２学習済モデル４２０を用いて、関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出する。このような骨破壊スコア算出手段３２の機能の詳細については後述する。
【0027】
記憶部４０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成されている。また、記憶部４０はコンピュータ１０に内蔵されるものに限定されることはなく、コンピュータ１０に着脱自在に装着可能な記憶媒体（例えば、ＵＳＢメモリ）等であってもよい。本実施の形態では、記憶部４０は、制御部２０により実行されるプログラム、第１学習済モデル３２０、第２学習済モデル４２０、第３学習済モデル２２０をそれぞれ記憶するようになっている。
【0028】
通信部４２は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。
【0029】
表示部４４は例えばモニタ等であり、制御部２０から表示指令信号を受け取ることにより様々な画面を表示するようになっている。操作部４６は例えばキーボード等であり、制御部２０に対して様々な指令を与えることができるようになっている。なお、本実施の形態では、これらの表示部４４および操作部４６が一体化したタッチパネル等の表示操作部が用いられてもよい。
【0030】
次に、このようなコンピュータ１０による情報処理方法（具体的には、骨破壊に関するスコアの算出方法）について図２乃至図６を用いて説明する。なお、以下に示す処理は記憶部４０に記憶されているプログラムを制御部２０が実行することにより行われる。
【0031】
図２は、図１に示すコンピュータ１０による情報処理の流れを概略的に示すフローチャートである。また、図３は、図１に示すコンピュータ１０による情報処理における向き修正処理５１、関節座標特定処理５２おおび骨破壊スコア算出処理５３の詳細を示す図である。
【0032】
外部装置からコンピュータ１０に生体の一部のＸ線画像１００のデータが送信されて通信部４２を介して当該データが制御部２０に送られたり、コンピュータ１０が備え付けられているＸ線画像診断システムやＸ線撮像装置等の機器によって生体の一部のＸ線画像１００が取得されたりすると、コンピュータ１０の制御部２０は、生体の一部のＸ線画像１００を受け付ける受付手段２２として機能する。そして、受付手段２２が生体の一部のＸ線画像１００を受け付けると（ステップ１の「ＹＥＳ」）、コンピュータ１０の制御部２０により向き修正処理５１が行われる。すなわち、向き修正手段２８は、受付手段が受け付けた生体の一部のＸ線画像１００の向きを所定の向き（例えば手の指や足の指が上方を向くような向き）に修正する（ステップ２）。このことにより、受付手段が受け付けた生体の一部のＸ線画像１００、具体的には人体の手や足のＸ線画像１００は例えば手の指や足の指が上方を向くような所定の向きとなる。
【0033】
より詳細には、向き修正処理５１において、向き修正手段２８は、機械学習によって生成された第３学習済モデル２２０を用いて、受付手段２２が受け付けた生体の一部のＸ線画像１００の向きを修正する。このような第３学習済モデル２２０は、第３モデル生成手段２００が機械学習を行うことにより生成される。より詳細には、第３学習済モデル２２０は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データ２１０を用いることにより、第３学習済モデル２２０を機械学習によって生成する。このような向きの補正のフェーズでは、Ｘ線画像の向きを揃えるためのＥｆｆｉｃｉｅｎｔ ｎｅｔ等のＣＮＮモデルを構築している。なお、第３モデル生成手段２００は、記憶部４０に記憶されているプログラムを制御部２０が実行することにより機能するようになっていてもよく、あるいはコンピュータ１０とは別の装置が所定のプログラムを実行することにより機能するようになっていてもよい。後者の場合は、別の装置により生成された第３学習済モデル２２０がコンピュータ１０に送信され、このコンピュータ１０の記憶部４０に記憶されるようになる。
【0034】
受付手段２２が受け付けた生体の一部のＸ線画像１００の向きが向き修正手段２８により修正させられた後、コンピュータ１０の制御部２０により関節座標特定処理５２が行われる。すなわち、関節座標特定手段３０は、向き修正手段２８により向きが修正されられた生体の一部のＸ線画像１００における関節の座標の特定を行う（ステップ３）。図４において、人体の手のＸ線画像１００における関節座標特定手段３０により特定された関節の位置を参照符号Ｐで示す。関節座標特定手段３０により特定される関節は、Ｘ線画像が処理された画像において例えばヒートマップ形式で表示される。具体的には、Ｘ線画像が処理されたヒートマップの画像において関節が特定の色（例えば、白色）で示される。そして、このＸ線画像が処理されたヒートマップの画像から関節の位置が特定される。
【0035】
より詳細には、向き修正処理５１において、関節座標特定手段３０は、機械学習によって生成された第１学習済モデル３２０を用いて、向き修正手段２８により向きが修正されられた生体の一部のＸ線画像１００における関節の座標の特定を行う。このような第１学習済モデル３２０は、第１モデル生成手段３００が機械学習を行うことにより生成される。より詳細には、第１学習済モデル３２０は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データ３１０を用いることにより、第１学習済モデル３２０を機械学習によって生成する。なお、第１モデル生成手段３００は、記憶部４０に記憶されているプログラムを制御部２０が実行することにより機能するようになっていてもよく、あるいはコンピュータ１０とは別の装置が所定のプログラムを実行することにより機能するようになっていてもよい。後者の場合は、別の装置により生成された第１学習済モデル３２０がコンピュータ１０に送信され、このコンピュータ１０の記憶部４０に記憶されるようになる。
【0036】
ここで、本実施の形態では、関節座標特定手段３０は、Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像１００における関節の座標の特定を行う。図５は、Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像１００における関節の座標の特定を行う方法を示す説明図である。Ｕ－Ｎｅｔは、Ｏｌａｆらによって生物医学のために開発された、セマンティックセグメンテーション用のモデルである。Ｕ－Ｎｅｔは図５における左半分のエンコーダと右半分のデコーダから構成されている。なお、図５における各ボックスの上に位置する数字は画像の枚数を示している。図５における左半分のエンコーダでは、入力された画像を何度か畳み込み、その画像の特徴を抽出する。エンコーダには、ＲｅｓＮｅｔなどの画像分類で優れた成果を収めているモデルの構造をほぼそのまま活用することができる。また、図５における右半分のデコーダでは、エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力する。また、Ｕ－Ｎｅｔでは、各階層において、エンコーダの特徴マップをデコーダの特徴マップに連結させている。図５における参照符号Ｑで示す矢印がこの連結を意味している。このようなＵ－Ｎｅｔモデルの連結により、エンコーダ側の大きな特徴マップの情報がデコーダ側に伝わるようになり、アップサンプリング時に物体の位置情報が捉えやすくなる。このように、Ｕ－Ｎｅｔの最大の特徴は、エンコーダの特徴マップをデコーダの特徴マップに連結させることである。エンコーダで生成された特徴マップを複製し、切り出し、そしてデコーダの特徴マップに連結する。このような特徴マップの接続は、一般的に「スキップ接続」と呼ばれる。Ｕ－Ｎｅｔにおけるスキップ接続の目的は、エンコーダ側の大きな特徴マップの情報をデコーダ側に伝えることであり、このことにより、ピクセル単位での分類精度を高めることができる。
【0037】
向き修正手段２８により向きが修正されられた生体の一部のＸ線画像１００における関節の座標の特定が関節座標特定手段３０により行われた後、コンピュータ１０の制御部２０により骨破壊スコア算出処理５３が行われる。すなわち、骨破壊スコア算出手段３２は、畳み込みニューラルネットワークに基づいて関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコア１１０を算出する（ステップ４）。より詳細には、骨破壊スコア算出手段３２は、第２学習済モデル４２０を用いて、関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコア１１０を算出する。このような第２学習済モデル４２０は、第２モデル生成手段４００が機械学習を行うことにより生成される。より詳細には、第２学習済モデル４２０は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データ４１０を用いることにより、第２学習済モデル４２０を機械学習によって生成する。なお、第２モデル生成手段４００は、記憶部４０に記憶されているプログラムを制御部２０が実行することにより機能するようになっていてもよく、あるいはコンピュータ１０とは別の装置が所定のプログラムを実行することにより機能するようになっていてもよい。後者の場合は、別の装置により生成された第２学習済モデル４２０がコンピュータ１０に送信され、このコンピュータ１０の記憶部４０に記憶されるようになる。
【0038】
骨破壊に関するスコアについて以下に説明する。骨破壊に関するスコアとして、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）（Ｓｈａｒｐ－ｖａｎ ｄｅｒ Ｈｅｉｊｄｅ Ｓｃｏｒｅ（ＳＨＳ）ともいう）が用いられる。
【0039】
ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）は、手や足のＸ線写真を用いて関節リウマチ患者の関節破壊を評価する方法であり、関節リウマチにおける手や足の各関節の経時的変化を評価するのに最も感度の高い評価法とされ、臨床研究で現在広く使われている。ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）は、手と手関節の２７関節を対象とし、びらん（Ｅｒｏｓｉｏｎ）と関節裂隙狭小化（Ｊｏｉｎｔ ｓｐａｃｅ ｎａｒｒｏｗｉｎｇ：ＪＳＮ）を以下のように点数化している。
びらん（Ｅｒｏｓｉｏｎ）
０＝びらん無し
１＝小さなびらん
２＝関節面の半分に満たない
３＝関節面の半分以上
５＝完全に圧壊
関節裂隙狭小化（Ｊｏｉｎｔ ｓｐａｃｅ ｎａｒｒｏｗｉｎｇ：ＪＳＮ）
０＝正常
１＝局所のみ、疑わしい
２＝５０％以上が残存
３＝５０％以下が残存、亜脱臼
４＝関節裂隙消失、完全脱臼
びらん（Ｅｒｏｓｉｏｎ）
０＝びらん無し
１＝小さなびらん
２＝関節面の半分に満たない
３＝関節面の半分以上
５＝完全に圧壊
関節裂隙狭小化（Ｊｏｉｎｔ ｓｐａｃｅ ｎａｒｒｏｗｉｎｇ：ＪＳＮ）
０＝正常
１＝局所のみ、疑わしい
２＝５０％以上が残存
３＝５０％以下が残存、亜脱臼
４＝関節裂隙消失、完全脱臼
【0040】
そして、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）では、全ての関節の合計点数をその患者のＴｏｔａｌ Ｓｈａｒｐスコア（総Ｓｈａｒｐスコア）としている。手の最大合計点数は２８０点（Ｅｒｏｓｉｏｎ：１６０点、ＪＳＮ：１２０点）であり、足の最大合計点数は１６８点（Ｅｒｏｓｉｏｎ：１２０点、ＪＳＮ：４８点）である。
【0041】
このようにして骨破壊スコア算出手段３２により算出された各関節の骨破壊に関するスコア１１０は出力手段２４により出力される（ステップ５）。なお、この際に、骨破壊スコア算出手段３２により算出された各関節の骨破壊に関するスコア１１０の合計値が出力手段２４により出力されてもよい。出力手段２４により出力された骨破壊に関するスコア１１０は送信手段２６によって通信部４２を介して外部装置に送信されたり、記憶部４０に記憶されたり、表示部４４に表示されたりする。このことにより、医療関係者等はコンピュータ１０により算出された骨破壊に関するスコア１１０を認識し、この骨破壊に関するスコア１１０に基づいて患者の関節リウマチに関する評価を行うことができるようになる。
【0042】
図６は、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）のびらん（Ｅｒｏｓｉｏｎ）について、Ｘ線画像を見た医療専門家の評価によるスコアと、同じＸ線画像について本実施の形態のコンピュータ１０により出力されたスコアとを比較している表である。図６に示すように、本実施の形態のコンピュータ１０により出力されたスコアが０点（びらん無し）である場合は、Ｘ線画像について同じ医療専門家の評価によるスコアは９５．７％の確率で０点であった。また、本実施の形態のコンピュータ１０により出力されたスコアが１点（小さなびらん）である場合は、同じＸ線画像について医療専門家の評価によるスコアは３４．５％の確率で０点、３２．８％の確率で１点、２５．９％の確率で２点と、ほぼ１点以内に収まった。また、本実施の形態のコンピュータ１０により出力されたスコアが２点（関節面の半分に満たないびらん）である場合は、同じＸ線画像について医療専門家の評価によるスコアは２６．９％の確率で１点、３２．７％の確率で２点、１７．３％の確率で３点と、ほぼ１点以内に収まった。また、本実施の形態のコンピュータ１０により出力されたスコアが３点（関節面の半分以上のびらん）である場合は、同じＸ線画像について医療専門家の評価によるスコアは３８．５％の確率で３点、３０．８％の確率で４点と、ほぼ１点以内に収まった。また、本実施の形態のコンピュータ１０により出力されたスコアが５点（完全に圧壊）である場合は、Ｘ線画像について同じ医療専門家の評価によるスコアは６９．７％の確率で５点であった。このように、本実施の形態のコンピュータ１０による骨破壊に関するスコアの算出方法によれば、関節毎に骨関節破壊スコアを算出しているため、Ｘ線画像を見た医療専門家の評価によるスコアと、同じＸ線画像について本実施の形態のコンピュータ１０により出力されたスコアとがほぼ同じ値となり、関節リウマチに関する精度の高い評価を行うことができる。
【0043】
以上のような構成からなる本実施の形態のプログラム、コンピュータ１０および情報処理方法によれば、プログラムは、コンピュータ１０を、受付手段２２と、関節座標特定手段３０と、骨破壊スコア算出手段３２と、出力手段２４として機能させ、受付手段２２は、生体の一部のＸ線画像を受け付ける。また、関節座標特定手段３０は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データ３１０を用いることにより機械学習によって生成された第１学習済モデル３２０を用いて、生体の一部のＸ線画像における関節の座標の特定を行う。また、骨破壊スコア算出手段３２は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データ４１０を用いることにより機械学習によって生成された第２学習済モデル４２０を用いて、関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出する。また、出力手段２４は、骨破壊スコア算出手段３２により算出された骨破壊に関するスコアを出力する。このようなプログラム、コンピュータ１０および情報処理方法によれば、機械学習によって生成された第１学習済モデル３２０を用いて、まず生体の一部のＸ線画像における関節の座標の特定を行い、また、機械学習によって生成された第２学習済モデル４２０を用いて、座標が特定された各関節について骨破壊に関するスコアを算出するため、関節リウマチに関する精度の高い評価を行うことができる。
【0044】
また、本実施の形態のプログラム、コンピュータ１０および情報処理方法においては、上述したように、プログラムはコンピュータ１０を向き修正手段２８として更に機能させ、向き修正手段２８は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データ２１０を用いることにより機械学習によって生成された第３学習済モデル２２０を用いて、受付手段２２が受け付けた生体の一部のＸ線画像の向きを修正し、関節座標特定手段３０は、向き修正手段２８により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行う。このことにより、向き修正手段２８により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行うため、Ｘ線画像における関節の座標の特定をより精度良く行うことができる。
【0045】
また、本実施の形態のプログラム、コンピュータ１０および情報処理方法においては、上述したように、生体の一部のＸ線画像は、手または足のＸ線画像である。この場合は、手または足のＸ線画像を用いることにより、手または足の各関節について骨破壊に関するスコアを算出することができるため、関節リウマチに関するより精度の高い評価を行うことができる。
【0046】
また、本実施の形態のプログラム、コンピュータ１０および情報処理方法においては、上述したように、関節座標特定手段３０は、Ｕ－ＮｅｔベースのＣＮＮモデルに基づいて生体の一部のＸ線画像における関節の座標の特定を行う。この場合には、生体の一部のＸ線画像における関節の座標の特定をより精度良く行うことができるようになる。
【0047】
また、本実施の形態のプログラム、コンピュータ１０および情報処理方法においては、上述したように、畳み込みニューラルネットワークに基づいて関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出する。このことにより、各関節について骨破壊に関するスコアをより精度良く算出することができるようになる。
【0048】
また、本実施の形態のプログラム、コンピュータ１０および情報処理方法においては、上述したように、骨破壊に関するスコアは、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）である。この場合には、骨破壊に関するスコアに基づいて関節リウマチに関するより精度の高い評価を行うことができる。
【0049】
なお、本発明によるプログラム、コンピュータおよび情報処理方法等は、上述したような態様に限定されることはなく、様々な変更を加えることができる。
【0050】
なお、制御部２０は向き修正手段２８として機能しないようになっていてもよい。この場合は、関節座標特定手段３０は、機械学習によって生成された第１学習済モデル３２０を用いて、受付手段２２が受け付けた生体の一部のＸ線画像における関節の座標の特定を行う。このような態様でも、機械学習によって生成された第１学習済モデル３２０を用いて、まず生体の一部のＸ線画像における関節の座標の特定を行い、また、機械学習によって生成された第２学習済モデル４２０を用いて、座標が特定された各関節について骨破壊に関するスコアを算出するため、関節リウマチに関する精度の高い評価を行うことができる。
【0051】
また、制御部２０が向き修正手段２８として機能する場合でも、向き修正手段２８は、機械学習によって生成された第３学習済モデル２２０を用いないで、例えば記憶部４０に記憶されている所定の画像向き判定プログラムを実行することにより受付手段２２が受け付けた生体の一部のＸ線画像の向きを修正するようになっていてもよい。
【0052】
また、関節座標特定手段３０は、機械学習によって生成された第１学習済モデル３２０を用いないで、例えば記憶部４０に記憶されている所定の関節座標特定判定プログラムを実行することにより生体の一部のＸ線画像における関節の座標の特定を行うようになっていてもよい。
【0053】
また、骨破壊スコア算出手段３２は、機械学習によって生成された第２学習済モデル４２０を用いないで、例えば記憶部４０に記憶されている所定の骨破壊スコア算出プログラムを実行することにより座標が特定された各関節について骨破壊に関するスコアを算出するようになっていてもよい。
【0054】
また、制御部２０により実行されるプログラムは記憶部４０に記憶されたものであることに限定されることはない。制御部２０により実行されるプログラムとして、外部装置から通信部４２を介して制御部２０に送信されるものや、コンピュータ１０に装着されたＵＳＢメモリ等の記憶媒体に記憶されているもの、コンピュータ１０とは別のコンピュータやサーバ（例えば、クラウドサーバ）等に記憶されているもの等が用いられてもよい。
【0055】
また、上記の説明では、生体の一部のＸ線画像は、手または足のＸ線画像である態様について述べたが、本発明はこのような態様に限定されることはない。生体の一部のＸ線画像として、手または足のＸ線画像以外のＸ線画像が用いられてもよい。
【0056】
また、関節座標特定手段３０は、Ｕ－ＮｅｔベースのＣＮＮモデル以外のモデル等に基づいて生体の一部のＸ線画像における関節の座標の特定を行ってもよい。また、骨破壊スコア算出手段３２は、畳み込みニューラルネットワーク以外の方法に基づいて関節座標特定手段３０により座標が特定された各関節について骨破壊に関するスコアを算出してもよい。
【0057】
また、上記の説明では、骨破壊に関するスコアが、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）である態様について述べたが、本発明はこのような態様に限定されることはない。骨破壊に関するスコアとして、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）以外のスコアが用いられてもよい。
【符号の説明】
【0058】
１０ コンピュータ
２０ 制御部
２２ 受付手段
２４ 出力手段
２６ 送信手段
２８ 向き修正手段
３０ 関節座標特定手段
３２ 骨破壊スコア算出手段
４０ 記憶部
４２ 通信部
４４ 表示部
４６ 操作部
５１ 向き修正処理
５２ 関節座標特定処理
５３ 骨破壊スコア算出処理
１００ 生体の一部のＸ線画像
１１０ 骨破壊に関するスコア
２００ 第３モデル生成手段
２１０ 教師データ
２２０ 第３学習済モデル
３００ 第１モデル生成手段
３１０ 教師データ
３２０ 第１学習済モデル
４００ 第２モデル生成手段
４１０ 教師データ
４２０ 第２学習済モデル
２０ 制御部
２２ 受付手段
２４ 出力手段
２６ 送信手段
２８ 向き修正手段
３０ 関節座標特定手段
３２ 骨破壊スコア算出手段
４０ 記憶部
４２ 通信部
４４ 表示部
４６ 操作部
５１ 向き修正処理
５２ 関節座標特定処理
５３ 骨破壊スコア算出処理
１００ 生体の一部のＸ線画像
１１０ 骨破壊に関するスコア
２００ 第３モデル生成手段
２１０ 教師データ
２２０ 第３学習済モデル
３００ 第１モデル生成手段
３１０ 教師データ
３２０ 第１学習済モデル
４００ 第２モデル生成手段
４１０ 教師データ
４２０ 第２学習済モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-09-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能させるプログラムであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、前記第１学習済モデルは、Ｕ－ＮｅｔベースのＣＮＮモデルであり、Ｕ－Ｎｅｔはエンコーダとデコーダとから構成され、前記エンコーダでは、入力されたＸ線画像を何度か畳み込み、そのＸ線画像の特徴を抽出し、前記デコーダでは、前記エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力し、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、プログラム。
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、前記第１学習済モデルは、Ｕ－ＮｅｔベースのＣＮＮモデルであり、Ｕ－Ｎｅｔはエンコーダとデコーダとから構成され、前記エンコーダでは、入力されたＸ線画像を何度か畳み込み、そのＸ線画像の特徴を抽出し、前記デコーダでは、前記エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力し、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、プログラム。
【請求項2】
前記コンピュータを向き修正手段として更に機能させ、
前記向き修正手段は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データを用いることにより機械学習によって生成された第３学習済モデルを用いて、前記受付手段が受け付けた生体の一部のＸ線画像の向きを修正し、
前記関節座標特定手段は、前記向き修正手段により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行う、請求項１記載のプログラム。
前記向き修正手段は、生体の一部のＸ線画像とこのＸ線画像の向きに関する情報とを含む教師データを用いることにより機械学習によって生成された第３学習済モデルを用いて、前記受付手段が受け付けた生体の一部のＸ線画像の向きを修正し、
前記関節座標特定手段は、前記向き修正手段により向きが修正された生体の一部のＸ線画像における関節の座標の特定を行う、請求項１記載のプログラム。
【請求項3】
生体の一部のＸ線画像は、手または足のＸ線画像である、請求項１または２記載のプログラム。
【請求項4】
前記骨破壊スコア算出手段は、畳み込みニューラルネットワークに基づいて前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出する、請求項１または２記載のプログラム。
【請求項5】
骨破壊に関するスコアは、ｍｏｄｉｆｉｅｄ Ｔｏｔａｌ Ｓｈａｒｐ Ｓｃｏｒｅ（ｍＴＳＳ）である、請求項１または２記載のプログラム。
【請求項6】
プログラムを実行することにより受付手段と、関節座標特定手段と、骨破壊スコア算出手段と、出力手段として機能するコンピュータであって、
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、前記第１学習済モデルは、Ｕ－ＮｅｔベースのＣＮＮモデルであり、Ｕ－Ｎｅｔはエンコーダとデコーダとから構成され、前記エンコーダでは、入力されたＸ線画像を何度か畳み込み、そのＸ線画像の特徴を抽出し、前記デコーダでは、前記エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力し、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、コンピュータ。
前記受付手段は、生体の一部のＸ線画像を受け付け、
前記関節座標特定手段は、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行い、前記第１学習済モデルは、Ｕ－ＮｅｔベースのＣＮＮモデルであり、Ｕ－Ｎｅｔはエンコーダとデコーダとから構成され、前記エンコーダでは、入力されたＸ線画像を何度か畳み込み、そのＸ線画像の特徴を抽出し、前記デコーダでは、前記エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力し、
前記骨破壊スコア算出手段は、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記関節座標特定手段により座標が特定された各関節について骨破壊に関するスコアを算出し、
前記出力手段は、前記骨破壊スコア算出手段により算出された骨破壊に関するスコアを出力する、コンピュータ。
【請求項7】
コンピュータにより行わせる情報処理方法であって、
前記コンピュータにより、生体の一部のＸ線画像を受け付けさせる工程と、
前記コンピュータにより、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行わせ、前記第１学習済モデルは、Ｕ－ＮｅｔベースのＣＮＮモデルであり、Ｕ－Ｎｅｔはエンコーダとデコーダとから構成され、前記エンコーダでは、入力されたＸ線画像を何度か畳み込み、そのＸ線画像の特徴を抽出し、前記デコーダでは、前記エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力する工程と、
前記コンピュータにより、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、座標が特定された各関節について骨破壊に関するスコアを算出させる工程と、
前記コンピュータにより、算出された骨破壊に関するスコアを出力させる工程と、
を備えた、情報処理方法。
前記コンピュータにより、生体の一部のＸ線画像を受け付けさせる工程と、
前記コンピュータにより、生体の一部のＸ線画像とこのＸ線画像における各関節の座標とを含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、生体の一部のＸ線画像における関節の座標の特定を行わせ、前記第１学習済モデルは、Ｕ－ＮｅｔベースのＣＮＮモデルであり、Ｕ－Ｎｅｔはエンコーダとデコーダとから構成され、前記エンコーダでは、入力されたＸ線画像を何度か畳み込み、そのＸ線画像の特徴を抽出し、前記デコーダでは、前記エンコーダによって抽出された特徴を受け取り、逆畳み込みと呼ばれる通常の畳み込みと逆の処理を行い、入力画像と同じサイズのヒートマップ画像を出力する工程と、
前記コンピュータにより、各関節のＸ線画像とこのＸ線画像の骨破壊に関するスコアとを含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、座標が特定された各関節について骨破壊に関するスコアを算出させる工程と、
前記コンピュータにより、算出された骨破壊に関するスコアを出力させる工程と、
を備えた、情報処理方法。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は、プログラム、コンピュータおよび情報処理方法に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明は、このような点を考慮してなされたものであり、関節リウマチに関する精度の高い評価を行うことができるプログラム、コンピュータおよび情報処理方法を提供することを目的とする。