特許 7357872 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-29

(45)【発行日】2023-10-10

(54)【発明の名称】被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20231002BHJP

【ＦＩ】

A61B5/11 200

【請求項の数】 22

(21)【出願番号】P 2022566687

(86)(22)【出願日】2022-06-07

(86)【国際出願番号】 JP2022022989

(87)【国際公開番号】W WO2022260046

(87)【国際公開日】2022-12-15

【審査請求日】2022-11-01

(31)【優先権主張番号】P 2021095390

(32)【優先日】2021-06-07

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(73)【特許権者】

【識別番号】504136993

【氏名又は名称】独立行政法人国立病院機構

(74)【代理人】

【識別番号】100136629

【弁理士】

【氏名又は名称】鎌田 光宜

(74)【代理人】

【識別番号】100080791

【弁理士】

【氏名又は名称】高島 一

(74)【代理人】

【識別番号】100118371

【弁理士】

【氏名又は名称】▲駒▼谷 剛志

(72)【発明者】

【氏名】池本 紀子

(72)【発明者】

【氏名】長原 一

(72)【発明者】

【氏名】多田 智

(72)【発明者】

【氏名】森口 悠

【審査官】遠藤 直恵

(56)【参考文献】

【文献】特開２０１６－１４４５９８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０４７７９２５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６－５／２２

(57)【特許請求の範囲】

【請求項1】

被験者の状態を推定するためのコンピュータシステムであって、
被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
前記複数の画像から前記被験者の骨格特徴を抽出する抽出手段と、
前記骨格特徴と前記少なくとも１つのシルエット画像との両方を入力として、前記被験者の健康に関する状態を推定する推定手段と
を備えるコンピュータシステム。

【請求項2】

前記推定手段は、前記被験者の少なくとも１つの疾患に関する状態を含む状態を推定する、請求項１に記載のコンピュータシステム。

【請求項3】

前記推定手段は、学習用シルエット画像と、前記学習用シルエット画像に写る対象の前記少なくとも１つの疾患に関する状態との関係を学習した学習済モデルを利用して、前記状態を推定する、請求項２に記載のコンピュータシステム。

【請求項4】

前記推定手段は、
前記少なくとも１つのシルエット画像に基づいて、前記状態を示す第１のスコアを取得し、
前記骨格特徴に基づいて、前記状態を示す第２のスコアを取得し、
前記第１のスコアと前記第２のスコアとに基づいて、前記状態を推定する、
請求項１に記載のコンピュータシステム。

【請求項5】

前記生成手段は、
前記複数の画像から複数のシルエット領域を抽出することと、
前記抽出された複数のシルエット領域の各々を正規化することと、
前記正規化された複数のシルエット領域を平均することと
によって前記少なくとも１つのシルエット画像を生成する、請求項１に記載のコンピュータシステム。

【請求項6】

前記複数の画像は、前記被験者が歩行する方向に対して略直交する方向から前記被験者が歩行する様子を撮影した動画中の複数のフレームである、請求項１に記載のコンピュータシステム。

【請求項7】

前記推定手段による推定の結果を分析する分析手段であって、前記分析手段は、前記少なくとも１つのシルエット画像において、前記推定の結果に相対的に大きく寄与する関心領域を特定する、分析手段と、
前記関心領域に基づいて、前記推定手段のアルゴリズムを修正する修正手段と
さらに備える、請求項１に記載のコンピュータシステム。

【請求項8】

前記健康に関する状態は、前記被験者の少なくとも１つの疾患に関する状態を含み、前記少なくとも１つの疾患は、歩行障害を生じる疾患を含む、請求項１に記載のコンピュータシステム。

【請求項9】

前記少なくとも１つの疾患は、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患からなる群から選択される少なくとも１つを含む、請求項８に記載のコンピュータシステム。

【請求項10】

前記少なくとも１つの疾患に関する状態の推定は、前記歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別することを含む、請求項８に記載のコンピュータシステム。

【請求項11】

前記判別は、前記歩行障害を生じる疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含む、請求項１０に記載のコンピュータシステム。

【請求項12】

前記少なくとも１つの疾患は、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺からなる群から選択される少なくとも１つを含む、請求項８に記載のコンピュータシステム。

【請求項13】

前記被験者の健康に関する状態は、少なくとも１つの疾患の重症度によって表され、 前記推定手段は、前記重症度を推定する、請求項１に記載のコンピュータシステム。

【請求項14】

前記疾患は、頚椎症性脊髄症であり、
前記推定手段は、前記重症度として頚椎ＪＯＡスコアを推定する、請求項１３に記載のコンピュータシステム。

【請求項15】

前記受信手段は、頚椎ＪＯＡスコアが１０以上であると判定された被験者が歩行する様子を撮影した複数の画像を受信する、請求項１４に記載のコンピュータシステム。

【請求項16】

前記推定手段は、前記被験者の歩行能力を推定する、請求項１に記載のコンピュータシステム。

【請求項17】

前記被験者の歩行の状態がどの年齢の水準にあるかを示す数値によって表される、請求項１６に記載のコンピュータシステム。

【請求項18】

前記推定された状態に応じた治療もしくは介入または情報を提供する提供手段をさらに含む、請求項１～１７のいずれか一項に記載のコンピュータシステム。

【請求項19】

被験者の状態を推定するための方法であって、前記方法は、プロセッサ部を備えるコンピュータにおいて実行され、前記方法は、
前記プロセッサ部が、被験者が歩行する様子を撮影した複数の画像を受信することと、
前記プロセッサ部が、前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
前記プロセッサ部が、前記複数の画像から前記被験者の骨格特徴を抽出することと、
前記プロセッサ部が、前記骨格特徴と前記少なくとも１つのシルエット画像との両方を入力として、前記被験者の健康に関する状態を推定することと
を含む方法。

【請求項20】

被験者の状態を推定するためのプログラムであって、前記プログラムは、プロセッサ部を備えるコンピュータにおいて実行され、前記プログラムは、
被験者が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
前記複数の画像から前記被験者の骨格特徴を抽出することと、
前記骨格特徴と前記少なくとも１つのシルエット画像との両方を入力として、前記被験者の健康に関する状態を推定することと
を含む処理を前記プロセッサ部に行わせる、プログラム。

【請求項21】

被験者の状態を推定するためのモデルを作成する方法であって、
複数の対象のうちの各対象について、
前記対象が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
前記複数の画像から前記対象の骨格特徴を抽出することと、
前記骨格特徴と前記少なくとも１つのシルエット画像との両方を入力用教師データとし、前記対象の健康に関する状態を出力用教師データとして、機械学習モデルに学習させることと
を含む方法。

【請求項22】

被験者の健康状態、障害または疾患を治療、予防、または改善するためのシステムであって、
（Ａ）被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
（Ｃ）前記複数の画像から前記被験者の骨格特徴を抽出する抽出手段と、
（Ｄ）前記骨格特徴と前記少なくとも１つのシルエット画像との両方を入力として、前記被験者の健康に関する状態を推定することと
（Ｅ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出する算出手段と、
（Ｆ）前記被験者に、前記治療、予防、または改善のための方法を施す手段と
を備えるシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムに関する。

【背景技術】

【0002】

歩行と健康状態との密接な関わりについて、従来から多岐にわたる研究がなされてきた（例えば、非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｓｔｕｄｅｎｓｋｉ Ｓ．ｅｔ．ａｌ．，“Ｇａｉｔ Ｓｐｅｅｄ ａｎｄ Ｓｕｒｖｉｖａｌ ｉｎ Ｏｌｄｅｒ Ａｄｕｌｔｓ”，ＪＡＭＡ． ２０１１；３０５（１）：５０－５８，Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｍｅｄｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ

【発明の概要】

【課題を解決するための手段】

【0004】

一つの局面において、本開示は、被験者が歩行する様子を撮影した複数の画像から、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムを提供する。

【0005】

この局面において、本開示は、例えば、以下を提供する。

【0006】

（項目１）
被験者の状態を推定するためのコンピュータシステムであって、
被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定する推定手段と
を備えるコンピュータシステム。
（項目２）
前記推定手段は、前記被験者の少なくとも１つの疾患に関する状態を含む状態を推定する、項目１に記載のコンピュータシステム。
（項目３）
前記推定手段は、学習用シルエット画像と、前記学習用シルエット画像に写る対象の前記少なくとも１つの疾患に関する状態との関係を学習した学習済モデルを利用して、前記状態を推定する、項目１または２に記載のコンピュータシステム。
（項目４）
前記複数の画像から前記被験者の骨格特徴を抽出する抽出手段をさらに備え、
前記推定手段は、前記骨格特徴にさらに基づいて、前記状態を推定する、
項目１～３のいずれか一項に記載のコンピュータシステム。
（項目５）
前記推定手段は、
前記少なくとも１つのシルエット画像に基づいて、前記状態を示す第１のスコアを取得し、
前記骨格特徴に基づいて、前記状態を示す第２のスコアを取得し、
前記第１のスコアと前記第２のスコアとに基づいて、前記状態を推定する、
項目４に記載のコンピュータシステム。
（項目６）
前記生成手段は、
前記複数の画像から複数のシルエット領域を抽出することと、
前記抽出された複数のシルエット領域の各々を正規化することと、
前記正規化された複数のシルエット領域を平均することと
によって前記少なくとも１つのシルエット画像を生成する、項目１～５のいずれか一項に記載のコンピュータシステム。
（項目７）
前記複数の画像は、前記被験者が歩行する方向に対して略直交する方向から前記被験者が歩行する様子を撮影した動画中の複数のフレームである、項目１～６のいずれか一項に記載のコンピュータシステム。
（項目８）
前記推定手段による推定の結果を分析する分析手段であって、前記分析手段は、前記少なくとも１つのシルエット画像において、前記推定の結果に相対的に大きく寄与する関心領域を特定する、分析手段と、
前記関心領域に基づいて、前記推定手段のアルゴリズムを修正する修正手段と
さらに備える、項目１～７のいずれか一項に記載のコンピュータシステム。
（項目９）
前記健康に関する状態は、前記被験者の少なくとも１つの疾患に関する状態を含み、前記少なくとも１つの疾患は、歩行障害を生じる疾患を含む、項目１～８のいずれか一項に記載のコンピュータシステム。
（項目１０）
前記少なくとも１つの疾患は、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患からなる群から選択される少なくとも１つを含む、項目９に記載のコンピュータシステム。
（項目１１）
前記少なくとも１つの疾患に関する状態の推定は、前記歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別することを含む、項目９に記載のコンピュータシステム。
（項目１２）
前記判別は、前記歩行障害を生じる疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含む、項目１１に記載のコンピュータシステム。
（項目１３）
前記少なくとも１つの疾患は、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺からなる群から選択される少なくとも１つを含む、項目９～１２のいずれか一項に記載のコンピュータシステム。
（項目１４）
前記被験者の健康に関する状態は、少なくとも１つの疾患の重症度によって表され、
前記推定手段は、前記重症度を推定する、項目１～１２のいずれか一項に記載のコンピュータシステム。
（項目１５）
前記疾患は、頚椎症性脊髄症であり、
前記推定手段は、前記重症度として頚椎ＪＯＡスコアを推定する、項目１４に記載のコンピュータシステム。
（項目１６）
前記受信手段は、頚椎ＪＯＡスコアが１０以上であると判定された被験者が歩行する様子を撮影した複数の画像を受信する、項目１５に記載のコンピュータシステム。
（項目１７）
前記推定手段は、前記被験者の歩行能力を推定する、項目１に記載のコンピュータシステム。
（項目１８）
前記被験者の歩行の状態がどの年齢の水準にあるかを示す数値によって表される、項目１７に記載のコンピュータシステム。
（項目１９）
前記推定された状態に応じた治療もしくは介入または情報を提供する提供手段をさらに含む、項目１～１８のいずれか一項に記載のコンピュータシステム。
（項目２０）
被験者の状態を推定するための方法であって、
被験者が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
を含む方法。
（項目２０Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２０に記載の方法。
（項目２１）
被験者の状態を推定するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
被験者が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
を含む処理を前記プロセッサに行わせる、プログラム。
（項目２１Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２１に記載のプログラム。
（項目２１Ｂ）
被験者の状態を推定するためのプログラムを記憶する記憶媒体であって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
被験者が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
を含む処理を前記プロセッサに行わせる、記憶媒体。
（項目２１Ｃ）
上記項目の１つまたは複数に記載の特徴を含む、項目２１Ｂに記載の記憶媒体。
（項目２２）
被験者の状態を推定するためのモデルを作成する方法であって、
複数の対象のうちの各対象について、
前記対象が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の健康に関する状態を出力用教師データとして、機械学習モデルに学習させることと
を含む方法。
（項目２２Ａ）
上記項目の１つまたは複数に記載の特徴を含む、項目２２に記載の方法。
（項目２２Ｂ）
被験者の状態を推定するためのモデルを作成するためのシステムであって、
対象が歩行する様子を撮影した複数の画像を受信する受信手段と、
前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成する生成手段と、
前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させる学習手段と
を備えるシステム。
（項目２２Ｃ）
上記項目の１つまたは複数に記載の特徴を含む、項目２２Ｂに記載のシステム。
（項目２２Ｄ）
被験者の状態を推定するためのモデルを作成するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
複数の対象のうちの各対象について、
前記対象が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることと
を含む処理を前記プロセッサに行わせる、プログラム。
（項目２２Ｅ）
上記項目の１つまたは複数に記載の特徴を含む、項目２２Ｄに記載のプログラム。
（項目２２Ｆ）
被験者の状態を推定するためのモデルを作成するためのプログラムを記憶する記憶媒体であって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
複数の対象のうちの各対象について、
前記対象が歩行する様子を撮影した複数の画像を受信することと、
前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることと
を含む処理を前記プロセッサに行わせる、記憶媒体。
（項目２２Ｇ）
上記項目の１つまたは複数に記載の特徴を含む、項目２２Ｆに記載の記憶媒体。
（項目２３）
被験者の健康状態、障害または疾患を治療、予防、または改善する方法であって、
（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
を含む方法。
（項目２３Ａ）
被験者の健康状態、障害または疾患を治療、予防、または改善するシステムであって、
（Ａ）被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定する推定手段と
（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出する算出手段と、
（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施す手段と
を備えるシステム。
（項目２３Ｂ）
被験者の健康状態、障害または疾患を治療、予防、または改善するプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
を含む処理を前記プロセッサに行わせる、プログラム。
（項目２３Ｃ）
被験者の健康状態、障害または疾患を治療、予防、または改善するプログラムを記憶する記憶媒体であって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
を含む処理を前記プロセッサに行わせる、記憶媒体。

【発明の効果】

【0007】

本開示によれば、高い精度で被験者の少なくとも１つの疾患、障害、症候群、症状等の医学的状態に関する状態を推定することが可能な、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムを提供することができる。また、本開示によれば、歩行する様子を医師が診ただけでは識別することができない疾患でさえも識別することができる可能性がある。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態を用いて、被験者の歩行動画から被験者の状態を推定するためのフロー１０の一例を示す図

【図2】被験者の状態を推定するためのコンピュータシステム１００の構成の一例を示す図

【図3A】一実施形態におけるプロセッサ部１２０の構成の一例を示す図

【図3B】別の実施形態におけるプロセッサ部１２０’の構成の一例を示す図

【図3C】別の実施形態におけるプロセッサ部１２０’’の構成の一例を示す図

【図3D】一実施形態におけるプロセッサ部１４０の構成の一例を示す図

【図3E】別の実施形態におけるプロセッサ部１４０’の構成の一例を示す図

【図4A】生成手段１２２によって、１枚の画像４１から１枚のシルエット画像４３を生成するフローの一例を概略的に図示する図

【図4B】生成手段１２２によって、複数のシルエット画像４３Ａ～４３Ｃから１枚のシルエット画像を生成するフローの一例を概略的に図示する図

【図5A】抽出手段１２４によって、１枚の画像５１から骨格特徴５２を抽出するフローの一例を概略的に図示する図

【図5B】分析手段１２５によって特定された判断根拠の一例を示す図

【図6A】被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理６００）を示すフローチャート

【図6B】被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理６１０）を示すフローチャート

【図7A】被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理７００）を示すフローチャート

【図7B】被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理７１０）を示すフローチャート

【図8A】実施例１の結果を示す図

【図8B】実施例２の結果を示す図

【図8C】実施例３の結果を示す図

【図9】実施例４の結果を示す。

【図10】実施例５の結果を示す。

【発明を実施するための形態】

【0009】

以下、本開示を説明する。本明細書の全体にわたり、単数形の表現は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。従って、単数形の冠詞（例えば、英語の場合は「ａ」、「ａｎ」、「ｔｈｅ」など）は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

【0010】

（定義）
本明細書において、「被験者」（ｓｕｂｊｅｃｔ）とは、本開示の技術が対象とする任意の人物または動物をいう。「被験者」は、「対象」（ｏｂｊｅｃｔ）または患者（ｐａｔｉｅｎｔ）と同義に用いられ得る。

【0011】

本明細書において、「被験者」の「状態」とは、被験者の身体または精神の様子のことをいう。

【0012】

本明細書において、「歩行」とは、肢（例えば、足（脚）、腕等）を持つ動物が行う、肢による任意の移動(運動）をいう。「歩行」は、狭義の意味での歩行（すなわち、すべての足が同時に地面から離れる瞬間を持たない動作）に加えて、走行（すなわち、すべての足が同時に地面から離れる瞬間を持つ動作）、四つん這いでの移動（いわゆる、ハイハイ）等を含む。

【0013】

本明細書において「歩行障害」とは、歩行における任意の障害をいい、歩行中の被験者の体の動き方（すなわち、体全体の変位）または体の各部の変位に異常をきたすことで特徴づけられる。

【0014】

本明細書において、「疾患」とは、対象の状態に不調または不都合が生じている状態をいう。「疾患」は、「障害」（正常な機能を妨げている状態）、「症状」（対象の異常な状態）、「症候群」（いくつかの症状が発生している状態）等の用語と同義的に用いられることがある。特に、歩行中の被験者の体の動き方または体の各部の変位に異常をきたす疾患は、「歩行障害を生じる疾患」といい、歩行障害を生じる疾患は、「歩行障害を生じる運動器疾患」、「歩行障害を生じる神経筋疾患」、「歩行障害を生じる循環器疾患」、「歩行障害を生じる呼吸器疾患」等、臓器ごとに分類して表現される疾患を含む。

【0015】

本明細書において、「歩行障害を生じる運動器疾患」とは、骨および関節の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、変形性関節症（Ｏｓｔｅｏａｒｔｈｒｉｔｉｓ：ＯＡ）、慢性関節リウマチ、半月板損傷、靭帯損傷、ロコモティブシンドローム、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニア、椎間板炎を含むがこれらに限定されない。頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニア、椎間板炎は、後述する「歩行障害を生じる神経筋疾患」でもあり得る。

【0016】

本明細書において、「歩行障害を生じる神経筋疾患」とは、神経および筋肉の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、椎間板ヘルニア、脊髄小脳変性症、多系統萎縮症、神経炎（ｎｅｕｒｏｐａｔｈｙ）、水頭症、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、筋萎縮性側索硬化症（ＡＬＳ）、脳腫瘍、脊髄梗塞、脊髄炎、脊髄症、後縦靭帯骨化症（ＯＰＬＬ）、椎間板炎、パーキンソン病、脳梗塞、遺伝性痙性対麻痺を含むがこれらに限定されない。頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニア、椎間板炎は、前述した「歩行障害を生じる運動器疾患」でもあり得る。

【0017】

本明細書において、「歩行障害を生じる循環器疾患」とは、心臓および血管の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、心不全、末梢動脈疾患（ＰＡＤ）、フレイルを含むがこれらに限定されない。

【0018】

本明細書において、「歩行障害を生じる呼吸器疾患」とは、肺の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、慢性閉塞性肺疾患（ＣＯＰＤ）を含むがこれらに限定されない。

【0019】

本明細書において、被験者等の「シルエット画像」とは、画像中の被験者等に属する画素と被験者等に属さない画素とを異なる画素値で表すことにより、被験者等の領域を表した画像のことをいう。典型的には、「被験者等のシルエット画像」は、画像中の被験者等に属する画素のすべてを同一の値とし、被験者等に属さない画素のすべてを同一の値とした２値画像であり得る。別の例では、画像中の被験者等を複数の部分に（例えば、部位毎に）分割し、同一の部分に属する画素のすべてを同一の値とし、被験者等に属さない画素のすべてを同一の値とした多値画像であり得る。別の例では、画像中の被験者等を複数の部分に（例えば、部位毎に）分割し、同一の部分に属する画素のすべてを同一の値とし、被験者等に属さない部分を複数の部分に分割し、同一の部分に属する画素のすべてを同一の値とし、それぞれの画素値を、被験者等に属する部分と被検者等に属しない部分とを識別可能な値とした多値画像であり得る。

【0020】

本明細書において、「被験者の骨格特徴」とは、被験者の骨格を表すことができる特徴のことをいう。骨格特徴は、例えば、被験者の複数の関節の位置および角度を含む。一例において、骨格特徴は、被験者の複数の関節を点（ｋｅｙｐｏｉｎｔ）で表し、点間を接続したグラフ構造によって表され得る。このようなグラフ構造として、１８個のｋｅｙｐｏｉｎｔを有するＣＯＣＯ、２５個のＫｅｙｐｏｉｎｔを有するＢｏｄｙ２５が知られている。概して、Ｋｅｙｐｏｉｎｔが多いほど、被験者の骨格を表す精度が高い。

【0021】

本明細書において、「状態を推定する」とは、現在の状態を推定することに加えて、未来の状態を推定することも含む概念であり得る。

【0022】

本明細書において、「治療」とは、保存治療および手術治療を含む。保存治療は、薬物治療およびリハビリテーション治療を含み、リハビリテーションは、理学療法および作業療法を含む。リハビリテーション治療は、対面で指導を行うリハビリテーション治療および遠隔で指導を行うリハビリテーション治療を含む。

【0023】

本明細書において、「約」とは、後に続く数値の±１０％を意味する。

【0024】

（好ましい実施形態）
以下に本開示の好ましい実施形態を説明する。以下に提供される実施形態は、本開示のよりよい理解のために提供されるものであり、本開示の範囲は以下の記載に限定されるべきでないことが理解される。従って、当業者は、本明細書中の記載を参酌して、本開示の範囲内で適宜改変を行うことができることは明らかである。また、以下の実施形態は単独でも使用されあるいはそれらを組み合わせて使用することができることが理解される。

【0025】

以下、図面を参照しながら、本開示の好ましい実施の形態を説明する。

【0026】

１．被験者の歩行動画から被験者の状態を推定するためのフロー
図１は、本開示の一実施形態を用いて、被験者の歩行動画から被験者の状態を推定するためのフロー１０の一例を示す。フロー１０は、被験者Ｓが歩行している様子を端末装置３００で撮影するだけで、被験者Ｓの疾患に関する状態が推定され、推定された結果が医師または被験者Ｓに提供されるというものである。これにより、被験者Ｓは、自身が疾患を有しているかどうかを簡易的に知ることができる。また、医師は、推定された結果を、被験者Ｓの診断に役立てることができ、診断の精度向上につなげることができる。

【0027】

はじめに、被験者Ｓは、端末装置３００（例えば、スマートフォン、タブレット等）を用いて、自身が歩行している様子を動画で撮影する。なお、動画は、連続した複数の画像（静止画）であるとみなせるため、本明細書では、「動画」は、「複数の画像」または「連続した複数の画像」と同義的に用いられる。なお、被験者Ｓが歩行している様子は、端末装置３００ではなく、デジタルカメラ、ビデオカメラ等の撮影手段によって撮影してもよい。

【0028】

例えば、被験者Ｓが平地を直線的に歩行する姿を側面から、具体的には、歩行する方向に対して略直交する方向から撮影する。このとき、例えば、被験者Ｓの定常歩行を撮影することができるように、被験者Ｓの歩き初めではなく、数ｍ歩いた後の様子を撮影することが好ましい。例えば、被験者Ｓに約１０ｍ歩行させるとき、最初の約３ｍと最後の約３ｍを除いた中間の約４ｍを歩行する姿を適切に撮影することができるように、端末装置３００または撮影手段を設置することが好ましい。

【0029】

ステップＳ１では、撮影された動画が、サーバ装置１００に提供される。動画がサーバ装置１００に提供される態様は問わない。例えば、動画は、ネットワーク（例えば、インターネット、ＬＡＮ等）を介してサーバ装置１００に提供され得る。例えば、動画は、記憶媒体（例えば、リムーバブルメディア）を介してサーバ装置１００に提供され得る。

【0030】

次いで、サーバ装置１００において、ステップＳ１で提供された動画に対する処理が行われる。サーバ装置１００は、動画中の複数のフレームの各々を処理する。サーバ装置１００による処理により、被験者Ｓの疾患の状態が推定される。例えば、サーバ装置１００による処理により、被験者Ｓが或る疾患を有している状態であるか、或る疾患を有していない状態であるかが推定され得る。例えば、サーバ装置１００による処理により、被験者Ｓが有する或る疾患のレベル（例えば、軽度、中等度、重度）が推定され得る。ここで、疾患は、代表的に歩行障害を生じる疾患であり、例えば、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患であり得る。より具体的には、疾患は、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症（肥満症は、肥満が、脂肪組織が過剰に蓄積した状態であって、ＢＭＩ ２５ｋｇ／ｍ^２以上の状態のことをいう一方で、肥満症は、肥満に起因ないし関連する健康障害を合併するか、その合併が予測される場合であって、医学的に減量を必要とする疾患であるという点で、肥満とは区別される。）、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺を含むがこれらに限定されない。より好ましくは、疾患は、神経炎（ｎｅｕｒｏｐａｔｈｙ）、筋炎（ｍｙｏｓｉｔｉｓ）、変形性関節症（ＯＡ）、慢性関節リウマチ（ＲＡ）、心不全、慢性閉塞性肺疾患（ＣＯＰＤ）、パーキンソン病のうちの少なくとも１つであり得る。また、このような推定は、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別することを含んでいてもよく、そのような判別としては、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含んでいてもよい。

【0031】

ステップＳ２では、サーバ装置１００によって推定された結果が、被験者Ｓに提供される。推定された結果が提供される態様は問わない。例えば、推定された結果は、ネットワークを介してサーバ装置１００から端末装置３００に提供されてもよいし、記憶媒体を介して被験者Ｓに提供されてもよいし、紙媒体を介して被験者Ｓに提供されてもよい。

【0032】

これにより、被験者Ｓは、自身が疾患を有しているかどうか、あるいは、自身の疾患のレベルがどの程度であるかを簡易的に知ることができる。このとき、例えば、被験者Ｓの疾患の状態に応じた治療または介入を被験者Ｓに提供するようにしてもよいし、被験者Ｓの疾患の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者Ｓに提供するようにしてもよい。

【0033】

ステップＳ２に加えて、または、ステップＳ２に代えて、ステップＳ３では、サーバ装置１００によって推定された結果が、医師に提供される。推定された結果が提供される態様はと合わない。例えば、推定された結果は、ネットワークを介してサーバ装置１００から病院Ｈの端末装置に提供されてもよいし、記憶媒体を介して医師に提供されてもよいし、紙媒体を介して医師に提供されてもよい。

【0034】

これにより、医師は、被験者Ｓが疾患を有しているか否かの診断、あるいは、被験者が有している疾患のレベルの診断に、推定された結果を役立てることができる。例えば、診断が難しいまたは診断に経験もしくは知識が必要な疾患であっても、推定された結果を利用して、精度よく診断をすることが可能になり得る。このとき、例えば、被験者Ｓの疾患の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。

【0035】

上述した例では、被験者Ｓが、自身が歩行している様子の動画を撮影するだけで、被験者Ｓの疾患の状態の推定結果を受けることができるフロー１０を説明したが、本発明は、これに限定されない。例えば、医師が、カメラを用いて、被験者Ｓが歩行している様子を動画で撮影するだけで、あるいは、被験者が、別の人に、端末装置３００を用いて、自身が歩行している様子を動画で撮影してもらうだけで、被験者Ｓの疾患の状態の推定結果が、医師、理学療法士、介護者、または被験者Ｓの家族等に提供されるというフローも可能である。

【0036】

例えば、上述したサーバ装置１００は、クラウドサービスを提供するサーバ装置として実装され得る。被験者Ｓまたは医師は、端末装置（例えば、スマートフォン、パーソナルコンピュータ）からサーバ装置１００にアクセスし、被験者Ｓの疾患の状態の推定結果を受けるというクラウドサービスを受けることができる。被験者Ｓまたは医師は、例えば、端末装置にインストールされたアプリケーションを介してサーバ装置１００にアクセスするようにしてもよいし、ＷＥＢアプリケーションを介してサーバ装置１００にアクセスするようにしてもよい。このようなクラウドサービスは、国内外の医療機関または被験者に提供されることができる。このようなクラウドサービスの提供を受けるためのアプリケーションは、例えば、医療機器としてあるいはヘルスケア製品として、国内外の医療機関または被験者に提供されることができる。被験者Ｓの疾患の状態を推定する処理は、多くの被験者の情報が収集されて学習されるほど精度が向上し得るため、処理の精度を向上させるために、被験者Ｓの疾患の状態を推定する処理のプログラムは頻繁なアップデートが必要とされ得る。サーバ装置１００がクラウドサービスを提供するサーバ装置として実装されることで、被験者Ｓの疾患の状態を推定する処理のプログラムをアップデートが容易となるという利点がある。

【0037】

なお、上述したサーバ装置１００による処理を端末装置３００で行うことも可能である。この場合は、サーバ装置１００が省略され得、端末装置３００は、スタンドアローンで動くことができる。端末装置３００には、被験者Ｓの疾患の状態を推定する処理をプロセッサに行わせるソフトウェアがインストールされ得る。このようなソフトウェアは、医療機器としてあるいはヘルスケア製品として、被験者Ｓに提供されることができる。本例では、被験者Ｓの疾患に関する状態の推定結果が、医師、理学療法士、介護者、または被験者Ｓの家族等に提供される上述した例では、端末装置３００からサーバ装置１００を介することなく、推定結果が提供され得る。

【0038】

例えば、上述したサーバ装置１００による処理を医療機関の端末装置で行うことも可能である。この場合は、サーバ装置１００が省略され得、端末装置は、スタンドアローンで動くことができる。端末装置がカメラを備える場合には、端末装置３００も省略されるようにしてもよい。端末装置には、被験者Ｓの疾患の状態を推定する処理をプロセッサに行わせるソフトウェアがインストールされ得る。このようなソフトウェアは、医療機器として国内外の医療機関に提供されることができる。本例では、例えば、推定結果は、端末装置から医師Ｓの端末装置または被験者Ｓの端末装置３００に提供され得る。

【0039】

例えば、上述したサーバ装置１００による処理を専用装置で行うことも可能である。この場合は、サーバ装置１００および端末装置３００が省略され得、専用装置は、スタンドアローンで動くことができる。専用装置は、例えば、カメラと、処理部と、被験者Ｓの疾患の状態を推定する処理を処理部に行わせるソフトウェアを記憶するメモリとを備え得る。このような専用機器は、医療機器として、国内外の医療機関に提供されることができる。本例では、例えば、推定結果は、専用装置から医師Ｓの端末装置または被験者Ｓの端末装置３００に提供されることができる。

【0040】

なお、上述した例では、特定の疾患に関する状態を推定することを説明したが、本開示はこれに限定されない。例えば、疾患に関する状態として、何らかの疾患を有しているか、すなわち、健常者であるか否かを推定するようにしてもよい。さらには、本開示は、被験者の疾患に関する状態に限らず、被験者の健康に関する状態を推定することができる。例えば、本開示は、被験者が健康状態であるか、被験者が疾患ではないものの疾患の予兆がある状態（すなわち、未病）であるか、被験者がどの程度の健康レベルであるか、被験者がどの程度の歩行能力を有するか等も同様に推定することができる。

【0041】

上述したフロー１０は、後述する本発明のコンピュータシステム１００を利用して実現され得る。

【0042】

２．被験者の状態を推定するためのコンピュータシステムの構成
図２は、被験者の状態を推定するためのコンピュータシステム１００の構成の一例を示す。

【0043】

本例では、コンピュータシステム１００は、データベース部２００に接続されている。また、コンピュータシステム１００は、少なくとも１つの端末装置３００にネットワーク４００を介して接続されている。

【0044】

ネットワーク４００は、任意の種類のネットワークであり得る。ネットワーク４００は、例えば、インターネットであってもよいし、ＬＡＮであってもよい。ネットワーク４００は、有線ネットワークであってもよいし、無線ネットワークであってもよい。

【0045】

コンピュータシステム１００の一例は、サーバ装置であるが、これに限定されない。コンピュータシステム１００は、端末装置（例えば、被験者が保持する端末装置、病院に設置されている端末装置、公共の場所（例えば、公民館、役所、図書館等）に設置されている端末装置）であってもよいし、専用機器であってもよい。端末装置３００の一例は、被験者が保持する端末装置、または、病院に設置されている端末装置、または、公共の場所（例えば、公民館、役所、図書館等）に設置されている端末装置であるが、これに限定されない。ここで、サーバ装置および端末装置は、任意のタイプのコンピュータであり得る。例えば、端末装置は、スマートフォン、タブレット、パーソナルコンピュータ、スマートグラス等の任意のタイプの端末装置であり得る。端末装置３００は、例えば、カメラ等の撮影手段を備えることが好ましい。

【0046】

コンピュータシステム１００は、インターフェース部１１０と、プロセッサ部１２０と、メモリ１３０部とを備える。

【0047】

インターフェース部１１０は、コンピュータシステム１００の外部と情報のやり取りを行う。コンピュータシステム１００のプロセッサ部１２０は、インターフェース部１１０を介して、コンピュータシステム１００の外部から情報を受信することが可能であり、コンピュータシステム１００の外部に情報を送信することが可能である。インターフェース部１１０は、任意の形式で情報のやり取りを行うことができる。

【0048】

インターフェース部１１０は、例えば、コンピュータシステム１００に情報を入力することを可能にする入力部を備える。入力部が、どのような態様でコンピュータシステム１００に情報を入力することを可能にするかは問わない。例えば、入力部が受信器である場合、受信器がネットワーク４００を介してコンピュータシステム１００の外部から情報を受信することにより入力してもよい。あるいは、入力部がデータ読み取り装置である場合には、コンピュータシステム１００に接続された記憶媒体から情報を読み取ることによって情報を入力するようにしてもよい。あるいは、例えば、入力部がタッチパネルである場合には、ユーザがタッチパネルにタッチすることによって情報を入力するようにしてもよい。あるいは、入力部がマウスである場合には、ユーザがマウスを操作することによって情報を入力するようにしてもよい。あるいは、入力部がキーボードである場合には、ユーザがキーボードのキーを押下することによって情報を入力するようにしてもよい。あるいは、入力部がマイクである場合には、ユーザがマイクに音声を入力することによって情報を入力するようにしてもよい。あるいは、入力部がカメラである場合には、カメラが撮像した情報を入力するようにしてもよい。

【0049】

例えば、入力部は、被験者が歩行している様子を撮影した動画をコンピュータシステム１００に入力することを可能にする。

【0050】

インターフェース部１１０は、例えば、コンピュータシステム１００から情報を出力することを可能にする出力部を備える。出力部が、どのような態様でコンピュータシステム１００から情報を出力することを可能にするかは問わない。例えば、出力部が送信器である場合、送信器がネットワーク４００を介してコンピュータシステム１００の外部に情報を送信することにより出力してもよい。あるいは、例えば、出力部がデータ書き込み装置である場合、コンピュータシステム１００に接続された記憶媒体に情報を書き込むことによって情報を出力するようにしてもよい。あるいは、出力部が表示画面である場合、表示画面に情報を出力するようにしてもよい。あるいは、出力部がスピーカである場合には、スピーカからの音声によって情報を出力するようにしてもよい。

【0051】

例えば、出力部は、コンピュータシステム１００によって推定された被験者の状態をコンピュータシステム１００の外部に出力することができる。

【0052】

プロセッサ部１２０は、コンピュータシステム１００の処理を実行し、かつ、コンピュータシステム１００全体の動作を制御する。プロセッサ部１２０は、メモリ部１３０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータシステム１００を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部１２０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

【0053】

メモリ部１３０は、コンピュータシステム１００の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部１３０は、被験者の状態を推定するための処理のためのプログラム（例えば、後述する図６Ａまたは図６Ｂに示される処理を実現するプログラム）および／または被験者の状態を推定するためのモデルを作成するための処理のためのプログラム（例えば、後述する図７Ａまたは図７Ｂに示される処理を実現するプログラム）を格納してもよい。ここで、プログラムをどのようにしてメモリ部１３０に格納するかは問わない。例えば、プログラムは、メモリ部１３０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部１３０にインストールされるようにしてもよい。あるいは、プログラムは、コンピュータ読み取り可能な記憶媒体に格納されていてもよい。

【0054】

データベース部２００には、例えば、複数の対象のそれぞれについて、歩行している様子を撮影した複数の画像が格納され得る。複数の画像は、例えば、各対象の端末装置３００からデータベース部２００に（コンピュータシステム１００を介して）送信されたものであってもよいし、例えば、コンピュータシステム１００が備え得るカメラによって撮影されたものであってもよい。複数の対象のそれぞれの歩行している様子を撮影した複数の画像は、例えば、それぞれの対象の疾患の状態と関連付けられて格納され得る。データベース部２００に格納されたデータは、例えば、被験者の状態を推定するためのモデルを作成するために利用され得る。

【0055】

データベース部２００には、予測対象の被験者が歩行している様子を撮影した複数の画像が格納されるようにしてもよい。複数の画像は、例えば、予測対象の被験者の端末装置３００からデータベース部２００に（コンピュータシステム１００を介して）送信されたものであってもよいし、例えば、コンピュータシステム１００が備え得るカメラによって撮影されたものであってもよい。

【0056】

また、データベース部２００には、例えば、コンピュータシステム１００によって出力された、被験者の状態の推定結果が格納され得る。

【0057】

図２に示される例では、データベース部２００は、コンピュータシステム１００の外部に設けられているが、本発明はこれに限定されない。データベース部２００の少なくとも一部をコンピュータシステム１００の内部に設けることも可能である。このとき、データベース部２００の少なくとも一部は、メモリ部１３０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部１３０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２００の少なくとも一部は、コンピュータシステム１００のための格納部として構成される。データベース部２００の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２００は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２００は、コンピュータシステム１００の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。

【0058】

図３Ａは、一実施形態におけるプロセッサ部１２０の構成の一例を示す。

【0059】

プロセッサ部１２０は、受信手段１２１と、生成手段１２２と、推定手段１２３とを備える。

【0060】

受信手段１２１は、被験者が歩行している様子を撮影した複数の画像を受信するように構成されている。受信手段１２１は、コンピュータシステム１００の外部からインターフェース部１１０を介して複数の画像を受信することができる。複数の画像は、例えば、被験者の端末装置３００からコンピュータシステム１００に送信されたものであってもよいし、データベース部２００に格納されたものであって、データベース部２００からコンピュータシステム１００に送信されたものであってもよい。

【0061】

複数の画像は、例えば、静止画を連写することによって撮影された複数の画像であってもよいし、動画を構成する複数のフレームであってもよい。複数の画像は、任意のフレームレートを有し得るが、フレームレートは、好ましくは、２０ｆｐｓ～６０ｆｐｓ、より好ましくは、３０ｆｐｓであり得る。

【0062】

受信手段１２１が受信した複数の画像は、生成手段１２２に提供される。

【0063】

生成手段１２２は、被験者が写った画像から被験者のシルエット画像を生成するように構成されている。生成手段１２２は、例えば、受信手段１２１が受信した複数の画像から、少なくとも１つのシルエット画像を生成することができる。生成手段１２２は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。生成手段１２２は、例えば、グラフ転移学習またはセマンティックセグメンテーションと呼ばれる手法を用いて、シルエット画像を生成することができる。グラフ転移学習によるシルエット画像生成の手法の具体例として、Ｇｒａｐｈｏｎｏｍｙ（https://arxiv.org/abs/1904.04536）を用いた手法が挙げられるが、これに限定されない。

【0064】

生成手段１２２は、例えば、画像中の被験者に属する画素のすべてを同一の値とし、被験者に属さない画素のすべてを同一の値とした２値画像としてシルエット画像を生成するようにしてもよいし、画像中の被験者を複数の部分に（例えば、部位毎に）分割し、同一の部分に属する画素のすべてを同一の値とし、被験者に属さない画素のすべてを同一の値とした多値画像としてシルエット画像を生成するようにしてもよい。例えば、上述したＧｒａｐｈｏｎｏｍｙによると、被験者の各部位が異なる画素値で表された多値画像としてシルエット画像が生成され得る。この多値画像としてのシルエット画像において、すべての部位を同じ画素値で表すことによって、２値画像としてのシルエット画像を生成することができる。

【0065】

一例において、生成手段１２２は、例えば、Ｎ枚の画像からＮ枚のシルエット画像を生成するようにしてもよいし、Ｎ枚の画像からＭ枚のシルエット画像を生成するようにしてもよい（Ｎ≧２、Ｎ＞ＭまたはＮ＜Ｍ）。特定の例において、生成手段１２２は、Ｎ枚の画像から１枚のシルエット画像を生成することができる。

【0066】

例えば、生成手段１２２は、Ｎ枚の画像からＭ枚のシルエット画像を生成することができる（Ｎ＞Ｍ）。このとき、生成手段１２２は、Ｎ枚の画像のそれぞれからシルエット画像を生成し、生成されたＮ枚のシルエット画像のうちの少なくともいくつかを平均することによって、Ｍ枚の平均シルエット画像を生成することができる。好ましくは、Ｎ枚のシルエット画像のすべてを平均することによって、１枚の平均シルエット画像を生成し得る。

【0067】

このとき、例えば、生成手段１２２は、Ｎ枚の画像からＮ枚のシルエット領域を抽出し、抽出されたＮ枚のシルエット領域を正規化し、正規化されたＮ枚のシルエット領域を平均することによって、Ｍ枚、好ましくは１枚のシルエット画像を生成することができる。

【0068】

ここで、正規化処理は、例えば、画像に写っている被験者の身長を基準として行われ得る。正規化は、例えば、複数のシルエット画像のそれぞれから被験者のシルエット領域を抽出し、抽出された複数のシルエット領域を被験者の身長を基準としてリサイズ（すなわち、拡大または縮小）することによって行われる。一例において、正規化は、被験者のシルエット領域の縦方向の長さが約３２ピクセル、約６４ピクセル、約１２８ピクセル、約２５６ピクセル、約５１２ピクセル等の長さになるようにシルエット領域をリサイズすることによって行われる。このとき、横方向の長さは、縦横比を維持するように決定されてもよいし、固定値、例えば、約２２ピクセル、約４４ピクセル、約８８ピクセル、約１７６ピクセル、約３５２ピクセル等であってもよい。好ましくは、縦横比を維持することである。シルエット画像のサイズが大きくなるほど計算コストが高くなり、シルエット画像のサイズが小さくなるほど特徴量が失われるため、このトレードオフを考慮して正規化後のシルエット画像のサイズを決定することが好ましい。正規化後のシルエット画像のサイズは、好ましくは、縦×横＝１２８×８８であり得る。縦×横＝１２８×８８であれば、比較的に低い計算コストで、十分な精度が得られるからである。正規化は、好ましくは、縦横比が維持されるように、シルエット領域を被験者の身長を基準として縦方向に正規化し、縦×横＝１２８×８８のシルエット画像を生成することであり得る。

【0069】

正規化処理において、例えば、ノイズ等の影響を低減するために、シルエットの重心の動きが滑らかになるようにスムージング処理を付加的に行うようにしてもよい。

【0070】

平均化処理は、例えば、シルエット領域Ｎ枚分の各画素の画素値の平均を取ることによって行われ得る。

【0071】

上述した例において、Ｎの値は、２以上の任意の整数であり得るが、好ましくは、２０～６０の範囲内の値、より好ましくは、４０であり得る。Ｎの値は、好ましくは、１歩行周期分のフレーム数（例えば、約３０ｆｐｓの場合約２５～３０フレーム）であり得、より好ましくは、歩行障害を有する被験者の１歩行周期分もカバーできるフレーム数（例えば、約３０ｆｐｓの場合約４０フレーム）であり得る。Ｎの値は、例えば、予測対象の疾患に応じて、変更されるようにしてもよい。

【0072】

図４Ａは、生成手段１２２によって、１枚の画像４１から１枚のシルエット画像４３を生成するフローの一例を概略的に図示する。

【0073】

まず、生成手段１２２は、受信手段１２１から１枚の画像４１を提供される。

【0074】

ステップＳ４０１では、生成手段１２２は、画像４１からシルエット画像４２を生成する。シルエット画像４２は、被験者の各部位が異なる画素値で表された多値画像である。図４Ａに示される例では、シルエット画像４２は、被験者のシルエットにおいて、顔と、頭と、胴体と、脚部と、足先とがそれぞれ異なる画素値で表されている。

【0075】

ステップＳ４０２では、生成手段１２２は、シルエット画像４２からシルエット画像４３を生成する。シルエット画像４３は、被験者の全体が同一の画素値で表された２値画像である。生成手段１２２は、シルエット画像４２の被験者のシルエットの異なる画素値を同じ画素値で表すことによって、シルエット画像４３を生成することができる。

【0076】

生成手段１２２は、このような処理を複数の画像のそれぞれに対して行うことにより、複数の画像から複数のシルエット画像を生成することができる。複数のシルエット画像が生成されると、例えば、図４Ｂに示されるフローが行われてもよい。

【0077】

なお、上述した例では、２値画像であるシルエット画像４３を生成することを説明したが、多値画像であるシルエット画像を生成するようにしてもよい。この場合、ステップＳ４０２が省略され得る。

【0078】

図４Ｂは、生成手段１２２によって、複数のシルエット画像４３Ａ～４３Ｃから１枚のシルエット画像を生成するフローの一例を概略的に図示する。ここでは、図４Ａに示されるフローにより、複数のシルエット画像４３Ａ、４３Ｂ、４３Ｃ・・・が生成されているものとする。

【0079】

ステップＳ４０３では、生成手段１２２が、複数のシルエット画像４３Ａ、４３Ｂ、４３Ｃ・・・の各々から、被検者のシルエット領域を抽出し、抽出された複数のシルエット領域の各々を正規化する（すなわち、サイズを揃える）ことによって、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・を生成する。本例では、画像中の被験者の身長を基準として正規化が行われている。すなわち、複数のシルエット画像４３Ａ、４３Ｂ、４３Ｃ・・・の各々から抽出された複数のシルエット領域のそれぞれにおいて被験者の身長が同一となるように、抽出された複数のシルエット領域のそれぞれがリサイズされて、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・が生成されている。本例では、縦１２８ピクセル×横８８ピクセルのシルエット領域となるように正規化されている。

【0080】

ステップＳ４０４では、生成手段１２２が、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・を平均することによって、１枚のシルエット画像４５を生成する。平均は、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・について、各画素の画素値の平均を取ることによって行われ得る。例えば、シルエット画像４５の第ｉｊの画素の画素値Ｐ_ｉｊは、

【数1】

で計算され得る。ここで、ｎは、複数のシルエット領域４４の数であり、ｐ_ｉｊｋは、第ｋのシルエット領域の第ｉｊの画素の画素値であり、０＜ｉ≦縦ピクセル数（本例では、１２８）、０＜ｊ≦横ピクセル数（本例では、８８）である。

【0081】

このように、図４Ａおよび図４Ｂに示されるような処理によって、生成手段１２２は、複数の画像から１枚のシルエット画像を生成することができる。生成手段１２２によって生成されたシルエット画像は、推定手段１２３に提供される。

【0082】

再び図３Ａを参照して、推定手段１２３は、少なくとも１つのシルエット画像に基づいて、被験者の少なくとも１つの疾患に関する状態を推定するように構成されている。

【0083】

推定手段１２３は、例えば、或る疾患の状態として、被験者が或る疾患を有している状態であるか、或る疾患を有していない状態であるかを推定することができる。あるいは、推定手段１２３は、上記に加えてまたは上記に代えて、或る疾患の状態として、被験者が有する或る疾患のレベル（例えば、軽度、中等度、もしくは重度、または、重症度）を推定することができる。重症度は、一例として、頸椎症脊髄症の重症度を表す日本整形外科学会頸椎スコア（頸椎ＪＯＡスコア）で表現され得る。あるいは、推定手段１２３は、上記に加えてまたは上記に代えて、複数の疾患の状態として、被験者が複数の疾患のうちどの疾患を有している状態であるかを推定することができる。

【0084】

推定手段１２３によって状態を推定可能な疾患は、代表的に、歩行障害を生じる疾患であり、例えば、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患を含み得る。より具体的には、疾患は、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺を含むがこれらに限定されない。特に、推定手段１２３は、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、パーキンソン病、慢性関節リウマチ（ＲＡ）、脳梗塞の状態を精度よく推定することが可能である。推定手段１２３はまた、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別するように構成されていてもよく、そのような判別としては、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含んでいてもよい。

【0085】

推定手段１２３は、任意のアルゴリズムを用いて、被験者の少なくとも１つの疾患に関する状態を推定することができる。推定手段１２３は、例えば、学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習したモデルである。推定手段１２３は、例えば、少なくとも１つのシルエット画像から取得される特徴量（例えば、被験者の歩行時の輪郭形状（例えば、背中の曲がり方、脚の曲がり方、腕の振り方等）に基づいて、ルールベースで被験者の少なくとも１つの疾患に関する状態を推定することができる。

【0086】

学習済モデルは、任意のタイプの機械学習モデルであり得る。機械学習モデルは、例えば、ニューラルネットワークであり得、より具体的には、畳み込みニューラルネットワークであり得る。さらに具体的には、利用される機械学習モデルの例として、ＲｅｓＮｅｔ５０（https://arxiv.org/abs/1512.03385）が挙げられるが、これに限定されない。

【0087】

一例において、学習済モデルは、後述するプロセッサ部１４０によって、または図７Ａに示される処理７００によって作成されるモデルであり得る。

【0088】

例えば、学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習しているので、生成手段１２２によって生成されたシルエット画像を学習済モデルに入力すると、学習済モデルは、シルエット画像に写る被験者の少なくとも１つの疾患に関する状態を出力することができる。出力は、例えば、特定の疾患があることを示すスコアおよびその特定の疾患がないことを示すスコアのうちの一方または両方であり得る。あるいは、出力は、例えば、特定の疾患のレベルを示すスコアであり得る。

【0089】

推定手段１２３によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。このとき、コンピュータシステム１００が備え得る提供手段が、被験者の状態に応じた治療または介入を被験者に提供するようにしてもよいし、被験者の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。このとき、例えば、提供手段が、被験者の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。

【0090】

一実施形態において、推定手段１２３は、少なくとも１つのシルエット画像に基づいて、被験者の健康に関する状態を推定することができる。上述した疾患に関する状態は、健康に関する状態の一例である。健康に関する状態は、例えば、全身の健康に関する状態、特定の部位に関する状態（例えば、下肢の状態、上肢の状態、内臓の状態）、特定の機能に関する状態（例えば、歩行機能の状態、呼吸機能の状態）を含み得る。健康に関する状態は、良い悪いの２値で表されるようにしてもよいし、レベルまたは健康度等の程度で表されるようにしてもよい。健康に関する状態は、典型的には、歩行能力であり得る。歩行能力は、例えば、歩行年齢として表され得、これは、歩行の状態がどの年齢の水準にあるかを示す数値である。

【0091】

推定手段１２３は、任意のアルゴリズムを用いて、被験者の健康に関する状態を推定することができる。推定手段１２３は、例えば、上記と同様に、学習済モデルを利用して、被験者の健康に関する状態を推定することができる。学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の健康に関する状態との関係を学習したモデルである。推定手段１２３は、例えば、少なくとも１つのシルエット画像から取得される特徴量（例えば、被験者の歩行時の輪郭形状（例えば、背中の曲がり方、脚の曲がり方、腕の振り方等）に基づいて、ルールベースで被験者の健康に関する状態を推定することができる。

【0092】

図３Ｂは、別の実施形態におけるプロセッサ部１２０’の構成の一例を示す。

【0093】

プロセッサ部１２０’は、抽出手段１２４を備える点を除いて、プロセッサ部１２０と同様の構成を有し得る。図３Ｂでは、図３Ａを参照して上述した構成要素と同様の構成を有する構成要素には同じ参照番号を付し、ここでは詳細な説明を省略する。

【0094】

プロセッサ部１２０’は、受信手段１２１と、生成手段１２２と、推定手段１２３’と、抽出手段１２４とを備える。

【0095】

受信手段１２１は、被験者が歩行している様子を撮影した複数の画像を受信するように構成されている。受信手段１２１が受信した複数の画像は、生成手段１２２と抽出手段１２４とに提供される。

【0096】

生成手段１２２は、被験者が写った画像から被験者のシルエット画像を生成するように構成されている。生成手段１２２によって生成されたシルエット画像は、推定手段１２３’に提供される。

【0097】

抽出手段１２４は、被験者が写った複数の画像から、被験者の骨格特徴を抽出するように構成されている。抽出手段１２４は、例えば、受信手段１２１が受信した複数の画像から、被験者の骨格特徴を抽出するように構成されている。抽出手段１２４は、複数の画像のそれぞれから骨格特徴を抽出することにより、骨格特徴の時系列データを生成することができる。抽出手段１２４は、当該技術分野において公知の技術を用いて、骨格特徴を抽出することができる。抽出手段１２４は、例えば、Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓと呼ばれる手法を用いて、骨格特徴を抽出することができる。Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓによる骨格抽出の手法の具体例として、Ｏｐｅｎｐｏｓｅ（https://arxiv.org/abs/1812.08008）を用いた手法が挙げられるが、これに限定されない。

【0098】

抽出手段１２４は、被験者の複数の関節を点（ｋｅｙｐｏｉｎｔ）で表し、点間を接続したグラフ構造として骨格特徴を抽出することができる。グラフ構造は、任意の個数のＫｅｙｐｏｉｎｔを有することができる。

【0099】

図５Ａは、抽出手段１２４によって、１枚の画像５１から骨格特徴５２を抽出するフローの一例を概略的に図示する。

【0100】

まず、抽出手段１２４は、受信手段１２１から１枚の画像５１を提供される。

【0101】

ステップＳ５０１では、抽出手段１２４は、画像５１から、被験者の骨格特徴５２を抽出する。骨格特徴５２は、画像５１に重ね合わせて示されている。このままでは背景情報がノイズとなり得るため、背景情報が除去され得る。

【0102】

ステップＳ５０２では、背景情報が除去され、骨格特徴５２のみを有する画像５３が生成される。

【0103】

生成手段１２２は、このような処理を複数の画像のそれぞれに対して行うことにより、複数の画像から複数の骨格特徴（または骨格特徴を有する複数の画像）を生成することができる。複数の骨格特徴（または骨格特徴を有する複数の画像）は、時系列骨格特徴データとして、推定手段１２３’に提供される。

【0104】

再び図３Ｂを参照して、推定手段１２３’は、シルエット画像と、骨格特徴とに基づいて、被験者の少なくとも１つの疾患を推定することができる。

【0105】

推定手段１２３’は、例えば、或る疾患の状態として、被験者が或る疾患を有している状態であるか、或る疾患を有していない状態であるかを推定することができる。あるいは、推定手段１２３’は、上記に加えてまたは上記に代えて、或る疾患の状態として、被験者が有する或る疾患のレベル（例えば、軽度、中等度、もしくは重度、または、重症度）を推定することができる。重症度は、一例として、頸椎症脊髄症の重症度を表す日本整形外科学会頸椎スコア（頸椎ＪＯＡスコア）で表現され得る。

【0106】

推定手段１２３’によって状態を推定可能な疾患は、代表的に歩行障害を生じる疾患であり、例えば、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患を含み得る。より具体的には、疾患は、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺を含むがこれらに限定されない。また、推定手段１２３’は、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別するように構成されていてもよく、そのような判別としては、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含んでいてもよい。特に、推定手段１２３’は、シルエット画像と、骨格特徴とに基づくことにより、腰部脊柱管狭窄症（ＬＣＳ）、頸部における頚椎症性脊髄症（ＣＳＭ）、頚椎後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニアの状態を精度よく推定することができる。

【0107】

例えば、推定手段１２３’は、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果と、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果とに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。推定手段１２３’は、例えば、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を示す第１のスコアを取得し、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を示す第２のスコアを取得し、第１のスコアと第２のスコアとに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。例えば、第１のスコアが特定の疾患の有無のそれぞれを示し、第２のスコアがその特定の疾患の有無のそれぞれを示す場合、推定手段１２３’は、特定の疾患が有ることを示す第１のスコアと特定の疾患が有ることを示す第２のスコアとの加算値と、特定の疾患が無いことを示す第２のスコアと特定の疾患が無いことを示す第２のスコアとの加算値とを比較することにより、特定の疾患が有るか特定の疾患が無いかを決定することができる。第１のスコアおよび／または第２のスコアは、ｓｏｆｔｍａｘ関数等の所定の関数を適用することによって、０～１の範囲内の値に変換したうえで加算されるようにしてもよい。

【0108】

例えば、骨格特徴に基づいて取得される第１のスコアが、疾患有り：３．０、疾患無し：２．０となる場合、ｓｏｆｔｍａｘ関数を適用することによって、疾患有り：０．７３、疾患無し：０．２７となる。シルエット画像に基づいて取得される第２のスコアが、疾患有り：０．４５、疾患無し：０．５５となる場合、第１のスコアと第２のスコアとを加算すると、加算値は、疾患有り：０．７３＋０．４５＝１．１８、疾患無し：０．２７＋０．５５＝０．８２となる。疾患有りのスコアの方が大きいため、被験者の状態は、「疾患有り」であると決定され得る。

【0109】

なお、第１のスコアと第２のスコアとを加算するとき、第１のスコアおよび／または第２のスコアに重み付けをしたうえで加算するようにしてもよい。重み付けの程度は、例えば、固定値であってもよいし、変動値であってもよい。変動値である場合には、重み付けの程度は、例えば、被験者の属性によって変更してもよいし、推定する疾患によって変更してもよいし、第１のスコアと第２のスコアとの差に応じて変更してもよいし、他の任意の要因によって変更してもよい。最適な重み付けの程度は、機械学習によって特定されてもよい。

【0110】

推定手段１２３’から出力されるスコアは、例えば、既存の疾患指標と相関を有し得、既存の疾患指標に変換されることが可能である。本願の発明者は、一例として、頸椎症脊髄症の被験者のシルエット画像に基づいて出力されるスコアが、頚椎ＪＯＡスコアと相関があり得ることを見出した。このスコアは、頚椎ＪＯＡスコアが１０以上である被験者でより顕著であった。この相関を利用することで、学習済モデルからの出力を頚椎ＪＯＡスコアで表すことも可能である。既知の指標を用いることで、推定手段１２３’からの出力の意味を理解しやすくなる。例えば、受信手段１２１が頚椎ＪＯＡスコアが１０以上である被験者の画像を受信するようにし、頚椎ＪＯＡスコアが１０以上である被験者の画像のみについて処理するようにしてもよい。あるいは、受信手段１２１によって受信された画像から、頚椎ＪＯＡスコアが１０以上である被験者の画像を抽出し、頚椎ＪＯＡスコアが１０以上である被験者の画像のみについて処理するようにしてもよい。

【0111】

推定手段１２３’がシルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果と、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果とに基づいて、被験者の状態を推定する場合、推定手段１２３’は、シルエット画像に基づいた推定のために第１の学習済モデルを用い、骨格特徴に基づいた推定のために第２の学習済モデルを用いることができる。

【0112】

推定手段１２３’は、例えば、第１の学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。第１の学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習したモデルである。

【0113】

第１の学習済モデルは、任意のタイプの機械学習モデルであり得る。機械学習モデルは、例えば、ニューラルネットワークであり得、より具体的には、畳み込みニューラルネットワークであり得る。さらに具体的には、利用される機械学習モデルの例として、ＲｅｓＮｅｔ５０（https://arxiv.org/abs/1512.03385）が挙げられるが、これに限定されない。

【0114】

一例において、第１の学習済モデルは、後述するプロセッサ部１４０もしくはプロセッサ部１４０’によって、または図７Ａもしくは図７Ｂに示される処理７００もしくは処理７１０によって作成されるモデルであり得る。

【0115】

例えば、第１の学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習しているので、生成手段１２２によって生成されたシルエット画像を学習済モデルに入力すると、学習済モデルは、シルエット画像に写る被験者の少なくとも１つの疾患に関する状態を出力することができる。出力は、例えば、特定の疾患があることを示すスコアおよびその特定の疾患がないことを示すスコアのうちの一方または両方（例えば、上述した第１のスコア）であり得る。あるいは、出力は、例えば、特定の疾患のレベルを示すスコアであり得る。

【0116】

推定手段１２３’は、例えば、第２の学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。第２の学習済モデルは、学習用骨格特徴と、学習用骨格特徴が取得された対象の少なくとも１つの疾患に関する状態との関係を学習したモデルである。

【0117】

第２の学習済モデルは、任意のタイプの機械学習モデルであり得る。機械学習モデルは、例えば、ニューラルネットワークであり得、より具体的には、畳み込みニューラルネットワークであり得る。さらに具体的には、利用される機械学習モデルの例として、Ｓｐａｔｉａｌ Ｔｅｍｐｏｒａｌ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ（ＳＴ－ＧＣＮ）、ＭＳ－Ｇ３Ｄ（https://arxiv.org/pdf/2003.14111.pdf）等が挙げられるが、これに限定されない。

【0118】

一例において、第２の学習済モデルは、後述するプロセッサ部１４０’によってまたは図７Ｂに示される処理７１０によって作成されるモデルであり得る。

【0119】

例えば、第２の学習済モデルは、学習用骨格特徴と、学習用骨格特徴が取得された対象の少なくとも１つの疾患に関する状態との関係を学習しているので、抽出手段１２２によって抽出された骨格特徴を学習済モデルに入力すると、学習済モデルは、骨格特徴が抽出された被験者の少なくとも１つの疾患に関する状態を出力することができる。出力は、例えば、特定の疾患があることを示すスコアおよびその特定の疾患がないことを示すスコアのうちの一方または両方（例えば、上述した第２のスコア）であり得る。あるいは、出力は、例えば、特定の疾患のレベルを示すスコアであり得る。

【0120】

なお、上述した例では、シルエット画像と骨格特徴とを独立して用いて被験者の少なくとも１つの疾患に関する状態を推定することを説明したが、本開示はこれに限定されない、シルエット画像と骨格特徴とを相互に関連させて処理することにより、被験者の少なくとも１つの疾患に関する状態を推定することも本開示の範囲内である。

【0121】

一例において、学習用シルエット画像と、学習用骨格特徴と、学習用シルエット画像に写り、かつ学習用骨格特徴が抽出された対象の少なくとも１つの疾患に関する状態との関係を学習した学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。例えば、このような学習済モデルに被験者のシルエット画像と骨格特徴とを入力すると、被験者の少なくとも１つの疾患に関する状態が推定されて出力され得る。

【0122】

別の例において、被験者のシルエット画像に対して、その被験者の骨格特徴または骨格特徴から取得されるスコアに基づいた前処理を行ったうえで、前処理されたシルエット画像を学習済モデルに入力するようにしてもよい。前処理は、任意の処理であり得る。

【0123】

別の例において、被験者の骨格特徴に対して、その被験者のシルエット画像またはシルエット画像から取得されるスコアに基づいた前処理を行ったうえで、前処理されたシルエット画像を学習済モデルに入力するようにしてもよい。前処理は、任意の処理であり得る。

【0124】

推定手段１２３’は同様の処理により、被験者の健康に関する状態を推定することができる。上述した疾患に関する状態は、健康に関する状態の一例である。健康に関する状態は、例えば、全身の健康に関する状態、特定の部位に関する状態（例えば、下肢の状態、上肢の状態、内臓の状態）、特定の機能に関する状態（例えば、歩行機能の状態、呼吸機能の状態）を含み得る。健康に関する状態は、良い悪いの２値で表されるようにしてもよいし、レベルまたは健康度等の程度で表されるようにしてもよい。健康に関する状態は、典型的には、歩行年齢として表され得る歩行能力であり得る。

【0125】

推定手段１２３’によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。

【0126】

図３Ｃは、別の実施形態におけるプロセッサ部１２０’’の構成の一例を示す。

【0127】

プロセッサ部１２０’’は、分析手段１２５と、修正手段１２６とを備える点を除いて、プロセッサ部１２０と同様の構成を有し得る。図３Ｃでは、図３Ａを参照して上述した構成要素と同様の構成を有する構成要素には同じ参照番号を付し、ここでは詳細な説明を省略する。なお、プロセッサ部１２０’’プロセッサ部１２０’’は、分析手段１２５と、修正手段１２６とを備える点を除いて、プロセッサ部１２０’と同様の構成を有するようにしてもよい。

【0128】

プロセッサ部１２０’’は、受信手段１２１と、生成手段１２２と、推定手段１２３と、分析手段１２５と、修正手段１２６とを備える。

【0129】

受信手段１２１は、被験者が歩行している様子を撮影した複数の画像を受信するように構成されている。受信手段１２１が受信した複数の画像は、生成手段１２２と抽出手段１２４とに提供される。

【0130】

生成手段１２２は、被験者が写った画像から被験者のシルエット画像を生成するように構成されている。生成手段１２２によって生成されたシルエット画像は、推定手段１２３’に提供される。

【0131】

推定手段１２３は、少なくとも１つのシルエット画像に基づいて、被験者の少なくとも１つの疾患に関する状態を推定するように構成されている。推定手段１２３による推定結果は、分析手段１２５に渡されることができる。

【0132】

分析手段１２５は、推定手段１２３による推定の結果を分析するように構成されている。例えば、分析手段１２５は、推定手段１２３が、生成手段１２２によって生成されたシルエット画像中のどの領域に注目して推定を行ったかの判断根拠を特定することができる。すなわち、推定手段１２３による推定の結果に相対的に大きく寄与する関心領域を特定することができる。

【0133】

分析手段１２５は、当該技術分野で公知の手法を用いて、推定の判断根拠を特定することができる。分析手段１２５は、例えば、Ｇｒａｄ－ＣＡＭ、Ｇｒａｄ－ＣＡＭ＋＋、Ｓｃｏｒｅ－ＣＡＭ等のアルゴリズムを用いて、推定の判断根拠を特定することができる。分析手段１２５は、好ましくは、Ｓｃｏｒｅ－ＣＡＭを用いて、推定の判断根拠を特定することができる。Ｓｃｏｒｅ－ＣＡＭでは、推定に用いられた画像において、どの領域に注目して推定がなされたかを可視化することができるアルゴリズムであり、これにより、推定の結果に相対的に大きく寄与する関心領域を可視的に特定することができる。Ｓｃｏｒｅ－ＣＡＭでは、例えば、推定における注目度の違いがヒートマップで出力される。

【0134】

分析手段１２５によって特定された判断根拠に基づいて、注目度が高い領域（関心領域）が推定により寄与するように、および／または、注目度が低い領域が推定にあまり寄与しないように、推定手段１２３のアルゴリズムを修正することにより、推定手段１２３の推定の精度を高めることができる可能性がある。また、通常医師が行っている診断では注目していない部位に注目することができる可能性があり、推定精度の向上が期待できる。

【0135】

修正手段１２６は、分析手段１２５によって特定された判断根拠に基づいて、推定手段１２３のアルゴリズムを修正するように構成されている。例えば、修正手段１２６は、注目度が高い領域（関心領域）が推定により寄与するように、および／または、注目度が低い領域が推定にあまり寄与しないように、推定手段１２３のアルゴリズムを修正することができる。例えば、推定手段１２３が学習済モデルを利用する場合、修正手段１２６は、関心領域が推定により寄与するように、学習済モデルを修正することができる。例えば、修正手段１２６は、学習済モデルの構造を修正する、または、学習済モデルの重み付けを修正する等によって学習済モデルを修正することができる。例えば、推定手段１２３がルールベースの推定を行う場合、修正手段１２６は、関心領域が推定により寄与するように、ルールを修正することができる。

【0136】

例えば、プロセッサ部１２０’’がプロセッサ部１２０’と同様の構成を有する場合、分析手段１２５は、推定手段１２３が、抽出手段によって抽出された中のどの部位に注目して推定を行ったかの判断根拠を特定することができる。すなわち、推定手段１２３による推定の結果に相対的に大きく寄与する関心部位（関節可動域）を特定することができる。

【0137】

図５Ｂは、分析手段１２５によって特定された判断根拠の一例を示す。推定における注目度がヒートマップで示されている。図５Ｂに示されるヒートマップでは、平均シルエット画像の輪郭がヒートマップ上に重ねて示されている。

【0138】

例えば、健常者のシルエット画像に基づいて、推定手段１２３が少なくとも１つの疾患に関する状態を推定した場合の結果を分析手段１２５が分析すると、図５Ｂ（ａ）に示されるようなヒートマップが得られ得る。このヒートマップから、推定手段１２３が健常者のシルエット画像に基づいて推定を行う場合、脚や上半身を中心に、全体をぼんやり注目していることが分かる。

【0139】

例えば、頸椎疾患を有する被験者のシルエット画像に基づいて、推定手段１２３が少なくとも１つの疾患に関する状態を推定した場合の結果を分析手段１２５が分析すると、図５Ｂ（ｂ）に示されるようなヒートマップが得られ得る。このヒートマップから、推定手段１２３が頸椎疾患を有する被験者のシルエット画像に基づいて推定を行う場合、下半身に重点的に注目し、手にも注目していることが分かる。

【0140】

例えば、腰椎疾患を有する被験者のシルエット画像に基づいて、推定手段１２３が少なくとも１つの疾患に関する状態を推定した場合の結果を分析手段１２５が分析すると、図５Ｂ（ｃ）に示されるようなヒートマップが得られ得る。このヒートマップから、推定手段１２３が腰椎疾患を有する被験者のシルエット画像に基づいて推定を行う場合、下半身から背中に重点的に注目していることが分かる。

【0141】

これらの結果に基づいて、推定手段１２３のアルゴリズムを修正することで、推定手段１２３の精度の向上が期待できる。例えば、頸椎疾患の有無を推定する場合、下半身に重点的に注目し、手にも注目するように、アルゴリズムを修正することで、推定手段１２３の精度の向上が期待できる。例えば、頸椎疾患の有無を推定する場合、下半身から背中に注目するように、アルゴリズムを修正することで、推定手段１２３の精度の向上が期待できる。

【0142】

推定手段１２３は、修正されたアルゴリズムを用いて、推定を行うことができる。推定手段１２３によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。

【0143】

コンピュータシステム１００は、上述したプロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１２０’’に加えて、またはプロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１２０’’に代えて、プロセッサ部１４０またはプロセッサ部１４０’を備えることができる。プロセッサ部１４０またはプロセッサ部１４０’は、上述した推定手段１２３または推定手段１２３’において利用される学習済モデルを作成するための処理を行うことができる。コンピュータシステム１００が上述したプロセッサ部１２０またはプロセッサ部１２０’に加えてプロセッサ部１４０またはプロセッサ部１４０’を備える場合には、プロセッサ部１４０またはプロセッサ部１４０’は、プロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１２０’’と同じ構成要素として実装されてもよいし、別の構成要素として実装されてもよい。

【0144】

図３Ｄは、一実施形態におけるプロセッサ部１４０の構成の一例を示す。

【0145】

プロセッサ部１４０は、受信手段１４１と、生成手段１４２と、学習手段１４３とを備える。

【0146】

受信手段１４１は、複数の対象のうちの各対象について、その対象が歩行する様子を撮影した複数の画像を受信するように構成されている。受信手段１４１は、コンピュータシステム１００の外部からインターフェース部１１０を介して複数の画像を受信することができる。複数の対象のうちの各対象についての複数の画像は、例えば、各対象の端末装置からコンピュータシステム１００に送信されたものであってもよいし、データベース部２００に格納されたものであって、データベース部２００からコンピュータシステム１００に送信されたものであってもよい。

【0147】

複数の画像は、例えば、静止画を連写することによって撮影された複数の画像であってもよいし、動画を構成する複数のフレームであってもよい。複数の画像は、任意のフレームレートを有し得るが、フレームレートは、好ましくは、２０ｆｐｓ～６０ｆｐｓ、より好ましくは、３０ｆｐｓであり得る。

【0148】

受信手段１４１はさらに、複数の対象のうちの各対象について、少なくとも１つの疾患に関する状態を示す情報を受信することができる。

【0149】

受信手段１４１が受信した複数の画像は、生成手段１４２に提供される。受信手段１４１が受信した少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３に提供される。

【0150】

生成手段１４２は、対象が写った画像から対象のシルエット画像を生成するように構成されている。生成手段１２２と同一の構成を有し、同一の処理を行うことができる。ここでは、説明を省略する。

【0151】

生成手段１４２によって生成されたシルエット画像は、学習手段１４３に提供される。

【0152】

学習手段１４３は、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させるように構成されている。出力用教師データは、疾患の有無を示す値、または、疾患の程度を示すスコアであり得る。疾患の有無を示す値は、例えば、１次元の値（例えば、疾患無しを意味する０、疾患有りを意味する１）であってもよいし、２次元の値（例えば、疾患無しを意味する（１，０）、疾患有りを意味する（０，１）、第１の疾患有りかつ第２の疾患有りを意味する（１，１）、第１の疾患無しかつ第２の疾患無しを意味する（０，０）等）であってもよいし、３次元以上の値であってもよい。

【0153】

一例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の有無を示す値）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の有無を示す値を出力することができる。

【0154】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の程度を示すスコアを出力することができる。

【0155】

このようにして作成された学習済モデルは、プロセッサ部１２０またはプロセッサ部１２０’で利用され得る。また、このようにして作成された学習済モデルのパラメータは、データベース部２００または他の記憶媒体に格納されることができる。

【0156】

図３Ｅは、別の実施形態におけるプロセッサ部１４０’の構成の一例を示す。

【0157】

プロセッサ部１４０’は、抽出手段１４４を備える点を除いて、プロセッサ部１４０と同様の構成を有し得る。図３Ｅでは、図３Ｄを参照して上述した構成要素と同様の構成を有する構成要素には同じ参照番号を付し、個々では詳細な説明を省略する。

【0158】

プロセッサ部１４０’は、受信手段１４１と、生成手段１４２と、学習手段１４３’と、抽出手段１４４とを備える。

【0159】

受信手段１４１は、複数の対象のうちの各対象について、その対象が歩行する様子を撮影した複数の画像を受信するように構成されている。また、受信手段１４１はさらに、複数の対象のうちの各対象について、少なくとも１つの疾患に関する状態を示す情報を受信することができる。受信手段１４１が受信した複数の画像は、生成手段１４２と抽出手段１４４とに提供される。少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３’に提供される。

【0160】

生成手段１４２は、対象が写った画像から対象のシルエット画像を生成するように構成されている。生成手段１４２によって生成されたシルエット画像は、学習手段１４３’に提供される。

【0161】

抽出手段１４４は、対象が写った複数の画像から、対象の骨格特徴を抽出するように構成されている。抽出手段１４４は、抽出手段１２４と同一の構成を有し、同一の処理を行うことができる。ここでは、説明を省略する。抽出手段１４４によって抽出された骨格特徴は、学習手段１４３’に提供される。

【0162】

学習手段１４３は、対象の少なくとも１つのシルエット画像および骨格特徴を機械学習モデルに学習させるように構成されている。例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第１の機械学習モデルに学習させ、対象の骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第２の機械学習モデルに学習させるようにすることができる。あるいは、例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像および骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることができる。

【0163】

出力用教師データは、疾患の有無を示す値、または、疾患の程度を示すスコアであり得る。疾患の有無を示す値は、例えば、１次元の値（例えば、疾患無しを意味する０、疾患有りを意味する１）であってもよいし、２次元の値（例えば、疾患無しを意味する（１，０）、疾患有りを意味する（０，１）、第１の疾患有りかつ第２の疾患有りを意味する（１，１）、第１の疾患無しかつ第２の疾患無しを意味する（０，０）等）であってもよいし、３次元以上の値であってもよい。

【0164】

例えば、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第１の機械学習モデルに学習させる場合、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の有無を示す値）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた第１の学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の有無を示す値を出力することができる。

【0165】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた第１の学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の程度を示すスコアを出力することができる。

【0166】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，（第１の対象の第１の疾患の有無を示す値，第１の対象の第２の疾患の有無を示す値，・・・第１の対象の第ｍの疾患の有無を示す値））、（第２の対象の少なくとも１つのシルエット画像，（第２の対象の第１の疾患の有無を示す値，第２の対象の第２の疾患の有無を示す値，・・・第２の対象の第ｍの疾患の有無を示す値））、・・・（第ｎの対象の少なくとも１つのシルエット画像，（第ｎの対象の第１の疾患の有無を示す値，第ｎの対象の第２の疾患の有無を示す値，・・・第ｎの対象の第ｍの疾患の有無を示す値））であり得る。このような組を用いて学習させた第１の学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の第１の疾患の有無を示す値、第２の疾患の有無を示す値、・・・第ｍの疾患の有無を示す値のそれぞれを出力することができる。これにより、被験者が、複数の疾患のうちのどの疾患を有しているかを推定することができる。これは、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかの判別に役立ち得、例えば、被験者が有し得る疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することに役立ち、例えば、被験者が最初に受診すべき診療科の判断に役立ち得る。

【0167】

例えば、対象の骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第２の機械学習モデルに学習させる場合、入力用教師データと出力用教師データとの組は、（第１の対象の骨格特徴，第１の対象の特定の疾患の有無を示す値）、（第２の対象の骨格特徴，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の骨格特徴，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた第２の学習済モデルは、骨格特徴を入力されると、その骨格特徴が取得された被験者の特定の疾患の有無を示す値を出力することができる。

【0168】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の骨格特徴，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の骨格特徴，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の骨格特徴，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた第２の学習済モデルは、骨格特徴を入力されると、その骨格特徴が取得された被験者の特定の疾患の程度を示すスコアを出力することができる。

【0169】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の骨格特徴，（第１の対象の第１の疾患の有無を示す値，第１の対象の第２の疾患の有無を示す値，・・・第１の対象の第ｍの疾患の有無を示す値））、（第２の対象の骨格特徴，（第２の対象の第１の疾患の有無を示す値，第２の対象の第２の疾患の有無を示す値，・・・第２の対象の第ｍの疾患の有無を示す値））、・・・（第ｎの対象の骨格特徴，（第ｎの対象の第１の疾患の有無を示す値，第ｎの対象の第２の疾患の有無を示す値，・・・第ｎの対象の第ｍの疾患の有無を示す値））であり得る。このような組を用いて学習させた第２の学習済モデルは、骨格特徴を入力されると、その骨格特徴が取得された被験者の第１の疾患の有無を示す値、第２の疾患の有無を示す値、・・・第ｍの疾患の有無を示す値のそれぞれを出力することができる。これにより、被験者が、複数の疾患のうちのどの疾患を有しているかを推定することができる。これは、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかの判別に役立ち得、例えば、被験者が有し得る疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することに役立ち、例えば、被験者が最初に受診すべき診療科の判断に役立ち得る。

【0170】

例えば、対象の少なくとも１つのシルエット画像および骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させる場合、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像および骨格特徴，第１の対象の特定の疾患の有無を示す値）、（第２の対象の少なくとも１つのシルエット画像および骨格特徴，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の少なくとも１つのシルエット画像および骨格特徴，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像および骨格特徴を入力されると、そのシルエット画像に写り、かつその骨格特徴が取得された被験者の特定の疾患の有無を示す値を出力することができる。

【0171】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像および骨格特徴，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の少なくとも１つのシルエット画像および骨格特徴，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の少なくとも１つのシルエット画像および骨格特徴，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像および骨格特徴を入力されると、そのシルエット画像に写り、かつその骨格特徴が取得された被験者の特定の疾患の程度を示すスコアを出力することができる。

【0172】

別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像および骨格特徴，（第１の対象の第１の疾患の有無を示す値，第１の対象の第２の疾患の有無を示す値，・・・第１の対象の第ｍの疾患の有無を示す値））、（第２の対象の少なくとも１つのシルエット画像および骨格特徴，（第２の対象の第１の疾患の有無を示す値，第２の対象の第２の疾患の有無を示す値，・・・第２の対象の第ｍの疾患の有無を示す値））、・・・（第ｎの対象の少なくとも１つのシルエット画像および骨格特徴，（第ｎの対象の第１の疾患の有無を示す値，第ｎの対象の第２の疾患の有無を示す値，・・・第ｎの対象の第ｍの疾患の有無を示す値））であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像および骨格特徴を入力されると、そのシルエット画像に写り、かつその骨格特徴が取得された被験者の第１の疾患の有無を示す値、第２の疾患の有無を示す値、・・・第ｍの疾患の有無を示す値のそれぞれを出力することができる。これにより、被験者が、複数の疾患のうちのどの疾患を有しているかを推定することができる。これは、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかの判別に役立ち得、例えば、被験者が有し得る疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することに役立ち、例えば、被験者が最初に受診すべき診療科の判断に役立ち得る。

【0173】

このようにして作成された学習済モデルは、プロセッサ部１２０’で利用され得る。また、このようにして作成された学習済モデルのパラメータは、データベース部２００に格納されることができる。

【0174】

なお、上述したコンピュータシステム１００の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。本発明のコンピュータシステム１００は、特定のハードウェア構成には限定されない。プロセッサ部１２０、１２０’、１４０、１４０’をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。本発明のコンピュータシステム１００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

【0175】

３．被験者の状態を推定するためのコンピュータシステムによる処理
図６Ａは、被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理６００）を示すフローチャートである。処理６００は、コンピュータシステム１００のプロセッサ部１２０によって実行される。処理６００は、被験者が歩行する様子を撮影した複数の画像から生成されたシルエット画像に基づいて、被験者の状態を推定するための処理である。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。本明細書において、疾患に関する状態は、対象が実際に疾患に罹患していない場合の状態も含み（「未病」ともいう。）、１つの実施例では疾患に関する状態は、対象が実際に疾患に罹患している状態のみを含んでいてもよい。したがって、健康に関する状態は、疾患に関する状態および疾患に関する状態以外の状態を含み、そのいずれかまたは両方を含んでいてもよい。

【0176】

ステップＳ６０１では、プロセッサ部１２０の受信手段１２１が、被験者が歩行している様子を撮影した複数の画像を受信する。受信手段１２１が受信した複数の画像は、生成手段１２２に提供される

【0177】

ステップＳ６０２では、プロセッサ部１２０の生成手段１２２が、ステップＳ６０１で受信された複数の画像から、被験者の少なくとも１つのシルエット画像を生成する。生成手段１２２は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。生成手段１２２は、複数の画像から複数のシルエット画像を生成することができ、好ましくは、複数の画像から１つのシルエット画像を生成することができる。

【0178】

生成手段１２２は、例えば、複数の画像から複数のシルエット領域を抽出し、抽出された複数のシルエット領域を正規化し、正規化された複数のシルエット領域を平均することによって、少なくとも１つのシルエット画像を生成することができる。複数のシルエット画像を平均することによって、利用されるシルエット画像の情報量を有意に損なうことなく、データ量を削減することができる。

【0179】

ステップＳ６０３では、プロセッサ部１２０の推定手段１２３が、ステップＳ６０２で生成された少なくとも１つのシルエット画像に基づいて、被験者の疾患に関する状態を推定する。推定手段１２３は、例えば、学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。学習済モデルは、プロセッサ部１４０によって、または図７Ａに示される処理７００によって作成されるモデルであり得る。

【0180】

処理６００によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。このとき、例えば、被験者の状態に応じた治療または介入を被験者に提供するようにしてもよいし、被験者の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。このとき、例えば、被験者の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。

【0181】

（コンパニオン医療）
本開示は、ある局面で、被験者の健康状態、障害または疾患の状態を推定することによって、その被験者の健康状態、障害または疾患を治療、予防、または改善する方法等を提供する。この局面の一つでは、本開示は、被験者の健康状態、障害または疾患を治療、予防、または改善する方法を提供し、この方法は（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと、（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、を含む。

【0182】

このような予防、または改善のための方法は、クリニックなどの既存の医療施設でなされてもよく、在宅医療で実現されてもよく、遠隔医療でおこなわれてもよいし、未病状態の場合は、例えばスポーツジム、ショッピングセンターなどでなされてもよく、スマートフォンアプリなどの携帯端末やウェアラブルデバイスに実装されてもよい。

【0183】

本明細書において、治療、介入、予防、または改善のための方法は、例えば、以下のうちの少なくとも１つを含むことができる。
・保存的治療
・投薬医療
・患者教育および生活指導：例えば、運動を含んだ自己管理プログラムの指導、食事指導、運動指導、講義または討議形式での患者教育、運動教室、膝日記（運動の有無、痛みの程度）、生活指導
・減量療法
・運動療法：例えば、筋力増強運動（等速性筋力増強運動、静的ストレッチ＋等速性運動、固有受容器神経筋促通（ＰＮＦ）ストレッチ＋等速性運動）、有酸素運動、ストレチングおよび関節可動域運動、協調性運動（足部巧緻動作向上トレーニング、バランス運動、スリングサスペンションを用いた運動感覚トレーニング、コンピュータを使用した足部巧緻動作向上トレーニング（ｔａｒｇｅｔ－ｍａｔｃｈｉｎｇ ｆｏｏｔ－ｓｔｅｐｐｉｎｇ ｅｘｅｒｃｉｓｅ））、振動刺激療法（ｖｉｂｒａｔｉｏｎ ｅｘｅｒｃｉｓｅ）
・徒手療法（Ｍａｃｑｕａｉｒｅ ｉｎｊｕｒｙ ｍａｎａｇｅｍｅｎｔ ｇｒｏｕｐ ｋｎｅｅ ｐｒｏｔｏｃｏｌ）
・足底挿板療法
・装具療法
・テーピング：例えば、疼痛に関するテーピング、機能障害に関するテーピング
・物理療法：例えば、超音波療法（ｕｌｔｒａｓｏｕｎｄ）、温泉療法（ｓｐａ ｔｈｅｒａｐｙ）、ＴＥＮＳ 療法（ｔｒａｎｓｃｕｔａｎｅｏｕｓ ｅｌｅｃｔｒｉｃａｌ ｎｅｒｖｅ ｓｔｉｍｕｌａｔｉｏｎ： ＴＥＮＳ）、ｆｕｎｃｔｉｏｎａｌ ｅｌｅｃｔｏｒｉｃａｌ ｓｔｉｍｕｌａｔｉｏｎ（ＦＥＳ）、水治療法（ｈｙｄｒｏｔｈｅｒａｐｙ）、ホットパック（ｈｏｔ ｐａｃｋ）、磁気刺激療法（ｂｉｏｍａｇｎｅｔｉｃ ｔｈｅｒａｐｙ）、ジアテルミー（ｓｈｏｒｔｗａｖｅ ｄｉａｔｈｅｒｍｙ）、干渉波治療（ｉｎｔｅｒｆｅｒｅｎｔｉａｌ ｃｕｒｒｅｎｔ ｔｈｅｒａｐｙ）、電気刺激療法（ｐｕｌｓｅｄ ｅｌｅｃｔｒｉｃａｌ ｓｔｉｍｕｌａｔｏｒ）、非侵襲的神経電気刺激療法（ｎｏｎｉｎｖａｓｉｖｅ ｉｎｔｅｒａｃｔｉｖｅ ｎｅｕｒｏｓｔｉｍｕｌａｔｉｏｎ）、骨膜刺激療法（ｐｅｒｉｏｓｔｅａｌ ｓｔｉｍｕｌａｔｉｏｎ ｔｈｅｒａｐｙ）、レーザー治療、物理療法の複合使用と運動療法との併用
・観血的治療後の理学療法介入
・人工膝関節置換術（ｔｏｔａｌ ｋｎｅｅ ａｒｔｈｒｏｐｌａｓｔｙ：ＴＫＡ）：例えば、ｃｏｎｔｉｎｕｅ ｐａｓｓｉｖｅ ｍｏｖｅｍｅｎｔ（ＣＰＭ）装置、関節可動域運動およびスライダーボード運動、漸増的筋力増強運動、機能的運動療法およびバランス運動、振動刺激による運動療法、経皮的電気刺激による筋活動向上、術前の理学療法および患者教育、術前の理学療法と患者教育
・高位脛骨骨切り術（ｈｉｇｈ ｔｉｂｉａｌ ｏｓｔｅｏｔｏｍｙ：ＨＴＯ）、片側単顆人工膝関節置換術（ｕｎｉｃｏｍｐａｒｔｍｅｎｔａｌ ｋｎｅｅ ａｒｔｈｒｏｐｌａｓｔｙ：ＵＫＡ）

【0184】

処理６００は、プロセッサ部１２０’’によって実行されてもよく、この場合、処理６００によって推定された結果は、分析手段１２５によって分析されるために用いられる。その分析に基づいて、修正手段１２６によって、推定手段１２３のアルゴリズムが修正されることができる。処理６００は、修正されたアルゴリズムを用いて繰り返されることができる。

【0185】

図６Ｂは、被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理６１０）を示すフローチャートである。処理６１０は、コンピュータシステム１００のプロセッサ部１２０’によって実行される。処理６１０は、被験者が歩行する様子を撮影した複数の画像から生成されたシルエット画像と、複数の画像から抽出された骨格特徴とに基づいて、被験者の状態を推定するための処理である。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。

【0186】

ステップＳ６１１では、プロセッサ部１２０’の受信手段１２１が、被験者が歩行している様子を撮影した複数の画像を受信する。ステップＳ６１１は、ステップＳ６０１と同様である。受信手段１２１が受信した複数の画像は、生成手段１２２に提供される

【0187】

ステップＳ６１２では、プロセッサ部１２０’の生成手段１２２が、ステップＳ６１１で受信された複数の画像から、被験者の少なくとも１つのシルエット画像を生成する。ステップＳ６１２は、ステップＳ６０２と同様である。

【0188】

ステップＳ６１３では、プロセッサ部１２０’の抽出手段１２４が、テップＳ６１１で受信された複数の画像から、被験者の骨格特徴を抽出する。抽出手段１２４は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。抽出手段１２４は、複数の画像のそれぞれから骨格特徴を抽出することにより、骨格特徴の時系列データを生成することができる。

【0189】

ステップＳ６１４では、プロセッサ部１２０’の推定手段１２３’が、ステップＳ６１２で生成された少なくとも１つのシルエット画像と、ステップＳ６１３で抽出された骨格特徴とに基づいて、被験者の疾患に関する状態を推定する。推定手段１２３’は、例えば、学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。学習済モデルは、プロセッサ部１４０またはプロセッサ部１４０’によって、または図７Ａまたは図７Ｂに示される処理７１０によって作成されるモデルであり得る。

【0190】

例えば、推定手段１２３’は、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果と、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果とに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。推定手段１２３’は、例えば、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を示す第１のスコアを取得し、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を示す第２のスコアを取得し、第１のスコアと第２のスコアとに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。例えば、第１のスコアが特定の疾患の有無のそれぞれを示し、第２のスコアがその特定の疾患の有無のそれぞれを示す場合、推定手段１２３’は、特定の疾患が有ることを示す第１のスコアと特定の疾患が有ることを示す第２のスコアとの加算値と、特定の疾患が無いことを示す第２のスコアと特定の疾患が無いことを示す第２のスコアとの加算値とを比較することにより、特定の疾患が有るか特定の疾患が無いかを決定することができる。第１のスコアおよび／または第２のスコアは、ｓｏｆｔｍａｘ関数等の所定の関数を適用することによって、０～１の範囲内の値に変換したうえで加算されるようにしてもよい。推定手段１２３’から出力されるスコアは、例えば、既存の疾患指標と相関に基づいて、既存の疾患指標に変換されることができる。例えば、推定手段１２３’から出力されるスコアは、頚椎ＪＯＡスコアに変換されることができる。

【0191】

処理６１０によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。このとき、処理６００と同様に、例えば、被験者の状態に応じた治療または介入を被験者に提供するようにしてもよいし、被験者の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。このとき、処理６００と同様に、例えば、被験者の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。

【0192】

処理７００は、プロセッサ部１２０’’によって実行されてもよく、この場合、処理７００によって推定された結果は、分析手段１２５によって分析されるために用いられる。その分析に基づいて、修正手段１２６によって、推定手段１２３のアルゴリズムが修正されることができる。処理７００は、修正されたアルゴリズムを用いて繰り返されることができる。

【0193】

図７Ａは、被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理７００）を示すフローチャートである。処理７００は、コンピュータシステム１００のプロセッサ部１４０によって実行される。処理７００は、被験者の状態を推定するためのモデルを作成するための処理である。処理７００は、複数の対象のうちの各対象について実行されることができる。すなわち、処理７００が１度実行されることにより、１つの対象について学習が行われることになる。処理７００を複数の対象について実行することにより、複数の対象について学習が行われ得る。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、少なくとも１つの疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。

【0194】

ステップＳ７０１では、プロセッサ部１４０の受信手段１４１が、対象が歩行している様子を撮影した複数の画像を受信する。受信手段１４１が受信した複数の画像は、生成手段１４２に提供される。受信手段１４１は、さらに、対象の少なくとも１つの疾患に関する状態を示す情報を受信する。受信手段１４１が受信した少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３に提供される。

【0195】

ステップＳ７０２では、プロセッサ部１４０の生成手段１４２が、ステップＳ７０１で受信された複数の画像から、対象の少なくとも１つのシルエット画像を生成する。生成手段１４２は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。生成手段１４２は、複数の画像から複数のシルエット画像を生成することができ、好ましくは、複数の画像から１つのシルエット画像を生成することができる。

【0196】

生成手段１４２は、例えば、複数の画像から複数のシルエット領域を抽出し、抽出された複数のシルエット領域を正規化し、正規化された複数のシルエット領域を平均することによって、少なくとも１つのシルエット画像を生成することができる。複数のシルエット画像を平均することによって、利用されるシルエット画像の情報量を有意に損なうことなく、データ量を削減することができる。

【0197】

ステップＳ７０３では、プロセッサ部１４０の学習手段１４３が、ステップＳ７０２で生成された少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させる。

【0198】

処理７００により、１つの対象について、学習が完了する。処理７００を複数の対象について実行することにより、複数の対象について学習が行われ、モデルの精度が向上し得る。

【0199】

処理７００によって作成されたモデルは、プロセッサ部１２０またはプロセッサ部１２０’で利用されることができる。また、このようにして作成された学習済モデルのパラメータは、データベース部２００または他の記憶媒体に格納されることができる。

【0200】

図７Ｂは、被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理７１０）を示すフローチャートである。処理７１０は、コンピュータシステム１００のプロセッサ部１４０’によって実行される。処理７１０は、被験者の状態を推定するためのモデルを作成するための処理である。処理７１０は、複数の対象のうちの各対象について実行されることができる。すなわち、処理７１０が１度実行されることにより、１つの対象について学習が行われることになる。処理７１０を複数の対象について実行することにより、複数の対象について学習が行われ得る。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、少なくとも１つの疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。本明細書において、疾患に関する状態は、対象が実際に疾患に罹患していない場合の状態も含み（「未病」ともいう。）、一つの実施例では疾患に関する状態は、対象が実際に疾患に罹患している状態のみを含んでいてもよい。したがって、健康に関する状態は、疾患に関する状態および疾患に関する状態以外の状態を含み、そのいずれかまたは両方を含んでいてもよい。

【0201】

ステップＳ７１１では、プロセッサ部１４０’の受信手段１４１が、対象が歩行している様子を撮影した複数の画像を受信する。ステップＳ７１１は、ステップＳ７０１と同様である。受信手段１４１が受信した複数の画像は、生成手段１４２に提供される。受信手段１４１は、さらに、対象の少なくとも１つの疾患に関する状態を示す情報を受信する。受信手段１４１が受信した少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３’に提供される。

【0202】

ステップＳ７１２では、プロセッサ部１４０’の生成手段１４２が、ステップＳ７１１で受信された複数の画像から、対象の少なくとも１つのシルエット画像を生成する。ステップＳ７１２は、ステップＳ７０２と同様である。

【0203】

ステップＳ７１３では、プロセッサ部１４０’の抽出手段１４４が、ステップＳ７１１で受信された複数の画像から、対象の骨格特徴を抽出する。抽出手段１４４は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。抽出手段１４４は、複数の画像のそれぞれから骨格特徴を抽出することにより、骨格特徴の時系列データを生成することができる。

【0204】

ステップＳ７１４では、プロセッサ部１４０’の学習手段１４３が、ステップＳ７１２で生成された少なくとも１つのシルエット画像およびステップＳ７１３で抽出された骨格特徴、ならびに、対象の少なくとも１つの疾患に関する状態を示す情報を機械学習モデルに学習させる。例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第１の機械学習モデルに学習させ、対象の骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第２の機械学習モデルに学習させるようにすることができる。あるいは、例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像および骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることができる。

【0205】

処理７１０により、１つの対象について、学習が完了する。処理７１０を複数の対象について実行することにより、複数の対象について学習が行われ、モデルの精度が向上し得る。

【0206】

処理７１０によって作成されたモデルは、プロセッサ部１２０またはプロセッサ部１２０’で利用されることができる。また、このようにして作成された学習済モデルのパラメータは、データベース部２００または他の記憶媒体に格納されることができる。

【0207】

図６Ａ、図６Ｂ、図７Ａ、図７Ｂを参照して上述した例では、特定の順序で各ステップが実行されることを説明したが、示される順序は一例であり、各ステップが実行される順序は、これに限定されない。論理的に可能な任意の順序で各ステップが実行されることができる。例えば、ステップＳ６１２の前にステップＳ６１３を行うことができる。例えば、ステップＳ７１２の前にステップＳ６１３を行うことができる。

【0208】

図６Ａ、図６Ｂ、図７Ａ、図７Ｂを参照して上述した例では、図６Ａ、図６Ｂ、図７Ａ、図７Ｂに示される各ステップの処理は、プロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１４０またはプロセッサ部１４０’とメモリ部１３０に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図６Ａ、図６Ｂ、図７Ａ、図７Ｂに示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。

【実施例】

【0209】

（実施例１）
脊柱管狭窄症の疾患を有する被験者および脊柱管狭窄症の疾患を有しない被験者が歩行する様子を撮影した動画を用いて、学習済モデルを構築した。構築された学習済モデルを利用して、その性能を評価した。

【0210】

（使用したデータ）
脊柱管狭窄症の疾患有りの被験者４９名分、および脊柱管狭窄症の疾患無しの被験者１２名分の計６１名分のデータを使用した。脊柱管狭窄症の疾患有りの被験者４９名は、脊椎のどこかに狭窄がある状態にあり、脊柱管狭窄症の疾患有りの被験者４９名のうち、４２名がＬｕｍｂａｒ Ｐａｔｈｏｌｏｇｙ（腰椎疾患）を有しており、７名がＣｅｒｖｉｃａｌ Ｐａｔｈｏｌｏｇｙ（頸椎疾患）を有していた。
ここで、Ｌｕｍｂａｒ ｐａｔｈｏｌｏｇｙは脊柱管のうち腰（腰椎）が狭くなっていて、その結果歩行障害が起きている状態のことであり、ＬＣＳと同義である。Ｃｅｒｖｉｃａｌ ｐａｔｈｏｌｏｇｙは、脊柱管のうち頸部（頚椎）が狭くなって歩行障害が起きている状態のことであり、ＣＳＭと同義である。

【0211】

４９名の被験者に真っすぐ１０ｍ歩行してもらい、歩行している様子をカメラ（ＵＳＢ３．０カメラ ＦＬＩＲ ＢＦＬＹ－Ｕ３－１３Ｓ２カラーまたはＵＳＢ３．０カメラ ＦＬＩＲ ＣＭ３－Ｕ３－１１３Ｓ２ カラー）で撮影した。撮影した動画のうち、最初の約３ｍと最後の約３ｍを除いた中間の約４ｍを歩行する様子を撮影した動画を用いた。
動画から複数のフレームを抽出し、複数の画像として解析した。

【0212】

（使用したモデル）
骨格特徴に基づいて脊柱管狭窄症の疾患の有無を予測するために、ＭＳ－Ｇ３Ｄを利用した。
シルエット画像に基づいて脊柱管狭窄症の疾患の有無を予測するために、ＲｅｓＮｅｔ５０を利用した。

【0213】

（評価手法）
３－ｆｏｌｄ ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ
６１名（脊柱管狭窄症の疾患有り４９名＋脊柱管狭窄症の疾患無し１２名）を３グループに分け、１つのグループのデータを評価用に用い、残りの２つのグループのデータを学習用に用いた。評価するグループを変えて３回試行を行った。

【0214】

（骨格特徴に基づいて疾患の有無を予測するモデルの評価）
第１の試行において、第２のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第１のグループの被験者の骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
第２の試行において、第１のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第２のグループの被験者の骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
第３の試行において、第１のグループおよび第２のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第３のグループの被験者の骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0215】

図８Ａ（ａ）はその結果を示す。ＣＶ１は、第１の試行の結果を示し。ＣＶ２は、第２の試行の結果を示し、ＣＶ３は、第３の試行の結果を示している。Ｔｏｔａｌは、ＣＶ１～ＣＶ３の平均値を示している。

【0216】

骨格特徴に基づいて脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９７４、感度（sensitivity）０．９８１、特異度（specificity）０．８８０であった。また、偽陽性は０．０１９であり、偽陰性は、０．１２であった。ある程度高い精度で、脊柱管狭窄症の疾患の有無を予測することができていると考えられる。

【0217】

（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
第１の試行において、第２のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させ、第１のグループの被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
第２の試行において、第１のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させ、第２のグループの被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
第３の試行において、第１のグループおよび第２のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させ、第３のグループの被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0218】

図８Ａ（ｂ）はその結果を示す。ＣＶ１は、第１の試行の結果を示し。ＣＶ２は、第２の試行の結果を示し、ＣＶ３は、第３の試行の結果を示している。Ｔｏｔａｌは、ＣＶ１～ＣＶ３の平均値を示している。

【0219】

シルエット画像に基づいて脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９７５、感度（sensitivity）０．９７９、特異度（specificity）０．９２７であった。また、偽陽性は０．０２１であり、偽陰性は、０．０７３であった。シルエット画像のみから、ある程度高い精度で、脊柱管狭窄症の疾患の有無を予測することができたことは予想外であった。

【0220】

（骨格特徴に基づいて疾患の有無を予測するモデルとシルエット画像に基づいて疾患の有無を予測するモデルとの融合）
第１の試行において、第２のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第２のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させた。第１のグループの被験者のそれぞれの骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、第１のスコアを出力として得た。次いで、第１のグループの被験者の対応する被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、第２のスコアを出力として得た。第１のスコアと第２のスコアとを合算して識別結果を得た。識別結果の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
第２の試行において、第１のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第１のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させた。第２のグループの被験者のそれぞれの骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、第１のスコアを出力として得た。次いで、第２のグループの被験者の対応する被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、第２のスコアを出力として得た。第１のスコアと第２のスコアとを合算して識別結果を得た。識別結果の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
第３の試行において、第１のグループおよび第２のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第１のグループおよび第２のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させた。第３のグループの被験者のそれぞれの骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、第１のスコアを出力として得た。次いで、第３のグループの被験者の対応する被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、第２のスコアを出力として得た。第１のスコアと第２のスコアとを合算して識別結果を得た。識別結果の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0221】

図８Ａ（ｃ）はその結果を示す。ＣＶ１は、第１の試行の結果を示し。ＣＶ２は、第２の試行の結果を示し、ＣＶ３は、第３の試行の結果を示している。Ｔｏｔａｌは、ＣＶ１～ＣＶ３の平均値を示している。

【0222】

骨格特徴とシルエット画像とに基づいて脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９９５、感度（sensitivity）０．９９９、特異度（specificity）０．９４２であった。また、偽陽性は０．００１であり、偽陰性は、０．０５８であった。骨格特徴とシルエット画像とでは捉えている特徴が異なるため、相補的に統合することで精度が大幅に向上している。このように、骨格特徴とシルエット画像とから、非常に高い精度で、脊柱管狭窄症の疾患の有無を予測することができたことは予想外であった。

【0223】

（実施例２）
腰部脊柱管狭窄症の疾患を有する被験者および腰部脊柱管狭窄症の疾患を有しない被験者が歩行する様子を撮影した動画を用いて、学習済モデルを構築した。構築された学習済モデルを利用して、その性能を評価した。腰部脊柱管狭窄症は、脊柱管狭窄症のうち、腰部に狭窄がある状態のことをいう。

【0224】

（使用したデータ）
腰部脊柱管狭窄症の疾患有りの被験者４２名分、および腰部脊柱管狭窄症の疾患無しの被験者１９名分の計６１名分のデータを使用した。腰部脊柱管狭窄症の疾患無しの被験者１９名のうち７名がＣｅｒｖｉｃａｌ Ｐａｔｈｏｌｏｇｙ（頸椎疾患）を有しており、１２名は、脊柱管狭窄症を何ら有していなかった。

【0225】

（手法）
実施例１と同様の手法で歩行する様子を撮影した動画を用い、動画から複数のフレームを抽出し、複数の画像として解析した。

【0226】

実施例１と同様のモデルを用い、同様の評価手法で各モデルを評価した。

【0227】

（骨格特徴に基づいて疾患の有無を予測するモデルの評価）
実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0228】

図８Ｂの表の第２行目は、各試行の結果の平均値を示す。

【0229】

骨格特徴に基づいて腰部脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９６８、感度（sensitivity）０．９７６、特異度（specificity）０．８６９であった。また、偽陽性は０．０２４であり、偽陰性は、０．１３１であった。腰部というピンポイントの部位の疾患でさえも、ある程度高い精度で、疾患の有無を予測することができていると考えられる。

【0230】

（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0231】

図８Ｂの表の第３行目は、各試行の結果の平均値を示す。

【0232】

シルエット画像に基づいて腰部脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９６８、感度（sensitivity）０．９７６、特異度（specificity）０．８７３であった。また、偽陽性は０．０２４であり、偽陰性は、０．１２７であった。腰部というピンポイントの部位の疾患でさえも、シルエット画像のみから、ある程度高い精度で、疾患の有無を予測することができたことは予想外であった。

【0233】

（骨格特徴に基づいて疾患の有無を予測するモデルとシルエット画像に基づいて疾患の有無を予測するモデルとの融合）
実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0234】

図８Ｂの表の第４行目は、各試行の結果の平均値を示す。

【0235】

骨格特徴とシルエット画像とに基づいて腰部脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９８６、感度（sensitivity）０．９９４、特異度（specificity）０．８９５であった。また、偽陽性は０．００６であり、偽陰性は、０．１０５であった。骨格特徴とシルエット画像とでは捉えている特徴が異なるため、相補的に統合することで精度が大幅に向上している。このように、頸部の疾患を有する被験者のデータもある中で、骨格特徴とシルエット画像とから、非常に高い精度で、腰部の疾患の有無を予測することができたことは予想外であった。

【0236】

（実施例３）
頸椎脊柱管狭窄症の疾患を有する被験者および頸椎脊柱管狭窄症の疾患を有しない被験者が歩行する様子を撮影した動画を用いて、学習済モデルを構築した。構築された学習済モデルを利用して、その性能を評価した。頸椎脊柱管狭窄症は、脊柱管狭窄症のうち、頸椎に狭窄がある状態のことをいう。

【0237】

（使用したデータ）
頸椎脊柱管狭窄症の疾患有りの被験者７名分、および頸椎脊柱管狭窄症の疾患無しの被験者５４名分の計６１名分のデータを使用した。頸椎脊柱管狭窄症の疾患無しの被験者５４名の４２名がＬｕｍｂａｒ Ｐａｔｈｏｌｏｇｙ（腰椎疾患）を有しており、１２名は、脊柱管狭窄症を何ら有していなかった。

【0238】

（手法）
実施例１と同様の手法で歩行する様子を撮影した動画を用い、動画から複数のフレームを抽出し、複数の画像として解析した。

【0239】

実施例１と同様のモデルを用い、同様の評価手法で各モデルを評価した。

【0240】

（骨格特徴に基づいて疾患の有無を予測するモデルの評価）
実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0241】

図８Ｃの表の第２行目は、各試行の結果の平均値を示す。

【0242】

骨格特徴に基づいて頸椎脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．８２３、感度（sensitivity）０．７８１、特異度（specificity）０．８８８であった。また、偽陽性は０．２１９であり、偽陰性は、０．１１２であった。頸椎というピンポイントの部位の疾患でさえも、ある程度高い精度で、疾患の有無を予測することができていると考えられる。

【0243】

（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0244】

図８Ｃの表の第３行目は、各試行の結果の平均値を示す。

【0245】

シルエット画像に基づいて頸椎脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．８１８、感度（sensitivity）０．７７６、特異度（specificity）０．８８３であった。また、偽陽性は０．２２４であり、偽陰性は、０．１１７であった。頸椎というピンポイントの部位の疾患でさえも、シルエット画像のみから、ある程度高い精度で、疾患の有無を予測することができたことは予想外であった。

【0246】

（骨格特徴に基づいて疾患の有無を予測するモデルとシルエット画像に基づいて疾患の有無を予測するモデルとの融合）
実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。

【0247】

図８Ｃの表の第４行目は、各試行の結果の平均値を示す。

【0248】

骨格特徴とシルエット画像とに基づいて頸椎脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．８５４、感度（sensitivity）０．７７５、特異度（specificity）０．９７６であった。また、偽陽性は０．２２５であり、偽陰性は、０．０２４であった。骨格特徴とシルエット画像とでは捉えている特徴が異なるため、相補的に統合することで精度が大幅に向上している。このように、腰部の疾患を有する被験者のデータもある中で、骨格特徴とシルエット画像とから、ある程度高い精度で、疾患の有無を予測することができたことは予想外であった。

【0249】

（実施例４）
頸椎症脊髄症を有する患者２９人の重症度を日本整形外科学会頸椎スコア（ＪＯＡ Ｓｃｏｒｅ：１７点満点で最重症が０点）で表現し、このスコアと本開示の学習済モデルによって出力された推定スコア（「疾患指数」と呼ぶ。疾患指数は、０～１の変数であり、０．５以上であれば頸椎疾患ありと判定することができる。）の相関性について検証した。

【0250】

検証は、Ｅｘｃｅｌを用いて、近似曲線を描いて行った。

【0251】

図９は、実施例４の結果を示す。図９（ａ）は、２９人の疾患指数と、それぞれのＪＯＡ Ｓｃｏｒｅとの相関関係を示すグラフである。

【0252】

図９（ａ）に示されるように、すべてのＪＯＡ Ｓｃｏｒｅ（軽症～重症）の患者を対象とすると、疾患指数とＪＯＡ Ｓｃｏｒｅとは有意な相関が認められた。線形近似では、決定係数は、Ｒ^２＝０．３９であり、やや低かった。２次多項式近似（図示せず）では、決定係数は、Ｒ^２＝０．４５であった。

【0253】

決定係数がやや低い要因は、疾患指数が１近傍で、ＪＯＡ Ｓｃｏｒｅの分布が大きいことであると考えられる。ＪＯＡ Ｓｃｏｒｅが１２以下の患者は手術適応であり、ＪＯＡ Ｓｃｏｒｅが９以下の患者は最重症であり、多くは自覚症状が強く診断が容易であることから、本発明者は、これらのＪＯＡ Ｓｃｏｒｅの患者のＪＯＡ Ｓｃｏｒｅを推定することよりは、ＪＯＡ Ｓｃｏｒｅが１０以上患者のＪＯＡ Ｓｃｏｒｅを推定する方が有用であると考えた。なぜなら、ＪＯＡ Ｓｃｏｒｅが１０以上患者では、診断が容易ではなく、かつ、病気が進行するか回復するかをモニタリングする重要性が高いからである。

【0254】

そこで、ＪＯＡ Ｓｃｏｒｅが１０以上患者について、相関係数を検証した。図９（ｂ）は、ＪＯＡ Ｓｃｏｒｅが１０以上の患者の疾患指数と、それぞれのＪＯＡ Ｓｃｏｒｅとの相関関係を示すグラフである。

【0255】

図９（ｂ）に示されるように、ＪＯＡ Ｓｃｏｒｅが１０以上患者を対象とすると、図９（ａ）に示される結果よりも高い相関が認められた。線形近似では、決定係数は、Ｒ^２＝０．５１であり、０．５を超えた。２次多項式近似（図示せず）では、決定係数は、Ｒ^２＝０．５５であった。４次多項式近似（図示せず）では、決定係数は、Ｒ^２＝０．５７であった。

【0256】

この結果から、ＪＯＡ Ｓｃｏｒｅが１０以上患者を対象とした場合に、疾患指数とＪＯＡ Ｓｃｏｒｅとには有意に高い相関があるため、本開示のシステムによる出力から、ＪＯＡ Ｓｃｏｒｅを評価することができることが示唆された。すなわち、本開示の学習済モデルによる出力を、ＪＯＡ Ｓｃｏｒｅが１０以上患者のモニタリング指標として利用することができる可能性が見出された。

【0257】

また、軽症（ＪＯＡ Ｓｃｏｒｅが１７に近い患者）でも、ＪＯＡ Ｓｃｏｒｅと疾患指数との相関が見られたことから、軽症の患者～健康な被験者においても、疾患指数とＪＯＡ Ｓｃｏｒｅまたは他の類似するスコアとの相関が見られることが示唆された。

【0258】

（実施例５）
頚椎症性脊髄症（ＣＳＭ）の疾患を有する患者１名に対して、「ＮＥＣ歩行姿勢測定システム」（https://www.nec-solutioninnovators.co.jp/sl/walkingform/index.html）を用いて歩行年齢を測定した。測定は、ＣＳＭの疾患の治療のための手術前から手術後の４カ月にわたって経時的に行った（術前１ポイント、術後５ポイント）。

【0259】

各測定のときに撮影された動画を本発明の学習済モデルに入力し、疾患指数を出力した。そして、歩行年齢と疾患指数との関係を検証した。検証は、Ｅｘｃｅｌを用いて、近似曲線を描いて行った。

【0260】

図１０は、実施例５の結果を示す。

【0261】

図１０に示されるように、歩行年齢と疾患指数との間には高い相関が認められた。線形近似では、決定係数は、Ｒ^２＝０．７０であった。

【0262】

このことから、本開示の学習済モデルから出力される疾患指数が、歩行能力を評価する指数とも相関し得ることが分かる。また、疾患指数は、個人の歩行能力の経時的変化をモニタリングするために利用され得ることも分かる。

【0263】

歩行年齢は、成人、特に４０代以上、好ましくは５０代以上の被験者において精度がよいことが知られており、このような歩行能力の経時的なモニタリングは、成人または４０代以上または５０代以上の被験者において好ましい。

【0264】

（仮想実施例）
疾患を有する被験者および疾患を有しない被験者が歩行する様子を撮影した動画を用いて、多値画像であるシルエット画像を生成し、そのシルエット画像を利用して学習済モデルを構築する。

【0265】

（使用するデータ）
疾患有りの被験者複数名、疾患無しの被験者複数名それぞれに真っすぐ１０ｍ歩行してもらい、歩行している様子をカメラで撮影する。得られる動画のうち、最初の約３ｍと最後の約３ｍを除いた中間の約４ｍを歩行する様子を撮影した動画を用いる。
動画から複数のフレームを抽出し、複数の画像として解析する。
各被験者について、複数の画像から、複数枚の多値シルエット画像または１枚の多値シルエット画像を生成する。多値シルエット画像では、被験者の各部位が異なる画素で表されている。

【0266】

（使用するモデル）
シルエット画像に基づいて疾患の有無を予測するために、ＲｅｓＮｅｔ５０を利用する。

【0267】

（評価手法）
３－ｆｏｌｄ ｃｒｏｓｓ ｖａｌｉｄａｔｉｏｎ
疾患有りの被験者複数名、疾患無しの被験者複数名を３グループに分け、１つのグループのデータを評価用に用い、残りの２つのグループのデータを学習用に用いる。評価するグループを変えて３回試行を行う。

【0268】

（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
第１の試行において、第２のグループおよび第３のグループの被験者の多値シルエット画像をＲＥＳＮＥＴ５０に学習させ、第１のグループの被験者の多値シルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出する。
第２の試行において、第１のグループおよび第３のグループの被験者の多値シルエット画像をＲＥＳＮＥＴ５０に学習させ、第２のグループの被験者の多値シルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出する。
第３の試行において、第１のグループおよび第２のグループの被験者の多値シルエット画像をＲＥＳＮＥＴ５０に学習させ、第３のグループの被験者の多値シルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出する。

【0269】

多値シルエット画像を用いると、２値シルエット画像を用いる場合よりも、予測精度が向上することが予期される。多値シルエット画像に含まれる部位毎のシルエット特徴を用いることで、歩容に関する情報量が増える（シルエット形状に加えて、部位の情報が付加される）からである。多値シルエット画像がモデルの入力となると、入力が複雑になり、モデルの学習が困難になり得ること、および、多値シルエット画像を生成する際のエラーが悪影響を及ぼし得ることに留意すべきである。

【0270】

（実施例６）
例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、クリニックにおけるリハビリ指導に利用される。
まず、クリニックにおいて、患者に歩行を行わせ、そのときの動画を撮影する。
撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
医師またはセラピストは、この疾患指数に基づいて、リハビリメニューを決定することができる。例えば、医師またはセラピストは、そのときの疾患指数に基づいてリハビリメニューを決定してもよいし、疾患指数の変化率に基づいてリハビリメニューを決定してもよいし、疾患指数の経時的な変化に基づいてリハビリメニューを決定してもよい。医師またはセラピストは、患者にリハビリメニューを提示し、これを行わせる。
所定期間の間、患者にリハビリメニューを行わせた後、クリニックにおいて、再度歩行動画を撮影し、本開示のシステムを用いて解析する。医師またはセラピストは、このときの疾患指数に基づいて、リハビリメニューを変更または調整することができる。このようにして、現在の患者の状態に合わせたリハビリメニューを患者に提供することができる。

【0271】

（実施例７）
例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、在宅医療におけるリハビリ指導に利用される。
まず、自宅において、患者に歩行を行わせ、患者に、そのときの動画を患者の端末装置で撮影させる。このとき、撮影条件を適切に指示することが好ましい。
動画が撮影されると、撮影された動画は端末装置から医療施設に送信される。動画は、例えば、ネットワークを通じて医療施設に直接送信されてもよいし、クラウド上のストレージを介して医療施設に送信されてもよい。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
医師またはセラピストは、この疾患指数に基づいて、リハビリメニューを決定することができる。例えば、医師またはセラピストは、そのときの疾患指数に基づいてリハビリメニューを決定してもよいし、疾患指数の変化率に基づいてリハビリメニューを決定してもよいし、疾患指数の経時的な変化に基づいてリハビリメニューを決定してもよい。医師またはセラピストは、決定されたリハビリメニューを患者に提示し、これを行わせる。決定されたリハビリメニューは、例えば、ネットワークを通じて患者の端末装置に直接送信されてもよいし、クラウド上のストレージを介して患者の端末装置に送信されてもよい。
所定期間の間、患者にリハビリメニューを行わせる。患者の自宅において、患者に、再度歩行動画を撮影させる。患者は、動画撮影と共に、実施したリハビリの実施項目を自動的にまたは手動で記録する。動画が撮影されると、撮影された動画は記録ともに端末装置から医療施設に送信される。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。医師またはセラピストは、このときの疾患指数と記録とに基づいて、リハビリメニューを変更または調整することができる。このようにして、現在の患者の状態に合わせたリハビリメニューを患者に提供することができる。これは、毎日行われることにより、医師またはセラピストは、翌日のリハビリメニュー決定することができ、患者の現在の状態に合ったリハビリメニューを提供することができる。

【0272】

（実施例８）
例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、テレメディシンに利用される。
まず、医療施設から遠隔地（例えば、自宅、離島、海外）において、患者に歩行を行わせ、患者に、そのときの動画を患者の端末装置で撮影させる。このとき、撮影条件を適切に指示することが好ましい。
動画が撮影されると、撮影された動画は端末装置から医療施設に送信される。動画は、例えば、ネットワークを通じて医療施設に直接送信されてもよいし、クラウド上のストレージを介して医療施設に送信されてもよい。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
医師またはセラピストは、この疾患指数に基づいて、リハビリメニューを決定することができる。例えば、医師またはセラピストは、そのときの疾患指数に基づいてリハビリメニューを決定してもよいし、疾患指数の変化率に基づいてリハビリメニューを決定してもよいし、疾患指数の経時的な変化に基づいてリハビリメニューを決定してもよい。医師またはセラピストは、決定されたリハビリメニューを患者に提示し、これを行わせる。決定されたリハビリメニューは、例えば、ネットワークを通じて患者の端末装置に直接送信されてもよいし、クラウド上のストレージを介して患者の端末装置に送信されてもよい。
所定期間の間、患者にリハビリメニューを行わせる。患者に、再度歩行動画を撮影させる。患者は、動画撮影と共に、実施したリハビリの実施項目を自動的にまたは手動で記録する。動画が撮影されると、撮影された動画は記録ともに端末装置から医療施設に送信される。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。医師またはセラピストは、このときの疾患指数と記録とに基づいて、リハビリメニューを変更または調整することができる。このようにして、現在の患者の状態に合わせたリハビリメニューを患者に提供することができる。これは、毎日行われることにより、医師またはセラピストは、翌日のリハビリメニュー決定することができ、患者の現在の状態に合ったリハビリメニューを提供することができる。さらには、医療施設から遠隔地にある患者であっても、治療機会を逸することなく、適切な治療または指導を受けることができる。

【0273】

（実施例９）
例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、ショッピングモールにおける保健指導に利用される。
まず、ショッピングモールの特設会場において、被験者に歩行を行わせ、そのときの動画を撮影する。
撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
医師または保健師は、この疾患指数に基づいて、被験者の健康状態を決定することができる。健康状態は、例えば、歩行年齢であり得る。
医師または保健師は、決定された健康状態と、その健康状態に合わせた情報（例えば、行動変容を促す情報）を被験者に提供することができる。
このように被験者は、日常生活の中で、簡易に、自己の健康を改善するための動機を与えられ得る。

【0274】

（実施例１０）
例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、スマートフォン情報共有アプリに利用される。
まず、遠隔リハビリの現場で被験者に歩行を行わせ、そのときの動画を撮影する。動画の情報に基づき、疾患診断名や適切なリハビリの処方例、目標荷重、目標歩行歩数、目標歩行距離、理想体重などのパラメータが医師の指示により（または動画情報から自動的に）提示される。
撮影された動画を本開示のシステムに投入すると、疾患指数も出力される。
被検者は、決定された健康状態と、その健康状態に合わせた情報（例えば、行動変容を促す情報）をスマートフォンアプリにより、被験者の友人などと共有し、同じ志を持つグループ内で提示する事により、目標達成に向けた一体感を得られる。
このように被験者は、日常生活の中で、簡易に、自己の健康を改善するための動機を与えられ得る。

【0275】

本開示は、上述した実施形態に限定されるものではない。本開示は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本開示の具体的な好ましい実施形態の記載から、本開示の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

【産業上の利用可能性】

【0276】

本開示は、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムを提供するものとして有用である。

【符号の説明】

【0277】

１００ コンピュータシステム
１１０ インターフェース部
１２０、１２０’ プロセッサ部
１２１ 受信手段
１２２ 生成手段
１２３、１２３’ 推定手段
１２４ 抽出手段
１３０ メモリ部
１４０、１４０’ プロセッサ部
１４１ 受信手段
１４２ 生成手段
１４３、１４３’ 学習手段
１４４ 抽出手段
２００ データベース部
３００ 端末装置
４００ ネットワーク

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9】

【図10】