知財求人 - 知財ポータルサイト「IP Force」
▶ 日本電気株式会社の特許一覧 ▶ 国立大学法人 東京医科歯科大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024092523
(43)【公開日】2024-07-08
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
A61B 5/113 20060101AFI20240701BHJP
【ＦＩ】
A61B5/113
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022208525
(22)【出願日】2022-12-26
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(71)【出願人】
【識別番号】504179255
【氏名又は名称】国立大学法人 東京医科歯科大学
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】安川 洵
(72)【発明者】
【氏名】野寄 修平
(72)【発明者】
【氏名】二村 昭元
(72)【発明者】
【氏名】藤田 浩二
(72)【発明者】
【氏名】井原 拓哉
【テーマコード（参考）】
4C038
【Ｆターム（参考）】
4C038VA04
4C038VB28
4C038VB40
4C038VC05
(57)【要約】
【課題】被験者の呼吸運動機能の評価に必要な呼吸特徴量を算出することが可能な情報処理装置を提供する。
【解決手段】情報処理装置１は、入力部１ａ、偏差算出部１ｂ、及び特徴量算出部１ｃを備える。入力部１ａは、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、時系列の距離画像データにおける被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する。偏差算出部１ｂは、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する。特徴量算出部１ｃは、標準偏差画像を、分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、被験者の呼吸の特徴を示す呼吸特徴量を算出する。
【選択図】図１
【解決手段】情報処理装置１は、入力部１ａ、偏差算出部１ｂ、及び特徴量算出部１ｃを備える。入力部１ａは、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、時系列の距離画像データにおける被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する。偏差算出部１ｂは、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する。特徴量算出部１ｃは、標準偏差画像を、分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、被験者の呼吸の特徴を示す呼吸特徴量を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する入力部と、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する偏差算出部と、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する特徴量算出部と、
を備える、情報処理装置。
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する偏差算出部と、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する特徴量算出部と、
を備える、情報処理装置。
【請求項2】
前記特徴量算出部は、前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記特徴量算出部は、前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項4】
前記特徴量算出部は、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出する、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項5】
前記特徴量算出部は、前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項6】
前記特徴量算出部は、前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項7】
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータ、及び、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータの、少なくとも一方を含む、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項8】
前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る評価部を、さらに備える、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項9】
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理方法。
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理方法。
【請求項10】
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理を実行させるプログラム。
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
健康状態の向上及び維持のためには、正しい呼吸法で呼吸を行うことが望ましい。そして、正しい呼吸法で呼吸を行っているかを確かめるために、胸部及び腹部の動きを検出することが行われている。
【0003】
これに関連し、特許文献１には、呼吸補助筋領域検出装置、動画像処理装置、及び呼吸動作判定装置を備えた呼吸状態検出装置が開示されている。上記の呼吸補助筋領域検出装置は、人の頸部を含む動画像から呼吸補助筋が存在する呼吸補助筋存在領域を抽出する。上記の動画像処理装置は、呼吸補助筋存在領域中の形状的特徴を抽出する。上記の呼吸動作判定装置は、形状的特徴の時系列的変動から呼吸補助筋の動員を判断する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２０／２２６１８２号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の技術では、頸部及び肩周囲の呼吸補助筋の動員について判断できるが、他の部位の運動については把握できるものではなく、運動器障害で重要視される胸腹部の運動の特徴を把握できるものではない。よって、特許文献１に記載の技術では、呼吸運動機能の評価に必要な特徴量を算出することができない。
【0006】
本開示の目的は、上記の課題を解決するためになされたもので、被験者の呼吸運動機能の評価に必要な呼吸特徴量を算出することが可能な情報処理装置、情報処理方法、及びプログラム等を提供することにある。
【課題を解決するための手段】
【0007】
本開示に係る情報処理装置は、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する入力部と、前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する偏差算出部と、前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する特徴量算出部と、を備えるものである。
【0008】
本開示に係る情報処理方法は、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、ものである。
【0009】
本開示に係るプログラムは、コンピュータに、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、情報処理を実行させるプログラムである。
【発明の効果】
【0010】
本開示によれば、被験者の呼吸運動機能の評価に必要な呼吸特徴量を算出することが可能な情報処理装置、情報処理方法、及びプログラム等を提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態１に係る情報処理装置の一構成例を示すブロック図である。
【図3】実施形態２に係る情報処理装置を備えた表示システムの一構成例を示すブロック図である。
【図10】側方から見て被験者を評価した評価ラベルの一例を示す図である。
【図11】正面から見て被験者を評価した評価ラベルの一例を示す図である。
【図21】は、実施形態３に係る学習装置の一構成例を示すブロック図である。
【図22】装置に含まれるハードウェア構成例を示す図である。
【発明を実施するための形態】
【0012】
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0013】
＜実施形態１＞
図１は、実施形態１に係る情報処理装置１の一構成例を示すブロック図である。図１に示すように、情報処理装置１は、入力部１ａ、偏差算出部１ｂ、及び特徴量算出部１ｃを備えることができ、例えば呼吸状態の検査時や呼吸のトレーニング時などに利用されることができる。なお、呼吸状態の検査は呼吸状態の評価を含むことができる。
図１は、実施形態１に係る情報処理装置１の一構成例を示すブロック図である。図１に示すように、情報処理装置１は、入力部１ａ、偏差算出部１ｂ、及び特徴量算出部１ｃを備えることができ、例えば呼吸状態の検査時や呼吸のトレーニング時などに利用されることができる。なお、呼吸状態の検査は呼吸状態の評価を含むことができる。
【0014】
健康状態の向上及び維持のためには、正しい呼吸法で呼吸を行うことが望ましく、正しい呼吸を行うためには、医師、セラピスト等のトレーニング指導者（以下、単に「指導者」と称する）の指導に基づいた正しい呼吸トレーニングを継続的に行うことが望ましい。例えば、正しい呼吸法による呼吸トレーニングを行うと、腰痛などの身体機能及び精神状態等の健康状態が改善され得る。
【0015】
ここで、呼吸トレーニングでは、胸部と腹部とで前後の動き（運動）が互いに同期していること（「胸部と腹部との同期」）を満たすように被験者が呼吸を行うことによって、トレーニングの効果が良好となると考えられる。さらに、息を吐くとき（呼気時）に肋骨が十分に内旋すること（つまり呼気時に胸部の左右方向の幅が十分に小さくなること；「肋骨の内旋」）を満たすように被験者が呼吸を行うことによって、トレーニングの効果が良好となると考えられる。しかしながら、被験者自身が上記のことを確認すること、つまり被験者が自身の呼吸状態を認識することは困難であるため、正確に呼吸状態を認識させることができるシステムが求められる。そのためには、被験者の呼吸の特徴を正確に表すような呼吸特徴量を算出することが求められる。
【0016】
このような算出を可能にするために、本実施形態に係る情報処理装置１が利用される。情報処理装置１の構成要素について説明する。
【0017】
入力部１ａは、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、時系列の距離画像データにおける被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する。ここで、被験者は、呼吸のトレーニングを行う者など、上記の呼吸特徴量の算出の対象となる者である。呼吸運動中とは、被験者が呼吸中であることを指し、例えば深呼吸中であることと、あるいは安静呼吸中であることとして定義付けることもできる。なお、時系列の距離画像データは、距離画像系列データと称することもできる。
【0018】
時系列の距離画像データの入力元の装置は、対象物までの距離の測定が可能な様々な種類のセンサを採用すること、あるいはそのセンサから取得した距離画像データを記憶したサーバなどを採用することができる。上記のセンサは、例えば３次元カメラであってもよい。３次元カメラとしては、例えば深度センサ、ＬｉＤＡＲ（Light Detection and Ranging）、ステレオカメラ等が挙げられる。無論、上記のセンサは、３次元カメラの範疇ではない深度センサとすることもできる。上記のセンサは、例えばＴｏＦ（Time of Flight）方式によって物体までの距離を計測してもよく、その測距方式は問わない。
【0019】
入力される時系列の距離画像データが示す距離画像は、各測定タイミング（各時刻）について、測定範囲に対応する画素群に画素値としての距離値が格納された画像とすることができる。無論、上記距離画像は、測定範囲における測定メッシュの各位置（各座標）に対応付けて、各時刻での距離値が格納されるような様々なフォーマットを採用することができる。
【0020】
よって、上記距離画像は、測定タイミング毎の各時刻に対応付けられた複数の画像とすることができるが、時刻、位置、及び距離値が情報として暗に又は明示的に関連付け可能に含まれていればよい。なお、入力される時系列の距離画像データについても、時刻、位置、距離値が暗に又は明示的に関連付け可能なデータであればフォーマットは問わない。無論、上記時刻は、測定開始からの時間とすることもできる。
【0021】
以下では、距離画像、標準偏差画像などの「画像」に関し、基本的に、画像中の任意の位置の値を、その位置に対応する画素の値、つまりその位置の画素値として表現する。
【0022】
分割位置データは、時系列の距離画像データにおける被験者の胸部領域と腹部領域とを分割する位置を示すデータである。よって、分割位置データには、領域を分割する位置として、直線又は曲線を表現できるような線、あるいは１又は複数の点の位置（画素位置、あるいは座標位置）のデータを含むことができる。
【0023】
分割位置データは、上記のセンサで時系列の距離画像データとともに取得されるデータとすることができる。但し、分割位置データは、時系列の距離画像データを画像解析することで得られるデータとすること、あるいは、時系列の距離画像データを取得するセンサとは別のセンサで取得されるデータとすることもできる。
【0024】
また、分割位置データは、被験者の胸部領域と腹部領域とを分割する位置だけでなく、他の領域分割位置を含むこともできる。他の領域分割位置には、被験者の正面に向かって左側の領域である左側領域と右側の領域である右側領域とを分割する位置、腹部領域と腰部領域とを分割する位置、及び胸部領域と肩部領域とを分割する位置のうちの１又は複数の位置などが挙げられる。
【0025】
偏差算出部１ｂは、時系列の距離画像データが示す距離画像における各画素について値（画素値）の標準偏差を示す標準偏差画像を算出する。ここで、或る画素の標準偏差は、時系列の距離画像データで示される期間について、その画素値（距離値）の平均値を求め、その平均値からのばらつき具合を示す値として算出されることができる。つまり、或る画素の標準偏差は、上記期間でのその画素値（距離値）の標準偏差となり、偏差算出部１ｂで算出される標準偏差画像は、時系列の距離画像データに対して１枚とすることができる。
【0026】
無論、偏差算出部１ｂが所定期間毎に標準偏差画像を算出する構成を採用し、後段の特徴量算出部１ｃが所定期間毎の呼吸特徴量を算出する構成あるいは上記期間での呼吸特徴量を算出する構成を採用することもできる。但し、本実施形態及び後述する実施形態２等では、説明の簡略化のために、偏差算出部１ｂでは１枚の標準偏差画像が算出される例についてのみ説明する。
【0027】
このように、標準偏差画像は、距離画像の全画素について画素毎に上記期間での値の平均値を求め、各画素についてその平均値からのばらつき具合である標準偏差値を求めることで、算出されることができる。標準偏差画像は、このようにして求めた各画素の標準偏差値を、元の距離画像の対応する各画素に配置した画像とすることができる。
【0028】
このようにして算出された標準偏差画像は、被験者が呼吸運動中にどの程度動いているか、どの箇所が多く動いているか、つまりどの位置の画素が多く変化しているかなどを明示的に表現することができる。実際、被験者となる人は、例えば、呼吸運動中に側腹部と称される部位において膨脹及び収縮を繰り返すことになるため、標準偏差画像により、例えば側腹部の領域である側腹領域の拡張運動（膨脹及び収縮運動）を表現することができる。
【0029】
特徴量算出部１ｃは、分割標準偏差画像に基づき、被験者の呼吸の特徴を示す呼吸特徴量を算出する。呼吸特徴量の算出は呼吸特徴量の抽出と称することもできる。また、呼吸特徴量は、被験者の呼吸運動を示す特徴量であるため、運動特徴量と称することもできる。
【0030】
分割標準偏差画像は、上述した標準偏差画像を分割領域毎に分割して得られた画像であり、分割領域とは、分割位置データが示す位置で分割されるそれぞれの領域を指す。よって、領域分割位置が多く、胸部領域と腹部領域との分割位置以外の分割位置も合わせて適用する場合には、分割標準偏差画像の数はその分だけ増えることになる。
【0031】
但し、全ての分割標準偏差画像から呼吸特徴量を算出しなければならないというものでもなく、少なくとも胸部領域の範疇となる領域についての分割標準偏差画像と腹部領域の範疇となる領域についての分割標準偏差画像とから呼吸特徴量を算出すればよい。例えば、分割位置データに腹部領域と腰部領域との領域分割位置や胸部領域と肩部領域との領域分割位置が含まれる場合、腰部領域の分割標準偏差画像及び肩部領域の分割標準偏差画像のいずれか一方又は双方は呼吸特徴量の算出に利用しないこともできる。
【0032】
このように、本実施形態に係る情報処理装置１は、呼吸運動中の距離画像系列データと胸腹部を分割する位置を含む分割位置データとを入力し、標準偏差画像に基づいて呼吸特徴量を算出する。上述したように、標準偏差画像は、被験者が呼吸運動中にどの程度動いているか、どの箇所が多く動いているかなどを明示的に表現することができる。
【0033】
特に、情報処理装置１では、標準偏差画像を分割位置で分割した分割標準偏差画像に基づき呼吸特徴量を算出する。そして、少なくとも胸部領域及び腹部領域を含む各領域の分割標準偏差画像を用いることで、各領域の間の同期性を示す呼吸特徴量や同期性なども加味した呼吸特徴量を算出することができる。
【0034】
このように、情報処理装置１では、被験者の少なくとも胸部の動きと腹部の動きとに基づいて、被験者の呼吸の特徴を示す呼吸特徴量を算出することができる。つまり、情報処理装置１では、被験者の呼吸運動機能の評価に必要な呼吸特徴量を算出することができる。
【0035】
また、情報処理装置１は、図示しないが、算出した呼吸特徴量を出力する出力部を備えることもできる。この出力部は、呼吸特徴量に加えて、標準偏差画像及び分割位置を示す情報、あるいは分割標準偏差画像を出力することもできる。この出力部による出力先は、情報処理装置１に備えた表示装置、情報処理装置１に接続された表示装置、情報処理装置１の内部又は外部の記憶装置、及び情報処理装置１に接続された印刷装置のうち、少なくとも１つなどとすることができる。
【0036】
このように出力される情報は、呼吸トレーニングを支援する情報として利用することができる。よって、情報処理装置１は、呼吸トレーニング支援装置と称することができる。また、呼吸トレーニングは、呼吸運動練習とも称される。
【0037】
また、本実施形態では、距離画像データや分割位置データの取得時の被験者の姿勢としては、仰臥位を採用することができるが、これに限らず背臥位、座位、立位、膝立ち位、仰臥位且つ脚上げ位などでも実施することができる。但し、姿勢に応じて距離画像データ及び分割位置データの入力元の装置の設置場所や、上述した各種の画像処理などは適宜変更するとよい。なお、距離画像データ及び分割位置データは、被験者の姿勢に合わせて被験者の正面又は背面から取得するとよいが、正面から取得可能な姿勢の方が被験者の呼吸を制限しなくて済む。
【0038】
また、図１に示す情報処理装置１は、例えば、サーバ又はパーソナルコンピュータ等のコンピュータとすることができるが、専用のハードウェアを備えた装置であってもよい。具体的には、情報処理装置１は、例えば１以上のプロセッサと１以上のメモリとを含むハードウェアを含むコンピュータ装置を含んで構成され得る。情報処理装置１内の各部の機能の少なくとも一部は、１以上のプロセッサが、１以上のメモリから読み出したプログラムに従って動作することで実現され得る。
【0039】
換言すれば、情報処理装置１は、その全体を制御する制御部（図示せず）を備えることができる。この制御部は、例えば、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、入力部１ａ、偏差算出部１ｂ、及び特徴量算出部１ｃの処理をＣＰＵ又はＧＰＵに実行させるためのプログラムとすることができる。
【0040】
また、情報処理装置１は、時系列の距離画像データ等の入力データや処理途中のデータ、呼吸特徴量の算出結果などを記憶する記憶装置を備えることができ、この記憶装置は例えばこの制御部に備えられる記憶装置を利用することもできる。
【0041】
また、情報処理装置１は、単体の装置として構成される例に限らず、機能を分散させた複数の装置として、つまり情報処理システムとして構築することもでき、その分散の方法は問わない。複数の装置に機能を分散した情報処理システムを構築する場合、各装置に制御部、通信部、及び必要に応じて記憶部等を備えるとともに、無線又は有線の通信により上記複数の装置を必要に応じて接続して協働して情報処理装置１で説明した機能を実現させればよい。
【0042】
【0043】
まず、情報処理装置１は、呼吸運動中の被験者との距離を測定した時系列の距離画像データと、胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する（ステップＳ１）。次いで、情報処理装置１は、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する（ステップＳ２）。
【0044】
次いで、情報処理装置１は、分割位置データが示す分割領域毎に標準偏差画像を分割した分割標準偏差画像に基づき被験者の呼吸特徴量を算出し（ステップＳ３）、処理を終了する。また、この呼吸特徴量は、情報処理装置１に出力部を備えておくことで、出力することもできる。
【0045】
以上に説明したように、本実施形態によれば、被験者の胸腹部の動きに基づいて被験者の呼吸の特徴を示す呼吸特徴量を算出することができ、被験者の呼吸運動機能の評価に必要な呼吸特徴量を算出することができる。
【0046】
この効果について補足する。例えば、腰痛などの運動器障害では異常な呼吸パターンが発生するため、呼吸運動中の胸腹部の運動検査及び運動評価が重要となる。また、専門家によるこれらの検査及び評価は属人性があるため、客観的、定量的な検査技術及び評価技術が必要となる。本実施形態では、胸部（胸郭に対応する部分を含む）領域と腹部領域とで分割した各領域の動きに基づき呼吸特徴量を算出できるため、このような検査や評価の正確性を向上させることができると言える。
【0047】
つまり、本実施形態によれば、例えば胸部と腹部との呼吸特徴量を領域別に算出することができ、また運動器障害についての呼吸特徴量の正しい定義付けを行うこともできる。このように、本実施形態によれば、胸部と腹部の運動を捉える検査の正確性を向上させることができ、被験者の呼吸状態の推定の精度も向上させることができる。また、その結果として、本実施形態によれば、呼吸運動機能の評価の正確性を向上させることができ、またその評価を利用した指導の正確性も向上させることができ、効果的な指導が可能になる。
【0048】
また、本実施形態では、医療機関でのリハビリテーションやヘルスケアサービスでの呼吸運動練習時にセラピスト等の指導者が使用することで、効果的な指導を行うことができるようになる。また、本実施形態では、情報処理装置１を被験者が利用する端末装置などに実装することで、被験者が自宅に居ながら指導者から遠隔指導を受けることや自主トレーニングを行うことができるようになる。
【0049】
＜実施形態２＞
実施形態２について、図３～図２０を参照しながら実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。まず、図３及び図４を参照しながら本実施形態に係る情報処理装置を備えた情報表示システム（以下、単に表示システムと称す）の構成例について説明する。図３は、実施形態２に係る情報処理装置を備えた表示システムの一構成例を示すブロック図で、図４は、この表示システムの外観を示す概略側面図である。
実施形態２について、図３～図２０を参照しながら実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。まず、図３及び図４を参照しながら本実施形態に係る情報処理装置を備えた情報表示システム（以下、単に表示システムと称す）の構成例について説明する。図３は、実施形態２に係る情報処理装置を備えた表示システムの一構成例を示すブロック図で、図４は、この表示システムの外観を示す概略側面図である。
【0050】
図３及び図４に示すように、本実施形態に係る表示システム１００は、図１の情報処理装置１の一例である情報処理装置１０と、少なくとも１つの撮像装置２０と、少なくとも１つの表示装置３０と、を備える。情報処理装置１０は、実施形態１に係る情報処理装置１の一例であり、撮像装置２０及び表示装置３０と、有線又は無線のネットワークを介して、通信可能に接続されている。
【0051】
図４に示す表示システム１００は、被験者９０が呼吸トレーニングを行う時や呼吸状態を検査する時に使用されることができる。図４に示すように、被験者９０は、仰向け（仰臥位）の状態で呼吸トレーニングや検査を行うことができるが、被験者９０の姿勢は仰臥位に限られない。但し、説明の簡略化のため、以下では、被験者９０が仰臥位で呼吸トレーニングや検査を行うことを前提として説明する。
【0052】
撮像装置２０は、呼吸運動中の被験者との距離を測定した時系列の距離画像データを取得するために、呼吸トレーニングや呼吸状態の検査の対象となる被験者９０を撮影する。撮像装置２０は、被験者９０の胸部９２及び腹部９４を撮影可能な位置に設置され得る。被験者９０が仰臥位で呼吸トレーニング等を行う場合、撮像装置２０は、例えば、図４で例示するように被験者９０の胸部９２及び腹部９４の上側に設置され得る。つまり、撮像装置２０は、仰臥位の被験者９０と対向する位置に設置され得る。
【0053】
なお、被験者９０は、衣服を着た状態で呼吸トレーニング等を行ってもよい。この場合、胸部９２は、衣服を着た状態における被験者９０の胸部に対応する部分である。同様に、腹部９４は、衣服を着た状態における被験者９０の腹部に対応する部分である。特に、衣服は被験者９０の少なくとも上半身において身体にフィットするような、例えばコンプレッションシャツである方が、距離の測定が正確になるため各種処理の正確性を向上させることができる。
【0054】
撮像装置２０は、対象物までの距離の測定が可能な撮像装置であればよく、例えば深度センサ、ＬｉＤＡＲ、ステレオカメラ等の３次元カメラとすることができる。撮像装置２０は、例えばＴｏＦ方式などの様々な測距方式によって被験者９０を少なくとも含む物体までの距離を計測してもよい。また、撮像装置２０は、２次元カメラ（例えばＲＧＢカメラ等）を含むこともできる。
【0055】
撮像装置２０は、被験者９０を撮影することによって、被験者９０の胸部９２及び腹部９４を少なくとも撮影範囲として含む時系列の画像データを生成し、情報処理装置１０へ送信する。つまり、時系列の画像データは、被験者９０の胸部９２及び腹部９４、及びこれらの周囲についての画像（撮影画像）を示し得る。撮影画像は、動画像であってもよいし、所定間隔で撮像された静止画像であってもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。
【0056】
撮像装置２０で取得される時系列の画像データは、時系列の距離画像を示すデータ、つまり時系列の距離画像データを含むものとする。この時系列の距離画像データは、被験者９０の位置の変化を示すデータであると言える。つまり、撮像装置２０は、被験者９０の位置及びその変化である動きを示す時系列の距離画像データを取得し、情報処理装置１０へ送信することができる。この距離画像データは、例えば、３次元点群データで表現される３次元画像データであってもよい。
【0057】
また、情報処理装置１０では、撮像装置２０で取得される時系列の距離画像データを用いることによって、被験者９０の胸部９２及び腹部９４を含む身体の位置の変化、つまり身体の動きを検出することができる。例えば、撮像装置２０を用いることによって、モーションキャプチャ等を実現することができる。検出対象の位置は、図４で言うところの上下方向の位置である、仰臥位における鉛直方向の位置と、仰臥位における水平方向の位置とを含むことができる。
【0058】
さらに、撮像装置２０を用いることによって、撮影された被験者９０の骨格（関節）を示す骨格データが生成されてもよい。骨格データは、被験者９０の関節の位置を示すデータである。骨格データは、被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データの一例として使用されることができる。骨格データは、例えば、動作する人物の関節を撮像装置２０又は情報処理装置１０が認識することによって、取得され得る。以下では、関節を認識する処理、つまり関節を検出する処理が情報処理装置１０側で実行される例を挙げて説明するが、撮像装置２０側で実行されるような構成を採用することもできる。
【0059】
また、上述したように、撮像装置２０で取得される画像データは距離画像データを含むが、ＲＧＢ画像等の２次元画像データを含むこともできる。あるいは、撮像装置２０で取得される画像データは、２次元画像と３次元画像とが合成された画像を示すデータであってもよい。したがって、距離画像データは、３次元点群データ等によって、撮影された被験者９０の表面の位置の位置情報を３次元座標として示し得る。また、２次元画像データあるいは３次元画像データは、上述した骨格データを得るために使用すること、あるいは上述した骨格データそのものを含むこともできる。撮像装置２０は、生成された画像データを情報処理装置１０に送信する。
【0060】
情報処理装置１０では、被験者９０の胸部９２及び腹部９４を含む身体の位置の変化を表現するために、時系列の距離画像データに基づき標準偏差画像を算出することができる。また、情報処理装置１０では、分割位置データに基づき標準偏差画像を分割し、分割した結果としての各分割領域についての画像（分割標準偏差画像）に基づき、被験者の呼吸の特徴を示す呼吸特徴量を算出することができる。時系列の距離画像データ及び分割位置データに基づく呼吸特徴量の算出に関しては、情報処理装置１０の各構成要素の説明として後述する。
【0061】
表示装置３０は、被験者９０から視認可能な位置に画像を表示するように、配置される。表示装置３０は、例えば画像を表示するディスプレイを備える。表示装置３０は、例えば、ＬＣＤ（Liquid Crystal Display）を備えるが、これに限られない。表示装置３０は、有機ＥＬ（Electro-Luminescence）ディスプレイ又はプロジェクタ等によって実現されてもよい。表示装置３０は、例えば、スマートフォン又はタブレット端末等であってもよい。表示装置３０によって表示される内容の例については後述する。
【0062】
また、表示装置３０は、図４で例示したように、被験者９０の頭上に設置された場合に被験者９０向けの画像を表示するようにしてもよい。例えば、表示装置３０は、表示装置３０に内蔵されたカメラが被験者９０の顔を検出した場合に、被験者９０向けの画像を表示するようにしてもよい。
【0063】
また、表示装置３０では、情報を被験者９０向けの情報としてあるいは指導者向けの情報として表示させることができ、閲覧の対象者によって分かり易さなどを考慮して表示内容を異ならせることもできる。例えば表示装置３０が、指導者が所持する表示装置であった場合には、指導者向けの情報を表示させることができる。
【0064】
以下では、表示装置３０は被験者９０が情報を閲覧するために使用することを前提に説明するが、指導者が情報を閲覧するために使用してもよく、また被験者９０用と指導者用の複数台の表示装置３０を表示システム１００に備えることもできる。
【0065】
次に、情報処理装置１０の具体的な構成例について説明する。図３に示すように、情報処理装置１０は、制御部１１、画像データ取得部１２、標準偏差画像算出部１３、分割位置検出部１４、分割部１５、特徴量算出部１６、評価部１７、記憶部１８、及び表示制御部１９を備えることができる。
【0066】
（制御部１１）
制御部１１は、情報処理装置１０の全体を制御する部位で、例えばＣＰＵ又はＧＰＵ等のプロセッサを含むことができ、また制御のためのプログラムを含むことができる。制御部１１は、制御処理及び演算処理等を行う演算装置としての機能を備え、画像データ取得部１２、標準偏差画像算出部１３、分割位置検出部１４、分割部１５、特徴量算出部１６、評価部１７、記憶部１８、及び表示制御部１９を制御する。
制御部１１は、情報処理装置１０の全体を制御する部位で、例えばＣＰＵ又はＧＰＵ等のプロセッサを含むことができ、また制御のためのプログラムを含むことができる。制御部１１は、制御処理及び演算処理等を行う演算装置としての機能を備え、画像データ取得部１２、標準偏差画像算出部１３、分割位置検出部１４、分割部１５、特徴量算出部１６、評価部１７、記憶部１８、及び表示制御部１９を制御する。
【0067】
（画像データ取得部１２）
画像データ取得部１２は、撮像装置２０に有線又は無線で接続するための通信インタフェース等のインタフェースを備えることができる。そして、画像データ取得部１２は、撮像装置２０から、呼吸運動中の被験者９０を撮影した画像データを取得する。時系列の距離画像データ（以下、距離画像系列とも称する）を含め、取得される画像データは、被験者９０の１又は複数の呼吸周期分について測定されたデータとすることで、被験者９０の呼吸周期分についてのデータに基づく処理が可能になる。画像データ取得部１２は、取得し画像データのうち少なくとも時系列の距離画像データを標準偏差画像算出部１３へ出力する。また、画像データ取得部１２は、取得した画像データを分割位置検出部１４へ出力することができる。
画像データ取得部１２は、撮像装置２０に有線又は無線で接続するための通信インタフェース等のインタフェースを備えることができる。そして、画像データ取得部１２は、撮像装置２０から、呼吸運動中の被験者９０を撮影した画像データを取得する。時系列の距離画像データ（以下、距離画像系列とも称する）を含め、取得される画像データは、被験者９０の１又は複数の呼吸周期分について測定されたデータとすることで、被験者９０の呼吸周期分についてのデータに基づく処理が可能になる。画像データ取得部１２は、取得し画像データのうち少なくとも時系列の距離画像データを標準偏差画像算出部１３へ出力する。また、画像データ取得部１２は、取得した画像データを分割位置検出部１４へ出力することができる。
【0068】
特に、距離画像系列を含め、取得される画像データは、被験者９０が深呼吸している間に測定されたデータとすることができる。このように、距離画像系列の取得対象期間としての呼吸運動中とは、被験者９０が呼吸中であることを指し、例えば被験者９０が深呼吸中とすることができる。
【0069】
無論、呼吸運動中とは、深呼吸中でなくても、安静呼吸中とすることや、被験者９０に自由に呼吸させた状態の期間とすることもできる。深呼吸中や安静呼吸中の画像データは、被験者９０の呼吸運動が他の場合に比べて他の被験者と比較し易いデータである点、あるいは他の場合と比べて運動器障害を特定し易いデータである点などから有益であると言える。
【0070】
（標準偏差画像算出部１３）
標準偏差画像算出部１３は、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、分割部１５へ出力する。上述した通り、或る画素の標準偏差は、時系列の距離画像データで示される期間、つまり距離画像系列で示される期間についての、時系列で存在するその画素の値（距離値）のばらつき具合を指すことができる。よって、或る画素の標準偏差が他の画素の標準偏差に比べて大きいことは、当該或る画素に対応する被験者９０の身体の位置が上記の期間において他の位置より多く動いたことを示している。
標準偏差画像算出部１３は、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、分割部１５へ出力する。上述した通り、或る画素の標準偏差は、時系列の距離画像データで示される期間、つまり距離画像系列で示される期間についての、時系列で存在するその画素の値（距離値）のばらつき具合を指すことができる。よって、或る画素の標準偏差が他の画素の標準偏差に比べて大きいことは、当該或る画素に対応する被験者９０の身体の位置が上記の期間において他の位置より多く動いたことを示している。
【0071】
（分割位置検出部１４）
分割位置検出部１４は、分割位置データの検出元となるデータとして、画像データ取得部１２から画像データを受け取り、画像データから分割位置データを検出し、分割部１５へ出力する。この検出例は後述する。なお、図３の構成例では、画像データ取得部１２及び分割位置検出部１４が分割位置データを入力する例を挙げている。但し、撮像装置２０側に分割位置データを得る機能を備えておくこともでき、その場合、情報処理装置１０は分割位置検出部１４を備えず、画像データ取得部１２が分割部１５へ分割位置データを渡す構成とすることができる。
分割位置検出部１４は、分割位置データの検出元となるデータとして、画像データ取得部１２から画像データを受け取り、画像データから分割位置データを検出し、分割部１５へ出力する。この検出例は後述する。なお、図３の構成例では、画像データ取得部１２及び分割位置検出部１４が分割位置データを入力する例を挙げている。但し、撮像装置２０側に分割位置データを得る機能を備えておくこともでき、その場合、情報処理装置１０は分割位置検出部１４を備えず、画像データ取得部１２が分割部１５へ分割位置データを渡す構成とすることができる。
【0072】
分割位置データは、時系列の距離画像データにおける被験者９０の胸部領域と腹部領域とを分割する位置を示すデータであり、領域を分割する位置として、直線又は曲線を表現できるような線、あるいは１又は複数の点の位置のデータを含むことができる。胸部領域は胸部９２の領域を指し、腹部領域は腹部９４の領域を指すことができる。
【0073】
分割位置データは、撮像装置２０で時系列の距離画像データとともに取得されるデータとすることができ、この場合、分割位置検出部１４は画像データから分割位置データを抽出することで、分割位置データの検出ができる。あるいは、分割位置データは、時系列の距離画像データを画像解析することで得られるデータとすることもできる。いずれの場合でも、分割位置データは、上述したように骨格データなどとして、画像データの一部として撮像装置２０から取得されることができる。なお、分割位置データは、時系列の距離画像データを取得する撮像装置２０とは別のセンサで取得されるデータとすることもでき、この場合、分割位置検出部１４がそのデータの取得を行えばよい。
【0074】
また、分割位置データは、被験者９０の胸部領域と腹部領域とを分割する位置だけでなく、他の領域分割位置を含むこともできる。他の領域分割位置には、被験者９０の左側領域と右側領域とを分割する位置、腹部領域と腰部領域とを分割する位置、胸部領域と肩部領域とを分割する位置、及び、胸部領域や肩部領域と腕部領域とを分割する位置のうちの１又は複数の位置などが挙げられる。
【0075】
なお、分割位置データは、次のように使用されることもできる。即ち、入力された距離画像系列を含む画像データに対し、今後必要とならない領域の情報を削除するために分割位置データを用いることができる。また、入力された距離画像系列を含む画像データに対し、被験者９０についての矢状面、前額面、及び横断面について各面の交線の方向や位置を、処理に適したように調整するために、分割位置データを用いることもできる。
【0076】
無論、距離画像系列等の画像データの取得に際して、被験者９０が処理に適した正しい位置や向きになるような工夫を行っておくこともできる。この工夫には、分割位置データに基づいて、被験者９０に位置や向きを正すようなアドバイスを表示装置３０に表示させることを含むこともできる。
【0077】
分割位置検出部１４による画像データからの分割位置データの検出例の概要について説明する。分割位置検出部１４は、画像データ取得部１２で取得された画像データに基づき被験者９０の関節の位置を検出し、その検出結果を分割位置データとして分割部１５へ出力する。このように、分割位置データは、被験者９０の関節の位置を示すデータとすることができ、その場合、分割位置データは関節位置データと称されることができ、分割位置検出部１４は関節位置検出部と称されることができる。
【0078】
関節位置データは、撮像装置２０に含まれる２次元カメラで撮像した２次元画像データを画像解析することで得ること、あるいは撮像装置２０で撮像された距離画像データを画像解析することで得ることができる。これらの画像解析には例えば予め位置が必要となる関節について、被験者９０の関節に所定のマークを付しておき、この所定のマークを検出することもできる。但し、関節位置データの取得方法や関節の位置を検出するための検出方法はこれらに限ったものではなく、モーションキャプチャ技術などの既知の様々な技術を利用することができる。
【0079】
なお、関節の検出には、既存の様々な技術を利用することができる。関節は、距離画像データに基づいて検出されることも、あるいはＲＧＢの２次元画像データに基づいて検出されることもできる。関節の検出に使用する検出アルゴリズムは様々なものが流通しているが、検出アルゴリズムによって検出する数や位置が異なるため、使用する検出アルゴリズムに応じて使用目的に合致する関節キーポイントを選択すればよい。
【0080】
また、分割位置データが関節の位置を示す関節位置データである例を挙げて説明しているが、これに限らない。例えば、画像データから、被験者９０の前額面と矢状面との交線を被験者９０の身体の左右方向の中心線として検出するとともに肩部のエッジを検出することができる。その場合、分割位置データは、事前に入力された被験者９０の身長に基づいて算出した、上記交線上における肩部のエッジからの距離で示される点を、分割位置として検出することができる。
【0081】
（分割部１５）
分割部１５は、標準偏差画像算出部１３で算出された標準偏差画像と、分割位置検出部１４での検出結果として得られた分割位置データ、例えば被験者９０の関節の位置を測定した関節位置データとを入力する。
分割部１５は、標準偏差画像算出部１３で算出された標準偏差画像と、分割位置検出部１４での検出結果として得られた分割位置データ、例えば被験者９０の関節の位置を測定した関節位置データとを入力する。
【0082】
分割部１５は、標準偏差画像についての、被験者９０の矢状面と前額面との交線の方向の微分値を用いて、標準偏差画像を被験者９０の胸部領域と腹部領域とに分割する胸腹部分割処理を含む分割処理を実行することができる。上記交線の方向の微分値とは、上記交線に平行な方向の微分値を指す。上記交線の方向は、被験者９０の身長方向、あるいは垂直方向と称することもできる。標準偏差画像の例、分割処理の例については、具体例を挙げて後述する。
【0083】
分割部１５が実行する分割処理には、分割位置データが示す位置に対応して、左右分割処理、肩胸部分割処理、腹腰部分割処理、及び腕部分割処理のいずれか１又は複数を含むことができる。また、左右分割処理、肩胸部分割処理、腹腰部分割処理、及び腕部分割処理で使用する関節位置データはいずれも、距離画像系列に対応する期間の少なくとも１つの時刻について、被験者９０の関節の位置を測定したデータとすることができる。なお、左右分割処理、肩胸部分割処理、腹腰部分割処理、及び腕部分割処理は、胸部領域と腹部領域との分割処理である胸腹部分割処理より先に実行することも後に実行することもできる。
【0084】
左右分割処理とは、例えば関節位置データが示す関節位置に基づき、標準偏差画像を左側領域と右側領域とに分割する処理を指す。左側領域とは、被験者９０の正面に向かって（被験者９０の矢状面に垂直な方向のうち）左側の領域を指し、右側領域とは、被験者９０の正面に向かって右側の領域を指すことができる。
【0085】
肩胸部分割処理とは、例えば関節位置データが示す関節位置に基づき、標準偏差画像を、被験者９０の肩部の領域である肩部領域と胸部領域とに分割する処理を指す。腹腰部分割処理とは、例えば関節位置データが示す関節位置に基づき、標準偏差画像を、腹部領域と被験者の腰部の領域である腰部領域とに分割する処理を指す。腕部分割処理は、例えば関節位置データが示す関節位置に基づき、標準偏差画像を、腕部領域と胸部領域とに、あるいは腕部領域と胸部領域及び肩部領域とに分割する処理を指す。なお、腕部領域及び腰部領域の少なくとも一方は前処理で除外しておくこともできる。
【0086】
左右分割処理は、肩胸部分割処理、腹腰部分割処理、及び腕部分割処理は、基本的に被験者９０をそれぞれ、例えば胸骨付近の矢状面、例えば鎖骨付近の横断面、骨盤上部（腸骨上部）の横断面、鎖骨付近から脇へと続く面で分割する処理となる。よって、これらの４種の分割処理のいずれについても、被験者９０の呼吸運動によって分割結果に影響がでないことが想定されるため、距離画像系列に対応する期間のうち、少なくともいずれかの時刻で関節の位置が測定されていれば済む。
【0087】
但し、関節位置データは、距離画像系列の最初又は中間又は最後の時刻のデータなど、１時刻のデータとすることに限らず、距離画像系列に対応する期間の平均データとすることもできる。なお、図１６等を参照しながら後述する左右分割処理の例では、胸腹部分割処理の結果を利用することになるため、結果的に、関節位置データは距離画像系列に対応する期間について測定したデータであると言える。
【0088】
上述した左右分割処理、肩胸部分割処理、腹腰部分割処理、及び腕部分割処理はいずれも、関節位置データが示す所定の関節の位置を基準点として、標準偏差画像を分割することができる。この基準点は関節キーポイントと称することができる。この基準点を２点以上とすることで、つまり２点以上の所定の関節の位置を基準点とすることで、より正確な分割処理が可能となる。
【0089】
左右分割処理における所定の関節は、例えば腰と首とを含むこと、あるいは胸骨の上端を含むことができる。肩胸部分割処理における所定の関節は、例えば鎖骨の左右の突起部分を含むことができる。腹腰部分割処理における所定の関節は、例えば骨盤の上部の左右の突起部を含むことができる。腕部分割処理における所定の関節は、例えば鎖骨の左右端及び両脇を含むことができる。但し、被験者９０の全身を撮影した画像データを利用し、所定の関節として左右の足先と首又は頭部を含むようにしておくことで、さらに正確な左右分割処理等の分割処理が可能となる。この例に限らず、全身が撮影された画像データを使用することで、所定の関節の位置を安定して得ることが可能になる。
【0090】
（特徴量算出部１６）
特徴量算出部１６は、分割位置データに基づき標準偏差画像を分割した結果としての各分割領域についての画像（以下、分割標準偏差画像）に基づき、被験者９０の呼吸の特徴を示す呼吸特徴量を算出する。なお、特徴量算出部１６は、分割標準偏差画像等から呼吸特徴量を抽出することから特徴量抽出部と称することもできる。
特徴量算出部１６は、分割位置データに基づき標準偏差画像を分割した結果としての各分割領域についての画像（以下、分割標準偏差画像）に基づき、被験者９０の呼吸の特徴を示す呼吸特徴量を算出する。なお、特徴量算出部１６は、分割標準偏差画像等から呼吸特徴量を抽出することから特徴量抽出部と称することもできる。
【0091】
分割標準偏差画像は、上述した標準偏差画像を分割領域毎に分割して得られた画像である。胸部領域と腹部領域との分割位置以外の分割位置も合わせて適用する場合には、分割標準偏差画像の数はその分だけ増えることになる。但し、必ずしも全ての分割標準偏差画像から呼吸特徴量を算出しなければならないというものでもなく、少なくとも胸部領域の範疇となる領域についての分割標準偏差画像と腹部領域の範疇となる領域についての分割標準偏差画像とから呼吸特徴量を算出すればよい。例えば、分割位置データに腹部領域と腰部領域との領域分割位置や胸部領域と肩部領域との領域分割位置が含まれる場合、腰部領域の分割標準偏差画像及び肩部領域の分割標準偏差画像のいずれか一方又は双方は呼吸特徴量の算出に利用しないこともできる。
【0092】
次に、呼吸特徴量の様々な例について説明するが、呼吸特徴量は以下に説明する例のうちの１又は複数を含むことができ、また以下に説明する例に限ったものではない。無論、より多くの種類の呼吸特徴量を算出することで、被験者９０の呼吸機能をより網羅的に把握することができるようになる。
【0093】
（（呼吸特徴量の例：標準偏差の平均値））
例えば、特徴量算出部１６は、分割領域毎の分割標準偏差画像が示す標準偏差の平均値を、呼吸特徴量の１つとして算出することができる。なお、或る画素についての標準偏差は、標準偏差画像のその画素が示す標準偏差と表現することも、分割標準偏差画像のその画素が示す標準偏差と表現することもできる。
例えば、特徴量算出部１６は、分割領域毎の分割標準偏差画像が示す標準偏差の平均値を、呼吸特徴量の１つとして算出することができる。なお、或る画素についての標準偏差は、標準偏差画像のその画素が示す標準偏差と表現することも、分割標準偏差画像のその画素が示す標準偏差と表現することもできる。
【0094】
このような構成により、分割領域毎に標準偏差の平均値が得られるため、標準偏差画像における分割領域間での標準偏差の違いを表現する呼吸特徴量を算出することができる。例えば、胸部領域の標準偏差の平均値と腹部領域の標準偏差の平均値を、呼吸特徴量とすることができる。あるいは、左胸領域の標準偏差の平均値、右胸領域の標準偏差の平均値、左腹の標準偏差の平均値、及び右腹の標準偏差の平均値を、呼吸特徴量とすることができる。いずれの場合でも、この構成例で算出される平均値は、例えば、胸部から腹部へと延びる端側の領域である側腹部についての膨脹及び収縮のバランス、つまり側腹部の拡張運動のバランスを示す指標とすることができる。よって、算出される平均値は、呼吸運動機能を評価するために有益な呼吸特徴量として利用することができる。
【0095】
特に、特徴量算出部１６は、標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出する閾値処理を施し、抽出した標準偏差画像に基づき、呼吸特徴量を算出することもできる。つまり、呼吸特徴量を算出することは、標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき呼吸特徴量を算出することを含むことができる。なお、この閾値処理を含む呼吸特徴量の算出方法は上記の標準偏差の平均値を算出する際に限らず、後述する例でも適用することができる。
【0096】
上記閾値処理を上記の標準偏差の平均値を算出する際に適用する場合、特徴量算出部１６は、まず標準偏差画像における標準偏差が所定値以上の画素を抽出する。次いで、特徴量算出部１６は、分割領域毎に、抽出した画素群の標準偏差を平均した平均値を算出し、分割領域毎の平均値を呼吸特徴量の１つとする。上記閾値処理を適用することで、例えば算出対象の画素が動きの大きい側腹部を含むことになるため、算出される平均値は、特に側腹部の膨脹及び収縮のバランス、つまり側腹部の拡張運動のバランスを端的に示す指標とすることができる。
【0097】
上記閾値処理を上記の標準偏差の平均値を算出する場合以外の場合に適用する例を挙げる。特徴量算出部１６は、まず標準偏差画像における標準偏差が所定値以上の画素を抽出する抽出処理を実行する。次いで、特徴量算出部１６は、抽出した画素群の面積を分割領域毎に算出し、算出した分割領域毎の面積を呼吸特徴量の１つとすることができる。なお、ここで面積と称しているのは、画素に大きさがあるためであり、喩え１画素のみが所定値以上の標準偏差を示していたとしても面積として表現できるためである。よって、抽出した画素群の面積はその画素群の画素数を意味することができる。以下、面積に関しては同様のことが言える。
【0098】
（（呼吸特徴量の例：分割標準偏差画像間の同期性））
また、特徴量算出部１６は、分割領域のそれぞれの間における分割標準偏差画像の同期性を、呼吸特徴量の１つとして算出することもできる。換言すれば、特徴量算出部１６は、分割標準偏差画像に基づき、分割領域のそれぞれの間における同期性を呼吸特徴量の１つとして算出することができる。
また、特徴量算出部１６は、分割領域のそれぞれの間における分割標準偏差画像の同期性を、呼吸特徴量の１つとして算出することもできる。換言すれば、特徴量算出部１６は、分割標準偏差画像に基づき、分割領域のそれぞれの間における同期性を呼吸特徴量の１つとして算出することができる。
【0099】
同期性は、例えば、各分割標準偏差画像間の類似性、つまり各分割領域間での動きの大きさの類似性により判定されることができる。或る分割領域について標準偏差が大きいことは、その分割領域について動き（収縮から膨脹までの動き）が大きいことを意味する。よって、各分割標準偏差画像間の類似性は、或る分割領域と他の或る分割領域とが同期しているか否かの指標の１つとして捉えることができる。或る分割領域と他の或る分割領域との動きの差が一定以上あって類似していないと判定される場合には、それらの分割領域では同期していないと見做すことができる。
【0100】
類似性は、例えば、分割標準偏差画像毎の平均値を算出し、平均値間を比較して所定値以上離間していれば非類似、所定値未満しか離間していなければ類似として判定されることができる。左右の違いによる分割領域間では、例えば次のような判定を行うことができる。即ち、まず左右の中心軸、つまり矢状面と前額面との交線に対し、一方の分割標準偏差画像を反転させる。そして反転させた分割標準偏差画像と他方の分割標準偏差画像とについて、各画素での標準偏差を一対一に比較し、所定値以上の離間があるか判定する。全画素について判定した結果、所定数以上の画素において所定値以上の離間があった場合にはそれらの分割標準偏差画像は非類似であると判定すること、そうでない場合には類似であると判定することができる。無論、類似性の判定方法はこれらの例に限ったものではない。
【0101】
また、特徴量算出部１６は、算出した同期性に基づき、分割領域のうちの所定量以上の動きのある領域を特定する処理を行うこともできる。つまり、算出された同期性は、動きのある部位を決定するために、例えば胸のみの動き、腹のみの動き、双方の動き、双方動き無しの区別をするために、用いることができる。或る分割領域と他の或る分割領域との同期がとれていることは、双方の分割領域で動きがあるか、あるいは動きがないかのいずれかであることを示している。また、各分割領域についての分割標準偏差画像の値を参照することで、そのいずれに該当するかを特定することもできる。一方、同期がとれていないことは、一方の分割領域のみが動き、他方の分割領域で動きがないことを示しており、また各分割領域についての分割標準偏差画像の値を参照することで、そのいずれに該当するかを特定することもできる。
【0102】
上記閾値処理を上記の同期性を算出する際に適用する場合、特徴量算出部１６は、まず上記の抽出処理を実行し、抽出した画素群のみについて、分割領域のそれぞれの間における同期性を算出することができる。これにより、分割領域間における動きの大きな画素群のみに基づき、分割領域間の同期性を算出することができる。また、このように算出した同期性も、上述のように分割領域のうちの所定量以上の動きのある領域を特定するために使用されることができる。
【0103】
以上のように、各分割領域間の同期性は各分割標準偏差画像間の類似性を判定することで算出されることができる。但し、各分割標準偏差画像間の類似性では、各分割領域間での動きの大きさの同期性、及び時系列の距離画像データの取得期間全体での同期性を把握することができるものの、各分割領域間での位相差を加味した同期性までは把握することはできない。
【0104】
この位相差を把握するために、特徴量算出部１６は、取得された時系列の距離画像データ等の画像データから各分割領域間の同期性を算出することもできる。即ち、各分割領域の同期性は、例えば、取得された時系列の距離画像データを分割領域で分割した時系列の領域別距離画像データに基づき算出されることができる。なお、説明を省略するが、時系列の距離画像データ以外の、動きを捉えた時系列の画像データからも同様の算出は可能である。
【0105】
一例として、分割領域が胸部領域と腹部領域とである場合の単純化した例を挙げるがこれに限らない。この場合、時系列の距離画像データは、時系列の領域別距離画像データとして、胸部領域のデータである胸部波形データと、腹部領域のデータである腹部波形データとに分割されることができる。特徴量算出部１６は、これらの波形データに基づき分割領域間の同期性を呼吸特徴量として算出されることができる。
【0106】
時系列の距離画像データは、被験者９０の呼気相に対応するデータである呼気相データと吸気相に対応するデータである吸気相データとを含むものとする。ここでの例の場合、呼気相データは、被験者９０の胸部の呼吸波形を示す胸部波形データとその被験者９０の腹部の呼吸波形を示す腹部波形データとのそれぞれについての、呼気相のデータである。また、吸気相データは、胸部波形データ及び腹部波形データのそれぞれについての、吸気相のデータである。無論、呼気相データと吸気相データとは、例えばデータとしては一連のデータとすることもでき、その場合には呼気相と吸気相とが識別できるデータであればよい。例えば、胸部波形データにおいて呼気相と吸気相とが識別できる情報が付加され、腹部波形データにおいて呼気相と吸気相とが識別できる情報が付加されることもできる。
【0107】
呼気相データと吸気相データとの分割は次のように実行されることもできる。即ち、特徴量算出部１６は、腹部波形データと胸部波形データとの平均波形データを算出し、その平均波形データに基づき、腹部波形データ及び胸部波形データのそれぞれについて、呼気相データと吸気相データとに分割する。
【0108】
ここで、平均波形データを用いる理由について補足的に説明する。胸部と腹部とで位相がずれるような呼吸である場合には、胸部波形データと腹部波形データとで互いのピークがずれる。よって、胸部波形データ、腹部波形データそれぞれ独立して、ピークなどに基づき呼気相と吸気相とを算出すると、胸部と腹部とで呼気相と吸気相との割合が異なる結果となってしまう。胸部波形データ及び腹部波形データの対応する位相を比較して位相差を算出するためには、上記割合が同じである必要がある。よって、平均波形データを用いて呼気相と吸気相との分割位置（１呼吸周期中の相が変わる位置）を求める。
【0109】
時系列の距離画像データを呼気相データと吸気相データとに分割する手法は問わず、例えば時系列の距離画像データにおいて胸部領域のうちの或る領域の変化を検出すること、あるいはＣＯ２センサなどを用いて検出することができる。なお、ＣＯ２センサは、被験者９０の鼻などに二酸化炭素の割合を検出するセンサであり、呼気分析に用いることができる。あるいは、例えば、平均波形を表示装置３０などに表示させておき、指導者による分割指示操作を受け付け、その操作に従い分割することができる。あるいは、特徴量算出部１６は、平均波形データを解析して、ピークを検出して検出されたピークに基づき予め定められたルールに従い、呼気相と吸気相とを分割することができる。あるいは、特徴量算出部１６は、隠れマルコフモデルなどなどの機械学習手法を使用して、呼気相と吸気相とを分割するように構成することもできる。
【0110】
特徴量算出部１６は、分割した呼気相及び吸気相のそれぞれにおける、胸部波形データと腹部波形データとの位相差を算出することで、胸部領域と腹部領域との間の同期性を算出することができる。特徴量算出部１６は、呼気相について少なくとも１つの位相差を算出し、吸気相について少なくとも１つの位相差を算出すればよい。位相差の算出は、例えば胸部波形データと腹部波形データとのピークを比較することで実施することができる。なお、平均波形から呼気相と吸気相とを分ける例では、ここで算出される位相差は推定値であるとも言える。
【0111】
特徴量算出部１６による各相での位相差計算の手法は問わない。例えば、特徴量算出部１６は、呼気相における腹部波形データ、胸部波形データをヒルベルト変換してそれぞれ腹部、胸部について逐次の位相（瞬時位相）を計算することができる。同様に特徴量算出部１６は、吸気相における腹部波形データ、胸部波形データをヒルベルト変換してそれぞれ腹部、胸部について逐次の位相（瞬時位相）を計算することができる。そして、特徴量算出部１６は、このように計算した腹部の瞬時位相と胸部の瞬時位相との位相差を計算する。
【0112】
また、特徴量算出部１６は、データ数の低減のために、計算した位相差を、系列の長さが１呼吸周期を１００％で表現するように正規化し、例えば１０％単位で平均をとり、１０個の平均位相差を算出することができる。このような正規化により、呼吸波形を１呼吸ごとに分割して、各呼吸での長さを統一することができる。無論、このときの平均をとる対象の期間は１０％に限らず、その期間に応じた数の平均位相差が算出されることになる。また、単純な例では、１呼吸周期につき、呼気相での平均位相差と吸気相での平均位相差との２つの値を算出するだけでもよい。また、平均値の算出の代わりに中央値などの他の統計値の算出を行ってもよい。このように、特徴量算出部１６は、吸気相データ及び呼気相データについて、正規化された呼吸周期中の位相差を算出してもよい。
【0113】
このようにして、被験者９０の呼気相での腹部波形データと胸部波形データとの位相差が算出され、被験者９０の吸気相での腹部波形データと胸部波形データとの位相差が算出されることになり、各相における位相差を得ることができる。
【0114】
そして、特徴量算出部１６は、算出された位相差に基づき、呼気相及び吸気相のいずれで同期がとれていないのか、いずれの相の方が同期がとれなくなることが多いかなどの同期性を示す情報を、呼吸特徴量の１つとして得ることができる。
【0115】
このように、各分割領域の同期性は、分割標準偏差画像に基づき算出されることに限ったものではなく、かかる算出方法に加えて、あるいはかかる算出方法の代わりに、取得された時系列の距離画像データ等の画像データから算出することもできる。
【0116】
（（呼吸特徴量の例：側腹領域の膨脹面積））
特徴量算出部１６は、側腹領域の膨脹状態から収縮状態までの面積の差である膨脹面積を算出することもできる。この側腹領域の膨脹面積は、側腹領域の、少なくとも矢状面に垂直な方向の動きを表現できる値であるため、呼吸特徴量の１つとして使用することができる。この例でも、呼吸特徴量の１つとしての側腹領域の膨脹面積は、分割標準偏差画像に基づいて算出されることができる。
特徴量算出部１６は、側腹領域の膨脹状態から収縮状態までの面積の差である膨脹面積を算出することもできる。この側腹領域の膨脹面積は、側腹領域の、少なくとも矢状面に垂直な方向の動きを表現できる値であるため、呼吸特徴量の１つとして使用することができる。この例でも、呼吸特徴量の１つとしての側腹領域の膨脹面積は、分割標準偏差画像に基づいて算出されることができる。
【0117】
ここで、側腹領域とは、胸部領域と腹部領域との双方において被験者９０の前額面と横断面との交線の方向（つまり矢状面に垂直な方向）に膨脹及び収縮し得る領域とする。また、膨脹状態とは、矢状面に垂直な方向に、例えば最も膨脹した状態を指すことができる。収縮状態とは、矢状面に垂直な方向に、例えば最も収縮した状態を指すことができるが、誤差を考慮することもできる。例えば、膨脹状態、収縮状態はそれぞれ２番目に膨脹した状態、２番目に収縮した状態などを指すこともできる。また、膨脹面積は側腹部が収縮状態から膨脹状態へ拡張した面積であるため、拡張面積と称することもできる。なお、側腹領域を、膨脹面積に対応する領域として定義付けて説明しているが、側腹領域自体は、別の定義で規定することもでき、その場合、側腹領域の中で収縮及び膨脹を繰り返す領域の面積が膨脹面積と定義付けすることができる。
【0118】
側腹領域は、胸部領域と腹部領域とに亘って存在し、肩部領域や腰部領域には存在しないと言える。よって、特徴量算出部１６は、胸部領域の分割標準偏差画像と腹部領域の分割標準偏差画像とに基づき、側腹領域を特定し、その側腹領域の面積を算出することで、側腹領域の膨脹面積を算出することができる。
【0119】
例えば、特徴量算出部１６は、胸部領域の分割標準偏差画像と腹部領域の分割標準偏差画像とに基づき、所定値以上の標準偏差を持つ画素群の領域を抽出し、抽出した領域を側腹領域として、この側腹領域の膨脹面積を算出することができる。無論、胸部領域と腹部領域との標準偏差において所定値以上の領域を抽出し、右端の所定面積以上の面積を右側膨脹面積とし、且つ、左端の所定面積以上の面積を左側膨脹面積とし、それらを加算して膨脹面積とすることもできる。
【0120】
この算出手法は、上述した閾値処理を用いた算出手法の例に相当する。但し、ここでの所定値は、一般的に胸部領域や腹部領域に生じ得る距離の変化による標準偏差を超えるような値に設定されることで、側腹領域の膨脹面積を算出することができる。
【0121】
所定値の設定に関して補足する。膨脹面積に対応する側腹領域、つまり矢状面に垂直な方向に膨脹及び収縮する部分では、身体が存在する距離から身体が存在しない距離（例えばベッドまでの距離）まで距離値が変化する。従って、側腹領域での前額面に垂直な方向の変化は他の胸部領域及び他の腹部領域における前額面に垂直な方向の変化と比べて大きくなり、側腹領域では他の胸部領域及び他の腹部領域に比べて標準偏差も大きくなる。そのため、側腹領域の膨脹面積を算出するための上記の所定値は、一般的に胸部領域や腹部領域に生じ得る距離の変化による標準偏差を超えるような値に設定される。
【0122】
あるいは、特徴量算出部１６は、まず標準偏差画像における標準偏差が所定値以上の画素を抽出し、抽出した画素群のみについて、胸部領域及び腹部領域のいずれかに該当するか否かを判定してもよい。そして、特徴量算出部１６は、該当する画素群の面積を側腹領域の膨脹面積として算出するとよい。この場合、抽出した画素群のうち、胸部領域と腹部領域に該当するものが、側腹領域の膨脹面積に対応する画素群になり、肩部領域に該当する画素群は膨脹面積の算出の対象外とすればよい。但し、ここでの抽出において使用する所定値も、上述したように設定された値としておく。
【0123】
また、特徴量算出部１６は、右側の側腹領域と左側の側腹領域のそれぞれについて、膨脹面積を算出し、それらを呼吸特徴量とすることもできる。
【0124】
（（呼吸特徴量の例：側腹領域の標準偏差の平均値））
特徴量算出部１６は、側腹領域の、標準偏差画像が示す標準偏差の平均値を、呼吸特徴量の１つとして算出することもできる。側腹領域は、例えば、上述したように胸部領域及び腹部領域における膨脹面積に対応する領域として検出することができる。また、特徴量算出部１６は、右側の側腹領域と左側の側腹領域のそれぞれについて、標準偏差画像が示す標準偏差の平均値を算出し、それらを呼吸特徴量とすることもできる。
特徴量算出部１６は、側腹領域の、標準偏差画像が示す標準偏差の平均値を、呼吸特徴量の１つとして算出することもできる。側腹領域は、例えば、上述したように胸部領域及び腹部領域における膨脹面積に対応する領域として検出することができる。また、特徴量算出部１６は、右側の側腹領域と左側の側腹領域のそれぞれについて、標準偏差画像が示す標準偏差の平均値を算出し、それらを呼吸特徴量とすることもできる。
【0125】
（（呼吸特徴量の例：肩部領域の膨脹面積））
特徴量算出部１６は、肩部領域における肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を算出することもできる。肩部膨脹収縮領域の膨脹面積は、肩部領域における、少なくとも横断面（水平面）に垂直な方向の動きを表現できる値であるため、呼吸特徴量の１つとして使用することができる。
特徴量算出部１６は、肩部領域における肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を算出することもできる。肩部膨脹収縮領域の膨脹面積は、肩部領域における、少なくとも横断面（水平面）に垂直な方向の動きを表現できる値であるため、呼吸特徴量の１つとして使用することができる。
【0126】
ここで、肩部膨脹収縮領域は、肩部領域における被験者９０の前額面と矢状面との交線の方向（つまり横断面に垂直な方向）に膨脹及び収縮し得る領域とする。また、膨脹状態とは、横断面に垂直な方向に、例えば最も膨脹した状態を指すことができる。収縮状態とは、横断面に垂直な方向に、例えば最も収縮した状態を指すことができるが、側腹領域について説明した通り誤差を考慮することもできる。また、ここでの膨脹面積は肩部が収縮状態から膨脹状態へ拡張した面積であるため、拡張面積と称することもできる。
【0127】
肩部膨脹収縮領域は、肩部領域に存在し、胸部領域、腹部領域、及び腰部領域には存在しないと言える。よって、特徴量算出部１６は、肩部領域の分割標準偏差画像に基づき、肩部膨脹収縮領域を特定し、その肩部膨脹収縮領域の面積を膨脹面積として算出することができる。
【0128】
例えば、特徴量算出部１６は、肩部領域の分割標準偏差画像に基づき、所定値以上の標準偏差を持つ画素群の領域を抽出し、抽出した領域を肩部膨脹収縮領域として、この肩部膨脹収縮領域の膨脹面積を算出することができる。無論、肩部領域の標準偏差において所定値以上の領域を抽出し、右端の所定面積以上の面積を右側肩部膨脹面積とし、且つ、左端の所定面積以上の面積を左側肩部膨脹面積とし、それらを加算して膨脹面積とすることもできる。
【0129】
この算出手法も、側腹領域の膨脹面積の算出について説明した通り、上述した閾値処理を用いた算出手法の例に相当する。但し、ここでの所定値は、一般的に肩部領域に生じ得る距離の変化による標準偏差を超えるような値に設定されることで、肩部膨脹収縮領域の膨脹面積を算出することができる。
【0130】
所定値の設定に関して補足する。肩部に生じ得る膨脹面積に対応する肩部膨脹収縮領域、つまり横断面に垂直な方向に膨脹及び収縮する部分では、身体が存在する距離から身体が存在しない距離（例えばベッドまでの距離）まで距離値が変化する。従って、肩部領域での横断面に垂直な方向の変化は他の肩部領域における横断面に垂直な方向の変化と比べて大きくなり、肩部膨脹収縮領域では他の肩部領域に比べて標準偏差も大きくなる。そのため、肩部膨脹収縮領域の膨脹面積を算出するための上記の所定値は、一般的に肩部領域に生じ得る距離の変化による標準偏差を超えるような値に設定される。
【0131】
あるいは、特徴量算出部１６は、まず標準偏差画像における標準偏差が所定値以上の画素を抽出し、抽出した画素群のみについて、肩部領域に該当するか否かを判定し、該当する画素群の面積を肩部膨脹収縮領域の膨脹面積として算出することができる。この場合、抽出した画素群のうち、肩部領域に該当するものが、肩部膨脹収縮領域の膨脹面積に対応する画素群になり、胸部領域及び腹部領域に該当する画素群は膨脹面積の算出の対象外とすればよい。但し、ここでの抽出において使用する所定値も、上述したように設定された値としておく。
【0132】
また、特徴量算出部１６は、右側の肩部膨脹収縮領域と左側の肩部膨脹収縮領域のそれぞれについて、膨脹面積を算出し、それらを呼吸特徴量とすることもできる。
【0133】
（（呼吸特徴量の例：肩部領域の標準偏差の平均値））
特徴量算出部１６は、肩部膨脹収縮領域の、標準偏差画像が示す標準偏差の平均値を、呼吸特徴量の１つとして算出することもできる。肩部膨脹収縮領域は、例えば、上述したように肩部領域における膨脹面積に対応する領域として検出することができる。また、特徴量算出部１６は、右側の肩部膨脹収縮領域と左側の肩部膨脹収縮領域のそれぞれについて、標準偏差画像が示す標準偏差の平均値を算出し、それらを呼吸特徴量とすることもできる。
特徴量算出部１６は、肩部膨脹収縮領域の、標準偏差画像が示す標準偏差の平均値を、呼吸特徴量の１つとして算出することもできる。肩部膨脹収縮領域は、例えば、上述したように肩部領域における膨脹面積に対応する領域として検出することができる。また、特徴量算出部１６は、右側の肩部膨脹収縮領域と左側の肩部膨脹収縮領域のそれぞれについて、標準偏差画像が示す標準偏差の平均値を算出し、それらを呼吸特徴量とすることもできる。
【0134】
（評価部１７）
評価部１７は、学習済みモデルに、特徴量算出部１６で算出された呼吸特徴量を入力することで評価ラベルを得る。この学習済みモデルは、呼吸特徴量を入力しその呼吸特徴量に対応する被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習モデルであり、呼吸特徴量から評価ラベルを推定する推定モデルであると言える。機械学習時に使用されるデータセットに含まれるこの評価ラベルは、専門家により付されることができる。このデータセットは、学習対象となる多くの被験者９０についてのデータセットを含むことになる。
評価部１７は、学習済みモデルに、特徴量算出部１６で算出された呼吸特徴量を入力することで評価ラベルを得る。この学習済みモデルは、呼吸特徴量を入力しその呼吸特徴量に対応する被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習モデルであり、呼吸特徴量から評価ラベルを推定する推定モデルであると言える。機械学習時に使用されるデータセットに含まれるこの評価ラベルは、専門家により付されることができる。このデータセットは、学習対象となる多くの被験者９０についてのデータセットを含むことになる。
【0135】
特徴量算出部１６で算出する呼吸特徴量は、被験者９０の少なくとも胸部の動きと腹部の動きとに基づくものであり、呼吸運動機能の評価に必要な特徴量である。そして、評価部１７は、被験者９０の呼吸運動機能の評価を専門家が網羅的に行った結果としての評価ラベルを機械学習した結果を用いて、評価ラベルを推定することになる。よって、評価部１７では、専門家が行うような評価結果を推定することが可能になる。また、この評価結果を後述の表示制御部１９で表示装置３０に表示させることで、専門家が行う呼吸運動評価の結果に基づいた呼吸運動の理解及び効果的な呼吸トレーニングなどが可能となる。
【0136】
また、上述の評価ラベルは、次の第１評価ラベルと第２評価ラベルの少なくとも一方を含むことができる。
【0137】
第１評価ラベルは、被験者９０の前額面に垂直な方向の動きに係わる呼吸機能を評価したラベルである。第１評価ラベルは、例えば標準偏差の平均値など、前額面に垂直な方向の動きに係わる呼吸特徴量に対応する評価ラベルである。専門家は、前額面に垂直な方向の動きに係わる呼吸特徴量に基づき、第１評価ラベルを付することになる。この場合、評価部１７は、学習済みモデルとして、この呼吸特徴量と第１評価ラベルとを含むデータセットで学習モデルを機械学習させた第１学習済みモデルを用いて、第１評価ラベルを出力することができる。
【0138】
第２評価ラベルは、被験者９０の矢状面に垂直な方向の動きに係わる呼吸機能を評価したラベルである。第２評価ラベルは、例えば側腹面積や肩部膨脹収縮領域の膨脹面積など、矢状面に垂直な方向の動きに係わる呼吸特徴量に対応する評価ラベルである。専門家は、矢状面に垂直な方向の動きに係わる呼吸特徴量に基づき、第２評価ラベルを付することになる。この場合、評価部１７は、学習済みモデルとして、この呼吸特徴量と第２評価ラベルとを含むデータセットで学習モデルを機械学習させた第１学習済みモデルを用いて、第２評価ラベルを出力することができる。
【0139】
評価ラベルが第１評価ラベルと第２評価ラベルの双方を含む場合、評価部１７は、学習済みモデルとして、第１学習済みモデルと第２学習済みモデルとを用いて、第１評価ラベルと第２評価ラベルとを出力することができる。このように、評価部１７が使用する学習済みモデルは、前額面垂直方向に関する評価ラベルと矢状面垂直方向に関する評価ラベルとのそれぞれを出力するための第１学習済みモデルと第２学習済みモデルとを含むことができる。
【0140】
あるいは、評価部１７は、学習済みモデルとして、呼吸特徴量と第１評価ラベルと第２評価ラベルとを含むデータセットで学習モデルを機械学習させた学習済みモデルを用いて、第１評価ラベル及び第２評価ラベルを出力することもできる。このように、評価部１７が使用する学習済みモデルは、前額面垂直方向に関する評価ラベルと矢状面垂直方向に関する評価ラベルとの双方を出力する１つの学習済みモデルであってもよい。
【0141】
なお、評価部１７で用いる学習済みモデルのアルゴリズム等は問わず、既存の機械学習モデルを適用することができる。この機械学習モデルとしては、例えば、ロジスティック回帰モデル、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅなどの分類モデルを適用することができる。なお、この学習済みモデルは、評価部１７内に設けた記憶装置あるいは記憶部１８に記憶されることができる。
【0142】
（記憶部１８）
記憶部１８は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１８は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１８は、制御部１１によって実行される制御プログラム及び演算プログラム等を記憶するための機能を備える。また、記憶部１８は、処理中のデータ等を一時的に記憶する機能や、処理後のデータを後述する表示制御部１９で表示装置３０に表示させる対象の情報を記憶する機能を備える。
記憶部１８は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１８は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１８は、制御部１１によって実行される制御プログラム及び演算プログラム等を記憶するための機能を備える。また、記憶部１８は、処理中のデータ等を一時的に記憶する機能や、処理後のデータを後述する表示制御部１９で表示装置３０に表示させる対象の情報を記憶する機能を備える。
【0143】
（表示制御部１９）
表示制御部１９は、表示装置３０に有線又は無線で接続するための通信インタフェース等のインタフェースを備えることができる。表示制御部１９は、実施形態１で説明した出力部の一例であり、算出された呼吸特徴量を表示装置３０に表示させるように制御する。また、表示制御部１９は、標準偏差画像及び分割位置を示す情報、あるいは分割標準偏差画像を表示装置３０に表示させるように制御することもできる。
表示制御部１９は、表示装置３０に有線又は無線で接続するための通信インタフェース等のインタフェースを備えることができる。表示制御部１９は、実施形態１で説明した出力部の一例であり、算出された呼吸特徴量を表示装置３０に表示させるように制御する。また、表示制御部１９は、標準偏差画像及び分割位置を示す情報、あるいは分割標準偏差画像を表示装置３０に表示させるように制御することもできる。
【0144】
また、表示制御部１９は、特徴量算出部１６によって算出された呼吸特徴量、あるいは呼吸特徴量及びその呼吸特徴量に対応する被験者９０へのアドバイスを表示装置３０に表示させるように制御することもできる。また、表示制御部１９は、評価部１７による評価結果、あるいは評価結果及びその評価結果に対応する被験者９０へのアドバイスを表示装置３０に表示させるように制御することもできる。
【0145】
また、表示制御部１９は、呼吸特徴量の履歴など、表示対象の履歴を表示装置３０に表示させるように制御することもできる。表示対象の履歴となる各データは、記憶部１８に格納しておくことができる。被験者９０は、履歴を確認できることで、自身の呼吸トレーニングの成果や検査結果の変移を確認し、今後に活かすことができる。
【0146】
また表示制御部１９は、被験者９０へのアドバイスに限らず、呼吸特徴量に予め関連付けられた被験者９０へのメッセージを、表示装置３０に表示させるように制御することもできる。また、表示制御部１９は、評価結果など、呼吸特徴量以外の結果についても同様に、結果に予め関連付けられた被験者へのメッセージを表示装置３０に表示させるように制御することもできる。アドバイス以外のメッセージとしては、例えば、被験者９０の姿勢などの特徴を示すメッセージなどが挙げられる。これにより、本実施形態では、結果表示を行った場合の効果として、被験者９０又は被験者９０のセラピスト等がその結果表示に基づき必要なトレーニングの構成を決定することができる。
【0147】
（情報処理装置１０の各構成要素についての補足）
なお、情報処理装置１０における画像データ取得部１２、標準偏差画像算出部１３、分割位置検出部１４、分割部１５、特徴量算出部１６、評価部１７、及び表示制御部１９の各構成要素は、例えばプログラムを含んで実現できる。つまり、各構成要素は、例えば制御部１１の制御によって、プログラムを実行させることによって実現できる。より具体的には、これらの構成要素は、記憶部１８に格納されたプログラムを、制御部１１が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。
なお、情報処理装置１０における画像データ取得部１２、標準偏差画像算出部１３、分割位置検出部１４、分割部１５、特徴量算出部１６、評価部１７、及び表示制御部１９の各構成要素は、例えばプログラムを含んで実現できる。つまり、各構成要素は、例えば制御部１１の制御によって、プログラムを実行させることによって実現できる。より具体的には、これらの構成要素は、記憶部１８に格納されたプログラムを、制御部１１が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。
【0148】
また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。
【0149】
【0150】
図５は、図３の表示システム１００における処理の一例を説明するためのフロー図である。図６は、表示システム１００における撮像装置２０によって取得された距離画像の一例を示す模式図である。図７は、情報処理装置１０によって図６の距離画像から算出された標準偏差画像の一例を示す模式図である。図８は、情報処理装置１０によって算出される標準偏差画像の領域分割の一例を示す模式図で、呼吸特徴量を算出する分割領域の一例を示す模式図である。
【0151】
まず、情報処理装置１０において、画像データ取得部１２が、撮像装置２０から、呼吸運動中の被験者９０との距離を測定した距離画像系列及び被験者９０の関節の位置を示す関節キーポイントを取得する（ステップＳ１１）。ステップＳ１１で取得される関節キーポイントは、関節位置データの一部であり、距離画像系列から不要な領域のデータを取り除くために使用すること、並びに標準偏差画像を分割する分割処理で使用することができる。
【0152】
距離画像系列が示す１時刻における距離画像は、例えば、図６で例示するような距離画像２０Ｄとすることができる。なお、図６では、便宜上、ハッチングの違いにより距離の違いを表現しており且つ背景の他に２つの距離値しか表現していない。但し、実際には、当然、距離値は背景の距離以外にさらに多くの値を含むことができる。また、以下では、図６の距離画像２０Ｄを処理対象とする例を挙げるが、図６以降の画像を示す図面においては、便宜上、被験者９０の身体の形状以外において処理結果の一例を概略的に示したに過ぎない。
【0153】
次に、標準偏差画像算出部１３が、関節キーポイントに基づき、距離画像系列に対して距離画像データに前処理を施し、前処理後の距離画像データについて標準偏差を計算し、標準偏差画像を生成する（ステップＳ１２）。ここでの前処理は例えば画像の向き等を調整する処理を含むことができる。
【0154】
ステップＳ１２の処理により、距離画像２０Ｄは、例えば図７に示す標準偏差画像２０ＫＰのような標準偏差画像が生成されることになる。図７では、縦軸が画素の行（単位は、画素（ｐｉｘｅｌ））、横軸が画素の列（単位は、画素（ｐｉｘｅｌ））を表している。なお、図７の標準偏差画像２０ＫＰは、生成された標準偏差画像において、関節キーポイント２０ｋｐａ，２０ｋｐｂ，２０ｋｐｃとそれらに基づく分割線（分割ライン）２０ｓｃ，２０ｌｒ，２０ｃｂ，２０ｂｗを示したものである。以下では、便宜上、図７の標準偏差画像２０ＫＰにおける関節キーポイント及び分割ラインを除いた、ステップＳ１２で生成される標準偏差画像も「標準偏差画像２０ＫＰ」として説明する。
【0155】
ステップＳ１２に続き、標準偏差画像算出部１３が、標準偏差画像２０ＫＰに閾値処理を施す（ステップＳ１３）。この閾値処理は、標準偏差画像２０ＫＰの各画素値である各標準偏差値が所定値以上であるか否かを判定し、所定値以上である標準偏差値の画素群を抽出する処理である。
【0156】
ステップＳ１３に続き、分割位置検出部１４が関節キーポイントに基づき分割位置を検出し、分割部１５がその分割位置で標準偏差画像２０ＫＰを分割する（ステップＳ１４）。ステップＳ１４では、例えば胸骨の上端の関節キーポイント２０ｋｐａに基づき標準偏差画像２０ＫＰを分割ライン２０ｓｃ、分割ライン２０ｌｒでそれぞれ上下、左右に分割することができる。分割ライン２０ｌｒや分割ライン２０ｓｃは、関節キーポイント２０ｋｐａのみを用いて画像上の方向から決定することができるが、みぞおち（胸骨の下端）の関節キーポイント２０ｋｐｂも合わせて用いて決定することもできる。また、分割ライン２０ｓｃは、図示しない鎖骨の関節キーポイントに基づき決定されることもできる。
【0157】
また、ステップＳ１４では、みぞおちの関節キーポイント２０ｋｐｂに基づき標準偏差画像２０ＫＰを分割ライン２０ｃｂで胸部領域と腹部領域とに分割することができる。分割ライン２０ｃｂは、例えば分割ライン２０ｌｒに対して左右に所定の角度を付けて決定されることができる。この所定の角度は、例えば、人の助骨の平均的な角度に基づいて設定されることができる。また、図１６等を参照しながら後述するが、より正確に分割ライン２０ｃｂを決定するために、標準偏差画像２０ＫＰが示す標準偏差の値を利用することができる。
【0158】
また、ステップＳ１４では、骨盤上部（腸骨上部）の関節キーポイント２０ｋｐｃに基づき標準偏差画像２０ＫＰを分割ライン２０ｂｗで腹部領域と腰部領域とに分割することができる。なお、ここでは腕部領域の分割についての説明は省略している。また、ステップＳ１４では、ステップＳ１３で閾値処理後の画像について分割処理を行うようにすることもできる。
【0159】
ステップＳ１４での分割処理により、例えば図８において一点鎖線で示すように、被験者９０の主に頭部を除く上半身の部分が分割される。図８では、分割処理の結果として、右胸、左胸、右腹、左腹、右肩、左肩、右腰、左腰に分割された例を示している。
【0160】
ステップＳ１４に次いで、特徴量算出部１６が、各分割領域の面積を算出する（ステップＳ１５）。ステップＳ１５では、特徴量算出部１６が、ステップＳ１３の閾値処理を経た所定値以上の画素群について、分割領域毎の面積Ｓｉ，ｊを算出する。
Ｓｉ，ｊ ｉ∈｛ｒｉｇｈｔ，ｌｅｆｔ｝、ｊ∈｛ｓｈｏｕｌｄｅｒ，ａｂｄｏｍｅｎ｝
Ｓｉ，ｊ ｉ∈｛ｒｉｇｈｔ，ｌｅｆｔ｝、ｊ∈｛ｓｈｏｕｌｄｅｒ，ａｂｄｏｍｅｎ｝
【0161】
なお、ここでの面積算出対象の分割領域は、上式のように右肩領域、左肩領域、右腹領域、左腹領域を含めばよく、他の領域は除外することができる。但し、胸部領域の一部も側腹領域となる場合があるため、右胸領域、左胸領域についての面積も算出しておくこともできる。
【0162】
ステップＳ１５では、ステップＳ１３の閾値処理を経た所定値以上の画素群について、分割領域毎の面積を算出することで、拡張運動の大きさを算出することができる。具体的には、ステップＳ１５の処理により、側腹部にある側腹領域の拡張運動の大きさを示す面積が画素数（ｐｉｘｅｌ数）として算出され、肩部にある肩部膨脹収縮領域の拡張運動の大きさが画素数（ｐｉｘｅｌ数）として算出される。よって、ステップＳ１５の算出結果は、呼吸特徴量の一種として利用することができる。
【0163】
補足すると、側腹領域の拡張運動の面積は、図８で例示する右側腹領域の面積と左側腹領域の面積とで表現できる。右側腹領域は、収縮時の右腹外縁２０ｒｓと膨脹時の右腹外縁２０ｒｂとの差で表現される領域である。左側腹領域は、収縮時の左肩外縁２０ｌｓｓと膨脹時の左腹外縁２０ｌｂとの差で表現される領域である。また、肩部膨脹収縮領域の拡張運動の面積は、図８で例示するように右肩膨脹収縮領域の面積と左肩膨脹収縮領域の面積とで表現できる。右肩膨脹収縮領域は、収縮時の右肩外縁２０ｒｓｓと膨脹時の右肩外縁２０ｒｂｓとの差で表現される領域である。左肩膨脹収縮領域は、収縮時の左肩外縁２０ｌｓｓと膨脹時の左肩外縁２０ｌｂｓとの差で表現される領域である。
【0164】
ステップＳ１５に次いで、特徴量算出部１６が、左右胸腹部についての、つまり左右の胸部領域及び左右の腹部領域についての分割標準偏差画像の標準偏差の平均値μｉ，ｋ
ＳＤを算出する（ステップＳ１６）。これにより、胸腹部の前後方向（前額面に垂直な方向）への運動の大きさを算出することができる。なお、大きさの単位は例えばｍｍとすることができる。
μｉ，ｋ ＳＤ ｉ∈｛ｒｉｇｈｔ，ｌｅｆｔ｝、ｋ∈｛ｃｈｅｓｔ，ａｂｄｏｍｅｎ｝
μｉ，ｋ ＳＤ ｉ∈｛ｒｉｇｈｔ，ｌｅｆｔ｝、ｋ∈｛ｃｈｅｓｔ，ａｂｄｏｍｅｎ｝
【0165】
ここで、ステップＳ１６で算出に用いる標準偏差は、上述した閾値処理を経ない各分割領域の画素群についての標準偏差とすることができるが、閾値処理を経た所定値以上の画素群について分割領域毎の平均値を算出することもできる。いずれの算出対象であっても、ステップＳ１６の算出結果は、呼吸特徴量の一種として利用することができる。
【0166】
ステップＳ１６に次いで、特徴量算出部１６が、分割領域のそれぞれの間における分割標準偏差画像の同期性を算出する（ステップＳ１７）。ここで算出対象となる分割領域は、例えば、胸部領域と腹部領域とすること、あるいは左側領域と右側領域とすること、あるいは左側胸部領域と右側胸部領域と左側腹部領域と右側腹部領域とすることができる。同期性の算出方法は、上述したように各分割標準偏差画像間の類似性を算出する手法などを採用することができる。但し、上述したように、時系列の距離画像データ等の画像データから分割領域間の同期性を算出する手法を採用することもできる。なお、ステップＳ１５～Ｓ１７の順序は問わない。
【0167】
ステップＳ１５～Ｓ１７に次いで、評価部１７が学習済みモデルを用いて評価ラベルを推定する（ステップＳ１８）。ステップＳ１８では、評価部１７がステップＳ１５～Ｓ１７で算出された呼吸特徴量を学習済みモデルへ入力し、学習済みモデルからの出力として評価ラベルを得ることで、評価ラベルの推定を行う。なお、学習済みモデルへ入力される呼吸特徴量は複数存在するため、学習済みモデルへは呼吸特徴量ベクトルを入力すると言える。
【0168】
ここで、ステップＳ１８の説明に先立ち、学習済みモデルの生成処理例、つまり学習工程での処理例について説明する。まず、専門家による評価ラベルの付与の例について、図９～図１１を参照しながら説明する。図９は、情報処理装置１０の制御により表示装置３０に表示される、分割標準偏差画像の一例を示す図である。図１０は、側方から見て被験者９０を評価した評価ラベルの一例を示す図で、図１１は、正面から見て被験者９０を評価した評価ラベルの一例を示す図である。
【0169】
ステップＳ１４の処理により、標準偏差画像２０ＫＰに対する胸腹部分割処理及び左右分割処理が完了する。その後、専門家が評価ラベルを付す際に参考にするために、標準偏差画像２０ＫＰを分割結果とともに表示装置３０へ表示させる。無論、表示先となる表示装置３０は専門家が閲覧できる表示装置であるとする。
【0170】
このような表示例について説明する。表示制御部１９が、例えば図９の分割ライン２０ｃｂ，２０ｌｒ，２０ｂｃで示されるその領域分割結果を、標準偏差画像２０ＫＰに重畳するような描画を行い、描画結果の画像を表示装置３０に表示させる。なお、図９に示す画像３０ＳＬでは、図１６等を参照しながら後述する胸腹部分割処理及び左右分割処理の結果である分割ライン２０ｃｂ，２０ｌｒを図示している。
【0171】
表示制御時において、図９に示す画像３０ＳＬのように、標準偏差値が示す動きの大きさを示す凡例と各分割領域の名称との少なくとも一方を含んだ画像を表示させることができる。なお、画像３０ＳＬにおいて、各分割領域の名称「右胸」、「左胸」、「右腹」、「左腹」は、標準偏差画像の外側に引出線などを利用して表示してもよい。なお、図９では、標準偏差値の差をハッチングの濃さで示した例を示しているが、実際には多色のグラデーションで表現することもできる。なお、画像３０ＳＬでは、分割ライン２０ｂｃにより腹部領域と腰部領域とに分割した結果も示し、並びに胸部領域と腕部領域とを分割した結果も示しており、これらの分割は関節キーポイントに基づき実行されることができる。
【0172】
そして、専門家は、画像３０ＳＬを確認しながら、図１０で例示する評価ラベル１７ａ及び図１１で例示する評価ラベル１７ｂの空欄に、チェックを入れるなどの入力を行う。評価ラベル１７ａでは、側方から見て被験者９０の動きを、動きのある部位、背中の反りの有無として評価するものであり、評価ラベル１７ｂは、正面から見て被験者９０の動きを、動きのある部位、肩の上がりの有無として評価するものである。また、この際、専門家は、被験者９０の呼吸機能についての他の評価も入力するようにしてもよい。
【0173】
専門家によって入力された評価の情報は、算出された呼吸特徴量とともに、学習済みモデルの生成のためのデータのセット（学習データセット）の一部とし、未学習モデルに入力され、機械学習がなされることができる。また、学習データセットには、被験者９０の性別、胸のサイズ、ＢＭＩ（Body Mass Index）等の被験者情報を含むことができる。
【0174】
次いで、このようにして生成された学習済みモデルを用いたステップＳ１８の処理例、つまり運用工程の処理例について説明する。評価部１７は、ステップＳ１５～Ｓ１７で算出された呼吸特徴量ベクトルを学習済みモデルへ入力し、図１０の評価ラベル１７ａ及び図１１の評価ラベル１７ｂの出力結果を得る。但し、この場合に得られる評価ラベル１７ａ及び評価ラベル１７ｂは、空欄が学習済みモデルからの出力として埋められたものとなる。また、学習データセットに被験者情報などの他の情報を含めた場合には、学習済みモデルへは、呼吸特徴量ベクトルに加えてこの情報を入力することができる。
【0175】
ステップＳ１８に次いで、表示制御部１９が被験者９０についての検査結果を表示装置３０に表示させ（ステップＳ１９）、処理を終了する。この検査結果には、この評価ラベル１７ａ，１７ｂを含むことができる。被験者９０又は被験者９０のセラピスト等の指導者は、この評価ラベル１７ａ，１７ｂを確認し、被験者９０の呼吸運動の状態を確認することができる。表示制御部１９がこの評価ラベル１７ａ，１７ｂを表示装置３０に表示させることで、専門家が行う呼吸運動評価の結果に基づいた呼吸運動の理解及び効果的な呼吸トレーニングなどが可能となる。また、表示制御部１９は、図９の画像３０ＳＬのように被験者９０の動きを示す画像を表示装置３０に表示させることもできる。
【0176】
次に、ステップＳ１９で表示させることができる他の表示内容について、図１２～図１５を参照しながら説明する。図１２は、情報処理装置１０の制御により表示装置３０に表示される、被験者９０の呼吸特徴の一例を示す図で、図１３は、情報処理装置１０の制御により表示装置３０に表示される、被験者９０の呼吸特徴の他の例を示す図である。図１４は、情報処理装置１０の制御により表示装置３０に表示される、被験者９０の呼吸特徴量の一例を示す図で、図１５は、情報処理装置１０の制御により表示装置３０に表示される、被験者９０の呼吸特徴量の他の例を示す図である。
【0177】
表示制御部１９は、図１２の表示画像３０ａで例示するように、特徴量算出部１６によって算出された呼吸特徴量に対応する、被験者９０の姿勢を知らせる情報等のメッセージを、表示装置３０に表示させるように制御することもできる。
【0178】
図１２で例示する表示画像３０ａは、被験者９０の呼吸の特徴を側方から見た様子と、被験者９０の呼吸の特徴を正面から見た様子と、を含んでいる。また、表示画像３０ａは、被験者９０を示す外形画像２０ｂｏとともに、呼吸の特徴を示すための動きの大きさを表現するための外形線（太い破線で図示）と、呼吸の特徴を示すメッセージと、を含んだ例を挙げている。なお、外形線の表示形態はこれに限らず、外形画像２０ｂｏに対して色を変えてもよいし、外形線の代わりに外形画像２０ｂｏとは異なる表示形態での外形画像を用いてもよい。
【0179】
表示画像３０ａには、呼吸の特徴を示すメッセージとして、被験者の呼吸運動時の姿勢を知らせる姿勢情報を含んでいる。ここでは、姿勢情報として、側方から見た呼吸特徴において「胸だけ動いている」及び「背中が反っている」旨のメッセージとともに、正面から見た呼吸特徴において「左肩が上がっている」及び「左側の膨らみが小さい」旨のメッセージを含んだ例を挙げている。このメッセージを確認した又はセラピスト等の指導者から伝えられた被験者９０は、このメッセージの内容を解消するように、呼吸トレーニングを行うことができる。
【0180】
図１３で例示する表示画像３０ｂは、表示画像３０ａと同様の内容を含むが、算出される呼吸特徴量が異なる。そのため、表示画像３０ｂは、表示画像３０ａと比べて、呼吸の特徴を示すための動きの大きさを表現するための外形線の形状が異なり、また呼吸の特徴を示す姿勢情報も一部異なる。表示画像３０ｂでは、姿勢情報として、次のメッセージを含んだ例を挙げている。即ち、このメッセージは、側方から見た呼吸特徴において「腹だけ動いている」及び「背中が反っている」旨のメッセージと、正面から見た呼吸特徴において「左肩が上がっている」及び「左側の膨らみが小さい」旨のメッセージと、を含んでいる。
【0181】
また、表示させるメッセージは、呼吸特徴量に予め関連付けて格納しておき、呼吸特徴量に応じて対応するメッセージを呼び出すことができる。また、表示させるメッセージには、呼吸特徴量に対応する被験者９０へのアドバイスを含むことができる。また、このアドバイス等のメッセージには、呼吸特徴量の履歴に基づく、つまり呼吸トレーニング等によって生じ得る呼吸特徴量の変化に基づくメッセージを含むこともできる。
【0182】
あるいは、表示させるメッセージは、評価結果に予め関連付けて格納しておき、評価結果に応じて対応するメッセージを呼び出すことができる。つまり、表示制御部１９は、評価部１７による評価結果に対応する被験者９０へのアドバイスや被験者９０の姿勢を知らせる情報等のメッセージを表示装置３０に表示させるように制御することもできる。このアドバイス等のメッセージには、評価結果の履歴に基づく、つまり呼吸トレーニング等によって生じ得る評価結果の変化に基づくメッセージを含むこともできる。
【0183】
また、表示制御部１９は、図１４の表示画像３０ｃで例示するように、特徴量算出部１６によって算出された呼吸特徴量を表示装置３０に表示させるように制御することもできる。表示画像３０ｃでは、各分割領域における呼吸特徴量の履歴を含むが、最新回で算出された呼吸特徴量だけを含むこともできる。
【0184】
ここで、表示画像３０ｃでは、左右の分割領域については下の欄と上の欄に値を含み、胸部、腹部、側腹部、肩部のそれぞれについてはタブを選択することで、対応する部位の値が表示されるようになっている。表示画像３０ｃは、胸部のタブ３１ａが選択された場合の表示内容であり、検査又は呼吸トレーニングの回数に応じた右側胸部領域での標準偏差の平均値と左側胸部領域での標準偏差の平均値とが棒グラフとして示されている。
【0185】
このような呼吸特徴量を確認した又はセラピスト等の指導者から伝えられた被験者９０は、その内容を解消するように呼吸トレーニングを行うことができる。例えば第１回、第２回について説明すると、この被験者９０は呼吸運動時において右側の胸の方が左側の胸に比べて動きが大きいため、それを平均化するように、呼吸トレーニングを行うことができる。
【0186】
同様に、腹部のタブが選択された場合には、検査又は呼吸トレーニングの回数に応じた右側腹部領域での標準偏差の平均値と左側腹部領域での標準偏差の平均値とを棒グラフで表示することができる。側腹部のタブが選択された場合には、検査又は呼吸トレーニングの回数に応じた右の側腹領域の面積と左の側腹領域の面積とを棒グラフで表示することができる。肩部のタブが選択された場合には、検査又は呼吸トレーニングの回数に応じた右の肩部膨脹収縮領域の面積と左の肩部膨脹収縮領域の面積とを棒グラフで表示することができる。
【0187】
また、表示画像３０ｃでは、１日における検査又は呼吸トレーニングの回数の履歴が表示される例を挙げている。但し、表示対象の履歴の期間を選択するボタン３２を選択することで、図１５で例示する表示画像３０ｄのように、例えば月曜日から日曜日までの一週間における検査又は呼吸トレーニングの日毎の履歴が表示されるようにしてもよい。日毎の履歴としては、各日について、例えば一日での平均値を表示させることができる。表示画像３０ｄでは、ボタン３２ａが日を表す表記から週を表す表記に変わっているのが分かる。また、ボタン３２を選択することで、トグル方式又はプルダウンメニュー方式で日、週、月、年など表示される期間を変えるようにすることができる。
【0188】
また、表示制御部１９は、評価部１７による評価結果を表示装置３０に表示させるように制御することもできる。評価結果は、例えば評価ラベル１７ａ，１７ｂの空欄を埋めたものとすることができる。
【0189】
本実施形態では、上述のような様々な情報の一部又は全部の表示を行った場合の効果として、被験者９０又は被験者９０のセラピスト等がその表示内容に基づき必要なトレーニングの構成を決定することができる。表示させる内容は、呼吸特徴量や評価結果、あるいはそれらに関連付けられたメッセージに限ったものではない。表示制御部１９は、他の解析結果などの各種情報も表示装置３０に表示させるように制御することや、その情報に予め関連付けられた被験者へのメッセージを表示装置３０に表示させるように制御することもできる。
【0190】
（本実施形態の効果）
標準偏差画像を用いた領域分割処理の例の説明に先立ち、本実施形態の効果について説明する。以上の説明から分かるように、本実施形態によれば、実施形態１と同様に、被験者９０の胸腹部の動きに基づいて被験者９０の呼吸の特徴を示す呼吸特徴量を算出することができ、被験者９０の呼吸運動機能の評価に必要な呼吸特徴量を算出することができる。
標準偏差画像を用いた領域分割処理の例の説明に先立ち、本実施形態の効果について説明する。以上の説明から分かるように、本実施形態によれば、実施形態１と同様に、被験者９０の胸腹部の動きに基づいて被験者９０の呼吸の特徴を示す呼吸特徴量を算出することができ、被験者９０の呼吸運動機能の評価に必要な呼吸特徴量を算出することができる。
【0191】
さらに、本実施形態によれば、実施形態１に比して、このように算出された呼吸特徴量に基づき被験者９０の呼吸運動機能の評価を行うことができるため、評価の正確性を向上させることができる。この効果について補足する。例えば、腰痛などの運動器障害では異常な呼吸パターンが発生するため、呼吸運動中の胸腹部の運動検査及び運動評価が重要となる。また、専門家によるこれらの検査及び評価は属人性があるため、客観的、定量的な検査技術及び評価技術が必要となる。本実施形態では、各分割領域の動きに基づき呼吸特徴量を算出でき、専門家が学習段階において評価ラベルを付す場合にもこの呼吸特徴量を参照して付すことができるため、このような検査や評価の正確性を向上させることができると言える。また、本実施形態では、その評価を利用した指導の正確性も向上させることができ、効果的な指導が可能になる。
【0192】
さらに、本実施形態では、例えば左右の胸腹部領域の距離値の標準偏差の平均値と、左右肩部及び側腹部の拡張面積と、胸腹部の前後方向の同期性とを、呼吸特徴量として算出することができる。これらの呼吸特徴量は、被験者９０の呼吸運動機能を網羅できる情報である。よって、本実施形態では、実施形態１に比して、検査及び評価の正確性をさらに向上させることができると言える。
【0193】
また、本実施形態では、専門家が付与した運動機能障害等の評価ラベルを、機械学習アルゴリズムを用いて推定し、算出した呼吸特徴量と推定された評価ラベルを表示することができる。そのため、本実施形態では、実施形態１に比して、呼吸特徴量及び評価を利用した指導の正確性を向上させることができると言える。また、本実施形態では、表示させる呼吸特徴量及び評価に過去の履歴を含むことで、被験者９０の呼吸トレーニングの成果や検査結果の変移を確認し、今後に活かすことができる。これにより、本実施形態では、呼吸特徴量及び評価を利用した指導の正確性もさらに向上させることができる。
【0194】
また、本実施形態でも、実施形態１と同様に、医療機関でのリハビリテーションやヘルスケアサービスでの呼吸運動練習時にセラピスト等の指導者が使用することで、効果的な指導を行うことができるようになる。具体的には、本実施形態では、様々な情報の一部又は全部の表示を行った場合の効果として、被験者９０又は被験者９０のセラピスト等がその表示内容に基づき必要なトレーニングの構成を決定することができる。また、本実施形態では、情報処理装置１０又は情報処理装置１０及び表示装置３０を被験者が利用する端末装置などに実装することで、被験者が自宅に居ながら指導者から遠隔指導を受けることや自主トレーニングを行うことができるようになる。特に被験者が利用するタブレット端末等の可搬の端末装置に、情報処理装置１０の機能をアプリケーションなどとして搭載しておくことで、被験者９０にとってより呼吸トレーニングや検査を実施し易くなる。また、撮像装置２０はこの端末装置に実装されたカメラなどを利用することもできる。
【0195】
（標準偏差画像を用いた領域分割処理）
次に、図１６～図２０を参照しながら、標準偏差画像２０ＫＰを用いた胸腹部分割処理及び左右分割処理の例について説明する。図１６は、図３の表示システム１００における胸腹部分割処理及び左右分割処理の一例を説明するためのフロー図である。図１７は、情報処理装置１０によって図６の距離画像から算出された標準偏差画像の一例を示す模式図である。図１８は、情報処理装置１０によって図１７の標準偏差画像における或る画素列について算出された微分値の一例を示すグラフである。また、図１９は、情報処理装置１０によって決定される分割ラインの一例を示す図である。図２０は、情報処理装置１０によって生成される分割結果画像の一例を示す図である。
次に、図１６～図２０を参照しながら、標準偏差画像２０ＫＰを用いた胸腹部分割処理及び左右分割処理の例について説明する。図１６は、図３の表示システム１００における胸腹部分割処理及び左右分割処理の一例を説明するためのフロー図である。図１７は、情報処理装置１０によって図６の距離画像から算出された標準偏差画像の一例を示す模式図である。図１８は、情報処理装置１０によって図１７の標準偏差画像における或る画素列について算出された微分値の一例を示すグラフである。また、図１９は、情報処理装置１０によって決定される分割ラインの一例を示す図である。図２０は、情報処理装置１０によって生成される分割結果画像の一例を示す図である。
【0196】
なお、上述したように、表示システム１００における胸腹部分割処理及び左右分割処理は、以下に説明する例に限ったものではない。例えば、ここでは、関節位置データの一部が距離画像系列から生成した標準偏差画像を解析して得られるデータである例を挙げる。但し、関節位置データは、撮像装置２０で取得されること、換言すれば関節位置データは距離画像データとは独立して取得されたデータとすることもできる。
【0197】
まず、情報処理装置１０において、標準偏差画像算出部１３が、関節キーポイントに基づき、距離画像系列に対して距離画像データに前処理を施す。ここで、前処理とは、距離画像系列から不要な領域を削除して、画像が正位置でないのであれば、画像を正位置になるように回転させるような処理を指すことができる。不要な領域とは、今後処理に必要とならない領域を指すことができ、例えば首から上の領域や手の端側の領域や腰から下の領域などを指すことができる。また、上述の回転は、関節キーポイントに基づき、被験者９０についての矢状面、前額面、及び横断面について各面の交線の方向や位置を、処理に適したように正位置に調整するような処理を指す。なお、前処理には、領域の削除、画像の回転以外の画像の変形などの処理を含むこともできる。
【0198】
なお、このような前処理により、ステップＳ１１で入力された距離画像系列のそれぞれの距離画像について、例えば図６の距離画像２０Ｄで示されるような領域のデータを残すことができる。以下では、便宜上、距離画像２０Ｄで示す領域の距離画像系列を処理対象とする例を挙げる。
【0199】
次いで、標準偏差画像算出部１３が、前処理後の距離画像データについて標準偏差を計算し、標準偏差画像を生成する。この生成処理は図５のステップＳ１２の処理である。ステップＳ１２では、標準偏差画像算出部１３が、時系列の距離画像２０Ｄのそれぞれの画素に対し、時系列で存在する距離値の標準偏差を計算し、元の画素の位置に標準偏差値を配置した標準偏差画像を生成する。距離画像系列が示す１時刻における距離画像は、例えば図６で示す距離画像２０Ｄとすることができ、標準偏差画像は、図１７に示す標準偏差画像２０Ｓのように距離画像系列につき１枚の画像となる。なお、標準偏差画像２０Ｓは、図７の標準偏差画像２０ＫＰと生成される標準偏差画像自体は同じである。図１７では、図７と同様に、縦軸が画素の行（単位は、画素（ｐｉｘｅｌ））、横軸が画素の列（単位は、画素（ｐｉｘｅｌ））を表している。
【0200】
標準偏差画像２０Ｓでは、被験者９０が呼吸運動中に動きが多い領域が濃く表現されているのが分かる。標準偏差画像２０Ｓでは、例えば、両肩が良く動き、側腹部（脇腹部）がさらに動いている様子が分かり、両腕より腹の辺りがより動き、腹の辺りより胸の辺りの方がより動いている様子が分かる。
【0201】
次に、分割部１５が、標準偏差画像２０Ｓから、被験者９０の矢状面と前額面との交線の方向の微分値を示す画像である交線方向微分画像を生成し、各列の微分値の極小値及び極大値を計算する（ステップＳ２１）。なお、上記交線の方向の微分値とは、上記交線に平行な方向の微分値を指す。上記交線の方向は、被験者の身長方向、あるいは垂直方向と称することもできる。以下では、便宜上、垂直方向をＹ軸方向として説明する。
【0202】
被験者９０の身長方向は、距離画像や標準偏差画像上での被験者の身長方向を示す所定方向として予め定めておくことができるが、例えば、被験者の関節の位置を測定した関節位置データを入力し、その関節の位置に基づき求めることもできる。前者の場合、被験者を所定の姿勢且つ所定の位置に配した状態で測定を行っておけばよい。後者の場合、被験者の関節の位置のうち、被験者の位置及び姿勢を示すような複数のキーポイントとなる関節位置に基づき、被験者の身長方向を求めることができる。
【0203】
つまり、本実施形態において、矢状面と前額面との交線の方向などの「方向」は、入力される時系列の距離画像データにおいて既に被験者についての方向と合致していることもあるが、合致していないこともある。そして、後者の場合、合致させる作業として、上述したように、例えば関節位置を用いることができる。
【0204】
ここで生成される交線方向微分画像（Ｙ軸方向微分画像）について説明する。標準偏差画像２０Ｓの例えば、Ｙ軸方向の或る１つの画素列２０ｃについてＹ軸方向の微分値を計算すると、例えば図１８のグラフ２０Ｇｃで示すようになる。グラフ２０Ｇｃでは、縦軸が画素の行、横軸が微分値を表しており、黒丸で示す点、黒い四角で示す点がそれぞれ極大点、極小点を表している。このように、ステップＳ２１では、交線方向微分画像を生成するために、まず各画素についての微分値を求める処理を行うことになる。
【0205】
ステップＳ２１の処理は、胸腹部分割処理の一部の処理の一例に該当する。つまり、胸腹部分割処理は、交線方向微分画像について、Ｙ軸方向の画素列のそれぞれについて極小値及び極大値を検出する処理を含むことができる。
【0206】
次いで、分割部１５は、胸腹部分割処理の一部の処理として、この交線方向微分画像上で、微分値が極小値となる画素が存在する領域及び微分値が極大値となる画素が存在する領域のうち、面積が最大となる領域を抽出する（ステップＳ２２）。
【0207】
極小値及び極大値の存在する領域とは、交線方向微分画像上において極小値及び極大値を示す画素群で表現される領域、つまり交線方向微分画像上において極小値及び極大値をプロットした画素群で表現される領域を指す。胸部９２と腹部９４との境界領域などにおいて、この画素群の少なくとも一部は複数の画素が連なることになる。
【0208】
よって、ステップＳ２２では、実質的には、Ｙ軸方向微分画像上で、微分値が極大値となる画素が連なる領域及び微分値が極小値となる画素が連なる領域のうち、最大面積の領域を抽出することになる。ステップＳ２２の抽出処理により、例えば、図１９に示すグラフ２０Ｌにおいて、破線２０ｃｂで示すような胸腹分割ラインで表現される領域が抽出されることになる。なお、図１９の縦軸はＹ軸であって画素の行を表しており、横軸は画素の列を表しておりＸ軸としている。破線２０ｃｂの胸腹分割ラインは、大まかに言うと肋骨の下部のラインに相当することになり、解剖学的な知識に基づく結果となる。
【0209】
ステップＳ２２ではさらに、分割部１５が、抽出した結果に対応する標準偏差画像上の領域を、胸部領域と腹部領域とを分割する境界領域とする。この境界領域は、図１９に示すグラフ２０Ｌにおける破線２０ｃｂで例示されるように一画素の太さで表現される境界ラインとなる場合があるが、複数画素の太さで表現されることもある。このように、情報処理装置１０では、時系列の距離画像データを用いることによって、被験者９０の胸部９２の領域と腹部９４の領域とを同定するように構成することができる。
【0210】
次いで、分割部１５は、上述した左右分割処理の一例として次のような処理を実行する（ステップＳ２３）。ステップＳ２３では、関節位置データとして、境界領域のうち最も頭部側となる点を基準点とするデータを入力し、基準点を通り上記交線に平行な直線で、標準偏差画像２０Ｓの胸部領域と腹部領域との双方について左側領域と右側領域とに分割する。
【0211】
左側領域と右側領域とに分割する左右分割ラインは、図１９の破線２０ｌｒで示すラインとなる。破線２０ｌｒは、破線２０ｃｂで示される境界領域のうちの最大値の位置を基準点として、その基準点を通り垂直方向に延びる直線となっているのが分かる。ここで、前処理により関節キーポイントを利用しているため、ここでの垂直方向の決定にもステップＳ１１で入力された関節キーポイントを利用していると言える。
【0212】
ステップＳ２３までの処理において胸腹部分割処理及び左右分割処理が完了する。これにより、生成される分割結果画像は、図２０で例示する画像２０ＳＬのようになる。画像２０ＳＬでは、図９の画像３０ＳＬで図示したような左右の分割ライン２０ｌｒと胸腹部の分割ライン２０ｃｂとが含まれているのが分かる。以上のような分割処理により、被験者９０の解剖学的な知識に基づく領域分割を行うことができる。
【0213】
なお、この例のように左右分割処理において胸腹部分割処理の結果を参照する場合には、基本的に撮像装置２０側ではなく、情報処理装置１０側が関節を検出する処理を実行することが前提となる。但し、ステップＳ２３のような左右分割処理を採用する場合でも、胸腹部分割処理は上述した極大値及び極小値を使用する処理に限ったものではない。胸腹部分割処理は、距離画像系列の画像解析により標準偏差画像上の領域を胸部領域と腹部領域とに分ける境界となる境界領域を得られるものであればよい。また、上述したように、左右分割処理は、距離画像系列の画像解析結果を用いなくても、ステップＳ１１で入力された関節キーポイントが示す所定の基準点に基づき、その基準点を通り垂直方向に延びる直線として分割してもよい。
【0214】
以上に説明したように、図１６～図２０を参照して説明した分割処理例では、解剖学的な知識に沿って被験者の動きを示す標準偏差画像を胸部領域と腹部領域とに分割すること、並びに左側領域と右側領域とに分割することができる。
【0215】
特に、胸部領域と腹部領域との分割結果を用いて左右分割処理を実行することで、解剖学的な知識に従って標準偏差画像を左側領域と右側領域とにも分割することができる。この効果について補足する。例えば、腰痛などの運動器障害では異常な呼吸パターンが発生するため、呼吸運動中の胸腹部の運動検査及び運動評価が重要となる。また、専門家によるこれらの検査及び評価は属人性があるため、客観的、定量的な検査技術及び評価技術が必要となる。ここで説明した分割処理例では、解剖学的な知識に従って標準偏差画像を、胸部領域と腹部領域との分割だけでなく左側領域と右側領域との分割も行うことができるため、このような検査や評価の正確性を向上させることができると言える。
【0216】
つまり、このような構成により、解剖学的な知識に沿った胸部領域と腹部領域との領域同定及び左側領域と右側領域との領域同定を行うことができ、それにより次のような効果を奏する。即ち、このような構成により、例えば右胸部と左胸部と右腹部と左腹部との呼吸特徴量を領域別により正確に算出することができ、また運動器障害についての呼吸特徴量の正しい定義付けを行うこともできる。このような構成により、右胸部と左胸部と右腹部と左腹部との運動を捉える検査の正確性を向上させることができ、被験者の呼吸状態の推定の精度も向上させることができる。また、その結果として、呼吸運動の評価の正確性を向上させることができ、またその評価を利用した指導の正確性も向上させることができ、効果的な指導が可能になる。
【0217】
（本実施形態におけるその他の応用例）
本実施形態では、距離画像データの取得時の被験者の姿勢として仰臥位を採用した例を挙げたが、実施形態１で説明したように、これに限らず背臥位、座位、立位、膝立ち位、仰臥位且つ脚上げ位などでも実施することができる。但し、姿勢に応じて撮像装置２０の設置場所や、上述した各種の画像処理などは適宜変更するとよい。なお、距離画像データは、被験者の姿勢に合わせて被験者の正面又は背面から取得するとよいが、正面から取得可能な姿勢の方が被験者の呼吸を制限しなくて済む。
本実施形態では、距離画像データの取得時の被験者の姿勢として仰臥位を採用した例を挙げたが、実施形態１で説明したように、これに限らず背臥位、座位、立位、膝立ち位、仰臥位且つ脚上げ位などでも実施することができる。但し、姿勢に応じて撮像装置２０の設置場所や、上述した各種の画像処理などは適宜変更するとよい。なお、距離画像データは、被験者の姿勢に合わせて被験者の正面又は背面から取得するとよいが、正面から取得可能な姿勢の方が被験者の呼吸を制限しなくて済む。
【0218】
また、表示システム１００は、上述したように複数の撮像装置２０を備え、複数の撮像装置２０を用いて、被験者９０が撮影されてもよい。この構成により、被験者９０が複数の視点から撮影され得るので、双方の視点のデータから距離画像データを生成することもできる。また、複数の撮像装置２０を用いることで、撮影時に被験者９０の死角が発生することを抑制できるため、その他の呼吸特徴量の算出に使用できるような変位量等の検出を高精度に実施でき、呼吸特徴量も高精度に算出することができる。
【0219】
また、表示システム１００は、撮像装置２０、表示装置３０及び情報処理装置１０の２つ以上が一体に構成された装置で実現されてもよい。例えば、撮像装置２０、表示装置３０及び情報処理装置１０を備える１つの装置（スマートフォン等）を用いて、被験者９０は、呼吸トレーニングや呼吸検査を行ってもよい。これにより、特別な設備がなくても、呼吸トレーニングや呼吸検査を行うことが可能となる。例えば、被験者９０は、自宅等で気軽に呼吸トレーニングや呼吸検査を行うことができる。
【0220】
また、上述したように、例えば、被験者９０の鼻などに二酸化炭素の割合を検出するセンサを設け、そのセンサの検出結果から呼気分析を行うように表示システム１００を構成しておくこともできる。このような構成により、例えば標準偏差画像を算出する時系列の距離画像データの抽出に利用すること、つまり使用データの期間の特定に利用することができる。
【0221】
さらに、このセンサを利用することで、このセンサの検出結果から時系列の距離画像データを呼気相のデータと吸気相のデータとに容易に分類することができる。よって、かかる構成により、時系列の距離画像データにおける呼気相と吸気相とを特定できるため、呼気相での標準偏差画像の算出及び呼吸特徴量の算出と、吸気相での標準偏差画像の算出及び呼吸特徴量の算出と、が可能になる。つまり、かかる構成により、呼気相についての呼吸特徴量と、吸気相についての呼吸特徴量との双方を算出し、表示等の出力を行うことができるようになる。
【0222】
＜実施形態３＞
実施形態３について、図２１を参照しながら実施形態２との相違点を中心に説明するが、実施形態１，２で説明した様々な例が適用できる。図２１は、実施形態３に係る学習装置の一構成例を示すブロック図である。
実施形態３について、図２１を参照しながら実施形態２との相違点を中心に説明するが、実施形態１，２で説明した様々な例が適用できる。図２１は、実施形態３に係る学習装置の一構成例を示すブロック図である。
【0223】
図２１に示すように、本実施形態に係る学習装置５０は、制御部５１、記憶部５２、及び生成部５３を備えることができる。制御部５１は、学習装置５０の全体を制御する部位で、例えばＣＰＵ又はＧＰＵ等のプロセッサを含むことができ、また制御のためのプログラムを含むことができる。制御部５１は、制御処理及び演算処理等を行う演算装置としての機能を備え、記憶部５２及び生成部５３を制御する。
【0224】
記憶部５２は、記憶装置で構成されることができる。記憶部５２は、情報処理装置１又は情報処理装置１０で算出された呼吸特徴量と、その呼吸特徴量に対応する被験者の呼吸機能を評価した評価ラベルと、を含むデータのセット（学習データセット）を記憶する。この学習データセットについては、評価部１７の説明や図９～図１１を参照した説明として上述した通りである。
【0225】
ここでも、評価ラベルは、実施形態２における評価部１７について説明したように、第１評価ラベルと第２評価ラベルの少なくとも一方を含むことができる。第１評価ラベルは、被験者９０の前額面に垂直な方向の動きに係わる呼吸機能を評価したラベルであり、第２評価ラベルは、被験者９０の矢状面に垂直な方向の動きに係わる呼吸機能を評価したラベルである。
【0226】
また、記憶部５２は、未学習モデルを記憶しておく。但し、この未学習モデルとは現時点で運用を行わない学習モデルであれば、過去の学習データセットにより機械学習済みの学習モデルであってもよい。なお、未学習モデル、学習済みモデルのアルゴリズム等は問わず、評価部１７の説明で例示したような既存の様々な機械学習モデルを適用することができる。
【0227】
生成部５３は、上記学習データセットを未学習モデルへ入力して機械学習し、呼吸特徴量を入力して評価ラベルを出力する学習済みモデルを生成する。生成された学習済みモデルは、情報処理装置１０の評価部１７又は記憶部１８に記憶されることができる。これにより、実施形態２で説明したような評価を実施することができる。
【0228】
また、上記学習データセットに含まれる呼吸特徴量が、情報処理装置１又は情報処理装置１０で算出された呼吸特徴量であることを前提として説明したが、これに限ったものではない。学習データセットに含まれる呼吸特徴量は、呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された呼吸特徴量であればよい。つまり、学習データセットに含まれる呼吸特徴量は、情報処理装置１又は情報処理装置１０で算出された呼吸特徴量と異なり分割位置データを用いずに算出された呼吸特徴量であってもよい。
【0229】
＜変形例＞
本開示は、上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した各装置の構成要素の１つ以上は、適宜省略可能である。また、例えば、上述したフロー図の各ステップの１つ以上は、適宜、省略可能である。また、上述したフロー図の各ステップの１つ以上の順序は、適宜、変更可能である。
本開示は、上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した各装置の構成要素の１つ以上は、適宜省略可能である。また、例えば、上述したフロー図の各ステップの１つ以上は、適宜、省略可能である。また、上述したフロー図の各ステップの１つ以上の順序は、適宜、変更可能である。
【0230】
また、情報処理装置１０は、呼吸トレーニング中や呼吸検査中に得られたデータに基づき呼吸の波形や軽負荷の処理で得られる呼吸特徴量を生成して、その結果をリアルタイムに表示装置３０に表示し、時間経過とともに更新していくこともできる。そして、非リアルタイムの処理として、実施形態１，２で説明したように、格納された時系列の距離画像データ等を用いて求めた呼吸特徴量等を表示装置等に出力させることもできる。
【0231】
また、スマートフォン等の装置では、骨格データを取得できないことがある。この場合、被験者は、自己の撮影画像において、関節キーポイントを指定するように操作を行ってもよい。
【0232】
また、実施形態１～３に係る各装置は、いずれも次のようなハードウェア構成を有することができる。図２２は、装置に含まれるハードウェア構成の一例を示す図である。
【0233】
図２２に示す装置１０００は、プロセッサ１００１、メモリ１００２、及び通信インタフェース１００３を備える。各装置の機能は、プロセッサ１００１がメモリ１００２に記憶されたプログラムを読み込んで通信インタフェース１００３と協働しながら実行することにより実現されることができる。
【0234】
上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0235】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0236】
（付記１）
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する入力部と、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する偏差算出部と、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する特徴量算出部と、
を備える、情報処理装置。
（付記２）
前記特徴量算出部は、前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記１に記載の情報処理装置。
（付記３）
前記特徴量算出部は、前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
付記１又は２に記載の情報処理装置。
（付記４）
前記特徴量算出部は、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出する、
付記１～３のいずれか１項に記載の情報処理装置。
（付記５）
前記特徴量算出部は、前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記１～４のいずれか１項に記載の情報処理装置。
（付記６）
前記特徴量算出部は、前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記１～５のいずれか１項に記載の情報処理装置。
（付記７）
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記１～６のいずれか１項に記載の情報処理装置。
（付記８）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータを含む、
付記１～７のいずれか１項に記載の情報処理装置。
（付記９）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置、及び、前記胸部領域と前記腹部領域について前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記１～６のいずれか１項に記載の情報処理装置。
（付記１０）
前記特徴量算出部は、前記肩部領域における前記被験者の前額面と矢状面との交線の方向に膨脹及び収縮し得る領域である肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記８又は９に記載の情報処理装置。
（付記１１）
前記呼吸特徴量を出力する出力部をさらに備える、
付記１～１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記出力部は、前記呼吸特徴量の履歴を出力する、
付記１１に記載の情報処理装置。
（付記１３）
前記出力部は、前記呼吸特徴量に予め関連付けられた前記被験者へのメッセージを出力する、
付記１１又は１２に記載の情報処理装置。
（付記１４）
前記時系列の距離画像データは、前記被験者の１又は複数の呼吸周期分について測定されたデータである、
付記１～１３のいずれか１項に記載の情報処理装置。
（付記１５）
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記１～１４のいずれか１項に記載の情報処理装置。
（付記１６）
前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る評価部を、さらに備える、
付記１～１５のいずれか１項に記載の情報処理装置。
（付記１７）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記１６に記載の情報処理装置。
（付記１８）
付記１～１５のいずれか１項に記載の情報処理装置で算出された前記呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶する記憶部と、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する生成部と、
を備える、学習装置。
（付記１９）
呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された、前記被験者の呼吸の特徴を示す呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶する記憶部と、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する生成部と、
を備える、学習装置。
（付記２０）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記１８又は１９に記載の学習装置。
（付記２１）
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理方法。
（付記２２）
前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記２１に記載の情報処理方法。
（付記２３）
前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
付記２１又は２２に記載の情報処理方法。
（付記２４）
前記呼吸特徴量を算出することは、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出することを含む、
付記２１～２３のいずれか１項に記載の情報処理方法。
（付記２５）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記２１～２４のいずれか１項に記載の情報処理方法。
（付記２６）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記２１～２５のいずれか１項に記載の情報処理方法。
（付記２７）
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記２１～２６のいずれか１項に記載の情報処理方法。
（付記２８）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータを含む、
付記２１～２７のいずれか１項に記載の情報処理方法。
（付記２９）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置、及び、前記胸部領域と前記腹部領域について前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記２１～２６のいずれか１項に記載の情報処理方法。
（付記３０）
前記肩部領域における前記被験者の前額面と矢状面との交線の方向に膨脹及び収縮し得る領域である肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記２８又は２９に記載の情報処理方法。
（付記３１）
前記呼吸特徴量を出力する出力処理を実行する、
付記２１～３０のいずれか１項に記載の情報処理方法。
（付記３２）
前記出力処理は、前記呼吸特徴量の履歴を出力する処理を含む、
付記３１に記載の情報処理方法。
（付記３３）
前記出力処理は、前記呼吸特徴量に予め関連付けられた前記被験者へのメッセージを出力する処理を含む、
付記３１又は３２に記載の情報処理方法。
（付記３４）
前記時系列の距離画像データは、前記被験者の１又は複数の呼吸周期分について測定されたデータである、
付記２１～３３のいずれか１項に記載の情報処理方法。
（付記３５）
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記２１～３４のいずれか１項に記載の情報処理方法。
（付記３６）
前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る、
付記２１～３５のいずれか１項に記載の情報処理方法。
（付記３７）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記３６に記載の情報処理方法。
（付記３８）
付記２１～３５のいずれか１項に記載の情報処理方法で算出された前記呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習方法。
（付記３９）
呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された、前記被験者の呼吸の特徴を示す呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習方法。
（付記４０）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記３８又は３９に記載の学習方法。
（付記４１）
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理を実行させるプログラム。
（付記４２）
前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記４１に記載のプログラム。
（付記４３）
前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
付記４１又は４２に記載のプログラム。
（付記４４）
前記呼吸特徴量を算出することは、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出することを含む、
付記４１～４３のいずれか１項に記載のプログラム。
（付記４５）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記４１～４４のいずれか１項に記載のプログラム。
（付記４６）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記４１～４５のいずれか１項に記載のプログラム。
（付記４７）
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記４１～４６のいずれか１項に記載のプログラム。
（付記４８）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータを含む、
付記４１～４７のいずれか１項に記載のプログラム。
（付記４９）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置、及び、前記胸部領域と前記腹部領域について前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記４１～４６のいずれか１項に記載のプログラム。
（付記５０）
前記肩部領域における前記被験者の前額面と矢状面との交線の方向に膨脹及び収縮し得る領域である肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記４８又は４９に記載のプログラム。
（付記５１）
前記情報処理は、前記呼吸特徴量を出力する出力処理を含む、
付記４１～５０のいずれか１項に記載のプログラム。
（付記５２）
前記出力処理は、前記呼吸特徴量の履歴を出力する処理を含む、
付記５１に記載のプログラム。
（付記５３）
前記出力処理は、前記呼吸特徴量に予め関連付けられた前記被験者へのメッセージを出力する処理を含む、
付記５１又は５２に記載のプログラム。
（付記５４）
前記時系列の距離画像データは、前記被験者の１又は複数の呼吸周期分について測定されたデータである、
付記４１～５３のいずれか１項に記載のプログラム。
（付記５５）
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記４１～５４のいずれか１項に記載のプログラム。
（付記５６）
前記情報処理は、前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る処理を含む、
付記４１～５５のいずれか１項に記載のプログラム。
（付記５７）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記５６に記載のプログラム。
（付記５８）
コンピュータに
付記４１～５５のいずれか１項に記載のプログラムで算出された前記呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習処理を実行させるプログラム。
（付記５９）
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された、前記被験者の呼吸の特徴を示す呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習処理を実行させるプログラム。
（付記６０）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記５８又は５９に記載のプログラム。
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力する入力部と、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する偏差算出部と、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する特徴量算出部と、
を備える、情報処理装置。
（付記２）
前記特徴量算出部は、前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記１に記載の情報処理装置。
（付記３）
前記特徴量算出部は、前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
付記１又は２に記載の情報処理装置。
（付記４）
前記特徴量算出部は、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出する、
付記１～３のいずれか１項に記載の情報処理装置。
（付記５）
前記特徴量算出部は、前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記１～４のいずれか１項に記載の情報処理装置。
（付記６）
前記特徴量算出部は、前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記１～５のいずれか１項に記載の情報処理装置。
（付記７）
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記１～６のいずれか１項に記載の情報処理装置。
（付記８）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータを含む、
付記１～７のいずれか１項に記載の情報処理装置。
（付記９）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置、及び、前記胸部領域と前記腹部領域について前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記１～６のいずれか１項に記載の情報処理装置。
（付記１０）
前記特徴量算出部は、前記肩部領域における前記被験者の前額面と矢状面との交線の方向に膨脹及び収縮し得る領域である肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記８又は９に記載の情報処理装置。
（付記１１）
前記呼吸特徴量を出力する出力部をさらに備える、
付記１～１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記出力部は、前記呼吸特徴量の履歴を出力する、
付記１１に記載の情報処理装置。
（付記１３）
前記出力部は、前記呼吸特徴量に予め関連付けられた前記被験者へのメッセージを出力する、
付記１１又は１２に記載の情報処理装置。
（付記１４）
前記時系列の距離画像データは、前記被験者の１又は複数の呼吸周期分について測定されたデータである、
付記１～１３のいずれか１項に記載の情報処理装置。
（付記１５）
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記１～１４のいずれか１項に記載の情報処理装置。
（付記１６）
前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る評価部を、さらに備える、
付記１～１５のいずれか１項に記載の情報処理装置。
（付記１７）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記１６に記載の情報処理装置。
（付記１８）
付記１～１５のいずれか１項に記載の情報処理装置で算出された前記呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶する記憶部と、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する生成部と、
を備える、学習装置。
（付記１９）
呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された、前記被験者の呼吸の特徴を示す呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶する記憶部と、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する生成部と、
を備える、学習装置。
（付記２０）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記１８又は１９に記載の学習装置。
（付記２１）
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理方法。
（付記２２）
前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記２１に記載の情報処理方法。
（付記２３）
前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
付記２１又は２２に記載の情報処理方法。
（付記２４）
前記呼吸特徴量を算出することは、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出することを含む、
付記２１～２３のいずれか１項に記載の情報処理方法。
（付記２５）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記２１～２４のいずれか１項に記載の情報処理方法。
（付記２６）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記２１～２５のいずれか１項に記載の情報処理方法。
（付記２７）
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記２１～２６のいずれか１項に記載の情報処理方法。
（付記２８）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータを含む、
付記２１～２７のいずれか１項に記載の情報処理方法。
（付記２９）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置、及び、前記胸部領域と前記腹部領域について前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記２１～２６のいずれか１項に記載の情報処理方法。
（付記３０）
前記肩部領域における前記被験者の前額面と矢状面との交線の方向に膨脹及び収縮し得る領域である肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記２８又は２９に記載の情報処理方法。
（付記３１）
前記呼吸特徴量を出力する出力処理を実行する、
付記２１～３０のいずれか１項に記載の情報処理方法。
（付記３２）
前記出力処理は、前記呼吸特徴量の履歴を出力する処理を含む、
付記３１に記載の情報処理方法。
（付記３３）
前記出力処理は、前記呼吸特徴量に予め関連付けられた前記被験者へのメッセージを出力する処理を含む、
付記３１又は３２に記載の情報処理方法。
（付記３４）
前記時系列の距離画像データは、前記被験者の１又は複数の呼吸周期分について測定されたデータである、
付記２１～３３のいずれか１項に記載の情報処理方法。
（付記３５）
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記２１～３４のいずれか１項に記載の情報処理方法。
（付記３６）
前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る、
付記２１～３５のいずれか１項に記載の情報処理方法。
（付記３７）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記３６に記載の情報処理方法。
（付記３８）
付記２１～３５のいずれか１項に記載の情報処理方法で算出された前記呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習方法。
（付記３９）
呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された、前記被験者の呼吸の特徴を示す呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習方法。
（付記４０）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記３８又は３９に記載の学習方法。
（付記４１）
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データと、前記時系列の距離画像データにおける前記被験者の胸部領域と腹部領域とを分割する位置を示す分割位置データと、を入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像を、前記分割位置データが示す位置で分割されるそれぞれの領域である分割領域毎に分割して得られた分割標準偏差画像に基づき、前記被験者の呼吸の特徴を示す呼吸特徴量を算出する、
情報処理を実行させるプログラム。
（付記４２）
前記分割領域毎の前記分割標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記４１に記載のプログラム。
（付記４３）
前記分割領域のそれぞれの間における前記分割標準偏差画像の同期性を、前記呼吸特徴量の１つとして算出する、
付記４１又は４２に記載のプログラム。
（付記４４）
前記呼吸特徴量を算出することは、前記標準偏差画像に対して所定値以上の標準偏差をもつ領域を抽出し、抽出した標準偏差画像に基づき、前記呼吸特徴量を算出することを含む、
付記４１～４３のいずれか１項に記載のプログラム。
（付記４５）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記４１～４４のいずれか１項に記載のプログラム。
（付記４６）
前記胸部領域と前記腹部領域との双方において前記被験者の前額面と横断面との交線の方向に膨脹及び収縮し得る領域である側腹領域の、前記標準偏差画像が示す標準偏差の平均値を、前記呼吸特徴量の１つとして算出する、
付記４１～４５のいずれか１項に記載のプログラム。
（付記４７）
前記分割位置データは、前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記４１～４６のいずれか１項に記載のプログラム。
（付記４８）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置を示すデータを含む、
付記４１～４７のいずれか１項に記載のプログラム。
（付記４９）
前記分割位置データは、前記胸部領域と前記被験者の肩部領域とを分割する位置、及び、前記胸部領域と前記腹部領域について前記被験者の左側領域と右側領域とを分割する位置を示すデータを含む、
付記４１～４６のいずれか１項に記載のプログラム。
（付記５０）
前記肩部領域における前記被験者の前額面と矢状面との交線の方向に膨脹及び収縮し得る領域である肩部膨脹収縮領域の、膨脹状態から収縮状態までの面積の差である膨脹面積を、前記呼吸特徴量の１つとして算出する、
付記４８又は４９に記載のプログラム。
（付記５１）
前記情報処理は、前記呼吸特徴量を出力する出力処理を含む、
付記４１～５０のいずれか１項に記載のプログラム。
（付記５２）
前記出力処理は、前記呼吸特徴量の履歴を出力する処理を含む、
付記５１に記載のプログラム。
（付記５３）
前記出力処理は、前記呼吸特徴量に予め関連付けられた前記被験者へのメッセージを出力する処理を含む、
付記５１又は５２に記載のプログラム。
（付記５４）
前記時系列の距離画像データは、前記被験者の１又は複数の呼吸周期分について測定されたデータである、
付記４１～５３のいずれか１項に記載のプログラム。
（付記５５）
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記４１～５４のいずれか１項に記載のプログラム。
（付記５６）
前記情報処理は、前記呼吸特徴量を入力し前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルを出力するように機械学習された学習済みモデルに、前記呼吸特徴量を入力することで、前記評価ラベルを得る処理を含む、
付記４１～５５のいずれか１項に記載のプログラム。
（付記５７）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記５６に記載のプログラム。
（付記５８）
コンピュータに
付記４１～５５のいずれか１項に記載のプログラムで算出された前記呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習処理を実行させるプログラム。
（付記５９）
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像に基づき算出された、前記被験者の呼吸の特徴を示す呼吸特徴量と、前記呼吸特徴量に対応する前記被験者の呼吸機能を評価した評価ラベルと、を含むデータのセットを記憶し、
前記データのセットを学習モデルへ入力して機械学習し、前記呼吸特徴量を入力して前記評価ラベルを出力する学習済みモデルを生成する、
学習処理を実行させるプログラム。
（付記６０）
前記評価ラベルは、前記被験者の前額面に垂直な方向の動きに係わる呼吸機能を評価した第１評価ラベルと、前記被験者の矢状面に垂直な方向の動きに係わる呼吸機能を評価した第２評価ラベルと、の少なくとも一方を含む、
付記５８又は５９に記載のプログラム。
【符号の説明】
【0237】
１、１０ 情報処理装置
１ａ 入力部
１ｂ 偏差算出部
１ｃ 特徴量算出部
１１ 制御部
１２ 画像データ取得部
１３ 標準偏差画像算出部
１４ 分割位置検出部
１５ 分割部
１６ 特徴量算出部
１７ 評価部
１８ 記憶部
１９ 表示制御部
２０ 撮像装置
３０ 表示装置
９０ 被験者
９２ 胸部
９４ 腹部
１００ 表示システム
１０００ 装置
１００１ プロセッサ
１００２ メモリ
１００３ 通信インタフェース
１ａ 入力部
１ｂ 偏差算出部
１ｃ 特徴量算出部
１１ 制御部
１２ 画像データ取得部
１３ 標準偏差画像算出部
１４ 分割位置検出部
１５ 分割部
１６ 特徴量算出部
１７ 評価部
１８ 記憶部
１９ 表示制御部
２０ 撮像装置
３０ 表示装置
９０ 被験者
９２ 胸部
９４ 腹部
１００ 表示システム
１０００ 装置
１００１ プロセッサ
１００２ メモリ
１００３ 通信インタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】