IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧 ▶ 国立大学法人 東京医科歯科大学の特許一覧

特開2024-92522情報処理装置、情報処理方法、及びプログラム
<>
  • 特開-情報処理装置、情報処理方法、及びプログラム 図1
  • 特開-情報処理装置、情報処理方法、及びプログラム 図2
  • 特開-情報処理装置、情報処理方法、及びプログラム 図3
  • 特開-情報処理装置、情報処理方法、及びプログラム 図4
  • 特開-情報処理装置、情報処理方法、及びプログラム 図5
  • 特開-情報処理装置、情報処理方法、及びプログラム 図6
  • 特開-情報処理装置、情報処理方法、及びプログラム 図7
  • 特開-情報処理装置、情報処理方法、及びプログラム 図8
  • 特開-情報処理装置、情報処理方法、及びプログラム 図9
  • 特開-情報処理装置、情報処理方法、及びプログラム 図10
  • 特開-情報処理装置、情報処理方法、及びプログラム 図11
  • 特開-情報処理装置、情報処理方法、及びプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024092522
(43)【公開日】2024-07-08
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   A61B 5/113 20060101AFI20240701BHJP
【FI】
A61B5/113
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022208524
(22)【出願日】2022-12-26
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(71)【出願人】
【識別番号】504179255
【氏名又は名称】国立大学法人 東京医科歯科大学
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】安川 洵
(72)【発明者】
【氏名】鈴木 佳祐
(72)【発明者】
【氏名】野寄 修平
(72)【発明者】
【氏名】二村 昭元
(72)【発明者】
【氏名】藤田 浩二
(72)【発明者】
【氏名】井原 拓哉
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB28
4C038VB40
4C038VC05
(57)【要約】
【課題】解剖学的な知識に沿って被験者の動きを示す画像を胸部領域と腹部領域とに分割することが可能な情報処理装置を提供する。
【解決手段】情報処理装置1は、入力部1a、算出部1b、分割部1c、及び出力部1dを備える。入力部1aは、呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力する。算出部1bは、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する。分割部1cは、標準偏差画像についての、被験者の矢状面と前額面との交線の方向の微分値を用いて、標準偏差画像を被験者の胸部領域と腹部領域とに分割する分割処理を実行する。出力部1dは、分割処理の結果を、標準偏差画像に重畳して出力する。
【選択図】図1
【特許請求の範囲】
【請求項1】
呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力する入力部と、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する算出部と、
前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行する分割部と、
前記分割処理の結果を、前記標準偏差画像に重畳して出力する出力部と、
を備える、情報処理装置。
【請求項2】
前記入力部は、前記被験者の関節の位置を測定した関節位置データを入力し、
前記分割処理は、前記関節位置データが示す関節位置に基づき、前記標準偏差画像を前記被験者の正面に向かって左側の領域である左側領域と右側の領域である右側領域とに分割する左右分割処理を含む、
請求項1に記載の情報処理装置。
【請求項3】
前記関節位置データは、前記時系列の距離画像データに対応する期間の少なくとも1つの時刻について、前記被験者の関節の位置を測定したデータである、
請求項2に記載の情報処理装置。
【請求項4】
前記左右分割処理は、前記関節位置データが示す所定の関節の位置を基準点として、前記標準偏差画像を前記左側領域と前記右側領域とに分割する、
請求項2又は3に記載の情報処理装置。
【請求項5】
前記関節位置データは、前記時系列の距離画像データを画像解析して得られたデータである、
請求項2又は3に記載の情報処理装置。
【請求項6】
前記分割処理は、前記分割処理の結果として、前記標準偏差画像上の領域を前記胸部領域と前記腹部領域とに分ける境界となる境界領域を得、
前記左右分割処理は、前記関節位置データとして、前記境界領域のうち最も頭部側となる点を前記基準点とするデータを入力し、前記基準点を通り前記交線に平行な直線で、前記標準偏差画像の前記胸部領域と前記腹部領域との双方について前記左側領域と前記右側領域とに分割する、
請求項4に記載の情報処理装置。
【請求項7】
前記分割処理は、前記交線の方向の微分値を示す画像である交線方向微分画像について、前記交線の方向の画素列のそれぞれについて極小値及び極大値を検出し、前記交線方向微分画像上で、前記極小値及び前記極大値の存在する領域のうち面積が最大となる領域を抽出して、抽出した結果に対応する前記標準偏差画像上の領域を、前記胸部領域と前記腹部領域とを分割する境界領域とする、
請求項1又は2に記載の情報処理装置。
【請求項8】
前記時系列の距離画像データは、前記被験者の1又は複数の呼吸周期分について測定されたデータである、
請求項1又は2に記載の情報処理装置。
【請求項9】
呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行し、
前記分割処理の結果を、前記標準偏差画像に重畳して出力する、
情報処理方法。
【請求項10】
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行し、
前記分割処理の結果を、前記標準偏差画像に重畳して出力する、
情報処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
健康状態の向上及び維持のためには、正しい呼吸法で呼吸を行うことが望ましい。そして、正しい呼吸法で呼吸を行っているかを確かめるために、胸部及び腹部の動きを検出することが行われている。
【0003】
これに関連し、特許文献1には、パターン光投影装置とカメラを用い、呼吸をする患者の胸部及び腹部を撮影して得られた画像から、呼吸運動中の胸部及び腹部についての体積変化及び呼吸時間差を計測し、呼吸器系疾患の検査を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008-154655号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術では、解剖学的な知識に沿った胸部領域と腹部領域との同定ができないため、正確な胸部と腹部の運動を捉え切れない。
【0006】
本開示の目的は、上記の課題を解決するためになされたもので、解剖学的な知識に沿って被験者の動きを示す画像を胸部領域と腹部領域とに分割することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本開示に係る情報処理装置は、呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力する入力部と、前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する算出部と、前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行する分割部と、前記分割処理の結果を、前記標準偏差画像に重畳して出力する出力部と、を備えるものである。
【0008】
本開示に係る情報処理方法は、呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力し、前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行し、前記分割処理の結果を、前記標準偏差画像に重畳して出力する、ものである。
【0009】
本開示に係るプログラムは、コンピュータに、呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力し、前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行し、前記分割処理の結果を、前記標準偏差画像に重畳して出力する、情報処理を実行させるプログラムである。
【発明の効果】
【0010】
本開示によれば、解剖学的な知識に沿って被験者の動きを示す画像を胸部領域と腹部領域とに分割することが可能な情報処理装置、情報処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0011】
図1】実施形態1に係る情報処理装置の一構成例を示すブロック図である。
図2図1の情報処理装置における情報処理方法の一例を説明するためのフロー図である。
図3】実施形態2に係る情報処理装置を備えた表示システムの一構成例を示すブロック図である。
図4図3の表示システムの外観を示す概略側面図である。
図5図3の表示システムにおける処理の一例を説明するためのフロー図である。
図6図3の表示システムにおける撮像装置によって取得された距離画像の一例を示す模式図である。
図7図3の表示システムにおいて、情報処理装置によって図6の距離画像から算出された標準偏差画像の一例を示す模式図である。
図8図3の表示システムにおいて、情報処理装置によって図7の標準偏差画像における或る画素列について算出された微分値の一例を示すグラフである。
図9図3の表示システムにおいて、情報処理装置によって決定される分割ラインの一例を示す図である。
図10図3の表示システムにおいて、情報処理装置によって生成される分割結果画像の一例を示す図である。
図11図3の表示システムにおいて、情報処理装置の制御により表示装置に表示される、図10の分割結果画像を含む画像の一例を示す図である。
図12】装置に含まれるハードウェア構成例を示す図である。
【発明を実施するための形態】
【0012】
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
【0013】
<実施形態1>
図1は、実施形態1に係る情報処理装置1の一構成例を示すブロック図である。図1に示すように、情報処理装置1は、入力部1a、算出部1b、分割部1c、及び出力部1dを備えることができ、例えば呼吸状態の検査時や呼吸のトレーニング時などに利用されることができる。なお、呼吸状態の検査は呼吸状態の評価を含むことができる。
【0014】
健康状態の向上及び維持のためには、正しい呼吸法で呼吸を行うことが望ましく、正しい呼吸を行うためには、医師、セラピスト等のトレーニング指導者(以下、単に「指導者」と称する)の指導に基づいた正しい呼吸トレーニングを継続的に行うことが望ましい。例えば、正しい呼吸法による呼吸トレーニングを行うと、腰痛などの身体機能及び精神状態等の健康状態が改善され得る。
【0015】
ここで、呼吸トレーニングでは、胸部と腹部とで前後の動き(運動)が互いに同期していること(「胸部と腹部との同期」)を満たすように被験者が呼吸を行うことによって、トレーニングの効果が良好となると考えられる。さらに、息を吐くとき(呼気時)に肋骨が十分に内旋すること(つまり呼気時に胸部の左右方向の幅が十分に小さくなること;「肋骨の内旋」)を満たすように被験者が呼吸を行うことによって、トレーニングの効果が良好となると考えられる。しかしながら、被験者自身が上記のことを確認すること、つまり被験者が自身の呼吸状態を認識することは困難であるため、正確に呼吸状態を認識させることができるシステムが求められる。特に、上述のような胸部と腹部との同期性等の動きに関する正確な解析結果を被験者に認識させるためには、まず胸部と腹部とを解剖学的な知識に沿って分割した結果を用いて、同期性等の動きの解析を実行することが求められる。
【0016】
このような分割を可能にするために、本実施形態に係る情報処理装置1が利用される。情報処理装置1の構成要素について説明する。
【0017】
入力部1aは、呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力する。ここで、被験者は、呼吸のトレーニングを行う者など、上記の分割した結果を得る対象となる者である。呼吸運動中とは、被験者が呼吸中であることを指し、例えば深呼吸中であることと、あるいは安静呼吸中であることとして定義付けることもできる。なお、時系列の距離画像データは、距離画像系列データと称することもできる。
【0018】
入力元の装置は、対象物までの距離の測定が可能な様々な種類のセンサを採用すること、あるいはそのセンサから取得した距離画像データを記憶したサーバなどを採用することができる。上記のセンサは、例えば3次元カメラであってもよい。3次元カメラとしては、例えば深度センサ、LiDAR(Light Detection and Ranging)、ステレオカメラ等が挙げられる。無論、上記のセンサは、3次元カメラの範疇ではない深度センサとすることもできる。上記のセンサは、例えばToF(Time of Flight)方式によって物体までの距離を計測してもよく、その測距方式は問わない。
【0019】
入力される時系列の距離画像データが示す距離画像は、各測定タイミング(各時刻)について、測定範囲に対応する画素群に画素値としての距離値が格納された画像とすることができる。無論、上記距離画像は、測定範囲における測定メッシュの各位置(各座標)に対応付けて、各時刻での距離値が格納されるような様々なフォーマットを採用することができる。
【0020】
よって、上記距離画像は、測定タイミング毎の各時刻に対応付けられた複数の画像とすることができるが、時刻、位置、及び距離値が情報として暗に又は明示的に関連付け可能に含まれていればよい。なお、入力される時系列の距離画像データについても、時刻、位置、距離値が暗に又は明示的に関連付け可能なデータであればフォーマットは問わない。無論、上記時刻は、測定開始からの時間とすることもできる。
【0021】
以下では、距離画像、標準偏差画像などの「画像」に関し、基本的に、画像中の任意の位置の値を、その位置に対応する画素の値、つまりその位置の画素値として表現する。
【0022】
算出部1bは、時系列の距離画像データが示す距離画像における各画素について値(画素値)の標準偏差を示す標準偏差画像を算出する。ここで、或る画素の標準偏差は、時系列の距離画像データで示される期間について、その画素の値(距離値)の平均値を求め、その平均値からのばらつき具合を示す値として算出されることができる。つまり、或る画素の標準偏差は、上記期間でのその画素値(距離値)の標準偏差となり、算出部1bで算出される標準偏差画像は、時系列の距離画像データに対して1枚とすることができる。
【0023】
無論、算出部1bが所定期間毎に標準偏差画像を算出する構成を採用し、後段の分割部1cが所定期間毎の分割標準偏差画像を算出する構成を採用することもできる。但し、本実施形態及び後述する実施形態2等では、説明の簡略化のために、算出部1bでは1枚の標準偏差画像が算出される例についてのみ説明する。
【0024】
このように、標準偏差画像は、距離画像の全画素について上記期間での値の平均値を求め、各画素についてその平均値からのばらつき具合である標準偏差値を求めることで、算出されることができる。標準偏差画像は、このようにして求めた各画素の標準偏差値を、元の距離画像の対応する各画素に配置した画像とすることができる。このようにして算出された標準偏差画像は、被験者が呼吸運動中にどの程度動いているか、どの箇所が多く動いているか、つまりどの位置の画素が多く変化しているかなどを明示的に表現することができる。
【0025】
分割部1cは、標準偏差画像についての、被験者の矢状面と前額面との交線の方向の微分値を用いて、標準偏差画像を被験者の胸部領域と腹部領域とに分割する分割処理を実行する。上記交線の方向の微分値とは、上記交線に平行な方向の微分値を指す。上記交線の方向は、被験者の身長方向、あるいは垂直方向と称することもできる。
【0026】
被験者の身長方向は、距離画像や標準偏差画像上での被験者の身長方向を示す所定方向として予め定めておくことができるが、例えば、被験者の関節の位置を測定した関節位置データを入力し、その関節の位置に基づき求めることもできる。前者の場合、被験者を所定の姿勢且つ所定の位置に配した状態で測定を行っておけばよい。後者の場合、被験者の関節の位置のうち、被験者の位置及び姿勢を示すような複数のキーポイントとなる関節位置に基づき、被験者の身長方向を求めることができる。
【0027】
つまり、本実施形態において、矢状面と前額面との交線の方向などの「方向」は、入力される時系列の距離画像データにおいて既に被験者についての方向と合致していることもあるが、合致していないこともある。そして、後者の場合、合致させる作業として、上述したように、例えば関節位置を用いることができる。
【0028】
出力部1dは、分割処理の結果を、標準偏差画像に重畳して出力する。分割処理の結果は、例えば、胸部領域と腹部領域との境界ライン等の境界領域を示す画像とすることができる。つまり、出力部1dは、標準偏差画像に上記境界領域を描いた画像を出力することができる。
【0029】
また、出力部1dによる出力先は、情報処理装置1に備えた表示装置、情報処理装置1に接続された表示装置、情報処理装置1の内部又は外部の記憶装置、及び情報処理装置1に接続された印刷装置のうち、少なくとも1つなどとすることができる。
【0030】
また、以上の説明では、処理対象の距離画像として、元々の実測範囲を出力処理に必要最低限の範囲にして測定した距離画像を用いることを前提とした。但し、処理対象の距離画像は、実測範囲の距離画像のうち出力処理に必要な範囲を前処理として事前に抽出した結果の距離画像とすることもできる。
【0031】
また、本実施形態では、距離画像データの取得時の被験者の姿勢としては、仰臥位を採用することができるが、これに限らず背臥位、座位、立位、膝立ち位、仰臥位且つ脚上げ位などでも実施することができる。但し、姿勢に応じて距離画像データの入力元の装置の設置場所や、上述した各種の画像処理などは適宜変更するとよい。なお、距離画像データは、被験者の姿勢に合わせて被験者の正面又は背面から取得するとよいが、正面から取得可能な姿勢の方が被験者の呼吸を制限しなくて済む。
【0032】
上述のような構成により、情報処理装置1は、被験者が呼吸運動中に良く動いている箇所を標準偏差画像として明示的に出力するだけでなく、胸部領域と腹部領域とを分けて明示的に出力することができる。このように出力される情報は、呼吸トレーニングを支援する情報として利用することができる。よって、情報処理装置1は、呼吸トレーニング支援装置と称することができる。また、呼吸トレーニングは、呼吸運動練習とも称される。
【0033】
また、図1に示す情報処理装置1は、例えば、サーバ又はパーソナルコンピュータ等のコンピュータとすることができるが、専用のハードウェアを備えた装置であってもよい。具体的には、情報処理装置1は、例えば1以上のプロセッサと1以上のメモリとを含むハードウェアを含むコンピュータ装置を含んで構成され得る。情報処理装置1内の各部の機能の少なくとも一部は、1以上のプロセッサが、1以上のメモリから読み出したプログラムに従って動作することで実現され得る。
【0034】
換言すれば、情報処理装置1は、その全体を制御する制御部(図示せず)を備えることができる。この制御部は、例えば、CPU(Central Processing Unit)又はGPU(Graphics Processing Unit)、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、入力部1a、算出部1b、分割部1c、及び出力部1dの処理をCPU又はGPUに実行させるためのプログラムとすることができる。
【0035】
また、情報処理装置1は、入力された時系列の距離画像データや処理途中のデータ、分割結果などを記憶する記憶装置を備えることができ、この記憶装置は例えばこの制御部に備えられる記憶装置を利用することもできる。
【0036】
また、情報処理装置1は、単体の装置として構成される例に限らず、機能を分散させた複数の装置として、つまり情報処理システムとして構築することもでき、その分散の方法は問わない。複数の装置に機能を分散した情報処理システムを構築する場合、各装置に制御部、通信部、及び必要に応じて記憶部等を備えるとともに、無線又は有線の通信により上記複数の装置を必要に応じて接続して協働して情報処理装置1で説明した機能を実現させればよい。
【0037】
次に、図2を参照しながら、情報処理装置1の処理例について説明する。図2は、図1の情報処理装置1における情報処理方法の一例を説明するためのフロー図である。
【0038】
まず、情報処理装置1は、呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力する(ステップS1)。次いで、情報処理装置1は、時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する(ステップS2)。
【0039】
次いで、情報処理装置1は、標準偏差画像についての、被験者の矢状面と前額面との交線の方向の微分値を用いて、標準偏差画像を被験者の胸部領域と腹部領域とに分割する分割処理を実行する(ステップS3)。そして、情報処理装置1は、その分割した結果を、標準偏差画像に重畳して出力し(ステップS4)、処理を終了する。
【0040】
以上に説明したように、本実施形態によれば、解剖学的な知識に沿って被験者の動きを示す画像(標準偏差画像)を胸部領域と腹部領域とに分割すること、つまり解剖学的な知識に従って標準偏差画像の胸部領域と腹部領域とを同定することが可能になる。
【0041】
この効果について補足する。例えば、腰痛などの運動器障害では異常な呼吸パターンが発生するため、呼吸運動中の胸腹部の運動検査及び運動評価が重要となる。また、専門家によるこれらの検査及び評価は属人性があるため、客観的、定量的な検査技術及び評価技術が必要となる。本実施形態では、胸部(胸郭に対応する部分を含む)領域と腹部領域とを解剖学的な知識に沿って分割することができるため、このような検査や評価の正確性を向上させることができると言える。
【0042】
つまり、本実施形態によれば、解剖学的な知識に沿った胸部領域と腹部領域との領域同定を行うことができ、それにより次のような効果を奏する。即ち、本実施形態によれば、例えば胸部と腹部との運動特徴量を領域別により正確に算出することができ、また運動器障害についての運動特徴量の正しい定義付けを行うこともできる。ここで、運動特徴量は呼吸運動の特徴を示す特徴量であるため、呼吸特徴量と称することができる。このように、本実施形態によれば、胸部と腹部の運動を捉える検査の正確性を向上させることができ、被験者の呼吸状態の推定の精度も向上させることができる。また、その結果として、本実施形態によれば、呼吸運動の評価の正確性を向上させることができ、またその評価を利用した指導の正確性も向上させることができ、効果的な指導が可能になる。
【0043】
また、本実施形態では、医療機関でのリハビリテーションやヘルスケアサービスでの呼吸運動練習時にセラピスト等の指導者が使用することで、効果的な指導を行うことができるようになる。また、本実施形態では、情報処理装置1を被験者が利用する端末装置などに実装することで、被験者が自宅に居ながら指導者から遠隔指導を受けることや自主トレーニングを行うことができるようになる。
【0044】
<実施形態2>
実施形態2について、図3図11を参照しながら実施形態1との相違点を中心に説明するが、実施形態1で説明した様々な例が適用できる。まず、図3及び図4を参照しながら本実施形態に係る情報処理装置を備えた情報表示システム(以下、単に表示システムと称す)の構成例について説明する。図3は、実施形態2に係る情報処理装置を備えた表示システムの一構成例を示すブロック図で、図4は、この表示システムの外観を示す概略側面図である。
【0045】
図3及び図4に示すように、本実施形態に係る表示システム100は、図1の情報処理装置1の一例である情報処理装置10と、少なくとも1つの撮像装置20と、少なくとも1つの表示装置30と、を備える。情報処理装置10は、実施形態1に係る情報処理装置1の一例であり、撮像装置20及び表示装置30と、有線又は無線のネットワークを介して、通信可能に接続されている。
【0046】
図4に示す表示システム100は、被験者90が呼吸トレーニングを行う時や呼吸状態を検査する時に使用されることができる。図4に示すように、被験者90は、仰向け(仰臥位)の状態で呼吸トレーニングや検査を行うことができるが、被験者90の姿勢は仰臥位に限られない。但し、説明の簡略化のため、以下では、被験者90が仰臥位で呼吸トレーニングや検査を行うことを前提として説明する。
【0047】
撮像装置20は、呼吸運動中の被験者との距離を測定した時系列の距離画像データを取得するために、呼吸トレーニングや呼吸状態の検査の対象となる被験者90を撮影する。撮像装置20は、被験者90の胸部92及び腹部94を撮影可能な位置に設置され得る。被験者90が仰臥位で呼吸トレーニング等を行う場合、撮像装置20は、例えば、図4で例示するように被験者90の胸部92及び腹部94の上側に設置され得る。つまり、撮像装置20は、仰臥位の被験者90と対向する位置に設置され得る。
【0048】
なお、被験者90は、衣服を着た状態で呼吸トレーニング等を行ってもよい。この場合、胸部92は、衣服を着た状態における被験者90の胸部に対応する部分である。同様に、腹部94は、衣服を着た状態における被験者90の腹部に対応する部分である。特に、衣服は被験者90の少なくとも上半身において身体にフィットするような、例えばコンプレッションシャツである方が、分割処理等の各種処理の正確性を向上させることができる。
【0049】
撮像装置20は、対象物までの距離の測定が可能な撮像装置であればよく、例えば深度センサ、LiDAR、ステレオカメラ等の3次元カメラとすることができる。撮像装置20は、例えばToF方式などの様々な測距方式によって被験者90を少なくとも含む物体までの距離を計測してもよい。また、撮像装置20は、2次元カメラ(例えばRGBカメラ等)を含むこともできる。
【0050】
撮像装置20は、被験者90を撮影することによって、被験者90の胸部92及び腹部94を少なくとも撮影範囲として含む時系列の画像データを生成し、情報処理装置10へ送信する。つまり、時系列の画像データは、被験者90の胸部92及び腹部94、及びこれらの周囲についての画像(撮影画像)を示し得る。撮影画像は、動画像であってもよいし、所定間隔で撮像された静止画像であってもよい。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。
【0051】
撮像装置20で取得される時系列の画像データは、時系列の距離画像を示すデータ、つまり時系列の距離画像データを含むものとする。この時系列の距離画像データは、被験者90の位置の変化を示すデータであると言える。つまり、撮像装置20は、被験者90の位置及びその変化である動きを示す時系列の距離画像データを取得し、情報処理装置10へ送信することができる。この距離画像データは、例えば、3次元点群データで表現される3次元画像データであってもよい。
【0052】
情報処理装置10では、時系列の距離画像データを用いることによって、被験者90の胸部92の領域と腹部94の領域とを同定することができ、本実施形態においてもこの同定方法が主たる特徴の1つである。このような領域の同定、つまり領域分割については後述する。
【0053】
また、情報処理装置10では、時系列の距離画像データを用いることによって、被験者90の胸部92及び腹部94を含む身体の位置の変化、つまり身体の動きを検出することができる。例えば、撮像装置20を用いることによって、モーションキャプチャ等を実現することができる。検出対象の位置は、図4で言うところの上下方向の位置である、仰臥位における鉛直方向の位置と、仰臥位における水平方向の位置とを含むことができる。特に、情報処理装置10では、上述した同定の結果と時系列の距離画像データとを用いることによって、胸部92の領域の動きと腹部94の領域の動きとを検出するように構成することもできる。
【0054】
つまり、情報処理装置10では、撮像装置20から受信する時系列の距離画像データに基づき胸部92の領域と腹部94の領域とを分割することができる。さらに、情報処理装置10では、この分割結果と時系列の距離画像データとに基づき、胸部92の領域の位置の変化を示す波形データである胸部波形データと腹部94の領域の位置の変化を示す波形データである腹部波形データとを得るように構成することもできる。
【0055】
本実施形態は、上述のような分割処理に特徴をもつため、これらの波形データについて、並びにその解析については詳述しないが、例えば次のような処理を行うことができる。
【0056】
例えば、情報処理装置10は、取得された時系列の距離画像データを分割結果に基づき分割し、解析することで、被験者90の胸部92及び腹部94それぞれの変位量を検出することができる。検出される変位量は、その変化を示す時系列の胸部波形データ及び腹部波形データとして得られる。検出される変位量は、仰臥位における鉛直方向の変位量及び仰臥位における水平方向の変位量も含むこともできる。そして、情報処理装置10は、時系列の胸部波形データ及び腹部波形データに基づき、胸部92と腹部94との同期性などを示す呼吸特徴量を算出することができる。呼吸特徴量の定義やその算出方法は問わない。
【0057】
さらに、撮像装置20を用いることによって、撮影された被験者90の骨格(関節)を示す骨格データが生成されてもよい。骨格データは、被験者90の関節の位置を示すデータである。骨格データは、例えば、動作する人物の関節を撮像装置20又は情報処理装置10が認識することによって、取得され得る。以下では、関節を認識する処理、つまり関節を検出する処理が情報処理装置10側で実行される例を挙げて説明するが、撮像装置20側で実行されるような構成を採用することもできる。
【0058】
また、上述したように、撮像装置20で取得される画像データは距離画像データを含むが、RGB画像等の2次元画像データを含むこともできる。あるいは、撮像装置20で取得される画像データは、2次元画像と3次元画像とが合成された画像を示すデータであってもよい。したがって、距離画像データは、3次元点群データ等によって、撮影された被験者90の表面の位置の位置情報を3次元座標として示し得る。また、2次元画像データあるいは3次元画像データは、上述した骨格データを得るために使用すること、あるいは上述した骨格データそのものを含むこともできる。撮像装置20は、生成された画像データを情報処理装置10に送信する。
【0059】
情報処理装置10は、時系列の距離画像データに基づいて標準偏差画像を算出し、胸部92の領域と腹部94の領域とを分割し、その分割結果を標準偏差画像に重畳して、表示装置30に表示させる制御を行う。つまり、表示装置30は、情報処理装置10の制御によって、上記分割結果を含む標準偏差画像を表示することができる。この点について具体例を挙げながら後述する。
【0060】
また、情報処理装置10は、分割結果を含む標準偏差画像以外の、被験者90のトレーニングに関する情報、例えば胸部波形データ及び腹部波形データから算出した胸部92と腹部94との位相差などの情報を、表示装置30に表示させる制御を行うこともできる。つまり、表示装置30は、情報処理装置10の制御によって、分割結果を含む標準偏差画像以外の、被験者90のトレーニングに関する情報を表示することができる。
【0061】
また、表示装置30では、情報を被験者90向けの情報としてあるいは指導者向けの情報として表示させることができ、閲覧の対象者によって分かり易さなどを考慮して表示内容を異ならせることもできる。例えば表示装置30が、指導者が所持する表示装置であった場合には、指導者向けの情報を表示させることができる。
【0062】
また、表示装置30は、図4で例示したように、被験者90の頭上に設置された場合に被験者90向けの画像を表示するようにしてもよい。例えば、表示装置30は、表示装置30に内蔵されたカメラが被験者90の顔を検出した場合に、被験者90向けの画像を表示するようにしてもよい。
【0063】
以下では、表示装置30は被験者90が情報を閲覧するために使用することを前提に説明するが、指導者が情報を閲覧するために使用してもよく、また被験者90用と指導者用の複数台の表示装置30を表示システム100に備えることもできる。
【0064】
表示装置30は、被験者90から視認可能な位置に画像を表示するように、配置される。表示装置30は、例えば画像を表示するディスプレイを備える。表示装置30は、例えば、LCD(Liquid Crystal Display)を備えるが、これに限られない。表示装置30は、有機EL(Electro-Luminescence)ディスプレイ又はプロジェクタ等によって実現されてもよい。表示装置30は、例えば、スマートフォン又はタブレット端末等であってもよい。表示装置30によって表示される内容の例については後述する。
【0065】
次に、情報処理装置10の具体的な構成例について説明する。図3に示すように、情報処理装置10は、制御部11、画像データ取得部12、標準偏差画像算出部13、関節位置検出部14、分割部15、記憶部16、及び表示制御部17を備えることができる。
【0066】
制御部11は、情報処理装置10の全体を制御する部位で、例えばCPU又はGPU等のプロセッサを含むことができる。制御部11は、制御処理及び演算処理等を行う演算装置としての機能を備え、画像データ取得部12、標準偏差画像算出部13、関節位置検出部14、分割部15、記憶部16、及び表示制御部17を制御する。
【0067】
画像データ取得部12は、撮像装置20に有線又は無線で接続するための通信インタフェース等のインタフェースを備えることができる。そして、画像データ取得部12は、撮像装置20から、呼吸運動中の被験者90を撮影した画像データを取得する。時系列の距離画像データ(以下、距離画像系列とも称する)を含め、取得される画像データは、被験者90の1又は複数の呼吸周期分について測定されたデータとすることで、被験者90の呼吸周期分についてのデータに基づく領域判定が可能になる。画像データ取得部12は、取得し画像データのうち少なくとも時系列の距離画像データを標準偏差画像算出部13へ出力する。また、画像データ取得部12は、取得した画像データを関節位置検出部14へ出力することができる。
【0068】
特に、距離画像系列を含め、取得される画像データは、被験者90が深呼吸している間に測定されたデータとすることができる。このように、距離画像系列の取得対象期間としての呼吸運動中とは、被験者90が呼吸中であることを指し、例えば被験者90が深呼吸中とすることができる。
【0069】
無論、呼吸運動中とは、深呼吸中でなくても、安静呼吸中とすることや、被験者90に自由に呼吸させた状態の期間とすることもできる。深呼吸中や安静呼吸中の画像データは、被験者90の呼吸運動が他の場合に比べて他の被験者と比較し易いデータである点、あるいは他の場合と比べて運動器障害を特定し易いデータである点などから有益であると言える。
【0070】
標準偏差画像算出部13は、距離画像系列が示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、分割部15へ出力する。
【0071】
関節位置検出部14は、画像データ取得部12で取得された画像データに基づき、被験者90の関節の位置を検出し、その検出結果を関節位置データとして分割部15へ出力する。なお、撮像装置20側に関節位置データを得る機能を備えておくこともでき、その場合、情報処理装置10は関節位置検出部14を備えない構成とすることができる。
【0072】
関節位置データは、撮像装置20に含まれる2次元カメラで撮像した2次元画像データを画像解析することで得ること、あるいは撮像装置20で撮像された距離画像データを画像解析することで得ることができる。これらの画像解析には例えば予め位置が必要となる関節について、被験者90の関節に所定のマークを付しておき、この所定のマークを検出することもできる。但し、関節位置データの取得方法や関節の位置を検出するための検出方法はこれらに限ったものではなく、モーションキャプチャ技術などの既知の様々な技術を利用することができる。
【0073】
また、関節位置データは、分割部15において被験者90の左側領域と右側領域とを分割する左右分割処理で使用されることができる。左右分割処理は、分割部15が実行する分割処理の一部であり、後述する。
【0074】
なお、関節位置データは、次のように使用されることもできる。即ち、入力された距離画像系列を含む画像データに対し、今後必要とならない領域の情報を削除するために関節位置データを用いることができる。また、入力された距離画像系列を含む画像データに対し、被験者90についての矢状面、前額面、及び横断面について各面の交線の方向や位置を、処理に適したように調整するために、関節位置データを用いることもできる。
【0075】
無論、距離画像系列等の画像データの取得に際して、被験者90が処理に適した正しい位置や向きになるような工夫を行っておくこともできる。この工夫には、関節位置データに基づいて、被験者90に位置や向きを正すようなアドバイスを表示装置30に表示させることを含むこともできる。
【0076】
なお、関節の検出には、既存の様々な技術を利用することができる。関節は、距離画像データに基づいて検出されることも、あるいはRGBの2次元画像データに基づいて検出されることもできる。関節の検出に使用する検出アルゴリズムは様々なものが流通しているが、検出アルゴリズムによって検出する数や位置が異なるため、使用する検出アルゴリズムに応じて使用目的に合致する関節キーポイントを選択すればよい。
【0077】
分割部15は、標準偏差画像算出部13で算出された標準偏差画像だけでなく、関節位置検出部14での検出結果として得られた関節位置データ、つまり被験者90の関節の位置を測定した関節位置データも入力することになる。
【0078】
分割部15は、標準偏差画像についての、被験者90の矢状面と前額面との交線の方向の微分値を用いて、標準偏差画像を被験者90の胸部92の領域(胸部領域)と腹部94の領域(腹部領域)とに分割する胸腹部分割処理を含む分割処理を実行する。上記交線の方向の微分値とは、上記交線に平行な方向の微分値を指す。上記交線の方向は、被験者90の身長方向、あるいは垂直方向と称することもできる。標準偏差画像の例、胸腹部分割処理の例、左右分割処理の例については、具体例を挙げて後述する。
【0079】
左右分割処理は、関節位置データが示す関節位置に基づき、標準偏差画像を左側領域と右側領域とに分割する処理を指す。左側領域とは、被験者90の正面に向かって(被験者90の矢状面に垂直な方向のうち)左側の領域を指し、右側領域とは、被験者90の正面に向かって右側の領域を指すことができる。なお、左右分割処理は、胸部領域と腹部領域との分割処理(以下、胸腹部分割処理)より先に実行することも後に実行することもできる。但し、図5等を参照しながら後述する左右分割処理の例では、胸腹部分割処理の結果を利用するため、胸腹部分割処理の後に実行されることになる。
【0080】
また、左右分割処理で使用する関節位置データは、距離画像系列に対応する期間の少なくとも1つの時刻について、被験者90の関節の位置を測定したデータとすることができる。左右分割処理は、基本的に被験者90を矢状面で分割する処理となり、被験者90の呼吸運動によっては、左右分割処理での分割結果に影響がでないことが想定される。そのため、距離画像系列に対応する期間のうち、少なくともいずれかの時刻で関節の位置が測定されていれば済む。
【0081】
但し、関節位置データは、距離画像系列の最初又は中間又は最後の時刻のデータなど、1時刻のデータとすることに限らず、距離画像系列に対応する期間の平均データとすることもできる。また、図5等を参照しながら後述する左右分割処理の例では、胸腹部分割処理の結果を利用することになるため、結果的に、関節位置データは距離画像系列に対応する期間について測定したデータであると言える。
【0082】
上述した左右分割処理は、関節位置データが示す所定の関節の位置を基準点として、標準偏差画像を左側領域と右側領域とに分割することができる。この基準点は関節キーポイントと称することができる。この基準点を2点以上とすることで、つまり2点以上の所定の関節の位置を基準点とすることで、より正確な左右分割処理が可能となる。所定の関節は、例えば腰と首とを含むこと、あるいは胸骨の上端を含むことができる。但し、被験者90の全身を撮影した画像データを利用し、所定の関節として左右の足先と首又は頭部を適用することで、さらに正確な左右分割処理が可能となる。この例に限らず、全身が撮影された画像データを使用することで、所定の関節の位置を安定して得ることが可能になる。
【0083】
記憶部16は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部16は、例えばROM(Read Only Memory)又はRAM(Random Access Memory)等である。記憶部16は、制御部11によって実行される制御プログラム及び演算プログラム等を記憶するための機能を備える。また、記憶部16は、処理中のデータ等を一時的に記憶する機能や、処理後のデータを後述する表示制御部17で表示装置30に表示させる対象の情報を記憶する機能を備える。
【0084】
表示制御部17は、表示装置30に有線又は無線で接続するための通信インタフェース等のインタフェースを備えることができる。表示制御部17は、図1の出力部1dの一例であり、標準偏差画像算出部13で算出された標準偏差画像に分割部15での分割処理の結果を重畳して、表示装置30に表示させるように制御する。分割処理の結果は、例えば、胸部領域と腹部領域との境界ライン等の境界領域を示す画像とすることができる。このような表示制御により、表示装置30において、標準偏差画像に胸部領域と腹部領域との境界ライン等の境界領域を重畳して表示させることができる。
【0085】
なお、情報処理装置10における画像データ取得部12、標準偏差画像算出部13、関節位置検出部14、分割部15、及び表示制御部17の各構成要素は、例えば、制御部11の制御によって、プログラムを実行させることによって実現できる。より具体的には、これらの構成要素は、記憶部16に格納されたプログラムを、制御部11が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。
【0086】
また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。
【0087】
次に、図5図11を参照しながら、表示システム100における処理の一例について説明する。図5は、図3の表示システム100における処理の一例を説明するためのフロー図である。
【0088】
また、図6は、表示システム100における撮像装置20によって取得された距離画像の一例を示す模式図である。図7は、情報処理装置10によって図6の距離画像から算出された標準偏差画像の一例を示す模式図である。図8は、情報処理装置10によって図7の標準偏差画像における或る画素列について算出された微分値の一例を示すグラフである。
【0089】
また、図9は、情報処理装置10によって決定される分割ラインの一例を示す図である。図10は、情報処理装置10によって生成される分割結果画像の一例を示す図である。図11は、情報処理装置10の制御により表示装置30に表示される、図10の分割結果画像を含む画像の一例を示す図である。
【0090】
但し、表示システム100における処理は、以下に説明する例に限ったものではない。例えば、関節位置データの一部が距離画像系列を画像解析して得られるデータである例を挙げて説明するが、関節位置データは、撮像装置20で取得されること、換言すれば関節位置データは距離画像データとは独立して取得されたデータとすることもできる。
【0091】
まず、情報処理装置10において、画像データ取得部12が、撮像装置20から、呼吸運動中の被験者90との距離を測定した距離画像系列及び被験者90の関節の位置を示す関節キーポイントを取得する(ステップS11)。ステップS11で取得される関節キーポイントは、関節位置データの一部であり、距離画像系列から不要な領域のデータを取り除くために使用することができる。
【0092】
距離画像系列が示す1時刻における距離画像は、例えば、図6で例示するような距離画像20Dとすることができる。なお、図6では、便宜上、ハッチングの違いにより距離の違いを表現しており且つ背景の他に2つの距離値しか表現していない。但し、実際には、当然、距離値は背景の距離以外にさらに多くの値を含むことができる。また、以下では、図6の距離画像20Dを処理対象とする例を挙げるが、図7図11では、便宜上、被験者90の身体の形状以外において処理結果の一例を概略的に示したに過ぎない。
【0093】
次に、標準偏差画像算出部13が、関節キーポイントに基づき、距離画像系列に対して距離画像データに前処理を施し、前処理後の距離画像データについて標準偏差を計算し、標準偏差画像を生成する(ステップS12)。
【0094】
ここで、前処理とは、距離画像系列から不要な領域を削除して、画像が正位置でないのであれば、画像を正位置になるように回転させるような処理を指すことができる。不要な領域とは、今後処理に必要とならない領域を指すことができ、例えば首から上の領域や手の端側の領域や腰から下の領域などを指すことができる。また、上述の回転は、関節キーポイントに基づき、被験者90についての矢状面、前額面、及び横断面について各面の交線の方向や位置を、処理に適したように正位置に調整するような処理を指す。なお、前処理には、領域の削除、画像の回転以外の画像の変形などの処理を含むこともできる。
【0095】
このような前処理により、ステップS11で入力された距離画像系列のそれぞれの距離画像について、例えば図6の距離画像20Dで示されるような領域のデータを残すことができる。以下では、便宜上、距離画像20Dで示す領域の距離画像系列を処理対象とする例を挙げる。
【0096】
ステップS12では、標準偏差画像算出部13が、時系列の距離画像20Dのそれぞれの画素に対し、時系列で存在する距離値の標準偏差を計算し、元の画素の位置に標準偏差値を配置した標準偏差画像を生成する。生成される標準偏差画像は、例えば図7に示す標準偏差画像20Sのようになる。以下では、ステップS12では標準偏差画像20Sが生成されたものとして説明する。図7では、縦軸が画素の行(単位は、画素(pixel))、横軸が画素の列(単位は、画素(pixel))を表している。
【0097】
標準偏差画像20Sでは、被験者90が呼吸運動中に動きが多い領域が濃く表現されているのが分かる。標準偏差画像20Sでは、例えば、両肩が良く動き、側腹部(脇腹部)がさらに動いている様子が分かり、両腕より腹の辺りがより動き、腹の辺りより胸の辺りの方がより動いている様子が分かる。
【0098】
次に、分割部15が、標準偏差画像20Sから、被験者90の矢状面と前額面との交線の方向(垂直方向)の微分値を示す画像である交線方向微分画像を生成し、各列の微分値の極小値及び極大値を計算する(ステップS13)。なお、便宜上、垂直方向をY軸方向として説明する。
【0099】
ここで生成される交線方向微分画像(Y軸方向微分画像)について説明する。標準偏差画像20Sの例えば、Y軸方向の或る1つの画素列20cについてY軸方向の微分値を計算すると、例えば図8のグラフ20Gcで示すようになる。グラフ20Gcでは、縦軸が画素の行、横軸が微分値を表しており、黒丸で示す点、黒い四角で示す点がそれぞれ極大点、極小点を表している。このように、ステップS13では、交線方向微分画像を生成するために、まず各画素についての微分値を求める処理を行うことになる。
【0100】
ステップS13の処理は、胸腹部分割処理の一部の処理の一例に該当する。つまり、胸腹部分割処理は、交線方向微分画像について、Y軸方向の画素列のそれぞれについて極小値及び極大値を検出する処理を含むことができる。
【0101】
次いで、分割部15は、胸腹部分割処理の一部の処理として、この交線方向微分画像上で、微分値が極小値となる画素が存在する領域及び微分値が極大値となる画素が存在する領域のうち、面積が最大となる領域を抽出する(ステップS14)。
【0102】
極小値及び極大値の存在する領域とは、交線方向微分画像上において極小値及び極大値を示す画素群で表現される領域、つまり交線方向微分画像上において極小値及び極大値をプロットした画素群で表現される領域を指す。胸部92と腹部94との境界領域などにおいて、この画素群の少なくとも一部は複数の画素が連なることになる。
【0103】
よって、ステップS14では、実質的には、Y軸方向微分画像上で、微分値が極大値となる画素が連なる領域及び微分値が極小値となる画素が連なる領域のうち、最大面積の領域を抽出することになる。ステップS14の抽出処理により、例えば、図9に示すグラフ20Lにおいて、破線20cbで示すような胸腹分割ラインで表現される領域が抽出されることになる。なお、図9の縦軸はY軸であって画素の行を表しており、横軸は画素の列を表しておりX軸としている。破線20cbの胸腹分割ラインは、大まかに言うと肋骨の下部のラインに相当することになり、解剖学的な知識に基づく結果となる。
【0104】
ステップS14ではさらに、分割部15が、抽出した結果に対応する標準偏差画像上の領域を、胸部領域と腹部領域とを分割する境界領域とする。この境界領域は、図9に示すグラフ20Lにおける破線20cbで例示されるように一画素の太さで表現される境界ラインとなる場合があるが、複数画素の太さで表現されることもある。
【0105】
次いで、分割部15は、上述した左右分割処理の一例として次のような処理を実行する(ステップS15)。ステップS15では、関節位置データとして、境界領域のうち最も頭部側となる点を基準点とするデータを入力し、基準点を通り上記交線に平行な直線で、標準偏差画像20Sの胸部領域と腹部領域との双方について左側領域と右側領域とに分割する。
【0106】
左側領域と右側領域とに分割する左右分割ラインは、図9の破線20lrで示すラインとなる。破線20lrは、破線20cbで示される境界領域のうちの最大値の位置を基準点として、その基準点を通り垂直方向に延びる直線となっているのが分かる。ここで、前処理により関節キーポイントを利用しているため、ここでの垂直方向の決定にもステップS11で入力された関節キーポイントを利用していると言える。
【0107】
なお、このように左右分割処理において胸腹部分割処理の結果を参照する場合には、基本的に撮像装置20側ではなく、情報処理装置10側が関節を検出する処理を実行することが前提となる。但し、ステップS15のような左右分割処理を採用する場合でも、胸腹部分割処理は上述した極大値及び極小値を使用する処理に限ったものではない。胸腹部分割処理は、距離画像系列の画像解析により標準偏差画像上の領域を胸部領域と腹部領域とに分ける境界となる境界領域を得られるものであればよい。
【0108】
また、上述したように、左右分割処理は、距離画像系列の画像解析結果を用いなくても、ステップS11で入力された関節キーポイントが示す所定の基準点に基づき、その基準点を通り垂直方向に延びる直線として分割してもよい。
【0109】
ステップS15までの処理において胸腹部分割処理及び左右分割処理が完了する。その後、表示制御部17が、例えば図9の破線20cb及び破線20lrで示されるその領域分割結果を、標準偏差画像20Sに重畳するような描画を行い、描画結果の画像を表示装置30に表示させる(ステップS16)、処理を終了する。
【0110】
これにより、例えば、図10に示す画像20SLを表示装置30に表示させることができる。また、画像SLの代わりに、図11で示す画像30SLのように、標準偏差値が示す動きの大きさを示す凡例と各分割領域の名称との少なくとも一方を含んだ画像を表示させることもできる。画像30SLにおいて、各分割領域の名称「右胸」、「左胸」、「右腹」、「左腹」は、標準偏差画像の外側に引出線などを利用して表示してもよい。なお、図10及び図11では、標準偏差値の差をハッチングの濃さで示した例を示しているが、実際には多色のグラデーションで表現することもできる。
【0111】
また、画像30SLでは、一点鎖線20bcにより腹部領域と腰部領域とに分割した結果及び胸部領域と腕部領域とを分割した結果も示しており、これらの分割は関節キーポイントに基づき実行されることができる。このように、分割部15は、関節キーポイントに基づき、腹部領域と腰部領域とを分割する境界領域及び胸部領域と腕部領域とを分割する境界領域を決定することもできる。なお、腕部領域は前処理で除外しておくこともできる。
【0112】
以上のような表示制御により、表示装置30において、被験者90の解剖学的な知識に基づく領域分割を行った結果を伴う、動きの様子を、被験者90に提示することができる。これにより、被験者90の呼吸の領域間の同期性について、被験者90に直接又は指導者を介してより細かにフィードバックして理解を促すことができる。
【0113】
ここで、標準偏差画像から算出することが可能な呼吸特徴量に関して1つだけ例を挙げておく。無論、呼吸特徴量はこの例に限ったものではない。
【0114】
標準偏差画像算出部13は、上述した分割処理の結果が示す分割領域毎に標準偏差画像が示す標準偏差の平均値を算出するように構成することもできる。例えば、胸部領域の標準偏差の平均値と腹部領域の標準偏差の平均値を、呼吸特徴量とすることができる。あるいは、左胸領域の標準偏差の平均値、右胸領域の標準偏差の平均値、左腹の標準偏差の平均値、及び右腹の標準偏差の平均値を、呼吸特徴量とすることができる。いずれの場合でも、この構成例で算出される平均値は、胸部から腹部へと延びる端側の領域である側腹部について、その側腹部の膨脹及び収縮のバランスを示す指標とすることができ、呼吸特徴量の1つとすることができる。算出される平均値は、例えば表示装置30に表示させることもできる。
【0115】
以上に説明したように、本実施形態によれば、実施形態1と同様に、解剖学的な知識に沿って被験者の動きを示す標準偏差画像を胸部領域と腹部領域とに分割することができる。さらに、本実施形態によれば、標準偏差画像を左側領域と右側領域とにも分割することができる。
【0116】
特に、本実施形態では、胸部領域と腹部領域との分割結果を用いて左右分割処理を実行することで、解剖学的な知識に従って標準偏差画像を左側領域と右側領域とにも分割することができる。この効果について補足する。実施形態1で説明したように、例えば、腰痛などの運動器障害では異常な呼吸パターンが発生するため、呼吸運動中の胸腹部の運動検査及び運動評価が重要となる。また、専門家によるこれらの検査及び評価は属人性があるため、客観的、定量的な検査技術及び評価技術が必要となる。本実施形態において、解剖学的な知識に従って標準偏差画像を、胸部領域と腹部領域との分割だけでなく左側領域と右側領域との分割も行うことができるため、このような検査や評価の正確性を向上させることができると言える。
【0117】
つまり、このような構成により、解剖学的な知識に沿った胸部領域と腹部領域との領域同定及び左側領域と右側領域との領域同定を行うことができ、それにより次のような効果を奏する。即ち、このような構成により、例えば右胸部と左胸部と右腹部と左腹部との呼吸特徴量を領域別により正確に算出することができ、また運動器障害についての呼吸特徴量の正しい定義付けを行うこともできる。このような構成により、右胸部と左胸部と右腹部と左腹部との運動を捉える検査の正確性を向上させることができ、被験者の呼吸状態の推定の精度も向上させることができる。また、その結果として、呼吸運動の評価の正確性を向上させることができ、またその評価を利用した指導の正確性も向上させることができ、効果的な指導が可能になる。
【0118】
また、本実施形態では、医療機関でのリハビリテーションやヘルスケアサービスでの呼吸運動練習時にセラピスト等の指導者が使用することで、効果的な指導を行うことができるようになる。また、本実施形態では、情報処理装置10を被験者が利用する端末装置などに実装することで、被験者が自宅に居ながら指導者から遠隔指導を受けることや自主トレーニングを行うことができるようになる。
【0119】
例えば、医療機関でのリハビリテーションやヘルスケアサービスでの呼吸運動練習時に、セラピスト等の指導者が使用することで効果的な指導を行うことができる。また、情報処理装置10又は情報処理装置10及び表示装置30を、被験者が利用する端末装置などとして実装することで、被験者が自宅に居ながら指導者から遠隔指導を受けることや自主トレーニングを行うことができる。特に被験者が利用するタブレット端末等の可搬の端末装置に、情報処理装置10の機能をアプリケーションなどとして搭載しておくことで、被験者90にとってより呼吸トレーニングを実施し易くなる。また、撮像装置20はこの端末装置に実装されたカメラなどを利用することもできる。
【0120】
また、本実施形態では、距離画像データの取得時の被験者の姿勢として仰臥位を採用した例を挙げたが、実施形態1で説明したように、これに限らず背臥位、座位、立位、膝立ち位、仰臥位且つ脚上げ位などでも実施することができる。但し、姿勢に応じて撮像装置20の設置場所や、上述した各種の画像処理などは適宜変更するとよい。なお、距離画像データは、被験者の姿勢に合わせて被験者の正面又は背面から取得するとよいが、正面から取得可能な姿勢の方が被験者の呼吸を制限しなくて済む。
【0121】
また、表示システム100は、上述したように複数の撮像装置20を備え、複数の撮像装置20を用いて、被験者90が撮影されてもよい。この構成により、被験者90が複数の視点から撮影され得るので、双方の視点のデータから距離画像データを生成することもできる。また、複数の撮像装置20を用いることで、撮影時に被験者90の死角が発生することを抑制できるため、その他の呼吸特徴量の算出に使用できるような変位量等の検出を高精度に実施でき、呼吸特徴量も高精度に算出することができる。
【0122】
また、表示システム100は、撮像装置20、表示装置30及び情報処理装置10の2つ以上が一体に構成された装置で実現されてもよい。例えば、撮像装置20、表示装置30及び情報処理装置10を備える1つの装置(スマートフォン等)を用いて、被験者90は、呼吸トレーニングや呼吸検査を行ってもよい。これにより、特別な設備がなくても、呼吸トレーニングや呼吸検査を行うことが可能となる。例えば、被験者90は、自宅等で気軽に呼吸トレーニングや呼吸検査を行うことができる。
【0123】
また、例えば、被験者90の鼻などに二酸化炭素の割合を検出するセンサを設け、そのセンサの検出結果から呼気分析を行うように表示システム100を構成しておくこともできる。このような構成により、例えば標準偏差画像を算出する時系列の距離画像データの抽出に利用すること、つまり使用データの期間の特定に利用することができる。
【0124】
さらに、このセンサを利用することで、このセンサの検出結果から時系列の距離画像データを呼気相のデータと吸気相のデータとに容易に分類することができる。よって、かかる構成により、時系列の距離画像データにおける呼気相と吸気相とを特定できるため、呼気相での標準偏差画像の算出及び分割結果と合わせた表示と、吸気相での標準偏差画像の算出及び分割結果と合わせた表示と、が可能になる。つまり、かかる構成により、呼気相についての標準偏差画像と、吸気相についての標準偏差画像との双方を算出し、それぞれ分割結果とともに出力することもできるようになる。
【0125】
<変形例>
本開示は、上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した各装置の構成要素の1つ以上は、適宜省略可能である。また、例えば、上述したフロー図の各ステップの1つ以上は、適宜、省略可能である。また、上述したフロー図の各ステップの1つ以上の順序は、適宜、変更可能である。
【0126】
また、情報処理装置は、呼吸トレーニング中や呼吸検査中に得られたデータに基づき呼吸の波形や軽負荷の処理で得られる呼吸特徴量を生成して、その結果をリアルタイムに表示装置30に表示し、時間経過とともに更新していくこともできる。そして、非リアルタイムの処理として、実施形態2で説明したように、格納された時系列の距離画像データ等を用いて求めた、標準偏差画像及びその分割結果を表示装置30に表示させることもできる。また、非リアルタイムの処理としては、情報処理装置が、格納された時系列の距離画像データ等を用いて求めた各種の呼吸特徴量を表示装置30に表示させることもできる。
【0127】
また、実施形態1,2に係る各装置は、いずれも次のようなハードウェア構成を有することができる。図12は、装置に含まれるハードウェア構成の一例を示す図である。
【0128】
図12に示す装置1000は、プロセッサ1001、メモリ1002、及び通信インタフェース1003を備える。各装置の機能は、プロセッサ1001がメモリ1002に記憶されたプログラムを読み込んで通信インタフェース1003と協働しながら実行することにより実現されることができる。
【0129】
上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disk(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0130】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0131】
(付記1)
呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力する入力部と、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出する算出部と、
前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行する分割部と、
前記分割処理の結果を、前記標準偏差画像に重畳して出力する出力部と、
を備える、情報処理装置。
(付記2)
前記入力部は、前記被験者の関節の位置を測定した関節位置データを入力し、
前記分割処理は、前記関節位置データが示す関節位置に基づき、前記標準偏差画像を前記被験者の正面に向かって左側の領域である左側領域と右側の領域である右側領域とに分割する左右分割処理を含む、
付記1に記載の情報処理装置。
(付記3)
前記関節位置データは、前記時系列の距離画像データに対応する期間の少なくとも1つの時刻について、前記被験者の関節の位置を測定したデータである、
付記2に記載の情報処理装置。
(付記4)
前記左右分割処理は、前記関節位置データが示す所定の関節の位置を基準点として、前記標準偏差画像を前記左側領域と前記右側領域とに分割する、
付記2又は3に記載の情報処理装置。
(付記5)
前記関節位置データは、前記時系列の距離画像データを画像解析して得られたデータである、
付記2~4のいずれか1項に記載の情報処理装置。
(付記6)
前記分割処理は、前記分割処理の結果として、前記標準偏差画像上の領域を前記胸部領域と前記腹部領域とに分ける境界となる境界領域を得、
前記左右分割処理は、前記関節位置データとして、前記境界領域のうち最も頭部側となる点を前記基準点とするデータを入力し、前記基準点を通り前記交線に平行な直線で、前記標準偏差画像の前記胸部領域と前記腹部領域との双方について前記左側領域と前記右側領域とに分割する、
付記4に記載の情報処理装置。
(付記7)
前記分割処理は、前記交線の方向の微分値を示す画像である交線方向微分画像について、前記交線の方向の画素列のそれぞれについて極小値及び極大値を検出し、前記交線方向微分画像上で、前記極小値及び前記極大値の存在する領域のうち面積が最大となる領域を抽出して、抽出した結果に対応する前記標準偏差画像上の領域を、前記胸部領域と前記腹部領域とを分割する境界領域とする、
付記1~6のいずれか1項に記載の情報処理装置。
(付記8)
前記時系列の距離画像データは、前記被験者の1又は複数の呼吸周期分について測定されたデータである、
付記1~7のいずれか1項に記載の情報処理装置。
(付記9)
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記1~8のいずれか1項に記載の情報処理装置。
(付記10)
前記算出部は、前記分割処理の結果が示す分割領域毎に前記標準偏差画像が示す標準偏差の平均値を算出する、
付記1~9のいずれか1項に記載の情報処理装置。
(付記11)
呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行し、
前記分割処理の結果を、前記標準偏差画像に重畳して出力する、
情報処理方法。
(付記12)
前記被験者の関節の位置を測定した関節位置データを入力し、
前記分割処理は、前記関節位置データが示す関節位置に基づき、前記標準偏差画像を前記被験者の正面に向かって左側の領域である左側領域と右側の領域である右側領域とに分割する左右分割処理を含む、
付記11に記載の情報処理方法。
(付記13)
前記関節位置データは、前記時系列の距離画像データに対応する期間の少なくとも1つの時刻について、前記被験者の関節の位置を測定したデータである、
付記12に記載の情報処理方法。
(付記14)
前記左右分割処理は、前記関節位置データが示す所定の関節の位置を基準点として、前記標準偏差画像を前記左側領域と前記右側領域とに分割する、
付記12又は13に記載の情報処理方法。
(付記15)
前記関節位置データは、前記時系列の距離画像データを画像解析して得られたデータである、
付記12~14のいずれか1項に記載の情報処理方法。
(付記16)
前記分割処理は、前記分割処理の結果として、前記標準偏差画像上の領域を前記胸部領域と前記腹部領域とに分ける境界となる境界領域を得、
前記左右分割処理は、前記関節位置データとして、前記境界領域のうち最も頭部側となる点を前記基準点とするデータを入力し、前記基準点を通り前記交線に平行な直線で、前記標準偏差画像の前記胸部領域と前記腹部領域との双方について前記左側領域と前記右側領域とに分割する、
付記14に記載の情報処理方法。
(付記17)
前記分割処理は、前記交線の方向の微分値を示す画像である交線方向微分画像について、前記交線の方向の画素列のそれぞれについて極小値及び極大値を検出し、前記交線方向微分画像上で、前記極小値及び前記極大値の存在する領域のうち面積が最大となる領域を抽出して、抽出した結果に対応する前記標準偏差画像上の領域を、前記胸部領域と前記腹部領域とを分割する境界領域とする、
付記11~16のいずれか1項に記載の情報処理方法。
(付記18)
前記時系列の距離画像データは、前記被験者の1又は複数の呼吸周期分について測定されたデータである、
付記11~17のいずれか1項に記載の情報処理方法。
(付記19)
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記11~18のいずれか1項に記載の情報処理方法。
(付記20)
前記分割処理の結果が示す分割領域毎に前記標準偏差画像が示す標準偏差の平均値を算出する、
付記11~19のいずれか1項に記載の情報処理方法。
(付記21)
コンピュータに、
呼吸運動中の被験者との距離を測定した時系列の距離画像データを入力し、
前記時系列の距離画像データが示す距離画像における各画素について値の標準偏差を示す標準偏差画像を算出し、
前記標準偏差画像についての、前記被験者の矢状面と前額面との交線の方向の微分値を用いて、前記標準偏差画像を前記被験者の胸部領域と腹部領域とに分割する分割処理を実行し、
前記分割処理の結果を、前記標準偏差画像に重畳して出力する、
情報処理を実行させるプログラム。
(付記22)
前記被験者の関節の位置を測定した関節位置データを入力し、
前記分割処理は、前記関節位置データが示す関節位置に基づき、前記標準偏差画像を前記被験者の正面に向かって左側の領域である左側領域と右側の領域である右側領域とに分割する左右分割処理を含む、
付記21に記載のプログラム。
(付記23)
前記関節位置データは、前記時系列の距離画像データに対応する期間の少なくとも1つの時刻について、前記被験者の関節の位置を測定したデータである、
付記22に記載のプログラム。
(付記24)
前記左右分割処理は、前記関節位置データが示す所定の関節の位置を基準点として、前記標準偏差画像を前記左側領域と前記右側領域とに分割する、
付記22又は23に記載のプログラム。
(付記25)
前記関節位置データは、前記時系列の距離画像データを画像解析して得られたデータである、
付記22~24のいずれか1項に記載のプログラム。
(付記26)
前記分割処理は、前記分割処理の結果として、前記標準偏差画像上の領域を前記胸部領域と前記腹部領域とに分ける境界となる境界領域を得、
前記左右分割処理は、前記関節位置データとして、前記境界領域のうち最も頭部側となる点を前記基準点とするデータを入力し、前記基準点を通り前記交線に平行な直線で、前記標準偏差画像の前記胸部領域と前記腹部領域との双方について前記左側領域と前記右側領域とに分割する、
付記24に記載のプログラム。
(付記27)
前記分割処理は、前記交線の方向の微分値を示す画像である交線方向微分画像について、前記交線の方向の画素列のそれぞれについて極小値及び極大値を検出し、前記交線方向微分画像上で、前記極小値及び前記極大値の存在する領域のうち面積が最大となる領域を抽出して、抽出した結果に対応する前記標準偏差画像上の領域を、前記胸部領域と前記腹部領域とを分割する境界領域とする、
付記21~26のいずれか1項に記載のプログラム。
(付記28)
前記時系列の距離画像データは、前記被験者の1又は複数の呼吸周期分について測定されたデータである、
付記21~27のいずれか1項に記載のプログラム。
(付記29)
前記時系列の距離画像データは、前記被験者が深呼吸している間に測定されたデータである、
付記21~28のいずれか1項に記載のプログラム。
(付記30)
前記情報処理は、前記分割処理の結果が示す分割領域毎に前記標準偏差画像が示す標準偏差の平均値を算出する処理を含む、
付記21~29のいずれか1項に記載のプログラム。
【符号の説明】
【0132】
1、10 情報処理装置
1a 入力部
1b 算出部
1c 分割部
1d 出力部
11 制御部
12 画像データ取得部
13 標準偏差画像算出部
14 関節位置検出部
15 分割部
16 記憶部
17 表示制御部
20 撮像装置
30 表示装置
90 被験者
92 胸部
94 腹部
100 表示システム
1000 装置
1001 プロセッサ
1002 メモリ
1003 通信インタフェース
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12