知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6280650
(24)【登録日】2018年1月26日
(45)【発行日】2018年2月14日
(54)【発明の名称】被験体の呼吸に起因する生体活動の計測方法および計測システム
(51)【国際特許分類】
A61B 5/08 20060101AFI20180205BHJP
A61B 5/11 20060101ALI20180205BHJP
A61B 5/113 20060101ALI20180205BHJP
【ＦＩ】
A61B5/08ZDM
A61B5/10 310A
A61B5/10 315
【請求項の数】4
【全頁数】28
(21)【出願番号】特願2016-534383(P2016-534383)
(86)(22)【出願日】2015年7月7日
(86)【国際出願番号】JP2015069550
(87)【国際公開番号】WO2016009901
(87)【国際公開日】20160121
【審査請求日】2016年12月20日
(31)【優先権主張番号】特願2014-145475(P2014-145475)
(32)【優先日】2014年7月15日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2014-145476(P2014-145476)
(32)【優先日】2014年7月15日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】317007266
【氏名又は名称】シャープライフサイエンス株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】市座 智之
(72)【発明者】
【氏名】山内 貴行
(72)【発明者】
【氏名】池田 豊
(72)【発明者】
【氏名】蔭地 謙作
(72)【発明者】
【氏名】三木 成一郎
【審査官】
冨永 昌彦
(56)【参考文献】
【文献】
特表２０１４−５１２９０５（ＪＰ，Ａ）
【文献】
特開２０１２−１２０６４８（ＪＰ，Ａ）
【文献】
国際公開第２０１３／１８６６９６（ＷＯ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ ５／０６ − ５／２２
(57)【特許請求の範囲】
【請求項1】
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた生体活動計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、
（ａ）前記被験体の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材を配置するステップと、
（ｂ）前記光源が、前記光で前記被験体を照射するステップと、
（ｃ）前記撮像装置が、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成するステップと、
（ｄ）前記画像処理回路が、各フレーム画像を複数の部分領域に分割し、前記複数の部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと
を包含する、呼吸に起因する生体活動の計測方法。
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた生体活動計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する方法であって、
（ａ）前記被験体の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材を配置するステップと、
（ｂ）前記光源が、前記光で前記被験体を照射するステップと、
（ｃ）前記撮像装置が、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成するステップと、
（ｄ）前記画像処理回路が、各フレーム画像を複数の部分領域に分割し、前記複数の部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと
を包含する、呼吸に起因する生体活動の計測方法。
【請求項2】
前記ステップ（ｄ）において、前記画像処理回路は、前記体動の方向である第１の方向を特定し、前記第１の方向と異なる第２の方向に沿って、前記各フレーム画像を複数の部分領域に分割する、請求項１に記載の計測方法。
【請求項3】
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に所定の反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記各フレーム画像は、前記再帰性反射材で反射された前記光に対応する、輝度値が相対的に高い第１部分領域と、前記第１部分領域よりも輝度値が相対的に低い第２部分領域とを含み、
前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像にわたって、前記第１部分領域と前記第２部分領域との境界が横切る座標位置の輝度値が経時的に変化することを利用して前記被験体の呼吸に起因する生体活動を計測する、計測システム。
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に所定の反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記各フレーム画像は、前記再帰性反射材で反射された前記光に対応する、輝度値が相対的に高い第１部分領域と、前記第１部分領域よりも輝度値が相対的に低い第２部分領域とを含み、
前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像にわたって、前記第１部分領域と前記第２部分領域との境界が横切る座標位置の輝度値が経時的に変化することを利用して前記被験体の呼吸に起因する生体活動を計測する、計測システム。
【請求項4】
前記画像処理回路は、前記境界が横切る座標位置を含む部分領域であって、かつ前記第１部分領域と前記第２部分領域との割合が経時的に変化する座標位置を含む部分領域に関して、前記輝度値の変化を検出する、請求項３に記載の計測システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。【背景技術】
【0002】
カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている（たとえば特許文献１および２）。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いることによって特定される。【0003】
特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。【0004】
特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平１１−２７６４４３号公報
【特許文献2】特開２０１１−１３０９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値が大きく変動し得る。常に適切なしきい値を求める方法がないため、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。【0007】
特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応起因の体動個所を特定できず、生体情報が正確に抽出できないことがある。【0008】
さらに、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるため、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。【0009】
本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システム、および生体情報の計測方法等を提供する。【課題を解決するための手段】
【0010】
本発明の実施形態による計測方法は、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた生体活動計測システムを用いて、前記被験体の呼吸に関する生体活動を計測する方法であって、（ａ）前記被験体の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材を配置するステップと、（ｂ）前記光源が、前記光で前記被験体を照射するステップと、（ｃ）前記撮像装置が、前記再帰性反射材で反射された前記光を受けて、複数のフレーム画像から構成される動画像を生成するステップと、（ｄ）前記画像処理回路が、前記複数のフレーム画像の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップとを包含する。【0011】
ある実施形態においては、前記ステップ（ｄ）において、前記画像処理回路は、前記複数のフレーム画像の輝度値の変化に基づいて前記生体活動を計測する。【0012】
ある実施形態においては、前記ステップ（ｄ）において、前記画像処理回路は、各フレーム画像を複数の部分領域に分割し、前記複数の部分領域の輝度値の変化に基づいて前記生体活動を計測する。【0013】
ある実施形態においては、前記ステップ（ｄ）において、前記画像処理回路は、前記所定の反射パターンを利用して、各フレーム画像の部分領域であって、前記再帰性反射材が含まれ、かつ前記体動の発生位置を含む部分領域を特定し、特定した前記部分領域の輝度値の変化を利用して前記生体活動を計測する。【0014】
ある実施形態においては、前記ステップ（ｄ）において、前記画像処理回路は、前記所定の反射パターンを特定する情報を予め保持しており、前記画像処理回路は、前記情報を利用してパターンマッチング処理を行うことにより、各フレーム画像において前記所定の反射パターンを検出し、前記再帰性反射材が含まれる部分領域を特定する。【0015】
ある実施形態においては、前記ステップ（ｄ）において、前記画像処理回路は、前記各フレーム画像の、前記再帰性反射材の境界を含む部分領域を特定する。【0016】
ある実施形態においては、前記ステップ（ｄ）において、前記画像処理回路は、前記体動の方向である第１の方向を特定し、前記第１の方向と異なる第２の方向に沿って、前記各フレーム画像を複数の部分領域に分割する。【0017】
ある実施形態においては、前記再帰性反射材の前記所定の反射パターンは、前記撮像装置の方向へ、前記光を反射する第１部分と、前記光を反射しない第２部分とを含む。【0018】
ある実施形態においては、前記第２部分は、前記再帰性反射材の周囲に設けられている。【0019】
ある実施形態においては、前記第１部分は、前記再帰性反射材の周囲に設けられている。【0020】
ある実施形態においては、前記再帰性反射材の前記所定の反射パターンは、所定の模様を含む。【0021】
ある実施形態においては、前記再帰性反射材の前記所定の反射パターンは、前記光の反射率が異なる複数の部分を含む。【0022】
ある実施形態においては、前記再帰性反射材の前記所定の反射パターンは、前記光の反射率が連続的に遷移する部分を含む。【0023】
ある実施形態において、前記計測方法は、（ｅ）光学フィルタを用いて、前記撮像装置に入射する可視光を遮断するステップをさらに包含する。【0024】
ある実施形態においては、前記計測方法は、前記光の波長をλとしたときにおいて、（ｆ）前記波長λの光を主として通過させる光学フィルタに、前記再帰性反射材で反射された前記光を通過させるステップをさらに包含する。【0025】
ある実施形態においては、前記ステップ（ｂ）において、前記光源は、前記波長λとして８５０ｎｍまたは９４０ｎｍの光を放射する発光ダイオードである。【0026】
ある実施形態において、前記計測方法は、（ｇ）前記光源から放射された前記光を、所定の偏光方向を有する偏光素子に通過させるステップと、（ｈ）前記再帰性反射材で反射された前記光を、前記所定の偏光方向と同じ偏光方向を有する偏光素子に通過させるステップとをさらに包含する。【0027】
ある実施形態において、前記計測方法は、（ｉ）固定された位置に、予め定められた形状を有する再帰性反射材を位置マーカとしてさらに設けるステップと、（ｊ）前記撮像装置が、前記位置マーカで反射された前記光を受け、複数のフレーム画像から構成される動画像を生成するステップと、（ｋ）前記画像処理回路が、前記位置マーカで反射された前記複数のフレーム画像の少なくとも１つに基づいて前記撮像装置が予め定められた方向を撮影しているか否かを判定するステップとをさらに包含する。【0028】
ある実施形態において、前記計測方法は、（ｌ）前記ステップ（ｋ）において、前記画像処理回路が、前記撮像装置が予め定められた方向または位置を撮影していないと判定した場合には、警告を報知するステップをさらに包含する。【0029】
ある実施形態において、前記再帰性反射材は非金属の材料によって形成されている。【0030】
本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する。【0031】
ある実施形態において、前記画像処理回路は、各フレーム画像の中から、前記再帰性反射材を含み、かつ前記体動の発生位置を含む部分領域を特定し、特定した前記部分領域の輝度値の変化を利用して前記生体活動を計測する。【0032】
ある実施形態において、前記各フレーム画像は、前記再帰性反射材で反射された前記光に対応する、輝度値が相対的に高い第１部分領域と、前記第１部分領域よりも輝度値が相対的に低い第２部分領域とを含み、前記画像処理回路は、前記複数のフレーム画像にわたって、前記第１部分領域と前記第２部分領域との境界が横切る座標位置の輝度値が経時的に変化することを利用して前記生体活動を計測する。【0033】
ある実施形態において、前記画像処理回路は、前記境界が横切る座標位置を含む部分領域であって、かつ前記第１部分領域と前記第２部分領域との割合が経時的に変化する座標位置を含む部分領域に関して、前記輝度値の変化を検出する。【0034】
ある実施形態において、前記画像処理回路は、前記各フレーム画像の同じ座標位置に前記処理単位領域を設定する。【0035】
ある実施形態において、前記部分領域のサイズは可変である。【0036】
ある実施形態において、前記画像処理回路は、前記再帰性反射材を含む領域の位置が、予め定められた量以上移動したことを検出した場合には、再度、各フレーム画像の中から、前記再帰性反射材を含み、かつ前記体動の発生位置を含む新たな部分領域を特定し、特定した前記新たな部分領域の輝度値の変化を利用して前記生体活動を計測する。【0037】
本発明の実施形態によるコンピュータプログラムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムにおける画像処理回路によって実行されるコンピュータプログラムであって、前記被験体の呼吸に伴う体動の発生位置に再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記コンピュータプログラムは前記画像処理回路に、前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された前記光を複数の時刻において受けて時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップとを実行させる。【発明の効果】
【0038】
本発明によれば、光源と再帰性反射材とを組み合わせて使用するため、周囲が暗い場合でも明るい場合でも、かつ被験者と撮像装置との距離を十分離したとしても、呼吸等の生体活動に起因する体動を、複数のフレーム画像の変化から捉えることができる。撮像装置を被験体から離して設置し、かつ撮影環境を暗く設定できるため、被験体へ与える圧迫感を十分低減しつつ、十分高い精度で生体情報を取得することが可能である。【図面の簡単な説明】
【0039】
【図1】実施の形態１による生体活動計測システム１００の構成を示す図である。
【図2】再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２を示す図である。
【図3】再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す図である。
【図4】複数のフレーム画像の輝度値の変化に基づいて測定された、高輝度領域１０４の振動を示す図である。
【図5】再帰性反射材４０を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す図である。
【図6】生体活動計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す図である。
【図7】生体活動計測システム１００で行われる処理の手順を示すフローチャートである。
【図8】（ａ）および（ｂ）は、時刻の異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。
【図9】（ａ）〜（ｆ）は、それぞれ、再帰性反射材４０の形状の例を示す図である。
【図11】（ａ１）〜（ｃ１）はそれぞれ、三角形の反射部分の周囲にマーカとして機能する反射材を設けた再帰性反射材４０を示す図であり、（ａ２）〜（ｃ２）はそれぞれ、マーカ内に設けられた２つ部分領域を示す図である。
【図12】可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す図である。
【図13】偏光フィルタ１２ａが設けられた光源２０と、偏光フィルタ１２ｂが設けられたカメラ１０とを示す図である。
【図14】位置マーカ４１を利用して撮影方向を判定する生体活動計測システム１０１の構成を示す図である。
【図15】（ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。
【図16】（ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された他の例を示す図である。
【図17】（ａ）および（ｂ）は、処理単位領域としての部分領域Ｑを、再帰性反射材４０からの反射光の領域Ｒと概ね同じ、または領域Ｒよりも大きく確保した例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。
【図19】時間的に変動する反射光の領域Ｒの変動範囲と、設定可能な最小の処理単位領域ＱａおよびＱｂを示す図である。
【図20】好適な処理単位領域Ｑｄ、ＱｅおよびＱｆの例を示す図である。
【図21】実施の形態２による生体情報モニタリング装置３００の動作の手順を示すフローチャートである。
【図22】生体活動計測システム１００の変形例による生体活動計測システム１１１を示す図である。
【発明を実施するための形態】
【0040】
以下、添付の図面を参照しながら、本発明による生体活動計測システムおよび計測方法の実施形態を説明する。【0041】
（実施の形態１）図１は、本実施の形態による生体活動計測システム１００の構成を示す。生体活動計測システム１００は、カメラ１０と、光源２０と、情報処理装置３０と、再帰性反射材４０とを含む。図１には被験者１が示されているが、被験者１は生体活動計測システム１００に含まれない。
【0042】
生体活動計測システム１００は、被験者１の生体活動を観察するために利用される。本実施の形態では、生体活動は被験者１の呼吸であるとし、生体活動計測システム１００は所定時間内の呼吸数を計測する。なお、被験者１は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。【0043】
カメラ１０は、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。【0044】
光源２０は光２０ａを放射する光源である。光は可視光であってもよく、不可視光（たとえば赤外光）であってもよい。本実施の形態では、赤外光を例に挙げて説明する。以下では、光２０ａを「赤外光２０ａ」と記述する。【0045】
情報処理装置３０は、カメラ１０が撮影した動画像のデータを受け取り、動画像を構成する複数のフレーム画像間の画像の変化を利用して被験者１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。【0046】
再帰性反射材４０は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材４０に入射する光の入射角と、再帰性反射材４０によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施の形態では、光源２０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源２０から放射された赤外光２０ａは再帰性反射材４０に反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。本実施形態では、再帰性反射材４０として、ガラスビーズを塗布した布を用いた。【0047】
なお、再帰性反射材４０を設けることにより、再帰性反射材４０に入射した外乱光２１ａは、反射光２１ｂとしてその入射方向に反射される。反射光２１ｂは実質的にカメラ１０に入射しないため、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。【0048】
生体活動計測システム１００の全体の動作を概説すると以下のとおりである。【0049】
まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材４０を配置する。光源２０が赤外光で被験者１を照射すると、カメラ１０は再帰性反射材４０で反射された赤外光を受けて、被験者１の動画像を撮影する。【0050】
たとえば図２は、再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２を示す。画像中央部の高輝度領域（白い領域）１０４が、再帰性反射材４０からの反射光が検出された領域である。参考として、図３は、再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す。再帰性反射材４０が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図２および図３には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。図２には、部分領域Ｐが例示されている。なお、部分領域Ｐの境界線は理解の便宜のため強調して表示されている。【0051】
なお、後述するように、本明細書では、再帰性反射材４０に所定の反射パターンを設け、その反射パターンを利用してより確実かつより簡易に高輝度領域１０４を検出するが、図２は特にその反射パターンの形状は現れていない。【0052】
情報処理装置３０は、図２に示されるような、動画像を構成する時系列の各複数のフレーム画像を解析して、複数のフレーム画像の輝度値の変化に基づいて被験者１の体動を検出する。より具体的に説明すると、情報処理装置３０は、図２に示す高輝度領域１０４を複数のフレーム画像にわたって検出する。平静時の被験者１の体動は呼吸に起因して発生するため、高輝度領域１０４の位置が呼吸の周期に合わせて変化（振動）する。情報処理装置３０は、高輝度領域１０４の振動の１周期を１呼吸周期として、所定期間にわたって呼吸周期の数をカウントすることにより、その期間における被験者１の呼吸数を計測することができる。【0053】
本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。本明細書では、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形（呼吸波形に相当する波形）を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。【0054】
図４は、複数のフレーム画像の輝度値の変化に基づいて測定された、高輝度領域１０４の振動を示す。再帰性反射材４０を用いて観測される波形は暗い撮影環境下でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図５は、再帰性反射材４０を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。再帰性反射材４０が存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図４と図５では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図５でのスケールは図４よりも大きくしている。換言すれば、再帰性反射材４０を用いる方（図４）が、用いない方（図５）よりも、信号対雑音比（ＳＮＲ）に優れていることを意味する。【0055】
本実施の形態の計測方法によれば、再帰性反射材４０を利用することにより、赤外光の反射光量を十分確保して撮影を行うことができる。その結果、被験者１とカメラ１０とを、たとえば６ｍ程度離して設置することができる。また、計測する部屋を暗くすることができる。これにより、被験者１への圧迫感を軽減しつつ、観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無の影響を受けにくい環境下、つまりノイズの影響が小さい環境下で撮影を行うことが可能になる。よって生体活動をより正確に計測することが可能になる。【0056】
図６は、生体活動計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施の形態では、情報処理装置３０はカメラ１０、およびディスプレイ３２と接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果である、被験者１の生体活動である呼吸の数の計測結果を表示する。高輝度領域が検出されないことにより、カメラ１０の撮影方向が適切でないと判断した場合には、情報処理装置３０はディスプレイ３２に警告を表示してもよい。【0057】
情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、インタフェース（Ｉ／Ｆ）３０５と、画像処理回路３０６とを有する。ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。【0058】
Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。情報処理装置３０が有線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばイーサネット（登録商標）端子である。情報処理装置３０が無線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばＷｉ−Ｆｉ（登録商標）規格に準拠した通信を行う送受信回路である。またはＩ／Ｆ３０５は、有線の映像入力端子であってもよい。【0059】
画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、動画像の各フレーム画像の高輝度領域を検出し、高輝度領域の振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。【0060】
本実施の形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。後述する画像処理回路３０６の処理を、ＣＰＵ３０１が行ってもよい。【0061】
図７は、生体活動計測システム１００で行われる処理の手順を示す。【0062】
ステップＳ１において、カメラ１０が再帰性反射材４０を装着した被験者１を撮影する。撮影された動画像は情報処理装置３０に送られる。【0063】
ステップＳ２において、情報処理装置３０の画像処理回路３０６は、撮影した動画像を構成する複数のフレーム画像の各々を、複数の部分領域に分割する。部分領域（たとえば図２の部分領域Ｐ）は、たとえば横６４画素、縦６４画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。【0064】
ステップＳ３において、画像処理回路３０６は、各部分領域の輝度値に基づいて、再帰性反射材４０が存在する部分領域、および生体反応による体動箇所を含む部分領域を特定する。より具体的に説明する。再帰性反射材４０が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。【0065】
再帰性反射材４０が存在する部分領域は以下の処理によって特定される。たとえば、画像処理回路３０６は、再帰性反射材４０が存在する場合に観測される部分領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、再帰性反射材４０が存在する部分領域として特定する。【0066】
このときの輝度値は、部分領域に含まれる各画素の輝度値の和であってもよいし、平均値であってもよい。輝度値の和および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。平均値を算出する演算処理よりも和を算出する演算処理の方が、計算負荷が小さく高速化が可能であるため、本実施の形態では部分領域に含まれる各画素の輝度値の和であるとする。【0067】
一方、体動箇所を含む部分領域は以下の処理によって特定される。上述のように、再帰性反射材４０からの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。いま、各フレーム画像に関して、ある共通の座標位置に存在する部分領域Ｑに着目する。図８（ａ）および（ｂ）は、時刻の異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す。図８（ａ）および（ｂ）に示す領域Ｒは、再帰性反射材４０からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Ｑが、高輝度領域になったりならなかったりする。【0068】
図８（ｃ）は、このときの部分領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｑの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。【0069】
図７のステップＳ３において、体動箇所を含む部分領域は、図８（ｃ）に示す輝度変化を示す座標位置の部分領域Ｑとして特定される。そして、部分領域Ｑに含まれる画素群を一まとまりとして、輝度値の演算（画像処理）が行われる。【0070】
再び図７を参照する。【0071】
ステップＳ４において、画像処理回路３０６は、体動箇所を含む部分領域Ｑの平均輝度値を算出する。【0072】
そしてステップＳ５において、画像処理回路３０６は、算出した各平均輝度値を利用して被験者の呼吸数をカウントする。算出した各平均輝度値は、図４に示す波形として表現される。画像処理回路３０６は、部分領域Ｑの平均輝度値が振動することによって特定される体動の１周期を１呼吸として、所定期間内の呼吸数をカウントする。【0073】
以上の処理により、生体活動計測システム１００において、高い精度で呼吸数の情報を取得することができる。再帰性反射材４０から反射された赤外光の光量が十分大きいため、カメラ１０が撮影した動画像を用いると、画像内の再帰性反射材４０から呼吸による体動を含む部分領域を特定することは容易である。【0074】
（再帰性反射材４０に関する変形例）次に、再帰性反射材４０に特定のパターンを与え、そのパターンの情報を利用することで、より確実に、かつより簡易に、呼吸による体動を含む部分領域を特定できることを説明する。あるいは、再帰性反射材４０を被験者１に装着する際の装着のしやすさを向上させることも可能になる。
【0075】
図９（ａ）〜（ｆ）は、それぞれ、再帰性反射材４０の形状の例を示す。図９では参照符号４０の記載は省略している。図９（ａ）〜（ｄ）の再帰性反射材４０は三角形状であり、図９（ｅ）および（ｆ）の再帰性反射材４０は、矩形状の反射材を組み合わせて構成されている。【0076】
図９（ａ）は、指向性が異なる反射材を組み合わせた再帰性反射材４０の例を示す。プリズム型の再帰性反射材は再帰反射する方向に関して指向性を有するものが存在する。そこで、図９（ａ）に示すように、反射方向が９０°ずれている反射材ａ１およびａ２を交互に短冊状に並べる。これにより、再帰性反射材４０の設置時に指向性を考慮する必要がなくなる。【0077】
図９（ｂ）は、赤外光を反射しない部分ｂ１と、赤外光を反射する部分ｂ２とを含む再帰性反射材４０の例を示す。この例では、赤外光を反射しない部分ｂ１は再帰性反射材４０の外縁に設けられており、赤外光を反射する部分ｂ２は再帰性反射材４０の内側の領域に設けられている。これにより、エッジ部分のコントラストを高め、呼吸による体動から輝度の変化を大きくすることが可能になる。【0078】
再帰性反射材４０を利用してフレーム画像を複数の部分領域に分割し、そのうちの輝度の高い部分領域を用いて処理を行うとしても、呼吸による体動を輝度で捉えることが困難な場合がある。たとえば、装着している衣服や背景の壁の輝度が高い場合には、輝度に基づいて呼吸による体動を含む部分領域を決定することが難しい。そこで、再帰性反射材４０の一部に赤外光を反射しない箇所を作り、呼吸による体動で確実に輝度変化が発生させている。【0079】
図９（ｃ）は、反射率がグラデーション状に変化する再帰性反射材４０の例を示す。このような再帰性反射材４０を用いると、再帰性反射材４０からの反射光の強度がグラデーション状に変化する。そのため、たとえば再帰性反射材４０からの反射光の領域Ｒに完全に含まれている部分領域Ｑを設定することも可能になる。【0080】
図９（ｄ）は、所定の模様ｄ１を含む再帰性反射材４０を示す。模様ｄ１は、赤外光を反射しない材質を用いて形成され得る。この模様はフレーム画像にも出現するため、再帰性反射材４０の向きを含む位置を特定することができる。【0081】
図９（ｅ）は、赤外光を反射しない部分ｅ１と、赤外光を反射する部分ｅ２とを含む再帰性反射材４０の他の例を示す。図９（ｂ）と異なり、この例では、再帰性反射材４０の内部に赤外光を反射しない部分ｅ１が設けられている。境界数が多くなるため、部分領域を設定する条件が整いやすい。【0082】
図９（ｆ）は、赤外光を反射する部分ｆ１およびｆ２を複数箇所に分散して設けた再帰性反射材４０を示す。たとえば赤外光を反射する部分ｆ１の四隅に赤外光を反射する部分ｆ２が設けられている。この例でも境界数が多くなるため、部分領域を設定する条件が整いやすい。【0084】
再帰性反射材４０のエッジ部分が、被験者１の呼吸による体動が発生する箇所（たとえば腹部または胸部）に位置するように再帰性反射材４０が設置される。情報処理装置３０の画像処理回路３０６は、予め、このようなパターンを有する再帰性反射材４０が用いられること、およびそのパターンの特徴を示す情報を、たとえばＲＯＭ３０２に保持している。【0085】
このような再帰性反射材４０を利用したときの生体活動計測システム１００における処理を説明する。図７の処理手順におけるステップＳ２およびＳ３に代えて、以下の処理が行われる。【0086】
カメラ１０が被験者１を撮影すると、画像処理回路３０６は、得られた動画像の各フレーム画像において、図１０（ｂ）に示されるような、短冊状に輝度値が高い領域を特定する。画像処理回路３０６は、予め保持していたパターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、再帰性反射材４０の位置を特定する。【0087】
次に、画像処理回路３０６は各フレーム画像を２つ以上に分割する。このとき、画像処理回路３０６は再帰性反射材４０をまたぐ位置に分割線（境界線）を設定する。さらに、分割線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路３０６は、たとえば水平方向に境界線を設定して各フレーム画像を２つ以上に分割し、部分領域を設定する。画像処理回路３０６は、部分領域の平均輝度値を利用して被験者１の呼吸数をカウントすることができる。【0088】
既知の形状の再帰性反射材４０を利用して位置を特定し、再帰性反射材４０周辺を部分領域に分割することにより、呼吸による輝度の変化を１か所以上で測定できるようになる。よって検出精度を向上することができる。【0089】
ここで、再帰性反射材４０に関する更に他の例を説明する。【0090】
図１１（ａ１）〜（ｃ１）はそれぞれ、三角形の反射部分の周囲にマーカとして機能する反射材を設けた再帰性反射材４０を示す。参考として、図１１（ａ１）のみに、反射部分４０ａ、およびマーカ４０ｂを示す。なお、図示されたマーカの形状は一例である。反射部分４０ａとの関係で識別可能であれば、その形状は任意である。【0091】
このような再帰性反射材を利用したときの処理は、概ね上述した通りである。反射部分４０ａ、およびマーカ４０ｂを含む、既知の形状の再帰性反射材４０を利用して位置を特定し、再帰性反射材４０の周辺に部分領域に分割すればよい。【0092】
部分領域に分割する際には、画像処理回路３０６は、検索した周囲のマーカ４０ｂを基準に、そのマーカ４０ｂ内を２つ以上の部分領域に分割すればよい。たとえば図１１（ａ２）は、マーカ４０ｂ内に設けられた２つ部分領域Ｑ１およびＱ２を示す。なお、部分領域Ｑ１およびＱ２の形状またはサイズは互いに異なっていてもよい。どのような再帰性反射材４０を利用するかに応じて、部分領域Ｑ１およびＱ２の形状またはサイズを予め決定しておいてもよい。【0094】
マーカを設けることにより、再帰性反射材４０に関する部分領域を限定して設定することができるため、計算処理の負荷を大きく軽減できる。【0095】
続いて、再帰性反射材４０の更なる変形例を説明する。【0096】
本実施の形態による生体活動計測システム１００は、再帰性反射材４０を適切に選択することにより、磁気共鳴画像診断装置を用いた測定・検査においても利用することが可能である。【0097】
上述した再帰性反射材４０は、アルミを蒸着させて形成されているものが存在する。再帰性反射材４０が金属材料を含む場合には、その再帰性反射材４０を、磁気共鳴画像診断装置を利用した測定・検査（いわゆるＭＲＩ測定・検査）に用いることはできない。磁気共鳴画像診断装置のガントリ内で撮影画像に影響を与える恐れが生じるからである。【0098】
ＭＲＩ測定・検査を行う環境下では、非金属材質の再帰性反射材４０を採用する必要がある。たとえばＰＥＴ製のプリズムシートを再帰性反射材４０として使用することが可能である。【0099】
これにより、ＭＲＩ環境下においても再帰性反射材４０を患者に装着して、周囲環境のノイズの影響を低減して生体情報を取得することが可能となる。【0100】
（カメラに関する変形例）次に、カメラに関する変形例を説明する。なお、以下に特に説明する構成および動作を除いては、生体活動計測システムの構成および動作は、実施の形態１の生体活動計測システム１００（図１）と同じである。
【0101】
図１２は、可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す。この光学フィルタ１１は、たとえば赤外フィルタとも呼ばれる。【0102】
本実施の形態では、フィルタ１１を設けて被験者１を撮影する。光学フィルタ１１は、光源２０から放射され、再帰性反射材４０において反射された赤外光は透過するが、可視光は遮断する。光学フィルタ１１を設けることにより、赤外光以外の光、より具体的には可視光、がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるため、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を低減できる。【0103】
本願発明者らは、可視光領域の波長を遮る光学フィルタ１１を設けることは非常に有用であると考えている。その理由は、実際の撮影時には、完全な暗室環境を実現することが困難な場合が多いからである。たとえば病院で生体活動計測システム１００を動作させる場合には、夜間であったとしても常夜灯、避難誘導灯などが院内に点灯する。そのような撮影環境では光学フィルタ１１によって可視光を遮断することが好適である。【0104】
さらに、図１２に示す光学フィルタ１１として、可視光のみならず不要な赤外光をも遮断する光学フィルタを設けてもよい。換言すれば、光学フィルタ１１として、光源２０が放射する赤外光を通過させるバンドパスフィルタを設けてもよい。【0105】
まず、光源２０として急峻な波長特性を有するＬＥＤ光源を採用する。波長は、たとえば８５０ｎｍまたは９４０ｎｍ、およびそれらの近傍である。「急峻な波長特性」とは、ここでは放射される赤外光の波長の変動が小さいことを意味する。【0106】
光源２０に対応して、光学フィルタ１１として、光源２０から放射される赤外光を通過させるバンドパス特性を有する光学フィルタをカメラ１０に設ける。たとえば、光源２０から放射される赤外光の波長が８５０ｎｍの場合には、８５０ｎｍの波長の赤外光を透過させる光学フィルタ１１を設ける。【0107】
光源２０の波長と、光学フィルタ１１の通過帯域とを一致させることにより、カメラ１０は、光源２０から放射される赤外光の波長と同じ波長の光のみに感度を持つことになる。可視光のみならず、不要な赤外光をも遮断できるため、撮影された動画像は外乱光の影響を受けない。なお、再帰性反射材４０を利用しているため、光源２０から放射され、再帰性反射材４０で反射された赤外光の光量は大きい。よって、反射光の捉え易さは先に説明した態様と同じである。【0108】
図１３は、偏光フィルタ１２ａが設けられた光源２０と、偏光フィルタ１２ｂが設けられたカメラ１０とを示す。この例では、カメラ１０には上述した光学フィルタ１１が設けられているが、光学フィルタ１１は必須ではない。【0109】
偏光フィルタ１２ａおよび１２ｂは、その偏光方向が一致するようカメラ１０および光源２０に設置される。【0110】
この構成によれば、偏光フィルタ１２ａおよび１２ｂにより、カメラ１０は、光源２０から放射された赤外光と同じ偏光方向の光に対してのみ感度を持つ。これにより、光源２０から放射された赤外光のうち、偏光フィルタ１２ａを通過した、所定の偏光方向を有する赤外光のみが再帰性反射材４０で反射され、さらにカメラ１０に入射する。よって、その偏光方向と異なる偏光方向の外乱光（可視光および赤外光）の影響を排除できる。【0111】
（位置マーカの導入による撮影方向の判定）図１４は、位置マーカ４１を利用して撮影方向を判定する生体活動計測システム１０１の構成を示す。位置マーカ４１を利用すること、および位置マーカ４１に関する情報処理装置３０の処理を除いては、これまでの説明と同じである。
【0112】
位置マーカ４１は、生体活動計測システム１０１が構築されている部屋の壁面等の予め固定されている場所に設けられた再帰性反射材である。本例では、位置マーカ４１は五角形状であるとする。しかしながらこれは一例である。位置マーカ４１は、円形、楕円形、矩形などであってもよい。【0113】
位置マーカ４１の形状および大きさは、カメラ１０が位置マーカ４１の形状を識別可能であれば任意である。すなわち、位置マーカ４１の形状および大きさは、位置マーカ４１とカメラ１０との間の距離を考慮した、カメラ１０の解像度に応じて任意に選択可能である。【0114】
光源２０が放射した赤外光は、たとえば円錐状に広がって位置マーカ４１に到達する。図１４には、赤外光が通過する領域を空間Ｓとして示している。位置マーカ４１である再帰性反射材で反射された赤外光の一部は、カメラ１０に到達する。これにより、カメラ１０は位置マーカ４１を撮影できる。【0115】
情報処理装置３０の画像処理回路３０６は、予め位置マーカ４１の形状の情報、および位置マーカ４１の設置される位置に関する情報を、たとえばＲＯＭ３０２に保持している。位置マーカ４１の設置される位置とは、たとえばカメラ１０の設置位置および撮影方向が適正に決定されて、位置マーカ４１が撮影されたときに、その位置マーカ４１が撮影された画像のどの位置に存在するかを特定する情報である。【0116】
画像処理回路３０６は撮影された動画像を解析し、保持していた情報を利用して、たとえばパターンマッチング処理を行い、動画像のフレーム画像中に位置マーカ４１が含まれているか否か、および含まれている場合にはその位置を特定する。【0117】
そして画像処理回路３０６は、予め保持している情報を参照して、特定した位置と、位置マーカ４１の設置されるべき位置とが一致しているか否かを判定する。一致していない場合には、カメラ１０が、適正な位置および／または撮影方向に設置されていないことを意味する。【0118】
画像処理回路３０６は、一致していないことを示す警告を報知する。たとえば画像処理回路３０６は、ディスプレイ３２に映像信号を送り、「カメラの位置または撮影方向がずれています。確認して下さい。」というメッセージを呈示させる。またはＣＰＵ３０１は、図示されない音声処理回路を介して、警告音または警告メッセージの音声を呈示させてもよい。【0119】
物が当たるなどの原因で、カメラ１０の位置および／または撮影方向がずれ、被験者１を適切に撮影できない状況にあるときは、生体活動計測システム１００はその状況を検出し、警告を報知することができる。【0120】
（実施の形態２）本実施の形態は、呼吸による体動が生じた箇所を含むフレーム画像に部分領域を設定する処理に関する。
【0121】
本実施の形態においても、図１および図６に示す生体活動計測システム１００を参照する。本実施の形態と、実施の形態１との相違点は、主として情報処理装置３０（図１および図６）の処理である。その他の構成および動作に関しては、再帰性反射材４０の変形例等を含め、実施の形態１と同じ構成および動作が、本実施の形態にも適用され得る。【0122】
上述した実施の形態では、再帰性反射材４０の位置、大きさ、および画像処理の１単位である部分領域のサイズの関係で、期待通りの呼吸波形を得ることが出来ないことがある。たとえば、ある被験者１の呼吸による体動が比較的小さく、さらに処理単位である部分領域も比較的小さいと仮定する。このような仮定の下では、図８（ａ）および（ｂ）に示されるような部分領域Ｑを特定できないことがある。その結果、理想的ではない領域を、輝度値の演算（画像処理）を行う単位領域として設定してしまう可能性がある。【0123】
図１５（ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された例を示す。呼吸に起因する体動により、反射光の領域Ｒの位置は、図１５（ａ）および（ｂ）の状態をそれぞれ下限および上限として変化する。この場合、部分領域Ｑは、常に反射光の領域Ｒの中に入っているため、体動による輝度値の変化が現れない。図１５（ｃ）は、設定された部分領域Ｑの輝度値の変化を示す。呼吸の有無にかかわらず輝度が高い状態が続いていることが理解される。輝度値の変動が小さいため、輝度値を利用して呼吸の情報を抽出することは非常に困難である。【0124】
図１６（ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された他の例を示す。体動が図面の上下方向に認められるとする。このとき、反射光の領域Ｒの上下のエッジを常に含むように部分領域Ｑを設定してしまうと、反射光の領域Ｒが変動したとしても、部分領域Ｑの輝度値は変化しない。このように部分領域Ｑを設定してしまった場合にも、輝度値を利用して呼吸の情報を抽出することは非常に困難である。【0125】
そこで本実施の形態では、画像処理回路３０６（図６）が、輝度値の変化を検出するための部分領域Ｑのサイズを動的に変更する。以下、部分領域Ｑの設定例を説明する。なお、以下では、輝度値の演算を行う一まとまりの画素群を含む領域を「処理単位領域」と呼ぶ。【0126】
本実施の形態では、反射光の領域Ｒのエッジを特定し、エッジの座標位置が時刻に応じて変動する場合に、そのエッジが横切る領域を含むよう、処理単位領域を設定する。ただし、ここでいう反射光の領域Ｒのエッジは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジであるとする。たとえば変動方向に関して対向する２本のエッジを同時に横切る領域は処理単位領域として設定しない。【0127】
以下、具体的に説明する。【0128】
図１７（ａ）および（ｂ）は、処理単位領域としての部分領域Ｑを、再帰性反射材４０からの反射光の領域Ｒと概ね同じ、または領域Ｒよりも大きく確保した例を示す。【0129】
図１７（ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像を示している。各フレーム画像は、反射光の領域Ｒを含む。そして領域Ｒのエッジ（境界）の座標位置は経時的に変化している。そこで、領域Ｒのエッジが横切る領域を含む部分領域Ｑを、処理単位領域として設定する。反射光の領域Ｒと部分領域Ｑとが重複する比率は経時的に変化する。この経時的な変化は、部分領域Ｑの輝度値の変化として現れる。よってそのような経時的な変化を含む領域を処理単位領域として設定すればよい。【0130】
なお、反射光の領域Ｒと部分領域Ｑとが重複する比率が同じであれば、処理単位領域の輝度値は変化しないことになり、輝度値の変化を利用して呼吸数をカウントすることはできない。【0131】
図１７（ｃ）は、部分領域Ｑの輝度値の変化を示す。部分領域Ｑが反射光の領域Ｒよりも大きいため、再帰性反射材４０からの反射光の輝度変化のダイナミックレンジを大きくとることが可能となる。【0132】
たとえば図８（ａ）および（ｂ）の処理単位領域としての部分領域Ｑのサイズが６４画素ｘ６４画素であるとすると、図１７（ａ）および（ｂ）では、部分領域Ｑのサイズは２５６画素ｘ２５６画素である。【0134】
図１８（ａ）では、部分領域Ｑは反射光の領域Ｒに含まれているため、その輝度値は非常に大きい。一方、図１８（ｂ）では、部分領域Ｑは反射光の領域Ｒのエッジ（境界）を含んでいる。つまり、この例でも、反射光の領域Ｒと部分領域Ｑとが重複する比率は経時的に変化する。【0137】
図１９は、時間的に変動する反射光の領域Ｒの変動範囲と、設定可能な最小の処理単位領域ＱａおよびＱｂを示す。処理単位領域ＱａおよびＱｂはいずれも、反射光の領域Ｒが変動することによって領域Ｒのエッジに横切られる領域である。換言すれば、処理単位領域ＱａおよびＱｂはいずれも、その一部または全部が領域Ｒに入ったり入らなかったりする位置に存在する。反射光の領域Ｒと部分領域ＱａまたはＱｂとが重複する比率は経時的に変化する。【0138】
処理単位領域Ｑａは、反射光の領域Ｒの変化が上限に達したときの反射光の領域Ｒの境界（エッジ）を含む。つまり処理単位領域Ｑａは、その一部が領域Ｒに入ったり入らなかったりする位置に存在する領域である。【0139】
処理単位領域Ｑｂは、反射光の領域Ｒの変化に伴って、その全部が領域Ｒに入ったり入らなかったりする位置に存在する領域である。【0140】
一方の領域Ｑｃは、反射光の領域Ｒの変化にかかわらず、常に反射光の領域Ｒ内に位置する領域である。部分領域Ｑｃと反射光の領域Ｒとは、常に重複する領域の比率が同じである。よって部分領域Ｑｃは処理単位領域として好適ではない。【0141】
上述した条件を満たす位置にある領域Ｑａおよび／またはＱｂを特定し、情報処理装置３０の性能等を考慮して、処理単位領域を設定すればよい。【0142】
図２０は、好適な処理単位領域Ｑｄ、ＱｅおよびＱｆの例を示す。いずれの領域も、反射光の領域Ｒが変動することによって領域Ｒのエッジに横切られる領域である。【0143】
図２１は、本実施の形態による生体情報モニタリング装置３００の動作の手順を示す。この処理は主としてＣＰＵ３０１および／または画像処理回路３０６によって実行される。以下では、実行主体は画像処理回路３０６である例に挙げて説明する。【0144】
ステップＳ１１において、画像処理回路３０６は、取得した画像から再帰性反射材４０が存在する領域Ｒを特定する。たとえば、画像処理回路３０６は、再帰性反射材４０からの反射光が観測される領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、再帰性反射材４０が存在する領域として特定する。【0145】
ステップＳ１２において、画像処理回路３０６は再帰性反射材４０のエッジを含む領域を特定する。たとえば画像処理回路３０６は、隣接する画素の輝度値の差が予め定められた値以上の部分をエッジとして特定する。なお、エッジを検出する技術は公知であるため、詳細の説明は省略する。【0146】
ステップＳ１３において、画像処理回路３０６は、エッジを含む領域を処理単位領域として選定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジをいう。【0147】
ステップＳ１４において、画像処理回路３０６は、選定した処理単位領域内に存在する各画素の輝度値を加算平均する。【0148】
ステップＳ１５において、画像処理回路３０６は算出した加算平均結果の時間変化を呼吸波形と判断し、ステップＳ１６において、呼吸波形から呼吸数をカウントする。【0149】
ステップＳ１７において、画像処理回路３０６はディスプレイ３２に映像信号を送り、呼吸数の情報を表示させる。【0150】
上述のステップＳ１１〜Ｓ１３は、一度エッジが検出され、呼吸数の計測が始まった後でも随時行われ得る。たとえば被験者１が寝返りを打つことにより、再帰性反射材４０からの反射光の検出位置が変化する場合がある。その場合には画像処理回路３０６は改めてステップＳ１１〜Ｓ１３の処理を行い、体動に起因する処理単位領域の再設定を行えばよい。呼吸による体動と比較すると、寝返りなどの体動は非常に大きいため、反射光が検出される座標位置は大きく変化する。画像処理回路３０６は、反射光が検出される座標位置が所定量以上移動した場合には、改めてステップＳ１１〜Ｓ１３の処理を行う。なお、画像処理回路３０６は、ステップＳ１５においてユーザの体動をモニタし続けている。よって、呼吸以外の体動が被験者１に生じた場合には、画像処理回路３０６は体動の変化を迅速かつ容易に観測できる。【0151】
以上、本発明の実施の形態を説明した。【0152】
上述の実施の形態では、図１に示す生体活動計測システム１００を例にして説明した。ただし、生体活動計測システム１００の構成は一例である。【0153】
たとえば図２２は、生体活動計測システム１００の変形例による生体活動計測システム１１１を示す。生体活動計測システム１１１では、複数のカメラ１０がネットワーク１１０を介して情報処理装置３０と接続されている。情報処理装置３０は、複数のカメラ１０から出力される動画像のデータを所得して、個々に上述の処理を行う。【0154】
生体活動計測システム１１１は、たとえば病院に敷設される。または生体活動計測システム１１１は、カメラ１０および光源２０は各患者の自宅に設置され、情報処理装置３０は病院等に設置されてもよい。【0155】
本明細書は、以下の項目に記載の呼吸数の計測方法、計測システム、およびコンピュータプログラムを開示している。【0156】
［項目１］光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた生体活動計測システムを用いて、前記被験体の呼吸に起因する生体活動を計測する計測方法であって、
（ａ）前記被験体の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材を配置するステップと、
（ｂ）前記光源が、前記光で前記被験体を照射するステップと、
（ｃ）前記撮像装置が、前記再帰性反射材で反射された前記光を受けて、複数のフレーム画像から構成される動画像を生成するステップと、
（ｄ）前記画像処理回路が、前記複数のフレーム画像の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと
を包含する、計測方法。
【0157】
項目１の計測方法によると、光源と再帰性反射材とを組み合わせて使用するため、周囲が暗い場合でも明るい場合でも、かつ被験者と撮像装置との距離を十分離したとしても、呼吸等の生体活動に起因する体動を、複数のフレーム画像の変化から捉えることができる。撮像装置を被験体から離して設置し、かつ撮影環境を暗く設定できるため、被験体へ与える圧迫感を十分低減しつつ、十分高い精度で生体情報を取得することが可能である。【0158】
［項目２］前記ステップ（ｄ）において、前記画像処理回路は、前記複数のフレーム画像の輝度値の変化に基づいて前記生体活動を計測する、項目１に記載の計測方法。
【0159】
［項目３］前記ステップ（ｄ）において、前記画像処理回路は、各フレーム画像を複数の部分領域に分割し、前記複数の部分領域の輝度値の変化に基づいて前記生体活動を計測する、項目１または２に記載の計測方法。
【0160】
［項目４］前記ステップ（ｄ）において、前記画像処理回路は、
前記所定の反射パターンを利用して、各フレーム画像の部分領域であって、前記再帰性反射材が含まれ、かつ前記体動の発生位置を含む部分領域を特定し、
特定した前記部分領域の輝度値の変化を利用して前記生体活動を計測する、項目１または２に記載の計測方法。
【0161】
［項目５］前記ステップ（ｄ）において、前記画像処理回路は、前記所定の反射パターンを特定する情報を予め保持しており、
前記画像処理回路は、前記情報を利用してパターンマッチング処理を行うことにより、各フレーム画像において前記所定の反射パターンを検出し、前記再帰性反射材が含まれる部分領域を特定する、項目１から４のいずれかに記載の計測方法。
【0162】
［項目６］前記ステップ（ｄ）において、前記画像処理回路は、前記各フレーム画像の、前記再帰性反射材の境界を含む部分領域を特定する、項目５に記載の計測方法。
【0163】
［項目７］前記ステップ（ｄ）において、前記画像処理回路は、前記体動の方向である第１の方向を特定し、前記第１の方向と異なる第２の方向に沿って、前記各フレーム画像を複数の部分領域に分割する、項目３に記載の計測方法。
【0164】
［項目８］前記再帰性反射材の前記所定の反射パターンは、前記撮像装置の方向へ、前記光を反射する第１部分と、前記光を反射しない第２部分とを含む、項目１から７のいずれかに記載の計測方法。
【0165】
［項目９］前記第２部分は、前記再帰性反射材の周囲に設けられている、項目８に記載の計測方法。
【0166】
［項目１０］前記第１部分は、前記再帰性反射材の周囲に設けられている、項目８に記載の計測方法。
【0167】
［項目１１］前記再帰性反射材の前記所定の反射パターンは、所定の模様を含む、項目８に記載の計測方法。
【0168】
［項目１２］前記再帰性反射材の前記所定の反射パターンは、前記光の反射率が異なる複数の部分を含む、項目１から７のいずれかに記載の計測方法。
【0169】
［項目１３］前記再帰性反射材の前記所定の反射パターンは、前記光の反射率が連続的に遷移する部分を含む、項目１２に記載の計測方法。
【0170】
［項目１４］（ｅ）光学フィルタを用いて、前記撮像装置に入射する可視光を遮断するステップをさらに包含する、項目１から１３のいずれかに記載の計測方法。
【0171】
［項目１５］前記光の波長をλとしたときにおいて、
（ｆ）前記波長λの光を主として通過させる光学フィルタに、前記再帰性反射材で反射された前記光を通過させるステップをさらに包含する、項目１から１３のいずれかに記載の計測方法。
【0172】
［項目１６］前記ステップ（ｂ）において、前記光源は、前記波長λとして８５０ｎｍまたは９４０ｎｍの光を放射する発光ダイオードである、項目１５に記載の計測方法。
【0173】
［項目１７］（ｇ）前記光源から放射された前記光を、所定の偏光方向を有する偏光素子に通過させるステップと、
（ｈ）前記再帰性反射材で反射された前記光を、前記所定の偏光方向と同じ偏光方向を有する偏光素子に通過させるステップと
をさらに包含する、項目１から１３のいずれかに記載の計測方法。
【0174】
［項目１８］（ｉ）固定された位置に、予め定められた形状を有する再帰性反射材を位置マーカとしてさらに設けるステップと、
（ｊ）前記撮像装置が、前記位置マーカで反射された前記光を受け、複数のフレーム画像から構成される動画像を生成するステップと、
（ｋ）前記画像処理回路が、前記位置マーカで反射された前記複数のフレーム画像の少なくとも１つに基づいて前記撮像装置が予め定められた方向を撮影しているか否かを判定するステップと
をさらに包含する、項目１に記載の計測方法。
【0175】
［項目１９］（ｌ）前記ステップ（ｋ）において、前記画像処理回路が、前記撮像装置が予め定められた方向または位置を撮影していないと判定した場合には、警告を報知するステップをさらに包含する、項目１８に記載の計測方法。
【0176】
［項目２０］前記再帰性反射材は非金属の材料によって形成されている、項目１から１９のいずれかに記載の計測方法。
【0177】
［項目２１］光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
【0178】
項目２１の計測システムによれば、光源と再帰性反射材とを組み合わせて使用するため、周囲が暗く、かつ被験者と撮像装置との距離を十分離したとしても、呼吸等の生体活動に起因する体動を、複数のフレーム画像の変化から捉えることができる。撮像装置を被験体から離して設置し、かつ撮影環境を暗く設定できるため、被験体へ与える圧迫感を十分低減しつつ、十分高い精度で生体情報を取得することが可能である。【0179】
［項目２２］前記画像処理回路は、各フレーム画像の中から、前記再帰性反射材を含み、かつ前記体動の発生位置を含む部分領域を特定し、特定した前記部分領域の輝度値の変化を利用して前記生体活動を計測する、項目２１に記載の計測システム。
【0180】
［項目２３］前記各フレーム画像は、前記再帰性反射材で反射された前記光に対応する、輝度値が相対的に高い第１部分領域と、前記第１部分領域よりも輝度値が相対的に低い第２部分領域とを含み、
前記画像処理回路は、前記複数のフレーム画像にわたって、前記第１部分領域と前記第２部分領域との境界が横切る座標位置の輝度値が経時的に変化することを利用して前記生体活動を計測する、項目２２に記載の計測システム。
【0181】
［項目２４］前記画像処理回路は、前記境界が横切る座標位置を含む部分領域であって、かつ前記第１部分領域と前記第２部分領域との割合が経時的に変化する座標位置を含む部分領域に関して、前記輝度値の変化を検出する、項目２３に記載の計測システム。
【0182】
［項目２５］前記画像処理回路は、前記各フレーム画像の同じ座標位置に前記処理単位領域を設定する、項目２４に記載の計測システム。
【0183】
［項目２６］前記部分領域のサイズは可変である、項目２５に記載の計測システム。
【0184】
［項目２７］前記画像処理回路は、前記再帰性反射材を含む領域の位置が、予め定められた量以上移動したことを検出した場合には、再度、各フレーム画像の中から、前記再帰性反射材を含み、かつ前記体動の発生位置を含む新たな部分領域を特定し、特定した前記新たな部分領域の輝度値の変化を利用して前記生体活動を計測する、項目２２に記載の計測システム。
【0185】
［項目２８］光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムにおける画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記コンピュータプログラムは前記画像処理回路に、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された前記光を複数の時刻において受けて時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
前記複数のフレーム画像の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと
を実行させる、コンピュータプログラム。
【産業上の利用可能性】
【0186】
本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。【符号の説明】
【0187】
１ 被験者１０ カメラ
２０ 光源
３０ 情報処理装置
３２ ディスプレイ
４０ 再帰性反射材
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤＤ
３０５ Ｉ／Ｆ
３０６ 画像処理回路
１００、１０１、１１１ 生体活動計測システム