特許 6002811 計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6002811

(24)【登録日】2016年9月9日

(45)【発行日】2016年10月5日

(54)【発明の名称】計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラム

(51)【国際特許分類】

   A61B 5/08 20060101AFI20160923BHJP

   A61B 5/113 20060101ALI20160923BHJP

【ＦＩ】

   A61B5/08ZDM

   A61B5/10 315

【請求項の数】7

【全頁数】25

(21)【出願番号】特願2015-102726(P2015-102726)

(22)【出願日】2015年5月20日

【審査請求日】2016年5月19日

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100168217

【弁理士】

【氏名又は名称】大村 和史

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100139930

【弁理士】

【氏名又は名称】山下 亮司

(74)【代理人】

【識別番号】100125922

【弁理士】

【氏名又は名称】三宅 章子

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(72)【発明者】

【氏名】堀 淳史

(72)【発明者】

【氏名】山内 貴行

(72)【発明者】

【氏名】池田 豊

(72)【発明者】

【氏名】福澤 綾

(72)【発明者】

【氏名】谷口 司

(72)【発明者】

【氏名】市座 智之

(72)【発明者】

【氏名】三木 成一郎

(72)【発明者】

【氏名】蔭地 謙作

(72)【発明者】

【氏名】マルヴィン ハンダヤ

【審査官】 松本 隆彦

(56)【参考文献】

【文献】 特表２０１２−５１１７０７（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１８６６９６（ＷＯ，Ａ１）

【文献】 特開２００３−２９０１５４（ＪＰ，Ａ）

【文献】 特開平１１−２７６４４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０８

Ａ６１Ｂ ５／１１３

(57)【特許請求の範囲】

【請求項1】

光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定し、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。

【請求項2】

前記画像処理回路は、
前記コーナ検出法を用いて前記少なくとも１つのフレーム画像から複数のコーナを抽出し、
前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、請求項１に記載の計測システム。

【請求項3】

前記画像処理回路は、
前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、
検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、請求項１に記載の計測システム。

【請求項4】

前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している、請求項１に記載の計測システム。

【請求項5】

前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する、請求項１から４のいずれかに記載の計測システム。

【請求項6】

（ａ）被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材を配置した前記被験体に向けて光を照射するステップ、
（ｂ）前記ステップ（ａ）で照射した前記光が前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップ、
（ｃ）コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記ステップ（ｂ）で生成した前記動画像を構成する前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップ、
（ｄ）前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップを含む、計測方法。

【請求項7】

光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップと、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を前記画像処理回路に実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。

【背景技術】

【0002】

カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている（たとえば特許文献１および２）。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。

【0003】

特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。

【0004】

特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１１−２７６４４３号公報

【特許文献2】特開２０１１−１３０９９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値は大きく変動し得る。常に適切なしきい値を求める方法がないので、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。

【0007】

特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。

【0008】

また、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるので、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。

【0009】

このように、従来の呼吸モニタリング装置および心拍数計測装置は、撮影環境の変化に対しロバストであるとは決して言えない。そのような生体活動の計測装置において、生体情報を正確に抽出するためには、生体反応に起因した体動個所を正しく特定することが求められる。

【0010】

本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システム（以下、単に「計測システム」と称する。）を提供する。

【課題を解決するための手段】

【0011】

本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定し、前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する。

【0012】

ある実施形態において、前記画像処理回路は、前記コーナ検出法を用いて前記少なくとも１つのフレーム画像から複数のコーナを抽出し、前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。

【0013】

ある実施形態において、前記画像処理回路は、前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。

【0014】

ある実施形態において、前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している。

【0015】

ある実施形態において、前記計測システムは、前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する。

【発明の効果】

【0016】

本発明の一実施形態によれば、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。本計測システムにおいては、再帰性反射材は反射マーカとして機能する。そのため、本明細書では再帰性反射材を反射マーカと称する場合がある。

【図面の簡単な説明】

【0017】

【図1】第１の実施形態による計測システム１００の構成図である。

【図2】第１の実施形態による情報処理装置３０のハードウェア構成図である。

【図3】第１の実施形態による計測システム１００で行われる計測処理の手順を示すフローチャートである。

【図4】再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２を示す図である。

【図5】再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す図である。

【図6】第１の実施形態による反射マーカとして機能する再帰性反射材４０の反射パターンの一例を示す図である。

【図7】カメラ１０の位置、画角または反射マーカの配置の仕方によって、カメラ１０に映る反射マーカの見え方が異なる様子を示す図である。

【図8】図３のフローチャートにおけるステップＳ３のより詳細な処理の手順を示すフローチャートである。

【図9】被験者１の体動箇所に配置された三角形状の反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示す図である。

【図10】図９に示される複数のコーナから３つを選択し、それらから得られる三角形の候補を示す図である。

【図11】図９および図１０に示される反射パターンの１つの候補の拡大図である。

【図12】三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。

【図13】三角形状の各候補パターンの拡大図である。

【図14】各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された反射パターンの振動を示す図である。

【図15】再帰性反射材４０を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す図である。

【図16】部分領域Ｐ内の輝度値が呼吸に伴う体動により変化する様子を示す図である。

【図17】ディスプレイ３２に表示された表示内容を例示する図である。

【図18】第２の実施形態による画像処理回路３０６の処理の手順を示すフローチャートである。

【図19A】ハフ変換して直線検出を行った結果の一例を示す図である。

【図19B】反射パターンに関連した直線が検出された画像である。

【図19C】反射パターンに関連した直線が検出された他の画像である。

【図20】第３の実施形態による再帰性反射材４０の反射パターンの一例を示す図である。

【図21】第３の実施形態による画像処理回路３０６の処理の手順を示すフローチャートである。

【図22】低反射領域２０２に対応した画像内の領域の内側領域およびそれを囲む外側領域を示す図である。

【発明を実施するための形態】

【0018】

本発明の実施形態による計測システムは、光を放射する光源と、光を受けて動画像を生成する撮像装置と、動画像を利用して被験体の生体活動を計測する画像処理回路とを備える。被験体の呼吸に伴う体動の発生位置に、相対的に反射率が高い高反射領域および高反射領域を囲む、相対的に反射率が低い低反射領域を含む反射パターンを有する再帰性反射材が配置される。光源から、被験体に向けて光が放射されたときにおいて、撮像装置は、再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成する。画像処理回路は、撮像装置から動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定し、反射パターンの座標位置に基づいて各フレーム画像内で部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。

【0019】

この計測システムによると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出法およびエッジ検出法などの特定の画像処理アルゴリズムを利用することで、画像内の反射パターンの座標位置を特定する演算量を低減することができる。

【0020】

本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。計測システムは、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形（呼吸波形に相当する波形であり、本明細書では「呼吸数のトレンド」と呼ぶ。）を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。計測システムは、その呼吸数および呼吸数のトレンドなどをディスプレイ上に表示することができる。

【0021】

以下、添付の図面を参照しながら、本発明による計測システムおよび計測方法の実施形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による計測システムおよび計測方法は、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。

【0022】

（第１の実施形態）
図１は、本実施形態による計測システム１００の構成を模式的に示す。計測システム１００は、カメラ１０と、光源２０と、情報処理装置３０と、再帰性反射材４０とを含む。図１には被験者１が示されているが、被験者１は計測システム１００に含まれない。

【0023】

計測システム１００は、被験者１の生体活動を観察するために利用される。本実施形態では、生体活動は被験者１の呼吸であるとし、計測システム１００は所定時間内の呼吸数を計測する。なお、被験者１は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。

【0024】

カメラ１０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサおよび光学系を有する、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。

【0025】

光源２０は光２０ａを放射する光源である。光は可視光であってもよく、不可視光（たとえば赤外光）であってもよい。本実施形態では、赤外光を例に挙げて説明する。以下では、光２０ａを「赤外光２０ａ」と記述する。

【0026】

カメラ１０は、可視光領域の波長を遮る光学フィルタ（不図示）を装着していてもよい。その光学フィルタは、例えば赤外フィルタとも呼ばれる。光学フィルタは、光源２０から放射され、再帰性反射材４０において反射された赤外光は透過するが、可視光は遮断する。光学フィルタを設けることにより、赤外光以外の光、より具体的には可視光がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるので、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を効果的に低減できる。

【0027】

情報処理装置３０は、カメラ１０から動画像を受け取り、特定の画像処理アルゴリズム、例えばコーナ検出法を用いて、フレーム画像内の反射パターンの座標位置を特定する。また、情報処理装置３０は、複数のフレーム画像にわたって、所定の領域の輝度値の変化に基づいて被験体１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。

【0028】

再帰性反射材４０は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材４０に入射する光の入射角と、再帰性反射材４０によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施形態では、光源２０の光軸とカメラ１０の光軸とを近接して配置させている。これにより、光源２０から放射された赤外光２０ａは再帰性反射材４０に反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。例えば再帰性反射材４０として、ガラスビーズを塗布した布を用いることができる。

【0029】

なお、再帰性反射材４０を設けることにより、再帰性反射材４０に入射した外乱光２１ａは、反射光２１ｂとしてその入射方向に反射される。反射光２１ｂは実質的にカメラ１０に入射しないので、カメラ１０によって撮影される動画像は外乱光の影響を受けにくくなる。

【0030】

図２は、計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施形態では、情報処理装置３０は、カメラ１０とディスプレイ３２とに接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果である、被験者１の生体活動である呼吸の数の計測結果および呼吸数のトレンドなどを表示する。測定結果に基づいてカメラ１０の撮影方向が適切でないと判断した場合には、情報処理装置３０はディスプレイ３２に警告を表示してもよい。

【0031】

情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、インタフェース（Ｉ／Ｆ）３０５と、画像処理回路３０６とを有する。ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。

【0032】

Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。情報処理装置３０が有線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばイーサネット（登録商標）端子であり得る。情報処理装置３０が無線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばＷｉ−Ｆｉ（登録商標）規格に準拠した通信を行う送受信回路であり得る。またはＩ／Ｆ３０５は、有線の映像入力端子であってもよい。

【0033】

画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、カメラ１０から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも１つにおける反射パターンの画像中の座標位置を特定する。画像処理回路３０６は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。部分領域の詳細は後述する。

【0034】

本実施形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。後述する画像処理回路３０６の処理を、ＣＰＵ３０１が行ってもよい。

【0035】

図３を参照して、計測システム１００の全体の動作を説明する。

【0036】

図３は、計測システム１００で行われる計測処理の手順を示している。この処理は主としてＣＰＵ３０１および／または画像処理回路３０６によって実行される。以下では、実行主体は画像処理回路３０６であるとして説明する。

【0037】

〔再帰性反射材４０の配置および動画像の取得：ステップＳ１〕
まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材４０を反射マーカとして配置する。光源２０が赤外光で被験者１を照射すると、カメラ１０は再帰性反射材４０で反射された赤外光を受けて、被験者１の動画像を撮影する。

【0038】

図４は、再帰性反射材４０を装着した被験者１を撮影したフレーム画像１０２の例を示している。画像中央部の高輝度領域（白い領域）１０４が、再帰性反射材４０からの反射光が検出された領域である。情報処理装置３０は、その領域を反射マーカとして認識する。参考として、図５は、再帰性反射材４０を装着しない被験者を撮影したフレーム画像１０６を示す。再帰性反射材４０が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図４および図５には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。境界線によって区画される画像の領域は、画像の「部分領域」である。部分領域のサイズは例えば１６×１６画素程度であり得る。この部分領域は、輝度値の演算を行う一まとまりの画素群を含む領域である。図４には、部分領域Ｐが例示されている。なお、部分領域Ｐの境界線は理解の便宜のため強調して表示されている。

【0039】

図６は、反射マーカとして機能する再帰性反射材４０の反射パターンの一例を示している。再帰性反射材４０は、高反射領域２００および高反射領域２００を囲む低反射領域２０１を含む反射パターンを有している。高反射領域２００の反射率は相対的に高く、低反射領域２０１の反射率は相対的に低い。なお、高反射領域２００は図４に示される高輝度領域１０４に対応する。

【0040】

高反射領域２００の反射率と低反射領域２０１の反射率との差分が大きければ大きいほど境界付近のコントラストを高めることができるので、後述する特徴量を算出する上で好ましい。また、そのコントラストをより向上させる点では、赤外光を反射しない材料で低反射領域２０１を形成することがより好ましい。

【0041】

図６に示す反射パターンの高反射領域２００の形状は左側から三角形、長方形およびひし形である。このように、高反射領域２００の形状は多角形であり得る。また、高反射領域２００および低反射領域２０１を組み合わせることで、反射パターン全体の形状は、矩形などの多角形であり得る。以下では、三角形状の高反射領域２００を含む反射パターンを用いる例を説明する。

【0042】

〔体動検出：ステップＳ２〕
再び図３を参照する。このステップＳ２は任意に設けることができる。画像処理回路３０６は、複数のフレーム画像の間において２つのフレーム画像の輝度値の差分を取得し、その結果から体動があるかどうかを検出することができる。

【0043】

被験者１が寝返りを打ったとき、体動は非常に大きいので、高反射領域２００の位置は各フレーム画像の間で大きく移動することになる。その場合、画像処理回路３０６は、そのフレーム画像では呼吸数の計測を行わないようにしても構わない。このステップは任意に設けることができる。

【0044】

〔反射パターンの座標位置を特定：ステップＳ３〕
画像処理回路３０６は、カメラ１０から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定する。反射パターンの座標位置は、例えば高反射領域２００の各頂点、中心または重心の座標を意味する。

【0045】

まず、画像内の特定のパターンを認識する方法として、テンプレートを用いたパターンマッチング処理が一般的に知られ、多用されている。そのパターンマッチング処理によって、再帰性反射材４０の座標位置を特定する場合の問題点を説明する。

【0046】

図７（ａ）〜（ｃ）は、カメラ１０の位置、画角または反射マーカの配置の仕方によって、カメラ１０に映る反射マーカの見え方が異なる様子を示している。呼吸状態を正確に測定するためには、その反射マーカの位置を正確に検出することが求められる。しかしながら、生体活動の測定環境に応じて、カメラ１０の位置および画角は異なり得る。また、測定環境は様々であり、カメラ１０と被験者１との位置関係は必ずしも一定ではない。従って、図示されるように画像に映る反射マーカの見え方、つまり映像は測定環境に応じて異なる。そのため、反射マーカの座標位置を正確に特定することは容易ではない。また、光源として赤外光を用いた場合、赤外光の画像からは濃淡情報しか得られないので、反射マーカの座標位置を誤検出してしまう可能性がある。

【0047】

例えば、画像処理回路３０６は、反射パターンを有する再帰性反射材４０が用いられること、およびそのパターンの特徴を示す情報（つまり、テンプレート）を、ＲＯＭ３０２に予め保持することができる。カメラ１０が被験者１を撮影すると、画像処理回路３０６は、得られた動画像の各フレーム画像において、予め保持していたパターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、再帰性反射材４０の位置を特定することができる。

【0048】

上述したように、映像が測定環境に応じて異なることを考慮すると、テンプレートを用いたパターンマッチング処理を行う場合、測定環境の全てに最適化されたテンプレートを準備しなければならない。しかしながら、すべてのテンプレートを用意することは現実的でなく不可能であると言える。また、必要十分なテンプレートを用意できたとしても、その数が増えるに従って、パターンマッチング処理の演算量は増加する。

【0049】

このように、パターンマッチング処理を行う場合、測定環境に対するロバスト性は決して高いとは言えない。そこで、本実施形態では、パターンマッチング処理に代えて、コーナ検出法を用いることでロバスト性を向上させ、また、演算量を低減させることができる。

【0050】

図８は、図３のフローチャートにおけるステップＳ３のより詳細な処理の手順を示している。反射パターンの形状が多角形であること、また、反射パターンは高反射領域２００と低反射領域２０１とを含んでいることにより、反射パターンのコーナを正確に検出することが可能になる。

【0051】

（ステップＳ３１）
まず、画像処理回路３０６は、カメラ１０から得られる、赤外光に基づく動画像データ
をグレースケールの画像データに変換する。具体的に説明すると、画像処理回路３０６は、ＲＧＢ信号をＹＵＶ変換する。この変換によりＹ信号に基づいて白黒の濃淡画像が得られるので、後述するコーナ検出法によるコーナ検出が容易になる。

【0052】

（ステップＳ３２）
画像処理回路３０６は、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも１つの中のコーナを特徴量として検出する。例えば、コーナ検出法として、Ｈａｒｒｉｓ法、ＫＬＴ法、主曲率法などが知られており、本発明ではこれらを広く用いることができる。中でも、Ｈａｒｒｉｓ法は、画素毎に行列を求めて、その行列からコーナらしさを計算する手法である。そのコーナらしさに基づいてコーナを特徴量として抽出できる。本実施形態では、このＨａｒｒｉｓ法を用いる。

【0053】

図９は、被験者１の体動箇所に配置された三角形状の高反射領域２００を含む反射パターンを有する反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示している。抽出された複数のコーナには丸印を付している。図示する例では、５０個のコーナがコーナ検出法により抽出されている。

【0054】

画像処理回路３０６は、複数のコーナの任意の組み合わせから得られる、高反射領域２００と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。

【0055】

図１０は、図９に示される複数のコーナから３つを選択し、それらから得られる三角形の候補を示している。図１１は、図９および図１０に示される反射パターンの１つの候補を拡大して示している。３つのコーナを頂点し、直線ＡＡ’、ＢＢ’およびＣＣ’から形成される三角形状の内側領域が各候補パターンの内側領域である。また、内側領域を囲むように矩形状の外側領域が設けられている。フレーム画像において、内側領域は高反射領域２００に対応した領域であり、外側領域は、低反射領域２０１に対応した領域である。

【0056】

５０個のコーナから任意に３つを選択する場合、₅₀Ｃ₃通りの組み合わせが存在する。しかし、反射パターンの高反射領域２００の形状が三角形またはひし形であれば、２点のコーナを結ぶ線の組み合わせの候補を工夫によって減らすことができる。例えば再帰性反射材４０を所定の角度に配置した場合、フレーム画像内の三角形状の領域を構成する各辺の角度とその所定の配置角度とに基づいて複数の候補パターンを抽出することができる。

【0057】

図９および１０に示されるように、三角形状の高反射領域２００を含む反射マーカを、その１つの頂点が、図１１に示す画像内のＸＹ−平面座標においてＹ方向を向くように配置するとする。その場合、Ｘ軸を基準とした原点の周りの直線ＡＡ’の角度は、略０°超７０°以下となる。直線ＡＡ’と同様に、Ｘ軸を基準とした原点の周りの直線ＢＢ’の角度は、略０°超７０°以下となり、Ｘ軸を基準とした原点の周りの直線ＣＣ’の角度は、略−９０°以上−７０°以下、または略７０°以上９０°以下となる。このように、各直線の角度がこれらの範囲内にある三角形状のパターンを反射パターンの候補として特定することができる。

【0058】

また、フレーム画像中において反射パターンが存在する場所を制限できれば、組み合わせの候補を絞ることができる。例えば、計測システム１００が特定の使用環境のみで利用される場合、フレーム画像中において反射パターンは、被験者１の顔から胸付近に存在すること、または、フレーム画像の中心に存在することなどが予め予測できる。その場合には、反射パターンが存在する領域に絞って候補パターンを選択できる。

【0059】

図１２は、三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。横軸は内側領域の輝度値の平均を示し、縦軸は外側領域の輝度値の平均を示している。高反射領域２００に対応した候補パターンにおいては、その内側領域の輝度は高く、外側領域の輝度は低い。その結果、図１２に示されるように、丸で囲んだ領域内に位置するグラフ上の点が、高反射領域２００に対応した点である可能性が高いと言える。丸で囲んだ領域は、内側領域の輝度は高く、外側領域の輝度は低いパターンに対応した点を包含している領域である。従って、画像処理回路３０６は、その丸で囲んだ領域内の点に対応したパターンを、複数の候補パターンとして選択することができる。

【0060】

（ステップＳ３４）
画像処理回路３０６は、複数の候補パターンの各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。つまり、画像処理回路３０６は、フレーム画像内の反射パターンの座標位置を検出する。

【0061】

図１３は、三角形状の各候補パターンを拡大して示している。各候補パターンの外側領域は、各々が多角形状の内側領域の各辺にそれぞれ対応した複数の分割領域を含んでいてもよい。本実施形態では、反射パターンの高反射領域２００に対応した領域は三角形状であり、図１１に示すとおり辺ＡＡ’、ＢＢ’およびＣＣ’を有している。各候補パターンの外側領域は、辺ＡＡ’に対応した第１の分割領域２０４Ａ、辺ＢＢ’に対応した第２の分割領域２０４Ｂおよび辺ＣＣ’に対応した第３の分割領域２０４Ｃを含んでいる。内側領域および外側領域の組み合わせによって全体として矩形状の領域が形成されている。

【0062】

画像処理回路３０６は具体的に以下の特徴量を求めることができる。また、各特徴量を組み合わせて用いることもできる。
（１）各候補パターンの内側領域の輝度値の平均または分散
（２）各候補パターンの外側領域の輝度値の平均または分散
（３）各候補パターンの内側領域の輝度値の平均と外側領域の輝度値の平均との差分、または内側領域の輝度値の分散と外側領域の輝度値の分散との差分
（４）複数の分割領域から選択される２つの分割領域の各輝度値の平均または分散の差分

【0063】

上記（４）に関して具体的に説明すると、画像処理回路３０６は、第１および第２の分割領域２０４Ａおよび２０４Ｂの各輝度値の平均または分散の差分、第２および第３の分割領域２０４Ｂおよび２０４Ｃの各輝度値の平均または分散の差分、および第１および第３の分割領域２０４Ａおよび２０４Ｃの各輝度値の平均または分散の差分の少なくとも１つを特徴量として算出することができる。

【0064】

呼吸による体動を輝度で捉えることが困難な場合がある。例えば、被験者１が装着している衣服や背景の壁の輝度が高いとき、各フレーム画像は高反射領域２００以外に高輝度な領域を含み得る。その場合、それらの領域は、ステップＳ３３において複数の候補パターンとして抽出される可能性がある。本発明では、上述したように、反射パターンは、内側領域に対応した高反射領域２００および外側領域に対応した低反射領域２０１を含んでいる。そのため、上記（１）から（４）に示される平均値または分散は反射パターンに特有の値となる。このように、高反射領域２００を囲むように低反射領域２０１を設けることで、高反射領域２００に対応した三角形状の高輝度領域と高反射領域２００以外に対応した三角形状の高輝度領域とを明確に区別できる。

【0065】

このように、各領域の平均値または分散などの特徴量に基づけば、反射マーカの誤検出を低減でき、複数の候補パターンの中から反射パターンを正確に特定することができる。

【0066】

なお、演算量を低減させる観点から、各領域の輝度値の平均値を特徴量として用いることが好ましい。さらに、平均値を算出する演算処理よりも積算値、つまり和を算出する演算処理の方が、演算負荷が小さくなる。そのため、輝度値の平均に代えて、輝度値の積算を求めてもよい。

【0067】

各領域の平均値または分散値は、反射パターンに特有の値であり、その固有の値を特徴量の閾値として予めＲＯＭ３０２に保持しておくことができる。画像処理回路３０６は、演算により得られる平均値または分散値と、ＲＯＭ３０２に保持された閾値とを比較することにより、選択された候補パターンが、反射パターンに対応しているか否かを判別することができる。このように、画像処理回路３０６は、特徴量の組み合わせを用いて反射パターンの複数の候補から反射パターンを同定することができる。

【0068】

反射パターンの座標位置に関する情報を更新するタイミングを説明する。画像処理回路３０６は、複数のフレーム画像のうち少なくとも１つにおける反射パターンの座標位置を特定する。例えば、画像処理回路３０６は、１０秒毎にその座標位置を更新する。動画像が３０ｆｐｓで撮影される場合、画像処理回路３０６は、３００フレーム毎にその画像内の反射パターンの座標位置を検出する。換言すると、３００フレーム毎にその座標位置に関する情報は更新される。例えばその更新間隔は、被験者１の呼吸数６回分に相当する。

【0069】

〔部分領域の指定：ステップＳ４〕
再び図３を参照する。画像処理回路３０６は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域（図４を参照）を指定する。部分領域は体動箇所を含むように設定され得る。フレーム画像内の部分領域は、輝度値の変化を監視するための領域でもある。

【0070】

画像処理回路３０６は各フレーム画像を２つ以上に分割する。このとき、画像処理回路３０６は再帰性反射材４０を跨ぐ位置に分割線（境界線）を設定する。さらに、分割線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路３０６は、たとえば水平方向に境界線を設定して各フレーム画像を２つ以上に分割し、部分領域を設定する。

【0071】

部分領域の設定の一例を具体的に説明する。画像処理回路３０６は再帰性反射材４０、つまり反射パターン（特に、高反射領域２００）のエッジを含む領域を特定する。例えば画像処理回路３０６は、コーナ検出の結果から反射パターンのエッジ情報を得ることができる。そして、画像処理回路３０６は、反射パターンのエッジを含む領域を部分領域として指定する。換言すると、画像処理回路３０６は、そのエッジを跨ぐように部分領域を設定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジを言う。

【0072】

なお、上述のステップＳ１〜Ｓ４は、一度エッジが検出され、呼吸数の計測が始まった後でも随時行われ得る。たとえば被験者１が寝返りを打つことにより、再帰性反射材４０からの反射光の検出位置が変化する場合がある。その場合には画像処理回路３０６は改めてステップＳ１〜Ｓ４の処理を行い、部分領域の再設定を行えばよい。呼吸による体動と比較すると、寝返りなどの体動は非常に大きいため、反射光が検出される座標位置は大きく変化する。画像処理回路３０６は、反射光が検出される座標位置が所定量以上移動した場合には、改めてステップＳ１〜Ｓ４の処理を行うようにしても構わない。

【0073】

〔部分領域の輝度値の変化を監視：ステップＳ５〕
画像処理回路３０６は、設定された部分領域の輝度値の変化を監視する。平静時の被験者１の体動は呼吸に起因して発生するため、複数のフレーム画像の間で反射パターンの位置が呼吸の周期に合わせて変化（振動）する。その結果、部分領域の輝度値は反射パターンの位置に応じて変化する。ここで、図１４および１５を参照して、呼吸による体動に基づく反射パターンの振動を説明する。

【0074】

図１４は、各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された、反射パターンの振動を示す。再帰性反射材４０を用いて観測される波形は暗い撮影環境下でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図１５は、再帰性反射材４０を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。再帰性反射材４０が存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図１４と図１５では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図１５でのスケールは図１４よりも大きくしている。換言すれば、再帰性反射材４０を用いる方（図１４）が、用いない方（図１５）よりも、信号対雑音比（ＳＮＲ）に優れていることを意味する。

【0075】

図１６は、部分領域Ｐ内の輝度値が呼吸に伴う体動により変化する様子を模式的に示している。上述のように、反射マーカ、つまり再帰性反射材４０からの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。いま、各フレーム画像において、特定された座標位置に存在する部分領域Ｐに着目する。図１６（ａ）および（ｂ）は、時刻の異なる時刻に撮影された２枚のフレーム画像における部分領域Ｐの例を示す。図１６（ａ）および（ｂ）に示す領域Ｒは、再帰性反射材４０からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Ｐが、高輝度領域になったりならなかったりする。

【0076】

図１６（ｃ）は、このときの部分領域Ｐの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｐの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。

【0077】

〔被験者１の呼吸数をカウント：ステップＳ６〕
再度図３を参照する。画像処理回路３０６は、高輝度領域を含む反射パターンの振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。具体的に説明すると、画像処理回路３０６は、部分領域Ｐの平均輝度値が振動することによって特定される体動の１周期を１呼吸として、所定期間内の呼吸数をカウントする。

【0078】

〔計測結果の表示：ステップＳ７〕
図１７は、ディスプレイ３２に表示された表示内容の一例を示す。ディスプレイ３２は、被験者１の呼吸に起因する生体活動の計測結果を表示する。その生体活動の計測結果に関する情報は、被験者１の呼吸数および呼吸数のトレンドを示す情報を含んでいる。呼吸数のトレンドを示す情報は、呼吸数の時間的な変化を示す波形としてディスプレイ３２に表示される。また、呼吸数の情報は所定の間隔で更新される。

【0079】

部分領域Ｐの輝度値の変化を示す呼吸波形も表示されている。さらに、計測システム１００の状態を表すシステム情報が表示される。その情報は、例えば、検索中、測定中および停止中などの内部で起動しているプログラムの状態を意味する。

【0080】

また、ディスプレイ３２にはカメラ１０により撮像された動画像がリアルタイムで表示されている。反射マーカの検出位置と呼吸数の計測に用いられている部分領域とを特定する矩形状の枠が、その動画像に重畳的に表示されている。

【0081】

反射マーカ、つまり再帰性反射材４０の検出位置を表示することにより、測定システム１００のオペレータ（例えば医師など）は正確に反射マーカが認識されていることをディスプレイ３２上で確認することができる。もし、反射マーカが正確に配置されていなければ、ディスプレイ３２には反射マーカの検出位置や呼吸数は表示されない。その場合、オペレータはこの不具合を確実に確認することができる。

【0082】

本実施形態によると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。

【0083】

（第２の実施形態）
第２の実施形態による計測システム１００は、エッジ検出に基づいて反射マーカの検出を行う点で、第１の実施形態による計測システム１００とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。

【0084】

図１８は、本実施形態による画像処理回路３０６の処理の手順を示している。本実施形態による画像処理回路３０６は、第１の実施形態で説明したコーナ検出法（図８に示すフローチャートのステップＳ３２）に代えて、エッジ検出法を用いて少なくとも１つのフレーム画像から複数のエッジを抽出し、複数のエッジの情報を含む画像をハフ変換して直線検出を行う（ステップＳ３５）。図１８のフローチャートに示されるように、それ以外の手順は第１の実施形態で説明した手順と同じである。

【0085】

画像処理回路３０６は、グレースケール画像のエッジ検出を行う。例えばエッジ検出法として、ソーベルフィルタ、プリューウィットフィルタおよびラプラシアンフィルタなどの微分フィルタを用いた方法やＣａｎｎｙ法などが知られている。本発明においては、これらの公知の手法を広く用いることができる。

【0086】

図１９Ａは、ハフ変換して直線検出を行った結果の一例を示している。図１９Ｂは、反射パターンの高反射領域２００に関連した直線が検出された画像を示している。画像処理回路３０６は、得られた複数のエッジのみの情報を含む画像をハフ変換して直線を同定する。例えばハフ変換には、標準的ハフ変換や確率的ハフ変換（ＰＰＨＴ）などがある。本明細書においては、これら全てを総称してハフ変換と呼ぶ。

【0087】

図１９Ｃは、反射パターンの高反射領域２００に関連した直線が検出された他の画像を示している。この画像では、反射パターン全体が画像内に存在せず、３辺のうち一部は画像から切れている。そのような場合でも、コーナ検出法に代えてエッジ検出法を用いれば、正確に反射パターンを検出することができる。

【0088】

画像処理回路３０６は、検出（同定）された複数の直線の任意の組み合わせから得られる、高反射領域２００と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。そして、画像処理回路３０６は、第１の実施形態と同様に、各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。

【0089】

本実施形態によると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。

【0090】

（第３の実施形態）
本実施形態は、第１の実施形態および第２の実施形態のハイブリッド型と呼ぶことができる。第３の実施形態による計測システム１００は、再帰性反射材４０は高反射領域２００内にさらに低反射領域２０２を含んだ反射パターンを有している点で、第１の実施形態による計測システム１００とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。

【0091】

図２０は、本実施形態による再帰性反射材４０の反射パターンの一例を示している。反射マーカは、高反射領域２００の内側に低反射領域２０２を含み、低反射領域２０１と低反射領域２０２との間に高反射領域２００が存在している。このような反射パターンを有する反射マーカを用いることで、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。

【0092】

図２１は、本実施形態による画像処理回路３０６の処理の手順を示している。画像処理回路３０６は、第１および第２の実施形態で説明したコーナ検出法またはエッジ検出法を用いて少なくとも１つのフレーム画像から複数の特徴点を抽出する（ステップＳ３２、Ｓ３５）。複数の特徴点は、コーナ検出法を用いた場合には複数のコーナに相当し、エッジ検出法を用いた場合には複数のエッジに相当する。

【0093】

（ステップＳ３６）
画像処理回路３０６は、複数の特徴点の任意の組み合わせから得られる、高反射領域２００と同一の形状を有する複数のパターンの中から、輝度値の小さい順に反射パターンの候補となる複数の第１候補パターンを抽出する。

【0094】

図２２は、低反射領域２０２に対応した画像内の領域の内側領域およびそれを囲む外側領域を示している。図示される内側領域および外側領域の配置は、図１３に示される配置とは逆である。例えば画像処理回路３０６は、複数の特徴点の任意の組み合わせから得られる複数のパターンの中から、各パターンの内側領域および外側領域の各輝度値の平均を算出する。本実施形態では、各第１候補パターンの内側領域の輝度値は外側領域の輝度値よりも低い。この関係に着目して、画像処理回路３０６は、ＲＯＭ３０２に予め保持された閾値と各領域の平均値とを比較することで、それぞれの平均値が閾値以上を満たすパターンを抽出する。その中から、外側領域および内側領域の各輝度値の差が大きい順に複数の第１候補パターンを抽出する。

【0095】

（ステップＳ３７）
画像処理回路３０６は、複数の第１候補パターンにそれぞれ対応する複数の第２候補パターンを特定する。複数の第１候補パターンの各々と１対１で対応した複数の第２候補パターンの各々は、その各第１候補パターンを取り囲む。また各第２候補パターンは高反射領域２００と同一の形状を有している。画像処理回路３０６は、コーナ検出を行う場合、複数の特徴点（コーナ点）から選ばれた３点のうち２点を結ぶ線分が輝度値の高い領域（図２１の外側領域）または輝度値の低い領域（図２１の内側領域）に交わらないように第２候補パターンを抽出する。画像処理回路３０６は、エッジ検出を行う場合、検出された直線が輝度値の高い領域または輝度値の低い領域に交わらないように第２候補パターンを抽出する。

【0096】

（ステップＳ３４）
画像処理回路３０６は、複数の第１候補パターンおよび複数の第２候補パターンの領域に関する情報に基づいて、複数のフレーム画像のうち少なくとも１つにおける反射パターンを特定する。例えば各候補パターンの領域に関する情報は、それらの領域の輝度値や面積の情報であり得る。以下、具体例を説明する。

【0097】

画像処理回路３０６は、各第１候補パターンと、複数の第２候補パターンのうちそれに対応した各第２候補パターンとを用いる。画像処理回路３０６は、各第１候補パターンの内側領域の輝度値と各第２候補パターンの内側領域の輝度値との差分に基づいて複数のパターンの中から反射パターンを特定することができる。ただし、各第１候補パターン内の輝度値が低い領域の各頂点の座標は予め分かっているので、各第２候補パターン内の輝度値が高い領域から各第１候補パターンのその領域を除いて各第２候補パターンの内側領域の輝度値を計算する。または、画像処理回路３０６は、各第１候補パターンと、各第１候補パターンの内側領域の面積と各第２候補パターンの内側領域の面積との比率に基づいて複数のパターンの中から反射パターンを特定することもできる。

【0098】

本実施形態によると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。

【0099】

本明細書は、以下の項目に記載の計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラムを開示している。

【0100】

〔項目１〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定し、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
項目１に記載の計測システムによると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。

【0101】

〔項目２〕
前記画像処理回路は、
前記コーナ検出法を用いて前記少なくとも１つのフレーム画像から複数のコーナを抽出し、
前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目１に記載の計測システム。
項目２に記載の計測システムによると、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。

【0102】

〔項目３〕
前記画像処理回路は、
前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、
検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも１つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目１に記載の計測システム。
項目３に記載の計測システムによると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。

【0103】

〔項目４〕
前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均または分散を前記特徴量として算出する、項目２または３に記載の計測システム。
項目４に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。

【0104】

〔項目５〕
前記画像処理回路は、前記各候補パターンの前記外側領域の輝度値の平均または分散を前記特徴量として算出する、項目２または３に記載の計測システム。
項目５に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。

【0105】

〔項目６〕
前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均と前記外側領域の輝度値の平均との差分、または前記内側領域の輝度値の分散と前記外側領域の輝度値の分散との差分を前記特徴量として算出する、項目２または３に記載の計測システム。
項目６に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。

【0106】

〔項目７〕
前記高反射領域は多角形状を有し、
前記各候補パターンの前記外側領域は、各々が前記高反射領域に対応した前記内側領域の各辺にそれぞれ対応した複数の分割領域を含み、
前記画像処理回路は、前記複数の分割領域から選択される２つの分割領域の各輝度値の平均または分散の差分を前記特徴量として算出する、項目２または３に記載の計測システム。
項目７に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。

【0107】

〔項目８〕
前記高反射領域は、第１、第２および第３の辺を有する三角形状の領域であり、前記内側領域は前記高反射領域に対応しており、
前記各候補パターンの前記外側領域は、前記第１の辺に対応した第１の分割領域、前記第２の辺に対応した第２の分割領域および前記第３の辺に対応した第３の分割領域を含み、
前記画像処理回路は、前記第１および第２の分割領域の各輝度値の平均または分散の差分、前記第２および第３の分割領域の各輝度値の平均または分散の差分、および前記第１および第３の分割領域の各輝度値の平均または分散の差分の少なくとも１つを前記特徴量として算出する、項目２または３に記載の計測システム。
項目８に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。

【0108】

〔項目９〕
前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している、項目１に記載の計測システム。
項目９に記載の計測システムによると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。

【0109】

〔項目１０〕
前記画像処理回路は、
前記コーナ検出法または前記エッジ検出法を用いて前記少なくとも１つのフレーム画像から複数の特徴点を抽出し、
前記複数の特徴点の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、輝度値の小さい順に前記反射パターンの候補となる複数の第１候補パターンを抽出し、かつ、前記複数の第１候補パターンにそれぞれ対応する複数の第２候補パターンであって、前記複数の第１候補パターンの各々を囲み、前記高反射領域と同一の形状を有する複数の第２候補パターンを抽出し、
前記複数の第１候補パターンおよび複数の第２候補パターンの領域に関する情報に基づいて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの前記座標位置を特定する、項目９に記載の計測システム。
項目１０に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。

【0110】

〔項目１１〕
前記画像処理回路は、
各第１候補パターンと、前記複数の第２候補パターンのうち前記各第１候補パターンに対応した各第２候補パターンとを用いて、前記各第１候補パターンの内側領域の輝度値と、前記各第２候補パターンの内側領域から前記各第１候補パターンの内側領域を除いた領域の輝度値と、の差分に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目１０に記載の計測システム。
項目１１に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。

【0111】

〔項目１２〕
前記画像処理回路は、
各第１候補パターンと、前記複数の第２候補パターンのうち前記各第１候補パターンに対応した各第２候補パターンとを用いて、前記各第１候補パターンの内側領域の面積と前記各第２候補パターンの内側領域の面積との比率に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目１０に記載の計測システム。
項目１２に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。

【0112】

〔項目１３〕
前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する、項目１から１２のいずれかに記載の計測システム。
項目１３に記載の計測システムによると、測定システムのオペレータは正確に反射マーカが認識されていることを表示装置上で確認することができる。

【0113】

〔項目１４〕
（ａ）被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材を配置した前記被験体に向けて光を照射するステップ、
（ｂ）前記ステップ（ａ）で照射した前記光が前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップ、
（ｃ）コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記ステップ（ｂ）で生成した前記動画像を構成する前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップ、
（ｄ）前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップを含む、計測方法。
項目１４に記載の計測方法によると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。

【0114】

〔項目１５〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
コーナ検出法およびエッジ検出法の少なくとも１つを用いて、前記複数のフレーム画像のうち少なくとも１つのフレーム画像における前記反射パターンの座標位置を特定するステップと、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を前記画像処理回路に実行させる、コンピュータプログラム。
項目１５に記載のコンピュータプログラムを用いることで、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。

【産業上の利用可能性】

【0115】

本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。

【符号の説明】

【0116】

１ 被験者
１０ カメラ
２０ 光源
３０ 情報処理装置
３２ ディスプレイ
４０ 再帰性反射材
１００ 生体活動計測システム
２００ 高反射領域
２０１、２０２ 低反射領域
２０４Ａ 第１の分割領域
２０４Ｂ 第２の分割領域
２０４Ｃ 第３の分割領域
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤＤ
３０５ Ｉ／Ｆ
３０６ 画像処理回路

【要約】      （修正有）

【課題】生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システムを提供する。
【解決手段】計測システム１００は、光源２０と、動画像を生成するカメラ１０と、被験体の生体活動を計測する画像処理回路３０６とを備える。被験体の呼吸に伴う体動の発生位置に、高反射領域および低反射領域を含む反射パターンを有する再帰性反射材が配置される。画像処理回路３０６は、カメラ１０から動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも１つを用いて、複数のフレーム画像のうち少なくとも１つのフレーム画像における反射パターンの座標位置を特定し、反射パターンの座標位置に基づいて各フレーム画像内で部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19A】

【図19B】

【図19C】

【図20】

【図21】

【図22】