IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

特開2023-130546測定装置、呼吸数測定方法及びプログラム
<>
  • 特開-測定装置、呼吸数測定方法及びプログラム 図1
  • 特開-測定装置、呼吸数測定方法及びプログラム 図2
  • 特開-測定装置、呼吸数測定方法及びプログラム 図3
  • 特開-測定装置、呼吸数測定方法及びプログラム 図4
  • 特開-測定装置、呼吸数測定方法及びプログラム 図5A
  • 特開-測定装置、呼吸数測定方法及びプログラム 図5B
  • 特開-測定装置、呼吸数測定方法及びプログラム 図6A
  • 特開-測定装置、呼吸数測定方法及びプログラム 図6B
  • 特開-測定装置、呼吸数測定方法及びプログラム 図7
  • 特開-測定装置、呼吸数測定方法及びプログラム 図8
  • 特開-測定装置、呼吸数測定方法及びプログラム 図9
  • 特開-測定装置、呼吸数測定方法及びプログラム 図10
  • 特開-測定装置、呼吸数測定方法及びプログラム 図11
  • 特開-測定装置、呼吸数測定方法及びプログラム 図12
  • 特開-測定装置、呼吸数測定方法及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023130546
(43)【公開日】2023-09-21
(54)【発明の名称】測定装置、呼吸数測定方法及びプログラム
(51)【国際特許分類】
   A61B 5/08 20060101AFI20230913BHJP
   A61B 5/11 20060101ALI20230913BHJP
   A61B 5/113 20060101ALI20230913BHJP
【FI】
A61B5/08
A61B5/11 120
A61B5/113
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022034876
(22)【出願日】2022-03-08
(71)【出願人】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100147304
【弁理士】
【氏名又は名称】井上 知哉
(74)【代理人】
【識別番号】100148493
【弁理士】
【氏名又は名称】加藤 浩二
(72)【発明者】
【氏名】日下部 曜
(72)【発明者】
【氏名】中野 あずさ
(72)【発明者】
【氏名】足立 佳久
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038SS08
4C038SV01
4C038SX07
4C038VA04
4C038VB33
4C038VC05
(57)【要約】
【課題】測定時間を抑制しつつ、信頼性を保証して呼吸数を出力できる測定装置を提供する。
【解決手段】測定装置は、生体を撮像して動画像を取得する撮像部と、動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する呼吸数算出部と、呼吸信号と、時間変化に含まれるノイズ信号との対比結果から呼吸数の信頼度を算出する信頼度算出部と、信頼度が閾値以上である場合、呼吸数を出力する出力部と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
生体を撮像して動画像を取得する撮像部と、
前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する呼吸数算出部と、
前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する信頼度算出部と、
前記信頼度が閾値以上である場合、前記呼吸数を出力する出力部と、
を備える測定装置。
【請求項2】
前記信頼度算出部は、前記呼吸信号の大きさと、前記ノイズ信号の大きさとの比から前記信頼度を算出する
請求項1に記載の測定装置。
【請求項3】
前記複数の画素値は、前記生体の胸部の像を含む領域内の画素値であり、
前記時間変化は、前記複数の画素値の変動、又は前記複数の画素値から決定される速度ベクトルの変動を示す時系列信号によって示され、
前記呼吸数算出部は、前記時系列信号において最大ピーク周波数から前記呼吸数を算出する
請求項1または2に記載の測定装置。
【請求項4】
前記呼吸信号の大きさは、前記最大ピーク周波数のパワースペクトル値であり、
前記ノイズ信号の大きさは、前記時系列信号において二番目以下のピーク周波数のパワースペクトル値である
請求項3に記載の測定装置。
【請求項5】
前記呼吸信号の大きさは、前記最大ピーク周波数を含む所定範囲内のパワースペクトル値の統計値であり、
前記ノイズ信号の大きさは、前記所定範囲外のパワースペクトル値の統計値である
請求項3に記載の測定装置。
【請求項6】
測定時間を設定する測定時間設定部をさらに備え、
前記撮像部は、前記測定時間、前記生体を撮像して前記動画像を取得し、
前記測定時間設定部は、前記信頼度が前記閾値より低い場合、前記測定時間を延長する
請求項1~5のいずれかに記載の測定装置。
【請求項7】
前記測定時間設定部は、前記測定時間の下限値及び上限値からなる群より選択される少なくとも一方を設定する
請求項6に記載の測定装置。
【請求項8】
前記出力部は、前記信頼度が前記閾値より低い場合、エラーを示すメッセージを出力し、
前記呼吸数算出部は、前記信頼度が前記閾値より低い場合、前記呼吸数を算出する処理を終了する
請求項1~5のいずれか1項に記載の測定装置。
【請求項9】
前記動画像に複数の顔の像が含まれる場合、前記複数の顔の像間の距離を算出する距離算出部をさらに備え、
前記出力部は、前記距離の最小値が所定の距離以下である場合、エラーを示すメッセージを出力し、
前記呼吸数算出部は、前記最小値が前記所定の距離以下である場合、前記呼吸数を算出する処理を終了する
請求項1~8のいずれか1項に記載の測定装置。
【請求項10】
生体を撮像して動画像を取得する工程と、
前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する工程と、
前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する工程と、
前記信頼度が閾値以上である場合、前記呼吸数を出力する工程と、
を含む呼吸数測定方法。
【請求項11】
コンピュータに、
生体を撮像して動画像を取得する機能と、
前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する機能と、
前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する機能と、
前記信頼度が閾値以上である場合、前記呼吸数を出力する機能と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、測定装置、呼吸数測定方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1は、撮影された被測定者の動画像から呼吸とみなせる周期の振動を検出することによって被測定者の呼吸数を測定する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-171574号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
店舗やイベント会場等で、呼吸数を測定することで健康状態を検査するスクリーニング検査を行うときには、各人の呼吸数を測定するための測定時間が短い程、効率的に大人数の呼吸数を測定することが可能になる。
【0005】
特許文献1に開示された技術では、撮影された被測定者の動画像から呼吸とみなせる周期の振動を検出するために、測定範囲の最小呼吸数に応じてパワースペクトルを算出するための時間窓を変更する必要がある。さらに、特許文献1に開示された技術では、測定範囲の最小呼吸数が少ない程、パワースペクトルを算出するための時間窓を大きく設定する。その結果、特許文献1に開示された技術では、測定範囲の最小呼吸数が少ない程、呼吸数を測定するために長い測定時間を要するおそれがある。また、特許文献1に開示された技術では、動画像に含まれるノイズの影響によって誤った呼吸数を算出するおそれがある。そこで、本開示の一態様は、測定時間を抑制しつつ、信頼性を保証して呼吸数を出力できる測定装置、呼吸数測定方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る測定装置は、生体を撮像して動画像を取得する撮像部と、前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する呼吸数算出部と、前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する信頼度算出部と、前記信頼度が閾値以上である場合、前記呼吸数を出力する出力部とを備える。
【0007】
本開示の一態様に係る呼吸数測定方法は、生体を撮像して動画像を取得する工程と、前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する工程と、前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する工程と、前記信頼度が閾値以上である場合、前記呼吸数を出力する工程とを含む。
【0008】
本開示の一態様に係るプログラムは、コンピュータに、生体を撮像して動画像を取得する機能と、前記動画像に含まれる複数の画素値の時間変化に含まれる呼吸信号の振動周期を検出することにより呼吸数を算出する機能と、前記呼吸信号と、前記時間変化に含まれるノイズ信号との対比結果から前記呼吸数の信頼度を算出する機能と、前記信頼度が閾値以上である場合、前記呼吸数を出力する機能とを実行させる。
【図面の簡単な説明】
【0009】
図1】測定装置の使用態様の一例を示す図である。
図2】第一実施形態に係る測定装置の構成の一例を示すブロック図である。
図3】第一実施形態に係る測定装置の動作の一例を示すフローチャートである。
図4】動画像を構成する画像の一例を示す。
図5A】移動速度の時間変化を示す時系列信号の一例を示すグラフである。
図5B図5Aに例示する時系列信号についての自己相関値の時間変化の一例を示すグラフである。
図6A】移動速度の時間変化を示す時系列信号についての自己相関値の時間変化の一例を示すグラフである。
図6B図6Aに例示する時系列信号のパワースペクトルの一例を示すグラフである。
図7図3に続く第一実施形態に係る測定装置の動作の一例を示すフローチャートである。
図8】互いに異なる測定時間、生体が撮像されて取得された動画像から生成された時系列信号と、パワースペクトルとの一例を示す図である。
図9】第二実施形態に係る測定装置の構成の一例を示すブロック図である。
図10】第二実施形態に係る測定装置の動作の一例を示すフローチャートである。
図11】第三実施形態に係る測定装置の構成の一例を示すブロック図である。
図12】第三実施形態に係る測定装置の動作の一例を示すフローチャートである。
図13】複数の顔の像を含む画像の一例を示す図である。
【発明を実施するための形態】
【0010】
(第一実施形態)
図1図8を参照して、第一実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【0011】
図1は、本実施形態に係る測定装置100の使用態様の一例を示す図である。測定装置100は、撮像部101を備える。測定装置100は、撮像部101によって取得された画像から呼吸数を算出する。例えば、測定装置100は、PC(Personal Computer)、スマートフォン、タブレット端末、呼吸数測定専用端末等である。
【0012】
撮像部101は、生体102を撮像して動画像211(図2参照)を取得する。動画像211は、生体102の顔の像及び胸部の像を含む。例えば、撮像部101は、CCD(Charged Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサによって構成される。撮像部101は、RGB(Red Green Blue)のフィルタを含むカメラ用のイメージセンサによって構成されてもよい。
【0013】
図2は、測定装置100の構成の一例を示すブロック図である。測定装置100は、撮像部101と、記憶部201と、制御部202とを備える。
【0014】
撮像部101は、測定時間、生体102を撮像して動画像211を取得する。
【0015】
記憶部201は、各種データ、プログラム等を記録可能な記録媒体であり、例えば、ハードディスク、SSD(Solid State Drive)、半導体メモリ等により構成される。
【0016】
制御部202は、記憶部201に格納されるプログラム及びデータに従って、各種処理を実行する。制御部202は、例えば、CPU(Central Processing Unit)等のプロセッサによって実現される。
【0017】
制御部202は、領域特定部203と、信号生成部204と、呼吸数算出部205と、信頼度算出部206と、判定部207と、出力部208と、測定時間設定部209とを備える。
【0018】
領域特定部203は、動画像211を構成する各画像から、生体102の胸部の像を含む領域212を特定する。
【0019】
信号生成部204は、動画像211に含まれる複数の画素値の時間変化を示す時系列信号213を生成する。複数の画素値は、生体102の胸部の像を含む領域212内の画素値である。時系列信号213には、呼吸信号213aと、ノイズ信号213bとが含まれる。呼吸信号213aは、生体102の呼吸運動に起因する画素値の時間変化を示す。ノイズ信号213bは、照明等によるノイズに起因する画素値の時間変化を示す。
【0020】
呼吸数算出部205は、動画像211に含まれる複数の画素値の時間変化に含まれる呼吸信号213aの振動周期を検出することにより呼吸数214を算出する。
【0021】
信頼度算出部206は、呼吸信号213aとノイズ信号213bとの対比結果から、呼吸数214の信頼度215を算出する。
【0022】
判定部207は、信頼度215が閾値以上であるか否かを判定する。
【0023】
出力部208は、信頼度215が閾値以上である場合、呼吸数213を出力する。
【0024】
測定時間設定部209は、測定時間を設定する。さらに、測定時間設定部209は、信頼度215が閾値より低い場合、測定時間を延長する。
【0025】
図3は、本実施形態に係る測定装置100の動作の一例を示すフローチャートである。本例では、撮像部101が起動した場合、制御部202は、図3に例示するステップS301の処理を開始する。撮像部101による撮像範囲には、生体102の顔と胸部とが含まれるものとする。さらに、ステップS301の処理を開始する時点において、測定時間設定部209は、初期値である測定時間を設定しているものとする。例えば、測定時間の初期値は3秒である。
【0026】
ステップS301において撮像部301は、測定時間設定部209によって設定された測定時間、生体102を撮像して動画像211を取得し、取得した動画像211を記憶部201に格納する。例えば、撮像部101は、30~60fps(frames per second)で、測定時間、生体102を撮像して動画像211を取得する。動画像211は、生体102の顔の像と、胸部の像とを含む。
【0027】
ステップS302において領域特定部203は、動画像211を構成する各画像から生体102の顔の像を検出できるか否かを判定する。動画像211を構成する各画像とは、動画像211を構成する各フレームの画像である。例えば、領域特定部203は、動画像211を構成する各画像から、目、鼻、口等の特徴点を検出し、検出した特徴点に基づいて顔の像を検出する。例えば、領域特定部203は、カスケード検出器、サポートベクターマシン、CNN(Convolutional Neural Network)等の手法を用いて顔の像を検出する。
【0028】
ステップS302において顔の像が検出されない場合、制御部202は、処理をステップS301に戻す。つまり、動画像211を構成する各画像から生体102の顔の像を検出されるまで、撮像部301は、測定時間、生体102を撮像することを繰り返す。
【0029】
ステップS302において顔の像が検出された場合、ステップS303において領域特定部203は、ステップS302で検出された顔の像の位置に基づいて、生体102の胸部の像を含む領域212を特定する。例えば、領域212は、顔の像を含む領域の位置よりも、+Y方向(図4参照)である下方の所定の大きさの領域である。
【0030】
図4は、動画像211を構成する画像401の一例を示す。図4に例示する領域212は、画像401に含まれる顔の像402の位置よりも下方の所定の大きさの領域である。例えば、所定の大きさの領域は、垂直方向であるY方向の長さが、顔の像402を含む領域と同一の長さを有し、且つ、水平方向であるX方向の長さが、顔の像402を含む領域の2倍の長さを有する矩形領域である。例えば、図4に例示するように、領域212は、生体102の胸部の像を含む。なお、領域212は、生体102の胸部の一部の領域を含めばよく、生体102の胸部の全領域を含まなくてもよい。
【0031】
生体102が息を吸うときには、胸郭が拡張する。また、生体102が息を吐くときには、胸郭が縮小する。つまり、生体102は呼吸するときには、胸部及び肩を上下に運動させる呼吸運動を行う。そのため、撮像部101が生体102を撮像して動画像211を取得した場合、動画像211に含まれる領域212の画素値は、呼吸運動に起因して時間変化する。
【0032】
そこで、続くステップS304において信号生成部204は、領域212内の複数の画素の画素値の時間変化を示す時系列信号213を生成する。時間変化は、動画像211に含まれる複数の画素値の変動、又は動画像211に含まれる複数の画素値から決定される速度ベクトルの変動によって示される。
【0033】
例えば、信号生成部204は、動画像211を構成する各画像について、領域212内のR(赤)、G(緑)又はB(青)のいずれかの画素の画素値の代表値を算出する。代表値は、平均値、中央値、最頻値等である。
【0034】
または、信号生成部204は、動画像211を構成する各画像について、領域212内のR、G及びBの各画素の画素値の平均値に重みの係数をかけて足し合わせた値を、代表値として算出してもよい。
【0035】
そして、信号生成部204は、算出された代表値の時間変化を示す時系列信号213を生成する。または、信号生成部204は、算出された代表値の所定時間毎の時間変化を示す信号についてノイズ抑制処理を行い、ノイズを抑制した信号を、時系列信号213として生成してもよい。例えば、信号生成部204は、算出された代表値の所定時間毎の時間変化を示す信号を、自己相関関数に入力して、所定時間毎の自己相関値を算出してもよい。そして、信号生成部204は、自己相関値の時間変化を示す信号を、時系列信号213として生成してもよい。または、信号生成部204は、算出された代表値の所定時間毎の時間変化を示す信号を、所定の周波数以下の周波数成分を抽出するローパスフィルタに入力することで、時系列信号213を生成してもよい。これにより、信号生成部204は、所定の周波数を超える周波数成分が除去された時系列信号213を生成できる。
【0036】
または、信号生成部204は、動画像211を構成する各画像に関して、Y方向の移動速度を示すベクトルV(i)を算出してもよい。ベクトルV(i)は、動画像211を構成するフレームi-1の画像が撮像された時点から、フレームiの画像が撮像された時点までのY方向の移動速度を示す。
【0037】
例えば、信号生成部204は、動画像211を構成するフレームiの画像に含まれる、領域212内の複数の画素に関して、ブロックマッチング法、勾配法等の手法を用いて、Y方向の移動速度を示すベクトルV(i)を算出する。具体的には、信号生成部204は、領域212内の全ての画素Pixx,yについてのベクトルV(i,Pixx,y)の代表値を、動画像211を構成するフレームiの画像に関するベクトルV(i)として算出する。画素Pixx,yは、領域212に含まれる座標値がx及びyである画素を示す。ベクトルV(i,Pixx,y)は、フレームiの画像に含まれる領域212内の画素Pixx,yのY方向の移動速度を示す。例えば、ベクトルV(i,Pixx,y)の代表値は、領域212内の全ての画素Pixx,yについてのベクトルV(i,Pixx,y)の平均値である。
【0038】
そして、信号生成部204は、ベクトルV(i)の時間変化を示す時系列信号213を生成する。または、信号生成部204は、ベクトルV(i)の時間変化を示す信号についてノイズ抑制処理を行い、ノイズを抑制した信号を、時系列信号213として生成してもよい。
【0039】
例えば、信号生成部204は、Y方向の移動速度の所定時間毎の時間変化を示す信号を、自己相関関数に入力して、所定時間毎の自己相関値を算出してもよい。そして、信号生成部204は、自己相関値の時間変化を示す信号を、時系列信号213として生成してもよい。または、信号生成部204は、Y方向の移動速度の時間変化を示す信号を、所定の周波数以下の周波数成分を抽出するローパスフィルタに入力することで、時系列信号213を生成してもよい。
【0040】
図5Aは、移動速度の時間変化を示す時系列信号の一例を示すグラフである。図5Aにおいて、横軸に時間がとられ、縦軸に移動速度を示す信号値がとられている。時系列信号501は、動画像211に含まれるフレーム間におけるY方向の移動速度を示す時系列信号213である。
【0041】
図5Bは、図5Aに例示する時系列信号501についての自己相関値の時間変化の一例を示すグラフである。図5Bにおいて、横軸に時間がとられ、縦軸に自己相関値がとられている。時系列信号502は、図5Aに例示する時系列信号501についての自己相関値の時間変化を示す時系列信号213である。図5Bに例示するように、時系列信号502においては、図5Aに例示する時系列信号501に含まれるノイズが抑制されて平滑化される。
【0042】
続くステップS305において信号生成部204は、時系列信号213に対して周波数解析を行い、時系列信号213についてパワースペクトルを算出する。
【0043】
ステップS306において呼吸数算出部205は、時系列信号213に含まれる呼吸信号213aの振動周期から、呼吸数214を算出する。具体的には、呼吸数算出部205は、ステップS305で算出されたパワースペクトルにおける最大ピーク周波数から呼吸数214を算出する。より具体的には、呼吸数算出部205は、ステップS305で算出されたパワースペクトルにおいて、対象周波数の範囲内で最大ピーク周波数を呼吸の周波数として、呼吸数を計算する。例えば、対象周波数の範囲は、2~200回/分である周波数の範囲である。
【0044】
ステップS307において信頼度算出部206は、時系列信号213から呼吸信号213aの大きさを算出する。例えば、呼吸信号213aの大きさは、時系列信号213における最大ピーク周波数のパワースペクトル値である。つまり、呼吸信号213aの大きさは、ステップS306で算出されたパワースペクトルにおける、対象周波数の範囲内で最大ピーク周波数のパワースペクトル値である。
【0045】
または、呼吸信号213aの大きさは、時系列信号213における最大ピーク周波数を含む所定範囲内のパワースペクトル値の統計値であってもよい。例えば、所定範囲は、最大ピーク周波数よりも0.1Hz低い周波数以上、且つ最大ピーク周波数よりも0.1Hz高い周波数以下の範囲である。例えば、所定範囲内のパワースペクトル値の統計値は、所定範囲内のパワースペクトル値の合計値である。
【0046】
ステップS308において信頼度算出部206は、時系列信号213からノイズ信号213bの大きさを算出する。例えば、ノイズ信号213bの大きさは、時系列信号213において二番目以下のピーク周波数のパワースペクトル値である。つまり、ノイズ信号213bの大きさは、ステップS306で算出されたパワースペクトル値における二番目以下のピーク周波数のパワースペクトル値である。
【0047】
例えば、ノイズ信号213bの大きさは、時系列信号213において二番目に大きいピーク周波数のパワースペクトル値である。または、ノイズ信号213bの大きさは、時系列信号213において三番目に大きいピークを示すパワースペクトル値であってもよい。
【0048】
または、呼吸信号213aの大きさが、時系列信号213における最大ピーク周波数を含む所定範囲内のパワースペクトル値の統計値である場合、ノイズ信号213bの大きさは、所定範囲外のパワースペクトル値の統計値であってもよい。例えば、所定範囲外のパワースペクトル値の統計値は、所定範囲外のパワースペクトル値の合計値である。なお、信頼度算出部206は、複数の算出方法を組み合わせて、ノイズ信号213bの大きさを算出してもよい。
【0049】
ステップS309において信頼度算出部206は、ステップS307で算出された呼吸信号213aの大きさと、ステップS308で算出されたノイズ信号213bの大きさとの比から信頼度215を算出する。例えば、信頼度算出部206は、呼吸信号213aの大きさと、ノイズ信号213bの大きさとの比を、信頼度215として算出する。信頼度215は、信号対雑音比(SNR(Signal-to-Noise Ratio))を示す。つまり、信頼度215は、信頼度215の値が大きいほど、時系列信号213によって示される、動画像211に含まれる複数の画素値の時間変化において、生体102の呼吸運動に起因する画素値の時間変化による影響が、ノイズに起因する画素値の時間変化の影響よりも大きいことを示す。そして、制御部202は、処理を図7に例示するステップS701に移行する。
【0050】
図6Aは、移動速度の時間変化を示す時系列信号についての自己相関値の時間変化の一例を示すグラフである。図6Aにおいて、横軸に時間がとられ、縦軸に自己相関値がとられている。時系列信号601は、領域212内の同一の位置について、Y方向の移動速度の所定時間毎の自己相関値を示す時系列信号213である。
【0051】
図6Bは、図6Aに例示する時系列信号601のパワースペクトルの一例を示すグラフである。図6Bにおいて、横軸に周波数がとられ、縦軸にパワースペクトル値がとられている。パワースペクトル602は、時系列信号601についてのパワースペクトルを示す。パワースペクトル値P611は、時系列信号601において最大ピーク周波数のパワースペクトルの大きさである。つまり、パワースペクトル値P611は、呼吸信号213aの大きさを示す。
【0052】
パワースペクトル値P612は、図6Aに例示する時系列信号213において二番目に大きいパワースペクトルの大きさである。つまり、パワースペクトル値P612は、ノイズ信号213bの大きさを示す。
【0053】
信頼度算出部206は、パワースペクトル値P611と、パワースペクトル値P612との比から信頼度215を算出する。例えば、信頼度算出部206は、パワースペクトル値P611と、パワースペクトル値P612との比を、信頼度215として算出する。
【0054】
次に、図7を参照しながら、測定装置100の動作について引き続き説明する。
【0055】
ステップS701において判定部207は、信頼度215が閾値以上であるか否かを判定する。信頼度215が閾値以上であることは、時系列信号213によって示される、動画像211に含まれる複数の画素値の時間変化において、生体102の呼吸運動に起因する画素値の時間変化による影響が、ノイズに起因する画素値の時間変化の影響よりも十分に大きいことを示す。一方、信頼度215が閾値より低い場合、時系列信号213によって示される、動画像211に含まれる複数の画素値の時間変化において、ノイズに起因する画素値の時間変化の影響が相対的に大きいおそれがある。
【0056】
ステップS701において信頼度215が閾値より低い場合、ステップS702において測定時間設定部209は、所定時間、測定時間を延長する。例えば、所定時間は、撮像部101が1フレームの画像を取得する時間である。そして、制御部202は、処理を図3に例示するステップS301に戻す。つまり、測定時間設定部209は、信頼度215が閾値以上になるまで、測定時間を延長して、生体102を撮像することを継続し、呼吸数214を算出することを繰り返す。
【0057】
一方、ステップS701において信頼度215が閾値以上である場合、ステップS703において出力部208は、図3に例示するステップS306で算出された呼吸数214を出力する。例えば、出力部208は、呼吸数214を示す文字を液晶ディスプレイ等に表示させる。または、例えば、出力部208は、呼吸数214を示す音声をスピーカから出力してもよい。そして、制御部202は、呼吸数214を測定する処理を終了する。
【0058】
つまり、時系列信号213によって示される、動画像211に含まれる複数の画素値の時間変化において、生体102の呼吸運動に起因する画素値の時間変化による影響が、ノイズに起因する画素値の時間変化の影響よりも十分に大きい場合、出力部208は、呼吸数214を出力する。これにより、本実施形態に係る測定装置100は、出力される呼吸数214の信頼性を保証できる。
【0059】
図8は、互いに異なる測定時間、生体102が撮像されて取得された動画像211から生成された時系列信号と、パワースペクトルとの一例を示す図である。図8において、時系列信号801、時系列信号803及び時系列信号805については、横軸に時間がとられ、縦軸に自己相関値がとられている。また、図8において、パワースペクトル802、パワースペクトル804及びパワースペクトル806については、横軸に周波数がとられ、縦軸にパワースペクトル値がとられている。
【0060】
時系列信号801は、時間T1である測定時間で取得された動画像211から生成された時系列信号213を示す。パワースペクトル802は、時系列信号801についてのパワースペクトルを示す。
【0061】
例えば、信頼度算出部206は、ステップS307において時系列信号801における最大ピーク周波数のパワースペクトル値P811を、呼吸信号213aの大きさとして算出するとする。さらに、信頼度算出部206は、ステップS308において時系列信号801における二番目のピーク周波数のパワースペクトル値P812を、ノイズ信号213bの大きさとして算出するとする。その場合、ステップS309において信頼度算出部206は、パワースペクトル値P811とパワースペクトル値P812との比から信頼度215を算出する。信頼度215が閾値より低い場合、ステップS702において測定時間設定部209は、時間T1より長い時間T2に、測定時間を延長する。
【0062】
時系列信号803は、時間T2である測定時間で取得された動画像211から生成された時系列信号213を示す。パワースペクトル804は、時系列信号803についてのパワースペクトルを示す。
【0063】
例えば、信頼度算出部206は、ステップS307において時系列信号803における最大ピーク周波数のパワースペクトル値P813を、呼吸信号213aの大きさとして算出するとする。さらに、信頼度算出部206は、ステップS308において時系列信号803における二番目のピーク周波数のパワースペクトル値P814を、ノイズ信号213bの大きさとして算出するとする。その場合、ステップS309において信頼度算出部206は、パワースペクトル値P813とパワースペクトル値P814との比から信頼度215を算出する。信頼度215が閾値より低い場合、ステップS702において測定時間設定部209は、時間T2より長い時間T3に、測定時間を延長する。
【0064】
時系列信号805は、時間T3である測定時間で取得された動画像211から生成された時系列信号213を示す。パワースペクトル806は、時系列信号805についてのパワースペクトルを示す。
【0065】
例えば、信頼度算出部206は、ステップS307において時系列信号805における最大ピーク周波数のパワースペクトル値P815を、呼吸信号213aの大きさとして算出するとする。さらに、信頼度算出部206は、ステップS308において時系列信号805における二番目のピーク周波数のパワースペクトル値P816を、ノイズ信号213bの大きさとして算出するとする。その場合、ステップS309において信頼度算出部206は、パワースペクトル値P815とパワースペクトル値P816との比から信頼度215を算出する。
【0066】
信頼度215が閾値以上である場合、ステップS703において出力部208は、時系列信号805における最大ピーク周波数PEFQから算出された呼吸数214を出力する。そして、制御部202は、呼吸数214を測定する処理を終了する。つまり、測定装置100は、信頼度215に応じて測定時間を変更し、信頼度215が閾値以上である場合に呼吸数214を出力する。これにより、測定装置100は、測定時間を抑制しつつ、信頼性を保証して呼吸数214を出力できる。
【0067】
(第一実施形態の変形例1)
本実施形態に係る測定装置100の変形例1として、測定時間設定部209が測定時間を延長した場合、制御部202は、2フレーム以上である所定フレームの画像が取得される毎に、ステップS305~ステップS309の処理、及びステップS701の処理を実行してもよい。つまり、測定時間設定部209が測定時間を延長した場合、所定フレームの画像が取得される毎に、呼吸数算出部205が呼吸数214を算出するとともに、信頼度算出部206が信頼度215を算出し、判定部207が、信頼度215が閾値以上であるか否かを判定してもよい。これにより、本変形例1に係る測定装置100は、測定時間設定部209が測定時間を延長した場合に、1フレームの画像が取得される毎に、呼吸数214及び信頼度215を算出する場合よりも処理時間を抑制できる。
【0068】
(第一実施形態の変形例2)
本実施形態に係る測定装置100の変形例2として、測定時間設定部209は、測定時間の下限値及び上限値からなる群より選択される少なくとも一方を設定してもよい。例えば、測定時間の下限値は、3秒である。また、例えば、測定時間の上限値は、20秒である。
【0069】
測定時間設定部209が、測定時間の上限値を設定したとする。その場合、上限時間である測定時間、撮像部101が継続して生体102を撮像し、信頼度215が閾値以上にならない場合、制御部202は、呼吸数214を測定する処理を終了する。さらに、出力部208は、エラーを示すメッセージを出力する。例えば、出力部208は、「呼吸数を測定できませんでした。もう一度測定してください。」等のメッセージを液晶ディスプレイ等に表示させる。または、出力部208は、当該メッセージを示す音声をスピーカから出力してもよい。
【0070】
(第二実施形態)
図9図10を参照して、第二実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。
【0071】
図9は、本実施形態に係る測定装置100の構成の一例を示すブロック図である。図9に例示する測定装置100と図2に例示する測定装置100との相違点は、図9に例示する測定装置100は、測定時間設定部209に替えて、測定時間設定部901を備える点にある。
【0072】
測定時間設定部901は、測定時間の下限値と上限値とを同一の値に設定する。つまり測定時間設定部901は、測定時間を延長しない。
【0073】
本実施形態に係る呼吸数算出部205は、信頼度215が閾値より低い場合、呼吸数214を算出する処理を終了する。
【0074】
本実施形態に係る出力部208は、信頼度215が閾値より低い場合、エラーを示すメッセージを出力する。
【0075】
図10は、本実施形態に係る測定装置100の動作の一例を示すフローチャートである。
【0076】
図3に例示するステップS309において信頼度算出部206が、呼吸信号213aの大きさと、ノイズ信号213bの大きさとの比から信頼度215を算出した場合、ステップS1001において判定部207は、信頼度215が閾値以上であるか否かを判定する。
【0077】
ステップS1001において信頼度215が閾値以上である場合、ステップS1002において出力部208は、ステップS306で算出された呼吸数214を出力する。図10に例示するステップS1001及びステップS1002の処理は、図7に例示するステップS701及びステップS703の処理と同様であるため、詳細な説明は省略する。
【0078】
一方、ステップS1001において信頼度215が閾値より低い場合、ステップS1003において出力部208は、エラーを示すメッセージを出力する。例えば、出力部208は、「呼吸数を測定できませんでした。もう一度測定してください。」等のメッセージを液晶ディスプレイ等に表示させる。または、出力部208は、当該メッセージを示す音声をスピーカから出力してもよい。
【0079】
測定装置100が生体102の呼吸数214を測定するためには、生体102は、撮像部101の撮像範囲に留まる必要がある。そのため、測定時間が長い程、生体102は、長い時間、撮像部101の撮像範囲に留まる必要がある。しかし、本実施形態に係る測定装置100は、測定時間を延長せず、信頼度215が閾値より低い場合には、エラーを示すメッセージを出力する。これにより、本実施形態に係る測定装置100は、測定時間を延長しないことで、呼吸数の測定に要する時間を制限することができる。さらに、本実施形態に係る測定装置100は、測定時間を延長しないことで、生体102の負担を軽減できる。
【0080】
(第三実施形態)
図11図13を参照して、第三実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。
【0081】
図11は、本実施形態に係る測定装置100の構成の一例を示すブロック図である。図11に例示する測定装置100と、図2に例示する測定装置100との相違点は、図11に例示する測定装置100は、距離算出部1101を備える点にある。
【0082】
距離算出部1101は、動画像211に複数の顔の像が含まれる場合、複数の顔の像間の距離1111を算出する。
【0083】
本実施形態に係る出力部208は、複数の顔の像間の距離1111の最小値が所定の距離以下である場合、エラーを示すメッセージを出力する。
【0084】
本実施形態に係る呼吸数算出部205は、距離1111の最小値が所定の距離以下である場合、呼吸数214を算出する処理を終了する。
【0085】
図12は、本実施形態に係る測定装置100の動作の一例を示すフローチャートである。本例では、測定装置100が起動した場合、制御部202は、図12に例示するステップS301の処理を開始する。さらに、制御部202がステップS301の処理を開始する時点に置いて、測定時間設定部209は、初期値である測定時間を設定しているものとする。ステップS1201~ステップS1202の処理は、図3に例示するステップS301~S302の処理と同様であるため、詳細な説明は省略する。
【0086】
ステップS1202において顔の像が検出された場合、ステップS1203において距離算出部1101は、動画像211に複数の顔の像が含まれるか否かを判定する。例えば、動画像211を構成する少なくとも一の画像に、複数の顔の像が含まれる場合、距離算出部1101は、動画像211に複数の顔の像が含まれると判定する。
【0087】
ステップS1203において動画像211に複数の顔の像が含まれない場合、制御部202は、処理を図3に例示するステップS303に移行する。
【0088】
一方、ステップS1203において動画像211に複数の顔の像が含まれる場合、ステップS1204において距離算出部1101は、複数の顔の像間の距離1111を算出する。
【0089】
複数の顔の像間の距離1111の最小値が所定の距離以下である場合、領域特定部203は、隣り合う複数の生体102の領域212の一部を含む領域を、一の生体102の領域212として誤って特定するおそれがある。その場合、信号生成部204は、隣り合う複数の生体102の呼吸運動に起因する画素値の時間変化を示す信号を、一の生体102についての時系列信号213として誤って生成するおそれがある。
【0090】
そこで、ステップS1205において距離算出部1001は、複数の顔の像間の距離1111の最小値が所定の距離以下であるか否かを判定する。
【0091】
ステップS1205において複数の顔の像間の距離1111の最小値が所定の距離以下である場合、ステップS1206において出力部208は、エラーを示すメッセージを出力する。例えば、出力部208は、「隣の人との間隔を空けてください。」等のメッセージを液晶ディスプレイ等に表示させる。または、出力部208は、当該メッセージを示す音声をスピーカから出力してもよい。そして、制御部202は、呼吸数214を測定する処理を終了する。つまり、呼吸数算出部205は、複数の顔の像間の距離1111の最小値が所定の距離以下である場合、呼吸数214を算出する処理を終了する。
【0092】
一方、ステップS1205において複数の顔の像間の距離1111の最小値が所定の距離より長い場合、制御部202は、動画像211に含まれる各生体102の像について、図3に例示するステップS303~ステップS309の処理を実行する。そして、制御部202は、動画像211に含まれる各生体102の像について、図7に例示するステップS701において、信頼度215が閾値以上であるか否かを判定する。
【0093】
信頼度215が閾値以上である生体102の像については、図7に例示するステップS703において出力部208は、呼吸数214を出力する。また、信頼度215が閾値より低い生体102の像については、図7に例示するステップS702において測定時間設定部209は、測定時間を延長する。そして、制御部202は、処理を図3に例示するステップS301に戻す。つまり、撮像部101が、信頼度215が閾値より低い生体102を撮像することを継続し、制御部202は、当該生体102については呼吸数214を測定することを継続する。
【0094】
図13は、顔の像1301~顔の像1306を含む画像1310の一例を示す図である。距離1111aは、顔の像1301と顔の像1302間の距離である。距離1111bは、顔の像1302と顔の像1303間の距離である。距離1111cは、顔の像1303と顔の像1304間の距離である。距離1111dは、顔の像1304と顔の像1305間の距離である。距離1111eは、顔の像1305と顔の像1306間の距離である。
【0095】
領域1311は、顔の像1302の下方の所定の大きさの領域であり、一の生体102の胸部の像を含む。領域1312は、顔の像1303の下方の所定の大きさの領域であり、他の生体102の胸部の像を含む。領域1311と領域1312とは、互いに一部が重複するため、信号生成部204は、隣り合う複数の生体102の呼吸運動に起因する画素値の時間変化を示す信号を、一の生体102についての時系列信号213として誤って生成するおそれがある。
【0096】
つまり、顔の像1302と顔の像1303間の距離が所定の距離以下である場合、信号生成部204は、隣り合う複数の生体102の呼吸運動に起因する画素値の時間変化を示す信号を、一の生体102についての時系列信号213として誤って生成するおそれがある。そのため、動画像211に複数の顔の像が含まれる場合において、信号生成部204が、各生体102についての時系列信号213を生成するためには、顔の像間が十分に離れていることが必要である。
【0097】
そこで、例えば、距離1111aから距離1111eのうちで、距離1111bが最小値であり、且つ距離1111bが所定の距離以下である場合、呼吸数算出部205は、呼吸数214を算出する処理を終了する。さらに、出力部208は、距離1111bが所定の距離以下である場合、エラーを示すメッセージを出力する。
【0098】
以上より、本実施形態に係る測定装置100は、動画像211に複数の顔の像が含まれる場合、顔の像間が十分に離れている状態で、複数の生体のうちの各生体102について、呼吸数214を測定できる。そのため、本実施形態に係る測定装置100は、動画像211に複数の顔の像が含まれる場合であっても、各生体102について測定時間を抑制しつつ、信頼性を保証して呼吸数を出力できる。
【0099】
(第三実施形態の変形例)
本実施形態に係る測定装置100の変形例として、測定装置100は、測定時間設定部209に替えて測定時間設定部901を備えてもよい。その場合、本変形例に係る呼吸数算出部205は、信頼度215が閾値より低い場合、呼吸数を算出する処理を終了する。さらに、本変形例に係る出力部208は、信頼度215が閾値より低い場合、エラーを示すメッセージを出力する。これにより、本変形例に係る測定装置100は、動画像211に複数の顔の像が含まれる場合において、測定時間を延長しないことで、呼吸数の測定に要する時間を制限することができ、且つ複数の生体102の負担を軽減できる。
【0100】
上記実施形態で実行される各処理は、各実施形態で例示した処理態様に限定されない。上述した機能ブロックは、集積回路等に形成された論理回路(ハードウェア)、又はCPUを用いたソフトウェアの何れを用いて実現してもよい。上記実施形態で実行される各処理は、複数のコンピュータで実行されてもよい。例えば、測定装置100の制御部202の各機能ブロックで実行される処理は、他のコンピュータで一部の処理が実行されてもよいし、複数のコンピュータで全ての処理が分担して実行されてもよい。
【0101】
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【0102】
100 測定装置、101 撮像部、102 生体、201 記憶部、202 制御部、203 領域特定部、204 信号生成部、205 呼吸数算出部、206 信頼度算出部、207 判定部、208 出力部、209 測定時間設定部、211 動画像、212 領域、213 時系列信号、215 信頼度、301 撮像部、401 画像、402 顔の像、501 時系列信号、502 時系列信号、601 時系列信号、602 パワースペクトル、801 時系列信号、802 パワースペクトル、803 時系列信号、804 パワースペクトル、805 時系列信号、806 パワースペクトル、901 測定時間設定部、1001 距離算出部、1101 距離算出部、1111 距離、1111a~1111e 距離、1301~1306 顔の像、1310 画像、1311 領域、1312 領域、P611 パワースペクトル値、P612 パワースペクトル値、P811 パワースペクトル値、P812 パワースペクトル値、P813 パワースペクトル値、P814 パワースペクトル値、P815 パワースペクトル値、P816 パワースペクトル値、PEFQ 最大ピーク周波数
図1
図2
図3
図4
図5A
図5B
図6A
図6B
図7
図8
図9
図10
図11
図12
図13