IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ データソリューションズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-01
(45)【発行日】2022-12-09
(54)【発明の名称】呼吸検出システム及び呼吸検出方法
(51)【国際特許分類】
   A61B 5/11 20060101AFI20221202BHJP
   A61B 5/113 20060101ALI20221202BHJP
【FI】
A61B5/11 110
A61B5/113
【請求項の数】 10
(21)【出願番号】P 2021542822
(86)(22)【出願日】2020-08-20
(86)【国際出願番号】 JP2020031523
(87)【国際公開番号】W WO2021039601
(87)【国際公開日】2021-03-04
【審査請求日】2022-02-16
(31)【優先権主張番号】P 2019152755
(32)【優先日】2019-08-23
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】521369068
【氏名又は名称】データソリューションズ株式会社
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】大槻 知明
(72)【発明者】
【氏名】山本 幸平
【審査官】湊 和也
(56)【参考文献】
【文献】特表2017-513656(JP,A)
【文献】特表2019-512304(JP,A)
【文献】特開2013-078413(JP,A)
【文献】欧州特許出願公開第03335632(EP,A1)
【文献】特開2018-161462(JP,A)
【文献】米国特許出願公開第2018/0260706(US,A1)
【文献】特開2001-017403(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/11-5/113
(57)【特許請求の範囲】
【請求項1】
被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部と、
前記反射波の位相変動を算出する位相変動算出部と、
前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間に対する前記反射波に含まれる周波数成分の強度を示すスペクトログラムを生成する生成部と、
前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部と
前記スペクトログラムの画像を用いた機械学習により、前記呼吸数推定部のパラメータを設定するパラメータ設定部と、
を含み、
前記パラメータ設定部が、前記スペクトログラムの画像の画素に、フィルタ係数をかけあわせる、
呼吸検出システム。
【請求項2】
前記送信部及び前記受信部、複数のアンテナを有する請求項1に記載の呼吸検出システム。
【請求項3】
前記送信部、前記電波を送信する角度を変更する機構部を更に含む請求項1又は2に記載の呼吸検出システム。
【請求項4】
前記生成部、ウィンドウサイズが15乃至50秒のフーリエ変換で前記スペクトログラムを生成する請求項1乃至3のいずれか1項に記載の呼吸検出システム。
【請求項5】
前記電波を10°ごと、かつ、前記電波を飛ばす距離を0.1mごとにする請求項1乃至4のいずれか1項に記載の呼吸検出システム。
【請求項6】
前記生成部、前記被験者がいる場合の有人スペクトログラムと、前記被験者がいない場合の無人スペクトログラムとを生成し、
前記機械学習、前記有人スペクトログラムの画像、及び、前記無人スペクトログラムの画像の両方を用いて機械学習を行う
請求項1乃至5のいずれか1項に記載の呼吸検出システム。
【請求項7】
前記生成部、前記送信部に対する前記被験者の向きごとに、それぞれのスペクトログラムを生成し、
前記機械学習、前記スペクトログラムの画像に基づいて機械学習を行う請求項1乃至6のいずれか1項に記載の呼吸検出システム。
【請求項8】
前記機械学習、ニューラルネットワークで前記機械学習を行う請求項乃至のいずれか1項に記載の呼吸検出システム。
【請求項9】
前記ニューラルネットワークでは、前記スペクトログラムの畳み込み、ドロップアウト、畳み込み、プーリング、ドロップアウト、畳み込み、ドロップアウト、畳み込み、プーリングの順序で処理が行われる請求項に記載の呼吸検出システム。
【請求項10】
被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部とを有する呼吸検出システムが行う呼吸検出方法であって、
呼吸検出システムが、前記反射波の位相変動を算出する位相変動算出手順と、
呼吸検出システムが、前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間に対する前記反射波に含まれる周波数成分の強度を示すスペクトログラムを生成する生成手順と、
呼吸検出システムが、前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定手順と
呼吸検出システムが、前記スペクトログラムの画像を用いた機械学習により、前記呼吸数推定手順のパラメータを設定するパラメータ設定手順と、
を含み、
前記パラメータ設定手順において、前記スペクトログラムの画像の画素に、フィルタ係数をかけあわせる、
呼吸検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、呼吸検出システム及び呼吸検出方法に関する。
【背景技術】
【0002】
近年、レーダ等を用いて、被験者に装置が非接触な状態で、呼吸数等の生体情報を検出する手法が知られている。このようにして検出される呼吸数等により、健康状態の管理、生存の確認、又は、呼吸障害の検出等が行われる。
【0003】
具体的には、FMCW(frequency modulated continuous wave)センサを用いて、MIMO(multiple-input multiple-output)形式で呼吸を検出する方法が知られている。このような形式によって、レーダの正面又はLOS(Line Of Sight)上に被験者がいなくとも呼吸を検出する方法が提案されている(例えば、非特許文献1等)。
【先行技術文献】
【非特許文献】
【0004】
【文献】A.Ahmad et al.、"Vital signs monitoring of multiple people using a FMCW millimeter-wave sensor"、IEEE Int. Conf. on 2018 IEEE Radar Conference(RadarConf18)、pp.1450‐1455,Apr.2018.、[online]、[令和1年7月30日検索]、インターネット<URL:https://ieeexplore.ieee.org/abstract/document/8378778>
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記の点に鑑みてなされたものであり、呼吸の検出精度を向上することを目的とする。
【課題を解決するための手段】
【0006】
本呼吸検出システムは、
被験者がいる位置を含む複数の位置に対して電波を送信する送信部と、
前記電波が反射した反射波を受信する受信部と、
前記反射波の位相変動を算出する位相変動算出部と、
前記位相変動に対して、フーリエ変換を行い、前記反射波を受信した時間と前記反射波に含まれる周波数成分との関係を示すスペクトログラムを生成する生成部と、
前記スペクトログラムに基づいて前記被験者が所定の周波数で呼吸を行う確率を前記周波数ごとに出力して、前記確率を重みとして前記周波数の加重平均を算出することにより、前記被験者の呼吸数を推定する呼吸数推定部とを含むことを要件とする。
【発明の効果】
【0007】
開示の技術によれば、呼吸の検出精度を向上できる。
【図面の簡単な説明】
【0008】
図1】呼吸検出システムの全体構成例を示す図である。
図2】呼吸検出システムにおける情報処理装置のハードウェア構成例を示す図である。
図3】呼吸検出システムの機能構成例を示す図である。
図4】呼吸検出システムによるオフライン処理の例を示す図である。
図5】呼吸検出システムが検出の対象とする位置の設定例を示す図である。
図6】送信する電波及び反射波の例を示す図である。
図7】送信する電波及び反射波の関係例を示す図である。
図8】反射波の受信例を示す図である。
図9】位相変動の算出等を示す図である。
図10A】有人スペクトログラムの例を示す図である。
図10B】有人スペクトログラムの例を示す図である。
図11A】無人スペクトログラムの例を示す図である。
図11B】無人スペクトログラムの例を示す図である。
図12】呼吸検出システムにおける畳み込みニューラルネットワークの構造例を示す図である。
図13】比較例のニューラルネットワークの構造例を示す図である。
図14】呼吸検出システムによるオンライン処理の例を示す図である。
図15】実験環境を示す図である。
図16】実験におけるMIMO FMCWレーダのパラメータを示す図である。
図17】実験諸元を示す図である。
図18】実験結果を示す図である。
図19】学習フェーズにおける構成例を示す図である。
図20】実行フェーズにおける構成例を示す図である。
【発明を実施するための形態】
【0009】
以下、発明を実施するための最適かつ最小限な形態について、図面を参照して説明する。なお、図面において、同一の符号を付す場合には、同様の構成であることを示し、重複する説明を省略する。また、図示する具体例は、例示であり、図示する以外の構成が更に含まれる構成であってもよい。
【0010】
<呼吸検出システムの全体構成例>
図1は、呼吸検出システムの全体構成例を示す図である。例えば、呼吸検出システム10は、送信器11と、受信器12と、情報処理装置13とを有する構成である。
【0011】
以下、説明において、送信器11が電波15を送信する方向(図では左右方向となる。)を「Y軸方向」とする。そして、図における上下方向、いわゆる高さ方向を「Z軸方向」とする。また、Y軸方向に対して右手方向に直交する方向(図における奥行き方向となる。)を「X軸方向」とする。
【0012】
送信器11は、被験者14に対して電波15を送信する。例えば、送信器11は、アンテナ及び電子回路等である。
【0013】
受信器12は、送信された電波15が被験者14に当たり、被験者14から反射してくる電波(以下「反射波16」という。)を受信する。例えば、受信器12は、アンテナ及び電子回路等である。
【0014】
このような送信器11及び受信器12によって、いわゆるMIMO FMCWレーダ等を構成する。
【0015】
情報処理装置13は、受信器12が受信した反射波16に対して信号処理を行う。例えば、情報処理装置13は、PC(Personal Computer)又は電子回路等である。
【0016】
図2は、呼吸検出システムにおける情報処理装置のハードウェア構成例を示す図である。例えば、情報処理装置13は、CPU(Central Processing Unit、以下単に「CPU131」という。)と、記憶装置132と、入力装置133と、出力装置134と、インタフェース135とを有するハードウェア構成である。
【0017】
CPU131は、演算装置及び制御装置の例である。
【0018】
記憶装置132は、例えば、メモリ等の主記憶装置である。なお、記憶装置132は、ハードディスク等の補助記憶装置を更に有してもよい。
【0019】
入力装置133は、ユーザによる操作等を入力する装置である。例えば、入力装置133は、キーボード又はマウス等である。
【0020】
出力装置134は、ユーザに対して処理結果等を出力する装置である。例えば、出力装置134は、ディスプレイ等である。
【0021】
インタフェース135は、有線又は無線の通信によって、ケーブル又はネットワーク等を介して外部装置とデータを送受信する装置である。例えば、インタフェース135は、コネクタ又はアンテナ等である。
【0022】
このように、情報処理装置13は、プログラム等に基づいて、CPU131等の演算装置及び記憶装置132等を協働させて、様々な処理又は制御を行う。
【0023】
なお、情報処理装置13のハードウェア構成は、図示する構成に限られない。すなわち、情報処理装置13は、更に演算装置、制御装置、記憶装置、入力装置、出力装置を外部又は内部に有するハードウェア構成でもよい。
【0024】
<機能構成例>
図3は、呼吸検出システムの機能構成例を示す図である。例えば、呼吸検出システム10は、送信部101と、受信部102と、位相変動算出部103と、生成部104と、呼吸数推定部106とを含む機能構成である。なお、図示するように、呼吸検出システム10は、パラメータ設定部105を更に含む機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。また、各機能ブロックの具体的な機能については、後述する。
【0025】
送信部101は、例えば、送信器11等で実現する。
【0026】
受信部102は、例えば、受信器12等で実現する。
【0027】
位相変動算出部103、生成部104、パラメータ設定部105、及び、呼吸数推定部106等は、例えば、情報処理装置13等で実現する。
【0028】
なお、呼吸検出システム10は、図示する以外の機能構成を更に有してもよい。
【0029】
<オフライン処理例>
図4は、呼吸検出システムによるオフライン処理の例を示す図である。オフライン処理は、呼吸数の推定を行う前に事前処理として行われる。すなわち、オフライン処理は、オフライン処理があらかじめ行われたのを前提に行われる処理(いわゆる本処理又は実行処理等である。以下「オンライン処理」という。)の前処理として行われる。また、オフライン処理は、いわゆる学習処理を含む処理である。
【0030】
(検出対象とする位置の設定例)(ステップS11)
ステップS11では、送信部101及び受信部102には、検出対象とする位置、すなわち人の胸壁(胸部)の位置が設定される。例えば、検出対象となる位置は、以下のように設定される。
【0031】
図5は、呼吸検出システムが検出の対象とする位置の設定例を示す図である。以下、送信器11に対して正面となる位置20を角度θが「0°」であるとする。また、図において、「0°」より右側(すなわち、時計回り方向である。)の角度を「プラス」とし、一方で、「0°」より左側(すなわち、反時計回り方向である。)の角度を「マイナス」とする。
【0032】
また、送信器11に対する位置20までの距離、すなわち、電波を飛ばす距離を「距離d」とする。したがって、高さ(Z軸方向における位置となる。)を一定とすると、それぞれの位置20は、距離d及び角度θが定まると平面上(すなわち、X-Y面上である。)における位置が一意に定まる。
【0033】
例えば、電波の送信先となる位置20を所定の距離ごと、及び、所定の角度ごととすると、検出対象とするそれぞれの位置20及び検出の範囲を設定できる。なお、位置の設定方法は、距離d及び角度θを設定する方法でなくともよい。例えば、座標値等を入力して位置20が設定されてもよい。
【0034】
また、角度θは、10°ごと、かつ、距離dは、0.1mごとであるのが望ましい。区切られた各空間は、人物が1人分程度であるのが望ましい。したがって、電波が10°ごと、かつ、0.1mごとに飛ばされると、人物の大きさに対してちょうどよい空間が設定できる場合が多い。
【0035】
(電波の送信例)(ステップS12)
ステップS12では、送信部101は、電波を送信する。すなわち、送信部101は、ステップS11で定まったそれぞれの位置20に対して、電波を送信する。
【0036】
なお、検出対象となる位置等は、例えば、ステップS11等で図5に示すように決まる。ただし、センサ設置の際等には、検出対象とする範囲を大まかに決める程度でもよい。そして、図5のような位置決めは、例えば、ステップS12又はその後の処理等で行ってもよい。
【0037】
(反射波の受信例)(ステップS13)
ステップS13では、受信部102は、反射波を受信する。すなわち、受信部102は、ステップS12で送信された電波の反射波を受信する。
【0038】
(位相変動の算出例)(ステップS14)
ステップS14では、位相変動算出部103は、呼吸による胸壁の動きによって変動する反射波の位相、すなわち位相変動を算出する。
【0039】
(フーリエ変換例)(ステップS15)
ステップS15では、生成部104は、位相変動に対してフーリエ変換を行う。例えば、生成部104は、STFT(Short Time Fourier Transform)等で変換を行う。
【0040】
(スペクトログラムの生成例)(ステップS16)
ステップS16では、生成部104は、スペクトログラムを生成する。
【0041】
ステップS12乃至ステップS16は、例えば、以下のように行われる。
【0042】
図6は、送信する電波及び反射波の例を示す図である。例えば、ステップS12によって、位置20に対して、送信器11から送信される電波15は、(1)式に示す「x(t)」のような信号となる。一方で、反射波16は、(2)式に示す「r(t)」のような信号となる。以下、時間を「t」とする。また、検出対象となる位置20の任意の1点と、送信器11及び受信器12(図では分けて記載しているが、送信器11及び受信器12は、同じ位置である、すなわち、電波を送受信する位置は同一の位置であるとする例で説明する。)の距離を「R(t)」とする。
【0043】
(1)式及び(2)式において、「A」は、信号における受信強度を示す。また、(1)式等における「B」、「Tc」、「fc」、「td」、及び「fb」は以下のような値である。
【0044】
図7は、送信する電波及び反射波の関係例を示す図である。例えば、電波15、すなわち、「x(t)」は、周波数変化幅「B」の範囲で値が時間に対して変化する(いわゆる掃引である。)ように設定される。
【0045】
「fc」は、いわゆる初期周波数である。したがって、電波15は、初期周波数「fc」に対して周波数変化幅「B」の範囲で周波数が時間「t」によって変化する。
【0046】
「Tc」は、いわゆる掃引時間である。掃引時間「Tc」は、電波15の周波数が初期周波数「fc」から時間「t」によって変化して、また「fc」に戻るまでの時間をいう。
【0047】
「td」は、(3)式に示すような値である。以下、「td」を「受信時間」という。すなわち、受信時間「td」は、電波15が送信器11から送信されてから、反射波16となって受信器12で受信されるまでの時間である。
【0048】
また、「c」は、電磁波の速度を示す。以下、「c」を「電磁波速度」という。
【0049】
そして、反射波16を以下のように受信する。
【0050】
図8は、反射波の受信例を示す図である。例えば、受信器及び位置20の距離が「d・・・d・・・d」というように、受信器は、複数の距離で反射波を受信する。それぞれの位置で受信する反射波の周波数を「y(t)」・・・「y(t)」・・・「y(t)」とすると、それぞれの反射波周波数「y(t)」は、(4)式のように示せる。
【0051】
(4)式等における「fb」は、送信する電波と反射波の周波数差(以下単に周波数差「fb」という。)である。例えば、周波数差「fb」は、(5)式に示すような値となる。
【0052】
(4)式等における「Φ(t)」は、位相を示す。例えば、位相「Φ(t)」は、(6)式に示すような値となる。
【0053】
(4)式等における「Δφ(t)」は、位相変動を示す。例えば、位相変動「Δφ(t)」は、(7)式に示すような値となる。
【0054】
それぞれの受信器のうち、「k」番目の受信器における重み係数を「wk」とする。重み係数「wk」は、あらかじめ設定される値となる。このような重み係数「wk」を用いると、例えば、(8)式に示すように特定角度に対する反射波「Y(t)」を加重平均で計算できる。
【0055】
そして、位相変動算出部は、様々な位置で反射波を受信した結果、すなわち、「y(t)」・・・「y(t)」・・・「y(t)」に基づいて、例えば、以下のように、それぞれの位相変動を算出する。
【0056】
図9は、位相変動の算出等を示す図である。例えば、「M」箇所の位置で受信が行われると、それぞれの受信結果から、位相変動「φ(t)」・・・「φ(t)」・・・「φMl(t)」が算出される(ステップS14)。
【0057】
次に、位相変動「φ(t)」・・・「φ(t)」・・・「φMl(t)」に対して、STFTが行われると(ステップS15)、「M」個のスペクトログラムが生成できる。
【0058】
なお、「Φ(t)」、「φ(t)」及び「φ(t)」は、いずれも位相を指す。ただし、「Δφ(t)」(下付きの文字がない変数で示す。)等は、位相変動「φ(t)」(下付きの文字がある変数で示す。)を要素ごとに分解した時の一部を示す。
【0059】
なお、スペクトログラムは、例えば、以下のように、検出対象とする位置に人物がいる場合といない場合とに分けて生成されるのが望ましい。
【0060】
図10A及び図10Bは、有人スペクトログラムの例を示す図である。図では、縦軸を周波数とし、横軸を受信がされた時間とする。例えば、ステップS11で設定される位置に、人物がいると、図10A又は図10Bのようなスペクトログラムが生成される場合が多い。以下、このように、人物がいる状態で生成されたスペクトログラムを「有人スペクトログラム」という。一方で、人物がいない状態で生成されたスペクトログラムを「無人スペクトログラム」という。
【0061】
スペクトログラムは、時間に対する反射波に含まれる各周波数の強度を示す。したがって、スペクトログラムは、同じ時間(横軸の値が同一の場合である。)において、受信した反射波に、どのような周波数成分が含まれるか(縦軸における強度の分布である。)を時間変化に対して示す。
【0062】
横軸に示すように、スペクトログラムは、20秒等というように、15乃至50秒の時間単位で生成されるのが望ましい。図における横軸、すなわち、スペクトログラムが生成される時間の単位は、ステップS15におけるSTFTのウィンドウサイズである。したがって、図10A及び図10Bに示すスペクトログラムは、いずれも20秒のウィンドウサイズを設定したSTFTによって生成されるスペクトログラムの例である。
【0063】
なお、図10A及び図10Bに示すスペクトログラムは、ステップサイズは0.5秒の例である。
【0064】
例えば、20秒程度のウィンドウサイズでSTFTにより、フーリエ変換が行えると、0.1Hz刻み程度で呼吸の周波数を検出できる。人物の呼吸数は、0.1Hz(すなわち、1分間に被験者が6回の呼吸を行うことである。被験者が安静な状態等である。)乃至1.0Hz(すなわち、1分間に被験者が60回の呼吸を行うことである。被験者が運動をした後の状態等である。)の範囲であることがほとんどである。
【0065】
また、ウィンドウサイズが50秒を超える、すなわち、1分程度以上であると、スペクトログラムを生成している間に、被験者の呼吸数が変化してしまう場合が多い。
【0066】
したがって、ウィンドウサイズは、50秒より大きい値が設定されると、被験者の呼吸数が処理前から変化してしまう場合が多い。一方で、ウィンドウサイズが15乃至50秒程度であると、呼吸数が精度良く検出できる。すなわち、被験者の呼吸数がそれほど変化する前に検出ができ、かつ、呼吸数を検出するのに適した分解能を確保できる。
【0067】
有人スペクトログラムは、0.3Hz程度を中心に、0.2Hz乃至0.4Hz程度が高強度となる場合が多い。ただし、人物の健康状態又は運動状態等によって、高強度となる周波数は異なる。以下、高強度となる範囲を「高強度帯域30」という。すなわち、有人スペクトログラムは、例えば、図示するように0.3Hz及び0.3Hzの倍数の範囲が高強度帯域30となる場合が多い。
【0068】
高強度帯域30は、人物が呼吸をすることで胸壁が動作する周波数を含む。すなわち、この例は、0.3Hzの呼吸を行う人物が検出位置にいる場合に生成された例である。
【0069】
一方で、人物がいない場合には、以下のような無人スペクトログラムが生成される。
【0070】
図11A及び図11Bは、無人スペクトログラムの例を示す図である。有人スペクトログラムと比較すると、無人スペクトログラムは、図11A及び図11Bに示すいずれにも、高強度帯域がない点が異なる。
【0071】
このような有人スペクトログラム、及び、無人スペクトログラムの両方を用いて機械学習が行われるのが望ましい。このように、有人スペクトログラム、及び、無人スペクトログラムの両方について機械学習が行われると、検出を行う環境、すなわち、検出が行われる屋内にある家具等の影響を精度良く学習できる。つまり、有人スペクトログラム、及び、無人スペクトログラムの両方をいわゆる学習データに用いると、機械学習では、環境の影響を学習できるので、より精度良く呼吸数を検出できる。
【0072】
(スペクトログラムを用いた機械学習例)(ステップS17)
ステップS17では、パラメータ設定部105は、スペクトログラムを用いて機械学習を行う。
【0073】
なお、パラメータ設定部105は、以下のような畳み込みニューラルネットワーク(Convolutional Neural Network)(CNN)で行われるのが望ましい。
【0074】
図12は、呼吸検出システムにおける畳み込みニューラルネットワークの構造例を示す図である。このように、パラメータ設定部105は、画像処理に適するニューラルネットワークを用いて学習を行うのが望ましい。
【0075】
畳み込みニューラルネットワーク2000には、スペクトログラム100が入力される。そして、スペクトログラム100が入力されると、パラメータ設定部105は、学習処理において、以下のような処理順序及び処理構成で学習を行うのが望ましい。
【0076】
畳み込みニューラルネットワーク2000では、畳み込み1001、ドロップアウト1002、畳み込み1003、プーリング1004、ドロップアウト1005、畳み込み1006、ドロップアウト1007、畳み込み1008、プーリング1009の順序で処理が行われた後、全結合1010の処理が行われるのが望ましい。ただし、畳み込みニューラルネットワーク2000では、図示する以外の処理が更に行われてもよい。
【0077】
畳み込みは、あらかじめ設定されるフィルタ(なお、フィルタに設定されるフィルタ係数は、学習によって更新されていってもよい。)を用いて、対象とする画像(この例では、スペクトログラム100が画像の扱いとなる。以下、スペクトログラム100を画像として扱う場合を例に説明する。したがって、この例では、スペクトログラム100が有する時間に対する各周波数の強度を示すデータが「画素」として扱われる。)が有する画素にフィルタ係数をかけあわせていく処理等である。すなわち、畳み込みでは、フィルタを用いて、いわゆるスライディングウィンドウ(sliding window)等と呼ばれる処理等が行われる。このように、畳み込みの処理が行われると、いわゆる特徴マップが出力される。
【0078】
例えば、畳み込み1001及び畳み込み1003では、「32 Conv.(3×3)」は、「3×3」のサイズとなるフィルタを「32個」用いる設定であることを示す。一方で、畳み込み1006及び畳み込み1008は、「32 Conv.(2×2)」であり、フィルタのサイズが「2×2」である点が異なる。
【0079】
ドロップアウトは、いわゆる過学習を防ぐための処理となる。過学習は、学習データにだけに含まれる特徴にまで最適化がされてしまい、実際のデータでは正解率が下がってしまう現象である。例えば、ドロップアウトは、全結合と出力層の接続のうち、一部の接続を切断する等の処理となる。
【0080】
具体的には、ドロップアウト1002では、畳み込み1001の出力のうち、一部の出力を後段の処理となる畳み込み1003等に入力しないようにする等である。なお、畳み込み1001による出力のうち、どのような出力をドロップアウト1002で後段に出力しないようにするかは、例えば、ランダムで選択される。同様に、ドロップアウト1005及びドロップアウト1007でも、前段で行われる処理である、プーリング1004、又は、畳み込み1006による出力の一部を後段の処理に入力しないようにする。なお、どの程度をドロップアウトさせるか、いわゆるドロップアウト率等のパラメータは、例えば、「25%」のように、あらかじめ設定される。
【0081】
プーリングは、例えば、最大プーリング(max pooling)等である。「max pooling」では、所定のウィンドウ内にある画素のうち、最大値となる画素が抽出される。このように、畳み込みが行われた画像に対してプーリングを行うと、画像が持つデータを圧縮できる。すなわち、プーリングは、いわゆるダウンサイジング等になる。
【0082】
さらに、プーリングが行われると、所定のウィンドウ内での微小な違いは吸収される場合が多いため、数画素程度の微小な位置変化があっても、ロバストに特徴を認識できる。また、プーリングが行われると、データの数が少なくなる場合が多いため、後段の処理等で計算コストを少なくできる。
【0083】
例えば、プーリング1004では、「Pool.(1×3)」は、「1×3」のサイズとなるウィンドウを用いることを示す。同様に、プーリング1009では、「Pool.(2×2)」は、「2×2」のサイズとなるウィンドウを用いることを示す。
【0084】
全結合は、前段の処理による複数の出力に対して、重み付けを行い、総和を計算する等の処理を行う。また、全結合は、活性化関数等で重み等が設定される。活性化関数は、例えば、ReLU(Rectified Linear Unit、ランプ関数)等である。
【0085】
全結合1010では、前段のプーリング1009による出力結果が活性化関数等で計算される。例えば、全結合1010は、「0.1Hz」、「0.2Hz」、・・・、「0.9Hz」、「1.0Hz」、及び、「呼吸なし(すなわち、周波数は「0Hz」と同義である。)」の11種類の周波数ごとに、それぞれの確率を出力する。すなわち、畳み込みニューラルネットワーク2000では、それぞれの周波数で被験者が呼吸を行っている確率が算出される。そして、それぞれの確率に対して重み付けをする算出、すなわち、加重平均を計算すると、検出位置で被験者が行っている呼吸の呼吸数を検出できる。
【0086】
このように、機械学習によって、呼吸数が精度良く検出されるように、呼吸を行っていると判断する周波数の領域、すなわち、高強度帯域30等が学習され、学習の結果、最適化されてパラメータとして設定されるのが望ましい。なお、パラメータは、ドロップアウト率等が対象となってもよい。
【0087】
なお、機械学習に基づいて変更されるパラメータには、畳み込み及びプーリングで用いるフィルタサイズが含まれるのが望ましい。フィルタサイズは、精度によく影響するパラメータである。したがって、フィルタサイズが最適化されると、精度をよくすることができる。
【0088】
なお、呼吸数は、周波数の形式で検出されるに限られない。例えば、呼吸数は、「単位時間あたり(例えば、1分間あたり等である。)における呼吸数」(単位は、「回/分」等である。)、何回かの推定結果を平均した値(移動平均等の統計値でもよい。)等の形式で出力されてもよい。
【0089】
<比較例>
図13は、比較例のニューラルネットワークの構造例を示す図である。例えば、畳み込み、ドロップアウト、プーリング、及び、全結合が1つずつ程度の構造である比較例を説明する。比較例は、図12と比較すると、畳み込み、ドロップアウト、及び、プーリング等の処理が行われる順序及び処理の回数等が異なる。
【0090】
比較例のような構造のニューラルネットワークでは、十分な精度が出ない場合が多い。
【0091】
<オンライン処理例>
オンライン処理は、あらかじめオフライン処理が行われた後、すなわち、学習処理によって学習が行われた後に行われる処理である。すなわち、オンライン処理は、学習データを用いる学習処理となるオフライン処理に対して、本番となるデータを用いた本処理となる。
【0092】
図14は、呼吸検出システムによるオンライン処理の例を示す図である。オフライン処理と比較すると、ステップS20となる点が異なる。以下、異なる点を中心に説明し、オフライン処理と同様の処理の説明を省略する。
【0093】
(スペクトログラムに基づく呼吸数の推定例)(ステップS20)
ステップS20では、呼吸数推定部106は、本番となるデータによって生成されたスペクトログラムに基づいて、呼吸数を推定する。このような処理で呼吸数を推定する実験の結果を以下に示す。
【0094】
<実験結果>
図15は、実験環境を示す図である。この実験では、送信器及び受信器の例となる、MIMO FMCWレーダ300を用いた。MIMO FMCWレーダ300は、以下のようなパラメータの装置である。
【0095】
図16は、実験におけるMIMO FMCWレーダのパラメータを示す図である。
【0096】
「アンテナ数」における「Tx」は、送信用のアンテナの数を示す。したがって、この実験では、「2個」のアンテナで電波を送信したことになる。
【0097】
「アンテナ数」における「Rx」は、受信用のアンテナの数を示す。したがって、この実験では、「4個」のアンテナで反射波を受信したことになる。
【0098】
「送信周波数」は、送信した電波の周波数である。なお、電波に用いられる周波数は、「24.15Hz」以外の周波数でもよい。例えば、周波数は、100MHz乃至100GHz程度であってもよい。
【0099】
「掃引周波数」は、周波数を掃引した幅を示す。図7における「B」となる。
【0100】
「掃引時間」は、掃引を行った時間を示す。図7における「Tc」となる。
【0101】
「サンプリング周波数」は、反射波をサンプリングする分解能である。
【0102】
「位相信号のサンプリング周波数」は、ステップS14で算出される位相変動信号をサンプリングする周波数である。
【0103】
「アンテナの指向性」は、電波を送受信する角度を示す。
【0104】
そして、図15に示す実験環境における「Location 1」乃至「Location 5」の位置を検出位置として以下のような実験諸元で実験を行った。
【0105】
図17は、実験諸元を示す図である。
【0106】
「被験者数」が示すように、本実験は、2人が「Location 1」乃至「Location 5」の位置にいる場合を主に対象として実験を行った。
【0107】
「観測ごとの被験者数」は、各位置に一度に存在する被験者の人数を示す。この実験では、「1人」、すなわち、各位置に1人の被験者がいる場合で実験を行った。
【0108】
「観測時間」は、データを計測した時間、すなわち、電波を送信し、反射波を受信していた時間を示す。
【0109】
「レーダの設置高」は、MIMO FMCWレーダ300を設置した高さである。すなわち、この実験は、電波及び反射波は、「1m」の高さで送受信されたことを示す。
【0110】
「被験者の体勢」は、「仰向け」、「うつ伏せ」、及び、「横向き」の3種類の体勢であったことを示す。
【0111】
「θ」は、電波を送信する角度である。図示するように、この実験では、10°ごとに電波を送信した。
【0112】
「d」は、電波を飛ばす距離である。図示するように、この実験では、0.1mごとに電波を送信した。
【0113】
「評価指標」は、呼吸検出システムが推定した呼吸数を評価する指標を示す。図示するように、被験者は、自身で呼吸を行った回数を数えてもらい、被験者が申告する呼吸数が「正しい」呼吸数であるとする。したがって、被験者が申告する呼吸数と、呼吸検出システムが推定した呼吸数を比較して、回数の違いを絶対誤差とする。絶対誤差は、値が小さいほど高精度という評価になる。
【0114】
図18は、実験結果を示す図である。横軸は、被験者の位置を「Location 1」乃至「Location 5」で示す。一方で、縦軸は、絶対誤差、すなわち、評価結果を示す。なお、縦軸の単位は、「breath per minute」、すなわち、「回/分」である。
【0115】
図示するように、呼吸検出システムは、呼吸数を精度良く推定できた。具体的には、「Location 1」では、平均で絶対誤差は「0.34bpm」であった。また、「Location 2」では、平均で絶対誤差は「0.72bpm」であった。さらに、「Location 4」では、平均で絶対誤差は「1.18bpm」であった。さらにまた、「Location 5」では、平均で絶対誤差は「0.50bpm」であった。
【0116】
このように、「Bed」、「Table」、「Shelf」及び「Pillar」等といった家具等が置かれるような屋内の環境等であっても、呼吸を検出する精度を向上させることができる。
【0117】
<機構部を有する例>
呼吸検出システムは、送信部が送信する電波の角度を変更する機構部を更に有してもよい。具体的には、呼吸検出システムは、電波を送信するアンテナ等をアクチュエータ又はアンテナが向く向きを変更する機構部品等を有する。つまり、機構部は、アクチュエータ等によって自動的に角度を変更する構成でもよいし、又は、手動でアンテナの向きを変更できるような構成でもよい。このような機構部があると、呼吸検出システムは、電波を送信する角度等を変更できる。したがって、1つのアンテナであっても、異なる角度となる位置に向かって電波を送信できる。
【0118】
ゆえに、機構部を有する構成であると、呼吸検出システムは、送信部を実現するアンテナ等の部品を少なくできる。
【0119】
<実行フェーズ及び学習フェーズにおける構成の違い>
呼吸検出システムは、図19及び図20に示すように、機械学習を行う場面と、機械学習等によってパラメータが設定された、いわゆる学習済み状態下で実行する場面とで構成が異なってもよい。
【0120】
図19は、学習フェーズにおける構成例を示す図である。例えば、図4に示すような処理を実行する、すなわち、機械学習を行う構成は、図示するような構成で行われる。
【0121】
例えば、パラメータ設定部105は、いわゆる学習部等を有し、教師データとなる学習用スペクトログラム100Aを用いて学習を行う。
【0122】
学習用スペクトログラム100Aによって機械学習が行われた結果に基づいて、例えば、呼吸数推定部106が用いるパラメータが更新される。すなわち、パラメータ設定部105は、学習用スペクトログラム100Aに基づいて呼吸数推定部106のパラメータを設定する。以下、学習フェーズにおけるパラメータを「学習中パラメータP1」という。このように、CNN等の機械学習では、入力されるスペクトログラム等が畳み込み層又はプーリング層等により圧縮され、圧縮したデータを真のラベルと結びつける。学習フェーズでは、このような処理を学習データごとに繰り返すことでパラメータ等が最適化される。
【0123】
実行フェーズに用いられるパラメータ(以下「実行用パラメータP2」という。)は、例えば、学習中パラメータP1等に対して、機械学習により、複数回更新を行うことで生成される。
【0124】
ただし、実行用パラメータP2は、機械学習のみで生成されるものに限られない。例えば、学習フェーズによって生成されたパラメータに対して、更に手動でパラメータが修正されて実行用パラメータP2が生成されてもよい。
【0125】
また、実行用パラメータP2は、実行用スペクトログラム100Bによって機械学習が行われて更新されてもよい。つまり、実行用パラメータP2は、最初に、機械学習の方法又は機械学習以外の方法で生成されて外部から入力される。その後、実行用スペクトログラム100Bによって機械学習が行われて更新されてもよい。このような場合には、実行フェーズであっても、出力に対して評価が入力されてもよい。
【0126】
図20は、実行フェーズにおける構成例を示す図である。学習フェーズと比較すると、実行フェーズは、パラメータ設定部105が接続されない点が異なる。例えば、パラメータ設定部105がプログラムで実現されるような場合には、実行フェーズでは、パラメータ設定部105は、実行用パラメータP2を更新しない構成等である。ただし、実行用パラメータP2を更新する構成であれば、パラメータ設定部105を実現するプログラムがインストールされた状態で実行フェーズが行われてもよい。
【0127】
<その他の実施形態>
例えば、送信器、受信器、又は、情報処理装置は、複数の装置であってもよい。すなわち、処理及び制御は、仮想化、並行、分散又は冗長して行われてもよい。一方で、送信器、受信器及び情報処理装置は、ハードウェアが一体又は装置を兼用してもよい。
【0128】
パラメータ設定部は、学習により、パラメータとして、呼吸推定部、すなわち、学習済みモデル等を変更してもよい。具体的には、パラメータ設定部は、学習結果に基づいて呼吸推定部のパラメータを変更してもよい。このように学習結果を呼吸推定部に反映させていく構成であってもよい。
【0129】
また、呼吸推定部における学習による更新は、呼吸検出システムを構成する装置が有する演算装置で処理及び制御を行う構成でもよい。一方で、呼吸推定部における学習による更新は、ネットワーク等を介して接続する学習部等が行ってもよい。すなわち、学習部等は、ネットワーク等を介して利用できるクラウド等で実現されてもよい。
【0130】
さらに、パラメータ設定部は、機械学習等によって、ニューラルネットワーク以外の構成で学習処理等を行ってもよい。具体的には、呼吸検出システムは、いわゆるAI(Artificial Intelligence)等を利用する構成であればよい。例えば、パラメータ設定部は、GAN(Generative Adversarial Network)、RNN(Recurrent Neural Network)又はLSTM(Long Short-Term Memory)等といった機械学習を行う構造で実現されてもよい。また、ランダムフォレスト(random forests)等の機械学習アルゴリズムが用いられてもよい。
【0131】
なお、本発明に係る各処理の全部又は一部は、アセンブラ等の低水準言語又はオブジェクト指向言語等の高水準言語で記述され、コンピュータに呼吸検出方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、呼吸検出装置、又は、情報処理装置等を含む呼吸検出システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。
【0132】
したがって、プログラムに基づいて各処理が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。
【0133】
また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。
【0134】
以上、好ましい実施の形態等について詳説したが、上述した実施の形態等に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態等に種々の変形及び置換を加えることができる。
【0135】
本国際出願は2019年8月23日に出願された日本国特許出願2019-152755号に基づく優先権を主張するものであり、2019-152755号の全内容をここに本国際出願に援用する。
【符号の説明】
【0136】
10 呼吸検出システム
11 送信器
12 受信器
13 情報処理装置
14 被験者
15 電波
16 反射波
20 位置
30 高強度帯域
100 スペクトログラム
101 送信部
102 受信部
103 位相変動算出部
104 生成部
105 パラメータ設定部
106 呼吸数推定部
300 FMCWレーダ
1001 畳み込み
1002 ドロップアウト
1003 畳み込み
1004 プーリング
1005 ドロップアウト
1006 畳み込み
1007 ドロップアウト
1008 畳み込み
1009 プーリング
1010 全結合
2000 畳み込みニューラルネットワーク
d 距離
θ 角度
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10A
図10B
図11A
図11B
図12
図13
図14
図15
図16
図17
図18
図19
図20