【実施例】
【0096】
以下、図面を参照しながら、信号処理装置及び方法、並びにコンピュータプログラム及び記録媒体の実施例について説明する。尚、以下では、入力信号として、呼吸音を示す呼吸音信号が用いられるものとする。但し、入力信号として、呼吸音信号とは異なるその他の生体音信号が用いられてもよい。その他の生体音信号の一例としては、例えば、心音を示す心音信号や、脈動(言い換えれば、脈波)に起因した音を示す脈動音信号や、内臓器官の活動状況に起因した音(例えば、腸の動きに起因した腸音)を示す内臓音信号や、血液の流れに起因した音を示す血流音信号等が一例としてあげられる。或いは、入力信号として、生体音信号以外の任意の信号(但し、周期性を有する任意の信号)が用いられてもよい。
【0097】
(1)信号処理装置の構成
はじめに、
図1を参照しながら、本実施例の信号処理装置10の構成について説明する。
図1は、本実施例の信号処理装置10の構成を示すブロック図である。
【0098】
図1に示すように、本実施例の信号処理装置10は、信号取得部101と、信号記憶部102と、「認識手段」の一具体例である周期判定部113と、信号解析部103と、「認識手段」、「生成手段」及び「出力手段」の一具体例である表示データ生成部104と、「表示装置」の一具体例である表示部105とを備える。
【0099】
信号取得部101は、呼吸音信号を取得する。例えば、信号取得部101は、生体の呼吸音を直接的に検出することで呼吸音信号を直接的に取得してもよい。この場合、信号取得部101は、生体に取り付けられると共に生体の呼吸音を検出する呼吸音センサを含んでいてもよい。このような呼吸音センサは、典型的にはマイク(例えば、コイル型マイクや、コンデンサ型マイクや、圧電型マイク等)である。但し、呼吸音センサが呼吸音を検出することができる限りは、呼吸音センサはどのような形式のセンサであってもよい。
【0100】
尚、
図1は、信号処理装置10が信号取得部101を備える例を示している。しかしながら、信号処理装置10は、信号取得部101を備えていなくともよい。この場合、信号処理装置10は、信号処理装置10の外部に配置されている信号取得部101から、有線若しくは無線の通信回線又は有線の信号線を介して、呼吸音信号を取得することが好ましい。
【0101】
信号記憶部102は、信号取得部101が取得した呼吸音信号を一時的に記憶する。このため、信号記憶部102は、メモリ又はバッファを含んでいてもよい。尚、後述するように、信号記憶部102は、信号取得部101が逐次取得する呼吸音信号のうち所定期間分の呼吸音信号を記憶することが好ましい。
【0102】
尚、
図1は、信号処理装置10が信号記憶部102を備える例を示している。しかしながら、信号処理装置10は、信号記憶部102を備えていなくともよい。
【0103】
周期判定部113は、信号記憶部102が記憶している呼吸音信号に対して所定の周期判定処理を実行する。
【0104】
本実施例では、所定の周期判定処理は、呼吸音信号の周期を判定する(言い換えれば、特定する又は検出する)処理を含んでいてもよい。具体的には、所定の周期判定処理は、振幅レベル(つまり、信号強度を示す特性)が周期的に増減を繰り返しながら変化する呼吸音信号に対して、呼吸音信号の振幅レベルが1周期分だけ変化するために要する期間が呼吸音信号の周期であると判定する処理を含んでいてもよい。言い換えれば、呼吸音信号が呼吸という生体の活動に起因した音に相当する音声信号であることを考慮すれば、所定の周期判定処理は、繰り返し複数回行われる呼吸のうちの1回の呼吸(つまり、連続して行われる呼気及び吸気)に要する期間が呼吸音信号の周期であると判定する処理を含んでいてもよい。
【0105】
尚、呼吸音信号以外の任意の生体音信号に対して実行される所定の周期判定処理は、繰り返し複数回行われる生体の活動のうちの1回の活動に要する期間が生体音信号の周期であると判定する処理を含んでいてもよい。例えば、所定の周期判定処理は、繰り返し複数回行われる心臓の拍動のうちの1回の拍動に要する期間が心音信号、脈動音信号又は血流音信号の周期であると判定する処理を含んでいてもよい。その他の生体音信号又は入力信号に対して実行される周期判定処理についても、同様の態様で周期を判定する処理を含んでいてもよい。
【0106】
更に、本実施例では、所定の周期判定処理は、呼吸音信号の周期を細分化することで得られる細分化期間を判定する処理を含んでいてもよい。例えば、所定の周期判定処理は、呼吸音信号の周期を当該呼吸音信号の振幅レベルの変化の傾向に応じて細分化することで得られる細分化期間を判定する処理を含んでいてもよい。具体的には、生体の活動である1回の呼吸は、振幅レベルの変化の傾向が異なる1回の呼気と1回の吸気とから構成されている。このため、所定の周期判定処理は、呼吸音信号の各周期のうちの呼気期間(つまり、呼気が行われている期間)及び吸気期間(つまり、吸気が行われている期間)を判定する処理を含んでいてもよい。
【0107】
尚、呼吸音信号以外の任意の生体音信号に対して実行される所定の周期判定処理は、繰り返し複数回行われる生体の活動のうちの1回の活動を、当該1回の活動の態様に応じて細分化することで得られる細分化期間を判定する処理を含んでいてもよい。例えば、生体の活動である1回の心臓の拍動は、活動の態様が異なる1回の心室の収縮と1回の心室の拡張とから構成されている。このため、心音信号、脈動音信号又は血流音信号に対して実行される所定の周期判定処理は、生体音信号の各周期のうち心室の収縮が行われている期間及び心室の拡張が行われている期間を判定する処理を含んでいてもよい。その他の生体音信号又は入力信号に対して実行される周期判定処理についても、同様の態様で細分化期間を判定する処理を含んでいてもよい。
【0108】
尚、
図1は、信号処理装置10が周期判定部113を備える例を示している。しかしながら、信号処理装置10は、周期判定部113を備えていなくともよい。この場合、信号処理装置10は、信号処理装置10の外部に配置されている周期判定部113から、有線若しくは無線の通信回線又は有線の信号線を介して、信号処理装置10の外部に位置する周期判定部113が実行した周期判定処理の結果を取得することが好ましい。
【0109】
信号解析部103は、信号記憶部102が記憶している呼吸音信号に対して所定の解析処理を実行する。本実施例では、所定の解析処理は、呼吸音信号を、互いに区別可能な複数種類の信号成分に分離する解析処理を含んでいる。言い換えれば、所定の解析処理は、呼吸音信号から、互いに区別可能な複数種類の信号成分のうちの少なくとも一つを抽出する解析処理を含んでいる。言い換えれば、所定の解析処理は、呼吸音信号にどのような種類の信号成分が含まれているかを解析する解析処理を含んでいる。
【0110】
具体的には、例えば、所定の解析処理は、呼吸音信号を、正常音に相当する信号成分と、正常音とは異なる異常音に相当する信号成分とに分離する解析処理を含んでいてもよい。言い換えれば、例えば、所定の解析処理は、呼吸音信号から、正常音に相当する信号成分及び異常音に相当する信号成分のうちの少なくとも一つを抽出する解析処理を含んでいてもよい。
【0111】
或いは、例えば、所定の解析処理は、呼吸音信号を、互いに区別可能な複数種類の正常音に相当する複数種類の信号成分に分離する解析処理を含んでいてもよい。言い換えれば、例えば、所定の解析処理は、呼吸音信号から、互いに区別可能な複数種類の正常音に相当する複数種類の信号成分のうちの少なくとも一つを抽出する解析処理を含んでいてもよい。
【0112】
或いは、例えば、所定の解析処理は、呼吸音信号を、互いに区別可能な複数種類の異常音に相当する複数種類の信号成分に分離する解析処理を含んでいてもよい。言い換えれば、例えば、所定の解析処理は、呼吸音信号から、互いに区別可能な複数種類の異常音に相当する複数種類の信号成分のうちの少なくとも一つを抽出する解析処理を含んでいてもよい。
【0113】
信号解析部103は、解析処理の結果(例えば、複数種類の信号成分そのものを特定可能な情報等)を、表示データ生成部104に対して出力する。
【0114】
尚、
図1は、信号処理装置10が信号解析部103を備える例を示している。しかしながら、信号処理装置10は、信号解析部103を備えていなくともよい。この場合、信号処理装置10は、信号処理装置10の外部に配置されている信号解析部103から、有線若しくは無線の通信回線又は有線の信号線を介して、信号処理装置10の外部に位置する信号解析部103が実行した解析処理の結果を取得することが好ましい。
【0115】
表示データ生成部104は、信号解析部103が実行した解析処理及び周期判定部113が実行した周期判定処理の結果に基づいて、呼吸音信号を構成する複数種類の信号成分の夫々の特性(例えば、信号強度に相当する振幅レベル等)を表示部105に表示するための表示データ(例えば、画像信号)を生成する。言い換えれば、表示データ生成部104は、呼吸音信号を構成する複数種類の信号成分の夫々の特性を視覚的に特定することが可能な何らかの表示対象物を表示部105に表示するための表示データを生成する。尚、表示対象物は、呼吸音信号の特性を視覚的に特定することができる限りは、どのような表示対象物であってもよい。例えば、表示対象物は、呼吸音信号の特性を視覚的に特定するテキスト(例えば、文字や数値等)を含む表示対象物であってもよい。或いは、例えば、表示対象物は、呼吸音信号の特性を視覚的に特定する図画(例えば、グラフやチャート等)を含む表示対象物であってもよい。
【0116】
本実施例では、表示データ生成部104は、時間的に連続するn(但し、nは1以上の整数)個の周期分の信号成分の特性を表示するための表示データを生成してもよい。特に、表示データ生成部104は、時間的に連続するn個の周期分の信号成分の特性の表示サイズ(具体的には、時間軸に対応する方向に沿った表示サイズであり、以下同じ)が固定サイズとなるように表示するための表示データを生成することが好ましい。つまり、表示データ生成部104は、時間的に連続するn個の周期分の信号成分の特性の表示サイズが、時間的に連続するn個の周期の時間長に関わらずに固定サイズとなるように表示データを生成することが好ましい。
【0117】
更に、本実施例では、表示データ生成部104は、時間的に連続するm(但し、mは1以上の整数)個の細分化期間分の信号成分の特性を表示するための表示データを生成してもよい。特に、表示データ生成部104は、時間的に連続するm個の細分化期間分の信号成分の特性の表示サイズ(具体的には、時間軸に対応する方向に沿った表示サイズであり、以下同じ)が固定サイズとなるように表示データを生成することが好ましい。つまり、表示データ生成部104は、時間的に連続するm個の細分化期間分の信号成分の特性の表示サイズが、時間的に連続するm個の細分化期間の時間長に関わらずに固定サイズとなるように表示データを生成することが好ましい。
【0118】
加えて、表示データ生成部104は、生成した表示データを、表示部105に対して出力する。
【0119】
尚、周期判定部113、信号解析部103及び表示データ生成部104は、夫々、CPU(Central Processing Unit)上で論理的に実現される処理ブロックである。但し、周期判定部113、信号解析部103及び表示データ生成部104は、夫々、半導体チップ等によって物理的に実現される処理回路であってもよい。
【0120】
表示部105は、表示データ生成部104が生成した表示データに基づく表示処理を行うディスプレイ装置である。その結果、表示部105は、呼吸音信号を構成する複数種類の信号成分の夫々の特性を、当該表示部105の表示画面上に表示する。
【0121】
尚、
図1は、信号処理装置10が表示部105を備える例を示している。しかしながら、信号処理装置10は、表示部105を備えていなくともよい。この場合、信号処理装置10は、信号処理装置10の外部に位置する表示部105に対して、有線若しくは無線の通信回線又は有線の信号線を介して、表示データ生成部104が生成した表示データを転送することが好ましい。
【0122】
(2)本実施例の信号処理装置10の動作
続いて、
図2から
図11を参照しながら、本実施例の信号処理装置10の動作について説明する。
図2は、本実施例の信号処理装置10の動作の流れを示すフローチャートである。
図3は、信号取得部101の生体に対する装着態様の一例を示す模式図及び呼吸音信号の波形を時間軸上で示すグラフである。
図4は、信号記憶部102が呼吸音信号を記憶する動作の一例を示す模式図である。
図5は、呼吸音の種類を示す分類チャートである。
図6は、5種類の呼吸音(肺胞呼吸音、低音性連続性ラ音(類鼾音)、高音性連続性ラ音(笛声音)、細かい断続性ラ音(捻髪音)及び粗い断続性ラ音(水泡音))に相当する5種類の信号成分の波形を時間軸上で示すグラフである。
図7は、周期判定処理の第1の態様を呼吸音信号の波形と共に示すグラフである。
図8は、周期判定処理の第2の態様を呼吸音信号の波形と共に示すグラフである。
図9は、表示データ生成部104が生成する表示データによって実現される信号成分(呼吸音信号)の表示態様の一例を示す平面図である。
図10は、1周期分の肺胞呼吸音成分の表示サイズ(具体的には、時間軸に沿った表示サイズ)を固定サイズにするための変換処理の一例を示す模式図である。
図11は、1周期分の信号成分の振幅レベルの表示サイズが固定サイズとならない(つまり、1周期分の信号成分の振幅レベルの表示サイズが、1周期の長さに応じて変動する)表示態様の一例を示す平面図である。
【0123】
図2に示すように、まず、信号取得部101は、呼吸音信号を取得する(ステップS101)。例えば、
図3(a)に示すように、信号取得部101は、生体の体表面(
図3(a)に示す例では、左胸付近の体表面)に取り付けられてもよい。このとき、信号取得部101の装着位置は、固定されていてもよい。或いは、医療従事者が聴診する際に聴診器をあてる位置を適宜変更していることを考慮すれば、信号取得部101の装着位置は、呼吸音信号の取得の途中で適宜変更されてもよい。その結果、信号取得部101は、呼吸音信号を取得する。このとき、信号取得部101は、所定のサンプリング周波数に応じて周期的に呼吸音信号を取得してもよい。つまり、信号取得部101は、呼吸音信号のサンプル値を周期的に取得してもよい。但し、信号取得部101は、非周期的に又は連続的に呼吸音信号を取得してもよい。その結果、信号取得部101は、
図3(b)に示す時間軸上の波形として特定される呼吸音信号を取得することができる。
【0124】
尚、
図3(b)に示すように、生体の呼吸が吸気(つまり、肺への空気の取り込み)と呼気(つまり、肺からの空気の吐き出し)との繰り返しであることを考慮すれば、呼吸音信号は、周期性を有する信号であると言える。呼吸音信号の1周期は、吸気期間(つまり、吸気が行われる期間)と当該吸気期間に続く呼気期間(つまり、呼気が行われる期間)とを合算した期間となる。尚、呼吸音信号の周期は、時間の経過と共に変動してもよいことは言うまでもない。
【0125】
信号取得部101による呼吸音信号の取得と並行して、信号記憶部102は、信号取得部101が取得した呼吸音信号を一時的に記憶する(ステップS102)。このとき、信号記憶部102は、後述する信号解析部103が実行する解析処理に必要なサイズ及び周期判定部113が実行する周期判定処理に必要なサイズのうちの大きいほうのサイズの呼吸音信号を一時的に記憶することが好ましい。本実施例では、信号解析部103が実行する解析処理に必要な呼吸音信号のサイズは、「1秒」であるものとする。一方で、本実施例では、周期判定部113が実行する周期判定処理に必要なサイズは、20秒から25秒(言い換えれば、5周期分の呼吸音信号のサイズであり、1周期の長さが概ね4秒から5秒となる呼吸音信号について言えば(4秒から5秒)×5周期=20秒から25秒)であるものとする。従って、この場合、信号記憶部102は、少なくとも最新の(言い換えれば、直近)20秒分の呼吸音信号を一時的に記憶することが好ましい。このような直近20秒分の呼吸音信号を一時的に記憶するために、信号記憶部102は、リングバッファを含んでいることが好ましい。但し、信号解析部103が実行する解析処理に必要な呼吸音信号のサイズは、1秒以外の任意の時間であってもよい。同様に、信号解析部103が実行する周期判定処理に必要な呼吸音信号のサイズは、20秒から25秒以外の任意の時間であってもよい。
【0126】
尚、呼吸音信号に代えて心音信号が用いられる場合には、周期判定部113が実行する周期判定処理に必要なサイズは、例えば、4秒から5秒(言い換えれば、5周期分の心音信号のサイズであり、1周期の長さが概ね0.8秒から1秒となる心音信号について言えば、0.8秒から1秒×5周期=4秒から5秒)であるものとする。但し、信号解析部103が実行する周期判定処理に必要な呼吸音信号のサイズは、4秒から5秒以外の任意の時間であってもよい。
【0127】
例えば信号取得部101が44100Hzのサンプリング周波数に応じて呼吸音信号を取得している場合には、信号記憶部102は、44100個×20秒=882000個の呼吸音信号のサンプル値を一時的に記憶する。より具体的には、
図4に示すように、信号記憶部102は、最新の時刻(t)に取得された呼吸音信号のサンプル値S(t)と、時刻(t−1)に取得された呼吸音信号のサンプル値S(t−1)と、時刻(t−2)に取得された呼吸音信号のサンプル値S(t−2)と、・・・、時刻(t−881999)に取得された呼吸音信号のサンプル値S(t−881999)とを一時的に記憶する。
【0128】
信号取得部101による呼吸音信号の取得と並行して、信号解析部103は、信号記憶部102が記憶している呼吸音信号に対して所定の解析処理を実行する(ステップS103a)。つまり、信号解析部103は、信号記憶部102が記憶している呼吸音信号に対して、呼吸音信号を複数種類の信号成分に分離する解析処理を実行する。但し、信号解析部103は、呼吸音信号を複数種類の信号成分に分離する解析処理を実行しなくともよい。
【0129】
ここで、
図5を参照しながら、呼吸音の種類について説明する。
図5に示すように、広義の呼吸音(つまり、肺音)は、狭義の呼吸音と、異常音の一例である副雑音とに分類される。狭義の呼吸音は、正常音の一例である正常な呼吸音と、異常音の一例である異常な呼吸音とに分類される。正常な呼吸音は、肺胞呼吸音と、気管支呼吸音と、気管支肺胞呼吸音と、気管呼吸音とに分類される。異常な呼吸音は、減弱・消失に起因した呼吸音と、増強に起因した呼吸音と、呼気延長に起因した呼吸音と、気管支呼吸音化に起因した呼吸音と、気管狭窄音とに分類される。副雑音は、ラ音と、その他の音とに分類される。ラ音は、連続性ラ音と、断続性ラ音とに分類される。連続性ラ音は、低音性連続性ラ音(類鼾音)と、高音性連続性ラ音(笛声音)と、スクウォーク(吸気性の連続性ラ音)とに分類される。断続性ラ音は、細かい断続性ラ音(捻髪音)と、粗い断続性ラ音(水泡音)とに分類される。その他の音は、胸膜摩擦音と、肺血管性雑音とに分類される。
【0130】
本実施例では、信号解析部103は、呼吸音信号を、正常音の一例である肺胞呼吸音に相当する信号成分(以下、“肺胞呼吸音成分”と称する)と、異常音の一例である低音性連続性ラ音(類鼾音)に相当する信号成分(以下、“類鼾音成分”と称する)と、異常音の一例である高音性連続性ラ音(笛声音)に相当する信号成分(以下、“笛声音成分”と称する)と、異常音の一例である細かい断続性ラ音(捻髪音)に相当する信号成分(以下、“捻髪音成分”と称する)と、異常音の一例である粗い断続性ラ音(水泡音)に相当する信号成分(以下、“水泡音成分”と称する)とに分離する解析処理を行う。言い換えれば、信号解析部103は、呼吸音信号から、肺胞呼吸音成分、類鼾音成分、笛声音成分、捻髪音成分及び水泡音成分のうちの少なくとも一つを抽出する解析処理を行う。尚、
図6の1段目のグラフは、肺胞呼吸音成分の一例を示している。
図6の2段目のグラフは、類鼾音成分の一例を示している。
図6の3段目のグラフは、笛声音成分の一例を示している。
図6の4段目のグラフは、捻髪音成分の一例を示している。
図6の5段目のグラフは、水泡音成分の一例を示している。
【0131】
信号解析部103は、以下の観点から、呼吸音信号を、肺胞呼吸音成分と、類鼾音成分と、笛声音成分と、捻髪音成分と、水泡音成分とに分離してもよい。
【0132】
具体的には、肺胞呼吸音成分及び断続性ラ音に相当する信号成分(つまり、捻髪音成分及び水泡音成分)の周波数スペクトル形状が相対的に広帯域であり且つ相対的に滑らかである一方で、連続性ラ音に相当する信号成分(つまり、類鼾音成分及び笛声音成分)の周波数スペクトル形状が相対的に狭帯域であり且つ相対的に急峻であるという違いがある。従って、信号解析部103は、このような周波数スペクトル形状の違いに着目することで、呼吸音信号を、連続性ラ音に相当する信号成分と、連続性ラ音に相当する信号成分とは異なる信号成分(つまり、肺胞呼吸音成分及び断続性ラ音に相当する信号成分)とに分離してもよい。
【0133】
また、類鼾音成分の周波数が相対的に低い一方で、笛声音成分の周波数が相対的に高いという違いがある。従って、信号解析部103は、このような周波数の違いに着目することで、連続性ラ音に相当する信号成分を、類鼾音成分と笛声音成分とに分離してもよい。
【0134】
また、肺胞呼吸音成分が時間的に継続する(つまり、連続する)信号成分である一方で、断続性ラ音に相当する信号成分が時間的に断続するパルス状の信号成分であるという違いがある。従って、信号解析部103は、このような時間軸上での信号成分の分布の違いに着目することで、連続性ラ音に相当する信号成分とは異なる信号成分を、肺胞呼吸音成分と断続性ラ音に相当する信号成分とに分離してもよい。
【0135】
また、水泡音成分の周波数が相対的に低い一方で、捻髪音成分の周波数が相対的に高いという違いがある。従って、信号解析部103は、このような周波数の違いに着目することで、断続性ラ音に相当する信号成分を、水泡音成分と捻髪音成分とに分離してもよい。
【0136】
尚、呼吸音信号を5種類の信号成分(つまり、肺胞呼吸音成分、類鼾音成分、笛声音成分、捻髪音成分及び水泡音成分)に分離する解析処理に関する上述の方法はあくまで一例である。従って、信号解析部103は、その他の方法で呼吸音信号を5種類の信号成分に分離する解析処理を実行してもよい。尚、呼吸音信号を複数種類の信号成分に分離する(或いは、呼吸音信号から特定種類の信号成分を抽出する)方法は、例えば、特表2004−531309号公報や、特開2005−66045号公報や、特表2001−505085号公報や、特表2007−508899号公報や、「肺音信号のスパース表現と断続音分離への応用、酒井・里元・喜安・宮原、長崎大学国学研究報告第41巻第76号」等に開示されている。従って、信号解析部103は、これらの文献に開示された方法を用いて、呼吸音信号を複数種類の信号成分に分離してもよい。
【0137】
また、信号解析部103は、呼吸音信号を上述した5種類の信号成分に分離する解析処理に加えて又は代えて、呼吸音信号を任意の複数種類の信号成分に分離する(或いは、呼吸音信号から任意の一以上の信号成分を抽出する)解析処理を実行してもよい。
【0138】
尚、信号解析部103による解析処理の対象となっている呼吸音信号は、典型的には、肺胞呼吸音成分を常に含んでいる可能性が高い。なぜならば、生体が呼吸をしている以上、その呼吸音には、異常音が含まれているか否かに関わらず、正常音の一例である肺胞呼吸音が含まれているはずであるからである。一方で、信号解析部103による解析処理の対象となっている呼吸音信号は、5種類の信号成分のうちの全部を含んでいることもある。或いは、信号解析部103による解析処理の対象となっている呼吸音信号は、5種類の信号成分のうちの一部のみを含んでいることもある。或いは、信号解析部103による解析処理の対象となっている呼吸音信号は、5種類の信号成分のうちの全部を含んでいないこともある。いずれの場合であっても、信号解析部103は、呼吸音信号を上述した5種類の信号成分に分離する解析処理を実行することで、5種類の信号成分の夫々を取得することができる。例えば、信号解析部103は、解析処理を実行することで、呼吸音信号に含まれている信号成分を取得することができると共に、呼吸音信号に含まれていない信号成分を振幅レベルがゼロとなる信号成分として取得することができる。
【0139】
信号解析部103による呼吸音信号の解析処理と並行して、周期判定部113は、信号記憶部102が記憶している呼吸音信号に対して所定の周期判定処理を実行する(ステップS113)。つまり、信号解析部103は、信号記憶部102が記憶している呼吸音信号に対して、呼吸音信号の周期及び細分化期間(つまり、呼気期間及び吸気期間)のうちの少なくとも一方を判定する周期判定処理を実行する。
【0140】
周期判定部113は、以下の観点から、呼吸音信号の周期並びに細分化期間(つまり、呼気期間及び吸気期間)のうちの少なくとも一方を判定してもよい。
【0141】
具体的には、
図7に示すように、周期判定部113は、呼吸音信号の振幅レベルの絶対値が所定閾値A以下となる無音部が周期及び細分化期間のうちの少なくとも一方の境界であるとみなすことで、呼吸音信号の周期及び細分化期間(つまり、呼気期間及び吸気期間)のうちの少なくとも一方を判定してもよい。尚、
図7に示す例では、周期判定部113は、無音部が細分化期間の境界であるとみなすことで、呼吸音信号の細分化期間(つまり、呼気期間及び吸気期間)を判定している。但し、連続する2つの細分化期間が1つの周期に相当することを考慮すれば、
図7に示す例では、周期判定部113は、連続する2つの無音部のうちのいずれか一方の無音部が周期の境界であるとみなすことで、呼吸音信号の周期を判定しているとも言える。
【0142】
尚、無音部が周期又は細分化期間の境界であるとみなす場合は、当該境界となる無音部の間の時間間隔は、一定の期間以上であることが好ましい。つまり、周期判定部113は、間の時間間隔が一定の期間未満となる2つの無音部のうちのいずれか一方の無音部は、周期又は細分化期間の境界ではないものとみなすことが好ましい。その結果、異常に小さな瞬時値が呼吸音信号にまぎれこんでしまう場合であっても、周期判定部113は、無音部に基づいて周期及び細分化期間のうちの少なくとも一方を好適に判定することができる。
【0143】
或いは、
図8(a)及び
図8(b)に示すように、周期判定部113は、呼吸音信号の波形の類似度に基づいて、呼吸音信号の周期及び細分化期間(つまり、呼気期間及び吸気期間)のうちの少なくとも一方を判定してもよい。具体的には、周期判定部113は、類似度が高い(例えば、相対的に高い又は所定度数よりも高い)波形が繰り返されている場合には、当該各波形が現れる期間が周期及び細分化期間のうちの少なくとも一方であると判定してもよい。例えば、
図8(a)に示す例では、周期判定部113は、波形Aと波形A’と波形A’’とが類似している(つまり、類似度が高い)と判定すると共に、当該判定結果に基づいて、波形A、波形A’及び波形A’’の夫々が現れる期間が1つの吸気期間であると判定している。同様に、
図8(a)に示す例では、周期判定部113は、波形Bと波形B’とが類似している(つまり、類似度が高い)と判定すると共に、当該判定結果に基づいて、波形B及び波形B’の夫々が現れる期間が1つの呼気期間であると判定している。或いは、
図8(b)に示す例では、周期判定部113は、波形aと波形a’と波形a’’とが類似している(つまり、類似度が高い)と判定すると共に、当該判定結果に基づいて、波形a、波形a’及び波形a’’の夫々が現れる期間が1つの周期であると判定している。
【0144】
その後、表示データ生成部104は、信号解析部103が実行する解析処理の結果及び周期判定部113が実行する周期判定処理の結果に基づいて、呼吸音信号を構成する複数種類の信号成分の夫々の特性を表示部105に表示するための表示データを生成する(ステップS104)。尚、表示データは、表示部105が表示する表示対象物を示すデータである。このような表示データは、例えば、呼吸音信号を構成する各信号成分の振幅レベルを視覚的に特定するテキスト(例えば、文字や数値等)及び図画(例えば、グラフやチャート等)のうちの少なくとも一方を示す画像信号(或いは、画像信号とは異なる形式を有する任意の信号)に相当するデータであってもよい。
【0145】
このとき、上述したように、表示データ生成部104は、時間的に連続するn個の周期分の信号成分の特性の表示サイズが固定サイズとなるように表示データを生成してもよい。或いは、表示データ生成部104は、時間的に連続するm個の細分化期間分の信号成分の特性の表示サイズが固定サイズとなるように表示データを生成してもよい。
【0146】
尚、以下の説明では、表示データ生成部104は、1周期分の信号成分の特性の表示サイズが固定サイズとなるように表示データを生成する例を用いて説明を進める。つまり、表示データ生成部104は、(i)1周期分の肺胞呼吸音成分の特性の表示サイズが、呼吸音信号の周期の変動に関わらずに固定された第1サイズとなり、(ii)1周期分の類鼾音成分の特性の表示サイズが、呼吸音信号の周期の変動に関わらずに固定された第2サイズ(但し、第2サイズは、第1サイズと同一であってもよいし、異なっていてもよい)となり、(iii)1周期分の笛声音成分の特性の表示サイズが、呼吸音信号の周期の変動に関わらずに固定された第3サイズ(但し、第3サイズは、第1サイズ及び第2サイズのうちの少なくとも一方と同一であってもよいし、異なっていてもよい)となり、(iv)1周期分の捻髪音成分の特性の表示サイズが、呼吸音信号の周期の変動に関わらずに固定された第4サイズ(但し、第4サイズは、第1サイズから第3サイズのうちの少なくとも一つと同一であってもよいし、異なっていてもよい)となり、(v)1周期分の水泡音成分の特性の表示サイズが、呼吸音信号の周期の変動に関わらずに固定された第5サイズ(但し、第5サイズは、第1サイズから第4サイズのうちの少なくとも一つと同一であってもよいし、異なっていてもよい)となるように、表示データを生成するものとする。
【0147】
但し、表示データ生成部104は、時間的に連続する2つ以上の周期分の信号成分の特性の表示サイズが固定サイズとなるように表示データを生成してもよい。或いは、表示データ生成部104は、1つの細分化期間分の信号成分の特性の表示サイズが固定サイズとなるように表示データを生成してもよい。或いは、表示データ生成部104は、時間的に連続する2つ以上の細分化期間分の信号成分の特性の表示サイズが固定サイズとなるように表示データを生成してもよい。
【0148】
また、以下の説明では、表示部105に表示される信号成分の特性が振幅レベル(つまり、信号強度を示す特性)である例を用いて説明を進める。但し、信号成分の特性が振幅レベルとは異なる特性(言い換えれば、信号成分の状態を特定することが可能な指標(変量))であってもよいことは言うまでもない。
【0149】
また、以下の説明では、表示データ生成部104は、呼吸音信号に含まれる5種類の信号成分(つまり、肺胞呼吸音成分、類鼾音成分、笛声音成分、捻髪音成分及び水泡音成分)の夫々の特性を表示するための表示データを生成する例を用いて説明を進める。但し、表示データ生成部104は、呼吸音信号そのものの特性を表示するための表示データを生成してもよい。つまり、表示データ生成部104は、1周期分(或いは、時間的に連続する2つ以上の周期分又は1つの若しくは時間的に連続する2つ以上の細分化期間分)の呼吸音信号の特性の表示サイズが固定サイズとなるように表示データを生成してもよい。表示データ生成部104が呼吸音信号そのものの特性を表示するための表示データを生成する場合には、信号解析部103は、所定の解析処理を実行しなくともよい。
【0150】
ここで、
図9を参照しながら、表示データ生成部104が生成する表示データによって実現される表示態様(つまり、1周期分の信号成分の振幅レベルの表示サイズが固定サイズとなる表示態様)の一例について説明する。
【0151】
図9に示すように、本実施例では、円周方向が時間軸に対応している円グラフを用いて、1周期分の信号成分の振幅レベルが表示されてもよい。円グラフは、夫々が同一形状となると共に円周方向に沿って並ぶ複数の円弧状の単位表示部分D(k(但し、kは、1以上であって且つ単位表示部分の数を示す変数N以下となる任意の整数))を含んでいてもよい。複数の円弧状の単位表示部分D(k)の表示態様(例えば、コントラストや、輝度や、明度や、色相や、彩度等)は、1周期分の信号成分の振幅レベルに応じて変わることが好ましい。
【0152】
ここで、1つの周期が1つの呼気期間及び1つの呼気期間を含んでいることを考慮すれば、複数の円弧状の単位表示部分D(k)は以下の観点から区別されてもよい。具体的には、複数の円弧状の単位表示部分D(k)のうち下半分の単位表示部分(つまり、単位表示部分D(1)から単位表示部分D(N/2))が、1周期のうちの吸気期間における信号成分の振幅レベルを表示するための単位表示部分D(k)として用いられてもよい。一方で、複数の円弧状の単位表示部分D(k)のうち下半分の単位表示部分(つまり、単位表示部分D((N/2)+1)から単位表示部分D(N))が、1周期のうちの呼気期間における信号成分の振幅レベルを表示するための単位表示部分D(k)として用いられてもよい。
【0153】
この場合、1周期分の信号成分の振幅レベルの表示は、単位表示部分D(1)から単位表示部分D(N)に向かって順次行われてもよい。つまり、1周期分の信号成分の振幅レベルは、単位表示部分D(1)を表示開始位置とし且つ単位表示部分D(N)を表示終了位置とした上で、時間の経過に合わせて時計周りに順次表示されるように表示されてもよい。
【0154】
1周期分の信号成分の振幅レベルの表示が終了した後には、次の1周期分の信号成分の振幅レベルの表示が新たに開始されてもよい。この場合、前の1周期分の信号成分の振幅レベルの表示が一旦全て消去された後に(例えば、表示部105の表示画面が黒レベルにリセットされた後に)、次の1周期分の信号成分の振幅レベルの表示が新たに開始されてもよい。或いは、前の1周期分の信号成分の振幅レベルの表示が次の1周期分の信号成分の振幅レベルの表示によって徐々に上書きされていくように、次の1周期分の信号成分の振幅レベルの表示が新たに開始されてもよい。
【0155】
本実施例では、上述したように、1周期分の信号成分の振幅レベルの表示サイズが固定サイズとなる。従って、
図9に示すように、第1の時間長(例えば、4秒)を有する1周期分の信号成分の振幅レベルの表示サイズ(
図9に示す例で言えば、円グラフの円周の長さ)は、第1の時間長とは異なる第2の時間長(例えば、5秒)を有する1周期分の信号成分の振幅レベルの表示サイズと同一となる。つまり、本実施例では、呼吸音信号の周期が変動した場合であっても、円グラフの円周の長さが変わることはない。尚、円グラフの円周の長さが単位表示部分D(k)の数に実質的に依存することを考慮すれば、本実施例では、呼吸音信号の周期が変動した場合であっても、円グラフを構成する単位表示部分D(k)のサイズ及び数が変わることはないとも言える。
【0156】
このような表示態様を実現する表示データを生成するために、表示データ生成部104は、呼吸音信号を構成する各信号成分を時間軸に沿って圧縮する(或いは、伸長する)変換処理を行ってもよい。
【0157】
具体的には、
図10に示すように、1周期分の信号成分(
図10に示す例では、肺胞呼吸音成分)のサンプル値Saの数がMであるものとする。つまり、1周期分の肺胞呼吸音成分は、サンプル値Sa(1)からサンプル値Sa(M)から構成されているものとする。この場合、表示データ生成部104は、M個のサンプル値Saを、単位表示領域部分D(k)の数と同じN個のサンプル値Sa’に変換する。例えば、表示データ生成部104は、M個のサンプル値SaをM/N個のサンプル値Saずつに分類すると共に、当該M/N個のサンプル値Saの平均値Sa’を算出することで、M個のサンプル値SaをN個のサンプル値Sa’に変換してもよい。より具体的には、表示データ生成部104は、下記の数式1を用いて、M個のサンプル値SaをN個のサンプル値Sa’に変換してもよい。その結果、変換後のN個のサンプル値Sa’(k)が示す振幅レベルがN個の単位表示領域D(k)に表示される。
【0158】
【数1】
【0159】
尚、肺胞呼吸音成分に限らず、他の信号成分についても同様の変換処理が行われてもよいことは言うまでもない。
【0160】
また、上述した変換処理はあくまで一例である。従って、表示データ生成部104は、M個のサンプル値Saを単位表示領域部分D(k)の数と同じN個のサンプル値Sa’に変換する任意の変換処理を行ってもよい。或いは、表示データ生成部104は、M個のサンプル値Saが示す振幅レベルをN個の単位表示領域部分D(N)に表示することを実現することが可能な任意の変換処理を行ってもよい。
【0161】
その後、表示データを生成する。表示データ生成部104は、生成した表示データを適宜表示部105に対して出力する。
【0162】
表示データ生成部104による表示データの生成と並行して、表示部105は、表示データ生成部104が生成した表示データに基づく表示処理を行う(ステップS105)。その結果、表示部105は、5種類の信号成分の夫々の振幅レベルを、
図9に示す円グラフ等を用いて表示する。つまり、表示部105は、5種類の信号成分の夫々の振幅レベルを、5種類の信号成分の夫々の表示サイズ(つまり、時間軸に対応する方向に沿った表示サイズ)が固定サイズとなるように表示する。
【0163】
以上説明したステップS101からステップS105までの動作が、信号処理装置(10)の動作が終了するまで繰り返し行われる(ステップS106)。このとき、ステップS101からステップS105までの動作が繰り返されるに当たって、ステップS101からステップS105までの各動作は、周期的若しくは非周期的に又は連続的に行われることが好ましい。つまり、ステップS101からステップS105までの各動作は、リアルタイムに又は動的に行われることが好ましい。
【0164】
ここで、本実施例の信号処理装置10の技術的効果を説明するに当たって、比較例の信号処理装置と対比して説明する。尚、比較例の信号処理装置は、1周期分の信号成分の振幅レベルを、1周期分の信号成分の振幅レベルの表示サイズが1周期の時間長に応じて変動する表示態様で表示するための表示データを生成する。比較例の信号処理装置が生成した表示データに基づく表示処理を行う表示部は、
図11(a)及び
図11(b)に示すように、1周期分の信号成分の振幅レベルを、1周期分の信号成分の振幅レベルの表示サイズが1周期の時間長に応じて変動する表示態様で表示することになる。その結果、比較例では、呼吸音信号の周期が変動すると、1周期分の信号成分の振幅レベルの表示サイズは、時間軸に対応する方向(
図11に示す例では、円周方向)に沿って変動することになる。具体的には、
図11(a)に示すように、第1の時間長(例えば、4.0秒)に相当する1周期分の信号成分の振幅レベルの表示サイズは、「A」となる。その一方で、第1の時間長よりも長い第2の時間長(例えば、4.5秒)に相当する1周期分の信号成分の振幅レベルの表示サイズは、「A」よりも短い「B」となってしまう。このように1周期分の信号成分の振幅レベルの表示サイズが変動してしまうと、1周期分の信号成分のうちの特徴的な波形(
図11に示す例では、波形#1から波形#3))が現れる表示位置(
図11に示す例では、回転位相位置)が変動してしまうおそれがある。つまり、1周期分の信号成分のうちの特徴的な波形が本来同一の表示位置に表示されれば当該特徴的な波形を認識し易い(例えば、比較し易い)と想定されるところ、比較例では、あるタイミングでは
図11(a)に示すように特徴的な波形が第1の表示位置に表示され、続く別のタイミングでは
図11(b)に示すように特徴的な波形が第1の表示位置とは異なる第2の表示位置に表示されてしまう。
【0165】
しかるに、本実施例では、呼吸音信号の周期が変動したとしても、
図9に示すように、1周期分の信号成分の振幅レベルの表示サイズが変動することはない。つまり、呼吸音信号の周期が変動したとしても、1周期分の信号成分の振幅レベルの表示サイズは、時間軸に対応する方向(
図9に示す例では、円周方向)に沿って変動することはない。具体的には、第1の時間長(例えば、4秒)に相当する1周期分の信号成分の振幅レベルの表示サイズは、第1の時間長とは異なる第2の時間長(例えば、5秒)に相当する1周期分の信号成分の振幅レベルの表示サイズと同一になる。このように1周期分の信号成分の振幅レベル表示サイズが固定サイズとなるがゆえに、
図9に示すように、1周期分の信号成分のうちの特徴的な波形が現れる表示位置が、呼吸音信号の周期の変動に起因して変動してしまうことは殆ど又は全くない。つまり、本実施例では、1周期分の信号成分のうちの特徴的な波形が同一の又は概ね同一の表示位置に表示される(或いは、表示されやすくなる)がゆえに、表示部105を観察する観察者(例えば、医師等の医療従事者)は、信号成分の振幅レベルを好適に認識することができる。
【0166】
尚、
図9に示す呼吸音信号を構成する信号成分の振幅レベルの表示態様はあくまで一例である。従って、表示データ生成部104は、
図9に示す円グラフとは異なる表示対象物を用いて呼吸音信号を構成する信号成分の振幅レベルを表示するための表示データを生成してもよい。以下、
図12から
図14を参照しながら、
図9に示す円グラフとは異なる表示対象物を用いて呼吸音信号を構成する信号成分の振幅レベルを表示する表示態様の一例について説明する。
図12から
図14は、夫々、
図9に示す円グラフとは異なる表示対象物を用いて呼吸音信号を構成する信号成分の振幅レベルを表示する表示態様の一例を示す平面図である。
【0167】
例えば、
図12に示すように、円周方向が時間軸に対応しており、且つ、信号成分の振幅レベルが大きくなればなるほど長くなるバーが放射方向に沿って延びる円グラフを用いて、1周期分の信号成分の振幅レベルが表示されてもよい。
【0168】
或いは、例えば、
図13に示すように、横軸方向が時間軸に対応している棒グラフを用いて、1周期分の信号成分の振幅レベルが表示されてもよい。棒グラフは、夫々が同一形状となると共に横軸方向に沿って並ぶ複数の矩形状の単位表示部分D(k(但し、kは、1以上であって且つ単位表示部分の数を示す変数N以下となる任意の整数))を含んでいてもよい。複数の矩形状の単位表示部分D(k)の表示態様(例えば、コントラストや、輝度や、明度や、色相や、彩度等)は、1周期分の信号成分の振幅レベルに応じて変わることが好ましい。
【0169】
或いは、例えば、
図14に示すように、横軸方向が時間軸に対応しており、且つ、信号成分の振幅レベルが大きくなればなるほど長くなるバーが縦軸方向に沿って延びる棒グラフを用いて、1周期分の信号成分の振幅レベルが表示されてもよい。
【0170】
また、本発明は、請求の範囲及び明細書全体から読み取るこのできる発明の要旨又は思想に反しない範囲で適宜変更可能であり、そのような変更を伴う信号処理装置及び方法、並びにコンピュータプログラム及び記録媒体もまた本発明の技術思想に含まれる。