特開 2024-69553 推定システム、および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069553

(43)【公開日】2024-05-21

(54)【発明の名称】推定システム、および制御方法

(51)【国際特許分類】

   A61B 5/08 20060101AFI20240514BHJP

   A61B 10/00 20060101ALI20240514BHJP

   A61B 7/04 20060101ALI20240514BHJP

【ＦＩ】

A61B5/08

A61B10/00 L

A61B7/04 Y

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024042663

(22)【出願日】2024-03-18

(62)【分割の表示】P 2021567526の分割

【原出願日】2020-12-23

(31)【優先権主張番号】P 2019238533

(32)【優先日】2019-12-27

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】池田 豊

(57)【要約】

【課題】検査対象が発した音に基づいて、該音の分類を精度良く判定することを可能にする。
【解決手段】一実施形態に係る制御装置（１）は、ある音の分類情報を取得する分類情報取得部（１３）と、ある音の情報を含む音データを取得する音取得部（１１）と、定義データ（２５）を記憶する記憶部（２０）と、音データの複数の特徴量を抽出する抽出部（１２）と、音データの複数の特徴量と、分類情報とに基づいて、複数の特徴量と、音の分類との相関関係を機械学習した学習済モデルを構築するモデル構築部（１５）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ある音についての音の分類を示す情報を含む第１データを取得する第１データ取得部と、
前記ある音についての音の情報を含む第２データを取得する第２データ取得部と、
前記第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶する記憶部と、
前記定義データに基づいて前記第２データの複数の特徴量を抽出する抽出部と、
前記第２データの複数の特徴量と、前記第１データとに基づいて、前記複数の特徴量と、前記音の分類との相関関係を機械学習した学習済モデルを構築するモデル構築部と、を備える、制御装置。

【請求項2】

前記学習済モデルは、前記第２データの複数の特徴量を重み付け、統合、または取捨選択した後の複数のパラメータと、前記音の分類との相関関係を推定可能なモデルである、請求項１に記載の制御装置。

【請求項3】

前記学習済モデルの前記機械学習の結果を評価し、前記モデル構築部にフィードバックする評価部、をさらに備え、
前記モデル構築部は、前記評価部からのフィードバックに基づいて、前記学習済モデルを再学習させる、請求項１または２に記載の制御装置。

【請求項4】

前記定義データにおいて、前記特徴量は、前記第２データの時間的変化、前記第２データの周波数成分、および前記第２データのスペクトログラムの少なくともいずれかに基づいて定義される、請求項１～３のいずれかに記載の制御装置。

【請求項5】

前記音の分類は、呼吸音の医学的分類を含む、請求項１～４のいずれかに記載の制御装置。

【請求項6】

前記第１データは、前記音を発した対象の状態を示す情報を含み、
前記モデル構築部は、前記複数の特徴量と、前記第１データとに基づいて、前記複数の特徴量または前記音の分類の少なくとも一方と、前記音を発した対象の状態との相関関係をさらに機械学習した学習済モデルを構築する、請求項１～５のいずれかに記載の制御装置。

【請求項7】

検査対象の音の情報を含む第２データを取得する第２データ取得部と、
前記第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶する記憶部と、
前記定義データに基づいて前記第２データの複数の特徴量を抽出する抽出部と、
前記複数の特徴量と、前記音の分類との相関関係を機械学習した学習済モデルを用いて、前記第２データの複数の特徴量から、前記検査対象の音の分類を推定する推定部と、を備える、制御装置。

【請求項8】

前記推定部は、前記複数の特徴量から、前記音の分類の合致度を推定する、請求項７に記載の制御装置。

【請求項9】

前記学習済モデルは、前記複数の特徴量または前記音の分類の少なくとも一方と、前記音を発した対象の状態との相関関係をさらに機械学習した学習済モデルであり、
前記推定部は、前記学習済モデルを用いて、前記第２データの複数の特徴量から、前記検査対象の状態を推定する、請求項７または８に記載の制御装置。

【請求項10】

前記音の分類は、呼吸音の医学的分類であって、
前記対象の状態を示す情報は、前記医学的分類に対応する症状および病名の少なくとも一方を示す情報である、請求項９に記載の制御装置。

【請求項11】

請求項１～１０のいずれかに記載の制御装置と、検出した前記第２データを前記制御装置に送信する検出装置と、を含む制御システム。

【請求項12】

ある音についての音の分類を示す情報を含む第１データを取得するステップと、
前記ある音についての音の情報を含む第２データを取得するステップと、
前記第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶するステップと、
前記定義データに基づいて前記第２データの複数の特徴量を抽出するステップと、
前記第２データの複数の特徴量と、前記第１データとに基づいて、前記複数の特徴量と、前記音の分類との相関関係を機械学習した学習済モデルを構築するステップと、を含む、制御方法。

【請求項13】

前記学習済モデルは、前記第２データの複数の特徴量を重み付け、統合、または取捨選択した後の複数のパラメータと、前記音の分類との相関関係を推定可能なモデルである、請求項１２に記載の制御方法。

【請求項14】

前記学習済モデルの前記機械学習の結果を評価し、前記構築するステップにフィードバックを行うステップと、
前記フィードバックに基づいて、前記学習済モデルの再学習を行うステップと、をさらに含む、請求項１２または１３に記載の制御方法。

【請求項15】

前記第１データは、前記音を発した対象の状態を示す情報を含み、
前記構築するステップでは、前記複数の特徴量と、前記第１データとに基づいて、前記複数の特徴量または前記音の分類の少なくとも一方と、前記音を発した対象の状態との相関関係をさらに機械学習した学習済モデルを構築する、請求項１２～１４のいずれかに記載の制御方法。

【請求項16】

検査対象の音の情報を含む第２データを取得するステップと、
前記第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶するステップと、
前記定義データに基づいて前記第２データの複数の特徴量を抽出するステップと、
前記複数の特徴量と、前記音の分類との相関関係を機械学習した学習済モデルを用いて、前記第２データの複数の特徴量から、前記検査対象の音の分類を推定するステップと、を含む、制御方法。

【請求項17】

前記学習済モデルは、前記複数の特徴量または前記音の分類の少なくとも一方と、前記音を発した対象の状態との相関関係をさらに機械学習した学習済モデルであり、
前記推定するステップでは、前記学習済モデルを用いて、前記第２データの複数の特徴量から、前記検査対象の状態を推定する、請求項１６に記載の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は制御装置、制御システム、および制御方法に関する。

【背景技術】

【0002】

従来、生体または物体の発する音から、その音がどのような特徴を有しているかを特定する技術が存在する。生体とは、例えば、人間または動物である。例えば、特許文献１には、聴診音をディジタル化表現して、該聴診音と疾病との関係性をマッピングする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】日本国公表特許公報「特表２００７－５０８８９９号」

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、生体または物体が発する音について、その音の特徴を見出して、その音を何らかの観点に基づき分類するための技術は種々存在する。そして、そのような技術では、音の分類をより精度良く判定することが求められている。

【課題を解決するための手段】

【0005】

一実施形態に係る制御装置は、ある音についての音の分類を示す情報を含む第１データを取得する第１データ取得部と、ある音についての音の情報を含む第２データを取得する第２データ取得部と、第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶する記憶部と、定義データに基づいて第２データの複数の特徴量を抽出する抽出部と、第２データの複数の特徴量と、第１データとに基づいて、複数の特徴量と、音の分類との相関関係を機械学習した学習済モデルを構築するモデル構築部と、を備える。

【0006】

一実施形態に係る制御装置は、検査対象の音の情報を含む第２データを取得する第２データ取得部と、第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶する記憶部と、定義データに基づいて第２データの複数の特徴量を抽出する抽出部と、複数の特徴量と、音の分類との相関関係を機械学習した学習済モデルを用いて、第２データの複数の特徴量から、検査対象の音の分類を推定する推定部と、を備える。

【0007】

一実施形態に係る制御システムは、制御装置と、検出した第２データを制御装置に送信する検出装置と、を含む。

【0008】

一実施形態に係る制御方法は、ある音についての音の分類を示す情報を含む第１データを取得するステップと、ある音についての音の情報を含む第２データを取得するステップと、第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶するステップと、定義データに基づいて第２データの複数の特徴量を抽出するステップと、第２データの複数の特徴量と、第１データとに基づいて、複数の特徴量と、音の分類との相関関係を機械学習した学習済モデルを構築するステップと、を含む。

【0009】

一実施形態に係る制御方法は、検査対象の音の情報を含む第２データを取得するステップと、第２データから複数の特徴量を抽出するための該特徴量の定義データを記憶するステップと、定義データに基づいて第２データの複数の特徴量を抽出するステップと、複数の特徴量と、音の分類との相関関係を機械学習した学習済モデルを用いて、第２データの複数の特徴量から、検査対象の音の分類を推定するステップと、を含む。

【発明の効果】

【0010】

本開示に係る発明の一態様によれば、検査対象が発した音に基づいて該音の分類を精度良く判定することが可能になる。

【図面の簡単な説明】

【0011】

【図1】実施形態１に係る制御システムの要部構成を示すブロック図である。

【図2】音データの時間波形からの特徴量の抽出過程を示す図である。

【図3】音データの周波数波形からの特徴量の抽出過程を示す図である。

【図4】音データのスペクトログラム波形からの特徴量の抽出過程を示す図である。

【図5】特徴量リストのデータ構造の一例を示す図である。

【図6】学習済モデルの入出力データと、学習済モデルの構成の概要を示す模式図である。

【図7】モデル構築処理の流れを示すフローチャートである。

【図8】実施形態２に係る制御システムの要部構成を示すブロック図である。

【図9】実施形態３に係る制御システムの要部構成を示すブロック図である。

【図10】推定処理の流れを示すフローチャートである。

【図11】実施形態４に係る制御システムの要部構成を示すブロック図である。

【発明を実施するための形態】

【0012】

従来の音を分類するための技術は、単に音を既知の分類に当てはめて分類しているだけであった。そして、そのような従来技術では、音を必ずしも明確に分類できるとは限らない。例えば、呼吸音を医学的観点から分類すると仮定する。この場合、呼吸音に含まれる雑音の中には、複数の特徴が混ざり合った雑音、および／または、既知の分類には合致しないが、実際には疾病が由来で発生している雑音などが含まれ得る。従来技術では、これらの雑音の分類を正確に判定することが困難であった。

【0013】

発明者らは、このような従来技術の問題点を見出した。本開示では、音の分類をより精度良く判定することが可能な制御装置、制御システム、および制御方法等について説明する。

【0014】

一実施形態に係る制御システムは、人等の生体または物体等の発する音のデジタルデータ（音データ）から、該音の分類を推定することが可能な学習済モデルを構築するためのシステムである。また、一実施形態に係る制御システムは、前記学習済モデルを用いて、検査対象の人または物体の発する音の音データから、該音の分類を推定することができる。

【0015】

本開示に係る発明の適用範囲は特に限定されない。例えば、一実施形態に係る制御システムは、人間または動物の呼吸音の分類を推定することが可能な学習済モデルを構築してもよい。また、一実施形態に係る制御システムは、該学習済モデルを用いて、検査対象の人間または動物の呼吸音の分類を推定してもよい。

【0016】

「音の分類」は、例えば、医師等の専門家が人間または動物を聴診したときの音の、医学的分類であってよい。音は、例えば、人間または動物の体内において、気体が流れることで発生する音であってよい。すなわち、音は、例えば、呼吸運動に伴い発生する音に分類されてよい。具体的には、音は、例えば、肺音に分類されてよい。また、音は、例えば、肺音に含まれる音のうち呼吸音と副雑音に分類されてよい。

【0017】

呼吸音は、例えば、さらに正常呼吸音と異常音に分類されてよい。正常音は、例えば、さらに肺胞呼吸音、気管支肺胞呼吸音、気管支呼吸音、及び気管呼吸音に分類されてよい。異常音は、例えば、さらに減弱、消失、呼気延長、及び気管支呼吸音化などの特徴に分類されてよい。または、異常音は、例えば、さらに狭窄音に分類されてよい。狭窄音は、例えば、さらに気管、咽頭、及び喉頭などの狭窄した部位ごとに分類されてよい。

【0018】

副雑音は、例えば、さらにラ音（すなわち、ラッセル音）とその他の音に分類されてよい。ラ音は、例えば、さらに連続性ラ音と断続性ラ音に分類されてよい。連続性ラ音は、例えば、さらに類鼾音、笛声音、スクウォーク、及びストライダーに分類されてよい。断続性ラ音は、例えば、さらに粗い断続性ラ音、細かい断続性ラ音、水泡音、及び捻髪音に分類されてよい。その他の音は、例えば、さらに胸膜摩擦音、及び肺血管性雑音に分類されてよい。

【0019】

なお、音の分類は、これらの例に限定されない。すなわち、音の分類には、音に関して医学的に用いられるあらゆる分類が含まれていてよい。また、本開示において、呼吸音、及び副雑音等の、呼吸運動に伴い発生する音に分類される音を総括して、単に呼吸音と称する場合がある。

【0020】

また例えば、一実施形態に係る制御システムは、建材等を叩いた時の音の分類を推定することが可能な学習済モデルを構築してもよい。また、制御システムは、該学習済モデルを用いて、検査対象の建材を叩いた時の音の分類を推定してもよい。この場合、「音の分類」には、例えば、専門家等（建築士等）の経験により特定された、建材の耐久度を音から特定する場合の分類の類型が含まれていてよい。

【0021】

以下、本発明の種々の態様について、実施形態１～４に基づき説明する。なお、以下の実施形態では、音は人間の呼吸音であり、音の分類とは呼吸音の医学的分類である場合について説明する。

【0022】

〔実施形態１〕
≪システム概要≫
一実施形態に係る制御システム１００は、ある音の分類を示す情報を含むデータ（第１データ）および当該ある音のデータ（第２データ）に基づいて、複数の「音の特徴量」と、「音の分類」との相関関係を機械学習した学習済モデルを構築するためのシステムである。第１データは、例えば、ある呼吸音の分類を示す情報を含んでよい。また、第２データは、例えば、当該ある呼吸音を聴診器、及びマイク等の従来周知の集音機器を用いて従来周知の手法により電子的に変換したデータを含んでよい。つまり、第２データは、当該ある音についての音の情報を含むデジタル形式のデータであってよい。すなわち、一実施形態に係る制御システム１００は、例えば、呼吸音の医学的分類を推定可能な学習済モデルを構築するためのシステムであってよい。制御システム１００は、聴診器、及びマイク等の従来周知の集音機器で集音が可能な音を従来周知の手法で電子的に変換した音のデータ（音データ）から、集音した音の特徴量を複数個算出することができる。また、制御システム１００は、録音した音についての、専門家（例えば、医師及び看護師士等）による医学的分類結果を取得してよい。一実施形態に係る制御システム１００は、例えば、呼吸音のデータから特徴量を複数個算出することができる。また、制御システム１００は、その呼吸音の医学的分類結果を取得してよい。なお、ある音は、呼吸音に限定されない。ある音は、例えば、心臓の拍動に伴う心音及び胃や腸の運動に伴う腹鳴音などであってよい。すなわち、ある音とは、例えば、何らかの生理的又は病理的現象に伴って生じる音であればよい。

【0023】

制御システム１００は、算出した複数個の特徴量を入力データとして含み、かつ医学的な分類結果を正解データとして含む、教師データを作成することができる。そして、制御システム１００は、該教師データを用いて学習モデルの機械学習を実行してよい。これにより、制御システム１００は、音の特徴量と音の分類との相関関係を学習した学習済モデルを構築することができる。

【0024】

≪要部構成≫
図１は、制御システム１００の要部構成を示すブロック図である。制御システム１００は、制御装置１と、検出装置２と、外部装置３とを含む。制御装置１と検出装置２、制御装置１と外部装置３、および検出装置２と外部装置３はそれぞれ、有線または無線で接続されてよい。

【0025】

（検出装置２）
検出装置２は、呼吸音を検出するための装置である。例えば検出装置２は指向性のマイクで実現することができる。本実施形態では、検出装置２は、第２データを検出することができる。検出装置２は検出した音データを制御装置１の音取得部１１に送信することができる。検出装置２は、音データを外部装置３に送信してもよい。なお、検出装置２はマイクを内蔵した聴診器等で実現されてもよい。また、検出装置２は、検出した呼吸音を録音する機能を有していてもよい。この場合、検出装置２は、メモリなどの記憶媒体を有していてよい。

【0026】

（外部装置３）
外部装置３は、医師等の専門家が第１データを入力するための入力装置である。外部装置３の具体的構成は特に限定されない。例えば、外部装置３は、パーソナルコンピュータ（ＰＣ）またはスマートフォン等で実現されてよい。外部装置３は、専門家が呼吸音の分類を示す情報を入力するための入力部と、外部装置３が他の装置と通信するための通信部と、を備える。また、外部装置３は、音データを出力する音出力部と、フラッシュメモリまたはＳＤカード等の外部記録媒体を接続するためのインタフェースを有していてもよい。

【0027】

外部装置３は、検出装置２から音データを受信すると、該音データを音出力部から出力してよい。外部装置３を操作する専門家は、該音データを聞いて呼吸音の分類を判定し、判定結果を、入力部を介して外部装置３に入力してよい。外部装置３は取得した判定結果を、制御装置１に送信してよい。ここで言う「判定結果」は、音データに対応する呼吸音の分類を示す情報を含む第１データであるといえる。このとき、外部装置３は、呼吸音の分類を示す情報に、該呼吸音の音データの識別情報を付して制御装置１に送信してよい。識別情報の形式は特に限定されない。例えば、音データのファイル名を識別情報としてもよいし、音データの作成時刻を識別情報としてもよい。以降、音データの識別情報が付された音（本実施形態では、すなわち呼吸音）の分類を示す情報のことを、「分類情報」と称する。

【0028】

なお、検出装置２が呼吸音を聞くための機能を有している場合、専門家は検出装置２を用いて呼吸音を聞いて、その結果（すなわち、呼吸音の分類の判定結果）を外部装置３に入力してもよい。この場合、外部装置３は音データを出力しなくてもよい。また、外部装置３は、自装置に接続された外部記録媒体から、音データを読み出して出力してもよい。また、外部装置３は、自装置に接続された外部記録媒体に分類情報を記録してもよい。

【0029】

（制御装置１）
制御装置１は、音データおよび該音データに対応する呼吸音の分類に基づいて、該学習済モデル２４を構築する装置である。制御装置１は、制御部１０と、記憶部２０とを備えている。なお、制御装置１は、外部記録媒体を接続することが可能なインタフェースを備えていてもよい。また、制御装置１はボタン、マウス、およびタッチパネル等の入力部と、ディスプレイ等の表示部を含んでいてもよい。

【0030】

制御部１０は、制御装置１を統括的に制御する。制御部１０は、音取得部（第２データ取得部）１１と、抽出部１２と、分類情報取得部（第１データ取得部）１３と、教師データ作成部１４と、を含む。

【0031】

音取得部１１は、検出装置２から音データを取得する。音取得部１１は音データを抽出部１２に送信する。

【0032】

なお、音取得部１１は、検出装置２から取得した音データを解析することによって該音データを所定の区切りで分割した、分割音データを抽出部１２に送信してもよい。「所定の区切り」とは、例えば、音データを人間の呼吸間隔（例えば、息を吸って吐くという一連の動作１回ごと）で分割する区切りであってよい。また、「所定の区切り」とは、例えば、取得した音データを任意の時間で分割する区切り（例えば、検出開始から３０秒ごとという区切り）であってよい。なお、所定の区切りは、これらの例に限定されない。すなわち、音取得部１１は、学習済モデル２４を構築するために必要な範囲で適宜に音データを分割して抽出部１２に送信してもよい。つまり、所定の区切りは、例えば、音データを人間が息を吸って吐くという一連の動作を２回行うごとに分割する区切りであってよい。また、音取得部１１は、例えば、分割した音データから任意のデータを選択して抽出部１２に送信してもよい。すなわち、音取得部１１は、例えば、１８０秒間の音データを取得した場合に、検出開始から６０秒後までのデータと検出開始１２０秒後から１８０秒後までのデータと、を抽出部１２に送信してもよい。つまり、音取得部１１が抽出部１２に送信する音データは、適宜に選択されてよい。

【0033】

各分割音データは、分割元の音データの識別情報と、分割後の音データの識別情報とを含んでもよい。以降の説明では、特に記載が無い限り、「音データ」とは分割元の音データと、分割後の音データとの両方を示すこととする。

【0034】

抽出部１２は、記憶部２０の定義データ２５が規定する特徴量の定義に基づいて、音データから音の特徴量を抽出することができる。「音の特徴量」は、前述の呼吸音の医学的分類とは独立した方法で呼吸音の特徴を抽出した場合の、パラメータであってよい。また、「音の特徴量」は、例えば、音の時間的変化、音に含まれる周波数成分、および音のスペクトログラムの少なくともいずれかに基づいて抽出されるパラメータであってよい。音の特徴量の抽出方法は後で詳述する。抽出部１２は抽出した複数個の特徴量を、音データの識別情報と対応付けて、記憶部２０に特徴量データ２１として記憶させてよい。特徴量データ２１の具体的構成は後述する。

【0035】

分類情報取得部１３は、外部装置３から分類情報を含む第１データを取得することができる。分類情報取得部１３は取得した第１データに含まれる分類情報を、記憶部２０に分類情報２２として記憶させてよい。

【0036】

教師データ作成部１４は、特徴量データ２１と、分類情報２２とから、教師データを作成することができる。教師データ作成部１４は、記憶部２０から特徴量データ２１の少なくとも一部を読み出し、さらに、読み出した特徴量データ２１と同じ識別情報を有する分類情報２２を記憶部２０から読み出してよい。すなわち、教師データ作成部１４は、同じ音データに基づく特徴量データ２１と分類情報２２とを読み出してよい。

【0037】

教師データ作成部１４は読み出した特徴量データ２１を入力データとし、かつ、分類情報２２を正解データとする教師データを作成することができる。教師データ作成部１４が作成する教師データの数、すなわち、機械学習のためのデータセットの規模は、構築する学習済モデル２４の構造等に応じて適宜定められてよい。教師データ作成部１４は作成した教師データを教師データ２３として記憶部２０に記憶させてよい。

【0038】

モデル構築部１５は、教師データ２３を用いて未学習の学習モデルに機械学習を実行させることで、学習済モデルを構築することができる。なお、未学習の学習モデル（すなわち、学習済モデル２４の雛形）は、モデル構築部１５が保持していてもよいし、記憶部２０に記憶されていてもよい。また、モデル構築部１５における機械学習の具体的方法は特に限定されない。モデル構築部１５は、構築した学習済モデルを学習済モデル２４として記憶部２０に記憶させてよい。

【0039】

なお、モデル構築部１５は、必ずしも制御装置１に含まれていなくともよい。例えば、モデル構築部１５は、制御装置１と別の装置に含まれてもよい。例えば、モデル構築部１５は、制御装置１と接続する外部のサーバに記憶されていてもよい。すなわち、学習済モデルの構築は、制御装置１以外の装置で行ってもよい。この場合、制御装置１とその他の装置は、有線又は無線により接続され、学習済モデルの構築に必要な情報は適宜に送受信されてよい。

【0040】

（記憶部２０）
記憶部２０は、制御装置１の動作に必要な各種データを記憶する記憶装置である。記憶部２０は前述した特徴量データ２１と、分類情報２２と、教師データ２３と、学習済モデル２４と、定義データ２５とを含む。学習済モデル２４の構造については、後で詳述する。

【0041】

定義データ２５は、抽出部１２において抽出する特徴量のパラメータの種類と、該パラメータの抽出方法とを規定するデータである。すなわち、定義データ２５は、音データから複数の特徴量を抽出するためのデータである。定義データ２５は、予め制御システム１００のユーザによって作成されて記憶部２０に記憶されてよい。なお、定義データ２５の作成方法は特に限定されない。

【0042】

なお、定義データ２５は、必ずしも記憶部２０に記憶されていなくともよい。例えば、定義データ２５は、制御装置１と別の装置に記憶されていてもよい。例えば、定義データ２５は、制御装置１と接続する外部のサーバに記憶されていてもよい。また、例えば、抽出部１２は、必ずしも制御装置１に含まれていなくともよい。例えば、抽出部１２は、制御装置１と接続する外部のサーバに記憶されていてもよい。すなわち、特徴量の抽出は、制御装置１以外の装置で行ってもよい。この場合、制御装置１とその他の装置は、有線又は無線により接続され、特徴量の抽出に必要な情報は適宜に送受信されればよい。

【0043】

（変形例）
制御システム１００において、外部装置３は必須の構成ではない。制御システム１００が外部装置３を含まない場合、制御装置１は、外部装置３としての機能を実現するため、前述した外部装置３の各種部材に相当する構成を備えてよい。そして、専門家等の制御システム１００の使用者は、外部装置３ではなく制御装置１の入力部を介して、呼吸音の分類を入力してよい。分類情報取得部１３は該入力部から、呼吸音の分類を示す情報を取得してよい。以降の処理については同様である。

【0044】

≪特徴量の抽出方法≫
抽出部１２における特徴量の抽出と、特徴量データ２１の構造について、図２～図５を用いて詳細に説明する。なお、図２～図４では、矢印の示す順序で、音データが加工され、特徴量が抽出される。なお、図２～図４では、理解を容易にするために時間波形、周波数波形、及びスペクトログラム波形をグラフとして示したが、制御システム１００において、これらの波形は、必ずしも視覚化されなくともよい。

【0045】

図２は、音データの時間波形からの特徴量の抽出過程を示す図である。時間波形とは、音の出力の時間変化を示している。図２に示した通り、時間波形のグラフにおいて、横軸は音の出力時間を示しており、縦軸は出力強度を示している。始めに、抽出部１２は、音データを解析して、該音データの時間波形を特定する。次に、抽出部１２は、該時間波形を包絡線波形に加工する。最後に、抽出部１２は、包絡線波形から、音データの特徴量を抽出する。

【0046】

例えば、抽出部１２は、包絡線波形の中から、上位１０個のピークを抽出して、該ピークが示すグラフ縦軸の値（以降、ピーク値とも称する）を特徴量として抽出してもよい。また例えば、抽出部１２は、上位１０個のピークの時間位置、ピーク値の分散、ピーク値の平均の少なくともいずれかを、特徴量として抽出してもよい。また例えば、抽出部１２は、上位１０個のピークの包絡線幅、および、上位１０個のピークの時間位置毎のエネルギー集中度を特定し、これを特徴量として抽出してもよい。なお、ここで言うエネルギー集中度とは、包絡線波形の全時間を所定数に分割した場合の、それぞれの区分での波形の面積比を示す。

【0047】

図３は、音データの周波数波形からの特徴量の抽出過程を示す図である。周波数波形とは、ある音データに含まれている周波数成分の分布を示している。図３に示した通り、周波数波形のグラフにおいて、横軸は周波数を示しており、縦軸は強度を示している。始めに、抽出部１２は、音データを解析して、該音データの周波数波形を特定する。次に、抽出部１２は、該周波数波形から、音データの特徴量を抽出する。周波数波形は、音の出力の時間変化をフーリエ変換して求めることができる。

【0048】

例えば、抽出部１２は、周波数波形から、上位３個のピークを抽出して、該ピークの周波数位置を特徴量として抽出してもよい。また例えば、抽出部１２は、上位３個のピークの帯域幅、および周波数帯域毎のエネルギー集中度を特定し、これを特徴量として抽出してもよい。なお、ここで言うエネルギー集中度とは、周波数波形の全周波数を所定数に分割した場合の、それぞれの区分での波形の面積比を示す。

【0049】

図４は、音データのスペクトログラム波形からの特徴量の抽出過程を示す図である。スペクトログラム波形とは、ある音データに含まれている周波数成分の時間変化を示している。図４に示した通り、スペクトログラム波形のグラフにおいて、横軸は時間を示しており、縦軸は周波数を示しており、濃淡は強さを示している。始めに、抽出部１２は、音データを解析して、該音データの時間波形を特定する。次に、抽出部１２は、該時間波形からスペクトログラム波形を特定する。最後に、抽出部１２は、スペクトログラム波形から、音データの特徴量を抽出する。スペクトログラム波形は、所定の時間ごとの時間波形をフーリエ変換して各時間の周波数波形を算出し、それらを繋ぎ合わせることによって求めることができる。

【0050】

例えば、抽出部１２は、図４に示す通り、スペクトログラム波形の一部についての時間波形から、それぞれ上位３個のピークを抽出してもよい。そして、抽出部１２は、該ピークの時間位置における周波数ピーク値の上位３つ、周波数位置、該位置の分散および平均、帯域幅、ならびに周波数帯域毎のエネルギー集中度を特定し、これを特徴量として抽出してもよい。

【0051】

制御装置１は、時間波形、周波数波形、及びスペクトログラム波形のグラフを、制御装置１の表示部、または制御装置１に接続された表示装置に表示させてもよい。この場合、使用者は、表示されたグラフを視覚で認識することで、学習済モデル２４の構築に必要なデータ範囲を判断しやすくなる。すなわち、制御システム１００は、利便性を向上させることができる。

【0052】

図２～４に示すように、音データの時間的変化、周波数成分、およびスペクトログラムの少なくともいずれかに基づいて特徴量が抽出されるように定義データ２５を定義しておくことで、音データから多様な特徴量を抽出することができる。したがって、音の分類をより精度良く判定することができる学習済モデル２４を構築することができる。

【0053】

≪特徴量データのデータ構造≫
図５は、特徴量データ２１のデータ構造の一例を示す図である。図５の１行、すなわち１レコードは、１つの特徴量の識別番号（ＩＤ）、項目名、および値を示している。「項目名」の欄には、定義データ２５で定義されている、各特徴量の性質または算出方法等を示す情報が格納される。なお、図５の例では便宜上、「項目名」の列を設け、各特徴量の性質の説明を記載しているが、特徴量データ２１において「項目名」の列は必須ではない。すなわち、特徴量データ２１は、各特徴量を一意に特定できる識別番号と、特徴量の値とが対応付けられたデータであればよい。

【0054】

≪学習済モデル２４の構造と動作概要≫
図６は、学習済モデル２４の入出力データと、学習済モデル２４の構成の概要を示す模式図である。なお、図６に示す学習済モデル２４の構成はあくまで一例であり、学習済モデル２４の構成はこれに限定されない。

【0055】

図示の通り、学習済モデル２４は、音データの特徴量を入力データとし、最終的に音の分類を出力データとする構成である。学習済モデル２４は、例えば、入力された種々の特徴量のパラメータを重み付け、統合、または取捨選択することで、該パラメータの総数を減らす特徴量選択モデルを有していてもよい。

【0056】

特徴量選択モデルは、例えばニューラルネットワーク（ＮＮ）等で構成されてもよいし、１つ以上の多項式等のモデル式の集合体として構成されてもよい。特徴量選択モデルは、例えば以下の（１）～（３）を実行してもよい。
（１）入力された特徴量それぞれに重み付け係数を乗算
（２）乗算後の各特徴量から２つ以上のパラメータを選択
（３）それらの和、差、積、または商ならびにこれらの組み合わせを計算
これにより、該２つ以上のパラメータを重み付けして統合した、中間パラメータを作成することができる。また、特徴量選択モデルは、例えば入力された特徴量のうち、１つ以上の特徴量の重み付けを０にする、または１つ以上の特徴量を取捨選択することによって、特徴量のパラメータの総数を減少させてもよい。また、例えば、主成分分析や独立成分分析を用いて、特徴量の取捨選択を行ってもよい。このように、特徴量選択モデルにおいて重み付け、統合、または取捨選択された後の複数の中間パラメータが、次の分類モデルに入力されてよい。このように、多種多様な特徴量を重み付け、統合、または取捨選択することで、後続の分類モデルにおいて、音の分類をより精度良く判定することができる。

【0057】

分類モデルは、例えばサポートベクターマシン（ＳＶＭ）等で実現される分類器である。分類モデルは、入力された中間パラメータが示す音の分類を特定して、出力する。なお、分類モデルもＮＮであってもよい。特徴量選択モデルおよび分類モデルがいずれもＮＮである場合、これら２つのモデルは１つのＮＮであってもよい。

【0058】

≪モデル構築処理の流れ≫
図７は、制御装置１が学習済モデル２４を構築する処理（モデル構築処理）の流れを示すフローチャートである。

【0059】

始めに、制御装置１は教師データ２３の材料となる各種データを取得する。具体的には、音取得部１１は、検出装置２から呼吸音の音データを取得する（Ｓ１０）。音取得部１１は音データを抽出部１２に出力する。抽出部１２は、入力された音データから該音データの特徴量を抽出する（Ｓ１１）。ここで、抽出部１２は少なくとも２つ以上の特徴量を抽出する。抽出部１２は抽出した各種特徴量を、記憶部２０に特徴量データ２１として記憶させる。

【0060】

Ｓ１０およびＳ１１の処理と順不同で、または並行して、分類情報取得部１３は、音取得部１１がＳ１０において取得した音データに対応する分類情報を、外部装置３から取得する（Ｓ１２）。分類情報取得部１３は、取得した分類情報を記憶部２０に分類情報２２として記憶させる。

【0061】

次に、制御装置１は、教師データ２３を作成する。具体的には、教師データ作成部１４は、特徴量データ２１と分類情報２２とを読み出して、特徴量を入力データ、分類情報を正解データとする教師データを作成する（Ｓ１３）。教師データ作成部１４は作成した教師データを記憶部２０に教師データ２３として記憶させる。なお、Ｓ１３の処理は、Ｓ１０～Ｓ１２とは独立したタイミングで実行されてよい。

【0062】

最後に、制御装置１は、教師データ２３を用いた機械学習を実行する。具体的には、モデル構築部１５は、教師データ２３を読み出して、該教師データ２３を用いて未学習の学習モデルに機械学習を実行させる。これにより、モデル構築部１５は、学習済モデル２４を構築する（Ｓ１４）。モデル構築部１５は構築した学習済モデル２４を記憶部２０に記憶させる。

【0063】

以上の処理によれば、制御装置１は、音データの特徴量と、該音データの医学的な音の分類との相関関係を機械学習させた学習済モデル２４を構築することができる。すなわち、制御装置１は、検査対象が発した音に基づいて該音の分類を精度良く判定することが可能な、学習済モデル２４を構築することができる。

【0064】

従来、例えば、医師が聴診により呼吸音を医学的に分類する場合、呼吸音は医師の経験に従って分類されていた。例えば、音の持続時間が２００ミリ秒以上であれば、医師はその呼吸音を経験的に、連続性ラ音であると判断していた。また例えば、医師は、連続性ラ音のうち、主として周波数が２００Ｈｚ以下の音が多く含まれているような呼吸音は、類鼾音と呼ばれる低音性連続性ラ音であると経験的に判断していた。また例えば、医師は、連続性ラ音のうち、主として周波数が４００Ｈｚ以下の音が多く含まれているような呼吸音は、笛声音と呼ばれる高音性連続性ラ音であると経験的に判断していた。しかし、この分類方法では、必ずしも、すべての呼吸音が正しく分類できるわけではない。例えば、呼吸音には複数の病状に起因する複数の音が混ざっている場合がある。この場合、呼吸音には複数の周波数の音が含まれるため、医師が判断を誤ってしまう場合もある。また、医師等の専門家の経験によって症状が重篤であるか軽度であるか判断される場合、専門家ごとに症状の軽重の判断にばらつきが生じる場合がある。

【0065】

これに対し、抽出部１２において抽出される特徴量は、分類情報に含まれる、呼吸音の医学的分類とは独立に定義された特徴量である。そして、該特徴量を定義データ２５で規定することで、特徴量の数をユーザが自由に増減することができる。したがって、例えば特徴量を該医学的分類の数よりも多様かつ多数定義しておくことで、このような多数の特徴量に基づいて学習済モデル２４を構築することができる。そのため、学習済モデル２４は、単に医師が呼吸音を分類するよりも、呼吸音の分類を正確に判定することができる。例えば、学習済モデル２４は、複数の分類の特徴が混ざり合った雑音や、既知の分類には合致しないが、実際には疾病が由来で発生している雑音など、既知の方法では考慮できなかった呼吸音の特徴と、呼吸音の分類との関係性も機械学習しているからである。

【0066】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以降の実施形態についても同様である。

【0067】

本発明に係る制御システムの制御装置は、学習済モデルの機械学習の結果を評価し、モデル構築部にフィードバックする評価部を備えていてもよい。そして、モデル構築部は、評価部からのフィードバックに基づいて、学習済モデルを再学習させることによって、学習済モデルの構成を修正してもよい。以下、図８を用いて本実施形態に係る制御システム２００について説明する。

【0068】

図８は、本実施形態に係る制御システム２００の要部構成を示すブロック図である。制御システム２００は、制御装置１の代わりに制御装置４を含む点、および、表示装置５を含む点で、実施形態１に係る制御システム１００と異なる。なお、表示装置５は制御システム２００において必須構成ではない。

【0069】

制御装置４は、制御部３０と、記憶部２０とを含む。制御部３０は、評価部３１を含む以外は、実施形態１に係る制御装置１と同様の機能を有している。表示装置５は、評価部３１の評価結果を表示する装置である。表示装置５の具体的な構成は特に限定されない。

【0070】

評価部３１は、教師データ２３の少なくとも一部のデータを記憶部２０、または教師データ作成部１４から取得してよい。評価部３１は、取得した教師データ２３のうち、入力データ（すなわち、音の特徴量）を学習済モデル２４に入力してよい。そして、ある入力データを学習済モデル２４に入力したときに出力される推定結果を、該ある入力データに対応する正解データ（すなわち、音の分類）と比較してよい。

【0071】

評価部３１は、この比較を教師データ２３の数の分だけ繰り返すことができる。そして、評価部３１は取得した教師データ２３全部についての比較が終了すると、比較結果を算出してよい。

【0072】

比較結果の算出方法は特に限定されない。例えば、評価部３１は、比較の結果、推定結果と、正解データとの合致率（すなわち、学習済モデル２４の正解率）を算出してもよい。また例えば、評価部３１は、正解データが「正常呼吸音」である教師データ２３のうち、学習済モデル２４が音の分類を「正常呼吸音」以外に分類した（すなわち、誤って異常ありと推定した）教師データの割合を算出してもよい。また例えば、評価部３１は、正解データが「正常呼吸音」以外である教師データ２３のうち、学習済モデル２４が音の分類を「正常呼吸音」に分類した（すなわち、誤って異常なしと推定した）教師データの割合を算出してもよい。

【0073】

評価部３１は、比較結果、すなわち機械学習の評価をモデル構築部１５に出力（すなわち、フィードバック）してよい。モデル構築部１５は、該比較結果に基づいて、学習済モデル２４に再学習を実行させてよい。再学習の方法は特に限定しないが、例えば、モデル構築部１５は、前述の比較結果から、学習済モデル２４が誤答したと推測される教師データ２３と類似する教師データ２３を記憶部２０から読み出して、当該類似する教師データ２３を再学習用のデータセットとして用いてもよい。

【0074】

なお、前述の比較結果が良好であった場合（比較結果が良好であるとは、例えば、学習済モデル２４の正解率が所定値以上である場合を指す）、モデル構築部１５は再学習を行わないこととしてもよい。換言すると、モデル構築部１５は、評価部３１からの評価が所定の条件を満たしていない場合に、再学習を実施し、所定の条件を満たした場合は再学習を実行しないこととしてもよい。

【0075】

以上の構成によれば、一度構築した学習済モデル２４を評価して、該評価に応じて学習済モデル２４の構成を修正することができる。したがって、学習済モデル２４をより推定精度の高い学習済モデルにチューニングすることができる。

【0076】

〔実施形態３〕
図９は、本実施形態に係る制御システム３００の要部構成を示すブロック図である。制御システム３００は、検出装置２と、表示装置５と、制御装置６とを含む。なお、表示装置５は、制御システム３００において必須構成ではない。

【0077】

制御装置６は、制御部４０と、記憶部５０を含む。制御部４０は、制御装置６を統括的に制御する。制御部４０は、音取得部１１と、抽出部１２と、推定部４１とを含む。記憶部５０は、定義データ２５と、学習済モデル２４とを記憶してよい。

【0078】

本実施形態において、検出装置２は、検査対象の人間の呼吸音を録音した音データを音取得部１１に送信することができる。音取得部１１は該音データを取得して、必要に応じてこれを区切り、抽出部１２に出力してよい。抽出部１２は定義データ２５の定義に基づいて、入力された音データの特徴量を抽出し、推定部４１に出力してよい。

【0079】

推定部４１は、学習済モデル２４を用いて、音データの特徴量から呼吸音の分類を推定してよい。推定部４１は、抽出部１２から入力された特徴量を学習済モデル２４に入力し、学習済モデル２４から出力される音の分類の推定結果を取得してよい。推定部４１は推定結果を表示装置５に表示させてもよい。本実施形態において、表示装置５は、推定部４１の推定結果を表示することができる。

【0080】

なお、学習済モデル２４の推定結果自体、および、学習済モデル２４を用いた推定部４１における推定結果の加工処理の方法等は特に限定されない。例えば、学習済モデル２４は、入力された特徴量に応じて、該特徴量に当てはまる音の分類の名称を１つだけ出力する構成であってもよいし、複数個出力する構成であってもよい。また、音の分類の名称を複数個出力する場合、学習済モデル２４は、推定結果としての、各音の分類への合致度（すなわち、音の分類の確からしさ）を示す値を出力してもよい。また、推定部４１は、複数の音の分類への合致度を学習済モデル２４から取得可能な場合、該合致度を、レーダーチャート等の図に加工して、表示装置５に表示させてもよい。

【0081】

≪推定処理≫
図１０は、制御装置６が呼吸音の分類を推定する推定処理の流れを示す図である。音取得部１１は、検出装置２から検査対象となる呼吸音の音データを取得する（Ｓ２０）。音取得部１１は音データを抽出部１２に出力する。抽出部１２は、入力された音データから該音データの特徴量を抽出する（Ｓ２１）。抽出部１２は抽出した各種特徴量を、推定部４１に出力する。

【0082】

推定部４１は、特徴量を、記憶部５０の学習済モデル２４に入力する（Ｓ２２）。学習済モデル２４は特徴量から推定される音の分類を推定部４１に出力する。推定部４１は学習済モデル２４から出力される、音の分類の推定結果を取得する（Ｓ２３）。推定部４１は、推定結果を表示装置５に表示させる（Ｓ２４）。なお、Ｓ２４の処理は必須ではない。また、推定部４１は推定結果を記憶部５０に記憶させてもよい。

【0083】

以上の処理によれば、制御装置１は、学習済モデル２４を用いて、検査対象の呼吸音の音データから、該呼吸音の分類を推定することができる。ここで、抽出部１２において抽出される特徴量は、分類情報に含まれる、呼吸音の医学的分類とは独立に定義された特徴量であり、その数は該医学的分類の数よりも多い。多数の特徴量に基づいて推定処理を実行するため、制御装置６は、単に医師が呼吸音を分類するよりも、検査対象が発した音に基づいて該音の分類を精度良く判定することができる。例えば、制御装置６は、複数の分類の特徴が混ざり合った雑音や、既知の分類には合致しないが、実際には疾病が由来で発生している雑音など、既知の方法では考慮できなかった呼吸音の特徴を考慮して、呼吸音の分類を推定することができる。

【0084】

なお、推定部４１は、必ずしも制御装置６に含まれなくともよい。例えば、推定部４１は、制御装置１と接続する他の装置に含まれてもよい。また、例えば、推定部４１は、外部のサーバに含まれてもよい。つまり、呼吸音の分類の推定は、制御装置６以外の装置で行なってもよい。この場合、制御装置６とその他の装置は、有線又は無線により接続され、呼吸音の分類の推定に必要な情報を適宜に送受信すればよい。

【0085】

〔実施形態４〕
本発明に係る制御システムは、モデル構築処理と、推定処理との両方を実施してもよい。すなわち、制御システム１００（または制御システム２００）と、制御システム３００とは一体に構成されていてもよい。以下、本実施形態では、制御システム１００と制御システム３００とを一体に構成した例について説明する。

【0086】

図１１は、本実施形態に係る制御システム４００の要部構成を示すブロック図である。制御システム４００は、検出装置２と、外部装置３と、表示装置５と、制御装置７とを含む。なお、外部装置３および表示装置５は、制御システム４００においても必須構成ではない。

【0087】

制御装置７は、制御部６０と、記憶部２０とを含む。制御部６０は、制御システム１００に係る制御部１０の構成と、実施形態３に係る制御部４０の構成とを含む。制御装置７は、任意のタイミングで実施形態１にて説明したモデル構築処理を実施することで、学習済モデル２４を構築してもよい。そして、制御装置７は、構築した学習済モデル２４を記憶部２０に記憶させてよい。また、制御装置７は、学習済モデル２４の構築後の任意のタイミングで実施形態３にて説明した推定処理を実施することで、音データから特徴量を抽出してもよい。そして、制御装置７は、抽出した特徴量から学習済モデル２４を用いて音の分類を推定してよい。

【0088】

なお、制御システム２００と制御システム３００とを一体に構成した場合についても、基本的な処理の流れは同様である。この場合、制御システム４００は、図１１に示す構成に加え、実施形態２において説明した評価部３１を含んでいればよい。

【0089】

〔変形例１〕
実施形態３または実施形態４に係る推定部４１は、複数の音の特徴量から、音の分類の合致度を推定してもよい。例えば、推定部４１は、音の分類の名称と、該分類の合致度のレベルを推定してもよい。この場合、学習済モデル２４は、出力データとして、１つ以上の音の分類の名称と、該分類への合致度の値とを出力するよう構成される。これにより、推定部４１は、より精密に音の分類を推定することができる。

【0090】

〔変形例２〕
各実施形態に係る第１データは、音を発した対象の状態を示す情報を含んでいてもよい。該情報を、以降は状態情報と称する。また、各実施形態に係る学習済モデル２４は、複数の特徴量または音の分類の少なくとも一方と、音を発した対象の状態との相関関係を機械学習した学習済モデル２４であってもよい。

【0091】

この場合、実施形態１または実施形態２において、専門家によって、外部装置３に対して分類情報および状態情報が入力されてもよい。また、外部装置３は、分類情報および状態情報を含む第１データを、制御装置１または４に送信してよい。また、制御装置１または４の分類情報取得部１３は、該第１データを取得すると、該第１データに含まれる分類情報と、状態情報とを、それぞれ音データの識別情報と対応付けて、記憶部２０に記憶させてよい。

【0092】

そして、教師データ作成部１４は、特徴量データ２１、分類情報２２、および状態情報を用いて、教師データを作成してよい。また、モデル構築部１５は、該教師データに基づいて学習済モデル２４に機械学習を実行させてよい。

【0093】

これにより、複数の音の特徴量または音の分類の少なくとも一方と、音を発した対象の状態との相関関係を機械学習した学習済モデル２４が構築される。

【0094】

また、実施形態３または実施形態４に係る推定部４１は、当該変形例に係る学習済モデル２４を用いて、音データの複数の特徴量から、検査対象の状態を推定してもよい。推定方法は、学習済モデル２４における、相関関係の学習態様に応じて決定されてよい。例えば、学習済モデル２４が、複数の音の特徴量と音の分類との相関関係と、該分類と音を発した対象の状態との相関関係とを機械学習した学習済モデルであると仮定する。この場合、学習済モデル２４は、入力された複数の特徴量から、まず音の分類を推定してよい。そして、学習済モデル２４は、推定した音の分類からさらに、音を発した対象の状態を推定してよい。一方、学習済モデル２４が、複数の音の特徴量と音の分類との相関関係と、複数の音の特徴量と音を発した対象の状態との相関関係とを機械学習した学習済モデルであると仮定する。この場合、学習済モデル２４は、入力された複数の特徴量から、音の分類と、音を発した対象の状態との両方を推定してもよい。また、学習済モデル２４が、複数の音の特徴量と、音の分類と、音を発した対象の状態との３つの情報の相関関係を機械学習した学習済モデルであると仮定する。この場合、学習済モデル２４は、入力された複数の特徴量から、音の分類と、音を発した対象の状態とのうち少なくとも一方を推定してもよい。

【0095】

当該変形例のような学習済モデル２４を構築および使用することにより、検査対象の呼吸音の音データから、該音を発した対象の状態を推定することができる。

【0096】

なお、状態情報は、医学的分類に対応する症状および病名の少なくとも一方を示す情報であってもよい。この場合、呼吸音の音データから、該呼吸音を発した対象の症状および病名の少なくとも一方を推定することができる。

【0097】

〔ソフトウェアによる実現例〕
制御装置１、４、６、および７の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0098】

後者の場合、制御装置１、４、６、および７は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0099】

本開示に係る発明は上述した各実施形態に限定されるものではない。すなわち、請求項に示した範囲で種々の変更が可能である。また、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても、本開示に係る発明の技術的範囲に含まれる。また、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。

【符号の説明】

【0100】

１、４、６、７ 制御装置
２ 検出装置
３ 外部装置
５ 表示装置
１０、３０、４０、６０ 制御部
１１ 音取得部
１２ 抽出部
１３ 分類情報取得部
１４ 教師データ作成部
１５ モデル構築部
２０、５０ 記憶部
２１ 特徴量データ
２２ 分類情報
２３ 教師データ
２４ 学習済モデル
２５ 定義データ
３１ 評価部
４１ 推定部
１００、２００、３００、４００ 制御システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-04-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

対象者の呼吸音である第１呼吸音を取得する取得部と、
前記第１呼吸音の時間的変化、周波数成分、およびスペクトログラムの少なくともいずれかに基づいて、前記第１呼吸音の一部を、第１特徴量を含む入力データとして抽出する抽出部と、
前記入力データの前記第１特徴量から学習済モデルに基づいて前記第１呼吸音の医学的分類を推定する推定部と、を備え、
前記学習済モデルは、前記対象者と異なる人の呼吸音である第２呼吸音の一部である第２特徴量と、前記第２特徴量に対応した医学的分類との組み合わせである教師データに基づいて機械学習され、
前記第２特徴量は、前記第２呼吸音の一部から前記抽出部により抽出される、推定システム。

【請求項2】

前記入力データは、前記抽出部により抽出された前記第１呼吸音の一部と、前記取得部により取得された前記第１呼吸音と、を含む、請求項１に記載の推定システム。

【請求項3】

前記抽出部は、前記第１呼吸音から抽出される前記入力データと、前記第２呼吸音から抽出される前記第２特徴量とを、それぞれ同じ抽出方法で抽出する、請求項１または２に記載の推定システム。

【請求項4】

前記第２呼吸音の医学的分類は、正常呼吸音と異常音と副雑音とを含み、前記副雑音はラ音を含む、請求項１～３のいずれか１項に記載の推定システム。

【請求項5】

前記学習済モデルは、前記第１特徴量を重み付け、統合、または取捨選択した後の複数のパラメータを前記入力データとし、前記第１呼吸音の医学的分類を出力データとする学習済モデルである、請求項１～４のいずれか１項に記載の推定システム。

【請求項6】

複数の前記第２特徴量と、前記第２呼吸音の医学的分類を示す情報とに基づいて、複数の前記第２特徴量と、前記第２呼吸音の医学的分類との相関関係を機械学習した学習済モデルを構築するモデル構築部と、
前記学習済モデルの前記機械学習の結果を評価し、前記モデル構築部にフィードバックする評価部と、をさらに備え、
前記モデル構築部は、前記評価部からのフィードバックに基づいて、前記学習済モデルを再学習させる、請求項１～５のいずれか１項に記載の推定システム。

【請求項7】

前記第２特徴量は、前記第２呼吸音の時間的変化、周波数成分、およびスペクトログラムの少なくともいずれかに基づいて定義される、請求項１～６のいずれかに記載の推定システム。

【請求項8】

前記教師データは、前記第２呼吸音を発した人の状態を示す情報を含み、
前記学習済モデルは、複数の前記第２特徴量と、前記第２呼吸音の医学的分類を示す情報とに基づいて、複数の前記第２特徴量または前記第２呼吸音の医学的分類の少なくとも一方と、前記第２呼吸音を発した人の状態との相関関係をさらに機械学習される、請求項１～７のいずれかに記載の推定システム。

【請求項9】

前記推定部は、複数の前記第１特徴量から、前記第１呼吸音の医学的分類の合致度を推定する、請求項５に記載の推定システム。

【請求項10】

対象者の呼吸音である第１呼吸音を取得する取得ステップと、
前記第１呼吸音の時間的変化、周波数成分、およびスペクトログラムの少なくともいずれかに基づいて、前記第１呼吸音の一部を、第１特徴量を含む入力データとして抽出する抽出ステップと、
前記入力データの前記第１特徴量から学習済モデルに基づいて前記呼吸音の医学的分類を推定する推定ステップと、を含み、
前記学習済モデルは、前記対象者と異なる人の呼吸音である第２呼吸音の一部である第２特徴量と、前記第２特徴量に対応した医学的分類との組み合わせである教師データに基づいて機械学習され、
前記第２特徴量は、前記第２呼吸音の一部から前記抽出ステップにおいて抽出される、推定システムの制御方法。