特開 2024-38765 生体音取得支援装置、生体音取得支援プログラムおよび生体音取得支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024038765

(43)【公開日】2024-03-21

(54)【発明の名称】生体音取得支援装置、生体音取得支援プログラムおよび生体音取得支援方法

(51)【国際特許分類】

   A61B 7/04 20060101AFI20240313BHJP

【ＦＩ】

A61B7/04 U

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022143029

(22)【出願日】2022-09-08

(71)【出願人】

【識別番号】522357415

【氏名又は名称】株式会社３Ｄ

(74)【代理人】

【識別番号】100135781

【弁理士】

【氏名又は名称】西原 広徳

(74)【代理人】

【識別番号】100217227

【弁理士】

【氏名又は名称】野呂 亮仁

(72)【発明者】

【氏名】平野 実

(57)【要約】

【課題】より視覚的にわかりやすく簡単に生体音を取得でき、ユーザの使い勝手の向上を図ることができる。
【解決手段】本発明の生体音取得支援装置１は、ユーザの生体音を取得することを支援する。生体音取得支援装置１は、生体音を取得するための集音器１５ａを有する生体音取得部１５と、ユーザの像をリアルタイムで撮像するための撮像部１４と、生体音に関連する体内の器官の画像（器官画像）を、撮像部１４により撮像されたユーザの像の手前に重ねてリアルタイム表示する器官表示部１２２とを備えている。
【選択図】図５

【特許請求の範囲】

【請求項1】

ユーザの生体音を取得することを支援する生体音取得支援装置であって、
前記生体音を取得するための集音器を有する生体音取得部と、
ユーザの像をリアルタイムで撮像するための撮像部と、
前記生体音に関連する体内の器官の画像を、前記撮像部により撮像された前記ユーザの像の手前に重ねてリアルタイム表示する器官表示部とを備えた
生体音取得支援装置。

【請求項2】

前記生体音を取得するために前記集音器を当接させる当接位置を示す指標画像を、前記撮像部により撮像された前記ユーザの像の手前に重ねてリアルタイム表示する指標画像表示部をさらに備えた
請求項１記載の生体音取得支援装置。

【請求項3】

前記当接位置に前記集音器を当接させるようにユーザに指示する当接指示部をさらに備えた
請求項２記載の生体音取得支援装置。

【請求項4】

前記生体音の取得開始および前記生体音の取得完了をユーザに通知する通知部をさらに備えた
請求項３記載の生体音取得支援装置。

【請求項5】

前記通知部は、前記生体音の取得開始後、前記生体音の取得完了までの残り時間を通知する構成である
請求項４記載の生体音取得支援装置。

【請求項6】

ユーザの生体音を取得するための集音器を有する生体音取得部と、ユーザの像をリアルタイムで撮像するための撮像部とを備え前記生体音を取得することを支援する生体音取得支援装置のコンピュータを、
前記生体音に関連する体内の器官の画像を、前記撮像部により撮像された前記ユーザの像の手前に重ねてリアルタイム表示する器官表示手段として機能させる
生体音取得支援プログラム。

【請求項7】

ユーザの生体音を取得するための集音器を有する生体音取得部と、ユーザの像をリアルタイムで撮像するための撮像部とを備え前記生体音を取得することを支援する生体音取得支援装置を用いた生体音取得支援方法であって、
前記生体音に関連する体内の器官の画像を、前記撮像部により撮像された前記ユーザの像の手前に重ねてリアルタイム表示する
生体音取得支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、たとえば、コンピュータを利用して生体音の取得を支援するような、生体音取得支援装置、生体音取得支援プログラムおよび生体音取得支援方法に関する。

【背景技術】

【0002】

従来、ユーザ自身がスマートフォンなどの携帯端末を用いて生体音を取得する生体音取得支援システムが提案されている（特許文献１参照）。特許文献１記載の従来技術の生体音取得支援システムでは、生体音を含む音データを人間の体の所定部位（取得部位）に当接させたマイクにより取得し、取得した音データから特定の音成分を評価し、評価結果をスマートフォンの画面に表示してユーザに提示するものである。

【0003】

しかしながら、従来技術の生体音取得支援システムでは、医療従事者でない者（ユーザ）は、携帯端末のマイクを取得部位に適切に当接させることが難しく、音質の良い生体音を取得することが難しいという問題がある。すなわち、従来技術の生体音取得支援システムでは、医療従事者でない者には利用することが難しく、使い勝手の観点で改善の余地がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－０２５３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

この発明は、上述の問題に鑑みて、より視覚的にわかりやすく簡単に生体音を取得でき、使い勝手の向上を図ることができる、生体音取得支援装置、生体音取得支援プログラムおよび生体音取得支援方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

この発明は、ユーザの生体音を取得することを支援する生体音取得支援装置であって、前記生体音を取得するための集音器を有する生体音取得部と、ユーザの像をリアルタイムで撮像するための撮像部と、前記生体音に関連する体内の器官の画像を、前記撮像部により撮像された前記ユーザの像の手前に重ねてリアルタイム表示する器官表示部とを備えた生体音取得支援装置、生体音取得支援プログラムおよび生体音取得支援方法であることを特徴とする。

【発明の効果】

【0007】

この発明により、より視覚的にわかりやすく簡単に生体音を取得でき、使い勝手の向上を図ることができる、生体音取得支援装置、生体音取得支援プログラムおよび生体音取得支援方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】この発明の携帯端末の構成の一例を示すブロック図。

【図2】携帯端末の補助記憶部に記憶されているデータの一例を示す説明図。

【図3】種別選択画面の画面構成の一例を示す説明図。

【図4】撮像準備画面の画面構成の一例を示す説明図。

【図5】器官表示画面の画面構成の一例を示す説明図。

【図6】指標画像表示画面の画面構成の一例を示す説明図。

【図7】集音開始画面の画面構成の一例を示す説明図。

【図8】集音中画面の画面構成の他の例を示す説明図。

【図9】集音完了画面の画面構成の他の例を示す説明図。

【図10】音質査定画面の画面構成の一例を示す説明図。

【図11】登録画面の画面構成の一例を示す説明図。

【図12】分析画面の画面構成の一例を示す説明図。

【図13】分析結果表示画面の画面構成の一例を示す説明図。

【発明を実施するための形態】

【0009】

以下、この発明の一実施形態を図面と共に説明する。
＜システム構成＞

【0010】

図１は、生体音の取得（録音）を支援する生体音取得支援装置としての電子機器１の構成の一例を示すブロック図である。電子機器１は、電子機器１を使用するユーザ（使用者）の生体音の取得を支援するための電子機器（コンピュータ）である。電子機器１は、据置型のコンピュータまたは可搬型のコンピュータであり、デスクトップＰＣ、ノート（ラップトップ）ＰＣ、タブレットＰＣ、ウェアラブルコンピュータ、スマートフォン、フィーチャーフォンおよび携帯型ゲーム機等などの汎用のコンピュータ（端末）で構成されている。電子機器１は、ユーザが所有するものであってもよいし、電子機器１を所有する企業または団体などからユーザに貸与されるものであってもよい。

【0011】

図１に示すように、電子機器１は、制御部１１、入力部１２、表示部１３、撮像部１４、生体音取得部１５、音出力部１６、通信部１７、および補助記憶部１８を備える。入力部１２、表示部１３、撮像部１４、生体音取得部１５、音出力部１６、通信部１７、および補助記憶部１８のそれぞれは、通信線等を介して制御部１１に電気的に接続されている。

【0012】

制御部１１は、演算部１１ａおよび主記憶部１１ｂを含み、電子機器１における各種演算および制御動作を実行する。演算部１１ａは、ＣＰＵまたはＭＰＵなどを有している演算処理部である。主記憶部１１ｂは、ＲＡＭ（ＤＲＡＭ）およびＲＯＭなどを有している。ＲＡＭは、演算部１１ａのワーク領域およびバッファ領域として用いられる。ＲＡＭには、補助記憶部１８に記憶されているプログラムのデータやプログラムの実行に必要なデータ等が適宜展開される。ＲＯＭは、電子機器１の起動プログラムや各種情報についてのデフォルト値等を記憶する。

【0013】

入力部１２は、電子機器１の利用者の操作入力を受け付ける入力部品と、入力部品と演算部１１ａとの間に介在する入力検出回路を含む。入力部品は、たとえばタッチパネル（タッチ入力手段）または／およびハードウェアの操作キーである。タッチパネルとしては、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。入力検出回路は、各入力部品の操作（操作入力）に応じた操作信号ないし操作データを演算部１１ａに出力する。

【0014】

表示部１３は、ディスプレイ、およびディスプレイと演算部１１ａとの間に介在する表示制御回路を含む。ディスプレイとしては、たとえばＬＣＤ（液晶ディスプレイ）または有機ＥＬディスプレイなどを用いることができる。表示制御回路は、ＧＰＵおよびＶＲＡＭなどを含む。演算部１１ａの指示の下、ＧＰＵは、ＲＡＭに記憶された画像生成用のデータを用いてディスプレイに種々の画面（後述する種別選択画面１００等）を表示するための表示画像データをＶＲＡＭに生成し、ＶＲＡＭに生成し表示画像データに対応する表示画像をディスプレイに出力する。

【0015】

入力部１２がタッチパネルを有する場合には、タッチパネルは、表示部１３のディスプレイの表示面上に重なるように設けられてもよい。この場合、タッチパネルは、表示部１３のディスプレイと協働して、タッチパネル付きディスプレイ（タッチパネルディスプレイ）を構成する。また、表示部１３のディスプレイには、ソフトウェアキー（操作キーまたは操作ボタン）を含むＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：グラフィカルユーザインタフェース）が表示される。この場合、ＧＵＩ（操作画面）を介して操作入力を受け付けることができる。なお、ソフトウェアキーとは、たとえば表示部１３のディスプレイの表示面にソフトウェア的に再現された操作キー（操作ボタン）のことをいう。以下、ソフトウェアキーのことを単に「ボタン」という。

【0016】

撮像部１４は、撮像素子（イメージセンサ）およびフォーカスレンズ等を有し、撮像素子から取り込んだ可視光としての撮像光を、電気信号へと変換することによって撮像を行う。撮像素子の例としては、ＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子が挙げられる。撮像部１４は、動画像の撮像が可能であり、撮像部１４から出力された撮像画像データは、主記憶部１１ｂまたは補助記憶部１８に記憶される。

【0017】

また、撮像部１４から出力された撮像画像データを表示画像データとして撮像部１４で撮像された動画像を表示部１３（ディスプレイ）にリアルタイム表示（ライブビュー表示）することができる。

【0018】

生体音取得部１５は、集音器１５ａ、Ａ／Ｄコンバータおよび信号増幅部から構成されている。集音器１５ａは、音（生体音）を電気信号に変換するマイク（マイクロフォン）を有している。集音器１５ａを通して入力される生体音は、Ａ／ＤコンバータによってＡ／Ｄ変換された後に信号増幅部によって信号が増幅され、入力された生体音に対応するデジタル音信号のデータ（生体音データ）が生成される。すなわち、生体音取得部１５によって生体音が取得される。集音器１５ａとしては、容量型マイクロフォンを備えた電子聴診器を用いることができる。また、マイクとしては、たとえば、コンデンサマイクおよびダイナミックマイクなどの汎用のマイクを用いることができる。また、集音器１５ａは、生体音取得部１５に外部から接続する構成（生体音取得部１５とは別の構成）としてもよい。

【0019】

音出力部１６は、スピーカ、Ｄ／Ａコンバータおよび増幅器等を備える。Ｄ／Ａコンバータおよび増幅器は、効果音等の音または音声のデータ（音データ）としてのデジタル音信号をアナログ信号に変換し、増幅してスピーカに出力する。スピーカは、このアナログ信号を受けて空気を振動させ、音または音声を出力する。またスピーカとしては、コンデンサースピーカーおよびダイナミックスピーカーなどの汎用のスピーカを用いることができる。

【0020】

通信部１７は、インターネットのような公衆回線（公衆ネットワーク）に接続するための通信回路を含む。通信回路は、有線通信回路または無線通信回路であり、演算部１１ａからの指示に従って、公衆回線を介して、他の電子機器（外部コンピュータ）と相互に通信可能に接続されている。

【0021】

補助記憶部１８は、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭなどの他の不揮発性メモリで構成され、演算部１１ａが電子機器１の動作を制御するためのプログラムおよび各種データなどを記憶する。

【0022】

電子機器１の補助記憶部１８には、生体音取得支援用のアプリケーションを実行するためのデータなど、電子機器１で利用される各種データが記憶（登録）されている。また、補助記憶部１８には、利用者の操作入力に応じて電子機器１の各種動作を実行するためのユーザプログラム２０と、電子機器１の動作に必要なユーザデータ２１とが記憶されている。

【0023】

ユーザプログラム２０およびユーザデータ２１は、必要に応じて補助記憶部３６から読み出され主記憶部１１ｂ（ＲＡＭ）に記憶される（展開される）。電子機器１の動作は、演算部１１ａが主記憶部１１ｂ（ＲＡＭ）に展開されたユーザプログラム２０を実行することによって実現される。

【0024】

ユーザプログラム２０は、生体音取得支援用のアプリケーションを実行するための複数のプログラムを含む。たとえば、ユーザプログラム２０は、電子機器１が備える各種機能を選択および実行するためのメイン処理プログラム２０ａ、撮像部１４を制御してユーザの像をリアルタイムで撮像した動画像（リアルタイム動画像）を取得するための撮像プログラム２０ｂ、生体音に関連する体内の器官の画像（器官画像）をユーザの像の手前に重ねてリアルタイム表示するための器官表示プログラム２０ｃ、生体音を取得するために体壁に集音器１５ａを当接させるべき当接位置を示す指標画像をユーザの像の手前に重ねてリアルタイム表示するための指標画像表示プログラム２０ｄ、生体音の取得（録音）をユーザに指示（録音指示）するための集音指示プログラム２０ｅ、生体音の取得開始、生体音の取得完了までの残り時間、生体音の取得完了のタイミングをユーザに通知するための通知プログラム２０ｆ、集音器１５ａを通して入力される生体音を録音して生体音データを生成するための録音プログラム２０ｇ、および生体音取得部１５で取得された生体音を分析するための分析プログラム２０ｈ等を含有している。撮像プログラム２０ｂは、撮像部１４により動画像をリアルタイムに取得するためのプログラムであり、所定時間間隔で連続して取得する静止画像をつなげて動画像として取得する。また、撮像プログラム２０ｂは、この取得している動画像をリアルタイムに表示部１３に表示するためのプログラムである。器官表示プログラム２０ｃは、撮像部１４により取得している動画像から人を認識して所定の人体部位を認識する人体認識部と、認識した人体部位の所定の部位に人体の位置および向きに合わせて所定の器官の器官画像をリアルタイム動画像１３１の手前に半透明に重ねてリアルタイムに表示する器官重畳部とを有している。人体認識部は、人の顔や首、肩、手などの各部位を認識するプログラムモジュールであり、人体部位を認識する既存の各種のプログラムモジュールを用いることができる。指標画像表示プログラム２０ｄは、前記人体認識部で認識した人体における所定の部位に人体の位置および向きに合わせて所定の指標画像をリアルタイム動画像１３１の手前でかつ器官画像の手前に半透明に重ねてリアルタイムに表示する指標画像重畳部とを有している。

【0025】

ユーザデータ２１は、撮像部１４で撮像されたリアルタイム動画像のデータ（動画像データ）２１ａ、器官画像のデータ（器官画像データ）２１ｂ、指標画像のデータ（指標画像データ）２１ｃ、生体音を分析する際に使用される分析用のデータ（分析用データ）２１ｄ、生体音取得部１５で取得された生体音のデータ（生体音データ）２１ｅ、器官画像または指標画像の表示位置を設定するための位置データ２１ｆ、および生体音の取得に際し予め設定されている設定データ２１ｇ等のデータを含有している。

【0026】

器官画像とは、生体音に関連する体内の器官に関する画像のことである。生体音に関連する体内の器官とは、内臓など、取得対象となる生体音が発生する器官（生体音発生器官）のことである。器官画像は、心臓、肺、胃、腸等の内蔵の画像や、咽頭部や口腔内の画像である。なお、器官画像は、医療機関等で撮像された実際の体内の器官の画像であってもよいし、体内の器官を模した仮想的な画像（コンピュータグラフィックス（ＣＧ））であってもよい。

【0027】

取得対象となる生体音の種類に応じて生体音発生器官となる器官が適宜設定され、生体音発生器官の画像が器官画像として設定される。たとえば、取得対象となる生体音が心音または駆出音等である場合、生体音発生器官は心臓であり、器官画像は心臓の画像となる。また、取得対象となる生体音が呼吸音である場合、生体音発生器官は肺であり、器官画像は肺の画像となる。さらに、取得対象となる生体音が腸蠕動音（腸内音）である場合、生体音発生器官は腸であり、器官画像は腸の画像となる。

【0028】

位置データ２１ｆは、リアルタイム動画像に重ねて表示する器官画像の位置（器官画像表示位置）を示すデータ（器官画像表示位置データ）やリアルタイム動画像に重ねて表示する指標画像の位置（指標画像表示位置）を示すデータ（指標画像表示位置データ）等を含有している。なお、器官画像表示位置および指標画像表示位置は、取得対象となる生体音の種類および生体音発生器官の種類に応じて予め設定されている。

【0029】

設定データ２１ｇは、使用される集音器１５ａの型式などのデータ（集音器データ）、標準の録音時間（録音期間）のデータ（録音時間データ）、録音時の録音周波数帯のデータ（録音周波数帯データ）、標準の録音した生体音データの形式（ＷＡＶ、ＭＰ３等）のデータ（録音形式データ）、および録音された生体音における許容雑音レベルのデータ（許容雑音レベルデータ）等を含有している。

【0030】

また、図示は省略するが、電子機器１は、通話機能を有しており、この通話機能に係るコンポーネントを備えている。なお、図１に示す電子機器１の構成は、単なる一例であり、これに限定される必要はない。たとえば、電子機器１には、ＳＤカードなどの各種の記憶媒体（外部記憶媒体）からデータを読み出したり、外部記憶媒体にデータを書き込んだりするためのインターフェイス（外部記憶媒体接続部）が設けられていてもよい。
＜生体音取得支援処理の動作例＞

【0031】

本発明の生体音取得支援用のアプリケーションは、電子機器１を使用するユーザ自身が電子機器１を用いて生体音を取得（録音）する（聴診する）ことを支援する機能（生体音取得支援機能）を有している。

【0032】

図３～図１３は、生体音取得支援用のアプリケーション（生体音取得支援機能）を実行した場合に表示される各種操作画面の一例を示す説明図である。図３～図１３を参照して、電子機器１で実行される生体音取得支援機能に係る処理（生体音取得支援処理）の動作例を説明する。

【0033】

図３に示すように、生体音取得支援処理が実行されると、電子機器１の表示部１３には、種別選択画面１００が表示される。以下、図３～図１３に示す各種操作画面は、電子機器１の表示部１３のディスプレイに表示されているものとする。なお、図示は省略するが、種別選択画面１００が表示される前（生体音取得支援処理の開始時）に、集音器データ等を設定するための事前設定画面が表示されてもよい。また、種別選択画面１００が表示される前（生体音取得支援処理の開始時）に、ＩＤ（個人識別情報）およびパスワード等の入力を受け付け、個人認証を行うための画面（認証画面）が表示されてもよい。この場合、個人認証が成功した場合に種別選択画面１００が表示されるようにすることができる。また、生体音取得支援処理の開始時に個人認証を行う場合、事前設定画面の表示を省略することができる。

【0034】

種別選択画面１００は、取得対象となる生体音の種類（聴診種別）を選択するための画面であり、種別選択画面１００には、種別選択部１０１が設けられている。種別選択部１０１は、取得可能な生体音の種類を示す選択肢の中から、取得対象となる生体音の種類（聴診種別）を選択するために設けられる。種別選択部１０１には、「聴診種別を選択してください」というような、電子機器１のユーザに聴診種別の選択を促すメッセージが表示される。

【0035】

また、種別選択部１０１には、取得可能な生体音の種類のそれぞれに割り当てられた複数の操作ボタン１０２が設けられている。図３に示す例では、種別選択部１０１には、腸蠕動音（腸内音）に割り当てられた第１ボタン１０２ａと、不整脈（脈拍音）に割り当てられた第２ボタン１０２ｂと、心雑音（心音）に割り当てられた第３ボタン１０２ｃと、慢性閉塞性肺疾患（ＣＯＰＤ：肺音）に割り当てられた第４ボタン１０２ｄが設けられている。

【0036】

複数の操作ボタン１０２のいずれかが選択されると（取得対象の生体音の種類が選択されると）、図４に示すような撮像準備画面１１０が表示される。なお、操作ボタン１０２および各種操作画面において各種ボタンを選択する操作としては、タッチパネルにおけるタップ操作や、コンピュータマウス（マウスポインタ）によるクリック操作などがある。

【0037】

なお、図４に示す撮像準備画面１１０は、種別選択画面１００において心雑音に割り当てられた第３ボタン１０２ｃが選択された（取得対象の生体音の種類として心雑音が選択された）場合の例を示している。以下、図４～図１３では、取得対象の生体音の種類として心雑音が選択された場合を例に挙げて説明する。

【0038】

撮像準備画面１１０は、撮像部１４を起動してユーザの像を撮像するための画面であり、撮像準備画面１１０には、起動選択部１１１が設けられている。起動選択部１１１には、撮像部１４の起動をキャンセルして種別選択画面１００に戻る機能が割り当てられたキャンセルボタン１１２と、撮像部１４を起動する機能が割り当てられた起動ボタン１１３が設けられている。

【0039】

また、起動選択部１１１には、「ＡＲを起動します」というような、撮像部１４（ＡＲカメラ）を起動することをユーザに通知するメッセージ、および「自分の心臓のあたりが映るようにカメラの位置を調整してください」というような、取得対象の生体音の種類に応じた位置の撮像を促すメッセージが表示されている。なお、「ＡＲ」とは、拡張現実（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）機能および拡張現実機能を有するカメラ（撮像部１４）を示す文字である。

【0040】

起動選択部１１１においてキャンセルボタン１１２が選択されると、撮像部１４は起動されずに種別選択画面１００に戻る。一方、起動選択部１１１において起動ボタン１１３が選択されると、撮像部１４が起動され、図５に示すような器官表示画面１２０が表示される。

【0041】

器官表示画面１２０は、取得対象の生体音に関連する器官画像を、撮像部１４により撮像されたユーザの像の手前に重ねてリアルタイム表示するための画面である。器官表示画面１２０は、器官表示プログラム２０ｃにより実現される。この器官表示画面１２０には、リアルタイム動画像１２１および器官画像表示部１２２が表示されている。

【0042】

リアルタイム動画像１２１は、撮像部１４で撮像された画像に対応するリアルタイム動画像（スルー画像：ライブビュー画像）である。リアルタイム動画像１２１には、少なくともユーザの像が含まれている。ここで、ユーザの像とは、ユーザの体全体の像のうち、少なくとも生体音発生器官の位置（撮像部１４から見て生体音発生器官が存在する位置）を含有する部分的な像のことである。ただし、撮像部１４の画角等によってはリアルタイム動画像１２１にユーザの体全体の像が含まれていてもよい。なお、リアルタイム動画像１２１について説明したことは、後述するリアルタイム動画像１３１，１４１でも同様である。

【0043】

器官画像表示部１２２には器官画像が表示されている。本実施形態では、生体音の種類として心雑音が選択されているため、生体音発生器官は心臓であり、器官画像は心臓の画像である。図５に示す例では、器官画像は、心臓を模した仮想的な画像（コンピュータグラフィックス（ＣＧ））である。

【0044】

器官画像はリアルタイム動画像１２１に含まれるユーザの像に合わせて自動的に設定された位置（器官画像表示位置）に表示されている。器官画像表示位置の設定方法としては、公知の技術を使用することができる。たとえば、器官画像表示位置は、ユーザの像から抽出される体の輪郭、肩や腰等の関節位置または関節位置に基づく骨格、顔の位置等に基づいて設定される。したがって、器官画像は、リアルタイム動画像１２１に含まれるユーザの像において実際に生体音発生器官が存在する位置または実際に生体音発生器官が存在する位置の近傍位置に表示されている。

【0045】

また、ユーザと電子機器１の相対位置が変化するなどしてユーザに対する電子機器１の向き（撮像部１４の向き）が変化した場合、リアルタイム動画像１２１に含まれるユーザの像が変化するため、器官画像表示位置は、所定の周期（０．１～０．３秒）で更新される。これにより、ユーザは、生体音発生器官の大まかな位置をリアルタイムで認識することができる。なお、器官画像表示部１２２について説明したことは、後述する器官画像表示部１３２でも同様である。

【0046】

器官表示画面１２０が表示されてから所定時間（１～６０秒）が経過するか、あるいは器官表示画面１２０において所定の操作（タッチパネルにおけるタップ操作など）があった場合には、図６に示すような指標画像表示画面１３０が表示される。

【0047】

指標画像表示画面１３０は、生体音を取得するために集音器１５ａをユーザの体壁に当接させる当接位置を示す指標画像を、撮像部１４により撮像されたユーザの像の手前に重ねてリアルタイム表示するための画面である。指標画像表示画面１３０は、指標画像表示プログラム２０ｄにより実現される。この指標画像表示画面１３０には、リアルタイム動画像１３１、器官画像表示部１３２、指標画像表示部１３３、および当接指示部１３４が表示されている。

【0048】

指標画像表示部１３３には、リアルタイム動画像１３１に含まれるユーザの像における集音器１５ａの当接位置（聴診位置）を示す指標画像が表示されている。指標画像は、ユーザの注意を引くことができる画像であればよく、図６に示す例では、指標画像は、所定の色（たとえば赤色）に着色された円形の画像である。

【0049】

指標画像は、リアルタイム動画像１２１に含まれるユーザの像または器官画像表示位置に合わせて自動的に設定された位置（指標画像表示位置）に表示されている。指標画像表示位置は、医学的に聴診に適した位置（聴診位置）に設定されている。指標画像表示位置の設定方法としては、器官画像表示位置と同様に、公知の技術を使用することができる。また、指標画像表示位置は、器官画像表示位置を基準に設定されていてもよい。たとえば、本実施形態では、生体音の種類として心雑音が選択されているため、指標画像表示位置（聴診位置）としては心臓の位置または心臓の位置の近傍位置となる。具体的には、指標画像表示位置は、大動脈弁領域、肺動脈弁領域、三尖弁領域、または僧帽弁領域のいずれかに対応する位置となる。これらの各領域は、心臓の位置が基準となるため、器官画像表示位置、すなわち心臓の位置を基準に指標画像表示位置を設定することができる。

【0050】

また、ユーザと電子機器１の相対位置が変化するなどしてユーザに対する電子機器１の向き（撮像部１４の向き）が変化した場合、リアルタイム動画像１２１に含まれるユーザの像が変化するため、指標画像表示位置は、所定の周期（０．１～０．３秒）で更新される。これにより、ユーザは、指標画像表示位置（聴診位置）をリアルタイムで認識することができる。

【0051】

当接指示部１３４は、メッセージにより当接位置に集音器１５ａを当接させるようにユーザに指示する。たとえば、当接指示部１３４には、「聴診器をココに当ててください」というような、当接位置に集音器１５ａを当接させることをユーザに促す画像表示によるメッセージが表示される。また、この画像表示によるメッセージに加えて、当接位置に集音器１５ａを当接させることをユーザに促す音声メッセージを音出力部１６から出力するようにしてもよい。

【0052】

指標画像表示画面１３０が表示されてから所定時間（１～６０秒）が経過するか、あるいは指標画像表示画面１３０において所定の操作（タッチパネルにおけるタップ操作など）があった場合には、図７に示すような集音画面（集音開始画面）１４０が表示される。

【0053】

集音開始画面１４０は、生体音の録音（集音）を開始するための画面である。図７に示すように、集音開始画面１４０には、リアルタイム動画像１４１、集音開始通知部１４２、時間表示部１４３が表示されている。

【0054】

集音開始通知部１４２は、生体音の録音を開始することをメッセージによりユーザに通知するために設けられる。たとえば、集音開始通知部１４２には、「集音を始めます」というような、生体音の録音を開始する旨の画像表示によるメッセージが表示される。また、この画像表示によるメッセージに加えて、生体音の録音を開始する旨の音声メッセージを音出力部１６から出力するようにしてもよい。

【0055】

時間表示部１４３は、生体音の録音開始（集音開始：生体音取得開始）から生体音の録音完了（集音完了：生体音取得完了）までの残り時間を通知するために設けられる。たとえば、時間表示部１４３には、時間表示バーが表示されている。時間表示バーは、初期状態においては全体が所定の色（第１の色：たとえば白色）に着色された状態となっている。

【0056】

生体音の録音が開始されると、図８に示すように集音画面の内容が切り替わる（集音中画面１４０に切り替わる）。図８に示すように、集音中画面１４０では、時間表示部１４３の時間表示バーが、左端から右端に向かって徐々に第１の色とは異なる色（第２の色）に塗りつぶされていく。これにより、ユーザは、第１の色と第２の色の境目（第２の色の右端（先端））の位置および時間表示バーの進み具合を視認することによって、生体音の録音について経過時間または残り時間を視覚的（直感的）に認識することができる。

【0057】

また、生体音の録音が開始されると、時間表示部１４３の近傍（たとえば時間表示部１４３の上側）に、集音完了（録音完了）までの残り時間をユーザに通知する残り時間通知部１４５が表示される。残り時間通知部１４５は、集音完了（録音完了）までの残り時間をユーザに視覚的に通知する。たとえば、残り時間通知部１４５には、集音完了までの残り時間を示す文字（たとえば「残り１０秒」等の文字）が表示されている。これにより、ユーザは、生体音の録音について具体的（詳細）な残り時間を認識することができる。

【0058】

さらに、生体音の録音が開始されると、すなわち、集音中には、指標画像表示部１３３が非表示にされ、指標画像表示部１３３に代えて、リアルタイム動画像１４１に含まれる集音器１５ａの像を取り囲むようなアニメーション画像１４４が表示されている。アニメーション画像１４４は、生体音の録音中であることを視覚的に認識できる画像であればよい。

【0059】

そして、生体音の録音が完了すると、図９に示すように集音画面の内容が切り替わる（集音完了画面１４０に切り替わる）。集音完了画面１４０では、時間表示部１４３の時間表示バーは、その全体が第２の色に塗りつぶされた状態となる。これにより、ユーザは、生体音の録音が完了したこと（残り時間が無くなったこと）を視覚的（直感的）に認識することができる。

【0060】

また、生体音の録音が完了すると、時間表示部１４３の近傍（たとえば時間表示部１４３の上側）に、生体音の録音が完了したことをユーザに通知する完了通知部１４６が表示される。完了通知部１４６は、生体音の録音が完了したことをユーザに視覚的に通知する。たとえば、完了通知部１４６には、生体音の録音が完了したことを示す文字（たとえば「集音完了」等の文字）が表示されている。

【0061】

生体音の録音が完了してから所定時間（１～６０秒）が経過するか、あるいは生体音の録音が完了してから所定の操作（タッチパネルにおけるタップ操作など）があった場合には、図１０に示すような音質査定画面１５０が表示される。

【0062】

生体音の録音が完了すると、電子機器１では録音（集音）された生体音のデータ（生体音データ）の音質を査定する。音質査定画面１５０は、生体音データの音質を査定した結果（査定結果）をユーザに通知するための画面である。図１０に示すように、音質査定画面１５０には、査定点表示部１５１、およびチャート表示部１５２が表示されている。

【0063】

査定点表示部１５１は、生体音データの音質を様々な観点から総合的に評価し、生体音データの音質を点数化（スコア化）した査定点（査定スコア）を表示している。チャート表示部１５２は、生体音データを複数の要素（査定要素）に分け、査定要素毎の音質を示す音質レベルをレーダーチャート形式で表したものである。たとえば、査定要素は、聴診位置の正確性、集音時間、音量、環境雑音、その他ノイズなどである。それぞれの査定要素毎に基準値や許容値が定められており、生体音データの実際の音質に基づいて査定要素毎にレベルが割り当てられる。また、これらの査定要素は、査定点の算出にも用いられている。なお、査定点表示部１５１について説明したことは、後述する査定点表示部１６１でも同様である。

【0064】

音質査定画面１５０が表示されてから所定時間（３～１０秒）が経過するか、あるいは音質査定画面１５０が表示されてから所定の操作（タッチパネルにおけるタップ操作など）があった場合には、図１１に示すような登録画面１６０が表示される。

【0065】

登録画面１６０は、録音した生体音のデータ（生体音データ）を保存（補助記憶部１８に記憶）するための画面である。図１１に示すように、登録画面１６０には、査定点表示部１６１、ユーザに注意事項を通知する注意事項通知部１６２、生体音データを登録せずに生体音取得支援処理を終了する機能が割り当てられたキャンセルボタン１６３、および生体音データを登録する機能が割り当てられた登録ボタン１６４が表示されている。

【0066】

注意事項通知部１６２には、「保存しますか」というような、生体音データを保存するかどうかをユーザに問いかけるメッセージ、および「聴音査定の結果が低いと正確な分析ができません」というような、生体音データの分析に関する注意事項に関するメッセージが表示される。

【0067】

キャンセルボタン１６３が選択されると、生体音データが保存（補助記憶部１８に記憶）されずに（生体音データが破棄されて）生体音取得支援処理を終了する。一方、登録ボタン１６４が選択されると、生体音データが保存（補助記憶部１８に記憶）されるとともに、生体音データを分析する分析処理が実行（開始）され、図１２に示すような分析画面１７０が表示される。

【0068】

分析画面１７０は、分析処理中に表示され、ユーザに分析処理中であることを通知する画面である。分析画面１７０には、生体音再生切替ボタン１７１、音量調節部１７２、および分析処理中であることをユーザに通知するための任意の画像が表示される通知部１７３が表示されている。

【0069】

生体音再生切替ボタン１７１は、生体音の再生（ＯＮ）および停止（ＯＦＦ）の切り替えを行うためのボタンである。生体音再生切替ボタン１７１は、操作されると生体音の再生（ＯＮ）および停止（ＯＦＦ）が切り替わるようになっている。生体音再生切替ボタン１７１が「ＯＮ」である場合、記憶された生体音が再生される（録音された生体音が音出力部１６から出力される）。本実施形態では、生体音の種類として心雑音が選択されているため、心音が再生される。分析画面１７０において生体音を再生することにより、ユーザは自身の生体音を簡単に確認することができる。

【0070】

音量調節部１７２は、生体音が再生される際の音量を調節するために設けられている。音量調節部１７２は、水平方向に延伸するバーと、このバーに沿って変位可能な操作用のつまみ（スライダ）とを有している。生体音が再生される際の音量は、スライダの位置に応じた大きさとなる。

【0071】

分析処理が完了すると、図１３に示すような分析結果表示画面１８０が表示される。分析結果表示画面１８０は、生体音データを分析した結果（分析結果）を表示する画面である。分析結果表示画面１８０には、分析結果を表示する分析結果表示部１８１が表示されている。本実施形態では、生体音の種類として心雑音が選択されているため、分析結果表示部１８１には心雑音に関する心音の分析結果が表示されている。

【0072】

分析結果表示画面１８０が表示されてから所定時間（１～１８０秒）が経過するか、あるいは分析結果表示画面１８０において所定の操作（タッチパネルにおけるタップ操作など）があった場合には、生体音取得支援処理が終了する。
＜本発明の効果＞

【0073】

本発明によれば、生体音に関連する体内の器官の画像を、撮像部１４により撮像されたユーザの像の手前に重ねてリアルタイム表示する。これにより、ユーザは、生体音発生器官の大まかな位置をリアルタイムで認識することができるから、より視覚的にわかりやすく簡単に器官の位置を認識し、生体音を正しい位置で適切に取得でき、生体音取得支援装置としての電子機器１使い勝手の向上を図ることができる。

【0074】

また、本発明によれば、生体音を取得するために集音器１５ａを当接させる当接位置を示す指標画像を、撮像部１４により撮像された前記ユーザの像の手前に重ねてリアルタイム表示する。これにより、ユーザは、集音器１５ａを当接させる当接位置をリアルタイムで認識することができるから、位置がずれていてもリアルタイムに確認しながら正しい位置へ変更できる。これにより、より視覚的にわかりやすく簡単に集音器を適切な位置に当接さて、生体音を正しい位置で適切に取得でき、生体音取得支援装置としての電子機器１使い勝手の向上を図ることができる。また、撮像しているユーザの位置が変動しても、指標画像はこれに追随して常に人体上の正しい位置にリアルタイムに表示されるため、ユーザが体をわざと動かして位置を確認するといったこともできる。これにより、リアルタイムに撮像され表示されているユーザの像の上の集音器１５ａが重畳表示された指標画像により見づらいことがあっても、体の位置を動かしながら正しいか確認するといったことができる。

【0075】

さらに、本発明によれば、指標画像を表示した状態で、当接位置に集音器１５ａを当接させるようにユーザに指示する。これにより、指標画像を表示した状態で、ユーザに当接位置に集音器１５ａを当接させることを促すことができ、生体音取得支援装置としての電子機器１使い勝手の向上を図ることができる。

【0076】

さらにまた、本発明によれば、生体音の取得開始および生体音の取得完了をユーザに通知する。これにより、ユーザは、生体音の取得（録音）が開始されたこと、生体音の取得中（録音中）であること、生体音の取得（録音）が完了したことを容易に認識することができ、生体音取得支援装置としての電子機器１使い勝手の向上を図ることができる。

【0077】

また、本発明によれば、生体音の取得開始後、生体音の取得完了までの残り時間を通知する。れにより、ユーザは、生体音の取得完了までの残り時間を容易に認識することができ、生体音取得支援装置としての電子機器１使い勝手の向上を図ることができる。

【0078】

この発明における生体音取得支援装置は、電子機器１に対応し、以下同様に、集音器は集音器１５ａに対応し、生体音取得部は生体音取得部１５に対応し、撮像部は、撮像部１４に対応し、器官表示部は、器官画像表示部１２２に対応し、指標画像表示部は、指標画像表示部１３３に対応し、当接指示部は、当接指示部１３４に対応し、通知部は、集音開始通知部１４２、時間表示部１４３または完了通知部１４６に対応するが、この発明は本実施形態に限られず他の様々な実施形態とすることができる。また、上述の実施形態で挙げた画面および具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。

【0079】

たとえば、上述の実施形態では取得対象の生体音の種類として心雑音が選択された場合を例に挙げて説明したが、取得対象の生体音の種類を駆出音または不整脈としてもよい。また、上述の実施形態では生体音発生器官が心臓であったが、生体音発生器官は、肺、胃、腸等の他の内蔵でもよいし、咽頭部または口腔内でもよい。これらの場合、器官画像表示位置および指標画像表示位置は取得対象の生体音の種類または生体音発生器官に合わせて適宜の位置に設定することができる。

【産業上の利用可能性】

【0080】

この発明は、コンピュータを利用して生体音の取得を支援するような産業に利用することができる。

【符号の説明】

【0081】

１…電子機器
１１…制御部
１２…入力部
１３…表示部
１４…撮像部
１５…生体音取得部
１５ａ…集音器
１６…音声出力部
１７…通信部
１８…補助記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】