特開 2024-165196 医用画像診断システム及び医用画像診断システムの作動方法並びに情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165196

(43)【公開日】2024-11-28

(54)【発明の名称】医用画像診断システム及び医用画像診断システムの作動方法並びに情報処理システム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20241121BHJP

【ＦＩ】

A61B5/055 390

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023081129

(22)【出願日】2023-05-16

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】中山 武

(72)【発明者】

【氏名】横浜 亘

【テーマコード（参考）】

4C096

【Ｆターム（参考）】

4C096AB46

4C096AB47

4C096AC01

4C096AD19

4C096DA17

4C096FC09

4C096FC10

(57)【要約】

【課題】画像診断装置による検査中の被検者の不安を低減することができる医用画像診断システム及び医用画像診断システムの作動方法並びに情報処理システムを提供する。
【解決手段】ＭＲＩ検査中に被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１カメラ１５及び／又は第１マイク１６と、検査開始前に、被検者への質問に対する被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２カメラ３１及び／又は第２マイク３２と、投影機１７と、プロセッサと、を備え、プロセッサは、第２カメラ３１及び／又は第２マイク３２が検出した応答情報に基づいて被検者の音声発生に関連する被検者特徴情報を生成し、第１カメラ１５及び／又は第１マイク１６が検出した発言関連情報と被検者特徴情報とに基づいて被検者の発言内容を認識し、認識した発言内容を投影機１７により表示させる医用画像診断システムである。
【選択図】 図７

【特許請求の範囲】

【請求項1】

医用画像を取得する画像診断装置と、
前記画像診断装置による被検者の検査中に前記被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１検出器と、
前記画像診断装置による被検者の検査開始前に、前記被検者への質問に対する前記被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２検出器と、
前記画像診断装置による検査中に前記被検者が視認可能な態様で情報を表示する第１表示器と、
プロセッサと、
前記プロセッサに実行させるプログラムを記憶するメモリと、を備え、
前記プロセッサは、
前記第２検出器が検出した前記応答情報に基づいて前記被検者の音声発生に関連する被検者特徴情報を生成し、
前記第１検出器が検出した前記発言関連情報と前記被検者特徴情報とに基づいて前記被検者の発言内容を認識し、前記認識した発言内容を前記第１表示器に表示させる、
医用画像診断システム。

【請求項2】

前記第１検出器は、前記画像診断装置又は前記画像診断装置の近傍に配設され、前記画像診断装置による検査中の前記被検者の顔領域の少なくとも口唇部を含む映像を撮影する第１カメラ及び前記被検者が発する音声を検出する第１マイクのうちの少なくとも一方を含む、
請求項１に記載の医用画像診断システム。

【請求項3】

前記発言関連情報は、前記第１カメラが撮影した映像から取得される前記被検者の口唇動作である、
請求項２に記載の医用画像診断システム。

【請求項4】

前記第２検出器は、前記画像診断装置に対して前記第１検出器よりも離れた位置に設けられ、前記被検者の顔領域を含む映像を撮影する第２カメラ及び前記被検者が発する音声を検出する第２マイクのうちの少なくとも一方を含む、
請求項１に記載の医用画像診断システム。

【請求項5】

前記応答情報は、前記第２カメラが撮影した映像から取得される前記被検者の口唇動作である、
請求項４に記載の医用画像診断システム。

【請求項6】

前記被検者への質問を行う質問装置を備え、
前記質問装置は、音声及びモニタ画面上の文字のうちの少なくとも一方で、予め定めた形式の質問を行う、
請求項１に記載の医用画像診断システム。

【請求項7】

前記予め定めた形式の質問は、前記検査中に前記被検者が発する可能性がある発言を、回答として誘導し、又は音読させる質問内容を含む、
請求項６に記載の医用画像診断システム。

【請求項8】

前記プロセッサは、
前記第２検出器が検出した前記応答情報に基づいて被検者専用の第１機械学習モデルを学習させ、
前記第１検出器が検出した前記発言関連情報を、学習済みの前記第１機械学習モデルに入力し、前記第１機械学習モデルが認識した前記発言内容を取得する、
請求項１に記載の医用画像診断システム。

【請求項9】

前記被検者特徴情報は、前記被検者の応答情報に基づく前記第１機械学習モデルの学習過程で最適化されたパラメータを含む、
請求項８に記載の医用画像診断システム。

【請求項10】

複数人の発言に関連する発言関連情報からなる学習データセットに基づいて予め機械学習が行われた第２機械学習モデルを有し、
前記プロセッサは、前記第１機械学習モデルが認識した前記発言内容が意味ある内容になっていない場合、又は前記発言内容の確信度が閾値未満の場合には、前記第２検出器が検出した前記発言関連情報を、前記第２機械学習モデルに入力し、前記第２機械学習モデルが認識した発言内容を取得する、
請求項８又は９に記載の医用画像診断システム。

【請求項11】

前記画像診断装置の操作室にいる操作者に前記発言内容を報知する報知器を備え、
前記プロセッサは、前記発言内容を前記報知器に出力する、
請求項１に記載の医用画像診断システム。

【請求項12】

前記報知器は、前記発言内容を示す文字を表示する第２表示器及び前記発言内容を示す音声を発生するスピーカのうちの少なくとも一方である、
請求項１１に記載の医用画像診断システム。

【請求項13】

前記プロセッサは、
前記第１検出器が前記発言関連情報を検出してから一定時間以上、次の発言関連情報を検出しない場合に、前記被検者の口唇動作が前記画像診断装置による前記被検者の検査に支障があるか否かを判別し、前記被検者の検査に支障がないと判別すると、前記被検者に発言を促す文字を前記第１表示器に表示させる、
請求項３に記載の医用画像診断システム。

【請求項14】

前記画像診断装置による前記被検者の検査中に前記被検者のバイタル情報を測定するバイタル情報測定器を備え、
前記プロセッサは、前記発言内容と前記測定した前記バイタル情報とに基づいて前記発言内容に対する返答が必要か否かを判定し、前記返答が必要と判定すると、前記発言内容に対応する返答文を作成し、前記返答文を前記第１表示器に表示させる、
請求項１に記載の医用画像診断システム。

【請求項15】

前記バイタル情報測定器は、前記被検者の心拍数、血圧、呼吸数、体温、心電及び血中酸素飽和濃度のうちの１以上を測定する、
請求項１４に記載の医用画像診断システム。

【請求項16】

前記第１表示器は、前記被検者が視認可能なスクリーンに投影する投影機、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、液晶ディスプレイ、又は有機ＥＬディスプレイである、
請求項１に記載の医用画像診断システム。

【請求項17】

前記画像診断装置は、磁気共鳴イメージング装置、Ｘ線ＣＴ装置、ＰＥＴ装置、放射線治療装置、又は粒子線治療装置を含む、
請求項１から９のいずれか１項に記載の医用画像診断システム。

【請求項18】

画像診断装置による被検者の検査中に前記被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１検出器と、前記画像診断装置による被検者の検査開始前に、前記被検者への質問に対する前記被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２検出器と、前記画像診断装置による検査中に前記被検者が視認可能な態様で情報を表示する第１表示器と、プロセッサと、前記プロセッサに実行させるプログラムを記憶するメモリと、を備えた医用画像診断システムの作動方法であって、
前記プロセッサが、
前記第２検出器が検出した前記応答情報に基づいて前記被検者の音声発生に関連する被検者特徴情報を生成するステップと、
前記第１検出器が検出した前記発言関連情報と前記被検者特徴情報とに基づいて前記被検者の発言内容を認識するステップと、
前記認識した発言内容を前記第１表示器に表示させるステップと、
をそれぞれ前記プロセッサが実行する医用画像診断システムの作動方法。

【請求項19】

前記第２検出器が検出した前記応答情報に基づいて被検者専用の第１機械学習モデルを学習させるステップと、
前記第１検出器が検出した前記発言関連情報を、学習済みの前記第１機械学習モデルに入力し、前記第１機械学習モデルが認識した前記発言内容を取得するステップと、
を前記プロセッサが実行する請求項１８に記載の医用画像診断システムの作動方法。

【請求項20】

画像診断装置による被検者の検査中に前記被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１検出器と、
前記画像診断装置による被検者の検査開始前に、前記被検者への質問に対する前記被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２検出器と、
前記画像診断装置による検査中に前記被検者が視認可能な態様で情報を表示する第１表示器と、
プロセッサと、
前記プロセッサに実行させるプログラムを記憶するメモリと、を備え、
前記プロセッサは、
前記第２検出器が検出した前記応答情報に基づいて前記被検者の音声発生に関連する被検者特徴情報を生成し、
前記第１検出器が検出した前記発言関連情報と前記被検者特徴情報とに基づいて前記被検者の発言内容を認識し、前記認識した発言内容を前記第１表示器に表示させる、
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は医用画像診断システム及び医用画像診断システムの作動方法並びに情報処理システムに係り、特に画像診断装置による検査中の被検者の不安を低減する技術に関する。

【背景技術】

【0002】

磁気共鳴イメージング装置（ＭＲＩ（Magnetic Resonance Imaging）装置）、Ｘ線ＣＴ（Computed Tomography）装置などの画像診断装置による被検者の検査時間は、比較的長く、ＭＲＩ装置の場合には２０分～３０分程度、Ｘ線ＣＴ装置の場合には、単純検査で５～１０分程度、造影検査で５～２０分程度の時間を要する。

【0003】

また、ＭＲＩ装置等による撮像は、「ボア」と呼ばれる円筒状の撮像空間内で行われ、検査中は体動が画像アーチファクトになりうるため、呼吸を含め、体動を極力抑える必要がある。「ボア」という閉所空間で、長時間にわたり、体動を抑制して検査を受けることは、被検者にとってストレスとなっている。

【0004】

検査中、被検者は閉所で体動が許されない中、不安を感じ体調不良になる場合がある。不安や体調不良を技師に伝えようとしても、ＭＲＩ装置は検査音が大きく、操作室にいる技師に伝わらないケースがある。

【0005】

特許文献１には、磁気共鳴撮像システムのオペレータと、磁気共鳴撮像システムにおいて撮像されている被検者との間のコミュニケーションを取る技術が記載されている。

【0006】

特許文献１に記載の磁気共鳴撮像システムは、磁気共鳴撮像データの取得中に被検者の顔領域の動画像を取得し、取得した動画像から音声活動状態（被検者が発話中状態か、又は非発話中状態）を決定し、音声活動状態が発話中状態を示す場合には、ユーザインターフェース上に開かれるダイアログボックスに「被検者の発話が検出されました」の表示や、通信チャネルを開くためのインジケータを表示し、通信チャネルが開かれると、被検者は、被検者マイクを使用してオペレータと話すこと（オペレータは、被検者の音声を聞くこと）ができる。

【0007】

また、特許文献１には、被検者の顔領域の動画像から発話時の口の動き（顔の動き）を検出することで、通常は患者がバルーンを押すことによってトリガーされるイベントをトリガーすることができ、これによりバルーンを省くことができるという記載がある。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特表２０２１－５２６０４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１には、最初のスキャンの準備段階中（準備フェーズのサイレント期間）、及びその後のスキャンとスキャンの間にオペレータと被検者とは会話ができる記載があるが、パルスシーケンスコマンドの実行中に会話ができる記載はない。特にパルスシーケンスコマンドの実行中は、ＭＲＩ装置が発生する騒音によりオペレータの話が聞き取れないと考えられる。

【0010】

その一方、パルスシーケンスコマンドの実行中であってもオペレータは、音声活動状態が発話中状態を示す場合、ノイズキャンセル等により被検者の音声を聞くことができるが、被検者は発言内容がオペレータに伝わったか否かの確認をとることができない。

【0011】

即ち、特許文献１に記載の磁気共鳴撮像システムは、検査中に被検者の不安や体調不良等をオペレータに音声で伝えることができるものの、発言内容がオペレータに確実に伝わっているかどうか（外部と繋がっているのかどうか）の確認が取れず、検査室に一人取り残される不安を解消することができない。

【0012】

本発明はこのような事情に鑑みてなされたもので、画像診断装置による検査中の被検者の不安を低減することができる医用画像診断システム及び医用画像診断システムの作動方法並びに情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0013】

第１態様に係る発明は、医用画像を取得する画像診断装置と、画像診断装置による被検者の検査中に被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１検出器と、画像診断装置による被検者の検査開始前に、被検者への質問に対する被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２検出器と、画像診断装置による検査中に被検者が視認可能な態様で情報を表示する第１表示器と、プロセッサと、プロセッサに実行させるプログラムを記憶するメモリと、を備え、プロセッサは、第２検出器が検出した応答情報に基づいて被検者の音声発生に関連する被検者特徴情報を生成し、第１検出器が検出した発言関連情報と被検者特徴情報とに基づいて被検者の発言内容を認識し、認識した発言内容を第１表示器に表示させる、医用画像診断システムである。

【0014】

第１態様に係る発明によれば、事前に被検者への質問に対する被検者の応答情報を映像及び音声の少なくとも一方により検出し、その応答情報に基づいて被検者の音声発生に関連する被検者特徴情報を生成する。そして、画像診断装置による被検者の検査中に、被検者の発言に関連する発言関連情報を映像及び音声の少なくとも一方により検出すると、その発言関連情報と被検者特徴情報とに基づいて被検者の発言内容を認識し、認識した発言内容を第１表示器に表示させる。これにより、被検者は自分の発言内容を第１表示器で視認でき、本システムが自分の発言内容を理解していることを確認することができ、安心感が得られる。

【0015】

本発明の第２態様に係る医用画像診断システムは、第１態様において、第１検出器は、画像診断装置又は画像診断装置の近傍に配設され、画像診断装置による検査中の被検者の顔領域の少なくとも口唇部を含む映像を撮影する第１カメラ及び被検者が発する音声を検出する第１マイクのうちの少なくとも一方を含むことが好ましい。

【0016】

本発明の第３態様に係る医用画像診断システムは、第２態様において、発言関連情報は、第１カメラが撮影した映像から取得される被検者の口唇動作であることが好ましい。被検者の口唇動作を解析することで、被検者の発言内容を「読唇」するためである。

【0017】

本発明の第４態様に係る医用画像診断システムは、第１態様から第３態様のいずれかにおいて、第２検出器は、画像診断装置に対して第１検出器よりも離れた位置に設けられ、被検者の顔領域を含む映像を撮影する第２カメラ及び被検者が発する音声を検出する第２マイクのうちの少なくとも一方を含むことが好ましい。

【0018】

本発明の第５態様に係る医用画像診断システムは、第４態様において、応答情報は、第２カメラが撮影した映像から取得される被検者の口唇動作であることが好ましい。事前に被検者の発話時の特徴（被検者の口唇動作）を取得するためである。

【0019】

本発明の第６態様に係る医用画像診断システムは、第１態様から第５態様のいずれかにおいて、被検者への質問を行う質問装置を備え、質問装置は、音声及びモニタ画面上の文字のうちの少なくとも一方で、予め定めた形式の質問を行うことが好ましい。尚、画像診断装置を操作する操作者等が、被検者に質問することを妨げるものではない。

【0020】

本発明の第７態様に係る医用画像診断システムは、第６態様において、予め定めた形式の質問は、検査中に被検者が発する可能性がある発言を回答として誘導し、又は音読させる質問内容を含むことが好ましい。被検者の発言内容を自動認識する際の認識精度を上げるためである。

【0021】

本発明の第８態様に係る医用画像診断システムは、第１態様から第７態様のいずれかにおいて、プロセッサは、第２検出器が検出した応答情報に基づいて被検者専用の第１機械学習モデルを学習させ、第１検出器が検出した発言関連情報を、学習済みの第１機械学習モデルに入力し、第１機械学習モデルが認識した発言内容を取得することが好ましい。被検者ごとにカスタマイズされた第１機械学習モデルを使用することで、被検者の発言内容の認識精度を上げるようにしている。

【0022】

本発明の第９態様に係る医用画像診断システムは、第８態様において、被検者特徴情報は、被検者の応答情報に基づく第１機械学習モデルの学習過程で最適化されたパラメータを含む。

【0023】

本発明の第１０態様に係る医用画像診断システムは、第８態様又は第９態様において、複数人の発言に関連する発言関連情報からなる学習データセットに基づいて予め機械学習が行われた第２機械学習モデルを有し、プロセッサは、第１機械学習モデルが認識した発言内容が意味ある内容になっていない場合、又は発言内容の確信度が閾値未満の場合には、第２検出器が検出した発言関連情報を、第２機械学習モデルに入力し、第２機械学習モデルが認識した発言内容を取得することが好ましい。被検者への質問の数（被検者への質問に対する被検者の応答情報）が少なく、第１機械学習モデルの学習が十分でない場合や、多数の被検者の発言に関連する発言関連情報からなる学習データセットにより学習させた第２機械学習モデルを使用した方が、第１機械学習モデルを使用する場合よりも認識精度が高い場合があるからである。

【0024】

本発明の第１１態様に係る医用画像診断システムは、第１態様から第１０態様のいずれかにおいて、画像診断装置の操作室にいる操作者に発言内容を報知する報知器を備え、プロセッサは、発言内容を報知器に出力することが好ましい。これにより、操作者も被検者の発言内容を確認することができる。

【0025】

本発明の第１２態様に係る医用画像診断システムは、第１１態様において、報知器は、発言内容を示す文字を表示する第２表示器及び発言内容を示す音声を発生するスピーカのうちの少なくとも一方である。

【0026】

本発明の第１３態様に係る医用画像診断システムは、第３態様において、プロセッサは、第１検出器が発言関連情報を検出してから一定時間以上、次の発言関連情報を検出しない場合に、被検者の口唇動作が画像診断装置による被検者の検査に支障があるか否かを判別し、被検者の検査に支障がないと判別すると、被検者に発言を促す文字を第１表示器に表示させることが好ましい。検査部位が頭部以外の場合、被検者の発話による体動（頭部の動き）は、頭部以外の部位の検査には支障がないと判定できる。この場合、被検者に発言を促す文字を第１表示器に表示させ、被検者と操作者との間でコミュニケーションを図ることができ、被検者の不安を解消させることができる。

【0027】

本発明の第１４態様に係る医用画像診断システムは、第１態様から第１３態様のいずれかにおいて、画像診断装置による被検者の検査中に被検者のバイタル情報を測定するバイタル情報測定器を備え、プロセッサは、発言内容と測定したバイタル情報とに基づいて発言内容に対する返答が必要か否かを判定し、返答が必要と判定すると、発言内容に対応する返答文を作成し、返答文を第１表示器に表示させることが好ましい。被検者の発言内容に加えて被検者のバイタル情報を取得することで、被検者の不安感、体調等をより適切に判断し、被検者に対して必要な情報を提供することができる。

【0028】

本発明の第１５態様に係る医用画像診断システムは、第１４態様において、バイタル情報測定器は、被検者の心拍数、血圧、呼吸数、体温、心電及び血中酸素飽和濃度のうちの１以上を測定することが好ましい。

【0029】

本発明の第１６態様に係る医用画像診断システムは、第１態様から第１５態様のいずれかにおいて、第１表示器は、被検者が視認可能なスクリーンに投影する投影機、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、液晶ディスプレイ、又は有機ＥＬディスプレイである。

【0030】

本発明の第１７態様に係る医用画像診断システムは、第１態様から第１６態様のいずれかにおいて、画像診断装置は、磁気共鳴イメージング装置、Ｘ線ＣＴ装置、ＰＥＴ装置、放射線治療装置、又は粒子線治療装置を含む。本発明は、検査時間、治療時間が比較的長くなる画像診断装置に対して好適である。

【0031】

第１８態様に係る発明は、画像診断装置による被検者の検査中に被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１検出器と、画像診断装置による被検者の検査開始前に、被検者への質問に対する被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２検出器と、画像診断装置による検査中に被検者が視認可能な態様で情報を表示する第１表示器と、プロセッサと、プロセッサに実行させるプログラムを記憶するメモリと、を備えた医用画像診断システムの作動方法であって、プロセッサが、第２検出器が検出した応答情報に基づいて被検者の音声発生に関連する被検者特徴情報を生成するステップと、第１検出器が検出した発言関連情報と被検者特徴情報とに基づいて被検者の発言内容を認識するステップと、認識した発言内容を第１表示器に表示させるステップと、をそれぞれプロセッサが実行する医用画像診断システムの作動方法である。

【0032】

本発明の第１９態様に係る医用画像診断システムの作動方法は、第１８態様において、第２検出器が検出した応答情報に基づいて被検者専用の第１機械学習モデルを学習させるステップと、第１検出器が検出した発言関連情報を、学習済みの第１機械学習モデルに入力し、第１機械学習モデルが認識した発言内容を取得するステップと、をプロセッサが実行することが好ましい。

【0033】

第２０態様に係る発明は、画像診断装置による被検者の検査中に被検者の発言に関連する発言関連情報を、映像及び音声の少なくとも一方により検出する第１検出器と、画像診断装置による被検者の検査開始前に、被検者への質問に対する被検者の応答情報を、映像及び音声の少なくとも一方により検出する第２検出器と、画像診断装置による検査中に被検者が視認可能な態様で情報を表示する第１表示器と、プロセッサと、プロセッサに実行させるプログラムを記憶するメモリと、を備え、プロセッサは、第２検出器が検出した応答情報に基づいて被検者の音声発生に関連する被検者特徴情報を生成し、第１検出器が検出した発言関連情報と被検者特徴情報とに基づいて被検者の発言内容を認識し、認識した発言内容を第１表示器に表示させる、情報処理システムである。

【発明の効果】

【0034】

本発明によれば、画像診断装置による検査中の被検者は、自分の発言内容が外部の操作者等に伝わっていることを確認することができ、安心感が得られる。

【図面の簡単な説明】

【0035】

【図1】図１は、本発明に係る医用画像診断システムが適用される画像診断施設の間取り図の概要を示す図である。

【図2】図２は、画像診断装置の一例を示す斜視図である。

【図3】図３は、図２に示したＭＲＩ装置の模式的な断面図である。

【図4】図４は、ＭＲＩ装置に対する被検者の身体の向きの入れ替えを示す図である。

【図5】図５は、操作室の内部の様子を示す図である。

【図6】図６は、問診室に設置された設備の一例を示す図である。

【図7】図７は、本発明に係る医用画像診断システムの構成図である。

【図8】図８は、医用画像診断システムを構成する主要な機器である医用画像診断装置のハードウェアの実施形態を示すブロック図である。

【図9】図９は、発言認識部の実施形態を示す概念図である。

【図10】図１０は、ＭＲＩ装置による検査中に被検者が視認可能な態様で情報を表示する第１表示器の他の実施形態を示す図である。

【図11】図１１は、被検者が問診室にいる場合に作動する医用画像診断システムの作動方法の実施形態を示すフローチャートである。

【図12】図１２は、ＭＲＩ検査中の医用画像診断システムの作動方法の第１実施形態を示すフローチャートである。

【図13】図１３は、ＭＲＩ検査中の医用画像診断システムの作動方法の第２実施形態を示すフローチャートである。

【図14】図１４は、ＭＲＩ検査中の医用画像診断システムの作動方法の第３実施形態を示すフローチャートである。

【発明を実施するための形態】

【0036】

以下、添付図面に従って本発明に係る医用画像診断システム及び医用画像診断システムの作動方法並びに情報処理システムの好ましい実施形態について説明する。

【0037】

［医用画像診断システムの概要］
図１は、本発明に係る医用画像診断システムが適用される画像診断施設の間取り図の概要を示す図である。

【0038】

図１に示す画像診断施設は、病院や健康診断施設の一部の施設であり、画像診断装置が設置されている検査室１と、画像診断装置を操作者が操作する操作室２と、被検者の問診等を行う問診室３と、被検者及びその家族等の付添人が待機する待合室４とを有する。

【0039】

図２は、画像診断装置の一例を示す斜視図である。

【0040】

図２に示す画像診断装置は、磁気共鳴イメージング装置（ＭＲＩ装置）１０であり、ガントリ１１と、ガントリ１１に設けられた円筒状の撮影空間であるボア１２の前方側に配置された天板１３Ａを備えた寝台１３とを備えている。

【0041】

本例の画像診断装置は、ＭＲＩ装置１０であるが、本発明はこれに限らず、Ｘ線ＣＴ装置、ＰＥＴ(Positron Emission Tomography)装置、放射線治療装置、又は粒子線治療装置を含む。本発明は、検査時間、治療時間が比較的長くなる装置に対して好適である。

【0042】

図３は、図２に示したＭＲＩ装置の模式的な断面図である。

【0043】

図３において、ガントリ１１には、ＭＲＩ磁石１０Ａ、その他各種のコイルが配設されており、天板１３Ａに仰臥している被検者５は、天板１３Ａをボア１２に移動させることで、被検者５の検査部位が、ボア１２内の静磁場中心に位置するように移動させられる。被検者５の検査部位には、人体からのＦＩＤ（Free Induction Decay）を受信するためのＲＦ（Radio Frequency）コイル１０Ｂが配置される。本例では、被検者５の腹部が検査部位であり、ＲＦコイル１０Ｂは腹部に配置されている。

【0044】

ボア１２の両端の上部には、第１検出器である第１カメラ１５（１５Ａ、１５Ｂ）、及び第１マイク１６（１６Ａ、１６Ｂ）が配置されている。尚、図３上で、ボア１２の左端の上部に第１カメラ１５Ａ、第１マイク１６Ａが配置され、ボア１２の右端の上部に第１カメラ１５Ｂ、第１マイク１６Ｂが配置されている。

【0045】

２台の第１カメラ１５Ａ、１５Ｂは、それぞれ被検者５を撮影し、動画（映像）を出力するもので、２台の第１カメラ１５Ａ、１５Ｂの少なくとも一方は、被検者５の顔領域を含む映像を撮影する。

【0046】

また、２台の第１マイク１６Ａ、１６Ｂは、それぞれ被検者５が発する音声を検出する。第１マイク１６Ａ、１６Ｂは、受音体部に非磁性体である圧電セラミックを使用した非磁性マイクが好ましい。

【0047】

天板１３Ａの一端（図３上では、左端）には、投影機１７が配置されており、投影機１７は、ボア１２内の天井部分に配設されたスクリーン１７Ａに映像を投影する。この投影機１７は、ＭＲＩ装置１０による検査中に被検者５が視認可能な態様で情報を表示する表示器（第１表示器）として機能し、被検者５は、スクリーン１７Ａに投影された映像を検査中に視認することがきる。尚、スクリーン１７Ａを設けずに、ボア１２内の天井部分をスクリーンとして使用するようにしてもよい。

【0048】

また、図３において、１８は、バイタル情報測定器であり、被検者５の心拍数、血圧、呼吸数、体温、心電及び血中酸素飽和濃度のうちの１以上を測定する。バイタル情報測定器１８は、被検者５の背中部分に配置されているものに限らない。

【0049】

具体的なバイタル情報測定器１８としては、心電、心拍を測定するＥＣＧ（electrocardiogram）センサ、血中酸素飽和濃度を測定するＳｐＯ２センサ、呼吸数を検出するベローズ、被検者５の表情、体温等の検出が可能な光学カメラ、赤外線カメラ、体温を測定するサーモグラフィ、ＮＭＲ（Nuclear Magnetic Resonance）信号（ＭＲＩ検査で取得した信号自体）、ＭＲＩ画像（ＮＭＲ信号を画像化したもの）、その他のセンサ（圧力センサ、光学センサ、超音波センサなど）、及びこれらを組み合わせたものが考えられる。

【0050】

図４は、ＭＲＩ装置に対する被検者の身体の向きの入れ替えを示す図である。

【0051】

図４（Ａ）は、被検者５がボア１２内に頭から入る場合（ヘッドファースト）を示し、図４（Ｂ）は、被検者５がボア１２内に足から入る場合（フットファースト）を示している。

【0052】

被検者５の検査部位に応じてヘッドファースト又はフットファーストが選択される。本例では、ヘッドファースト又はフットファーストの何れが選択されても、被検者５の顔領域の撮影及び音声の検出ができるように、ボア１２の両端部にそれぞれ第１カメラ１５Ａ、１５Ｂ、及び第１マイク１６Ａ、１６Ｂが配置されている。

【0053】

尚、第１カメラ１５（１５Ａ、１５Ｂ）、及び第１マイク１６（１６Ａ、１６Ｂ）は、本例では２台であるが、これに限らず、１台でもよいし、３台以上でもよい。また、第１カメラ１５、及び第１マイク１６は、ＭＲＩ装置１０に配置する場合に限らず、ＭＲＩ装置１０の近傍に配置するようにしてもよい。

【0054】

図５は、操作室の内部の様子を示す図である。

【0055】

図５に示すように操作室２には、検査室１に設置されたＭＲＩ装置１０を制御し、また、ＭＲＩ装置１０から出力されるＮＭＲ信号を処理し、ＭＲＩ画像を生成する情報処理装置２０が設置されている。

【0056】

情報処理装置２０は、コンピュータを用いて構成することができる。情報処理装置２０に適用されるコンピュータは、パーソナルコンピュータであってもよいし、ワークステーションであってもよい。操作者２８は、キーボード、マウス等の操作部を使用し、情報処理装置２０を通じてＭＲＩ装置１０の動作を制御することができる。

【0057】

また、本例の情報処理装置２０は、本発明に係る医用画像診断システム及び情報処理システムの一部の機能を備えているが、その詳細については後述する。

【0058】

情報処理装置２０は、検査中に被検者が発する発言内容を示す文字、ＭＲＩ画像、バイタル情報、及びその他の情報を表示する表示器（第２表示器）２５、及び検査中に被検者が発する発言内容を示す音声等を発生するスピーカ２６を備えている。

【0059】

また、図５において、２Ａは、操作者２８が検査室１の様子を観るための窓である。２９は、第１カメラ１５Ａ，１５Ｂが撮影した映像を表示する表示器である。

【0060】

図６は、問診室に設置された設備の一例を示す図である。

【0061】

図６に示すように問診室３には、第２カメラ３１と、第２マイク３２と、質問装置３３と、表示器３４とが設けられている。

【0062】

操作者２８は、被検者５を問診室３に入室させ、ＭＲＩ検査の説明、問診等を行うが、本例では、表示器３４の前に被検者５を案内し、質問装置３３を動作させる。

【0063】

質問装置３３は、予め定めた形式の質問を、表示器３４による文字表示、及び図示しないスピーカからの音声により行う。

【0064】

予め定めた形式の質問は、ＭＲＩ装置１０による検査中に被検者が発する可能性がある発言を回答として誘導し、又は音読させる質問内容を含むことが好ましい。

【0065】

検査中に被検者が発する可能性がある発言の例としては、
・体調が悪くなりました
・耳が痛いです
・息苦しいです
・検査はあとどの位で終わりますか
などが考えられる。

【0066】

その他、氏名、生年月日などの本人確認のための質問を行うことができる。

【0067】

また、質問装置３３は、ＭＲＩ検査の説明を、表示器３４に表示される映像、及び音声により行ってもよい。

【0068】

第２カメラ３１及び第２マイク３２は、それぞれＭＲＩ装置１０による被検者５の検査開始前に、被検者５への質問に対する被検者５の応答情報を、映像及び音声により検出する検出器（第２検出器）として機能する。

【0069】

第２カメラ３１は、被検者５の顔領域を含む動画（映像）を撮影するビデオカメラにより構成することができる。また、第２マイク３２は、第２カメラ３１であるビデオカメラに設けられたマイクを使用することができる。これにより、第２カメラ３１は、音声付きの動画（映像）を記録及び出力する。

【0070】

尚、本例では、第２カメラ３１、第２マイク３２、質問装置３３、及び表示器３４は、問診室３に設置されているが、これに限らず、検査室１以外の他の部屋、あるいは検査室１が十分広い場合や、逆に小さな病院で検査室・操作室の他には小さな脱衣室しか取れない場合は、検査室１と同じ部屋でＭＲＩ装置１０から離れた位置（ＭＲＩ装置１０に対して第１検出器である第１カメラ１５、及び第１マイク１６よりも離れた位置）に設置しても良い。

【0071】

［医用画像診断システムの構成図］
図７は、本発明に係る医用画像診断システムの構成図である。

【0072】

図７に示す医用画像診断システムは、検査室１、操作室２、及び問診室３に設置された、前述した各種の機器が、ＬＡＮ（Local area network）等のネットワーク５０を介して相互に接続されて構成されている。また、待合室４の端末４０もネットワーク５０を通じて通信可能になっている。

【0073】

図８は、医用画像診断システムを構成する主要な機器である情報処理装置のハードウェアの実施形態を示すブロック図である。

【0074】

図８に示す情報処理装置２０は、前述したようにコンピュータ等により構成され、プロセッサ２１、メモリ２２、データベース２３、入出力インターフェース２４、表示器（第２表示器）２５、スピーカ２６、及び操作部２７等を備える。

【0075】

プロセッサ２１は、ＣＰＵ（Central Processing Unit）等から構成され、情報処理装置２０の各部、及び検査室１、操作室２、問診室３に設置された各種の機器（図７参照）を統括制御するとともに、メモリ２２に記憶された情報処理プログラムを実行することで、後述する各種の機能を実現させる。

【0076】

メモリ２２は、フラッシュメモリ、ＲＯＭ（Read-only Memory）、ＲＡＭ(Random Access Memory)、ハードディスク装置等を含む１以上のメモリである。フラッシュメモリ、ＲＯＭ及びハードディスク装置は、オペレーションシステム、及びプロセッサ２１を情報処理装置２０として機能させる情報処理プログラム、機械学習モデル（第１機械学習モデル、第２機械学習モデル）を含む各種のプログラム等を記憶する不揮発性メモリである。

【0077】

ＲＡＭは、プロセッサ２１による処理の作業領域として機能し、また、不揮発性メモリに格納された情報処理プログラム等を一時的に記憶する。尚、プロセッサ２１が、メモリ２２の一部（ＲＡＭ）を内蔵していてもよい。

【0078】

データベース２３は、問診室３の第２カメラ３１、第２マイク３２が検出した映像及び音声の応答情報を記憶管理する部分であり、後述する第１機械学習モデルを学習させるための学習データとして記憶する。

【0079】

入出力インターフェース２４は、ネットワーク５０と接続可能な通信部、及び外部機器と接続可能な接続部等を含む。外部機器と接続可能な接続部としては、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）（ＨＤＭＩは登録商標）等を適用することができる。

【0080】

プロセッサ２１は、入出力インターフェース２４及びネットワーク５０を介して検査室１、問診室３の各種の機器との間で通信し、また、待合室４の端末４０との間で通信し、これにより必要な情報の送受信を行う。

【0081】

表示器２５は、検査中に被検者５が発する発言内容を示す文字、ＭＲＩ画像、バイタル情報、被検者５の個人情報、及び操作部２７からの入力を受け付ける場合のＧＵＩ（Graphical User Interface）の一部として使用される。

【0082】

スピーカ２６は、検査中に被検者５が発する発言内容を示す音声等を発生する。

【0083】

操作部２７は、マウス、キーボード等を含み、表示器２５の表示画面を使用し、操作者２８の入力を受け付けるＧＵＩの一部として機能する。

【0084】

＜発言認識部＞
本例の発言認識部は、プロセッサ２１が備えている機能である。即ち、プロセッサ２１は、問診室３の第２カメラ３１、第２マイク３２が検出した映像及び音声の応答情報を、データベース２３から取得し、取得した応答情報に基づいて被検者５の音声発生に関連する被検者特徴情報を生成する。被検者特徴情報は、被検者５の音声発生時における口唇動作（顔全体の表情を含む）の被検者固有の癖に相当する特徴情報である。

【0085】

プロセッサ２１は、ＭＲＩ装置１０による被検者５の検査中に被検者５が発言した場合、第１カメラ１５が撮影した被検者５の顔領域（被検者５の口唇動作）を含む映像、及び第１マイク１６が検出した被検者５の音声の少なくとも一方を、発言関連情報として取得し、この発言関連情報と予め生成した被検者特徴情報とに基づいて被検者５の発言内容を認識する。

【0086】

図９は、発言認識部の実施形態を示す概念図である。

【0087】

図９に示すようにプロセッサ２１は、発言認識部２１Ａとして機能する。

【0088】

発言認識部２１Ａは、被検者５の口唇動作から文字を読み取る読唇部分であり、本例では、学習済みの機械学習モデル（第１機械学習モデル）を使用し、第１カメラ１５が撮影した被検者５の顔領域を含む映像を入力する。

【0089】

プロセッサ２１は、メモリ２２又はデータベース２３に記憶されている未学習の第１機械学習モデルを読み出し、第１機械学習モデルを学習させる。

【0090】

第１機械学習モデルとしては、エンドツーエンドの深層学習ネットワーク、畳み込みニューラルネットワーク、サポートベクターマシンなどの種々の学習モデルを使用することができる。

【0091】

第１機械学習モデルの学習に使用する学習データセットは、問診室３での複数の質問に対する被検者５の各回答時に第２カメラ３１が撮影した被検者５の顔領域を含む映像と、各回答を示す文字情報との複数のペアである。複数の映像は、第１機械学習モデルの学習時の入力データであり、複数の文字情報は、それぞれ対応する映像に対する正解データである。

【0092】

各回答を示す文字情報は、第２マイク３２が検出した音声から文字を認識する音声認識ＡＩ（Artificial Intelligence）により取得することができる。また、音声認識ＡＩが認識した文字を問診室３の表示器３４のモニタ画面上に表示し、表示された文字が回答と異なる場合には、被検者５に誤りを指摘して貰い、修正することが好ましい。正しい正解データを取得するためである。

【0093】

予め定めた語句や文章を被検者に音読して貰う場合には、予め定めた語句や文章を示す文字を正解データとして使用することができる。この場合、予め定めた語句や文章は、ＭＲＩ装置１０による検査中に被検者が発する可能性がある発言内容にすることが好ましい。

【0094】

上記学習データセットにより第１機械学習モデルを学習させることで、被検者専用の学習済みの第１機械学習モデルを生成することができる。そして、被検者特徴情報は、被検者５の応答情報に基づく第１機械学習モデルの学習過程で最適化されたパラメータを含み、メモリ２２又はデータベース２３に被検者に関連付けて記憶させることができる。

【0095】

尚、本例では、未学習の第１機械学習モデルを被検者自身の応答情報から取得した学習データセットを使用して学習させるようにしたが、これに限らず、学習済みの既存の第１機械学習モデルを使用し、その既存の第１機械学習モデルを新たな被検者自身の応答情報から取得した学習データセットにより転移学習させ、あるいはファインチューニングするようにしてもよい。質問数が少なく、学習データセットが少ない場合に有効である。

【0096】

学習済みの第１機械学習モデル（第１機械学習モデルの学習過程で最適化されたパラメータがセットされた学習モデル）を使用する発言認識部２１Ａは、ＭＲＩ装置１０による被検者５の検査中に第１カメラ１５が撮影した被検者５の顔領域を含む映像を入力するが、特に被検者５が発言した場合の被検者５の顔領域を含む映像を入力すると、その発言内容を１文字ずつ認識して出力する。

【0097】

本例では、発言認識部２１Ａは、入力する被検者５の口唇動作を示す映像から被検者５が発した発言内容を示す複数の文字（文字列）を出力するが、更に発言認識部２１Ａから出力される文字列に対して自然言語処理を行い、文字列が意味のある発言か否かを判別したり、文字列に対して自然言語処理した結果、誤りがある場合に、正しい発言内容になるように修正する機能を備えることが好ましい。このような機能は、既存の自然言語処理ＡＩを追加することで達成することができる。

【0098】

また、発言認識部は、第１カメラ１５が撮影した被検者５の顔領域を含む映像と、第１マイク１６が検出した被検者５の音声とを同時に入力し、被検者の発言内容を認識するものでもよい。この場合の発言認識部に適用される第１機械学習モデルは、被検者５の顔領域を含む映像（被検者５の口唇動作）から発言内容を認識する学習モデルと、被検者５の音声から発言内容を認識する学習モデルとを有し、両者が同じ発言内容を示すように学習されたものを使用することが好ましい。この種の第１機械学習モデルとしては、エンドツーエンドの深層学習ネットワークが好適である。

【0099】

また、被検者５の口唇動作と音声とから発言内容を認識することで、より精度の高い発言内容の認識が可能である。尚、第１マイク１６が検出した音声を第１学習モデルに入力する場合には、予めフィルタ等によりＭＲＩ装置１０が発生する騒音を低減させることが好ましい。

【0100】

プロセッサ２１は、上記のようにしてＭＲＩ装置１０による検査中に被検者５が音声を発し、その被検者５の発言内容を認識すると、認識した発言内容を示す映像（文字）を投影機１７からスクリーン１７Ａに投影し、スクリーン１７Ａに表示させる（図３参照）。

【0101】

被検者５は、スクリーン１７Ａに投影された自身が発言した発言内容を視認することができる。これにより、被検者５は、自分の発言内容が外部の操作者等に伝わっていることを確認することができ、安心感が得られる。

【0102】

プロセッサ２１は、被検者５をリラックスさせる映像（例えば、自然界の映像）、あるいは付添人の映像を投影機１７からスクリーン１７Ａに投影させるようにしてもよく、この場合、被検者５が音声を発すると、映像に代えて発言内容をスクリーン１７Ａに投影し、又は映像に発言内容を重畳してスクリーン１７Ａに投影する。

【0103】

また、プロセッサ２１は、被検者５の発言内容を認識すると、認識した発言内容を示す文字を、操作室２の表示器２５に表示し、同様に発言内容を示す音声をスピーカ２６から発生させる（図５参照）。これにより、操作者２８は、検査中に被検者５が発した発言内容を確認することができる。

【0104】

更に、プロセッサ２１は、被検者５の発言内容を認識すると、認識した発言内容を示す文字を、待合室４の端末４０に表示させることができる。これにより、被検者５の付添人は、検査中に被検者５が発した発言内容を待合室４の端末４０により確認することができる。

【0105】

＜第１表示器の他の実施形態＞
図１０は、ＭＲＩ装置による検査中に被検者が視認可能な態様で情報を表示する第１表示器の他の実施形態を示す図である。

【0106】

図１０に示す第１表示器は、図示しない投影機と、この投影機から被検者５の発言内容を示す文字が投影されるリア投影スクリーン６０と、リア投影スクリーン６０を、天板１３Ａに仰臥している被検者５が視認するための反射ミラー６２とから構成されている。

【0107】

リア投影スクリーン６０及び反射ミラー６２は、天板１３Ａに取り付けられた支持部材６３に配設されている。

【0108】

被検者５は、投影機からリア投影スクリーン６０に被検者５の発言内容を示す文字が投影されると、反射ミラー６２を介してリア投影スクリーン６０に投影された被検者５の発言内容を示す文字を視認することができる。また、被検者５の顔領域を撮影する第１カメラは、反射ミラー６２の外周部に取り付けることができる。

【0109】

ＭＲＩ装置による検査中に被検者が視認可能な態様で情報を表示する第１表示器の他の実施形態としては、図１０に示したものに限らず、虚像（空中像）を表示させるヘッドアップディスプレイ、被検者の頭部に装着されるヘッドマウントディスプレイ、液晶ディスプレイ、又は有機ＥＬ(electro-luminescence）ディスプレイを使用することができる。

【0110】

［医用画像診断システムの作動方法］
図１１は、被検者が問診室にいる場合に作動する医用画像診断システムの作動方法の実施形態を示すフローチャートである。

【0111】

図１１に示す医用画像診断システムの作動方法の各ステップの処理は、図８に示した情報処理装置２０のプロセッサ２１により行われる処理に対応する。

【0112】

図１１において、プロセッサ２１は、ＭＲＩ検査についての説明を、問診室３に設置された表示器３４に表示させる（ステップＳ１０）。ここでは、ＭＲＩ検査の手順や、ＭＲＩ検査中における注意事項などが表示させる。

【0113】

続いて、プロセッサ２１は、第２カメラ３１及び第２マイク３２を動作させ、被検者への質問に対する被検者５の応答情報の、映像及び音声による検出を開始させる（ステップＳ２０）。

【0114】

プロセッサ２１は、予め定めた形式の質問（例えば、ＭＲＩ検査に必要な情報に関する質問）を、表示器３４による文字表示、及び図示しないスピーカからの音声により行わせる（ステップＳ３０）。

【0115】

被検者は、ステップＳ３０での質問に対して口頭で回答する（ステップＳ４０）。

【0116】

プロセッサ２１は、口頭で回答した被検者５の音声であって、第２マイク３２が検出した音声を文字情報に変換する（ステップＳ５０）。音声の文字情報への変換は、音声認識ＡＩを使用して行うことができる。

【0117】

また、プロセッサ２１は、口頭で回答した被検者５の顔領域を含む映像であって、第２カメラ３１が撮影した被検者５の口唇動作の被検者毎の癖を含む特徴量を演算し（ステップＳ６０）、ステップＳ５０で変換した文字情報と口唇動作の特徴量の対応関係を演算する（ステップＳ７０）。

【0118】

続いて、プロセッサ２１は、質問が終了したか否かを判別し（ステップＳ８０）、質問が終了していないと判別すると（「No」の場合）、ステップＳ３０に遷移し、次の質問に対してステップＳ３０からステップＳ８０の処理を繰り返す。

【0119】

プロセッサ２１は、全ての質問が終了したと判別すると（「Yes」の場合）、ステップＳ７０で演算された、文字情報と口唇動作の特徴量をデータベース２３に格納する（ステップＳ９０）。

【0120】

データベース２３に格納された文字情報と口唇動作の特徴量は、検査中の読唇時に利用される。

【0121】

本例では、上記ステップＳ３０からステップＳ８０の処理を繰り返すことで、第１機械学習モデルの学習を行い、学習済みの第１機械学習モデルの最適化されたパラメータが、被検者５の固有の被検者特徴情報としてデータベース２３に格納される。

【0122】

尚、プロセッサ２１は、ステップＳ５０で変換した文字情報を表示器３４に表示させ、被検者５に変換した文字情報が口頭で回答した内容と一致しているか否かを確認して貰い、一致していない場合には、違いを口頭で指摘してもらい、文字情報を修正することが好ましい。

【0123】

図１２は、ＭＲＩ検査中の医用画像診断システムの作動方法の第１実施形態を示すフローチャートである。

【0124】

図１２に示す医用画像診断システムの作動方法の各ステップの処理は、図８に示した情報処理装置２０のプロセッサ２１により行われる処理に対応する。

【0125】

図１２において、プロセッサ２１は、ＭＲＩ検査に関する情報を投影機１７により表示させる（ステップＳ１００）。検査中の被検者５は、投影機１７により表示された情報を視認することができる。尚、ステップＳ１００では、ＭＲＩ検査に関する情報以外も表示することができる。例えば、付添人の映像や自然界の映像を表示することができ、これにより被検者５をリラックスさせることができる。

【0126】

続いて、プロセッサ２１は、第１カメラ１５及び第１マイク１６を動作させ、検査中の被検者５の口唇動作を含む映像の撮影及び被検者５が発する音声の測定を開始する（ステップＳ１１０）。

【0127】

プロセッサ２１は、被検者５が発言したか否かを判別する（ステップＳ１２０）。被検者５が発言したか否かは、第１カメラ１５が撮影した映像から被検者５の口唇動作の有無を検出することにより行い、及び／又は第１マイク１６が被検者５の発する音声の有無を検出することにより行うことができる。

【0128】

プロセッサ２１は、被検者５が発言していないと判別すると（「No」の場合）、ステップＳ１００に遷移し、ステップＳ１００からステップＳ１２０の処理を繰り返す。

【0129】

一方、ステップＳ２１は、被検者５が発言していると判別すると（「Yes」の場合）、ステップＳ１３０に遷移する。

【0130】

ステップＳ１３０では、第１カメラ１５が撮影した映像に含まれる被検者５の口唇動作を解析し（読唇し）、文字情報に変換する。本例では、事前に被検者５に対して取得し、データベース２３に格納した、学習済みの第１機械学習モデルのパラメータを読み出し、第１機械学習モデルに設定し、この第１機械学習モデルを使用した発言認識部に被検者５の口唇動作を含む映像を入力することで、口唇動作に対応する文字情報を認識する。尚、口唇動作に限らず、顔全体の情報を合わせて文字情報を認識するようにしてもよい。

【0131】

また、プロセッサ２１は、第１マイク１６が検出した被検者５が発する音声を文字情報に変換する（ステップＳ１４０）。プロセッサ２１は、音声認識ＡＩを使用し、音声から文字情報を変換することができる。

【0132】

プロセッサ２１は、口唇動作に対応して認識した文字情報に加えて、音声認識した文字情報を追加し、両者で文字情報を認識することで、変換される文字情報の精度を上げることができる。

【0133】

続いて、プロセッサ２１は、変換した文字情報（文字列）が、意味のある発言か否かを判別する（ステップＳ１５０）。意味のある発言か否かは、文字列に対して自然言語処理により判別することができる。そして、意味のある発言ではないと判別すると（「No」の場合）、ステップＳ１００に遷移する。

【0134】

一方、意味のある発言であると判別すると（「Yes」の場合）、プロセッサ２１は、投影機１７により発言内容を示す文字を表示させる（ステップＳ１６０）。

【0135】

これにより、検査中の被検者５は、自身が発言した発言内容を示す文字を視認することができる。これにより、被検者５は、自分の発言内容が外部の操作者等に伝わっていることを確認することができ、安心感が得られる。

【0136】

また、プロセッサ２１は、意味のある発言であると判別すると（「Yes」の場合）、操作室２の表示器２５（第２表示器）にも発言内容を示す文字を表示させる（ステップＳ１７０）。これにより、操作室２にいる操作者２８は、検査中に被検者５が発した発言内容を確認することができる。尚、操作室２にいる操作者２８に発言内容を報知する報知器は、発言内容を示す文字を表示する表示器２５、及び発言内容を示す音声を発生するスピーカ２６のうちの少なくとも一方で構成することができる。

【0137】

続いて、プロセッサ２１は、ＭＲＩ検査が終了したか否かを判別し（ステップＳ１８０）、終了していないと判別すると（「No」の場合）、ステップＳ１００に遷移し、ステップＳ１００からステップＳ１８０の処理を繰り返す。

【0138】

一方、プロセッサ２１は、ＭＲＩ検査が終了したと判別すると（「Yes」の場合）、本処理を終了させる。

【0139】

尚、プロセッサ２１は、待合室４の端末４０にも被検者５が発した発言内容を示す文字を表示させるようにしてもよい。

【0140】

また、本例では、意味のある発言のみを表示するようにしたが、意味のない発言も表示させるようにしてもよい。検査中に音声を発しても何も表示されないと、不安を感じることが考えられるからである。

【0141】

図１３は、ＭＲＩ検査中の医用画像診断システムの作動方法の第２実施形態を示すフローチャートである。

【0142】

尚、図１３において、図１２に示したフローチャートと共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

【0143】

図１３に示す第２実施形態の医用画像診断システムの作動方法は、ステップＳ１９０、Ｓ１９２、及びＳ１９４の処理が追加されている点で、第１実施形態と相違する。

【0144】

図１３において、ステップＳ１００に戻るフローライン上で、プロセッサ２１は、前回の発言から一定時間経過したか否かを判別する（ステップＳ１９０）。一定時間は、発言後に沈黙していると判断できる適宜の時間とすることができる。

【0145】

プロセッサ２１は、一定時間経過したと判別すると（「Yes」の場合）、更に被検者５の発話がＭＲＩ撮像（ＭＲＩ検査）に支障がないか否かを判別する（ステップＳ１９２）。被検者５の発話がＭＲＩ撮像に支障があるか否かは、事前に設定されている検査部位により判別することができる。即ち、被検者５の発話による体動（頭部の動き）は、頭部以外の部位の検査には支障がないと判定できる。したがって、プロセッサ２１は、頭部以外の部位の検査の場合には、ＭＲＩ撮像に支障がないと判定することができる。

【0146】

プロセッサ２１は、前回の発言から一定時間が経過し、かつＭＲＩ撮像に支障がない判別すると、被検者５に発言を促す文字を投影機１７により表示させる（ステップＳ１９４）。

【0147】

これにより被検者５と操作者２８との間でコミュニケーションを図ることができ、被検者５の不安を解消させることができる。

【0148】

図１４は、ＭＲＩ検査中の医用画像診断システムの作動方法の第３実施形態を示すフローチャートである。

【0149】

尚、図１４において、図１２に示したフローチャートと共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

【0150】

図１４に示す第３実施形態の医用画像診断システムの作動方法は、ステップＳ１１２、Ｓ１５２、及びＳ１５４の処理が追加されている点で、第１実施形態と相違する。

【0151】

図１４において、ステップＳ１１２では、バイタル情報測定器１８（図３参照）による被検者５のバイタル情報の測定を開始させる。ここで、バイタル情報測定器１８は、被検者５のバイタル情報として、被検者の心拍数、血圧、呼吸数、体温、心電及び血中酸素飽和濃度のうちの１以上を測定する。

【0152】

ステップＳ１５２では、被検者５が発した発言内容と、ステップＳ１１２で測定した被検者５のバイタル情報とから、被検者５に必要な情報（発言内容に対する返答）を提示する必要があるか否かを判別し、返答が必要であると判別した場合には、更に発言内容に対する返答文を作成する。

【0153】

例えば、心拍数、呼吸数の顕著な増加が検知された場合、長時間の検査や閉所空間に耐えられないことで不安に陥ったり、緊張していると考えられる。一方、被検者５が不安を訴えている場合、被検者５に返答が必要な情報としては、被検者５の不安を和らげる情報を提示することが好ましい。「気分は悪くないですか？」、「もう少しで検査が終わりますが、大丈夫ですか？」などの返答文を作成する。その他、操作者２８の顔や付添人の顔の映像を必要な情報とすることができる。

【0154】

また、検査部位の体温の上昇があり、被検者５が「熱い」と訴えている場合、「検査で温度が上がっていますが、耐えられますか？」などの返答文を作成する。

【0155】

プロセッサ２１は、被検者５に必要が情報を提供する必要があると判別すると（「Yes」の場合）、投影機１７により被検者５の発言内容を示す文字を表示させるとともに、作成した必要な情報（返答文）を表示させる（ステップＳ１５４）。

【0156】

一方、プロセッサ２１は、被検者５に必要が情報を提供する必要がないと判別すると（「No」の場合）、ステップＳ１６０に進み、投影機１７により被検者５の発言内容を示す文字のみを表示させる。

【0157】

［その他］
本実施形態では、被検者専用の第１機械学習モデルを生成し、ＭＲＩ検査中の被検者の顔領域を含む映像を、第１機械学習モデルを用いた発言認識部に入力することで、被検者が音声を発生した場合の口唇動作を解析し（読唇し）、発言内容を示す文字情報を認識結果として取得するようにしたが、例えば、第１機械学習モデルが認識した発言内容が意味ある内容になっていない場合、又は発言内容の確信度が閾値未満の場合には、他の機械学習モデル（第２機械学習モデル）を使用し、又は併用するようにしてもよい。

【0158】

この場合の第２機械学習モデルは、複数人の発言に関連する発言関連情報からなる学習データセットであって、多数の学習データセットに基づいて予め機械学習が行われた学習モデルであり、予めメモリ２２、あるいはデータベース２３に記憶されたものを使用することができる。

【0159】

また、本実施形態において、例えば、ＣＰＵ等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0160】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0161】

また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0162】

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0163】

１…検査室
２…操作室
３…問診室
４…待合室
１０…ＭＲＩ装置
１１…ガントリ
１２…ボア
１３…寝台
１３Ａ…天板

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】