特開 2024-74463 医療システムユニット及びその作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024074463

(43)【公開日】2024-05-31

(54)【発明の名称】医療システムユニット及びその作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240524BHJP

【ＦＩ】

A61B1/045 642

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022185617

(22)【出願日】2022-11-21

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001988

【氏名又は名称】弁理士法人小林国際特許事務所

(72)【発明者】

【氏名】木村 裕哉

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161GG00

(57)【要約】

【課題】1つのマイクで、複数の医療システムを音声操作する場合において、各医療システムの操作内容に合わせて、誤作動無く正確に操作する医療システムユニット及びその作動方法を提供する。
【解決手段】タブレット端末１２は、マイク１３によって入力された音声を受け付け、且つ、音声を内視鏡システム１１に送信する。内視鏡システム１１が有する第１プロセッサは、少なくとも、超音波内視鏡システム５０に対して、音声を配信する。超音波内視鏡システム５０が有する第２プロセッサが、音声が超音波内視鏡システム５０の動作に対応する音声かどうかを判定し、判定に従って、超音波内視鏡システム５０を作動制御する。
【選択図】図１６

【特許請求の範囲】

【請求項1】

マイクによって入力された音声を受け付け、且つ、前記音声を第１医療システムに送信する音声操作端末と、
少なくとも、前記第１医療システムと異なる第２医療システムに対して、前記音声を配信する第１プロセッサを有する前記第１医療システムと、
前記音声が前記第２医療システムの動作に対応する音声かどうかを判定し、前記判定に従って、前記第２医療システムを作動させる第２プロセッサを有する前記第２医療システムとを備える医療システムユニット。

【請求項2】

互いに異なる第１医療システム及び第２医療システムを少なくとも含む複数の医療システムと、
マイクを介して入力された音声を受け付け、且つ、少なくとも複数の医療システムと接続されている音声操作端末を備え、
前記音声操作端末は、前記音声が、各医療システムの動作に対応するかどうかをそれぞれ判定し、前記判定に基づいて、各医療システムに配信する医療システムユニット。

【請求項3】

前記第１医療システムは内視鏡システムであり、前記第２医療システムは、超音波内視鏡システム、Ｘ線透視装置、又は、内視鏡情報管理システムのいずれかである請求項１または２記載の医療システムユニット。

【請求項4】

前記第１プロセッサは、前記第１医療システム及び前記第２医療システムと異なる第３医療システムに対して、前記音声を配信する場合において、
前記音声が前記第３医療システムの動作に対応する音声かどうかを判定し、前記判定に従って、前記第３医療システムを作動させる第３プロセッサを有する前記第３医療システムを備える請求項１記載の医療システムユニット。

【請求項5】

前記第１医療システムは内視鏡システムであり、前記第２医療システムはＸ線透視装置であり、前記第３医療システムは内視鏡情報管理システムである請求項４記載の医療システムユニット。

【請求項6】

前記音声操作端末は、音声操作起動用音声の認識によって、前記音声操作端末で受け付けた音声が、各医療システムの動作に対応するかどうかをそれぞれ判定する請求項２記載の医療システムユニット。

【請求項7】

前記音声操作端末は、インカムシステムと接続されている請求項２記載の医療システムユニット。

【請求項8】

前記音声操作端末はタブレット端末であり、
前記音声操作端末は前記第１医療システムに対して有線又は無線で接続されている請求項１または２記載の医療システムユニット。

【請求項9】

音声操作端末は、マイクによって入力された音声を受け付け、且つ、前記音声を第１医療システムに送信し、
前記第１医療システムが有する第１プロセッサが、少なくとも、前記第１医療システムと異なる第２医療システムに対して、前記音声を配信し、
前記第２医療システムが有する第２プロセッサが、前記音声が前記第２医療システムの動作に対応する音声かどうかを判定し、前記判定に従って、前記第２医療システムを作動させる医療システムユニットの作動方法。

【請求項10】

互いに異なる第１医療システム及び第２医療システムを少なくとも含む複数の医療システムと、マイクを介して入力された音声を受け付け、且つ、少なくとも複数の医療システムと接続されている音声操作端末を備える医療システムユニットの作動方法において、
前記音声操作端末が、前記音声操作端末で受け付けた音声が、各医療システムの動作に対応するかどうかをそれぞれ判定し、前記判定に基づいて、各医療システムに配信する医療システムユニットの作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声を用いて操作を行う医療システムユニット及びその作動方法に関する。

【背景技術】

【0002】

近年の医療分野においては、内視鏡システム、Ｘ線透視装置、内視鏡情報管理システムなど複数種類の医療システムを用いて、検査、診断などが行われている。また、これら医療システムに対する操作手段としては、キーボード、マウス、タブレット端末などの他に、音声操作も用いられつつある（例えば、特許文献１）。また、特許文献２では、１つのマイクで、複数の医療機器を操作することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－２６７６３４号公報

【特許文献2】特開２０２１－１８２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

各医療システムでは、音声操作で用いる操作の内容は異なっている。例えば、内視鏡システムでは、光源切替という音声操作が存在する一方で、Ｘ線透視装置では、光源切替に相当する音声操作は存在しない。したがって、1つのマイクで、複数の医療システムを音声操作する場合には、各医療システムの操作内容に合わせて、誤作動無く正確に操作することが求められていた。

【0005】

本発明は、1つのマイクで、複数の医療システムを音声操作する場合において、各医療システムの操作内容に合わせて、誤作動無く正確に操作する医療システムユニット及びその作動方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の医療システムユニットは、マイクによって入力された音声を受け付け、且つ、音声を第１医療システムに送信する音声操作端末と、少なくとも、第１医療システムと異なる第２医療システムに対して、音声を配信する第１プロセッサを有する第１医療システムと、音声が第２医療システムの動作に対応する音声かどうかを判定し、判定に従って、第２医療システムをさせる第２プロセッサを有する第２医療システムとを備える。

【0007】

本発明の医療システムユニットは、互いに異なる第１医療システム及び第２医療システムを少なくとも含む複数の医療システムと、マイクを介して入力された音声を受け付け、且つ、少なくとも複数の医療システムと接続されている音声操作端末を備え、音声操作端末は、音声が、各医療システムの動作に対応するかどうかをそれぞれ判定し、判定に基づいて、各医療システムに配信する。

【0008】

第１医療システムは内視鏡システムであり、第２医療システムは、超音波内視鏡システム、Ｘ線透視装置、又は、内視鏡情報管理システムのいずれかであることが好ましい。第１プロセッサは、第１医療システム及び第２医療システムと異なる第３医療システムに対して、音声を配信する場合において、音声が第３医療システムの動作に対応する音声かどうかを判定し、判定に従って、第３医療システムを作動させる第３プロセッサを有する第３医療システムを備えることが好ましい。第１医療システムは内視鏡システムであり、第２医療システムはＸ線透視装置であり、第３医療システムは内視鏡情報管理システムであることが好ましい。

【0009】

音声操作端末は、音声操作起動用音声の認識によって、音声操作端末で受け付けた音声が、各医療システムの動作に対応するかどうかをそれぞれ判定することが好ましい。音声操作端末は、インカムシステムと接続されていることが好ましい。

【0010】

音声操作端末はタブレット端末であり、音声操作端末は第１医療システムに対して有線又は無線で接続されていることが好ましい。

【0011】

本発明の医療システムユニットの作動方法は、音声操作端末は、マイクによって入力された音声を受け付け、且つ、音声を第１医療システムに送信し、第１医療システムが有する第１プロセッサが、少なくとも、第１医療システムと異なる第２医療システムに対して、音声を配信し、第２医療システムが有する第２プロセッサが、音声が第２医療システムの動作に対応する音声かどうかを判定し、判定に従って、第２医療システムを作動させる。

【0012】

本発明の医療システムユニットの作動方法は、互いに異なる第１医療システム及び第２医療システムを少なくとも含む複数の医療システムと、マイクを介して入力された音声を受け付け、且つ、少なくとも複数の医療システムと接続されている音声操作端末を備える医療システムユニットの作動方法において、音声操作端末が、音声操作端末で受け付けた音声が、各医療システムの動作に対応するかどうかをそれぞれ判定し、判定に基づいて、各医療システムに配信する。

【発明の効果】

【0013】

本発明によれば、1つのマイクで、複数の医療システムを音声操作する場合において、各医療システムの操作内容に合わせて、誤作動無く正確に操作することができる。

【図面の簡単な説明】

【0014】

【図1】内視鏡システムの概略図である。

【図2】別々の内視鏡室に設けられる２つの内視鏡システム、及び、電波強度を数値表示するタブレット端末の画面を表す概略図である。

【図3】別々の内視鏡室に設けられる２つの内視鏡システム、及び、電波強度をボリューム表示するタブレット端末の画面を表す概略図である。

【図4】別々の内視鏡室に設けられる２つの内視鏡システム、及び、音量をボリューム表示するタブレット端末の画面を表す概略図である。

【図5】別々の内視鏡室に設けられる２つの内視鏡システムにおいて、タブレット端末を用いてマイクを接続させることを示す説明図である。

【図6】２つのマイクを同じ内視鏡室で用いる場合の概略図である。

【図7】内視鏡システムとＸ線透視装置を同じ内視鏡室で用いる場合の概略図である。

【図8】ドクターページの概略図である。

【図9】タブレット端末に表示される音声操作機能表示面の概略図である。

【図10】音声操作機能の動作ステップの遷移を表す説明図である。

【図11】音声操作機能の動作状態の切替方法を表す説明図である。

【図12】スコープのトグル操作を用いる観察モードの切替方法を表す説明図である。

【図13】内視鏡操作に用いられる複数の操作手段を示す概略図である。

【図14】複数の操作手段によってほぼ同時に操作を受け付けた場合の処理の一連の流れを示すフローチャートである。

【図15】内視鏡システムのディスプレイに表示される音声操作に関する情報を表す説明図である。

【図16】内視鏡システム及び超音波内視鏡システムを有し、音声を一斉配信する医療システムユニットの概略図である。

【図17】内視鏡システム、Ｘ線透視装置、及び、内視鏡情報管理システムを有し、音声を一斉配信する医療システムユニットの概略図である。

【図18】内視鏡システム、Ｘ線透視装置、及び、内視鏡情報管理システムを有し、音声を選択して配信する医療システムユニットの概略図である。

【発明を実施するための形態】

【0015】

図１に示すように、内視鏡室１０においては、内視鏡システム１１と、タブレット端末１２と、マイク１３とを備えている。内視鏡システム１１は、有線又は無線で、タブレット端末１２（音声操作端末）と接続されている。マイク１３は、タブレット端末１２と有線又は無線で接続されている。マイク１３には、ユーザーが発した音声等が入力される。タブレット端末１２は、マイク１３から入力された音声に対応する操作情報等を内視鏡システム１１に送信し、且つ、内視鏡システム１１での操作に関する情報を表示する。なお、タブレット端末１２には、音声操作アプリがインストールされていることが好ましい。

【0016】

なお、内視鏡システム１１とタブレット端末１２との接続方法は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷｉＦｉ、ＢｌｕｅＴｏｏｔｈなどである。タブレット端末１２とマイク１３との接続方法は、ＬＡＮ、ＷｉＦｉ、ＢｌｕｅＴｏｏｔｈなどである。また、マイク１３は、イヤホンを設けたヘッドセットとしてもよい。

【0017】

なお、内視鏡システム１１では、人工知能を用いた病変検出、計測用照明を用いた測長モードなどの多機能化が進んで、これら機能を作動させるためのスコープスイッチやフットスイッチでの操作は飽和状態となりつつある。したがって、機能を増やしても、それを使うための操作手段に制限があり、機能を十分に使いこなせないおそれがある。その他、多機能化に伴って観察モードの数も増えつつあるが、観察モードの切替に伴うスコープのトグル切替操作は、観察モードの数が増えるほど、操作回数が増加して煩雑化する（図１２参照）。また、多機能化などに伴って外部映像入力が２系統など複数系統となることで、それら系統の切替をキーボードなどによって行うことは負担が大きい。また、感染管理への意識の高まりから、極力、手で医療機器を触らないほうが好ましい。以上の理由から、本実施形態では、多機能化又は感染管理の観点から、音声操作を導入している。

【0018】

なお、音声操作する内視鏡システムについては、以下の課題がある。従来は、音声操作で用いるマイクについては、直前に使用された内視鏡システムと自動接続していた。しかしながら、マイクを別の内視鏡システムで使用する場合には、改めて接続切替作業が生じることとなり、負担が生じる。これに関しては、マイクをドクター毎に割り当てることが考えられる。これにより、各システムでドクターのマイク別に接続しておくことで、ドクターがマイクをつけたまま他のシステムを使用することが可能となる。また、ドクターが好みのマイクを使用することも可能となる。また、使用するマイクとしては、使用のたび清掃、お手入れが必要なシステム固有のマイクではなく、システムとは別体のマイクを使用することが好ましい。

【0019】

なお、マイクと各医療システムを接続する場合については、以下の課題がある。１つのマイクと複数の医療システムとを接続する場合、接続中のマイクで音声操作使用後に、別のシステムの場所にドクターが移動した場合などには、1つのマイクが、他の医療システムのマイクと誤って接続されることがある。この場合、１つのマイクの繋ぎ替えが課題となる（接続中のマイクが実際にシステムの近くにあるかどうかは分からない）。

【0020】

また、ドクター毎に割り当てた複数のマイクと複数の医療システムとを接続する場合、１つの環境で、複数のドクターが、それぞれ担当する医療システムを同時に使用する場合に、ウェイクワード無しで、誤作動無く正確に音声操作できるようにすることが求められている。また、ドクター毎に割り当てた複数のマイクと１つの医療システムとを接続する場合、どのマイクを使用するかを知らせることが必要であること、及び、教育ケースなどのように、１つの医療システムを意図的に複数のマイクで使用する状況にも対応できるようにすることが求められている。

【0021】

［マイク接続方法］
内視鏡システム１１とマイク１３とを接続するためのマイク接続方法について、以下説明する。ここで、タブレット端末１２が、マイク１３の接続制御を行うことが好ましい。また、マイク接続方法は内視鏡診断前に行われることが好ましい。図２～図５に示すように、２つの内視鏡室１０ａ、１０ｂにそれぞれマイクＡ１３ａ、マイクＢ１３ｂが設けられている場合のマイク接続方法と、図６に示すように、１つの内視鏡室１０で、２つのマイクＡ１３ａ、マイクＢ１３ｂを用いる場合のマイク接続方法と、図７に示すように内視鏡室１０で、内視鏡システム１１とＸ線透視装置１５を用いる場合のマイク接続方法と、図８に示すように、内視鏡システム１１のディスプレイにドクターページを表示して行う場合のマイク接続方法とついて説明する。なお、内視鏡室１０ａ、１０ｂは、それぞれ別々の部屋であることの他、同じ部屋で、パーティーションなどで分離された別々の空間であることを意味する。また、内視鏡システム１１に対するマイク接続方法は、Ｘ線透視装置１５、超音波内視鏡システム５０、内視鏡情報管理システム５６などの医療システムに対しても適用可能である。

【0022】

図２の場合のマイク接続方法では、マイク１３の電界強度（ＲＳＳＩ（Received Signal Strength Indicator））が一定以下の場合に、遠くにあると判定する。基準値又は前回正しく使用した時の電界強度（前回値）を記憶しておき、基準値又は前回値と大きく異なるときはアラートを出す。具体的には、内視鏡システム１１ａ、１１ｂ間で同じマイク１３ａ、１３ｂの電界強度を共有し、最も近くにある内視鏡システムを特定する。なお、電界強度は、数値が大きいほど接続が安定する。また、マイクの電界強度が低くなった場合には、アラートを出したり、又は、接続を遮断するようにしてもよい。

【0023】

また、タブレット端末１２に、予め登録されているマイクＡ１３ａ、マイクＢ１３ｂ、マイク１３Ｃの電界強度を数値表示し、且つ、これら３つの電界強度との比較のために、基準値又は前回値を表示する。図２の場合であれば、３つのマイクＡ１３ａ、マイクＢ１３ｂ、マイク１３Ｃの電界強度のうち、マイクＡ１３ａの電界強度（－２５）が基準値以上であるので、マイクＡ１３ａが、タブレット端末１２を介して、内視鏡室１０ａの内視鏡システム１１ａに接続される。この場合、タブレット端末１２のマイク１３Ａの表示部分は、接続されていることを報知するために、他のマイクＢ１３ｂ、マイク１３Ｃの表示部分と異なり、ハッチング表示されている。なお、電界強度の表示等は、内視鏡システム１１のディスプレイに表示してもよい。

【0024】

図３の場合のマイク接続方法では、電界強度に基づいて、マイクの接続を行う点は、図２の場合のマイク接続方法と共通している。相違する部分は、タブレット端末１２に、マイクＡ１３ａ、マイクＢ１３ｂ、マイク１３Ｃの電界強度を、それぞれ横長のボリューム表示で表示し、且つ、基準値を表示する代わりに、ボリューム表示の中央部分に、基準値に対応する基準ラインＳＬを表示する。ボリューム表示では、電界強度の大きさを、ハッチング表示部分の横方向の長さで表している。

【0025】

内視鏡室１０ａでは、タブレット端末１２ａにボリューム表示されるマイクＡ１３ａ、マイクＢ１３ｂ、マイク１３Ｃの電界強度のうち、基準ラインＳＬを超えてボリューム表示されるマイクＡ１３ａが内視鏡室１０ａの内視鏡システム１１ａに接続される。マイクＢ１３ｂもボリューム表示されているが、基準ラインＳＬに達していないため、接続されない。

【0026】

一方、内視鏡室１０ｂでは、タブレット端末１２ｂにボリューム表示されるマイクＡ１３ａ、マイクＢ１３ｂ、マイク１３Ｃの電界強度のうち、基準ラインＳＬを超えてボリューム表示されるマイクＢ１３ｂが内視鏡室１０ｂの内視鏡システム１１ｂに接続される。マイクＡ１３ａもボリューム表示されているが、基準ラインＳＬに達していないため、接続されない。なお、いずれのタブレット端末１２ａ、１２ｂも、接続されるマイクの表示部分には、ハッチング表示されている（タブレット端末１２ａの場合は「マイクＡ」、タブレット端末１２ｂの場合は「マイクＢ」）。

【0027】

図４のマイク接続方法では、内視鏡システム１１からテスト用音声を発し、テスト用音声を検出するマイク１３の音声ボリュームを用いて、マイクの接続を行う。内視鏡室１０ａにおいて、内視鏡システム１１ａからテスト用音声を発する。テスト用音声は、内視鏡室１０ａにあるマイクＡ１３ａと、内視鏡室１０ｂにあるマイクＢ１３ｂで検出される。内視鏡室１０ａのタブレット端末１２ａでは、マイクＡ１３ａの音声ボリュームが、マイクＢ１３ｂの音声ボリュームよりも大きく表示される。これに従って、マイクＡ１３ａが、内視鏡室１０ａの内視鏡システム１１ａに接続される。一方、内視鏡室１０ｂにおいて、内視鏡システム１１ｂからテスト用音声を発する。内視鏡室１０ｂのタブレット端末１２ｂでは、マイクＢ１３ｂの音声ボリュームが、マイクＡ１３ａの音声ボリュームよりも大きく表示される。これに従って、マイクＢ１３ｂが、内視鏡室１０ａの内視鏡システム１１ａに接続される。

【0028】

図５のマイク接続方法では、タブレット端末１２で検出した音と、マイク１３で検出した音との相関に基づいて、マイクの接続を行う。この場合には、タブレット端末１２にマイク機能を設ける必要がある。内視鏡室１０ａにおいては、マイクＡ１３ａとタブレット端末１２ａとが設けられており、マイクＡ１３ａが検出した音の振幅は、タブレット端末１２ａが検出した音の振幅とほぼ一致している。これにより、マイクＡ１３ａは、タブレット端末１２ａを介して、内視鏡室１０ａの内視鏡システム１１ａに接続される。

【0029】

同様にして、内視鏡室１０ｂにおいては、マイクＢ１３ｂとタブレット端末１２ｂとが設けられている。そして、検出した音の振幅が、マイクＢ１３ｂとタブレット端末１２ａとでほぼ一致しているため、マイクＢ１３ｂは、タブレット端末１２ｂを介して、内視鏡室１０ｂの内視鏡システム１１ｂに接続される。なお、タブレット端末１２ａには、マイクＡ１３ａが接続されていることがハッチング表示で表示されており、タブレット端末１２ｂには、マイクＢ１３ｂが接続されていることがハッチング表示で表示されている。

【0030】

図６のマイク接続方法では、２つのマイクＡ１３ａ、マイクＢ１３ｂを内視鏡室１０で用いる場合において、タブレット端末１２に、マイクＡ１３ａ、マイクＢ１３ｂが、電界強度が基準ラインＳＬを超えて、いずれも内視鏡システム１１に接続可能であることを表示し（ハッチング表示）する。加えて、タブレット端末１２には、マイクＡ１３ａ、マイクＢ１３ｂそれぞれの電界強度がボリューム表示される。そして、ユーザーは、マイクＡ１３ａ、マイクＢ１３ｂ、マイクＣのうちマイクＡ１３ａ、マイクＢ１３ｂが接続可能であることを確認した上で、タブレット端末１２で、実際に内視鏡診断で使用するマイク１３の表示部分をタップ操作（選択操作）する。例えば、マイクＡ１３ａの表示部分をタップ操作した場合には、マイクＡ１３ａが内視鏡システム１１に接続される。

【0031】

図７のマイク接続方法では、内視鏡室１０で、内視鏡システム１１（第１医療システム）とＸ線透視装置１５（第２医療システム）を組み合わせた医療システムユニットとして用いる場合、内視鏡システム１１に対してはマイクＡ１３ａ、マイクＢ１３ｂが、基準ラインＳＬを超えて接続可能であることを表示し（ハッチング表示）、及び、Ｘ線透視装置１５に対しては、マイクＡ１３ａ、マイクＢ１３ｂが、基準ラインＳＬを超えて接続可能であることを表示する（ハッチング表示）。加えて、タブレット端末１２には、内視鏡システム１１及びＸ線透視装置１５に対するマイクＡ１３ａ、マイクＢ１３ｂそれぞれの電界強度がボリューム表示される。

【0032】

そして、ユーザーは、マイクＡ１３ａ、マイクＢ１３ｂ、マイクＣのうちマイクＡ１３ａ、マイクＢ１３ｂが内視鏡システム１１に接続可能であることを確認した上で、タブレット端末１２で、実際に内視鏡診断で使用するマイク１３の表示部分をタップ操作する。また、ユーザーは、マイクＡ１３ａ、マイクＢ１３ｂ、マイクＣのうちマイクＡ１３ａ、マイクＢ１３ｂがＸ線透視装置１５に接続可能であることを確認した上で、タブレット端末１２で、実際にＸ線診断で使用するマイク１３の表示部分をタップ操作する。

【0033】

なお、図７のように、Ｘ線透視撮影をしながら、内視鏡検査（ＥＲＣＰ（endoscopic retrograde cholangiopancreatography）、気管支鏡処置など）を行う場合には、例えば、マイクＡ１３ａで内視鏡関連の音声操作（照明光源の切り替えなど）を行いつつ、マイクＢ１３ｂでＸ線関連の音声操作（Ｘ線画像の表示切替）を行う。

【0034】

図８のマイク接続方法では、内視鏡システム１１のディスプレイにドクターページ２０を表示して行う。内視鏡検査開始時において、ドクターページ（ドクター個人の設定情報）を表示する。ドクターページ２０では、ドクター名と、マイクを識別するためのマイクＩＤ２０とを含む複数の設定情報が表示されている。ドクターページ２０では、内視鏡検査を行うドクター名を選択する。ドクター名とマイクＩＤとは予め関連付けて記憶されており、ドクター名を選択することで、マイクＩＤが自動的に選択され、内視鏡システム１１に接続される。例えば、ドクターＡを選択した場合には、ドクターＡに関連付けられているマイクＡが選択され、内視鏡システム１１に接続される。なお、ドクターページ２０の表示立ち上げは、内視鏡システム１１のユーザーインターフェースを用いて手動で行ってもよく、声紋認証又はＩＤカードなどで自動的に行ってもよい。

【0035】

［音声操作に関するユーザーインターフェース］
内視鏡システム１１における音声操作に関するユーザーインターフェースについて、以下説明する。図９に示すように、タブレット端末１２（音声操作端末）は、各音声操作機能に対応し、機能切替操作可能又は情報表示可能な音声操作機能表示面２１が表示されている。音声操作機能表示面２１は、音声操作の代替手段としてのタッチ操作可能であり、タッチ操作によって、音声操作機能の動作状態を変更することができる。また、音声操作機能表示面２１は、音声操作機能の動作ステップ状態、音声操作された内容、及び、音声操作対象機能の動作状態の少なくとも１つをリアルタイムに表示更新する。例えば、音声操作機能の動作ステップとして、ＯＦＦ状態、ＯＮ状態、発話中などが含まれる。音声操作された内容には、観察モード、ズームレベルなどが含まれる。音声操作対象機能の動作状態には、観察モードのＯＮ状態、ＯＦＦ状態が含まれる。

【0036】

具体的には、図９では、音声操作機能表示面２１に、観察モードに関連する音声操作機能表示面２１ａと、ズームレベルに関連する音声操作機能表示面２１ｂとが含まれている。音声操作機能表示面２１ａには、観察モードとして、Ｐモード、Ｑモード、Ｒモード、Ｓモードそれぞれの音声操作機能表示面が表示されており、ハッチング表示されたＱモードがＯＮ状態で、それ以外のハッチング表示されていないＰモード、Ｒモード、ＳモードはＯＦＦ状態であることを表している。音声操作機能表示面２１ｂには、ズームレベルとして、Ｌ倍、Ｍ倍、Ｎ倍（Ｌ、Ｍ、Ｎはそれぞれ正の整数）それぞれの音声操作機能表示面が表示されており、ハッチング表示されたＬ倍でズームされ、それ以外のハッチング表示されていないＭ倍、Ｎ倍でズームされていないことを表している。なお、観察モードとは、複数の照明光、又は、画像処理に対応するモードである。ズームレベルとは、２０倍、４０倍、１００倍など、複数段階に分けられた拡大率に基づくズームである。

【0037】

以上のように、タブレット端末１２に音声操作機能表示面２１を表示することで、ユーザーは、容易に、音声操作の動作ステップ、音声操作内容を理解することができ、仮に、誤認識又は誤作動が発生した場合には、容易に、タッチ操作など他の操作手段により、目的の状態に変更することができる。なお、音声操作対象機能が、音声操作以外の他の操作手段（スコープ３０のスイッチ、フットスイッチ３１、光源装置３２又はプロセッサ装置３３の操作パネルなど）により操作された場合にも、タブレット端末１２の音声操作機能表示面をリアルタイムに更新又は反映させる。

【0038】

音声操作によって、音声操作機能の動作ステップを遷移させる方法は、図１０のように、行われる。図１０では、ＯＦＦ状態の音声操作機能表示面２１ｐの場合、タッチ操作（切替操作）することによって、ＯＮ状態の音声操作機能表示面２１ｑに切り替えられる。これにより、ウェイクワード（Ｈｉ，ＸＹＺ）による音声操作機能の起動可能な状態となる。この状態で、音声操作機能を起動させるためのウェイクワードをマイク１３が検出すると、音声機能受付可能であることが表示された音声操作機能表示面２１ｒに切り替わる。ウェイクワードが表示された状態で、音声操作機能に対応する音声（ＲＯＩ Ｄｅｔｅｃｔｉｏｎ）をマイク１３が検出すると、音声操作された内容（ＲＯＩ Ｄｅｔｅｃｔｉｏｎ）が表示された音声操作機能表示面２１ｓに切り替わる。

【0039】

なお、音声操作機能表示面２１ｓから音声操作機能表示面２１ｒへの遷移は、所定条件（例えば３秒）で切り替えることが好ましい。また、音声操作機能表示面２１ｒから音声操作機能表示面２１ｑへの遷移は、所定条件（例えば、タイムアウト）で切り替えることが好ましい。また、音声操作機能表示面２１ｑから音声操作機能表示面２１ｐへの遷移は、タッチ操作で切り替えることが好ましい。

【0040】

音声操作機能の動作状態を切り替える方法については、図１１に示すように、目的の動作状態に対応する音声（音声操作）の発話をマイク１３で検出し、又は、該当する音声操作機能表示面２１をタッチ操作することによって、目的の動作状態にダイレクトに切り替えることができる。図１１の場合であれば、「Ｑモード、ＯＮ」の発話、又は、音声操作機能表示面２１のＱモードの部分をタッチ操作する。これにより、他のモードからＱモードの動作状態を一発でＯＮ状態に切り替えることができる。

【0041】

なお、内視鏡システム１１に設けられたスコープのトグル操作によって観察モードを切り替える場合には、図１２に示すように、切替前のモードがＲモードの場合であれば、トグル操作を４回行う必要がある。したがって、タブレット端末１２へのタッチ操作によれば、複数の操作を伴わずに、目的の動作状態にダイレクトに切り替えを行うことができる。

【0042】

内視鏡システム１１では、音声操作の他、複数の操作手段によって、内視鏡操作が可能となっている。具体的には、図１３に示すように、内視鏡システム１１に対する内視鏡操作としては、マイク１３を用いる音声操作、及び、タブレット端末１２に対するタッチ操作の他、スコープ３０のトグル操作、フットスイッチ３１を用いるフット操作、光源装置３２及びプロセッサ装置３３の操作パネルなどが含まれる。以上のように複数の操作手段が設けられることで、複数の操作手段からほぼ同時に操作されることが想定される。

【0043】

本実施形態では、複数の操作手段によってほぼ同時に操作を受け付けた場合には、図１４に示すフローチャートに従って、処理が行われる。内視鏡システムでは、特定の操作手段による操作中でない限り、複数の操作手段による受付可能な状態に設定される。この状態で、内視鏡システム１１が、複数の操作手段のうち最初に行われた特定の操作手段による内視鏡操作を受け付けると、他の操作手段による内視鏡操作の受け付けを禁止する。そして、特定の操作手段による内視鏡操作の動作が行われる。内視鏡操作の動作の遷移が完了すると、他の操作手段による内視鏡操作の受け付けが解除されて、複数の操作手段による受付可能状態に復帰する。以上の流れは、内視鏡検査が完了するまで繰り返し行われる。これにより、複数の操作手段によってほぼ同時に操作を受け付けた場合であっても、操作される機能が意図と異なる動作状態となることを回避することができ、また、内視鏡システム１１に負荷をかけることなく、システムの動作状態が異常となるおそれを回避することができる。なお、本実施形態では、特定の操作手段を最初に行われた操作手段としているが、予め定められた手段を特定の操作手段としてもよい。

【0044】

本実施形態では、音声操作に関する情報をタブレット端末１２に表示しているが、図１５に示すように、内視鏡システム１１のディスプレイ４０に、音声操作に関する情報を表示してもよい。ディスプレイ４０には、音声操作に関する情報として、音声操作機能表示面２１と同様の表示態様の音声操作機能表示面４１と、音声操作の受け付けが可能であることを示すアイコン４２とが表示されている。このように、ディスプレイ４０に音声操作に関する情報を表示することによって、タブレット端末１２の画面に目を背けずに、ディスプレイ４０に視線を集中することができる。これにより、ディスプレイ４０から視線移動を無くなるため、内視鏡の操作性を妨げるおそれがなくなる。

【0045】

［１つのマイクによる複数の医療システムでの同時利用］
複数の医療システムに対して、１つのマイクにより音声操作する場合において、マイクで検出した音声を複数の医療システムに一斉配信する場合と、マイクで検出した音声の配信先を選択して配信する場合とに分けて以下説明する。音声を一斉配信する場合については、図１６に示すように、複数の医療システムを備える医療システムユニット４５が、タブレット端末１２（音声操作端末）、内視鏡システム１１（第１医療システム）、及び、超音波内視鏡システム５０（第２医療システム）を備える場合について説明する。なお、音声を一斉配信する場合において、複数の医療システムが第１医療システム及び第２医療システムのみで構成される場合、第２医療システムは、超音波内視鏡システム５０の他、Ｘ線透視装置１５、又は、内視鏡情報管理システム５６であってもよい。

【0046】

タブレット端末１２は、マイク１３によって入力された音声を受け付け、且つ、音声を内視鏡システム１１に送信する。内視鏡システム１１は、超音波内視鏡システム５０に対して、音声を配信する内視鏡プロセッサ（第１プロセッサ）を有する。超音波内視鏡システム５０は、音声が超音波内視鏡システム５０の動作に対応するかどうかを判定し、判定に従って、超音波内視鏡システム５０を作動制御する超音波プロセッサ（第２プロセッサ）を有する。これにより、内視鏡システム１１及び超音波内視鏡システム５０を含む複数の医療システムに対してそれぞれマイクを接続することなく、１つのマイクで一人のユーザーが、複数の医療システムを音声操作することができる。

【0047】

例えば、内視鏡システム１１と超音波内視鏡システム５０とを併用して内視鏡検査を行う場合には、タブレット端末１２が、マイク１３によって入力される音声「ズーム」を受け付けた場合、内視鏡システム１１の内視鏡プロセッサは、音声「ズーム」に対応するズーム機能を作動させ、且つ、音声「ズーム」を、超音波内視鏡システム５０の超音波プロセッサに送信する。超音波プロセッサは、内視鏡システム１１から送信された音声「ズーム」は、超音波内視鏡システム５０の動作に対応する音声であると判定する。この判定に従って、超音波プロセッサは、音声「ズーム」に対応するズーム機能を作動させる。

【0048】

以上により、内視鏡システム１１及び超音波内視鏡システム５０でズーム機能が作動することで、内視鏡システム１１のディスプレイ４０に表示された内視鏡画像の観察対象と、超音波内視鏡システム５０のディスプレイ５１に表示された超音波画像の観察対象とが拡大して表示される。これにより、１つのマイク１３で、２つの医療システムの音声操作（ズーム機能）を行うことができる。なお、タブレット端末１２が音声「光源切替」を受け付けた場合、音声「光源切替」は、内視鏡システム１１の動作に対応するものの、超音波内視鏡システム５０の動作には対応していない。そのため、音声「光源切替」の場合には、内視鏡システム１１で光源切替が行われる一方で、超音波内視鏡システム５０では動作が行われない。

【0049】

また、図１７に示すように、医療システムユニット５５は、タブレット端末１２（音声操作端末）、内視鏡システム１１（第１医療システム）、Ｘ線透視装置１５（第２医療システム）、及び、内視鏡情報管理システム５６（第３医療システム）を備えてもよい。内視鏡システム１１の内視鏡プロセッサは、Ｘ線透視装置１５及び内視鏡情報管理システム５６に対して、音声を配信する。Ｘ線透視装置１５は、内視鏡システム１１から配信された音声がＸ線透視装置１５の動作に対応する音声かどうかを判定し、判定に従って、Ｘ線透視装置１５を作動制御するＸ線プロセッサ（第２プロセッサ）を有する。内視鏡情報管理システム５６は、内視鏡システム１１から配信された音声が内視鏡情報管理システム５６の動作に対応する音声かどうかを判定し、判定に従って、内視鏡情報管理システム５６を作動制御する内視鏡情報管理プロセッサ（第３プロセッサ）を有する。なお、内視鏡情報管理システム５６は、内視鏡システム１１と通信を行って、内視鏡システム１１に各種情報を送信し、また、内視鏡システムからの情報に基づいて、内視鏡レポートの作成などを行う。

【0050】

例えば、内視鏡システム１１と、Ｘ線透視装置１５とを併用して内視鏡検査を行う場合には、タブレット端末１２が、マイク１３によって入力される音声「フリーズ」を受け付けた場合、内視鏡システム１１の内視鏡プロセッサは、音声「フリーズ」に対応するフリーズ機能を作動させ、且つ、音声「フリーズ」を、Ｘ線透視装置１５のＸ線プロセッサに送信する。Ｘ線プロセッサは、内視鏡システム１１から送信された音声「フリーズ」は、Ｘ線透視装置１５の動作に対応する音声であると判定する。この判定に従って、Ｘ線透視装置１５は、音声「フリーズ」に対応するフリーズ機能を作動させる。

【0051】

以上により、内視鏡システム１１及びＸ線透視装置１５でフリーズ機能が作動することで、内視鏡システム１１で得られる内視鏡画像のフリーズ画像と、Ｘ線透視装置１５で得られるＸ線画像のフリーズ画像が得られる。これにより、１つのマイク１３で、２つの医療システムの音声操作（フリーズ機能）を行うことができる。なお、タブレット端末１２が音声「光源切替」を受け付けた場合、音声「光源切替」は、内視鏡システム１１の動作に対応するものの、Ｘ線透視装置１５の動作には対応していない。そのため、音声「光源切替」の場合には、内視鏡システム１１で光源切替が行われる一方で、Ｘ線透視装置１５では動作が行われない。

【0052】

また、内視鏡システム１１と、内視鏡情報管理システム５６とを併用して内視鏡検査管理を行う場合には、タブレット端末１２が、マイク１３によって入力される音声「レポート用画像」を受け付けた場合、内視鏡システム１１の内視鏡プロセッサは、音声「レポート用画像」に対応するレポート用画像取得機能を作動させ、且つ、音声「レポート用画像」を、内視鏡情報管理システム５６の内視鏡情報管理プロセッサに送信する。内視鏡情報管理プロセッサは、内視鏡システム１１から送信された音声「レポート用画像」は、内視鏡情報管理システム５６の動作に対応する音声であると判定する。この判定に従って、内視鏡情報管理システム５６は、音声「レポート用画像」に対応するレポート用画像取得機能を作動させる。

【0053】

以上により、内視鏡システム１１及び内視鏡情報管理システム５６でレポート用画像取得機能が作動することで、内視鏡システム１１にてレポート用画像が取得され、内視鏡情報管理システム５６は、例えば、内視鏡システム１１以外の画像管理サーバなどから、レポート用画像を取得する。これにより、１つのマイク１３で、２つの医療システムの音声操作（レポート用画像取得機能）を行うことができる。なお、タブレット端末１２が音声「光源切替」を受け付けた場合、音声「光源切替」は、内視鏡システム１１の動作に対応するものの、内視鏡情報管理システム５６の動作には対応していない。そのため、音声「光源切替」の場合には、内視鏡システム１１で光源切替が行われる一方で、内視鏡情報管理システム５６では動作が行われない。

【0054】

音声を選択して配信する場合について、図１８に示すように、医療システムユニット６５が、内視鏡システム１１（第１医療システム）、Ｘ線透視装置１５（第２医療システム）、及び、内視鏡情報管理システム５６を含む複数の医療システムと、タブレット端末１２（音声操作端末）とを備える場合について説明する。ここで、タブレット端末１２は、マイク１３を介して入力された音声を受け付け、且つ、複数の医療システムと接続されている。また、タブレット端末１２は、音声が、各医療システムの動作に対応するかどうかを判定し、判定に基づいて、各医療システムに配信制御する。なお、音声を選択して配信する場合において、複数の医療システムが第１医療システム及び第２医療システムのみで構成される場合、第２医療システムは、Ｘ線透視装置１５の他、超音波内視鏡システム５０、又は、内視鏡情報管理システム５６であってもよい。

【0055】

なお、図１８においては、ドクター、看護師などのユーザーが用いるインカム６７ａ、６７ｂと接続されたインカムシステム６７も、タブレット端末１２に接続されている。インカム６７ａ、６７ｂには、マイク機能とイヤホン機能が設けられており、無線でインカムシステム６７と、音声データを送受信する。インカムシステム６７は、タブレット端末１２との間で、音声データを送受信する。このようなインカムシステム６７にも音声を配信するようにしたことで、マイクが接続された医療システムだけでなく、ユーザー間のコミュニケーションツールとしても利用することができる。なお、マイク１３で音声操作することに代えて又は加えて、インカム６７ａ、６７ｂで音声操作を行ってもよい。

【0056】

具体的には、タブレット端末１２は、マイク１３が検出したウェイクワード（音声操作起動用音声）の認識によって、音声が、各医療システムの動作に対応するかどうかを判定する。例えば、タブレット端末１２が、ウェイクワードがＸ線検査を表す音声「Ｈｉ，ＸＲａｙ」を認識した場合には、音声「Ｈｉ，ＸＲａｙ」の認識後は、タブレット端末１２は、マイク１３で入力された音声を、Ｘ線透視装置１５、及び、Ｘ線検査を行うユーザーのインカム６７ａ、６７ｂに配信する一方、音声は、内視鏡システム１１及び内視鏡情報管理システム５６には配信されない。したがって、タブレット端末１２は、各システムに対する音声スイッチング機能を備えたセンターデバイスとしての役割を果たす。

【0057】

なお、上記実施形態において、第１プロセッサ、第２プロセッサ、又は、第３プロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0058】

［マイク接続方法に関する請求の範囲］
［付記項１］
音声が入力されるマイクと、
前記マイクの接続制御を行う音声操作端末とを備える医療システム。
［付記項２］
前記音声操作端末は、前記マイクの電界強度を表示する付記項１記載の医療システム。
［付記項３］
前記マイクの電界強度は、数値表示、又は、ボリューム表示される付記項２記載の医療システム。
［付記項４］
前記接続制御は、前記電界強度が基準値を超えるか否かによって行われる付記項２記載の医療システム。
［付記項５］
前記音声操作端末は、前記マイクの音声ボリュームを表示する付記項１記載の医療システム。
［付記項６］
前記マイクの接続制御は、前記音声操作端末で検出した音と前記マイクで検出した音との相関に基づいて行われる付記項１記載の医療システム。
［付記項７］
前記音声操作端末には、複数のマイクが予め登録されている付記項１記載の医療システム。
［付記項８］
前記音声操作端末は、前記複数のマイクのうち接続可能なマイクについて、前記接続可能であることを表示する付記項７記載の医療システム。
［付記項９］
前記複数のマイクが接続可能である場合には、選択操作によって選択されたマイクが接続される付記項７記載の医療システム。
［付記項１０］
互いに異なる第１医療システム及び第２医療システムを有する医療システムユニットにおいて、
前記第１医療システムに接続可能なマイク、及び、前記第２医療システムに接続可能なマイクについて、それぞれ接続可能であることを表示する音声操作端末を有する医療システムユニット。
［付記項１１］
ドクターページを表示するディスプレイを有し、
前記ドクターページで、ドクター名を選択することよって、前記ドクター名と予め関連付けられたマイクに接続する医療システム。
［付記項１２］
前記第１医療システムに接続可能なマイクについて、選択操作によって選択されたマイクが接続され、
前記第２医療システムに接続可能なマイクについて、選択操作によって選択されたマイクが接続される付記項１０記載の医療システムユニット。

【0059】

［音声操作に関するユーザーインターフェースに関する請求の範囲］
［付記項１］
音声操作機能に対応し、機能切替操作可能又は情報表示可能な音声操作機能表示面を表示する音声操作端末を備え、
前記音声操作機能表示面は、前記音声操作機能の動作ステップ状態、音声操作された内容、及び、音声操作対象機能の動作状態うち少なくとも一つをリアルタイムに表示更新する医療システム。
［付記項２］
前記動作ステップ状態は、前記音声操作端末に対する切替操作によって、切り替えられる付記項１記載の医療システム。
［付記項３］
前記動作ステップ状態は、ウェイクワードによって、切り替えられる付記項１記載の医療システム。
［付記項４］
前記ウェイクワードによって前記動作ステップ状態が切り替えられた場合において、前記音声操作機能に対応する音声が検出されると、前記動作ステップ状態が切り替えられる付記項３記載の医療システム。
［付記項５］
前記音声操作機能の動作状態は、目的の動作状態に対応する音声をマイクで検出すること、又は、前記音声操作機能表示面に対して切替操作を行うことによって、ダイレクトに切り替えられる付記項１記載の医療システム。
［付記項６］
複数の操作手段のうち最初に行われた特定の操作手段による操作を受け付けた場合には、前記複数の操作手段のうち前記特定の操作手段以外の他の操作手段による操作の受け付けを禁止する付記項１記載の医療システム。

【符号の説明】

【0060】

１０、１０ａ、１０ｂ 内視鏡室
１１、１１ａ、１１ｂ 内視鏡システム
１２、１２ａ、１２ｂ タブレット端末
１３、１３ａ、１３ｂ マイク
１４ Ｘ線室
１５ Ｘ線透視装置
２０ ドクターページ
２１、２１ａ、２１ｂ、２１ｐ、２１ｑ、２１ｒ、２１ｓ 音声操作機能表示面
３０ スコープ
３１ フットスイッチ
３２ 光源装置
３３ プロセッサ装置
４０ ディスプレイ
４１ 音声操作機能表示面
４２ アイコン
４５ 医療システムユニット
５０ 超音波内視鏡システム
５１ ディスプレイ
５５ 医療システムユニット
５６ 内視鏡情報管理システム
６５ 医療システムユニット
６７ インカムシステム
６７ａ、６７ｂ インカム
ＳＬ 基準ライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】