(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-28
(54)【発明の名称】音声制御式外科用システム
(51)【国際特許分類】
A61B 34/00 20160101AFI20240220BHJP
A61F 9/007 20060101ALI20240220BHJP
A61B 34/30 20160101ALI20240220BHJP
G10L 15/00 20130101ALI20240220BHJP
G10L 25/51 20130101ALI20240220BHJP
G10L 17/00 20130101ALI20240220BHJP
G10L 15/20 20060101ALI20240220BHJP
【FI】
A61B34/00
A61F9/007 130Z
A61B34/30
G10L15/00 200L
G10L25/51 400
G10L17/00 200Z
G10L15/20 370D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023547087
(86)(22)【出願日】2022-02-01
(85)【翻訳文提出日】2023-08-02
(86)【国際出願番号】 IB2022050872
(87)【国際公開番号】W WO2022167937
(87)【国際公開日】2022-08-11
(32)【優先日】2021-02-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】スティーブン ティー.チャールズ
(72)【発明者】
【氏名】ポール アール.ハレン
【テーマコード(参考)】
4C130
【Fターム(参考)】
4C130BA08
(57)【要約】
本開示の特定の態様は、外科的セッティングにおいてデバイス及びシステムを制御するための音声制御式システムを提供する。音声制御式システムは、外科的セッティング内に分配された少なくとも1つのマイクロフォン及び少なくとも1つのラウドスピーカを含んで、手術スタッフからの音声コマンドを受信し、且つそれに音声で応答する。特定の態様では、少なくとも1つのマイクロフォン及び少なくとも1つのラウドスピーカは、能動的雑音低減、エコーキャンセレーション及び音源の方向決定を実施するように連係及び同期されるフェーズドマイクロフォンアレイ及びフェーズドラウドスピーカアレイを含む。音声制御式システムは、少なくとも1つのマイクロフォン及び少なくとも1つのラウドスピーカを通した手術スタッフとの音声による相互作用に基づいて、外科用デバイスの起動などのタスクを実施する。特定の態様では、音声制御式システムは、異なる手術スタッフからの自然言語コマンドを認識、解読及び優先順位付けするように構成され、且つデバイス設定及び手術スタッフプリセットの事前プログラミングを更に提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
外科用コマンドシステムであって、
プロセッサに結合され、且つ外科手術環境内の音波を1つ以上のオーディオ入力信号に変換するように構成された1つ以上のマイクロフォン、
前記プロセッサに結合され、且つ前記プロセッサから直接的又は間接的に受信された1つ以上のオーディオ出力信号に基づいて、前記外科手術環境内で音波を発生させるように構成された1つ以上のラウドスピーカ、
実行可能命令を含むメモリ
を含み、及び前記プロセッサは、前記メモリとデータ通信し、且つ前記実行可能命令を実行して、前記外科用コマンドシステムに、
前記1つ以上のマイクロフォンから前記1つ以上のオーディオ入力信号を直接的又は間接的に受信することと、
前記1つ以上のオーディオ入力信号において1つ以上のスピーチコマンドを識別することと、
前記1つ以上のスピーチコマンドの少なくとも1つを前記外科手術環境内のユーザにマッピングすることと、
前記1つ以上のスピーチコマンドの前記少なくとも1つに関連付けられた1つ以上のアクションを識別することと、
前記1つ以上のアクションを外科用デバイスに示して、前記外科用デバイスに前記1つ以上のアクションを実施させることと、
前記1つ以上のアクションに基づいて、前記1つ以上のオーディオ出力信号を生成させることと、
前記1つ以上のオーディオ出力信号に基づいて、前記1つ以上のラウドスピーカに送出スピーチ応答を発生させることと
を行わせるように構成される、外科用コマンドシステム。
【請求項2】
前記1つ以上のオーディオ入力信号における前記1つ以上のスピーチコマンドの発生源の場所を決定するように更に構成される、請求項1に記載の外科用コマンドシステム。
【請求項3】
前記発生源の前記場所は、前記1つ以上のスピーチコマンドを前記ユーザにマッピングするために利用される、請求項2に記載の外科用コマンドシステム。
【請求項4】
前記プロセッサにより、更に前記1つ以上のマイクロフォンからの前記1つ以上のオーディオ入力信号における連続的な周囲雑音を能動的に低減するようにされる、請求項1に記載の外科用コマンドシステム。
【請求項5】
前記プロセッサにより、更に前記1つ以上のマイクロフォンからの前記1つ以上のオーディオ入力信号に対してエコーキャンセレーションを実施するようにされる、請求項1に記載の外科用コマンドシステム。
【請求項6】
前記1つ以上のアクションは、外科用デバイス選択、モード選択及びタスク選択の1つ以上を含む、請求項1に記載の外科用コマンドシステム。
【請求項7】
前記1つ以上のアクションは、前記ユーザに関連付けられ、且つ前記プロセッサがアクセス可能なユーザプロファイルに少なくとも部分的に基づいて識別される、請求項1に記載の外科用コマンドシステム。
【請求項8】
前記ユーザプロファイルは、異なるスピーチコマンドへの異なるアクションのマッピングを含み、前記マッピングは、前記異なるアクションの1つ以上と、前記異なるスピーチコマンドの1つ以上との間のマッピングを含む、請求項7に記載の外科用コマンドシステム。
【請求項9】
前記プロセッサが、前記1つ以上のスピーチコマンドの前記少なくとも1つを前記ユーザにマッピングするように構成されることは、前記プロセッサが、前記1つ以上のスピーチコマンドの各々を、前記ユーザを含むユーザのグループ内の対応するユーザにマッピングするように構成されることを更に含み、
前記プロセッサは、前記ユーザのグループの所定のヒエラルキーに基づいて、前記1つ以上のスピーチコマンドの前記少なくとも1つ及び/又は前記1つ以上のアクションを優先順位付けするように更に構成され、前記所定のヒエラルキーは、前記ユーザについて、前記1つ以上のスピーチコマンドに関連付けられた他のユーザと比較してより高いランクを示す、請求項1に記載の外科用コマンドシステム。
【請求項10】
前記送出スピーチ応答は、前記外科用デバイスに示される前記1つ以上のアクションの通知を含む、請求項1に記載の外科用コマンドシステム。
【請求項11】
前記送出スピーチ応答は、前記識別された1つ以上のスピーチコマンドにマッピングされた前記ユーザの方向において前記1つ以上のラウドスピーカから中継される、請求項10に記載の外科用コマンドシステム。
【請求項12】
前記1つ以上のラウドスピーカは、フェーズドラウドスピーカアレイにおいて配置された複数のラウドスピーカを含む、請求項1に記載の外科用コマンドシステム。
【請求項13】
前記フェーズドラウドスピーカアレイは、前記外科手術環境内の音波を送信するための送信ビームフォーミングを実施するように配置される、請求項12に記載の外科用コマンドシステム。
【請求項14】
前記1つ以上のマイクロフォンは、フェーズドマイクロフォンアレイにおいて配置された複数のマイクロフォンを含む、請求項1に記載の外科用コマンドシステム。
【請求項15】
前記フェーズドマイクロフォンアレイは、前記外科手術環境内の音波を受信するための受信ビームフォーミングを実施するように配置される、請求項14に記載の外科用コマンドシステム。
【請求項16】
前記1つ以上のマイクロフォンは、前記外科手術環境内の前記ユーザによって着用される外科用マスク内に位置する、請求項1に記載の外科用コマンドシステム。
【発明の詳細な説明】
【技術分野】
【0001】
優先権の主張
本出願は、発明者がSteven T.Charles及びPaul R.Hallenである、2021年2月5日に出願された「VOICE-CONTROLLED SURGICAL SYSTEM」という名称の米国仮特許出願第63/146,126号明細書の優先権の利益を主張するものであり、あたかも本明細書に十分且つ完全に記載されているかのようにその全体が参照により本明細書に組み込まれる。
【0002】
本開示は、概して、外科用デバイス及びシステムに関し、より具体的には、外科用デバイス及びシステムのための音声作動式制御システムに関する。
【背景技術】
【0003】
屈折白内障手術及び硝子体網膜手術などの眼科手術を含む多くの外科手術は、極めて困難であり、照明、手術台、顕微鏡、表示デバイス並びに外科用ツール及び/又はコンソールなどの手術室内の様々な装置を調整するために複数の手術スタッフメンバーを必要とする。複数の手術スタッフの存在により、外科医は、所望の装置を止めて設定を変更する必要なく、自らの作業を継続することが可能になる。しかしながら、複数の手術スタッフによる別個のデバイス又はシステムの同時で継目のない操作は、外科手術、特に眼科手術中の大きい課題である。更に、追加の人員は、手術費用と、床面積などの手術室内のリソースへの追加負担とを追加する一方、手術室内での汚染の危険性も増加させる。
【0004】
近年、複雑な外科手術のいくつかの課題を軽減させるために音声作動式アプリケーションが利用されており、それにより、手術スタッフによる物理的相互作用を必要とすることなく、外科用デバイスの音声制御が可能になり、外科手術のために必要な人員数が低減される。それでも、現在の音声制御式外科用デバイス及びシステムは、デバイスを制御するための音声コマンドを提供する人員を認識、判別及び優先順位付けすることができないなどのいくつかの限界を有する。加えて、特定の例では、雑音が大きい手術室内でのマイクロフォンの数及び空間配置は、最適状態に及ばず、背景雑音及び音の明瞭性に関する問題に起因して、手術スタッフからの音声コマンドを検出しないか又は誤って解釈することにつながる。また更に、特定の例では、手術スタッフは、会話コマンド又は自然言語コマンドを使用するよりもむしろ、所望のデバイス機能を効果的に実行するために所定のコマンド入力シンタックスを学習しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、改善された音声制御式外科用システムが当技術分野で求められている。
【課題を解決するための手段】
【0006】
本開示は、外科用デバイス及びシステムに関し、より具体的には、外科用デバイス及びシステムのための音声作動式制御システムに関する。
【0007】
特定の実施形態によれば、外科用コマンドシステムが提供される。外科用コマンドシステムは、プロセッサと、外科手術環境内の音波を、プロセッサに中継される1つ以上のオーディオ入力信号に変換するように構成された1つ以上のマイクロフォンと、プロセッサから直接的又は間接的に受信された1つ以上のオーディオ出力信号に基づいて、外科手術環境内で音波を発生させるように構成された1つ以上のラウドスピーカと、プロセッサとデータ通信する、実行可能命令を含むメモリとを含む。プロセッサは、外科用コマンドシステムに、1つ以上のマイクロフォンから1つ以上のオーディオ入力信号を直接的又は間接的に受信することと、1つ以上のオーディオ入力信号において1つ以上のスピーチコマンドを識別することと、1つ以上のスピーチコマンドの少なくとも1つを外科手術環境内のユーザにマッピングすることと、1つ以上のスピーチコマンドの少なくとも1つに関連付けられた1つ以上のアクションを識別させることとを行わせるための命令を実行するように構成される。プロセッサは、1つ以上のアクションを外科用デバイスに示して、外科用デバイスに1つ以上のアクションを実施させることと、1つ以上のアクションに基づいて1つ以上のオーディオ出力信号を生成させることと、1つ以上のオーディオ出力信号に基づいて1つ以上のラウドスピーカに送出スピーチ応答を発生させることとを行うように更に構成される。
【0008】
上記で記載した本開示の特徴を詳細に理解することができるように、上記で簡潔に要約した本開示のより具体的な説明を、実施形態を参照することによって得ることができ、そのいくつかを添付図面に示す。しかしながら、添付図面は、例示的な実施形態を示すにすぎないため、その範囲を限定するとみなされるべきではなく、他の同様に効果的な実施形態が認められ得ることに留意されたい。
【図面の簡単な説明】
【0009】
【
図1】本開示の特定の実施形態による音声制御式外科用コマンドシステムを有する外科的セッティングを示す。
【
図2】本開示の特定の実施形態による音声制御式外科用コマンドシステムの概略図を示す。
【
図3】本開示の特定の実施形態による
図2の外科用コマンドシステムの例示的な構成要素を示す。
【発明を実施するための形態】
【0010】
理解を促進するために、各図面に共通する同一の要素を示すために可能な限り同一の参照番号が使用される。一実施形態の要素及び特徴は、更なる説明を伴わずに他の実施形態に有益に組み込まれ得ることが企図される。
【0011】
以下の説明では、開示する主題の理解を促進するために、詳細が例として述べられる。しかしながら、開示する実装形態が例であり、全ての可能な実装形態を網羅するものではないことは、当業者に明らかであるはずである。したがって、説明された例への言及は、本開示の範囲を限定することを意図するものではないことが理解されるべきである。説明されるデバイス、機器、方法に対する任意の変更形態及び更なる修正形態並びに本開示の原理の任意の更なる応用形態は、本開示が関連する技術分野の当業者が通常想到するであろうことが完全に想定される。特に、1つの実装形態に関して説明される特徴、構成要素及び/又はステップは、本開示の他の実装形態に関して説明される特徴、構成要素及び/又はステップと組み合わされ得ることが完全に想定される。
【0012】
本開示の実施形態は、概して、眼科外科的セッティングなどの外科的セッティングでデバイス及びシステムを制御するための音声制御式システムに関する。特定の態様では、音声制御式システムは、1つ以上のフェーズドマイクロフォンアレイ(フェーズドマイクロフォンアレイは、フェーズドアレイにおいて配置された複数のマイクロフォンを指す)及び1つ以上のフェーズドラウドスピーカアレイ(フェーズドラウドスピーカアレイは、フェーズドアレイにおいて配置された複数のラウドスピーカを指す)を含む。特定の態様では、1つ以上のフェーズドマイクロフォンアレイは、外科的セッティングの全体にわたって分配されて、手術スタッフからの音声コマンドを識別し受信する。更に、1つ以上のフェーズドラウドスピーカアレイは、外科的セッティングの全体にわたって分配されて、音声応答及び他の可聴信号を手術スタッフに出力し得る。特定の態様では、1つ以上のフェーズドマイクロフォンアレイは、協調され、同期されて、能動的雑音低減、エコーキャンセレーション及び音源の指向性決定を実施する。特定の態様では、音声制御式システムは、主に、1つ以上のフェーズドマイクロフォン及びラウドスピーカアレイを介した手術スタッフとの会話又は自然言語による相互作用に基づいて、外科用デバイスの起動などのタスクを実施する。特定の態様では、音声制御式システムは、異なる手術スタッフからの口頭でのコマンドを解読、学習、認識及び優先順位付けするように構成され、且つデバイス設定及び手術スタッフプリセットの事前プログラミングを更に提供する。
【0013】
本明細書で使用する場合、用語「外科的セッティング」は、外科手術が実施されるあらゆる環境を指すことができる。例えば、用語「外科的セッティング」は、外科的セッティングに関係する1人以上の外科医と手術スタッフとがいる手術室を指すことができる。
【0014】
本明細書で使用する場合、用語「外科用システム」は、外科手術を実施するためのあらゆる外科用システム、コンソール又はデバイスを指すことができる。例えば、用語「外科用システム」は、外科用ツール又はシステム、例えば、水晶体超音波吸引術コンソール、レーザーシステム、撮像システム、眼内レンズ(IOL)アライメントシステム、バイオメータ、光干渉断層解析(OCT)マシン又は硝子体切徐コンソールを指すことができる。
【0015】
本明細書に記載されるデバイス及びシステムは、眼科外科的セッティングを参照して一般的に記載されるが、本出願の範囲から逸脱することなく、他の外科的セッティングなどの他のセッティング及び状況で実装され得る。
【0016】
本明細書で使用する場合、「約」という用語は、公称値からの±10%の変動を指し得る。このような変動は、本明細書で提供されるいずれの値にも含まれ得ることを理解されたい。
【0017】
図1は、本開示の特定の実施形態による、音声制御式外科用コマンドシステム102を有する外科的セッティング100、例えば外科医150、1人以上の追加手術スタッフ及び患者112がいる眼科外科的セッティングの例を示す。
図1には、1人の外科医150が示されているが、複数の外科医及び/又は手術スタッフが外科用コマンドシステム102を使用し得る。例えば、特定の実施形態では、外科助手及び/又は外回り看護師(すなわちサーキュレータ)も外科的セッティング100内におり、外科用コマンドシステム102を利用することができる。
【0018】
図示するように、外科用コマンドシステム102は、1つ以上の外科用システムと直接的又は間接的に通信する外科用コマンドコントローラ104、コンソール及び/又は外科的セッティング100内の(例えば、インターネット化された外科用スイートに一体化された)デバイス、例えば手術台120、外科コンソール122、ヘッドアップディスプレイ124及び顕微鏡システム126を含む。外科用スイートに含まれ得る好適な外科用システムの例としては、外科用コンソールであって、コンソールの中でもとりわけ、硝子体網膜手術、白内障手術、角膜移植、緑内障手術、LASIK(レーザー角膜切削形成術)手術、屈折レンズ交換、柵状織切除及び屈折矯正手術を実施するためのコンソール、撮像デバイス、レーザーデバイス、診断デバイス及び当業者によって識別可能なアクセサリが挙げられる。
【0019】
特定の実施形態では、外科用コマンドコントローラ104は、外科的セッティング100内に物理的に配置された1つ以上の外科用システムに無線又は有線で通信する独立型デバイス又はモジュール(プロセッサ及びメモリを含む)である。しかしながら、特定の他の実施形態では、外科用コマンドコントローラ104は、外科的セッティング100内に物理的に配置された外科用システムの1つ以上に一体化された1つ以上のプロセッサ及び/又はメモリを含む。例えば、外科用コマンドコントローラ104は、
図1において仮想要素104で示すように、外科コンソール122、ヘッドアップディスプレイ124及び/又は顕微鏡126に一体化され得る。特定の態様では、外科用コマンドコントローラ104は、外科的セッティング100内に物理的に配置された外科用システムの少なくとも1つに関連付けられたプロセッサが実行するように構成されたソフトウェア命令のセットを指す。特定の態様では、外科用コマンドコントローラ104の操作は、外科用コマンドコントローラ104に関連付けられ、部分的にプライベートクラウド又はパブリッククラウドにあるプロセッサにより部分的に実行され得る。
【0020】
外科用コマンドシステム102は、フェーズドアレイ136で配置された1つ以上の複数のマイクロフォン106及びフェーズドアレイ138で配置された1つ以上の複数のラウドスピーカ108を更に含む。マイクロフォン106及びラウドスピーカ108は、外科用コマンドコントローラ104に無線又は有線で通信し、したがって、コントローラ104が、外科医150及び他の手術スタッフにより提供される音声コマンドを受信し、更に音声コマンドに対して、指向性のある可聴応答を生成することが可能になる。特定の実施形態では、マイクロフォン106及び/又はラウドスピーカ108は、外科的セッティング100内において、音声コマンドを受信することになる所望のユーザ(例えば、外科医150、外科助手及び/又は外回り看護師)に極めて接近して分配される。しかしながら、特定の実施形態では、マイクロフォン106及び/又はラウドスピーカ108は、外科的セッティング100内で広範囲に分散されて、外科的セッティング100のより広いカバレッジを提供する。
【0021】
外科用コマンドコントローラ104と同様に、マイクロフォン106及び/又はラウドスピーカ108は、独立型デバイスであり得るか、又は外科的セッティング100内の1つ以上の他の外科用システムに物理的に一体化され得る。例えば、マイクロフォン106及び/又はラウドスピーカ108は、
図1において仮想要素106及び108で示すように、外科コンソール122、ヘッドアップディスプレイ124及び/又は顕微鏡126の様々な構成要素に物理的に一体化され得る。特定の実施形態では、1つ以上のフェーズドマイクロフォンアレイ136が、指向性リスニングのために、外科的セッティング100内の1人以上のユーザの方を向き(すなわち面し)、したがって雑音の多い環境での音声コマンドの捕捉及び識別中に望ましい音(すなわち音声コマンド)の集束及び望ましくない音の抑制が可能になる。例えば、特定の実施形態では、顕微鏡126は、外科医150の話を聞くための「前方に向いた」マイクロフォン106の少なくとも1つのセットと、手術スタッフメンバーの話を聞くための、前方に向いたマイクロフォン106に対して90°又は180°に向いた「周辺」マイクロフォン106の少なくとも別のセットとを含み得る(例えば、外科手術中、外科助手は、顕微鏡126に対して外科医150から90°又は180°の位置に位置する場合がある)。更なる実施形態では、マイクロフォン106の1つ以上のセットが、外科手術中に外科医150又は他の手術スタッフにより着用される外科用フェースマスク130、ヘッドセット、キャップ、小型マイク、バイザ、眼鏡又は他のアクセサリに物理的に一体化され得る。そのような実施形態では、マイクロフォン106は、使い捨てマイクロフォン又は交換可能な使い捨てフィルタと共に利用されるように構成された複合型の再利用可能及び使い捨てマイクロフォンであり得る。
【0022】
マイクロフォン106及び/又はラウドスピーカ108は、指向性リスニング、音源局在化及び音声認識、指向性音声出力(例えば、テキストツースピーチ出力)並びに音声信号品質向上を促進するために、ビームフォーミング(例えば、ビームステアリング)を実施するためにフェーズドアレイに配置された任意の好適なマイクロフォン及び/又はラウドスピーカを含む。例えば、マイクロフォン106は、受信ビームフォーミング又は受信側ビームフォーミングを実施する一方、ラウドスピーカ108は、送信ビームフォーミング又は送信側ビームフォーミングを実施する。特定の実施形態では、フェーズドアレイ136で配置されたビームフォーミングマイクロフォン106は、外科用コマンドコントローラ104が、多くの発生源の中から所望の音源(例えば、音声コマンドを提供するユーザ)の位置を連続的に検出し局在化し、更に背景雑音、反響及び帰還を低減させるか又は無視しながら、発生源により放出された音波を捕捉し増幅して、信号雑音比及び音声認識精度を向上させることを可能にすることができる。例えば、典型的な眼科外科手術中、外科医150は、患者頭部の側部又は上部のいずれかで顕微鏡又は他の外科用デバイスの近くに座る一方、外科助手は、患者の頭部の側部の近くにおり、外回り看護師は、外科的セッティング100内のいくつかの別々の場所を移動する。そのような例では、マイクロフォン106は、所与の音声コマンドが、上述した位置の1つに由来するものと検出することができ、それにより、外科用コマンドシステム102が、音声コマンドの発生源が外科医150、外科助手又は外回り看護師のいずれかであると識別することが可能になる。
【0023】
更に、ラウドスピーカ108は、マイクロフォン106と同期して、外科用コマンドコントローラ104が、外科的セッティング100内の所望のユーザに指向性可聴応答、出力、信号及び警報を出すことを可能にする。例えば、音声コマンドと、音声コマンドを発する外科医150、外科助手又は外回り看護師のいずれかの位置とを検出した時点で、外科用コマンドコントローラ104は、適宜、上述したユーザに向けて指向性のテキストツースピーチ応答を送信し得、これは、特定の実施形態では、ユーザの名前又は他の識別子の後であり得る。指向性応答は、ラウドスピーカ108から出力され、いくつかの例では、音声コマンドを発したユーザに向かって、ビームフォーミングを介して導かれ、それにより、コマンドを発したユーザが、例えば、その部屋にいる他の人と比較してより明瞭に応答を聞くことができる可能性が増加する。指向性応答は、コマンドを発したユーザにとっても有益である。なぜなら、その応答が、コマンドを発したユーザが対象にするシステム又はデバイスに由来するかのように思われ得るからである。したがって、応答及び他の出力の指向性により、外科的セッティング100内の手術スタッフによる改善された聞き取りが促進され、更に、患者112からの応答を誘発する可能性又は患者112を心配させる可能性が低くなる。
【0024】
更に、マイクロフォン106によって受信されるオーディオの質を向上させるために、マイクロフォン106、ラウドスピーカ108及び外科用コマンドコントローラ104が同期されて、能動的雑音低減(「ANR」)が実施されて、加熱、換気及び冷却(HVAC)システム及び外科用システム並びに/又はコンピュータ冷却ファンによって生じる雑音などの連続的背景雑音が排除又は低減される。加えて、マイクロフォン106、ラウドスピーカ108及び外科用コマンドコントローラ104は、反響音抑制又はエコーキャンセレーションを同期的に実施して、外科医150及び/又は手術スタッフにより提供される音声コマンドをより明瞭に捕捉するように構成される。特定の実施形態では、外科的セッティング100内のマイクロフォン106は、高周波音及び/又は低周波音に対して調整され、それぞれ独立して又は他のマイクロフォン106と組み合わせて利用され得る。同様に、外科的セッティング100内のラウドスピーカ108は、それぞれ独立して又は他のラウドスピーカ108と組み合わせて利用され得る。
【0025】
特定の実施形態では、外科的セッティング100内で分配されるマイクロフォン106及び/又はラウドスピーカ108は、音楽を聞くため及び電話を掛けるため又は受けるために、外科医150及び/又は他の手術スタッフにより利用され得る。そのような実施形態では、マイクロフォン106及び/又はラウドスピーカ108は、Bluetooth(登録商標)接続を介してユーザ自身の(例えば、外科医の)モバイルデバイスに接続することができる。ユーザが電話を掛けるか又は受ける場合、外科用コマンドシステム102は、通話を優先し、ラウドスピーカ108を介して流れる音楽を自動的に消音し得る。
【0026】
更なる実施形態では、外科用コマンドシステム102は、
図1の手術台120上に横たわっているように示される患者112の方に向けられ、患者112の近傍に配置された、1つ以上のマイクロフォン106及び/又はラウドスピーカ108を含む。例えば、(個々のデバイス又はフェーズドアレイで配置された)1つ以上のマイクロフォン106及び/又はラウドスピーカ108は、手術台120、患者のヘッドレスト及び/又は外科手術中に患者112を覆うドレープ114の下に配置されるか又はそれらに一体化され得る。マイクロフォン106及び/又はラウドスピーカ108は、患者112と、外科医150、外科助手及び/又は外回り看護師などの外科的セッティング100の内部又は外部の手術スタッフメンバーとの間の通信チャネルを提供して、それらの間における通信中の了解度を改善し、且つ聴力損失又は取り外された患者の補聴器に対処することができる。例えば、マイクロフォン106及び/又はラウドスピーカ108は、外科手術中、患者112に指示及び情報を提供するか又は患者112を落ち着かせるために、外科医150が患者112により明瞭に話すことを可能にし得る。特定の実施形態では、ラウドスピーカ108は、患者112に心地良い音楽を提供するために利用される場合があり、これにより患者112が手術スタッフメンバー間の会話を聞く機会が更に減る。そのような実施形態では、患者のための音楽は、外科医150及び/又は他の手術スタッフに提供される音楽とは別個のチャネルで提供され得、したがって外科的セッティング100内の他のマイクロフォン106及び/又はラウドスピーカ108を介して電話を掛けている間又は受けている間に患者の音楽を継続することが可能になる。
【0027】
上記では、マイクロフォン106及びラウドスピーカ108は、ビームフォーミングフェーズドアレイで配置されるように一般的に説明されているが、外科医150、外科助手、外回り看護師及び/又は患者112(例えば、ドレープ114の下)の近くに配置された個々の指向性マイクロフォン106及びラウドスピーカ108も本開示の範囲内にある。
【0028】
図2及び
図3を参照して以下で更に詳細に論じるように、外科用コマンドシステム102は、デバイス及び/又はシステムを操作するための1つ以上のアクションを実施するために、外科的セッティング100内の1つ以上のデバイス及び/又はシステム(例えば、外科コンソール122、ヘッドアップディスプレイ124及び顕微鏡126)と(例えば、無線又は有線で)インターフェースする。そのアクションは、外科的セッティング100内の外科医150又は他の手術スタッフにより提供される音声コマンドに基づくものであり、音声コマンドは、外科的セッティング内に分配された1つ以上のフェーズドマイクロフォンアレイ136により受信される。特定の実施形態では、外科用コマンドシステム102は、外科的セッティング100内の様々なデバイス及び/又はシステムを制御すること(例えば、起動、停止、操作パラメータの変更など)、デバイス設定を調整すること、表示ダッシュボード(グラフィカルユーザインターフェイス(GUI)/ヒューマンマシンインターフェース(HMI))をナビゲートすること、診断デバイスを制御すること並びにラウドスピーカ108のフェーズドアレイを介して外科医150及び他の手術スタッフに警報及び/又は助言を提供することができる。スピーチ相互作用について、外科用コマンドシステム102は、基本的に「ハンズフリー」外科用システム制御を可能にし、したがって、既に他のタスクで手が塞がっている外科医150及び他の手術スタッフにとって必要な移動量及び/又は「ハンズオン」デバイス操作を減らすことにより、外科手術の効率を改善する。
【0029】
図2は、本開示の特定の実施形態による、音声制御式外科用コマンドシステム102の概略的な動作ダイアグラム200を示す。前述したように、外科用コマンドシステム102は、1人以上のユーザ210(例えば、外科医150及び/又は手術スタッフ)がいる手術室などの外科的セッティング100内に配置され得る。外科手術中、ユーザ210は、音声コマンド220を発する。音声コマンドは、外科的セッティング100内の他の音(例えば、周囲雑音、他のユーザからのスピーチ)と共に、外科用コマンドシステム102のフェーズドマイクロフォンアレイ136により捕捉される(例えば、拾われる)。音声コマンド220は、「起動」、「停止」、「増加」、「減少」などであるが、これらに限定されない単純な語句であり得るか、又は音声コマンドは、「10%増加」、「10%減少」、「左に1ミリメートル」、「右に1ミリメートル」などであるが、これらに限定されない複雑な語句又は文であり得るか、又は更により複雑な語句及び/又は文であり得る。特定の実施形態では、音声コマンド220は、層状コマンドアーキテクチャを有し、その場合、ユーザ210は、所望のシステム、所望のツール(例えば、デバイス)、所望のツールモード及び/又は例えばツールモードにある間にツールにより実施される所望のタスクを選択する。層状コマンドアーキテクチャ(例えば、システム、ツール、ツールモード及びタスク)の各層が命令(例えば、ソフトウェア命令)のセットに対応し得、命令は、手術中、対応する外科用システムに1つ以上のアクションを遂行させることができる。なお更なる実施形態では、音声コマンド220は、自然言語型の音声コマンド220であり、この音声コマンドは、以下で更に詳細に説明される、事前プログラミング有り又は無しの外科用コマンドコントローラ104の自然言語処理(NLP)モジュールを介して解読される。
【0030】
上述した例示的な音声コマンド220は、英語であるが、外科用コマンドコントローラ104は、英語、北京語、ヒンディー語、スペイン語、フランス語、アラビア語、ポルトガル語、ロシア語などを含むが、これら限定されない任意の数の好適な言語をサポートするように構成され得る点に留意されたい。
【0031】
上述したように、フェーズドマイクロフォンアレイ136は、音声コマンド220の音波及び外科的セッティング100内の他の音を受信し、音波を1つ以上のオーディオ入力信号230に変換し、オーディオ入力信号は、次いで、外科用コマンドシステム102の外科用コマンドコントローラ104に直接的又は間接的に中継される。外科用コマンドコントローラ104は、オーディオ入力信号230を受け取った時点で、スピーチ認識モジュールを介してオーディオ入力信号230における音声コマンド220を識別し、ユーザ210の位置検出及び/又はユーザ識別モジュールを介して音声コマンド220のソースを識別し、例えばNLPモジュールを介して音声コマンド220を分析し、音声コマンド220をユーザ210(例えば、ユーザプロファイル)及びユーザ210のための定義済みの(例えば、ユーザ定義の)ルールセットにマッピングする。定義済みのルールセットは、音声コマンド220により示される所望のアクションを遂行するために、対応する外科用システムにどのような命令が送信されるかを決定する。特定の実施形態では、定義済みのルールセットは、特定の音声コマンドにより実行されるユーザ定義のアクション及びユーザが好むシステム設定、ツールモード、ツールサブモード、タスクパラメータ等を含み得る。複数のユーザが外科的セッティング100内に存在し、外科用コマンドシステム102を同時に使用する場合があるため、外科用コマンドコントローラ104は、外科的セッティング100内の各ユーザからの音声コマンドを識別(例えば、認識)し区別するように構成される。
【0032】
音声識別は、1つ以上のビームフォーミングと、外科的セッティング100内に分散されて音源局在化(すなわち位置検出)を容易にするフェーズドマイクロフォンアレイ136と、特定の状況における外科医150以外の手術スタッフのスピーチなどの望ましくない手術室雑音の抑制とによる指向性リスニングに部分的に起因して可能になる。加えて、外科用コマンドコントローラ104は、
図3を参照して以下により詳細に説明するユーザ識別モジュールを更に含み、ユーザ識別モジュールは、NLPモジュールと協力して機能するものであり、音声認識による外科手術の前に事前プログラムされ得る。ユーザ識別モジュールの事前プログラミングは、外科用コマンドシステム102と、外科的セッティング100内の1人以上のユーザとの間で開始される一連の短い自然言語会話を含み得、外科用コマンドコントローラ104は、1人以上のユーザの各々についてのスピーチパターンを学習する。その後の外科手術中、ユーザ識別モジュールは、フェーズドマイクロフォンアレイ136により拾い上げられた音声コマンド220に対してスピーチ認識アルゴリズムを実施して、学習したスピーチパターンに基づいて、音声コマンドの発生源(例えば、ユーザ)210を識別することができる。
【0033】
各音声コマンドの発生源を識別する能力により、外科用コマンドコントローラ104が、コマンド及び/又はルールの所定のセットを保存して、それを各ユーザに関連させることが可能になり、コマンド及び/又はルールの各セットは、対応する装置により遂行されることになる命令の異なるセットに対応し得る。例えば、外科用コマンドコントローラ104が、特定のユーザ210によって発せられた音声コマンド220を分析し識別した後に、外科用コマンドシステムコントローラ104は、音声コマンド220を、外科的セッティング100内の各システム及び/又はデバイスに関するプリセットシステム設定、ツールモード、ツールサブモード、タスクパラメータ等を含むことができるユーザ210に関する所定のルールセットにマッピングすることができる。特定の実施形態では、ユーザ210に関する所定のルールセットは、ユーザ210により発せられる単純な語句と、所定の命令の複雑なセットとの間の関連付けを含む。例えば、「表示反転」のような単純な語句が、ユーザ210が好む特定の色プリセットを伴う、ヘッドアップディスプレイ画像の反転を引き起こすことができる。各ユーザに関する所定のルールセットは、事前にプログラムされて、上述した音声認識事前プログラミングシーケンスと協力して、外科用コマンドコントローラ104内に保存され得、外科用コマンドコントローラ104は、各ユーザに関するスピーチパターンを学習する。例えば、音声認識及びユーザプリセットプログラミングシーケンスが協力している間、外科用コマンドシステム102は、最初に各ユーザに、名前及びユーザが対象にすることを希望するデバイスを述べるように要求し、所望のシステム及び/又はデバイスモード並びにユーザからの対応する音声コマンドに関連する数値パラメータの要求が続き得る。
【0034】
各音声コマンドの発生源の識別は、外科用コマンドコントローラ104が、音声コマンドをランク付けし、特定のユーザからの音声コマンドを他のユーザよりも優先させることを更に可能にする。これは、複数のユーザが同時に又は短い時間枠内で音声コマンドを発するときに特に有益な場合がある。したがって、外科用コマンドコントローラ104は、音声コマンドを受信することができるユーザの所定のヒエラルキー(例えば、ユーザプロファイル)を保存し得、所定のヒエラルキーが利用されて、特定のユーザからの音声コマンドが他のユーザよりも優先される。代わりに、外科用コマンドコントローラ104は、優先権がないと判断されるユーザからの特定の音声コマンドを抑制し得る。
【0035】
外科用コマンドコントローラ104は、音声認識の実施と協力して、音声コマンド220を分析して、その内容及びユーザ210の意図を決定する。特定の実施形態では、分析は、音声コマンド220を、ユーザ210によって事前プログラムされた1つ以上のコマンドと付き合わせることを含む。しかしながら、外科用コマンドシステム102は、ユーザ210との自然言語型の相互作用もサポートするので、より複雑な分析が外科用コマンドコントローラ104のNLPモジュールにより実施されて、ユーザ210により発せられる複雑な自然言語を処理し、解読する(すなわち理解する)こともできる。したがって、外科用コマンドシステム102は、ユーザ210による事前プログラミング又は大規模なシンタックス訓練を必要とすることなく、その使用を容易にする。
【0036】
音声コマンド220を分析しユーザ210にマッピングした後、外科用コマンドコントローラ104は、ユーザ210に関する所定のルールセットに基づく、音声コマンド220及びユーザ210に関連する1つ以上の命令を識別する。命令は、一般に、外科的セッティング100内の1つ以上の外科用システム、例えば
図1に示す手術台120、外科コンソール122、ヘッドアップディスプレイ124及び顕微鏡126により、1つ以上のアクションを実施又は開始させる。例えば、特定の実施形態では、アクションは、システム及び/又はデバイスモード選択、システム及び/又はデバイスパラメータ選択、システム及び/又はデバイス起動及び停止、外科用ツールの操作を制御するためのアクション、データ転送開始、データ呼び戻し、データ入力、患者プロファイル選択、外科手術パラメータ選択又は変更、ビデオ及び写真制御機能(例えば、記録、一時停止、停止、スナップショット)、ディスプレイ制御機能(例えば、画像反転、カラープリセット選択)、手術ノートディクテーション制御機能(例えば、記録、停止、保存、削除)、電話制御機能(例えば、電話に応答するか又は電話を掛ける)並びに他の手続き的機能を含む。眼科外科手術の場合、アクションは、注入システム制御、レーザー(例えば、網膜レーザー)パラメータ選択又は変更等を介する眼圧制御も含み得る。
【0037】
図2に示すように、外科用コマンドコントローラ104は、任意選択で、音声コマンド220に関連するアクションの識別又は非識別に基づいて、1つ以上のオーディオ出力信号240を生成し得、このオーディオ出力信号は、フェーズドラウドスピーカアレイ138に直接的又は間接的に中継される。オーディオ出力信号240は、複数のラウドスピーカ108により、外科用コマンドコントローラ104によりアクションが識別されたか又は識別されなかったかを確認する可聴応答250を形成する音波に変換される。例えば、特定の実施形態では、ラウドスピーカ108は、応答250を生成し得、応答は、識別されたアクションの概要(例えば、単純若しくは複雑な語句での)を含むか、音声コマンド220の単純な復唱を含むか、又はユーザ210への更なる情報、明確化若しくは検証の要求を含み、その要求に対して、ユーザ210は、他の音声コマンドで応答し得る。特定の実施形態では、応答250は、識別されたアクションが正しいことを確認又は検証することをユーザ210に要請することを含み得る。なお更なる実施形態では、応答250は、音声コマンド220が明瞭に受信されなかったこと及び/又はアクションが外科用コマンドコントローラ104により識別されなかったことをユーザ210に知らせ得る。前述したように、ラウドスピーカ108は、応答250を外科的セッティング100内の所望のユーザに導くように配置され構成された任意の好適なビームフォーミングラウドスピーカを含む。したがって、応答250の音波(すなわち音の波面)は、ユーザ210に向かって直接的に導かれ得、それにより、音声コマンドを発したユーザ210にとって、応答250を聞き、音声コマンド220を確認、修正、明確化又は更に補足する能力が改善される。特定の実施形態では、先行する音声コマンド220が対象にした外科用システムに応答が由来しているかのように思われるように、応答250もビームフォーミングにより導かれ得る。
【0038】
特定の態様では、任意選択の応答250を提供することに続いて、外科用コマンドコントローラ104は、識別されたタスクに対応し、ユーザ210に関する所定のコマンド及び/又はルールのセットに基づく、命令260を生成する。命令260は、その実行のために識別されたタスクに関連する1つ以上の所望の外科用システム270に直接的又は間接的に提供される。したがって、命令260は、外科用コマンドコントローラ104によって識別されたタスクを、適切な外科用システム270に示し、識別されたアクションを外科用システム270に実施させ、それにより音声コマンド220の目的を果たす。命令270は、別個の外科用システム270又は
図2に示すように単一のコンソール272内に一体化された外科用システム270に提供され得る。特定の実施形態では、命令260の単一のセットは、1つ以上のアクションを複数の外科用システム270に同時に又は逐次的に実行させ得る。
【0039】
特定の実施形態では、外科用コマンドシステム102は、識別されたアクション中に又はその後に、外科的セッティング100内の1つ以上の外科用システムとユーザ210との間の通信を促進するフィードバック機構を更に含む。例えば、特定の実施形態では、外科用コマンドコントローラ104は、オーディオ出力信号280を生成し得、オーディオ出力信号は、複数のラウドスピーカ108により可聴応答290に変換され、可聴応答は、警告警報、警報、進展又は状況インジケータ及び外科的セッティング100内の外科用システムによるアクションの実施に関連する任意の他の情報をユーザ210に伝達し得る。
【0040】
本明細書で開示される構成要素及びシステムを含めることにより、外科的セッティングを、音声作動式アプリケーションにより、高い信頼性を伴って少なくとも部分的に制御することができ、したがって、外科手術の実施中に外科用システムのハンズフリー操作が提供される。開示された実施形態は、外科医が、外科用システムの様々な機能を制御することを、そうするために外科手術を止める必要なく可能にする。更に、外科用デバイスを操作するために必要な物理的相互作用の量を減らすことにより、外科手術に必要な人員の数を減らすことができる一方、人員が外科用システムに触れることにより生じる細菌及びウィルス感染(例えば、汚染)の潜在的危険率も低下させることができる。
【0041】
本開示の実施形態は、有益には、システムを全体的に使用することで外科的セッティングの音声制御を提供する。音声制御は、外科用システムのコントローラ内のプロセッサ及びメモリを使用する部分であって、特定の実施形態による
図1~
図2の外科用コマンドシステムの例示的な構成要素を示す
図3に示すようなものである。
【0042】
図3は、
図1~
図2の外科用コマンドシステム102の様々な構成要素がどのように一緒に通信し、動作するかを示す例示的な図を示す。図示するように、外科用コマンドシステム102は、外科用コマンドコントローラ104、マイクロフォン106及びラウドスピーカ108を含むが、これらに限定されない。外科用コマンドコントローラ104は、相互接続部310と、データ通信ネットワーク350との接続のためのネットワークインターフェース312と、様々なI/Oデバイス(例えば、マイクロフォン106、ラウドスピーカ108及び外科用システム270)を外科用コマンドコントローラ104に接続することを可能にする少なくとも1つのI/Oデバイスインターフェース314とを含む。外科用コマンドコントローラ104は、中央処理装置(CPU)316と、メモリ318と、ストレージ320とを更に含む。CPU 316は、メモリ318に存在するアプリケーションデータを取得して保存し得る。相互接続部310は、CPU 316、ネットワークインターフェース312、I/Oデバイスインターフェース314、メモリ318及びストレージ320などの間でプログラミング命令及びアプリケーションデータを伝送する。CPU 316は、単一のCPU、複数のCPU、複数の処理コアを有する単一のCPU等を表し得る。加えて、メモリ318は、ランダムアクセスメモリを表す。
【0043】
ストレージ320は、ディスクドライブであり得る。ストレージ320は、単一のユニットとして示されているが、固定ディスクドライブ、着脱式メモリカード若しくは光学ストレージ、ネットワーク接続ストレージ(NAS)又はストレージエリアネットワーク(SAN)など、固定式又は着脱式ストレージデバイスの組み合わせであり得る。更に、ストレージ320は、ユーザプリセット334を含む外科的セッティング内において、ユーザの訓練済み音声モデル332を含み得る。ユーザプリセット334は、外科的セッティングにおける各ユーザに関連する別々のルールセットを含み、このルールセットは、外科用コマンドシステム102により適用されて、ユーザによる音声コマンドに応答して、対応するシステム及び/又はデバイスにより遂行される命令を生成する。
【0044】
メモリ318は、命令を含むコマンドモジュール322を含み、命令は、プロセッサにより実行されると、本明細書の実施形態で説明されるように、外科用コマンドシステム102を制御するための操作を実施する。例えば、本明細書に記載される実施形態によれば、メモリ318は、マイクロフォン106から受信されたオーディオ入力信号における音声コマンドなどの言葉を認識する(すなわち識別する)ための実行可能命令を含むスピーチ認識モジュール324を含む。加えて、メモリ318は、音声モデルトレーナ330を有するユーザ識別モジュール326を含む。ユーザ識別モジュールは、音声コマンドを事前プログラミングし、ユーザのスピーチパターンを学習し、且つスピーチ認識モジュール324によって識別されたスピーチを対応するユーザにマッピングするための実行可能命令を含む。メモリ318は、自然言語音声コマンドを分析し、解読する(例えば、自然言語をタスクにマッチングする)ための実行可能命令を含む自然言語処理(NLP)モジュール328を更に含む。更に、メモリ318は、スピーチ認識モジュール324から受信された情報に基づいてオーディオ出力信号を生成して外科用コマンドシステム102とユーザとの間の双方向通信を可能にするための実行可能命令を含む応答モジュール332を含む。
【0045】
本明細書において使用される場合、項目のリスト「~の少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。例として、「a、b又はcの少なくとも1つ」は、a、b、c、a-b、a-c、b-c及びa-b-c並びに複数の同じ要素の任意の組み合わせ(例えば、a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c並びにc-c-c又はa、b及びcの他の任意の順序)を網羅することが意図される。
【0046】
前述の説明は、いかなる当業者も本明細書に記載される様々な実施形態を実践できるようにするために提供されている。これらの実施形態に対する様々な修正形態が当業者に容易に明らかであり、本明細書で定義する一般的な原理は、他の実施形態に適用され得る。したがって、特許請求の範囲は、本明細書に示す実施形態に限定されることを意図されるものではなく、特許請求の範囲の文言と整合する全範囲が認められるべきである。
【0047】
特許請求の範囲において、単数形での要素への言及は、具体的にそのような定めがない限り、「1つ及び1つのみ」を意味することを意図するものではなく、むしろ「1つ又は複数」を意味するものである。具体的に別段の定めがない限り、「いくつかの」という用語は、1つ又は複数を指す。当業者に知られているか又は後に知られることになる、本開示全体を通して説明した様々な態様の要素に対する全ての構造的及び機能的均等物は、本明細書に参照により明示的に組み込まれ、特許請求の範囲に包含されることが意図される。更に、本明細書に開示されるものは、そのような開示が特許請求の範囲に明示的に列挙されているか否かにかかわらず、公衆に献呈されることが意図されるものではない。特許請求の範囲のいかなる要素も、要素が「~するための手段」という語句を使用して明示的に列挙されない限り、米国特許法第112条(f)の規定に基づいて解釈されるべきでないか、又は方法請求項の場合、要素は、「~するためのステップ」という語句を使用して列挙される。本明細中で使用する場合、「例示的」という語は、「例、事例又は実例として機能すること」を意味する。本明細書で「例示的」として記載されるいかなる態様も、必ずしも他の態様よりも好ましいか又は有利であると解釈されるべきではない。
【国際調査報告】