特許 7524193 歯科機械を制御するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】歯科機械を制御するための方法及びシステム

(51)【国際特許分類】

   A61C 19/00 20060101AFI20240722BHJP

   G06F 3/01 20060101ALI20240722BHJP

   G06F 3/0481 20220101ALI20240722BHJP

   G06T 19/00 20110101ALI20240722BHJP

【ＦＩ】

A61C19/00 B

A61C19/00 Z

G06F3/01 510

G06F3/0481

G06T19/00 600

【請求項の数】 9

(21)【出願番号】P 2021536228

(86)(22)【出願日】2020-01-27

(65)【公表番号】

(43)【公表日】2022-03-24

(86)【国際出願番号】 EP2020051872

(87)【国際公開番号】W WO2020156976

(87)【国際公開日】2020-08-06

【審査請求日】2023-01-26

(31)【優先権主張番号】19000055.4

(32)【優先日】2019-01-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】515304558

【氏名又は名称】デンツプライ・シロナ・インコーポレイテッド

(73)【特許権者】

【識別番号】519410367

【氏名又は名称】シロナ・デンタル・システムズ・ゲーエムベーハー

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】コザ、アンドレ

(72)【発明者】

【氏名】クハルチク、ロニー

【審査官】齊藤 公志郎

(56)【参考文献】

【文献】特開２０１３－２３１７７２（ＪＰ，Ａ）

【文献】特開平１１－２４２９１８（ＪＰ，Ａ）

【文献】特開２０１８－８６１７２（ＪＰ，Ａ）

【文献】特表２００７－５１９４４９（ＪＰ，Ａ）

【文献】国際公開第２０１６／０６３５０４（ＷＯ，Ａ１）

【文献】特開２０１５－２２１２０１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｃ １９／００－１０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

歯科機械を制御するための拡張可視化を利用するコンピュータ実装方法であって、前記方法は、
第１のユーザインターフェース（１４）を提供すること、前記第１のユーザインターフェース（１４）は、実在のフットスイッチ（１６）を備える、
前記第１のユーザインターフェース（１４）とは異なる第２のユーザインターフェース（１５）を提供すること、
ここにおいて、前記第１のユーザインターフェース（１４）及び前記第２のユーザインターフェース（１５）は、前記歯科機械とユーザとの間での相互作用を可能にする物理的な装置又はグラフィック要素を備える装置を備える、
前記第２のユーザインターフェース（１５）は拡張現実ユーザインターフェース（４２）を提供すること、前記第１のユーザインターフェース（１４）は、前記拡張現実ユーザインターフェース（４２）の操作に対応する１つ以上の制御信号を送信するように適合される、
前記拡張現実ユーザインターフェース（４２）が前記第１のユーザインターフェース（１４）上に直接重ね合わされているように見えるように、（ｉ）第１のユーザインターフェース（１４）上に、又は前記第１のユーザインターフェース（１４）の立体ビデオ／投影上に、前記拡張現実ユーザインターフェース（４２）をオーバレイすること、
前記第１のユーザインターフェース（１４）の前記１つ以上の制御信号により前記第２のユーザインターフェース（１５）を制御すること、
を備えることを特徴とする、方法。

【請求項2】

前記拡張現実ユーザインターフェース（４２）の１つ以上の拡張現実制御要素（７０）が前記第１のユーザインターフェース（１４）の１つ以上の第１の制御要素（８０）に、又は前記第１のユーザインターフェース（１４）の前記第１の制御要素（８０）の１つ以上の位置に対応するように、及び前記拡張現実ユーザインターフェース（４２）が前記第１のユーザインターフェース（１４）上に直接重ね合わされているように見えるように、前記第１のユーザインターフェース（１４）上に前記拡張現実ユーザインターフェース（４２）をオーバレイすることを更に備える、請求項１に記載の方法。

【請求項3】

前記拡張現実ユーザインターフェース（４２）の前記１つ以上の拡張現実制御要素（７０）はまた、前記第２のユーザインターフェース（１５）の１つ以上の第２の制御要素（６０）に機能的に対応する、請求項２に記載の方法。

【請求項4】

（ｉ）臨床医の動きを追跡するリアルタイムデータ、（ｉｉ）前記第１のユーザインターフェース（１４）のロケーションを追跡するリアルタイムデータ、及び（ｉｉｉ）前記第１のユーザインターフェース（１４）の１つ以上の制御信号のデータ、から成るグループから選択されたデータに基づいて前記拡張現実ユーザインターフェース（４２）の画像を更新することを更に備える、請求項１～３のうちのいずれか一項に記載の方法。

【請求項5】

拡張可視化を利用するための歯科機械を備えるシステム（１）であって、
拡張可視化のためのディスプレイデバイス（１２）と、
第１のユーザインターフェース（１４）と、ここにおいて、前記第１のユーザインターフェース（１４）は、実在のフットスイッチ（１６）を備える、
前記第１のユーザインターフェース（１４）とは異なる第２のユーザインターフェース（１５）と、ここにおいて、前記第１のユーザインターフェース（１４）及び前記第２のユーザインターフェース（１５）は、前記歯科機械とユーザとの間での相互作用を可能にする物理的な装置又はグラフィック要素を備える装置を備える、
請求項１～４のうちのいずれか一項に記載の方法のステップを実行するように構成された少なくとも１つのプロセッサ（１２２）と、
を備える、システム（１）。

【請求項6】

前記システム（１）は、物体の位置の変化に対応するために、共通座標系における物体の正確なロケーション及び向きについてのリアルタイム位置データを提供するように構成された追跡システム（２）を更に備える、請求項５に記載のシステム（１）。

【請求項7】

前記追跡システム（２）は、センサベース及び／又は視覚ベースである、請求項６に記載のシステム（１）。

【請求項8】

前記第２のユーザインターフェース（１５）の１つ以上の第２の制御要素（６０）は、選択、ズーム、スクロール、拡大のアクションボタン／アイテム、複数の誘導されたステップで走査プロシージャを実行するソフトウェアアプリケーション、３Ｄ画像、Ｘ線画像を見るため、画像をスクロールするための画像ビューパネルを含む、請求項６又は７に記載のシステム（１）。

【請求項9】

請求項５～８のうちのいずれか一項に記載のコンピュータベースのシステム（１）によって実行されると、前記コンピュータベースのシステム（１）に、請求項１～４のうちのいずれか一項に記載の方法を実行させるプログラムを記憶する非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、一般に機械を制御するための方法、システム、及びコンピュータ可読記憶媒体に関し、より詳細には、治療ユニットなどの歯科機械を操作するために拡張現実制御／ユーザインターフェースを利用するための方法、システム、及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

ユーザ又は制御インターフェースは、人間と機械との間の対話が生じる空間として定義され得る。これは、人間側からの機械の制御を可能にし得る。一般に、ユーザインターフェース設計の目的は、所望の結果をもたらすように機械を操作することを容易にし、効率的にし、ユーザフレンドリにすることであり得る。一般的なユーザインターフェースは、グラフィックユーザインターフェース、ジェスチャインターフェース、ハードウェアインターフェース、タンジブルユーザインターフェース、テキストベースのユーザインターフェース、音声制御ユーザインターフェースを含む。

【0003】

歯科では、臨床医は、例えば、治療計画を作成し、患者の放射線写真を見て、走査プロシージャを容易にする、等のために、コンピュータのユーザ／制御インターフェースを使用し得る。しかしながら、歯科治療中、臨床医は、患者に対して治療プロシージャを行うために彼／彼女の手の使用を必要とし得る。例えば、手袋を着用して患者を治療している臨床医は、彼／彼女の手袋を患者の唾液／血に接触させ得、コンピュータ画面上のプログラムをナビゲートするためにコンピュータマウスを汚染したくない場合がある。この問題を解決するために、拡張現実（ＡＲ）グラスが使用され得る。しかしながら、現在のＡＲグラスは、タッチ対話を介して、例えば、ＡＲグラスの側面上のタッチパッド、音声コマンド、又は手を使用するジェスチャを通じて機能し得る。治療中、臨床医は、治療プロシージャを行うために彼の手を必要とし得、そのため、手のジェスチャを介してＡＲグラスを制御することは、治療プロセスを妨げ得る。一対のＡＲグラスの側面上でのタッチ対話もまた、ＡＲグラスがその後消毒される必要があり得るため、理想的ではない場合がある。更に歯科医院は、例えば、歯科機械からの治療ノイズのためにうるさいことが多くあり得、それにより、ＡＲグラスに対する音声コマンドの有効性を低減し得る。従って、上肢／手によって通常制御される第１のユーザインターフェースを、上肢以外の身体の別の器用な部分によって通常制御される第２のユーザインターフェースを通じて制御する方法が必要である。

【0004】

米国特許出願公開第２０１６００３３７７０Ａ１号は、ユーザが仮想画像及び外部シーンを視覚的に認識することを可能にするヘッドマウントディスプレイデバイスについて説明している。

【0005】

米国特許出願第２０１７２０２６３３号は、ユーザが見るためのウェアラブルディスプレイを備える、医療介入を誘導するための撮像及び表示システムを開示しており、ディスプレイは、術前手術ナビゲーション画像、術中画像、及び生体内顕微鏡画像又は感知データを含む、合成即ち組み合わせられた画像を提示する。顕微鏡プローブ又は感知プローブなどのプローブは、患者から生体内撮像／感知データを取得するために使用され得、術中及び生体内画像は、表示用の合成画像を形成するためにそれらを術前画像及び患者とアラインするための追跡及び位置合わせ技法を使用して取得され得る。

【0006】

米国特許出願第２００２００８２４９８号は、患者の一部分の３次元（３Ｄ）ボリュームデータを捕捉することと、データのグラフィック表現を提供するようにボリュームデータを処理することと、前記患者の一部分を含むシーンの立体ビデオビューを捕捉することと、立体拡張画像を提供するようにグラフィック表現及び立体ビデオビューを混合してレンダリングすることと、ビデオシースルーディスプレイ中に前記立体拡張画像を表示することとを備える、画像誘導手術のための方法を開示している。

【0007】

米国特許出願公開第２０１６０１９１８８７号は、外科医の静的又は動的視点からの患者の拡張ビューを表示するためのリアルタイム手術ナビゲーション方法及び装置について説明している。表面画像、術前又は術中画像から処理された患者の内部解剖学的構造のグラフィック表現、及び両方の画像を形状的に位置合わせするコンピュータが使用され得る。画像を形状的に位置合わせすることに応答して、ヘッドマウントディスプレイは、外科医に対して、患者の拡張ビューを提示し得る。
Dieter Schmalstiegらの「The Studierstube Augmented Reality Project ”, Presence, Vol. 11, No. I, February 2002, 33-54」への参照が成される。
米国特許出願公開第２０１１／００１６４０５号は、マスタデバイスとオブジェクトデバイスとの間の自動インターフェーシングについて開示している。

【発明の概要】

【0008】

機械を制御するための請求項１に記載の方法、請求項５に記載のシステム、及び請求項９に記載のコンピュータ可読記憶媒体によって、前述に関連する既存の制限、並びに他の制限を克服することができる。

【0009】

本明細書の態様では、本発明は、拡張可視化を利用する方法を提供し、本方法は、第１のユーザインターフェースを提供することと、 第１のユーザインターフェースとは異なる第２のユーザインターフェースを提供することと、 第２のユーザインターフェースに対応する拡張現実ユーザインターフェースを提供することと、第１のユーザインターフェースは、拡張現実ユーザインターフェースに対応する１つ以上の制御信号を送信するように適合される、 第１のユーザインターフェースの１つ以上の制御信号を通じて第２のユーザインターフェースを制御することと、 を備える。

【0010】

本明細書の別の態様では、本方法は、（ｉ）拡張現実ユーザインターフェースの１つ以上の拡張現実制御要素が第１のユーザインターフェースの１つ以上の第１の制御要素に、又は第１のユーザインターフェースの第１の制御要素の１つ以上の位置に対応するように、及び拡張現実ユーザインターフェースが第１のユーザインターフェース上に直接重ね合わされているように見えるように、第１のユーザインターフェース上に拡張現実ユーザインターフェースをオーバレイすることを更に備え、（ｉｉ）拡張現実ユーザインターフェースの１つ以上の拡張現実制御要素はまた、第２のユーザインターフェースの１つ以上の第２の制御要素に対応し、（ｉｉｉ）１つ以上の第２の制御要素は、アクションアイテム、ソフトウェアアプリケーション、ビデオ、及び／又は画像を含み、（ｉｖ）ハンズフリーの形で第１のユーザインターフェースを操作することを更に備え、（ｖ）（ａ）臨床医の動きを追跡するリアルタイムデータ、（ｂ）第１のユーザインターフェースのロケーションを追跡するリアルタイムデータ、及び（ｃ）第１のユーザインターフェースの１つ以上の制御信号から成るグループから選択されたデータに基づいて拡張現実ユーザインターフェースを更新することを更に備え、第１のユーザインターフェースは、フットスイッチ又は消毒可能な制御パネルである、ステップのうちの１つ以上を更に備える。

【0011】

本明細書の更なる態様では、拡張可視化を利用するシステムが提供され、本システムは、拡張可視化のためのディスプレイデバイスと、 第１のユーザインターフェースと、 第１のユーザインターフェースとは異なる第２のユーザインターフェースと、 第２のユーザインターフェースに対応する拡張現実ユーザインターフェースを提供することと、第１のユーザインターフェースは、拡張現実ユーザインターフェースに対応する１つ以上の制御信号を送信するように適合される、 第１のユーザインターフェースの１つ以上の制御信号を通じて第２のユーザインターフェースを制御することと、 のステップを実行するように構成された少なくとも１つのプロセッサと、 を備える。

【0012】

本明細書の更に別の態様では、本システムは、（ｉ）共通座標系における物体の正確なロケーション及び向きについてのリアルタイム位置データを提供するように構成された追跡システムを更に備え、（ｉｉ）追跡システムは、センサベース及び／又は視覚ベースであり、（ｉｉｉ）第１のユーザインターフェースは、フットスイッチ又は消毒可能な制御パネルであり、（ｉｖ）プロセッサは、拡張現実ユーザインターフェースの１つ以上の拡張現実制御要素が第１のユーザインターフェースの１つ以上の第１の制御要素に、又は第１のユーザインターフェースの第１の制御要素の１つ以上の位置に対応するように、及び拡張現実ユーザインターフェースが第１のユーザインターフェース上に直接重ね合わされているように見えるように、第１のユーザインターフェース上に拡張現実ユーザインターフェースをオーバレイするステップを実行するように更に構成され、（ｖ）拡張現実ユーザインターフェースの１つ以上の拡張現実制御要素はまた、第２のユーザインターフェースの１つ以上の第２の制御要素に対応し、（ｖｉ）１つ以上の第２の制御要素は、アクションアイテム、ソフトウェアアプリケーション、ビデオ、及び／又は画像を含み、（ｖｉｉ）プロセッサは、ハンズフリーの形で第１のユーザインターフェースを操作するステップを実行するように更に構成され、（ｖｉｉｉ）プロセッサは、（ｉ）臨床医の動きを追跡するリアルタイムデータ、（ｉｉ）第１のユーザインターフェースのロケーションを追跡するリアルタイムデータ、及び（ｉｉｉ）第１のユーザインターフェースの１つ以上の制御信号から成るグループから選択されたデータに基づいて拡張現実ユーザインターフェースを更新するステップを実行するように更に構成され、第１のユーザインターフェースは、フットスイッチ又は消毒可能な制御パネルである、構成のうちの１つ以上を更に備える。

【0013】

本明細書の更に別の態様では、コンピュータシステムによって実行されると、コンピュータシステムに、プロシージャを実行させるプログラムを記憶する非一時的コンピュータ可読記憶媒体が提供され、本プロシージャは、第２のユーザインターフェースに対応する拡張現実ユーザインターフェースを提供することと、 第１のユーザインターフェースから１つ以上の制御信号を受信することと、制御信号は、拡張現実ユーザインターフェースに対応する、 第１のユーザインターフェースの１つ以上の制御信号を通じて第２のユーザインターフェースを制御することと、 を備える。

【0014】

実例的な実施形態は、添付の図面と組み合わせて以下に本明細書で与えられる発明を実施するための形態からより完全に理解されるであろう。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態によるユーザインターフェース可視化システムを例示するブロック図である。

【図2】本発明の例証的な実施形態によるコンピュータディスプレイとフットスイッチとの間の関係を例示する。

【図3】本発明の例証的な実施形態によるコンピュータシステムを示すブロック図を例示する。

【図4】本発明の例証的な実施形態による方法を示すフローチャートである。

【発明を実施するための形態】

【0016】

本明細書で説明する実例的な態様に従って、拡張現実ユーザ／制御インターフェースを通じて歯科機械などの機械を操作するための方法、システム、及びコンピュータ可読記憶媒体が提供され得る。拡張現実ユーザインターフェースが、（グラフィックユーザインターフェースなどの）第２のユーザインターフェースに対応する命令を送るために、（フットスイッチなどの）第１のユーザ／制御インターフェース上で上肢以外の身体の器用な部分を使用することによって（例えば下肢を使用することによって）、歯科治療中に（マウスで操作される治療ユニットなどの）歯科機械の制御を可能にし得、第１のユーザインターフェースは、第２のユーザインターフェースとは異なる。第１のユーザ／制御インターフェースは、好ましくは、ハンズフリーであり得るが、その第１のユーザ／制御インターフェースを消毒することが可能である実施形態では、手の使用も伴い得る。
機械を制御するための拡張現実可視化システム

【0017】

図１は、（ｉ）ヘッドマウント拡張現実グラス、（ｉｉ）ＨＵＤディスプレイ、若しくは（ｉｉｉ）立体ビデオ画像を受信することが可能な立体ディスプレイなどの拡張可視化のためのディスプレイデバイス１２、又はさもなければ、拡張現実ユーザインターフェース４２が第１のユーザインターフェース１４上に直接重ね合わされているように見えるように、（ｉ）第１のユーザインターフェース１４（好ましくは、ハードウェアユーザインターフェースであり得る）上に、若しくは（ｉｉ）第１のインターフェース１４の立体ビデオ／投影（前記立体ビデオ／投影は、ディスプレイデバイス１２を通じて見られる）上に拡張現実ユーザインターフェース４２をオーバレイするために使用され得るディスプレイデバイス１２を備える拡張現実可視化システム１を例示する。本明細書では、拡張現実ユーザインターフェース４２は、第２のユーザインターフェース１５に対応するように構成され得、第２のインターフェース１５は、第１のインターフェース１４を通じて制御され得る。第２のインターフェースは、好ましくは、例えば、Ｘ線画像を見るために臨床医１０によって使用されるスタンドアロンコンピュータのグラフィックユーザインターフェース、歯科治療チェアに接続されたモニタのグラフィックユーザインターフェース、歯科治療チェアの制御パネル等などの、通常は上肢で操作されるグラフィックユーザインターフェース（ＧＵＩ）であり得る。当然ながら、第２のユーザインターフェース１５は、ＧＵＩ以外の任意の他の種類のユーザインターフェースであり得る。

【0018】

上述したように、第１のユーザインターフェース１４は、フットスイッチ１６であり得るか、又は臨床医１０が治療中に患者（図示せず）に対して彼／彼女の上肢を自由に使用できるように、及び／又は臨床医１０が治療中に彼／彼女の上肢で第２のユーザインターフェース１５に感染させることができないように、下肢によって制御することが可能な任意のユーザインターフェースであり得る。フットスイッチ１６の例は、Ｌｉｎｔらによる「Hard-Wired and Wireless System with Footswitch for Operating a Dental or Medical Treatment Apparatus」と題された米国特許出願公開第２０１４／００１７６２９Ａ１号、及びＰａｂｓｔらによる「Foot Control Device」と題されたドイツ特許第「ＤＥ１０２００７０１４７８５Ｂ４」に開示されており、本明細書に完全に記載されているかのように、その全体が本明細書に参照によって援用される。本発明の別の実施形態では、しかしながら、第１のユーザインターフェース１４は、歯科治療チェアの制御パネルなどの消毒可能なユーザインターフェースであり得、上肢を使用して制御され得る。

【0019】

第１のユーザインターフェース１４上に第２のユーザインターフェース１５に対応する拡張現実ユーザインターフェース４２を投影することによって、臨床医１０は、「より便利な」第１のユーザインターフェース１４を通じて第２のユーザインターフェース１５の機能を制御し得、依然として、治療目的のために彼／彼女の上肢を同時に使用することが可能であり得る。その上、臨床医は、彼／彼女が精通していない場合がある新しいアプリケーション（第２のユーザインターフェース１５）を制御する際に、彼が精通している技術（第１のユーザインターフェース１４）を使用することから利益を得ることができる。

【0020】

図１に示すように、ディスプレイデバイス１２は、コンピュータシステム１００に接続され得るか、又はコンピュータシステム１００の一部を形成し得る。コンピュータシステム１００（図３にも示される）は、追跡システム２及びプロセッサ１２２を含み得る。追跡システム２は、代替として、コンピュータシステムから分離され得、本明細書で議論されるデバイス、コンポーネント、及び／又はシステムのうちのいずれかの少なくとも一部を形成し得る。追跡システム２は、プロセッサ１２２に電気的に接続され得、共通座標系における（第１のユーザインターフェース１４などの）物体並びに臨床医の正確なロケーション及び向きについてのリアルタイムロケーションデータを提供し得る。本明細書の例証的な実施形態では、追跡システム２は、例えば、第１のユーザインターフェース１４／フットスイッチ１６（図２）中の埋め込まれたセンサ２６又はマーカ（図示せず）としてのセンサベースであり得、例えば、フットスイッチ１６の位置を追跡するための、及び／若しくはフットスイッチ１６の出力／制御信号を追跡するため圧力、接触、近接、回転、ジャイロスコープセンサ、及び全地球測位システム（ＧＰＳ）などの、並びに／又は第１のユーザインターフェース１４の動きを追跡するためのジャイロスコープ若しくは加速度計などのセンサを含む。

【0021】

追跡システム２はまた、例えば、第１のユーザインターフェース１４のロケーションを視覚的に追跡するためのカメラ及び／又は第１のユーザインターフェース１４上に配置された所定のマーカ（図示せず）としての視覚ベースであり得る。前記視覚的追跡は、例えば物体／パターン認識を使用して達成され得る。３Ｄ光学追跡システム及び／又は立体カメラシステムなどのカメラシステム３は、コンピュータシステム中に含まれ得、及び／又は追跡システム２を形成し得るか、又は追跡システム２の一部であり得る。カメラシステム３はまた、臨床医１０のディスプレイデバイス１２中に埋め込まれ得る。カメラシステムは、動く臨床医１０に対する第１のユーザインターフェース１４のロケーションを追跡し、またその逆を行って、臨床医１０と第１のユーザインターフェース１４との間の相対的な動きにもかかわらず第１のユーザインターフェース１４上に拡張現実ユーザインターフェース４２を表示するために、いくつかの深度感知原理のうちの１つの下で動作し得る。深度感知原理は、例えば、（ｉ）構造光、（ｉｉ）飛行時間（ＴｏＦ）、及び／又は（ｉｉｉ）以下に説明する立体原理を含み得る。構造光を用いるカメラの場合、光源が、第１のユーザインターフェース１４上に既知のパターンを投影するために使用され得、受信機が、形状に基づいて深度マップを計算するために、反射パターンの歪みを検出し得る。飛行時間（ＴｏＦ）原理を用いるカメラの場合、光源が、第１のユーザインターフェース１４に向かってパルスを送り得、センサが、その飛行時間を記録するために、第１のユーザインターフェース１４からのパルスの反射を検出し得る。飛行時間及び一定の光速を知ることにより、システムは、第１のユーザインターフェースがどれだけ離れているかを計算し得る。代替として、変調された光源が送られ得、第１のユーザインターフェース１４から反射された光の位相変化が検出され得る。立体原理を用いるカメラの場合、複数のカメラが、第１のユーザインターフェースの複数の画像を捕捉するために異なる位置に配置され得、深度マップが、形状に基づいて計算され得る。この深度情報は、治療中（例えば、歯科治療中）に第１のユーザインターフェース１４のロケーションを追跡するために使用され得る。

【0022】

更に別の実施形態では、追跡システム２は、センサベースの追跡システムと視覚ベースの追跡システムとの融合であり得る。ワイヤレスプロトコルは、コンピュータシステム１００と第１のユーザインターフェースなどの内部／外部デバイスとの間でデータを送信するために使用され得る。

【0023】

プロセッサ１２２は、リアルタイム追跡データを受信し、前記データを分析し、（ｉ）ディスプレイデバイス１２を通じて第１のユーザインターフェース１４又は第１の拡張現実ユーザインターフェースの近傍上に拡張現実ユーザインターフェース４２をオーバレイすることによって、又は（ｉｉ）例えば立体ビデオを示すことが可能なヘッドマウント立体ディスプレイを使用して、第１のユーザインターフェース１４の立体ビデオ上に拡張現実ユーザインターフェース４２をオーバレイすることによって、拡張された形で臨床医１０に拡張現実ユーザインターフェース４２を表示するように構成され得る。代替として、拡張現実ユーザインターフェース４２は、投影された拡張現実ユーザインターフェース４２が裸眼で見られ得るように、投影ベースの拡張現実システムを使用して、第１のインターフェース１４上に直接投影され得る。

【0024】

ここで図２を参照して、拡張現実ユーザインターフェース４２の拡張現実制御要素７０（例示目的のために破線で示される）と第２のユーザインターフェース１５の第２の制御要素６０との間の対応を、ここで更に詳細に説明する。本明細書で説明する拡張現実可視化システム１を使用する際、臨床医１０は、図２に示すように、第２のユーザインターフェース１５中に表示された第２の制御要素６０に対応する拡張現実ユーザインターフェース４２中に表示された拡張現実制御要素７０を（第１のユーザインターフェース１４を使用して）選択することによって、治療プロシージャ中に第２のユーザインターフェース１５を制御し得る。拡張現実制御要素７０は、例えば、第１のユーザインターフェース１４の第１の制御要素８０（例えば、フットスイッチ１６のペダル、消毒可能な制御パネルのボタン、等）を作動させることによって、又は、例えば４方向フットスイッチの場合、第１の制御要素８０を対応する第１の位置に向けることによって選択され得る。第２のユーザインターフェース中の第２の制御要素６０は、例えば、アクションボタン／アイテム（選択、ズーム、スクロール、拡大、等）、ソフトウェアアプリケーション（例えば、複数の誘導されたステップで走査プロシージャを実行すること）、ビデオ／画像ビューパネル（例えば、３Ｄ画像、Ｘ線画像を見るため、画像をスクロールするため、等の）、及び同様のものを含み得る。拡張現実制御要素７０は、従って、第２の制御要素６０に対応するように構成され得る。図２の例証的な実施形態に示すように、第２のインターフェース１５中の制御要素６０ａ、６０ｂ、６０ｃ、及び６０ｄは、拡張現実ユーザインターフェース４２の制御要素７０ａ、７０ｂ、７０ｃ、及び７０ｄにそれぞれ対応し、第１のインターフェースの１つ以上の第１の制御要素８０又は第１のユーザインターフェース１４の第１の制御要素８０の１つ以上の位置によって制御され得る（例えば、第１のユーザインターフェースとして機能する消毒可能な制御パネルは、複数の第１の制御要素８０を有し得、フットスイッチ１６は、複数の出力／制御信号に対応する複数の位置に係合及び配置することが可能なペダル及び／又は制御要素を有し得る）。

【0025】

第２の制御要素６０がビデオ又は画像である実施形態では、第２の制御要素６０は、ディスプレイ１２にルーティングされ、任意の位置の臨床医１０が見るためのものであり得、及び／又は第２のユーザインターフェース１５上で直接見られ得る。両方の場合において、第２の制御要素６０は、第１のインターフェース１４の第１の制御要素（１つ以上）８０を使用して操作（編集、スクロール、ズームイン／ズームアウト、等など）され得る。

【0026】

第１のユーザインターフェース１４上への拡張現実ユーザインターフェース４２のオーバレイは、動的且つリアルタイムで実行され得、追跡システム２と連携して機能するプロセッサ１２２によって達成され得、追跡システム２によって捕捉された（ｉ）臨床医１０及び／又は（ｉｉ）第１のユーザインターフェース１４の位置の変化は、臨床医１０が動き、及び／又は第１のユーザインターフェースが位置を変更しても、ディスプレイデバイス１２の画面にルーティングされた前記拡張現実ユーザインターフェース４２が第１のユーザインターフェース１４上に直接重ね合わされているように見えるように、オーバレイされた拡張現実ユーザインターフェース４２の位置の対応する変化に変換され得る。

【0027】

その上、臨床医１０による第１のユーザインターフェース１４の第１の制御要素（１つ以上）８０の作動に応答して、プロセッサ１２２は、第１のユーザインターフェース１４から１つ以上の出力／制御信号を受信し、第２のユーザインターフェース１５を第１の状態から出力／制御信号に対応する第２の状態に変更し、及び／又は拡張現実ユーザインターフェース４２を別の第１の状態から前記出力／制御信号に対応する別の第２の状態に変更するように構成され得る。例えば、臨床医１０が第１の位置のフットスイッチ１６を作動させて拡張現実制御要素７０ｃ（「→次のアプリ（Ａ₃）」）を選択したことに応答して、プロセッサ１２２は、見るために第２のユーザインターフェース１５のディスプレイ上にＡ₃のコンテンツを表示し得る。Ａ₃のコンテンツは、フットスイッチ１６を使用して制御要素７０ｂ（クリック）及び／又は制御要素７０（ズーム（＋））を選択することによって制御（クリック又はズームインなど）され得る。プロセッサ１２２はまた、拡張現実ユーザインターフェース４２中で、「→次のアプリ（Ａ₃）」を「→次のアプリ（Ａ₄）」に変更し、「前のアプリ（Ａ₁）←」を「前のアプリ（Ａ₂）←」に変更し得る。当然ながら、説明したもの以外の拡張現実ユーザインターフェース４２、第１のユーザインターフェース１４、及び第２のユーザインターフェース１５の他の配置／構成が、拡張現実可視化システム１中に含まれる。

【0028】

本発明の実施形態では、拡張現実ユーザインターフェース４２は、第１のユーザインターフェース１４上に直接オーバレイされない場合があり、カメラシステム３によって撮影された第１のユーザインターフェース１４の画像（図示せず）にオーバレイされ得る。

【0029】

本発明による別の実施形態では、第１のユーザインターフェース１４は、フットスイッチ／フットペダル１６であり、第２のインターフェースは、治療センターの制御パネル又は治療センターの所定の機能であり、拡張現実グラス／スマートグラスは、拡張現実ユーザインターフェース４２を提供し得、フットスイッチ／フットペダル１６、治療センターの制御パネル又は治療センターの所定の機能、及び拡張現実グラスは、互いに対になって拡張現実可視化システムを形成する。
機械を制御するためのコンピュータシステム

【0030】

拡張現実可視化システム１を説明してきたが、ここで図３を参照すると、図３は、本明細書の実例的な実施形態のうちの少なくともいくつかに従って用いられ得るコンピュータシステム１００のブロック図を示す。様々な実施形態が、この例証的なコンピュータシステム１００に関して本明細書で説明され得るが、この説明を読んだ後、他のコンピュータシステム及び／又はアーキテクチャを使用して本開示をどのように実装するかが関連技術（１つ以上）の当業者に明らかになり得る。

【0031】

本明細書の１つの実例的な実施形態では、コンピュータシステム１００は、少なくとも１つのコンピュータプロセッサ１２２を含み得、追跡システム２、ユーザインターフェース１２６、及び入力ユニット１３０を含み得る。第１のユーザインターフェース１４及び第２のユーザインターフェース１５は、コンピュータシステム１００の一部であり得るか、又はコンピュータシステムとは別個であり得る。一例では、表示ユニット１２８、入力ユニット１３０、及びコンピュータプロセッサ１２２は、集合的にユーザインターフェース１２６を形成し得る。

【0032】

コンピュータプロセッサ１２２は、例えば、中央処理ユニット、多重処理ユニット、特定用途向け集積回路（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、又は同様のもの含み得る。プロセッサ１２２は、通信インフラストラクチャ１２４（例えば、通信バス又はネットワーク）に接続され得る。本明細書の実施形態では、プロセッサ１２２は、拡張現実ユーザインターフェース４２を表示する要求を受信し得、コンピュータシステム１００の１つ以上の記憶ユニットから要求に関する命令を取得し得る。プロセッサ１２２は、次いで、拡張現実ユーザインターフェース４２が第１のユーザインターフェース１４上にオーバレイされるように、及び前記拡張現実ユーザインターフェース４２が第１のユーザインターフェース１４上に直接重ね合わされているように見えるように、前記命令をロードし、ディスプレイデバイス１２の画面に拡張現実ユーザインターフェース４２をルーティングするなどのロードされた命令を実行し得る。本発明の更に別の代替的な実施形態では、コンピュータシステムは、投影ベースの拡張現実システムを使用し得、例えば、プロジェクタ及び深度センサが、追跡システム２及び／又はマーカ（例えば、第１のユーザインターフェース１４上の隠れマーカ）と共に、第１のユーザインターフェース１４上に直接拡張現実ユーザインターフェース４２を投影し得る。本明細書では、拡張現実グラスなどのディスプレイ１２は、拡張現実ユーザインターフェース４２を見るために必要とされない場合がある。

【0033】

１つ以上のステップ／プロシージャは、コンピュータ可読プログラム命令の形態で非一時的記憶デバイス上に記憶され得る。プロシージャを実行するために、プロセッサ１２２は、記憶デバイス上に記憶された適切な命令をメモリ中にロードし、次いで、後述する図４に示すように、ロードされた命令を実行する。

【0034】

コンピュータシステム１００は、ランダムアクセスメモリ（「ＲＡＭ」）であり得るメインメモリ１３２を更に備え得、２次メモリ１３４も含み得る。２次メモリ１３４は、例えば、ハードディスクドライブ１３６及び／又はリムーバブル記憶ドライブ１３８（例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、光ディスクドライブ、フラッシュメモリドライブ、及び同様のもの）を含み得る。リムーバブル記憶ドライブ１３８は、周知の方法でリムーバブル記憶ユニット１４０から読み取り得、及び／又は書き込み得る。リムーバブル記憶ユニット１４０は、例えば、フロッピーディスク、磁気テープ、光ディスク、フラッシュメモリデバイス、及び同様のものであり得、それらは、リムーバブル記憶ドライブ１３８によって書き込まれ、読み取られ得る。リムーバブル記憶ユニット１４０は、コンピュータ実行可能ソフトウェア命令及び／又はデータを記憶する非一時的コンピュータ可読記憶媒体を含み得る。

【0035】

更なる代替的な実施形態では、２次メモリ１３４は、コンピュータシステム１００中にロードされるコンピュータ実行可能プログラム又は他の命令を記憶する他のコンピュータ可読媒体を含み得る。そのようなデバイスは、リムーバブル記憶ユニット１４４及びインターフェース１４２（例えば、プログラムカートリッジ及びカートリッジインターフェース）と、リムーバブルメモリチップ（例えば、消去可能プログラマブル読み出し専用メモリ（「ＥＰＲＯＭ」）又はプログラマブル読み出し専用メモリ（「ＰＲＯＭ」））及び関連するメモリソケットと、ソフトウェア及びデータがリムーバブル記憶ユニット１４４からコンピュータシステム１００の他の部分に転送されることを可能にする他のリムーバブル記憶ユニット１４４及びインターフェース１４２とを含み得る。

【0036】

コンピュータシステム１００はまた、ソフトウェア及びデータがコンピュータシステム１００と外部デバイスとの間で転送されることを可能にする通信インターフェース１４６を含み得る。そのようなインターフェースは、モデム、ネットワークインターフェース（例えば、イーサネット（登録商標）カード又はワイヤレスインターフェース）、通信ポート（例えば、ユニバーサルシリアルバス（「ＵＳＢ」）ポート又はＦｉｒｅＷｉｒｅ（登録商標）ポート）、パーソナルコンピュータメモリカード国際協会（「ＰＣＭＣＩＡ」）インターフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及び同様のものを含み得る。通信インターフェース１４６を介して転送されるソフトウェア及びデータは、通信インターフェース１４６によって送信及び／又は受信することが可能であり得る電子的、電磁的、光学的、又は別のタイプの信号であり得る信号の形態であり得る。信号は、通信経路１４８（例えば、チャネル）を介して通信インターフェース１４６に提供され得る。通信経路１４８は、信号を搬送し得、ワイヤ又はケーブル、光ファイバ、電話回線、セルラリンク、無線周波数（「ＲＦ」）リンク、又は同様のものを使用して実装され得る。通信インターフェース１４６は、コンピュータシステム１００とリモートサーバ又はクラウドベースの記憶装置（図示せず）との間でソフトウェア又はデータ又は他の情報を転送するために使用され得る。

【0037】

１つ以上のコンピュータプログラム又はコンピュータ制御論理は、メインメモリ１３２及び／又は２次メモリ１３４中に記憶され得る。コンピュータプログラムはまた、通信インターフェース１４６を介して受信され得る。コンピュータプログラムは、コンピュータプロセッサ１２２によって実行されると、コンピュータシステム１００に以下に説明する方法を実行させるコンピュータ実行可能命令を含み得る。

【0038】

別の実施形態では、ソフトウェアは、非一時的コンピュータ可読記憶媒体中に記憶され、リムーバブル記憶ドライブ１３８、ハードディスクドライブ１３６、及び／又は通信インターフェース１４６を使用して、コンピュータシステム１００のメインメモリ１３２及び／又は２次メモリ１３４中にロードされ得る。制御論理（ソフトウェア）は、プロセッサ１２２によって実行されると、コンピュータシステム１００、より一般的には拡張現実可視化システム１に、本明細書に説明する方法のうちのいくつかの全て又はいくつかを実行させる。

【0039】

本明細書で説明する機能を実行するための他のハードウェア構成の実装形態は、本説明を踏まえれば関連技術（１つ以上）の当業者には明らかであろう。
機械を制御する方法

【0040】

図３のコンピュータシステム１００を説明してきたが、ここで、歯科機械などの機械を制御するための方法を、歯科機械を制御するためのプロセス２００のフローチャートを示す図４と併せて更に説明する。プロセスは、ステップＳ１００に示すように、第１のユーザインターフェース１４を提供することによって開始し得る。拡張現実ユーザインターフェース４２は、次いで、ステップＳ２００で提供され得、前記拡張現実ユーザインターフェース４２は、第２のユーザインターフェース１５に対応する（又は、拡張現実ユーザインターフェース４２の拡張現実制御要素７０は、第２のインターフェース１５の第２の制御要素６０に対応する）。拡張現実ユーザインターフェース４２は次いで、ステップＳ３００では、拡張現実制御要素７０が第１のユーザインターフェース１４の第１の制御要素８０に（又はフットスイッチ１６の場合には第１のユーザインターフェース１４の第１の制御要素８０の複数の位置に）対応するように、第１のユーザインターフェース上にオーバレイされ得る。ステップＳ４００では、第１の制御要素８０は、拡張現実制御要素７０に対応し得る出力／制御信号４６を生成するように作動され得る。前記出力／制御信号４６は、Ｓステップ５００で取得され得、第２のユーザインターフェース１５は、取得された出力／制御信号４６に基づいてステップＳ６００で更新され得る。例えば、出力／制御信号４６に基づいて、第２のユーザインターフェース１５上に表示された画像がズームインされ得、患者のＣＢＣＴ画像の集合がスクロールされ得る、等といった具合である。ステップＳ７００に示すように、例えば、（ｉ）臨床医の動きを追跡するリアルタイムデータ４８、（ｉｉ）第１のユーザインターフェース１４のロケーションを追跡するリアルタイムデータ、及び／又は（ｉｉｉ）第１のユーザインターフェース１４の出力／制御信号４６を含む追跡システム２からのデータを使用して、ディスプレイデバイス１２にルーティングされる拡張データは、拡張が前記第１のユーザインターフェース１４上に直接重ね合わされているように見えるように、及び第１のユーザインターフェース１４の第１の制御要素８０が作動されると拡張が連続的に更新されるように、第１のユーザインターフェース１４上でのオーバレイのためにリアルタイムで動的に更新され得る。

【0041】

本発明の例証的な実施形態では、第１のユーザインターフェース１４は、（ｉ）そのために当初設計された動作を第１のユーザインターフェース１４が制御する第１の動作セットと、（ｉｉ）そのために当初設計されなかった第２の動作セットとの間で切り替わるように構成され得る。それはまた、任意の数の所定の動作セット間で切り替わるように構成され得る。本発明の更に別の実施形態では、第１のユーザインターフェースの動作セットのうちのいずれも、臨床医１０によって決定され得る。

【0042】

前述の説明を踏まえて、本明細書で説明した実例的な実施形態は、歯科機械などの機械を制御するための方法、システム、及びコンピュータ可読記憶媒体を提供することが理解され得る。

【0043】

別途定義されない限り、本明細書で使用する全ての技術用語及び科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書で説明されるものと類似又は同等の方法及び材料が、本開示の実践又は試験において使用され得るが、適した方法及び材料は、上記に記載されている。本明細書で言及された全ての刊行物、特許出願、特許、及び他の参考文献は、適用可能な法律及び規制によって許容される程度まで、その全体が参照によって援用される。本開示は、その趣旨又は本質的な属性から逸脱することなく、他の特定の形態で具現化され得、従って、本実施形態は、あらゆる点で例示的であり、限定的ではないと見なされることが望ましい場合がある。説明内で利用されるどの見出しも便宜上のものにすぎず、法的又は限定的な効果を有するものではない。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
歯科機械を制御するための拡張可視化を利用するコンピュータ実装方法であって、前記方法は、
第１のユーザインターフェース（１４）を提供すること、ここにおいて、前記第１のユーザインターフェース（１４）は、フットスイッチ（１６）又は消毒可能な制御パネルを備える、
前記第１のユーザインターフェース（１４）とは異なる第２のユーザインターフェース（１５）を提供すること、ここにおいて、前記第１のユーザインターフェース（１４）及び前記第２のユーザインターフェース（１５）は、前記歯科機械とユーザとの間での対話を可能にする物理的又はグラフィック要素を備える、
前記第２のユーザインターフェース（１５）に機能的に対応するように構成された拡張現実ユーザインターフェース（４２）を提供すること、前記第１のユーザインターフェース（１４）は、前記拡張現実ユーザインターフェース（４２）に機能的に対応する１つ以上の制御信号を送信するように適合される、
前記第１のユーザインターフェース（１４）の前記１つ以上の制御信号を通じて前記第２のユーザインターフェース（１５）を制御すること、
を備える、方法。
［Ｃ２］
前記拡張現実ユーザインターフェース（４２）の１つ以上の拡張現実制御要素（７０）が前記第１のユーザインターフェース（１４）の１つ以上の第１の制御要素（８０）に、又は前記第１のユーザインターフェース（１４）の前記第１の制御要素（８０）の１つ以上の位置にも機能的に対応するように、及び前記拡張現実ユーザインターフェース（４２）が前記第１のユーザインターフェース（１４）上に直接重ね合わされているように見えるように、前記第１のユーザインターフェース（１４）上に前記拡張現実ユーザインターフェース（４２）をオーバレイすることを更に備える、Ｃ１に記載の方法。
［Ｃ３］
前記拡張現実ユーザインターフェース（４２）の前記１つ以上の拡張現実制御要素（７０）はまた、前記第２のユーザインターフェース（１５）の１つ以上の第２の制御要素（６０）に機能的に対応する、Ｃ２に記載の方法。
［Ｃ４］
（ｉ）臨床医の動きを追跡するリアルタイムデータ、（ｉｉ）前記第１のユーザインターフェース（１４）のロケーションを追跡するリアルタイムデータ、及び（ｉｉｉ）前記第１のユーザインターフェース（１４）の１つ以上の制御信号から成るグループから選択されたデータに基づいて前記拡張現実ユーザインターフェース（４２）を更新することを更に備える、Ｃ１～３のうちのいずれか一項に記載の方法。
［Ｃ５］
拡張可視化を利用するためのシステム（１）であって、
拡張可視化のためのディスプレイデバイス（１２）と、
第１のユーザインターフェース（１４）と、ここにおいて、前記第１のユーザインターフェース（１４）は、フットスイッチ（１６）又は消毒可能な制御パネルを備える、
前記第１のユーザインターフェース（１４）とは異なる第２のユーザインターフェース（１５）と、ここにおいて、前記第１のユーザインターフェース（１４）及び前記第２のユーザインターフェース（１５）は、前記歯科機械とユーザとの間での対話を可能にする物理的又はグラフィック要素を備える、
Ｃ１～４のうちのいずれか一項に記載の方法のステップを実行するように構成された少なくとも１つのプロセッサ（１２２）と、
を備える、システム（１）。
［Ｃ６］
共通座標系における物体の正確なロケーション及び向きについてのリアルタイム位置データを提供するように構成された追跡システム（２）を更に備える、Ｃ５に記載のシステム（１）。
［Ｃ７］
前記追跡システム（２）は、センサベース及び／又は視覚ベースである、Ｃ６に記載のシステム（１）。
［Ｃ８］
前記第２のユーザインターフェース（１５）の１つ以上の第２の制御要素（６０）は、アクションアイテム、ソフトウェアアプリケーション、ビデオ、及び／又は画像を含む、Ｃ６又は７に記載のシステム（１）。
［Ｃ９］
Ｃ５～８のうちのいずれか一項に記載のコンピュータベースのシステム（１）によって実行されると、前記コンピュータベースのシステム（１）に、Ｃ１～４のうちのいずれか一項に記載の方法を実行させるプログラムを記憶する非一時的コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】