特許 6687674 立体ビデオ撮像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6687674

(24)【登録日】2020年4月6日

(45)【発行日】2020年4月28日

(54)【発明の名称】立体ビデオ撮像

(51)【国際特許分類】

   H04N 13/243 20180101AFI20200421BHJP

   H04N 13/332 20180101ALI20200421BHJP

   H04N 13/128 20180101ALI20200421BHJP

   H04N 13/366 20180101ALI20200421BHJP

   H04N 7/18 20060101ALI20200421BHJP

   A61C 19/00 20060101ALI20200421BHJP

【ＦＩ】

   H04N13/243

   H04N13/332

   H04N13/128

   H04N13/366

   H04N7/18 U

   A61C19/00 Z

【請求項の数】19

【外国語出願】

【全頁数】23

(21)【出願番号】特願2018-107316(P2018-107316)

(22)【出願日】2018年6月5日

(62)【分割の表示】特願2015-514984(P2015-514984)の分割

【原出願日】2013年3月5日

(65)【公開番号】特開2018-174536(P2018-174536A)

(43)【公開日】2018年11月8日

【審査請求日】2018年6月28日

(31)【優先権主張番号】61/654,697

(32)【優先日】2012年6月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501471220

【氏名又は名称】ウルトラデント プロダクツ インク．

(74)【代理人】

【識別番号】100104411

【弁理士】

【氏名又は名称】矢口 太郎

(72)【発明者】

【氏名】ジェソップ、ニール ティー．

(72)【発明者】

【氏名】フィッシャー、マシュー マイケル

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開平１０−２１０５０６（ＪＰ，Ａ）

【文献】 特開２００６−１４２００１（ＪＰ，Ａ）

【文献】 特開平０７−０２３４２９（ＪＰ，Ａ）

【文献】 特開２００２−２３２９１３（ＪＰ，Ａ）

【文献】 特開２０１１−１０４１８６（ＪＰ，Ａ）

【文献】 特開２００４−０５７６１４（ＪＰ，Ａ）

【文献】 特開２０１２−０１５６６１（ＪＰ，Ａ）

【文献】 特開２０００−３３８４１６（ＪＰ，Ａ）

【文献】 特開２００５−０５１４７２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００−１３／３９８

Ｈ０４Ｎ ７／１８

Ａ６１Ｃ １９／００

(57)【特許請求の範囲】

【請求項1】

立体ビデオ画像を生成するシステムであって、
複数の空間的に離間されたビデオカメラであって、前記ビデオカメラの各々は利用者によって監視される対象についてのビデオフィードを生成するように構成されており、
前記複数のビデオカメラは、収束点における立体ビデオ画像を生成可能なように構成された１対のビデオカメラを有し、
前記複数のビデオカメラは、また、前記対象の第１のビデオフィードを生成するように構成された第１のビデオカメラと、前記対象の第２のビデオフィードを生成するように構成された第２のビデオカメラとを含むものである、
前記複数のビデオカメラと、
前記複数のビデオカメラに関連付けられた追跡モジュールであって、前記利用者の動きと相対的に移動する前記収束点を追跡するように構成された、前記追跡モジュールと
を有するシステム。

【請求項2】

立体ビデオ画像を生成するシステムであって、
対象についてのビデオカメラフィードを個別に提供するように構成されたビデオカメラのアレイと、
画像処理モジュールであって、
前記アレイからビデオフィードを受信し、
前記ビデオフィードのうち１若しくはそれ以上を幾何学的に変換して仮想ビデオフィードを生成し、
少なくとも２つのビデオフィードから立体ビデオ画像を生成するように構成されるものであり、
前記立体ビデオ画像を生成するために使用される前記少なくとも２つのビデオフィードのうちの１つは前記仮想ビデオフィードである、
前記画像処理モジュールと、
前記ビデオカメラのアレイに関連付けられた追跡モジュールであって、前記対象に関連づけられた選択された追跡点を追うように構成された、前記追跡モジュールと
を有し、
前記追跡点の移動に伴って収束点が相対的に移動することにより、立体視が維持されるものである、
システム。

【請求項3】

立体ビデオ画像を生成するシステムであって、
複数のビデオカメラの対を有するビデオカメラのアレイであって、
対象についての第１のビデオフィードを生成する第１のビデオカメラと、前記対象についての第２のビデオフィードを生成する第２のビデオカメラとを含む第１のビデオカメラの対を有し、
前記第１のビデオフィードと前記第２のビデオフィードとにより収束点における立体ビデオ画像を提供するものである、
前記アレイと、
前記複数のビデオカメラに関連づけられた追跡モジュールであって、
前記第１のビデオカメラの対を駆動して追跡点を追跡し、さらに前記第１のビデオカメラの対から第２のビデオカメラの対に移って前記追跡点を継続して追跡することにより前記収束点における立体視を維持するように構成されており、
前記収束点は前記追跡点の移動に伴って相対的に移動するものである、
前記追跡モジュールと
を有するシステム。

【請求項4】

請求項１〜３のいずれかに記載のシステムにおいて、さらに
立体視を生成するため、左眼ディスプレイおよび右眼ディスプレイを含む頭部装着可能な立体ディスプレイを有するものであるシステム。

【請求項5】

請求項１〜３のいずれかに記載のシステムにおいて、さらに、
画像調整モジュールであって、１以上のビデオフィードを選択的に修正することにより、診断または治療の視覚化を強調するようなっている少なくとも１つの調整された視覚的特性を有する可視画像を提供するように構成されているものであって、
前記調整された視覚的特性は、特定の色または色群の強調を含むものである
前記画像調整モジュール
を有するシステム。

【請求項6】

請求項５記載のシステムにおいて、前記特定の色または色群は、口内の癌または病変部の診断または治療用に強調されるものであるシステム。

【請求項7】

請求項５記載のシステムにおいて、前記画像調整モジュールは、前記立体ビデオ画像において着色剤の表示を強調するように構成されるものであるシステム。

【請求項8】

請求項１〜３のいずれかに記載のシステムにおいて、さらに、
１以上のビデオカメラの水平方向の位置合わせを較正および調整するように構成された較正モジュールを有するシステム。

【請求項9】

請求項８のシステムにおいて、前記較正モジュールは、複数の利用者に対して較正を提供し、当該システムは、第１の利用者に対して第１のモードで較正を行い、第２の利用者に対して第２のモードで較正を行うものであるシステム。

【請求項10】

請求項８記載のシステムにおいて、前記水平方向の位置合わせは、前記ビデオカメラのパンまたはチルトの動きの間も維持されるものであるシステム。

【請求項11】

請求項２または３記載のシステムにおいて、前記収束点または前記追跡点は、前記対象の動きに関連付けられるものであるシステム。

【請求項12】

請求項２または３のいずれかに記載のシステムにおいて、前記追跡モジュールにはセンサーが関連付けられ、前記収束点または前記追跡点は、利用者の動きと相対的に移動するものであるシステム。

【請求項13】

請求項１〜３のいずれかに記載のシステムにおいて、さらに、
前記ビデオカメラに関連付けられたズームモジュールであって、ある倍率の前記立体ビデオ画像を提供するように構成される、ズームモジュールを有するものであるシステム。

【請求項14】

請求項１〜３のいずれかに記載のシステムにおいて、歯科環境で使用するようなっており、前記対象は口腔内のものであるシステム。

【請求項15】

請求項１記載のシステムにおいて、前記複数の空間的に離間されたビデオカメラに関連付けられた前記追跡モジュールは、対象の動きと相対的に移動する収束点をも追跡するものであるシステム。

【請求項16】

請求項３記載のシステムにおいて、前記第２のビデオカメラの対は、前記第１のビデオカメラと第３のビデオカメラとを含むものであるシステム。

【請求項17】

請求項３記載のシステムにおいて、前記第２のビデオカメラの対は、第３のビデオカメラと第４のビデオカメラとを含むものであるシステム。

【請求項18】

請求項１記載のシステムにおいて、前記収束点は、前記対象の動きに関連付けられるものであるシステム。

【請求項19】

請求項１記載のシステムにおいて、前記追跡モジュールにはセンサーが関連付けられ、前記収束点は、利用者の動きと相対的に移動するものであるシステム。

【発明の詳細な説明】

【背景技術】

【0001】

歯科学の技術は、これまで大幅に進歩している。これらの進歩は、患者ケアの改善を可能にするとともに、歯科医師を訪れる患者の不安を緩和してきた。

【0002】

先端医療を提供するため現在歯科医師が使用している技術の多くでは、患者口腔内の非常に小さい部分を見て、そこに意識を集中させる能力が必要とされている。ルーペ付き眼鏡は、歯科医師が微小構造を見る能力を高めるため使用されることが多い。それらの眼鏡は高価で重い場合もあり、それを長時間装着する歯科医師の負担を増やしている。また、歯科用ルーペは目に負担がかかり、視野も狭まることにより、拡大された領域とその周囲の領域の双方を歯科医師が同時に見る能力を損ってしまっている。

【0003】

さらに、患者口腔内の領域において望ましい視野を得るため、歯科医師は、背を丸めて前傾しなければならないことが多い。そのような姿勢は、歯科医師にとって長期的な健康上の問題につながるおそれがある。歯科医師は、姿勢に関する予防策を講じない場合、背痛その他姿勢に関連する背中の問題により、歯科医師として働ける年数が短縮または制限されてしまうおそれもある。また、それら背部の損傷は、歯科医師の私生活の質にも影響を及ぼす可能性がある。
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１１／０１０２５４９号明細書
（特許文献２） 米国特許出願公開第２０１２／００１９６２３号明細書
（特許文献３） 米国特許出願公開第２０１２／００６９１４３号明細書
（特許文献４） 国際公開第２００５／０９３６８７号
（特許文献５） 韓国公開特許第１０−２００９−００４１８４３号公報

【図面の簡単な説明】

【0004】

本開示の特徴および利点は、本発明の特徴を例示する以下の詳細な説明と添付の図面を併せて参照することにより明確に理解されるであろう。

【図1a】図１ａは、本開示の実施形態に基づき、複数の少なくとも３つのビデオカメラから選択されるカメラのペアを使って立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1b】図１ｂは、本開示の実施形態に基づき、ジェスチャー制御モジュールを使って立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1c】図１ｃは、本開示の実施形態に基づき画像調整モジュールを有する、立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1d】図１ｄは、本開示の実施形態に基づき較正モジュールを有する、立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1e】図１ｅは、本開示の実施形態に基づき３Ｄモデリングモジュールを有する、立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1f】図１ｆは、本開示の実施形態に基づき無線データリンクを伴う、立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1g】図１ｇは、本開示の実施形態に基づき、単一の送信機および受信機を有する無線データリンクを伴う、立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図1h】図１ｈは、本開示の実施形態に基づき、第１および第２のビデオカメラの位置を更新するため使用される単一のモーターを伴う、立体ビデオ画像を見るためのシステムのブロック図を示したものである。

【図2】図２は、本開示の実施形態に基づき、患者の口腔内の略リアルタイムの立体ビデオ画像を見るため立体ディスプレイを使っている歯科専門家の例を図示している。

【図3】図３は、本開示の実施形態に基づき、前記ビデオ画像の立体視を保つため、選択された対象から前記ビデオカメラまでの距離に基づいて前記第１および第２のビデオカメラが方向付けられ、また変更される角度を例示した図である。

【0005】

以下、前記図示された例示的な実施形態を参照し、本明細書における具体的な表現を使ってこれらの実施形態を説明する。ただし、これらは本発明の範囲を限定するよう意図したものではないことが理解されるであろう。

【発明を実施するための形態】

【0006】

本発明を開示および説明する前に、本発明は、本明細書に開示する特定の構造、工程段階、または材料に限定されるものではなく、その均等物にまで拡大されることを理解すべきであり、これは当業者であれば理解されるであろう。また言うまでもなく、本明細書で使用する用語は、特定の実施形態のみ説明することを目的としており、限定を意図したものではない。

【0007】

前置きとして、説明の多くは本明細書において歯科職務と、歯科検診および処置の実施とに関連することに注意すべきである。ただし、これは単なる例示目的で行っていることであり、本明細書で説明するシステムおよび方法は、高倍率の立体撮像、ならびに手術または検診のための望ましい部位追跡の有益性を享受するであろう他の医療専門家にも適用可能である。例えば、本明細書のシステムおよび方法は、特に、患者に意識があり動いている低侵襲手術または警戒心のある患者の関心部位検診などで、動きが生じうる撮像位置に有用である。また、本開示のシステムおよび方法は、全般的な医療職外、例えば研究、教育、微生物学、電子工学、宝石切削、腕時計修理等において、本明細書で説明する態様による目視および追跡にも適用できる。

【0008】

これを考慮し、以下では技術的実施形態の概要を紹介したのち、具体的な技術的実施形態をさらに詳しく説明する。この最初の説明は、当該技術に関する基本的な理解をもたらすことを目的としたもので、当該技術の特徴をすべて特定することを目的としたものではなく、また請求項の主題の範囲を限定することを目的としたものでもない。

【0009】

歯科医師が患者の口腔内細部を見る能力は、歯の問題について適切な診断を行い歯科処置全般を行う上で有益である。口腔内の位置を拡大して見られると、歯科医師は、現時点で患者用に利用できる高度かつ複雑な解決策を十分に提供することができる。ただし、口腔内を拡大して見るための一般的な解決策は、１若しくはそれ以上のルーペ付き眼鏡を使用することによる。ルーペを使うと、歯科医師の目に負担がかかって眠気を増すおそれがある。また、歯科医師は望ましい角度で患者の口内を見るため、前傾し、および／または前かがみにならなければならない可能性がある。これは、長期にわたって歯科医師に姿勢、背痛、および体力を消耗させる背部損傷の問題を生じるおそれがある。背部の痛みと損傷は、歯科医師が働ける期間を短縮させ、歯科医師の私生活の質にも悪影響を及ぼすおそれがある。

【0010】

本開示の諸実施形態によれば、立体ビデオ画像を見るシステムおよび方法が開示される。当該システムおよび方法は、その一例において、歯科医師が患者の口腔内の望ましい視野を得られるようにするとともに、目への負担を軽減し、歯科医師が適切な姿勢を保てるようにする。なお、他の分野、例えば医学、電子工学、教育、微生物学、または高倍率の立体視野が有用な他の任意の分野でも、本開示のシステムおよび方法は同等に適用可能である。そのため、上述のように歯科学に関する説明は単に例示的なものであって、請求項に具体的な記載がない限り、限定的なものと考慮すべきではない。

【0011】

以上を踏まえた上で、望ましいレベルのケアを患者に提供するには、歯科衛生士、歯科医師、口腔外科医、または他種の歯科専門家は、歯科器具を望ましい方向へ繊細かつ正確に動かすことができなければならない。通常、２次元画像は、患者の口腔内で歯科機器を正確に動かすことを困難にする場合がある。立体画像を使うと立体視の維持が可能になり、医療専門家は奥行きを認識できるようになってその立体画像を見ながら歯科機器を望ましい方向へ正確に動かせるようになる。本明細書における用語「立体視」とは、光学的に分離されて人の両目にそれぞれ投影される２つの実世界射影を見ることにより奥行きの感覚が得られる視覚過程をいう。これは、頭部に装着可能で各々異なる光学的射影が行われる一対のビデオ画面を使って、または単一のビデオ画面に２つの光学的射影が行われる光学的分離によって実現でき、これらについては以下さらに詳しく説明する。

【0012】

また、本明細書に開示するシステムおよび方法は、立体ビデオ画像を見ている複数の人が、選択された領域を同じ視点から見られるようにする。例えば、歯科医師と歯科助手が、それぞれ一定の位置、例えば患者口腔内の歯または歯の周囲領域の同じ立体ビデオ画像を見ることができる。歯科医師および歯科助手の双方が同じ視点から一定領域の立体ビデオ画像を見る能力は、必要に応じて歯科助手が歯科医師を補佐する能力を大幅に高める。さらに、前記画像は、その他の人、例えば患者または歯科大学の学生から見ることもできる。患者が歯科医師と同じ画像を見ることができると、歯科医師は、患者の歯の状態およびこれから行われる処置について、患者により適切に説明できるようになる。前記立体画像は講師の視点から見られるため、講師の教授内容を学生が学習および理解する能力を大幅に高めることができる。

【0013】

本開示の一実施形態によれば、立体ビデオ画像を見るためのシステムは、空間的に分離された少なくとも３つのビデオカメラと、前記複数のビデオカメラに関連付けられた追跡モジュールとを含む複数のビデオカメラを有することができる。前記複数のビデオカメラは、複数のビデオカメラペアが略リアルタイムの立体ビデオ画像を生成できるようなっており、前記複数のペアは、それぞれ対象の第１のビデオフィードを生成するように構成された第１のビデオカメラと、対象の第２のビデオフィードを生成するように構成された第２のビデオカメラとを有する。前記追跡モジュールは、選択された追跡点と相対的に、望ましい収束点へ前記第１のビデオカメラおよび前記第２のビデオカメラを方向付けて立体視を保つよう構成できる。

【0014】

別の例において、立体ビデオ画像を見るためのシステムは、ビデオカメラフィードを提供するように構成されたビデオカメラのアレイを有することができる。画像処理モジュールは、ｉ）前記アレイからビデオカメラフィードを受信し、ｉｉ）前記ビデオカメラフィードのうち１若しくはそれ以上を幾何学的に変換して仮想カメラフィードを生成し、ｉｉｉ）少なくとも２つのカメラフィードから立体ビデオ画像を生成するよう構成することができる。この例では、前記２つのカメラフィードのうち少なくとも１つを前記仮想カメラフィードとしてよく、前記少なくとも２つのカメラフィードを収束点へ方向付けることができる。当該システムは、前記アレイに関連付けられた追跡モジュールも含み、その追跡モジュールは、立体視を維持するため前記収束点と相対的に追跡点を追うよう構成できる。

【0015】

他の例において、立体ビデオ画像を見るためのシステムは、対象の第１のビデオフィードを生成するように構成された第１のビデオカメラと、前記対象の第２のビデオフィードを生成するように構成された第２のビデオカメラとを有することができ、前記第１のビデオフィードおよび前記第２のビデオフィードを組み合わせて、略リアルタイムの立体ビデオ画像が生成される。これらのシステムは、さらに、前記第１のビデオカメラおよび前記第２のビデオカメラに関連付けられた追跡モジュールを有することができる。前記追跡モジュールは、選択された追跡点と相対的に、望ましい収束点へ前記第１のビデオカメラおよび前記第２のビデオカメラを方向付けて立体視を保つよう構成できる。

【0016】

一具体例においては、ジェスチャー制御モジュールを前記システムに具備して、利用者の動きに基づき当該システムが応答するようにできる。そのジェスチャー制御モジュールには、例えば利用者の動きを感知するセンサーを含めることができる。これと独立した別の例では、前記第１のビデオカメラおよび前記第２のビデオカメラにより受信された画像を選択的に修正するよう、画像調整モジュールを構成することにより、診断または治療の視覚化を強化するようなっている少なくとも１つの調整された視覚的特性を有する可視画像を提供できる。さらに別の具体例では、前記第１のビデオフィードおよび前記第２のビデオフィードの水平方向の位置合わせを較正および調整するよう、較正モジュールを構成できる。さらに別の独立した例では、前記立体ビデオ画像を３Ｄモデルまたは構造体に変換するよう、３Ｄモデリングモジュールを構成できる。

【0017】

ここで図を参照すると、立体ビデオ画像を見るためのシステム１００の種々の実施形態が開示されており、図１ａ〜ｈの例示によりさらに詳しく説明されている。これら実施形態の各々には、前記追跡モジュール１０８、前記第１のビデオカメラ１０２ａ、前記第２のビデオカメラ１０２ｂ、モーター１１２、および前記立体ディスプレイ（表示装置）１０６を含め、いくつかの共通点がある。他のモジュールまたはカメラ構成については、本開示の一定の実施形態を参照して、より具体的に詳しく説明する。このように、一部の特徴については図１ａ〜ｈを参照して全般的に説明し、その他については、特定の図を参照して具体的に説明する。以上を踏まえ、本明細書で説明する特徴のいかなる組み合わせも本開示の例に基づいて実施（実装）することができる。

【0018】

具体的に図１ａを参照すると、前記システム１００は、互いに離間された複数のビデオカメラ１０２ａ〜ｄを有する。前記複数のビデオカメラは、複数のビデオカメラペアが略リアルタイムの立体ビデオ画像を生成できるようなっており、前記複数のペアは、それぞれ対象の第１のビデオフィードを生成するように構成された第１のビデオカメラと、前記対象の第２のビデオフィードを生成するように構成された第２のビデオカメラとを有することができる。例えば、ビデオカメラ１０２ａおよびビデオカメラ１０２ｂは、１つの状況における前記第１のビデオカメラおよび前記第２のビデオカメラとすることができ、ビデオカメラ１０２ｃおよびビデオカメラ１０２ｄは、第２の状況における前記第１のビデオカメラおよび前記第２のビデオカメラとすることができる。さらに、前記ビデオカメラは、常にともに使用される別個のペアである必要はない。例えば、ビデオカメラ１０２ａと、ビデオカメラ１０２ｃまたは１０２ｄとで、第３のカメラペアを構成するなども可能である。例えば歯科環境において、どの２つのカメラが選択され、使用されるかにかかわらず、前記第１のビデオカメラは、患者の口腔内の第１のビデオフィードを生成するため対象へ方向付けられ、第２のビデオカメラは、立体視を生成するため、選択された距離だけ前記第１のビデオカメラから適切に離間される。なお、複数のビデオカメラペアを互いに瞳孔間距離だけ離間し、あるいは必ずしも互いの距離が瞳孔間距離ではないよう、例えば瞳孔間距離と光学的に位置合わせされた適切な角度を成すシミュレートされた瞳孔間距離だけ離間して、または瞳孔間距離との光学的位置合わせから外した位置に通常何らかの信号補正とともに、配置することもできる。

【0019】

前記複数のビデオカメラは１次元アレイに、例えば３、４、５、．．．２５のビデオカメラなどを、または２次元アレイに、例えばＸおよびＹ軸に沿って構成された配置で、例えば３×３、５×５、４×５、１０×１０、２０×２０のカメラなどを配置できる。これにより、どちらの実施形態でも、隣接しあう任意の２つのビデオカメラを前記第１のビデオカメラおよび前記第２のビデオカメラとして使用できる。あるいは、互いに隣接しない任意の２つのビデオカメラを使っても、立体画像をもたらすことができる。どの２つのビデオカメラを使うかの選択は、手作業の選択（例えば、肯定的なジェスチャー制御、あるいは適切なボタン、スイッチ、または他のインターフェース制御の選択による）に基づいて行え、あるいは利用者、例えば歯科専門家、または対象、例えば患者の動きに基づいて自動的に行える。

【0020】

カメラアレイに関連する別の例では、前記複数のカメラ１０２ａ〜ｄ（または通常、アレイに構成されるより多くのビデオカメラ）のいずれも、直交座標空間で特定の配向を伴うカメラの静的アレイの配置により生じる仮想視点を生成するため、同様に使用される。例えば、種々のビデオカメラについては、互いに相対的に知ることができ、かつ当該システムの利用者または対象と相対的に知ることができるよう配置される。また、当該システム内での利用者または対象の位置は、本明細書で説明し若しくは当該技術分野で公知の追跡方法により、ハードウェア（例えば、Ｐｏｌｈｅｍｕｓ社製の磁気追跡システムまたはモジュールまたは他の追跡システムまたはモジュール）で、あるいはソフトウェアで知ることができる。

【0021】

そのようなシステムでは、カメラフィードが画像処理モジュール１２０へと取得され、１若しくはそれ以上のカメラフィードに幾何学的変換を行って、新しい視点、すなわち前記カメラフィード自体から直接生成されるもの以外の視点を示す仮想カメラフィードを生成することができる。これらの仮想カメラフィードは、次いで立体ディスプレイ用の立体または３Ｄ信号へと多重化され、または頭部に装着されるディスプレイ（例えば、右目、左目）に送信されて、立体ビデオを生成する。この目的のため、何らかの技術水準のパッケージを含むハードウェアおよびソフトウェアパッケージを使用または修正することができる。例えば、ＮＶＩＤＩＡは、利用者が複数のカメラフィードを取得し、数学演算を行ったのち、幾何学的に変換されたビデオフィードを出力して実際のビデオフィードの内挿結果である仮想視点を生成できるようにするビデオパイプラインを有する。これらのビデオ信号は、通常、シリアルデジタルインターフェース（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：ＳＤＩ）形式である。同様に、そのような変換を行うため使用されるソフトウェアは、オープンソースとして利用できる。ＯｐｅｎＣＶ、ＯｐｅｎＧＬ、およびＣＵＤＡを使用すると、ビデオフィードを操作することができる。立体視を生成するため、左目および右目用に設計された画像、または単一画面への光学的に分離されたビデオフィードは、表示されるのが仮想画像であっても実画像であっても、通常、瞳孔間距離またはシミュレートされた瞳孔間距離だけ分離されるが、これは必要ではない。なお、この例で示した画像処理モジュールは、仮想カメラフィードの生成を目的としたものである。ただし、この実施形態、または本明細書の他の任意実施形態であって画像処理の有益性を享受するであろう実施形態で使用すると有益な他のいかなるタイプの画像処理も、画像処理モジュールを含むことができる。

【0022】

これら２つの実施形態、すなわち複数のカメラフィードのうち種々のビデオカメラをペアにするもの、またはカメラアレイを使って仮想画像を生成するもののうちどちらでも、ビデオカメラの選択または仮想画像の生成を制御する方法は多数ある。利用者または対象の動きは、例えば、これらのシステムを制御するために使用でき、利用者の頭部または両目の動き、または対象の口腔内の動きなどが含まれる。前記自動選択は、歯科専門家または患者の相対的な位置に基づいて望ましい画像が提供されるよう構成することもできる。例えば、歯科専門家が患者を見る角度を変えた場合には、アレイ内のカメラが選択および／または移動されて、前記歯科専門家の視角に基づいた画像を提供するようにできる。

【0023】

ジェスチャー制御についてさらに詳しく説明すると、図１ｂは、本開示のシステム１００に伴うジェスチャー制御モジュール１１０を示している。ジェスチャー制御に関する詳細の一部については、複数の少なくとも３つのビデオカメラからカメラペアが選択される場合に関連付けて上述したが、ジェスチャー制御は、ビデオカメラが２つしかない実施形態にも適用される。より具体的にいうと、前記ジェスチャー制御モジュールには、利用者、例えば歯科専門家の動きを感知してその動きに基づき応答するセンサーを含めることができる。ジェスチャーは、一定の動作を起こすための意図的なものであっても、利用者の典型的な動きに付随して起こるものであってもよい。意図的なジェスチャーとしては、手または腕のジェスチャー、あるいは利用者の手に把持された手術器具の意図的な動きなどがある。音声ジェスチャー、例えば音声コマンドも意図的なジェスチャーの一例である。

【0024】

あるいは、本開示のシステムは、利用者による付随的な動きによっても制御でき、例えば利用者の目または頭部の動きに基づいて前記追跡モジュールに追跡点を追わせることができる。目の動きを追跡する場合は、利用者の目付近にセンサーを方向付け若しくは配置することができ、例えば利用者の目へカメラを方向付け、または眼鏡上のセンサーを使って、ビデオ画面上または頭部に装着可能な立体ディスプレイ上で光学的に立体画像を分離することができる。これにより、前記カメラまたはセンサーを使って、利用者の目の動きを検出でき、および／またはアレイ内のカメラが選択および／または移動されて、利用者の視角（すなわち歯科専門家の目）に基づいた画像を提供できる。いずれの場合でも、ジェスチャーを使って、追跡点を動かし、光設定を調整し、倍率レベルを修正し（ズームモジュールを使って）、または本開示のシステムでの使用が望ましい可能性のある他の任意の調整を行うことができる。

【0025】

ここで図１ｃの前記システム１００を参照すると、この実施形態で上述し各々さらに詳しく後述する前記追跡モジュール１０８、モーター１１２、第１のビデオカメラ１０２ａ、第２のビデオカメラ１０２ｂ、および立体ディスプレイ１０６に加え、画像調整モジュール１１４も含まれている。前記画像調整モジュールは、第１のビデオカメラおよび第２のビデオカメラにより受信された画像を選択的に修正するよう構成でき、診断または治療の視覚化を強化するようなっている少なくとも１つの調整された視覚的特性を有する可視画像を提供できる。

【0026】

例えば、前記調整された視覚的特性としては、歯科専門家が特定の光周波数帯域を見る解像度を改善するための前記特定の光周波数帯域の強調またはシフトなどがある。具体的には、可視色の色または色群を強調し若しくはシフトさせて、口内の癌または病変部の診断または治療、軟組織異常（例えば、歯肉、舌、頬など）の診断または治療、歯（例えば、窩洞）の診断または治療などに利用できる。より具体的な例を提供すると、赤外、緑、黄、白、紫、紫外、またはこれら光周波数の組み合わせを使って、癌組織の検出を促進することができる。前記カメラにより検出された画像は、診断または治療を目的として、前記画像調整モジュールを使って着色が強調されるよう修正できる。

【0027】

別の例では、何らかの材料に関連して特定の照明プロファイル、例えば黄色光または紫外線が使用される（または回避される）場合もある。例えば、紫外線照明を使用すると、一定の材料を硬化させることができる。黄色照明は、材料の硬化が望ましくない場合に使用できる。このように、当該システムは特定の照明プロファイル下で使用するようにでき、また調整された可視特性については、立体ディスプレイにおける可視画像の人工的な着色を軽減して利用者により自然に見えるようにでき、例えば黄色光が最低限に抑えられ、わずかしか存在しない他の光が強調される黄色光環境が可能である。

【0028】

さらに別の例において、当該システムは高彩度の光で使用するようにでき、前記調整された可視特性は、前記可視画像で白または他の彩度を低減するようにできる。これは、一定の色をより正確に可視化することが望ましい場合、例えば審美または補綴歯科作業用にオフホワイトの着色を整合させる場合有用な可能性がある。さらに別の例では、当該システムを利用して、通常であれば見えない光、例えば４０５ｎｍの光などの紫外線を検出し、可視スペクトルへとシフトさせる場合に有利な可能性がある。その場合は、前記ビデオカメラのセンサー、例えば電荷結合素子（ｃｈａｒｇｅｄ ｃｏｕｐｌｅ ｄｅｖｉｃｅ：ＣＣＤ）センサーまたは相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）センサーに、紫外線に感度の高いものを選択することができる。一実施形態では、単一のカメラに複数のセンサーを内設して、異なるセンサーを光スペクトルの異なる部分用に調整できる。例えば、１つのセンサーは赤外〜青の波長を検出するよう構成し、別のセンサーは紫外波長を検出するよう構成できる。カメラにより撮像される光の色（すなわち波長）に基づき、各カメラの適切なセンサーを選択できる。

【0029】

関連する実施形態では、前記調整された視覚的特性を、着色剤でさらに強調することができる。口腔内に使用するため一定の着色剤（顔料または染料）を選択すると、一定の材料または状態を強調して見ることが可能になる。これを前記着色剤の視覚的特性を調整する能力と合わせると、歯科専門家にとって一定の歯科作業を見やすくする組み合わせをもたらすことができる。例えば、染料または顔料を使うと、ビデオ画像を使って、前記染料または顔料による着色を強調し、場合によってはシフトさせてより見やすくすることができる。一具体例では、一定の蛍光色素または顔料を使うと、歯科材料、例えばボンディング接着剤（セメント）の存在の有無を判別でき、着色は、それが適切に硬化したかどうかを歯科専門家が判別する上で役立つ。別の例では、一定タイプの歯科学的状態の部分、例えば窩洞、病変部、癌などに着色剤を付着させて、歯科医師が歯科学的状態を診断または治療する際に役立てることができる。前記カメラ内のデジタル撮像センサーおよび／またはそのデジタル撮像センサーの出力信号は、前記立体ディスプレイ１０６で前記着色剤が強調されて見えるよう構成することができる。

【0030】

図１ｄは、追跡モジュール１０８、モーター１１２、第１のビデオカメラ１０２ａ、第２のビデオカメラ１０２ｂ、および立体ディスプレイ１０６に加えて、較正モジュール１１６を含むシステム１００を説明したものである。この較正モジュールは、前記第１のビデオカメラからのピクセルが前記第２のビデオカメラからのピクセルに位置合わせされるように、第１のビデオフィードおよび第２のビデオフィードの水平方向の位置合わせを較正および調整するよう構成できる。前記立体ディスプレイが、右ビデオディスプレイおよび左ビデオディスプレイを含む頭部装着可能な立体ディスプレイである場合は、それら２つの画像の適切な位置合わせを利用者の目用に水平方向に較正して画像ができるだけ自然に見えるようにできる。より不自然な画像が表示されるほど、結果として目への負担も増す。また、略リアルタイムの立体ビデオ画像を画面で見ている場合は、（眼鏡の支援があってもなくても）水平方向の位置合わせでより明確な画像が得られる。ピクセルが適切に位置合わせされると、画像はピクセルがわずかでもずれている場合より自然で鮮明に見える。付加的に較正を行うと、前記第１のビデオカメラおよび前記第２のビデオカメラを垂直方向に位置合わせ調整して、立体視をもたらす望ましい角度にすることもできる。いずれの場合でも、前記較正モジュールが垂直方向の位置合わせに使用されるか水平方向の位置合わせに使用されるかにかかわらず、その位置合わせは、何かが変化した場合、例えば前記第１のビデオカメラまたは前記第２のビデオカメラにパンまたは傾斜の動きがあった後、前記アレイから異なるビデオカメラペアが選択された後などに、維持または再較正されるよう構成できる。これらの動きにより、わずかな位置のずれは生じうるが、位置のずれが生じても再調節は可能である。この較正モジュールは、カメラペアの水平方向および／または垂直方向の位置合わせを手動調整および／または自動調整できるよう構成できる。

【0031】

その他、較正は、当該システムが初期設定される際、または複数の利用者が同じ機器を使う際に行うこともできる。一例として、前記較正モジュールは複数の利用者に較正を行える。この場合、当該システムは、第１の利用者用には第１のモードで、第２の利用者用には第２のモードで、といったように較正できる。例えば、前記カメラペアにおける各カメラの焦点は、視力の違いについて補正を行うよう調整できる。当該システムは、当該システムを使用しているのが前記第１の利用者か前記第２の利用者かに基づき、前記第１のモードおよび前記第２のモードを自動的に若しくは手動で切り替えるよう構成できる。

【0032】

図１ｅは、追跡モジュール１０８、モーター１１２、第１のビデオカメラ１０２ａ、第２のビデオカメラ１０２ｂ、および立体ディスプレイ１０６に加えて、３Ｄモデリングモジュール１１８を含むシステム１００を説明したものである。この３Ｄモデリングモジュールは、前記立体ビデオ画像を３Ｄモデルまたは構造体に変換するよう構成できる。このモジュールは、１若しくはそれ以上のフレームの前記立体ビデオ画像を、モデリング装置、例えば３Ｄプリンタ、歯科印象モデリング装置、または３Ｄモデルを作成するためさらに使用できる３Ｄ ＣＡＤ図面に出力できる。３Ｄモデルまたは構造体を生成する適切な技術へと立体画像が出力されたのちは、当該技術分野で知られたいかなる３Ｄモデリング技術も使用できる。

【0033】

図１ａ〜ｅで上述した諸実施形態では、前記第１のビデオカメラ１０２ａからの前記第１のビデオフィードと、前記第２のビデオカメラ１０２ｂからの前記第２のビデオフィードとを有線通信ケーブル、例えばデジタル・ビジュアル・インターフェース（ｄｉｇｉｔａｌ ｖｉｓｕａｌ ｉｎｔｅｒｆａｃｅ：ＤＶＩ）ケーブル、高品位マルチメディア・インターフェース（ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ：ＨＤＭＩ（登録商標））ケーブル、コンポーネントケーブルなどを介して、前記立体ビデオディスプレイ１０６に送信することができる。あるいは、前記第１のビデオフィードおよび前記第２のビデオフィードからの情報を前記立体ビデオディスプレイに無線通信することもできる。例えば、図１ｆは、前記ビデオディスプレイと、前記第１のビデオカメラおよび前記第２のビデオカメラの各々との間に無線１４２データリンクをもたらすシステム１００を示している。さらに別の例では、図１ｇに示すように、前記第１および第２のビデオフィードは、単一の送信機１４６に有線接続を介して通信される。この送信機は、前記第１および第２のビデオカメラからの前記第１および第２のビデオフィードを、それぞれビデオディスプレイに無線１４２通信することができる。前記ビデオディスプレイの無線受信機１４４を使用すると、前記送信機から前記第１および第２のビデオフィードを受信し、前記ビデオフィードを前記ビデオディスプレイに送信することができる。

【0034】

ビデオフィードを無線通信するためこれまで開発され、または現在も開発されている種々の規格としては、ＷｉｒｅｌｅｓｓＨＤ規格、ワイヤレス・ギガビット・アライアンス（Ｗｉｒｅｌｅｓｓ Ｇｉｇａｂｉｔ Ａｌｌｉａｎｃｅ：ＷｉＧｉｇ）、ワイヤレス・ホーム・デジタル・インターフェース（Ｗｉｒｅｌｅｓｓ Ｈｏｍｅ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：ＷＨＤＩ）、電気電子技術者協会（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｓ：ＩＥＥＥ）８０２．１５規格、および超広帯域（ｕｌｔｒａｗｉｄｅｂａｎｄ：ＵＷＢ）通信プロトコルを使って開発された規格などがある。別の例では、ＩＥＥＥ ８０２．１１規格を使って、前記ビデオカメラ１０２、１０４から前記立体ディスプレイ１０６に信号を送ることができる。略リアルタイムで表示するため、前記第１および第２のビデオフィードからのビデオフィード情報を前記立体ビデオディスプレイに送信できるようにする１若しくはそれ以上の無線規格を使うと、ワイヤーを使用せずにすみ、利用者はより自由に動けるようになる。これは、特に立体ビデオディスプレイが頭部に装着可能な場合に役立つが、本明細書で説明するビデオディスプレイ実施形態のいずれにおいても望ましい。

【0035】

なお、図１ａ〜ｇを参照してさらに詳しく述べると、示されている各カメラには、そのカメラの方向および／または焦点を制御する個々のモーターを含めることができる。図１ｈは別の実施形態を例示したもので、単一のモーター１１２を使って、前記第１および第２のビデオカメラ１０２ａ、１０２ｂの位置がまとめて更新される。前記単一のモーターは、前記第１および第２のビデオカメラに機械的に連結される。例えば、前記モーターは、前記ビデオカメラを方向付ける角度を当該モーターを使って変更可能にする一連の歯車および／またはネジを介して接続できる。他種の機械的連結も使用できることが理解されるであろう。前記第１および第２のビデオカメラの一方または双方の向きをモーターが更新できるようにする任意タイプの機械的連結は、本実施形態の範囲内であると見なされる。

【0036】

図１ａ〜１ｂで説明した諸実施形態の各々においては、上述のように、これらの図の種々の要素のうち何らかの共通点をもつ細部がいくつかある。これらの特徴の一部については、以下、まとめて説明する。例えば、前記第１のビデオカメラ１０２ａと前記第２のビデオカメラ１０２ｂの間隔については、これらのカメラを水平方向に離間して人の両目間の間隔をシミュレートし、自然な立体画像を生成するよう組み合わせ可能な第１のビデオフィードおよび第２のビデオフィードを生成して、例えば人の左目および右目から見た視野をシミュレートする画像を表示することができる。この間隔は、瞳孔間距離とも呼ばれる。典型的な瞳孔間距離は、約５０ミリメートル（ｍｍ）〜約７５ｍｍである。あるいは、前記カメラを異なる（通常、より大きい）距離だけ離間することもできるが、やはり光学的に若しくはデジタル処理で位置合わせして、おおよその瞳孔間距離を提供する。前記カメラ間の距離が瞳孔間距離ではなく、または少なくとも光学的に瞳孔間距離をシミュレートしない他の実施形態では、より不自然なカメラ収束角度および当該カメラ間距離用の補正を行う何らかの信号処理が望ましい。

【0037】

当該システムは、さらに、図１ａ〜ｈに示すように、立体ビデオディスプレイ１０６を有する。一実施形態において、この立体ディスプレイは、人の右目で見ることのできる右ビデオディスプレイと、人の左目で見ることのできる左ビデオディスプレイとを伴う頭部装着可能な立体ディスプレイであってよい。前記第１および第２のビデオフィードを前記左および右ビデオディスプレイに表示することにより、略リアルタイムの立体ビデオ画像が作成できる。あるいは、立体ディスプレイを単一のビデオ画面として、前記第１のビデオフィードおよび前記第２のビデオフィードを光学的に分離し、例えばシャッター分離、偏光分離、色分離などを行うこともできる。前記立体ディスプレイは、利用者が外付けの目視装置、例えば眼鏡を着用してもしなくても立体画像を見られるよう構成できる。一実施形態では、シャッター分離、偏光分離、色分離などを併用できる適切な眼鏡を使って、画面を３次元で見られるようにできる。さらに、前記ビデオディスプレイは、複数の利用者、例えば歯科助手および／または患者が、略リアルタイムの立体ビデオ画像を見るため複数のビデオディスプレイを有するものにしてもよい。

【0038】

前記立体ビデオ画像では、人の両目の網膜に投影されるわずかに異なる２つのビデオ画像から奥行き感覚につながる視覚が得られる。この奥行き感覚につながる視覚を立体視という。上述した頭部装着可能な立体ディスプレイまたは他の光学的分離技術を使用する場合、前記第１および第２のビデオ画像の付加的なビデオまたはコンピュータ処理は不要である。奥行き感覚は、例えば瞳孔間距離またはシミュレートされた瞳孔間距離だけ分離された前記第１および第２のカメラの異なる投影により生じる。ただし、典型的な瞳孔間距離に対応しない態様でカメラをさらに離し、またはカメラに角度を付けることもあり、その場合は、上述したように前記カメラアレイに含まれる２若しくはそれ以上のカメラから受信される画像に基づいて、略リアルタイムの立体ビデオ画像を適宜補正し、シミュレートされた瞳孔間距離を提供することもできる。

【0039】

奥行きを認識する能力は、患者への処置を行う歯科医師にとって有益である。奥行きを適切に認識できると、歯科医師は、歯学処置を行う際、小さいながらも非常に重要な動きができるようになる。これまでは奥行き感覚を表示する能力がなかったため、歯学作業におけるカメラおよび表示画面の用途は限られていた。歯科医師は、立体視を伴う表示を提供するように構成された２つの別個のカメラを使うと、その結果もたらされる立体ディスプレイを見て奥行き感覚が得られ、ルーペまたは他の拡大システムを使って学んだ目と手の協調性を実質的に保つことができる。

【0040】

図１ａ〜ｈに戻ると、種々のシステム１００には、前記第１のビデオカメラ１０２ａおよび前記第２のビデオカメラ１０２ｂ（または具体的に図１ａで説明した複数のビデオカメラ）と通信可能な追跡モジュール１０８を含めることもできる。前記追跡モジュールは、選択された追跡点と相対的に、望ましい収束点へ前記第１のビデオカメラおよび前記第２のビデオカメラを方向付けるよう構成できる。

【0041】

その追跡点は、患者の身体上または身体付近で選択される位置のうち、前記カメラ１０２ａ、１０２ｂの向きを当該追跡点と相対的に変えられる位置にすることができる。例えば、追跡点は患者の頭部上の位置とすることができる。患者が頭部を動かした場合、前記カメラは、患者が動いても表示画面上の画像が実質的に変わらないよう、患者とともに動くことが可能である。あるいは、患者の口腔内または口腔内付近に追跡点を位置付けることもできる。例えば、追跡点は、歯、歯科器具、または患者の口腔内またはその付近に配置された開口器に位置付けることもできる。さらに、本明細書で一定の例を参照して説明するように、追跡点は利用者、例えば歯科専門家に関連付けてもよく、利用者の動きが追跡機能に直接関係するようにできる。

【0042】

追跡点は、前記カメラの位置と相対的に患者の動きを追跡できるようにする任意タイプの装置、対象、または信号により提供できる。例えば、追跡は、無線による三角測量を使って行える。複数の追跡用送受信機が、患者上または患者付近に配置可能である。マーカー、例えば器具に送受信機を含めてもよい。マーカー位置に対する前記器具の位置は、前記器具の送受信機から前記追跡用送受信機へ送信されるトラッカー信号が到着するタイミングに基づいて計算できる。前記器具の送受信機の位置は、例えば三角法を使って計算できる。

【0043】

別の実施形態において、追跡点は、光学的に追跡可能なマーカー、例えば異なる色の光または赤外光源を使って形成された反射ドットまたは光学ドットであってよい。色光または赤外光の光源は、１若しくはそれ以上の発光ダイオードまたはレーザーであってよい。前記追跡モジュールには、光学的に追跡可能なマーカーと相対的にカメラを実質的に方向付けられるようにする画像認識ソフトウェアを含めることができる。あるいは、赤外受信機を使って、赤外光学ドットの位置を追跡することもできる。

【0044】

別の実施形態において、前記追跡モジュール１０８は、例えば人の鼻孔、目、または他の明確な外観的特徴の位置または特徴を認識できる画像認識ソフトウェアを含むことができる。人の選択された外観的特徴が動くと、前記カメラの位置が調整され、人の口腔内の選択された領域の立体ビデオ画像が維持されるようにできる。患者の動きと相対的に前記ビデオカメラの方向を調整する能力により、前記ビデオカメラは、口腔内の望ましい位置について比較的高い倍率を提供できるようになる。前記画像認識ソフトウェアは、パターンを認識するようプログラムできる。例えば、最先端のオートフォーカスのコンパクトカメラに広く使用されているものと同様な顔認識技術を含むソフトウェアを本開示のシステムに使うと、例えばデジタル表示画面で顔の周囲にボックスが表示され、対象の顔が焦点合わせその他の目的用に認識されたことを利用者に通知する。

【0045】

そのため、本開示のシステムには、図１ｆに示す任意選択的なズームモジュール１１０を含めることもできる。このズームモジュールは図１ｆだけに示ているが、本明細書で説明する実施形態のいずれでも使用できることを理解すべきである。このズームモジュールは、前記第１のビデオカメラ１０２ａおよび前記第２のビデオカメラ１０２ｂと通信可能である。また、このズームモジュールは、望ましい倍率の前記略リアルタイムの立体ビデオ画像を提供するよう構成できる。前述のとおり、選択した倍率で望ましい位置を見る能力があると、歯科医師は複雑で細かい処置を行う上で著しい利点が得られる。歯科医師は、通常、ルーペ付きの眼鏡を使って約４倍程度に画像を拡大する。ただし、本開示の諸実施形態によれば、ズーム範囲を制限するのは、前記第１および第２のビデオカメラのズーム範囲のみである。

【0046】

特定の一実施形態において、前記ビデオカメラ１０２ａ、１０２ｂは、標準的な画像の１倍〜２０倍超、またはそれ以上の倍率を提供するよう構成することができる。この倍率は、光学的拡大、デジタルズーム、またはこの２つの組み合わせのいずれかを使って達成できる。前記立体ディスプレイは、患者の口腔内の望ましい位置について、明瞭で焦点の合った画像を高倍率で提供することができる。ビデオカメラは、奥行き感覚につながる視覚が維持できるよう、実質的に同じ倍率で設定できる。また、複数の前記カメラが倍率を変更する率（速度）は、前記第１および第２のビデオカメラと通信する前記ズームモジュールで画像がズームインおよびズームアウトされる際も、前記立体ビデオ画像の立体視を維持するよう実質的に等しくできる。

【0047】

別の実施形態において、前記第１および第２のビデオカメラ１０２ａ、１０２ｂと、前記立体ディスプレイ１０６とは、比較的高い解像度を表示するよう構成することができる。例えば、前記カメラおよびディスプレイは、７２０Ｐプログレッシブビデオディスプレイを１２８０×７２０ピクセル（幅×高さ）で、１０８０ｉインターレースビデオディスプレイを１９２０×１０８０ピクセルで、または１０８０ｐプログレッシブビデオディスプレイを１９２０×１０８０ピクセルで提供するよう構成できる。ムーアの法則に沿って処理能力およびデジタルメモリが指数関数的に向上し続けるに伴い、前記カメラおよびディスプレイは、いっそう高い解像度、例えば４３２０Ｐプログレッシブビデオディスプレイを７６８０×４３２０ピクセルでもたらせるようになる。解像度が高まると、ソフトウェア（デジタルズーム）を使って画像を拡大し、実質的に画質を損なうことなくデジタル倍率を提供することができる。このように、ソフトウェアだけを使っても、望ましい倍率レベルの前記略リアルタイムの立体ビデオ画像を提供することができる。

【0048】

図２は、本開示の一実施形態に基づき、患者の口腔内の略リアルタイムの立体画像を見るため頭部着用可能な立体ディスプレイ２０６を使っている歯科医師２３２の例を図示している。第１のビデオカメラ２０２ａおよび第２のビデオカメラ２０２ｂは、患者２３４の上方で固定具２４２に取り付けることができる。

【0049】

患者の口腔内を明るく照らすには、光２３６、例えば歯科用光源を設けることができる。この光が十分な照明を提供することにより、前記第１のビデオカメラ２０２および前記第２のビデオカメラ２０４は、望ましい倍率レベルまでズームしながら、前記略リアルタイムの立体ビデオ画像用に選択された視野の奥行きを維持することができる。視野の奥行きは、患者口腔内の望ましい位置すべてについて明瞭で焦点の合った視野を歯科医師が得られるよう選択できる。前記第１および第２のビデオカメラの絞りは、それらのビデオカメラの倍率が高められた場合、変更可能である。あるいは、前記光源を十分明るくして、絞りの変更を不要にすることもできる。また、図１ｃと関連して前述した画像調整モジュールに有用な種々の照明プロファイルを生成するよう、光を提供することもできる。

【0050】

前記第１および第２のビデオカメラ２０２ａ、２０２ｂの視野の奥行きは、患者の口腔の長さを超える。例えば、前記第１および第２のビデオカメラの視野の奥行きが典型的な患者口腔の奥行きの２倍である場合、カメラの視野の奥行きが中央に位置合わせされると仮定すると、前記第１および第２のビデオカメラは、患者の唇に焦点を合わせながら患者の口内の奥に明確な焦点を保つことができる。

【0051】

一実施形態において、前記頭部装着可能な立体ビデオディスプレイ２０６は、分割された視野をもたらすよう構成でき、その場合、前記眼鏡の底部は左右の目に別個の高解像度ディスプレイを提供し、前記眼鏡より上では、歯科医師が障害物のない環境を見ることができる。あるいは、眼鏡に分割視野を構成し、その眼鏡の下半分でビデオ画像を提供し、上半分を実質的に透明にして、操作者が、前記頭部装着可能な立体ディスプレイを着用しながら自然環境も見られるようにもできる。この場合、歯科医師は患者の口腔に取り組む間、高倍率レベルを使い、周囲の環境を見るときは無倍率へとすばやく移行できるため、特に有用である。

【0052】

あるいは、前記頭部装着可能な立体ビデオディスプレイ以外のビデオディスプレイを配置して、前記略リアルタイムの立体ビデオ画像を表示することもできる。例えば、３次元画像を表示するよう、大型のテレビジョン受信機（テレビ）画面を構成することもできる。この配置は望ましい用途に基づくが、一実施形態では、歯科医師２３２がビデオ画像を見られるよう患者２３４後方の位置に配置できる。また、患者が、または例えば教育環境において学生が学習のため、画像を見られる位置にも配置できる。前記ビデオディスプレイは、アイウェアの支援があるなしにかかわらず、閲覧者が立体ディスプレイ２４６で３次元画像を見られるよう構成することができる。

【0053】

例えば、一実施形態では、前記第１および第２のビデオフィードを、各ビデオフィードを光学的に分離した状態で単一の表示画面２４６に表示できる。光学的分離技術としては、シャッター分離、偏光分離、色分離などがある。一実施形態において、閲覧者または利用者、例えば歯科医師は、眼鏡を装着し、前記別個の画像を見て立体視および奥行きの感覚を得ることができる。他の実施形態では、立体ビデオを、例えば複数のテレビ画面に表示することができる。例えば、前記立体画像は、１つのテレビ画面、プロジェクション・ディスプレイ（投写型ディスプレイ）、および頭部装着可能な立体ビデオディスプレイに同時に表示できる。

【0054】

一定のタイプの眼鏡、例えばシャッター分離を使ったＬＣＤ眼鏡を前記表示画面と同期させると、前記光学的に分離された略リアルタイムの立体ビデオ画像を閲覧者が見られるようにできる。前記ビデオフィードを光学的に分離すると、人の両目の網膜にそれぞれ投影されるわずかに異なる２つのビデオ画像から奥行き感覚につながる視覚が得られ、立体視がもたらされる。前述のように、奥行き感覚が得られると、歯科医師は、歯科医師としてそれまで学んだ目と手の協調性を実質的にそのまま保つことができる。

【0055】

前記立体ビデオディスプレイ２０６は、患者に関する情報を見るために使用することもできる。例えば、Ｘ線画像をデジタル化して前記ビデオディスプレイに表示できる。患者のカルテ情報も表示できる。これにより、歯科医師は迅速に患者の状況を知ることができる。また、歯科医師は、以前の画像および患者のカルテに含まれる情報と、患者の現在の状況とを比較することもできる。画像を使用すると、患者に説明し、歯科助手を教育することなどもできる。

【0056】

一実施形態において、前記固定具２４２は蝶動可能に（ｈｉｎｇｅａｂｌｙ）取り付けることができ、あるいは高さを調節できる。前記ビデオカメラから患者までの距離は、必要に応じて変更できる。例えば、前記ビデオカメラは、患者口腔の上方約５インチ〜約９６インチの距離に配置できる。前記ビデオカメラと患者の距離が変化するに伴い、前記第１のビデオカメラおよび前記第２のビデオカメラが互いに成す角度は調整され、前記略リアルタイムの立体ビデオ画像の立体視が保たれる。

【0057】

図３は、第１および第２のビデオカメラ３０２ａ、３０２ｂの角度がいかに対象からの距離と関係するかを例示した図である。なお、この図は縮尺どおりではない。前記カメラは、選択された距離だけ、例えば前述のように瞳孔間距離だけ分離できる。一実施形態において、距離ｄ_１は距離ｄ_２と実質的に等しくできる。この例では、ｄ_１＝ｄ_２＝３０ｍｍである。ただし、実際の距離はシステム用件に応じて異なり、例えばｄ_１＋ｄ_２＝約５０ｍｍ〜７５ｍｍ範囲の値である。

【0058】

選択された対象３２０または領域、例えばこの例では歯を見るため、前記第１のビデオカメラ３０２ａは、法線方向に対して角度θ_１で対象へ方向付けられる。前記第２のビデオカメラ３０２ｂは、法線方向に対して角度θ_２で対象へ方向付けることができる。前記対象が前記カメラ３０２ａと３０２ｂ間の中央に位置合わせされると、θ_１はθ_２に実質的に等しくなるが、これは必ずしも必要なことではない。

【0059】

前記第１のビデオカメラ３０２ａは、角度θ_１に基づいた第１の平面３１０のビデオ画像を生成する。前記第２のビデオカメラ３０２ｂは、角度θ_２に基づいた第２の平面３１２のビデオ画像を生成する。前記第１および第２の平面３１０、３１２は、収束点３１６と呼ばれる位置で交差する。一実施形態において、この収束点は、ほぼ前記対象３２０の位置に選択できる。あるいは、この収束点は、前記カメラの視野の奥行き以内に選択できる。前記第１および第２のカメラをズームして画像が拡大された場合、前記収束点は、最終的な拡大ビデオ画像内に入るよう選択できる。

【0060】

前記カメラ３０２ａ、３０２ｂと前記対象３２０間の距離ｄ_３が変化すると、前記角度θ_１およびθ_２は前記収束点がほぼ同じ位置に維持されるよう調整されるようにできる。距離ｄ_３は、図２の前記固定具２４２の位置が患者２３４と相対的に調整されることにより変化する可能性がある。また、距離ｄ_３は、患者が動いても変化しうる。

【0061】

上述したように、追跡点を使用すると患者の動きを追跡できる。一実施形態において、前記収束点は、前記追跡点と別個のものとして扱える。例えば、前記追跡点は、患者の前額部に付けた光学的マーカーであってよく、前記収束点は、患者の歯上の焦点であってよい。前記収束点は、前記追跡点がＸ、Ｙ、およびＺ軸のうち少なくとも１つに沿って一定量動くと前記収束点がほぼ同じ距離だけ動くよう、前記追跡点と相関させることができる。あるいは、前記追跡点を前記収束点と実質的に等しくしてもよい。これにより、前記第１および第２のビデオカメラ３０２ａ、３０２ｂにより生成される選択位置のビデオフィードは、患者が動いても維持可能になるため、歯科医師は、前記選択位置について前記略リアルタイムの立体ビデオ画像の視野を保つことができる。

【0062】

ここで前記ビデオカメラ作動について説明するため図１ａ〜ｈに戻ると、前記第１および第２のビデオカメラ１０２ａ、１０２ｂが配置される方向は、各ビデオカメラと機械的に連結された少なくとも１つの電気モーター１１２を使って更新できる。例えば、単一のモーターを使用すると第１の軸に沿ってビデオカメラの角度を変更でき、例えばビデオカメラを回転させることができる。第２のモーターを使用すると、第２の軸に沿って前記ビデオカメラの角度を調整できる。一実施形態では、各ビデオカメラをＸおよびＹ軸に沿って調整して各ビデオを望ましい方向へ向けられるようにするには、２つのモーターで十分である。ただし、第３のモーターを使用すると、第３の軸に沿って前記ビデオカメラの位置を調整できる。前記３つのモーターを使うと、Ｘ、Ｙ、およびＺ軸に沿って各ビデオカメラの位置を再方向付けでき、実質的にどの方向へも配向可能になる。

【0063】

前記少なくとも１つのモーター１１２は、前記追跡モジュール１０８と通信して前記第１および第２のビデオカメラの位置を更新することができる。一実施形態では、利用者が、前記少なくとも１つのモーター１１２と通信可能なソフトウェアインターフェースを使って、前記第１および第２のビデオカメラ１０２ａ、１０２ｂの位置を手動で変更できる。

【0064】

前記ビデオカメラ１０２ａ、１０２ｂを望ましい方向へ設定し、利用者が選択した領域、例えば患者の歯を見られるようになったら、その位置を前記収束点として設定できる。前述のように、前記収束点は、選択された追跡点に関連付けられる。前記追跡点の位置は、当該追跡点が前記収束点に対してほぼ１対１で動くよう選択できる。例えば、光学的マーカーは、患者の前額部、または所与の用途に好都合な他の位置に配置することができる。患者が頭部を動かすと、前額部の位置変化は、一般に、患者の歯の位置変化と実質的に同様である（何らかの不自然なねじれた動きがない場合。ただし、歯科診療台に座っている状態では可能性が低い）。このように、前記追跡点が動くと、前記カメラの位置を前記追跡点の動きと相対的に更新して、同じ選択領域、例えば患者の歯に前記収束点を維持することができる。歯科医師は、挿入部材、例えば患者の口腔に挿入される開口器を使って、顎の開口角度が実質的に変わらないよう保つことができる。一実施形態では、開口器を使う場合、その上に、または口腔に近い若しくは口腔内の別の領域、例えば歯、唇、頬、鼻、顎などに前記追跡点を位置付けることができる。別の実施形態では、開口器、例えば口角鈎を使う場合、ＬＥＤ、または他の光源を開口器上に含めることができる。これを受け、画像調整モジュール１１４が使用される本開示の実施形態では（図１ｃを参照）、上述したように、前記口角鈎がもたらす照明プロファイルを光の強調またはシフト用に選択することができる。

【0065】

前記第１および第２のビデオカメラ１０２ａ、１０２ｂの位置は、当該ビデオカメラの位置を患者に対し物理的に変更しても影響される。例えば、前記カメラは、図２で説明したように、回転、上方移動および下方移動、蝶動、または再配置できる固定具に取り付けることができる。前記固定具を動かすことにより前記ビデオカメラの位置が変更された場合は、前記少なくとも１つのモーター１１２を使って、選択した領域へ前記ビデオカメラを再方向付けできる。一実施形態では、前記固定具の位置を前記モーターと併用して、前記ビデオカメラを望ましい方向へ向けることができる。例えば、歯科医師は、望ましい照明を提供するよう前記固定具を配置し、前記ビデオカメラを患者の口腔内に向けて位置合わせして、口腔内の望ましい位置へ前記ビデオカメラを方向付けられるようにする。

【0066】

他の関連実施形態では、医療用立体ビデオ画像を見る方法もいくつか開示されている。それらの方法は、全般的に、対象の選択された領域へ第１のビデオカメラおよび第２のビデオカメラを方向付けて、前記選択された領域の第１のビデオフィードおよび第２のビデオフィードをそれぞれ生成する工程を含み、その場合、前記第１のビデオカメラは、選択された距離だけ前記第２のビデオカメラから離間され、前記第１のビデオカメラおよび前記第２のビデオカメラは、それぞれ前記選択された領域における若しくはその付近の収束点へ方向付けられて、前記選択された領域の立体視を提供する。付加的な工程は、選択された追跡点に前記収束点を関連付ける工程と、前記選択された追跡点の動きと相対的に前記収束点の位置を調整する工程と、前記第１のビデオフィードおよび前記第２のビデオフィードを光学的に分離して略リアルタイムの立体ビデオ画像を生成する表示システムに、前記第１のビデオフィードおよび前記第２のビデオフィードを表示する工程とを含む。

【0067】

この全般的な方法には、追加工程を含めることもできる。例えば、一実施形態では、ビデオカメラのアレイから前記第１のビデオカメラおよび前記第２のビデオカメラを選択する工程を含めることができる。前記アレイから２つのカメラを選んで前記略リアルタイムの立体画像を生成し、または少なくとも１つの仮想ビデオフィードを使って仮想画像を生成することができる。この後者の実施形態では、立体ビデオ画像を見る方法は、ビデオカメラのアレイを取得する工程と、前記アレイの複数のビデオカメラから複数のビデオカメラフィードを生成する工程とを有することができる。付加的な工程は、少なくとも複数の前記ビデオフィードを幾何学的に変換して仮想カメラフィードを生成する工程と、収束点に関し、選択された追跡点を追跡する工程と、略リアルタイムの立体ビデオ画像を生成する工程とを含む。前記立体ビデオ画像は、少なくとも２つのカメラフィードを有することができ、前記２つのカメラフィードのうち少なくとも１つは前記仮想カメラフィードである。さらに、前記少なくとも２つのカメラフィードは、通常、前記収束点へ方向付けられる。

【0068】

別の例において、前記方法は、利用者のジェスチャー制御の動きの結果として、前記略リアルタイムの立体画像を修正する工程を含むことができる。別の例において、前記方法は、前記第１のビデオカメラおよび前記第２のビデオカメラにより受信された光信号を選択的に修正することにより、利用者による診断または治療の視覚化を強化するようなっている少なくとも１つの調整された視覚的特性を有する可視画像を提供する工程を含むことができる。これにより、前記略リアルタイムの立体ビデオ画像を表示する際、前記調整された視覚的特性は、診断または治療のための追加情報を利用者、例えば医療または歯科専門家に提供することができる。別の例において、前記方法は、前記第１のビデオフィードおよび前記第２のビデオフィードの水平方向の位置合わせを較正および調整するように構成された較正モジュールを含むことができる。さらに別の実施形態において、前記方法は、前記略リアルタイムの立体ビデオ画像の少なくとも１つのフレームから３Ｄモデルを生成する工程を含むことができる。

【0069】

なお、前記対象の選択された領域へ前記第１のビデオカメラおよび前記第２のビデオカメラを方向付けて、前記選択された領域の第１のビデオフィードおよび第２のビデオフィードをそれぞれ生成する工程については、前記第１のビデオカメラは、選択された距離だけ前記第２のビデオカメラから離間される。一実施形態において、選択された距離は瞳孔間距離であってよく、または前述のように異なる距離、例えば適切な角度を使うことにより、または処理工程を使って前記画像を調整することにより、光学的に瞳孔間距離をシミュレートする距離を選択してもよい。通常、第１のビデオカメラおよび第２のビデオカメラは、それぞれ前記選択された領域における若しくはその付近の収束点へ方向付けられて、前記選択された領域の立体視を提供する。

【0070】

これらの方法は、さらに、対象上または対象付近の選択された追跡点に前記収束点を関連付ける工程を有する。前記選択された追跡点としては、上述のとおり、光学的に追跡可能なマーカーなどがある。一実施形態において、前記光学的に追跡可能なマーカーは、患者の口腔内または口腔付近に設置された開口器に配置できる。あるいは、前記選択された追跡点としては、患者上または患者付近に配置された少なくとも２つの他の送受信機と相対的に、当該追跡点にある送受信機で受信された信号のタイミングに基づき、当該選択された追跡点の位置を三角測量するように構成された複数の無線送受信機なども含めることができる。

【0071】

例えば、一実施形態では、手術室に、当該手術室内の異なる位置に配置された４つの別個の無線送受信機を含めることができる。次いで、前記手術室に入室した患者上に追跡送受信機を配置できる。その追跡送受信機は、前記手術室に設置された前記送受信機からの信号を送受信できる。前記手術室における前記追跡送受信機と前記４つの送受信機間の信号のタイミングを使用すると、三角法を使って前記追跡送受信機の位置を３次元で決定できることが理解されるであろう。この三角測量計算の精度は、送受信機の周波数に少なくとも部分的に基づく。送受信機の周波数が高いほど波長が短くなり、前記追跡送受信機の位置について、より正確な決定が行える。単に動きの変化を追跡するだけでも、高い精度は得られる。前記追跡送受信機が室内の前記送受信機の１つに近づき、別の前記送受信機から遠ざかると、その結果生じる信号のタイミング変化により、前記追跡送受信機の位置変化について著しく正確な決定が行える。

【0072】

前記方法は、さらに、前記選択された追跡点の動きと相対的に前記収束点の位置を調整する工程を有する。一実施形態において、前記収束点は、前記追跡点からのＸ、Ｙ、およびＺ軸距離を有する仮想点として選択できる。前記追跡点が動かされると、前記追跡点からの前記Ｘ、Ｙ、およびＺ軸距離の変化に基づき、前記第１のビデオカメラおよび前記第２のビデオカメラの向きを変えて前記選択された領域の視野を保つことができる。例えば、前記追跡点と相対的に前記収束点が選択されたのち、前記追跡点を装着した患者の動きによりＸ、Ｙ、およびＺ軸の各々で前記追跡点が１インチ動く可能性がある。すると、前記収束点もＸ、Ｙ、およびＺ軸の各々で１インチ動いたものと仮定でき、前記第１および第２のビデオカメラの位置を再方向付けして、前記収束点の位置を新たな位置へと調整することができる。

【0073】

前記方法は、さらに、前記第１のビデオフィードおよび前記第２のビデオフィードを光学的に分離して略リアルタイムの立体ビデオ画像を生成する表示システムに、前記第１のビデオフィードおよび前記第２のビデオフィードを表示する工程を含むことができる。一実施形態において、前記第１のビデオフィードは、頭部に装着可能なビデオディスプレイの右のビデオディスプレイに表示でき、前記第２のビデオフィードは、前記頭部に装着可能なビデオディスプレイの左のビデオディスプレイに表示できる。前記右および左のビデオディスプレイは、利用者の右および左目にそれぞれ投影を行える。前記立体ビデオ画像では、両目の網膜に投影されるわずかに異なる２つのビデオ画像から奥行き感覚につながる視覚が得られる。

【0074】

あるいは、前記第１のビデオフィードおよび前記第２のビデオフィードを単一のディスプレイに表示し、前述のように、シャッター分離、偏光分離、および色分離のうち少なくとも１つを使って前記第１のビデオフィードおよび前記第２のビデオフィードを光学的に分離することもできる。使用される光学的分離法のタイプによっては、眼鏡を使って、利用者が前記単一のディスプレイに表示される画像を分離できるようにし、前記第１のビデオフィードが利用者の右目に方向付けられ、かつ、前記第２のビデオフィードが当該利用者の左目に方向付けられるようにでき、その逆も可能である。

【0075】

前記第１のビデオカメラおよび前記第２のビデオカメラは、それぞれズームされて、前記略リアルタイムの立体画像の選択された部分について望ましいレベルの倍率を提供できる。前記第１および第２のビデオカメラの各々について倍率が変化する率（速度）は、前記立体ビデオ画像の立体視を維持するよう実質的に等しくできる。最終的な倍率も、同じ理由で実質的に等しい。前記第１および第２のカメラを使って前記立体ビデオ画像を光学的に拡大するほか、前記ビデオ画像は、デジタル倍率を使ってさらに拡大できることが理解されるであろう。

【0076】

以上、本開示のシステムおよび方法を説明してきたが、本明細書で説明した機能部の多くは、より具体的に各々の実施態様の独立性を強調するため、「モジュール」として説明していることも理解すべきである。例えば、モジュールは、カスタムＶＬＳＩ回路またはゲートアレイ、論理チップなどの市販の半導体、トランジスタ、または他の個別構成要素を有するハードウェア回路として実装可能である。モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジック装置など、プログラム可能なハードウェア装置で実装することもできる。

【0077】

モジュールは、ソフトウェアにおいても実装可能で、種々のタイプのプロセッサで実行できる。実行コードの、特定されたモジュールは、例えばオブジェクト、手続き（プロシージャ）、または関数（ファンクション）などとして編成されるコンピュータ命令の１若しくはそれ以上の物理ブロックまたは論理ブロックを有することができる。特定されたモジュールの実行可能部は、物理的に同じ場所に位置する必要はないが、異なる位置に格納された異種の命令を有してよく、それらが論理的に結合されてモジュールとなり、当該モジュール用に記述された目的を達成する。

【0078】

実際、実行コードのモジュールは、単一の命令であっても多数の命令であってもよく、また複数の異なるコードセグメント、異なるプログラム、複数のメモリ装置にわたり分散させてもよい。同様に、動作データも、本明細書ではモジュール内で特定および例示でき、任意の適切な形態で具体化し任意の適切なタイプのデータ構造内で編成することができる。この動作データは、単一のデータセットとして収集でき、または異なる記憶装置を含む異なる位置に分散可能で、少なくとも部分的に単に電気信号としてシステムまたはネットワークに存在することができる。前記モジュールは、受動的であっても能動的であってもよく、望ましい関数（ファンクション）を実行するよう動作可能なエージェントを含む。

【0079】

以上の例は１若しくはそれ以上の特定の用途で本発明の原理を例示するものであり、当業者であれば、発明能力を行使することなく、本発明の原理および概念を逸脱しない範囲で、実施態様の形態、用途、および細部に多数の変更形態が可能であることが明確に理解されるであろう。そのため、本発明は、以下に記載する請求項以外に限定されるものではない。

【図1a】

【図1b】

【図1c】

【図1d】

【図1e】

【図1f】

【図1g】

【図1h】

【図2】

【図3】