IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ケアストリーム デンタル エルエルシーの特許一覧

特表2023-504193自動カルテ作成機能付き口腔内3Dスキャン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-01
(54)【発明の名称】自動カルテ作成機能付き口腔内3Dスキャン
(51)【国際特許分類】
   A61B 1/24 20060101AFI20230125BHJP
   A61B 1/045 20060101ALI20230125BHJP
   A61B 1/00 20060101ALI20230125BHJP
【FI】
A61B1/24
A61B1/045 621
A61B1/045 622
A61B1/00 511
A61B1/00 530
A61B1/00 526
A61B1/045 610
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022534189
(86)(22)【出願日】2020-12-03
(85)【翻訳文提出日】2022-08-04
(86)【国際出願番号】 US2020063093
(87)【国際公開番号】W WO2021113501
(87)【国際公開日】2021-06-10
(31)【優先権主張番号】62/943,557
(32)【優先日】2019-12-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521154774
【氏名又は名称】ケアストリーム デンタル エルエルシー
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人YKI国際特許事務所
(72)【発明者】
【氏名】ウォン ヴィクター
(72)【発明者】
【氏名】イングレセ ジーン-マーク
(72)【発明者】
【氏名】シェラルド エドワード
【テーマコード(参考)】
4C161
【Fターム(参考)】
4C161AA08
4C161BB08
4C161CC07
4C161FF40
4C161FF46
4C161HH51
4C161MM10
4C161QQ07
4C161WW04
4C161WW08
4C161WW10
4C161WW17
4C161WW18
4C161YY16
(57)【要約】
口腔内撮像の方法は、口腔内プローブから1つ以上の出力撮像信号を生成し、1つ以上の撮像信号からの組織反応に従って口腔内表面位置からマルチモーダル画像コンテンツを取得し、取得したマルチモーダル画像コンテンツに空間座標を関連付ける。患者の歯列の表面輪郭は、取得したマルチモーダル画像コンテンツをスティッチングし、スティッチングされたマルチモーダル画像コンテンツとの空間座標の関連付けを保持することによって生成される。1つ以上の歯の外形は、生成された表面輪郭から生成され、生成された外形は、1つ以上の歯及び歯に隣接する支持歯肉組織の空間的順序を表す歯科カルテとして配置される。歯科カルテは、取得したマルチモーダル画像コンテンツを分析し、保存された空間座標の関連付けに従って歯科カルテ上の位置に分析を関連付けることによって入力され、表示される。
【特許請求の範囲】
【請求項1】
口腔内撮像方法であって、前記方法は、
(a)口腔内プローブから1つ以上の出力撮像信号を生成することと、
(b)前記1つ以上の撮像信号からの組織反応に従って、患者の歯列の複数の口腔内表面位置のそれぞれからマルチモーダル画像コンテンツを取得し、前記取得したマルチモーダル画像コンテンツに空間座標を関連付けることと、
(c)前記取得したマルチモーダル画像コンテンツのデータサブセットから再構築し、スティッチングすることにより、前記患者の歯列の表面輪郭を生成し、前記マルチモーダル画像コンテンツの空間座標と前記スティッチングされた表面輪郭との前記関連付けを保持することと、
(d)前記生成された表面輪郭から1つ以上の歯の外形を生成し、前記生成された外形を、前記1つ以上の歯の空間的順序、及び前記歯に隣接する支持歯茎組織の空間的順序を表す歯科カルテとして配置することと、
(e)前記取得したマルチモーダル画像コンテンツを分析することによって、前記歯科カルテにデータをインプットし、前記保存された空間座標の関連付けに従って、前記歯科カルテの1つ以上の位置に分析結果を示すことと、
(f)前記インプットした歯科カルテを表示することと、
のステップを含む、前記方法。
【請求項2】
マルチモーダル画像コンテンツを取得する前記ステップは、共通の撮像経路に沿って第1の出力撮像信号及び第2の出力撮像信号を導くことを含む、請求項1に記載の方法。
【請求項3】
前記方法は、
(i)1つ以上の口腔内表面位置から更新されたマルチモーダル画像コンテンツを取得することと、
(ii)前記更新されたマルチモーダル画像コンテンツのデータサブセットから、更新された表面ビューを再構築することと、
(iii)前記再構築された更新された表面ビューを、前記患者の歯列の前記表面輪郭にスティッチングすることと、
(iv)前記更新されたマルチモーダル画像コンテンツを、前記インプットされた歯科カルテに従って空間座標にマッピングすることと、
により、インプットされた歯科カルテを更新するステップ
をさらに含む、請求項1に記載の方法。
【請求項4】
前記方法は、前記インプットされた歯科カルテ上の前記更新されたマルチモーダル画像コンテンツの相対位置を強調表示するステップをさらに含む、請求項3に記載の方法。
【請求項5】
前記強調表示は、前記更新されたマルチモーダル画像コンテンツの前記モードに従って色分けされる、請求項4に記載の方法。
【請求項6】
前記方法は、前記インプットされた歯科カルテ上の患者の歯列に対する口腔内スキャナの相対位置を示すステップをさらに含む、請求項1に記載の方法。
【請求項7】
表示することは、画像コンテンツの1つ以上のモードの取得または処理のステータスを示す、請求項1に記載の方法。
【請求項8】
前記インプットされた歯科カルテを表示する前記ステップは、操作者の指示に応じて、平面2Dビューまたは斜視3Dビューのいずれかを提示することをさらに含む、請求項1に記載の方法。
【請求項9】
前記インプットされた歯科カルテを表示する前記ステップは、操作者の指示に応じて、1つ以上の撮像モードの部分的な分析結果を表示することをさらに含む、請求項1に記載の方法。
【請求項10】
前記方法は、連続する撮像セッションからマルチモーダル画像コンテンツを保存することと、前記保存された画像コンテンツの連続するバージョンをディスプレイにレンダリングすることと、のステップをさらに含む、請求項1に記載の方法。
【請求項11】
前記方法は、
(i)更新されたマルチモーダル画像コンテンツを必要とする1つ以上の口腔内表面位置を指定する操作者の指示エントリを受け入れることと、
(ii)前記1つ以上の口腔内表面位置から前記更新されたマルチモーダル画像コンテンツを取得することと、
(iii)前記取得した更新された画像コンテンツを、前記インプットされた歯科カルテに従って空間座標にマッピングすることと、
(iv)前記インプットされた歯科カルテ上の前記更新された画像コンテンツの相対位置を強調表示することと、
により、インプットされた歯科カルテを更新するステップ
をさらに含む、請求項1に記載の方法。
【請求項12】
前記方法は、取得ステータスに関する視覚的または聴覚的な操作者フィードバックを提供するステップをさらに含む、請求項11に記載の方法。
【請求項13】
前記1つ以上の出力撮像信号は、波長範囲、波長シーケンス、帯域幅、またはコヒーレンスの少なくとも1つが互いに異なる、請求項1に記載の方法。
【請求項14】
第1の出力撮像信号は、3つ以上の原色からのカラー光を含む、請求項1に記載の方法。
【請求項15】
第1の出力撮像信号は、掃引源レーザを含む、請求項1に記載の方法。
【請求項16】
前記第1の出力撮像信号に対する前記組織反応は、蛍光を含む、請求項1に記載の方法。
【請求項17】
口腔内撮像方法であって、前記方法は、
(a)口腔内プローブから複数の出力撮像信号を生成することであって、前記出力撮像信号は、共通軸に沿って導かれ、前記生成された信号は、波長範囲、波長シーケンス、帯域幅、またはコヒーレンスの少なくとも1つが互いに異なる、前記生成することと、
(b)前記複数の出力撮像信号に対する組織反応に従って、患者の歯列の複数の口腔内表面位置のそれぞれからマルチモーダル画像コンテンツを取得し、前記取得したマルチモーダル画像コンテンツに空間座標を関連付けることと、
(c)前記取得したマルチモーダル画像コンテンツのデータサブセットから再構築し、スティッチングすることにより、前記患者の歯列の表面輪郭を生成し、前記マルチモーダル画像コンテンツの空間座標と前記スティッチングされた表面輪郭との前記関連付けを保持することと、
(d)前記生成された表面輪郭から1つ以上の歯の外形を生成し、前記生成された外形を、前記保持された空間座標の関連付けに従って、前記1つ以上の歯の空間的順序を表す歯科カルテとして配置することと、
(e)前記取得したマルチモーダル画像コンテンツを分析すること、及び前記保持された空間座標の関連付けに従って、前記分析を前記歯科カルテ上の位置に関連付けることによって、前記歯科カルテにデータをインプットすることと、
(f)前記インプットした歯科カルテを表示することと、
のステップを含む、前記方法。
【請求項18】
前記インプットされた歯科カルテを表示する前記ステップは、口腔内フィーチャの空間座標を表示することを含む、請求項17に記載の方法。
【請求項19】
前記複数の出力撮像信号は、コヒーレントレーザビームを含む、請求項17に記載の方法。
【請求項20】
前記コヒーレントレーザビームは、波長の変化を繰り返す、請求項19に記載の方法。
【請求項21】
前記複数の出力撮像信号は、超音波信号を含む、請求項17に記載の方法。
【請求項22】
前記歯科カルテにデータをインプットする前記ステップは、2つ以上の異なる撮像モードの画像コンテンツを前記歯科カルテ上の歯に関連付けることを含む、請求項17に記載の方法。
【請求項23】
口腔内撮像方法であって、前記方法は、
(a)複数の口腔内表面位置のそれぞれで、口腔内プローブから、マルチモーダル画像コンテンツを取得することであって、前記口腔内プローブが、
(i)多色可視照明を前記表面位置に向け、反射された多色光から前記表面位置に関連付けられた表面画像コンテンツを獲得することと、
(ii)表面輪郭撮像信号を前記表面位置に向けることと、
を連続して行うように構成される、前記取得することと、
(b)前記取得されたマルチモーダル画像コンテンツから、前記患者の歯列の表面輪郭を再構築することであって、前記再構築により、前記獲得された表面画像コンテンツと、前記再構築された表面輪郭との前記空間的関連付けが保持される、前記再構築することと、
(c)前記再構築から1つ以上の歯の外形を生成し、前記生成された外形を、前記1つ以上の歯の空間的順序、及び前記歯に隣接する支持歯茎組織の空間的順序を表す歯科カルテとして配置することと、
(d)前記獲得された画像コンテンツを分析することと、
(e)分析結果を前記歯科カルテ上の位置に関連付けることにより、前記歯科カルテにデータをインプットすることと、
(f)前記インプットした歯科カルテを表示することと、
のステップを含む、前記方法。
【請求項24】
前記歯科カルテにデータをインプットする前記ステップは、前記分析結果の1つ以上の部分を強調表示することを含む、請求項23に記載の方法。
【請求項25】
前記獲得された表面画像コンテンツは、カラー画像を含む、請求項24に記載の方法。
【請求項26】
前記歯科カルテにデータをインプットする前記ステップは、前記分析結果に応じて、色または陰影を使用して、前記歯の外形を強調表示することを含む、請求項23に記載の方法。
【請求項27】
前記方法は、前記インプットされた歯科カルテの保存、伝送、または通信を行うステップをさらに含む、請求項23に記載の方法。
【請求項28】
前記方法は、励起波長範囲の励起照明を前記表面位置に向けることと、前記表面位置に関連付けられた蛍光画像コンテンツを獲得することと、のステップをさらに含み、前記獲得された蛍光画像コンテンツの蛍光波長が、前記励起波長範囲の外にあり、再構築することの前記ステップは、前記獲得された表面画像コンテンツと前記蛍光画像コンテンツ及び前記再構築された表面輪郭との前記空間的関連付けをさらに保持する、請求項23に記載の方法。
【請求項29】
前記励起照明は、前記多色照明にも使用される光源から提供される、請求項28に記載の方法。
【請求項30】
前記表面輪郭撮像信号は、深さ分解された画像コンテンツを獲得する、請求項23に記載の方法。
【請求項31】
口腔内撮像方法であって、前記方法は、
(a)患者の口内の複数の表面位置のそれぞれで、口腔内プローブから、マルチモーダル画像コンテンツを取得することであって、前記口腔内プローブが、
(i)多色可視照明を前記表面位置に向け、反射された多色光から前記表面位置に関連付けられた2D画像コンテンツを獲得することと、
(ii)前記表面位置に沿ったポイントを透過するコヒーレント光ビームのポイントごとのスキャンシーケンスを導いて、波長範囲にわたって、各透過ポイントで、前記スキャンさせるコヒーレント光ビームの前記波長を変調させ、深さ分解された画像コンテンツを有する干渉信号を獲得することであって、
前記多色可視照明と、コヒーレント光ビームのシーケンスとが、前記口腔内プローブの共通の光軸に沿って導かれる、前記干渉信号を獲得することと、
を連続して行うように構成される、前記取得することと、
(b)前記取得されたマルチモーダル画像コンテンツから、前記患者の歯列の表面輪郭を再構築することであって、前記再構築により、前記獲得された2D画像コンテンツ、及び深さ分解された画像コンテンツの、各表面位置との前記関連付けが保持される、前記再構築することと、
(c)前記再構築から1つ以上の歯の外形を生成し、前記生成された外形を、前記1つ以上の歯の空間的順序、及び前記歯に隣接する支持歯茎組織の空間的順序を表す歯科カルテとして配置することと、
(d)前記獲得された画像コンテンツを分析し、分析結果を前記歯科カルテ上の位置に関連付けることにより、前記歯科カルテにデータをインプットすることと、
(e)前記インプットした歯科カルテを表示することと、
のステップを含む、前記方法。
【請求項32】
口腔内プローブであって、
(a)1つ以上の出力撮像信号を生成するように通電可能な信号生成回路と、
(b)前記1つ以上の生成された撮像信号に対する検出された組織反応に従って、患者の歯列の複数の口腔内表面位置のそれぞれからマルチモーダル画像コンテンツを生成できる1つ以上の撮像センサと、
(c)前記信号生成回路及び前記1つ以上のセンサと信号通信し、
(i)前記口腔内表面位置に対応する空間座標を、前記獲得されたマルチモーダル画像コンテンツに関連付けることと、
(ii)前記取得したマルチモーダル画像コンテンツのデータサブセットから再構築し、スティッチングすることにより、前記患者の歯列の表面輪郭を生成し、一方、前記マルチモーダル画像コンテンツの空間座標と前記スティッチングされた表面輪郭との前記関連付けを保持することと、
(iii)前記生成された表面輪郭から1つ以上の歯の外形を生成することと、
(iv)前記生成された外形を、前記1つ以上の歯の空間的順序、及び前記歯に隣接する支持歯茎組織の空間的順序を表す歯科カルテとして配置することと、
(v)前記取得したマルチモーダル画像コンテンツを分析すること、及び前記保持された空間座標の関連付けに従って、前記分析を前記歯科カルテ上の位置に関連付けることによって、前記歯科カルテにデータをインプットすることと、
を行うようにプログラムされた命令で構成された、前記制御ロジックプロセッサと、
(d)前記インプットされた歯科カルテを表示するための、前記制御ロジックプロセッサと信号通信する、ディスプレイと、
を含む、前記口腔内プローブ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、口腔内撮像に関し、より詳細には、口腔内スキャンから歯のカルテ及び関連コンテンツを自動生成するための方法及び装置に関する。
【背景技術】
【0002】
歯科カルテは、歯科開業医が患者の治療計画を立て、その治療の経過を追うために広く使用されているツールである。従来、歯科カルテは、開業医及び治療スタッフによって手動で注釈が付けられ、患者の状態、治療経過、及び診断上の懸念事項の最新の記録を維持するために、患者のフォルダに保存される。
【0003】
近年、様々な電子ツールを撮像支援及び診断支援に適合させ、歯科カルテ情報の保存及び維持管理をオンラインで行って、その参照及び更新を素早く行えるようにすることに関心が持たれている。このニーズに応えるために開発されたソリューションとして1つには、例えば、Carestream Dental LCC社製のSOFTDENT(商標)ソフトウェアが挙げられる。このタイプの電子的ソリューションは、記録管理機能の効率を改善し、患者情報システムと画像とをより適切に統合するためのメカニズムを提供するのに役立っている。分割及び自動歯識別ユーティリティを備えた自動歯科カルテ記入を用いることで、歯科開業医は、標準モデルではなく、特定の患者の歯群により密接に関係する歯科カルテの生成、参照、及び維持を行うことができる。表示された歯科カルテは、いくつかの異なるタイプの撮像システム及び測定システムから個別に取得された情報への便利なインデックス及びリンクとして機能し得る。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許出願公開第2012/189182号明細書
【特許文献2】米国特許出願公開第2018/357766号明細書
【特許文献3】米国特許出願公開第2016/125601号明細書
【特許文献4】米国特許出願公開第2011/109616号明細書
【特許文献5】米国特許出願公開第2018/028064号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
一部の開業医にとっては、コンピュータのキーボードを使用して各歯に関連するメモ及び測定情報を手作業で入力する必要があるため、このようなシステムは、デジタルデータストレージの利点が認識されているにもかかわらず、実際には魅力的ではない。したがって、歯の画像から特定の患者のための適切な歯科カルテを生成することと、生成したカルテに、歯の画像データに自動診断を適用して得られる情報をインプットすることとの両方を行うことができる、自動的に歯のカルテを記入する方法及び装置が必要である。
【0006】
表示用の歯科カルテを生成し、その歯科カルテを画像コンテンツと統合するために、いくつかの自動化ツールが開発されたが、かなりの改善の余地があるように見受けられる。例えば、電子歯科カルテ記入では、放射線、光、及び超音波の様々なソースからの画像コンテンツにインデックスを付けることが可能になるが、実際には、この画像コンテンツの統合は通常簡単ではない。様々なソースからのデータの空間的レジストレーションを行うタスクは、満足のいく結果が得られず、診断及び追跡に必要な精度に達しない結果となる可能性があり、困難な場合がある。関連する厄介な問題として、患者の容態に関する最新情報を提供するために、様々なソースからのデータを他の画像データと時間的に同期させなければならない。既存のソリューションは、手動で維持されるカルテの「スナップショット」データ記録機能を模倣しているため、保存データ及び自動更新の利点が検討されておらず、治療経過を追うことが困難な場合がある。さらに他の欠点は、データ表現の制限に関連する。
【0007】
したがって、歯科カルテ記入プロセスを自動化し、特に、歯科カルテを多機能及び/またはマルチモーダルの口腔内撮像システムと統合するソリューションを提供するシステム、装置、及び方法に改善の必要性があることを理解することができる。
【課題を解決するための手段】
【0008】
大まかに説明すると、本発明は、歯科カルテを多機能及び/またはマルチモーダルの口腔内撮像システムと統合することによって、歯科カルテ記入プロセスを自動化するための装置、方法、及びシステムを含む。一例の実施形態によれば、口腔内撮像方法であって、(a)口腔内プローブから1つ以上の出力撮像信号を生成することと、(b)1つ以上の撮像信号からの組織反応に従って、患者の歯列の複数の口腔内表面位置のそれぞれからマルチモーダル画像コンテンツを取得し、取得したマルチモーダル画像コンテンツに空間座標を関連付けることと、(c)取得したマルチモーダル画像コンテンツのデータサブセットから再構築し、スティッチングすることにより、患者の歯列の表面輪郭を生成し、マルチモーダル画像コンテンツの空間座標とスティッチングされた表面輪郭との関連付けを保持することと、(d)生成された表面輪郭から1つ以上の歯の外形を生成し、生成された外形を、1つ以上の歯の空間的順序、及び歯に隣接する支持歯茎組織の空間的順序を表す歯科カルテとして配置することと、(e)取得したマルチモーダル画像コンテンツを分析することによって、歯科カルテにデータをインプットし、保存された空間座標の関連付けに従って、歯科カルテの1つ以上の位置に分析結果を示すことと、(f)インプットした歯科カルテの表示、通信、または保存を行うことと、を含む方法が提供される。
【0009】
有利には、本発明は、マルチモーダル画像コンテンツを取得し、画像コンテンツに関連する空間座標を自動的に関連付けて保存し、マルチモーダル画像コンテンツを自動的に分析して、歯科技工士による最小限の入力で患者の歯科カルテのインプットまたは更新を行う。歯科カルテ記入プロセスを自動化することにより、本発明は、歯科技工士が患者の歯科カルテの作成及び/または更新を行うのに要する時間を大幅に短縮する。追加の利点として、患者の歯科カルテの正確さは、患者の歯科カルテを手動で生成しまたは更新するよりも改善される可能性がある。さらに別の利点として、実質的により多くの情報が患者の歯科カルテに統合され、それにより、歯科開業医に患者の歯列に関するより多くの情報が提供される。
【0010】
開示されたシステム、装置、及び方法によって本質的に達成される他の望ましい利点及び利益が、当業者に生じるか、または明らかになり得る。本発明は、添付の特許請求の範囲によって規定される。
【0011】
本発明の上記及び他の目的、特徴、及び利点は、添付の図面に示された本発明の例示的な実施形態のより詳細な以下の説明から明らかになる。図面の要素は、必ずしも互いに縮尺通りではない。
【図面の簡単な説明】
【0012】
図1】マルチモード画像取得及び自動歯科カルテ生成のための撮像装置の構成要素を示す概略図である。
図2】OCT(「光コヒーレンストモグラフィ」)スキャンとカラー画像取得とを併用する撮像装置の代替の例示的な実施形態を示す概略図である。
図3】マルチモーダル画像取得のための撮像装置の別の代替の例示的な実施形態を示す概略図である。
図4】マルチモーダル画像取得のための撮像装置のさらに別の代替の例示的な実施形態を示す概略図である。
図5A】OCT撮像の機能的態様よび幾何学的態様を示す。
図5B】OCT撮像の機能的態様及び幾何学的態様を示す。
図6】OCTスキャンとカラースキャンとを組み合わせたシーケンスを概略的形式で示す。
図7A】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7B】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7C】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7D】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7E】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7F】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7G】カラー光放出器/カラー光検出器の様々な実施形態を示す。
図7H】OCT分光計でRGB(「赤・緑・青」)光検出が行われる例示的な実施形態を示す。
図8】複合色較正のための例示的な方法を示すフローチャートである。
図9】OCT撮像及び反射光撮像のスペクトル範囲を示すグラフである。
図10A】取得された画像コンテンツと、スキャナ視野内のスキャンされた各x、y、z位置との関連を示す概略図である。
図10B】スティッチング変換後の位置のセットに対する取得された画像コンテンツの再マッピングを示す概略図である。
図11】本開示の例示的な実施形態による、OCTコンテンツから抽出された表面点群とともにOCT撮像コンテンツを取得するためのOCT処理方法を示すフローチャートである。
図12】A~Eは、重度の虫歯を有する歯の画像の例を使用して、OCT処理方法の一部として取得され生成された様々なタイプの撮像コンテンツを示す。
図13】本発明の実施形態による、マルチモーダルスキャン画像データを使用して歯科カルテを生成するための方法を示すフローチャートである。
図14A】本発明の例示的な実施形態による、生成され表示された歯科カルテの様々な態様を示す。
図14B】本発明の例示的な実施形態による、生成され表示された歯科カルテの様々な態様を示す。
図14C】本発明の例示的な実施形態による、生成され表示された歯科カルテの様々な態様を示す。
図14D】患者の歯列の上面図を備えた生成された歯科カルテの例を示す。
図14E】患者の歯列の斜視図を備えた生成された歯科カルテの例を示す。
図15】本開示の例示的な実施形態による、歯科カルテ作成のプロセスを自動化するためのステップの方法を示すフローチャートである。
図16】歯科カルテの斜視図上に配置され、画像コンテンツを取得するための患者の歯列全体に対するスキャナまたはプローブの現在位置を示す強調表示の例を示す概略図である。
図17】特定の歯または他のフィーチャを特定するためのタッチスクリーン命令の入力例を示す概略図である。
【発明を実施するための形態】
【0013】
以下、いくつかの図のそれぞれにおいて、同じ参照数字が同じ装置要素または方法ステップを特定する図面を参照しながら、例示的な実施形態を詳細に説明する。
【0014】
本開示の文脈において使用される場合、「第1の」、「第2の」などの用語は、必ずしも何らかの序数、順序、または優先関係を示すものではなく、特に指定しない限り、単に、あるステップ、要素、またはステップもしくは要素のセットを別のものとより明確に区別するために使用される。
【0015】
本明細書で使用する場合、「通電可能」という用語は、電力を受け取り次第、かつ任意選択で許可信号を受け取り次第、指定された機能を実行するデバイスまたは構成要素セットと関係がある。
【0016】
本開示の文脈では、用語「閲覧者」、「操作者」、及び「使用者」は同等語であると見なされ、ディスプレイモニタ上で歯科画像などの画像の閲覧及び操作を行う閲覧している開業医、技師、または他の人を指す。「操作者指示」または「閲覧者指示」は、カメラのボタンのクリック、コンピュータのマウスの使用、またはタッチスクリーン入力もしくはキーボード入力などにより、視聴者が入力した明示的なコマンドから取得される。
【0017】
本開示の文脈において、「信号通信中」という語句は、2つ以上のデバイス及び/または構成要素が、ある種の信号経路を伝わる信号を介して互いに通信することが可能であることを示す。信号通信は有線または無線の場合がある。信号は、通信信号、電力信号、データ信号、またはエネルギー信号の場合がある。信号経路は、第1のデバイス及び/または構成要素と第2のデバイス及び/または構成要素との間の物理的接続、電気的接続、磁気的接続、電磁的接続、光学的接続、有線接続、及び/または無線接続を含む場合がある。信号経路はまた、第1のデバイス及び/または構成要素と第2のデバイス及び/または構成要素との間に、追加のデバイス及び/または構成要素を含んでもよい。
【0018】
本開示の文脈では、「光学」という用語は、一般に、光ビームの成形及び方向付けに使用されるレンズ及び他の屈折構成要素、回折構成要素及び反射構成要素または開口部を指すために使用される。このタイプの個々の構成要素は、光学部品と呼ばれる。
【0019】
本開示の文脈では、「散乱光」という用語は、一般に、物体から反射及び後方散乱される光を含むように使用される。
【0020】
「スキャナ」という一般用語は、支持構造を含む、患者の歯列の様々なタイプの口腔内画像を取得するために使用される光学システムに関する。OCT(光コヒーレンストモグラフィ)撮像では、スキャナ光学系は、広帯域近赤外(BNIR)光のスキャン光ビームを投射し、このビームは、サンプルアームを介して歯の表面に向けられ、表面のOCT撮像に用いられる、参照アームからの光との干渉を検出するために、サンプルアームに戻された散乱光として取得される。「ラスタスキャナ」という一般用語は、後でより詳細に説明するように、光をサンプルに向けてスキャンするハードウェア構成要素の組み合わせに関する。
【0021】
本開示の文脈において、「カメラ」という一般用語は、より詳細には、歯及び支持構造の表面から反射した構造化光など、反射した可視光またはNIR光から、反射光である2D(「2次元」)デジタル画像を取得することが可能とされるデバイスを指す。本開示の例示的な実施形態によれば、ビデオレートまたはビデオレートに近いレートで動作するカメラが、歯及び支持口腔内表面の3D(「3次元」)輪郭画像を生成するために使用される画像を取得するのに使用される。
【0022】
「被写体」という用語は、撮像されている患者の歯または他の部分を指し、光学用語では、対応する撮像システムの「対象」と同等であると見なすことができる。
【0023】
本開示の文脈では、「広帯域光放出器」という語句は、任意の時点で、ある波長の範囲にわたって、連続スペクトル出力を発する光源を指す。短コヒーレンスまたは低コヒーレンスの広帯域光源には、例えば、スーパールミネッセントダイオード、短パルスレーザ、多くの種類の白色光源、及びスーパーコンティニューム光源が含まれ得る。この種の短いコヒーレンス長の光源は、数十ミクロン以下のオーダーのコヒーレンス長を持つものがほとんどである。
【0024】
本開示の文脈では、2つの波長は、+/-10nm以内の間隔であれば、互いに「近い」と見なすことができる。
【0025】
本開示の文脈では、「カラー光」、「多色光」、及び「RGB光」という用語は、反射光撮像のために提供される可視光照明を説明するものである。口腔内表面位置のカラー画像は、反射光画像またはカラーテクスチャ画像と見なすことができる。カラー撮像の技術分野で周知の通り、あるスペクトル帯を透過し別のスペクトル帯を反射するダイクロイック面などのカラーコンバイナを使用して、光軸に沿って一方向に進む光の色を混合し、反対方向の軸に沿って進む光の色を分離することができる。したがって、「コンバイナ」という一般用語は、通常、光路を伝わる光を波長及び方向に従って混合及び分離の両方を行う「コンバイナ/セパレータ」デバイスに使用される。
【0026】
表示されたフィーチャのための「強調表示」という用語は、情報及び画像表示技術の当業者に理解されているように、その従来の意味を有する。一般に、強調表示は、何らかの形で局所的に表示を強調して、閲覧者の視覚的な注意を引くのに使われる。例えば、個々の臓器、骨、もしくは構造、または1つの小室から隣の小室への接続経路など、画像の一部を強調することは、注釈を付けること、記号を近くにまたは重ね合わせて表示すること、輪郭を描くまたはトレースすること、他の画像または情報のコンテンツと異なる色でまたは著しく異なる強度もしくはグレースケール値で表示すること、表示の一部を点滅させるまたは動画化すること、あるいはより高いシャープネスまたはコントラストで表示すること、を含むが、これらに限定されない、いくつかの方法のいずれかで実現することができる。
【0027】
本明細書で使用するとき、「セット」という用語は、要素の集まりまたは集合の要素の概念が初等数学で広く理解されているように、空でない集合を指す。本明細書では、特に明記しない限り、「サブセット」という用語は、空でない適切な部分集合、すなわち、1つ以上の要素を持つ、より大きな集合の部分集合を指すのに使用される。セット「S」に対して、サブセットが、完全集合「S」を構成する場合がある。ただし、集合「S」の「適切な部分集合」とは、集合「S」に厳密に含まれ、集合「S」の少なくとも1つの要素を除外するものをいう。
【0028】
本開示の例示的な実施形態は、単一の口腔内スキャンからマルチモーダル画像コンテンツを取得する。本開示の例示的な実施形態によれば、口腔内表面のスキャンされた各位置から得ることができるマルチモーダル画像コンテンツは、2つ以上の撮像モードの画像コンテンツを含むことができ、撮像モードでは、例えば、カラー/多色またはモノクロの反射光画像コンテンツ、蛍光画像コンテンツ、及び深さ分解画像コンテンツを取得することができる。さらに他の画像モードでは、X線または超音波画像コンテンツを含む、異なるタイプのソースからの信号コンテンツを使用することができる。画像モードは、画像を取得するために提供される信号と、画像を取得するために獲得される信号という点で、互いに区別することができる。
【0029】
隣接するビューから取り込まれたいくつかの2D画像からのコンテンツを適切に位置合わせして互いに結合することにより、より完全な合成画像を形成する画像スティッチングアルゴリズムは、取得した画像コンテンツのフルセットのデータサブセットを提供し(このデータサブセットの要素は隣接するフィーチャを共有する)、画像処理技術の当業者にはよく知られている。
【0030】
図1は、マルチモード画像取得及び自動歯科カルテ生成のための口腔内撮像装置300の構成要素を示す概略図である。口腔内スキャナ314は、マルチモード画像コンテンツを取得するために通電され、口腔内表面から画像コンテンツを取得するために必要とされる異なるタイプの光信号及び他の信号を生成することができる。光信号は、例えば、多色可視照明、蛍光のための励起照明、またはコヒーレント光ビームのスキャンシーケンスを含み得る。他の例示的な信号タイプには、超音波信号及び光音響信号が含まれ得る。複数の撮像モード下で動作することで、図1の装置における単一のスキャナ314は、3D表面輪郭撮像及び深さ分解撮像などの複数の機能を提供することができる。スキャナ314は、コンピュータなどのプロセッサ320と信号通信している。信号通信は、有線、無線にすることができ、または有線と無線とを組み合わせた何らかの伝達を使用してもよい。プロセッサ320は、長期的なデータ保持及びデータ保管を提供するメモリ324またはデータストレージと信号通信している。ディスプレイ326は、同じくプロセッサ320と信号通信しており、生成された歯科カルテ及び関連した操作者インタフェースを表示する。
【0031】
表面輪郭撮像から得られた画像は、スキャナ314から得られた取得されたマルチモーダル画像コンテンツのデータサブセットを形成する。このデータサブセットを表面輪郭の再構築とスティッチングとによって処理することで、任意の撮像モードで取得されるデータコンテンツをマッピングするための空間的基準がもたらされる。
【0032】
深さ分解撮像モード
OCT、超音波、及び光音響撮像技術は、それぞれ、適切に構成された口腔内スキャナから深さ分解撮像を提供することが可能である。これらの深さ分解撮像モードのそれぞれは、組織表面下に透過可能な生成された信号エネルギーを用い、一連の深さプロービング出力撮像信号を、スキャンされた表面位置に向けて、表面輪郭情報に加えて深さ分解画像コンテンツを提供する。OCT、超音波、及び光音響撮像などの深さ分解撮像モードでは、表面の輪郭を再構築するための撮像データを得るだけでなく、使用される信号エネルギーの制限に応じて、ある程度の深さまで正確に、撮像された組織の表面下にあるフィーチャに関連する有用な情報を提供することができる。深さ関連の情報に加えて、様々な深さ分解撮像装置及び方法はまた、フィーチャの密度、分布、及び寸法に関する有用なデータを提供することができる。
【0033】
本開示の例示的な実施形態は、深さ分解撮像を使用して、歯などの口腔内フィーチャの特徴付けを強化する必要性に対処することができる。このような例示的な実施形態の方法は、深さ分解画像から得られる付加的な情報を用いて、患者向けに維持される歯科カルテに重要性とさらなる有用性とを加え、慣習的に目視検査によって取得される標準的な歯ごとの評価を、従来は表面下に隠れていたデータで補完する。
【0034】
以下では、自動化された歯科カルテの強化版特徴付け及び生成に利用できる深さ分解撮像システムの例示的なタイプとしてOCTを用いて、OCTによる画像取得に焦点をあてて説明する。しかし、例えば、超音波及び光音響撮像を使用する場合など、代替タイプの深さ分解撮像を用いて表面コンテンツを組み立てるために、同様の処理及び方法を使用できることを認識され、理解されたい。
【0035】
有利なことに、深さ分解画像コンテンツは、反射光画像及び蛍光画像を取得するのと同じスキャナを使用して取得される。本開示の方法は、単一の口腔内スキャナで画像取得機能を組み合わせることにより、従前の撮像ソリューションの有用性、精度、及び実用性を制限していた空間的同期及び時間的同期の問題に対処する。
【0036】
本開示の例示的な実施形態は、歯科カルテを生成するために、光コヒーレンストモグラフィ(OCT)などの深さ分解撮像を行う装置から取得された結果を利用し、歯及び歯茎の起こりやすい状態の認識を支援する画像解析からの結果を、生成されたデンタルチャートにインプットすることができる。OCTの結果を、OCTデータと同時に取得され共にレジストレーションされる、3D表面輪郭撮像の結果、及び同じ撮像装置を使用して取得される分析と組み合わせることができる。
【0037】
後続の説明は、本開示の例示的な実施形態による、歯科カルテコンテンツを提供するために使用することができるOCT及びマルチモーダル撮像サブシステムに関するより詳細な情報を提供する。マルチモーダル撮像装置、図1におけるスキャナ314は、共有された空間座標のセットに全てレジストレーションされた、いくつかのタイプの画像データのいずれかを取得できることを認識し、理解されたい。
【0038】
OCT撮像サブシステム
OCTは、「光超音波」の一種として説明されており、生体組織内からの反射エネルギーを撮像して断面データを取得する。OCT撮像システムでは、スーパールミネッセントダイオード(SLD)または他の光源などの広帯域光源からの光が、深さプロービング出力信号として、2つの異なる光路、すなわち、長さが既知の参照アームと、調査の対象とされている組織または他の被写体を照射するサンプルアームとを伝わって導かれる。そして、参照アーム及びサンプルアームからの反射光と後方散乱光とが、OCT装置内で再結合され、干渉効果を使用して、サンプルの表面及び表面近くの基底構造の特徴が決定される。干渉データは、サンプル全体にわたってサンプル照明をすばやくスキャンすることで取得できる。OCT装置は、数千のポイントのそれぞれで、光源コヒーレンスの要因である材料への軸方向の深さにつれてA-スキャンを再構築するために使用できる干渉プロファイルを取得する。ほとんどの組織撮像アプリケーションでは、OCTは、広帯域照明光源を使用し、最大数ミリメートル(mm)の深さで画像コンテンツを提供できる。
【0039】
初期のOCT装置は、例えば圧電アクチュエータなどの、ある種の機械的機構を用いて、参照アームの長さを速やかに変化させることによって深さスキャンを達成する時間領域(TD-OCT)アーキテクチャを使用した。TD-OCT法は、ポイントごとのスキャンを使用し、撮像セッション中に照明プローブをある位置から次の位置へ移動させること、またはスキャンさせることを必要とする。より最近のOCT装置は、異なる深さからの反射が生成する信号の光周波数に従って、それらの反射を区別するフーリエ領域アーキテクチャ(FD-OCT)を使用することができる。FD-OCT法は、複数の深さから同時に情報を収集することにより、軸方向のスキャン要件を簡素化しまたは排除し、取得率と信号対雑音比(SNR)とを向上させる。
【0040】
低コストで高性能を達成する可能性があるため、掃引周波数レーザ光源に基づくFD-OCTシステムは、非常に散乱が多い組織の表面下撮像を必要とする医療用途で大きな注目を集めている。フーリエ領域OCTには、スペクトル領域OCT(SD-OCT)と掃引源型OCT(SS-OCT)という2つの実施態様が存在する。
【0041】
SD-OCT撮像は、広帯域照明源でサンプルを照射し、分光計で反射光及び散乱光を、例えば、CCD(電荷結合デバイス)検出器などのアレイ検出器に分散させることによって遂行され得る。SS-OCT撮像は、高速波長調整レーザでサンプルを照射し、単一の光検出器または平衡型光検出器のみを使用して、波長掃引中に反射した光を収集する。SD-OCT及びSS-OCTのいずれにおいても、信号解析技術分野の当業者に周知の高速フーリエ変換(FFT)などのフーリエ変換を使用して、記録された干渉信号に対して演算を施すことにより、異なる深さから反射された散乱光のプロファイルが取得される。
【0042】
掃引源型OCTの最近の進歩は、フーリエ領域モード同期(FDML)レーザ光源を使用することである。FDML-OCTスキャンは、OCTサンプリングの取得速度を大幅に向上させるとともに、他のOCTに比べて深さ分解能を向上させる。
【0043】
本開示の例示的な実施形態は、時間領域、スペクトル、または周波数領域のOCTを含む、様々なタイプのOCTスキャン方法のいずれかを利用することができる。速度の利点が特に重要であるため、以下の説明は、主として、より速い速度及び全体的なスキャンスループットに一般的に有利な周波数領域OCTのタイプである掃引源型OCTを使用する例示的な実施形態を対象とする。ただし、圧縮サンプリング法または他の利用可能なOCT法を使用して、SS-OCTだけでなく、時間領域OCT及び他のタイプのOCTの応答を改善できることに留意されたい。本開示の方法はまた、分光計がOCTシステムにおける感知のために使用される場合にも使用され得る。
【0044】
本開示の例示的な実施形態によれば、蛍光画像コンテンツとともに、口腔内フィーチャのための付随するカラーテクスチャコンテンツを伴うOCTスキャンデータを取得するハイブリッド撮像装置が提供される。生成される画像コンテンツは、同じ光学プローブを使用して提供される。
【0045】
図2の概略図を参照すると、OCTスキャン、反射光撮像、及び蛍光画像取得モードを組み合わせたマルチモーダル画像取得のための撮像装置100が示されており、各モードの画像データは同じ空間的レジストレーションを共有する。同一の空間的レジストレーションを有することは、同じセンサの位置と向きとを参照して、各モードから画像コンテンツを取得することに関連し、同一の空間的レジストレーションを有することで、あるタイプの画像を別のタイプの画像にマッピングする必要がなくなる。
【0046】
撮像装置100は、図2に光軸OAとして示され、プローブ30の外側に延びる共通のまたは共有の光路に沿って、異なる/複数の撮像モードの指向光及び取得光のための光路を結合する口腔内プローブ30を備える。そして、別個の有向出力信号及び取得入力信号を分離し、プローブ30内の対応する光学サブシステムに/光学サブシステムからチャネルで運ばれ得る。
【0047】
例えば、OCT光路40において、OCT光源10は、OCT画像スキャンのための照明を提供する。光源10は、連続波長広帯域光を放出するスーパールミネッセントダイオード(SLD)または他の光源を使用することができる。あるいは、光源10は、連続的に変化するスペクトル成分を有する光を放出する掃引源など、他のタイプの適切な光源であり得る。掃引源の1つの有利なタイプは、高い掃引速度と深さ分解撮像に適した波長範囲とを備えたフーリエ領域モード同期(FDML)レーザである。
【0048】
図2の構成では、コヒーレントレーザ光は、第1のファイバカプラFC1または波長分割マルチプレクサWDMを介して第2のファイバカプラFC2に導かれる。ファイバカプラFC2は、光路を参照アーム42とサンプルアーム44とに分割する。参照アーム42の光は、参照ミラー48から反射して戻る。この光は、ファイバカプラFC2を介して戻るよう結合され、OCT信号検出器46へ向かう。サンプルアーム44に向けられた光は、スキャナ24によって被写体またはサンプルSに向けられる。口腔内撮像の場合、サンプル「S」は患者の口の表面位置であり、これは歯茎などの支持フィーチャとともに1つ以上の歯を含むことができる。OCT深さ分解画像取得のために、サンプル「S」からの反射光及び散乱光は、サンプルアーム44を通ってファイバカプラFC2に戻るよう結合され、OCT信号検出器46に伝達される。参照アーム42からの光は、参照アーム44からの光と干渉して、処理及び再構築のためのOCTスキャンデータを提供する。
【0049】
カラー反射光撮像経路50では、多色光またはカラー光が、カラー光放出器/カラー光検出器(CLED)52から発せられ、ファイバカプラFC1またはWDMを介して第2のファイバカプラFC2に導かれる。カプラFC2は、コンバイナ/セパレータとして機能する。多色可視光は、OCTサンプル光と混合され、口腔内プローブ30の一部である出力スキャナ24を介してサンプル「S」に同時に導かれる。歯の表面または他の口腔内フィーチャなどの表面位置から帰った反射カラー光は、ファイバカプラFC2を介してCLED52に戻るよう伝達される。CLED52は、反射光からの色内容を感知して、サンプル「S」の反射光画像を形成する。制御ロジックプロセッサ60は、OCT信号検出器46、CLED52、及び光源10と信号通信して、干渉からのOCT出力データの記録及び処理を行い、このデータを口腔内表面からの色データと組み合わせる。その後、結果として得られる組み合わされた画像コンテンツを、ディスプレイ72上に提示することができ、交互に、通信、伝送、及び/または保存することができる。
【0050】
反射光画像は、文書化及び患者とのコミュニケーションのために高解像度の2D口腔内画像を提供するなど、様々な目的に使用できる。その色内容(例えば、R、G、及びBの画像値)は、歯の色合いを決定するために使用することもできる。
【0051】
蛍光撮像では、反射光撮像経路50の構成要素を用い、任意選択で、表面位置を刺激するための適切な波長範囲の励起照明を誘導する目的で別の光源を用いて、蛍光画像コンテンツを生成する。この場合、CLED52の検出器にロングパススペクトルフィルタを使用して、蛍光信号を感知し、サンプル「S」の蛍光画像を形成することができる。
【0052】
図3及び図4の概略図は、それぞれ同様の撮像装置120及び140を示しており、OCTと反射光撮像機能とを組み合わせるための若干異なる光路配置を有する。撮像装置120の図3の配置において、OCT経路は、図2の撮像装置100に関して前に説明したものと同じにすることができる。カラー光放出器/検出器(CLED)52からの光は、ファイバカプラFC3を介して導かれ、サンプルアームをOCT光と共有する。この混合された光は、スキャナ24によって被写体またはサンプル「S」に向けられる。口腔内表面からの後方散乱カラー光は、ファイバカプラFC3を介してカラー光放出器/検出器(CLED)52に伝達されて色内容が測定され、プロセッサ60によって記録及び処理が行われる。その後、結果として得られる組み合わされた画像コンテンツを、ディスプレイ72上に提示することができ、交互に、通信、伝送、及び/または保存することができる。
【0053】
撮像装置140の図4の構成において、OCT経路は、図2の撮像装置100に関して前に説明したものと同じである。カラー光放出器/検出器(CLED)52からの光は、図示の構成では、反射面及びダイクロイック面を有するダイクロイックコンバイナ54を介してサンプル経路に導かれる。口腔内表面からの後方散乱カラー光は、検出及び測定のためにコンバイナ54を介してCLED52に戻るよう伝達され、プロセッサ60によって記録及び処理が行われる。結果として得られる組み合わされた画像コンテンツを、同様に、ディスプレイ72上に提示することができ、交互に、通信、伝送、及び/または保存することができる。
【0054】
本開示の例示的な実施形態によれば、スキャナから口腔内表面位置に向けられる異なる信号は、共通軸を共有する。
【0055】
OCT撮像のためのスキャン方法
図5A及び図5Bの概略図は、フーリエ領域取得において、本開示のOCT装置を用いて断層画像を形成するために用いることができるスキャンシーケンスを示す。図5Aに示すシーケンスは、単一のB-スキャン画像がどのように生成されるかを示す。ラスタスキャナ24(図2)は、選択された光シーケンスを、被写体である、サンプル「S」上で、ポイントごとにスキャンする。図5Aに示すように、ラスタスキャナ24のガルボミラーを駆動するように、周期的駆動信号92が用いられて、図5A及び図5Bにおいて水平方向に延びる離散点82として示される、サンプルの各列にわたって延びる横スキャンまたはB-スキャンを制御する。B-スキャンのラインまたは行に沿った複数の点82のそれぞれにおいて、A-スキャンまたは深さスキャンが、z軸方向のデータを取得して、選択された波長帯の連続した部分を用いて生成される。図5Aは、波長帯域にかけてラスタスキャナ24を使用して、対応するマイクロミラー作動、または他の空間的光変調器のピクセルごとの作動を伴う、単純な上昇シーケンスを生成するための駆動信号92を示す。駆動信号92の一部であるレトロスキャン信号93は、次のラインに備えてスキャンミラーをその開始位置に単に戻す。レトロスキャン信号93の間、OCTデータは取得されない。
【0056】
なお、B-スキャン駆動信号92は、図2図4に示すように、ラスタスキャナ90のためにスキャナ24のガルボミラーを駆動する。各増分位置である、B-スキャンの行に沿ったポイント82で、A-スキャンが取得される。A-スキャンデータを取得するために、調整されたレーザまたは他のOCT光源は、OCT光源10のプログラム可能なフィルタによって制御されるスペクトルシーケンスにかけて掃引する。したがって、光源が30nmの波長範囲を掃引する例示的な実施形態では、このシーケンスは、Bスキャン経路に沿った各点82で実行される。図5Aが示すように、A-スキャン取得のセットは、各点82、すなわち、スキャナ24の各位置で実行される。例として、各位置82にA-スキャンを生成するための2,048の測定値があり得る。
【0057】
図5Aは、各A-スキャン中に取得された情報を概略的に示している。DC信号内容を除去して示した干渉信号88は、各ポイント82について時間間隔にわたって取得され、信号は、スペクトル掃引に必要な時間間隔の関数であり、取得される信号は、OCT干渉計構成要素の参照アーム及びフィードバックアームからの光を混合させることによって生成されるスペクトル干渉縞を示すものである。フーリエ変換は、A-スキャンごとに変換Tを生成する。図5Aには、A-スキャンに対応する1つの変換信号が一例として示されている。
【0058】
上記の説明から、単一のB-スキャンシーケンスにわたって、かなりの量のデータが取得されることが理解できる。このデータを効率的に処理するために、高速フーリエ変換(FFT)が使用され、時間ベースの信号データが、画像コンテンツをより簡単に生成することができる、対応する周波数ベースのデータに変換される。
【0059】
フーリエ領域OCTでは、A-スキャンは、深さ(z軸)分解されたOCT信号のラインを生成するスペクトル取得の1ラインに対応する。B-スキャンデータは、対応するスキャンラインに沿って2DOCT画像を生成する。
【0060】
ラスタスキャンは、ラスタスキャナ24の取得をC-スキャン方向に増分することによって複数のB-スキャンデータを取得するために使用される。このことは図5Bに概略的に表されており、A-スキャン、B-スキャン、及びC-スキャンのデータを用いて、どのように3次元ボリューム情報を生成するかを示している。
【0061】
前述のように、各A-スキャンポイント82で使用される波長または周波数掃引シーケンスは、通常使用される昇順または降順の波長シーケンスから変更することができる。任意の波長シーケンス処理を交互に使用できる。任意の波長を選択する場合、OCTの何らかの特定の実施態様に有用な場合があり、各掃引の結果として、利用可能な波長の一部のみが提供される。任意の波長シーケンス処理では、1回の掃引中にOCTシステムで使用すべき各波長を、任意の順序でランダムに選択することができる。
【0062】
マルチモーダル撮像シーケンス
図6は、OCTスキャンとカラースキャンとを組み合わせたスキームを概略的形式で示す。スキャナ24は、各点82で、2次元(x,y)ラスタスキャンにおいて、カラー光ビーム及びOCT光ビームの両方をサンプル「S」に誘導し、x∈[0,L-1]がxスキャン軸に沿ってインデックス付けされる。直交成分y∈[0,M-1]は、yスキャン軸に沿ってインデックス付けされる。3つの反射率値(R(x,y)、G(x,y)、B(x,y))を有するカラー信号と、深さ方向に(「N」点のデータに対して)「N」サイズのOCT信号IOCT(x,y)とが、スキャンされた各位置(x,y)に対応して取得される。
【0063】
2Dスキャナ24が連続的にスキャンするとき、2Dカラー画像はL×M個のカラーピクセルで埋められ、これに対応して3DOCTボリュームはL×M×Nの値で再構築される。(R(x,y),G(x,y),B(x,y))の値は、横方向に沿ってIOCT(x,y)に本質的にレジストレーションされている。図6の(b)部分は、OCTスキャンに対応する各点82における色内容に提供される固有のマッピングを示し、値(R(x,y),G(x,y),B(x,y))は対応するIOCT(x,y)測定値にマッピングされる。図6の(c)部分は、(x,y,z)で表面点強度を持つIOCT(x,y,z)を示し、zはAラインOCT信号に沿ったゼロ遅延線からの表面深さである。したがって、カラーテクスチャ(R(x,y),G(x,y),B(x,y))は、(x,y,z)におけるOCT信号に直接マッピングされる。
【0064】
本開示の例示的な実施形態は、形成される表面再構築において、OCT及び反射光撮像を含む、異なる撮像モードからのデータの空間マッピングを保存する。そして、表面再構築から生成される歯科カルテは、異なる種類のスキャンから個別に位置合わせ処理を行う必要なしに、歯、歯茎などのフィーチャの複数の特徴に関するデータを組み込むことができる。この構成により、個別の位置合わせステップなしで歯科カルテを生成できるようになるだけでなく、後続のスキャンを使用して歯科カルテの内容を簡単に更新することも可能になる。したがって、例えば、歯科カルテの初期生成には、反射光画像コンテンツ、カラーシェード、3D表面形状、OCT深さ分解データ、及び蛍光データを組み込み、各データタイプの空間的関連性を保持した完全なスキャンを使用することが可能である。この最初のスキャンに続いて、インプラント部位、治療を必要とする個々の歯、または歯列の他の局部的な部分をスキャンするなど、部分的なスキャンを実行することができる。新しいスキャンの再構築された表面は、最初に生成された歯列弓の3D表面にスティッチングすることができる。その後、複数のモードからの更新されたデータを含む、スキャンされた部分の更新された情報は、以前にスキャンされたコンテンツと容易に位置合わせされ、既存の歯科カルテを変更するために使用できる。
【0065】
CLEDの構造と機能構成要素
図7A図7B、及び図7Cは、カラー光放出器/検出器CLED52の異なる例示的な実施形態を示す。レーザダイオードLD1、LD2、及びLD3は、それぞれ赤、緑、及び青のレーザダイオードである。レンズL1、L2、及びL3は、コリメートされた光ビームを生成するためにLD1、LD2、及びLD3のそれぞれで使用される対応するコリメーションレンズである。
【0066】
図7Aの配置では、コリメートされたビームは、ダイクロイックミラーDM1及びDM2によって同じ光路上に結合される。ミラーDM1及びDM2は、赤及び緑のレーザダイオードLD1及びLD2の中心波長など、光路との間で光の対応するルーティングに適したカットオフ波長を有する。レンズL4は、共有経路からの光をシングルモード光ファイバ74に結合して、フルカラーまたは多色光を提供する。サンプル「S」から後方散乱されたフルカラー光は、CLED52に戻るよう結合される。各カラー光は、ビームスプリッタBS1、BS3、及びBS3を介して元のチャネルに戻るよう結合され、光パワーの一部は、測定のために対応するフォトダイオードPD1、PD2、及びPD3に向けられる。
【0067】
図7Bの構成では、フィリップスプリズムと同様のダイクロイックフィルタF1及びF2を有するトリクロイックビームスプリッタTBSが、赤、緑、及び青のレーザダイオードLD1、LD2、及びLD3からの光を光ファイバ74に合波し、レンズL4を介して光ファイバ74に結合される。被写体であるサンプル「S」から後方散乱されたフルカラー光は、CLED52に戻るよう結合される。各カラー光は、トリクロイックビームスプリッタTBSを介して元のチャネルに戻るよう結合される。
【0068】
図7Cの構成では、赤、緑、及び青の光を混合するために、かつこれらの光をそれぞれのカラーチャネルから分離させるために、波長分割マルチプレクサWDMが使用される。
【0069】
図7Dの構成では、赤、緑、及び青の光を混合するために、かつこれらの光をそれぞれのカラーチャネルから分離させるために、ファイバコンバイナ76が使用される。
【0070】
図7Eの構成では、2つのファイバコンバイナ76が使用され、1つは出射する赤、緑、及び青の光を1つのチャネルに集約するためのものであり、もう1つは戻ってきた赤、緑、及び青の光をそれぞれのカラーチャネルに分離するためのものである。
【0071】
図7Fの構成では、スーパーコンティニュームレーザSCLなどの広帯域可視光源がカラー撮像用の光源として機能する。SCLは、連続した可視スペクトル出力を有する。戻り光の経路にある波長分割マルチプレクサWDMは、後方散乱光を分離し、光をそれぞれのフォトダイオードPD1、PD2、PD3へ向け直す。ファイバカプラFCは、光をファイバ74との間で結合するために使用される。
【0072】
図7Gの構成では、一対の波長分割マルチプレクサWDMと可変減衰器VAとが用いられて、発光路のSCL光が変調される。戻り光の経路にあるWDMは、後方散乱光を分離し、光をそれぞれのフォトダイオードPD1、PD2、PD3へ向け直す。ファイバカプラFCは、光をファイバ74との間で結合するために使用される。
【0073】
図7Hの構成は、OCT分光計でRGB光検出が行われる例示的な実施形態を示す。入力された多色光は、先の図7A図7Gに示すように、OCTスキャン系に結合される。多色光の検出は、グレーティングまたはプリズムなどのスペクトルセパレータ124を利用して光のスペクトル分離を行い、グレーティング、プリズム、または他のセパレータの特性によって決まる適切な角度で、赤、緑、及び青の光を対応する検出器126r、126g、126bに向かわせる。
【0074】
光源オプション
スキャナ光学系で使用される可視光Visは、可視光範囲の複数の波長であり得る。Vis光源は、例えば、投影された構造化光パターンの色分けに使用することができる。Vis光源は、白色光の画像プレビュー、歯の色合いの測定、または色もしくはテクスチャの特性評価に交互に使用できる。
【0075】
Vis光は、従来の電球光源から提供することができ、またはレーザもしくは1つ以上の発光ダイオード(LED)などの固体発光デバイスで発生させてもよい。個々の赤、緑、及び青のLEDは、反射光撮像のための原色波長を提供するために使用される。
【0076】
Vis光源は、構造化光パターンを提供するばかりでなく、例えば歯の陰影を検出するような通常の反射光撮像のために、あるいは例えば動きからの構造(Structure-From-Motion)撮像など、光パターンを使用しない方法で表面輪郭データを取得するために、被写体上を走査する特定の波長の光または広帯域光を交互に提供することが可能である。
【0077】
近紫外線領域の紫色光は、歯の蛍光撮像の励起光として使用できる。後方散乱蛍光は、OCT光路によって収集できる。蛍光画像は、フーリエ領域OCTの同じ検出器経路であるが、異なる横方向スペクトル位置で検出できる。
【0078】
カラー画像の処理と較正
システムの較正及び撮像については、反射光撮像装置は、参照基準に合わせて較正する必要がある。R、G、Bレーザ発光は、バランスの取れた光強度を提供するように調整される。バックグラウンド信号は、サンプルアームからサンプル「S」を取り外した状態でキャプチャされる。R、G、BフォトダイオードPD1、PD2、及びPD3は、それぞれ、光路内の構成要素から反射されるバックグラウンド信号を検出する。バックグラウンド信号は、それぞれR、G、及びB信号から差し引かれる。カラー画像の較正方法は、図8の計算フローチャートにも適合されているカラー写真で使用される方法と同様である。
【0079】
図8は、OCT及びRGBの両方の撮像を行うカラースキャナに使用できる色較正シーケンスを示す。RGB信号が、基準撮像ステップ700において、灰色光または白色光の基準パッチなどの較正ターゲットから取得される。基準白色パッチまたは他の較正ターゲットのsRGBなどの標準カラーモデルからの値は、標準カラーモデルステップ710で取得される。RGB信号とsRGBとの間の較正変換を取得するための最小二乗計算または他の適切な方法が、較正ステップ720で実行され、変換ステップ730で較正行列を生成する。較正行列は、反射光撮像ステップ732から得られたRGB信号に適用されて、較正されたRGB信号734を生成する。これは、OCT表面撮像ステップ740で得られたOCT表面検出と組み合わされる。次に、アタッチメントステップ750は、レジスタ内のOCT表面検出データを較正されたRGBデータと組み合わせて、組み合わされた出力を提供する。
【0080】
2つの撮像モードのスペクトル範囲の違いにより、スペクトル分割または振幅分割のいずれかを使用して、OCT光とRGBカラー光との組み合わせが可能になる。
【0081】
図9は、可視のR、G、B光と赤外OCT光波とのスペクトル分布を示す。このマッピングから容易に分かるように、スペクトル波長範囲は重複していない。可視光は、約380nm~約740nmの波長の範囲にわたる。赤外光は、740nmを超える波長から約1600nmまでの範囲にわたる。図9はまた、WDM動作のための関連するダイクロイックミラーのカットオフ波長及びバンドパス波長を示す。図9のスペクトル図に示すように、紫色のV波長(約450nm未満)など、より正確なシェードマッチングを提供するために、追加の色内容を追加することも可能である。
【0082】
蛍光撮像のための照明は、可視青色領域に近い波長、または紫色もしくは紫外線の範囲にすることができる。
【0083】
OCTとカラーテクスチャ画像データとを組み合わせる必要性を満たす代替アプローチでは、必要な画像コンテンツを取得するためにカラープレビューカメラと結合させたOCTスキャナを使用する。この代替アプローチを使用する場合、カラーテクスチャデータをOCTスキャンコンテンツにレジストレーションするために処理が必要とされる。
【0084】
画像データと対応する表面位置との関連付けの保持
図2図4の各構成において、CLED信号検出とOCT信号検出とを同期させ、サンプルアーム内の同じ光路をサンプルプローブ30及びそのスキャナ24との間で共有することができる。
【0085】
異なるモードの高速画像取得により、撮像装置100を使用する単一のスキャンでかなりの量の画像コンテンツを取得することができる。ある種の手動「モード切り替え」を必要とすること、またはスキャン実行の変更を必要とすることの代わりに、撮像装置100は、患者の口の各スキャンが複数のモードで画像コンテンツを取得できるように、マルチモード動作用に構成することができる。この構成により、各スキャンで取得された様々なタイプの画像コンテンツを、完全な歯列弓の表面再構築、スティッチング、及び表示に統合することができる。通常、デカルトx、y、z座標を使用して識別される、撮像された各表面位置を識別するデータを、その表面位置で取得される各タイプの画像データと空間的に関連付けることができる。
【0086】
図10Aの概略図を参照すると、取得された画像コンテンツの、スキャナ314の視野内のスキャンされた各x、y、z空間位置への関連付けが示されている。スキャン、3D表面再構築、及びスティッチング中に撮像取得シーケンスを繰り返し実行することで、取得された画像コンテンツと計算されたx、y、z位置座標との間に関連付けが生成される。この空間的な関連付けは、様々な方法で形成、保存、及び表現することが可能である。図10Aの例は、患者の歯列の各スキャン位置に対応する一組の関連ベクトル510を生成することを示す。ベクトル510のデータ構造は、空間的位置(x、y、z)とその位置で取得されたデータとの間で得られた関連を表すための単なる一例のメカニズムである。
【0087】
本開示の例示的な実施形態によれば、空間座標と信号に対する組織反応の結果との関連付けを保持することは、各撮像モードについて同様のシーケンスに従う。再構築及びスティッチングから逆方向に作業して、制御ロジックは、表面点に直交するベクトルに直交する画像フレームを使用するなどして、1つの画像フレームを各表面点に関連付けることができる。フレーム内の特定のポイントに対応するデータ値は、表面上の対応するポイントでの組織反応の最も正確な基準になり得る。スティッチングされた表面のポイントに関連するデータは、その位置でのスティッチングに使用される全てのポイントの加重平均を取るなど、交互に平均化することができる。
【0088】
空間座標と、口腔内の各位置での光または他の刺激に対する組織反応の結果との関連付けを保持することで、取得した様々なタイプのデータを自動生成された歯科カルテにマッチングさせ、マッピングする問題が簡素化される。フィーチャの検出と個別のデータコンテンツの位置合わせとに計算量の多い方法を必要とする代わりに、保持された関連付けにより、3D表面再構築とスティッチング操作とは、複数の撮像モードから取得された情報を整理して表示するための基準として機能することが可能になる。
【0089】
マルチモーダル画像コンテンツとその空間座標との関連付けを保持するために、使用されるスティッチングアルゴリズムは、画像座標を変換し、対応するコンテンツを変換の新しい座標にリンクさせることができる。図10Bの概略図は、スティッチング変換後の位置のセットに対する取得された画像コンテンツの再マッピングを示す。取得された関連ベクトル510は、対応する空間座標(x,y,z)、(x,y,z)、及び(x,y,z)で示される位置の組織反応の測定データに構造を提供する。スティッチングプロセスに続いて、これらの初期座標は、この例では空間座標(x1b,y1b,z1b)、(x2b,y2b,z2b)、及び(x3b,y3b,z3b)として表現される、スティッチングされた再構築3D表面の座標に変換される。したがって、スティッチング変換は、これと連動して、対応するデータをもたらし、特定の口腔内の各位置で取得されたマルチモーダル測定値と、取得された画像からの再構築に割り当てられた座標との間の元の対応を維持する。このようにして、3D表面再構築及びスティッチングにより、マルチモーダルデータの様々な要素のレジストレーションが互いに対して維持され、マルチモーダル画像コンテンツの分析及び表示が簡素化される。
【0090】
OCT撮像の処理
図11のフローチャートは、本開示の例示的な実施形態による、OCTコンテンツから抽出された表面点群とともにOCT撮像コンテンツを取得するためのOCT処理方法を示す。各B-スキャンごとに多数のA-スキャンを有する生の2Dスペクトルデータ150は、光信号の波長λの範囲にわたって、1ラインあたり「M」ピクセルを有する「N」ラインとして提供される。そして、マッピング152は、対応する各波長λに対して、波数値「k」を提供する。バックグラウンド減算154が実行され、各k値についてB方向に沿って計算され、バックグラウンド信号のラインが得られる。各A-ラインで実行されるバックグラウンド減算154は、固定パターンノイズを除去するのに役立つ。ゼロパディング操作156及び位相補正プロセス160では、スペクトルサンプリングが補正され、分散によって誘発されたOCT信号の広がりが得られる。FFT処理ステップ162は、可視化及び診断支援に有用な、3Dボリュームレンダリング及び2D断面フレーム表示レンダリング166のための入力を提供するために、位相補正されたデータの処理及びスケーリングを提供する。ステップ162の終わりに、OCT画像コンテンツが利用可能になる。
【0091】
その後、図11の方法で処理することで、表面の特徴付けとその後のマッチング/スティッチングとのための点群が抽出される。セグメント化ステップ170を実行して、OCTボリュームデータから表面輪郭データを抽出する。オブジェクト表面点群生成ステップ172は、測定されたオブジェクトの表面点群を提供する。次に、点群を、さらなる処理とともにメッシュレンダリングステップ174に使用することができる。形状の歪みを補正するのを助けるために、OCT画像の幾何学的歪みの較正を実行できる。適切に補正されない限り、歪みはスキャンパターンまたは使用される光学配置によって発生し得る。歪み処理には、所与のジオメトリの較正ターゲットを使用することによって取得された空間較正データを使用できる。ターゲットをスキャンし、スキャンされたデータを取得することで、スキャンされたデータの3D空間へのレジストレーションを調整し、スキャンシステムのエラーを補償するための基礎が確立される。較正ターゲットは、1つ以上の位置で撮像された2Dターゲット、または3Dターゲットにすることができる。
【0092】
図11の方法のセグメント化ステップ170、オブジェクト表面点群生成ステップ172、ならびにメッシュ生成及びレンダリングステップ174では、OCTボリューム測定から表面輪郭データが取得される。重要なことに、これらのステップの結果は、OCTによって測定されたオブジェクトの再構築された表面である。反射光画像データ及び蛍光画像データもまたスキャン中に取り込むと、OCTボリューム、再構築された3D表面、2D反射光画像、2D/3D蛍光画像は全て互いにリンクし、互いにレジストレーションされて、サンプルSの同じビューに識別される。
【0093】
生成された3D表面は、新しいビューで得られたスキャンデータから再構築された新しい3D表面と、反復的最近傍点(ICP)マージなどの当技術分野で一般的に知られているマッチング方法を使用してスティッチングされる。スティッチングプロセスでは、上記の空間較正データも使用される。スティッチングが成功すると、撮像された表面上の各ポイントの空間座標が決定され、したがって異なる3D表面間の正しい空間関係が得られる。このようにして、取得された様々なタイプのデータの空間位置の関連付けが保持される。したがって、OCT画像データコンテンツと、スキャナによって取得されたマルチモーダル画像データコンテンツとは、追加のステップを必要とせずに自動的にレジストレーションさせることができる。
【0094】
3D表面データ、OCT深さ分解ボリューム、2D反射光画像、及び2D/3D蛍光画像は、表示、保存、または別のコンピュータもしくはストレージデバイスへの伝送を行うことができる。本開示の例示的な実施形態によれば、これらのマルチモーダル画像データは、後でより詳細に説明されるように、歯科カルテを形成すること、及び歯科カルテをインプットすることのために使用することができる。図11の方法の処理結果は、歯科カルテを配置するために必要な情報を生成するための画像及び診断分析のための後続の制御ロジック処理に向けることが可能である。
【0095】
用途及び撮像条件に応じて、図11の方法のセグメント化ステップ170で様々な画像セグメント化アルゴリズムを使用して、オブジェクト表面を抽出することができる。単純な直接閾値、アクティブ輪郭レベルセット、分水嶺法、教師あり及び教師なし画像セグメント化、ニューラルネットワークベース画像セグメント化、スペクトル埋め込み、ならびに最大フロー/最小カットグラフベース画像セグメント化などの画像セグメント化アルゴリズムが、画像処理分野でよく知られており、活用することが可能である。これらは、再構築された3Dボリューム全体に適用してもよく、またはOCTデータの各2Dフレームに個別に適用してもよい。
【0096】
図12A図12Eは、重度の虫歯を有する歯の画像の例を使用して、OCT処理方法の一部として取得され生成された様々なタイプの撮像コンテンツを示す。図12Aは、OCT撮像のB-スキャンに対応する2Dスライスを示す。図12Bは、任意選択のカラーバー180を基準とした歯の深さエンコードされたカラー投影を示す。図12Cは、OCT画像コンテンツから得られたボリュームレンダリングの対応するスライスを示す。図12Dは、歯の表面に沿って点が抽出された、図12Aのセグメント化処理の結果を示す。図12Eは、OCTボリュームデータから生成された歯の表面点群64を示す。表面点群64は、図11の方法に関して先に示したように、セグメント化に続いてOCTボリュームデータから得ることができる。
【0097】
OCTデータのマッピングと分析
図12A図12Eの画像例に示すように、取得される深さ分解OCTデータはまた、患者の歯列及び支持構造の歯、歯茎などのフィーチャの表面輪郭の再構築もサポートする。さらに、深さ分解データ自体は、再構築された表面輪郭に関連付けられるか、またはマッピングされる。深さ分解されたデータを表面上の空間的位置と関連付けることで、結果として生成される歯科カルテは、虫歯などの病変の分析または評価、一時的及び永久的な詰め物の完全性の評価、様々な補綴装置、ハードウェア、及びインプラントの評価と空間的に関連付けることも可能になる。この関連付けは、歯茎やその他の支持組織や近くの組織の特定の領域の健康状態の指標を提供するのにも役立つ。
【0098】
反射光を使用した表面輪郭撮像
従来の表面輪郭撮像は、前述のOCT撮像とは異なり、反射光撮像を用いており、表面の構造、曲率、及び輪郭の特徴など、表面を特徴付けるためのデータを提供するが、表面の下にある物質に関する情報を提供しない。輪郭撮像データまたは表面輪郭画像データは、構造化光撮像装置から、あるいは一般に約380nmを超え740nm閾値未満の波長範囲にある可視光照明、740nmに近いもしくは740nmを超える近赤外線、または380nm未満の紫外線波長域の光、を用いて得られた2D反射光画像のシーケンスから表面に関する構造情報を得る撮像装置から得ることができる。輪郭線撮像の代替技法としては、構造化光撮像のほか、例えば、三角測量によるフィーチャ追跡、動きからの構造写真測量、飛行時間撮像、干渉計ベースの撮像、及び焦点からの深さ(depth-from-focus)撮像など、表面構造を特徴付けるための既知の技法が挙げられる。輪郭画像コンテンツは、表面組織を表すボクセルのみを識別し収集することによって、例えば、(図11に関して前に述べた)OCTボリュームコンテンツなどのボリューム画像コンテンツから交互に抽出することができる。
【0099】
語句「パターン化された光」とは、光が、1つ以上の識別可能な平行線、曲線、グリッドもしくはチェッカーボードパターン、または照明のない領域で分離された光の領域を有する他のフィーチャなど、1つ以上のフィーチャを有するような、所定の空間パターンを有する光を示すために使用される。本開示の文脈において、「パターン化された光」及び「構造化光」という語句は同等語であると見なされ、輪郭画像データを導出するために被写体に投射される光を識別するために共に使用される。
【0100】
構造化光撮像では、線のパターンまたは他の構造化パターンが、撮像装置からオブジェクトの表面に向かって所与の角度で投影される。そして、輪郭線の概観に基づいて表面情報を分析するために、表面から投影されたパターンは、三角測量を駆使し、別の角度から輪郭画像として見られる。位相シフトは、投影パターンを空間的に段階的にシフトして新しい位置で追加の測定を行うものであり、一般に構造化光撮像の一部として適用され、表面の輪郭マッピングを完成させ、輪郭画像全体の解像度を高めるために使用される。
【0101】
本発明のマルチモーダル撮像デバイスは、深さ分解撮像または従来の表面輪郭撮像を含み得る。例えば、3Shape,Copenhagen,DenmarkのTRIOS(登録商標)歯科用口腔内スキャナは、焦点からの深さ技法を使用して表面輪郭撮像を実行し、スキャン中にカラー反射光画像と歯の色合いとをキャプチャする。Dentsply Sirona,Salzburg,AustriaのCEREC(商標)Omnicam(商標)システムは、構造化光の三角測量技術を使用して表面輪郭撮像を実行し、スキャン中にカラー反射光画像と歯の色合いとをキャプチャする。Inglese et al.による「Intra-Oral 3-D Fluorescence Imaging」と題された国際特許出願第US2014/070719号では、構造化光三角測量、カラー反射光画像、及び2D/3D蛍光画像を使用して3D表面輪郭をキャプチャする。
【0102】
3Dアーチ表面再構築
完全なアーチに対応する3Dメッシュの再構築は、通常、わずかに重なり合う一連の口腔内3D表面ビューを取得し、それらをスティッチングすることによって行われる。構築中のメッシュのどの部分で新しく取得されたビューが重なり合うかを識別するプロセスは、「マッチング」または「スティッチング」と呼ばれる。表面輪郭撮像の技術分野でよく知られているマッチング方法を採用することで、口腔内3Dスキャナは、個別のビューが取得されるときに、患者のアーチ全体の3Dメッシュを生成できる。
【0103】
図11を参照して先に説明したように、複数のOCT測定を交互に使用して、上記と同じスティッチングプロセスに従って、3D表面再構築を行うことができる。連続スキャンからのOCTデータは、表面コンテンツを識別するために処理される。図5A及び図5Bに関連する説明に関して、表面フィーチャは、各B-スキャン及びC-スキャン位置の最も外側のA-スキャンデータを識別することによって容易に提供される。
【0104】
歯科カルテの生成とインプット
本開示の例示的な実施形態によれば、利用可能な撮像モードのいずれかからの画像コンテンツを、スキャン後に生成される表面再構築と空間的に関連付けることができる。スキャンで取得された画像データのいずれについても、スティッチングが成功した結果、空間的な位置が自動的に決定される。生成される表面再構築は、様々なモードでの組織の反応を示す画像データとの空間座標の関連付けを保持する。したがって、例えば、表面再構築の所与の座標を、R、G、B値などの特定の反射光撮像値、シェード、蛍光値、及びOCT深さ撮像コンテンツに関連付けることができる。したがって、複数の撮像モードの結合された情報を、個別の較正、位置合わせ、またはマッチングロジックを必要とせずに、座標空間に関連付けることができる。
【0105】
例えば、特定の口腔内表面位置の反射光画像コンテンツ及びOCTスキャンコンテンツを、3Dアーチ表面再構築上の位置に関連付けることができる。次に、この再構築を使用して、歯科カルテの形成とインプットとを行い、歯科カルテの対応する各領域に関連する空間座標情報を保持することができる。
【0106】
図13のフローチャートは、反射光撮像、OCTスキャン、及び蛍光画像などのマルチモーダル画像コンテンツを取り込むことができるスキャナデバイスからのスキャンデータに従って歯科カルテを生成する方法を示す。スキャンステップS1920では、3D輪郭データ及び他のマルチモーダル画像データコンテンツを取得する。次に、再構築及びスティッチングステップS1930では、スキャンされたデータのサブセットを使用して3D表面輪郭を再構築する。ステップS1930の一部として、再構築及びスティッチング操作は、マルチモーダル撮像から画像コンテンツに関連する空間座標情報を取得する。
【0107】
図13の方法を続けると、次に、セグメント化ステップS1940が、ステップS1930で得られた表面点の空間的関係に基づいて、画像再構築技術分野の当業者に周知のユーティリティ及びアプローチを用いて、歯のセグメント化及びラベリングを実行する。外形生成ステップS1950は、例えば、側面図及び上面図の線画を提供するなど、歯科カルテの構築に適した外形データを生成する。次に、分析ステップS1960は、歯及び関連する歯茎構造のスキャンデータを分析し、その分析を歯科カルテの要素に関連付ける。表示ステップS1970は、ディスプレイ上で表示するために生成された歯科カルテを提示し、あるいは、将来の参照のために、または別のコンピューティングデバイスもしくはデータストレージユニットに伝送し、もしくは通信するためにカルテを格納する。
【0108】
生成されたカルテは、同じマルチモーダルスキャナデバイスからの後続のスキャンデータを使用して更新できる。スキャナの内部空間基準は変更されないため、新しくスキャンされたデータから再構築された3D表面を既存の歯列にスティッチングし、それによって新しいマルチモーダル画像データの空間位置を確立できる。歯のどの部分においても、既存の分析結果と最新の分析結果とを簡単に比較することができて、例えば、詰め物(例えば、アマルガム、コンポジット)または人工歯(例えば、クラウン、ブリッジ、ベニア、義歯)の有無、歯の有無、むし歯の発生、ひびの発生、歯肉線の後退、及びエナメル質の侵食などの状態の変化に注目することができる。
【0109】
ある程度の深さデータを取得するため、深さ分解撮像データ(例えば、OCTスキャンデータまたは超音波もしくは光音響データなど)には、歯と歯茎の状態の分析に使用できる情報が含まれている。超音波画像は、歯周ポケットの深さを検出するのに役立つ。反射光画像コンテンツは、歯の輪郭と全体的な形状、ならびに歯、歯茎、及びその他の構造の詳細な表面のフィーチャに関する正確な情報を提供できる。蛍光画像コンテンツは、虫歯、石灰化状態、歯垢、及び歯の補綴物を検出するのに役立つ。各タイプの情報を使用して、生成された歯科カルテにデータをインプットすることができるため、患者の歯列の特定のフィーチャに関する詳細データをすぐに参照できる。
【0110】
詳細情報の提示は、様々な形をとることができる。本開示の例示的な実施形態によれば、様々なタイプの情報は、開業医によって望まれるように、選択的に有効化されるか、または視界から隠すことができる。これにより、歯科カルテからアクセスできる重要な情報の関連付けと保存とを可能にしながら、混乱を減らすことができる。階層化されたモデルは、特定のタイプのより専門的な情報が「オーバーレイ」として表示されるように適合させることができる。したがって、例えば、歯茎の状態に関する情報は、虫歯、詰め物、インプラント、または他のフィーチャなどの歯に関する情報とは別に有効にすることができる。
【0111】
標準ビューフォーマットで歯科カルテを生成することに加えて、本開示の例示的な実施形態は、例えば、斜視ビューを可能にする、標準ビューのある程度の操作を提供することができる。断面図(例えば、前述のOCT B-スキャンに対応)は、関心のある場所で表示できる。カーソル位置に基づいてビュー角度が調整されるように、ビューのプログレッシブシーケンスを交互に表示することができる。様々なフィーチャの座標位置を表示することもできるため、従来の「平坦な」2D歯科カルテに、歯の実際の位置またはその他のフィーチャを説明する注釈を含めることができる。
【0112】
図14A図14B、及び図14Cは、本発明の例示的な実施形態による、生成され表示された歯科カルテの様々な態様を示す。図14Aでは、表示された歯科カルテ270が示されている。歯科カルテ270の個々のエントリは、図14Aに低解像度またはサムネイル形式で示される表面輪郭画像276にリンクさせることができる。スキャンの一部として取得された座標基準272を、ディスプレイ上に提供することができる。マウスまたはその他のポインタを使用したホバリングなどのフィーチャは、座標基準データと、指定された位置に関連する任意の関連画像コンテンツとの両方を提供することができる。
【0113】
例として、図14Bは、歯科カルテ270の領域E1を拡大して示したものであり、数本の歯120を概略的に示している。歯120の1つの関連情報は、虫歯が疑われる領域122を含む。図14Cは、出血しているかまたは他の状態を示している可能性のある歯肉組織124の近傍部分を強調表示する、追加の情報を含んでいる。歯と歯茎の様々な検出された状態の表示は、前述のように個別に有効または無効にすることができ、開業医が特定の興味を持つかまたは関心を引く状態に焦点を合わせることができるようにする。
【0114】
図14Dは、患者の歯列の上面図を備えた生成された歯科カルテ270の例を示す。
【0115】
図14Eは、患者の歯列の斜視図を備えた生成された歯科カルテ270の例を示す。図14D及び図14Eに示すように、基準原点「R」を表示させることができ、再構築で保存される空間座標の関連付けのための基準データを提供する。選択された歯または歯茎領域について利用可能な様々なタイプの情報を示すために、いくつかのサムネイル画像280を提供することができる。
【0116】
本開示の例示的な実施形態によれば、自動的に生成された歯科カルテデータのグラフ配置は、開業医に馴染みのある標準歯科カルテ形式で表示することができ、または、上記の手順に従って生成された歯の外形を使用した3D形式または他の形式で表示することができる。入力された操作者の指示に従って開業医が好む表示形式を選択するために、トグルまたは他のコマンドを提供することができる。表示形式オプションには、図14Aの例に示すような従来の歯科カルテのフラットな2Dアライメント、図14Dの例に示すような標準チャートからもしくは患者画像からのフラットな2Dプランビューもしくはトップビュー、または図14Eに示すような上顎もしくは下顎の透視3Dビューを含むことができる。図14A図14Eの例に示す様々な歯科カルテ表現を用いて、個々の歯、歯のセット、または顎の構造に対するパン、ズーム、及び3D回転を表示させることができる。原点「R」の位置は、インプットされた歯科カルテの他の座標に対応する変更を加えて調整できる。
【0117】
様々な歯科カルテの配置を表示できる。例えば、図14A図14Cに示される従来の歯科カルテの配置は、経験豊富な開業医によって最も好まれ得、この構成は、最も容易に使用可能であり、インプットされた歯科カルテから利用できる異なるタイプの情報を見ることを可能にする追加のフィーチャを利用することができる。図14D及び図14Eの代替図は、歯の空間的配置に関する特定の情報を見るために大いに役立ち、歯が顎の中で互いに対してどのように配置されているかを評価する際に、より有用であり得る。異なる歯科カルテの実施形態に注釈を付けることができ、例えば、開業医及びスタッフが、検査または洗浄中に様々なデータを記録することを可能にする。図14Dは、例えば、開業医の観察を示すか、または歯の状態の自動分析で検出された詳細を示す、表示され得る注釈282の配置を示す。歯番号などのラベルを設けることができ、これにより、歯列の3Dビューを回転させたときや、またはズームもしくはパン操作のときなど、表示されたコンテンツに追従して歯の位置を追跡することができる。
【0118】
図15のフローチャートは、本開示の例示的な実施形態による、取得されたマルチモーダル画像データを用いた歯科カルテ作成のプロセスを自動化するために実行され得るステップを含む方法を示す。マルチモーダル画像コンテンツが、取得ステップS1510で取得される。マルチモーダル画像コンテンツは、反射光撮像コンテンツ及び蛍光の両方を提供するスペクトル帯域幅を持つ可視光源などの単一の撮像信号を使用することによって取得できる。空間座標は画像取得時に保持され、複数の撮像モードから発生する画像コンテンツを自動的に関連付けるためのメカニズムを提供する。あるいは、取得ステップS1510は、共通の軸に沿って向けられた、同時にまたは近接して取得された異なる帯域幅の光信号を使用するなど、複数の出力撮像信号を使用することができる。表面輪郭生成ステップS1520において、口腔内プローブの制御ロジックは、取得されたマルチモーダル画像コンテンツを使用して表面輪郭を生成する。ステッチングロジックは、マルチモーダル画像コンテンツの空間座標の関連付けを維持したまま、隣接する画像を結合するために使用される。次に、歯の外形生成ステップS1530が実行され、このステップにおいて、プローブロジックは、歯科カルテで使用するための歯の外形を生成し得る。次に、歯科カルテセットアップステップS1540は、ステップS1530で得られた歯の外形のシーケンスを使用して歯科カルテを組み立てて、歯の空間的順序及び歯に隣接する支持歯肉組織を示すことができる。次に、歯科カルテの組み立てられた各要素は、歯科カルテインプットステップS1550において、対応するマルチモーダル画像コンテンツに関連付けられ得る。ステップS1550は、マルチモーダル画像コンテンツを分析し、この分析の結果を、組み立てられた歯科カルテの位置及びフィーチャと関連付ける。次に、表示ステップS1560は、歯科カルテをディスプレイにレンダリングするだけでなく、インプットされた歯科カルテの他のシステムへの保存、伝送、または通信をするために必要な任意のデータファイルを生成する。
【0119】
口腔内撮像デバイスを用いて取得された画像コンテンツに加えて、本開示の例示的な実施形態は、マルチモーダル画像コンテンツとして、バイトウィング及び歯根尖周囲X線またはコーンビームコンピューテッドトモグラフィ(CBCT)システムなどの口腔外撮像装置から得られる画像データを使用することもできる。放射線を使用する撮像モードは、フィーチャ認識のための様々なユーティリティを使用して、口腔内画像コンテンツの空間座標に関連付けることができる。例えば、CBCT処理を使用して得られたボリューム画像は、当技術分野で一般に知られているボリューム画像レジストレーション方法を使用して、口腔内撮像装置によって得られた表面輪郭または表面メッシュにレジストレーションすることができる。したがって、X線及びCBCT画像コンテンツを歯科カルテに関連付けて、すぐに、参照及び表示することができる。
【0120】
有利には、本開示の例示的な実施形態を使用して、複数の撮像モードからの画像コンテンツの空間的相関を容易に達成することができる。スキャナ314(図1)から取得された画像コンテンツの別個のレジストレーション処理のために処理遅延は必要とされない。表面再構築の座標は、R、G、B値、シェード、蛍光値、及びOCT深さ撮像コンテンツ、ならびにX線及びCBCT画像コンテンツなどの特定の反射光撮像値と関連付けることができる。したがって、複数の撮像モードの組み合わされた情報を、個別の較正、位置合わせ、またはマッチングロジック、及び患者の歯列に関連する異なるタイプの画像データのレジストレーションを達成するために必要な処理オーバーヘッドを必要とせずに、発明的に口腔内座標空間と関連付けることができる。
【0121】
ユーティリティとワークフローの更新
異なるモードの画像データを直接空間的に関連付けることが可能なため、更新プロセスを改善するのに役立つ多くのオプション及び機能が提供される。前述のように、インプラント準備の様々な段階で定期的に、または虫歯の疑いのある状態の進行状況を追跡するために、同じまたは別の較正済みマルチモーダル口腔内スキャナを使用して、治療中の単一の歯または顎の小さな部分を画像化することは有用な場合がある。本開示の例示的な実施形態は、以下を含むいくつかの方法で更新をサポートする。
【0122】
(i)歯科カルテの生成と更新のオプション。1つのオプションとして、開業医は、口腔内表面のフルスキャン及び上記のカルテ生成処理の繰り返しなどを用いて、新しい歯科カルテを生成することを選択することができる。デフォルトでは、以前に取得したカルテと関連する画像コンテンツとを保存またはアーカイブして、新しいカルテが生成されたときに患者の履歴データを維持できる。あるいは、開業医は、既存のチャートを、1つ以上の歯または介在する組織領域に固有の新しい情報、または特定の撮像モードに関連する新しい画像コンテンツで更新することを選択できる。このタイプの部分的な更新では、新しい表面再構築を既存の歯列の表面にスティッチングする必要があり、これにより、新しい表面再構築に関連付けられた新しいコンテンツを既存の歯科カルテの座標にマッピングできる。新たに再構築された表面の、既存の再構築された表面へのスティッチングをサポートする技術は、撮像技術分野の当業者にはよく知られている。歯科カルテ更新オプションは、完全に自動化することができ、または、タッチスクリーン、マウス、もしくはキーボード入力など、操作者がプローブ及びスキャンする歯の位置を大まかに識別する、操作者入力のいくつかの手段から恩恵を受けることもある。
【0123】
(ii)更新位置及び/またはコンテンツに関連するローカライズされた強調表示。前述のように、開業医は、従来の2D配列図(図14A図14C)、平面図または上面概略図(図14D)、または透視3D図(図14E)を示すなど、歯科カルテの表示形式を選択する機能を有することが可能である。口腔内プローブまたはスキャナ314(図1)を用いた更新スキャン動作をサポートするために、いくつかの強調表示スキームのいずれかを選択することができる。図16は、歯科カルテの透視図上に配置された強調表示330を示し、新たに取得された画像コンテンツについて、患者の歯列全体に対するスキャナ314の現在の位置を示している。このタイプの視覚的な操作者のフィードバックは、更新のための適切な領域が画像化されていることを保証するために、開業医または技師に役立ち得る。他のタイプの強調表示は、データが取得される様々な撮像モードを示すのに役立ち得る。例えば、OCT画像コンテンツはオレンジ色、蛍光コンテンツは緑色というように、どの種類の画像コンテンツが利用可能か、または現在更新中かを色分けして示すために使用することができる。色またはその他の強調表示方法を使用して、処理ステータスを示すこともできる。スキャンされた領域を全体的な歯科カルテ及び原点「R」に関連付けるための境界座標も、技師または開業医に役立つ場合には、表示させてもよい。
【0124】
(iii)カルテガイド付き更新。例示的な実施形態によれば、マークアップユーティリティが、歯科カルテに作成されたエントリによって画像コンテンツの更新を必要とする領域を識別するために提供される。このスキームを使用すると、電子的に生成され、インプットされた歯科カルテが、コミュニケーションを改善し、歯科治療チームのワークフローを進めるための便利なツールになり得る。例えば、開業医は、8~11番の歯と2~5番の歯の間の歯肉組織について、最新の画像コンテンツを求めることができる。開業医は、マウスまたはタッチパネルでの入力など、操作者の指示を入力することにより、歯科カルテに電子的にマーキングすることができる。図17の概略図は、図示のような単純なアウトラインを用いるなどして、特定の歯または他のフィーチャを特定するタッチスクリーン指示の入力例を示している。ポップアップメニュー290は、開業医が、取得すべきスキャン情報の撮像モードを指定することを可能にする選択を提供することができる。同じまたは別の較正されたマルチモーダル口腔内スキャナを使用して、他の詳細なポジショニングシーケンスなしで更新プロセスを実行することができる。技師は、プローブまたはスキャナ314を操作して、関心のある歯をスキャンし、開業医のエントリから要求された情報の一部または全てが取得及び更新されたことを示す画面上または可聴の操作者フィードバックを受け取ることができる。このシーケンスにより、書面または口頭での指示やその結果としての混乱のリスクを必要とせずに、情報の取得と処理とが簡素化される。
【0125】
(iv)1つ以上のモードで保存された「履歴」コンテンツを使用したタイムラプス表示。更新プロセスの一部として、1つ以上の撮像モードの以前に保存された画像コンテンツを、将来の分析及び表示のために保持することができる。したがって、例えば、経時的な1つ以上の歯の虫歯状態の進行を容易に観察し、蛍光2D画像またはOCT断面(B-スキャン)画像に表示することができ、連続して保存された画像コンテンツをレジストレーションし、おなじみのタイムラプスビデオのモデルに従って、時系列で表示させる。保存された各画像に関連する時間情報は、状態の進行状況とレートを追跡するための補助として表示することもできる。インプットされた歯科カルテの選択ボタンまたはその他の指示入力ツールにより、以前に保存されたビューの選択と「再生」とが可能になり、表示される画像コンテンツの特定のモードを指定する機能が含まれる。
【0126】
本発明は、現在理解されている例示的な実施形態を特に参照して詳細に説明されてきたが、変更及び修正は、本発明の趣旨及び範囲内で影響を及ぼす可能性があることを認識し、理解されるべきである。
【0127】
例えば、制御ロジックプロセッサ340は、限定されないが、コンピュータまたはコンピュータワークステーション、専用ホストプロセッサ、マイクロプロセッサ、デジタル信号プロセッサ、論理アレイ、または格納されたプログラム論理命令を実行する他の装置を含む多数のタイプの論理処理装置のいずれかとすることが可能である。
【0128】
したがって、現在開示されている例示的な実施形態は、全ての点で例示的であり、限定的ではないと見なされる。本発明の範囲は添付の特許請求の範囲によって示され、その意味及び均等物の範囲内に入る全ての変更は、そこに包含されることを意図している。
【0129】
少なくとも1つの例示的な実施形態と一致して、例示的な方法/装置は、電子メモリからアクセスされる画像データ上で動作する格納された命令を有するコンピュータプログラムを使用することができる。画像処理技術の当業者には理解できるように、本明細書の実施形態例のコンピュータプログラムは、パーソナルコンピュータまたはワークステーションなどの適切な汎用コンピュータシステムによって利用することができる。しかしながら、例えば、1つまたはネットワーク化されたプロセッサの配置を含む、説明された例示的な実施形態のコンピュータプログラムを実行するために、他の多くの種類のコンピュータシステムを使用することができる。
【0130】
本明細書に記載された特定の例示的な実施形態の方法を実行するためのコンピュータプログラムは、コンピュータ可読記憶媒体に格納されてもよい。この媒体は、例えば、磁気ディスク、ハードディスク、リムーバブルデバイス、磁気テープなどの磁気記憶媒体、光ディスク、光テープ、機械可読光エンコーディングなどの光記憶媒体、ランダムアクセスメモリ(RAM)または読み取り専用メモリ(ROM)などの固体電子記憶装置、あるいはコンピュータプログラムを格納するために採用される他の物理的なデバイスまたは媒体から構成されてもよく、限定されるものではない。説明した実施形態の例示的な方法を実行するためのコンピュータプログラムはまた、インターネットもしくは他のネットワークまたは通信媒体を介して画像処理装置に接続されるコンピュータ可読記憶媒体に格納されてもよい。当業者であれば、そのようなコンピュータプログラム製品と同等のものをハードウェアで構築してもよいことをさらに容易に認識するであろう。
【0131】
「メモリ」という用語は、本開示の文脈では「コンピュータアクセス可能なメモリ」と等価であり、画像データの格納及び操作に使用され、例えばデータベースを含むコンピュータシステムにアクセス可能な任意のタイプの一時的またはより永続的なデータ格納ワークスペースを指し得ることに留意されたい。メモリは、例えば、磁気記憶装置または光記憶装置などの長期記憶媒体を用いて不揮発性とすることができる。あるいは、マイクロプロセッサまたは他の制御ロジックプロセッサ装置によって一時的なバッファまたはワークスペースとして使用されるランダムアクセスメモリ(RAM)などの電子回路を使用して、メモリをより揮発性の性質にすることができる。例えば、表示データは、通常、表示装置に直接関連付けることができる一時記憶バッファに格納され、表示データを提供するために、必要に応じて定期的にリフレッシュされる。この一時記憶バッファは、本開示において用語が使用されているように、メモリであると考えることもできる。メモリはまた、計算及び他の処理の中間及び最終結果を実行するまたは格納するためのデータ作業空間として用いられる。コンピュータでアクセス可能なメモリは、揮発性、不揮発性、または揮発性と不揮発性のハイブリッドな組み合わせであることができる。
【0132】
本明細書の実施形態例に係るコンピュータプログラム製品は、周知の様々な画像操作アルゴリズム及び/または処理を利用することができることを理解し、了解されたい。本明細書における例示的なコンピュータプログラム製品の実施形態は、実施に有用な、本明細書に具体的に示されていない、または説明されていないアルゴリズム及び/または処理を具現化し得ることをさらに認識し、理解されたい。このようなアルゴリズム及び処理には、画像処理技術に関する通常の技術の範囲内にある従来のユーティリティが含まれる場合がある。このようなアルゴリズム及びシステム、ならびに画像を生成し、そうでなければ処理するための、または本願のコンピュータプログラム製品と協働するためのハードウェア及び/またはソフトウェアの追加の態様は、本明細書では特に示されず、当技術分野で既知のこのようなアルゴリズム、システム、ハードウェア、コンポーネント及び要素から選択することができる。
【0133】
本開示による例示的な実施形態は、本明細書に記載された様々な特徴を個別にまたは組み合わせて含むことができる。
【0134】
本出願は、1つ以上の実装に関して説明してきたが、添付の特許請求の範囲及び趣旨から逸脱することなく、変更及び/または修正を示された実施例に加えることができる。加えて、本発明の特定の特徴は、いくつかの実装/例示的な実施形態のうちの1つに関してのみ開示されたかもしれないが、かかる特徴は、任意の所与のまたは特定の機能に対して所望かつ有利になり得るように、他の実装/例示的な実施形態の1つ以上の他の特徴と組み合わせることが可能である。「a」または「少なくとも1つ」という用語は、リストアップされた項目のうち1つ以上を選択できることを意味するために使用される。用語「約」は、変更によってプロセスまたは構造の図示された例示的な実施形態への不適合が生じない限り、記載された値を多少変更することができることを示す。本発明の他の実施形態は、本明細書に開示された発明の明細書及び実施の形態の検討から当業者にとって明らかになるであろう。本明細書及び実施例は例としてのみ考慮されることが意図され、本発明の真の範囲及び趣旨は以下の特許請求の範囲によって示される。
図1
図2
図3
図4
図5A
図5B
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図8
図9
図10A
図10B
図11
図12
図13
図14A
図14B
図14C
図14D
図14E
図15
図16
図17
【国際調査報告】