IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ デントスプリー・インターナショナル・インコーポレイテッドの特許一覧 ▶ シロナ・デンタル・システムズ・ゲーエムベーハーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-19
(54)【発明の名称】歯科処置
(51)【国際特許分類】
   G16H 30/40 20180101AFI20240711BHJP
【FI】
G16H30/40
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023580417
(86)(22)【出願日】2022-05-17
(85)【翻訳文提出日】2024-02-08
(86)【国際出願番号】 EP2022063351
(87)【国際公開番号】W WO2023274622
(87)【国際公開日】2023-01-05
(31)【優先権主張番号】21020339.4
(32)【優先日】2021-07-01
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】515304558
【氏名又は名称】デンツプライ・シロナ・インコーポレイテッド
(71)【出願人】
【識別番号】519410367
【氏名又は名称】シロナ・デンタル・システムズ・ゲーエムベーハー
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】シュナイダー、ハンス-クリスティアン
(72)【発明者】
【氏名】シャダー、デイビッド
(72)【発明者】
【氏名】ザイベルト、ヘルムート
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
本教示は、デジタル3D歯科モデルを2D歯画像に変形するための方法であって、少なくとも2つの選択された画像を3D歯科モデルから提供することと、選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することとを備える方法に関する。本教示は、2D画像の分類の方法、歯科処置支援システム、使用、およびコンピュータソフトウェア製品にも関する。
【特許請求の範囲】
【請求項1】
訓練されたデータドリブンロジックを使用して歯構造を分類するためのコンピュータ実装方法であって、
入力として、2D画像を前記訓練されたデータドリブンロジックに提供することと、
前記データドリブンロジックを介して、前記2D画像の分類値を決定することとを備え、
前記2D画像は、色モデルのコンピュータ可読フォーマットにあり、前記2D画像は、少なくとも2つの選択された画像のそれぞれを前記色モデルのそれぞれの色成分に変換することによって取得されており、前記選択された画像は、前記歯構造の異種のコンピュータ処理獲得像である、方法。
【請求項2】
前記データドリブンロジックは、畳み込みニューラルネットワークを備える、請求項1に記載の方法。
【請求項3】
前記分類値に応答して、出力信号を生成すること
をさらに備える、請求項1または2に記載の方法。
【請求項4】
前記分類値および/または前記出力信号は、ヒューマンマシンインターフェース(「HMI」)に提供される、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記出力信号は、歯科処置を示す、請求項3または4に記載の方法。
【請求項6】
前記分類値および/または前記出力信号に応答して、前記歯科処置で使用するための器具を自動的に選択すること
をさらに備える、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記HMIを介して、前記出力信号によって示されている前記歯科処置が実施されることになるか否かを示すフィードバック入力を受け取ること
をさらに備える、請求項5または6に記載の方法。
【請求項8】
メモリストレージにおいて、前記2D画像を、および任意選択で前記フィードバック入力をも提供すること
をさらに備える、請求項1~7のいずれかに記載の方法。
【請求項9】
データドリブンロジックの入力において、複数の2D画像を備えるモデルトレーニングデータを、および任意選択で前記フィードバック入力をも提供することをさらに備え、前記モデルトレーニングデータは、前記データドリブンロジックを訓練し、前記訓練されたデータドリブンロジックを取得するために使用される、請求項1~8のいずれかに記載の方法。
【請求項10】
デジタル3次元(「3D」)歯科モデルを非フォトリアリスティックな2次元(「2D」)歯画像に変形するためのコンピュータ実装方法であって、
少なくとも2つの選択された画像を前記3D歯科モデルから提供することと、ここにおいて、前記選択された画像は、歯構造の異種の獲得像である、
前記選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
前記それぞれの色成分を組み合わせることによって、前記色モデルのコンピュータ可読フォーマットの前記非フォトリアリスティックな2D画像を取得することと
を備える方法。
【請求項11】
前記選択された画像のうちの少なくとも1つは、前記歯構造の深度マップ表現である、請求項10に記載の方法。
【請求項12】
前記選択された画像のうちの少なくとも1つは、境界および/または対象の領域および/または前記歯構造の属性を表す特徴レイヤである、請求項10または11に記載の方法。
【請求項13】
入力として、前記非フォトリアリスティックな2D画像を訓練されたデータドリブンロジックに提供することと、
データドリブンロジックを介して、前記非フォトリアリスティックな2D画像の分類値を決定することと
をさらに備える、請求項10~12のいずれかに記載の方法。
【請求項14】
上記方法請求項のいずれかのステップを実施するための手段を備えるシステム。
【請求項15】
適切なコンピューティングユニットによって実行されたとき前記コンピューティングユニットに上記方法請求項のいずれかのステップを実施させる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
【請求項16】
請求項9で生成されるモデルトレーニングデータ、または前記モデルトレーニングデータを記憶するデータ記憶媒体。
【請求項17】
データドリブンモデルを訓練する、ならびに/またはデータドリブンモデルを妥当性検査する、ならびに/または分類値および/もしくは歯科処置を示す出力信号の決定、ならびに/または歯科処置で使用するための器具の選択のための、請求項9で生成される前記モデルトレーニングデータの使用。
【請求項18】
歯科処置を支援および/または実施するための、方法請求項1~9のいずれかで生成される前記分類値および/または前記出力信号の使用。
【発明の詳細な説明】
【技術分野】
【0001】
本教示は、一般に、修復など歯科処置を支援するためのコンピュータ実装方法および製品に関する。より詳細には、本教示は、歯画像の処理に関する。
【背景技術】
【0002】
歯修復など歯科処置は、患者の欠損または損傷した歯構造の機能、統合性、または組織形態のうちの1つまたは複数を修復するために使用される治療である。歯構造または歯の損傷または喪失は、たとえばカリエスまたは外傷により生じていることがある。歯修復は、たとえば歯科インプラントによるそのような構造の置換をも含み得る。一般に、修復を計画するために、ユーザは、手動で処置または修復のタイプを決定しなければならないことがある。いくつかの機械またはコンピュータ化された方法は、必要とされる修復のタイプをユーザが選択することを可能にし得る。選択に応答して、機械は、引き続き処置を実施するために必要とされる器具を選択し、さらには、ユーザ選択に基づいて修復を続行し得る。
【0003】
ユーザは、必要とされるものに比べて間違ったタイプの処置を選択する可能性がある。これは、たとえば、誤り、さらには経験不足、または機械に慣れていないことにより発生し得る。そのような望ましくない場合、欠陥のある修復に至る可能性があり、さらには、間違った処置が患者に適用され得る。
【0004】
米国特許出願第2020000562(A1)号は、歯牙状況が歯科カメラにより測定され、歯牙状況の3Dモデルが生成される、修復物を構築するための方法を開示している。この場合、コンピュータ支援検出アルゴリズムが歯牙状況の3Dモデルに適用され、修復物のタイプ、ならびに/または挿入されることになる修復物の少なくとも歯式および/もしくは位置が自動的に決定される。
【0005】
WO2018022752(A1)号は、歯列の歯科モデルに関連付けられる歯科情報を認識する方法であって、複数の患者の歯列のそれぞれの少なくとも一部分を表す複数のトレーニング歯科モデルを、一組の複数のカテゴリのそれぞれに属するその歯列の少なくとも一部分の確率を含む確率ベクトルにマッピングするようにディープニューラルネットワークを訓練することを含む方法を開示している。
【0006】
米国特許出願第20200273248(A1)号は、3Dオブジェクトを表す対応する3Dメッシュを生成するための方法を開示しており、この方法は、初期3次元メッシュを平面メッシュに変形することを含み、平面メッシュの各頂点またはエッジは、初期3次元メッシュからの頂点またはエッジを変形したものであり、この方法は、初期3次元メッシュから直接導出および/または取られた3次元空間内の点を表す3次元座標と、他のサンプルに対するサンプルの位置を表す座標とを各サンプルが含むように複数のサンプルを生成するために、平面メッシュをサンプリングすることを含み、この方法は、複数のサンプルに基づいて、サンプリングされたマトリクスを生成することを含み、この方法は、サンプリングされたマトリクスを対応する3Dメッシュとして表すことを含む。
【0007】
米国特許出願第20200167994(A1)号は、実際の口内構造の3次元表面ジオメトリを検出するための方法であって、口内構造の2次元画像が3次元仮想表面ジオメトリに変換される、方法を開示している。
【0008】
WO2019243241(A1)号は、歯科コンポーネントを構築するための方法を開示している。
【0009】
本出願人は、修復など歯科処置を支援するための改善された方法および製品が求められていることに気付いた。
【発明の概要】
【0010】
前述に関連付けられる制限のうちの少なくともいくつかは、添付の独立請求項の主題によって克服することができる。追加の有利な代替のうちの少なくともいくつかが、従属請求項において概説されることになる。
【0011】
第1の観点から見たとき、デジタル3次元(「3D」)歯科モデルを2次元(「2D」)歯画像に変形するための方法であって、
- 少なくとも2つの選択された画像を3D歯科モデルから提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
- 選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
- それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することとを備える方法を提供することができる。
【0012】
特に、本文脈における2D画像は、非フォトリアリスティックな画像である。したがって、2D画像は、得られる2D画像が人にどのように見え得るかに関係なく、選択された画像のそれぞれをそれらのそれぞれの色成分に変換することによって取得されたデジタル符号化された画像である。フォトリアリスティックな強調、すなわちその現実の物体に対する2D画像の見え方の近さを防止することによって、変形処理に関して特別な規則が守られることを必要としない。したがって、本出願人は、そのような2D画像の適用可能性を、機械可読処理のために向上させる、さらには改善することができることに気付いた。したがって、2D画像は、現実の物体において見える特徴の色または深度に忠実であることを必要としない。要するに、「2D画像」という用語は、本開示では、非フォトリアリスティックな画像を意味するものとして称されるものとする。したがって、本開示では、「2D画像」および「非フォトリアリスティックな2D画像」という用語は、相互交換可能に使用され得る。
【0013】
3D歯科モデルは、複数のコンピュータ処理画像、たとえば3Dスキャンデータもしくは3Dスキャン画像もしくは複数のデジタル写真の形態にあってもよく、または、複数のコンピュータ処理画像、もしくは選択された画像のうちの少なくとも1つを提供するために使用されても、それらを提供することが可能であってもよいことを理解されたい。たとえば、場合によっては、3D歯科モデルは、少なくとも部分的には、コンピュータ支援設計(「CAD」)ソフトウェアによって生成されるモデルであり得る。選択された画像は、複数のコンピュータ処理画像から選択され、および/またはCADモデルから抽出され得る。3D歯科モデルは、データベースなどメモリロケーションにおいて提供され得る。
【0014】
したがって、前述に鑑みて、デジタル3次元(「3D」)歯科モデルを2次元(「2D」)歯画像に変形するための方法であって、
- 3Dモデルから少なくとも2つの選択された画像を提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
- 選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
- それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することとを備える方法をも提供することができる。
【0015】
本出願人は、それを行うことによって、患者に関係する歯構造を表す3D歯科モデルを、機械学習(「ML」)および人工知能(「AI」)などデータドリブン技法をよりよく利用するのに特に適したフォーマットに変形することができることに気付いた。したがって、本教示は、3D情報を3Dモデルからコンピュータ化された分類に特に適した2D表現に変形することを可能にすることができる。したがって、3Dジオメトリに基づく分類可能な多成分2D画像を提供することができる。得られる2D画像は、データドリブン技法を使用して歯構造をコンピュータ認識するのにより適したものとすることができる。したがって、たとえば、歯構造を非フォトリアリスティックな2D画像からより確実に認識することができ、これは、患者に正しい歯科置換を提供することを容易にすることができる。歯構造に従って必要とされる必要処理ステップを決定し、さらには、たとえば歯修復によって適用することが可能になり得る。別の利点は、畳み込みニューラルネットワーク(「CNN」)など容易に使用可能なデータドリブン技法を、非フォトリアリスティックな2D画像から歯構造を検出するために適用することができ、したがって歯牙健康環境においてより容易に展開することができるデータドリブン解決策が得られることとすることができる。CNNは、画像解析に特に適しており、その結果、提案されているように3Dモデルを2D画像に変形することによって、そのような技法を、歯牙特徴検出のために利用することができる。したがって、提案されているように3Dモデルを非フォトリアリスティックな2D画像に変形することによって、データドリブン技法を適用するのにより適したもの、および/またはより容易なものとすることができる3Dジオメトリに基づく分類可能な多チャネル表現が提供される。
【0016】
3D歯科モデルは、メモリロケーションに予め存在してもよく、またはメモリロケーションにおいて生成されてもよい。したがって、方法は、
- メモリロケーションにおいて、歯構造の3D歯科モデルを提供することを含み得る。
【0017】
好ましくは、選択された画像のうちの少なくとも1つは、歯構造の深度マップ表現であり得る。それぞれの色成分、またはそれぞれの色チャネルは、深度マップ画像をその成分内で記憶するために使用され得る。したがって、それぞれのチャネルの色値は、深度マップ内で示される深度値を表し得る。そのような成分は、2.5Dレンジの画像またはマップを表すと言うことができる。
【0018】
しかし、場合によっては、選択された画像のうちの少なくとも1つは、歯構造のX線画像および/またはコンピュータ断層撮影(「CT」)画像であり得る。たとえば、選択された画像のうちの1つは、歯構造の表面スキャン画像であり得、一方、選択された画像の別のものは、歯構造のCT画像またはX線画像であり得る。
【0019】
選択された画像のそれぞれは、好ましくは、歯構造の同じ軸に関する獲得像である。たとえば、選択された画像のうちの1つは、歯構造の表面画像または深度マップであり得、一方、選択された画像のうちの別のものは、表面画像が取り込まれる同じまたは同様の軸に沿って取り込まれたCT画像であり得る。この場合、当業者ならそれが歯構造の詳細、たとえば構造の複雑さおよび/またはサイズに依存し得ることを理解するので、「同様の」を指定することは必要とされない。非限定的な例として、それぞれの獲得像が取り込まれる軸または点で、歯構造に対して互いに偏差が10度以下であるものは、「同様の」と考えられ得る。場合によっては、CT画像は、表面画像が取り込まれる点から180度または約180度から取り込まれ得ることを理解されたい。そのような場合でもさらに、画像は、同じまたは同様の軸に沿って取り込まれるものと考えられ得る。同様の場合、たとえば2つの選択された画像が表面画像であるときもまた可能である。画像のうちの1つは、歯構造の「上部」側からの獲得像、一方、他方は、歯構造の「底部」側からのものであり得、すなわち、両獲得像は、互いに180度または約180度にある。そのような上部画像および底部画像は、2D画像を取得する前に、1つまたは複数の変形を使用して変形され得る。そのような変形は、ミラーリングおよび/または位置合わせを含み得る。
【0020】
本変形は、3Dメッシュモデルが2Dメッシュへと平坦にされるメッシュベースの技法に比べて利点を有することができる。そのような場合、メッシュのノード値だけが平坦にされたバージョン内に記憶され得、それらの関係は記憶されないので、そのような平坦化により歪みが生じる可能性がある。提案されている2D画像への変形を使用することによって、3D歯科モデルを対応する2D画像によりよく表現したものが提供される。得られる2D画像は、データドリブン技法を利用するためにより良好に比較可能なものとすることができる。さらに、3Dモデルからの画像のアスペクト比を、生成された2D画像内で維持することができ、したがって、歪みを解消または最小限にする。
【0021】
それに加えて、または代替として、選択された画像のうちの少なくとも1つは、特徴レイヤであり得る。特徴レイヤは、境界および/または対象の領域および/または歯構造の属性を表すものであり得る。この利点は、準備線のコースまたは他の対象の特長など追加の情報を同じ分類可能な2D画像に含むことができることである。
【0022】
本教示の別の利点は、本明細書に開示されている2D表現を、従来の手法に比べてより効率的なものとすることができることである。従来、3D歯構造または歯科物は、三角測量によって、また3Dボクセル画像によって、空間的に表すことができる。本文献には、このボリューム表現に基づく方法について記載されている。したがって、ボクセルを検出することができる3Dグリッドボリュームが広げられる。ボクセル表現は、たとえばバイナリ、すなわち(ボクセル=ボリュームの一部、またはボリュームの一部でない)であり得る。データ処理で利用される歯科物の従来使用されている三角測量は、幾何学的に異なる物体を、一意のトポロジを用いる三角測量メッシュによって最適に表すことができるとは言えないので、ニューラルネットワークなどデータドリブン技法と共に処理するのにあまり適していないことがある。さらに、ボクセル表現の主な欠点は、データ記憶ボリュームに対する需要が甚だしいこととすることができる。したがって、提案されている表現は、少なくともデータドリブン技法を使用する分類のために、2D画像において比較可能な情報内容を有するボクセル表現に比べて基本的によりコンパクトなものとすることができる。
【0023】
したがって、本教示によれば、このようにして、異なる投影からの情報、および/または3Dデータセットから単一の非フォトリアリスティックな2D画像へ導出される特徴(たとえば、準備線、穿孔、メソ構造など)を記憶することが可能になり得る。大抵の場合、歯ジオメトリは、たとえば2つ以上の深度マップ表現から導出される2つの投影、たとえば異種の投影深度および/または角度を有する画像とすることができる2つの異種の獲得像を2D画像内に含むことによって十分に表すことができる。3つ以上の異種の獲得像を含むこともできる。したがって、異種の獲得像は、1つまたは複数の深度マップ表現、および1つまたは複数の異種の特徴レイヤとすることもさらにできる。さらに明確にするために、いくつかの非限定的な例は、以下を備える2D画像である。
1.1つの深度マップレイヤ、および1つの特徴レイヤ(2つの色成分によって表される)、または
2.2つの異種の深度マップレイヤ、および1つの特徴レイヤ(3つの色成分によって表される)、または
3.1つの深度マップレイヤ、および2つの異種の特徴レイヤ(3つの色成分によって表される)、または
4.2つの異種の深度マップレイヤ、および2つの異種の特徴レイヤ(4つの色成分によって表される)。
【0024】
選ばれる色モデルが可能とする場合、さらなる色成分が可能であり得る。したがって、色モデルは、カスタム色モデルであり得、または標準色モデルであり得る。しかし、本教示の範囲または一般性を限定することなく、色モデルは、好ましくは、標準タイプのものである。なぜなら、データドリブン技法、特に画像処理または認識に適したものをより容易に展開することを可能にすることができるからである。
【0025】
したがって、この文脈における「色モデル」は、色をデジタル値として指定するコンピュータ可読モデルを指す。これらの値は、複数の色成分またはそれらの表現のいずれかとして指定される。大抵の標準色モデルは、3つまたは4つの値または色成分を使用する。3チャネル色モデルのいくつかの非限定的な例は、RGB、RYB、CMY、HSL、およびHSVである。4チャネル色モデルのいくつかの非限定的な例は、RGBA、RGBW、RGBY、およびCMYKである。しかし、色モデルは、色値を指定する複数のチャネルまたは成分を備える任意の表現、標準、またはカスタマイズされたものとすることができる。
【0026】
2D画像のうちの1つの上記例4.、すなわち、2つの異種の深度マップレイヤおよび2つの異種の特徴レイヤを備える2D画像を参照する。たとえば、前記2D画像は、以下のように取得され得る。第1の深度マップレイヤをRGBAモデルの「赤」成分に変換する。さらに、第1の深度マップレイヤに異種の第2の深度マップレイヤは、「緑」成分に変換され得、第1の特徴レイヤは、「青」成分に変換され得、第1の特徴レイヤに異種の第2の特徴レイヤは、「アルファ」成分に変換され得る。RGBAフォーマットの2D画像を取得するために、これらの4つの成分を組み合わせることができる。
【0027】
当業者なら、それぞれのレイヤがそれぞれの成分またはチャネルにおいて組み合わされる特定のシーケンスは、本教示の範囲または一般性を限定するものではないことを理解するであろう。しかし、データドリブン技法を適用するために、定義されている表記に従うことは、それによりそれぞれの成分が歯構造に関係する特定の情報を表すことができ、したがってデータドリブン技法に基づく分類をより好適なものにするので、複数の2D画像を生成する際に有利とすることができる。さらに、上記に対する代替として、4成分画像は3つの深度レイヤと1つの特徴レイヤを組み合わせることによってもさらに取得され得るので、本明細書で与えられている例は、理解を容易にするための例示のためのものであり、本明細書において明示的に概説されていないことがある成分およびモデルの他の可能な好適な組合せに対して限定する効果を有していない。
【0028】
論じられているように、好ましい態様によれば、2D画像は、少なくとも2つの深度マップレイヤを備える。これは、歯構造の異なる投影または深度からの特徴が、データドリブン技法を使用してよりロバストに検出することができる、色空間における一意のパターンを生み出すことができるという利点を有することができる。
【0029】
選択された画像のそれぞれをそれらの色モデルのそれぞれの色成分に変換することは、色モデルの各成分に対応する色成分レイヤを生み出すことを含み得ることが、当業者には明らかであろう。したがって、色モデルフォーマットの2D画像は、色成分レイヤを組み合わせることによって取得される。
【0030】
「歯構造」という用語は、天然および/または人造の口腔解剖学的構造に関係するいずれか1つまたは複数の3次元オブジェクトまたは口内ジオメトリを含む。したがって、この用語は、歯列、歯修復物、それらの置換などいずれか1つまたは複数の物理的な物体を含み得る。いくつかの非限定的な例として、歯構造は、1つまたは複数の歯および/もしくは挿入されることになる修復物の直近の周囲、ならびに/または挿入されることになる修復物周りの口腔内のより大きいエリアおよび/もしくは修復物それ自体を指し得る。したがって、歯構造は、歯牙状況であり得、または歯修復物、さらにはそれらの組合せであり得る。
【0031】
「歯牙状況」という用語は、光学3Dカメラなどスキャナを使用して記録された歯構造を指す。
【0032】
歯修復は、患者の口腔解剖学的構造に関係する任意の修復とすることができる。たとえば、歯修復は、CAD/CAM方法により製作され、または製作可能であり得る。いくつかの非限定的な例として、修復は、インレー、歯冠、ブリッジ、支台、橋体架工歯、またはベニヤのうちのいずれか1つまたは複数であり得る。
【0033】
「3D歯科モデル」という用語、または3Dモデルは、歯構造、たとえば患者に関係する歯修復または歯牙状況のコンピュータ可読モデルを指す。より詳細には、3D歯科モデルが歯牙状況モデルである場合、それは患者の口腔内またはその一部のデジタル表現であり得る。3D歯科モデルが歯修復モデルである場合、それは歯科置換のデジタル3D表現であり得る。歯修復モデルは、CADソフトウェアを介して提供される出力データであり得、および/または、物理的な修復の少なくとも1つの獲得画像を含み得る。場合によっては、歯構造は、歯牙状況と歯修復の組合せであることが可能である。たとえば、選択された画像がすでに歯修復物が取り付けられている患者に対して実施された獲得像である場合、3Dモデルは、1つまたは複数のX線および/またはCT獲得像を含むことも、含まないこともある。
【0034】
一般に、3Dモデルは、患者に関係する歯ジオメトリを示すものである。3D歯科モデルは、歯科カメラもしくは口内スキャナなど口腔スキャナ、および/またはX線システムおよび/またはCTシステムなどいずれか1つまたは複数の撮像システムを使用して実施される1または複数の測定を介して生成され得る。したがって、場合によっては、たとえば、歯牙状況の場合、3Dモデルは、口腔スキャナを用いて記録され得る。この記録は、複数のビューおよび/または深度、たとえば咬合方向、舌方向、および/または唇方向のうちのいずれか1つまたは複数から歯構造を取り込み得る。3Dモデルは、たとえば、それだけには限らないが深度マップ、咬合小面情報に基づく疑似画像、または他のマルチアングル画像を含む3Dオブジェクトの複数の2D表現として、任意の好適なフォーマットにあり得る。3Dオブジェクトの3D表現のいくつかの非限定的な例は、ボリューメトリック表現、点群、プリミティブベースのモデル、またはメッシュを含む。
【0035】
仮想モデルは、医師が従来の物理的な石膏モデルと同様にしてコンピュータシステムを介して個々の患者の修復および/または口腔内を調査することを可能にすることができる。口腔内の3Dモデルもまた、医師が、患者の特定の歯科問題に対処するとき、方法または手法を調査することを可能にすることができる。モデルは、たとえば歯科問題を取り除くために補綴物、歯科用ブラケット、アライナなど物理的なエンティティの設計のためにも使用され得る。たとえば、補綴歯科学では、患者の歯の3Dモデルは、口腔内の物理的なモデルを製造するための、ならびに/またはコーピングおよび/もしくは補綴物を設計および製造するための機械加工データを提供するために使用され得、一方、歯科矯正学では、患者の歯の3Dモデルは、歯科矯正装置、たとえば歯科矯正用ブラケットおよび/もしくはアライナが設計および製造されることを可能にするために、ならびに/または治療を設計するために操作され得る。
【0036】
「仮想」という用語は、モデル、モデルの操作など、特に3D歯科モデルに関して本明細書で参照されるとき、たとえば、CAD/CAMシステム、コンピュータ、コンピュータネットワークなどにより、すなわちコンピュータ環境において、特にデジタル歯科学に関して、生み出されること、シミュレーションされること、操作されること、実施されることなどを指す。
【0037】
場合によっては、挿入されることになる修復物の領域において解析が実施され得、これは、咬合方向、近心方向、舌方向、頬側方向、および/または唇方向など様々な方向からの準備物を含むことができる。3Dモデルは、複数のレイヤ、いわゆるハイライトフィールドに切断され得る。3Dモデルのハイライトフィールドは、3Dモデルの複数のレイヤによって、および/または3Dモデルのそれぞれの表面点と仮想スキャナまたはカメラの定義されている位置との間の距離に対応するハイライトフィールドの各画素の輝度によって形成され得る。そして、後者において指定されるような咬合方向からのそのようなハイライトフィールドは、たとえば、スキャナから離れて配置されている3Dモデルの表面領域に対応する暗い領域を含み、スキャナのより近くに配置されている3Dモデルの表面エリアに対応する明るい領域を含むことになる。
【0038】
場合によっては、たとえば、3Dモデルが光学スキャニングを介して獲得される画像から構築されるとき、最初に複数の2次元スキャンまたは光学画像が獲得または記録され得る。次いで、これらの獲得されたスキャンから、レリーフのような深度情報が取得され得る。そのような情報は、2.5D、または2.5Dデータセットであると考えられ得る。次いで、少なくとも2つの2.5Dデータセットは、1つまたは複数の3Dモデルを構築するために組み合わされ得る。後者のステップは、2.5Dデータセットの少なくとも1つの対ごとの共通部分を含み得る。同様に、選択された画像が特定のビューである、または3Dモデルたとえば修復モデルの特定の軸に沿った獲得像であるとき、そのような画像は、通常2.5Dまたは2.5Dデータセットである。
【0039】
したがって、3Dモデルは、複数のコンピュータ可読画像または1つもしくは複数のデータセットの形態にあり得る。「コンピュータ処理画像」という用語は、3Dメッシュデータセットを含むと考えられる。3Dメッシュデータセットまたはより大きな歯科モデルは、それぞれが歯構造の特定の一部またはビューに関係するサブデータセットを備え得る。
【0040】
それに加えて、または代替として、3D歯科モデルは、口腔解剖学的構造全体のモデルであり得、または口腔解剖学的構造の一部のモデルであり得る。たとえば、3D歯科モデルは、患者の顎全体を表すモデルであり得、または顎のうちの1つのモデルであり得、または歯1本だけのモデルであり得、またはすでに挿入された修復物のまさにそのモデルであり得る。したがって、3D歯科モデルは、口内ジオメトリに関連し得る。場合によっては、3Dモデルは、純粋に患者の口腔にまだ装着されていない歯構造のものであり得る。したがって、3Dモデルは、場合によっては、患者の口内データを含まないことがある。後者の場合の一例は、3Dモデルが修復物、またはより詳細には、患者の口腔内にまだ取り付けられていない修復物に関するときである。
【0041】
3Dモデルは、複数の3Dサブモデルの組合せでさえもあり得、たとえば、3Dモデルは、歯の3Dモデルと歯冠の3Dモデルの組合せであり得る。
【0042】
場合によっては、3D表現または点空間の形態にある3Dモデルは、たとえば、色モデルの色成分に変換する前に平坦化によって、2D表現に変換され得る。
【0043】
したがって、一態様によれば、この方法は、
- 選択された画像のうちの少なくとも1つを2D表現に変換することをも備え得る。
【0044】
したがって、3D表現である選択された画像のうちの少なくとも1つは、まず、色モデルのそのそれぞれの色成分に変換される前に、2D表現に変換される。
【0045】
「選択された画像」という用語は、色モデルまたは2Dカラー画像のフォーマットの2D画像を構築するために変換されるコンピュータ可読画像またはデータセットを指す。したがって、選択された画像のそれぞれは、選択された画像の残りの部分に比べて異なる特質を有する同じ歯構造に関連する獲得像である。たとえば、これらの特質は、投影深度、断面、斜視図、または方向のうちのいずれか1つまたは複数であり得る。さらなる非限定的な例として、2Dカラー画像を取得するために使用されている2つの選択された画像は、異なる投影深度を有し得、または非同一の深度マップを有し得、または同じ歯構造の異種の深度画像であり得る。それに加えて、または代替として、選択された画像のうちの少なくとも1つは、境界を表す特徴レイヤ(たとえば、準備マージン、穴、接続界面)、および/または対象の領域、および/または歯構造の属性(たとえば、接触エリア、高詳細エリア、安全エリア、湾曲)であり得、またはそれらを備え得る。特徴/属性は、たとえば、ジオメトリから確立されたアルゴリズムまたは画像処理によって取得することができる。したがって、特徴レイヤは、処理に適している1つまたは複数の境界またはエリアを指定し得る。たとえば、いくつかの領域または歯構造があるやり方で処理されることを必要とする場合、この要件を、特徴レイヤ内で提供することができる。
【0046】
選択された画像は、スキャナ、X線、またはCTシステムなど撮像デバイスを介して獲得され得、またはCADソフトウェアを介して取得される投影もしくは断面の獲得像であり得る。同様に、特徴レイヤもまた、たとえば、CADソフトウェアまたはシステムを介して提供される獲得像である。
【0047】
先に概説されているように、選択された画像のそれぞれは、色モデルの非同一の色成分に変換される。任意選択で、1つまたは複数の特徴レイヤもまた、そのそれぞれが色モデルの他の成分の色成分とは異なるそれらのそれぞれの個々の色成分に変換される。
【0048】
次いで、色成分または色成分レイヤのそれぞれが、色モデルの2D画像を取得するために組み合わされる。色成分または色成分レイヤを組み合わせることは、ミラーリング、回転、クロッピング、正規化、リサイズ、位置合わせなど1つまたは複数の他の機能または変形を実施することを含み得る。たとえば、任意の2つのレイヤ間のミラーリング、回転、位置合わせ、および/または正規化は、2つのレイヤ間で特徴をマッチングするなど特有の特徴を使用することによって、コンピューティングユニットを介して自動的に行われ得る。代替として、位置合わせまたは正規化など少なくとも1つの、または他の機能は、選択された画像に対して実施され得る。それに加えて、または代替として、1つまたは複数の選択された画像および/またはそれぞれの色成分は、組み合わせる前に処理され得る。したがって、前記処理は、ミラーリング、回転、位置合わせ、コントラスト、輝度、飽和の変更など変形のうちのいずれか1つまたは複数を含み得る。
【0049】
一態様によれば、この方法は、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供することと、
- データドリブンロジックを介して、2D画像の分類値を決定することとをさらに備える。
【0050】
したがって、複数のヒストリカル2D画像を使用して訓練されたデータドリブンロジックは、2D画像を分類するために利用することができる。好ましくは、データドリブンロジックは、2D画像と同じようにして生成されたヒストリカル2D画像を使用して訓練される。
【0051】
したがって、歯構造を表す2D画像は、訓練されたデータドリブンロジックにより解析される。したがって、歯構造に関係する1つまたは複数の特性が、分類値を決定するために、訓練されたデータドリブンロジックを介して解析される。分類値は、歯構造のタイプに関連付けられる統計または確率値であり得、および/または歯構造のタイプを直接指定し得る。たとえば、訓練されたデータドリブンロジックは、分類値を決定するために、2D画像の形状および/または色分布を解析し得る。本明細書に開示されている方法に従って1つまたは複数の2D画像に変形されたときの歯構造の1つまたは複数の同様のタイプは、同様の性質の1つまたは複数の深度および/または特徴特性に変形されるので、2D画像を訓練されたデータドリブンロジックへの入力ファイルとして使用して、データドリブン技法を、そのような特性またはそれらのパターンを検出するために利用することができる。前記特性および/またはパターンを検出することによって、訓練されたデータドリブンロジックは、分類値として推論を生成する。
【0052】
異なる選択された画像を記憶するために色モデルの色成分レイヤを利用することの別の利点は、選択された画像内に見える同様の構造に関連付けられる特徴が、異なる色組合せおよび/または形状を作り出すように、それぞれの色値に従って混ざり合うことができ、その結果、データドリブンロジックを介してこれらを学習および検出することができることである。したがって、多次元/深度情報を、同じ2D画像を介して検出することができる。別の利点は、2D画像が、多次元/深度情報を含むにもかかわらず、依然として使用者が認識可能であり得ることとすることができる。これは、たとえば、ユーザがデータドリブンロジックを介して実施された分類を検証したいと望む場合、有益であり得る。これは、2D画像を観ることによって可能とすることができる。
【0053】
したがって、分類の別の観点から見たとき、訓練されたデータドリブンロジックを使用して歯構造を分類するための方法であって、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供することと、
- データドリブンロジックを介して、2D画像の分類値を決定することとを備え、
2D画像は、色モデルのコンピュータ可読フォーマットにあり、2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されており、選択された画像は、歯構造の異種のコンピュータ処理獲得像である方法をさらに提供することができる。
【0054】
したがって、本教示は、本明細書に開示されているように、2D画像を使用して歯構造を分類するために有利に利用することができる。
【0055】
本出願人は、本教示が歯修復を分類するために特に有利なものであると見出した。これに関する利点のうちの1つは、大抵の歯修復の3Dモデルが、たとえば、CADソフトウェアを介してすでにデジタル形態で使用可能であることとすることができる。したがって、少なくとも2つの選択された画像、特にそのうちの少なくとも1つは深度マップであるものをデジタル3Dモデルからポートすることによって、本明細書に開示されている2D画像が生成され得る。したがって、データドリブンロジックのためのトレーニングデータを、より容易に生成することができる。これは、自動的な歯構造分類解決策の展開をより容易にすることができる。さらに、歯科医師または検査室技術者などユーザが歯修復を選択したとき、訓練されたデータドリブンロジックおよびユーザに提供される確認を使用してこれをより迅速に分類することができる。これは、間違いさらには間違った処置を防止し、または準備を実施することができる。
【0056】
「データドリブン」モデルまたはロジックという用語は、ビッグデータを備えるトレーニングデータセットからの統計および/またはヒューリスティック情報で訓練されるデジタルモデルまたはコンピュータロジックを指す。そのようなロジックまたはモデルは、その機能を純粋にトレーニングデータセットから導出するいわゆる「ブラックボックス」モデルであり得、または解析もしくは機械的ロジック部をも備える「グレイボックス」とすることができる。データドリブンロジックのいくつかの非限定的な例は、人工ニューラルネットワーク(「ANN」)および畳み込みニューラルネットワーク(「CNN」)である。
【0057】
したがって、訓練されたデータドリブンロジックは、ANNを備え得る。より詳細には、訓練されたデータドリブンロジックは、CNNを備えることができる。CNNは、フィードフォワード人工ニューラルネットワークである。CNNは、生物学的処理によって触発された機械学習の分野に属する。たとえば、CNNは、一般に、その後にプーリングレイヤが続く畳み込みレイヤを備える。原理的には、このユニットは、望むだけ反復することができる。複数の反復を備えるとき、いわゆるディープラーニングのエリアに入るそれらは、ディープCNNと称されることがある。CNNは、レイヤごとの畳み込みカーネルの自由パラメータまたは分類子を学習すること、およびネットワーク内の次のレイヤへのオフセットのためにそれらを重み付けすることによって訓練される。CNNベースのデータドリブンロジックは、本明細書に開示されているように色モデルフォーマットの2D画像を使用して歯構造を分類するのに、特に有利とすることができることに本出願人は気付いた。
【0058】
場合によっては、分類値は、出力信号を提供するためにさらに処理され得る。たとえば、分類値が統計値である場合、前記統計値は、出力信号を生成するためのさらなる計算のために使用され得る。出力信号は、推論または決定、たとえば歯構造の特定のタイプ、たとえば、特定の修復を選択することを提供し得る。
【0059】
一態様によれば、この方法は、
- 分類値に応答して出力信号を生成することをさらに備える。
【0060】
分類値および/または出力信号は、ヒューマンマシンインターフェース(「HMI」)システムまたはデバイスに提供され得る。HMIデバイスは、ビデオデバイスおよび/またはオーディオデバイスであり得る。したがって、HMIシステムは、視覚的出力および/または指示を出力するためのビジュアルディスプレイを備え得、および/または可聴指示を出力するためのオーディオデバイスであり得る。たとえば、HMIシステムは、分類値および/または出力信号を出力することによってユーザが正しい決定または判断をするように可聴に指示する、またはそれを助けるスピーカを備え得る。たとえば、推論または決定に基づいて、HMIシステムは、歯構造が特定のタイプのもの、たとえば窩洞、アライナ、または歯冠であることをユーザに可聴に知らせ得る。
【0061】
それに加えて、または代替として、HMIデバイスは、ユーザが歯構造の正しい決定をするように視覚的に指示する、またはそれを助けるビデオ画面などビジュアルディスプレイを備え得る。ディスプレイは、LCDもしくはLED画面などの画面であり得、および/または拡張現実(「AR」)デバイスであり得る。したがって、ビジュアルディスプレイは、少なくとも一部にはARデバイスまたはシステムであり得る。同様に、たとえば、推論または決定に基づいて、HMIシステムは、歯構造のタイプについてユーザに視覚的に知らせ得る。
【0062】
歯構造に関係する統計値、たとえば確実性95%をユーザに可聴に、または視覚的に提供するために分類値が使用される場合、本教示は、決定を確認するためにさらなる解析が必要とされ得るかどうかユーザが気付く助けとなることができる。これは、信頼値をユーザに提供することによってもさらに行うことができる。たとえば、信頼値が低い場合、歯構造に関係するデータドリブンモデルへの異なる入力が提供され得る。この異なる入力は、信頼値を改善する目的で、再度生成される、および/または必要に応じて処理される新しい2D画像であり得る。それに加えて、または代替として、信頼値を改善する目的で、異なる3Dモデルまたはその一部が新しい2D画像に変換され得る。これは、2D画像が、訓練されたデータドリブンロジックによって適正に分類可能なものとしてのフォーマットまたは色成分シーケンスにない場合、2D画像に基づいて誤った決定がなされるのを防止する助けとなることもできる。
【0063】
それに加えて、または代替として、出力信号は、歯科処置、たとえば歯構造のために実施されることを必要とする処置を示すものであり得る。非限定的な例として、歯科処置は、削合、研磨、およびプリンティングのうちのいずれか1つまたは複数であり得る。より詳細には、歯科処置は、歯修復に関係する任意の製造または機械加工処置であり得る。
【0064】
それに加えて、または代替として、この方法は、
- 分類値および/または出力信号に応答して、歯科処置で使用するための器具を自動的に選択することをさらに備え得る。
【0065】
したがって、歯科処置に必要とされる1つまたは複数の器具を、自動的に指定し、さらには準備し、または使用可能状態にすることができる。準備されることにより、それは、微細、粗い、高速、低速、および/または材料(たとえば、セラミック、プリンティング用の樹脂など)のようないずれか1つまたは複数の処理パラメータを指定または構成することをも含み得る。このような自動選択は、ユーザにとって時間の節約になり、および/または誤った器具が使用されるのを防止することができる。
【0066】
「器具」またはより詳細には「機械加工器具」という用語は、材料除去のために適合された任意の器具を含むように、本明細書において相互交換可能に使用され得、とりわけ、たとえばチャンファ、グラインダ、またはドリルなど機械器具、たとえばレーザドリルまたはカッタなどレーザ器具、たとえば超音波カッタなど超音波器具などを含み得る。場合によっては、そのような器具の機械加工経路および材料除去特性を、たとえばコンピュータシステムまたは他の自動化手段によって制御することができる。
【0067】
場合によっては、分類値および/または出力信号に応答して、歯科処置を使用して、CAM研磨機械により、置換物または修復物をブランクから完全自動で製作することができる。それに加えて、または代替として、アディティブマニュファクチャリングなど他の技法が使用され得る。製作は、修復の3Dモデルに基づき得る。これは、ユーザの介入またはインタラクションなく、修復物を完全自動で製作することができるという利点を有することができる。
【0068】
場合によっては、ユーザが、たとえば代替の処置を選択するために示されている歯科処置を覆したいと望む場合、ユーザは、フィードバック入力を提供することによってそれを行い得る。代替として、ユーザは、歯科処置を続行し得る。したがって、方法は、
- HMIを介して、出力信号によって示されている歯科処置が実施されることになるか否かを示すフィードバック入力を受け取ることをも備え得る。
【0069】
論じられているように、本教示に従って生成される2D画像は、歯構造の3Dモデルから変形される情報に基づいてデータドリブン技法のより効果的な適用を可能にすることができる。本明細書に開示されているように取得される複数の2D画像を、データドリブン技法のためのトレーニングデータとして利用することができる。したがって、別の観点から見たとき、本明細書に開示されている方法の態様によって取得可能な2D画像をも提供することができる。複数のそのような画像を、トレーニングデータセットとして使用することができる。一態様によれば、トレーニングデータセットは、1つまたは複数のシミュレーション画像を備え得る。シミュレーション画像は、少なくとも部分的に仮想である画像であり得る。この文脈における仮想は、現実の物体から取り込まれる直接の印象ではなく、コンピューティングユニットを介して生成される画像またはその一部を意味する。したがって、シミュレーション画像は、完全な仮想画像、すなわちコンピュータによって生成された、または合成画像でさえもあり得る。合成画像は、デジタルの現実写真または画像が合成データと置換されることを可能にする画像と考えることができる。たとえば、CADソフトウェアを介して提供される画像は、コンピュータによって生成された、または合成画像と考えられ得る。シミュレーション画像のいずれも、完全に合成のものであり得、または部分的に合成のもの、すなわち、現実の成分および仮想成分を含むものであり得ることを理解されたい。シミュレーション画像のいくつかは、現実の画像を修正することによってもさらに構築され得る。したがって、使用可能である現実の画像の数が限られているにもかかわらず特定の特徴を検出するようにデータドリブンロジックを訓練するために、トレーニングデータセットを向上させることができる。
【0070】
2D画像は、トレーニングデータセットが収集される、および/または必要とされるときアクセスを受けることができるロケーションであり得るメモリロケーションまたはストレージにおいて提供され得る。したがって、この方法は、
- メモリストレージにおいて、2D画像を、および任意選択でフィードバック入力をも提供することをさらに備え得る。
【0071】
したがって、2D画像はまた、任意選択で、メモリストレージから収集され、またはアクセス可能である関連のフィードバック入力であり得る。フィードバック入力を2D画像にリンクすることの利点は、データドリブンロジックによって分類を改善するためにそれを使用することができることとすることができる。たとえば、肯定的なフィードバック信号、すなわちユーザが出力信号によって示されている処置を続行したことに関連付けられるヒストリカル2D画像は、データドリブンロジックを訓練するために強調および優先され得る。これは、たとえば、肯定的なフィードバック信号に関連付けられる画像またはデータポイントに割増しの重みを提供することによって行うことができる。それに加えて、または代替として、否定的なフィードバック信号、すなわちユーザが出力信号によって示されている処置を続行しないことを選んだことに関連付けられるヒストリカル2D画像は、データドリブンロジックを訓練するために強調も優先もされ得ない。これは、たとえば、否定的なフィードバック信号に関連付けられるそれらの画像データポイントにより低い重みを提供すること、さらにはおそらくは、いくつかまたはすべてのそのような画像をトレーニングデータセットから除去することによって行うことができる。したがって、本明細書に開示されている2D画像を備えるトレーニングデータセットを改善することができる。これは、訓練されたデータドリブンロジックを使用して、決定を改善しながら、データセットサイズを削減することができる。
【0072】
したがって、データドリブンロジックは、本明細書に開示されている複数の2D画像を備えるトレーニングデータセットまたはモデルトレーニングデータセットを使用して訓練される。
【0073】
たとえば、一態様から見たとき、方法は、
- データドリブンロジックの入力において、複数のヒストリカル2D画像を備えるモデルトレーニングデータを、および任意選択でフィードバック入力をも提供することを備え得、モデルトレーニングデータは、データドリブンロジックを訓練し、訓練されたデータドリブンロジックを取得するために使用される。
【0074】
したがって、この方法は、上記のように、または上記と同様に、トレーニング段階を含み得る。
【0075】
当業者なら方法ステップは、同じコンピューティングユニットまたは異なるコンピューティングユニットを介して実施され得ることを理解するであろう。
【0076】
別の観点から見たとき、本明細書に開示されている方法の態様によって生成される複数の2D画像を備えるモデルトレーニングデータセットをも提供することができる。
【0077】
別の観点から見たとき、本明細書に開示されている2D画像またはモデルトレーニングデータセットを記憶するコンピュータ記憶媒体をも提供することができる。
【0078】
別の観点から見たとき、歯科処置を支援および/または実施するための、本明細書に開示されている方法ステップのいずれかにおいて生成される分類値および/または出力信号の使用をも提供することができる。
【0079】
別の観点から見たとき、歯科処置を支援するためのシステムであって、本明細書に開示されている方法を実施するように構成されるシステムをも提供することができる。
【0080】
たとえば、少なくとも1つのコンピューティングユニットを備える歯科処置支援システムであって、コンピューティングユニットのうちのいずれか1つまたは複数が、
- デジタル3次元(「3D」)歯科モデルから、コンピュータ処理画像のうちの少なくとも2つを選択された画像として提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
- 選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
- それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することとを行うように構成されるように構成されるシステムを提供することができる。
【0081】
システムは、コンピューティングユニットのうちのいずれか1つまたは複数が、
- 3D歯科モデルを取得する、またはそれにアクセスするために、メモリロケーションに動作可能に接続するように構成されるようにさらに構成され得る。
【0082】
コンピュータ処理画像のうちの少なくとも2つは、3D歯科モデルからもさらに選択され得、または歯科モデルの出力として提供され得る。同様に、たとえば、少なくとも1つのコンピューティングユニットを備える歯科処置支援システムであって、コンピューティングユニットのうちのいずれか1つまたは複数が、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供し、
- データドリブンロジックを介して、2D画像の分類値を決定するように構成され、
2D画像は、色モデルのコンピュータ可読フォーマットにあり、2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されており、選択された画像は、歯構造の異種のコンピュータ処理獲得像であるように構成されるシステムをも提供することができる。
【0083】
本明細書に開示されているシステムのいずれかは、1つまたは複数のコンピューティングユニットを備え得る。任意選択で、システムのいずれか、および/またはコンピューティングユニットのいずれかは、たとえば、1つまたは複数のネットワークインターフェースおよび/またはコネクティビティインターフェースを介して、ネットワークに動作可能に接続するように構成され得る。
【0084】
メモリロケーションは、コンピューティングユニットおよび/またはシステムの一部であり得、または遠隔に位置し、コンピューティングユニットのいずれかを介して動作可能にアクセス可能であり得る。
【0085】
別の観点から見たとき、適切なコンピューティングユニットによって実行されたときコンピューティングユニットに本明細書に開示されている方法のいずれかを実施させる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体をも提供することができる。
【0086】
たとえば、適切なコンピューティングユニットによって実行されたときコンピューティングユニットに、
- デジタル3次元(「3D」)歯科モデルから、コンピュータ処理画像のうちの少なくとも2つを選択された画像として提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
- 選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
- それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することと
を行わせる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体を提供することができる。
【0087】
コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体は、適切なコンピューティングユニットによって実行されたときコンピューティングユニットに、
- 3D歯科モデルを取得する、またはそれにアクセスするために、メモリロケーションに動作可能に接続させる命令をさらに備え得る。
【0088】
同様に、たとえば、適切なコンピューティングユニットによって実行されたときコンピューティングユニットに、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供させ、
- データドリブンロジックを介して、2D画像の分類値を決定させる命令を備え、
2D画像は、色モデルのコンピュータ可読フォーマットにあり、2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されており、選択された画像は、歯構造の異種のコンピュータ処理獲得像である、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体をも提供することができる。
【0089】
コンピュータ可読データ媒体またはキャリアは、本明細書に開示されているいずれか1つまたは複数の方法を実装するための命令(またはソフトウェア)の1つまたは複数のセットが記憶される任意の好適なデータ記憶デバイスを含む。命令は、メインメモリ内に、および/またはコンピュータ可読記憶媒体を構成し得る処理ユニット、コンピューティングユニット、およびメインメモリによるその実行中のプロセッサ内にもさらに部分的にまたは完全に存在し得る。命令は、ネットワークデバイスを介してネットワークの上で送信または受信をもさらにされ得る。
【0090】
本明細書に記載の実施形態のうちの1つまたは複数を実装するためのコンピュータプログラムは、別のハードウェアと共に、またはその一部として供給される光学記憶媒体またはソリッドステート媒体など好適な媒体上に記憶され、および/またはそこで配布され得るが、インターネットまたは他の有線もしくはワイヤレス電気通信システムを介してなど、他の形態でも配布され得る。しかし、コンピュータプログラムは、ワールドワイドウェブのようなネットワークの上で提供されてもよく、そのようなネットワークからデータプロセッサのワーキングメモリ内にダウンロードさせることもできる。
【0091】
さらに、コンピュータプログラム製品をダウンロードで入手可能なものにするためのデータキャリアまたはデータ記憶媒体をも提供することができ、コンピュータプログラム製品は、本明細書に開示されている方法のいずれかによる方法を実施するようになされている。
【0092】
別の観点から見たとき、本明細書に開示されている方法を実施するためのコンピュータプログラムコードを備えるコンピューティングユニットをも提供することができる。また、本明細書に開示されている方法のいずれかを実施するためのコンピュータプログラムコードを備えるメモリストレージに動作可能に結合されたコンピューティングユニットを提供することができる。
【0093】
2つ以上のコンポーネントが「動作可能に」結合または接続されるということは、当業者には明らかであろう。非限定的なものとして、これは、結合または接続されたコンポーネント間に少なくとも1つの通信可能な接続があり得、たとえば、それらはネットワークインターフェースまたは任意の好適なインターフェースであることを意味する。通信可能な接続は、固定されたものであり得、または取外し式であり得る。さらに、通信可能な接続は、一方向であり得、または双方向であり得る。さらに、通信可能な接続は、有線および/またはワイヤレスであり得る。場合によっては、通信可能な接続は、制御信号を提供するためにも使用され得る。
【0094】
「処理ユニット」または「コンピューティングユニット」は、1つまたは複数のコンピュータ処理コアを有する、マイクロプロセッサ、マイクロコントローラなど処理手段またはコンピュータプロセッサを備え得、またはそれであり得る。
【0095】
「コンピュータプロセッサ」は、コンピュータもしくはシステムの基本動作を実施するために構成された任意のロジック回路、および/または一般的に計算もしくはロジック演算を実施するために構成されたデバイスを指す。特に、処理手段またはコンピュータプロセッサは、コンピュータまたはシステムを駆動する基本命令を処理するために構成され得る。一例として、処理手段またはコンピュータプロセッサは、少なくとも1つの算術演算ロジックユニット(「ALU」)、数値演算コプロセッサまたは数値コプロセッサなど少なくとも1つの浮動小数点ユニット(「FPU」)、複数のレジスタ、具体的にはオペランドをALUに供給し、演算の結果を記憶するために構成されたレジスタ、ならびにL1およびL2キャッシュメモリなどメモリを備え得る。特に、処理手段またはコンピュータプロセッサは、マルチコアプロセッサであり得る。具体的には、処理手段またはコンピュータプロセッサは、中央処理ユニット(「CPU」)であり得、またはそれを備え得る。処理手段またはコンピュータプロセッサは、複合命令セットコンピューティング(「CISC」)マイクロプロセッサ、縮小命令セットコンピューティングマイクロプロセッサ(「RISC」)、超長命令語(「VLIW」)マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組合せを実装するプロセッサであり得る。処理手段は、特定用途向け集積回路(「ASIC」)、フィールドプログラマブルゲートアレイ(「FPGA」)、複合プログラマブルロジックデバイス(「CPLD」)、デジタル信号プロセッサ(「DSP」)、次のワードプロセッサにおいて、など1つまたは複数の専用処理デバイスでもあり得る。本明細書に開示されている方法、システム、およびデバイスは、DSP内、マイクロコントローラ内、またはASIC、CPLD、またはFPGA内のハードウェアユニットなど任意の他のサイドプロセッサ内のソフトウェアとして実装され得る。処理手段またはプロセッサという用語は、複数のコンピュータシステムにわたって位置する処理デバイスの分散システムなど(クラウドコンピューティングなど)1つまたは複数の処理デバイスをも指し得、別段指定されていない限り、単一のデバイスに限定されないことを理解されたい。
【0096】
「コネクティビティインターフェース」は、信号またはデータの転送または交換など通信を確立するためのソフトウェアおよび/またはハードウェアインターフェースを指す。通信は、有線であり得、またはワイヤレスであり得る。コネクティビティインターフェースは、好ましくは、1つまたは複数の通信プロトコルに基づき、またはそれらをサポートする。通信プロトコルは、ワイヤレスプロトコル、たとえばBluetooth(登録商標)もしくはWi-Fiなど短距離通信プロトコル、またはセルラもしくはモバイルネットワーク、たとえば第2世代セルラネットワーク(「2G」)、3G、4G、ロングタームエボリューション(「LTE(登録商標)」)、もしくは5Gなど長距離通信プロトコルであり得る。代替として、またはそれに加えて、コネクティビティインターフェースは、知的所有権のある短距離または長距離プロトコルにもさらに基づき得る。コネクティビティインターフェースは、いずれか1つまたは複数の標準および/または知的所有権のあるプロトコルをサポートし得る。
【0097】
「ネットワークインターフェース」は、ネットワークとの動作可能な接続を可能にするデバイスまたは1つもしくは複数のハードウェアおよび/もしくはソフトウェアコンポーネントのグループを指す。
【0098】
「メモリストレージ」は、データの形態にある情報を好適な記憶媒体内で記憶するためのデバイスを指し得る。好ましくは、メモリストレージは、機械可読であるデジタル形態の情報、たとえばコンピュータプロセッサを介して可読であるデジタルデータを記憶するのに適したデジタルストレージである。したがって、メモリストレージは、コンピュータプロセッサによって可読であるデジタルメモリストレージデバイスとして実現され得る。さらに、好ましくは、デジタルメモリストレージデバイス上のメモリストレージは、コンピュータプロセッサによっても操作され得る。たとえば、デジタルメモリストレージデバイス上に記録されたデータの任意の部分が、コンピュータプロセッサによって新しいデータで部分的または全体的に書き込まれ、および/または消去され、および/または上書きされ得る。
【0099】
本明細書で論じられている「ネットワーク」は、任意の好適な種類のデータ伝送媒体、有線、ワイヤレス、またはそれらの組合せであり得る。特定の種類のネットワークは、本教示の範囲または一般性に対して限定するものではない。したがって、ネットワークは、少なくとも1つの通信エンドポイントと別の通信エンドポイントとの間の好適な任意の相互接続を指すことができる。ネットワークは、1つまたは複数の分散ポイント、ルータ、または他のタイプの通信ハードウェアを備え得る。ネットワークの相互接続は、物理的な有線配線、光学および/またはワイヤレス無線周波数(「RF」)方法によって形成され得る。具体的には、ネットワークは、光ファイバネットワークなど有線配線によって完全もしくは部分的になされた物理ネットワーク、または導電性ケーブルによって完全もしくは部分的になされたネットワーク、またはそれらの組合せを備え得る。ネットワークは、少なくとも部分的にはインターネットを備え得る。
【0100】
次に、本教示のいくつかの態様について、前記態様を例として説明する添付の図面を参照して論じる。本教示の一般性はそれに依存しないので、図面は原寸に比例していないことがある。方法およびシステムの態様は、理解を容易にするために、併せて論じられることがある。図面に示されているいくつかの特徴は、理解のために、また本教示の一般性または範囲に影響を及ぼすことなく、物理的な特徴と共に示される論理的な特徴であり得る。
【図面の簡単な説明】
【0101】
図1】歯冠の2D画像を取得するための一態様を示す図。
図2】ガイドの2D画像を取得するための一態様を示す図。
図3】歯牙状況および修復物を示す図。
図4】本教示の方法の態様を示すフローチャート。
図5】本教示の分類態様を示すフローチャート。
図6】選択された画像がCADによって生成されたものである一態様を示す図。
【発明を実施するための形態】
【0102】
図面に示されている符号は、本教示の例の後続の説明において参照されることになる要素を示す。
【0103】
本明細書に記載の例示的な態様によれば、たとえば歯科スキャンを支援するための方法、システム、およびコンピュータ可読記憶媒体を提供することができる。
【0104】
図1は、色モデルのコンピュータ可読フォーマットの2次元歯画像101の取得を示す概略的なフロー100を示す。この非限定的な例における色モデルは、RGBモデルである。したがって、この場合、2D画像101は、コンピュータ可読RGB画像である。2D画像101は、デジタル3次元歯科モデルの変形されたバージョンである。デジタル3D歯科モデル(または単に3Dモデルと称される)は、患者に関係する歯構造の複数の異種の獲得像によって表され得る。この例における歯構造は、修復物、より詳細には歯冠である。この例に示されているように、3つの画像または3つの選択された画像111、112、および113が3Dモデルから提供される。3Dモデルは、図1に示されている歯冠のCADモデルとすることができる。選択された画像111、112、および113は、歯冠の異種の獲得像であり、たとえば、第1の画像111および第2の画像112は、同じ歯冠に関係するが、ビューが異なる。場合によっては、画像は、歯冠構造内への異なる深度にもさらに関する。この例では、第1の画像111は、歯冠の上部投影であり、一方、第2の画像112は、歯冠の底部投影である。したがって、第1の画像111および第2の画像112は、歯冠の同じ軸、たとえば歯冠の高さを通って延びる仮想軸に関する。好ましくは、選択された画像111、112、および113のそれぞれは、同じまたは同様の縮尺を有する。いくつかの非限定的な例として、画像111、112、および113のそれぞれは、歯冠に対して縮尺1:1程度を有する画像であり得、または、それらのそれぞれは、歯冠のサイズに対して縮尺10:1程度である。特定の倍率または1つの画像の縮尺と別のものとの間の精密な一致は、本教示の一般性に関して限定するものではない。
【0105】
第1の画像111および第2の画像112は、ここではグレイスケール深度画像として示されている。第1の画像111および第2の画像112は、歯冠の3DCADモデルを介して提供され得る。代替として、またはそれに加えて、画像111および画像112のうちの少なくとも1つは、獲得画像、たとえば光学的に取り込まれる画像、さらには歯冠のX線またはCT画像であり得る。
【0106】
場合によっては、2D画像101を取得するために、3つではなく選択された画像を2つだけとすることができることを理解されたい。したがって、色成分またはチャネルのうちのいずれか1つを、ブランクとする、または所定の状態に設定することができる。そのような2成分画像は、第1の画像111および第2の画像112、または第1の画像111および第3の画像113、または第2の画像112および第3の画像113を使用して取得され得る。それぞれの画像が変換されるべき特定のシーケンスまたは特定の成分は限定するのもではないが、画像は、好ましくは、訓練されたデータドリブンロジックが訓練を受けたトレーニングデータと同様のシーケンスまたはフォーマットで取得されるべきである。これは、訓練されたデータドリブンロジックを使用して2D画像101の適正な分類を可能にすることができる。
【0107】
この例に示されている第3の画像113は、境界および/または対象の領域および/または歯冠の属性を表し得る特徴レイヤである。この場合、第3の画像113は、歯冠の境界114を示す。特徴レイヤのいくつかの他の非限定的な使用は、準備マージン、特定の処理ステップのエリアまたは線表現などを含む。
【0108】
選択された画像111、112、および113のそれぞれは、いずれか1つまたは複数のコンピューティングユニットを介して色モデルのそれぞれの色成分に変換される。わかるように、第1の画像111は、RGBモデルの赤成分121または赤チャネルに変換される。同様に、第2の画像112は、RGBモデルの緑成分122または緑チャネルに変換され、第3の画像113は、RGBモデルの青成分123または青チャネルに変換される。第1の画像111および第2の画像112など深度画像の場合、それぞれの色成分は、その成分内で深度マップ値を記憶するために使用され得る。たとえば、第1の画像111のグレイスケール値は、変換された赤画像またはレイヤ121の赤色値に変換される。同様に、第2の画像112のグレイスケール値は、変換される緑画像またはレイヤ122の緑色値に変換することができる。特徴レイヤ113の場合、たとえば、境界114だけが変換された青画像またはレイヤ123内の対応する青値124に変換される。境界を表さない特徴レイヤ113のエリア115は、ブランクで残すことができ、またはそのそれぞれの色成分レイヤ内の別の所定の色値125、この例では青成分123に設定され得る。
【0109】
変換は、対応する色成分の色値へのそれぞれのグレイ値の直接変換を意味し、または、任意の所定の機能、たとえば反転を使用する処理機能を含み得る。
【0110】
色モデルは、RGB以外の任意の他の多成分デジタル色モデルであり得る。色モデルがより多くの成分を有する場合、追加の画像またはレイヤを提供することができる。たとえば、RGBAモデルが使用される場合、第4のチャネルを、別の特徴レイヤまたは別の深度画像を提供するために使用することができる。
【0111】
3D歯科モデル、すなわち選択された画像111、112、および113を備えるモデル、または前記画像を提供するモデルは、メモリロケーションにおいて、たとえばコンピューティングユニットのローカルメモリにおいて、および/またはネットワークもしくはクラウドストレージにおいて提供され得る。選択された画像111、112、および113は、CADシステム、スキャナおよび/もしくはX線もしくはCTシステムなど撮像システムを介して直接提供され得、またはシステムを介した獲得後、処理されたものであり得る。システムは、メモリストレージおよび/またはコンピューティングユニットに直接または間接的に接続され得る。
【0112】
したがって、2D画像101は、フォトリアリスティック性に関係なく色成分121、122、および123を組み合わせる、またはマージすることによって取得される。したがって、2D画像101は、選択された画像111、112、および113のそれぞれからの特徴を含む。したがって、3D情報を、単一の画像内、すなわち2D画像101内で提供することができる。2D画像101は、非フォトリアリスティックな画像であることが有利である。フォトリアリスティックという用語は、当業者には知られている。フォトリアリスティックな画像は、それらの対応する現実の物体の正確な、または可能な限り近い描写であるものである。したがって、フォトリアリスティックなカラー画像は、それが関係する現実の物体と同じまたは同様の色を有することになる。本出願人は、フォトリアリスティックな要件を本明細書で提案されている2D画像101から除去することにより、歯構造の機械ベースの評価のために色空間をよりよく利用することができることを見出した。したがって、本出願人は、データドリブン技法またはデータドリブンロジックを使用してそのような非フォトリアリスティックな2D画像101が分類など解析に特に適したものであると見出した。さらに、複数のそのような画像を2D画像101として備えるトレーニングデータまたはモデルトレーニングデータは、1つまたは複数のデータドリブンロジックユニットを訓練するために使用可能である。好ましくは、モデルトレーニングデータは、同様にして取得されている、すなわち、同様の深度が同じ種類の色チャネルに変換されている2D画像を備える。さらに、本出願人は、1つまたは複数のCNNを備えるデータドリブンロジックが、2D画像101を分類するのに特に適していると見出した。
【0113】
図2は、別の歯構造の別の2次元歯画像201の取得を示す別の概略図200を示す。第2の2D画像201は、サージカルガイドである歯構造に関する。この非限定的な例における色モデルもまた、RGBモデルである。したがって、第2の2D画像201もまた、コンピュータ可読RGB画像である。第2の2D画像201は、第2のデジタル3次元歯科モデルの変形されたバージョンである。第2のデジタル3D歯科モデル(または単に第2の3Dモデルと称される)は、患者に関係する歯構造の複数の異種の獲得像によって表される。したがって、理解されるように、この特定の例における歯構造は、ガイドとして示されている。
【0114】
この例に示されているように、別の3つの画像、または別の3つの選択された画像211、212、および213は、第2の3Dモデルから提供される。別の選択された画像211、212、および213は、ガイドの異種の獲得像であり、たとえば別の第1の画像211および別の第2の画像212は、同じガイドについて獲得されるが、投影または深度が異なる。たとえば、別の第1の画像211は、サージカルガイドの上部投影であり、一方、別の第2の画像212は、ガイドの底部投影である。当業者なら「上部」および「底部」は、理解を容易にするために、本明細書において相対的な意味で使用されるにすぎないことを理解するであろう。より詳細には、これは、本教示の好ましい態様を示すために行われ、すなわち、選択された画像は、好ましくは歯構造の同じ軸に関係し、なぜならこれは、2D画像を生成するためのレイヤを位置合わせおよびオーバーレイすることを容易にすることができるからである。同様に、「側面」図がいくつかの歯構造のためにもさらに使用され得る。より一般的には、歯構造の任意の両側に関係する投影および/または同じまたは同様の軸に沿った任意の内部断面(たとえば、CT画像など)が使用され得る。
【0115】
別の第1の画像211および別の第2の画像212は、ここでは、ガイドに関係するグレイスケール深度画像として示されている。図1を参照してすでに論じたように、2つの成分画像だけで十分であり得る。したがって、いずれか2つ以上のチャネルが使用され得る。図1論じられているものと同様に、色モデルは、4つ以上のチャネルをもさらに有し得る。しかし、場合によっては、たとえば同じデータドリブンロジックを使用して分類を実施するとき、2D画像101と同様にして別の2D画像201が取得されることを有利とすることができる。
【0116】
2D画像101として、さらなる第3の画像213もまた、特徴レイヤを備える。
【0117】
さらなる選択された画像211、212、および213のそれぞれは、色モデルのそれぞれの色成分に変換される。わかるように、さらなる第1の画像211は、赤成分221またはRGBモデルの赤チャネルに変換される。同様に、さらなる第2の画像212は、緑成分222またはRGBモデルの緑チャネルに変換され、さらなる第3の画像213は、青成分223またはRGBモデルの青チャネルに変換される。さらなる特徴レイヤ213は、変換された青画像またはレイヤ223内の対応する青値224に変換される。
【0118】
したがって、第2の2D画像201は、色成分221、222、および223を組み合わせる、またはマージすることによって取得される。したがって、第2の2D画像201は、さらなる選択された画像211、212、および213のそれぞれからの特徴を含む。たとえば、2D画像101および第2の2D画像201は、CNNなどデータドリブンモデルを訓練するために使用されるモデルトレーニングデータ内に含めることができる。したがって、後続の2D画像において、所与の歯構造がたとえば入力として、モデルトレーニングデータを使用して訓練されたデータドリブンロジックにおいて提供されるとき、データドリブンロジックは、モデルトレーニングデータから学習された特徴に基づいて、後続の2D画像を解析および分類することができる。したがって、後続の2D画像がサージカルガイドに関する場合、データドリブンロジックは、第2の2D画像201から学習された特徴に基づいて、それをサージカルガイドとして分類することができる。データドリブンロジックは、後続の2D画像のための分類値を決定または提供することによって、分類を実施し得る。同様に、2D画像101および/または第2の2D画像201は、ヒストリカル2D画像を使用して訓練されたデータドリブンロジックにもさらに提供され得る。場合によっては、分類値それ自体であり得る、または異なる信号であり得る出力信号が提供され得る。好ましくは、ヒストリカル2D画像を備えるモデルトレーニングデータまたはトレーニングデータは、訓練されたデータドリブンロジックが任意の所与の歯構造を解析し、1つまたは複数の分類値および/または出力信号を提供することができるように、複数の異なる歯構造に関する。これは、異なる種類の歯構造を検出または推論することを可能にし、したがって、患者の特定の必要に従って特定の歯構造に従って患者にとって適切な歯修復および/または処置を提供することを可能にすることができる。
【0119】
分類値および/または出力信号は、たとえば、患者に関係する歯構造を適正に査定する際にユーザ(たとえば、歯科医師または助手)を案内するために、HMIシステムに提供され得る。これは、間違った査定、場合によっては患者に対して間違った処置を実施することを低減する助けとなることができる。
【0120】
場合によっては、歯科処置および/または歯科処置で使用するための器具は、たとえば分類値および/または出力信号に応答して、自動的に選択または実施され得る。
【0121】
場合によっては、ユーザフィードバック入力がHMIシステムを介して受け取られ得る。フィードバックは、出力信号によって示されている歯科処置が実施されることになるか否かを示し得る。フィードバックは、モデルトレーニングデータ内に含まれ、ユーザによって肯定的に選択された分類を優先するために利用され得る。これは、将来の分類動作をさらに改善することができる。
【0122】
画像の変形および/または分類など方法の態様は、1つまたは複数のコンピューティングユニットまたはコンピュータ化システムを使用して実施される。したがって、本教示の方法の態様を実施するように構成される新規で発明性のあるシステムをも提供することができる。
【0123】
図3は、歯牙状況330および対応する歯修復物301の一例の図300を示す。本教示は、修復物301の歯構造および/または歯牙状況330を分類するために利用され得る。図300は、スクリュー保持式ブリッジ301として示されている修復物の構築に関する。図300は、歯構造の3つのビュー(A)、(B)、および(C)を示す。ビュー(A)は、歯構造の上面図であり、ビュー(B)は、ブリッジ301の展開を示す側面図であり、一方、ビュー(C)は、患者の顎内の所望の場所で取り付けられるブリッジ(C)を示す。
【0124】
最初に、患者に関係する歯構造は、デジタル3D歯科モデルとして記録され得る。歯牙状況の場合、3Dモデルは、歯科スキャナ、たとえば口内スキャニングデバイスを介して獲得され、または実施される獲得を介して生成され得る。3Dモデル少なくとも2つのコンピュータ処理画像またはデジタルファイルの形態にあり得る。3Dモデルは、患者の口腔解剖学的構造全体のモデルであり得、またはその解剖学的構造の一部のモデルであり得る。たとえば、3Dモデルは、患者の顎全体のモデルであり得、または顎の選択された部分のモデルであり得る。口腔解剖学的構造のそのような選択された部分を表す選択されたエリア330が示されている。選択されたエリアは、たとえば、2D画像、たとえば変形および/または分類されることになる歯構造を表す第2の2D画像201を生成するために使用され得る。この例では、3Dモデルは、患者の顎の一部であるビュー(A)におけるものと同様の歯牙状況を示す複数の画像であり得る。
【0125】
選択された画像として、たとえばビュー(A)において取り込まれる1つまたは複数の深度画像または深度マップレイヤが使用され得る。場合によっては、画像のうちの少なくとも1つは、X線および/またはCT画像でさえもあり得る。好ましくは、画像のうちの少なくとも1つは、深度マップである。したがって、X線および/またはCT画像は、好ましくは、選択された画像であり、それに加えて、少なくとも1つの別の選択された画像が深度マップである。任意選択で、1つまたは複数の特徴レイヤが提供され得、たとえば、点線部分302は、修復物、この場合取り付けられることになるブリッジ301のための境界を示す。
【0126】
以前の図で論じられているように、歯牙状況の異種の獲得像である選択された画像は、色モデルのそれぞれの色成分に変換される。たとえば、境界302を、特徴レイヤとして提供し、色モデルの色成分のうちの1つに変換することもできる。
【0127】
歯修復の場合、たとえば、ブリッジ301を分類するとき、3Dモデルは、ブリッジ301の異種の獲得像または画像を提供するために使用されるCADモデルであり得る。たとえば、以前の図で論じたように、ブリッジ301の上部画像および底部画像が、2D画像を生成するために選択された画像として提供され得る。
【0128】
同様に、歯構造が患者の口内に取り付けられる歯修復物を含むとき、歯牙状況について論じられている処理が使用され得る。
【0129】
色モデルは、色値を指定する複数のチャネルまたは成分を備える任意の表現、標準、またはカスタマイズされたものとすることができる。いくつかの例として、色モデルは、RGB、RYB、CMY、HSL、HSV、RGBA、RGBW、RGBY、またはCMYKであり得る。
【0130】
したがって、選択された色モデルにおけるコンピュータ可読2D画像は、それぞれの色成分を組み合わせる、またはマージすることによって取得される。
【0131】
たとえば、ビュー(A)に示されている歯牙状況について取得される2D画像は、歯牙状況のヒストリカル2D画像で訓練されたデータドリブンロジックによって解析され得る。歯牙状況の特定の特徴を検出することによって、たとえば第1の準備物311および第2の準備物312、さらには欠損した歯科物を検出することによって、訓練されたデータドリブンロジックは、2D画像を解析し、歯牙状況が歯科ブリッジ301に関する、またはそれを必要とすると分類することができる。
【0132】
歯科ブリッジ301を選択することができ、またはそれは、3Dモデルに従って自動的に製作され得る。たとえば、ブリッジ301には、対応する準備物311、312に一致する凹部321、322を設けることができる。ブリッジ301は、歯構造の欠損した部分313を置換または充填する。場合によっては、患者に対して実施されることになる任意の処置は、歯構造の2D画像を解析した後、訓練されたデータドリブンロジックによって生成される分類値および/または出力信号に応答して、少なくとも部分的には自動的に実施される。たとえば、準備物311、312またはそれらの場所を、準備物311、312を取り付ける前に歯牙状況の2D画像を解析することによって、自動的に提供することも可能であり得る。
【0133】
ブリッジ301は、それぞれの凹部321、322を対応する準備物311、312と対合させることによって(ビュー(C)参照)、手動で、さらには自動化された歯科処置として自動的に取り付けることができる。
【0134】
図4は、やはり先行する図で論じられているように、3D歯科モデルを2D歯画像に変形するフローチャートまたはルーチン400を示す。ルーチン400は、いずれか1つまたは複数の適切なコンピューティングユニットによって、または歯科処置支援システムによって実行され得る。
【0135】
ブロック401では、3D歯科モデルから少なくとも2つの選択された画像が提供される。選択された画像は、歯構造の異種の獲得像である。3Dモデルは、たとえば、メモリロケーションに動作可能に接続することによって取得され得る。ブロック402では、選択された画像のそれぞれが色モデルのそれぞれの色成分に変換される。ブロック403では、それぞれの色成分を組み合わせることによって、2D歯画像が取得される。2D画像は、色モデルのコンピュータ可読フォーマットにある。任意選択のブロック404では、訓練されたデータドリブンロジックを介して2D画像に関係する分類値および/または出力信号が決定される。2D画像は、訓練されたデータドリブンロジックに入力として提供され得る。訓練されたデータドリブンロジックは、好ましくは、複数の歯構造に関係する複数のヒストリカル2D画像で訓練される。
【0136】
図5は、訓練されたデータドリブンロジックを使用して歯構造を分類するためのさらなるフローチャートまたは別のルーチン500を示す。別のルーチン500は、たとえばブロック404に示されたように、ルーチン400の一部であり得、別のところ、たとえば別の場所で、または別のコンピューティングユニットによって生成された2D画像を分類するためのスタンドアロンのルーチンであり得る。当業者なら、本明細書に開示されているように2D画像を使用して歯構造を分類するために本教示を利用することができることが有利であることを理解するであろう。
【0137】
ブロック501では、入力として、2D画像が訓練されたデータドリブンロジックに提供される。論じたように、2D画像は、ルーチン400において生成されたものと同様であり、または同じである。ブロック502では、データドリブンロジックを介して、2D画像の分類値および/または出力信号が決定される。2D画像は、色モデルのコンピュータ可読フォーマットにある。2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されたものである。選択された画像は、歯構造の異種のコンピュータ処理獲得像である。
【0138】
図6は、選択された画像がCADソフトウェアを介して提供される一態様を示す。CADによって生成されたモデルの複数のビュー600または画像が示されている。この例では、CADソフトウェアを介して提供される選択された画像は、本教示に従って2D画像601を取得するために使用される。複数のビュー600は、歯構造、より詳細には、この例ではアンレー605として示されている修復物に関する。第1のビュー602は、アンレー605の斜視図の3D仮想ビューである。アンレーは、典型的には歯冠より小さい歯修復である。当業者なら、この非限定的な例を歯冠、インレー、またはブリッジなど他の種類の修復物にも適用することができることを理解するであろう。
【0139】
第2のビュー603は、アンレー605の別の斜視図である。第2のビュー603は、第1のビュー602に示されているものに比べて、アンレー605の別の側、より詳細には、反対側を示す仮想ビューである。
【0140】
異なる斜視図からアンレー605のビューまたはコンピュータ処理画像を提供するために、CADソフトウェアを使用することができる。この例では、他の仮想斜視図、すなわちアンレー605の上面図611および底面図612も示されている。
【0141】
CADソフトウェアを介して、アンレー605の上部部分の深度マップ表現である第1の選択された画像621が提供される。したがって、第1の選択された画像621は、上面図画像611に示されているビューの深度マップ表現である。
【0142】
当業者なら、本教示の文脈における「深度マップ」という用語は、特定の視点または基準からの歯構造の表面の距離に関する情報を備えるデータセットを意味することを理解するであろう。深度マップという用語は、深度バッファ、Zバッファ、Zバッファリング、およびZ深度など同様の技法をさえも含み得る。これらの用語における「Z」は、仮想カメラまたは基準点のビューの中心軸がカメラのZ軸の方向にあるという慣例に関し、シーン、たとえば歯構造の絶対Z軸に関していないことを理解されたい。
【0143】
より詳細には、この例では、第1の選択された画像621は、アンレー605の上面図における表面の距離に関する情報を備える深度マップである。換言すれば、第1の選択された画像621は、基準点または仮想カメラの位置と、アンレー605の上部側表面上の複数の点との間の複数の空間的距離に関係する情報を備える。
【0144】
同様に、CADソフトウェアを介して、アンレー605の底部部分の深度マップ表現である第2の選択された画像622が提供される。したがって、第2の選択された画像622は、底面図画像612に示されているビューに対応する深度マップ表現である。上面図611および底面図612画像は、これらのビューの視覚的表現を示すために示されているにすぎないことを理解されたい。これらの画像は、選択された画像を提供するために不可欠なものではない。場合によっては、「側面」図、たとえば歯構造の2つの反対側の側面図さえも使用され得る。
【0145】
したがって、選択された画像621および622は、アンレー605の同じ軸に沿って取り込まれる異種の獲得像である。当業者なら、アンレー605の選択された画像またはビューを取り込む、または提供するために、アンレーの任意の他の好適な軸を使用することができることを理解するであろう。場合によっては、選択された画像621、622のうちのいずれか1つまたは複数は、処理される、たとえばミラーリング、回転、クロッピング、正規化、位置合わせなど1つまたは複数の変形が適用され得る。
【0146】
先行する図において論じられたように、選択された画像621、622のそれぞれは、色モデルのそれぞれの色成分に変換される。したがって、それぞれの色成分を組み合わせることによって、2D画像601を提供することができる。色成分画像は図6に明示的に示されていないが、それらについては、本開示において、たとえば以前の図で詳細に論じられている。したがって、2D画像601は、上面図621および底面図622深度マップ両方からの特徴を含む。さらに、前記特徴を含む色成分は、同様の画像を使用して訓練されるデータドリブンロジックによって検出することができる、2D画像における色パターンを生み出す。したがって、そのようなデータドリブンロジックは、2D画像601を分類するために使用され、したがって、患者に対して正しいタイプの処置を実施するようにユーザを支援することができる。
【0147】
任意選択で、特徴レイヤとすることができる第3の選択された画像613があることもさらにできる。特徴レイヤ613は、CADソフトウェアによっても提供され得、または別のモジュールによって追加され得る。特徴レイヤ613は、アンレー605に関係する境界614を含み得る。境界614は、たとえば、準備マージンを表し得る。したがって、2D画像601は、上面図621および底面図622の選択された画像のために使用される色成分とは異なる色成分に変換された特徴レイヤ613をも含む。
【0148】
場合によっては、4つ以上の選択された画像があることができる。そのような場合、別の深度画像または別の特徴レイヤを提供するために、第4の選択された画像(ここでは図示せず)を使用することができる。
【0149】
当業者なら、CAD画像、たとえば深度マップおよび/または特徴レイヤが2D画像を生成するために写真獲得像および/またはX線獲得像と組み合わされる態様も可能であることも理解するであろう。
【0150】
方法ステップは、例または態様に列挙されて示されている順番で実施され得る。しかし、特定の状況下では、異なる順番も可能であり得ることに留意されたい。さらに、方法ステップのうちの1つまたは複数を1回または反復して実施することも可能である。これらのステップは、規則的または不規則な期間で反復され得る。さらに、具体的には方法ステップのうちのいくつか、またはそれより多くが反復して実施されるとき、方法ステップのうちの2つ以上を同時に、または適時に重なり合って実施することが可能である。方法は、列挙されていないさらなるステップを備え得る。
【0151】
「comprising(備える)」という語は、他の要素またはステップを排除せず、不定冠詞「a」または「an」は、複数を排除しない。単一の処理手段、プロセッサもしくはコントローラ、または他の同様のユニットは、特許請求の範囲に述べられているいくつかの項目の機能を果たし得る。いくつかの方策が相互に異なる従属請求項に述べられているというだけでは、これらの方策の組合せを有利に使用することができないことを示すことにはならない。請求項内に異なる符号があっても、範囲を限定するものと解釈されるべきでない。
【0152】
さらに、本開示では、「少なくとも1つの」「1つまたは複数の」という用語、または特徴もしくは要素が1回もしくは2回以上存在し得ることを示す同様の表現は、典型的には、それぞれの特徴または要素を導入するとき1回だけ使用されていることがあることに留意されたい。したがって、場合によっては、別段具体的に述べられていない限り、それぞれの特徴または要素を参照するとき、「少なくとも1つの」または「1つまたは複数の」という表現は、それぞれの特徴または要素が1回または2回以上存在し得るという事実にかかわらず、反復されていないことがある。
【0153】
さらに、「好ましくは」「より好ましくは」「特に」「具体的には」「より詳細には(more particularly、more specifically)」という用語、または同様の用語は、代替の可能性を制限することなく、任意選択の特徴と共に使用される。したがって、これらの用語によって導入される特徴は、任意選択の特徴であり、特許請求の範囲を制限することは決して意図されていない。本教示は、当業者なら理解するように、代替の特徴を使用することによって実施され得る。同様に、「一態様によれば」または同様の表現によって導入される特徴は、本教示に対する代替に関して何ら制限なく、本教示の範囲に関して何ら制限なく、およびそのようにして導入される特徴を本教示の他の任意選択または非任意選択の特徴と組み合わせる可能性に関して何ら制限なく、任意選択の特徴であることが意図されている。
【0154】
別段定義されていない限り、本明細書で使用されるすべての技術用語および科学用語は、本教示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。
【0155】
方法、システム、デバイス、使用、ソフトウェアプログラム、および本明細書に開示されている方法を実施するためのコンピュータプログラムコードを備えるコンピューティングユニットについて、様々な例が上記で開示されている。たとえば、デジタル3D歯科モデルを2D歯画像に変形するための方法が開示されており、この方法は、少なくとも2つの選択された画像を3D歯科モデルから提供することと、選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することとを備える。本教示は、2D画像を分類する方法、システム、デバイス、使用、データ、および記憶媒体にも関する。しかし、当業者なら、添付の特許請求の範囲およびそれらの均等物の精神および範囲から逸脱することなく、変更および修正がこれらの例に対してなされ得ることを理解するであろう。さらに、本明細書で論じられている方法および製品実施形態からの態様は、自由に組み合わせられ得ることを理解されたい。
【0156】
説明内で使用される見出しは、便宜的なものにすぎず、何ら法的効果も限定する効果もない。
【0157】
当業者には、特許請求の範囲または条項内の実施形態を参照するとき、「請求項a~bのいずれか」などの文言は、「請求項a、bのうちのいずれか1つもしくは複数、および/またはaとbの間にある請求項のいずれか」を意味することが明らかであろう。したがって、「請求項aからbのいずれか」は、請求項aおよび/もしくは請求項b、ならびに/またはaとbの間の請求項のうちのいずれか1つ、ならびに/またはaからbまでのいずれか2つ以上の請求項の任意の組合せの特徴を含む実施形態を指定すると考えられ、aおよびbは、それぞれの請求項番である。
【0158】
要約すると、さらなる可能な実施形態を排除することなく、本教示のいくつかの例示的な実施形態が、以下の条項に要約されている。
【0159】
条項1.デジタル3次元(「3D」)歯科モデルを非フォトリアリスティックな2次元(「2D」)歯画像に変形するためのコンピュータ実装方法であって、
- 少なくとも2つの選択された画像を3D歯科モデルから提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
- 選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
- それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの非フォトリアリスティックな2D画像を取得することと
を備える方法。
【0160】
条項2.選択された画像のうちの少なくとも1つは、歯構造の深度マップ表現である、条項1に記載の方法。
【0161】
条項3.選択された画像のうちの少なくとも1つは、境界および/または対象の領域および/または歯構造の属性を表す特徴レイヤである、条項1または2に記載の方法。
【0162】
条項4.
- 入力として、非フォトリアリスティックな2D画像を訓練されたデータドリブンロジックに提供することと、
- データドリブンロジックを介して、非フォトリアリスティックな2D画像の分類値を決定することと
をさらに備える、上記の条項のいずれかに記載の方法。
【0163】
条項5.訓練されたデータドリブンロジックを使用して歯構造を分類するためのコンピュータ実装方法であって、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供することと、
- データドリブンロジックを介して、2D画像の分類値を決定することとを備え、
2D画像は、色モデルのコンピュータ可読フォーマットにあり、2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されており、選択された画像は、歯構造の異種のコンピュータ処理獲得像である、方法。
【0164】
条項6.データドリブンロジックは、畳み込みニューラルネットワークを備える、条項4または5に記載の方法。
【0165】
条項7.
- 条項分類値に応答して、出力信号を生成すること
をさらに備える、条項4~6のいずれかに記載の方法。
【0166】
条項8.分類値および/または出力信号は、ヒューマンマシンインターフェース(「HMI」)に提供される、条項4~7のいずれかに記載の方法。
【0167】
条項9.出力信号は、歯科処置を示す、条項7または8に記載の方法。
【0168】
条項10.
- 分類値および/または出力信号に応答して歯科処置で使用するための器具を自動的に選択すること
をさらに備える、条項4~9のいずれかに記載の方法。
【0169】
条項11.
- HMIを介して、出力信号によって示されている歯科処置が実施されることになるか否かを示すフィードバック入力を受け取ること
をさらに備える、条項9または10に記載の方法。
【0170】
条項12.
- メモリストレージにおいて、2D画像を、および任意選択でフィードバック入力をも提供すること
をさらに備える、上記の条項のいずれかに記載の方法。
【0171】
条項13.
- データドリブンロジックの入力において、複数のヒストリカル2D画像を備えるモデルトレーニングデータを提供することをさらに備え、モデルトレーニングデータは、任意選択で、ヒストリカル2D画像のうちの少なくともいくつかへの対応するフィードバック入力をも備え、モデルトレーニングデータは、データドリブンロジックを訓練し、訓練されたデータドリブンロジックを取得するために使用される、
条項4~12のいずれかに記載の方法。
【0172】
条項14.歯構造は、歯牙状況である、またはそれを備える、上記の条項のいずれかに記載の方法。
【0173】
条項15.歯構造は、歯修復である、またはそれを備える、上記の条項のいずれかに記載の方法。
【0174】
条項16.3D歯科モデルは、少なくとも部分的にはCADモデルまたはファイルである、上記の条項のいずれかに記載の方法。
【0175】
条項17.選択された画像のうちの少なくとも1つは、CADソフトウェアを介して提供される、条項16に記載の方法。
【0176】
条項18.歯科処置を支援するためのシステムであって、上記方法条項のいずれかのステップを実施するように構成されるシステム。
【0177】
条項19.少なくとも1つのコンピューティングユニットを備える歯科処置支援システムであって、コンピューティングユニットのうちのいずれか1つまたは複数が、
デジタル3次元(「3D」)歯科モデルから、コンピュータ処理画像のうちの少なくとも2つ選択された画像として提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することとを行うように構成されるように構成されるシステム。
【0178】
条項20.少なくとも1つのコンピューティングユニットを備える歯科処置支援システムであって、コンピューティングユニットのうちのいずれか1つまたは複数が、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供し、
- データドリブンロジックを介して、2D画像の分類値を決定するように構成され、
2D画像は、色モデルのコンピュータ可読フォーマットにあり、2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されており、選択された画像は、歯構造の異種のコンピュータ処理獲得像であるように構成されるシステム。
【0179】
条項21.適切なコンピューティングユニットによって実行されたときコンピューティングユニットに、上記方法条項のいずれかのステップを実施させる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
【0180】
条項22.適切なコンピューティングユニットによって実行されたときコンピューティングユニットに、
デジタル3次元(「3D」)歯科モデルから、コンピュータ処理画像のうちの少なくとも2つを選択された画像として提供することと、ここにおいて、選択された画像は、歯構造の異種の獲得像である、
選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
それぞれの色成分を組み合わせることによって、色モデルのコンピュータ可読フォーマットの2D画像を取得することと
を行わせる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
【0181】
条項23.1つまたは複数の適切なコンピューティングユニットによって実行されたときコンピューティングユニットに、
- 入力として、2D画像を訓練されたデータドリブンロジックに提供させ、
- データドリブンロジックを介して、2D画像の分類値を決定させる命令を備え、
2D画像は、色モデルのコンピュータ可読フォーマットにあり、2D画像は、少なくとも2つの選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することによって取得されており、選択された画像は、歯構造の異種のコンピュータ処理獲得像である、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
【0182】
条項24.条項13~17のいずれかにおいて指定される、モデルトレーニングデータ、またはモデルトレーニングデータを記憶するデータ記憶媒体。
【0183】
条項25.データドリブンモデルを訓練する、ならびに/または分類値および/もしくは歯科処置を示す出力信号の決定、ならびに/または歯科処置で使用するための器具の選択のための、条項13~17のいずれかにおいて生成または指定されるモデルトレーニングデータの使用。
【0184】
条項26.歯科処置を支援および/または実施するための、方法条項4~17のいずれかにおいて生成される分類値および/または出力信号の使用。
図1
図2
図3(A)】
図3(B)】
図3(C)】
図4
図5
図6
【手続補正書】
【提出日】2024-03-06
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
訓練されたデータドリブンロジックを使用して歯構造を分類するためのコンピュータ実装方法であって、
入力として、2D画像を前記訓練されたデータドリブンロジックに提供することと、
前記データドリブンロジックを介して、前記2D画像の分類値を決定することとを備え、
前記2D画像は、色モデルのコンピュータ可読フォーマットにあり、前記2D画像は、少なくとも2つの選択された画像のそれぞれを前記色モデルのそれぞれの色成分に変換することによって取得されており、前記選択された画像は、前記歯構造の異種のコンピュータ処理獲得像である、方法。
【請求項2】
前記データドリブンロジックは、畳み込みニューラルネットワークを備える、請求項1に記載の方法。
【請求項3】
前記分類値に応答して、出力信号を生成すること
をさらに備える、請求項1または2に記載の方法。
【請求項4】
前記分類値および/または前記出力信号は、ヒューマンマシンインターフェース(「HMI」)に提供される、請求項1に記載の方法。
【請求項5】
前記出力信号は、歯科処置を示す、請求項3に記載の方法。
【請求項6】
前記分類値および/または前記出力信号に応答して、前記歯科処置で使用するための器具を自動的に選択すること
をさらに備える、請求項1に記載の方法。
【請求項7】
前記HMIを介して、前記出力信号によって示されている前記歯科処置が実施されることになるか否かを示すフィードバック入力を受け取ること
をさらに備える、請求項5に記載の方法。
【請求項8】
メモリストレージにおいて、前記2D画像を、および任意選択で前記フィードバック入力をも提供すること
をさらに備える、請求項1に記載の方法。
【請求項9】
データドリブンロジックの入力において、複数の2D画像を備えるモデルトレーニングデータを、および任意選択で前記フィードバック入力をも提供することをさらに備え、前記モデルトレーニングデータは、前記データドリブンロジックを訓練し、前記訓練されたデータドリブンロジックを取得するために使用される、請求項1に記載の方法。
【請求項10】
デジタル3次元(「3D」)歯科モデルを非フォトリアリスティックな2次元(「2D」)歯画像に変形するためのコンピュータ実装方法であって、
少なくとも2つの選択された画像を前記3D歯科モデルから提供することと、ここにおいて、前記選択された画像は、歯構造の異種の獲得像である、
前記選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
前記それぞれの色成分を組み合わせることによって、前記色モデルのコンピュータ可読フォーマットの前記非フォトリアリスティックな2D画像を取得することと
を備える方法。
【請求項11】
前記選択された画像のうちの少なくとも1つは、前記歯構造の深度マップ表現である、請求項10に記載の方法。
【請求項12】
前記選択された画像のうちの少なくとも1つは、境界および/または対象の領域および/または前記歯構造の属性を表す特徴レイヤである、請求項10または11に記載の方法。
【請求項13】
入力として、前記非フォトリアリスティックな2D画像を訓練されたデータドリブンロジックに提供することと、
データドリブンロジックを介して、前記非フォトリアリスティックな2D画像の分類値を決定することと
をさらに備える、請求項10に記載の方法。
【請求項14】
求項1または10記載の方法のいずれかのステップを実施するための手段を備えるシステム。
【請求項15】
適切なコンピューティングユニットによって実行されたとき前記コンピューティングユニットに請求項1または10記載の方法のいずれかのステップを実施させる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
【請求項16】
請求項9で生成されるモデルトレーニングデータ、または前記モデルトレーニングデータを記憶するデータ記憶媒体。
【請求項17】
データドリブンモデルを訓練する、ならびに/またはデータドリブンモデルを妥当性検査する、ならびに/または分類値および/もしくは歯科処置を示す出力信号の決定、ならびに/または歯科処置で使用するための器具の選択のための、請求項9で生成される前記モデルトレーニングデータの使用。
【請求項18】
歯科処置を支援および/または実施するための、請求項1で生成される前記分類値および/または前記出力信号の使用。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0184
【補正方法】変更
【補正の内容】
【0184】
条項26.歯科処置を支援および/または実施するための、方法条項4~17のいずれかにおいて生成される分類値および/または出力信号の使用。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
訓練されたデータドリブンロジックを使用して歯構造を分類するためのコンピュータ実装方法であって、
入力として、2D画像を前記訓練されたデータドリブンロジックに提供することと、
前記データドリブンロジックを介して、前記2D画像の分類値を決定することとを備え、
前記2D画像は、色モデルのコンピュータ可読フォーマットにあり、前記2D画像は、少なくとも2つの選択された画像のそれぞれを前記色モデルのそれぞれの色成分に変換することによって取得されており、前記選択された画像は、前記歯構造の異種のコンピュータ処理獲得像である、方法。
[C2]
前記データドリブンロジックは、畳み込みニューラルネットワークを備える、C1に記載の方法。
[C3]
前記分類値に応答して、出力信号を生成すること
をさらに備える、C1または2に記載の方法。
[C4]
前記分類値および/または前記出力信号は、ヒューマンマシンインターフェース(「HMI」)に提供される、C1~3のいずれか一項に記載の方法。
[C5]
前記出力信号は、歯科処置を示す、C3または4に記載の方法。
[C6]
前記分類値および/または前記出力信号に応答して、前記歯科処置で使用するための器具を自動的に選択すること
をさらに備える、C1~5のいずれか一項に記載の方法。
[C7]
前記HMIを介して、前記出力信号によって示されている前記歯科処置が実施されることになるか否かを示すフィードバック入力を受け取ること
をさらに備える、C5または6に記載の方法。
[C8]
メモリストレージにおいて、前記2D画像を、および任意選択で前記フィードバック入力をも提供すること
をさらに備える、C1~7のいずれかに記載の方法。
[C9]
データドリブンロジックの入力において、複数の2D画像を備えるモデルトレーニングデータを、および任意選択で前記フィードバック入力をも提供することをさらに備え、前記モデルトレーニングデータは、前記データドリブンロジックを訓練し、前記訓練されたデータドリブンロジックを取得するために使用される、C1~8のいずれかに記載の方法。
[C10]
デジタル3次元(「3D」)歯科モデルを非フォトリアリスティックな2次元(「2D」)歯画像に変形するためのコンピュータ実装方法であって、
少なくとも2つの選択された画像を前記3D歯科モデルから提供することと、ここにおいて、前記選択された画像は、歯構造の異種の獲得像である、
前記選択された画像のそれぞれを色モデルのそれぞれの色成分に変換することと、
前記それぞれの色成分を組み合わせることによって、前記色モデルのコンピュータ可読フォーマットの前記非フォトリアリスティックな2D画像を取得することと
を備える方法。
[C11]
前記選択された画像のうちの少なくとも1つは、前記歯構造の深度マップ表現である、C10に記載の方法。
[C12]
前記選択された画像のうちの少なくとも1つは、境界および/または対象の領域および/または前記歯構造の属性を表す特徴レイヤである、C10または11に記載の方法。
[C13]
入力として、前記非フォトリアリスティックな2D画像を訓練されたデータドリブンロジックに提供することと、
データドリブンロジックを介して、前記非フォトリアリスティックな2D画像の分類値を決定することと
をさらに備える、C10~12のいずれかに記載の方法。
[C14]
上記方法Cのいずれかのステップを実施するための手段を備えるシステム。
[C15]
適切なコンピューティングユニットによって実行されたとき前記コンピューティングユニットに上記方法Cのいずれかのステップを実施させる命令を備える、コンピュータソフトウェア製品、またはプログラムを記憶する非一時的なコンピュータ可読記憶媒体。
[C16]
C9で生成されるモデルトレーニングデータ、または前記モデルトレーニングデータを記憶するデータ記憶媒体。
[C17]
データドリブンモデルを訓練する、ならびに/またはデータドリブンモデルを妥当性検査する、ならびに/または分類値および/もしくは歯科処置を示す出力信号の決定、ならびに/または歯科処置で使用するための器具の選択のための、C9で生成される前記モデルトレーニングデータの使用。
[C18]
歯科処置を支援および/または実施するための、方法C1~9のいずれかで生成される前記分類値および/または前記出力信号の使用。
【国際調査報告】