知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-20
(54)【発明の名称】走査データ処理方法、装置、電子機器及び媒体
(51)【国際特許分類】
G06T 7/55 20170101AFI20241213BHJP
【ＦＩ】
G06T7/55
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024537184
(86)(22)【出願日】2023-04-28
(85)【翻訳文提出日】2024-06-19
(86)【国際出願番号】 CN2023091808
(87)【国際公開番号】W WO2023213253
(87)【国際公開日】2023-11-09
(31)【優先権主張番号】202210477084.2
(32)【優先日】2022-05-02
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】518283252
【氏名又は名称】先臨三維科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＳＨＩＮＩＮＧ ３Ｄ ＴＥＣＨ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｎｏ．１３９８ Ｘｉａｎｇｂｉｎ Ｒｏａｄ，Ｗｅｎｙａｎ Ｓｔｒｅｅｔ，Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ ３１１２５８ （ＣＮ）
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】趙 暁波
(72)【発明者】
【氏名】陳 暁軍
(72)【発明者】
【氏名】馬 超
(72)【発明者】
【氏名】張 偉
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096CA02
5L096DA01
5L096FA66
5L096FA69
(57)【要約】
本開示の実施例は、走査データ処理方法、装置、電子機器及び媒体に関し、当該方法は、補助特徴点を含む複数の走査画像を取得するステップと、複数の走査画像を処理して補助特徴点の３次元座標点を取得し、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するステップと、を含む。上記技術的解決手段によれば、走査ロッドの位置決め情報の精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【特許請求の範囲】
【請求項1】
走査データ処理方法であって、補助特徴点を含む複数の走査画像を取得するステップと、
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得するステップと、
前記補助特徴点の３次元座標点と前記点群データに基づいて目標走査データを生成するステップと、を含む、ことを特徴とする走査データ処理方法。
【請求項2】
前記補助特徴点の３次元座標点と前記点群データに基づいて目標走査データを生成する前記ステップは、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成するステップ、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。
【請求項3】
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得する前記ステップは、各前記走査画像に基づいて３次元再構成を行い、再構成図の配列を取得するステップと、
前記再構成図の配列を計算して前記補助特徴点の３次元座標点と前記点群データを取得するステップと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。
【請求項4】
前記補助特徴点は対応する真値座標点を有し、前記標準データは標準走査ロッドデータであり、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成する前記ステップは、
前記補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断するステップと、
前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングする場合、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点との位置変換行列を取得するステップと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するステップと、を含む、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項5】
前記標準データは標準走査ロッドデータであり、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成する前記ステップは、
前記補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、前記複数の平面に基づいて目標ジオメトリを構築するステップと、
前記標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び前記少なくとも３つの平面の交点を取得するステップと、
前記各平面の法線ベクトル及び前記少なくとも３つの平面の交点に基づいて、位置変換行列を取得するステップと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記目標ジオメトリを取り替えて前記点群データとスティッチングして前記目標走査データを取得するステップと、を含む、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項6】
前記補助特徴点は対応する真値座標点を有し、前記標準データは標準走査ロッドデータであり、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成する前記ステップは、
いずれか１つの前記補助特徴点の３次元座標点と対応する補助特徴点の真値座標点をスティッチングし、同じ座標系における目標補助特徴点の３次元座標点を取得するステップと、
前記目標補助特徴点の３次元座標点と対応する補助特徴点の真値座標点との位置変換行列を取得するステップと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するステップと、を含む、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項7】
走査データ処理装置であって、補助特徴点を含む複数の走査画像を取得するために用いられる画像取得モジュールと、
前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するために用いられる画像処理モジュールと、
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するために用いられる生成モジュールと、を含む、ことを特徴とする走査データ処理装置。
【請求項8】
前記生成モジュールは、具体的に、各前記走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、
前記再構成図の配列を計算して補助特徴点の３次元座標点を取得するために用いられる、ことを特徴とする請求項７に記載の走査データ処理装置。
【請求項9】
電子機器であって、プロセッサと、
前記プロセッサの実行可能な命令を記憶するために用いられるメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して請求項１～６のいずれか１項に記載の走査データ処理方法を実現するために用いられる、ことを特徴とする電子機器。
【請求項10】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは請求項１～６のいずれか１項に記載の走査データ処理方法を実行するために用いられる、ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、２０２２年０５月０２日に中国国家知識産権局に提出された、出願番号が２０２２１０４７７０８４２であり、発明名称が「走査データ処理方法、装置、電子機器及び媒体」である中国特許出願についての優先権を主張し、その出願の全体が参照によって本明細書に組み込まれる。
【0002】
本開示は、口腔内走査技術分野に関し、特に走査データ処理方法、装置、電子機器及び媒体に関する。
【背景技術】
【0003】
一般的には、走査の場面において、走査により、関連する目標位置を決定する。
【0004】
関連技術において、走査範囲が制限されているため、データを走査する時に、マルチデータスティッチングという解決手段が一般的に使用され、累積誤差が生じるため、最終的にモデル全体の精度が低くなる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示が解決しようとする課題は、従来の走査の場面において、モデル全体の精度が高くないことを解決することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示の実施例は、
補助特徴点を含む複数の走査画像を取得するステップと、
前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するステップと、
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するステップと、を含む走査データ処理方法を提供する。
補助特徴点を含む複数の走査画像を取得するために用いられる画像取得モジュールと、
本開示の実施例は、前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するために用いられる画像処理モジュールと、
補助特徴点を含む複数の走査画像を取得するステップと、
前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するステップと、
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するステップと、を含む走査データ処理方法を提供する。
補助特徴点を含む複数の走査画像を取得するために用いられる画像取得モジュールと、
本開示の実施例は、前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するために用いられる画像処理モジュールと、
【0007】
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するために用いられる生成モジュールと、を含む走査データ処理装置を更に提供する。
本開示の実施例は、メモリと、プロセッサと、コンピュータプログラムと、を含む電子機器であって、
本開示の実施例は、メモリと、プロセッサと、コンピュータプログラムと、を含む電子機器であって、
【0008】
前記コンピュータプログラムは、前記メモリに記憶され、前記プロセッサにより実行されて上記走査データ処理方法を実現するように構成される電子機器を更に提供する。
【0009】
本開示の実施例は、コンピュータプログラムが記憶されており、前記コンピュータプログラムは、プロセッサによって実行されると、上記走査データ処理方法のステップを実現するコンピュータ読み取り可能な記憶媒体を更に提供する。
【発明の効果】
【0010】
本開示の実施例による上記技術的解決手段は、従来技術に比べて以下の利点を有する。
【0011】
本開示の実施例による走査データ処理態様では、補助特徴点を含む複数の走査画像を取得し、複数の走査画像を処理して補助特徴点の３次元座標点を取得し、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成する。上記技術的解決手段によれば、走査ロッドの位置決め情報の精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【0012】
なお、上記一般的な説明と以下の詳細な説明は例示的や解釈的なものに過ぎず、本開示を制限することができない。
【図面の簡単な説明】
【0013】
添付の図面は、明細書に組み入れられ、本明細書の一部を構成し、本開示に該当する実施例を示し、明細書と共に本開示の原理を説明するためのものである。
【0014】
以下、本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、実施例又は従来技術の記述に使用される図面を簡単に説明する。自明なことは、当業者にとって、創造的な労働を要することなく、更にこれらの図面に基づいて他の図面を取得することができる。
【図1】本開示の実施例による走査データ処理の適用場面を示す図である。
【図2】本開示の実施例による走査データ処理方法のフローチャートである。
【図3】本開示の実施例による別の走査データ処理方法のフローチャートである。
【図4】本開示の実施例によるさらに別の走査データ処理方法のフローチャートである。
【図5】本開示の実施例による走査データ処理装置の構成図である。
【図6】本開示の実施例による電子機器の構成図である。
【発明を実施するための形態】
【0015】
以下、本開示の実施例の目的、技術的解決手段と利点をより明白にするために、本開示の実施例における技術的解決手段を明確、全体的に説明する。当然ながら、説明される実施例は、本開示の一部の実施例であり、全ての実施例ではない。当業者は、本開示の実施例に基づいて、創造的な労働を要することなく取得される全ての別の実施例は、いずれも本開示の請求の範囲に含まれる。
【0016】
実際的応用において、歯が欠損する場合の修復に対して、口腔走査の走査範囲が制限されているため、口腔内データを走査する時にマルチデータスティッチングという解決手段が一般的に使用され、累積誤差が生じるため、最終的にモデル全体の精度が低くなる。
【0017】
上記問題に対し、本開示は、図１に示すような適用環境に応用可能な走査データ処理方法を提供する。図１は本開示の実施例による走査データ処理の適用場面を示す図であり、当該適用環境は、目標口腔に複数の口腔内走査ロッドを取り付けることを含み、口腔内走査ロッドは、走査ロッド部品１１、走査ロッド部品１１に連結される補助部品１２を含み、走査ロッド部品１１及び／又は補助部品１２には補助特徴点が設けられ、走査ロッド部品１１は目標口腔に取り付けられたインプラント本体と適合し、走査ロッド部品１１はインプラント本体に適合して取り付けられることにより、口腔内走査ロッドは目標口腔に取り付けられる。
【0018】
ここで、複数の口腔内走査ロッドのうちのいずれか２つの口腔内走査ロッドの補助部品１２は相互に適合することによって、いずれか２つの口腔内走査ロッド１０が隣接して口腔に取り付けられた場合、２つの補助部品における補助特徴点は連続に分布され、例えば、一眼撮影測定システム、３次元座標計、高精度工業３次元スキャナなどにより補助特徴点の真値座標点を取得することができ、理論上、走査により取得された画像に対応する３次元座標点は、予め取得された補助特徴点の真値座標点に１対１に対応する。
【0019】
１つの場面の例として、目標口腔に複数の口腔内走査ロッドを取り付け、口腔内走査ロッドはインプラント本体に連結される走査ロッド部品及び走査ロッドに連結される補助部品を含み、口腔内走査ロッドには目標特徴が設けられ、目標特徴は走査ロッド及び／又は補助部品において連続的に分布され、目標特徴は走査ロッド及び／又は補助部品の片面のみに分布されるのではない。
【0020】
具体的に、口腔内スキャナは目標口腔を走査し、複数フレームの画像を取得し、データ処理モジュールに移送してデータ処理を行う。データ処理モジュールは、
複数フレームの画像を取得し、複数フレームの画像に基づいて目標口腔の初期の３次元データを取得し、初期の３次元データは同じ座標系における目標口腔の初期点セット、目標特徴の３次元座標測定値を含み、
口腔内走査ロッドのプリセットモデルを取得し、プリセットモデルは、同じ座標系における目標特徴の３次元座標真値と口腔内走査ロッドのリアル点セット（各点の３次元座標真値）を含み、
目標特徴の３次元座標測定値と真値との対応関係に基づいて目標口腔の初期点セットと口腔内走査ロッドのリアル点セットに対するスティッチングを行い、
スティッチングされた口腔内走査ロッドのリアル点セットに基づいて口腔内走査ロッドの位置決め情報を決定し、口腔内走査ロッドの位置決め情報は、インプラント本体の位置決め情報であり、設計及び製造された歯体をインプラント本体に適合して取り付けることができるように、当該位置決め情報に基づいて歯体を設計する方法を実行する。
複数フレームの画像を取得し、複数フレームの画像に基づいて目標口腔の初期の３次元データを取得し、初期の３次元データは同じ座標系における目標口腔の初期点セット、目標特徴の３次元座標測定値を含み、
口腔内走査ロッドのプリセットモデルを取得し、プリセットモデルは、同じ座標系における目標特徴の３次元座標真値と口腔内走査ロッドのリアル点セット（各点の３次元座標真値）を含み、
目標特徴の３次元座標測定値と真値との対応関係に基づいて目標口腔の初期点セットと口腔内走査ロッドのリアル点セットに対するスティッチングを行い、
スティッチングされた口腔内走査ロッドのリアル点セットに基づいて口腔内走査ロッドの位置決め情報を決定し、口腔内走査ロッドの位置決め情報は、インプラント本体の位置決め情報であり、設計及び製造された歯体をインプラント本体に適合して取り付けることができるように、当該位置決め情報に基づいて歯体を設計する方法を実行する。
【0021】
具体的に、目標口腔を走査することにより、補助特徴点を含む複数の走査画像を取得し、複数の走査画像を処理して補助特徴点の３次元座標点を取得し、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成する。上記技術的解決手段によれば、走査ロッドの位置決め情報の精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。上記技術的解決手段によれば、走査ロッドの位置決め情報の精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【0022】
具体的に、図２は走査データ処理装置により実行可能な本開示の実施例による走査データ処理方法のフローチャートである。ここで、当該装置はソフトウェア及び／又はハードウェアを用いて実現することができ、一般的に電子機器に集積されてもよい。図２に示すように、当該方法は以下のステップ１０１～１０３を含む。
【0023】
ステップ１０１において、補助特徴点を含む複数の走査画像を取得する。
【0024】
ここで、目標口腔は歯インプラント治療を行う必要がある口腔を指し、口腔内を走査して口腔内のインプラント位置を決定する必要があり、走査ロッドは補助特徴本体を介して連結された後、口腔内走査を行う。
【0025】
本開示の実施例では、走査ロッドは補助特徴本体を含み、補助特徴本体の形状は様々（例えば、球形、四角形、直方体、錐形などの特徴、又は、これらの特徴の組み合わせ）であってもよい。
【0026】
本開示の実施例では、走査ロッドは補助特徴点を含む特徴物体である。ここで、補助特徴点は１つの特徴を一意に識別することができ、すなわち、走査ロッドには補助特徴点が設けられ、各補助特徴点は走査ロッドに対応する位置特徴を一意に識別することができ、例えば、走査ロッドにおける位置１と位置２には目標特徴ａと目標特徴ｂがそれぞれ設けられ、目標特徴ａは走査ロッドにおける位置１の位置特徴を一意に識別することができ、目標特徴ｂは走査ロッドにおける位置２の位置特徴を一意に識別することができる。
【0027】
なお、走査ロッドにおける異なる形状、色、２次元コードなどの、走査ロッドに対応する位置特徴を一意に識別するものならば、いずれも補助特徴点とすることができる。
【0028】
例えば、走査ロッド及びその補助特徴本体に、突出する又は凹む球形、正方形を補助特徴点として設け、更に例えば、走査ロッド及びその補助特徴本体に異なる色を印刷し、更に例えば、走査ロッド及びその補助特徴本体に異なる２次元コードパターン、異なる色の円形、正方形などを印刷し、具体的に、応用需要に基づいて選択して設ける。
【0029】
本開示の実施例では、走査ロッドデータと補助特徴点データを取得した後、スティッチングアルゴリズムにより、設計された走査ロッドデータとリアルタイムで取得された走査ロッドデータを整列させる必要がある。口腔内を走査する時に、単一又は複数の走査ロッドデータは、口腔内データが非剛性的特性があるため、精度が低くなることがある。本開示の実施例の態様によれば、設計された走査ロッドデータとリアルタイムの走査ロッドデータとの整列精度を向上させることによって、全体の精度を向上させることができる。
【0030】
ここで、ハンドヘルド型口腔スキャナ（一眼又は双眼カメラ）によって目標口腔を走査することができ、すなわち、撮影によって複数の走査画像を取得し、例えば、１秒間に数十枚の走査画像を収集し、繰り返して収集することができる。
【0031】
ここで、補助特徴点は走査ロッド本体及び／又は補助特徴本体に設けられた点を指し、具体的な適用場面に基づいて設定する。
【0032】
本開示の実施例では、走査ロッドを含む目標口腔を走査して複数の走査画像を取得する態様が様々であり、いくつかの実施形態において、カメラが一定の方向に応じて回転すると共に、一定の周波数に応じて目標口腔を走査するように制御することにより、複数の走査画像を取得する。
【0033】
具体的に、目標口腔に走査ロッドが連結された後、走査ロッドを含む目標口腔を走査して複数の走査画像を取得する。
【0034】
ステップ１０２において、複数の走査画像を処理して補助特徴点の３次元座標点を取得する。
【0035】
ここで、補助特徴点の３次元座標点は目標口腔における補助特徴点に対応する３次元座標点を指す。
【0036】
本開示の実施例では、複数の走査画像を処理して補助特徴点の３次元座標点を取得する態様が様々であり、いくつかの実施形態において、各走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得する。
【0037】
他の実施形態において、各走査画像における補助特徴点の２次元座標点を取得し、２次元座標点に対する座標系の変換を行い、各走査画像の補助特徴点の３次元座標点を取得し、各走査画像の補助特徴点の３次元座標点をスティッチングし、全ての補助特徴点の３次元座標点と点群データを取得する。以上の２つの態様は、複数の走査画像を処理して補助特徴点の３次元座標点を取得する例示に過ぎず、本開示の実施例は、複数の走査画像を処理して補助特徴点の３次元座標点を取得する具体的な態様を限定しない。
【0038】
本開示の実施例では、複数の走査画像を取得した後、複数の走査画像を処理して補助特徴点の３次元座標点を取得することができる。
【0039】
ステップ１０３において、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成する。
【0040】
ここで、補助特徴点の３次元座標点は、最適化処理された３次元座標点であってもよく、補助特徴点の３次元座標点をより正確に示すことができる。
【0041】
本開示の実施例では、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するステップは、補助特徴点の３次元座標点及び歯と歯肉などの点群データに基づいてスティッチングして目標走査データを取得すると理解されてもよい。
【0042】
本開示の実施例では、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するステップは、補助特徴点の３次元座標点と点群データを直接スティッチングして目標走査データを取得することを含む。
【0043】
本開示の実施例では、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するステップは、補助特徴点の３次元座標点、点群データと標準データに基づいて目標走査データを生成することを含む。
【0044】
ここで、標準データは補助特徴点の３次元座標点とスティッチングできる走査データを指し、予めのコンピュータ支援設計による走査データであってもよいし、例えば、一眼撮影測定システム、３次元座標計と高精度工業３次元スキャナなどにより取得される標準走査データであってもよい。なお、処理効率を向上させるために標準走査データを予め取得してデータベースに記憶し、処理を行う時に直接取得してもよいし、必要な場面に応じてリアルタイムに測定して標準走査データを取得してもよく、口腔内走査の場面において、標準データは標準走査ロッドデータであってもよい。
【0045】
ここで、目標走査データはコンピュータ支援設計の走査ロッドデータを、補助特徴点の３次元座標点と同一の座標系に変換し、リアルタイムで走査された走査ロッドデータを取り替えるものを指す。
【0046】
本開示の実施例では、補助特徴点の３次元座標点、点群データと標準データに基づいて目標走査データを生成する態様が様々であり、いくつかの実施形態において、補助特徴点は対応する真値座標点を有し、標準データは標準走査ロッドデータであり、補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断し、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングする場合、補助特徴点の３次元座標点と補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点と点群データをスティッチングして目標走査データを取得する。
【0047】
他の実施形態において、標準データは標準走査ロッドデータであり、補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、複数の平面に基づいて目標ジオメトリ（ｇｅｏｍｅｔｒｙ）を構築し、標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び少なくとも３つの平面の交点を取得し、各平面の法線ベクトル及び少なくとも３つの平面の交点に基づいて、位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、目標ジオメトリを取り替えて点群データとスティッチングして目標走査データを取得する。
【0048】
更にいくつかの実施形態において、補助特徴点は対応する真値座標点を有し、標準データは標準走査ロッドデータであり、いずれか１つの補助特徴点の３次元座標点と対応する補助特徴点の真値座標点をスティッチングし、同じ座標系における目標補助特徴点の３次元座標点を取得し、目標補助特徴点の３次元座標点と対応する補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点と点群データをスティッチングして目標走査データを取得する。
【0049】
以上３つの態様は、補助特徴点の３次元座標点、点群データ、及び標準データに基づいて目標走査データを生成する例示に過ぎず、本開示の実施例は、補助特徴点の３次元座標点、点群データ、及び標準データに基づいて目標走査データを生成する具体的な態様を限定しない。
【0050】
具体的に、補助特徴点の３次元座標点を取得した後、補助特徴点の３次元座標点、点群データ、及び標準データに基づいて目標走査データを生成することができる。
【0051】
本開示の実施例による走査データ処理態様では、補助特徴点それぞれ含む複数の走査画像を取得し、複数の走査画像を処理して補助特徴点の３次元座標点を取得し、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成する。上記技術的解決手段によれば、設計された走査ロッドデータとリアルタイムの走査ロッドデータとの整列精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【0052】
【0053】
具体的に、図３は本開示の実施例による別の走査データ処理方法のフローチャートであり、本実施例は、上記実施例を基に、上記走査データ処理方法を更に最適化する。図３に示すように、当該方法は以下のステップ２０１～２０５を含む。
【0054】
ステップ２０１において、目標口腔を走査し、補助特徴点を含む複数の走査画像を取得する。
【0055】
ステップ２０１はステップ１０１と同じで、ステップ１０１の記述を具体的に参照し、ここでは詳細な説明を省略する。
【0056】
ステップ２０２において、各走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得する。
【0057】
具体的に、口腔内走査によって目標口腔を走査し、３次元再構成用の走査画像（再構成図とテクスチャ図）を収集し、再構成図の配列を利用し、歯、歯肉、及び走査ロッドを含む３次元データを算出し、テクスチャ図の配列を利用して補助特徴点の３次元座標点を再構成する。再構成図とテクスチャ図を同一時刻で取得するため、３次元データと補助特徴点の３次元座標点は同じ座標系において１対１に対応すると考えられる。
【0058】
ステップ２０３において、補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断する。
【0059】
ステップ２０４において、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングする場合、補助特徴点の３次元座標点と補助特徴点の真値座標点との位置変換行列を取得する。
【0060】
具体的に、補助特徴点を走査ロッド本体及びその補助特徴本体に加工し、補助特徴点に関連する座標を補助特徴点の真値座標点と定義し、走査過程に取得された補助特徴点の３次元座標点と補助特徴点の真値座標点をマッチングし、マッチングに成功することを発見すると、現在の走査ロッドに対応して設計された走査ロッドデータを取り替えることができる。
【0061】
本開示の実施例では、補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得し、補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得し、補助特徴点の真値座標点と距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得し、第１補助特徴点距離と第２補助特徴点距離に基づいて補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断する。ここで、距離範囲は適用場面に基づいて設定することができる。
【0062】
ステップ２０５において、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点と点群データをスティッチングして目標走査データを取得する。
【0063】
具体的に、収集された補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングし、スティッチングに成功すると、位置変換行列によって、設計された走査ロッドデータを補助特徴点の座標系に移行し、リアルタイムで取得された走査ロッドデータを取り替えることができる。
【0064】
本開示の実施例による走査データ処理態様では、目標口腔を走査して補助特徴点をそれぞれ含む複数の走査画像を取得し、各走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得し、補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断し、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングする場合、補助特徴点の３次元座標点と補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点と点群データをスティッチングして目標走査データを取得する。これにより、設計された走査ロッドデータとリアルタイムの走査ロッドデータとの整列精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【0065】
具体的に、図４は本開示の実施例による別の走査データ処理方法のフローチャートであり、本実施例は、上記実施例を基に、上記走査データ処理方法を更に最適化する。図４に示すように、当該方法は以下のステップ３０１～３０５を含む。
【0066】
ステップ３０１において、目標口腔を走査し、補助特徴点を含む複数の走査画像を取得する。
【0067】
ステップ３０１はステップ１０１と同じで、ステップ１０１の記述を具体的に参照し、ここでは詳細な説明を省略する。
【0068】
ステップ３０２は、各走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得する。
【0069】
具体的に、口腔内走査によって目標口腔を走査し、３次元再構成用の走査画像（再構成図とテクスチャ図）を収集し、再構成図の配列を利用し、歯、歯肉、及び走査ロッドを含む点群データを算出し、テクスチャ図の配列を利用して補助特徴点の３次元座標点を再構成する。再構成図とテクスチャ図を同一時刻で取得するため、３次元データと補助特徴点の３次元座標点は同じ座標系において１対１に対応すると考えられる。
【0070】
ステップ３０３において、補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、複数の平面に基づいて目標ジオメトリを構築し、標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び少なくとも３つの平面の交点を取得する。
【0071】
ステップ３０４において、各平面の法線ベクトル及び少なくとも３つの平面の交点に基づいて、位置変換行列を取得する。
【0072】
ステップ３０５において、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、目標ジオメトリを取り替えて点群データとスティッチングして目標走査データを取得する。
【0073】
ここで、位置変換行列は標準走査ロッドデータを補助特徴点の座標系の位置変換関係に変換することを指す。
【0074】
具体的に、複数の補助特徴点により走査ロッドの基本的な幾何特徴をフィッティングし、例えば、走査ロッドは１つの直方体であり、直方体の４つの側面及び１つの上面の５つの平面にはいずれも補助特徴点が分布され、各平面における補助特徴点の座標を利用して、１つの直方体をそれぞれフィッティングすることによって、目標ジオメトリを取得することができる。
【0075】
そのため、走査過程に取得された補助特徴点は規則に基づいて標準な目標ジオメトリをフィッティングし、目標ジオメトリは直接設計された走査ロッドデータの位置とされてもよいし、又は、目標ジオメトリと設計された走査ロッドデータに対する整列を行うことで設計された走査ロッドデータの位置を決定してもよい。
【0076】
本開示の実施例による走査データ処理態様では、目標口腔を走査し、補助特徴点を含む複数の走査画像を取得し、各走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得し、補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、複数の平面に基づいて目標ジオメトリを構築し、標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び少なくとも３つの平面の交点を取得し、各平面の法線ベクトル及び少なくとも３つの平面の交点に基づいて、位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、目標ジオメトリを取り替えて点群データとスティッチングして目標走査データを取得する。これにより、走査ロッドの位置決め情報の精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【0077】
図５は本開示の実施例による走査データ処理装置の構成図であり、当該装置はソフトウェア及び／又はハードウェアにより実現されることができ、一般的に電子機器に集積されてもよい。図５に示すように、当該装置は、
補助特徴点を含む複数の走査画像を取得するために用いられる画像取得モジュール４０１と、
前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するために用いられる画像処理モジュール４０２と、
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するために用いられる生成モジュール４０３と、を含む。
補助特徴点を含む複数の走査画像を取得するために用いられる画像取得モジュール４０１と、
前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するために用いられる画像処理モジュール４０２と、
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するために用いられる生成モジュール４０３と、を含む。
【0078】
任意選択的に、生成モジュール４０３は、具体的に、
前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成するために用いられる。
前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成するために用いられる。
【0079】
任意選択的に、前記補助特徴点は対応する真値座標点を有し、前記画像処理モジュール４０２は、具体的に、
各前記走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、
前記再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得するために用いられる。
各前記走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、
前記再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得するために用いられる。
【0080】
任意選択的に、前記生成モジュール４０３は、
前記補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる判断ユニットと、
前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングする場合、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点との位置変換行列を取得するために用いられる取得ユニットと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するために用いられるスティッチングユニットと、を含む。
前記補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる判断ユニットと、
前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングする場合、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点との位置変換行列を取得するために用いられる取得ユニットと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するために用いられるスティッチングユニットと、を含む。
【0081】
任意選択的に、前記補助特徴点の３次元座標点と標準補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる前記判断ユニットは、具体的に、
前記補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得し、
前記補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得し、前記補助特徴点の真値座標点と前記距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得し、
前記第１補助特徴点距離と前記第２補助特徴点距離に基づいて前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる。
前記補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得し、
前記補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得し、前記補助特徴点の真値座標点と前記距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得し、
前記第１補助特徴点距離と前記第２補助特徴点距離に基づいて前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる。
【0082】
任意選択的に、前記生成モジュール４０３は、具体的に、
前記補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、前記複数の平面に基づいて目標ジオメトリを構築し、
前記標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び前記少なくとも３つの平面の交点を取得し、
前記各平面の法線ベクトル及び前記少なくとも３つの平面の交点に基づいて、位置変換行列を取得し、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記目標ジオメトリを取り替えて前記点群データとスティッチングして前記目標走査データを取得するために用いられる。
前記補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、前記複数の平面に基づいて目標ジオメトリを構築し、
前記標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び前記少なくとも３つの平面の交点を取得し、
前記各平面の法線ベクトル及び前記少なくとも３つの平面の交点に基づいて、位置変換行列を取得し、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記目標ジオメトリを取り替えて前記点群データとスティッチングして前記目標走査データを取得するために用いられる。
【0083】
任意選択的に、補助特徴点は対応する真値座標点を有し、前記生成モジュール４０３は、具体的に、
いずれか１つの補助特徴点の３次元座標点と対応する補助特徴点の真値座標点をスティッチングし、同じ座標系における目標補助特徴点の３次元座標点を取得し、目標補助特徴点の３次元座標点と対応する補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点及び前記点群データとスティッチングして目標走査データを取得するために用いられる。
いずれか１つの補助特徴点の３次元座標点と対応する補助特徴点の真値座標点をスティッチングし、同じ座標系における目標補助特徴点の３次元座標点を取得し、目標補助特徴点の３次元座標点と対応する補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点及び前記点群データとスティッチングして目標走査データを取得するために用いられる。
【0084】
本開示の実施例による走査データ処理装置は、本開示の任意の実施例による走査データ処理方法を実行することができ、方法の実行に対応する機能モジュールと有益な効果を有する。
【0085】
本開示の実施例は、プロセッサによって実行されると、本開示の任意の実施例による走査データ処理方法を実現するコンピュータプログラム／命令を含むコンピュータプログラム製品を更に提供する。
【0086】
図６は本開示の実施例による電子機器の構成図である。以下、具体的に図６に示すように、本開示の実施例を実現するための電子機器５００の構成図を示す。本開示の実施例における電子機器５００は、例えば、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（個人用デジタル補助装置）、ＰＡＤ（ブレットコンピュータ）、ＰＭＰ（携帯型マルチメディアプレーヤ）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及び、例えば、デジタルＴＶ、デスクトップ型コンピュータなどの固定端末を含んでもよいが、これらに限定されない。図６に示すような電子機器は１つの例示に過ぎず、本開示の実施例の機能と使用範囲を限定するものではない。
【0087】
図６に示すように、電子機器５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されたプログラム又は記憶装置５０８からランダム・アクセス・メモリ（ＲＡＭ）５０３にロードされたプログラムに基づいて、様々な適切な動作と処理を実行することができる処理装置（例えば、中央処理装置、グラフィクスプロセッサなど）５０１を含んでもよい。ＲＡＭ５０３において、電子機器５００の動作に必要な様々なプログラムとデータが更に記憶されている。処理装置５０１、ＲＯＭ５０２及びＲＡＭ５０３は、バス５０４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続される。
【0088】
一般的には、Ｉ／Ｏインターフェース５０５には、例えば、タッチスクリーン、タッチパット、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置５０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカー、発振器などを含む出力装置５０７、例えば、磁気テープ、ハードディスクなどを含む記憶装置５０８、及び通信装置５０９が接続されてもよい。通信装置５０９は、電子機器５００が他の機器と無線又は有線通信を行ってデータを交換することを可能にする。図６は様々な装置を備える電子機器５００を示すが、理解すべきことは、全ての示された装置を実施又は具備することが要求されているわけではない。代替的に、より多い又はより少ない装置を実施又は具備してもよい。
【0089】
特に、本開示の実施例によれば、フローチャートを参照して以上で説明された過程はコンピュータソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、非一時的なコンピュータ読み取り可能な媒体に担持されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含む。そのような実施例では、当該コンピュータプログラムは通信装置５０９によってネットワークからダウンロード及びインストールされ、又は記憶装置５０８からインストールされ、又はＲＯＭ５０２からインストールされてもよい。当該コンピュータプログラムは処理装置５０１によって実行される場合、本開示の実施例の走査データ処理方法に限定される上記機能を実行する。
【0090】
なお、本開示の上記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は上記両者のあらゆる組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、又は、半導体のシステム、装置又はデバイス、又は、以上のあらゆる組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例示は１つ又は複数の導線を有する電気接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクト磁気ディスクリードオンリーメモリ（ＣＤ‐ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は、上記のあらゆる適切な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体はプログラムを含むか、又は、記憶するいかなる有形媒体であってもよく、当該プログラムは、命令実行システム、装置又はデバイスによって使用され、又は、それと組み合わせて使用されてもよい。本開示において、コンピュータ読み取り可能な信号媒体はベースバンドにおいて、又は、キャリアの一部として伝搬されるデータ信号を含んでもよく、当該データ信号にはコンピュータ読み取り可能なプログラムコードが担持される。このような伝搬されるデータ信号は様々な形態を用いることができ、電磁信号、光信号、又は、上記のあらゆる適切な組み合わせを含むが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外のいかなるコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な信号媒体は、命令実行システム、装置又はデバイスによって使用され、又は、それと組み合わせて使用されるプログラムを送信、伝搬又は伝送するために用いられてもよい。コンピュータ読み取り可能な媒体に含まれるプログラムコードはあらゆる適切な媒体によって伝送されてもよく、当該媒体は導電線、光ファイバケーブル、ＲＦ（無線周波数）など、又は、以上のあらゆる組み合わせを含むが、これらに限定されない。
【0091】
いくつかの実施形態において、クライアント側、サーバは、例えば、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト転送プロトコル）のようないかなる現在既知又は将来に開発されるネットワークプロトコルを用いた通信も行うことができ、また、任意の形態又は媒体のデジタルデータと通信して（例えば、通信ネットワーク）互いに接続されてもよい。通信ネットワークの例示は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネット（例えば、インターネット）及びエンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、及び、いかなる現在既知又は将来に開発されるネットワークを含む。
【0092】
上記コンピュータ読み取り可能な媒体は上記電子機器に含まれてもよく、当該電子機器に配置されず、個別に存在してもよい。
【0093】
上記コンピュータ読み取り可能な媒体には１つ又は複数のプログラムが担持され、上記１つ又は複数のプログラムは、当該電子機器によって実行されると、当該電子機器に、補助特徴点を含む複数の走査画像を取得し、複数の走査画像を処理して補助特徴点の３次元座標点を取得し、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成することをさせる。
【0094】
本開示の操作を実行するためのコンピュータプログラムコードは、１つ又は複数のプログラミング言語又はそれらの組み合わせで作成されてもよく、上記プログラミング言語、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含み、「Ｃ」言語又は類似するプログラミング言語のような従来の手続き型プログラミング言語を更に含むが、これらに限定されない。プログラムコードは、完全にユーザーのコンピュータで実行されてもよく、一部がユーザーのコンピュータで実行されてもよく、１つの独立するソフトウェアパッケージとして実行されてもよく、一部がユーザーのコンピュータで、一部がリモートコンピュータで実行されてもよく、又は、完全にリモートコンピュータ又はサーバーで実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーのコンピュータに接続することができ、又は、外部コンピュータに接続することができる（例えば、インタネットサービスプロバイダを利用してインターネットを介して接続する）。
【0095】
図面におけるフローチャートとブロック図は、本開示の様々な実施例によるシステム、方法とコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能と操作を示す。これについて、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセクション、又は、コードの一部を示すことができ、当該モジュール、プログラムセクション、又は、コードの一部は規定の論理機能を実現するための１つ又は複数の実行可能な命令を含む。注意すべきことは、いくつかの代替の実現において、ブロックに付記した機能は図面に付記した順序と異なる順序で発生してもよい。例えば、連続的に示される２つのブロックは実際に、基本的に並行実行してもよいし、逆の順序で実行してもよく、関連する機能に応じて決定される。注意すべきことは、ブロック図及び／又はフローチャートにおける各ブロック、及び、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する、ハードウェアによる専用システムで実現されてもよいし、又は、専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよい。
【0096】
本開示の実施例に記載されるユニットはソフトウェアの形態で実現されてもよいし、ハードウェアの形態で実現されてもよい。ここで、ユニットの名称は、ある場合に当該ユニット自体を限定するものではない。
【0097】
本明細書において上記内容に記載の機能は、少なくとも一部が１つ又は複数のハードウェア論理装置により実行されてもよい。例えば、非限定的に、利用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）など、を含む。
【0098】
本開示のコンテキストにおいて、機械読み取り可能な媒体は、命令実行システム、装置又はデバイスによって、又は、それらと組み合わせて使用されるプログラムを含むか、又は、記憶することができる有形媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は、半導体システム、装置又は機器、又は、以上のあらゆる組み合わせを含んでもよいが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のワイヤーによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、又は、上記内容のあらゆる適切な組み合わせを含む。
【0099】
本開示の１つ又は複数の実施例によれば、本開示は、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するために用いられるメモリと、を含む電子機器であって、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して本開示によるいずれか１つの前記走査データ処理方法を実現するために用いられる電子機器を提供する。
プロセッサと、
前記プロセッサの実行可能な命令を記憶するために用いられるメモリと、を含む電子機器であって、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して本開示によるいずれか１つの前記走査データ処理方法を実現するために用いられる電子機器を提供する。
【0100】
本開示の１つ又は複数の実施例によれば、本開示は、本開示によるいずれか１つの前記走査データ処理方法を実行するために用いられるコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、更に、本開示の実施例は、
プロセッサと、
プロセッサ実行可能な命令を記憶するために用いられるメモリと、を含む装置であって、
前記プロセッサは、
補助特徴点を含む複数の走査画像を取得し、
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得し、
前記補助特徴点の３次元座標点と前記点群データに基づいて目標走査データを生成するように構成される装置を更に提供する。
プロセッサと、
プロセッサ実行可能な命令を記憶するために用いられるメモリと、を含む装置であって、
前記プロセッサは、
補助特徴点を含む複数の走査画像を取得し、
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得し、
前記補助特徴点の３次元座標点と前記点群データに基づいて目標走査データを生成するように構成される装置を更に提供する。
【0101】
なお、本明細書において、例えば、「第１」と「第２」などのような関連用語は、１つの実体又は操作と、他の実体又は操作を区別するためのものに過ぎず、必ずしもこれらの実体又は操作の間にいかなるこのような実際の関係又は順序が存在することを要求又は示唆するわけではない。且つ、「含む」、「有する」という技術用語又はそのいかなる他の変形は非排他的な「含む」をカバーすることによって、それ一連の要素を含む過程、方法、物品又は機器はそれらの要素を含むのみならず、また、明白に挙げていない他の要素を更に含み、又は、このような過程、方法、物品又は機器が特有である要素を更に含む。更なる限定のない場合、「１つの……を含む」という文により限定された要素は、前記要素を含む過程、方法、物品又は機器に更に他の同じ要素が存在することを排除しない。
【0102】
上記内容は本開示の実施形態に過ぎず、当業者は、本開示を理解又は実現するためのものである。これらの実施例の複数の修正は、当業者にとって、簡単に実現できるものであり、本明細書において定義された一般的な原理は、本開示の趣旨又は範囲から逸脱しない限り、別の実施例で実現することができる。そのため、本開示は、本明細書に示されるこれらの実施例に限定されることなく、本明細書に開示された原理と新規性特徴と一致する最も広い範囲を適合すべきである。
【産業上の利用可能性】
【0103】
本開示による走査データ処理方法は、走査データを効果的に算出し、設計された走査ロッドデータとリアルタイムの走査ロッドデータの整列精度を向上させることができ、口腔内走査の場面において走査効率と精度への影響を良好に考慮することができ、走査過程を最適化し、非常に高い産業上利用可能性を有する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2024-06-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
走査データ処理方法であって、補助特徴点を含む複数の走査画像を取得するステップと、
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得するステップと、
前記補助特徴点の３次元座標点と前記点群データに基づいて目標走査データを生成するステップと、を含む、ことを特徴とする走査データ処理方法。
【請求項2】
前記補助特徴点の３次元座標点と前記点群データに基づいて目標走査データを生成する前記ステップは、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成するステップ、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。
【請求項3】
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得する前記ステップは、各前記走査画像に基づいて３次元再構成を行い、再構成図の配列を取得するステップと、
前記再構成図の配列を計算して前記補助特徴点の３次元座標点と前記点群データを取得するステップと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。
【請求項4】
前記補助特徴点は対応する真値座標点を有し、前記標準データは標準走査ロッドデータであり、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成する前記ステップは、
前記補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断するステップと、
前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングする場合、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点との位置変換行列を取得するステップと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するステップと、を含む、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項5】
前記標準データは標準走査ロッドデータであり、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成する前記ステップは、
前記補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、前記複数の平面に基づいて目標ジオメトリを構築するステップと、
前記標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び前記少なくとも３つの平面の交点を取得するステップと、
前記各平面の法線ベクトル及び前記少なくとも３つの平面の交点に基づいて、位置変換行列を取得するステップと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記目標ジオメトリを取り替えて前記点群データとスティッチングして前記目標走査データを取得するステップと、を含む、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項6】
前記補助特徴点は対応する真値座標点を有し、前記標準データは標準走査ロッドデータであり、前記補助特徴点の３次元座標点、前記点群データ、及び標準データに基づいて目標走査データを生成する前記ステップは、
いずれか１つの前記補助特徴点の３次元座標点と対応する補助特徴点の真値座標点をスティッチングし、同じ座標系における目標補助特徴点の３次元座標点を取得するステップと、
前記目標補助特徴点の３次元座標点と対応する補助特徴点の真値座標点との位置変換行列を取得するステップと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するステップと、を含む、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項7】
複数フレームの画像を取得するステップと、
前記複数フレームの画像に基づいて、口腔内走査ロッドが取り付けられている目標口腔の、同じ座標系における目標口腔の初期点セット、前記口腔内走査ロッドに設けられた目標特徴の３次元座標測定値を含む初期の３次元データを取得するステップと、
前記口腔内走査ロッドの、同じ座標系における前記目標特徴の３次元座標真値と前記口腔内走査ロッドのリアル点セットを含むプリセットモデルを取得するステップと、
前記目標特徴の３次元座標測定値と前記目標特徴の３次元座標真値との対応関係に基づいて、前記目標口腔の初期点セットと前記口腔内走査ロッドのリアル点セットに対するスティッチングを行うステップと、
スティッチングされた口腔内走査ロッドのリアル点セットに基づいて、前記口腔内走査ロッドの位置決め情報を決定するステップと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。
【請求項8】
前記複数の走査画像を処理して補助特徴点の３次元座標点と点群データを取得する前記ステップは、
前記複数の走査画像の各走査画像における補助特徴点の２次元座標点を取得するステップと、
前記２次元座標点に対する座標系の変換を行い、前記複数の走査画像の各走査画像の補助特徴点の３次元座標点を取得するステップと、
前記複数の走査画像の各走査画像の補助特徴点の３次元座標点をスティッチングし、全ての前記補助特徴点の３次元座標点と点群データを取得するステップと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。
【請求項9】
前記補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断する前記ステップは、
前記補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得するステップと、
前記補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得するステップと、
前記補助特徴点の真値座標点と前記標準距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得するステップと、
前記第１補助特徴点距離と前記第２補助特徴点距離に基づいて、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングするか否かを判断するステップと、を含む、ことを特徴とする請求項４に記載の走査データ処理方法。
【請求項10】
前記目標走査データは、前記標準データを前記補助特徴点の３次元座標点と同一の座標系に変換し、リアルタイムで走査された走査ロッドデータを取り替える、ことを特徴とする請求項２に記載の走査データ処理方法。
【請求項11】
走査データ処理装置であって、補助特徴点を含む複数の走査画像を取得するために用いられる画像取得モジュールと、
前記複数の走査画像を処理して補助特徴点の３次元座標点を取得するために用いられる画像処理モジュールと、
前記補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成するために用いられる生成モジュールと、を含む、ことを特徴とする走査データ処理装置。
【請求項12】
前記画像処理モジュールは、具体的に、各前記走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、
前記再構成図の配列を計算して補助特徴点の３次元座標点を取得するために用いられる、ことを特徴とする請求項１１に記載の走査データ処理装置。
【請求項13】
電子機器であって、プロセッサと、
前記プロセッサの実行可能な命令を記憶するために用いられるメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して請求項１～１０のいずれか１項に記載の走査データ処理方法を実現するために用いられる、ことを特徴とする電子機器。
【請求項14】
請求項１～１０のいずれか１項に記載の走査データ処理方法を実行するために用いられる、ことを特徴とするコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【0019】
１つの場面の例として、目標口腔に複数の口腔内走査ロッドを取り付け、口腔内走査ロッドはインプラント本体に連結される走査ロッド部品及び走査ロッド部品に連結される補助部品を含み、口腔内走査ロッドには目標特徴が設けられ、目標特徴は走査ロッド部品及び／又は補助部品において連続的に分布され、目標特徴は走査ロッド部品及び／又は補助部品の片面のみに分布されるのではなく、２つ以上の面に分布されてもよく、又は、走査ロッド部品及び／又は補助部品の曲面のような、平面ではない面に分布されてもよい。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【0021】
具体的に、目標口腔を走査することにより、補助特徴点を含む複数の走査画像を取得し、複数の走査画像を処理して補助特徴点の３次元座標点を取得し、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成する。上記技術的解決手段によれば、走査ロッドの位置決め情報の精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【0029】
本開示の実施例では、走査ロッドデータと補助特徴点データを取得した後、スティッチングアルゴリズムにより、設計された走査ロッドデータとリアルタイムで取得された走査ロッドデータを整列させる必要がある。ここで、走査ロッドデータは、口腔内走査ロッドを走査したデータであり、設計された走査ロッドデータは、本願の実施例では、標準データ又は標準走査ロッドデータであってもよい。口腔内を走査する時に、単一又は複数の走査ロッドデータは、口腔内データが非剛性的特性があるため、精度が低くなることがある。本開示の実施例の態様によれば、設計された走査ロッドデータとリアルタイムの走査ロッドデータとの整列精度を向上させることによって、全体の精度を向上させることができる。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【0039】
ステップ１０３において、補助特徴点の３次元座標点と点群データに基づいて目標走査データを生成する。ここで、補助特徴点はマーカ点であってもよい。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
ここで、標準データは補助特徴点の３次元座標点とスティッチングできるデータを指し、予めのコンピュータ支援設計による走査データであってもよいし、例えば、一眼撮影測定システム、３次元座標計と高精度工業３次元スキャナなどにより取得される標準データであってもよい。なお、処理効率を向上させるために標準データを予め取得してデータベースに記憶し、処理を行う時に直接取得してもよいし、必要な場面に応じてリアルタイムに測定して標準データを取得してもよく、口腔内走査の場面において、標準データは標準走査ロッドデータであってもよい。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【0046】
本開示の実施例では、補助特徴点の３次元座標点、点群データと標準データに基づいて目標走査データを生成する態様が様々であり、いくつかの実施形態において、補助特徴点は対応する真値座標点を有し、標準データは標準走査ロッドデータであり、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断し、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングする場合、補助特徴点の３次元座標点と補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点と点群データをスティッチングして目標走査データを取得する。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【0058】
ステップ２０３において、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断する。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【0061】
本開示の実施例では、補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得し、補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得し、補助特徴点の真値座標点と標準距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得し、第１補助特徴点距離と第２補助特徴点距離に基づいて補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断する。ここで、標準距離範囲は適用場面に基づいて設定することができる。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【0063】
具体的に、収集された補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングし、スティッチングに成功すると、位置変換行列によって、設計された走査ロッドデータを補助特徴点の座標系に移行し、リアルタイムで取得された走査ロッドデータを取り替えることができる。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【0064】
本開示の実施例による走査データ処理態様では、目標口腔を走査して補助特徴点をそれぞれ含む複数の走査画像を取得し、各走査画像に基づいて３次元再構成を行い、再構成図の配列を取得し、再構成図の配列を計算して補助特徴点の３次元座標点と点群データを取得し、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断し、補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングする場合、補助特徴点の３次元座標点と補助特徴点の真値座標点との位置変換行列を取得し、位置変換行列に基づいて標準走査ロッドデータを補助特徴点の座標系に移行してから、補助特徴点の３次元座標点と点群データをスティッチングして目標走査データを取得する。これにより、設計された走査ロッドデータとリアルタイムの走査ロッドデータとの整列精度を向上させることによって、口腔内走査の場面における走査データの処理効率と精度を向上させる。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【0070】
ステップ３０３において、補助特徴点の３次元座標点に基づいて複数の平面をフィッティングし、複数の平面に基づいて目標ジオメトリを構築し、標準走査ロッドデータ、好ましくは、予め設定された標準走査ロッドデータに基づいて少なくとも３つの平面を取得し、各平面の法線ベクトル及び少なくとも３つの平面の交点を取得する。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【0080】
任意選択的に、前記生成モジュール４０３は、
前記補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる判断ユニットと、
前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングする場合、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点との位置変換行列を取得するために用いられる取得ユニットと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するために用いられるスティッチングユニットと、を含む。
前記補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる判断ユニットと、
前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングする場合、前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点との位置変換行列を取得するために用いられる取得ユニットと、
前記位置変換行列に基づいて前記標準走査ロッドデータを補助特徴点の座標系に移行してから、前記補助特徴点の３次元座標点と前記点群データとスティッチングして前記目標走査データを取得するために用いられるスティッチングユニットと、を含む。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【0081】
任意選択的に、前記補助特徴点の３次元座標点と補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる前記判断ユニットは、具体的に、
前記補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得し、
前記補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得し、前記補助特徴点の真値座標点と前記標準距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得し、
前記第１補助特徴点距離と前記第２補助特徴点距離に基づいて前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる。
前記補助特徴点の３次元座標点と標準距離範囲内の補助特徴点の３次元座標点との第１補助特徴点距離を取得し、
前記補助特徴点の３次元座標点にマッチングする補助特徴点の真値座標点を取得し、前記補助特徴点の真値座標点と前記標準距離範囲内の補助特徴点の真値座標点との第２補助特徴点距離を取得し、
前記第１補助特徴点距離と前記第２補助特徴点距離に基づいて前記補助特徴点の３次元座標点と前記補助特徴点の真値座標点をスティッチングするか否かを判断するために用いられる。
【国際調査報告】