特表 2025-502852 走査データ処理方法、装置、機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-28

(54)【発明の名称】走査データ処理方法、装置、機器及び媒体

(51)【国際特許分類】

   G06T 7/50 20170101AFI20250121BHJP

   G06T 7/70 20170101ALI20250121BHJP

   A61C 19/04 20060101ALI20250121BHJP

   A61C 8/00 20060101ALI20250121BHJP

【ＦＩ】

G06T7/50

G06T7/70 A

A61C19/04 Z

A61C8/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024540057

(86)(22)【出願日】2023-04-28

(85)【翻訳文提出日】2024-07-02

(86)【国際出願番号】 CN2023091806

(87)【国際公開番号】W WO2023213252

(87)【国際公開日】2023-11-09

(31)【優先権主張番号】202210494057.6

(32)【優先日】2022-05-02

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】518283252

【氏名又は名称】先臨三維科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＳＨＩＮＩＮＧ ３Ｄ ＴＥＣＨ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ．１３９８ Ｘｉａｎｇｂｉｎ Ｒｏａｄ，Ｗｅｎｙａｎ Ｓｔｒｅｅｔ，Ｘｉａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ，Ｈａｎｇｚｈｏｕ，Ｚｈｅｊｉａｎｇ ３１１２５８ （ＣＮ）

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】張 遠松

(72)【発明者】

【氏名】陳 暁軍

(72)【発明者】

【氏名】張 健

(72)【発明者】

【氏名】江 騰飛

(72)【発明者】

【氏名】趙 暁波

【テーマコード（参考）】

4C052

4C159

5L096

【Ｆターム（参考）】

4C052AA06

4C052NN02

4C052NN03

4C052NN15

4C159AA56

5L096AA09

5L096BA06

5L096BA13

5L096CA04

5L096CA05

5L096CA08

5L096FA09

5L096FA66

5L096FA69

5L096GA51

(57)【要約】

本開示の実施例は、走査データ処理方法、装置、機器及び媒体に関し、ここで、当該方法は、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有し、複数フレームの処理対象画像に基づいて処理を行い、現在のカメラ姿勢と組み合わせて同じ座標系における全ての３次元座標点を取得し、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得し、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定すること、を含む。上記技術的解決手段を用い、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【特許請求の範囲】

【請求項1】

走査データ処理方法であって、
補助特徴点を含む複数フレームの処理対象画像を取得することであって、ここで、前記補助特徴点は対応する分布真値を有することと、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における補助特徴点の３次元座標点を取得することと、
前記補助特徴点の３次元座標点に対する測定処理を行い、目標３次元座標点を取得することと、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定することと、を含む、走査データ処理方法。

【請求項2】

前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得することは、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
所定の内パラメータ行列と前記２次元座標点に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における前記全ての３次元座標点を取得することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項3】

前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得することは、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
２台のカメラの間の相対位置と前記２次元座標点に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における前記全ての３次元座標点を取得することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項4】

全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得することは、
各前記３次元座標点を画像座標系に投影し、２次元画素座標点を取得することと、
前記２次元画素座標点と前記３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、前記３次元座標点を前記目標３次元座標点とすることと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項5】

前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定することは、
所定のスケールファクター、前記目標３次元座標点及び前記分布真値に基づいて計算し、初期位置の変換関係を取得することと、
所定の最適化数式に基づいて前記スケールファクター、前記目標３次元座標点、前記分布真値及び前記初期位置の変換関係に対する最適化計算を行い、最適化値を取得することと、
前記スケールファクターと前記初期位置の変換関係を調整し、前記最適化値が所定閾値より小さい時に対応する前記初期位置の変換関係を前記目標位置の変換関係として取得することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項6】

補助特徴点を含む複数フレームの処理対象画像を取得することは、
走査装置が所定方向に応じて回転すると共に所定の周波数に応じて走査ロッドを含む目標口腔を走査するように制御し、前記複数フレームの処理対象画像を取得することを含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項7】

走査データ処理装置であって、
補助特徴点を含む複数フレームの処理対象画像を取得するための画像取得モジュールであって、ここで、前記補助特徴点は対応する分布真値を有する画像取得モジュールと、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得するための画像処理モジュールと、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するための測定処理モジュールと、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するための決定モジュールと、を含む、ことを特徴とする走査データ処理装置。

【請求項8】

前記画像処理モジュールは、具体的に、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
所定の内パラメータ行列、現行フレームのカメラ姿勢及び前記２次元座標点に基づいて算出し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、前記全ての３次元座標点を取得することと、のために用いられる、ことを特徴とする請求項７に記載の走査データ処理装置。

【請求項9】

電子機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して上記請求項１～６のいずれか１項に記載の走査データ処理方法を実現するためのものである、ことを特徴とする電子機器。

【請求項10】

コンピュータ可読記憶媒体であって、前記記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは上記請求項１～６のいずれか１項に記載の走査データ処理方法を実行するためのものである、ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本開示は、２０２２年０５月０２日に中国国家知識産権局に提出された、出願番号が２０２２１０４９４０５７．６であり、発明名称が「走査データ処理方法、装置、機器及び媒体」である中国特許出願の優先権を主張し、その出願の全体が参照によって本明細書に組み込まれる。

【0002】

本開示は、口腔内走査技術分野に関し、特に走査データ処理方法、装置、機器及び媒体に関する。

【背景技術】

【0003】

一般的には、歯が欠損する場合の修復に対して、走査ロッドにより走査してインプラント位置を決定する。

【0004】

関連技術において、口腔内走査の走査範囲が制限されているため、口腔内データを走査する時にマルチデータをスティッチングするという解決手段が一般的に使用され、累積誤差があるため、最終的にモデルの全体精度が低くなることを引き起こす。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の解決しようとする技術的課題は、従来の、口腔内データを走査する時にマルチデータをスティッチングするという解決手段が一般的に使用され、累積誤差があるため、最終的にモデルの全体精度が低くなることを引き起こすということを解決することである。

【課題を解決するための手段】

【0006】

上記技術問題を解決するために、本開示の実施例は、走査データ処理方法、装置、機器及び媒体を提供する。

【0007】

第１の態様では、走査データ処理方法を提供し、前記方法は、
補助特徴点を含む複数フレームの処理対象画像を取得することであって、ここで、前記補助特徴点は対応する分布真値を有することと、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得することと、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得することと、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定することと、を含む。

【0008】

第２の態様では、走査データ処理装置を更に提供し、前記装置は、
補助特徴点を含む複数フレームの処理対象画像を取得するための画像取得モジュールであって、ここで、前記補助特徴点は対応する分布真値を有する画像取得モジュールと、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得するための画像処理モジュールと、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するための測定処理モジュールと、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するための決定モジュールと、を含む。

【0009】

第３の態様では、電子機器を更に提供し、前記電子機器は、プロセッサと、前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行し、本開示の実施例による走査データ処理方法を実現するためのものである。

【0010】

第４の態様では、コンピュータ記憶媒体を更に提供し、ここで、前記記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは、例えば、本開示第１の態様による走査データ処理方法を実行するためのものである。

【発明の効果】

【0011】

本開示の実施例による上記技術的解決手段は、従来技術に比べて以下の利点を有する。

【0012】

本開示の実施例による走査データの処理方式は、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有し、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得し、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得し、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定する。上記技術的解決手段を採用すると、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【0013】

理解すべきことは、上記一般的な説明と後の詳細な説明は、例示的で解釈的なものに過ぎず、本開示を制限することができない。

【図面の簡単な説明】

【0014】

図面は、明細書に組み入れられ、本明細書の一部を構成し、本開示に合致する実施例を示し、明細書と共に本開示の原理を説明するためのものである。

【0015】

本開示の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の記述に使用される図面を簡単に説明し、言うまでもなく、当業者にとって、創造的な作業を要することなく、更にこれらの図面に基づいて他の図面を取得してもよい。

【図1】本開示の実施例による走査データ処理の適用場面を示す図である。

【図2】本開示の実施例による走査データ処理方法のフローチャートである。

【図3】本開示の実施例による別の走査データ処理方法のフローチャートである。

【図4】本開示の実施例による別の走査データ処理方法のフローチャートである。

【図5】本開示の実施例による走査データ処理装置の構成図である。

【図6】本開示の実施例による電子機器の構成図である。

【発明を実施するための形態】

【0016】

本開示の実施例の目的、技術的解決手段と利点をより明白にするために、以下、本開示の実施例における技術的解決手段を明確、全体的に説明し、当然ながら、記述される実施例は、本開示の一部の実施例であり、全ての実施例ではない。当業者は、本開示の実施例に基づき、創造的な作業を要することなく取得された全ての別の実施例は、いずれも本開示の請求の範囲に含まれる。

【0017】

実際的応用において、歯が欠損する場合の修復に対して、口腔内走査の走査範囲が制限されているため、口腔内データを走査する時にマルチデータをスティッチングするという解決手段が一般的に使用され、累積誤差があるため、最終的にモデルの全体精度が低くなることを引き起こす。

【0018】

上記問題に対し、本開示は、走査データ処理方法を提供し、図１に示すような適用環境に応用されてよい。図１は本開示の実施例による走査データ処理の適用場面を示す図であり、当該適用環境は、目標口腔に複数の口腔内走査ロッドを取り付けることを含み、口腔内走査ロッドは、走査ロッド部品１１、走査ロッド部品１１に接続される補助部品１２、を含み、走査ロッド部品１１及び／又は補助部品１２には補助特徴点が設置され、ここで、補助部品１２の形状特徴自体は補助特徴とされ、走査ロッド部品１１は目標口腔に取り付けられたインプラント本体と適合し、走査ロッド部品１１がインプラント本体に適合に取り付けられることにより、口腔内走査ロッドが目標口腔に取り付けられる。

【0019】

ここで、複数の口腔内走査ロッドのうちのいずれか２つの口腔内走査ロッドの補助部品１２が相互に適合することによって、いずれか２つの口腔内走査ロッド１０が隣接して口腔に取り付けられた時に２つの補助部品における補助特徴点は連続に分布し、予めに、例えば、一眼撮影測定システム、３次元座標計などにより、補助特徴点の真値座標点を取得することができ、理論上、走査により取得された画像に対応する３次元座標点は、予めに取得された補助特徴点の真値座標点に１対１に対応する。

【0020】

１つの場面の例として、目標口腔に複数の口腔内走査ロッドを取り付け、口腔内走査ロッドはインプラント本体に接続される走査ロッド部品及び走査ロッド部品に接続される補助部品を含み、口腔内走査ロッドには目標特徴が設けられ、目標特徴は走査ロッド及び／又は補助部品において連続的に分布し、目標特徴は走査ロッド及び／又は補助部品の片面に分布することではない。

【0021】

具体的に、口腔内スキャナは目標口腔を走査し、複数フレームの画像を取得し、データ処理モジュールに転送されてデータ処理を行い、データ処理モジュールは以下の方法を実行する。

【0022】

複数フレームの画像を取得し、複数フレームの画像に基づいて目標口腔の初期の３次元データを取得し、初期の３次元データは、同じ座標系における目標口腔の初期点セットと目標特徴の３次元座標測定値を含み、
口腔内走査ロッドのプリセットモデルを取得し、プリセットモデルは、同じ座標系における目標特徴の３次元座標真値と口腔内走査ロッドのリアル点セット（各点の３次元座標真値）を含み、
目標特徴の３次元座標測定値と真値との対応関係に基づいて目標口腔の初期点セットと口腔内走査ロッドのリアル点セットに対するスティッチングを行い、
スティッチングされた口腔内走査ロッドのリアル点セットに基づいて口腔内走査ロッドの位置決め情報を決定し、口腔内走査ロッドの位置決め情報は、インプラント本体の位置決め情報であり、当該位置決め情報に基づいて歯体を設計し、設計して製造した歯体をインプラント本体に適合に取り付けることができる。

【0023】

具体的に、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有し、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得し、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得し、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定することにより、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することを実現し、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【0024】

具体的に、図２は本開示の実施例による走査データ処理方法のフローチャートであり、当該方法は走査データ処理装置により実行されてよく、ここで、当該装置はソフトウェア及び／又はハードウェアを用いて実現することができ、一般的に電子機器に集積されてよい。図２に示すように、当該方法は以下のステップを含み、
ステップ１０１において、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有する。

【0025】

ここで、走査ロッドは走査ロッド本体と補助特徴本体を含み、走査ロッド本体には補助特徴点が設置され、又は、走査ロッド本体には補助特徴点がなく、走査ロッド本体の間の補助特徴本体には補助特徴点が設置され、又は、補助特徴本体の自体の形状は補助特徴点とされる。

【0026】

ここで、目標口腔は歯インプラント治療を行う必要がある口腔を指し、口腔内を走査して口腔内のインプラント位置を決定する必要があり、予めに、複数の口腔内走査ロッドのうちのいずれか２つの口腔内走査ロッドの補助部品を目標口腔において隣接するように取り付け、且つ２つの補助部品における補助特徴点は連続に分布することによって、目標口腔に対する口腔内走査を行うことができ、複数フレームの処理対象画像を取得する。

【0027】

ここで、ハンドヘルド型口腔スキャナ（一眼又は双眼カメラ）によって目標口腔を走査することができ、すなわち、撮影によって複数フレームの処理対象画像を取得し、例えば、１秒間に数十フレームの処理対象画像を収集し、繰り返して収集することができる。

【0028】

本開示の実施例では、走査ロッドは補助特徴点を含む特徴物体であり、ここで、補助特徴点によって１つの特徴を一意に識別することができ、すなわち、走査ロッドには補助特徴点が設置されると、各補助特徴点は走査ロッドに対応する位置特徴を一意に識別することができ、例えば、走査ロッドにおける位置１と位置２には目標特徴ａと目標特徴ｂがそれぞれ設置され、目標特徴ａは走査ロッドにおける位置１の位置特徴を一意に識別することができ、目標特徴ｂは走査ロッドにおける位置２の位置特徴を一意に識別することができる。

【0029】

理解すべきことは、走査ロッドにおける異なる形状、色、２次元コードなどの、走査ロッドに対応する位置特徴を一意に識別するものはいずれも補助特徴点とすることができることである。

【0030】

具体的に、より高精度の機器、例えば、一眼撮影測定システム、３次元座標計などにより、補助特徴点の分布真値又はコンピュータ支援設計の補助特徴点の分布真値、すなわち、補助特徴点の座標値を取得することができる。

【0031】

本開示の実施例では、毎回の走査により取得された処理対象画像は、いずれも少なくとも所定数の補助特徴点を含み、補助特徴点の分布連続性を示すことによって、後続の計算精度を確保し、ここで、所定数は適用場面に基づいて設定することができる。

【0032】

例えば、所定数は３であり、走査により取得された処理対象画像に補助特徴点を２個含む時、補助特徴点の分布が連続的でないことを示し、走査により取得された処理対象画像に補助特徴点を３個含む時、補助特徴点の分布が連続的であることを示す。

【0033】

本開示の実施例では、複数フレームの処理対象画像を取得する方式が様々であり、いくつかの実施形態において、単眼カメラが一定の方向に応じて回転すると共に一定の周波数に応じて目標口腔を走査するように制御することにより、複数フレームの処理対象画像を取得する。

【0034】

他の実施形態において、双眼カメラが目標口腔を繰り返して走査するように制御することにより、複数フレームの処理対象画像を取得する。以上の２つの方式では、複数フレームの処理対象画像を取得する実例に過ぎず、本開示の実施例は、複数フレームの処理対象画像を取得するという具体的な態様を限定しない。

【0035】

具体的に、目標口腔には走査ロッドが接続された後、走査ロッドを含む目標口腔を走査し、複数フレームの処理対象画像を取得する。

【0036】

ステップ１０２において、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得する。

【0037】

ここで、全ての３次元座標点は目標口腔における全ての補助特徴点に対応する３次元座標点を指す。

【0038】

本開示の実施例では、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得する方式が様々であり、いくつかの実施形態において、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、所定の内パラメータ行列と２次元座標点に基づいて３次元再構成を行い、各フレームの処理対象画像の補助特徴点に対応する３次元座標点を取得し、複数フレームの処理対象画像の補助特徴点に対応する３次元座標点をスティッチングし、複数フレームの処理対象画像の補助特徴点の同じ座標系における３次元座標点を取得する。

【0039】

他の実施形態において、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２台のカメラの間の相対位置と２次元座標点に基づいて３次元再構成を行い、各フレームの処理対象画像の補助特徴点に対応する３次元座標点を取得し、複数フレームの処理対象画像の補助特徴点に対応する３次元座標点をスティッチングし、複数フレームの処理対象画像の補助特徴点の同じ座標系における３次元座標点を取得する。以上の２つの方式では、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における３次元座標点を取得する実例に過ぎず、本開示の実施例は、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における３次元座標点を取得するという具体的な態様を限定しない。

【0040】

本開示の実施例では、複数フレームの処理対象画像を取得した後、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における３次元座標点を取得することができる。

【0041】

ステップ１０３において、３次元座標点に対する測定処理を行い、目標３次元座標点を取得する。

【0042】

ここで、目標３次元座標点は３次元座標点を測定して処理した３次元座標点を指し、補助特徴点の３次元座標点をより正確に示すことができる。

【0043】

本開示の実施例では、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得する方式が様々であり、いくつかの実施形態において、各３次元座標点を画像座標系に投影し、２次元画素座標点を取得し、２次元画素座標点と３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、３次元座標点を目標３次元座標点とする。

【0044】

他の実施形態において、３次元座標点が現れる第Ｎフレームの画像を取得し、第Ｎフレームの画像の２次元画素座標点を取得し、３次元座標点により投影される２次元座標点と２次元画素座標点の距離に基づいて目標３次元座標点を決定し、ここで、Ｎは正の整数である。以上の２つの方式では、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得する実例に過ぎず、本開示の実施例は、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するという具体的な態様を限定しない。

【0045】

具体的に、全ての３次元座標点を取得した後、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得することができる。

【0046】

ステップ１０４において、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定する。

【0047】

ここで、目標位置の変換関係は、走査により取得された目標３次元座標点を、対応的に設計される分布真値の変換行列に変換することを指す。

【0048】

本開示の実施例では、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定する方式が様々であり、いくつかの実施形態において、所定のスケールファクター、目標３次元座標点及び分布真値に基づいて計算し、初期位置の変換関係を取得し、所定の最適化数式に基づいてスケールファクター、目標３次元座標点、分布真値及び初期位置の変換関係に対する最適化計算を行い、最適化値を取得し、スケールファクターと初期位置の変換関係を調整し、最適化値が所定閾値より小さい時対応する初期位置の変換関係を目標位置の変換関係として取得する。

【0049】

他の実施形態において、各目標３次元座標点から分布真値への位置の変換関係を算出し、複数の位置の変換関係に基づき、目標位置の変換関係を取得する。以上の２つの方式は、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定する実例に過ぎず、本開示の実施例は、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するという具体的な態様を限定しない。

【0050】

本開示の実施例による走査データの処理方式では、複数フレームの処理対象画像を取得し、ここで、各フレームの処理対象画像は補助特徴点を含み、補助特徴点は対応する分布真値を有し、複数フレームの処理対象画像に基づいて処理を行い、全ての３次元座標点を取得し、全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得し、目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定する。上記技術的解決手段を採用すると、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【0051】

上記実施例の説明に基づき、単眼カメラと双眼カメラによって走査を行うことができ、以下、図３と図４に合わせてそれぞれ単眼カメラと双眼カメラを詳細に説明する。

【0052】

具体的に、図３は本開示の実施例による別の走査データ処理方法のフローチャートであり、本実施例は、上記実施例を基に、上記走査データ処理方法を更に最適化する。図３に示すように、当該方法は、
ステップ２０１において、走査装置が所定方向に応じて回転すると共に所定の周波数に応じて走査ロッドを含む目標口腔を走査するように制御し、複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有する。

【0053】

具体的に、単眼カメラが一定の方向に応じて回転すると共に一定の周波数に応じて目標口腔を走査するように制御することにより、複数フレームの処理対象画像を取得し、又は、双眼カメラが目標口腔を繰り返して走査するように制御することにより、複数フレームの処理対象画像を取得する。

【0054】

ステップ２０２において、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、所定の内パラメータ行列と２次元座標点に基づいて計算し、各フレームの処理対象画像の３次元座標点を取得し、各フレームの処理対象画像の３次元座標点をスティッチングし、同じ座標系における全ての３次元座標点を取得する。

【0055】

具体的に、走査により複数フレームの処理対象画像を取得し（例えば、ハードウェアによってトリガーされて撮影する方式で、１秒間に数十フレームの処理対象画像を収集し、繰り返して収集する）、処理対象画像に基づき、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し（すなわち、画像識別処理の方式で、各フレームの処理対象画像における補助特徴点の画素座標を抽出する）、更にカメラの内パラメータ（例えば、焦点距離、主点、傾斜ファクターとレンズひずみ）、テクスチャ追跡の姿勢（例えば、走査ロッド表面の幾何とテクスチャ情報を取得することによって、隣接するフレームのスティッチングを行う）に基づいて、現行フレームの補助特徴点を再構成し、再構成される３次元座標点は走査時の第１フレームのカメラの座標系（第１フレームのカメラの座標系は第１フレームの画像により決定され、後続の全てのフレームはいずれも第１フレームとスティッチングしたものであるため、座標系はいずれも第１フレームのカメラの座標系であり、画像識別されるものは２次元座標点であり、３次元座標点を取得するために、それをカメラの座標系に変換する必要がある）に基づくものである。

【0056】

ここで、内パラメータ行列はカメラの内パラメータで構成される行列を指し、内パラメータ行列に基づいて２次元座標点をカメラの座標系に逆投影し、３次元座標点を取得する。

【0057】

具体的に、各フレームの処理対象画像の３次元座標点に基づいてスティッチングを行い、全ての３次元座標点を取得し、所定のスティッチングアルゴリズムに基づいて２つのフレームの異なる座標系を、その共通部分を介して、整列させることによって、スティッチングし、全ての３次元座標点を取得することができる。すなわち、全ての１フレームで再構成される３次元座標点を、距離制約条件に応じて全体フレーム点、すなわち、全ての３次元座標点に融合させ、当該全ての３次元座標点は歯の全体モデルの座標系（ワールド座標系）に基づくものである。

【0058】

ステップ２０３において、各３次元座標点を画像座標系に投影し、２次元画素座標点を取得し、２次元画素座標点と３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、３次元座標点を目標３次元座標点とする。

【0059】

ここで、ｍは３次元座標点の数を示し、ｎは処理対象画像の数を示す。

【0060】

ステップ２０４において、所定のスケールファクター、目標３次元座標点及び分布真値に基づいて計算し、初期位置の変換関係を取得し、所定の最適化数式に基づいてスケールファクター、目標３次元座標点、分布真値及び初期位置の変換関係に対する最適化計算を行い、最適化値を取得する。

【0061】

ステップ２０５において、スケールファクターと初期位置の変換関係を調整し、最適化値が所定閾値より小さい時対応する初期位置の変換関係を目標位置の変換関係として取得する。

【0062】

らゆる走査ロッドは１つの小さい領域と理解されてよい）の補助特徴点の分布真値に対してスケーリングするスティッチング（スティッチングは剛体であり、尺度を変えず、尺度が変化する時、Ｓ_ｉスケールファクターを導入して算出する）を行うことによって、異なる走査ロッドの目標位置の変換関係を決定し、ｍｉｎｆ（）は非線形最小二乗アルゴリズムを指し、具体的な公式（２）に示すように、

【0063】

これにより、全体の口腔を走査することにより、走査ロッドの間の相対位置に正確に位置決めすることができる。

【0064】

本開示の実施例による走査データの処理方式は、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有し、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、所定の内パラメータ行列と２次元座標点に基づいて計算し、各フレームの処理対象画像の３次元座標点を取得し、各フレームの処理対象画像の３次元座標点をスティッチングし、同じ座標系における全ての３次元座標点を取得し、各３次元座標点を画像座標系に投影し、２次元画素座標点を取得し、２次元画素座標点と３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、３次元座標点を目標３次元座標点とし、所定のスケールファクター、目標３次元座標点と分布真値に基づいて計算し、初期位置の変換関係を取得し、所定の最適化数式に基づいてスケールファクター、目標３次元座標点、分布真値と初期位置の変換関係に対する最適化計算を行い、最適化値を取得し、スケールファクターと初期位置の変換関係を調整し、最適化値が所定閾値より小さい時対応する初期位置の変換関係を目標位置の変換関係として取得する。これにより、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【0065】

具体的に、図４は本開示の実施例による別の走査データ処理方法のフローチャートであり、本実施例は、上記実施例を基に、上記走査データ処理方法を更に最適化する。図４に示すように、当該方法は、
ステップ３０１において、走査装置が所定方向に応じて回転すると共に所定の周波数に応じて走査ロッドを含む目標口腔を走査するように制御し、複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有する。

【0066】

具体的に、単眼カメラが一定の方向に応じて回転すると共に一定の周波数に応じて目標口腔を走査するように制御することにより、複数フレームの処理対象画像を取得し、又は、双眼カメラが目標口腔を繰り返して走査するように制御することにより、複数フレームの処理対象画像を取得する。

【0067】

ステップ３０２、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２台のカメラの間の相対位置と２次元座標点に基づいて計算し、各フレームの処理対象画像の３次元座標点を取得し、各フレームの処理対象画像の３次元座標点をスティッチングし、同じ座標系における全ての３次元座標点を取得する。

【0068】

具体的に、走査により処理対象画像を取得し、処理対象画像に基づき、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２台のカメラの間の相対位置に基づき、１フレームの補助特徴点の３次元座標点を再構成し、再構成される３次元座標点は現行フレームの左側カメラの座標系（一般的に、再構成される深さ情報は左側カメラの座標系に基づくものである）に基づくものである。

【0069】

具体的に、各フレームの再構成される補助特徴点の３次元座標点、隣接するフレームに基づく補助特徴点の距離分布情報（２つずつの補助特徴点の座標点の距離を算出すればよい）に基づき、隣接するフレームで撮影される同じ補助特徴点を検索し、補助特徴点をスティッチングし、全ての３次元座標点を取得する。すなわち、全ての１フレームで再構成される３次元座標点を、距離制約条件に応じて全体フレーム点、すなわち、全ての３次元座標点に融合させ、当該全ての３次元座標点は歯の全体モデルの座標系（ワールド座標系）に基づくものである。

【0070】

ステップ３０３において、各３次元座標点を画像座標系に投影し、２次元画素座標点を取得し、２次元画素座標点と３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、３次元座標点を目標３次元座標点とする。

【0071】

【0072】

ここで、ｍは３次元座標点の数を示し、ｎは処理対象画像の数を示す。

【0073】

ステップ３０４において、所定のスケールファクター、目標３次元座標点及び分布真値に基づいて計算し、初期位置の変換関係を取得し、所定の最適化数式に基づいてスケールファクター、目標３次元座標点、分布真値及び初期位置の変換関係に対する最適化計算を行い、最適化値を取得する。

【0074】

ステップ３０５において、スケールファクターと初期位置の変換関係を調整し、最適化値が所定閾値より小さい時対応する初期位置の変換関係を目標位置の変換関係として取得する。

【0075】

らゆる走査ロッドは１つの小さい領域と理解されてよい）の補助特徴点の分布真値に対してスケーリングするスティッチング（スティッチングは剛体であり、尺度を変えず、尺度が変化する時、Ｓ_ｉスケールファクターを導入して算出する）を行うことによって、異なる走査ロッドの目標位置の変換関係を決定し、ｍｉｎｆ（）は非線形最小二乗アルゴリズムを指し、具体的な公式（２）に示すように、

【0076】

これにより、全体の口腔を走査することにより、走査ロッドの間の相対位置に正確に位置決めすることができる。

【0077】

本開示の実施例による走査データの処理方式は、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有し、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２台のカメラの間の相対位置と２次元座標点に基づいて計算し、各フレームの処理対象画像の３次元座標点を取得し、各フレームの処理対象画像の３次元座標点をスティッチングし、同じ座標系における全ての３次元座標点を取得し、各３次元座標点を画像座標系に投影し、２次元画素座標点を取得し、２次元画素座標点と３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、３次元座標点を目標３次元座標点とし、所定のスケールファクター、目標３次元座標点と分布真値に基づいて計算し、初期位置の変換関係を取得し、所定の最適化数式に基づいてスケールファクター、目標３次元座標点、分布真値と初期位置の変換関係に対する最適化計算を行い、最適化値を取得し、スケールファクターと初期位置の変換関係を調整し、最適化値が所定閾値より小さい時、対応する初期位置の変換関係を目標位置の変換関係として取得する。これにより、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【0078】

図５は本開示の実施例による走査データ処理装置の構成図であり、当該装置はソフトウェア及び／又はハードウェアにより実現されることができ、一般的に電子機器に集積されてよい。図５に示すように、当該装置は、
補助特徴点を含む複数フレームの処理対象画像を取得するための画像取得モジュール４０１であって、ここで、前記補助特徴点は対応する分布真値を有する画像取得モジュール４０１と、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得するための画像処理モジュール４０２と、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するための測定処理モジュール４０３と、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するための決定モジュール４０４と、を含む。

【0079】

好ましくは、前記画像処理モジュール４０２は、具体的に、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
所定の内パラメータ行列と前記２次元座標点に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における前記全ての３次元座標点を取得することと、のために用いられる。

【0080】

好ましくは、前記画像処理モジュール４０２は、具体的に、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
２台のカメラの間の相対位置と前記２次元座標点に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における前記全ての３次元座標点を取得することと、のために用いられる。

【0081】

好ましくは、前記測定処理モジュール４０３は、具体的に、
各前記３次元座標点を画像座標系に投影し、２次元画素座標点を取得することと、
前記２次元画素座標点と前記３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、前記３次元座標点を前記目標３次元座標点とすることと、のために用いられる。

【0082】

好ましくは、前記決定モジュール４０４は、具体的に、
所定のスケールファクター、前記目標３次元座標点及び前記分布真値に基づいて計算し、初期位置の変換関係を取得することと、
所定の最適化数式に基づいて前記スケールファクター、前記目標３次元座標点、前記分布真値及び前記初期位置の変換関係に対する最適化計算を行い、最適化値を取得することと、
前記スケールファクターと前記初期位置の変換関係を調整し、前記最適化値が所定閾値より小さい時に対応する前記初期位置の変換関係を前記目標位置の変換関係として取得することと、のために用いられる。

【0083】

好ましくは、画像取得モジュール４０１は、具体的に、
走査装置が所定方向に応じて回転すると共に所定の周波数に応じて走査ロッドを含む目標口腔を走査するように制御し、前記複数フレームの処理対象画像を取得するために用いられる。

【0084】

本開示の実施例による走査データ処理装置は、本開示の任意の実施例による走査データ処理方法を実行することができ、方法の実行に対応する機能モジュールと有益な効果を有する。

【0085】

本開示の実施例は、コンピュータプログラム製品を更に提供し、コンピュータプログラム／命令を含み、当該コンピュータプログラム／命令はプロセッサによって実行される時に本開示の任意の実施例による走査データ処理方法を実現する。

【0086】

図６は本開示の実施例による電子機器の構成図である。以下、具体的に図６に示すように、本開示の実施例を実現するための電子機器５００の構成図を示す。本開示の実施例における電子機器５００は、例えば、携帯電話、ノートパソコン、デジタル放送受信機、ＰＤＡ（個人用デジタル補助装置）、ＰＡＤ（ブレットコンピュータ）、ＰＭＰ（携帯型マルチメディアプレーヤ）、車載端末（例えば、車載ナビゲーション端末）などの携帯端末、及び、例えば、デジタルＴＶ、デスクトップ型コンピュータなどの固定端末を含んでもよいが、これらに限定されない。図６に示すような電子機器は１つの実例に過ぎず、本開示の実施例の機能と使用範囲を限定するものではない。

【0087】

図６に示すように、電子機器５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されるプログラム又は記憶装置５０８からランダム・アクセス・メモリ（ＲＡＭ）５０３にロードされるプログラムに基づいて様々な適切な動作と処理を実行することができる処理装置（例えば、中央処理装置、グラフィクスプロセッサなど）５０１を含んでもよい。ＲＡＭ５０３において、電子機器５００の動作に必要な様々なプログラムとデータが更に記憶される。処理装置５０１、ＲＯＭ５０２及びＲＡＭ５０３はバス５０４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続される。

【0088】

一般的には、Ｉ／Ｏインターフェース５０５には、例えば、タッチスクリーン、タッチパット、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置５０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカー、発振器などを含む出力装置５０７、例えば、磁気テープ、ハードディスクなどを含む記憶装置５０８、及び通信装置５０９が接続されてもよい。通信装置５０９は電子機器５００が他の機器と無線又は有線通信を行ってデータを交換することを可能にする。図６は様々な装置を備える電子機器５００を示すが、理解すべきことは、全ての示された装置を実施又は具備することが要求されないことである。代替的に、より多い又はより少ない装置を実施又は具備してよい。

【0089】

特に、本開示の実施例によれば、フローチャートを参照して以上で説明された過程はコンピュータソフトウェアプログラムとして実現されてよい。例えば、本開示の実施例は、非一時的なコンピュータ可読媒体に担持されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含む。そのような実施例では、当該コンピュータプログラムは通信装置５０９によってネットワークからダウンロードとインストールされ、又は記憶装置５０８からインストールされ、又はＲＯＭ５０２からインストールされてよい。当該コンピュータプログラムは処理装置５０１によって実行される時、本開示の実施例の走査データ処理方法に限定される上記機能を実行する。

【0090】

説明すべきことは、本開示の上記コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又は上記両者のあらゆる組み合わせであってもよいことである。コンピュータ可読記憶媒体は、例えば、電気、磁気、光学、電磁、赤外線、又は、半導体のシステム、装置又はデバイス、又は、以上のあらゆる組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な実例は一つ又は複数の導線を有する電気接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクト磁気ディスクリードオンリーメモリ（ＣＤ‐ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は、上記のあらゆる適切な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ可読記憶媒体はプログラムを含むか、又は、記憶するいかなる有形媒体であってもよく、当該プログラムは、命令実行システム、装置又はデバイスによって使用され、又は、それと結合して使用されてよい。本開示において、コンピュータ可読信号媒体はベースバンドにおいて、又は、キャリアの一部として伝搬されるデータ信号を含んでもよく、当該データ信号にはコンピュータ可読プログラムコードが担持される。このような伝搬されるデータ信号は様々な形態を用いることができ、電磁信号、光信号、又は、上記のあらゆる適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体はコンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、当該コンピュータ可読信号媒体は、命令実行システム、装置又はデバイスによって使用され、又は、それと結合して使用されるプログラムを送信、伝搬又は伝送するために用いられてよい。コンピュータ可読媒体に含まれるプログラムコードはあらゆる適切な媒体によって伝送されてよく、当該媒体は導電線、光ファイバケーブル、ＲＦ（無線周波数）など、又は、以上のあらゆる組み合わせを含むが、これらに限定されない。

【0091】

いくつかの実施形態において、クライアント側、サーバは、例えば、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ、ハイパーテキスト転送プロトコル）のようないかなる現在既知又は将来に開発されるネットワークプロトコルを用いて通信を行うことができ、また、任意の形態又は媒体のデジタルデータと通信して（例えば、通信ネットワーク）互いに接続されてよい。通信ネットワークの実例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、インターネット（例えば、インターネット）及びエンドツーエンドネットワーク（例えば、ａｄ ｈｏｃエンドツーエンドネットワーク）、及び、いかなる現在既知又は将来に開発されるネットワークを含む。

【0092】

上記コンピュータ可読媒体は上記電子機器に含まれてもよく、当該電子機器に配置されず、個別に存在してもよい。

【0093】

上記コンピュータ可読媒体には一つ又は複数のプログラムが担持され、上記一つ又は複数のプログラムは当該電子機器によって実行される時、当該電子機器に、動画の再生過程に、ユーザの情報を受信してトリガー操作を表示し、前記動画に関連する少なくとも２つの目標情報を取得し、前記動画の再生ページの情報表示領域において前記少なくとも２つの目標情報における第１目標情報を表示し、ここで、前記情報表示領域のサイズは前記再生ページのサイズより小さく、ユーザの第１切替トリガー操作を受信し、前記情報表示領域に表示される前記第１目標情報を前記少なくとも２つの目標情報における第２目標情報に切り替える。

【0094】

本開示の操作を実行するためのコンピュータプログラムコードは、一つ又は複数のプログラミング言語又はそれらの組み合わせで作成されてもよく、上記プログラミング言語、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語を含み、「Ｃ」言語又は類似するプログラミング言語のような従来の手続き型プログラミング言語を更に含むが、これらに限定されない。プログラムコードは完全にユーザーのコンピュータで実行されてもよく、部分的にユーザーのコンピュータで実行されてもよく、１つの独立するソフトウェアパッケージとして実行されてもよく、一部がユーザーのコンピュータで、一部がリモートコンピュータで実行されてもよく、又は、完全にリモートコンピュータ又はサーバーで実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザーのコンピュータに接続することができ、又は、外部コンピュータに接続することができる（例えば、インタネットサービスプロバイダを利用してインターネットを介して接続する）。

【0095】

図面におけるフローチャートとブロック図は、本開示の様々な実施例によるシステム、方法とコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能と操作を示す。これについて、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセクション、又は、コードの一部を示すことができ、当該モジュール、プログラムセクション、又は、コードの一部は規定の論理機能を実現するための一つ又は複数の実行可能な命令を含む。注意すべきことは、いくつかの代替の実現において、ブロックに付記した機能は図面に付記した順序と異なる順序で発生してもよいことである。例えば、２つの連続的に示されるブロックは実際に、基本的に並行実行してもよいし、逆の順序で実行してもよく、関連する機能に応じて決定される。注意すべきことは、ブロック図及び／又はフローチャートにおける各ブロック、及び、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための、ハードウェアによる専用システムで実現されてもよいし、又は、専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよいことである。

【0096】

本開示の実施例に記載されるユニットはソフトウェアの形態で実現されてもよいし、ハードウェアの形態で実現されてもよい。ここで、ユニットの名称は、ある場合に当該ユニット自体を限定するものではない。

【0097】

本明細書において上記内容に記載の機能は、少なくとも部分的に一つ又は複数のハードウェア論理装置により実行されてよい。例えば、非限定的に、利用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）など、を含む。

【0098】

本開示のコンテキストにおいて、機械可読媒体は、命令実行システム、装置又はデバイスによって、又は、それらと結合して使用されるプログラムを含むか、又は、記憶することができる有形媒体であってもよい。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は、半導体システム、装置又は機器、又は、以上のあらゆる組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例は、一つ又は複数のワイヤーによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、又は、上記内容のあらゆる適切な組み合わせを含む。

【0099】

本開示の一つ又は複数の実施例によれば、本開示は、電子機器を提供し、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して本開示によるいずれか１つの前記走査データ処理方法を実現するためのものである。

【0100】

本開示の一つ又は複数の実施例によれば、本開示は、コンピュータ可読記憶媒体を提供し、前記記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは本開示によるいずれか１つの前記走査データ処理方法を実行するためのものである。

【0101】

説明すべきことは、本明細書において、例えば、「第１」と「第２」などのような関連用語は、１つの実体又は操作と、他の実体又は操作を区別するためのものに過ぎず、必ずしもこれらの実体又は操作の間にいかなるこのような実際の関係又は順序が存在することを要求又は示唆するわけではないことである。且つ、「含む」、「包含する」という技術用語又はそのいかなる他の変形は非排他的な「含む」をカバーすることによって、それ一連の要素を含む過程、方法、物品又は機器はそれらの要素を含むのみならず、また、明白に挙げていない他の要素を更に含み、又は、このような過程、方法、物品又は機器が特有である要素を更に含む。更なる限定のない場合、「１つの……を含む」という文により限定された要素は、前記要素を含む過程、方法、物品又は機器に更に他の同じ要素が存在することを排除しない。

【0102】

上記内容は本開示の実施形態に過ぎず、当業者は、本開示を理解又は実現するためのものである。これらの実施例の複数の修正は、当業者にとって、簡単に実現できるものであり、本明細書において定義された一般的な原理は、本開示の趣旨又は範囲から逸脱しない限り、別の実施例で実現することができる。そのため、本開示は、本明細書に示されるこれらの実施例に限定されることなく、本明細書に開示された原理と新規性特徴と一致する最も広い範囲を適合すべきである。

【産業上の利用可能性】

【0103】

本開示に開示された走査データの処理方式は、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させ、非常に高い産業上の利用可能性を有する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-07-02

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

走査データ処理方法であって、
複数フレームの処理対象画像を取得することであって、ここで、各フレームの処理対象画像は補助特徴点を含み、前記補助特徴点は対応する分布真値を有することと、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における補助特徴点の３次元座標点を取得することと、
前記補助特徴点の３次元座標点に対する測定処理を行い、目標３次元座標点を取得することと、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定することと、を含む、走査データ処理方法。

【請求項2】

前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における補助特徴点の３次元座標点を取得することは、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
所定の内パラメータ行列と前記２次元座標点に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における補助特徴点の３次元座標点を取得することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項3】

前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における補助特徴点の３次元座標点を取得することは、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
前記２次元座標点、及び２台のカメラと前記２次元座標点との相対位置に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における補助特徴点の３次元座標点を取得することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項4】

前記補助特徴点の３次元座標点に対する測定処理を行い、目標３次元座標点を取得することは、
各前記３次元座標点を画像座標系に投影し、２次元画素座標点を取得することと、
前記２次元画素座標点と前記３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、前記３次元座標点を前記目標３次元座標点とすることと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項5】

前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定することは、
所定のスケールファクター、前記目標３次元座標点及び前記分布真値に基づいて計算し、初期位置の変換関係を取得することと、
所定の最適化数式に基づいて前記スケールファクター、前記目標３次元座標点、前記分布真値及び前記初期位置の変換関係に対する最適化計算を行い、最適化値を取得することと、
前記スケールファクターと前記初期位置の変換関係を調整し、前記最適化値が所定閾値より小さい時に対応する前記初期位置の変換関係を前記目標位置の変換関係として取得することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項6】

補助特徴点を含む複数フレームの処理対象画像を取得することは、
走査装置が所定方向に応じて回転すると共に所定の周波数に応じて走査ロッドを含む目標口腔を走査するように制御し、前記複数フレームの処理対象画像を取得することを含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項7】

走査データ処理装置であって、
複数フレームの処理対象画像を取得するための画像取得部であって、ここで、各フレームの処理対象画像は補助特徴点を含み、前記補助特徴点は対応する分布真値を有する画像取得部と、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得するための画像処理部と、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するための測定処理部と、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するための決定部と、を含む、ことを特徴とする走査データ処理装置。

【請求項8】

前記画像処理部は、具体的に、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
所定の内パラメータ行列、現行フレームのカメラ姿勢及び前記２次元座標点に基づいて算出し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、前記全ての３次元座標点を取得することと、のために用いられる、ことを特徴とする請求項７に記載の走査データ処理装置。

【請求項9】

電子機器であって、
プロセッサと、
前記プロセッサの実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して上記請求項１に記載の走査データ処理方法を実現するためのものである、ことを特徴とする電子機器。

【請求項10】

不揮発性コンピュータ可読記憶媒体であって、前記不揮発性コンピュータ可読記憶媒体にはコンピュータプログラムが記憶され、前記コンピュータプログラムは上記請求項１に記載の走査データ処理方法を実行するためのものである、ことを特徴とするコンピュータ可読記憶媒体。

【請求項11】

前記補助特徴点の３次元座標点に対する測定処理を行い、目標３次元座標点を取得することは、
３次元座標点が現れる第Ｎフレームの画像を取得することと、
前記第Ｎフレームの画像の２次元画素座標点を取得することと、
前記３次元座標点により投影される２次元座標点と前記２次元画素座標点との距離に基づいて目標３次元座標点を決定することと、を含む、ことを特徴とする請求項１に記載の走査データ処理方法。

【請求項12】

前記目標口腔に複数の口腔内走査ロッドを取り付け、前記口腔内走査ロッドはインプラント本体に接続される走査ロッド部品及び前記走査ロッド部品に接続される補助部品を含み、口腔内走査ロッドには目標特徴が設けられ、前記目標特徴は走査ロッド及び／又は前記補助部品において連続的に分布し、且つ前記目標特徴は走査ロッド及び／又は前記補助部品の片面に分布していない、ことを特徴とする請求項６に記載の走査データ処理方法。

【請求項13】

前記複数フレームの画像に基づいて前記目標口腔の初期の３次元データを取得することであって、前記初期の３次元データは、同じ座標系における前記目標口腔の初期点セットと前記目標特徴の３次元座標測定値を含むことと、
口腔内走査ロッドのプリセットモデルを取得することであって、前記口腔内走査ロッドのプリセットモデルは、同じ座標系における前記目標特徴の３次元座標真値と前記口腔内走査ロッドのリアル点セットを含み、リアル点セットは、各点の３次元座標真値を含むことと、
目標特徴の真値と３次元座標測定値との対応関係に基づいて目標口腔の初期点セットと口腔内走査ロッドのリアル点セットに対するスティッチングを行うことと、
スティッチングされた口腔内走査ロッドのリアル点セットに基づいて口腔内走査ロッドの位置決め情報を決定することと、を含むことを特徴とする請求項１に記載の走査データ処理方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正の内容】

【0008】

第２の態様では、走査データ処理装置を更に提供し、前記装置は、
補助特徴点を含む複数フレームの処理対象画像を取得するための画像取得部であって、ここで、前記補助特徴点は対応する分布真値を有する画像取得部と、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得するための画像処理部と、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するための測定処理部と、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するための決定部と、を含む。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正の内容】

【0039】

他の実施形態において、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２次元座標点、及び２台のカメラと２次元座標点との相対位置に基づいて３次元再構成を行い、各フレームの処理対象画像の補助特徴点に対応する３次元座標点を取得し、複数フレームの処理対象画像の補助特徴点に対応する３次元座標点をスティッチングし、複数フレームの処理対象画像の補助特徴点の同じ座標系における３次元座標点を取得する。以上の２つの方式では、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における３次元座標点を取得する実例に過ぎず、本開示の実施例は、複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における３次元座標点を取得するという具体的な態様を限定しない。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】００６７

【補正方法】変更

【補正の内容】

【0067】

ステップ３０２、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２次元座標点、及び２台のカメラと２次元座標点との相対位置に基づいて計算し、各フレームの処理対象画像の３次元座標点を取得し、各フレームの処理対象画像の３次元座標点をスティッチングし、同じ座標系における全ての３次元座標点を取得する。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正の内容】

【0068】

具体的に、走査により処理対象画像を取得し、処理対象画像に基づき、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２次元座標点、及び２台のカメラと２次元座標点との相対位置に基づき、１フレームの補助特徴点の３次元座標点を再構成し、再構成される３次元座標点は現行フレームの左側カメラの座標系（一般的に、再構成される深さ情報は左側カメラの座標系に基づくものである）に基づくものである。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】００７７

【補正方法】変更

【補正の内容】

【0077】

本開示の実施例による走査データの処理方式は、補助特徴点を含む複数フレームの処理対象画像を取得し、ここで、補助特徴点は対応する分布真値を有し、各フレームの処理対象画像における補助特徴点の２次元座標点を取得し、２次元座標点、及び２台のカメラと２次元座標点の相対位置に基づいて計算し、各フレームの処理対象画像の３次元座標点を取得し、各フレームの処理対象画像の３次元座標点をスティッチングし、同じ座標系における全ての３次元座標点を取得し、各３次元座標点を画像座標系に投影し、２次元画素座標点を取得し、２次元画素座標点と３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、３次元座標点を目標３次元座標点とし、所定のスケールファクター、目標３次元座標点と分布真値に基づいて計算し、初期位置の変換関係を取得し、所定の最適化数式に基づいてスケールファクター、目標３次元座標点、分布真値と初期位置の変換関係に対する最適化計算を行い、最適化値を取得し、スケールファクターと初期位置の変換関係を調整し、最適化値が所定閾値より小さい時、対応する初期位置の変換関係を目標位置の変換関係として取得する。これにより、補助特徴点の予め設定された分布真値と走査により算出された３次元座標点に基づいて目標位置の変換関係を決定することによって、走査ロッドの間の相対位置に正確に位置決めすることを可能にし、口腔内走査の場合におけるデータ処理効率と精度を向上させる。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】００７８

【補正方法】変更

【補正の内容】

【0078】

図５は本開示の実施例による走査データ処理装置の構成図であり、当該装置はソフトウェア及び／又はハードウェアにより実現されることができ、一般的に電子機器に集積されてよい。図５に示すように、当該装置は、
補助特徴点を含む複数フレームの処理対象画像を取得するための画像取得部４０１であって、ここで、前記補助特徴点は対応する分布真値を有する画像取得部４０１と、
前記複数フレームの処理対象画像に基づいて処理を行い、同じ座標系における全ての３次元座標点を取得するための画像処理部４０２と、
前記全ての３次元座標点に対する測定処理を行い、目標３次元座標点を取得するための測定処理部４０３と、
前記目標３次元座標点と分布真値に基づき、目標位置の変換関係を決定するための決定部４０４と、を含む。

【手続補正8】

【補正対象書類名】明細書

【補正対象項目名】００７９

【補正方法】変更

【補正の内容】

【0079】

好ましくは、前記画像処理部４０２は、具体的に、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
所定の内パラメータ行列と前記２次元座標点に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における前記全ての３次元座標点を取得することと、のために用いられる。

【手続補正9】

【補正対象書類名】明細書

【補正対象項目名】００８０

【補正方法】変更

【補正の内容】

【0080】

好ましくは、前記画像処理部４０２は、具体的に、
各フレームの前記処理対象画像における補助特徴点の２次元座標点を取得することと、
２次元座標点、及び２台のカメラと前記２次元座標点との相対位置に基づいて計算し、各フレームの前記処理対象画像の３次元座標点を取得することと、
各フレームの前記処理対象画像の３次元座標点をスティッチングし、同じ座標系における前記全ての３次元座標点を取得することと、のために用いられる。

【手続補正10】

【補正対象書類名】明細書

【補正対象項目名】００８１

【補正方法】変更

【補正の内容】

【0081】

好ましくは、前記測定処理部４０３は、具体的に、
各前記３次元座標点を画像座標系に投影し、２次元画素座標点を取得することと、
前記２次元画素座標点と前記３次元座標点に対応する２次元座標点との間のユークリッド距離が最も小さい時、前記３次元座標点を前記目標３次元座標点とすることと、のために用いられる。

【手続補正11】

【補正対象書類名】明細書

【補正対象項目名】００８２

【補正方法】変更

【補正の内容】

【0082】

好ましくは、前記決定部４０４は、具体的に、
所定のスケールファクター、前記目標３次元座標点及び前記分布真値に基づいて計算し、初期位置の変換関係を取得することと、
所定の最適化数式に基づいて前記スケールファクター、前記目標３次元座標点、前記分布真値及び前記初期位置の変換関係に対する最適化計算を行い、最適化値を取得することと、
前記スケールファクターと前記初期位置の変換関係を調整し、前記最適化値が所定閾値より小さい時に対応する前記初期位置の変換関係を前記目標位置の変換関係として取得することと、のために用いられる。

【手続補正12】

【補正対象書類名】明細書

【補正対象項目名】００８３

【補正方法】変更

【補正の内容】

【0083】

好ましくは、画像取得部４０１は、具体的に、
走査装置が所定方向に応じて回転すると共に所定の周波数に応じて走査ロッドを含む目標口腔を走査するように制御し、前記複数フレームの処理対象画像を取得するために用いられる。

【手続補正13】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正の内容】

【図5】

【国際調査報告】