2025-508275 ３次元顔スキャンデータの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-03-24

(54)【発明の名称】３次元顔スキャンデータの生成方法

(51)【国際特許分類】

   A61C 19/04 20060101AFI20250314BHJP

   G06T 7/00 20170101ALI20250314BHJP

   G06T 17/20 20060101ALI20250314BHJP

   A61B 10/00 20060101ALI20250314BHJP

   A61B 5/107 20060101ALI20250314BHJP

   A61B 5/00 20060101ALI20250314BHJP

【ＦＩ】

A61C19/04 Z

G06T7/00 612

G06T7/00 660A

G06T17/20

A61B10/00 E

A61B5/107 110

A61B5/00 G

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024543114

(86)(22)【出願日】2023-03-21

(85)【翻訳文提出日】2024-07-18

(86)【国際出願番号】 KR2023003695

(87)【国際公開番号】W WO2023182755

(87)【国際公開日】2023-09-28

(31)【優先権主張番号】10-2022-0035664

(32)【優先日】2022-03-22

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】524271184

【氏名又は名称】レイ カンパニー，リミテッド

【氏名又は名称原語表記】ＲＡＹ ＣＯ．， ＬＴＤ

【住所又は居所原語表記】１２Ｆ， ２２１ Ｐａｎｇｙｏｙｅｏｋ－ｒｏ Ｂｕｎｄａｎｇ－ｇｕ， Ｓｅｏｎｇｎａｍ－ｓｉ Ｇｙｅｏｎｇｇｉ－ｄｏ １３４９４， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(74)【代理人】

【識別番号】100179648

【弁理士】

【氏名又は名称】田中 咲江

(74)【代理人】

【識別番号】100222885

【弁理士】

【氏名又は名称】早川 康

(74)【代理人】

【識別番号】100140338

【弁理士】

【氏名又は名称】竹内 直樹

(74)【代理人】

【識別番号】100170896

【弁理士】

【氏名又は名称】寺薗 健一

(74)【代理人】

【識別番号】100219313

【弁理士】

【氏名又は名称】米口 麻子

(74)【代理人】

【識別番号】100161610

【弁理士】

【氏名又は名称】藤野 香子

(74)【代理人】

【識別番号】100206586

【弁理士】

【氏名又は名称】市田 哲

(72)【発明者】

【氏名】リー、サン チュル

(72)【発明者】

【氏名】シン、スン ホン

【テーマコード（参考）】

4C038

4C052

4C117

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB03

4C038VC05

4C038VC20

4C052AA06

4C052NN02

4C052NN03

4C052NN04

4C052NN15

4C117XB01

4C117XD04

4C117XE43

4C117XG13

4C117XK04

4C117XK09

5L096AA09

5L096BA06

5L096CA05

5L096EA14

(57)【要約】

【課題】本発明は、３次元顔スキャンデータの生成方法に関するものである。
【解決手段】本発明に係る３次元顔スキャンデータの生成方法は、患者の顔を撮影した顔イメージを獲得するステップと、前記顔イメージから顔３Ｄデータを生成するステップと、前記患者の歯部位を撮影した歯部位イメージを獲得するステップと、前記歯部位イメージから歯部位３Ｄデータを生成するステップと、前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出するステップと、前記歯部位３Ｄデータから前記歯領域コンターに対応する歯領域コンター３Ｄデータを分離させて獲得するステップと、前記顔３Ｄデータに前記歯領域コンター３Ｄデータを整列させて挿入するステップと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

患者の顔を撮影した顔イメージを獲得するステップと、
前記顔イメージから顔３Ｄデータを生成するステップと、
前記患者の歯部位を撮影した歯部位イメージを獲得するステップと、
前記歯部位イメージから歯部位３Ｄデータを生成するステップと、
前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出するステップと、
前記歯部位３Ｄデータから前記歯領域コンターに対応する歯領域コンター３Ｄデータを分離させて獲得するステップと、
前記顔３Ｄデータに前記歯領域コンター３Ｄデータを整列させて挿入するステップと、を含むことを特徴とする、３次元顔スキャンデータの生成方法。

【請求項2】

前記患者の歯部位を撮影した歯部位イメージを獲得する前記ステップは、
複数の方向から歯部位を撮影して、複数個の歯部位部分イメージを獲得するステップを含み、
前記歯部位イメージから歯部位３Ｄデータを生成する前記ステップは、
前記複数個の歯部位部分イメージから複数個の歯部位部分３Ｄデータを生成するステップと、
前記複数個の歯部位部分３Ｄデータを整列させ、歯部位の全体に対する歯部位３Ｄデータを生成するステップと、を含むことを特徴とする、請求項１に記載の３次元顔スキャンデータの生成方法。

【請求項3】

前記顔３Ｄデータに前記歯領域コンター３Ｄデータを整列させて挿入する前記ステップは、
前記顔３Ｄデータから前記歯領域コンター部分のデータを除去するステップと、
前記顔３Ｄデータの前記歯領域コンター部分に前記歯領域コンター３Ｄデータを整列させて挿入するステップと、を含むことを特徴とする、請求項２に記載の３次元顔スキャンデータの生成方法。

【請求項4】

顔の既定の部位に対する補助部位３Ｄデータを生成するステップと、
前記顔３Ｄデータに前記補助部位３Ｄデータを整列させて挿入するステップと、をさらに含むことを特徴とする、請求項３に記載の３次元顔スキャンデータの生成方法。

【請求項5】

前記顔イメージ、前記顔３Ｄデータ、前記歯部位イメージ及び前記歯部位３Ｄデータは、構造化光パターンを前記患者の顔又は歯部位に投射した状態で獲得されることを特徴とする、請求項１に記載の３次元顔スキャンデータの生成方法。

【請求項6】

前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出する前記ステップは、
前記顔イメージ又は前記顔３Ｄデータから顔ランドマークを認識するステップと、
前記顔ランドマークに基づいて、前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出するステップと、をさらに含むことを特徴とする、請求項１に記載の３次元顔スキャンデータの生成方法。

【請求項7】

コンピュータにより請求項１乃至６のいずれか一項に記載の３次元顔スキャンデータの生成方法を実行させるために、保存媒体に保存されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的に人の３次元顔スキャンデータを生成する技術に関する。

【0002】

特に、本発明は、構造化光（structured light）パターンが投射された顔及び歯部位を各々撮影して、顔及び歯部位に対する３Ｄデータを個別的に獲得し、顔ランドマーク（face landmarks）により歯領域コンター（contour）を抽出した後、歯部位３Ｄデータから分離させて獲得した歯領域コンター３Ｄデータを顔３Ｄデータに整列させて挿入する３次元顔スキャンデータの生成技術に関する。

【背景技術】

【0003】

従来では、審美歯科治療などのために、患者の顔を立体的にスキャンして、３次元顔スキャンデータを得る必要があった。例えば、歯列矯正を行う際に、歯列を矯正する過程に応じて、顔の表情の様子がどのように変化していくかを予めシミュレーションするためには、患者の顔に対する次元顔スキャンデータが必要である。

【0004】

このために、Ｂｅｌｌｕｓ３Ｄのように、患者の顔の全体を一度に立体的に撮影できる専用装備が使用された。こうした専用装備は、高価であるとともに、顔の全体を一度に撮影することにより歯部位に対する３Ｄデータを精密に獲得し難いので、歯科分野で使用するのに不適切である。

【0005】

一方、Ｆａｃｅ Ｈｕｎｔｅｒのように、患者の顔をスキャンする装備を試みることもできるが、こうした装備も顔を一度のスキャンにより撮影するので、歯部位のデータを精密に獲得し難いという問題点がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】大韓民国公開特許１０－２０２０－００１４６４５号（２０２０．０２．１１）「口腔内スキャニングを用いた歯科インプラント用義歯の製造方法」

【特許文献2】大韓民国公開特許１０－２０２２－００２３９１４（２０２２．０３．０３）「歯科用スキャンボディ」

【特許文献3】大韓民国登録特許１０－１１７６７７０号（２０１２．０８．１７）「歯科用３次元スキャナー及びこれを用いたスキャニング方法」

【特許文献4】大韓民国登録特許１０－２３３４５１９号（２０２１．１１．３０）「歯科用３次元スキャンデータの簡素化したフェースランドマーク自動検出方法」

【特許文献5】大韓民国登録特許１０－１７４４０７９号（２０１７．０５．３１）「歯科手術のシミュレーションのための顔モデル生成方法」

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、一般的に人の３次元顔スキャンデータを生成する技術を提供することにある。

【0008】

特に、本発明の目的は、構造化光パターンが投射された顔及び歯部位を各々撮影して、顔及び歯部位に対する３Ｄデータを個別的に獲得し、顔ランドマークにより歯領域コンターを抽出した後、歯部位３Ｄデータから分離させて獲得した歯領域コンター３Ｄデータを顔３Ｄデータに整列させて挿入する３次元顔スキャンデータの生成技術を提供することにある。

【0009】

一方、本発明の解決課題は、これらの事項に制限されず、本明細書の記載から他の解決課題を理解するべきである。

【課題を解決するための手段】

【0010】

前記目的を達成するために、本発明に係る３次元顔スキャンデータの生成方法は、患者の顔を撮影した顔イメージを獲得するステップと、前記顔イメージから顔３Ｄデータを生成するステップと、前記患者の歯部位を撮影した歯部位イメージを獲得するステップと、前記歯部位イメージから歯部位３Ｄデータを生成するステップと、前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出するステップと、前記歯部位３Ｄデータから前記歯領域コンターに対応する歯領域コンター３Ｄデータを分離させて獲得するステップと、前記顔３Ｄデータに前記歯領域コンター３Ｄデータを整列させて挿入するステップとを含む。

【0011】

前述した３次元顔スキャンデータの生成方法において、前記患者の歯部位を撮影した歯部位イメージを獲得する前記ステップは、複数の方向から歯部位を撮影して複数個の歯部位部分イメージを獲得するステップを含み、前記歯部位イメージから歯部位３Ｄデータを生成する前記ステップは、前記複数個の歯部位部分イメージから複数個の歯部位部分３Ｄデータを生成するステップと、前記複数個の歯部位部分３Ｄデータを整列させて歯部位の全体に対する歯部位３Ｄデータを生成するステップとを含む。

【0012】

前述した３次元顔スキャンデータの生成方法において、前記顔３Ｄデータに前記歯領域コンター３Ｄデータを整列させて挿入する前記ステップは、前記顔３Ｄデータから前記歯領域コンター部分のデータを除去するステップと、前記顔３Ｄデータの前記歯領域コンター部分に前記歯領域コンター３Ｄデータを整列させて挿入するステップとを含む。

【0013】

前述した３次元顔スキャンデータの生成方法において、前記方法は、顔の既定の部位に対する補助部位３Ｄデータを生成するステップと、前記顔３Ｄデータに前記補助部位３Ｄデータを整列させて挿入するステップとをさらに含む。

【0014】

前述した３次元顔スキャンデータの生成方法において、前記顔イメージ、前記顔３Ｄデータ、前記歯部位イメージ及び前記歯部位３Ｄデータは、構造化光パターンを前記患者の顔又は歯部位に投射した状態で獲得される。

【0015】

前述した３次元顔スキャンデータの生成方法において、前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出する前記ステップは、前記顔イメージ又は前記顔３Ｄデータから顔ランドマークを認識するステップと、前記顔ランドマークに基づいて、前記顔イメージ又は前記顔３Ｄデータに対する歯領域コンターを抽出するステップとをさらに含む。

【0016】

一方、本発明に係るコンピュータプログラムは、コンピュータに上述のような３次元顔スキャンデータの生成方法を実行させるために、非一時的なコンピュータ読み取り可能な保存媒体に保存されたものである。

【発明の効果】

【0017】

本発明によれば、比較的低価の装備を介して、高解像度の歯データが含まれた３次元顔スキャンデータを生成できるので、多様な分野（例：審美歯科治療）に効率よく補助できるというメリットがある。

【図面の簡単な説明】

【0018】

【図1】本発明に係る３次元顔スキャンシステムを示す図である。

【図2】本発明に係る３次元顔スキャンデータの生成方法を示すフローチャートである。

【図3】本発明に係る顔及び歯部位に構造化光パターンをプロジェクションし、カメラで撮影したイメージの一例を示す図である。

【図4】本発明に係る顔及び歯部位の３Ｄデータを概念的に示す図である。

【図5】本発明に係る顔及び歯部位の３Ｄデータを整列させる概念を示す図である。

【図6】本発明に係る顔イメージから顔ランドマーク及び歯領域コンターを抽出する概念を示す図である。

【図7】本発明に係る歯部位３Ｄデータから歯領域コンター３Ｄデータを分離させて獲得する概念を示す図である。

【図8】本発明に係る顔３Ｄデータから歯領域コンター部分を除去し、歯領域コンター３Ｄデータを整列させて挿入する概念を示す図である。

【図9】本発明に係る３次元顔スキャンシステムの他の実施例を示す図である。

【図10】本発明に係る３次元顔スキャンデータの生成方法の他の実施例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下では、図面に基づいて本発明を詳細に説明する。

【0020】

図１は、本発明に係る３次元顔スキャンシステム（3D Face Scan System）を示す図である。

【0021】

図１を参照すれば、３次元顔スキャンシステムは、構造化光プロジェクター１０１、顔撮影カメラ１０２、歯撮影カメラ１０３、１０４及びデータ処理装置２００からなる。こうした構成要素等は、個別装置として具現化してもよく、全部又は一部を一体として具現化してもよい。

【0022】

まず、構造化光プロジェクター１０１は、構造化光（structured light）パターンを生成して、図３に示すように、患者の顔（Ａ）に構造化光パターンを投射（プロジェクション）するための装置である。ただし、構造化光の代りに、ステレオカメラを利用したり、飛行時間（Time of Flight）を利用したりするなど、他の方式を利用することもできる。

【0023】

顔撮影カメラ１０２は、患者の顔（Ａ）を撮影して、図３の（ａ）のような顔イメージを獲得するための装置である。このとき、患者の顔（Ａ）の撮影は、 患者の顔（Ａ）に構造化光パターンが投射されている状態で遂行される。また、 患者の顔（Ａ）の撮影は、患者の顔の前面、左右側面、下側、上側の少なくとも一つの位置で遂行され得るが、これに限定されるものではない。

【0024】

歯撮影カメラ１０３、１０４は、患者の顔（Ａ）の歯部位を撮影して、図３の（ｂ）、（ｃ）のような歯部位イメージを獲得するための装置である。このとき、患者の顔（Ａ）に構造化光パターンが投射されている状態で患者の顔の歯部位を撮影できる。

【0025】

本発明では、顔を撮影するための顔撮影カメラ１０２と、歯部位を集中的に撮影するための歯撮影カメラ１０３、１０４とを分離させて構成する。このとき、歯撮影カメラ１０３、１０４は、一つのみを備えてもよいが、多様な方向から患者の歯部位を撮影して複数個の歯部位イメージを獲得できるように、複数個を備えることが望ましい。図１には２個の歯撮影カメラ１０３、１０４が備えられた実施例を示す。この場合には、複数のカメラ１０３、１０４の全てから見える部分、及び、一部のカメラ（１０３又は１０４）のみから見える部分が存在し、これらを整合させて合成することで、３次元データの正確度を高めることができる。

【0026】

データ処理装置２００は、顔撮影カメラ１０２が獲得した顔イメージ、歯撮影カメラ１０３、１０４が獲得した歯部位イメージを提供され、図２又は図１０に示すデータ処理プロセスを介して、３次元顔スキャンデータを生成する装置である。

【0027】

図２は、本発明に係る３次元顔スキャンデータの生成方法を示すフローチャートである。

【0028】

ステップＳ１１０、Ｓ１２０：まず、構造化光プロジェクター１０１により、患者の顔（Ａ）に既定の構造化光（structured light）パターンが投射されている状態で、顔撮影カメラ１０２を用いて図３の（ａ）のような患者の顔を撮影した顔イメージを獲得する。

【0029】

その後、構造化光パターンが形成されている顔イメージから図４の（ａ）のような顔３Ｄデータを生成する。構造化光パターンにより顔の立体的な様子を把握できるので、３Ｄデータを生成できる。構造化光パターンが投射された物体のイメージから３Ｄデータを獲得する技術は、公知の技術であるので、これに関する具体的な説明は省略する。

【0030】

ステップＳ１３０、Ｓ１４０：また、構造化光プロジェクター１０１により、患者の顔（Ａ）に既定の構造化光パターンが投射されている状態で、歯撮影カメラ１０３、１０４を用いて図３の（ｂ）、（ｃ）のような患者の歯部位を撮影した歯部位イメージを獲得する。このとき、顔イメージのための構造化光パターン及び歯部位イメージのための構造化光パターンは、同一又は異なることができる。

【0031】

以後、構造化光パターンが形成されている歯部位イメージから図４の（ｂ）、（ｃ）のような歯部位３Ｄデータを生成する。歯領域のイメージを比較してみれば、図３の（ａ）の顔イメージに含まれた歯領域に比べて、図３の（ｂ）、（ｃ）の歯部位イメージがより高解像度である。これによる当然の結果として、図４の（ａ）の顔３Ｄデータに含まれた歯領域の３Ｄデータに比べて、図４の（ｂ）、（ｃ）の歯部位３Ｄデータがより精密である。

【0032】

図１に示すように、歯撮影カメラ１０３、１０４が複数個備えられ、Ｓ１３０において複数の方向から歯部位を撮影して、複数個の歯部位イメージを獲得するように構成されることが望ましい。このとき、Ｓ１４０は、構造化光パターンが形成された図３の（ｂ）、（ｃ）のような複数個の歯部位イメージから、図４の（ｂ）、（ｃ）のような複数個の歯部位部分３Ｄデータを生成し、これらの複数個の歯部位部分３Ｄデータを整列させ、患者の歯部位の全体に対する歯部位３Ｄデータを生成するように構成できる。

【0033】

複数の歯撮影カメラ１０３、１０４から共通的に見える部分と、個別の歯撮影カメラ（１０３又は１０４）のみから見える部分とが存在するので、これらを整列させて合成することで、患者の歯部位に対して正確かつ精密な高解像度の３Ｄデータが得られる。

【0034】

図５は、本発明に係る顔及び歯部位の３Ｄデータを整列させる概念を示す図である。図５の（ａ）は、図４の（ｂ）、（ｃ）の歯部位部分３Ｄデータの２個を整列させて歯部位３Ｄデータを生成した例を示すものであり、図５の（ｂ）は、そのような歯部位３Ｄデータを顔３Ｄデータに整列させた例を示すものである。

【0035】

ステップＳ１５０、Ｓ１６０：続いて、顔に対して顔ランドマーク（face landmarks）を認識し、このような顔ランドマークに基づいて、顔に対して歯領域コンター（teeth zone contour）を抽出する。こうした過程は、図３の（ａ）のような顔イメージに対して遂行してもよく、図４の（ａ）のような顔３Ｄデータから遂行してもよい。

【0036】

図６は、図３の（ａ）のような顔イメージから顔ランドマーク及び歯領域コンターを抽出する概念を示す図である。顔ランドマークの概念及び顔イメージから顔ランドマークを抽出する技術は、公知の技術であるので、これに関する具体的な説明は省略する。例えば、グーグル検索（Google search）において、キーワードを「ｆａｃｅ ｌａｎｄｍａｒｋ ｄｅｔｅｃｔｉｏｎ」として入力すれば、公知の多様な技術が得られる。そして、歯領域コンターは、顔において歯領域の境界線に該当するものであって、図６では唇境界線を歯領域コンターとした。

【0037】

一方、歯領域コンターを抽出するために、顔ランドマークを用いることは一例に過ぎず、その他に人工知能に基づいたオブジェクト認識アルゴリズムを用いる等、他の方式を用いることもできるが、これに限定されるものではない。

【0038】

ステップＳ１７０：Ｓ１４０において生成した歯部位３Ｄデータ（例：図５の（ａ）の歯部位３Ｄデータ）から、Ｓ１６０において抽出した歯領域コンターに対応する歯領域コンター３Ｄデータを分離させて獲得する。図７は、本発明に係る歯部位３Ｄデータから歯領域コンターに沿って歯領域コンター３Ｄデータを分離させて獲得する概念を示す図である。

【0039】

ステップＳ１８０：続いて、Ｓ１２０において獲得した顔３Ｄデータに、Ｓ１７０において分離させて獲得した歯領域コンター３Ｄデータを整列させて挿入し、３次元顔スキャンデータを獲得する。図８は、本発明に係る顔３Ｄデータに歯領域コンター３Ｄデータを整列させて挿入する概念を示す図である。図８の（ｂ）に示すように、患者の顔の全般的な領域を取り扱う顔３Ｄデータに比べて、歯領域コンターに関する歯領域コンター３Ｄデータが相対的により高解像度の３Ｄデータである。

【0040】

このとき、顔３Ｄデータにすぐに歯領域コンター３Ｄデータをオーグメンテーション（augmentation）することもできるが、図８の（ａ）のように顔３Ｄデータから歯領域コンター部分のデータを除去した後、図８の（ｂ）のように顔３Ｄデータの歯領域コンター部分に歯領域コンター３Ｄデータを整列させて挿入する方式により具現化できる。

【0041】

図９は、本発明に係る３次元顔スキャンシステムの他の実施例を示す図、図１０は、本発明に係る３次元顔スキャンデータの生成方法の他の実施例を示すフローチャートである。

【0042】

図１と比較すれば、図９に示す本発明の第２の実施例では、補助３Ｄカメラ１０５がさらに備えられる。顔撮影カメラ１０２が顔の前面を撮影するために用いられる場合、補助３Ｄカメラ１０５は、顔の前面を除いた他の部位、例えば、顔の側面や顎部位などに関する３Ｄデータを獲得するための構成である。このとき、補助３Ｄカメラ１０５の撮影対象は、管理者（例：医者）の操作により設定可能であるように構成されることが望ましい。

【0043】

これにより、図２と比較すれば、図１０に示す本発明の第２の実施例では、ステップＳ２５０において、補助３Ｄカメラ１０５により患者の顔の既定の一つ又は複数の部位（例：顔の側面、顎部位）に対する補助部位３Ｄデータを生成し、ステップＳ２8０において、顔３Ｄデータに歯領域コンター３Ｄデータ及び補助部位３Ｄデータを整列させて挿入する過程を遂行する点において差異がある。

【0044】

一方、本発明は、コンピュータ読み取り可能な非一時的な記録媒体、一例として不揮発性記録媒体にコンピュータ読み取り可能なコードの形態で具現化され得る。こうした不揮発性記録媒体としては、多様な形態のストレージ装置が存在するが、例えば、ハードディスク、ＳＳＤ、ＣＤＲＯＭ、ＮＡＳ、磁気テープ、ウェブディスク、クラウドディスクなどが挙げられ、ネットワークを介して連結された多数のストレージ装置にコードが分散保存されて実行される形態も具現化され得る。また、本発明は、ハードウェアと結合されて特定の手順を実行させるために、媒体に保存されたコンピュータプログラムの形態で具現化され得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】