ホーム > 特許ランキング > 株式会社モリタ製作所
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-13
(45)【発行日】2023-02-21
(54)【発明の名称】識別装置、識別システム、識別方法、および識別用プログラム
(51)【国際特許分類】
A61C 13/08 20060101AFI20230214BHJP
G06T 7/00 20170101ALI20230214BHJP
A61C 19/04 20060101ALI20230214BHJP
A61C 13/00 20060101ALI20230214BHJP
【ＦＩ】
A61C13/08
G06T7/00 350C
A61C19/04
A61C13/00 Z
【請求項の数】
9
(21)【出願番号】P 2020113848
(22)【出願日】2020-07-01
(65)【公開番号】P2022012196
(43)【公開日】2022-01-17
【審査請求日】2021-09-27
(73)【特許権者】
【識別番号】000138185
【氏名又は名称】株式会社モリタ製作所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】鍛治 亮佑
(72)【発明者】
【氏名】西村 巳貴則
(72)【発明者】
【氏名】橋本 学
【審査官】小林 睦
(56)【参考文献】
【文献】特開２０２０－０９６６９１（ＪＰ，Ａ）
【文献】特開２０１７－０８４３２０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０１８０４４３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｃ １３／０８
Ｇ０６Ｔ ７／００
Ａ６１Ｃ １９／０４
Ａ６１Ｃ １３／００
(57)【特許請求の範囲】
【請求項1】
歯牙の種類を識別する識別装置であって、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部と、
前記入力部から入力された三次元データに基づき、前記隣接歯牙に含まれる歯牙の種類を識別する識別部と、
前記識別部による識別結果を出力する出力部とを備え、
前記識別部は、
複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別部と、
前記第１識別部による識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、前記第２隣接歯牙に含まれる歯牙の種類を識別する第２識別部とを含む、識別装置。
【請求項2】
前記第１識別部は、前記第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、前記第１推定モデルとに基づき、前記第２隣接歯牙として複数の第２隣接歯牙のそれぞれを識別し、前記複数の第２隣接歯牙は、互いに重複する歯牙を含み、
前記第２識別部は、前記第１識別部による識別結果と、前記第２推定モデルとに基づき、前記複数の第２隣接歯牙のそれぞれに含まれる前記重複する歯牙の種類を識別する、請求項１に記載の識別装置。
【請求項3】
前記識別部は、前記入力部から入力された三次元データに対応する複数の点ごとに生成された法線にさらに基づき、前記隣接歯牙に含まれる歯牙の種類を識別する、請求項１または請求項２に記載の識別装置。
【請求項4】
前記第１推定モデルは、前記第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに対応付けられた前記第２隣接歯牙と、当該三次元データを用いた当該第２隣接歯牙の推定結果とに基づき学習されたものであり、前記第２推定モデルは、前記第２隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに対応付けられた当該第２隣接歯牙に含まれる歯牙の種類と、当該三次元データを用いた当該第２隣接歯牙に含まれる歯牙の種類の推定結果とに基づき学習されたものである、請求項１～請求項３のいずれか１項に記載の識別装置。
【請求項5】
前記入力部から入力された三次元データは、口腔内の歯牙および歯肉を構成する複数の点のそれぞれにおける三次元の位置情報を含む、請求項１～請求項４のいずれか１項に記載の識別装置。
【請求項6】
前記出力部は、色、文字、数字、および記号の少なくともいずれか１つを用いて前記第２識別部による識別結果を出力する、請求項１～請求項５のいずれか１項に記載の識別装置。
【請求項7】
歯牙の種類を識別する識別システムであって、三次元カメラを用いて、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、
前記三次元スキャナによって取得された三次元データに基づき、前記隣接歯牙に含まれる歯牙の種類を識別する識別装置とを備え、
前記識別装置は、
前記三次元スキャナによって取得された三次元データが入力される入力部と、
前記入力部から入力された三次元データに基づき、前記隣接歯牙に含まれる歯牙の種類を識別する識別部と、
前記識別部による識別結果を出力する出力部とを含み、
前記識別部は、
複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別部と、
前記第１識別部による識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、前記第２隣接歯牙に含まれる歯牙の種類を識別する第２識別部とを有する、識別システム。
【請求項8】
コンピュータによる歯牙の種類を識別する識別方法であって、前記識別方法は、前記コンピュータが実行する処理として、
複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、
前記入力されるステップによって入力された三次元データに基づき、前記隣接歯牙に含まれる歯牙の種類を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを含み、
前記識別するステップは、
複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別ステップと、
前記第１識別ステップによる識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、前記第２隣接歯牙に含まれる歯牙の種類を識別する第２識別ステップとを有する、識別方法。
【請求項9】
歯牙の種類を識別する識別用プログラムであって、前記識別用プログラムは、コンピュータに、
複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、
前記入力されるステップによって入力された三次元データに基づき、前記隣接歯牙に含まれる歯牙の種類を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを実行させ、
前記識別するステップは、
複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別ステップと、
前記第１識別ステップによる識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、前記第２隣接歯牙に含まれる歯牙の種類を識別する第２識別ステップとを含む、識別用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、識別装置、識別システム、識別方法、および識別用プログラムに関する。
【背景技術】
【0002】
従来から、歯科分野において、補綴物などをコンピュータ上でデジタル設計するために、歯牙の三次元形状を取得する三次元カメラを内蔵した三次元スキャナが公知である。たとえば、特許文献１には、三次元カメラを用いて歯牙を撮像することで、歯牙の形状を記録する技術が開示されている。歯科医師などの術者は、特許文献１に開示された三次元カメラを用いることで、撮像対象となった歯牙の三次元形状を記録することができ、さらに記録された歯牙の三次元形状が示された三次元画像を確認しながら、自身の知見によって当該歯牙の種類を識別することができる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０００－７４６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように、従来から、術者は、三次元カメラによって取得された歯牙を含む三次元画像に基づき、自身の知見によって当該歯牙の種類を識別していたが、知見のレベルは術者ごとに異なるため、術者の知見のレベルに応じて識別結果の精度がばらつくという問題があった。たとえば、中切歯と側切歯、犬歯と第一小臼歯、第一小臼歯と第二小臼歯、第二小臼歯と第一大臼歯、第一台臼歯と第二大臼歯など、形状が類似する歯牙同士では特に識別精度は高くない。
【0005】
本開示は、このような問題を解決するためになされたものであり、精度良く歯牙の種類を識別することができる識別装置、当該識別装置を備える識別システム、識別方法、および識別用プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に従えば、歯牙の種類を識別する識別装置が提供される。識別装置は、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部と、入力部から入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別する識別部と、識別部による識別結果を出力する出力部とを備え、識別部は、複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別部と、第１識別部による識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、第２隣接歯牙に含まれる歯牙の種類を識別する第２識別部とを含む。
【0007】
本開示に従えば、歯牙の種類を識別する識別システムが提供される。識別システムは、三次元カメラを用いて、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、三次元スキャナによって取得された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別する識別装置とを備え、識別装置は、三次元スキャナによって取得された三次元データが入力される入力部と、入力部から入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別する識別部と、識別部による識別結果を出力する出力部とを含み、識別部は、複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別部と、第１識別部による識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、第２隣接歯牙に含まれる歯牙の種類を識別する第２識別部とを有する。
【0008】
本開示に従えば、コンピュータによる歯牙の種類を識別する識別方法が提供される。識別方法は、コンピュータが実行する処理として、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、入力されるステップによって入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別するステップと、識別するステップによる識別結果を出力するステップとを含み、識別するステップは、複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別ステップと、第１識別ステップによる識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、第２隣接歯牙に含まれる歯牙の種類を識別する第２識別ステップとを有する。
【0009】
本開示に従えば、歯牙の種類を識別する識別用プログラムが提供される。識別用プログラムは、コンピュータに、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、入力されるステップによって入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別するステップと、識別するステップによる識別結果を出力するステップとを実行させ、識別するステップは、複数の歯牙が隣接する第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙を識別する第１識別ステップと、第１識別ステップによる識別結果と、第２ニューラルネットワークを含む第２推定モデルとに基づき、第２隣接歯牙に含まれる歯牙の種類を識別する第２識別ステップとを含む。
【発明の効果】
【0010】
本開示によれば、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに基づいて、精度良く歯牙の種類を識別することができる。
【図面の簡単な説明】
【0011】
【図1】本実施の形態に係る識別装置の適用例を示す模式図である。
【図2】本実施の形態に係るシステムの全体構成を示す模式図である。
【図3】本実施の形態に係る識別装置のハードウェア構成を示す模式図である。
【図4】本実施の形態に係るサーバ装置のハードウェア構成を示す模式図である。
【図5】本実施の形態に係る識別装置の機能構成を示す模式図である。
【図6】本実施の形態に係る識別装置に入力される三次元データの内容を説明するための模式図である。
【図7】本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。
【図8】本実施の形態に係る識別装置が有する識別部の具体例を示す模式図である。
【図9】本実施の形態に係る学習用データの生成を説明するための模式図である。
【図10】本実施の形態に係る学習用データの一例を説明するための模式図である。
【図11】本実施の形態に係る色分類データの一例を示す模式図である。
【図12】本実施の形態に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。
【図13】本実施の形態に係る推定モデルのうちの１段目の推定モデルの学習を説明するための模式図である。
【図14】本実施の形態に係る推定モデルのうちの２段目の推定モデルの学習を説明するための模式図である。
【図15】本実施の形態に係る推定モデルのうちの３段目の推定モデルの学習を説明するための模式図である。
【図16】本実施の形態に係る識別装置が実行する学習処理の一例を説明するためのフローチャートである。
【図17】本実施の形態に係るサーバ装置が実行する学習処理の一例を説明するためのフローチャートである。
【図18】本実施の形態に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。
【図19】変形例に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。
【図20】変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。
【図21】変形例に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。
【図22】変形例に係る学習用データセットの一例を説明するための模式図である。
【図23】変形例に係る識別装置が実行するサービス提供処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0013】
［適用例］
図１および図２を参照しながら、本実施の形態に係る識別装置１００の適用例を説明する。図１は、本実施の形態に係る識別装置１００の適用例を示す模式図である。図２は、本実施の形態に係るシステムの全体構成を示す模式図である。
図１および図２を参照しながら、本実施の形態に係る識別装置１００の適用例を説明する。図１は、本実施の形態に係る識別装置１００の適用例を示す模式図である。図２は、本実施の形態に係るシステムの全体構成を示す模式図である。
【0014】
図１に示すように、ユーザ１は、識別システム１０を用いることで、対象者２の隣接する複数の歯牙（以下、「隣接歯牙」とも称する）および歯肉の三次元形状のデータ（以下、「三次元データ」とも称する）を取得することができる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、識別システム１０を用いる者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、識別システム１０の対象となる者であればいずれであってもよい。また、「隣接歯牙」とは、隣接する複数の歯牙群であり、後述する「第１隣接歯牙」および「第２隣接歯牙」も同様である。
【0015】
本実施の形態に係る識別システム１０は、三次元スキャナ２００と、識別装置１００と、ディスプレイ３００と、スピーカ４００とを備える。三次元スキャナ２００は、内蔵された三次元カメラによってスキャン対象の三次元データを取得する。具体的には、三次元スキャナ２００は、口腔内をスキャンすることで、三次元データとして、スキャン対象の歯牙および歯肉を構成する複数の点のそれぞれの位置情報（たとえば、縦方向に沿ったＸ軸，横方向に沿ったＹ軸，高さ方向に沿ったＺ軸の座標）を、光学センサなどを用いて取得する。あるいは、三次元スキャナ２００は、口腔内の印象採得によって作成された模型に対してスキャンすることで、三次元データとして、スキャン対象部分を構成する複数の点のそれぞれの位置情報（たとえば、縦方向に沿ったＸ軸，横方向に沿ったＹ軸，高さ方向に沿ったＺ軸の座標）を、光学センサなどを用いて取得する。識別装置１００は、三次元スキャナ２００によって取得された三次元データに基づき、任意の視点からの歯牙などの像を含む二次元画像、またはホログラムなどによる立体的な歯牙などの画像を含む三次元画像を生成し、生成した三次元画像をディスプレイ３００に表示する。三次元スキャナ２００および識別装置１００の少なくともいずれか一方は、移動可能なポータブル型のものであってもよいし、固定された据え置き型のものであってもよい。たとえば、三次元スキャナ２００および識別装置１００が据え置き型のデスクトップスキャナである場合、スキャン対象は石膏模型や義歯などの人工的に生成された歯牙であってもよい。
【0016】
たとえば、ユーザ１は、対象者２の歯牙の欠損部分を補う補綴物などをコンピュータ上でデジタル設計するために、三次元スキャナ２００によって対象者２の口腔内を撮像することで、隣接歯牙および歯肉を含む口腔内の三次元データを取得する。三次元データは、歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を少なくとも含む。ユーザ１が口腔内を撮像するたびに三次元データが順次取得され、口腔内の三次元画像がディスプレイ３００に表示される。ユーザ１は、ディスプレイ３００に表示された三次元画像を確認しながら三次元データの不足部分を重点的にスキャンしていく。
【0017】
従来であれば、ユーザ１は、三次元スキャナ２００によって取得された歯牙を含む三次元データが可視化された三次元画像に基づき、自身の知見によってスキャン中またはスキャンが完了した歯牙の種類を識別する。しかし、知見のレベルはユーザ１ごとに異なるため、ユーザ１の知見に頼っていると識別結果の精度がばらつくことがあった。また、矯正歯科などにおいては、矯正用の器具を設計する際に、取得された隣接する複数の歯牙を含む三次元データにおける、歯牙と歯肉とを区別しながら、歯牙をその種類ごとに分類（セグメント化）することも要求される。
【0018】
そこで、本実施の形態に係る識別システム１０は、識別装置１００が有するＡＩ（人工知能：Artificial Intelligence）を利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類を自動的に識別する処理を実行するように構成されている。なお、識別装置１００による歯牙の種類を識別する処理を「識別処理」とも称する。
【0019】
なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の種類を意味する。
【0020】
具体的には、ユーザ１が三次元スキャナ２００を用いて対象者２の口腔内の歯牙をスキャンすると、歯牙および歯肉を少なくとも含む口腔内の三次元データが識別装置１００に入力される。識別装置１００は、入力された歯牙の特徴を含む三次元データとニューラルネットワークを含む推定モデルとに基づき、当該歯牙の種類を識別する識別処理を実行する。
【0021】
「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含み、三次元データに関連付けられた歯牙の種類に対応する歯牙情報と、当該三次元データを用いた当該歯牙の種類の識別結果とに基づき学習されることで最適化（調整）される。
【0022】
具体的には、推定モデルは、隣接歯牙を構成する複数の点に対応する三次元データが入力されると、当該三次元データに基づきニューラルネットワークによって歯牙の特徴を抽出し、抽出した歯牙の特徴に基づき歯牙の種類を推定する。そして、推定モデルは、自身が推定した歯牙の種類と、入力された三次元データに関連付けられた歯牙の種類（歯牙情報）とに基づき、両者が一致すればパラメータを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータを更新することで、パラメータを最適化する。このように、推定モデルは、入力データである三次元データと、正解データである歯牙の種類（歯牙情報）とを含む教師データを利用して、パラメータが最適化されることで学習される。
【0023】
なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
【0024】
「歯牙情報」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の名称を含む。また、「歯牙情報」は、中切歯に割り当てられた１番、側切歯に割り当てられた２番、犬歯に割り当てられた３番、第１小臼歯に割り当てられた４番、第２小臼歯に割り当てられた５番、第１大臼歯に割り当てられた６番、第２大臼歯に割り当てられた７番、第３大臼歯に割り当てられた８番といったような各歯牙に割り当てられた番号（たとえば、歯科分野において一般的に用いられている歯牙の番号）を含む。その他、「歯牙情報」は、各歯牙に割り当てられた色の情報を含んでいてもよいし、各歯牙に割り当てられた記号の情報を含んでいてもよい。
【0025】
識別装置１００によって学習済モデルを用いて識別処理が実行されると、その識別結果が、ディスプレイ３００、およびスピーカ４００に出力される。
【0026】
ディスプレイ３００は、識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する。たとえば、ディスプレイ３００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後において、識別装置１００による歯牙の識別結果を利用して、「右下７番のスキャンが完了しました。」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の画像を表示する。
【0027】
スピーカ４００は、識別結果に対応する音声を出力する。たとえば、スピーカ４００は、三次元スキャナ２００によって下顎右側の７番に対応する第２大臼歯のスキャンが完了した後において、識別装置１００による歯牙の識別結果を利用して、「右下７番完了」というように、下顎右側の７番に対応する第２大臼歯のスキャンが完了した旨の音声を出力する。
【0028】
さらに、識別装置１００による識別結果は、識別処理時に用いられた三次元データとともに、スキャン情報として歯科技工所および管理センターに配置されたサーバ装置５００に出力される。
【0029】
たとえば、図２に示すように、識別システム１０は、複数のローカルＡ～Ｃのそれぞれに配置されている。たとえば、ローカルＡおよびローカルＢは歯科医院であり、当該歯科医院の院内において、ユーザ１である術者や歯科助手は、識別システム１０を利用して対象者２である患者の歯牙を構成する複数の点に対応する三次元データを取得する。また、ローカルＣは歯科大学であり、当該歯科大学において、ユーザ１である先生や生徒は、対象者２である被験者の口腔内の三次元データを取得する。ローカルＡ～Ｃのそれぞれで取得されたスキャン情報（三次元データ，識別結果）は、ネットワーク５を介して、ローカルＤである歯科技工所および管理センターに配置されたサーバ装置５００に出力される。
【0030】
歯科技工所においては、歯科技工士などが、ローカルＡ～Ｃのそれぞれから取得したスキャン情報に基づき、対象者２の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置５００が、ローカルＡ～Ｃのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。
【0031】
なお、サーバ装置５００は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルＡ～Ｃのうちのいずれかのローカル内にサーバ装置５００が配置されてもよい。また、１つのローカル内に複数の識別装置１００が配置されてもよく、さらに、当該１つのローカル内に当該複数の識別装置１００と通信可能なサーバ装置５００が配置されてもよい。また、サーバ装置５００は、クラウドサービスの形態で実現されてもよい。
【0032】
歯科技工所においては、ローカルＡ～Ｃのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク５を介して管理センターに送信されてもよいし、あるいは、ＣＤ（Compact Disc）およびＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルディスク５５０を介して管理センターに送られてもよい。
【0033】
なお、ネットワーク５を介さずに、ローカルＡ～Ｃのそれぞれからも、リムーバブルディスク５５０を介してスキャン情報が管理センターに送られてもよい。また、ローカルＡ～Ｃのそれぞれの間においても、ネットワーク５またはリムーバブルディスク５５０を介してスキャン情報を互いに送り合ってもよい。
【0034】
各ローカルＡ～Ｃの識別装置１００は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して歯牙の種類を識別する。各ローカルＡ～Ｃの識別装置１００は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態においては、サーバ装置５００も推定モデルを保持している。サーバ装置５００は、各ローカルＡ～Ｃの識別装置１００および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルＡ～Ｃの識別装置１００に当該学習済モデルを配布する。
【0035】
なお、本実施の形態においては、各ローカルＡ～Ｃの識別装置１００およびサーバ装置５００のいずれも学習処理を実行する形態であるが、各ローカルＡ～Ｃの識別装置１００のみが学習処理を実行する形態、あるいはサーバ装置５００のみが学習処理を実行する形態であってもよい。なお、サーバ装置５００のみが学習処理を実行する形態である場合、各ローカルＡ～Ｃの識別装置１００が保持する推定モデル（学習済モデル）は、各ローカルＡ～Ｃの識別装置１００間で共通化される。
【0036】
また、サーバ装置５００が識別装置１００における識別処理の機能を有していてもよい。たとえば、各ローカルＡ～Ｃは、取得した三次元データをサーバ装置５００に送信し、サーバ装置５００は、各ローカルＡ～Ｃから受信したそれぞれの三次元データに基づき、それぞれにおける歯牙の種類の識別結果を算出してもよい。そして、サーバ装置５００は、それぞれの識別結果を各ローカルＡ～Ｃに送信し、各ローカルＡ～Ｃは、サーバ装置５００から受信した識別結果をディスプレイなどに出力してもよい。このように、各ローカルＡ～Ｃとサーバ装置５００とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置５００が推定モデル（学習済モデル）を保持してさえいれば、各ローカルＡ～Ｃは、推定モデル（学習済モデル）を保持することなく識別結果を得ることができる。
【0037】
このように、本実施の形態に係る識別システム１０によれば、識別装置１００が有するＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき歯牙の種類が自動的に識別される。ＡＩを利用することで、ユーザ１が抽出することができる歯牙の特徴に限らずユーザ１では抽出できない歯牙の特徴をも見出すこともでき、見出された歯牙の特徴に基づき歯牙の種類が識別されるため、ユーザ１は、自身の知見に頼ることなく、精度良く歯牙の種類を識別することができる。
【0038】
［識別装置のハードウェア構成］
図３を参照しながら、本実施の形態に係る識別装置１００のハードウェア構成の一例を説明する。図３は、本実施の形態に係る識別装置１００のハードウェア構成を示す模式図である。識別装置１００は、たとえば、汎用コンピュータで実現されてもよいし、識別システム１０専用のコンピュータで実現されてもよい。
図３を参照しながら、本実施の形態に係る識別装置１００のハードウェア構成の一例を説明する。図３は、本実施の形態に係る識別装置１００のハードウェア構成を示す模式図である。識別装置１００は、たとえば、汎用コンピュータで実現されてもよいし、識別システム１０専用のコンピュータで実現されてもよい。
【0039】
図３に示すように、識別装置１００は、主なハードウェア要素として、スキャナインターフェース１０２と、ディスプレイインターフェース１０３と、スピーカインターフェース１０４と、周辺機器インターフェース１０５と、ネットワークコントローラ１０６と、メディア読取装置１０７と、ＰＣディスプレイ１０８と、メモリ１０９と、ストレージ１１０と、演算装置１３０とを備える。
【0040】
スキャナインターフェース１０２は、三次元スキャナ２００を接続するためのインターフェースであり、識別装置１００と三次元スキャナ２００との間のデータの入出力を実現する。
【0041】
ディスプレイインターフェース１０３は、ディスプレイ３００を接続するためのインターフェースであり、識別装置１００とディスプレイ３００との間のデータの入出力を実現する。ディスプレイ３００は、たとえば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬＤ（Electroluminescence）ディスプレイなどで構成される。
【0042】
スピーカインターフェース１０４は、スピーカ４００を接続するためのインターフェースであり、識別装置１００とスピーカ４００との間のデータの入出力を実現する。
【0043】
周辺機器インターフェース１０５は、キーボード６０１およびマウス６０２などの周辺機器を接続するためのインターフェースであり、識別装置１００と周辺機器との間のデータの入出力を実現する。
【0044】
ネットワークコントローラ１０６は、ネットワーク５を介して、歯科技工所に配置された装置、管理センターに配置されたサーバ装置５００、および他のローカルに配置された他の識別装置１００のそれぞれとの間でデータを送受信する。ネットワークコントローラ１０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応する。
【0045】
メディア読取装置１０７は、記憶媒体であるリムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。
【0046】
ＰＣディスプレイ１０８は、識別装置１００専用のディスプレイである。ＰＣディスプレイ１０８は、たとえば、ＬＣＤまたは有機ＥＬディスプレイなどで構成される。なお、本実施の形態においては、ＰＣディスプレイ１０８は、ディスプレイ３００と別体であるが、ディスプレイ３００と共通化されてもよい。
【0047】
メモリ１０９は、演算装置１３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０９は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。
【0048】
ストレージ１１０は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１１０は、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。
【0049】
ストレージ１１０は、スキャン情報１１２と、推定モデル１１４（学習済モデル）と、学習用データセット１１６と、色分類データ１１８と、プロファイルデータ１１９と、識別用プログラム１２０と、学習用プログラム１２１と、ＯＳ（Operating System）１２７とを格納する。
【0050】
スキャン情報１１２は、三次元スキャナ２００によって取得された三次元データ１２２と、当該三次元データ１２２に基づき実行された識別処理による識別結果１２４とを含む。識別結果１２４は、識別処理に用いられた三次元データ１２２に関連付けられてストレージ１１０に格納される。学習用データセット１１６は、推定モデル１１４の学習処理に用いられる一群の学習用データである。色分類データ１１８は、学習用データセット１１６の生成および学習処理に用いられるデータである。プロファイルデータ１１９は、対象者２に関する属性情報であって、当該対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。識別用プログラム１２０は、識別処理を実行するためのプログラムである。学習用プログラム１２１は、推定モデル１１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
【0051】
演算装置１３０は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置１３０は、たとえば、ＣＰＵ（Central Processing Unit）１３２、ＦＰＧＡ（Field-Programmable Gate Array）１３４、およびＧＰＵ（Graphics Processing Unit）１３６などで構成される。
【0052】
なお、演算装置１３０は、ＣＰＵ１３２、ＦＰＧＡ１３４、およびＧＰＵ１３６のうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵ１３２とＦＰＧＡ１３４、ＦＰＧＡ１３４とＧＰＵ１３６、ＣＰＵ１３２とＧＰＵ１３６、あるいはＣＰＵ１３２、ＦＰＧＡ１３４、およびＧＰＵ１３６から構成されてもよい。また、演算装置１３０は、演算回路（processing circuitry）と称されてもよい。
【0053】
［サーバ装置のハードウェア構成］
図４を参照しながら、本実施の形態に係るサーバ装置５００のハードウェア構成の一例を説明する。図４は、本実施の形態に係るサーバ装置５００のハードウェア構成を示す模式図である。サーバ装置５００は、たとえば、汎用コンピュータで実現されてもよいし、識別システム１０専用のコンピュータで実現されてもよい。
図４を参照しながら、本実施の形態に係るサーバ装置５００のハードウェア構成の一例を説明する。図４は、本実施の形態に係るサーバ装置５００のハードウェア構成を示す模式図である。サーバ装置５００は、たとえば、汎用コンピュータで実現されてもよいし、識別システム１０専用のコンピュータで実現されてもよい。
【0054】
図４に示すように、サーバ装置５００は、主なハードウェア要素として、ディスプレイインターフェース５０３と、周辺機器インターフェース５０５と、ネットワークコントローラ５０６と、メディア読取装置５０７と、メモリ５０９と、ストレージ５１０と、演算装置５３０とを備える。
【0055】
ディスプレイインターフェース５０３は、ディスプレイ３５０を接続するためのインターフェースであり、サーバ装置５００とディスプレイ３５０との間のデータの入出力を実現する。ディスプレイ３５０は、たとえば、ＬＣＤまたは有機ＥＬＤディスプレイなどで構成される。
【0056】
周辺機器インターフェース５０５は、キーボード６５１およびマウス６５２などの周辺機器を接続するためのインターフェースであり、サーバ装置５００と周辺機器との間のデータの入出力を実現する。
【0057】
ネットワークコントローラ５０６は、ネットワーク５を介して、ローカルに配置された識別装置１００、および歯科技工所に配置された装置のそれぞれとの間でデータを送受信する。ネットワークコントローラ５０６は、たとえば、イーサネット（登録商標）、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応してもよい。
【0058】
メディア読取装置５０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。
【0059】
メモリ５０９は、演算装置５３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ５０９は、たとえば、ＤＲＡＭまたはＳＲＡＭなどの揮発性メモリデバイスで構成される。
【0060】
ストレージ５１０は、学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ５１０は、たとえば、ハードディスクまたはＳＳＤなどの不揮発性メモリデバイスで構成される。
【0061】
ストレージ５１０は、スキャン情報５１２と、推定モデル５１４（学習済モデル）と、学習用データセット５１６と、色分類データ５１８と、プロファイルデータ５１９と、学習用プログラム５２１と、ＯＳ５２７とを格納する。
【0062】
スキャン情報５１２は、ネットワーク５を介してローカルに配置された識別装置１００および歯科技工所から取得した三次元データ５２２と、当該三次元データ５２２に基づき実行された識別処理による識別結果５２４とを含む。識別結果５２４は、識別処理に用いられた三次元データ５２２に関連付けられてストレージ５１０に格納される。学習用データセット５１６は、推定モデル５１４の学習処理に用いられる一群の学習用データである。色分類データ５１８は、学習用データセット５１６の生成および学習処理に用いられるデータである。プロファイルデータ５１９は、対象者２に関する属性情報であって、対象者２の年齢、性別、人種、身長、体重、および居住地などのプロファイルがまとめられたデータ（たとえば、カルテの情報）である。学習用プログラム５２１は、推定モデル５１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
【0063】
なお、推定モデル５１４（学習済モデル）は、ローカルの識別装置１００に送信されることで、識別装置１００によって、推定モデル１１４（学習済モデル）として保持される。
【0064】
演算装置５３０は、各種のプログラムを実行することで、学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置５３０は、たとえば、ＣＰＵ５３２、ＦＰＧＡ５３４、およびＧＰＵ５３６などで構成される。
【0065】
なお、演算装置５３０は、ＣＰＵ５３２、ＦＰＧＡ５３４、およびＧＰＵ５３６のうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵ５３２とＦＰＧＡ５３４、ＦＰＧＡ５３４とＧＰＵ５３６、ＣＰＵ５３２とＧＰＵ５３６、あるいはＣＰＵ５３２、ＦＰＧＡ５３４、およびＧＰＵ５３６から構成されてもよい。また、演算装置５３０は、演算回路（processing circuitry）と称されてもよい。
【0066】
［識別装置による識別処理］
図５～図８を参照しながら、本実施の形態に係る識別装置１００による識別処理の一例を説明する。図５は、本実施の形態に係る識別装置１００の機能構成を示す模式図である。図６は、本実施の形態に係る識別装置に入力される三次元データの内容を説明するための模式図である。図７は、本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。図８は、本実施の形態に係る識別装置が有する識別部の具体例を示す模式図である。なお、図７においては、三次元スキャナ２００のスキャン対象となる歯牙が線図によって表されている。
図５～図８を参照しながら、本実施の形態に係る識別装置１００による識別処理の一例を説明する。図５は、本実施の形態に係る識別装置１００の機能構成を示す模式図である。図６は、本実施の形態に係る識別装置に入力される三次元データの内容を説明するための模式図である。図７は、本実施の形態に係る識別処理における識別対象となる歯牙の一例を示す模式図である。図８は、本実施の形態に係る識別装置が有する識別部の具体例を示す模式図である。なお、図７においては、三次元スキャナ２００のスキャン対象となる歯牙が線図によって表されている。
【0067】
図５に示すように、識別装置１００は、識別処理に係る機能部として、入力部１１０２と、プロファイル取得部１１１９と、識別部１１０１と、出力部１１０３とを有する。これらの各機能は、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
【0068】
入力部１１０２には、三次元スキャナ２００によって取得された隣接歯牙を構成する複数の点に対応する三次元データが入力される。プロファイル取得部１１１９は、対象者２のプロファイルデータ１１９を取得する。
【0069】
識別部１１０１は、複数の識別部を含む多段式の識別部である。本実施形態においては、識別部１１０１は、第１識別部１１３１と、第２識別部１１３２とを有する。
【0070】
第１識別部１１３１は、入力部１１０２に入力された隣接歯牙（第１隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１推定モデル１１４１（第１学習済モデル）とに基づき、当該第１隣接歯牙と同一の数または当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する隣接歯牙（第２隣接歯牙）を識別する。第２隣接歯牙は、第１隣接歯牙に含まれる複数の歯牙のうちから選択された隣接する複数の歯牙であり、予めグルーピングによって設定されている。また、本実施の形態においては、第１識別部１１３１は、入力部１１０２に入力された三次元データと、プロファイル取得部１１１９によって取得された対象者２のプロファイルデータ１１９とに基づき、第１推定モデル１１４１（第１学習済モデル）を用いて第２隣接歯牙を識別する。なお、第１識別部１１３１は、識別処理においてプロファイルデータ１１９を用いなくてもよい。
【0071】
第１推定モデル１１４１は、第１ニューラルネットワーク１１５１と、当該第１ニューラルネットワーク１１５１によって用いられる第１パラメータ１１６１とを含む。第１パラメータ１１６１は、第１ニューラルネットワーク１１５１による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。
【0072】
第２識別部１１３２は、第１識別部１１３１による第２隣接歯牙の識別結果と、第２推定モデル１１４２とに基づき、当該第２隣接歯牙に含まれる歯牙の種類を識別する。
【0073】
第２推定モデル１１４２は、第２ニューラルネットワーク１１５２と、当該第２ニューラルネットワーク１１５２によって用いられる第２パラメータ１１６２とを含む。第２パラメータ１１６２は、第２ニューラルネットワーク１１５２による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。
【0074】
なお、上述した第１推定モデル１１４１および第２推定モデル１１４２は、図３に示した推定モデル１１４に対応する。
【0075】
出力部１１０３は、第２識別部１１３２による歯牙の種類の識別結果を、ディスプレイ３００、スピーカ４００、およびサーバ装置５００に出力する。
【0076】
ここで、図６に示すように、入力部１１０２に入力される三次元データには、歯牙の各点における三次元の位置情報と、歯牙の各点における色情報とが含まれる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、歯牙の各点における中心位置を原点として、Ｘ軸（たとえば、歯牙の横方向に沿った軸）、Ｙ軸（たとえば、歯牙の縦方向に沿った軸）、およびＺ軸（たとえば、歯牙の高さ方向に沿った軸）の各軸における絶対位置の座標を含む。なお、位置情報は、予め定められた位置を原点とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離および方向（ベクトル）を示す三次元における相対位置の座標を含んでいてもよい。
【0077】
ここで、図７に示すように、三次元スキャナ２００のスキャン対象となる歯牙が上顎の切歯である場合、得られる三次元画像が、上唇側の部位、口蓋側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。また、三次元スキャナ２００のスキャン対象となる歯牙が上顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、口蓋側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の切歯である場合、得られる三次元画像が、下唇側の部位、舌側の部位、および切縁側の部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。三次元スキャナ２００のスキャン対象となる歯牙が下顎の犬歯および臼歯である場合、得られる三次元画像が、頬側の部位、舌側の部位、および咬合する部位の画像を少なくとも含むように、ユーザ１によって対象者２の口腔内がスキャンされる。
【0078】
一般的に、対象者２の歯牙は、その種類によって形状および大きさが異なる。たとえば、上顎の切歯の場合、上唇側の面は一般的にＵ字形であるのに対して、上顎の犬歯の場合、頬側の面は一般的に五角形である。各歯牙は、形状および大きさがその種類に応じて特徴的であり、識別部１１０１は、これらの特徴的な形状および大きさが数値化された三次元データに基づき、推定モデル１１４を用いて当該三次元データに対応する歯牙の種類を識別する。
【0079】
第１ニューラルネットワーク１１５１においては、入力部１１０２に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、第１ニューラルネットワーク１１５１においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、第１ニューラルネットワーク１１５１においては、その計算および判定の結果が識別結果として出力層から出力される。なお、第１ニューラルネットワーク１１５１による計算および判定については、いずれの手法が用いられてもよい。
【0080】
第２ニューラルネットワーク１１５２においては、第１識別部１１３１による識別結果に対応する値が入力層に入力される。そして、第２ニューラルネットワーク１１５２においては、たとえば、中間層によって、入力された識別結果に対応する値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、第２ニューラルネットワーク１１５２においては、その計算および判定の結果が識別結果として出力層から出力される。なお、第２ニューラルネットワーク１１５２による計算および判定については、いずれの手法が用いられてもよい。
【0081】
第１ニューラルネットワーク１１５１および第２ニューラルネットワーク１１５２においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。本実施の形態においては、３次元画像に特化した識別処理を行う識別用プログラム１２０として、たとえば、VoxNet、3D ShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、第１ニューラルネットワーク１１５１および第２ニューラルネットワーク１１５２の仕組みには既存のものが適用されてもよい。
【0082】
なお、サーバ装置５００が保持する推定モデル５１４に含まれるニューラルネットワークは、第１ニューラルネットワーク１１５１および第２ニューラルネットワーク１１５２と同様の構成を有する。
【0083】
図８を参照しながら、識別部１１０１の具体例を説明する。なお、図８においては、下顎左側の３番～７番の隣接歯牙および歯肉を構成する複数の点に対応する三次元データが、識別部１１０１に入力される例が示されている。なお、３番～７番の隣接歯牙は、「第１隣接歯牙」の一例である。識別部１１０１に入力される三次元データは、３番～７番の隣接歯牙について色加工されていない色情報（すなわち、歯牙の色そのものの色を示す色情報）を含んでいてもよいし、３番～７番の隣接歯牙についてグレースケール化された色情報を含んでいてもよい。識別部１１０１は、入力された三次元データに基づき、下顎左側の３番～７番の隣接歯牙を識別する。
【0084】
図８に示すように、識別部１１０１は、識別部１１３０ａと、識別部１１３０ｂと、識別部１１３０ｃと、推定モデル１１４０ａと、推定モデル１１４０ｂと、推定モデル１１４０ｃとを有する。
【0085】
１段目の識別部１１３０ａは、図５に示した第１識別部１１３１の一例であり、入力された隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、推定モデル１１４０ａとに基づき、当該隣接歯牙と同一の数または当該隣接歯牙よりも少ない数の複数の歯牙が隣接する隣接歯牙を識別する。推定モデル１１４０ａは、図５に示した第１推定モデル１１４１の一例であり、図示しないニューラルネットワークと、当該ニューラルネットワークによって用いられる図示しないパラメータとを含む。なお、図８においては、１段目の識別部１１３０ａが、入力された三次元データに対応する隣接歯牙よりも少ない数の隣接歯牙を識別する例を説明する。
【0086】
具体的には、識別部１１３０ａは、下顎左側の３番～７番の隣接歯牙および歯肉を構成する複数の点に対応する三次元データが入力されると、推定モデル１１４０ａを用いて、３番～７番の歯牙のうちの複数の歯牙が隣接する隣接歯牙を識別する。たとえば、識別部１１３０ａは、３番～７番の歯牙のうち、４番～７番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ａを推定する。色ａは、４番～７番の歯牙がセットになった歯牙群（隣接歯牙）に対応付けられたラベルである。また、識別部１１３０ａは、３番～７番の歯牙のうち、３番～６番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｂを推定する。色ｂは、３番～６番の歯牙がセットになった歯牙群（隣接歯牙）に対応付けられたラベルである。あるいは、識別部１１３０ａは、いずれか１つの歯牙群（隣接歯牙）に対応する色を推定してもよい。識別部１１３０ａによる識別結果は、２段目の識別部１１３０ｂに入力される。なお、４番～７番の隣接歯牙および３番～６番の隣接歯牙は、「第２隣接歯牙」の一例である。
【0087】
このように、１段目の識別部１１３０ａは、入力された３番～７番の隣接歯牙および歯肉を構成する複数の点に対応する三次元データと、推定モデル１１４０ａとに基づき、４番～７番の歯牙がセットになった隣接歯牙と、３番～６番の歯牙がセットになった隣接歯牙とを識別する。あるいは、識別部１１３０ａは、いずれか１つの隣接歯牙を識別する。
【0088】
２段目の識別部１１３０ｂは、図５に示した第１識別部１１３１の一例であり、入力された隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、推定モデル１１４０ｂとに基づき、当該隣接歯牙と同一の数または当該隣接歯牙よりも少ない数の複数の歯牙が隣接する隣接歯牙を識別する。推定モデル１１４０ｂは、図５に示した第１推定モデル１１４１の一例であり、図示しないニューラルネットワークと、当該ニューラルネットワークによって用いられる図示しないパラメータとを含む。なお、２段目の識別部１１３０ｂは、１段目の識別部１１３０ａの後段に接続され、当該識別部１１３０ａによって識別された隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが、識別部１１３０ｂに入力される。なお、図８においては、２段目の識別部１１３０ｂが、入力された三次元データに対応する隣接歯牙よりも少ない数の隣接歯牙を識別する例を説明する。
【0089】
具体的には、識別部１１３０ｂは、識別部１１３０ａによって出力された４番～７番の隣接歯牙の識別結果（たとえば、色ａの推定結果、４番～７番の隣接歯牙に対応する三次元データ）に基づき、推定モデル１１４０ｂを用いて、４番～７番の隣接歯牙のうちの複数の歯牙が隣接する隣接歯牙を識別する。たとえば、識別部１１３０ｂは、４番～７番の隣接歯牙のうち、６番および７番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｃ、５番および６番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｄ、４番および５番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｅを推定する。色ｃは、６番および７番の歯牙がセットになった歯牙群（隣接歯牙）に対応付けられたラベルであり、色ｄは、５番および６番の歯牙がセットになった歯牙群（隣接歯牙）に対応付けられたラベルであり、色ｅは、４番および５番の歯牙がセットになった歯牙群（隣接歯牙）に対応付けられたラベルである。あるいは、識別部１１３０ｂは、いずれか１つの歯牙群（隣接歯牙）に対応する色を推定してもよい。識別部１１３０ｂによる識別結果は、３段目の識別部１１３０ｃに入力される。なお、４番および５番の隣接歯牙、５番および６番の隣接歯牙、６番および７番の隣接歯牙は、「第２隣接歯牙」の一例である。
【0090】
また、２段目の識別部１１３０ｂは、識別部１１３０ａによって出力された３番～６番の隣接歯牙の識別結果（たとえば、色ｂの推定結果、３番～６番の隣接歯牙に対応する三次元データ）に基づき、推定モデル１１４０ｂを用いて、３番～６番の隣接歯牙のうちの複数の歯牙が隣接する隣接歯牙を識別する。たとえば、識別部１１３０ｂは、３番～６番の隣接歯牙のうち、５番および６番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｄ、４番および５番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｅ、３番および４番の歯牙がセットになった歯牙群（隣接歯牙）に対応するとともにそれらの指標である色ｆを推定する。色ｆは、３番および４番の歯牙がセットになった歯牙群（隣接歯牙）に対応付けられたラベルである。あるいは、識別部１１３０ｂは、いずれか１つの歯牙群（隣接歯牙）に対応する色を推定してもよい。識別部１１３０ｂによる識別結果は、３段目の識別部１１３０ｃに入力される。なお、３番および４番の隣接歯牙、４番および５番の隣接歯牙、４番および６番の隣接歯牙は、「第２隣接歯牙」の一例である。
【0091】
第２隣接歯牙のうち、４番～７番の隣接歯牙の識別結果に基づき識別部１１３０ｂによって識別された第２隣接歯牙（４番および５番の隣接歯牙、５番および６番の隣接歯牙、６番および７番の隣接歯牙）と、３番～６番の隣接歯牙の識別結果に基づき識別部１１３０ｂによって識別された第２隣接歯牙（３番および４番の隣接歯牙、４番および５番の隣接歯牙、４番および６番の隣接歯牙）とでは、４番～６番の各歯牙が重複している。
【0092】
このように、２段目の識別部１１３０ｂは、入力された４番～７番の隣接歯牙の識別結果と、３番～６番の隣接歯牙の識別結果と、推定モデル１１４０ｂとに基づき、６番および７番の歯牙がセットになった隣接歯牙と、５番および６番の歯牙がセットになった隣接歯牙と、４番および５番の歯牙がセットになった隣接歯牙と、３番および４番の歯牙がセットになった隣接歯牙とを識別する。あるいは、識別部１１３０ｂは、いずれか１つの隣接歯牙を識別する。なお、識別部１１３０ｂは、入力された４番～７番の隣接歯牙の識別結果と、３番～６番の隣接歯牙の識別結果とのうち、少なくともいずれか１つの識別結果と、推定モデル１１４０ｂとに基づき、６番および７番の歯牙がセットになった隣接歯牙と、５番および６番の歯牙がセットになった隣接歯牙と、４番および５番の歯牙がセットになった隣接歯牙と、３番および４番の歯牙がセットになった隣接歯牙とのうち、少なくともいずれか１つの隣接歯牙を識別してもよい。
【0093】
３段目の識別部１１３０ｃは、図５に示した第２識別部１１３２の一例であり、識別部１１３０ｂによる隣接歯牙（第２隣接歯牙）の識別結果と、推定モデル１１４０ｃとに基づき、当該隣接歯牙に含まれる歯牙の種類を識別する。推定モデル１１４０ｃは、図５に示した第２推定モデル１１４２の一例であり、図示しないニューラルネットワークと、当該ニューラルネットワークによって用いられる図示しないパラメータとを含む。なお、３段目の識別部１１３０ｃは、２段目の識別部１１３０ｂの後段に接続され、当該識別部１１３０ｂによって識別された隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが、識別部１１３０ｃに入力される。
【0094】
具体的には、識別部１１３０ｃは、識別部１１３０ｂによって出力された６番および７番の隣接歯牙の識別結果（たとえば、色ｃの推定結果、６番および７番の隣接歯牙に対応する三次元データ）に基づき、推定モデル１１４０ｃを用いて、６番および７番の隣接歯牙のうちの各々の歯牙の種類を識別する。たとえば、識別部１１３０ｃは、６番および７番の隣接歯牙のうち、６番の指標である色ｈおよび７番の指標である色ｇを推定する。色ｈは、６番の歯牙に対応付けられたラベルであり、色ｇは、７番の歯牙に対応付けられたラベルである。あるいは、識別部１１３０ｃは、いずれか１つの歯牙に対応する色（種類）を推定してもよい。
【0095】
また、３段目の識別部１１３０ｃは、識別部１１３０ｂによって出力された５番および６番の隣接歯牙の識別結果（たとえば、色ｄの推定結果、５番および６番の隣接歯牙に対応する三次元データ）に基づき、推定モデル１１４０ｃを用いて、５番および６番の隣接歯牙のうちの各々の歯牙の種類を識別する。たとえば、識別部１１３０ｃは、５番および６番の隣接歯牙のうち、５番の指標である色ｉおよび６番の指標である色ｈを推定する。色ｉは、５番の歯牙に対応付けられたラベルである。あるいは、識別部１１３０ｃは、いずれか１つの歯牙に対応する色（種類）を推定してもよい。
【0096】
また、３段目の識別部１１３０ｃは、識別部１１３０ｂによって出力された４番および５番の隣接歯牙の識別結果（たとえば、色ｅの推定結果、４番および５番の隣接歯牙に対応する三次元データ）に基づき、推定モデル１１４０ｃを用いて、４番および５番の隣接歯牙のうちの各々の歯牙の種類を識別する。たとえば、識別部１１３０ｃは、４番および５番の隣接歯牙のうち、４番の指標である色ｊおよび５番の指標である色ｉを推定する。色ｊは、４番の歯牙に対応付けられたラベルである。あるいは、識別部１１３０ｃは、いずれか１つの歯牙に対応する色（種類）を推定してもよい。
【0097】
さらに、３段目の識別部１１３０ｃは、識別部１１３０ｂによって出力された３番および４番の隣接歯牙の識別結果（たとえば、色ｆの推定結果、３番および４番の隣接歯牙に対応する三次元データ）に基づき、推定モデル１１４０ｃを用いて、３番および４番の隣接歯牙のうちの各々の歯牙の種類を識別する。たとえば、識別部１１３０ｃは、３番および４番の隣接歯牙のうち、３番の指標である色ｋおよび４番の指標である色ｊを推定する。色ｋは、３番の歯牙に対応付けられたラベルである。あるいは、識別部１１３０ｃは、いずれか１つの歯牙に対応する色（種類）を推定してもよい。
【0098】
このように、３段目の識別部１１３０ｃは、入力された６番および７番の隣接歯牙の識別結果と、５番および６番の隣接歯牙の識別結果と、４番および５番の隣接歯牙の識別結果と、３番および４番の隣接歯牙の識別結果と、推定モデル１１４０ｃとに基づき、３番～７番のそれぞれの歯牙の種類を識別する。あるいは、識別部１１３０ｃは、いずれか１つの歯牙の種類を識別する。なお、識別部１１３０ｃは、入力された６番および７番の隣接歯牙の識別結果と、５番および６番の隣接歯牙の識別結果と、４番および５番の隣接歯牙の識別結果と、３番および４番の隣接歯牙の識別結果とのうち、少なくともいずれか１つの識別結果と、推定モデル１１４０ｃとに基づき、３番～７番の歯牙のうち、少なくともいずれか１つの歯牙の種類を識別してもよい。
【0099】
このような構成において、識別装置１００は、隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されると、当該三次元データに基づいて、複数の歯牙のそれぞれの特徴を多段式の複数の推定モデル１１４１（１１４０ａ，１１４０ｂ），１１４２（１１４０ｃ）を用いて抽出し、抽出した複数の歯牙のそれぞれの特徴に基づき、当該複数の歯牙のそれぞれの種類を識別することができる。識別装置１００は、一般的に認識されている歯牙の特徴に限らず、一般的に認識されていない歯牙の特徴についても抽出することができ、それによって精度良く歯牙の種類を識別することができる。
【0100】
また、識別装置１００は、多段式になった複数の推定モデル１１４１（１１４０ａ，１１４０ｂ），１１４２（１１４０ｃ）を用いて隣接する歯牙の数を段階的に絞りながら歯牙を識別するため、数多くの歯牙が隣接する隣接歯牙に対応する三次元データに基づき各歯牙の種類を一度に識別するよりも、精度良く歯牙の種類を識別することができる。より具体的には、１つの歯牙を一度に識別する場合、当該歯牙（または当該歯牙に隣接する歯牙）の特徴のみで識別する必要がある。歯牙の種類は１６種類あるため、１６種類からなる各歯牙の種類を一度に識別する場合、各歯牙（または各歯牙に隣接する歯牙）の特徴のみで識別する必要があり、識別の精度はなかなか上がらない。一方、複数の歯牙を識別する場合は、その特徴が１つの歯牙を識別する場合よりも増えるため、識別の精度が向上する。さらに、複数の歯牙の識別を多段式にすることで、２段目以降は、１段目で識別した複数の歯牙の中のみで識別を行うため、より精度が向上する。たとえば、１段目で４つ歯牙（４番、５番、６番、７番）を識別し、２段目で２つの歯牙を識別する場合、２段目では３種類の歯牙（４番および５番、５番および６番、６番および７番）を識別するだけでよいため、より精度が向上する。
【0101】
さらに、識別装置１００は、段階的に隣接歯牙を推定するにあたって、複数の第２隣接歯牙において重複する歯牙（４番～６番の各歯牙）については複数回に亘って識別されるため、より精度良く歯牙の種類を識別することができる。
【0102】
以上、説明した図８に示す例では、２段目の識別部１１３０ｂが、入力された三次元データに対応する隣接歯牙よりも少ない数の隣接歯牙を識別していたが、２段目の識別部１１３０ｂが、入力された三次元データに対応する隣接歯牙と同一の数の隣接歯牙を識別してもよい。
【0103】
たとえば、２段目の識別部１１３０ｂは、識別部１１３０ａによって出力された３番～６番の隣接歯牙の識別結果に基づき、推定モデル１１４０ｂを用いて、３番～６番の隣接歯牙を識別する。そして、３段目の識別部１１３０ｃは、識別部１１３０ｂによって出力された３番～６番の隣接歯牙の識別結果に基づき、推定モデル１１４０ｃを用いて、３番～６番の隣接歯牙のうちの各々の歯牙の種類を識別してもよい。
【0104】
また、２段目の識別部１１３０ｂは、識別部１１３０ａによって出力された４番～７番の隣接歯牙の識別結果に基づき、推定モデル１１４０ｂを用いて、４番～７番の隣接歯牙を識別する。そして、３段目の識別部１１３０ｃは、識別部１１３０ｂによって出力された４番～７番の隣接歯牙の識別結果に基づき、推定モデル１１４０ｃを用いて、４番～７番の隣接歯牙のうちの各々の歯牙の種類を識別してもよい。
【0105】
［学習用データの生成］
図９～図１１を参照しながら、学習用データセット１１６の生成の一例を説明する。図９は、本実施の形態に係る学習用データの生成を説明するための模式図である。図１０は、本実施の形態に係る学習用データの一例を説明するための模式図である。図１１は、本実施の形態に係る色分類データの一例を示す模式図である。
図９～図１１を参照しながら、学習用データセット１１６の生成の一例を説明する。図９は、本実施の形態に係る学習用データの生成を説明するための模式図である。図１０は、本実施の形態に係る学習用データの一例を説明するための模式図である。図１１は、本実施の形態に係る色分類データの一例を示す模式図である。
【0106】
図９に示すように、まず、三次元スキャナ２００によって三次元データが取得される（ＳＴＥＰ１）。三次元スキャナ２００によって取得された三次元データは、当該三次元データに対応する歯牙および歯肉を構成する複数の点のそれぞれにおける三次元の位置情報と、当該複数の点のそれぞれにおける色情報（ＲＧＢ値）とを含む。三次元スキャナ２００によって取得された三次元データに基づき三次元画像が生成されると、図９（ａ）に示すように実際の色が付された歯牙および歯肉を含む三次元画像が生成される。
【0107】
次に、後述する各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、本実施の形態においては、三次元データに対応する３次元画像がグレースケール化される（ＳＴＥＰ２）。３次元画像のグレースケール化は、ユーザ１（この場合、学習用データを生成するメーカの技術者または製造工場の作業者、歯科医師、歯科技工士などの歯科の知識を有する者など）によって行われる。三次元画像がグレースケール化されると、図９（ｂ）に示すようにグレースケール化された歯牙を含む三次元画像が生成される。また、三次元画像のグレースケール化に応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）がグレースケールに対応する値（たとえば、１９２１９２１９２）に変更される。
【0108】
次に、三次元データに対応する三次元画像に含まれる各歯牙に対して予め定められた色が塗布されることで各歯牙が色分けされる（ＳＴＥＰ３）。
【0109】
たとえば、図１０に示すように、４番～７番の歯牙がセットになった歯牙群（隣接歯牙）に対して色ａが塗布されることで、４番～７番の隣接歯牙と色ａとが対応付けられた学習用データが生成される。この学習用データは、図８に示した推定モデル１１４０ａの学習に用いられる。すなわち、推定モデル１１４０ａは、図９（ａ）または図９（ｂ）に示すような４番～７番の隣接歯牙を含む３番～７番の隣接歯牙に対応する三次元データに基づき、４番～７番の隣接歯牙を推定して色情報として出力し、その推定結果と正解データである色情報（色ａ）との比較結果に基づき学習する。
【0110】
また、図１０に示すように、６番および７番の歯牙がセットになった歯牙群（隣接歯牙）に対して色ｃが塗布されることで、６番および７番の隣接歯牙と色ｃとが対応付けられた学習用データが生成される。この学習用データは、図８に示した推定モデル１１４０ｂの学習に用いられる。すなわち、推定モデル１１４０ｂは、６番および７番の隣接歯牙を含む４番～７番の隣接歯牙に対応する三次元データに基づき、６番および７番の隣接歯牙を推定して色情報として出力し、その推定結果と正解データである色情報（色ｃ）との比較結果に基づき学習する。
【0111】
さらに、図１０に示すように、７番の歯牙に対して色ｇが塗布されることで、７番の歯牙と色ｇとが対応付けられた学習用データが生成される。この学習用データは、図８に示した推定モデル１１４０ｃの学習に用いられる。すなわち、推定モデル１１４０ｃは、７番の歯牙を含む６番および７番の隣接歯牙に対応する三次元データに基づき、７番の歯牙を推定して色情報として出力し、その推定結果と正解データである色情報（色ｇ）との比較結果に基づき学習する。
【0112】
図１１に示すように、１つの歯牙または複数の歯牙からなる隣接歯牙ごとに色分けするための色分類データ１１８は、下顎左側、下顎右側、上顎左側、および上顎右側といったように口腔内の各部位ごとに設けられている。図１１においては、下顎左側に対応する色分類データ１１８が示されている。各色分類データ１１８においては、歯牙の種類ごとに、歯科分野において一般的に用いられている歯牙の番号と、予め定められた色情報とが割り当てられている。
【0113】
たとえば、第二大臼歯は、歯牙の番号として７番が割り当てられ、色情報として色ｇが割り当てられている。第一大臼歯は、歯牙の番号として６番が割り当てられ、色情報として色ｈが割り当てられている。第二小臼歯は、歯牙の番号として５番が割り当てられ、色情報として色ｉが割り当てられている。このように、各色分類データ１１８においては、１つの歯牙または複数の歯牙からなる隣接歯牙ごとに色情報が予め割り当てられている。
【0114】
各歯牙に対する色の塗布は、ユーザ１（特に、歯科医師、歯科技工士などの歯科の知識を有する者など）によって行われる。具体的には、ユーザ１は、自身の知見に基づき三次元画像に含まれる各歯牙の種類を識別し、識別した歯牙の種類に対応する色を、色分類データ１１８を参照しながら特定し、特定した色を当該歯牙の画像に塗布する。
【0115】
たとえば、ユーザ１は、三次元画像に含まれる歯牙が７番の歯牙であると識別すると、当該歯牙の画像に色ｇを塗布する。また、三次元画像に含まれる歯牙が６番の歯牙であると識別すると、当該歯牙の画像に色ｈを塗布する。なお、図９および図１０においては、分かり易いように、各色がハッチングで表されている。
【0116】
また、１つの歯牙または複数の歯牙からなる隣接歯牙の色分けに応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）が各歯牙に塗布された色に対応する値に変更される。たとえば、色ａ（赤色）に塗布された４番～７番の隣接歯牙の各位置座標に対しては、色情報（ＲＧＢ値）が“２５５００００００”となり、色ｃ（緑色）に塗布された６番および７番の隣接歯牙の各位置座標に対しては、色情報（ＲＧＢ値）が“０００２５５０００”となり、色ｇ（青色）に塗布された７番の歯牙の各位置座標に対しては、色情報（ＲＧＢ値）が“０００００２５５”となる。つまり、三次元データに対応する歯牙の各点に対して、予め定められた色情報（ＲＧＢ値）が関連付けられる。
【0117】
各歯牙に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、本実施の形態に係る学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる（ラベリングされる）。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット１１６として、識別装置１００に保持される。
【0118】
このように、学習用データを生成する際に、ユーザ１が三次元画像に含まれる各歯牙に色を塗布して正解データをラベリングすることにおいては、多くの利点がある。たとえば、単なる文字または記号を用いてラベリングした場合、ユーザ１は、各歯牙の範囲を認識し難いが、色分けによってラベリングした場合、ユーザ１は、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を色の塗布によって容易に認識することができる。また、ユーザ１は、ラベリング時に様々な角度から三次元画像を確認しながら色を塗布するが、視点の角度を変更した場合でも、ラベリング作業中の歯牙に対してどの範囲まで塗布が完了したのかを認識し易くなる。
【0119】
なお、本実施の形態においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出することができる。
【0120】
なお、図９および図１０に示す学習用データセット１１６の生成は、サーバ装置５００が保持する学習用データセット５１６の生成についても適用可能である。たとえば、図１０に示す学習用データセット１１６を、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、図１１に示す色分類データ１１８を、サーバ装置５００が保持する色分類データ５１８に適用してもよい。
【0121】
【0122】
図１２に示すように、学習用データセット１１６は、当該学習用データセット１１６を生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類することができる。たとえば、年齢（未成年者，現役世代，高齢者）、性別（男性，女性）、人種（アジア人，欧米人，アフリカ系）、身長（１５０ｃｍ未満，１５０以上）、体重（５０ｋｇ未満，５０ｋｇ以上）、および居住地（日本在住，日本以外に在住）のそれぞれに対して、該当する対象者２の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと（この場合は３歳ごと）、具体的には、０歳～３歳、４歳～６歳、７歳～９歳、…といったように、より詳細に層別することができる。
【0123】
識別装置１００は、カテゴリごとに分類することができる複数の学習用データセット１１６ａ～１１６ｏを用いて推定モデル１１４を学習させることで、学習済モデルを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて推定モデル１１４を学習させればよい。
【0124】
一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、本実施の形態のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別することができる学習済モデルを生成することができる。
【0125】
なお、図１２に示す学習済モデルの生成は、サーバ装置５００が保持する学習済モデルの生成についても適用可能である。たとえば、図１２に示す学習用データセット１１６ａ～１１６ｏを、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、図１０に示す推定モデル１１４を、サーバ装置５００が保持する推定モデル５１４に適用してもよい。
【0126】
［推定モデルの学習］
図１３～図１５を参照しながら、推定モデルの学習について説明する。識別部１１０１によって実行される推定アルゴリズムとしては、たとえば、４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズム、２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズム、および１本の歯牙を推定するための推定アルゴリズムがある。
図１３～図１５を参照しながら、推定モデルの学習について説明する。識別部１１０１によって実行される推定アルゴリズムとしては、たとえば、４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズム、２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズム、および１本の歯牙を推定するための推定アルゴリズムがある。
【0127】
４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムは、たとえば、下顎の場合は、左下４番～７番の隣接歯牙、左下３番～６番の隣接歯牙、左下２番～５番の隣接歯牙、左下１番～４番の隣接歯牙、右下１番と左下１番～３番の隣接歯牙、右下１番および２番と左下１番および２番の隣接歯牙、右下１番～３番と左下１番の隣接歯牙、右下１番～４番の隣接歯牙、右下２番～５番の隣接歯牙、右下３番～６番の隣接歯牙、右下４番～７番の隣接歯牙といった４本の歯牙からなる隣接歯牙を推定するための全てのパターンの推定アルゴリズムを含む。さらに、４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムは、上顎の場合も同様に、全てのパターンの推定アルゴリズムを含む。
【0128】
２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムは、たとえば、左下４番～７番の隣接歯牙の場合は、左下４番および５番の隣接歯牙、左下５番および６番の隣接歯牙、左下６番および７番の隣接歯牙といった２本の歯牙からなる隣接歯牙を推定するための全てのパターンの推定アルゴリズムを含む。さらに、２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムは、左下３番～６番の隣接歯牙、左下２番～５番の隣接歯牙、左下１番～４番の隣接歯牙、右下１番と左下１番～３番の隣接歯牙、右下１番および２番と左下１番および２番の隣接歯牙、右下１番～３番と左下１番の隣接歯牙、右下１番～４番の隣接歯牙、右下２番～５番の隣接歯牙、右下３番～６番の隣接歯牙、右下４番～７番の隣接歯牙、上顎の場合も同様に、全てのパターンの推定アルゴリズムを含む。
【0129】
１本の歯牙を推定するための推定アルゴリズムは、たとえば、左下６番および７番の隣接歯牙の場合は、左下６番および７番の各歯牙といった１本の歯牙を推定するための全てのパターンの推定アルゴリズムを含む。さらに、１本の歯牙を推定するための推定アルゴリズムは、左下５番および６番の隣接歯牙、左下４番および５番の隣接歯牙、左下３番および４番の隣接歯牙、左下２番および３番の隣接歯牙、左下１番および２番の隣接歯牙、右下１番および左下１番の隣接歯牙、右下１番および右下２番の隣接歯牙、右下２番および右下３番の隣接歯牙、右下３番および右下４番の隣接歯牙、右下４番および５番の隣接歯牙、右下５番および６番の隣接歯牙、右下６番および７番の隣接歯牙、上顎の場合も同様に、全てのパターンの推定アルゴリズムを含む。
【0130】
識別部１１０１は、まず、三次元スキャナ２００によって所定周期（数ｍｓｅｃごと）でスキャンされた３次元データに基づいて、４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムを実行する。具体的には、三次元スキャナ２００によって１本の歯牙のみスキャンされた場合、識別部１１０１は、未だ識別のためのデータが揃っていないために、隣接歯牙を推定するための推定アルゴリズムを実行せず、識別結果を出力しない、または、識別結果を出力できない旨の情報を出力する。三次元スキャナ２００によるスキャンが進み、やがて４本以上の歯牙がスキャンされた場合、または、５本の歯牙の８０％程度がスキャンされた場合、あるいは、４本以上の歯牙分のデータ量を取得したと推定できる所定の累積データ量が入力された場合、識別部１１０１は、上述したような４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムを実行し、識別結果を出力する。その後、識別部１１０１は、４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムの実行によって得られた識別結果に基づき、上述したような２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムを実行し、識別結果を出力する。その後、識別部１１０１は、２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムの実行によって得られた識別結果に基づき、上述したような１本の歯牙を推定するための推定アルゴリズムを実行し、識別結果を出力する。
【0131】
図１３は、本実施の形態に係る推定モデル１１４のうちの１段目の推定モデル１１４０ａの学習を説明するための模式図である。図１３に示すように、識別部１１３０ａは、学習用データセット１１６に含まれる学習用データのうち、３番～７番の隣接歯牙および歯肉を構成する複数の点の三次元データが入力されると、当該三次元データに基づき、学習処理によって推定モデル１１４０ａを学習する。
【0132】
具体的には、識別部１１３０ａは、３番～７番の隣接歯牙および歯肉を構成する複数の点の三次元データが入力されると、当該三次元データに対してノイズ除去などの前処理を行う。次に、識別部１１３０ａは、４本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムを実行することで、３番～７番の隣接歯牙のうち、４本の隣接歯牙（たとえば、４番～７番の隣接歯牙、３番～６番の隣接歯牙）の特徴を抽出する。次に、識別部１１３０ａは、識別処理によって、特徴が抽出された４本の隣接歯牙を識別する。次に、識別部１１３０ａは、識別処理によって得られた識別結果（たとえば、推定された色情報）と、学習用データに含まれる正解データである色情報（たとえば、４番～７番の隣接歯牙に対応する色ａ、３番～６番の隣接歯牙に対応する色ｂ）とが一致するか否かを判定し、その判定結果に基づき推定モデル１１４０ａに含まれるパラメータを調整する。
【0133】
なお、識別部１１３０ａは、３番～７番以外の５本の歯牙からなる隣接歯牙（たとえば、２番～６番の隣接歯牙や１番～５番の隣接歯牙）を構成する複数の点の三次元データが入力された場合も、上記と同様の学習処理を実行することで、推定モデル１１４０ａに含まれるパラメータを調整する。
【0134】
図１４に示すように、識別部１１３０ｂは、学習用データセット１１６に含まれる学習用データのうち、４番～７番の隣接歯牙を構成する複数の点の三次元データが入力されると、当該三次元データに基づき、学習処理によって推定モデル１１４０ｂを学習する。
【0135】
識別部１１３０ｂは、４番～７番の隣接歯牙を構成する複数の点の三次元データが入力されると、当該三次元データに対してノイズ除去などの前処理を行う。次に、識別部１１３０ｂは、２本の歯牙からなる隣接歯牙を推定するための推定アルゴリズムを実行することで、４番～７番の隣接歯牙のうち、２本の隣接歯牙（たとえば、６番および７番の隣接歯牙、５番および６番の隣接歯牙、４番および５番の隣接歯牙）の特徴を抽出する。次に、識別部１１３０ｂは、識別処理によって、特徴が抽出された２本の隣接歯牙を識別する。次に、識別部１１３０ｂは、識別処理によって得られた識別結果（たとえば、推定された色情報）と、学習用データに含まれる正解データである色情報（たとえば、６番および７番の隣接歯牙に対応する色ｃ、５番および６番の隣接歯牙に対応する色ｄ、４番および５番の隣接歯牙に対応する色ｅ）とが一致するか否かを判定し、その判定結果に基づき推定モデル１１４０ｂに含まれるパラメータを調整する。
【0136】
なお、識別部１１３０ｂは、４番～７番以外の４本の歯牙からなる隣接歯牙（たとえば、３番～６番の隣接歯牙）を構成する複数の点の三次元データが入力された場合も、上記と同様の学習処理を実行することで、推定モデル１１４０ｂに含まれるパラメータを調整する。
【0137】
図１５に示すように、識別部１１３０ｃは、学習用データセット１１６に含まれる学習用データのうち、６番および７番の隣接歯牙を構成する複数の点の三次元データが入力されると、当該三次元データに基づき、学習処理によって推定モデル１１４０ｃを学習する。
【0138】
識別部１１３０ｃは、６番および７番の隣接歯牙を構成する複数の点の三次元データが入力されると、当該三次元データに対してノイズ除去などの前処理を行う。次に、識別部１１３０ｃは、１本の歯牙を推定するための推定アルゴリズムを実行することで、６番および７番の隣接歯牙のうち、１本の歯牙（たとえば、７番の歯牙、６番の歯牙）の特徴を抽出する。次に、識別部１１３０ｃは、識別処理によって、特徴が抽出された１本の歯牙の種類を識別する。次に、識別部１１３０ｃは、識別処理によって得られた識別結果（たとえば、推定された色情報）と、学習用データに含まれる正解データである色情報（たとえば、７番の歯牙に対応する色ｇ、６番の歯牙に対応する色ｈ）とが一致するか否かを判定し、その判定結果に基づき推定モデル１１４０ｃに含まれるパラメータを調整する。
【0139】
なお、識別部１１３０ｃは、６番および７番以外の２本の歯牙からなる隣接歯牙（たとえば、５番および６番の隣接歯牙、４番および５番の隣接歯牙）を構成する複数の点の三次元データが入力された場合も、上記と同様の学習処理を実行することで、推定モデル１１４０ｃに含まれるパラメータを調整する。
【0140】
このようにして、第１識別部１１３１（本実施形態では識別部１１３０ａ，１１３０ｂ）による第１推定モデル１１４１（本実施形態では推定モデル１１４０ａ，１１４０ｂ）の学習、および第２識別部１１３２（本実施形態では識別部１１３０ｃ）による第２推定モデル１１４２（本実施形態では推定モデル１１４０ｃ）の学習が行われる。
【0141】
なお、上述した例では、「第１識別部」として識別部１１３０ａおよび識別部１１３０ｂを例示したが、識別装置１００は、識別部１１３０ａを有しなくてもよい。たとえば、識別装置１００は、「第１識別部」として入力部１１０２に接続された識別部１１３０ｂを有し、「第２識別部」として識別部１１３０ｂに接続された識別部１１３０ｃを有していてもよい。この場合、識別部１１３０ｂに入力される三次元データに対応する４番～７番の隣接歯牙および３番～６番の隣接歯牙は、「第１隣接歯牙」に対応する。また、識別部１１３０ｃに入力される三次元データに対応する３番および４番の隣接歯牙、４番および５番の隣接歯牙、４番および６番の隣接歯牙、６番および７番の隣接歯牙は、「第２隣接歯牙」に対応する。
【0142】
［識別装置の学習処理］
図１６を参照しながら、識別装置１００が実行する学習処理について説明する。図１６は、本実施の形態に係る識別装置１００が実行する学習処理の一例を説明するためのフローチャートである。図１６に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。なお、図１６に示す学習処理は、複数の推定モデル１１４０ａ，１１４０ｂ，１１４０ｃの各々に対して行われる。
図１６を参照しながら、識別装置１００が実行する学習処理について説明する。図１６は、本実施の形態に係る識別装置１００が実行する学習処理の一例を説明するためのフローチャートである。図１６に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。なお、図１６に示す学習処理は、複数の推定モデル１１４０ａ，１１４０ｂ，１１４０ｃの各々に対して行われる。
【0143】
図１６に示すように、識別装置１００は、学習用データセット１１６の中から、学習に用いる学習用データを選択する（Ｓ１）。具体的には、識別装置１００は、図１２に示す学習用データセット群に含まれる学習用データセット１１６の中から、一または複数の学習用データを選択する。なお、識別装置１００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。
【0144】
識別装置１００は、選択した学習用データに含まれる三次元データ、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル１１４に入力する（Ｓ２）。このとき、識別装置１００には、三次元データにラベリングされた正解データは入力されない。識別装置１００は、三次元データに対応する１つの歯牙の特徴または複数の歯牙を含む隣接歯牙の特徴に基づき、推定モデル１１４を用いて当該１つの歯牙または隣接歯牙を識別する識別処理を実行する（Ｓ３）。識別処理において、識別装置１００は、三次元データに加えてプロファイルデータに基づき、推定モデル１１４を用いて１つの歯牙または隣接歯牙を識別する。
【0145】
識別装置１００は、識別処理による識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル１１４のパラメータ１１４４を更新する（Ｓ４）。
【0146】
たとえば、識別装置１００は、特定の１つの歯牙を構成する複数の点の位置情報に基づき識別した結果、当該特定の１つの歯牙に対応する色情報を推定する。そして、識別装置１００は、学習用データに含まれる当該特定の１つの歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル１１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータを更新する。あるいは、識別装置１００は、特定の複数の歯牙を含む隣接歯牙を構成する複数の点の位置情報に基づき識別した結果、当該特定の隣接歯牙に対応する色情報を推定する。そして、識別装置１００は、学習用データに含まれる当該特定の隣接歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル１１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータを更新する。
【0147】
なお、識別装置１００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ１１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定してもよい。識別装置１００は、学習用データに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル１１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル１１４のパラメータを更新してもよい。
【0148】
次に、識別装置１００は、全ての学習用データに基づき学習したか否かを判定する（Ｓ５）。識別装置１００は、全ての学習用データに基づき学習していない場合（Ｓ５でＮＯ）、Ｓ１の処理に戻る。
【0149】
一方、識別装置１００は、全ての学習用データに基づき学習した場合（Ｓ５でＹＥＳ）、学習済みの推定モデル１１４を学習済モデルとして記憶し（Ｓ６）、本処理を終了する。
【0150】
このように、識別装置１００は、学習用データに含まれる三次元データに関連付けられた１つの歯牙の種類に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）、および複数の歯牙を含む隣接歯牙に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）を正解データとして、識別処理による当該三次元データを用いた歯牙の識別結果に基づき、推定モデル１１４を学習することで、学習済モデルを生成することができる。
【0151】
さらに、識別装置１００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル１１４を学習するため、対象者２のプロファイルを考慮した学習済モデルを生成することができる。なお、識別装置１００は、プロファイルデータを用いることなく、各推定モデル１１４（１１４０ａ，１１４０ｂ，１１４０ｃ）に対して学習処理を実行してもよい。
【0152】
［サーバ装置の学習処理］
図１７を参照しながら、サーバ装置５００が実行する学習処理について説明する。図１７は、本実施の形態に係るサーバ装置５００が実行する学習処理の一例を説明するためのフローチャートである。図１７に示す各ステップは、サーバ装置５００の演算装置５３０がＯＳ５２７および学習用プログラム５２１を実行することで実現される。なお、図１７に示す学習処理は、複数の推定モデルの各々に対して行われる。
図１７を参照しながら、サーバ装置５００が実行する学習処理について説明する。図１７は、本実施の形態に係るサーバ装置５００が実行する学習処理の一例を説明するためのフローチャートである。図１７に示す各ステップは、サーバ装置５００の演算装置５３０がＯＳ５２７および学習用プログラム５２１を実行することで実現される。なお、図１７に示す学習処理は、複数の推定モデルの各々に対して行われる。
【0153】
図１７に示すように、サーバ装置５００は、学習用データセットの中から、学習に用いる学習用データを選択する（Ｓ５０１）。ここで、学習用データは、サーバ装置５００によって蓄積して記憶されたビッグデータを利用して生成されたものであってもよい。たとえば、サーバ装置５００は、各ローカルＡ～Ｃの識別装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用して学習用データを生成しておき、生成した当該学習用データを用いて学習処理を実行してもよい。なお、サーバ装置５００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。
【0154】
サーバ装置５００は、選択した学習用データに含まれる三次元データ、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを推定モデル５１４に入力する（Ｓ５０２）。このとき、サーバ装置５００には、三次元データにラベリングされた正解データは入力されない。サーバ装置５００は、三次元データに対応する１つの歯牙の特徴または複数の歯牙を含む隣接歯牙の特徴に基づき、推定モデル５１４を用いて当該１つの歯牙または隣接歯牙を識別する識別処理を実行する（Ｓ５０３）。識別処理において、サーバ装置５００は、三次元データに加えてプロファイルデータに基づき、推定モデル５１４を用いて１つの歯牙または隣接歯牙を識別する。
【0155】
サーバ装置５００は、識別処理による識別結果と、学習に用いた学習用データに対応する正解データとの誤差に基づき、推定モデル５１４のパラメータを更新する（Ｓ５０４）。
【0156】
たとえば、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定する。サーバ装置５００は、学習用データセットに含まれる当該特定の歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。
【0157】
あるいは、サーバ装置５００は、特定の１つの歯牙を構成する複数の点の位置情報に基づき識別した結果、当該特定の１つの歯牙に対応する色情報を推定する。そして、サーバ装置５００は、学習用データに含まれる当該特定の１つの歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。あるいは、サーバ装置５００は、特定の複数の歯牙を含む隣接歯牙を構成する複数の点の位置情報に基づき識別した結果、当該特定の隣接歯牙に対応する色情報を推定する。そして、サーバ装置５００は、学習用データに含まれる当該特定の隣接歯牙に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新する。
【0158】
なお、サーバ装置５００は、特定の歯牙の位置情報に基づき識別した結果、当該特定の歯牙に対応する色情報を推定し、色分類データ５１８に基づき当該色情報に対応する歯牙の種類や歯牙の番号（正解データ）を特定してもよい。サーバ装置５００は、学習用データに含まれる当該特定の歯牙に対応する色情報に割り当てられた歯牙の種類や歯牙の番号（正解データ）と、自身が推定した歯牙の種類や歯牙の番号とを比較し、一致すれば推定モデル５１４のパラメータを維持する一方で、不正解であれば両者が一致するように推定モデル５１４のパラメータを更新してもよい。
【0159】
次に、サーバ装置５００は、全ての学習用データに基づき学習したか否かを判定する（Ｓ５０５）。サーバ装置５００は、全ての学習用データに基づき学習していない場合（Ｓ５０５でＮＯ）、Ｓ５０１の処理に戻る。
【0160】
一方、サーバ装置５００は、全ての学習用データに基づき学習した場合（Ｓ５０５でＹＥＳ）、学習済みの推定モデル５１４を学習済モデルとして記憶する（Ｓ５０６）。その後、サーバ装置５００は、生成した学習済モデルを各ローカルの識別装置１００に送信し（Ｓ５０７）、本処理を終了する。
【0161】
このように、サーバ装置５００は、学習用データに含まれる三次元データに関連付けられた１つの歯牙の種類に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）、および複数の歯牙を含む隣接歯牙に対応する歯牙情報（色情報、歯牙の名称、または歯牙の番号など）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の識別結果に基づき、推定モデル５１４を学習することで、学習済モデルを生成することができる。
【0162】
また、サーバ装置５００は、学習処理において、学習用データに加えてプロファイルデータを考慮して推定モデル５１４を学習するため、対象者２のプロファイルを考慮した学習済モデルを生成することができる。なお、サーバ装置５００は、プロファイルデータを用いることなく、各推定モデル５１４に対して学習処理を実行してもよい。
【0163】
さらに、サーバ装置５００は、学習処理に用いる学習用データとして、各ローカルＡ～Ｃの識別装置１００および歯科技工所から取得したスキャン情報に含まれる三次元データを利用しているため、識別装置１００ごとに実行される学習処理よりも、より多くの学習用データに基づいて学習処理を実行することができ、より精度良く歯牙の種類を識別することができる学習済モデルを生成することができる。
【0164】
［識別装置のサービス提供処理］
図１８を参照しながら、識別装置１００が実行するサービス提供処理について説明する。図１８は、本実施の形態に係る識別装置１００が実行するサービス提供処理の一例を説明するためのフローチャートである。図１８に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
図１８を参照しながら、識別装置１００が実行するサービス提供処理について説明する。図１８は、本実施の形態に係る識別装置１００が実行するサービス提供処理の一例を説明するためのフローチャートである。図１８に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
【0165】
図１８に示すように、識別装置１００は、三次元データが入力されたか否かを判定する（Ｓ４１）。たとえば、識別装置１００は、識別処理を実行するのに十分な量の三次元データが入力されたか否かを判定する。識別装置１００は、十分な量の三次元データが入力されていない場合（Ｓ４１でＮＯ）、本処理を終了する。
【0166】
一方、識別装置１００は、十分な量の三次元データが入力された場合（Ｓ４１でＹＥＳ）、ユーザ１によって対象者２のプロファイルデータが入力されているか否かを判定する（Ｓ４２）。識別装置１００は、プロファイルデータが入力されていない場合（Ｓ４２でＮＯ）、三次元データを１段目の学習済モデル（たとえば、学習済みの推定モデル１１４０ａ）に入力する（Ｓ４３）。一方、識別装置１００は、プロファイルデータが入力されている場合（Ｓ４２でＹＥＳ）、三次元データおよびプロファイルデータを１段目の学習済モデルに入力する（Ｓ４４）。なお、このとき使用する学習済モデルは、図１６に示す学習処理で識別装置１００によって生成された学習済モデルに限らず、図１７に示す学習処理でサーバ装置５００によって生成された学習済モデルであってもよい。
【0167】
Ｓ４３およびＳ４４の後、識別装置１００は、入力された三次元データに対応する複数の歯牙の特徴に基づき、１段目の学習済モデルを用いた識別処理によって、入力された三次元データに対応する複数の歯牙のうち、一部の複数の歯牙を含む隣接歯牙を識別する（Ｓ４５）。このとき、Ｓ４２でプロファイルデータが１段目の学習済モデルに入力されていた場合、識別装置１００は、三次元データに加えてプロファイルデータに基づき、学習済モデルを用いて当該歯牙の種類を識別する。この場合、三次元データのみに基づき学習済モデルを用いて歯牙の種類を識別するよりも、より精度良く歯牙の種類を識別することができる。
【0168】
次に、識別装置１００は、１段目の学習済みモデルによる識別結果を２段目の学習済モデル（たとえば、学習済みの推定モデル１１４０ｂ）に入力する（Ｓ４６）。識別装置１００は、１段目の学習済モデルによる識別結果に基づき、２段目の学習済モデルを用いた識別処理によって、１段目の学習済みモデルによって識別された複数の歯牙のうち、一部の複数の歯牙を含む隣接歯牙を識別する（Ｓ４７）。
【0169】
次に、識別装置１００は、２段目の学習済みモデルによる識別結果を３段目の学習済モデル（たとえば、学習済みの推定モデル１１４０ｃ）に入力する（Ｓ４８）。識別装置１００は、２段目の学習済モデルによる識別結果に基づき、３段目の学習済モデルを用いた識別処理によって、２段目の学習済みモデルによって識別された複数の歯牙のうち、一部の歯牙の種類を識別する（Ｓ４９）。
【0170】
その後、識別装置１００は、３段目の学習済モデルを用いた識別処理によって得られた識別結果を、ディスプレイ３００、スピーカ４００、およびサーバ装置５００などに出力し（Ｓ５０）、本処理を終了する。
【0171】
このように、識別装置１００は、入力された三次元データに対応する複数の歯牙の特徴に基づき、学習済モデルを用いて当該歯牙の種類を識別するため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
【0172】
また、識別装置１００は、多段式になった複数の推定モデル（学習済みモデル）を用いて隣接する歯牙の数を段階的に絞りながら歯牙を識別するため、数多くの歯牙が隣接する隣接歯牙に対応する三次元データに基づき各歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。
【0173】
さらに、識別装置１００は、識別処理において、入力された三次元データに加えてプロファイルデータを考慮して歯牙の種類を識別するため、より精度良く歯牙の種類を識別することができる。
【0174】
[主な開示］
以上のように、本実施の形態では以下のような開示を含む。
以上のように、本実施の形態では以下のような開示を含む。
【0175】
識別装置１００は、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部１１０２と、入力部１１０２から入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別する識別部１１０１と、識別部１１０１による識別結果を出力する出力部１１０３とを備え、識別部１１０１は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙（たとえば、６番および７番の隣接歯牙、５番および６番の隣接歯牙、４番および５番の隣接歯牙、３番および４番の隣接歯牙）を識別する第１識別部１１３１と、第１識別部１１３１による識別結果と、第２ニューラルネットワーク１１５２を含む第２推定モデル１１４２とに基づき、第２隣接歯牙に含まれる歯牙（たとえば、３番～６番の各歯牙、４番～７番の各歯牙）の種類を識別する第２識別部１１３２とを含む。
【0176】
なお、第１識別部１１３１は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該隣接歯牙と同一の数の複数の歯牙が隣接する第２隣接歯牙（たとえば、３番～６番の隣接歯牙、４番～７番の隣接歯牙）を識別するものであってもよい。
【0177】
これにより、識別装置１００は、多段式の複数の推定モデル１１４（第１推定モデル１１４１，第２推定モデル１１４２、第１学習済モデル，第２学習済モデル）を用いて、隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに基づき、当該隣接歯牙に含まれる歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。さらに、識別装置１００は、多段式になった複数の推定モデル１１４を用いて隣接する歯牙の数を段階的に絞りながら歯牙を識別するため、複数の歯牙が隣接する隣接歯牙に対応する三次元データに基づき各歯牙の種類を一度に識別するよりも、精度良く歯牙の種類を識別することができる。
【0178】
なお、識別装置の識別部は、第１識別部および第２識別部の２段の識別部であってもよいし、第１識別部および第２識別部以外の識別部を含んだ３段以上の多段式の識別部であってもよい。たとえば、第１識別部は、入力部１１０２の直後で当該入力部１１０２に接続された識別部に限らず、入力部１１０２の直後の他の識別部（たとえば、図８に示す識別部１１３０a）に接続された識別部（たとえば、図８に示す識別部１１３０ｂ）を指すものであってもよい。
【0179】
第１識別部１１３１は、第１隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１推定モデル１１４１とに基づき、第２隣接歯牙として複数の第２隣接歯牙（たとえば、６番および７番の隣接歯牙、５番および６番の隣接歯牙、４番および５番の隣接歯牙、３番および４番の隣接歯牙）のそれぞれを識別し、複数の第２隣接歯牙は、互いに重複する歯牙（たとえば、４番～６番の各歯牙）を含み、第２識別部１１３２は、第１識別部１１３１による識別結果と、第２推定モデル１１４２とに基づき、複数の第２隣接歯牙のそれぞれに含まれる重複する歯牙の種類を識別する。
【0180】
これにより、識別装置１００は、複数の第２隣接歯牙において重複する歯牙（４番～６番の各歯牙）については第２識別部１１３２を用いて複数回に亘って識別するため、より精度良く歯牙の種類を識別することができる。
【0181】
第１推定モデル１１４１は、第１隣接歯牙（たとえば、４番～７番の隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに対応付けられた第２隣接歯牙（たとえば、４番および５番の隣接歯牙）と、当該三次元データを用いた当該第２隣接歯牙の推定結果とに基づき学習されたものであり、第２推定モデル１１４２は、第２隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに対応付けられた当該第２隣接歯牙に含まれる歯牙の種類と、当該三次元データを用いた当該第２隣接歯牙に含まれる歯牙（たとえば、４番および５番の各歯牙）の種類の推定結果とに基づき学習されたものである。
【0182】
なお、推定モデル１１４の学習は、サーバ装置５００によって実行される推定モデル５１４の学習によって実現されるものであってもよい。
【0183】
入力部１１０２から入力された三次元データは、口腔内の歯牙および歯肉を構成する複数の点のそれぞれにおける三次元の位置情報を含む。
【0184】
これにより、識別装置１００は、口腔内において隣接する複数の歯牙および歯肉に対応する三次元データを、推定モデル１１４（学習済モデル）に入力することで、当該複数の歯牙のそれぞれの種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を１つ１つ識別するよりも、精度良くかつスムーズに歯牙の種類を識別することができる。
【0185】
出力部１１０３は、色、文字、数字、および記号の少なくともいずれか１つを用いて第２識別部１１３２による識別結果を出力する。
【0186】
これにより、推定モデル１１４（学習済モデル）による識別結果が、色、文字、数字、および記号の少なくともいずれか１つを用いて出力されるため、ユーザ１は、直感的に識別結果を認識することができ、利便性が向上する。
【0187】
出力部１１０３は、識別部１１０１による識別結果をサーバ装置５００に出力し、サーバ装置５００は、識別部１１０１による識別結果を蓄積して記憶する。
【0188】
これにより、サーバ装置５００によって識別結果が蓄積して記憶されることでビッグデータが形成されるため、ユーザ１は、たとえば、このようなビッグデータを用いて学習処理をサーバ装置５００に実行させることで、より精度良く歯牙の種類を識別することができる学習済モデルを生成することができる。
【0189】
歯牙情報は、三次元データに対応する歯牙の種類に対応付けられた色、文字、数字、および記号のうちの少なくともいずれか１つの情報を含む。
【0190】
これにより、識別装置１００は、歯牙の種類に対応付けられた色、文字、数字、および記号などに基づいて、より精度良く歯牙の種類を識別することができる学習済モデルを生成することができる。
【0191】
図９に示すように、歯牙情報は、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに関連付けられる。
【0192】
これにより、ユーザ１は、歯牙情報によって、複数の歯牙のそれぞれの範囲を特定することができるため、ラベリング時の利便性が向上する。
【0193】
図９に示すように、歯牙情報は、三次元データに対応する歯牙を構成する複数の点のそれぞれに関連付けられる。
【0194】
これにより、三次元データに対応する歯牙を構成する複数の点のそれぞれに対して歯牙情報が関連付けられるため、ユーザ１は、歯牙に対して細かく歯牙情報を関連付けることができ、ラベリング時の利便性が向上する。
【0195】
推定モデル１１４は、歯牙情報および識別部１１０１による識別結果に加えて、歯牙を有する対象者２に関する属性情報に基づき、学習される。
【0196】
これにより、識別装置１００は、学習用データに加えて対象者２に関する属性情報に基づいて推定モデル１１４を学習させることができるため、対象者２の属性情報を考慮した学習済モデルを生成することができる。
【0197】
図１２に示すように、属性情報は、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つの情報を含む。
【0198】
これにより、識別装置１００は、学習用データに加えて、対象者の年齢、性別、人種、身長、体重、および居住地のうちの少なくともいずれか１つに基づいて推定モデル１１４を学習させることができるため、これら対象者２のプロファイルを考慮した学習済モデルを生成することができる。
【0199】
識別システム１０は、三次元カメラを用いて、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナ２００と、三次元スキャナ２００によって取得された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別する識別装置１００とを備え、識別装置１００は、三次元スキャナによって取得された三次元データが入力される入力部１１０２と、入力部１１０２から入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別する識別部１１０１と、識別部１１０１による識別結果を出力する出力部１１０３とを含み、識別部１１０１は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙（たとえば、６番および７番の隣接歯牙、５番および６番の隣接歯牙、４番および５番の隣接歯牙、３番および４番の隣接歯牙）を識別する第１識別部１１３１と、第１識別部１１３１による識別結果と、第２ニューラルネットワーク１１５２を含む第２推定モデル１１４２とに基づき、第２隣接歯牙に含まれる歯牙（たとえば、３番～６番の各歯牙、４番～７番の各歯牙）の種類を識別する第２識別部１１３２とを有する。
【0200】
なお、第１識別部１１３１は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該隣接歯牙と同一の数の複数の歯牙が隣接する第２隣接歯牙（たとえば、３番～６番の隣接歯牙、４番～７番の隣接歯牙）を識別するものであってもよい。
【0201】
これにより、識別システム１０は、多段式の複数の推定モデル１１４（第１推定モデル１１４１，第２推定モデル１１４２、第１学習済モデル，第２学習済モデル）を備える識別装置１００を用いて、隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに基づき、当該隣接歯牙に含まれる歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。さらに、識別装置１００は、多段式になった複数の推定モデル１１４を用いて隣接する歯牙の数を段階的に絞りながら歯牙を識別するため、複数の歯牙が隣接する隣接歯牙に対応する三次元データに基づき各歯牙の種類を一度に識別するよりも、精度良く歯牙の種類を識別することができる。
【0202】
識別方法は、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップ（Ｓ４１）と、入力されるステップ（Ｓ４１）によって入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別するステップ（Ｓ４５～Ｓ４９）と、識別するステップ（Ｓ４５～Ｓ４９）による識別結果を出力するステップ（Ｓ５０）とを含み、識別するステップ（Ｓ４５～Ｓ４９）は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙（たとえば、６番および７番の隣接歯牙、５番および６番の隣接歯牙、４番および５番の隣接歯牙、３番および４番の隣接歯牙）を識別する第１識別ステップ（Ｓ４５，Ｓ４７）と、第１識別ステップ（Ｓ４５，Ｓ４７）による識別結果と、第２ニューラルネットワーク１１５２を含む第２推定モデル１１４２とに基づき、第２隣接歯牙に含まれる歯牙（たとえば、３番～６番の各歯牙、４番～７番の各歯牙）の種類を識別する第２識別ステップ（Ｓ４９）とを有する。
【0203】
なお、第１識別ステップ（Ｓ４５，Ｓ４７）は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該隣接歯牙と同一の数の複数の歯牙が隣接する第２隣接歯牙（たとえば、３番～６番の隣接歯牙、４番～７番の隣接歯牙）を識別するものであってもよい。
【0204】
これにより、識別方法は、多段式の複数の推定モデル１１４（第１推定モデル１１４１，第２推定モデル１１４２、第１学習済モデル，第２学習済モデル）を用いて、隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに基づき、当該隣接歯牙に含まれる歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。さらに、識別方法は、多段式になった複数の推定モデル１１４を用いて隣接する歯牙の数を段階的に絞りながら歯牙を識別するため、複数の歯牙が隣接する隣接歯牙に対応する三次元データに基づき各歯牙の種類を一度に識別するよりも、精度良く歯牙の種類を識別することができる。
【0205】
識別用プログラム１２０は、演算装置１３０に、複数の歯牙が隣接する隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップ（Ｓ４１）と、入力されるステップ（Ｓ４１）によって入力された三次元データに基づき、隣接歯牙に含まれる歯牙の種類を識別するステップ（Ｓ４５～Ｓ４９）と、識別するステップ（Ｓ４５～Ｓ４９）による識別結果を出力するステップ（Ｓ５０）とを実行させ、識別するステップ（Ｓ４５～Ｓ４９）は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該第１隣接歯牙よりも少ない数の複数の歯牙が隣接する第２隣接歯牙（たとえば、６番および７番の隣接歯牙、５番および６番の隣接歯牙、４番および５番の隣接歯牙、３番および４番の隣接歯牙）を識別する第１識別ステップ（Ｓ４５，Ｓ４７）と、第１識別ステップ（Ｓ４５，Ｓ４７）による識別結果と、第２ニューラルネットワーク１１５２を含む第２推定モデル１１４２とに基づき、第２隣接歯牙に含まれる歯牙（たとえば、３番～６番の各歯牙、４番～７番の各歯牙）の種類を識別する第２識別ステップ（Ｓ４９）とを含む。
【0206】
なお、第１識別ステップ（Ｓ４５，Ｓ４７）は、複数の歯牙が隣接する第１隣接歯牙（たとえば、３番～６番の歯牙を含む隣接歯牙、４番～７番の歯牙を含む隣接歯牙）を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データと、第１ニューラルネットワーク１１５１を含む第１推定モデル１１４１とに基づき、当該隣接歯牙と同一の数の複数の歯牙が隣接する第２隣接歯牙（たとえば、３番～６番の隣接歯牙、４番～７番の隣接歯牙）を識別するものであってもよい。
【0207】
これにより、識別方法は、多段式の複数の推定モデル１１４（第１推定モデル１１４１，第２推定モデル１１４２、第１学習済モデル，第２学習済モデル）を用いて、隣接歯牙を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データに基づき、当該隣接歯牙に含まれる歯牙の種類を識別することができるため、ユーザ自身の知見に頼って歯牙の種類を識別するよりも、精度良く歯牙の種類を識別することができる。さらに、識別方法は、多段式になった複数の推定モデル１１４を用いて隣接する歯牙の数を段階的に絞りながら歯牙を識別するため、複数の歯牙が隣接する隣接歯牙に対応する三次元データに基づき各歯牙の種類を一度に識別するよりも、精度良く歯牙の種類を識別することができる。
【0208】
［変形例］
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
【0209】
（サービス提供処理時学習処理）
本実施の形態に係る識別装置１００は、図１８に示すように、サービス提供処理において学習処理を実行するものではないが、図１９に示すように、変形例に係る識別装置１００ａは、サービス提供処理において学習処理を実行するものであってもよい。識別装置１００は、所謂、協調学習（Federated Learning）を行うものであってもよい。図１９は、変形例に係る識別装置１００ａが実行するサービス提供処理の一例を説明するためのフローチャートである。なお、図１９に示すＳ４１～Ｓ５０の処理は、図１８に示すＳ４１～Ｓ５０の処理と同じであるため、図１９においては、Ｓ５０以降の処理についてのみ説明する。
本実施の形態に係る識別装置１００は、図１８に示すように、サービス提供処理において学習処理を実行するものではないが、図１９に示すように、変形例に係る識別装置１００ａは、サービス提供処理において学習処理を実行するものであってもよい。識別装置１００は、所謂、協調学習（Federated Learning）を行うものであってもよい。図１９は、変形例に係る識別装置１００ａが実行するサービス提供処理の一例を説明するためのフローチャートである。なお、図１９に示すＳ４１～Ｓ５０の処理は、図１８に示すＳ４１～Ｓ５０の処理と同じであるため、図１９においては、Ｓ５０以降の処理についてのみ説明する。
【0210】
図１４に示すように、識別装置１００ａは、Ｓ４１～Ｓ５０の処理によって識別結果を出力した後、サービス提供時学習処理を実行する。具体的には、識別装置１００ａは、Ｓ５０の後、誤り訂正のための正解データが入力されたか否かを判定する（Ｓ６１ａ）。たとえば、識別装置１００ａは、Ｓ５０において出力された識別結果である歯牙の種類が、実際にスキャン対象であった歯牙の種類と異なる場合において、実際にスキャン対象であった歯牙の種類をユーザ１が入力することで誤りを訂正したか否かを判定する。
【0211】
識別装置１００ａは、誤り訂正のための正解データが入力されなかった場合（Ｓ６１ａでＮＯ）、本処理を終了する。一方、識別装置１００ａは、誤り訂正のための正解データが入力された場合（Ｓ６１ａでＹＥＳ）、識別結果と正解データとに基づき報酬を付与する（Ｓ６２）。
【0212】
たとえば、識別結果と正解データとの解離度が小さければ小さいほど、付与する報酬として値の小さいマイナスポイントを与え、両者の解離度が大きければ大きいほど、付与する報酬として値の大きいマイナスポイントを与えればよい。具体的には、識別装置１００ａは、識別結果として出力した歯牙と、正解データとして入力された歯牙とが隣接していれば、値の小さいマイナスポイントを与え、両者が離れていれば、値の大きいマイナスポイントを与える。このように、識別装置１００ａは、識別結果と正解データとの解離度に応じて異なる値の報酬を付与する。なお、報酬はマイナスポイントに限らず、プラスポイントであってもよい。
【0213】
識別装置１００ａは、付与した報酬に基づき、学習済モデルのパラメータ（たとえば、第１パラメータ１１６１，第２パラメータ１１６２の少なくともいずれか一方）を更新する（Ｓ６３）。たとえば、識別装置１００ａは、報酬として付与したマイナスポイントが０に近づくように学習済モデルのパラメータを更新する。その後、識別装置１００ａは、本処理を終了する。
【0214】
このように、変形例に係る識別装置１００ａは、サービス提供処理においても学習処理を実行するため、ユーザ１が使用すればするほど識別処理の精度が向上し、より精度良く歯牙の種類を識別することができる。このような処理は、所謂、協調学習の一種である。
【0215】
（カテゴリごとの学習済モデルの生成）
本実施の形態に係る識別装置１００は、図１２に示すように、カテゴリごとに分類された複数の学習用データセット１１６ａ～１１６ｏが含まれる学習用データセット群を用いて推定モデル１１４を学習させることで、１つの学習済モデルを生成するものであったが、図２０に示すように、変形例に係る識別装置１００ｂは、カテゴリごとに分類された複数の学習用データセットのそれぞれをカテゴリごとに用いて推定モデル１１４を学習させることで、カテゴリごとの学習済モデルを生成してもよい。図２０は、変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。
本実施の形態に係る識別装置１００は、図１２に示すように、カテゴリごとに分類された複数の学習用データセット１１６ａ～１１６ｏが含まれる学習用データセット群を用いて推定モデル１１４を学習させることで、１つの学習済モデルを生成するものであったが、図２０に示すように、変形例に係る識別装置１００ｂは、カテゴリごとに分類された複数の学習用データセットのそれぞれをカテゴリごとに用いて推定モデル１１４を学習させることで、カテゴリごとの学習済モデルを生成してもよい。図２０は、変形例に係る学習用データセットに基づく学習済モデルの生成を説明するための模式図である。
【0216】
図２０に示すように、学習用データセット１１６は、当該学習用データセット１１６を生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類されて保持される。たとえば、年齢（未成年者，現役世代，高齢者）、および性別（男性，女性）に基づき、６個のカテゴリに対して、学習用データセットが割り当てられる。
【0217】
識別装置１００ｂは、カテゴリごとに分類された複数の学習用データセット１１６ｐ～１１６ｕのそれぞれをカテゴリごとに用いて推定モデル１１４を学習させることで、カテゴリごとの学習済モデル１１４ｐ～１１４ｕを生成する。
【0218】
このように、変形例に係る識別装置１００ｂは、カテゴリごとに分類された複数の学習済モデル１１４ｐ～１１４ｕを生成することができるため、対象者２のプロファイルに応じたより詳細な分析によって、より精度良く歯牙の種類を識別することができる。
【0219】
なお、図２０に示す学習済モデル１１４ｐ～１１４ｕの生成は、サーバ装置５００が保持する学習済モデルの生成についても適用可能である。たとえば、図２０に示す学習用データセット１１６ｐ～１１６ｕを、サーバ装置５００が保持する学習用データセット５１６に適用してもよいし、図２０に示す学習済モデル１１４ｐ～１１４ｕを、サーバ装置５００が保持する学習済モデルに適用してもよい。
【0220】
（カテゴリごとの学習済モデルを用いたサービス提供処理）
図２１を参照しながら、カテゴリごとの学習済モデル１１４ｐ～１１４ｕを用いて識別装置１００が実行するサービス提供処理について説明する。図２１は、変形例に係る識別装置１００ｂが実行するサービス提供処理の一例を説明するためのフローチャートである。図２１に示す各ステップは、識別装置１００ｂの演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
図２１を参照しながら、カテゴリごとの学習済モデル１１４ｐ～１１４ｕを用いて識別装置１００が実行するサービス提供処理について説明する。図２１は、変形例に係る識別装置１００ｂが実行するサービス提供処理の一例を説明するためのフローチャートである。図２１に示す各ステップは、識別装置１００ｂの演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
【0221】
図２１に示すように、識別装置１００ｂは、三次元データが入力されたか否かを判定する（Ｓ４１）。たとえば、識別装置１００ｂは、識別処理を実行するのに十分な量の三次元データを取得したか否かを判定する。識別装置１００ｂは、十分な量の三次元データを取得していない場合（Ｓ４１でＮＯ）、本処理を終了する。
【0222】
一方、識別装置１００ｂは、十分な量の三次元データが入力された場合（Ｓ４１でＹＥＳ）、ユーザ１によって対象者２のプロファイルデータが入力されているか否かを判定する（Ｓ４２）。その後、識別装置１００ｂは、図２０に示す学習済モデル群の中からプロファイルデータに対応する学習済モデルを選択する（Ｓ６１ｂ）。たとえば、対象者２が高齢者の女性であれば、識別装置１００ｂは、学習済モデル１１４ｕを選択する。
【0223】
その後、識別装置１００ｂは、三次元データを１段目の学習済モデル（たとえば、学習済みの推定モデル１１４０ａ）に入力する（Ｓ６２ｂ）。識別装置１００は、入力された三次元データに対応する複数の歯牙の特徴に基づき、１段目の学習済モデルを用いた識別処理によって、入力された三次元データに対応する複数の歯牙のうち、一部の複数の歯牙を含む隣接歯牙を識別する（Ｓ４５）。その後、Ｓ４６～Ｓ５０に示す処理は、図１８に示したＳ４６～Ｓ５０に示す処理と同様の処理を実行する。
【0224】
このように、変形例に係る識別装置１００ｂは、対象者２のプロファイルに最も適した学習済モデルを用いて識別処理を実行することができるため、対象者２のプロファイルに応じたより詳細な分析によって、より精度良く歯牙の種類を識別することができる。
【0225】
（プロファイルの出力）
本実施の形態に係る識別装置１００は、識別処理によって、歯牙の種類を識別するものであった。しかし、図１２および図２０に示すように、対象者２のプロファイルを考慮した学習用データセットに基づき学習済モデルが生成されることに鑑みると、識別処理において三次元データが学習済モデルに入力されることで、当該三次元データに対応する歯牙の特徴に基づき、当該歯牙の所有者のプロファイルが識別結果として出力されてもよい。このようにすれば、災害や事件などで発見された身元不明の対象者２について、歯牙を含む三次元データからプロファイルを特定することができる。
本実施の形態に係る識別装置１００は、識別処理によって、歯牙の種類を識別するものであった。しかし、図１２および図２０に示すように、対象者２のプロファイルを考慮した学習用データセットに基づき学習済モデルが生成されることに鑑みると、識別処理において三次元データが学習済モデルに入力されることで、当該三次元データに対応する歯牙の特徴に基づき、当該歯牙の所有者のプロファイルが識別結果として出力されてもよい。このようにすれば、災害や事件などで発見された身元不明の対象者２について、歯牙を含む三次元データからプロファイルを特定することができる。
【0226】
（学習処理）
本実施の形態に係る識別装置１００は、学習処理によって推定モデル１１４のパラメータ（第１パラメータ１１６１，第２パラメータ１１６２）を更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワーク（第１ニューラルネットワーク１１５１，第２ニューラルネットワーク１１５２）が更新される（たとえば、ニューラルネットワークのアルゴリズムが更新される）ものであってもよい。また、本実施の形態に係るサーバ装置５００は、学習処理によって推定モデル５１４のパラメータを更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワークが更新される（たとえば、ニューラルネットワークのアルゴリズムが更新される）ものであってもよい。
本実施の形態に係る識別装置１００は、学習処理によって推定モデル１１４のパラメータ（第１パラメータ１１６１，第２パラメータ１１６２）を更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワーク（第１ニューラルネットワーク１１５１，第２ニューラルネットワーク１１５２）が更新される（たとえば、ニューラルネットワークのアルゴリズムが更新される）ものであってもよい。また、本実施の形態に係るサーバ装置５００は、学習処理によって推定モデル５１４のパラメータを更新するものであったが、パラメータを更新するものに限らず、学習処理によってニューラルネットワークが更新される（たとえば、ニューラルネットワークのアルゴリズムが更新される）ものであってもよい。
【0227】
（法線および／または色情報を用いた識別）
図２２は、変形例に係る学習用データセットの一例を説明するための模式図である。変形例に係る識別装置１００ｃは、三次元スキャナ２００によって取得された三次元データに含まれる位置情報に加えて、歯牙の実際の色情報を推定モデル１１４に入力することで、推定モデル１１４を学習してもよい。
図２２は、変形例に係る学習用データセットの一例を説明するための模式図である。変形例に係る識別装置１００ｃは、三次元スキャナ２００によって取得された三次元データに含まれる位置情報に加えて、歯牙の実際の色情報を推定モデル１１４に入力することで、推定モデル１１４を学習してもよい。
【0228】
たとえば、図９を用いて説明したように、学習用データセットには、推定モデル１１４に対する入力データである位置情報と、正解データである歯牙の種類に対応付けられた色分け後の色情報とが含まれているが、これに加えて、図２２に示すように、色分け前の歯牙の色情報が含まれてもよい。そして、学習処理においては、推定モデル１１４に対して位置情報に加えて色分け前の歯牙の色情報が入力されることで、歯牙の実際の色情報も考慮して、学習済モデルが生成されてもよい。
【0229】
さらに、学習用データセットには、推定モデル１１４に対する入力データである位置情報と、正解データである歯牙の種類に対応付けられた色分け後の色情報とに加えて、図２２に示すように、位置情報に基づき算出可能な法線情報が含まれてもよい。そして、学習処理においては、推定モデル１１４に対して位置情報に加えて法線情報が入力されることで、法線情報も考慮して、学習済モデルが生成されてもよい。
【0230】
法線情報は、たとえば、以下のようにして算出することができる。たとえば、歯牙を構成する複数の点のうち、一の点に注目し、その注目点の近傍の所定範囲内に属する複数の点に基づいて、注目点の法線を生成する。具体的には、注目点の法線は、注目点の近傍の所定範囲内に属する複数の点に対し、主成分分析を用いて生成することができる。主成分分析は、一般的に、分散共分散行列を計算することで実施することができる。この分散共分散行列の計算において固有ベクトルを計算し、主成分方向を注目点の法線として生成すればよい。なお、点群におけるある点に対する法線の生成方法は公知であるため、一般的に知られているその他の技術を用いてもよい。
【0231】
このように、学習用データセットに法線情報を加えることで、歯牙を構成する複数の点のそれぞれにおいて、各点が構成する歯牙のどちら側が表面なのかについても識別装置が学習することができる。また、注目点の近傍の所定範囲内に属する少数の点群のみに基づいて窪みなどの形状の特徴を識別装置が学習することができる。
【0232】
なお、学習用データセットには、色分け前の歯牙の色情報と法線情報との両方が含まれてもよいし、一方のみが含まれてもよい。
【0233】
次に、色分け前の歯牙の色情報および法線情報を含む学習用データセットに基づき学習された学習済モデルを用いて識別処理を実行するサービス提供処理について、図１８を参照しながら説明する。図２３は、変形例に係る識別装置１００ｃが実行するサービス提供処理の一例を説明するためのフローチャートである。
【0234】
図２３に示すように、変形例に係る識別装置１００ｃは、図１８に示した識別装置１００が実行するサービス提供処理と異なり、Ｓ６１ｃの処理を追加で実行する。すなわち、識別装置１００ｃは、三次元データが入力された後（Ｓ４１でＹＥＳ）、入力された三次元データに含まれる位置情報に基づき、歯牙を構成する複数の点における法線を生成する（Ｓ６１ｃ）。なお、入力された三次元データには、位置情報に加えて色分け前の歯牙の色情報が含まれている。
【0235】
その後、識別装置１００ｃは、プロファイルデータが入力されていないと判定した場合（Ｓ４２でＮＯ）、三次元データ（位置情報，色情報）に加えて法線情報を１段目の学習済モデルに入力する（Ｓ６２ｃ）。一方、識別装置１００ｃは、プロファイルデータが入力されたと判定した場合（Ｓ４２でＹＥＳ）、三次元データ（位置情報，色情報）およびプロファイルデータに加えて法線情報を学習済モデルに入力する（Ｓ６３ｃ）。そして、Ｓ６２ｃおよびＳ６３ｃの後、識別装置１００ｃは、１段目の学習済モデルを用いて隣接歯牙を識別する識別処理を実行する（Ｓ４５）。
【0236】
このように、変形例に係る識別装置１００ｃは、色分け前の歯牙の色情報、および三次元データに対応する歯牙を構成する複数の点のそれぞれについて生成された法線にさらに基づき、歯牙の種類を識別してもよい。なお、識別装置１００ｃには、色分け前の歯牙の色情報が入力される一方で、法線情報が入力されない場合であってもよい。あるいは、識別装置１００ｃには、法線情報が入力される一方で、色分け前の歯牙の色情報が入力されない場合であってもよい。
【0237】
このように、識別装置１００ｃは、色分け前の歯牙の色情報、および／または複数の点のそれぞれについて生成された法線に基づき歯牙の種類を識別することができるため、より精度良く歯牙の種類を識別することができる。
【0238】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
【符号の説明】
【0239】
１ ユーザ、２ 対象者、５ ネットワーク、１０ 識別システム、１００，１００ａ，１００ｂ，１００ｃ 識別装置、１０２ スキャナインターフェース、１０３，５０３ ディスプレイインターフェース、１０４ スピーカインターフェース、１０５，５０５ 周辺機器インターフェース、１０６，５０６ ネットワークコントローラ、１０７，５０７ メディア読取装置、１０８ ＰＣディスプレイ、１０９，５０９ メモリ、１１０，５１０ ストレージ、１１２，５１２ スキャン情報、１１４，５１４，１１４０ａ，１１４０ｂ，１１４０ｃ 推定モデル、１１６，５１６ 学習用データセット、１１８，５１８ 色分類データ、１１９，５１９ プロファイルデータ、１２０ 識別用プログラム、１２１，５２１ 学習用プログラム、１２２，５２２ 三次元データ、１２４，５２４ 識別結果、１２７，５２７ ＯＳ、１３０，５３０ 演算装置、２００ 三次元スキャナ、３００，３５０ ディスプレイ、４００ スピーカ、５００ サーバ装置、５５０ リムーバブルディスク、６０１，６５１ キーボード、６０２，６５２ マウス、１１０１，１１３０ａ，１１３０ｂ，１１３０ｃ 識別部、１１０２ 入力部、１１０３ 出力部、１１１９ プロファイル取得部、１１３１ 第１識別部、１１３２ 第２識別部、１１４１ 第１推定モデル、１１４２ 第２推定モデル、１１４４ パラメータ、１１５１ 第１ニューラルネットワーク、１１５２ 第２ニューラルネットワーク、１１６１ 第１パラメータ、１１６２ 第２パラメータ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】