ホーム > 特許ランキング > 株式会社モリタ製作所
特許7324735識別装置、スキャナシステム、識別方法、および識別用プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-02
(45)【発行日】2023-08-10
(54)【発明の名称】識別装置、スキャナシステム、識別方法、および識別用プログラム
(51)【国際特許分類】
A61C 19/04 20060101AFI20230803BHJP
A61B 1/24 20060101ALI20230803BHJP
A61B 1/045 20060101ALI20230803BHJP
【ＦＩ】
A61C19/04 Z
A61B1/24
A61B1/045 614
A61B1/045 618
【請求項の数】
9
(21)【出願番号】P 2020113851
(22)【出願日】2020-07-01
(65)【公開番号】P2022012199
(43)【公開日】2022-01-17
【審査請求日】2021-09-27
【前置審査】
(73)【特許権者】
【識別番号】000138185
【氏名又は名称】株式会社モリタ製作所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】鍛治 亮佑
(72)【発明者】
【氏名】西村 巳貴則
【審査官】大橋 俊之
(56)【参考文献】
【文献】特表２０１９－５２３０６４（ＪＰ，Ａ）
【文献】特開２０２０－０９６６９１（ＪＰ，Ａ）
【文献】韓国登録特許第１０－１８３９７８９（ＫＲ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｃ １９／０４
Ａ６１Ｂ １／２４
Ａ６１Ｂ １／０４５
(57)【特許請求の範囲】
【請求項1】
口腔内の病変部位を識別する識別装置であって、口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部と、
前記入力部から入力された三次元データと、当該三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における当該病変部位を識別する識別部と、
前記識別部による識別結果を出力する出力部とを備え、
前記識別部は、前記推定モデルに含まれる前記ニューラルネットワークに、前記三次元データのうち少なくとも前記三次元の位置情報を直接入力する、識別装置。
【請求項2】
三次元データは、口腔内の表面形状を構成する複数の点のそれぞれにおける色情報を含む、請求項１に記載の識別装置。
【請求項3】
前記ニューラルネットワークは、前記入力部から入力された三次元データに基づき病変部位を推定するとともに、当該三次元データに対応する部位の歯牙の種類を推定するためのニューラルネットワークであり、前記識別部は、前記推定モデルに含まれる前記ニューラルネットワークに、病変部位に対応する生体部位の周辺の歯牙の三次元データのうち少なくとも前記三次元の位置情報を直接入力して、当該周辺の歯牙の種類を識別し、
前記識別部が識別した前記周辺の歯牙の種類に基づき、前記病変部位に対応する歯牙の種類を推定する歯牙種推定部をさらに備える、請求項１または請求項２に記載の識別装置。
【請求項4】
前記出力部は、前記識別部が識別した病変部位を、前記歯牙種推定部が推定した当該病変部位に対応する歯牙の種類に対応付けて出力する、請求項３に記載の識別装置。
【請求項5】
前記歯牙種推定部は、前記病変部位が歯肉である場合、当該病変部位に対応する歯牙を当該歯肉に隣接する歯牙として、当該病変部位に対応する歯牙の種類を推定する、請求項３または請求項４に記載の識別装置。
【請求項6】
前記推定モデルは、前記入力部から入力された三次元データに基づき病変部位を推定するための第１ニューラルネットワークを含む第１推定モデルと、
前記入力部から入力された三次元データに基づき当該三次元データに対応する部位の歯牙の種類を推定するための第２ニューラルネットワークを含む第２推定モデルとを含み、
前記識別部は、前記入力部から入力された三次元データのうち少なくとも前記三次元の位置情報を前記第２ニューラルネットワークに直接入力して、入力された当該三次元データに対応する部位の歯牙の種類を推定できなかった場合に、前記入力部から入力された三次元データのうち少なくとも前記三次元の位置情報を前記第１ニューラルネットワークに直接入力して病変部位を識別する、請求項１～請求項５のうちいずれか１項に記載の識別装置。
【請求項7】
口腔内の形状情報を取得するスキャナシステムであって、三次元カメラを用いて口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、
前記三次元スキャナによって取得された三次元データに基づき、口腔内の病変部位を識別する識別装置とを備え、
前記識別装置は、
前記三次元スキャナによって取得された三次元データが入力される入力部と、
前記入力部から入力された三次元データと、当該三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における当該病変部位を識別する識別部と、
前記識別部による識別結果を出力する出力部とを含み、
前記識別部は、前記推定モデルに含まれる前記ニューラルネットワークに、前記三次元データのうち少なくとも前記三次元の位置情報を直接入力する、スキャナシステム。
【請求項8】
コンピュータによる口腔内の病変部位を識別する識別方法であって、口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、
前記入力されるステップによって入力された三次元データと、当該三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における当該病変部位を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを含み、
前記推定モデルに含まれる前記ニューラルネットワークに、前記三次元データのうち少なくとも前記三次元の位置情報が直接入力される、識別方法。
【請求項9】
口腔内の病変部位を識別する識別用プログラムであって、前記識別用プログラムは、コンピュータに、
口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、
前記入力されるステップによって入力された三次元データと、当該三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における当該病変部位を識別するステップと、
前記識別するステップによる識別結果を出力するステップとを実行させ、
前記推定モデルに含まれる前記ニューラルネットワークに、前記三次元データのうち少なくとも前記三次元の位置情報が直接入力される、識別用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、識別装置、当該識別装置を備えるスキャナシステム、識別方法、および識別用プログラムに関する。
【背景技術】
【0002】
従来、歯科分野において、補綴物などをコンピュータ上でデジタル設計するために、歯牙の三次元形状を取得する三次元カメラを内蔵した三次元スキャナが公知である。たとえば、特許文献１には、三次元カメラを用いて歯牙を撮像することで、歯牙の形状を記録する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０００－７４６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このように、三次元スキャナは、補綴物などをデジタル設計することに利用されてきた。しかし、三次元スキャナによって得られる情報を、他の用途で利用することは鑑みられていなかった。
【0005】
本開示は、三次元スキャナによって得られる三次元データの用途を広げることであって、歯科分野における三次元スキャナの可能性を高めることを目的とする。
【課題を解決するための手段】
【0006】
本開示に従えば、口腔内の病変部位を識別する識別装置が提供される。識別装置は、口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力される入力部と、入力部から入力された三次元データと、三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における病変部位を識別する識別部と、識別部による識別結果を出力する出力部とを備える。識別部は、推定モデルに含まれるニューラルネットワークに、三次元データのうち少なくとも三次元の位置情報を直接入力する。
【0007】
本開示に従えば、口腔内の形状情報を取得するスキャナシステムが提供される。スキャナシステムは、三次元カメラを用いて口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データを取得する三次元スキャナと、三次元スキャナによって取得された三次元データに基づき、口腔内の病変部位を識別する識別装置とを備え、識別装置は、三次元スキャナによって取得された三次元データが入力される入力部と、入力部から入力された三次元データと、三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における病変部位を識別する識別部と、識別部による識別結果を出力する出力部とを含む。識別部は、推定モデルに含まれるニューラルネットワークに、三次元データのうち少なくとも三次元の位置情報を直接入力する。
【0008】
本開示に従えば、コンピュータによる口腔内の病変部位を識別する識別方法が提供される。識別方法は、口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、入力されるステップによって入力された三次元データと、三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における病変部位を識別するステップと、識別するステップによる識別結果を出力するステップとを含む。推定モデルに含まれるニューラルネットワークに、三次元データのうち少なくとも三次元の位置情報が直接入力される。
【0009】
本開示に従えば、口腔内の病変部位を識別する識別用プログラムが提供される。識別用プログラムは、コンピュータに、口腔内の表面形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データが入力されるステップと、入力されるステップによって入力された三次元データと、三次元データに基づき口腔内の病変部位を推定するためのニューラルネットワークを含む推定モデルとに基づき、口腔内の表面における病変部位を識別するステップと、識別するステップによる識別結果を出力するステップとを実行させる。推定モデルに含まれるニューラルネットワークに、三次元データのうち少なくとも三次元の位置情報が直接入力される。
【発明の効果】
【0010】
本開示によれば、口腔内の形状を構成する複数の点のそれぞれにおける三次元の位置情報を含む三次元データから、口腔内の病変部位を識別することができ、病変部位を識別するという新たな用途を提供できる。
【図面の簡単な説明】
【0011】
【図1】実施形態１にかかるスキャナシステム１０の全体構成を示す模式図である。
【図2】実施形態１にかかるスキャナシステム１０の適用例を示す模式図である。
【図3】実施形態１にかかるスキャナシステム１０を適用可能なシステムの全体構成を示す模式図である。
【図4】実施形態１にかかる識別装置１００のハードウェア構成を示す模式図である。
【図5】実施形態１にかかる識別装置１００の機能構成を示す模式図である。
【図6】実施形態１にかかる識別装置１００による識別処理を説明するための模式図である。
【図7】実施形態１にかかる学習用データの生成を説明するための模式図である。
【図8】実施形態１にかかる学習用データの一例を説明するための模式図である。
【図9】実施形態１にかかる識別装置１００が実行する病変用の学習処理の一例を説明するためのフローチャートである。
【図10】実施形態１にかかる識別装置１００が実行するサービス提供処理の一例を説明するためのフローチャートである。
【図11】測定中の出力例を示す図である。
【図12】測定中の出力例の変形例を示す図である。
【図13】実施形態２にかかるスキャナシステム１０ａの測定中に機能する機能構成を示す模式図である。
【図14】実施形態２にかかる識別装置１００ａの測定後にカルテを生成する際に機能する機能構成を示す模式図である。
【図15】病変部位の歯牙の種類を推定する方法を説明するための模式図である。
【図16】実施形態２にかかる学習用データセット１１６ａの一例を説明するための模式図である。
【図17】実施形態２にかかる学習用データセット１１６ａに基づく学習済モデル１１５ａの生成を説明するための模式図である。
【図18】実施形態２にかかる識別装置１００ａが実行する歯牙種用の学習処理の一例を説明するためのフローチャートである。
【図19】実施形態２にかかる識別装置１００ａが実行するサービス提供処理の一例を説明するためのフローチャートである。
【図20】実施形態２にかかる識別装置１００ａが実行するカルテ生成処理の一例を説明するためのフローチャートである。
【図21】実施形態３にかかるスキャナシステム１０ｂの測定中に機能する機能構成を示す模式図である。
【図22】測定後にカルテを生成する際に機能する識別装置１００ｂの機能構成を示す模式図である。
【図23】実施形態３にかかる学習用データセット１１６ｂに基づく学習済モデル１１５ｂの生成を説明するための模式図である。
【図24】実施形態３にかかる識別装置１００ｂが実行する加工種用の学習処理の一例を説明するためのフローチャートである。
【図25】実施形態３にかかる識別装置１００ｂが実行するサービス提供処理の一例を説明するためのフローチャートである。
【図26】実施形態３にかかる識別装置１００ｂが実行するカルテ生成処理の一例を説明するためのフローチャートである。
【図27】変形例にかかる学習用データセットの一例を説明するための模式図である。
【図28】変形例にかかる学習用データセットを説明するための図である。
【図29】変形例に係る識別装置１００ｃが実行するサービス提供処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
本開示の実施形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0013】
＜実施形態１＞
［スキャナシステム１０の概略］
図１～図３を参照しながら、実施形態１にかかるスキャナシステム１０の概略について説明する。図１は、実施形態１にかかるスキャナシステム１０の全体構成を示す模式図である。図２は、実施形態１にかかるスキャナシステム１０の適用例を示す模式図である。図３は、実施形態１にかかるスキャナシステム１０を適用可能なシステムの全体構成を示す模式図である。
［スキャナシステム１０の概略］
図１～図３を参照しながら、実施形態１にかかるスキャナシステム１０の概略について説明する。図１は、実施形態１にかかるスキャナシステム１０の全体構成を示す模式図である。図２は、実施形態１にかかるスキャナシステム１０の適用例を示す模式図である。図３は、実施形態１にかかるスキャナシステム１０を適用可能なシステムの全体構成を示す模式図である。
【0014】
図１を参照して、実施形態１にかかるスキャナシステム１０は、三次元スキャナ２００と、識別装置１００と、ディスプレイ３００とを備える。三次元スキャナ２００は、内蔵された三次元カメラによってスキャン対象の三次元データ１２２を取得する。具体的には、三次元スキャナ２００は、口腔内をスキャンすることで、三次元データ１２２として、口腔内の形状を構成する複数の点のそれぞれの位置情報（縦方向，横方向，高さ方向の各軸の座標）を、光学センサなどを用いて取得する。あるいは、三次元スキャナ２００は、口腔内の印象取得によって作成された模型に対してスキャンすることで、三次元データとして、スキャン対象部分を構成する複数の点のそれぞれの位置情報（たとえば、縦方向に沿ったＸ軸，横方向に沿ったＹ軸，高さ方向に沿ったＺ軸の座標）を、光学センサなどを用いて取得する。識別装置１００は、三次元スキャナ２００によって取得された三次元データ１２２に基づき、任意の視点からの歯牙などの像を含む二次元画像、またはホログラムなどによる立体的な歯牙などの画像を含む三次元画像を生成し、生成した三次元画像をディスプレイ３００に表示する。
【0015】
実施形態１にかかるスキャナシステム１０は、識別装置１００が有するＡＩ（人工知能：Artificial Intelligence）を利用して、三次元スキャナ２００によって取得された三次元データ１２２に基づき、病変部位を自動的に識別する処理を実行するように構成されている。「病変部位を識別する」とは、三次元データ１２２に対応する部位が病変部位であるか否かを識別すると共に、病変部位である場合は当該病変部位の病変内容を識別することを意味する。なお、以下では、識別装置１００による三次元データ１２２に対応する部位がどのような部位であるかを識別する処理を「識別処理」とも称する。
【0016】
なお、「病変部位」は、口腔内の異常がある部位であって、たとえば、う蝕された部位、歯周病の症状が見られる部位を含む。また、「病変部位」は、実際に病気であると診断を受ける部位だけに限らず、歯石がたまっている部位のように病気を引き起こしそうな部位を含み得る。
【0017】
図２を参照して、ユーザ１が三次元スキャナ２００を用いて対象者２の口腔内の生体部位をスキャンすると、三次元データ１２２が識別装置１００に入力される。識別装置１００は、入力された三次元データ１２２およびニューラルネットワークを含む推定モデルに基づき、入力された三次元データ１２２に対応する部位がどのような部位であるかを識別する識別処理を実行する。実施形態１においては、識別装置１００は、三次元データ１２２に対応する生体部位が病変部位であるか否かを識別すると共に、病変部位である場合は病変の種類（以下、「病変内容」ともいう）を識別する識別処理を実行する。
【0018】
「推定モデル」は、ニューラルネットワークと当該ニューラルネットワークによって用いられるパラメータとを含む。たとえば、「推定モデル」は、入力データである病変部位の三次元データと、当該三次元データに対応する病変部位の病変内容を示す正解データとを含む教師データを利用してパラメータが最適化される。また、教師データは、病変部位ではない健康な生体部位の三次元データと、当該三次元データが病変部位ではないことを示す正解データとを含み得る。
【0019】
なお、このような推定モデルを学習する処理を「学習処理」とも称する。また、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。
【0020】
図２を参照して、スキャナシステム１０を適用可能な場面について説明する。ユーザ１は、スキャナシステム１０を用いることで、対象者２が有する歯牙を含む三次元形状のデータ（以下、「三次元データ」とも称する）を取得できる。なお、「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、スキャナシステム１０を用いる者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、スキャナシステム１０の対象となる者であればいずれであってもよい。
【0021】
識別装置１００によって学習済モデルを用いて識別処理が実行されると、その識別結果が、ディスプレイ３００に出力される。
【0022】
ディスプレイ３００は、識別結果に対応する画像、文字、数字、アイコン、および記号の少なくともいずれか１つを表示する。
【0023】
識別装置１００は、三次元データ１２２および識別結果に基づいて、識別結果が反映された口腔内の三次元画像を生成してディスプレイ３００に出力する。たとえば、識別装置１００は、病変内容に応じた色で病変部位をディスプレイ３００に表示することで、識別結果を三次元画像に反映する。
【0024】
三次元スキャナ２００は、補綴物などをデジタル設計することに利用されてきた。識別装置１００は、三次元データから口腔内の病変内容を識別することで、三次元スキャナ２００に対して病変内容を識別するという新たな用途を提供できる。
【0025】
たとえば、口腔内の病変内容が識別され、その識別結果が出力されることで、ユーザ１は、スキャンをしながら判断した自身の診察結果と識別結果とを比較しながらカルテの入力を行うことができる。また、自身の診察結果と識別結果とが異なり、病変部位を再度確認する場合であっても、ユーザ１は、ディスプレイ３００に表示された識別結果を確認することで、口腔内における病変部位のおおよその位置を把握できる。その結果、対象者２が口を開いている時間を短くでき、対象者２の負担を軽減できる。
【0026】
また、スキャンした後にユーザ１が診療をする場合も、病変部位があるのか否かという診察を補助する情報を得られるため、ユーザ１の個人の能力による診察結果の差を減らすことができる。
【0027】
また、ユーザ１は、識別結果の反映された三次元画像をディスプレイ３００に表示させながら、対象者２に診察結果を説明できる。これにより、対象者２は、自身の歯の状態を客観的に確認できる。
【0028】
【0029】
たとえば、図３に示すように、スキャナシステム１０は、複数のローカルＡ～Ｃのそれぞれに配置されている。たとえば、ローカルＡおよびローカルＢは歯科医院であり、当該歯科医院の院内において、ユーザ１である術者や歯科助手は、スキャナシステム１０を利用して対象者２である患者の歯牙および歯肉を少なくとも含む口腔内の三次元データを取得する。また、ローカルＣは歯科大学であり、当該歯科大学において、ユーザ１である先生や生徒は、対象者２である被験者の口腔内の三次元データを取得する。ローカルＡ～Ｃのそれぞれで取得されたスキャン情報（三次元データ，識別結果）は、ネットワーク５を介して、ローカルＤである歯科技工所および管理センターに配置されたサーバ装置５００に出力される。
【0030】
なお、識別装置１００による識別結果と、ユーザ１による診察結果とが一致しない場合、ユーザ１は、カルテに入力するなどして、当該識別結果を修正する場合がある。このような場合に、ローカルＡ～Ｃの各々に配置されたスキャナシステム１０は、修正前の識別結果と、修正後の識別結果との両方をスキャン情報に含めてサーバ装置５００に出力してもよい。また、ローカルＡ～Ｃの各々に配置されたスキャナシステム１０は、修正前の識別結果を含めることなく、修正後の識別結果をスキャン情報に含めてサーバ装置５００に出力してもよい。
【0031】
歯科技工所においては、歯科技工士などが、ローカルＡ～Ｃのそれぞれから取得したスキャン情報に基づき、対象者２の歯牙の欠損部分を補う補綴物などを作成する。管理センターにおいては、サーバ装置５００が、ローカルＡ～Ｃのそれぞれから取得したスキャン情報を蓄積して記憶し、ビッグデータとして保持する。
【0032】
なお、サーバ装置５００は、歯科医院にローカルとは異なる管理センターに配置されるものに限らず、ローカル内に配置されてもよい。たとえば、ローカルＡ～Ｃのうちのいずれかのローカル内にサーバ装置５００が配置されてもよい。また、１つのローカル内に複数の識別装置１００が配置されてもよく、さらに、当該１つのローカル内に当該複数の識別装置１００と通信可能なサーバ装置５００が配置されてもよい。また、サーバ装置５００は、クラウドサービスの形態で実現されてもよい。
【0033】
歯科技工所においては、ローカルＡ～Ｃのように、様々な所からスキャン情報が集約される。このため、歯科技工所で保持されているスキャン情報は、ネットワーク５を介して管理センターに送信されてもよいし、あるいは、ＣＤ（Compact Disc）およびＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルディスク５５０を介して管理センターに送られてもよい。
【0034】
なお、ネットワーク５を介さずに、ローカルＡ～Ｃのそれぞれからも、リムーバブルディスク５５０を介してスキャン情報が管理センターに送られてもよい。また、ローカルＡ～Ｃのそれぞれの間においても、ネットワーク５またはリムーバブルディスク５５０を介してスキャン情報を互いに送り合ってもよい。
【0035】
各ローカルＡ～Ｃの識別装置１００は、各自で推定モデルを保持しており、識別処理時に各自が保持する推定モデルを使用して病変内容を識別する。各ローカルＡ～Ｃの識別装置１００は、各自の学習処理によって各自の推定モデルを学習することで、学習済モデルを生成する。さらに、本実施の形態においては、サーバ装置５００も推定モデルを保持している。サーバ装置５００は、各ローカルＡ～Ｃの識別装置１００および歯科技工所から取得したスキャン情報を用いた学習処理によって推定モデルを学習することで、学習済モデルを生成し、各ローカルＡ～Ｃの識別装置１００に当該学習済モデルを配布する。
【0036】
また、各ローカルＡ～Ｃの識別装置１００は、ユーザ１により識別結果が修正された場合、修正後の識別結果を正解データとして、各自の推定モデルについて再度学習してもよい。
【0037】
なお、本実施の形態においては、各ローカルＡ～Ｃの識別装置１００およびサーバ装置５００のいずれも学習処理を実行する形態であるが、各ローカルＡ～Ｃの識別装置１００のみが学習処理を実行する形態、あるいはサーバ装置５００のみが学習処理を実行する形態であってもよい。なお、サーバ装置５００のみが学習処理を実行する形態である場合、各ローカルＡ～Ｃの識別装置１００が保持する推定モデル（学習済モデル）は、各ローカルＡ～Ｃの識別装置１００で共通化される。
【0038】
また、サーバ装置５００が識別装置１００における識別処理の機能を有していてもよい。たとえば、各ローカルＡ～Ｃは、取得した三次元データをサーバ装置５００に送信し、サーバ装置５００は、各ローカルＡ～Ｃから受信したそれぞれの三次元データに基づき、それぞれにおける病変内容の識別結果を算出してもよい。そして、サーバ装置５００は、それぞれの識別結果を各ローカルＡ～Ｃに送信し、各ローカルＡ～Ｃは、サーバ装置５００から受信した推定結果をディスプレイなどに出力してもよい。このように、各ローカルＡ～Ｃとサーバ装置５００とがクラウドサービスの形態で構成されてもよい。このようにすれば、サーバ装置５００が推定モデル（学習済モデル）を保持してさえいれば、各ローカルＡ～Ｃは、推定モデル（学習済モデル）を保持することなく推定結果を得ることができる。
【0039】
このように、本実施の形態に係るスキャナシステム１０によれば、識別装置１００が有するＡＩを利用して、三次元スキャナ２００によって取得された三次元データに基づき病変内容が識別される。
【0040】
なお、以下では、各ローカルＡ～Ｃに配置されたスキャナシステム１０の識別装置１００について説明するものの、サーバ装置５００は、識別装置１００が実行可能な処理を同様に実行できるものとして、サーバ装置５００が実行する処理については説明を省略する。また、実施形態２および実施形態３についても同様に、サーバ装置５００は、識別装置１００ａ，識別装置１００ｂの各々が実行可能な処理を同様に実行できるものとする。
【0041】
［識別装置１００のハードウェア構成］
図４を参照しながら、実施形態１にかかる識別装置１００のハードウェア構成の一例を説明する。図４は、実施形態１にかかる識別装置１００のハードウェア構成を示す模式図である。識別装置１００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。
図４を参照しながら、実施形態１にかかる識別装置１００のハードウェア構成の一例を説明する。図４は、実施形態１にかかる識別装置１００のハードウェア構成を示す模式図である。識別装置１００は、たとえば、汎用コンピュータで実現されてもよいし、スキャナシステム１０専用のコンピュータで実現されてもよい。
【0042】
図４に示すように、識別装置１００は、主なハードウェア要素として、スキャナインターフェース１０２と、ディスプレイインターフェース１０３と、周辺機器インターフェース１０５と、メディア読取装置１０７と、ＰＣディスプレイ１０８と、メモリ１０９と、ストレージ１１０と、演算装置１３０とを備える。
【0043】
スキャナインターフェース１０２は、三次元スキャナ２００を接続するためのインターフェースであり、識別装置１００と三次元スキャナ２００との間のデータの入出力を実現する。
【0044】
ディスプレイインターフェース１０３は、ディスプレイ３００を接続するためのインターフェースであり、識別装置１００とディスプレイ３００との間のデータの入出力を実現する。ディスプレイ３００は、たとえば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬＤ（Electroluminescence）ディスプレイなどで構成される。
【0045】
周辺機器インターフェース１０５は、キーボード６０１およびマウス６０２などの周辺機器を接続するためのインターフェースであり、識別装置１００と周辺機器との間のデータの入出力を実現する。
【0046】
メディア読取装置１０７は、リムーバブルディスク５５０に格納されているスキャン情報などの各種データを読み出す。
【0047】
ＰＣディスプレイ１０８は、識別装置１００専用のディスプレイである。ＰＣディスプレイ１０８は、たとえば、ＬＣＤまたは有機ＥＬディスプレイなどで構成される。なお、実施形態１においては、ＰＣディスプレイ１０８は、ディスプレイ３００と別体であるが、ディスプレイ３００と共通化されてもよい。
【0048】
メモリ１０９は、演算装置１３０が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０９は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。
【0049】
ストレージ１１０は、識別処理および学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１１０は、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。
【0050】
ストレージ１１０は、スキャン情報１１２と、病変推定モデル１１４（学習済モデル１１５）と、学習用データセット１１６と、色分類データ１１８と、識別用プログラム１２０と、学習用プログラム１２１と、ＯＳ（Operating System）１２７とを格納する。
【0051】
スキャン情報１１２は、三次元スキャナ２００によって取得された三次元データ１２２と、当該三次元データ１２２に基づき実行された識別処理による病変内容を示す識別結果１２４とを含む。識別結果１２４は、識別処理に用いられた三次元データ１２２に関連付けられてストレージ１１０に格納される。学習用データセット１１６は、病変推定モデル１１４の学習処理に用いられる一群の学習用データである。色分類データ１１８は、学習用データセット１１６の生成および学習処理に用いられるデータである。識別用プログラム１２０は、識別処理を実行するためのプログラムである。学習用プログラム１２１は、病変推定モデル１１４の学習処理を実行するためのプログラムであり、その一部には識別処理を実行するためのプログラムも含まれる。
【0052】
演算装置１３０は、各種のプログラムを実行することで、識別処理および学習処理などの各種の処理を実行する演算主体であり、コンピュータの一例である。演算装置１３０は、たとえば、ＣＰＵ（Central Processing Unit）１３２、ＦＰＧＡ（Field-Programmable Gate Array）１３４、およびＧＰＵ（Graphics Processing Unit）１３６などで構成される。
【0053】
［識別装置１００による識別処理］
図５および図６を参照しながら、実施形態１にかかる識別装置１００による識別処理の一例を説明する。図５は、実施形態１にかかる識別装置１００の機能構成を示す模式図である。図６は、実施形態１にかかる識別装置１００による識別処理を説明するための模式図である。
図５および図６を参照しながら、実施形態１にかかる識別装置１００による識別処理の一例を説明する。図５は、実施形態１にかかる識別装置１００の機能構成を示す模式図である。図６は、実施形態１にかかる識別装置１００による識別処理を説明するための模式図である。
【0054】
図５に示すように、識別装置１００は、識別処理にかかる機能部として、入力部１１０２と、病変識別部１１３２と、出力部１１０３とを有する。これらの各機能は、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。
【0055】
入力部１１０２には、三次元スキャナ２００によって取得された三次元データが入力される。病変識別部１１３２は、入力部１１０２に入力された三次元データに基づき、病変推定モデル１１４（学習済モデル１１５）を用いて、入力された三次元データに対応する部位の病変内容を識別する識別処理を実行する。病変内容を識別する識別処理は、実質的には、三次元データに対応する部位が病変部位であるか否かを識別する処理と共に、病変部位である場合は当該病変部位がどのような病変であるかを識別する処理とを含む。
【0056】
病変推定モデル１１４は、第１ニューラルネットワーク（Neural Network：ＮＮＷ）１１４２と、当該第１ＮＮＷ１１４２によって用いられるパラメータ１１４４とを含む。パラメータ１１４４は、第１ＮＮＷ１１４２による計算に用いられる重み付け係数と、識別の判定に用いられる判定値とを含む。出力部１１０３は、病変識別部１１３２による識別結果を、ディスプレイ３００に出力する。
【0057】
ここで、図６に示すように、入力部１１０２に入力される三次元データには、口腔内の形状を構成する各点における三次元の位置情報と、口腔内の形状を構成する各点における色情報とが含まれる。実施形態１にかかる識別処理においては、位置情報が用いられる。位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標を含む。たとえば、位置情報は、口腔内の予め定められた位置を原点として、Ｘ軸、Ｙ軸、Ｚ軸の各軸における絶対位置の座標を含む。原点は、たとえば、測定開始時の所定の測定点を原点としてもよい。なお、位置情報は、予め定められた位置を基準とした三次元における絶対位置の座標に限らず、たとえば、隣接する点からの距離を示す三次元における相対位置の座標を含んでいてもよい。
【0058】
う蝕が進むことで形成された孔のように、病気が進行することで形状が大きく変化しているような場合、ユーザ１は、一見して病変部位を識別できる。しかし、初期のう歯、また、わずかに欠けている部位などは、一見しては分からないこともある。また、歯周病は、歯肉の腫れや垂れ下がりなどから診断される。そのため、歯周病の診断は、ユーザ１の知見によりばらつきが生じることもある。
【0059】
そこで、ＡＩを利用することで、診断のばらつきを減らすことができるとともに、一見しては分からない病変部位についても、病変部位の特徴を見出すことができる。
【0060】
また、ユーザ１は、う蝕の形状を三次元で確認できるため、口腔内を観察する場合に比べて、切削範囲の検討、治療方法の検討などを行いやすい。また、識別装置１００は、病変内容と病変部位とを識別することで、う蝕の形状を推定できる。そのため、識別装置１００は、う蝕の形状に基づいて切削範囲を自動で設定し、設定した切削範囲を表示した口腔内（歯牙）の三次元データ上に表してディスプレイ３００に表示することができる。また、識別装置１００は、病変内容と病変部位とを識別することで、治療方法を自動で提案できる。
【0061】
また、識別装置１００が歯石またはプラークなどを識別してディスプレイ３００に表示すると、ユーザ１は、対象者２に対して対象者２の歯の状態を三次元的に分かり易く説明することができ、歯の磨き方の指導などを容易に行うことができる。
【0062】
また、ユーザ１は、ディスプレイ３００に表示された口腔内の三次元画像を確認することで、歯肉と歯牙との隙間の距離を三次元的に認識できるため、歯周病の進行度合いを診断しやすい。また、歯周病の進行度合いは、識別装置１００によって、歯肉と歯牙との距離などに基づいて推定されてもよい。そして、識別装置１００は、推定した歯周病の進行度合いをディスプレイ３００に表示してもよい。
【0063】
また、歯周病の初期症状として、歯肉の腫れがある。歯肉の腫れは、ユーザ１が見逃し易い症状である。そこで、識別装置１００が歯肉の形状の特徴（腫れ）に基づいて歯周病の初期症状が現れている部位を識別することで、歯周病の早期発見が実現される。
【0064】
図５に示すように、病変推定モデル１１４は、第１ＮＮＷ１１４２を含む。第１ＮＮＷ１１４２においては、入力部１１０２に入力された三次元データに含まれる位置情報の値が入力層に入力される。そして、第１ＮＮＷ１１４２においては、たとえば、中間層によって、入力された位置情報の値に対して重み付け係数が乗算されたり所定のバイアスが加算されたりするとともに所定の関数による計算が行われ、その計算結果が判定値と比較される。そして、第１ＮＮＷ１１４２においては、その計算および判定の結果が識別結果として出力層から出力される。なお、第１ＮＮＷ１１４２による計算および判定については、三次元データに基づき三次元データに対応する部位の病変内容を識別できるものであれば、いずれの手法が用いられてもよい。
【0065】
病変推定モデル１１４の第１ＮＮＷ１１４２においては、中間層が多層構造になることで、ディープラーニングによる処理が行われる。実施形態１においては、３次元画像に特化した識別処理を行う識別用プログラム１２０として、たとえば、VoxNet、3DShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet、およびMarrNetなどが用いられるが、その他のプログラムが用いられてもよい。また、第１ＮＮＷ１１４２の仕組みには既存のものが適用されてもよい。
【0066】
このような構成において、識別装置１００は、複数の歯牙が含まれる三次元画像に対応する三次元データが入力されると、当該三次元データに基づいて、病変内容ごとの特徴を病変推定モデル１１４の第１ＮＮＷ１１４２を用いて抽出し、抽出した特徴に基づき、当該病変内容を識別できる。なお、識別装置１００は、第１ＮＮＷ１１４２を用いて病変部位の特徴に加えて、健常な生体部位の特徴を抽出し、抽出結果に基づいて病変部位であるか否かを識別してもよい。
【0067】
実施形態１においては、識別装置１００は、第１ＮＮＷ１１４２を用いて病変内容ごとの特徴を抽出し、抽出した特徴から病変内容を識別するものとする。
【0068】
［学習用データの生成］
図７および図８を参照しながら、学習用データの生成の一例を説明する。図７は、実施形態１にかかる学習用データの生成を説明するための模式図である。図８は、実施形態１にかかる学習用データの一例を説明するための模式図である。
図７および図８を参照しながら、学習用データの生成の一例を説明する。図７は、実施形態１にかかる学習用データの生成を説明するための模式図である。図８は、実施形態１にかかる学習用データの一例を説明するための模式図である。
【0069】
図７に示すように、まず、三次元スキャナ２００によって三次元データが取得される（ＳＴＥＰ１）。三次元スキャナ２００によって取得された三次元データには、当該三次元データに対応する口腔内の形状を構成する各点における三次元の位置情報と、各点における色情報（ＲＧＢ値）とが含まれる。三次元スキャナ２００によって取得された三次元データに基づき三次元画像が生成されると、図７（ａ）に示すように実際の色が付された歯牙を含む三次元画像が生成される。
【0070】
次に、後述する各歯牙の色分け処理の準備として、ノイズ除去処理が行われる。たとえば、実施形態１においては、三次元データに対応する３次元画像がグレースケール化される（ＳＴＥＰ２）。３次元画像のグレースケール化は、ユーザ１（この場合、学習用データを生成するメーカの技術者または製造工場の作業者など）によって行われる。三次元画像がグレースケール化されると、図７（ｂ）に示すようにグレースケール化された三次元画像が生成される。また、三次元画像のグレースケール化に応じて、三次元データに対応する各点における色情報（ＲＧＢ値）がグレースケールに対応する値に変更される。
【0071】
次に、三次元データに対応する三次元画像に含まれる各部位に対して予め定められた色が塗布されることで各部位が病変内容に応じた色で色分けされる（ＳＴＥＰ３）。塗布する色は、部位ごとに予め割り当てられている。割り当て内容は、色分類データ１１８としてストレージ１１０内に格納されている。また、図７に示す例では、病変のない部位に対して、いずれの病変内容に対しても割り当てられていない白色が塗布されたものとする。色分類データ１１８には、病変のない部位に対して割り当てられる色に関する情報が含まれていてもよい。
【0072】
各部位に対する色の塗布は、ユーザ１（特に、歯科医師、歯科技工士などの歯科の知識を有する者など）によって行われる。具体的には、ユーザ１は、自身の知見に基づき三次元画像に含まれる各部位に病変があるか否か、および病変がある場合は病変内容を識別し、識別した部位に対応する色を、色分類データ１１８を参照しながら特定し、特定した色を当該部位の画像に塗布する。
【0073】
たとえば、ユーザ１は、三次元画像に含まれる部位が健常な生体部位であると識別すると、当該部位の画像に白色を塗布する。また、三次元画像に含まれる部位が初期のう歯であると識別すると、当該部位の画像に色Ａを塗布する。また、三次元画像に含まれる部位が歯周病であると識別すると、当該部位（歯肉）の画像に色Ｃを塗布する。三次元画像に含まれる各歯牙および歯肉に対して色が塗布されると、図７（ｃ）および図８に示すように各部位に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では色Ａ、Ｃがハッチングで表されている。
【0074】
また、各部位の色分けに応じて、三次元データに対応する歯牙の各点における色情報（ＲＧＢ値）が塗布された色に対応する値に変更される。これにより、三次元データに対応する各点に対して、予め定められた色情報（ＲＧＢ値）が関連付けられる。
【0075】
各部位に対して予め定められた色情報が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、実施形態１にかかる学習用データにおいては、識別処理で参照される位置情報に対して、当該位置情報がいずれの部位に対応する位置情報であるかを示す色情報が関連付けられる（ラベリングされる）。このような学習用データを複数生成し、生成した複数の学習用データの集まりが学習用データセット１１６として、識別装置１００に保持される。
【0076】
なお、実施形態１においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各部位に色を塗布しているが、対象者２のカルテなどを確認しながらユーザ１が手作業で三次元画像に含まれる各部位に色を塗布してもよい。また、一部の作業をソフトウェアで補うことも可能である。
【0077】
また、実施形態１においては、ノイズ除去処理としてグレースケール化が行われたが、ノイズ除去処理は、行われなくともよく、また、グレースケール化とは別の処理によって実現されてもよい。
【0078】
なお、正解データである識別情報として色情報を各位置情報に対応付けたが、識別情報は、色情報に限られない。たとえば、色を塗布することで正解データを入力した上で、入力された正解データを色情報とは異なる別の識別情報に変換することで学習用データを作成してもよい。この場合、ＲＧＢ値よりもデータ量の低い情報を正解データとすることが好ましい。これにより、色を塗布するという直感的に分かりやすい作業でユーザ１に正解データを対応付けさせることができるとともに、学習用データのデータ量を減らすことができる。
【0079】
なお、図７および図８に示した正解データの生成方法は、一例である。たとえば、病変部位であると識別した部位だけに、病変内容に応じた色を塗布し、色が塗布されていない部位の三次元データは、正解データとして利用しないようにしてもよい。
【0080】
また、図８の色分類データ１１８に示した病変内容の分類は、一例である。たとえば、歯牙について、異常なし、初期のう歯、治療が必要なう歯の３つに分類する例を示したが、当該分類に対する、臨床現場で用いられる進行度を示すＣ０～Ｃ４という５段階の指標で分類してもよい。同様に、歯肉について、異常なし、歯周病ありの２つに分類する例を示したが、歯周病をさらに進行度を示す複数の段階に分類してもよい。具体的には、歯肉炎、軽度歯周炎、中度歯周炎、重度歯周炎に分類してもよい。
【0081】
［識別装置１００の学習処理］
図９を参照しながら、識別装置１００が実行する学習処理について説明する。図９は、実施形態１にかかる識別装置１００が実行する病変用の学習処理の一例を説明するためのフローチャートである。図９に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。
図９を参照しながら、識別装置１００が実行する学習処理について説明する。図９は、実施形態１にかかる識別装置１００が実行する病変用の学習処理の一例を説明するためのフローチャートである。図９に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および学習用プログラム１２１を実行することで実現される。
【0082】
図９に示すように、識別装置１００は、学習用データセット１１６の中から、学習に用いる学習用データを選択する（Ｓ１）。なお、識別装置１００は、学習用データセット１１６の中から、一の学習用データを選択しても、複数の学習用データを選択してもよい。また、識別装置１００は、学習用データを自動で選択するものに限らず、ユーザ１が選択した学習用データを学習処理に用いてもよい。
【0083】
識別装置１００は、選択した学習用データに含まれる三次元データの位置情報を病変推定モデル１１４に入力する（Ｓ２）。このとき、識別装置１００は、三次元データにラベリングされた正解データは入力しない。識別装置１００は、病変推定モデル１１４を用いて三次元データの特徴を抽出し、三次元データに対応する部位の病変内容を識別する識別処理を実行する（Ｓ３）。
【0084】
識別装置１００は、識別処理による識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、病変推定モデル１１４のパラメータ１１４４を更新する（Ｓ４）。
【0085】
たとえば、識別装置１００は、入力された位置情報に基づき識別した結果、当該入力された位置情報が示す部位に対応する色情報を推定する。識別装置１００は、学習用データに含まれる当該入力された位置情報が示す部位に対応する色情報（正解データ）と、自身が推定した色情報とを比較し、一致すれば病変推定モデル１１４のパラメータ１１４４を維持する一方で、不正解であれば両者が一致するように病変推定モデル１１４のパラメータ１１４４を更新する。
【0086】
次に、識別装置１００は、全ての学習用データに基づき学習したか否かを判定する（Ｓ５）。識別装置１００は、全ての学習用データに基づき学習していない場合（Ｓ５でＮＯ）、Ｓ１の処理に戻る。
【0087】
一方、識別装置１００は、全ての学習用データに基づき学習した場合（Ｓ５でＹＥＳ）、学習済みの病変推定モデル１１４を学習済モデル１１５として記憶し（Ｓ６）、本処理を終了する。
【0088】
このように、識別装置１００は、学習用データに含まれる三次元データに関連付けられた色情報を正解データとして、当該三次元データを用いた識別処理による識別結果に基づき、病変推定モデル１１４を学習することで、学習済モデル１１５を生成する。
【0089】
［識別装置１００のサービス提供処理］
図１０を参照しながら、識別装置１００が実行するサービス提供処理について説明する。図１０は、実施形態１にかかる識別装置１００が実行するサービス提供処理の一例を説明するためのフローチャートである。図１０に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。サービス提供処理が実行されることで、三次元スキャナ２００によって取得された三次元データに対する識別結果の関連付けがされる。
図１０を参照しながら、識別装置１００が実行するサービス提供処理について説明する。図１０は、実施形態１にかかる識別装置１００が実行するサービス提供処理の一例を説明するためのフローチャートである。図１０に示す各ステップは、識別装置１００の演算装置１３０がＯＳ１２７および識別用プログラム１２０を実行することで実現される。サービス提供処理が実行されることで、三次元スキャナ２００によって取得された三次元データに対する識別結果の関連付けがされる。
【0090】
図１０に示すように、識別装置１００は、所定の点に対応する三次元データが入力されたか否かを判定する（Ｓ１１）。たとえば、識別装置１００は、ストレージ１１０に識別結果と関連付けられてない三次元データが格納されている場合に、所定の点に対応する三次元データが入力されたと判定する。
【0091】
識別装置１００は、三次元スキャナ２００から三次元データが送られるとストレージ１１０に当該三次元データを格納していく。サービス提供処理は、任意の呼出サイクルで実行され、ストレージ１１０に格納されたすべての三次元データに対して識別結果の関連付けがされるまで繰り返し実行される。ストレージ１１０に格納されたすべての三次元データに対して識別結果の関連付けがされると、識別装置１００は、所定の点に対応する三次元データが入力されていないと判断して（Ｓ１１でＮＯ）、サービス提供処理を終了する。
【0092】
一方、識別装置１００は、所定の点に対応する三次元データが入力された場合（Ｓ１１でＹＥＳ）、三次元データ（位置情報）を学習済モデル１１５に入力し、当該学習済モデル１１５を用いて病変内容を識別する識別処理を実行する（Ｓ１２）。
【0093】
識別装置１００は、識別処理によって得られた識別結果を、Ｓ１１で入力された三次元データに関連付ける（Ｓ１３）。具体的には、識別装置１００は、三次元データに含まれる位置情報に対して、識別結果を示す色情報（色Ａ，Ｂ，Ｃ・・・、または白色を示す色情報）を関連付ける。これにより、入力された三次元データに対応する点に対して、当該点に対応する部位の状態（病変部位があるか否か、病変内容）を示す識別結果が関連付けられる。
【0094】
識別装置１００は、関連付けの結果を外部（たとえば、ディスプレイ３００）に出力する（Ｓ１４）。具体的には、入力された三次元データに対応する点に対する関連付けの結果がディスプレイ３００に表示される。その後、識別装置１００は、本処理を終了する。
【0095】
［測定中にディスプレイ３００に出力される表示の一例］
図１１および図１２を参照して、測定中にディスプレイ３００に出力される表示の一例を説明する。図１１は、測定中の出力例を示す図である。図１２は、測定中の出力例の変形例を示す図である。
図１１および図１２を参照して、測定中にディスプレイ３００に出力される表示の一例を説明する。図１１は、測定中の出力例を示す図である。図１２は、測定中の出力例の変形例を示す図である。
【0096】
識別装置１００は、サービス提供処理を実行して、所定の点に対応する三次元データが入力されたタイミングで、識別結果に基づく当該三次元データに対する関連付けを行う。ユーザ１は、三次元スキャナ２００を口腔内で徐々に動かしながら、順々にスキャンしていく。そのため、識別装置１００は、三次元スキャナ２００が動かされて新たな三次元データを取得すると、取得した各三次元データに対応する複数の点のそれぞれに識別結果を関連付ける。識別結果が関連付けた三次元データは、関連付けられた識別結果を示す態様でディスプレイ３００に出力される。
【0097】
たとえば、図１１（ａ）に示すように、病変のない歯牙をスキャンすると、スキャンして得られた各三次元データに対応する複数の点のそれぞれが、白色で表示される。なお、図１１（ａ）において、便宜上、白色で出力された点を、三角形で表している。
【0098】
その後、新たに初期のう歯がスキャンされると、図１１（ｂ）に示すように、スキャンして得られた各三次元データに対応する複数の点のうち、初期のう歯に対応する三次元データは、色Ａの点（図中の黒丸の点）で表示される一方、健常な生体部位に対応する三次元データは、白色の点（図中の三角形の点）で表される。なお、図１１には示していないものの、治療が必要なう歯、歯周病といった、他の病変内容の病変部位に対応する三次元データは、各々の病変内容に応じた色の点で表示される。
【0099】
なお、識別装置１００は、三次元データに対応する複数の点を、それぞれ、点でディスプレイ３００に表示するものとしたが、得られた三次元データをポリゴンメッシュを用いてディスプレイ３００に表示してもよい。ポリゴンメッシュとは、たとえば、三角形および四角形など、ポリゴンを画面上に配置することでオブジェクトを表示する手法である。
【0100】
具体的には、図１２に示すように、識別装置１００は、入力された三次元データに対応する複数の点を、ポリゴンに置き換えることで、当該複数の点に識別結果を関連付けた結果をディスプレイ３００に表示してもよい。
【0101】
このように、三次元データを取得したタイミングで、取得した三次元データに対する識別結果が順々にディスプレイ３００に表示されるため、ユーザ１は、入力されたタイミングで入力された三次元データに対応する部位の病変内容を確認できる。また、識別装置１００は、病変部位と、病変部位ではない生体部位とを別々の表示態様でディスプレイ３００に表示するため、病変部分と、健常な部分との境目を分かり易くユーザ１に示すことができる。
【0102】
なお、三次元スキャナ２００による口腔内のスキャンが開始した当初においては、得られた三次元データの数が少ないため、識別装置１００は、三次元データに基づいて識別結果を出すことができない。そのため、識別装置１００は、関連付けができていないこと、すなわち識別結果が出せていないことを示す態様で三次元データに対応する画像（点またはポリゴン）をディスプレイ３００に表示してもよい。そして、三次元スキャナ２００による口腔内のスキャンが進み、得られた三次元データの数が増えたタイミングで、再度、サービス提供処理を実行して、識別結果を出すことを試みるようにしてもよい。この場合、識別装置１００は、識別結果が出せた場合には、既に表示していた三次元データに対応する画像の表示態様を識別結果に応じた態様に切り替える。
【0103】
以上のように、実施形態１にかかる識別装置１００は、ＡＩを利用することで、人の目では識別し難い病変の特徴を見いだし、人による診断のばらつきを減らすことができる。
【0104】
＜実施形態２＞
図１３～図２０を参照して、実施形態２にかかる識別装置１００ａについて説明する。実施形態１において、ユーザ１は、識別結果を参照することでカルテを生成するものとした。実施形態２にかかる識別装置１００ａは、識別結果に従い、さらにカルテを自動的に生成してもよい。
図１３～図２０を参照して、実施形態２にかかる識別装置１００ａについて説明する。実施形態１において、ユーザ１は、識別結果を参照することでカルテを生成するものとした。実施形態２にかかる識別装置１００ａは、識別結果に従い、さらにカルテを自動的に生成してもよい。
【0105】
識別装置１００ａは、識別装置１００と比較して、病変内容を識別することに加えて、歯牙の種類の識別を行う。これにより、識別装置１００ａは、病変部位に対応する歯牙の種類を推定する。このように、識別装置１００ａは、病変部位に対応する歯牙の種類を推定することで、対象者２のカルテを生成できる。
【0106】
なお、「歯牙の種類」は、上顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、上顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎右側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯、下顎左側の中切歯、側切歯、犬歯、第１小臼歯、第２小臼歯、第１大臼歯、第２大臼歯、および第３大臼歯といったような各歯牙の種類を意味する。
【0107】
［測定中に機能する構成］
図１３は、実施形態２にかかるスキャナシステム１０ａの測定中に機能する機能構成を示す模式図である。図１３を参照して、スキャナシステム１０ａは、識別装置１００に替えて識別装置１００ａを備える点で実施形態１にかかるスキャナシステム１０と異なる。また、識別装置１００ａは、歯牙種識別部１１３４をさらに備え、さらに、三次元データに加えてプロファイルデータ１１９が識別処理に利用される点で、実施形態１にかかる識別装置１００と異なる。
図１３は、実施形態２にかかるスキャナシステム１０ａの測定中に機能する機能構成を示す模式図である。図１３を参照して、スキャナシステム１０ａは、識別装置１００に替えて識別装置１００ａを備える点で実施形態１にかかるスキャナシステム１０と異なる。また、識別装置１００ａは、歯牙種識別部１１３４をさらに備え、さらに、三次元データに加えてプロファイルデータ１１９が識別処理に利用される点で、実施形態１にかかる識別装置１００と異なる。
【0108】
プロファイルデータ１１９は、対象者２の年齢、性別、人種、身長、体重、および居住地といったプロファイルを示す情報である。なお、プロファイルデータ１１９は、必ずしも必要な情報ではなく、歯牙の種類を識別する際の精度を上げるために利用される情報である。また、プロファイルデータ１１９は、初診の際に対象者２から得られる情報であって、カルテの情報に含まれる。
【0109】
歯牙種識別部１１３４は、入力部１１０２に入力された三次元データと、プロファイルデータ１１９とに基づき、歯牙種推定モデル１１４ａ（学習済モデル１１５ａ）を用いて、歯牙の種類を識別する。歯牙種推定モデル１１４ａは、第２ＮＮＷ１１４２ａと、当該第２ＮＮＷ１１４２ａによって用いられるパラメータ１１４４ａとを含む。なお、第２ＮＮＷ１１４２ａおよびパラメータ１１４４ａは、上記実施形態１において説明した第１ＮＮＷ１１４２およびパラメータ１１４４と共通するため、説明を省略する。
【0110】
歯牙に病変がある場合に、歯牙に孔が空くほどう蝕が進んだ病変部位は、う蝕が進む前の歯牙とは形状の特徴などが異なる。そのため、病変部位をスキャンして得られた三次元データに基づいて歯牙種識別部１１３４が歯牙の種類を識別する識別処理をした場合、歯牙の種類を識別できないことがある。本実施の形態において、識別装置１００ａは、歯牙種識別部１１３４によって歯牙の種類が識別できなかった場合に、入力部１１０２に入力された三次元データに対応する部位が病変部位であるとして、病変識別部１１３２が病変内容を識別する識別処理を実行する。
【0111】
出力部１１０３は、歯牙種識別部１１３４および病変識別部１１３２の各々による識別結果をディスプレイ３００に出力する。
【0112】
また、識別装置１００ａが備えるストレージ１１０には、三次元データ１２２と、三次元データ１２２に対応する部位の歯牙の種類を示す識別結果１２４ａと、三次元データ１２２に対応する病変内容を示す識別結果１２４とが格納される。
【0113】
［測定後に機能する構成］
図１４および図１５を参照して、カルテの生成にかかる機能について説明する。図１４は、実施形態２にかかる識別装置１００ａの測定後にカルテを生成する際に機能する機能構成を示す模式図である。図１５は、病変部位の歯牙の種類を推定する方法を説明するための模式図である。
図１４および図１５を参照して、カルテの生成にかかる機能について説明する。図１４は、実施形態２にかかる識別装置１００ａの測定後にカルテを生成する際に機能する機能構成を示す模式図である。図１５は、病変部位の歯牙の種類を推定する方法を説明するための模式図である。
【0114】
図１４を参照して、測定後にカルテを生成する際の機能として、識別装置１００ａは、歯牙種推定部１１５２およびカルテ生成部１１５６を備える。
【0115】
歯牙種推定部１１５２は、病変部位に対応する歯牙の種類を推定する。「病変部位に対応する歯牙」とは、歯牙そのものに病変がある場合は当該歯牙のことを意味し、歯肉に病変がある場合は当該歯肉に設けられた（歯肉に隣接した）歯牙のことを意味する。歯牙種推定部１１５２は、歯牙に病変がある場合には、病変がある歯牙あるいは隣接する歯牙の種類から、当該病変がある歯牙の種類を推定する。また、歯牙種推定部１１５２は、歯肉に病変がある場合には、当該歯肉に隣接する歯牙（歯肉に設けられた歯牙）を病変部位に対応する歯牙とする。
【0116】
カルテ生成部１１５６は、歯牙種推定部１１５２が推定した病変部位に対応する歯牙の種類と、識別結果１２４が示す病変内容とに基づいて、カルテ１５０を生成する。
【0117】
カルテ１５０には、プロファイルデータ１１９から特定される対象者２の基本情報を示すプロファイル表示領域１５２と、病変部位に対応する歯牙の種類が示される歯牙種表示領域１５４と、表示されている歯牙の病変内容が示されるコメント表示領域１５６と、歯式が示される歯式表示領域１５８とを含む。なお、カルテ生成部１１５６は、歯式表示領域１５８に、歯式に変えて、または歯式とともに、三次元データに基づいて任意の視点からみた加工部位を含めた歯牙の像を含む二次元画像を表示してもよい。
【0118】
図１５を参照して、病変部位に対応する歯牙の種類を推定する方法を具体的に説明する。なお、図１５に示す例では、病変が歯牙にあるものとして説明する。まず、三次元スキャナ２００によって三次元データが取得される（ＳＴＥＰ１）。次に、識別装置１００ａは、歯牙種識別部１１３４による識別処理によって歯牙の種類を識別する（ＳＴＥＰ２）。たとえば、図１５のＳＴＥＰ２に示す例では、識別装置１００ａは、下顎右側および上顎右側に位置する各歯牙の種類を識別している。具体的には、識別装置１００ａは、識別処理によって、下顎右側については第二大臼歯、第一大臼歯、第二小臼歯、および第一小臼歯を、上顎右側については第二大臼歯、第二小臼歯、および第一小臼歯を、それぞれ特定する。
【0119】
ここで、口腔内に孔が空く程う蝕の進んだ歯牙がある場合、識別装置１００ａの病変識別部１１３２は識別処理によって、う蝕の進んだ歯牙（病変部位に対応する歯牙）の種類を識別することができないことがある。しかし、歯牙種識別部１１３４は、病変部位に対応する歯牙に隣り合う隣接歯牙および、病変部位に対応する歯牙に対向する対向歯牙については、識別処理によってその種類を推定できる。歯牙種推定部１１５２は、隣接歯牙および対向歯牙の種類に基づいて、病変部位に対応する歯牙の種類を推定する（ＳＴＥＰ３）。
【0120】
たとえば、図１５のＳＴＥＰ３に示す例では、歯牙種識別部１１３４は、上顎右側において第二大臼歯と第二小臼歯との間の病変部位に対応する歯牙の種類について識別できない。しかし、歯牙種識別部１１３４は、上顎右側において第二大臼歯および第二小臼歯を少なくとも識別している。そのため、歯牙種推定部１１５２は、それらの間の歯牙が上顎右側の第一大臼歯であると推定できる。あるいは、歯牙種識別部１１３４は、病変部位に対応する歯牙に対向する下顎右側の第一大臼歯を少なくとも識別している。そのため、歯牙種推定部１１５２は、下顎右側の第一大臼歯に対向する歯牙が上顎右側の第一大臼歯であると推定できる。
【0121】
なお、上述したように、歯肉に病変がある場合には、歯牙種推定部１１５２は、歯肉に隣接した歯牙の種類を、病変部位に対応する歯牙の種類として推定する。
【0122】
［歯牙種推定モデル１１４ａ（学習済モデル１１５ａ）の生成］
図１６～図１８を参照して、学習済モデル１１５ａを生成するための学習処理について説明する。図１６は、実施形態２にかかる学習用データセット１１６ａの一例を説明するための模式図である。図１７は、実施形態２にかかる学習用データセット１１６ａに基づく学習済モデル１１５ａの生成を説明するための模式図である。図１８は、実施形態２にかかる識別装置１００ａが実行する歯牙種用の学習処理の一例を説明するためのフローチャートである。なお、病変推定モデル１１４の学習済モデル１１５を生成するための学習処理は、実施形態１において説明した学習済モデル１１５を生成するための学習処理（図９参照）と共通するため、説明を省略する。
図１６～図１８を参照して、学習済モデル１１５ａを生成するための学習処理について説明する。図１６は、実施形態２にかかる学習用データセット１１６ａの一例を説明するための模式図である。図１７は、実施形態２にかかる学習用データセット１１６ａに基づく学習済モデル１１５ａの生成を説明するための模式図である。図１８は、実施形態２にかかる識別装置１００ａが実行する歯牙種用の学習処理の一例を説明するためのフローチャートである。なお、病変推定モデル１１４の学習済モデル１１５を生成するための学習処理は、実施形態１において説明した学習済モデル１１５を生成するための学習処理（図９参照）と共通するため、説明を省略する。
【0123】
歯牙の種類を識別するために学習用データを生成する際に、ユーザ１（特に、歯科医師、歯科技工士などの歯科の知識を有する者など）は、三次元画像を確認しながら歯牙の種類を識別し、識別した歯牙の種類に応じた色を三次元画像に塗布することで、位置情報と識別情報とを対応付ける。なお、塗布する色は、歯牙の種類ごとに予め割り当てられている。割り当て内容は、色分類データ１１８ａとしてストレージ１１０内に格納されている。
【0124】
たとえば、ユーザ１は、三次元画像に含まれる歯牙が第二大臼歯であると識別すると、当該歯牙の画像に赤色を塗布する。また、三次元画像に含まれる歯牙が第一大臼歯であると識別すると、当該歯牙の画像に緑色を塗布する。三次元画像に含まれる各歯牙に対して予め定められた色が塗布されると、図１６に示すように各歯牙に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では各色がハッチングで表されている。
【0125】
各歯牙に対して予め定められた色情報（識別情報）が関連付けられると、三次元データには、位置情報と、塗布された色に対応する色情報（識別情報）とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、実施形態２にかかる歯牙種推定モデル１１４ａの学習用データにおいては、識別処理で参照される位置情報に対して、歯牙の種類に対応する色情報が関連付けられる（ラベリングされる）。さらに、三次元データに対応する複数の歯牙のそれぞれの範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、各歯牙に対応する位置情報ごとに、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット１１６ａとして、識別装置１００ａに保持される。
【0126】
なお、実施形態２においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各歯牙に色を塗布しているが、一部の作業をソフトウェアで補うことも可能である。たとえば、ラベリング対象である歯牙と当該歯牙に隣接する歯牙との間の境界、およびラベリング対象である歯牙と歯肉との間の境界を、エッジ検出によって特定してもよく、このようにすれば、ラベリング対象である歯牙のみを抽出できる。
【0127】
図１７に示すように、学習用データセット１１６ａは、当該学習用データセット１１６ａを生成する際にスキャン対象となった対象者２のプロファイルに基づきカテゴリごとに分類できる。たとえば、年齢（未成年者，現役世代，高齢者）、性別（男性，女性）、人種（アジア人，欧米人，アフリカ系）、身長（１５０ｃｍ未満，１５０以上）、体重（５０ｋｇ未満，５０ｋｇ以上）、および居住地（日本在住，日本以外に在住）のそれぞれに対して、該当する対象者２の歯牙を含む三次元データから生成された学習用データセットを割り当てることができる。なお、各カテゴリの層別は、適宜設定可能である。たとえば、年齢に関しては、所定の年齢差ごと（この場合は３歳ごと）、具体的には、０歳～３歳、４歳～６歳、７歳～９歳、…といったように、より詳細に層別できる。
【0128】
識別装置１００ａは、カテゴリごとに分類できる複数の学習用データセット１１６ａを用いて歯牙種推定モデル１１４ａを学習させることで、学習済モデル１１５ａを生成する。なお、学習用データは、カテゴリの分類の仕方によっては重複することがあるが、学習用データが重複する場合には、いずれかの学習用データのみを用いて歯牙種推定モデル１１４ａを学習させればよい。
【0129】
一般的に歯牙の形状は、年齢、性別、人種、身長、体重、および居住地など、遺伝または生活環境などに依存してその特徴が異なる。たとえば、一般的に、大人の永久歯は、子供の乳歯よりも大きく、両者でその形状が異なる。また、一般的に、男性の歯牙は、女性の歯牙よりも大きく、両者でその形状が異なる。また、一般的に、欧米人の歯牙は、硬い肉やパンを噛み切り易いように先端が尖る傾向があるのに対して、日本人の歯牙は、柔らかい米や野菜をすり潰し易いように先端が滑らかになる傾向がある。このため、実施形態２のように、プロファイルデータに基づき学習処理を実行すれば、遺伝または生活環境などを考慮して歯牙の種類を識別できる学習済モデルを生成できる。
【0130】
図１８に示すように、識別装置１００ａは、学習済モデル１１５ａを生成するために歯牙種用の学習処理を実行する。歯牙種用の学習処理は、利用する推定モデルが歯牙種推定モデル１１４ａである点、および、歯牙種推定モデル１１４ａに入力する情報が三次元データの位置情報に加えて、学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを入力する（Ｓ２ａ）点で、実施形態１にかかる識別装置１００が実行する病変用の学習処理（図９参照）と異なる。
【0131】
具体的に、識別装置１００ａは、学習用データセット１１６ａの中から、学習に用いる学習用データを選択する（Ｓ１ａ）。識別装置１００ａは、選択した学習用データに含まれる三次元データの位置情報、および当該学習用データを生成する際にスキャン対象となった対象者２のプロファイルデータを歯牙種推定モデル１１４ａに入力する（Ｓ２ａ）。識別装置１００は、三次元データに対応する歯牙の特徴に基づき、歯牙種推定モデル１１４ａを用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ３ａ）。識別処理において、識別装置１００は、三次元データに加えてプロファイルデータに基づき、歯牙種推定モデル１１４ａを用いて当該歯牙の種類を識別する。
【0132】
識別装置１００ａは、識別処理によって識別した歯牙の種類の識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、歯牙種推定モデル１１４ａのパラメータ１１４４ａを更新する（Ｓ４ａ）。
【0133】
次に、識別装置１００ａは、全ての学習用データに基づき学習したか否かを判定する（Ｓ５ａ）。識別装置１００ａは、全ての学習用データに基づき学習していない場合（Ｓ５ａでＮＯ）、Ｓ１ａの処理に戻る。
【0134】
一方、識別装置１００ａは、全ての学習用データに基づき学習した場合（Ｓ５ａでＹＥＳ）、学習済みの歯牙種推定モデル１１４ａを学習済モデル１１５ａとして記憶し（Ｓ６ａ）、本処理を終了する。
【0135】
このように、識別装置１００ａは、学習用データに含まれる三次元データに関連付けられた歯牙の種類に対応する識別情報（たとえば、色情報）を正解データとして、識別処理による当該三次元データを用いた当該歯牙の種類の識別結果に基づき、歯牙種推定モデル１１４ａを学習することで、学習済モデル１１５ａを生成できる。
【0136】
さらに、識別装置１００ａは、学習処理において、学習用データに加えてプロファイルデータを考慮して歯牙種推定モデル１１４ａを学習するため、対象者２のプロファイルを考慮した学習済モデル１１５ａを生成できる。
【0137】
なお、正解データである識別情報として色情報を各位置情報に対応付けたが、識別情報は、歯牙の名称または歯牙の番号など、色情報とは異なる情報であってもよい。
【0138】
［サービス提供処理］
図１９は、実施形態２にかかる識別装置１００ａが実行するサービス提供処理の一例を説明するためのフローチャートである。実施形態２にかかる識別装置１００ａが実行するサービス提供処理は、Ｓ１２に代わりＳ１２１～Ｓ１２６が実行される点で、図１０に示した実施形態１にかかる識別装置１００が実行するサービス提供処理と異なる。以下、識別装置１００が実行するサービス提供処理と異なる点を中心に説明する。
図１９は、実施形態２にかかる識別装置１００ａが実行するサービス提供処理の一例を説明するためのフローチャートである。実施形態２にかかる識別装置１００ａが実行するサービス提供処理は、Ｓ１２に代わりＳ１２１～Ｓ１２６が実行される点で、図１０に示した実施形態１にかかる識別装置１００が実行するサービス提供処理と異なる。以下、識別装置１００が実行するサービス提供処理と異なる点を中心に説明する。
【0139】
識別装置１００ａは、所定の点に対応する三次元データが入力された場合（Ｓ１１でＹＥＳ）、プロファイルデータがあるか否かを判定する（Ｓ１２１）。識別装置１００ａは、プロファイルデータがない場合（Ｓ１２１でＮＯ）、三次元データ（位置情報）を学習済みの歯牙種推定モデル１１４ａ（学習済モデル１１５ａ）に入力する（Ｓ１２３）。一方、識別装置１００ａは、プロファイルデータがある場合（Ｓ１２１でＹＥＳ）、三次元データ（位置情報）およびプロファイルデータを学習済みの歯牙種推定モデル１１４ａ（学習済モデル１１５ａ）に入力する（Ｓ１２２）。
【0140】
Ｓ１２２およびＳ１２３のあと、識別装置１００ａは、三次元データに対応する歯牙の特徴に基づき、学習済の歯牙種推定モデル１１４ａ（学習済モデル１１５ａ）を用いて当該歯牙の種類を識別する識別処理を実行する（Ｓ１２４）。このとき、Ｓ１２２でプロファイルデータが学習済モデル１１５ａに入力されていた場合、識別装置１００ａは、三次元データに加えてプロファイルデータに基づき、学習済モデル１１５ａを用いて当該歯牙の種類を識別する。
【0141】
識別装置１００ａは、歯牙の種類を識別できたか否かを判定する（Ｓ１２５）。識別できたか否かは、たとえば、パラメータ１１４４ａに含まれる判定値と計算結果との比較に基づいて判断される。
【0142】
識別装置１００ａは、歯牙の種類を識別できた場合（Ｓ１２５においてＹＥＳ）、Ｓ１３以降の処理を実行する。一方、識別装置１００ａは、歯牙の種類を識別できなかった場合（Ｓ１２５においてＮＯ）、Ｓ１２６の処理を実行してからＳ１３以降の処理を実行する。
【0143】
歯牙の種類を識別できなかった場合（Ｓ１２５においてＮＯ）、識別装置１００ａは、三次元データを学習済の病変推定モデル１１４（学習済モデル１１５）に入力し、当該学習済モデル１１５を用いて病変内容を識別する識別処理を実行する（Ｓ１２６）。
【0144】
Ｓ１２５およびＳ１２６のあと、識別装置１００ａは、識別結果を、Ｓ１１で入力された三次元データに関連付ける（Ｓ１３）。たとえば、識別装置１００ａは、歯牙の種類が識別できた場合、三次元データに含まれる位置情報に対して、識別結果１２４ａ（歯牙の種類を示す識別結果）を示す色情報（赤色、緑色などを示す色情報）を関連付ける。一方、歯牙の種類を識別できず、病変内容を識別できた場合、識別装置１００ａは、三次元データに含まれる位置情報に対して、識別結果１２４（病変内容を示す識別結果）を示す色情報（色Ａ，色Ｂなどを示す色情報）を関連付ける。
【0145】
識別装置１００ａは、関連付けの結果を外部（たとえば、ディスプレイ３００）に出力する（Ｓ１４）。具体的には、入力された三次元データに対応する点に対して、当該点に対応する部位に対する関連付けの結果がディスプレイ３００に表示される。その後、識別装置１００ａは、本処理を終了する。たとえば、図１１および図１２に示した測定中の出力例のように、三次元データを取得したタイミングで、取得した三次元データに対する識別結果が順々にディスプレイ３００に表示される。
【0146】
以上のように、実施形態２において、識別装置１００ａは、歯牙種識別部１１３４が歯牙の種類を識別できなかった場合に、病変識別部１１３２による病変内容を識別する処理を実行し、歯牙種識別部１１３４が歯牙の種類を識別できた場合には、病変識別部１１３２による病変内容を識別する処理を実行しない。
【0147】
図１９に示したサービス提供処理において、識別装置１００ａは、歯牙の種類を識別できなかった場合に、Ｓ１２６において、病変部位ではないと識別した場合には、Ｓ１３において、識別できなかったことを示す情報を三次元データに対応付けるようにしてもよい。
【0148】
［カルテ生成処理］
図２０は、実施形態２にかかる識別装置１００ａが実行するカルテ生成処理の一例を説明するためのフローチャートである。カルテ生成処理は、三次元スキャナ２００による三次元データの取得が完了した後であって、当該三次元データに対する識別処理（サービス提供処理）が完了したときに行われる。
図２０は、実施形態２にかかる識別装置１００ａが実行するカルテ生成処理の一例を説明するためのフローチャートである。カルテ生成処理は、三次元スキャナ２００による三次元データの取得が完了した後であって、当該三次元データに対する識別処理（サービス提供処理）が完了したときに行われる。
【0149】
カルテ生成処理において、識別装置１００ａは、病変部位に対応する歯牙種を推定し、推定した歯牙種に対応付けて病変内容をカルテとして出力する。
【0150】
図２０を参照して、識別装置１００ａは、歯牙種の推定がされていない病変部位があるか否かを判定する（Ｓ２１）。歯牙種の推定がされていない病変部位がないと判定した場合（Ｓ２１においてＮＯ）、すなわち、すべての病変部位に対して、当該病変部位に対応する歯牙種の推定がされたと判定した場合、識別装置１００ａは、Ｓ２５の処理を実行して、カルテ生成処理を終了する。
【0151】
歯牙種の推定がされていない病変部位があると判定した場合（Ｓ２１においてＹＥＳ）、識別装置１００ａは、病変部位の三次元データに基づき、当該病変部位に隣接する歯牙の種類を識別結果１２４ａ（歯牙の種類を示す識別結果）から取得する（Ｓ２２）。
【0152】
識別装置１００ａは、取得した歯牙の種類から、病変部位に対応する歯牙の種類を推定する（Ｓ２３）。このとき、上述したように、識別装置１００ａは、病変部位が歯肉であるか、歯牙であるかに応じて、病変部位に対応する歯牙の種類を推定する方法を異ならせる。識別装置１００ａは、当該病変部位の病変内容を識別結果１２４（病変内容を示す識別結果）から取得し、取得した病変内容と推定した歯牙の種類とを対応付けてカルテに反映する（Ｓ２４）。識別装置１００ａは、カルテに反映したのち、Ｓ２１の処理を実行し、すべての病変部位に対して歯牙の種類を推定するまでＳ２２～Ｓ２４を繰り返したのち、カルテを出力する（Ｓ２５）。たとえば、識別装置１００ａは、図１４に示したカルテ１５０をディスプレイ３００に表示したり、あるいは、カルテ１５０を印刷したりする。
【0153】
以上のように、実施形態２においては、病変内容が識別され、さらに病変部位に対応する歯牙の種類が推定される。そして、識別された病変内容と、推定された歯牙の種類とが対応付けて出力されることで、カルテが自動的に生成される。
【0154】
＜実施形態３＞
図２１～図２６を参照して、実施形態３にかかる識別装置１００ｂについて説明する。識別装置１００ｂは、歯牙種の識別および病変部位の識別に加えて、加工部位の識別を行う。なお、「加工部位を識別する」とは、三次元データ１２２に対応する部位が加工部位であるか否かを識別すると共に、加工部位である場合に当該加工部位の種類を識別することを意味する。
図２１～図２６を参照して、実施形態３にかかる識別装置１００ｂについて説明する。識別装置１００ｂは、歯牙種の識別および病変部位の識別に加えて、加工部位の識別を行う。なお、「加工部位を識別する」とは、三次元データ１２２に対応する部位が加工部位であるか否かを識別すると共に、加工部位である場合に当該加工部位の種類を識別することを意味する。
【0155】
なお、「加工部位」は、口腔内の生体部位に対して治療を施すために加工された部位を意味する。また、「口腔内の生体部位」には、歯牙だけに限られず、歯肉部分を含み得る。加工部位には、歯牙に対して補綴物または人工歯を取り付けた部位に限られず、顎骨に対してインプラント体を取り付けた部位を含み得る。また、加工部位には、インプラント体、または補綴物といった人工的に生成した物が取り付けられた部位に限らず、支台歯や窩洞形成歯のように天然歯を削った部位を含み得る。
【0156】
［測定中に機能する構成］
図２１は、実施形態３にかかるスキャナシステム１０ｂの測定中に機能する機能構成を示す模式図である。図２１を参照して、スキャナシステム１０ｂは、識別装置１００ａに替えて識別装置１００ｂを備える点で実施形態２にかかるスキャナシステム１０ａと異なる。また、識別装置１００ｂは、加工種識別部１１３６をさらに備える点で、実施形態２にかかる識別装置１００ａと異なる。加工種識別部１１３６は、入力部１１０２に入力された、三次元データに基づき、加工種推定モデル１１４ｂ（学習済モデル１１５ｂ）を用いて、加工部位の種類を識別する。
図２１は、実施形態３にかかるスキャナシステム１０ｂの測定中に機能する機能構成を示す模式図である。図２１を参照して、スキャナシステム１０ｂは、識別装置１００ａに替えて識別装置１００ｂを備える点で実施形態２にかかるスキャナシステム１０ａと異なる。また、識別装置１００ｂは、加工種識別部１１３６をさらに備える点で、実施形態２にかかる識別装置１００ａと異なる。加工種識別部１１３６は、入力部１１０２に入力された、三次元データに基づき、加工種推定モデル１１４ｂ（学習済モデル１１５ｂ）を用いて、加工部位の種類を識別する。
【0157】
加工種推定モデル１１４ｂは、第３ＮＮＷ１１４２ｂと、当該第３ＮＮＷ１１４２ｂによって用いられるパラメータ１１４４ｂとを含む。加工種推定モデル１１４ｂは、入力データである加工部位の三次元データと、当該三次元データに対応する加工部位の種類を示す正解データとを含む教師データを利用してパラメータが最適化される。
【0158】
ここで、表１に、加工部位の種類を示す。表１に示すように、加工部位の種類は、大分類として、たとえば、「インプラント」、「窩洞形成歯」、「支台歯」、および「補綴物」などを含む。「インプラント」は、歯根部分に相当する「インプラント体」および支台部分に相当する「アバットメント」などに分類され得る。また、「インプラント体」および「アバットメント」は、どのような補綴物が取り付けられるかによって、分類され得る。「支台歯」および「窩洞形成歯」は、さらに、どのような補綴物が取り付けられるかによって、分類され得る。「補綴物」は、さらに、インレー、アンレー、クラウン、ブリッジ、ベニア、デンチャーなどに分類され得る。
【0159】
【表1】
【0160】
すなわち、「加工部位」は、任意に細分化することができ、「支台歯」、「窩洞形成歯」、「補綴物」、および「インプラント」というように分類してもよく、また、「支台歯」、「窩洞形成歯」、「補綴物」、および「インプラント」の各々をさらに細分化して分類してもよい。すなわち、加工部位の分類方法は、任意に設計可能である。
【0161】
加工部位の分類方法は、任意に設計可能である。そのため、教師データに含まれる加工部位の種類を示す情報は、特定の分類方法によって分類された種類に加えて、さらに別の分類方法によって分類された場合の種類を含んでいてもよい。たとえば、加工部位の種類を示す情報は、「支台歯」と、「インレー適用の支台歯」とを含んでいてもよい。
【0162】
また、加工部位は、治療中の加工部位と、治療が完了している加工部位とに大別することもできる。そこで、正解データは、加工部位の種類を示す情報に加えて、「治療中」であるのか「治療済み」であるのかを特定可能な情報を含んでいてもよい。
【0163】
また、加工部位の種類によって、歯牙に施されている治療内容が異なる。そこで、正解データは、加工部位の種類を示す情報に加えて、「治療内容」を示す情報を含んでいても良い。
【0164】
また、教師データは、加工部位ではない生体部位（たとえば、天然歯、歯肉）の三次元データと、当該三次元データが加工部位ではないことを示す正解データとを含み得る。
【0165】
出力部１１０３は、病変識別部１１３２、歯牙種識別部１１３４、および加工種識別部１１３６の各々による識別結果をディスプレイ３００に出力する。
【0166】
また、識別装置１００ｂが備えるストレージ１１０には、三次元データ１２２と、三次元データ１２２に対応する部位の歯牙の種類を示す識別結果１２４ａと、三次元データ１２２に対応する部位の病変内容を示す識別結果１２４と、三次元データ１２２に対応する加工部位の種類を示す識別結果１２４ｂとが格納される。
【0167】
【0168】
図２２を参照して、測定後にカルテを生成する際の機能として、識別装置１００ｂは、治療推定部１１５４をさらに備える点で実施形態２にかかる識別装置１００ａと異なる。
【0169】
なお、歯牙種推定部１１５２は、病変部位に対応する歯牙の種類に加えて、加工部位に対応する歯牙の種類を推定する。歯牙種推定部１１５２は、病変部位または加工部位に対応する歯牙あるいは隣接する歯牙の種類から、当該病変部位または当該加工部位に対応する歯牙の種類を推定する。「加工部位に対応する歯牙」とは、補綴物が取り付けられた歯牙に限らず、天然歯の代わりに人工歯が取り付けられている場合には元の天然歯の歯牙を意味する。また、「加工部位に対応する歯牙」とは、インプラントが取り付けられている場合には当該インプラントを取り付ける前に存在していた歯牙を意味する。
【0170】
治療推定部１１５４は、加工部位の種類を示す識別結果１２４ｂに基づいて、当該加工部位に施された治療内容を推定する。
【0171】
加工種識別部１１３６は、三次元データに対応する部位の加工部位の種類を識別する。生体部位に対する加工は、治療のために行われる。そのため、加工部位の種類と、治療内容とは対応関係にある。加工部位の種類と治療内容との関係を表２に示す。
【0172】
【表2】
【0173】
表２を参照して、「加工部位」は、治療途中の加工部位と、治療済の加工部位とに分類できる。たとえば、「インプラント」、「窩洞形成歯」および「支台歯」は、治療中の加工部位であり、「補綴物」は、治療済の加工部位である。加工部位の種類と治療内容の種類とは互いに対応しているため、治療推定部１１５４は、加工部位の種類を示す識別結果１２４ｂに基づいて対象者２に対して行われた治療内容を推定できる。また、加工部位は、治療途中の加工部位と治療済の加工部位とに分類される。そのため、治療推定部１１５４は、加工部位の種類を示す識別結果１２４ｂに基づいて治療の途中であるのか、あるいは治療が完了しているのかを推定できる。
【0174】
治療推定部１１５４は、表２に示すようなテーブルを参照して治療内容を推定してもよく、また、加工部位の種類を示す識別結果１２４ｂを入力値としてディープラーニングを行うことで識別結果１２４ｂに対応する治療内容を推定してもよい。治療内容の推定をディープラーニングで行う場合、治療推定部１１５４は、加工部位の種類に対して正解データとして治療内容を対応付けた教師データを利用してパラメータを最適化させたニューラルネットワークを利用して治療内容を推定する。
【0175】
カルテ生成部１１５６は、歯牙種推定部１１５２が推定した病変部位に対応する歯牙の種類および識別結果１２４が示す病変内容、ならびに歯牙種推定部１１５２が推定した加工部位に対応する歯牙の種類および治療推定部１１５４が推定した当該加工部位に施された治療内容に基づいて、カルテ１５０を生成する。
【0176】
カルテ１５０には、プロファイルデータ１１９から特定される対象者２のプロファイルを示すプロファイル表示領域１５２と、加工部位または病変部位に対応する歯牙の種類が示される歯牙種表示領域１５４と、表示されている歯牙の病変内容または表示されている歯牙に施された治療内容が示されるコメント表示領域１５６と、歯式が示される歯式表示領域１５８とを含む。
【0177】
なお、加工部位に対応する歯牙の種類を推定する方法は、上記実施形態２において説明した病変部位に対応する歯牙の種類を推定する方法と共通するため、説明を省略する。
【0178】
［加工種推定モデル１１４ｂ（学習済モデル１１５ｂ）の生成］
図２３および図２４を参照して、学習済モデル１１５ｂを生成するための学習処理について説明する。図２３は、実施形態３にかかる学習用データセット１１６ｂに基づく学習済モデル１１５ｂの生成を説明するための模式図である。図２４は、実施形態３にかかる識別装置１００ｂが実行する加工種用の学習処理の一例を説明するためのフローチャートである。なお、歯牙種推定モデル１１４ａの学習済モデル１１５ａ、および病変推定モデル１１４の学習済モデル１１５を生成するための学習処理は、上記実施形態において説明した学習処理と共通するための、説明を省略する。
図２３および図２４を参照して、学習済モデル１１５ｂを生成するための学習処理について説明する。図２３は、実施形態３にかかる学習用データセット１１６ｂに基づく学習済モデル１１５ｂの生成を説明するための模式図である。図２４は、実施形態３にかかる識別装置１００ｂが実行する加工種用の学習処理の一例を説明するためのフローチャートである。なお、歯牙種推定モデル１１４ａの学習済モデル１１５ａ、および病変推定モデル１１４の学習済モデル１１５を生成するための学習処理は、上記実施形態において説明した学習処理と共通するための、説明を省略する。
【0179】
図２３を参照して、加工部位の種類を識別するために学習用データを生成する際に、ユーザ１（特に、歯科医師、歯科技工士などの歯科の知識を有する者など）は、三次元画像を確認しながら、加工部位であるか否か、および加工部位である場合は加工部位の種類を識別し、識別した加工部位の種類に応じた色を三次元画像に塗布することで、位置情報と識別情報とを対応付ける。なお、塗布する色は、加工部位の種類ごとに予め割り当てられている。割り当て内容は、色分類データ１１８ｂとしてストレージ１１０内に格納されている。
【0180】
たとえば、ユーザ１は、三次元画像に含まれる部位が加工の施されていない生体部位であると識別すると、当該部位の画像に白色を塗布する。また、ユーザ１は、三次元画像に含まれる部位がインプラントであると識別すると、当該部位の画像に色ａを塗布する。また、ユーザ１は、三次元画像に含まれる部位が補綴物であると識別すると、当該部位の画像に色ｂを塗布する。三次元画像に含まれる各歯牙および歯肉に対して色が塗布されると、図２３に示すように各部位に対して予め定められた色が塗布された三次元画像が生成される。なお、分かり易いように、図面上では色ａ、ｂがハッチングで表されている。
【0181】
位置情報に、正解データとして加工部位の種類を示す色情報（識別情報）が対応付けられると、三次元データには、位置情報と、塗布された色に対応する色情報（識別情報）とが含まれるようになり、このような三次元データが学習用データとして採用される。つまり、実施形態３にかかる加工種推定モデル１１４ｂの学習用データにおいては、識別処理で参照される位置情報に対して、加工部位の種類に対応する色情報が関連付けられる（ラベリングされる）。さらに、三次元データに対応する加工部位の範囲を特定可能に当該三次元データに色情報が関連付けられる。具体的には、同じ種類の加工部位に対応する位置情報には、同じ色情報が関連付けられる。このような学習用データの集まりが学習用データセット１１６ｂとして、識別装置１００ｂに保持される。
【0182】
なお、実施形態３においては、ユーザ１が自身の知見に基づき手作業で三次元画像に含まれる各部位に色を塗布しているが、対象者２の治療歴などを確認しながらユーザ１が手作業で三次元画像に含まれる各部位に色を塗布してもよい。また、一部の作業をソフトウェアで補うことも可能である。たとえば、治療歴に基づいて塗布する色が自動で選択されるような構成であってもよい。
【0183】
識別装置１００ｂは、このようにして生成された１または複数の学習用データセット１１６ｂを用いて加工種推定モデル１１４ｂを学習させることで、学習済モデル１１５ｂを生成する。
【0184】
図２４に示すように、識別装置１００ｂは、学習済モデル１１５ｂを生成するために加工種用の学習処理を実行する。加工種用の学習処理は、利用する推定モデルが加工種推定モデル１１４ｂである点で実施形態１にかかる識別装置１００が実行する病変用の学習処理（図９参照）と異なる。
【0185】
具体的には、識別装置１００ｂは、学習用データセット１１６ｂの中から、学習に用いる学習用データを選択する（Ｓ１ｂ）。識別装置１００ｂは、選択した学習用データに含まれる三次元データの位置情報を加工種推定モデル１１４ｂに入力する（Ｓ２ｂ）。識別装置１００ｂは、加工種推定モデル１１４ｂを用いて三次元データの特徴を抽出し、三次元データに対応する部位の加工部位の種類を識別する識別処理を実行する（Ｓ３ｂ）。
【0186】
識別装置１００ｂは、識別処理による識別結果と、学習処理に用いた学習用データに対応する正解データとの誤差に基づき、加工種推定モデル１１４ｂのパラメータ１１４４ｂを更新する（Ｓ４ｂ）。
【0187】
次に、識別装置１００ｂは、全ての学習用データに基づき学習したか否かを判定する（Ｓ５ｂ）。識別装置１００ｂは、全ての学習用データに基づき学習していない場合（Ｓ５ｂでＮＯ）、Ｓ１ｂの処理に戻る。
【0188】
一方、識別装置１００ｂは、全ての学習用データに基づき学習した場合（Ｓ５ｂでＹＥＳ）、学習済みの加工種推定モデル１１４ｂを学習済モデル１１５ｂとして記憶し（Ｓ６ｂ）、本処理を終了する。
【0189】
［サービス提供処理］
図２５は、実施形態３にかかる識別装置１００ｂが実行するサービス提供処理の一例を説明するためのフローチャートである。実施形態３にかかる識別装置１００ｂが実行するサービス提供処理は、Ｓ１２７がさらに実行される点で、図１９に示した実施形態２にかかる識別装置１００ａが実行するサービス提供処理と異なる。以下、実施形態２にかかる識別装置１００ａが実行するサービス提供処理と異なる点を中心に説明する。
図２５は、実施形態３にかかる識別装置１００ｂが実行するサービス提供処理の一例を説明するためのフローチャートである。実施形態３にかかる識別装置１００ｂが実行するサービス提供処理は、Ｓ１２７がさらに実行される点で、図１９に示した実施形態２にかかる識別装置１００ａが実行するサービス提供処理と異なる。以下、実施形態２にかかる識別装置１００ａが実行するサービス提供処理と異なる点を中心に説明する。
【0190】
識別装置１００ｂは、歯牙の種類を識別できなかった場合（Ｓ１２５においてＮＯ）、三次元データを学習済の病変推定モデル１１４（学習済モデル１１５）に入力し、当該学習済モデル１１５を用いて病変内容を識別する識別処理を実行する（Ｓ１２６）。
【0191】
また、識別装置１００ｂは、三次元データを学習済の加工種推定モデル１１４ｂ（学習済モデル１１５ｂ）に入力し、当該学習済モデル１１５ｂを用いて加工部位の種類を識別する識別処理を実行する（Ｓ１２７）。
【0192】
Ｓ１２５およびＳ１２７のあと、識別装置１００ｂは、識別結果を、Ｓ１１で入力された三次元データに関連付ける（Ｓ１３）。たとえば、歯牙の種類が識別できず、入力された三次元データに対応する部位に対して、Ｓ１２６において病変内容を識別できなかった一方、Ｓ１２７において加工部位の種類を識別できた場合、識別装置１００ｂは、三次元データに含まれる位置情報に対して、識別結果１２４ｂを示す色情報（色ａ、色ｂなどを示す色情報）を関連付ける。また、歯牙の種類が識別できず、入力された三次元データに対応する部位に対して、Ｓ１２６において病変内容を識別でき、Ｓ１２７において加工部位の種類を識別できなかった場合、識別装置１００ｂは、三次元データに含まれる位置情報に対して、識別結果１２４を示す色情報（色Ａ、色Ｂなどを示す色情報）を関連付ける。また、歯牙の種類が識別できず、入力された三次元データに対応する部位に対して、Ｓ１２６において病変内容を識別でき、かつ、Ｓ１２７において加工部位の種類を識別できた場合、識別装置１００ｂは、三次元データに含まれる位置情報に対して、識別結果１２４を示す色情報（色Ａ、色Ｂなどを示す色情報）および識別結果１２４ｂを示す色情報（色ａ、色ｂなどを示す色情報）を関連付ける。
【0193】
そして、識別装置１００ｂは、関連付けの結果を外部（たとえば、ディスプレイ３００）に出力する（Ｓ１４）。具体的には、入力された三次元データに対応する点に対して、当該点に対応する部位に対する関連付けの結果がディスプレイ３００に表示される。その後、識別装置１００ｂは、本処理を終了する。たとえば、図１１および図１２に示した測定中の出力例のように、三次元データを取得したタイミングで、取得した三次元データに対する識別結果が順々にディスプレイ３００に表示される。なお、三次元データに含まれる位置情報に対して、２つの識別結果（たとえば、病変内容を示す識別結果１２４と、加工部位の種類を示す識別結果１２４ｂ）が関連付けられた場合には、２色で交互に点滅するような態様でディスプレイ３００に表示されてもよい。
【0194】
以上のように、実施形態３において、識別装置１００ｂは、三次元データに対応する部位の歯牙の種類を識別したのち、歯牙の種類を識別できなかった場合には、当該部位に施された病変内容を識別する識別処理と当該部位の治療内容を識別する識別処理とを実行する。
【0195】
［カルテ生成処理］
図２６は、実施形態３にかかる識別装置１００ｂが実行するカルテ生成処理の一例を説明するためのフローチャートである。実施形態３にかかる識別装置１００ｂが実行するカルテ生成処理は、Ｓ２４１～Ｓ２４５がさらに実行される点で、図２０に示した実施形態２にかかる識別装置１００ａが実行するカルテ生成処理と異なる。以下、実施形態２にかかる識別装置１００ａが実行するカルテ生成処理と異なる点を中心に説明する。
図２６は、実施形態３にかかる識別装置１００ｂが実行するカルテ生成処理の一例を説明するためのフローチャートである。実施形態３にかかる識別装置１００ｂが実行するカルテ生成処理は、Ｓ２４１～Ｓ２４５がさらに実行される点で、図２０に示した実施形態２にかかる識別装置１００ａが実行するカルテ生成処理と異なる。以下、実施形態２にかかる識別装置１００ａが実行するカルテ生成処理と異なる点を中心に説明する。
【0196】
識別装置１００ｂは、すべての病変部位に対して歯牙の種類を推定するまでＳ２２～Ｓ２４を繰り返し、すべての病変部位に対して歯牙の種類を推定したと判定すると（Ｓ２１においてＮＯ）、Ｓ２４１以降の処理を実行する。
【0197】
識別装置１００ｂは、歯牙種および治療内容の推定がされていない加工部位があるか否かを判定する（Ｓ２４１）。歯牙種および治療内容の推定がされていない加工部位がないと判定した場合（Ｓ２４１においてＮＯ）、すなわち、すべての加工部位に対して、当該加工部位に対応する歯牙種の推定と、治療内容の推定とがされたと判定した場合、識別装置１００ｂは、Ｓ２５の処理を実行して、カルテ生成処理を終了する。
【0198】
歯牙種および治療内容の推定がされていない加工部位があると判定した場合（Ｓ２４１においてＹＥＳ）、識別装置１００ｂは、加工部位の三次元データに基づき、当該加工部位に隣接する歯牙の種類を識別結果１２４ａ（歯牙の種類を示す識別結果）から取得する（Ｓ２４２）。
【0199】
識別装置１００ｂは、取得した歯牙の種類から、加工部位に対応する歯牙の種類を推定する（Ｓ２４３）。識別装置１００ｂは、当該加工部位の種類を示す識別結果１２４ｂに基づいて、当該加工部位に施された治療内容を推定する（Ｓ２４４）。識別装置１００ａは、推定した治療内容と推定した歯牙の種類とを対応付けてカルテに反映する（Ｓ２４５）。識別装置１００ｂは、カルテに反映したのち、Ｓ２４１の処理を実行し、すべての病変部位に対して歯牙の種類および治療内容を推定するまでＳ２４２～Ｓ２４５を繰り返したのち、カルテを出力する（Ｓ２５）。たとえば、識別装置１００ａは、図２２に示したカルテ１５０をディスプレイ３００に表示したり、あるいは、カルテ１５０を印刷したりする。
【0200】
上記カルテ生成処理において、識別装置１００ｂは、病変部位および加工部位ごとに歯牙の種類を推定した。なお、識別装置１００ｂは、三次元データ１２２ごとに歯牙の種類を推定してもよい。実施形態３において、一の三次元データに対して、当該三次元データに対応する部位が病変部位であり、かつ加工部位であると識別されることもある。そのような場合に、病変部位および加工部位ごとに歯牙の種類を推定すると、処理が重複してしまうことになる。そこで、識別装置１００ｂは、歯牙の種類を識別できなかった三次元データ１２２について、隣接する歯牙の種類を識別できた三次元データ１２２に基づいて、歯牙の種類を推定してもよい。
【0201】
なお、実施形態３において、治療推定部１１５４は、測定後に機能するとした。なお、治療推定部１１５４が実行する処理は、図２５に示したサービス提供処理に組み込まれていてもよい。たとえば、識別装置１００ｂは、Ｓ１２７を実行した後に、得られた識別結果に基づいて治療内容を推定する処理を実行してもよい。
【0202】
以上のように、実施形態３にかかる識別装置１００ｂは、病変部位に加えて加工部位の識別も行う。そのため、識別装置１００ｂは、より正確な識別処理を実行できるとともに、ユーザ１に多くの情報を提供できる。
【0203】
たとえば、インプラント体や歯牙に形成された窩洞部のように、治療途中の状態であれば、ユーザ１は、一見して、加工部位を識別できる。しかし、歯科の分野では、審美性の確保という観点から、天然歯と遜色のない審美性の優れた加工部品の開発が進んでいる。そのため、治療完了後の状態で加工部位をユーザ１の目で識別することが徐々に難しくなっている。
【0204】
人工物と天然物とでは、人の目で識別しにくいものの、表面の凹凸、全体的な形状に僅かな差異が生まれる場合がある。また、歯に補綴物を被せている場合には、補綴物が被さっていない場合と比べて、歯肉と補綴物との境目の形状に差異が生まれる場合がある。
【0205】
実施形態３において、ＡＩを利用することで、人の目で識別し難い加工物の特徴を見出すことができる。そして、ユーザ１の知見という、人によってばらつきのある情報に頼ることなく、精度良く加工部位を識別できる。また、加工部位の種類が識別されることにより、ユーザ１のカルテ入力を補助することができ、初診時の診察を容易にできる。
【0206】
また、補綴物は、被せる範囲、被せ方などによって、複数に分類される。窩洞部や支台歯に被せる補綴物の種類は、窩洞部および支台歯の形状などによって異なり、行う治療内容が異なることがある。また、被せられた補綴物の種類によって、治療経過も変わる。しかし、補綴物の種類を識別するためには、ユーザ１の高い知見が必要である。また、ユーザ１は、狭い口腔内を観察して識別する必要があり、対象者２への負担も大きくなる。
【0207】
取り付けられた補綴物の種類、および窩洞部または支台歯に取り付ける補綴物の種類など、加工部位の種類をより細かく識別できると、より細やかな診察を実現できる。
【0208】
［変形例］
＜識別処理の変形例＞
実施形態１にかかる識別装置１００は、三次元データに対応する部位の病変内容を識別した。なお、識別装置１００は、実施形態２および実施形態３のように、歯牙の種類を識別する識別処理を実行して、歯牙の種類に基づいて病変部位に対応する歯牙の種類を推定してもよい。
＜識別処理の変形例＞
実施形態１にかかる識別装置１００は、三次元データに対応する部位の病変内容を識別した。なお、識別装置１００は、実施形態２および実施形態３のように、歯牙の種類を識別する識別処理を実行して、歯牙の種類に基づいて病変部位に対応する歯牙の種類を推定してもよい。
【0209】
実施形態２にかかる識別装置１００ａは、歯牙の種類を識別する識別処理を実行して、歯牙の種類を識別できなかった場合に、三次元データに対応する部位を病変部位であると識別して、病変内容を識別する識別処理を実行した。
【0210】
なお、識別装置１００ａは、病変内容を識別する識別処理を実行したのち、病変部位ではないと識別した場合に歯牙の種類を識別する識別処理を実行してもよい。
【0211】
また、識別装置１００ａは、得られた各三次元データに対して、歯牙の種類を識別する識別処理および病変内容を識別する識別処理の両方の処理を実行して、２つの識別結果を得るようにしてもよい。この場合に、歯牙種推定部１１５２は、歯牙種を識別できなかった部位に対応する歯牙の種類を隣接する歯牙の種類に基づいて推定するようにしてもよい。識別結果を得るための各処理を実行する順番は、予め定められていればよく、歯牙種に関する識別結果１２４ａからでも、病変内容を示す識別結果１２４からでもどちらでもよい。また、識別結果を得るための各処理をタスク制御で実行してもよい。
【0212】
実施形態３にかかる識別装置１００ｂは、歯牙の種類を識別する識別処理を実行して、歯牙の種類を識別できなかった場合に、病変内容を識別する識別処理および加工部位の種類を識別する識別処理を実行した。なお、識別装置１００ｂは、歯牙の種類を識別する識別処理、病変内容を識別する識別処理および加工部位の種類を識別する識別処理のそれぞれを実行して、３つの識別結果を得てもよい。
【0213】
また、識別装置１００ｂは、病変内容を識別できず、かつ、加工部位の種類を識別することができなかった場合に、歯牙の種類を識別する識別処理を実行してもよい。
【0214】
一の三次元データに対して複数の識別結果を得る場合に、識別結果を得るための各処理を実行する順番は、予め定められていればよく、どのような順番で実行されてもよいし、タスク制御で実行してもよい。
【0215】
また、実施形態２において、識別装置１００ａは、２つの推定モデル（歯牙種推定モデル１１４ａ、病変推定モデル１１４）を用いて歯牙の種類および病変内容を識別した。なお、識別装置１００ａは、１つの推定モデルを用いて、歯牙の種類および病変内容を識別する構成であってもよい。同様に、実施形態３にかかる識別装置１００ｂは、３つの推定モデルを用いて、３種類の事項を識別したが、１つまたは２つの推定モデルを用いて３種類の事項を識別してもよい。また、実施形態３にかかる識別装置１００ｂは、加工種推定モデル１１４ｂで加工部位の種類を識別したのち、加工部位の種類に基づいて治療内容を推定した。なお、識別装置１００ｂは、１つの推定モデルを用いて、加工部位の種類および治療内容を推定してもよい。
【0216】
また、実施形態３において、識別装置１００ｂは、加工部位と加工部位に施された治療内容を識別するとした。なお、これらに加えて、加工部位に用いられた部品の材質、または、インプラントメーカーの品番を識別するための構成を備えていてもよい。
【0217】
＜学習用データセットの変形例＞
上記実施形態１～実施形態３のいずれにおいても、三次元データに含まれる位置情報に基づいて識別処理が行われた。なお、位置情報に加えてさらに色情報を用いて識別処理が行われてもよい。図２７は、変形例にかかる学習用データセットの一例を説明するための模式図である。位置情報に加えて色情報を学習済モデルに入力して識別結果を得る場合、図２７に示すように、学習用データにも色情報を含めて学習処理が実行される。学習処理においては、推定モデルに対して位置情報に加えて色分け前の色情報が入力されることで、各部位の実際の色も考慮された上で学習済モデルが生成される。
上記実施形態１～実施形態３のいずれにおいても、三次元データに含まれる位置情報に基づいて識別処理が行われた。なお、位置情報に加えてさらに色情報を用いて識別処理が行われてもよい。図２７は、変形例にかかる学習用データセットの一例を説明するための模式図である。位置情報に加えて色情報を学習済モデルに入力して識別結果を得る場合、図２７に示すように、学習用データにも色情報を含めて学習処理が実行される。学習処理においては、推定モデルに対して位置情報に加えて色分け前の色情報が入力されることで、各部位の実際の色も考慮された上で学習済モデルが生成される。
【0218】
歯周病の初期症状として、歯肉の腫れや、歯肉の色の変化がある。推定モデルによって、形状に関する特徴に加えて色の特徴を抽出できるため、より正確に歯周病の識別を行うことができる。また、う蝕の初期症状として、歯牙できる白い斑点（ホワイトスポット）がある。推定モデルによって、形状に関する特徴に加えて色の特徴を抽出できることで、より精度良くう蝕を識別できる。
【0219】
また、補綴物は、通常、審美性および機能性の観点から、天然歯と遜色のない形状で歯牙に取り付けられる。そのため、形状の特徴が現れる位置情報だけでは、入力された三次元データに対応する部位が補綴物に対応する部位であるか否かを十分に識別することが難しい場合もある。推定モデルによって、形状に関する特徴に加えて色の特徴を抽出できることで、より精度良く加工部位を識別できる。
【0220】
上記実施形態１～実施形態３のいずれにおいても、対象者２の口腔内をスキャンすることで学習用データセットを生成した。なお、病変部位を識別するために利用される学習用データセットは、病変部位だけを切り取ったものであってもよい。
【0221】
図２８は、変形例にかかる学習用データセットを説明するための図である。たとえば、学習用データセットは、病変部位だけをスキャンして得られる三次元データを用いて生成されてもよい。たとえば、学習用データセットは、初期のう歯だけをスキャンして得られる三次元データを集め、集めた三次元データから生成されてもよい。また、学習用データセットは、歯周病と診断される歯肉だけをスキャンして得られる三次元データを集め、集めた三次元データから生成されてもよい。識別装置は、病変ごとに生成した各学習用データセットを推定モデルに入力することで学習済モデルを生成してもよい。
【0222】
＜カルテ生成部の変形例＞
上記実施形態２および実施形態３において、カルテ生成部１１５６は、歯牙種推定部１１５２が推定した歯牙種と、病変内容を示す識別結果１２４または治療推定部１１５４が識別結果１２４ｂに基づいて推定した治療内容とに基づいてカルテ１５０を生成した。なお、カルテ生成部１１５６は、カルテ１５０という最終成果物を生成する必要はなく、たとえば、ユーザ１によるカルテの入力をアシストする機能を提供するものであってもよい。具体的には、加工部位または病変部位であると識別した部位を示す情報（たとえば、歯牙種）を出力し、ユーザ１にカルテ１５０の入力を促すようにしてもよい。
上記実施形態２および実施形態３において、カルテ生成部１１５６は、歯牙種推定部１１５２が推定した歯牙種と、病変内容を示す識別結果１２４または治療推定部１１５４が識別結果１２４ｂに基づいて推定した治療内容とに基づいてカルテ１５０を生成した。なお、カルテ生成部１１５６は、カルテ１５０という最終成果物を生成する必要はなく、たとえば、ユーザ１によるカルテの入力をアシストする機能を提供するものであってもよい。具体的には、加工部位または病変部位であると識別した部位を示す情報（たとえば、歯牙種）を出力し、ユーザ１にカルテ１５０の入力を促すようにしてもよい。
【0223】
＜サービス提供処理の変形例＞
実施形態１～実施形態３にかかる識別装置は、図１０，図１９，図２５に示すように、サービス提供処理において学習処理を実行するものではない。しかし、図２９に示すように、識別装置は、サービス提供処理において学習処理を実行するものであってもよい。識別装置は、所謂、協調学習（Federated Learning）を行うものであってもよい。
実施形態１～実施形態３にかかる識別装置は、図１０，図１９，図２５に示すように、サービス提供処理において学習処理を実行するものではない。しかし、図２９に示すように、識別装置は、サービス提供処理において学習処理を実行するものであってもよい。識別装置は、所謂、協調学習（Federated Learning）を行うものであってもよい。
【0224】
図２９は、変形例に係る識別装置１００ｃが実行するサービス提供処理の一例を説明するためのフローチャートである。図２９に示すＳ１１～Ｓ１４の処理は、図１０に示すＳ１１～Ｓ１４の処理と同じであるため、図２９においては、Ｓ１１～Ｓ１４の処理についての詳細な説明を省略する。なお、以下では、実施形態１にかかる識別装置１００がサービス提供処理において学習処理を実行するものとして説明する。
【0225】
図２９に示すように、識別装置１００ｃは、Ｓ１１～Ｓ１４の処理によって、入力された三次元データに対応する点に対して、当該点に対応する部位の状態（病変部位があるか否か、病変内容）を示す識別結果に基づく当該点に対する関連付けの結果を出力した後、サービス提供時学習処理を実行する。具体的には、識別装置１００ｃは、Ｓ１４の後、誤り訂正のための正解データが入力されたか否かを判定する（Ｓ１５）。たとえば、識別装置１００ｃは、Ｓ１２によって得られた識別結果（病変部位があるか否か、病変内容）が、実際にスキャン対象であった部位からユーザ１が判断する判断結果と異なる場合において、実際にスキャン対象であった部位に対するユーザ１の判断結果である正解データをユーザ１が入力することで誤りを訂正したか否かを判定する。
【0226】
識別装置１００ｃは、誤り訂正のための正解データが入力されなかった場合（Ｓ１５でＮＯ）、本処理を終了する。一方、識別装置１００ｃは、誤り訂正のための正解データが入力された場合（Ｓ１５でＹＥＳ）、識別結果と正解データとに基づき報酬を付与する（Ｓ１６）。
【0227】
たとえば、識別結果と正解データとの解離度が小さければ小さいほど、付与する報酬として値の小さいマイナスポイントを与え、両者の解離度が大きければ大きいほど、付与する報酬として値の大きいマイナスポイントを与えればよい。なお、報酬はマイナスポイントに限らず、プラスポイントであってもよい。
【0228】
報酬を与える方法は、任意に設計可能である。一例として、識別装置１００ｃは、識別結果と正解データとで炎症の度合い（う蝕の進行度合い、または歯肉炎の進行度合い）が小さければ解離度が小さく、値の小さいマイナスポイントを与えてもよい。一方、識別装置１００ｃは、識別結果と正解データとで炎症の度合い（う蝕の進行度合い、または歯肉炎の進行度合い）が大きければ解離度が大きく、値の大きなマイナスポイントを与えてもよい。
【0229】
識別装置１００ｃは、付与した報酬に基づき、学習済モデル１１５のパラメータ１１４４を更新する（Ｓ１７）。たとえば、識別装置１００ｃは、報酬として付与したマイナスポイントが０に近づくように学習済モデル１１５のパラメータ１１４４を更新する。その後、識別装置１００ｃは、本処理を終了する。
【0230】
なお、病変内容だけを識別するサービス提供処理中に実行される学習処理について説明したが、識別装置は、実施形態２および実施形態３に示した複数の事項（病変内容と歯牙の種類、病変内容と歯牙の種類と加工部位の種類）を識別するサービス提供処理中であっても学習処理を実行可能である。
【0231】
たとえば、病変内容と歯牙の種類とを識別するサービス提供処理において、歯牙の種類が識別された識別結果に対して別の歯牙の種類の正解データが入力された場合、識別装置は、歯牙の種類を示す識別結果１２４ａと正解データとに基づいて歯牙種推定モデル１１４ａのパラメータ１１４４ａを更新する。この場合、一例として、識別装置は、識別結果１２４ａとして出力した歯牙と、正解データとして入力された歯牙とが隣接していれば、値の小さいマイナスポイントを与え、両者が離れていれば、値の大きいマイナスポイントを与える。
【0232】
他の例として、病変内容と歯牙の種類と加工部位の種類とを識別するサービス提供処理において、識別された加工内容に対して別の加工内容の正解データが入力された場合、識別装置は、加工内容を示す識別結果１２４ｂと正解データとに基づいて加工種推定モデル１１４ｂのパラメータ１１４４ｂを更新する。この場合、一例として、識別装置は、識別結果と正解データとで大分類（表１参照）が共通していれば値の小さいマイナスポイントを与え、小分類および大分類の両方が異なれば値の大きいマイナスポイントを与える。また、識別装置は、識別結果と正解データとの組み合わせとして考えられる複数種類の組み合わせの各々に対して予め設定された報酬の大きさに基づいて、報酬を与えてもよい。また、識別装置は、このようなルールに従った報酬の付与方法と、複数種類の組み合わせの各々に対して予め報酬を設定しておく付与方法とを組み合わせた方法で、報酬を与えても良い。
【0233】
また、複数の推定モデルを備える識別装置は、識別結果と正解データとの組み合わせに応じて再学習させる推定モデルを選択してもよい。たとえば、識別結果と正解データとがいずれも病変内容に関する事項であれば、識別装置は、病変推定モデル１１４のパラメータ１１４４を更新する処理を実行する。識別結果と正解データとがいずれも歯牙種に関する事項であれば、識別装置は、歯牙種推定モデル１１４ａのパラメータ１１４４ａを更新する処理を実行する。識別結果と正解データとがいずれも加工内容に関する事項であれば、識別装置は、加工種推定モデル１１４ｂのパラメータ１１４４ｂを更新する処理を実行する。また、識別装置は、病変推定モデル１１４のパラメータ１１４４と、歯牙種推定モデル１１４ａのパラメータ１１４４ａと、加工種推定モデル１１４ｂのパラメータ１１４４ｂとの中から複数のパラメータを更新してもよい。
【0234】
このように、変形例に係る識別装置は、サービス提供処理においても学習処理を実行するため、ユーザ１が使用すればするほど識別処理の精度が向上し、より精度良く加工部位の種類、歯牙の種類、または病変内容を識別することができる。このような処理は、所謂、協調学習の一種である。
【0235】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
【符号の説明】
【0236】
１ ユーザ、２ 対象者、１０，１０ａ，１０ｂ スキャナシステム、１００，１００ａ，１００ｂ，１００ｃ 識別装置、１０２ スキャナインターフェース、１０３ ディスプレイインターフェース、１０５ 周辺機器インターフェース、１０７ メディア読取装置、１０８ ＰＣディスプレイ、１０９ メモリ、１１０ ストレージ、１１２ スキャン情報、１１４ 病変推定モデル、１１４ａ 歯牙種推定モデル、１１４ｂ 加工種推定モデル、１１５，１１５ａ，１１５ｂ 学習済モデル、１１６，１１６ａ，１１６ｂ 学習用データセット、１１８，１１８ａ，１１８ｂ 色分類データ、１１９ プロファイルデータ、１２０ 識別用プログラム、１２１ 学習用プログラム、１２２ 三次元データ、１２４，１２４ａ，１２４ｂ 識別結果、１３０ 演算装置、１５０ カルテ、１５２ プロファイル表示領域、１５４ 歯牙種表示領域、１５６ コメント表示領域、１５８ 歯式表示領域、２００ 三次元スキャナ、３００ ディスプレイ、５５０ リムーバブルディスク、６０１ キーボード、６０２ マウス、１１０２ 入力部、１１０３ 出力部、１１３２ 病変識別部、１１３４ 歯牙種識別部、１１３６ 加工種識別部、１１４２ 第１ＮＮＷ、１１４２ａ 第２ＮＮＷ、１１４２ｂ 第３ＮＮＷ、１１４４，１１４４ａ，１１４４ｂ，１１４４ｃ パラメータ、１１５２ 歯牙種推定部、１１５４ 治療推定部、１１５６ カルテ生成部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】