(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-26
(45)【発行日】2024-12-04
(54)【発明の名称】プログラム、コンピュータおよび情報処理方法
(51)【国際特許分類】
A61C 7/08 20060101AFI20241127BHJP
G16H 20/00 20180101ALI20241127BHJP
【FI】
A61C7/08
G16H20/00
(21)【出願番号】P 2024029659
(22)【出願日】2024-02-29
【審査請求日】2024-02-29
【新規性喪失の例外の表示】特許法第30条第2項適用 令和5年8月31日にウェブサイトhttps://prtimes.jp/main/html/rd/p/000000061.000048884.htmlにて公開 令和5年10月31日にウェブサイトhttps://prtimes.jp/main/html/rd/p/000000064.000048884.htmlにて公開
【早期審査対象出願】
(73)【特許権者】
【識別番号】519435795
【氏名又は名称】株式会社Oh my teeth
(74)【代理人】
【識別番号】100131842
【氏名又は名称】加島 広基
(74)【代理人】
【識別番号】100215267
【氏名又は名称】古屋 秀人
(74)【代理人】
【識別番号】100215555
【氏名又は名称】今井 貴裕
(72)【発明者】
【氏名】西野 誠
【審査官】白土 博之
(56)【参考文献】
【文献】特表2022-533423(JP,A)
【文献】米国特許出願公開第2019/0180443(US,A1)
【文献】特許第7202729(JP,B1)
【文献】米国特許出願公開第2023/0225831(US,A1)
【文献】米国特許出願公開第2018/0125610(US,A1)
【文献】米国特許出願公開第2018/0353263(US,A1)
【文献】米国特許出願公開第2022/0202532(US,A1)
【文献】米国特許出願公開第2022/0265393(US,A1)
【文献】国際公開第2023/195913(WO,A2)
(58)【調査した分野】(Int.Cl.,DB名)
A61C 7/00-7/36
G16H 20/00
(57)【特許請求の範囲】
【請求項1】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う、システム。
【請求項2】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、浮き量の平均値が所定の閾値を超えたかによって判定を行う、システム。
【請求項3】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量
が所定の閾値以下であるかに基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、
前記所定の閾値は、前記受付手段が受け付けた画像全体の面積に対する浮き量の所定の割合である、システム。
【請求項4】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記演算手段は、
透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う、システム。
【請求項5】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、
第1トリミング手段と、第2トリミング手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記第1トリミング手段は、前記受付手段が受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングし、
前記第2トリミング手段は、前記第1トリミング手段によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングし、
前記演算手段は、
前記第2トリミング手段によりトリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う、システム。
【請求項6】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記演算手段は、
透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う、システム。
【請求項7】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、
第1トリミング手段と、第2トリミング手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記第1トリミング手段は、前記受付手段が受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングし、
前記第2トリミング手段は、前記第1トリミング手段によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングし、
前記演算手段は、
透明または半透明のマウスピースが歯に装着されているユーザの正面視の歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、前記第2トリミング手段によりトリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う、システム。
【請求項8】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、
第1トリミング手段と、第2トリミング手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記第1トリミング手段は、前記受付手段が受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングし、
前記第2トリミング手段は、前記第1トリミング手段によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングし、
前記演算手段は、
透明または半透明のマウスピースが歯に装着されているユーザの正面視の歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、前記第2トリミング手段によりトリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行い、
前記所定の閾値は、前記受付手段が受け付けた画像全体の面積に対する浮き量の所定の割合である、システム。
【請求項9】
コンピュータと、ユーザ端末とを備えたシステムであって、
前記ユーザ端末は、制御部と、表示部と、撮像部とを有しており、
前記制御部は、第2プログラムを実行することにより表示手段、撮像手段および送信手段として機能し、前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部に歯列の枠を表示させ、前記撮像手段は、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行い、前記送信手段は、撮像された歯列の画像を前記コンピュータに送信し、
前記コンピュータは、第1プログラムを実行することにより受付手段と、
第1トリミング手段と、第2トリミング手段と、演算手段と、判定手段として機能し、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付け、
前記第1トリミング手段は、前記受付手段が受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングし、
前記第2トリミング手段は、前記第1トリミング手段によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングし、
前記演算手段は、
透明または半透明のマウスピースが歯に装着されているユーザの正面視の歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、前記第2トリミング手段によりトリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行い、
前記所定の閾値は、前記受付手段が受け付けた画像全体の面積に対する浮き量の所定の割合であり、
前記浮き量の演算は、ユーザの上下の各歯列における2~6本の歯に対して行われる、システム。
【請求項10】
前記演算手段は、前記受付手段が受け付けた画像における各歯から浮き出たマウスピースの領域のピクセル数に基づいて各歯に対するマウスピースの浮き量を演算する、請求項1
~9のいずれか一項に記載のシステム。
【請求項11】
前記第1トリミング手段は、透明または半透明のマウスピースが歯に装着されているユーザの
正面視の歯列の画像およびトリミングされた歯列の画像を含む教師データを用いることにより機械学習によって生成された第2学習済モデルを用いて、前記受付手段が受け付けた歯列の画像から歯列を含む第1バウンディングボックスで囲まれた画像をトリミングする、請求項
5、7~9のいずれか一項に記載のシステム。
【請求項12】
前記第2学習済モデルは、YOLOモデルを用いて生成されたものである、請求項
11記載のシステム。
【請求項13】
前記受付手段は、前記ユーザ端末からマウスピースの装着時間に関する情報も受け付け、
前記判定手段は、前記受付手段が受け付けたマウスピースの装着時間に関する情報も参照して、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う、請求項1
~9のいずれか一項に記載のシステム。
【請求項14】
前記コンピュータを表示指示手段として更に機能させ、
前記表示指示手段は、前記判定手段による判定結果を前記ユーザ端末に表示させるよう前記ユーザ端末に表示指示信号を送信する、請求項1
~9のいずれか一項に記載のシステム。
【請求項15】
前記コンピュータを着色画像生成手段として更に機能させ、
前記着色画像生成手段は、前記受付手段が受け付けた画像における各歯から浮き出たマウスピースの領域の着色を行い、
前記表示指示手段は、前記着色画像生成手段により着色が行われた歯列の画像を前記ユーザ端末に表示させるよう前記ユーザ端末に表示指示信号を送信する、請求項
14記載のシステム。
【請求項16】
前記ユーザ端末において、ユーザの正面視時のマウスピースが歯に装着されている歯列の画像、ユーザが右を向いたときのマウスピースが歯に装着されている歯列の画像およびユーザが左を向いたときのマウスピースが歯に装着されている歯列の画像がそれぞれ取得されるようになっており、
前記受付手段は、前記ユーザ端末により取得された3つの画像をユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の3つの画像について、それぞれ各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、3つの画像についての前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う、請求項1
~9のいずれか一項に記載のシステム。
【請求項17】
前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部にユーザの正面視時の歯列の枠、ユーザが右を向いたときの歯列の枠およびユーザが左を向いたときの歯列の枠を順次表示させ、
前記撮像手段は、それぞれ歯列の枠にユーザの歯列が入った場合に歯列の撮像を行うことにより、ユーザの正面視時の歯列の画像、ユーザが右を向いたときの歯列の画像およびユーザが左を向いたときの歯列の画像を取得する、請求項1
~9のいずれか一項に記載のシステム。
【請求項18】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う工程と、
を備えた、情報処理方法。
【請求項19】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、浮き量の平均値が所定の閾値を超えたかによって判定を行う工程と、
を備えた、情報処理方法。
【請求項20】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量
が所定の閾値以下であるかに基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う工程と、
を備え
、
前記所定の閾値は、受け付けた画像全体の面積に対する浮き量の所定の割合である、情報処理方法。
【請求項21】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、
透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う工程と、
を備えた、情報処理方法。
【請求項22】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングする工程と、
前記第1制御部が、トリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングする工程と、
前記第1制御部が、
トリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う工程と、
を備えた、情報処理方法。
【請求項23】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、
透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う工程と、
を備えた、情報処理方法。
【請求項24】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングする工程と、
前記第1制御部が、トリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングする工程と、
前記第1制御部が、
透明または半透明のマウスピースが歯に装着されているユーザの正面視の歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、トリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う工程と、
を備えた、情報処理方法。
【請求項25】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングする工程と、
前記第1制御部が、トリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングする工程と、
前記第1制御部が、
透明または半透明のマウスピースが歯に装着されているユーザの正面視の歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、トリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う工程と、
を備え
、
前記所定の閾値は、受け付けた画像全体の面積に対する浮き量の所定の割合である、情報処理方法。
【請求項26】
第1制御部を有するコンピュータおよび第2制御部を有するユーザ端末により実行される情報処理方法であって、
前記第2制御部が、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させる工程と、
前記第2制御部が、前記歯列の枠にユーザの
正面視の歯列が入った場合に歯列の撮像を自動的に行う工程と、
前記第2制御部が、撮像された歯列の画像を前記コンピュータに送信する工程と、
前記第1制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像を前記ユーザ端末から受け付ける工程と、
前記第1制御部が、受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングする工程と、
前記第1制御部が、トリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングする工程と、
前記第1制御部が、
透明または半透明のマウスピースが歯に装着されているユーザの正面視の歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、トリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記第1制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行
い、歯毎に演算された浮き量が異なる場合、最も大きな浮き量が所定の閾値以下であるかによって判定を行う工程と、
を備え
、
前記所定の閾値は、受け付けた画像全体の面積に対する浮き量の所定の割合であり、
前記浮き量の演算は、ユーザの上下の各歯列における2~6本の歯に対して行われる、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、コンピュータおよび情報処理方法に関する。
【背景技術】
【0002】
近年、ユーザが日常生活で歯列にマウスピースを装着させることにより歯列の矯正を行う技術が知られている。特許文献1には、安心かつ低コストで歯科矯正用具の注文と歯科矯正が可能な歯科矯正支援システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザが日常生活で歯列にマウスピースを装着させることにより歯列の矯正を行うにあたり、予め形状の異なる複数のマウスピースをユーザ毎に準備しておくのが一般的である。そして、ユーザが矯正治療を開始した後、あるマウスピースを装着して所定の時間が経過し、歯科医がユーザの歯列を直接視認で確認したりマウスピースが歯に装着されているユーザの歯列の画像を歯科医が見たりすることにより次の段階に進んでよいと歯科医が判断したら、別の形状のマウスピースに交換し、ユーザは交換されたマウスピースを歯列に装着させる。このような動作を繰り返すことによりユーザの歯列が所定の形に矯正される。
【0005】
しかし、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を歯科医が行う場合は、ユーザは定期的に歯科医に通わなければならず、負担が大きいという問題があった。
【0006】
本開示はこのような点を考慮してなされたものであり、歯列の矯正を行うにあたりユーザの負担を軽減することができるプログラム、コンピュータおよび情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示のプログラムは、
コンピュータを受付手段と、演算手段と、判定手段として機能させるプログラムであって、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行うことを特徴とする。
【0008】
本開示のプログラムにおいて、
前記演算手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データを用いることにより機械学習によって生成された第1学習済モデルを用いて、前記受付手段が受け付けた歯列の画像から各歯に対するマウスピースの浮き量を演算してもよい。
【0009】
本開示のプログラムにおいて、
前記演算手段は、前記受付手段が受け付けた画像における各歯から浮き出たマウスピースの領域のピクセル数に基づいて各歯に対するマウスピースの浮き量を演算してもよい。
【0010】
本開示のプログラムは、
前記コンピュータを第1トリミング手段として更に機能させ、
前記第1トリミング手段は、前記受付手段が受け付けた歯列の画像から、歯列を含む第1バウンディングボックスで囲まれた画像をトリミングし、
前記演算手段は、前記第1トリミング手段によりトリミングされた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算してもよい。
【0011】
本開示のプログラムにおいて、
前記第1トリミング手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像およびトリミングされた歯列の画像を含む教師データを用いることにより機械学習によって生成された第2学習済モデルを用いて、前記受付手段が受け付けた歯列の画像から歯列を含む第1バウンディングボックスで囲まれた画像をトリミングしてもよい。
【0012】
本開示のプログラムにおいて、
前記第2学習済モデルは、YOLOモデルを用いて生成されたものでもよい。
【0013】
本開示のプログラムは、
前記コンピュータを第2トリミング手段として更に機能させ、
前記第2トリミング手段は、前記第1トリミング手段によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックスで囲まれた画像および下歯列を含む第3バウンディングボックスで囲まれた画像をそれぞれトリミングし、
前記演算手段は、前記第2トリミング手段によりトリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算してもよい。
【0014】
本開示のプログラムにおいて、
前記受付手段は、前記ユーザ端末からマウスピースの装着時間に関する情報も受け付け、
前記判定手段は、前記受付手段が受け付けたマウスピースの装着時間に関する情報も参照して、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行ってもよい。
【0015】
本開示のプログラムは、
前記コンピュータを表示指示手段として更に機能させ、
前記表示指示手段は、前記判定手段による判定結果を前記ユーザ端末に表示させるよう前記ユーザ端末に表示指示信号を送信してもよい。
【0016】
本開示のプログラムは、
前記コンピュータを着色画像生成手段として更に機能させ、
前記着色画像生成手段は、前記受付手段が受け付けた画像における各歯から浮き出たマウスピースの領域の着色を行い、
前記表示指示手段は、前記着色画像生成手段により着色が行われた歯列の画像を前記ユーザ端末に表示させるよう前記ユーザ端末に表示指示信号を送信してもよい。
【0017】
本開示のプログラムにおいて、
前記ユーザ端末において、ユーザの正面視時のマウスピースが歯に装着されている歯列の画像、ユーザが右を向いたときのマウスピースが歯に装着されている歯列の画像およびユーザが左を向いたときのマウスピースが歯に装着されている歯列の画像がそれぞれ取得されるようになっており、
前記受付手段は、前記ユーザ端末により取得された3つの画像をユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の3つの画像について、それぞれ各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、3つの画像についての前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行ってもよい。
【0018】
本開示のプログラムにおいて、
前記ユーザ端末において、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠が表示されるようになっており、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像が行われてもよい。
【0019】
本開示のプログラムにおいて、
前記ユーザ端末において、前記撮像部により歯列の撮像を行う際に前記表示部にユーザの正面視時の歯列の枠、ユーザが右を向いたときの歯列の枠およびユーザが左を向いたときの歯列の枠が順次表示されるようになっており、
それぞれ歯列の枠にユーザの歯列が入った場合に歯列の撮像が行われることにより、ユーザの正面視時のマウスピースが歯に装着されている歯列の画像、ユーザが右を向いたときのマウスピースが歯に装着されている歯列の画像およびユーザが左を向いたときのマウスピースが歯に装着されている歯列の画像がそれぞれ取得されるようになっていてもよい。
【0020】
また、本開示のプログラムは、
ユーザ端末を表示手段と、撮像手段と、送信手段として機能させるプログラムであって、
前記表示手段は、前記ユーザ端末の撮像部により歯列の撮像を行う際に前記ユーザ端末の表示部に歯列の枠を表示させ、
前記撮像手段は、前記歯列の枠にユーザの歯列が入った場合に歯列の撮像を行い、
前記送信手段は、撮像された歯列の画像を外部装置に送信することを特徴とする。
【0021】
本開示のプログラムにおいて、
前記表示手段は、前記撮像部により歯列の撮像を行う際に前記表示部にユーザの正面視時の歯列の枠、ユーザが右を向いたときの歯列の枠およびユーザが左を向いたときの歯列の枠を順次表示させ、
前記撮像手段は、それぞれ歯列の枠にユーザの歯列が入った場合に歯列の撮像を行うことにより、ユーザの正面視時の歯列の画像、ユーザが右を向いたときの歯列の画像およびユーザが左を向いたときの歯列の画像を取得してもよい。
【0022】
本開示のコンピュータは、
プログラムを実行することにより受付手段と、演算手段と、判定手段として機能するコンピュータであって、
前記受付手段は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末から受け付け、
前記演算手段は、前記受付手段が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、
前記判定手段は、前記演算手段により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行うことを特徴とする。
【0023】
本開示の情報処理方法は、
制御部を有するコンピュータにより実行される情報処理方法であって、
前記制御部が、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末から受け付ける工程と、
前記制御部が、受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する工程と、
前記制御部が、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う工程と、
を備えたことを特徴とする。
【発明の効果】
【0024】
本開示のプログラム、コンピュータおよび情報処理方法によれば、歯列の矯正を行うにあたりユーザの負担を軽減することができる。
【図面の簡単な説明】
【0025】
【
図1】本開示の実施形態に係る情報処理システムを概略的に示した図である。
【
図2】本開示の実施形態に係る情報処理システムにおいて撮像され、処理された画像を示す図である。
【
図3】本開示の実施形態に係る情報処理システムにおいてユーザ端末の表示される歯列および歯列の枠を示す図である。
【
図4】本開示の実施形態に係る情報処理システムにおける例示的な処理を示す図である。
【
図5】本開示の実施形態に係る情報処理方法の例示的な情報処理の流れを示す図である。
【
図6】ユーザ視点の本開示に係る歯列矯正方法の概略的な処理フロー図である。
【
図7】本開示の実施形態に係る情報処理方法の例示的な情報処理の別の流れを示す図である。
【
図8】本開示の実施形態に係る情報処理方法の例示的な情報処理の別の流れを示す図である。
【発明を実施するための形態】
【0026】
上述のように、予め準備された形状の異なる複数のマウスピースを歯列に装着させることにより日常生活で歯列の矯正を行うにあたり、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かを知るためにユーザは定期的に歯科医に通わなければならず、負担が大きいという課題があった。本発明者らはこの課題に対し鋭意検討した結果、ユーザ端末から受け付けた、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像に基づいて演算された各歯に対するマウスピースの浮き量から、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かを判定できれば、歯列の矯正を行うにあたりユーザの負担が軽減し得ることを見出し、本開示に係る発明を想到するに至った。
【0027】
以下、図面を参照して本開示の例示的な実施形態について説明するが、本開示に係る発明はこれらに限定されるものではない。
図1乃至
図8は、本開示に係る情報処理システム1および情報処理方法を示す図である。
【0028】
[情報処理システム1]
図1に示す本実施形態による情報処理システム1は、サーバ10と、ユーザ端末32とを含む。サーバ10は、インターネット回線等の通信ネットワーク50を通じて複数のユーザ端末32との情報の送受信可能な管理サーバ(コンピュータ)である。なお、サーバ10とユーザ端末32との間の情報(歯列の画像、判定結果等)の送受信は、ウェブサイトおよび/またはいわゆるアプリ(アプリケーションソフトウェア)を介して行うことができる。
【0029】
なお、本明細書において、「歯列の画像」とは、特段の断りがない限り、ユーザ端末32を操作するユーザの歯列に透明または半透明のマウスピースが装着されている状態の画像を意味する(例えば、
図2)。また、「マウスピース」とは、歯列の矯正に用いられるものであれば特に限定されない。「透明または半透明」とは、後述するように画像において歯に対するマウスピースの浮き量の演算を可能にするマウスピースの特性をいう。すなわち、透明または半透明の程度は、画像においてマウスピースが装着される歯と区別されて、マウスピースを介して歯列が視認可能であれば、限定されない。また、歯列の画像として、
図2、
図3では、ユーザの顔(歯列)を正面および水平方向から見た画像を例示したが、ユーザすなわち歯列を下方および上方から見た画像を本開示に係る演算、判定等に用いてもよい。
【0030】
また、歯に対するマウスピースの「浮き量」とは、歯とマウスピースとの間の隙間であり(特に、
図2(C)では、着色により強調して表示されている。)、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定の基準になるものである。この判定基準として任意の閾値を設定することができる。例えば、閾値として、0~10%、好ましくは2~6%、より好ましくは3~5%の範囲内の値を設定できる。画像全体(例えば、
図2(A))の面積に対する浮き量(隙間)の割合が上記の閾値以下である場合、マウスピースの交換をさせる、または歯の矯正を完了させると判定される。
【0031】
浮き量の演算が行われる歯列中の歯の数は、矯正目的に応じて適宜設定変更でき、特に限定されない。マウスピースが装着された全ての歯に対して浮き量を演算してもよく、前歯のみを矯正する場合は、2~6本の歯に対して浮き量を演算してもよい。また、上下の歯列(例えば、4~12本)に対して浮き量を演算してもよい。
【0032】
<サーバ(コンピュータ)10>
サーバ10は、産業用コンピュータ、パーソナルコンピュータ、タブレット端末等から構成することができ、インターネットでアクセスできる物理サーバ内の仮想サーバでもよい。また、これらのハードウェアや仮想サーバは複数あってもよく、任意の組み合わせでもよい。
図1に示すサーバ10は、制御部12と、記憶部28と、通信部30とを備えている。
【0033】
(制御部12)
制御部12は、CPU(中央演算処理装置)やGPU(画像処理装置)等で構成され、サーバ10の動作を制御する。具体的には、制御部12は、後述する記憶部28に記憶されているプログラムを実行することにより、受付手段14、第1トリミング手段16、第2トリミング手段18、演算手段20、判定手段22、着色画像生成手段24、表示指示手段26等として機能する。なお、これらの機能は、1つ又は複数のそれぞれ独立したプログラムやアプリケーションを実行することにより発揮されてもよい。さらに、これらのプログラムやアプリケーションは、単一の端末(サーバ10)に設けられてもよいし、複数の端末(サーバ10を含む)に分散して設けられてもよく、後者の場合、有線ケーブルや通信ネットワーク50を介して相互に接続されてもよい。各手段については後述する。
【0034】
(記憶部28)
記憶部28は、例えばHDD(Hard Disk Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、SSD(Solid State Drive)などで構成されている。また、記憶部28はサーバ10に内蔵されるものに限定されず、サーバ10に着脱自在に装着可能な記憶媒体(例えば、USBメモリ)等であってもよい。また、記憶部28を設ける代わりに、他の記憶手段(クラウドサーバ等)に各種情報を保存してもよい。
【0035】
記憶部28は、第1学習済モデル320とその教師データ310として複数のユーザ端末32から受け付けた透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像(例えば、
図3)および各歯に対するマウスピースの浮き量(例えば、
図2(C)の強調表示)、第2学習済モデル220とその教師データ210として透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像およびトリミングされた歯列の画像(例えば、
図2(A)、(B))、閾値といった判定基準等を記憶できるようになっている。
【0036】
(通信部30)
通信部30は、無線または有線により制御部12を外部装置(例えば、ユーザ端末32等)と通信可能に接続するものである。制御部12は通信部30を介して外部装置に対して情報を送受信できる。
【0037】
(その他)
その他にも、サーバ10には、サーバ10の管理者が制御部12に対して様々な指令を与えることができるキーボード等の操作部(入力部)、制御部12から表示指令信号を受け取ることにより様々な画面を表示するモニタ等の表示部(出力部)を設けてもよい。ある実施形態では、これらの操作部および表示部が一体化したタッチパネル等の表示操作部が用いられてもよい。
【0038】
(制御部12の詳細)
(受付手段14)
受付手段14は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末32から受け付ける(
図4中「100」)。
【0039】
さらに、受付手段14は、ユーザ端末32からマウスピースの装着時間に関する情報も受け付けてもよい。この情報を、後述する判定手段22による判定処理に反映させることができる。例えば、1週間のうち、マウスピースの装着時間が所定時間(例えば、20時間)以上であった日が所定日数(4日)以上なかった場合、この際のマウスピースによる矯正効果は少ないと考えられる。そこで、このような場合、矯正効果を検証する必要性は低いと考えられ、判定処理を必ずしも行わなくともよい。
【0040】
(第1トリミング手段16)
第1トリミング手段16は、受付手段14が受け付けた歯列の画像から、歯列を含む第1バウンディングボックス16aで囲まれた画像をトリミングする(
図2(A)、
図4中「110」)。
図2(A)はトリミング後の例示的な画像を示し、16bはトリミング後の画像の余白を表している。こうして、演算手段20は、第1トリミング手段16によりトリミングされた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算してもよい。
【0041】
第1トリミング手段16は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像およびトリミングされた歯列の画像を含む教師データ210を用いることにより機械学習によって生成された第2学習済モデル220を用いて、受付手段14が受け付けた歯列の画像から歯列を含む第1バウンディングボックス16aで囲まれた画像をトリミングしてもよい。具体的には、第1トリミング手段16は、受付手段14により受け付けた画像を第2学習済モデル220に「入力」し、第2学習済モデル220から口外の部分をトリミングした口内の部分のみの画像を「出力」させることができる。この結果、演算手段20は、第1トリミング手段16により取得された画像に基づいて、各歯に対するマウスピースの浮き量を演算できる。「機械学習」としては、以上のような入力と出力ができれば特に限定されず、深層学習や教師あり学習等の様々な手法を用いることができる。
【0042】
ここで、第2学習済モデル220は概して以下のように生成することができる。まず、教師データ210として、複数のユーザにより撮像された未処理の画像を収集する。次に、各画像において、歯列に外接する矩形によってアノテーションを行い、別の教師データ210としてのアノテーションデータ(トリミングされた歯列の画像)を取得する。次に、これらの教師データ210を用いた学習により第2学習済モデル220が生成される(この際に重みなどのパラメータは更新、デプロイされる)。第2学習済モデル220の元となる学習モデルとして、R-CNN、SSD、YOLOなどを利用できるが、第2学習済モデル220は、YOLOモデルを用いて生成されたものであることが精度と速度の点で好ましい。
【0043】
(第2トリミング手段18)
第2トリミング手段18は、第1トリミング手段16によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックス18aで囲まれた画像および下歯列を含む第3バウンディングボックス18bで囲まれた画像をそれぞれトリミングする(
図2(B)、
図4中「120」)。なお、
図2(B)はトリミング後の画像である。こうして、演算手段20は、第2トリミング手段18によりトリミングされた上歯列の画像および下歯列の画像(
図2(B))に基づいて、各歯に対するマウスピースの浮き量を演算することもできる。
【0044】
第2トリミング手段18によるトリミングでも、上述したような機械学習や学習済モデルを用いることができる(不図示)。この学習済モデルは例えば以下のように生成することができる。まず、教師データとして、トリミングされた歯列の画像を収集する。次に、各画像において、上下の歯列に対して別々にアノテーションを行い、別の教師データとしてのアノテーションデータ(トリミングされた上下の歯列の画像)を取得する。次に、これらの教師データを用いた学習により学習済モデルが生成される(この際に重みなどのパラメータは更新、デプロイされる)。この学習済モデルを生成するため、YOLOモデルを用いることが精度と速度の点で好ましい。
【0045】
(演算手段20)
演算手段20は、受付手段14が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する(
図2(C))。ここでは、上述したように、画像に含まれる一部または全ての歯に対する浮き量を演算してもよい。
【0046】
演算手段20は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データ310を用いることにより機械学習によって生成された第1学習済モデル320を用いて、受付手段14が受け付けた歯列の画像から各歯に対するマウスピースの浮き量を演算してもよい。具体的には、演算手段20は、例えば、受付手段14により受け付けた画像を第1学習済モデル320に「入力」し、第1学習済モデル320から歯とマウスピースとの隙間の空間を浮き量として「出力」させることができる。この隙間は、画像に対してセグメンテーションを行い輪郭情報として取得することができる(
図4中「130」)。第1学習済モデル320は以下のように生成することができる。まず、教師データ310として、複数のユーザにより撮像された未処理の画像を収集する(あるいは、上下の別々にトリミングされた歯列の画像でもよい)。次に、各画像において、マウスピースと歯の隙間の輪郭に沿ってアノテーションを行い、別の教師データ310としてのアノテーションデータ(輪郭情報、浮き量)を取得する。次に、これらの教師データ310を用いた学習により第1学習済モデル320が生成される(この際に重みなどのパラメータは更新、デプロイされる)。このセグメンテーションモデルとしてYOLOを用いることが精度と速度の点で好ましい。
【0047】
演算手段20は、受付手段14が受け付けた画像における各歯から浮き出たマウスピースの領域のピクセル数に基づいて各歯に対するマウスピースの浮き量を演算することもできる。ここで、ユーザ端末32から送信される画像が所定の解像度となるように設定されていれば、画像の面積(ピクセル数)に基づき浮き量を容易に計算できるため好ましい。
【0048】
(判定手段22)
判定手段22は、演算手段20により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う(
図4中「150」)。なお、本開示では、歯列の矯正に複数の形状のマウスピースを用いることを前提としており、交換するマウスピースがなければ歯の矯正を完了する判定を行うこととなる。これに関連して、ユーザ視点の本開示に係る歯列矯正方法の概略的な処理フロー図である
図6において、浮き量が閾値以下であるかの判定後に、「最後のマウスピースか」否かも判定されている(ステップS65)。
【0049】
判定手段22は、上述のように、浮き量が所定の閾値以下であるか否かによるルールベースで判定を行ってもよい。また、歯毎に、演算された浮き量が異なる場合、最も大きな浮き量が閾値以下であるかによって判定してもよいし、浮き量の平均値が閾値を超えたかによって判定してもよい。
【0050】
受付手段14がユーザ端末32からマウスピースの装着時間に関する情報も受け付けた場合、判定手段22は、受付手段14が受け付けたマウスピースの装着時間に関する情報も参照して、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行ってもよく、浮き量の閾値を変更してもよい。なお、
図6に示す例では、一週間のうちマウスピースの装着時間が所定時間以上の日が所定日数以上でない場合、画像送信も行わずに、ユーザはマウスピース装着を所定の期間「延長」するようになっている。この所定の期間は、ユーザがマウスピースを装着しなかった日数や時間などに応じて設定できる。
【0051】
(着色画像生成手段24)
着色画像生成手段24は、受付手段14が受け付けた画像における各歯から浮き出たマウスピースの領域(浮き量)の着色を行う(
図2(C)、
図4中「140」)。このような着色方法として特に限定されず、当業者であれば所望の着色方法手段を採用することができる。
【0052】
(表示指示手段26)
表示指示手段26は、判定手段22による判定結果をユーザ端末32に表示させるようユーザ端末32に表示指示信号を送信する(
図4中「160」)。表示指示手段26は、着色画像生成手段24により着色が行われた歯列の画像をユーザ端末32に表示させるようユーザ端末32に表示指示信号を送信することもできる。
【0053】
(第1モデル生成手段300、第2モデル生成手段200)
第1モデル生成手段300および第2モデル生成手段200は、それぞれ教師データ310および210を用いて機械学習により第1学習済モデル320および第2学習済モデル220を生成する(
図4)。より具体的には、第1モデル生成手段300は、受付手段14により受け付けた画像が「入力」されれば、歯とマウスピースとの隙間の空間を浮き量として「出力」するように第1学習済モデル320を学習させる。第2モデル生成手段200は、受付手段14により受け付けた画像が「入力」されれば、口外の部分をトリミングした歯列の画像を「出力」させるように第2学習済モデル220を学習させる。このように、第1学習済モデル320および第2学習済モデル220は、外部装置で生成されたものに限定されず、サーバ10において生成されてもよい。なお、サーバ10に、第2トリミング手段18によるトリミングで用いられる学習済モデルを生成する手段が設けられていてもよい。
【0054】
第1学習済モデル320および/または第2学習済モデル220は、制御部12が記憶部28に記憶されているプログラムを実行することにより機能してもよく、あるいはサーバ10とは別の装置が所定のプログラムを実行することにより機能してもよい。後者の場合は、別の装置により生成された第1学習済モデル320および/または第2学習済モデル220は、サーバ10に送信され、このサーバ10の記憶部28に記憶される。
【0055】
なお、ユーザ端末32において、ユーザの正面視時のマウスピースが歯に装着されている歯列の画像、ユーザが右を向いたときのマウスピースが歯に装着されている歯列の画像およびユーザが左を向いたときのマウスピースが歯に装着されている歯列の画像がそれぞれ取得されるようになっている場合、受付手段14は、ユーザ端末32により取得された3つの画像をユーザ端末32から受け付け、演算手段20は、受付手段14が受け付けた歯列の3つの画像について、それぞれ各歯に対するマウスピースの浮き量を演算し、判定手段22は、3つの画像についての演算手段20により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行ってもよい。このように、同一ユーザから複数の画像を同時に受け付けた場合、全画像において浮き量が超えたかに基づき判定してもよいし、全画像の浮き量の平均値が閾値を超えたかに基づき判定してもよい。情報量(画像数、撮像角度等)に応じて判定基準を任意に決めることができ、総合的に矯正効果の判定をすることもできる。このような総合判定に用いる画像の数は3つに限定されず、矯正目的に応じて適宜増減することができる。
【0056】
<ユーザ端末32>
ユーザ端末32は、産業用コンピュータ、パーソナルコンピュータ、タブレット端末、携帯端末等から構成することができ、特に限定されない。本明細書において、「ユーザ」とは、マウスピースによる歯列の矯正中で、ユーザ端末32を操作してサーバ10に画像等の情報を送受信する者である。サーバ10との情報の送受信のため、ユーザ端末32は同一の端末である必要はなく、同一の登録情報(識別ID等)によって識別されれば、同一のユーザが異なるタイミングで異なるユーザ端末32を用いて情報の送受信を行ってもよい。
図1に示すユーザ端末32は、制御部34と、撮像部42と、(操作)表示部44と、記憶部46と、通信部48とを備えている。
【0057】
(制御部34)
制御部34は、CPU(中央演算処理装置)やGPU(画像処理装置)等で構成され、ユーザ端末32の動作を制御する。具体的には、制御部34は、後述する記憶部28に記憶されているプログラムを実行することにより、表示手段36、撮像手段38、送信手段40等として機能する。なお、これらの機能は、1つ又は複数のそれぞれ独立したプログラムやアプリケーションを実行することにより発揮されてもよい。さらに、これらのプログラムやアプリケーションは、単一の端末(ユーザ端末32)に設けられてもよいし、複数の端末(ユーザ端末32を含む)に分散して設けられてもよく、後者の場合、有線ケーブルや通信ネットワーク50を介して相互に接続されてもよい。
【0058】
表示手段36は、ユーザ端末32の撮像部42により歯列の撮像を行う際にユーザ端末32の表示部44に歯列の枠を表示させる(
図3参照)。表示手段36は、撮像部42により歯列の撮像を行う際に表示部44にユーザの正面視時の歯列の枠(
図3(A))、ユーザが右を向いたときの歯列の枠(
図3(B))およびユーザが左を向いたときの歯列の枠(
図3(C))を順次表示させてもよい。例えば、所定の時間毎に各枠を順次表示させてもよいし、画像の撮像毎に各枠を順次表示させてもよい。また、表示手段36は、サーバ10から送信された判定結果や着色が行われた歯列の画像を表示させることもできる。
【0059】
撮像手段38は、歯列の枠にユーザの歯列が入った場合に歯列の撮像を行う。このように自動で撮像されることにより、撮像距離を統一させ、ユーザによってシャッターボタンを押す場合のブレの発生を回避したり、より規格化された写真を撮像することが可能になる。前述のように複数の歯列の枠が表示される場合、撮像手段38は、それぞれ歯列の枠にユーザの歯列が入った場合に歯列の撮像を行うことにより、ユーザの正面視時の歯列の画像、ユーザが右を向いたときの歯列の画像およびユーザが左を向いたときの歯列の画像を取得してもよい。
【0060】
送信手段40は、撮像された歯列の画像を外部装置(サーバ10等)に送信(アップロード)する。
【0061】
(撮像部42)
撮像部42は、歯列の撮像を行う。撮像部42としては特に限定されないが、物体検出を行うAIカメラアプリとして歯列の枠にユーザの歯列が入った場合に歯列の撮像を自動的に行うことができるものが好ましい。
【0062】
(表示部44)
表示部44は、制御部34から表示指令信号を受け取ることにより歯列の枠を含む様々な画面を表示する。表示部44は、典型的にはモニタやディスプレイ等であるが、特に限定されない。ユーザ端末32には、ユーザが制御部34に対して様々な指令を与えることができるキーボード等の操作部(入力部)が設けられてもよく、ユーザ端末32がスマートフォン等の携帯電話の場合に、操作部および表示部が一体化したタッチパネル等の操作表示部44が用いられてもよい(
図1)。
【0063】
(記憶部46)
記憶部46は、例えばHDD(Hard Disk Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、SSD(Solid State Drive)などで構成されている。また、記憶部46はユーザ端末32に内蔵されるものに限定されず、ユーザ端末32に着脱自在に装着可能な記憶媒体(例えば、USBメモリ)等であってもよい。また、記憶部46を設ける代わりに、他の記憶手段(クラウドサーバ等)に各種情報を保存してもよい。
【0064】
(通信部48)
通信部48は、無線または有線により制御部34を外部装置(サーバ10等)と通信可能に接続するものである。制御部34は通信部48を介して外部装置に対して情報を送受信できる。
【0065】
[情報処理方法1]
次に、
図5、
図6を参照して上記した情報処理システム1における情報処理方法1について説明する。ここでは、サーバ10において、ユーザ端末32から受け付けた画像に基づいて演算された各歯に対するマウスピースの浮き量から、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定処理が行われる。以下の説明において、同一の参照符号が付された構成要素は上記した構成要素と同一であり、重複する説明は適宜省略する。なお、以下に示す処理は記憶部28に記憶されているプログラムを実行することにより行われるが、本開示に係る情報処理方法はこれに限定されない。
【0066】
まず、制御部12(受付手段14)は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末32から受け付ける(
図5、ステップS10)。
【0067】
次に、制御部12(第1トリミング手段16)は、受け付けた歯列の画像から、歯列を含む第1バウンディングボックス16aで囲まれた画像をトリミングする(
図5、ステップS20。
図2(A))。
【0068】
次に、制御部12(第2トリミング手段18)は、トリミングされた歯列の画像から、上歯列を含む第2バウンディングボックス18aで囲まれた画像および下歯列を含む第3バウンディングボックス18bで囲まれた画像をそれぞれトリミングする(
図5、ステップS30。
図2(B))。
【0069】
次に、制御部12(演算手段20)は、トリミングされた上歯列の画像および下歯列の画像から各歯に対するマウスピースの浮き量を演算する(
図5、ステップS40)。上述したように、ピクセル数に基づき浮き量を演算してもよく、浮き量の演算に際し、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データ310を用いることにより機械学習によって生成された第1学習済モデル320を用いてもよい。
【0070】
次に、制御部12(着色画像生成手段24)は、制御部12(受付手段14)が受け付けた画像における各歯から浮き出たマウスピースの領域の着色を行う(
図5、ステップS50。
図2(C))。
【0071】
次に、制御部12(判定手段22)は、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う(
図5、ステップS60)。上述したように、浮き量が閾値以下であるかに基づき判定を行ってもよい。
【0072】
次に、制御部12(表示指示手段26)は、判定結果および着色された歯列の画像をユーザ端末32に表示させるようユーザ端末32に表示指示信号を送信する(
図5、ステップS70)。
【0073】
なお、
図6に示すように、ステップS60の結果、マウスピースの交換をさせるかまたは歯の矯正を完了させると判定された場合(浮き量が閾値以下の場合、「YES」)、その時にユーザが装着しているマウスピースが最後のマウスピースであるか否かも判定され(ステップS65)、最後のマウスピースであれば(「YES」)、処理は終了する。この判定結果はユーザ端末32に送信される(
図5、ステップS70)。ステップS65でユーザが装着しているマウスピースが最後のマウスピースではないと判定されると(「NO」)、ユーザは次の治療ステップとして新たなマウスピースの装着を開始することになる。この判定結果もユーザ端末32に送信される(
図5、ステップS70)。他方、ステップS60の結果、浮き量が閾値を超える場合(「NO」)、ユーザはマウスピース装着を所定の期間「延長」することになり、この判定結果(さらに、着色された歯列の画像)も、ユーザ端末32に送信される(
図5、ステップS70)。
図6はユーザ視点の本開示に係る歯列矯正方法の概略的な処理フロー図であるが、ユーザによる各ステップ(行為)の前に、サーバ10からそのステップを促す通知を毎日(所定の時刻に)送信すれば、ユーザによるマウスピース装着を忘れること等を防止できるため好ましい。
【0074】
[情報処理方法2]
次に、
図7を参照して情報処理システム1における情報処理方法2について説明する。情報処理方法2は、ユーザ端末32において、本開示に係る判定対象となる画像を取得するためのプログラムが実行される例である。
【0075】
まず、制御部34(表示手段36)は、ユーザ端末32の撮像部42により歯列の撮像を行う際にユーザ端末32の表示部44に歯列の枠を表示させる(ステップS110)。
【0076】
次に、制御部34(撮像手段38)は、歯列の枠に透明または半透明のマウスピースが歯に装着されているユーザの歯列が入ると、歯列の撮像を行う(ステップS120)。
【0077】
次に、制御部34(送信手段40)は、撮像された歯列の画像を外部装置に送信する(ステップS130)。なお、送信手段40は、ユーザによる入力によりマウスピースの装着時間に関する情報も送信してもよい。
【0078】
[情報処理方法3]
次に、
図8を参照して情報処理システム1における情報処理方法3について説明する。情報処理方法3は、情報処理方法2における処理に加えて、上述したサーバ10で実行されるプログラムがユーザ端末32で実行される例である。すなわち、受付手段14や表示指示手段26以外の演算手段20や判定手段22等に相当するプログラムがユーザ端末32の制御部34によって実行される。
図8のステップS210、S220は、情報処理方法2の
図7に示すステップS110、S120に対応するため、その説明は省略する。
【0079】
ステップS220の後、制御部34(演算手段20)は、撮像された歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する(ステップS230)。
【0080】
次に、
図5のステップS60のように、制御部34(判定手段22)は、演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う(ステップS240)。
【0081】
次に、制御部34(表示手段36)は、判定結果を表示部44に表示させる(ステップS250)。
【0082】
以上のような情報処理方法は一例であり、処理の流れは上記したものに限定されない。例えば、情報処理方法1において、画像において各歯から浮き出たマウスピースの領域の着色を行う着色工程(ステップS50)は、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う判定工程(ステップS60)の後に行われてもよい。同様に、情報処理方法3において、判定工程(ステップS240)の後に、
図5のステップS50のように制御部34(着色画像生成手段24)により画像において各歯から浮き出たマウスピースの領域の着色を行い、ステップS250においてこの着色させた歯列の画像を表示部44に表示させてもよい。
【0083】
以上のような構成からなる本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、受付手段14と、演算手段20と、判定手段22と、が設けられる。受付手段14は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末32から受け付け、演算手段20は、受付手段14が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、判定手段22は、演算手段20により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う。また、本開示に係る一実施形態において、ユーザ端末32において、表示手段36と、撮像手段38と、送信手段40と、が設けられる。表示手段36は、ユーザ端末32の撮像部42により歯列の撮像を行う際にユーザ端末32の表示部44に歯列の枠を表示させ、撮像手段38は、歯列の枠にユーザの歯列が入った場合に歯列の撮像を行い、送信手段40は、撮像された歯列の画像を外部装置に送信する。
【0084】
従来、予め準備された形状の異なる複数のマウスピースを歯列に装着させることにより日常生活で歯列の矯正を行うにあたり、ユーザは定期的に歯科医に通わなければならず、負担が大きいという課題があった。この課題に対し、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法によれば、ユーザの歯列の画像に基づいて各歯に対するマウスピースの浮き量を演算し、浮き量に基づいてマウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行うことができ、歯列の矯正を行うにあたりユーザの負担を軽減することが可能となる。そして、上述のように、ユーザ端末32の表示部44に歯列の枠を表示させ、このような歯列の枠に歯列が入ったときに歯列の撮像を行うようにすれば、ユーザの歯列の画像を効率的に取得することができる。
【0085】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、演算手段20は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像および各歯に対するマウスピースの浮き量を含む教師データ310を用いることにより機械学習によって生成された第1学習済モデル320を用いて、受付手段14が受け付けた歯列の画像から各歯に対するマウスピースの浮き量を演算してもよい。このように、AIを利用して自動的に効率よく判定対象となる浮き量の演算が可能となる。
【0086】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、演算手段20は、受付手段14が受け付けた画像における各歯から浮き出たマウスピースの領域のピクセル数に基づいて各歯に対するマウスピースの浮き量を演算してもよい。このように、ピクセル数(画像面積)に基づき浮き量を計算することもできる。
【0087】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、受付手段14が受け付けた歯列の画像から、歯列を含む第1バウンディングボックス16aで囲まれた画像をトリミングする第1トリミング手段16を更に設けてもよく、この場合、演算手段20は、第1トリミング手段16によりトリミングされた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する。このように、浮き量の演算に関係ない口外の画像情報(特徴量)を省くことにより、後続の演算処理や判定処理(セグメンテーションを含む)を安定化できる。
【0088】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、第1トリミング手段16は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像およびトリミングされた歯列の画像を含む教師データ210を用いることにより機械学習によって生成された第2学習済モデル220を用いて、受付手段14が受け付けた歯列の画像から歯列を含む第1バウンディングボックス16aで囲まれた画像をトリミングしてもよい。このように、AIを利用して自動的に効率よく判定対象となる浮き量の演算が可能となる。
【0089】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、第2学習済モデル220は、YOLOモデルを用いて生成されたものであってもよい。YOLOモデルを用いて第2学習済モデル220を生成することが、精度と速度の点で好ましい。
【0090】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、第1トリミング手段16によりトリミングされた歯列の画像から、上歯列を含む第2バウンディングボックス18aで囲まれた画像および下歯列を含む第3バウンディングボックス18bで囲まれた画像をそれぞれトリミングする第2トリミング手段18を更に設けてもよく、この場合、演算手段20は、第2トリミング手段18によりトリミングされた上歯列の画像および下歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算する。このように、このように、浮き量の演算に関係ない口内の画像情報(特徴量)を省くことにより、後続の演算処理や判定処理(セグメンテーションを含む)を安定化できる。
【0091】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、受付手段14は、ユーザ端末32からマウスピースの装着時間に関する情報も受け付け、判定手段22は、受付手段14が受け付けたマウスピースの装着時間に関する情報も参照して、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行ってもよい。所定の時間マウスピースを装着していないと矯正治療の効果が得られないことがあるため、そもそも演算処理や判定処理を行わなくともよい(
図6)。
【0092】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、判定手段22による判定結果をユーザ端末32に表示させるようユーザ端末32に表示指示信号を送信する表示指示手段26が更に設けられてもよい。こうして、通院を要せずに、歯科医による診断と同様に今後の治療ステップとして同じマウスピースを使うのか別のマウスピースを使うのか、あるいは歯列矯正が完了するのかについての説明を提供することができる。
【0093】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、受付手段14が受け付けた画像における各歯から浮き出たマウスピースの領域の着色を行う着色画像生成手段24が更に設けられてもよい。この場合、表示指示手段26は、着色画像生成手段24により着色が行われた歯列の画像をユーザ端末32に表示させるようユーザ端末32に表示指示信号を送信する。こうして、通院を要せずに、ユーザに浮き量を提示することができ、歯科医による診断と同様に今後の治療ステップについて説得力のある説明を提供することができる。
【0094】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、ユーザ端末32において、ユーザの正面視時のマウスピースが歯に装着されている歯列の画像、ユーザが右を向いたときのマウスピースが歯に装着されている歯列の画像およびユーザが左を向いたときのマウスピースが歯に装着されている歯列の画像がそれぞれ取得されるようになっている場合、受付手段14は、ユーザ端末32により取得された3つの画像をユーザ端末32から受け付け、演算手段20は、受付手段14が受け付けた歯列の3つの画像について、それぞれ各歯に対するマウスピースの浮き量を演算し、判定手段22は、3つの画像についての演算手段20により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行ってもよい。こうして、矯正目的(歯の数、位置等)や情報量(画像数、撮像角度等)に応じて判定基準を決めることもでき、各画像に基づき総合的に矯正効果を判定できる。
【0095】
また、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法において、表示手段36は、撮像部42により歯列の撮像を行う際に表示部44にユーザの正面視時の歯列の枠、ユーザが右を向いたときの歯列の枠およびユーザが左を向いたときの歯列の枠を順次表示させ、撮像手段38は、それぞれ歯列の枠にユーザの歯列が入った場合に歯列の撮像を行うことにより、ユーザの正面視時の歯列の画像、ユーザが右を向いたときの歯列の画像およびユーザが左を向いたときの歯列の画像を取得してもよい。こうして、上述したような総合判定を効率的に行うことができる。
【0096】
なお、本開示に係る情報処理システム1、コンピュータ(サーバ10、ユーザ端末32)、プログラムおよび情報処理方法は、上述したような態様や組み合わせに限定されることはなく、様々な変更を加えることができる。
【符号の説明】
【0097】
1 情報処理システム
10 サーバ(コンピュータ)
12 制御部
14 受付手段
16 第1トリミング手段
16a 第1バウンディングボックス
16b 余白
18 第2トリミング手段
18a 第2バウンディングボックス
18b 第3バウンディングボックス
20 演算手段
22 判定手段
24 着色画像生成手段
26 表示指示手段
28 記憶部
30 通信部
32 ユーザ端末
34 制御部
36 表示手段
38 撮像手段
40 送信手段
42 撮像部
44 (操作)表示部
46 記憶部
48 通信部
50 通信ネットワーク
200 第2モデル生成手段
210 教師データ
220 第2学習済モデル
300 第1モデル生成手段
310 教師データ
320 第1学習済モデル
【要約】
【課題】歯列の矯正を行うにあたりユーザの負担を軽減することができるプログラム、コンピュータおよび情報処理方法を提供する。
【解決手段】 受付手段14と、演算手段20と、判定手段22と、が設けられる。受付手段14は、透明または半透明のマウスピースが歯に装着されているユーザの歯列の画像をユーザ端末32から受け付け、演算手段20は、受付手段14が受け付けた歯列の画像に基づいて、各歯に対するマウスピースの浮き量を演算し、判定手段22は、演算手段20により演算された浮き量に基づいて、マウスピースの交換をさせるか否かまたは歯の矯正を完了させるか否かの判定を行う。
【選択図】
図2