(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022132256
(43)【公開日】2022-09-08
(54)【発明の名称】口腔内画像撮像装置および歯科診断支援システム
(51)【国際特許分類】
A61C 19/04 20060101AFI20220901BHJP
【FI】
A61C19/04 Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021031284
(22)【出願日】2021-02-27
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(71)【出願人】
【識別番号】519158654
【氏名又は名称】株式会社NOVENINE
(74)【代理人】
【識別番号】110000822
【氏名又は名称】特許業務法人グローバル知財
(72)【発明者】
【氏名】松田 裕貴
(72)【発明者】
【氏名】片山 洋平
(72)【発明者】
【氏名】諏訪 博彦
(72)【発明者】
【氏名】松井 智一
(72)【発明者】
【氏名】竹山 旭
(72)【発明者】
【氏名】上田 啓太
(72)【発明者】
【氏名】川口 珠里
【テーマコード(参考)】
4C052
【Fターム(参考)】
4C052AA06
4C052NN02
4C052NN03
4C052NN04
4C052NN05
(57)【要約】
【課題】歯科診断に必要な口腔内画像を容易かつ正確に撮像できる装置及び該画像を用いた歯科診断支援システムを提供する。
【解決手段】カメラ手段2、口領域拡大治具3及びマーカ4で構成される。マーカ4は複数で構成され、口領域拡大治具3の配置位置を識別するために利用される。口腔内画像撮像装置1aは、マーカ4が配置された口領域拡大治具3を取付けた被写体の口腔内画像をカメラ手段2で撮影するものである。カメラ手段2で撮影する画像を表示と共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段を備えることでもよい。
【選択図】
図1
【特許請求の範囲】
【請求項1】
カメラ手段と、
口領域拡大治具と、
前記口領域拡大治具の配置位置を識別するための複数のマーカ、を備え、
前記マーカが配置された前記口領域拡大治具を取付けた被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする口腔内画像撮像装置。
【請求項2】
前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、
各々の口腔内画像には、少なくとも1つの前記マーカが映り込むように、前記口領域拡大治具に前記マーカが配置されることを特徴とする請求項1に記載の口腔内画像撮像装置。
【請求項3】
前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、
各々の口腔内画像には、少なくとも2つの前記マーカが映り込むように、前記口領域拡大治具に前記マーカが配置されることを特徴とする請求項1に記載の口腔内画像撮像装置。
【請求項4】
前記マーカは、前記口領域拡大治具の左右に4個ずつ配置され、正面観を撮影した場合には4個、上顎咬合面観、下顎咬合面観、左側側方面観、又は右側側方面観から撮影した場合には2個、撮影画像に映り込むように配置されることを特徴とする請求項3に記載の口腔内画像撮像装置。
【請求項5】
前記カメラ手段は、撮影時に前記マーカを検出した時に自動で撮影することを特徴とする請求項1~4の何れかに記載の口腔内画像撮像装置。
【請求項6】
カメラ手段と、
前記カメラ手段で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段、を備え、
前記ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする口腔内画像撮像装置。
【請求項7】
口領域拡大治具を更に備え、
前記ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、前記口領域拡大治具を取付けた被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする請求項6に記載の口腔内画像撮像装置。
【請求項8】
前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影することを特徴とする請求項6又は7に記載の口腔内画像撮像装置。
【請求項9】
口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の少なくとも2ラベルに分類する分類モデルを用いる演算部、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末を備え、
前記カメラ部が、前記口腔内画像撮像装置における前記カメラ手段として用いられ、
前記演算部は、請求項1~8の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を前記分類モデルに入力し、前記2ラベルに分類して前記口領域画像にラベル付けすることを特徴とする歯科診断支援システム。
【請求項10】
口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の少なくとも2ラベルに分類する第1の分類モデルを用いる第1演算部と、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末と、
前記診断利用不可以外を診断利用可と不可の2ラベルに分類する第2の分類モデルを用いる第2演算部を備える歯科診断支援サーバとから構成され、
前記カメラ部が、前記口腔内画像撮像装置における前記カメラ手段として用いられ、
前記歯科診断支援端末は、請求項1~8の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を第1の分類モデルに入力して演算を行い、前記診断利用不可以外に分類された前記口領域画像を前記歯科診断支援サーバへ送信し、前記歯科診断支援サーバから撮影終了データを受信したタイミングで撮影を終了し、
前記歯科診断支援サーバは、前記診断利用不可以外に分類された前記口領域画像を取り込み、第2の分類モデルを用いて演算を行い、診断利用可に分類された前記口領域画像をメモリに保存すると共に撮影終了データを前記歯科診断支援端末へ送信する、
ことを特徴とする歯科診断支援システム。
【請求項11】
前記分類モデルの学習において、
診断利用可のラベルが付けられた前記口領域画像において歯科医師が注目する画素領域がぼかされた画像、及び、診断利用不可のラベルが付けられた前記口領域画像を左右反転した画像は、診断利用不可のラベルが付加されることを特徴とする請求項9又は10に記載の歯科診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔での歯科診断を支援する技術に関するものである。
【背景技術】
【0002】
近年、口腔ケアが健康寿命の延伸に重要であることが分かってきている。また、COVID-19の影響下で、オンライン診断の普及が求められている。
オンラインでの口腔ケアについては、スマートフォンを用いて、舌の画像を撮影して判定ボタンを押すと、人工知能(AI)を活用して導き出したアルゴリズムによって、5段階で口臭リスクを判定する口臭ケアアプリが知られている(非特許文献1を参照)。これは、生理的口臭の主な原因である舌の汚れに着目したものである。
【0003】
また、スマートフォンで撮影した歯ぐきの画像から特徴量を抽出し、特徴量によって歯周病を発見するAIを用いた技術が知られている(非特許文献2を参照)。これは、歯ぐきの色情報、歯周病独特の形状に着目したものである。
【0004】
また、スマートフォンのカメラで口腔内を撮影し,どこにどんな疾患あるのかを画像認識する技術が知られている(非特許文献3を参照)。
【0005】
これらの技術は何れも口腔内環境の診断を行うものであり、ユーザが口腔内の写真撮影ができることを前提としているが、口腔内の写真撮影を行うことは、初心者にとっては相当に難しいといえる。また、撮影する画像についても、口腔内写真の5枚撮影法での正面観のみであり、歯科医師が診断に使用する撮影方法とは異なるという問題がある。
【0006】
他方、歯科手術の中でも特にインプラント手術において、手術の安全性や正確性を高めるために、PCと、HMD装置と、有線のWebカメラと、PCに接続されたモニターを用いて、3次元CT画像をWebカメラ等により撮影された術部の実像の画像に重ね合わせて表示して、インプラント手術を補助する技術が知られている(特許文献1を参照)。そして、特許文献1に開示される技術では、患者の歯牙に被せるキャップに、3次元位置座標検出用の識別表示として、ARマーカを取り付けている。
しかしながら、歯科医師等の専門家が使用するものではなく、一般のユーザが自身で、自己の口腔内を撮影し、オンラインでの歯科診断に利用するものとしては、ARマーカなどを用いた技術は見当たらないのが現状である。
【先行技術文献】
【特許文献】
【0007】
【非特許文献】
【0008】
【非特許文献1】口臭ケアアプリ RePERO ライオン(登録商標)(https://repero.lion.co.jp/)
【非特許文献2】東北大学とドコモ(登録商標)、歯周病発見AIの共同研究を開始-スマートフォンを使って歯周病検診の受診率向上をめざす-(https://www.nttdocomo.co.jp/info/news_release/2019/02/21_00.html)
【非特許文献3】YuanLiang, et al., “OralCam: EnablingSelf-Examination and Awareness of Oral Health Using a Smartphone Camera”,Proceedings of the 2020CHI Conference on Human Factors in Computing Systems,2020.4.
【発明の概要】
【発明が解決しようとする課題】
【0009】
かかる状況に鑑みて、本発明は、歯科診断に必要な口腔内画像を容易かつ正確に撮像できる口腔内画像撮像装置及び口腔内画像を用いた歯科診断支援システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明の第1の観点の口腔内画像撮像装置は、カメラ手段と、口領域拡大治具と、口領域拡大治具の配置位置を識別するための複数のマーカを備え、マーカが配置された口領域拡大治具を取付けた被写体の口腔内画像をカメラ手段で撮影する。
口領域拡大治具に複数のマーカが配置されることにより、カメラ手段で撮影した被写体の口腔内画像中に、マーカが映り込み、口腔内の歯牙等の位置や向き、角度、大きさなどを判別できることになる。マーカとしては、ARマーカが好適に用いられるが、QRコード(登録商標)などのその他の二次元コードを用いてもよい。
ここで、口領域拡大治具としては、口角に装着し拡張する公知のアングルワイダー(「口角鈎」、「口角鉤」、「オーラルワイダー」などとも言われる。)を幅広く利用可能である。カメラ手段としては、携帯電話、スマートフォン、タブレット端末などが備えるカメラが好適に用いられるが、その他PC内蔵のカメラや、デジタルカメラ等を用いてもよい。
【0011】
本発明の第1の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、各々の口腔内画像には、少なくとも1つのマーカが映り込むように、口領域拡大治具にマーカが配置されることでもよい。
正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の5種類の口腔内画像を撮影することにより、口腔内写真の5枚撮影法を用いて口腔内画像を撮影することが可能になる。また、口腔内写真の9枚撮影法や13枚撮影法を用いてもよい。
口腔内画像にマーカが映り込むことにより、マーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどを判別できる。
【0012】
本発明の第1の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、各々の口腔内画像には、少なくとも2つのマーカが映り込むように、口領域拡大治具にマーカが配置されることが好ましい。
口腔内画像に少なくとも2つのマーカが映り込むことにより、マーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。
【0013】
本発明の第1の観点の口腔内画像撮像装置において、各々の口腔内画像に少なくとも2つのマーカが映り込むように口領域拡大治具にマーカが配置される場合には、マーカは、口領域拡大治具の左右に4個ずつ配置され、正面観を撮影した場合には4個、上顎咬合面観、下顎咬合面観、左側側方面観、又は右側側方面観から撮影した場合には2個、撮影画像に映り込むように配置されることが好ましい。
マーカがかかる配置とされることにより、多様な角度から口腔内画像を撮影した場合でも、複数のマーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。
【0014】
本発明の第1の観点の口腔内画像撮像装置において、カメラ手段は、撮影時にマーカを検出した時に自動で撮影することが好ましい。
マーカを検出した時に自動で撮影することにより、撮影を行う者が初心者であっても歯科診断に適した高品質な画像を容易に撮影でき、利便性が向上する。
【0015】
本発明の第2の観点の口腔内画像撮像装置は、カメラ手段と、カメラ手段で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段を備え、ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、被写体の口腔内画像をカメラ手段で撮影する。
ディスプレイ手段を備えることにより、カメラ手段による口腔内画像の撮影時に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示することができ、歯科診断に適した高品質な口腔内画像を容易に撮影できる。
なお、本発明の第2の観点の口腔内画像撮像装置は、口領域拡大治具を更に備え、ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、前記口領域拡大治具を取付けた被写体の口腔内画像をカメラ手段で撮影することが好ましい。
【0016】
本発明の第2の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影することが好ましい。
【0017】
本発明の第1の観点の歯科診断支援システムは、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の少なくとも2ラベルに分類する分類モデルを用いる演算部、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末を備える。カメラ部が、上述の本発明の口腔内画像撮像装置におけるカメラ手段として用いられる。演算部は、上記の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を分類モデルに入力し、2ラベルに分類して口領域画像にラベル付けする。
演算部を備えることにより、取得した口腔内画像を基に、診断利用可や診断利用不可といったラベル付けを行うことが可能になり、歯科医師等の専門家による口腔内画像の診断が容易となる。歯科診断支援端末としては、公知のカメラ付きの携帯電話、スマートフォン、タブレット端末などが好適に用いられるが、その他のPCや、デジタルカメラ等を用いてもよいし、またこれらを併用することでもよい。
【0018】
本発明の第2の観点の歯科診断支援システムは、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の少なくとも2ラベルに分類する第1の分類モデルを用いる第1演算部と、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末と、診断利用不可以外を診断利用可と不可の2ラベルに分類する第2の分類モデルを用いる第2演算部を備える歯科診断支援サーバとから構成される。カメラ部が、上述の本発明の口腔内画像撮像装置におけるカメラ手段として用いられる。歯科診断支援端末は、上記の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を第1の分類モデルに入力して演算を行い、診断利用不可以外に分類された口領域画像を歯科診断支援サーバへ送信し、歯科診断支援サーバから撮影終了データを受信したタイミングで撮影を終了する。歯科診断支援サーバは、診断利用不可以外に分類された口領域画像を取り込み、第2の分類モデルを用いて演算を行い、診断利用可に分類された口領域画像をメモリに保存すると共に撮影終了データを歯科診断支援端末へ送信する。
【0019】
歯科診断支援端末が第1演算部を備え、さらに歯科診断支援サーバが第2演算部を備えることにより、例えば、歯科診断支援端末においては、診断利用不可と診断利用不可以外の分類のみを行い、歯科診断支援サーバおいては、歯科診断支援端末において診断利用不可以外と分類された口領域画像についてのみ、診断利用可と不可の2ラベルに分類することが可能になり、迅速かつ正確な分類が可能となる。
なお、撮影終了データの送信とは、撮影が正常に完了した旨の通知などのことである。
【0020】
本発明の第1又は第2の観点の歯科診断支援システムは、分類モデルの学習において、診断利用可のラベルが付けられた口領域画像において歯科医師が注目する画素領域がぼかされた画像、及び、診断利用不可のラベルが付けられた口領域画像を左右反転した画像は、診断利用不可のラベルが付加されることが好ましい。
歯科医師が注目する画素領域がぼかされた画像につき、診断利用不可のラベルが付加されることにより、専門家の知見を分類モデルの学習に利用することができ、より精度の高い分類モデルの学習が可能となる。また、診断利用不可のラベルが付けられた口領域画像を左右反転した画像につき、診断利用不可のラベルが付加されることにより、効率的かつ効果的に学習用画像データを増幅することができ、より精度の高い分類モデルの学習が可能となる。
【発明の効果】
【0021】
本発明の口腔内画像撮像装置及び歯科診断支援システムによれば、歯科診断に利用できる口腔内画像を容易に撮像し診断に活用できるといった効果がある。
【図面の簡単な説明】
【0022】
【
図1】実施例1の口腔内画像撮像装置の機能ブロック図
【
図2】実施例1のマーカ付き口領域拡大治具の外観図
【
図3】実施例1のマーカ付き口領域拡大治具の背面図
【
図7】実施例2の口腔内画像撮像装置の機能ブロック図
【
図8】実施例2のディスプレイ手段の実装イメージ図
【
図9】実施例3の歯科診断支援システムの機能ブロック図
【
図10】実施例3の歯科診断支援システムの概略フロー図
【
図20】実施例4の歯科診断支援システムの機能ブロック図
【
図21】実施例4の歯科診断支援システムの概略フロー図
【発明を実施するための形態】
【0023】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0024】
図1は、実施例1の口腔内画像撮像装置の機能ブロック図を示している。
図1に示すように、口腔内画像撮像装置1aは、カメラ手段2、口領域拡大治具3及びマーカ4で構成される。マーカ4は複数で構成され、口領域拡大治具3の配置位置を識別するために利用される。口腔内画像撮像装置1aは、マーカ4が配置された口領域拡大治具3を取付けた被写体の口腔内画像をカメラ手段2で撮影するものである。
【0025】
図2は、実施例1のマーカ付き口領域拡大治具の外観図であり、(1)は正面図、(2)は平面図を示している。
図2(1)に示すように、マーカ付き口領域拡大治具30は、口領域拡大治具3及びARマーカ(4a~4h)から成る。口領域拡大治具3は、右口角支持部31、左口角支持部32及びアーム部33から成り、アーム部33の左右端部に、右口角支持部31及び左口角支持部32が設けられている。右口角支持部31は、右口角に当接する箇所であり、左口角支持部32は、左口角に当接する箇所である。右口角支持部31の正面にはARマーカ(4a,4b)が設けられ、側面にはARマーカ(4e,4f)が設けられている。また同様に、左口角支持部32の正面にはARマーカ(4c,4d)が設けられ、側面にはARマーカ(4g,4h)が設けられている。なお、マーカ4としては、必ずしもARマーカを用いる必要はなく、QRコード(登録商標)などのその他の二次元コードを用いてもよい。
【0026】
図2(2)に示すように、右口角支持部31には凹み部31aが形成され、左口角支持部32には凹み部32aが形成されている。凹み部(31a,32a)が形成されることにより、ユーザ(図示せず)の唇をしっかり支持できる構造となっている。マーカ付き口領域拡大治具30に用いられる口領域拡大治具3は、
図1等に示す形状や構造に限られず、口角に装着し拡張する公知のアングルワイダーを幅広く利用可能である。
図3は、実施例1のマーカ付き口領域拡大治具の背面図を示している。
図3に示すように、右口角支持部31又は左口角支持部32の背面側には、ARマーカは設けられていない。
【0027】
図4は、右口角支持部の斜視図を示している。また、
図5は、左口角支持部の斜視図を示している。
図4に示すように、右口角支持部31の正面にはARマーカ(4a,4b)が設けられ、側面にはARマーカ(4e,4f)が設けられている。また、
図5に示すように、左口角支持部32の正面にはARマーカ(4c,4d)が設けられ、側面にはARマーカ(4g,4h)が設けられている。このように異なる向きにARマーカが設けられることにより、正面から画像を撮像した場合には、ARマーカ(4a~4d)が撮像され、斜方や側方から画像を撮像した場合には、ARマーカ(4e~4h)が撮像され、多様な角度からARマーカを含めた画像の撮影が可能となっている。
【0028】
図6は、マーカ付き口領域拡大治具の使用イメージ図を示している。
図6に示すように、マーカ付き口領域拡大治具30は、公知のアングルワイダーの装着と同様に、ユーザ12の口角に装着して使用する。アーム部33は弾性力のある素材で形成されており、
図6では、ユーザ12の口角に装着することで、上唇13及び下唇14がそれぞれ上下に拡張され、かつ右口角支持部31及び左口角支持部32によりユーザ12の口角が左右に拡張されている。ユーザ12がマーカ付き口領域拡大治具30を装着することにより、ユーザ12の上顎の歯牙15や、下顎の歯牙16、歯肉19などが視認しやすくなっている。
また、ユーザ12がマーカ付き口領域拡大治具30を装着したまま、口腔内を撮影すると、同時に複数のARマーカ(4a~4h)が撮像される構造となっている。ARマーカ(4a~4h)は、それぞれ配置されている位置や角度がコンピュータ(図示せず)に記憶されているため、1枚の画像中に異なる2つ以上のARマーカが撮像されれば、撮像された画像中の歯牙(15,16)や歯肉19などの位置や角度を判別することが可能である。