IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 奈良先端科学技術大学院大学の特許一覧 ▶ 株式会社NOVENINEの特許一覧

特開2022-132256口腔内画像撮像装置および歯科診断支援システム
<>
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図1
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図2
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図3
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図4
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図5
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図6
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図7
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図8
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図9
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図10
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図11
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図12
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図13
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図14
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図15
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図16
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図17
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図18
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図19
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図20
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図21
  • 特開-口腔内画像撮像装置および歯科診断支援システム 図22
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022132256
(43)【公開日】2022-09-08
(54)【発明の名称】口腔内画像撮像装置および歯科診断支援システム
(51)【国際特許分類】
   A61C 19/04 20060101AFI20220901BHJP
【FI】
A61C19/04 Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2021031284
(22)【出願日】2021-02-27
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(71)【出願人】
【識別番号】519158654
【氏名又は名称】株式会社NOVENINE
(74)【代理人】
【識別番号】110000822
【氏名又は名称】特許業務法人グローバル知財
(72)【発明者】
【氏名】松田 裕貴
(72)【発明者】
【氏名】片山 洋平
(72)【発明者】
【氏名】諏訪 博彦
(72)【発明者】
【氏名】松井 智一
(72)【発明者】
【氏名】竹山 旭
(72)【発明者】
【氏名】上田 啓太
(72)【発明者】
【氏名】川口 珠里
【テーマコード(参考)】
4C052
【Fターム(参考)】
4C052AA06
4C052NN02
4C052NN03
4C052NN04
4C052NN05
(57)【要約】
【課題】歯科診断に必要な口腔内画像を容易かつ正確に撮像できる装置及び該画像を用いた歯科診断支援システムを提供する。
【解決手段】カメラ手段2、口領域拡大治具3及びマーカ4で構成される。マーカ4は複数で構成され、口領域拡大治具3の配置位置を識別するために利用される。口腔内画像撮像装置1aは、マーカ4が配置された口領域拡大治具3を取付けた被写体の口腔内画像をカメラ手段2で撮影するものである。カメラ手段2で撮影する画像を表示と共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段を備えることでもよい。
【選択図】図1
【特許請求の範囲】
【請求項1】
カメラ手段と、
口領域拡大治具と、
前記口領域拡大治具の配置位置を識別するための複数のマーカ、を備え、
前記マーカが配置された前記口領域拡大治具を取付けた被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする口腔内画像撮像装置。
【請求項2】
前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、
各々の口腔内画像には、少なくとも1つの前記マーカが映り込むように、前記口領域拡大治具に前記マーカが配置されることを特徴とする請求項1に記載の口腔内画像撮像装置。
【請求項3】
前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、
各々の口腔内画像には、少なくとも2つの前記マーカが映り込むように、前記口領域拡大治具に前記マーカが配置されることを特徴とする請求項1に記載の口腔内画像撮像装置。
【請求項4】
前記マーカは、前記口領域拡大治具の左右に4個ずつ配置され、正面観を撮影した場合には4個、上顎咬合面観、下顎咬合面観、左側側方面観、又は右側側方面観から撮影した場合には2個、撮影画像に映り込むように配置されることを特徴とする請求項3に記載の口腔内画像撮像装置。
【請求項5】
前記カメラ手段は、撮影時に前記マーカを検出した時に自動で撮影することを特徴とする請求項1~4の何れかに記載の口腔内画像撮像装置。
【請求項6】
カメラ手段と、
前記カメラ手段で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段、を備え、
前記ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする口腔内画像撮像装置。
【請求項7】
口領域拡大治具を更に備え、
前記ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、前記口領域拡大治具を取付けた被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする請求項6に記載の口腔内画像撮像装置。
【請求項8】
前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影することを特徴とする請求項6又は7に記載の口腔内画像撮像装置。
【請求項9】
口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の少なくとも2ラベルに分類する分類モデルを用いる演算部、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末を備え、
前記カメラ部が、前記口腔内画像撮像装置における前記カメラ手段として用いられ、
前記演算部は、請求項1~8の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を前記分類モデルに入力し、前記2ラベルに分類して前記口領域画像にラベル付けすることを特徴とする歯科診断支援システム。
【請求項10】
口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の少なくとも2ラベルに分類する第1の分類モデルを用いる第1演算部と、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末と、
前記診断利用不可以外を診断利用可と不可の2ラベルに分類する第2の分類モデルを用いる第2演算部を備える歯科診断支援サーバとから構成され、
前記カメラ部が、前記口腔内画像撮像装置における前記カメラ手段として用いられ、
前記歯科診断支援端末は、請求項1~8の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を第1の分類モデルに入力して演算を行い、前記診断利用不可以外に分類された前記口領域画像を前記歯科診断支援サーバへ送信し、前記歯科診断支援サーバから撮影終了データを受信したタイミングで撮影を終了し、
前記歯科診断支援サーバは、前記診断利用不可以外に分類された前記口領域画像を取り込み、第2の分類モデルを用いて演算を行い、診断利用可に分類された前記口領域画像をメモリに保存すると共に撮影終了データを前記歯科診断支援端末へ送信する、
ことを特徴とする歯科診断支援システム。
【請求項11】
前記分類モデルの学習において、
診断利用可のラベルが付けられた前記口領域画像において歯科医師が注目する画素領域がぼかされた画像、及び、診断利用不可のラベルが付けられた前記口領域画像を左右反転した画像は、診断利用不可のラベルが付加されることを特徴とする請求項9又は10に記載の歯科診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔での歯科診断を支援する技術に関するものである。
【背景技術】
【0002】
近年、口腔ケアが健康寿命の延伸に重要であることが分かってきている。また、COVID-19の影響下で、オンライン診断の普及が求められている。
オンラインでの口腔ケアについては、スマートフォンを用いて、舌の画像を撮影して判定ボタンを押すと、人工知能(AI)を活用して導き出したアルゴリズムによって、5段階で口臭リスクを判定する口臭ケアアプリが知られている(非特許文献1を参照)。これは、生理的口臭の主な原因である舌の汚れに着目したものである。
【0003】
また、スマートフォンで撮影した歯ぐきの画像から特徴量を抽出し、特徴量によって歯周病を発見するAIを用いた技術が知られている(非特許文献2を参照)。これは、歯ぐきの色情報、歯周病独特の形状に着目したものである。
【0004】
また、スマートフォンのカメラで口腔内を撮影し,どこにどんな疾患あるのかを画像認識する技術が知られている(非特許文献3を参照)。
【0005】
これらの技術は何れも口腔内環境の診断を行うものであり、ユーザが口腔内の写真撮影ができることを前提としているが、口腔内の写真撮影を行うことは、初心者にとっては相当に難しいといえる。また、撮影する画像についても、口腔内写真の5枚撮影法での正面観のみであり、歯科医師が診断に使用する撮影方法とは異なるという問題がある。
【0006】
他方、歯科手術の中でも特にインプラント手術において、手術の安全性や正確性を高めるために、PCと、HMD装置と、有線のWebカメラと、PCに接続されたモニターを用いて、3次元CT画像をWebカメラ等により撮影された術部の実像の画像に重ね合わせて表示して、インプラント手術を補助する技術が知られている(特許文献1を参照)。そして、特許文献1に開示される技術では、患者の歯牙に被せるキャップに、3次元位置座標検出用の識別表示として、ARマーカを取り付けている。
しかしながら、歯科医師等の専門家が使用するものではなく、一般のユーザが自身で、自己の口腔内を撮影し、オンラインでの歯科診断に利用するものとしては、ARマーカなどを用いた技術は見当たらないのが現状である。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2018-19772号公報
【非特許文献】
【0008】
【非特許文献1】口臭ケアアプリ RePERO ライオン(登録商標)(https://repero.lion.co.jp/)
【非特許文献2】東北大学とドコモ(登録商標)、歯周病発見AIの共同研究を開始-スマートフォンを使って歯周病検診の受診率向上をめざす-(https://www.nttdocomo.co.jp/info/news_release/2019/02/21_00.html)
【非特許文献3】YuanLiang, et al., “OralCam: EnablingSelf-Examination and Awareness of Oral Health Using a Smartphone Camera”,Proceedings of the 2020CHI Conference on Human Factors in Computing Systems,2020.4.
【発明の概要】
【発明が解決しようとする課題】
【0009】
かかる状況に鑑みて、本発明は、歯科診断に必要な口腔内画像を容易かつ正確に撮像できる口腔内画像撮像装置及び口腔内画像を用いた歯科診断支援システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明の第1の観点の口腔内画像撮像装置は、カメラ手段と、口領域拡大治具と、口領域拡大治具の配置位置を識別するための複数のマーカを備え、マーカが配置された口領域拡大治具を取付けた被写体の口腔内画像をカメラ手段で撮影する。
口領域拡大治具に複数のマーカが配置されることにより、カメラ手段で撮影した被写体の口腔内画像中に、マーカが映り込み、口腔内の歯牙等の位置や向き、角度、大きさなどを判別できることになる。マーカとしては、ARマーカが好適に用いられるが、QRコード(登録商標)などのその他の二次元コードを用いてもよい。
ここで、口領域拡大治具としては、口角に装着し拡張する公知のアングルワイダー(「口角鈎」、「口角鉤」、「オーラルワイダー」などとも言われる。)を幅広く利用可能である。カメラ手段としては、携帯電話、スマートフォン、タブレット端末などが備えるカメラが好適に用いられるが、その他PC内蔵のカメラや、デジタルカメラ等を用いてもよい。
【0011】
本発明の第1の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、各々の口腔内画像には、少なくとも1つのマーカが映り込むように、口領域拡大治具にマーカが配置されることでもよい。
正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の5種類の口腔内画像を撮影することにより、口腔内写真の5枚撮影法を用いて口腔内画像を撮影することが可能になる。また、口腔内写真の9枚撮影法や13枚撮影法を用いてもよい。
口腔内画像にマーカが映り込むことにより、マーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどを判別できる。
【0012】
本発明の第1の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影するものであり、各々の口腔内画像には、少なくとも2つのマーカが映り込むように、口領域拡大治具にマーカが配置されることが好ましい。
口腔内画像に少なくとも2つのマーカが映り込むことにより、マーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。
【0013】
本発明の第1の観点の口腔内画像撮像装置において、各々の口腔内画像に少なくとも2つのマーカが映り込むように口領域拡大治具にマーカが配置される場合には、マーカは、口領域拡大治具の左右に4個ずつ配置され、正面観を撮影した場合には4個、上顎咬合面観、下顎咬合面観、左側側方面観、又は右側側方面観から撮影した場合には2個、撮影画像に映り込むように配置されることが好ましい。
マーカがかかる配置とされることにより、多様な角度から口腔内画像を撮影した場合でも、複数のマーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。
【0014】
本発明の第1の観点の口腔内画像撮像装置において、カメラ手段は、撮影時にマーカを検出した時に自動で撮影することが好ましい。
マーカを検出した時に自動で撮影することにより、撮影を行う者が初心者であっても歯科診断に適した高品質な画像を容易に撮影でき、利便性が向上する。
【0015】
本発明の第2の観点の口腔内画像撮像装置は、カメラ手段と、カメラ手段で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段を備え、ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、被写体の口腔内画像をカメラ手段で撮影する。
ディスプレイ手段を備えることにより、カメラ手段による口腔内画像の撮影時に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示することができ、歯科診断に適した高品質な口腔内画像を容易に撮影できる。
なお、本発明の第2の観点の口腔内画像撮像装置は、口領域拡大治具を更に備え、ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、前記口領域拡大治具を取付けた被写体の口腔内画像をカメラ手段で撮影することが好ましい。
【0016】
本発明の第2の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも5種類の口腔内画像を撮影することが好ましい。
【0017】
本発明の第1の観点の歯科診断支援システムは、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の少なくとも2ラベルに分類する分類モデルを用いる演算部、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末を備える。カメラ部が、上述の本発明の口腔内画像撮像装置におけるカメラ手段として用いられる。演算部は、上記の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を分類モデルに入力し、2ラベルに分類して口領域画像にラベル付けする。
演算部を備えることにより、取得した口腔内画像を基に、診断利用可や診断利用不可といったラベル付けを行うことが可能になり、歯科医師等の専門家による口腔内画像の診断が容易となる。歯科診断支援端末としては、公知のカメラ付きの携帯電話、スマートフォン、タブレット端末などが好適に用いられるが、その他のPCや、デジタルカメラ等を用いてもよいし、またこれらを併用することでもよい。
【0018】
本発明の第2の観点の歯科診断支援システムは、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の少なくとも2ラベルに分類する第1の分類モデルを用いる第1演算部と、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末と、診断利用不可以外を診断利用可と不可の2ラベルに分類する第2の分類モデルを用いる第2演算部を備える歯科診断支援サーバとから構成される。カメラ部が、上述の本発明の口腔内画像撮像装置におけるカメラ手段として用いられる。歯科診断支援端末は、上記の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を第1の分類モデルに入力して演算を行い、診断利用不可以外に分類された口領域画像を歯科診断支援サーバへ送信し、歯科診断支援サーバから撮影終了データを受信したタイミングで撮影を終了する。歯科診断支援サーバは、診断利用不可以外に分類された口領域画像を取り込み、第2の分類モデルを用いて演算を行い、診断利用可に分類された口領域画像をメモリに保存すると共に撮影終了データを歯科診断支援端末へ送信する。
【0019】
歯科診断支援端末が第1演算部を備え、さらに歯科診断支援サーバが第2演算部を備えることにより、例えば、歯科診断支援端末においては、診断利用不可と診断利用不可以外の分類のみを行い、歯科診断支援サーバおいては、歯科診断支援端末において診断利用不可以外と分類された口領域画像についてのみ、診断利用可と不可の2ラベルに分類することが可能になり、迅速かつ正確な分類が可能となる。
なお、撮影終了データの送信とは、撮影が正常に完了した旨の通知などのことである。
【0020】
本発明の第1又は第2の観点の歯科診断支援システムは、分類モデルの学習において、診断利用可のラベルが付けられた口領域画像において歯科医師が注目する画素領域がぼかされた画像、及び、診断利用不可のラベルが付けられた口領域画像を左右反転した画像は、診断利用不可のラベルが付加されることが好ましい。
歯科医師が注目する画素領域がぼかされた画像につき、診断利用不可のラベルが付加されることにより、専門家の知見を分類モデルの学習に利用することができ、より精度の高い分類モデルの学習が可能となる。また、診断利用不可のラベルが付けられた口領域画像を左右反転した画像につき、診断利用不可のラベルが付加されることにより、効率的かつ効果的に学習用画像データを増幅することができ、より精度の高い分類モデルの学習が可能となる。
【発明の効果】
【0021】
本発明の口腔内画像撮像装置及び歯科診断支援システムによれば、歯科診断に利用できる口腔内画像を容易に撮像し診断に活用できるといった効果がある。
【図面の簡単な説明】
【0022】
図1】実施例1の口腔内画像撮像装置の機能ブロック図
図2】実施例1のマーカ付き口領域拡大治具の外観図
図3】実施例1のマーカ付き口領域拡大治具の背面図
図4】右口角支持部の斜視図
図5】左口角支持部の斜視図
図6】マーカ付き口領域拡大治具の使用イメージ図
図7】実施例2の口腔内画像撮像装置の機能ブロック図
図8】実施例2のディスプレイ手段の実装イメージ図
図9】実施例3の歯科診断支援システムの機能ブロック図
図10】実施例3の歯科診断支援システムの概略フロー図
図11】実施例3の歯科診断支援システムの構成図
図12】口領域画像のぼかし加工イメージ図
図13】口領域画像の左右反転イメージ図
図14】正面観の撮像イメージ図
図15】上顎咬合面観の撮像イメージ図
図16】下顎咬合面観の撮像イメージ図
図17】左側側方面観の撮像イメージ図
図18】右側側方面観の撮像イメージ図
図19】口領域画像の生成イメージ図
図20】実施例4の歯科診断支援システムの機能ブロック図
図21】実施例4の歯科診断支援システムの概略フロー図
図22】実施例4の歯科診断支援システムの構成図
【発明を実施するための形態】
【0023】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0024】
図1は、実施例1の口腔内画像撮像装置の機能ブロック図を示している。図1に示すように、口腔内画像撮像装置1aは、カメラ手段2、口領域拡大治具3及びマーカ4で構成される。マーカ4は複数で構成され、口領域拡大治具3の配置位置を識別するために利用される。口腔内画像撮像装置1aは、マーカ4が配置された口領域拡大治具3を取付けた被写体の口腔内画像をカメラ手段2で撮影するものである。
【0025】
図2は、実施例1のマーカ付き口領域拡大治具の外観図であり、(1)は正面図、(2)は平面図を示している。図2(1)に示すように、マーカ付き口領域拡大治具30は、口領域拡大治具3及びARマーカ(4a~4h)から成る。口領域拡大治具3は、右口角支持部31、左口角支持部32及びアーム部33から成り、アーム部33の左右端部に、右口角支持部31及び左口角支持部32が設けられている。右口角支持部31は、右口角に当接する箇所であり、左口角支持部32は、左口角に当接する箇所である。右口角支持部31の正面にはARマーカ(4a,4b)が設けられ、側面にはARマーカ(4e,4f)が設けられている。また同様に、左口角支持部32の正面にはARマーカ(4c,4d)が設けられ、側面にはARマーカ(4g,4h)が設けられている。なお、マーカ4としては、必ずしもARマーカを用いる必要はなく、QRコード(登録商標)などのその他の二次元コードを用いてもよい。
【0026】
図2(2)に示すように、右口角支持部31には凹み部31aが形成され、左口角支持部32には凹み部32aが形成されている。凹み部(31a,32a)が形成されることにより、ユーザ(図示せず)の唇をしっかり支持できる構造となっている。マーカ付き口領域拡大治具30に用いられる口領域拡大治具3は、図1等に示す形状や構造に限られず、口角に装着し拡張する公知のアングルワイダーを幅広く利用可能である。
図3は、実施例1のマーカ付き口領域拡大治具の背面図を示している。図3に示すように、右口角支持部31又は左口角支持部32の背面側には、ARマーカは設けられていない。
【0027】
図4は、右口角支持部の斜視図を示している。また、図5は、左口角支持部の斜視図を示している。図4に示すように、右口角支持部31の正面にはARマーカ(4a,4b)が設けられ、側面にはARマーカ(4e,4f)が設けられている。また、図5に示すように、左口角支持部32の正面にはARマーカ(4c,4d)が設けられ、側面にはARマーカ(4g,4h)が設けられている。このように異なる向きにARマーカが設けられることにより、正面から画像を撮像した場合には、ARマーカ(4a~4d)が撮像され、斜方や側方から画像を撮像した場合には、ARマーカ(4e~4h)が撮像され、多様な角度からARマーカを含めた画像の撮影が可能となっている。
【0028】
図6は、マーカ付き口領域拡大治具の使用イメージ図を示している。図6に示すように、マーカ付き口領域拡大治具30は、公知のアングルワイダーの装着と同様に、ユーザ12の口角に装着して使用する。アーム部33は弾性力のある素材で形成されており、図6では、ユーザ12の口角に装着することで、上唇13及び下唇14がそれぞれ上下に拡張され、かつ右口角支持部31及び左口角支持部32によりユーザ12の口角が左右に拡張されている。ユーザ12がマーカ付き口領域拡大治具30を装着することにより、ユーザ12の上顎の歯牙15や、下顎の歯牙16、歯肉19などが視認しやすくなっている。
また、ユーザ12がマーカ付き口領域拡大治具30を装着したまま、口腔内を撮影すると、同時に複数のARマーカ(4a~4h)が撮像される構造となっている。ARマーカ(4a~4h)は、それぞれ配置されている位置や角度がコンピュータ(図示せず)に記憶されているため、1枚の画像中に異なる2つ以上のARマーカが撮像されれば、撮像された画像中の歯牙(15,16)や歯肉19などの位置や角度を判別することが可能である。
【実施例0029】
図7は、実施例2の口腔内画像撮像装置の機能ブロック図を示している。図7に示すように、口腔内画像撮像装置1bは、カメラ手段2、口領域拡大治具3及びディスプレイ手段5で構成される。ディスプレイ手段5は、カメラ手段2で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するものである。なお、本実施例とは異なり、口領域拡大治具3を備えない構成でもよい。
【0030】
図8は、実施例2のディスプレイ手段の実装イメージ図であり、(1)は特定の歯牙のレイアウトイメージ、(2)は歯列の位置及び角度を示すレイアウトイメージを示している。図8(1)に示すように、画面イメージ23aは、口腔内画像撮像装置1bにおけるディスプレイ手段5の実装イメージであり、ここでは上顎右側の犬歯15cを模したイメージがレイアウトイメージ18aとして表示されている。レイアウトイメージ18aが画面イメージ23a上に表示されることにより、カメラ手段2を用いて口腔内画像を撮影する際の、撮像箇所の位置合わせが容易となる。
【0031】
また、レイアウトイメージは、図8(1)に示すような歯牙を模したイメージに限られず、図8(2)に示すように、縦横の破線で歯列の位置や角度を示すものでもよい。図8(2)のレイアウトイメージ18bでは、縦の破線で、歯列の中央の位置すなわち中切歯15aと中切歯15bの間、又は中切歯16aと中切歯16bの間となる位置を示している。また、横の破線で、上顎の歯牙15と下顎の歯牙16の噛み合わせが水平となるように位置及び角度を示している。
ディスプレイ手段5が撮影アングル調整のための口腔内歯列のレイアウトイメージ(18a,18b)を表示した状態で、口領域拡大治具3を取付けたユーザ12の口腔に取付けた口腔内画像をカメラ手段2で撮影する。
このように、口腔内画像撮像装置1bがディスプレイ手段5を備えることにより、診断に適した口腔内写真を容易に撮影することが可能となる。
【実施例0032】
図9は、実施例3の歯科診断支援システムの機能ブロック図を示している。図9に示すように、歯科診断支援システム100aは、口腔内画像撮像装置1c及び歯科診断支援端末10aで構成される。口腔内画像撮像装置1cは、カメラ手段2、口領域拡大治具3、複数のマーカ4及びディスプレイ手段5から成る。また、歯科診断支援端末10aは、演算部6、データ通信部7、カメラ部20及びディスプレイ部50から成る。歯科診断支援端末10aにおけるカメラ部20が、口腔内画像撮像装置1cにおけるカメラ手段2として用いられる。また、歯科診断支援端末10aにおけるディスプレイ部50が、口腔内画像撮像装置1cにおけるディスプレイ手段5として用いられる。
演算部6は、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の2ラベルに分類する分類モデルを用いるものである。
【0033】
ここで、演算部6において用いられる分類モデルの学習について説明する。図12は、口領域画像のぼかし加工イメージ図であり、(1)は加工前、(2)は加工後を示している。図12(1)の口領域画像22hは、正面観の口領域画像例であり、診断利用可のラベルが付けられたものである。かかる正面観の口領域画像22hにおいて、歯科医師が注目する画素領域が、例えば口領域画像22hにおける中切歯(15a,15b,16a,16b)及び側切歯(15i,15j,16i,16j)が含まれる領域であるとすると、図12(2)に示すように、中切歯(15a,15b,16a,16b)及び側切歯(15i,15j,16i,16j)が含まれる領域にぼかし加工を施す。口領域画像22iには、中切歯(15a,15b,16a,16b)及び側切歯(15i,15j,16i,16j)を覆うようにぼかし加工部25が設けられている。このような口領域画像22iを分類モデルの学習に利用することで、専門家の知見を分類モデルの学習に利用することができ、より精度の高い分類モデルの学習が可能となる。
【0034】
図13は、口領域画像の左右反転イメージ図であり、(1)は反転前、(2)は反転後を示している。図13(1)の口領域画像22jは、左側側方面観の口領域画像例であり、診断利用不可のラベルが付けられたものである。そして、口領域画像22jを左右反転した画像が、図13(2)の口領域画像22kであり、口領域画像22kについても診断利用不可のラベルが付けられる。したがって、例えば口領域画像22jにおける犬歯15cは、上顎の右側の犬歯であるが、左右反転することによって、口領域画像22kでは、上顎の左側の犬歯と扱われ、分類モデルの学習に利用されることになる。これにより、効率的かつ効果的に学習用画像データを増幅することができ、より精度の高い分類モデルの学習が可能となる。
このような学習により得られた分類モデルの精度について、下記表1を用いて説明する。
【0035】
【表1】
【0036】
上記表1は、正面観、左側側方面観、右側側方面観、上顎咬合面観又は下顎咬合面観の5種類の口腔内画像について、人間の基本精度、機械の基本精度及び実施例3の分類モデルの3つを比較したものである。なお、基本精度とは、合計枚数に対して判定が同じとなったものの割合を算出したものである。
表1に示されるように、実施例3の分類モデルの精度は、機械の基本精度に対して、左側側方面観については1.44%、右側側方面観については6.9%の向上に止まったが、正面観では10.48%、上顎咬合面観では23.29%、下顎咬合面観では17.07%と大幅な向上が見られた。このように、実施例3の分類モデルでは、従来技術よりも著しく分類精度が向上していることがわかる。
【0037】
図10は、実施例3の歯科診断支援システムの概略フロー図を示している。また、図11は、実施例3の歯科診断支援システムの構成図を示している。図10に示すように、口腔内画像撮像装置1cによって口腔内画像を取得する(ステップS01)。図9に示す演算部6は、取得した口腔内画像を入力する(ステップS02)。
【0038】
口腔内画像撮像装置1cによる口腔内画像の取得(ステップS01)と、演算部6による口腔内画像の入力(ステップS02)について、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の5種類の口腔内画像に関する撮影イメージ図を参照しながら説明する。図14~18は、何れもユーザ12の口角にマーカ付き口領域拡大治具30が装着され、上唇13及び下唇14が上下に拡張され、かつ、右口角支持部31及び左口角支持部32が口角を左右に拡張した状態となっている。
ARマーカ(4a~4h)には、それぞれ固有の識別情報が割り当てられており、ARマーカ(4a~4h)の位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。ここでの識別情報には、ユーザを識別する情報を含めてもよい。
【0039】
図14は、正面観の撮像イメージ図を示している。図14に示すように、口腔内画像21aには、ユーザ12の上顎の歯牙15や、下顎の歯牙16、歯肉19などが撮像されている。また、口腔内画像21aには、右口角支持部31に設けられたARマーカ(4a,4b)及び左口角支持部32に設けられたARマーカ(4c,4d)が映り込んでいる。
口腔内画像の5枚撮影法では、正面観を撮影する場合、歯列の正中すなわち中切歯15aと中切歯15bの間、又は中切歯16aと中切歯16bの間が画像中央となるように撮影するのが一般的であるが、ARマーカ(4a~4d)の位置などから、破線Lに示すような、中切歯15aと中切歯15bの間、又は中切歯16aと中切歯16bの間の位置を算出することが可能である。
また、口腔内画像の5枚撮影法では、正面観を撮影する場合、上顎の歯牙15と下顎の歯牙16の噛み合わせが水平となるように撮影するのが一般的であるが、ARマーカ(4a~4d)の位置などから、破線Lに示すように、上顎の歯牙15と下顎の歯牙16の噛み合わせ時の凡その向きや角度を算出することが可能である。これにより、例えば、ユーザ12が自身でスマートフォン等の歯科診断支援端末10aを用いて口腔内画像を撮影した場合でも、ARマーカ(4a~4d)の位置などから、口腔内の歯牙等の位置や向き、角度、大きさなどを判別し、診断に適切な口領域を検出し切り出すことが可能である。
なお、利便性を向上させるため、カメラ20による撮影時においては、マーカを検出した時に自動で撮影することでもよい。
【0040】
図15は、上顎咬合面観の撮像イメージ図を示している。図15に示すように、口腔内画像21bには、ユーザ12の上顎の歯牙15や、舌17、歯肉19などが撮像されている。また、口腔内画像21bには、右口角支持部31に設けられたARマーカ4e及び左口角支持部32に設けられたARマーカ4gが映り込んでいる。
口腔内画像の5枚撮影法では、上顎咬合面観を撮影する場合、歯列の正中すなわち中切歯15aと中切歯15bの間が画像中央となるように撮影するのが一般的であるが、ARマーカ(4e,4g)の位置などから、破線Lに示すような、中切歯15aと中切歯15bの間の位置を算出することが可能である。また、ARマーカ(4e,4g)の位置などから、奥歯である第一大臼歯(15e,15f)や第二大臼歯(15i,15j)の噛合わせ面についても凡その位置や角度等を算出可能である。
【0041】
図16は、下顎咬合面観の撮像イメージ図を示している。図16に示すように、口腔内画像21cには、ユーザ12の下顎の歯牙16や、舌17、歯肉19などが撮像されている。また、口腔内画像21cには、右口角支持部31に設けられたARマーカ4f及び左口角支持部32に設けられたARマーカ4hが映り込んでいる。
口腔内画像の5枚撮影法では、下顎咬合面観を撮影する場合、歯列の正中すなわち中切歯16aと中切歯16bの間が画像中央となるように撮影するのが一般的であるが、ARマーカ(4f,4h)の位置などから、破線Lに示すような、中切歯16aと中切歯16bの間の位置を算出することが可能である。また、ARマーカ(4f,4h)の位置などから、奥歯である第一大臼歯(16e,16f)や第二大臼歯(16i,16j)の噛合わせ面についても凡その位置や角度等を算出可能である。
【0042】
図17は、左側側方面観の撮像イメージ図を示している。図17に示すように、口腔内画像21dには、ユーザ12の上顎の歯牙15や、下顎の歯牙16、歯肉19などが撮像されている。また、口腔内画像21dには、右口角支持部31に設けられたARマーカ(4a,4b)が映り込んでいる。
口腔内画像の5枚撮影法では、左側側方面観を撮影する場合、上顎の右の犬歯15cが真ん中となるように撮影するのが一般的であるが、ARマーカ(4a,4b)の位置などから、破線Lに示すように上顎の右の犬歯15cの凡その位置を算出することが可能である。
また、口腔内画像の5枚撮影法では、左側側方面観を撮影する場合、上顎の歯牙15と下顎の歯牙16の噛み合わせが水平となるように撮影するのが一般的であるが、ARマーカ(4a,4b)の位置などから、破線Lに示すように、上顎の歯牙15と下顎の歯牙16の噛み合わせ時の凡その向きや角度を算出することが可能である。
【0043】
図18は、右側側方面観の撮像イメージ図を示している。図18に示すように、口腔内画像21eには、ユーザ12の上顎の歯牙15や、下顎の歯牙16、歯肉19などが撮像されている。また、口腔内画像21eには、左口角支持部32に設けられたARマーカ(4c,4d)が映り込んでいる。
口腔内画像の5枚撮影法では、右側側方面観を撮影する場合、上顎の左の犬歯15dが真ん中となるように撮影するのが一般的であるが、ARマーカ(4c,4d)の位置などから、破線Lに示すように上顎の犬歯15dの凡その位置を算出することが可能である。
また、口腔内画像の5枚撮影法では、右側側方面観を撮影する場合、上顎の歯牙15と下顎の歯牙16の噛み合わせが水平となるように撮影するのが一般的であるが、ARマーカ(4c,4d)の位置などから、破線Lに示すように、上顎の歯牙15と下顎の歯牙16の噛み合わせ時の凡その向きや角度を算出することが可能である。
【0044】
図10に示すように、演算部6は、取得した口腔内画像を入力した後(ステップS02)、口領域を検出し切り出す(ステップS03)。図19は、口領域画像の生成イメージ図であり、(1)はバウンディングボックスの生成イメージ図、(2)は口領域画像イメージ図を示している。図19(1)に示すように、口腔内画像21aに撮像されたARマーカ(4a~4d)を基に、バウンディングボックス24が生成されている。図19(2)に示すように、バウンディングボックス24内の画像は、口領域画像22lとして切り出される。
【0045】
図11に示すように、演算部6は、切り出した口領域画像22aを分類モデル9aに入力する(ステップS04)。分類モデル9aは、診断利用可と不可の2ラベルに分類して口領域画像22aにラベル付けする(ステップS05)。図11に示す口領域画像22bは、分類モデル9aに入力された口領域画像22aの内、診断利用可と分類されラベル付けされたものであり、口領域画像22cは、分類モデル9aに入力された口領域画像22aの内、診断利用不可と分類されラベル付けされたものである。
【0046】
歯科診断支援端末10aは、診断利用可と分類されラベル付けされた口領域画像22bに関するデータを、ユーザを識別する情報と共に、データ通信部7により、歯科医師等が使用する専門家端末11へと送信することができる。歯科医師等が使用する専門家端末11は、診断利用可と判断された口領域画像22bを受信し、診断を行う。歯科医師等の専門家は、歯科診断支援システム100aにより、診断利用可とラベル付けされた口領域画像22bのみを受信し診断することができるため、効率的かつ効果的な診断が可能となる。
【実施例0047】
図20は、実施例4の歯科診断支援システムの機能ブロック図を示している。図20に示すように、歯科診断支援システム100bは、口腔内画像撮像装置1c、歯科診断支援端末10b及び歯科診断支援サーバ8で構成される。口腔内画像撮像装置1cは、カメラ手段2、口領域拡大治具3、複数のマーカ4及びディスプレイ手段5から成る。また、歯科診断支援端末10bは、第1演算部61、データ通信部7、カメラ部20及びディスプレイ部50から成る。歯科診断支援端末10bにおけるカメラ部20が、口腔内画像撮像装置1cにおけるカメラ手段2として用いられる。また、歯科診断支援端末10bにおけるディスプレイ部50が、口腔内画像撮像装置1cにおけるディスプレイ手段5として用いられる。第1演算部61は、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の2ラベルに分類する第1の分類モデルを用いるものである。
歯科診断支援サーバ8は、第2演算部62及びメモリ80から成る。第2演算部62は、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可以外を診断利用可と不可の2ラベルに分類する第2の分類モデルを用いるものである。また、メモリ80は、診断利用可に分類された口領域画像を保存するものである。
【0048】
図21は、実施例4の歯科診断支援システムの概略フロー図を示している。また、図22は、実施例4の歯科診断支援システムの構成図を示している。
図21に示すように、まず、口腔内画像撮像装置1cによって口腔内画像を取得する(ステップS11)。第1演算部61は、取得した口腔内画像を入力して(ステップS12)、口領域を検出し切り出す(ステップS13)。第1演算部61は、図22に示すように、切り出した口領域画像22aを第1の分類モデル9bに入力する(ステップS14)。図22に示す口領域画像22dは、第1の分類モデル9bに入力された口領域画像22aの内、診断利用不可以外と分類されラベル付けされたものであり、口領域画像22eは、第1の分類モデル9bに入力された口領域画像22aの内、診断利用不可と分類されラベル付けされたものである。
歯科診断支援端末10bは、診断利用不可以外に分類された口領域画像22dに関するデータを、ユーザを識別する情報と共に、データ通信部7により、歯科診断支援サーバ8へ送信する(ステップS15)。
【0049】
歯科診断支援サーバ8において、第2演算部62は、診断利用不可以外に分類された口領域画像22dを第2の分類モデル9cに入力する(ステップS16)。図22に示す口領域画像22fは、第2の分類モデル9cに入力された口領域画像22dの内、診断利用可と分類されラベル付けされたものであり、口領域画像22gは、第2の分類モデル9cに入力された口領域画像22dの内、診断利用不可と分類されラベル付けされたものである。
歯科診断支援サーバ8は、診断利用可に分類された口領域画像22fをメモリ80に保存すると共に撮影終了データを歯科診断支援端末10bへ送信する(ステップS17)。
また、歯科診断支援サーバ8は、診断利用可と分類されラベル付けされた口領域画像22fに関するデータを、ユーザを識別する情報と共に、歯科医師等が使用する専門家端末11へと送信することができる。歯科医師等が使用する専門家端末11は、診断利用可と判断された口領域画像22fを受信し、診断を行う。歯科医師等の専門家は、歯科診断支援システム100bにより、診断利用可とラベル付けされた口領域画像22fのみを受信し診断することができるため、効率的かつ効果的な診断が可能となる。
【産業上の利用可能性】
【0050】
本発明は、歯科医師等の専門家が診断するための患者の口腔内画像を撮像する装置や、該画像を用いた歯科診断支援システムとして有用である。
【符号の説明】
【0051】
1a~1c 口腔内画像撮像装置
2 カメラ手段
3 口領域拡大治具
4 マーカ
4a~4h ARマーカ
5 ディスプレイ手段
6 演算部
7 データ通信部
8 歯科診断支援サーバ
9a 分類モデル
9b 第1の分類モデル
9c 第2の分類モデル
10a,10b 歯科診断支援端末
11 専門家端末
12 ユーザ
13 上唇
14 下唇
15 上顎の歯牙
15a,15b,16a,16b 中切歯
15c,15d 犬歯
15e,15f,16e,16f 第一大臼歯
15g,15h,16g,16h 第二大臼歯
15i,15j,16i,16j 側切歯
16 下顎の歯牙
17 舌
18a,18b レイアウトイメージ
19 歯肉
20 カメラ部
21a~21e 口腔内画像
22a~22l 口領域画像
23a,23b 画面イメージ
24 バウンディングボックス
25 ぼかし加工部
30 マーカ付き口領域拡大治具
31 右口角支持部
31a,32a 凹み部
32 左口角支持部
33 アーム部
50 ディスプレイ部
61 第1演算部
62 第2演算部
80 メモリ
100a,100b 歯科診断支援システム
~L 破線
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22