特開 2024-69126 推定方法、推定装置、推定システム、制御プログラム、および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024069126

(43)【公開日】2024-05-21

(54)【発明の名称】推定方法、推定装置、推定システム、制御プログラム、および記録媒体

(51)【国際特許分類】

   A61C 19/06 20060101AFI20240514BHJP

   A61C 19/00 20060101ALI20240514BHJP

   G16H 50/00 20180101ALI20240514BHJP

【ＦＩ】

A61C19/06 A

A61C19/00 A

G16H50/00

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023059175

(22)【出願日】2023-03-31

(31)【優先権主張番号】P 2022179822

(32)【優先日】2022-11-09

(33)【優先権主張国・地域又は機関】JP

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(71)【出願人】

【識別番号】000138185

【氏名又は名称】株式会社モリタ製作所

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】岡 真太郎

(72)【発明者】

【氏名】西本 真太朗

(72)【発明者】

【氏名】園部 興一

【テーマコード（参考）】

4C052

5L099

【Ｆターム（参考）】

4C052AA06

4C052NN03

4C052NN15

5L099AA04

(57)【要約】

【課題】施術時における治療部位の誤認を防止する。
【解決手段】推定方法は、施術を受ける対象者の顔の撮像画像において、対象者の口よりも頭頂側に位置する顔の部位である第１ランドマーク（Ｍ１）の位置、該口よりも胴体側に位置する顔の部位である第２ランドマーク（Ｍ２）の位置、および施術に用いられる器具の位置（Ｋ）を検出する検出工程と、撮像画像における第１ランドマーク（Ｍ１）の位置および第２ランドマーク（Ｍ２）の位置によって規定される第１線（Ｙ）と器具との相対的な位置関係を推定する推定工程とを含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

施術を受ける対象者の顔を撮像した撮像画像において、前記対象者の口よりも頭頂側に位置する前記顔の部位である第１目印の位置、該口よりも胴体側に位置する前記顔の部位である第２目印の位置、および前記施術に用いられる器具の所定部位の位置を検出する検出工程と、
前記撮像画像における、前記第１目印の位置および前記第２目印の位置によって規定される第１線と前記器具の前記所定部位との相対的な位置関係を推定する推定工程と、を含む、推定方法。

【請求項2】

前記第１目印は、左鼻翼と右鼻翼とを結んだ線分の中点、人中、鼻柱のうちの少なくともいずれかである、
請求項１に記載の推定方法。

【請求項3】

前記第２目印は、あご先を示すオトガイである、
請求項１に記載の推定方法。

【請求項4】

前記施術は、口腔内および歯のうちのいずれかに対する施術であり、
前記器具は、コントラアングルハンドピース、デンタルミラー、注射器、バキューム・ヘーベル、抜歯鉗子、ピンセット、充填器、エアタービンハンドピース、エアスケーラー、および超音波スケーラーのうちの少なくともいずれかである、
請求項１に記載の推定方法。

【請求項5】

前記検出工程において、
前記撮像画像における前記対象者の唇によって規定される第３目印の位置をさらに検出し、
前記推定工程において、
前記第３目印の位置と前記器具の前記所定部位との相対的な位置関係をさらに推定する、
請求項１に記載の推定方法。

【請求項6】

前記第３目印は、前記対象者の上唇の中央と下唇の中央とを結んだ線分の中点であり、
前記推定工程において、
前記線分の中点を通り前記第１線と直行する第２線と前記器具の前記所定部位との相対的な位置関係をさらに推定する、
請求項５に記載の推定方法。

【請求項7】

前記第３目印は、左の口角および右の口角であり、
前記推定工程において、
前記左の口角と前記右の口角とを結ぶ第３線と前記器具の前記所定部位との相対的な位置関係をさらに推定する、
請求項５に記載の推定方法。

【請求項8】

前記検出工程において、
前記撮像画像における前記対象者の前歯の位置によって規定される第４目印の位置をさらに検出し、
前記推定工程において、
前記第４目印の位置と前記器具の前記所定部位との相対的な位置関係をさらに推定する、
請求項６または７に記載の推定方法。

【請求項9】

施術を受ける対象者の顔を撮像した撮像画像において、前記対象者の口よりも頭頂側に位置する前記顔の部位である第１目印の位置、該口よりも胴体側に位置する前記顔の部位である第２目印の位置、および前記施術に用いられる器具の所定部位の位置を検出する検出部と、
前記撮像画像における、前記第１目印の位置および前記第２目印の位置によって規定される第１線と前記器具の前記所定部位との相対的な位置関係を推定する推定部と、を備える、推定装置。

【請求項10】

施術を受ける対象者の顔を撮像する撮像装置と、
前記請求項９に記載の推定装置と、を備える、推定システム。

【請求項11】

前記推定装置は、
前記施術を受ける対象者を保持可能な診療装置と通信可能に接続されており、
推定された前記位置関係が、前記施術の対象となる治療部位の位置を示す治療部位情報と一致するか否かを判定する判定部をさらに備え、
前記治療部位情報と、推定された前記位置関係とが一致しない場合、前記治療部位の誤認が発生したことを前記施術の施術者に知らせるための警告を前記診療装置に出力させるための第１警告出力要求を該診療装置に送信する、請求項１０に記載の推定システム。

【請求項12】

前記診療装置は、
前記施術の施術者が使用する機器、および該施術者によって装着される機器を含む１以上の外部機器と通信可能に接続されており、
前記第１警告出力要求を前記推定装置から受信した場合、前記治療部位の誤認が発生したことを前記施術の施術者に知らせるための警告を前記外部機器に出力させるための第２警告出力要求を該外部機器に送信する、請求項１１に記載の推定システム。

【請求項13】

請求項９に記載の推定装置としてコンピュータを機能させるための制御プログラムであって、上記検出部および上記推定部としてコンピュータを機能させるための制御プログラム。

【請求項14】

請求項１３に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施術者が施術を行おうとしている（あるいは、施術を行っている）部位を推定する推定方法、推定装置、推定システム、制御プログラム、および記録媒体に関する。

【背景技術】

【0002】

例えば、歯科施術においては、狭い口腔内に多数の歯が存在すること、各歯の形態が似ていること、歯の表記方法が複数あること、歯列の個人差が大きいことなどから、歯科医等の施術者が施術を行うべき部位を誤認するという問題が生じている。

【0003】

下記の特許文献１には、歯の状態を容易に認識することができるように、口腔内のすべての歯の情報を模式的に表示し、治療情報の入力誤りを防ぐ歯科情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平９－１３１３５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述のような従来技術は、電子カルテ等への入力誤りを防止することができても、実際の歯科治療の場面において、歯科医等の治療部位誤認を防ぐことはできない。

【0006】

本発明の一態様は、上記の問題点に鑑みてなされたものであり、施術時における治療部位の誤認を防止する推定方法、推定装置、推定システム、制御プログラム、および記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の態様１に係る推定方法は、施術を受ける対象者の顔を撮像した撮像画像において、前記対象者の口よりも頭頂側に位置する前記顔の部位である第１目印の位置、該口よりも胴体側に位置する前記顔の部位である第２目印の位置、および前記施術に用いられる器具の所定部位の位置を検出する検出工程と、前記撮像画像における、前記第１目印の位置および前記第２目印の位置によって規定される第１線と前記器具の前記所定部位との相対的な位置関係を推定する推定工程と、を含む。

【0008】

また、上記の課題を解決するために、本発明の態様２に係る推定装置は、施術を受ける対象者の顔を撮像した撮像画像において、前記対象者の口よりも頭頂側に位置する前記顔の部位である第１目印の位置、該口よりも胴体側に位置する前記顔の部位である第２目印の位置、および前記施術に用いられる器具の所定部位の位置を検出する検出部と、前記撮像画像における、前記第１目印の位置および前記第２目印の位置によって規定される第１線と前記器具の前記所定部位との相対的な位置関係を推定する推定部と、を備える。

【0009】

また、上記の課題を解決するために、本発明の一態様に係る推定システムは、施術を受ける対象者の顔を撮像する撮像装置と、前記態様２に係る推定装置と、を備える。

【0010】

本開示の各態様に係る推定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記推定装置が備える各部（ソフトウェア要素）として動作させることにより前記推定装置をコンピュータにて実現させる推定装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。

【発明の効果】

【0011】

本発明の一態様によれば、施術時における治療部位の誤認を防止することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態１に係る推定システムの要部構成の一例を示すブロック図である。

【図2】図１に示す推定システムの外観の一例を示す図である。

【図3】患者の口付近のランドマークを説明する図である。

【図4】表示部の画面の一例を示す図である。

【図5】表示部の画面の他の例を示す図である。

【図6】表示部の画面のさらに他の例を示す図である。

【図7】図１に示す制御部が実行する処理の流れの一例を示すフローチャートである。

【図8】本発明の実施形態３に係る推定システムの外観の一例を示す図である。

【図9】図８に示す推定システムの要部構成の一例を示すブロック図である。

【図10】治療器具とランドマークの検出精度を示す図である。

【図11】推定精度を示す図である。

【発明を実施するための形態】

【0013】

〔実施形態１〕
以下、本発明の実施形態１について、図面に基づいて説明する。なお、以下では、本発明に係る推定方法を、歯科治療等において、施術者が施術を行おうとしている（あるいは施術を行っている）部位を推定する方法とした例に基づいて説明する。ここで施術者は、医師（例えば歯科医）および歯科衛生士などを含む。しかし、本発明はこの例に限らず、例えば、歯茎、頬の内側、舌部等の口腔内の疾患に対する治療および歯のクリーニングに関連する施術についても適用可能であり、さらには、顔（顎等）の整形術等の各種施術についても適用可能である。

【0014】

＜推定システム１の概要＞
以下、本発明の実施形態１について、図面を参照して詳細に説明する。

【0015】

図２は、本発明の実施形態１に係る推定システム１の外観の一例を示す図である。図２に示すように、歯科治療を行う際、施術者は、仰臥位で診察台９に寝かせた患者（施術を受ける対象者）の頭部側から、患者の歯の治療を行う。

【0016】

診察台９の上部には、患者の顔を、例えば、正面から撮像することができる位置に撮像装置２が設置され、治療中の動画が撮像される。撮像装置２は、施術者の操作により、所望の位置および角度に調節可能である。これにより、撮像装置２の撮像範囲を調整し、治療中の患者の顔を正面から撮像することができる。また、これに限らず、撮像装置２は、患者の顔を斜め上部から、または横側から撮影してもよい。

【0017】

推定システム１は、撮像装置２が撮像した動画データに対して、画像認識および位置検出を行い、治療器具と患者の口腔内歯列との位置関係を推定する。推定システム１は、これらの位置関係から、施術者が施術すべき治療部位（すなわち、施術対象の部位）を誤認していると判断した場合、施術者に対して警告を行う。

【0018】

＜推定システム１の構成＞
図１は、推定システム１の要部構成の一例を示すブロック図である。図１に示すように、推定システム１は、撮像装置２および推定装置４を含んで構成される。推定装置４は有線又は無線により、撮像装置２および電子カルテ管理装置３と通信可能に接続される。

【0019】

（撮像装置２）
撮像装置２は、上述したように、治療中の患者の顔を正面からみた動画を撮像する。撮像装置２は、動画を撮影する撮像部２１、推定装置４等と通信するための通信部２２、撮像装置２を統括的に制御する制御部２３、および、制御部２３が使用する各種データと撮像した動画データとを記憶する記憶部２４を備える。

【0020】

撮像装置２は、動画を撮影することができ、かつ、撮影した動画データを、リアルタイムに推定装置４に送信できるものであればよく、例えば、歯科専用の口腔内カメラであってもよいし、一般的なデジタルカメラおよびスマートフォン等であってもよい。また、撮像装置２は、静止画を撮影してもよいし、動画と静止画の両方を撮像してもよい。この場合、推定装置４は、動画データまたは静止画データについて画像認識を行う。

【0021】

（電子カルテ管理装置３）
電子カルテ管理装置３は、患者に関する情報を記憶する患者情報記憶部３１、推定装置４等と通信するための通信部３２、入力操作を受け付ける入力部３３、および情報を出力する出力部３４を備える。

【0022】

患者情報記憶部３１は、基本情報３１１、口腔内情報３１２、および、施術計画情報３１３を格納する。

【0023】

基本情報３１１は、例えば、患者の氏名、年齢、住所、患者ＩＤ等を含む情報である。

【0024】

口腔内情報３１２は、患者ごとの口腔内の情報であり、例えば、初診時に撮った口腔内のＸ線画像、ＣＴ（Computer Tomography）画像、口腔内スキャナのスキャン画像等のデータである、これらの画像データから、当該患者の歯列や、各歯の状態を把握することができる。

【0025】

歯列の状態とは、例えば、歯の配列に関する状態であり、配列のアーチの形状や大きさ、歯と歯の間の隙間等の状態を指す。また、各歯の状態とは、例えば、各歯の形状の他、詰め物や被せ物の有無、治療済み歯、未治療歯、抜歯による欠損歯等の状態を指す。

【0026】

施術計画情報３１３は、所定の患者について、現時点以降に行う予定の施術情報である。例えば、所定の患者の所定の歯について所定の処置を行う予定がある場合、処置の種類、処置を行う歯の位置、処置を行う日付等を特定する情報である。

【0027】

これらの基本情報３１１、口腔内情報３１２、および施術計画情報３１３は、例えば、患者ＩＤによって紐づけられ、患者情報記憶部３１に格納される。

【0028】

電子カルテ管理装置３は、推定装置４と通信することにより、患者の基本情報３１１、口腔内情報３１２、および施術計画情報３１３を推定装置４に送信することができる。

【0029】

（推定装置４）
推定装置４は、撮像装置２や電子カルテ管理装置３等と通信する通信部５、推定装置４を統括的に制御する制御部６、制御部６が使用する各種データを記憶する記憶部７、および情報を出力するための出力部８を備える。

【0030】

記憶部７は、検出情報７１、推定結果情報７２、および、判定情報７３を格納する。

【0031】

出力部８は、液晶ディスプレイ等で実現される表示部８１、および、音声を出力するスピーカ８２を備えていてもよい。あるいは、出力部８は、後述するバイブレーター、およびランプ等であってもよい。

【0032】

取得部６１は、通信部５を介して、撮像装置２が撮像した動画データを取得し、画像認識部６２へ送信する。

【0033】

（画像認識部６２）
画像認識は、公知のアルゴリズムを利用して行うことができ、例えば、リアルタイムの物体検出方法である、ＹＯＬＯ（You Only Look Once）ｖ４、およびＤＥＴＲ（End-to-End Object Detection with Transformers）等を用いて行うことができる。

【0034】

画像認識部６２は、取得部６１から送信された動画データに対して画像認識を行い、所定の部位を検出する。画像認識部６２は、ランドマーク検出部６２１（検出部）、器具検出部６２２、および歯検出部６２３を備える。

【0035】

ランドマーク検出部６２１は、動画データに含まれる患者の顔から複数のランドマーク（目印）を検出する。ランドマークとその検出の詳細については後述する。

【0036】

器具検出部６２２は、動画データから歯科治療に用いられる器具を検出する。治療器具は、具体的には、口腔内および歯のうちのいずれかに対して治療（施術）をする器具のことである。治療器具は、例えば、コントラアングルハンドピース（以下、コントラと称す。）、デンタルミラー（以下、ミラーと称す。）、注射器、バキューム・ヘーベル、抜歯鉗子、ピンセット、および充填器等である。以下では、器具検出部６２２が治療器具を検出する場合を例に挙げて説明するが、これに限定されない。例えば、器具検出部６２２は、治療器具ではない器具（ハンドピース）を検出する構成であってもよく、例えば、エアタービンハンドピース(所謂、タービン)、エアスケーラー、超音波スケーラー等を検出してもよい。

【0037】

歯検出部６２３は、動画データから患者の口腔内の歯を検出する。

【0038】

画像認識部６２が検出した検出情報は、記憶部７の検出情報７１に格納される。画像認識部６２が行う検出処理の詳細については後述する。

【0039】

（推定部６３）
推定部６３は、画像認識部６２が検出したランドマークに基づいて、口腔内の画像領域を分割し、治療器具の所定部位がどの画像領域に位置するかを推定する。治療器具の所定部位とは、詳しくは後述するが、治療器具の患者の口腔内に挿入される部位である。推定部６３は、第１線設定部６３１、第２線設定部６３２、座標情報生成部６３３、および位置推定部６３４を備える。

【0040】

第１線設定部６３１は、画像認識部６２が検出したランドマークに基づいて、患者の口腔内の画像領域を左右２つの領域に分割する第１線Ｙ（図３参照）を設定する。

【0041】

位置推定部６３４は、器具検出部６２２が検出した治療器具の位置と、第１線Ｙに基づいて、使用する治療器具が使用する治療器具が位置する口腔内の画像領域を推定する。

【0042】

第２線設定部６３２は、さらに、画像認識部６２が検出した他のランドマークに基づいて、第１線Ｙと略垂直に交わり、第１線Ｙと共に患者の口腔内の画像領域を４つの領域に分割する第２線Ｘ（図３参照）を設定してもよい。

【0043】

位置推定部６３４は、器具検出部６２２が検出した治療器具の位置と、第１線Ｙおよび第２線Ｘとに基づいて、使用する治療器具が位置する口腔内の画像領域を推定する。

【0044】

推定部６３が推定した結果情報、第１線Ｙおよび第２線Ｘの情報、および分割された画像領域の情報は、記憶部７の推定結果情報７２に格納される。推定部６３が行う推定処理の詳細については後述する。

【0045】

（判定部６４）
判定部６４は、位置推定部６３４から、位置推定部６３４が推定した治療器具の位置する口腔内の画像領域を取得する一方で、電子カルテ管理装置３の施術計画情報３１３から、処置を行おうとしている歯（以下、処置予定歯と称す。）の位置についての情報（治療部位情報）を取得する。すなわち、判定部６４は、治療部位情報と、推定部６３による推定結果とが一致するか否かを判定する。

【0046】

判定部６４は、施術計画情報３１３から取得した処置予定歯の位置についての治療部位情報と、位置推定部６３４から取得した治療器具の所定部位が位置する画像領域（推定結果）とを比較する。例えば、治療器具が位置する画像領域と、治療部位情報が示す処置予定歯の位置する画像領域が同一である（すなわち、一致する）場合、判定部６４は治療部位の誤認は無いと判定する。一方、画像領域が同一ではない（すなわち、一致しない）場合、判定部６４は治療部位の誤認ありと判定し、表示部８１およびスピーカ８２等から警告を出力する。なお、警告を施術者に提示する態様は、表示部８１およびスピーカ８２からの出力に限定されない。例えば、警告は、施術時に施術者が着席している椅子および着用しているウェアラブルデバイス等が備えるバイブレーターを振動させることによって当該施術者に提示される構成であってもよい。あるいは、警告は、患者が使用しているチェアユニットが備えているライトを点灯させたり点滅させたりすることによって、施術者に提示される構成であってもよい。あるいは、警告は、患者が使用しているチェアユニットが備えている動作表示部を用いて、施術者に提示される構成であってもよい。

【0047】

なお、治療部位の誤認とは、例えば、隣接する歯の誤認、左右の位置の誤認、または上下の歯の誤認であり、治療部位の誤認は、隣接する歯の誤認、左右の位置の誤認がとりわけ多く認められる。

【0048】

判定部６４が判定した判定情報は、記憶部７の判定情報７３に格納される。判定部６４が行う判定処理の詳細については後述する。

【0049】

＜画像認識＞
以下、画像認識部６２が行う検出処理、および、推定部６３が行う推定処理について、図面を参照して詳しく説明する。

【0050】

図３は、患者の口付近のランドマークを説明する図であり、図４は、表示部の画面の一例を示す図である。

【0051】

上述したように、ランドマーク検出部６２１は、取得部６１から送信された動画データに対して画像認識を行い、動画データに含まれる患者の顔から複数のランドマークを検出する。

【0052】

ランドマーク検出部６２１は、患者の顔を撮像した動画データ（撮像画像）において、患者の口よりも頭頂側に位置する顔の部位である第１ランドマークＭ１（第１目印）の位置、患者の口よりも胴体側に位置する顔の部位である第２ランドマークＭ２（第２目印）の位置をリアルタイムに検出する。

【0053】

具体的には、図３に示すように、ランドマーク検出部６２１は、上述した公知の物体検出方法のソフトウェアが左鼻翼として検出したバウンディンクボックスの底辺の中点Ｐ１と、右鼻翼を検出したバウンディンクボックスの底辺の中点Ｐ２とを結んだ線分の中点を、第１ランドマークＭ１として設定する。

【0054】

また、オトガイ（あご先）を検出したバウンディンクボックスの中心点を、第２ランドマークＭ２として設定する。

【0055】

通常、顔認識のランドマークとしてよく用いられるのは両目であるが、歯科治療中は、施術者の手や治療器具によって、患者の目や鼻、口等がしばしば隠れてしまう。さらに、歯科治療中は、患者の目はゴーグルや覆布で覆われており、患者の口周辺と鼻先しか露出していないことが多い。このため、両目をランドマークとして設定することはできない。

【0056】

一方、鼻翼とオトガイは、通常、覆布等で覆われることはなく、所定の距離を置いて互いに離間した位置にあり、たとえ一方が隠れても、もう一方は検出できる可能性が高い。このため、第１ランドマークＭ１として左鼻翼と右鼻翼とを結んだ線分の中点、第２ランドマークＭ２としてオトガイを設定した。

【0057】

また、これに限らず、鼻から上唇までの間を縦方向に伸びる溝（窪み）である人中を、第１ランドマークＭ１として設定してもよいし、両鼻孔の間にある鼻柱を第１ランドマークＭ１としてもよい。また、複数部位を第１ランドマークＭ１として設定してもよく、例えば左鼻翼と右鼻翼とを結んだ線分の中点、人中、鼻柱のうち、少なくともいずれかを第１ランドマークＭ１として設定してもよい。また、第２ランドマークＭ２は、顎の輪郭および顎髭が生えている領域の形状等に基づいて患者毎に任意に設定されてもよく、オトガイに限定されない。例えば、顎髭でオトガイが隠れている患者の場合、該患者のオトガイの位置に第２ランドマークＭ２を示す検出用シール等を顎髭に貼付してもよい。なお、第１ランドマークＭ１と第２ランドマークＭ２との距離が長いほど、後述する第１線Ｙを精度良く設定することができる。

【0058】

次に、第１線設定部６３１は、画像認識部６２が検出した第１ランドマークＭ１および第２ランドマークＭ２に基づいて、口腔内の画像領域を顔の左側にある領域Ｙ１（図４参照）、顔の右側にある領域Ｙ２（図４参照）に分割し、治療器具がどちらの画像領域に位置するかを推定する。

【0059】

具体的には、第１線設定部６３１は、第１ランドマークＭ１と第２ランドマークＭ２とを結んだ線分を、口腔内の領域を左側の領域Ｙ１と右側の領域Ｙ２とに分割する第１線Ｙとして設定する。

【0060】

器具検出部６２２は、施術者が治療器具を使用したとき、治療（施術）に用いられる器具の所定部位の位置Ｋをリアルタイムに検出する。治療器具の所定部位とは、上述したように、治療器具の患者の口腔内に挿入される部位である。治療器具がコントラの場合、器具検出部６２２は、例えばコントラのヘッド部分（所定部位）を検出したバウンディングボックスの中心点を、コントラの位置Ｋとして検出する。

【0061】

治療器具がミラーの場合、例えば、ミラーのヘッド部分（所定部位）を検出したバウンディングボックスの中心点を、ミラーの位置Ｋとして検出する。麻酔用の注射器の場合は、シリンジの先端部分（所定部位）を検出したバウンディングボックスの中心点を注射器の位置Ｋとして検出する。器具検出部６２２は、治療器具の位置Ｋと併せて、治療器具の作用点が向いている方向を検出してもよい。

【0062】

また、コントラのように、電源によって動作する治療器具の場合、電源がＯＮになったことを感知すると、器具検出部６２２は治療器具の検出を始め、電源がＯＦＦになったことを感知すると検出を中止するようにしてもよい。

【0063】

次に、位置推定部６３４は、第１ランドマークＭ１の位置および第２ランドマークＭ２の位置によって規制される第１線Ｙと、治療器具の位置Ｋとの相対的な位置関係を推定する。具体的には、位置推定部６３４は、器具検出部６２２が検出した治療器具の位置Ｋが、領域Ｙ１と領域Ｙ２のうちどちらの画像領域に位置するか推定する。

【0064】

判定部６４は、施術計画情報３１３から取得した処置予定歯の位置についての治療部位情報と、位置推定部６３４から取得した治療器具の所定部位が位置する画像領域（推定結果）とを比較し、治療部位の誤認の有無を判定する。

【0065】

位置推定部６３４は、推定結果を座標情報生成部６３３に通知する。

【0066】

図４は、表示部８１の画面の一例を示す図である。推定結果を受け取った座標情報生成部６３３は、取得部６１から送信された動画データに、第１線Ｙおよび治療器具の位置Ｋを重畳して表示する加工動画データを作成する。

【0067】

座標情報生成部６３３は、作成した加工動画データを、出力制御部６５を介してリアルタイムに表示部８１に表示してもよい。

【0068】

図４に示すように、表示部８１には、口腔内の画像領域を左右に分割する第１線Ｙ、分割された領域Ｙ１と領域Ｙ２、および治療器具の位置Ｋが表示される。図４の例では、治療器具の位置Ｋは領域Ｙ１に位置している。

【0069】

また、座標情報生成部６３３は、出力制御部６５を介して、治療器具の位置Ｋを音声によってスピーカ８２からリアルタイムに出力してもよい。これにより、施術者は治療しようとしている歯の位置を、リアルタイムに確認することができ、治療部位の誤認のうち、特に多いとされる左右の位置の誤認を防止することができる。

【0070】

また、上記に限らず、出力制御部６５は、判定部６４が治療部位の誤認がないと判定したときは表示部８１またはスピーカ８２から出力を行わず、判定部６４が治療部位の誤認ありと判定した場合のみ、表示部８１またはスピーカ８２から警告を出力しても構わない。なお、警告を出力する態様は、前述のように、表示部８１およびスピーカ８２からの出力に限定されない。

【0071】

（第３ランドマークＭ３）
ランドマーク検出部６２１は、取得部６１から送信された動画データの患者の顔画像から、さらに第３ランドマークＭ３（第３目印）を検出してもよい。

【0072】

再び図３を参照し、第３ランドマークＭ３について説明する。図３に示すように、第２線設定部６３２は、患者の上唇を検出したバウンディングボックスの中心点Ｐ３（患者の上唇の中央）と、下唇を検出したバウンディングボックスの中心点Ｐ４（患者の下唇の中央）とを結んだ線分の中点を、第３ランドマークＭ３に設定する。

【0073】

次に、第２線設定部６３２は、第３ランドマークＭ３を通り第１線Ｙと直行する線を、第１線Ｙと共に口腔内の画像領域を４つに分割する、第２線Ｘとして設定する。

【0074】

これにより、口腔内の画像領域は、第２線Ｘをｘ軸、第１線Ｙをｙ軸、第１線Ｙと第２線Ｘとの交点を原点とする座標の第１象限から第４象限が、領域ＸＹ１から領域ＸＹ４となるように、４つの領域に分割される。

【0075】

次に、位置推定部６３４は、第３ランドマークＭ３を通り第１線Ｙと直行する第２線Ｘと、治療器具の位置Ｋとの相対的な位置関係をさらに推定する。具体的には、位置推定部６３４は、器具検出部６２２が検出した治療器具の位置Ｋが、領域ＸＹ１から領域ＸＹ４のうちどの画像領域に位置するか推定する。これにより、治療器具の位置Ｋをさらに詳細に推定することができる。

【0076】

判定部６４は、施術計画情報３１３から取得した処置予定歯の位置についての治療部位情報と、位置推定部６３４から取得した治療器具の所定部位が位置する画像領域（推定結果）とを比較し、治療部位の誤認の有無を判定する。

【0077】

位置推定部６３４は、推定結果を座標情報生成部６３３に通知する。

【0078】

推定結果を受け取った座標情報生成部６３３は、取得部６１から送信された動画データに、第１線Ｙ、第２線Ｘ、領域ＸＹ１から領域ＸＹ４、および治療器具の位置Ｋを重畳して表示する加工動画データを作成する。

【0079】

座標情報生成部６３３は、作成した加工動画データを、出力制御部６５を介してリアルタイムに表示部８１に表示する。

【0080】

図５は、表示部８１の画面の他の例を示す図である。図５に示すように、表示部８１には、口腔内の画像領域を分割する第１線Ｙ、第２線Ｘ、分割された領域ＸＹ１から領域ＸＹ４、および治療器具の位置Ｋが表示される。図５の例では、治療器具の位置Ｋは領域ＸＹ４に位置している。

【0081】

また、座標情報生成部６３３は、出力制御部６５を介して、治療器具の位置Ｋを音声によってスピーカ８２からリアルタイムに出力してもよい。これにより、施術者は治療しようとしている歯の位置を、リアルタイムに確認することができる。

【0082】

また、上記に限らず、出力制御部６５は、判定部６４が治療部位の誤認がないと判定したときは表示部８１またはスピーカ８２から出力を行わず、判定部６４が治療部位の誤認ありと判定した場合のみ、表示部８１またはスピーカ８２から警告を出力しても構わない。なお、警告を出力する態様は、前述のように、表示部８１およびスピーカ８２からの出力に限定されない。

【0083】

また、これに限らず、取得部６１から送信された動画データから患者の左右の口角の位置を検出できたときは、第３ランドマークＭ３と左右の口角を結んだ線分を第２線として用いてもよい。左右の口角を結んだ線分を第３線として設定し、第２線の代わりに用いてもよく、この場合、第３線と第１線との交点を第３ランドマークＭ３に設定しても良い。

【0084】

なお、上述したように、中心点Ｐ３とＰ４とを結ぶ線分の中点を第３ランドマークＭ３に設定した場合は、上記の口角の位置を第３ランドマークＭ３に設定しないで、検出精度を向上させるための追加情報として利用してもよい。

【0085】

また、歯検出部６２３が、動画データにおける患者の前歯の位置によって規定される第４ランドマークＭ４（第４目印）の位置をさらに検出してもよい。また、歯検出部６２３は、例えば、口腔内の一番奥にある奥歯の位置を検出できたときは、第２線設定部６３２は、第３ランドマークＭ３または第４ランドマークＭ４から、左右それぞれの上下奥歯の中点を結んだ線分を第２線として補正してもよい。

【0086】

位置推定部６３４は、第４ランドマークＭ４と治療器具の位置Ｋとの相対的な位置関係をさらに推定してもよい。これにより、精度よく第２線Ｘを設定することができる。

【0087】

（座標ＸＹ）
図６は、表示部８１の画面のさらに他の例を示す図である。図６の符号６０Ａで示す図は、全てのランドマークが検出できたときの画面を示す図である。符号６０Ｂで示す図は、第１ランドマークＭ１だけを検出できたときの画面を示す図である。また、符号６０Ｃで示す図は、第２ランドマークＭ２だけを検出できたときの画面を示す図である。

【0088】

符号６０Ａで示す図は、全てのランドマークを検出できたため、座標情報生成部６３３は、検出したランドマークに基づいて、第１線Ｙおよび第２線Ｘによって規定される座標ＸＹを生成することができる。上述したように、座標ＸＹは、第２線Ｘをｘ軸、第１線Ｙをｙ軸、第１線Ｙと第２線Ｘとの交点を原点とする座標であり、座標ＸＹにより、口腔内の画像領域を４つに分割する。

【0089】

一方、符号６０Ｂで示す図は、第１ランドマークＭ１は検出できたが、第２ランドマークＭ２および第３ランドマークＭ３を検出できなかったため、座標情報生成部６３３は、ランドマークに基づいて座標ＸＹを生成することができない。

【0090】

このため、座標情報生成部６３３は、推定結果情報７２に保持されている直前に生成された座標ＸＹを利用して、現在の座標ＸＹを生成する。詳細に説明すると、座標情報生成部６３３は、直前に生成された座標ＸＹの第１ランドマークＭ１の位置が、現在検出されている第１ランドマークＭ１の位置と重なるように、座標ＸＹを移動させて、現在の座標ＸＹとする。

【0091】

これにより、全てのランドマークが検出されなかった場合でも、座標情報生成部６３３は、座標ＸＹを生成することができ、継続して治療器具の位置Ｋを推定することができる。

【0092】

符号６０Ｃで示す図は、第２ランドマークＭ２は検出できたが、第１ランドマークＭ１および第３ランドマークＭ３を検出できなかったため、座標情報生成部６３３は、ランドマークに基づいて座標ＸＹを生成することができない。

【0093】

このため、符号６０Ｂの場合と同様に、座標情報生成部６３３は、推定結果情報７２に保持されている直前に生成された座標ＸＹを利用して、現在の座標ＸＹを生成する。詳細に説明すると、座標情報生成部６３３は、直前に生成された座標ＸＹの第２ランドマークＭ２の位置が、現在検出されている第２ランドマークＭ２の位置と重なるように、座標ＸＹを移動させて、現在の座標ＸＹとする。

【0094】

これにより、全てのランドマークが検出されなかった場合でも、座標情報生成部６３３は、座標ＸＹを生成することができ、継続して治療器具の位置Ｋを推定することができる。

【0095】

＜制御部６が行う処理の流れ＞
次に、図７を参照して、推定装置４の制御部６が実行する処理の流れの一例を説明する。図７は、制御部６が実行する処理の流れの一例を示すフローチャートである。

【0096】

制御部６は、歯科治療が開始され撮像部２１による動画の撮像が開始されたことを検知する（Ｓ１）。

【0097】

取得部６１は、通信部５を介して、撮像装置２が撮像した動画データを取得し、画像認識部６２へ送信する（Ｓ２）。

【0098】

画像認識部６２は、動画データに対して画像認識を行い、動画データに含まれる患者の顔から複数のランドマークを検出するとともに、使用されている治療器具を検出する（Ｓ３：検出工程）。

【0099】

推定部６３は、画像認識部６２が検出したランドマークに基づいて、口腔内の画像領域を分割し、治療器具がどの画像領域に位置するかを推定する（Ｓ４：推定工程）。

【0100】

判定部６４は、位置推定部６３４から、治療器具の位置する領域情報を取得する一方、施術計画情報３１３から、処置予定歯の位置情報（治療部位情報）を取得する（Ｓ５）。

【0101】

判定部６４は、治療器具が位置する画像領域と、処置予定歯の位置する画像領域を比較し、両者の画像領域が同一であるか否かを判断する（Ｓ６）。

【0102】

判定部６４が同一でないと判断した場合（Ｓ６でＮＯ）、判定部６４は治療部位の誤認ありと判定し、出力制御部６５は、表示部８１およびスピーカ８２から警告を出力する（Ｓ７）。なお、警告を出力する態様は、前述のように、表示部８１およびスピーカ８２からの出力に限定されない。

【0103】

判定部６４が同一であると判断した場合（Ｓ６でＹＥＳ）、判定部６４は治療部位の誤認は無いと判定する。

【0104】

制御部６は、撮像部２１による動画の撮像が終了したことを感知すると（Ｓ８でＹＥＳ）、処理を終了する。動画の撮像が終了したことを感知しない場合（Ｓ８でＮＯ）、画像認識を継続して行う。

【0105】

〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0106】

実施形態２の推定装置４は、実施形態１の構成に加えて、電子カルテ管理装置３の口腔内情報３１２に記憶されている情報と連携して、治療器具と患者の口腔内歯列との位置関係を推定する点で、実施形態１の推定装置４と相違する。

【0107】

再び図１を参照して説明する。上述したように、口腔内情報３１２は、患者ごとの口腔内の情報であり、例えば、初診時に撮った口腔内のＸ線画像、ＣＴ画像、口腔内スキャナのスキャン画像等のデータ（以後、画像データＷと称す。）である。これらの画像データＷから、当該患者の歯列や、各歯の状態を把握することができる。

【0108】

推定部６３は、位置推定部６３４が推定した治療器具の位置情報（治療部位情報）に加えて、口腔内情報３１２を利用することにより、治療器具が位置する領域について、精度よく推定することができる。

【0109】

患者の動画を顔の正面から撮像したとき、患者の前歯は、顔の表面に近い位置にあるため、各前歯の境界を認識しやすく、歯検出部６２３は、前歯ごとに検出することができる。推定部６３は、歯検出部６２３が検出した前歯を基準の歯として設定する。

【0110】

推定部６３は、口腔内情報３１２から画像データＷを取得し、画像データＷと連携することで、基準の歯から処置予定歯までのおおよその距離および角度を推測することができる。これにより、処置予定歯と治療器具の位置Ｋとの位置関係をより精度よく把握することができ、治療部位の誤認をさらに防止することができる。

【0111】

〔実施形態３〕
＜推定システム１Ａの外観および構成＞
本発明の実施形態３について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0112】

実施形態３の推定システム１Ａは、実施形態１の推定システム１の構成に加えて、さらにチェアユニット１０（診療装置）等を含む点で、実施形態１の推定システム１と相違する。推定装置４は、治療部位の誤認が発生したことを施術の施術者に知らせるための警告をチェアユニット１０に出力させるための第１警告出力要求を、該チェアユニット１０に送信可能である。

【0113】

チェアユニット１０は、歯科診療の際に、施術者が施術しやすいように、患者を安定して保持し、施術者との適切な治療位置を確保することができるチェア１００を備える装置である。また、チェアユニット１０は、例えば、診療器具１１０、照明装置１３０等を備え、診療装置としても機能する。また、チェアユニット１０は、各装置の動作を制御する制御機能を備えており、推定装置４から第１警告出力要求を受信した場合、当該制御機能により警告を出力することができる。

【0114】

図８は、推定システム１Ａの外観の一例を示す図である。図９は、推定システム１Ａの要部構成の一例を示すブロック図である。

【0115】

図８および図９に示すように、推定システム１Ａは、撮像装置２、推定装置４、およびチェアユニット１０を含んで構成される。チェアユニット１０は、撮像装置２および推定装置４と通信可能に接続されている。撮像装置２、推定装置４、および電子カルテ管理装置３（不図示）については、実施形態１にて説明したため、特に説明する必要がある場合を除いて、ここでは説明を省略する。

【0116】

（チェアユニット１０）
チェアユニット１０は、上述したように、歯科診療等のために用いられる診察装置である。チェアユニット１０は、チェア１００、診療器具１１０、ベースンユニット１２０、照明装置１３０、フットコントローラ１４０、入出力装置１５０、および、通信部１６０を備える。チェアユニット１０は、通信部１６０を介して、推定装置４および外部機器等と無線通信または有線通信にて通信することができる。無線通信は、ブルートゥースであってもよいし、その他の無線通信であってもよい。図９には外部機器の例として、これらに限定されるものではないが、施術者用椅子１７０およびウェアラブルデバイス１８０が示されている。

【0117】

チェア１００は、歯科診療の際に患者が座る椅子であり、ヘッドレスト１０２、背もたれ１０３、座面シート１０４、および足置き台１０５を備える。

【0118】

チェア１００は、チェア制御部１０１によって制御される。具体的には、チェア制御部１０１は、フットコントローラ１４０または操作パネル１５４による施術者の入力操作を受付けると、当該入力操作に基づいて、チェア１００の姿勢を制御する。

【0119】

例えば、座面シート１０４を上昇または下降させたり、ヘッドレスト１０２、背もたれ１０３、および足置き台１０５を、座面シート１０４に対して垂直方向又は水平方向に移動させたりする。ヘッドレスト１０２、背もたれ１０３、および足置き台１０５が、座面シート１０４に対して垂直方向に位置すると、患者はチェア１００に座った状態になる。ヘッドレスト１０２、背もたれ１０３、および足置き台１０５が、座面シート１０４に対して水平方向に位置すると、患者はチェア１００上に仰向け状態となる。

【0120】

このように、チェア制御部１０１は、ヘッドレスト１０２、背もたれ１０３、座面シート１０４、および足置き台１０５を移動させて、チェア１００の姿勢を制御する。

【0121】

診療器具１１０は、例えば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラー、およびバキュームシリンジ等の歯科診療用のインスツルメントである。診療器具１１０は、例えば、チェア１００のヘッドレスト１０２近傍に設置される器具ホルダー１１１に保持される。

【0122】

診療器具１１０は、器具制御装置１１２の器具制御部１１３により制御される。器具制御装置１１２は、例えば、チェア１００の背もたれ１０３に配置され得る。器具制御部１１３は、フットコントローラ１４０または操作パネル１５４による施術者の入力操作を受付けると、当該入力操作に基づいて、診療器具１１０の駆動を制御する。

【0123】

例えば、施術者が、フットコントローラ１４０に設置されるエアタービンハンドピースの駆動スイッチを足踏み操作すると、器具制御装置１１２は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。

【0124】

このように、器具制御装置１１２は、フットコントローラ１４０または操作パネル１５４への入力操作に基づき、診療器具１１０の駆動を制御する。

【0125】

ベースンユニット１２０は、給水および排水装置であり、排水口が形成された鉢１２２、コップが載置されるコップ台１２３、コップに給水する給水栓１２４を備える。ベースンユニット１２０は、ベースン制御部１２１によって制御される。ベースン制御部１２１は、ベースンユニット１２０の給水および排水を制御する。

【0126】

照明装置１３０は、チェア１００またはチェア１００が設置された床から延びるポールの上部で分岐するアームの先端に設けられる。照明装置１３０は、これに限らず、患者の顔または口腔内を照らすことができる位置に配置されればよい。

【0127】

照明装置１３０は、照明制御部１３１によって制御される。具体的には、照明制御部１３１は、フットコントローラ１４０または操作パネル１５４による施術者の入力操作を受付けると、当該入力操作に基づいて照明装置１３０を制御する。照明制御部１３１は、照明装置１３０を点灯状態、消灯状態、または点滅状態等に切り替える。また、照明装置１３０の照度を制御し、明るくしたり暗くしたりすることができる。

【0128】

フットコントローラ１４０は、術者の足踏みによる入力操作を受付ける、複数のスイッチ（ペダル）を備える。複数のスイッチには、それぞれ所定の機能が割り当てられ、例えば、上述したチェア１００の姿勢を制御する機能、診療器具１１０を駆動させる機能、照明装置１３０を制御する機能等が割り当てられる。フットコントローラ１４０は、フットコントローラ制御部１４１によって制御される。

【0129】

入出力装置１５０は、例えば、ディスプレイ１５２、スピーカ１５３、および操作パネル１５４を備える。ディスプレイ１５２は、例えば液晶ディスプレイであり、各種情報を表示する。

【0130】

スピーカ１５３は音声等を出力し、操作パネル１５４に配置される。スピーカ１５３は、これに限らす、施術者がスピーカ１５３の音声を充分聞き取れる位置であればよく、例えば、背もたれ１０３の裏側に配置されてもよい。

【0131】

操作パネル１５４は、チェア１００および診療器具１１０等の動作、または当該動作の設定を行うことができるパネルである。操作パネル１５４は、例えば、診療器具１１０の回転速度等の設定、スピーカ１５３の音量の設定等を行うことができる。

【0132】

入出力装置１５０は、入出力制御装置１５１によって制御される。入出力制御装置１５１は、例えば、ディスプレイ１５２に表示する画像または文字の制御、スピーカ１５３から出力する音声等の制御および操作パネル１５４の制御を行う。

【0133】

（警告の出力）
推定装置４は、上述したように、画像認識によって取得した治療器具が位置する画像領域と、電子カルテ管理装置３から取得した処置予定歯の位置する画像領域とが一致しない場合、治療部位の誤認があると判定する。

【0134】

このとき、推定装置４は、通信部５を介して、第１警告出力要求を、チェアユニット１０に送信する。第１警告出力要求は、治療部位の誤認が発生したことを施術の施術者に知らせるための警告をチェアユニット１０に出力させるための制御信号である。チェアユニット１０は、第１警告出力要求を受信すると、施術者に対する警告を出力する。チェアユニット１０は、以下に例示するような態様で、警告を出力することが可能であってもよい。

【0135】

第１警告出力要求を受信した場合、例えば、入出力制御装置１５１が、ディスプレイ１５２に警告表示を点滅させたり、警告メッセージを表示させたりしてもよいし、スピーカ１５３から警告音等を出力させてもよい。また、入出力制御装置１５１は、危険度の高低に応じて、ディスプレイ１５２に表示させる警告表示やスピーカ１５３から出力する警告音の出力レベル（輝度や音量のレベル）を調節してもよい。あるいは、入出力制御装置１５１は、危険度の高低に応じて、警告を出力する時間間隔を調節してもよい。

【0136】

第１警告出力要求を受信した場合、例えば、照明制御部１３１が、照明装置１３０の点滅、照度低下等の制御を行ってもよい。また、照明制御部１３１は、危険度の高低に応じて、照明装置１３０の照度を調節してもよい。あるいは、照明制御部１３１は、危険度の高低に応じて、照明装置１３０が明滅する時間間隔を調節してもよい。

【0137】

第１警告出力要求を受信した場合、器具制御装置１１２が、駆動中のエアタービンハンドピースおよびモータハンドピース等の回転数を下げたり、停止させたりしてもよい。また、器具制御装置１１２は、超音波スケーラーの発振数を低下、または停止させてもよいし、歯の切削時に必要な口腔内注水、口腔内エアーの噴射を停止させてもよい。

【0138】

第１警告出力要求を受信した場合、フットコントローラ制御部１４１が、フットコントローラ１４０を踏み込んでも、割り当てられた機能が動作しないようにしてもよいし、ペダルを固定して踏み込みができないように制御してもよい。

【0139】

このように、チェアユニット１０は、推定装置４から第１警告出力要求を受信したことに応じて、チェアユニット１０が備える各装置および各機能を制御し、治療部位の誤認が発生したことを施術者に知らせる。これにより、推定システム１Ａは、施術時の治療部位の誤認の発生を施術者に着実に知らせることができる。

【0140】

（外部機器による警告の出力）
また、チェアユニット１０は、チェアユニット１０の通信部１６０を介して、チェアユニット１０と通信可能な外部機器に警告を出力させることが可能であってもよい。この場合、チェアユニット１０は、施術者が使用する機器（例えば施術者用椅子１７０等）、および該施術者によって装着される機器（例えば、ウェアラブルデバイス１８０）を含む１以上の外部機器と通信可能に接続されていればよい。

【0141】

チェアユニット１０は、第１警告出力要求を推定装置４から受信した場合、治療部位の誤認が発生したことを施術の施術者に知らせるための警告を外部機器に出力させるための第２警告出力要求を該外部機器に送信する。

【0142】

外部機器は、例えば、施術者用椅子１７０が備えるクッション１７０ａ（外部機器）、施術者が装着するウェアラブルデバイス１８０（外部機器）等であってもよい。ウェアラブルデバイス１８０は、例えば、腕時計、眼鏡、および指輪等であってもよい。

【0143】

施術者用椅子１７０のクッション１７０ａは、内部に振動部を備え、第２警告出力要求を受信したことに応じて、振動部を動作させることにより、警告を出力してもよい。なお、振動部は、クッション１７０ａの内部に限らず、例えば、施術者用椅子１７０の背もたれ、座面等の内部に配されてもよい。

【0144】

ウェアラブルデバイスである腕時計は、振動部または表示部を備え、第２警告出力要求を受信したことに応じて、振動部を動作させてもよいし、表示部を点灯させたり表示部に警告メッセージを表示させたりしてもよい。

【0145】

ウェアラブルデバイスである眼鏡は、振動部または表示機能を備えた眼鏡であり、第２警告出力要求を受信したことに応じて、振動部を動作させてもよいし、表示部に警告を表示させてもよい。

【0146】

ウェアラブルデバイスである指輪は、振動部または表示部を備え、第２警告出力要求を受信したことに応じて、振動部を動作させてもよいし、表示部を赤色に点灯させたり表示部に警告を表示させたりしてもよい。

【0147】

ここでは、第１警告出力要求を受信したチェアユニット１０から外部機器に第２警告出力要求が送信される構成を説明したが、推定システム１Ａはこの構成に限定されない。例えば、推定装置４と外部機器とが通信可能に接続されている場合、推定装置４から外部機器に第２警告出力要求を送信する構成であってもよい。

【0148】

チェアユニット１０への第１警告出力要求の送信、および外部機器への第２警告出力要求の送信は、診療中にリアルタイムで行われる。これにより、推定システム１Ａは、施術時の治療部位の誤認の発生を施術者に迅速かつ着実に知らせることができる。

【0149】

〔実施形態４〕
治療部位情報と推定結果とが一致していなくても、施術を受ける対象者の身体に危険が及ばない施術があり得る。そこで、推定装置４は、治療部位の誤認の可能性があっても、警告の出力が必要か否かを判定可能な構成であってもよい。

【0150】

例えば、判定部６４は、危険ではない施術動作として予め記憶されている画像（例えば動画）に写る施術動作と、施術を受ける対象者を撮影可能な撮像装置（撮像装置２を含む）からの画像（例えば動画）に写る施術動作とを比較した比較結果に基づいて、警告の出力が必要か否かを判定してもよい。推定装置４は、推定部６３によって治療部位の誤認の発生が推定された場合であっても、判定部６４によって警告の出力が不要と判定された場合には、第１警告出力要求（および第２警告出力要求）を送信しない。この構成を採用すれば、不必要な警告を出力することによって施術を妨げてしまうことを回避することができる。

【0151】

〔ソフトウェアによる実現例〕
推定装置４の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部６に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0152】

この場合、推定装置４は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0153】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0154】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0155】

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0156】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0157】

〔まとめ〕
本開示の態様１に係る推定方法は、施術を受ける対象者の顔を撮像した撮像画像において、前記対象者の口よりも頭頂側に位置する前記顔の部位である第１目印の位置、該口よりも胴体側に位置する前記顔の部位である第２目印の位置、および前記施術に用いられる器具の所定部位の位置を検出する検出工程と、前記撮像画像における、前記第１目印の位置および前記第２目印の位置によって規定される第１線と前記器具の前記所定部位との相対的な位置関係を推定する推定工程と、を含む。

【0158】

本開示の態様２に係る推定方法は、上記態様１において、前記第１目印は、左鼻翼と右鼻翼とを結んだ線分の中点、人中、鼻柱のうちの少なくともいずれかであってもよい。

【0159】

本開示の態様３に係る推定方法は、上記態様１または２において、前記第２目印は、あご先を示すオトガイであってもよい。

【0160】

本開示の態様４に係る推定方法は、上記態様１から３のいずれかにおいて、前記施術は、口腔内および歯のうちのいずれかに対する施術であり、前記器具は、コントラアングルハンドピース、デンタルミラー、注射器、バキューム・ヘーベル、抜歯鉗子、ピンセット、充填器、エアタービンハンドピース、エアスケーラー、および超音波スケーラーのうちの少なくともいずれかであってもよい。

【0161】

本開示の態様５に係る推定方法は、上記態様１から４のいずれかにおいて、前記撮像画像における前記対象者の唇によって規定される第３目印の位置をさらに検出し、前記推定工程において、前記第３目印の位置と前記器具の前記所定部位との相対的な位置関係をさらに推定してもよい。

【0162】

本開示の態様６に係る推定方法は、上記態様５において、前記第３目印は、前記対象者の上唇の中央と下唇の中央とを結んだ線分の中点であり、前記推定工程において、前記線分の中点を通り前記第１線と直行する第２線と前記器具の前記所定部位との相対的な位置関係をさらに推定してもよい。

【0163】

本開示の態様７に係る推定方法は、上記態様５において、前記第３目印は、左の口角および右の口角であり、前記推定工程において、前記左の口角と前記右の口角とを結ぶ第３線と前記器具の前記所定部位との相対的な位置関係をさらに推定してもよい。

【0164】

本開示の態様８に係る推定方法は、上記態様６または７において、前記検出工程において、前記撮像画像における前記対象者の前歯の位置によって規定される第４目印の位置をさらに検出し、前記推定工程において、前記第４目印の位置と前記器具の前記所定部位との相対的な位置関係をさらに推定してもよい。

【0165】

本開示の態様９に係る推定装置は、施術を受ける対象者の顔を撮像した撮像画像において、前記対象者の口よりも頭頂側に位置する前記顔の部位である第１目印の位置、該口よりも胴体側に位置する前記顔の部位である第２目印の位置、および前記施術に用いられる器具の所定部位の位置を検出する検出部と、前記撮像画像における、前記第１目印の位置および前記第２目印の位置によって規定される第１線と前記器具の前記所定部位との相対的な位置関係を推定する推定部と、を備える。

【0166】

本開示の態様１０に係る推定システムは、施術を受ける対象者の顔を撮像する撮像装置と、前記請求項９に記載の推定装置と、を備える。

【0167】

本開示の態様１１に係る推定システムは、上記態様１０において、前記推定装置は、前記施術を受ける対象者を保持可能な診療装置と通信可能に接続されており、推定された前記位置関係が、前記施術の対象となる治療部位の位置を示す治療部位情報と一致するか否かを判定する判定部をさらに備え、前記治療部位情報と、推定された前記位置関係とが一致しない場合、前記治療部位の誤認が発生したことを前記施術の施術者に知らせるための警告を前記診療装置に出力させるための第１警告出力要求を該診療装置に送信してもよい。

【0168】

本開示の態様１２に係る推定システムは、上記態様１１において、前記診療装置は、前記施術の施術者が使用する機器、および該施術者によって装着される機器を含む１以上の外部機器と通信可能に接続されており、前記第１警告出力要求を前記推定装置から受信した場合、前記治療部位の誤認が発生したことを前記施術の施術者に知らせるための警告を前記外部機器に出力させるための第２警告出力要求を該外部機器に送信してもよい。

【0169】

本開示の態様１３に係る制御プログラムは、上記態様１０に記載の推定装置としてコンピュータを機能させるための制御プログラムであって、上記検出部および上記推定部としてコンピュータを機能させる。

【0170】

本開示の態様１４に係る記録媒体は、上記態様１３に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。

【実施例0171】

本発明の実施例１について以下に説明する。実施例１では、治療器具とランドマークの検出精度を調べた。

【0172】

４名の被検者の歯にコントラとミラーを位置づけた状態で、スマートフォン（iPhone 12 Pro、iPhone：登録商標）を用いて動画を撮影した。アノテーションデータを、labelImgを用いて作成し、ＹＯＬＯｖ４の学習のための教師データとした。４００枚を学習用に１００枚を検証用とし、機械学習を行った。

【0173】

検出精度の評価として、学習に用いたものとは異なる被検者４名の動画を撮影し、作成した２００枚の画像に対して教師データと同様にアノテーションデータを作成し、このアノテーションデータを正解データとして画像認識を行った。

【0174】

図７は、治療器具とランドマークの検出精度を示す図である。治療器具のコントラおよびミラーについて、また被験者の右鼻翼、左鼻翼、右口角、左口角、上口唇、下口唇およびオトガイのそれぞれについて、上記条件下、検出精度を検証した。検出精度は、ＴＰ（真陽性数）、ＦＰ（偽陽性数）およびＦＮ（偽陰性数）に基づき、再現率、適合率、Ｆ値（適合率と再現率の調和平均）、およびＡＰ（補間平均精度）を算出した。

【0175】

治療器具については、再現率、適合率、Ｆ値およびＡＰにおいて、ミラーよりコントラの方が、各数値が高く検出精度が高い。これは、ミラーが術野の観察に用いられる以外にも、口唇や頬粘膜を牽引するために使用されることが多く、口腔内に隠れることが多いためと考えられる。

【0176】

顔面のランドマークについては、左右鼻翼、上下口唇、およびオトガイについては、再現率、適合率、Ｆ値およびＡＰの各数値が高く検出精度が高い。一方、左右口角については各数値が低く検出精度が低かった。これは、左右口角は施術者の手や治療器具によって覆われたり、ミラー等で引っ張られて変形したりすることが多いためと考えられる。

【0177】

左右鼻翼、上下口唇、およびオトガイは、左右口角と比較して検出精度が高いため、本発明において、これらの部位を基にランドマークを設定するのが好適であることがわかった。

【実施例0178】

本発明の実施例２について以下に説明する。実施例２では、治療部位推定精度を調べた。検出したコントラおよびミラーとランドマークの位置関係から、治療部位を推定するプログラムを作成し、部位推定精度を算出した。プログラム言語はPython3（3.10.4）を用い、ライブラリはnumpy（1.22.4）、OpenCV（4.6.0）を用いた。

【0179】

図８は、第１ランドマークＭ１および第２ランドマークＭ２により規定される第１線Ｙと、第３ランドマークＭ３を通り第１線Ｙと直行する第２線Ｘとで４つに分割された部位（右上、右下、左上、左下）の治療器具の位置の推定精度を示す図である。右上は領域ＸＹ１、左上は領域ＸＹ２、左下は領域ＸＹ３、右下は領域ＸＹ４にあたる。

【0180】

部位的中率とは、例えば、右上に治療器具を当てたときに、その部位を「右上」と推定した割合である。左右的中率とは、例えば、右上に治療器具を当てたときに、その部位を「右上」もしくは「右下」と推定した割合である。また、上下的中率とは、例えば、右上に器具を当てたときに、その部位を「右上」もしくは「左上」と推定した割合である。

【0181】

図８に示すように、左右的中率はいずれも７７％以上と高い数値であり、左右的中率の推定精度は非常に高いと判断できる。したがって、本発明の画像認識を用いた歯科治療部位推定システムは、左右の治療部位を特に高い確率で推定できることが分かった。

【0182】

治療部位の誤認は、隣在歯の次に左右の歯で起こることが多いため、本発明の推定システムは、歯科治療において特に多く発生する左右の歯の誤認を防止することができることがわかった。