ホーム > 特許ランキング > 株式会社モリタ製作所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-29
(45)【発行日】2024-02-06
(54)【発明の名称】制御装置、制御方法、および制御プログラム
(51)【国際特許分類】
A61G 15/00 20060101AFI20240130BHJP
A61C 19/00 20060101ALI20240130BHJP
【ＦＩ】
A61G15/00 Z
A61C19/00 Z
【請求項の数】
10
(21)【出願番号】P 2020215157
(22)【出願日】2020-12-24
(65)【公開番号】P2022100897
(43)【公開日】2022-07-06
【審査請求日】2022-06-03
(73)【特許権者】
【識別番号】000138185
【氏名又は名称】株式会社モリタ製作所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】園部 興一
【審査官】岡▲さき▼ 潤
(56)【参考文献】
【文献】国際公開第２０１９／１０６８８４（ＷＯ，Ａ１）
【文献】米国特許第０９７８８９０７（ＵＳ，Ｂ１）
【文献】特許第６７７７９１７（ＪＰ，Ｂ１）
【文献】特表２０１８－５３３１１９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｇ １５／００
Ａ６１Ｃ １９／００
(57)【特許請求の範囲】
【請求項1】
一連の歯科診療に関する歯科診療データの記録を制御する制御装置であって、前記歯科診療データが入力される入力部と、
前記歯科診療データを記録する記録部を制御する制御部とを備え、
前記制御部は、前記一連の歯科診療の開始条件が成立する場合に、前記入力部に入力される前記歯科診療データの記録を前記記録部に開始させ、
前記開始条件は、前記一連の歯科診療の開始が推定される条件であり、前記一連の歯科診療のためのチェアの座面シートの高さが所定高さ以上になったこと、前記一連の歯科診療のためのベッドの高さが所定高さ以上になったこと、前記チェアの背もたれの角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置の電源がＯＮになったこと、前記チェアへの人の着座が検知されたこと、診療空間において前記診療器具が検知されたこと、および、前記診療空間において人が検知されたことの少なくともいずれか１つを含む、制御装置。
【請求項2】
前記制御部は、前記一連の歯科診療の終了条件が成立する場合に、前記入力部に入力される前記歯科診療データの記録を前記記録部に終了させる、請求項１に記載の制御装置。
【請求項3】
前記終了条件は、前記チェアの前記座面シートの高さが所定高さ未満になったこと、前記ベッドの高さが所定高さ未満になったこと、前記チェアの背もたれの角度が所定角度未満になったこと、前記診療器具の駆動がＯＦＦになったこと、前記照明装置の電源がＯＦＦになったこと、前記チェアからの人の離席が検知されたこと、前記診療空間において前記診療器具が所定時間以上検知されないこと、および、前記診療空間において人が検知されないことの少なくともいずれか１つを含む、請求項２に記載の制御装置。
【請求項4】
前記制御部は、前記一連の歯科診療に割り当てられた識別データに関連付けて、前記歯科診療データを前記記録部に記録させる、請求項１～請求項３のいずれか１項に記載の制御装置。
【請求項5】
前記制御部は、前記一連の歯科診療が行われた時間を特定可能な時間データに関連付けて、前記歯科診療データを前記記録部に記録させる、請求項１～請求項４のいずれか１項に記載の制御装置。
【請求項6】
前記歯科診療データは、前記診療空間をカメラで撮影した画像関連データを含む、請求項１～請求項５のいずれか１項に記載の制御装置。
【請求項7】
前記歯科診療データは、前記チェア、前記診療器具、前記照明装置、給水・排水装置、フットコントローラ、ディスプレイ、操作パネルの少なくともいずれか１つにおける過去および現在の少なくともいずれか１つの制御データを含む、請求項１～請求項６のいずれか１項に記載の制御装置。
【請求項8】
前記記録部によって記録された前記歯科診療データは、推定モデルの機械学習のための学習用データである、請求項１～請求項７のいずれか１項に記載の制御装置。
【請求項9】
コンピュータによる一連の歯科診療に関する歯科診療データの記録を制御する制御方法であって、前記歯科診療データが入力されるステップと、
前記一連の歯科診療の開始条件が成立するか否かを判定するステップと、
前記開始条件が成立する場合に、入力される前記歯科診療データの記録を記録部に開始させるステップと、
前記一連の歯科診療の終了条件が成立する場合に、入力される前記歯科診療データの記録を前記記録部に終了させるステップとを含み、
前記開始条件は、前記一連の歯科診療の開始が推定される条件であり、前記一連の歯科診療のためのチェアの座面シートの高さが所定高さ以上になったこと、前記一連の歯科診療のためのベッドの高さが所定高さ以上になったこと、前記チェアの背もたれの角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置の電源がＯＮになったこと、前記チェアへの人の着座が検知されたこと、診療空間において前記診療器具が検知されたこと、および、前記診療空間において人が検知されたことの少なくともいずれか１つを含む、制御方法。
【請求項10】
一連の歯科診療に関する歯科診療データの記録を制御する制御プログラムであって、コンピュータに、
前記歯科診療データが入力されるステップと、
前記一連の歯科診療の開始条件が成立するか否かを判定するステップと、
前記開始条件が成立する場合に、入力される前記歯科診療データの記録を記録部に開始させるステップと、
前記一連の歯科診療の終了条件が成立する場合に、入力される前記歯科診療データの記録を前記記録部に終了させるステップとを実行させ、
前記開始条件は、前記一連の歯科診療の開始が推定される条件であり、前記一連の歯科診療のためのチェアの座面シートの高さが所定高さ以上になったこと、前記一連の歯科診療のためのベッドの高さが所定高さ以上になったこと、前記チェアの背もたれの角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置の電源がＯＮになったこと、前記チェアへの人の着座が検知されたこと、診療空間において前記診療器具が検知されたこと、および、前記診療空間において人が検知されたことの少なくともいずれか１つを含む、制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一連の診療に関する診療データの記録を制御する制御装置、制御方法、および制御プログラムに関する。
【背景技術】
【0002】
従来、患者を診療するための診療装置が知られている。たとえば、特許文献１には、チェア、診療器具、および照明装置など、患者を診療するための構成を備えた診療装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６３８８８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された診療装置によれば、術者は、診療内容に応じて診療装置の各構成を使用することで、患者を診療することができる。近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い利活用するといった技術が生み出されていることに鑑みれば、診療装置にＡＩ技術を用いることで、術者にとって利便性の高い診療装置を提供することができる。
【0005】
診療装置にＡＩ技術を用いるためには、機械学習時に必要となる一連の診療に関する診療データを収集して蓄積する必要がある。しかしながら、診療データを何ら工夫することなく記録した場合、その記録された診療データは煩雑で、機械学習時に利活用し難いものとなるおそれがある。
【0006】
本発明は、利活用し易い診療データを記録することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一例に従えば、一連の歯科診療に関する歯科診療データの記録を制御する制御装置が提供される。制御装置は、歯科診療データが入力される入力部と、歯科診療データを記録する記録部を制御する制御部とを備える。制御部は、一連の歯科診療の開始条件が成立する場合に、入力部に入力される歯科診療データの記録を記録部に開始させる。開始条件は、一連の歯科診療の開始が推定される条件であり、一連の歯科診療のためのチェアの座面シートの高さが所定高さ以上になったこと、一連の歯科診療のためのベッドの高さが所定高さ以上になったこと、チェアの背もたれの角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置の電源がＯＮになったこと、チェアへの人の着座が検知されたこと、診療空間において診療器具が検知されたこと、および、診療空間において人が検知されたことの少なくともいずれか１つを含む。
【0008】
本開示の一例に従えば、コンピュータによる一連の歯科診療に関する歯科診療データの記録を制御する制御方法が提供される。制御方法は、歯科診療データが入力されるステップと、一連の歯科診療の開始条件が成立するか否かを判定するステップと、開始条件が成立する場合に、入力される歯科診療データの記録を記録部に開始させるステップと、一連の歯科診療の終了条件が成立する場合に、入力される診療データの記録を記録部に終了させるステップとを含む。開始条件は、一連の歯科診療の開始が推定される条件であり、一連の歯科診療のためのチェアの座面シートの高さが所定高さ以上になったこと、一連の歯科診療のためのベッドの高さが所定高さ以上になったこと、チェアの背もたれの角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置の電源がＯＮになったこと、チェアへの人の着座が検知されたこと、診療空間において診療器具が検知されたこと、および、診療空間において人が検知されたことの少なくともいずれか１つを含む。
【0009】
本開示の一例に従えば、一連の歯科診療に関する歯科診療データの記録を制御する制御プログラムが提供される。制御プログラムは、コンピュータに、歯科診療データが入力されるステップと、一連の歯科診療の開始条件が成立するか否かを判定するステップと、開始条件が成立する場合に、入力される歯科診療データの記録を記録部に開始させるステップと、一連の歯科診療の終了条件が成立する場合に、入力される診療データの記録を記録部に終了させるステップとを実行させる。開始条件は、一連の歯科診療の開始が推定される条件であり、一連の歯科診療のためのチェアの座面シートの高さが所定高さ以上になったこと、一連の歯科診療のためのベッドの高さが所定高さ以上になったこと、チェアの背もたれの角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置の電源がＯＮになったこと、チェアへの人の着座が検知されたこと、診療空間において診療器具が検知されたこと、および、診療空間において人が検知されたことの少なくともいずれか１つを含む。
【発明の効果】
【0011】
本開示によれば、利活用し易い診療データを記録することができる。
【図面の簡単な説明】
【0012】
【図1】本実施の形態に係る制御システムの全体構成を示す模式図である。
【図2】トレーカメラの撮影画像の一例を説明するための図である。
【図3】患者カメラの撮影画像の一例を説明するための図である。
【図4】全体カメラの撮影画像の一例を説明するための図である。
【図5】本実施の形態に係る制御システムの内部構成を示すブロック図である。
【図6】本実施の形態に係る制御装置が取得する位置データの一例を説明するための図である。
【図7】位置データの検出ポイントの一例を説明するための図である。
【図8】位置データに対応する位置座標の一例を説明するための図である。
【図9】本実施の形態に係る制御装置の診療データの記録段階における機能構成を示すブロック図である。
【図10】学習用データのデータ構造を説明するための図である。
【図11】本実施の形態に係る制御装置の学習段階における機能構成を示すブロック図である。
【図12】本実施の形態に係る制御装置の運用段階における機能構成を示すブロック図である。
【図13】根管治療におけるトレーカメラの撮影画像の一例を説明するための図である。
【図14】トレーカメラの撮影情報から取得されたトレー画像データの一例を説明するための図である。
【図15】患者カメラの撮影情報から取得された患者画像データの一例を説明するための図である。
【図16】全体カメラの撮影情報から取得された位置データの一例を説明するための図である。
【図17】診療装置から取得された装置関連データの一例を説明するための図である。
【図18】同期データの一例を説明するための図である。
【図19】同期データの一例を説明するための図である。
【図20】診療データの記録タイミングを説明するためのタイミングチャートである。
【図21】制御装置が実行する記録制御処理の一例を説明するためのフローチャートである。
【図22】制御装置が実行する学習処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0013】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0014】
＜制御システムの全体構成＞
図１は、本実施の形態に係る制御システム１０００の全体構成を示す模式図である。本実施の形態に係る制御システム１０００は、患者を診療するための診療装置１を制御する。
図１は、本実施の形態に係る制御システム１０００の全体構成を示す模式図である。本実施の形態に係る制御システム１０００は、患者を診療するための診療装置１を制御する。
【0015】
「診療」は、診察および治療の少なくともいずれか１つを含む。「診察」は、術者が患者の病状および病因などを探ることを含む。「治療」は、術者が患者の病気を治すこと、および術者が患者の美容や健康を保つこと（たとえば、審美治療）を含む。診療（診察、治療）の対象となる学科は、歯科および医科の少なくともいずれか１つを含む。「歯科」は、歯または歯に関連した組織（歯周組織など）に関する疾患を扱う診療科であり、たとえば、一般歯科、矯正歯科、口腔外科、歯科放射線科、および小児歯科などを含む。「医科」は、たとえば、内科、小児科、外科、眼科、耳鼻咽喉科、産婦人科、皮膚科、脳神経外科、循環器科、および整形外科などを含む。本実施の形態に係る診療装置１は、術者が患者の歯科に関する診療を行うために用いられる。「術者」は、患者を診療する医師（たとえば、歯科医師）、医師を補助する補助者（たとえば、歯科助手）、歯科または医科大学の先生、歯科または医科大学の生徒、および歯科技工士などを含む。
【0016】
診療に訪れた患者に対して術者が診察または治療を行う一連の行動を、「一連の診療」とも称する。つまり、「一連の診療」は、診療を開始してからその診療を終了させるまでに術者が行う行動（診察、治療）全体を含む。「一連の診療」は、診療装置１の設計者などによって予め定められた診療単位であってもよい。「一連の診療」は、術者によって予め定められた診療単位であってもよい。「一連の診療」は、１人の患者に対して行われる１回の診療単位であってもよい。
【0017】
図１に示すように、制御システム１０００は、診療装置１と、制御装置１００と、サーバ装置２００とを備える。
【0018】
診療装置１は、たとえば、術者が患者に対して歯科に関する診療を行うためのチェアユニットである。診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダー１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置１９と、器具制御装置２１と、表示制御装置２２と、スピーカ３５とを備える。
【0019】
チェア１１は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。なお、チェア１１は、背もたれ１１ｂおよび座面シート１１ｃを必ずしも備える必要がない。たとえば、チェア１１は、背もたれ１１ｂに対応する部分と座面シート１１ｃに対応する部分とが一体的になったベッドを備えていてもよい。
【0020】
ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。
【0021】
トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。なお、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）によって吊り下げられてもよい。たとえば、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６によって吊り下げられてもよい。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。
【0022】
「診療器具」は、ピンセット、ミラー、エキスカベーター、深針、およびマイクロスコープなど、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダー１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダー１４によって保持されない診療器具が主に置かれる。
【0023】
診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。
【0024】
フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の姿勢を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。
【0025】
ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。
【0026】
操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。
【0027】
照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。なお、照明装置１９に限らず、ディスプレイ１７も、ポール５またはアーム６の先端に取り付けられてもよい。
【0028】
スピーカ３５は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。
【0029】
術者は、診療内容に応じて診療装置１の各構成を使用することで、患者を診療することができる。たとえば、術者は、患者をチェアに座らせる際に、フットコントローラ１６を操作することで、患者が座り易い姿勢となるようにチェア１１を動作させる。たとえば、術者は、患者を診療する際に、照明装置１９を消灯状態から照明状態へと切り替えることで、患者の口腔内を視認し易くする。たとえば、術者は、患者を診療する際に、フットコントローラ１６を操作することで、診療器具１５を駆動させる。
【0030】
近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い利活用するといった技術が生み出されていることに鑑みれば、診療装置１にＡＩ技術を用いることで、術者にとって利便性の高い診療装置１を提供することができる。
【0031】
たとえば、術者は、患者に対する一連の診療中に、診療装置１が備える各構成を操作することで、患者を診療することができるが、このような一連の診療中の術者の動作をＡＩ技術を用いて先読みして診療装置１を制御することができれば、術者にとって利便性の高い診療装置１を提供することができる。
【0032】
ここで、一連の診療中、歯科医師、歯科助手、および患者の各々は、診療内容に応じて概ね決まったルーチンで動作を行い、診療内容に応じて概ね決まった姿勢をとる。歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢は、診療の手順を表しているとも言え、その手順に対応するように診療装置１も制御される。このため、歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢に基づき、診療の手順を理解することができれば、診療装置１の制御を先読みすることが可能となる。
【0033】
さらに、術者は、診療内容に応じて複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出し、取り出した診療器具を用いて診療を行う。選択される診療器具の種類、および診療器具が用いられる順番は、診療の手順を表しているとも言え、その手順に対応するように診療装置１も制御される。このため、術者によって選択される診療器具の種類および診療器具が用いられる順番に基づき、診療の手順を理解することができれば、診療装置１の制御を先読みすることが可能となる。
【0034】
本実施の形態に係る制御システム１０００（制御装置１００）は、歯科医師、歯科助手、および患者の行動を、ＡＩを用いて分析・学習することで、診療装置１を制御するための制御データを推定するように構成されている。さらに、本実施の形態に係る制御システム１０００（制御装置１００）は、術者によって選択される診療器具の種類および診療器具が用いられる順番を、ＡＩを用いて分析・学習することで、診療装置１の制御データを推定するように構成されている。
【0035】
ここで、診療装置１にＡＩ技術を用いるためには、機械学習時に必要となる一連の診療に関する診療データを収集して蓄積する必要がある。しかしながら、診療データを何ら工夫することなく記録した場合、その記録された診療データは煩雑で、機械学習時に利活用し難いものとなるおそれがある。たとえば、一連の診療の開始タイミングで診療データの記録を開始していない場合、または、一連の診療の終了タイミングで診療データの記録を終了していない場合、実際に行われた一連の診療に対して診療データが足らなかったり、一連の診療とは無関係な無駄なデータが診療データに含まれていたりするおそれがある。このような診療データを用いて機械学習を行ったとしても、機械学習の精度が向上し難い。
【0036】
そこで、本実施の形態に係る制御システム１０００（制御装置１００）は、機械学習のための学習用データとして利活用し易い診療データを記録する技術を提供する。以下、本実施の形態に係る制御システム１０００（制御装置１００）による診療データの記録および機械学習を具体的に説明する。
【0037】
本実施の形態に係る診療装置１には、複数のカメラが取り付けられている。具体的には、制御システム１０００は、ディスプレイ１７に取り付けられたトレーカメラ５１と、照明装置１９に取り付けられた患者カメラ５２と、ポール５の上部に取り付けられた全体カメラ５３とを備える。
【0038】
トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた撮影情報を含む画像データ（以下、「トレー画像データ」とも称する。）は、制御装置１００によって取得される。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、および種類などを制御装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
【0039】
患者カメラ５２は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置１９によって患者の口腔内が照明されるため、照明装置１９に取り付けられた患者カメラ５２は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ５２によって得られた撮影情報を含む画像データ（以下、「患者画像データ」とも称する。）は、制御装置１００によって取得される。患者カメラ５２におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を制御装置１００が認識できる程度に予め調整されている。なお、患者カメラ５２は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。患者カメラ５２は、口腔周辺の部位と診療器具とにおける奥行き方向（たとえば、患者カメラ５２から患者を見る方向）の位置関係を制御装置１００が検出できるように、全体カメラ５３と同様に三次元の位置座標を検出可能であってもよい。
【0040】
全体カメラ５３は、診療装置１を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ５３は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５３は、ポール５の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の行動と、診療装置１の動作とを上空から俯瞰して撮影する。
【0041】
全体カメラ５３は、術者および患者の三次元の位置座標を検出できるように３Ｄカメラなどで構成されている。たとえば、全体カメラ５３は、カメラによる撮影および光（たとえば、赤外線）の反射を用いた対象物までの距離の測定によって三次元の位置座標を検出可能なＴｏＦ（Time of Flight）方式のカメラ、または、２台のカメラによる撮影によって三次元の位置座標を検出可能なステレオ方式のカメラなどで構成されている。
【0042】
なお、全体カメラ５３は、図１に示すような診療装置１のチェア１１（またはチェア１１に座った患者）の正面から撮影するカメラに加えて、診療装置１のチェア１１（またはチェア１１に座った患者）の背面から撮影するカメラを含んでいてもよい。このようにすれば、全体カメラ５３は、診療装置１の正面に限らず、背面からも診療空間を撮影することができるため、死角無くより詳細に、かつ、より広範囲に、診療空間を撮影することができる。さらに、全体カメラ５３は、診療空間に存在する撮影対象（たとえば、術者および患者などの人物）を追尾することができるものであってもよい。
【0043】
「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、少なくとも診療中の歯科医師、歯科助手、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５３によって得られた撮影情報を含む画像データ（以下、「全体画像データ」とも称する。）は、制御装置１００によって取得される。全体カメラ５３におけるシャッタースピードなどの各種設定は、歯科医師の行動、歯科助手の行動、患者の行動、および診療装置１の動作などを制御装置１００が認識できる程度に予め調整されている。なお、全体カメラ５３は、診療装置１を含む診療空間を少なくとも撮影することができる場所であれば、いずれの場所に設置されてもよい。
【0044】
上述したトレー画像データ、患者画像データ、および全体画像データの各々は、「画像関連データ」の一実施形態であり、以下ではこれらのデータを「画像関連データ」とも称する。なお、「画像関連データ」という文言は、トレー画像データ、患者画像データ、および全体画像データの全てを意味する場合もあるが、トレー画像データ、患者画像データ、および全体画像データのうちの少なくともいずれか１つを意味する場合もある。
【0045】
さらに、詳しくは後述するが、制御装置１００は、トレー画像データおよび患者画像データに基づき、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類を検出する。制御装置１００は、全体画像データに基づき、撮影画像に映し出された歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した制御装置１００による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、患者画像データ、および全体画像データそのものを含んでいてもよいし、これらのデータに基づき制御装置１００によって取得された検出結果を含んでいてもよい。
【0046】
制御装置１００は、取得した各種のデータに基づき、診療装置１の制御データを推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、制御装置１００は、診療装置１に取り付けられたトレーカメラ５１、患者カメラ５２、および全体カメラ５３の少なくともいずれか１つから、画像関連データを取得する。さらに、制御装置１００は、診療装置１で取得した診療装置１に関するデータ（以下、「装置関連データ」とも称する。）を取得する。制御装置１００は、取得した画像関連データおよび装置関連データの少なくともいずれか１つに基づき、診療装置１の制御データを推定する。
【0047】
「装置関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の少なくともいずれか１つにおける過去および現在の少なくとも１つの制御データを含む。たとえば、「装置関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の各々における動作および制御の履歴を示すログデータを含む。なお、「装置関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「装置関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「装置関連データ」は、チェア１１の現在の状態（姿勢および位置など）を特定するためのデータを含んでいてもよい。
【0048】
上述した「画像関連データ」および「装置関連データ」は、一連の診療に関するデータであるため、これらのデータを「診療データ」とも称する。「診療データ」は、「画像関連データ」および「装置関連データ」の少なくともいずれか１つを含む。
【0049】
＜診療内容＞
診療のうちの治療の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも診療内容に含まれる。
診療のうちの治療の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも診療内容に含まれる。
【0050】
術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。処置の例としては、審査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。
【0051】
診療のうち、根管治療の場合を例に挙げる。根管治療とは、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を切削拡大してから洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、審査、抜髄、根管長測定・拡大、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。
【0052】
審査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定・拡大は、歯髄を除去した後の空洞になった根尖位置を測定し、その根尖までの根管を切削拡大することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。なお、上述した根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、上述した処置の一部が省かれてもよい。
【0053】
【0054】
たとえば、図２に示す例では、ラバーダム防湿一式３０１、ラバーダムシート３０２、根管長測定器３０３、バーセット３０４、ファイル（リーマ）３０５、口角対極３０６、ファールクリップ３０７、ブローチ３０８、洗浄用ニードル３０９、洗浄用シリンジ３１０、仮封剤充填器３１１、クレンザー３１２、タービン３１３、ピンセット３１４、バキューム３１５、ミラー３１６、エキスカベーター３１７、深針３１８、および根管材料注入器３１９といったように、複数の診療器具がトレー３０に置かれた様子が撮影画像に映し出されている。
【0055】
診療中においては、トレー３０に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ５１の撮影画像に映し出されない。たとえば、診療中にミラー３１６が使用された場合は、トレー３０上からミラー３１６が存在しないため、トレーカメラ５１の撮影画像にミラー３１６が映し出されない。
【0056】
制御装置１００は、図２に示すようなトレーカメラ５１によって取得された撮影画像を含むトレー画像データを画像認識などで分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを検出することができる。
【0057】
【0058】
たとえば、図３に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具（この例ではピンセット３１４およびミラー３１６）が位置する様子が撮影画像に映し出されている。
【0059】
診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図３に示すように、患者カメラ５２の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。
【0060】
制御装置１００は、図３に示すような患者カメラ５２によって取得された撮影画像を含む患者画像データを画像認識などで分析することで、患者の口腔内における診療器具の位置を検出することができる。
【0061】
【0062】
たとえば、図４に示す撮影画像では、診療中の術者（この例では歯科医師３および歯科助手４）および患者２の行動と、診療装置１の状態（この例ではトレーテーブル１３における操作パネル１８およびトレー３０上の診療器具など）とが撮影画像に映し出されている。
【0063】
診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図４に示すように、全体カメラ５３の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の状態などが映し出される。
【0064】
制御装置１００は、図４に示すような全体カメラ５３によって取得された撮影画像を含む全体画像データを画像認識などで分析することで、診療中の術者および患者の位置（たとえば、Ｘ座標、Ｙ座標）を検出することができる。さらに、後述するように、制御装置１００は、全体カメラ５３からの赤外線などの光の照射などによって、診療中の術者および患者の位置（たとえば、Ｚ座標）を検出することができる。
【0065】
＜制御システムの内部構成＞
図５は、本実施の形態に係る制御システム１０００の内部構成を示すブロック図である。図５に示すように、制御システム１０００は、複数のカメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）と、診療装置１とを備える。
図５は、本実施の形態に係る制御システム１０００の内部構成を示すブロック図である。図５に示すように、制御システム１０００は、複数のカメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）と、診療装置１とを備える。
【0066】
診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、音制御装置３２と、ベースンユニット１２と、制御装置１００とを備える。
【0067】
チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、制御装置１００からの制御データをＣＡＮ（Controller Area Network）通信を介して受信すると、当該制御データに基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１に座った患者が座位姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１に座った患者が仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。
【0068】
器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、診療器具１５の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、制御装置１００が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置２１は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。
【0069】
表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、ディスプレイ１７を制御する。パネル制御部２２２は、制御装置１００の制御に基づく制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、操作パネル１８を制御する。
【0070】
音制御装置３２は、音制御部３２１を含む。音制御部３２１は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、スピーカ３５を制御する。
【0071】
ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、照明装置１９の照明および消灯を制御する。
【0072】
上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。
【0073】
制御装置１００、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、ＣＡＮ通信によって相互に通信する。ＣＡＮ通信では、各制御部におけるログデータを含む装置関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、装置関連データが送受信されさえすれば当該装置関連データを必ずしも通信パケットにする必要はない。
【0074】
さらに、ベースンユニット１２は、診療装置１内のログデータを含む装置関連データを蓄積する蓄積部１２３を含む。
【0075】
蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信によって通信することで、各制御部から装置関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭやＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。
【0076】
制御装置１００は、一連の診療に関する診療データの記録を制御するとともに、診療装置１を制御する。制御装置１００は、通信装置１０１と、演算装置１０２と、記録装置１０３とを備える。
【0077】
通信装置１０１は、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々との間で通信することで、データの送受信を行う。通信装置１０１は、有線または無線のＬＡＮ（Local Area Network）通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記憶媒体に一時的に記憶される画像関連データを取得してもよい。通信装置１０１は、有線または無線のＬＡＮ通信によってベースンユニット１２との間で通信することで、ベースンユニット１２の蓄積部１２３に蓄積された装置関連データを取得する。なお、ベースンユニット１２が診療関連データを収集して蓄積するものに限らず、チェア１１、器具制御装置２１、表示制御装置２２、および音制御装置３２など、その他の構成が装置関連データを蓄積してもよく、制御装置１００は、これらその他の構成から装置関連データを取得してもよい。
【0078】
演算装置１０２は、各種のプログラム（たとえば、後述する制御プログラム１４０、推定用プログラム１４１）を実行することで、各種の処理（たとえば、後述する記録制御処理、学習処理）を実行する演算主体である。演算装置１０２は、「コンピュータ」の一実施形態である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。
【0079】
なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）で構成されてもよい。
【0080】
記録装置１０３は、「記録部」の一実施形態である。記録装置１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを格納する記録領域を提供する。記録装置１０３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成されたり、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成されたりする。記録装置１０３は、各カメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）から取得した画像関連データ（トレー画像データ、患者画像データ、全体画像データ）を記録するとともに、ベースンユニット１２の蓄積部１２３から取得した装置関連データを記録する。つまり、記録装置１０３は、一連の診療に関する診療データ（画像関連データ、装置関連データ）を記録する。
【0081】
記録装置１０３は、制御装置１００が備えるものに限らない。たとえば、診療装置１に通信可能に接続された院内サーバが記録装置１０３を備えていてもよいし、診療装置１が設置された診療空間外に設置された院外サーバが記録装置１０３を備えていてもよい。さらに、記録装置１０３は、複数の診療装置１の各々が備える複数の制御装置１００の各々が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した画像関連データおよび装置関連データを記録装置１０３によって一律に蓄積しかつ管理することができる。
【0082】
記録装置１０３は、推定モデル１６１と、制御プログラム１４０と、推定用プログラム１４１と、ＯＳ（Operating System）１４２とを格納する。
【0083】
推定モデル１６１は、診療データに含まれる画像関連データおよび装置関連データの少なくともいずれか１つに基づき、診療装置１の制御データを推定するために用いられる。推定モデル１６１は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）され、診療装置１の制御データの推定精度を向上させることができる。
【0084】
なお、制御装置１００の演算装置１０２によって記録装置１０３による診療データの記録を制御する処理を「記録制御処理」とも称し、制御装置１００の演算装置１０２によって診療データを用いて推定モデル１６１を学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデル１６１を、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデル１６１および学習済みの推定モデル１６１をまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデル１６１を「学習済モデル」とも称する。
【0085】
制御プログラム１４０は、演算装置１０２が記録制御処理を実行するためのプログラムを含む。推定用プログラム１４１は、演算装置１０２が学習処理を実行するためのプログラムを含む。
【0086】
サーバ装置２００は、記録装置２０３を備える。記録装置２０３は、記録装置１０３と同様に、「記録部」の一実施形態である。記録装置２０３は、各種のデータを格納する記録領域を提供する。記録装置２０３は、たとえば、ＤＲＡＭまたはＳＲＡＭなどの揮発性メモリデバイスで構成されたり、ハードディスクまたはＳＳＤなどの不揮発性メモリデバイスで構成されたりする。記録装置２０３は、記録装置１０３から一連の診療に関する診療データ（画像関連データ、装置関連データ）を取得し、取得した診療データを記録する。
【0087】
本実施の形態においては、演算装置１０２が記録制御処理を実行することで、記録装置１０３に診療データを記録させる。さらに、演算装置１０２は、通信装置１０１によって、記録装置１０３に記録された診療データをサーバ装置２００に送信する。サーバ装置２００は、制御装置１００から送信された診療データを取得し、取得した診療データを記録装置２０３に記録させる。このため、演算装置１０２が記録制御処理を実行することで、記録装置２０３による診療データの記録を制御することにもなる。
【0088】
なお、記録装置２０３は、記録装置１０３を介することなく、各カメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）から画像関連データ（トレー画像データ、患者画像データ、全体画像データ）を取得してもよいし、ベースンユニット１２の蓄積部１２３から装置関連データを取得してもよい。この場合、演算装置１０２は、記録制御処理を実行することで、サーバ装置２００の記録装置２０３による診療データの記録を制御してもよい。そして、演算装置１０２は、サーバ装置２００の記録装置２０３に記録された診療データを取得し、取得した診療データを用いて推定モデル１６１の学習処理を実行してもよい。なお、「記録部」の一実施形態である記録装置２０３は、診療装置１の制御装置１００に設けられていてもよい。この場合、制御装置１００の記録装置１０３が記録装置２０３の機能を有していてもよい。
【0089】
＜位置データ＞
図６～図８を参照しながら、全体カメラ５３によって得られた撮影情報に基づき制御装置１００が取得する術者および患者の位置データについて説明する。図６は、本実施の形態に係る制御装置１００が取得する位置データの一例を説明するための図である。図７は、位置データの検出ポイントの一例を説明するための図である。図８は、位置データに対応する位置座標の一例を説明するための図である。
図６～図８を参照しながら、全体カメラ５３によって得られた撮影情報に基づき制御装置１００が取得する術者および患者の位置データについて説明する。図６は、本実施の形態に係る制御装置１００が取得する位置データの一例を説明するための図である。図７は、位置データの検出ポイントの一例を説明するための図である。図８は、位置データに対応する位置座標の一例を説明するための図である。
【0090】
制御装置１００において、演算装置１０２は、記録装置１０３または記録装置２０３から取得した全体画像データに基づき、診療中の術者および患者など撮影画像に含まれる人物の位置を特定するための位置データを生成し、生成した位置データを記録装置１０３に記録させる。
【0091】
具体的には、図６に示すように、記録装置１０３は、人物Ａ、人物Ｂ、および人物Ｃといったように、人物ごとに位置データをまとめて記録する。たとえば、人物Ａは歯科医師に対応し、人物Ｂは歯科助手に対応し、人物Ｃは患者に対応する。記録装置１０３は、演算装置１０２によって生成された位置データを時間データ（タイムスタンプ）に関連付けて記録する。記録装置１０３は、演算装置１０２によって新たに生成された位置データが、記録済みの位置データと異なる場合に、演算装置１０２によって新たに生成された位置データを記録する。すなわち、本実施の形態において、記録装置１０３は、人物の位置が変化しない限り新たな位置データを記録せず、人物の位置が変化したことを条件に新たな位置データを記録する。なお、記録装置１０３は、位置データが変化するか否かに関わらず、所定時間（たとえば、１秒間）ごとに、演算装置１０２によって生成された位置データをタイムスタンプに関連付けて記録してもよい。
【0092】
位置データは、検出対象の人物に対して定められた検出ポイントごとに三次元（Ｘ、Ｙ、Ｚ）の位置座標を含む。図６および図７に示すように、たとえば、検出ポイントは、人物（この例では歯科医師３）の右手首、右肘、右肩、頭、左肩、左肘、左手首、右耳、左耳、右眼、左眼、鼻、口、股関節、右膝、左膝、右足首、および左足首を含む。なお、制御装置１００は、図６に示される検出ポイント以外のポイントについて位置データを取得してもよいし、図６に示される検出ポイントの一部のポイントについてのみ位置データを取得してもよい。
【0093】
なお、制御装置１００は、予め定められた検出ポイントの一部を特定できない場合、前回特定した検出ポイントに対応する位置データを、今回の位置データとして記録装置１０３に記録させてもよい。たとえば、撮影対象となる人物が全体カメラ５３の死角に入った場合、制御装置１００が一部の検出ポイントを特定することができないおそれがあるが、この場合、制御装置１００は、人物が全体カメラ５３の死角に入る前に特定した検出ポイントに対応する位置データを用いて、今回欠落した一部の検出ポイントに対応する位置データを補完してもよい。
【0094】
全体カメラ５３がＴｏＦ方式のカメラで構成される場合における位置データを説明する。たとえば、位置データに対応する位置座標は、図７に示すような全体カメラ５３によって得られた撮影画像の左上の端をＸ座標およびＹ座標の原点とする。さらに、図８に示すように、位置データに対応する位置座標は、全体カメラ５３が配置された位置をＺ座標の原点とする。
【0095】
演算装置１０２は、全体カメラ５３から図７に示すような撮影画像を取得した場合、画像認識によって、人物Ａ、人物Ｂ、および人物Ｃの３人の人物を特定する。演算装置１０２は、各人物について、右手首および右肘といった検出ポイントを画像認識によって特定し、特定した各検出ポイントの位置座標を特定する。診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね位置する場所（ホームポジション）が決まっている。このため、演算装置１０２は、全体カメラ５３の撮影画像に映し出された複数の人物の各々の位置データに基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。さらに、診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね服装の色または形が決まっている。たとえば、歯科医師であれば、通常、白衣を着ている。このため、演算装置１０２は、全体カメラ５３の撮影画像に映し出された複数の人物の各々の服装に基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。
【0096】
たとえば、人物Ａ（歯科医師３）に着目すると、演算装置１０２は、Ｐ１（右手首）、Ｐ２（右肘）、Ｐ３（右肩）、Ｐ４（頭）、Ｐ５（左肩）、Ｐ６（左肘）、およびＰ７（左手首）の検出ポイントを特定し、Ｐ１～Ｐ７の各検出ポイントの位置情報を特定する。たとえば、図８に示すように、演算装置１０２は、Ｐ１の位置座標について、撮影画像に基づき、Ｘ座標としてＸ１を特定し、Ｙ座標としてＹ１を特定する。さらに、演算装置１０２は、全体カメラ５３によってＺ座標の原点からＰ１に向けて照射された光の反射光に基づき、Ｚ座標としてＺ１を特定する。具体的には、演算装置１０２は、全体カメラ５３によって光が照射されてからその光の反射光が戻ってくるまでの時間に基づき、Ｚ座標の原点とＰ１との間の距離Ｌを算出する。そして、演算装置１０２は、Ｐ１からＺ軸に対して垂線を下ろし、垂線の長さと距離Ｌとに基づき三角関数を用いて、Ｚ座標としてＺ１を特定する。
【0097】
演算装置１０２は、上述するようにして特定したＰ１の位置座標を、Ｐ１の位置データとして記録装置１０３に記録させる。このとき、演算装置１０２は、新たに取得したＰ１の位置データが記録装置１０３に記録済みのＰ１の位置データと異なる場合、新たに取得したＰ１の位置データをタイムスタンプとともに記録装置１０３に記録させる。一方、演算装置１０２は、新たに取得したＰ１の位置データが記録装置１０３に記録済みのＰ１の位置データと同じである場合、新たに取得したＰ１の位置データを記録装置１０３に記録させない。
【0098】
このように、演算装置１０２は、人物の位置を検出するたびに、新たな位置データを記録装置１０３に毎回記録させるのではなく、人物の位置データが変化した場合に限り、新たな位置データを記録装置１０３に記録させるため、記録装置１０３が記録するデータ量が増大することを極力抑えることができる。
【0099】
このようにして、制御装置１００は、全体カメラ５３から取得した撮影情報に基づき、診療中の術者および患者の位置を特定するための各検出ポイントの位置データを取得する。制御装置１００は、取得した位置データを時間データ（タイムスタンプ）に関連付けて、全体画像データとして記録装置１０３に蓄積して記録させる。記録装置１０３に記録された位置データを含む全体画像データは、サーバ装置２００に送信され、記録装置２０３によって記録される。
【0100】
これにより、推定モデル１６１の設計者などは、一の推定モデル１６１を位置データを用いて機械学習させた後、記録装置１０３または記録装置２０３に記録された同じ位置データを用いて同じ一の推定モデル１６１を再び機械学習させる場合に、時間データを手掛かりにして、過去の機械学習時に用いた位置データを特定することができる。さらに、推定モデル１６１の設計者などは、複数の推定モデル１６１間で同じ診療データを用いて機械学習させる場合に、時間データを手掛かりにして、一の推定モデル１６１の機械学習時に用いた診療データを他の推定モデル１６１の機械学習時に特定することができる。
【0101】
また、一連の診療における人物の位置データを記録装置１０３または記録装置２０３に記録して残しておくことで、推定モデル１６１を再び機械学習させる際に、再び当時と同じような診療を行うことなく、当時の診療を再現することができる。さらに、将来において、各検出ポイントにおける位置検出の精度が向上した場合、当時と同じような一連の診療が行われても、当時と同じような位置データを取得することは難しくなるが、このような場合であっても、当時の一連の診療における人物の位置データを記録装置１０３または記録装置２０３に記録して残しておくことで、推定モデル１６１を再び機械学習させる際に、当時の診療を再現することができる。
【0102】
なお、当時の診療時の人物の位置データを記録装置１０３または記録装置２０３に記録して残すものに限らず、人物の位置データを特定する際に用いた生の動画データ（たとえば、トレー画像データ、患者画像データ、全体画像データなど）を、人物の位置データとともに記録装置１０３または記録装置２０３に記録して残してもよい。このようにすれば、たとえば、学習を繰り返したり、新たなＡＩアルゴリズムが開発されたりすることで、将来的に、位置検出部１５７の精度が飛躍的に向上すれば、その精度の高い位置検出部１５７によって生の動画データを解析することができる。これにより、生の動画データを取得した当時よりも、さらに精度の高い位置データを取得することができ、その精度の高い位置データを記録装置１０３または記録装置２０３に記録して残しておくことができる。
【0103】
さらに、制御装置１００は、各検出ポイントを直線などによって仮想的に繋げることによって、人物の手、腕、頭、腰、および足などの動作を特定することができる。
【0104】
これにより、制御装置１００は、関節、眼、鼻、口、耳、および頭といったような人物の動作が反映され易い各検出ポイントの位置を検出することで、より精度よく人物の動作を特定することができる。
【0105】
なお、上述した検出ポイントの位置座標の特定方法は、一例であり、制御装置１００は、その他の手法で検出ポイントの位置座標を特定してもよい。さらに、制御装置１００は、一連の診療に関わる人物に限らず、一連の診療に関わるキーアイテムの位置座標を特定してもよい。このようにすれば、制御装置１００は、特定したキーアイテムの位置座標を用いて推定モデル１６１を機械学習させることもできる。
【0106】
本実施の形態においては、演算装置１０２は、全体カメラ５３から取得した撮影情報に基づきＺ座標を算出した上で、Ｘ座標およびＹ座標とともにＺ座標を記録装置１０３または記録装置２０３に記録させるものであった。しかしながら、演算装置１０２は、Ｚ座標の代わりに、撮影画像に映し出されたオブジェクトまでの距離をフレーム化した深度フレームを画像フレームとともに記録装置１０３または記録装置２０３に記録させてもよい。このようにすれば、一連の診療が終了した後であっても、記録装置１０３または記録装置２０３に記録された深度フレームおよび画像フレームを解析することで、Ｚ座標を算出することができる。
【0107】
＜制御装置の機能構成＞
［制御装置の記録段階における機能構成］
図９は、本実施の形態に係る制御装置１００の診療データの記録段階における機能構成を示すブロック図である。図９に示すように、制御装置１００は、主な機能部として、入力部１５０と、通信部１１０と、記録部１３０と、制御部１２０とを有する。なお、入力部１５０および通信部１１０は、通信装置１０１の機能部であり、記録部１３０は、記録装置１０３の機能部であり、制御部１２０は、演算装置１０２の機能部である。
［制御装置の記録段階における機能構成］
図９は、本実施の形態に係る制御装置１００の診療データの記録段階における機能構成を示すブロック図である。図９に示すように、制御装置１００は、主な機能部として、入力部１５０と、通信部１１０と、記録部１３０と、制御部１２０とを有する。なお、入力部１５０および通信部１１０は、通信装置１０１の機能部であり、記録部１３０は、記録装置１０３の機能部であり、制御部１２０は、演算装置１０２の機能部である。
【0108】
入力部１５０には、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々で撮影した画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と、診療装置１から取得した装置関連データとが時系列で入力される。なお、入力部１５０には、撮影画像に映し出されたオブジェクトまでの距離をフレーム化した深度フレームが時系列で入力されてもよい。
【0109】
記録部１３０は、制御部１２０の制御に基づき、入力部１５０から入力された診療データ（画像関連データ、装置関連データ）を記録する。
【0110】
制御部１２０は、記録部１３０を制御することで、入力部１５０から入力された診療データ（画像関連データ、装置関連データ）を記録部１３０に記録させる。
【0111】
具体的には、制御部１２０は、一連の診療の開始条件が成立する場合に、入力部１５０から入力された一連の診療に関する診療データの記録を記録部１３０に開始させる。「開始条件」は、成立することによって一連の診療の開始が推定される条件である。
【0112】
たとえば、開始条件は、チェア１１の座面シート１１ｃの高さが所定高さ以上になったことを含む。一連の診療が開始する際には、患者がチェア１１に座った状態で、座面シート１１ｃが上昇することが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、座面シート１１ｃの高さが所定高さ以上になるか否かを判定し、座面シート１１ｃの高さが所定高さ以上になったと判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、チェア制御部１１１から取得した装置関連データ（ログデータ）に基づき、座面シート１１ｃの動作を特定することで、座面シート１１ｃの高さが所定高さ以上になるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、座面シート１１ｃの動作を特定することで、座面シート１１ｃの高さが所定高さ以上になるか否かを判定することができる。
【0113】
開始条件は、チェア１１の背もたれ１１ｂの角度（たとえば、鉛直方向に対する角度）が所定角度以上になったことを含む。一連の診療が開始する際には、患者がチェア１１に座った状態で、患者が後傾姿勢となるように背もたれ１１ｂが後方に傾くことが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、背もたれ１１ｂの角度が所定角度以上になるか否かを判定し、背もたれ１１ｂの角度が所定角度以上になったと判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、チェア制御部１１１から取得した装置関連データ（ログデータ）に基づき、背もたれ１１ｂの動作を特定することで、背もたれ１１ｂの角度が所定角度以上になるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、背もたれ１１ｂの動作を特定することで、背もたれ１１ｂの角度が所定角度以上になるか否かを判定することができる。
【0114】
開始条件は、診療器具１５の駆動がＯＮになったことを含む。一連の診療が開始する際には、診療器具１５の駆動がＯＮになることが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、診療器具１５の駆動がＯＮになるか否かを判定し、診療器具１５の駆動がＯＮになったと判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、器具制御部２１１から取得した装置関連データ（ログデータ）に基づき、診療器具１５の状態を特定することで、診療器具１５の駆動がＯＮになるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データまたは患者カメラ５２から取得した患者画像データに基づき、診療器具１５の状態を特定することで、診療器具１５の駆動がＯＮになるか否かを判定することができる。
【0115】
開始条件は、照明装置１９の電源がＯＮになったことを含む。一連の診療が開始する際には、照明装置１９の電源がＯＮになることが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、照明装置１９の電源がＯＮになるか否かを判定し、照明装置１９の電源がＯＮになったと判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、照明制御部１２２から取得した装置関連データ（ログデータ）に基づき、照明装置１９の状態を特定することで、照明装置１９の電源がＯＮになるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、照明装置１９の状態を特定することで、照明装置１９の電源がＯＮになるか否かを判定することができる。
【0116】
開始条件は、チェア１１への人（たとえば、患者）の着座が検知されたことを含む。一連の診療が開始する際には、チェア１１に人が着座することが想定される。このため、制御部１２０は、画像関連データに基づき、チェア１１に人が着座したか否かを判定し、チェア１１に人が着座したと判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、診療空間における人の動作を特定することで、チェア１１に人が着座するか否かを判定することができる。なお、チェア１１の座面シート１１ｃに、人の着座を検知する着座センサが設けられてもよい。
【0117】
開始条件は、診療空間において診療器具が検知されたことを含む。一連の診療が開始する際には、診療器具が用いられることが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、診療空間において診療器具が存在するか否かを判定し、診療空間において診療器具が存在すると判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、全体カメラ５３から取得した全体画像データ、患者カメラ５２から取得した患者画像データ、またはトレーカメラ５１から取得したトレー画像データに基づき、診療器具の有無を特定することで、診療空間において診療器具が存在するか否かを判定することができる。より具体的には、制御部１２０は、トレーカメラ５１から取得したトレー画像データに基づき、トレー３０上に診療器具が置かれたか否かを判定し、トレー３０上に診療器具が置かれたと判定した場合に、診療データの記録を記録部１３０に開始させる。
【0118】
開始条件は、診療空間において人（たとえば、患者、歯科医師、歯科助手）が検知されたことを含む。一連の診療が開始する際には、外部から診療空間に人が入り込むことが想定される。このため、制御部１２０は、画像関連データに基づき、診療空間において人が存在するか否かを判定し、診療空間において人が存在すると判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、診療空間における人の有無を特定することで、診療空間において人が存在するか否かを判定することができる。
【0119】
さらに、背もたれ１１ｂに対応する部分と座面シート１１ｃに対応する部分とが一体的になったベッドをチェア１１が備えている場合、開始条件は、チェア１１のベッドの高さが所定高さ以上になったことを含む。一連の診療が開始する際には、患者がベッドに寝転んだ状態で、ベッドが上昇することが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、ベッドの高さが所定高さ以上になるか否かを判定し、ベッドの高さが所定高さ以上になったと判定した場合に、診療データの記録を記録部１３０に開始させる。たとえば、制御部１２０は、チェア制御部１１１から取得した装置関連データ（ログデータ）に基づき、ベッドの動作を特定することで、ベッドの高さが所定高さ以上になるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、ベッドの動作を特定することで、ベッドの高さが所定高さ以上になるか否かを判定することができる。
【0120】
上述した各開始条件は、複数組み合わされてもよい。たとえば、チェア１１の座面シート１１ｃの高さが所定高さ以上であったとしても、単に、チェア１１のメンテナンスのために座面シート１１ｃの高さが所定高さ以上となっている場合も想定される。このため、制御部１２０は、チェア１１の座面シート１１ｃの高さが所定高さ以上となり、かつ、チェア１１に人が着座していることを検知した場合に、診療データの記録を記録部１３０に開始させてもよい。あるいは、チェア１１の背もたれ１１ｂの角度が所定角度以上であったとしても、単に、チェア１１のメンテナンスのために背もたれ１１ｂの角度が所定角度以上となっている場合も想定される。このため、制御部１２０は、チェア１１の背もたれ１１ｂの角度が所定角度以上となり、かつ、チェア１１に人が着座していることを検知した場合に、診療データの記録を記録部１３０に開始させてもよい。
【0121】
このように、開始条件は、チェア１１の座面シート１１ｃの高さが所定高さ以上になったこと、チェア１１のベッドの高さが所定高さ以上になったこと、チェア１１の背もたれ１１ｂの角度が所定角度以上になったこと、診療器具１５の駆動がＯＮになったこと、照明装置１９の電源がＯＮになったこと、チェア１１への人の着座が検知されたこと、診療空間において診療器具１５が検知されたこと、および、診療空間において人が検知されたことの少なくともいずれか１つを含む。
【0122】
なお、診療装置１（制御装置１００）は、診療データの記録を開始するための記録開始スイッチを備えていてもよい。開始条件は、ユーザが記録開始スイッチを操作することを含んでいてもよい。診療装置１（制御装置１００）は、ユーザのジェスチャ（たとえば、手振り）を検知するジェスチャセンサを備えていてもよい。開始条件は、ジェスチャセンサがユーザによるジェスチャを検知することを含んでいてもよい。診療装置１（制御装置１００）は、ユーザの音声を検知する音声センサを備えていてもよい。開始条件は、音声センサがユーザの音声を検知することを含んでいてもよい。
【0123】
開始条件は、画像関連データが入力されたことを含んでいてもよい。つまり、制御装置１００は、画像関連データが入力されたこと、あるいは、入力された画像関連データに基づき画像認識を行うことを契機として、記録フラグをＯＮに設定してもよい。
【0124】
制御部１２０は、一連の診療の終了条件が成立する場合に、入力部１５０から入力された一連の診療に関する診療データの記録を記録部１３０に終了させる。「終了条件」は、成立することによって一連の診療の終了が推定される条件である。
【0125】
たとえば、終了条件は、チェア１１の座面シート１１ｃの高さが所定高さ未満になったことを含む。一連の診療が終了する際には、患者がチェア１１に座った状態で、座面シート１１ｃが下降することが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、座面シート１１ｃの高さが所定高さ未満になるか否かを判定し、座面シート１１ｃの高さが所定高さ未満になったと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、チェア制御部１１１から取得した装置関連データ（ログデータ）に基づき、座面シート１１ｃの動作を特定することで、座面シート１１ｃの高さが所定高さ未満になるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、座面シート１１ｃの動作を特定することで、座面シート１１ｃの高さが所定高さ未満になるか否かを判定することができる。
【0126】
終了条件は、チェア１１の背もたれ１１ｂの角度（たとえば鉛直方向に対する角度）が所定角度未満になったことを含む。一連の診療が終了する際には、患者がチェア１１に座った状態で、患者が前傾姿勢となるように背もたれ１１ｂが前方に傾くことが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、背もたれ１１ｂの角度が所定角度未満になるか否かを判定し、背もたれ１１ｂの角度が所定角度未満になったと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、チェア制御部１１１から取得した装置関連データ（ログデータ）に基づき、背もたれ１１ｂの動作を特定することで、背もたれ１１ｂの角度が所定角度未満になるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、背もたれ１１ｂの動作を特定することで、背もたれ１１ｂの角度が所定角度未満になるか否かを判定することができる。
【0127】
終了条件は、診療器具１５の駆動がＯＦＦになったことを含む。一連の診療が終了する際には、診療器具１５の駆動がＯＦＦになることが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、診療器具１５の駆動がＯＦＦになるか否かを判定し、診療器具１５の駆動がＯＦＦになったと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、器具制御部２１１から取得した装置関連データ（ログデータ）に基づき、診療器具１５の状態を特定することで、診療器具１５の駆動がＯＦＦになるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データまたは患者カメラ５２から取得した患者画像データに基づき、診療器具１５の状態を特定することで、診療器具１５の駆動がＯＦＦになるか否かを判定することができる。
【0128】
終了条件は、照明装置１９の電源がＯＦＦになったことを含む。一連の診療が終了する際には、照明装置１９の電源がＯＦＦになることが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、照明装置１９の電源がＯＦＦになるか否かを判定し、照明装置１９の電源がＯＦＦになったと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、照明制御部１２２から取得した装置関連データ（ログデータ）に基づき、照明装置１９の状態を特定することで、照明装置１９の電源がＯＦＦになるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、照明装置１９の状態を特定することで、照明装置１９の電源がＯＦＦになるか否かを判定することができる。
【0129】
終了条件は、チェア１１からの人（たとえば、患者）の離席が検知されたことを含む。一連の診療が終了する際には、チェア１１から人が離席することが想定される。このため、制御部１２０は、画像関連データに基づき、チェア１１から人が離席したか否かを判定し、チェア１１から人が離席したと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、診療空間における人の動作を特定することで、チェア１１から人が離席したか否かを判定することができる。
【0130】
終了条件は、診療空間において診療器具１５が所定時間以上検知されないことを含む。一連の診療が終了する際には、診療器具１５が片付けられて所定時間以上用いられないことが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、診療空間において診療器具１５が所定時間以上存在するか否かを判定し、診療空間において診療器具１５が所定時間以上存在しないと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、全体カメラ５３から取得した全体画像データ、患者カメラ５２から取得した患者画像データ、またはトレーカメラ５１から取得したトレー画像データに基づき、診療器具１５の有無を特定することで、診療空間において診療器具１５が所定時間以上存在するか否かを判定することができる。より具体的には、制御部１２０は、トレーカメラ５１から取得したトレー画像データに基づき、トレー３０上から診療器具が離されたか否かを判定し、トレー３０上から診療器具が所定時間以上離されたと判定した場合に、診療データの記録を記録部１３０に終了させる。
【0131】
終了条件は、診療空間において人（たとえば、患者、歯科医師、歯科助手）が検知されないことを含む。一連の診療が終了する際には、診療空間から外部へと人が出て行くことが想定される。このため、制御部１２０は、画像関連データに基づき、診療空間において人が存在するか否かを判定し、診療空間において人が存在しないと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、診療空間における人の有無を特定することで、診療空間において人が存在するか否かを判定することができる。
【0132】
さらに、背もたれ１１ｂに対応する部分と座面シート１１ｃに対応する部分とが一体的になったベッドをチェア１１が備えている場合、終了条件は、チェア１１のベッドの高さが所定高さ未満になったことを含む。一連の診療が終了する際には、患者がベッドに寝転んだ状態で、ベッドが下降することが想定される。このため、制御部１２０は、画像関連データおよび装置関連データの少なくともいずれか１つに基づき、ベッドの高さが所定高さ未満になるか否かを判定し、ベッドの高さが所定高さ未満になったと判定した場合に、診療データの記録を記録部１３０に終了させる。たとえば、制御部１２０は、チェア制御部１１１から取得した装置関連データ（ログデータ）に基づき、ベッドの動作を特定することで、ベッドの高さが所定高さ未満になるか否かを判定することができる。あるいは、制御部１２０は、全体カメラ５３から取得した全体画像データに基づき、ベッドの動作を特定することで、ベッドの高さが所定高さ未満になるか否かを判定することができる。
【0133】
上述した各終了条件は、複数組み合わされてもよい。たとえば、チェア１１の座面シート１１ｃの高さが所定高さ未満であったとしても、単に、チェア１１のメンテナンスまたはレントゲン撮影などで患者が一時的にチェア１１から離れている場合も想定される。このため、制御部１２０は、チェア１１の座面シート１１ｃの高さが所定高さ未満となり、かつ、診療空間において人および診療器具が検知されない場合に、診療データの記録を記録部１３０に終了させてもよい。あるいは、チェア１１の背もたれ１１ｂの角度が所定角度未満であったとしても、単に、チェア１１のメンテナンスまたはレントゲン撮影などで患者が一時的にチェア１１から離れている場合も想定される。このため、制御部１２０は、チェア１１の座面シート１１ｃの高さが所定高さ未満となり、かつ、診療空間において人および診療器具が検知されない場合に、診療データの記録を記録部１３０に終了させてもよい。
【0134】
このように、終了条件は、チェア１１の座面シート１１ｃの高さが所定高さ未満になったこと、チェア１１のベッドの高さが所定高さ未満になったこと、チェア１１の背もたれ１１ｂの角度が所定角度未満になったこと、診療器具１５の駆動がＯＦＦになったこと、照明装置１９の電源がＯＦＦになったこと、チェア１１からの人の離席が検知されたこと、診療空間において診療器具１５が所定時間以上検知されないこと、および、診療空間において人が検知されないことの少なくともいずれか１つを含む。
【0135】
なお、診療装置１（制御装置１００）は、診療データの記録を終了するための記録終了スイッチを備えていてもよい。開始条件は、ユーザが記録終了スイッチを操作することを含んでいてもよい。記録開始スイッチは、記録終了スイッチと同じものであってもよいし、異なるものであってもよい。診療装置１（制御装置１００）は、ユーザのジェスチャ（たとえば、手振り）を検知するジェスチャセンサを備えていてもよい。終了条件は、ジェスチャセンサがユーザによるジェスチャを検知することを含んでいてもよい。診療装置１（制御装置１００）は、ユーザの音声を検知する音声センサを備えていてもよい。終了条件は、音声センサがユーザの音声を検知することを含んでいてもよい。
【0136】
以上のように、制御装置１００は、一連の診療の開始タイミングで記録開始した診療データを用いて推定モデル１６１を機械学習させることができるため、一連の診療の開始前の一連の診療とは無関係な無駄なデータを用いて推定モデル１６１を機械学習させることを防止することができる。
【0137】
制御部１２０は、一連の診療の終了条件が成立する場合に、入力部１５０から入力された一連の診療に関する診療データの記録を記録部１３０に終了させる。これにより、制御装置１００は、一連の診療の終了タイミングで記録終了した診療データを用いて推定モデル１６１を機械学習させることができるため、一連の診療の終了後の一連の診療とは無関係な無駄なデータを用いて推定モデル１６１を機械学習させることを防止することができる。
【0138】
さらに、一連の診療の開始タイミングで診療データを記録開始し、かつ、一連の診療の終了タイミングで診療データを記録終了することで、実際に行われた一連の診療に対して診療データが足らなかったり、一連の診療とは無関係な無駄なデータが診療データに含まれていたりすることがない。このため、制御装置１００は、記録部１３０に記録された診療データに基づき、一連の診療が行われた当時の診療装置１の動作および歯科医師などの動作を再現することができる。制御装置１００は、このような、一連の診療ごとに記録された診療データを用いることで、推定モデル１６１の機械学習の精度を向上させることができる。
【0139】
通信部１１０は、記録部１３０に記録された診療データを、サーバ装置２００へと出力する。なお、制御装置１００は、記録部１３０に対する診療データの記録が実行されている間（一連の診療の実行中）に診療データをサーバ装置２００へと出力してもよいし、記録部１３０に対する診療データの記録が完了した後（一連の診療の完了後）に診療データをサーバ装置２００へと出力してもよい。
【0140】
サーバ装置２００は、記録部２３０を有する。記録部２３０は、記録装置２０３の機能部である。サーバ装置２００は、通信部１１０から出力された診療データを、記録部２３０に記録させる。
【0141】
上述したようにして記録部１３０および記録部２３０の少なくともいずれか１つに記録された診療データは、推定モデル１６１の学習用データとして用いられる。
【0142】
【0143】
具体的には、図１０に示すように、記録部１３０および記録部２３０の各々は、一連の診療に割り当てられた識別データと、一連の診療の開始タイミング（開始日時）と一連の診療の終了タイミング（終了日時）とを特定可能な時間データ（タイムスタンプ）とを関連付けて、診療データ（トレー画像データ、患者画像データ、全体画像データ、装置関連データ）を記録する。なお、記録部１３０および記録部２３０の各々は、撮影画像に映し出されたオブジェクトまでの距離をフレーム化した深度フレームを、診療データとして記録してもよい。
【0144】
このように、記録部１３０および記録部２３０の各々は、一連の診療ごとに識別データによって識別可能な態様で診療データを記録する。これにより、一の推定モデル１６１を機械学習させた後、同じ診療データを用いて同じ一の推定モデル１６１を再び機械学習させる場合に、識別データを手掛かりにして、過去に用いた診療データを特定することができる。さらに、複数の推定モデル１６１間で同じ診療データを用いて機械学習させる場合に、識別データを手掛かりにして、一の推定モデル１６１の機械学習時に用いた診療データを他の推定モデル１６１の機械学習時に特定することができる。したがって、推定モデル１６１の設計者などは、効率よく機械学習させることができる。
【0145】
このように、記録部１３０および記録部２３０の各々は、一連の診療が行われた時間を時間データによって特定可能な態様で診療データを記録する。これにより、推定モデル１６１の設計者などは、一の推定モデル１６１を機械学習させた後、同じ診療データを用いて同じ一の推定モデル１６１を再び機械学習させる場合に、時間データを手掛かりにして、過去に用いた診療データを特定するとともに、当時行われた一連の診療の時間を特定することができる。さらに、推定モデル１６１の設計者などは、複数の推定モデル１６１間で同じ診療データを用いて機械学習させる場合に、時間データを手掛かりにして、一の推定モデル１６１の機械学習時に用いた診療データを他の推定モデル１６１の機械学習時に特定するとともに、当時行われた一連の診療の時間を特定することができる。したがって、推定モデル１６１の設計者などは、効率よく機械学習させることができる。
【0146】
さらに、記録部１３０および記録部２３０の各々は、個々の診療データ識別可能な識別情報としてＩＤを、診療データに紐付けて記録してもよい。また、記録部１３０および記録部２３０の各々は、一連の診療に関する内容（たとえば、術者の氏名、処置内容、その他の特記事項など）を、診療データに紐付けて記録してもよい。このようにすれば、推定モデル１６１の設計者などは、上述したようなＩＤまたは一連の診療に関する内容を手掛かりにして、過去に用いた診療データを特定することができ、機械学習の効率が向上する。
【0147】
［制御装置の学習段階における機能構成］
図１１は、本実施の形態に係る制御装置１００の学習段階における機能構成を示すブロック図である。図１１に示すように、制御装置１００は、主な機能部として、記録部１３０と、位置検出部１５７と、物体検出部１５２と、変換部１５４と、同期部１５５と、セグメント化部１５６と、生成部１６０と、出力部１８０とを有する。なお、出力部１８０は、通信装置１０１の機能部であり、位置検出部１５７、物体検出部１５２、変換部１５４、同期部１５５、セグメント化部１５６、および生成部１６０は、各々、演算装置１０２の機能部である。
図１１は、本実施の形態に係る制御装置１００の学習段階における機能構成を示すブロック図である。図１１に示すように、制御装置１００は、主な機能部として、記録部１３０と、位置検出部１５７と、物体検出部１５２と、変換部１５４と、同期部１５５と、セグメント化部１５６と、生成部１６０と、出力部１８０とを有する。なお、出力部１８０は、通信装置１０１の機能部であり、位置検出部１５７、物体検出部１５２、変換部１５４、同期部１５５、セグメント化部１５６、および生成部１６０は、各々、演算装置１０２の機能部である。
【0148】
位置検出部１５７は、ＸＹ検出部１５１とＺ検出部１５３とを含む。ＸＹ検出部１５１は、記録部１３０またはサーバ装置２００の記録部２３０から取得した全体カメラ５３の全体画像データに基づき画像認識を行うことで、術者および患者などの人物の位置データ（Ｘ座標、Ｙ座標）を検出する。Ｚ検出部１５３は、図８で説明したように、ＸＹ検出部１５１によって特定された人物のＸ座標およびＹ座標と、赤外線などによる反射光から算出される人物までの距離Ｌとに基づき、人物の位置データ（Ｚ座標）を検出する。たとえば、位置検出部１５７は、全体カメラ５３の全体画像データに基づき、後述する図１６に示すように、所定のタイミング（後述する図１６に示すｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、人物の位置データ（Ｘ座標、Ｙ座標、Ｚ座標）を検出する。
【0149】
ここで、ＸＹ検出部１５１の構成についてさらに詳細に説明する。図中の破線部Ｃに示すように、ＸＹ検出部１５１は、推定モデル１５１１を有する。さらに、推定モデル１５１１は、ニューラルネットワーク１５１２と、当該ニューラルネットワーク１５１２によって用いられるパラメータ１５１３とを含む。パラメータ１５１３は、ニューラルネットワーク１５１２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。
【0150】
ニューラルネットワーク１５１２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。
【0151】
ＸＹ検出部１５１は、記録部１３０または記録部２３０から取得した全体画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、術者および患者などの人物の位置データ（各検出ポイントのＸ座標、Ｙ座標）を推定する。
【0152】
学習段階において、推定モデル１５１１は、全体画像データに関連付けられた人物の位置データ（各検出ポイントのＸ座標、Ｙ座標）と、当該全体画像データを用いた人物の位置データ（各検出ポイントのＸ座標、Ｙ座標）の推定結果とに基づき学習されることで最適化（調整）される。
【0153】
具体的には、推定モデル１５１１は、教師データとして全体画像データが入力されると、当該全体画像データに基づきニューラルネットワーク１５１２によって撮影画像に映し出された人物の検出ポイントを推定する。なお、推定モデル１５１１が推定する検出ポイントは、図６で示したように予め決められている。推定モデル１５１１は、各人物において検出ポイントを推定すると、推定した検出ポイントごとに位置データ（Ｘ座標、Ｙ座標）を推定する。なお、位置データの原点は、図７および図８で示したように予め決められている。
【0154】
推定モデル１５１１は、自身の推定結果と、入力された全体画像データに関連付けられた正解データである人物の位置データとが一致するか否かを判定し、両者が一致すればパラメータ１５１３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１５１３を更新することで、パラメータ１５１３を最適化する。なお、上述したような推定モデル１５１１の学習は、学習段階に限らず、運用段階においても行われてもよい。
【0155】
なお、ＸＹ検出部１５１は、ニューラルネットワークを用いたＡＩの画像認識によって人物の位置データを検出するものに限らない。たとえば、ＸＹ検出部１５１は、公知のパターンマッチングのように、撮影画像と予め用意されたテンプレートとを比較することで、人物の位置データを検出してもよい。また、ＸＹ検出部１５１の機能は、制御装置１００が有するものではなく、全体カメラ５３が有するものであってもよいし、全体カメラ５３の近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる検出結果が、画像関連データとして入力部１５０に入力される。
【0156】
物体検出部１５２は、記録部１３０または記録部２３０から取得したトレーカメラ５１のトレー画像データに基づき画像認識を行うことで、トレー３０に置かれた診療器具の有無、形状、および種類などを検出することができる。たとえば、物体検出部１５２は、後述する図１３に示すようなトレーカメラ５１による複数枚の撮影画像のデータに基づき、後述する図１４に示すように、所定のタイミング（後述する図１４に示すｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定する。たとえば、図１４に示すトレー画像データにおいては、トレー３０上に存在する診療器具に対応する記録領域に「０」のデータが格納され、トレー３０上に存在しない診療器具に対応する記録領域に「１」のデータが格納される。
【0157】
さらに、物体検出部１５２は、記録部１３０または記録部２３０から取得した患者カメラ５２の患者画像データに基づき画像認識を行うことで、患者の口腔内における診療器具の位置を検出することができる。たとえば、物体検出部１５２は、患者カメラ５２による複数枚の撮影画像のデータに基づき、後述する図１５に示すように、所定のタイミング（後述する図１５に示すｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定する。たとえば、図１５に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記録領域に「０」のデータが格納され、両者が所定範囲内に位置する場合に記録領域に「１」のデータが格納される。
【0158】
図示は省略するが、物体検出部１５２は、ＸＹ検出部１５１と同様に、ニューラルネットワークおよびパラメータを含む推定モデルを有する。そして、物体検出部１５２は、ニューラルネットワークを用いたＡＩの画像認識によって、診療器具の有無、形状、および種類などを推定したり、患者の口腔内における診療器具の位置を推定したりする。
【0159】
たとえば、物体検出部１５２は、ＣＮＮ、ＲＮＮ、およびＬＳＴＭネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデルを有する。学習段階において、推定モデルは、トレー画像データに関連付けられた診療器具の有無、形状、および種類などと、当該トレー画像データを用いた診療器具の有無、形状、および種類などの推定結果とに基づき学習されることで最適化（調整）される。さらに、学習段階において、推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。
【0160】
なお、物体検出部１５２は、ニューラルネットワークを用いたＡＩの画像認識によって診療器具の有無、形状、および種類などを検出したり、患者の口腔内における診療器具の位置を検出したりするものに限らない。たとえば、物体検出部１５２は、公知のパターンマッチングのように、撮影画像と予め用意されたテンプレートとを比較することで、診療器具の有無、形状、および種類などを検出したり、患者の口腔内における診療器具の位置を検出したりしてもよい。
【0161】
変換部１５４は、記録部１３０または記録部２３０から取得した装置関連データを、所定の形式に変換する。具体的には、変換部１５４は、記録部１３０または記録部２３０から取得した装置関連データを、同じく記録部１３０または記録部２３０から取得した画像関連データと同期させるために適した形式に変換する。たとえば、変換部１５４は、装置関連データの時間軸を、画像関連データの時間軸に合わせるように、装置関連データの形式を変換する。あるいは、変換部１５４は、装置関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、装置関連データの形式を変換する。
【0162】
同期部１５５は、位置検出部１５７および物体検出部１５２による検出結果を含む画像関連データと、変換部１５４によって変換された装置関連データとを時系列に同期させる。たとえば、同期部１５５は、後述する図１８および図１９に示すように、画像関連データ（トレー画像データ、患者画像データ、全体画像データ）と装置関連データとを、同期時間の時間軸に合わせて所定のタイミング（後述する図１８および図１９に示すＴ１、Ｔ２、Ｔ３、…）ごとに同期させる。画像関連データと装置関連データとが同期することで得られるデータを「同期データ」とも称する。なお、同期データの生成時に用いる同期時間としては、一連の診療の開始条件が成立したときからの経過時間またはタイムスタンプから特定可能な絶対時間（たとえば、リアルタイムの時刻）が用いられ得る。
【0163】
セグメント化部１５６は、画像関連データと装置関連データとを所定のタイミングで区切ることで、同期データをセグメント化する。具体的には、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび装置関連データ（すなわち、同期データ）に対して、所定のタイミングで所定のイベントが発生したことが記録されるように、当該同期データをセグメント化する。「所定のイベントが発生したこと」は、たとえば、ハンドピースなどの診療器具１５の駆動開始や駆動停止、照明装置１９の点灯開始や点灯終了、ベースンユニット１２における給水・排水の開始や終了、トレー３０上の診療器具が取り出されたことやトレー３０上に診療器具が置かれたことなど、診療に関するイベントを含む。
【0164】
また、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび装置関連データ（同期データ）に対して、所定のタイミングで所定のイベントが継続していることが記録されるように、当該同期データをセグメント化する。「所定のイベントが継続していること」は、たとえば、ハンドピースなどの診療器具１５の駆動状態の継続、照明装置１９の点灯状態の継続、ベースンユニット１２における給水・排水の継続、トレー３０上の診療器具が存在する状態の継続や存在しない状態の継続など、診療に関するイベントの継続を含む。
【0165】
たとえば、セグメント化部１５６は、画像関連データおよび装置関連データに対して所定のタイミングごとに区切りを付けることで、同期データを期間ごとにセグメント化する。セグメント化の方法は、所定のタイミングごとにフラグデータをセットしてもよいし、セグメント化した期間ごとに同期データを所定の記録領域に移動させたりコピーしたりしてもよい。
【0166】
セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、所定時間（たとえば、５秒）ごとに定期的に訪れるタイミングであってもよい。
【0167】
なお、セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、画像関連データ（トレー画像データ、患者画像データ）において格納された「０」または「１」のデータと、装置関連データにおいて格納された「０」または「１」のデータとに基づき、決められてもよい。
【0168】
たとえば、セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、装置関連データに含まれる、診療装置１が備えるチェア１１を駆動するデータ、診療装置１が備える診療器具１５を駆動するデータ、診療装置１が備える照明装置１９を駆動するデータ、および診療装置１が備えるベースンユニット１２を駆動するデータの少なくともいずれか１つに基づき、これら診療に関する装置の駆動の発生または継続が判定されるタイミングであってもよい。たとえば、図１９に示すように、診療器具１５のピックアップが「０」から「１」に切り替わったタイミングＴ３、診療器具のピックアップが「１」から「０」に切り替わったタイミングＴ６などで、同期データが区切られてもよい。
【0169】
なお、セグメント化部１５６は、装置関連データに基づき同期データを区切ることができない場合でも、トレー画像データなどの画像関連データに基づき同期データを区切ることもできる。たとえば、図１８に示すように、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「０」から「１」に切り替わったタイミングＴ８、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「１」から「０」に切り替わったタイミングＴ１０などで、同期データが区切られてもよい。すなわち、セグメント化部１５６は、画像関連データおよび装置関連データの少なくともいずれか１つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該装置関連データとを所定のタイミングでセグメント化してもよい。
【0170】
このように、セグメント化部１５６は、同期データのセグメント化にあたって、画像関連データおよび装置関連データの各々単体ではデータが不足している場合であっても、両者のデータを組み合わせることで、制御データの推定に適切なタイミングで同期データを区切ってもよい。
【0171】
なお、画像関連データにおける画像の撮影タイミングと、装置関連データにおけるログデータの取得タイミングとが予め同期している場合、変換部１５４および同期部１５５を用いなくてもよい。この場合、セグメント化部１５６は、同期データではなく、記録部１３０または記録部２３０から取得した画像関連データおよび装置関連データを直接的に用いて、当該画像関連データと当該装置関連データとを所定のタイミングで区切ることでセグメント化してもよい。
【0172】
生成部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび装置関連データに基づき、診療に関する推定結果を生成する。たとえば、生成部１６０は、画像関連データおよび装置関連データに基づき、診療装置１の制御データを推定し、推定した制御データを生成する。
【0173】
生成部１６０は、推定モデル１６１を有する。さらに、推定モデル１６１は、ニューラルネットワーク１６２と、当該ニューラルネットワーク１６２によって用いられるパラメータ１６３とを含む。パラメータ１６３は、ニューラルネットワーク１６２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。
【0174】
学習段階において、推定モデル１６１は、セグメント化部１５６によってセグメント化された画像関連データおよび装置関連データと、当該画像関連データおよび当該装置関連データを用いた制御データの推定結果とに基づき学習されることで最適化（調整）される。
【0175】
たとえば、推定モデル１６１は、教師データとして全体画像データ（人物の位置データ）が入力されると、当該全体画像データに基づきニューラルネットワーク１６２によって人物が行う動作の順番および姿勢を把握することで診療装置１の制御内容を先読みし、診療装置１の制御データを推定する。
【0176】
推定モデル１６１は、自身の推定結果と、入力された全体画像データに関連付けられた正解データである診療装置１の制御データとが一致するか否かを判定し、両者が一致すればパラメータ１６３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１６３を更新することで、パラメータ１６３を最適化する。
【0177】
このように、学習段階において、制御装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した装置関連データとのうち、少なくともいずれか１つのデータに基づいて、制御データを推定できるように、ニューラルネットワーク１６２を含む推定モデル１６１を機械学習させる。
【0178】
なお、制御装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１６２を含む推定モデル１６１を機械学習させてもよい。たとえば、運用段階において、生成部１６０が生成した制御データに基づいて診療装置１が動作したことに対して、術者などのユーザが異なる動作を診療装置１にさせるために正解データを入力した場合、推定モデル１６１は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、制御装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど制御データの推定精度が向上する。
【0179】
なお、生成部１６０の推定モデル１６１は、教師あり学習のアルゴリズムに限らず、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、推定モデル１６１は、画像関連データに基づき、診療中に使用される診療器具の種類やその使用タイミング、診療器具と患者の口腔との位置関係、診療中の術者と患者の行動、および診療装置１における各部のログデータを分類（クラスタリング）し、その分類結果に基づき診療の手順（たとえば、診療中に行われる次の処置の内容）を推定してもよい。
【0180】
出力部１８０は、生成部１６０によって生成された推定結果（たとえば、制御データ）を、診療装置１における制御対象などに出力する。制御対象は、チェア１１、診療器具１５、照明装置１９、ベースンユニット１２、フットコントローラ１６、ディスプレイ１７、操作パネル１８、およびスピーカ３５の少なくともいずれか１つを含む。
【0181】
制御データは、制御対象に対する駆動開始を示すデータ、制御対象に対する駆動終了を示すデータ、制御対象に対する駆動禁止を示すデータ、制御対象に対する駆動継続を示すデータ、制御対象に対する駆動量を示すデータ、駆動量に関する上限値を示すデータ、駆動量に関する下限値を示すデータ、制御対象に対する駆動時間を示すデータ、および制御対象のステータスに関するデータの少なくともいずれか１つを含む。
【0182】
［制御装置の運用段階における機能構成］
図１２は、本実施の形態に係る制御装置１００の運用段階における機能構成を示すブロック図である。図１２に示すように、運用段階における制御装置１００は、ＸＹ検出部１５１、物体検出部１５２、および生成部１６０の各々が学習済みとなっている。制御装置１００は、入力部１５０をさらに有する。入力部１５０は、通信装置１０１の機能部である。
図１２は、本実施の形態に係る制御装置１００の運用段階における機能構成を示すブロック図である。図１２に示すように、運用段階における制御装置１００は、ＸＹ検出部１５１、物体検出部１５２、および生成部１６０の各々が学習済みとなっている。制御装置１００は、入力部１５０をさらに有する。入力部１５０は、通信装置１０１の機能部である。
【0183】
運用段階においては、術者が患者を診療中にリアルタイムで、各カメラから画像関連データが入力部１５０に入力され、さらに、ベースンユニット１２から装置関連データが入力部１５０に入力される。
【0184】
ＸＹ検出部１５１は、入力部１５０から入力された全体カメラ５３の全体画像データに基づき画像認識を行うことで、術者および患者などの人物の位置データ（Ｘ座標、Ｙ座標）を検出する。Ｚ検出部１５３は、ＸＹ検出部１５１によって特定された人物のＸ座標およびＹ座標と、赤外線などによる反射光から算出される人物までの距離Ｌとに基づき、人物の位置データ（Ｚ座標）を検出する。
【0185】
物体検出部１５２は、入力部１５０から入力されたトレーカメラ５１のトレー画像データに基づき画像認識を行うことで、トレー３０に置かれた診療器具の有無、形状、および種類などを検出する。さらに、物体検出部１５２は、入力部１５０から入力された患者カメラ５２の患者画像データに基づき画像認識を行うことで、患者の口腔内における診療器具の位置を検出する。物体検出部１５２は、入力部１５０から入力された全体カメラ５３の全体画像データに基づき画像認識を行うことで、診療器具などの診療に関するキーアイテムの位置を検出してもよい。
【0186】
変換部１５４は、ベースンユニット１２から入力部１５０に入力された装置関連データを、所定の形式に変換する。
【0187】
同期部１５５は、位置検出部１５７および物体検出部１５２による検出結果を含む画像関連データと、変換部１５４によって変換された装置関連データとを時系列に同期させて同期データを生成する。
【0188】
セグメント化部１５６は、入力部１５０から入力された画像関連データと装置関連データとを所定のタイミングで区切ることで、同期データをセグメント化する。
【0189】
生成部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび装置関連データと、ニューラルネットワーク１６２を含む学習済の推定モデル１６１とに基づき、診療に関する推定結果を生成する。たとえば、生成部１６０は、画像関連データおよび装置関連データに基づき、診療装置１の制御データを推定し、推定した制御データを生成する。
【0190】
出力部１８０は、生成部１６０によって生成された推定結果（たとえば、制御データ）を、診療装置１における制御対象などに出力する。
【0191】
このように、制御装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した装置関連データと、ニューラルネットワーク１６２を含む推定モデル１６１とに基づき、診療装置１を制御するための制御データを生成する。これにより、歯科医師および歯科助手などの術者の行動に先だって、制御装置１００によって診療装置１が制御されるため、術者の利便性を向上させることができる。
【0192】
なお、制御装置１００は、画像関連データおよび装置関連データの両方と、推定モデル１６１とに基づき、診療装置１を制御するための制御データを生成することに限らない。制御装置１００は、装置関連データを用いることなく、画像関連データと推定モデル１６１とに基づき、診療装置１を制御するための制御データを生成してもよい。
【0193】
たとえば、制御装置１００は、全体カメラ５３によって取得された全体画像データから、術者および患者などの人物の位置データを検出し、推定モデル１６１によって、各人物の位置データに基づき各人物が行う動作の順番および姿勢を把握することで、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。
【0194】
たとえば、制御装置１００は、患者カメラ５２によって取得された患者画像データから、患者の口腔内における診療器具の位置を検出し、推定モデル１６１によって、患者の口腔内における診療器具の位置に基づき術者が行う動作の順番および姿勢を把握することで、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。
【0195】
たとえば、制御装置１００は、トレーカメラ５１によって取得されたトレー画像データから、トレー３０に置かれた診療器具の有無、形状、および種類を検出し、推定モデル１６１によって、トレー３０に置かれた診療器具の有無、形状、および種類に基づき術者が行う動作の順番および姿勢を把握することで、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。
【0196】
たとえば、制御装置１００は、装置関連データから、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。
【0197】
【0198】
診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた１または複数の診療器具が撮影される。
【0199】
たとえば、図１３は、根管治療におけるトレーカメラ５１の撮影画像の一例を説明するための図である。図１３に示すように、根管治療に含まれる処置として審査が行われているタイミングｔＡ２では、術者によってピンセット３１４、ミラー３１６、および深針３１８が使用されるため、トレーカメラ５１の撮影画像にはピンセット３１４、ミラー３１６、および深針３１８が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングｔＡ３では、術者によってファイル３０５およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像にはファイル３０５およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管長測定・拡大が行われているタイミングｔＡ５では、術者によって根管長測定器３０３およびファイル３０５が使用されるため、トレーカメラ５１の撮影画像には根管長測定器３０３およびファイル３０５が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングｔＡ７では、術者によって洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像には洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングｔＡ９では、術者によってミラー３１６および根管材料注入器３１９が使用されるため、トレーカメラ５１の撮影画像にはミラー３１６および根管材料注入器３１９が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングｔＡ１１では、術者によって仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が使用されるため、トレーカメラ５１の撮影画像には仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が映し出されない。
【0200】
このように、診療中においては、トレー３０に置かれた診療器具の有無、形状、および種類などが、トレーカメラ５１の撮影画像によって映し出される。
【0201】
制御装置１００は、上述したようなトレーカメラ５１の撮影画像のデータ（トレー画像データとしての画像関連データ）が入力部１５０に入力されると、一連の診療の開始条件が成立し、かつ、終了条件が成立していないことを条件に、入力されたトレー画像データを記録装置１０３に記録させる。
【0202】
診療中においては、患者カメラ５２によって、シャッタータイミングに依存する所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内が撮影される。
【0203】
そして、制御装置１００は、患者カメラ５２の撮影画像のデータ（患者画像データとしての画像関連データ）が入力部１５０に入力されると、一連の診療の開始条件が成立し、かつ、終了条件が成立していないことを条件に、入力された患者画像データを記録装置１０３に記録させる。
【0204】
診療中においては、全体カメラ５３によって、シャッタータイミングに依存する所定のタイミングごとに、診療空間が術者および患者の行動、診療装置１の動作などが撮影される。
【0205】
そして、制御装置１００は、全体カメラ５３の撮影画像のデータ（全体画像データとしての画像関連データ）が入力部１５０に入力されると、一連の診療の開始条件が成立し、かつ、終了条件が成立していないことを条件に、入力された全体画像データを記録装置１０３に記録させる。
【0206】
診療中においては、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御を示すログデータが、診療装置１から出力される。
【0207】
たとえば、図１７は、診療装置１から取得された装置関連データの一例を説明するための図である。図１７に示すように、装置関連データにおいては、診療器具１５について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア１１について、座面高さ、背板角度（背もたれ角度）、およびチェア１１の動作状態などを表すログデータが含まれ、フットコントローラ１６について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置１９について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット１２について、コップの載置の有無などを表すログデータが含まれる。
【0208】
図１７の例では、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ１６の踏込量、および照明装置１９の発光強度について、大小または高低などの程度を示すデータが診療関連データ（ログデータ）に含まれている。なお、診療関連データは、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ１６の踏込量、および照明装置１９の発光強度の値（たとえば、絶対値）を含んでいてもよい。フットコントローラ１６の踏込パターンは、診療関連データに含まれなくてもよい。たとえば、制御装置１００は、フットコントローラ１６の踏込量の時系列の変化を解析することで、フットコントローラ１６の踏込パターンを特定してもよい。
【0209】
なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で診療装置１から出力されるものに限らず、イベントの発生（たとえば、チェア１１の動作の切り替え、診療器具１５の動作の切り替えなど）ごとに診療装置１から出力されるものであってもよい。
【0210】
制御装置１００は、装置関連データが入力部１５０に入力されると、一連の診療の開始条件が成立し、かつ、終了条件が成立していないことを条件に、入力された装置関連データを記録装置１０３に記録させる。
【0211】
学習段階または運用段階において、制御装置１００は、記録装置１０３または記録装置２０３に記録された診療データに基づき、制御データを推定する。
【0212】
具体的には、制御装置１００は、記録装置１０３または記録装置２０３からトレー画像データを取得すると、物体検出部１５２によって、画像に含まれる特徴量を抽出する。
【0213】
たとえば、図１４は、トレーカメラ５１の撮影情報から取得されたトレー画像データの一例を説明するための図である。図１４に示すように、制御装置１００は、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定し、トレー３０上に存在する診療器具に対応する記録領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記録領域に「１」のデータを格納する。これにより、図１４に示すように、制御装置１００は、所定のタイミングごとに診療器具の有無を区別可能なトレー画像データ（画像関連データ）を得ることができる。
【0214】
制御装置１００は、記録装置１０３または記録装置２０３から患者画像データを取得すると、物体検出部１５２によって、画像に含まれる特徴量を抽出する。
【0215】
たとえば、図１５は、患者カメラ５２の撮影情報から取得された患者画像データの一例を説明するための図である。図１５に示すように、制御装置１００は、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記録領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記録領域に「１」のデータを格納する。これにより、図１５に示すように、制御装置１００は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能な患者画像データ（画像関連データ）を得ることができる。
【0216】
制御装置１００は、記録装置１０３または記録装置２０３から全体画像データを取得すると、位置検出部１５７によって、画像に含まれる特徴量を抽出することで、術者および患者などの人物の位置データを生成する。制御装置１００は、位置検出部１５７によって新たに生成した位置データが、記録装置１０３に記録済みの位置データと異なる場合に、位置検出部１５７によって新たに生成した位置データを記録装置１０３に記録させる。
【0217】
たとえば、図１６は、全体カメラ５３の撮影情報から取得された位置データの一例を説明するための図である。図１６に示すように、制御装置１００は、生成した人物の位置データを時間データ（タイムスタンプ）に関連付けて全体画像データ（画像関連データ）として記録する。図１６に示す例では、人物Ａ（歯科医師）の位置データが所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）で記録装置１０３に記録されている。これにより、制御装置１００は、所定のタイミングごとに術者の行動および患者の行動を特定可能な位置データを含む全体画像データ（画像関連データ）を得ることができる。特に、制御装置１００は、記録装置１０３に記録された位置データに基づき、診療空間における人物と診療装置１との位置関係を把握していれば、たとえば、人物が診療装置１に不必要に接触した場合でも、制御データに基づき診療装置１の駆動を停止させることができる。
【0218】
制御装置１００は、記録装置１０３または記録装置２０３から装置関連データを取得すると、変換部１５４によって、画像関連データと同期させるために適した形式に装置関連データを変換する。
【0219】
【0220】
たとえば、図１８および図１９は、同期データの一例を説明するための図である。図１８および図１９に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、画像関連データと装置関連データとを同期させたデータが含まれる。
【0221】
たとえば、図１４に示すトレー画像データにおけるｔＡ３およびｔＡ４のデータは、図１８に示す同期データにおいて、ｔＡ３およびｔＡ４に対応するタイミング（Ｔ３～Ｔ５）のデータに対応付けられている。図１５に示す患者画像データにおけるｔＢ３およびｔＢ４のデータは、図１８に示す同期データにおいて、ｔＢ３およびｔＢ４に対応するタイミング（Ｔ３～Ｔ５）のデータに対応付けられている。図１６に示す全体画像データ（位置データ）におけるｔＣ３のデータは、図１８に示す同期データにおいて、ｔＣ３に対応するタイミングのデータに対応付けられている。
【0222】
【0223】
たとえば、制御装置１００は、所定時間（たとえば、５秒）ごとに定期的に訪れるタイミングで、同期データをセグメント化する。
【0224】
あるいは、制御装置１００は、画像関連データ（トレー画像データ、患者画像データ）において格納された「０」または「１」のデータと、装置関連データにおいて格納された「０」または「１」のデータとに基づき、同期データをセグメント化する。
【0225】
ここで、トレー画像データ、患者画像データ、全体画像データ、および装置関連データの各々単体ではデータに変化がなくても、その他のデータを参照すればデータに変化が生じている場合もある。すなわち、制御装置１００は、トレー画像データ、患者画像データ、全体画像データ、および装置関連データの各々から、複数のデータを参照して組み合わせることで、適切なタイミングで同期データを区切ることができる。
【0226】
たとえば、図１８に示すように、トレー画像データにおいては、ファイル３０５についてはＴ３～Ｔ７の各々のデータが同じであるが、バキュームについてはＴ３～Ｔ５の各々のデータが同じである。このため、制御装置１００は、トレー画像データを参照するのみでは、Ｔ３～Ｔ５およびＴ３～Ｔ７のいずれで同期データをセグメント化すればよいか判断しかねない。ところが、図１９に示すように、装置関連データにおいては、診療器具およびフットコントローラ１６についてＴ３～Ｔ５の各々のデータが同じである。よって、制御装置１００は、トレー画像データおよび装置関連データに基づいて、確率が高いと予想されるＴ３～Ｔ５で同期データをセグメント化する。
【0227】
このように、制御装置１００は、同期データのセグメント化にあたって、トレー画像データ、患者画像データ、全体画像データ、および装置関連データの各々単体ではデータが不足している場合があっても、他のデータを参照することで、適切なタイミングで同期データを区切ることができる。
【0228】
上述したように、診療中においては、トレー画像データ、患者画像データ、全体画像データ、および装置関連データの各々が時系列で制御装置１００に入力される。制御装置１００は、入力されたこれらのデータに基づき同期データを生成するとともに、同期データをセグメント化する。制御装置１００は、同期データに基づき、生成部１６０に含まれる推定モデル１６１を学習することで、制御データを推定することができるようになる。
【0229】
たとえば、根管治療の場合、制御装置１００は、「審査」においてＴ１およびＴ２に対応する同期データが入力され、「抜髄」においてＴ３～Ｔ５に対応する同期データが入力され、「根管長測定」においてＴ６およびＴ７に対応する同期データが入力され、「洗浄・消毒」においてＴ８およびＴ９に対応する同期データが入力され、「根管充填」においてＴ１０およびＴ１１に対応する同期データが入力され、「詰め込み・被せ」においてＴ１２およびＴ１３に対応する同期データが入力される。
【0230】
たとえば、制御装置１００は、根管治療の場合、上述したような同期データを学習することで、Ｔ１およびＴ２に対応するような同期データが入力された時点で、その後、Ｔ３～Ｔ５に対応するような同期データが入力されると推定し、「抜髄」のための制御データを生成する。制御装置１００は、Ｔ３～Ｔ５に対応するような同期データが入力された時点で、その後、Ｔ６およびＴ７に対応するような同期データが入力されると推定し、「根管長測定」のための制御データを生成する。制御装置１００は、Ｔ６およびＴ７に対応するような同期データが入力された時点で、その後、Ｔ８およびＴ９に対応するような同期データが入力されると推定し、「洗浄・消毒」のための制御データを生成する。制御装置１００は、Ｔ８およびＴ９に対応するような同期データが入力された時点で、その後、Ｔ１０およびＴ１１に対応するような同期データが入力されると推定し、「根管充填」のための制御データを生成する。制御装置１００は、Ｔ１０およびＴ１１に対応するような同期データが入力された時点で、その後、Ｔ１２およびＴ１３に対応するような同期データが入力されると推定し、「詰め込み・被せ」のための制御データを生成する。
【0231】
以上のように、制御装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、トレー画像データ、患者画像データ、全体画像データ、および装置関連データの少なくともいずれか１つに基づき、制御データを推定するための特徴を見出すことで、制御データを推定することができる。
【0232】
図２０は、診療データの記録タイミングを説明するためのタイミングチャートである。図２０に示すように、制御装置１００は、一連の診療の開始条件が成立する場合に、診療データ（トレー画像データ、患者画像データ、全体画像データ、装置関連データ）の記録を記録装置１０３に開始させる。
【0233】
たとえば、図１７および図２０に示すように、装置関連データでは、ｔＤ１においてチェア１１が動作している。制御装置１００は、チェア１１が動作することで、チェア１１の座面シート１１ｃの高さが所定高さ以上になったり、チェア１１の背もたれ１１ｂの角度が所定角度以上になったりしたことを検知すると、診療データの記録を記録装置１０３に開始させる。
【0234】
制御装置１００は、一連の診療の終了条件が成立する場合に、診療データの記録を記録装置１０３に終了させる。
【0235】
たとえば、図１７および図２０に示すように、装置関連データでは、ｔＤ１５においてチェア１１が動作している。制御装置１００は、チェア１１が動作することで、チェア１１の座面シート１１ｃの高さが所定高未満になったこと、または、チェア１１の背もたれ１１ｂの角度が所定角度未満になったことを検知すると、診療データの記録を記録装置１０３に終了させる。
【0236】
制御装置１００は、記録装置１０３に診療データを記録させている間、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）でトレーカメラ５１からトレー画像データを取得し、取得したトレー画像データを記録装置１０３に記録させる。
【0237】
制御装置１００は、記録装置１０３に診療データを記録させている間、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）で患者カメラ５２から患者画像データを取得し、取得した患者画像データを記録装置１０３に記録させる。
【0238】
制御装置１００は、記録装置１０３に診療データを記録させている間、所定のタイミングで全体カメラ５３から全体画像データを取得し、取得した患者画像データを記録装置１０３に記録させる。さらに、制御装置１００は、取得した全体画像データに基づき、術者および患者などの人物の位置データを生成する。たとえば、制御装置１００は、人物Ａ（歯科医師）の位置データを所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）で生成すると、生成した位置データを記録装置１０３に記録させる。
【0239】
制御装置１００は、記録装置１０３に診療データを記録させている間、所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で診療装置１から装置関連データを取得し、取得した装置関連データを記録装置１０３に記録させる。
【0240】
制御装置１００は、上述のようにして記録装置１０３に記録された画像関連データと装置関連データとを、所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに同期させることで、同期データを生成する。そして、制御装置１００は、生成した同期データを用いて診療装置１の制御データを生成する。
【0241】
＜制御装置の処理＞
［記録制御処理］
図２１は、制御装置１００が実行する記録制御処理の一例を説明するためのフローチャートである。図２１に示す各ステップ（以下、「Ｓ」で示す。）は、制御装置１００の演算装置１０２がＯＳ１４２および制御プログラム１４０を実行することで実現される。
［記録制御処理］
図２１は、制御装置１００が実行する記録制御処理の一例を説明するためのフローチャートである。図２１に示す各ステップ（以下、「Ｓ」で示す。）は、制御装置１００の演算装置１０２がＯＳ１４２および制御プログラム１４０を実行することで実現される。
【0242】
図２１に示すように、制御装置１００は、一連の診療の開始条件が成立したか否かを判定する（Ｓ１）。制御装置１００は、開始条件が成立していない場合（Ｓ１でＮＯ）、本処理を終了する。
【0243】
一方、制御装置１００は、開始条件が成立した場合（Ｓ１でＹＥＳ）、記録フラグをＯＮに設定することで記録装置１０３による記録を許可する（Ｓ２）。すなわち、制御装置１００は、診療データの記録を記録装置１０３に開始させる。
【0244】
制御装置１００は、画像関連データが入力されたか否かを判定する（Ｓ３）。制御装置１００は、画像関連データが入力された場合（Ｓ３でＹＥＳ）、入力された画像関連データを記録装置１０３に記録させる（Ｓ４）。
【0245】
制御装置１００は、画像関連データが入力されていない場合（Ｓ３でＮＯ）、またはＳ４の処理の後、装置関連データが入力されたか否かを判定する（Ｓ５）。制御装置１００は、装置関連データが入力された場合（Ｓ５でＹＥＳ）、入力された装置関連データを記録装置１０３に記録させる（Ｓ６）
制御装置１００は、装置関連データが入力されていない場合（Ｓ５でＮＯ）、またはＳ６の処理の後、一連の診療の終了条件が成立したか否かを判定する（Ｓ７）。制御装置１００は、終了条件が成立していない場合（Ｓ７でＮＯ）、Ｓ３の処理に戻る。
制御装置１００は、装置関連データが入力されていない場合（Ｓ５でＮＯ）、またはＳ６の処理の後、一連の診療の終了条件が成立したか否かを判定する（Ｓ７）。制御装置１００は、終了条件が成立していない場合（Ｓ７でＮＯ）、Ｓ３の処理に戻る。
【0246】
一方、制御装置１００は、終了条件が成立した場合（Ｓ７でＹＥＳ）、記録フラグをＯＦＦに設定することで記録装置１０３による記録を禁止する（Ｓ８）。すなわち、制御装置１００は、診療データの記録を記録装置１０３に終了させる。その後、制御装置１００は、本処理を終了する。
【0247】
このように、制御装置１００は、制御プログラム１４０によって規定された制御方法を用いることにより、一連の診療の開始タイミングで診療データを記録開始し、かつ、一連の診療の終了タイミングで診療データを記録終了することができる。これにより、実際に行われた一連の診療に対して診療データが足らなかったり、一連の診療とは無関係な無駄なデータが診療データに含まれていたりすることがない。したがって、制御装置１００は、推定モデル１６１の機械学習のための学習用データとして利活用し易い診療データを記録することができる。
【0248】
［学習処理］
図２２は、制御装置１００が実行する学習処理の一例を説明するためのフローチャートである。図２２に示す各ステップ（以下、「Ｓ」で示す。）は、制御装置１００の演算装置１０２がＯＳ１４２および推定用プログラム１４１を実行することで実現される。
図２２は、制御装置１００が実行する学習処理の一例を説明するためのフローチャートである。図２２に示す各ステップ（以下、「Ｓ」で示す。）は、制御装置１００の演算装置１０２がＯＳ１４２および推定用プログラム１４１を実行することで実現される。
【0249】
図２２に示すように、制御装置１００は、記録装置１０３または記録装置２０３から診療データを取得する（Ｓ１１）。制御装置１００は、画像関連データを取得したか否かを判定する（Ｓ１２）。制御装置１００は、画像関連データを取得した場合（Ｓ１２でＹＥＳ）、画像認識を行う（Ｓ１３）。たとえば、制御装置１００は、全体画像データが入力された場合、位置検出部１５７によって、全体画像データに基づき、人物の位置を検出して位置データを生成する。制御装置１００は、患者画像データまたはトレー画像データが入力された場合、物体検出部１５２によって、診療器具などのオブジェクトの有無、形状、および種類などを検出する。
【0250】
制御装置１００は、画像関連データを取得していない場合（Ｓ１２でＮＯ）、またはＳ１３の処理の後、装置関連データを取得したか否かを判定する（Ｓ１４）。制御装置１００は、装置関連データを取得した場合（Ｓ１４でＹＥＳ）、変換部１５４によって、装置関連データを所定の形式に変換する（Ｓ１５）。
【0251】
制御装置１００は、装置関連データを取得していない場合（Ｓ１４でＮＯ）、またはＳ１５の処理の後、同期部１５５によって、画像関連データと装置関連データとを同期させることで同期データを生成する（Ｓ１６）。
【0252】
次に、制御装置１００は、セグメント化部１５６によって、同期データに基づき、画像関連データと装置関連データとを所定のタイミングで区切ることで、同期データをセグメント化する（Ｓ１７）。
【0253】
次に、制御装置１００は、生成部１６０によって、セグメント化された同期データに基づき、制御データを推定し、推定した制御データを生成する（Ｓ１８）。次に、制御装置１００は、生成した制御データを、外部に出力する（Ｓ１９）。
【0254】
次に、制御装置１００は、生成した制御データと、診療データに関連付けられた正解データである制御データとに基づき、推定モデル１６１を機械学習させ（Ｓ２０）、本処理を終了する。
【0255】
このように、制御装置１００は、記録装置１０３または記録装置２０３に記録された診療データを用いて、制御データを推定するための推定モデル１６１を機械学習させることができる。その際、記録装置１０３または記録装置２０３に記録された診療データは、一連の診療の開始タイミングおよび終了タイミングに対応して記録されたものであるため、制御装置１００は、記録装置１０３または記録装置２０３に記録された診療データに基づき、一連の診療が行われた当時の診療装置１の動作および歯科医師などの動作を再現することができる。制御装置１００は、このような、一連の診療ごとに記録された診療データを用いることで、推定モデル１６１の機械学習の精度を向上させることができる。さらに制御装置１００は、一連の診療ごとに記録された診療データを繰り返し使用して推定モデル１６１を再学習することで、推定モデル１６１の推定精度を上げることができる。
【0256】
＜主な開示＞
以上のように、本実施の形態では以下のような開示を含む。
以上のように、本実施の形態では以下のような開示を含む。
【0257】
［構成１］
制御装置（１００）は、診療データが入力される入力部（１５０）と、診療データを記録する記録部（１３０）を制御する制御部（１２０）とを備える。制御部（１２０）は、一連の診療の開始条件が成立する場合に、入力部（１５０）に入力される診療データの記録を記録部（１３０）に開始させる。
制御装置（１００）は、診療データが入力される入力部（１５０）と、診療データを記録する記録部（１３０）を制御する制御部（１２０）とを備える。制御部（１２０）は、一連の診療の開始条件が成立する場合に、入力部（１５０）に入力される診療データの記録を記録部（１３０）に開始させる。
【0258】
これにより、制御装置１００は、一連の診療の開始タイミングで診療データの記録を開始することができるため、一連の診療の開始前の一連の診療とは無関係な無駄なデータを記録することを防止することができ、利活用し易い診療データを記録することができる。
【0259】
［構成２］
開始条件は、一連の診療のためのチェア（１１）の座面シート（１１ｃ）の高さが所定高さ以上になったこと、一連の診療のためのベッドの高さが所定高さ以上になったこと、チェア（１１）の背もたれ（１１ｂ）の角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置（１９）の電源がＯＮになったこと、チェア（１１）への人の着座が検知されたこと、診療空間において診療器具が検知されたこと、および、診療空間において人が検知されたことの少なくともいずれか１つを含む。
開始条件は、一連の診療のためのチェア（１１）の座面シート（１１ｃ）の高さが所定高さ以上になったこと、一連の診療のためのベッドの高さが所定高さ以上になったこと、チェア（１１）の背もたれ（１１ｂ）の角度が所定角度以上になったこと、診療器具の駆動がＯＮになったこと、照明装置（１９）の電源がＯＮになったこと、チェア（１１）への人の着座が検知されたこと、診療空間において診療器具が検知されたこと、および、診療空間において人が検知されたことの少なくともいずれか１つを含む。
【0260】
これにより、制御装置１００は、一連の診療の開始が推定される開始条件が成立する場合に診療データの記録を開始することができるため、一連の診療が開始する適切なタイミングで診療データの記録を開始することができる。
【0261】
［構成３］
制御部（１２０）は、一連の診療の終了条件が成立する場合に、入力部（１５０）に入力される診療データの記録を記録部（１３０）に終了させる。
制御部（１２０）は、一連の診療の終了条件が成立する場合に、入力部（１５０）に入力される診療データの記録を記録部（１３０）に終了させる。
【0262】
これにより、制御装置１００は、一連の診療の終了タイミングで診療データの記録を終了することができるため、一連の診療の終了後の一連の診療とは無関係な無駄なデータを記録することを防止することができ、利活用し易い診療データを記録することができる。
【0263】
［構成４］
終了条件は、一連の診療のためのチェア（１１）の座面シート（１１ｃ）の高さが所定高さ未満になったこと、一連の診療のためのベッドの高さが所定高さ未満になったこと、チェア（１１）の背もたれ（１１ｂ）の角度が所定角度未満になったこと、診療器具の駆動がＯＦＦになったこと、照明装置（１９）の電源がＯＦＦになったこと、チェア（１１）からの人の離席が検知されたこと、診療空間において診療器具が所定時間以上検知されないこと、および、診療空間において人が検知されないことの少なくともいずれか１つを含む。
終了条件は、一連の診療のためのチェア（１１）の座面シート（１１ｃ）の高さが所定高さ未満になったこと、一連の診療のためのベッドの高さが所定高さ未満になったこと、チェア（１１）の背もたれ（１１ｂ）の角度が所定角度未満になったこと、診療器具の駆動がＯＦＦになったこと、照明装置（１９）の電源がＯＦＦになったこと、チェア（１１）からの人の離席が検知されたこと、診療空間において診療器具が所定時間以上検知されないこと、および、診療空間において人が検知されないことの少なくともいずれか１つを含む。
【0264】
これにより、制御装置１００は、一連の診療の終了が推定される終了条件が成立する場合に診療データの記録を終了することができるため、一連の診療が終了する適切なタイミングで診療データの記録を終了することができる。
【0265】
［構成５］
制御部（１２０）は、一連の診療に割り当てられた識別データに関連付けて、診療データを記録部（１３０）に記録させる。
制御部（１２０）は、一連の診療に割り当てられた識別データに関連付けて、診療データを記録部（１３０）に記録させる。
【0266】
これにより、制御装置１００は、一連の診療ごとに識別データによって識別可能な態様で診療データを記録することができるため、推定モデル１６１の設計者などは、推定モデル１６１を機械学習させた後に再学習させたり、複数の推定モデル１６１間で同じ診療データを用いて機械学習させたりする場合に、効率よく機械学習させることができる。
【0267】
［構成６］
制御部（１２０）は、一連の診療が行われた時間を特定可能な時間データに関連付けて、診療データを記録部（１３０）に記録させる。
制御部（１２０）は、一連の診療が行われた時間を特定可能な時間データに関連付けて、診療データを記録部（１３０）に記録させる。
【0268】
これにより、制御装置１００は、一連の診療が行われた時間を時間データによって特定可能な態様で診療データを記録することができるため、推定モデル１６１の設計者などは、推定モデル１６１を機械学習させた後に再学習させたり、複数の推定モデル１６１間で同じ診療データを用いて機械学習させたりする場合に、効率よく機械学習させることができる。
【0269】
［構成７］
診療データは、診療空間をカメラ（５１、５２、５３）で撮影した画像関連データを含む。
診療データは、診療空間をカメラ（５１、５２、５３）で撮影した画像関連データを含む。
【0270】
これにより、制御装置１００は、一連の診療を撮影した画像関連データを用いて、推定モデル１６１を機械学習させることができる。
【0271】
［構成８］
診療データは、一連の診療のためのチェア（１１）、診療器具（１５）、照明装置（１９）、給水・排水装置（１２）、フットコントローラ（１６）、ディスプレイ（１７）、操作パネル（１８）の少なくともいずれか１つにおける過去および現在の少なくともいずれか１つの制御データを含む。
診療データは、一連の診療のためのチェア（１１）、診療器具（１５）、照明装置（１９）、給水・排水装置（１２）、フットコントローラ（１６）、ディスプレイ（１７）、操作パネル（１８）の少なくともいずれか１つにおける過去および現在の少なくともいずれか１つの制御データを含む。
【0272】
これにより、制御装置１００は、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、および給水・排水装置（ベースンユニット）１２を駆動するデータなど、診療中において生成されるデータを用いることで、推定モデル１６１を機械学習させるための画像関連データの不足分を補うことができ、より精度よく推定結果を出力することができる。
【0273】
［構成９］
記録部（１３０）によって記録された診療データは、推定モデル（１６１）の機械学習のための学習用データである。
記録部（１３０）によって記録された診療データは、推定モデル（１６１）の機械学習のための学習用データである。
【0274】
これにより、制御装置１００は、記録された診療データを用いて、推定モデル１６１を機械学習させることができる。
【0275】
［構成１０］
コンピュータ（１０２）による一連の診療に関する診療データの記録を制御する制御方法は、診療データが入力されるステップ（Ｓ３、Ｓ５）と、一連の診療の開始条件が成立するか否かを判定するステップ（Ｓ１）と、一連の診療の開始条件が成立する場合に、入力される診療データの記録を記録部（１３０）に開始させるステップ（Ｓ２）と、一連の診療の終了条件が成立する場合に、入力される診療データの記録を記録部（１３０）に終了させるステップとを含む。
コンピュータ（１０２）による一連の診療に関する診療データの記録を制御する制御方法は、診療データが入力されるステップ（Ｓ３、Ｓ５）と、一連の診療の開始条件が成立するか否かを判定するステップ（Ｓ１）と、一連の診療の開始条件が成立する場合に、入力される診療データの記録を記録部（１３０）に開始させるステップ（Ｓ２）と、一連の診療の終了条件が成立する場合に、入力される診療データの記録を記録部（１３０）に終了させるステップとを含む。
【0276】
これにより、制御装置１００は、一連の診療の開始タイミングで診療データの記録を開始することができるため、一連の診療の開始前の一連の診療とは無関係な無駄なデータを記録することを防止することができ、利活用し易い診療データを記録することができる。
【0277】
［構成１１］
制御プログラム（１４０）は、コンピュータ（１０２）に、診療データが入力されるステップ（Ｓ３、Ｓ５）と、一連の診療の開始条件が成立するか否かを判定するステップ（Ｓ１）と、一連の診療の開始条件が成立する場合に、入力される診療データの記録を記録部（１３０）に開始させるステップ（Ｓ２）と、一連の診療の終了条件が成立する場合に、入力される診療データの記録を記録部（１３０）に終了させるステップとを実行させる。
制御プログラム（１４０）は、コンピュータ（１０２）に、診療データが入力されるステップ（Ｓ３、Ｓ５）と、一連の診療の開始条件が成立するか否かを判定するステップ（Ｓ１）と、一連の診療の開始条件が成立する場合に、入力される診療データの記録を記録部（１３０）に開始させるステップ（Ｓ２）と、一連の診療の終了条件が成立する場合に、入力される診療データの記録を記録部（１３０）に終了させるステップとを実行させる。
【0278】
これにより、制御装置１００は、一連の診療の開始タイミングで診療データの記録を開始することができるため、一連の診療の開始前の一連の診療とは無関係な無駄なデータを記録することを防止することができ、利活用し易い診療データを記録することができる。
【0279】
［構成１２］
コンピュータ（１０２）によって用いられ、推定モデル（１６１）の機械学習のための学習用データのデータ構造は、一連の診療に関する診療データと、一連の診療に割り当てられた識別データと、一連の診療が行われた時間を特定可能な時間データ（タイムスタンプ）とを含む。
コンピュータ（１０２）によって用いられ、推定モデル（１６１）の機械学習のための学習用データのデータ構造は、一連の診療に関する診療データと、一連の診療に割り当てられた識別データと、一連の診療が行われた時間を特定可能な時間データ（タイムスタンプ）とを含む。
【0280】
これにより、推定モデル１６１の設計者などは、推定モデル１６１を機械学習させた後に再学習させたり、複数の推定モデル１６１間で同じ診療データを用いて機械学習させたりする場合に、効率よく機械学習させることができる。
【0281】
＜変形例＞
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。
【0282】
[カメラについて]
本実施の形態においては、トレーカメラ５１、患者カメラ５２、および全体カメラ５３が各１台ずつ診療装置１に取り付けられていたが、これらのカメラは複数台ずつ診療装置１に取り付けられてもよい。
本実施の形態においては、トレーカメラ５１、患者カメラ５２、および全体カメラ５３が各１台ずつ診療装置１に取り付けられていたが、これらのカメラは複数台ずつ診療装置１に取り付けられてもよい。
【0283】
トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、固定式に限らず、トレー３０が載せられたトレーテーブル１３の動き、あるいは術者の動きに追従して動く可動式であってもよい。
【0284】
トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、診療装置１に搭載される他、診療装置１の周囲から当該診療装置１方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、制御装置１００が制御データを生成してもよい。
【0285】
制御装置１００は、トレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。
【0286】
[制御装置について]
制御装置１００は、ベースンユニット１２に含まれるようにして、診療装置１が備えるものであってもよい。あるいは、制御装置１００は、診療装置１とは別体であって、診療装置１に通信可能に接続された院内サーバなどのコンピュータであってもよい。さらに、制御装置１００は、診療装置１が設置された診療空間外に設置された院外サーバなど、クラウドコンピューティングの態様で存在してもよい。たとえば、サーバ装置２００が制御装置１００の機能を有していてもよい。
制御装置１００は、ベースンユニット１２に含まれるようにして、診療装置１が備えるものであってもよい。あるいは、制御装置１００は、診療装置１とは別体であって、診療装置１に通信可能に接続された院内サーバなどのコンピュータであってもよい。さらに、制御装置１００は、診療装置１が設置された診療空間外に設置された院外サーバなど、クラウドコンピューティングの態様で存在してもよい。たとえば、サーバ装置２００が制御装置１００の機能を有していてもよい。
【0287】
制御装置１００の生成部１６０は、推定モデル１６１によって診療装置１の制御データを推定するものに限らない。たとえば、生成部１６０は、推定モデル１６１によって診療装置１の次の動作（制御内容）を推定し、その推定結果に対応する制御データを生成してもよい。あるいは、生成部１６０は、推定モデル１６１によって人物の次の動作を推定し、その推定結果に対応する制御データを生成してもよい。あるいは、生成部１６０は、推定モデル１６１によって診療の手順（たとえば、診療中に行われる次の処置の内容）を推定し、その推定結果に対応する制御データを生成してもよい。
【0288】
制御装置１００は、推定モデル１６１の推定結果に基づいて、診療装置１を直接制御するものに限らず、診療装置１とは別のディスプレイに警告画像を表示したり、スピーカに警告音を出力したりするなどして、術者に診療装置１を操作（たとえば、停止操作）させるものであってもよい。つまり、制御装置１００は、診療装置１を直接制御するのではなく、術者を誘導することで間接的に診療装置１を制御するものであってもよい。
【0289】
[記録部について]
制御装置１００は、記録装置１０３を制御するものに限らない。たとえば、制御装置１００は、サーバ装置２００の記録装置２０３を制御してもよい。具体的には、制御装置１００の演算装置１０２（制御部１２０）は、一連の診療の開始条件が成立する場合に、診療データの記録を記録装置２０３に開始させ、一連の診療の終了条件が成立する場合に、診療データの記録を記録装置２０３に終了させてもよい。
制御装置１００は、記録装置１０３を制御するものに限らない。たとえば、制御装置１００は、サーバ装置２００の記録装置２０３を制御してもよい。具体的には、制御装置１００の演算装置１０２（制御部１２０）は、一連の診療の開始条件が成立する場合に、診療データの記録を記録装置２０３に開始させ、一連の診療の終了条件が成立する場合に、診療データの記録を記録装置２０３に終了させてもよい。
【0290】
さらに、「記録部」は、制御装置１００が備える記録装置１０３およびサーバ装置２００が備える記録装置２０３に限らず、診療装置１に通信可能に接続された院内サーバが備える記録装置であってもよいし、診療装置１が設置された診療空間外に設置された院外サーバが備える記録装置（たとえば、データセンターなどの大容量ストレージ）であってもよい。また、「記録部」は、複数の診療装置１の各々から診療データを取得する複数の制御装置１００の各々が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した診療データを一律に「記録部」によって蓄積しかつ管理することができるため、推定モデル１６１の機械学習の精度が上がり、さらに、同じような推定精度を有する複数の推定モデル１６１を生成することができる。
【0291】
記録部１３０は、各カメラが撮影した画像を含む画像関連データ（全体画像データ、患者画像データ、トレー画像データ）を、そのまま記録するものであった。つまり、記録部１３０は、各カメラが撮影した撮影動画または撮影画像をそのまま記録するものであった。しかしながら、制御部１２０は、各カメラから取得したこれら生の画像関連データを圧縮または加工して記録部１３０に記録させてもよい。あるいは、制御部１２０は、各カメラから取得したこれら生の画像関連データから特徴を検出し、検出した特徴を符号化したデータを記録部１３０に記録させてもよい。
【0292】
たとえば、制御装置１００は、図１１に示す位置検出部１５７および物体検出部１５２の少なくともいずれか１つを、図１０に示す入力部１５０と記録部１３０との間に設けてもよい。このようにすれば、制御部１２０は、全体カメラ５３の全体画像データに基づき、位置検出部１５７によって検出された人物の位置データを、一連の診療の開始および終了に合わせて記録部１３０に記録させることができる。制御部１２０は、トレーカメラ５１のトレー画像データに基づき、物体検出部１５２によって検出された診療器具の有無、形状、および種類などのデータを、一連の診療の開始および終了に合わせて記録部１３０に記録させることができる。制御部１２０は、患者カメラ５２の患者画像データに基づき、物体検出部１５２によって検出された患者の口腔内における診療器具の位置などのデータを、一連の診療の開始および終了に合わせて記録部１３０に記録させることができる。
【0293】
本実施の形態に係る制御装置１００は、術者が患者の歯科に関する診療を行うために用いる診療装置１を制御するものであったが、術者が患者の医科に関する診療を行うために用いる診療装置を制御するものであってもよい。
【0294】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
【符号の説明】
【0295】
１ 診療装置、２ 患者、３ 歯科医師、４ 歯科助手、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダー、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、３２ 音制御装置、３５ スピーカ、５１ トレーカメラ、５２ 患者カメラ、５３ 全体カメラ、１００ 制御装置、１０１ 通信装置、１０２ 演算装置、１０３，２０３ 記録装置、１１０ 通信部、１１１ チェア制御部、１２０ 制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１３０，２３０ 記録部、１４０ 制御プログラム、１４１ 推定用プログラム、１５０ 入力部、１５１ ＸＹ検出部、１５２ 物体検出部、１５３ Ｚ検出部、１５４ 変換部、１５５ 同期部、１５６ セグメント化部、１５７ 位置検出部、１６０ 生成部、１６１，１５１１ 推定モデル、１６２，１５１２ ニューラルネットワーク、１６３，１５１３ パラメータ、１８０ 出力部、２００ サーバ装置、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３０１ ラバーダム防湿一式、３０２ ラバーダムシート、３０３ 根管長測定器、３０４ バーセット、３０５ ファイル、３０６ 口角対極、３０７ ファールクリップ、３０８ ブローチ、３０９ 洗浄用ニードル、３１０ 洗浄用シリンジ、３１１ 仮封剤充填器、３１２ クレンザー、３１３ タービン、３１４ ピンセット、３１５ バキューム、３１６ ミラー、３１７ エキスカベーター、３１８ 針、３１９ 根管材料注入器、３２１ 音制御部、１０００ 制御システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】