特開 2023-154641 データ処理装置、データ処理方法、およびデータ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023154641

(43)【公開日】2023-10-20

(54)【発明の名称】データ処理装置、データ処理方法、およびデータ処理プログラム

(51)【国際特許分類】

   G16H 40/20 20180101AFI20231013BHJP

【ＦＩ】

G16H40/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022064102

(22)【出願日】2022-04-07

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(71)【出願人】

【識別番号】000138185

【氏名又は名称】株式会社モリタ製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】野▲崎▼ 一徳

(72)【発明者】

【氏名】林 美加子

(72)【発明者】

【氏名】岡 真太郎

(72)【発明者】

【氏名】速水 智教

(72)【発明者】

【氏名】園部 興一

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA01

(57)【要約】

【課題】診療空間に含まれる人物の位置を適切に記録する技術を提供する。
【解決手段】データ処理装置１００は、診療空間を撮影して得られる少なくとも１つの画像データが時系列で入力される入力部１１０１と、少なくとも１つの画像データを処理するデータ処理部１１０２とを備える。データ処理部１１０２は、時系列で入力部１１０１に入力される少なくとも１つの画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成する生成処理と、位置データに対して、任意の人物を示す識別情報を付与する付与処理と、位置データの時系列の変化に基づき、位置データに付与された識別情報が誤っているか否かを判定する判定処理と、位置データに付与された識別情報が誤っている場合に、位置データに付与された識別情報を修正する修正処理とを実行する。
【選択図】図９

【特許請求の範囲】

【請求項1】

診療空間を撮影して得られる少なくとも１つの画像データを処理するデータ処理装置であって、
前記少なくとも１つの画像データが時系列で入力される入力部と、
前記少なくとも１つの画像データを処理するデータ処理部とを備え、
前記データ処理部は、
時系列で前記入力部に入力される前記少なくとも１つの画像データに基づき、前記診療空間に含まれる人物の位置を示す位置データを生成する生成処理と、
前記位置データに対して、任意の前記人物を示す識別情報を付与する付与処理と、
前記位置データの時系列の変化に基づき、前記位置データに付与された前記識別情報が誤っているか否かを判定する判定処理と、
前記位置データに付与された前記識別情報が誤っている場合に、前記位置データに付与された前記識別情報を修正する修正処理とを実行する、データ処理装置。

【請求項2】

前記少なくとも１つの画像データは、前記診療空間を固定カメラによって撮影して得られる撮影画像のデータであり、
前記人物は、医師、助手、および患者の少なくとも１つを含み、
前記識別情報は、前記診療空間のうち、前記人物が習慣的に位置する領域に対応付けられており、
前記データ処理部は、前記付与処理において、前記診療空間に含まれる前記人物の位置を示す前記位置データに対して、前記診療空間のうちの前記人物が含まれる領域に対応付けられた前記識別情報を付与する、請求項１に記載のデータ処理装置。

【請求項3】

前記人物は、医師、助手、および患者の少なくとも１つを含み、
前記データ処理部は、前記付与処理において、前記診療空間に含まれる前記人物の特徴に基づき前記人物を識別し、前記人物の識別結果に基づき、前記診療空間に含まれる前記人物の位置を示す前記位置データに対して、前記人物に対応付けられた前記識別情報を付与する、請求項１に記載のデータ処理装置。

【請求項4】

前記データ処理部は、前記付与処理において、前記人物が有する複数の関節の各々に対応する前記位置データに対して、前記識別情報を付与する、請求項１～請求項３のいずれか１項に記載のデータ処理装置。

【請求項5】

前記位置データの時系列の変化は、第１タイミングにおける前記人物の位置と、前記第１タイミングの後の第２タイミングにおける前記人物の位置との間の距離を含む、請求項１に記載のデータ処理装置。

【請求項6】

前記位置データの時系列の変化は、第１タイミングにおける前記人物の向きと、前記第１タイミングの後の第２タイミングにおける前記人物の向きとが異なる度合いを含む、請求項１に記載のデータ処理装置。

【請求項7】

前記データ処理部は、診療の開始が推定される開始推定条件が成立した場合に、前記付与処理、前記判定処理、および前記修正処理を実行する、請求項１に記載のデータ処理装置。

【請求項8】

前記開始推定条件は、前記診療空間に含まれる診療装置が備えるチェアが非診療位置から診療位置に移動したこと、前記診療装置が備える診療器具の駆動が開始したこと、前記診療装置が備える照明装置が点灯したこと、および前記診療装置が備える給水・排水装置の駆動が開始したことのうちの少なくとも１つを含む、請求項７に記載のデータ処理装置。

【請求項9】

診療空間を撮影して得られる少なくとも１つの画像データを処理するデータ処理方法であって、
前記少なくとも１つの画像データが時系列で入力されるステップと、
時系列で入力される前記少なくとも１つの画像データに基づき、前記診療空間に含まれる人物の位置を示す位置データを生成するステップと、
前記位置データに対して、任意の前記人物を示す識別情報を付与するステップと、
前記位置データの時系列の変化に基づき、前記位置データに付与された前記識別情報が誤っているか否かを判定するステップと、
前記位置データに付与された前記識別情報が誤っている場合に、前記位置データに付与された前記識別情報を修正するステップとを含む、データ処理方法。

【請求項10】

診療空間を撮影して得られる少なくとも１つの画像データを処理するデータ処理プログラムであって、
前記データ処理プログラムは、コンピュータに、
前記少なくとも１つの画像データが時系列で入力されるステップと、
時系列で入力される前記少なくとも１つの画像データに基づき、前記診療空間に含まれる人物の位置を示す位置データを生成するステップと、
前記位置データに対して、任意の前記人物を示す識別情報を付与するステップと、
前記位置データの時系列の変化に基づき、前記位置データに付与された前記識別情報が誤っているか否かを判定するステップと、
前記位置データに付与された前記識別情報が誤っている場合に、前記位置データに付与された前記識別情報を修正するステップとを実行させる、データ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、診療空間を撮影して得られる少なくとも１つの診療中の画像データを処理するデータ処理装置、データ処理方法、およびデータ処理プログラムに関する。

【背景技術】

【0002】

従来、患者を診療するための診療装置が公知である。たとえば、特許文献１は、チェア、診療器具、および照明装置など、患者を診療するための構成を備えた診療装置を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－２７８３２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

歯科医師および歯科助手などの術者は、特許文献１に開示された診療装置を用いて患者を診療することができるが、診療空間に含まれる歯科医師、歯科助手、および患者などの複数の人物の位置をトラッキングして分析することができれば、術者による診療内容をある程度予想することが可能である。しかしながら、診療中の人物の位置をトラッキングする際に、人物を誤って認識してしまった場合、診療内容の予測精度が低下するおそれがある。

【0005】

本開示は、かかる問題を解決するためになされたものであり、その目的は、診療空間に含まれる人物の位置を適切に記録する技術を提供することである。

【課題を解決するための手段】

【0006】

本開示の一例に従えば、診療空間を撮影して得られる少なくとも１つの画像データを処理するデータ処理装置が提供される。データ処理装置は、少なくとも１つの画像データが時系列で入力される入力部と、少なくとも１つの画像データを処理するデータ処理部とを備える。データ処理部は、時系列で入力部に入力される少なくとも１つの画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成する生成処理と、位置データに対して、任意の人物を示す識別情報を付与する付与処理と、位置データの時系列の変化に基づき、位置データに付与された識別情報が誤っているか否かを判定する判定処理と、位置データに付与された識別情報が誤っている場合に、位置データに付与された識別情報を修正する修正処理とを実行する。

【0007】

本開示の一例に従えば、診療空間を撮影して得られる少なくとも１つの画像データを処理するデータ処理方法が提供される。データ処理方法は、少なくとも１つの画像データが時系列で入力されるステップと、時系列で入力される少なくとも１つの画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成するステップと、位置データに対して、任意の人物を示す識別情報を付与するステップと、位置データの時系列の変化に基づき、位置データに付与された識別情報が誤っているか否かを判定するステップと、位置データに付与された識別情報が誤っている場合に、位置データに付与された識別情報を修正するステップとを含む。

【0008】

本開示の一例に従えば、診療空間を撮影して得られる少なくとも１つの画像データを処理するデータ処理プログラムが提供される。データ処理プログラムは、コンピュータに、少なくとも１つの画像データが時系列で入力されるステップと、時系列で入力される少なくとも１つの画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成するステップと、位置データに対して、任意の人物を示す識別情報を付与するステップと、位置データの時系列の変化に基づき、位置データに付与された識別情報が誤っているか否かを判定するステップと、位置データに付与された識別情報が誤っている場合に、位置データに付与された識別情報を修正するステップとを実行させる。

【発明の効果】

【0009】

本開示によれば、診療空間に含まれる人物の位置を適切に記録することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係るデータ処理システムの全体構成を示す模式図である。

【図2】全体カメラの撮影画像の一例を説明するための図である。

【図3】背面カメラの撮影画像の一例を説明するための図である。

【図4】実施の形態１に係るデータ処理システムの内部構成を示すブロック図である。

【図5】実施の形態１に係るデータ処理装置が取得する位置データの一例を説明するための図である。

【図6】位置データに含まれる検出ポイントの一例を説明するための図である。

【図7】背面画像データにおける領域の一例を説明するための図である。

【図8】推定用の同期データの一例を説明するための図である。

【図9】実施の形態１に係るデータ処理装置の機能構成を示すブロック図である。

【図10】実施の形態１に係るデータ処理装置が実行するデータ処理の一例を説明するためのフローチャートである。

【図11】実施の形態２に係るデータ処理装置の機能構成を示すブロック図である。

【図12】実施の形態２に係るデータ処理装置が実行するデータ処理の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

＜実施の形態１＞
本開示の実施の形態１について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

【0012】

［データ処理システムの全体構成］
図１は、実施の形態１に係るデータ処理システム１０００の全体構成を示す模式図である。図１に示すように、データ処理システム１０００は、診療装置１と、データ処理装置１００とを備える。

【0013】

診療装置１は、たとえば、術者が患者に対して歯科の診療を行うためのチェアユニットである。「診療」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の学生、および歯科技工士など、歯科における医療従事者（以下、「術者」とも称する。）によって行われる患者に対する診察および治療の少なくとも１つを含む。実施の形態１においては、診療の内容を「診療内容」とも称する。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含む。実施の形態１においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと（審美治療）を含む。実施の形態１においては、治療の内容を「治療内容」とも称する。「診療内容」は、「診察内容」および「治療内容」の少なくとも１つを含む。術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。実施の形態１においては、処置の内容を「処置内容」とも称する。「治療内容」は、１または複数の「処置内容」を含む。

【0014】

治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、診査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。

【0015】

たとえば、根管治療は、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。

【0016】

診査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。

【0017】

診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダ１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置（オペライト）１９と、器具制御装置２１と、表示制御装置２２と、スピーカ３５とを備える。

【0018】

チェア１１は、診療時に患者が座ったり横たわったりするための診療椅子である。チェア１１は、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄは、チェア制御部１１１に接続されており、チェア制御部１１１の制御に基づき駆動することができる。

【0019】

ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。

【0020】

トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。なお、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）によって吊り下げられてもよい。たとえば、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６によって吊り下げられてもよい。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。

【0021】

「診療器具」は、ラバーダム防湿一式、ラバーダムシート、根管長測定器、バーセット、ファイル（リーマ）、口角対極、ファールクリップ、ブローチ、洗浄用ニードル、洗浄用シリンジ、仮封材充填器、クレンザー、タービン、ピンセット、バキューム、ミラー、エキスカベーター、探針、および根管材料注入器など、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダ１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダ１４によって保持されない診療器具が主に置かれる。

【0022】

診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。

【0023】

フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の態様を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。

【0024】

ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。

【0025】

操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。

【0026】

照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、主に患者の口腔内を中心に光を照射することによって術者による診療をサポートする。術者は、アームを動かすことによって、照明装置１９の位置を変更することができる。なお、照明装置１９に限らず、ディスプレイ１７も、ポール５またはアーム６の先端に取り付けられてもよい。

【0027】

スピーカ３５は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。

【0028】

上述したように構成された診療装置１を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、データ処理システム１０００は、歯科診療中の診療空間に含まれる術者および患者などの人物の様子を撮影し、撮影によって得られた撮影画像のデータ（以下、「画像データ」とも称する。）を蓄積して記憶するように構成されている。診療中の画像データを蓄積して残すことで、診療中に生じたアクシデントを記録することができ、また、歯科診療の教材として画像データを用いることもできる。

【0029】

さらに、実施の形態１においては、データ処理装置１００は、診療中の画像データと、機械学習がなされたニューラルネットワークを含む推定モデルとを用いて、処置内容ないしは診療内容を推定することができるように構成されている。具体的には、術者は、患者に対する診療内容を正確かつ容易に把握することを望んでいる。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられている。しかしながら、歯科医師は、短時間で効率よく患者を診療することも求められているため、診療中に行った処置ないしは治療の内容を、その都度、記録することができない場合もある。近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い活用するといった技術が生み出されているが、ＡＩ技術を用いて歯科における診療内容などを推定することができれば、正確かつ容易に診療内容などを推定することができ、推定された診療内容を用いてより利便性のある歯科診療を実現することができる。

【0030】

ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言える。さらに、複数の処置内容の組み合わせから診療内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。

【0031】

診療中、歯科医師、歯科助手、および患者の各々は、診療内容に応じて概ね決まったルーチンで動作を行い、診療内容に応じて概ね決まった姿勢をとる。歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢は、診療の手順を表しているとも言え、その手順に対応するように診療装置１も制御される。このため、歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢に基づき、診療の手順を理解することができれば、診療装置１の制御を先読みすることが可能となる。

【0032】

さらに、術者は、診療内容に応じて複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出し、取り出した診療器具を用いて診療を行う。選択される診療器具の種類、および診療器具が用いられる順番は、診療の手順を表しているとも言え、その手順に対応するように診療装置１も制御される。このため、術者によって選択される診療器具の種類および診療器具が用いられる順番に基づき、診療の手順を理解することができれば、診療装置１の制御を先読みすることが可能となる。

【0033】

そこで、上述したように、実施の形態１に係るデータ処理システム１０００（データ処理装置１００）は、トレー３０、診療装置１の動作、術者の行動、および患者の行動を、ＡＩを用いて分析・学習することで、処置内容ないしは診療内容を推定するように構成されている。たとえば、術者は、患者の診療中に、診療装置１が備える各構成を操作することで、患者を診療するが、このような診療中の術者の動作をＡＩ技術によって先読みして診療装置１を制御することができれば、術者にとって利便性の高い診療装置１を提供することができる。

【0034】

診療内容を推定するためには、診療中の画像データを用いてデータ処理装置１００が備えるニューラルネットワークを含む推定モデルを機械学習させる必要があり、そのためには、テスト用の患者に限らず、ときには実際に歯科診療に訪れた患者の様子を撮影することもある。診療中の診療空間を撮影して得られた診療中の画像データを蓄積して残す場合は、患者の同意が必要になるが、診療空間を撮影するたびに患者の同意を得ることは作業的にも時間的にも容易ではない。また、患者を撮影して得られる画像データ自体が残されてしまうと、撮影された人物のプライバシーを適切に保護することができない。そこで、実施の形態１に係るデータ処理装置１００は、撮影された人物のプライバシーを適切に保護しながら、処置内容ないしは診療内容を推定するために必要なデータのみを記憶するように構成されている。以下、データ処理装置１００が実行する画像データに対するデータ処理について具体的に説明する。

【0035】

図１に示すように、診療装置１には、複数のカメラが取り付けられている。具体的には、データ処理システム１０００は、ディスプレイ１７に取り付けられたトレーカメラ５１と、ポール５の上部に取り付けられた全体カメラ５２と、照明装置１９に取り付けられた患者カメラ５３と、チェア１１の背後に取り付けられた背面カメラ５４とを備える。

【0036】

トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた撮影画像を含む画像データ（以下、「トレー画像データ」とも称する。）は、データ処理装置１００によって取得される。トレーカメラ５１におけるフレームレートおよびシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などをデータ処理装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

【0037】

全体カメラ５２は、診療装置１を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ５２は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を上空から俯瞰して動画または静止画で撮影するように配置されている。全体カメラ５２は、ポール５の上部に固定して取り付けられた固定カメラであるため、同じ位置から診療空間における同じ領域を常に撮影するようになっている。

【0038】

全体カメラ５２は、術者および患者の三次元の位置座標を検出できるように３Ｄカメラなどで構成されている。たとえば、全体カメラ５２は、ＡＩを用いた画像認識によって撮影対象の三次元の位置座標を検出可能なカメラ、カメラによる撮影および光（たとえば、赤外線）の反射を用いた対象物までの距離の測定によって三次元の位置座標を検出可能なＴｏＦ（Time of Flight）方式のカメラ、または、２台のカメラによる撮影によって三次元の位置座標を検出可能なステレオ方式のカメラなどで構成されている。なお、全体カメラ５２は、二次元の位置座標を含む平面画像を撮影可能なカメラであってもよい。この場合、データ処理装置１００は、全体カメラ５２の撮影によって得られた平面画像（二次元の位置座標）に基づき、３次元の位置座標を推定するように構成されてもよい。

【0039】

「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５２によって得られた撮影画像を含む画像データ（以下、「全体画像データ」とも称する。）は、データ処理装置１００によって取得される。全体カメラ５２におけるフレームレートおよびシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などをデータ処理装置１００が認識できる程度に予め調整されている。

【0040】

なお、全体カメラ５２は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。全体カメラ５２は、診療空間を平面で認識する他に、診療空間を奥行き方向で認識可能なデプスカメラであってもよい。全体カメラ５２は、診療空間を全方位で撮影可能な３６０度カメラであってもよい。

【0041】

患者カメラ５３は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置１９が患者の顔の正面に位置するため、照明装置１９に取り付けられた患者カメラ５３は、自然と患者の顔を含む領域を正面から撮影することができる。

【0042】

患者カメラ５３によって得られた撮影画像を含む画像データ（以下、「患者画像データ」とも称する。）は、データ処理装置１００によって取得される。患者カメラ５３におけるフレームレートおよびシャッタースピードなどの各種設定は、診療中の患者の口腔内をデータ処理装置１００が認識できる程度に予め調整されている。

【0043】

なお、患者カメラ５３は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。患者カメラ５３は、口腔周辺の部位と診療器具とにおける奥行き方向（たとえば、患者カメラ５３から患者を見る方向）の位置関係をデータ処理装置１００が検出できるように、全体カメラ５２と同様に三次元の位置座標を検出可能であってもよい。

【0044】

背面カメラ５４は、診療装置１のチェア１１の背面から、チェア１１に位置する患者を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、背面カメラ５４は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を上空から俯瞰して動画または静止画で撮影するように配置されている。背面カメラ５４は、チェア１１の背後の壁などに固定して取り付けられた固定カメラであるため、同じ位置から診療空間における同じ領域を常に撮影するようになっている。

【0045】

背面カメラ５４は、術者および患者の三次元の位置座標を検出できるように３Ｄカメラなどで構成されている。たとえば、背面カメラ５４は、ＡＩを用いた画像認識によって撮影対象の三次元の位置座標を検出可能なカメラ、カメラによる撮影および光（たとえば、赤外線）の反射を用いた対象物までの距離の測定によって三次元の位置座標を検出可能なＴｏＦ方式のカメラ、または、２台のカメラによる撮影によって三次元の位置座標を検出可能なステレオ方式のカメラなどで構成されている。なお、背面カメラ５４は、二次元の位置座標を含む平面画像を撮影可能なカメラであってもよい。この場合、データ処理装置１００は、背面カメラ５４の撮影によって得られた平面画像（二次元の位置座標）に基づき、３次元の位置座標を推定するように構成されてもよい。

【0046】

背面カメラ５４によって得られた撮影画像を含む画像データ（以下、「背面画像データ」とも称する。）は、データ処理装置１００によって取得される。背面カメラ５４におけるフレームレートおよびシャッタースピードなどの各種設定は、チェア１１位置する患者およびチェア１１の周辺をデータ処理装置１００が認識できる程度に予め調整されている。

【0047】

上述したトレー画像データ、全体画像データ、患者画像データ、および背面画像データをまとめて「画像データ」とも称する。なお、「画像データ」という用語は、トレー画像データ、全体画像データ、患者画像データ、および背面画像データの全てを意味する場合もあるが、トレー画像データ、全体画像データ、患者画像データ、および背面画像データのうちの少なくともいずれか１つを意味する場合もある。

【0048】

データ処理装置１００は、主にトレー画像データおよび患者画像データに基づき、撮影画像に含まれる診療器具などのオブジェクトの有無やその種類を検出する。データ処理装置１００は、主に全体画像データおよび背面画像データに基づき、撮影画像に含まれる歯科医師、歯科助手、および患者などの人物の位置を検出する。

【0049】

データ処理装置１００は、取得した各種のデータに基づき、診療装置１を用いて行われた患者に対する診療の内容を推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、データ処理装置１００は、診療装置１に取り付けられたトレーカメラ５１、全体カメラ５２、患者カメラ５３、および背面カメラ５４から、画像データを取得する。

【0050】

なお、実施の形態１においては、表示装置１１０がデータ処理装置１００に接続されているが、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）がデータ処理装置１００に接続されていてもよい。

【0051】

［全体カメラの撮影画像］
図２は、全体カメラ５２の撮影画像の一例を説明するための図である。図２に示すように、全体カメラ５２によって、診療空間を少なくとも含む領域が撮影される。診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、全体カメラ５２の撮影画像には、診療中の術者（歯科医師３または歯科助手４）の行動、患者２の行動、使用されている診療器具の種類、診療器具の位置、および診療装置１の動作などが表される。

【0052】

データ処理装置１００は、全体カメラ５２によって取得された全体画像データを画像認識などで分析することで、診療中の歯科医師３、歯科助手４、および患者２の位置（たとえば、３次元座表示におけるＸ座標、Ｙ座標、Ｚ座標）を検出することができる。

【0053】

［背面カメラの撮影画像］
図３は、背面カメラ５４の撮影画像の一例を説明するための図である。図３に示すように、背面カメラ５４によって、チェア１１の背面から、チェア１１に位置する患者２を少なくとも含む領域が撮影される。診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、背面カメラ５４の撮影画像には、診療中の術者（歯科医師３または歯科助手４）の行動、患者２の行動、使用されている診療器具の種類、診療器具の位置、および診療装置１の動作などが表される。

【0054】

データ処理装置１００は、背面カメラ５４によって取得された背面画像データを画像認識などで分析することで、診療中の歯科医師３、歯科助手４、および患者２の位置（たとえば、３次元座表示におけるＸ座標、Ｙ座標、Ｚ座標）を検出することができる。

【0055】

［データ処理システムの内部構成］
図４は、実施の形態１に係るデータ処理システム１０００の内部構成を示すブロック図である。図４に示すように、データ処理システム１０００は、複数のカメラ（トレーカメラ５１、全体カメラ５２、患者カメラ５３、背面カメラ５４）と、診療装置１と、データ処理装置１００とを備える。

【0056】

診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、音制御装置３２と、ベースンユニット１２とを備える。診療装置１の内部において、チェア１１、器具制御装置２１、表示制御装置２２、音制御装置３２、およびベースンユニット１２の各々は、ＣＡＮ（Controller Area Network）通信を介してデータの送受信を行うことができる。また、診療装置１は、データ処理装置１００との間で、有線または無線のＬＡＮ（Local Area Network）通信、たとえばＷｉＦｉによる通信を介してデータの送受信を行うことができる。なお、診療装置１は、データ処理装置１００との間で、ＵＳＢ（Universal Serial Bus）接続による通信を介してデータの送受信を行ってもよい。

【0057】

チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、データ処理装置１００からの制御データを受信すると、当該制御データに基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１が起立した態様となる。これにより、患者がチェア１１に座った姿勢（非診療位置）になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１が傾斜した態様となる。これにより、患者がチェア１１に横たわり、仰向け姿勢（診療位置）になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢（患者の位置）を変更する。

【0058】

器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、データ処理装置１００からの制御データを受信すると、当該制御データに基づき、診療器具１５の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、データ処理装置１００が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置２１は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。このように、器具制御装置２１は、フットコントローラ１６または操作パネル１８に対する術者の操作に基づき診療器具１５の駆動を制御する。

【0059】

表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、データ処理装置１００からの制御データを受信すると、当該制御データに基づき、ディスプレイ１７を制御する。パネル制御部２２２は、データ処理装置１００の制御に基づく制御データを受信すると、当該制御データに基づき、操作パネル１８を制御する。

【0060】

音制御装置３２は、音制御部３２１を含む。音制御部３２１は、データ処理装置１００からの制御データを受信すると、当該制御データに基づき、スピーカ３５を制御する。

【0061】

ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、データ処理装置１００からの制御データを受信すると、当該制御データに基づき、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、データ処理装置１００からの制御データを受信すると、当該制御データに基づき、照明装置１９の照明および消灯を制御する。

【0062】

上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。

【0063】

チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々におけるＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。

【0064】

「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の少なくとも１つにおける過去および現在の少なくとも１つの制御データを含む。たとえば、上述したように、「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、および操作パネル１８の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア１１の現在の態様（姿勢および位置など）を特定するためのデータを含んでいてもよい。

【0065】

ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３と、蓄積部１２３によって蓄積された診療関連データを通信によってデータ処理装置１００に出力するための通信部１２４とを含む。

【0066】

蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭまたはＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。

【0067】

通信部１２４は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によってデータ処理装置１００との間で通信する。なお、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、データ処理装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、データ処理装置１００は、一時的に記憶する揮発性の記憶媒体を介して、ＣＡＮ通信に流れている診療関連データを、直接的に取得してもよい。

【0068】

データ処理装置１００は、通信装置１０１と、演算装置１０２と、揮発性記憶部１０３と、不揮発性記憶部１０４とを備える。

【0069】

通信装置１０１は、診療装置１との間で通信する一方で、トレーカメラ５１、全体カメラ５２、患者カメラ５３、および背面カメラ５４の各々との間で通信可能である。通信装置１０１は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって各カメラとの間で通信することで、各カメラから画像データを取得する。各カメラは、予め決められたフレームレートに基づき診療空間を動画撮影することで、１秒間に複数枚の静止画像を取得する。各カメラによって取得された複数枚の静止画像の画像データは、通信装置１０１を介して時系列にデータ処理装置１００に入力される。

【0070】

なお、通信装置１０１は、その他の形式で各カメラから画像データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記憶媒体に一時的に記憶される画像データを取得してもよい。なお、診療装置１との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。

【0071】

通信装置１０１は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって診療装置１との間で通信することで、診療装置１から診療関連データを取得する。なお、通信装置１０１は、その他の形式で診療装置１から診療関連データを取得してもよい。たとえば、上述したように、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、データ処理装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。

【0072】

演算装置１０２は、各種のプログラムを実行することで、各種の処理を実行する演算主体（コンピュータ）である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。

【0073】

なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくとも１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）で構成されてもよい。

【0074】

揮発性記憶部１０３は、揮発性の記憶領域（たとえば、ワーキングエリア）を含む。たとえば、揮発性記憶部１０３は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。揮発性記憶部１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に記憶する。さらに、揮発性記憶部１０３は、通信装置１０１を介して各カメラから入力された画像データを一時的に記憶する。揮発性記憶部１０３に電力供給がなくなると、揮発性記憶部１０３に記憶されたデータは消去される。

【0075】

不揮発性記憶部１０４は、不揮発性の記憶領域を含む。たとえば、不揮発性記憶部１０４は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスク、またはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。不揮発性記憶部１０４への電力供給がなくなったとしても、不揮発性記憶部１０４に記憶されたデータは消去されずに保持される。

【0076】

不揮発性記憶部１０４は、データ処理装置１００が備えるものに限らない。たとえば、不揮発性記憶部１０４は、診療装置１に通信可能に接続された院内サーバが不揮発性記憶部１０４を備えていてもよいし、診療装置１が設置された診療空間外に設置された院外サーバが不揮発性記憶部１０４を備えていてもよい。さらに、不揮発性記憶部１０４は、複数の診療装置１のそれぞれが備える複数のデータ処理装置１００が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した画像データおよび診療関連データを不揮発性記憶部１０４によって一律に蓄積しかつ管理することができる。

【0077】

不揮発性記憶部１０４は、推定モデル１４１と、推定プログラム１４２と、データ処理プログラム１４３とを格納する。

【0078】

推定モデル１４１は、たとえば、ニューラルネットワークと、ニューラルネットワークにおける処理で用いられるパラメータ（判定閾値、重み係数など）とを含み、各カメラから取得した画像データおよび診療装置１から取得した診療関連データの少なくとも１つに基づき、患者の診療内容を推定するために用いられる。推定モデル１４１は、画像データおよび診療関連データの少なくとも１つに基づき機械学習を行うことで最適化（調整）される。具体的には、推定モデル１４１は、ニューラルネットワークにおける処理で用いられるパラメータが教師データ（たとえば、画像データおよび診療関連データと、正解データである診療内容とのセット）などに基づいて適正化されることで、患者の診療内容の推定精度を向上させることができる。

【0079】

なお、演算装置１０２が診療内容を推定する処理を「推定処理」とも称し、演算装置１０２が推定モデル１４１を学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデル１４１を、特に「学習済モデル」とも称する。つまり、実施の形態１においては、学習前の推定モデルおよび学習済みの推定モデル１４１をまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデル１４１を「学習済モデル」とも称する。なお、画像データおよび診療関連データは、診療内容の推定処理に用いられるため、まとめて「推定用データ」とも称される。

【0080】

推定プログラム１４２は、演算装置１０２が推定処理および学習処理を実行するためのプログラムである。なお、データ処理装置１００は、推定処理によって得られた推定結果に基づき、各制御対象を制御するための制御データを生成するとともに、生成した制御データを各制御対象に出力する制御プログラムを含んでいてもよい。

【0081】

データ処理プログラム１４３は、各カメラから取得した画像データを用いて、各カメラによって得られた画像データに対してデータ処理を実行するためのプログラムである。具体的には、データ処理プログラム１４３は、ＡＩを用いて画像認識を行うためのソースコードを含む。演算装置１０２は、データ処理プログラム１４３を実行することで、撮影画像に含まれる患者の目（片目または両目）、頭、耳、および鼻の位置を検出したり、チェア１１のヘッドレスト１１ａの位置を検出したりする。

【0082】

データ処理装置１００には、表示装置１１０が接続されている。表示装置１１０は、たとえば、推定した診療内容または処置内容を示す画像など、各種の画像を表示する。なお、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）がデータ処理装置１００に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。表示装置１１０は、データ処理装置１００が備えていてもよい。

【0083】

上述した例では、データ処理装置１００が診療装置１と別体となるように構成されていたが、データ処理装置１００は、エッジコンピューティングの態様で、診療装置１の内部に小型のコンピュータとして実装されてもよい。この場合、データ処理装置１００は、診療装置１に含まれるチェア１１、器具制御装置２１、表示制御装置２２、音制御装置３２、およびベースンユニット１２の各々との間で、ＣＡＮ通信を介してデータの送受信を行ってもよい。

【0084】

［位置データ］
図５および図６を参照しながら、データ処理装置１００が生成する術者および患者の位置データについて説明する。図５は、実施の形態１に係るデータ処理装置１００が取得する位置データの一例を説明するための図である。図６は、位置データに含まれる検出ポイントの一例を説明するための図である。

【0085】

データ処理装置１００において、演算装置１０２は、全体カメラ５２によって取得された全体画像データに基づき、診療中の術者および患者など撮影画像に含まれる人物の位置を特定するための位置データを生成する。図５に示すように、演算装置１０２によって生成された人物ごとの位置データは、不揮発性記憶部１０４に蓄積して記憶される。

【0086】

具体的には、データ処理装置１００は、時系列で入力される少なくとも１つの全体画像データの各々に基づき、各全体画像データにおいて診療空間に含まれる各人物（歯科医師、歯科助手、および患者）の位置を示す少なくとも１つの位置データを生成する。たとえば、フレームレートに基づいて１秒間に１０個の静止画像分の画像データが入力される場合、データ処理装置１００は、０．１秒間隔で１つの画像データに基づき各人物の位置データを生成する。データ処理装置１００は、生成した各人物の位置データに対して、任意の人物を示す識別情報（たとえば、ＩＤ）と、現在時刻を示す時間情報（たとえば、タイムスタンプ）とを付与する。

【0087】

位置データは、検出対象の人物に対して予め定められた検出ポイントごとに三次元（Ｘ、Ｙ、Ｚ）の位置座標を含む。図５および図６に示すように、たとえば、検出ポイントは、人物の右手首、右肘、右肩、頭、左肩、左肘、左手首、右耳、左耳、右眼、左眼、鼻、口、股関節、右膝、左膝、右足首、および左足首を含む。つまり、データ処理装置１００によって生成される少なくとも１つの位置データは、診療空間に含まれる人物が有する複数の関節の各々に対応する位置データを含む。なお、データ処理装置１００は、図５に示される検出ポイント以外のキーとなるポイント（たとえば、目、鼻、関節同士の中間などのポイント）について位置データを取得してもよいし、図５に示される検出ポイントの一部のポイントについてのみ位置データを取得してもよい。

【0088】

図６に示すように、位置データに対応する位置座標は、たとえば、全体カメラ５２によって得られた撮影画像の左上の端をＸ軸およびＹ軸の原点とした場合のＸ座標およびＹ座標を含む。なお、図６においては、Ｘ軸およびＹ軸のみを含む平面画像が示されているが、当該平面画像の奥行き方向であるＺ軸方向におけるＺ座標も位置データに含まれる。

【0089】

データ処理装置１００は、全体カメラ５２から図６に示すような撮影画像を取得した場合、診療空間に含まれる各人物の右手首および右肘といった検出ポイントを画像認識によって特定し、特定した各検出ポイントの位置座標を特定する。

【0090】

たとえば、撮影画像に示されたある人物（この例では歯科医師３）に着目すると、データ処理装置１００は、Ｐ１（右手首）、Ｐ２（右肘）、Ｐ３（右肩）、Ｐ４（頭）、Ｐ５（左肩）、Ｐ６（左肘）、およびＰ７（左手首）の検出ポイントを特定し、Ｐ１～Ｐ７の各検出ポイントの位置情報を特定する。たとえば、データ処理装置１００は、Ｐ１の位置座標について、撮影画像に基づき、Ｘ座標としてＸ１を特定し、Ｙ座標としてＹ１を特定し、Ｚ座標としてＺ１を特定する。データ処理装置１００は、このようにして特定したＰ１の位置座標を、Ｐ１の位置データとして不揮発性記憶部１０４に記憶させる。

【0091】

診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、診療開始時に位置する場所（ホームポジション）が概ね決まっている。たとえば、チェア１１の背もたれ１１ｂとヘッドレスト１１ａとを結ぶ直線方向（Ｙ軸方向）において、仰向け姿勢（診療位置）になった患者の頭上から患者の口腔内を覗き込むことができる位置を含むＲ１には、歯科医師が存在する可能性が高い。チェア１１の背もたれ１１ｂとヘッドレスト１１ａとを結ぶ直線方向（Ｘ軸方向）において、仰向け姿勢（診療位置）になった患者の横の位置を含む領域Ｒ２には、歯科助手が存在する可能性が高い。チェア１１の位置を含む領域Ｒ３には、患者が存在する可能性が高い。

【0092】

データ処理装置１００は、診療開始時において、全体画像データに基づき領域Ｒ１に含まれる人物の各検出ポイントの位置データを最初に生成すると、生成した位置データに対して領域Ｒ１に対応する識別情報として「ＩＤ：００１」を付与する。たとえば、図５に示すように、データ処理装置１００は、「ＩＤ：００１」が付与されたデータテーブルに、領域Ｒ１に含まれる人物の各検出ポイントの位置データを格納する。それ以降、診療が終了するまで、データ処理装置１００は、領域Ｒ１に含まれる人物をトラッキングして当該人物の各検出ポイントの位置データを生成するごとに、「ＩＤ：００１」が付与されたデータテーブルに、生成した位置データを格納する。

【0093】

データ処理装置１００は、診療開始時において、全体画像データに基づき領域Ｒ２に含まれる人物の各検出ポイントの位置データを最初に生成すると、生成した位置データに対して領域Ｒ２に対応する識別情報として「ＩＤ：００２」を付与する。たとえば、図５に示すように、データ処理装置１００は、「ＩＤ：００２」が付与されたデータテーブルに、領域Ｒ２に含まれる人物の各検出ポイントの位置データを格納する。それ以降、データ処理装置１００は、診療が終了するまで、領域Ｒ２に含まれる人物をトラッキングして当該人物の各検出ポイントの位置データを生成するごとに、「ＩＤ：００２」が付与されたデータテーブルに、生成した位置データを格納する。

【0094】

データ処理装置１００は、診療開始時において、全体画像データに基づき領域Ｒ３に含まれる人物の各検出ポイントの位置データを最初に生成すると、生成した位置データに対して領域Ｒ３に対応する識別情報として「ＩＤ：００３」を付与する。たとえば、図５に示すように、データ処理装置１００は、「ＩＤ：００３」が付与されたデータテーブルに、領域Ｒ３に含まれる人物の各検出ポイントの位置データを格納する。それ以降、診療が終了するまで、データ処理装置１００は、領域Ｒ３に含まれる人物をトラッキングして当該人物の各検出ポイントの位置データを生成するごとに、「ＩＤ：００３」が付与されたデータテーブルに、生成した位置データを格納する。

【0095】

このように、データ処理装置１００は、診療空間のうち、各人物が習慣的に位置する領域に対応付けられた識別情報を、当該領域に含まれる人物の各検出ポイントの位置データに付与する。歯科治療の場面では、習慣的に、領域Ｒ１には歯科医師３が位置し、領域Ｒ２には歯科助手４が位置し、領域Ｒ３には患者２が位置する。一方で、歯石除去の処置の場面では、習慣的に、領域Ｒ１および領域Ｒ２には歯科医師３が位置することなく、代わりに歯科助手４が位置し、領域３には患者が位置する。このように、歯科医師３による歯科治療の場面、および歯科助手４による歯石除去の処置の場面などのように、診療空間における異なる場面では、ある１つの領域を見たときに位置する人物が異なるものの、各人物が習慣的に位置する領域はある程度決まっている。このため、データ処理装置１００は、診療空間に含まれる人物が歯科医師３、歯科助手４、および、患者のいずれであると明確に認識することなく、領域ごとに存在する人物を任意の人物として識別情報を付与するものであっても、機械学習済みの推定モデル１４１を用いて、時系列データ（任意の人物の動きを示すデータ）に基づき、任意の人物を歯科医師３などの特定の人物と認識することが可能である。

【0096】

データ処理装置１００は、位置データをタイムスタンプとともに不揮発性記憶部１０４に記憶させることで、新規で機械学習を行う際に用いた位置データを、再学習する際にも再び用いることができる。さらに、複数のデータ処理装置１００において不揮発性記憶部１０４に記憶された位置データを共有する際にも、位置データにタイムスタンプが関連付けられていることで、複数のデータ処理装置１００が同じような機械学習を行うことができる。

【0097】

このようにして、データ処理装置１００は、全体カメラ５２から取得した全体画像データに基づき、診療中の術者および患者の位置を特定するための各検出ポイントの位置データを取得する。データ処理装置１００は、取得した位置データを識別情報およびタイムスタンプに関連付けて、全体画像データとして不揮発性記憶部１０４に蓄積して記憶させる。さらに、データ処理装置１００は、各検出ポイントを直線などによって仮想的に繋げることによって、人物の手、腕、頭、腰、および足などの動作を特定することができる。

【0098】

なお、上述した検出ポイントの位置座標の特定方法は、一例であり、データ処理装置１００は、その他の手法で検出ポイントの位置座標を特定してもよい。さらに、データ処理装置１００は、一連の診療に関わる人物に限らず、一連の診療に関わるキーアイテムの位置座標を特定してもよい。このようにすれば、データ処理装置１００は、特定したキーアイテムの位置座標を用いて推定モデル１４１を機械学習させることもできる。

【0099】

なお、データ処理装置１００は、ある識別情報が付与された領域に含まれる人物の位置データを新たに生成したときに、当該位置データが、記憶済みの当該人物の位置データと異なる場合に、新たに生成された位置データを記憶してもよい。すなわち、データ処理装置１００は、人物の位置が変化しない限り新たな位置データを記憶せず、人物の位置が変化したことを条件に新たな位置データを不揮発性記憶部１０４に記憶してもよい。これにより、不揮発性記憶部１０４が記憶するデータ量が増大することを極力抑えることができる。

【0100】

図５および図６においては、全体画像データに基づき術者および患者の位置データを検出する例が示されているが、背面カメラ５４によって取得された背面画像データに基づき術者および患者の位置データを検出する場合も、図５および図６に示す検出例と同様である。図７は、背面画像データにおける領域の一例を説明するための図である。

【0101】

図７に示すように、全体カメラ５２によって取得された全体画像データと同様に、背面カメラ５４によって取得された背面画像データにおいても、診療空間に含まれる各領域に対して識別情報が対応付けられている。たとえば、診療開始時に歯科医師が習慣的に位置する可能性が高い領域Ｒ１には、識別情報として「ＩＤ：００１」が対応付けられている。診療開始時に歯科助手が習慣的に位置する可能性が高い領域Ｒ２には、識別情報として「ＩＤ：００２」が対応付けられている。診療開始時に患者が習慣的に位置する可能性が高い領域Ｒ３には、識別情報として「ＩＤ：００３」が対応付けられている。

【0102】

データ処理装置１００は、診療開始時において、背面画像データに基づき領域Ｒ１に含まれる人物の各検出ポイントの位置データを最初に生成すると、生成した位置データに対して領域Ｒ１に対応する識別情報として「ＩＤ：００１」を付与する。データ処理装置１００は、診療開始時において、背面画像データに基づき領域Ｒ２に含まれる人物の各検出ポイントの位置データを最初に生成すると、生成した位置データに対して領域Ｒ２に対応する識別情報として「ＩＤ：００２」を付与する。データ処理装置１００は、診療開始時において、背面画像データに基づき領域Ｒ３に含まれる人物の各検出ポイントの位置データを最初に生成すると、生成した位置データに対して領域Ｒ３に対応する識別情報として「ＩＤ：００３」を付与する。

【0103】

ここで、撮影対象となる人物が全体カメラ５２の死角に入ったり、複数の人物が全体カメラ５２の撮影範囲内で重なったりした場合、データ処理装置１００が一部の検出ポイントを特定することができないおそれがある。この場合、データ処理装置１００は、全体カメラ５２以外のカメラによって取得された画像データに基づき当該一部の検出ポイントの位置データを生成し、生成した位置データを用いて、今回欠落した一部の検出ポイントに対応する位置データを補完してもよい。

【0104】

たとえば、データ処理装置１００は、所定タイミングで全体カメラ５２によって取得された全体画像データに基づき、領域Ｒ１に含まれる人物の一部の検出ポイントの位置データを生成できなかった場合、当該所定タイミングで背面カメラ５４によって取得された背面画像データに基づき、領域Ｒ１に含まれる人物の当該一部の検出ポイントの位置データを生成し、生成した位置データを、全体画像データにおける当該一部の検出ポイントの位置データとして、不揮発性記憶部１０４に記憶してもよい。

【0105】

なお、データ処理装置１００は、所定タイミングで全体カメラ５２によって取得された全体画像データに基づき、領域Ｒ１に含まれる人物の一部の検出ポイントの位置データを生成できなかった場合、当該所定タイミングよりも前のタイミングで全体カメラ５２によって取得された全体画像データに基づき、領域Ｒ１に含まれる人物の当該一部の検出ポイントの位置データを、当該所定タイミングにおける当該一部の検出ポイントの位置データとして、不揮発性記憶部１０４に記憶してもよい。

【0106】

［診療内容の推定の一例］
図８を参照しながら、データ処理装置１００による診療内容の推定の一例について説明する。図８は、推定用の同期データの一例を説明するための図である。なお、図８には、画像データを用いて根管治療を推定する例が示されている。

【0107】

診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミングごとに、トレー３０に置かれた１または複数の診療器具が撮影される。データ処理装置１００は、トレーカメラ５１からトレー画像データが入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。

【0108】

たとえば、図８に示すように、データ処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定し、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータを格納する。これにより、図８に示すように、データ処理装置１００は、同期タイミングごとに診療器具の有無を区別可能な推定用データを得ることができる。

【0109】

診療中においては、患者カメラ５３によって、シャッタータイミングに依存する所定のタイミングごとに、患者の口腔内が撮影される。データ処理装置１００は、患者カメラ５３から患者画像データが入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。

【0110】

たとえば、図８に示すように、データ処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、データ処理装置１００は、同期タイミングごとに患者の口腔内における診療器具の位置を特定可能な推定用データを得ることができる。

【0111】

診療中においては、全体カメラ５２によって、シャッタータイミングに依存する所定のタイミングごとに、術者および患者の行動、診療装置１の動作などが撮影される。データ処理装置１００は、全体カメラ５２から全体画像データが入力されると、画像に含まれる特徴量を抽出することで、術者および患者などの人物の位置データを生成する。データ処理装置１００は、生成した位置データを不揮発性記憶部１０４に記憶する。

【0112】

たとえば、図８に示すように、データ処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、識別情報が付与された位置データを格納する。これにより、データ処理装置１００は、同期タイミングごとに術者および患者の行動を特定可能な推定用データを得ることができる。

【0113】

診療中においては、背面カメラ５４によって、シャッタータイミングに依存する所定のタイミングごとに、術者および患者の行動、診療装置１の動作などが撮影される。データ処理装置１００は、背面カメラ５４から背面画像データが入力されると、画像に含まれる特徴量を抽出することで、術者および患者などの人物の位置データを生成する。データ処理装置１００は、生成した位置データを不揮発性記憶部１０４に記憶する。

【0114】

たとえば、図８に示すように、データ処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、識別情報が付与された位置データを格納する。これにより、データ処理装置１００は、同期タイミングごとに術者および患者の行動を特定可能な推定用データを得ることができる。

【0115】

データ処理装置１００は、上述したようにして得られた推定用データに基づき、診療内容または処置内容を推定するための特徴を見出すことで、診療内容または処置内容を推定することができる。

【0116】

［データ処理装置の機能構成］
図９は、実施の形態１に係るデータ処理装置１００の機能構成を示すブロック図である。図９に示すように、データ処理装置１００は、主な機能部として、入力部１１０１と、データ処理部１１０２と、揮発性記憶部１０３と、不揮発性記憶部１０４とを備える。

【0117】

入力部１１０１は、通信装置１０１の機能部であり、データ処理部１１０２は、演算装置１０２の機能部である。揮発性記憶部１０３は、「第１記憶部」の一例であり、上述したように、ＲＡＭなどの揮発性メモリデバイスで構成される。不揮発性記憶部１０４は、「第２記憶部」の一例であり、上述したように、ＲＯＭまたはフラッシュメモリなどの不揮発性メモリデバイスで構成される。

【0118】

入力部１１０１は、撮影部５０１による撮影によって得られた画像データを取得する。撮影部５０１は、全体カメラ５２、トレーカメラ５１、全体カメラ５２、患者カメラ５３、および背面カメラ５４といった各カメラの機能部である。撮影部５０１は、時系列で患者を撮影し、入力部１１０１には、撮影部５０１から時系列で撮影された少なくとも１つの画像データが時系列に入力される。

【0119】

データ処理部１１０２は、入力部１１０１に時系列で入力される少なくとも１つの画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成し、生成した位置データを不揮発性記憶部１０４に蓄積して記憶する。

【0120】

具体的には、データ処理部１１０２は、シャッタータイミングに依存する所定のタイミングごとに得られる１つの画像データを入力部１１０１から取得すると、当該画像データを揮発性記憶部１０３に記憶する。このとき、データ処理部１１０２は、揮発性記憶部１０３に既に過去の画像データが記憶されている場合、当該過去の画像データに上書きして今回取得した最新の画像データを揮発性記憶部１０３に記憶させる。これにより、揮発性記憶部１０３には、常に最新の１つの画像データのみが記憶される。

【0121】

データ処理部１１０２は、揮発性記憶部１０３に記憶された最新の画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成する。具体的には、図５および図６を用いて説明したように、データ処理部１１０２は、揮発性記憶部１０３に記憶された画像データに基づき、各領域Ｒ１，Ｒ２，Ｒ３に存在する人物の検出ポイントを特定し、当該検出ポイントの位置データを生成する。

【0122】

データ処理部１１０２は、位置データを生成すると、当該位置データを不揮発性記憶部１０４に記憶させる。このとき、データ処理部１１０２は、診療が開始してから最初に取得した画像データに基づき位置データを生成した場合、生成した位置データに対して各領域Ｒ１，Ｒ２，Ｒ３に対応する識別情報を付与する。たとえば、図５に示すように、データ処理装置１００は、各領域Ｒ１，Ｒ２，Ｒ３に対応する識別情報（ＩＤ）が付与されたデータテーブルに、各領域Ｒ１，Ｒ２，Ｒ３に含まれる人物の検出ポイントの位置データを格納する。そして、それ以降、データ処理装置１００は、診療が終了するまで、各領域Ｒ１，Ｒ２，Ｒ３に含まれる人物の検出ポイントの位置データを生成するごとに、各領域Ｒ１，Ｒ２，Ｒ３に対応する識別情報が付与された不揮発性記憶部１０４の記憶領域（データテーブル）に、生成した位置データを蓄積して格納する。

【0123】

このように、データ処理部１１０２は、揮発性記憶部１０３においては常に最新の１つの画像データのみを記憶させる一方で、不揮発性記憶部１０４においては画像データを記憶させることなく位置データを蓄積して記憶させる。

【0124】

なお、データ処理部１１０２は、全体カメラ５２に限らず、背面カメラ５４などによって取得された画像データについても位置データを生成して不揮発性記憶部１０４に蓄積して記憶させるが、揮発性記憶部１０３においては各カメラによって取得された最新の１つの画像データのみを記憶させる。

【0125】

揮発性記憶部１０３に記憶された診療中の画像データは、揮発性記憶部１０３に対する電力供給がなくなることによって、消去される。これにより、診療中において時系列で画像データが取得され、当該画像データに基づき位置データが生成される間、常に最新の１つの画像データのみが揮発性記憶部１０３に記憶され、さらに、診療の終了後にデータ処理装置１００の電源が切断されて揮発性記憶部１０３に対する電力供給がなくなることによって、揮発性記憶部１０３に記憶された最新の１つの画像データも消去される。一方、診療の終了後にデータ処理装置１００の電源が切断されたとしても、不揮発性記憶部１０４には診療中に生成された位置データが蓄積されて保持される。これにより、データ処理装置１００は、撮影された人物のプライバシーを適切に保護しながら、診療内容または処置内容を推定モデル１４１に推定するための位置データのみを不揮発性記憶部１０４に蓄積して残すことができる。

【0126】

［識別情報の判定］
上述したように、データ処理装置１００は、診療が開始してから最初に取得した画像データに基づき人物の各検出ポイントの位置データを生成すると、当該人物が含まれる領域に対応する識別情報を当該位置データに付与して不揮発性記憶部１０４に記憶させる。それ以降、データ処理装置１００は、当該人物の各検出ポイントをトラッキングし、位置データを生成するごとに、既に識別情報が付与された初回の位置データと同じデータテーブルに、新たに生成した位置データを格納する。

【0127】

ここで、データ処理装置１００が画像データに基づき人物の位置をトラッキングする際、図６に示すような２次元画像を用いて人物の位置をトラッキングする。このため、１つの領域において複数の人物が奥行き方向（Ｚ軸方向）で交錯した場合、異なる人物の位置データであるにも関わらず同じ識別情報が付与されたデータテーブルに格納されてしまう事態が生じ得る。特に、同一人物において複数の関節に対応する複数の検出ポイントがあり、データ処理装置１００は、複数の検出ポイントのそれぞれについて生成した複数の位置データの各々に対して識別情報を付与するため、たとえば手首など、複数の人物が交錯し易い検出ポイントに対しては間違って識別情報が付与されるおそれがある。

【0128】

たとえば、領域Ｒ１に含まれる歯科医師３の位置データは、「ＩＤ：００１」が付与されたデータテーブルに格納されるが、領域Ｒ１に歯科助手４が進入して歯科医師３とＺ軸方向で交錯することがあり得る。この場合、データ処理装置１００は、領域Ｒ１に含まれる歯科助手４の位置データを生成し、生成した位置データを「ＩＤ：００１」が付与されたデータテーブルに格納してしまう。このように誤った識別情報が位置データに付与されてしまうと、データ処理装置１００は、位置データを用いて診療内容または処置内容を正確に推定することができず、診療内容の予測精度が低下するおそれがある。そこで、データ処理装置１００は、位置データに付与された識別情報が誤っているか否かを判定し、位置データに付与された識別情報が誤っている場合に、位置データに付与された識別情報を修正するように構成されている。

【0129】

データ処理装置１００は、揮発性記憶部１０３において常に最新の１つの画像データのみを記憶しているため、時系列に変化する複数の撮影画像に基づき識別情報を修正することはできない。そこで、データ処理装置１００は、第１タイミングにおける人物の位置と、当該第１タイミングの後の第２タイミングにおける人物との間の距離に基づき、位置データに付与された識別情報が誤っているか否かを判定する。

【0130】

具体的には、データ処理装置１００は、新たに生成した最新の位置データと、当該位置データと同じ識別情報が付与された前回の位置データ（たとえば、診療が開始してから最初に取得した画像データに基づき生成した位置データ）とに基づき、両者間の距離を判定する。たとえば、データ処理装置１００は、「ＩＤ：００１」が付与された右手首に対応する検出ポイントＰ１について、新たに生成した位置データに対応する位置と前回生成した位置データに対応する位置とを比較して、両者の間の距離を算出する。データ処理装置１００は、算出した距離が予め決められた閾値を超えている場合、新たに生成した位置データに付与された識別情報が誤っていると判断する。

【0131】

なお、予め決められたフレームレートに基づき画像データが時系列で入力されるタイミングを考慮して、第１タイミングと第２タイミングとの間の時間で人物が移動可能な距離の限界点を、閾値に設定すればよい。たとえば、データ処理装置１００は、股関節に対応する検出ポイントＰ１４について、第１タイミングと第２タイミングとの間の時間（たとえば、０．１秒間）で股関節が２０ｃｍ以上移動した場合に、閾値を超えたと判断すればよい。このような閾値は、各検出ポイントＰ１～Ｐ１８の各々について予め設定されてもよい。

【0132】

あるいは、データ処理装置１００は、第１タイミングにおける人物の向きと、当該第１タイミングの後の第２タイミングにおける人物の向きとが異なる度合いに基づき、位置データに付与された識別情報が誤っているか否かを判定してもよい。

【0133】

具体的には、データ処理装置１００は、新たに生成した最新の位置データと、当該位置データと同じ識別情報が付与された前回の位置データ（たとえば、診療が開始してから最初に取得した画像データに基づき生成した位置データ）とに基づき、両者における人物の向きの違いを判定する。たとえば、データ処理装置１００は、「ＩＤ：００１」が付与された右手首に対応する検出ポイントＰ１について、新たに生成した位置データに対応する位置と前回生成した位置データに対応する位置とを比較して、両者の間の向きの相違度合いを算出する。データ処理装置１００は、算出した向きの相違度合いが予め決められた閾値を超えている場合、新たに生成した位置データに付与された識別情報が誤っていると判断する。

【0134】

なお、予め決められたフレームレートに基づき画像データが時系列で入力されるタイミングを考慮して、第１タイミングと第２タイミングとの間の時間で人物が変更可能な向きの限界点を閾値に設定すればよい。たとえば、データ処理装置１００は、右眼に対応する検出ポイントＰ１０について、第１タイミングと第２タイミングとの間の時間（たとえば、０．１秒間）で右眼が＋Ｘ軸方向１０ｃｍの位置から－Ｘ軸方向１０ｃｍの位置に移動した場合に、閾値を超えたと判断すればよい。このような閾値は、各検出ポイントＰ１～Ｐ１８の各々について予め設定されてもよい。

【0135】

データ処理装置１００は、上述の判定によって、位置データに付与された識別情報が誤っていると判断した場合、当該位置データに付与された識別情報を修正する。たとえば、データ処理装置１００は、新たに生成した右手首に対応する検出ポイントＰ１の位置データに付与された「ＩＤ：００１」が誤っている場合、誤った識別情報が付与された位置データを、正しい「ＩＤ：００２」が付与されたデータテーブルに移動させる。このとき、たとえば、データ処理装置１００は、「ＩＤ：００１」に対応する領域Ｒ１以外の領域（Ｒ２，Ｒ３）に対応する識別情報（「ＩＤ：００２」，「ＩＤ：００３」）が付与された位置データの時系列の変化を分析することによって、正しい識別情報を特定すればよい。なお、データ処理装置１００は、新たに生成した右手首に対応する検出ポイントＰ１の位置データに付与された「ＩＤ：００１」が誤っている場合、誤った識別情報が付与された位置データを、「ＩＤ：００１」が付与されたデータテーブルから削除してもよい。

【0136】

このように、データ処理装置１００は、位置データに付与された識別情報が誤っている場合に、位置データに付与された識別情報を修正するように構成されているため、診療空間に含まれる人物の位置を適切に記録することができる。

【0137】

［データ処理装置のデータ処理］
図１０を参照しながら、実施の形態１に係るデータ処理装置１００が実行するデータ処理について説明する。図１０は、実施の形態１に係るデータ処理装置１００が実行するデータ処理の一例を説明するためのフローチャートである。図１０に示す各ステップ（以下、「Ｓ」で示す。）は、データ処理装置１００の演算装置１０２がデータ処理プログラム１４３を実行することで実現される。なお、データ処理装置１００は、全体カメラ５２によって取得された全体画像データおよび背面カメラ５４によって取得された背面画像データの各々についてデータ処理を実行する。

【0138】

図１０に示すように、電力供給によってデータ処理装置１００が起動した後、データ処理装置１００は、診療の開始が推定される開始推定条件が成立したか否かを判定する（Ｓ１）。開始推定条件は、成立することによって診療が開始したと推定することができる条件であり、データ処理装置１００は、開始推定条件が成立した場合に、Ｓ２以降の処理を実行する。

【0139】

開始推定条件は、チェア１１が非診療位置から診療位置に移動したこと、診療器具の駆動が開始したこと、照明装置１９が点灯したこと、およびベースンユニット１２の駆動が開始したことのうちの少なくとも１つを含む。これらの診療装置１に含まれる各構成の動作は、診療が開始したと推定することができる事象になり得る。たとえば、診療が開始すると、患者がチェア１１に座った状態でチェア１１が非診療位置から診療位置に移動し、歯科医師の操作によって診療器具１５が動作を開始し、照明装置１９が点灯し、さらに、ベースンユニット１２によるコップへの給水が開始する。データ処理装置１００は、通信装置１０１を介して取得した診療関連データに基づき、上述した診療装置１の各構成の動作を認識することができる。

【0140】

データ処理装置１００は、開始推定条件が成立していない場合（Ｓ１でＮＯ）、未だ診療が開始していないと判断して、開始推定条件が成立するまでＳ１の処理を繰り返す。一方、データ処理装置１００は、開始推定条件が成立した場合（Ｓ１でＹＥＳ）、各カメラから時系列で入力される画像データを取得する（Ｓ２）。

【0141】

データ処理装置１００は、取得した画像データを揮発性記憶部１０３に記憶させる（Ｓ３）。データ処理装置１００は、揮発性記憶部１０３に記憶された画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成する（Ｓ４）。このようなＳ３の処理は、「生成処理」の一例である。

【0142】

データ処理装置１００は、位置データを生成したときに用いた画像データが診療が開始（Ｓ１の開始推定条件が成立）してから最初に入力された画像データであるか否かを判定する（Ｓ５）。たとえば、データ処理装置１００は、診療が開始してから全体カメラ５２によって最初に取得された画像データに基づき位置データを生成したか否かを判定する。

【0143】

データ処理装置１００は、位置データを生成したときに用いた画像データが診療が開始（Ｓ１の開始推定条件が成立）してから最初に入力された画像データである場合（Ｓ５でＹＥＳ）、生成した位置データに対して識別情報を付与する（Ｓ６）。このとき、データ処理装置１００は、生成した位置データに対して、当該位置データに対応する人物が含まれる領域に対応する識別情報を付与する。このようなＳ６の処理は、「付与処理」の一例である。

【0144】

データ処理装置１００は、識別情報が付与された位置データを不揮発性記憶部１０４に記憶させる（Ｓ１０）。このようなＳ１０の処理は、「第２記憶処理」の一例である。

【0145】

データ処理装置１００は、診療の終了が推定される終了推定条件が成立したか否かを判定する（Ｓ１１）。終了推定条件は、成立することによって診療が終了したと推定することができる条件である。

【0146】

終了推定条件は、チェア１１が診療位置から非診療位置に移動したこと、診療器具の駆動が終了したこと、照明装置１９が消灯したこと、およびベースンユニット１２の駆動が終了したことのうちの少なくとも１つを含む。これらの診療装置１に含まれる各構成の動作は、診療が終了したと推定することができる事象になり得る。たとえば、診療が終了すると、チェア１１が診療位置から非診療位置に移動し、診療器具１５の動作が終了し、照明装置１９が消灯し、さらに、ベースンユニット１２によるコップへの給水が停止する。データ処理装置１００は、通信装置１０１を介して取得した診療関連データに基づき、上述した診療装置１の各構成の動作を認識することができる。

【0147】

データ処理装置１００は、終了推定条件が成立した場合（Ｓ１１でＹＥＳ）、本データ処理を終了する。一方、データ処理装置１００は、終了推定条件が成立していない場合（Ｓ１１でＮＯ）、Ｓ２の処理に移行して２回目に取得する画像データに対するデータ処理を実行する。

【0148】

具体的には、データ処理装置１００は、Ｓ２において、診療が開始（Ｓ１の開始推定条件が成立）してから２回目に入力された画像データを取得すると、診療が開始（Ｓ１の開始推定条件が成立）してから最初に取得した画像データに上書きして今回取得した２回目の画像データを揮発性記憶部１０３に記憶させる（Ｓ３）。これにより、揮発性記憶部１０３には、常に１つの最新の画像データのみが記憶されることになる。このようなＳ３の処理は、「第１記憶処理」の一例である。

【0149】

データ処理装置１００は、揮発性記憶部１０３に記憶された最新の画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成し（Ｓ４）、位置データを生成したときに用いた画像データが診療が開始（Ｓ１の開始推定条件が成立）してから最初に入力された画像データであるか否かを判定する（Ｓ５）。

【0150】

データ処理装置１００は、位置データを生成したときに用いた画像データが診療が開始（Ｓ１の開始推定条件が成立）してから最初に入力された画像データでない場合（Ｓ５でＮＯ）、位置データの時系列の変化に基づき、位置データに付与された識別情報が誤っているか否かを判定する（Ｓ７）。このようなＳ７の処理は、「判定処理」の一例である。

【0151】

たとえば、上述したように、データ処理装置１００は、新たに生成した最新の位置データに対応する位置と、当該位置データと同じ識別情報が付与された前回の位置データ（たとえば、診療が開始してから最初に取得した画像データに基づき生成した位置データ）に対応する位置とを比較して、両者間の距離を算出する。データ処理装置１００は、算出した距離が予め決められた閾値を超えている場合、新たに生成した位置データに付与された識別情報が誤っていると判断する。

【0152】

データ処理装置１００は、新たに生成した最新の位置データに付与された識別情報が誤っている場合（Ｓ８でＹＥＳ）、新たに生成した最新の位置データに付与された識別情報を修正する（Ｓ９）。このようなＳ９の処理は、「修正処理」の一例である。その後、データ処理装置１００は、識別情報を修正した位置データを不揮発性記憶部１０４に蓄積して記憶させる（Ｓ１０）。

【0153】

また、データ処理装置１００は、新たに生成した最新の位置データに付与された識別情報が誤っていない場合（Ｓ８でＮＯ）、識別情報を修正することなく、新たに生成した最新の位置データを不揮発性記憶部１０４に蓄積して記憶させる（Ｓ１０）。

【0154】

以上のように、データ処理装置１００は、診療中において時系列で取得した画像データに基づき位置データを生成する際に、常に最新の１つの画像データのみを揮発性記憶部１０３に記憶させるため、位置データを生成する際に用いる１つの画像データのみを揮発性記憶部１０３に残すことができる。さらに、診療の終了後にデータ処理装置１００の電源が切断されて揮発性記憶部１０３に対する電力供給がなくなることによって、揮発性記憶部１０３に記憶された最新の１つの画像データも消去されるため、撮影された人物のプライバシーを適切に保護することができる。一方、データ処理装置１００は、診療中に生成した位置データを不揮発性記憶部１０４に蓄積して記憶させるため、診療内容または処置内容を推定モデル１４１に推定するための位置データのみを不揮発性記憶部１０４に蓄積して残すことができる。

【0155】

また、データ処理装置１００は、位置データを生成するたびに、新たに生成した位置データに付与された識別情報が誤っているか否かを判定し、新たに生成した位置データに付与された識別情報が誤っている場合は、新たに生成した位置データに付与された識別情報を修正するため、診療空間に含まれる人物の位置を適切に記録することができる。

【0156】

＜実施の形態２＞
本開示の実施の形態２に係るデータ処理装置２００について、図面を参照しながら詳細に説明する。なお、実施の形態２に係るデータ処理装置２００ついては、実施の形態１に係るデータ処理装置１００と異なる部分を主に説明し、実施の形態１に係るデータ処理装置１００と同じ部分については同一符号を付してその説明は繰り返さない。

【0157】

［データ処理装置の機能構成］
図１１は、実施の形態２に係るデータ処理装置２００の機能構成を示すブロック図である。図１１に示すように、データ処理装置２００は、主な機能部として、入力部１１０１と、データ処理部２１０２と、第１揮発性記憶部２０３と、不揮発性記憶部２０４と、第２揮発性記憶部２０５とを備える。

【0158】

データ処理部２１０２は、演算装置１０２の機能部である。第１揮発性記憶部２０３は、「第１記憶部」の一例であり、実施の形態１に係る揮発性記憶部１０３と同様に、ＲＡＭなどの揮発性メモリデバイスで構成される。不揮発性記憶部２０４は、「第２記憶部」の一例であり、実施の形態１に係る不揮発性記憶部２０４と同様に、ＲＯＭまたはフラッシュメモリなどの不揮発性メモリデバイスで構成される。さらに、第２揮発性記憶部２０５は、「第３記憶部」の一例であり、実施の形態１に係る揮発性記憶部１０３と同様に、ＲＡＭなどの揮発性メモリデバイスで構成される。なお、第２揮発性記憶部２０５は、第１揮発性記憶部２０３と物理的に異なる揮発性メモリデバイスであってもよいし、第１揮発性記憶部２０３と同じ揮発性メモリデバイスに含まれていてもよい。たとえば、１つの揮発性メモリデバイス内の記憶領域が、第１揮発性記憶部２０３に対応する記憶領域と、第２揮発性記憶部２０５に対応する記憶領域とに分かれていてもよい。

【0159】

データ処理部１１０２は、シャッタータイミングに依存する所定のタイミングごとに得られる１つの画像データを入力部１１０１を介して取得すると、当該画像データを第１揮発性記憶部２０３に記憶する。このとき、データ処理部２１０２は、第１揮発性記憶部２０３に既に過去の画像データが記憶されている場合、当該過去の画像データに上書きして今回取得した最新の画像データを第１揮発性記憶部２０３に記憶させる。これにより、第１揮発性記憶部２０３には、常に最新の１つの画像データのみが記憶される。

【0160】

データ処理部２１０２は、第１揮発性記憶部２０３に記憶された最新の画像データに基づき、各領域Ｒ１，Ｒ２，Ｒ３に存在する人物の検出ポイントを特定し、当該検出ポイントの位置データを生成する。

【0161】

データ処理部２１０２は、位置データを生成すると、当該位置データを第２揮発性記憶部２０５に蓄積して記憶させる。このとき、データ処理部２１０２は、診療が開始してから最初に取得した画像データに基づき位置データを生成した場合、生成した位置データに対して各領域Ｒ１，Ｒ２，Ｒ３に対応する識別情報を付与する。

【0162】

データ処理部２１０２は、診療が終了すると、第２揮発性記憶部２０５に蓄積して記憶していた位置データを、不揮発性記憶部２０４にコピーする。

【0163】

第１揮発性記憶部２０３に記憶された診療中の画像データは、第１揮発性記憶部２０３に対する電力供給がなくなることによって、消去される。また、第２揮発性記憶部２０５に蓄積して記憶された位置データは、第２揮発性記憶部２０５に対する電力供給がなくなることによって、消去される。

【0164】

これにより、診療中において時系列で画像データが取得され、当該画像データに基づき位置データが生成される間、常に最新の１つの画像データのみが第１揮発性記憶部２０３に記憶され、さらに、診療の終了後にデータ処理装置１００の電源が切断されて第１揮発性記憶部２０３に対する電力供給がなくなることによって、第１揮発性記憶部２０３に記憶された最新の１つの画像データも消去される。一方、診療が終了すると、第２揮発性記憶部２０５に蓄積して記憶された位置データが不揮発性記憶部２０４に記憶されるため、診療の終了後にデータ処理装置１００の電源が切断されたとしても、不揮発性記憶部２０４には診療中に生成された位置データが蓄積されて保持される。これにより、データ処理装置１００は、撮影された人物のプライバシーを適切に保護しながら、診療内容または処置内容を推定モデル１４１に推定するための位置データのみを不揮発性記憶部２０４に蓄積して残すことができる。

【0165】

また、一般的には、フラッシュメモリなどの不揮発性記憶部１０４は、ＲＡＭなどの第２揮発性記憶部２０５よりも、データの転送速度が遅いため、実施の形態１に係るデータ処理装置１００のように、診療中に時系列で位置データを生成するたびに不揮発性記憶部１０４に位置データを記憶させると、演算装置１０２に対する処理負担が大きくなる。しかしながら、実施の形態２に係るデータ処理装置２００は、診療中においては位置データを第２揮発性記憶部２０５に蓄積して記憶させ、診療が終了した後に第２揮発性記憶部２０５に蓄積して記憶させた位置データを不揮発性記憶部２０４にコピーするため、演算装置１０２に対するデータ転送における処理負担を軽減することができる。

【0166】

［データ処理装置のデータ処理］
図１２を参照しながら、実施の形態２に係るデータ処理装置２００が実行するデータ処理について説明する。図１２は、実施の形態２に係るデータ処理装置２００が実行するデータ処理の一例を説明するためのフローチャートである。図１２に示す各ステップ（以下、「Ｓ」で示す。）は、データ処理装置２００の演算装置１０２がデータ処理プログラム１４３を実行することで実現される。

【0167】

図１２に示すように、データ処理装置２００は、Ｓ１の処理において開始推定条件が成立したと判定し、Ｓ２の処理において各カメラから時系列で入力される画像データを取得すると、取得した画像データを第１揮発性記憶部２０３に記憶させる（Ｓ１０１）。その後、データ処理装置２００は、Ｓ４の処理において、第１揮発性記憶部２０３に記憶された画像データに基づき、診療空間に含まれる人物の位置を示す位置データを生成し、生成した位置データを第２揮発性記憶部２０５に記憶させる（Ｓ１０２）。このようなＳ１０２の処理は、「第３記憶処理」の一例である。

【0168】

データ処理装置２００は、Ｓ１１において終了推定条件が成立したと判定するまで、上述したような処理を繰り返すことによって、時系列で生成した位置データを第２揮発性記憶部２０５に蓄積して記憶させる。

【0169】

データ処理装置２００は、終了推定条件が成立した場合（Ｓ１１でＹＥＳ）、第２揮発性記憶部２０５に蓄積して記憶させた位置データを不揮発性記憶部２０４にコピーして記憶させる（Ｓ１０３）。その後、データ処理装置２００は、本データ処理を終了する。

【0170】

以上のように、データ処理装置２００は、診療中においては、時系列で生成した位置データを不揮発性記憶部２０４に記憶させることなく第２揮発性記憶部２０５に蓄積して記憶させ、終了推定条件が成立した後に第２揮発性記憶部２０５に蓄積して記憶させた位置データを不揮発性記憶部２０４にコピーするため、演算装置１０２に対するデータ転送における処理負担を軽減することができる。

【0171】

＜変形例＞
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。

【0172】

[位置検出について]
図５～図７に示すように、データ処理装置１００は、診療空間において予め領域Ｒ１，Ｒ２，Ｒ３を設定し、画像データに基づき生成した位置データに対して、当該位置データに対応する人物が含まれる領域に関連付けられた識別情報を付与するものであった。しかしながら、このような付与処理に限らず、データ処理装置１００は、画像データに基づき生成した位置データから、ＡＩ（推定モデル１４１）を用いた画像認識によって歯科医師、歯科助手、および患者などの人物を識別し、その識別結果に基づき、位置データに対して人物に対応する識別情報を付与してもよい。歯科診療においては、歯科医師、歯科助手、および患者の各々における診療中の位置および姿勢に一定の法則があるため、ＡＩを用いて位置データに基づき人物を識別することが可能である。

【0173】

なお、診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね服装の色または形が決まっている（たとえば、歯科医師であれば、通常、白衣を着ている）ため、データ処理装置１００は、画像データの撮影画像に映し出された複数の人物の各々の服装に基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。

【0174】

[データ処理装置について]
データ処理装置１００は、ベースンユニット１２に含まれるようにして、診療装置１が備えるものであってもよい。あるいは、データ処理装置１００は、診療装置１とは別体であって、診療装置１に通信可能に接続された院内サーバなどのコンピュータであってもよい。さらに、データ処理装置１００は、診療装置１が設置された診療空間外に設置された院外サーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、データ処理装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像データおよび診療関連データに基づき制御データを生成してもよい。このようにすれば、データ処理装置１００による機械学習の頻度がさらに上がり、データ処理装置１００は、より精度良く制御データを生成することができる。

【0175】

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

【符号の説明】

【0176】

１ 診療装置、２ 患者、３ 歯科医師、４ 歯科助手、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダ、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、３２ 音制御装置、３５ スピーカ、５１ トレーカメラ、５２ 全体カメラ、５３ 患者カメラ、５４ 背面カメラ、１００，２００ データ処理装置、１０１ 通信装置、１０２ 演算装置、１０３ 揮発性記憶部、１０４，２０４ 不揮発性記憶部、１１０ 表示装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１２４ 通信部、１４１ 推定モデル、１４２ 推定プログラム、１４３ データ処理プログラム、２０３ 第１揮発性記憶部、２０５ 第２揮発性記憶部、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３２１ 音制御部、５０１ 撮影部、１０００ データ処理システム、１１０１ 入力部、１１０２，２１０２ データ処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】