IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人大阪大学の特許一覧 ▶ 株式会社モリタ製作所の特許一覧

特開2024-176654画像処理装置、画像処理システム、画像処理方法、画像処理プログラム
<>
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図1
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図2
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図3
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図4
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図5
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図6
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図7
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図8
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図9
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図10
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図11
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図12
  • 特開-画像処理装置、画像処理システム、画像処理方法、画像処理プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176654
(43)【公開日】2024-12-19
(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、画像処理プログラム
(51)【国際特許分類】
   G16H 30/20 20180101AFI20241212BHJP
【FI】
G16H30/20
【審査請求】未請求
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2023095378
(22)【出願日】2023-06-09
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(71)【出願人】
【識別番号】000138185
【氏名又は名称】株式会社モリタ製作所
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】岡 真太郎
(72)【発明者】
【氏名】野▲崎▼ 一徳
(72)【発明者】
【氏名】林 美加子
(72)【発明者】
【氏名】村田 敏夫
(72)【発明者】
【氏名】園部 興一
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
【課題】撮影された人物の同意内容に応じてプライバシーを保護しながら適切に動画データを取り扱う技術を提供する。
【解決手段】画像処理装置100は、歯科用の診療装置1によって診療される患者を撮影することによって得られた動画データが入力される入力部と、動画データの利用に関する患者の同意内容を含む同意内容データ130を記憶する記憶部と、記憶部に記憶された同意内容データ130に応じた画像処理を、動画データに対して実行する演算部とを備える。
【選択図】図5
【特許請求の範囲】
【請求項1】
画像を処理する画像処理装置であって、
歯科用の診療装置によって診療される患者を撮影することによって得られた動画データが入力される入力部と、
前記動画データの利用に関する前記患者の同意内容を含む同意内容データを記憶する記憶部と、
前記記憶部に記憶された前記同意内容データに応じた画像処理を、前記動画データに対して実行する演算部とを備える、画像処理装置。
【請求項2】
前記演算部は、前記入力部に入力された前記動画データに対して前記画像処理を実行したデータを前記記憶部に記憶する、請求項1に記載の画像処理装置。
【請求項3】
前記演算部は、
前記入力部に入力された前記動画データを前記記憶部に記憶し、
前記記憶部に記憶された前記動画データに対して前記画像処理を実行したデータを外部出力する、請求項1に記載の画像処理装置。
【請求項4】
前記演算部は、
歯科診療の開始を推定した場合に、前記患者の認証を行い、
前記認証の結果に基づき、前記患者の前記同意内容を前記記憶部から抽出する、請求項1~請求項3のいずれか1項に記載の画像処理装置。
【請求項5】
前記演算部は、前記動画データに含まれる前記患者の顔の撮影画像に基づき、前記認証を行う、請求項4に記載の画像処理装置。
【請求項6】
前記演算部は、前記入力部から入力された前記患者の音声データに基づき、前記認証を行う、請求項4に記載の画像処理装置。
【請求項7】
前記同意内容データは、前記同意内容として、前記患者のプライバシーの保護のレベルに関する内容を含む、請求項1~請求項3のいずれか1項に記載の画像処理装置。
【請求項8】
前記同意内容データは、前記同意内容として、前記動画データの画像に含まれる少なくとも前記患者の目の形状が不明確になるように前記目を加工すること、前記動画データの画像に含まれる前記目を加工しないこと、前記動画データの画像に前記患者の顔を含まないことのうち、少なくとも1つを含む、請求項7に記載の画像処理装置。
【請求項9】
前記演算部は、前記患者のプライバシーの保護のレベルに応じて、前記動画データの画像に含まれる少なくとも前記患者の目の形状を不明確にする度合いを変更する、または、前記動画データの画像に含まれる少なくとも前記患者の目の位置を中心として、当該目の形状を不明確にする範囲を変更する、請求項7に記載の画像処理装置。
【請求項10】
前記演算部は、前記同意内容データに含まれる前記同意内容と、前記同意内容データに応じて前記画像処理した後の前記動画データに基づく動画とを、ディスプレイに表示させる、請求項1~請求項3のいずれか1項に記載の画像処理装置。
【請求項11】
前記演算部は、前記同意内容データが変更された場合に、変更後の前記同意内容データに応じて、前記記憶部に記憶された前記動画データの画像を修正または削除する、請求項1~請求項3のいずれか1項に記載の画像処理装置。
【請求項12】
前記演算部は、前記同意内容データに応じて、前記記憶部に記憶された前記動画データの画像を暗号化して読み取り不可能にする処理、または、暗号化された前記動画データの画像を復号化して読み取り可能にする処理を実行する、請求項1~請求項3のいずれか1項に記載の画像処理装置。
【請求項13】
前記演算部は、
前記入力部から入力された前記患者の音声データに基づき、前記同意内容を認識し、
認識した前記同意内容を含む前記同意内容データを前記記憶部に記憶させる、請求項1~請求項3のいずれか1項に記載の画像処理装置。
【請求項14】
前記演算部は、認識した前記同意内容と、前記記憶部に記憶された前記同意内容データに含まれる前記同意内容とを照合する、請求項13に記載の画像処理装置。
【請求項15】
画像を処理する画像処理システムであって、
歯科用の診療装置と、
カメラと、
前記診療装置によって診療される患者を前記カメラが撮影することによって得られた動画データに対して、画像処理を実行する画像処理装置とを備え、
前記画像処理装置は、
前記動画データが入力される入力部と、
前記動画データの利用に関する前記患者の同意内容を含む同意内容データを記憶する記憶部と、
前記記憶部に記憶された前記同意内容データに応じた前記画像処理を、前記動画データに対して実行する演算部とを備える、画像処理システム。
【請求項16】
コンピュータによって画像を処理する画像処理方法であって、
前記コンピュータが実行する処理として、
歯科用の診療装置によって診療される患者を撮影することによって得られた動画データを受け取るステップと、
前記動画データの利用に関する前記患者の同意内容を含む同意内容データを記憶するステップと、
前記記憶するステップによって記憶された前記同意内容データに応じた画像処理を、前記動画データに対して実行するステップとを含む、画像処理方法。
【請求項17】
画像を処理する画像処理プログラムであって、
コンピュータに、
歯科用の診療装置によって診療される患者を撮影することによって得られた動画データを受け取るステップと、
前記動画データの利用に関する前記患者の同意内容を含む同意内容データを記憶するステップと、
前記記憶するステップによって記憶された前記同意内容データに応じた画像処理を、前記動画データに対して実行するステップとを実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像を処理する画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【0002】
従来、撮影された人物のプライバシーを保護するために、人物の顔が不明確になるように顔画像に対して画像処理を施す技術が公知である。たとえば、特許文献1は、撮影画像に表される人物の目の部分に略矩形形状のマスク処理を施す画像処理装置を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009-278325号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示された画像処理装置によれば、撮影された人物のプライバシーを保護することが可能である。しかしながら、プライバシーの保護に対する考え方は個人間で異なるため、撮影された人物のプライバシー保護に関する同意内容に応じて、プライバシーを保護しながら適切に動画データを取り扱うことが重要である。
【0005】
本開示は、上記の課題を解決するためになされたものであり、撮影された人物の同意内容に応じてプライバシーを保護しながら適切に動画データを取り扱う技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る画像処理装置は、歯科用の診療装置によって診療される患者を撮影することによって得られた動画データが入力される入力部と、動画データの利用に関する患者の同意内容を含む同意内容データを記憶する記憶部と、記憶部に記憶された同意内容データに応じた画像処理を、動画データに対して実行する演算部とを備える。
【0007】
本開示に係る画像処理システムは、歯科用の診療装置と、カメラと、診療装置によって診療される患者をカメラが撮影することによって得られた動画データに対して、画像処理を実行する画像処理装置とを備える。画像処理装置は、動画データが入力される入力部と、動画データの利用に関する患者の同意内容を含む同意内容データを記憶する記憶部と、記憶部に記憶された同意内容データに応じた画像処理を、動画データに対して実行する演算部とを備える。
【0008】
本開示に係る画像処理方法は、コンピュータが実行する処理として、歯科用の診療装置によって診療される患者を撮影することによって得られた動画データを受け取るステップと、動画データの利用に関する患者の同意内容を含む同意内容データを記憶するステップと、記憶するステップによって記憶された同意内容データに応じた画像処理を、動画データに対して実行するステップとを含む。
【0009】
本開示に係る画像処理プログラムは、コンピュータに、歯科用の診療装置によって診療される患者を撮影することによって得られた動画データを受け取るステップと、動画データの利用に関する患者の同意内容を含む同意内容データを記憶するステップと、記憶するステップによって記憶された同意内容データに応じた画像処理を、動画データに対して実行するステップとを実行させる。
【発明の効果】
【0010】
本開示によれば、歯科用の診療装置によって診療される患者の動画データの利用に関する同意内容に応じて、動画データに対して画像処理が実行されるため、撮影された患者の同意内容に応じてプライバシーを保護しながら適切に動画データを取り扱うことができる。
【図面の簡単な説明】
【0011】
図1】実施の形態1に係る画像処理システムの全体構成を示す模式図である。
図2】全体カメラの撮影画像の一例を説明するための図である。
図3】患者カメラの撮影画像の一例を説明するための図である。
図4】背面カメラの撮影画像の一例を説明するための図である。
図5】実施の形態1に係る画像処理システムの内部構成を示すブロック図である。
図6】同意内容データの一例を説明するための図である。
図7】同意Aに対応する動画の一例を説明するための図である。
図8】同意Bに対応する動画の一例を説明するための図である。
図9】同意Cに対応する動画の一例を説明するための図である。
図10】実施の形態1に係る画像処理装置が実行する画像処理のフローチャートである。
図11】実施の形態2に係る画像処理装置が実行する画像処理のフローチャートである。
図12】実施の形態3に係る画像処理装置が実行する画像処理のフローチャートである。
図13】実施の形態4に係る画像処理装置が実行する画像処理のフローチャートである。
【発明を実施するための形態】
【0012】
<実施の形態1>
本開示の実施の形態1について、図面を参照しながら説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0013】
[画像処理システムの全体構成]
図1図4を参照しながら、実施の形態1に係る画像処理システム1000の全体構成について説明する。図1は、実施の形態1に係る画像処理システム1000の全体構成を示す模式図である。図1に示すように、画像処理システム1000は、診療装置1と、画像処理装置100とを備える。
【0014】
診療装置1は、たとえば、術者が患者に対して歯科の診療を行うためのチェアユニットである。「診療」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の学生、および歯科技工士など、歯科における医療従事者(以下、「術者」とも称する。)によって行われる患者に対する診察および治療の少なくともいずれか1つを含む。実施の形態1においては、診療の内容を「診療内容」とも称する。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含む。本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと(審美治療)を含む。実施の形態1においては、治療の内容を「治療内容」とも称する。「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか1つを含む。術者が患者の歯科に関する病気を治すために行う行動(手当)、および術者が患者の歯の美容や健康を保つために行う行動(手当)を処置とも称し、治療は、1または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。「治療内容」は、1または複数の「処置内容」を含む。
【0015】
治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、診査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。
【0016】
たとえば、根管治療は、う蝕の進行によって歯の根の中の歯髄(神経や血管など)が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。
【0017】
診査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物(クラウン)を被せることを含む処置である。
【0018】
診療装置1は、チェア11と、ベースンユニット12と、トレーテーブル13と、診療器具15を保持する器具ホルダ14と、フットコントローラ16と、ディスプレイ17と、操作パネル18と、照明装置(オペライト)19と、器具制御装置21と、表示制御装置22と、スピーカ35とを備える。
【0019】
チェア11は、診療時に患者が座ったり横たわったりするための診療椅子である。チェア11は、患者の頭を支えるヘッドレスト11aと、患者の背中を支える背もたれ11bと、患者の尾尻を支える座面シート11cと、患者の足を支える足置き台11dとを含む。なお、診療装置1は、チェア11に代えて、患者が横たわる診療台を備えてもよい。
【0020】
ベースンユニット12は、排水口が形成された鉢12aと、コップが載置されるコップ台12bと、コップに給水するための給水栓12cとを含む給水・排水装置である。
【0021】
トレーテーブル13は、診療時の物置台として用いられる。トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)に接続されている。なお、トレーテーブル13は、チェア11またはチェア11が設置された床から延びるアーム(図示は省略する。)によって吊り下げられてもよい。たとえば、トレーテーブル13は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6によって吊り下げられてもよい。術者は、トレーテーブル13をチェア11に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル13の上面にトレー30を置くことがある。トレー30には、患者を診療するための1または複数の診療器具が置かれる。
【0022】
「診療器具」は、ラバーダム防湿一式、ラバーダムシート、根管長測定器、バーセット、ファイル(リーマ)、口角対極、ファールクリップ、ブローチ、洗浄用ニードル、洗浄用シリンジ、仮封材充填器、クレンザー、タービン、ピンセット、バキューム、ミラー、エキスカベーター、探針、および根管材料注入器など、術者によって診療中に用いられる診療用の器具である。なお、診療装置1の器具ホルダ14によって保持される診療器具15も「診療器具」に含まれるが、トレー30には、器具ホルダ14によって保持されない診療器具が主に置かれる。
【0023】
診療器具15は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置21の制御によって駆動する。なお、診療器具15は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、三次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。
【0024】
フットコントローラ16は、術者の足踏み操作を受け付ける複数のスイッチ(ペダル)を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア11の態様を変更する機能をフットコントローラ16のスイッチに対して割り当てることができ、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト11aなどが駆動する。さらに、術者は、診療器具15を駆動する機能をフットコントローラ16のスイッチに対して割り当てることもでき、フットコントローラ16が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置21の制御によって診療器具15が駆動する。なお、術者は、照明装置19の照明および消灯を制御する機能など、フットコントローラ16のスイッチに対してその他の機能を割り当てることもできる。
【0025】
ディスプレイ17は、トレーテーブル13に取り付けられており、表示制御装置22の制御によって各種の画像を表示する。
【0026】
操作パネル18は、チェア11および診療器具15などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア11を動作させるための入力操作を操作パネル18が受け付けると、当該入力操作に基づきチェア11が動作する。たとえば、診療器具15の回転速度などの設定を行うための入力操作を操作パネル18が受け付けると、当該入力操作に基づき診療器具15の回転速度などの設定を行うことができる。
【0027】
照明装置19は、チェア11またはチェア11が設置された床から延びるポール5の上部で分岐するアーム6の先端に設けられている。照明装置19は、照明状態と消灯状態とに切り替えることができ、主に患者の口腔内を中心に光を照射することによって術者による診療をサポートする。術者は、アームを動かすことによって、照明装置19の位置を変更することができる。なお、照明装置19に限らず、ディスプレイ17も、ポール5またはアーム6の先端に取り付けられてもよい。
【0028】
スピーカ35は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。
【0029】
さらに、画像処理システム1000は、マイク60と、ディスプレイ110と、入力装置120とを備える。
【0030】
マイク60は、診療中の患者および術者などの音声を収集する。マイク60によって収集された音声を示す音声データは、画像処理装置100によって取得される。
【0031】
ディスプレイ110は、画像処理装置100に接続されており、画像処理装置100の制御によって各種の画像を表示する。
【0032】
入力装置120は、画像処理装置100に接続されており、術者などのユーザによって各種のデータを画像処理装置100に入力するためのインターフェースである。たとえば、入力装置120は、キーボードまたはマウスなどを含む。なお、入力装置120は、スマートフォン、スマートウォッチ、ウェアラブルデバイス、およびタブレットPCなど、画像処理装置100と通信可能な情報端末であってもよい。
【0033】
上述したように構成された診療装置1を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、画像処理システム1000は、歯科診療中の術者および患者の様子を撮影し、撮影によって得られた画像(以下、「撮影画像」とも称する。)を含む動画データを蓄積して記憶するように構成されている。診療中の動画データを蓄積して残すことで、診療中に生じたアクシデントを記録することができ、また、歯科診療の教材として撮影画像を用いることもできる。
【0034】
具体的には、画像処理システム1000は、ディスプレイ17に取り付けられたトレーカメラ51と、ポール5の上部に取り付けられた全体カメラ52と、照明装置19に取り付けられた患者カメラ53と、チェア11の背後に取り付けられた背面カメラ54とを備える。
【0035】
トレーカメラ51は、トレー30を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ51によって得られた撮影画像を含む動画データ(以下、「トレー動画データ」とも称する。)は、画像処理装置100によって取得される。トレーカメラ51におけるシャッタースピードなどの各種設定は、トレー30に置かれた診療器具の有無、形状、種類、およびトレーカメラ51の撮影領域における診療器具の位置などを画像処理装置100が認識できる程度に予め調整されている。なお、トレーカメラ51は、トレー30を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。
【0036】
全体カメラ52は、診療装置1を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ52は、診療装置1を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ52は、ポール5の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の各々の行動と、診療装置1の動作とを上空から俯瞰して撮影する。
【0037】
図2は、全体カメラ52の撮影画像の一例を説明するための図である。図2に示すように、全体カメラ52によって、診療空間を少なくとも含む領域が撮影される。診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、全体カメラ52の撮影画像には、診療中の術者(歯科医師3または歯科助手4)の行動、患者2の行動、使用されている診療器具の種類、診療器具の位置、および診療装置1の動作などが表される。
【0038】
「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置1など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ52によって得られた撮影画像を含む動画データ(以下、「全体動画データ」とも称する。)は、画像処理装置100によって取得される。全体カメラ52におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置1の動作などを画像処理装置100が認識できる程度に予め調整されている。
【0039】
なお、全体カメラ52は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。全体カメラ52は、診療空間を平面で認識する他に、診療空間を奥行き方向で認識可能なデプスカメラであってもよい。全体カメラ52は、診療空間を全方位で撮影可能な360度カメラであってもよい。さらに、全体カメラ52は、診療空間に存在する撮影対象(たとえば、術者および患者などの人物)を追尾することができるものであってもよい。
【0040】
患者カメラ53は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置19が患者の顔の正面に位置するため、照明装置19に取り付けられた患者カメラ53は、自然と患者の顔を含む領域を正面から撮影することができる。患者カメラ53によって得られた撮影画像を含む動画データ(以下、「患者動画データ」とも称する。)は、画像処理装置100によって取得される。患者カメラ53におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を画像処理装置100が認識できる程度に予め調整されている。
【0041】
図3は、患者カメラ53の撮影画像の一例を説明するための図である。図3に示すように、患者カメラ53によって、患者2の顔を少なくとも含む領域が撮影される。診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、患者カメラ53の撮影画像には、診療中における患者の顔およびその周辺の状況が表される。
【0042】
なお、患者カメラ53は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。患者カメラ53は、口腔周辺の部位と診療器具とにおける奥行き方向(たとえば、患者カメラ53から患者を見る方向)の位置関係を画像処理装置100が検出できるように、全体カメラ52と同様に三次元の位置座標を検出可能であってもよい。
【0043】
背面カメラ54は、診療装置1のチェア11の背面から、チェア11に位置する患者を少なくとも含む領域を動画または静止画で撮影するように配置されている。背面カメラ54によって得られた撮影情報を含む動画データ(以下、「背面動画データ」とも称する。)は、画像処理装置100によって取得される。背面カメラ54におけるシャッタースピードなどの各種設定は、チェア11位置する患者およびチェア11の周辺を画像処理装置100が認識できる程度に予め調整されている。
【0044】
図4は、背面カメラ54の撮影画像の一例を説明するための図である。図4に示すように、背面カメラ54によって、チェア11の背面から、チェア11に位置する患者2を少なくとも含む領域が撮影される。診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、背面カメラ54の撮影画像には、診療中の術者(歯科医師3または歯科助手4)の行動、患者2の行動、使用されている診療器具の種類、診療器具の位置、および診療装置1の動作などが表される。
【0045】
上述したトレー動画データ、全体動画データ、患者動画データ、および背面動画データをまとめて「動画データ」とも称する。なお、「動画データ」という用語は、トレー動画データ、全体動画データ、患者動画データ、および背面動画データの全てを意味する場合もあるが、トレー動画データ、全体動画データ、患者動画データ、および背面動画データのうちの少なくとも1つを意味する場合もある。
【0046】
さらに、画像処理装置100は、診療中の撮影画像などに関するデータと、機械学習がなされたニューラルネットワークを含む推定モデルとを用いて、処置内容ないしは診療内容を推定することができるように構成されている。具体的には、術者においては、患者に対する診療内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられている。しかしながら、歯科医師は、短時間で効率よく患者を診療することも求められているため、診療中に行った処置ないしは治療の内容を、その都度、記録することができない場合もある。近年、AI(Artificial Intelligence)を用いてデータの分析・学習を行い活用するといった技術が生み出されているが、AI技術を用いて歯科における診療内容などを推定することができれば、正確かつ容易に診療内容などを推定することができ、より利便性のある歯科診療を実現することができる。
【0047】
ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー30から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているともいえる。さらに、複数の処置内容の組み合わせから診療内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。
【0048】
たとえば、画像処理装置100は、トレーカメラ51の撮影画像に対応するトレー動画データを画像認識などで分析することで、トレー30に置かれた診療器具の有無、形状、種類、および診療器具の位置などを特定することができる。
【0049】
画像処理装置100は、全体カメラ52の撮影画像に対応する全体動画データを画像認識などで分析することで、診療中の術者の行動、患者の行動、使用されている診療器具の種類、診療器具の位置、および診療装置1の動作などを特定することができる。
【0050】
画像処理装置100は、患者カメラ53の撮影画像に対応する患者動画データを画像認識などで分析することで、診療中の術者の行動、患者の行動、使用されている診療器具の種類、および診療器具の位置などを特定することができる。
【0051】
画像処理装置100は、背面カメラ54の撮影画像に対応する背面動画データを画像認識などで分析することで、診療中の術者の行動、患者の行動、使用されている診療器具の種類、診療器具の位置、および診療装置1の動作などを特定することができる。
【0052】
画像処理システム1000(画像処理装置100)は、トレー動画データ、全体動画データ、患者動画データ、および背面動画データに基づき、トレー30、診療装置1の動作、術者の行動、および患者の行動を、AIを用いて分析・学習することで、処置内容ないしは診療内容を推定するように構成されている。
【0053】
診療内容を推定するためには、診療中の撮影画像を用いて画像処理装置100が備えるニューラルネットワークを含む推定モデルを機械学習させる必要があり、そのためには、テスト用の患者に限らず、ときには実際に歯科診療に訪れた患者の様子を撮影することもある。撮影された患者のプライバシーを保護することは重要であるが、プライバシーの保護に対する考え方は個人で異なる。たとえば、診療中の様子を撮影することに同意する患者もいる一方で、撮影画像にモザイク処理などの画像処理を行うなど個人を特定できない態様であれば撮影に同意する患者もいる。そこで、以下で説明するように、画像処理装置100は、撮影された患者の考えに応じて撮影に関するプライバシーを保護するように構成されている。
【0054】
[画像処理システムの内部構成]
図5を参照しながら、実施の形態1に係る画像処理システム1000の内部構成について説明する。図5は、実施の形態1に係る画像処理システム1000の内部構成を示すブロック図である。図5に示すように、画像処理システム1000は、診療装置1と、画像処理装置100と、複数のカメラ(トレーカメラ51、全体カメラ52、患者カメラ53、背面カメラ54)と、マイク60と、ディスプレイ110と、入力装置120と、サーバ装置200とを備える。
【0055】
診療装置1は、チェア11と、器具制御装置21と、表示制御装置22と、音制御装置32と、ベースンユニット12とを備える。診療装置1の内部において、チェア11、器具制御装置21、表示制御装置22、音制御装置32、およびベースンユニット12の各々は、CAN(Controller Area Network)通信を介してデータの送受信を行うことができる。また、診療装置1は、画像処理装置100との間で、有線または無線のLAN(Local Area Network)通信、たとえばWiFiによる通信を介してデータの送受信を行うことができる。なお、診療装置1は、画像処理装置100との間で、USB(Universal Serial Bus)接続による通信を介してデータの送受信を行ってもよい。
【0056】
チェア11は、ヘッドレスト11aと、背もたれ11bと、座面シート11cと、足置き台11dとを含み、これらの各々は、チェア制御部111の制御に基づき駆動する。具体的には、チェア制御部111は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置100からの制御データを受信すると、当該制御データに基づき、座面シート11cを上昇または下降させたり、ヘッドレスト11a、背もたれ11b、および足置き台11dを座面シート11cに対して垂直方向または水平方向に移動させたりする。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して垂直方向に位置すると、チェア11が起立した態様となる。これにより、患者がチェア11に座った姿勢になる。ヘッドレスト11a、背もたれ11b、および足置き台11dが座面シート11cに対して水平方向に位置すると、チェア11が傾斜した態様となる。これにより、患者がチェア11に横たわり、仰向け姿勢になる。このように、チェア制御部111は、ヘッドレスト11a、背もたれ11b、座面シート11c、および足置き台11dを駆動させてチェア11の姿勢を変更する。
【0057】
器具制御装置21は、器具制御部211を含む。器具制御部211は、フットコントローラ16または操作パネル18によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置100からの制御データを受信すると、当該制御データに基づき、診療器具15の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ16におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置21は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、画像処理装置100が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置21は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。このように、器具制御装置21は、フットコントローラ16または操作パネル18に対する術者の操作に基づき診療器具15の駆動を制御する。
【0058】
表示制御装置22は、ディスプレイ制御部221と、パネル制御部222とを含む。ディスプレイ制御部221は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、ディスプレイ17を制御する。パネル制御部222は、画像処理装置100の制御に基づく制御データを受信すると、当該制御データに基づき、操作パネル18を制御する。
【0059】
音制御装置32は、音制御部321を含む。音制御部321は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、スピーカ35を制御する。
【0060】
ベースンユニット12は、ベースン制御部121と、照明制御部122とを含む。ベースン制御部121は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、ベースンユニット12における給水および排水を制御する。照明制御部122は、画像処理装置100からの制御データを受信すると、当該制御データに基づき、照明装置19の照明および消灯を制御する。
【0061】
上述したチェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、図示しない基板上に実装されたCPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random access memory)などによって構成される。なお、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々は、予め診療装置1に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置1に取り付け可能であってもよい。
【0062】
チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々におけるCAN通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。
【0063】
「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、表示制御装置22、診療器具15、フットコントローラ16、ディスプレイ17、操作パネル18の少なくともいずれか1つにおける過去および現在の少なくとも1つの制御データを含む。たとえば、上述したように、「診療関連データ」は、診療装置1が備えるチェア11、ベースンユニット12、照明装置19、器具制御装置21、表示制御装置22、診療器具15、フットコントローラ16、ディスプレイ17、および操作パネル18の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア11の現在の態様(姿勢および位置など)を特定するためのデータを含んでいてもよい。
【0064】
ベースンユニット12は、診療装置1内のログデータを含む診療関連データを蓄積する蓄積部123と、蓄積部123によって蓄積された診療関連データを通信によって画像処理装置100に出力するための通信部124とを含む。
【0065】
蓄積部123は、チェア制御部111、器具制御部211、ディスプレイ制御部221、パネル制御部222、音制御部321、ベースン制御部121、および照明制御部122の各々との間でCAN通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部123は、図示しない基板上に実装されたROMまたはRAMなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。
【0066】
通信部124は、有線または無線のLAN通信、あるいはUSB接続によって画像処理装置100との間で通信する。なお、蓄積部123がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置100は、通信装置103によって診療装置1の通信部124を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、画像処理装置100は、一時的に記憶する揮発性の記憶媒体を介して、CAN通信に流れている診療関連データを、直接的に取得してもよい。
【0067】
画像処理装置100は、演算装置101と、メモリ102と、通信装置103と、入出力インターフェース104と、記憶装置105とを備える。なお、画像処理装置100は、デスクトップ型のPC(Personal Computer)またはラップトップ型のPCなど、各診療装置1に接続された汎用コンピュータで構成されてもよいし、診療空間内に設置された院内サーバ、または診療空間外に設置された院外サーバで構成されてもよい。
【0068】
演算装置101は、各種のプログラムを実行することで、各種の処理を実行する演算主体(コンピュータ)であり、「演算部」の一例である。演算装置101は、たとえば、CPU(central processing unit)またはMPU(Micro-processing unit)などのプロセッサで構成されている。なお、演算装置101の一例であるプロセッサは、プログラムを実行することによって各種の処理を実行する機能を有するが、これらの機能の一部または全部を、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)などの専用のハードウェア回路を用いて実装してもよい。「プロセッサ」は、CPUまたはMPUのようにストアードプログラム方式で処理を実行する狭義のプロセッサに限らず、ASICまたはFPGAなどのハードワイヤード回路を含み得る。このため、演算装置101の一例である「プロセッサ」は、コンピュータ読み取り可能なコードおよび/またはハードワイヤード回路によって予め処理が定義されている、処理回路(processing circuitry)と読み替えることもできる。なお、演算装置101は、1チップで構成されてもよいし、複数のチップで構成されてもよい。さらに、プロセッサおよび関連する処理回路は、ローカルエリアネットワークまたは無線ネットワークなどを介して、有線または無線で相互接続された複数のコンピュータで構成されてもよい。プロセッサおよび関連する処理回路は、入力データに基づきリモートで演算し、その演算結果を離れた位置にある他のデバイスへと出力するような、クラウドコンピュータで構成されてもよい。
【0069】
メモリ102は、演算装置101が各種のプログラムを実行するにあたって、プログラムコードまたはワークメモリなどを一時的に格納する揮発性の記憶領域(たとえば、ワーキングエリア)を有する。メモリ102の一例としては、DRAM(dynamic random access memory)およびSRAM(static random access memory)などの揮発性メモリが挙げられる。なお、演算装置101は、メモリを含むマイクロコンピュータであってもよい。
【0070】
通信装置103は、有線または無線のLAN通信、あるいはUSB接続によって診療装置1との間で通信することで、診療装置1から診療関連データを取得する。なお、通信装置103は、その他の形式で診療装置1から診療関連データを取得してもよい。たとえば、上述したように、蓄積部123がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置100は、通信装置103によって診療装置1の通信部124を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。さらに、通信装置103は、有線または無線のLAN通信によって、サーバ装置200との間で各種のデータを遣り取りする。たとえば、通信装置103は、複数のカメラ(トレーカメラ51、全体カメラ52、患者カメラ53、背面カメラ54)の各々から取得した動画データ、または、当該動画データに対して画像処理が施された画像処理後の動画データを、サーバ装置200に出力する。
【0071】
入出力インターフェース104は、複数のカメラ(トレーカメラ51、全体カメラ52、患者カメラ53、背面カメラ54)、マイク60、およびディスプレイ110の各々との間で各種のデータを入出力するためのインターフェースであり、「入力部」および「出力部」の一例である。たとえば、入出力インターフェース104は、有線または無線のLAN通信、あるいはUSB接続によって各カメラと通信することで、各カメラから動画データを取得する。なお、入出力インターフェース104は、その他の形式で各カメラから動画データを取得してもよい。たとえば、入出力インターフェース104は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される動画データを取得してもよい。また、入出力インターフェース104は、マイク60と通信することで、収集した診療中の患者および術者などの音声を示す音声データを取得する。さらに、入出力インターフェース104は、ディスプレイ110と通信することで、演算装置101からのディスプレイ110を制御するための制御データをディスプレイ110に出力する。
【0072】
記憶装置105は、演算装置101が実行する各種のプログラムまたは各種のデータなどを格納する不揮発性の記憶領域を有し、「記憶部」の一例である。記憶装置は、1または複数の非一時的コンピュータ可読媒体(non-transitory computer readable medium)であってもよいし、1または複数のコンピュータ読み取り可能な記憶媒体(computer readable storage medium)であってもよい。記憶装置の一例としては、HDD(Hard Disk Drive)およびSSD(Solid State Drive)などが挙げられる。
【0073】
記憶装置105は、同意内容データ130と、画像処理プログラム150とを格納する。なお、図示は省略するが、記憶装置105は、上述した推定モデルを格納してもよい。演算装置101は、各カメラから取得した動画データおよび診療装置1から取得した診療関連データのうちの少なくとも1つを推定モデルに入力することで、推定モデルを用いて患者の診療内容を推定することが可能である。推定モデルは、ニューラルネットワークにおける処理で用いられるパラメータが教師データ(たとえば、動画データおよび診療関連データと、正解データである診療内容とのセット)などに基づいて適正化されることで、患者の診療内容の推定精度を向上させることができる。
【0074】
同意内容データ130は、診療装置1によって診療される患者を撮影することによって得られた動画データの利用に関する患者の同意内容を含む。具体的には、術者は、診療装置1を用いて患者を診療する前に、全体カメラ52、患者カメラ53、および背面カメラ54によって歯科診療中の術者および患者の様子を撮影すること、および当該撮影によって得られた動画データの取り扱いに関するプライバシーの保護について、患者に同意を求める。術者は、入力装置120を用いて、患者との間で同意した内容(同意内容)を画像処理装置100に入力する。このようにして入力された動画データの利用に関する患者の同意内容は、同意内容データ130として記憶装置105に記憶される。
【0075】
画像処理プログラム150は、各カメラから取得した動画データに対して、演算装置101が記憶装置105に記憶された同意内容データ130に応じた画像処理を実行するためのプログラムである。
【0076】
具体的には、演算装置101は、画像処理プログラム150を実行することで、各カメラから取得した動画データを加工することなくそのまま記憶装置105に記憶させたり、サーバ装置200に出力したりする。また、演算装置101は、画像処理プログラム150を実行することで、各カメラから取得した動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶させたり、サーバ装置200に出力したりする。なお、「加工」は、たとえば、少なくとも患者の目を含むパーツにモザイクをかける処理、当該画像をぼかす処理、当該パーツにマスクをかける処理、当該パーツの輝度または照度を低下させる処理、および当該パーツの明るさ(トーン)を変更する処理など、少なくとも患者の目の形状が不明確になるように画像を加工する処理であればいずれの処理も含む。なお、「パーツ」は、少なくとも患者の目(片目または両目)を含んでいればよく、耳、鼻、および眉毛など、その他の患者の部分を含んでいてもよい。さらに、演算装置101は、画像処理プログラム150を実行することで、各カメラから取得した動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを選択して、当該動画データのみを記憶装置105に記憶させたり、サーバ装置200に出力したりする。
【0077】
このように、「画像処理」は、各カメラから取得した動画データを加工することなくそのまま記憶または外部出力すること、各カメラから取得した動画データを加工した上で記憶または外部出力すること、および各カメラから取得した動画データの中から一部の動画データを選択して記憶または外部出力することを含む。なお、「画像処理」のうち、各カメラから取得した動画データを加工する処理には、記憶装置105に記憶された同意内容データ130に応じて加工の度合いが異なる複数の処理が含まれてもよい。たとえば、演算装置101は、記憶装置105に記憶された同意内容データ130に応じて、少なくとも患者の目を含むパーツにかけるモザイクの細かさを異ならせてもよいし、当該パーツの輝度、照度、または明るさ(トーン)を異ならせてもよい。
【0078】
サーバ装置200は、診療空間内に設置された院内サーバ、診療空間外に設置された院外サーバ、または複数の画像処理装置100の各々が通信可能に構成されたクラウドコンピュータである。サーバ装置200は、画像処理装置100から取得した複数のカメラ(トレーカメラ51、全体カメラ52、患者カメラ53、背面カメラ54)の動画データ、または、当該動画データに対して演算装置101によって画像処理が施された画像処理後の動画データを蓄積して記憶する。
【0079】
[同意内容に応じた動画の一例]
図6図9を参照しながら、実施の形態1に係る画像処理装置100によって生成される患者の同意内容に応じた動画の一例について説明する。図6は、同意内容データ130の一例を説明するための図である。図6に示すように、同意内容データ130は、患者IDと、顔認証データと、音声認証データと、同意内容とを含む。
【0080】
患者IDは、画像処理システム1000に登録された患者に対して割り当てられる識別情報であり、術者などのユーザが患者を識別するために用いられる。
【0081】
顔認証データは、画像処理システム1000に登録された患者の顔の撮影画像のデータであり、画像処理装置100が患者を認証するために用いられる。顔認証データは、各患者IDに対応付けられている。なお、患者のプライバシーを保護する観点から、顔認証のための顔認証データを記憶装置105に記憶することについて、術者は予め患者の同意を得ることが好ましい。
【0082】
音声認証データは、画像処理システム1000に登録された患者の音声を示す音声データであり、画像処理装置100が患者を認証するために用いられる。音声認証データは、各患者IDに対応付けられている。なお、患者のプライバシーを保護する観点から、音声認証のための音声認証データを記憶装置105に記憶することについて、術者は予め患者の同意を得ることが好ましい。
【0083】
同意内容は、撮影に関する患者のプライバシーの保護のレベルに関する内容を含む。具体的には、同意内容を識別する識別情報として、同意A、同意B、および同意Cの3種類の識別情報が設けられており、同意内容データ130には、同意A、同意B、および同意Cのうちのいずれかが各患者IDに対応付けられている。
【0084】
同意Aに対応する同意内容は、患者を撮影することによって得られた動画データの画像に含まれる患者の目などを加工(画像処理)しないことを含む。患者が同意Aを選択した場合、画像処理装置100は、各カメラから取得した患者の動画データを、加工することなくそのまま記憶装置105に記憶する。あるいは、画像処理装置100は、各カメラから取得した患者の動画データを、加工することなくそのままサーバ装置200に出力する。サーバ装置200は、画像処理装置100から取得した未加工の動画データを記憶する。
【0085】
また、患者が同意Aを選択した場合、画像処理装置100は、診療中に各カメラから取得した患者の動画データを、加工することなくそのままディスプレイ110に出力する。ディスプレイ110は、画像処理装置100から取得した未加工の動画データに基づき、診療中の動画を表示する。
【0086】
たとえば、図7は、同意Aに対応する動画の一例を説明するための図である。図7に示すように、患者が同意Aを選択した場合、患者が選択した同意内容(この例では同意A)を示す画像とともに、未加工画像モードで診療中の動画がディスプレイ110に表示される。未加工画像モードでは、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54の各々で撮影中の患者および術者の様子が、患者に対してモザイクなどの加工が施されることなくディスプレイ110に表示される。
【0087】
同意Bに対応する同意内容は、患者を撮影することによって得られた動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工することを含む。患者が同意Bを選択した場合、画像処理装置100は、各カメラから取得した患者の動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶する。あるいは、画像処理装置100は、各カメラから取得した患者の動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、サーバ装置200に出力する。サーバ装置200は、画像処理装置100から取得した加工済みの動画データを記憶する。あるいは、画像処理装置100は、各カメラから取得した患者の動画データと同意Bに対応する同意内容を示す同意データとをサーバ装置200に出力する。サーバ装置200は、同意Bの同意内容に基づき、画像処理装置100から取得した患者の動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工し、加工済みの動画データを記憶する。
【0088】
また、患者が同意Bを選択した場合、画像処理装置100は、診療中に各カメラから取得した患者の動画データを加工してディスプレイ110に出力する。ディスプレイ110は、画像処理装置100から取得した加工済みの動画データに基づき、診療中の動画を表示する。
【0089】
たとえば、図8は、同意Bに対応する動画の一例を説明するための図である。図8に示すように、患者が同意Bを選択した場合、患者が選択した同意内容(この例では同意B)を示す画像とともに、加工画像モードで診療中の動画がディスプレイ110に表示される。加工画像モードでは、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54の各々で撮影中の患者および術者の様子がディスプレイ110に表示されるが、患者の目の画像には、当該目の形状が不明確になるように加工が施されている。この例では、患者の目の形状が不明確になるように、患者の目の画像にモザイク画像10が重畳されている。
【0090】
同意Cに対応する同意内容は、患者を撮影することによって得られた動画データの画像に患者の顔を含まないことを含む。患者が同意Cを選択した場合、画像処理装置100は、各カメラから取得した患者の動画データのうち、患者の顔を含まない画像で構成される動画データのみを記憶装置105に記憶し、その他の患者の顔を含む画像で構成される動画データを削除する。あるいは、画像処理装置100は、各カメラから取得した患者の動画データのうち、患者の顔を含まない画像で構成される動画データのみをサーバ装置200に出力し、その他の患者の顔を含む画像で構成される動画データを削除する。サーバ装置200は、画像処理装置100から取得した患者の顔を含まない画像で構成される動画データを記憶する。あるいは、画像処理装置100は、各カメラから取得した患者の動画データと同意Cに対応する同意内容を示す同意データとをサーバ装置200に出力する。サーバ装置200は、同意Cの同意内容に基づき、画像処理装置100から取得した患者の動画データのうち、患者の顔を含まない画像で構成される動画データのみを記憶し、その他の患者の顔を含む画像で構成される動画データを削除する。
【0091】
また、患者が同意Cを選択した場合、画像処理装置100は、診療中に各カメラから取得した患者の動画データのうち、患者の顔を含まない画像で構成される動画データのみをディスプレイ110に出力する。ディスプレイ110は、画像処理装置100から取得した患者の顔を含まない画像で構成される動画データに基づき、診療中の動画を表示する。
【0092】
たとえば、図9は、同意Cに対応する動画の一例を説明するための図である。図9に示すように、患者が同意Cを選択した場合、患者が選択した同意内容(この例では同意C)を示す画像とともに、トレー画像モードで診療中の動画がディスプレイ110に表示される。トレー画像モードでは、トレーカメラ51で撮影中のトレーの様子がディスプレイ110に表示されるが、患者の顔を示す可能性のある全体カメラ52、患者カメラ53、および背面カメラ54で得られる動画はディスプレイ110に表示されない。
【0093】
このように、画像処理装置100は、患者が同意した同意内容に応じて、各カメラの撮影によって得られた患者の動画データに対して画像処理を実行し、画像処理後の動画データを記憶したり、画像処理後の動画データに基づく動画をディスプレイ110に表示したりする。
【0094】
[画像処理装置の画像処理]
図10を参照しながら、画像処理装置100が実行する画像処理について説明する。図10は、実施の形態1に係る画像処理装置100が実行する画像処理のフローチャートである。図10に示す各ステップ(以下、「S」で示す。)は、画像処理装置100の演算装置101が画像処理プログラム150を実行することで実現される。
【0095】
図10に示すように、画像処理装置100は、診療の開始を推定したか否かを判定する(S1)。たとえば、画像処理装置100は、診療装置1から取得した診療関連データに基づき、チェア11の背もたれ11bおよび座面シート11cが診療用の位置に移動したと判定した場合に、診療が開始したと推定する。画像処理装置100は、診療装置1から取得した診療関連データに基づき、照明装置19が点灯したと判定した場合に、診療が開始したと推定してもよい。画像処理装置100は、診療装置1から取得した診療関連データに基づき、エアタービンハンドピースなどの診療器具が作動したと判定した場合に、診療が開始したと推定してもよい。画像処理装置100は、マイク60から取得した音声データに基づき、患者および術者の会話を音声認識し、認識結果に基づき、診療が開始したと推定してもよい。なお、画像処理装置100は、座面シート11cに加わる荷重が所定値以上になったと判定した場合、またはトレーテーブル13の上面に置かれたトレー30に診療器具が置かれたと判定した場合に、診療が開始したと推定するなど、その他の方法によって診療の開始を推定してもよい。
【0096】
画像処理装置100は、診療の開始を推定していない場合(S1でNO)、S1の処理を繰り返す。一方、画像処理装置100は、診療の開始を推定した場合(S1でYES)、診療対象である患者を認証するための認証処理を実行する(S2)。
【0097】
たとえば、画像処理装置100は、全体カメラ52、患者カメラ53、および背面カメラ54のうちの少なくとも1つによって得られた動画データに含まれる患者の撮影画像と、同意内容データ130に含まれる顔認証データとを照合し、診療対象である患者の顔の撮影画像が同意内容データ130に含まれる顔認証データと一致するか否かを判定する。あるいは、画像処理装置100は、マイク60によって取得された診療対象である患者の音声データと、同意内容データ130に含まれる音声認証データとを照合し、診療対象である患者の音声データが同意内容データ130に含まれる音声認証データと一致するか否かを判定する。あるいは、画像処理装置100は、患者が所有するIDカードなどに印刷されているバーコードをカメラなどで読み取ることで患者IDを取得してもよい。
【0098】
画像処理装置100は、認証処理の結果に基づき、診療対象である患者の患者IDが同意内容データ130に登録されているか否かを判定する(S3)。なお、画像処理装置100は、顔認証または音声認証に限らず、その他の方法で診療装置1に導入された患者を認証してもよい。たとえば、院内に設置された別のPCが、セルフ受付などで患者IDを特定した患者の動きを院内の防犯カメラなどで追跡し、当該患者が導入された診療装置1を認識し、当該診療装置1に対応付けられた画像処理装置100に対して、導入された患者の患者IDを通知してもよい。このような方法を用いれば、画像処理装置100は、顔認証または音声認証のためのデータベースを作成することなく患者IDを特定することができるため、顔または声の情報を取得されたくない患者への配慮が可能である。
【0099】
画像処理装置100は、診療対象である患者の患者IDが同意内容データ130に登録されていない場合(S3でNO)、術者などのユーザが入力装置120を用いて入力したデータに基づき、患者の患者IDを同意内容データ130に登録する(S4)。さらに、画像処理装置100は、ユーザが入力装置120を用いて入力したデータに基づき、患者の同意内容を同意内容データ130に登録する(S5)。
【0100】
画像処理装置100は、患者の患者IDおよび同意内容を同意内容データ130に登録した後、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54を用いて診療中の患者および術者などの様子を撮影する(S6)。
【0101】
一方、画像処理装置100は、診療対象である患者の患者IDが同意内容データ130に既に登録されている場合(S3でYES)、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54によって、診療中の患者および術者などの様子を撮影する(S7)。なお、画像処理装置100は、S6またはS7において撮影を開始した後、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54から入力されて取得した動画データを、一旦、揮発性のメモリ102に記憶し、同意内容に応じた画像処理を施した後に画像処理後の動画データを記憶装置105に記憶する。その後、画像処理装置100は、記憶装置105に記憶された同意内容データ130の中から、認証処理の結果に基づき特定した患者の同意内容を抽出する(S8)。
【0102】
画像処理装置100は、S5で登録した同意内容またはS8で抽出した同意内容が同意Aに対応付けられているか否かを判定する(S9)。画像処理装置100は、抽出した同意内容が同意Aに対応付けられている場合(S9でYES)、揮発性のメモリ102に記憶された動画データを、加工することなくそのまま記憶装置105に記憶する(S10)。
【0103】
一方、画像処理装置100は、抽出した同意内容が同意Aに対応付けられていない場合(S9でNO)、S5で登録した同意内容またはS8で抽出した同意内容が同意Bに対応付けられているか否かを判定する(S11)。画像処理装置100は、抽出した同意内容が同意Bに対応付けられている場合(S11でYES)、揮発性のメモリ102に記憶された動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶する(S12)。すなわち、画像処理装置100は、入出力インターフェース104を介して入力された動画データに対して画像処理を実行した後の動画データを、記憶装置105に記憶する。
【0104】
なお、画像処理装置100は、同意内容データに応じて、記憶装置105に記憶された動画データの画像を暗号化して読み取り不可能にする処理、または、暗号化された動画データの画像を復号化して読み取り可能にする処理を実行してもよい。たとえば、画像処理装置100は、抽出した同意内容が同意Bに対応付けられている場合、メモリ102に記憶された未加工の動画データを暗号化して読み取り不可能にロックして記憶装置105に記憶するとともに、当該未加工の動画データを加工して記憶装置105に記憶してもよい。すなわち、記憶装置105には、ロックされた未加工の動画データと、ロックされていない加工済みの動画データとが記憶されてもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Bから同意Aに戻された場合であっても、記憶装置105に記憶された加工済みの動画データを削除するとともに、記憶装置105に記憶された未加工の動画データを復号化して読み取り可能にアンロックすればよい。
【0105】
一方、画像処理装置100は、抽出した同意内容が同意Bに対応付けられていない場合(S11でNO)、S5で登録した同意内容またはS8で抽出した同意内容が同意Cに対応付けられていると判定し、揮発性のメモリ102に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを記憶装置105に記憶する(S13)。なお、その他の患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)は、メモリ102に対する電力供給が遮断されたときに削除される。なお、画像処理装置100は、メモリ102に対する電力供給が継続された状態で、メモリ102に対して削除コマンドを出力することによって、メモリ102に記憶された動画データを削除してもよい。
【0106】
なお、画像処理装置100は、同意内容データに応じて、記憶装置105に記憶された動画データの画像を暗号化して読み取り不可能にする処理、または、暗号化された動画データの画像を復号化して読み取り可能にする処理を実行してもよい。たとえば、画像処理装置100は、抽出した同意内容が同意Cに対応付けられている場合、メモリ102に記憶された動画データのうち、患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を暗号化して読み取り不可能にロックして記憶装置105に記憶するとともに、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを暗号化しない状態で記憶装置105に記憶してもよい。すなわち、記憶装置105には、ロックされた患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)と、ロックされていない患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)とが記憶されてもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Cから同意Bに戻された場合であっても、記憶装置105に記憶された患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を復号化して読み取り可能にアンロックすればよい。
【0107】
画像処理装置100は、S10、S12、またはS13の後、図7図9で示したように、患者の同意内容を示す画像とともに、同意内容に応じたモードで診療中の動画をディスプレイ110に表示する(S14)。
【0108】
画像処理装置100は、診療中において、同意内容の変更があったか否かを判定する(S15)。たとえば、画像処理装置100は、患者の要望に応じて、ユーザが入力装置120を用いて同意内容を変更するためのデータを入力したか否かを判定する。あるいは、画像処理装置100は、マイク60によって収集された術者と患者との間の会話の音声データに基づき、音声認識によって患者が要望する同意内容を認識し、認識した同意内容に応じて、同意内容の変更があったか否かを判定してもよい。さらに、画像処理装置100は、認識した同意内容と、既に同意内容データ130として記憶装置105に記憶された同意内容とを照合し、両者が一致していない場合は、同意内容の変更があったと判定し、両者が一致する場合は、同意内容の変更がないと判定してもよい。
【0109】
画像処理装置100は、同意内容の変更があった場合(S15でYES)、同意内容データ130に含まれる同意内容を変更する(S16)。その後、画像処理装置100は、変更後の同意内容データに応じて、記憶装置105に記憶された動画データに対して画像処理を実行して、当該動画データを編集(修正または削除)する(S17)。
【0110】
たとえば、画像処理装置100は、同意内容データ130に含まれる同意内容が同意Aから同意Bに変更された場合、記憶装置105に記憶された未加工の動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶する。また、画像処理装置100は、同意内容データ130に含まれる同意内容が同意Bから同意Cに変更された場合、記憶装置105に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを記憶装置105に記憶し、その他の患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を削除する。その後、画像処理装置100は、S8の処理に戻る。
【0111】
なお、画像処理装置100は、同意内容データに含まれる同意内容が変更された場合に、変更後の同意内容データに応じて、記憶装置105に記憶された動画データの画像を暗号化して読み取り不可能にする処理、または、暗号化された動画データの画像を復号化して読み取り可能にする処理を実行してもよい。
【0112】
たとえば、画像処理装置100は、同意内容データ130に含まれる同意内容が同意Aから同意Bに変更された場合、記憶装置105に記憶された未加工の動画データを暗号化して読み取り不可能にロックする一方で、当該未加工の動画データを加工して記憶装置105に記憶してもよい。すなわち、記憶装置105には、ロックされた未加工の動画データと、ロックされていない加工済みの動画データとが記憶されてもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Bから同意Aに戻された場合であっても、記憶装置105に記憶された加工済みの動画データを削除するとともに、記憶装置105に記憶された未加工の動画データを復号化して読み取り可能にアンロックすればよい。
【0113】
また、画像処理装置100は、同意内容データ130に含まれる同意内容が同意Bから同意Cに変更された場合、記憶装置105に記憶された動画データのうち、患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を暗号化して読み取り不可能にロックする一方で、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを暗号化しない状態で記憶装置105に記憶してもよい。すなわち、記憶装置105には、ロックされた患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)と、ロックされていない患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)とが記憶されてもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Cから同意Bに戻された場合であっても、記憶装置105に記憶された患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を復号化して読み取り可能にアンロックすればよい。
【0114】
一方、画像処理装置100は、同意内容の変更がない場合(S15でNO)、診療の終了を推定したか否かを判定する(S18)。たとえば、画像処理装置100は、診療装置1から取得した診療関連データに基づき、チェア11の背もたれ11bおよび座面シート11cが非診療用の位置に移動したと判定した場合に、診療が終了したと推定する。画像処理装置100は、診療装置1から取得した診療関連データに基づき、照明装置19が消灯したと判定した場合に、診療が終了したと推定してもよい。画像処理装置100は、診療装置1から取得した診療関連データに基づき、エアタービンハンドピースなどの診療器具が停止したと判定した場合に、診療が終了したと推定してもよい。画像処理装置100は、マイク60から取得した音声データに基づき、患者および術者の会話を音声認識し、認識結果に基づき、診療が終了したと推定してもよい。なお、画像処理装置100は、座面シート11cに加わる荷重が所定値未満になったと判定した場合、またはトレーテーブル13の上面に置かれたトレー30における診療器具が片付けられたと判定した場合に、診療が終了したと推定するなど、その他の方法によって診療の終了を推定してもよい。
【0115】
画像処理装置100は、診療の終了を推定していない場合(S18でNO)、S8の処理に戻る。一方、画像処理装置100は、診療の終了を推定した場合(S18でYES)、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54による撮影を終了するとともに、動画データの記憶装置105における記憶を終了する。その後、画像処理装置100は、本処理フローを終了する。
【0116】
以上のように、実施の形態1に係る画像処理装置100は、診療装置1によって診療される患者の動画データの利用に関する同意内容に応じて、動画データを加工することなくそのまま記憶装置105に記憶したり、動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶したり、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを記憶装置105に記憶したりする。これにより、画像処理装置100は、撮影された患者の同意内容に応じてプライバシーを保護しながら適切に動画データを記憶することができる。さらに、画像処理装置100が自動的に患者の同意内容に応じてプライバシーを保護しながら適切に動画データを記憶するため、ユーザの利便性が向上する。
【0117】
画像処理装置100は、歯科診療の開始を推定した場合に、患者の認証を行い、認証の結果に基づき、記憶装置105に記憶された同意内容データ130の中から、患者の同意内容を抽出するため、ユーザが自ら患者の同意内容を探し出す必要がなく、ユーザの利便性が向上する。さらに、たとえば、複数の術者が1人の患者を異なるタイミングで診療する場合でも、画像処理装置100が自動的に患者の認証を行って、患者の同意内容を抽出するため、複数の術者の間で患者の同意内容を共有することができ、複数の術者が1人の患者に対して何度も同意内容を質問する必要もない。
【0118】
画像処理装置100は、動画データに含まれる患者の顔の撮影画像、患者の音声データ、または患者が所有するIDカードなどに印刷されているバーコードによって示される患者IDに基づき、患者を認証するため、ユーザが自ら患者を認証する必要がなく、ユーザの利便性が向上する。
【0119】
画像処理装置100は、患者の同意内容と、同意内容データに応じて画像処理した後の動画データに基づく動画とを、ディスプレイ110に表示させるため、ユーザは、患者の同意内容に従って動画データが画像処理されていることを確認しながら、診療を行うことができる。これにより、ユーザが記憶された動画データを後から確認する必要がないため、ユーザの利便性が向上する。また、患者は、ディスプレイ110に表示された動画を確認することで、プライバシーが保護されていることに対して安心しながら診療を受けることができる。
【0120】
画像処理装置100は、同意内容データが変更された場合に、変更後の同意内容データに応じて、記憶装置105に記憶された動画データの画像を修正または削除するため、患者の同意内容の変更に従って動画データに対して適切に画像処理を行うことができる。また、画像処理装置100は、診療中であっても、患者の同意内容の変更を受け付けるとともに、変更後の患者の同意内容に従って動画データに対して適切に画像処理を行うことができるため、ユーザの利便性が向上する。
【0121】
<実施の形態2>
本開示の実施の形態2について、図面を参照しながら説明する。なお、以下では、実施の形態2に係る画像処理装置100について、実施の形態1に係る画像処理装置100と異なる部分のみを説明し、実施の形態1に係る画像処理装置100と同じ構成および処理には同じ符号を付して、それらの説明を省略する。
【0122】
図11は、実施の形態2に係る画像処理装置100が実行する画像処理のフローチャートである。図11に示すように、画像処理装置100は、実施の形態1に係る画像処理装置100と同様に、S1~S7の処理を実行する。画像処理装置100は、S6またはS7において撮影を開始した後、動画データの外部出力を受け付けたか否かを判定する(S21)。画像処理装置100は、動画データの外部出力を受け付けていない場合(S21でNO)、S28の処理に移行する。
【0123】
画像処理装置100は、動画データの外部出力を受け付けた場合(S21でYES)、記憶装置105に記憶された同意内容データ130の中から、患者の同意内容を抽出する(S22)。
【0124】
画像処理装置100は、抽出した同意内容が同意Aに対応付けられているか否かを判定する(S23)。画像処理装置100は、抽出した同意内容が同意Aに対応付けられている場合(S23でYES)、揮発性のメモリ102に記憶された動画データを、加工することなくそのまま外部出力する(S24)。たとえば、画像処理装置100は、揮発性のメモリ102に記憶された動画データを、加工することなくそのままサーバ装置200に出力する。サーバ装置200は、画像処理装置100から受け取った動画データを記憶する。なお、「外部出力」は、サーバ装置200に限らず、ディスプレイ110または記憶装置105に動画データを出力することであってもよい。
【0125】
一方、画像処理装置100は、抽出した同意内容が同意Aに対応付けられていない場合(S23でNO)、抽出した同意内容が同意Bに対応付けられているか否かを判定する(S25)。画像処理装置100は、抽出した同意内容が同意Bに対応付けられている場合(S25でYES)、揮発性のメモリ102に記憶された動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、外部出力する(S26)。たとえば、画像処理装置100は、揮発性のメモリ102に記憶された動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、サーバ装置200に出力する。サーバ装置200は、画像処理装置100から受け取った加工済みの動画データを記憶する。なお、「外部出力」は、サーバ装置200に限らず、ディスプレイ110または記憶装置105に動画データを出力することであってもよい。
【0126】
なお、画像処理装置100は、メモリ102に記憶された未加工の動画データを暗号化して読み取り不可能にロックして記憶装置105に記憶するとともに、当該未加工の動画データを加工してサーバ装置200に外部出力してもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Bから同意Aに戻された場合であっても、サーバ装置200に記憶された加工済みの動画データを削除するとともに、記憶装置105に記憶された未加工の動画データを復号化して読み取り可能にアンロックすればよい。
【0127】
一方、画像処理装置100は、抽出した同意内容が同意Bに対応付けられていない場合(S25でNO)、抽出した同意内容が同意Cに対応付けられていると判定し、揮発性のメモリ102に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを外部出力する(S27)。たとえば、画像処理装置100は、揮発性のメモリ102に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみをサーバ装置200に出力する。サーバ装置200は、画像処理装置100から受け取った患者の顔を含まない画像で構成される動画データを記憶する。なお、「外部出力」は、サーバ装置200に限らず、ディスプレイ110または記憶装置105に動画データを出力することであってもよい。なお、その他の患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)は、メモリ102に対する電力供給が遮断されたときに削除される。なお、画像処理装置100は、メモリ102に対する電力供給が継続された状態で、メモリ102に対して削除コマンドを出力することによって、メモリ102に記憶された患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を削除してもよい。
【0128】
なお、画像処理装置100は、メモリ102に記憶された動画データのうち、患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を暗号化して読み取り不可能にロックして記憶装置105に記憶するとともに、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを暗号化しない状態でサーバ装置200に外部出力してもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Cから同意Bに戻された場合であっても、記憶装置105に記憶された患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を復号化して読み取り可能にアンロックすればよい。
【0129】
画像処理装置100は、S24、S26、またはS27の後、同意内容の変更があったか否かを判定する(S28)。画像処理装置100は、同意内容の変更があった場合(S28でYES)、同意内容データ130に含まれる同意内容を変更する(S29)。その後、画像処理装置100は、変更後の同意内容データに応じて、外部出力済みの動画データに対して画像処理を実行して、当該動画データを編集(修正または削除)する(S30)。たとえば、画像処理装置100は、サーバ装置200に記憶された動画データに対して画像処理を実行するための信号をサーバ装置200に出力したり、記憶装置105に記憶された動画データに対して画像処理を実行して、当該動画データを編集(修正または削除)したり、ディスプレイ110に表示された動画データに対して画像処理を実行して、当該動画データを編集(修正または削除)したりする。その後、画像処理装置100は、S21の処理に戻る。
【0130】
なお、実施の形態1と同様に、画像処理装置100は、同意内容データに含まれる同意内容が変更された場合に、変更後の同意内容データに応じて、記憶装置105に記憶された動画データの画像を暗号化して読み取り不可能にする処理、または、暗号化された動画データの画像を復号化して読み取り可能にする処理を実行してもよい。
【0131】
たとえば、画像処理装置100は、画像処理装置100は、同意内容データ130に含まれる同意内容が同意Aから同意Bに変更された場合、記憶装置105に記憶された未加工の動画データを暗号化して読み取り不可能にロックする一方で、当該未加工の動画データを加工してサーバ装置200に外部出力してもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Bから同意Aに戻された場合であっても、サーバ装置200に記憶された加工済みの動画データを削除するとともに、記憶装置105に記憶された未加工の動画データを復号化して読み取り可能にアンロックすればよい。
【0132】
また、画像処理装置100は、同意内容データ130に含まれる同意内容が同意Bから同意Cに変更された場合、記憶装置105に記憶された動画データのうち、患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を暗号化して記憶装置105に記憶する一方で、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを暗号化しない状態でサーバ装置200に外部出力してもよい。このようにすれば、画像処理装置100は、再び同意内容データ130に含まれる同意内容が同意Cから同意Bに戻された場合であっても、記憶装置105に記憶された患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)を復号化して読み取り可能にアンロックすればよい。
【0133】
一方、画像処理装置100は、同意内容の変更がない場合(S28でNO)、診療の終了を推定したか否かを判定する(S31)。画像処理装置100は、診療の終了を推定していない場合(S31でNO)、S21の処理に戻る。一方、画像処理装置100は、診療の終了を推定した場合(S31でYES)、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54による撮影を終了する(S32)。その後、画像処理装置100は、本処理フローを終了する。
【0134】
以上のように、実施の形態2に係る画像処理装置100は、診療装置1によって診療される患者の動画データの利用に関する同意内容に応じて、動画データを加工することなくそのまま外部出力したり、動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、外部出力したり、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを外部出力したりする。これにより、画像処理装置100は、撮影された患者の同意内容に応じてプライバシーを保護しながら適切に動画データを外部出力することができる。さらに、画像処理装置100が自動的に患者の同意内容に応じてプライバシーを保護しながら適切に動画データを外部出力するため、ユーザの利便性が向上する。
【0135】
<実施の形態3>
本開示の実施の形態3について、図面を参照しながら説明する。なお、以下では、実施の形態3に係る画像処理装置100について、実施の形態1に係る画像処理装置100と異なる部分のみを説明し、実施の形態1に係る画像処理装置100と同じ構成および処理には同じ符号を付して、それらの説明を省略する。
【0136】
図12は、実施の形態3に係る画像処理装置100が実行する画像処理のフローチャートである。図12に示すように、画像処理装置100は、実施の形態1に係る画像処理装置100と同様に、S1~S7の処理を実行する。画像処理装置100は、S6またはS7において撮影を開始した後、同意内容の変更があったか否かを判定する(S41)。画像処理装置100は、同意内容の変更があった場合(S41でYES)、同意内容データ130に含まれる同意内容を変更する(S42)。その後、画像処理装置100は、S41の処理に戻る。
【0137】
一方、画像処理装置100は、同意内容の変更がない場合(S41でNO)、診療の終了を推定したか否かを判定する(S43)。画像処理装置100は、診療の終了を推定していない場合(S43でNO)、S41の処理に戻る。一方、画像処理装置100は、診療の終了を推定した場合(S43でYES)、トレーカメラ51、全体カメラ52、患者カメラ53、および背面カメラ54による撮影を終了する(S44)。
【0138】
その後、画像処理装置100は、記憶装置105に記憶された同意内容データ130の中から、患者の同意内容を抽出する(S45)。画像処理装置100は、抽出した同意内容が同意Aに対応付けられているか否かを判定する(S46)。画像処理装置100は、抽出した同意内容が同意Aに対応付けられている場合(S46でYES)、揮発性のメモリ102に記憶された動画データを、加工することなくそのまま記憶装置105に記憶する(S47)。
【0139】
一方、画像処理装置100は、抽出した同意内容が同意Aに対応付けられていない場合(S46でNO)、抽出した同意内容が同意Bに対応付けられているか否かを判定する(S48)。画像処理装置100は、抽出した同意内容が同意Bに対応付けられている場合(S48でYES)、揮発性のメモリ102に記憶された動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶する(S49)。
【0140】
一方、画像処理装置100は、抽出した同意内容が同意Bに対応付けられていない場合(S48でNO)、抽出した同意内容が同意Cに対応付けられていると判定し、揮発性のメモリ102に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを記憶装置105に記憶する(S50)。なお、その他の患者の顔を含む画像で構成される動画データ(たとえば、全体動画データ、患者動画データ、および背面動画データ)は、メモリ102に対する電力供給が遮断されたときに削除される。その後、画像処理装置100は、本処理フローを終了する。なお、画像処理装置100は、メモリ102に対する電力供給が継続された状態で、メモリ102に対して削除コマンドを出力することによって、メモリ102に記憶された動画データを削除してもよい。
【0141】
以上のように、実施の形態3に係る画像処理装置100は、各カメラによる撮影が終了した後、診療装置1によって診療される患者の動画データの利用に関する同意内容に応じて、動画データを加工することなくそのまま記憶装置105に記憶したり、動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、記憶装置105に記憶したり、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを記憶装置105に記憶したりする。これにより、画像処理装置100は、各カメラによる撮影が終了した後、撮影された患者の同意内容に応じてプライバシーを保護しながら適切に動画データを記憶することができる。さらに、画像処理装置100が自動的に患者の同意内容に応じてプライバシーを保護しながら適切に動画データを記憶するため、ユーザの利便性が向上する。
【0142】
<実施の形態4>
本開示の実施の形態4について、図面を参照しながら説明する。なお、以下では、実施の形態4に係る画像処理装置100について、実施の形態1に係る画像処理装置100と異なる部分のみを説明し、実施の形態1に係る画像処理装置100と同じ構成および処理には同じ符号を付して、それらの説明を省略する。
【0143】
図13は、実施の形態4に係る画像処理装置100が実行する画像処理のフローチャートである。前提として、実施の形態4に係る画像処理装置100においては、各カメラによって得られた動画データが加工されることなくそのまま記憶装置105に記憶されている。記憶装置105は、未加工の動画データが外部に流出しないようにセキュリティが確保されている。このような状態において、図13に示すように、画像処理装置100は、記憶装置105に記憶された動画データの外部出力を受け付けたか否かを判定する(S61)。画像処理装置100は、動画データの外部出力を受け付けていない場合(S61でNO)、S61の処理を繰り返す。
【0144】
画像処理装置100は、動画データの外部出力を受け付けた場合(S61でYES)、記憶装置105に記憶された同意内容データ130の中から、外部出力の対象となった動画で示される患者の同意内容を抽出する(S62)。
【0145】
画像処理装置100は、抽出した同意内容が同意Aに対応付けられているか否かを判定する(S63)。画像処理装置100は、抽出した同意内容が同意Aに対応付けられている場合(S63でYES)、記憶装置105に記憶された動画データを、加工することなくそのまま外部出力する(S64)。たとえば、画像処理装置100は、記憶装置105に記憶された動画データを、加工することなくそのままサーバ装置200に出力する。サーバ装置200は、画像処理装置100から受け取った動画データを記憶する。なお、「外部出力」は、サーバ装置200に限らず、ディスプレイ110に動画データを出力することであってもよい。
【0146】
一方、画像処理装置100は、抽出した同意内容が同意Aに対応付けられていない場合(S63でNO)、抽出した同意内容が同意Bに対応付けられているか否かを判定する(S65)。画像処理装置100は、抽出した同意内容が同意Bに対応付けられている場合(S65でYES)、記憶装置105に記憶された動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、外部出力する(S66)。たとえば、画像処理装置100は、記憶装置105に記憶された動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、サーバ装置200に出力する。サーバ装置200は、画像処理装置100から受け取った加工済みの動画データを記憶する。あるいは、画像処理装置100は、記憶装置105に記憶された動画データと同意Bに対応する同意内容を示す同意データとをサーバ装置200に出力する。サーバ装置200は、同意Bの同意内容に基づき、画像処理装置100から取得した動画データを、当該動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工し、加工済みの動画データを記憶する。なお、「外部出力」は、サーバ装置200に限らず、ディスプレイ110に動画データを出力することであってもよい。
【0147】
一方、画像処理装置100は、抽出した同意内容が同意Bに対応付けられていない場合(S65でNO)、抽出した同意内容が同意Cに対応付けられていると判定し、記憶装置105に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを外部出力する(S67)。たとえば、画像処理装置100は、記憶装置105に記憶された動画データのうち、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみをサーバ装置200に出力する。サーバ装置200は、画像処理装置100から受け取った患者の顔を含まない画像で構成される動画データを記憶する。あるいは、画像処理装置100は、記憶装置105に記憶された動画データと同意Cに対応する同意内容を示す同意データとをサーバ装置200に出力する。サーバ装置200は、同意Cの同意内容に基づき、画像処理装置100から取得した患者の動画データのうち、患者の顔を含まない画像で構成される動画データのみを記憶し、その他の患者の顔を含む画像で構成される動画データを削除する。なお、「外部出力」は、サーバ装置200に限らず、ディスプレイ110に動画データを出力することであってもよい。その後、画像処理装置100は、本処理フローを終了する。
【0148】
以上のように、実施の形態4に係る画像処理装置100は、各カメラによる撮影が終了した後、診療装置1によって診療される患者の動画データの利用に関する同意内容に応じて、動画データを加工することなくそのまま外部出力したり、動画データの画像に含まれる少なくとも患者の目の形状が不明確になるように目を加工した上で、外部出力したり、患者の顔を含まない画像で構成される動画データ(たとえば、トレー動画データ)のみを外部出力したりする。これにより、画像処理装置100は、各カメラによる撮影が終了した後、撮影された患者の同意内容に応じてプライバシーを保護しながら適切に動画データを外部出力することができる。さらに、画像処理装置100が自動的に患者の同意内容に応じてプライバシーを保護しながら適切に動画データを外部出力するため、ユーザの利便性が向上する。
【0149】
<変形例>
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。
【0150】
上述した各実施の形態に係る画像処理装置100においては、「画像処理」として、各カメラから取得した動画データを加工することなくそのまま記憶または外部出力すること、各カメラから取得した動画データを加工した上で記憶または外部出力すること、および各カメラから取得した動画データの中から一部の動画データを選択して記憶または外部出力することを例示したが、「画像処理」として、その他の処理を実行してもよい。
【0151】
たとえば、画像処理装置100は、同意内容データに含まれる同意内容で規定される患者のプライバシーの保護のレベルに応じて、各カメラによって得られた動画データの画像に含まれる少なくとも患者の目の形状を不明確にする度合いを変更してもよい。たとえば、画像処理装置100は、同意内容で規定される患者のプライバシーの保護のレベルが第1レベルである場合は、患者のプライバシーの保護のレベルが第1レベルよりも低い第2レベルであるときよりも、少なくとも患者の目を含むパーツにかけるモザイクを細かくしたり、当該パーツの輝度、照度、または明るさ(トーン)を低下させたりしてもよい。
【0152】
また、画像処理装置100は、同意内容データに含まれる同意内容で規定される患者のプライバシーの保護のレベルに応じて、各カメラによって得られた動画データの画像に含まれる少なくとも患者の目の位置を中心として、当該目の形状を不明確にする範囲を変更してもよい。たとえば、画像処理装置100は、同意内容で規定される患者のプライバシーの保護のレベルが第1レベルである場合は、患者のプライバシーの保護のレベルが第1レベルよりも低い第2レベルであるときよりも、患者の目の形状を不明確にする範囲を大きくしてもよい。
【0153】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。
【符号の説明】
【0154】
1 診療装置、2 患者、3 歯科医師、4 歯科助手、5 ポール、6 アーム、10 モザイク画像、11 チェア、11a ヘッドレスト、11b 背もたれ、11c 座面シート、11d 足置き台、12 ベースンユニット、12a 鉢、12b コップ台、12c 給水栓、13 トレーテーブル、14 器具ホルダ、15 診療器具、16 フットコントローラ、17,110 ディスプレイ、18 操作パネル、19 照明装置、21 器具制御装置、22 表示制御装置、30 トレー、32 音制御装置、35 スピーカ、51 トレーカメラ、52 全体カメラ、53 患者カメラ、54 背面カメラ、60 マイク、100 画像処理装置、101 演算装置、102 メモリ、103 通信装置、104 入出力インターフェース、105 記憶装置、111 チェア制御部、120 入力装置、121 ベースン制御部、122 照明制御部、123 蓄積部、124 通信部、130 同意内容データ、150 画像処理プログラム、200 サーバ装置、211 器具制御部、221 ディスプレイ制御部、222 パネル制御部、321 音制御部、1000 画像処理システム。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13