IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社モリタ東京製作所の特許一覧

特開2024-38836診断システム、情報処理装置、および、プログラム
<>
  • 特開-診断システム、情報処理装置、および、プログラム 図1
  • 特開-診断システム、情報処理装置、および、プログラム 図2
  • 特開-診断システム、情報処理装置、および、プログラム 図3
  • 特開-診断システム、情報処理装置、および、プログラム 図4
  • 特開-診断システム、情報処理装置、および、プログラム 図5
  • 特開-診断システム、情報処理装置、および、プログラム 図6
  • 特開-診断システム、情報処理装置、および、プログラム 図7
  • 特開-診断システム、情報処理装置、および、プログラム 図8
  • 特開-診断システム、情報処理装置、および、プログラム 図9
  • 特開-診断システム、情報処理装置、および、プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038836
(43)【公開日】2024-03-21
(54)【発明の名称】診断システム、情報処理装置、および、プログラム
(51)【国際特許分類】
   G16H 30/00 20180101AFI20240313BHJP
【FI】
G16H30/00
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022143153
(22)【出願日】2022-09-08
(71)【出願人】
【識別番号】390011121
【氏名又は名称】株式会社モリタ東京製作所
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100113310
【弁理士】
【氏名又は名称】水戸 洋介
(72)【発明者】
【氏名】吉川 智和
(72)【発明者】
【氏名】宮本 幸治
(72)【発明者】
【氏名】上田 智章
(72)【発明者】
【氏名】阿部 健治
(72)【発明者】
【氏名】佐藤 響子
(72)【発明者】
【氏名】川西 利明
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA26
(57)【要約】
【課題】患部が存在する口腔を撮影した撮影画像を基に患部の状態の推定を行うにあたり、この患部が存在する被検者についての情報の漏洩を起きにくくする。
【解決手段】撮影画像情報出力部202は、撮影画像情報の出力にあたり、まず、画像取得部201が得た撮影画像90を取得し、そして、この撮影画像90を含む情報である撮影画像情報を生成する。撮影画像情報出力部202は、この撮影画像情報に、撮影画像90の他に、例えば、撮影日時についての情報などを含める。その一方で、撮影画像情報出力部202は、この撮影画像情報に、被検者の氏名など、被検者を特定する情報については含まれないようにする。そして、撮影画像情報出力部202は、被検者を特定する情報が含まれていない状態にある撮影画像情報を、外部サーバへ出力する。
【選択図】図4
【特許請求の範囲】
【請求項1】
患部が存在する口腔を撮影した撮影画像を含む情報である撮影画像情報であって、当該患部が存在する被検者を特定する情報を含まない当該撮影画像情報を出力する撮影画像情報出力手段と、
前記撮影画像情報出力手段により出力された前記撮影画像情報に含まれる前記撮影画像を基に、前記患部の状態の推定を行う推定手段と、
前記推定の結果である推定結果が前記撮影画像に付加された画像である付加画像を含む情報である付加画像情報であって、前記被検者を特定する情報を含まない当該付加画像情報を出力する付加画像情報出力手段と、
を備える診断システム。
【請求項2】
前記撮影画像と前記付加画像とを共通の画面に表示する表示手段をさらに備える請求項1に記載の診断システム。
【請求項3】
前記表示手段は、前記撮影画像情報出力手段が設けられた端末装置に設けられ、
前記表示手段は、前記撮影画像と前記付加画像とを前記共通の画面に表示するにあたり、前記撮影画像情報出力手段による前記撮影画像情報の出力が行われる前に前記端末装置に格納された当該撮影画像と、前記付加画像情報出力手段から出力され前記端末装置へ送信された前記付加画像情報に含まれる当該付加画像とを当該共通の画面に表示する請求項2に記載の診断システム。
【請求項4】
前記表示手段は、前記付加画像が生成される前から、前記撮影画像を前記共通の画面に表示する請求項2に記載の診断システム。
【請求項5】
前記表示手段は、前記付加画像が生成される前、前記共通の画面に、当該付加画像が表示される箇所を示す画像である表示箇所画像を表示する請求項4に記載の診断システム。
【請求項6】
前記表示手段は、生成された前記付加画像を、前記表示箇所画像が表示されている箇所に表示する請求項5に記載の診断システム。
【請求項7】
前記表示手段は、前記撮影画像と前記付加画像とを並べて表示する請求項2に記載の診断システム。
【請求項8】
前記推定手段は、前記撮影画像に複数の患部が含まれている場合、当該患部毎に、当該患部の状態の推定を行い、
前記付加画像情報出力手段は、患部毎に前記推定結果が付加された前記付加画像を含む前記付加画像情報を出力する請求項1に記載の診断システム。
【請求項9】
前記推定手段は、前記患部の状態が、特定の状態にあるかの推定を行う請求項1に記載の診断システム。
【請求項10】
患部が存在する口腔を撮影した撮影画像を取得する画像取得手段と、
前記撮影画像を含む情報である撮影画像情報であって、前記患部が存在する被検者を特定する情報を含まない当該撮影画像情報を出力する撮影画像情報出力手段と、
を備える情報処理装置。
【請求項11】
患部が存在する口腔を撮影した撮影画像を含む情報である撮影画像情報であって、当該患部が存在する被検者を特定する情報を含まない当該撮影画像情報を取得する取得手段と、
前記撮影画像情報に含まれる前記撮影画像を基に行われた前記患部の状態の推定の結果が当該撮影画像に付加された画像である付加画像を含む情報である付加画像情報であって、前記被検者を特定する情報を含まない当該付加画像情報を出力する付加画像情報出力手段と、
を備える情報処理装置。
【請求項12】
患部が存在する口腔を撮影した撮影画像を取得する画像取得機能と、
前記撮影画像を含む情報である撮影画像情報であって、前記患部が存在する被検者を特定する情報を含まない当該撮影画像情報を出力する撮影画像情報出力機能と、
をコンピュータに実現させるためのプログラム。
【請求項13】
患部が存在する口腔を撮影した撮影画像を含む情報である撮影画像情報であって、当該患部が存在する被検者を特定する情報を含まない当該撮影画像情報を取得する取得機能と、
前記撮影画像情報に含まれる前記撮影画像を基に行われた前記患部の状態の推定の結果が当該撮影画像に付加された画像である付加画像を含む情報である付加画像情報であって、前記被検者を特定する情報を含まない当該付加画像情報を出力する付加画像情報出力機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断システム、情報処理装置、および、プログラムに関する。
【背景技術】
【0002】
特許文献1には、被検者のデータから取得した病変に関する情報に基づいてデータベースから進行度を取得し、進行度に基づいて病変の医学的重要度を決定する診断支援装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第5456132号
【発明の概要】
【発明が解決しようとする課題】
【0004】
患部が存在する口腔を撮影した撮影画像を基に患部の状態の推定を行うにあたっては、例えば、この撮影画像を、患部の状態の推定を行う外部装置へ出力することで、この患部の状態の推定を行える。
ここで、外部装置へ送信される情報には、撮影画像以外の情報が含まれることも想定され、撮影画像以外のこの情報に、患部が存在する被検者についての情報が含まれると、この情報が含まれない場合に比べ、被検者についての情報が漏洩しやすくなる。
本発明の目的は、患部が存在する口腔を撮影した撮影画像を基に患部の状態の推定を行うにあたり、この患部が存在する被検者についての情報の漏洩を起きにくくすることにある。
【課題を解決するための手段】
【0005】
本発明が適用される診断システムは、患部が存在する口腔を撮影した撮影画像を含む情報である撮影画像情報であって、当該患部が存在する被検者を特定する情報を含まない当該撮影画像情報を出力する撮影画像情報出力手段と、前記撮影画像情報出力手段により出力された前記撮影画像情報に含まれる前記撮影画像を基に、前記患部の状態の推定を行う推定手段と、前記推定の結果である推定結果が前記撮影画像に付加された画像である付加画像を含む情報である付加画像情報であって、前記被検者を特定する情報を含まない当該付加画像情報を出力する付加画像情報出力手段と、を備える診断システムである。
ここで、前記撮影画像と前記付加画像とを共通の画面に表示する表示手段をさらに備えるようにしてもよい。
また、前記表示手段は、前記撮影画像情報出力手段が設けられた端末装置に設けられ、前記表示手段は、前記撮影画像と前記付加画像とを前記共通の画面に表示するにあたり、前記撮影画像情報出力手段による前記撮影画像情報の出力が行われる前に前記端末装置に格納された当該撮影画像と、前記付加画像情報出力手段から出力され前記端末装置へ送信された前記付加画像情報に含まれる当該付加画像とを当該共通の画面に表示するようにしてもよい。
また、前記表示手段は、前記付加画像が生成される前から、前記撮影画像を前記共通の画面に表示するようにしてもよい。
また、前記表示手段は、前記付加画像が生成される前、前記共通の画面に、当該付加画像が表示される箇所を示す画像である表示箇所画像を表示するようにしてもよい。
また、前記表示手段は、生成された前記付加画像を、前記表示箇所画像が表示されている箇所に表示するようにしてもよい。
また、前記表示手段は、前記撮影画像と前記付加画像とを並べて表示するようにしてもよい。
また、前記推定手段は、前記撮影画像に複数の患部が含まれている場合、当該患部毎に、当該患部の状態の推定を行い、前記付加画像情報出力手段は、患部毎に前記推定結果が付加された前記付加画像を含む前記付加画像情報を出力するようにしてもよい。
また、前記推定手段は、前記患部の状態が、特定の状態にあるかの推定を行うようにしてもよい。
【0006】
また、本発明を情報処理装置と捉えた場合、本発明が適用される情報処理装置は、患部が存在する口腔を撮影した撮影画像を取得する画像取得手段と、前記撮影画像を含む情報である撮影画像情報であって、前記患部が存在する被検者を特定する情報を含まない当該撮影画像情報を出力する撮影画像情報出力手段と、を備える情報処理装置である。
他の観点から捉えると、本発明が適用される情報処理装置は、患部が存在する口腔を撮影した撮影画像を含む情報である撮影画像情報であって、当該患部が存在する被検者を特定する情報を含まない当該撮影画像情報を取得する取得手段と、前記撮影画像情報に含まれる前記撮影画像を基に行われた前記患部の状態の推定の結果が当該撮影画像に付加された画像である付加画像を含む情報である付加画像情報であって、前記被検者を特定する情報を含まない当該付加画像情報を出力する付加画像情報出力手段と、を備える情報処理装置である。
【0007】
また、本発明をプログラムと捉えた場合、本発明が適用されるプログラムは、患部が存在する口腔を撮影した撮影画像を取得する画像取得機能と、前記撮影画像を含む情報である撮影画像情報であって、前記患部が存在する被検者を特定する情報を含まない当該撮影画像情報を出力する撮影画像情報出力機能と、をコンピュータに実現させるためのプログラムである。
他の観点から捉えると、本発明が適用されるプログラムは、患部が存在する口腔を撮影した撮影画像を含む情報である撮影画像情報であって、当該患部が存在する被検者を特定する情報を含まない当該撮影画像情報を取得する取得機能と、前記撮影画像情報に含まれる前記撮影画像を基に行われた前記患部の状態の推定の結果が当該撮影画像に付加された画像である付加画像を含む情報である付加画像情報であって、前記被検者を特定する情報を含まない当該付加画像情報を出力する付加画像情報出力機能と、をコンピュータに実現させるためのプログラムである。
【発明の効果】
【0008】
本発明によれば、患部が存在する口腔を撮影した撮影画像を基に患部の状態の推定を行うにあたり、この患部が存在する被検者についての情報の漏洩を起きにくくすることができる。
【図面の簡単な説明】
【0009】
図1】診断システムを示した図である。
図2】端末装置のハードウエアの構成例を示した図である。
図3】外部サーバのハードウエアの構成例を示した図である。
図4】端末装置が有する機能を示した機能ブロック図である。
図5】外部サーバが有する機能を示した機能ブロック図である。
図6】診断システムにて実行される処理の一連の流れを示したフローチャートである。
図7】(A)、(B)は、操作者が撮影画像の選択を行う際の表示部の状態を示した図である。
図8】表示部に表示された表示画面を示した図である。
図9】表示部に表示された表示画面を示した図である。
図10】表示部に表示された表示画面を示した図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1は、本実施形態の診断システム1を示した図である。
本実施形態の診断システム1には、歯科医院に設置される端末装置20と、この端末装置20に対してインターネット回線などの通信回線80を介して接続される外部サーバ10とが設けられている。
端末装置20は、歯科医院毎に設置され、端末装置20は、複数台設けられる。
なお、本実施形態では、端末装置20が歯科医院に設置される場合を一例に説明するが、端末装置20の設置位置は特に制限されず、歯科医院以外の箇所に、端末装置20を設置してもよい。
【0011】
図2は、端末装置20のハードウエアの構成例を示した図である。
端末装置20の各々は、プログラムに従って処理を実行する演算処理部21と、後述する撮影画像等が格納される2次記憶部22と、通信回線80(図1参照)を介して情報の送受信を行う通信部23とを有する。
また、端末装置20の各々は、操作者からの入力操作を受け付ける入力部24と、操作者に対して画像やテキスト情報などを表示する表示部25とを有する。
表示手段の一例としてのこの表示部25は、例えば、液晶ディスプレイパネルや、有機EL(Electro Luminescence)ディスプレイパネルなどにより構成される。
また、2次記憶部22は、例えばHDD(Hard Disk Drive)、半導体メモリ、磁気テープ等、既存の情報記憶装置により実現される。
【0012】
演算処理部21は、プロセッサの一例としてのCPU21aを有する。このCPU21aは、端末装置20の装置全体の制御を行う。
また、演算処理部21は、CPU21aの作業用メモリ等として用いられるRAM21b、CPU21aにより実行されるプログラム等が格納されるROM21cを備える。
また、演算処理部21は、書き換え可能で電源供給が途絶えた場合にもデータを保持できる不揮発性メモリ21d、演算処理部21に接続される通信部23等の各部を制御するインターフェース部21eを備える。
【0013】
不揮発性メモリ21dは、例えば、電池によりバックアップされたSRAMやフラッシュメモリ等で構成される。
2次記憶部22には、撮影画像等が記憶される他、演算処理部21により実行されるプログラムが記憶される。
演算処理部21が、2次記憶部22に格納されたプログラムや、ROM21cに記憶されたプログラムを実行することによって、処理が実行される。
【0014】
入力部24は、ユーザが情報を入力する際に操作するポインティングデバイス等である。
例えば入力部24がマウスの場合、操作者は、カーソルの移動操作やクリック操作を行うことにより、表示部25に表示された表示画面上の位置の指定や、表示部25に表示された画像の指定や移動を行う。
また、入力部24がタッチパネルの場合、操作者は、指等をタッチパネルに接触させる操作や、タッチパネルに接触させた指等を移動させる操作を行う。これにより、操作者は、表示部25に表示された表示画面上の位置の指定や、表示部25に表示された画像の指定や移動を行う。
【0015】
なお、端末装置20にはタッチパネルが設けられている場合もあり、この場合、入力部24と表示部25とが一体となって設けられる形となる。
また、入力部24は、上記のポインティングデバイス等の他に、キーによる入力操作を行うキーボードであってもよい。
【0016】
端末装置20に設けられたCPU21aによって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、端末装置20へ提供しうる。また、CPU21aによって実行されるプログラムは、インターネットなどの通信手段を用いて、端末装置20へ提供してもよい。
【0017】
図3は、外部サーバ10のハードウエアの構成例を示した図である。
外部サーバ10には、プログラムに従って処理を実行する演算処理部11と、後述する撮影画像や付加画像が格納される2次記憶部12と、通信回線80(図1参照)を介して情報の送受信を行う通信部13とを有している。
2次記憶部12は、例えばHDD(Hard Disk Drive)、半導体メモリ、磁気テープ等、既存の情報記憶装置により実現される。
【0018】
演算処理部11には、プロセッサの一例としてのCPU11aが設けられている。このCPU11aは、外部サーバ10の装置全体の制御を行う。
また、演算処理部11は、CPU11aの作業用メモリ等として用いられるRAM11b、CPU11aにより実行されるプログラム等が格納されるROM11cを備える。
また、演算処理部11は、書き換え可能に構成され電源供給が途絶えた場合にもデータを保持できる不揮発性メモリ11d、演算処理部11に接続される通信部13等の各部を制御するインターフェース部11eを備える。
【0019】
不揮発性メモリ11dは、例えば、電池によりバックアップされたSRAMやフラッシュメモリ等で構成される。
また、2次記憶部12には、撮影画像や付加画像が格納される他、演算処理部11により実行されるプログラムが格納される。
本実施形態では、演算処理部11が、2次記憶部12に格納されたプログラムや、ROM11cに格納されたプログラムを実行することによって、処理が実行される。
【0020】
外部サーバ10に設けられたCPU11aによって実行されるプログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、外部サーバ10へ提供しうる。また、CPU11aによって実行されるプログラムは、インターネットなどの通信手段を用いて、外部サーバ10へ提供してもよい。
【0021】
図4は、端末装置20が有する機能を示した機能ブロック図である。
情報処理装置の一例としての端末装置20は、画像取得部201と、撮影画像情報出力部202と、付加画像取得部203と、表示制御部204と、表示部25とを備える。
これらの機能部のうち、画像取得部201、撮影画像情報出力部202、付加画像取得部203、および、表示制御部204は、端末装置20に設けられたプロセッサの一例としてのCPU21a(図2参照)が、2次記憶部22やROM21cに格納されたプログラムを実行することにより実現される。
【0022】
画像取得手段の一例としての画像取得部201は、患部が存在する口腔を撮影した撮影画像90を取得する。言い換えると、画像取得部201は、被検者である患者の口腔の内部を撮影した撮影画像90を取得する。
具体的には、本実施形態では、画像取得部201は、例えば、デジタルカメラ(不図示)により得られこのデジタルカメラから出力される撮影画像90を取得する。
【0023】
デジタルカメラとしては、操作者が手に持って操作を行うデジタルカメラが挙げられる。また、デジタルカメラとしては、患者の口腔に光を照射する照射装置(不図示)に設けられたデジタルカメラなども挙げられる。
歯科医院では、患者の口腔に光を照射する照射装置にデジタルカメラが設置されることがあり、照射装置に設置されたこのデジタルカメラによって、患部の口腔を撮影した撮影画像90が得られる場合もある。
この場合、画像取得部201は、照射装置に設けられたこのデジタルカメラから出力される撮影画像90を取得する。
【0024】
撮影画像90は、デジタルカメラから出力され、有線又は無線による通信によって、端末装置20へ送信される。また、その他に、撮影画像90は、フラッシュメモリなど、情報を格納する情報記録媒体に格納され、この情報記録媒体を介して端末装置20へ提供される場合もある。
これにより、端末装置20の画像取得部201が、デジタルカメラから出力された撮影画像90を取得する。
【0025】
撮影画像情報出力手段の一例としての撮影画像情報出力部202は、画像取得部201が取得した上記の撮影画像90を含む情報である撮影画像情報を出力する。本実施形態では、出力されたこの撮影画像情報は、外部サーバ10(図1参照)へ送信される。
本実施形態では、被検者である患者の氏名など、被検者を特定する情報については、撮影画像情報に含める処理を行わない。
このため、撮影画像情報出力部202は、撮影画像情報の出力にあたり、被検者を特定する情報を含まない撮影画像情報を出力する。
【0026】
撮影画像情報出力部202は、撮影画像情報の出力にあたり、まず、画像取得部201が得た撮影画像90を取得し、そして、この撮影画像90を含む情報である撮影画像情報を生成する。
撮影画像情報出力部202は、この撮影画像情報に、撮影画像90の他に、例えば、撮影日時についての情報や、撮影画像90を取得した機器である上記のデジタルカメラについての情報や、撮影者を識別するための情報や、撮影を行った歯科医院を識別するための情報などを含める。
【0027】
その一方で、撮影画像情報出力部202は、上記の通り、この撮影画像情報に、被検者の氏名など、被検者を特定する情報については含まれないようにする。
そして、撮影画像情報出力部202は、被検者を特定する情報が含まれていない状態にある撮影画像情報を、外部サーバ10へ出力する。
【0028】
撮影画像情報出力部202によって撮影画像情報が外部サーバ10へ出力されると、外部サーバ10が、撮影画像90を含むこの撮影画像情報を取得する。
そして、外部サーバ10では、この撮影画像90を基に、被検者の口腔内にある患部の状態の推定が行われる。そして、外部サーバ10では、この推定の結果が撮影画像90に付加された画像である付加画像が生成される。
【0029】
端末装置20(図4参照)に設けられた、付加画像取得手段の一例としての付加画像取得部203は、外部サーバ10にて生成されたこの付加画像を取得する。
具体的には、本実施形態では、外部サーバ10から端末装置20へ、付加画像を含む情報である付加画像情報が送信され、端末装置20がこの付加画像情報を受信すると、端末装置20の付加画像取得部203が、この付加画像情報に含まれるこの付加画像を取得する。
【0030】
表示制御手段の一例としての表示制御部204は、端末装置20に設けられた表示部25における表示制御を行う。
具体的には、表示制御部204は、撮影画像90と、付加画像取得部203が取得した付加画像とが表示部25に表示されるようにする表示制御を行う。より具体的には、表示制御部204は、撮影画像90と付加画像とが共通の表示画面に表示されるようにする表示制御を行う。
これにより、本実施形態では、表示部25に、撮影画像90と、付加画像取得部203が取得した付加画像とが表示される。本実施形態では、撮影画像90と付加画像とが共通の画面に表示される。
【0031】
図5は、外部サーバ10が有する機能を示した機能ブロック図である。
情報処理装置の一例としての外部サーバ10は、取得部101と、推定部102と、付加画像情報出力部103とを備える。
これらの機能部は、外部サーバ10に設けられたプロセッサの一例としてのCPU11a(図3参照)が、2次記憶部12やROM11cに格納されたプログラムを実行することにより実現される。
【0032】
取得手段の一例としての取得部101は、端末装置20から出力される上記の撮影画像情報を取得する。
この撮影画像情報には、上記の通り、被検者の口腔内を撮影した撮影画像90が含まれる。その一方で、この撮影画像情報には、この被検者を特定する情報は含まれない。
【0033】
推定手段の一例としての推定部102は、取得部101が取得した撮影画像情報に含まれる撮影画像90を基に、患部の状態の推定を行う。
具体的には、本実施形態では、推定部102は、被検者である患者の口腔内に存在する患部の状態が、特定の状態にあるかの推定を行う。
具体的には、本実施形態では、推定部102は、被検者である患者の口腔内に存在する患部の状態が、例えば、口内炎、白板症、口腔がん、良性腫瘍、および、これらの何れにも該当しない、の何れの状態にあるかの推定を行う。
なお、特定の状態として、ここでは、口内炎、白板症、口腔がん、良性腫瘍、および、これらの何れにも該当しない、の5つの状態を挙げたが、この5つの状態は一例であり、患部の状態が、この5つの状態に含まれていない他の状態にあるかの推定を行ってもよい。
また、特定する状態の数についての制限は特に無く、6つ以上の状態の推定を行うようにしてもよいし、5つ未満の状態の推定を行うようにしてもよい。
【0034】
推定部102は、例えば、撮影画像90を基に患部の状態の推定結果を出力するように構成された学習モデルを用いて、患部の状態の推定を行う。
具体的には、この処理を行う場合は、予め、撮影画像90と、この撮影画像90に対するアノテーションとを訓練データに用い、所定の学習アルゴリズムによって予め学習された学習モデルが、外部サーバ10に記憶される。
【0035】
外部サーバ10の推定部102は、撮影画像90をこの学習モデルに与えることによって、この学習モデルから、患部の状態についての情報を取得する。そして、推定部102は、取得したこの情報を、患部の状態の推定結果として出力する。
なお、ここでは、予め用意された学習モデルを用いて推定結果を得る場合を説明したが、推定結果を得るための手法は、これに限られず、既存の公知の他の手法を用いて、推定結果を得るようにしてもよい。
例えば、パターンマッチングによって、撮影画像90に、病変に対応する画像が含まれているかを判断し、この判断の結果を基に、患部の状態についての情報を得てもよい。
【0036】
付加画像情報出力手段の一例としての付加画像情報出力部103は、推定部102による推定の結果が撮影画像90に付加された画像である付加画像を含む情報である付加画像情報であって、被検者を特定する情報を含まない付加画像情報を出力する。
付加画像情報出力部103は、付加画像情報の出力にあたり、まず、推定部102による推定の結果(以下、「推定結果」と称する)を取得する。
そして、付加画像情報出力部103は、端末装置20から送信されてきた上記の撮影画像90に対してこの推定結果を付加し、撮影画像90に対して推定結果が付加された画像である付加画像を生成する。
【0037】
より具体的には、付加画像情報出力部103は、端末装置20から送信されてきた上記の撮影画像90に対して、推定結果を表す画像を合成し、撮影画像90に対して推定結果が付加された画像である付加画像を生成する。
次いで、付加画像情報出力部103は、この付加画像を含む情報である付加画像情報を生成する。ここで、付加画像情報出力部103は、付加画像の他に、例えば、推定部102が得た推定結果や、付加画像情報の送信先である端末装置20(図1参照)を識別するための情報や、上記の歯科医院を識別するための情報などを、付加画像情報に含めるようにする。
一方、付加画像情報出力部103は、被検者の氏名など、被検者を特定する情報については、付加画像情報に含まれないようにする。
これにより、本実施形態では、外部サーバ10では、付加画像を含む情報である付加画像情報であって、被検者を特定する情報が含まれない付加画像情報が生成される。
【0038】
付加画像情報出力部103は、生成したこの付加画像情報を出力する。
付加画像情報出力部103から出力されたこの付加画像情報は、通信回線80を介して端末装置20へ送信される。
そして、本実施形態では、端末装置20の表示部25(図4参照)に、付加画像情報に含まれる付加画像が表示される。
【0039】
診断システム1にて実行される処理の一連の流れを説明する。
図6は、診断システム1にて実行される処理の一連の流れを示したフローチャートである。
本実施形態では、まず、歯科医師等の操作者によって、歯科医院にて、デジタルカメラの操作が行われて、患部が存在する被検者の口腔の撮影が行われる。これにより、端末装置20が設置されている歯科医院にて、撮影画像90が取得される(ステップS101)。
【0040】
次いで、有線通信や無線通信又は情報記録媒体を介して、デジタルカメラから、端末装置20へ、撮影画像90が提供される。そして、本実施形態では、この撮影画像90が、端末装置20に格納される(ステップS102)。
本実施形態では、外部サーバ10への撮影画像情報の送信に先立ち、撮影画像90が端末装置20に格納される。
【0041】
次いで、操作者が、端末装置20に対する操作を行って、撮影画像90の選択を行う(ステップS103)。
図7(A)、(B)は、操作者が撮影画像90の選択を行う際の表示部25の状態を示した図である。
操作者が、端末装置20に対する操作を行って撮影画像90の選択を行う際には、まず、図7(A)に示す画面が、表示部25に表示される。
【0042】
操作者は、この画面に表示されている選択ボタン251に対する操作を行って、対象となる撮影画像90を選択する。なお、図7(A)にて示すこの画面には、前画面に戻る際にユーザが選択を行う戻り用ボタン252が表示されている。この戻り用ボタン252については、後述する、図8図9にて示す画面にも表示される。
操作者が選択ボタン251に対する操作を行うと、図7(B)に示すように、撮影画像90の候補が表示され、操作者は、この候補の中から、対象となる撮影画像90を選択する。
本実施形態では、操作者が選択ボタン251に対する操作を行うと、端末装置20に格納されている撮影画像90が表示され、操作者は、表示されたこの撮影画像90の中から、外部サーバ10への送信を行う撮影画像90を選択する。
【0043】
操作者が、撮影画像90の選択を行うと、選択されたこの撮影画像90が、端末装置20に設けられた2次記憶部22(図2参照)から読み出される。
そして、図8(表示部25に表示された表示画面を示した図)に示すように、表示部25のうちの、予め定められた特定の表示箇所に、読み出されたこの撮影画像90が表示される。具体的には、この例では、表示部25に表示される表示画面の左側に、撮影画像90が表示される。
なお、本実施形態では、画像の再選択のための再選択用ボタン253が表示され、この再選択用ボタン253が操作者により選択されると、図7(B)に示した画面が再び表示され、操作者は、他の撮影画像90の選択を行えるようになる。
【0044】
その後、本実施形態では、操作者が、診断の開始を指示するための操作ボタン254(図8参照)を選択する(ステップS104)。
これにより、本実施形態では、端末装置20にて、上記の撮影画像情報が生成され、さらに、この撮影画像情報が外部サーバ10へ送信される(ステップS105)。なお、撮影画像情報は、暗号化されたうえで外部サーバ10へ送信される。
これにより、外部サーバ10が、撮影画像情報を取得する(ステップS106)。
その後、外部サーバ10の推定部102が、撮影画像情報に含まれる撮影画像90を取得し、取得したこの撮影画像90を基に、患部の状態の推定を行って、推定結果を出力する(ステップS107)。
【0045】
次いで、外部サーバ10では、付加画像情報出力部103が、撮影画像情報に含まれる撮影画像90を取得するとともに、この撮影画像90への推定結果の付加を行い、推定結果が撮影画像90に付加された画像である付加画像を生成する(ステップS108)。
その後、付加画像情報出力部103は、生成したこの付加画像を含む情報である付加画像情報を生成し、生成したこの付加画像情報を、端末装置20へ送信する(ステップS109)。付加画像情報は、暗号化されたうえで端末装置20へ送信される。
これにより、本実施形態では、端末装置20が、付加画像情報を取得し、次いで、この付加画像情報に含まれる付加画像を取得する。
その後、本実施形態では、表示制御部204が、端末装置20の表示部25に付加画像を表示する(ステップS110)。
【0046】
これにより、図9(表示部25に表示された表示画面を示した図)に示すように、端末装置20に設けられた表示部25に、撮影画像90と付加画像92とが表示される。本実施形態では、撮影画像90と付加画像92とが、共通の一つの画面に表示される。
本実施形態では、表示部25は、撮影画像90と付加画像92とを共通の画面に表示するにあたり、撮影画像90については、端末装置20の2次記憶部22(図2参照)から読み出された撮影画像90を表示する。
本実施形態では、上記の通り、外部サーバ10への撮影画像情報の送信に先立ち、撮影画像90が端末装置20の2次記憶部22に格納される。表示部25は、この端末装置20の2次記憶部22に格納されこの2次記憶部22から読み出された撮影画像90を取得して表示する。
【0047】
本実施形態では、撮影画像情報出力部202(図4参照)による撮影画像情報の出力が行われる前に、端末装置20に撮影画像90が格納される。
表示部25は、撮影画像情報出力部202による撮影画像情報のこの出力が行われる前に端末装置20に格納された撮影画像90であって、この格納の後にこの端末装置20から読み出されたこの撮影画像90を取得して表示する。
【0048】
また、表示部25は、撮影画像90と付加画像92とを共通の画面に表示するにあたり、付加画像92については、外部サーバ10の付加画像情報出力部103(図5参照)により出力され端末装置20へ送信された上記の付加画像情報に含まれる付加画像92を表示する。
端末装置20は、付加画像情報出力部103により出力され端末装置20へ送信された付加画像情報に含まれる付加画像92を取得する。そして、本実施形態では、端末装置20が取得したこの付加画像92が、上記の共通の画面に表示される。
【0049】
付加画像92が、表示部25に表示されると、図9に示すように、表示部25に表示される共通の画面に、撮影画像90と付加画像92とが並んだ状態で表示される。
なお、本実施形態では、撮影画像90と付加画像92とが、左右に並んだ状態で表示される場合を示すが、撮影画像90と付加画像92を並べて表示する際の表示形態は特に限定されない。例えば、撮影画像90と付加画像92とが、上下に並んだ状態で表示されるようにしてもよい。
【0050】
本実施形態では、表示部25は、図8に示すように、外部サーバ10にて付加画像92が生成される前から、撮影画像90を表示する。また、本実施形態では、図8に示すように、外部サーバ10にて付加画像92が生成されている最中にも、撮影画像90が表示部25に表示される。
また、本実施形態では、表示部25は、付加画像92が生成される前、図8の符号8Aで示すように、付加画像92が表示される箇所を示す画像である表示箇所画像88を表示する。本実施形態では、表示箇所画像88は、矩形状の画像により構成されている。
これにより、操作者は、表示箇所画像88の表示箇所に画像が表示されておらずこの表示箇所が空である場合、未だ付加画像92が生成されていないと認識する。
表示箇所画像88を表示することで、操作者は、付加画像92が生成されたか否かをより明確に把握できる。
【0051】
本実施形態では、外部サーバ10にて付加画像情報が生成され、端末装置20へこの付加画像情報が送信されると、表示部25は、この付加画像情報に含まれる付加画像92を、図9に示すように、表示箇所画像88により特定される箇所に表示する。
言い換えると、表示部25は、図9に示すように、付加画像92を、表示箇所画像88が表示されている箇所に表示する。
表示箇所画像88の表示箇所に付加画像92が表示されると、図9に示すように、表示部25に表示される表示画面にて、撮影画像90と付加画像92とが並んで表示される。
【0052】
本実施形態のように、撮影画像90と付加画像92とが並んで表示される場合、他の被検者の付加画像92が誤って表示された場合に、歯科医師等が、他の被検者の付加画像92が誤って表示されていることに気づく。
撮影画像90と付加画像92とが並んで表示される場合において、他の被検者の付加画像92が誤って表示されると、撮影画像90と付加画像92とが異なるようになる。この場合、歯科医師等が、他の被検者の付加画像92が誤って表示されていることに気づく。
【0053】
なお、その他に、端末装置20に、撮影画像90と付加画像92との同一性を判断する機能である同一性判断機能を持たせるようにしてもよい。
端末装置20が、この同一性判断機能を有する場合、撮影画像90と付加画像92とが異なっていることを検知でき、上記のように、他の被検者の付加画像92が誤って表示された場合に、歯科医師等に対し、警告等を行えるようになる。
【0054】
同一性判断機能は、公知の手法により実現すればよい。
同一性判断機能は、例えば、撮影画像90を構成する複数の画素の各々の画素値と、付加画像92を構成する複数の画素の各々の画素値との比較を行い、この比較の結果に基づき、撮影画像90と付加画像92とが同一であるか否かを判断する。
同一性判断機能は、画素同士が一致している率が、予め定められた閾値よりも大きい場合、撮影画像90と付加画像92とが同一であると判断し、画素同士が一致している率が、予め定められた閾値よりも小さい場合、撮影画像90と付加画像92とが異なっていると判断する。
【0055】
本実施形態では、図9に示すように、付加画像92として、患部に対して推定結果が対応付けられた状態の画像が表示される。
本実施形態では、撮影画像90のうちの患部が存在する箇所に対して推定結果が表示された状態の画像が、外部サーバ10にて付加画像92として生成される。
そして、端末装置20の表示部25では、撮影画像90のうちの患部が存在する箇所に対して推定結果が表示されたこの付加画像92が表示される。
【0056】
また、本実施形態では、患部が存在する箇所を囲む画像など、患部の位置を示す画像である位置表示画像86が撮影画像90に付加される。
言い換えると、本実施形態では、患部の位置を示す位置表示画像86が撮影画像90に付加された画像が、外部サーバ10にて付加画像92として生成される。
そして、端末装置20の表示部25では、図9に示すように、位置表示画像86が付加された付加画像92が表示される。
【0057】
ここで、本実施形態では、外部サーバ10の推定部102は、撮影画像90に複数の患部が含まれている場合、患部毎に、また、全ての患部について、患部の状態の推定を行う。
そして、この場合、付加画像情報出力部103は、患部毎に推定結果が付加された付加画像92を生成する。
この場合、付加画像情報出力部103は、撮影画像90への推定結果の付加にあたり、撮影画像90のうちの患部が位置する箇所の各々に推定結果が位置するようにして、付加画像92の生成を行う。
【0058】
また、撮影画像90に複数の患部が含まれている場合、付加画像情報出力部103は、患部の各々に対して位置表示画像86を付加して、付加画像92を生成する。
そして、本実施形態では、上記と同様、生成したこの付加画像92を含む付加画像情報が、端末装置20へ送信される。
この場合、端末装置20の表示部25には、図10(表示部25に表示された表示画面の他の一例を示した図)に示すように、複数の患部の各々に対して、また、全ての患部に対して、推定結果、位置表示画像86が付加された付加画像92が表示される。
本実施形態では、複数の患部が存在する場合、患部毎に、推定結果が表示される。
ここで、複数の患部が存在し、患部毎に推定結果が表示される場合において、各患部が同一の状態にある場合、患部の各々に対して、同一の内容の推定結果が対応付けられた状態で表示される。言い換えると、本実施形態では、同一の病変からなる患部が複数存在する場合、患部の各々に対して、同一の内容の推定結果が対応付けられた状態で表示される。
また、複数の患部が存在し、患部毎に推定結果が表示される場合において、各患部の状態が互いに異なる場合、患部の各々に対して、互いに異なる内容の推定結果が対応付けられた状態で表示される。言い換えると、異なる病変からなる患部が複数存在する場合、患部の各々に対して、互いに異なる内容の推定結果が対応付けられた状態で表示される。
また、複数の患部が存在し、患部毎に推定結果が表示される場合において、同一の状態にある複数の患部と、他の状態にある患部とが存在する場合、同一の状態にある複数の患部の各々に対して、同一の内容の推定結果が対応付けられた状態で表示され、他の状態にある患部に対して、この同一の内容とは異なる内容の推定結果が対応付けられた状態で表示される。
【0059】
本実施形態のように、複数の患部の全てについて推定結果が表示される場合、治療の効率化等を図れる。
複数の患部の全てについて推定結果が表示される場合、一の患部についてはその場(歯科医院)での処置を行えるようになり、また、他の患部については、高次の医療機関への紹介を行えるようになる。
より具体的には、例えば、一部の患部が口内炎である場合には、歯科医院にて、この一の患部に対してレーザー治療を施すことができるようになり、口腔がん等の状態にある他の患部については、高次の医療機関への紹介を行えるようになる。
【0060】
複数の患部のうちの1つの患部のみについて、推定結果が表示される場合、例えば、口内炎の処置が歯科医院では行われないようになったり、口腔がんに対する処置が歯科医院にて行われるようになったりするおそれがある。
より具体的には、例えば、1つの患部のみについて推定結果が表示される場合において、口腔がん等の状態にある患部についての1つの推定結果が表示される場合、口内炎の状態にある他の患部があったとしても、この他の患部についての処置は行われないようになる。
【0061】
また、例えば、1つの患部のみについて推定結果が表示される場合において、例えば、口内炎の状態にある患部についての1つの推定結果が表示される場合、他の患部についての状態については分からないため、この他の患部の状態が、口腔がん等の状態にあったとしても、この他の患部に対する処置が歯科医院にて行われてしまうおそれもある。
これに対し、本実施形態のように、複数の患部の全てについて推定結果が表示される場合、歯科医院にて処置可能な患部についてはその場での処置を行えるようになり、また、口腔がん等の状態にある患部については、歯科医院での処理が行われないようになり、高次の医療機関での処理が行われるようになる。
【0062】
なお、本実施形態では、付加画像92において、推定結果が、テキスト形式で表示される場合を一例に説明したが、付加画像92における推定結果の表示は、テキスト形式によるものに限られない。
推定結果を表す画像の色や形状を変えることで、付加画像92における推定結果の表示が行われるようにしてもよい。
【0063】
また、上記では説明を省略したが、図9図10にて示す画面では、結果の保存の指示を操作者から受け付けるための保存用ボタン258が表示されている。
本実施形態では、この保存用ボタン258が操作者により選択されると、撮影画像90と付加画像92とが、互いに対応付けられた状態で、端末装置20に格納される。
【0064】
また、上記では、付加画像92が外部サーバ10にて生成される場合を一例に説明したが、付加画像92は、端末装置20にて生成してもよい。
付加画像92を端末装置20にて生成する場合は、外部サーバ10から端末装置20へ、推定結果および患部の位置を示す情報を送信する。
そして、端末装置20では、これらの情報を基に、推定結果を示す画像および位置表示画像86を、2次記憶部22(図2参照)から読み出した撮影画像90に付加して、付加画像92を生成する。
【0065】
また、上記では、外部サーバ10として、1つの外部サーバ10が設けられた場合を一例に説明したが、外部サーバ10として、複数のサーバを設けるようにし、外部サーバ10にて実行される上記の処理を、複数のサーバで分散して実行してもよい。
例えば、上記の患部の状態の推定を行う処理については、端末装置20からの撮影画像情報を受信するサーバとは異なるサーバで行うようにし、この異なるサーバにて、患部の状態の推定を行うようにしてもよい。
【0066】
また、上記の外部サーバ10以外の他の外部サーバを追加で設けるようにしてもよい。
例えば、診断システム1を利用する歯科医院の各々への課金のための情報である課金情報を管理する管理用サーバを追加で設け、この管理用サーバにて、歯科医院の各々への課金に用いられる課金情報を生成してもよい。
【符号の説明】
【0067】
1…診断システム、10…外部サーバ、20…端末装置、25…表示部、88…表示箇所画像、90…撮影画像、92…付加画像、101…取得部、102…推定部、103…付加画像情報出力部、201…画像取得部、202…撮影画像情報出力部、203…付加画像取得部、204…表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10