特開 2023-65876 モバイルに基づく自己口腔検診装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023065876

(43)【公開日】2023-05-15

(54)【発明の名称】モバイルに基づく自己口腔検診装置

(51)【国際特許分類】

   G16H 10/00 20180101AFI20230508BHJP

   G16H 30/00 20180101ALI20230508BHJP

【ＦＩ】

G16H10/00

G16H30/00

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021176267

(22)【出願日】2021-10-28

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】521165404

【氏名又は名称】キュウティーティー カンパニー

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】ゴ，テ ヨン

(72)【発明者】

【氏名】ジャン，ワン ホ

(72)【発明者】

【氏名】ハン，ゾン グ

(72)【発明者】

【氏名】ヤン，ヒ ヨン

(72)【発明者】

【氏名】チェ，ジェ ユ

(72)【発明者】

【氏名】ムン，ジ ス ミ

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

5L099AA26

(57)【要約】

【課題】
モバイルアプリを用いて、ユーザが容易に自己口腔検診をして口腔状態を点検し、家族の口腔も管理できるようにしたモバイルに基づく自己口腔検診装置を提供する。
【解決手段】ユーザ端末でユーザの口腔画像を補正した後、補正した口腔画像を提供し、口腔検診診断を要請し、口腔管理サービスサーバは、ユーザ端末から提供される口腔画像を転送して、口腔検診診断を要請し、口腔検診診断結果をユーザに転送し、口腔健康管理サーバは、転送された口腔画像を診断して口腔健康情報を生成し、生成した口腔健康情報を暗号化して、口腔検診診断結果として、口腔管理サービスサーバに転送することで、口腔画像により、リアルタイムで口腔診断が可能であり、モバイルに基づく口腔検診アプリを用いて、家族の口腔管理も統合的に行うことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

口腔写真を人工知能アルゴリズムで分析して、口腔健康を診断する装置であって、
ユーザの口腔画像を補正した後、前記補正した口腔画像を提供し、口腔検診診断を要請するユーザ端末と、
前記ユーザ端末から提供される前記補正した口腔画像を転送して、口腔検診診断を要請し、口腔検診診断結果を前記ユーザに転送する口腔管理サービスサーバと、
前記口腔管理サービスサーバから転送された口腔画像を診断して、口腔健康情報を生成し、前記生成した口腔健康情報を暗号化して、口腔検診診断結果として前記口腔管理サービスサーバに転送する口腔健康管理サーバとを含み、
前記口腔健康管理サーバは、受信した口腔写真を、人工知能アルゴリズムであるＣＮＮアルゴリズムで学習して、写真の分析可能可否、矯正可否、及び抜歯可否を判断し、判断した結果情報を個体探知で分析して、歯牙う蝕状態情報及び補綴物状態情報を取得し、取得した前記歯牙う蝕状態情報及び前記補綴物状態情報を、ＡＮＮアルゴリズムで学習して、口腔健康状態を判定する口腔健康演算部と、前記口腔健康演算部で判定した前記口腔健康情報を、前記口腔検診診断結果として生成し、前記生成した口腔検診診断結果を暗号化して、前記ユーザ端末に転送する口腔健康情報提供部と、を含むことを特徴とするモバイルに基づく自己口腔検診装置。

【請求項2】

前記ユーザ端末、前記口腔管理サービスサーバ、及び前記口腔健康管理サーバは、前記暗号化された口腔検診診断結果の送受信により、ハッキングによる資料漏出時にも、保安性を向上することを特徴とする請求項１に記載のモバイルに基づく自己口腔検診装置。

【請求項3】

前記口腔健康管理サーバは、前記口腔検診診断結果の転送に際して、ユーザ端末ＩＤとユーザ情報を用いたアクセストークンを用いて、アクセス対象の権限を制限することで、保安性を向上することを特徴とする請求項１に記載のモバイルに基づく自己口腔検診装置。

【請求項4】

前記ユーザ端末は、撮影された口腔画像の写真を口腔健康検診対象画像として入力する写真入力部と、前記写真入力部で入力された口腔画像を補正して鮮明度を高める写真補正部と、前記写真補正部により補正された口腔画像を前記口腔管理サービスサーバに転送して、口腔健康診断を要請し、受信した口腔検診診断結果を画面にディスプレイし、前記ユーザのキー入力による要請に応じて、病院予約又は家族口腔管理をサービスする口腔管理サービス処理部とを含むことを特徴とする請求項１に記載のモバイルに基づく自己口腔検診装置。

【請求項5】

更に、前記ユーザ端末は、口腔検診問診に対する前記ユーザの返答情報を用いて、問診応答情報を生成する問診応答部を含むことを特徴とする請求項４に記載のモバイルに基づく自己口腔検診装置。

【請求項6】

前記口腔管理サービス処理部は、前記ユーザが検診モードより簡便検診を選択すると、前記写真補正部により補正された口腔画像とユーザ個人情報のみを用いて、口腔検診診断を要請し、前記ユーザが検診モードより一般検診を選択すると、前記写真補正部により補正された口腔画像と、前記問診応答部で生成した問診応答情報、及びユーザ個人情報を用いて、口腔検診診断を要請することを特徴とする請求項５に記載のモバイルに基づく自己口腔検診装置。

【請求項7】

前記口腔健康演算部は、前記ユーザ端末から転送された口腔写真を、口腔検診診断対象として登録する写真登録部と、前記写真登録部に登録された画像を、ＣＮＮアルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断した結果情報を個体探知で分析して、前記歯牙う蝕状態情報及び前記補綴物状態情報を取得し、取得した矯正可否情報及び抜歯可否情報と、前記歯牙う蝕状態情報及び前記補綴物状態情報を、ＡＮＮアルゴリズムで学習して、口腔健康状態を判定する口腔診断部と、を含むことを特徴とする請求項１に記載のモバイルに基づく自己口腔検診装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モバイルに基づく自己口腔検診装置に係り、より詳しくは、モバイルアプリを用いて、ユーザが容易に自己口腔検診をして口腔状態を点検し、家族の口腔も管理できるようにしたモバイルに基づく自己口腔検診装置に関する。

【背景技術】

【0002】

口腔疾患は、適切な予防治療及び管理維持により、高い予防効果を得られるが、多くの口腔疾患患者は、口腔健康に問題が生じない限り、医者の診断又は治療を依頼しないなど、未だは、口腔予防に対して認識が不足な実情である。

【0003】

また、患者の現口腔状態を予測することに当たり、歯科医者者の主観的な見解ではなく、精度高い検査及び診断結果と、それによる客観的な数値情報が必要であるが、口腔の健康状態を客観的に算出するシステムが無い状況である。

【0004】

口腔の疾患は、大きく虫歯（歯牙う蝕）と歯周病を意味する。特に、歯周炎と歯肉炎を意味する歯周病は、初期に痛みがなく、慢性的に進行するため、発見が遅くなることで、歯周病を事前に予防することは、非常に難しい状況である。

【0005】

そこで、このような口腔疾患の状態を予め診断し、これを基に、口腔健康の増進及び口腔疾患の予防のための様々な方法が研究及び提案されており、このような研究を基に、従来に提案された技術が、下記の特許文献１乃至特許文献３に開示されている。

【0006】

特許文献１は、ユーザ端末機から、ユーザの性別、年齢、歯周病、及び目標設定情報の少なくとも１つに関する情報を含むユーザ条件情報と、ユーザの加盟医療機関での治療情報とを入力される。合わせて、口腔管理用品加盟店から、口腔管理用品に関する情報が入力される。以後、ユーザの条件情報及び治療情報に対応する特定のカテゴリーに含まれる特定の口腔管理用品の情報をユーザ端末機に提供して、ユーザに適した口腔管理サービスを提供する。

【0007】

また、特許文献２は、患者の口腔状態を検診し、患者の口腔検診資料を含む口腔検診指数算定基準データ、居住地及び年齢情報をビッグデータ化した後、これを分析して、現時点で患者の居住地及び年齢により、口腔検診指数算定基準データが口腔健康に及ぶ影響力を判断する。ついで、口腔検診指数算定基準データに加重値を付与して、口腔検診指数算定のための基準データを数値化して、口腔健康を管理する。

【0008】

また、特許文献３は、ユーザ個人情報、ユーザの口腔衛生行動データ及び口腔問診データ、ユーザが専門医療機関を訪問して生成した口腔検診データを収集する。このように収集したそれぞれの情報を統合分析して、ユーザの口腔疾患の危険度を評価し、個人に適したサービスを提供する。

【0009】

しかし、前記のような従来の口腔疾患管理システムは、ユーザの個人情報や口腔データ及び問診データ、専門医療機関で生成した口腔検診データを分析して、口腔疾患管理情報を生成する方式であって、リアルタイム性に劣り、現ユーザの口腔画像を分析する方式ではないので、口腔疾患の分析に正確性に劣るという不都合がある。

【0010】

また、従来技術は、ユーザがリアルタイムで自分の歯周病状態を認知することも難しい。

【0011】

更に、従来技術は、家族の口腔管理を統合的に管理することができない。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】大韓民国公開特許１０－２０１７－００５０４６７

【特許文献2】大韓民国登録特許１０－１８６８９７９

【特許文献3】大韓民国登録特許１０－１７８８０３０

【発明の概要】

【発明が解決しようとする課題】

【0013】

そこで、本発明の目的は、前記のような従来技術の諸問題点を解決し、モバイルアプリを用いて、ユーザが容易に自己口腔検診をして口腔状態を点検し、また、家族の口腔も管理できるようにしたモバイルに基づく自己口腔検診装置を提供することである。

【課題を解決するための手段】

【0014】

前記したような目的を達成するために、本発明によるモバイルに基づく自己口腔検診装置は、ユーザの口腔画像を補正した後、前記補正した口腔画像を提供し、口腔検診診断を要請するユーザ端末と、前記ユーザ端末から提供される前記補正した口腔画像を転送して、口腔検診診断を要請し、口腔検診診断結果を前記ユーザに転送する口腔管理サービスサーバと、前記口腔管理サービスサーバから転送された口腔画像を診断して、口腔健康情報を生成し、前記生成した口腔健康情報を暗号化して、口腔検診診断結果として前記口腔管理サービスサーバに転送する口腔健康管理サーバとを含むことを特徴とする。

【0015】

前記において、前記ユーザ端末、前記口腔管理サービスサーバ、及び前記口腔健康管理サーバは、暗号化された口腔検診診断結果の送受信により、ハッキングによる資料の漏出時にも、保安性を向上する。

【0016】

また、前記口腔健康管理サーバは、前記口腔検診診断結果の転送に際して、ユーザ端末ＩＤとユーザ情報を用いたアクセストークン（ａｃｃｅｓｓ ｔｏｋｅｎ）を用いて、アクセス対象の権限を制限することで、保安性を向上する。

【0017】

前記ユーザ端末は、撮影された口腔画像の写真を口腔健康検診対象画像として入力する写真入力部と、前記写真入力部で入力された口腔画像を補正して鮮明度を高める写真補正部と、前記写真補正部により補正された口腔画像を前記口腔管理サービスサーバに転送して、口腔健康診断を要請し、受信した口腔検診診断結果を画面にディスプレイし、前記ユーザのキー入力による要請に応じて、病院予約又は家族口腔管理をサービスする口腔管理サービス処理部とを含む。

【0018】

更に、前記ユーザ端末は、口腔検診問診に対する前記ユーザの返答情報を用いて、問診応答情報を生成する問診応答部を含む。

【0019】

前記口腔管理サービス処理部は、前記ユーザが検診モードより簡便検診を選択すると、前記写真補正部により補正された口腔画像とユーザ個人情報のみを用いて、口腔検診診断を要請し、前記ユーザが検診モードより一般検診を選択すると、前記写真補正部により補正された口腔画像と、前記問診応答部で生成した問診応答情報、及びユーザ個人情報を用いて、口腔検診診断を要請する。

【0020】

前記口腔健康管理サーバは、受信した口腔写真を、人工知能アルゴリズムであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断した結果情報を、個体探知（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）で分析して、歯牙う蝕状態情報及び補綴物状態情報を取得し、取得した前記歯牙う蝕状態情報及び前記補綴物状態情報を、ＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アルゴリズムで学習して、口腔健康状態を判定する口腔健康演算部と、前記口腔健康演算部で判定した前記口腔健康情報を、前記口腔検診診断結果として生成し、前記生成した口腔検診診断結果を暗号化して、前記ユーザ端末に転送する口腔健康情報提供部とを含む。

【0021】

前記口腔健康演算部は、前記ユーザ端末から転送された口腔写真を、口腔検診診断対象として登録する写真登録部と、前記写真登録部に登録された画像を、ＣＮＮアルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断した結果情報を個体探知で分析して、前記歯牙う蝕状態情報及び前記補綴物状態情報を取得し、取得した矯正可否情報及び抜歯可否情報と、前記歯牙う蝕状態情報及び前記補綴物状態情報を、ＡＮＮアルゴリズムで学習して、口腔健康状態を判定する口腔診断部とを含む。

【発明の効果】

【0022】

本発明によると、ユーザがモバイルアプリを用いて、口腔写真をアップロードするだけで、リアルタイムで口腔状態を診断して、診断結果を提供することで、ユーザがリアルタイムで口腔健康に対して、自己診断を行うことができる。

【0023】

また、本発明によると、モバイルアプリを用いて、家族の口腔健康管理も統合的に行い、病院予約なども便利に行うことができる。

【図面の簡単な説明】

【0024】

【図1】本発明によるモバイルに基づく自己口腔検診装置の全体構成図である。

【図2】図１におけるユーザ端末の構成図である。

【図3】図１における口腔健康演算部の構成図である。

【図4】本発明において、口腔画像を分析するための人工知能アルゴリズムを示す図である。

【図5】本発明において、口腔画像を分析するための人工知能アルゴリズムを示す図である。

【図6】本発明において、口腔画像を分析するための人工知能アルゴリズムを示す図である。

【図7】本発明において、口腔画像を分析するための人工知能アルゴリズムを示す図である。

【図8】本発明において、モバイルアプリを用いて、自己口腔検診と病院予約、家族健康管理を行う過程を示す図である。

【図9】本発明において、モバイルアプリを用いて、自己口腔検診と病院予約、家族健康管理を行う過程を示す図である。

【図10】本発明において、モバイルアプリを用いて、自己口腔検診と病院予約、家族健康管理を行う過程を示す図である。

【図11】本発明において、モバイルアプリを用いて、自己口腔検診と病院予約、家族健康管理を行う過程を示す図である。

【図12】本発明において、モバイルアプリを用いて、自己口腔検診と病院予約、家族健康管理を行う過程を示す図である。

【発明を実施するための形態】

【0025】

以下、本発明の好適な実施例によるモバイルに基づく自己口腔検診装置を、添付の図面を参照して詳細に説明する。

【0026】

以下にて説明する本発明で使用する用語や単語は、通常的又は辞典的な意味に限定して解析されてはならず、発明者は、その自分の発明を最善の方法で説明するために、用語の概念に適切に定義することができるという原則に即して、本発明の技術的思想に合う意味と概念に解析されるべきである。

【0027】

そこで、本明細書に記載した実施例と図面に示している構成は、本発明の好適な実施例に過ぎず、本発明の技術的思想を全て示すものではないので、本出願時点でこれらを代替可能な様々な均等物と変形例があり得ることを理解すべきである。

【0028】

図１は、本発明によるモバイルに基づく自己口腔検診装置の全体構成図であって、ユーザ端末１００と、口腔管理サービスサーバ２００と、口腔健康管理サーバ３００とを含む。

【0029】

ユーザ端末１００、口腔管理サービスサーバ２００、及び口腔健康管理サーバ３００は、暗号化された口腔検診診断結果の送受信により、ハッキングによる資料の漏出時にも、保安性を向上する。

【0030】

合わせて、口腔健康管理サーバ３００は、口腔検診診断結果の転送に際して、ユーザ端末ＩＤとユーザ情報を用いたウェブアクセストークン（ａｃｃｅｓｓ ｔｏｋｅｎ）を用いて、アクセス対象の権限を制限することで、保安性を向上することができる。

【0031】

ユーザ端末１００と口腔管理サービスサーバ２００は、様々な有無線ネットワークで連結され、リアルタイム性をもって通信インターフェースが行われる。口腔管理サービスサーバ２００と口腔健康管理サーバ３００のようにサーバを複数で具現している理由は、診断結果の保安性を高めて、個人情報の流出を防止しようとすることである。実際に、健康管理及び個人情報は、口腔健康管理サーバ３００で全て管理し、ウェブトークンを通じて、情報を転送して保安性を向上し、口腔管理サービスサーバ２００は、単に、情報のインターフェースと病院予約などのサービスのみを処理するようにして、迅速なサービスが行われるようにしている。

【0032】

ユーザ端末１００は、ユーザの口腔画像を補正した後、補正した口腔画像を提供し、口腔検診診断を要請する役割を果たす。ここで、ユーザは、ユーザ端末１００を用いて、ユーザ個人情報、問診データのような一般のデータなどを提供する。口腔検診の形態は、簡便検診と一般検診があり、簡便検診の場合は、単に、ユーザ個人情報（機器ＩＤ、ユーザ情報）と口腔画像だけを提供すれば良く、一般検診の場合は、ユーザ個人情報、問診データ、及び口腔画像を提供すれば良い。

【0033】

ユーザは、ユーザ端末１００を介して、口腔検診診断結果を受信し、これにより自分の口腔健康状態を認知し、口腔健康状態が良くないと予測されると、歯科などを訪問して、後続措置を取って、口腔健康を管理するのが望ましい。このようなユーザ端末１００は、スマートフォン及びスマートパッドのようなモバイル機器、インターネットが可能なパーソナルコンピューター及びノート型コンピュータなどで具現可能であり、本発明では、実施例として、モバイルアプリを用いるスマートフォンで具現していると仮定する。

【0034】

このようなユーザ端末１００は、撮影された口腔画像の写真を、口腔健康検診対象画像として入力する写真入力部１０１と、写真入力部１０１で入力された口腔画像を補正して、鮮明度を高める写真補正部１０２と、写真補正部１０２により補正された口腔画像を、口腔管理サービスサーバ２００に転送して、口腔健康診断を要請し、受信した口腔検診診断結果を画面にディスプレイして、ユーザのキー入力による要請に応じて、病院予約又は家族口腔管理をサービスする口腔管理サービス処理部１０４とを含む。

【0035】

更に、ユーザ端末１００は、口腔検診問診に対するユーザの返答情報を用いて、問診応答情報を生成する問診応答部１０３を含む。

【0036】

口腔管理サービス処理部１０４は、ユーザが検診モードより簡便検診を選択すると、写真補正部１０２により補正された口腔画像とユーザ個人情報のみを用いて、口腔検診を要請し、前記ユーザが検診モードより一般検診を選択すると、写真補正部１０２により補正された口腔画像と、問診応答部１０３で生成した問診応答情報及びユーザ個人情報とを用いて、口腔検診を要請する。ここで、ユーザ個人情報には、ユーザ情報と機器ＩＤ情報を含む。このようなユーザ個人情報は、追って、口腔検診結果情報の転送に際して、保安のためのウェブトークン（アクセストークン）の発行情報として活用可能である。

【0037】

口腔管理サービスサーバ２００は、ユーザ端末１００から提供される口腔画像を転送して、口腔検診診断結果を要請し、口腔検診診断結果をユーザに転送する。

【0038】

口腔健康管理サーバ３００は、口腔管理サービスサーバ２００から転送された口腔画像を診断して、口腔健康情報を生成し、生成した口腔健康情報を暗号化して、口腔検診診断結果として、口腔管理サービスサーバ２００に転送する。

【0039】

口腔健康管理サーバ３００は、受信した口腔写真を、人工知能アルゴリズムであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断した結果情報を、個体探知（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）で分析して、歯牙う蝕状態情報及び補綴物状態情報を取得し、取得した歯牙う蝕状態情報及び補綴物状態情報を、ＡＮＮ（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アルゴリズムで学習して、口腔健康状態を判定する口腔健康演算部３１０と、口腔健康演算部３１０で判定した口腔健康情報を、口腔検診診断結果として生成し、生成した口腔検診診断結果を暗号化して、ユーザ端末１００に転送する口腔健康情報提供部３２０と、口腔診断のためのビッグデータ、個人情報、暗号化アルゴリズムなどが保存されたデータベース３３０とを含む。

【0040】

口腔健康演算部３１０は、図３に示しているように、ユーザ端末１００から転送された口腔写真を、口腔健康予測対象に登録する写真登録部３１１と、写真登録部３１１に登録された画像を、ＣＮＮアルゴリズムで学習して、写真の分析可能可否、矯正可否、及び抜歯可否を判断し、判断した結果情報を個体探知で分析して、歯牙う蝕状態情報及び補綴物状態情報を取得し、取得した矯正可否情報及び抜歯可否情報と、歯牙う蝕状態情報及び補綴物状態情報とを、ＡＮＮアルゴリズムで学習して、口腔健康状態を判定する口腔診断部３１２とを含む。

【0041】

このように構成された本発明によるモバイルに基づく自己口腔検診装置の動作を具体的に説明すると、以下の通りである。

【0042】

まず、ユーザは、自分の口腔健康状態を自己検診して管理し、家族の口腔健康を統合管理するためのモバイルに基づく口腔検診アプリを、口腔管理サービスサーバ２００からダウン－ロードして、ユーザ端末１００に格納する。

【0043】

ここで、口腔検診アプリは、人工知能（ＡＩ）に基づく口腔自己診断アプリであって、いつ、どこでも自ら容易に口腔検診をして、自分の口腔状態を点検することが可能なアプリである。周期的な口腔検診により、口腔疾患を予防して、全身疾患予防にも役に立ち、１つのアプリである口腔検診アプリを、単にスマートフォンであるユーザ端末１００に設置して、自分はもちろん、家族の口腔健康をも管理できるようになる。

【0044】

ユーザは、口腔健康状態を確認するために、前記口腔検診アプリを行い、口腔管理サービスサーバ２００にログインする。ログインのために、通常の会員加入により、ＩＤ、ＰＷのような情報を登録する。この時、家族追加のような項目により、自分の他に、口腔健康を管理しようとする家族情報を登録する。

【0045】

ここで、ログインのために、基本的なユーザ個人情報（姓名、性別、生年月日、血液型、その他）と、病歴事項や服用薬、又は身体の特異事項（高血圧、低血圧、糖尿、心臓疾患、便秘、妊娠、その他）などを登録する。また、プロフィール写真などを登録することもできる。

【0046】

ログインが行われると、図８のようなメイン画面がディスプレイされ、このようなメイン画面から、設定家族の歯科予約現況や服薬情報などを確認することができ、予約詳細ビューや服薬チェックを行うことができる。

【0047】

例えば、家族選択項目を通じて、予約及び服薬情報を家族別にフィルタリングして確認することができる。図９は、家族別日程確認のうち、予約確認に対する画面を示しており、図１０は、服薬に対する画面を示している。家族別詳細メニューから、家族別診療予約現況及び処方箋リストを確認することができ、人工知能に基づく口腔自己検診を進行することができる。合わせて、カレンダー確認により、選択された日付の予約情報及び服薬事項を確認することができ、クリックにより、詳細情報を確認することができる。メインメニューの選択により、ホーム、歯科探し、得意先歯科、マイ情報ページに移動することができる。

【0048】

また、前記メインメニューにおいて、家族追加項目を通じて、家族を追加することもできる。図１１は、家族追加の例示を示している画面である。

【0049】

ついで、ユーザは、口腔検診のために、メインメニューより口腔検診対象を選択し、問診項目を選択する。ここで、口腔検診対象が家族であると、登録された家族のうち、検診対象家族を指定して選択すれば良く、自分である場合は、直ぐ問診項目を選択すれば良い。家族や自分の口腔検診がいずれも同一の方式で行われるので、以下、説明の便宜のために、自分が口腔検診対象に指定されていると仮定する。問診項目が選択されると、詳細画面に検診リストがディスプレイされ、このような詳細画面より、ユーザは検診モードを選択する。ここで、検診リストは、簡便検診と一般検診モードがある。

【0050】

簡便検診は、ユーザの個人情報と診断しようとする口腔写真のみを提供し、自己検診を要請するモードであり、一般検診は、ユーザの個人情報と口腔写真及び問診情報を提供し、自己検診を要請するモードである。ここで、自己検診を要請すると、ユーザ端末１００の機器ＩＤ情報を提供するか、ユーザ会員の登録に際して、ユーザ機器のＩＤ情報を確認して、これをユーザ個人情報に整合して置くことができる。

【0051】

自己検診の要請に際して、ユーザは、口腔検診アプリを通じて案内される撮影ガイド情報を用いて、口腔を撮影するか、予め撮影しておいた口腔画像を選択する。すなわち、ユーザがユーザ端末を通じて撮影して、口腔画像を取得するか、予め登録された口腔画像を選択すると、写真入力部１０１で選択された写真又は撮影された写真を、口腔検診対象画像に設定する。ついで、写真補正部１０２は、設定された口腔画像を補正して、鮮明度を高める。すなわち、入力された口腔写真は、非定型化写真であって、カメラや撮影者により、画質や撮影位置などが変わることで、検診結果が異なる。

【0052】

そこで、非定型化写真に対して、補正が必要である。

【0053】

非定型化写真の補正のために、入力された写真画像を所定のサイズに分割し、方向を調節して、正面画像となるようにする。方向調節は、口腔構造を通じて、位置を認識する方法で認識して、正面に調節を行うことができる。ついで、方向が調節された分割画像を、画像シャープフィルター（Ｉｍａｇｅ Ｓｈａｒｐｅｎ Ｆｉｌｔｅｒ）でフィルタリング処理して、鮮明度を高める。ここで、画像シャープフィルターで写真の鮮明度を高める技法は、既に画像処理分野において公知の技術であるので、それに関する具体的な説明は、省略する。

【0054】

非定型化写真に対して画像補正が行われた状態で、口腔管理サービス処理部１０４は、ユーザが選択した診断項目を確認して、簡便診断を選択した状態であると、前記補正された画像とユーザ個人情報のみを用いて、口腔検診を要請する。これとは異なり、ユーザが選択した診断項目を確認して、一般診断を選択した状態であると、前記補正された画像とユーザ個人情報及び問診応答情報を用いて、口腔検診を要請する。ここで、問診応答情報は、ユーザが設置した口腔検診アプリの実行時、メイン画面に表示されたメニュー項目に連結された問診表を見て、キー入力部により、項目別に応答（チェック）をする。問診表について応答が完了すると、問診応答部１０３は、応答が含まれた問診表を用いて、問診応答情報を生成する。

【0055】

口腔管理サービスサーバ２００は、ネットワークを介して接続したユーザ端末１００から、口腔写真と個人情報及び／又は問診応答情報が受信されると、これを口腔健康管理サーバ３００に転送する。

【0056】

口腔健康管理サーバ３００の口腔健康演算部３１０の写真登録部３１１は、転送された口腔写真を、口腔健康検診対象画像として内部データベースに登録する。ここで、口腔画像は、個人が直接撮影すると撮影環境がそれぞれ異なるため、実際の撮影画像色の基準がない。そこで、基準点を取って、全ての写真が基準点と同じように色補正を自動に行った後、保存する。

【0057】

ついで、口腔診断部３１２は、口腔写真（画像）をＣＮＮアルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断した結果情報を個体探知で分析して、歯牙う蝕状態情報、歯周炎状態情報、補綴物状態情報を取得し、取得した歯牙う蝕状態情報及び補綴物状態情報を、ＡＮＮアルゴリズムで学習して、口腔健康状態を判定する。

【0058】

例えば、口腔画像をＣＮＮアルゴリズムで学習して、口腔写真の有無を判断する。口腔画像をＣＮＮアルゴリズムで学習して、口腔写真の有無を判断する過程を図４に示している。このため、事前に撮影され登録要請された写真が口腔写真であるかを判定するＣＮＮモデルが構築されたことと仮定する。

【0059】

事前構築されたＣＮＮモデルは、ＶＧＧ１６（ｈｔｔｐｓ：／／ｎｅｕｒｏｈｉｖｅ．ｉｏ／ｅｎ／ｐｏｐｕｌａｒ－ｎｅｔｗｏｒｋｓ／ｖｇｇ１６／）、ＲｅｓＮｅｔ５０などのように、既に知られたＣＮＮモデルに、口腔写真範疇を追加して使用するのが望ましい。学習データとしては、口腔写真データ、追加すべき範疇の写真データであり得る。

【0060】

このような口腔写真データを用いて、ＣＮＮモデルで学習をして、口腔写真の有無を判断することができるが、この場合、追加される学習データの量に応じて、学習時間が多くかかるという不都合を引き起こす。

【0061】

そこで、口腔写真の有無を判定する他の方法として、ＣＮＮアルゴリズムを用いる代わりに、前記口腔検診アプリを用いて、ユーザが口腔写真の他の画像は、登録しないように誘導することで、口腔写真の有無を判断する過程を省略することができる。ここで、口腔写真の他の画像は登録しないように誘導する方法として、案内文を利用することができる。

【0062】

口腔写真の有無を確認した結果、口腔画像として判定されると、口腔画像を、図５に示しているＣＮＮアルゴリズムで学習して、矯正可否を判断する。ここで、図５は、入力された口腔画像から矯正可否を判定するＣＮＮモデルの例示である。このようなＣＮＮモデルは、ＡｕｔｏＫｅｒａｓを用いて、ＣＮＮモデルを構築する。事前構築されたＶＧＧ１６、ＲｅｓＮｅｔ５０などを用いた転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ可能）を利用することもできる。必要データは、矯正機着用／未着用の口腔写真データであり、ＣＮＮモデルに、口腔写真範疇の２つ（矯正機着用／未着用）を追加することで、簡単に矯正可否を判断することができる。

【0063】

このようなＣＮＮモデルを用いて、矯正可否を判定することができるが、これも、十分な学習時間及びデータが必要であり、学習データの増加は、結果として計算量増加につながる。そこで、ユーザの問診表作成により、矯正可否を選択するように誘導することで、矯正可否を判断するためのＣＮＮアルゴリズムの学習過程を省略することができる。

【0064】

問診表作成により問診情報が提供されると、問診情報を、ＦＦＮＮ（Ｆｅｅｄ Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アルゴリズムで分類する。ここで、ＦＦＮＮアルゴリズムは、アンケート応答（ユーザ情報）が入力であり、診断結果が出力となる機械学習アルゴリズムである。Ｔｅｎｓｏｒｆｌｏｗ、ＫｅｒａｓなどのＰｙｔｈｏｎに基づくライブラリを用いて、入出力構造に適合したＦＦＮＮを設計して使用するのが望ましい。活性化関数、損失関数、最適化方法、並列コンピュータ構造、過剰適合問題などに対しては、最近研究及び分析されたＦＦＮＮアルゴリズムを利用することができる。入力データ（アンケート応答）を前処理し、前処理データを学習データと検証データとに分ける。ついで、学習データは、神経回路網学習に通じて学習が行われ、検証データと学習結果データは、検証及び補完手続きにより、新たに設計された神経回路網で学習される。そして、検証及び補完が完了すると、最終モデルがアンケート診断結果として出力される。

【0065】

ここで、構築されたＣＮＮモデルを用いて、矯正可否を判定することもできるが、付加的に、同一のＣＮＮモデルを用いて、抜歯可否も判定することができる。ＣＮＮモデルに抜歯口腔写真範疇を追加すると、簡単に抜歯可否も判定することができる。

【0066】

ついで、判断した矯正可否情報と抜歯可否情報を個体探知でと分析して、歯牙う蝕状態情報及び補綴物状態情報を取得する。このため、図６のように入力された区間写真（画像）から、口腔疾患（歯牙う蝕）及び補綴物探知を判定する個体探知アルゴリズムを構築する。口腔疾患及び補綴物探知を判定する個体探知アルゴリズムは、既に開発されたＦａｓｔｅｒ Ｒ－ＣＮＮ、ＳＳＤ、ＹＯＬＯ（Ｗ．Ｌｉｕ ｅｔ ａｌ．、２０１５、ａｒＸｉｖ（ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１２．０２３２５））などが利用可能である。前記個体探知アルゴリズムで歯牙う蝕状態情報及び補綴物状態情報を取得するための必要データとしては、口腔疾患及び補綴物が表示された写真データが利用可能である。矯正機着用可否を区分して学習することで、精度を向上することができる。１つのアルゴリズムで、歯牙う蝕と補綴物をいずれも探知できるというメリットがある。ここで、歯牙う蝕状態情報は、歯牙う蝕の存在有無情報と、歯牙う蝕が存在する場合、歯牙う蝕個数情報とを含み、前記補綴物状態情報は、補綴物存在有無情報と、補綴物が存在する場合、補綴物個数情報とを含む。歯牙う蝕画像学習は、ユーザが提供した口腔写真が全口腔部位のどの部位であるかを確認し、口腔部位画像の位置を確認した後、画像学習を行い、これより、歯牙う蝕存在有無と歯牙う蝕個数を抽出する。同様な方法で、補綴物存在有無と補綴物個数も抽出する。

【0067】

ついで、前記矯正可否情報及び抜歯可否情報と、歯牙う蝕状態情報及び補綴物状態情報を、図７のようなＡＮＮアルゴリズム（２０１９年ＮＩＭＳ産業数学問題解決ワークショップ提案モデル）で学習して、口腔健康状態を判定する。ここで、人工知能アルゴリズムであるＡＮＮアルゴリズムは、前記矯正可否情報及び抜歯可否情報と、歯牙う蝕状態情報及び補綴物状態情報を入力（ｉｎｐｕｔ）にして、口腔健康状態（口腔健康度）を判定する。このため、専門医又は専攻医から取得した信頼し得る写真データに該当する患者の口腔健康度判定資料を利用することができる。前記口腔健康状態判定が完了すると、口腔健康予測情報を生成して、内部データベースに保存する。

【0068】

ついで、口腔健康情報提供部３２０は、前記判定より取得した口腔検診診断結果を、ユーザ端末１００に転送する。この時、口腔検診診断結果の無断流出を防止するため、暗号化モジュールを用いて、口腔検診診断結果を暗号化する。暗号化は、伝達又は予め登録されたユーザ端末の機器ＩＤとユーザ情報を用いて、２５６ビットのウェブアクセストークンを発生する方式を利用する。

【0069】

このように暗号化された口腔検診診断結果は、口腔管理サービスサーバ２００を介して、ユーザ端末１００に転送される。ここで、口腔検診診断結果は、口腔検診報告書のタイプである。

【0070】

口腔検診診断結果が、口腔健康管理サーバ３００からユーザ端末１００へ転送される前に、ハッキングなどのような方式により無断流出されても、ユーザ機器ＩＤとユーザ情報でウェブトークンが暗号化されているので、ユーザ機器ＩＤとユーザ情報を知らない他人は、口腔検診結果情報を確認することができず、保安性向上を図ることになる。

【0071】

ユーザ端末１００の口腔管理サービス処理部１０４は、口腔検診診断結果情報である口腔検診診断結果が来ると、復号化モジュールを用いて、登録されたユーザ機器ＩＤとユーザ情報を用いて、ウェブアクセストークンを復号化する。復号化は、暗号化の逆順である。

【0072】

ユーザ機器ＩＤとユーザ情報が一致する場合は、暗号化された口腔検診結果を開けてみることができる。

【0073】

このように、ウェブトークンの発行時、暗号化情報を利用することで、無断で口腔検診診断結果にアクセスすることを根本的に防止することができる。

【0074】

口腔管理サービス処理部１０４は、復号化した口腔検診結果情報を内部メモリに格納し、これを画面にディスプレイして、ユーザがリアルタイムで口腔診断結果を確認できるようにする。

【0075】

口腔診断結果を基に、口腔状態が危険状況であると、口腔検診結果である検診報告書の画面に、歯科予約が表示される。図１２は、口腔検診診断結果画面を示している。歯科予約が選択されると、現位置を基に、地図検索を通じて、歯科情報を画面にディスプレイする。地図検索に基づく歯科情報探索は、現位置から距離が最も近い順に歯科情報を表示する。もし、ユーザが特定位置（ソウルを基準に区や棟を選択）を選択すると、現在位置に基づいて選択した特定位置の距離順に、歯科情報を画面にディスプレイする。

【0076】

このような本発明によると、ユーザが自分の口腔を撮影してアップロードすると、人工知能アルゴリズムを用いて、口腔健康状態を診断し、診断結果を暗号化して、口腔健康報告書をリアルタイムでユーザに提供することで、ユーザが自分の口腔健康を容易に管理し、口腔健康悪化を前もって予防することができることになる。

【0077】

また、登録された家族に対しても、同様な方式で口腔管理が可能であるので、１つのモバイルに基づくアプリで、自分はもちろん、家族の口腔管理を統合的に便利に行うことができる。

【0078】

以上、本発明者によりなされた発明を前記実施例により具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で、様々に変更可能であることは、当該技術分野における通常の知識を有する者にとって自明である。

【符号の説明】

【0079】

１００ ユーザ端末
１０１ 写真入力部
１０２ 写真補正部
１０３ 問診応答部
１０４ 口腔管理サービス処理部
２００ 口腔管理サービスサーバ
３００ 口腔健康管理サーバ
３１０ 口腔健康演算部
３１１ 写真登録部
３１２ 口腔診断部
３２０ 口腔健康情報提供部
３３０ データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】