特開 2023-99273 口腔画像学習／分類装置及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023099273

(43)【公開日】2023-07-12

(54)【発明の名称】口腔画像学習／分類装置及びその方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230705BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 660A

【審査請求】有

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022066113

(22)【出願日】2022-04-13

(31)【優先権主張番号】10-2021-0193077

(32)【優先日】2021-12-30

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】521165404

【氏名又は名称】キュウティーティー カンパニー

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】ゴ，テ ヨン

(72)【発明者】

【氏名】ハン，ゾン グ

(72)【発明者】

【氏名】チェ，ジェ ユ

(72)【発明者】

【氏名】ジャン，ワン ホ

(72)【発明者】

【氏名】ヤン，ヒ ヨン

(72)【発明者】

【氏名】ムン，ジ ス ミ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

【課題】口腔を撮影した画像をアップ－ロードすると、機械学習アルゴリズムを用いた画像分析により、口腔に関する画像であるか否かを判定し、判定結果を案内することができる口腔画像学習／分類装置及びその方法を提供する。
【解決手段】ユーザが直接撮影した口腔写真が口腔内の画像を含む口腔画像であるかを判定した判定情報を案内するユーザ端末と、ユーザ端末から提供される口腔写真を収集し、収集された口腔写真を、ＣＮＮアルゴリズムで学習し分析して、口腔写真が口腔画像であるか否かを正確に判定することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

口腔写真を機械学習アルゴリズムで分析して、学習し分類する口腔画像学習／分類装置であって、
ユーザが直接撮影した口腔写真を提供し、前記口腔写真が口腔内の画像を含む口腔画像であるかを判定した判定情報を案内するユーザ端末と、
前記ユーザ端末から提供される口腔写真を収集し、前記収集された口腔写真を、ＣＮＮアルゴリズムで学習し分析して、該当口腔写真が口腔画像であるか否かを判定して、前記判定情報を前記ユーザ端末に提供する分析サーバと、を含むことを特徴とする口腔画像学習／分類装置。

【請求項2】

前記分析サーバは、
前記ユーザ端末からの撮影された前記口腔写真を収集するデータ収集部と、
前記収集された口腔写真を前記ＣＮＮアルゴリズムで学習し分析するデータ分析部と、
分析結果に基づいて、前記口腔画像と非口腔画像を分類して判定する画像判定部と、
判定された結果を前記判定情報として、前記ユーザ端末に転送する判定情報提供部と、を含むことを特徴とする請求項１に記載の口腔画像学習／分類装置。

【請求項3】

前記データ分析部は、前記収集された口腔写真を前処理して訓練データ及びテストデータに分割し、前記分割された訓練データを用いて、分類モデルを設計し、前記分割されたテストデータを用いて、設計された前記分類モデルの性能をテスト及び評価し、
前記画像判定部は、前記テスト及び評価が行われた分析モデルを用いて、前記収集された口腔写真が前記口腔画像であるか否かを判定することを特徴とする請求項２に記載の口腔画像学習／分類装置。

【請求項4】

請求項１乃至３のいずれか一項に記載の口腔画像学習／分類装置を用いて、前記口腔写真を前記機械学習アルゴリズムで分析して学習し分類する口腔画像学習／分類方法であって、
（ａ）分析サーバにおいて、ユーザ端末を用いて、撮影された前記口腔写真を収集するステップと、
（ｂ）前記収集された口腔写真を前処理して、訓練データ及びテストデータに分割するステップと、
（ｃ）前記分割された訓練データを用いて、分類モデルを設計するステップと、
（ｄ）分割されたテストデータを用いて、設計された前記分類モデルの性能をテスト及び評価するステップと、
（ｅ）前記テスト及び評価が行われた分析モデルを用いて、前記収集された口腔写真が前記口腔画像であるか否かを判定するステップと、を含むことを特徴とする口腔画像学習／分類方法。

【請求項5】

更に、（ｆ）前記ステップ（ｅ）で判定された判定情報を、前記ユーザ端末に転送するステップを含み、
前記分析サーバは、前記口腔写真が前記口腔画像と判定されると、口腔健康状態を確認するための更なる分析情報を提供し、
前記ユーザ端末は、前記口腔写真が非口腔画像と判定されると、口腔内を再度撮影するように案内メッセージを表示することを特徴とする請求項４に記載の口腔画像学習／分類方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、口腔画像学習／分類方法に係り、より詳しくは、口腔及び口腔ではない種類に関する訓練画像を基にする画像分類モデルを訓練し、アップロードされる画像を分類する口腔画像学習／分類装置及びその方法に関する。

【背景技術】

【0002】

口腔疾患は、適切な予防治療及び持続的な管理により、高い予防効果を得られるが、多くの口腔疾患患者は、口腔健康に問題が発生しないと、医者に診断を受けるか、治療を依頼しないなど、未だは口腔予防に対する認識が不足な実情である。

【0003】

口腔疾患は、他の疾病とは異なり、その予防法が非常に重要であり、スケーリングのような簡単な施術でも歯周疾患を予防することができ、不正咬合が予測される子供に簡単な予防治療を施すと、成長期以後に矯正治療を受けなくても済み、口腔健康管理だけではなく、コストの面でも非常に有利である。

【0004】

患者の現在の口腔状態を予測するに当たり、歯科医師の主観的な見解ではなく、正確な検査及び診断結果と、それによる客観的な数値情報が必要であるが、口腔の健康状態を客観的に算出するシステムが無い状況である。

【0005】

口腔の疾患としては大きく、虫歯と歯周疾患がある。

【0006】

特に、歯周炎と歯肉炎を含む歯周疾患は、初期には疼痛もなく、慢性的に進行するため、発見が遅くなり、歯周疾患を事前に予防することは、非常に難しい状況である。

【0007】

そこで、このような口腔疾患の状態を事前に診断し、これを基に、口腔健康の増進及び口腔疾患の予防のための様々な方法が研究及び提案されている。

【0008】

例えば、下記の特許文献１乃至３には、従来技術による口腔健康増進及び口腔疾患予防に関する技術が開示されている。

【0009】

特許文献１においては、ユーザ端末機から、ユーザの性別、年齢、歯周疾患、及び目標設定情報のうちの少なくとも１つに関する情報を含むユーザ条件情報と、ユーザの加盟医療機関での治療情報が入力される。また、口腔管理用品加盟店から、口腔管理用品に関する情報が入力される。以後、ユーザの条件情報及び治療情報に対応する特定のカテゴリーに含まれる特定の口腔管理用品の情報をユーザ端末機に提供して、ユーザに適する口腔管理サービスを提供する。

【0010】

特許文献２においては、患者の口腔状態を検診し、患者の口腔検診資料を含む口腔検診指数算定基準データ、居住地、及び年齢情報をビッグデータ化した後、これを分析して、現在時点での患者の居住地及び年齢によって、口腔検診指数算定基準データが口腔健康に及ぶ影響力を判断する。ついで、口腔検診指数算定基準データに加重値を付与して、口腔検診指数算定のための基準データを数値化して、口腔健康を管理する。

【0011】

特許文献３においては、ユーザの個人情報、口腔衛生行動データ、及び口腔問診データ、ユーザが専門医療機関を訪問して生成された口腔検診データを収集する。このように収集されたそれぞれの情報を統合分析して、ユーザの口腔疾患危険度を評価し、個人に適するサービスを提供する。

【0012】

一方、従来技術による口腔検診装置は、口腔分析のために、ユーザが撮影した全ての画像を受諾するが、誤った口腔検診結果に繋がることがある。

【0013】

そこで、更なる分析を行う前に、ユーザが撮影した写真が口腔に関する写真であるかを確認し、口腔に関する写真のみを撮影するように案内することができる技術の開発が求められている。

【先行技術文献】

【特許文献】

【0014】

【特許文献1】韓国公開特許第１０－２０１７－００５０４６７号公報

【特許文献2】韓国登録特許第１０－１８６８９７９号公報

【特許文献3】韓国登録特許第１０－１７８８０３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の目的は、前述のような問題点を解決するためになされたもので、ユーザが口腔を撮影した画像をアップ－ロードすると、機械学習アルゴリズムを用いた画像分析により、口腔に関する画像であるか否かを判定し、判定結果を案内することができる口腔画像学習／分類装置及びその方法を提供することにある。

【課題を解決するための手段】

【0016】

前記したような目的を達成するために、本発明による口腔画像学習／分類装置は、ユーザが直接撮影した口腔写真を提供し、前記口腔写真が口腔内の画像を含む口腔画像であるかを判定した判定情報を案内するユーザ端末と、前記ユーザ端末から提供される口腔写真を収集し、前記収集された口腔写真を、ＣＮＮアルゴリズムで学習し分析して、該当口腔写真が口腔画像であるか否かを判定して、前記判定情報を前記ユーザ端末に提供する分析サーバと、を含むことを特徴とする。

【0017】

また、前記したような目的を達成するために、本発明による口腔画像学習／分類方法は、（ａ）分析サーバにおいて、ユーザ端末を用いて、撮影された口腔写真を収集するステップと、（ｂ）収集された口腔写真を前処理して、訓練データ及びテストデータに分割するステップと、（ｃ）分割された訓練データを用いて、分類モデルを設計するステップと、（ｄ）分割されたテストデータを用いて、設計された前記分類モデルの性能をテスト及び評価するステップと、（ｅ）前記テスト及び評価が行われた分析モデルを用いて、収集された口腔写真が口腔画像であるか否かを判定するステップと、を含むことを特徴とする。

【発明の効果】

【0018】

本発明による口腔画像学習／分類装置及びその方法によると、ユーザが口腔写真をアップロードすると、機械学習アルゴリズムを用いて、口腔写真をリアルタイムで分析して、該当口腔写真に口腔内の画像が含まれた口腔画像であるか否かを正確に判定することができる。

【0019】

これにより、本発明によると、口腔写真を用いて口腔健康状態を判定するための更なる分析を行う前に、撮影された口腔写真が口腔画像であるか否かを判定して、判定情報を案内することができ、更なる分析に際して、口腔画像を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の好適な実施例による口腔画像学習／分類装置の構成図である。

【図2】本発明の好適な実施例による口腔画像学習／分類方法をステップ別に説明するフローチャートである。

【図3】ＣＮＮアルゴリズムで入力された口腔写真を分析して分類する過程を説明する図である。

【図4】フィルターを用いて入力された画像を畳み込み、特徴を抽出する過程を説明する図である。

【図5】１次元ベクトルで変換された層を１つのベクトルで連結して、口腔画像と非口腔画像を分類する過程を説明する図である。

【図6】口腔画像の存在可否を認識するための分類モデルを示す図である。

【図7】分類モデルを用いて、入力画像を判定する過程を示す図である。

【発明を実施するための形態】

【0021】

以下、本発明の好適な実施例による口腔画像学習／分類装置及びその方法を、添付の図面を参照して詳述する。

【0022】

図１は、本発明の好適な実施例による口腔画像学習／分類装置の構成図である。

【0023】

本発明の好適な実施例による口腔画像学習／分類装置１０は、図１に示しているように、ユーザ端末２０と、分析サーバ３０とを含む。

【0024】

ユーザ端末２０と分析サーバ３０は、様々な有無線ネットワークで連結され、リアルタイム性を有する通信インターフェースを有する。

【0025】

ユーザ端末２０は、口腔健康状態を確認しようとするユーザが使用する端末であって、ユーザの口腔写真を撮影して提供することができる。

【0026】

ここで、ユーザは、ユーザ端末２０を用いて、ユーザの個人情報、問診データ、及び一般のデータなどを提供する。

【0027】

ユーザは、ユーザ端末２０により、分析サーバ３０において、口腔画像（Ｏｒａｌ Ｉｍａｇｅｓ）又は非口腔画像（Ｎｏｎ Ｏｒａｌ Ｉｍａｇｅｓ）と判定した結果に対応する判定情報を受信し、これにより、自分が撮影した写真が口腔画像であるか、非口腔画像であるかを確認することができる。そこで、ユーザは、非口腔画像と判定されると、再度、口腔写真を撮影して提供することができる。

【0028】

このようなユーザ端末２０は、スマートフォン及びスマートパッドのようなモバイル機器、通信が可能なデスクトップコンピュータ及びラップトップコンピューターなどで具現可能であり、本実施例では、スマートフォンで具現する。

【0029】

分析サーバ３０は、ユーザ端末２０から提供された口腔写真を収集し、収集された口腔写真を、機械学習アルゴリズム（ＣＮＮ、ＤＮＮ、その他）で分析して、該当口腔写真が口腔内を含む口腔画像であるか否かを判定する機能をする。

【0030】

このような分析サーバ３０は、収集された口腔写真の分析により、該当口腔写真が口腔画像であるか、非口腔画像であるかを判定し、判定情報を、ユーザ端末２０に提供する。

【0031】

このため、分析サーバ３０は、ユーザ端末２０からの撮影された口腔写真を収集するデータ収集部３１と、収集された口腔写真をＣＮＮアルゴリズムで学習し分析するデータ分析部３２と、分析された結果に基づいて、口腔内の画像が含まれた口腔画像と非口腔画像を分類して判定する画像判定部３３と、判定結果を判定情報として、ユーザ端末２０に転送する判定情報提供部３４とを含む。

【0032】

すなわち、本実施例において、分析サーバ３０は、画像分類モデルを訓練し、口腔画像と非口腔画像を分類する。

【0033】

このような分類モデルを訓練させるために、分析サーバ３０のデータ収集部３１は、口腔内が含まれた口腔画像と非口腔画像に関する膨大な量の画像データを収集する。

【0034】

データ分析部３２は、テンソルフロー（Ｔｅｎｓｏｒｆｌｏｗ）及びケラス（Ｋｅｒａｓ）のようなパイソン（Ｐｙｔｈｏｎ）基盤のライブラリを用いて、ＣＮＮモデルを設計する。このため、データ分析部３２は、収集された口腔写真を前処理して、訓練データ及びテストデータにランダムに分割する。

【0035】

また、データ分析部３２は、分割された訓練データを用いて、設計された分類モデルが、最上の性能を提供するかを確認するため、分割されたテストデータを用いて、分類モデルをテスト及び評価する。

【0036】

評価結果から、分類モデルの性能が最適化されると、最適化した分類モデルは保存され、画像判定部３３は、最適化した分類モデルを用いて、ランダムの入力画像を分類し製作する。

【0037】

図２は、本発明の好適な実施例による口腔画像学習／分類方法を、ステップ別に説明するフローチャートである。

【0038】

本発明の好適な実施例による口腔画像学習／分類方法は、（ａ）分析サーバにおいて、ユーザ端末を用いて、撮影された口腔写真を収集するステップと、（ｂ）収集された口腔写真を前処理して、訓練データ及びテストデータに分割するステップと、（ｃ）分割された訓練データを用いて、分類モデルを設計するステップと、（ｄ）分割されたテストデータを用いて、設計された前記分類モデルの性能をテスト及び評価するステップと、（ｅ）前記テスト及び評価が行われた分析モデルを用いて、収集された口腔写真が口腔画像であるか否かを判定するステップと、を含む。

【0039】

また、本発明の好適な実施例による口腔画像学習／分類方法は、（ｆ） 前記ステップ（ｅ）で判定された判定情報を、ユーザ端末に転送するステップを更に含む。

【0040】

まず、ユーザは、自分の口腔健康状態を確認し管理するために、口腔健康管理アプリケーションをダウンロードして、ユーザ端末２０に保存する。

【0041】

ついで、ユーザは、口腔健康状態を確認するために、前記口腔健康管理アプリケーションを実行し、口腔写真、個人情報などを提供しながら、口腔健康診断を要請する。ここで、必要に応じて、口腔健康診断のための問診データを作成して提供する。問診データは、問診票であって、チェック形式からなる。問診票には、矯正可否を確認するための項目を含むことができる。

【0042】

口腔写真は、口腔全体を撮影した写真が好適であり、口腔の一部のみを撮影した写真も利用可能である。

【0043】

また、前記口腔写真は、口腔内が含まれた口腔画像であるか、又は、口腔内が含まれない非口腔画像である。

【0044】

これにより、分析サーバ３０は、口腔写真の更なる分析を行って口腔健康状態を確認する前に、収集された口腔写真が口腔画像であるか、又は非口腔画像であるかを判定する。

【0045】

詳述すると、ステップＳ１０において、ユーザ端末２０は、ユーザ操作で口腔写真を撮影し、撮影した口腔写真を、分析サーバ３０にアップロードする。

【0046】

すると、分析サーバ３０のデータ収集部３１は、ユーザ端末２０からの受信された口腔写真を収集する。

【0047】

これにより、データ分析部３２は、収集された口腔写真を、ＣＮＮアルゴリズムで学習して、収集された口腔写真が口腔画像であるか否かを判定する。

【0048】

ディープラーニングは、人間の脳構造から着眼して、その活動を模倣する一連のアルゴリズムで構成されたマシンラーニングの一つである。

【0049】

ＣＮＮは、畳み込み演算を用いて変換を行うディープラーニング技法である。

【0050】

このようなＣＮＮは、畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、プーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）、及び全結合層（Ｆｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）を基本層として含む。そして、ＣＮＮモデルの深層構造には、全体モデル性能を向上させる活性化層、正規化層、及びドロップアウト（Ｄｒｏｐ－Ｏｕｔ）層を含む。

【0051】

本実施例では、分類モデルの訓練を目的に、各ラベルの多量の訓練画像を含む口腔及び非口腔ラベル／クラスに関する画像を訓練させるモデル／アルゴリズムを開発する。これは、口腔及び非口腔画像に存在する様々な特徴を学習し抽出するＣＮＮにより行われる。

【0052】

ＣＮＮアルゴリズムの開発は、時間が多くかかり、膨大な量のデータを必要とするが、一旦開発されると、プロセスが自動化され、速くなる。

【0053】

また、このアクセス方式は、開発されたソリューションを、分析サーバ３０で検索して、ユーザ端末２０に対する即時応答を生成することができる。

【0054】

ユーザが口腔写真を撮影してアップロードすると、分類モデルは、分析サーバ３０で撮像した画像を分析して、撮影した口腔写真を口腔又は非口腔画像と判定し、ユーザに報知することができる。

【0055】

分類モデルは、口腔写真が口腔画像である場合、更なる分析のために、該当口腔写真を承認する。

【0056】

また、分類モデルは、口腔写真が非口腔画像である場合、分類モデルは、ユーザに口腔画像ではないことを案内することによって、ユーザは、再度、口腔画像を撮影してアップロードすることができる。

【0057】

図３は、ＣＮＮアルゴリズムで入力された口腔写真を分析し分類する過程を説明する図であり、図４は、フィルターを用いて入力された画像を畳み込み、特徴を抽出する過程を説明する図であり、図５は、１次元ベクトルで変換された層を、１つのベクトルで連結して、口腔画像と非口腔画像を分類する過程を説明する図である。

【0058】

図３には、口腔画像と非口腔画像を含む多数の口腔写真に対して、ＣＮＮアルゴリズムで畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）とプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を複数経た後、全結合層（Ｆｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）を介して、最終的に判定結果を導出する過程を示している。

【0059】

図４には、入力画像、すなわち、口腔写真とフィルターを合成乗算して畳み込んだ結果について、最大値プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）及び平均プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）する過程を示している。

【0060】

図５には、平坦化（ｆｌａｔｔｅｎ）により、１次元ベクトルで変換された前層で全結合層を介して、口腔画像、または非口腔画像として判定する過程が示されている。

【0061】

図３乃至図５に示しているように、口腔画像又は非口腔画像がＣＮＮに入力されて転送されると、ＣＮＮアルゴリズムは、多数の畳み込み層とプーリング層を通過した後、全結合層を介して画像認識結果、すなわち、口腔画像であるかを判定した訂正情報を出力する。

【0062】

ＣＮＮモデルを構築し、入力サイズ及び出力クラスを合わせるために、システムＧＰＵを完全に活用できるように、Ｔｅｎｓｏｒｆｌｏｗ及びＫｅｒａｓのようなパイソン（Ｐｙｔｈｏｎ）パッケージを使用することができる。このように、システムＧＰＵを用いると、訓練速度を高め、訓練時間を短縮することができる。

【0063】

一方、ユーザが口腔画像のみを撮影するように案内するためには、強力なＣＮＮモデルを設計するのが重要である。しかし、ＣＮＮモデルが常に最高の結果を保証することではない。

【0064】

そこで、本実施例では、性能を向上するために、ＲｅｓＮｅｔ５０のような事前訓練されたモデルを活用することができ、ＣＮＮモデルが訓練課程で、口腔及び非口腔画像を学習するように、初期加重値を加えることができる。

【0065】

このように、事前訓練されたモデルを用いると、予測正確度を高めると共に、性能時間を短縮することができ、ユーザが口腔写真を撮影するに際して、ＣＮＮアルゴリズムは、撮影された写真が口腔画像であるかを判定し、非口腔画像の場合は、ユーザに口腔画像を再度撮影するように、案内メッセージを転送することができる。

【0066】

ＲｅｓＮｅｔ５０のような事前訓練されたモデルは、転移学習のアクセス方式を基盤とする。

【0067】

前記転移学習とは、全結合層を微調整し、モデルを全てのタイプの作業に合わせてユーザ定義して、事前訓練されたモデルを活用することを言う。

【0068】

このような転移学習は、基本的に、いずれのモデルも新たな作業の出発点として使用する。

【0069】

ＲｅｓＮｅｔとして知られている深層残余ネットワークは、スキップ接続又は短縮接続で指示された核心概念を基に作られており、前記スキップ接続又は短縮接続は、データとグラデーション（ｇｒａｄａｔｉｏｎ）が実際のネットワークフローと共に、ネットワークを介して、移動可能な代替経路を提供することができる。

【0070】

詳述すると、図２のステップＳ１２において、データ分析部３２は、収集された口腔写真を前処理して、訓練データ及びテストデータにランダムで分割する。

【0071】

ステップＳ１４において、データ分析部３２は、分割された訓練データを用いて、パイソン（Ｐｙｔｈｏｎ）基盤のライブラリを基に、分類モデルを設計する。

【0072】

ステップＳ１６において、データ分析部３２は、設計された分類モデルが、最上の性能を提供するかを確認するために、分割されたテストデータを用いて、分類モデルを訓練及びテストし、訓練及びテスト結果を評価する。

【0073】

このような評価過程により、分類モデルを持続的にアップグレード及びチューニングする過程を介して、分類モデルの性能が最適化されると、最適化した分類モデルは、保存される。

【0074】

ステップＳ１８において、画像判定部３３は、最適化した分類モデルを用いて収集された口腔写真に対して、口腔画像であるか、非口腔画像であるかを判定し、判定情報提供部３４は、判定結果を、ユーザ端末に転送する（Ｓ２０）。

【0075】

ここで、非口腔画像と判定されると、ユーザ端末２０は、ユーザに口腔画像を再度撮影するように、案内メッセージを表示する。

【0076】

一方、口腔画像と判定された場合、分析サーバ３０は、該当口腔写真で口腔健康状態を確認するための更なる分析情報を提供する。

【0077】

図６は、口腔画像の存在可否を認識するための分類モデルを示す図であり、図７は、分類モデルを用いて、入力画像を判定する過程を示す図である。

【0078】

口腔及び非口腔画像からなる口腔写真、すなわち画像データは、ＣＮＮブロックに入力されて転送され、ＣＮＮブロックは、訓練ステップで、口腔写真から様々な特徴を抽出し学習する。

【0079】

ＣＮＮ訓練中、畳み込み層は、入力された画像から、特徴又は特徴マップを抽出し、プーリング層は、特徴マップのサイズを減らすために、非線形ダウンサンプリングを行い、全結合層は、最終の畳み込み又はプーリング層の出力特徴マップを呼び出して、画像を分類する。

【0080】

ここで、入力画像対比出力値のサイズは、図６に示しているように、大きく減少することを明らかに確認することができる。

【0081】

前記事前訓練されたモデルとして、ＲｅｓＮｅｔ５０は、スキップ接続で分類モデルを、密度が高いことに対して、図７に示しているように、浅くないようにしてくれる。このようなスキップ接続は、さらに多くの特徴を抽出し、分類モデルの性能を向上することに寄与する。

【0082】

そこで、分類モデルは、訓練過程及びテスト過程を経て最適化され、最適化した分類モデルは、生産及び今後の使用のために、未知の画像がテストされる場所に保存される。

【0083】

そして、分類モデルは、モデル展開ＡＰＩの一部で、ユーザが口腔画像を撮影し、撮影された口腔写真を、分析サーバ３０にアップロードできるようにする。

【0084】

前述のような過程により、本発明は、ユーザが口腔写真をアップロードすると、機械学習アルゴリズムを用いて、口腔写真をリアルタイム分析して、該当口腔写真に口腔内の画像が含まれた口腔画像であるかを正しく判定することができる。

【0085】

これにより、本発明は、口腔写真を用いて、口腔健康状態を判定するための更なる分析を行う前に、撮影された口腔写真が口腔画像であるかを判定して、判定情報を案内することができ、更なる分析に際して、口腔画像を提供することができる。

【0086】

以上、本発明者によりなされた発明を、実施例により具体的に説明したが、本発明は、前記した実施例に限定されるものではなく、その要旨を逸脱しない範囲で、様々に変更可能なことは、言うまでもない。

【符号の説明】

【0087】

１０ 口腔画像学習／分類装置
２０ ユーザ端末
３０ 分析サーバ
３１ データ収集部
３２ データ分析部
３３ 画像判定部
３４ 判定情報提供部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2023-04-10

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

口腔写真を機械学習アルゴリズムで分析して、学習し分類する口腔画像学習／分類装置であって、
ユーザが直接撮影した口腔写真を提供し、前記口腔写真が口腔内の画像を含む口腔画像であるかを判定した判定情報を案内するユーザ端末と、
前記ユーザ端末から提供される口腔写真を収集し、前記収集された口腔写真を、ＣＮＮアルゴリズムで学習し分析して、該当口腔写真が口腔画像であるか否かを判定して、前記判定情報を前記ユーザ端末に提供する分析サーバと、を含み、
前記分析サーバは、
前記ユーザ端末からの撮影された前記口腔写真を収集するデータ収集部と、
前記収集された口腔写真を前記ＣＮＮアルゴリズムで学習し分析するデータ分析部と、
分析結果に基づいて、前記口腔画像と非口腔画像を分類して判定する画像判定部と、
判定された結果を前記判定情報として、前記ユーザ端末に転送する判定情報提供部と、を含み、
前記データ分析部は、前記収集された口腔写真を前処理して訓練データ及びテストデータに分割し、前記分割された訓練データを用いて、分類モデルを設計し、前記分割されたテストデータを用いて、設計された前記分類モデルの性能をテスト及び評価し、
前記画像判定部は、前記テスト及び評価が行われた分析モデルを用いて、前記収集された口腔写真が前記口腔画像であるか否かを判定し、
前記ＣＮＮアルゴリズムは、前記口腔画像に対して多数の畳み込み層とプーリング層を通過した後、全結合層を介して１次元ベクトルで変換された前層を１つのベクトルで連結して、前記口腔画像と非口腔画像を判定することを特徴とする口腔画像学習／分類装置。

【請求項2】

請求項１に記載の口腔画像学習／分類装置を用いて、前記口腔写真を前記機械学習アルゴリズムで分析して学習し分類する口腔画像学習／分類方法であって、
（ａ）分析サーバにおいて、ユーザ端末を用いて、撮影された前記口腔写真を収集するステップと、
（ｂ）前記収集された口腔写真を前記ＣＮＮアルゴリズムで前処理して、訓練データ及びテストデータに分割するステップと、
（ｃ）前記分割された訓練データを用いて、分類モデルを設計するステップと、
（ｄ）前記分割されたテストデータを用いて、設計された前記分類モデルの性能をテスト及び評価するステップと、
（ｅ）前記テスト及び評価が行われた分析モデルを用いて、前記収集された口腔写真が前記口腔画像であるか否かを判定するステップと、を含み、
前記ＣＮＮアルゴリズムは、前記口腔画像に対して多数の畳み込み層とプーリング層を通過した後、全結合層を介して１次元ベクトルで変換された前層を１つのベクトルで連結して、前記口腔画像と非口腔画像を判定することを特徴とする口腔画像学習／分類方法。

【請求項3】

更に、（ｆ）前記ステップ（ｅ）で判定された判定情報を、前記ユーザ端末に転送するステップを含み、
前記分析サーバは、前記口腔写真が前記口腔画像と判定されると、口腔健康状態を確認するための更なる分析情報を提供し、
前記ユーザ端末は、前記口腔写真が非口腔画像と判定されると、口腔内を再度撮影するように案内メッセージを表示することを特徴とする請求項２に記載の口腔画像学習／分類方法。