(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023110314
(43)【公開日】2023-08-09
(54)【発明の名称】口腔評価システム
(51)【国際特許分類】
A61B 1/24 20060101AFI20230802BHJP
A61B 5/107 20060101ALI20230802BHJP
A61B 1/045 20060101ALI20230802BHJP
G16H 50/00 20180101ALI20230802BHJP
【FI】
A61B1/24
A61B5/107 100
A61B1/045 614
A61B1/045 622
G16H50/00
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022011678
(22)【出願日】2022-01-28
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り [開催日]令和3年2月5日 [集会名、開催場所等]公立大学法人札幌市立大学看護学研究科第3回公開発表会、公立大学法人札幌市立大学桑園キャンパス(北海道札幌市中央区北11条西13丁目)及びWEB開催(主催は公立大学法人札幌市立大学看護学研究科) [ウェブサイトの掲載日]令和3年11月19日~12月28日 [ウェブサイトのアドレス]https://www.cs-oto.com/jans41/outline.html [開催日]令和3年12月4日 [集会名、開催場所]第41回日本看護科学学会学術集会、愛知県公立大学法人愛知県立大学看護学部(愛知県名古屋市守山区上志段味東谷)及びWEB開催(主催は愛知県公立大学法人愛知県立大学看護学部) [ウェブサイトの掲載日]令和3年12月17日 [ウェブサイトのアドレス]https://onlinelibrary.wiley.com/doi/10.1111/jocn.16182
(71)【出願人】
【識別番号】509180566
【氏名又は名称】公立大学法人札幌市立大学
(74)【代理人】
【識別番号】110001841
【氏名又は名称】弁理士法人ATEN
(72)【発明者】
【氏名】高橋 尚人
(72)【発明者】
【氏名】村松 真澄
(72)【発明者】
【氏名】石黒 未恵
【テーマコード(参考)】
4C038
4C161
5L099
【Fターム(参考)】
4C038VA04
4C038VB05
4C038VB07
4C038VC17
4C161AA08
4C161CC06
4C161HH51
4C161LL01
4C161SS21
4C161WW13
5L099AA04
5L099AA15
(57)【要約】
【課題】人の口腔の状態について適切な評価を実行できる。
【解決手段】端末装置200においてユーザーの口腔の撮像が実行される。端末装置200のタッチパネルディスプレイにはガイド画像が表示され、ユーザーはガイド画像に従って適切に撮像を実行できる。撮像結果を表すサンプル画像の画像データは端末装置200から評価装置100に送信される。評価装置100のCNN110はサンプル画像を評価し、評価結果として評価値を端末装置100に送信する。CNN110は、口唇、舌、唾液、粘膜、歯肉及び歯の各項目について評価結果を出力するように学習済みの畳み込み型ニューラルネットワークである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人の口腔に関するサンプル画像の入力に基づいて人の口腔に関する正常性を示す評価値を出力するように学習されたニューラルネットワークを備えていることを特徴とする口腔評価システム。
【請求項2】
ディスプレイ及び制御部を有し、前記サンプル画像を撮像により取得する撮像装置をさらに備えており、
前記制御部が、
前記撮像装置の位置に応じた被写体の画像を前記ディスプレイに表示させると共に、前記被写体の画像の表示範囲内における当該表示範囲に対して固定された位置に、前記被写体の画像の位置及び大きさの少なくともいずれかを指示するガイド画像を表示させることを特徴とする請求項1に記載の口腔評価システム。
【請求項3】
前記ニューラルネットワークが、前記人の口腔に関する複数の項目のそれぞれについて、前記サンプル画像の入力に基づいて前記評価値を出力するように構成されており、
前記ガイド画像が、前記複数の項目のそれぞれについて設定されていることを特徴とする請求項2に記載の口腔評価システム。
【請求項4】
前記ガイド画像が、前記ニューラルネットワークに入力される前記サンプル画像の形状及び大きさに応じた形状及び大きさを有していることを特徴とする請求項2又は3に記載の口腔評価システム。
【請求項5】
前記ガイド画像が、長方形の撮像範囲を指示する第1指示画像及び口腔の部位の形状を指示する第2指示画像の少なくともいずれかを含んでいることを特徴とする請求項2~4のいずれか1項に記載の口腔評価システム。
【請求項6】
前記ニューラルネットワークが、口唇、舌、唾液、粘膜、歯肉及び歯のそれぞれについて、前記サンプル画像の入力に基づいて前記評価値を出力するように構成されていることを特徴とする請求項1~5のいずれか1項に記載の口腔評価システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の口腔の状態を評価する口腔評価システムに関する。
【背景技術】
【0002】
口腔ケア等を行うためにあらかじめ口腔の状態を評価することがある。特許文献1は、かかる評価として要口腔介護者にアセスメントを実施し、その結果として得られたアセスメント情報に基づいて口腔ケアプラン等の各種のプログラムを要口腔介護者に施す口腔ケアの管理方法に関する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のように、口腔の状態の評価に基づいて口腔ケア等を実施する場合、事前の評価が適切に実施される必要がある。一方、多くの場合、このような評価は人が行うため、必ずしも正確で客観的な評価が適切に行われるとはいえない。
【0005】
本発明の目的は、人の口腔の状態について適切な評価を実行できる口腔評価システムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の口腔評価システムは、人の口腔に関するサンプル画像の入力に基づいて人の口腔に関する正常性を示す評価値を出力するように学習されたニューラルネットワークを備えている。
【0007】
本発明の口腔評価システムによると、人の口腔に関する正常性を示す評価値を出力するように学習されたニューラルネットワークを使用して評価を実行する。このため、評価結果が正確且つ客観的であり、適切に評価を実行できる。
【0008】
また、本発明においては、ディスプレイ及び制御部を有し、前記サンプル画像を撮像により取得する撮像装置をさらに備えており、前記制御部が、前記撮像装置の位置に応じた被写体の画像を前記ディスプレイに表示させると共に、前記被写体の画像の表示範囲内における当該表示範囲に対して固定された位置に、前記被写体の画像の位置及び大きさの少なくともいずれかを指示するガイド画像を表示させることが好ましい。これによると、ガイド画像が指示する位置及び大きさに応じて、被写体を適切に配置しつつ撮像を実施することで、ニューラルネットワークによる評価に適した撮像が可能となる。
【0009】
また、本発明においては、前記ニューラルネットワークが、前記人の口腔に関する複数の項目のそれぞれについて、前記サンプル画像の入力に基づいて前記評価値を出力するように構成されており、前記ガイド画像が、前記複数の項目のそれぞれについて設定されていることが好ましい。これによると、ニューラルネットワークが評価する複数の項目のそれぞれについてガイド画像が設定可能である。したがって、項目ごとに適切なガイド画像を設定することで、項目ごとに適切な撮像が可能となる。
【0010】
また、本発明においては、前記ガイド画像が、前記ニューラルネットワークに入力される前記サンプル画像の形状及び大きさに応じた形状及び大きさを有していることが好ましい。これによると、ガイド画像の形状及び大きさが、ニューラルネットワークへの入力画像の形状及び大きさに応じている。したがって、このようなガイド画像に従って被写体を撮像することにより、ニューラルネットワークによる評価に適した撮像が可能となる。
【0011】
また、本発明においては、前記ガイド画像が、長方形の撮像範囲を指示する第1指示画像及び口腔の部位の形状を指示する第2指示画像の少なくともいずれかを含んでいることが好ましい。これによると、第1指示画像が表示される場合、被写体をガイド画像が示す長方形に収まるように配置することで適切な撮像が可能となる。第2指示画像が表示される場合、被写体の部位をガイド画像が示す形状に沿って配置することで適切な撮像が可能となる。
【0012】
また、本発明においては、前記ニューラルネットワークが、口唇、舌、唾液、粘膜、歯肉及び歯のそれぞれについて、前記サンプル画像の入力に基づいて前記評価値を出力するように構成されていることが好ましい。これによると、口唇、舌、唾液、粘膜、歯肉及び歯のそれぞれについて適切な評価が可能となる。
【図面の簡単な説明】
【0013】
【
図1】本発明の一実施形態に係る口腔評価システムの概略構成を示す機能ブロック図である。
【
図2】
図1の評価装置が備えているニューラルネットワークの構成を示す機能ブロック図である。
【
図3】
図1の評価装置による評価対象となる情報を入力するために端末装置に表示される画面の一例である。
【
図4】
図1の評価装置による評価対象となる情報を入力するために端末装置に表示される別の画面の一例である。
【
図5】
図1の評価装置による評価対象となる口腔の部位を選択するために端末装置に表示される画面の一例である。
【
図6】
図1の評価装置による評価対象となる口腔の部位を撮像するために端末装置に表示される画面の一例である。
【
図7】
図1の評価装置による評価結果を報知するために端末装置に表示される画面の一例である。
【
図8】
図1の評価装置による評価結果を報知するために端末装置に表示される別の画面の一例である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態に係る口腔評価システム1について、
図1~
図8を参照しつつ説明する。
図1に示すように、口腔評価システム1は、有線通信又は無線通信によって互いに通信可能な評価装置100及び端末装置200(本発明における「撮像装置」に対応)を備えている。評価装置100には、例えば、パーソナルコンピュータやサーバ用コンピュータ等の汎用のコンピュータが用いられる。端末装置200には、例えば、スマートフォンやタブレットPC等の携帯情報端末が用いられる。
【0015】
評価装置100及び端末装置200は、それぞれ、CPU(Central Processing Unit)、ROM(Read-Only Memory)及びRAM(Random Access Memory)、フラッシュメモリ等の記憶装置、並びに、入出力インタフェース等の各種インタフェース、スピーカ等のハードウェアと、後述の各種機能を実現するようにハードウェアを機能させるプログラムを含むソフトウェアとを備えている。ソフトウェアは、記憶装置に記録された、後述のCNN110を実現するプログラムデータ等からなる。そして、ハードウェアがソフトウェアに従って演算処理、入出力処理等の各種の情報処理を実行する。このようなソフトウェアに従ったハードウェアの機能により、以下において説明する各種の機能が実現される。
【0016】
評価装置100は、評価対象となる画像データを処理する学習済みのニューラルネットワークであるCNN110を備えている。CNN110は、畳み込み型ニューラルネットワーク(CNN;Convolutional Neural Network)である。CNN110には、後述の通り端末装置200が被験者の口腔を撮像した結果取得されるサンプル画像の画像データが入力される。CNN110は、入力された画像データが示す口腔の状態を評価し、その結果を評価値として出力する。評価結果は、後述の通り、端末装置200のタッチパネルディスプレイに表示される。
【0017】
CNN110は、
図2に示すように、入力されたデータを処理する複数の層を有している。この層は、畳み込み層111及び113並びにプーリング層112及び114を含む中間層と全結合層118と出力層119とからなる。中間層の各層は、外部からの入力又は前段の層からの出力に重み及び活性化関数を用いた演算を施し、演算結果を後段の層へと出力する。このうち、畳み込み層111及び113は、入力されたデータが示す画像に特徴抽出処理を施す。プーリング層112及び114は、畳み込み層111及び113によって抽出された特徴が像の位置の違い等の影響を受けないように縮小する。全結合層118は、中間層からの出力に重み及び活性化関数を用いた演算を施し、演算結果を後段の層へと出力する。出力層119は、全結合層118からの出力に対してソフトマックス関数を用いた演算を施す。これにより、全結合層118及び出力層119は、中間層からの出力に基づいて分類値(後述の評価値)を出力する。
【0018】
CNN110の学習について説明する。本学習に用いられるデータは、人の口腔の画像データと各画像データが示す口腔の状態の評価値を表すデータ(正解データ)とを含んでいる。評価値は所定の評価基準に従って付与される。この評価基準には、例えば、OAG(Eilers Oral Assessment Guide)が用いられてよい。OAGの評価項目は、声、嚥下、口唇、舌、唾液、粘膜、歯肉及び歯(義歯を含む)の8項目からなる。OAGの評価は、「1」「2」「3」の評価値がそれぞれ付与される3段階からなり、後者の段階ほど状態が悪いことに相当する。本実施形態においては、8項目のうち、口唇、舌、唾液、粘膜、歯肉及び歯の6項目(以下、「対象6項目」とする。)についてCNN110による評価を行うことが想定されている。画像データのそれぞれに「1」「2」「3」のいずれかが評価値として付与されることで学習用のデータが用意される。
【0019】
学習用の画像データは、歯科診療の際に取得された撮像結果等を用いて、対象6項目のそれぞれについて、撮像された画像中の該当箇所を所定の大きさ及び縦横比で切り取ることにより用意される。本発明者らは、画像の大きさ及び縦横比が、訓練によって学習されたCNN110による口腔の評価の精度に大きな影響を与えることを見出した。このため、学習用の画像データを用意する際には、適切な大きさ及び縦横比で画像を切り取ることが重要である。適切な縦横比は対象6項目のそれぞれによって異なる。例えば、ある項目には画像の大きさとして全画素数がAであることが適切であるが、他の項目には全画素数がB(>A)であることが適切である。また、ある項目には縦横比(X方向の画素数:Y方向の画素数)がa:b(a>b;横長)であることが適切であるが、他の項目には縦横比がc:d(c<d;縦長)であることが適切である。
【0020】
学習は、対象6項目のそれぞれについて以下の通り実施される。まず、上記の通り準備された項目ごとの学習用のデータのうちの7~9割を教師データとし、残りを検証データとする。次に、項目ごとの教師データを使用し、中間層及び全結合層118に含まれる重みを、損失関数が最小となるように最適化する。損失関数は、画像データをCNN110のモデルに入力した結果として出力層119から出力される値と正解データが示す値とを変数とし、これらの変数の差が大きいほど大きい値を取る。具体的には、勾配降下法により重みを更新する方法が用いられてよい。また、バッチ学習やバックプロパゲーションが用いられてもよい。全ての教師データを使用して重みを更新することにより1回の学習を実行する。そして、この学習で取得されたモデルについて、検証データを用いた精度を取得する。取得した精度に基づき、ハイパーパラメータを調整してから次の学習を実行する。このように学習を繰り返し実行することで、精度の高い学習済みのモデルを取得する。対象6項目の全てについて以上の学習が実行されることで、CNN110が取得される。
【0021】
端末装置200は、タッチパネルディスプレイ及びカメラを備えている。タッチパネルディスプレイは、画面への指等の接触によるユーザ入力を受け付ける入力機能と、画面に画像を表示する出力機能とを兼ね備えたデバイスである。端末装置200の筐体には被写体からの光を筐体内へと導く撮影窓が形成されている。カメラは、撮影窓から筐体内に入射した光を、光学系を通じて受け取る光電変換素子と、当該素子が光電変換により生成したアナログ信号をデジタル信号に変換するA/D変換回路とを有している。端末装置200は、カメラが出力したデジタル信号から被写体を表す画像データを生成する。
【0022】
端末装置200には、口腔評価システム1専用のアプリケーションソフトウェア(以下、「アプリ」とする。)がインストールされている。アプリが起動されると、端末装置200は、起動されたアプリケーションに従って、適宜の初期処理を実行した後、タッチパネルディスプレイに
図3~
図8の画面を順に表示させる。これらの画面は、OAGの評価項目に関する情報を入力するためのGUI(Graphical User Interface)画像を含んでいる。ユーザは、GUI画像に基づき、タッチパネルディスプレイに指やタッチペン等を接触させることで情報の入力や選択が可能である。
【0023】
図3の画面は、声に関する情報を入力する画面である。画面には、声を正常に出せるか否かについて、「出せる」「かすれる/低い」「出せない/痛い」の3つの選択肢(3段階の評価値に対応)から1つを選択するGUI画像が含まれている。
図4の画面は、
図3の画面を用いた入力後に表示され、嚥下に関する情報を入力する画面である。画面には、嚥下を正常にできるか否かについて、「できる」「痛みがある/できるが困難」「できない」の3つの選択肢(3段階の評価値に対応)から1つを選択するGUI画像が含まれている。
【0024】
図5の画面は、
図4の画面を用いた入力後に表示され、対象6項目のうちいずれについて評価するかを選択する画面である。対象6項目から1つを選択するGUI画像が画面に含まれている。
【0025】
図6の画面は、対象6項目のうち
図5の画面で選択された項目について、端末装置200に備えられたカメラによる撮影を行うための画面である。
図6の画面には、カメラの出力信号から生成された画像データに基づき、被写体を表す画像が表示される(不図示)。この画像は、端末装置200の撮影窓が向けられた被写体に対する端末装置200の位置に応じて逐次変化する。また、撮像データの取得のためのボタン画像B1が画面に含まれている。
【0026】
また、
図6の画面には、撮影用のガイド画像F1及びF2が被写体を表す画像に重ねて表示される。ガイド画像F1及びF2は、被写体の画像の位置及び大きさを指示するために、被写体を表す画像の表示範囲A内における表示範囲Aに対して固定された位置に表示される。ガイド画像F1は撮像範囲を示す長方形の画像(本発明における第1指示画像に対応)である。この長方形は、学習時に使用された学習用の画像データが示す画像の大きさ及び縦横比に応じた形状及び大きさを有している。つまり、CNN110の入力として設定された画像の大きさ及び形状(縦横比)に応じた長方形である。ガイド画像F2は、撮像対象となる部位の輪郭の形状を有する曲線状の画像(本発明における第2指示画像に対応)であり、ガイド画像F1が示す撮像範囲内に表示されている。アプリは、ガイド画像F1及びF2を示す画像データを対象6項目のそれぞれについて含んでいる。これに基づき、端末装置200は、
図5の画面で選択された項目に応じた内容のガイド画像F1及びF2をタッチパネルディスプレイに表示させる。
【0027】
ユーザは、ガイド画像F1及びF2に従って被写体に対する端末装置200の位置を調整する。具体的には、被写体である口腔の該当部位がガイド画像F1内に収まり且つ該当部位の輪郭がガイド画像F2に沿うように端末装置200を移動させる。そして、被写体に対する端末装置200の位置が定まったと判断したらボタン画像B1を選択する。これに応じ、端末装置200は、ボタン画像B1が選択された時点の被写体の画像におけるガイド画像F1に応じた領域を切り取ることで、評価装置100による評価対象となるサンプル画像を取得する。取得されたサンプル画像を示す画像データは評価装置100に送信される。評価装置100のCNN110は、このサンプル画像を示す画像データを入力とし、サンプル画像に対する評価値を出力する。出力された評価値は端末装置200に送信される。
【0028】
図7の画面はサンプル画像の評価結果をユーザに報知する画面の一例である。この画面には評価装置100から送信された評価値が表示される。この例では、唇の評価値「2」が表示された状態が示されている。また、
図7の画面には、評価値に応じたメッセージ(一例として「○○○○を意識して生活しましょう」)が表示される。さらに、
図7の画面には、評価を続けるか否かを選択するボタン画像B2及びB3が含まれている。ボタン画像B2が選択された場合には、
図5の画面を用いた評価対象の選択処理が再度実行される。これにより、対象6項目のうち2つ目以降の項目についての評価が可能である。ボタン画像B3が選択された場合にはアプリの実行状態が終了する。
【0029】
図8の画面は、対象6項目の全てについて評価が完了した場合に総合評価をユーザに報知する画面の一例である。
図8の画面には、8項目全ての評価値の合計とその内訳とを示す画像が含まれている。この例では、評価値の合計として「13」が、声、嚥下、口唇の評価値として「2」「1」「2」がそれぞれ表示された状態が示されている。また、
図8の画面には、評価値に応じたメッセージ(一例として「○○○○を意識して生活しましょう」)が表示される。さらに、
図8の画面には、評価結果の出力を行うことを選択するボタン画像B4と評価を終了するボタン画像B5とが含まれている。ボタン画像B4が選択された場合には、評価結果を印刷用紙に印刷したり磁気式又は光学式の記録媒体に記録したりするための別のGUI画像(不図示)が表示される。ボタン画像B6が選択された場合にはアプリの実行状態が終了する。
【0030】
[実施形態の効果]
以上説明した本実施形態によると、評価装置100のCNN110が、人の口腔に関する正常性を示す評価値を出力するように学習されている。このため、評価結果が正確且つ客観的であり、適切に評価を実行できる。
【0031】
また、本実施形態によると、端末装置200を使用して口腔の部位を撮像する際に、タッチパネルディスプレイにガイド画像F1及びF2が表示される。したがって、ガイド画像F1及びF2が指示する位置及び大きさに応じて被写体を適切に配置しつつ撮像を実施することで、CNN110による評価に適した撮像が可能となる。
【0032】
また、本実施形態によると、ガイド画像F1の形状及び大きさが、CNN110への入力画像の形状及び大きさに応じている。したがって、このようなガイド画像F1に従って被写体を撮像することにより、CNN110による評価に適した撮像が可能となる。
【0033】
また、本実施形態によると、CNN110が評価する対象6項目のそれぞれについてガイド画像F1及びF2が設定可能である。これにより、項目ごとに適切なガイド画像F1及びF2を設定することで、項目ごとに適切な撮像が可能となる。
【0034】
また、本実施形態によると、ガイド画像F1が示す長方形に収まるように被写体を配置することで適切な撮像が可能となる。また、ガイド画像F2が示す輪郭に沿って被写体の部位を配置することで適切な撮像が可能となる。
【0035】
<変形例>
以上は、本発明の好適な実施形態についての説明であるが、本発明は上述の実施形態に限られるものではなく、課題を解決するための手段に記載された範囲の限りにおいて様々な変更が可能なものである。
【0036】
例えば、上述の実施形態においては、評価装置100と端末装置200が互いに通信可能であり、これらの装置同士でサンプル画像のデータや評価結果が送信される。これに代えて、又は加えて、通信によりデータが送信されるのでなく、その他の方法でデータが互いに受け渡されてもよい。例えば、磁気式又は光学式の記録媒体を通じてデータが受け渡されてもよい。
【0037】
また、上述の実施形態においては、長方形のガイド画像F1及び口腔の部位の輪郭を表すガイド画像F2が用いられている。これに代えて、又は加えて、その他の形状のガイド画像が用いられてもよい。例えば、ガイド画像F1の代わりに、長方形の四隅や二隅のみを表示するガイド画像が用いられてもよい。このように、ガイド画像F1の形状は、長方形の撮像範囲を指示するものであればいずれでもよい。また、ガイド画像F2の代わりに、口腔の部位の輪郭の一部を表示したガイド画像や、口腔の部位の写真画像を半透明にしたガイド画像が用いられてもよい。このように、ガイド画像F2の形状は、口腔の部位の形状を指示するものであればいずれでもよい。
【符号の説明】
【0038】
1 口腔評価システム
100 評価装置
110 CNN
200 端末装置
F1、F2 ガイド画像