(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024115927
(43)【公開日】2024-08-27
(54)【発明の名称】顎関節評価装置および顎関節評価方法
(51)【国際特許分類】
A61B 5/11 20060101AFI20240820BHJP
A61B 5/107 20060101ALI20240820BHJP
【FI】
A61B5/11 300
A61B5/107
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023021839
(22)【出願日】2023-02-15
(71)【出願人】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(71)【出願人】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100121980
【弁理士】
【氏名又は名称】沖山 隆
(74)【代理人】
【識別番号】100128107
【弁理士】
【氏名又は名称】深石 賢治
(74)【代理人】
【識別番号】100123995
【弁理士】
【氏名又は名称】野田 雅一
(72)【発明者】
【氏名】土井 千章
(72)【発明者】
【氏名】檜山 聡
(72)【発明者】
【氏名】中山 梨奈
(72)【発明者】
【氏名】豊岡 継泰
(72)【発明者】
【氏名】佐々木 啓一
(72)【発明者】
【氏名】飯久保 正弘
(72)【発明者】
【氏名】小坂 健
(72)【発明者】
【氏名】小川 徹
(72)【発明者】
【氏名】日原 大貴
(72)【発明者】
【氏名】泉田 一賢
(72)【発明者】
【氏名】互野 亮
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038VA04
4C038VB05
4C038VB08
4C038VC05
(57)【要約】
【課題】対象者の口の開閉を表す画像データから新たな特徴量を求め、得られた特徴量に基づいて、顎関節の状態を簡易に且つ精度良く評価する。
【解決手段】顎関節評価装置10は、対象者の口の開閉を表す画像データを取得する取得部11と、取得部11により取得された画像データから、対象者の開口時の左右対称性を表す特徴量、対象者の最大開口時の縦横比を表す特徴量、および対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出する算出部12と、算出部12により算出された特徴量に基づいて、対象者の顎関節の状態を評価する評価部13と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象者の口の開閉を表す画像データを取得する取得部と、
前記取得部により取得された前記画像データから、前記対象者の開口時の左右対称性を表す特徴量、前記対象者の最大開口時の縦横比を表す特徴量、および、前記対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出する算出部と、
前記算出部により算出された特徴量に基づいて、前記対象者の顎関節の状態を評価する評価部と、
を備える顎関節評価装置。
【請求項2】
前記算出部は、前記画像データから、前記対象者の口の開閉動作中の左右へのずれを表す特徴量をさらに算出する、請求項1に記載の顎関節評価装置。
【請求項3】
前記対象者の開口時の左右対称性を表す特徴量として、前記対象者の上唇の2点と下唇の2点とを、交差するように結んだ2つの対角線の長さの比に基づき算出される値、が用いられる、請求項1に記載の顎関節評価装置。
【請求項4】
前記対象者の最大開口時の縦横比を表す特徴量として、開口時の口唇の上端部と下端部間の直線距離と、開口時の口唇の左端部と右端部間の直線距離と、の比に基づき算出される値が用いられる、請求項1に記載の顎関節評価装置。
【請求項5】
前記対象者の最大開口時の縦横比を表す特徴量として、開口時の口唇の上端部と下端部間の高さ方向に沿った距離と、開口時の口唇の左端部と右端部間の水平方向に沿った距離と、の比に基づき算出される値が用いられる、請求項1に記載の顎関節評価装置。
【請求項6】
前記対象者の閉口動作のスムーズさを表す特徴量として、閉口動作中の開口度合いの時系列的変化に基づき得られる値が用いられる、請求項1に記載の顎関節評価装置。
【請求項7】
前記対象者の口の開閉動作中の左右へのずれを表す特徴量として、開口方向の中心線に対する、開口時の下唇中心点の軌跡の、左右方向に沿った距離の最大値が用いられる、請求項2に記載の顎関節評価装置。
【請求項8】
前記評価部による評価結果として、
顎関節に関する疾患を罹患している可能性を含む評価情報、および、前記対象者の顔における前記疾患を罹患している可能性の有る箇所を示す画像情報、を出力する出力部、
をさらに備える、請求項1に記載の顎関節評価装置。
【請求項9】
前記評価部は、
前記算出部により算出された特徴量を説明変数とし、前記対象者の顎関節の状態の評価結果を目的変数として機械学習を行うことで、前記対象者の顎関節の状態を評価するための学習モデルを生成するモデル生成部と、
前記モデル生成部により生成された学習モデルに、新たな対象者の画像データから算出された特徴量を入力することで、前記学習モデルから出力される前記新たな対象者の顎関節の状態の評価結果を取得する評価結果取得部と、
を含む、請求項1に記載の顎関節評価装置。
【請求項10】
顎関節評価装置によって実行される顎関節評価方法であって、
対象者の口の開閉を表す画像データを取得する取得ステップと、
前記取得ステップにおいて取得された前記画像データから、前記対象者の開口時の左右対称性を表す特徴量、前記対象者の最大開口時の縦横比を表す特徴量、および、前記対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出する算出ステップと、
前記算出ステップにおいて算出された特徴量に基づいて、前記対象者の顎関節の状態を評価する評価ステップと、
を備える顎関節評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象者の顎関節の状態を評価する顎関節評価装置および顎関節評価方法に関する。なお、本明細書における「画像」には、静止画像および動画像が含まれるものとする。
【背景技術】
【0002】
従来、顎関節症などは、医師が患者の身体を触診することで検知することが一般的であったが、近年では、患者自身で行うセルフチェックやリモートでの診断支援、診療への世間の関心が高まっており、そのため、医師による触診をせずとも、簡易に且つ精度良く顎関節症を罹患している可能性が把握できる技術が待望されている。これに関連し、対象者の口の開閉動作の画像データから対象者の顎関節の状態(顎の動き)を評価する技術が下記の特許文献1および2に提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第7090245号公報
【特許文献2】特開2010-142285号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1および2は、具体的には、口の開閉動作の画像データから左右の咀嚼回数、開口時の左右へのずれ幅といった特徴量を求め、得られた特徴量に基づいて顎関節の状態を評価する技術を開示している。しかしながら、実際には、上記のような特徴量だけでは検知することが困難な顎関節の疾患も存在する。
【0005】
以上を踏まえ、本開示は、対象者の口の開閉を表す画像データから新たな特徴量を求め、得られた特徴量に基づいて、顎関節の状態を簡易に且つ精度良く評価することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る顎関節評価装置は、対象者の口の開閉を表す画像データを取得する取得部と、前記取得部により取得された前記画像データから、前記対象者の開口時の左右対称性を表す特徴量、前記対象者の最大開口時の縦横比を表す特徴量、および、前記対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出する算出部と、前記算出部により算出された特徴量に基づいて、前記対象者の顎関節の状態を評価する評価部と、を備える。
【0007】
本開示に係る顎関節評価装置では、取得部が、対象者の口の開閉を表す画像データを取得する。ここで取得される画像データは、例えば、対象者の口の開閉動作を所定時間継続して撮像することで得られた動画像データ、対象者の最大開口状態を撮像することで得られた静止画像データなどを広く含む。そして、算出部が、取得された画像データから、対象者の開口時の左右対称性を表す特徴量、対象者の最大開口時の縦横比を表す特徴量、および、対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出し、評価部が、算出された特徴量に基づいて、対象者の顎関節の状態を評価する。このように、上記の顎関節評価装置は、新たな特徴量として、対象者の開口時の左右対称性を表す特徴量、対象者の最大開口時の縦横比を表す特徴量、および、対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を上記画像データから算出し、算出された特徴量に基づいて、対象者の顎関節の状態を評価する。そのため、上記のような新たな特徴量に基づいて、顎関節の状態を簡易に且つ精度良く評価することができる。
【発明の効果】
【0008】
本開示によれば、対象者の口の開閉を表す画像データから新たな特徴量を求め、得られた特徴量に基づいて、顎関節の状態を簡易に且つ精度良く評価することができる。
【図面の簡単な説明】
【0009】
【
図1】発明の実施形態に係る顎関節評価装置および周辺装置の機能ブロック構成を示す図である。
【
図2】(a)は学習モデル生成時の処理を示すフロー図であり、(b)は学習モデル生成後の処理を示すフロー図である。
【
図4】(a)は動画像データからの特徴点抽出を説明するための図であり、(b)は動画像データから取得された時系列的な開口度合いの変化を示すグラフであり、(c)は切り分け処理を説明するための図である。
【
図5】開口時の左右対称性を表す第1特徴量の算出方法を説明するための図である。
【
図6】(a)は最大開口時の縦横比を表す第2特徴量の算出方法を説明するための図であり、(b)は第2特徴量の別の算出方法を説明するための図である。
【
図7】(a)は閉口動作のスムーズさを表す第3特徴量を説明するための、開口度合いの時系列的な変化を示すグラフであり、(b)は開口度合いを時間で微分して得られた値の時系列的な変化を示すグラフである。
【
図8】閉口速度の大きさに応じて長さが変化するベクトルを口唇の上に表示させた画像の時系列的な変化を示す図である。
【
図9】(a)は顎関節症を罹患している可能性の有る者による口の開口時のジグザグ動作を示す図であり、(b)は健全な口の開口動作を示す図である。
【
図10】評価情報および画像情報を含む評価結果の出力例を示す図である。
【
図11】第1~第4特徴量に係る可視化の出力例(画像サンプル)を示す図である。
【
図12】(a)は
図1の構成の第1変形例を示す図であり、(b)は
図1の構成の第2変形例を示す図である。
【
図13】顎関節評価装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しながら、本開示に係る顎関節評価装置および顎関節評価方法の実施形態を説明する。
【0011】
(顎関節評価装置の構成)
図1に示すように、本実施形態における顎関節評価装置10は、携帯端末1に内包されており、携帯端末1はカメラ20を備えている。携帯端末1は、スマートフォン、携帯電話、タブレット端末、ノートパソコンなどに該当する。
図1のように顎関節評価装置10が携帯端末1に内包された構成は一例であり、この構成に限定されるものではない。別の構成のバリエーションについては、
図12(a)、(b)を用いて後述する。
【0012】
顎関節評価装置10は、本開示に係る機能を発揮するために、機能ブロックとして、取得部11、算出部12、評価部13、および出力部14を備える。以下、各部の機能を説明する。
【0013】
取得部11は、顎関節の状態を評価される対象者(以下「対象者」と称する)の口の開閉を表す画像データを取得する機能部であり、例えば、対象者が自己の携帯端末1のカメラ20によって、自己の口の開閉動作および開閉状態を撮像することで得られた画像データを取得する。なお、「画像データ」は静止画像データおよび動画像データを広く含む概念であるが、本実施形態では、閉口動作のスムーズさを表す第3特徴量の算出のため、動画像データが必要となるため、取得部11が動画像データを取得するものとする。
【0014】
算出部12は、取得部11により取得された動画像データから、対象者の開口時の左右対称性を表す第1特徴量、対象者の最大開口時の縦横比を表す第2特徴量、および、対象者の閉口動作のスムーズさを表す第3特徴量、のうち1つ以上を算出する機能部である。本実施形態では、算出部12が、上記第1~第3特徴量の全てを算出するとともに、対象者の口の開閉動作中の左右へのずれを表す第4特徴量も算出する形態を説明する。
【0015】
評価部13は、算出部12により算出された様々な特徴量に基づいて、対象者の顎関節の状態を評価する機能部であり、具体的には、後述する機械学習を行って生成した学習モデルを用いて対象者の顎関節の状態を評価する。評価部13は、上記の学習モデルを生成するモデル生成部13Aと、生成された学習モデル13Bと、学習モデル13Bを用いて対象者の顎関節の状態の評価結果を取得する評価結果取得部13Cと、を含む。
【0016】
より詳しくは、モデル生成部13Aは、算出部12により算出された様々な特徴量を説明変数とし、対象者の顎関節の状態の評価結果を目的変数として機械学習を行うことで、対象者の顎関節の状態を評価するための学習モデル13Bを生成する機能部であり、評価結果取得部13Cは、新たな対象者の動画像データから算出された様々な特徴量を学習モデル13Bに入力することで、学習モデル13Bから出力される新たな対象者の顎関節の状態の評価結果を取得する機能部である。
【0017】
出力部14は、評価部13による評価結果として、顎関節に関する疾患を罹患している可能性を含む評価情報、および、対象者の顔における疾患を罹患している可能性の有る箇所を示す画像情報を出力する機能部である。「出力」としては、主に、ディスプレイへの表示出力が想定されるが、印刷出力、音声出力、外部装置へのデータ出力など様々な態様が含まれる。なお、出力部14による出力例は後述する。
【0018】
(顎関節評価装置において実行される処理)
次に、顎関節評価装置10において実行される処理、即ち、顎関節評価方法に基づく処理について説明する。同処理としては、
図2(a)に示す学習モデル生成時の処理と、
図2(b)に示す生成された学習モデルを用いた顎関節評価処理とがあり、以下、これらを順に説明する。
【0019】
図2(a)に示す学習モデル生成時の処理では、顎関節評価装置10における取得部11が、例えば、対象者が自己の携帯端末1のカメラ20によって、自己の口の開閉動作および開閉状態を撮像することで得られた動画像データを取得する(ステップS1)。次に、算出部12が、後述する
図3の処理を実行することで、様々な特徴量(第1~第4特徴量)を算出する(ステップS2)。このステップS2の処理は、後述する学習モデルを用いた顎関節評価処理(
図2(b))と共通する処理であるため、ステップS2の処理の詳細は、
図2(b)の説明の後で説明する。その後、評価部13が、様々な特徴量(第1~第4特徴量)に基づき、例えば、予め定めた評価基準と上記特徴量との比較等を行うことで、対象者の顎関節の状態を評価し、モデル生成部13Aにおいて上記の様々な特徴量を説明変数とし、得られた評価結果を目的変数として機械学習を行うことで、顎関節の状態を評価するための学習モデル13Bを生成する(ステップS3)。この時点では学習モデル13Bは生成中(未完成)であるため、様々な特徴量(第1~第4特徴量)に基づく対象者の顎関節の状態の評価結果には、評価能力・知見を持った評価者(人間)による評価を加えてもよい。その後、オプションの処理として、出力部14が、評価結果として、顎関節に関する疾患を罹患している可能性を含む評価情報、および、対象者の顔における疾患を罹患している可能性の有る箇所を示す画像情報を出力してもよく(破線で示すステップS4)、評価能力・知見を持った評価者(人間)が、出力された評価情報および画像情報を確認して、適宜、評価基準の修正および評価結果の修正を行ってもよい。
【0020】
図2(b)に示す学習モデルを用いた顎関節評価処理では、前述した
図2(a)の処理と同様に、顎関節評価装置10における取得部11が、例えば、対象者が自己の携帯端末1のカメラ20によって、自己の口の開閉動作および開閉状態を撮像することで得られた動画像データを取得し(ステップS1)、算出部12が、後述する
図3の処理を実行することで、様々な特徴量(第1~第4特徴量)を算出する(ステップS2)。その後、評価部13における評価結果取得部13Cが、算出された特徴量を学習モデル13Bに入力することで、学習モデル13Bから出力される顎関節の状態の評価結果を取得する(ステップS3A)。その後、出力部14が、評価結果として、顎関節に関する疾患を罹患している可能性を含む評価情報、および、対象者の顔における疾患を罹患している可能性の有る箇所を示す画像情報を出力する(ステップS4)。
【0021】
(様々な特徴量の算出処理について)
以下、
図3に示す特徴量の算出処理(
図2(a)、(b)のステップS2)を詳細に説明する。ここでの特徴量の算出処理は、取得された時系列的な動画像データのうち、対象者が口を閉じた状態から最大開口まで口を開け、その後、閉口動作をして口を閉じるまでを表す動画像データを、1つの処理単位とする。
【0022】
まず、算出部12は、取得された時系列的な動画像データを上記の処理単位ごとに切り分けるために、動画像データに対する前処理(以下の平滑化処理、切り分け処理など)を実行する(ステップS21)。例えば、算出部12は、
図4(a)に示すように、動画像から把握される対象者の顔における予め定められた複数の特徴点(大きな黒丸で図示)の座標を求め、それら複数の特徴点の座標の時系列的な変化を求める。具体的には、算出部12は、
図4(a)に示す上唇の中心点P1と下唇の中心点P2のそれぞれに関する時系列的な座標を求め、中心点P1と中心点P2間の距離から、
図4(b)に多数のプロットされた点で示す時系列的な開口度合いの変化を求めてよい。そして、算出部12は、上記の開口度合いの時系列的な変化を表すデータに対し、既存の平滑化処理を行うことで
図4(b)に滑らかな曲線で示すグラフを得る。さらに、算出部12は、
図4(b)のグラフにおいて開口度合い=0(口を閉じた状態に相当)が所定時間継続することを検知し、その継続中の境界線Bによって、時系列的な動画像データを処理単位ごとに切り分け、
図4(c)に示す処理単位ごとの動画像データを得る。
【0023】
次に、算出部12は、以下のようにして、開口時の左右対称性(口の歪み)を表す第1特徴量を算出する(
図3のステップS22)。例えば、算出部12は、
図5に示すように、対象者の上唇における所定の2点Pa、Pbと、下唇における所定の2点Pc、Pdと、を交差するように結んだ2つの対角線の長さD1、D2の比として、(D1/D2)および(D2/D1)を算出し、以下の式(1)のように上記2つの比のうち大きい値を第1特徴量とする。
第1特徴量=MAX(D1/D2, D2/D1) …(1)
上記の第1特徴量は、その値が大きいほど、開口時の左右対称性が低く(開口時の左右非対称性が高く)、口の歪みが大きいといえる。なお、上記の第1特徴量の算出方法は、一例であり、2つの対角線の長さD1、D2の比に基づき得られる別の値を用いてもよい。
【0024】
次に、算出部12は、以下のようにして、最大開口時の縦横比を表す第2特徴量を算出する(
図3のステップS23)。例えば、算出部12は、
図6(a)に示すように、対象者の開口時の口唇の上端部(上唇の中心点)P1と下端部(下唇の中心点)P2間の直線距離v1と、開口時の口唇の左端部P3と右端部P4間の直線距離h1とを求め、これらの比(v1/h1)を第2特徴量とする。また、別の例として、算出部12は、
図6(b)に示すように、対象者の開口時の口唇の上端部P1と下端部P2間の高さ方向に沿った距離v2と、開口時の口唇の左端部P3と右端部P4間の水平方向に沿った距離h2とを求め、これらの比(v2/h2)を第2特徴量として採用してもよい。
【0025】
次に、算出部12は、以下のようにして、閉口動作のスムーズさを表す第3特徴量を算出する(
図3のステップS24)。例えば、算出部12は、前述したステップS21で得られた、
図7(a)に実線の曲線で表される時系列的な開口度合いの変化に関するデータを得て、さらに上記データを時間で微分することで、
図7(b)に実線の曲線で表される時系列的な閉口動作の速度(閉口速度)の変化に関するデータを得る。
図7(a)、(b)にて実線で示すグラフは、顎関節症を罹患している可能性の有る者に関するデータを例示しており、開口度合いが低下していく閉口動作の途中で閉口動作が停滞する現象(
図7(a)にて矢印Xで示す箇所)が顕在化し、閉口速度が一時的に低下する現象(
図7(b)にて矢印Yで示す箇所)が見られる。また、
図7(a)、(b)には、顎関節症に罹患していない者に関するデータについても破線で例示しており、顎関節症に罹患していない者のグラフでは、上記のような閉口動作が停滞する現象および閉口速度が一時的に低下する現象は見られず、閉口動作はスムーズに行われる。算出部12は、例えば、上記のような時系列的な開口度合いの変化に関するデータ(
図7(a))および時系列的な閉口速度の変化に関するデータ(
図7(b))を第3特徴量として算出する。また、出願人は、閉口運動のスムーズさを可視化する方法を検討した。第3特徴量は、第1、第2特徴量とは異なり、時系列的なデータ(時系列的な開口度合いの変化、時系列的な閉口速度の変化)を用いる必要があるため、対象者の口の開閉動作を撮像した動画像データを用いて可視化した。もちろん、口の開閉動作の動画像を見ることで、閉口動作のスムーズさを確認することは可能であるが、更に分かりやすくするために、
図8に示すように、対象者の閉口速度の大きさに応じて長さが変化するベクトル(上向き矢印)を対象者の口唇の上に表示した画像を時系列的に出力し、可視化した。
【0026】
次に、算出部12は、以下のようにして、口の開閉動作中の左右へのずれを表す第4特徴量を算出する(
図3のステップS25)。一般的に、顎関節症を罹患している可能性の有る者の典型的な挙動として、開口時の左右へのずれ(ジグザグ動作)がある。
図9(a)は顎関節症を罹患している可能性の有る者による開口時の顕著なジグザグ動作の一例を示しており、開口方向の中心線L1に対し、ジグザグ動作が現れやすい下唇の中心点P2の開口時の軌跡L2が左右方向(水平方向)に沿ってずれていることが分かる。一方、
図9(b)は健全な開口動作の一例を示しており、下唇の中心点P2の開口時の軌跡L2が中心線L1とほぼ重なっていることが分かる。なお、
図9(a)、(b)の背景画像には、開口動作で最も広く口を開けている瞬間の静止画像を使用しており、基準となる中心線L1は、下唇の中心点P2の座標分布を主成分分析することによって求められる。算出部12は、上記ジグザグ動作を見つけるため、一例として、
図9(a)における中心線L1からの軌跡L2の水平方向の距離(ずれ)を算出し、距離(ずれ)の最大値を第4特徴量として算出する。このとき、中心線に対し左側へのずれについては負の数値で表し、右側へのずれについては正の数値で表すことで、ずれの方向性を表してもよい。
【0027】
なお、上記の特徴量の算出処理(
図3)では、第1~第4特徴量を順に算出する例を示したが、第1~第4特徴量を算出する順番は
図3に示す順序に限定されるものではなく、
図3とは異なる順序で算出してもよいし、第1~第4特徴量のうち複数の特徴量を同時並行で算出してもよい。
【0028】
前述したように、上記のようなステップS2の特徴量の算出処理によって様々な特徴量(第1~第4特徴量)を得た後は、
図2(a)の学習モデル生成時の処理では、評価部13が、様々な特徴量(第1~第4特徴量)に基づき対象者の顎関節の状態を評価し、モデル生成部13Aにおいて上記の様々な特徴量を説明変数、得られた評価結果を目的変数として機械学習を行うことで、顎関節の状態を評価するための学習モデル13Bを生成する(ステップS3)。一方、
図2(b)の学習モデルを用いた評価処理では、上記のようなステップS2の後、評価部13における評価結果取得部13Cが、算出された特徴量を学習モデル13Bに入力することで、学習モデル13Bから出力される顎関節の状態の評価結果を取得する(ステップS3A)。その後、出力部14が、評価結果として、顎関節に関する疾患を罹患している可能性を含む評価情報、および、対象者の顔における疾患を罹患している可能性の有る箇所を示す画像情報を出力する(ステップS4)。
【0029】
図10には、ステップS4における出力例を示す。出力部14は、評価結果として、対象者の顔における顎関節に関する疾患を罹患している可能性の有る箇所を示す画像(
図10の「可視化例」)を出力するとともに、「出力可能な値」として顎関節に関する疾患を罹患している可能性を含む様々な評価情報を出力する。評価情報には、例えば、顎関節症を罹患している可能性の有無に関する情報、症状を罹患している可能性の有る箇所に関する情報、判定理由・独自特徴量の値、AIの確信度などが挙げられる。特に「判定理由」については、
図10のように、部位別に判定理由を表示することが望ましく、例えば、顎の関節部分に対し「開口時に顎の関節のずれが生じています」といった判定理由を表示する例、口の部分に対し「開口がスムーズにできていません。(左右へのずれ:大きい)、(口の最大開口:小さい)」といった判定理由を表示する例などが挙げられる。
【0030】
また、出力部14は、前述したような第1~第4特徴量を対象者にイメージさせるために、
図11に示すような第1~第4特徴量それぞれの概要説明および画像サンプルを出力してもよい。
【0031】
(上記の実施形態によって奏する様々な効果)
上記の実施形態に係る顎関節評価装置10の算出部12は、新たな特徴量として、対象者の開口時の左右対称性を表す第1特徴量、対象者の最大開口時の縦横比を表す第2特徴量、および、対象者の閉口動作のスムーズさを表す第3特徴量を算出し、これら第1~第3特徴量に基づいて、対象者の顎関節の状態を評価するため、上記のような新たな特徴量に基づいて、顎関節の状態を簡易に且つ精度良く評価することができる。複数の特徴量を基礎とすることで、多様な視点から顎関節の状態の評価を行うことができる。
【0032】
また、算出部12は、さらに、対象者の口の開閉動作中の左右へのずれを表す第4特徴量を算出し、第4特徴量をさらに基礎として、対象者の顎関節の状態を評価するため、顎関節の状態をより精度良く評価することができる。
【0033】
また、対象者の開口時の左右対称性を表す第1特徴量として、対象者の上唇の2点と下唇の2点とを交差するように結んだ2つの対角線の長さの比に基づき算出される値を用いることで、当該値によって、もし開口時の左右非対称性が有る場合に、その左右非対称性をより明確に把握することができる。
【0034】
また、対象者の最大開口時の縦横比を表す第2特徴量として、開口時の口唇の上端部と下端部間の直線距離と、開口時の口唇の左端部と右端部間の直線距離と、の比に基づき算出される値を用いることで、当該値によって、もし対象者の最大開口に異常が有る場合に、その異常をより明確に把握することができる。
【0035】
また、上記の第2特徴量の別の例として、開口時の口唇の上端部と下端部間の高さ方向に沿った距離と、開口時の口唇の左端部と右端部間の水平方向に沿った距離と、の比に基づき算出される値を用いてもよい。この場合も同様に、もし対象者の最大開口に異常が有る場合に、その異常をより明確に把握することができる。
【0036】
また、対象者の閉口動作のスムーズさを表す第3特徴量として、閉口動作中の開口度合いの時系列的変化に基づき得られる値を用いることで、もし対象者の閉口動作のスムーズさに異常が有る場合に、その異常をより明確に把握することができる。
【0037】
また、対象者の口の開閉動作中の左右へのずれを表す第4特徴量として、開口方向の中心線に対する、開口時の下唇中心点の軌跡の、左右方向に沿った距離の最大値を用いることで、もし対象者の口の開閉動作中の左右へのずれに関し異常が有る場合に、その異常をより明確に把握することができる。
【0038】
また、顎関節評価装置10が出力部14を備えたことで、出力部14によって、評価部13による評価結果として、顎関節に関する疾患を罹患している可能性を含む評価情報、および、対象者の顔における疾患を罹患している可能性の有る箇所を示す画像情報が出力されるため、対象者は、上記評価情報および画像情報をより明確に認知することができる。
【0039】
また、評価部13が、モデル生成部13Aおよび評価結果取得部13Cを含む構成としたため、機械学習により生成された学習モデル13Bを用いて、顎関節の状態を簡易に且つ精度良く評価することができる。
【0040】
(変形例)
以下、
図1に示す顎関節評価装置10の構成に関する第1、第2変形例を説明する。
図1には、カメラ20を備えた携帯端末1に、顎関節評価装置10が内包された構成例を示したが、
図12(a)に示すように、顎関節評価装置10が携帯端末から構成され、取得部11は、外部のカメラ20(例えば所定の場所に設置されたデジタルカメラなど)から動画像データを取得する形態(第1変形例)を採用してもよい。また、
図12(b)に示すように、顎関節評価装置10が携帯端末から構成され、取得部11を携帯端末に搭載されたカメラによって構成する形態(第2変形例)を採用してもよい。上記のような
図12(a)、(b)の何れの形態であったとしても、顎関節評価装置10は上記実施形態と同様の処理を実行し、同様の効果を奏することができる。
【0041】
なお、本開示の要旨は以下の[1]~[9]に存する。
[1] 対象者の口の開閉を表す画像データを取得する取得部と、
前記取得部により取得された前記画像データから、前記対象者の開口時の左右対称性を表す特徴量、前記対象者の最大開口時の縦横比を表す特徴量、および、前記対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出する算出部と、
前記算出部により算出された特徴量に基づいて、前記対象者の顎関節の状態を評価する評価部と、
を備える顎関節評価装置。
[2] 前記算出部は、前記画像データから、前記対象者の口の開閉動作中の左右へのずれを表す特徴量をさらに算出する、[1]に記載の顎関節評価装置。
[3] 前記対象者の開口時の左右対称性を表す特徴量として、前記対象者の上唇の2点と下唇の2点とを、交差するように結んだ2つの対角線の長さの比に基づき算出される値、が用いられる、[1]又は[2]に記載の顎関節評価装置。
[4] 前記対象者の最大開口時の縦横比を表す特徴量として、開口時の口唇の上端部と下端部間の直線距離と、開口時の口唇の左端部と右端部間の直線距離と、の比に基づき算出される値が用いられる、[1]~[3]の何れか一項に記載の顎関節評価装置。
[5] 前記対象者の最大開口時の縦横比を表す特徴量として、開口時の口唇の上端部と下端部間の高さ方向に沿った距離と、開口時の口唇の左端部と右端部間の水平方向に沿った距離と、の比に基づき算出される値が用いられる、[1]~[3]の何れか一項に記載の顎関節評価装置。
[6] 前記対象者の閉口動作のスムーズさを表す特徴量として、閉口動作中の開口度合いの時系列的変化に基づき得られる値が用いられる、[1]~[5]の何れか一項に記載の顎関節評価装置。
[7] 前記対象者の口の開閉動作中の左右へのずれを表す特徴量として、開口方向の中心線に対する、開口時の下唇中心点の軌跡の、左右方向に沿った距離の最大値が用いられる、[2]に記載の顎関節評価装置。
[8] 前記評価部による評価結果として、
顎関節に関する疾患を罹患している可能性を含む評価情報、および、前記対象者の顔における前記疾患を罹患している可能性の有る箇所を示す画像情報、を出力する出力部、
をさらに備える、[1]~[7]の何れか一項に記載の顎関節評価装置。
[9] 前記評価部は、
前記算出部により算出された特徴量を説明変数とし、前記対象者の顎関節の状態の評価結果を目的変数として機械学習を行うことで、前記対象者の顎関節の状態を評価するための学習モデルを生成するモデル生成部と、
前記モデル生成部により生成された学習モデルに、新たな対象者の画像データから算出された特徴量を入力することで、前記学習モデルから出力される前記新たな対象者の顎関節の状態の評価結果を取得する評価結果取得部と、
を含む、[1]~[8]の何れか一項に記載の顎関節評価装置。
[10] 顎関節評価装置によって実行される顎関節評価方法であって、
対象者の口の開閉を表す画像データを取得する取得ステップと、
前記取得ステップにおいて取得された前記画像データから、前記対象者の開口時の左右対称性を表す特徴量、前記対象者の最大開口時の縦横比を表す特徴量、および、前記対象者の閉口動作のスムーズさを表す特徴量、のうち1つ以上を算出する算出ステップと、
前記算出ステップにおいて算出された特徴量に基づいて、前記対象者の顎関節の状態を評価する評価ステップと、
を備える顎関節評価方法。
【0042】
(用語の説明、ハードウェア構成(
図13)の説明など)
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0043】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)や送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【0044】
例えば、本実施形態における顎関節評価装置10は、本開示の処理を実行するコンピュータとして機能してもよい。
図13は、顎関節評価装置10のハードウェア構成の一例を示す図である。上述の顎関節評価装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
【0045】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。顎関節評価装置10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【0046】
顎関節評価装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【0047】
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。
【0048】
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【0049】
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
【0050】
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD-ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【0051】
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置1004は、例えば周波数分割複信(FDD:Frequency Division Duplex)及び時分割複信(TDD:Time Division Duplex)の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。
【0052】
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
【0053】
また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【0054】
また、顎関節評価装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。
【0055】
情報の通知は、本開示において説明した態様/実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング(例えば、DCI(Downlink Control Information)、UCI(Uplink Control Information))、上位レイヤシグナリング(例えば、RRC(Radio Resource Control)シグナリング、MAC(Medium Access Control)シグナリング、報知情報(MIB(Master Information Block)、SIB(System Information Block)))、その他の信号又はこれらの組み合わせによって実施されてもよい。また、RRCシグナリングは、RRCメッセージと呼ばれてもよく、例えば、RRC接続セットアップ(RRC Connection Setup)メッセージ、RRC接続再構成(RRC Connection Reconfiguration)メッセージなどであってもよい。
【0056】
本開示において説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G(4th generation mobile communication system)、5G(5th generation mobile communication system)、6th generation mobile communication system(6G)、xth generation mobile communication system(xG)(xG(xは、例えば整数、小数))、FRA(Future Radio Access)、NR(new Radio)、New radio access(NX)、Future generation radio access(FX)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi(登録商標))、IEEE 802.16(WiMAX(登録商標))、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて(例えば、LTE及びLTE-Aの少なくとも一方と5Gとの組み合わせ等)適用されてもよい。
【0057】
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0058】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0059】
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0060】
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0061】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【0062】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0063】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0064】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0065】
なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、通信チャネル及びシンボルの少なくとも一方は信号(シグナリング)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC:Component Carrier)は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。
【0066】
本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0067】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。
【0068】
上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な通信チャネル(例えば、PUCCH、PDCCHなど)及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な通信チャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
【0069】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0070】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0071】
本開示において使用する「第1の」、「第2の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第1及び第2の要素への参照は、2つの要素のみが採用され得ること、又は何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
【0072】
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0073】
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0074】
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【0075】
1…携帯端末、10…顎関節評価装置、11…取得部、12…算出部、13…評価部、13A…モデル生成部、13B…学習モデル、13C…評価結果取得部、14…出力部、20…カメラ、1001…プロセッサ、1002…メモリ、1003…ストレージ、1004…通信装置、1005…入力装置、1006…出力装置、1007…バス。