特開 2024-131959 顔面軟組織運動における協調度の測定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131959

(43)【公開日】2024-09-30

(54)【発明の名称】顔面軟組織運動における協調度の測定方法

(51)【国際特許分類】

   A61B 5/11 20060101AFI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

【ＦＩ】

A61B5/11 320

G06T7/00 660A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023042555

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】110001508

【氏名又は名称】弁理士法人 津国

(72)【発明者】

【氏名】塩見（谷川） 千尋

(72)【発明者】

【氏名】長田 奈幹

(72)【発明者】

【氏名】陳 強

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB02

4C038VB05

4C038VC05

5L096AA09

5L096BA03

5L096CA04

5L096CA05

5L096DA02

5L096FA66

5L096FA69

(57)【要約】

【課題】咀嚼時の顔面軟組織運動の協調度を簡便に測定できる実用性が高い評価システム及び方法を提供すること。
【解決手段】顔面軟組織運動における協調度を測定する方法は、三次元動画記録装置を使用して被検者の顔面運動時の動画像を撮影及び記録するステップと、解析装置の処理により前記動画像の各フレームデータを正規化した相同モデルを演算するステップと、前記相同モデルに基づいて弾性エネルギーモデルを演算するステップと、前記弾性エネルギーモデルに生じるエネルギー間積分値により協調度を演算するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

三次元動画記録装置及び解析装置を備えたシステムを使用して、被検者の顔面軟組織運動における協調度を測定する方法であって、
前記三次元動画記録装置を使用して、被検者の顔面運動時の動画像を撮影及び記録するステップと、
前記解析装置の処理により、
前記三次元動画記録装置から送信された前記動画像の各データを正規化した相同モデルの群を演算するステップと、
前記相同モデルの群に基づいて弾性エネルギーモデルを演算するステップと、
前記弾性エネルギーモデルに生じるエネルギー間積分値に基づいて、前記被検者の顔面軟組織運動における協調度を演算するステップと
を含む、方法。

【請求項2】

前記弾性エネルギーモデルから、第１の軟組織領域における第１のエネルギー経時曲線を演算するステップと、
前記弾性エネルギーモデルから、第２の軟組織領域における第２のエネルギー経時曲線を演算するステップと、
前記第１のエネルギー経時曲線及び前記第２のエネルギー経時曲線の差の絶対値を時間積分したものを、前記協調度として演算するステップと
を含む、請求項１に記載の方法。

【請求項3】

三次元動画記録装置及び解析装置を備えたシステムを使用して、被検者の顔面軟組織運動における協調度を測定する方法であって、
前記三次元動画記録装置を使用して被検者の顔面運動時の動画像を撮影及び記録するステップと、
前記解析装置の処理により、
前記三次元動画記録装置から送信された前記動画像の各データを正規化した相同モデル群を演算するステップと、
前記相同モデルの群に基づいて第１の軟組織領域における第１の弾性エネルギーモデルを演算するステップと、
前記相同モデルの群に基づいて第２の軟組織領域における第２の弾性エネルギーモデルを演算するステップと、
前記第１の弾性エネルギーモデル及び前記第２の弾性エネルギーモデルに生じるエネルギー間積分値に基づいて、前記被検者の顔面軟組織運動における協調度を演算するステップと
を含む、方法。

【請求項4】

前記顔面運動が咀嚼運動であり、
前記第１の軟組織領域が上唇領域を含み、前記第２の軟組織領域が下唇領域を含む、請求項２又は３に記載の方法。

【請求項5】

前記顔面運動が咀嚼運動であり、
前記第１の軟組織領域が右頬領域を含み、前記第２の軟組織領域が左頬領域を含む、請求項２又は３に記載の方法。

【請求項6】

前記弾性エネルギーモデルが前記相同モデルの形態を多面体で模したばね格子モデルであって、当該多面体の頂点間がばね要素で接続されたばね格子モデルである、請求項１～３の何れか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検者の顔面形状モデルを用いて、顔面軟組織の運動を評価する方法及びシステムに関する。

【背景技術】

【0002】

開咬、上下顎前突、ロングフェースといった咬合異常を有する患者は、口唇閉鎖時に、オトガイ筋の緊張を認める状態である、口唇閉鎖不全の状態を示すことがある。口唇閉鎖不全とは、歯や骨格、軟組織等のなんらか異常が原因となって口が閉じにくい状態であるといえ、丸のみや食べこぼしの要因の一つとも考えられている。同症状を有する患者では、咀嚼中の歯列を外部より取り囲む口唇と頬部を含む顔面軟組織の動きの異常があることが示唆されている。すなわち、口唇閉鎖不全を含む、咬合異常を有する者では、咀嚼時の顔面軟組織の動的変位の様相が正常咬合者とは異なることが予想された。

【0003】

したがって、矯正歯科治療により咬合状態を改善するだけではなく、咀嚼時の顔面軟組織の動きを改善することは、咀嚼機能の改善を行うという点からも有効といえる。矯正歯科治療患者のみならず、咀嚼機能を獲得し始めた小児や高齢者の機能低下を評価し、機能獲得・回復のための訓練を行う上でも、咀嚼時の顔面軟組織の動的変位の様相を定量的に評価できるシステムの開発が求められている。

【0004】

従来、咬合異常を有する患者における咀嚼運動機能の評価として、下顎前歯の運動を計測し、その軌跡をパターン分類したり、運動円滑性を計算したりする手法が用いられている（例えば非特許文献１参照）。また、近年では、正規化された顔面三次元モデルを用いて、顔面軟組織の状態を評価する方法が試みられている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２０２１／１８２４７０号

【非特許文献】

【0006】

【非特許文献1】Takada K, Yashiro K, Sorihashi Y, Morimoto T, Sakuda M著, Tongue, jaw, and lip muscle activity and jaw movement during experimental chewing efforts in man, J Dent Res., 1996年8月, 75(8):1598-606.

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の咀嚼運動計測器を用いた手法は、解析に時間と手間がかかり、また被験者に負担をかけるものであった。また、咀嚼運動は、口周囲の軟組織の協調運動が重要な要素を占めるが、そのような協調運動を含む軟組織の動的変位の様相を定量的に評価できる手法は未だ確立されていない。

【0008】

本発明の目的は、咀嚼機能と特定の顔面軟組織領域間における協調運動との関連性を明らかにした上で、そのような顔面軟組織運動の協調度を簡便に測定できる、実用性が高い技術を提供することにある。

【課題を解決するための手段】

【0009】

上述の課題を解決するため、本発明は、三次元動画記録装置及び解析装置を備えたシステムを使用して、被検者の顔面軟組織運動における協調度を測定する方法であって、前記三次元動画記録装置を使用して、被検者の顔面運動時の動画像を撮影及び記録するステップと、前記解析装置の処理により、前記三次元動画記録装置から送信された前記動画像の各データを正規化した相同モデルの群を演算するステップと、前記相同モデルの群に基づいて弾性エネルギーモデルを演算するステップと、前記弾性エネルギーモデルに生じるエネルギー間積分値に基づいて、前記被検者の顔面軟組織運動における協調度を演算するステップとを含む、方法である。

【0010】

前記方法は、前記弾性エネルギーモデルから、第１の軟組織領域における第１のエネルギー経時曲線を演算するステップと、前記弾性エネルギーモデルから、第２の軟組織領域における第２のエネルギー経時曲線を演算するステップと、前記第１のエネルギー経時曲線及び前記第２のエネルギー経時曲線の差の絶対値を時間積分したものを、前記協調度として演算するステップとを含むことが好ましい。

【0011】

また、本発明は、三次元動画記録装置及び解析装置を備えたシステムを使用して、被検者の顔面軟組織運動における協調度を測定する方法であって、前記三次元動画記録装置を使用して被検者の顔面運動時の動画像を撮影及び記録するステップと、前記解析装置の処理により、前記三次元動画記録装置から送信された前記動画像の各データを正規化した相同モデル群を演算するステップと、前記相同モデルの群に基づいて第１の軟組織領域における第１の弾性エネルギーモデルを演算するステップと、前記相同モデルの群に基づいて第２の軟組織領域における第２の弾性エネルギーモデルを演算するステップと、前記第１の弾性エネルギーモデル及び前記第２の弾性エネルギーモデルに生じるエネルギー間積分値に基づいて、前記被検者の顔面軟組織運動における協調度を演算するステップとを含む、方法である。

【0012】

前記方法は、第１の軟組織領域における前記第１の弾性エネルギーモデルから第１のエネルギー経時曲線を演算するステップと、第２の軟組織領域における前記第２の弾性エネルギーモデルから第２のエネルギー経時曲線を演算するステップと、前記第１のエネルギー経時曲線及び前記第２のエネルギー経時曲線の差の絶対値を時間積分したものを、前記協調度として演算するステップとを含むことが好ましい。

【0013】

また、前記方法は、前記顔面運動が咀嚼運動であり、前記第１の軟組織領域が上唇領域を含み、前記第２の軟組織領域が下唇領域を含むことが好ましい。

【0014】

また、前記方法は、前記顔面運動が咀嚼運動であり、前記第１の軟組織領域が右頬領域を含み、前記第２の軟組織領域が左頬領域を含むものでもよい。

【0015】

また、前記方法は、前記弾性エネルギーモデルが前記相同モデルの形態を多面体で模したばね格子モデルであって、当該多面体の頂点間がばね要素で接続されたばね格子モデルであることが好ましい。

【発明の効果】

【0016】

本発明によれば、例えば咀嚼運動における特定の顔面軟組織領域間の協調度を定量的に測定することができる。また、本発明により得られた顔面軟組織の協調度に基づいて、例えば咀嚼機能の維持・回復のための客観的な評価に資することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態による、顔面軟組織評価システムの構成を例示する概略図である。

【図2】三次元顔面画像から相同モデルを作成する方法を説明するための図である。

【図3】代表的な複数のランドマークが同定された顔面相同モデルの時系列群を例示する図である。

【図4】顔面相同モデルにおける一対の対象領域（上唇及び下唇）を例示する図である。

【図5】咀嚼時における上下口唇領域の弾性エネルギー曲線を例示するグラフである。

【図6】本発明の他の実施形態による、顔面軟組織評価システムの構成を例示する概略図である。

【図7A】口唇閉鎖不全が認められない被検者で測定した上下口唇領域の弾性エネルギー正規化経時曲線を例示するグラフである。

【図7B】口唇閉鎖不全が認められた被検者で測定した上下口唇領域の弾性エネルギー正規化経時曲線を例示するグラフである。

【図8】コントロール群と口唇閉鎖不全群とで比較した上下口唇エネルギー間積分値のヒストグラムを例示する図である。

【発明を実施するための形態】

【0018】

図１に、本発明の一実施形態による、顔面軟組織運動評価システムの概略構成を示す。本システムは、三次元動画記録装置１０と、解析装置２０とを含み構成されている。三次元動画記録装置１０としては、例えば米国３ｄＭＤ社が提供するフォトグラメトリ式３Ｄカメラを使用することができる。解析装置２０は、三次元動画記録装置１０と通信回線で接続されたコンピュータシステムであって、後述する相同モデル作成手段２１、弾性エネルギーモデル演算手段２２、対象軟組織領域特定手段２３、及び協調度演算手段２４等を備えている。これらの手段は、解析装置２０におけるコンピュータの演算処理により目的の機能が実現される。

【0019】

図１のシステムを用い、一例として、咀嚼運動時の顔面軟組織運動の協調度を測定する方法を、以下具体的に説明する。

【0020】

先ず、三次元動画記録装置１０を使用して、被検者に咀嚼運動をさせながら、例えばフレームレート１０Ｈｚで顔面頭部の三次元動画像を撮影する。三次元動画記録装置１０に記録された動画像データは、それぞれが三次元形態情報を有する時系列のフレームデータ３１に変換されて解析装置２０に送信される。

【0021】

解析装置２０では、三次元動画記録装置１０から送信される被検者の三次元顔面動画像（フレームデータの時系列群）３１に基づいて、以下説明する方法で、咀嚼運動時の軟組織の形態変化を自動的に測定する。

【0022】

三次元動画記録装置１０で撮影されたフレームデータ３１のセットは、被検者の顔面運動時の三次元的形態変化を時系列に表現する。相同モデル作成手段２１は、各フレームデータ３１から正規化した三次元の顔面形態モデル（相同モデルの時系列群）３２をそれぞれ作成する処理を行う。具体的に図２に示すように、相同モデル作成手段２１は、各フレームデータ３１の顔面形態モデル３１１から解剖学的特徴点（ランドマーク、セミランドマーク）を抽出し、それらの特徴点を同一点数、同一位相幾何学構造の標準テンプレートモデル３１２のスケールに合わせて再配置することで、正規化した顔面相同モデル３２を構築する。このモデル化処理には、例えばＡＩＳＴ（産業技術総合研究所）が提供するＨＢＭ（Homologous Body Modeling）プログラムを利用することができる。図３には、代表的な複数のランドマークが同定された顔面相同モデル３２１、３２２、３２３、・・・の時系列群（三次元動的モデル）が例示される。

【0023】

次に、弾性エネルギーモデル演算手段２２は、顔面相同モデル３２の時系列群に基づいて、顔面弾性エネルギーモデル３３を演算する。ここで、各相同モデル３２は、顔面軟組織の形態が多面体（ポリゴン）でモデル化されている。弾性エネルギーモデル演算手段２２は、これら相同モデル３２における多面体の各頂点（「接合点」又は「格子点」ともいう。）を結ぶ稜線をばね要素に置き換えたばね格子モデルを用いて、顔面弾性エネルギーモデル３３を演算することができる。２つの頂点を結ぶばね要素の自然長Ｌ_０は安静状態で取得した三次元顔面画像を基準に定めることができる。

【0024】

弾性エネルギーモデル演算手段２２は、咀嚼運動を、ばね格子モデルの動きに置き換えて再現し、その際の軟組織の移動を各ばね要素の変位により生じる弾性エネルギーに換算する処理を行う。なお、運動力学において、ばねに生じるエネルギーＥは、下記式（１）で表現されるように、ばねの伸び量（Ｌ_ｍ－Ｌ_０）の二乗に比例する。

弾性エネルギーＥ ＝ １／２×ｋ×（Ｌ_０－Ｌ_ｍ）^２ ・・・（１）
ここで、ｋ：ばね定数
Ｌ_０：ばねの自然長（安静時の格子点間距離）
Ｌ_ｍ：移動後のばねの長さ（運動時の格子点間距離）

【0025】

このようにして得られた各ばね要素の弾性エネルギーの値を、相同モデル３２の対応する稜線の座標に再配置することで、三次元の動的形状モデルとして可視化した顔面弾性エネルギーモデル３３（Ｅ_Ｓ、Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚ）を作成することができる。ここで、Ｓ_ｘ、Ｓ_ｙ、Ｓ_ｚは、相同モデルの各ばね要素の位置Ｓに対応する三次元直交座標を示し、Ｅ_Ｓは、その位置Ｓにおける接合点間の変位に基づいて演算される弾性エネルギー値を示す。

【0026】

次に、対象軟組織領域特定手段２３は、顔面弾性エネルギーモデル３３のうち、協調運動を測定する対象領域である第１の軟組織領域と、第１の軟組織領域とは異なる（つまり重複しない）第２の軟組織領域を特定する。ここで、第１の軟組織領域と第２の軟組織領域は、咀嚼運動における協調度を測定するための対象領域であって、咀嚼機能と顔面軟組織の協調運動との間に有意な相関が確かめられた、少なくとも２箇所の顔面部位から選択される。具体的には、例えば咀嚼運動の場合、図４に示すように、第１の軟組織領域が上唇領域を含み、第２の軟組織領域が下唇領域を含むことが好ましい。また、第１の軟組織領域が右頬領域を含み、第２の軟組織領域が左頬領域を含むものでもよい。また、第１の軟組織領域が上唇領域、右頬領域及びその他の領域を含み、第２の軟組織領域が下唇領域、左頬領域及びその他の領域を含むように組み合わせてもよい。

【0027】

対象軟組織領域の特定は、歯科医師や医療技師等が、表示装置に表示された被検者の顔の三次元モデル上で行うことができる。また、ＡＩ（Artificial Intelligence）画像認識により、相同モデル３２又は弾性エネルギーモデル３３において同定される、対象領域（第１及び第２の軟組織領域）のランドマークを含むようにして領域を特定することがより好ましい。自動化された画像認識技術を用いることにより、対象軟組織領域の面積、すなわち、具体的には、正規化された三次元モデルの軟組織領域における接合点の個数を固定することができ、それによりケース間における協調度の測定条件を常に一致させることができる。

【0028】

次に、解析装置２０は、顔面弾性エネルギーモデル３３において特定された、第１の軟組織領域における全ばね要素に生じるエネルギー値の総和を演算し、その経時的な曲線である第１の弾性エネルギー経時曲線（ＥＥＣ１）３４を求める。同様に、解析装置２０は、顔面弾性エネルギーモデル３３において特定された、第２の軟組織領域における全ばね要素に生じるエネルギー値の総和を演算し、その経時的な曲線である第２の弾性エネルギー経時曲線（ＥＥＣ２）３５を求める。ここで、図５に、咀嚼時における上下口唇領域の弾性エネルギー曲線を例示する。

【0029】

協調度演算手段２４は、例えば図５の上下の曲線の間で塗りつぶされた面積に相当する時間積分値（エネルギー間積分値）を求める。具体的には、咀嚼運動を定義した所定期間にわたり、上述の演算処理工程で得られた第１のエネルギー経時曲線３４と、第２のエネルギー経時曲線３５との差の絶対値を時間積分したものを、顔面軟組織間の協調度として演算する。

【0030】

なお、図６に例示する他の実施形態において、解析装置２０は、次の演算処理工程に従って顔面軟組織間の協調度を測定してもよい。

【0031】

先ず、相同モデル作成手段２１は、三次元動画記録装置１０から送信された被検者の顔の三次元動画像の各フレームデータ３１から、正規化した顔面相同モデル３２の時系列群を演算する。

【0032】

続いて、対象軟組織領域特定手段２３は、顔面相同モデル３２のうち、協調運動を測定する対象領域である第１の軟組織領域と第２の軟組織領域とを特定する。

【0033】

次に、弾性エネルギーモデル演算手段２２は、相同モデル３２において特定された第１の軟組織領域のばね格子モデルである第１の弾性エネルギーモデル（ＥＥＭ１）３３１を演算する。そして、咀嚼運動を第１の弾性エネルギーモデルの動きで再現したときの全ばね要素に生じるエネルギー値の総和を演算し、その経時的な曲線である第１の弾性エネルギー経時曲線（ＥＥＣ１）３４を求める。同様に、弾性エネルギーモデル演算手段２２は、相同モデル３２において特定された第２の軟組織領域のばね格子モデルである第２の弾性エネルギーモデル（ＥＥＭ２）３３２を演算する。そして、咀嚼運動を第２の弾性エネルギーモデルの動きで再現したときの全ばね要素に生じるエネルギー値の総和を演算し、その経時的な曲線である第２の弾性エネルギー経時曲線（ＥＥＣ２）３５を求める。

【0034】

協調度演算手段２４は、第１のエネルギー経時曲線３４と、第２のエネルギー経時曲線３５との差の絶対値を時間積分したもの（エネルギー間積分値）を、顔面軟組織間の協調度として演算する。

【実施例0035】

口唇閉鎖不全患者と口唇閉鎖不全を認めない者とで、咀嚼時の顔面軟組織運動が異なる様相を示すのか否かを検討した。被検者は、口唇閉鎖不全群１４名（６～１２歳、男６名、女８名）と、口唇閉鎖不全を認めないコントロール群２２名（６～１２歳、男７名、女１５名）である。ここで、口唇閉鎖不全患者は、オトガイ筋の緊張がなく口唇を安静にした状態で上下口唇間の距離が３．０ｍｍ以上の者とした（William R. Proffitの定義による。）。

【0036】

咀嚼時の顔面軟組織運動の記録は、ステレオフォトグラメトリー式の三次元顔面軟組織形態計測システムを用いて行った。本システムでは、５台のカメラを用いて、被検者の頭部を３６０度方向から撮影することができる。本実施例においては、習慣性咀嚼側で咀嚼する際の顔面軟組織運動を、フレームレート１０Ｈｚにて、１セット７秒間の撮影を３回行った。

【0037】

各被検者の三次元顔面動画像から作成した顔形態相同モデルにおいて、第１の軟組織領域として、上唇領域に含まれる５８３点の接合点と、第２の軟組織領域として、下唇領域に含まれる１２０３点の接合点を特定した（図４参照）。

【0038】

図７Ａに、口唇閉鎖不全が認められないコントロール群の被検者で測定した上下口唇領域の弾性エネルギー正規化経時曲線の一例を示す。また、図７Ｂに、口唇閉鎖不全患者で測定した上下口唇領域の弾性エネルギー正規化経時曲線の一例を示す。図７Ａと図７Ｂとを比較すると、正常な被検者の口唇運動よりも、口唇閉鎖不全患者の上下口唇運動の方が同期しない様相を呈することがわかる。

【0039】

そこで、咀嚼時の上下口唇運動の協調度を定量的に測定するために、上下口唇の弾性エネルギーの差分を時間積分した値（この値を「上下口唇エネルギー間積分値」と定義する。）を計算した。図８に、上述のコントロール群（２２名）と口唇閉鎖不全群（１４名）とで比較した上下口唇エネルギー間積分値の分布結果を示す。これらの被検者の集合間でエネルギー間積分値に有意な差がみられるかをWelchのｔ検定を用いて検証した。その結果、上下口唇エネルギー間積分値は、口唇閉鎖不全群の方がコントロール群よりも有意に大きい値（ｐ値＜０．０５）を示すことが確認された。

【0040】

以上説明した本実施形態によれば、特定の顔面領域間における軟組織運動の協調度を簡便に測定でき且つ実用性が高い顔面軟組織運動評価システム及び方法を提供することができる。特に本方法により測定される上下口唇運動及び／又は左右頬運動の協調度（弾性エネルギー間積分値）に基づいて、被検者の咀嚼機能を定量的に評価することができる。これにより、例えば口唇閉鎖不全症等の咬合異常の程度ないしは咀嚼機能の維持・回復の程度を判断するための客観的な評価に資することができる。

【符号の説明】

【0041】

１０ 三次元動画記録装置
２０ 解析装置
２１ 相同モデル作成手段
２２ 弾性エネルギーモデル演算手段
２３ 対象軟組織領域特定手段
２４ 協調度演算手段
３１ 顔面動画像のフレームデータ
３２ 顔面相同モデル（顔面三次元動的モデル）
３３ 顔面弾性エネルギーモデル
３４ 第１の軟組織領域における弾性エネルギー経時曲線
３５ 第２の軟組織領域における弾性エネルギー経時曲線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】