【文献】
南克浩,森悦秀,菅原利夫,三島克章,土居幸一郎,作田正義,外科的矯正治療前後の硬軟組織変化の3次元的解析と術後顔貌予測,日本口腔科学会雑誌,日本,日本口腔科学会,1991年 2月14日,第40巻第3号,第620-630頁
(58)【調査した分野】(Int.Cl.,DB名)
新患者術前画像データ正規化段階の術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像とを正規化させるときに使用する、顔貌の上部、縦方向中央部及び下部の3点が、それぞれ眼点、鼻突点及びオトガイ下点であり、術前の正貌セファロX線写真画像と術前の正貌通常顔写真画像とを正規化させるときに使用する、顔貌の横方向中央上部、横方向中央下部、縦方向中央右部及び縦方向中央左部の4点が、それぞれ正中、右下顎角点、左下顎角点及びオトガイ下点であることを特徴とする請求項1に記載の顎変形症術後顔貌予測方法。
前記類似患者選出ステップにおける基準点や特徴点の中から選択した2点が、側貌に対して、起点をOrとし終点を軟組織Pog点、起点をOrとし終点を軟組織Me点、起点を軟組織Pog点とし終点を下顎角点、及び起点をOrとし終点を上唇点とし、正貌で顎偏位がある場合のみ、正貌に対して、起点を右口角点とし終点を左口角点、起点を左右眼点の中間点とし終点をオトガイ下点、及び起点を右下顎角点とし終点を左下顎角点とすることを特徴とする請求項1又は2に記載の顎変形症術後顔貌予測方法。
新患者術前画像データ正規化段階の術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像とを正規化させるときに使用する、顔貌の上部、縦方向中央部及び下部の3点が、それぞれ眼点、鼻突点及びオトガイ下点であり、術前の正貌セファロX線写真画像と術前の正貌通常顔写真画像とを正規化させるときに使用する、顔貌の横方向中央上部、横方向中央下部、縦方向中央右部及び縦方向中央左部の4点が、それぞれ正中、右下顎角点、左下顎角点及びオトガイ下点であることを特徴とする請求項4に記載の顎変形症術後顔貌予測システム。
前記類似患者選出手段における基準点や特徴点の中から選択した2点が、側貌に対して、起点をOrとし終点を軟組織Pog点、起点をOrとし終点を軟組織Me点、起点を軟組織Pog点とし終点を下顎角点、及び起点をOrとし終点を上唇点とし、正貌で顎偏位がある場合のみ正貌に対して、起点を右口角点とし終点を左口角点、起点を左右眼点の中間点とし終点をオトガイ下点、及び起点を右下顎角点とし終点を左下顎角点とすることを特徴とする請求項4又は5に記載の顎変形症術後顔貌予測システム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
顎変形症に対する一般的な手術においては、医師から患者に対して術前に、手術内容と術後の顔貌の説明がされて患者は術後の顔貌の改善に納得して手術が行われているが、咬合が改善されて治療は成功したが、患者の手術前後で顔貌の審美改善の期待値に対するギャップが生じるという問題があった。
【0006】
また、特許文献1に記載の発明は、患者ごとの三次元画像と実体モデルとを互いに関連づけたシミュレーションを行って術後の顔貌を予測しているが、そのシミュレーションのスキルは医師のスキルに依存しており、そのための手術内容に医師間によってバラツキが生じたり、顔貌の予測内容が医師間によってバラツキが生じるという問題があった。
【0007】
本発明はこうした問題に鑑み創案されたもので、顎変形症や矯正歯科などの顔貌変化が予測される手術において、患者の症状に応じて手術内容及び手術後の顔貌を正確に予測することのできる顎変形術後顔貌予測方法及びシステムを提供することを課題とする。
【課題を解決するための手段】
【0008】
本発明において、軟組織とは骨からなる硬組織に対して見た目の顔貌を構成する皮膚等の柔らかい組織を意味し、OrとはOrbitaleの略称であり左右の眼窩骨縁最下点の中点を意味し、PoとはPorionの略称でありイヤーロッド陰影の最上点を意味し、イヤーロッドとは頭部規格写真撮影補助設備であって頭部規格写真時において被検者の位置を固定するものを意味する。また、FH平面とは、フランクフルト平面とも呼ばれ、人類学的計測の場合と同様に顎顔面の形態を知る時の基準平面となり、頭部X線規格写真撮影時の頭部の定位平面を意味する。
【0009】
また、本発明において、正規化とは、側貌通常顔写真、正貌通常顔写真、側貌セファロX線写真及び正貌セファロX線写真に撮像された顔の大きさや向きの異なる写真画像に存する、ある特定された基準点の座標位置や特定された基準点間の距離を同一にするために、前記写真画像を画面上で拡大、縮小、向き変更又は移動を行って、すべての写真画像に一貫性をもたせ同一の基準で比較できるようにすることを意味する。
【0010】
請求項1に記載の顎変形症術後顔貌予測方法は、顔貌変化が予測される手術において、新患者10の術後の顔貌を予測するための顎変形症術後予測方法であって、画像上の顔貌の写真及び顔貌のセファロX線写真の大きさや向きに一貫性をもたせるための基準とする、OrとPoからなる基準点Pの位置及び水平にしたFH平面Lを基準データとして記憶する基準設定ステップと、前記基準データに一致させる正規化をした過去患者の術前及び術後の側貌通常顔写真画像2及び正貌通常顔写真画像4をもとにそれぞれについて頬部上点や上唇点等の顔の側貌や正貌の特徴点を入力した4種からなる個人別特徴点位置データを複数の過去患者について記憶し、さらに前記個人別特徴点位置データを個人別に上顎前突症、下顎前突症又は前記以外の症状からなる側貌の症状の3分類と、顎偏位症有又は顎偏位症無の正貌の症状の2分類との組み合わせからなる顎変形症の6分類のいずれかに分類して記憶させる過去症例データベース化ステップと、新患者10の術前の側貌通常顔写真2、術前の正貌通常顔写真4、術前の側貌セファロX線写真1、及び、術前の正貌セファロX線写真3の4種の術前写真の画像を入力する新患者術前写真画像入力ステップと、前記新患者10の術前の側貌セファロX線写真画像上にPoとOrの位置を手動で入力して、前記基準データのPoとOrの位置に前記新患者
の術前の側貌セファロX線写真画像全体を拡大、縮小、回転又は移動によりそれぞれ同一座標上で一致させた後、前記
一致させた術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像とを、顔貌の上部、縦方向中央部及び下部の3点をそれぞれ入力して前記2つの画像の前記3点の位置を座標上で一致させて前記術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像との一貫性をもたせ、前記術前の側貌セファロX線写真画像のイヤーロッドY高さと前記術前の正貌セファロX線写真画像のイヤーロッドY高さとを同じ座標高さとなるようにし、前記術前の正貌セファロX線写真画像と前記術前の正貌通常顔写真画像とを、顔貌の横方向中央上部、横方向中央下部、縦方向中央右部、縦方向中央左部の4点をそれぞれ入力して前記2つの画像の前記4点の位置を座標上で一致させて、術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術前の側貌セファロX線写真画像、及び、術前の正貌セファロX線写真画像の4種のそれぞれの写真画像を前記基準データに対して座標上で一貫性をもたせる新患者術前画像正規化ステップと、新患者10の正規化された側貌通常顔写真画像及び正貌通常顔写真画像に対して顔貌の特徴点の位置を入力し記憶させる新患者特徴点位置データ設定ステップと、前記顎変形症の6分類のうちの、前記新患者の顎変形症の症状が該当する分類に属する、前記過去症例データベース化手段で記憶させた複数の過去症例の術前の個人別特徴点位置データと、新患者の術前の新患者特徴点位置データとをもとに、側貌及び正貌における基準点や特徴点の中から選択した2点間の距離、方向及び角度を比較して、新患者10で得られたデータに最も近い過去症例のデータを新患者の類似患者20として選出する類似患者選出ステップと、過去症例である前記類似患者20の特徴点の術前と術後との間における移動方向や移動距離と同じ方向及び距離を前記新患者10の術前の特徴点が移動すると予測して設定する新患者術後予測位置設定ステップと、前記新患者10の側貌通常顔写真画像又は正貌通常顔写真画像における特徴点の移動後の予測位置それぞれについて、前記特徴点の移動に伴う特徴点の周囲の変化をシミュレーションすることにより術後の顔貌を予測する術後シミュレーションステップと、を備えることを特徴とする。
【0011】
請求項2に記載の顎変形症術後顔貌予測方法は、請求項1において、新患者術前画像データ正規化段階の術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像とを正規化させるときに使用する、顔貌の上部、縦方向中央部及び下部の3点が、それぞれ眼点、鼻突点及びオトガイ下点であり、術前の正貌セファロX線写真画像と術前の正貌通常顔写真画像とを正規化させるときに使用する、顔貌の横方向中央上部、横方向中央下部、縦方向中央右部及び縦方向中央左部の4点が、それぞれ正中、右下顎角点、左下顎角点及びオトガイ下点であることを特徴とする。
【0012】
請求項3に記載の顎変形症術後顔貌予測方法は、請求項1又は2において、前記類似患者選出ステップにおける基準点や特徴点の中から選択した2点が、側貌に対して、起点をOrとし終点を軟組織Pog点、起点をOrとし終点を軟組織Me点、起点を軟組織Pog点とし終点を下顎角点、及び起点をOrとし終点を上唇点とし、正貌で顎偏位がある場合のみ、正貌に対して、起点を右口角点とし終点を左口角点、起点を左右眼点の中間点とし終点をオトガイ下点、及び起点を右下顎角点とし終点を左下顎角点とすることを特徴とする。
【0013】
請求項4に記載の顎変形症術後顔貌予測システムは、顔貌変化が予測される手術において、新患者10の術後の顔貌を予測するための顎変形症術後予測システムであって、画像上の顔貌の写真及び顔貌のセファロX線写真の大きさや向きに一貫性をもたせるための基準とする、OrとPoからなる基準点Pの位置及び水平にしたFH平面Lを基準データとして記憶する基準設定手段と、前記基準データに一致させる正規化をした過去患者の術前及び術後の側貌通常顔写真画像及び正貌通常顔写真画像をもとにそれぞれについて頬部上点や上唇点等の顔の側貌や正貌の特徴点を入力した4種からなる個人別特徴点位置データを複数の過去患者について記憶し、さらに前記個人別特徴点位置データを個人別に上顎前突症、下顎前突症又は前記以外の症状からなる側貌の症状の3分類と、顎偏位症有又は顎偏位症無の正貌の症状の2分類との組み合わせからなる顎変形症の6分類のいずれかに分類して記憶させる過去症例データベース化手段と、新患者10の術前の側貌通常顔写真2、術前の正貌通常顔写真4、術前の側貌セファロX線写真1、及び、術前の正貌セファロX線写真4の4種の術前写真の画像を入力する新患者術前写真画像入力ステップと、前記新患者10の術前の側貌セファロX線写真画像上にPoとOrの位置を手動で入力して、前記基準データのPoとOrの位置に前記新患者
の術前の側貌セファロX線写真画像全体を拡大、縮小、回転又は移動によりそれぞれ同一座標上で一致させた後、前記
一致させた術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像とを、顔貌の上部、縦方向中央部及び下部の3点をそれぞれ入力して前記2つの画像の前記3点の位置を座標上で一致させて前記術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像との一貫性をもたせ、前記術前の側貌セファロX線写真画像のイヤーロッドY高さと前記術前の正貌セファロX線写真画像のイヤーロッドY高さとを同じ座標高さとなるようにし、前記術前の正貌セファロX線写真画像と前記術前の正貌通常顔写真画像とを、顔貌の横方向中央上部、横方向中央下部、縦方向中央右部、縦方向中央左部の4点をそれぞれ入力して前記2つの画像の前記4点の位置を座標上で一致させて、術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術前の側貌セファロX線写真画像、及び、術前の正貌セファロX線写真画像の4種のそれぞれの写真画像を前記基準データに対して座標上で一貫性をもたせる新患者術前画像正規化手段と、 新患者の正規化された側貌通常顔写真画像及び正貌通常顔写真画像に対して顔貌の特徴点の位置を入力し記憶させる新患者特徴点位置データ設定手段と、前記顎変形症の6分類のうちの、前記新患者の顎変形症の症状が該当する分類に属する、前記過去症例データベース化手段で記憶させた複数の過去症例の術前の個人別特徴点位置データと、新患者10の術前の新患者特徴点位置データとをもとに、側貌及び正貌における基準点や特徴点の中から選択した2点間の距離、方向及び角度を比較して、新患者で得られたデータに最も近い過去症例のデータを新患者の類似患者20として選出する類似患者選出手段と、過去症例である前記類似患者20の特徴点の術前と術後との間における移動方向や移動距離と同じ方向及び距離を前記新患者10の術前の特徴点が移動すると予測して設定する新患者術後予測位置設定手段と、前記新患者10の側貌通常顔写真画像2又は正貌通常顔写真画像4における特徴点の移動後の予測位置それぞれについて、前記特徴点の移動に伴う特徴点の周囲の変化をシミュレーションすることにより術後の顔貌を予測する術後シミュレーション手段と、を備えることを特徴とする。
【0014】
請求項5に記載の顎変形症術後顔貌予測システムは、請求項4において、新患者術前画像データ正規化段階の術前の側貌セファロX線写真画像と前記術前の側貌通常顔写真画像とを正規化させるときに使用する、顔貌の上部、縦方向中央部及び下部の3点が、それぞれ眼点、鼻突点及びオトガド下点であり、術前の正貌セファロX線写真画像と術前の正貌通常顔写真画像とを正規化させるときに使用する、顔貌の横方向中央上部、横方向中央下部、縦方向中央右部及び縦方向中央左部の4点が、それぞれ正中、右下顎角点、左下顎角点及びオトガイ下点であることを特徴とする。
【0015】
請求項6に記載の顎変形症術後顔貌予測システムは、請求項4又は5において、前記類似患者選出手段における基準点や特徴点の中から選択した2点が、側貌に対して、起点をOrとし終点を軟組織Pog点、起点をOrとし終点を軟組織Me点、起点を軟組織Pog点とし終点を下顎角点、及び起点をOrとし終点を上唇点とし、正貌で顎偏位がある場合のみ正貌に対して、起点を右口角点とし終点を左口角点、起点を左右眼点の中間点とし終点をオトガイ下点、及び起点を右下顎角点とし終点を左下顎角点とすることを特徴とする。
【発明の効果】
【0016】
請求項1又は4に記載の顎変形症術後顔貌予測方法又はシステムは、来院した新患者10の顎変形症の症状と同じ症状に属する、顎変形症の手術を受けた複数の過去患者のうちから最も類似した顔貌の過去患者の症例を利用して新患者の手術後の顔貌の予測をするので、手術後の顔貌の形態の予測が実際の手術後の顔貌の形態とほぼ同じという効果を生ずる。
【0017】
また、顎変形症治療の主目的は歯の噛み合わせの改善であり、美容外科的手術のように外見的な美しさを目的として行われないものであるが、現実的には顔貌の審美的な傾向への要求が強くなってきているので、術後の顔貌を高い精度で予測できるため、手術前に十分な理解が得られやすく手術後にトラブルになりにくいという効果がある。
【0018】
また、過去の症例には手術内容などを記憶させることができるので、医者は新患者の手術内容を決めるに当たって過去の顎変形症手術方法を参考にできるという効果を生ずる。
【0019】
請求項2又は5に記載の顎変形症術後顔貌予測方法又はシステムは、請求項1に記載の発明と同じ効果を奏するとともに、術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術前の側貌セファロX線写真画像、及び、術前の正貌セファロX線写真画像の4種のそれぞれの写真画像の正規化を最もやりやすく正規化された各画像が一貫性を有するという効果を奏する。
【0020】
請求項3又は6に記載の顎変形症術後顔貌予測方法又はシステムは、請求項1又は4に記載の発明と同じ効果を奏するとともに、類似患者20選出において最も効果的に類似患者の症例を選出でき、正貌で顎偏位がある場合であってもて最も効果的に類似患者の症例を選出できるという効果を奏する。
【発明を実施するための形態】
【0022】
本発明に係る顎変形症術後顔貌予測方法の実施形態を、
図1乃至
図14に示す。本発明に係る顎変形症術後顔貌予測方法は、過去症例である顎変形症患者情報(X線写真画像、顔貌写真画像、顎変形症区分、属性、手術内容等)をデータベース化し、新患者10が来院した際、その新患者10の顔貌写真画像及び顎変形症の区分から、前記データベース化した、顎変形症が同一区分の過去症例の複数の患者の中から最も類似している類似患者20を1名選出し、前記選出した類似患者20の1名の手術による顔貌の特徴点の移動の方向とその距離と同一の移動の方向とその距離が新患者10の顔貌の特徴点の移動にも予測されるとして新患者10の術後の顔貌を予測するものである。
【0023】
前記術後の顔貌の予測は、顎変形症の手術での皮膚等の軟組織の移動量をシミュレーションし、術後の顔貌予測を可視化するものである。これにより、新患者10の術後の顔貌変化の認識の乖離に関する問題の発生を未然に防止するものである。
【0024】
すなわち、本実施形態に係る術後顔貌予測方法及びシステムは、
図1に示すように、顔貌変化が予測される顎変形症の矯正手術に着手する前段階おいて、新患者10の術後の顔貌を予測するためのものであり、基準設定ステップと、過去症例データベース化ステップと、新患者術前写真画像入力ステップと、新患者術前画像正規化ステップと、新患者特徴点位置データ設定ステップと、類似患者選出ステップと、新患者術後予測位置設定ステップと、新患者術後の顔貌を予測する術後シミュレーションステップとを備える。
【0025】
まず、基準設定ステップAは、
図2に示すように、画像上の顔貌の写真2、4、及び顔貌のセファロX線写真1、3の大きさや向きに一貫性をもたせるための基準とする、OrとPoからなる基準点Pの位置及び水平にしたFH平面Lを基準データとして記憶するステップである。
【0026】
OrとPoからなる基準点Pの位置及び水平にしたFH平面Lは、過去患者の術前及び術後の側貌通常顔写真2、術前及び術後の正貌通常顔写真4、術前及び術後の側貌セファロX線写真1、及び、術前及び術後の正貌セファロX線写真3の患者一人当り8種類からなる写真画像、並びに、側貌や正貌における術前と術後の軟組織の特徴点を入力した4種からなる個人別特徴点位置データ間に同一の基準を通して一貫性をもたすことができ、かつ新患者10の術前の側貌通常顔写真、術前の正貌通常顔写真、術前の側貌セファロX線写真、及び、術前の正貌セファロX線写真の患者一人当り4種類からなる写真画像、並びに、側貌や正貌における術前の軟組織の特徴点を入力した2種からなる個人別特徴点位置データ間に同一の基準を通して一貫性をもたすことができ、そして、過去患者の症例と新患者の症例との間に同一の基準を通して一貫性をもたせることができる。
【0027】
過去症例データベース化ステップBは、前記基準データに一致させる正規化をした過去患者の術前及び術後の側貌通常顔写真画像及び正貌通常顔写真画像をもとにそれぞれについて頬部上点や上唇点等の顔の側貌や正貌の特徴点を入力した4種からなる個人別特徴点位置データを複数の過去患者について記憶し、さらに前記個人別特徴点位置データを個人別に上顎前突症、下顎前突症又は前記以外の症状からなる側貌の症状の3分類と、顎偏位症有又は顎偏位症無の正貌の症状の2分類との組み合わせからなる顎変形症の6分類のいずれかに分類して記憶させるステップである。以下に過去症例データベース化ステップBを詳細に説明する。
【0028】
まず、顎変形症の手術をした患者の複数の、少なくとも前記6分類のデータが備わった過去症例について、前記過去症例の患者1人ごとに、術前及び術後の側貌通常顔写真2、術前及び術後の正貌通常顔写真4、術前及び術後の側貌セファロX線写真1、並びに、術前及び術後の正貌セファロX線写真3の8種の写真画像を撮影し記録する。このとき、すべての症例に対して1症例ごとに行った手術内容や顔貌変化に対する留意点等も入力し記憶させておく。
【0029】
次に正規化を行う。過去患者の症例の正規化として、過去患者術前正規化と過去患者術後正規化との2つの正規化を実施するが、その順は前後どちらでもよく、術前と術後の正規化後に、術前と術後の画像のうちの術前と術後で移動しない特徴点を座標上で一致させる。
【0030】
過去患者の術前正規化の手順を正規化ステップ1乃至4によって説明する。正規化ステップ1では、前記基準データのPo及びOrの位置と、過去患者の術前側貌セファロX線写真画像上のPo及びOrの位置とをそれぞれ一致させるステップである。まず、
図3のように、術前側貌セファロX線写真画像及び前記基準データ(Po及びOr表示)を重ねた状態で画面上に映し出す。そして、オペレーターが画像上の基準データのPoを前記側貌セファロX線写真画像1上のPoの位置まで移動させると基準データのPoと前記側貌セファロX線写真画像1上のPoとが一致する。次に、オペレーターが画像上の基準データのOrを前記側貌セファロX線写真画像1上のOrの位置まで移動させると、前記側貌セファロX線写真画像1が自動で伸縮や拡大し又は回転しながら移動して基準データのOrと前記側貌セファロX線写真画像1上のOrとが一致する。例えば、
図3においては側貌セファロX線写真画像1が矢印の方向Uに縮小拡大や回転をしながら移動し、前記側貌セファロX線写真画像1のPo及びOrがそれぞれ基準点P(Po及びOr)の座標位置に一致する。
【0031】
このようにして基準データのPoとOrの座標位置にすべての画像のPoとOrの座標位置を一致させることによって、撮影された写真について患者一人ひとりの顔の大きさや撮影された顔の向きが異なったり、患者である被写体に対する撮影角度や撮影距離などの撮影条件が異なっても、すべての写真画像を共通の基準で一貫性をもたせ写真画像同士を比較できるようになる。
【0032】
次に、正規化ステップ2では、正規化ステップ1で基準データの基準と一致させた側貌セファロX線写真画像1をベースとして側貌通常顔写真画像2の大きさ及び向きを合わすステップである。正規化ステップ2では、
図4に示すように、三つの指定点(本実施形態では、眼点a、鼻尖点e、オトガイ下点l(ル))を使用して、(a)に示す側貌セファロX線写真画像1に、(b)に示す側貌通常顔写真画像2を合わせ込み(c)に示す画像を作成する。ここで、側貌セファロX線写真画像1又は側貌通常顔写真画像2における各指定点の指定は手動で行い、側貌セファロX線写真画像1の3つの指定点に側貌通常顔写真画像2の3つの指定点がそれぞれ座標上の位置が一致するように、前記新患者の側貌通常顔写真画像2を拡大や縮小し回転しながら自動で移動するようにする。ここで指定点とは、各画像間の大きさ及び向きを同一基準で比較できるように決めた任意の部位をいう。
【0033】
次に、正規化ステップ3は、側貌セファロX線写真画像1をベースとして正貌セファロX線写真画像3の座標上の高さを合わすステップである。正規化ステップ3では、
図5に示すように、イヤーロッドY位置を利用して、側貌セファロX線写真画像1と正貌セファロX線写真3の座標上で高さ方向の位置が最初は(a)に示すように座標上で高さ方向のギャップVが生じていたのを(b)に示すように座標上で同一高さとして水平状態で合わせる。ここで、正貌セファロX線写真3におけるイヤーロッドY(左外耳孔および右外耳孔の2箇所)の指定は手動で行い、側貌セファロX線写真1におけるイヤーロッドY高さに、正貌通常顔写真4のイヤーロッドY高さを合わせていってイヤーロッドY高さの一致化は自動で行うようにする。
【0034】
次に、正規化ステップ4である。正規化ステップ4では、正規化ステップ3で側貌セファロX線写真画像1に基準を合わせた正貌セファロX線写真画像3の指定点と正貌通常顔写真画像4の指定点を一致させる。前記指定点としては、
図6に示すように、正中(ア)、左下顎角点(ヌ)、右下顎角点(リ)、オトガイ下点(ル)からなる4つの指定点を指定し、(a)に示す正貌セファロX線写真画像3に(b)に示す正貌通常顔写真画像4を合わせ込み、(c)に示す画像を作成する。このとき各指定点の指定は手動で行い、正貌セファロX線写真画像3への正貌通常顔写真画像4の指定点の合わせ込みは自動で行うように設定している。
【0035】
以上、4つの正規化ステップによって、最初に基準としたPoとOrの位置及びFH平面(L)に対して4種類の画像を合わせることによって、過去患者の術前正規化ステップを完了する。
【0036】
次に、過去患者の術後正規化であり、前記術前正規化のステップと同じ正規化ステップで進める。これにより、正規化された術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術前の側貌セファロX線写真画像及び術前の正貌セファロX線写真画像と、正規化された術後の側貌通常顔写真画像、術後の正貌通常顔写真画像、術後の側貌セファロX線写真画像及び術後の正貌セファロX線写真画像とが、PoとOrの位置及びFH平面(L)を共通の基準として一貫性をもたせることができた。
【0037】
次に、すべての過去患者一人ひとりの、前記正規化された術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術後の側貌通常顔写真画像、及び術後の正貌通常顔写真画像ごとに、頬部上点や鼻下点等の側貌の特徴点や、鼻尖点やオトガイ下点等の正貌の特徴点を入力し、前記各特徴点のみを記憶させた画像を作成し記憶させる。前記特徴点の例を次に記載する。
【0038】
側貌通常顔写真画2における特徴点には、
図7に示すように以下のものが含まれる。
a:眼点(瞳孔中央部で最前方点)
b:頬部上点(頬の豊隆線上で鼻翼基部と眼点の中間点)
c:鼻翼上点(頬の豊隆線上で鼻翼基部相応部)
d:鼻翼下点(頬の豊隆線上で鼻翼上部相応部)
e:鼻尖点(鼻先の頂点)
f:鼻下点(鼻柱の根元)
g:上唇点(上唇の最突出点)
h:口角点(上口唇と下口唇の最も外側の接点)
i:下唇点(下唇の最突出点)
j:軟組織B点(唇下の窪みの最奥で、B点に相応する軟組織の点)
k:軟組織Pog点(顎先前方点で、Pogに相応する軟組織の点)
l:軟組織Me点(顎先下方点で、Meに相応する軟組織の点)
m:下顎角点(鰓角の頂点で、Gonialに相応する軟組織の点)
【0039】
また、正貌通常顔写真4における特徴点には、
図8に示すように以下のものが含まれる。
イ:右眼点中心(右眼の光彩の中心(おおよそ瞳孔))
ロ:右眼点中心(左眼の光彩の中心(おおよそ瞳孔))
ハ:鼻尖点(鼻先の頂点)
ニ:右鼻翼点(右鼻翼の最も外側の点)
ホ:左鼻翼点(左鼻翼の最も外側の点)
ヘ:上口唇中央点(人中の延長線と上口唇と下口唇とが接する点)
ト:右口角点(右の上口唇と下口唇の最も外側の接点)
チ:左口角点(左の上口唇と下口唇の最も外側の接点)
リ:右下顎角点(Right Gonialに相応する軟組織の点)
ヌ:左下顎角点(Left Gonialに相応する軟組織の点)
ル:オトガイ下点(オトガイ下縁部における正中点)
【0040】
そして、顎変形症の形態によって骨等の硬組織や皮膚等の軟組織に対する手術内容が異なりかつ術前と術後の顔貌も異なるので、手術内容及び顔貌変化の傾向が比較的類似しているグループを設定し該グループごとに過去症例を分類する。前記分類は、上顎前突症、下顎前突症又は前記以外の症状からなる側貌の症状の3分類と、顎偏位症有又は顎偏位症無の正貌の症状の2分類との組み合わせからなる顎変形症の6分類とした。そして、すべての過去症例を1症例ずつ前記6分類のうちの当てはまる分類を入力して個人別の過去症例画像データとして記憶する。
【0041】
過去症例データベース化ステップBで記憶するデータとしては、少なくとも前記6分類した術前の側貌通常顔写真2画像、術前の正貌通常顔写真4画像、術後の側貌通常顔写真2画像及び術後の正貌通常顔写真4画像の4種類の画像に対してそれぞれに入力した特徴点位置データを記憶する。特徴点が術前の位置から術後の位置に移動した方向や距離を利用することにより顎変形症術後顔貌の予測精度を高めることになる。点のみを表示した特徴点位置データのみを記憶した場合は過去患者の顔がわからないで個人情報を保護しやすい。
【0042】
なお、前記特徴点位置データの他に、前記6分類した術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術後の側貌通常顔写真画像及び術後の正貌通常顔写真画像等も記憶してもよい。この場合は、過去患者の顔貌とともに顎変形症術後顔貌と見比べながら予測をすることができる。
【0043】
以上が過去症例データベース化ステップBであり、すでに手術を受けた患者の過去症例をまとめる段階のステップであり、次のステップである新患者術前写真画像入力ステップCからが、来院された新患者に対する顎変形症の手術による顔貌予測をする段階となる。
【0044】
次に、新患者術前写真画像入力ステップCである。新患者10の術前顔貌の画像を入力し記憶する。この画像には、新患者10の術前の側貌通常顔写真2、術前の正貌通常顔写真4、術前の側貌セファロX線写真1、および術前の正貌セファロX線写真3の4種類が含まれる。
【0045】
次に、新患者10の写真画像正規化ステップDである。過去症例の画像と一貫性を持たすために、OrとPoとの位置と各OrとPo間の距離及び、OrとPoを結んだ直線であるFH平面を水平になるように一致させて、過去症例の場合の正規化ステップと同じ正規化ステップを実施する。以下に新患者術前画像正規化ステップDを説明する。
【0046】
新患者10の術前正規化の手順を正規化ステップ1乃至4によって説明する。正規化ステップ1では、前記基準データのPo及びOrの位置と、新患者10の術前側貌セファロX線写真画像上のPo及びOrの位置とをそれぞれ一致させるステップである。まず、
図3に示すように、術前側貌セファロX線写真1画像及び前記基準データ(Po及びOr表示)を重ねた状態で画面上に映し出す。そして、オペレーターが画像上の基準点PのPoを前記側貌セファロX線写真画像1上のPoの位置まで移動(マウスを使用してドラッグ&ドロップする。)させると基準点PのPoと前記側貌セファロX線写真画像1上のPoとが一致する。次に、オペレーターが画像上の基準点PのOrを前記側貌セファロX線写真画像1上のOrの位置まで移動(マウスを使用してドラッグ&ドロップする。)させると、前記側貌セファロX線写真画像1が自動で伸縮や拡大し又は回転しながら移動して基準点PのOrと前記側貌セファロX線写真画像1上のOrとが一致する。
【0047】
次に、正規化ステップ2では、正規化ステップ1で基準データの基準と一致させた側貌セファロX線写真画像1をベースとして側貌通常顔写真画像2の大きさ及び向きを合わすステップである。正規化ステップ2では、
図4に示すように、三つの指定点(本実施形態では、眼点a、鼻尖点e、オトガイ下点l(ル))を使用して、側貌セファロX線写真画像1に側貌通常顔写真画像2を合わせ込む。ここで、側貌セファロX線写真画像1又は側貌通常顔写真画像2における各指定点の指定は手動で行い、側貌セファロX線写真画像1の3つの指定点に側貌通常顔写真画像2の3つの指定点がそれぞれ座標上の位置が一致するように、前記新患者の側貌通常顔写真画像2を拡大や縮小し回転しながら自動で移動するようにする。
【0048】
次に、正規化ステップ3は、側貌セファロX線写真画像1をベースとして正貌セファロX線写真画像3の座標上の高さを合わすステップである。正規化ステップ3では、
図5に示すように、イヤーロッドY位置を利用して側貌セファロX線写真画像1と正貌セファロX線写真3の座標上で高さ方向の位置を水平状態で合わせる。ここで、正貌セファロX線写真3におけるイヤーロッドY(左外耳孔および右外耳孔の2箇所)の指定は手動で行い、側貌セファロX線写真1におけるイヤーロッドY高さに、正貌通常顔写真4のイヤーロッドY高さを合わせていってイヤーロッドY高さの一致化は自動で行うようにする。
【0049】
次に、正規化ステップ4である。正規化ステップ4では、正規化ステップ3で側貌セファロX線写真画像1に基準を合わせた正貌セファロX線写真画像3の指定点と正貌通常顔写真画像4の指定点を一致させる。前記指定点としては、
図6に示すように、正中(ア)、左下顎角点(ヌ)、右下顎角点(リ)、オトガイ下点(ル)からなる4つの指定点を指定し、正貌セファロX線写真画像3に正貌通常顔写真画像4を合わせ込む。このとき各指定点の指定は手動で行い、正貌セファロX線写真画像3への正貌通常顔写真画像4の指定点の合わせ込みは自動で行うように設定している。
【0050】
以上、4つの正規化ステップによって、最初に基準としたPoとOrの位置及びFH平面(L)に対して4種類の画像を合わせることによって、新患者の術前正規化ステップDを完了する。
【0051】
次に、新患者特徴点位置データ設定ステップEである。新患者特徴点位置データ設定ステップEでは、
図7及び
図8に示すように、側貌及び正貌における特徴点を複数特定し入力し記憶する。特徴点とは、顔貌における特徴ある部位の位置を示す点であり、類似患者20の選出をするためと、術後の顔貌予測を行うために必要な箇所となる。これら各特徴点は手動により入力し記憶する。
【0052】
なお、前記特徴点は、新患者10の術前の側貌通常顔写真画像2および術前の正貌通常顔写真画像4の双方から特定し、過去患者において記憶させた特徴点と同じ種類の特徴点を入力し、新患者の特徴点位置データを記憶する。
【0053】
次に、類似患者選出ステップFである。類似患者選出ステップFは、特定された複数の特徴点を元に、過去症例データベースに保存した過去症例の患者の中から新患者10に最も類似する類似患者20を選出するステップである。
【0054】
なお、過去症例データベースには、過去患者別の少なくとも前記6分類した術前の側貌通常顔写真画像2、術前の正貌通常顔写真画像4、術後の側貌通常顔写真画像2及び術後の正貌通常顔写真画像4の4種類の画像に対してそれぞれに入力した特徴点位置データが記憶されている。前記特徴点位置データの他に、前記6分類した術前の側貌通常顔写真画像、術前の正貌通常顔写真画像、術後の側貌通常顔写真画像及び術後の正貌通常顔写真画像等も記憶されている場合もある。
【0055】
類似患者選出ステップFでは、まず、新患者10の症状を側貌と正貌から下記の表1及び表2に示す分類のうちで当てはまる分類を選択した後、前記選択した分類と同じ分類に属する過去症例データベースの術前の特徴点位置データの中から、下記に示す4要素の2点間距離と角度を測定して総合評価し、評価の最も高い症例の患者を類似患者20とする。
【0056】
表1及び表2に示された分類をするのは、特徴点の位置関係に基づいて類似症例の選出を行うため、特徴点の位置が近似しているが顎変形症の異なる患者を類似患者20として選出する事態が考えられるので、こうした事態を避けるために、顎変形症によってあらかじめ表1及び表2に示した分類を行う。表1に側貌の顎偏位症の症状を分類し、表2に正貌の顎偏位症(顔の中心に対してあご先が左右にずれている症状)の症状を分類している。
【0059】
新患者の症状が属すると判断した分類と同じ分類に属する過去症例から最も類似する症例を選出する。そのために、記憶されている前記同じ分類に属するすべての過去症例を呼び出し、特徴点間の距離や角度を比較して新患者の特徴点間の距離や角度に最も近い症例を類似症例とする。
【0060】
まず、特徴点間の距離を比較する要素として以下の4要素を設定する。前記要素は左側の点を始点とし、右側の点を終点とした方向と距離を新患者と過去症例とで比較する要素である。
a.Or点(側貌セファロX線顔写真)→軟組織Pog点(k)(側貌通常顔写真)
b.Or点(側貌セファロX線顔写真)→軟組織Me点(l)(側貌通常顔写真)
c.軟組織Pog点(k)(側貌通常顔写真)→下顎角点(m)(側貌通常顔写真)
d.Or点(側貌セファロX線)→上唇点(g)(側貌通常顔写真)
なお、Or点(側貌セファロX線)については、基準設定ステップの際に基準とした点を使用する。また、特徴点間の距離を比較する要素としては上記の特定点には限らない。
【0061】
次に、正貌の顎偏位がある場合のみ、特徴点間の角度を比較する要素として以下の3要素を設定する。
a.右口角点(ト)(正貌通常顔写真)と左口角点(チ)(正貌通常顔写真)の角度
b.左右眼点(イ、ロ)の中間点(正貌通常顔写真)とオトガイ下点(ル)(正貌通常顔写真)の角度
c.右下顎角点(リ)(正貌通常顔写真)と左下顎角点(ヌ)(正貌通常顔写真)の角度
なお、特徴点間の距離を比較する要素としては上記の特定点には限らない。
【0062】
次に、類似患者選出ステップFの手順を表3に示した例をあげて具体的に説明する。
(1)まず、新患者10の症状の分類(表1)を入力し記憶する。
(2)新患者と同じ分類に属する過去症例を選択し呼び出す。
例えば、新患者10を「II級」で「偏位なし」と入力した場合には、過去症例データベースから同じ分類に属する「II級」で「偏位なし」の過去症例を呼び出す。
(3)側貌の評価をするために、
図9(a)に示す新患者10と、
図9(b)に示す過去症例データベースから選択した複数の過去症例患者のそれぞれにおいて、特定した2点間の距離と方向を求める(
図9参照)。ここでの2点は、例えば始点をOrとし終点を軟組織Pog点(k)とする。
(4)新患者10と選択した各過去症例患者の始点位置(
図9のOr)を重ね合わせ、それぞれの終点位置(
図9のk)の距離Sにより類似度を評価する(
図10)。なお、
図10において、符号10aは、新患者の始点位置から終点位置までの距離と方向を示し、符号20aは、選択した過去症例患者のそれを示す。
(5)他の3点間についても、上記(3)、(4)と同様に始点位置と終点位置の距離により類似度を評価する(
図11)。前記他の3点間とは、例えば始点をOrとし終点を軟組織Me、始点を軟組織Pogとし終点を下顎角点(m)とし、又は始点をOrとし終点を上唇点(g)とする。
(6)正貌に顎偏位が認められる場合には、以下の3要素をこれまでの評価に加える(
図12)。
a.右口角点(ト)と左口角点(チ)の角度
b.左右眼点(イ、ロ)の中間点とオトガイ下点(ル)の角度
c.右下顎角点(リ)と左下顎角点(ヌ)の角度
なお、上記の角度は、画像データの正規化により、特定の点を、特定した位置と距離に配置しているので、画像上に絶対角度で示される。
(7)上記手順で得た距離及び角度に基づく評価を順位に変更し、全ての項目を累計して総合評価を行う。その一例を表3に示す。
【0064】
表3から、総合順位が1である過去症例患者Cが、類似患者20として選択される。
【0065】
次に、新患者術後予測位置設定ステップGである。新患者術後予測位置設定ステップGでは、類似患者20の術前と術後の顔貌変化に基づいて、各特徴点の移動量と移動方向を予測する(
図13参照)。すなわち、新患者10の術後の顔貌を予測するために、類似患者20の術前から術後の顔貌変化を新患者10に当てはめ、類似患者20の特徴点ごとの術前から術後の移動量と移動方向を、新患者10に適用する。なお、新患者術後予測位置設定ステップGは、側貌と正貌の双方において行う。
【0066】
次に、術後シミュレーションステップHである。術後シミュレーションステップHでは、術前の位置から術後の位置に移動した各特徴点を元にして新患者10の術後顔貌を可視化する。
【0067】
移動量と移動方向が決定された各特徴点は、それを中心とした円(半径60ピクセル)の影響範囲Zを持たせ、移動量と移動方向はその影響範囲Zでのみ働くように設定する(
図14参照)。そのため、各特徴点の影響範囲Zでは中心から遠いほど移動の力が弱まり、また、特徴点の影響範囲Zが重なる場合は互いの力が分散される。従って、術前の特徴点が目標とした位置に必ずしも到達するというわけではない。
図14(a)に移動前を示し、(b)に移動後を示している。
【0068】
移動量と移動方向を画像変化に適用するには、
図14で示したように、まず画像を一辺が8ピクセルの正方形で格子状に分割する。各画像の解像度は、縦640×横480に定められているので、一辺が8ピクセルの場合には縦80×横60=4800個のセルに分割したことになる。これにより、各格子の頂点Tの数は4941個となり、各頂点T毎にそれぞれの移動量と移動方向を求めた後、各頂点Tを目標位置へ移動させる。こうした作業によって術後シミュレーションステップHを完了する。
【0069】
以上の顎変形症術後顔貌予測するステップによって、新患者10の手術後の顔貌をより正確に予測することができる。