特許 7083191 セファロ画像における計測点の自動認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-02

(45)【発行日】2022-06-10

(54)【発明の名称】セファロ画像における計測点の自動認識方法

(51)【国際特許分類】

   A61B 6/14 20060101AFI20220603BHJP

   G06T 7/00 20170101ALI20220603BHJP

【ＦＩ】

A61B6/14 313

G06T7/00 612

G06T7/00 350C

【請求項の数】 10

(21)【出願番号】P 2020549210

(86)(22)【出願日】2019-09-24

(86)【国際出願番号】 JP2019037260

(87)【国際公開番号】W WO2020067005

(87)【国際公開日】2020-04-02

【審査請求日】2021-03-26

(31)【優先権主張番号】P 2018181619

(32)【優先日】2018-09-27

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】110001508

【氏名又は名称】特許業務法人 津国

(72)【発明者】

【氏名】谷川 千尋

(72)【発明者】

【氏名】リ チョンホ

【審査官】伊知地 和之

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００６１０５４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２５４５８２（ＵＳ，Ａ１）

【文献】Wang Ching-Wei et al.，Evaluation and Comparison of Anatomical Landmark Detection Methods for Cephalometric X-Ray Images: A Grand Challenge，IEEE TRANSACTIONS ON MEDICAL IMAGING，2015年09月，Vol.34, No.9，pp.1890-1900

【文献】Lee Hansang et al.，Cephalometric Landmark Detection in Dental X-ray Images Using Convolutional Neural Networks，PROCEEDINGS OF SPIE，2017年03月03日，Vol.10134，pp. 101341W-1-101341W-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／０１

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／１４

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

セファロ画像における計測点を演算処理装置が自動認識する方法であって、
被検者から取得したセファロ画像から、関心のある特徴点について予め定められた複数の異なる周辺部位領域を検出するステップと、
前記各周辺部位領域における前記特徴点の位置を予め学習させた深層学習モデルを用いて、前記各周辺部位領域における当該特徴点の候補位置をそれぞれ推定するステップと、
推定された複数の前記候補位置の分布に基づいて推定される、前記セファロ画像における前記特徴点の最尤推定位置を計測点の位置として判定するステップと
を含む、計測点自動認識方法。

【請求項2】

前記各周辺部位領域がそれぞれ異なる画像サイズを有しており、前記周辺部位領域を検出するステップでは、検出しようとする周辺部位領域と同一サイズの対照画像を用いて比較する、請求項１に記載の計測点自動認識方法。

【請求項3】

前記特徴点の位置を判定するステップにおいては、
前記候補位置のうち、それらの分布密度のピークに最も近い候補位置を前記特徴点の最尤推定位置として判定する、請求項１又は２に記載の計測点自動認識方法。

【請求項4】

前記特徴点の位置を判定するステップにおいては、
前記候補位置の分布密度のピークの位置を前記特徴点の最尤推定位置として判定する、請求項１又は２に記載の計測点自動認識方法。

【請求項5】

前記特徴点の位置を判定するステップにおいては、
前記候補位置の分布密度のピークが少なくとも２つ以上存在する場合であって、それぞれのピークから最尤推定される何れか２つの候補位置間の距離が所定の閾値以上あるときには、当該２つの候補位置が当該特徴点についての別個の測定点であると判定する処理を含む、請求項１に記載の計測点自動認識方法。

【請求項6】

セファロ画像における計測点を自動認識する演算処理装置及びデータベースを備えたシステムであって、
前記データベースが、
関心のある特徴点について予め定められた複数の異なる周辺部位領域を表示する対照画像の情報と、
前記各周辺部位領域における前記特徴点の位置を予め学習させた深層学習モデルと
を記憶し、
前記演算処理装置が、
被検者から取得したセファロ画像において前記各対照画像に一致する、複数の周辺部位領域を検出する周辺部位領域検出手段と、
前記深層学習モデルを用いて、前記各周辺部位領域における当該特徴点の候補位置をそれぞれ推定する特徴点位置推定手段と、
推定された複数の前記候補位置の分布に基づいて推定される、前記セファロ画像における前記特徴点の最尤推定位置を計測点の位置として判定する最尤位置判定手段と
を備える、計測点自動認識システム。

【請求項7】

前記各周辺部位領域がそれぞれ異なる画像サイズを有しており、前記周辺部位領域検出手段は、検出しようとする周辺部位領域と同一サイズの前記対照画像を用いて比較する、請求項６に記載の計測点自動認識システム。

【請求項8】

前記最尤位置判定手段は、前記候補位置のうち、それらの分布密度のピークに最も近い候補位置を前記特徴点の最尤推定位置として判定する、請求項６又は７に記載の計測点自動認識システム。

【請求項9】

前記最尤位置判定手段は、前記候補位置の分布密度のピークの位置を前記特徴点の最尤推定位置として判定する、請求項６又は７に記載の計測点自動認識システム。

【請求項10】

前記最尤位置判定手段は、前記候補位置の分布密度のピークが少なくとも２つ以上存在する場合であって、それぞれのピークから最尤推定される何れか２つの候補位置間の距離が所定の閾値以上あるときには、当該２つの候補位置が当該特徴点についての別個の測定点であると判定する、請求項６に記載の計測点自動認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、セファロ画像分析技術に関し、特にセファロ画像上の解剖学的特徴点（計測点）の同定を、ＡＩ（Artificial Intelligence）を用いた深層学習処理により自動化する技術に関する。

【背景技術】

【0002】

矯正歯科の診断において、Ｘ線規格画像（以下、「セファロ画像」という。）に基づく頭蓋・顎顔面の形態分析は重要な分析手法のひとつである。このセファロ画像分析は、大きく次の３つのステップにより構成される（図１参照）。先ず第１のステップでは、患者から取得したセファロ画像における解剖学的特徴に基づいて複数の計測点を特定する。次の第２のステップでは、特定された計測点のうちから分析に必要な点間の幾何学的な関係（距離及び角度など）を測定する。最後のステップでは、このようにして得られた測定値を、被検者である当該患者と年齢、性などが一致し、正常な咬合を有する集団から得られた基準値と比較することにより、その患者の偏りの程度を評価する。

【0003】

上述の第２及び第３のステップの分析処理は、位置が特定された計測点のピクセル座標値のみを扱うことから比較的簡単な演算処理で実現することができ、既に自動化が進んでいる（例えば非特許文献１参照）。しかし、上述の第１のステップにおける計測点の特定作業は、歯科医師の高度な専門的知識と経験が必要であるため完全な自動化には至っておらず、専ら医師の目視による判断で行われているのが現状である。例えば、頭蓋・顎顔面の形態分析において計測に使用される特徴点の個数は少なくとも２０以上ある。しかも、軟組織上の特徴はコントラストを調整しながら読影する必要があるなど、全ての計測点（特徴点）の位置を正確に特定する作業は、歯科医師に長時間にわたる集中力と判断を強いるものであり負担が大きかった。

【0004】

セファロ画像上の計測点の自動認識については、これまでに知識情報を用いて認識する方法や、パターン認識により同定する方法などが報告されているが未だ臨床応用には至っていない。その理由としては、ソフトウエアで実現した数理モデルが膨大な計算ステップを必要とすること、またスーパーコンピューターレベルの処理能力を必要とすることなどが挙げられる。

【0005】

近年、コンピューターの処理能力の向上と高度なアルゴリズム開発による先進的分析エンジンが誕生したことにより、様々な分野で機械学習、特にディープラーニングに基づく画像認識技術の実用化が試みられている。例えば特許文献１には、セファロ画像上における解剖学的ランドマークの位置特定処理をＣＮＮ（Convolutional Neural Network）を採用したアルゴリズムにより行うことが開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許出願公開第２０１８／００６１０５４号明細書

【0007】

【文献】Ricketts, R. M. (1972), The value of cephalometrics and computerized technology. Angle Orthod., 42, 179-99.

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述したようにセファロ画像分析における計測点の位置特定は、現状では医師等の高度な専門的知識と経験に基づいて行われている。計測点の位置特定を実用レベルで自動化するには、ハイスペックな専用ハードウエアの開発が必要であった。
本発明は、こうした事情に鑑み、専用のハードウエアを用いなくても、セファロ画像分析における計測点の特定を自動化する技術を提供することを目的としている。

【課題を解決するための手段】

【0009】

上述した課題を解決するため、本発明は、セファロ画像における計測点を演算処理装置が自動認識する方法であって、被検者から取得したセファロ画像から、関心のある特徴点について予め定められた複数の異なる周辺部位領域を検出するステップと、前記各周辺部位領域における前記特徴点の位置を予め学習させた深層学習モデルを用いて、前記各周辺部位領域における当該特徴点の候補位置をそれぞれ推定するステップと、推定された複数の前記候補位置の分布に基づいて推定される、前記セファロ画像における前記特徴点の最尤推定位置を計測点の位置として判定するステップとを含む、計測点自動認識方法である。

【0010】

前記各周辺部位領域がそれぞれ異なる画像サイズを有しており、前記周辺部位領域を検出するステップでは、検出しようとする周辺部位領域と同一サイズの対照画像を用いて比較することが好ましい。

【0011】

また、前記特徴点の位置を判定するステップにおいては、前記候補位置のうち、それらの分布密度のピークに最も近い候補位置を前記特徴点の最尤推定位置として判定することが好ましい。

【0012】

また、前記特徴点の位置を判定するステップにおいては、前記候補位置の分布密度のピークの位置を前記特徴点の最尤推定位置として判定するものでもよい。

【0013】

また、前記特徴点の位置を判定するステップにおいては、前記候補位置の分布密度のピークが少なくとも２つ以上存在する場合であって、それぞれのピークから最尤推定される何れか２つの候補位置間の距離が所定の閾値以上あるときには、当該２つの候補位置が当該特徴点についての別個の測定点であると判定する処理を含むことが好ましい。

【0014】

また、本発明は、セファロ画像における計測点を自動認識する演算処理装置及びデータベースを備えたシステムであって、前記データベースが、関心のある特徴点について予め定められた複数の異なる周辺部位領域を表示する対照画像の情報と、前記各周辺部位領域における前記特徴点の位置を予め学習させた深層学習モデルとを記憶し、前記演算処理装置が、被検者から取得したセファロ画像において前記各対照画像に一致する、複数の周辺部位領域を検出する周辺部位領域検出手段と、前記深層学習モデルを用いて、前記各周辺部位領域における当該特徴点の候補位置をそれぞれ推定する特徴点位置推定手段と、推定された複数の前記候補位置の分布に基づいて推定される、前記セファロ画像における前記特徴点の最尤推定位置を計測点の位置として判定する最尤位置判定手段とを備える、計測点自動認識システムである。

【0015】

前記各周辺部位領域がそれぞれ異なる画像サイズを有しており、前記周辺部位領域検出手段は、検出しようとする周辺部位領域と同一サイズの前記対照画像を用いて比較することが好ましい。

【0016】

また、前記最尤位置判定手段は、前記候補位置のうち、それらの分布密度のピークに最も近い候補位置を前記特徴点の最尤推定位置として判定することが好ましい。

【0017】

また、前記最尤位置判定手段は、前記候補位置の分布密度のピークの位置を前記特徴点の最尤推定位置として判定するものでもよい。

【0018】

また、前記最尤位置判定手段は、前記候補位置の分布密度のピークが少なくとも２つ以上存在する場合であって、それぞれのピークから最尤推定される何れか２つの候補位置間の距離が所定の閾値以上あるときには、当該２つの候補位置が当該特徴点についての別個の測定点であると判定することが好ましい。

【発明の効果】

【0019】

本発明によれば、セファロ画像分析における解剖学的特徴点の認識処理を高精度かつ軽負荷で行うことができるアルゴリズム又はシステムを提供する。それにより、ハイスペックな専用ハードウエアを用いなくても、セファロ画像における計測点の特定を自動化することができる。

【図面の簡単な説明】

【0020】

【図1】矯正歯科診断において行われるセファロ画像分析の概要を説明するためのスローチャートである。

【図2】側面位頭部の画像から読み取られる代表的な解剖学的特徴点を説明するための図である。

【図3】入力画像に回帰ＣＮＮモデルを適用して特徴点を自動認識するシステムを説明するための図である。

【図4】回帰ＣＮＮモデルによる特徴点を自動認識するシステムを更に説明するための図である。

【図5】回帰ＣＮＮモデルによる特徴点を自動認識するシステムを更に説明するための図である。

【図6】本発明の一実施形態による、計測点の自動認識処理を説明するためのフローチャートである。

【図7】セファロ画像及びその画像から選択される広候補領域を例示する図である。

【図8】セファロ画像において特徴点sellaの位置を判断する際に参照される複数の周辺部位領域を例示する図である。

【図9】セファロ画像から複数の周辺部位領域を検出するシステムを説明するための図である。

【図10】複数の分割画像に分類ＣＮＮモデルを適用して該当する周辺部位領域に分類するシステムを説明するための図である。

【図11】複数の周辺部位領域に回帰ＣＮＮモデルを適用してそれぞれの特徴点の位置を推定するシステムを説明するための図である。

【図12】広候補領域画像において推定された特徴点sellaについての複数の候補位置を同時に表示した図である。

【図13】複数の候補位置の分布密度曲線に基づいて特徴点の位置を判定する方法を説明するための図である。

【図14】複数の候補位置の分布密度曲線に基づいて特徴点の位置を判定する方法を更に説明するための図である。

【発明を実施するための形態】

【0021】

矯正歯科の診断において、患者の頭蓋・顎顔面の形態分析法の重要なもののひとつにセファロ画像分析がある。このセファロ画像分析は、図１に示すように、大きく３つのステップにより構成される。先ず、患者から取得したセファロ画像における解剖学的特徴に基づいて複数の計測点を特定する（ステップＳ１）。次に、特定された計測点のうちから分析に必要な点間の幾何学的な位置関係（距離及び角度など）を測定する（ステップＳ２）。そして、幾何学的に得られた測定値を、被検者である当該患者と年齢、性などが一致し、正常な咬合を有する集団から得られた基準値と比較することにより、その患者の偏りの程度を評価する（ステップＳ３）。本発明は、ステップＳ１において行われる計測点（すなわち解剖学的特徴点）の特定ないし認識を、コンピューターの深層学習処理により自動認識する方法に係るものである。以下、図面を参照しながら、その具体的な実施形態を詳細に説明する。

【0022】

セファロ画像は、患者である被検者の側面位頭部を一定規格の下でＸ線撮影することにより取得される。すなわち、被写体の中心とＸ線管の焦点との距離、及び、被写体とフィルム面との距離を常に一定にし、かつ、Ｘ線の主線を両耳桿の中心軸を貫通する位置（側貌位の場合）に保持することにより、経時的な比較検討が可能なＸ線規格画像が得られる。

【0023】

図２に、側面位頭部の画像から読み取ることができる代表的な解剖学的特徴点（ランドマーク）をいくつか示す。例えばこれら特徴点を結ぶ線の長さや角度を測定することで、上下顎の大きさとそのズレ、顎の形、歯の傾斜角、口元のバランスなどを定量的に評価でき、または術前術後の変化を観察することができる。

【0024】

本実施形態によれば、セファロ画像分析における計測点である解剖学的特徴点が、演算処理装置が行う深層学習モデルを用いた画像認識処理により同定される。深層学習モデルとして、例えば畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）モデルを用いた回帰演算処理を採用することができる。ここで、図３～５を参照して、回帰畳み込みニューラルネットワークモデル（以下、「回帰ＣＮＮモデル」と略称する。）を用いた特徴点の自動認識の概要を説明する。

【0025】

回帰ＣＮＮモデル１０には、ある特徴点Ｆの位置（Ｘｆ，Ｙｆ）が判明している大量の教師画像１２が予め学習されている。教師画像１２は、セファロ画像の全領域でもよいし、特徴点Ｆを含むように切り出された一領域であってもよい。本実施形態では、基本的には、この学習済みの教師画像１２を用いた回帰演算処理により、入力画像１１における特徴点Ｆの位置（Ｘｒ，Ｙｒ）を推定する。

【0026】

回帰ＣＮＮモデル１０は、入力層１０１と、隠れ層（ディープラーニング層）１０２と、出力層１０３とを少なくとも有している。入力画像１１の画像データは、先ず、入力層１０１にそのまま取り込まれる。すなわち、入力層１０１の各ニューロンには、入力画像１１の対応する各ピクセル値、具体的にはＸ線写真のグレースケールを「０」～「１」に換算した値が入力される。

【0027】

隠れ層１０２では、入力画像１１を構成している様々な特徴のパターンが抽出される。図３に示す隠れ層１０２の縦列の各ニューロンは、それぞれ重みが与えられた入力の線形和を演算することで、それぞれ別々の特徴のパターンを判定する役割を担っている。各ニューロンの重み係数を調整することで、そのニューロンが判定する特徴を学習させることができる。これらのニューロンは、前層から入力された配列データと予め学習された特徴の配列データとを比較し、それら相互の一致度（類似の程度）を示す値が次層のニューロン列に渡される。各ニューロンが判定した結果は、ディープラーニング層の増大による勾配損失を減らすという観点から、ＲｅＬＵ（Rectified Linear Units）またはシグモイド関数等により活性化されることが好ましい。

【0028】

ディープラーニング層による上述の特徴抽出を画像全体で一括して行おうとすると、１つのニューロンに情報を伝達するシナプスの数が入力画像の解像度（画素数）に相当する数だけ必要となり、データ処理量が膨大になる。この問題を解決するため、本実施形態では、特徴抽出にＣＮＮ（畳み込みニューラスネットワーク）を採用している。深層学習モデルがＣＮＮの場合、例えば図４及び５に示すように、入力層１０１の画像情報が小領域である複数のピース１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄに小分けされ、隠れ層１０２のニューロン１０２１、１０２２、・・・がこれらピース１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄ毎にそれぞれ特徴の一致度を判定する。このようなピース毎の一致度判定を一次の配列データ（初期では画像データ）全体で行うことで、よりダウンサイジング化された二次の配列データ（中間データ）を得ることができる。

【0029】

ディープラーニング層である隠れ層１０２においては、以上のような一致度判定の処理が順次重層的に繰り返され、最終的に教師画像１２との一致性が強調された小サイズの特徴抽出データが得られる。なお、ディープラーニングの各層において、中間データのサイズを縮小するプーリング処理を適宜配置し、それによりコンピューターの情報処理負荷の低減を図ってもよい。

【0030】

隠れ層１０２から出力されピースパターンの特徴が抽出されたデータ（特徴抽出データ配列）は、最終的に出力層１０３に渡される。出力層１０３では、任意の入力画像の特徴抽出データから得られる特徴点Ｆの推定位置と、教師画像１２の特徴抽出データから得られる特徴点Ｆの位置（Ｘｆ，Ｙｆ）との間の誤差が最小となるように、ニューラルネットワークの重み係数がチューニングされている。この出力層１０３において、入力画像１１から抽出した特徴抽出データに対し回帰演算処理を実行することで、当該入力画像１１における特徴点Ｆの推定位置（Ｘｒ，Ｙｒ）を得ることができる。

【0031】

このような回帰演算処理においては、一般的に、入力画像１１の領域が広い（つまり画素数が多い）ほど、高い精度で特徴点の位置を推定することができる。しかしその一方で、セファロ画像全体を一括して回帰演算処理を行おうとするとコンピューターで処理する情報量が膨大になり、演算時間が長くなるという課題も生じる。そこで、本実施形態のシステムでは、特徴点の自動認識における高い位置推定精度と演算処理負荷軽減の両立を図るため、次に説明する新規なアルゴリズムを採用している。

【0032】

図６に、本発明の一実施形態による、計測点の自動認識処理を説明するためのフローチャートを示す。この自動認識処理は、被検者から取得したセファロ画像から、認識しようとする特徴点についての特定の周辺部位領域を検出するステップ（Ｓ１１）、検出した各周辺部位領域における特徴点の候補位置をそれぞれ推定するステップ（Ｓ１２）、そして各周辺部位領域において推定された複数の候補位置の分布に基づいて、セファロ画像における最も確からしい特徴点の位置を判定するステップ（Ｓ１３）を含む。本自動認識方法で推定された特徴点の位置が、セファロ画像分析（図１参照）における計測点の位置として認識され、矯正歯科診断のための定量的な測定評価に供される。

【0033】

先ず、図６のステップＳ１１においては、例えば図９に示す分類畳み込みニューラルネットワークモデル（以下、「分類ＣＮＮモデル」と略称する。）を用いた深層学習に基づく画像認識処理により、システムに入力された被検者のセファロ画像１４から複数の周辺部位領域３１、３２、３３、３４、・・・を検出する。分類ＣＮＮモデル１３に入力する画像はセファロ画像全体でもよいが、図７に示すように、認識対象の解剖学的特徴点（例えばsellaやnasion等）を含む、ある制限された候補領域１５であることが好ましい。画像全体から切り出されたこの候補領域をここでは「広候補領域」という。なお、上述の周辺部位領域３１、３２、３３、３４は、「広候補領域」から選択されるより狭い領域であることから「狭候補領域」ということがある。

【0034】

専門医は、セファロ画像からある特徴点を読影で同定する際に、その特徴点についての複数の周辺部位領域を参照する。例えば、解剖学的特徴点nasion（前頭鼻骨縫合部の最前点）を同定する場合、先ず前頭洞を探し、その前下方（画像上では右下方）に存在する透過像を探し、更に、鼻の形態を検討して、解剖学的に縫合部であって問題ない箇所を探すなどの工夫を行うことがある。更に、眼瞼のラインと混同していないかについて再度検討し、最終的な鼻骨縫合部の最前点を同定する。この際、専門医は、nasionの画像上における左上方において、前頭洞が入る程度の画像を認識し、次に、nasionの画像上における右下方の鼻の形態を認識し、更に、nasionの下方にある眼瞼を探すなど、複数の解剖学的特徴を用いて複合的に位置を判断する。

【0035】

本明細書において「周辺部位領域」とは、セファロ画像において関心のある特徴点を同定するために、解剖学的知見を有する専門医等により選択される、その特徴点周囲の特定の画像領域をいう。規格化されたセファロ画像においては、ある特徴点の複数の周辺部位領域について、それぞれ、画素座標位置及び画像サイズを規定することができる。特徴点についての複数の周辺部位領域は、それぞれ異なる画像サイズを有している。
なお、ここでいう周辺部位領域の画像サイズは、下記の数式（１）で定義される。
画素サイズ ＝ 画素数×解像度 ・・・数式（１）

【0036】

以下、本システムで位置を自動認識しようとする特徴点の一例としてsellaを取り挙げ、図７に示した広候補領域１５を入力画像（広候補領域画像１５Ｄ）として、複数の周辺部位領域からsellaを同定する場合の実施例を説明する。

【0037】

本システムは演算処理装置及びデータベースを備える。データベースは、関心のある特徴点（例えばsella等）について予め定められた複数の周辺部位領域を表示する対照画像のデータと、対照画像を教師データとして学習させた深層学習モデルである分類ＣＮＮモデル１３及び／又は１６と、各周辺部位領域における特徴点の位置を予め学習させた深層学習モデルである回帰ＣＮＮモデル１０等を記憶している。
以下に説明する周辺部位領域検出手段、特徴点位置推定手段及び最尤位置判定手段は、演算処理装置が所定のアルゴリズムに従い演算処理を実行することで実現される。

【0038】

（周辺部位領域検出手段）
ここで、図８は、被検者から取得したセファロ画像１４における特徴点sellaの位置を同定する際に参照される周辺部位領域３１、３２、３３、３４、・・・を例示する図である。上述のステップＳ１１において（図６参照）、周辺部位領域検出手段は、特徴点sellaについて予め定められた複数の周辺部位領域の教師データ、つまり対照画像を学習させた分類ＣＮＮモデル１３に基づく深層学習処理により、セファロ画像１４における周辺部位領域３１、３２、３３、３４、・・・を検出し、それぞれに対応する周辺部位領域画像（いわゆる「パッチ」）２１、２２、２３、・・・を切り出す。

【0039】

ここでは、図９を参照しながら、一例として、教師画像である対照画像５２に一致する周辺部位領域３２を自動検出する処理を説明する。先ず、被検者のセファロ画像１４から特徴点sellaを含む広候補領域画像１５Ｄを選択し、そのデータをシステムの入力画像バッファメモリにロードする。広候補領域画像１５Ｄの選択は自動で行ってもよいし、専門医等が実際にセファロ画像を見ながらカーソル操作などで範囲を選択してもよい。

【0040】

上述したように分類ＣＮＮモデル１３には、過去の多くの試料提供者（患者及び健常者を含む）から取得した周辺部位領域３２の教師画像である対照画像５２が予め学習されている。本自動認識システムは、その検出しようとする周辺部位領域３２の対照画像５２と縦横サイズが同一の走査フレーム３２Ｓをワークメモリに作成する。そのような走査フレーム３２Ｓの領域は、例えば当該フレームの始端座標変数（Ｓｘ，Ｓｙ）及び始端座標変数に周辺部位領域３２のＸＹ軸方向における画像サイズＬｘ，Ｌｙをオフセットとして加えた終端座標変数（Ｓｘ＋Ｌｘ，Ｓｙ＋Ｌｙ）を使って、〔（Ｓｘ，Ｓｙ）：（Ｓｘ＋Ｌｘ，Ｓｙ＋Ｌｙ）〕と規定することができる。

【0041】

そして、図９に示すように、広候補領域画像１５Ｄ上で走査フレーム３２Ｓを１ラインずつ走査し、走査フレーム３２Ｓによって各走査位置で画される広候補領域画像１５Ｄの一部（走査画像）に対し、順次、分類ＣＮＮモデル１３を適用する。分類ＣＮＮモデル１３によって、各走査画像と、周辺部位領域の対照画像５２とが比較され、それらの一致度（類似の程度）が判定される。そして、周辺部位領域検出手段は、広候補領域画像１５Ｄの全体に渡り対照画像５２との一致度が最も高かった走査画像の領域を周辺部位領域３２として検出する。

【0042】

このような特定の画像サイズを手掛かりにして、対照画像に一致する周辺部位領域を探すアルゴリズムを採用したことにより、周辺部位領域を検出する速度及び精度を向上させることができる。

【0043】

なお、走査フレーム３２Ｓの走査においては、先ず数ピクセル単位で一次走査して広候補領域画像１５Ｄの対象領域を大まかに絞り込んだ後に、その絞り込んだ対象領域に対し１ピクセル単位で走査して最終的な周辺部位領域３２を検出することが好ましい。

【0044】

経験を重ねた専門医は、軟組織上の特徴点を特定する際に、当該特徴点が存在する周辺部位のみならず、当該特徴点から少し離れた部位の骨格構造を参照する場合がある（例えば図８に示した周辺部位領域３４）。本自動認識方法によれば、例えば特徴点sellaを含まない周辺部位領域３４に基づいて、sellaの相対的な画素座標位置を推定することができる。

【0045】

或いは、図１０に示すように、広候補領域画像１５Ｄから様々な大きさを持った複数の分割画像４１、４２、４３、４４を選択し、それぞれの画像に分類ＣＮＮモデル１６を適用することにより、それらの分割画像がどの周辺部位領域に該当するか分類してもよい。その場合、特徴点を含まないと判定された例えば分割画像４４を処理の対象から排除してもよい。

【0046】

（特徴点位置推定手段）
次にステップＳ１２（図６）においては、切り出した複数の周辺部位領域画像２１、２２、２３、・・・における特徴点の候補位置をそれぞれ推定する。本実施例では、図１１に示すように、各周辺部位領域画像２１、２２、２３、・・・に上述の回帰ＣＮＮ１０を適用することで、それぞれの領域について黒丸で示される特徴点sellaの候補位置の相対画素座標値を得ることができる。これについて理解を助けるため、図１２に、特徴点sellaについて推定された複数の候補位置を同時に表示した広候補領域画像１５Ｄの例を示す。

【0047】

（最尤位置判定手段）
最後にステップＳ１３（図６）においては、各周辺部位領域画像２１、２２、２３、・・・において推定された、特徴点sellaの複数の候補位置の分布に基づく最尤推定処理により、セファロ画像１４（または広候補領域画像１５Ｄ）における、当該特徴点sellaの位置を判定する。

【0048】

例えば図１３において黒丸で示される複数の候補位置のうち、それらの分布密度曲線のピークに最も近い位置を特徴点の位置と判定することができる。或いは、候補位置の分布密度曲線のピーク位置を特徴点の位置として判定してもよい。

【0049】

また、例えば図１４に示すように、特徴点の候補位置の分布密度のピークが少なくとも２つ以上存在する場合には、それらのピーク位置に基づいて推定される２つ以上の特徴点が、それぞれ当該特徴点についての別個の測定点であると判定してもよい。この場合において、２つの候補位置間の距離が所定の閾値以上であることを条件にして、別個の測定点であると判定してもよい。

【0050】

なお、最尤位置判定手段は、各周辺部位領域画像２１、２２、２３、・・・について、例えば特徴点sellaの位置を推定するために適用される、それぞれの回帰ＣＮＮモデル１０を有している。各回帰ＣＮＮモデル１０は、周辺部位領域画像から推定される特徴点の候補位置と、被検者のセファロ画像１４において最尤推定処理により判定された当該特徴点の位置との誤差が最小となるように学習されることが好ましい。

【0051】

なお、ステップＳ１２におけるそれぞれの候補位置の推定精度は、基となる周辺部位領域画像に応じて差がある。そのため、ステップＳ１３の最尤推定処理において、それぞれの候補位置の推定結果をその推定精度に応じて重み付けして評価するようにしてもよい。例えばサイズの大きい周辺部位領域画像２３において推定される候補位置の結果に課す重み係数を、サイズの小さい周辺部位領域画像２２において推定される候補位置の結果に課す重み係数よりも大きくすることができる。また、ステップＳ１３における判定結果に対する誤差傾向を学習し、それぞれの推定精度に応じて重み係数を定めるようにしてもよい。

【0052】

特徴点をいくつかのサブセットに分けて並列処理をすることにより自動認識してもよい。例えば、
サブセット１：｛Ｓ、Ｂ、Ｎ、・・・｝、
サブセット２：｛Ｐｏ、Ｏｒ、Ｍｅ、・・・｝
を別々に学習させて並列処理をすることができる。ここで、Ｓ、Ｂ、Ｎ、Ｐｏ、Ｏｒ、Ｍｅ、・・・は、それぞれ別個の解剖学的特徴点に該当する。
サブセット１に属するそれぞれの特徴点Ｓ、Ｂ、Ｎ、・・・は、上述した複数の周辺部位領域における分布に基づいて抽出することができる。もうひとつのサブセット２に属するＰｏ、Ｏｒ、Ｍｅ、・・・についても同様である。
互いに曖昧な関係にある特徴点（位置が近い、又は似ているなど）を別々のサブセットに分けて並列処理をすることにより、全体の特徴点抽出速度と位置検出精度とを同時に高めることができる。
なお、特徴点をいくつかのサブセットに分けて並列処理をする本実施形態の方法において、上述したように特徴点毎に設定した複数の周辺部位領域の学習モデルに基づいて抽出処理を行ってもよいし、特徴点毎に設定した候補領域の学習モデルを使って抽出処理を行ってもよい。

【符号の説明】

【0053】

１０ 回帰ＣＮＮモデル（特徴点の位置推定用）
１１ 入力画像
１２ 教師画像
１３ 分類ＣＮＮモデル（周辺部位領域検出用）
１４ 被検者のセファロ画像
１５ 広候補領域
１５Ｄ 広候補領域画像
１６ 分類ＣＮＮモデル（周辺部位領域選別用）
２１、２２、２３ 周辺部位領域画像
３１、３２、３３、３４ 周辺部位領域
３２Ｓ 走査フレーム
４１、４２、４３、４４ 分割画像
５２ 周辺部位領域の対照画像
１０１ 入力層
１０２ 隠れ層（ディープラーニング層）
１０３ 出力層
１０２１、１０２２ ニューロン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】