(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】矯正診断のための歯科画像分析方法及びこれを用いた装置
(51)【国際特許分類】
A61C 19/04 20060101AFI20220620BHJP
A61B 6/14 20060101ALI20220620BHJP
A61B 6/00 20060101ALI20220620BHJP
G06T 7/00 20170101ALI20220620BHJP
【ＦＩ】
A61C19/04 Z
A61B6/14 310
A61B6/00 360Z
A61B6/00 350D
G06T7/00 612
【請求項の数】
12
(21)【出願番号】P 2019563288
(86)(22)【出願日】2018-10-11
(65)【公表番号】
(43)【公表日】2020-11-26
(86)【国際出願番号】 KR2018011969
(87)【国際公開番号】W WO2020040349
(87)【国際公開日】2020-02-27
【審査請求日】2019-11-11
(31)【優先権主張番号】10-2018-0097713
(32)【優先日】2018-08-21
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】519401435
【氏名又は名称】ディーディーエイチ インコーポレーテッド
【氏名又は名称原語表記】ＤＤＨ ＩＮＣ．
【住所又は居所原語表記】２１Ｄｏｎｇ １０５－１Ｈｏ，１０１，Ｄａｅｈａｋ－ｒｏ，Ｊｏｎｇｎｏ－ｇｕ Ｓｅｏｕｌ ０３０８０，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】キム、ハン ソク
(72)【発明者】
【氏名】ユ、ヨン ソン
(72)【発明者】
【氏名】イ、シン ジェ
【審査官】小林 睦
(56)【参考文献】
【文献】特開２０１４－１７１７０２（ＪＰ，Ａ）
【文献】特開２００８－２５３８０８（ＪＰ，Ａ）
【文献】国際公開第０３／０３７２０４（ＷＯ，Ａ１）
【文献】Sercan O. Ar.k，Fully automated quantitativecephalometry using convolutionalneural networks，Journal of Medical Imaging，米国，SPIE，2017年01月，Vol.4 Issue 1，pp.01450-1～01450-3，第01450-1ページ左欄第5-7行、第01450-2ページ左欄第1-32行、第01450-2ページ左欄第43-第01450-3ページ左欄第24行,図1,表1
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｃ １９／０４
Ａ６１Ｃ ７／００
Ａ６１Ｂ ６／１４
Ａ６１Ｂ ６／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
少なくとも画像取得モジュールと計測点検出モジュールを含むコンピューティング装置のプロセッサが矯正診断のために行う歯科画像分析方法であって、前記コンピューティング装置のプロセッサが、歯科画像分析を行う各ステップとして、
画像取得モジュールによって、受診者の歯科画像を取得するステップと、
計測点検出モジュールによって、前記歯科画像から、矯正診断のための複数の計測点（ ｌａｎｄｍａｒｋ）を検出することである計測点のうちの少なくとも一部を検出するステップと、を含み、
前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づいた機械学習モジュールを含み、
前記計測点のうちの少なくとも一部を検出するステップにおいて、前記計測点検出モジュールは、単一の畳み込みネットワーク（ｓｉｎｇｌｅ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ）に基づいて、前記歯科画像から複数の前記計測点を同時に検出し、
前記計測点のうちの少なくとも一部を検出するステップは、
前記歯科画像を抽象化し、複数の前記計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス（ｂｏｕｎｄａｒｙ ｂｏｘ）及び前記境界ボックスのそれぞれの中心座標を検出するステップと、
前記検出された前記境界ボックスのうちの少なくとも一部に対して、中心座標を前記計測点として決定するステップと、を含む方法。
【請求項2】
蓄積された複数の比較歯科画像を含む学習データから前記機械学習モジュールを学習させるステップをさらに含み、前記比較歯科画像は、専門医によって前記計測点が読み取られた他の受診者の歯科画像である、請求項１に記載の方法。
【請求項3】
前記歯科画像は頭部Ｘ線規格写真（ｃｅｐｈａｌｏｇｒａｍ）である、請求項１に記載の方法。
【請求項4】
前記検出ステップは、前記受信された歯科画像をリサイズ（ｒｅｓｉｚｉｎｇ）するステップをさらに含み、
前記検出するステップは、前記リサイズされた歯科画像に基づいて行われる、請求項１に記載の方法。
【請求項5】
前記検出ステップは、前記境界ボックスのそれぞれに対して、前記個々の解剖学的特徴の存在確率を算出するステップをさらに含み、
前記決定するステップは、
一つの個々の解剖学的特徴に対して複数の前記境界ボックスが検出される場合、前記存在確率に基づいて前記一つの個々の解剖学的特徴に対応する複数の前記境界ボックスのうちのいずれかをフィルタリングするステップと、
前記フィルタリングされた前記境界ボックスの前記中心座標を前記計測点として決定するステップと、を含む、請求項１に記載の方法。
【請求項6】
前記検出された計測点を、既設定された複数の計測点と対比して検出が欠落した計測点を識別するステップと、標準計測点情報（ｓｔａｎｄａｒｄ ｌａｎｄｍａｒｋ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて、前記検出された計測点のうちの少なくとも一部に対応する標準計測点を有する標準歯科画像を探索するステップ－前記標準計測点情報は、複数の前記標準歯科画像及び複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点に関する情報を含む－と、
前記探索された標準歯科画像及び前記探索された標準歯科画像の前記標準計測点を用いて、前記欠落した計測点の位置を決定するステップと、をさらに含む、請求項１に記載の方法。
【請求項7】
前記標準計測点情報は、前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点に関する情報をさらに含み、前記標準歯科画像を探索するステップでは、前記隣接計測点に関する情報に基づいて、 前記検出された計測点のうち前記欠落した計測点と隣接して配置される複数の計測点に対応する前記標準計測点を有する前記標準歯科画像を探索する、請求項６に記載の方法。
【請求項8】
前記標準歯科画像は、歯科画像原本から前記標準計測点の存在領域を抽出することにより生成され、前記標準計測点に関する情報は、前記標準歯科画像において前記標準計測点 の相対座標に関する情報を含み、前記方法は、
前記歯科画像から前記検出された計測点の存在領域を抽出し、前記抽出された領域を、 前記標準歯科画像と同じスケールで正規化（ｎｏｒｍａｌｉｚｉｎｇ）して、前記検出された計測点の相対座標を算出するステップをさらに含み、
前記標準歯科画像を探索するステップ及び前記欠落した計測点の位置を決定するステップは、前記検出された計測点の相対座標及び前記標準計測点の相対座標に基づいて行われる、請求項６に記載の方法。
【請求項9】
診断者の選好計測点の情報を受信するステップと、前記検出された計測点のうち前記選好計測点情報に対応する一部を強調して表示するス テップと、をさらに含む、請求項１に記載の方法。
【請求項10】
前記検出された計測点に基づいてセファロ分析（ｃｅｐｈａｌｏｍｅｔｒｉｃ ａｎａ ｌｙｓｉｓ）を行うことにより、矯正治療のための前記受診者の顔型を判断するステップ をさらに含む、請求項１に記載の方法。
【請求項11】
請求項１ないし１０のいずれか一項に記載の方法を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項12】
矯正診断のための歯科画像解析をサポートするコンピューティング装置であって、受診者の歯科画像を取得する通信部と、
前記歯科画像から、矯正診断のための複数の計測点（ｌａｎｄｍａｒｋ）のうちの少なくとも一部を検出する計測点検出モジュールを含むプロセッサと、を含み、
前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づいた機械学習モジュールを含み、
前記計測点のうちの少なくとも一部を検出するステップにおいて、前記計測点検出モジュールは、単一の畳み込みネットワーク（ｓｉｎｇｌｅ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ）に基づいて、前記歯科画像から複数の前記計測点を同時に検出し、
前記歯科画像を抽象化し、複数の前記計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス（ｂｏｕｎｄａｒｙ ｂｏｘ）及び前記境界ボックスのそれぞれの中心座標を検出し、
前記検出された前記境界ボックスのうちの少なくとも一部に対して、中心座標を前記計測点として決定する装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、矯正診断のための歯科画像分析方法及びこれを用いた装置に係り、より具体的には、機械学習モジュールにより、歯科画像から、矯正診断のための複数の計測点を正確かつ迅速に検出可能な歯科画像分析方法及びこれを用いた装置に関する。
【背景技術】
【0002】
一般的に、咬合とは、口を閉じたときに上顎と下顎の歯が噛み合った状態を意味する。また、不正咬合とは、ある原因によって上下歯の配列が不規則であるか、上下顎の歯が正常に噛み合っていない機能的、審美的に問題となる不正確な咬合関係を意味する。
【0003】
ここで、前記不正咬合は、遺伝的な影響が大きいと知られているが、歯の形状や大きさの問題、環境的な影響、良くない習慣、間違った姿勢及び歯牙う蝕症（虫歯）などの先天性疾患などのさまざまな原因によって発生する。
【0004】
不正咬合があると、歯列が乱れて歯と歯の間に食べ物が詰まりやすい。正確なブラッシングできれいに管理することも容易ではないので、口腔内プラークが増加して歯牙う蝕症（虫歯）や歯肉の炎症などの歯周病（歯肉疾患）が発生しやすい。また、正常な歯並びから大きく外れた歯牙があるか、顎の位置が正常ではないケースがあれば、外部からの衝撃が加わると、歯の破折などの損傷が生じる可能性が大きい。
【0005】
そこで、不正咬合を治療するために矯正治療が行われている。ここで、歯列矯正治療は、歯が外力を受けると移動する性質を利用する。矯正治療には、原因や治療の時期に応じて様々な装置及び方法が利用でき、例えば、装置は、上下顎骨の発育を抑制するか促進させる装置や、歯を所望の位置に徐々に移動させる装置などに分類することができる。
【0006】
このような矯正治療を患者に適切に実行するためには、患者の顔型の判断が優先されるべきである。このような顔型判断（すなわち、矯正診断）のために、図１に示されるセファロ分析（ｃｅｐｈａｌｏｍｅｔｒｉｃ ａｎａｌｙｓｉｓ）方法が主に用いられている。
【0007】
このようなセファロ分析は、顔面骨格、歯、顔の輪郭などの相対位置を指示する解剖学的基準点を用いて矯正治療のための顔型を判断する方法であって、従来は、矯正治療が必要な患者の頭部Ｘ線規格写真（セファログラム：ｃｅｐｈａｌｏｇｒａｍ）を見ながら矯正医が直接手作業で自分が必要な基準点をマークし、基準点を結ぶ各直線の相対角度などに基づいて患者の顔型を判断した。
【0008】
しかし、このような従来方式は、矯正医が自分の学風などに基づいて必要な基準点を任意にマークする方式であるため、顔型判断のために使用される基準点が矯正医ごとに異なっている。それゆえに、基準点の標準化及び共有が難しく、多数の基準点を矯正医が一々手作業でマークする必要があるので、結構時間がかかり、矯正医の熟練度に応じて精度のばらつきが発生するという問題があった。
【0009】
したがって、従来のこのような問題を解決することのできる矯正診断用歯科画像分析方法が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、上記問題を解決するために案出されたものであり、機械学習モジュールにより、歯科画像から、矯正診断のための複数の計測点を正確かつ迅速に検出可能な矯正診断のための歯科画像分析方法及びこれを用いた装置を提供することを目的とする。
【0011】
本発明の技術的課題は、上述した技術的課題に何ら制限されるものではなく、未言及の他の技術的課題は、次の記載から当業者にとって明らかに理解できる筈である。
【課題を解決するための手段】
【0012】
本発明の一実施形態により、矯正診断のための歯科画像分析方法が提供される。前記方法は、受診者の歯科画像を取得するステップと、前記歯科画像から、計測点検出モジュールを用いて、矯正診断のための複数の計測点（ｌａｎｄｍａｒｋ）のうちの少なくとも一部を検出するステップと、を含み、前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づいた機械学習モジュールを含んでいてもよい。
【0013】
好ましくは、蓄積された複数の比較歯科画像を含む学習データから前記機械学習モジュールを学習させるステップをさらに含み、前記比較歯科画像は、専門医によって前記計測点が読み取られた他の受診者の歯科画像であってもよい。
【0014】
また、好ましくは、前記歯科画像は頭部Ｘ線規格写真（ｃｅｐｈａｌｏｇｒａｍ）であってもよい。
【0015】
さらに、好ましくは、前記計測点のうちの少なくとも一部を検出するステップにおいて、前記計測点検出モジュールは、単一の畳み込みネットワーク（ｓｉｎｇｌｅ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ）に基づいて前記複数の計測点を検出することができる。
【0016】
さらにまた、好ましくは、前記計測点のうちの少なくとも一部を検出するステップは、前記複数の計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス（ｂｏｕｎｄａｒｙ ｂｏｘ）を検出するステップと、前記検出された境界ボックスのうちの少なくとも一部のそれぞれに対して、内部に含まれる所定の箇所を前記計測点として決定するステップと、を含んでいてもよい。
【0017】
さらにまた、好ましくは、前記計測点のうちの少なくとも一部を検出するステップは、前記受信された歯科画像をリサイズ（ｒｅｓｉｚｉｎｇ）するステップをさらに含み、前記検出するステップは、前記リサイズされた歯科画像に基づいて行われてもよい。
【0018】
さらにまた、好ましくは、前記計測点のうちの少なくとも一部を検出するステップは、前記境界ボックスのそれぞれに対して、前記個々の解剖学的特徴の存在確率を算出するステップをさらに含み、前記決定するステップは、一つの個々の解剖学的特徴に対して複数の境界ボックスが検出される場合、前記存在確率に基づいて前記一つの個々の解剖学的特徴に対応する複数の境界ボックスのうちのいずれかをフィルタリングするステップと、前記フィルタリングされた境界ボックスに含まれる所定の箇所を前記計測点として決定するステップと、を含んでいてもよい。
【0019】
さらにまた、好ましくは、前記決定するステップでは、前記検出された境界ボックスのうちの少なくとも一部に対して中心座標を前記計測点として決定してもよい。
【0020】
さらにまた、好ましくは、前記検出された計測点を、既設定された前記複数の計測点と対比して検出が欠落した計測点を識別するステップと、標準計測点情報（ｓｔａｎｄａｒｄ ｌａｎｄｍａｒｋ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて、前記検出された計測点のうちの少なくとも一部に対応する標準計測点を有する標準歯科画像を探索するステップ－前記標準計測点情報は、複数の前記標準歯科画像及び複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点に関する情報を含む－と、前記探索された標準歯科画像及び前記探索された標準歯科画像の前記標準計測点を用いて、前記欠落した計測点の位置を決定するステップと、をさらに含んでいてもよい。
【0021】
さらにまた、好ましくは、前記標準計測点情報は、前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点に関する情報をさらに含み、前記標準歯科画像を探索するステップでは、前記隣接計測点に関する情報に基づいて、前記検出された計測点のうち前記欠落した計測点と隣接して配置される複数の計測点に対応する前記標準計測点を有する前記標準歯科画像を探索することができる。
【0022】
さらにまた、好ましくは、前記標準歯科画像は、歯科画像原本から前記標準計測点の存在領域を抽出することにより生成され、前記標準計測点に関する情報は、前記標準歯科画像において前記標準計測点の相対座標に関する情報を含み、前記方法は、前記歯科画像から前記検出された計測点の存在領域を抽出し、前記抽出された領域を、前記標準歯科画像と同じスケールで正規化（ｎｏｒｍａｌｉｚｉｎｇ）して、前記検出された計測点の相対座標を算出するステップをさらに含み、前記標準歯科画像を探索するステップ及び前記欠落した計測点の位置を決定するステップは、前記検出された計測点の相対座標及び前記標準計測点の相対座標に基づいて行われてもよい。
【0023】
さらにまた、好ましくは、診断者の選好計測点の情報を受信するステップと、前記検出された計測点のうち前記選好計測点情報に対応する一部を強調して表示するステップと、をさらに含んでいてもよい。
【0024】
さらにまた、好ましくは、前記検出された計測点に基づいてセファロ分析（ｃｅｐｈａｌｏｍｅｔｒｉｃ ａｎａｌｙｓｉｓ）を行うことにより、矯正治療のための前記受診者の顔型を判断するステップをさらに含んでいてもよい。
【0025】
本発明の一実施形態により、前記方法を行うためのプログラムが記録されたコンピュータ読み取り可能な記録媒体が提供される。
【0026】
本発明の一実施形態により、矯正診断のための歯科画像解析をサポートするコンピューティング装置が提供される。前記装置は、受診者の歯科画像を取得する通信部と、前記歯科画像から、矯正診断のための複数の計測点（ｌａｎｄｍａｒｋ）のうちの少なくとも一部を検出する計測点検出モジュールを含むプロセッサと、を含み、前記計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点であり、前記計測点検出モジュールは、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に基づいた機械学習モジュールを含んでいてもよい。
【発明の効果】
【0027】
本発明によれば、人工ニューラルネットワークに基づく機械学習モジュールを用いて、受診者の歯科画像から８０個以上の計測点（ｌａｎｄｍａｒｋ）を熟練した専攻医作業レベルで一貫して自動的に提示することにより、矯正診断の正確性、利便性及び迅速性を増大させることができる。
【図面の簡単な説明】
【0028】
本発明の詳細な説明の欄において引用される図面をより十分に理解するために、各図面についての簡単な説明が提供される。
【図1】従来のセファロ分析方法を概略的に示す。
【図2】本発明の一実施形態に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置の例示的な構成を示す。
【図3】本発明に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置のハードウェア及びソフトウェアアーキテクチャを例示的に示す。
【図4】本発明の一実施形態に係る矯正診断のための歯科画像分析方法を示す。
【図6】本発明の一実施形態に係る矯正診断のための歯科画像分析方法を示す。
【図8】本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、計測点の検出のための境界ボックスを例示的に示す。
【図9】本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、標準歯科画像の生成過程を例示的に示す。
【図10】本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、標準歯科画像の生成過程を例示的に示す。
【図11】本発明の一実施形態に係る矯正診断のための歯科画像分析方法の実行過程を例示的に示す。
【発明を実施するための形態】
【0029】
以下、添付図面に基づき、本発明に係る実施形態について説明する。各図面の構成要素に参照符号を付するに当たって、同じ構成要素に対しては、たとえ異なる図面の上に示されているとしても、できる限り同じ符号を有するようにしていることに留意すべきである。また、本発明の実施形態について説明するに当たって、関連する公知の構成又は機能についての具体的な説明が本発明の実施形態への理解を妨げると認められる場合には、その詳細な説明は省略する。さらに、以下において、本発明の実施形態について説明するが、本発明の技術的思想はこれに何等限定又は制限されるものではなく、当業者によって変形されて種々に実施され得る。
【0030】
明細書の全般に亘って、ある部分が他の部分と「接続」されているとしたとき、これは、「直接的に接続」されている場合だけではなく、これらの間に他の素子を挟んで「間接的に接続」されている場合も含む。明細書の全般に亘って、ある部分がある構成要素を「含む」としたとき、これは、特に断りのない限り、他の構成要素を除外するものではなく、他の構成要素をさらに含んでいてもよいということを意味する。なお、本発明の実施形態の構成要素について説明するに当たって、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使用することができる。これらの用語は、その構成要素を他の構成要素と区別するためのものに過ぎず、これらの用語によって当該構成要素の本質や順序又は順番などが限定されることはない。
【0031】
図２は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置の例示的な構成を示す。
【0032】
本発明の一実施形態に係るコンピューティング装置１００は、通信部１１０、プロセッサ１２０及び記憶部１３０を含み、通信部１１０を介して外部のコンピューティング装置（図示せず）と直接または間接的に通信することができる。
【0033】
具体的には、コンピューティング装置１００は、、典型的なコンピュータハードウェア（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の既存のコンピューティング装置の構成要素を含み得る装置；ルータ、スイッチなどの電子通信装置；ネットワーク接続ストレージ（ＮＡＳ、Ｎｅｔｗｏｒｋ－Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）及びストレージエリアネットワーク（ＳＡＮ、Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの電子情報ストレージシステム）と、コンピュータソフトウェア（すなわち、コンピューティング装置をして特定の方式で機能せしめるインストラクション）との組み合わせを用いて、所望のシステム性能を達成することができる。
【0034】
このようなコンピューティング装置１００の通信部１１０は、連動される他のコンピューティング装置と要請及び応答を送受信することができ、例えば、このような要請及び応答を、同じＴＣＰ（Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）セッションによって行うことができるが、これに限定されず、例えば、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）データグラムとして送受信することもできる。なお、広い意味で通信部１１０は、コマンドまたは指示などを受けるためのキーボード、マウス、その他の外部入力装置を含んでいてもよい。
【0035】
また、コンピューティング装置１００のプロセッサ１２０は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含んでいてもよい。また、オペレーティングシステム、特定の目的を実行するアプリケーションのソフトウェア構成をさらに含んでいてもよい。
【0036】
また、コンピューティング装置１００の記憶部１３０には、コンピューティング装置１００の動作に伴うさまざまなデータが保存できる。記憶部１３０は、通常の技術者に知られているように、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）カード、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カード、ＳＭ（Ｓｍａｒｔ Ｍｅｄｉａ（登録商標））カード、ＭＭＣ（Ｍｕｌｔｉｍｅｄｉａ）カードまたはメモリスティック（Ｍｅｍｏｒｙ Ｓｔｉｃｋ）などの情報の入出力が可能な様々な形態の記憶装置により実現可能であり、コンピューティング装置１００の内部に備えか、別の装置に備えられてもよい。
【0037】
図３は、本発明に係る矯正診断のための歯科画像分析方法を行うコンピューティング装置のハードウェア及びソフトウェアアーキテクチャを例示的に示す。
【0038】
図３を参照すると、本発明の一実施形態に係るコンピューティング装置１００のプロセッサ１２０は、画像取得モジュール２１０、計測点検出モジュール２２０、計測点補正モジュール２３０、顔型判断モジュール２４０、及び保存及び転送モジュール２５０を含んでいてもよい。例えば、それぞれのモジュールは、プロセッサ１２０と通信部（１１０及び／または記憶部１３０の連動により動作するように実現されてもよい。
【0039】
画像取得モジュール２１０は、通信部１１０を介して、外部の他のコンピューティング装置またはコンピューティング装置１００に連動されている他の装置（歯科画像撮影装置など）から、受診者の歯科画像を取得することができる。ここで、歯科画像は、受診者の頭部の側面をＸ－ｒａｙで撮影した頭部Ｘ線規格写真（ｃｅｐｈａｌｏｇｒａｍ）であり得る。
【0040】
計測点検出モジュール２２０は、歯科画像から矯正診断に必要な複数の計測点（ｌａｎｄｍａｒｋ）を検出することができる。ここで、複数の計測点は、矯正診断のために必要とされる顔面骨格、歯及び顔の輪郭のうちの少なくとも一つの相対位置を指示する解剖学的基準点を指すものであり、ユーザの設定によってまたはデフォルト（ｄｅｆａｌｕｌｔ）で定められたＮ個で構成されてもよく、好ましくは８０個で構成されてもよい。
【0041】
計測点検出モジュール２２０は、機械学習モジュール２２２、フィルタリングモジュール２２４及び計測点決定モジュール２２６を含んでいてもよい。
【0042】
機械学習モジュール（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｍｏｄｕｌｅ）２２２は、画像またはイメージから複数のオブジェクトを同時に検出できるように実現されたものであり、人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、特に、畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）またはこれを変形／改良した人工ニューラルネットワークに基づいて実現されてもよい。
【0043】
一実施形態において、機械学習モジュール２２２は、複数のオブジェクトに対する迅速な同時検出が可能なように、単一の畳み込みネットワーク（ｓｉｎｇｌｅ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ）により実現されてもよい。例えば、ＹＯＬＯ（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）アルゴリズムにより実現された人工ニューラルネットワークが適用可能であるが、これに限定されるものではなく、本発明が適用される実施形態により、ＳＳＤ、Ｒ－ＣＮＮなど複数のオブジェクト検出に適した様々なアルゴリズムまたは人工ニューラルネットワークが適用可能である。
【0044】
機械学習モジュール２２２は、複数の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）と完全接続層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）とを含んでいてもよい。ここで、複数の畳み込み層は、画像を抽象化して特徴を抽出し、完全接続層は、検出オブジェクトの出力確率とそれを検出する境界ボックスの座標とを予測するように実現されてもよい。
【0045】
本発明において、機械学習モジュール２２２は、境界ボックス（ｂｏｕｎｄａｒｙ ｂｏｘ）を介して、歯科画像から、複数の計測点に対応する個々の解剖学的特徴を識別（または、検出）することができる。例えば、機械学習モジュール２２２は、歯科画像を複数のセルに分割し、それぞれのセルに対して境界ボックスを所定の数だけ割り当てることができ、個々の解剖学的特徴が特定のセルに存在する場合、当該セルに割り当てられた境界ボックスがそれを識別するように実現されてもよい。
【0046】
これを通じて、機械学習モジュール２２２は、歯科画像から、複数の計測点に対応する個々の解剖学的特徴が存在する境界ボックス（ｂｏｕｎｄａｒｙ ｂｏｘ）とその境界ボックスの座標、サイズ、境界ボックス内の各個々の解剖学的特徴の存在確率などを予測することができる。
【0047】
フィルタリングモジュール２２４は、個々の解剖学的特徴の存在確率に基づいて機械学習モジュール２２２が検出した境界ボックスをフィルタリングすることができる。具体的には、一つの個々の解剖学的特徴について２以上の境界ボックスが検出される場合、フィルタリングモジュール２２４は、存在確率に基づいて前記複数の境界ボックスのうちのいずれかを、当該個々の解剖学的特徴が存在する境界ボックスとして選択することができる。
【0048】
計測点決定モジュール２２６は、フィルタリング結果を反映して、最終選択された境界ボックスのそれぞれの内部に含まれる所定の箇所を計測点として決定することができる。例えば、計測点決定モジュール２２６は、各境界ボックスの中心座標を計測点として決定するように実現されてもよい。
【0049】
計測点補正モジュール２３０は、計測点検出モジュール２２０が欠落した計測点が存在するかどうかを識別し、標準計測点情報（ｓｔａｎｄａｒｄ ｌａｎｄｍａｒｋ ｉｎｆｏｒｍａｔｉｏｎ）を利用して、欠落した計測点の位置（または座標）を予測することができる。ここで、標準計測点情報は、複数の前記標準歯科画像、複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点及び／または前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点などに関する情報を含み得る。
【0050】
顔型判断モジュール２４０は、最終的に検出された計測点のうちの少なくとも一部に基づいてセファロ分析（ｃｅｐｈａｌｏｍｅｔｒｉｃ ａｎａｌｙｓｉｓ）を行うことにより、矯正治療のための受診者の顔型を分類または判断することができる。このような顔型に基づいて、診断者は今後、受診者に対する矯正治療計画を立てることができる。
【0051】
保存及び転送モジュール２５０は、機械学習モジュール２２２の学習（ｔｒａｉｎｉｎｇ）のための学習データ（例えば、比較歯科画像）、受診者の歯科画像及び計測点の検出結果を記憶部１３０に保存するか、それを、通信部１１０を介して外部のコンピューティング装置、ディスプレイ装置などに転送することができる。
【0052】
【0053】
ステップＳ４１０において、画像取得モジュール２１０は、通信部１１０を介して、外部の他のコンピューティング装置またはコンピューティング装置１００に連動されている他の装置（歯科画像撮影装置など）から受診者の歯科画像を取得することができる。上述したように、歯科画像は受診者の頭部Ｘ線規格写真であり得る。
【0054】
ステップＳ４２０において、計測点検出モジュール２２０は、受診者の歯科画像から、矯正診断のための複数の計測点のうちの少なくとも一部を検出することができる。一実施形態において、ステップＳ４２０は、図５に示すように、ステップＳ５１０～ステップＳ５４０を含んでいてもよい。
【0055】
ステップＳ５１０において、計測点検出モジュール２２０は、歯科画像をリサイズ（ｒｅｓｉｚｉｎｇ）することができる。すなわち、計測点検出モジュール２２０は、受診者の歯科画像を、機械学習モジュール２２２が既学習した歯科画像と同じスケールまたは割合で拡大または縮小することができる。これにより、本発明に係る方法４００は、機械学習モジュール２２２の検出精度をより向上させることができる。歯科画像は、好ましくは４１６×６４０ピクセル（ｐｉｘｅｌ）にリサイズされるように実現されてもよい。
【0056】
ステップＳ５２０において、機械学習モジュール２２２は、蓄積された複数の比較歯科画像の学習結果に基づいて、受診者の歯科画像から、複数の計測点のそれぞれに対応する個々の解剖学的特徴の少なくとも一部が存在すると予測される複数の境界ボックス（ｂｏｕｎｄａｒｙ ｂｏｘ）を検出し、それぞれの境界ボックス内における個々の解剖学的特徴のそれぞれの存在確率を算出することができる。
【0057】
一実施形態において、ステップＳ５２０は、画像の抽象化の程度に応じて３ステップの検出により行われてもよい。すなわち、受診者の歯科画像は、機械学習モジュール２２２に含まれる複数の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）を通して異なるレベルで抽象化され、機械学習モジュール２２２は、異なる３つの抽象化レベルで個々の解剖学的特徴を含む境界ボックスに対する検出及び個々の解剖学的特徴の存在確率の算出を行うように実現されてもよい。
【0058】
ステップＳ５２０の実行結果、境界ボックスのそれぞれに対して、境界ボックスの中心座標、大きさ、個々の解剖学的特徴の存在確率に関する情報が出力値として生成可能である。
【0059】
ステップＳ５３０において、フィルタリングモジュール２２４は、個々の解剖学的特徴の存在確率に基づいて境界ボックスのフィルタリングを行うことができる。例えば、ステップＳ５２０で３ステップの検出を適用して一つの個々の解剖学的特徴に対して２以上の境界ボックスが検出される場合、フィルタリングモジュール２２４は、存在確率に基づいて前記複数の境界ボックスのうちのいずれかを、その個々の解剖学的特徴が存在する境界ボックスとして選択することができる。一実施形態において、フィルタリングモジュール２２４は、複数の境界ボックスの中から、当該個々の解剖学的特徴の存在確率が最も高いものを選択するように実現されてもよい。
【0060】
ステップＳ５４０において、計測点決定モジュール２２６は、フィルタリングされた境界ボックス内のある箇所を計測点の座標として決定することができる。例えば、計測点決定モジュール２２６は、それぞれ個々の解剖学的特徴に対応して検出された境界ボックスの中心座標を計測点の座標として決定することができる。
【0061】
続いて、ステップＳ４３０において、顔型判断モジュール２４０は、検出された計測点のうちの少なくとも一部に基づいてセファロ分析を行うことにより、矯正治療のための受診者の顔型を分類または判断することができる。例えば、顔型判断モジュール２４０は、検出された計測点からセファロ分析に必要な有意な直線または角度を算出するための一部を選択すると、選択された計測点に基づいてセファロ分析を自動的に実行することにより、矯正治療のための受診者の顔型を分類または判断する。ここで、矯正治療のための顔型にハイパーディバージェント・パターン（ｈｙｐｅｒｄｉｖｅｒｇｅｎｔ ｐａｔｔｅｒｎ）、ノーモアディバージェント・パターン（ｎｏｒｍｏｄｉｖｅｒｇｅｎｔ ｐａｔｔｅｒｎ）、ハイポディバージェント・パターン（ｈｙｐｏｄｉｖｅｒｇｅｎｔ ｐａｔｔｅｒｎ）などが含まれてもよいが、これらは例示的なものであり、本発明に適用される実施形態により、顔型は、上下顎の相対的な位置、突出程度などに応じてより多様に分類することができる。このように、顔型が判断されると、診断者は、これに基づいて矯正治療に関する全般的な計画を策定することができる。
【0062】
一方、図４及び図５には示されていないが、一実施形態において、方法４００は、機械学習モジュール２２２を学習させるステップをさらに含んでいてもよい。例えば、このような学習は、蓄積された複数の比較歯科画像を用いて行われてもよい。すなわち、専門医によって計測点が読み取られた他の受診者の歯科画像を蓄積して収集し、これらを学習データとして機械学習モジュール２２２に入力することにより、機械学習モジュール２２２を学習させるように実現されてもよい。このとき、学習される比較歯科画像のサイズは、例えば、４１６×６４０ピクセル（ｐｉｘｅｌ）であってもよい。
【0063】
また、一実施形態において、方法４００は、検出された計測点を表示するステップをさらに含んでいてもよい。すなわち、ステップＳ４２０を経て計測点の検出を完了すると、保存及び転送モジュール２５０が、通信部１１０を介してディスプレイ装置またはそれが結合された他のコンピューティング装置に、検出された計測点のうちの少なくとも一部の情報を転送することにより、それを診断者などに表示することができる。一実施形態において、このような表示は、診断者の選好計測点情報に基づいて行われてもよい。ここで、選好計測点情報は、診断者の地域、出身学校、矯正診断に関する選好学風、受診者の地域のうちの少なくとも一つに関する情報を含んでいてもよい。例えば、計測点検出モジュール２２０または保存及び転送モジュール２５０は、診断者の選好計測点情報に基づいて一部の計測点を選択し、これらに関する情報のみをディスプレイ装置などに転送するか、選択された一部の計測点をディスプレイ装置に所定の方法で強調して表示するように実現されてもよい。
【0064】
【0065】
方法６００におけるステップＳ６１０、ステップＳ６２０及びステップＳ６４０は、図４及び図５に基づき、上述した方法４００におけるステップＳ４１０～ステップＳ４３０と同じである。したがって、それらについての詳細な説明は省略する。
【0066】
ステップＳ６３０において、計測点補正モジュール２３０は、ステップＳ６２０で複数の計測点のうち検出されていない計測点がある場合、欠落した計測点を標準計測点情報に基づいて補正することができる。
【0067】
ここで、標準計測点情報は、複数の前記標準歯科画像、複数の前記標準歯科画像のそれぞれに対して読み取られた複数の前記標準計測点及び／または前記標準計測点のそれぞれと隣接して配置される複数の隣接計測点に関する情報を含んでいてもよい。標準歯科画像は、例えば、専門医によって計測点が判断された歯科画像原本から計測点の存在領域を抽出することにより生成可能であり、この場合、標準計測点に関する情報は、それぞれの標準歯科画像において標準計測点の相対座標に関する情報をさらに含んでいてもよい。
【0068】
一実施形態において、ステップＳ６３０は、図７に示すように、ステップＳ７１０～ステップＳ７４０を含んでいてもよい。
【0069】
ステップＳ７１０において、計測点補正モジュール２３０は、ステップＳ６２０で検出が欠落した少なくとも一つの計測点を識別することができる。すなわち、計測点補正モジュール２３０は、ユーザによって設定されるか、デフォルトで設定された複数の計測点と検出された計測点とを互いに対比して、欠落した計測点を識別することができる。
【0070】
一方、ステップＳ７１０において、欠落した計測点が識別されない場合、後術するステップＳ７２０～ステップＳ７４０を行わず、すぐにステップＳ６４０を行うこともできる。
【0071】
ステップＳ７２０において、計測点補正モジュール２３０は、検出された計測点のうちの少なくとも一部の相対座標を算出することができる。例えば、ステップＳ７２０は、計測点が検出された受診者の歯科画像から計測点が存在する領域を抽出し、これを標準歯科画像と同じスケールで正規化（ｎｏｒｍａｌｉｚｉｎｇ）することにより行われてもよい。すなわち、以下、図１０～図１１を参照して上述したように、計測点補正モジュール２３０は、歯科画像から計測点の存在領域を抽出した後、当該領域をスケール変換して計測点のうちの少なくとも一つの相対座標を（０、０）から（１、１）の間の座標として算出する。
【0072】
一実施形態において、ステップＳ７２０は、欠落した計測点と隣接して配置される２以上の計測点に対して行われるように実現されてもよい。
【0073】
ステップＳ７３０において、計測点補正モジュール２３０は、算出された相対座標を用いて、検出された計測点のうちの少なくとも一部に対応する標準計測点を有する標準歯科画像を探索することができる。例えば、計測点補正モジュール２３０は、欠落した計測点に隣接して配置される複数の周辺計測点（好ましくは、５～７個の計測点）と、それぞれの標準歯科画像において欠落した計測点に対応する標準計測点と隣接して配置される複数の隣接計測点との相対座標を比較して、欠落した計測点の周辺計測点と最も近い標準計測点を有する標準歯科画像を探索することができる。
【0074】
ステップＳ７４０において、計測点補正モジュール２３０は、探索された標準歯科画像の標準計測点を用いて、欠落した計測点の位置（または、座標）を決定することができる。すなわち、計測点補正モジュール２３０は、探索された標準歯科画像において欠落した計測点に対応する標準計測点の相対座標を欠落計測点の相対座標として設定し、このような相対座標を歯科画像の原本に合わせてスケール変換することで、欠落した計測点の位置（または、座標）を決定することができる。
【0075】
一方、図６及び図７には示されていないが、一実施形態において、方法６００は、最終的に補正された計測点および受診者の歯科画像に関する情報に基づいて機械学習モジュール２２２を再学習させるステップをさらに含んでいてもよい。このように、欠落した計測点が補正された結果を、機械学習モジュール２２２をして再学習せしめることで、機械学習モジュール２２２の検出精度をより向上させることができる。
【0076】
図８は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法において、計測点の検出のための境界ボックスを例示的に示す。
【0077】
図８を参照すると、複数の境界ボックス８１０は、複数の計測点に対応する個々の解剖学的特徴が定義されている領域を歯科画像から識別することができる。ここで、それぞれの個々の解剖学的特徴を定義する領域（ｌａｂｅｌ ｓｉｚｅ）の大きさは、検出精度を最大化するために、好ましくは３０×３０ピクセル（ｐｉｘｅｌ）に設定されてもよい。
【0078】
一実施形態において、機械学習モジュール２２２は、歯科画像を複数のセルに分割し、それぞれのセルに対して境界ボックスを所定の数だけ割り当てることができ、個々の解剖学的特徴が特定のセルに存在する場合、当該セルに割り当てられた境界ボックスがそれを検出するように実現されてもよい。
【0079】
これにより、上述したように、機械学習モジュール２２２は、境界ボックスのそれぞれに対する中心座標（各セルにおける相対座標）、大きさ（幅、高さ）、それぞれの個々の解剖学的特徴の存在確率に関する情報を出力する。
【0080】
【0081】
図９及び図１０を参照すると、標準歯科画像は、専門医によって計測点が読み取られた所定の歯科画像原本に基づいて生成可能である。ここで、歯科画像原本は、機械学習モジュール２２２の学習データとして提供される比較歯科画像の少なくとも一部であり得る。
【0082】
すなわち、例えば、標準歯科画像において２以上の最外郭計測点に基づいて、標準計測点の存在領域を抽出し、抽出された領域を（０、０）から（１、１）に該当する座標領域にスケール変換させることで、標準歯科画像を生成することができる。これにより、変換された座標領域内でそれぞれの標準計測点は、（０、０）から（１、１）の間の相対座標を有することができる。
【0083】
図１１は、本発明の一実施形態に係る矯正診断のための歯科画像分析方法の実行過程を例示的に示す。
【0084】
図１１を参照して、本発明の一実施形態に係る矯正診断のための歯科画像分析方法の実行過程を整理すると、次の通りである。
【0085】
画像取得モジュール２１０及び通信部１１０を介して取得された受診者の歯科画像が機械学習モジュール２２２に入力されると、機械学習モジュール２２２は、複数の畳み込み層を通して歯科画像を抽象化し、抽象化の程度に応じ３ステップのレベルでそれぞれ計測点に対応する個々の解剖学的特徴が存在すると予測される境界ボックスを検出する。
【0086】
次いで、一つの個々の解剖学的特徴に対する複数の境界ボックスが検出された場合、フィルタリングモジュール２２４は、当該解剖学的特徴の存在確率に基づいて、存在確率が最も高い境界ボックスをフィルタリングし、計測点決定モジュール２２６は、フィルタリング結果に基づいて、最終的に検出された境界ボックスの中心座標を計測点として決定する。
【0087】
その次、計測点補正モジュール２３０は、設定された複数の計測点のうち検出が欠落した計測点があるかどうかを識別し、欠落した計測点の位置（または、座標）を、標準計測点情報を参照して決定し、最終的に、設定されたすべての計測点が検出され、例えば、ディスプレイ装置に、歯科画像に重畳されて座標または点の形で出力できる。
【0088】
一方、本明細書に記載の様々な実施形態は、ハードウェア、ソフトウェア及び／またはこれらの組み合わせなどによって実現可能である。例えば、様々な実施形態は、一つ以上のオンデマンド半導体（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、と、マイクロコントローラに、マイクロプロセッサ、ここで提示されている機能を実行するように設計される他の電子ユニットまたはこれらの組み合わせ内で実現可能である。
【0089】
また、例えば、様々な実施形態は、コマンドを含むコンピュータ－読み取り可能な媒体に収録またはエンコードされてもよい。コンピュータ－読み取り可能な媒体に収録またはエンコードされたコマンドは、プログラム可能なプロセッサまたは他のプロセッサをして、例えば、コマンドが実行される際に方法を行わせることができる。コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体であってもよい。例えば、このようなコンピュータ読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたはその他の光学ディスク記憶媒体、磁気ディスク記憶媒体または他の磁気記憶デバイス、または、所望のプログラムコードをコンピュータによってアクセス可能なコマンドまたはデータ構造の形式で保存するために使用することができる任意の他の媒体を含んでいてもよい。
【0090】
このようなハードウェア、ソフトウェア等は本明細書に記載の様々な動作及び機能をサポートするように同一のデバイス内でまたは個別のデバイス内で実現されてもよい。なお、本発明において、「～部」と記載された構成要素、ユニット、モジュール、コンポーネント等は共に実現されてもよい。または、個別的であるが互いに運用可能なロジックデバイスとして個別的に実現されてもよい。モジュール、ユニット等に対する互いに異なる特徴の描写は互いに異なる機能的実施形態を強調するために意図されたものであり、これらが個別ハードウェアまたはソフトウェアコンポーネントによって実現されなければならないということを必ずしも意味するものではない。かえって、一つ以上のモジュールまたはユニットと関連した機能は、個別ハードウェアまたはソフトウェアコンポーネントによって実行されるか、または共通のまたは個別のハードウェアまたはソフトウェアコンポーネント内に統合されてもよい。
【0091】
各動作は図面中で特定の順序で示されているが、これは、所望の結果を達成するために、このような動作が図示された特定の順序もしくは逐次的な順序で実行されること、または、図示された全ての動作が実行されることを必要とするとして理解されるべきではない。特定の状況では、マルチタスク処理及び並列処理を用いることが好ましい。さらに、上述した本実施形態における種々のシステム構成要素の区分は、このような区分が全ての実施形態で必要とされると理解すべきではなく、記載されたプログラム構成要素は、通常、単一のソフトウェア製品に一体化して統合することができ、または多数のソフトウェア製品にパッケージ化することができることを理解すべきである。
【0092】
以上のように、図面と明細書で最適の実施形態が開示された。ここで特定の用語が使用されたが、これは単に本発明を説明するための目的で使用されたのであって意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使用されたものではない。そのため、本技術分野の通常の知識を有する者であれば、そこから様々な変形及び均等な他の実施形態が可能であるという点を理解するだろう。したがって、本発明の真の技術的保護範囲は、添付された特許請求の範囲の技術的思想によって定められなければならないだろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】