(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022133179
(43)【公開日】2022-09-13
(54)【発明の名称】画像処理装置及びその画像処理方法
(51)【国際特許分類】
A61B 6/14 20060101AFI20220906BHJP
G06T 7/00 20170101ALI20220906BHJP
G06F 16/55 20190101ALI20220906BHJP
A61C 19/04 20060101ALI20220906BHJP
【ＦＩ】
A61B6/14
G06T7/00 350C
G06F16/55
A61C19/04 Z
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021032135
(22)【出願日】2021-03-01
(71)【出願人】
【識別番号】506321746
【氏名又は名称】アイテック株式会社
(74)【代理人】
【識別番号】100110559
【弁理士】
【氏名又は名称】友野 英三
(72)【発明者】
【氏名】辻 啓延
(72)【発明者】
【氏名】辻 洋祐
(72)【発明者】
【氏名】林 達郎
【テーマコード（参考）】
4C052
4C093
5B175
5L096
【Ｆターム（参考）】
4C052NN04
4C052NN15
4C052NN16
4C093AA12
4C093AA26
4C093CA21
4C093FC11
4C093FD03
4C093FF16
4C093FF37
5B175DA02
5B175FA03
5L096AA06
5L096BA08
5L096DA02
5L096HA09
5L096HA11
5L096JA11
5L096JA18
5L096KA04
5L096KA15
(57)【要約】 （修正有）
【課題】検出対象物体画像を正確かつ迅速に識別及び分類し、それらの配置、配列、及び、同定を行うことが可能で、構造が簡易なＮＮ系画像処理装置、及び、その画像処理装置を用いた画像処理方法を提供する。
【解決手段】画像処理装置は、物体画像データ入力部、物体分類アルゴリズムで実行される物体特徴抽出部をバックボーンとして内蔵している一段階法又は二段階法の物体検出アルゴリズムで実行される物体画像配置部と、の物体分類アルゴリズムで実行される物体画像同定部と、同定された物体画像を補正する物体画像補正部と、画像処理結果出力部とを備えることを特徴としている。また、本発明の画像処理方法は、検出対象物体画像を正確かつ迅速に識別及び分類する工程、検出対象物体画像を配置した後、その物体画像の同定する工程、更に、その物体画像の配列を補正する工程を経由することを特徴としている。
【選択図】図１
【解決手段】画像処理装置は、物体画像データ入力部、物体分類アルゴリズムで実行される物体特徴抽出部をバックボーンとして内蔵している一段階法又は二段階法の物体検出アルゴリズムで実行される物体画像配置部と、の物体分類アルゴリズムで実行される物体画像同定部と、同定された物体画像を補正する物体画像補正部と、画像処理結果出力部とを備えることを特徴としている。また、本発明の画像処理方法は、検出対象物体画像を正確かつ迅速に識別及び分類する工程、検出対象物体画像を配置した後、その物体画像の同定する工程、更に、その物体画像の配列を補正する工程を経由することを特徴としている。
【選択図】図１
【特許請求の範囲】
【請求項1】
物体画像データを入力することができる入力部と、
少なくともＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）をモジュールとして備える物体分類アルゴリズムで実行される既存の物体画像データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する物体検出アルゴリズムで実行され、入力された第一の教師画像データ、学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第一の学習モデルを作成でき、入力された検出対象画像上の検出対象物体個々の画像を囲む第一の矩形の情報タグと前記情報タグが付加された前記第一の矩形の位置を特定することができる物体画像配置部と、
前記物体分類アルゴリズムで実行され、前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第二の学習モデルを作成でき、前記物体画像配置部で特定された前記第一の矩形に固有情報タグを付加して前記検出対象物体画像を分類及び同定することができる物体画像同定部と、
前記物体画像同定部から出力された結果を補正することができる物体画像補正部と、
前記検出対象物体画像の処理結果を出力することができる出力部と、
が備えられていることを特徴とする画像処理装置。
少なくともＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）をモジュールとして備える物体分類アルゴリズムで実行される既存の物体画像データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する物体検出アルゴリズムで実行され、入力された第一の教師画像データ、学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第一の学習モデルを作成でき、入力された検出対象画像上の検出対象物体個々の画像を囲む第一の矩形の情報タグと前記情報タグが付加された前記第一の矩形の位置を特定することができる物体画像配置部と、
前記物体分類アルゴリズムで実行され、前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第二の学習モデルを作成でき、前記物体画像配置部で特定された前記第一の矩形に固有情報タグを付加して前記検出対象物体画像を分類及び同定することができる物体画像同定部と、
前記物体画像同定部から出力された結果を補正することができる物体画像補正部と、
前記検出対象物体画像の処理結果を出力することができる出力部と、
が備えられていることを特徴とする画像処理装置。
【請求項2】
前記物体分類アルゴリズムが、
ＡｌｅｘＮｅｔ、ＧＰｉｐｅ（Ｇｉａｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ Ｐｉｐｅｌｉｎｅ Ｐａｒａｌｌｅｌｉｓｍ）、Ｉｎｃｅｐｔｉｏｎ、ＳＥＢ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｂｌｏｃｋ）－Ｉｎｃｅｐｔｉｏｎ、Ｘｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＳＥＢ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＳＥＢ－Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＮＡＳＮｅｔ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ Ｎｅｔｗｏｒｋ）、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）、ＳＥＢ－ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、ＡｍｏｅｂａＮｅｔ、ＣＳＰＮｅｔ（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ）、ＣＢＮｅｔ（Ｃｏｍｐｏｓｉｔｅ Ｂａｃｋｂｏｎｅ Ｎｅｔｗｏｒｋ）、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項１に記載の画像処理装置。
ＡｌｅｘＮｅｔ、ＧＰｉｐｅ（Ｇｉａｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ Ｐｉｐｅｌｉｎｅ Ｐａｒａｌｌｅｌｉｓｍ）、Ｉｎｃｅｐｔｉｏｎ、ＳＥＢ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｂｌｏｃｋ）－Ｉｎｃｅｐｔｉｏｎ、Ｘｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＳＥＢ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＳＥＢ－Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＮＡＳＮｅｔ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ Ｎｅｔｗｏｒｋ）、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）、ＳＥＢ－ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、ＡｍｏｅｂａＮｅｔ、ＣＳＰＮｅｔ（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ）、ＣＢＮｅｔ（Ｃｏｍｐｏｓｉｔｅ Ｂａｃｋｂｏｎｅ Ｎｅｔｗｏｒｋ）、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記物体分類アルゴリズムが、
ＳＥＢ、ＲＢ（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、ＤＣｏｎｖ（Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＰＣｏｎｖ（Ｐｏｉｎｔｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＭｉｘＣｏｎｖ（Ｍｉｘｅｄ Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、及び、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）の中から選択されるモジュール及び／又はブロックを少なくとも一つ以上を備えていることを特徴とする請求項１に記載の画像処理装置。
ＳＥＢ、ＲＢ（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、ＤＣｏｎｖ（Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＰＣｏｎｖ（Ｐｏｉｎｔｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＭｉｘＣｏｎｖ（Ｍｉｘｅｄ Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、及び、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）の中から選択されるモジュール及び／又はブロックを少なくとも一つ以上を備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記物体分類アルゴリズムが、
ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくとも一つ以上であることを特徴とする請求項１に記載の画像処理装置。
ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくとも一つ以上であることを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記物体画像補正部が、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ、動的計画法）アライメントアルゴリズムで実行されることを特徴とする請求項２～４のいずれか一項に記載の画像処理装置。
【請求項6】
前記ＤＰアライメントアルゴリズムをセミグローバルアライメントに適用することを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記物体検出アルゴリズムが、二段階法の物体検出アルゴリズムであることを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。
【請求項8】
前記物体検出アルゴリズムが、一段階法の物体検出アルゴリズムであることを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。
【請求項9】
前記二段階法の物体検出アルゴリズムが、
Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、及び、Ｒ－ＦＣＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）の中から選択される少なくともいずれか一つ以上であることを特徴とする請求項７に記載の画像処理装置。
Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、及び、Ｒ－ＦＣＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）の中から選択される少なくともいずれか一つ以上であることを特徴とする請求項７に記載の画像処理装置。
【請求項10】
前記一段階法の物体検出アルゴリズムが、
Оｖｅｒｆｅａｔ、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）、ＥＳＳＤ（Ｅｘｔｅｎｄ ｔｈｅ ｓｈａｌｌｏｗ ｐａｒｔ ｏｆ Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＲｅｔｉｎａＮｅｔ、Ｍ２Ｄｅｔ、ＹＯＬＯ、Ｓｃａｌｅｄ ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項８に記載の画像処理装置。
Оｖｅｒｆｅａｔ、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）、ＥＳＳＤ（Ｅｘｔｅｎｄ ｔｈｅ ｓｈａｌｌｏｗ ｐａｒｔ ｏｆ Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＲｅｔｉｎａＮｅｔ、Ｍ２Ｄｅｔ、ＹＯＬＯ、Ｓｃａｌｅｄ ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項８に記載の画像処理装置。
【請求項11】
請求項１～１０のいずれか一項に記載の画像処理装置において、
前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第一の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第一の矩形の情報タグと、前記情報タグが付加された前記第一の矩形の位置を特定する工程と、
前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、前記入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された前記第二の学習モデルを用い、前記第一の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像を補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第一の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第一の矩形の情報タグと、前記情報タグが付加された前記第一の矩形の位置を特定する工程と、
前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、前記入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された前記第二の学習モデルを用い、前記第一の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像を補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
【請求項12】
請求項１～１０のいずれか一項に記載の画像処理装置において、
入力された前記第一及び第二の教師画像データとは異なる第三の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第三の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体画像全てを内包する第二の矩形の位置を特定する工程と、
前記第二の矩形のデータ及び／又は前記第二の矩形の広域データ、前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第四の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第三の矩形の情報タグと、前記情報タグが付加された前記第三の矩形の位置を特定する工程と、
前記第三の矩形のデータ及び／又は前記第三の矩形の広域データ、入力された前記第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第五の学習モデルを用い、前記第三の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像を補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
入力された前記第一及び第二の教師画像データとは異なる第三の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第三の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体画像全てを内包する第二の矩形の位置を特定する工程と、
前記第二の矩形のデータ及び／又は前記第二の矩形の広域データ、前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第四の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第三の矩形の情報タグと、前記情報タグが付加された前記第三の矩形の位置を特定する工程と、
前記第三の矩形のデータ及び／又は前記第三の矩形の広域データ、入力された前記第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第五の学習モデルを用い、前記第三の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像を補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
【請求項13】
前記検出対象物体画像を補正する工程が前記ＤＰアライメントアルゴリズムで実行されることを特徴とする請求項１１又は１２に記載の画像処理方法。
【請求項14】
前記ＤＰアライメントアルゴリズムで実行される前記検出対象物体画像を補正する工程に、前記検出対象物体画像を分類して同定する工程で処理した結果を適用することを特徴とする請求項１３に記載の画像処理方法。
【請求項15】
前記物体が歯であり、前記物体画像が歯科デジタル写真であることを特徴とする請求項１～１０のいずれか一項に記載の画像処理装置。
【請求項16】
前記物体が歯であり、前記物体画像が歯科デジタル写真であることを特徴とする請求項１１～１４のいずれか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、様々な物体画像を処理し、個々の物体を識別及び分類し、それらの配置、配列、及び、同定を行うことが可能なニューラルネットワーク（Neural Network、ＮＮ）系画像処理装置、及び、その画像装置を用いた物体画像の配置、配列、及び、同定を正確かつ迅速に行うことが可能な画像処理方法に関する。特に、本発明は、類似した物体が密接して存在する画像データ、例えば、歯科エックス線デジタル写真からの歯式の決定等、に適した画像処理装置、及び、それを用いた画像処理方法に関する。
【背景技術】
【0002】
近年、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）と一般的に称され、人間の知的能力又はそれ以上の能力をコンピュータに実行させようとする技術が急速に発展し、農林水産業、各種製造業、建設業、情報通信業、電気・ガス・水道業、運輸・郵便業、卸売・小売業、金融・保険業、各種サービス業、医療・福祉、公務等あらゆる産業に利用されつつある。
【0003】
ＡＩの定義は、専門家においても明確に定まっていないが、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ＤＬ）という、生物の脳の神経細胞（ニューロン）をモデルとしたＮＮの階層を深めたアルゴリズムを用いて、売上、金融、環境、音声、及び、画像等のあらゆるデータを解析して、情報及び知識として出力する計算システムを活用しているものであると考えられる。
【0004】
そして、ＮＮの基本構成は、入力層、隠れ層、及び、出力層を備え、各層は複数のノードがエッジで結合される構造となっており、この隠れ層は複数持つことができ、特にその層数が多いものをＤＬと呼んでいる。このようなＤＬでは、各層に「活性化関数」と呼ばれる関数を持たせると共に、「エッジ」には「重み」を持たせ、各ノードの値は、前の層のノードの値、接続エッジの重みの値、そして層が持つ活性化関数から計算される。現在では、データ、用途、目的等に応じて、多種多様な構成に進化し、無数のアルゴリズムが開発されてきた（例えば、非特許文献１）。
【0005】
このようなＤＬにおいて、画像処理分野で特に実績があるのは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で、隠れ層が畳み込み層とプーリング層で構成されているものである（例えば、非特許文献１）。畳み込み層は、前の層のノードにフィルタ処理して「特徴マップ」を得、プーリング層は、畳込み層から出力された特徴マップを、更に縮小して新たな特徴マップとするので、画像の特徴を維持しながら画像の持つデータ量を大幅に圧縮し、画像を抽象化している。つまり、この抽象化された画像は、入力画像の特徴を維持しながらデータ量が縮小化された画像データとなっているため、この抽象化された画像を用いて、入力される画像の識別や分類を高速で処理できるようになり、画像認識の性能が大きく向上した。そのため、ＣＮＮを利用した様々な画像処理アルゴリズムが開発され、今なお重要な役割を果たしている。
【0006】
しかし、例えば、ＩＬＳＶＲＣ（ＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅ）２０１２という画像認識の国際競技では、学習用データとして１２０万枚ものアノテーション付き画像が使われていたように、画像認識のためにＣＮＮを単純に使用するだけでは、膨大な学習データの解析には長大な学習時間が必要であるという問題があった。
【0007】
また、通常、画像には複数の検出対象物体が存在するため、画像認識に要求される性能は、検出対象となる一つの物体画像を分類するタスク（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）及びこのように分類された一つの物体画像の位置を特定するタスク（Ｌｏｃａｌｉｚａｔｉｏｎ）だけではなく、画像に存在する複数の検出対象物体画像の分類及び位置を特定するタスク（Ｄｅｔｅｃｔｉｏｎ）を解決する必要がある。
【0008】
そこで、検出対象物体画像の分類及び位置の特定を高速かつ正確に行うことができる画像処理アルゴリズムの開発が、ＣＮＮを利用して検討された。その契機となったのが、検出対象物体画像の処理画像データ量の削減に成功した画像処理アルゴリズムで、Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈと呼ばれる手法で領域候補（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ）を抽出するネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）を経た後、ＣＮＮを基礎としたネットワークを用いて特徴量を抽出し、取り込まれた画像内の主要な物体を矩形（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）として正確に識別することで物体画像の分類及び位置の特定を実行できるＲ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）という物体検出アルゴリズムである。このＲ－ＣＮＮにより、物体画像の分類及び位置を特定する物体画像の検出精度が大幅に向上した。
【0009】
その結果、画像処理では、ＤＬとしてＣＮＮを利用して、より高速でより正確に物体画像の検出を目的とした物体検出アルゴリズムが、続々と開発された。例えば、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、及び、Ｒ－ＦＣＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、及び、ＳＰＰ－ｎｅｔ（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ－Ｎｅｔｗｏｒｋ）等を挙げることができる（例えば、非特許文献２）。
【0010】
これらは、Ｒ－ＣＮＮの影響を強く受け、上述したように、画像の中の検出物体画像の領域候補を抽出するネットワークと、領域候補の検出物体画像を識別するＣＮＮを基礎とするネットワークとが直列に実行される二段階（Ｔｗｏ－Ｓｔａｇｅ）法の物体検出アルゴリズムである。そのため、比較的精度の高いものであるが、高速性という点に難があり、精度を落とすことがない改良が進められた。
【0011】
その成果として、領域候補の抽出とその識別とをＣＮＮを含む一つのネットワークでＤＬを行う一段階（Ｏｎｅ－Ｓｔａｇｅ）法の物体検出アルゴリズムが多数開発され、現在も引き続き開発されている。その代表例が、Оｖｅｒｆｅａｔ、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）、ＥＳＳＤ（Ｅｘｔｅｎｄ ｔｈｅ ｓｈａｌｌｏｗ ｐａｒｔ ｏｆ Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＲｅｔｉｎａＮｅｔ、Ｍ２Ｄｅｔ、ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔである（例えば、非特許文献２）。特に、一段階法の物体検出アルゴリズムの進化は著しく、ＹＯＬＯをはじめとして、これらの名称にバージョン等を付設し、改良されたアルゴリズムとして数多くのものが輩出されている。
【0012】
一方、二段階法及び一段階法のいずれの場合も、物体画像の識別を行うＣＮＮを基礎としたネットワークを構成要素（バックボーン）として内蔵されており、このネットワークで様々な学習画像データを用いてＤＬされた結果が、転移学習と呼称され、検出対象物体画像の分類及び位置を特定する精度及び速度を高めてきた大きな要因となっている。このようなバックボーンとしての物体分類アルゴリズムには、例えば、ＡｌｅｘＮｅｔ、ＧＰｉｐｅ（Ｇｉａｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ Ｐｉｐｅｌｉｎｅ Ｐａｒａｌｌｅｌｉｓｍ）、Ｉｎｃｅｐｔｉｏｎ、ＳＥＢ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｂｌｏｃｋ）－Ｉｎｃｅｐｔｉｏｎ、Ｘｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＳＥＢ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＳＥＢ－Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＮＡＳＮｅｔ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ Ｎｅｔｗｏｒｋ）、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）、ＳＥＢ－ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、ＡｍｏｅｂａＮｅｔ、ＣＳＰＮｅｔ（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ）、ＣＢＮｅｔ（Ｃｏｍｐｏｓｉｔｅ Ｂａｃｋｂｏｎｅ Ｎｅｔｗｏｒｋ）、Ｄａｒｋｎｅｔ、及び、ＥｆｆｉｃｉｅｎｔＮｅｔ等を挙げることができる。この物体分類アルゴリズムも、物体検出アルゴリズム同様、これらの名称にバージョン等を付設し、改良されたアルゴリズムとして数多くのものが輩出されている。
【0013】
そして、このように進歩した物体検出アルゴリズムを備えた画像処理装置が、ＡＩと一般的に称され、農林水産業、各種製造業、建設業、情報通信業、電気・ガス・水道業、運輸・郵便業、卸売・小売業、金融・保険業、各種サービス業、医療・福祉、公務等あらゆる産業において活用され、人間の知的能力又はそれ以上の能力をコンピュータに実行させることができ得る可能性が飛躍的に高まっている。
【0014】
特に、医療分野では、画像データ及び情報の標準化、ＡＩを利用した画像診断、及び、遠隔医療の展開という観点から、医療の電子化が際限なく広がっている（例えば、非特許文献３及び４）。中でも、従来、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像からの癌の検出、頭部ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）からの脳梗塞の検出、及び、内視鏡画像からのポリープ等の検出、並びに、被曝線量が極めて少ない歯科パノラマＸ線画像（Ｄｅｎｔａｌ Ｐａｎｏｒａｍｉｃ Ｒａｄｉｏｇｒａｐｈ、ＤＰＲ）からの歯式の作成による顎骨の腫瘍、嚢胞、及び、骨粗鬆症等の診断等において実用化が進められてきたコンピュータ支援診断／検出（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ／Ｄｅｔｅｃｔｉｏｎ、ＣＡＤ）システムに、ＡＩの中でも画像認識に優れたＤＬを用いた画像処理技術を適用する開発が最も注目され、期待されている。これは、上述したように、ＤＬを基礎としたＡＩの進歩があらゆる産業で大きな成果を上げつつあり、ＤＬを用いた画像認識アルゴリズムの進歩によるＡＩの画像認識精度の劇的な向上にその要因がある。
【0015】
特に、歯科医療の分野に限定してみれば、第一にＡＩの自動画像診断支援システムへの適用、第二にＡＩの個人識別システムへの応用が注目されている。
【0016】
自動画像診断支援システムは、骨粗鬆症、う蝕、根尖病巣、歯石、及び、嚢胞等のＤＰＲを、歯科医の負担が軽減され、迅速かつ高精度となるように、ＡＩにより自動的に解析するものである（例えば、非特許文献５及び６）。従来、歯科医がＤＰＲから画像所見を作成するためには、専門的な知識を要すると共に、長時間を費やす必要があり、歯科医にとって大きな負担であると共に、経験に委ねられた主観的な画像所見となっていた。ＡＩによれば、経験の少ない歯科医では見落としがちな画像所見を、又、客観的な画像所見を迅速かつ正確に検出する可能性が高いものと期待されている。ＤＰＲは、撮影時の被曝線量が極めて少なく、最も広く普及しデータ量が豊富な画像である上、歯と顎骨の特徴及び病変を全て描出するため、それを用いた開発が中心となっている。もちろん、ＡＩによる自動画像診断システムに用いることができる画像は、歯科デジタル画像であれば限定されるものではなく、各種口内Ｘ線画像、三次元画像が得られる歯科用ＣＢＣＴ（Ｃｏｎｅ ｂｅａｍ Ｘ－ｒａｙ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈ）、頭部Ｘ線規格写真であるセファログラム（Ｃｅｐｈａｌｏｇｒａｍ）等も利用することが可能である。
【0017】
個人識別システムは、大規模災害等における遺体の身元を明らかにするものである（例えば、非特許文献７及び８）。個人識別には、身体的特徴、指紋、遺伝子情報、歯牙情報等が用いられるが、遺体の損傷が激しい場合は、身体的特徴や指紋による識別が困難であり、遺伝子情報は、生前の情報を取得されていない場合が多いため、歯科的個人識別の重要性が認識されている。また、東日本大震災における歯科所見から１，２５０人の身元を明らかにした実績がある。しかしながら、このような歯科的個人識別は、歯科デジタルＸ線画像に基づいて行われるが、上記画像診断と同様、専門的知識及び時間を要するため、大規模災害等のように多数の身元を判定するには、莫大な労力が必要となる。また、検死作業の精神的負担は、診断と比較することはできない。そのため、ＡＩによる個人識別システムは、歯科医師が介することなく迅速かつ正確に身元確認が行うことができる方法として期待が高まっており、そのための画像データの管理等の環境整備と共に積極的な開発が進められている。
【0018】
画像認識アルゴリズムの開発状況から分かるように、このような歯科医療におけるＡＩに対する期待も海外の方が日本以上に高く、ＤＬを用いた画像認識技術が歯科デジタルＸ線画像解析のために数多く検討されている（例えば、非特許文献９～１５）。
【0019】
これらの従来技術を総体的に考察すると、歯の画像処理において、各々の歯を同定し、歯番を特定して歯式を決定することが極めて難解な課題であることが分かる。
【0020】
第一に、物体検出アルゴリズムとしては、物体画像の分類及び位置を特定する物体画像の検出精度が大幅に向上する契機となったＲ－ＣＮＮを基礎として用いている矩形検出が多く、例えば、非特許文献９、１１、１３、及び、１４では、いずれも、Ｆａｓｔｅｒ Ｒ－ＣＮＮを用い、非特許文献１０では、Ｍａｓｋ Ｒ－ＣＮＮを用いている。これは、歯が類似した物体で密接して配置されているため、精度を重視して二段階法の物体検出アルゴリズムであるＲ－ＣＮＮ系の研究結果が数多く報告されているものと推測される。非特許文献１４において、Ｆａｓｔｅｒ Ｒ－ＣＮＮの再現率、特異率、及び、適合率のいずれもが、一段階法の物体検出アルゴリズムであるＳＳＤのそれらを上回っていることは、この推測を示唆している。
【0021】
第二に、非特許文献１０及び１２では、物体検出とは目的が異なるが、物体を内包する矩形ではなく物体の境界を明確に分離してピクセル単位で特定するセグメンテーションという画像認識に適したアルゴリズムであるＭａｓｋ Ｒ－ＣＮＮやＤｅｅｐｌａｂｖ３を検討している。ピクセル単位で特定することは、歯のサイズや歯の画素値をより正確に計測できる特徴があり、上記矩形検出にはない特徴を有しているが、ＤＬにおける出力量が大きく、計算コストが大きいという問題がある。
【0022】
第三に、非特許文献９、並びに、非特許文献１１～１４から明らかなように、予測された歯式は何らかの補正を施さなければ精度を高めることができない。コンピュータプログラミングにおけるアルゴリズムとは対置するヒューリスティックな経験的手法が用いられる場合が多いが、非特許文献１２では、専門家による補正が施されている。また、非特許文献１５では、ＤＬを用いた歯の画像認識ではないが故に、最終的な歯式の予測において、バイオインフォマティクス分野でタンパク質や遺伝子情報を解明するための動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｉｎｇ、ＤＰ法）と呼ばれるアルゴリズム、ここでは簡略化されたスミス－ウォーターマン（Ｓｍｉｔｈ－Ｗａｔｅｒｍａｎ）アルゴリズムがローカルアライメントに適用されている。
【0023】
第四に、非特許文献１１では二段階法の物体検出アルゴリズムと物体分類アルゴリズムが、非特許文献１２ではセグメンテーションに適したアルゴリズムと物体分類アルゴリズムが、それぞれ直列に接続され画像処理が実行されていることである。
【0024】
このように、類似した物体が密接して配置されている歯のような画像処理において、各々の歯を同定し、歯番を特定して歯式を決定することが極めて難解な課題であることが分かる。このことは、密集して存在する類似物体の画像処理において共通しているものと考えられる。しかし、上述したように、このような画像処理には精度を重視した上、ヒューリスティックな補正を施す必要があり、ＤＬを用いた迅速かつ正確に画像認識を行うことが可能な画像処理装置は見出されていない。特に、歯科分野においては、成人に限定した歯の画像認識の検討例しかなく、幼児や子供のように、乳歯を備えたより複雑な歯式や永久歯と乳歯を備えた混合歯列を特定し予測することは困難な状況にある。
【先行技術文献】
【非特許文献】
【0025】
【非特許文献1】ＴｉｃｋＴａｃｋ Ｗｏｒｌｄ，“やさしい機械学習入門”,［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］, インターネット＜ｈｔｔｐ：／／ｇａｇｂｏｔ.ｎｅｔ/ｍａｃｈｉｎｅ－ｌｅａｒｎｉｎｇ＞
【非特許文献2】藤原弘将，「ディープラーニングによる一般物体認識とそのビジネス応用」，画像ラボ，２０１９年1月号，ｐｐ．５７－６７
【非特許文献3】勝又明敏，「歯科画像情報の現状と将来展望」，日本歯科保存学雑誌, 第６２巻，第５号，ｐｐ．２３８－２４２（２０１９年１０月）
【非特許文献4】勝又明敏，「パノラマＸ線写真をご存知ですか？」，ＮＬだより, 平成３０年２月号，Ｎｏ．４８２，ｐｐ．１－２
【非特許文献5】林達郎，高橋龍，辻洋祐，辻啓延，「人工知能技術を用いた骨粗鬆症スクリーニング」，医用画像情報学会雑誌，Ｖｏｌ．３６，Ｎｏ．２，ｐｐ．１１４－１１６（２０１９）
【非特許文献6】メディホーム株式会社, 「（業界初）歯科エックス線における診断ＡＩの開発～ 医師と比較し、診断速度は約６０００倍～」，［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜Ｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ.ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／００００００００１．００００３４９０１．ｈｔｍｌ＞
【非特許文献7】村松千左子, 「ディープラーニング技術の歯科的個人識別への応用」，ＪＣＲ Ｎｅｗｓ，Ｎｏ．２１７，ｐｐ．１０－１１、（２０１７年）
【非特許文献8】高野栄之, 桃田幸弘, 寺田賢治,「～過去に学び、未来に備える～ＡＩ・画像解析による身元確認の迅速化」，Ｄｅｎｔａｌ Ｄｉａｍｏｎｄ，２０２０年３月号，ｐｐ．８８－９３
【非特許文献9】Ｈｕ Ｃｈｅｎ，Ｋａｉｌａｉ Ｚｈａｎｇ，Ｐｅｉｊｕｎ Ｌｙｕ，Ｈｏｎｇ Ｌｉ，Ｌｕｄａｎ Ｚｈａｎｇ，Ｊｉ Ｗｕ ａｎｄ Ｃｈｉｎ－Ｈｕｉ Ｌｅｅ，“Ａ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈ ｔｏ ａｕｔｏｍａｔｉｃ ｔｅｅｔｈ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｎｕｍｂｅｒｉｎｇ ｂａｓｅｄ ｏｎ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｉｎ ｄｅｎｔａｌ ｐｅｒｉａｐｉｃａｌ ｆｉｌｍｓ”，Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ ｖｏｌｕｍｅ ９，Ａｒｔｉｃｌｅ ｎｕｍｂｅｒ：３８４０（２０１９），［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜Ｈｔｔｐｓ：／／ｗｗｗ.ｎａｔｕｒｅ.ｃｏｍ/ａｒｔｉｃｌｅｓ/ｓ４１５９８－０１９－４０４１４－ｙ＞
【非特許文献10】Ｇｉｌ Ｊａｄｅｒ，Ｊｅｆｆｅｒｓｏｎ Ｆｏｎｔｉｎｅｌｅ，Ｍａｒｃｏ Ｒｕｉｚ，Ｋａｌｙｆ Ａｂｄａｌｌａ，Ｍａｔｈｅｕｓ Ｐｉｔｈｏｎ ａｎｄ Ｌｕｃｉａｎｏ Ｏｌｉｖｅｉｒａ，“Ｄｅｅｐ Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｔｅｅｔｈ ｉｎ Ｐａｎｏｒａｍｉｃ Ｘ－Ｒａｙ Ｉｍａｇｅｓ”，［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜ｆｉｌｅ：／／／Ｃ：／Ｕｓｅｒｓ／Ｕｓｅｒ／Ｄｏｗｎｌｏａｄｓ／ｔｏｏｔｈ＿ｓｅｇｍｅｎｔａｔｉｏｎ％２０（１）．ｐｄｆ＞
【非特許文献11】Ｄｍｉｔｒｙ Ｖ．Ｔｕｚｏｆｆ，Ｌｙｕｄｍｉｌａ Ｎ．Ｔｕｚｏｖａ，Ｍｉｃｈａｅｌ Ｍ．Ｂｏｒｎｓｔｅｉｎ，Ａｌｅｘｅｙ Ｓ．Ｋｒａｓｎｏｖ，Ｍａｘ Ａ．Ｋｈａｒｃｈｅｎｋｏ，Ｓｅｒｇｅｙ Ｉ．Ｎｉｋｏｌｅｎｋｏ，Ｍｉｋｈａｉｌ Ｍ．Ｓｖｅｓｈｎｉｋｏｖ ａｎｄ Ｇｅｏｒｇｉｙ Ｂ．Ｂｅｄｎｅｎｋｏ，“Ｔｏｏｔｈ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｎｕｍｂｅｒｉｎｇ ｉｎ ｐａｎｏｒａｍｉｃ ｒａｄｉｏｇｒａｐｈｓ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ”，Ｄｅｎｔｏｍａｘｉｌｌｏｆａｃｉａｌ Ｒａｄｉｏｌｏｇｙ Ｖｏｌｕｍｅ ４８，ＩＳＳＵＥ ４，２０１９，２０１８００５１，［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜Ｈｔｔｐｓ：／／ｗｗｗ．ｂｉｒｐｕｂｌｉｃａｔｉｏｎｓ．ｏｒｇ／ｄｏｉ／ｆｕｌｌ／１０．１２５９／Ｄｍｆｒ．２０１８００５１＞
【非特許文献12】Ａｎｄｒｅ Ｆｅｒｒｅｉｒａ Ｌｅｉｔｅ１，Ａｄｒｉａａｎ Ｖａｎ Ｇｅｒｖｅｎ，Ｈｏｌｇｅｒ Ｗｉｌｌｅｍｓ，Ｔｈｏｍａｓ Ｂｅｚｎｉｋ，Ｐｉｅｒｒｅ Ｌａｈｏｕｄ，Ｈｕｇｏ Ｇａｅｔａ－Ａｒａｕｊｏ，Ｍｙｒｔｈｅｌ Ｖｒａｎｃｋｘ ａｎｄ Ｒｅｉｎｈｉｌｄｅ Ｊａｃｏｂｓ，“Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ－ｄｒｉｖｅｎ ｎｏｖｅｌ ｔｏｏｌ ｆｏｒ ｔｏｏｔｈ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｎ ｐａｎｏｒａｍｉｃ ｒａｄｉｏｇｒａｐｈｓ”，［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜Ｈｔｔｐｓ：／／ｏｍｆｓｉｍｐａｔｈ．ｂｅ/ｏｎｅｗｅｂｍｅｄｉａ／Ａｒｔｉｆｉｃｉａｌ％２０ｉｎｔｅｌｌｉｇｅｎｃｅ－ｄｒｉｖｅｎ％２０ｎｏｖｅｌ％２０ｔｏｏｌ％２０ｆｏｒ％２０ｔｏｏｔｈ％２０ｄｅｔｅｃｔｉｏｎ％２０ａｎｄ％２０ｓｅｇｍｅｎｔａｔｉｏｎ％２０ｏｎ％２０ｐａｎｏｒａｍｉｃ％２０ｒａｄｉｏｇｒａｐｈｓ．ｐｄｆ＞
【非特許文献13】Ｆａｈａｄ Ｐａｒｖｅｚ Ｍａｈｄｉ，Ｋｏｔａ Ｍｏｔｏｋｉ ａｎｄ Ｓｙｏｊｉ Ｋｏｂａｓｈｉ，“Ｏｐｔｉｍｉｚａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｃｏｍｂｉｎｅｄ ｗｉｔｈ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ｆｏｒ ｔｅｅｔｈ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｄｅｎｔａｌ ｐａｎｏｒａｍｉｃ ｒａｄｉｏｇｒａｐｈｓ”，Ｓｃｉｅｎｔｉｆｉｃ Ｒｅｐｏｒｔｓ ｖｏｌｕｍｅ １０，Ａｒｔｉｃｌｅ ｎｕｍｂｅｒ：１９２６１（２０２０），［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜Ｈｔｔｐｓ：／／ｗｗｗ.ｎａｔｕｒｅ.ｃｏｍ／ａｒｔｉｃｌｅｓ／ｓ４１５９８－０２０－７５８８７－９＞
【非特許文献14】Ｃｈａｎｇｇｙｕｎ Ｋｉｍ，Ｄｏｎｇｈｙｕｎ Ｋｉｍ，ＨｏＧｕｌ Ｊｅｏｎｇ，Ｓｕｋ－Ｊａ Ｙｏｏｎ ａｎｄ Ｓｅｋｙｏｕｎｇ Ｙｏｕｍ，“Ａｕｔｏｍａｔｉｃ Ｔｏｏｔｈ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｎｕｍｂｅｒｉｎｇ Ｕｓｉｎｇ ａ Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ａ ＣＮＮ ａｎｄ Ｈｅｕｒｉｓｔｉｃ Ａｌｇｏｒｉｔｈｍ”，Ａｐｐｌ．Ｓｃｉ．２０２０，１０（１６），５６２４，［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜ｆｉｌｅ：／／／Ｃ：／Ｕｓｅｒｓ／Ｕｓｅｒ／Ｄｏｗｎｌｏａｄｓ／ａｐｐｌｓｃｉ－１０－０５６２４－ｖ２．ｐｄｆ＞
【非特許文献15】Ａｎｎｙ Ｙｕｎｉａｒｔｉ，Ａｎｉｎｄｈｉｔａ Ｓｉｇｉｔ Ｎｕｇｒｏｈｏ，Ｂｉｌｑｉｓ Ａｍａｌｉａｈ ａｎｄ Ａｇｕｓ Ｚａｉｎａｌ Ａｒｉｆｉｎ，“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｎｕｍｂｅｒｉｎｇ ｏｆ Ｄｅｎｔａｌ Ｒａｄｉｏｇｒａｐｈｓ ｆｏｒ ａｎ Ａｕｔｏｍａｔｅｄ Ｈｕｍａｎ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ”，ＴＥＬＫＯＭＮＩＫＡ，Ｖｏｌ．１０，Ｎｏ．１，Ｍａｒｃｈ ２０１２，ｐｐ．１３７－１４６，［ｏｎｌｉｎｅ］，［２０２１年１月１２日検索］，インターネット＜ｆｉｌｅ：／／／Ｃ：／Ｕｓｅｒｓ／Ｏｗｎｅｒ／Ｄｏｗｎｌｏａｄｓ／Ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿ａｎｄ＿Ｎｕｍｂｅｒｉｎｇ＿ｏｆ＿Ｄｅｎｔａｌ＿Ｒａｄｉｏｇｒａｐｈｓ．ｐｄｆ＞
【発明の概要】
【発明が解決しようとする課題】
【0026】
密集して存在する類似物体の画像認識においては、これまでに開発されたＤＬによる画像認識アルゴリズム単独で、それぞれの物体画像の位置を特定し、それぞれの物体画像を同定することを迅速かつ正確に実行することは極めて困難である。特に、既存の画像認識アルゴリズム単独で歯科医療の分野における歯式を特定し、予測する場合、速度よりも精度を優先した二段階法の物体検出アルゴリズムに加え、物体分類アルゴリズムを適用した後、ヒューリスティックな経験的方法等に基づいて歯番を補正する必要がある。しかも、成人の歯式の特定に関する検討例はあるが、幼児及び子供のように乳歯を備えたより複雑な歯式や永久歯と乳歯を備えた混合歯列を特定し予測することは困難な状況にある。
【0027】
そこで、本発明は、密集して存在する類似物体の画像認識を迅速かつ正確に行うことが可能な画像処理装置及び画像処理方法を提供することを目的とするものである。特に、本発明は、成人だけでなく、幼児及び子供も含めた歯式を迅速かつ正確に特定することが可能な画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【0028】
そこで、本発明者らは、速度を重視した一段階法の物体検出アルゴリズムであるＹＯＬＯｖ３と既存の物体分類アルゴリズムであるＥｆｆｉｃｉｅｎｔＮｅｔとを直列に接続し、それぞれの歯の矩形の位置を特定し、それぞれの歯の同定を行った後、歯学的に矛盾する配列をＤＰによるアライメント補正を行うことによって、乳歯を備えた複雑な歯式や永久歯と乳歯を備えた混合歯列を迅速かつ正確に特定することができることを見出した。この知見に基づき、更に種々検討した結果、このような物体検出アルゴリズムと物体分類アルゴリズムに限定される必要はなく、両アルゴリズムの接続に適切なＤＰアライメント補正を付加することによって同様の結果が得られ本発明の完成に至った。
【0029】
すなわち、本発明は、物体画像データを入力することができる入力部と、少なくともＣＮＮをモジュールとして備える物体分類アルゴリズムで実行される既存の物体画像データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する物体検出アルゴリズムで実行され、入力された第一の教師画像データ、学習画像データセット、及び、この学習画像データセットの拡張画像データを学習し、上記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第一の学習モデルを作成でき、入力された検出対象画像上の検出対象物体個々の画像を内包する第一の矩形の情報タグとこの情報タグが付加されたその第一の矩形の位置を特定することができる物体画像配置部と、物体分類アルゴリズムで実行され、第一の矩形のデータ及び／又はその第一の矩形の広域データ、入力された上記第一の教師画像データとは異なる第二の教師画像データ、上記学習画像データセット、及び、この学習画像データセットの拡張画像データを学習し、物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第二の学習モデルを作成でき、上記物体画像配置部で特定された第一の矩形に固有情報タグを付加して上記検出対象物体画像を分類及び同定することができる物体画像同定部と、この物体画像同定部から出力された結果を補正することができる物体画像補正部と、上記検出対象物体画像の処理結果を出力することができる出力部とが備えられていることを特徴とする画像処理装置である。
【0030】
ここで、上記物体分類アルゴリズムは、特に限定されるものではないが、速度及び精度を兼備している、ＡｌｅｘＮｅｔ、ＧＰｉｐｅ（Ｇｉａｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ Ｐｉｐｅｌｉｎｅ Ｐａｒａｌｌｅｌｉｓｍ）、Ｉｎｃｅｐｔｉｏｎ、ＳＥＢ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｂｌｏｃｋ）－Ｉｎｃｅｐｔｉｏｎ、Ｘｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＳＥＢ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＳＥＢ－Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＮＡＳＮｅｔ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ Ｎｅｔｗｏｒｋ）、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）、ＳＥＢ－ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、ＡｍｏｅｂａＮｅｔ、ＣＳＰＮｅｔ（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ）、ＣＢＮｅｔ（Ｃｏｍｐｏｓｉｔｅ Ｂａｃｋｂｏｎｅ Ｎｅｔｗｏｒｋ）、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくともいずれか一つ以上を用いることが好ましい。既述したように、物体分類アルゴリズムは、これらの名称にバージョン等を付設し、改良されたアルゴリズムとして数多くのものが輩出されているが、上記物体アルゴリズムには、これらを全て含み、以下に記述する物体分類アルゴリズム全てに亘って同様である。
【0031】
特に、上記物体分類アルゴリズムとしては、ＳＥＢ、ＲＢ（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、ＤＣｏｎｖ（Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＰＣｏｎｖ（Ｐｏｉｎｔｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＭｉｘＣｏｎｖ（Ｍｉｘｅｄ Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、及び、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）の中から選択されるモジュール及び／又はブロックを少なくとも一つ以上を備えているものが、精度を高めることができ好ましく、これらのモジュール及び／又はブロックを備えている物体分類アルゴリズムであれば特に限定されないが、例えば、ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、Ｄａｒｋｎｅｔ、及び、ＥｆｆｉｃｉｅｎｔＮｅｔを上げることができる。
【0032】
そして、物体画像補正部は、ヒューリスティックな経験的方法と対置をなす、バイオインフォマティクス分野でタンパク質や遺伝子情報を解明するための動的計画法（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｉｎｇ、ＤＰ法）と呼ばれるアルゴリズムで実行することが、迅速かつ高速な補正を行うことが可能となり好ましい。このＤＰ法は、全体的な配列は判定できないが、局所的に類似したアライメントを判定する場合にはローカルアライメントに、全体的な配列を判定する場合にはグローバルアライメントに適用することができるので、目的に応じて使い分ける必要がある。特に、歯式を特定する場合は、局所的なローカルアライメントに適用すると歯式全体を補正することが困難であり、全体的なグローバルアライメントに適用すると智歯の有無や智歯から連続する欠損歯の存在に対する補正を精度よく行うことができないため、セミグローバルアライメントに適用することがより好ましい。
【0033】
一方、上記物体検出アルゴリズムには、二段階法の物体検出アルゴリズム又は一段階法の物体検出アルゴリズムのいずれも適用することができる。
【0034】
特に、二段階法の物体検出アルゴリズムとしては、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮ、及び、Ｒ－ＦＣＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）の中から選択される少なくともいずれか一つ以上を採用することが好ましい。
【0035】
また、一段階法の物体検出アルゴリズムとしては、Оｖｅｒｆｅａｔ、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）、ＥＳＳＤ（Ｅｘｔｅｎｄ ｔｈｅ ｓｈａｌｌｏｗ ｐａｒｔ ｏｆ Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＲｅｔｉｎａＮｅｔ、Ｍ２Ｄｅｔ、ＹＯＬＯ、Ｓｃａｌｅｄ ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔの中から選択される少なくともいずれか一つ以上を採用することが好ましい。この物体検出アルゴリズムについても、既述したように、これらの名称にバージョン等を付設し、改良されたアルゴリズムとして数多くのものが輩出されているが、上記物体検出アルゴリズムには、これらを全て含み、以下に記述する物体検出アルゴリズム全てに亘って同様である。
【0036】
一般的には、二段階法が精度に優れ、一段階法が速度に優れていると考えられているが、本発明者らは、本画像処理装置の精度及び速度を向上させる要素として、本画像処理装置を実行する物体検出アルゴリズムと物体分類アルゴリズムとの組み合わせが重要な要素であることを見出した。その結果、物体検出アルゴリズムが、Ｍ２Ｄｅｔ、ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔの中から選択される少なくとも一つ以上であって、物体分類アルゴリズムが、ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、Ｄａｒｋｎｅｔ、及び、ＥｆｆｉｃｉｅｎｔＮｅｔの中から選択される少なくともいずれか一つ以上であることが好ましいことが分かった。さらに、より迅速かつ正確に画像認識を実行するためには、ＹＯＬＯｖ３以降のＹＯＬＯ及びＥｆｆｉｃｉｅｎｔＤｅｔの物体検出アルゴリズムと、ＲｅｓＮｅｔ－１０１以降のＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔＶ３以降のＭｏｂｉｌｅＮｅｔ、及び、Ｄａｒｋｎｅｔ－５３以降のＤａｒｋｎｅｔの物体分類アルゴリズムとの組み合わせが好ましい。
【0037】
以上、本発明の画像処理装置について説明したが、本発明は、このような画像処理装置を用い、密集して存在する類似物体の画像認識を迅速かつ正確に行うことが可能な画像処理方法を提供するものでもある。特に、本発明の画像処理方法は、歯の画像処理において有効であり、成人の歯式を迅速かつ正確に特定することができるだけでなく、幼児及び子供のように、乳歯と永久歯が混在したより複雑な歯式をも迅速かつ正確に特定することが可能であることを特徴としている。
【0038】
まず、本発明の第一の画像処理方法は、入力された第一の教師画像データ、学習画像データセット、及び、この学習画像データセットの拡張データを学習すると共に、物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第一の学習モデルを用い、入力された検出対象画像上の検出対象物体個々の画像を内包する第一の矩形の情報タグと、この情報タグが付加された前記第一の矩形の位置を特定する工程と、第一の矩形のデータ及び／又は第一の矩形の広域データ、入力された前記第一の教師画像データとは異なる第二の教師画像データ、上記学習画像データセット、及び、上記学習画像データセットの拡張データを学習すると共に、物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第二の学習モデルを用い、位置が特定された第一の矩形に、固有情報タグを付加し検出対象物体画像を分類して同定する工程と、同定した結果が自然法則に反するような検出対象物体画像を補正する工程と、検出対象物体画像の処理結果を出力する工程とが経由されることを特徴としている。
【0039】
本発明の画像処理装置の物体配置部は、既知の学習データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する物体分類アルゴリズムを内蔵した二段階法又は一段階法の物体検出アルゴリズムで実行されるため、物体画像の位置及び同定を行うことが可能であるが、第一の教師画像データにアノテーションされる情報タグを制限し、各検出対象物体画像を内包する矩形の位置と同定を正確に特定することに特化したことに特徴がある。
【0040】
このようにして正確に特定された各検出対象物体画像を内包する矩形の位置に基づいて、第一の教師画像データとは異なり、第二の教師画像データには、各検出物体を同定可能な情報タグがアノテーションされ、物体の分類に特化した物体分類アルゴリズムを用いて、それぞれに固有の情報タグが付加されて検出対象物体画像の位置が正確に特定されと共に、検出対象物体画像の種類が正確に同定される。
【0041】
しかし、密集して存在する類似物体の画像認識においては、物体画像のオーバーラップ等に起因して、例えば、隣接する異なる物体を同じ配置であるという重複した予測をするように、自然法則に反する予測が生じる場合がある。このため、最終点検として、検出対象物体を補正する工程を経ることが有効である。そして、補正する方法としては、ＤＰアライメントアルゴリズムを用いて行うことが好ましい。
【0042】
具体例として、歯式の特定にこのような画像処理方法を利用する場合には、次のようにして行うことができる。
【0043】
第一の教師画像データは、数多くの医療機関で撮影された歯科Ｘ線デジタル画像を用い、歯科放射線専門医によってアノテーションされた訓練用画像データ及び検証用データ、並びに、テスト用データから成る学習画像セットが、ＣＮＮをモジュールとして備える物体分類アルゴリズムで実行される既存の物体画像データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する二段階法又は一段階法の物体検出アルゴリズムで実行される物体画像配置部に入力される。ここで、アノテーションにおいて定義される情報タグが、例えば、上顎歯と下顎歯とは区別し、歯冠部、歯根部、歯冠部と歯根部の境界付近、及び、歯冠部と歯根部全体等のように、個々の歯の共通する部分の矩形であると定義、設定された矩形のデータを第一の教師画像データとして入力しておく。一方、上記多数の歯科Ｘ線デジタル画像を、縦横比の揺らぎ、解像度のスケーリング、クロッピング、平行移動、回転、左右反転、ランダム消去、ランダムノイズ付与、及び、明度等を考慮したオーギュメンテーション、所謂、データ拡張を行った画像を作成し、同じく物体画像配置部に入力される。
【0044】
そして、これらの画像データを用いて学習すると共に、物体特徴抽出部で学習され、抽出された特徴量を利用して、転移学習を行い、ファインチューニングを行った結果として第一の学習モデルを作成し、この学習モデルを用い、入力された検出対象画像上の検出対象物体である個々の歯を内包する第一矩形の個々の情報タグと、その情報タグが付加された検出対象物体である個々の歯を内包する第一の矩形の位置が特定される。
【0045】
次いで、上記物体画像配置部に入力された学習画像セット及びこれらのデータ拡張された画像は同じであるが、第一の教師画像データとは異なる第二の教師画像データを作製し、これらを物体分類アルゴリズムで実行される物体画像同定部に入力する。ここで、第二の教師画像データは、検出対象物体である個々の歯、すなわち、対象歯を検出するための画像データ、及び、対象歯を分類し、同定するためのアノテーションされた教師画像データを用いる。前者としては、対象歯の画像データ、対象歯とそれ以外の歯との相対位置が分かる画像データ、対象歯を中心とした広域画像、並びに、対象歯の勾配画像及び角度画像等を挙げることができる。特に、対象歯を中心として、少なくとも隣接歯を含む広域画像が好ましく用いられる。また、後者としては、上顎歯と下顎歯の分類、右側歯と左側歯の分類、永久歯と乳歯の分類、歯種（切歯、犬歯、小臼歯、大臼歯等）の分類、智歯と非智歯の分類に関する教師信号を用いる。以上の教師信号を学習した結果として、第二の学習モデルを作成し、この学習モデルを用いて検出対象である歯の歯式を推論する。なお、この学習モデルを作成するにあたって、シングルタスク学習及びマルチタスク学習のいずれも用いることができるが、本発明においては、マルチタスク学習の方が好ましい。これは、一般的に、推論時の速度が勝っている点においてマルチタスク学習を用いることが好ましが、歯のように類似した物体において懸念された正確性の劣化がなかったためである。また、推論において、一般的な推論モジュールを使用することができ、ＯｐｅｎＶＩＮＯ（登録商標)を使用することができる。
【0046】
このように推論された歯式においては、類似した物体が密集して存在し、隣接歯の関係が加味されないため、解剖学上ありえない配列の推論結果が得られる場合がある。この場合には、ＤＰアライメントアルゴリズムで実行される物体画像補正部で補正する工程を得る。特に、このＤＰアライメントアルゴリズムで実行される歯式を補正する工程の特徴は、歯式の補正が、検出対象物体である歯を分類して同定する工程で処理して推論された結果をＤＰアライメントアルゴリズムに適用することによって精度よく行えることにある。ただし、当然、必ずしも誤った推論結果が得られるとは限らないので、この工程は、本発明の画像処理方法に含まれているが、必ずしもこの工程を経る必要があることを意味するものではない。
【0047】
更に密集して類似した物体の画像認識をより正確に行うためには、密集して類似した物体の集合を内包する矩形を更に特定した上で、情報タグが付加された個々の物体の矩形の位置を特定した後、個々の物体の分類し、同定する画像処理方法がより好ましいことを見出した。
【0048】
すなわち、本発明のより好ましい画像処理方法は、入力された第一及び第二の教師画像データとは異なる第三の教師画像データ、学習画像データセット、及び、この学習画像データセットの拡張データを学習すると共に、物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第三の学習モデルを用い、入力された検出対象画像上の検出対象物体画像全てを内包する第二の矩形の位置を特定する工程と、第二の矩形のデータ及び／又は第二の矩形の広域データ、入力された第一の教師画像データ、上記学習画像データセット、及び、上記学習画像データセットの拡張データを学習すると共に、物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第四の学習モデルを用い、入力された検出対象画像上の検出対象物体個々の画像を内包する第一の矩形が改良された第三の矩形の情報タグと、情報タグが付加された第三の矩形の位置を特定する工程と、第三の矩形のデータ及び／又は前記第三の矩形の広域データ、入力された第二の教師画像データ、上記学習画像データセット、及び、上記学習画像データセットの拡張データを学習すると共に、物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第五の学習モデルを用い、第三の矩形に、固有情報タグを付加し検出対象物体画像を分類して同定する工程と、検出対象物体画像を補正する工程と、検出対象物体画像の処理結果を出力する工程とが経由されることを特徴としている。
【0049】
この画像処理方法において、第二の矩形が、密集して類似した物体の集合を内包する矩形であって、検出対象画像上の不要な情報を削除すると共に、密集して類似した物体の同定を行うためには、個々の物体の形状だけではなく、これらの相対的な位置関係を把握することが重要であることを見出したためである。
【0050】
特に、歯式の特定においては、この密集して類似した物体の集合を内包する第二の矩形は、個々の歯を全て内包する矩形であり、このために第一及び第二の教師画像データに加え、個々の歯を全て内包する矩形を教師画像として設定した第三の教師画像データを適用した。この工程を加えたこと以外は、上記第一の画像処理方法と変わりなく行うことができるが、この工程による歯式の特定の精度の向上が認められた。
【0051】
このような本発明の画像処理装置及び画像処理方法は、特に類似した物体が密集した検出対象物体の画像認識に適しており、デジタル画像であれば何ら限定されるものではない。具体例として挙げた歯式の特定においても、歯科デジタルＸ線画像、例えば、口内Ｘ線画像、ＤＰＲ、ＣＢＣＴ、及び、セファログラム等を用いることができる。ただし、被曝線量が極めて少なく、最も広く普及しデータ量が豊富な上、歯及び顎骨に生じる主要な特徴及び病変が全て描出されるＤＰＲが最も好ましい。
【発明の効果】
【0052】
本発明により、二段階法又は一段階法の物体検出アルゴリズムと物体分類アルゴリズムとを直列に接続した画像処理を行い、密集して存在する類似物体画像の認識を迅速かつ正確に行うことができるようになった。また、本発明の物体画像補正には、ＤＰアライメントアルゴリズムを採用しているので、密集して存在する類似物体画像で生じやすい自然法則に反する予測の矛盾を論理的かつ迅速に解消することが可能となった。従って、本発明の画像処理装置及び画像処理方法は、従来技術では困難であった、極めて複雑に接近した類似物体の配置、分類、及び、同定を行うことができる。特に、密集して存在する類似物体として歯を取り上げて画像認識を行った結果、成人の歯式の特定においては、予測速度の向上を実現することができた上、従来困難であり、報告例がない、乳歯が存在する幼児及び子供の歯式を特定することができた。
【図面の簡単な説明】
【0053】
【図1】図１は、本発明の一実施形態に係る、入力部、物体画像配置部、物体画像同定部、物体画像補正部、及び、出力部が直列に接続された画像処理装置であり、物体画像配置部は一段階法物体検出アルゴリズムであるＹＯＬＯｖ３を、物体画像同定部は物体分類アルゴリズムであるＥｆｆｉｃｉｅｎｔＮｅｔを、そして、物体画像補正部はＤＰアライメントアルゴリズムを用いて実行することを特徴とする第一の画像処理装置の概要を示す図ある。
【図2】図２は、本発明の一実施形態に係る、入力部、物体画像配置部、物体画像同定部、物体画像補正部、及び、出力部が直列に接続された画像処理装置であり、物体画像配置部は一段階法物体検出アルゴリズムであるＥｆｆｉｃｉｅｎｔＤｅｔを、物体画像同定部は物体分類アルゴリズムであるＥｆｆｉｃｉｅｎｔＮｅｔを、そして、物体画像補正部はＤＰアライメントアルゴリズムを用いて実行することを特徴とする第二の画像処理装置の概要を示す図である。
【図3】本発明の一実施形態に係る、第一の画像処理装置を用いた密集する類似物体の画像処理方法において、図３は、入力部から物体画像配置部に入力された画像データから個々の物体を内包する矩形を特定し、その矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。
【図4】本発明の一実施形態に係る、第一の画像処理装置を用いた密集する類似物体の画像処理方法において、図４は、図３の画像処理工程から物体画像同定部に入力された物体の矩形画像を分類し同定する工程から、物体画像補正部に入力された自然法則に反する誤った同定画像を補正する工程を経て、画像処理結果である検出物体画像を出力する工程の概要を示す図である。
【図5】本発明の一実施形態に係る、第一の画像処理装置を用いた歯のＤＰＲの画像処理方法において、図５は、入力部から物体画像配置部に入力された画像データから個々の歯を内包する矩形を特定すると共に、それぞれの矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。
【図6】本発明の一実施形態に係る、第一の画像処理装置を用いた歯のＤＰＲの画像処理方法において、図６は、図５の画像処理工程から物体画像同定部に入力された個々の歯の矩形画像を分類し歯番を付加して歯式を生成する工程から、物体画像補正部に入力された自然法則に反する誤った歯式画像を補正する工程を経て、画像処理結果である歯式画像を出力する工程の概要を示す図である。
【図7】本発明の一実施形態に係る、第一の画像装置を用いた歯のＤＰＲの画像処理方法において、図７は、入力部から物体画像配置部に入力された画像データから全ての歯を内包する矩形を特定する工程までの概要を示す図である。
【発明を実施するための形態】
【0054】
本発明の画像処理装置及びそれを用いた画像処理方法について、主として、ＤＰＲのデジタル画像を用いた歯式の特定に利用する場合を想定した一実施形態を詳細に説明するが、本発明の画像処理装置及びそれを用いた画像処理方法は、これに限定されるものではない。ここで説明する本発明の一実施形態は、密集して存在する類似物体の一例であるが、難解な画像認識の課題として歯を取り上げたのであって、本発明の画像処理装置及びそれを用いた画像処理方法によって幅広い物体画像データ全般を対象として画像認識を行うことができる。また、本発明の画像処理装置の構成及び画像処理方法の工程もこれに限定されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能であり、特許請求の範囲に記載した技術思想によってのみ限定されるものである。
【0055】
図１は、本発明の一実施形態に係る、入力部１１００、物体画像配置部１２００、物体画像同定部１３００、物体画像補正部１４００、及び、出力部１５００が直列に接続され、物体画像配置部１２００は一段階法物体検出アルゴリズムであるＹＯＬＯｖ３（１２１０）を、物体画像同定部１３００は物体分類アルゴリズムであるＥｆｆｉｃｉｅｎｔＮｅｔ１３１０を、そして、物体画像補正部１４００はＤＰアライメントアルゴリズム１４１０を用いて実行することを特徴としている第一の画像処理装置１０００の概要を示している。
【0056】
図２は、図１と同様、入力部２１００、物体画像配置部２２００、物体画像同定部２３００、物体画像補正部２４００、及び、出力部２５００が直列に接続されるが、物体画像配置部２２００は一段階法物体検出アルゴリズムであるＥｆｆｉｃｉｅｎｔＤｅｔ２２１０を用い、物体画像補正部２４００はセミグローバルアライメントにＤＰアライメントアルゴリズム２４１０を実行することを特徴としている第二の画像処理装置２０００である。この第二の画像処理装置２０００は、物体画像配置部２２００の一段階法物体検出アルゴリズムとしてＥｆｆｉｃｉｅｎｔＤｅｔ２２１０を用いることによって高速化及び高精度化を、セミグローバルアライメント法２４１０を用いることによって、高精度化を図ることができるため、第一の画像処理装置１０００より好ましい。このセミグローバルアライメント法２４１０は、第一の画像処理装置１０００に適用し、第一の画像処理装置１０００の精度を高めることにも有効である。
【0057】
更に、一段階法物体検出アルゴリズム及び物体分類アルゴリズムは、これらに限定されることなく用いることができる。特に、物体分類アルゴリズムが、ＳＥＢ、ＲＢ、ＤＣｏｎｖ、ＰＣｏｎｖ、ＭｉｘＣｏｎｖ、及び、ＧＡＰの中から選択されるモジュール及び／又はブロックを少なくとも一つ以上を備えていることが、特に高精度化のために好ましい。
【0058】
図３及び４は、本発明の一実施形態に係る、第一の画像処理装置１０００を用いた密集する類似物体の画像処理方法の概要を示している。図３は、入力部１１００から物体画像配置部１２００に入力された画像データ１１１０から個々の物体を内包する矩形を特定し、その矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。また、図４は、図３の画像処理工程から物体画像同定部１３００に入力された物体の矩形画像を分類し同定する工程から、物体画像補正部１４００に入力された自然法則に反する誤った同定画像を補正する工程を経て、画像処理結果１５１０である検出物体画像を出力する工程の概要を示す図である。
【0059】
このように、本発明の画像処理装置及びその画像処理装置を用いた画像処理方法の発明に至ったのは、ＤＬを用いた画像認識アルゴリズムの進歩によるＡＩの画像認識精度の劇的な向上に基づき、ＡＩの画像処理技術があらゆる産業で大きな成果を上げつつある状況を背景に、ＣＡＤシステムにもＡＩの画像処理技術を適用する開発が積極的に進められた結果として創出されたものである（非特許文献３～１４）。すなわち、本発明は、類似している物体が密集している画像認識でも、歯式の同定は、ＤＬを用いた既存の物体検出アルゴリズムだけでは迅速かつ正確に検出することが困難であり、未だ十分な速度及び精度を備えた画像処理装置及び画像処理方法が見出されていないことに端を発している。
【0060】
【0061】
本発明の一実施形態に係る、第一の画像処理装置１０００を用いた歯のＤＰＲの画像処理方法について、図５は、入力部１１００から物体画像配置部１２００に入力された画像データ１１１１から個々の歯を内包する矩形を特定すると共に、それぞれの矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。図６は、図５の画像処理工程から物体画像同定部１３００に入力された個々の歯の矩形画像を分類し歯番を付加して歯式を生成する工程から、物体画像補正部１４００に入力された自然法則に反する誤った歯式画像を補正する工程を経て、画像処理結果１５１１である歯式画像を出力する工程の概要を示す図である。
【0062】
更に詳しくは、図５において、学習画像データ１１１１は、検出すべき個々の歯を内包する第一の矩形を特定し、第一の矩形に情報タグを付加すると共に、第一の矩形の位置を特定するため、次のような工程を経る。定義された第一の教師画像データ１１３２、物体画像配置部で学習するための第一のアノテーションされた学習画像データ１１４２、及び、学習画像データのオーギュメンテーションされた拡張画像データ１１５１として、物体画像配置部１２００に入力される。ここで、第一の教師画像データ１１３２としては、全ての歯に共通している個々の歯の上顎歯と下顎歯を区別した歯冠部及び歯根部、歯冠部と歯根部の境界、並びに、歯冠部と歯根部の全体を用いることが好ましく、オーギュメンテーションとしては、縦横比の揺らぎ、解像度のスケーリング、クロッピング、平行移動、回転、左右反転、ランダム消去、ランダムノイズ付与、及び、明度等の拡張が好ましい。また、これらの画像データは、一段階法物体検出アルゴリズムのＹＯＬＯｖ３（１２１０）で実行され学習されると共に、ＹＯＬＯｖ３（１２１０）に内蔵される物体分類アルゴリズムのＤａｒｋｎｅｔ－５３（物体特徴抽出部）１２１１が膨大な画像データから生成した学習モデルを用いた転移学習及びファインチューニングが実行され、その結果として第一の学習モデル１２３１が生成される。一方、物体画像配置部１２００に入力された検出画像データ１１２１は、ＹＯＬＯｖ３（１２１０）で特徴量抽出１２１３が実行され、特徴量抽出データ１２４１が生成される。そして、第一の学習モデル１２３１と特徴量抽出データ１２４１とから推論プログラムで推論され、個々の歯を内包する第一の矩形が特定されると共に、それぞれの矩形に情報タグが付加され、位置が特定される。
【0063】
図６は、このようにして生成された画像データである個々の歯を内包する第一の矩形の歯を分類し、歯番をつけて同定する工程を詳しく示している。第一の教師画像データとは異なり、対象歯を検出するための画像データ、及び、対象歯を分類し、同定するためのアノテーションされた第二の教師画像データ１１３３を用いる。前者としては、対象歯の画像データ、対象歯とそれ以外の歯との相対位置が分かる画像データ、対象歯を中心とした広域画像、並びに、対象歯の勾配画像及び角度画像等を挙げることができる。特に、対象歯を中心として少なくとも隣接歯を含む広域画像が好ましく用いられる。具体的には、対象歯の長軸の長さをＬとして、対象歯の中心から上下にＬの長さの矩形を設定した場合に、Ｌが１～３が好ましく、１．５～２．５がより好ましい。また、後者としては、上顎歯と下顎歯の分類、右側歯と左側歯の分類、永久歯と乳歯の分類、歯種（切歯、犬歯、小臼歯、大臼歯等）の分類、智歯と非智歯の分類できる画像データを用いる。また、教師画像データを変更したため、図５に示した第一のアノテーションされた画像データとは異なる第二のアノテーションされた学習画像データ１１４３及び学習画像データの縦横比の揺らぎ、解像度のスケーリング、クロッピング、平行移動、回転、左右反転、ランダム消去、ランダムノイズ付与、及び、明度等のオーギュメンテーションされた拡張画像データ１１５１が用いられる。第二のアノテーションされた学習画像データ１１４３は、第一のアノテーションされた画像データ１１３１であってもよい。このような画像データが、物体分類アルゴリズムのＥｆｆｉｃｉｅｎｔＮｅｔ１３１０で実行され、第二の学習モデル１３２１が生成される。一方、検出画像データ１１２１は、ＥｆｆｉｃｉｅｎｔＮｅｔ１３１０の特徴量抽出１３１２によって特徴量抽出データ１３３１を生成する。そして、第二の学習モデル１３２１と特徴量抽出データ１３３１とから推論プログラムで推論され、第一の矩形の分類と同定が行われる。
【0064】
しかし、この推論結果には、解剖学的にありえない歯番の重複が推論される場合があるため、物体画像補正部１４００において、ＤＰアライメントアルゴリズム１４１１により補正され、第一の画像処理装置を用いた上記歯の画像処理方法によって画像処理結果１５１１として、検出対象である歯式画像が出力部１５００で生成される。
【0065】
更に、歯を用いた画像処理方法を検討した結果、より精度を高めることが可能な画像処理方法を見出したので、図７～９を用い、評価結果も含め、より詳しく説明する。この画像処理の方法の特徴は、入力された検出対象画像上の検出対象物体画像である全ての歯を内包する第二の矩形の位置を特定する工程を加えたことにある。このような第二の矩形は、密集して類似した物体である歯の集合を内包する矩形であって、検出対象画像上の不要な情報を削除すると共に、密集して類似した物体である歯の同定を行うためには、個々の歯の形状だけではなく、これらの相対的な位置関係を把握することが重要であることに起因する。この全ての歯を内包する第二の矩形を個々の歯の相対的な基準位置として活用することができるからである。
【0066】
図７は、入力部１１００から物体画像配置部１２００に入力された画像データから全ての歯を内包する矩形を特定する工程までの概要を示す図である。そのため、数多くの医療機関で撮影されたＤＰＲ１，０００症例を学習画像データとして用いた。この学習画像データの教師画像データとしては、全ての歯を内包する第二の矩形を生成するための歯科放射線専門医によって定義された第三の教師画像データ１１３４、歯科放射線専門医によって定義された第一のアノテーション画像データ１１４２がある。前者は、個々の歯のすべてを内包する矩形であり、後者の代表例としては、全ての歯に共通している個々の歯の上顎歯と下顎歯を区別した歯冠部及び歯根部、並びに、歯槽骨のライン等を挙げることができる。一方、ＤＰＲ１，０００症例の画像から、縦横比の揺らぎ、解像度スケーリング、クロッピング、平行移動、回転、左右反転、ランダム消去、ランダムノイズ付与、及び、明度（濃淡）等のオーギュメンテーションによる拡張画像データ１１５１が作成された。そして、これらの学習データは、物体画像配置部１２００に入力され、訓練用として７２０症例、検証用として８０症例、テスト用として２００症例を用い、５分割交差検証を行って一段階法物体検出アルゴリズムＹＯＬＯｖ３（１２１０）で実行され学習された。
【0067】
それと共に、これらの学習データを用い、ＹＯＬＯｖ３（１２１０）に内蔵される物体分類アルゴリズムのＤａｒｋｎｅｔ－５３（１２１１）が膨大な画像データから生成した学習モデルを用いた転移学習及びファインチューニングが実行され、その結果として第三の学習モデル１２３２が生成された。
【0068】
一方、物体画像配置部１２００に入力された検出画像データ１１２１は、ＹＯＬＯｖ３（１２１０）で特徴量抽出１２１３が実行され、特徴量抽出データ１２４１が生成される。そして、第三の学習モデル１２３２と特徴量抽出データ１２４１とから推論プログラムで推論され、全ての歯を内包する第二の矩形が特定されると共に、それぞれの矩形に情報タグが付加され、位置が特定される。その結果、全ての歯を内包する矩形の検出性能を、一般的な物体検出の精度の指標として用いられる適合率と再現率から計算されるＡＰ（Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）で評価したところ、適合率と再現率を算出するオーバーラップ率（Ｊａｃｃａｒｄ係数）と呼ばれるＩоＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が、５０％及び７５％の場合に、それぞれ、１．０００及び０．９９７であり、大半の症例でＧＴ（Ｇｒｏｕｎｄ Ｔｒｕｔｈ、正解率）が７５％以上であるという良好な結果であった。
【0069】
図８は、図７に引き続き、物体画像配置部１２００において実行される画像処理工程であり、全ての歯を内包する矩形画像を個々の歯を内包する（第一の矩形が改良された）第三の矩形に特定すると共に、それぞれの矩形に情報タグを付加し、位置を特定する工程までの概要を示している。
【0070】
ここで重要なことは、図示していないが、ここで、全ての歯を内包する第二の矩形を、その中心から、左右に１．１から１．５倍に、上下に１．１～１．８倍に広域画像として用いることである。これは、智歯、乳歯、根尖が第二の矩形から除外されることを避けるためである。
【0071】
ここでも、ＤＰＲ１，０００症例を学習画像データとして用いた。この学習画像データからの教師画像データとしては、個々の歯を内包する第一の矩形が改良された第三の矩形を特定するため、図５に示した第一の教師データ１１３２、すなわち、全ての歯に共通している、上顎歯と下顎歯を区別した歯冠部、上顎歯と下顎歯を区別した歯根部、歯冠部と歯根部の境界、及び、歯冠部と歯根部の全体から少なくとも一つ以上が用いられた。全ての歯を内包する第二の矩形を特定する場合と同様に、歯科放射線専門医によって定義された第一のアノテーション画像データが教師データ１１４２として用いられ、拡張データ１１５１も用いられた。そして、これらの学習データは、訓練用として７２０症例、検証用として８０症例、テスト用として２００症例を用い、５分割交差検証を行って一段階法物体検出アルゴリズムＹＯＬＯｖ３（１２１０）で実行され学習されると共に、ＹＯＬＯｖ３（１２１０）に内蔵される物体分類アルゴリズムのＤａｒｋｎｅｔ－５３（１２１１）が膨大な画像データから生成した学習モデルを用いた転移学習及びファインチューニングが実行され、その結果として第四の学習モデル１２３３が生成された。
【0072】
また、図７と同様に、物体画像配置部１２００に入力された検出画像データ１１２１は、ＹＯＬＯｖ３（１２１０）で特徴量抽出１２１３が実行され、特徴量抽出データ１２４１が生成され、第四の学習モデル１２３３と特徴量抽出データ１２４１とから推論プログラムで推論され、個々の歯を内包する第三の矩形が特定されると共に、それぞれの矩形に情報タグが付加され、位置が特定された。その結果を、上顎歯と下顎歯のＡＰの平均であるＭＡＰ（Ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）という一般的な物体検出の指標で評価したところ、歯冠部、歯根部、歯冠部と歯根部の境界、及び、歯冠部と歯根部の全体のＭＡＰの平均値が、それぞれ、０．７２７、０．６９９、０．６８２、及び０．７７７であり、９７％以上の対象歯を検出することができるという良好な結果が得られた。
【0073】
次いで、図９は、図８の画像処理工程から物体画像同定部１３００に入力された個々の歯を内包する第三の矩形画像を分類し歯番を付加して歯式を生成する工程から、物体画像補正部１４００に入力された自然法則に反する解剖学的に誤った歯式画像を補正する工程を経て、画像処理結果１５１２である歯式画像を出力する工程の概要を示す図である。
【0074】
ここでは、図６と同様に、第一の教師画像データとは異なり、対象歯を検出するための画像データ、及び、対象歯を分類し、同定するためのアノテーションされた第二の教師画像データ１１３３を用いる。前者としては、対象歯の画像データ、対象歯とそれ以外の歯との相対位置が分かる画像データ、対象歯を中心とした広域画像、並びに、対象歯の勾配画像及び角度画像等を挙げることができるが、広域画像が特に好ましい。具体的には、対象歯の長軸の長さをＬとして、対象歯の中心から上下にＬの長さの矩形を設定した場合に、Ｌが１～３が好ましく、１．５～２．５がより好ましい。後者としては、上顎歯と下顎歯の分類、右側歯と左側歯の分類、永久歯と乳歯の分類、歯種（切歯、犬歯、小臼歯、大臼歯等）の分類、智歯と非智歯の分類できる画像データを用いる。また、教師画像データを変更したため、図６と同様、第一のアノテーションされた画像データとは異なる第二のアノテーションされた学習画像データ１１４３及びオーギュメンテーションされた拡張画像データ１１５１が用いられた。第二のアノテーションされた学習画像データ１１４３は、第一のアノテーションされた画像データ１１４２であってもよい。このような画像データが、物体分類アルゴリズムのＥｆｆｉｃｉｅｎｔＮｅｔ１３１０で実行され、第五の学習モデル１３１１が生成された。また、検出画像データ１１２１も、図６同様に、ＥｆｆｉｃｉｅｎｔＮｅｔ１３１０の特徴量抽出１３１２によって特徴量抽出データ１３３１が生成された。そして、第五の学習モデル１３１１と特徴量抽出データ１３３１とから推論プログラムで推論され、第三の矩形の分類と同定が行われた。
【0075】
ここで、推論プログラムとしてＯｐｅｎＶＩＮＯ（登録商標）を活用し、単一モデルでマルチタスク処理の分類を行った結果、複数モデルでシングルタスク処理の分類を行った結果に匹敵する結果が得られたので、速度を考慮すれば、マルチタスク処理を用いることが好ましい。これは、歯が相互に類似した形体であるためであると考えられる。
【0076】
その結果、歯番、上顎歯と下顎歯、右側歯と左側歯、永久歯と乳歯、歯種（切歯、犬歯、小臼歯、大臼歯）、智歯と非智歯の一般的な物体検出の指標である適合率、再現率、Ｆ値（適合率と再現率の調和平均）が、表１に示すように、極めて良好な結果であった。着目すべき点は、歯番の正解率は９７％であるのに対し、それ以外のタスクは９９％を超えていることであり、乳歯と永久歯が共存する極めて密集した歯を識別できたことである。おそらく、この識別は世界で初めてではないかと思われる。
【0077】
【表1】
【0078】
ただし、歯番の適合率からわかるように、この推論結果には、解剖学的にありえない歯番の重複が推論される場合がある。例えば、ＦＤＩ（Ｆｅｄｅｒａｔｉｏｎ Ｄｅｎｔａｉｒｅ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ、国際歯科医師会）方式（Ｔｗｏ－ｄｉｇｉｔ ｓｙｓｔｅｍ）に基づいた歯式で２６、すなわち、上顎の左側の第一大臼歯が二本重複して検出された。そこで、物体画像補正部１４００において、セミグローバルアライメントにＤＰアライメントアルゴリズム１４１２を適用するに当たり、表１の歯番以外の識別結果、例えば、上顎歯と下顎歯及び永久歯と乳歯の結果を活用して補正した結果、正しく補正され、画像処理結果１５１２として、検出対象である歯式画像が出力部で生成された。
【0079】
このように、本発明の画像処理装置を用いた画像処理方法によれば、歯式を迅速かつ正確に生成することができ、永久歯と乳歯が混在した幼児や子供のＤＰＲから、乳歯も検出できることが明らかとなった。
【産業上の利用可能性】
【0080】
本発明の画像処理装置及びそれを用いた画像処理方法は、類似した物体が密集して存在する画像の認識に適しているため、ブドウやトマト等の密集する果実の成熟度、山に混在して茂る各種樹木、倉庫に積み重なる形状、材質の類似した多数の段ボール箱、海の魚の群れ、各種航空写真、及び、競技場の観客等、様々な画像の識別に利用することが可能で、産業上の利用可能性は極めて高い。
【符号の説明】
【0081】
１０００ 第一の画像処理装置
１１００ 入力部
１１１０ 学習画像データ
１１１１ 歯の学習画像データ
１１２０ 検出画像データ
１１２１ 歯の画像学習データ
１１３０ 第一の教師画像データ
１１３１ 第二の教師画像データ
１１３２ 歯の第一の教師データ
１１３３ 歯の第二の教師画像データ
１１３４ 歯の第三の教師画像データ
１１４０ 第一のアノテーションされた画像データ
１１４１ 第二のアノテーションされた画像データ
１１４２ 歯の第一アノテーションされた画像データ
１１４３ 歯の第二のアノテーションされた画像データ
１１５０ オーギュメンテーションされた拡張データ
１１５１ 歯のオーギュメンテーションされた拡張データ
１２００ 物体画像配置部
１２１０ 一段階法物体検出アルゴリズム（ＹＯＬＯｖ３）
１２１１ ＹＯＬＯｖ３のバックボーンとして内蔵されている物体分類アルゴリズム
（Ｄａｒｋｎｅｔ－５３）
１２１２ ＹＯＬＯｖ３による学習
１２１３ ＹＯＬＯｖ３による特徴量抽出
１２１４ ＹＯＬＯｖ３による推論
１２２０ Ｄａｒｋｎｅｔ－５３による特徴量抽出データ
１２３０ ＹＯＬＯｖ３による第一の学習モデル
１２３１ ＹＯＬＯｖ３による歯の第一の学習モデル
１２３２ ＹＯＬＯｖ３による歯の第三の学習モデル
１２３３ ＹＯＬＯｖ３による歯の第四の学習モデル
１２４０ ＹＯＬＯｖ３による特徴量抽出データ
１２４１ ＹＯＬＯｖ３による歯の特徴量抽出データ
１２５０ ＹＯＬＯｖ３による物体画像の情報タグの付加と位置の特定
１２５１ ＹＯＬＯｖ３による個々の歯を内包する第一の矩形の情報タグの付加と位
置の特定
１２５２ ＹＯＬＯｖ３による全ての歯を内包する第二の矩形の特定
１２５３ ＹＯＬＯｖ３による個々の歯を内包する第三の矩形の情報タグの付加と位
置の特定
１３００ 物体同定部
１３１０ 物体分類アルゴリズム（ＥｆｆｉｃｉｅｎｔＮｅｔ）
１３１１ ＥｆｆｉｃｉｅｎｔＮｅｔによる学習
１３１２ ＥｆｆｉｃｉｅｎｔＮｅｔによる特徴量抽出
１３１３ ＥｆｆｉｃｉｅｎｔＮｅｔによる推論
１３２０ ＥｆｆｉｃｉｅｎｔＮｅｔによる第二の学習モデル
１３２１ ＥｆｆｉｃｉｅｎｔＮｅｔによる歯の第二の学習モデル
１３２２ ＥｆｆｉｃｉｅｎｔＮｅｔによる歯の第五の学習モデル
１３３０ ＥｆｆｉｃｉｅｎｔＮｅｔによる特徴量抽出データ
１３３１ ＥｆｆｉｃｉｅｎｔＮｅｔによる歯の特徴量抽出データ
１３４０ ＥｆｆｉｃｉｅｎｔＮｅｔによる物体分類及び同定
１３４１ ＥｆｆｉｃｉｅｎｔＮｅｔによる第一の矩形の分類及び同定
１３４２ ＥｆｆｉｃｉｅｎｔＮｅｔによる第三の矩形の分類及び同定
１４００ 物体画像補正部
１４１０ 物体のＤＰアライメントアルゴリズム
１４１１ 第一の矩形のＤＰアライメントアルゴリズム
１４１２ 第三の矩形のＤＰアライメントアルゴリズム（セミグローバルアライメント）
１５００ 出力部
１５１０ 第一の画像処理装置による物体画像処理結果
１５１１ 第一の画像処理装置による歯の画像処理結果（歯式の同定）
１５１２ 第一の画像処理装置による全ての歯を内容する第二の矩形を用いた歯の画
像処理結果（歯式の同定）
２０００ 第二の画像処理装置
２１００ 入力部
２２００ 物体画像配置部
２２１０ 一段階法物体検出アルゴリズム（ＥｆｆｉｃｉｅｎｔＤｅｔ）
２２１１ ＥｆｆｉｃｉｅｎｔＤｅｔのバックボーンとして内蔵されている物体分類アルゴリズム（ＥｆｆｉｃｉｅｎｔＮｅｔ）
２３００ 物体同定部
２３１０ 物体分類アルゴリズム（ＥｆｆｉｃｉｅｎｔＮｅｔ）
２４００ 物体画像補正部
２４１０ ＤＰアライメントアルゴリズム（セミグローバルアライメント）
２５００ 出力部
１１００ 入力部
１１１０ 学習画像データ
１１１１ 歯の学習画像データ
１１２０ 検出画像データ
１１２１ 歯の画像学習データ
１１３０ 第一の教師画像データ
１１３１ 第二の教師画像データ
１１３２ 歯の第一の教師データ
１１３３ 歯の第二の教師画像データ
１１３４ 歯の第三の教師画像データ
１１４０ 第一のアノテーションされた画像データ
１１４１ 第二のアノテーションされた画像データ
１１４２ 歯の第一アノテーションされた画像データ
１１４３ 歯の第二のアノテーションされた画像データ
１１５０ オーギュメンテーションされた拡張データ
１１５１ 歯のオーギュメンテーションされた拡張データ
１２００ 物体画像配置部
１２１０ 一段階法物体検出アルゴリズム（ＹＯＬＯｖ３）
１２１１ ＹＯＬＯｖ３のバックボーンとして内蔵されている物体分類アルゴリズム
（Ｄａｒｋｎｅｔ－５３）
１２１２ ＹＯＬＯｖ３による学習
１２１３ ＹＯＬＯｖ３による特徴量抽出
１２１４ ＹＯＬＯｖ３による推論
１２２０ Ｄａｒｋｎｅｔ－５３による特徴量抽出データ
１２３０ ＹＯＬＯｖ３による第一の学習モデル
１２３１ ＹＯＬＯｖ３による歯の第一の学習モデル
１２３２ ＹＯＬＯｖ３による歯の第三の学習モデル
１２３３ ＹＯＬＯｖ３による歯の第四の学習モデル
１２４０ ＹＯＬＯｖ３による特徴量抽出データ
１２４１ ＹＯＬＯｖ３による歯の特徴量抽出データ
１２５０ ＹＯＬＯｖ３による物体画像の情報タグの付加と位置の特定
１２５１ ＹＯＬＯｖ３による個々の歯を内包する第一の矩形の情報タグの付加と位
置の特定
１２５２ ＹＯＬＯｖ３による全ての歯を内包する第二の矩形の特定
１２５３ ＹＯＬＯｖ３による個々の歯を内包する第三の矩形の情報タグの付加と位
置の特定
１３００ 物体同定部
１３１０ 物体分類アルゴリズム（ＥｆｆｉｃｉｅｎｔＮｅｔ）
１３１１ ＥｆｆｉｃｉｅｎｔＮｅｔによる学習
１３１２ ＥｆｆｉｃｉｅｎｔＮｅｔによる特徴量抽出
１３１３ ＥｆｆｉｃｉｅｎｔＮｅｔによる推論
１３２０ ＥｆｆｉｃｉｅｎｔＮｅｔによる第二の学習モデル
１３２１ ＥｆｆｉｃｉｅｎｔＮｅｔによる歯の第二の学習モデル
１３２２ ＥｆｆｉｃｉｅｎｔＮｅｔによる歯の第五の学習モデル
１３３０ ＥｆｆｉｃｉｅｎｔＮｅｔによる特徴量抽出データ
１３３１ ＥｆｆｉｃｉｅｎｔＮｅｔによる歯の特徴量抽出データ
１３４０ ＥｆｆｉｃｉｅｎｔＮｅｔによる物体分類及び同定
１３４１ ＥｆｆｉｃｉｅｎｔＮｅｔによる第一の矩形の分類及び同定
１３４２ ＥｆｆｉｃｉｅｎｔＮｅｔによる第三の矩形の分類及び同定
１４００ 物体画像補正部
１４１０ 物体のＤＰアライメントアルゴリズム
１４１１ 第一の矩形のＤＰアライメントアルゴリズム
１４１２ 第三の矩形のＤＰアライメントアルゴリズム（セミグローバルアライメント）
１５００ 出力部
１５１０ 第一の画像処理装置による物体画像処理結果
１５１１ 第一の画像処理装置による歯の画像処理結果（歯式の同定）
１５１２ 第一の画像処理装置による全ての歯を内容する第二の矩形を用いた歯の画
像処理結果（歯式の同定）
２０００ 第二の画像処理装置
２１００ 入力部
２２００ 物体画像配置部
２２１０ 一段階法物体検出アルゴリズム（ＥｆｆｉｃｉｅｎｔＤｅｔ）
２２１１ ＥｆｆｉｃｉｅｎｔＤｅｔのバックボーンとして内蔵されている物体分類アルゴリズム（ＥｆｆｉｃｉｅｎｔＮｅｔ）
２３００ 物体同定部
２３１０ 物体分類アルゴリズム（ＥｆｆｉｃｉｅｎｔＮｅｔ）
２４００ 物体画像補正部
２４１０ ＤＰアライメントアルゴリズム（セミグローバルアライメント）
２５００ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2022-06-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
歯を物体の対象として歯式を特定する画像処理装置であって、
物体画像データを入力することができる入力部と、
少なくともＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）をモジュールとして備える物体分類アルゴリズムで実行される既存の物体画像データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する物体検出アルゴリズムで実行され、入力された第一の教師画像データ、学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第一の学習モデルを作成でき、入力された検出対象画像上の検出対象物体個々の画像を囲む第一の矩形の情報タグと前記情報タグが付加された前記第一の矩形の位置を特定することができる物体画像配置部と、
前記物体分類アルゴリズムで実行され、前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第二の学習モデルを作成でき、前記物体画像配置部で特定された前記第一の矩形に固有情報タグを付加して前記検出対象物体画像を分類及び同定することができる物体画像同定部と、
前記物体画像同定部から出力された結果をＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ、動的計画法）アライメントアルゴリズムにより補正することができる物体画像補正部と、
前記検出対象物体画像の処理結果を出力することができる出力部と、
が備えられていることを特徴とする画像処理装置。
物体画像データを入力することができる入力部と、
少なくともＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）をモジュールとして備える物体分類アルゴリズムで実行される既存の物体画像データセットから物体の特徴量を抽出する物体特徴抽出部をバックボーンとして内蔵する物体検出アルゴリズムで実行され、入力された第一の教師画像データ、学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第一の学習モデルを作成でき、入力された検出対象画像上の検出対象物体個々の画像を囲む第一の矩形の情報タグと前記情報タグが付加された前記第一の矩形の位置を特定することができる物体画像配置部と、
前記物体分類アルゴリズムで実行され、前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張画像データを学習し、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って第二の学習モデルを作成でき、前記物体画像配置部で特定された前記第一の矩形に固有情報タグを付加して前記検出対象物体画像を分類及び同定することができる物体画像同定部と、
前記物体画像同定部から出力された結果をＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ、動的計画法）アライメントアルゴリズムにより補正することができる物体画像補正部と、
前記検出対象物体画像の処理結果を出力することができる出力部と、
が備えられていることを特徴とする画像処理装置。
【請求項2】
前記物体分類アルゴリズムが、
ＡｌｅｘＮｅｔ、ＧＰｉｐｅ（Ｇｉａｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ Ｐｉｐｅｌｉｎｅ Ｐａｒａｌｌｅｌｉｓｍ）、Ｉｎｃｅｐｔｉｏｎ、ＳＥＢ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｂｌｏｃｋ）－Ｉｎｃｅｐｔｉｏｎ、Ｘｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＳＥＢ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＳＥＢ－Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＮＡＳＮｅｔ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ Ｎｅｔｗｏｒｋ）、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）、ＳＥＢ－ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、ＡｍｏｅｂａＮｅｔ、ＣＳＰＮｅｔ（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ）、ＣＢＮｅｔ（Ｃｏｍｐｏｓｉｔｅ Ｂａｃｋｂｏｎｅ Ｎｅｔｗｏｒｋ）、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項１に記載の画像処理装置。
ＡｌｅｘＮｅｔ、ＧＰｉｐｅ（Ｇｉａｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｕｓｉｎｇ Ｐｉｐｅｌｉｎｅ Ｐａｒａｌｌｅｌｉｓｍ）、Ｉｎｃｅｐｔｉｏｎ、ＳＥＢ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｂｌｏｃｋ）－Ｉｎｃｅｐｔｉｏｎ、Ｘｅｐｔｉｏｎ、ＤｅｎｓｅＮｅｔ（Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）、ＳＥＢ－ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＳＥＢ－Ｉｎｃｅｐｔｉｏｎ－ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＮＡＳＮｅｔ（Ｎｅｕｒａｌ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｓｅａｒｃｈ Ｎｅｔｗｏｒｋ）、ＶＧＧ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）、ＳＥＢ－ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、ＡｍｏｅｂａＮｅｔ、ＣＳＰＮｅｔ（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ）、ＣＢＮｅｔ（Ｃｏｍｐｏｓｉｔｅ Ｂａｃｋｂｏｎｅ Ｎｅｔｗｏｒｋ）、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記物体分類アルゴリズムが、
ＳＥＢ、ＲＢ（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、ＤＣｏｎｖ（Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＰＣｏｎｖ（Ｐｏｉｎｔｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＭｉｘＣｏｎｖ（Ｍｉｘｅｄ Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、及び、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）の中から選択されるモジュール及び／又はブロックを少なくとも一つ以上を備えていることを特徴とする請求項１に記載の画像処理装置。
ＳＥＢ、ＲＢ（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）、ＤＣｏｎｖ（Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＰＣｏｎｖ（Ｐｏｉｎｔｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、ＭｉｘＣｏｎｖ（Ｍｉｘｅｄ Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ Ｌａｙｅｒ）、及び、ＧＡＰ（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）の中から選択されるモジュール及び／又はブロックを少なくとも一つ以上を備えていることを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記物体分類アルゴリズムが、
ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくとも一つ以上であることを特徴とする請求項１に記載の画像処理装置。
ＲｅｓＮｅｔ、ＲｅｓＮｅＸｔ、ＭｏｂｉｌｅＮｅｔ、ＭｎａｓＮｅｔ、Ｄａｒｋｎｅｔ、ＥｆｆｉｃｉｅｎｔＮｅｔ、及び、ＮＦＮｅｔの中から選択される少なくとも一つ以上であることを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記ＤＰアライメントアルゴリズムをセミグローバルアライメントに適用することを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。
【請求項6】
前記物体検出アルゴリズムが、二段階法の物体検出アルゴリズムであることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
【請求項7】
前記物体検出アルゴリズムが、一段階法の物体検出アルゴリズムであることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。
【請求項8】
前記二段階法の物体検出アルゴリズムが、
Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、及び、Ｒ－ＦＣＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）の中から選択される少なくともいずれか一つ以上であることを特徴とする請求項６に記載の画像処理装置。
Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、及び、Ｒ－ＦＣＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）の中から選択される少なくともいずれか一つ以上であることを特徴とする請求項６に記載の画像処理装置。
【請求項9】
前記一段階法の物体検出アルゴリズムが、
Оｖｅｒｆｅａｔ、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）、ＥＳＳＤ（Ｅｘｔｅｎｄ ｔｈｅ ｓｈａｌｌｏｗ ｐａｒｔ ｏｆ Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＲｅｔｉｎａＮｅｔ、Ｍ２Ｄｅｔ、ＹＯＬＯ、Ｓｃａｌｅｄ ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項７に記載の画像処理装置。
Оｖｅｒｆｅａｔ、ＤＰＭ（Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔｓ Ｍｏｄｅｌ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）、ＥＳＳＤ（Ｅｘｔｅｎｄ ｔｈｅ ｓｈａｌｌｏｗ ｐａｒｔ ｏｆ Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＲｅｔｉｎａＮｅｔ、Ｍ２Ｄｅｔ、ＹＯＬＯ、Ｓｃａｌｅｄ ＹＯＬＯ、及び、ＥｆｆｉｃｉｅｎｔＤｅｔの中から選択される少なくともいずれか一つ以上であることを特徴とする請求項７に記載の画像処理装置。
【請求項10】
請求項１～９のいずれか一項に記載の画像処理装置において、
前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第一の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第一の矩形の情報タグと、前記情報タグが付加された前記第一の矩形の位置を特定する工程と、
前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、前記入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された前記第二の学習モデルを用い、前記第一の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像が分類されて同定された結果を前記ＤＰアライメントアルゴリズムにより補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第一の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第一の矩形の情報タグと、前記情報タグが付加された前記第一の矩形の位置を特定する工程と、
前記第一の矩形のデータ及び／又は前記第一の矩形の広域データ、前記入力された前記第一の教師画像データとは異なる第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された前記第二の学習モデルを用い、前記第一の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像が分類されて同定された結果を前記ＤＰアライメントアルゴリズムにより補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
【請求項11】
請求項１～９のいずれか一項に記載の画像処理装置において、
入力された前記第一及び第二の教師画像データとは異なる第三の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第三の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体画像全てを内包する第二の矩形の位置を特定する工程と、
前記第二の矩形のデータ及び／又は前記第二の矩形の広域データ、前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第四の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第三の矩形の情報タグと、前記情報タグが付加された前記第三の矩形の位置を特定する工程と、
前記第三の矩形のデータ及び／又は前記第三の矩形の広域データ、入力された前記第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第五の学習モデルを用い、前記第三の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像が分類されて同定された結果を前記ＤＰアライメントアルゴリズムにより補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
入力された前記第一及び第二の教師画像データとは異なる第三の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第三の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体画像全てを内包する第二の矩形の位置を特定する工程と、
前記第二の矩形のデータ及び／又は前記第二の矩形の広域データ、前記入力された第一の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第四の学習モデルを用い、前記入力された検出対象画像上の前記検出対象物体個々の画像を内包する第三の矩形の情報タグと、前記情報タグが付加された前記第三の矩形の位置を特定する工程と、
前記第三の矩形のデータ及び／又は前記第三の矩形の広域データ、入力された前記第二の教師画像データ、前記学習画像データセット、及び、前記学習画像データセットの拡張データを学習すると共に、前記物体特徴抽出部の学習モデルを用いた転移学習及びファインチューニングを行って習得された第五の学習モデルを用い、前記第三の矩形に、前記固有情報タグを付加し前記検出対象物体画像を分類して同定する工程と、
前記検出対象物体画像が分類されて同定された結果を前記ＤＰアライメントアルゴリズムにより補正する工程と、
前記検出対象物体画像の処理結果を出力する工程と、
が経由されることを特徴とする画像処理方法。
【請求項12】
前記ＤＰアライメントアルゴリズムをセミグローバルアライメントに適用することを特徴とする請求項１０又は１１に記載の画像処理方法。
【請求項13】
前記ＤＰアライメントアルゴリズムにより補正する工程に、前記検出対象物体画像を分類して同定する工程で処理した結果を適用することを特徴とする請求項１０～１２のいずれか一項に記載の画像処理方法。
【請求項14】
前記物体画像が歯科デジタル写真であることを特徴とする請求項１～９のいずれか一項に記載の画像処理装置。
【請求項15】
前記物体が歯であり、前記物体画像が歯科デジタル写真であることを特徴とする請求項１０～１３のいずれか一項に記載の画像処理方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は、歯の物体画像を処理し、個々の歯を識別及び分類し、それらの配置、配列、及び、同定を行うことが可能なニューラルネットワーク（Neural Network、ＮＮ）系画像処理装置、及び、その画像装置を用いた物体画像の配置、配列、及び、同定を正確かつ迅速に行い、歯式の決定等が可能な画像処理装置、及び、それを用いた画像処理方法に関する。特に、本発明は、歯科エックス線デジタル写真からの歯式の決定等に適した画像処理装置、及び、それを用いた画像処理方法に関する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【0024】
このように、類似した物体が密接して配置されている歯の画像処理において、各々の歯を同定し、歯番を特定して歯式を決定することが極めて難解な課題であることが分かる。そのため、このような画像処理には精度を重視した上、ヒューリスティックな補正を施す必要があり、ＤＬを用いた迅速かつ正確に画像認識を行うことが可能な画像処理装置は見出されていない。特に、成人に限定した歯の画像認識の検討例しかなく、幼児や子供のように、乳歯を備えたより複雑な歯式や永久歯と乳歯を備えた混合歯列を特定し予測することは困難な状況にある。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【0026】
密集して存在する類似物体である歯の画像認識においては、これまでに開発されたＤＬによる画像認識アルゴリズム単独で、それぞれの物体画像の位置を特定し、それぞれの物体画像を同定することを迅速かつ正確に実行することは極めて困難である。特に、歯式を特定し、予測する場合、速度よりも精度を優先した二段階法の物体検出アルゴリズムに加え、物体分類アルゴリズムを適用した後、ヒューリスティックな経験的方法等に基づいて歯番を補正する必要がある。しかも、成人の歯式の特定に関する検討例はあるが、幼児及び子供のように乳歯を備えたより複雑な歯式や永久歯と乳歯を備えた混合歯列を特定し予測することは困難な状況にある。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【0027】
そこで、本発明は、歯の画像認識を迅速かつ正確に行うことが可能な画像処理装置及び画像処理方法を提供することを目的とするものである。特に、本発明は、成人だけでなく、幼児及び子供も含めた歯式を迅速かつ正確に特定することが可能な画像処理装置及び画像処理方法を提供することを目的としている。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【0037】
以上、本発明の画像処理装置について説明したが、本発明の画像処理方法は、歯の画像処理において有効であり、成人の歯式を迅速かつ正確に特定することができるだけでなく、幼児及び子供のように、乳歯と永久歯が混在したより複雑な歯式をも迅速かつ正確に特定することが可能であることを特徴としている。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【0041】
しかし、密集して存在する歯の画像認識においては、物体画像のオーバーラップ等に起因して、例えば、隣接する異なる物体を同じ配置であるという重複した予測をするように、自然法則に反する予測が生じる場合がある。このため、最終点検として、検出対象物体を補正する工程を経ることが有効である。そして、補正する方法としては、ＤＰアライメントアルゴリズムを用いて行うことが好ましい。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【0046】
このように推論された歯式においては、類似した歯が密集して存在し、隣接歯の関係が加味されないため、解剖学上ありえない配列の推論結果が得られる場合がある。この場合には、ＤＰアライメントアルゴリズムで実行される物体画像補正部で補正する工程を得る。特に、このＤＰアライメントアルゴリズムで実行される歯式を補正する工程の特徴は、歯式の補正が、検出対象物体である歯を分類して同定する工程で処理して推論された結果をＤＰアライメントアルゴリズムに適用することによって精度よく行えることにある。ただし、当然、必ずしも誤った推論結果が得られるとは限らないので、この工程は、本発明の画像処理方法に含まれているが、必ずしもこの工程を経る必要があることを意味するものではない。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【0047】
更に、歯の画像認識をより正確に行うためには、歯の集合を内包する矩形を更に特定した上で、情報タグが付加された個々の歯の矩形の位置を特定した後、個々の歯を分類し、同定する画像処理方法がより好ましいことを見出した。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【0049】
この画像処理方法において、第二の矩形が、歯の集合を内包する矩形であって、検出対象画像上の不要な情報を削除すると共に、歯の同定を行うためには、個々の歯の形状だけではなく、これらの相対的な位置関係を把握することが重要であることを見出したためである。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【0050】
特に、歯式の特定においては、この歯の集合を内包する第二の矩形は、個々の歯を全て内包する矩形であり、このために第一及び第二の教師画像データに加え、個々の歯を全て内包する矩形を教師画像として設定した第三の教師画像データを適用した。この工程を加えたこと以外は、上記第一の画像処理方法と変わりなく行うことができるが、この工程による歯式の特定の精度の向上が認められた。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【0051】
このような本発明の画像処理装置及び画像処理方法は、特に類似した物体が密集した検出対象物体である歯の画像認識に適しており、デジタル画像であれば何ら限定されるものではない。具体例として挙げた歯式の特定においても、歯科デジタルＸ線画像、例えば、口内Ｘ線画像、ＤＰＲ、ＣＢＣＴ、及び、セファログラム等を用いることができる。ただし、被曝線量が極めて少なく、最も広く普及しデータ量が豊富な上、歯及び顎骨に生じる主要な特徴及び病変が全て描出されるＤＰＲが最も好ましい。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【0052】
本発明により、二段階法又は一段階法の物体検出アルゴリズムと物体分類アルゴリズムとを直列に接続した画像処理を行い、歯の画像の認識を迅速かつ正確に行うことができるようになった。また、本発明の物体画像補正には、ＤＰアライメントアルゴリズムを採用しているので、密集して存在する歯の画像で生じやすい自然法則に反する予測の矛盾を論理的かつ迅速に解消することが可能となった。従って、本発明の画像処理装置及び画像処理方法は、従来技術では困難であった、極めて複雑に接近した類似物体の配置、分類、及び、同定を行うことができる。特に、成人の歯式の特定においては、予測速度の向上を実現することができた上、従来困難であり、報告例がない、乳歯が存在する幼児及び子供の歯式も特定することができた。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【0053】
【図1】図１は、本発明の一実施形態に係る、入力部、物体画像配置部、物体画像同定部、物体画像補正部、及び、出力部が直列に接続された画像処理装置であり、物体画像配置部は一段階法物体検出アルゴリズムであるＹＯＬＯｖ３を、物体画像同定部は物体分類アルゴリズムであるＥｆｆｉｃｉｅｎｔＮｅｔを、そして、物体画像補正部はＤＰアライメントアルゴリズムを用いて実行することを特徴とする第一の画像処理装置の概要を示す図ある。
【図2】図２は、本発明の一実施形態に係る、入力部、物体画像配置部、物体画像同定部、物体画像補正部、及び、出力部が直列に接続された画像処理装置であり、物体画像配置部は一段階法物体検出アルゴリズムであるＥｆｆｉｃｉｅｎｔＤｅｔを、物体画像同定部は物体分類アルゴリズムであるＥｆｆｉｃｉｅｎｔＮｅｔを、そして、物体画像補正部はＤＰアライメントアルゴリズムを用いて実行することを特徴とする第二の画像処理装置の概要を示す図である。
【図3】本発明の一実施形態に係る、第一の画像処理装置を用いた歯の画像処理方法において、図３は、入力部から物体画像配置部に入力された画像データから個々の物体を内包する矩形を特定し、その矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。
【図4】本発明の一実施形態に係る、第一の画像処理装置を用いた歯の画像処理方法において、図４は、図３の画像処理工程から物体画像同定部に入力された物体の矩形画像を分類し同定する工程から、物体画像補正部に入力された自然法則に反する誤った同定画像を補正する工程を経て、画像処理結果である検出物体画像を出力する工程の概要を示す図である。
【図5】本発明の一実施形態に係る、第一の画像処理装置を用いた歯のＤＰＲの画像処理方法において、図５は、入力部から物体画像配置部に入力された画像データから個々の歯を内包する矩形を特定すると共に、それぞれの矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。
【図6】本発明の一実施形態に係る、第一の画像処理装置を用いた歯のＤＰＲの画像処理方法において、図６は、図５の画像処理工程から物体画像同定部に入力された個々の歯の矩形画像を分類し歯番を付加して歯式を生成する工程から、物体画像補正部に入力された自然法則に反する誤った歯式画像を補正する工程を経て、画像処理結果である歯式画像を出力する工程の概要を示す図である。
【図7】本発明の一実施形態に係る、第一の画像装置を用いた歯のＤＰＲの画像処理方法において、図７は、入力部から物体画像配置部に入力された画像データから全ての歯を内包する矩形を特定する工程までの概要を示す図である。
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【0054】
本発明の画像処理装置及びそれを用いた画像処理方法について、主として、ＤＰＲのデジタル画像を用いた歯式の特定に利用する場合を想定した一実施形態を詳細に説明するが、本発明の画像処理装置及びそれを用いた画像処理方法は、これに限定されるものではない。また、本発明の画像処理装置の構成及び画像処理方法の工程もこれに限定されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能であり、特許請求の範囲に記載した技術思想によってのみ限定されるものである。
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【0058】
図３及び４は、本発明の一実施形態に係る、第一の画像処理装置１０００を用いた歯の画像処理方法の概要を示している。図３は、入力部１１００から物体画像配置部１２００に入力された画像データ１１１０から個々の物体を内包する矩形を特定し、その矩形に情報タグを付加し、位置を特定する工程までの概要を示す図である。また、図４は、図３の画像処理工程から物体画像同定部１３００に入力された物体の矩形画像を分類し同定する工程から、物体画像補正部１４００に入力された自然法則に反する誤った同定画像を補正する工程を経て、画像処理結果１５１０である検出物体画像を出力する工程の概要を示す図である。
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【0059】
このように、本発明の画像処理装置及びその画像処理装置を用いた画像処理方法の発明に至ったのは、ＤＬを用いた画像認識アルゴリズムの進歩によるＡＩの画像認識精度の劇的な向上に基づき、ＡＩの画像処理技術があらゆる産業で大きな成果を上げつつある状況を背景に、ＣＡＤシステムにもＡＩの画像処理技術を適用する開発が積極的に進められた結果として創出されたものである（非特許文献３～１４）。すなわち、本発明は、ＤＬを用いた既存の物体検出アルゴリズムだけでは迅速かつ正確な歯式の同定が困難であり、未だ十分な速度及び精度を備えた画像処理装置及び画像処理方法が見出されていないことに端を発している。
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【0080】
本発明の画像処理装置及びそれを用いた画像処理方法は、類似した物体が密集して存在する歯の画像の認識に適しているが、ブドウやトマト等の密集する果実の成熟度、山に混在して茂る各種樹木、倉庫に積み重なる形状、材質の類似した多数の段ボール箱、海の魚の群れ、各種航空写真、及び、競技場の観客等、様々な類似した物体が密集して存在する画像の識別に利用することができる可能性があるものと考えられるという点で、産業上の利用可能性は極めて高い。