特開 2024-106964 歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106964

(43)【公開日】2024-08-08

(54)【発明の名称】歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体

(51)【国際特許分類】

   A61B 6/51 20240101AFI20240801BHJP

   A61B 6/00 20240101ALI20240801BHJP

   G06T 7/11 20170101ALI20240801BHJP

   G06T 7/00 20170101ALI20240801BHJP

   G06V 10/764 20220101ALI20240801BHJP

【ＦＩ】

A61B6/51

A61B6/00 550D

A61B6/00 550A

G06T7/11

G06T7/00 350B

G06T7/00 612

G06V10/764

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023202556

(22)【出願日】2023-11-30

(31)【優先権主張番号】P 2023011447

(32)【優先日】2023-01-29

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】506321746

【氏名又は名称】アイテック株式会社

(74)【代理人】

【識別番号】110003454

【氏名又は名称】弁理士法人友野国際特許事務所

(72)【発明者】

【氏名】辻 洋祐

(72)【発明者】

【氏名】林 達郎

【テーマコード（参考）】

4C093

5L096

【Ｆターム（参考）】

4C093AA01

4C093AA12

4C093AA26

4C093DA05

4C093FF16

4C093FG16

5L096BA06

5L096BA13

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】
歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体を提供すること。
【解決手段】
対象の歯科画像を撮像する撮像部によって撮像された歯科画像を取得する歯科画像取得部と、前記歯科画像取得部によって取得された前記歯科画像から歯部を検出する歯部検出部と、を備え、前記歯部検出部は、歯科画像から歯部を検出するための、物体検出部とセグメンテーション部とを有し、前記物体検出部及び前記セグメンテーション部によりマルチタスク処理を行う。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象の歯科画像を撮像する撮像部によって撮像された歯科画像を取得する歯科画像取得部と、
前記歯科画像取得部によって取得された前記歯科画像から歯部を検出する歯部検出部と、
を備え、
前記歯部検出部は、
歯科画像から歯部を検出するための、物体検出部とセグメンテーション部とを有し、
前記物体検出部および前記セグメンテーション部によりマルチタスク処理を行う歯科画像処理装置。

【請求項2】

前記マルチタスク処理により、歯科画像から歯部を検出するための深層学習を行うためのマルチタスク学習を行う、
請求項１に記載の歯科画像処理装置。

【請求項3】

前記マルチタスク学習には、トランスフォーマを用いる、
請求項２に記載の歯科画像処理装置。

【請求項4】

前記物体検出部は、
前記物体の位置検出を行う物体位置検出部と、
前記物体のクラス分類を行う物体クラス分類部と、
前記位置検出および前記クラス分類の少なくとも一方に先立って、その準備を行う物体検出準備部と、
を有する、請求項１に記載の歯科画像処理装置。

【請求項5】

前記マルチタスク処理における物体検出として、シングルショット系の物体検出を採用し、それと並行して、セグメンテーションを同時に行う、
請求項１に記載の歯科画像処理装置。

【請求項6】

前記マルチタスク処理におけるセグメンテーションとして、インスタンスセグメンテーションを採用する、
請求項１に記載の歯科画像処理装置。

【請求項7】

前記マルチタスク処理は、個々の歯の矩形を定義する歯矩形定義処理を含む、
請求項１に記載の歯科画像処理装置。

【請求項8】

前記歯の矩形は、歯冠部と歯根部とを有し、歯冠部及び歯根部のうちのいずれか一方しかない場合には、該存在する部分に矩形を定義する、
請求項７に記載の歯科画像処理装置。

【請求項9】

前記歯部の情報として参照情報を付与するアノテーションを行うアノテーション部をさらに備える、
請求項１に記載の歯科画像処理装置。

【請求項10】

対象の歯科画像を撮像する撮像装置と、
請求項１～９のうちのいずれか１項に記載の歯科画像処理装置と
を具備する歯科画像処理システム。

【請求項11】

前記対象の歯科画像および前記検出された歯部の少なくとも一方を表示するための表示装置、
をさらに備える、請求項１０に記載の歯科画像処理システム。

【請求項12】

対象の歯科画像を撮像する撮像部によって撮像された歯科画像を取得する歯科画像取得工程と、
前記歯科画像取得工程において取得された前記歯科画像から歯部を検出する歯部検出工程と、
を備え、
前記歯部検出工程は、
歯科画像から歯部を検出するための、物体検出工程とセグメンテーション工程とを有し、
前記物体検出工程および前記セグメンテーション工程においてマルチタスク処理を行う歯科画像処理方法。

【請求項13】

前記マルチタスク処理により、歯科画像から歯部を検出するための深層学習を行うためのマルチタスク学習を行う、
請求項１２に記載の歯科画像処理方法。

【請求項14】

前記マルチタスク学習には、トランスフォーマを用いる、
請求項１３に記載の歯科画像処理方法。

【請求項15】

前記物体検出工程は、
前記物体の位置検出を行う物体位置検出工程と、
前記物体のクラス分類を行う物体クラス分類工程と、
前記位置検出および前記クラス分類の少なくとも一方に先立って、その準備を行う物体検出準備工程と、
を有する、請求項１２に記載の歯科画像処理方法。

【請求項16】

前記マルチタスク処理における物体検出として、シングルショット系の物体検出を採用し、それと並行して、セグメンテーションを同時に行う、
請求項１２に記載の歯科画像処理方法。

【請求項17】

請求項１に記載の歯科画像処理装置に、請求項１２に記載の歯科画像処理方法を実行させるプログラム。

【請求項18】

請求項１７に記載のプログラムを、同一請求項に記載の歯科画像処理装置により利用可能に記憶するプログラム記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はたとえば歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体に係り、特に、歯科におけるパノラマＸ線画像などの画像から、個々の歯（単体歯）を検出するなどの画像処理を行う歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体に関する。

【背景技術】

【0002】

歯科の分野においては、診断や治療の支援のために、パノラマＸ線画像などの画像を撮影することが広く行われている。

【0003】

この場合に、画像から単体歯を検出し、各々の単体歯について、歯番などを正しく認識し、記憶し、診断や治療に役立てることが求められている。

【0004】

例えば、特許文献１には、歯科パノラマＸ線画像から病変箇所および病名の判定をすることで、歯科医師の判断の補助となる歯科分析システムおよび歯科分析Ｘ線システム、及び、病変箇所の検出および病名の判定を高い精度で高速に行うことができる歯科分析システムおよび歯科分析Ｘ線システムについての技術思想が開示されている。

【0005】

特に、特許文献１においては、高速なリアルタイム物体検出を実現するＹＯＬＯ（登録商標）（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を採用している。また、ＹＯＬＯ以外にも、公知のリアルタイム物体検出を行うための手法としては、ＳＳＤ（登録商標）(Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ)、Ｆａｓｔｅｒ
Ｒ－ＣＮＮ（登録商標）（Ｒｅｇｉｏｎ－ＢＡＳＥＤ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ)、ＲｅｔｉｎａＮｅｔ（登録商標）など、さまざまな手法が存在する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第６８３００８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、ＹＯＬＯは画像全体を一度に処理し、グリッドセルごとに物体を検出するが、他の手法では候補領域を生成してから物体を検出する。これにより、ＹＯＬＯは処理速度を重視しているが、検出精度は若干劣る場合がある。一方、上述のうち、Ｆａｓｔｅｒ Ｒ－ＣＮＮは、比較的高い検出精度を持つが、ＹＯＬＯほどの高速性は実現しにくい場合がある。ＳＳＤやＲｅｔｉｎａＮｅｔは、速度や精度上、これらの中間に位置する。ここで、例えばＹＯＬＯにより処理速度を重視しようとしても、その後に精度向上のための調整時間が掛かるのでは、全体として高速性を担保できない。

【0008】

本発明は、上述したような従来技術上の問題を解決することを企図したものであり、歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体を提供することを課題とする。

【課題を解決するための手段】

【0009】

上述した課題の解決にあたり、まず、本発明の発明者は、物体検出機能とセグメンテーション機能とを備え、マルチタスクとして同時並行して処理することによれば、上記課題の解決に資することを発見・創出した。

【0010】

セグメンテーションとは物体（歯部）の形状を正確に捉えることであり、物体検出機能とセグメンテーション機能とを同時並行するマルチタスク処理は、インスタンスセグメンテーションと表現してもよく、このようにすると、歯部が精度高く、かつ、形状を正確に検出することができる。

【0011】

なお、歯部とは、個々の歯（単体歯）が典型であるが、それ以外にも他のオトガイ腔や下顎骨などの正常構造部分や病変部分、金属の被せ物などを含む場合もあり得る。

【0012】

更に、この画像処理装置は、その検出対象を一般的な物体の検出に適用することもできる。

【0013】

そこで、上述した課題を解決するため、本発明の第１の態様に係る歯科画像処理装置は、対象の歯科画像を撮像する撮像部によって撮像された歯科画像を取得する歯科画像取得部と、前記歯科画像取得部によって取得された前記歯科画像から歯部を検出する歯部検出部と、を備え、前記歯部検出部は、歯科画像から歯部を検出するための、物体検出部とセグメンテーション部とを有し、前記物体検出部および前記セグメンテーション部によりマルチタスク処理を行う。

【0014】

また、第１の態様に対応する第１２の態様の歯科画像処理方法は、対象の歯科画像を撮像する撮像部によって撮像された歯科画像を取得する歯科画像取得工程と、前記歯科画像取得工程において取得された前記歯科画像から歯部を検出する歯部検出工程と、を備え、前記歯部検出工程は、歯科画像から歯部を検出するための、物体検出工程とセグメンテーション工程とを有し、前記物体検出工程および前記セグメンテーション工程においてマルチタスク処理を行う。

【0015】

また、第１の態様に対応する第１７の態様のプログラムは、上述の歯科画像処理装置に、上述の歯科画像処理方法を実行させる。

【0016】

また、第１の態様に対応する第１８の態様のプログラム記憶媒体は、上述のプログラムを、上述の歯科画像処理装置により利用可能に記憶する。

【0017】

これらの態様の歯科画像処理装置若しくは歯科画像処理方法では、またはこれらの態様のプログラム若しくはプログラム記憶媒体によれば、対象の歯科画像を撮像部によって撮像して歯科画像を取得し、その歯科画像から歯部を検出するに際して、歯科画像から歯部を検出するために、物体検出とセグメンテーションとによるマルチタスク処理を行う。

【0018】

この場合、物体検出とセグメンテーションとによる同時並行的な処理、すなわちマルチタスク処理、によって、高速性を重視するために精度低下の可能性がある物体検出の精度面での課題を、セグメンテーションによる高精度観測で補完して解決することができ、これにより、例えば歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる。

【0019】

また、第２の態様に係る歯科画像処理装置として、第１の態様において、前記マルチタスク処理により、歯科画像から歯部を検出するための深層学習を行うためのマルチタスク学習を行うようにしても良い。

【0020】

また、第２の態様に対応する第１３の態様の歯科画像処理方法として、第２の態様において、前記マルチタスク処理により、歯科画像から歯部を検出するための深層学習を行うためのマルチタスク学習を行うようにしても良い。

【0021】

これらの場合、マルチタスク処理に、さらに深層学習（ディープラーニング）を採用する。マルチタスク処理なので、結果的にマルチタスク学習となる。これにより、データ分類・分析に必要な特徴量を自動的に検出でき、更なる高精度化かつ高速化に寄与し得る。具体的には、例えば歯周病の進行度に関する深層学習（ディープラーニング）をマルチタスクでさらに加える等により、高精度かつ高速に判定可能な歯周病進行度判定システム、などを構成し得る。

【0022】

また、第３の態様に係る歯科画像処理装置として、第２の態様において、前記マルチタスク学習には、トランスフォーマを用いるようにしても良い。

【0023】

また、第３の態様に対応する第１４の態様の歯科画像処理方法として、第１３の態様において、前記マルチタスク学習には、トランスフォーマを用いるようにしても良い。

【0024】

これらの場合、マルチタスク学習にトランスフォーマを採用することで、更なる高速化や高精度化に寄与し得る。ここで、トランスフォーマ（Ｔｒａｎｓｆｏｒｍｅｒ）とは、「Ａｔｔｅｎｔｉｏｎ Ｉｓ Ａｌｌ
Ｙｏｕ Ｎｅｅｄ」という論文で２０１７年に発表されたディープラーニングのモデルであり、公知の技術なので、詳細は省略するが、現在のＡＩを飛躍的に進化させた技術であり、その後の各種の派生モデルもトランスフォーマをベースとしているので、ここでの「トランスフォーマ」の語には、その後の各種派生モデルも含むものとする。なお、これらに畳み込み処理の採用を加えて組み合わせる等により、さらなる高速化も考え得る。

【0025】

また、第４の態様に係る歯科画像処理装置として、第１の態様において、前記物体検出部は、前記物体の位置検出を行う物体位置検出部と、前記物体のクラス分類を行う物体クラス分類部と、前記位置検出および前記クラス分類の少なくとも一方に先立って、その準備を行う物体検出準備部と、を有するようにしても良い。

【0026】

また、第４の態様に対応する第１５の態様の歯科画像処理方法として、第１２の態様において、前記物体検出工程は、前記物体の位置検出を行う物体位置検出工程と、前記物体のクラス分類を行う物体クラス分類工程と、前記位置検出および前記クラス分類の少なくとも一方に先立って、その準備を行う物体検出準備工程と、を有するようにしても良い。

【0027】

これらの場合、物体の位置検出を行う物体位置検出と、物体のクラス分類を行う物体クラス分類と、を行うが、それらの一方または両方（少なくとも一方）に先立って、その準備を行う。この準備により、位置検出やクラス分類での予測・推定の範囲が絞れるなど、高精度化や高速化に寄与し得る。この場合、位置検出とクラス分類との両方に有効な準備でも良いし、一方のみに有効な準備でも良い。

【0028】

また、第５の態様に係る歯科画像処理装置として、第１の態様において、前記マルチタスク処理における物体検出として、シングルショット系の物体検出を採用し、それと並行して、セグメンテーションを同時に行うようにしても良い。

【0029】

また、第５の態様に対応する第１６の態様の歯科画像処理方法として、第１２の態様において、前記マルチタスク処理における物体検出として、シングルショット系の物体検出を採用し、それと並行して、セグメンテーションを同時に行うようにしても良い。

【0030】

これらの場合、マルチタスク処理における物体検出として、シングルショット系の物体検出を採用し、それと並行して、セグメンテーションを同時に行う。シングルショット系（Ｓｉｎｇｌｅ
Ｓｈｏｔ）は、ワンステージ型（Ｏｎｅ－Ｓｔａｇｅ）とほぼ同じ意味で使用される。これらの手法は、リアルタイム処理や効率的な推論に焦点を当てたもので、画像を一度の処理で解析し、物体の位置とクラスを同時に予測することで、複数のステージや処理を経る必要がなく、高速で処理を行い得る。一方、高速性を重視するために精度低下の可能性があり、これと並行してセグメンテーションを同時に行うことで、その高精度観測で補完して解決することができ、これにより、例えば歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる。

【0031】

また、第６の態様に係る歯科画像処理装置として、第１の態様において、前記マルチタスク処理におけるセグメンテーションとして、インスタンスセグメンテーションを採用するようにしても良い。

【0032】

この場合、マルチタスク処理におけるセグメンテーションとして、インスタンスセグメンテーションを採用する。インスタンスセグメンテーションでは，それぞれ個別のインスタンス領域マスクを区別するので，物体間の境界も区別して，各物体インスタンスのマスクを推定できる。このため、例えば歯並びが悪くて、個々の歯が隣り合う歯と重なって撮像されても、その隣り合う歯を個別に認識して、歯の境界線等を認識でき得る。これにより、歯の境界の分析に時間をかけることなく高速化が図れるとともに、境界の明確化により高精度化が図れ、高精度化や高速化に寄与し得る。

【0033】

また、第７の態様に係る歯科画像処理装置として、第１の態様において、前記マルチタスク処理は、個々の歯の矩形を定義する歯矩形定義処理を含むようにしても良い。

【0034】

この場合、マルチタスク処理では、個々の歯の矩形を定義するので、個々の歯を検出しやすくなり、各歯の位置やクラスを特定しやすくなり、高精度化や高速化に寄与し得る。

【0035】

また、第８の態様に係る歯科画像処理装置として、第７の態様において、前記歯の矩形は、歯冠部と歯根部とを有し、歯冠部及び歯根部のうちのいずれか一方しかない場合には、該存在する部分に矩形を定義するようにしても良い。

【0036】

歯の矩形は、歯冠部と歯根部とを有するのが正常な状態であるが、ここでは、歯冠部及び歯根部のうちのいずれか一方しかない場合には、その存在する部分に矩形を定義する。これにより、異常な状態の歯の存在を把握し得るとともに、他の正常な状態の歯の場合と同様に、個々の歯を検出しやすくなり、各歯の位置やクラスを特定しやすくなり、高精度化や高速化に寄与し得る。

【0037】

また、第９の態様に係る歯科画像処理装置として、第１の態様において、前記歯部の情報として参照情報を付与するアノテーションを行うアノテーション部をさらに備えるようにしても良い。

【0038】

この場合、アノテーションを行うことにより、歯部の情報として参照情報を付与することができる。例えば参照情報の代表としては、歯番情報等が考えられる。歯の物体位置情報に基づいて、各歯の歯番を同定して歯番情報を生成し、参照情報の一部として付与できる。この他にも、医師の評価・判定による各種の注釈等も、参照情報の一部として付与できる。これらにより、総合的に参照情報が付与された歯部データ（アノテーション情報付き歯部データ）を取得し得る。なお、「アノテーション」とは一般的には人間（医者等）が行うプロセスを指すが、本件では、ＡＩ等が行う「アノテーション」と類似または同等のプロセスも含めるものと定義する。

【0039】

また、この場合、アノテーション情報付き歯部データを記憶しておいて、２次利用することも可能である。アノテーション情報の２次利用としては、例えばオブジェクト検出ネットワークを用いて、個々の歯の矩形から各歯の物体位置情報やクラス分類情報を再現したり、歯のマスク画像からセグメンテーション情報を再現し得る。これにより、同一人物のデータであれば、例えば現在時点での新たなアノテーション情報付き歯部データを取得して比較することで、歯周病等の進行度の把握等ができる。他人のデータであっても、それらのデータの蓄積により、比較・参照・分析などに利用して、歯科医療の研究開発等に有効に活用し得る。アノテーション情報の使い方としては、他にも種々の応用例・変形例が考えられる。

【0040】

また、第１０の態様に係る歯科画像処理システムとして、対象の歯科画像を撮像する撮像装置と、上述の第１～９のうちのいずれか１の態様の歯科画像処理装置と、を具備するようにしても良い。

【0041】

この場合、撮像装置を具備するので、この撮像装置によって撮像された画像を、歯科画像処理装置において、処理対象とすることができ、そのように機能する歯科画像処理システムとして構成できる。

【0042】

さらにまた、第１１の態様に係る歯科画像処理システムとして、第１０の態様において、前記対象の歯科画像および前記検出された歯部の少なくとも一方を表示するための表示装置、をさらに備えるようにしても良い。

【0043】

この場合、対象の歯科画像および検出された歯部の少なくとも一方を表示するための表示装置をさらに備えるので、さらに広く活用可能な歯科画像処理システムとして構成できる。

【発明の効果】

【0044】

本発明の各態様によれば、歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる。

【図面の簡単な説明】

【0045】

【図1】本発明の一実施形態に係る歯科画像処理システムのハードウェア構成に着目した機能ブロックである。

【図2】本発明の一実施形態に係る歯科画像処理装置のハードウェア構成に着目した機能ブロックである。

【図3】本発明の一実施形態に係る歯科画像処理装置における画像処理のアルゴリズムに着目した機能ブロックである。

【図4】本発明の一実施形態に係る物体検出機能とセグメンテーション機能の具体例を示す説明図である。

【図5】本発明の一実施形態に係るアノテーション機能のアルゴリズムのフローを示す説明図である。

【図6】本発明の一実施形態に係るアノテーション機能実行後の歯部データの具体例を示す説明図である。

【図7】本発明の一実施形態に係る、事前に取得して記憶してあるアノテーション情報を後に利用する場合の２次利用の具体例を示す説明図である。

【発明を実施するための形態】

【0046】

本発明の概念は、本発明の概念の特定の実施形態が示されている添付の図面を参照して、以下でより完全に説明される。しかしながら、この発明の概念は、多くの異なる形態で具体化でき、本明細書に記載の実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明の概念の範囲を当業者に完全に伝えるように、例として提供される。同様の番号は、説明全体で同様の要素を指す。

【0047】

以下、［１．システム構成例］、［２．応用例］について、順に説明する。

【0048】

［１．システム構成例］
図１は、実施形態の歯科画像処理システム１のハードウェア構成に着目した機能ブロックである。この歯科画像処理システム１は、図示のように、画像処理の中心となる歯科画像処理装置１００の他に、対象の歯科画像を撮像するための撮像装置１０と、対象の歯科画像や（および／または）検出された歯部を表示するための表示装置２０を備える。

【0049】

図２は、実施形態の歯科画像処理装置１００のハードウェア構成に着目した機能ブロックである。図示のように、歯科画像処理装置１００は、各処理等を行うプログラムを実行する中央演算処理部（ＣＰＵ：必要に応じて３Ｄグラフィックスなどの画像描写のためのＧＰＵ（Ｇｒａｐｈｉｃｓ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでも良い）４１、制御・処理プログラムやデータ等を格納するメモリ（Ｍ）４２、操作装置（キーボード）や表示装置（ディスプレイ）等の入出力装置４４、その入出力装置４４を介して外部と通信する入出力インタフェース（Ｉ／Ｏ）４３、各種情報（撮像画像、歯部画像を含んでもよい）等を格納するディスク等の外部記憶装置（ＤＫ）４６、インタフェース（ＩＦ）４５等を備える。

【0050】

このＩＦ４５は、例えば、各種通信網を介して、他端末間や（図示しない、設置可能な）管理サーバと情報を送受信するためのものであり、その他、ローカルネットワーク等へ接続するインタフェースを備えていてもよい。なお、Ｍ４２は、１つのブロックで示しているが、複数のメモリ構成であってよく、ＣＰＵ４１が読み書きするメモリＲＡＭ、読み出し専用のメモリＲＯＭ等をもって構成されてもよい。

【0051】

図３は、実施形態の歯科画像処理装置１００における画像処理のアルゴリズムに着目した機能ブロックである。図示のように、歯科画像処理装置１００は、歯科画像取得機能（部／工程）１１０、歯部検出機能（部／工程）１２０、アノテーション機能（部／工程）１３０、等を備える。

【0052】

ここで、歯科画像処理装置１００は、例えば「歯科画像取得機能」を機能的に有するが、ハードウェア的に見れば、その機能を実行するのは、歯科画像処理装置１００内のハードウェア構成の一部であり、すなわち「歯科画像取得部」と称することができる。一方、アルゴリズム的に見れば、その機能を実行するのは、全体のアルゴリズム内での工程の一部であり、すなわち「歯科画像取得工程」と称することができる。このため、図示では、各部を「～機能（部／工程）」と表現（記載）している。ただし、以下の説明では、簡略化して「～機能」の表現（記載）に留める。

【0053】

なお、アルゴリズムは、一般的には、例えば本件でのＣＰＵ４１で処理されるプログラム、すなわちいわゆる「ソフトウェア」に支配されるが、ロジック構成を工夫して、いわゆる「データフロー」のタイプのハードウェアで構成することも可能であり、その場合、更なる高速化が期待でき得る。

【0054】

図３を参照して、歯科画像取得機能１１０では、以降に続く処理の処理対象となる歯科画像（歯科画像データ）を取得する。続く歯科検出機能１２０では、歯科画像取得機能１１０で取得した歯科画像データを入力し、この歯科画像データに基づいて歯部を検出してその情報を付与した歯部データ（歯部検出情報付き歯部データ）を取得する。

【0055】

そして、続くアノテーション機能１３０では、歯科検出機能１２０で取得した歯部データを入力し、この歯部データに基づいて、歯部データ内の各歯に歯番を付与して、歯番情報を付与するとともに、医師の評価・判定や過去データによる注釈などの、その他の参照情報を付与して、総合的に参照情報が付与された歯部データ（アノテーション情報付き歯部データ）を取得する。なお、「アノテーション」とは一般的には人間（医者等）が行うプロセスを指すが、ここではＡＩ等が行う「アノテーション」と類似または同等のプロセスも含めるものとする。

【0056】

なお、上述の説明、図面、および以下の説明において、例えば「～で取得した～データを入力し、この～データに基づいて～、～データを取得する。」のように、いかにも一つの機能でのデータ処理が終了してから、次の機能を実行するかのように理解され得る。この場合でも、本発明の目的の「高精度かつ高速で単体歯を検出できる」は達成可能ではある。

【0057】

しかしながら、本実施形態では、前段の機能における全てのデータに対する処理が終了するのを待つことなく、前段で処理されて得られた（全体ではない各一部の）各データは、取得次第、その各データを必要とする後段の機能に引渡される。すなわち、各データはデータフロー的に次の機能に引渡されるので、任意の瞬間では、各機能での処理は同時並行して実行され得る。以降の説明においても、前段の機能からの各データはデータフロー的に後段の機能に引渡されるものとする。

【0058】

また、上述の「同時並行して実行」は、アルゴリズム的には、マルチタスク処理に該当し得るものだが、本実施形態では、このマルチタスク処理に、さらに深層学習（ディープラーニング）を採用する（マルチタスク処理なので、結果的にマルチタスク学習となる）。これにより、データ分類・分析に必要な特徴量を自動的に検出でき、更なる高精度化かつ高速化に寄与し得る。具体的には、例えば歯周病の進行度を高精度かつ高速に判定可能な歯周病進行度判定システム、などを構成し得る。

【0059】

これらの場合、マルチタスク学習には、トランスフォーマを採用することが好ましい。その採用により、更なる高速化に寄与し得る。ここで、トランスフォーマ（Ｔｒａｎｓｆｏｒｍｅｒ）とは、「Ａｔｔｅｎｔｉｏｎ
Ｉｓ Ａｌｌ Ｙｏｕ Ｎｅｅｄ」という論文で２０１７年に発表されたディープラーニングのモデルであり、公知の技術なので、詳細は省略するが、現在のＡＩを飛躍的に進化させた技術であり、その後の各種の派生モデル、例えばＢＥＲＴ、ＧＰＴ、ＤＡＬＬ・Ｅ、Ｗｈｉｓｐｅｒなど、もトランスフォーマをベースとしているので、ここでの「トランスフォーマ」の語には、その後の各種派生モデルも含むものとする。

【0060】

これらの場合、マルチタスク処理における物体検出として、シングルショット系の物体検出を採用し、それと並行して、セグメンテーションを同時に行うことが好ましい。シングルショット系（Ｓｉｎｇｌｅ Ｓｈｏｔ）は、ワンステージ型（Ｏｎｅ－Ｓｔａｇｅ）とほぼ同じ意味で使用される。これらの手法は、リアルタイム処理や効率的な推論に焦点を当てたもので、画像を一度の処理で解析し、物体の位置とクラスを同時に予測することで、複数のステージや処理を経る必要がなく、高速で処理を行い得る。一方、高速性を重視するために精度低下の可能性があり、これと並行してセグメンテーションを同時に行うことで、その高精度観測で補完して解決することができ、これにより、例えば歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる。

【0061】

図３の説明に戻って、歯科検出機能１２０では、歯科画像取得機能１１０で取得した歯科画像データを入力すると、歯部検出（歯部データ取得）のため、図示のように、物体検出機能１２１とセグメンテーション機能１２２とを、同時並行的に実行する。

【0062】

物体検出機能１２１では、歯科画像データに基づいて、検出した物体（ここでは具体的に各歯や歯茎等）についての、位置検出とクラス分類を行うため、図示のように、まず、物体検出準備機能１２１０を実行し、その出力データに基づいて、物体位置検出機能１２１１と物体クラス分類機能１２１２とを、同時並行的に実行する。

【0063】

物体検出準備機能１２１０では、後段の物体位置検出機能１２１１と物体クラス分類機能１２１２とを高精度かつ高速で行うための準備機能を実行する。具体的には、例えば撮像して取得した歯科画像データが、子供のデータか大人のデータかなどを判定して、歯科画像データの付属データ（準備情報データ）とし、準備情報付き歯科画像データを取得する。

【0064】

この準備により、物体位置検出機能１２１１と物体クラス分類機能１２１２での位置検出やクラス分類での予測・推定の範囲が絞れるなど、高精度化や高速化に寄与し得る。この場合、物体位置検出機能１２１１と物体クラス分類機能１２１２との両方に有効な準備でも良いし、一方のみに有効な準備でも良い。

【0065】

なお、上述の例では、図示のように、「物体検出機能１２１とセグメンテーション機能１２２とを、同時並行的に実行する」としたが、上述の物体位置検出機能１２１１と物体クラス分類機能１２１２との関係と同様に、セグメンテーション機能１２２でも、物体検出準備機能１２１０の結果を利用した方が、精度や速度の上で有利な場合には、物体検出準備機能１２１０の結果を待っても良い。

【0066】

また逆に、物体位置検出機能１２１１、物体クラス分類機能１２１２、セグメンテーション機能１２２に共通することだが、物体検出準備機能１２１０の結果を利用するにしても、その結果が完全に出なくとも進められる分の処理は、先に進めておき、結果が出た時点で受け取るようにすることもできる。先行して処理を進めるか結果を待つかなどについては、その時々の状況や検証対象等に応じて、適宜選択できることが好ましい。

【0067】

図４は、物体検出機能とセグメンテーション機能の具体例を示す説明図である。同図（ａ）（ｂ）は、具体例Ａを示し、同図（ｃ）（ｄ）は、具体例Ｂを示す。また、同図の左側の図（ａ）（ｃ）は、物体検出機能の例を示し、右側の図（ｂ）（ｄ）は、セグメンテーション機能の例を示す。

【0068】

図３の物体位置検出機能１２１１では、図４左図（ａ）（ｃ）に示すように、歯冠部と歯根部とを有する歯の矩形を検出するとともに、後段の歯番の同定（図５のＳ４参照）に寄与し得る各歯の位置を検出して、物体位置情報付き歯部データを取得する。また、図３の物体クラス分類機能１２１２では、検出された各物体のクラスとして、上記の歯冠部と歯根部の他、歯茎等を分類して、クラス分類情報付き歯部データを取得する。

【0069】

この場合、マルチタスク処理では、個々の歯の矩形を定義するので、個々の歯を検出しやすくなり、各歯の位置やクラスを特定しやすくなり、高精度化や高速化に寄与し得る。また、歯の矩形は、歯冠部と歯根部とを有するのが正常な状態であるが、ここでは、歯冠部及び歯根部のうちのいずれか一方しかない場合には、その存在する部分に矩形を定義する。これにより、異常な状態の歯の存在を把握し得るとともに、他の正常な状態の歯の場合と同様に、個々の歯を検出しやすくなり、各歯の位置やクラスを特定しやすくなり、高精度化や高速化に寄与し得る。

【0070】

一方、セグメンテーション機能では、一般には、画像内のピクセル毎に物体の領域を特定する。各ピクセルが、物体に属するか、背景に属するか、を示すマスク（領域）を生成する。

【0071】

この機能を利用し、本実施形態におけるセグメンテーション機能、すなわち図３のセグメンテーション機能１２２では、各ピクセルが、物体としての「歯」に属するか、背景としてその他の歯茎等の部位に属するか、を示すマスク（領域）を生成する。

【0072】

具体的には、例えば図４右図（ｂ）（ｄ）に示すように、歯の形状（外周の形状）が明示可能な画像データ（セグメンテーション画像データ）を作成し、セグメンテーション情報付き歯部データを取得する。

【0073】

この場合、マルチタスク処理におけるセグメンテーションとして、インスタンスセグメンテーションを採用することが好ましい。インスタンスセグメンテーションでは，それぞれ個別のインスタンス領域マスクを区別するので，物体間の境界も区別して，各物体インスタンスのマスクを推定できる。

【0074】

このため、例えば歯並びが悪くて、個々の歯が隣り合う歯と重なって撮像されても、その隣り合う歯を個別に認識して、歯の境界線等を認識でき得る。これにより、歯の境界の分析に時間をかけることなく高速化が図れるとともに、境界の明確化により高精度化が図れ、高精度化や高速化に寄与し得る。

【0075】

図３の説明に戻って、歯部検出機能１２０では、上述の機能により、物体位置情報、クラス分類情報およびセグメンテーション情報を含む画像データ（歯部検出情報付き歯部データ）を取得する。

【0076】

そして、後段のアノテーション機能１３０では、前述のように、歯科検出機能１２０で取得した歯部データ（歯部検出情報付き歯部データ）を入力し、この歯部データに基づいて、歯部データ内の各歯に歯番を付与して、歯番情報を付与するとともに、医師の評価・判定や過去データによる注釈などの、その他の参照情報を付与して、総合的に参照情報が付与された歯部データ（アノテーション情報付き歯部データ）を取得する。

【0077】

図５は、アノテーション機能のアルゴリズムのフローを示す説明図である。図示のように、アノテーション機能（Ｓ１）の実行がスタートすると、まず、「歯を内包する矩形の抽出」（Ｓ２）を行い、続いて「歯の物体位置検出」（Ｓ３）を行う。

【0078】

ただし、実際には、図３で前述の物体位置検出機能１２１１により、歯部検出情報付き歯部データの歯部検出情報の一部として、物体位置情報付き歯部データの物体位置検出情報を取得しているので、ここでは、その後段から処理を始める。

【0079】

図５に図示のように、続いて、歯の物体位置情報に基づいて、各歯の歯番を同定し（Ｓ４）、それに基づく歯番情報を生成し、参照情報の一部として歯番情報データを歯部データに付与し（Ｓ５）、続いて、その他参照情報を示すその他参照情報データを歯部データに付与して（Ｓ６）、アノテーション機能の処理を終了する（Ｓ７）。これにより、総合的に参照情報が付与された歯部データ（アノテーション情報付き歯部データ）を取得する。

【0080】

図６は、アノテーション機能実行後の歯部データの具体例を示す説明図である。ここでは、歯番情報の他、図５で上述の「その他参照情報」として、医師の評価・判定による各種の注釈が付与されている。

【0081】

［２．応用例］
図７は、事前に取得して記憶してあるアノテーション情報を後に利用する場合の２次利用の具体例を示す説明図である。すなわち、一旦、総合的に参照情報が付与された歯部データ（アノテーション情報付き歯部データ）として取得して記憶してある歯部データを、後に利用する場合の２次利用の具体例を示す説明図である。

【0082】

図示のように、例えば同図（ａ）のアノテーション情報に基づいて、タグを抽出し、例えばオブジェクト検出ネットワークを用いて、同図（ｂ）の個々の歯の矩形から各歯の物体位置情報やクラス分類情報を再現したり、同図（ｃ）の歯のマスク画像からセグメンテーション情報を再現し得る。すなわち、事前に取得して記憶した物体位置情報、クラス分類情報およびセグメンテーション情報を含む画像データ（歯部検出情報付き歯部データ）を取得（再現）できる。

【0083】

これにより、同一人物のデータであれば、例えば現在時点での新たなアノテーション情報付き歯部データを取得して比較することで、歯周病等の進行度の把握等ができ、他人のデータであっても、それらのデータの蓄積により、比較・参照・分析などに利用して、歯科医療の研究開発に有効に活用し得る。

【0084】

なお、前述では、その他参照情報としては、医師の評価・判定による各種の注釈が付与されているものとしたが、注釈等の付加は、医師等でなく、例えばＡＩ等によるものでも良い。

【0085】

また、アノテーション情報の使い方としては、他にも種々の応用例・変形例が考えられる。

【0086】

本実施形態の歯科画像処理システムを利用すれば、例えば歯の治療の現場において、歯の治療のための椅子から、歯科画像を撮像するためのレントゲン室等に移動して撮像後、元の治療のための椅子に戻る間に、図３その他で前述の歯科画像取得機能１１０～アノテーション機能１３０までの全てを終了できる。

【0087】

すなわち、レントゲン室等から元の席に戻ったときには、座り次第すぐに、アノテーション情報付き歯部データを表示して、歯の状況や今後の治療方針など、医師から患者への説明が可能になる。

【0088】

また、この場合、説明者は医師でなく、ＡＩ等によるものでも良い。歯の状況や今後の治療方針など、医師判断を要する説明は除外対象となるが、歯の客観的な現状や、予想し得る治療方法の候補など、情報サイト等で調べれば検索できる範囲の情報であれば、ＡＩはその種の処理は得意なので、迅速に実行できる。この際、音声案内や動画等で説明を行うなど、の応用例も考え得る。

【0089】

また、歯が抜ける状況は、歯槽骨への歯根の埋まり具合を分析することで予測できる。この分析では、面積計算でパーセンテージ表示するなどが、具体例として考え得る。また、セメントエナメル境から期待される埋没面積との差も出せる。

【0090】

また、アノテーション情報付き歯部データは、機械学習や人工知能のアルゴリズムのトレーニングにも利用でき得る。また、文書や研究の引用や参照にも利用できる。これらの場合、特定の文書内の重要な箇所や引用すべき部分に注釈をつけることで、利用者が情報を素早く把握しやすくなるなど、情報の理解や処理を容易にするために利用し得る。

【0091】

上述のように、本発明の各態様によれば、歯科パノラマＸ線などの画像から、高精度かつ高速で歯部の状態を観測できる。

【0092】

本発明の概念は、主に、いくつかの実施形態を参照して説明してきた。しかしながら、当業者によって容易に理解されるように、上述のもの以外の実施形態は、添付の特許請求の範囲によって定義されるように、本発明の概念の範囲内で等しく可能である。

【産業上の利用可能性】

【0093】

本発明の各態様に係る歯科画像処理装置、歯科画像処理システム、歯科画像処理方法、プログラムおよびプログラム記憶媒体は、例えば歯科医療の現場において、患者説明用の画像管理ソフト（例えば、出願人の製品であるビジュアルマックス）で、歯の状態を画像で説明あるいは記録に利用する用途に効果がある。特に、例えば歯周病の進行度を高精度かつ高速に判定可能な歯周病進行度判定システム、などを構成し得る。更に、治療シミュレーションのためのオブジェクト作成にも使用できる。治療にはインプラント、歯の移植、歯列矯正、（難）抜歯、外科矯正、骨折の修復、腫瘍等による顎切除手術後の再建などが挙げられる。これらは、医療についてデータベース管理するシステムについてのものであり、その意味で自然法則を利用しており、プログラム制御でハードウェアを作動させる点で工業的価値を有し、これらの技術分野において、幅広い産業上の利用可能性を有する。

【符号の説明】

【0094】

１ 歯科画像処理システム
１０ 撮像装置
２０ 表示装置
１００ 歯科画像処理装置
１１０ 歯科画像取得機能（部／工程）
１２０ 歯部検出機能（部／工程）
１２１ 物体検出機能（部／工程）
１２２ セグメンテーション機能（部／工程）
１３０ アノテーション機能（部／工程）
１２１０ 物体検出準備機能（部／工程）
１２１１ 物体位置検出機能（部／工程）
１２１２ 物体クラス分類機能（部／工程）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】