特開 2022-121091 口腔粘膜疾患診断支援システム，方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022121091

(43)【公開日】2022-08-19

(54)【発明の名称】口腔粘膜疾患診断支援システム，方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220812BHJP

【ＦＩ】

G06T7/00 612

G06T7/00 300F

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021018254

(22)【出願日】2021-02-08

(11)【特許番号】

(45)【特許公報発行日】2021-09-15

(71)【出願人】

【識別番号】504174135

【氏名又は名称】国立大学法人九州工業大学

(71)【出願人】

【識別番号】506152818

【氏名又は名称】公立大学法人九州歯科大学

(71)【出願人】

【識別番号】508298938

【氏名又は名称】株式会社ブラテック

(74)【代理人】

【識別番号】110001830

【氏名又は名称】東京ＵＩＴ国際特許業務法人

(72)【発明者】

【氏名】堀尾 恵一

(72)【発明者】

【氏名】土生 学

(72)【発明者】

【氏名】岩崎 正明

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096BA13

5L096CA02

5L096CA24

5L096DA02

5L096EA02

5L096EA35

5L096EA39

5L096EA43

5L096FA32

5L096FA53

5L096FA54

5L096FA59

5L096FA69

5L096FA70

5L096GA02

5L096GA41

5L096GA51

5L096GA55

5L096HA08

5L096HA09

5L096JA11

5L096KA04

(57)【要約】

【課題】口腔粘膜疾患診断にあたって病変箇所の指定の個人差を極力少なくできるようする。
【解決手段】口腔画像において病変の中心と思われる一点を指定する。指定された一点を含み，かつ相互に異なる範囲を持つ複数の局所画像を切出し，切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判定する。好ましくは，端末装置とサーバとを含み，端末装置において口腔画像における上記一点を指定し，サーバにおいて疾患の判定を行い，判定結果を端末装置に送信する。
【選択図】図９

【特許請求の範囲】

【請求項1】

口腔画像において指定された一点の指定位置データを受付ける指定位置データ受付手段，
上記指定位置データ受付手段が受付けた指定位置を含み，かつ相互に異なる範囲を持つ複数の局所画像を切出す局所画像切出し手段，および
上記局所画像切出し手段が切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別する判別手段，
を備える口腔粘膜疾患診断支援システム。

【請求項2】

表示画面に表示された口腔画像において，上記一点を指定するための指定手段を備える，請求項１に記載の口腔粘膜疾患診断支援システム。

【請求項3】

上記指定手段を備える端末装置を備える，請求項２に記載の口腔粘膜疾患診断支援システム。

【請求項4】

上記判定手段は，
切出し画像ごとに複数種類の特徴量を算出し，算出した特徴量に基づいて疾患の有無または疾患の種類を識別する複数の識別手段，および
上記複数の識別手段における識別結果に基づいて，最終的に疾患の有無または疾患の種類を判定する最終判定手段，
を備える，請求項１から３のいずれか一項に記載の口腔粘膜疾患診断支援システム。

【請求項5】

上記識別手段の識別結果に，切出し画像の形状おび面積の少なくともいずれか一方に応じて重み付けを行う重み付け手段をさらに備え，
上記最終判定手段は上記重み付け手段により重み付けされた識別結果に基づいて最終判定を行う，
請求項４に記載の口腔粘膜疾患診断支援システム。

【請求項6】

口腔内を撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援システムにおいて，
表示画面に表示された口腔画像内の病変部分を含む複数の局所画像を切出すための基準となる一点を指定する指定手段を備えることを特徴とする，
口腔粘膜疾患診断支援システム。

【請求項7】

指定位置データ受付手段が，口腔画像において指定された一点の指定位置データを受付け，
局所画像切出し手段が，上記指定位置データ受付手段が受付けた指定位置を含み，かつ相互に異なる範囲を持つ複数の局所画像を切出し，そして
判別手段が上記局所画像切出し手段が切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別する，
口腔粘膜疾患診断支援方法。

【請求項8】

コンピュータが，口腔内を撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援方法において，
受付手段が表示画面に表示された口腔画像内で指定された一点を受付けることを特徴とする，
口腔粘膜疾患診断支援方法。

【請求項9】

口腔画像において指定された一点の指定位置データを受付け，
受付けた指定位置を含み，かつ相互に異なる範囲を持つ複数の局所画像を切出し，そして
切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別するようにコンピュータを制御する口腔粘膜疾患診断支援プログラム。

【請求項10】

口腔内を撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援プログラムにおいて，
表示画面に表示された口腔画像内で指定された一点を受付けることを特徴とする，
口腔粘膜疾患診断支援プログラム。

【請求項11】

請求項９または10に記載のプログラムを格納したコンピュータ読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は，口腔粘膜に発生する疾患の診断を支援するシステム，方法およびプログラムに関する。

【背景技術】

【0002】

口腔粘膜疾患は，一般的に，患者が歯の治療のために歯科を訪れたときに，一般臨床歯科医が疾患の疑いのある部位を発見することが多い。しかしながら，一般臨床歯科医は口腔粘膜疾患に対する知識が不足していたり，臨床経験が少ないために，患者に対して適切なアドバイスをすることができない場合が多く，いきおい，治療する必要のない疾患であっても口腔粘膜疾患専門医を紹介してしまい，該専門医の負担が増加するという問題がある。口腔粘膜疾患は口腔という特殊な領域に生じるので，治療後に嚥下障害，コミュニケーション障害を引き起こす可能性が高い。したがって病変の早期発見はQOL（Quality of Life）を高く保つ上で重要なことである。

【0003】

そこで臨床歯科医，その他の口腔疾患専門家でない人による口腔粘膜疾患診断を支援するための口腔粘膜疾患のスクリーニング支援システムの構築が模索されている。口腔粘膜疾患の診断は視診が重要なウエイトを占めており，デジタルカメラで撮影された画像でも専門家はある程度の診断が可能である。開発されつつある口腔粘膜疾患診断支援システムでもデジタルカメラで口腔内を撮影した画像（口腔画像）に基づく処理を行っている。しかしながら，歯科医等が口腔画像から疾患範囲と思われる領域を手動で切り出しているために切り出し範囲に個人差が生じるという問題がある。すなわち，疾患範囲の境界は非常にあいまいであるから，疾患範囲（境界）を明確に決めることができず，切り出し範囲の形状，大きさにバラツキが生じ，それが診断結果に影響を与える。たとえば下記非特許文献１を参照。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】尾崎南斗，大谷泰志，土生学，冨永和宏，堀尾恵一“口腔粘膜疾患診断支援システムにおける口腔画像の切り出し範囲に生じる個人差傾向に関する考察，”信学技報，vol.117，no.349，SIS2017-43，pp.57-62，2017年12月

【発明の概要】

【0005】

この発明は，病変箇所（範囲）指定の個人差を極力少なくすることができるようにすることを目的とする。

【0006】

この発明による口腔粘膜疾患診断支援システムは，口腔画像において指定された一点の指定位置データを受付ける指定位置データ受付手段，上記指定位置データ受付手段が受付けた指定位置を含み，かつ相互に異なる範囲を持つ複数の局所画像を切出す局所画像切出し手段，および上記画像切出し手段が切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別（判定）する判別（判定）手段を備えている。

【0007】

局所画像切出し手段によって切出される局所画像の相互に異なる範囲とは，ぴったり重なるものを排除する趣旨であり，大きさまたは位置が異なれば一部または全部が重複していてもよい。疾患の判別（判定）とは，疾患の有無の判別，疾患の種類の識別を含む。

【0008】

この発明は上記口腔粘膜疾患診断支援システムに対応するコンピュータによる口腔粘膜疾患診断支援方法，コンピュータプログラム，および同プログラムを記録した媒体もまた提供している。

【0009】

この発明によると，口腔画像において病変が疑われる範囲内の最も確かと思われる一点が指定される。病変（または疾患）の可能性のある部位の範囲の指定においては病変（疾患）についての知識のレベル，経験の量によって個人差が発生しやすいが，病変の中心と思われる（間違いなく病変だと思われる）一点が指定されるので，知識，経験に殆ど関係なく多くの人の指定する一点の分布は非常に狭まり，指定点の個人差が極めて小さくなる。このように指定された一点を含む，範囲（大きさ，形状，位置）の異なる複数の局所画像を口腔画像から切出し，これらの必ず指定点を含む複数の局所画像に基づいて処理（特徴量の抽出等）を行なっているので，ばらつきの小さい（精度の高い）疾患の判別結果が得られるとともに，一点を指定する歯科医等の心的負担を軽減することができる。

【0010】

好ましい実施態様では口腔粘膜疾患診断支援システムは，サーバとこのサーバと通信可能な１台または複数台の端末装置とを含んで構成される。ユーザは口腔粘膜の病変部分を含む写真を撮影し，この写真画像を端末装置からサーバに送信する。サーバは，病変上の最も確かと思われる一点を入力するための上記撮影画像を含む画面を端末装置に送信する。ユーザは端末装置の表示画面に表示された画像をみて，最も確かに病変と思われる点（中心点）を指定入力する。この指定位置データは口腔粘膜画像とともにサーバに送信され，サーバにおいて疾患の判定を行う。判定結果はサーバから端末装置に送信される。歯科医，その他の人々は，いつでも，どこからでも端末装置からサーバにアクセスして診断結果を得ることができる。

【0011】

したがって，好ましい実施態様では，支援システムは表示画面に表示された口腔画像において一点を指定するための指定手段をさらに備え，望ましくはこの指定手段は端末装置に設けられる。

【0012】

一実施態様では，上記判別手段は，切出し画像ごとに複数種類の特徴量を算出し，算出した特徴量に基づいて疾患の有無または疾患の種類を識別する複数の識別手段，および上記複数の識別手段における識別結果に基づいて，最終的に疾患の有無または疾患の種類を判定する最終判定手段を備える。

【0013】

大小さまざまな局所画像が上記局所画像切出し手段により作成される。小さい画像は情報が少ないという理由で，大きな画像は正常な部分の画像を多く含むという理由で識別結果に良くない影響を与える。良くない影響の少ない中くらいの面積をもつ画像が最も良い識別結果を与える。そこで好ましい実施態様では，支援システムは上記識別手段の識別結果に，切出し画像の形状および面積の少なくともいずれか一方に応じて重み付けを行う重み付け手段をさらに備え，上記最終判定手段は上記重み付け手段により重み付けされた識別結果に基づいて最終判定を行う。

【0014】

この発明の他の実施態様では，この発明は口腔内を撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援システムにおいて，表示画面に表示された口腔画像内の病変部分を含む複数の局所画像を切出すための基準となる一点を指定する指定手段を備えることを特徴とするものである。基準となる一点とは，口腔画像内において局所画像を切り出す（作成する）際に切り出し範囲を決めるために参照する点であり，必ず切り出し範囲内に含まれる点である。この発明はまた，コンピュータが，口腔内を撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援方法において，受付手段が，表示画面に表示された口腔画像内で指定された一点を受付けることを特徴とする。この発明はさらに，口腔内を撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援プログラムにおいて，表示画面に表示された口腔画像内で指定された一点を受付けることを特徴とする。

【図面の簡単な説明】

【0015】

【図1】口腔粘膜疾患診断支援システムの全体構成を示す。

【図2】口腔粘膜疾患診断支援システムの全体的な動作を示すフローチャートである。

【図3】サーバにおける局所画像の自動切出し処理の手順を示すフローチャートである。

【図4】サーバにおける診断処理を示すフローチャートである。

【図5】各種特徴量と疾患との関連性を示す。

【図6】切出した局所画像のサイズと疾患の識別率を示すグラフである。

【図7】口腔粘膜の撮影画像の一例を示す。

【図8】端末装置の表示画面に表示され，指定点を入力するための画像を示す。

【図9】抽出された局所画像の例を示す。

【図10】端末装置の表示画面に表示され，指定点を入力するための画像の他の例を示す。

【図11】端末装置の表示画面に表示され，指定点を入力するための画像の他の例を示す。

【実施例0016】

口腔粘膜疾患診断支援システム，方法およびプログラムの実施例について以下に詳述する。

【0017】

口腔粘膜疾患診断支援システムは基本的にはデジタルコンピュータにより実施されているが，さまざまな実施の形態がある。その１つは，１台のコンピュータにより口腔粘膜疾患診断支援処理を実行するものである。他のシステム形態としては，サーバコンピュータと１台または複数台の端末装置（コンピュータ）とがネットワーク（通信網）を通して交信しながら口腔粘膜疾患診断支援を行う形態である。ネットワークにもさまざまな形態がある。サーバコンピュータをクラウドコンピューティングシステムで実現することもできる。この実施例では，サーバコンピュータと複数台の端末装置（パーソナルコンピュータ（PC），タブレット端末，スマートフォン等の携帯端末など）を含む口腔粘膜疾患診断支援システムについて述べる。

【0018】

口腔とは口からのどまでの間の口の中の空間を言うが，口腔内には舌，歯，歯ぐき，口の内壁等があり，歯を除いて，これらの表面は粘膜で覆われている。この口腔粘膜に発生する重要な病変（疾患）には，扁平上皮癌，白板症（前癌病変），扁平苔癬があり，これらは普通にみられる口内炎と間違いやすい。そこでこの実施例では，最終的には上記の３つの病変の存在の有無と種類を判別する。

【0019】

図１は口腔粘膜疾患診断支援システムの全体構成の概略を示すものである。複数台の端末装置２はウェブブラウザソフトウェアを備え，ネットワーク（インターネット，LAN等）３を通してサーバ１と通信可能である。端末装置２は，携帯端末（スマートフォン等の携帯電話，iPad（登録商標）等の携帯タブレット），パーソナルコンピュータ（PC）等であり，好ましくは端末装置２はたとえば歯科医の医院，クリニック，病院等に配置される。サーバ１は，たとえばウェブサーバ，クラウドコンピューティング・システムで実施されるサーバでもよい。もちろん１台のPCで端末装置とサーバの機能を実現してもよい。端末装置２にはこの支援システムのための特別のアプリケーションソフトウェアをインストールする必要はない。

【0020】

図２は口腔粘膜疾患診断支援システムの全体的な動作を示すフローチャートであり，複数台の端末装置を代表して１台の端末装置およびサーバの動作，ならびにそれらの間の通信を示している。

【0021】

歯科医等のユーザは口腔内粘膜にみられる病変をデジタル（スチル）カメラで撮影する。口腔粘膜の撮影は端末装置２のカメラ機能を用いてもよいし，デジタルカメラで撮影した画像を端末装置２に取込んでもよい。撮影画像の一例が図７に示されている。

【0022】

ユーザは端末装置２においてURLを指定して，サーバ１の口腔粘膜疾患診断支援システムのページにアクセス，ログインして，撮影した画像を端末装置２からサーバ１に送信（アップロード）する（Ｓ１）。

【0023】

端末装置２から送られてきた画像を受信したサーバ１は，受信した画像中に指定点を入力するための拡大表示可能な画像データと指定点を抽出するプログラムを含むブラウザが解釈可能なXHTML応答を端末装置１に送信する（指定点を入力するための画面の送信）（Ｓ11）。

【0024】

端末装置２はサーバ１から送信され，受信した画像をその表示装置に表示する。端末装置２の表示画面に表示される画像の一例が図８に示されている。端末装置２が送信した画像（またはその一部），十字カーソルの表示，診断ボタンの表示，口腔粘膜疾患診断の旨，患者の情報（診察カードNo.，氏名など）を入力する欄（図示略）などが表示される（Ｓ２）。

【0025】

ユーザは図８の画面において，患者の情報（診察カードNo.，氏名など）を入力し，口腔粘膜画像において疾患の中心と思われる位置を十字カーソルで指定する。十字カーソルの指定位置を確認したのち，ユーザは「診断」ボタンの表示をクリックする。すると，入力された患者情報，指定点を含む画像が端末装置２からサーバ１に送信される（Ｓ３）。診断ボタンは，指定点の確定ボタンと，送信ボタンの両機能を持つ。指定点の確定ボタンおよび送信ボタンを別個に画面に表示してもよい。指定点は画像中における位置座標として表わされる。指定点を画像中に画像として表わしても，位置座標データとして表わしてもよい。

【0026】

サーバ１は端末装置２で入力された患者情報，指定点位置データ，口腔粘膜画像を含む情報を受信すると（Ｓ12），受信した画像中の指定点を含む多数枚（一例として500枚，少なくとも50枚以上）の診断対象局所画像を作成する（Ｓ13）。この診断対象局所画像の作成（自動画像切出し）の処理については図３を参照して後述する。

【0027】

サーバ１は作成した複数枚の局所画像に基づいて，疾患の診断処理を行う（Ｓ14），診断処理については図４を参照して後述する。

【0028】

得られた診断結果（判別結果または識別結果）はサーバ１から端末装置２に送信される。端末装置２は診断結果を受信すると，たとえば「○○の疑いあり」のように，診断結果を表示画面に表示する。診断結果の表示は，診断対象の画像（指定点を中心とする局所画像でもよいし，Ｓ１またはＳ３で端末装置２からサーバ１に送信した画像でもよい）を診断結果と一緒に表示するとよい。

【0029】

図３はサーバ１による診断対象局所画像の作成（自動切り出し）処理（図２のＳ13）の詳細を示している。

【0030】

診断対象となる局所画像には後述するところから理解できるように，特徴量抽出処理が加えられ，得られた特徴量に基づいて病変の識別処理が行なわれる。

【0031】

局所画像の形状は正方形，長方形，円形等任意の形状を採用しうるが，直交座標系を用いるコンピュータ処理の観点からは正方形，または長方形が好ましい。もっとも極座標系を用いれは円形等であっても充分に処理可能である。正方形および長方形の局所画像のいくつかの例が図９に示されている。

【0032】

局所画像から特徴量を抽出するためには局所画像にはある程度の大きさ（サイズ）が必要である。画像があまりに小さいと適切に特徴量が抽出できず，病変の種類の識別が困難となる。発明者らの実験によると，局所画像は正方形の場合，撮影画像の解像度において，200×200ピクセル以上の大きさの画像が好ましい。長方形の場合，あまりに細長い局所画像は好ましくなく，たとえば短い辺と長い辺の比が0.5～2.0程度がよい。短い辺の長さは200ピクセル程度がよい。一般的に歯科医院で用いられているデジタルカメラは2000×3000ピクセル以上の解像度で撮影可能なものがほとんどである。また，撮影時のカメラと被写体（口腔内）との距離は8cmから15cmであり，これらの撮影条件を満たしたときに200×200ピクセル以上の画像であれば，特徴量が適切に算出可能である。表示画面上で画像を拡大縮小して指定点を設定する場合にも，撮影時の画像上で200×200ピクセル以上に相当する大きさの画像を切出しの対象とする。

【0033】

他方，局所画像のサイズが大きくなると，発明者らの実験によると，病変の識別率が徐々に落ちてくる傾向にあることが分っている。局所画像の面積が増えると，病変以外の部分（たとえば正常な部分）の占める割合が増加することに起因して識別率が低下するのである。そこで局所画像の最大の大きさにも制限を加えておくことが好ましい。この実施例では正方形の局所画像の場合1,000×1,000ピクセルである。

【0034】

図６は，局所画像（正方形）のサイズ（単位はピクセル（pixel））と識別率との関係を示している。このグラフは口腔疾患専門家，経験の異なる歯科医等に疾患範囲と思われる範囲（局所画像）を正方形で指定してもらって，その範囲について疾患を識別した結果を示している。横軸は指定された正方形の大きさ（サイズ），縦軸は識別率である。識別率は「癌」，「白板症」，「扁平苔癬」の診断が確定している画像を表示して，背景技術で示したスクリーニング支援システムを用いて上記の人々が指定した範囲内（切出し範囲）の画像の診断結果の識別率の平均値を示す。切出し範囲が小さいと識別率が低く，ある程度の大きさ（300×300～400×400ピクセル）で識別率がピークを示し，切出し範囲がさらに大きくなると識別率が徐々に減少していくことが分る。

【0035】

図３において，この実施例では，250（mとする）枚の正方形の局所画像と，同じく250（nとする）枚の長方形の局所画像を作成するものとする。合計500枚の局所画像が作成される。局所画像診断結果の精度を考えると50枚程度以上が好ましく，サーバコンピュータの処理能力，処理時間を考えると500枚程度以下が好ましい。作成する局所画像は必ずユーザによって指定された指定点を含む。また作成される局所画像は互いに異なる範囲（位置，形状，大きさ）を持つ（ぴったりと重なるものは排除される）。ユーザによって指定される撮影画像上の点は唯一つであっても，その指定点を含みかつ異なる範囲をもつ多数の局所画像が作成され，これらの局所画像のそれぞれについて後述する特徴量が算出され，それらの特徴量に基づく識別処理を経て最終的な判定が行なわれるので精度の高い口腔粘膜疾患の診断が可能となる。

【0036】

図３のＳ21からＳ27は正方形の局所画像を作成する処理である。

【0037】

対象画像上に指定された点（指定点）（基準点）をＸＹ座標系の原点（（x，y）＝（0，0））とし，画像の横方向（右方向を正）をＸ軸，縦方向（上方向を正）をＹ軸にとる。ＸＹ座標系の座標の単位１を画像の１ピクセルに対応させる。指定点（基準点）は必ずしもＸＹ座標の原点でなくてもよい。

【0038】

まず，正方形の局所画像の左上角の座標（必ず第２象限にある）を決定する。正方形は－500＜x＜500，－500＜y＜500の範囲内で生成させる。－500＜x1＜0，0＜y1＜500の範囲で乱数x1とy1を発生させ，（x1，y1）を正方形の左上の角の点の座標とする（Ｓ21）。

【0039】

次に正方形の一辺の長さL1を決定する。一辺の長さL1を，200＜L1＜500＋x1の範囲の乱数で決め，正方形の左下の座標（x2，y2）を，x2＝x1，y2＝y1－L1として決定する（Ｓ22）。

【0040】

Ｓ21，Ｓ22における乱数は正の整数が好ましい。はじめから発生する乱数の範囲を上記の通り定めておいてもよいし，乱数を発生させてから，その乱数が上記の範囲内に収まるもののみを採用するようにしてもよい。

【0041】

正方形の左上と左下の点の座標が決定されれば，正方形は一意的に定まる。このようにして得られた正方形がそれ以前の処理で得られた正方形とぴったりと重なるものがあれば（左上の点の座標が同じで，左下の点の座標が同じ），その正方形は採用しない（Ｓ23でYES）。

【0042】

Ｓ21，Ｓ22における乱数x1，x2および長さがL1の上記の条件を満たせば，生成した正方形の中に必ず指定点が含まれており（Ｓ24でYES），生成した正方形の面積は200×200ピクセルを超え，500×500ピクセル未満である（Ｓ25でYES）。したがって，Ｓ24，Ｓ25は確認のための処理であり，必ずしも必要なものではない。

【0043】

このようにして一つの正方形が得られると，その正方形の辺に沿って局所画像を切出し，切出した局所画像をその局所画像の面積（ピクセル数）とともに，サーバ１の記憶装置内に格納する（Ｓ26）。

【0044】

以上の処理は所定枚数（m＝250）の正方形局所画像が得られるまで繰返し続けられる（Ｓ27）。

【0045】

Ｓ31～Ｓ37は長方形の局所画像を生成する処理を示している。対象画像上に指定された点（指定点）をＸＹ座標系の原点（（x，y）＝（0，0））とし，画像の横方向（右方向を正）をＸ軸，縦方向（上方向を正）をＹ軸にとる，ＸＹ座標系の座標の単位１を画像の１ピクセルに対応させるのは正方形の場合と同じである。

【0046】

まず，長方形の局所画像の左上角の座標（必ず第２象限にある）を決定する。長方形も-500＜x＜500，-500＜y＜500の範囲内で生成させる。-500＜x1＜0，0＜y1＜500の範囲で乱数x1とy1を発生させ，（x1，y1）を正方形の左上の角の点の座標とする（Ｓ31）。

【0047】

次に長方形の右下の角の座標（x2，y2）を，0＜x2＜500，-500＜y2＜0の範囲内で発生した乱数によって決める（Ｓ32）。

【0048】

これにより長方形の縦と横の長さが決定されるが，長方形の縦の長さ，横の長さのいずれも200ピクセル以上という条件を満足させるために，x2－x1＜200またはy1－y2＜200の場合はこれらの値を採用せず，Ｓ31，Ｓ32を繰返す（Ｓ31，Ｓ32）。

【0049】

左上の角と右下の角の座標が決れば長方形は一意に定まる。このようにして得られた長方形がそれ以前の処理で得られた長方形とぴったりと重なるものがあれば（左上の点の座標が同じで，右下の点の座標が同じ），その長方形は採用しない（Ｓ33でYES）。

【0050】

Ｓ31，Ｓ32における乱数x1，x2，y1，y2が上記の条件を満たせば，生成した長方形の中に必ず指定点が含まれており（Ｓ34でYES），生成した長方形の面積は200×200ピクセルを超え，500×500ピクセル未満である（Ｓ35でYES）。したがって，Ｓ34，Ｓ35は確認のための処理であり，必ずしも必要なものではない。

【0051】

このようにして一つの長方形が得られると，その長方形の辺に沿って局所画像を切出し，切出した局所画像をその局所画像の面積（ピクセル数）とともに，サーバ１の記憶装置内に格納する（Ｓ36）。

【0052】

以上の処理は所定枚数（n＝250）の長方形局所画像が得られるまで繰返し続けられる（Ｓ37）。

【0053】

図４は以上のようにして対象画像から切出された250枚の正方形局所画像および250枚の長方形局所画像に基づいて諸特徴量を算出し，最終的に病変の疾患を判定するまでのサーバ１における処理を示している。

【0054】

まず特徴量の算出について述べる。特徴量は切出した500枚のすべての局所画像について算出される（Ｓ41）。この実施例では，特徴量には，(1) 白斑特徴量，(2) 白斑形状特徴量，(3) 発赤特徴量，(4) 隆起特徴量，(5) 顆粒特徴量がある。

【0055】

(1) 白斑特徴量と白斑領域（白斑抽出画像）
正常な口腔粘膜（画像）は白斑がないので，白斑特徴量は，白斑をもつ口腔粘膜疾患（扁平上皮癌，白板症（前癌病変），扁平苔癬）と正常な口腔粘膜とを区別するために有効である。

【0056】

口腔画像をRGB色空間からHSV色空間へ変換する。HSV色空間はHue（色相），Saturation（彩度），Value（明度）の３要素（成分）で構成される。

【0057】

S画像（S成分による画像）は色の鮮やかさを表わす画像である。S値が小さくなると無彩色である白色に近づく。したがってS画像を用いることで画像の白色部分を抽出できる。

【0058】

S画像のヒストグラム（横軸はS値（適当な幅で離散化する），縦軸は頻度すなわち画素数）において，ノイズ成分を除去する。たとえばヒストグラム最大値の0.1％未満のヒストグラム成分（画素数）を除去する。ノイズ除去後のヒストグラムにおけるS値の最大値をSmax，最小値をSminとし，その差，すなわち式(1)のf₁を白斑特徴量とする。

【0059】

【数1】

【0060】

ヒストグラムにおける横軸の中央，すなわち式(2)で表わされるThをスレシホールド（閾値）として，S画像のS値を弁別して２値画像を作成する（閾値を超えるS値の部分が白く，他は黒く表わされる）。この２値画像が白斑抽出画像であり，後述する白斑形状特徴量および顆粒特徴量を算出するために使用することができる。

【0061】

【数2】

【0062】

(2) 白斑形状特徴量
抽出された白斑領域の形状は病変の種類によって異なる。一例として扁平上皮癌は複雑であり，白板症は板状であり，扁平苔癬は線状である。白板症の白斑板状は他の病変に比較してやや円に近い。

【0063】

そこで白斑形状特徴量として，白斑領域の円形度を考える。

【0064】

白斑領域の円形度f₂は次式で与えられる。

【0065】

【数3】

【0066】

ここでSwは白斑領域の画素数，Lは白斑領域の境界を示すエッジ（端）の画素数である。エッジとは，たとえば隣接する４つの画素の中に１つでも黒の画素があればエッジとする。

【0067】

(3) 発赤特徴量
扁平苔癬の特徴である発赤は白斑周囲が赤くなることである。S成分は色の鮮やかさを表わすので，発赤領域のS値は高いと考えられる。

【0068】

そこで発赤特徴量f₃を，式(4)で示すように，上で求めた白斑領域以外の領域のS値の平均値と定義する。

【0069】

【数4】

【0070】

ここで白斑抽出画像における白以外の部分（領域）（黒の部分）をTで表わし，その領域Tの総ピクセル数をMで表わす。I_iは，白斑抽出画像のi番目のS値である。白斑抽出画像は，それ以外の部分を通す一種のフィルタとして用いられる。

【0071】

(4) 隆起特徴量
扁平上皮癌や白板症（前癌病変）には口腔粘膜隆起がみられる。口腔粘膜疾患の隆起は必ず影を伴うので，この影を利用して隆起特徴量を定める。すなわちHSV変換後のV画像（V成分画像）は明度を表わすので，そのv値の変化の様子（勾配）に着目し，勾配強度画像を作成し，その平均値を式(6)で表わされる隆起特徴量f₄とする。

【0072】

（f_x，f_y）をV画像中の座標（x，y）のV値の勾配とすると，座標（x，y）における勾配強度wは次式で表わされる。

【0073】

【数5】

【0074】

【数6】

【0075】

NはV画像におけるピクセル数である。

【0076】

(5) 顆粒特徴量
顆粒状構造は扁平上皮癌が持つ特有形態である。顆粒状とは粒々としたものが広がっている状態を表わす。顆粒状構造では口腔画像において，円形の小さな図形が多く含まれている。この円形小図形の個数を顆粒状特徴量f₅とする。

【0077】

たとえば，V画像の画素ごとに勾配強度を求め，適当な閾値を用いて２値化処理を行う。この２値化画像における小さな点々や線などを除去するためにオープニング処理（同じ回数分，収縮して膨張する処理）を，数段階にわたって繰返すと，円形小図形が現われてくる。その円形小図形の数をカウントし，得られた個数を顆粒特徴量f₅とする。

【0078】

このようにして各局所画像について５種類の特徴量が算出されると，これらの特徴量に基づいて局所画像ごとに識別処理が行なわれ，局所画像ごとに，疾患の種類（扁平上皮癌，白斑病，扁平苔癬）または正常が識別される（Ｓ42）。

【0079】

これらの疾患（上記の３種類の疾患および正常）では，その種類に応じて，図５に示すように，特徴量に差が現われる。図５において，〇印は疾患に応じて特徴量に差が生じることを示し，×印は特徴量に差が生じないことを示す。一は当該疾患であることを特徴づけるものではないことを示す。

【0080】

識別方法には一の疾患対他の一つの疾患の識別（One Vs One），一つの疾患対他の残りの疾患の識別（One Vs Rest）があるが，いずれの方法によるとしても，入力としてサンプル画像の上記特徴量を与え，教師データとして，該サンプル画像についての専門家による識別結果（上記の３種類の疾患と正常）を入力して，膨大な数のサンプル画像について機械学習を繰返し（ソフトコンピューティング），識別システム（識別器）をソフトウェア上で構築する。識別処理は，このようにして学習した後に得られる識別システム（識別器）を用いて，局所画像ごとに繰返して実行される（Ｓ44）。したがって最終的には，この実施例では500の識別結果が得られる。

【0081】

これらの識別結果に基づいて最終的な判定が行なわれる（Ｓ45）。判定処理の代表例としては多数決による判定がある。すなわち，500の識別結果のうち最も数の多い識別結果を最終的な判定（判別）結果とする。上記３種類の疾患の識別結果が同数である場合には，疾患の重症度を考慮して，扁平上皮癌，白板症，扁平苔癬，正常の順に順序付けをしておき，この順に優先して判定（判別）結果として出力する。

【0082】

もう一つの重要な判定方法は，局所画像の面積に応じて重み付けをする方法である。局所画像の面積が小さいと充分な情報量が得られないので，識別結果の確からしさが低く，逆に局所画像の面積が大きくなると，正常な粘膜部分の割合が増大するので，確からしさは減少していく。実験的に確からしさの高い面積範囲が判明するので，局所画像の面積に応じて，面積が小さい場合には重みを小さく，面積が大きい領域でも大きくなるほど重みを小さくしていき，面積が中央に近いほど（たとえば正方形の局所画像の場合，300×300ピクセルから600×600ピクセル程度）重みを大きく設定しておく。局所画像の形状も考慮して重み付けしてもよい。たとえば長方形の局所画像の場合，縦横比が極端に大きいものについては重みを小さくする。

【0083】

識別結果が得られたときに，その識別結果（３つの疾患の種類と正常）に，その結果に局所画像の面積に応じた重みを掛けて，その結果（重み付き数値）を識別結果ごとに記憶しておく（Ｓ43）。そしてすべての局所画像について識別処理が終了したときに記憶しておいた重み付き数値を，疾患（又は正常）（識別結果）ごとに加算して，加算結果が最大値を示す疾患（または正常）を最終判定結果とする（Ｓ45）。

【0084】

上述のように，局所画像はコンピュータが自動的に切出すものであるから，指定点を含むとはいえ，口腔粘膜以外の部分（たとえば歯，歯ぐき）なども局所画像に含まれることがある。このような場合には，局所画像の切出し処理において，画像領域自動分割法（たとえばセマンティックセグメンテーション）により，口腔粘膜以外の部分を分離し，口腔粘膜の部分のみの局所画像として記憶することが好ましい。局所画像の面積は当然，口腔粘膜の部分のみの面積となる。

【0085】

上記実施において局所画像の切出し処理，局所画像ごとの識別処理は，一つ一つの局所画像ごとに逐次行う形のフローチャートとして描かれているが，これらの処理を並行して行ってもよい（マルチプロセッサによる並行処理を含む）。また，一つの局所画像を切出した後，これに続いてその切出した局所画像の識別処理を行うようにしてもよい。

【符号の説明】

【0086】

１ サーバ
２ 端末装置
３ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2021-07-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【請求項1】

デジタルカメラ撮影による口腔画像において指定された一点の指定位置データを受付ける指定位置データ受付手段，
上記指定位置データ受付手段が受付けた指定位置を含み，かつ相互に異なる範囲を持つ正方形または長方形の複数の局所画像を切出す局所画像切出し手段，および
上記局所画像切出し手段が切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別する判別手段，
を備える口腔粘膜疾患診断支援システム。

【請求項2】

表示画面に表示された口腔画像において，上記一点を指定するための指定手段を備える，請求項１に記載の口腔粘膜疾患診断支援システム。

【請求項3】

上記指定手段を備える端末装置を備える，請求項２に記載の口腔粘膜疾患診断支援システム。

【請求項4】

上記判別手段は，
局所画像ごとに複数種類の特徴量を算出し，算出した特徴量に基づいて疾患の有無または疾患の種類を識別する複数の識別手段，および
上記複数の識別手段における識別結果に基づいて，最終的に疾患の有無または疾患の種類を判定する最終判定手段，
を備える，請求項１から３のいずれか一項に記載の口腔粘膜疾患診断支援システム。

【請求項5】

上記識別手段の識別結果に，局所画像の形状おび面積の少なくともいずれか一方に応じて重み付けを行う重み付け手段をさらに備え，
上記最終判定手段は上記重み付け手段により重み付けされた識別結果に基づいて最終判定を行う，
請求項４に記載の口腔粘膜疾患診断支援システム。

【請求項6】

口腔内をデジタルカメラにより撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援システムにおいて，
表示画面に表示された口腔画像において正方形または長方形の複数の局所画像を切出すために病変部分の基準となる一点を指定する指定手段を備えることを特徴とする，
口腔粘膜疾患診断支援システム。

【請求項7】

指定位置データ受付手段が，デジタルカメラ撮影による口腔画像において指定された一点の指定位置データを受付け，
局所画像切出し手段が，上記指定位置データ受付手段が受付けた指定位置を含み，かつ相互に異なる範囲を持つ正方形または長方形の複数の局所画像を切出し，そして
判別手段が上記局所画像切出し手段が切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別する，
口腔粘膜疾患診断支援方法。

【請求項8】

コンピュータが，口腔内をデジタルカメラで撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援方法において，
受付手段が表示画面に表示された口腔画像内で指定された一点の指定位置を受付け，切出し手段が，上記受付手段が受付けた指定位置を含み，かつ相互に異なる範囲を持つ正方形または長方形の複数の局所画像を切出すことを特徴とする，
口腔粘膜疾患診断支援方法。

【請求項9】

デジタルカメラ撮影による口腔画像において指定された一点の指定位置データを受付け，
受付けた指定位置を含み，かつ相互に異なる範囲を持つ正方形または長方形の複数の局所画像を切出し，そして
切出した複数の局所画像に関して複数の異なる特徴量を算出し，算出した特徴量に基づいて疾患を判別するようにコンピュータを制御する口腔粘膜疾患診断支援プログラム。

【請求項10】

口腔内をデジタルカメラで撮影して得られる口腔画像において病変部分を含む局所画像を切出し，切出した局所画像に基づいて，少なくとも疾患の有無および種類の少なくともいずれか一方を判定する口腔粘膜疾患診断支援プログラムにおいて，
表示画面に表示された口腔画像内で指定された一点の指定位置を受付け，受付けた指定位置を含み，かつ相互に異なる範囲を持つ正方形または長方形の複数の局所画像を切出すことを特徴とする，
口腔粘膜疾患診断支援プログラム。

【請求項11】

請求項９または10に記載のプログラムを格納したコンピュータ読取可能な記録媒体。