【文献】
菅原圭亮 他,解析ソフトを用いた光学機器による口腔粘膜蛍光観察,日本口腔診断学会雑誌,2017年 6月20日,Vol.30, No.2,pp.168-175
【文献】
森川貴迪 他,口腔粘膜観察用光学機器IllumiScanによる口腔扁平上皮癌ならびに口腔扁平苔癬の解析,歯科学報,2017年10月,Vol.117, No.5,pp.383-392,<http://doi.org/10.15041/tdcgakuho.117.383>
【文献】
山本信治 他,臨床に役立つすぐれモノ 口腔健診支援システム ORALOOK HITS Check System,Dental Diamond,2018年 5月 1日
【文献】
大野啓介 他,口腔粘膜蛍光観察装置と画像解析ソフトを応用した口腔粘膜疾患の診断,日本口腔診断学会雑誌,2017年 2月20日,Vol.30, No.1,pp.103-104
【文献】
大野啓介 他,口腔粘膜蛍光観察装置と画像解析ソフトを応用した口腔粘膜疾患の診断方法,第71回日本口腔科学会学術集会プログラム・抄録集,2017年 4月,p.180
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。
【0015】
[課題等]
課題等について補足説明する。まず、口腔がんや他の病変について簡単に説明する。口腔は、舌、口底、頬粘膜、口蓋、上唇、下唇、上顎歯肉、下顎歯肉等の部位を含む総称である。口腔がんは、舌を含め、各部位に発生し得る。口腔がんとしては、扁平上皮癌(SCC)等がある。口腔(特に口腔粘膜)では、SCC、口腔潜在的悪性疾患(OPMD)等の様々な粘膜疾患が生じ得る。OPMDは、炎症性疾患、前癌病変、前癌状態等である。OPMDの例として、口腔扁平苔癬は、頬粘膜、舌、口唇等に生じる、角化性で炎症を伴う難治性の病変であり、がん化する場合がある。
【0016】
口腔がんと他の病変との鑑別についての従来技術例は以下の通りである。歯科医師は、口腔に対する肉眼での視診や触診、または口腔画像の観察によって、口腔に係わる様々な疾患、病変、症状等の状態(病変と総称する場合がある)を鑑別する。状態は、OPMDやSCC、口内炎、単なる噛み跡の場合等を含む、多彩な状態がある。口腔画像は、一般的な可視光照明のカメラによる写真画像や、X線撮影装置によるX線画像や、蛍光光学機器による蛍光画像等が挙げられる。
【0017】
しかしながら、医師にとって、口腔の視診や触診、口腔画像の観察だけでは、口腔に係わる様々な病変の鑑別が難しい場合がある。特に、口腔がんに係わる専門医ではなく、一般の開業医の場合には、その医師のスキル等に応じて、例えば、前癌病変等の悪性病変と他の良性病変との鑑別が難しい場合も多い。医師が蛍光画像を観察する場合でも、蛍光画像内の暗い色の領域(後述のFVL)が、病変の可能性がある箇所であることがわかるものの、病変の詳細の鑑別には難しさがある。従来技術例では、鑑別は、医師による主観的な視覚的評価によるものが多く、口腔がんの鑑別で高精度を実現するためには、支援の仕組みが必要である。
【0018】
(実施の形態1)
図1〜
図11を用いて、本発明の実施の形態1の口腔検診支援システムについて説明する。実施の形態1の口腔検診支援システムは、歯科医院での口腔がん検診を含む口腔検診を支援する仕組み、医師による口腔がんと他の病変との鑑別を支援する仕組み等を提供する。実施の形態1の口腔検診支援システムは、写真画像および蛍光画像に基づいた口腔がんと他の病変との鑑別を支援する仕組みとして、計算機の処理を用いて、鑑別のための指標値を計算し出力する機能を有する。この指標値は、診断ではなく、あくまで推定や参考の情報であるが、口腔がんの可能性を表す有用な情報である。医師は、口腔がんに関する知見が少ない開業医等であっても、画像および指標値を見ることで、従来よりも鑑別や評価がしやすくなり、精度を高めることができる。
【0019】
また、実施の形態1の口腔検診支援システムは、指標値の判断に基づいて、口腔がんと他の病変との鑑別に係わる少なくとも2つ以上の分類のうちの1つの分類の結果値(第1結果値)を出力してもよい。例えば、第1分類値は、口腔がんの可能性がある程度以上に高いと推定されることを表す値であり、第2分類値は、口腔がんの可能性がある程度以上に低いと推定されることを表す値である。また、実施の形態1の口腔検診支援システムは、鑑別の第1結果値に対し、さらに、所定の判断に基づいて、対応のアドバイスに関する少なくとも2つ以上の分類のうちの1つの分類の結果値(第2結果値)を出力してもよい。例えば、第1分類値は、専門医への受診の推奨であり、第2分類値は、経過観察である。これらにより、鑑別や対応がより容易になる。
【0020】
[口腔検診支援システム]
図1は、実施の形態1の口腔検診支援システム1の構成を示す。口腔検診支援システム1は、各歯科医院に設置されている、計算機10、カメラ2、蛍光光学機器3等によって構成されている。歯科医院は、例えば多数の開業歯科医院であるが、これに限らず、口腔外科を持つ歯科大学病院等でもよい。歯科医院は、歯科に限らず耳鼻咽喉科等でもよい。
図1は、ある1つの歯科医院での構成例を示すが、これに限らず、複数の歯科医院で同様に適用可能である。なお、
図1は、後述の実施の形態2の口腔検診支援システムに係わる構成要素(専門医端末7等)も併せて図示しているが、これらは実施の形態1では使用しないか副次的な要素である。
【0021】
歯科医院において、開業歯科医師等の医師、および患者等がいる。医師は、計算機10、カメラ2、蛍光光学機器3等を使用する。患者は、スマートフォン等の端末4を所持している場合がある。なお、医師とは別に歯科助手等がカメラ2や計算機10等を同様に操作してもよいが、以下の説明では主体を医師として記載する。
【0022】
計算機10は、歯科医院端末であり、一般的なPCやタブレット端末等で構成できる。計算機10は、専用装置で構成されてもよい。本例では、計算機10は、タブレット端末で実装され、タッチパネルの表示画面に対するタッチ入力操作が可能である。計算機10は、カメラ2および蛍光光学機器3等の外部の機器と、無線通信インタフェースまたは有線通信インタフェースで通信接続される。計算機10は、LAN等を通じて外部の通信網5と接続されてもよい。
【0023】
カメラ2は、一般的な可視光照明に基づいてフルカラーの写真画像21を撮影する光学機器である。医師は、カメラ2を操作して患者の口腔内を撮影する。カメラ2は、撮影した写真画像21のデータを記憶し、計算機10へ出力する。計算機10は、カメラ2からの写真画像21のデータを入力する。医師は、例えばカメラ2を持って患者の口腔内に向けて撮影を行う。その際、カメラ2にモニタ表示画面を備えている場合には、医師は、そのモニタ表示画面で撮影対象領域を見ながら操作が可能である。
【0024】
蛍光光学機器3は、特定の照明に基づいて蛍光画像22を撮影する光学機器である。医師は、蛍光光学機器3を操作して、患者の口腔内を撮影する。蛍光光学機器3は、撮影した蛍光画像22のデータを記憶し、計算機10へ出力する。計算機10は、蛍光光学機器3からの蛍光画像22のデータを入力する。医師は、例えば蛍光光学機器3を持って患者の口腔内に向けて撮影を行う。その際、医師は、蛍光光学機器3の表示画面で撮影対象領域を見ながら操作が可能である。なお、カメラ2や蛍光光学機器3に表示画面を備えない構成の場合には、通信連携によって、計算機10の表示画面に、撮影時のモニタ映像を表示するようにしてもよい。
【0025】
写真画像21は、縦横に所定の画素数を持ち、画素値としてR(赤),G(緑),B(青)の各成分の輝度値を持つ画像である。蛍光画像22は、縦横に所定の画素数を持ち、画素値としては特にG値(黒から明るい緑色までの多階調を持つ輝度値)を持つ画像である。蛍光光学機器3の第1例では、蛍光画像22は、3072×2304の画素を持つ。蛍光光学機器3の第2例では、蛍光画像22は、1920×1080の画素を持つ。蛍光光学機器3の第3例では、蛍光画像22は、3256×2458の画素を持つ。なお、計算機10は、入力の蛍光画像22に対し、縦横の画素数や階調等の構成に関して、所定の変換を行い、変換後の蛍光画像22を処理に用いてもよい。変換は、形式の統一化のための変換や、処理高速化のための間引きの変換等が挙げられる。
【0026】
医師は、患者の口腔検診を行う際には、患者の口腔(患部を含む)を対象とした写真画像21および蛍光画像22を撮影して計算機10に取得させる。計算機10は、取得した写真画像21および蛍光画像22を含む、口腔検診に係わる所定のデータや情報を、メモリに記憶すると共に、計算機10の表示画面に表示する。また、医師は、診療や口腔検診の際に、患者の問診のデータや所見のデータを含むデータ31を、計算機10に入力する。例えば、医師は、タッチ入力またはキーボードやマウス等を用いて、計算機10にデータ31を入力する。なお、計算機10と他のPC等とが連携して、他のPC等から計算機10へ問診や所見のデータ31を入力する構成でもよい。
【0027】
計算機10は、入力された写真画像21、蛍光画像22、およびデータ31等の各データ、および医師の指示入力に基づいて、口腔検診に係わる解析等の処理を実行する。これにより、計算機10は、口腔検診結果32のデータを作成する。口腔検診結果32のデータは、計算機10内のメモリに記憶され、表示画面に所定の形式で表示される。また、医師は、計算機10に接続される図示しないプリンタを用いて、口腔検診結果32を記載した所定の形式の用紙(口腔検診結果書類)を印刷出力させることもできる。なお、口腔検診結果32等の各種のデータを、計算機10内ではなく、外部のPCやサーバやストレージ等の機器に記憶させてもよい。医師は、口腔検診結果32を確認し、口腔の状態等を患者に伝える。あるいは、医師は、患者と共に口腔検診結果32を見ながら、今後の対応等の相談を行うことができる。
【0028】
なお、他の実施の形態として、蛍光光学機器3に計算機10の機能を一体として実装した形態としてもよい。言い換えると、計算機10に蛍光光学機器3の機能を一体として実装した形態としてもよい。例えば、その蛍光光学機器3にはタブレット端末等が一体として実装される。この場合、口腔検診に必要な機器の数を低減できる。他の実施の形態として、計算機10にカメラ2の機能を一体として実装した形態としてもよい。
【0029】
他の実施の形態として、カメラ2と蛍光光学機器3を、1つの光学機器として一体で実装した形態としてもよい。この場合、医師は、その光学機器を用いて、写真画像21と蛍光画像22との2種類の画像をまとめて撮影することができる。その光学機器の構成例は以下の通りである。その光学機器は、所定のハードウェアボタン操作または表示画面での撮像指示入力等によって、2種類の画像に関する撮像指示を受け付ける。撮像指示は、写真画像21のみの撮像、または、蛍光画像22のみの撮像、または、2種類の画像の同時撮像から選択可能である。その光学機器は、例えば、同時撮像指示を受けた場合、第1タイミングで、可視光照明状態でのカメラ2による写真画像21を撮像し、続けて第2タイミングで、特定の照明に切り替えた状態での蛍光光学機器3による蛍光画像22を撮像する。この場合、口腔内の同じ対象領域に関する2種類の画像をまとめて取得でき、撮影作業の手間も軽減できる。
【0030】
[計算機]
図2は、計算機10の構成を示す。計算機10は、プロセッサ101、メモリ102、表示装置103、通信インタフェース部104、LAN通信インタフェース部105、操作入力部106等を備え、それらがシステムバスを通じて相互に接続されている。プロセッサ101は、CPU、ROM、RAM等で構成され、ソフトウェアプログラム処理に基づいて、計算機10全体を制御し、各機能を実現する。各機能は、2種類の画像等の各データを取得し、表示画面に表示する機能、画像を解析して指標値を計算する機能、口腔検診結果32を作成し出力する機能等がある。
【0031】
メモリ102には、プログラム111、DB112、設定情報113等が記憶されている。プログラム111は、計算機10の各機能を実現するプログラムを含む。DB112は、写真画像21、蛍光画像22、問診や所見のデータ31、口腔検診結果32等の各種のデータや情報を整理して格納するデータベースである。設定情報113は、プログラム111による機能に係わるシステム設定情報やユーザ設定情報である。ユーザである医師は、計算機10が提供するユーザ設定のための画面で、自身が使い易いようにユーザ設定を行うことができる。設定情報113は、例えば、各計算処理に係わる設定値、各指標値の閾値等が挙げられる。
【0032】
表示装置103は、例えばタッチパネルであり、プロセッサ101からのデータ(例えばビデオRAM上のデータ)に基づいて、表示画面に情報を表示する。この表示画面は、グラフィカル・ユーザ・インタフェースとして機能する。通信インタフェース部104は、外部の機器との入出力や通信を処理する部分であり、例えば
図1のカメラ2および蛍光光学機器3と接続されている。通信インタフェース部104は、例えばカメラ2からの写真画像21や蛍光光学機器3からの蛍光画像22のデータを取得し、メモリ102内に格納する。LAN通信インタフェース部105は、LANとの通信処理を行い、例えば無線を通じて外部の通信網5(インターネット等)と接続可能である。操作入力部106は、ハードウェアボタン、あるいはキーボードやマウス等を用いた入力を受け付ける。
【0033】
[口腔検診]
歯科医院での口腔検診の手順の概要は以下の通りである。(1)医師は、患者の口腔内を十分に観察する。また、医師は、計算機10に、問診の入力や所見の入力を行う。(2)医師は、患者の口腔内を対象に、カメラ2および蛍光光学機器3を用いて、2種類の画像(写真画像21、蛍光画像22)を撮影する。計算機10は、2種類の画像を取り込み、表示画面に表示する。(3)医師は、表示画面で2種類の画像を観察し、後述のFVLの有無等の観察によって、視覚的評価を行う。
【0034】
(4)医師は、2種類の画像を確認しながら、蛍光画像22に対し、指標値の計算に用いる関心領域(Region on interest)を設定する。医師は、例えば、写真画像21で患部を確認しながら、対応する蛍光画像22上に関心領域を設定する。(5)医師は、計算機10に、指標値(例えば後述の第1指標値、第2指標値)の計算の指示入力を行う。これにより、計算機10は、関心領域のデータを用いながら、指定された指標値を計算し、結果を表示画面に表示する。
【0035】
(6)また、医師は、FVL領域の形状の詳細を観察したい場合には、計算機10に、3次元グラフおよび第3指標値の計算の指示入力を行う。計算機10は、関心領域のデータを用いながら、3次元グラフを作成して表示画面に表示し、第3指標値を計算し、結果を表示画面に表示する。医師は、3次元グラフを観察し、視覚的評価を行う。
【0036】
(7)医師は、(5)の指標値や(6)の指標値を参考にしながら、患部が口腔がん等の悪性病変であるか、他の良性病変であるかについての鑑別を行う。医師は、指標値や鑑別の情報を含む口腔検診結果32を、表示画面で確認や編集し、印刷出力等を行わせる。あるいは、計算機10は、各指標値について、閾値との比較等に基づいて、鑑別の分類値を出力する。その場合、医師は、その鑑別の分類値を参考にして鑑別を行う。さらに、計算機10は、鑑別の分類値に対応付けて、今後の診療や行動に関するアドバイスの分類値を出力してもよい。その場合、医師は、そのアドバイスの分類値を参考にして、患者に対しアドバイスを行う。
【0037】
なお、予め計算機10にユーザ設定しておけば、画像入力に基づいて自動的に指標値や口腔検診結果32までを出力させることも可能である。その場合、計算機10は関心領域等の設定を自動的に行う。
【0038】
[計算機−機能]
図3は、計算機10の主な機能に係わる機能ブロック構成を示す。各機能ブロック(対応する処理部)は、プロセッサ101等による処理で実現されている。計算機10は、各機能ブロックとして、画像表示処理部41、関心領域設定処理部42、3次元グラフ処理部43、パラメータ計算処理部44、第1指標値計算処理部45、第2指標値計算処理部46、第3指標値計算処理部47、鑑別処理部48等を有する。
【0039】
計算機10は、前述の写真画像21および蛍光画像22を入力し、2種類の画像20(対応する画像データ)として、DB112内に格納する。DB112で、各画像は、画像ID、撮像日時、患者情報等の情報が関連付けられて管理される。画像表示処理部41は、写真画像21および蛍光画像22を、前述の表示装置103が持つ表示画面130内に並列に表示する。医師は、表示画面130の各画像を見て、視覚的評価を行うことができる。
【0040】
関心領域設定部42は、医師の操作入力に基づいて、画像内に関心領域を設定する。例えば、医師は、蛍光画像22内で、病変部に対応する第1関心領域R1と、健常の対照部に対応する第2関心領域R2とを設定する。なお、第1指標値や第3指標値の計算の場合、第2関心領域R2の設定は必要ではなく省略できる。関心領域設定部42は、設定された関心領域の関心領域データ23を、各画像20(写真画像21、蛍光画像22)と関連付けてDB112内に記憶する。
【0041】
3次元グラフ処理部43は、医師の指示入力に基づいて、第1関心領域R1から、後述の3次元グラフG1を作成し、表示画面130内に表示する。なお、
図3内の各表示画面130は同じとしてもよいし、別としてもよい。例えば、2種類の画像と並列で3次元グラフG1等が表示されてもよい。医師は、表示画面130の3次元グラフG1を見て、視覚的評価を行うことができる。
【0042】
パラメータ計算処理部44は、第2指標値を計算する場合に用いる各パラメータを計算する。パラメータ計算処理部44は、2種類の画像20および関心領域データ23を用いて、各パラメータを計算し、メモリに記憶する。パラメータは、関心領域(R1,R2)毎に、領域面積、最小輝度、最大輝度、平均輝度、標準偏差、最頻値等が挙げられる。
【0043】
第2指標値計算部46は、第2指標値として、輝度比率(記号Rでも表す)および変動係数(記号Vでも表す)を計算する。第2指標値計算部46は、画像20(特に蛍光画像22)、関心領域データ23、および上記パラメータを用いて、第2指標値を計算し、メモリに記憶する。第2指標値は、第1関心領域R1と第2関心領域R2との対照、比率によって計算する指標値である。輝度比率Rと変動係数Vは関連性が高いので1つにまとめて第2指標値と記載する。
【0044】
第1指標値計算部45は、第1指標値として、輝度変化率(記号Hでも表す)を計算する。第1指標値計算部は、画像20(特に蛍光画像22)および第1関心領域R1のデータを用いて、第1指標値を計算し、メモリに記憶する。
【0045】
第3指標値計算部47は、第3指標値として、3次元グラフG1から、形状指標値を計算する。形状指標値は、3次元グラフG1における凹凸の形状を表す指標値であり、凸部(山部)や凹部(谷部)の数、密度、高さ、面積等の値を含む。
【0046】
計算機10は、上記計算した第1指標値や各パラメータ、第2指標値、および第3指標値を、表示画面130内に、口腔検診結果32の一部として表示する。なお、計算機10は、医師の指示入力やユーザ設定に応じて、計算対象の指標値を、全てまたは一部の指標値とすることができる。1つの指標値のみであっても鑑別には有効である。
【0047】
鑑別処理部48は、上記計算した各指標値等を用いて、所定の鑑別処理を行い、結果値60を作成する。結果値60は、大別して、鑑別の分類値61(第1結果値)と、アドバイスの分類値62(第2結果値)とで構成されている。鑑別の分類値61とアドバイスの分類値62とは、例えば所定のテーブル設定値で対応付けられている。計算機10による所定の鑑別処理は、指標値からの所定の条件での判断による処理である。この処理は、画像内の患部が、口腔がん等の悪性病変であるか他の良性病変であるかの鑑別に係わる、少なくとも2つの分類を行う処理である。
【0048】
鑑別処理部48は、例えば、第1指標値である輝度変化率Hと、設定値である第1閾値とを比較し、第1指標値が第1閾値未満である場合には、第1分類とし、第1指標値が第1閾値以上である場合には、第2分類とする。第1分類(例えば分類A)は、口腔がん等の悪性病変の可能性が高いという推定に対応する。第2分類(例えば分類B)は、他の病変として良性病変の可能性が高いという推定に対応する。この分類は、3つ以上の分類としてもよく、例えば、第3分類として、悪性病変と良性病変との鑑別、判断がしにくいことを表す分類が挙げられる。なお、比較の際には、1つの閾値を用いた判断に限らず、複数の閾値や範囲等を用いた判断も適用可能である。
【0049】
また、鑑別処理部48は、例えば、第2指標値である輝度比率R(または変動係数V)と、設定値である第2閾値(または第2閾値範囲)とを比較し、第2指標値が第2閾値以上である場合には、第1分類とし、第2指標値が第2閾値未満である場合には、第2分類とする。第1分類は、悪性病変の可能性が高いという推定に対応する。第2分類は、良性病変の可能性が高いという推定に対応する。
【0050】
また、鑑別処理部48は、例えば、第3指標値である形状指標値と、設定値である第3閾値とを比較し、その結果に基づいて分類値を決める。例えば、鑑別処理部48は、凹凸の数が多く、凹凸の高さが高い場合には、第1分類とし、凹凸の数が少なく、凹凸の高さが低い場合には、第2分類とする。
【0051】
鑑別処理部48は、さらに、例えば2種類または3種類の指標値に関する各結果値から、総合判断を行って、その結果値を出力するようにしてもよい。鑑別処理部48は、例えば、2種類の指標値の結果値が両方とも悪性病変を示す分類である場合には、総合的に悪性病変の可能性が高いという推定の結果値を出力してもよい。
【0052】
また、鑑別処理部48は、鑑別の分類値61から、さらに、テーブル設定値での対応付けによって、アドバイスの分類値62を決定する。例えば、鑑別の分類値61が、口腔がん等を示す第1分類(例えば分類A)である場合には、アドバイスの分類値62として、第1分類(例えば分類X)が対応付けられる。鑑別の分類値61が、他の病変を示す第2分類(例えば分類B)である場合には、アドバイスの分類値62として、第2分類(例えば分類Y)が対応付けられる。分類Xのアドバイスは、専門医(専門歯科医院)への受診の推奨である。分類Yのアドバイスは、歯科医院での経過観察である。
【0053】
計算機10は、結果値60を含む口腔検診結果32のデータを構成し、DB112に格納すると共に、表示画面130に表示する。医師は、表示画面130の口腔検診結果32を確認する。医師は、口腔検診結果32の情報を、そのまま鑑別や評価の結果として、患者に伝えてもよい。あるいは、医師は、口腔検診結果32の結果値60等を参考に、自身で鑑別や評価を行い、その結果を患者に伝えてもよい。あるいは、医師は、口腔検診結果32に、自身による鑑別や所見のコメントを入力して、口腔検診結果32を完成させてもよい。医師は、口腔検診結果32をプリンタで印刷して患者に渡してもよい。医師は、計算機10の口腔検診結果32のデータを、患者の端末4に転送させてもよい。
【0054】
[蛍光光学機器(1)]
蛍光光学機器3(蛍光観察装置、蛍光可視装置等と呼ばれる場合もある)および蛍光画像22について以下に説明する。蛍光光学機器3は、特定の実装に限らずに、各種のタイプの機器が適用可能である。例えばハンディタイプの蛍光光学機器3が適用できる。また、表示画面を備えるタイプの蛍光光学機器3が適用できる。比較的安価な蛍光光学機器3を用いる場合、多数の歯科医院での導入も容易である。蛍光光学機器3は、口腔内の蛍光画像22を、外科的な侵襲無く、繰り返し、撮影可能である。蛍光光学機器3は、蛍光照明光源、光学フィルタ、カメラ(撮像素子)、操作ボタン、通信インタフェース装置、表示装置等を備える。なお、蛍光光学機器3は、1台の機器の構成に限らず可能であり、例えば蛍光照明光源機器とカメラ機器とで分かれていてもよい。
【0055】
[蛍光光学機器(2)]
蛍光光学機器3を用いた蛍光画像22の撮像は、例えば以下のように行われる。まず、患者の口腔内の照明状態としては、できるだけ暗い状態にされる。医師は、患者の口腔内の患部を含む対象領域に対し、所定の好適な距離(例えば10cm)および角度で離れた位置から、所定の好適な範囲(例えば10cm×10cm)となるように、蛍光光学機器3のカメラを向けて撮像する。医師は、その際、例えば蛍光光学機器3に備える撮像ボタン、または後述の表示画面内の撮像ボタンを押す。
【0056】
蛍光光学機器3は、撮像の際、蛍光照明光源から特定の波長帯域の照射光を口腔内の対象領域へ向けて照射する。この照射光は、例えば400〜460nmの波長帯域の青色光である。口腔粘膜における照射光の深達度は、例えば400〜600μm程度である。これに対し、後述の原理によって、口腔の対象領域から、特定の波長帯域の蛍光が生じる。蛍光光学機器3は、その蛍光を入射し、光学フィルタによる透過によって、特定の波長帯域の蛍光(例えば緑色を示す蛍光)を抽出して、カメラに入射させる。これにより、蛍光光学機器3は、その特定の蛍光を表す画像である蛍光画像22を得る。この蛍光画像22の画素値は、明るい緑色と黒との間の多階調の輝度値である。
【0057】
蛍光光学機器3は、撮影した蛍光画像22を含むデータを内部メモリに記憶すると共に、その蛍光画像22(対応するモニタ映像)を表示画面に表示する。医師は、蛍光光学機器3の表示画面でモニタ映像を確認しながら撮影が可能である。また、蛍光光学機器3は、取得した蛍光画像22のデータを計算機10へ送信する。なお、蛍光画像22等の画像は、静止画としてもよいし、動画像としてもよい。
【0058】
[蛍光光学機器(3)]
蛍光光学機器3の照射光の照射部位には、健常組織または何らかの病変の部位が存在する。その照射部位の物質に応じた蛍光が生じ、輝度の違いとして表れる。詳しくは、以下のような医学的な原理が知られている。口腔粘膜の上皮には、蛍光特性物質(言い換えると蛍光源)として、補酵素であるFAD(flavin adenine denucleotide)が含まれている。また、他の蛍光源として、粘膜の間質には、コラーゲン(CCL)が含まれている。なお、FADの蛍光波長帯域は例えば475〜540nmである。コラーゲン(CCL)の蛍光波長帯域は例えば350〜540nmである。照射光(青色励起光)の波長帯域は例えば400〜450nm(ピーク波長425nm)とする。照射光に対し、蛍光源からの蛍光として400〜540nm程度の帯域の蛍光が生じる。蛍光光学機器3に備える光学フィルタによって入射光から透過された観察帯域の蛍光として475〜540nmの帯域の蛍光が得られる。
【0059】
まず、照射部位が健常組織である場合には、照射光によって、蛍光として、明るい緑色の蛍光を生じる。この場合の蛍光を、蛍光可視保持(FVR:Fluorescence Visualization Retention)と記載する。一方、照射部位が口腔がん等の疾患(上皮異形成やSCC等)や、他の病変や症状の状態である場合には、照射光によって、暗い蛍光、言い換えると蛍光の低下を生じる。この場合の蛍光を、蛍光可視低下または蛍光可視損失(FVL:Fluorescence Visualization Loss)と記載する。FVLに関して、以下のような原理が知られている。
【0060】
照射部位の蛍光源の物質が、疾患やTCA回路異常等によって、健常時よりも減少している場合がある。その場合、蛍光画像において、その部位に対応する画素領域では、FVLとして現れる。例えば、前癌病変の場合、FADが減少する。口腔がんの場合、FADに加え、コラーゲンが減少する。口腔がんの場合、コラーゲンの架橋構造が破壊されると考えられる。すなわち、FVLは、照射部位での、FADやコラーゲンの減少、血管拡張、新生血管の増生、その他の特定の化学変化の発生によるものと考えられる。例えば、上皮異形成の場合、代謝が亢進し腫瘍新生血管を増成し、血管密度が大きくなる。SCCでは、TCA回路が亢進し、FADがFADH
2に変換される。また、SCCでは、コラーゲン架橋構造が破壊される。炎症性疾患の場合、血管拡張が生じる。
【0061】
また、疾患によっては、一部に角化(対応する白斑)が生じる場合もある。この場合、その角化(白斑)の領域は、照射光の散乱等によって、蛍光画像では、FVLではなく、比較的明るい緑色のFVL領域として現れる(後述の
図5の画像例)。蛍光画像の輝度状態に応じて、このような病変のタイプや種類もある程度鑑別可能である。
【0062】
上記のように、口腔粘膜の蛍光源等の物質の健常や疾患の状態に応じて、蛍光画像でのFVRとFVLの現れ方の違いが生じる。すなわち、蛍光画像では、周囲の健常と思われる領域がFVRの明るい緑色として現れるのに対し、疾患が疑われる領域がFVLの暗い色として現われる。つまり、蛍光画像において、FVLの領域に関しては、口腔がんの可能性を含む何らかの疾患等の可能性がある部位であると推測することができる。しかしながら、従来、医師が蛍光画像を観察して視覚的評価を行う場合に、FVRとFVLの状態の見た目だけでは、口腔がんと他の病変との鑑別が難しい場合がある。例えば、SCCの場合と口内炎の場合とで、蛍光画像の内容においていずれも似たようなFVLが現れる場合があり、一見しただけでは両者の鑑別が難しい場合がある。
【0063】
[鑑別]
本発明者は、蛍光画像の観察、および口腔がんと他の病変との鑑別に関して、以下のような知見を見出した。すなわち、蛍光画像の内容において、口腔がん等の悪性病変の場合と、他の良性病変の場合とでは、FVL領域とFVR領域との境界領域に関して、輝度の特性に違いがみられる。FVL領域は、概ね、疾患の部位に対応すると推定され、FVL領域の周囲のFVR領域は、概ね、健常の部位に対応すると推定される。そして、それらの領域間にある例えば概略リング状の境界領域は、悪性病変の場合と良性病変の場合とで、輝度の変化に違いがみられる。例えば、良性病変の場合、境界領域では、輝度の変化が急なものとして現れる。言い換えれば、FVL領域とFVR領域との境界が明瞭に見える。一方、悪性病変の場合、境界領域では、輝度の変化が緩やかなものとして現れる。言い換えれば、FVL領域とFVR領域との境界が、中間的な不明瞭な領域として見える。例えば、SCCの場合、主な患部(対応するFVL領域)の周囲に、上皮異形成を伴っている場合が多い。そのため、上皮異形成の領域が、境界領域での不明瞭な領域として現れると考えられる。
【0064】
また、蛍光画像からFVL領域をとりだして詳細に観察した場合に、輝度の凹凸形状に関して、病変に応じた特性の違いがみられる。例えば、悪性病変の場合、良性病変に比べ、比較的凹凸の高さが高く、密度が大きい場合がある。
【0065】
そこで、実施の形態1の口腔検診支援システム1は、蛍光画像22のFVLとFVRとの境界領域に着目し、境界領域での輝度変化率Hを計算し、鑑別の指標値の1つとして用いる。輝度変化率Hが閾値等と比べて小さい場合には、どちらかというと悪性病変の可能性が高いものと推定できる。また、計算機10は、蛍光画像22から、輝度変化率Hの計算に基づいて、境界領域または不明瞭領域を抽出することもできる。また、計算機10は、輝度変化率Hの大小から、口腔がんと他の病変との鑑別に関する分類の結果値61を判断し出力する。従来では、蛍光画像の観察に基づいて鑑別を行う場合、医師による主観的な視覚的評価のみである。それに対し、実施の形態1の口腔検診支援システム1は、輝度変化率H等を用いた客観的な評価が可能であり、結果として医師による鑑別の精度を高めることができる。
【0066】
[蛍光画像]
図4は、蛍光画像22の例を示す。画像401は、患部が口腔がん、例えば舌の扁平上皮がんである場合で、舌の裏側から撮像した画像の一部を示す。この画像401内には、患部に対応する画素領域402を含む。画素領域402は、概ね、全体的に暗い色を持つFVL領域となっている。この病変のタイプは、角化(白斑)が無い、または低度であるため、FVR領域がみられない。
【0067】
図5は、蛍光画像22の他の例、および境界領域の概念等について示す。画像A1は、画像401と同様に、患部が口腔がん、例えば舌の扁平上皮がんである場合の画像である。この画像A1の患部の領域501は、画像401に比べ、違いとして、中央付近に、角化(白斑)による明るい緑色のFVR領域がみられる。画像B1は、他の病変や症状として、患部の領域502が頬粘膜の口内炎である場合の画像である。画像A1内や画像B1内には、比較的明るい緑色のFVR領域と、比較的暗い色のFVL領域とが混在している。各画像中の点Pとその点Pを起点とする矢印は、輝度変化率Hの計算対象位置の画素の例と、輝度変化が大きいと思われる概略的な方向とを示している。なお、口内炎や血質等の場合、ヘモグロビンの影響でFVLが生じると考えられる。
【0068】
[第1指標値の計算]
図5で、画像A2は、画像A1に対応した説明上の模式的な画像を示す。画像A2内には、大別して3種類の領域がみられる。すなわち、中央付近にあるFVRの領域R11と、その周囲にある概略リング状のFVLの領域R12と、さらにその周囲にあるFVRの領域R13とがある。領域R11および領域R12は、大まかに、口腔がんの病変部(領域501)に対応している。この病変部の例は、角化による白斑が、領域R11のFVRとして現れている。領域R11を除く、概略リング状の領域R12は、暗い色のFVLとして現れている。領域R12の外側にある領域R13は、概ね健常組織であり、FVRとして現れている。
【0069】
図4の画像401の場合、FVLの領域は、リング状ではなく、単に全体的に暗い色の領域となっている。同じ口腔がんでも、詳細には、白斑型や潰瘍型やびらん型等の各種の形状の病変が存在する。各病変におけるFVL領域の形状は様々に存在する。本発明者の知見によれば、病変に応じて、FVL領域の境界付近で、輝度の変化が緩やかである場合と急である場合とがある。
【0070】
画像A2で、境界線L1は、説明用に、FVLの領域R12の外周側の境界線を強調して示している。境界線L1は、FVRの明るい緑色の画素とFVLの暗い色の画素との境界にあるいずれかの画素に対応付けられる線である。境界線L1上に、例えば点P1と、点P1を起点とした矢印の方向D1をとった場合を示す。点P1は、画像A1の点Pと概略的に対応している。方向D1は、点P1の画素から、概略的に患部の中心(領域R11および領域R12の中心)に向いた方向である。この方向D1は、最大の輝度変化率Hが存在すると思われる概略的な方向である。なお、境界線L1、点P1、方向D1等は、正確でなくてもよく、指標値計算上では十分な効果をもたらす。計算機10は、第1指標値である輝度変化率Hを計算する際には、例えば点P1のような対象点をとり、その対象点で、後述の計算式に基づいて、輝度変化率Hを計算する。同様に、境界線L1上の複数の各点で、輝度変化率Hを計算してもよい。
【0071】
画像B2は、同様に、口内炎の場合の画像B1に関する模式的な画像を示す。画像B2でも、大別して3つの領域がみられる。このように、画像A2と画像B2とで、FVRおよびFVLの領域の分布が類似しており、一見では病変の違いが鑑別できない場合がある。なお、各画像に関して、処理上、2次元座標(X,Y)を有する。X方向は横方向、Y方向は縦方向である。
【0072】
[境界領域]
図5中、画像A3は、画像A2に関して、境界領域の概念を示す。画像B3は、同様に、画像B2に関して、境界領域の概念を示す。画像A3で、境界領域R30は、FVLの領域R12と外側のFVRの領域R13との境界(境界線L1)付近の領域である。境界領域R30は、本例では、境界線L1付近にある線L2と線L3との間にある概略リング状の領域として示す。線L2は、境界線L1に対し、内側にある、FVLの暗い色の画素に対応付けられる、領域円周方向(方向d2)にわたって連続して閉じた領域を構成する線である。領域半径方向(方向d1)で、線L2の位置は、境界線L1の内側で、領域R12内にある。なお、線L2の位置は、これに限らず、領域R11の外周の線の位置としてもよい。線L3は、境界線L1に対し、外側にある、FVRの緑色の画素に対応付けられる、方向d2にわたって連続して閉じた領域を構成する線である。方向d1で、線L3の位置は、境界線L1の外側で、領域R13内にある。線L2,L3の位置や形状は、正確でなくてもよく、指標値計算上では十分な効果をもたらす。計算機10は、上記のような境界領域R30内で、輝度変化率Hの計算対象点を設定し、その点毎に輝度変化率Hを計算する。画像A2,A3の例では、境界線L1上に複数の対象点をとる場合を示しているが、これに限らず、境界領域R30内で、境界線L1の付近に対象点をとればよい。
【0073】
[関心領域]
図6は、
図5の例に続いて、関心領域の設定例等を示す。画像A4は、画像A3に対応した画像であり、第1指標値の計算のための第1関心領域R1を設定する例を示す。医師または計算機10は、境界領域R30内で、境界線L1の外側、線L3よりも内側の位置に、一点鎖線で示すような関心領域境界線KL1をとる。この関心領域境界線KL1は、領域R13内の緑色の画素をとるように設定されている。関心領域K1は、関心領域境界線KL1によって規定される閉じられた領域である。関心領域K1は、第1指標値の計算の際に用いる第1関心領域R1となる。関心領域K1は、境界領域R30の一部を含み、境界線L1の内側のFVL領域と、境界線L1の外側のFVR領域とを含む。
【0074】
画像A5は、画像A3に対応した画像であり、第2指標値の計算のための第1関心領域R1を設定する例を示す。医師または計算機10は、境界領域R30内で、境界線L1の内側、線L2よりも外側の位置に、一点鎖線で示すような関心領域境界線KL2をとる。この関心領域境界線KL2は、関心領域R12内の暗い色の画素をとるように設定されている。関心領域K2は、関心領域境界線KL2によって規定される閉じられた領域である。関心領域K2は、第2指標値の計算の際に用いる第1関心領域R1となる。関心領域K2は、境界領域R30の一部を含み、境界線L1の内側のFVL領域を含み、境界線L1の外側のFVR領域を含まない。
【0075】
第1指標値の計算の場合、FVRとFVLとの境界付近の輝度変化に着目するので、画像A4のように関心領域K1をとることが好適である。第2指標値の計算の場合、主にFVL領域に着目するので、画像A5のようにFVR領域をなるべく含まない関心領域K2をとることが好適である。なお、このような関心領域の設定の仕方に限らず可能であり、大まかな設定でも、指標値計算上では十分な効果をもたらす。本例では、境界線L1に対応させた形状として関心領域K1,K2をとっているが、これに限らず、大まかな形状で設定してもよい。例えば、関心領域の形状を、境界線L1を包含する、単純な矩形や円形等の形状で設定してもよい。あるいは、関心領域を、境界線L1内の領域の一部の領域として設定してもよい。
【0076】
医師が表示画面の蛍光画像22に対する入力操作によって関心領域を設定する方式の場合、医師は、例えば境界線L1の付近を指またはペン等でなぞることで、関心領域境界線をひく。計算機10が自動的に関心領域を設定する方式の場合、計算機10は、蛍光画像22内から、画素の輝度の明暗に応じて、FVL領域を抽出し、そのFVL領域の外周の外側に大まかに関心領域境界線をひく。他の方式としては、医師が蛍光画像22に対し一旦大まかに関心領域を設定し、その後、計算機10が、所定の画像処理で、関心領域の形状を整形するようにしてもよい。
【0077】
上記のように、実施の形態1における代表的な方式では、計算機10は、計算対象の指標値に応じて、異なる形状や大きさの関心領域K1,K2を設定する。この方式は、指標値毎の精度を優先する場合に好適である。これに限らず、他の方式として、計算機10は、計算対象の指標値に依らずに、同じ形状や大きさの1つの関心領域(例えば関心領域K1のみ)を設定し、各指標値の計算に共用してもよい。この方式の場合、関心領域の設定作業の手間が削減できる。
【0078】
[対象点]
次に、
図6中、画像A6は、画像A4に関して、関心領域K1の関心領域境界線KL1上に、複数の点(対象点)Cを設定する例を示す。この対象点Cは、輝度変化率Hの計算対象位置の画素である。医師または計算機10は、関心領域境界線KL1上に、1つ以上の対象点Cをとる。
【0079】
医師が蛍光画像22内に対象点Cを設定する方式の場合には以下の通りである。医師は、蛍光画像22の見た目から、すなわちFVLおよびFVRの分布の形状等から、好適な対象点Cを1つ以上設定する。医師は、例えば関心領域境界線KL1上の1つの対象点Cを指定するタッチ入力を行う。この対象点Cは、医師が、輝度変化率Hが大きいと推測する箇所の1点である。なお、1つの対象点Cを指定する際に、方向D1のように、2点によるベクトルの線を指定するようにしてもよい。なお、指定された対象点Cが、正確ではなくても、指標値計算上では十分な効果をもたらす。計算機10は、指定された対象点Cでの輝度変化率Hを計算する。あるいは、後述のように、計算機10は、対象点Cとその周囲を含む領域の各画素を対象として、輝度変化率Hを計算してもよい。この場合、その領域内で最大の輝度変化率Hを持つ点を得ることができる。この方式は、医師が指定した対象点またはその付近での輝度変化率Hを取得し確認することができる。
【0080】
計算機10が自動的に対象点Cを設定する方式の場合には以下の通りである。計算機10は、設定された関心領域境界線KL1上に、複数の点Cを設定する。計算機10は、例えば、関心領域境界線KL1を構成する全画素を、それぞれ対象点として設定する。あるいは、計算機10は、関心領域境界線KL1上、所定の数の対象点を設定してもよいし、一定間隔で対象点を設定してもよい。本例では、説明を簡略化するために、関心領域境界線KL1上、領域円周方向上で間隔を置きながら、12個の対象点C(C1,C2,……,C12)をとった場合を示す。これらの複数の対象点Cは、各矢印のように、それぞれ異なる輝度変化の方向を想定して設定されている。方向D8等の各矢印は、各点Cから、概略的に関心領域K1の中心(例えば中心点C0)に向く方向を示す。本例では、計算機10は、第1指標値の計算のために、対象点Cが設定されれば十分であり、方向D8のような情報は必須では無い。なお、計算機10は、点C毎にこのような各方向を設定して処理を行ってもよい。
【0081】
また、他の機能として、計算機10は、医師の操作に基づいて、このような点Cからの方向(ベクトルの線)が指定された場合に、その方向に対応する断面における画素の輝度の状態をグラフにして表示してもよい。
【0082】
画像A7は、同様に、画像A5に対応する画像であり、関心領域境界線KL2上に、複数の点C(C1,C2,……,C12)をとる場合を示す。なお、第2指標値を計算する場合、このような対象点Cの設定は不要である。第2指標値用の関心領域K2を用いて第1指標値を計算する場合には、このような対象点Cの設定が可能である。
【0083】
[輝度変化率]
図7は、続いて、対象点Cを用いた輝度変化率Hの計算について示す。(A)の画像A8は、画像A6に関して、複数の対象点C(C1〜C12)の画素毎に、輝度変化率Hを計算する場合を示す。点C毎に持つ輝度変化率Hの値を“H(C)”のように表す。本例では12個の輝度変化率H(H1〜H12)が計算されている。例えば1つの点C8に着目して説明する。まず、点C8の1点のみで輝度変化率H8を計算する方式の場合には以下の通りである。
【0084】
(B)は、点Cでの輝度変化率Hの計算式を示す。点Cでの輝度変化率Hは、単位画素間隔(単位画素数ともいう)あたりの輝度の変化である。第1の計算式は、H=(B1−B2)÷Nである。B1は、第1画素の輝度値である。B2は、第2画素の輝度値である。Nは、単位画素間隔(単位画素数)であり、例えば一定の設定値である。第1画素と第2画素は、対象点Cの付近にある2つの画素であり、それらの間隔が単位画素間隔Nである。また、第2の計算式は、ピタゴラスの定理に基づいて、H=√(Hx
2+Hy
2)である。HxはX方向の輝度変化率であり、HyはY方向の輝度変化率である。輝度変化率Hは、数学的にはベクトルで表現され、第2の計算式のように、2つの方向の輝度変化率の合成によって計算できる。輝度変化率Hの詳しい計算処理例は以下のようになる。
【0085】
計算機10は、計算用に、点C8の画素とその周囲を含む領域601を設定する。この領域601は、例えば単なる矩形の領域である。これに限らず、この領域は、円形等の領域としてもよいし、領域602のように方向D8に沿った形状の領域としてもよい。(C)は、領域601を拡大で示す。領域601は、点C8を中心とした所定のサイズの正方形領域である。
【0086】
計算機10は、着目している対象点C8での最大の輝度変化率Hを計算する。点C8の画素に関して、最大の輝度変化率Hを持つ方向は、方向D8にあるとは限らず、例えば方向D8bにあるかもしれない。医師に応じて目視でも最大の輝度変化率Hを持つ方向を概略的に推測できるが、計算機10は、より正確に、最大の輝度変化率Hを持つ方向での輝度変化率Hを計算する。
【0087】
計算機10は、計算用に、点C8の周りに、X方向およびY方向で、4つの画素の点を設定する。これは、X方向の輝度変化率HxとY方向の輝度変化率Hyとを計算するためである。本例では、点C8の上下左右の4つの点として、点Px1,Px2,Py1,Py2が設定されている。本例では、X方向およびY方向の各方向で、単位画素間隔としてN=3×2=6の場合を示す。具体例として、各画素の輝度値が、点C8では107、点Px1では128、点Px2では91、点Py1では110、点Py2では118であるとする(括弧内に輝度値を示す)。各画素は位置座標(X,Y)を持つ。例えば点C8は(380,287)である。
【0088】
計算機10は、点C8と周囲の4点の輝度値(G値)を用いて、点C8の輝度変化率H8を計算する。まず、X方向の輝度変化率Hxは、点Px1,C8,Px2の3点の輝度値を用いて、第1の計算式に基づいて、例えば、Hx=(91−128)÷6≒−6.17のように計算できる。同様に、Y方向の輝度変化率Hyは、点Py1,C8,Py2の3点の輝度値を用いて、例えば、Hy=(118−110)÷6≒+1.33のように計算できる。なお、正符号は輝度が増加する方向、負符号は輝度が減少する方向を表す。そして、輝度変化率Hは、第2の計算式に基づいて、例えば、H=√(6.17
2+1.33
2)≒6.31となる。第1指標値の計算処理を高速化したい場合、上記のように、対象点C8のみで輝度変化率Hを計算してもよい。
【0089】
さらに、より高精度の結果を得たい場合、以下のような方式を用いる。計算機10は、領域601内に含まれる画素毎に、上記と同様に、輝度変化率Hを計算する。例えば、(C)で図示する7×7の領域の各画素について、同様に、最大の輝度変化率Hが計算される。計算機10は、領域601内の各画素の輝度変化率Hのうち、最大であった輝度変化率Hを持つ画素を抽出する。計算機10は、その最大であった輝度変化率Hの画素を、結果とする。例えば、点C8bの輝度変化率Hが最大であった場合、その点C8bが結果となる。
【0090】
計算機10は、同様に、関心領域境界線KL1上の各点Cの領域に関して、最大の輝度変化率Hを持つ画素を計算する。この結果が、例えば、各点Cの領域での輝度変化率H(H1〜H12)として設定される。さらに、計算機10は、複数の輝度変化率H(H1〜H12)について、最大値、最小値、平均値、標準偏差等を計算する。計算機10は、複数の輝度変化率Hのうち、最大値を持つ1つを選択してもよい。例えば輝度変化率H8が最大値であるとする。計算機10は、その輝度変化率H8を、第1指標値の計算結果として出力してもよい。計算機10は、さらに、複数の点Cの輝度変化率H(H1〜H12)の平均値(輝度変化率平均値)を、第1指標値の計算結果として出力してもよい。
【0091】
[第2指標値の計算]
図8は、第2指標値(輝度比率Rおよび変動係数V)を計算する場合に、蛍光画像22内に第1関心領域R1と第2関心領域R2を設定する例を示す。第2指標値を用いる方式は、病変部(またはFVL領域)と健常な対照部(またはFVR領域)との対照での解析によって、輝度の比率等を調べる方式である。
【0092】
(A)の画像801は、蛍光画像22の模式的な画像であり、病変部802と健常組織を持つ対照部802とを含んでいる。医師または計算機10は、画像801内で、病変部802に対し、病変部関心領域である第1関心領域ROI1を設定する。例えば、前述の
図6の画像A5と同様に、病変部802のFVL領域の境界線の内側付近に関心領域境界線をひくことで、第1関心領域ROI1が設定される。
【0093】
また、医師または計算機10は、同じ画像801内で、病変部の第1関心領域ROI1からなるべく離れた位置に、対照部のFVR領域を持つ第2関心領域ROI2を設定する。医師は、口腔内の患部の第1関心領域ROI1に対し、例えばなるべく前方(身体正面方向)の位置にある健常組織部分を選択して第2関心領域ROI2を設定する。
【0094】
(B)は、輝度比率Rおよび変動係数Vの計算式を示す。計算機10のパラメータ計算処理部44は、第1関心領域R1および第2関心領域R2の2種類の関心領域の関心領域毎に、面積(例えば画素数)を測定し、その領域における、平均輝度、標準偏差、最小輝度、最大輝度、最頻値等のパラメータを測定する。輝度の単位は例えば[cd/m
2]である。また、計算機10は、各関心領域について、輝度のヒストグラムを作成し表示してもよい。医師は、このヒストグラムの視覚的評価を行ってもよい。
【0095】
計算機10の第2指標値計算処理部46は、上記パラメータを用いて、輝度比率Rを計算する。計算式は、例えば、R=[病変部(第1関心領域ROI1)の平均輝度]÷[対照部(第2関心領域ROI2)の平均輝度]×100%である。第2指標値計算処理部46は、上記パラメータを用いて、変動係数Vを計算する。計算式は、例えば、V=[病変部(第1関心領域ROI1)の標準偏差]÷[対照部(第2関心領域ROI2)の標準偏差]×100%である。
【0096】
口腔がんであるか他の病変であるかに応じて、輝度比率Rおよび変動係数Vには大小の違いがみられる。第2指標値を用いた鑑別処理の際には、その第2指標値の大小の判断に基づいて、分類が可能である。
【0097】
[3次元グラフ、第3指標値]
計算機10の3次元グラフ処理部43は、蛍光画像22のうち、病変部のFVL領域を含むように設定された第1関心領域R1を対象として、3次元グラフG1を作成する。この病変部のFVL領域は、蛍光画像22の全体の輝度分布のうちで、概略的には、輝度が低い谷のような領域であるといえる。本発明者の知見によれば、このFVL領域に対応する谷の領域を、詳細に観察すると、口腔がんか他の病変か等の種類に応じて、凹凸形状に違いやパターンがみられる。3次元グラフG1は、このFVL領域の凹凸形状を、所定のカラースケールでの色付けと共に、わかりやすいように可視化するものである。
【0098】
3次元グラフ処理部43は、蛍光画像22のX方向およびY方向の各画素の輝度値に基づいて、3次元グラフG1では、X方向に蛍光画像22のX方向の各画素をとり、Y方向に蛍光画像22のY方向の各画素をとり、高さ方向であるZ方向には各画素の輝度値(G値)をとる。そして、3次元グラフ処理部43は、輝度値(G値)のスケールを、所定のカラースケールにマッピングするように変換した値を、Z方向の輝度値として設定する。所定のカラースケールは、グレースケールや疑似カラースケール等も使用可能であり、特に限定されず、可変に設定可能である。所定のカラースケールは、Z方向の凹凸の高さの違いがわかりやすいスケール(例えば低い方から高い方へ、赤、橙、黄、緑、水、青、紫等の色を含んだ多階調のスケール)が選択される。医師は、3次元グラフG1を見て、FVL領域の凹凸形状の観察に基づいて、口腔がんか他の病変かをある程度鑑別することができる。また、計算機10は、例えば、3次元グラフG1のうち医師が指定したZ方向の高さ値に対応する断面等を表示させてもよい。これにより、その断面でも凹部や凸部の領域を可視化できる。
【0099】
さらに、実施の形態1の口腔検診支援システム1では、計算機10の第3指標値計算処理部47は、3次元グラフG1に関する客観的な評価を実現するために、第3指標値である形状指標値(凹凸形状指標値)を計算する。3次元グラフG1は、
図9の例のように、輝度分布の凹凸形状を示しており、凹部(谷部)や凸部(山部)が現れている。計算機10は、これらの凹部や凸部の特性を表す形状指標値を計算する。形状指標値の詳しい値の例は以下が挙げられる。
【0100】
(a)凹部または凸部の数、および密度: 計算機10は、Z方向の輝度値(G値)に関する輝度閾値を用いて、凹部または凸部を抽出する。例えば凸部を検出するものとする。計算機10は、輝度閾値を用いて、凸部の高さ(底面と頂上面との差)が所定の高さ以上である凸部を抽出する。計算機10は、抽出した凸部の数を得る。また、計算機10は、単位面積(第1関心領域R1)あたりの凸部の数(言い換えれば密度)を計算する。
【0101】
(b)凹部または凸部の高さ: 計算機10は、例えば各凸部の高さを計測する。また、計算機10は、単位面積における複数の各凸部の高さの平均値や標準偏差を計算する。
【0102】
(c)凹部または凸部の面積: 計算機10は、例えば抽出した各凸部の面積(例えば平面視で凸部の頂上部分の面積)を計算する。また、計算機10は、複数の凸部の面積の平均値や標準偏差を計算する。
【0103】
計算機10は、上記計算した形状指標値を出力する。さらに、計算機10の鑑別処理部48は、形状指標値から、鑑別の分類値61を決定してもよい。処理例は以下の通りである。計算機10は、例えば凸部の数を、閾値と比較し、多いか少ないかに分ける。あるいは、計算機10は、例えば凸部の密度を、閾値と比較し、密か疎かに分ける。また、計算機10は、例えば凸部の高さの平均値を、閾値と比較し、高いか低いかに分ける。また、計算機10は、例えば凸部の面積の平均値を、閾値と比較し、大小に分ける。
【0104】
計算機10は、各形状指標値の比較結果から、所定の判断によって、患部が口腔がんであるか他の病変であるかに関する分類値を決定する。所定の判断は、形状指標値毎の判断でもよいし、複数の形状指標値の組み合わせによる判断でもよい。例えば、あるタイプの悪性病変に関する判断としては、凸部の数または密度が閾値以上で、かつ、凸部の高さの平均値が閾値以上の場合には、その悪性病変の可能性が高いという分類となる。また、例えば、あるタイプの良性病変に関する判断としては、凸部の数または密度が閾値未満で、かつ、凸部の高さの平均値が閾値未満の場合には、その良性病変の可能性が高いという分類となる。
【0105】
図9は、3次元グラフG1の例を示す。(A)の3次元グラフGAは、患部が口腔がん(特にびらん型)である場合を示す。3次元グラフGAは、比較的高い凸部(山)や凹部(谷)が比較的多数あることがわかる。(B)の3次元グラフGBは、患部が口内炎である場合を示す。3次元グラフGBは、比較的低い凸部(山)や凹部(谷)が比較的少数あることがわかる。このように、病変の種類に応じて、3次元グラフG1で凹凸形状には違いがみられる。第3指標値を用いることで、このような凹凸形状の評価が可能であり、病変に応じて異なるパターン(例えばあるタイプの口腔がんを表す第1パターン、口内炎を表す第2パターン等)に分類できる。
【0106】
[画面例]
図10は、計算機10の表示画面の例を示す。この画面は、口腔検診の際に、対象の患者の口腔に関する、2種類の画像と、指標値を含む口腔検診結果32とを表示する画面の例である。この画面は、領域1001に写真画像21が表示され、領域1002に蛍光画像22が表示される。すなわち、写真画像21と蛍光画像22とを組として並列に2種類の画像が表示される。この領域には、患者情報や画像ID等の関連情報も併せて表示してもよい。また、本例では、第2指標値を計算する場合に対応して、蛍光画像22に対し、第1関心領域ROI1と第2関心領域ROI2が設定されている様子を示す。計算機10は、蛍光画像22に関心領域が設定されると、自動的に、写真画像21の対応する位置にも関心領域境界線を表示する。領域1001等では、画像の拡大/縮小等の操作も可能である。医師は、2種類の画像を見ながら、視覚的評価を行うことができる。なお、口腔内の1つの対象領域に限らず、複数の各対象領域に関して、同様に2種類の画像を表示することも可能である。
【0107】
変形例として、医師は、写真画像21内の患部領域に対し関心領域を設定する操作を行うこともできる。計算機10は、一方の種類の画像内に関心領域が設定されると、他方の種類の画像内の対応する位置の領域に、関心領域を自動的に設定する。
【0108】
変形例として、計算機10は、写真画像21または蛍光画像22から、所定の画像処理によって、患部と思われる画素領域を判断して抽出し、その画素領域に対し自動的に関心領域を設定してもよい。例えば、計算機10は、閾値を用いて、蛍光画像22内からFVL領域を自動的に抽出し、そのFVL領域に対し関心領域を設定してもよい。
【0109】
また、この画面は、指示入力のためのボタン1003,1004,1005を有する。ボタン1003は、2種類の画像の撮像指示を入力するためのボタンである。また、撮像した複数の画像がある場合には、ボタン1003等によって画像の選択や切り替えが可能である。
【0110】
ボタン1004は、関心領域の設定指示を入力するためのボタンである。医師は、関心領域を設定する際には、2種類の画像を見比べて患部等の位置関係を把握しながら、例えば蛍光画像22内のFVL領域に対し関心領域を設定することができる。
【0111】
ボタン1005は、指標値計算等の解析の実行指示を入力するためのボタンである。計算機10は、ボタン1005の押下に応じて解析を実行し、前述の指標値等を計算する。この画面は、領域1006に、解析結果の指標値が表示され、領域1007に、結果値60(鑑別の分類値61、アドバイスの分類値62)が表示される。また、この画面で、「3次元グラフ」のボタン1008が押下された場合、計算機10は、所定の領域に、3次元グラフG1を表示し、領域1006には、第3指標値を表示し、領域1007には、第3指標値に関する結果値を表示する。
【0112】
[補足−輝度断面]
図11は、補足として、蛍光画像の輝度断面を考えた場合の形状のイメージ(不正確な模式図)を示す。(A)は、前述の口腔がんの画像A2の場合、(B)は、口内炎の画像B2の場合のイメージを示す。(A)で、ある位置の断面(A−A線)の方向における例えば点p1から点p2までの画素位置の輝度値の分布のイメージを、下側のグラフに示す。点pL1は境界線L1に対応する位置である。このように、口腔がんの場合、FVRとFVLとの境界付近では輝度の変化が緩やかであり、境界が不明瞭である。また、FVL領域では、比較的高い多数の凸部(または凹部)がみられる。(B)で、ある位置の断面(B−B線)の方向における例えば点p3から点p4までの画素位置の輝度値の分布のイメージを下側のグラフに示す。点pL2は境界線L1に対応する位置である。このように、口内炎の場合、FVRとFVLとの境界付近では輝度の変化が急であり、境界が明瞭である。また、FVL領域では、比較的低い少数の凸部(または凹部)がみられる。前述の第1指標値や第3指標値は、このような輝度の特性を反映している。
【0113】
[効果等]
上記のように、実施の形態1の口腔検診支援システム1によれば、一般の多数の開業歯科医院を含む歯科医院で患者が口腔がん検診を含む口腔検診を容易に受けることができる仕組みや、医師による口腔がんと他の病変との鑑別を支援できる仕組み等を提供することができる。口腔検診支援システム1によれば、指標値や鑑別の分類値を含む口腔検診結果32を提供できる。これにより、口腔がんの早期発見、スクリーニング、トリアージ等をしやすくでき、日本における口腔がんによる死亡率の低減に貢献できる。患者および医師は、口腔検診結果32から、専門医に相談や連携する等、早期対応ができる。また、口腔検診支援システム1によれば、各歯科医院での口腔検診の導入を容易にし、医師による口腔検診作業をより容易にできる。本システムは、医学生等の支援にも適用できる。口腔検診支援システム1によれば、一般の多数の開業歯科医院の医師が、口腔がん等の重大な疾患に関して第一発見者になれるように、口腔検診および診療の力を向上できる。
【0114】
実施の形態1の変形例として以下も可能である。実施の形態1では、計算機10は3種類の指標値(第1指標値、第2指標値、第3指標値)を計算する機能を有する構成としたが、これに限らず、1種類または2種類の指標値のみを計算する機能を有する構成としてもよい。また、
図1で、計算機10は、2種類の画像(写真画像21、蛍光画像22)に限らず、X線撮影装置によるX線画像等の他の種類の画像を追加して扱ってもよい。また、
図1で、計算機10は、開業歯科医院の端末に限らず、専門歯科医院の専門医端末7として設けられてもよい。この変形例の場合、専門医端末7である計算機10は、専門医による鑑別等を支援できる。専門歯科医院は、口腔外科を持つ基幹病院や歯科大学病院等である。専門医は、開業歯科医師よりも口腔がんに関する知見やスキルを持つ医師である。
【0115】
他の変形例として、
図1で、計算機10は、事業者のサーバ6として設けられてもよい。サーバ6は、クラウドコンピュータシステムのサーバでもよい。この変形例の場合、歯科医院端末(専門医端末7でもよい)と、事業者のサーバ6(計算機10)とが、例えばクライアント・サーバ方式で連携する。例えば、歯科医院端末は、2種類の画像およびデータ31を含む要求データを、サーバ6へ送信する。サーバ6は、その要求データを受信し、実施の形態1と同様に、解析等を行い、口腔検診結果32を作成する。サーバ6は、口腔検診結果32を含む応答データを、歯科医院端末に送信する。歯科医院端末は、その応答データを受信して出力する。また、サーバ6のDBに、各歯科医院端末に係わるデータを集積し管理するようにしてもよいし、そのDBのデータ群に対する統計処理や分析処理、機械学習処理等を行うようにしてもよい。
【0116】
(実施の形態2)
図1を用いて、他の実施の形態として実施の形態2の口腔検診支援システムについて説明する。実施の形態2の口腔検診支援システムにおける基本的な構成は、実施の形態1と同様であり、以下では、実施の形態2における実施の形態1とは異なる部分について説明する。実施の形態2の口腔検診支援システムは、
図1での歯科医院の要素は同じであり、追加構成要素として、通信網5を介して、事業者のサーバ6と専門歯科医院の専門医端末7とを有する。実施の形態1では、基本的に歯科医院内で口腔検診が実現されていた。それに対し、実施の形態2では、例えば開業歯科医院と専門歯科医院とで連携した口腔検診を実現する。
【0117】
[システム構成例(1)]
実施の形態2の口腔検診支援システムの構成例は以下の通りである。このシステムは、
図1での歯科医院端末と、専門医端末7とが、通信で連携する。歯科医院端末である計算機10には前述の支援のための機能が実装されている。歯科医院端末である計算機10は、前述の2種類の画像およびデータ31に対する解析に基づいて、一旦、口腔検診結果32を作成する。その際、歯科医院端末は、
図3の結果値60における鑑別の分類値61またはアドバイスの分類値62に応じて、専門医端末7との連携を実行するかどうかを決定する。例えば、鑑別の分類値61が第1分類(口腔がんを示す値)である場合、あるいはアドバイスの分類値62が第1分類(専門医受診推奨を示す値)である場合に、歯科医院端末は、自動的に専門医端末7への連携を実行する。あるいは、結果値60で、鑑別が難しいことを表す第3分類値である場合(経過観察とすべきか、専門医への相談をすべきか、どのような処置をすべきか等の判断が難しい場合)に、専門医端末7への連携を実行させるものとしてもよい。
【0118】
なお、この連携の動作は、結果値60に応じた連携の動作の指示が設定されている構成等で実現できる。歯科医院端末は、連携実行の際、口腔検診結果32のデータ(2種類の画像、問診や所見のデータ31、指標値、結果値60等を含む)と、アドバイスまたは鑑別を求める旨のメッセージとを含む要求データを、専門医端末7へ送信する。この送信は、例えば電子メール形式でもよいし、Webページ形式でもよい。歯科医院端末からサーバ7にWebページ形式の要求データをアップロードし、専門医端末7からサーバ6上の要求データを参照する構成等でもよい。また、要求データには、結果値60の分類値に応じて、重要度やレベルを持たせてもよい。例えば、第1分類(口腔がんを示す値)である場合には、高い重要度やレベルとする。この場合、例えば、要求データにアラート表示を追加し、専門医から24時間以内に応答をもらう仕組みとする。
【0119】
専門医端末7は、歯科医院端末からの要求データを受信し、専門医は、その要求データの内容を表示画面等で確認して、医師からの要求を把握する。専門医は、要求に対し、例えば鑑別に関するアドバイス、または自身による鑑別結果をまとめ、専門医端末7に入力する。専門医端末7は、それらを含む応答データを構成し、歯科医院端末へ送信する。歯科医院端末は、応答データを受信して出力する。医師は、応答データの内容を表示画面等で確認し、それに基づいて患者との相談等を行う。このように、患者および医師は、歯科医院にいながら、専門医のアドバイス等が得られる。このシステムによれば、専門歯科医院に受診や連携をする前に、一般の歯科医院で一次的なスクリーニングが可能であり、一般の歯科医院で対応しにくい場合には専門歯科医院にスムーズに連携が可能である。
【0120】
[システム構成例(2)]
変形例のシステムとして以下としてもよい。このシステムで、
図1の歯科医院端末は、2種類の画像やデータ31の入力までを行い、指標値計算等の解析を行わない。専門医端末7には、前述の計算機10の解析等の機能が実装されている。歯科医院端末は、口腔検診に係わる2種類の画像やデータ31を含む要求データを構成し、専門医端末7へ送信する。専門医端末7は、要求データの内容の画像に対し、指標値の計算等の解析を実行し、口腔検診結果32を作成する。専門医は、口腔検診結果32を確認し、鑑別結果やアドバイス等のコメントを入力する。専門医端末7は、そのコメントを含む口腔検診結果32を含む応答データを構成し、歯科医院端末に送信する。歯科医院端末は、応答データを受信して出力する。医師は、応答データの内容を確認し、それに基づいて患者との相談等を行う。このシステムでは、一般の歯科医院は口腔検診の入口・出口として機能とし、口腔検診内の主な鑑別は専門医による割合が大きいものとなる。他のシステム例としては、歯科医院端末、サーバ6、および専門医端末7の3つの装置間で同様に連携を行ってもよい。
【0121】
[システム構成例(3)]
変形例のシステムとして以下としてもよい。日本全国の各地域に存在する多数の開業歯科医院、および基幹病院等の専門歯科医院が、このシステムに登録される。提携する各歯科医院では、前述の計算機10等が導入される。例えば、
図1のサーバ6(または各計算機10)は、登録に基づいて、各開業歯科医院(医師および歯科医院端末)および専門歯科医院(専門医および専門医端末7)の情報を記憶する。この情報は、管理や制御用の情報であり、名前、住所、IPアドレス、メールアドレス等を含む。また、サーバ6(または各計算機10)は、歯科医院間の連携を可能とするために、予め、連携を行う対象や候補となる歯科医院同士の対応付けの情報を、テーブル等に設定しておく。この対応付けは、地域毎に患者が各歯科医院に行きやすいことを考慮して設定される。例えば、ある患者がある開業歯科医院で口腔検診を受けた結果、口腔がんの可能性が示された場合に、専門歯科医院への受診が推奨される。その際に患者が受診しやすいように、開業歯科医院と専門歯科医院との対応付けが設定されている。例えば、歯科医院毎、医師毎に、連携先の歯科医院を指定して登録可能である。また、歯科医院間の対応付けは、1対1に限らず可能である。例えば、1つの歯科医院に対し、2つ以上の専門歯科医院が対応付けて設定されてもよい。また、例えば、地域毎に、複数の歯科医院が1つの基幹病院に対応付けられ、さらに、基幹病院同士で対応付けがされてもよい。なお、歯科医院に限らず、口腔検診を受け付ける健診センター等にも適用可能である。
【0122】
この変形例のシステムによれば、患者を専門歯科医院の受診に効率的にナビゲーションすることができる。患者は、一般の歯科医院で、通常の診療等に伴い、口腔検診を受ける。口腔検診結果32に基づいて、患者は、医師から、口腔がんの可能性に関する鑑別結果またはアドバイス等を受けることができる。医師は、口腔検診結果32に基づいて、専門医受診推奨の場合には、連携先の専門歯科医院を患者に紹介する。口腔検診結果32の書類にもその専門歯科医院の情報が記載される。患者は、すぐにその専門歯科医院を受診して専門医に相談することができ、早期に口腔がんに対処することができる。
【0123】
以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、その要旨を逸脱しない範囲で種々変更可能である。