(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-15
(45)【発行日】2023-11-24
(54)【発明の名称】悪性黒色腫診断装置
(51)【国際特許分類】
A61B 5/0285 20060101AFI20231116BHJP
G01P 5/26 20060101ALI20231116BHJP
A61B 10/00 20060101ALI20231116BHJP
【FI】
A61B5/0285 H
G01P5/26 A
A61B10/00 Q
A61B10/00 T
(21)【出願番号】P 2020000977
(22)【出願日】2020-01-07
【審査請求日】2022-10-14
【新規性喪失の例外の表示】特許法第30条第2項適用 平成31年1月8日、第24回高専シンポジウムin Oyama 講演要旨F-22、発表者:荒木桃子,藤井海雄,経田僚昭,秋口俊輔
【新規性喪失の例外の表示】特許法第30条第2項適用 令和元年5月11日、2019年度日本伝熱学北陸信越支部総会・春季セミナー、発表者:荒木桃子,秋口俊輔,経田僚昭,百生登,田尻智紀,八賀正司,安藤嗣修
【新規性喪失の例外の表示】特許法第30条第2項適用 令和元年8月31日、2019年電気・情報関係学会北陸支部連合大会、発表者:荒木桃子,秋口俊輔,経田僚昭,田尻智紀,安藤嗣修,八賀正司
(73)【特許権者】
【識別番号】504207433
【氏名又は名称】学校法人金城学院
(73)【特許権者】
【識別番号】504237050
【氏名又は名称】独立行政法人国立高等専門学校機構
(74)【代理人】
【識別番号】100095430
【氏名又は名称】廣澤 勲
(72)【発明者】
【氏名】安東 嗣修
(72)【発明者】
【氏名】経田 僚昭
(72)【発明者】
【氏名】秋口 俊輔
(72)【発明者】
【氏名】田尻 智紀
(72)【発明者】
【氏名】八賀 正司
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】国際公開第2009/081883(WO,A1)
【文献】特表2019-522499(JP,A)
【文献】特開2005-192944(JP,A)
【文献】高田 洋吾,他5名,レーザードップラー流速分布測定装置の生体計測への応用,日本機械学会論文集,Vol.79, No.802,日本,日本機械学会,2013年06月,pp.1095-1105,<https://www.jstage.jst.go.jp/article/kikaib/79/802/79_1095/_pdf>
【文献】KYODEN, T., et al.,Assessing the infinitely expanding intersection region for the development of large-scale multipoint laser Doppler velocimetry,Flow Measurement and Instrumentation,2019年12月,Vol.70,Article No.10660
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/03
A61B 10/00
JSTPlus/JMEDPlus/JST7580(JDreamIII)
PubMed
(57)【特許請求の範囲】
【請求項1】
生体組織の画像を撮影する撮影装置と、レーザ光源と、前記レーザ光源からのレーザ光を周波数の若干異なる2本のレーザ光に分岐する音響光学素子と、前記音響光学素子で分岐した前記レーザ光を各々所定の方向に反射する反射鏡と、前記反射鏡により反射された前記レーザ光を面状の薄いシート光にする拡張光学系と、分岐した前記各シート光を生体内の所定位置で互いに交差させる集光光学系と、前記シート光が交差した部位での散乱光を結像させる結像光学系と、前記結像光学系の結像位置に配置された受光部材と、前記受光部材に入射した前記散乱光を電気信号に変換する光電変換素子と、前記生体組織内の前記所定位置の血管の血流により前記レーザ光がドップラー周波数シフトした血流速を、前記光電変換素子毎の前記電気信号を基にして演算する血流演算手段とを有するレーザドップラー血流測定装置を備え、
既知の悪性黒色腫の撮影画像と、その撮影画像の領域を前記レーザドップラー血流測定装置により測定した血流画像と、腫瘍ではない黒子の撮影画像と、その黒子の撮影画像の領域を前記レーザドップラー血流測定装置により測定した血流画像とを、予め深層学習して峻別可能にした深層学習手段とを備え、
悪性黒色腫の疑いのある皮膚を前記撮影装置により撮影した撮影画像と、その撮影画像の領域を前記レーザドップラー血流測定装置により測定した血流画像とを取得して、前記深層学習手段により、悪性黒色腫であるか否かを判断することを特徴とする悪性黒色腫診断装置。
【請求項2】
前記音響光学素子により
前記2本のレーザ光は各々変調され、前記レーザドップラー血流測定装置は、前記2本のレーザ光の入射波面の位相差による干渉縞の移動方向により、血液の流れの方向を検知し前記悪性黒色腫への血液の供給状態
を判断可能に設けられた請求項1記載の悪性黒色腫診断装置。
【請求項3】
前記集光光学系は、
同一平面内に含まれる2本の前記各シート光の面同士を
、当該面内で互いに交差させる請求項1記載の悪性黒色腫診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、生体の血流状態をレーザドップラー方式によって測定し、深層学習による人工知能を用いて悪性黒色腫を峻別する診断装置に関する。
【背景技術】
【0002】
従来の悪性黒色腫の診断には、特許文献1,2,3に開示されているように、腫瘍マーカーを利用して診断するもので、患者の血液を採取する必要があった。従って、検査や診断を非侵襲で行うものではなく、定期的な検査や経過観察には患者の負担が大きかった。
【0003】
一方、ヒトの皮膚の血流に関するデータは、皮膚組織の代謝活性の状態、新陳代謝の状態、老化度、皮膚癌、その他種々の皮膚の状態に関係するものであり、皮膚の血流の測定は、皮膚の状態を判断する上で参考となるものである。ヒトの皮膚の血流を測定する装置として、特許文献4,5に開示されているように、レーザドップラー方式(Laser Doppler Velocimetry(LDV))によって非侵襲で測定する装置が提案されている。レーザドップラー方式による測定方法は、血流測定方法として皮膚に侵襲を与えず、血流速及び血流量の瞬間値を連続的に測定することができる。レーザドップラー方式による血流測定方法は、レーザ光の単色性、可干渉性を利用したもので、レーザ光が皮膚組織内の血管に照射されると、血管内で動いている血球で散乱した光がドップラー効果により周波数シフトを生じるので、この周波数シフト量を基にして血流速を求めるものである。さらに、レーザドップラー方式を基盤技術として、計測点を多点化したMultipoint LDVの開発も行われている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開WO2005/039380
【文献】国際公開WO2006/043362
【文献】国際公開WO2013/191146
【文献】国際公開WO2009/081883
【文献】特開2015-59856号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の悪性黒色腫診断方法では、患者の血液を採取するもので、検査や診断を非侵襲で行うものではなく、頻繁な検査や経過観察には患者の負担が大きかった。また、特許文献4,5に開示されたレーザドップラー方式による血流測定方法は、血流状態を観察することに留まり、悪性黒色腫診断を可能にしたものではない。非侵襲的方法による悪性黒色腫診断は、ダーモスコピーによる医師の目視による判断に委ねる方法が一般的であり、完全非侵襲で皮膚癌を診断する技術はない。
【0006】
この発明は、上記従来の背景技術に鑑みて成されたもので、簡単な光学系を用いたレーザドップラー血流測定方法により、患者の負担を軽減し、非侵襲で高精度に悪性黒色腫の診断を正確に行うことができる悪性黒色腫診断装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
この発明は、深層学習を用いた画像判断技術を基に皮膚癌の発現の有無を診断するものである。診断において先ず、悪性黒色腫である皮膚癌及び悪性ではない黒子の画像をそれぞれ数千枚程度用意し、皮膚癌か黒子かをラベリングしたデータを蓄積する。次に、深層学習を用いた画像診断プログラムによりそれぞれの画像から特徴量の抽出を行う。通常、皮膚癌の診断は皮膚表面の画像を用いて行われるが、本発明では血流計測結果を併用する。皮膚癌は内部の血流異常を誘発するが、黒子は血流異常を誘発しない。皮膚表面の外部情報と血流状態の内部情報とを併用することにより、高精度な悪性黒色腫(メラノーマ)診断の根拠を得ることができる。
【0008】
この発明の悪性黒色腫診断装置は、生体組織の画像を撮影する撮影装置と、レーザ光源と、前記レーザ光源からのレーザ光を周波数の若干異なる2本のレーザ光に分岐する音響光学素子と、前記音響光学素子で分岐した前記レーザ光を各々所定の方向に反射する反射鏡と、前記反射鏡により反射された前記レーザ光を面状の薄いシート光にする拡張光学系と、分岐した前記各シート光を生体内の所定位置で互いに交差させる集光光学系と、前記シート光が交差した部位での散乱光を結像させる結像光学系と、前記結像光学系の結像位置に配置された受光部材と、前記受光部材に入射した前記散乱光を電気信号に変換する光電変換素子と、前記生体組織内の前記所定位置の血管の血流により前記レーザ光がドップラー周波数シフトした血流速を、前記光電変換素子毎の前記電気信号を基にして演算する血流演算手段とを備えるレーザドップラー血流測定装置を有する。さらに、既知の悪性黒色腫の撮影画像と、その撮影画像の領域を前記レーザドップラー血流測定装置により測定した血流画像と、腫瘍ではない黒子の撮影画像と、その黒子の撮影画像の領域を前記レーザドップラー血流測定装置により測定した血流画像とを、予め深層学習して峻別可能にした深層学習手段とを備え、悪性黒色腫の疑いのある皮膚を前記撮影装置により撮影した撮影画像と、その撮影画像の領域を前記レーザドップラー血流測定装置により測定した血流画像とを取得して、前記深層学習手段により、悪性黒色腫であるか否かを判断する悪性黒色腫診断装置である。
【0009】
さらに、前記音響光学素子により前記2本のレーザ光は各々変調され、前記レーザドップラー血流測定装置は、前記2本のレーザ光の入射波面の位相差による干渉縞の移動方向により血液の流れの方向を検知し、前記悪性黒色腫への血液の供給状態を判断可能に設けられている。
【0010】
前記集光光学系は、同一平面内に含まれる2本の前記各シート光の面同士を、当該面内で互いに交差させるものでも良い。
【発明の効果】
【0011】
この発明の悪性黒色腫診断装置によれば、ヒトの体内での血流速を完全な非侵襲で直接測定し、高精度に悪性黒色腫の診断を行うことができる。これにより、患者の負担が軽減され、より頻繁な検査や経過観察が可能となり、治療精度も向上させることができる。
【図面の簡単な説明】
【0012】
【
図1】この発明の悪性黒色腫診断装置の第一実施形態のレーザドップラー血流測定装置の光学系を示す概略図である。
【
図2】この発明の悪性黒色腫診断装置の第一実施形態の光電変換素子からコンピュータまでの機能を示す概略ブロック図である。
【
図3】この発明の悪性黒色腫診断装置のコンピュータによる深層学習手段を示す概略図である。
【
図4】この発明により判断する悪性黒色腫(メラノーマ)の癌細胞移植前の、マウスの耳の血管の撮影画像と血流画像である。
【
図5】この発明により判断する悪性黒色腫(メラノーマ)の癌細胞移植2日目の、マウスの耳の血管の撮影画像と血流画像である。
【
図6】この発明により判断する悪性黒色腫(メラノーマ)の癌細胞移植5日目の、マウスの耳の血管の撮影画像と血流画像である。
【
図7】この発明により判断する悪性黒色腫(メラノーマ)の癌細胞移植9日目の、マウスの耳の血管の撮影画像と血流画像である。
【
図8】この発明により判断する悪性黒色腫(メラノーマ)の癌細胞移植12日目の、マウスの耳の血管の撮影画像と血流画像である。
【
図9】この発明により判断する悪性黒色腫(メラノーマ)の癌細胞移植16日目の、マウスの耳の血管の撮影画像である。
【
図10】この発明の悪性黒色腫診断装置の第二実施形態のレーザドップラー血流測定装置の光学系を示す概略図である。
【発明を実施するための形態】
【0013】
以下、この発明の実施形態について図面に基づいて説明する。
図1、
図2は、この発明の第一実施形態の悪性黒色腫診断装置に用いるレーザドップラー血流測定装置10を示すもので、この実施形態のレーザドップラー血流測定装置10は、
図1に示すように、レーザダイオード等のレーザ光源12と、このレーザ光源12からの連続発振レーザ光Lを周波数の若干異なる2本のレーザ光L1,L2に分岐させる音響光学素子14を備えている。レーザ光Lの波長は、波長750~1500nm程度が好ましく、例えば近赤外の波長785nmのレーザを用いる。これは、近赤外光は血管等の生体組織内への透過率が高いからである。
【0014】
音響光学素子14は音響工学媒体に圧電素子が接着された構造で、媒体中に超音波が発生すると、光弾性効果により周期的な屈折率変化が生じることを利用している。音響光学素子14にレーザ光Lが入射されると、ブラッグ回析が生じ、回析を受けない0次光から1次、2次、3次等の回析光を得る。音響光学素子14では、内部の圧電素子を例えば周波数fa=80MHzで駆動し、光強度の高い0次光(L1)と1次光(L2)を用いる。1次光(L2)は、0次光(L1)の周波数に、超音波周波数faが加わった周波数を持ち、0次光(L1)と1次光(L2)の周波数差が、音響光学素子14を駆動させる超音波周波数となる。
【0015】
さらに、音響光学素子15の光出射側には、分岐されたレーザ光L1,L2を2方向に反射する反射プリズム16と、反射プリズム16により反射されたレーザ光L1,L2を互いに平行に反射する反射鏡18,19を備えている。さらに、反射鏡18,19により反射した2本のレーザ光L1,L2が入射する集光光学系である2枚のアクロマテッィクレンズ20と、レーザ光L1,L2をシート状に広げる拡張光学系であるロッドレンズ22,23が配置されている。各ロッドレンズ22,23に入射したレーザ光L1,L2のシート光は、アクロマテッィクレンズ20の焦点位置で交差する。シート光であるレーザ光L1,L2は、互いに交差し、その交差部は1本の線状に光強度の高い線状照射部位Lxとして形成され、後述する生体組織の血管と交差して照射される。
【0016】
線状照射部位Lxでの散乱光は、
図1に示すように、散乱光の結像光学系を兼ねるアクロマテッィクレンズ20により集光され結像される。アクロマテッィクレンズ20による線状照射部位Lxの散乱光の結像位置には、受光部材26の光ファイバアレイ24の端面部24aが位置し、線状照射部位Lxに沿って線状に、線状照射部位Lxの画像が結像可能に配置されている。
【0017】
光ファイバレイ24は、各光ファイバ28が束ねられた光ファイバ束28aを経て、各光ファイバ28の他方の端部に導かれ、光ファイバ28毎に光プラグ30に繋がっている。光プラグ30は、光電変換素子である各々光レセプタクル32に接続可能に設けられている。各光レセプタクル32には、アバランシェフォトダイオードが光ファイバ28の数だけ設けられている。アバランシェフォトダイオードは、光ファイバ28により導かれた光を高感度で各々電気信号に変換する。
【0018】
各光レセプタクル32のアバランシェフォトダイオードの各出力は、
図2に示すように、光ファイバ28の本数だけ設けられた各アンプ34を介して、各々周波数フィルタ36に入力し、所定の周波数の信号がA/D変換されて、光ファイバ28の数だけ設けられたデータレコーダ38に各々記録される。各データレコーダ38に記録されたデジタル信号は、血流演算手段であるコンピュータ40に入力される。コンピュータ40は、線状照射部位Lxの血流速と血流の方向、血流量等を演算するとともに、後述する深層学習を行う深層学習手段を備えている。
【0019】
次に、この実施形態のレーザドップラー血流測定装置10によるレーザドップラー血流測定方法について、以下に説明する。このレーザドップラー血流測定方法は、レーザ光源12から出射されたレーザ光Lを、音響光学素子14により変調し、反射プリズム16で分岐したレーザ光L1,L2を、アクロマテッィクレンズ20を経てシリンドリカルレンズ22,23によりシート状のレーザ光L1,L2にする。さらに、シート光のレーザ光L1,L2は、シリンドリカルレンズ22,23により、アクロマテッィク20の焦点位置で互いに交差させ、血管のある生体内の所定位置に線状照射部位Lxを形成する。この状態で、血管内の血流速及びその血流方向を、光ファイバ28を単位として、コンピュータ40により、結像光学系の倍率により決まる空間分解能で求めることができる。
【0020】
シート状のレーザ光L1,L2の交差部である線状照射部位Lxは、1本の線状に光強度の高い部分であり、レーザ光L1,L2の入射波面の位相差によって干渉縞ができ、この線状照射部位Lxの領域を赤血球がある速度で通過すると、散乱光のドップラー周波数が変化する。この線状照射部位Lxでは、シート光Lsが照射された血流中の血球により散乱したレーザ光が、血流の流速によるドップラー効果により、散乱光のドップラー周波数が変化する。なお、静止した組織では散乱光のドップラー周波数の変化はない。線状照射部位Lxでの各散乱光は、アクロマテッィクレンズ20により光ファイバレイ24の端面部24aの対応する点に結像される。この散乱光を、光ファイバ28を介して光レセプタクル32のアバランシェフォトダイオードに入力し、電気的なビート信号として検出し、検出した周波数変化と強度が、血球の速度及び個数に対応した値である。
【0021】
ここでの血流演算処理は、アバランシェフォトダイオードにより得られた入力信号をA/D変換してコンピュータ40に入力し、そのデジタル信号を高速フーリエ変換し、さらにノイズ除去処理等を施して、ドップラー周波数を算出する。ドップラー周波数は、検出した信号の周波数スペクトルにおいて、ドップラー周波数でのピークが表れることにより求まる。ドップラー周波数が求まると、その周波数から血球の速度が算出され、血球の速度は血流の流速であることから血流速が算出される。これを各受光部材である光ファイバ28毎に求めて、コンピュータ40により、対応する部位の血流の速度を算出し、さらに、線状照射部位Lxを光学的に走査し、対象部位の血管断面での血流速を求める。この実施形態では、音響光学素子14によりレーザ光L1,L2に変調をかけているので、干渉縞の移動方向により、血液の流れの方向も識別することができる。
【0022】
次に、この実施形態の悪性黒色腫診断装置による悪性黒色腫診断について以下に説明する。この実施形態の悪性黒色腫診断は、レーザドップラー血流測定装置10によるレーザドップラー血流測定と、生体組織の血管画像を一般的な撮影装置により取得した撮影画像とを基に、コンピュータ40を用いた深層学習を利用したものである。深層学習手段であるコンピュータ40による悪性黒色腫診断プログラム42は、
図3に示すように、先ず既知の悪性黒色腫の撮影画像a1と、その撮影画像a1の領域をレーザドップラー血流測定装置10により測定した血流画像b1を多数取り込んで深層学習を行う。さらに、腫瘍ではない黒子の撮影画像aと、その領域をレーザドップラー血流測定装置10により測定した血流画像bも、多数取り込み深層学習する。この実施形態では、皮膚癌である悪性黒色腫と、悪性ではない黒子の画像をそれぞれ数千枚程度用意し、皮膚癌か黒子かをラベリングしたデータを用意する。次に、コンピュータ40を用いて、深層学習を用いた画像診断プログラムによりそれぞれの画像から特徴量の抽出を行う。
【0023】
ここで、悪性黒色腫であるメラノーマについて、
図4から
図9に、例えばマウスの耳に腫瘍細胞を移植した例を示す。撮影画像aは、マウスの耳に腫瘍細胞を移植した部分の写真である。血流画像bは、撮影画像aの領域をレーザドップラー血流測定装置10により測定した画像である。血流は色とその濃さで速度を示すが、この図では色彩が表されないので、癌細胞の増殖により血流速が変化していることのみを表す。
図4から
図8に示すように、移植前の耳の画像及び血流速に対して、12日目には、癌細胞の増殖が確認され、血流速も大きく変化していることが分かる。さらに、
図9に示すように、移植後16日目には、癌細胞が黒く大きくなっていることが分かる。
【0024】
取り込んだ各撮影画像aと各血流画像bは、深層学習手段であるコンピュータ40の悪性黒色腫診断プログラム42の入力層44から中間層46を経て深層学習が行われ、出力層48により判断が行われて、腫瘍ではない黒子と、悪性黒色腫である皮膚癌との峻別について学習される。深層学習の手法については、公知の手法を用いるので、詳細な説明は省略するが、入力層44に入力する撮影画像aと血流画像bは多い方がより高精度に特徴抽出が行われ、より的確な診断が可能になるので、事前に多くの画像を入力し、深層学習を行うことが必要である。
【0025】
この実施形態の悪性黒色腫診断装置によれば、悪性黒色腫(メラノーマ)と悪性ではない黒子の画像をそれぞれ数千枚程度用意することで、レーザドップラー血流測定方法と深層学習を用いた人工知能(AI)であるコンピュータによる悪性黒色腫診断装置を提供することができる。深層学習による皮膚表面の黒色部位がメラノーマであるか黒子であるかを、血流計測画像と組み合わせて判断することで、極めて高精度な診断を可能にしたものである。特に、癌の成長の仕方は、供給される血流量からわかり、血流の方向から癌細胞に対する血液の排出と供給の区別ができるので、癌細胞の成長や進行状況を、深層学習によりより高精度に予測可能になる。さらに、深層学習における入力に必要な画像数を減らすことができ、学習効率を向上させる。
【0026】
次に、この発明のレーザドップラー血流測定方法及び装置の第二実施形態について、
図10を基にして説明する。ここで、上述の実施形態と同様の構成は、同一の符号を付して説明を省略する。この実施形態のレーザドップラー血流測定方装置50は、反射鏡18,19により反射した2本のレーザ光L1,L2が、先ず拡張光学系のロッドレンズ22,23によりシート状のレーザ光L1,L2に形成され、さらに、シリンドリカルレンズ52,53により平行光のシート光に変換されて、集光光学系であるアクロマテッィクレンズ20に入射するように設けられている。シート光であるレーザ光L1,L2は、互いに同一平面状に位置するように、光学系が配置されている。シート状のレーザ光L1,L2は、互いに同一面上に位置して、所定角度で交差する。公差角度は、アクロマテッィクレンズ20の光軸対する各レーザ光L1,L2が屈折して出射する角度である。
【0027】
シート光のレーザ光L1,L2の交差領域Dは、
図10に示すように、平行光であるレーザ光L1,L2の面同士が互いに一致して重なり、交差領域Dが菱形に形成され、この交差領域Dが血管Tと交差する流速測定領域となる。
【0028】
シート状のレーザ光L1,L2の交差領域Dと直交する方向で所定距離離れた位置には、一対のアクロマティックレンズ等による結像光学系である結像レンズ54が配置されている。結像レンズ54の出射光側に対面して、結像レンズ54の結像位置には、光ファイバアレイが2次元的に配列された受光部材60が位置している。受光部材60は、光ファイバアレイが2次元的に配列されたもので、上記実施形態と同様の光ファイバと光プラグ、光レセプタクル等により構成されている。その他の構成は、上記実施形態のレーザドップラー血流測定装置10と同様に構成されている。また、光ファイバアレイが2次元的に配列された受光部材60は、イメージセンサを用いても良い。
【0029】
この実施形態の場合、上述の実施形態と同様の効果に加えて、シート状のレーザ光L1,Lが2次元的に交差領域Dを形成して、より多くの領域の血流情報を同時に得ることができ、効率的な計測が可能となる。
【0030】
尚、この発明の悪性黒色腫診断装置は、上記実施形態に限定されるものではなく、光学系の配置や種類、数は適宜設定可能なものである。受光部材や光電変換素子は、半導体素子のラインセンサや、CCDやC-MOS等のイメージセンサの固体撮像素子でも良い。光ファイバも、ガラスファイバやプラスチックファイバ等、適宜選択可能である。
【符号の説明】
【0031】
10 レーザドップラー血流測定装置
12 レーザ光源
14 音響光学素子
16 反射プリズム
18,19 反射鏡
20 アクロマティックレンズ
22,23 ロッドレンズ
24 ファイバアレイ
26,60 受光部材
28 光ファイバ
30 光プラグ
32 光レセプタクル
40 コンピュータ