特開 2022-33035 顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022033035

(43)【公開日】2022-02-25

(54)【発明の名称】顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法及びシステム

(51)【国際特許分類】

   G01N 33/15 20060101AFI20220217BHJP

   G01N 21/17 20060101ALI20220217BHJP

   G06T 7/00 20170101ALI20220217BHJP

   G06N 3/04 20060101ALI20220217BHJP

   G06N 3/08 20060101ALI20220217BHJP

   A61K 36/00 20060101ALN20220217BHJP

【ＦＩ】

G01N33/15 Z

G01N21/17 A

G06T7/00 350C

G06N3/04

G06N3/08

A61K36/00

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021131381

(22)【出願日】2021-08-11

(31)【優先権主張番号】202010594679.7

(32)【優先日】2020-08-11

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】521331364

【氏名又は名称】山東省食品薬品検験研究院

【氏名又は名称原語表記】Ｓｈａｎｄｏｎｇ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ｆｏｏｄ ａｎｄ Ｄｒｕｇ Ｃｏｎｔｒｏｌ

【住所又は居所原語表記】Ｎｏ． ２７４９， Ｘｉｎｌｕｏ Ｓｔｒｅｅｔ， Ｊｉｎａｎ Ｃｉｔｙ， Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｅ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】林 永強

(72)【発明者】

【氏名】馬 双成

(72)【発明者】

【氏名】穆 向栄

(72)【発明者】

【氏名】汪 冰

(72)【発明者】

【氏名】郭 東暁

(72)【発明者】

【氏名】林 林

(72)【発明者】

【氏名】徐 興燕

(72)【発明者】

【氏名】于 鳳蕊

(72)【発明者】

【氏名】張 建剛

(72)【発明者】

【氏名】姜 展軍

【テーマコード（参考）】

2G059

4C088

5L096

【Ｆターム（参考）】

2G059AA03

2G059BB20

2G059FF03

2G059KK04

2G059MM05

2G059MM10

2G059MM20

4C088AA20

4C088AB99

4C088NA20

5L096AA06

5L096CA04

5L096DA01

5L096GA34

5L096GA55

5L096HA11

5L096JA09

5L096KA04

(57)【要約】      （修正有）

【課題】操作者の手動同定による誤差、時間、作業効率の問題を解決するシュウ酸カルシウム結晶のインテリジェント同定方法を提供する。
【解決手段】シュウ酸カルシウム結晶の訓練データを取得するステップであって、訓練データは複数種の結晶タイプのシュウ酸カルシウム結晶を含むステップと、ディープ畳み込みニューラルネットワークを用いて訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得るステップと、ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得するステップと、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法であって、
シュウ酸カルシウム結晶の訓練データを取得するステップであって、前記訓練データは複数種の結晶タイプの前記シュウ酸カルシウム結晶を含むステップと、
ディープ畳み込みニューラルネットワークを用いて前記訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得るステップと、
前記ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得するステップと、
前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、前記採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力するステップと、を含む、ことを特徴とするインテリジェント同定方法。

【請求項2】

シュウ酸カルシウム結晶の訓練データを取得する前記ステップは、
様々な結晶タイプのシュウ酸カルシウム結晶をそれぞれ含有する生薬を複数種選択するステップと、
各生薬におけるシュウ酸カルシウム結晶の顕微鏡画像を撮影するステップと、
前記顕微鏡画像内のシュウ酸カルシウム結晶の結晶タイプをマークするステップと、
各シュウ酸カルシウム結晶の顕微鏡画像と結晶タイプを用いて、それぞれの前記シュウ酸カルシウム結晶の訓練データをそれぞれ生成するステップと、を含む、ことを特徴とする請求項１に記載のシュウ酸カルシウム結晶のインテリジェント同定方法。

【請求項3】

前記ディープ畳み込みニューラルネットワークは畳み込み層、プーリング層及び完全接続層を含み、
ディープ畳み込みニューラルネットワークを用いて前記訓練データを訓練し、ディープ畳み込みニューラルネットワークモデルを得る前記ステップは、
前記訓練データに含まれるシュウ酸カルシウム結晶の顕微鏡画像を前記畳み込み層に入力するステップと、
複数層の前記畳み込み層を用いて前記シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、前記シュウ酸カルシウム結晶の特徴画像を得るステップと、
前記プーリング層を用いて前記シュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、前記特徴画像に対応する結晶特徴を得るステップと、
完全接続層を用いて、同一顕微鏡画像に対応する全ての特徴画像の結晶特徴を接続し、分類器によって前記顕微鏡画像の結晶タイプ及び前記結晶タイプに対応する結晶特徴を決定するステップと、
前記顕微鏡画像の結晶タイプ及び結晶特徴を用いて、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成するステップと、を含む、ことを特徴とする請求項１に記載のシュウ酸カルシウム結晶のインテリジェント同定方法。

【請求項4】

複数層の畳み込み層を用いて、前記シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、前記シュウ酸カルシウム結晶の特徴画像を得る前記ステップは、

【請求項5】

ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行う前記ステップの前、
顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影するステップをさらに含み、
顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影する前記ステップは、
所定の運動軌跡に従って三次元座標系にて水平運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御するステップと、
所定の運動軌跡に従って三次元座標系にて垂直運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御し、ステージ上の採取試料をリアルタイムで追跡して合焦するステップと、
デジタル撮像装置を用いて、所定の時間間隔で前記採取試料の顕微鏡画像を複数回撮影するステップと、を含む、ことを特徴とする請求項１に記載のシュウ酸カルシウム結晶のインテリジェント同定方法。

【請求項6】

採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、前記採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する前記ステップは、
前記ディープ畳み込みニューラルネットワークモデルが前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得した場合、前記採取試料の結晶タイプ情報と前記採取試料のステッチ結晶特徴画像を生成して出力し、又は、
前記ディープ畳み込みニューラルネットワークモデルが前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得していない場合、前記採取試料のステッチ顕微鏡画像を生成して出力するステップを含む、ことを特徴とする請求項１に記載のシュウ酸カルシウム結晶のインテリジェント同定方法。

【請求項7】

採取試料のステッチ顕微鏡画像を生成する前記ステップは、
ステッチアルゴリズムを用いて同一採取試料に対応する各顕微鏡画像の画像画素座標と空間物理座標との間の変換マトリックスを算出するステップと、
前記変換マトリックスに従って、同一座標系下で前記同一採取試料の全ての顕微鏡画像をステッチし、前記ステッチ顕微鏡画像を得るステップと、を含む、ことを特徴とする請求項６に記載のシュウ酸カルシウム結晶のインテリジェント同定方法。

【請求項8】

顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムであって、
シュウ酸カルシウム結晶の訓練データを取得するためのデータ取得モジュールであって、前記訓練データは複数種の結晶タイプの前記シュウ酸カルシウム結晶を含むデータ取得モジュールと、
ディープ畳み込みニューラルネットワークを用いて前記訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得るためのニューラルネットワークモジュールと、
前記ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得するための特徴マッチングモジュールと、
前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、前記採取試料のシュウ酸カルシウム結晶の同定結果を生成するための結果生成モジュールと、
前記採取試料のシュウ酸カルシウム結晶の同定結果を出力するための結果出力モジュールと、を含む、ことを特徴とするインテリジェント同定システム。

【請求項9】

前記ニューラルネットワークモジュールは、
前記訓練データに含まれるシュウ酸カルシウム結晶の顕微鏡画像を畳み込み層に入力するための画像入力サブモジュールと、
複数層の前記畳み込み層を用いて前記シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、前記シュウ酸カルシウム結晶の特徴画像を得るための畳み込み操作サブモジュールと、
プーリング層を用いて前記シュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、前記特徴画像に対応する結晶特徴を得るための特徴圧縮サブモジュールと、
完全接続層を用いて、同一顕微鏡画像に対応する全ての特徴画像の結晶特徴を接続するための特徴接続サブモジュールと、
分類器によって前記顕微鏡画像の結晶タイプ及び前記結晶タイプに対応する結晶特徴を決定するための結晶分類サブモジュールと、
前記顕微鏡画像の結晶タイプ及び結晶特徴を用いて、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成するためのモデル作成サブモジュールと、を含む、ことを特徴とする請求項８に記載のシュウ酸カルシウム結晶のインテリジェント同定システム。

【請求項10】

顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影するための画像撮影モジュールをさらに含み、
前記画像撮影モジュールは、
所定の運動軌跡に従って三次元座標系にて水平運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御するための運動制御サブモジュールと、
所定の運動軌跡に従って三次元座標系にて垂直運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御し、ステージ上の採取試料をリアルタイムで追跡して合焦するための合焦制御サブモジュールと、
デジタル撮像装置を用いて、所定の時間間隔で前記採取試料の顕微鏡画像を複数回撮影するための画像撮影サブモジュールと、を含む、ことを特徴とする請求項８に記載のシュウ酸カルシウム結晶のインテリジェント同定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は植物類漢方薬同定の技術分野に関し、特に顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法及びシステムに関する。

【背景技術】

【0002】

漢方薬は中国医学理論を指導として、疾患を予防、治療、診断し、リハビリテーションや健康維持の役割を果たす薬物である。漢方薬は主として、薬用植物、薬用動物及び薬用鉱物を含む天然薬及びこれらの加工品に由来するものである。このうち、薬用植物は漢方薬資源の８７％を占め、薬用植物は漢方薬分野において極めて重要であることが分かる。

【0003】

薬用植物においては、シュウ酸カルシウム結晶が重要な化学成分である。シュウ酸カルシウム結晶は一般的な細胞作動性物質として植物類の細胞に広く存在しており、通常、柱状結晶、クラスタ状結晶、針状結晶、角柱状結晶や砂状結晶などの複数種のタイプの結晶形態を持つ。シュウ酸カルシウム結晶の構造形態が安定的であり、様々な科、属及び種の生薬の組織構造においては、結晶の有無、結晶の異なる形態、サイズ及び分布のいずれも特異性を示す。従来の研究から明らかなように、ユリ科、ラン科、サトイモ科、ヤマノイモ科の植物の根茎には針状結晶及び針状束結晶が含まれ、キンポウゲ科、タデ科、ウコギ科の植物にはクラスタ状結晶が含まれ、ナス科、ヒユ科の植物には砂状結晶が含まれ、マメ科、ミカン科の植物には角柱状結晶が含まれる場合が多い。上記の内容から分かるように、シュウ酸カルシウム結晶の微細構造情報が、漢方薬の品種を顕微鏡で識別して研究し、未知の生薬を分類して検索する重要な根拠とすることができる。近年、シュウ酸カルシウム結晶の特異性も生薬のテスト分野に使用されつつあり、生薬及び飲片の真偽を識別するために技術サポートを提供する。

【0004】

通常、シュウ酸カルシウム結晶を識別するには漢方薬の顕微同定方法が必要とされる。顕微同定方法は漢方薬を同定する４つの主な手段のうちの１つであり、漢方薬の顕微同定とは、顕微鏡を利用して生薬（飲片）切片、粉末、表面、解離組織やシート、及び飲片粉末を含有する製剤を観察し、組織、細胞や包含物などの特徴に従って生薬同定を行う方法である。この同定方法は、伝統的で、効率的で、速度が速く、経済性に優れ、環境にやさしく、特に漢方薬の有効成分が明確ではない場合に特に有用であり、定性、定量、さらに定位などにおいて所定の作用を果たす。シュウ酸カルシウム結晶に対する顕微同定では、植物の組織、細胞や包含物中の関連物質の特徴に従って決定する必要がある。

【0005】

しかし、シュウ酸カルシウム結晶に対する従来の漢方薬顕微同定方式では、ほとんど、操作者が手動で顕微鏡を操作し、顕微鏡下で植物の組織、細胞や包含物中の関連物質の顕微的特徴を観察し、操作者が手動でこの特徴を描画し、従来の特定のシュウ酸カルシウム結晶と特徴マッチングを行うことで、薬用植物中のシュウ酸カルシウム結晶を人工で同定する。このような方法では、操作者が手動で操作するので、主観的な要因による誤差が大きく、描画に時間がかかり、しかも作業効率が低いなどの問題が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、シュウ酸カルシウム結晶の漢方薬顕微同定方式では操作者による手動同定を必要とし、主観的な要因による誤差が大きく、描画に時間がかかり、しかも作業効率が低いという従来技術の問題を解決するために、顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法、システム、及び読み取り可能な記憶媒体を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成させるために、本発明の第１の態様によれば、本発明は顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法を提案し、該シュウ酸カルシウム結晶のインテリジェント同定方法は、
シュウ酸カルシウム結晶の訓練データを取得するステップであって、訓練データは複数種の結晶タイプのシュウ酸カルシウム結晶を含むステップと、
ディープ畳み込みニューラルネットワークを用いて訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得るステップと、
ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得するステップと、
採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力するステップと、を含む。

【0008】

好ましくは、シュウ酸カルシウム結晶の訓練データを取得する前記ステップは、
様々な結晶タイプのシュウ酸カルシウム結晶をそれぞれ含有する生薬を複数種選択するステップと、
各生薬におけるシュウ酸カルシウム結晶の顕微鏡画像を撮影するステップと、
顕微鏡画像内のシュウ酸カルシウム結晶の結晶タイプをマークするステップと、
各シュウ酸カルシウム結晶の顕微鏡画像と結晶タイプを用いて、各シュウ酸カルシウム結晶の訓練データをそれぞれ生成するステップと、を含む。

【0009】

好ましくは、前記ディープ畳み込みニューラルネットワークは畳み込み層、プーリング層及び完全接続層を含み、
ディープ畳み込みニューラルネットワークを用いて訓練データを訓練し、ディープ畳み込みニューラルネットワークモデルを得る前記ステップは、
訓練データに含まれるシュウ酸カルシウム結晶の顕微鏡画像を畳み込み層に入力するステップと、
複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得るステップと、
プーリング層を用いてシュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、特徴画像に対応する結晶特徴を得るステップと、
完全接続層を用いて、同一顕微鏡画像に対応する全ての特徴画像の結晶特徴を接続し、分類器によって顕微鏡画像の結晶タイプ及び結晶タイプに対応する結晶特徴を決定するステップと、
顕微鏡画像の結晶タイプ及び結晶特徴を用いて、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成するステップと、を含む。

【0010】

好ましくは、複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得る前記ステップは、

【0011】

好ましくは、ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行うステップの前、前記シュウ酸カルシウム結晶同定方法は、顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影するステップをさらに含み、
顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影するステップは、
所定の運動軌跡に従って三次元座標系にて水平運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御するステップと、
所定の運動軌跡に従って三次元座標系にて垂直運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御し、ステージ上の採取試料をリアルタイムで追跡して合焦するテップと、
デジタル撮像装置を用いて、所定の時間間隔で採取試料の顕微鏡画像を複数回撮影するステップと、を含む。

【0012】

好ましくは、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する前記ステップは、
ディープ畳み込みニューラルネットワークモデルが採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得した場合、採取試料の結晶タイプ情報と採取試料のステッチ結晶特徴画像を生成して出力し、又は、
ディープ畳み込みニューラルネットワークモデルが採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得していない場合、採取試料のステッチ顕微鏡画像を生成して出力するステップを含む。

【0013】

好ましくは、採取試料のステッチ顕微鏡画像を生成する前記ステップは、
ステッチアルゴリズムを用いて同一採取試料に対応する各顕微鏡画像の画像画素座標と空間物理座標との間の変換マトリックスを算出するステップと、
変換マトリックスに従って、同一座標系下で同一採取試料の全ての顕微鏡画像をステッチし、ステッチ顕微鏡画像を得るステップと、を含む。

【0014】

好ましくは、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力するステップの後、前記方法は、
採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプをマークするステップと、
採取試料の顕微鏡画像とマークした結晶タイプを訓練データに追加するステップとをさらに含む。

【0015】

本発明の第２の態様によれば、本発明は、
シュウ酸カルシウム結晶の訓練データを取得するためのデータ取得モジュールであって、訓練データは複数種の結晶タイプのシュウ酸カルシウム結晶を含むデータ取得モジュールと、
ディープ畳み込みニューラルネットワークを用いて訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得るためのニューラルネットワークモジュールと、
ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得するための特徴マッチングモジュールと、
採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成するための結果生成モジュールと、
採取試料のシュウ酸カルシウム結晶の同定結果を出力するための結果出力モジュールと、を含む、顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムをさらに提供する。

【0016】

好ましくは、前記ニューラルネットワークモジュールは、
訓練データに含まれるシュウ酸カルシウム結晶の顕微鏡画像を畳み込み層に入力するための画像入力サブモジュールと、
複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得るための畳み込み操作サブモジュールと、
プーリング層を用いてシュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、特徴画像に対応する結晶特徴を得るための特徴圧縮サブモジュールと、
完全接続層を用いて、同一顕微鏡画像に対応する全ての特徴画像の結晶特徴を接続するための特徴接続サブモジュールと、
分類器によって顕微鏡画像の結晶タイプ及び結晶タイプに対応する結晶特徴を決定するための結晶分類サブモジュールと、
顕微鏡画像の結晶タイプ及び結晶特徴を用いて、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成するためのモデル作成サブモジュールと、を含む。

【0017】

好ましくは、前記システムは、
顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影するための画像撮影モジュールをさらに含み、
画像撮影モジュールは、
所定の運動軌跡に従って三次元座標系にて水平運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御するための運動制御サブモジュールと、
所定の運動軌跡に従って三次元座標系にて垂直運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御し、ステージ上の採取試料をリアルタイムで追跡して合焦するための合焦制御サブモジュールと、
デジタル撮像装置を用いて、所定の時間間隔で採取試料の顕微鏡画像を複数回撮影するための画像撮影サブモジュールと、を含む。

【0018】

本発明の第３の態様によれば、コンピュータ読み取り可能な記憶媒体をさらに提供し、該コンピュータ読み取り可能な記憶媒体にはシュウ酸カルシウム結晶のインテリジェント同定方法のプログラムが記憶されており、該シュウ酸カルシウム結晶のインテリジェント同定方法のプログラムはプロセッサによって実行されると、上記のいずれかの技術的解決手段に記載のシュウ酸カルシウム同定方法のステップを実現する。

【発明の効果】

【0019】

本出願で提案される技術的解決手段では、複数種の結晶タイプのシュウ酸カルシウム結晶を含むシュウ酸カルシウム結晶の訓練データを取得し、次に、ディープ畳み込みニューラルネットワークを用いて該訓練データを訓練し、シュウ酸カルシウム結晶を同定するための、様々なタイプのシュウ酸カルシウム結晶の特徴を識別可能なディープ畳み込みニューラルネットワークモデルを得て、次に、訓練済みのディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得し、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、前記採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する。

【0020】

以上のように、本出願によるシュウ酸カルシウム結晶のインテリジェント同定方法は、人工知能方法を用いて訓練することで、ディープ畳み込みニューラルネットワークモデルを得て、採取試料におけるシュウ酸カルシウム結晶の結晶特徴を自動的にマッチングさせることにより、該シュウ酸カルシウム結晶のタイプを自動的に識別し、採取試料のシュウ酸カルシウム結晶の同定構造を出力するものであり、人工同定方法では操作者が手動で操作するため、主観的な要因による誤差が大きく、描画に時間がかかり、しかも作業効率が低いなどの従来技術の問題を解決する。

【図面の簡単な説明】

【0021】

本発明の実施例又は従来技術の技術的解決手段をより明確に説明するために、以下、実施例又は従来技術の説明に必要な図面を簡単に説明するが、明らかに、以下の説明における図面は本発明のいくつかの実施例に過ぎず、当業者であれば、創造的な努力を必要とせずに、これらの図面に示す構造に基づいて他の図面を得ることができる。

【図1】本発明の実施例による適用シナリオの模式図である。

【図2】本発明の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法の一例の模式的フローチャートである。

【図3】図２に示す実施例による訓練データの取得方法の模式的フローチャートである。

【図4】図２に示す実施例によるニューラルネットワークの訓練方法の模式的フローチャートである。

【図5】図２に示す実施例による同定結果の生成方法の模式的フローチャートである。

【図6】本発明の実施例による別の顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法の模式的フローチャートである。

【図7】図６に示す実施例による顕微鏡画像撮影方法の模式的フローチャートである。

【図8】図７に示す実施例による顕微鏡の移動経路の模式図である。

【図9-A】本発明の実施例による通常光視野でのシュウ酸カルシウム柱状結晶の顕微鏡画像である。

【図9-B】本発明の実施例による偏光視野でのシュウ酸カルシウム柱状結晶の顕微鏡画像である。

【図9-C】本発明の実施例による通常光視野でのシュウ酸カルシウムクラスタ状結晶の顕微鏡画像である。

【図9-D】本発明の実施例による偏光視野でのシュウ酸カルシウムクラスタ状結晶の顕微鏡画像である。

【図9-E】是本発明の実施例による通常光視野でのシュウ酸カルシウム針状結晶の顕微鏡画像である。

【図9-F】本発明の実施例による偏光視野でのシュウ酸カルシウム針状結晶の顕微鏡画像である。

【図9-G】本発明の実施例による通常光視野でのシュウ酸カルシウム角柱状結晶の顕微鏡画像である。

【図9-H】本発明の実施例による偏光視野でのシュウ酸カルシウム角柱状結晶の顕微鏡画像である。

【図9-I】本発明の実施例による通常光視野でのシュウ酸カルシウム砂状結晶の顕微鏡画像である。

【図9-J】本発明の実施例による偏光視野でのシュウ酸カルシウム砂状結晶の顕微鏡画像である。

【図10】本発明の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムの構造模式図である。

【図11】図１０に示す実施例によるニューラルネットワークモジュールの構造模式図である。

【図12】図１０に示す実施例による画像撮影モジュールの構造模式図である。 本発明の目的の実現、機能の特徴及び利点は実施例をもって図面を参照してさらに説明する。

【発明を実施するための形態】

【0022】

なお、ここで説明する具体的な実施例は本発明を解釈するために過ぎず、本発明を限定するものではない。

【0023】

本発明の実施例の主な解決的課題は以下のとおりである。従来技術ではシュウ酸カルシウム結晶に対する漢方薬顕微同定方式は、操作者で観察して顕微的特徴を手動で描画し、シュウ酸カルシウム結晶の特徴を手動でマッチングさせ、シュウ酸カルシウム結晶のタイプを同定するのが一般的である。このような方法は、主観的な要因による誤差が大きく、描画に時間がかかり、しかも作業効率が低いなどの問題を招く。

【0024】

上記問題を解決するために、図１を参照して、図１は本発明の実施例による適用シナリオの模式図である。該適用シナリオは、本発明の以下の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法を実現するものである。図１に示すように、該適用シナリオは、顕微鏡と顕微鏡画像自動収集装置を含み、該顕微鏡画像自動収集装置は、主に、コントロールボックス、デジタル撮像デバイス、及びコンピュータを含み、これらのうち、コントロールボックスは顕微鏡のステージを制御して運動させ、デジタル撮像デバイスは顕微鏡に接続されて顕微鏡の画像を収集し、コンピュータはデジタル撮像デバイス及びコントロールボックスにそれぞれ電気的に接続されて、画像処理、コントロールボックスへの顕微鏡制御命令の送信に用いられる。ここで、顕微鏡は普通光源と偏光光源の２つの視野のシナリオでの画像をそれぞれ取得する。

【0025】

具体的には、コンピュータはコントロールボックスへ上位機器制御信号３を送信し、コントロールボックスの制御カードが該上位機器制御信号３に従って顕微鏡へモータ駆動信号４を送信し、顕微鏡内の３台のステッピングモータを制御して正確に運動させ、それにより、顕微鏡のステージ（対照生薬又は採取試料を置く）はそれぞれＸ、Ｙ、Ｚの３つの互いに垂直な方向で軸方向に運動するとともに、顕微鏡のステッピングモータはコントロールボックスへテーブル位置信号５をリアルタイムでフィードバックし、コントロールボックスの制御カードはコンピュータと交互にカード通信信号２を制御して、顕微鏡のステージの移動をリアルタイムでフィードバックして調整し、デジタル撮像デバイスは、顕微鏡のステージ移動中、対照生薬又は採取試料の顕微鏡画像をリアルタイムで追跡して取得し、ビデオ信号１の形で該顕微鏡画像をコンピュータにフィードバックし、コンピュータはディープ畳み込みニューラルネットワークにより該顕微鏡画像を処理し、例えばシュウ酸カルシウム結晶特徴を識別するディープ畳み込みニューラルネットワークモデルを得て、又は採取試料の顕微的特徴をマッチングさせ、このように、シュウ酸カルシウム結晶が同定される。

【0026】

上記目的を達成させるために、図２を参照し、図２は本発明の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法の一例の模式的フローチャートである。図２に示すように、該顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法は、ステップＳ１１０～Ｓ１４０を含む。

【0027】

Ｓ１１０：シュウ酸カルシウム結晶の訓練データを取得し、訓練データは複数種の結晶タイプのシュウ酸カルシウム結晶を含む。

【0028】

該訓練データはディープ畳み込みニューラルネットワークを訓練するものであり、該シュウ酸カルシウム結晶は複数種の結晶タイプを有し、このため、ディープ畳み込みニューラルネットワークは該訓練データを通じて様々な結晶タイプのシュウ酸カルシウム結晶の特徴を識別することができる。また、該訓練データはテストデータでもあり、訓練データがマークしたシュウ酸カルシウム結晶のタイプとディープ畳み込みニューラルネットワークで識別されたシュウ酸カルシウム結晶のタイプとを比較することにより、ディープ畳み込みニューラルネットワークの識別精度を向上させることができる。

【0029】

図３に示すように、該シュウ酸カルシウム結晶の訓練データを取得するステップは、具体的には、ステップＳ１１１～Ｓ１１４を含む。

【0030】

Ｓ１１１：様々な結晶タイプのシュウ酸カルシウム結晶をそれぞれ含有する生薬を複数種選択する。

【0031】

シュウ酸カルシウム結晶は複数種のタイプを有し、異なる生薬は異なるタイプのシュウ酸カルシウム結晶を有し、例えば、ヤカンはシュウ酸カルシウム柱状結晶を含み、ゴカヒはシュウ酸カルシウムクラスタ状結晶を含み、ハンゲはシュウ酸カルシウム針状結晶を含み、コウカヒはシュウ酸カルシウム角柱状結晶を含み、ジコッピはシュウ酸カルシウム砂状結晶を含む。

【0032】

Ｓ１１２：各生薬におけるシュウ酸カルシウム結晶の顕微鏡画像を撮影する。

【0033】

各生薬に含まれるシュウ酸カルシウム結晶のタイプが異なるので、各生薬におけるシュウ酸カルシウム結晶の顕微鏡画像を撮影すると、異なるタイプのシュウ酸カルシウム結晶の顕微鏡画像が得られ、次に、ディープ畳み込みニューラルネットワークを通じて異なるタイプのシュウ酸カルシウム結晶の顕微的特徴が得られる。

【0034】

Ｓ１１３：顕微鏡画像内のシュウ酸カルシウム結晶の結晶タイプをマークする。

【0035】

様々な結晶タイプのシュウ酸カルシウム結晶が異なる結晶特徴を有するので、シュウ酸カルシウム結晶の結晶タイプをマークすることにより、ディープ畳み込みニューラルネットワークは異なる結晶タイプに従ってシュウ酸カルシウム結晶の結晶特徴を識別することができ、かつ、マークした結晶タイプはディープ畳み込みニューラルネットワークが正確に識別したか否かをチェックして、ディープ畳み込みニューラルネットワークの識別精度を向上させることもできる。

【0036】

Ｓ１１４：各シュウ酸カルシウム結晶の顕微鏡画像と結晶タイプを用いて、各シュウ酸カルシウム結晶の訓練データをそれぞれ生成する。

【0037】

該訓練データは各シュウ酸カルシウム結晶の顕微鏡画像と結晶タイプを少なくとも含み、このようにして、ディープ畳み込みニューラルネットワークは顕微鏡画像に従ってこの画像内の結晶特徴を識別して抽出し、マークした結晶タイプとマッチングさせて確認を行い、それにより、ディープ畳み込みニューラルネットワークの識別精度を向上させることができる。

【0038】

関連するシュウ酸カルシウム結晶の顕微鏡画像については、図９－Ａ～９－Ｊを参照すればよい。これらのうち、９－Ａは普通光源シナリオで撮影したシュウ酸カルシウム柱状結晶の顕微鏡画像であり、９－Ｂは偏光光源シナリオで撮影したシュウ酸カルシウム柱状結晶の顕微鏡画像であり、上記２つの顕微鏡画像はヤカンの画像を撮影することにより得られる。９－Ｃは普通光源シナリオで撮影したシュウ酸カルシウムクラスタ状結晶の顕微鏡画像であり、９－Ｄは偏光光源シナリオで撮影したシュウ酸カルシウムクラスタ状結晶の顕微鏡画像であり、上記２つの顕微鏡画像はゴカヒの画像を撮影したものである。９－Ｅは普通光源シナリオで撮影したシュウ酸カルシウム針状結晶の顕微鏡画像であり、９－Ｆは偏光光源シナリオで撮影したシュウ酸カルシウム針状結晶の顕微鏡画像であり、上記２つの顕微鏡画像はハンゲの画像を撮影したものである。９－Ｇは普通光源シナリオで撮影したシュウ酸カルシウム角柱状結晶の顕微鏡画像であり、９－Ｈは偏光光源シナリオで撮影したシュウ酸カルシウム角柱状結晶の顕微鏡画像であり、上記２つの顕微鏡画像はコウカヒの画像を撮影したものである。９－Ｉは普通光源シナリオで撮影したシュウ酸カルシウム砂状結晶の顕微鏡画像であり、９－Ｊは偏光光源シナリオで撮影したシュウ酸カルシウム砂状結晶の顕微鏡画像であり、上記２つの顕微鏡画像はジコッピの画像を撮影したものである。

【0039】

Ｓ１２０：ディープ畳み込みニューラルネットワークを用いて訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得る。

【0040】

ディープ畳み込みニューラルネットワークは、訓練データにおけるシュウ酸カルシウム結晶の顕微鏡画像を取得した後、該顕微鏡画像に特徴抽出を行い、予め設定された分類器によって、シュウ酸カルシウム結晶の結晶特徴を対応する結晶タイプに抽出し、様々な結晶タイプのシュウ酸カルシウム結晶に対応する結晶特徴を得て、様々な結晶タイプシュウ酸カルシウム結晶を同定するディープ畳み込みニューラルネットワークモデルを得る。このようにして、入力するシュウ酸カルシウム結晶に対して結晶特徴や結晶タイプの同定を容易に実施できる。

【0041】

ここで、該ディープ畳み込みニューラルネットワークは畳み込み層、プーリング層及び完全接続層を含む。上記ディープ畳み込みニューラルネットワークを用いて訓練データを訓練するステップは、図４に示すように、具体的には、ステップＳ１２１～Ｓ１２５を含む。

【0042】

Ｓ１２１：訓練データに含まれるシュウ酸カルシウム結晶の顕微鏡画像を畳み込み層に入力する。

【0043】

シュウ酸カルシウム結晶の顕微鏡画像が畳み込み層に入力されると、畳み込み層は該顕微鏡画像に畳み込み操作を行い、対応する特徴画像に変換する。該シュウ酸カルシウム結晶の顕微鏡画像はシュウ酸カルシウム柱状結晶の顕微鏡画像、シュウ酸カルシウムクラスタ状結晶の顕微鏡画像、シュウ酸カルシウム針状結晶の顕微鏡画像、シュウ酸カルシウム角柱状結晶の顕微鏡画像、及びシュウ酸カルシウム砂状結晶の顕微鏡画像を含む。

【0044】

Ｓ１２２：複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得る。

【0045】

畳み込み層は所定のサイズを有する「受容野」を有し、この「受容野」の深度が入力画像の深度と同じであり、該畳み込み層の受容野と入力画像との畳み込みにより、対応するサイズの特徴マップが得られ、該畳み込み層は複数層の畳み込みを含み、このようにして、畳み込み層は元の顕微鏡画像に畳み込み操作を複数回繰り返すことができ、それにより、より深いレベルのシュウ酸カルシウム結晶の特徴画像が得られる。

【0046】

該複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得る方法は、具体的には、以下のとおりである。

【0047】

の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得て、式中、

ディープ畳み込みニューラルネットワークに非線形ファクタを追加して、畳み込み層が要件を満たす特徴画像を抽出することを可能とする。

【0048】

ここで該畳み込み層の出力次元数の計算式は以下のとおりである。

【0049】

Ｓ１２３：プーリング層を用いてシュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、特徴画像に対応する結晶特徴を得る。

【0050】

プーリング層は入力した特徴画像を圧縮する役割を果たし、特徴画像を小さくし、ネットワーク計算の複雑さを低減させるとともに、特徴圧縮を行い、特徴画像上の主要特徴を抽出することができ、この主要特徴は上記特徴画像に対応する結晶特徴である。

【0051】

ここで、プーリング層の出力次元数の計算式は以下のとおりである。

式中、プーリング層ｐｏｏｌのカーネルのサイズはＦ_２である。

【0052】

Ｓ１２４：完全接続層を用いて、同一顕微鏡画像に対応する全ての特徴画像の結晶特徴を接続し、分類器によって顕微鏡画像の結晶タイプ及び結晶タイプに対応する結晶特徴を決定する。

【0053】

完全接続層は同一顕微鏡画像上の全ての結晶特徴を接続し、出力した結晶特徴を分類器に入力し、分類器によって顕微鏡画像の結晶タイプ及び該結晶タイプに対応する結晶特徴を決定する。

【0054】

Ｓ１２５：顕微鏡画像の結晶タイプ及び結晶特徴を用いて、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成する。

【0055】

各ディープ畳み込みニューラルネットワークモデルは対応するシュウ酸カルシウム結晶の結晶特徴を識別することができ、該結晶特徴を識別した後、該結晶特徴を対応するシュウ酸カルシウムのタイプとマッチングさせる。例えば、ヤカン、ゴカヒ、ハンゲ、コウカヒ、及びジコッピの対照生薬の顕微鏡画像の結晶タイプ並びに結晶特徴をそれぞれ使用し、シュウ酸カルシウム柱状結晶のニューラルネットワークモデル、シュウ酸カルシウムクラスタ状結晶のニューラルネットワークモデル、シュウ酸カルシウム針状結晶のニューラルネットワークモデル、シュウ酸カルシウム角柱状結晶のニューラルネットワークモデル、及びシュウ酸カルシウム砂状結晶のニューラルネットワークモデルをそれぞれ作成し、それにより、シュウ酸カルシウム柱状結晶、クラスタ状結晶、針状結晶、角柱状結晶、及び砂状結晶の顕微鏡画像の結晶特徴をそれぞれ識別する。

【0056】

本出願の実施例による技術的解決手段では、複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得て、次に、プーリング層を用いてシュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、特徴画像に対応する結晶タイプを得て、さらに分類器によって顕微鏡画像の結晶タイプ及び該結晶タイプに対応する結晶特徴を決定し、それにより、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成し、該ディープ畳み込みニューラルネットワークモデルによって対応するタイプシュウ酸カルシウム結晶の結晶特徴を識別し、該結晶特徴を識別することにより、採取試料に含まれるシュウ酸カルシウム結晶のタイプを決定する。

【0057】

Ｓ１３０：ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得する。

【0058】

異なるディープ畳み込みニューラルネットワークモデルによって様々な結晶タイプのシュウ酸カルシウム結晶が識別され、様々な結晶タイプのシュウ酸カルシウム結晶の結晶特徴が得られる。このようにして、採取試料の顕微鏡画像が該ディープ畳み込みニューラルネットワークに入力されると、ディープ畳み込みニューラルネットワークモデルは、該顕微鏡画像に結晶特徴のマッチングを行い、結晶特徴により該採取試料に含まれるシュウ酸カルシウム結晶のタイプを決定する。例えば、上記採取試料の顕微鏡画像を、異なるディープ畳み込みニューラルネットワークモデルで識別されたシュウ酸カルシウム柱状結晶、クラスタ状結晶、針状結晶、角柱状結晶、及び砂状結晶モデルのうちのいずれか１つとマッチングさせると、対応する結晶タイプ情報が生成される。

【0059】

Ｓ１４０：採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する。

【0060】

採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプが得られると、対応するシュウ酸カルシウム結晶の同定結果が生成され、それにより、シュウ酸カルシウム結晶の迅速で正確な同定が可能である。

【0061】

図５に示すように、該採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力するステップは、具体的には、ステップＳ１４１～Ｓ１４３を含む。

【0062】

Ｓ１４１：採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプが決定されたかどうか。ディープ畳み込みニューラルネットワークモデルにはシュウ酸カルシウム結晶の結晶特徴と結晶タイプとの対応関係が記憶されており、ステップＳ１３０で採取試料におけるシュウ酸カルシウム結晶の結晶特徴がマッチングすると、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプが決定され得る。

【0063】

Ｓ１４２：ディープ畳み込みニューラルネットワークモデルが採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得した場合、採取試料の結晶タイプ情報、採取試料のステッチ結晶特徴画像、及び採取試料の試料結晶の特徴画像を生成して出力する。採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得した場合、採取試料の結晶特徴の画像だけをステッチしてもよく、このようにすれば、ユーザにより明瞭な画像を表示する。例えば、ディープ畳み込みニューラルネットワークモデルがクラスタ状結晶タイプのシュウ酸カルシウム結晶を検出した場合、ディープ畳み込みニューラルネットワークモデルは該シュウ酸カルシウムクラスタ状結晶の画像をステッチし、それにより、ユーザに明瞭かつ細かい画像を表示する。

【0064】

又は、
Ｓ１４３：ディープ畳み込みニューラルネットワークモデルが採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得していない場合、採取試料のステッチ顕微鏡画像を生成して出力する。ディープ畳み込みニューラルネットワークモデルが採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得していないと、該採取試料にシュウ酸カルシウム結晶が含まれていないことが分かり、このように採取試料の全部のステッチ顕微鏡画像を生成すると、採取試料の全体の形態が表示され、関連する操作者がこの採取試料の微細構造を明確に検索して把握することができる。

【0065】

ここで、採取試料のステッチ顕微鏡画像を生成する方法は、具体的には、以下のステップを含む。

【0066】

即ち、ステッチアルゴリズムを用いて同一採取試料に対応する各顕微鏡画像の画像画素座標と空間物理座標との間の変換マトリックスを算出するステップを含む。通常、同一採取試料について複数の顕微鏡画像を取得する必要があり、かつ、各顕微鏡画像の画像画素座標が異なり、このため、採取試料のステッチ顕微鏡画像を得るには、ステッチアルゴリズムを用いて画像画素座標と実空間中の空間物理座標との間の変換マトリックスを算出することにより、全ての顕微鏡画像をステッチする必要がある。

【0067】

変換マトリックスに従って、同一座標系下で同一採取試料の全ての顕微鏡画像をステッチし、ステッチ顕微鏡画像を得るステップを含む。変換マトリックスを使用することにより、実際の空間物理座標に従って、同一座標系下で全ての顕微鏡画像をステッチし、ステッチ顕微鏡画像を得て、該採取試料全体の形態を得ることができる。また、隣り合う２枚の画像のステッチ結果画素がずれるという問題が生じる場合、完全なステッチ顕微鏡画像を得るために画像グレースケール特徴に基づくテンプレートマッチング方法によってマッチング最適化を行う。ステッチ結晶特徴画像の取得方法は同様であるため、ここでは詳しく説明しない。

【0068】

以上のように、本出願の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法では、複数種の結晶タイプの前記シュウ酸カルシウム結晶を含むシュウ酸カルシウム結晶の訓練データを取得し、次に、ディープ畳み込みニューラルネットワークを用いて前記訓練データを訓練し、シュウ酸カルシウム結晶を同定するための、様々なタイプのシュウ酸カルシウム結晶の特徴を識別可能なディープ畳み込みニューラルネットワークモデルを得て、次に、訓練済みのディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得し、前記採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、前記採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する。

【0069】

本出願の実施例によるシュウ酸カルシウム結晶のインテリジェント同定方法は、人工知能方法を用いて訓練することで、ディープ畳み込みニューラルネットワークモデルを得て、採取試料におけるシュウ酸カルシウム結晶の結晶特徴を自動的にマッチングさせることにより、該シュウ酸カルシウム結晶のタイプを自動的に識別し、採取試料のシュウ酸カルシウム結晶の同定構造を出力するものであり、人工同定方法では操作者が手動で操作するため、主観的な要因による誤差が大きく、描画に時間がかかり、しかも作業効率が低いなどの従来技術の問題を解決する。

【0070】

また、図６に示すように、ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行う上記ステップＳ１３０の前、前記シュウ酸カルシウム結晶同定方法は、ステップＳ２００をさらに含む。

【0071】

Ｓ２００：顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影する。

【0072】

従来のシュウ酸カルシウム結晶顕微鏡画像の収集方法では、通常光源視野でのシュウ酸カルシウム結晶の顕微鏡画像だけを撮影する場合が多い。ただし、このような画像収集方法では、撮影過程において照明むらが存在するため、シュウ酸カルシウム結晶の一部が採取試料の他の構造と混同する可能性があり、このため、シュウ酸カルシウム結晶を完全かつ正確に特定することが困難であり、誤判定を引き起こしやすい。したがって、本出願の実施例では、顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影することができ、このように２つの光源視野を組み合わせて、明瞭なシュウ酸カルシウム結晶構造を取得し、シュウ酸カルシウム結晶の識別精度を向上させることができる。

【0073】

図１及び図７に示すように、該顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影する方法は、具体的には、ステップＳ２１０～Ｓ２３０を含む。

【0074】

Ｓ２１０：所定の運動軌跡に従って三次元座標系にて水平運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御する。

【0075】

Ｓ２２０：所定の運動軌跡に従って三次元座標系にて垂直運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御し、ステージ上の採取試料をリアルタイムで追跡して合焦する。

【0076】

Ｓ２３０：デジタル撮像装置を用いて、所定の時間間隔で採取試料の顕微鏡画像を複数回撮影する。

【0077】

本出願の実施例による技術的解決手段では、コントロールボックスの運動制御カードは３台のステッピングモータを制御して正確に運動させ、それにより、ステージはそれぞれＸ、Ｙ、Ｚの３つの互いに垂直な方向の軸方向において運動し、ここで、図８に示すように、Ｘ軸とＹ軸での運動により顕微鏡のスライドガラス（又はステージ）が水平に移動しながら収集し、またステージがＺ軸の方向に沿って垂直に移動することにより、採取試料がリアルタイムで追跡されて焦点を合わせ、観察過程にわたり明瞭な画像が表示される。ステージがＸ、Ｙ及びＺの３つの互いに垂直な方向の軸方向に沿って運動するときに、デジタル撮像デバイスは所定の時間間隔で採取試料の顕微鏡画像を複数回撮影し、同一採取試料の複数の顕微鏡画像をリアルタイムで取得し、コンピュータが同一採取試料に対して処理を複数回繰り返すことに有利である。ここで、普通光と偏光の２つの光源視野では画像の収集ステップが同じである。

【0078】

顕微鏡の具体的な移動経路は図８に示される。点Ａはデジタル撮像デバイスの初期座標点であり、顕微鏡スライドガラスはまずＡ点に調整され、次にＹ軸の横方向に沿って移動し、さらにＸ軸の縦方向に沿って移動し、このようにｎ（ｎは０よりも大きい正の整数）回繰り返し、それにより、対照生薬又は採取試料を水平に移動させることによって、収集対象領域全体がカバーされる。顕微鏡がＸ軸とＹ軸で運動することによって、顕微鏡のスライドガラス上の顕微鏡画像が収集され、ステージがＺ軸方向にて運動することによって、顕微鏡がリアルタイムで追跡されて焦点を合わせ、過程にわたり複数の明瞭な顕微鏡画像が撮影される。

【0079】

また、好ましい実施例として、元のシュウ酸カルシウム結晶のインテリジェント同定方法では、採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する元のステップＳ１４０の後、本出願の実施例の前記方法は、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプをマークするステップと、採取試料の顕微鏡画像とマークした結晶タイプを訓練データに追加するステップとをさらに含む。

【0080】

本出願の実施例による技術的解決手段では、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプをマークした後、該採取試料の顕微鏡画像とマークした結晶タイプとを訓練データに追加することによって、ディープ畳み込みニューラルネットワークの訓練サンプルを強化させるとともに、ディープ畳み込みニューラルネットワークの同定能力を高める。

【0081】

また、上記方法の実施例と同様な構想に基づいて、本発明の実施例は、本発明の上記方法を実現するための、顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムをさらに提供し、該システムの実施例は、解決する問題の原理が上記方法と類似しているので、少なくとも上記実施例の技術的解決手段による全ての有益な効果を有し、ここでは詳しく説明しない。

【0082】

図１０を参照し、図１０は本発明の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムの構造模式図である。図１０に示すように、該顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムは、
シュウ酸カルシウム結晶の訓練データを取得するためのデータ取得モジュール１１０であって、訓練データは複数種の結晶タイプのシュウ酸カルシウム結晶を含むデータ取得モジュール１１０と、
ディープ畳み込みニューラルネットワークを用いて訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得るためのニューラルネットワークモジュール１２０と、
ディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得するための特徴マッチングモジュール１３０と、
採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、採取試料のシュウ酸カルシウム結晶の同定結果を生成するための結果生成モジュール１４０と、
採取試料のシュウ酸カルシウム結晶の同定結果を出力するための結果出力モジュール１５０と、を含む。

【0083】

以上のように、本出願の実施例による顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定システムでは、データ取得モジュール１１０はシュウ酸カルシウム結晶の訓練データを取得し、該訓練データは複数種の結晶タイプの前記シュウ酸カルシウム結晶を含み、次に、ニューラルネットワークモジュール１２０は、ディープ畳み込みニューラルネットワークを用いてデータ取得モジュール１１０により取得された訓練データを訓練し、シュウ酸カルシウム結晶を同定するためのディープ畳み込みニューラルネットワークモデルを得て、該ディープ畳み込みニューラルネットワークモデルは、様々なタイプのシュウ酸カルシウム結晶の特徴を識別し、次に、特徴マッチングモジュール１３０は、訓練済みのディープ畳み込みニューラルネットワークモデルを用いて採取試料の顕微鏡画像に特徴マッチングを行い、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプを取得し、次に、結果生成モジュール１４０及び結果出力モジュール１５０は、採取試料に含まれるシュウ酸カルシウム結晶の結晶タイプに従って、前記採取試料のシュウ酸カルシウム結晶の同定結果を生成して出力する。

【0084】

本出願の実施例によるシュウ酸カルシウム結晶のインテリジェント同定システムは、人工知能方法を用いて訓練することで、ディープ畳み込みニューラルネットワークモデルを得て、採取サンプルにおけるシュウ酸カルシウム結晶の結晶特徴を自動的にマッチングさせることにより、該シュウ酸カルシウム結晶のタイプを自動的に識別し、採取サンプルのシュウ酸カルシウム結晶の同定構造を出力するものであり、人工同定方法では操作者が手動で操作するため、主観的な要因による誤差が大きく、描画に時間がかかり、しかも作業効率が低いなどの従来技術の問題を解決する。

【0085】

図１１に示すように、該ニューラルネットワークモジュール１２０は、
訓練データに含まれるシュウ酸カルシウム結晶の顕微鏡画像を畳み込み層に入力するための画像入力サブモジュール１２１と、
複数層の畳み込み層を用いて、シュウ酸カルシウム結晶の顕微鏡画像に畳み込み操作を行い、シュウ酸カルシウム結晶の特徴画像を得るための畳み込み操作サブモジュール１２２と、
プーリング層を用いてシュウ酸カルシウム結晶の特徴画像に特徴圧縮を行い、特徴画像に対応する結晶特徴を得るための特徴圧縮サブモジュール１２３と、
完全接続層を用いて、同一顕微鏡画像に対応する全ての特徴画像の結晶特徴を接続するための特徴接続サブモジュール１２４と、
分類器によって顕微鏡画像の結晶タイプ及び結晶タイプに対応する結晶特徴を決定するための結晶分類サブモジュール１２５と、
顕微鏡画像の結晶タイプ及び結晶特徴を用いて、シュウ酸カルシウム結晶の種類ごとにディープ畳み込みニューラルネットワークモデルを作成するためのモデル作成サブモジュール１２６と、を含む。

【0086】

また、好ましい実施例として、図１２を参照し、本実施例によるシュウ酸カルシウム結晶のインテリジェント同定システムは、図１０に示す各構造モジュールに加えて、顕微鏡画像自動収集装置を用いて通常光源視野と偏光光源視野での採取試料の顕微鏡画像をそれぞれ撮影するための画像撮影モジュール１６０をさらに含み、
画像撮影モジュール１６０は、
所定の運動軌跡に従って三次元座標系にて水平運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御するための運動制御サブモジュール１６１と、
所定の運動軌跡に従って三次元座標系にて垂直運動を行うようにコントロールボックスを用いて顕微鏡のステージを制御し、ステージ上の採取試料をリアルタイムで追跡して合焦するための合焦制御サブモジュール１６２と、
デジタル撮像装置を用いて、所定の時間間隔で採取試料の顕微鏡画像を複数回撮影するための画像撮影サブモジュール１６３と、を含む。

【0087】

また、本出願の実施例はコンピュータ読み取り可能な記憶媒体をさらに提供し、該コンピュータ読み取り可能な記憶媒体には顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法のプログラムが記憶されており、該顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法のプログラムはプロセッサによって実行されると、上記のいずれかの技術的解決手段に記載のシュウ酸カルシウム結晶のインテリジェント同定方法のステップを実現する。

【0088】

本発明のコンピュータ読み取り可能な記憶媒体の具体的な実施例は上記顕微鏡画像に基づくシュウ酸カルシウム結晶のインテリジェント同定方法の各実施例とほぼ同じであるので、ここでは詳細な説明を省略する。

【0089】

当業者にとって明らかなように、本発明の実施例は、方法、システム、又はコンピュータプログラム製品として提供されてもよい。したがって、本発明は、完全なハードウェア実施例、完全なソフトウェア実施例、又はソフトウェアとハードウェアを組み合わせた実施例の形態であってもよい。さらに、本発明はコンピュータにより利用可能なプログラムコードを含む１つ以上のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光メモリなどを含むが、これらに限定されない）で実施されるコンピュータプログラム製品の形態とされてもよい。

【0090】

本発明は、本発明の実施例にかかる方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明されている。なお、コンピュータプログラム命令によってフローチャート及び／又はブロック図のそれぞれのフロー及び／又はブロック、及びフローチャート及び／又はブロック図のフロー及び／又はブロックの組み合わせを実現することができる。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサや他のプログラム可能データ処理デバイスのプロセッサに適用されて機械を構成し、それにより、コンピュータ又は他のプログラム可能データ処理デバイスのプロセッサで実行される命令はフローチャートの１つのフロー又は複数のフロー及び／又はブロック図の１つのブロック又は複数のブロックで指定される機能を実現するための装置を構成する。

【0091】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理デバイスをガイドして特定の方式で作動させるコンピュータ読み取り可能なメモリに記憶されてもよく、このようにして、該コンピュータ読み取り可能なメモリに記憶された命令は命令装置を含む製品を構成し、該命令装置はフローチャートの１つのフロー又は複数のフロー及び／又はブロック図の１つのブロック又は複数のブロックで指定された機能を実現する。

【0092】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理デバイスにインストールされて、コンピュータ又は他のプログラム可能デバイス上で一連の操作ステップを実行してコンピュータにより実現される処理を発生させてもよく、それにより、コンピュータ又は他のプログラム可能デバイス上で実行される命令は、フローチャートの１つのフロー又は複数のフロー及び／又はブロック図の１つのブロック又は複数のブロックで指定される機能を実現するステップを提供する。

【0093】

注意すべきものとして、請求項では、括弧内のいずれの参照符号も請求項を制限するものではない。用語「含む」は、請求項に記載されていない部材又はステップを含む場合を排除しない。部材の間に記載の用語「一」又は「１つ」はこのような部材が複数存在する場合を排除しない。本発明は、異なる部材を複数含むハードウェア及び適切にプログラムされているコンピュータによって実現されてもよい。いくつかの装置のユニットが挙げられた請求項では、これらの装置のうち、いくつかは同一のハードウェアによって具現化されてもよい。「第１」、「第２」、及び「第３」などの用語の使用はいかなる順番を示すものでもない。これらの用語を名称として解釈してもよい。

【0094】

本発明の好ましい実施例を説明したが、当業者が基本的な創造の概念を把握すると、これらの実施例についてさらなる変更や修正を行うことができる。このため、添付の特許請求の範囲は、好ましい実施例及び本発明の範囲内の全ての変更や修正を含むものとして解釈すべきである。

【0095】

明らかに、当業者であれば、本発明について本発明の主旨や範囲を逸脱することなく、様々な変化や変形を行うことができる。このため、本発明のこれらの修正や変形が本発明の特許請求の範囲及びそれと等同の技術的範囲に属すると、本発明はこれらの変化や変形も含むことを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9-A】

【図9-B】

【図9-C】

【図9-D】

【図9-E】

【図9-F】

【図9-G】

【図9-H】

【図9-I】

【図9-J】

【図10】

【図11】

【図12】